Ahrefs 如何获取数据？爬虫、点击流及更多解释

您可能盯着阿赫夫斯号码并想知道您是否应该真正相信它。

竞争对手的网站显示每月有 80,000 名访问者。一个 关键字 显示 12,000 次搜索。一个反向链接你上周构建的仍然没有出现。数据对吗？它已经过时了吗？ Ahrefs 只是做出有根据的猜测吗？

这些都是公平的问题，答案很重要，因为您如何解释 Ahrefs 数据应该完全取决于该数据的来源。

那么让我们开始吧。 Ahrefs 通过三个主要管道收集数据：自己的网络爬虫 (AhrefsBot)、第三方点击流面板和 Google 关键字规划器。每一种都为工具的不同部分提供动力，并且每一种都有自己的优势和盲点。

一旦你了解了来源，这些数字就开始变得更有意义，包括那些看似不合理的数字。

在本指南中：

• 简短的回答：三个数据管道
• AhrefsBot 和反向链接数据库
• 点击流数据和关键词量
• Google 关键字规划师：数量基线
• Ahrefs 如何估算自然流量
• Ahrefs 数据到底有多准确？
• Ahrefs 与 Semrush：谁从哪里获取数据？

简短的回答：三个数据管道一起工作

Ahrefs 并不从单一来源获取数据。从来没有。该平台同时运行三个独立的数据收���系统，每个系统为您在工具中看到的不同部分提供动力。

第一个是AhrefsBot，Ahrefs自己的网络爬虫，自2013年以来一直在全天候地爬行互联网。它是反向链接数据库背后的引擎，也使得Ahrefs的链接数据成为业内最深的。

第二个是点击流数据，通过第三方面板、浏览器扩展和应用程序从数百万真实用户收集的匿名浏览行为。这就是 Ahrefs 模拟实际搜索行为的方式：人们点击什么、点击频率以及哪些关键词驱动交通与哪些只是获得印象。

第三个是谷歌关键字规划师，用作搜索量数据的基线，然后 Ahrefs 使用点击流信号对其进行细化，以获得更精细、更准确的估计。

还有第四个较少讨论的来源：YepBot，Ahrefs 自己的搜索引擎 yep.com 背后的爬虫，该引擎为他们更广泛的网络索引做出了贡献。

每个系统都有自己的刷新率、精度配置文件和限制。本指南的其余部分对所有这些进行了分解。

查看我们最新的博客estoturf.fr：域名分析、有机流量和 SEO 见解

AhrefsBot：反向链接数据库背后的网络爬虫

如果您曾经检查过服务器的访问日志并发现一个陌生的机器人正在爬行您的网站，那么它很可能是 AhrefsBot。它是继 Googlebot 之后互联网上最活跃的网络爬虫，这并非巧合。 Ahrefs 故意这样做。

查看我们最新的博客veganovtrichy.com：搜索流量、排名和反向链接

AhrefsBot 是什么以及它如何工作？

AhrefsBot 的工作方式与任何搜索引擎爬虫的工作方式相同。它访问网页、读取 HTML、跟踪它找到的链接，然后转到下一页，每天重复该过程数十亿次。

它与基本刮刀的不同之处在于规模和持久性。 AhrefsBot 每天爬行超过 60 亿页。它也不只是发现新页面，它还会不断重新访问已索引的 URL，以检查链接是否仍然有效、页面是否已更改以及新链接是否出现。这就是 Ahrefs 维护包含超过 12 万亿个链接的反向链接数据库而不使其过时的方式。

整个操作自 2013 年开始运行。这是十多年的连续爬行，这就是为什么 Ahrefs 的历史反向链接数据很难让新工具与之竞争的一个重要原因，你根本无法在一夜之间复制十年的爬行历史。

Ahrefs 反向链接索引有多大？

足够大，以至于 Ahrefs 必须建立自己的基础设施来处理它。所涉及的数据量非常大，我们谈论的是拍字节，任何现成的云解决方案都无法跟上。因此，Ahrefs 内部构建了大部分处理系统，包括一台名为 Yep1 的超级计算机，按每秒浮点运算次数计算，该计算机名列世界前 50 名。

这不是营销弯曲。这就是为什么反��链接数据如此全面的背景。当工具可以近乎实时地处理大量爬网数据时，索引就会保持最新状态，这是在标准云基础设施上运行的较小工具无法比拟的。

反向链接数据多久更新一次？

这就是 Ahrefs 真正领先于大多数竞争对手的地方。反向链接索引每 15 到 30 分钟刷新一次。不是每天，不是每周，而是每半小时或更短时间。

实际上，这意味着如果有人今天早上建立了指向您网站的链接，那么 Ahrefs 很可能会在今天下午之前收到它。这还意味着丢失或损坏的链接会被快速标记，如果您正在进行任何类型的链接监控或拒绝工作，这一点很重要。

排名数据、关键词在搜索结果中的表现如何，每天都会更新。关键字量估计值按月更新，当您进行时间敏感的研究时，值得记住这一点。

点击流数据：Ahrefs 如何跟踪真实搜索行为

反向链接的收集相对简单：您抓取网络，找到链接并存储它们。关键字数据更难。搜索量不公开。谷歌 没有实时发布人们每月搜索“最佳跑鞋”的次数。那么阿雷夫斯是怎么知道的呢？

答案是点击流数据，它值得正确理解，因为正是它使 Ahrefs 的关键字指标与简单导出 Google Keyword Planner 数字区分开来。

什么是点击流数据？

点击流数据是真实用户实际在线行为的记录。他们访问的每个页面、点击的每个链接、运行的每个搜索。它是通过浏览器扩展、应用程序、ISP 级协议和选择加入的研究小组收集的，所有这些都经过用户同意，并在到达 Ahrefs 这样的工具之前进行匿名处理。

Ahrefs 本身并不收集这些数据。它从第三方数据提供商那里购买聚合的、匿名的点击流面板。这些面板代表了不同设备、浏览器和位置的数百万真实用户。一旦数据输入，Ahrefs 就会剔除任何可以识别个人身份的内容，并纯粹使用聚合模式。

可以将其视为对互联网的大规模匿名调查，不是人们所说的搜索内容，而是他们实际搜索和点击的内容。

Ahrefs 如何使用点击流来衡量关键字量？

这就是它真正有用的地方。大多数工具都将 Google 关键字规划器用作其数量基准，但它有一个众所周知的问题：它将关键字变体合并在一起。搜索“跑鞋”和“跑步鞋”，GKP 通常会报告两者的数量相同，因为从 Google 的广告角度来看，它们具有相同的意图、相同的受众、相同的出价。

对于关键词研究来说，这是一个问题。它们不是同一个关键字。

点击流数据让 Ahrefs 将这些变体分开。由于它跟踪的是实际的个人搜索而不是汇总的广告拍卖数据，因此它可以看到“跑鞋”的搜索频率远远高于“跑步鞋”，即使 GKP 将它们混为一谈。其结果是关键字量数据更加精细，并且在许多情况下更接近现实。

这也是为什么您有时会看到 Ahrefs 报告的同一关键字的数量与 GKP 报告的数量明显不同。这不是错误或错误。这两个系统测量的东西略有不同。

点击流如何推动 Ahrefs 的点击率估算？

这是大多数人忽视的部分。 Ahrefs 不仅使用点击流数据来估计关键字的搜索频率；它还使用它来估计这些搜索产生点击的频率。

这就是关键字浏览器中“点击次数”指标的来源。像“东京现在几点了”这样的关键词每月可能会有 50,000 次搜索，但大多数人直接从搜索结果页面获得答案，无需点击任何内容。实际点击量可能接近8000。 GKP 无法知道这一点。 Ahrefs 确实如此，因为点击流数据捕获搜索后发生的情况，而不仅仅是搜索本身。

对于内容策略来说，这种区别非常重要。追逐点击量接近零的高流量关键词是浪费精力。点击流使这一点变得可见。

Google 关键字规划师：搜索量基础

此时，您可能想知道，如果点击流数据如此强大，为什么 Ahrefs 还要使用 Google Keyword Planner？

公平的问题。诚实的答案是，点击流面板无论有多大，都存在覆盖差距。它们在搜索量高的热门关键词上表现强劲，但在低量、利基或新兴查询上表现不佳，这些查询中观察到的搜索样本量太小而无法可靠地建模。 GKP 填补了这一空白。它并不完美，但它是可用的最全面的关键字存在数据源。 Google 可以看到每一次搜索，而 GKP 是最接近公共窗口的东西。

为什么大多数 SEO 工具都使用 Google Keyword Planner？

因为对于原始关键字发现来说没有更好的替代方案。 GKP 会告诉您某个关键字是否存在、其在付费搜索中的大致竞争力以及广泛的搜索量范围。即使数字本身不精确，这作为一个起点确实有用。

各专业搜索引擎优化包括 Ahrefs、Semrush 和 Moz 在内的平台使用 GKP 作为其关键字数据基础的一部分。这是值得了解的，因为这意味着，在基础层面上，这些工具都查看相同的源材料。他们的不同之处在于他们事后的处理方式。

Ahrefs 如何将 GKP 数据与点击流混合？

将其视为一个两步过程。 GKP 提供了框架、现有关键字列表以及每个关键字的粗略数量范围。然后，Clickstream 添加了强大的、真实观察到的搜索行为，使 Ahrefs 将这些广泛的范围锐化为更具体的估计，将合并的变体拆分为单独的关键字，并附加 GKP 根本没有的点击数据。

结果比单独使用任一来源更有用。仅 GKP 就能为您提供每月更新一次的直率、以广告商为中心的数据。仅 Clickstream 的覆盖范围就存在漏洞。它们共同产生的结果更接近您进行关键词研究决策时实���需要的内容。

值得记住的一件事是：由于 GKP 每月更新并使用滚动年度平均值，因此 Ahrefs 的数量数据总是存在一些滞后。上周流行度爆炸式增长的关键词尚未出现在数字中。对于趋势敏感的研究来说，这是一个真正的限制，这就是为什么 Ahrefs 将 Google 趋势集成与其大量数据一起展示，而不是假装每月的数据讲述了整个故事。

Ahrefs 如何估算自然流量（以及它与 GA 的不同之处）

在某些时候，几乎每个 Ahrefs 用户都经历过同样的不和谐时刻。您在站点资源管理器中打开您自己的站点，查看有机流量估计，这与谷歌分析的报告相差甚远。有时是双的。有时是一半。有时，距���遥远，您会开始质疑 Ahrefs 是否已损坏。

事实并非如此。但理解数字差异的原因很重要，因为如果你误读了 Ahrefs 实际向你展示的内容，你就会错误地使用它。

公式：排名×搜索量×点击率

Ahrefs 无权访问您的实际流量数据。只有您可以通过 GA 或 Google Search Console 这样做。 Ahrefs 所做的是使用它可以访问的三个输入从外到内构建估计：

• 您网站排名的关键字，从其自己的 SERP 跟踪中提取
• 来自上述 GKP 和点击流管道的每个关键字的搜索量
• 根据点击流行为建模的每个排名位置的估计点击率

将每个关键字的点击量乘以点击率，将您网站排名的每个关键字的所有内容相加，就可以得到自然流量估算值。 Ahrefs 每天对每个页面运行此计算，然后对几天进行平均以生成每周和每月的数据。

这是一个模型。这是一个构建良好的模型，建立在真实数据的基础上，但仍然是一个模型。与任何模型一样，它的准确性取决于其输入。

为什么 Ahrefs 流量估算与 Google Analytics 不匹配

这些数字很少完全一致的原因有多种，但并不意味着出现了问题。

首先是关键词覆盖率。 Ahrefs 跟踪它所知道的关键字以及数据库中的关键字。如果您的网站针对高度利基、低流量或特定品牌的查询进行排名，而 Ahrefs 的数据较少，则该流量根本不会纳入估算。实际流量存在； Ahrefs 只是看不到它。

第二是CTR建模。 Ahrefs 适用于每个排名位置的点击率是从点击流面板中得出的平均值。您网站的实际点击率将根据您的标题标签、元描述、您是否有丰富的结果、您的品牌认知度有多强以及人口级别模型无法单独考虑的十几个其他因素而有所不同。

第三个是 GA 计算在内而 Ahrefs 不计算在内的内容，反之亦然。 GA 会计算会话数，其中可能包括直接流量、电子邮件点击量和被错误归因于有机的社交推荐。它还会计算机器人流量，除非您已将其过滤掉。 Ahrefs 估计纯自然搜索点击次数。这些测量的是真正不同的事物。

使用 Ahrefs 流量数据的正确方法不是取代 GA；而是这是一款有竞争力的镜头。您无权访问竞争对手的 GA 帐户。您确实可以访问他们的 Ahrefs 估计。而且由于相同的模型适用于每个人，因此即使绝对数字并不完全精确，相对比较也是有意义的。如果 Ahrefs 说竞争对手的每月访问量为 40,000 次，而您的访问量为 12,000 次，那么这种差距是真实存在的，即使这两个数字在绝对值上有些偏差。

这就是 Ahrefs 流量估算的用途。让它们符合这个标准，它们确实很有用。如果将它们保持在 GA 级精度，你会不断感到失望。

Ahrefs 数据的准确性如何？诚实的崩溃

大多数文章涵盖Ahrefs 准确度要么是由 Ahrefs 写的（显然是有利的），要么是竞争对手写的（显然不是）。更难找到的是经常使用该工具且与结果无关的人的直接答案。

这就是 Ahrefs 的正确之处、不足之处，以及如何校准您的期望，以便您正确地处理数据而不是与之对抗。

Ahrefs 数据最可靠的地方

反向链接是 Ahrefs 最强的地方，但与它们并不是特别接近。自 2013 年以来一直���运行的爬虫、超过 12 万亿个链接的索引以及每 15 到 30 分钟刷新一次的频率相结合，使其领先于该类别中的所有其他工具。如果一个链接存在并且它所在的页面最近已被抓取，Ahrefs 就会找到它。对于链接勘探、竞争对手反向链接分析以及监控您自己的链接配置文件，这是 Ahrefs 生成的最可靠的数据。

关键词排名也高度可靠。 Ahrefs 通过查询搜索结果来跟踪排名；它不是建模或估计你的位置；它直接检查结果。对于您在排名跟踪器中主动跟踪的关键字，数据与第三方工具可以获得的数据尽可能接近真实情况。

关键词难度分数对于相对比较来说是一致且有用的，可以了解一个关键字是否比另一个关键字更难或更容易排名。它们作为绝对基准的用处不大，但在 Ahrefs 生态系统中，它们的应用是一致的，这对于优先级决策很重要。

Ahrefs 数据不太可靠的地方

流量估算是期望最常与现实背离的领域，上一节解释了原因。它们建立在一个具有实际局限性、平均点击率、关键字覆盖差距的模型上，以及从外部估计某些东西（只能从内部准确测量）的基本挑战。有方向地使用它们，而不是字面意思。

利基和小批量关键词的搜索量这是点击流模型变得明显不稳定的地方。当某个关键字每月仅获得几百次搜索时，Ahrefs ���击流面板中的样本就很小。小样本会产生噪声估计；某个关键字可能会显示 200 次搜索，但实际上却达到 600 次，反之亦然。音量越低，您应该在心里应用的误差范围就越大。

新出现的关键词有滞后问题。由于流量数据以 GKP 的每月更新周期为基础，因此本周开始出现趋势的关键字在数周或更长时间内都不会显示准确的流量。如果您正在快速发展的利基市场、人工智能工具、加密货币和突发新闻主题方面进行研究，请以额外的怀疑态度对待数量数据，并与谷歌趋势进行交叉引用。

品牌和导航查询对于较小的品牌来说，这些信息经常被遗漏或严重低估。点击流面板偏向常见的行为模式。大多数小组参与者从未听说过的利基品牌名称或特定产品的搜索在数据中的代表性不足。

如何正确使用 Ahrefs 数据，相对与绝对

大多数人在 Ahrefs 和上犯的错误搜索引擎优化工具通常将数字视为基本事实而不是信号。它们不是事实的电子表格。它们是现实的模型，由真实数据构建，但通过每一层的估计进行过滤。

实际含义很简单：使用 Ahrefs 进行方向决策，而不是精确测量。关键词 A 比关键词 B 更难排名吗？ Ahrefs 会可靠地告诉你。您的竞争对手每月的访问量是否恰好为 47,320 人？没有人能告诉你这一点，包括阿雷夫斯。

Ahrefs 赢得订阅的地方在于其模型的一致性和覆盖范围。由于相同的方法适用于数据库中的每个网站、每个关键字及其每个链接，因此即使绝对值不完美，比较也是有意义的。这种内部一致性使它真正有用，而理解它是将那些从工具中获得真正价值的 SEO 与那些花一半时间与数字争论的 SEO 的区别所在。

Ahrefs 与 Semrush：谁从哪里获取数据？

这个问题不断出现，答案比大多数比较文章所呈现的更加微妙。这两种工具并不是在完全不同的数据世界中运行；而是在不同的数据世界中运行。他们分享的方法论比任何一家公司都多做广告。但确实存在差异，并且它们出现在可预测的地方。

详情	阿赫夫斯	塞姆拉什
网络爬虫	AhrefsBot，网络上第二活跃	SemrushBot，活跃度显着降低
关键词量基线	谷歌关键字规划师	谷歌关键字规划师
点击流数据	SemrushBot 的活跃度显着降低	是的，第三方面板
反向链接索引大小	超过 12 万亿个链接	较小，引用频率较低
索引刷新率	每 15-30 分钟一趟	每日

他们有什么共同点

这两种工具都从相同的关键词数量出发：Google Keyword Planner。两者都将点击流数据置于该基线之上，以完善其估计并模拟点击行为。两者都运行自己的网络爬虫。两者都使用本文前面描述的大致相同的由外向内的方法来生成流量估计。

这意味着从根本上来说，它们的关键词量数字通常相似并不是巧合。这是因为他们都用类似的方法精炼相同的原材料。

它们真正不同的地方

有意义的差距在于反向链接数据，这归结为爬虫活动。 AhrefsBot 是互联网上第二活跃的爬虫程序，仅次于 Googlebot。 SemrushBot 的运营规模只是该规模的一小部分。实际结果是，Ahrefs 往往比 Semrush 更快地找到反向链接，维护更大的实时索引，并更快地捕获链接更改、新链接、丢失链接和重定向链接。

对于任何认真做事的人链接建设、竞争链接分析或时效性很重要的数字公关工作，这种差异是真实存在的，并且随着时间的推移会变得更加复杂。每 15 分钟刷新一次反向链接索引的工具向您展示的图片与每天更新的图片完全不同，尤其是在链接配置文件快速变化的活跃利基市场中。

关键词数据更接近平局。这两种工具产生的估计在方向上是有用的，但在边缘同样不精确。 Semrush 历来拥有更广泛的关键字数据库（按原始计数计算），而 Ahrefs 有理由认为，数据库大小比数据质量更重要。实际上，对于大多数关键词研究工作流程，任一工具都可以满足您的需求。

诚实的判决

如果反向链接分析是您工作方式的核心，那么 Ahrefs 是更强有力的选择，并且数据优势是真实的。如果您需要更广泛的营销平台、PPC 研究、社交跟踪和内容营销工具，Semrush 涵盖更多领域。大多数认真使用这两种工具的专业人士最终都会使用 Ahrefs 进行链接工作，并依靠 Semrush 获取更广泛的竞争情报。

这两种工具都不会告诉您的是，对于核心关键词研究用例，数据足够相似，因此选择通常取决于工作流程偏好而不是数据质量。这并不是对这两个平台的攻击。这只是他们从同一口井汲水的诚实反映。

底线

Ahrefs 不是一个黑匣子。它是三个并行工作的数据系统，一个永不休眠的爬虫，模拟真实搜索行为的点击流面板，以及精炼成比原始形式更有用的谷歌关键字规划器数据。一旦您了解哪个系统产生哪个指标，该工具就不再感觉像是您必须盲目信任的东西，而是开始感觉像您真正理解的东西。

实际的收获是：停止将每个 Ahrefs 数字视为基本事实，并开始询问哪个管道产生了它。反向链接计数？相信它，AhrefsBot 所做的事情几乎比任何人都做得更好。您自己网站的流量估算？将其视为定向信号，而不是测量。每月搜索次数为 300 次的利基查询的关键字量？给它一定的误差范围；在这种规模下，点击流样本很薄弱。

充分利用 Ahrefs 的 SEO 并不是最信任它的人。他们清楚地知道哪里是强项，哪里是不稳定的，以及如何相应地调整自己的决定。这不是怀疑，只是按照设计的方式使用该工具。

要点：

• Ahrefs 反向链接数据是该工具中最可靠的指标，每 15 到 30 分钟由互联网上第二活跃的网络爬虫刷新一次
• 关键词���是 GKP 基线和点击流细化的结合，有方向性有用，但在低量时不精确
• 流量估算是一个由外而内构建的模型，对于竞争对手研究非常有价值，不能替代 GA

如果这篇文章提出了如何在工作流程中实际应用 Ahrefs 数据的问题，那么下一个合乎逻辑的阅读内容是如何在 Ahrefs 中进行关键字研究而不被数字误导，这与了解数字的来源是不同的技能。

常见问题解答