AhrefsSiteAudit 爬虫

了解为 Ahrefs 的网站审核工具提供支持的网络爬虫。

版本
6.1
机器人类型
好(表明自己,有一个正式的绰号)
类别
搜索引擎优化
服从 robots.txt
默认情况下是(网站所有者可以要求在其网站上不遵守 robots.txt)
服从抓取延迟
默认情况下是(网站所有者可以要求遵守其网站上的抓取延迟)
桌面用户代理字符串
Mozilla/5.0(兼容;AhrefsSiteAudit/6.1;+http://ahrefs.com/robot/site-audit)
移动用户代理字符串
Mozilla/5.0(Linux;Android 13)AppleWebKit/537.36(KHTML,如 Gecko)Chrome/108.0.5359.128 Mobile Safari/537.36(兼容;AhrefsSiteAudit/6.1;+http://ahrefs.com/robot/site-audit)
反向 DNS 后缀
ahrefs.com
IP地址范围

网站状态

查看您网站的状态,是否可以被抓取

什么是 Ahrefs网站诊断爬虫?

AhrefsSiteAudit 是一种网络抓取工具,为 Ahrefs 的网站诊断工具提供支持。 Ahrefs 用户可以使用网站诊断来分析网站并发现技术 SEO 和页面 SEO 问题。

该机器人可以抓取任何网站,除非被禁止,并通过默认将抓取限制为每 2 秒 1 个请求来防止网站服务器负载过大。 如果您是网站所有者,则可以以更高的速度抓取自己的网站,并允许 AhrefsSiteAudit 抓取工具忽略 robots.txt。 为此,您需要在站点诊断工具中验证所有权。

问题? 我们有答案

  • AhrefsSiteAudit 机器人在我的网站上做什么?

    如果您在服务器日志中看到 AhrefsSiteAudit,这意味着有人使用 Ahrefs 的网站审核工具对您的网站进行了分析。 该机器人抓取网站并跟踪其内部链接从一个 URL 到另一个 URL。 它还检查网站资源,如 CSS 文件、JS 文件和图像。AhrefsSiteAudit 爬虫不会将数字添加到您的 Google Analytics 流量中。

  • 它是否遵循 robots.txt 文件?

    是的。 默认情况下。只有经过验证的所有者才能允许 AhrefsSiteAudit 爬虫在他们的网站上违反 robots.txt。

  • 如何控制我网站上的 AhrefsSiteAudit 爬虫?

    由于 AhrefsSiteAudit 机器人严格遵循您网站上的 robots.txt 文件,因此您可以完全控制它的行为。如果您想阻止 AhrefsSiteAudit 访问您的站点,请将这两行添加到您服务器上的 robots.txt 文件中:
    用户代理:AhrefsSiteAudit不允许: /
    您还可以使用 robots.txt 文件允许或禁止抓取您网站的任何部分。在 www.robotstxt.org 阅读有关 robots.txt 的更多信息。Ahrefs网站诊断机器人会在每次新的抓取之前检查您的 robots.txt 文件。如果您的 robots.txt 包含错误,AhrefsSiteAudit 机器人将无法识别您的命令,它会继续像以前一样抓取您的网站。如果您认为 AhrefsSiteAudit 机器人在您的网站上行为不当或有任何疑问,请联系 [email protected],我们会尽力提供帮助。

还有其他问题吗?

如果您还有其他疑问,请
联系我们以便我们提供帮助。