AhrefsSiteAuditクローラー

Ahrefsのサイト監査ツールを強化する、Web クローラーについて学びましょう。

バージョン
6.1
Botタイプ
Good(自らを識別し、公式な呼称を持っている)
カテゴリ
SEO
robots.txtに従います
はい、デフォルトです(ウェブサイトの所有者は、自分のサイトでrobots.txtに従わないようにリクエストできます)
クロール遅延に従います
はい、デフォルトです(ウェブサイトの所有者は、ご自身のサイトでクロール遅延に従わないようにリクエストできます)
デスクトップuser-agent文字列
Mozilla/5.0 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
これはrobots.txt ファイルを尊重しますか?
Mozilla/5.0 (Linux; Android 13) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.128 Mobile Safari/537.36 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
リバースDNSサフィックス
ahrefs.com
IPアドレスの範囲

Webサイトステータス

ウェブサイトのステータスと、クロール可能かどうかを確認

AhrefsSiteAudit クローラーとは何ですか?

AhrefsSiteAudit は、Ahrefs のサイト監査ツールを強化するウェブクローラーです。Ahrefsユーザーは、サイト監査を使用してWebサイトを分析し、テクニカルSEOとオンページSEOの問題の両方を見つけることができます。

このボットは、禁止されていない限り、あらゆるWebサイトをクロールできますが、デフォルトのクロール頻度を2秒あたり1リクエストに制限することで、Webサイトサーバへの過剰な負荷を防ぎます。 Webサイトの所有者は、自分のサイトをより高速にクロールできるほか、AhrefsSiteAuditクローラーが robots.txtを無視できるようにすることもできます。 これを行うには、サイト監査ツールで所有権を確認する必要があります。

質問がありますか?私たちがお答えします

  • AhrefsSiteAudit botは、私のWebサイトでどのような振る舞いをしますか?

    サーバーログにAhrefsSiteAuditが表示される場合は、誰かがAhrefsのサイト監査ツールを使用してWebサイトの分析を行ったことを意味します。 このボットはWebサイトをクロールし、あるURLから別のURLへの内部リンクをたどります。 また、CSS ファイル、JSファイル、画像などWebサイトのリソースもチェックします。AhrefsSiteAuditクローラーは、Google Analyticsトラフィックに数値を追加しません。

  • これはrobots.txtファイルを尊重しますか?

    はい。デフォルトでは。認証された所有者のみが、AhrefsSiteAudit クローラーがサイト上のrobots.txtに従わないことを許可できます。

  • AhrefsSiteAuditの挙動を、私のWEBサイト上でコントロールするにはどうすればいいですか?

    AhrefsSiteAudit ボットは、Webサイト上のrobots.txtファイルに厳密に従っているため、その動作を完全に制御できます。AhrefsSiteAudit がサイトにアクセスしないようにするには、サーバー上のrobots.txtファイルに次の2行を追加してください。
    User-agent: AhrefsSiteAuditDisallow: /
    robots.txtファイルを使用して、Webサイトの任意の部分についてクロールを許可したり禁止したりすることもできます。 robots.txtの詳細については、 www.robotstxt.orgをご覧ください。AhrefsSiteAudit ボットは、新しいクロールの前にrobots.txtファイルをチェックします。robots.txtにエラーが含まれている場合、AhrefsSiteAuditボットはコマンドを認識できず、以前と同じようにWebサイトのクロールを継続します。AhrefsSiteAudit ボットがウェブサイト上で不正に動作していると思われる場合、またはご質問がある場合は、 [email protected] までご連絡ください。最善を尽くして対応させていただきます。

他にご質問はありますか?

質問がある場合は、
お問合せしてください。お手伝いします。