AhrefsSiteAudit Crawler

Erfahren Sie mehr über den Web-Crawler, der Ahrefs' Site Audit Tool antreibt.

Version
6,1
Bot-Typ
Gut (Identifiziert sich selbst, hat einen offiziellen Namen)
Kategorie
SEO
Robots.txt befolgen.
Ja, standardmäßig (Website-Besitzer können beantragen, die robots.txt auf ihren Seiten zu ignorieren)
Befolgt Crawl-Delay
Ja, standardmäßig (Website-Betreiber können beantragen, dass das Crawl-Delay auf ihren Seiten nicht beachtet wird)
User-Agent String
Mozilla/5.0 (kompatibel; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
Mobile User-Agent String
Mozilla/5.0 (Linux; Android 13) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.128 Mobile Safari/537.36 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
Reverse-DNS-Suffix
ahrefs.com or ahrefs.net
IP-Adressbereich

Website-Status

Prüfe den Status deiner Website und ob sie gecrawled werden kann

Was ist der AhrefsSiteAudit-Crawler?

AhrefsSiteAudit ist ein Web-Crawler, der das Ahrefs Site Audit Tool ermöglicht. Ahrefs-Nutzer können Site Audit nutzen, um Websites zu analysieren und sowohl technische SEO- als auch On-Page-SEO-Probleme zu finden.

Dieser Bot kann jede Website crawlen, auf der kein Disallow gesetzt ist, und verhindert eine übermäßige Belastung der Webserver, indem er standardmäßig das Crawlen auf 1 Anfrage pro 2 Sekunden beschränkt. Wenn du Website-Besitzer bist, kannst du deine eigenen Websites mit höheren Geschwindigkeiten crawlen und dem AhrefsSiteAudit-Crawler erlauben, die robots.txt zu ignorieren. Dazu musst du die Inhaberschaft im Site Audit Tool verifizieren.

Fragen? Wir haben Antworten

  • Was macht der AhrefsSiteAudit-Bot auf meiner Website?

    Falls du AhrefsSiteAudit in deinen Server-Logs siehst, bedeutet das, dass jemand deine Website mit dem Ahrefs Site Audit Tool analysiert hat. Dieser Bot crawled eine Website und folgt internen Links von einer URL zur anderen. Er prüft außerdem Ressourcen wie CSS-, JS- und Bilddateien.Der AhrefsSiteAudit-Crawler fügt Ihrem Google Analytics-Datenverkehr keine Zahlen hinzu.
  • Beachtet es die Datei robots.txt?

    Ja, standardmäßigNur verifizierte Eigentümer können dem AhrefsSiteAudit-Crawler erlauben, robots.txt auf ihrer Website zu ignorieren.
  • Wie kontrolliere ich den AhrefsSiteAudit-Crawler auf meiner Website?

    Da der AhrefsSiteAudit-Bot die robots.txt-Datei auf Ihrer Website strikt befolgt, haben Sie die volle Kontrolle darüber, was er tut.Wenn du verhindern willst, dass AhrefsSiteAudit deine Seite besucht, füge diese zwei Zeilen in die robots.txt-Datei auf deinem Server ein:
    User-Agent: AhrefsSiteAuditDisallow: /
    Sie können auch das Crawling auf jedem Teil Ihrer Website mithilfe Ihrer robots.txt-Datei erlauben oder verbieten. Lesen Sie mehr über robots.txt unter www.robotstxt.org.Der AhrefsSiteAudit-Bot überprüft Ihre robots.txt-Datei vor jedem neuen Crawlvorgang.Wenn deine robots.txt Fehler enthält, kann der AhrefsSiteAudit-Bot deine Befehle nicht erkennen und wird deine Website weiterhin wie zuvor crawlen.Wenn du denkst, dass der AhrefsSiteAudit-Bot sich auf deiner Website unangemessen verhält oder wenn du Fragen hast, kontaktiere bitte [email protected] und wir werden unser Bestes tun, um dir zu helfen.

Du hast andere Fragen?

Falls du weitere Fragen hast,
kontaktiere uns, damit wir dir helfen können.