Erfahren Sie mehr über den Web-Crawler, der Ahrefs' Site Audit Tool antreibt.
Version | 6,1 |
---|---|
Bot-Typ | Gut (Identifiziert sich selbst, hat einen offiziellen Namen) |
Kategorie | SEO |
Robots.txt befolgen. | Ja, standardmäßig (Website-Besitzer können beantragen, die robots.txt auf ihren Seiten zu ignorieren) |
Befolgt Crawl-Delay | Ja, standardmäßig (Website-Betreiber können beantragen, dass das Crawl-Delay auf ihren Seiten nicht beachtet wird) |
User-Agent String | Mozilla/5.0 (kompatibel; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit) |
Mobile User-Agent String | Mozilla/5.0 (Linux; Android 13) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.128 Mobile Safari/537.36 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit) |
Reverse-DNS-Suffix | ahrefs.com or ahrefs.net |
IP-Adressbereich |
AhrefsSiteAudit ist ein Web-Crawler, der das Ahrefs Site Audit Tool ermöglicht. Ahrefs-Nutzer können Site Audit nutzen, um Websites zu analysieren und sowohl technische SEO- als auch On-Page-SEO-Probleme zu finden.
Dieser Bot kann jede Website crawlen, auf der kein Disallow gesetzt ist, und verhindert eine übermäßige Belastung der Webserver, indem er standardmäßig das Crawlen auf 1 Anfrage pro 2 Sekunden beschränkt. Wenn du Website-Besitzer bist, kannst du deine eigenen Websites mit höheren Geschwindigkeiten crawlen und dem AhrefsSiteAudit-Crawler erlauben, die robots.txt zu ignorieren. Dazu musst du die Inhaberschaft im Site Audit Tool verifizieren.
Was macht der AhrefsSiteAudit-Bot auf meiner Website?
Beachtet es die Datei robots.txt?
Wie kontrolliere ich den AhrefsSiteAudit-Crawler auf meiner Website?
Falls du weitere Fragen hast,
kontaktiere uns, damit wir dir helfen können.