AhrefsSiteAudit Crawler

Lär dig om web-crawlern som driver Ahrefs' verktyg för webbplatsgranskning.

Version
6,1
Bottyp
Bra (Identifierar sig själv, har ett officiellt smeknamn)
Kategori
SEO
Följer robots.txt
Ja som standard (webbplatsägare kan begära att inte följa robots.txt på sina webbplatser)
Följer genomsökningsfördröjning
Ja som standard (webbplatsägare kan begära att inte följa crawl-fördröjning på sina webbplatser)
Urklippssträng för skrivbordsanvändaragenter
Mozilla/5.0 (kompatibel; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
Mobil användaragentsträng
Mozilla/5.0 (Linux; Android 13) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.128 Mobile Safari/537.36 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
Återvänd DNS-suffix
ahrefs.com or ahrefs.net
IP-adressområde

Webbplatsstatus

Kontrollera statusen för din webbplats och om den kan genomsökas

Vad är AhrefsSiteAudit-crawler?

AhrefsSiteAudit är en webbgivare som driver Ahrefs' Site Audit-verktyg. Ahrefs-användare kan använda Site Audit för att analysera webbplatser och hitta både tekniska SEO och SEO-problem på sidan.

Denna bot kan crawla vilken webbplats som helst om det inte är förbjudet, och förhindrar överdriven belastning på webbplatsens servrar genom att begränsa crawlingen till 1 förfrågan per 2 sekunder som standard. Om du är en webbplatsägare kan du crawla dina egna sidor i högre hastigheter och också tillåta AhrefsSiteAudit-crawler att ignorera robots.txt. För att göra det måste du verifiera ägande i Site Audit-verktyget.

Frågor? Vi har svar

  • Vad gör AhrefsSiteAudit-boten på min webbplats?

    Om du ser AhrefsSiteAudit i serverloggen betyder det att någon har gjort en analys av din webbplats med Ahrefs Site Audit-verktyg. Denna bot genomsöker en webbplats och följer dess interna länkar från en URL till en annan. Den kontrollerar också webbplatsresurser som CSS-filer, JS-filer och bilder.AhrefsSiteAudit-crawler lägger inte till siffror till din Google Analytics-trafik.
  • Respekterar den filen robots.txt?

    Ja. Som standard.Endast verifierade ägare kan tillåta att AhrefsSiteAudit crawlare ignorerar robots.txt på deras webbplats.
  • Hur kontrollerar jag AhrefsSiteAudit-crawlern på min webbplats?

    Eftersom AhrefsSiteAudit-boten strikt följer robots.txt-filen på din webbplats, har du full kontroll över vad den gör.Om du vill hindra AhrefsSiteAudit från att besöka din webbplats, lägg till dessa två rader i robots.txt-filen på din server:
    User-agent: AhrefsSiteAuditDisallow: /
    Du kan också tillåta eller förhindra genomsökning av delar av din webbplats med hjälp av robots.txt-filen. Läs mer om robots.txt på www.robotstxt.org.AhrefsSiteAudit-bot kontrollerar din robots.txt-fil innan varje ny genomsökning.Om din robots.txt innehåller fel, kan AhrefsSiteAudit-boten inte känna igen dina kommandon och kommer att fortsätta genomsöka din webbplats som tidigare.Om du tror att AhrefsSiteAudit-boten missköter sig på din webbplats eller har några frågor, vänligen kontakta [email protected] så ska vi göra vårt bästa för att hjälpa till.

Har du några andra frågor?

If you have more questions,
Kontakta oss so we can help.