Crawlers AhrefsSiteAudit

Scopri il web crawler che alimenta lo strumento di controllo del sito di Ahrefs.

Versione
6.1
Tipo di bot
Buono (Si identifica, ha un soprannome ufficiale)
Categoria
Ottimizzazione per i motori di ricerca
Obeys robots.txt
Sì per impostazione predefinita (i proprietari di siti web possono richiedere di disobbedire a robots.txt sui loro siti)
Obeys crawl delay
Sì per impostazione predefinita (i proprietari di siti web possono richiedere di non rispettare il ritardo della scansione sui loro siti)
Stringa agent utente desktop
Mozilla/5.0 (compatibile; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
Stringa del user-agent mobile
Mozilla/5.0 (Linux; Android 13) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.128 Mobile Safari/537.36 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
Suffisso DNS inverso
ahrefs.com or ahrefs.net
Intervallo di indirizzi IP

Website status

Controlla lo stato del tuo sito web e se può essere scansionato

What is AhrefsSiteAudit crawler?

AhrefsSiteAudit è un crawler web che supporta il tool di Audit Sito di Ahrefs. Gli utenti di Ahrefs possono utilizzare Site Audit per analizzare i siti web e trovare problemi sia di SEO tecnico che di SEO on-page.

Questo bot può eseguire la scansione di qualsiasi sito web a meno che non sia vietato, e previene il carico eccessivo sui server del sito web limitando la scansione a 1 richiesta ogni 2 secondi per impostazione predefinita. Se sei il proprietario di un sito web, puoi eseguire la scansione dei tuoi siti a velocità più elevate e consentire al crawler AhrefsSiteAudit di ignorare robots.txt. Per farlo, dovrai verificare la proprietà con lo strumento Site Audit.

Domande? Abbiamo risposte

  • What is AhrefsSiteAudit bot doing on my website?

    Se vedi AhrefsSiteAudit nei log del tuo server, significa che qualcuno ha effettuato un'analisi del tuo sito web utilizzando lo strumento di Audit del Sito di Ahrefs. Questo bot esegue il crawling di un sito web e segue i suoi collegamenti interni da un URL all'altro. Controlla anche le risorse del sito web come file CSS, file JS e immagini.Il crawler AhrefsSiteAudit non aggiunge numeri al traffico di Google Analytics.
  • Rispetta il file robots.txt?

    Sì. Di default.Solo i proprietari verificati possono permettere al crawler AhrefsSiteAudit di ignorare il file robots.txt sul loro sito.
  • Come controllo il crawler AhrefsSiteAudit sul mio sito web?

    Poiché il bot AhrefsSiteAudit segue rigorosamente il file robots.txt sul tuo sito web, hai il pieno controllo di ciò che fa.Se desideri impedire ad AhrefsSiteAudit di visitare il tuo sito, aggiungi queste due righe nel file robots.txt sul tuo server:
    User-agent: AhrefsSiteAuditDisallow: /
    You can also allow or disallow crawling on any part of your website with your robots.txt file. Read more about robots.txt at www.robotstxt.org.AhrefsSiteAudit bot checks your robots.txt file before each new crawl.Se il tuo robots.txt contiene errori, il bot AhrefsSiteAudit non sarà in grado di riconoscere i tuoi comandi e continuerà a eseguire la scansione del tuo sito web come faceva prima.Se pensi che il bot AhrefsSiteAudit si stia comportando in modo scorretto sul tuo sito web o se hai domande, contatta [email protected] e faremo del nostro meglio per aiutarti.

Hai altre domande?

Se hai altre domande,
contattaci così possiamo aiutarti.