Zaloguj się
Zarejestruj się

AhrefsSiteAudit Crawler

Dowiedz się o webcrawlerze, który napędza narzędzie Ahrefs do audytu witryny.

AhrefsBot

AhrefsSiteAudit

Wersja
6,1
Typ bota
Dobry (identyfikuje się, ma oficjalny przydomek)
Kategoria
SEO
Przestrzega robots.txt
Tak, domyślnie (właściciele witryn mogą zażądać nieprzestrzegania pliku robots.txt na swoich stronach)
Przestrzega opóźnienia indeksowania
Tak domyślnie (właściciele witryn mogą poprosić o nieprzestrzeganie opóźnienia crawl na swoich stronach)
Ciąg user-agent dla desktopu
Mozilla/5.0 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
Ciąg identyfikatora użytkownika mobilnego
Mozilla/5.0 (Linux; Android 13) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.128 Mobile Safari/537.36 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit)
Sufiks odwrotnego DNS
ahrefs.com or ahrefs.net
Zakres adresów IP
Obecna lista, dokumentacja API

Status strony internetowej

Sprawdź status swojej strony i czy można ją przeszukać

Czym jest crawler AhrefsSiteAudit?

AhrefsSiteAudit to robot sieciowy, który zasila narzędzie Site Audit Ahrefs. Użytkownicy Ahrefs mogą korzystać z Site Audit do analizy stron internetowych i znajdowania zarówno technicznych problemów SEO, jak i problemów SEO na stronie.

Ten bot może przeszukiwać każdą stronę, o ile nie jest to zabronione, i zapobiega nadmiernemu obciążeniu serwerów stron internetowych, ograniczając przeszukiwanie do 1 żądania na 2 sekundy domyślnie. Jeśli jesteś właścicielem strony internetowej, możesz szybciej przeszukiwać własne strony i pozwolić skanerowi AhrefsSiteAudit ignorować robots.txt. Aby to zrobić, musisz zweryfikować własność w narzędziu Site Audit.

Pytania? Mamy odpowiedzi

  • Co robi bot AhrefsSiteAudit na mojej stronie internetowej?

    Jeśli widzisz AhrefsSiteAudit w logu serwera, oznacza to, że ktoś przeprowadził analizę Twojej strony internetowej za pomocą narzędzia Site Audit od Ahrefs. Ten bot przeszukuje stronę i podąża za jej wewnętrznymi linkami od jednego URL do drugiego. Sprawdza także zasoby strony, takie jak pliki CSS, JS i obrazy.Crawler AhrefsSiteAudit nie dodaje liczb do ruchu w Google Analytics.

  • Czy respektuje plik robots.txt?

    Tak. Domyślnie.Tylko zweryfikowani właściciele mogą zezwolić botowi AhrefsSiteAudit na nieprzestrzeganie pliku robots.txt na swojej stronie.

  • Jak kontrolować AhrefsSiteAudit crawler na mojej stronie?

    Ponieważ bot AhrefsSiteAudit ściśle przestrzega pliku robots.txt na twojej stronie, masz pełną kontrolę nad tym, co robi.Jeśli chcesz, aby AhrefsSiteAudit przestał odwiedzać twoją stronę, dodaj te dwie linie do pliku robots.txt na swoim serwerze:
    User-agent: AhrefsSiteAuditDisallow: /
    Możesz także zezwolić lub zabronić indeksowania dowolnej części swojej strony za pomocą pliku robots.txt. Więcej na temat robots.txt możesz przeczytać na www.robotstxt.org.Bot AhrefsSiteAudit sprawdza Twój plik robots.txt przed każdym nowym skanowaniem.Jeśli Twój plik robots.txt zawiera błędy, bot AhrefsSiteAudit nie będzie w stanie rozpoznać Twoich poleceń i będzie kontynuował przeszukiwanie Twojej strony tak jak wcześniej.Jeśli uważasz, że bot AhrefsSiteAudit nie działa poprawnie na Twojej stronie lub masz jakiekolwiek pytania, prosimy o kontakt na [email protected], a my dołożymy wszelkich starań, aby pomóc.

Masz inne pytania?

Jeśli masz więcej pytań,
skontaktuj się z nami, abyśmy mogli pomóc.