AhrefsBot

Erfahren Sie mehr über den Webcrawler, der Ahrefs antreibt.

Version
7,0
Bot-Typ
Gut (Identifiziert sich selbst, hat einen offiziellen Namen)
Kategorie
Marketing
Robots.txt befolgen.
Ja
Befolgt Crawl-Delay
Ja
User-Agent String
Mozilla/5.0 (kompatibel; AhrefsBot/7.0; +http://ahrefs.com/robot/)
Reverse-DNS-Suffix
ahrefs.com or ahrefs.net
IP-Adressbereich

Website-Status

Prüfe den Status deiner Website und ob sie gecrawled werden kann

Was ist der AhrefsBot?

AhrefsBot ist ein Web-Crawler, der die Datenbank sowohl für Ahrefs, ein Online-Datentoolset, als auch Yep, eine umsatzbeteiligte Web-Suchmaschine, speist. Er ist der zweitaktivste Crawler nach Google und besucht alle 24 Stunden über 8 Milliarden Webseiten und aktualisiert seinen Index alle 15–30 Minuten.

Unser Bot indexiert frische, genaue Informationen über Websites und ihre Inhalte und wie sie miteinander verlinkt sind. Diese Daten sind unglaublich nützlich und können auf viele Arten genutzt werden:

  • Suchen Sie mit Yep nach hochwertigen Inhalten und allen Informationen, die Sie benötigen, und unterstützen Sie gleichzeitig eine alternative Suchmaschine, die darauf abzielt, Geld in die Taschen Ihrer Lieblingsinhaltsautoren zu stecken.

  • Wenn Sie ein Webseitenbesitzer sind, nutzen Sie Ahrefs, um die Struktur, den Inhalt und die Backlinks Ihrer Website zu analysieren, um Einblicke in deren Leistung zu gewinnen – optimieren Sie sie anschließend, um die Benutzererfahrung zu verbessern, höher in Suchmaschinen zu ranken und mehr Traffic zu erhalten.

  • Wenn es um Web-Scale-Forschung geht, ermöglicht Ihnen Ahrefs, tief zu erforschen, wie sich die Beliebtheit einer Website oder eines bestimmten Themas im Laufe der Zeit verändert hat, welche Websites auf welche Inhalte verlinken, wie oft eine Marke zuletzt erwähnt wurde und so weiter.

/

Rank

Bot

Owner

Category

1

GoogleBot

Google

Search Engine Crawler

2

AhrefsBot

Ahrefs

Search Engine Optimization

3

Qualys

Qualys

Security

4

BingBot

Microsoft

Search Engine Crawler

5

Amazonbot

Amazon

AI Search

Bots, sortiert nach Anzahl der Anfragen. Daten bereitgestellt ab Dezember 2024

Fragen? Wir haben Antworten

  • Beachtet AhrefsBot die robots.txt?

    Ja. Absolut.Wir folgen den Disallow und Allow Regeln in der robots.txt.
  • Wie kontrolliere ich AhrefsBot auf meiner Website?

    Da AhrefsBot die robots.txt-Datei auf Ihrer Website strikt befolgt, haben Sie die volle Kontrolle darüber, was er tut.Um die Häufigkeit zu ändern, mit der AhrefsBot Ihre Website besucht, geben Sie einfach die minimale akzeptable Verzögerung zwischen zwei aufeinanderfolgenden Anfragen in Ihrer robots.txt-Datei an:
    User-Agent: AhrefsBotCrawl-Verzögerung: [value](Wobei die Crawl-Verzögerung in Sekunden angegeben wird.)
    Wenn Sie möchten, dass AhrefsBot nicht mehr Ihre Website besucht, fügen Sie diese zwei Zeilen in die robots.txt-Datei auf Ihrem Server ein:
    User-Agent: AhrefsBotDisallow: /
    Bitte beachte, dass AhrefsBot etwas Zeit benötigt, um die Änderungen in deiner robots.txt-Datei zu erkennen. Dies geschieht vor dem nächsten geplanten Crawl.Auch wenn Ihre robots.txt Fehler enthält, kann AhrefsBot Ihre Befehle nicht erkennen und wird Ihre Website weiterhin wie zuvor crawlen.Lesen Sie mehr über robots.txt auf www.robotstxt.org.Wenn Sie denken, dass AhrefsBot sich auf Ihrer Website unangemessen verhält oder wenn Sie Fragen haben, kontaktieren Sie bitte [email protected] und wir werden unser Bestes tun, um Ihnen zu helfen.

Du hast andere Fragen?

Falls du weitere Fragen hast,
kontaktiere uns, damit wir dir helfen können.