AhrefsBot

Découvrez le robot d’exploration Web qui alimente Ahrefs.

Version
7.0
Type de robot
Bon (s’identifie, a un surnom officiel)
Catégorie
Commercialisation
Obéit à robots.txt
Oui
Obéit au délai d’exploration
Oui
Chaîne d’agent utilisateur
Mozilla/5.0 (compatible ; AhrefsBot/7.0 ; +http://ahrefs.com/robot/)
Suffixe DNS inversé
ahrefs.com
Plage d’adresses IP

Statut du site Web

Vérifiez l’état de votre site Web et s’il peut être exploré

Qu’est-ce qu’AhrefsBot ?

AhrefsBot est un robot d’exploration Web qui alimente la base de données pour Ahrefs, un ensemble d’outils de données en ligne, et Yep, un moteur de recherche Web à partage de revenus. Il s’agit du troisième robot d’exploration le plus actif après Google et Bing, visitant plus de 8 milliards de pages Web toutes les 24 heures et mettant à jour son index toutes les 15 à 30 minutes.

Notre bot indexe des informations récentes et précises sur les sites Web et leur contenu, ainsi que sur la manière dont ils sont liés les uns aux autres. Ces données sont incroyablement utiles et peuvent être exploitées de plusieurs façons :

  • Effectuez une recherche avec Yep pour trouver un contenu de qualité supérieure et toutes les informations dont vous avez besoin, tout en prenant en charge un moteur de recherche alternatif qui vise à mettre de l’argent dans les poches de vos créateurs de contenu préférés.

  • Si vous êtes propriétaire d’un site Web, utilisez Ahrefs pour analyser la structure, le contenu et les backlinks de votre site Web afin de fournir des informations sur ses performances, puis optimisez-le pour améliorer l’expérience utilisateur, vous classer plus haut dans les moteurs de recherche et obtenir plus de trafic.

  • En ce qui concerne la recherche à l’échelle du Web, Ahrefs vous permet de découvrir comment la popularité d’un site Web ou d’un sujet spécifique a changé au fil du temps, quels sites Web sont liés à quels types de contenu, combien de fois une marque a été mentionnée récemment, etc. sur.

/

Rank

Bot

Owner

Category

1

GoogleBot

Google

Search Engine Crawler

2

BingBot

Microsoft

Search Engine Crawler

3

DataDog Synthetic Bot

DataDog

Monitoring & Analytics

4

AhrefsBot

Ahrefs

Search Engine Optimization

5

Qualys

Qualys

Search Engine Crawler

6

YandexBot

Yandex

Search Engine Crawler

7

PetalBot

Huawei

Search Engine Crawler

8

Google AdsBot

Google

SAdvertising & Marketing

9

Google Image Proxy

Google

Page Preview

10

Google Images

Google

Search Engine Crawler

Bots classés par nombre de requêtes. Données fournies en avril 2023

Des questions? Nous avons des réponses

  • AhrefsBot respecte-t-il les fichiers robots.txt ?

    Oui. Absolument.Nous respectons strictement robots.txt sur les règles d’interdiction et d’autorisation.

  • Comment contrôler AhrefsBot sur mon site Web ?

    Étant donné qu’AhrefsBot suit strictement le fichier robots.txt sur votre site Web, vous contrôlez totalement ce qu’il fait.Pour modifier la fréquence à laquelle AhrefsBot visite votre site, il vous suffit de préciser le délai minimum acceptable entre deux requêtes consécutives dans votre fichier robots.txt :
    Agent utilisateur : AhrefsBotDélai d’exploration : [valeur](Où la valeur Crawl-Delay est le temps en secondes.)
    Si vous souhaitez empêcher AhrefsBot de visiter votre site, ajoutez ces deux lignes au fichier robots.txt sur votre serveur :
    Agent utilisateur : AhrefsBotInterdire : /
    Veuillez noter qu’AhrefsBot peut avoir besoin d’un certain temps pour récupérer les modifications dans votre fichier robots.txt. Ceci est fait avant la prochaine analyse planifiée.De plus, si votre fichier robots.txt contient des erreurs, AhrefsBot ne pourra pas reconnaître vos commandes et il continuera à explorer votre site Web comme il le faisait auparavant.En savoir plus sur robots.txt sur www.robotstxt.org.Si vous pensez qu’AhrefsBot se comporte mal sur votre site Web ou si vous avez des questions, veuillez contacter [email protected] et nous ferons de notre mieux pour vous aider.

Vous avez d’autres questions?

Si vous avez d’autres questions,
Nous contacter afin que nous puissions vous aider.