AhrefsBot

Saiba mais sobre o crawler que alimenta a Ahrefs.

Versão
7,0
Tipo de bot
Bom (identifica a si mesmo, tem um apelido oficial)
Categoria
Marketing
Obedece ao robots.txt
Sim
Obedece o atraso de rastreamento
Sim
String de agente de usuário
Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)
Sufixo DNS reversa
ahrefs.com or ahrefs.net
Intervalo de endereços IP

Status do website

Verifique o status do seu site e se ele pode ser rastreado

O que é o AhrefsBot?

AhrefsBot é um rastreador web que abastece o banco de dados tanto para Ahrefs, um conjunto de ferramentas de dados online, quanto para Yep, um motor de busca web de compartilhamento de receita. É o segundo rastreador mais ativo depois do Google, visitando mais de 8 bilhões de páginas da web a cada 24 horas e atualizando seu índice a cada 15–30 minutos.

Nosso bot indexa informações frescas e precisas sobre sites e seus conteúdos, e como eles se conectam entre si. Esses dados são incrivelmente úteis e podem ser aproveitados de várias formas:

  • Pesquise com o Yep para encontrar conteúdo de alta qualidade e todas as informações de que você precisa, enquanto apoia um mecanismo de busca alternativo que visa colocar dinheiro nos bolsos de seus criadores de conteúdo favoritos.

  • Se você é proprietário de um site, use Ahrefs para analisar a estrutura, conteúdo e backlinks do seu site para obter insights sobre seu desempenho – então otimize para melhorar a experiência do usuário, classificar-se melhor nos mecanismos de busca e obter mais tráfego.

  • Quando se trata de pesquisa em escala web, o Ahrefs permite que você explore como a popularidade de um site ou tópico específico mudou ao longo do tempo, quais sites estão vinculando a quais tipos de conteúdo, quantas vezes uma marca foi mencionada recentemente, e assim por diante.

/

Rank

Bot

Owner

Category

1

GoogleBot

Google

Search Engine Crawler

2

AhrefsBot

Ahrefs

Search Engine Optimization

3

Qualys

Qualys

Security

4

BingBot

Microsoft

Search Engine Crawler

5

Amazonbot

Amazon

AI Search

Rastreadores classificados pelo número de pedidos. Dados fornecidos em dezembro, 2024

Perguntas? Nós temos respostas

  • O AhrefsBot respeita ficheiros robots.txt?

    Sim. Absolutamente.Respeitamos estritamente o robos.txt tanto nas regras de disallow como allow.
  • Como controlo o AhrefsBot no meu website?

    Uma vez que o AhrefsBot segue estritamente o arquivo robots.txt no seu site, você está no controle total de como ele se comporta.Para alterar a frequência com que o AhrefsBot visita o seu site, basta especificar a aceitável duração mínima entre dois pedidos consecutivos no ficheiro robots.txt:
    User-agent: AhrefsBotCrawl-Delay: [value](Onde o valor Crawl-Delay é o tempo em segundos.)
    Se pretende impedir o AhrefsBot de visitar o seu site, adicione estas duas linhas ao ficheiro robots.txt no seu servidor:
    User-agent: AhrefsBotRetirar permissão: /
    Por favor note que o AhrefsBot pode precisar de algum tempo para reconhecer as alterações no ficheiro robots.txt. Isto é feito antes do próximo rastreio agendado.Além disso, se o robots.txt tiver erros, o AhrefsBot não conseguirá reconhecer seus comandos e continuará rastreando seu site da maneira que fazia antes.Leia mais sobre o robots.txt em www.robotstxt.org.Se considera que o AhrefsBot não se comporta bem no seu website ou se tiver alguma dúvida, entre em contato pelo endereço [email protected] e faremos o nosso melhor para o ajudar.

Tem outras dúvidas?

Se você tem mais perguntas,
contacte-nos para que possamos ajudar.