Дізнайтеся про веб-краулер, що забезпечує роботу інструмента аудиту сайту Ahrefs.
| Версія | 6,1 |
|---|---|
| Тип бота | Добре (ідентифікує себе, має офіційну назву) |
| Категорія | SEO |
| Дотримується robots.txt | Так, за замовчуванням (власники вебсайтів можуть запитувати, щоб не виконувати robots.txt на їхніх сайтах) |
| Дотримується затримки сканування | Так, за замовчуванням (власники сайтів можуть подати запит на невиконання часу затримки краулінгу на їхніх сайтах) |
| Рядок user-agent для настільного пристрою | Mozilla/5.0 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit) |
| Мобільний рядок агенту користувача | Mozilla/5.0 (Linux; Android 13) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.5359.128 Mobile Safari/537.36 (compatible; AhrefsSiteAudit/6.1; +http://ahrefs.com/robot/site-audit) |
| Зворотний DNS суфікс | ahrefs.com or ahrefs.net |
| Діапазон IP адрес |
AhrefsSiteAudit — це веб-краулер, що живить інструмент аудиту сайту від Ahrefs. Користувачі Ahrefs можуть використовувати Аудит сайту для аналізу вебсайтів і виявлення як технічних SEO-проблем, так і проблем SEO на сторінках.
Цей бот може сканувати будь-який сайт, якщо це не заборонено, і запобігає надмірному навантаженню на сервери вебсайтів, обмежуючи сканування до 1 запиту кожні 2 секунди за замовчуванням. Якщо ви є власником вебсайту, ви можете сканувати свої сайти на вищій швидкості та дозволити сканеру AhrefsSiteAudit ігнорувати robots.txt. Щоб це зробити, вам потрібно буде підтвердити право власності в інструменті Site Audit.
Що робить бот AhrefsSiteAudit на моєму веб-сайті?
Чи враховує він файл robots.txt?
Як я можу контролювати AhrefsSiteAudit сканер на своєму веб-сайті?
Якщо у вас виникли додаткові запитання,
зв'яжіться з нами, щоб ми могли допомогти.