AI-пошук

AI-краулери і SEO: яких ботів дозволити, а яких блокувати

Доступ AI-краулерів визначає, чи можуть AI-асистенти знайти й цитувати ваш сайт. Блокування ботів для навчання не шкодить позиціям у Google, а блокування пошукових ботів, як-от OAI-SearchBot, прибирає вас з AI-пошуку.

Автор: Дослідницька команда SEORecheck, SEO-аудиториОпубліковано 9 хв читання

Панель керує доступом ШІ-краулерів: два сині маршрути відкриті, а бурштиновий шлях до вмісту сайту відключений.
Вибирайте, які ШІ-краулери матимуть доступ до сайту

Доступ AI-краулерів — це набір правил (у robots.txt, файрволі та CDN), який визначає, яким AI-ботам дозволено завантажувати ваші сторінки. Для SEO це важливо, бо інструменти AI-пошуку можуть цитувати лише ті сторінки, до яких дістаються їхні краулери. Якщо заблокувати AI-ботів для навчання, позиції в Google не постраждають. Якщо заблокувати пошукових AI-ботів, ви зникнете з відповідей відповідного інструмента.

Складність у тому, що одна компанія часто має кілька ботів із різними завданнями. Заблокуєте не того — втратите AI-цитування, на які розраховували. Залишите відкритим не того — ваш контент потрапить у дані для навчання, хоча ви хотіли цього уникнути. У цьому гайді ми розкладаємо ботів за завданнями, пояснюємо, чого коштує кожне рішення, і показуємо, як перевірити, кого ваш сайт насправді пропускає.

Що таке AI-краулери і чи всі вони однакові?

Ні. AI-краулери поділяються на три групи: пошукові боти, які індексують сторінки, щоб AI-інструмент міг їх цитувати; фетчери на запит користувача, які завантажують сторінку, коли хтось питає про неї асистента; і боти для навчання, які збирають контент для майбутніх моделей. Для кожної групи потрібне окреме рішення, а кожен розробник документує власні токени user-agent.

Документація самих компаній чітко розмежовує ці ролі:

  • OpenAI. У документації OpenAI про краулери OAI-SearchBot описано як бота, що показує сайти в пошукових функціях ChatGPT, а GPTBot — як краулер для навчання базових моделей. ChatGPT-User виконує дії, ініційовані користувачем, і, за словами OpenAI, правила robots.txt до нього «можуть не застосовуватися».
  • Anthropic. На сторінці довідки Anthropic перелічено ClaudeBot (навчання моделей), Claude-User (завантажує сторінки, коли користувачі Claude ставлять запитання) і Claude-SearchBot (індексація для покращення результатів пошуку).
  • Perplexity. У гайді Perplexity про ботів PerplexityBot описано як бота, що показує сайти й посилання на них у результатах пошуку, а не для навчання моделей. Perplexity-User підтримує дії користувачів і «загалом ігнорує правила robots.txt».
  • Google. У списку поширених краулерів Google Google-Extended — це токен robots.txt, який керує тим, чи може Google використовувати ваш контент для навчання моделей Gemini та для обґрунтування (grounding) відповідей у застосунках Gemini і Vertex AI. Окремого рядка user-agent у нього немає.

Яких AI-ботів дозволити, а яких заблокувати?

Для більшості компаній, яким важливо, щоб клієнти їх знаходили, розумний варіант за замовчуванням — дозволити пошукових AI-ботів і фетчери на запит користувача, а щодо ботів для навчання ухвалити окреме бізнес-рішення. Блокування бота для навчання не прибирає вас з AI-пошуку. Блокування пошукового бота — прибирає.

Бот (токен robots.txt) Оператор Завдання Якщо заблокувати Дотримується robots.txt?
Googlebot Google Google Пошук, зокрема AI Overviews і AI Mode Ви втрачаєте Google Пошук і AI-функції Google Так
Google-Extended Google Навчання Gemini і grounding поза Пошуком Не впливає на позиції та видимість у Google Пошуку Так (лише токен)
OAI-SearchBot OpenAI Результати пошуку ChatGPT Сторінки перестають показуватися в пошуку ChatGPT Так
GPTBot OpenAI Навчання моделей Новий контент не потрапляє в навчання Так
ChatGPT-User OpenAI Завантаження на запит користувача Robots.txt може не застосовуватися Не завжди
Claude-SearchBot Anthropic Пошукова індексація Може знизити видимість у пошукових результатах Claude Так
Claude-User Anthropic Завантаження на запит користувача Може знизити видимість, коли користувачі питають про вас Так
ClaudeBot Anthropic Навчання моделей Новий контент не потрапляє в навчання Так
PerplexityBot Perplexity Результати пошуку Perplexity Perplexity не показує сторінки й не посилається на них Так
Perplexity-User Perplexity Завантаження на запит користувача Robots.txt загалом ігнорується Ні

Microsoft Copilot стоїть окремо. Він здебільшого спирається на індекс Bing, тож доступ до нього залежить від Bingbot і власних налаштувань Bing. Докладно про це — у нашому гайді з оптимізації під пошук Microsoft Copilot.

Приклад robots.txt, що розділяє пошук і навчання

Цей файл пропускає пошукових AI-ботів і фетчери на запит користувача, але відмовляється від навчання. Беріть ідею, а не копіюйте файл наосліп: спершу звірте його з власними правилами.

# AI-пошук і фетчери на запит користувача: дозволено
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /

# Навчання моделей: відмова
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

# Усі інші, зокрема Googlebot
User-agent: *
Disallow: /cart/
Disallow: /account/

Памʼятайте: краулер виконує лише найконкретнішу групу, що йому відповідає. Бот, названий у власній групі, ігнорує ваші правила User-agent: *, тому продублюйте в цій групі заборони для закритих розділів. Як працюють групи та зіставлення правил, пояснює наш гайд robots.txt для SEO.

Чи шкодить блокування AI-краулерів позиціям у Google?

Блокування Google-Extended, GPTBot, ClaudeBot чи інших ботів не від Google не змінює ваших позицій у Google. Google заявляє, що Google-Extended не є сигналом ранжування і не впливає на видимість у Пошуку. Єдине «AI-повʼязане» блокування, яке шкодить у Google, — це блокування Googlebot, бо AI-функції Google побудовані на звичайному індексі Пошуку.

Це найпоширеніше непорозуміння, яке ми бачимо. Власники сайтів додають Google-Extended у robots.txt, щоб «не потрапляти в AI Overviews», і зʼясовують, що там це нічого не змінює. На сторінці Google про AI-функції сказано: щоб зʼявитися як допоміжне посилання в AI Overviews або AI Mode, сторінка має бути проіндексована й придатна для показу в Google Пошуку зі сніпетом. Там же названо засоби, які це обмежують: nosnippet, data-nosnippet, max-snippet і noindex.

Гайд Google з оптимізації під генеративні AI-функції додає ще одну вимогу: сайт має бути включений у генеративні AI-функції Пошуку в Search Console. У тому ж гайді сказано, що спеціальні текстові файли чи розмітка для AI не потрібні. Файли на кшталт llms.txt «ні шкодять, ні допомагають» видимості в Google Пошуку.

На практиці:

  • Хочете залишитися в Google Пошуку, але не потрапляти в AI Overviews? Задокументований інструмент — контроль сніпетів на відповідних сторінках. Він також скорочує ваші звичайні сніпети, тож користуйтеся ним помірно.
  • Не хочете, щоб контент ішов на навчання Gemini? Заборонити Google-Extended. Позиції в Пошуку залишаться без змін.
  • Хочете, щоб вас цитували ChatGPT, Claude чи Perplexity? Дозвольте їхніх пошукових ботів і фетчери на запит користувача. Ці інструменти не читають індекс Google напряму.

Чого коштує блокування пошукових AI-ботів?

Блокування пошукового AI-бота означає, що відповідний інструмент не може індексувати ваші сторінки, а отже, не може цитувати їх чи посилатися на них — навіть коли хтось питає про вашу компанію за назвою. Асистент усе одно може відповісти, але на основі інших сайтів, каталогів чи застарілих даних і без вашої сторінки як джерела.

Подумайте, хто ставить AI-асистентам запитання на кшталт «хто встановлює теплові насоси поруч зі мною», «чи можна довіряти [бренд]» або «порівняй [продукт] і [конкурент]». Часто це люди, які вже майже готові купувати. Якщо OAI-SearchBot або PerplexityBot заблоковано, такі відповіді формуються з сайтів відгуків, сайтів конкурентів або ваших старих оголошень. Тому ми розглядаємо доступ пошукових ботів як частину SEO, а не як питання ліцензування контенту.

З ботами для навчання компроміс інший. Якщо їх дозволити, моделі з часом можуть краще дізнатися про ваш бренд, але жоден розробник не документує звʼязку між доступом для навчання та цитуванням. Якщо ваш контент — це і є ваш продукт (платні дослідження, курси, оригінальні дані), розумна золота середина — відмовитися від навчання, зберігши доступ для пошуку.

Щодо термінів: OpenAI зазначає, що після оновлення robots.txt її системам може знадобитися близько 24 годин, щоб підлаштуватися. Не оцінюйте зміну того самого дня.

Чому AI-краулери можуть бути заблоковані без вашого відома?

Багато сайтів блокують AI-ботів, хоча ніхто такого рішення не ухвалював. Типові причини — налаштування CDN за замовчуванням, функції захисту від ботів, плагіни безпеки та правила файрволу, які влаштовують перевірку будь-якому трафіку не з браузера. У robots.txt може стояти «allow», а файрвол тим часом повертає 403 або сторінку перевірки.

Найпомітніший приклад — Cloudflare. 1 липня 2025 року компанія змінила налаштування за замовчуванням і почала блокувати AI-краулери, якщо вони не платять авторам контенту. Якщо ваш сайт відтоді переїхав на Cloudflare або ви ввімкнули там функції захисту від ботів, перевірте фактичні налаштування, а не покладайтеся на припущення.

Інші поширені «тихі» блокування:

  • Перемикачі Bot Fight чи «block AI scrapers». Perplexity зазначає, що Bot Fight Mode у Cloudflare не можна обійти власними правилами WAF, тож для allow-list можуть знадобитися інші налаштування.
  • Блокування за IP. Anthropic попереджає, що блокування за IP може працювати ненадійно, бо через нього боти можуть узагалі не прочитати ваші налаштування в robots.txt.
  • Ліміти запитів (rate limits), які гальмують сплески запитів від одного краулера.
  • Правила зі стейджингу, що залишилися після запуску, як-от суцільний Disallow: / або захищений паролем шлях.

Якщо додаєте ботів в allow-list у файрволі, перевіряйте їх як слід. Perplexity радить зіставляти і рядок user-agent, і опубліковані діапазони IP, бо user-agent може підробити будь-хто. OpenAI, Anthropic і Perplexity публікують для цього списки IP.

Чи можуть AI-краулери прочитати ваш контент, коли вже отримали доступ?

Не завжди. Самого доступу замало: багато AI-краулерів читають лише сирий HTML і не виконують JavaScript. Якщо основний текст, ціни чи характеристики товарів зʼявляються лише після виконання скриптів, AI-бот із повним доступом може побачити майже порожню сторінку.

Аналіз трафіку AI-краулерів від Vercel і MERJ, опублікований у грудні 2024 року, показав, що «жоден із великих AI-краулерів наразі не рендерить JavaScript», зокрема GPTBot, ClaudeBot і PerplexityBot. Вони завантажували JavaScript-файли, але не виконували їх. Те саме дослідження зафіксувало, що близько третини запитів GPTBot і ClaudeBot потрапляли на сторінки 404 — ще одна причина тримати в порядку редиректи та старі URL ресурсів.

Google працює інакше. Його гайд з AI-оптимізації стверджує, що Google може обробляти JavaScript-контент, якщо той не заблокований. Тож сайт із клієнтським рендерингом може добре почуватися в AI Overviews і водночас бути невидимим для ChatGPT чи Perplexity. Рішення — серверний рендеринг, статична генерація або принаймні ключовий контент у початковому HTML. Як це перевірити, читайте в статті про проблеми рендерингу JavaScript для SEO.

Як перевірити доступ AI-краулерів до вашого сайту?

Перевіряйте три рівні по черзі: що robots.txt каже кожному AI user-agent, що сервер насправді повертає цим ботам і що містить сирий HTML. Будь-яка розбіжність між двома рівнями — це знахідка. Потім підтвердьте за серверними логами, що до ваших сторінок доходять справжні, верифіковані боти.

  1. Прочитайте robots.txt очима кожного бота. Відкрийте /robots.txt і для кожного токена з таблиці вище знайдіть групу, яка до нього застосовується. Зверніть увагу на широку заборону в User-agent: *, під яку потрапляють боти, яких ви не перелічили.
  2. Перевірте відповідь сервера. Запросіть ключову сторінку з рядком user-agent бота (наприклад, через curl -A). Код 403, 503 або сторінка перевірки означає, що файрвол чи CDN переважує robots.txt. Тести з підробленим user-agent можуть оброблятися інакше, ніж запити зі справжніх IP ботів, тож підтвердьте результат і в логах.
  3. Порівняйте сирий HTML із відрендереною сторінкою. Дивіться вихідний код сторінки, а не інспектор. Якщо заголовків, основного тексту чи цін немає у вихідному коді, AI-боти, які не рендерять JavaScript, їх не побачать.
  4. Перевірте контроль сніпетів. Шукайте nosnippet, max-snippet або data-nosnippet на сторінках, які ви хочете бачити в цитатах.
  5. Перевірте логи. Відфільтруйте логи доступу за AI user-agent і зіставте їхні IP з опублікованими списками. Покроково це описано в нашому гайді з аналізу серверних логів для SEO.
  6. Запитайте асистентів. Поставте ChatGPT, Claude і Perplexity запитання про вашу компанію та подивіться, чи цитують вони ваші сторінки.

Якщо не хочете робити все це вручну, безкоштовний SEO-аудит від SEORecheck перевіряє доступ AI-краулерів у robots.txt для пошукових, користувацьких і навчальних ботів, контроль сніпетів, текст, що зʼявляється лише після виконання JavaScript, і вашу розмітку Organization/sameAs. Як подаються результати цих перевірок, можна подивитися у зразку звіту.

Після будь-яких змін робіть повторну перевірку. Оновлення плагіна, налаштування CDN чи нове правило файрволу можуть непомітно скасувати ваші правила доступу. Тримайте robots.txt у системі контролю версій і додайте тест AI-ботів до чеклиста релізу.

Головне

  • AI-боти виконують різні завдання: пошукову індексацію, завантаження на запит користувача та навчання моделей. Ухвалюйте рішення для кожної групи окремо.
  • Блокування Google-Extended, GPTBot чи ClaudeBot не впливає на позиції в Google. Блокування Googlebot прибирає вас із Google Пошуку та його AI-функцій.
  • Щоб зʼявлятися в AI Overviews і AI Mode, сторінка має бути проіндексована й придатна для показу зі сніпетом, а сайт — включений у генеративні AI-функції Пошуку в Search Console. llms.txt не допомагає в Google Пошуку.
  • Блокування OAI-SearchBot, Claude-SearchBot чи PerplexityBot не дає вашим сторінкам потрапляти у відповіді та цитування цих інструментів.
  • Файрволи й CDN, особливо Cloudflare з блокуванням AI за замовчуванням від липня 2025 року, часто блокують ботів, яких robots.txt дозволяє.
  • Багато AI-краулерів не виконують JavaScript, тож розміщуйте ключовий контент у початковому HTML.
  • Перевіряйте доступ у robots.txt, у відповідях сервера, у сирому HTML і в логах, а потім повторюйте перевірку після кожного деплою.
Усі статті
Золота позначка над даними компанії показує оптимізацію для ШІ-пошуку для місцевого бізнесу.

AI-пошук

Оптимізація під AI-пошук для локального бізнесу: гайд

Для локального бізнесу оптимізація під AI-пошук — це точні профілі, однакові дані на сайті, доступні для сканування сторінки послуг і локацій, доступ ШІ-краулерів і справжні відгуки. Окремого «трюку для ШІ» немає.

9 хв читання

Синій промінь сканує ціни, функції, інтеграції й документацію — оптимізація SaaS для ШІ-пошуку.

AI-пошук

GEO-оптимізація для SaaS: як потрапити в AI-пошук

GEO-оптимізація для SaaS означає, що сайт, документація, ціни та інтеграції доступні для сканування, індексуються й легко цитуються. Тоді AI-асистенти правильно описують ваш продукт, коли покупці порівнюють інструменти.

10 хв читання

Товари й дані проходять крізь сяйний шлюз у результати: оптимізація ШІ-пошуку для електронної комерції.

AI-пошук

GEO для інтернет-магазину: оптимізація під AI-пошук

GEO для інтернет-магазину — це відкриття даних про товари через фіди, індексовані сторінки й доступ краулерів, щоб AI-відповіді точно показували, описували товари й посилалися на них.

9 хв читання