AI-пошук
AI-краулери і SEO: яких ботів дозволити, а яких блокувати
Доступ AI-краулерів визначає, чи можуть AI-асистенти знайти й цитувати ваш сайт. Блокування ботів для навчання не шкодить позиціям у Google, а блокування пошукових ботів, як-от OAI-SearchBot, прибирає вас з AI-пошуку.
Автор: Дослідницька команда SEORecheck, SEO-аудиториОпубліковано 9 хв читання

Доступ AI-краулерів — це набір правил (у robots.txt, файрволі та CDN), який визначає, яким AI-ботам дозволено завантажувати ваші сторінки. Для SEO це важливо, бо інструменти AI-пошуку можуть цитувати лише ті сторінки, до яких дістаються їхні краулери. Якщо заблокувати AI-ботів для навчання, позиції в Google не постраждають. Якщо заблокувати пошукових AI-ботів, ви зникнете з відповідей відповідного інструмента.
Складність у тому, що одна компанія часто має кілька ботів із різними завданнями. Заблокуєте не того — втратите AI-цитування, на які розраховували. Залишите відкритим не того — ваш контент потрапить у дані для навчання, хоча ви хотіли цього уникнути. У цьому гайді ми розкладаємо ботів за завданнями, пояснюємо, чого коштує кожне рішення, і показуємо, як перевірити, кого ваш сайт насправді пропускає.
Що таке AI-краулери і чи всі вони однакові?
Ні. AI-краулери поділяються на три групи: пошукові боти, які індексують сторінки, щоб AI-інструмент міг їх цитувати; фетчери на запит користувача, які завантажують сторінку, коли хтось питає про неї асистента; і боти для навчання, які збирають контент для майбутніх моделей. Для кожної групи потрібне окреме рішення, а кожен розробник документує власні токени user-agent.
Документація самих компаній чітко розмежовує ці ролі:
- OpenAI. У документації OpenAI про краулери OAI-SearchBot описано як бота, що показує сайти в пошукових функціях ChatGPT, а GPTBot — як краулер для навчання базових моделей. ChatGPT-User виконує дії, ініційовані користувачем, і, за словами OpenAI, правила robots.txt до нього «можуть не застосовуватися».
- Anthropic. На сторінці довідки Anthropic перелічено ClaudeBot (навчання моделей), Claude-User (завантажує сторінки, коли користувачі Claude ставлять запитання) і Claude-SearchBot (індексація для покращення результатів пошуку).
- Perplexity. У гайді Perplexity про ботів PerplexityBot описано як бота, що показує сайти й посилання на них у результатах пошуку, а не для навчання моделей. Perplexity-User підтримує дії користувачів і «загалом ігнорує правила robots.txt».
- Google. У списку поширених краулерів Google Google-Extended — це токен robots.txt, який керує тим, чи може Google використовувати ваш контент для навчання моделей Gemini та для обґрунтування (grounding) відповідей у застосунках Gemini і Vertex AI. Окремого рядка user-agent у нього немає.
Яких AI-ботів дозволити, а яких заблокувати?
Для більшості компаній, яким важливо, щоб клієнти їх знаходили, розумний варіант за замовчуванням — дозволити пошукових AI-ботів і фетчери на запит користувача, а щодо ботів для навчання ухвалити окреме бізнес-рішення. Блокування бота для навчання не прибирає вас з AI-пошуку. Блокування пошукового бота — прибирає.
| Бот (токен robots.txt) | Оператор | Завдання | Якщо заблокувати | Дотримується robots.txt? |
|---|---|---|---|---|
| Googlebot | Google Пошук, зокрема AI Overviews і AI Mode | Ви втрачаєте Google Пошук і AI-функції Google | Так | |
| Google-Extended | Навчання Gemini і grounding поза Пошуком | Не впливає на позиції та видимість у Google Пошуку | Так (лише токен) | |
| OAI-SearchBot | OpenAI | Результати пошуку ChatGPT | Сторінки перестають показуватися в пошуку ChatGPT | Так |
| GPTBot | OpenAI | Навчання моделей | Новий контент не потрапляє в навчання | Так |
| ChatGPT-User | OpenAI | Завантаження на запит користувача | Robots.txt може не застосовуватися | Не завжди |
| Claude-SearchBot | Anthropic | Пошукова індексація | Може знизити видимість у пошукових результатах Claude | Так |
| Claude-User | Anthropic | Завантаження на запит користувача | Може знизити видимість, коли користувачі питають про вас | Так |
| ClaudeBot | Anthropic | Навчання моделей | Новий контент не потрапляє в навчання | Так |
| PerplexityBot | Perplexity | Результати пошуку Perplexity | Perplexity не показує сторінки й не посилається на них | Так |
| Perplexity-User | Perplexity | Завантаження на запит користувача | Robots.txt загалом ігнорується | Ні |
Microsoft Copilot стоїть окремо. Він здебільшого спирається на індекс Bing, тож доступ до нього залежить від Bingbot і власних налаштувань Bing. Докладно про це — у нашому гайді з оптимізації під пошук Microsoft Copilot.
Приклад robots.txt, що розділяє пошук і навчання
Цей файл пропускає пошукових AI-ботів і фетчери на запит користувача, але відмовляється від навчання. Беріть ідею, а не копіюйте файл наосліп: спершу звірте його з власними правилами.
# AI-пошук і фетчери на запит користувача: дозволено
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
Allow: /
# Навчання моделей: відмова
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /
# Усі інші, зокрема Googlebot
User-agent: *
Disallow: /cart/
Disallow: /account/
Памʼятайте: краулер виконує лише найконкретнішу групу, що йому відповідає. Бот, названий у власній групі, ігнорує ваші правила User-agent: *, тому продублюйте в цій групі заборони для закритих розділів. Як працюють групи та зіставлення правил, пояснює наш гайд robots.txt для SEO.
Чи шкодить блокування AI-краулерів позиціям у Google?
Блокування Google-Extended, GPTBot, ClaudeBot чи інших ботів не від Google не змінює ваших позицій у Google. Google заявляє, що Google-Extended не є сигналом ранжування і не впливає на видимість у Пошуку. Єдине «AI-повʼязане» блокування, яке шкодить у Google, — це блокування Googlebot, бо AI-функції Google побудовані на звичайному індексі Пошуку.
Це найпоширеніше непорозуміння, яке ми бачимо. Власники сайтів додають Google-Extended у robots.txt, щоб «не потрапляти в AI Overviews», і зʼясовують, що там це нічого не змінює. На сторінці Google про AI-функції сказано: щоб зʼявитися як допоміжне посилання в AI Overviews або AI Mode, сторінка має бути проіндексована й придатна для показу в Google Пошуку зі сніпетом. Там же названо засоби, які це обмежують: nosnippet, data-nosnippet, max-snippet і noindex.
Гайд Google з оптимізації під генеративні AI-функції додає ще одну вимогу: сайт має бути включений у генеративні AI-функції Пошуку в Search Console. У тому ж гайді сказано, що спеціальні текстові файли чи розмітка для AI не потрібні. Файли на кшталт llms.txt «ні шкодять, ні допомагають» видимості в Google Пошуку.
На практиці:
- Хочете залишитися в Google Пошуку, але не потрапляти в AI Overviews? Задокументований інструмент — контроль сніпетів на відповідних сторінках. Він також скорочує ваші звичайні сніпети, тож користуйтеся ним помірно.
- Не хочете, щоб контент ішов на навчання Gemini? Заборонити Google-Extended. Позиції в Пошуку залишаться без змін.
- Хочете, щоб вас цитували ChatGPT, Claude чи Perplexity? Дозвольте їхніх пошукових ботів і фетчери на запит користувача. Ці інструменти не читають індекс Google напряму.
Чого коштує блокування пошукових AI-ботів?
Блокування пошукового AI-бота означає, що відповідний інструмент не може індексувати ваші сторінки, а отже, не може цитувати їх чи посилатися на них — навіть коли хтось питає про вашу компанію за назвою. Асистент усе одно може відповісти, але на основі інших сайтів, каталогів чи застарілих даних і без вашої сторінки як джерела.
Подумайте, хто ставить AI-асистентам запитання на кшталт «хто встановлює теплові насоси поруч зі мною», «чи можна довіряти [бренд]» або «порівняй [продукт] і [конкурент]». Часто це люди, які вже майже готові купувати. Якщо OAI-SearchBot або PerplexityBot заблоковано, такі відповіді формуються з сайтів відгуків, сайтів конкурентів або ваших старих оголошень. Тому ми розглядаємо доступ пошукових ботів як частину SEO, а не як питання ліцензування контенту.
З ботами для навчання компроміс інший. Якщо їх дозволити, моделі з часом можуть краще дізнатися про ваш бренд, але жоден розробник не документує звʼязку між доступом для навчання та цитуванням. Якщо ваш контент — це і є ваш продукт (платні дослідження, курси, оригінальні дані), розумна золота середина — відмовитися від навчання, зберігши доступ для пошуку.
Щодо термінів: OpenAI зазначає, що після оновлення robots.txt її системам може знадобитися близько 24 годин, щоб підлаштуватися. Не оцінюйте зміну того самого дня.
Чому AI-краулери можуть бути заблоковані без вашого відома?
Багато сайтів блокують AI-ботів, хоча ніхто такого рішення не ухвалював. Типові причини — налаштування CDN за замовчуванням, функції захисту від ботів, плагіни безпеки та правила файрволу, які влаштовують перевірку будь-якому трафіку не з браузера. У robots.txt може стояти «allow», а файрвол тим часом повертає 403 або сторінку перевірки.
Найпомітніший приклад — Cloudflare. 1 липня 2025 року компанія змінила налаштування за замовчуванням і почала блокувати AI-краулери, якщо вони не платять авторам контенту. Якщо ваш сайт відтоді переїхав на Cloudflare або ви ввімкнули там функції захисту від ботів, перевірте фактичні налаштування, а не покладайтеся на припущення.
Інші поширені «тихі» блокування:
- Перемикачі Bot Fight чи «block AI scrapers». Perplexity зазначає, що Bot Fight Mode у Cloudflare не можна обійти власними правилами WAF, тож для allow-list можуть знадобитися інші налаштування.
- Блокування за IP. Anthropic попереджає, що блокування за IP може працювати ненадійно, бо через нього боти можуть узагалі не прочитати ваші налаштування в robots.txt.
- Ліміти запитів (rate limits), які гальмують сплески запитів від одного краулера.
- Правила зі стейджингу, що залишилися після запуску, як-от суцільний
Disallow: /або захищений паролем шлях.
Якщо додаєте ботів в allow-list у файрволі, перевіряйте їх як слід. Perplexity радить зіставляти і рядок user-agent, і опубліковані діапазони IP, бо user-agent може підробити будь-хто. OpenAI, Anthropic і Perplexity публікують для цього списки IP.
Чи можуть AI-краулери прочитати ваш контент, коли вже отримали доступ?
Не завжди. Самого доступу замало: багато AI-краулерів читають лише сирий HTML і не виконують JavaScript. Якщо основний текст, ціни чи характеристики товарів зʼявляються лише після виконання скриптів, AI-бот із повним доступом може побачити майже порожню сторінку.
Аналіз трафіку AI-краулерів від Vercel і MERJ, опублікований у грудні 2024 року, показав, що «жоден із великих AI-краулерів наразі не рендерить JavaScript», зокрема GPTBot, ClaudeBot і PerplexityBot. Вони завантажували JavaScript-файли, але не виконували їх. Те саме дослідження зафіксувало, що близько третини запитів GPTBot і ClaudeBot потрапляли на сторінки 404 — ще одна причина тримати в порядку редиректи та старі URL ресурсів.
Google працює інакше. Його гайд з AI-оптимізації стверджує, що Google може обробляти JavaScript-контент, якщо той не заблокований. Тож сайт із клієнтським рендерингом може добре почуватися в AI Overviews і водночас бути невидимим для ChatGPT чи Perplexity. Рішення — серверний рендеринг, статична генерація або принаймні ключовий контент у початковому HTML. Як це перевірити, читайте в статті про проблеми рендерингу JavaScript для SEO.
Як перевірити доступ AI-краулерів до вашого сайту?
Перевіряйте три рівні по черзі: що robots.txt каже кожному AI user-agent, що сервер насправді повертає цим ботам і що містить сирий HTML. Будь-яка розбіжність між двома рівнями — це знахідка. Потім підтвердьте за серверними логами, що до ваших сторінок доходять справжні, верифіковані боти.
- Прочитайте robots.txt очима кожного бота. Відкрийте
/robots.txtі для кожного токена з таблиці вище знайдіть групу, яка до нього застосовується. Зверніть увагу на широку заборону вUser-agent: *, під яку потрапляють боти, яких ви не перелічили. - Перевірте відповідь сервера. Запросіть ключову сторінку з рядком user-agent бота (наприклад, через
curl -A). Код 403, 503 або сторінка перевірки означає, що файрвол чи CDN переважує robots.txt. Тести з підробленим user-agent можуть оброблятися інакше, ніж запити зі справжніх IP ботів, тож підтвердьте результат і в логах. - Порівняйте сирий HTML із відрендереною сторінкою. Дивіться вихідний код сторінки, а не інспектор. Якщо заголовків, основного тексту чи цін немає у вихідному коді, AI-боти, які не рендерять JavaScript, їх не побачать.
- Перевірте контроль сніпетів. Шукайте
nosnippet,max-snippetабоdata-nosnippetна сторінках, які ви хочете бачити в цитатах. - Перевірте логи. Відфільтруйте логи доступу за AI user-agent і зіставте їхні IP з опублікованими списками. Покроково це описано в нашому гайді з аналізу серверних логів для SEO.
- Запитайте асистентів. Поставте ChatGPT, Claude і Perplexity запитання про вашу компанію та подивіться, чи цитують вони ваші сторінки.
Якщо не хочете робити все це вручну, безкоштовний SEO-аудит від SEORecheck перевіряє доступ AI-краулерів у robots.txt для пошукових, користувацьких і навчальних ботів, контроль сніпетів, текст, що зʼявляється лише після виконання JavaScript, і вашу розмітку Organization/sameAs. Як подаються результати цих перевірок, можна подивитися у зразку звіту.
Після будь-яких змін робіть повторну перевірку. Оновлення плагіна, налаштування CDN чи нове правило файрволу можуть непомітно скасувати ваші правила доступу. Тримайте robots.txt у системі контролю версій і додайте тест AI-ботів до чеклиста релізу.
Головне
- AI-боти виконують різні завдання: пошукову індексацію, завантаження на запит користувача та навчання моделей. Ухвалюйте рішення для кожної групи окремо.
- Блокування Google-Extended, GPTBot чи ClaudeBot не впливає на позиції в Google. Блокування Googlebot прибирає вас із Google Пошуку та його AI-функцій.
- Щоб зʼявлятися в AI Overviews і AI Mode, сторінка має бути проіндексована й придатна для показу зі сніпетом, а сайт — включений у генеративні AI-функції Пошуку в Search Console. llms.txt не допомагає в Google Пошуку.
- Блокування OAI-SearchBot, Claude-SearchBot чи PerplexityBot не дає вашим сторінкам потрапляти у відповіді та цитування цих інструментів.
- Файрволи й CDN, особливо Cloudflare з блокуванням AI за замовчуванням від липня 2025 року, часто блокують ботів, яких robots.txt дозволяє.
- Багато AI-краулерів не виконують JavaScript, тож розміщуйте ключовий контент у початковому HTML.
- Перевіряйте доступ у robots.txt, у відповідях сервера, у сирому HTML і в логах, а потім повторюйте перевірку після кожного деплою.


