AI-пошук

Як ШІ-пошук обирає джерела: що задокументовано

ШІ-пошуковики обирають джерела у два кроки: спершу вибирають сторінки з пошукового індексу, створеного скануванням, а потім цитують ті, що підтверджують згенеровану відповідь. Сторінку без індексації не оберуть.

Автор: Дослідницька команда SEORecheck, SEO-аудиториОпубліковано 8 хв читання

Селектор виділяє три бурштинові записи в синьому індексі, показуючи, як пошукові системи ШІ обирають джерела.
Вибір джерел ШІ з пошукового індексу

ШІ-пошук обирає джерела у два кроки. Спершу він вибирає сторінки-кандидати з пошукового індексу, який створив, скануючи інтернет, і часто для цього виконує кілька пов'язаних пошукових запитів. Потім модель пише відповідь на основі цих сторінок і цитує ті, що підтверджують її твердження. Якщо сторінку не просканували й не проіндексували, її не оберуть.

Це коротка версія, і вона однаково справджується для Google, пошуку ChatGPT, Copilot, Perplexity та Claude. Деталі на кожній платформі різні, а більшість того, що продають як «фактори ранжування в ШІ», ніде не задокументовано. У цьому гайді — що кожна платформа справді публікує, чого не публікує і що це означає для вашого сайту.

Як ШІ-пошуковики обирають джерела?

Вони не шукають наживо по всьому інтернету, щоб потім вибрати улюбленця. Вони дістають сторінки з пошукового індексу за допомогою своїх систем ранжування, читають, що на цих сторінках написано, і додають посилання на ті сторінки, що підтверджують кожну частину відповіді. Спершу вибірка (retrieval), потім цитування.

Найчіткіше це описує Google. Його гайд з оптимізації під генеративні ШІ-функції в Google Пошуку пояснює, що ШІ-функції використовують генерацію з доповненням вибіркою (RAG) і обґрунтовують відповіді, «спираючись на наші основні системи ранжування Пошуку, щоб отримати релевантні й актуальні вебсторінки». Далі системи аналізують інформацію на отриманих сторінках і показують «помітні клікабельні посилання на релевантні вебсторінки, які підтверджують інформацію».

Тож щоб ШІ-пошук вас процитував, сторінка спершу має бути сильним результатом хоча б для одного із запитів, які виконує система. А потім на ній має бути конкретне твердження, яке модель може використати. Сторінка, що ранжується, але нічого чітко не стверджує, не дає моделі що цитувати. Сторінка з чудовою відповіддю, але без індексації, ніколи не потрапить у вибірку. Важливі обидва кроки, і перший — це звичайне SEO. Про цей перетин ми пишемо в статті GEO проти SEO.

Що відбувається, перш ніж ШІ-відповідь процитує сторінку?

Перш ніж з'явиться цитата, сторінка проходить конвеєр, дуже схожий на класичний пошук, плюс ще один крок наприкінці:

  1. Сканування. Бот конкретної платформи завантажує сторінку. Якщо robots.txt або файрвол блокує цього бота, конвеєр зупиняється тут.
  2. Індексація. Сторінку обробляють і зберігають у пошуковому індексі платформи (або партнера).
  3. Переформулювання запиту і fan-out. Питання користувача перетворюють на один або кілька пошукових запитів.
  4. Вибірка і ранжування. Індекс повертає найрелевантніші сторінки для цих запитів.
  5. Генерація та обґрунтування (grounding). Модель пише відповідь на основі отриманого контенту й посилається на сторінки, які підтверджують її твердження.

Кроки 1, 2 і 4 ви можете перевірити й виправити. Крок 3 пояснює, чому сторінки, які не ранжуються за основним запитом, усе одно цитуються. На кроці 5 допомагає чіткий і конкретний текст.

Який індекс і краулер використовує кожен ШІ-пошуковик?

Кожна платформа документує свого краулера і свій спосіб відмовитися від сканування. Таблиця нижче спирається лише на власну документацію кожного вендора. Усе, чого вендор не публікує, позначено як незадокументоване.

Платформа Що документація каже про вибірку Краулер, від якого залежить видимість у пошуку Де вимірювати
Google AI Overviews / AI Mode RAG на основних системах ранжування та індексі Google Пошуку (Google) Googlebot (звичайне сканування для Пошуку) Звіт про ефективність генеративного ШІ в Search Console
Пошук ChatGPT Сайти, що заблокували OAI-SearchBot, «не показуватимуться у відповідях пошуку ChatGPT» (OpenAI) OAI-SearchBot На цій сторінці не задокументовано
Microsoft Copilot / ШІ-зведення Bing Grounding queries — це «ключові фрази, які ШІ використав під час отримання контенту» (Bing) Сканування та індекс Bing AI Performance у Bing Webmaster Tools
Perplexity PerplexityBot «призначений для показу сайтів і посилань на них у результатах пошуку» (Perplexity) PerplexityBot (індекс), Perplexity-User (візити наживо) На цій сторінці не задокументовано
Claude Блокування Claude-SearchBot «може знизити видимість і точність вашого сайту в результатах пошуку для користувачів» (Anthropic) Claude-SearchBot, Claude-User На цій сторінці не задокументовано

Тут помітні дві закономірності. По-перше, кожен вендор розділяє пошукових і навчальних краулерів. OpenAI зазначає, що GPTBot потрібен для навчання моделей і не впливає на появу в пошуку. Anthropic каже те саме про ClaudeBot, а Perplexity — що її боти не використовуються для навчання базових моделей. Блокування навчального бота не прибирає вас із ШІ-пошуку. Блокування пошукового — прибирає.

По-друге, «користувацькі» агенти (ChatGPT-User, Perplexity-User, Claude-User) завантажують сторінки наживо, коли хтось ставить питання. OpenAI прямо пише, що ChatGPT-User «не використовується для визначення того, чи може контент з'явитися в Пошуку». Правила robots.txt для кожного бота дивіться в нашому гайді з robots.txt. Кроки для окремих платформ — у гайдах про ChatGPT, Perplexity і Copilot.

Що таке query fan-out і чому він змінює вибір джерел?

Query fan-out означає, що ШІ-система розбиває одне питання на кілька пов'язаних пошукових запитів і використовує результати їх усіх. Сторінку можуть процитувати, бо вона ранжується за вузьким підпитанням, навіть якщо за початковим формулюванням користувача її немає у видачі.

Документація Google про ШІ-функції зазначає, що AI Overviews і AI Mode «можуть використовувати техніку "query fan-out" — виконувати кілька пов'язаних пошуків за підтемами та джерелами даних — для формування відповіді». У гайді з оптимізації є приклад: для запиту «як позбутися бур'янів на газоні» fan-out-запити можуть стосуватися рекомендацій щодо гербіцидів і способів запобігти появі бур'янів.

Ось як це виглядає для малого бізнесу. Припустімо, хтось питає: «Чи варто ставити тепловий насос у старий будинок у холодному кліматі?» Система може окремо шукати інформацію про роботу теплових насосів за низьких температур, вимоги до утеплення, вартість експлуатації та монтаж у старих будівлях. Сторінку монтажника, яка чітко пояснює вимоги до утеплення старих будинків, можуть процитувати саме для цієї частини, навіть якщо основний запит виграє національне видання.

«Grounding queries» від Microsoft у Bing Webmaster Tools — та сама ідея з боку власника сайту: фрази, за якими ШІ насправді шукав, коли отримував вашу сторінку. Тому ж Google і каже, що ШІ-функції показують «ширший і різноманітніший набір корисних посилань», ніж класична видача.

ШІ обирає найкращу сторінку чи найкращий фрагмент?

І те, й інше, але жодна платформа не публікує, як вона їх зважує. Google документує, що його системи аналізують «конкретну інформацію з отриманих сторінок» і посилаються на сторінки, які підтверджують відповідь. На практиці сторінка отримує цитату, коли містить конкретне твердження, яке можна перевірити і яке відповідає частині відповіді.

З цього випливає кілька речей — без жодних секретних формул:

  • Прямі відповіді допомагають. На реченні на кшталт «Більшості побутових теплових насосів для ефективної роботи в старих будинках потрібно X, тому що…» відповідь обґрунтувати легше, ніж на розмитому вступі.
  • Конкретика перемагає загальні фрази. Гайд Google просить «non-commodity content» — неуніфікований контент з «унікальною точкою зору». Якщо ваша сторінка повторює те саме, що й усі інші, у моделі немає особливої причини обрати саме її.
  • Спеціальне форматування для ШІ не потрібне. Google пише, що «немає вимоги розбивати контент на дрібні шматки, щоб ШІ його зрозумів». Звичайні заголовки й абзаци працюють добре.

В анонсі AI Performance від Bing схожі поради: глибше розкривати теми, за якими вас цитують, чітко структурувати текст заголовками й таблицями, підкріплювати твердження доказами й прикладами та підтримувати інформацію актуальною.

Чи впливає свіжість контенту на вибір джерел у ШІ-пошуку?

Так, принаймні для Google і Bing. Обидва згадують свіжість у документації. Google пише, що його підхід RAG використовує «актуальні вебсторінки з нашого індексу Пошуку», щоб підвищити точність і свіжість. Microsoft рекомендує IndexNow, щоб ШІ-системи посилалися на «найактуальнішу версію» ваших сторінок.

Але жоден із них не каже, що новіші сторінки завжди виграють. Свіжість працює через індекс: якщо краулер ще не підхопив ваш оновлений прайс чи графік роботи, ШІ може отримати лише стару версію. Тож для видимості в ШІ оновлення зараховується тільки після повторного сканування й переіндексації. Саме тому сповістити пошуковики (IndexNow для Bing, точний lastmod у sitemap для Google) важливіше, ніж змінити дату на сторінці. Наша стратегія оновлення контенту пояснює, як оновлювати сторінки так, щоб зміни були реальними і їх підхопили.

Що не задокументовано про вибір джерел у ШІ-пошуку?

Жодна платформа ШІ-пошуку не публікує списку факторів ранжування цитат, вагу сигналів довіри чи мінімальний поріг авторитетності. Твердження про точні «фактори ранжування в ШІ», рейтинги цитувань або гарантовані тактики — це здогадки чи маркетинг вендорів, а не документація.

Google іде далі й у своєму гайді з оптимізації прямо відкидає кілька популярних тактик:

  • llms.txt: «Сам Google Пошук їх не використовує».
  • Спеціальна розмітка: «Структуровані дані не обов'язкові для генеративного ШІ-пошуку, і немає жодної спеціальної розмітки schema.org, яку потрібно додати». Структуровані дані все одно допомагають пошуковикам розуміти ваші сутності. Просто це не перемикач для ШІ-цитувань.
  • Переписування під ШІ: не потрібно переписувати контент спеціально для ШІ-систем.
  • Неавтентичні згадки: розкидати згадки бренду по інтернету неефективно.

Інші платформи кажуть менше. OpenAI, Perplexity та Anthropic документують своїх краулерів і способи відмови від сканування, але не те, як ранжують джерела. Усе, що виходить за ці межі, зокрема кореляційні дослідження процитованих доменів, сприймайте як гіпотезу для перевірки на власному сайті, а не як правило.

Як перевірити, чи можуть ШІ-пошуковики обрати ваші сторінки?

Ідіть конвеєром у зворотному напрямку. Переконайтеся, що потрібні боти можуть сканувати ваші сторінки, що сторінки проіндексовані й придатні для показу сніпетів, що важливий текст є в HTML, а потім вимірюйте реальні цитування в Search Console і Bing Webmaster Tools.

Практичний чеклист:

  1. Robots.txt і файрвол. Дозвольте Googlebot, Bingbot, OAI-SearchBot, PerplexityBot і Claude-SearchBot, якщо хочете з'являтися в цих продуктах. Щодо навчальних ботів, як-от GPTBot, ClaudeBot і Google-Extended, ухвалюйте рішення окремо. Перевірте, що ваш CDN або захист від ботів не блокує пошукових ботів, яких дозволяє robots.txt.
  2. Індексація і сніпети. Google вимагає, щоб сторінки були «проіндексовані й придатні для показу в Google Пошуку зі сніпетом». nosnippet, max-snippet:0 або noindex цю придатність прибирають. Також переконайтеся в Search Console, що ваш сайт включено в генеративні ШІ-функції Пошуку.
  3. Текст у HTML. Якщо ключові відповіді з'являються лише після виконання JavaScript, краулери, які не рендерять JavaScript, можуть їх ніколи не побачити. Докладніше — у статті про проблеми рендерингу JavaScript для SEO.
  4. Чітка інформація про сутність. Узгоджена розмітка Organization із посиланнями sameAs і точний запис у Wikidata, якщо він у вашого бізнесу є, допомагають системам пов'язати ваш сайт із брендом.
  5. Сторінки з відповідями. Для питань, які клієнти справді ставлять про вас — ціни, зона обслуговування, порівняння, — переконайтеся, що якась сторінка прямо дає відповідь.

Безкоштовний SEO-аудит від SEORecheck (замовити тут) виконує ці GEO-перевірки на вашому сайті: доступ AI-краулерів — пошукових, користувацьких і навчальних ботів, — керування сніпетами, текст, видимий лише після JavaScript, Organization/sameAs і Wikidata, а також те, як ваші сторінки відповідають на питання, які люди ставлять ШІ-асистентам про ваш бізнес. Формат показано у прикладі звіту.

Далі — вимірювання. Звіт про ефективність генеративного ШІ від Google і звіт AI Performance від Bing (цитування та grounding queries) — це дані з першоджерела. Що відстежувати і в класичному, і в ШІ-пошуку, читайте в статті про вимірювання ефективності SEO та GEO.

Головне

  • ШІ-пошуковики обирають джерела, спершу отримуючи сторінки з пошукового індексу, а потім цитуючи ті, що підтверджують відповідь. Доступність для сканування та індексація — передусім.
  • Query fan-out означає, що сторінку можуть процитувати за підпитанням, за яким вона ранжується, а не лише за основним запитом.
  • Пошукові й навчальні боти — різні. Блокування OAI-SearchBot, PerplexityBot чи Claude-SearchBot шкодить видимості в ШІ-пошуку. Блокування GPTBot чи ClaudeBot — ні.
  • Google вимагає індексації, придатності для сніпетів і включення в генеративні ШІ-функції Пошуку. Спеціальна розмітка, дроблення тексту чи llms.txt не потрібні.
  • Жодна платформа не публікує факторів ранжування цитат. Документація насправді просить чіткого, конкретного, актуального й оригінального контенту.
  • Вимірюйте цитування у звіті про ефективність генеративного ШІ в Search Console та у звіті AI Performance у Bing Webmaster Tools.
Усі статті
Золота позначка над даними компанії показує оптимізацію для ШІ-пошуку для місцевого бізнесу.

AI-пошук

Оптимізація під AI-пошук для локального бізнесу: гайд

Для локального бізнесу оптимізація під AI-пошук — це точні профілі, однакові дані на сайті, доступні для сканування сторінки послуг і локацій, доступ ШІ-краулерів і справжні відгуки. Окремого «трюку для ШІ» немає.

9 хв читання

Синій промінь сканує ціни, функції, інтеграції й документацію — оптимізація SaaS для ШІ-пошуку.

AI-пошук

GEO-оптимізація для SaaS: як потрапити в AI-пошук

GEO-оптимізація для SaaS означає, що сайт, документація, ціни та інтеграції доступні для сканування, індексуються й легко цитуються. Тоді AI-асистенти правильно описують ваш продукт, коли покупці порівнюють інструменти.

10 хв читання

Товари й дані проходять крізь сяйний шлюз у результати: оптимізація ШІ-пошуку для електронної комерції.

AI-пошук

GEO для інтернет-магазину: оптимізація під AI-пошук

GEO для інтернет-магазину — це відкриття даних про товари через фіди, індексовані сторінки й доступ краулерів, щоб AI-відповіді точно показували, описували товари й посилалися на них.

9 хв читання