Проблеми з індексацією сайту: як виправити покроково

Щоб виправити проблеми з індексацією сайту, відкрийте звіт «Індексування сторінок» у Google Search Console і подивіться, чому кожна сторінка не індексується. Потім усуньте причину: приберіть зайві теги noindex, розблокуйте robots.txt, виправте 404, помилки 5xx і переспрямування, узгодьте canonical, а слабкі сторінки покращте або обʼєднайте. Після цього запустіть перевірку виправлення й стежте за звітом.

Робота йде швидше, коли розумієш: більшість проблем з індексацією зводиться до кількох відомих причин. Google називає причину для кожної виключеної URL-адреси. Ваше завдання — правильно її прочитати, виправити саму причину і не витрачати час на те, щоб знову й знову натискати «Надіслати запит на індексування».

Що вважається проблемою з індексацією?

Проблема з індексацією є тоді, коли сторінки, яку ви хочете бачити в результатах пошуку, немає в індексі Google. Багато URL-адрес лишаються поза індексом навмисно, і це нормально. Google сам пише в документації до звіту про індексування сторінок, що «не варто очікувати, що всі URL-адреси вашого сайту будуть проіндексовані, — лише канонічні сторінки».

Тож список URL зі статусом «Не проіндексовано» ще не означає, що щось зламано. Адреси з переспрямуванням, параметри фільтрів, старі 404 та альтернативні версії з правильним canonical і мають лишатися поза індексом. Справжні проблеми — це:

• Важливі сторінки (товари, послуги, статті, сторінки філій), яких немає в індексі.
• Сторінки, що випали з індексу після релізу, міграції чи зміни CMS.
• Різке зростання однієї причини «Не проіндексовано» на багатьох URL.
• Сторінки, які ви хотіли закрити від індексації, але вони досі показуються в пошуку.

Якщо сторінки проіндексовані, але не отримують трафіку, це проблема ранжування, а не індексації. Її діагностують окремо.

Як знайти сторінки, що не індексуються?

Почніть зі звіту «Індексування сторінок» у Search Console (Індексування → Сторінки). Він ділить відомі URL на проіндексовані й непроіндексовані та групує виключені за причинами. Потім перевірте окремі важливі URL інструментом перевірки URL-адрес, щоб побачити їхній точний статус.

Кілька практичних порад:

1. Відфільтруйте за файлом Sitemap. У звіті перемкніть фільтр з «Усі відомі сторінки» на «Усі надіслані сторінки». Надіслані URL — це ті, про які ви сказали Google, що вони важливі, тож виключення серед них варто розбирати першими.
2. Перевірте ключові комерційні сторінки по одній. Інструмент перевірки URL-адрес показує «останню проіндексовану версію сторінки, а не поточну». Скористайтеся Перевірити опубліковану URL-адресу, щоб дізнатися, чи може сторінка в теперішньому вигляді бути проіндексована.
3. Не покладайтеся на пошук із site:. Він дає приблизне уявлення, але не повну й не точну кількість. Для вашого ресурсу джерело правди — Search Console.
4. Порівняйте з краулінгом. Проскануйте сайт і перевірте, які індексовані URL (статус 200, без noindex, canonical на себе) Search Console досі показує як непроіндексовані. Шукайте й закономірності: цілі розділи, шаблони сторінок чи параметри URL.

Для структурованого погляду збоку безкоштовний SEO-аудит від SEORecheck сканує ваші сторінки й позначає теги noindex, блокування в robots.txt, помилкові коди відповіді, конфліктні canonical та контент, що зʼявляється лише після виконання JavaScript, — із прикладами URL з вашого сайту.

Причини в звіті про індексування сторінок і як виправити кожну

Кожна причина у звіті «Індексування сторінок» вимагає свого виправлення. У таблиці — ті, що найчастіше трапляються, за документацією Google до звіту:

Як виправити «Виключено тегом noindex»?

Пошукайте в коді сторінки <meta name="robots" content="noindex"> і перевірте HTTP-заголовки відповіді на X-Robots-Tag: noindex. Типові винуватці — налаштування CMS на кшталт «Попросити пошукові системи не індексувати сайт», яке забули вимкнути після запуску, SEO-плагін, що ставить noindex на цілий тип записів, або конфігурація тестового сервера, яка потрапила на робочий сайт.

На JavaScript-сайтах є окрема пастка. Google попереджає в основах JavaScript SEO, що, знайшовши тег noindex, він «може пропустити рендеринг і виконання JavaScript», тож видалення noindex через JavaScript може не спрацювати. Якщо ви хочете, щоб сторінку проіндексували, noindex взагалі не має бути в початковому HTML.

Як виправити «Заблоковано файлом robots.txt»?

Відкрийте yourdomain.com/robots.txt і знайдіть правило Disallow, яке відповідає URL. Широкі правила на кшталт Disallow: / чи Disallow: /*? часто блокують значно більше, ніж планувалося. Памʼятайте, що robots.txt керує скануванням, а не індексацією. У документації Google про noindex сказано: якщо сторінку заблоковано в robots.txt, «пошуковий робот ніколи не побачить правило noindex, і сторінка все одно може зʼявлятися в результатах пошуку».

Звідси найпоширеніша помилка під час чистки індексу: заблокувати сторінку в robots.txt і додати noindex. Щоб прибрати сторінку з індексу, дозвольте сканування й використайте noindex. Синтаксис і безпечні шаблони — у нашому посібнику з robots.txt.

Як виправити soft 404, 404 і помилки сервера?

Soft 404 — це зазвичай порожня категорія, шаблон товару, якого немає в наявності, майже без тексту, або сторінка внутрішнього пошуку з нульовими результатами. Або наповніть сторінку змістовним контентом, або повертайте справжній статус 404 чи 410. Для односторінкових застосунків (SPA), де маршрутизація відбувається в браузері, рекомендації Google з JavaScript SEO радять переспрямовувати через JavaScript на URL, що повертає справжній 404, або додавати тег noindex.

Щодо 404 вирішуйте окремо для кожної URL. Якщо сторінку перенесено, налаштуйте 301-переспрямування. Якщо її видалено назавжди, 404 — правильна відповідь, але приберіть внутрішні посилання й записи в sitemap, які досі на неї ведуть. Для помилок 5xx перегляньте логи сервера за той час, про який повідомляв Google, і перевірте, чи не блокує або не обмежує Googlebot правило firewall, CDN чи захисту від ботів.

Як виправити проблеми з canonical і дублікатами?

Коли Google вибирає іншу канонічну сторінку, ніж ви, ваші сигнали суперечать один одному. Перевірте, що бажана URL:

• має rel="canonical", що вказує на саму себе;
• саме ця версія використовується у внутрішніх посиланнях (без змішування http/https, www/без www, зі слешем і без слеша в кінці);
• саме ця версія вказана у вашому XML-файлі Sitemap;
• є ціллю переспрямувань з усіх варіантів.

Якщо дві сторінки справді майже однакові, обʼєднайте їх. Типові конфлікти розібрано в нашому посібнику з тегу canonical.

Чому Google сканує сторінку, але не індексує її?

«Проскановано – наразі не проіндексовано» означає, що Google завантажив сторінку й поки що вирішив її не індексувати. Технічного блокування тут немає. Звичайні причини — тонкий або дубльований контент, сторінка, що не додає нічого понад уже проіндексоване, або слабка внутрішня перелінковка, через яку сторінка виглядає неважливою.

Виправлення тут редакторське, а не технічне. Порівняйте сторінку з тими, що вже ранжуються за її темою, і запитайте себе, що вона пропонує такого, чого немає в інших. Додайте оригінальні деталі (ціни, характеристики, фото, приклади, локальну інформацію), обʼєднайте сторінки, що перетинаються, в одну сильнішу і посилайтеся на неї з релевантних уже проіндексованих сторінок з описовим анкором. Сюди часто потрапляють сторінки, згенеровані шаблонами: архіви тегів, майже порожні сторінки локацій чи комбінації фільтрів. Багато з них варто закрити noindex або видалити, щоб вони не розмивали сайт. Повторне надсилання без жодних змін рідко допомагає. Детально цей статус розібрано в статті «Проскановано – наразі не проіндексовано»: причини й виправлення.

Що робити, якщо Google виявив сторінку, але так і не просканував?

«Виявлено – наразі не проіндексовано» означає, що Google знає про існування URL, але ще не завантажив її. У звіті Google пояснює, що зазвичай так буває, коли сканування могло перевантажити сайт, тому його відклали. На невеликих сайтах це частіше вказує на слабку внутрішню перелінковку або на лавину малоцінних URL, що конкурують за увагу.

Що допомагає:

• Посилайтеся на сторінку з навігації, сторінок категорій чи повʼязаних статей, а не лише з sitemap.
• Скоротіть кількість URL: заблокуйте нескінченні комбінації параметрів і фільтрів, приберіть тонкі автоматично згенеровані сторінки.
• Перевірте час відповіді сервера й помилки у звіті «Статистика сканування» в Search Console.
• Тримайте XML-файл Sitemap чистим: лише канонічні індексовані URL, що повертають 200.

Повний чекліст — у статті «Виявлено – наразі не проіндексовано».

Як змусити Google переіндексувати сторінку після виправлення?

Для кількох важливих URL скористайтеся інструментом перевірки URL-адрес і натисніть Надіслати запит на індексування. Для великої кількості URL оновіть і повторно надішліть XML-файл Sitemap. Потім натисніть Перевірити виправлення у звіті «Індексування сторінок» для тієї причини, яку ви усунули. Запити пришвидшують виявлення, але нічого не гарантують.

Кілька обмежень, про які варто знати, з документації Google про повторне сканування:

• Для надсилання окремих URL діє квота, і «повторні запити на сканування тієї самої URL не пришвидшать її сканування».
• «Сканування може тривати від кількох днів до кількох тижнів».
• Запит на сканування не гарантує включення в індекс «миттєво чи взагалі».

За довідкою до звіту про індексування сторінок, перевірка «зазвичай триває приблизно до двох тижнів, але в деяких випадках може тривати значно довше». Не натискайте «Перевірити виправлення» повторно, доки поточна перевірка не завершиться успішно чи з помилкою.

У якому порядку виправляти проблеми з індексацією?

Спершу виправте те, що блокує найважливіші сторінки, а потім переходьте до тонших проблем:

1. Блокування на рівні всього сайту: noindex на весь сайт, Disallow: /, помилки сервера, обовʼязковий вхід. Вони можуть викинути з пошуку весь сайт.
2. Блокування на рівні шаблонів: noindex на тип записів, правило robots, що зачіпає цілий розділ, биті переспрямування після міграції.
3. Конфлікти canonical на ключових сторінках.
4. Soft 404 і 404, на які ведуть внутрішні посилання чи беклінки.
5. Якість і виявлення: сторінки зі статусами «Проскановано» та «Виявлено – наразі не проіндексовано», які лікуються кращим контентом, обʼєднанням і внутрішніми посиланнями.
6. Чистка: приберіть URL з переспрямуванням, 404 і noindex із sitemap та внутрішніх посилань.

Після виправлень порівняйте стан «до» і «після». Відстежуйте кількість проіндексованих надісланих сторінок, кількість URL за кожною причиною, з якою ви працювали, і статус ключових URL. Якщо ви залучали підрядника, попросіть порівняння «до/після» для кожної проблеми. Як це виглядає, показує приклад звіту повторної перевірки: виправлено, покращено, не вирішено і нові.

Індексація та AI-пошук

Проблеми з індексацією також приховують ваші сторінки від AI-відповідей у Google. AI Overviews та AI Mode спираються на сторінки з індексу Google, що відповідають технічним вимогам Пошуку, тож сторінку з noindex чи заблоковану сторінку там теж не процитують. Інші AI-асистенти використовують власних пошукових роботів, яких robots.txt може дозволяти чи блокувати окремо. Виправлення індексації — це передумова будь-якої роботи над видимістю в AI-пошуку.

Головне

• Не кожна URL має бути проіндексована. Зосередьтеся на канонічних сторінках, які справді мають ранжуватися.
• Спершу прочитайте причину у звіті «Індексування сторінок». Для кожної — своє виправлення.
• Robots.txt блокує сканування, а не індексацію. Щоб прибрати сторінку з індексу, дозвольте сканування й використайте noindex.
• Не ставте noindex у початковий HTML сторінок, які мають індексуватися, навіть якщо JavaScript потім його прибирає.
• Статуси «Проскановано/Виявлено – наразі не проіндексовано» зазвичай вирішуються кращим контентом, обʼєднанням сторінок і внутрішніми посиланнями, а не повторним надсиланням.
• Надсилайте запит на індексування для кількох ключових URL, для решти — повторно надсилайте sitemap, запускайте перевірку виправлення й закладайте на результат від кількох днів до кількох тижнів.