Помилка 404 і SEO: коли шкодить і як виправити

Навколо теми «помилка 404 і SEO» багато міфів. Код 404 повідомляє пошуковим системам, що URL не існує. Google прибирає такий URL з індексу, але помилки 404 не призводять до санкцій для решти сайту. Шкодять вони лише тоді, коли ламається сторінка з трафіком, беклінками чи внутрішніми посиланнями, або коли відсутня сторінка помилково віддає 200 і стає «soft 404».

Тож завдання не в тому, щоб звести кількість 404 до нуля. Завдання в тому, щоб знайти ті кілька 404, які справді важливі, і правильно обробити кожну.

Що означає помилка 404 для Google?

404 (Not Found) — це HTTP-код статусу. Сервер каже: «за цією адресою нічого немає». Google сприймає це буквально. За словами Google, він «не індексує URL, що повертають код статусу 4xx, а вже проіндексовані URL, які повертають 4xx, видаляються з індексу».

На тій самій сторінці є ще дві важливі для SEO деталі:

• Google сканує URL з кодом 404 дедалі рідше, але не забуває його одразу.
• Коди 4xx (крім 429, «Too Many Requests») не впливають на швидкість сканування. Купа 404 не сповільнить сканування решти сайту ботом Googlebot.

410 (Gone) працює майже так само. У посібнику Google про краулінговий бюджет радять «повертати код 404 або 410 для остаточно видалених сторінок», а 404 названо «сильним сигналом не сканувати цей URL знову». На практиці різниця між 404 і 410 мінімальна. Використовуйте той код, який простіше налаштувати на вашій платформі.

Чи шкодять помилки 404 SEO?

Самі по собі — ні. Довідка Search Console прямо каже: «відповіді 404 не обов'язково є проблемою, якщо сторінку видалено без заміни». Жодного штрафу для всього сайту за наявність 404 немає. Вони є на кожному сайті: видалені товари, старі сторінки акцій, URL з помилками в наборі, посилання зі скрейперських сайтів на сторінки, яких ніколи не існувало.

Вплив на SEO відбувається на рівні сторінки й залежить від того, що мав зламаний URL:

1. Позиції й трафік. Якщо проіндексована сторінка, що ранжувалася, починає віддавати 404, вона випадає з індексу. Разом із нею зникають і всі кліки. Це найчастіша реальна втрата.
2. Беклінки. Зовнішні посилання на 404 ведуть у нікуди. Коли сторінка переїжджає, саме 301-редирект зберігає ці посилання робочими. У посібнику Google про переїзд сайту сказано, що редиректи дають змогу «передати всі сигнали на нові URL, зокрема повторно просканувати й перепризначити посилання з інших сайтів, які ведуть на ваші старі URL».
3. Внутрішні посилання. Посилання з ваших меню, статей і карток товарів на 404 заводять відвідувачів і краулерів у глухий кут і марнують посилальну вагу, яку ви хотіли передати. Як структура посилань керує скануванням, читайте в нашому посібнику з внутрішньої перелінковки.
4. Користувацький досвід і конверсії. Відвідувач, який натискає «Купити» чи «Ціни» й бачить сторінку помилки, зазвичай іде. Це втрачений дохід — незалежно від того, що думає Google.

404 на URL, на який ніхто не посилається, ніхто не заходить і який Google ніколи не індексував, вам нічого не коштує. 404 на сторінці торішнього бестселера з 40 доменами-донорами — реальна втрата.

Що таке soft 404 і чому це гірше?

Soft 404 — це сторінка, яка для користувачів чи Google виглядає як помилка, але повертає код 200 (OK). Приклади: порожня сторінка категорії, шаблон «товар не знайдено», що віддається з кодом 200, або відсутній URL, який тихо перенаправляє на головну. Google доводиться вгадувати, і Search Console позначає таку сторінку як soft 404.

Google описує soft 404 як сторінку, яка повідомляє користувачу, що сторінки не існує, «і водночас повертає код 200 (успіх)». Soft 404 гірші за справжні 404 з двох причин. По-перше, ви втрачаєте контроль: Google сам вирішує, чи вважати сторінку помилкою, і може помилитися також щодо «тонких», але цілком робочих сторінок. По-друге, страждає ефективність сканування. У посібнику про краулінговий бюджет Google попереджає, що «сторінки soft 404 і далі скануватимуться та марнуватимуть ваш бюджет». Справжня 404 дає Googlebot змогу відступити, а soft 404 сканується знову й знову. Рішення просте: повертайте справжній 404 або 410 для сторінок, яких не існує, і додавайте реальний контент на сторінки, які існують, але виглядають порожніми.

Чому редирект усіх 404 на головну створює soft 404?

Багато плагінів і агенцій «виправляють» 404, перенаправляючи кожен відсутній URL на головну. Google не радить так робити: «Не перенаправляйте багато старих URL на одну нерелевантну адресу, наприклад на головну сторінку нового сайту. Це може заплутати користувачів і може розцінюватися як помилка soft 404». Редирект допомагає лише тоді, коли цільова сторінка справді замінює стару.

Soft 404 на JavaScript-сайтах

Односторінкові застосунки (SPA) часто не можуть віддати з сервера статус 404 для неіснуючого маршруту, тож кожен відсутній маршрут повертає 200. У базових рекомендаціях Google щодо JavaScript SEO запропоновано два рішення: JavaScript-редирект на URL, де сервер відповідає 404 (наприклад, /not-found), або додавання <meta name="robots" content="noindex"> до сторінок помилок через JavaScript.

Які помилки 404 виправляти першими?

Спершу виправляйте 404 на URL, які досі мають цінність: сторінки з беклінками, трафіком у минулому або внутрішніми посиланнями. 404 на сміттєвих URL залиште як є. Код 404 — правильна відповідь для сторінки, якої ніколи не існувало або яку свідомо видалили без заміни.

Ця таблиця допоможе вирішити, що робити з кожним зламаним URL:

Щоб відсортувати список зламаних URL, оцініть кожен за трьома сигналами: кількість доменів-донорів, органічні кліки за останні 12–16 місяців і кількість внутрішніх посилань на нього. URL, що має хоча б один із цих сигналів, іде в список на виправлення. URL без жодного може залишатися 404. Як зважити це проти решти завдань, показано в нашому посібнику про те, як розставити пріоритети SEO-виправлень.

Як знайти помилки 404, які мають значення?

Поєднуйте три джерела даних, бо кожне бачить те, що пропускають інші.

1. Google Search Console. Перейдіть у Індексування → Сторінки й відкрийте причини «Не знайдено (404)» і «Soft 404». У список 404 потрапляють URL, які Google знайшов будь-де, зокрема старі посилання з інших сайтів, тож шуму там буде чимало. Довідка Search Console зазначає, що Google «виявив цей URL без явного запиту чи файлу Sitemap» для багатьох із них. Значення всіх інших причин у цьому звіті пояснено в статті помилки Google Search Console.

2. Краулер сайту. Проскануйте сайт і відфільтруйте внутрішні посилання, ціль яких повертає 4xx. Це биті посилання, які ви контролюєте напряму, і їх завжди варто виправляти в джерелі.

3. Sitemap і аналітика. Будь-який URL з 404 у вашому XML-sitemap — це суперечливий сигнал для Google, тож приберіть його. Детальніше — у статті про помилки XML-sitemap. В аналітиці відфільтруйте перегляди за заголовком вашої сторінки 404, щоб побачити, на які зламані URL реально потрапляють відвідувачі й звідки вони приходять.

Щоб самостійно перевірити код статусу окремого URL, запитайте лише заголовки:

curl -I https://example.com/old-page
# HTTP/2 404  → справжня 404
# HTTP/2 200  → перевірте вміст: повідомлення «не знайдено» тут означає soft 404
# HTTP/2 301  → перейдіть за заголовком Location і перевірте кінцевий URL

Безкоштовний SEO-аудит від SEORecheck сканує ваші сторінки в реальному браузері й показує биті внутрішні посилання, сторінки 4xx і soft 404, а також редиректи, що ведуть на помилки, — з точними URL.

Як виправити помилку 404, не створивши нових проблем?

Опрацьовуйте список у такому порядку:

1. Відновіть помилково видалені сторінки. Перш ніж щось перенаправляти, уточніть у того, хто відповідає за контент.
2. Перенаправте перенесені або замінені сторінки 301-редиректом — один до одного, на найрелевантніший відповідник. Ведіть одразу на кінцевий URL, щоб уникнути ланцюжків редиректів. Google радить зберігати редиректи «якомога довше, зазвичай щонайменше 1 рік».
3. Виправте внутрішні посилання в джерелі. Оновіть навігацію, посилання в тексті й canonical-теги, щоб вони вели на живі URL з кодом 200, а не на редиректи.
4. Перетворіть soft 404 на справжні 404 у CMS чи конфігурації сервера й переконайтеся, що ваш шаблон сторінки помилки повертає статус 404.
5. Приберіть мертві URL із sitemap.
6. Перевірте в Search Console через інструмент перевірки URL і кнопку «Перевірити виправлення» для відповідної причини.

Створіть корисну сторінку 404

Ваша сторінка 404 має повертати статус 404 і допомагати відвідувачам рухатися далі: коротке повідомлення, пошук по сайту, посилання на основні категорії чи популярні сторінки та спосіб зв'язатися з вами. Вона не повинна автоматично перенаправляти й не повинна бути типовою білою серверною помилкою.

Поширені помилки

• Редирект усіх 404 на головну (soft 404 і розгублені користувачі).
• Використання 302 для постійних переїздів.
• Блокування URL з 404 у robots.txt. Тоді Google не бачить 404 і може довше тримати URL в індексі.
• Паніка через стрибок кількості 404 після свідомого видалення старих сторінок. Якщо сторінки не мали цінності, це очікувано.
• Редизайн чи зміна CMS, що ламає сотні URL одночасно. Додайте перевірку кодів статусу до SEO-регресійного тестування перед кожним релізом.

Скільки часу Google потрібно, щоб врахувати виправлення?

Фіксованих строків немає. Google повторно сканує URL за власним графіком, а URL з 404 з часом скануються дедалі рідше, тож редирект, доданий на стару 404, може бути помічений лише через кілька тижнів. Відновлені чи перенаправлені цінні сторінки зазвичай скануються швидше, особливо якщо вони є в sitemap і на них ведуть внутрішні посилання. Для найважливіших скористайтеся перевіркою URL і запитом на індексування, а через кілька тижнів порівняйте кліки на ці URL у звіті «Ефективність».

Щоб переконатися, що виправлення спрацювали, проскануйте сайт ще раз через 30–60 днів і порівняйте списки зламаних URL. Приклад звіту порівняння від SEORecheck показує саме такий розподіл: виправлено / не вирішено / нове.

Головне

• Помилки 404 не призводять до санкцій для всього сайту. Google просто прибирає ці URL з індексу, а коди 4xx (крім 429) не змінюють швидкість сканування.
• SEO-втрати відбуваються на рівні сторінки: втрачені позиції, змарновані беклінки й биті внутрішні посилання на URL, які мали цінність.
• Soft 404 (вміст помилки з кодом 200) марнують краулінговий бюджет. Натомість повертайте справжній 404 або 410.
• Використовуйте 301 лише тоді, коли є релевантна заміна. Ніколи не відправляйте всі 404 на головну.
• Розставляйте пріоритети за беклінками, минулим трафіком і внутрішніми посиланнями, а непотрібні URL залишайте з 404.
• Виправляйте внутрішні посилання в джерелі, чистьте sitemap і проводьте повторну перевірку через 30–60 днів.