Дублі сторінок: як знайти і прибрати дубльований контент

Дублі сторінок — це однаковий або майже однаковий контент, доступний за кількома URL на вашому сайті чи на чужому. Головний ризик дубльованого контенту для SEO не в санкціях. Справжня проблема в тому, що Google сам вибирає одну версію для індексу, і це може бути зовсім не та сторінка, яку ви хотіли б бачити в пошуку. До того ж посилання й інші сигнали розпорошуються між копіями, а бюджет краулінгу йде на дублікати. Як прибрати дублі сторінок: спершу знайти їх, а потім налаштувати редирект, вказати canonical або переписати текст.

Чи шкодить дубльований контент SEO?

Санкцій за нього немає. Google пише, що «певна кількість дубльованого контенту на сайті — це нормально, і це не порушення правил Google щодо спаму» (Google Search Central, канонізація). Google групує схожі сторінки, вибирає з них одну канонічну й здебільшого показує в пошуку тільки її.

Але на практиці ви все одно втрачаєте:

• У пошуку ранжується не той URL. Google може віддати перевагу адресі з параметрами відстеження, HTTP-версії або сторінці для друку, а не вашому чистому URL.
• Сигнали розпорошуються. Посилання на три версії однієї сторінки не підсумовуються повністю, якщо Google їх не об'єднає. Об'єднання сигналів ранжування Google називає однією з головних причин указувати канонічну сторінку (об'єднання дублікатів URL).
• Краулінг марнується. У тому самому посібнику сказано, що з визначеним canonical Googlebot витрачає час на новий і оновлений контент, а не на копії. Найбільше це важить для великих сайтів (див. оптимізацію бюджету краулінгу).
• Звіти стають заплутаними. Кліки й покази розподіляються між кількома URL, тож важко зрозуміти, як насправді працює сторінка.

Копіювання чужого контенту — окрема історія. Повторна публікація матеріалів з інших сайтів «без додавання оригінального контенту чи цінності» або їх легке перефразування вважається скрейпінгом згідно з правилами Google щодо спаму. Такі сторінки можуть понизити в пошуку або взагалі видалити з нього.

Звідки беруться дублі сторінок?

Здебільшого дублікати виникають через технічні налаштування, а не через те, що хтось копіює текст. Google називає п'ять типових джерел: регіональні варіанти, варіанти для різних пристроїв (окремі мобільні URL), варіанти протоколу (HTTP і HTTPS), функції сайту на кшталт сортування й фільтрів, а також випадкові варіанти, наприклад демо- чи тестова версія сайту, відкрита для пошукових роботів.

Ось як ці джерела зазвичай виглядають на реальних сайтах:

Пагінація до цього списку за замовчуванням не входить. Друга сторінка категорії показує інші товари, тож вона не є дублем першої. У нашому посібнику з пагінації пояснюємо, чому не варто ставити canonical зі сторінки 2 на сторінку 1.

Як знайти дублі сторінок на сайті

Використовуйте три джерела разом: Search Console показує, яке рішення ухвалив Google, краулінг — що насправді генерує ваш сайт, а пошукові оператори допомагають знайти копії на інших доменах. Кожне з них виявляє те, що пропускають інші.

1. Звіт «Індексування сторінок» у Search Console

Відкрийте Індексування → Сторінки і перегляньте таблицю «Чому сторінки не індексуються». Тут важливі три статуси, описані в довідці Google щодо звіту «Індексування сторінок»:

• Дублікат, користувач не вибрав канонічну сторінку (Duplicate without user-selected canonical). Сторінка є дублікатом без оголошеного canonical, тож Google вибрав канонічною іншу URL-адресу.
• Дублікат: Google вибрав іншу канонічну сторінку, ніж користувач (Duplicate, Google chose different canonical than user). Ви вказали canonical, але Google вважає кращою іншу URL-адресу й проіндексував саме її.
• Альтернативна сторінка з належним канонічним тегом (Alternate page with proper canonical tag). Сторінка правильно вказує на проіндексовану канонічну, тож нічого робити не потрібно.

Google наголошує, що ці статуси — очікувана поведінка, а не помилки. Діяти варто лише тоді, коли Google вибрав не той URL, який ви хочете бачити в пошуку. Експортуйте приклади URL і згрупуйте їх за шаблонами (параметри, слеші, архіви). Шаблон зазвичай одразу вказує на причину.

2. Перевірка URL-адреси для окремих сторінок

Перевірте будь-яку важливу сторінку й порівняйте канонічну URL-адресу, указану користувачем, з канонічною URL-адресою, вибраною Google. Якщо вони різні, Google ігнорує вашу вказівку. У довідці Search Console зазначено, що значення, вибране Google, може на кілька годин відставати від актуального індексу, тож не хвилюйтеся, якщо виправлення викотили лише сьогодні вранці.

3. Повний краулінг сайту

Проскануйте сайт з увімкненим рендерингом JavaScript і шукайте:

• Точні дублікати: сторінки з однаковим хешем контенту на різних URL.
• Майже дублікати: сторінки, основний текст яких збігається, скажімо, на 90% і більше. Сюди зазвичай потрапляють сторінки міст і варіанти товарів.
• Однакові title, H1 і meta description: простий, але надійний ознака дубльованих шаблонів (див. оптимізацію тегу title).
• Проблеми з canonical: відсутні canonical, canonical на редиректи, 404 чи сторінки з noindex, а також ланцюжки canonical.
• Внутрішні посилання на неканонічні URL: наприклад, меню веде на /shoes/, а канонічна адреса — /shoes.

Якщо не хочеться налаштовувати краулер самостійно, безкоштовний SEO-аудит від SEORecheck просканує ваші сторінки й позначить однакові title та description, відсутні чи суперечливі canonical і проблеми з редиректами — з прикладами URL саме з вашого сайту.

4. Пошукові оператори для копій на інших сайтах

Скопіюйте характерне речення (10–15 слів) з важливої сторінки й пошукайте його в лапках. Результати з інших доменів — це синдикаційні партнери, скрейпери або тестова копія вашого ж сайту. Запит site:yourdomain.com разом із фразою в лапках також виявляє внутрішні копії, до яких краулер не дістався, наприклад старі сторінки-сироти.

Як прибрати дубльований контент?

Рішення залежить від того, чи потрібен дубльований URL користувачам. Якщо ні — налаштуйте редирект. Якщо так (фільтри, посилання з мітками, варіанти товару) — залиште його й укажіть canonical на основну версію. Якщо дві сторінки просто дуже схожі, перепишіть або об'єднайте їх.

Редирект, якщо дубль не потрібен

Google вважає редиректи найсильнішим сигналом канонізації, rel="canonical" — сильним, а додавання до sitemap — слабким (об'єднання дублікатів URL). Дублі за протоколом, хостом, слешем у кінці та старі URL мають отримати постійний редирект. Google також зазначає, що вибирає канонічними HTTPS-сторінки, а не HTTP-версії, якщо немає проблем чи суперечливих сигналів. Використовуйте 301, а не 302 (див. 301 vs 302 редирект).

Canonical, якщо дубльований URL потрібен користувачам

Відсортовані списки, посилання з мітками кампаній і версії для друку мають сенс існувати. Додайте в їхній <head> canonical-посилання на основний URL, а на самій основній сторінці поставте самопосилальний canonical:

<!-- On https://www.example.com/shoes?sort=price -->
<link rel="canonical" href="https://www.example.com/shoes">

Google радить використовувати абсолютні URL і не надсилати суперечливих сигналів. Якщо canonical вказує на одну адресу, а sitemap і внутрішні посилання — на іншу, Google, найімовірніше, проігнорує таку підказку. У нашому посібнику з тегу canonical розповідаємо, як його налаштувати і яких помилок уникати.

Перепишіть або об'єднайте майже дублікати

Тридцять сторінок міст, що відрізняються одним словом, — це не технічна проблема, тож canonical їх не врятує. Або наповніть кожну сторінку реальною локальною інформацією (команда, адреса, зона обслуговування, відгуки, ціни, фото), або об'єднайте їх в одну сильну сторінку й налаштуйте 301 з решти. Якщо кілька сторінок зі схожим текстом націлені на той самий запит, це ще й канібалізація ключових слів. Об'єднайте їх і залиште URL, який уже має найбільше посилань і трафіку.

Чим не варто виправляти дублі

Google окремо застерігає від використання цих інструментів для канонізації:

• Блокування в robots.txt. Google не може просканувати заблокований URL, тож не побачить на ньому canonical і не об'єднає сигнали.
• noindex. Він повністю прибирає сторінку з пошуку, а не передає сигнали основній версії. Використовуйте його для сторінок, які ніколи не мають ранжуватися (тонкі архіви, результати внутрішнього пошуку), а не замість canonical.
• Інструмент видалення URL. Він лише тимчасово приховує адреси.
• Змішані сигнали. Наприклад, canonical вказує на A, sitemap містить B, а hreflang посилається на C.

Що робити із синдикованими та вкраденими копіями

Коли партнери передруковують ваші статті, посібник Google з усунення проблем канонізації не рекомендує міждоменний canonical, бо сторінки партнерів часто суттєво відрізняються. Натомість попросіть партнерів закрити синдиковану копію від індексації. Щодо сайтів-клонів той самий посібник радить DMCA-скарги або звернення до хостинг-провайдера, а не зміни canonical.

Дублі на багатомовних сайтах

Перекладені сторінки не є дублями одна одної. А от сторінки однією мовою для різних регіонів (наприклад, en-US і en-GB) можуть бути згруповані як дублікати, якщо контент ідентичний. Google зазначає, що при використанні hreflang канонічна сторінка має бути тією самою мовою (об'єднання дублікатів URL). Тож ніколи не ставте canonical з іспанської сторінки на англійську. Дайте кожному регіональному варіанту самопосилальний canonical, пов'яжіть версії через hreflang і додайте справжні регіональні відмінності: валюту, умови доставки, контакти.

Що виправляти насамперед?

Ідіть у порядку того, скільки трафіку на кону:

1. Дублі хоста й протоколу на всьому сайті. Одне правило редиректу виправляє тисячі URL.
2. Комерційні сторінки, для яких Google вибрав інший canonical. Перевірте сторінки товарів, послуг і категорій, що приносять заявки.
3. Лавину параметрів від фільтрів і сортування, особливо в інтернет-магазинах.
4. Шаблони з майже дубльованим контентом (міста, варіанти, архіви тегів). Тут потрібна редакторська робота, тож плануйте її партіями.
5. Зовнішні копії, якщо скрейпери ранжуються вище за вас з вашим же контентом.

Після впровадження дочекайтеся повторного сканування й порівняйте результати. У звіті «Індексування сторінок» кількість дублікатів має зменшитися, а в інструменті перевірки URL мають з'явитися вибрані вами канонічні адреси. Зазвичай на це йдуть тижні, а не дні.

Головне

• Дубльований контент не тягне за собою санкцій, але через нього Google може вибрати не той URL, сигнали розпорошуються, а краулінг марнується.
• Більшість дублів виникає через технічні налаштування: варіанти протоколу й хоста, параметри, варіанти товарів, архіви й тестові сайти.
• Шукайте їх за допомогою звіту «Індексування сторінок», перевірки URL, краулінгу з рендерингом і пошуку точних фраз.
• Налаштовуйте редирект для дублів, які не потрібні користувачам, canonical — для потрібних, а майже дублікати переписуйте або об'єднуйте.
• Не виправляйте дублі через robots.txt, noindex чи видалення URL і стежте, щоб canonical, sitemap і внутрішні посилання узгоджувалися між собою.
• Для синдикованих копій просіть партнерів ставити noindex, а не покладайтеся на міждоменний canonical.