Як знайти дублі сторінок на сайті

Дублі сторінок – сторінки з однаковим контентом, доступним з різних URL. Розглянемо найважливіші питання: як знайти дублі сторінок, чим шкідливі дублікати сторінок, часті причини дублювання, видалення дублікатів, приклади.

Чим шкідливі дублі сторінок

Проблема дублів на сайті викликає у пошукових систем ряд питань – яка сторінка є канонічною, яку сторінку показувати в пошуковій видачі і чи є сайт, який показує відвідувачам дублікати сторінок якісним майданчиком.

Google бореться із дублікатами сторінок за допомогою фільтра Panda, починаючи з 2011 року. На даний момент фільтр є невід’ємною частиною формули ранжування. За наявності Панди сайт втрачає більшу частину трафіку з пошукової системи.

Часті причини дублювання сторінок

Найчастішою причиною дублювання сторінок є особливість будови CMS, на яких розроблено сайт. Наприклад, в Joomla є безліч конструкцій URL, якими буде доступний той самий контент. Навіть в останніх версіях WordPress є варіант доступності контенту записів за конструкцією site.ru/postID та site.ru/ЧПУ. А в магазинній CMS Opencart: при ЧПУ із включенням назви категорії – прихильність товару до різних категорій. Деякі недосвідчені SEO-оптимізатори беруть за основу один контент і розмножують його, змінюючи лише кілька слів у тексті. За таким же принципом працюють і дорвії. Таке дублювання називається частковим і за таке дублювання на сайт можуть бути накладені санкції (Google Panda та ін).

Друга популярна версія дублювання – доступність сторінок з www і без (www.site.ru та site.ru). При такому дублювання всі версії сайту повинні бути додані в Google Webmaster Tools, після чого вже позбуватися їх.

Третя за популярністю варіація дублікатів – наявність контенту зі слешем наприкінці URL і без нього.

Пошук та видалення дублів сторінок на сайті входить до послуги Внутрішня SEO оптимізація сайту. Заощаджуйте, замовляючи у індивідуального фахівця.

Сервіси та програми пошуку

Найбільш швидкий і зазвичай, точний спосіб – знайти дублікати сторінок по Title і мета-тегам. Нижче – сервіси та програми, якими користуюся сам.

Сервіси для пошуку дублів по Title та мета-тегам:

1. Інструмент “Аудит сайту” у сервісі Serpstat (комплексні сервіси для SEO, PPC ~$100/місяць).
2. JetOctopus.
3. Ahrefs.
4. Інші, якщо знаєте, пишіть у коментарях.

Програми для пошуку дублів по Title та мета-тегам:

1. Website Auditor от SEO Power Suite (Mac, Windows, Linux, ~$50/одноразово).
2. Netpeak Spider (Windows only, $14/месяц).
3. Xenu (Windows only, free).
4. Screaming Frog.

Програми для пошуку дублів за контентом:

Якщо знаєте подібний софт – напишіть у коментарі контактам – додам до списку.

Основні способи позбавлення від дублів сторінок на сайті

1. Використовувати rel=”canonical”, який вказує на канонічну версію сторінки. Найкращий спосіб позбутися дублів. При використанні caonical практика показала, що ваги сторінок, що дублюють, склеюються, що добре для просування.
2. Закрити сторінки, що дублюються, від індексації. Можна закривати конструкціями в robots.txt (як користуватися robots.txt) або наявністю на сторінці мета-тегу <meta name=”robots” content=”noindex, nofollow”>.
3. Додати 301 редирект із дублюючої сторінки на основну. Підходить при дублюванні www/без, слеш на кінці/без. Налаштовується у файлі .htaccess або спеціальними плагінами.

Як знайти дублі сторінок: Приклади

Пошук дублів за допомогою Serpstat

Пошук дублів за допомогою Website Auditor