Як заборонити індексацію сайту або сторінки в пошукових системах

Питання прискорення індексації сайту - це важлива частина всіх робіт по просуванню. Тим не менш, є ситуації, коли потрібно закрити від індексації якусь частину: розділ, сторінку, посилання і т.д. Розглянемо, як заборонити індексацію сайту в пошукових системах.

Зазвичай заборона індексації ставиться на різні службові модулі сайту, які не несуть смислового навантаження, як для користувачів, так і для пошукових систем. Це адміністраторський розділ, форми реєстрації та введення інформації, профілі користувачів і т.д. Крім того, треба закрити дублі сторінок від індексації.

Забороняти індексувати можна як всю сторінку цілком, так і окрему її частину, наприклад шматок тексту або посилання. Тому можна говорити як про глобальну заборону індексування, так і про локальну. Тепер поговоримо предметно, як це реалізувати.

Заборона індексації сайту в robots.txt

За допомогою файлу robots.txt ми можемо заборонити індексацію окремої сторінки або цілого розділу сайту.
User-agent: *
Disallow: /page.html
Disallow: /images/

* - визначає, що інструкції призначені для всіх пошукових ситсем;

Disallow: /page.html - забороняє індексувати сторінки "page.html";

Disallow: /images/ - забороняє індексацію всього вмісту папки "images".

Якщо вам потрібно заборонити кілька папок та/або сторінок - вказуємо всі в robots.txt.

Заборона індексації сторінки в мета-тезі robots

Для заборони індексації окремої сторінки можна скористатися мета-тегом robots. Особливість його використання на відміну від "robots.txt" в тому, що він дає вказівки відразу всім пошуковим системам. А в "robots.txt" можна налаштувати під окрему пошукову систему. Цей мета тег підпорядковується загальним правилам формату html і повинен знаходиться в заголовку сторінки між тегами <head> та </head>. Приклад запису для заборони:
<meta name="robots" content="noindex, nofollow">

Атрибут content може містити такі значення:

index - дозволяє індексацію сторінки;

noindex - забороняє індексацію сторінки;

follow - дозволяє індексувати посилання на сторінці;

nofollow - забороняє індексацію посилань на сторінці;

all - включає в себе відразу index і follow (дозволяє індексувати і сторінку і посилання);

none - включає noindex і nofollow, тобто забороняє індексацію.

Приклад запису, який дозволяє все:
<meta name="Robots" content="All" />

Або забороняє індексацію тексту і посилань:
<meta name="Robots" content="None" />

Так само, можна вказати для якої пошукової системи призначені обмеження в мета тезі robots.
<meta name="googlebot" content="all" />

Заборона індексації посилання: атрибут rel="nofollow" тега <A>

Щоб закрити конкретне посилання від індексації можна скористатися атрибутом rel="nofollow" в тезі <A>. Приклад запису атрибута:
<a href="http://mysite.com" rel="nofollow"> посилання </a>

Атрибут rel="nofollow" враховують всі пошукові системи. На відміну від мета-тега "robots", який, забороняє індексувати відразу всі посилання, "rel" закриває тільки одне посилання.

Часто цей атрибут застосовують, коли не бажають втрачати по посиланнях контрольну вагу сторінки.

Заборона індексації тегом <noindex>

За допомогою тега <noindex> можна закрити від індексації певну частину сторінки. Це може бути шматок тексту або коду, що завгодно. Часто вебмайстри закривають цим тегом лічильники статистики і скрипти на сайтах. Приклад запису:
<noindex>частина сторінки, яку треба закрити від індексації</noindex>

Тег "noindex" може розташовуватися в будь-якій частині сторінки і не чутливий до вкладеності. Щоб зробити його валідним, застосовуйте такий запис:
<!––noindex––> текст, індексування якого потрібно заборонити<!––/noindex––>

Заборона індексації в htaccess

Файл htaccess може заблокувати доступ до певної частини сайту, наприклад до окремої сторінки. Якщо ви хочете закрити сторінку від Google то вам потрібна такий запис.
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} google
RewriteRule ^тут URL сторінки$ - [F]

Ось ми і розібрали всі можливі способи і методи заборони індексації як цілих розділів або сторінок сайту, так і певних частин.
Залишати коментар дозволено лише зареєстрованим користувачам. Процедура займе зовсім небагато часу, і ви зможете швидко добавити відгук.

Авторизуватися

Вперше на KovelPost? Приєднуйтесь

Корисне

Розклад руху автобусів міста Ковель

Статистика: