Як заборонити індексацію сайту або сторінки в пошукових системах
Питання прискорення індексації сайту - це важлива частина всіх робіт по просуванню. Тим не менш, є ситуації, коли потрібно закрити від індексації якусь частину: розділ, сторінку, посилання і т.д. Розглянемо, як заборонити індексацію сайту в пошукових системах.
Зазвичай заборона індексації ставиться на різні службові модулі сайту, які не несуть смислового навантаження, як для користувачів, так і для пошукових систем. Це адміністраторський розділ, форми реєстрації та введення інформації, профілі користувачів і т.д. Крім того, треба закрити дублі сторінок від індексації.
Забороняти індексувати можна як всю сторінку цілком, так і окрему її частину, наприклад шматок тексту або посилання. Тому можна говорити як про глобальну заборону індексування, так і про локальну. Тепер поговоримо предметно, як це реалізувати.
Заборона індексації сайту в robots.txt
За допомогою файлу robots.txt ми можемо заборонити індексацію окремої сторінки або цілого розділу сайту.
Disallow: /page.html - забороняє індексувати сторінки "page.html";
Disallow: /images/ - забороняє індексацію всього вмісту папки "images".
Disallow: / - заборона на індексацію всього сайту.
Якщо вам потрібно заборонити кілька папок та/або сторінок - вказуємо всі в robots.txt.
Заборона індексації сторінки в мета-тезі robots
Для заборони індексації окремої сторінки можна скористатися мета-тегом robots. Особливість його використання на відміну від "robots.txt" в тому, що він дає вказівки відразу всім пошуковим системам. А в "robots.txt" можна налаштувати під окрему пошукову систему. Цей мета тег підпорядковується загальним правилам формату html і повинен знаходиться в заголовку сторінки між тегами <head> та </head>. Приклад запису для заборони:
index - дозволяє індексацію сторінки;
noindex - забороняє індексацію сторінки;
follow - дозволяє індексувати посилання на сторінці;
nofollow - забороняє індексацію посилань на сторінці;
all - включає в себе відразу index і follow (дозволяє індексувати і сторінку і посилання);
none - включає noindex і nofollow, тобто забороняє індексацію.
Приклад запису, який дозволяє все:
Щоб закрити конкретне посилання від індексації можна скористатися атрибутом rel="nofollow" в тезі <A>. Приклад запису атрибута:
Часто цей атрибут застосовують, коли не бажають втрачати по посиланнях контрольну вагу сторінки.
Заборона індексації тегом <noindex>
За допомогою тега <noindex> можна закрити від індексації певну частину сторінки. Це може бути шматок тексту або коду, що завгодно. Часто вебмайстри закривають цим тегом лічильники статистики і скрипти на сайтах. Приклад запису:
Файл htaccess може заблокувати доступ до певної частини сайту, наприклад до окремої сторінки. Якщо ви хочете закрити сторінку від Google то вам потрібна такий запис.
Зазвичай заборона індексації ставиться на різні службові модулі сайту, які не несуть смислового навантаження, як для користувачів, так і для пошукових систем. Це адміністраторський розділ, форми реєстрації та введення інформації, профілі користувачів і т.д. Крім того, треба закрити дублі сторінок від індексації.
Забороняти індексувати можна як всю сторінку цілком, так і окрему її частину, наприклад шматок тексту або посилання. Тому можна говорити як про глобальну заборону індексування, так і про локальну. Тепер поговоримо предметно, як це реалізувати.
Заборона індексації сайту в robots.txt
За допомогою файлу robots.txt ми можемо заборонити індексацію окремої сторінки або цілого розділу сайту.
User-agent: *
Disallow: /page.html
Disallow: /images/Disallow: /page.html - забороняє індексувати сторінки "page.html";
Disallow: /images/ - забороняє індексацію всього вмісту папки "images".
Disallow: / - заборона на індексацію всього сайту.
Якщо вам потрібно заборонити кілька папок та/або сторінок - вказуємо всі в robots.txt.
Заборона індексації сторінки в мета-тезі robots
Для заборони індексації окремої сторінки можна скористатися мета-тегом robots. Особливість його використання на відміну від "robots.txt" в тому, що він дає вказівки відразу всім пошуковим системам. А в "robots.txt" можна налаштувати під окрему пошукову систему. Цей мета тег підпорядковується загальним правилам формату html і повинен знаходиться в заголовку сторінки між тегами <head> та </head>. Приклад запису для заборони:
<meta name="robots" content="noindex, nofollow">index - дозволяє індексацію сторінки;
noindex - забороняє індексацію сторінки;
follow - дозволяє індексувати посилання на сторінці;
nofollow - забороняє індексацію посилань на сторінці;
all - включає в себе відразу index і follow (дозволяє індексувати і сторінку і посилання);
none - включає noindex і nofollow, тобто забороняє індексацію.
Приклад запису, який дозволяє все:
<meta name="Robots" content="All" /><meta name="Robots" content="None" /><meta name="googlebot" content="all" />Щоб закрити конкретне посилання від індексації можна скористатися атрибутом rel="nofollow" в тезі <A>. Приклад запису атрибута:
<a href="http://mysite.com" rel="nofollow"> посилання </a>Часто цей атрибут застосовують, коли не бажають втрачати по посиланнях контрольну вагу сторінки.
Заборона індексації тегом <noindex>
За допомогою тега <noindex> можна закрити від індексації певну частину сторінки. Це може бути шматок тексту або коду, що завгодно. Часто вебмайстри закривають цим тегом лічильники статистики і скрипти на сайтах. Приклад запису:
<noindex>частина сторінки, яку треба закрити від індексації</noindex><!––noindex––> текст, індексування якого потрібно заборонити<!––/noindex––>Файл htaccess може заблокувати доступ до певної частини сайту, наприклад до окремої сторінки. Якщо ви хочете закрити сторінку від Google то вам потрібна такий запис.
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} google
RewriteRule ^тут URL сторінки$ - [F]