Заблоковано через помилку "доступ заборонено" (403)

Question

Доброго дня, сталася така неприємна ситуація. Я помітив, що з індексу пошукової системи Google почали зникати раніше гарно просунуті сторінки. Спочатку не дуже на це відреагував, однак згодом переглянув сторінку "Індексування сторінок" в Google Search Console вебмайстері. Те що я побачив, мене шокувало: 630 тисяч непроіндексованих сторінок з кодом 403 - Заблоковано через помилку "доступ заборонено" (403). Хто знає, у чому проблема і як мені її вирішити?

Accepted Answer

Причина у тому, що раптово зросла відвідуваність сайту, з 10-15 тисяч відразу на 200-300. Хостинг видав попередження про перевищення квоти на процесорний час. У логах я побачив десятки тисяч китайських запитів з різними доменними зонами, і я почав блокувати їх IP адреси.

Моя логіка була наступна, що сервера просто завалюють мене запитами, однак я помилився, це були сайти, на яких тисячі посилань на мій сайт, а гугл бот переходив по цим посиланням. Тому я його, випадково, і забанив.

Через 3 тижні все стало на свої місця, сторінки знову проіндексувалися.

Але для того, щоб такої ситуації більше не сталося, всі сторінки, на які ведуть посилання, отримали статус відповіді 404.

Юрій · Answer

У чому причина була забороняти IP адресу пошукової машини Google?

Ігор · Answer

Дуже дякую вам за допомогу. Насправді у списку заблокованих адрес була присутня IP 66.249.66.37 (Organization: Google LLC (GOGL)). Після її видалення зі списку пошукова система відразу почала успішно сканувати сторінку: "Google має доступ до цієї URL-адреси". Сподіваюся сторінки повернуться на свої позиції досить швидко.

Віктор · Answer

Мабуть, що це ви заблокували доступ для гугл бота. Перевірте на своєму хостингу список заблокованих IP адрес, якщо в вони є, то перевірте також useragent.

Ігор · Answer

Перевірив, відповідь: "Помилка. Заблоковано через помилку "доступ заборонено" (403)". Змін у файлах ніяких не було, можливо IP сервера попало в якийсь чорний список?

Віктор · Answer

Спробуйте перевірити будь-яку сторінку з кодом 403 онлайн сервісом "Перевірити URL адресу" у тому ж вебмайстері. У розділі "Завантаження сторінки" вам покаже відповідь, як пошукова система Google бачить вашу сторінку.