Боты Яндекса попали под блокировку по странам

Несколько дней назад мне написали старые клиенты, которым пару лет назад оптимизировала контент. Интернет-магазин стал резко терять позиции в Яндексе. В вебмастере выяснилось, что боты Яндекса получают ответ 403, то есть доступ к страницам им запрещен. Причем, при проверке ответа сервера в вебмастере все в порядке – код 200, а в логах действительно 403.

Оказалось, что боты запускаются с ip-адресов разных стран. И основной, и бот метрики шли из Германии (77.88.9.). Продолжалось это недели две, судя по данным из вебмастера, и страницы пачками удалялись из индексации, естественно и главная. Дошло до того, что сайт остался только в поисковой системе Гугла.

Разобрались не сразу. Первый сотрудник поддержки хостинга послал искать причину в robots.txt, хотя 403 ошибка появляется при запрете на сервере, а не на сайте. «Понаберут по объявлениям», — шутит в таких случаях знакомый программист. Другой не поленился открыть файл htaccess, где и обнаружил эти запреты.

Непонятно, по какому принципу специалист, который настраивал гео-блокировку, собирал страны. В списке их 14: Украина, Китай, Германия, Румыния, Нидерланды, Молдова, Австрия, Беларусь, Турция, Латвия, Казахстан, Франция, Ирландия. Не какие-то африканцы или австралийцы. Да и блокировка пользователей по странам, вроде, в htaccess не так делается, как это было. И почему, например, потенциальный покупатель из Санкт-Петербурга, отдыхающий у родственников в Беларуси, не может поискать товар, который хочет купить по возвращении домой? Допускаю, что в момент настройки ограничений в странах, попавших в список, была наибольшая активность хакеров.

Поддержке вебмастера задала вопрос, а как это на российский сайт ходят боты из-за рубежа. Ответ Платона Щукина: «Наш робот действительно может посещать сайт с разных IP, в том числе и из зарубежных регионов. Это обусловлено большим числом внутренних политик. Поэтому, если на сайте блокируются запросы из каких-то регионов, наш робот тоже может попасть под блокировку». Понятно, роботы запускаются с доменной зоны com. Ну, и у Google зона com, причем, боты идут из Соединенных Штатов, а Штаты как раз тоже были заблокированы, но Гугл имел доступ к страницам.

Другая цитата: «Если вы добавили страницы на переобход в инструменте «Переобход страниц», то добавленные через этот сервис страницы смогут появиться в поиске через 1-2 недели, подождите, пожалуйста». 1-2 недели! Это же бизнес! Для него не день – час дорог.

Кусок кода из файла htaccess убрали, но и боты Яндекса пошли с другого IP еще до снятия запрета, вскоре после обращения к Платону, в тот же день.

Как только в вебмастере пропала фатальная ошибка, ситуация стала выправляться на глазах, хотя страницы в индекс только начинают возвращаться, и не все сразу.

Профессионалы, что думаете по этому поводу? Блокировку по странам теперь ставить рискованно? Но почему тогда гугла это не коснулось. По сетям злоумышленников отлавливать? Или есть грамотные настройки, которые не затронут поисковых ботов?

Закладка Постоянная ссылка.

6 комментариев

  1. А вот это уже интересно…Стоит подумать над таким вопросом..

  2. Здравствуйте, а сколько будет стоит оптимизация контента на моем магазине салютов

    • Жанна, здравствуйте! Все начинается с аудита. Если просто программой прогнать, чтобы выявить недочеты, то недорого. А потом уже решать по обстоятельствам, что Вы сами сможете исправить, что не сможете. Без аудита ничего сказать точно не могу.

      P.S. У меня в блоге не очень стабильно работает почта. Висит какая-то ошибка, но некогда разбираться. Так что если хотите обсудить, пишите в телеграм или вацап +7 (905) 280-68-46.

  3. А для чего вообще блокировку по странам делать? Тем более, что сегодня многие серфят через анонимайзеры, впн и пр

    • А кто его знает, Дмитрий, зачем, кто и когда это делал. Сайт на опенкарт, которого не знаю совсем, к технической части вообще не касаюсь. Вообще блокировку нужно делать осторожно. Помню, лет 8 назад, наверное, мой блог атаковали по причине личной неприязни. Тогда вариантов нападений было не очень много. Запускали какие-то сервисы серфинга и лупили. Даже где-то статьи есть про ту историю. И вот ребята знакомые настроили мне блокировку. А через какое-то время страницы вылетели из индекса Яндекса. Я тогда вообще мало чего в этом понимала, но блокировку удалила. Помаленьку все восстановилось, да и хакеры успокоились к тому времени.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *