Прямые заходы ботов на сайт: блокировка по IP

Боты, изображающие из себя людей, стали бедой для множества сайтов. Из моих подопечных больше всего «повезло» одному, совсем молодому, от которого в какой-то степени зависит бизнес, и он оказался в базе хакеров. Последствия действий злоумышленников, если не считать, что любое обращение к сайту создает дополнительную нагрузку на сервер, такие:

  1. Данные из Яндекс Метрики о трафике с погрешностью, и это мешает анализу.
  2. Яндекс Метрика не умеет распознавать этих ботов, имитирующих поведение людей, и Яндекс расценивает эти бесконечные посещения с просмотрами двух и более страниц как накрутку поведенческого фактора. Результат предсказуемый – ранжироваться в поиске сайт начинает плохо, позиции теряет, даже если никаких официальных санкций не применялось. Это из личного опыта.

Осенью прошлого года я стала наблюдать странную картину и никак не могла понять, с какого перепуга вдруг народ пошел из социальных сетей, если никто продвижением в социалках не занимается. Или с Ютубе, где никаких каналов нет и ссылок никто не ставил. И каждое посещение первое. Потом пошли прямые заходы, а их количество стало расти. Кинулась в интернет искать информацию, а та-а-ам! На seo-форумах, в чатах телеграма, в блогах оптимизаторских сервисов уже с весны горячо обсуждают проблему, придумывают разные способы борьбы. Кто-то отчаивается, потому что блокировки и скрипты не работают.

Будет желание, почитайте статью на vc.ru, и комментарии к ней интересные. Люди в растерянности, взволнованы. Опубликован материал в декабре 2020 г.

На моем сайте трафик небольшой, но и 20-30 гадов делали свое черное дело. Надо было принимать меры, причем, давно уже: поисковый трафик растворился, остались только брендовые запросы. Проштудировав приличное количество источников, решила попробовать блокировку посетителей по IP в файле htaccess, благо масштаб беды не такой устрашающий, как у коллег, которые показывали скриншоты со списками сотен лжепосетителей. Поскольку адреса динамические, может сработать блокировка по маске.

Как заблокировать посетителей по IP адресу в htaccess

Учить, как блокировать по IP, в мои планы не входит. Кто не делал этого раньше, информации в сети выше головы. Если задача аналогичная, можно вставить в файл такую конструкцию, вместо моих цифр ставите свои:

Order Allow,Deny
Allow from all
Deny from 31.173.80.0/21
Deny from 37.29.41.0/24
Deny from 91.193.178.0/23

Главное, этих тварей нужно вычленить. Если никаких хитростей для передачи IP в код метрики не внедрено, то путь один – лог-файл. Работа трудоемкая, рутинная.

Честно признаюсь, что мне задачу облегчало то, что проект работает на Санкт-Петербург, а боты поголовно ходили из Москвы, единичные — из других регионов. И, в основном, в ночное время. В метрике их просто отфильтровать по географии.

А теперь самое главное. Есть сервис защиты от спама и различных атак cleantalk.org, о котором я писала уже дважды после установки плагинов разработчиков сервиса на сайты — Анти-спам и Security. Все хорошо работает, отбивают ботов, но уже тех, кто попал в черный список. Несколько месяцев назад переписывалась с поддержкой по вопросу ботов-имитаторов. Ответили, что работают в этом направлении, но, видимо, пока не получается идти вперед хакеров.

На cleantalk.org есть база! Регулярно обновляемая! Черный список! И пользоваться базой можно в свободном доступе, если не собираетесь ее скачивать. Открываем страницу, вводим в строку IP и получаем все данные, которые нужны для блокировки.

Как проверить IP на спам

Бывают и не такие устрашающие надписи, но все равно понятно, для чего используется это устройство, с которого выходят в интернет.

Спам-база

А ниже на странице кладезь, и никаких калькуляторов не надо, чтобы понять, в какую сеть входит конкретный адрес. В одном месте все, что хотите: сеть, родительская сеть, номер AS, провайдер, регион, спам активность в процентах и другая интересная информация.

Как узнать подсеть

При попытке блокировать по маске, к сожалению, под раздачу попали трое постоянных клиентов компании. Отказалась от такого зверского метода. Лучше иногда мониторить трафик и вносить корректировки в htaccess по более узкому диапазону. Пока в моем списке 21 строка. Надеюсь, сильно расти не будет. Ну, хотя бы передышка наступила. И тут же народ из поиска стал захаживать. Готовым, проверенным-перепроверенным списком могу поделиться. Пишите в комментариях.

Закладка Постоянная ссылка.

7 комментариев

  1. Бесполезное занятие, особенно с пролаченным CleanTalk, что мешает отсекать по их базе сразу, а не каждый день редактировать списки

    • Надежда Хачатурова

      Саша, так они отсекают по IP, когда бот уже в базе. Причем, отсекают много, но новые лезут из той же сети. Блокировка по сети помогает хоть как-то. Сегодня за ночь был один такой визит на столовой, а до этого по 30 заходов и больше только к утру было, да еще за день захаживали между нормальным народом. При маленьком трафике это огромный процент. По сводке прямых заходов было больше органики. Посмотрим, что дальше будет. Мне один человек сказал, что лучше блокировать по AS, но я не понимаю, какие сети туда входят, иерархии не понимаю. Не отсечь бы всех клиентов и нормальных посетителей.

  2. Да, извечная борьба с этими ботами…

    • Надежда Хачатурова

      Вот ведь сапожник без сапог. Не приходят письма из блога. Не видела, Александр, что Вы меня морально поддержали. Скорее всего, и Вам письмо не придет. Жаль.

  3. Надежда, спасибо за статью! Было очень полезно!

  4. Вячеслав

    Добрый день.

    Столкнулись с такой же проблемой, только в нашем случае чуть труднее, тк мы работаем по Московскому региону.

    Пока вот такой список составили:

    31.173.80.0/21
    31.173.0.0/18
    178.176.64.0/19
    91.193.176.0/22
    176.59.36.0/22
    176.59.40.0/21
    176.59.48.0/21

    Если есть возможность поделиться вашим — буду признателен.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *