Как заблокировать ботов Вконтакте

Рекламодателя, который ищет автоматизированный сервис или инструмент для блокировки бот-трафика, могут одолевать сомнения: не будут ли случайно добавлены в стоп-лист реальные пользователи. Ведь бывает и такое, что поведение людей на сайте может быть похоже на роботизированное. Например, быстрый и равномерный просмотр или частый переход по ссылкам на сайте. Нередко пользователи в поисковой выдаче случайно нажимают на рекламное объявление вместо сайта на первой позиции «органики» и быстро закрывают страницу.

Так могут ли сервисы защиты от кликфрода дать хоть какую-то гарантию, что настоящая аудитория не будет заблокирована в общем потоке и ей будут показаны нужные рекламные объявления?

Содержание скрыть

Что такое бот

Робот, или бот, — это автоматизированная программа, которая воспроизводит заданный ей алгоритм действий. Как правило, они умеют имитировать поведение реальных пользователей на сайте, а также официальных легальных программ (к примеру, браузеров).

Поскольку это автоматизированные скрипты, то выполняют боты все свои действия значительно быстрее человека. Они бывают как полезными (роботы поисковых систем для индексирования ресурсов, чат-боты), так и вредоносными (для проведения DDoS-атак, скликивания рекламных объявлений и т. п.).

Как отключить чат бота от страницы

Что такое стоп-лист

Стоп-лист в данном контексте — это лист с IP-адресами, юзер-агентами пользователя и другими паттернами и индикаторами, запрещающий пользователю (роботу) доступ к серверу, сети или веб-ресурсу.

Туда попадают боты, цель которых заключается в нанесении материального или репутационного вреда рекламодателю, вебмастеру, а также владельцу любого ресурса, например, интернет-магазина. «Хорошие» боты в такой стоп-лист попадать не будут.

Блокировка хороших и плохих ботов

При блокировании вредоносного трафика стоит учитывать роль бота, который посещает сайт. Важно грамотно фильтровать роботов, так как они бывают, как мы уже ранее сказали, «хорошими» и «плохими».

Если заблокировать, к примеру, робота поисковой системы Яндекс, то он не сможет проиндексировать страницы вашего сайта. Это означает, что ресурс не будет отображаться в результатах поиска.

Хорошие боты индексируют сайты, проверяют письма на спам и вредоносный контент, общаются с клиентами на сайте через чат, автоматизируют работу канала в Telegram и т. п.

Плохие же бот-скрипты крадут данные пользователей, взламывают аккаунты, заполняют формы на сайтах чужими данными и ведут любую вредоносную деятельность. Их применяют в спам-атаках, DDoS, для воровства контента сайтов, скликивания рекламных объявлений.

Что такое robots.txt

Если все-таки есть потребность в управлении хорошими ботами, то для этого на сайтах используется файл robots.txt.

Robots.txt — это текстовый файл, в котором прописываются правила доступа роботов поисковых систем к ресурсу в целом и к отдельным его страницам в частности.

Например, с помощью данных правил мы разрешаем поисковому роботу Яндекса индексировать, то есть посещать, главную страницу сайта, страницу услуг и контактов:

ТУПЫЕ БОТЫ В ВК

А с помощью данной директивы запрещаем роботу Google доступ ко всему ресурсу:

Если в файле robots.txt прописаны подобные правила, то роботы будут им безукоснительно следовать.

Однако на вредоносных ботов этот файл действовать не будет. Они его не читают, тем более, что нет специальных правил по их блокировке в рамках данного текстового файла.

Таким образом, для управления вредоносами, а точнее их блокировки, требуется более активный подход, а не классические правила.

Агрессивное скликивание против тотальной блокировки

Слишком агрессивное ПО для скликивания может нести весомый ущерб рекламной кампании. Но есть один нюанс: важно соблюдать баланс между блокировкой кликов, которые имеют совокупность признаков мошеннического поведения, и тотальным внесением в стоп-лист каждого посещения, схожего лишь по минимальному списку параметров с недействительным.

К примеру, решения с ручной настройкой правил блокировки подвержены именно второму. Сложные бот-скрипты с легкостью обходят правила, устанавливаемые не автоматически, а вручную. Связано это с тем, что такие роботы могут обучаться и понимать, что провоцирует систему защиты и исключать такое поведение из своих алгоритмов.

Платформа, которая работает на ручных правилах блокировки, зачастую оказывается бессильна перед совершенно новыми, ранее не встречаемыми вредоносными ботами. Есть риск того, что система просто применит некорректное правило, которое, конечно же, не сработает, или сработает против реального пользователя.

В целом, сервисы защиты от скликивания со слишком строгими правилами лучше перегнут палку и заблокируют клик из потенциально недопустимого источника. Возможно, кого-то из маркетологов такой подход и устроит, однако он крайне нежелателен для тех, кто работает с сотнями кликов ежедневно.

Например, решение на базе ручной настройки может заблокировать IP-адрес только на основе того, что с него было совершено X кликов за Y период времени. Но что, если под данным IP находится свыше 500 мобильных устройств? Конечно же, такое решение не в интересах компании, размещающей рекламу.

Крайне важно оставаться уверенным в выбранных решениях для блокировки ботов. В противном случае, инструмент, который должен экономить деньги и время, будет делать совершенно обратное.

Стоит блокировать всех или только плохих ботов?

Если коротко, то мы не рекомендуем блокировать всех и вся. Добавляйте в стоп-лист только плохих ботов.

Как мы указали ранее, «хорошие» роботы обладают многочисленными преимуществами, поэтому их блокировать не стоит. Однако также не стоит забывать, насколько изощренными могут быть «плохие» боты. Из-за этого последних будет очень сложно заблокировать без помощи экспертов в области защиты от кликфрода и вредоносных атак.

Не стоит думать, что чем меньше сайт или скромнее бюджет на рекламную кампанию, тем меньше шансов стать мишенью для ботов. Отнюдь. Им все равно, сколько денег вы тратите на рекламу или сколько страниц у вашего сайта. Цель злоумышленников — сбор данных, кража, скликивание, DDoS-атаки по требованию, то есть всё, что может принести материальную выгоду.

Статистика показывает, что небольшие сайты привлекают 22,9% вредоносного бот-трафика, в то время как крупные онлайн-ресурсы — 17,9%. Поэтому даже малому бизнесу следует подумать о стратегии управления рисками и блокировать недействительный трафик.

Перехватываем вредоносных ботов из общего трафика

Если у вас есть навыки, опыт и нужные технологии, то отличить бота от реального пользователя не составит труда. Однако отличить полезного робота от вредоносного уже сложнее, так как последние используют различные маскировочные методы поведения, то есть имитируют собой другие программы.

К примеру, исследование компании GlobalDots за 2019 выявило 523 типа ботов и их всевозможные способы имитаций. Они успешно могут имитировать браузер Google Chrome, на втором месте идет Firefox, на третьем — мобильный браузер на Android. Кроме того, к этому списку относятся Safari, Internet Explorer, Safari Mobile, Opera, а также поисковые роботы Googlebot и Bingbot. И это не предел.

Идентифицировать ботов достаточно сложно, так как порядка 75% из них применяют комбинированные технологии и способы атак. Сложность их обнаружения также заключается в использовании разных подсетей, хаотичной смене IP-адресов, использовании анонимных прокси-серверов, Java-скриптов и одноранговых сетей. Такие усовершенствованные боты могут автоматически искать необходимую информацию и часто успешно имитируют поведение человека.

Кроме того, злоумышленники, которые управляют ботнетами, как правило, имеют доступ к настройкам и с легкостью могут менять среду для запуска бот-атак. Поэтому крайне неэффективно идентифицировать ботов только путем мониторинга журналов запросов, как это делают некоторые антивирусы. Или же блокировать вредоносный трафик только по одному IP.

Предпочтительнее и эффективнее всего сравнивать целую совокупность данных: IP-адреса, технические показатели, модели поведения, статистику и т. д. К примеру, стоит обращать внимание на особенности выполнения кода и расширения браузера, поскольку боты ведут себя не совсем так, как настоящие браузеры.

Чтобы обнаружить продвинутого вредоносного бота, нужно проводить комплексный технический и поведенческий анализ, изучать статистику и данные о репутации посетителя.

Botfaqtor использует универсальный подход к блокировке бот-трафика

Если вы ищете сервис для защиты от мошенничества с кликами, обязательно узнайте, как они отслеживают рекламный трафик. Остерегайтесь чрезмерно агрессивных инструментов, которые могут принести больше вреда, чем пользы.

Выбирайте защиту от недействительных кликов, которая использует динамический подход и адаптируется к вашему бизнесу, а не наоборот.

Как мы уже выяснили, использование только ручных правил для блокировки ботов не совсем корректно. Вместо этого лучше всего применять универсальный, многокомпонентный подход к обнаружению и блокированию незаконного трафика.

Для этого анализируются миллионы кликов по рекламе, собираются индикаторы и паттерны, а затем создаются профили. К примеру, в сервисе Botfaqtor идет автоматизированное обучение системы в режиме реального времени, которое позволяет пополнять стоп-лист новыми ботами.

Защита рекламы в Яндекс и Google от недействительных кликов — это только начало. У пользователей, которые используют сервис Botfaqtor, появляется доступ к отчетам со всеми данными о кликах, количестве заблокированных ботов и другие параметры.

Выбирайте сервис Borfaqtor с бесплатным 7-дневным тестовым периодом, который поможет вам сократить расходы на рекламу и увеличить приток реальных потенциальных клиентов. Даже за это время вы сможете удостовериться, что система работает. Мы бережем любые рекламные бюджеты от скликивания.

Источник: botfaqtor.ru

Блокиратор спам-ботов

Использование этого блокиратора избавит Ваши сайты от 90% спам-ботов в сети, от нагрузок, от бесполезных пауков и сканеров, от потенциальных угроз и попыток взлома.

Блокировка ботов посредством файла .htaccess

Использование конфигурационного файла web-сервера Apache и некоторых других, подобных ему серверов — .htaccess (hypertext access) — наиболее простой и универсальный способ борьбы с спам-ботами. Этот файл есть в корне Вашего сайта на сервере (если нет, создайте его) и вставьте в него следующий «универсальный блокировщик спам-ботов * «:

Кто такие «спам-боты» и зачем их блокировать?

Под термином «спам-бот» я подразумеваю роботов, сканирующих сайт пользователя в целях сбора конфиденциальной информации, собирающие статистику (семантику, ключи, наличие используемых технологий, плагинов и т.д.). К спам-ботам также можно отнести никому не известные поисковые системы или каталоги сайтов.

К бесполезным спам-ботам также можно отнести специализированное ПО, которое может использоваться хакерами или онлайн сервисами для поиска уязвимостей на Вашем сайте.

Рано или поздно встает вопрос о их блокировке, поскольку имеется рад негативных последствий для сайта:

• Нагрузка на сервер. Боты в большом количестве способны создать колоссальную нагрузку на сайт. Учитывая тот факт, что бесполезных ботов очень много, их пристальное внимание к вашему сайту негативно отобразится как на скорости загрузки, так и доступности самого сайта.
• Сбор конфиденциальной информации. Как пример, спам-боты собирают информацию об установленных на вашем сайте плагинах, ваш сайт попадает в списки потенциально уязвимых сайтов (при обнаружении уязвимостей в каком-то плагине) и Ваш сайт в числе первых в списке на взлом.
• Воровство контента. Различные онлайн-сервисы собирают информацию с Вашего сайта, такие как семантику, тематику, трафиковые страницы и популярные тексты. Эту информацию впоследствии можно встретить в открытом доступе. И ею беспрепятственно пользуются копипастеры, клонировщики сайтов и дорвейщики.
• Умышленный вред. Ваши конкуренты могут использовать спам-ботов целенаправленно: скликивать рекламу на сайте, инициировать регистрации пользователей, спамить в формы связи, осуществлять DDOS атаку и т.д.

Это еще не все негативные последствия, в связи с чем возникает резонный вопрос: а зачем пускать таких спам-ботов на сайт?

Как работает «блокировщик спам ботов»?

Как правило, программное обеспечение (при обращении к сайту) должно передать идентификационную информацию о себе (представится). Такая информация передается в User-Agent. По User-Agent мы видим, кто заходит на сайт, и если он в нашем черном списке (см. выше), то сервер блокирует для него доступ, а именно, вернет ответ:

HTTP/1.1 403 Forbidden

* Почему блокиратор универсальный?

Название «универсальный» — условное. Нельзя охватить весь богатый перечень всех бесполезных ботов и пауков. Тем более, блокировка того или иного бота — вопрос риторический. Например, Baiduspider — бот крупнейшего китайского поисковика, одного из лидеров поисковых запросов в мире. но нуждается ли в нем рядовой русскоязычный сайт? Я считаю, что нет, поэтому он заслуженно в черных списках данного «универсального блокиратора» (для Рунета).

В мой универсальный блокиратор входит около 200 бесполезных ботов, пауков и сканеров (в реальности, этот список будет на порядок выше, так как блокируются и вариации основных ботов). Этот список составлялся и корректировался (дополняется периодически — заходите на эту страницу за обновлениями) на протяжении нескольких лет практической работы с сайтами клиентов, которых приходилось лечить от вирусов, защищать от DDOS атак, попыток взлома и т.д. Этот список уже стоит на тысячах сайтов в интернете и приносит свою практическую пользу вебмастерам.

Данный блокиратор не блокирует полезные боты (известные поисковые системы и сервисы аналитики), в его эффективности и безопасности для сайта автор полностью уверен — данный блокиратор стоит на этом сайте (вы можете проверить это любым внешним чекером HTTP заголовков сайта подставляя User-Agent из списка)!

Если у Вас возникли вопросы личного характера, пишите автору по этой ссылке

Если у Вас вопрос публичного характера, Вы можете оставить его в комментариях. Также приветствуются пожелания и замечания касательно списка бесполезных ботов и сканеров (их можно оставлять здесь же, в комментариях)

Источник: seo-zona.ru

Как заблокировать ботов вконтакте

Открыть меню

Здравствуйте, дамы и господа! Почти каждый владелец сайта сталкивается с активностью ботов на своем сайте. Активность ботов известных поисковых систем обычно не создает существенной нагрузки и не сильно влияет на скорость работы сайта.

Что такое бот

Робот, или бот, — это автоматизированная программа, которая воспроизводит заданный ей алгоритм действий. Как правило, они умеют имитировать поведение реальных пользователей на сайте, а также официальных легальных программ (к примеру, браузеров).

Поскольку это автоматизированные скрипты, то выполняют боты все свои действия значительно быстрее человека. Они бывают как полезными (роботы поисковых систем для индексирования ресурсов, чат-боты), так и вредоносными (для проведения DDoS-атак, скликивания рекламных объявлений и т. п.).

Что такое стоп-лист

Стоп-лист в данном контексте — это лист с IP-адресами, юзер-агентами пользователя и другими паттернами и индикаторами, запрещающий пользователю (роботу) доступ к серверу, сети или веб-ресурсу.

Туда попадают боты, цель которых заключается в нанесении материального или репутационного вреда рекламодателю, вебмастеру, а также владельцу любого ресурса, например, интернет-магазина. «Хорошие» боты в такой стоп-лист попадать не будут.

Блокировка хороших и плохих ботов

При блокировании вредоносного трафика стоит учитывать роль бота, который посещает сайт. Важно грамотно фильтровать роботов, так как они бывают, как мы уже ранее сказали, «хорошими» и «плохими».

Если заблокировать, к примеру, робота поисковой системы Яндекс, то он не сможет проиндексировать страницы вашего сайта. Это означает, что ресурс не будет отображаться в результатах поиска.

Однако есть и другие боты, например DotBot или Semrush. Эти боты отправляют настолько много запросов на сайт, что это было подобно эффекту небольшой DDoS-атаки. Это приводило к большой нагрузке на сайт и сервер, и недоступности сайта для других посетителей.

Мы расскажем, как заблокировать DotBot, Semrush и других ботов.

Блокировка ботов на хостинге и VDS

На многих хостингах есть поддержка правил вебсервера Apache. Если вы размещаетесь на таком хостинге, то перейдите в каталог с сайтом. Найдите файл .htaccess . Добавьте в начало файла следующие строки:

RewriteEngine On RewriteCond % (SeopultContentAnalyzer|SeekportBot|DataForSeoBot|Barkrowler|BLEXBot|SemrushBot|MJ12bot|AhrefsBot|bingbot|DotBot|PetalBot|LinkpadBot|SputnikBot|statdom.ru|MegaIndex.ru|WebDataStats|Jooblebot|Baiduspider|BackupLand|NetcraftSurveyAgent|openstat.ru) [NC] RewriteRule .* — [F,L]

Вот как это можно сделать на хостинге:

• откройте панель управления
• кликните по нужному сайту
• выберите “Файловый менеджер”.
• перейдите в каталог www
• найдите файл .htaccess , правым кликом из контекстного меню выберите “правка”.
• добавьте в начало файла строки выше
• сохраните файл

Как заблокировать ботов, если ваш сайт на VDS

На VDS в качестве вебсервера часто используются: – Только apache. Воспользуйтесь инструкциями для htaccess – nginx + apache. Можно использовать инструкции для htaccess – Только nginx. Инструкции по настройке через htaccess не подойдут. Подробнее смотрите ниже.

Блокировка через nginx

Мы предполагаем, что у вас есть доступ root на VDS сервер. Зайдите через SSH на сервер от имени пользователя root.

Если вы не уверены какой вебсервер используется на VDS, то выполните команду

netstat -ntlp | grep 80 | grep -v ‘127.0.0.1’ | cut -d / -f 2 | cut -d ‘:’ -f1

Если результат будет такой:

apache2

То выполните инструкции для htaccess.

Если же команда вернула

nginx

То перейдите в каталог с конфигурацией nginx:

cd /etc/nginx

Создайте файл, в котором будут правила блокировки

mcedit bots-block.conf

Вставьте в этот файл текст:

if ($http_user_agent ~* SeopultContentAnalyzer|SeekportBot|DataForSeoBot|Barkrowler|BLEXBot|SemrushBot|MJ12bot|AhrefsBot|bingbot|DotBot|PetalBot|LinkpadBot|SputnikBot|statdom.ru|MegaIndex.ru|WebDataStats|Jooblebot|Baiduspider|BackupLand|NetcraftSurveyAgent|openstat.ru)

Сохраните изменения нажав F2, затем Enter.

Перейдите в каталог с сайтами

cd sites-enabled

Просмотрите содержимое каталога

Определите сайты, где вы хотите заблокировать ботов.

Например, если нужно заблокировать ботов на сайте vm-79395343.na4u.ru :

То отредактируйте файл с его конфигурацией:

В блок server добавьте строку

include /etc/nginx/bots-block.conf

На нашем сервере конфигурация стала выглядеть вот так:

Сохраните изменения нажав F2, затем Enter.

service nginx configtest

Если тестирование прошло успешно, то перезапустите веб-сервер для применения изменений:

service nginx restart

Проверьте, что все в порядке после перезапуска:

service nginx status

Проверка показывает, что если представляться ботом SemrushBot, то запрос блокируется:

$ curl -I -A «SemrushBot» vm-79395343.na4u.ru curl: (52) Empty reply from server $ curl -I -A «Yandex» vm-79395343.na4u.ru HTTP/1.1 403 Forbidden Server: nginx/1.14.1 Date: Thu, 04 Jul 2019 09:28:48 GMT Content-Type: text/html; charset=iso-8859-1 Connection: keep-alive Vary: Accept-Encoding

Список ботов, создающих нагрузку на сервер

• Java
• NjuiceBot
• Gigabot
• Scrapy
• Baiduspider
• SeznamBot
• crawler
• JS-Kit
• HybridBot
• Voyager
• PostRank
• DomainCrawler
• SemrushBot
• MegaIndex.ru
• ltx71
• SurveyBot
• AhrefsBot
• Exabot
• Aport
• CCBot
• DotBot
• GetIntent Crawler
• ia_archiver
• SurveyBot
• larbin
• Butterfly
• libwww
• bingbot
• Wget
• SWeb
• LinkExchanger
• Soup
• GrapeshotCrawler
• WordPress
• DnyzBot
• spbot
• DeuSu
• MLBot
• InternetSeer
• BUbiNG
• FairShare
• Yeti
• Birubot
• YottosBot
• gold crawler
• Linguee
• Ezooms
• lwp-trivial
• Purebot
• kmSearchBot
• SiteBot
• CamontSpider
• ptd-crawler
• HTTrack
• suggybot
• ttCrawler
• Nutch
• msnbot
• msnbot-media
• Slurp
• Zeus
• Abonti
• aggregator
• AhrefsBot
• Aport
• asterias
• Baiduspider
• BDCbot
• Birubot
• BLEXBot
• BUbiNG
• BuiltBotTough
• Bullseye
• BunnySlippers
• Butterfly
• ca-crawler
• CamontSpider
• CCBot
• Cegbfeieh
• CheeseBot
• CherryPicker
• coccoc
• CopyRightCheck
• cosmos
• crawler
• Crescent
• CyotekWebCopy/1.7
• CyotekHTTP/2.0
• DeuSu
• discobot
• DittoSpyder
• DnyzBot
• DomainCrawler
• DotBot
• Download Ninja
• EasouSpider
• EmailCollector
• EmailSiphon
• EmailWolf
• EroCrawler
• Exabot
• ExtractorPro
• Ezooms
• FairShare
• Fasterfox
• FeedBooster
• Foobot
• Genieo
• GetIntent Crawler
• Gigabot
• gold crawler
• GrapeshotCrawler
• grub-client
• Harvest
• hloader
• httplib
• HTTrack
• humanlinks
• HybridBot
• ia_archiver
• ieautodiscovery
• Incutio
• InfoNaviRobot
• InternetSeer
• IstellaBot
• Java
• Java/1.
• JamesBOT
• JennyBot
• JS-Kit
• k2spider
• Kenjin Spider
• Keyword Density/0.9
• kmSearchBot
• larbin
• LexiBot
• libWeb
• libwww
• Linguee
• LinkExchanger
• LinkextractorPro
• linko
• LinkScan/8.1a Unix
• LinkWalker
• lmspider
• LNSpiderguy
• ltx71
• lwp-trivial
• lwp-trivial
• magpie
• Mata Hari
• MaxPointCrawler
• MegaIndex
• memoryBot
• Microsoft URL Control
• MIIxpc
• Mippin
• Missigua Locator
• Mister PiX
• MJ12bot
• MLBot
• moget
• MSIECrawler
• msnbot
• msnbot-media
• NetAnts
• NICErsPRO
• Niki-Bot
• NjuiceBot
• NPBot
• Nutch
• Offline Explorer
• OLEcrawler
• Openfind
• panscient.com
• PostRank
• ProPowerBot/2.14
• ProWebWalker
• ptd-crawler
• Purebot
• Python-urllib
• QueryN Metasearch
• RepoMonkey
• Riddler
• RMA
• Scrapy
• SemrushBot
• serf
• SeznamBot
• SISTRIX
• SiteBot
• sitecheck.Internetseer.com
• SiteSnagger
• Serpstat
• Slurp
• SnapPreviewBot
• Sogou
• Soup
• SpankBot
• spanner
• spbot
• Spinn3r
• SpyFu
• suggybot
• SurveyBot
• suzuran
• SWeb
• Szukacz/1.4
• Teleport
• Telesoft
• The Intraformant
• TheNomad
• TightTwatBot
• Titan
• toCrawl/UrlDispatcher
• True_Robot
• ttCrawler
• turingos
• TurnitinBot
• UbiCrawler
• UnisterBot
• Unknown
• uptime files
• URLy Warning
• User-Agent
• VCI
• Vedma
• Voyager
• WBSearchBot
• Web Downloader/6.9
• Web Image Collector
• WebAuto
• WebBandit
• WebCopier
• WebEnhancer
• WebmasterWorldForumBot
• WebReaper
• WebSauger
• Website Quester
• Webster Pro
• WebStripper
• WebZip
• Wget
• WordPress
• Wotbox
• wsr-agent
• WWW-Collector-E
• Yeti
• YottosBot
• Zao
• Zeus
• ZyBORG
• ahrefsbot
• ahrefs
• qwantify
• qwant
• semrushbot
• semrush
• dotbot
• mj12bot
• Detectify
• dotbot
• Riddler
• LinkpadBot
• BLEXBot
• FlipboardProxy
• aiHitBot
• trovitBot

Источник: full-arts.ru