DDoS и конкуренция: как не стать жертвой недобросовестных игроков рынка
Узнать большеЭксперты сервиса Solar AURA за год выявили и заблокировали 783 ресурса, которые маскировались под маркетплейс Wildberries или иным образом использовали этот бренд. Они не имели отношения к компании и были созданы, чтобы обманывать покупателей и продавцов.
Для создания ресурсов-копий в сети используется технология Web Scraping, или же веб-скрепинг, веб-скрейпинг, веб-скрапинг. Мошенники с помощью специальных ботов-скреперов полностью копируют содержимое веб-ресурсов, делают их «зеркала» и обманывают пользователей. Например, собирают личные и платежные данные, продают товары и услуги по предоплате от имени ничего не подозревающих компаний. Рассказываем, как реализуют такие схемы, чем это грозит бизнесу и его клиентам, как защитить свой веб-ресурс и настроить блокировку копирования на сайте.
Как работают боты-скреперы, зачем мошенники их используют
Веб-скрепинг — это технология извлечения данных с веб-ресурсов. Она не является кибератакой сама по себе, но ботов-скреперов часто используют мошенники для извлечения текстового и визуального контента, если компания не предусмотрела защиту от копирования сайта. Вот как работают такие программы:
- Получают URL сайта, откуда нужно собрать контент.
- Загружают HTML-код сайта или визуализируют весь веб-ресурс либо его отдельные элементы.
- Копируют заголовки, определенный контент, цены на товары, изображения или всю опубликованную информацию.
Украденные ботами-скреперами данные загружаются на локальные устройства, принадлежащие мошенникам. Дальше злоумышленники могут воспользоваться ими, чтобы создать поддельный веб-ресурс, который будет выглядеть точь-в-точь как исходный. Пользователи, полагая, что зашли на легитимный сайт, без опаски вводят персональные данные и оплачивают услуги и товары.
Схема с копированием сайтов особенно актуальна в преддверии отпусков. Злоумышленники подделывают ресурсы отелей, санаториев, турагентств, открывают онлайн-бронирование и получают предоплату. Если обман вовремя не раскрывается, клиенты остаются без отдыха и денег, а прибыль и репутация настоящих компаний страдают.
Подделать можно любые сайты, если они у них нет защиты от копирования. Нередко в этом случае страдают интернет-магазины. Злоумышленники извлекают фото товаров с описаниями, создают фальшивые веб-ресурсы, выставляют «товары» по сниженным ценам и принимают заказы по предоплате или полной оплате. Конечно, никакой товар клиентам не приходит.
Как узнать, что ваш сайт скопировали
Зачастую компании не подозревают о веб-скрепинге и клонах своих сайтов до момента, пока не начинается поток обращений от обманутых клиентов. Лучше не дожидаться, когда это произойдет, а периодически вести поиск «зеркал» на просторах интернета. Есть несколько способов обнаружить копию:
- Скопировать с легитимного сайта фрагмент текста и вставить в поисковик. Система выдаст ресурсы, где опубликован этот текст. Также для поиска совпадений можно воспользоваться сервисами проверки уникальности.
- Искать клонов по картинкам. Это сработает, если на сайте-исходнике размещены уникальные изображения. Можно загрузить картинку в поисковик, и он выдаст все площадки, где есть идентичный или похожий визуальный контент. Для корректного распознавания факта мошенничества необходимо провести детальный анализ. Возможно, ресурс не клонировали, а просто украли картинки. Это частое явление, если не была предусмотрена блокировка копирования изображений на сайте.
- Просмотреть метрики. Если сайт копировали не слишком опытные мошенники, они могли не отключить счетчики метрик. В таком случае владельцы настоящего ресурса увидят необычный трафик и смогут обнаружить клон.
- Использовать специальные сервисы. Например, бесплатную лайт-версию сервиса Solar Aura на платформе Solar Space — с ее помощью можно просканировать свой домен и понять, сколько у него фишинговых копий.
Что делать, если копии обнаружены? Добиваться блокировки клонов. Необходимо зафиксировать факт незаконного использования контента, оповестить веб-хостера, отправить требование в поисковую систему. И чтобы такого больше не повторилось, предусмотреть защиту своего сайта от копирования.
Как защитить сайт от копирования
Начнем с базовых способов борьбы с ботами-скреперами:
- Ограничение доступа на сайт для подозрительных IP-адресов. Если поведение некоторых пользователей веб-ресурса кажется нетипичным или странным, можно проверить их IP-адреса через специальные сервисы, например 2IP, AbuseIPDB. Они покажут, был ли этот адрес замечен в сомнительных действиях на других сайтах и какова вероятность, что этот пользователь может навредить.
- Настройка файлов robots.txt и метатегов для блокировки копирования на сайте отдельных страниц или элементов. Благодаря этой мере ограничивается доступ ботов к определенным частям веб-ресурса. Но есть и минус — эти страницы будут закрыты от индексации полезными роботами поисковых систем.
- Использование уникальной разметки на сайте и водяных знаков на изображениях. Это не защитит от копирования, но поможет доказать права на контент.
Дополнительные меры защиты сайта от ботов, которые занимаются копированием контента:
- Внедрение CAPTCHA — простых тестов, позволяющих отличить людей от ботов. Продвинутые боты уже научились обходить такую защиту, но этот способ все равно стоит использовать.
- Rate Limiting — ограничение количества запросов с одних и тех же IP-адресов за определенные периоды времени. Как только лимит исчерпывается, дальнейшие запросы блокируются.
- Отслеживание подозрительный активности, например заходов из других регионов и стран, слишком коротких или долгих посещений.
- Блокировка копирования текста на сайте с помощью специального CSS-стиля, обфускации HTML-кода и JavaScript. Это технические приемы, для реализации которых стоит привлечь специалиста.
Перечисленные методы снизят риски, но не помогут на 100% защитить сайт от копирования и не станут серьезным препятствием для продвинутых программ-скреперов. Более эффективным решением станет специализированная антибот-система для проверки ботов, например облачный сервис по подписке WEB Antibot.
Использование WEB Antibot для защиты от ботов-скреперов и копирования сайта
WEB Antibot — сервис от Solar Space, который подключается совместно с WEB AntiDDoS для защиты от DDoS-атак. Минимальный тариф за два решения — 1800 рублей в месяц. Чтобы активировать сервисы, нужно зарегистрироваться, выбрать тариф и перенаправить трафик через центр фильтрации «Солара».
Какие технологии используются в WEB Antibot:
- Анализ TLS-отпечатков — метод, основанный на выявлении используемых клиентами уникальных параметров протокола Transport Layer Security. Он позволяет распознавать пользователей в повторных сеансах и выявлять потенциально вредоносный трафик.
- JavaScript challenge — автоматизированное тестирование пользовательских браузеров с целью выявления ботов. Сервер в виде кода JavaScript отправляет задачу каждому клиенту. Она выполняется в браузерах пользователей, а вот в программах, используемых ботами, нет.
- Модуль ML — методики углубленного анализа SSL-сертификатов и поведенческих факторов.
- Капча, предлагаемая только тем пользователям, в которых антибот-решение подозревает ботов.
WEB Antibot анализирует трафик, используя комплекс технологий, включая ML-модель. В общей сложности система рассматривает более 100 параметров в каждом запросе и на основе этого присваивает статус: точно бот, скорее бот, неоднозначно, скорее человек и точно человек. При подозрении на «ботовость» она предлагает пройти капчу. Таким образом, боты для веб-скрепинга и другие вредоносные программы отсеиваются сразу или после того, как не прошли капчу.
Отслеживать работу сервиса можно в личном кабинете, где отображается статистика по трафику и его источникам. После подключения WEB Antibot в качестве бонуса можно провести проверку домена на наличие и количество фишинговых копий. Результаты также отобразятся в личном кабинете.
Как WEB Antibot помог защитить сайт от веб-скрепинга
Пример. Поступила заявка от санатория, сайт которого скопировали. Руководство ни о чем не подозревало до того момента, пока не начали массово звонить клиенты, утверждающие, что забронировали номера и перевели предоплату. Оказалось, что люди попали на фишинговый сайт и стали жертвами мошенников.
Поддельный сайт нашли и заблокировали. Но для санатория история не закончилась — клиенты начали оставлять негативные отзывы в социальных сетях и агрегаторах. Кто-то обвинял руководство в халатном отношении к безопасности веб-ресурса, кто-то просто описывал ситуацию с якобы бронированием. Хотя прямой вины санатория в произошедшем не было, его репутация все равно пострадала. Плюс руководству пришлось общаться с полицией, поскольку некоторые пострадавшие подали заявления.
Чтобы такая ситуация больше не повторилась, в компании стали использовать антибот-решение, которое обеспечивает защиту от копирования на сайте. Дополнительным плюсом стало снижение нагрузки на сервер, поскольку WEB Antibot не пропускает на сайт нелегитимных пользователей. Кроме того, клиент периодически сканирует свой домен, чтобы контролировать появление новых фишинговых сайтов.
