Как не допустить спам, созданный пользователями, на свой сайт

Спамеры часто пользуются открытым доступом к разделам сайта, где пользователи могут размещать свой контент, например к формам для комментариев. Хостинговые платформы и инструменты, позволяющие пользователям публиковать общедоступные страницы, сгенерированный контент или веб-приложения, также могут стать мишенью для спамеров, которые могут создавать огромное количество страниц или сайтов, нарушающих наши правила в отношении спама и практически не приносящих пользы.

Предотвратить нарушение правил использования сайта или платформы обычно не сложно. Даже простая мера сдерживания, например необходимость выполнить необычное задание перед совершением тех или иных действий на вашем ресурсе, может создать проблемы для спамеров.

Сообщите пользователям, что в вашем сервисе запрещен спам

Разработайте четкие правила в отношении использования своих услуг и сообщите о них посетителям (например, во время регистрации). Кроме этого, предоставьте доверенным пользователям возможность сообщать о любом контенте на вашем сайте, который похож на спам.

Выявляйте аккаунты, содержащие спам

Ведите учет регистрации аккаунтов и прочих действий пользователей и выявляйте типичные признаки спама. Например, обращайте внимание на следующее:

время заполнения формы регистрации;
количество запросов с одного диапазона IP-адресов;
характерные названия агентов пользователя;
совпадение имен пользователей или другие одинаковые значения в полях формы регистрации.

Эти сигналы можно использовать при создании репутационной системы. Она не только повысит интерес пользователей к сайту, но и поможет выявлять злоумышленников. Многие спамеры хотят, чтобы их комментарии показывались в результатах поиска. Поэтому мы рекомендуем добавлять тег robots (meta) с директивой noindex в разделы с записями новых пользователей, которые пока не заработали никакой репутации. По достижении пользователем определенного уровня можно разрешить индексацию опубликованного им контента. Как правило, после этого спамеры могут уйти с вашей платформы.

Поскольку их привлекает возможность оставлять ссылки на свои сайты, рекомендуем настроить добавление атрибута rel с директивой nofollow или ugc во все ссылки в непроверенном контенте.

Индексируйте только контент, предназначенный для Поиска

Если ваш сервис позволяет создавать общедоступные страницы, результаты генерации или интерактивные инструменты, задумайтесь: должен ли этот контент индексироваться поисковыми системами или же он предназначен только для тех, у кого есть прямая ссылка.

Если страницы доступны по прямой ссылке для совместной работы или как служебные страницы, а не для публичного поиска, примените директиву noindex для тега robots (meta) или заголовка HTTP-ответа X-Robots-Tag. Вы также можете заблокировать сканирование в файле robots.txt по умолчанию.

Проверяйте подозрительные действия пользователей вручную

Предварительная проверка (или модерация) определенных действий пользователей позволяет значительно сократить количество спама, поскольку мешает злоумышленникам мгновенно размещать нежелательный контент. Модерация добавляет владельцам сайтов ежедневной рутины, но зато позволяет эффективно бороться со спамом. Ее эффективность доказывается тем фактом, что функция модерации комментариев присутствует в большинстве систем управления контентом.

Создавайте черные списки спамеров

Как только вы найдете один профиль, являющийся источником спама, удалить остальные будет проще. Зачастую они создаются с одного и того же IP-адреса. После выявления внесите его в черный список. Для систем управления контентом (к примеру, WordPress) существуют специальные плагины, позволяющие решать подобные задачи (например, Akismet), однако столь же эффективным будет добавлять такие IP-адреса в черный список брандмауэра.

Исключите возможность автоматической регистрации аккаунтов

Применяйте инструмент reCAPTCHAs или аналогичные механизмы во время регистрации, чтобы исключить автоматическое создание большого количества сайтов с помощью скриптов.

Отслеживайте нарушения правил использования сервиса

Подтвердите, что владеете сайтом или субдоменом, в Search Console. Так вы сможете получать уведомления по электронной почте, если Google применит к вашему ресурсу меры, принятые вручную, или обнаружит проблемы с безопасностью. Также регулярно проверяйте отчет об индексировании страниц и отчет об эффективности в Поиске на наличие неожиданных всплесков количества проиндексированных страниц, показов или запросов, которые не соответствуют назначению вашей платформы.
Отслеживайте показатели создания и индексирования на уровне платформы и настройте оповещения об аномалиях, таких как всплески количества недавно опубликованных общедоступных страниц или небольшое количество пользователей, создающих большую долю индексируемых URL.
Проверяйте свой ресурс на наличие признаков спама, таких как переадресации, обилие рекламных блоков, определенные спам-слова и большие фрагменты зашифрованного кода JavaScript. Выявлять подобные проблемы вам помогут оператор поиска site: и сервис Google Оповещения.
Регулярно проверяйте файлы журнала своего веб-сервера, чтобы не пропустить скачки трафика.
Выявляйте на своем ресурсе страницы, созданные с целью фишинга или зараженные вредоносным ПО. В частности, при проверке URL на предмет подобных проблем вы можете использовать API Google для безопасного просмотра веб-страниц.
Руководствуйтесь здравым смыслом. Например, если ваша основная аудитория — пользователи из России, но внезапно на вашем ресурсе за сутки было совершено несколько тысяч действий с итальянского IP-адреса, это подозрительный знак. Для определения языка недавно созданных сайтов можно использовать различные инструменты, например специальные библиотеки или Google Translate API (версия 2).