Боты в Яндекс Метрике и в статистике сайта: как их заметить и что отфильтровать

Бот в статистике сайта — это визит, который сделала программа, а не человек. Из-за таких визитов «прямых заходов» в отчёте больше, чем есть на самом деле, и по цифрам трудно понять, работает ли реклама. Расскажем, как мы поймали такие заходы у себя и что с ними сделали, а потом разберём, что про роботов говорит Яндекс Метрика.

Как это выглядело у нас

На нашем сайте свой счётчик посещений. Каждый визит приходит в Telegram: страница и источник. В воскресенье, 18 октября, начали приходить одинаковые сообщения: страница «Сколько стоит сайт», источник «прямой заход». За 50 минут, с 10:03 до 10:52 по Москве, их было семь.

В журнале сервера у этих семи заходов нашлось общее:

• один и тот же браузер: Chrome 125 на Windows, которому около двух лет;
• разные адреса, но все из одной подсети;
• ни у одного нет источника: ни поиска, ни ссылки, ни другой страницы сайта;
• страница отдавалась целиком, то есть это не простой скрипт, а настоящий браузер.

Кто это был, мы не знаем до сих пор. Это мог быть мониторинг, чья-то проверка или ИИ-поисковик, который обходит сайты.

Четыре признака бота в статистике

1. Одинаковый браузер и версия. Десятки заходов из одного и того же устаревшего браузера не бывают случайностью.
2. Пачка заходов на одну страницу. Люди ходят по сайту, а робот может раз за разом открывать один адрес.
3. Нет источника. Это «прямой заход»: ни поиска, ни ссылки. На новом сайте с небольшим трафиком такие роботы дают заметную долю «прямых».
4. Нет действий на странице. Человек прокрутит страницу или нажмёт на неё, робот откроет её и будет ждать.

Почему счётчик их пропускал

Раньше визит считался после трёх секунд на открытой странице или после первой прокрутки. Простые роботы открывают страницу и сразу уходят, их это останавливало. Эти подождали три секунды и прошли.

Что мы сделали

• Визит теперь считается только после действия человека: прокрутки, касания, клика или нажатия клавиши.
• Вместе с визитом счётчик отправляет признаки браузера: управляется ли он программой, какой у него язык и размер экрана.
• Сервер не засчитывает браузеры старше двух лет, управляемые программой и без языка.
• Одинаковое уведомление приходит не чаще раза в полчаса.
• Всё отсеянное записывается в журнал, чтобы проверять, не режем ли мы людей.

Правила мы проверили на двенадцати случаях. Настоящие iPhone, Android, Яндекс Браузер и новый Chrome проходят. «Chrome 125», пустой язык и нулевой экран не проходят.

Что изменилось в цифрах

До фильтра счётчик насчитывал от 9 до 62 «визитов» в день, в последний день их было 62. Когда мы смотрели русскую часть сайта за месяц, из 237 визитов 139 были «прямыми». После фильтра остаётся 3–8 в день: 19 октября три, 20 октября восемь, 21-го на момент проверки два, и среди них уже были переходы из Google и внутри самого сайта.

Мы не будем утверждать, что раньше всё было ботами, а теперь всё чисто. Сколько из прежних заходов были людьми, мы не знаем. На настоящий трафик это совсем не похоже: сайту около месяца, поисковых заходов почти нет, как и должно быть.

Что про роботов говорит Яндекс Метрика

По справке Яндекса Метрика определяет роботов по поведению и техническим сигналам. Роботы, которые называют себя в User-agent, сразу исключаются из статистики. Те, что маскируются под людей, определяются по поведению, но по умолчанию их визиты учитываются. Полной автоматической фильтрации нет.

Убрать роботов можно двумя способами: включить в настройках счётчика фильтр «фильтровать роботов по поведению» или сделать отчёт и сегмент «без роботов». Посмотреть, как роботы ведут себя на вашем сайте, можно в отчёте «Роботы».

Что сделать у себя

• Найдите страницу, на которую приходит подозрительно много «прямых» заходов.
• Посмотрите версии браузеров у этих заходов. Много одинаковых и старых значит, что это не люди.
• В Метрике откройте отчёт «Роботы» и сравните статистику с роботами и без них.
• Не принимайте решения по рекламе по «прямому» трафику, пока не проверили, что это люди.

Что мы потеряли

Если человек читает статью на компьютере и не прокрутит и не кликнет, наш счётчик его теперь не засчитает. На телефоне такое почти не бывает, на компьютере возможно. Журнал отсева мы сверяем с реальными заходами, и если пропадут нужные люди, правила смягчим.

Настоящую картину источников дополнительно даёт связка из счётчика, целей и меток на ссылках: об этом мы писали в статье «Сквозная аналитика для малого бизнеса».