Бот не может прочитать сайт: защита от ботов

ИИ-консультант отвечает по тому, что прочитал на сайте. Если сайт закрыт защитой от ботов, вместо страниц наш бот может получить проверку «вы не робот». В мини-приложении и в кабинете это выглядит так: «Сайт закрыт защитой от ботов», часто с названием сервиса — Cloudflare, DDoS-Guard, BotHunt.

Чтобы бот мог прочитать сайт, добавьте адрес нашего сервера в исключения вашей защиты.

Не хочется разбираться — нажмите «Написать нам» в мини-приложении или напишите на support@siteko.net: подскажем по шагам или настроим вместе с тем, кто ведёт ваш сайт. Это бесплатно.

Какой адрес разрешить

139.100.205.41

Это адрес сервера Siteko, с которого бот читает страницы. Добавьте его в исключения так, чтобы запросы с этого адреса проходили без проверки браузера.

Исключение будет действовать для запросов с указанного IP. Для запросов с других адресов настройки защиты сохранятся.

Cloudflare

Ниже показан англоязычный интерфейс Cloudflare. В своём кабинете выбирайте тот домен, который должен прочитать бот.

  1. Откройте панель Cloudflare и выберите сайт.
  2. В меню слева раскройте Security и откройте Security rules.
Раздел Security → Security rules в панели Cloudflare
  1. Нажмите синюю кнопку Create rule в правом верхнем углу и выберите Custom rules.
Меню Create rule с пунктом Custom rules
  1. На странице New custom rule в поле Rule name впишите название, например siteko bot.
  2. В блоке When incoming requests match… нажмите Edit expression и вставьте:
ip.src eq 139.100.205.41
Название siteko bot и выражение ip.src eq 139.100.205.41
  1. В блоке Then take action…, в списке Choose action, выберите Skip.
  2. Раскройте More components to skip и отметьте Security Level и Browser Integrity Check. Первый пункт нужен для исключения из Under Attack Mode, второй — из дополнительной проверки браузера.
  3. Оставьте Log matching requests включённым: это поможет найти запросы бота при проверке настройки.
Skip с включённым Log matching requests, отмеченными Browser Integrity Check и Security Level и статусом Active
  1. В блоке Status выберите Active и нажмите Deploy. Затем убедитесь, что правило появилось в списке Custom rules и включено.
  2. Если у сайта уже есть собственные правила блокировки или проверки, разместите исключение для бота выше них. Если они тоже блокируют бота, добавьте соответствующий пункт Skip из таблицы ниже.

На скриншоте отмечены две проверки: Security Level и Browser Integrity Check. Это базовое исключение для Under Attack Mode и проверки браузера. Если на сайте включены другие механизмы, их нужно учитывать отдельно.

Если бот всё ещё получает блокировку

Откройте созданное правило и добавьте в Skip только те компоненты, которые мешают запросам бота. Названия в текущем интерфейсе:

Причина блокировки Что выбрать
Собственные правила Cloudflare с действиями Block или Challenge All remaining custom rules in this phase. Само исключение должно стоять выше блокирующих правил. Если в вашем интерфейсе есть только All remaining custom rules, этот пункт пропускает последующие правила текущего набора.
Управляемые правила WAF All managed rules
Super Bot Fight Mode All Super Bot Fight Mode Rules
Ограничение частоты запросов All rate limiting rules, если вы хотите освободить этот IP от таких ограничений
Блокировка по User-Agent More components to skip → User Agent Blocking

All remaining custom rules и All remaining custom rules in this phase — разные по охвату варианты. Для пропуска всех последующих пользовательских правил в этой фазе используйте второй; отмечать оба не требуется. Описание компонентов Skip.

Обычный Bot Fight Mode не пропускается действием Skip. Пункт All Super Bot Fight Mode Rules относится к другому режиму — Super Bot Fight Mode. На нашей проверке он боту не помешал: с включённым Bot Fight Mode сайт читался. Если у вас после настройки правила бот всё равно получает отказ и этот режим включён, напишите нам: посмотрим, что сработало. Skip также не отменяет блокировку через IP Access Rules. Ограничения Bot Fight Mode.

Если неясно, какая проверка сработала, напишите нам вместо выбора всех пунктов подряд.

Если вы только подключаете домен к Cloudflare, сначала дождитесь его активации. При статусе Pending и ожидании смены NS-серверов правило можно подготовить, но проверять работу защиты нужно после активации. DNS-запись сайта должна иметь статус Proxied, чтобы его веб-трафик проходил через Cloudflare.

Другие защиты

Если вы используете DDoS-Guard, BotHunt, AntiBot.Cloud, Qrator, Servicepipe, StormWall, Variti или другой сервис, ищите настройки исключений по IP. Они могут называться «белый список», «исключения», «доверенные адреса» или «allowlist».

Добавьте 139.100.205.41 и разрешите запросам с этого адреса проходить без проверки браузера. Расположение и возможности исключений зависят от сервиса и тарифа; если подходящей настройки нет, обратитесь в поддержку сервиса защиты.

Если защиту ставил хостинг или подрядчик, перешлите им адрес и попросите разрешить его для сайта.

Не нашли, где это настраивается, — напишите нам, какой у вас сервис: подскажем и дополним эту статью.

Что дальше

  • В мини-приложении Siteko: откройте карточку сайта, раскройте «Настрою сам» и нажмите «Проверить ещё раз». Бот прочитает сайт и напишет вам в мессенджер, когда будет готов отвечать.
  • Бот уже подключён: в кабинете бота откройте «Источники» и нажмите «Синхронизировать» у источника. Если источников ещё нет — «Найти и подключить».

Проверить сайт можно до 10 раз в сутки.

Частые вопросы

Это безопасно?

Исключение действует для всех запросов с указанного IP и пропускает только выбранные проверки Cloudflare. Оно само по себе не отменяет вход по логину и паролю на вашем сайте. Бот Siteko читает открытые страницы — те же, что видит обычный посетитель. Указывайте точный адрес 139.100.205.41.

Я добавил адрес, а бот всё равно пишет, что сайт закрыт.

В Cloudflare проверьте выражение ip.src eq 139.100.205.41, действие Skip, статус Active и галочку Security Level. Убедитесь, что нажали Deploy. Проверьте также порядок правил и раздел «Если бот всё ещё получает блокировку» выше. Не помогло — напишите нам, посмотрим вместе.

У меня нет доступа к настройкам защиты.

Перешлите эту статью тому, кто ведёт сайт, или напишите нам — поможем согласовать настройку с вашим специалистом.

Можно отключить защиту на время чтения?

Бот перечитывает сайт каждый день, чтобы знать о новых товарах и ценах. Если разрешить доступ только на час, он сможет прочитать сайт один раз, а при следующем чтении снова столкнётся с проверкой. Постоянное исключение для IP решает эту задачу при каждом обновлении.

Обновлено 14 ноября 2026

О плановых работах и сбоях пишем в канале Siteko: Telegram MAX