Как мы проверяем сайты
Up’n’Top проверяет сайты по расписанию, неторопливо и вежливо. Здесь — что именно мы проверяем, как часто и как узнать нашего бота.
Какие страницы проверять и как часто, решает наш собственный алгоритм: чем важнее страница, тем чаще проверка.
Как часто
| Что | Как часто |
|---|---|
| Работает ли сайт (главная) | каждые 5 минут или каждые 15, если выберете; каждую минуту на тарифах Pro и Agency, когда вы подтвердите, что сайт ваш |
| Главная и выбранные вами ключевые страницы | раз в час по умолчанию; каждые 15 или 30 минут, если выберете |
| SSL-сертификат | дважды в день |
| Регистрация домена | раз в неделю; каждый день в последние 30 дней |
| Записи DNS | каждые 6 часов |
| robots.txt | каждый час |
| Страницы каждого типа | выборка каждый день |
| Все остальные страницы | примерно раз в 8 дней; важные и страницы с ошибками — чаще |
| Страницы, закрытые от поисковиков (noindex) | раз в 30 дней |
| Новые страницы | полный обход раз в 30 дней |
| Проверки всего сайта | каждый день: теги аналитики, скрипты, фиды, юридические страницы; раз в неделю: открытые файлы, уязвимости плагинов; раз в месяц: cookie до согласия |
Прежде чем назвать что-то проблемой
- Сайт не работает: после первой неудачной проверки повторяем через 20 секунд, потом каждую минуту. Сообщаем, что сайт лежит, только после двух сбоев подряд и не раньше чем через 3 минуты — и только если проверки из других точек тоже не видят его рабочим.
- Сломанная страница: ошибка должна длиться не меньше 4 часов и повториться при проверке через 4 часа. Если падает сразу много страниц, ждём 8 часов — обычно это сбой всего сервера.
Уведомления
- Срочное — сайт лежит, SSL-сертификат истекает через 3 дня, домен через 7 дней — отправляем сразу.
- Всё остальное по умолчанию собираем в одну сводку раз в 15 минут: десять сломанных страниц — одно сообщение, а не десять.
- Каналы: почта, Telegram, Slack и вебхуки.
Бережно к вашему серверу
- Не больше 2 запросов в секунду к одному сайту и по одному запросу за раз.
- Если сервер отвечает 429 или 503 с заголовком Retry-After, делаем паузу до 60 секунд и постепенно замедляемся — до одного запроса в 5 секунд.
- Новые страницы, которые мы находим, открываем, только если это разрешает robots.txt. Страницы, которые вы добавили в мониторинг, проверяем, потому что вы нас об этом попросили.
Наш бот
- Мониторинг:
Mozilla/5.0 (compatible; UpntopBot/1.0; +https://upntop.com/bot) - Бесплатная проверка сайта:
UpntopCheck/1.0 (+https://upntop.com/bot) - Проверки в браузере:
Chrome/… UpntopBot/1.0 (+https://upntop.com/bot) - Раз в неделю проверка «пускает ли ваш CDN или файрвол поисковых ботов» добавляет к нашему User-Agent
ai-access-check/<name>, где имя — OAI-SearchBot, PerplexityBot или Claude-SearchBot. Чужие имена ботов мы никогда не отправляем как свой User-Agent. - Чтобы заблокировать бота, добавьте в robots.txt
User-agent: UpntopBot / Disallow: /или напишите на support@upntop.com — и мы перестанем проверять ваш сайт.
Что мы проверяем
115 проверок в восьми сферах: доступность, безопасность, SEO, скорость, контент, доступность для людей с ограничениями, настройка почты и ответы поиска.