Як ми перевіряємо сайти
Up’n’Top перевіряє сайти за розкладом, неквапливо й ввічливо. Тут — що саме ми перевіряємо, як часто і як розпізнати нашого бота.
Які сторінки перевіряти і як часто, вирішує наш власний алгоритм: що важливіша сторінка, то частіше перевірка.
Як часто
| Що | Як часто |
|---|---|
| Чи працює сайт (головна) | кожні 5 хвилин або кожні 15, якщо оберете; щохвилини на тарифах Pro та Agency, коли ви підтвердите, що сайт ваш |
| Головна та обрані вами ключові сторінки | щогодини за замовчуванням; кожні 15 або 30 хвилин, якщо оберете |
| SSL-сертифікат | двічі на день |
| Реєстрація домену | щотижня; щодня в останні 30 днів |
| Записи DNS | кожні 6 годин |
| robots.txt | щогодини |
| Сторінки кожного типу | вибірка щодня |
| Усі інші сторінки | приблизно раз на 8 днів; важливі сторінки та сторінки з помилками — частіше |
| Сторінки, закриті від пошукових систем (noindex) | раз на 30 днів |
| Нові сторінки | повний обхід раз на 30 днів |
| Перевірки всього сайту | щодня: теги аналітики, скрипти, фіди, юридичні сторінки; щотижня: відкриті файли, вразливості плагінів; щомісяця: cookie до згоди |
Перш ніж назвати щось проблемою
- Сайт не працює: після першої невдалої перевірки повторюємо через 20 секунд, потім щохвилини. Повідомляємо, що сайт не працює, лише після двох збоїв поспіль і не раніше ніж через 3 хвилини — і лише якщо перевірки з інших точок теж не бачать його робочим.
- Зламана сторінка: помилка має тривати щонайменше 4 години й повторитися під час перевірки через 4 години. Якщо одразу падає багато сторінок, чекаємо 8 годин — зазвичай це збій усього сервера.
Сповіщення
- Термінове — сайт не працює, SSL-сертифікат спливає через 3 дні, домен через 7 днів — надсилаємо одразу.
- Усе інше за замовчуванням збираємо в одне зведення раз на 15 хвилин: десять зламаних сторінок — одне повідомлення, а не десять.
- Канали: електронна пошта, Telegram, Slack і webhook.
Дбайливо до вашого сервера
- Не більше 2 запитів на секунду до одного сайту і по одному запиту за раз.
- Якщо сервер відповідає 429 або 503 із заголовком Retry-After, робимо паузу до 60 секунд і поступово сповільнюємося — до одного запиту на 5 секунд.
- Нові сторінки, які ми знаходимо, відкриваємо, лише якщо це дозволяє robots.txt. Сторінки, які ви додали до моніторингу, перевіряємо, бо ви нас про це попросили.
Наш бот
- Моніторинг:
Mozilla/5.0 (compatible; UpntopBot/1.0; +https://upntop.com/bot) - Безкоштовна перевірка сайту:
UpntopCheck/1.0 (+https://upntop.com/bot) - Перевірки в браузері:
Chrome/… UpntopBot/1.0 (+https://upntop.com/bot) - Раз на тиждень перевірка «чи пропускає ваш CDN або файрвол пошукових ботів» додає до нашого User-Agent
ai-access-check/<name>, де імʼя — OAI-SearchBot, PerplexityBot або Claude-SearchBot. Чужі імена ботів ми ніколи не надсилаємо як свій User-Agent. - Щоб заблокувати бота, додайте до robots.txt
User-agent: UpntopBot / Disallow: /або напишіть на support@upntop.com — і ми припинимо перевіряти ваш сайт.
Що ми перевіряємо
115 перевірок у восьми сферах: доступність, безпека, SEO, швидкість, контент, доступність для людей з інвалідністю, налаштування пошти та відповіді пошуку.