Како проверавамо веб-сајтове
Up’n’Top проверава веб-сајтове по распореду, полако и учтиво. Ево тачно шта проверавамо, колико често и како да препознате нашег бота.
Које странице проверавамо и колико често одлучује наш сопствени алгоритам: важније странице проверавају се чешће.
Колико често
| Шта | Колико често |
|---|---|
| Да ли веб-сајт ради (почетна страница) | сваких 5 минута или сваких 15 ако изаберете; сваког минута на пакетима Pro и Agency када потврдите да је веб-сајт ваш |
| Почетна страница и кључне странице које изаберете | сваког сата подразумевано; сваких 15 или 30 минута ако изаберете |
| SSL сертификат | двапут дневно |
| Регистрација домена | сваке недеље; сваког дана у последњих 30 дана |
| DNS записи | сваких 6 сати |
| robots.txt | сваког сата |
| Странице сваке врсте | узорак сваког дана |
| Све остале странице | отприлике сваких 8 дана; важне странице и странице са грешкама чешће |
| Странице затворене за претраживаче (noindex) | сваких 30 дана |
| Нове странице | потпун обилазак сваких 30 дана |
| Провере целог веб-сајта | сваког дана: аналитичке ознаке, скрипте, фидови, правне странице; сваке недеље: изложене датотеке, рањивости додатака; сваког месеца: колачићи пре сагласности |
Пре него што нешто назовемо проблемом
- Веб-сајт не ради: после прве неуспеле провере покушавамо поново за 20 секунди, затим сваког минута. Јављамо да веб-сајт не ради тек после два узастопна неуспеха и најмање 3 минута, и само ако ни провере са других локација не виде да ради.
- Неисправна страница: грешка мора да траје најмање 4 сата и да се понови при провери 4 сата касније. Ако много страница откаже одједном, чекамо 8 сати — обично је то проблем целог сервера.
Обавештења
- Хитни проблеми — веб-сајт не ради, SSL сертификат истиче за 3 дана, домен за 7 дана — шаљу се одмах.
- Све остало подразумевано скупљамо у један сажетак сваких 15 минута, па је десет неисправних страница једна порука, а не десет.
- Канали: имејл, Telegram, Slack и webhook-ови.
Пажљиво према вашем серверу
- Највише 2 захтева у секунди према једном веб-сајту, један по један.
- Ако сервер одговори са 429 или са 503 уз заглавље Retry-After, правимо паузу до 60 секунди и постепено успоравамо, највише до једног захтева на 5 секунди.
- Нове странице које откријемо посећујемо само ако то robots.txt дозвољава. Странице које додате у надзор проверавамо јер сте нас то замолили.
Наш бот
- Надзор:
Mozilla/5.0 (compatible; UpntopBot/1.0; +https://upntop.com/bot) - Бесплатна провера веб-сајта:
UpntopCheck/1.0 (+https://upntop.com/bot) - Провере у прегледачу:
Chrome/… UpntopBot/1.0 (+https://upntop.com/bot) - Једном недељно провера да ли ваш CDN или заштитни зид пропушта ботове претраживача додаје
ai-access-check/<name>нашем User-Agent заглављу, где је име OAI-SearchBot, PerplexityBot или Claude-SearchBot. Никада не шаљемо имена ботова других компанија као сопствени User-Agent. - Да бисте га блокирали, додајте
User-agent: UpntopBot / Disallow: /у robots.txt или пишите на support@upntop.com и престаћемо да проверавамо ваш веб-сајт.
Шта проверавамо
115 провера у осам области: доступност, безбедност, SEO, брзина, садржај, приступачност, подешавања е-поште и одговори у претрази.