Jak sprawdzamy witryny
Up’n’Top sprawdza witryny według harmonogramu, powoli i kulturalnie. Oto dokładnie, co sprawdzamy, jak często i jak rozpoznać naszego bota.
O tym, które strony sprawdzamy i jak często, decyduje nasz własny algorytm: ważniejsze strony są sprawdzane częściej.
Jak często
| Co | Jak często |
|---|---|
| Czy strona działa (strona główna) | co 5 minut lub, na życzenie, co 15; co minutę w planach Pro i Agency po potwierdzeniu, że witryna należy do Państwa |
| Strona główna i wybrane przez Państwa strony kluczowe | domyślnie co godzinę; na życzenie co 15 lub 30 minut |
| Certyfikat SSL | dwa razy dziennie |
| Rejestracja domeny | co tydzień; codziennie w ostatnich 30 dniach |
| Rekordy DNS | co 6 godzin |
| robots.txt | co godzinę |
| Strony każdego typu | codziennie próbka |
| Wszystkie pozostałe strony | mniej więcej co 8 dni; ważne strony i strony z błędami częściej |
| Strony zamknięte dla wyszukiwarek (noindex) | co 30 dni |
| Nowe strony | pełne przeszukanie co 30 dni |
| Kontrole całej witryny | codziennie: tagi analityczne, skrypty, feedy, strony prawne; co tydzień: publicznie dostępne pliki, podatności wtyczek; co miesiąc: pliki cookie przed zgodą |
Zanim uznamy coś za problem
- Strona nie działa: po pierwszej nieudanej kontroli ponawiamy próbę po 20 sekundach, a potem co minutę. Zgłaszamy, że strona nie działa, dopiero po dwóch nieudanych próbach z rzędu i co najmniej 3 minutach — i tylko wtedy, gdy kontrole z innych lokalizacji również nie widzą, żeby działała.
- Zepsuta strona: błąd musi trwać co najmniej 4 godziny i powtórzyć się przy kontroli wykonanej 4 godziny później. Jeśli wiele stron zawodzi jednocześnie, czekamy 8 godzin — zwykle jest to problem całego serwera.
Alerty
- Pilne problemy — strona nie działa, certyfikat SSL wygasa za 3 dni, domena za 7 dni — wysyłamy od razu.
- Wszystko inne domyślnie zbieramy w jedno podsumowanie co 15 minut, więc dziesięć zepsutych stron to jedna wiadomość, a nie dziesięć.
- Kanały: e-mail, Telegram, Slack i webhooki.
Delikatnie dla Państwa serwera
- Najwyżej 2 zapytania na sekundę do jednej witryny, jedno po drugim.
- Jeśli serwer odpowie 429 lub 503 z nagłówkiem Retry-After, robimy przerwę do 60 sekund i stopniowo zwalniamy, najwyżej do jednego zapytania co 5 sekund.
- Nowo znalezione strony odwiedzamy tylko wtedy, gdy pozwala na to robots.txt. Strony dodane przez Państwa do monitoringu sprawdzamy, bo Państwo o to poprosili.
Nasz bot
- Monitoring:
Mozilla/5.0 (compatible; UpntopBot/1.0; +https://upntop.com/bot) - Bezpłatna kontrola witryny:
UpntopCheck/1.0 (+https://upntop.com/bot) - Kontrole w przeglądarce:
Chrome/… UpntopBot/1.0 (+https://upntop.com/bot) - Raz w tygodniu, sprawdzając, czy Państwa CDN lub firewall wpuszcza boty wyszukiwarek, dodajemy
ai-access-check/<name>do naszego User-Agent, gdzie nazwa to OAI-SearchBot, PerplexityBot lub Claude-SearchBot. Nigdy nie wysyłamy nazw botów innych firm jako własnego User-Agent. - Aby go zablokować, wystarczy dodać
User-agent: UpntopBot / Disallow: /do robots.txt albo napisać na support@upntop.com — przestaniemy wtedy sprawdzać Państwa witrynę.
Co sprawdzamy
115 kontroli w ośmiu obszarach: dostępność, bezpieczeństwo, SEO, szybkość, treść, dostępność dla osób z niepełnosprawnościami, konfiguracja poczty i odpowiedzi wyszukiwarek.