Jak kontrolujeme weby
Up’n’Top kontroluje weby podle plánu, pomalu a ohleduplně. Zde najdete, co přesně kontrolujeme, jak často a jak našeho bota poznáte.
Které stránky kontrolujeme a jak často, určuje náš vlastní algoritmus: důležitější stránky kontrolujeme častěji.
Jak často
| Co | Jak často |
|---|---|
| Zda web funguje (úvodní stránka) | každých 5 minut, nebo každých 15, pokud si to zvolíte; každou minutu v tarifech Pro a Agency, jakmile potvrdíte, že web je váš |
| Úvodní stránka a vámi vybrané klíčové stránky | ve výchozím nastavení každou hodinu; každých 15 nebo 30 minut, pokud si to zvolíte |
| Certifikát SSL | dvakrát denně |
| Registrace domény | každý týden; v posledních 30 dnech každý den |
| Záznamy DNS | každých 6 hodin |
| robots.txt | každou hodinu |
| Stránky každého typu | vzorek každý den |
| Všechny ostatní stránky | zhruba každých 8 dní; důležité stránky a stránky s chybami častěji |
| Stránky uzavřené pro vyhledávače (noindex) | každých 30 dní |
| Nové stránky | úplné procházení každých 30 dní |
| Kontroly celého webu | každý den: analytické tagy, skripty, feedy, právní stránky; každý týden: veřejně dostupné soubory, zranitelnosti pluginů; každý měsíc: cookies před udělením souhlasu |
Než něco označíme za problém
- Web nefunguje: po první neúspěšné kontrole to zkusíme znovu za 20 sekund a pak každou minutu. Web nahlásíme jako nefunkční až po dvou selháních po sobě a nejméně 3 minutách, a jen pokud ani kontroly z jiných míst nevidí, že funguje.
- Nefunkční stránka: chyba musí trvat nejméně 4 hodiny a zopakovat se při kontrole o 4 hodiny později. Pokud selže mnoho stránek najednou, počkáme 8 hodin – obvykle jde o problém celého serveru.
Upozornění
- Naléhavé problémy – web nefunguje, certifikát SSL vyprší za 3 dny, doména za 7 dní – posíláme okamžitě.
- Vše ostatní ve výchozím nastavení shrneme do jednoho souhrnu každých 15 minut, takže deset rozbitých stránek je jedna zpráva, ne deset.
- Kanály: e-mail, Telegram, Slack a webhooky.
Šetrně k vašemu serveru
- Nejvýše 2 požadavky za sekundu na jeden web, vždy jen jeden požadavek najednou.
- Pokud server odpoví 429, nebo 503 s hlavičkou Retry-After, uděláme pauzu až na 60 sekund a postupně zpomalujeme, nejvýše na jeden požadavek každých 5 sekund.
- Nové stránky, které najdeme, navštívíme, jen pokud to robots.txt povoluje. Stránky, které přidáte do monitoringu, kontrolujeme, protože jste nás o to požádali.
Náš bot
- Monitoring:
Mozilla/5.0 (compatible; UpntopBot/1.0; +https://upntop.com/bot) - Bezplatná kontrola webu:
UpntopCheck/1.0 (+https://upntop.com/bot) - Kontroly v prohlížeči:
Chrome/… UpntopBot/1.0 (+https://upntop.com/bot) - Jednou týdně, když kontrolujeme, zda vaše CDN nebo firewall pouští vyhledávací boty, přidáváme k našemu User-Agent
ai-access-check/<name>, kde je jméno OAI-SearchBot, PerplexityBot nebo Claude-SearchBot. Jména botů jiných firem nikdy neposíláme jako vlastní User-Agent. - Chcete-li ho zablokovat, přidejte do robots.txt
User-agent: UpntopBot / Disallow: /, nebo napište na support@upntop.com a my přestaneme váš web kontrolovat.
Co kontrolujeme
115 kontrol v osmi oblastech: dostupnost, zabezpečení, SEO, rychlost, obsah, přístupnost, nastavení e-mailu a odpovědi vyhledávání.