Hoe wij websites controleren
Up’n’Top controleert websites volgens een schema, rustig en beleefd. Hier leest u precies wat we controleren, hoe vaak en hoe u onze bot herkent.
Welke pagina's we controleren en hoe vaak, bepaalt ons eigen algoritme: belangrijkere pagina's worden vaker gecontroleerd.
Hoe vaak
| Wat | Hoe vaak |
|---|---|
| Is de website online (homepage) | elke 5 minuten, of elke 15 als u dat kiest; elke minuut met de abonnementen Pro en Agency zodra u hebt bevestigd dat de website van u is |
| Homepage en belangrijke pagina's die u kiest | standaard elk uur; elke 15 of 30 minuten als u dat kiest |
| SSL-certificaat | twee keer per dag |
| Domeinregistratie | elke week; elke dag in de laatste 30 dagen |
| DNS-records | elke 6 uur |
| robots.txt | elk uur |
| Pagina's van elk type | elke dag een steekproef |
| Alle andere pagina's | ongeveer elke 8 dagen; belangrijke pagina's en pagina's met fouten vaker |
| Pagina's die gesloten zijn voor zoekmachines (noindex) | elke 30 dagen |
| Nieuwe pagina's | elke 30 dagen een volledige crawl |
| Controles van de hele website | elke dag: analytics-tags, scripts, feeds, juridische pagina's; elke week: openbaar toegankelijke bestanden, kwetsbaarheden in plug-ins; elke maand: cookies vóór toestemming |
Voordat we iets een probleem noemen
- Website offline: na de eerste mislukte controle proberen we het na 20 seconden opnieuw, daarna elke minuut. We melden de website pas als offline na twee mislukkingen op rij en minstens 3 minuten, en alleen als controles vanaf andere locaties hem ook niet werkend zien.
- Kapotte pagina: de fout moet minstens 4 uur aanhouden en terugkomen bij een controle 4 uur later. Als veel pagina's tegelijk falen, wachten we 8 uur — meestal is het dan een probleem van de hele server.
Meldingen
- Dringende problemen — de website is offline, het SSL-certificaat verloopt over 3 dagen, het domein over 7 dagen — worden meteen verstuurd.
- Al het andere wordt standaard elke 15 minuten in één overzicht gebundeld, zodat tien kapotte pagina's één bericht zijn, niet tien.
- Kanalen: e-mail, Telegram, Slack en webhooks.
Voorzichtig met uw server
- Maximaal 2 verzoeken per seconde naar één website, één verzoek tegelijk.
- Als de server 429 antwoordt, of 503 met een Retry-After-header, pauzeren we maximaal 60 seconden en gaan we stap voor stap langzamer, tot hoogstens één verzoek per 5 seconden.
- Nieuwe pagina's die we vinden, bezoeken we alleen als robots.txt dat toestaat. Pagina's die u aan de monitoring toevoegt, controleren we omdat u ons dat hebt gevraagd.
Onze bot
- Monitoring:
Mozilla/5.0 (compatible; UpntopBot/1.0; +https://upntop.com/bot) - Gratis websitechecker:
UpntopCheck/1.0 (+https://upntop.com/bot) - Controles in een browser:
Chrome/… UpntopBot/1.0 (+https://upntop.com/bot) - Eén keer per week controleren we of uw CDN of firewall zoekbots doorlaat; daarbij voegen we
ai-access-check/<name>toe aan onze User-Agent, met als naam OAI-SearchBot, PerplexityBot of Claude-SearchBot. We sturen nooit botnamen van andere bedrijven als onze eigen User-Agent. - Om hem te blokkeren voegt u
User-agent: UpntopBot / Disallow: /toe aan robots.txt, of schrijft u naar support@upntop.com en dan stoppen we met het controleren van uw website.
Wat we controleren
115 controles op acht gebieden: beschikbaarheid, beveiliging, SEO, snelheid, content, toegankelijkheid, e-mailinstellingen en antwoorden in zoekresultaten.