Comment nous vérifions les sites
Up’n’Top vérifie les sites selon un calendrier, lentement et poliment. Voici précisément ce que nous vérifions, à quelle fréquence et comment reconnaître notre bot.
Les pages vérifiées et la fréquence des vérifications sont décidées par notre propre algorithme : les pages les plus importantes sont vérifiées plus souvent.
À quelle fréquence
| Quoi | Fréquence |
|---|---|
| Le site est-il en ligne (page d’accueil) | toutes les 5 minutes, ou toutes les 15 si vous le souhaitez ; chaque minute avec les offres Pro et Agency, une fois que vous avez confirmé que le site vous appartient |
| Page d’accueil et pages clés de votre choix | toutes les heures par défaut ; toutes les 15 ou 30 minutes si vous le souhaitez |
| Certificat SSL | deux fois par jour |
| Enregistrement du domaine | chaque semaine ; chaque jour pendant les 30 derniers jours |
| Enregistrements DNS | toutes les 6 heures |
| robots.txt | toutes les heures |
| Pages de chaque type | un échantillon chaque jour |
| Toutes les autres pages | environ tous les 8 jours ; plus souvent pour les pages importantes et les pages en erreur |
| Pages fermées aux moteurs de recherche (noindex) | tous les 30 jours |
| Nouvelles pages | une exploration complète tous les 30 jours |
| Vérifications à l’échelle du site | chaque jour : balises d’analytics, scripts, flux, pages légales ; chaque semaine : fichiers exposés, vulnérabilités des plugins ; chaque mois : cookies déposés avant le consentement |
Avant de parler de problème
- Site hors ligne : après une première vérification échouée, nous réessayons au bout de 20 secondes, puis chaque minute. Nous signalons le site comme hors ligne seulement après deux échecs consécutifs et au moins 3 minutes, et seulement si les vérifications depuis d’autres emplacements ne le voient pas non plus fonctionner.
- Page cassée : l’erreur doit durer au moins 4 heures et se répéter lors d’une vérification effectuée 4 heures plus tard. Si de nombreuses pages échouent en même temps, nous attendons 8 heures — il s’agit généralement d’un problème touchant tout le serveur.
Alertes
- Les problèmes urgents — site hors ligne, certificat SSL qui expire dans 3 jours, domaine dans 7 jours — sont envoyés immédiatement.
- Tout le reste est regroupé par défaut dans un seul récapitulatif toutes les 15 minutes : dix pages cassées font un message, pas dix.
- Canaux : e-mail, Telegram, Slack et webhooks.
Respectueux de votre serveur
- Au maximum 2 requêtes par seconde vers un même site, une requête à la fois.
- Si le serveur répond 429, ou 503 avec un en-tête Retry-After, nous faisons une pause de 60 secondes au plus et ralentissons progressivement, jusqu’à une requête toutes les 5 secondes au maximum.
- Les nouvelles pages que nous découvrons ne sont visitées que si robots.txt l’autorise. Les pages que vous ajoutez à la surveillance sont vérifiées parce que vous nous l’avez demandé.
Notre bot
- Surveillance:
Mozilla/5.0 (compatible; UpntopBot/1.0; +https://upntop.com/bot) - Vérificateur de site gratuit:
UpntopCheck/1.0 (+https://upntop.com/bot) - Vérifications dans un navigateur:
Chrome/… UpntopBot/1.0 (+https://upntop.com/bot) - Une fois par semaine, une vérification qui teste si votre CDN ou votre pare-feu laisse passer les bots de recherche ajoute
ai-access-check/<name>à notre User-Agent, où le nom est OAI-SearchBot, PerplexityBot ou Claude-SearchBot. Nous n’envoyons jamais le nom du bot d’une autre entreprise comme notre propre User-Agent. - Pour le bloquer, ajoutez
User-agent: UpntopBot / Disallow: /à robots.txt, ou écrivez à support@upntop.com et nous cesserons de vérifier votre site.
Ce que nous vérifions
115 vérifications dans huit domaines : disponibilité, sécurité, SEO, vitesse, contenu, accessibilité, configuration e-mail et réponses des moteurs de recherche.