Come controlliamo i siti web
Up’n’Top controlla i siti secondo un calendario, con calma e con discrezione. Ecco esattamente cosa controlliamo, ogni quanto e come riconoscere il nostro bot.
Quali pagine controlliamo e ogni quanto lo decide il nostro algoritmo: le pagine più importanti vengono controllate più spesso.
Ogni quanto
| Cosa | Frequenza |
|---|---|
| Il sito è online (home page) | ogni 5 minuti, oppure ogni 15 se preferisce; ogni minuto con i piani Pro e Agency, dopo che avrà confermato che il sito è suo |
| Home page e pagine chiave scelte da lei | ogni ora per impostazione predefinita; ogni 15 o 30 minuti se preferisce |
| Certificato SSL | due volte al giorno |
| Registrazione del dominio | ogni settimana; ogni giorno negli ultimi 30 giorni |
| Record DNS | ogni 6 ore |
| robots.txt | ogni ora |
| Pagine di ogni tipo | un campione ogni giorno |
| Tutte le altre pagine | circa ogni 8 giorni; più spesso le pagine importanti e quelle con errori |
| Pagine chiuse ai motori di ricerca (noindex) | ogni 30 giorni |
| Nuove pagine | una scansione completa ogni 30 giorni |
| Controlli sull’intero sito | ogni giorno: tag di analytics, script, feed, pagine legali; ogni settimana: file esposti, vulnerabilità dei plugin; ogni mese: cookie prima del consenso |
Prima di parlare di problema
- Sito non raggiungibile: dopo il primo controllo fallito riproviamo dopo 20 secondi, poi ogni minuto. Segnaliamo il sito come non raggiungibile solo dopo due errori consecutivi e almeno 3 minuti, e solo se anche i controlli da altre località non lo vedono funzionare.
- Pagina non funzionante: l’errore deve durare almeno 4 ore e ripetersi in un controllo eseguito 4 ore dopo. Se molte pagine falliscono contemporaneamente, aspettiamo 8 ore: di solito è un problema dell’intero server.
Avvisi
- I problemi urgenti — il sito non è raggiungibile, il certificato SSL scade tra 3 giorni, il dominio tra 7 giorni — vengono inviati subito.
- Tutto il resto viene raggruppato per impostazione predefinita in un unico riepilogo ogni 15 minuti, così dieci pagine non funzionanti sono un solo messaggio, non dieci.
- Canali: e-mail, Telegram, Slack e webhook.
Delicati con il suo server
- Al massimo 2 richieste al secondo verso un sito, una richiesta alla volta.
- Se il server risponde 429, oppure 503 con un header Retry-After, facciamo una pausa fino a 60 secondi e rallentiamo gradualmente, fino a una richiesta ogni 5 secondi al massimo.
- Le nuove pagine che scopriamo vengono visitate solo se robots.txt lo consente. Le pagine che lei aggiunge al monitoraggio vengono controllate perché ce lo ha chiesto.
Il nostro bot
- Monitoraggio:
Mozilla/5.0 (compatible; UpntopBot/1.0; +https://upntop.com/bot) - Controllo gratuito di siti web:
UpntopCheck/1.0 (+https://upntop.com/bot) - Controlli in un browser:
Chrome/… UpntopBot/1.0 (+https://upntop.com/bot) - Una volta alla settimana, un controllo che verifica se la sua CDN o il suo firewall lasciano passare i bot di ricerca aggiunge
ai-access-check/<name>al nostro User-Agent, dove il nome è OAI-SearchBot, PerplexityBot o Claude-SearchBot. Non inviamo mai nomi di bot di altre aziende come nostro User-Agent. - Per bloccarlo, aggiunga
User-agent: UpntopBot / Disallow: /a robots.txt oppure scriva a support@upntop.com e smetteremo di controllare il suo sito.
Cosa controlliamo
115 controlli in otto aree: disponibilità, sicurezza, SEO, velocità, contenuti, accessibilità, configurazione e-mail e risposte della ricerca.