Kako provjeravamo web-mjesta
Up’n’Top provjerava web-mjesta prema rasporedu, polako i pristojno. Ovdje je točno što provjeravamo, koliko često i kako prepoznati našeg bota.
Koje stranice provjeravamo i koliko često odlučuje naš vlastiti algoritam: važnije stranice provjeravaju se češće.
Koliko često
| Što | Koliko često |
|---|---|
| Radi li web-mjesto (početna stranica) | svakih 5 minuta ili svakih 15 ako odaberete; svake minute na planovima Pro i Agency nakon što potvrdite da je web-mjesto vaše |
| Početna stranica i ključne stranice koje odaberete | svaki sat prema zadanim postavkama; svakih 15 ili 30 minuta ako odaberete |
| SSL certifikat | dvaput dnevno |
| Registracija domene | svaki tjedan; svaki dan u posljednjih 30 dana |
| DNS zapisi | svakih 6 sati |
| robots.txt | svaki sat |
| Stranice svake vrste | uzorak svaki dan |
| Sve ostale stranice | otprilike svakih 8 dana; važne stranice i stranice s pogreškama češće |
| Stranice zatvorene za tražilice (noindex) | svakih 30 dana |
| Nove stranice | potpuni obilazak svakih 30 dana |
| Provjere cijelog web-mjesta | svaki dan: analitičke oznake, skripte, feedovi, pravne stranice; svaki tjedan: izložene datoteke, ranjivosti dodataka; svaki mjesec: kolačići prije privole |
Prije nego što nešto nazovemo problemom
- Web-mjesto ne radi: nakon prve neuspjele provjere pokušavamo ponovno za 20 sekundi, zatim svake minute. Javljamo da web-mjesto ne radi tek nakon dva uzastopna neuspjeha i najmanje 3 minute, i samo ako ni provjere s drugih lokacija ne vide da radi.
- Neispravna stranica: pogreška mora trajati najmanje 4 sata i ponoviti se pri provjeri 4 sata kasnije. Ako mnogo stranica zakaže odjednom, čekamo 8 sati — obično je to problem cijelog poslužitelja.
Upozorenja
- Hitni problemi — web-mjesto ne radi, SSL certifikat istječe za 3 dana, domena za 7 dana — šalju se odmah.
- Sve ostalo prema zadanim postavkama skupljamo u jedan sažetak svakih 15 minuta, pa je deset neispravnih stranica jedna poruka, a ne deset.
- Kanali: e-pošta, Telegram, Slack i webhookovi.
Obzirno prema vašem poslužitelju
- Najviše 2 zahtjeva u sekundi prema jednom web-mjestu, jedan po jedan.
- Ako poslužitelj odgovori s 429 ili s 503 uz zaglavlje Retry-After, pauziramo do 60 sekundi i postupno usporavamo, najviše do jednog zahtjeva svakih 5 sekundi.
- Nove stranice koje otkrijemo posjećujemo samo ako to robots.txt dopušta. Stranice koje dodate u nadzor provjeravamo jer ste nas to zamolili.
Naš bot
- Nadzor:
Mozilla/5.0 (compatible; UpntopBot/1.0; +https://upntop.com/bot) - Besplatna provjera web-mjesta:
UpntopCheck/1.0 (+https://upntop.com/bot) - Provjere u pregledniku:
Chrome/… UpntopBot/1.0 (+https://upntop.com/bot) - Jednom tjedno, pri provjeri propušta li vaš CDN ili vatrozid botove tražilica, našem User-Agentu dodajemo
ai-access-check/<name>, gdje je ime OAI-SearchBot, PerplexityBot ili Claude-SearchBot. Nikad ne šaljemo imena botova drugih tvrtki kao vlastiti User-Agent. - Da biste ga blokirali, dodajte
User-agent: UpntopBot / Disallow: /u robots.txt ili pišite na support@upntop.com i prestat ćemo provjeravati vaše web-mjesto.
Što provjeravamo
115 provjera u osam područja: dostupnost, sigurnost, SEO, brzina, sadržaj, pristupačnost, postavke e-pošte i odgovori u pretraživanju.