Como verificamos sites
O Up’n’Top verifica sites em um cronograma, devagar e com educação. Veja exatamente o que verificamos, com que frequência e como reconhecer o nosso bot.
Quais páginas verificamos e com que frequência é decidido pelo nosso próprio algoritmo: páginas mais importantes são verificadas com mais frequência.
Com que frequência
| O quê | Frequência |
|---|---|
| O site está no ar (página inicial) | a cada 5 minutos, ou a cada 15 se você preferir; a cada minuto nos planos Pro e Agency depois que você confirmar que o site é seu |
| Página inicial e páginas-chave que você escolher | a cada hora por padrão; a cada 15 ou 30 minutos se você preferir |
| Certificado SSL | duas vezes por dia |
| Registro do domínio | toda semana; todo dia nos últimos 30 dias |
| Registros DNS | a cada 6 horas |
| robots.txt | a cada hora |
| Páginas de cada tipo | uma amostra todo dia |
| Todas as outras páginas | cerca de a cada 8 dias; páginas importantes e páginas com erros com mais frequência |
| Páginas fechadas para buscadores (noindex) | a cada 30 dias |
| Páginas novas | um rastreamento completo a cada 30 dias |
| Verificações do site inteiro | todo dia: tags de análise, scripts, feeds, páginas legais; toda semana: arquivos expostos, vulnerabilidades de plugins; todo mês: cookies antes do consentimento |
Antes de chamarmos algo de problema
- Site fora do ar: após a primeira verificação com falha, tentamos de novo em 20 segundos e depois a cada minuto. Só informamos que o site está fora do ar após duas falhas seguidas e pelo menos 3 minutos, e só se as verificações de outros locais também não o virem funcionando.
- Página quebrada: o erro precisa durar pelo menos 4 horas e se repetir em uma verificação feita 4 horas depois. Se muitas páginas falham ao mesmo tempo, esperamos 8 horas — geralmente é um problema do servidor inteiro.
Alertas
- Problemas urgentes — o site está fora do ar, o certificado SSL expira em 3 dias, o domínio em 7 dias — são enviados na hora.
- Todo o resto é agrupado, por padrão, em um único resumo a cada 15 minutos, então dez páginas quebradas são uma mensagem, não dez.
- Canais: e-mail, Telegram, Slack e webhooks.
Cuidadosos com o seu servidor
- No máximo 2 requisições por segundo para um site, uma requisição por vez.
- Se o servidor responde 429, ou 503 com um cabeçalho Retry-After, pausamos por até 60 segundos e desaceleramos passo a passo, até no máximo uma requisição a cada 5 segundos.
- Páginas novas que descobrimos só são visitadas se o robots.txt permitir. Páginas que você adiciona ao monitoramento são verificadas porque você nos pediu.
Nosso bot
- Monitoramento:
Mozilla/5.0 (compatible; UpntopBot/1.0; +https://upntop.com/bot) - Verificador de sites grátis:
UpntopCheck/1.0 (+https://upntop.com/bot) - Verificações em um navegador:
Chrome/… UpntopBot/1.0 (+https://upntop.com/bot) - Uma vez por semana, uma verificação de se a sua CDN ou firewall deixa os bots de busca entrarem adiciona
ai-access-check/<name>ao nosso User-Agent, em que o nome é OAI-SearchBot, PerplexityBot ou Claude-SearchBot. Nunca enviamos nomes de bots de outras empresas como nosso próprio User-Agent. - Para bloqueá-lo, adicione
User-agent: UpntopBot / Disallow: /ao robots.txt ou escreva para support@upntop.com e deixaremos de verificar o seu site.
O que verificamos
115 verificações em oito áreas: disponibilidade, segurança, SEO, velocidade, conteúdo, acessibilidade, configuração de e-mail e respostas de busca.