UtilitáriosDev

Rede e Web

Gerador de robots.txt

Configure user-agent, allow, disallow e sitemap para gerar um arquivo robots.txt pronto para copiar.

Como funciona

A rota monta o texto final conforme as regras selecionadas e devolve o arquivo pronto para colar.

Casos de uso

Bom para SEO técnico, staging, ajustes rápidos e troubleshooting de indexação.

Perguntas frequentes

Posso definir o sitemap?
Sim. Há um campo opcional para a URL do sitemap.
O allow é obrigatório?
Não necessariamente, mas o padrão sugerido é /.
Serve para qualquer crawler?
Sim. Você pode informar um user-agent específico ou usar *.

Ferramentas relacionadas