Herramienta gratuita
Generador y probador de robots.txt
Crea el robots.txt de tu web en un minuto, con una política clara para los robots de IA, y comprueba qué URL puede rastrear cada robot. Te avisamos de los errores que pueden sacarte de Google.
Se aplican las reglas de Google: el grupo más específico para el robot y, dentro de él, la regla más larga; en empate gana Allow. Otros robots pueden interpretar algún caso de otra forma.
¿Prefieres que lo hagamos por ti?
Hacemos el SEO de tu web cada mes: contenido, datos estructurados, enlaces y la parte técnica.
Más herramientas gratuitas
Comprobador de visibilidad en IA →
Si ChatGPT, Perplexity, Gemini y Google pueden entrar en tu web y si tu contenido es fácil de leer y citar para la IA. Nota de 0 a 100.
Auditoría SEO gratis de 10 páginas →
Analiza la página de inicio y nueve páginas más: títulos, descripciones, H1, canonical, hreflang, datos estructurados, robots.txt, sitemap, enlaces rotos y velocidad. Nota de 0 a 100.
Generador de llms.txt →
Crea el archivo llms.txt de tu web (formato llmstxt.org) a partir de tu propia web: nombre, resumen y páginas clave.
Cómo se usa
- Elige el tipo de web, marca qué zonas no merece la pena rastrear y decide qué hacer con los robots de IA.
- Añade tu sitemap y, si hace falta, reglas propias. Revisa los avisos: algunos errores sacan páginas de Google.
- Descarga el archivo y súbelo a la raíz de tu dominio (tuweb.com/robots.txt). Después usa «Probar una URL» para comprobar páginas concretas.
Preguntas frecuentes
¿robots.txt sirve para que una página no salga en Google?
No del todo. Bloquear el rastreo no impide que Google indexe la URL si la enlazan. Para que no aparezca, deja que se rastree y usa la etiqueta noindex.
¿Debo bloquear GPTBot y otros robots de IA?
Depende de tu negocio. Bloquear los de entrenamiento no afecta a que los asistentes te citen. Bloquear los que leen la web para responder (OAI-SearchBot, PerplexityBot…) te quita de esas respuestas.
¿Google respeta Crawl-delay?
No. Google ignora Crawl-delay; la velocidad de rastreo la ajusta solo según la respuesta de tu servidor.
¿Dónde se sube el archivo?
En la raíz del dominio: https://tuweb.com/robots.txt. Cada subdominio necesita su propio archivo.