Tagorising
Herramientas

Herramienta gratuita

Generador y probador de robots.txt

Crea el robots.txt de tu web en un minuto, con una política clara para los robots de IA, y comprueba qué URL puede rastrear cada robot. Te avisamos de los errores que pueden sacarte de Google.

Base

Robots de IA

Googlebot y Bingbot no se bloquean nunca: sin ellos desaparecerías de Google y Bing. Las respuestas de IA de Google (AI Overviews) no se pueden bloquear por separado de la búsqueda.

Reglas propias

Robot «*» = todos. Ruta con «*» como comodín y «$» para el final de la URL.

Cómo se usa

  1. Elige el tipo de web, marca qué zonas no merece la pena rastrear y decide qué hacer con los robots de IA.
  2. Añade tu sitemap y, si hace falta, reglas propias. Revisa los avisos: algunos errores sacan páginas de Google.
  3. Descarga el archivo y súbelo a la raíz de tu dominio (tuweb.com/robots.txt). Después usa «Probar una URL» para comprobar páginas concretas.

Preguntas frecuentes

¿robots.txt sirve para que una página no salga en Google?

No del todo. Bloquear el rastreo no impide que Google indexe la URL si la enlazan. Para que no aparezca, deja que se rastree y usa la etiqueta noindex.

¿Debo bloquear GPTBot y otros robots de IA?

Depende de tu negocio. Bloquear los de entrenamiento no afecta a que los asistentes te citen. Bloquear los que leen la web para responder (OAI-SearchBot, PerplexityBot…) te quita de esas respuestas.

¿Google respeta Crawl-delay?

No. Google ignora Crawl-delay; la velocidad de rastreo la ajusta solo según la respuesta de tu servidor.

¿Dónde se sube el archivo?

En la raíz del dominio: https://tuweb.com/robots.txt. Cada subdominio necesita su propio archivo.

CONTACTO

¿Hablamos?

Elige cómo prefieres hablar. La primera conversación es directa y sin compromiso.