Tagorising
Eines

Eina gratuïta

Generador i comprovador de robots.txt

Crea el robots.txt del teu web en un minut, amb una política clara per als robots d’IA, i comprova quina URL pot rastrejar cada robot. T’avisem dels errors que et poden treure de Google.

Base

Robots d’IA

Googlebot i Bingbot no es bloquegen mai: sense ells desapareixeries de Google i Bing. Les respostes d’IA de Google (AI Overviews) no es poden bloquejar per separat de la cerca.

Regles pròpies

Robot «*» = tots. Ruta amb «*» com a comodí i «$» per al final de la URL.

Com es fa servir

  1. Tria el tipus de web, marca quines zones no val la pena rastrejar i decideix què fer amb els robots d’IA.
  2. Afegeix el sitemap i, si cal, regles pròpies. Revisa els avisos: alguns errors treuen pàgines de Google.
  3. Descarrega el fitxer i puja’l a l’arrel del domini (elteuweb.com/robots.txt). Després fes servir «Provar una URL» per comprovar pàgines concretes.

Preguntes freqüents

El robots.txt serveix perquè una pàgina no surti a Google?

No del tot. Bloquejar el rastreig no impedeix que Google indexi la URL si l’enllacen. Perquè no aparegui, deixa que es rastregi i fes servir l’etiqueta noindex.

He de bloquejar GPTBot i altres robots d’IA?

Depèn del teu negoci. Bloquejar els d’entrenament no afecta que els assistents et citin. Bloquejar els que llegeixen el web per respondre (OAI-SearchBot, PerplexityBot…) et treu d’aquestes respostes.

Google respecta Crawl-delay?

No. Google ignora Crawl-delay; ajusta la velocitat de rastreig segons la resposta del teu servidor.

On es puja el fitxer?

A l’arrel del domini: https://elteuweb.com/robots.txt. Cada subdomini necessita el seu propi fitxer.

CONTACTE

Parlem?

Tria com prefereixes parlar. La primera conversa és directa i sense compromís.