Eina gratuïta
Generador i comprovador de robots.txt
Crea el robots.txt del teu web en un minut, amb una política clara per als robots d’IA, i comprova quina URL pot rastrejar cada robot. T’avisem dels errors que et poden treure de Google.
S’apliquen les regles de Google: el grup més específic per al robot i, dins seu, la regla més llarga; en empat guanya Allow. Altres robots poden interpretar algun cas d’una altra manera.
Prefereixes que ho fem per tu?
Fem el SEO del teu web cada mes: contingut, dades estructurades, enllaços i la part tècnica.
Més eines gratuïtes
Comprovador de visibilitat en IA →
Si ChatGPT, Perplexity, Gemini i Google poden entrar al teu web i si el contingut és fàcil de llegir i citar per a la IA. Nota de 0 a 100.
Auditoria SEO gratuïta de 10 pàgines →
Analitza la pàgina d’inici i nou pàgines més: títols, descripcions, H1, canonical, hreflang, dades estructurades, robots.txt, sitemap, enllaços trencats i velocitat. Nota de 0 a 100.
Generador de llms.txt →
Crea el fitxer llms.txt del teu web (format llmstxt.org) a partir del teu propi web: nom, resum i pàgines clau.
Com es fa servir
- Tria el tipus de web, marca quines zones no val la pena rastrejar i decideix què fer amb els robots d’IA.
- Afegeix el sitemap i, si cal, regles pròpies. Revisa els avisos: alguns errors treuen pàgines de Google.
- Descarrega el fitxer i puja’l a l’arrel del domini (elteuweb.com/robots.txt). Després fes servir «Provar una URL» per comprovar pàgines concretes.
Preguntes freqüents
El robots.txt serveix perquè una pàgina no surti a Google?
No del tot. Bloquejar el rastreig no impedeix que Google indexi la URL si l’enllacen. Perquè no aparegui, deixa que es rastregi i fes servir l’etiqueta noindex.
He de bloquejar GPTBot i altres robots d’IA?
Depèn del teu negoci. Bloquejar els d’entrenament no afecta que els assistents et citin. Bloquejar els que llegeixen el web per respondre (OAI-SearchBot, PerplexityBot…) et treu d’aquestes respostes.
Google respecta Crawl-delay?
No. Google ignora Crawl-delay; ajusta la velocitat de rastreig segons la resposta del teu servidor.
On es puja el fitxer?
A l’arrel del domini: https://elteuweb.com/robots.txt. Cada subdomini necessita el seu propi fitxer.