Tagorising
Инструменты

Бесплатный инструмент

Генератор и проверка robots.txt

Создайте robots.txt за минуту, с понятной политикой для ИИ-роботов, и проверьте, какие URL может сканировать каждый робот. Мы предупреждаем об ошибках, которые могут убрать сайт из Google.

Основа

ИИ-роботы

Googlebot и Bingbot не закрываются никогда: без них сайт пропадёт из Google и Bing. ИИ-ответы Google (AI Overviews) нельзя закрыть отдельно от поиска.

Свои правила

Робот «*» = все. В пути «*» — любой текст, «$» — конец URL.

Как пользоваться

  1. Выберите тип сайта, отметьте разделы, которые не стоит сканировать, и решите, что делать с ИИ-роботами.
  2. Добавьте sitemap и при необходимости свои правила. Посмотрите предупреждения: некоторые ошибки убирают страницы из Google.
  3. Скачайте файл и загрузите его в корень домена (вашсайт.com/robots.txt). Затем во вкладке «Проверить URL» проверьте конкретные страницы.

Частые вопросы

robots.txt убирает страницу из Google?

Не совсем. Запрет сканирования не мешает Google проиндексировать URL, если на него ссылаются. Чтобы страницы не было в выдаче, разрешите сканирование и поставьте noindex.

Нужно ли закрывать GPTBot и других ИИ-роботов?

Зависит от бизнеса. Закрытие роботов обучения не мешает ассистентам вас цитировать. Закрытие тех, кто читает сайт для ответов (OAI-SearchBot, PerplexityBot…), убирает вас из этих ответов.

Учитывает ли Google Crawl-delay?

Нет. Google игнорирует Crawl-delay и сам подбирает скорость сканирования по ответам сервера.

Куда загружать файл?

В корень домена: https://вашсайт.com/robots.txt. Каждому поддомену нужен свой файл.

КОНТАКТ

Поговорим?

Выберите удобный способ связи. Первый разговор — прямой и без обязательств.