Бесплатный инструмент
Генератор и проверка robots.txt
Создайте robots.txt за минуту, с понятной политикой для ИИ-роботов, и проверьте, какие URL может сканировать каждый робот. Мы предупреждаем об ошибках, которые могут убрать сайт из Google.
Применяются правила Google: самая конкретная группа для робота и в ней самое длинное правило; при равенстве побеждает Allow. Другие роботы могут понимать отдельные случаи иначе.
Хотите, чтобы это сделали мы?
Ведём SEO сайта каждый месяц: контент, структурированные данные, ссылки и техническая часть.
Другие бесплатные инструменты
Проверка видимости в ИИ →
Могут ли ChatGPT, Perplexity, Gemini и Google попасть на ваш сайт и легко ли ИИ читать и цитировать ваш контент. Оценка от 0 до 100.
Бесплатный SEO-аудит 10 страниц →
Проверяет главную и ещё девять страниц: title, description, H1, canonical, hreflang, микроразметку, robots.txt, sitemap, битые ссылки и скорость. Оценка от 0 до 100.
Генератор llms.txt →
Создайте файл llms.txt (формат llmstxt.org) на основе своего сайта: название, описание и ключевые страницы.
Как пользоваться
- Выберите тип сайта, отметьте разделы, которые не стоит сканировать, и решите, что делать с ИИ-роботами.
- Добавьте sitemap и при необходимости свои правила. Посмотрите предупреждения: некоторые ошибки убирают страницы из Google.
- Скачайте файл и загрузите его в корень домена (вашсайт.com/robots.txt). Затем во вкладке «Проверить URL» проверьте конкретные страницы.
Частые вопросы
robots.txt убирает страницу из Google?
Не совсем. Запрет сканирования не мешает Google проиндексировать URL, если на него ссылаются. Чтобы страницы не было в выдаче, разрешите сканирование и поставьте noindex.
Нужно ли закрывать GPTBot и других ИИ-роботов?
Зависит от бизнеса. Закрытие роботов обучения не мешает ассистентам вас цитировать. Закрытие тех, кто читает сайт для ответов (OAI-SearchBot, PerplexityBot…), убирает вас из этих ответов.
Учитывает ли Google Crawl-delay?
Нет. Google игнорирует Crawl-delay и сам подбирает скорость сканирования по ответам сервера.
Куда загружать файл?
В корень домена: https://вашсайт.com/robots.txt. Каждому поддомену нужен свой файл.