Генератор Robots.txt

Создавайте файл robots.txt с правилами allow/disallow для поисковых роботов.

Rule 1

User-agent

Разрешённые пути (по одному на строке)

Запрещённые пути (по одному на строке)

URL sitemap (необязательно)

Вывод robots.txt

User-agent: *
Allow: /
Disallow: /admin
Disallow: /private

Comments & Feedback

Comments are powered by Giscus. Sign in with GitHub to leave a comment.