Generator Robots.txt

Buat file robots.txt dengan aturan izinkan/larang untuk crawler mesin pencari.

Rule 1

User-agent

Jalur yang diizinkan (satu per baris)

Jalur yang dilarang (satu per baris)

URL Sitemap (opsional)

Output robots.txt

User-agent: *
Allow: /
Disallow: /admin
Disallow: /private

Comments & Feedback

Comments are powered by Giscus. Sign in with GitHub to leave a comment.