robots.txt 生成

よく使うルールをチェックし、robots.txt テキストを生成。

robots.txt

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/
Sitemap: https://example.com/sitemap.xml