🤖 robots.txt / sitemap.xml 生成器

robots.txt 告诉爬虫哪些能抓、哪些别抓；sitemap.xml 告诉搜索引擎你有哪些页面值得索引。在这里交互式生成两者，并理解每条规则的含义。

robots.txt & sitemap.xml 生成器

交互式配置抓取规则与站点地图，实时预览并一键复制 / 下载。全程在浏览器本地完成，无网络请求。

快捷预设：

User-agent

Crawl-delay（可选，秒）

Allow 路径

暂无

Disallow 路径

Sitemap URL（全局，可选）

生成结果 robots.txt

User-agent: *
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

robots.txt 必须放在站点根目录（如 https://example.com/robots.txt）。sitemap.xml 同样建议放根目录，并在 robots.txt 里用 Sitemap: 指明其地址，方便爬虫发现。