# 水木易个人网站 Robots.txt # https://www.robotstxt.org/robotstxt.html # 允许所有搜索引擎爬虫 User-agent: * Allow: / # 禁止爬取的目录 Disallow: /api/ Disallow: /_next/ Disallow: /admin/ # 指定站点地图位置 Sitemap: https://shuimuyi.com/sitemap.xml # 爬取延迟(秒) Crawl-delay: 1 # 特定搜索引擎规则 # Google User-agent: Googlebot Allow: / Crawl-delay: 0 # Baidu(百度) User-agent: Baiduspider Allow: / Crawl-delay: 1 # Bing User-agent: Bingbot Allow: / Crawl-delay: 1