robots.txt

User-agent: *

# 允许抓取的常规目录
Allow: /
Allow: /ads.txt
Allow: /archives/
Allow: /categories/
Allow: /tags/
Allow: /friends/
Allow: /about/

# 禁止抓取资源文件
Disallow: /js/
Disallow: /css/
Disallow: /libs/
Disallow: /fonts/
Disallow: /vendors/
Disallow: /medias/
Disallow: /images/
Disallow: /download/
Disallow: /_data/
Disallow: /_draft/

# 禁止抓取 rss 链接（rss 只用于订阅本站，与搜索引擎无关）
Disallow: /atom.xml

# 禁止抓取站内搜索结果
Disallow: /#searchModal

# 方便搜索引擎抓取的站点地图
Sitemap: http://ragnarok.buzz/sitemap.xml
Sitemap: http://ragnarok.buzz/baidusitemap.xml
Sitemap: http://store.ragnarok.buzz/sitemap.xml
Sitemap: http://store.ragnarok.buzz/baidusitemap.xml
Sitemap: https://Casual-Ragnarok.github.io/ro-store/sitemap.xml
Sitemap: https://Casual-Ragnarok.github.io/ro-store/baidusitemap.xml
Sitemap: https://Casual-Ragnarok.gitee.io/ro-store/sitemap.xml
Sitemap: https://Casual-Ragnarok.gitee.io/ro-store/baidusitemap.xml