robots.txt控制搜索引擎抓取。今天说说如何正确配置。
什么是robots.txt
告诉搜索引擎哪些页面可以抓取，哪些不可以。
基本语法
User-agent: 指定搜索引擎
Allow: 允许抓取
Disallow: 禁止抓取
Sitemap: 网站地图位置
常见配置
User-agent: * Allow: / Sitemap: https://example.com/sitemap.xml
注意事项
• 不要禁止CSS和JS
• 谨慎使用Disallow
• 测试配置是否正确
测试工具
Google Search Console中有robots.txt测试工具。
正确配置才能事半功倍。