robots.txt的写法
发布时间：2020-2-20 14:50:05 来源: 腾云数据有限公司
robots.txt的写法
（1）美国站群服务器允许所有的robot访问
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
或者建一个空文件”robots.txt”即可。
（2）仅禁止某个机器人访问您的网站，如Baiduspider。
User-agent: Baiduspider
Disallow: /
本文来源：
http://svip.vnetdns.com/article/843.html
[复制链接]
链接已复制
