robots.txt的写法
发布时间：2019/12/24 14:49:14 来源: 纵横数据
robots.txt的写法
（1）美国站群服务器允许所有的robot访问
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
或者建一个空文件”robots.txt”即可。
（2）仅禁止某个机器人访问您的网站，如Baiduspider。
User-agent: Baiduspider
Disallow: /
更多关于robots讨论，可以qq442780253，关注纵横云Alice分享
全球服务器租用|海外服务器租用|网站建站一站式网络解决方案-纵横云
（1）美国站群服务器允许所有的robot访问
User-agent: *
Disallow:
或者
User-agent: *
Allow: /
或者建一个空文件”robots.txt”即可。
（2）仅禁止某个机器人访问您的网站，如Baiduspider。
User-agent: Baiduspider
Disallow: /
更多关于robots讨论，可以qq442780253，关注纵横云Alice分享
全球服务器租用|海外服务器租用|网站建站一站式网络解决方案-纵横云
本文来源：
https://www.zndata.com/article/2220.html
[复制链接]
链接已复制
上一篇:没有了
下一篇:没有了
闽公网安备35020302000189