零基础建站培训介绍

当前位置:

网站ROBOTS文件怎么写

作用:告诉搜索引擎蜘蛛,哪些页面是可以爬行的,哪些是不可以爬行的。

写法

允许抓取所有页面


User-agent: *
Disallow:

不允许抓取所有页面


User-agent: *
Disallow:/

不允许抓取动态页面 不允许抓取某个目录


User-agent: *
Disallow:/*?*
Disallow:/vip/
上一课: 下一课:

发表评论

*

* 绝不会泄露


零基础学建站就到学做网站论坛