零基础建站培训教程介绍

robots文件写法与作用

更多SEO优化实战课程:https://www.xuewangzhan.com/vip/forum.php?gid=88

什么是robots文件

robots文件是一个协议,而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

robots.txt 文件写法与作用

当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索引擎蜘蛛就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

robots.txt的作用

robots文件在SEO教程中很重要,通过根目录中创建的纯文本文件robots.txt,网站可以声明不想被robots访问的部分。每个网站都可以自主控制网站是否愿意被搜索引擎收录,或者指定搜索引擎只收录指定的内容。

当一个搜索引擎的爬虫访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果该文件不存在,那么爬虫就沿着链接抓取,如果存在,爬虫就会按照该文件中的内容来确定访问的范围。

robots.txt的写法

允许抓取所有页面

User-agent: *
Disallow:

不允许抓取所有页面

User-agent: *
Disallow:/

不允许抓取动态页面 不允许抓取某个目录

User-agent: *
Disallow:/*?*
Disallow:/vip/

更多ROBOTS文件的写法:https://www.xuewangzhan.com/zichu/483.html

发表评论

零基础学建站就到学做网站论坛