百度，360，搜狗等(deng)搜索引(yin)擎在访问一个(ge)网站(zhan)的(de)(de)时(shi)候(hou)，开始做的(de)(de)动作是(shi)(shi)检查该网站(zhan)的(de)(de)根域名(ming)下是(shi)(shi)否有(you)一个(ge)叫(jiao)robots.txt的(de)(de)纯(chun)文(wen)本文(wen)件，该文(wen)件用(yong)(yong)于指定搜索引(yin)擎蜘蛛(zhu)在网站(zhan)上的(de)(de)抓取范围。由于很多网站(zhan)的(de)(de)一些(xie)页面存在隐私或者是(shi)(shi)敏感内容，因此需要(yao)告诉搜索引(yin)擎蜘蛛(zhu)网站(zhan)中的(de)(de)哪些(xie)页面是(shi)(shi)不允许抓取的(de)(de)，这就(jiu)是(shi)(shi)Robots文(wen)件的(de)(de)作用(yong)(yong)。

　　一(yi)、Robot指令：

　　1，User-agent: 该指(zhi)(zhi)(zhi)令(ling)(ling)(ling)定(ding)义了此(ci)指(zhi)(zhi)(zhi)令(ling)(ling)(ling)下面的内容对哪些蜘(zhi)蛛(zhu)(zhu)有(you)效。默(mo)认所有(you)蜘(zhi)蛛(zhu)(zhu)都允许抓取，如果此(ci)指(zhi)(zhi)(zhi)令(ling)(ling)(ling)指(zhi)(zhi)(zhi)定(ding)了特定(ding)的蜘(zhi)蛛(zhu)(zhu)，那么(me)此(ci)指(zhi)(zhi)(zhi)令(ling)(ling)(ling)下跟(gen)的内容就(jiu)对特定(ding)蜘(zhi)蛛(zhu)(zhu)有(you)效。

　　2，Disallow: 该指(zhi)令定义了禁止蜘蛛抓取哪(na)些(xie)页面，有些(xie)人可能认为，做网站当然(ran)都希(xi)望被抓取了。但是(shi)(shi)如果是(shi)(shi)后台或是(shi)(shi)隐私文件(jian)，相信谁都不愿意被抓取的。

　　3，Allow: 该指(zhi)令定义了允许蜘(zhi)蛛(zhu)抓(zhua)些哪些内容，如(ru)果是某些内容允许，其它(ta)全(quan)部拒(ju)绝，则可(ke)以用(yong)这个指(zhi)令，大多数网站只用(yong)到禁止(zhi)指(zhi)令。

　　4，Sitemap：就是我们常说的网站地图了(le)，把站点地图放在(zai)Robots下面，可以方便蜘蛛直接(jie)在(zai)访问Robots时就访问到你的地图位置。

　　二(er)、robots的(de)作用：

　　1、屏蔽死(si)链(lian)接。由于改版(ban)等原因(yin)，我们(men)网(wang)(wang)站(zhan)会产生死(si)链(lian)接，那(nei)么这(zhei)个时候(hou)我们(men)就需要通过robots来屏蔽这(zhei)些死(si)链(lian)接。我们(men)可以通过下载网(wang)(wang)站(zhan)日(ri)志来查看我们(men)的404页面，用(yong)txt打(da)开网(wang)(wang)站(zhan)日(ri)志，通过搜(sou)索“404”，如(ru)果你网(wang)(wang)站(zhan)有404页面，并且被(bei)(bei)访问到了，那(nei)么这(zhei)个时候(hou)就会被(bei)(bei)网(wang)(wang)站(zhan)日(ri)志给记录。

　　2、把(ba)没(mei)有价值(zhi)的(de)页(ye)(ye)面(mian)(mian)(mian)屏(ping)蔽掉。很多网站(zhan)都(dou)有一(yi)(yi)些没(mei)有价值(zhi)的(de)页(ye)(ye)面(mian)(mian)(mian)，比(bi)如(ru)说指导中(zhong)心的(de)用户个(ge)(ge)人(ren)中(zhong)心页(ye)(ye)面(mian)(mian)(mian)，这个(ge)(ge)个(ge)(ge)人(ren)中(zhong)心页(ye)(ye)面(mian)(mian)(mian)不会对网站(zhan)产(chan)生(sheng)价值(zhi)，在百度上面(mian)(mian)(mian)的(de)展现(xian)也不会给网站(zhan)带来(lai)权(quan)重(zhong)。因(yin)此我(wo)们需(xu)要(yao)利用robots来(lai)屏(ping)蔽这样(yang)的(de)页(ye)(ye)面(mian)(mian)(mian)。又比(bi)如(ru)说：一(yi)(yi)个(ge)(ge)企(qi)业(ye)网站(zhan)的(de)联系我(wo)们页(ye)(ye)面(mian)(mian)(mian)，这种页(ye)(ye)面(mian)(mian)(mian)不会给网站(zhan)带来(lai)权(quan)重(zhong)，用户也不会去搜索“联系我(wo)们”来(lai)找他想要(yao)的(de)产(chan)品。因(yin)此我(wo)们需(xu)要(yao)把(ba)这种页(ye)(ye)面(mian)(mian)(mian)同时屏(ping)蔽。

　　3、把(ba)重复(fu)路径屏蔽掉。当你(ni)网(wang)站出(chu)现重复(fu)路径的时(shi)候，百度将会(hui)对我们(men)的网(wang)站进行(xing)直接降分，比如说：一个网(wang)站做了伪静态(tai)，同时(shi)他的动态(tai)页面也可以访问，这(zhei)个时(shi)候就(jiu)会(hui)出(chu)现重复(fu)路径。因此(ci)我们(men)需要通过(guo)robots屏蔽这(zhei)些(xie)重复(fu)路径。

　　郑州网站建设公司河南云狐是一家专业的互联网整合营销公司，专业从事网站建设、网络推广、微信开发与代运营、微信小程序代理/开发、联通400电话、APP开发、EC营(ying)客(ke)通销售管理软件、教育培(pei)训、广告制作(zuo)、朋友(you)圈广告等诸多(duo)服务，欢(huan)迎大家(jia)来(lai)河南(nan)云狐参观(guan)咨询了解。