站长基础交流之13个实用的robots文件常见用法说明 站长必备《56之窗网》
标王 热搜: 贷款  深圳    医院  用户体验  网站建设  机器人  贵金属  桂林市  五角大楼 
 
 
当前位置: 首页 » 资讯 » SEO优化 » 正文

站长基础交流之13个实用的robots文件常见用法说明 站长必备

放大字体  缩小字体 发布日期:2017-12-11 00:45:56  来源:互联网  作者:微发信息网  浏览次数:148
 仅当您的网站里面含有不期望被搜索引擎网站收录的内部实质意义时,才需求运用robots.txt文件。假如您期望搜索引擎网站收录网站上全部内部实质意义,请勿树立robots.txt文件。

  查缉该网站的根域下是否有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中开创一个robots.txt,在文件中声明 该网站中没想到被搜索引擎网站收录的局部还是指定搜索引擎网站只收录特别指定的局部。

例1.严禁全部搜索引擎网站过访网站的不论什么局部 下载该robots.txt文件User-agent:* Disallow:/ 
例2.准许全部的robot过访 (还是也可以建一个具文件"/robots.txt")User-agent:* Allow:/
例3.仅严禁Baiduspider过访您的网站User-agent:Baiduspider Disallow:/ 
例4.仅准许Baiduspider过访您的网站User-agent:Baiduspider Allow:/ User-agent:* Disallow:/ 
例5.仅准许Baiduspider以及Googlebot过访User-agent:Baiduspider Allow:/ User-agent:Googlebot Allow:/ User-agent:* Disallow:/ 例6.严禁spider过访特别指定目次 在这个例子中,该网站有三个目次对搜索引擎网站的过访做了限止,即robot不会过访这三个目次。需求注意的是对每一个目次务必分开声明,而不可以写成"Disallow:/cgi-bin//tmp/"。User-agent:* Disallow:/cgi-bin/ Disallow:/tmp/ Disallow:/~joe/ 
例7.准许过访特别指定目次中的局部urlUser-agent:* Allow:/cgi-bin/see Allow:/tmp/hi Allow:/~joe/look Disallow:/cgi-bin/ Disallow:/tmp/ Disallow:/~joe/ 
例8.运用"*"限止过访url 严禁过访/cgi-bin/目次下的全部以".htm"为后缀的URL(里面含有细目录)。User-agent:* Disallow:/cgi-bin/*.htm 
例9.运用"$"限止过访url 仅准许过访以".htm"为后缀的URL。User-agent:* Allow:/*.htm$ Disallow:/ 
例10.严禁过访网站中全部的动态页面User-agent:* Disallow:/*?* 
例11.严禁Baiduspider抓取网站上全部图片 仅准许抓取网页,严禁抓取不论什么图片。User-agent:Baiduspider Disallow:/*.jpg$ Disallow:/*.jpeg$ Disallow:/*.gif$ Disallow:/*.png$ Disallow:/*.bmp$ 
例12.仅准许Baiduspider抓取网页和.gif款式图片 准许抓取网页和gif款式图片,不准许抓取其它款式图片User-agent:Baiduspider Allow:/*.gif$ Disallow:/*.jpg$ Disallow:/*.jpeg$ Disallow:/*.png$ Disallow:/*.bmp$ 
例13.仅严禁Baiduspider抓取.jpg款式图片User-agent:Baiduspider Disallow:/*.jpg$ 
robots常见用处
 

  以上就是【站长基础交流之13个实用的robots文件常见用法说明 站长必备】全部内容,更多资讯请关注56之窗网。
 

本文地址:http://hot1.ffsy56.com/newsdetail5483.html


版权与免责声明:以上所展示的信息由网友自行发布,内容的真实性、准确性和合法性由发布者负责。56之窗网对此不承担任何直接责任及连带责任,56之窗网仅提供信息存储空间服务。任何单位或个人如对以上内容有权利主张(包括但不限于侵犯著作权、商业信誉等),请与我们联系并出示相关证据,我们将按国家相关法规即时移除。
 
推荐图文
最新新闻
点击排行

新闻投稿、广告联系客服QQ:3442875907点击这里给我发消息