设置密码

验证码错误,请重新填写

免费建站旅程马上开始

开始建站
建站中

已有帐号?直接登录

首页>森动学院>网站建设教程 > 什么是robots协议?
什么是robots协议?
发布时间: 2014-10-17

网站优化过程中,我们会经常提到robots协议,并把网站中的某些信息通过robots协议文件允许搜索引擎爬行和收录,以便让网站更加的符合搜索引擎需要和对搜索引擎友好,让网站内容得到更安全、更高效的展示。


robots协议图

那么,什么是robots协议呢?robots协议有哪些作用?


一般说来,robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),网站通过robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,以便用户在进行条件查找信息的时候搜索引擎能更加便捷高效的提供相关优质页面。


robots协议文件是搜索引擎访问网站的时候要查看的第一个文件,假如没有robots协议文件,搜索引擎就会对全站所有页面进行爬行,有设置robots协议文件的,搜索引擎会根据robots协议内容进行页面爬行和抓取。


robots协议文件通常都是放在网站根目录下,robots协议更多的是代表了一种契约精神,更多的是出于网站安全和用户隐私不被侵犯方面考虑,从而制定的一项网络安全原则,目的是创造更加安全和谐的网络搜索环境。


robots协议是基于国际互联网界通行的道德规范原则而建立的,具有:


1、搜索技术应服务于人类,同时尊重网站信息提供者的意愿,并维护其隐私权;


2、网站有义务保护其使用者(网站用户)的个人信息和隐私不被侵犯。


更多相关网站SEO优化信息请访问:http://www.sendong.com/market_2.html

(本文出自森动网http://www.sendong.com陈家洛,欢迎转载,请保留出处!)