设置密码

验证码错误,请重新填写

免费建站旅程马上开始

开始建站
建站中

已有帐号?直接登录

首页>公告通知 > 什么是robots文件?网站robots.txt文件如何生成
什么是robots文件?网站robots.txt文件如何生成
发布时间: 2019-12-02

一、什么是robots文件

Robots是站点与spider沟通的重要渠道,站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

二、robots功能

robots协议用来告知搜索引擎哪些页面能被抓取,哪些页面不能被抓取;可以屏蔽一些网站中比较大的文件,如:图片,音乐,视频等,节省服务器带宽;可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容;设置网站地图连接,方便引导蜘蛛爬取页面。

三、Robots.txt文件的作用

一般来说出于安全的考虑,在网站seo优化时写入robots.txt文件,实际上就是告诉搜索引擎蜘蛛,网站上哪些内容允许抓取,哪些内容不允许抓取,这样做可以提高搜索引擎的抓取效率,增加搜索引擎对网站的友好度。

四、Robots文件屏蔽的内容

1)、图片目录图片是构成网站的主要组成元素。随着现在建站越来越方便,大量CMS建站。就存在大量的没有用到的图片,建议你应该在robots.txt文件中进行屏蔽,通常的网站图片目录是:imags。或者img;

2)、网站模板目录如上面图片目录中所说,CMS的强大和灵活,网站的模板目录跟网站的内容主题不符,不利于集中网站的相关度。模板目录的文件目录是:templets

3)CSSJS目录的屏蔽这个经常看见我们有些网站的css文件和js被收录了,想要被收录的文章没被收录,这对seo无用文件却收录,确实没有这个必要,也不利于集中网站的相关度。

4)、屏蔽双页面的内容大家都知道DEDECMS可以使用静态和动态URL进行同一篇内容的访问,如果你生成全站静态了,那你必须屏蔽动态地址的URL链接。这里有两个好处:

1、搜索引擎对静态的URL比动态的URL更友好、更容易收录;

2、防止静态、动态URL能访问同一篇文章而被搜索引擎判为重复内容。

5)、模板缓存目录很多CMS程序都有缓存目录,这种缓存目录的好处我想不用说大家也清楚了吧,可以非常有效的提升网站的访问速度,减少网站带宽,对用户体验也是很好的。不过,这样的缓存目录也有一定的缺点,那就是会让搜索引擎进行重复的抓取,一个网站中内容重复也是大祭,对网站百害而无一利,很多使用CMS建站的朋友都没有注意到,必须要引起重视。

6)被删除的目录死链过多,对搜索引擎优化来说,是致命的。

五、网站robots.txt文件如何生成

青站robots设置步骤:首先登录森动网建站后台,选择我的站点”→在右侧的栏目中找到青站-编辑”→找到需要做robots的页面,点击进去详细步骤请看图所示:





以上内容就是森动网小森对“什么是robots文件?网站robots.txt文件如何生成”这个问题进行的解答,读者如果需要者建站方面的帮助,欢迎到森动网进行客服咨询。