帮助中心 >  技术知识库 >  网站相关 >  建站知识 >  为什么不要搜索引擎看太多的根目录文件

为什么不要搜索引擎看太多的根目录文件

2016-01-08 10:05:17 8270

一个网站不是所有的内容都要给搜索引擎看的,
每个网站都有隐私,所以有很多根目录文件什么的都是禁止搜索引擎索引的,
比如admin文件就要屏蔽搜索引擎,没有什么坏处,搜索引擎喜欢高质量的网页内容,将网站内容结构做好,屏蔽哪些低质量的没有用的,对搜索引擎没坏处反而有好处。
搜索引擎蜘蛛不断爬行互联网,如果我们网站没有做出禁止搜索引擎收录的操作,很容易就会被搜索引擎收录 ,禁止搜索引擎收录网站内容方法。

1、设置搜索引擎和网站之间的协议,User-agent:*表示和所有搜索引擎协议适用;Disallow:/表示禁止抓取收录全站。

2、如果只是禁止某一个搜索引擎抓取收录网站的某一个目录,比如要禁止百度抓取收录data目录,则如图设置。


3、保存文件后,把robots.txt文件上传到服务器根目录,即表示搜索引擎和网站之间的协议生效,可以禁止搜索引擎抓取收录网站内容。 

提交成功!非常感谢您的反馈,我们会继续努力做到更好!

这条文档是否有帮助解决问题?

非常抱歉未能帮助到您。为了给您提供更好的服务,我们很需要您进一步的反馈信息:

在文档使用中是否遇到以下问题: