一个合格的Dedecms网站，必须在根目录下包含一个robots.txt文件。这个文件对所有运营Dedecms网站的朋友来说并不陌生，网上也提供了很多制作robots.txt文件的方法和软件，使用起来非常方便。

然而，你真的清楚Dedecms网站的robots.txt文件设置是否合理吗？哪些文件或目录需要屏蔽？哪些设置方法对Dedecms网站运营有好处？以下将详细解答这些问题，希望对新手站长有所帮助。

一、什么是robots.txt

搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先检查该网站的根域下是否有一个叫做robots.txt的纯文本文件。这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

二、robots.txt文件对网站的好处

• 快速增加网站权重和访问量；
• 禁止某些文件被搜索引擎索引，节省服务器带宽和提高网站访问速度；
• 为搜索引擎提供一个简洁明了的索引环境。

三、哪些网站的目录需要使用robots.txt文件禁止抓取

1) 图片目录
图片是构成网站的主要元素。随着建站越来越方便，大量CMS的出现，导致了同质化模板网站的泛滥。这样的网站搜索引擎不喜欢，效果也很差。如果你使用这种网站，建议在robots.txt文件中屏蔽图片目录，通常的网站图片目录是：images 或者 img。

2) 网站模板目录
CMS的强大和灵活也导致了大量同质化模板的出现和滥用，高度重复的模板在搜索引擎中形成冗余，且模板文件常与生成文件高度相似，易造成雷同内容。因此，应该屏蔽模板目录，通常模板目录是：templets。

3) CSS、JS目录的屏蔽
CSS目录文件对搜索引擎没有用处，也无法提供有价值的信息。因此，建议在Robots.txt文件中屏蔽CSS目录，以提高搜索引擎的索引质量。CSS样式的目录通常是：CSS 或者 style。
JS文件在搜索引擎中无法识别，也可以对其进行屏蔽，这样做可以为搜索引擎提供一个简洁明了的索引环境。

4) 屏蔽双页面的内容
以DEDECMS为例，静态和动态URL可以访问同一篇内容。如果生成全站静态，必须屏蔽动态地址的URL链接。这样做有两个好处：1、搜索引擎对静态URL更友好、更容易收录；2、防止静态、动态URL访问同一篇文章而被搜索引擎判为重复内容。

5) 模板缓存目录
许多CMS程序都有缓存目录，可以有效提升网站访问速度，减少带宽，改善用户体验。但缓存目录会让搜索引擎进行重复抓取，这对网站有害无益。因此，必须引起重视。

6) 被删除的目录
死链过多对SEO是致命的。在网站发展过程中，目录的删除和调整不可避免。如果当前目录不存在了，必须对此目录进行robots屏蔽，并返回正确的404错误页面。

关于网站后台管理目录是否需要屏蔽的问题存在争议。在能保证网站安全的情况下，如果网站运营规模较小，就算网站管理目录出现在robots.txt文件中，也没有多大问题。但如果网站运营规模较大，竞争激烈，强烈建议不要出现任何后台管理目录的信息。

最后，很多站长喜欢把站点地图地址放在robots.txt文件中。这并不是去屏蔽搜索引擎，而是让搜索引擎在第一次索引网站时通过站点地图快速抓取内容。需要注意的是：
1、站点地图的制作一定要规范；
2、网站一定要有高质量的内容。

User-agent: *
Disallow: /images/
Disallow: /templets/
Disallow: /css/
Disallow: /js/
Disallow: /data/
Disallow: /plus/
Disallow: /member/