大约有 9 项符合查询结果。（搜索耗时：0.0141秒）

剖析robots.txt文件中应该屏蔽哪些目录

一个合格的网站，必须在根目录下包含一下robots.txt文件，这个文件的作用对所有运营网站的朋友来说并不陌生，网上也提供了很多制作robots.txt文件的方法和软件，可谓相当方

2013-07-01 18:24:18

一个站长的robots.txt痛苦经历

今天来说一个大家十分熟悉的东西robot文件，相信大家对这个不陌生吧！但是我发现很多站长朋友们忘记了这个文件的重要性，而且在设置的时候很随意。这种理解是错误的。

2013-05-10 11:58:28

浅谈被忽略的SEO利器robots.txt

竹影清风做网站也有些年头了，应各位站长朋友的要求今天跟各位分享一点我的点滴经验。今天的话题重点是robots.txt。各位站长朋友可能比较少关注robots.txt，但善用robots.txt绝对对你的网站是有百益而无一害的。 声明：此文仅适合新手，老鸟请优雅地飘过。

2009-09-27 20:06:51

解析Robots.txt 协议标准

Robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单，但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容，或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。

2008-11-26 05:37:08

WordPress SEO 之 Robots.txt优化篇

由于链接的的指向，而导致网站内容重复，一直是网站SEO的大忌。不同的链接指向同一个网页，就会被搜索引擎判定为作弊。昨天提到的WordPress重定向插件，在一定意义上也是为了阻止重复内容。然而，由于WordPress的结构原因，往往就会发生网页内容重复的状况。例如：http:

2008-06-03 09:20:21

网站站长必须重视的robots.txt

网站治理者似乎对robots.txt并没有引起多大重视，应一些朋友之请求，今天想通过这篇文章来简单谈一下robots.txt的写作。 robots.txt基本介绍 robots.txt是一个

2008-04-06 11:51:57

robots.txt详细介绍

robots.txt基本介绍 robots.txt是一个纯文本文件，在这个文件中网站治理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。 当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，假如存在

2008-03-02 15:50:09

《Robots.txt 协议标准》介绍

近期有很多站长咨询，怎样正确设置robots.txt文件。为了解决广大站长朋友们的疑问，我们对《Robots.txt协议标准》进行了翻译，希望此篇译文能够帮助大家对robo

2008-03-02 10:01:19

51.com的robots.txt有错吗？

什么是robots.txt文件?搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。您可以在您的网站中创建一个纯文本文件robots.txt

2008-03-02 09:58:02