教你如何使用robots.txt

博客建设也有3个星期了吧!好像还没多少内容,昨天冲冲的把博客提交给了各大所搜引擎.如果你个博客”老鸟”,那么你就别看这个文章了,我想你应该了解如何使用robots.txt,但是像我新作博客,为了更好的优化,做好搜索引擎优化,考虑一下哪些内容可以被用户搜得到，而哪些则不应该被搜得到.这样的话，通过合理地使用robots.txt, 搜索引擎在把用户带到您网站的同时，又能保证隐私信息不被收录。建个robots.txt还是非常必要的.

如何放置Robots.txt文件

robots.txt自身是一个文本文件。它必须位于域名的根目录中并 被命名为”robots.txt”。位于子目录中的 robots.txt 文件无效，因为漫游器只在域名的根目录中查找此文件。例如，http://www.loveblogearn.com/robots.txt 是有效位置，http://www.loveblogearn.com/mysite/robots.txt 则不是。
这里举一个robots.txt的例子:

User-agent: *Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~loveblog/
使用 robots.txt 文件拦截或删除整个网站
要从搜索引擎中删除您的网站，并防止所有漫游器在以后抓取您的网站，请将以下 robots.txt 文件放入您服务器的根目录：

User-agent: *Disallow: /
要只从 Google 中删除您的网站，并只是防止 Googlebot 将来抓取您的网站，请将以下 robots.txt 文件放入您服务器的根目录：
User-agent: GooglebotDisallow: /
每个端口都应有自己的 robots.txt 文件。尤其是您通过 http 和 https 托管内容的时候，这些协议都需要有各自的 robots.txt 文件。例如，要让 Googlebot 只为所有的 http 网页而不为 https 网页编制索引，应使用下面的 robots.txt 文件。

对于 http 协议 (http://yourserver.com/robots.txt):

User-agent: *Allow: /
对于 https 协议 (https://yourserver.com/robots.txt):

User-agent: *Disallow: /
使用 robots.txt 文件拦截或删除网页

您可以使用 robots.txt 文件来阻止 Googlebot 抓取您网站上的网页。 例如，如果您正在手动创建 robots.txt 文件以阻止 Googlebot 抓取某一特定目录下（例如，private）的所有网页，可使用以下 robots.txt 条目：

User-agent: GooglebotDisallow: /private
要阻止 Googlebot 抓取特定文件类型（例如，.gif）的所有文件，可使用以下 robots.txt 条目：
User-agent: GooglebotDisallow: /*.gif$
要阻止 Googlebot 抓取所有包含 ? 的网址（具体地说，这种网址以您的域名开头，后接任意字符串，然后是问号，而后又是任意字符串），可使用以下条目：
User-agent: GooglebotDisallow: /*?
尽管我们不抓取被 robots.txt 拦截的网页内容或为其编制索引，但如果我们在网络上的其他网页中发现这些内容，我们仍然会抓取其网址并编制索引。因此，网页网址及其他公开的信息，例如指 向该网站的链接中的定位文字，有可能会出现在 Google 搜索结果中。不过，您网页上的内容不会被抓取、编制索引和显示。当然我们还可以使用All in One SEO 插件里的设置,进行一些必要的禁止搜索.

作为网站管理员工具的一部分，Google提供了robots.txt分析工具.它可以按照 Googlebot 读取 robots.txt 文件的相同方式读取该文件，并且可为 Google user-agents（如 Googlebot）提供结果。

以上部分笔者稍作修改,原文查看:如何使用robots.txt 。

Subscribe to  LoveBlogEarn Receive (Blogging tips and Marketing news )!