杭州seo技术网
一个 seo爱好者的 博客 优化咨询QQ：706342796

如何书写SEO的robots.txt文件对于优化网站来说的话也是非常重要的，robots.txt可以你不想给搜索引擎爬行的文件夹及页面进行屏蔽掉，不让百度蜘蛛爬你指定的页面。让一些不该页面不让搜索引擎收录，比如：404页面。下面介绍下如何写我们网站的robots.txt

1. robots.txt看他的文件后缀名大家也可以了解到这个文件时以记事本的格式写的，右键创建一个记事本取名为“robots.txt”这边大家要注意的是这个个文件名是小写的英文字母，

2. 正式开始书写内容具体格式如下

User-agent：*

Disallow： /你不让蜘蛛爬的页面1

Disallow： /你不让蜘蛛爬的页面2

Disallow： /你不让蜘蛛爬的页面3

开头的“User-agent：*”中的星号代表允许搜索引擎收录内容包括：百度、google、雅虎等

下面的“Disallow： /你不让蜘蛛爬的页面3”Disallow表示想让搜索引擎收录“你不让蜘蛛爬的页面3”这个页面，

举个例子吧：比如我不想让搜索引擎收录404页面的话就在robots.txt书写

User-agent：*

Disallow： /404.html

保存之后上传到网站的目录下面。

指的一提的是robots.txt还可以删除你网站已经收录的页面，这个需要结合google站长管理工具来完成。（具体操作大家可以百度一下）

注意事项：有点一点大家要注意，不要平凡的修改你网站的robots.txt文件，很容让搜索引擎反感，更有可能降低你网站的权重，还有一般修改了robots.txt文件一般需要48小时后重新生效。

作者:杭州SEO修订1.1  2010-06-24
杭州网站优化,是SEO爱好者的交流平台。
本文杭州网站推广版权所有，未经批准转载必究。

作者: 杭州seo

该日志由 杭州seo 于2010年07月08日发表在seo技术分类下， 你可以发表评论，并在保留原文地址及作者的情况下引用到你的网站或博客。
转载请注明: 如何书写SEO的robots.txt文件 | 杭州seo技术网
标签: robots.txt