郝聪SEO博客：SEO顾问咨询服务公司

　　黑色梦中曾经在"搜索引擎蜘蛛及Robots详解"文章中讲解了几大主流搜索引擎的蜘蛛、Robots.txt文件以及RobotMeta标签的使用。我们知道：robots.txt 是一个标准文本文件档，意在阻止搜索引擎的Spider(或robots）从 Web 服务器下载某些或全部信息，控制Spider的搜索范围。引导搜索引擎只爬行网站重要的信息是非常必要的，而跳过隐私内容或者特殊程序，这样可以节省大量的带宽。

　　不过，在标准的robots.txt语法中，只可在 User-agent 项中使用通配符，即使用“*”来代表所有搜索引擎的robots，而在 Disallow 项中，则不能使用通配符以灵活配置robots.txt。

搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。但是，如果网站的某些信息不想被别人搜索到，可以创建一个纯文本文件robots.txt，放在网站根目录下。这样，搜索机器人会根据这个文件的内容，来确定哪些是允许搜寻的，哪些是不想被看到的。

有趣的是，这种特性往往用来作为参考资料，猜测网站又有什么新动向上马，而不想让别人知道。例如通过分析Google的robots.txt变化来预测Google将要推出何种服务。

我们知道，搜索引擎都有自己的“搜索机器人”（ROBOTS），并通过这些ROBOTS在网络上沿着网页上的链接（一般是http和src链接）不断抓取资料建立自己的数据库。

对于网站管理者和内容提供者来说，有时候会有一些站点内容，不希望被ROBOTS抓取而公开。为了解决这个问题，ROBOTS开发界提供了两个办法：一个是robots.txt，另一个是TheRobotsMETA标签。

注意：robots.txt写法是否正确对搜索引擎抓取网站至关重要，我们尽量按照标准的格式写语句，否则出现的错误可能会导致搜索引擎不能正常爬行站点；我们可以通过google sitemap中的robots.txt检测工具来检查网站上是否存在robots.txt文件以及该文件写法是否正确