郝聪SEO博客：SEO顾问咨询服务公司

我们知道，搜索引擎都有自己的“搜索机器人”（ROBOTS），并通过这些ROBOTS在网络上沿着网页上的链接（一般是http和src链接）不断抓取资料建立自己的数据库。

对于网站管理者和内容提供者来说，有时候会有一些站点内容，不希望被ROBOTS抓取而公开。为了解决这个问题，ROBOTS开发界提供了两个办法：一个是robots.txt，另一个是TheRobotsMETA标签。

注意：robots.txt写法是否正确对搜索引擎抓取网站至关重要，我们尽量按照标准的格式写语句，否则出现的错误可能会导致搜索引擎不能正常爬行站点；我们可以通过google sitemap中的robots.txt检测工具来检查网站上是否存在robots.txt文件以及该文件写法是否正确

昨天，搜索引擎巨头Ｇｏｏｇｌｅ所拥有的域名被外电曝光，这家以搜索为主要业务的全球闻名的网站手中，竟然握有500多个域名。记者发现，有趣的是其中有很多“无厘头”域名似乎和这家公司无关，但还有一些域名，却泄露出Ｇｏｏｇｌｅ未来可能涉足的领域，这些可能的领域包括浏览器和加速器等。

在分析该SEO案例之前，先将总结出的结论写出来，我想这样能便于大家理解该案例所体现的SEO技术点，同时希望我的个人结论分析能帮助大家建立一个正确的SEO思想，毕竟，SEO思想深刻影响着SEO的技术层面。

GOOGLE一直是人们关注的焦点,最近被媒体炒得沸沸扬扬的一则新闻是关于澳大利亚博士生Ori Allon由于提出新的搜索算法被GOOGLE征用的消息,换个时髦的说法,就是allon此刻已经象他的前辈们一样中断学业(盖茨啦,GOOGLE的两个创始人了,YAHOO的两个创始人,数不胜数,事实再一次无情地证明了在读博士的三条出路:毕业,退学以及跳楼之中,退学是含金量最高的选择,在此奉劝各位在读的博士只争朝夕地时不我待地赶紧办理退学手续,否则一切都迟了J),此刻摇身一变为”加利福尼亚男孩”正坐在GOOGLE的办公室里开始了饲养员这个比读博士更有前途的事业,在养他的宠物狗的间隙抽出点时间继续完善他的新算法J;当然,Allon所在的澳大利亚南威尔士大学也因此发了比小财(也许这则消息对于国内的大学和研究所有所启示,看看别人是怎么通过创新达到收支平衡并略有节余的,这说明我们的导师们除了靠做黄世仁剥削长工外还有其它的致富之路J)并因此而奉行”打死也不说”的大无革命畏精神告诉各路媒体”除了俺们拿了点知识产权小费(实际是GOOGLE的封口费J)并且allon已经离开”外三缄其口,出于好奇心,我十分非常特别迫切想知道这是怎样一个”岗岗地”算法(正在看这篇文章的你不也是这.这.这…这样么?),俗话说得好,除了春梦了无痕外,凡走过必留痕迹,用GOOGLE搜索,可是搜遍互联网找不到任何allon发表过的论文,allon的导师的个人主页倒是找到了,可是看不出哪篇论文是跟搜索或者应用相关的,有关allon本人的唯一线索是他的博士课题(http://www.cse.unsw.edu.au/db/staff/info/oria.html)

相信不少站长都听说过站长世界webmasterworld.com（也有的是翻为网管世界）这个论坛。这是世界上最著名的站长们聚集的地方，谈论各种与网站有关的话题，包括SEO，网络营销，网站建设的技术问题，电子商务等等。

站长世界的创始人Brett Tabke，是搜索引擎优化领域里教皇级的人物。据说他以前是经常使用和实验各种作弊手段的人物，当然他现在已经改邪归正了，至少表面上看起来如此。

近些年，他在站长世界里的帖子并不是很多，而且都非常简短。但无论他帖什么，往往都被追捧。因为他所管理的网站涉及面之宽，他本人所亲身认识的各个搜索引擎和各大电子商务公司的高层人物之多，以及他在网络世界里的权威地位之高，使他的话不得不被重视。

众所周知，对所有的搜索引擎来说，高质量的导入链接是搜索引擎排名的最重要因素之一。  è™½ç„¶é“¾æŽ¥çš„因素是由Google首先发明的基于网页级别的算法，但链接所包含的因素和价值，比网页级别要宽广很多。  å‰é¢è®²è¿‡ï¼Œå‹æƒ…链接和交换链接的价值不是很高。这其实是满传统的建立链接的方法。  åœ¨ä½ èŽ·å¾—了一定的排名之后，其他人可以找到你的网站。这时候你应该尽最大的努力，吸引自发性的反向链接。也就是其他站长因为喜欢你的网站而链接到你，无须你链接回去。

当你在Google中做任何一个关键词搜索后，在Google给出的搜索结果当中，你还会看到“网页快照”（Cached）和“类似网页”（Similar pages）两个选择。

网页快照就是存在Google数据库中的所列网页的文字内容，也就是上一次Google蜘蛛所抓取的网页内容。

类似网页指的是什么呢？到目前为止，Google并没有解释类似网页是怎么得到的。有很多人做了一定的研究发现，类似网页通常和链接及网站主题有关。

Google网站地图(Google Sitemap)是Google提供给网站管理员的一个工具，来提高网站被收录的网页数目。

一般来说，搜索引擎蜘蛛会跟着链接爬行到你网站的所有网页。但很多时候，由于种种原因，并不是所有网页都能被收录进搜索引擎数据库。比如说，你的网站是数据库动态生成的，URL中带有参数，一些网页离主页太远，你的网站PR值太低，新的网页可能过很长时间才有机会被抓取等等。

今天在洪波的博客中看到一篇文章：超链分析和PageRank的专利问题，才第一次知道百度总裁李彦宏曾经申请并获得对于超链接分析的专利，我们姑且称之为超链分析专利。而这个专利申请是在Google申请他们自己的PageRank专利之前。

贴个与PR相关的东东. 是俺翻WMW论坛看到的. 简单翻译出来,供大家参考.原文http://www.webmasterworld.com/forum30/32957.htm

有个网友在dan的SEO论坛上发出该问题的求助。

---

在一个小站上放了Google的adsense广告，
会不会影响百度对这个站的收录？
会不会影响百度对这个站的排名？

另外，会不会使Google对这个站的收录有好的变化？
这个站在Google的排名是否有好的变化？

---

在Google搜索结果中除了列出网页的网页快照，类似网页以外，有时候Google还会把网页标志为补充材料。

到目前为止，Google并没有太多信息告诉大家补充材料是怎么定义的。在Google自己的网站管理员指南中所给的官方信息是这样写的：

补充网站是Google辅助索引的一部分。对辅助索引进行抓取的限制少于主要索引。例如，一个网址的参量可能使该网站无法被抓取到主要索引中，但仍可能被抓取到我们的补充索引里。

将网站包括其中的索引是完全自动的，没有任何方式可以选择或更改您网站的索引。请放心，包含网站的索引不会影响该网站的PageRank。

2006年3月16号，一位叫markus007的资深会员在站长世界论坛发了一个帖子，题目是：我是怎样在3个月之内赚了一百万。

因为站长世界不允许帖出任何网站的地址，在会员资料当中，markus007也 没有写上自己的网站。所以，虽然这个帖子掀起了很热烈的讨论，很多人却不知道他指的是哪一个网站。通过一些调查，我发现他叫Markus Frind，他的网站是Plenty Of Fish，这是一个提供免费交友服务的网站。现在有上百万个的会员，每天的页面浏览量Pageview是一千四百万到一千五百万。

浏览一下他的网站，你可以发现，网站的设计其实很简单，甚至在很多人眼里可能有些过时。但重要的是，他的网站吸引了大量的访客。而他所提供的服务是完全免费的。网站收入的唯一来源是Google Adsense，Adsense广告如下：

他自己讲，他在最近的3个月里的广告收入达到了一百万美金。换算一下，也就是每天要在一万美金以上。这对一个提供免费服务的网站来说，是相当难得的。

在后续的跟帖当中，他也提到他的网站运行在四架服务器上，只有他一个人管理所有的事项。相比之下，其他和他有差不多数量会员的交友网站没有一个能像他这样低成本运行。那些交友网站大部分都是收费的，没有一个能用少于100架服务器来运行。

在他的帖子里，他给所有Adsense使用者提了几项建议：

1）要分析访客的IP地址。通过访客的IP地址，来分析他来自于哪个国家和地区。因为很多时候，美国的一个访客点击一个广告，可能会给你带来5美金的广告收入。但是其他地方的访客有可能只有2毛钱的收入。

2） 你必须建立一个能吸引回头客的网站。他的建议是：不要幻想能通过搜索引擎优化本身来致富。但是如果你建立的是一个免费的找工作的网站，你却可能一年赚个3 千万。其他像俱乐部会员，免费交友等等，这类网站都有可能赚大钱。寻找一个已成熟的市场，给这个市场提供一个免费的服务，然后卖广告。

3）让你的用户和访客来生成网站内容。比如让他们写一些例如夜总会的，旅馆的或是高尔夫球场的评论。

4）不要进入一个太多人已经在用Adsense的市场。最好是能创造一个你自己的市场。

5）网站必须非常简单，必须速度快。一页最多两个广告，最多一到两张图片。不要让你的访客晕头转向，不知所措。

6）到其他论坛里去转转。如果人们没有在谈论你的目标市场，那么你有很大的机会在这个市场里赚钱。

几天之内，他的这个帖子成了站长世界最热闹的帖子之一，而且上面的建议的确值得深思。

　　还记得Google的"大爸爸"--bigdaddy吗？这是Google的新数据中心，并且已经于几个星期前正式进入升级状态中。升级完成后，Google将会全面启用bigdaddy作为主要数据中心有消息指现在的bigdaddy升级进度约为50%，也就是说，现在开始，你在Google上面搜索同一个内容或者同一个网站，得到的结果可能会和以前很不一样。大家可以通过下面各种IP来访问Google的各个数据中心（部份，非完整）
：

ID 　IP地址 　　　　　 新/旧 　　　　　　　位置
OD 64.233.161.104 　　Old 　　　　Mt. View, California
RN 64.233.171.104 　　Old 　　　　Mt. View, California
HS 64.233.179.104 　　Old(BD) 　　　　Mt. View, California
__ 64.233.189.104 　　Old 　　　　中国香港*
__ 66.249.93.104 　　old (!) 　　Paris, Illinois *
VA 216.239.37.104 　　old 　　　　Herndon, Virginia
DC 216.239.39.104 　　old 　　　　Washington, DC
CW 216.239.57.104 　　old 　　　　Palo Alto, California
PY 64.233.167.104 　　Big Daddy 　Mt. View, California
MC 66.102.7.104 　　　Big Daddy 　Santa Clara, California
__ 66.249.87.104 　　Big Daddy 　　Munich, Germany *
LM 66.102.9.104 　　　Big Daddy 　　Dublin, ireland
KR 66.102.11.104 　　Big Daddy 　　Dublin, Ireland
__ 72.14.207.104 　　Big Daddy 　　Mt. View, California
IN 216.239.53.104 　　Big Daddy 　　Santa Clara, California
GV 216.239.59.104 　　Big Daddy 　　Dublin, Ireland
__ 216.239.63.104 　　Big Daddy 　　Mt. View, California


　　通过上面各个IP访问Google，得出的搜索结果可能都不同。而注有Big Daddy的就是Google正在转移到的新数据中心，大家可以重点测试一下这些IP，看看未来的Google有什么变化。

　　2月21日补充：上表结果仅供参考。其中64.233.179.104也是bigdaddy的IP.