Google让搜索蜘蛛自动填表提交表单以抓取更多网页 晴

郝聪 , 2008/04/14 09:16 , 搜索引擎研究 , 评论(10) , 阅读(22873) , Via 本站原创 | |


更多



据国外媒体报道:美国搜索巨头谷歌公司最近开始在网页抓取蜘蛛中实施一项新技术:他们可以让蜘蛛自动填写某些网页中的表格,并且自动提交到服务器上,对反馈页面进行抓取,从而获取更多有关这个网站的详细信息。  

媒体分析认为,这将对网站的信息安全构成威胁。一般来说,表格(Form)是网站方面用来收集用户信息的一种方式。比如用户申请成为注册会员,需要提交相关的身份资料。表格将会把这些数据提交到服务器上,服务器上的网页将会给出下一步提示。

在过去,谷歌公司的蜘蛛机器人并不会填写表格,因为也无法知道下一步的提示网页内容。最近,谷歌公司对抓取系统进行了升级。机器人将会根据表格中各个项目的名字,自动填写数据提交给服务器,这样,服务器的反馈页面也将被机器人所抓取,谷歌将会获得这个网站的更多信息。

谷歌公司在一个博客中表示,他们会对这个功能采取谨慎态度。比如最开始,一些十分有用的网站才会采用自动填表的手段。另外,网站管理员可以在robots.txt文件中,对于是否允许谷歌提交表格作出规定,谷歌不会违反网站管理员的意愿。有搜索行业专家表示,谷歌公司的这一功能,将会对企业网站的信息安全构成威胁。

短评:

如果Google可以自动填表,那SNS站点天生的封闭性将不再是开展SEO的障碍,我们甚至可以主动为Google的蜘蛛提供一个account来使其可以顺利的抓取到Login之后的页面,进而解决由于站点封闭而致使优质内容无法通过搜索渠道传播的问题;可想而知,Google一旦启动实施该计划,将为SNS站点的SEOer带来福音。

相关日志
谷歌穿越搜索-谷歌官方愚人节玩笑
Google将在搜索结果排名算法中考虑来自Twitter、Quora等社会化网络社区的内容
桥页SEO:网站自我毁灭工具
《Google官方SEO入门指南》十四: 对网站管理员有用的资源(完)
《Google官方SEO入门指南》十三:充分利用网站分析工具
《Google官方SEO入门指南》十二:充分利用免费的网站管理员工具
《Google官方SEO入门指南》十一:以恰当的方式推广你的网站
《Google官方SEO入门指南》十:为链接添加nofollow属性
《Google官方SEO入门指南》九:有效使用robots.txt
《Google官方SEO入门指南》八:网页图片优化

最后编辑: 郝聪 编辑于2011/03/31 17:17
dj舞曲
2008/08/28 11:20
我的一个DJ舞曲站做了1年多了,现在GOOGLE收录了一千多页,可是百度只收了40多页.站点每天都有更新,我坚持不懈....
可是百度就是不喜欢我,唉!!!

麻烦帮我看看是怎么回事,我哪得罪百度了?

我的站点:http://www.dja5.com  QQ:8022105(望高手帮忙指点...)
绿色雨林 Email
2008/08/18 21:51
或许对SEO有更新的挑战噢!
身份
2008/07/26 22:36
不知道好像是刚听说www.yz135.cn
www.jingji-blog.cn
2008/07/10 23:28
蜘蛛似乎只能结网,还能填表呀http://www.jingji-blog.cn/grin
x
2008/07/08 13:21
angerthumbdownzan
角落
2008/06/16 17:07
作者实在太强了,佩服``````

溜溜网 www.665dy.cn
seosem
2008/04/25 15:46
真不知道到底是好是坏!
虚拟空间站 Email
2008/04/22 15:25
Google非常强大,我喜欢用。
seozy
2008/04/14 14:20
汗...不知道是喜是忧。..
黑色梦中 回复于 2008/04/14 16:06
喜忧参半
johnxuster Email
2008/04/14 13:51
GOOGLE又有新动向了啊~
分页: 1/1 第一页 1 最后页
发表评论

昵称

网址

电邮

打开HTML 打开UBB 打开表情 隐藏 记住我 [登入] [注册]