本类搜索:

网站排名和搜索引擎基本原则

2008-5-20 11:31:31 作者: allenjen 来源: 金龙网站设计工作室

[center]网站排名和搜索引擎基本原则[/center] 在搜索引擎的“远古”时代,搜索结果的排列只是以搜索引擎在数据库中找到匹配网页的先后次序排列,但人们很快意识到这种搜索根本是无效的。实际上用户在信息检索时,最关心的是如何在最短时间内找到想要的东西,因此对搜索引擎提出了更高的要求,即不仅限于简单返回数据库检索结果,还应该对这些结果进行再加工,判断哪些最符合用户搜索意图,然后优先排列最匹配的网页。这便是搜索引擎发挥作用的最基本原则——相关性原则,有人更是将之上升为搜索引擎的“第一定律”。 从搜索引擎登录角度上看,相关性原则对网站也意义非凡。我们总是想让自己的网站信息优先出现在搜索结果中,以便吸引更多的访问者,因此了解搜索引擎在网站排名方面的一些规则,对于我们登录搜索引擎并获得理想的排名会有相当大的帮助。 由于网页“相关性”是我们进行网页优化的最终目的,因此需要对其做进一步的探讨。 所谓相关性,就是指网站信息符合搜索条件的程度。搜索引擎在判断相关联性时,基本上是根据网页中关键词的“匹配/位置/频次”原则,就是说网站内容中的字词、词组或短语与用户输入的关键词越匹配,出现的次数越多,则该网站的关联程度越高,在搜索结果中排名也越靠前。 随着互联网规模的不断发展,搜索引擎技术也在不断完善。为了给用户提供更有价值的搜索服务,目前各引擎在原有相关性基础上,逐步在排名规则中引入了网站主题和受欢迎程度的概念,具体体现为:一个网站的内容主题越集中,相关的外部链接越多,网站获得的点击率越高,则排名会越靠前。 当然万变不离其宗,这一切还是要基于信息关联的基础上的。即使你的网站主题突出,很受访问者的欢迎,但如果内容与用户的搜索条件不符,你仍旧是无法获得好名次的。这一点不难理解。关键词不是仅限于单个的词,还应包括词组和短语。  我们知道,在搜索引擎中检索信息都是通过输入关键词来实现的。因此正如其名所示,关键词的确非常关键。它是整个网站登录过程中最基本,也是最重要的一步,是我们进行网页优化的基础,因此怎么强调其重要性都不过分。然而关键词的确定并非一件轻而易举的事,要考虑诸多因素,比如关键词必须与你的网站内容有关,词语间如何组合排列,是否符合搜索工具的要求,尽量避免采用热门关键词等等。所以说选择正确的关键词绝对是需要下一番工夫的。 那么如何才能找到最适合你的关键词呢?首先,要仔细揣摩你的潜在客户的心理,绞尽脑汁设想他们在查询与你有关的信息时最可能使用的关键词,并一一将这些词记录下来。不必担心列出的关键词会太多,相反你找到的关键词越多,用户覆盖面也越大,也就越有可能从中选出最佳的关键词。 我们经常听到这样的事例:一家公司的网站在搜索引擎上排在了前20名,业务量随之猛增到原来的10倍。而另一家公司排名同样也在前20位,可业务量前后却一点没变化。是什么造成了如此大的差异?原因很简单,就是前一家公司选择了正确的关键词,而后者在这方面则犯了致命的错误。这一事例说明,正确选择关键词对企业网站营销的成败是何等重要。 关键字选择技巧 [出自搜索引擎直通车] 一 选择相关的关键词 对一家企业来说,挑选的关键词当然必须与自己的产品或服务有关。不要听信那些靠毫不相干的热门关键词吸引更多访问量的宣传,那样做不仅不道德,而且毫无意义。试想一个查找“Monica Lewinsky”的人,会对你生产的酱油感兴趣吗?当然不。必须承认,有时这种作法的确能提高网站的访问量,但既然你目的是销售产品,不是提供免费的小道消息,那么靠这种作弊手段增加访问量又有何用呢? 二 选择具体的关键词 我们在挑选关键词时还有一点要注意,就是避免拿含义宽泛的一般性词语作为主打关键词,而是要根据你的业务或产品的种类,尽可能选取具体的词。比如一家销售木工机具的厂家,“Carpenter Tools”不是合适的关键词,“Chain Saws”则可能是明智的选择。 有人会问,既然“Carpenter Tools”是集合名词,涵盖了厂家所有的产品,为什么不用?我们不妨拿Carpenter Tools到Google一试,你会发现搜索结果居然在6位数以上(实际数字为189,000),也就是说你的竞争者有近 200,000个!想在这么多竞争者当中脱颖而出几乎是“不可能完成的任务”。相反,“Chain Saws”项下的搜索结果则少得多(69,800个),你有更多的机会排在竞争者的前面。三 选用较长的关键词 与查询信息时尽量使用单词原形态相反,在提交网站时我们最好使用单词的较长形态,如可以用“games”的时候,尽量不要选择“game”。因为在搜索引擎支持单词多形态或断词查询的情况下,选用“games”可以保证你的网页在以“games”和“game”搜索时,都能获得被检索的机会。四 别忘错拼的单词? 不少关于如何选择关键词的文章都特别提到单词的错误拼写,如“contemorary modern coffee tables”,提醒我们别忘将之纳入关键词选择之列。其理论是,有些单词经常被用户拼错,考虑到一般人不会以错别字作为自己的目标关键词,因此如果聪明的你发现了这一诀窍,以错拼单词优化你的网页,那么一旦遇到用户再以这个错别字进行搜索,你就会高高在上,昂然屹立于搜索结果的前列! 事实果真如此吗?首先我们还是来看看上述例子错在哪里吧。“contemorary”实为“contemporary”,虽为一个字母之差,但从关键词角度两者则相去甚远了。奇怪的是根据关键词监测统计报告,“contemorary”在两个月内出现次数达66次之多!那么我们赶快将它列入关键词清单吗?且慢。我们先分析一下有谁会经常写错别字吧。是受过良好教育的正规商家吗?可能性不大,毕竟“contemporary”不是艰涩的拉丁文借用词嘛。看来象是某些粗心大意的丈夫或勤俭持家的主妇嫌疑比较大。凭心而论,他们会是你珍贵的客源,但不大可能成为你理想的商业合作伙伴。 反过来,如果一个潜在的客户偶然手误拼错了单词,却赫然发现你的网站出现在眼前,而且那个错别字被多次显著地以粗体字显示,他会做何反应?他会象发现金矿一样欣喜若狂?还是在心里对这家企业的素质产生一丝疑问?他会认为一个连基本文法都掌握不好的厂家,其实力实在值得怀疑。所以,错拼的关键词是个陷阱,采用时我们一定要三思。 而且,目前一些搜索引擎(如Google)都增加了自动拼写检查功能,当用户输入错别字时,系统会自动提供正确的词语选择。当用户意识到自己出错时,大部分都倾向于按提示的正确关键词进行搜索。所以现阶段来看,以错拼单词优化网页已基本上失去了意义。 网站优化基本概念 [出自搜索引擎直通车] 一 寻找关键词技巧 作为网站拥有者,你当然是最了解自己企业情况的人,所以你总是能找到最能反映自身业务特点的关键词。但单靠自己的努力有时难免会有些遗漏,这时你不妨来到搜索引擎上,找到竞争对手的网站,看看他们使用的是哪些关键词,你也许会从中得到一些启发的。此外,借助一些关键词自动分析软件,可以迅速地从你的或你竞争对手的网页中提取适合的关键词,使你的工作效率成倍地提高,我们可以借助这些软件找到许多以前不曾考虑到的关键词,从而大幅扩充我们的关键词列表。二 停用词/过滤词(Stop Words/Filter Words) 这两者意义一样,都是指一些太常用以至没有任何检索价值的单词,比如“a”、“the”、“and”、“of”、“web”、“home page”等等。搜索引擎碰到这些词时一般都会过滤掉。因此为节省空间,应尽量避免使用这一类的词,尤其是在对文字数量有严格限制的地方。(如想验证上述规则,你可以试着在搜索引擎中以“stay the night”查询。你会发现结果中单词“the”虽与搜索条件匹配,但并未以粗体字显示,说明它被忽略掉了。)三 把关键词重复1000次 既然关键词出现频次是决定网站排名的重要因素,我们何不将它重复个1000次,这样不是即简单又有效吗?打住。殊不知这可是搜索引擎“石器时代”的做法,在当时的确奏效,现在则早已被搜索引擎所摒弃。  那时典型的做法是:“关键词,关键词,关键词......”。重复次数越多,网站排位越靠前。于是登录搜索引擎变成了一场无休止的关键词重复大赛。你重复500次不算多,我来600次,而将关键词重复上千次的也不乏其人。搜索引擎很快意识到了这种做法的危害性,忍无可忍之际终于站出来,警告那些事情做过了头的网站,如果继续执迷不悟,不仅达不到目的,还有可能被处极刑——永远将你的网站拒之门外! 所以不要刻意过分重复某个关键词,尤其不要在同一行连续使用某个关键词2次以上。在使用关键词时,要尽量做到自然流畅,符合基本的文法规则。 所谓网站优化,是指迎合搜索引擎的网站排名规则进行网站的规划,网页的设计,以确保网站能在搜索引擎上获得较好的排名,让更多的潜在客户能够很快地找到你,从而求得网络营销效果的最大化。 四 关键词的使用  我们寻找关键词的目的就是为了要将它们用在网页中。看了前面有关搜索引擎工作原理以及网页排名规则的介绍,你也许还记得搜索引擎是如何对用户的查询作出反应的。它首先以输入的关键词为搜索条件,在其数据库中检索包含该关键词的网页,然后按照“匹配/位置/频次”原则返回网站排名搜索结果。 所以为了让你的网页出现在以事先确定的关键词为条件的搜索结果中,你就必须在网页中使用关键词。放置关键词的地方包括:标题、META标签、网页正文、ALT标签等等。但有一点要注意,不要过分重复某单个的关键词(spam),而且也不能象在META关键词标签中那样简单地排列关键词(也是spam),而是应该遵循必要的语法规则,形成自然流畅的语句,让访问者看起来觉得很舒服,同时还要顾及对顾客是否具有足够的吸引力。总之牢记一个原则:对访问者有吸引力和价值的内容,搜索引擎也不会熟视无睹。 确实,这项工作不容易,但只要我们肯下工夫,将思维发挥到极致,就一定会得到满意的结果。 网页设计注意事项: [出自搜索引擎直通车] 一 网站主题规划 注意不要让你的网站主题过于分散。因为网站主题越集中,一般情况下网站所有者在这方面投入的精力会更多,因此所提供信息的质量也会越高。我们知道,搜索引擎一直致力于向用户提供高质量的信息搜索服务,所以它会将那些提供有价值信息的网站排名提前,优先返回给用户。 如果网站内容覆盖范围很广,而且确实又需要保留众多的主题,这种情况下怎么办?还是同样的原则,只要你将网站信息分门别类进行合理的组织,自然就会形成一个个相对集中的主题,那么搜索引擎自然会给你一个靠前的网站排名。 二、 丰富网站内容与网站受欢迎程度 这两者是相辅相成的,有着丰富内容的网站通常也会受访问者的欢迎。请注意这里的内容丰富并不是指内容的繁杂,而是指内容的深度。 搜索引擎在排名网站时,不仅要看网页的信息相关度,同时也会考虑网站的声望如何,比如外部链接有多少,网页的点击率有多高等等。因此一个内容充实的网站肯定会排在内容贫乏的网站前面。 由于不同的搜索引擎在网页支持方面存在差异,因此在设计网页时不要只注意外观漂亮,许多平常设计网页时常用到的元素到了搜索引擎那里会产生问题。 三 框架结构(Frame Sets) 有些搜索引擎(如FAST)是不支持框架结构的,他们的“蜘蛛”程序无法阅读这样的网页。四 图象区块(Image Maps) 除AltaVista、Google和Northern Light(现已停止公共搜索服务)明确支持图像区块链接外,其他引擎是不支持它的。当“蜘蛛”程序遇到这种结构时,往往会感到茫然不知所措。因此尽量不要设置Image Map链接。五、 特效链接 我们经常看到有些网站为导航链接加上了特效,如点击某个项目会展开下层链接等。这些效果一般通过Java Script实现,视觉上非常新颖,但在“蜘蛛”程序的眼里则没那么诱人,相反它无法解读这种链接。为了让搜索引擎顺利检索到你的网页,建议还是牺牲掉一些花哨的东西。六 FLASH  虽然FLASH制作的网页视觉效果较好,但搜索引擎对此却不太感冒,个案表明这一类的网站很难被百度搜索引擎索引。明智的做法是提供FLASH和非FLASH网页两种选择,这样即增加了网页的观赏性,又照顾到了搜索引擎的情绪。七 动态网页(Dynamic Pages) 任何地址中带“?”号、“&”号(及其他类似符号)的网页都会把“蜘蛛”程序挡在门外。这些网页通常由CGI、PHP、ASP等程序产生,技术上较先进,但不适合搜索引擎的“蜘蛛”程序。虽然目前有的大型搜索引擎(如Google)已具备检索动态网页的能力,但相当一部分数引擎还是不支持它的。而且即使是能够索引动态网页的Google,也在多个场合中明确表示不保证检索全部的动态网页 因此,除非是超大型网站,为方便起见不得不采用动态网页生成技术,否则还是尽量使用静态网页为好。 网页优化作弊行为 [出自搜索引擎直通车] 一 加密网页 除非你不希望搜索引擎检索你的网页,否则不要给你的网页加密。二 网页容量 包括图像在内的网页字节数最好不要超过50K。体型庞大的网页下载速度慢,不仅会让普通访问者等得心急如焚,有时也会使“蜘蛛”程序感到不耐烦。三 独立域名与付费虚拟主机 目前搜索引擎都不愿收录位于免费主页空间上的网站。其理由是,既然你认为自己的网站如此重要,以至于需要登录搜索引擎让天下人都知道,那么你没有理由还将它放在免费服务器上。更何况免费主页通常速度较慢,会影响大家搜索信息的效率。 当然凡事都有例外,如果你的网站确实优秀,也有可能被搜索引擎接受,不过在条件相当的情况下,你的排名会永远跟在那些拥有独立域名的网站后面。四 提交网站还是网页 提交你的网页,而不是你的网站——以前的确如此,而今情况则完全不同。现在几乎所有搜索引擎在网站登录页面都明确提示只需提交主页域名,如:http://www.mysite.com/(不必提交主页URL,如:http://www.mysite.com/index.html或default.html)。  在过去,搜索引擎跟踪网站内部链接的程度不一样,有的可以跟踪所有的链接,有的则止于第二或第三层,所以当时单独提交网页是必要的。网站首页属于第一层链接,首页上的链接指向的网页为第二层,如果在第二层页面上还有指向下级网页的链接,则被该链接引导的页面为第三层,依次类推。 现在所有搜索引擎都能访问网站的全部页面,不管它隐藏多深。即便如此,搜索引擎在索引网页时还是有先后次序的,所以将你认为重要的页面置于靠上的链接层是个好主意。五 提交网页的数量 过去搜索引擎免费时代,为减轻负载一些引擎设置了网页提交数量限制。比如有的规定来自同一网站的网页总数不能超过30个;在同一天当中,向单个搜索引擎提交的网页数量最好不要超过5个等等。而现在由于搜索引擎都不鼓励单个网页提交(收费服务除外),因此你网页被索引的数量完全要看各个引擎的情绪。当然对目录索引来说,你一次只能提交一个网站或网页。六 重复提交网站 以前在需要重复提交URL的问题上,目录索引与搜索引擎是不同的。登录目录索引基本上是“一锤子买卖”,你用不着针对同一分类目录重复提交你的网页,而且目录索引也不允许。而搜索引擎则不反对重复提交网页,而且为维持搜索引擎排名,有时重复提交也是很有必要的。 然而随着搜索技术的发展,现在这种做法已显得过时。现在的情况是,只要你的网站进入搜索引擎数据库,搜索引擎就会定期扫描你的网站并更新数据库中相应的记录。 有一点需要提醒大家,虽然搜索引擎(如Google)并未完全禁止重复提交,但重复提交并不能加快你网站被索引或更新的速度,而且频繁骚扰也会让所有人都反感。因此这里的建议是,如果你的网站已上了搜索引擎,就不要自找麻烦再去提交。如果你的网站未被收录,我们不完全否定主动提交网址的作用,但在重复提交时要讲究风度,时间间隔最好为一个月。对现在的搜索引擎来说,最好的登录方法是通过建立更多的外部链接,让搜索引擎有更多的机会找到你——这是现阶段搜索引擎们所一再鼓吹的。七 网站访问速度 在搜索引擎登录中,我们常忽略了网站访问速度的问题,实际上有时它对网站成功提交和排名都会产生相当大的影响。如果服务器响应速度过慢,轻则会降低你的网站排名和更新频率,重则会导致链接被搜索引擎从其数据库中摘除。如果因为这些最基本的问题影响了我们网站推广的效果,那就太得不偿失了。 搜索引擎第三定律 [出自搜索引擎直通车] 搜索引擎走到今天,已经是一个结束过去,开辟未来的时候了。为了说清楚我所讲的第三定律,我们先来回顾一下第一和第二定律。 ■ 第一定律 相关性定律 听起来象是一篇学术论文,的确,就连第一,第二定律的提法以前也没有过,但是第一,第二定律的内容确早已在业界和学术界得到了公认。其实这第一定律是早在互联网出现之前就被学术界广泛研究过的,那就是所谓的相关性定律。这个领域那时叫情报检索,或信息检索,也有叫全文检索的。  那时的相关性都是基于词频统计的,也就是说,当用户输入检索词时,搜索引擎去找那些检索词在文章(网页)中出现频率较高的,位置较重要的,再加上一些对检索词本身常用程度的加权,最后排出一个结果来(检索结果页面) 。早期的搜索引擎结果排序都是基于本文的第一定律的,如Infoseek,Excite,Lycos等,它们基本上是沿用了网络时代之前学术界的研究成果,工业界的主要精力放在处理大访问量和大数据量上,对相关性排序没有突破。 词频统计其实根本没有利用任何跟网络有关的特性,是前网络时代的技术。然而,网络时代的主要文献是以网页的形式存在的,而几乎每个人都可以随心所欲地在网上发表各种内容,词频相同的两个网页,质量相差可以很远,可是按照搜索引擎的第一定律,对这两个网页的排序应该是一样的。为了能够派在某些检索结果的前几位,许多网页内容的制作者绞尽脑汁,在其页面上堆砌关键词,搜索引擎对此防不胜防,苦不堪言。这种情况到了 1996年开始有了改变。 ■ 第二定律 人气质量定律 1996年4月,我到赌城拉斯维加斯开一个有关信息检索方面的学术会议,会议的内容就象拉斯维加斯的天气一样,照例比较枯燥乏味。但远离公司的我,却难得有一个静下心来认真思考问题的机会。就在听一个毫不相干的论文演讲的时候,我突然把科学引文索引的机制跟Web上的超级链接联系起来了 - 感谢北大,她在我上大三的时候就教授了我科学引文索引的机制,美国恐怕没有一所大学会在你本科的时候教这玩艺儿。 科学引文索引的机制,说白了就是谁的论文被引用次数多,谁就被认为是权威,论文就是好论文。这个思路移植到网上就是谁的网页被链接次数多,那个网页就被认为是质量高,人气旺。在加上相应的链接文字分析,就可以用在搜索结果的排序上了。这就引出了搜索引擎的第二定律:人气质量定律。根据这一定律,搜索结果的相关性排序,并不完全依赖于词频统计,而是更多地依赖于超链分析。 我意识到这是一个突破性的东西,回去以后就很快总结了思路,于96年6月申请了这一方面的美国专利。1999年 7月6号,美国专利和商标局批准了专利号为5,920,859的,以我为唯一发明人的专利。大约在96年底,斯坦福大学计算机系的两位研究生也想到了同样的解决方法,他们后来创立了一个叫Google的搜索引擎,Google的网站上至今仍然说他们的这项技术是Patent-pending (专利申请中) ,不知道美国专利局是不是还会再批这样的专利。Anyway, 超链分析的方法98年以后逐渐被各大搜索引擎所接受,由于链接是网络内容的一个根本特性,这时候的搜索引擎才开始真正利用网络时代的检索技术。世事难料,2000年起网络泡沫迅速破灭,各大搜索引擎要么遭人收购,要么推迟上市,所有使用人气质量定律的搜索引擎公司都未能幸免。那么,搜索引擎的出路到底在哪儿? ■ 第三定律 自信心定律 人气质量定律解决的还是一个技术层面的问题,然而搜索引擎从诞生的那一天起,从来就不是一个纯技术现像,它融合了技术,文化,市场等各个层面的因素。解决搜索引擎公司的生存和发展问题需要搜索引擎的第三定律--自信心定律。  1998年的时候,没有太多的人拿一家远在硅谷500英里以外,刚刚成立的,叫作GoTo.com(现已更名为Overture)的公司当回事儿。它不过是买了一个搜索引擎的技术服务,然后再向那些网站的拥有者们拍卖他们网站在GoTo检索结果中的排名,谁付的钱多,谁的网站就排在前面,而且付费是根据网民点击该网站的情况来计算的,仅仅在搜索结果中出现并不需要付费。这就是自信心定律的最早实践者!根据这一定律,搜索结果的相关性排序,除了词频统计和超链分析之外,更注重的是竞价拍卖。谁对自己的网站有信心,谁就排在前面。有信心的表现就是愿意为这个排名付钱。需要声明的是,自信心定律也是我自己给这一模式起的名字,以前的文献中并没有人这样总结过。  今天,在网络业一片萧条,那斯达克风声鹤唳的时候,GoTo却如日中天,市值高达13亿美金,收入高达雅虎总收入的35%。反观门户网站,有哪一个能从它们的搜索引擎服务中赚出总收入的三分之一呢?究其原因,就是因为GoTo最早实践了搜索引擎的自信心定律。以前的搜索引擎都是靠CPM来收费的,而CPM是从传统广告业借鉴过来的,没有考虑网络媒体即时性,交互性,易竞价的特点,而竞价排名,点击收费则是为网站拥有者直接提供销售线索,而不是传统意义上的广告宣传。自信心定律一改过去搜索引擎靠CPM收钱的尴尬局面,开创了真正属于互联网的收费模式。  在中国,百度一直致力于推动搜索引擎市场的培植和发展,现在,我们联合了各大门户网站的搜索引擎,一起通过百度的竞价排名系统来实践搜索引擎的第三定律,为数十万网站的拥有者提供一个展示自信心,吸引潜在客户,发现销售线索的平台。 搜索引擎技术及趋势 [出自搜索引擎直通车] 随着因特网的迅猛发展、WEB信息的增加,用户要在信息海洋里查找信息,就象大海捞针一样,搜索引擎技术恰好解决了这一难题(它可以为用户提供信息检索服务)。目前,搜索引擎技术正成为计算机工业界和学术界争相研究、开发的对象。  搜索引擎(Search Engine)是随着WEB信息的迅速增加,从1995年开始逐渐发展起来的技术。据发表在《科学》杂志1999年7月的文章《WEB信息的可访问性》估计,全球目前的网页超过8亿,有效数据超过9T,并且仍以每4个月翻一番的速度增长。用户要在如此浩瀚的信息海洋里寻找信息,必然会“大海捞针”无功而返。 搜索引擎正是为了解决这个“迷航”问题而出现的技术。搜索引擎以一定的策略在互联网中搜集、发现信息,对信息进行理解、提取、组织和处理,并为用户提供检索服务,从而起到信息导航的目的。搜索引擎提供的导航服务已经成为互联网上非常重要的网络服务,搜索引擎站点也被美誉为“网络门户”。搜索引擎技术因而成为计算机工业界和学术界争相研究、开发的对象。本文旨在对搜索引擎的关键技术进行简单的介绍,以起到抛砖引玉的作用。 一、分类 按照信息搜集方法和服务提供方式的不同,搜索引擎系统可以分为三大类:  1.目录式搜索引擎:以人工方式或半自动方式搜集信息,由编辑员查看信息之后,人工形成信息摘要,并将信息置于事先确定的分类框架中。信息大多面向网站,提供目录浏览服务和直接检索服务。该类搜索引擎因为加入了人的智能,所以信息准确、导航质量高,缺点是需要人工介入、维护量大、信息量少、信息更新不及时。这类搜索引擎的代表是:Yahoo、LookSmart、Open Directory、Go Guide等。  2.机器人搜索引擎:由一个称为蜘蛛(Spider)的机器人程序以某种策略自动地在互联网中搜集和发现信息,由索引器为搜集到的信息建立索引,由检索器根据用户的查询输入检索索引库,并将查询结果返回给用户。服务方式是面向网页的全文检索服务。该类搜索引擎的优点是信息量大、更新及时、毋需人工干预,缺点是返回信息过多,有很多无关信息,用户必须从结果中进行筛选。这类搜索引擎的代表是:AltaVista、Northern Light、Excite、Infoseek、Inktomi、FAST、Lycos、Google;国内代表为:“天网”、悠游、OpenFind等。  3.元搜索引擎:这类搜索引擎没有自己的数据,而是将用户的查询请求同时向多个搜索引擎递交,将返回的结果进行重复排除、重新排序等处理后,作为自己的结果返回给用户。服务方式为面向网页的全文检索。这类搜索引擎的优点是返回结果的信息量更大、更全,缺点是不能够充分使用所使用搜索引擎的功能,用户需要做更多的筛选。这类搜索引擎的代表是WebCrawler、InfoMarket等二、性能指标 我们可以将WEB信息的搜索看作一个信息检索问题,即在由WEB网页组成的文档库中检索出与用户查询相关的文档。所以我们可以用衡量传统信息检索系统的性能参数-召回率(Recall)和精度(Pricision)衡量一个搜索引擎的性能。 召回率是检索出的相关文档数和文档库中所有的相关文档数的比率,衡量的是检索系统(搜索引擎)的查全率;精度是检索出的相关文档数与检索出的文档总数的比率,衡量的是检索系统(搜索引擎)的查准率。对于一个检索系统来讲,召回率和精度不可能两全其美:召回率高时,精度低,精度高时,召回率低。所以常常用11种召回率下11种精度的平均值(即11点平均精度)来衡量一个检索系统的精度。对于搜索引擎系统来讲,因为没有一个搜索引擎系统能够搜集到所有的WEB网页,所以召回率很难计算。目前的搜索引擎系统都非常关心精度。   影响一个搜索引擎系统的性能有很多因素,最主要的是信息检索模型,包括文档和查询的表示方法、评价文档和用户查询相关性的匹配策略、查询结果的排序方法和用户进行相关度反馈的机制三、主要技术 一个搜索引擎由搜索器、索引器、检索器和用户接口等四个部分组成。 1.搜索器  搜索器的功能是在互联网中漫游,发现和搜集信息。它常常是一个计算机程序,日夜不停地运行。它要尽可能多、尽可能快地搜集各种类型的新信息,同时因为互联网上的信息更新很快,所以还要定期更新已经搜集过的旧信息,以避免死连接和无效连接。目前有两种搜集信息的策略:  从一个起始URL集合开始,顺着这些URL中的超链(Hyperlink),以宽度优先、深度优先或启发式方式循环地在互联网中发现信息。这些起始URL可以是任意的URL,但常常是一些非常流行、包含很多链接的站点(如Yahoo!)。  将Web空间按照域名、IP地址或国家域名划分,每个搜索器负责一个子空间的穷尽搜索。  搜索器搜集的信息类型多种多样,包括HTML、XML、Newsgroup文章、FTP文件、字处理文档、多媒体信息。  搜索器的实现常常用分布式、并行计算技术,以提高信息发现和更新的速度。商业搜索引擎的信息发现可以达到每天几百万网页。 2.索引器  索引器的功能是理解搜索器所搜索的信息,从中抽取出索引项,用于表示文档以及生成文档库的索引表。  索引项有客观索引项和内容索引项两种:客观项与文档的语意内容无关,如作者名、URL、更新时间、编码、长度、链接流行度(Link Popularity)等等;内容索引项是用来反映文档内容的,如关键词及其权重、短语、单字等等。内容索引项可以分为单索引项和多索引项(或称短语索引项)两种。单索引项对于英文来讲是英语单词,比较容易提取,因为单词之间有天然的分隔符(空格);对于中文等连续书写的语言,必须进行词语的切分。 在搜索引擎中,一般要给单索引项赋与一个权值,以表示该索引项对文档的区分度,同时用来计算查询结果的相关度。使用的方法一般有统计法、信息论法和概率法。短语索引项的提取方法有统计法、概率法和语言学法。 索引表一般使用某种形式的倒排表(Inversion List),即由索引项查找相应的文档。索引表也可能要记录索引项在文档中出现的位置,以便检索器计算索引项之间的相邻或接近关系(proximity)。  索引器可以使用集中式索引算法或分布式索引算法。当数据量很大时,必须实现即时索引(Instant Indexing),否则不能够跟上信息量急剧增加的速度。索引算法对索引器的性能(如大规模峰值查询时的响应速度)有很大的影响。一个搜索引擎的有效性在很大程度上取决于索引的质量 3.检索器   检索器的功能是根据用户的查询在索引库中快速检出文档,进行文档与查询的相关度评价,对将要输出的结果进行排序,并实现某种用户相关性反馈机制。  检索器常用的信息检索模型有集合理论模型、代数模型、概率模型和混合模型四种。 4.用户接口  用户接口的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。主要的目的是方便用户使用搜索引擎,高效率、多方式地从搜索引擎中得到有效、及时的信息。用户接口的设计和实现使用人机交互的理论和方法,以充分适应人类的思维习惯。  用户输入接口可以分为简单接口和复杂接口两种。  简单接口只提供用户输入查询串的文本框;复杂接口可以让用户对查询进行限制,如逻辑运算(与、或、非; 、-)、相近关系(相邻、NEAR)、域名范围(如.edu、.com)、出现位置(如标题、内容)、信息时间、长度等等。目前一些公司和机构正在考虑制定查询选项的标准。 四、未来动向  搜索引擎已成为一个新的研究、开发领域。因为它要用到信息检索、人工智能、计算机网络、分布式处理、数据库、数据挖掘、数字图书馆、自然语言处理等多领域的理论和技术,所以具有综合性和挑战性。又由于搜索引擎有大量的用户,有很好的经济价值,所以引起了世界各国计算机科学界和信息产业界的高度关注,目前的研究、开发十分活跃,并出现了很多值得注意的动向。 1.十分注意提高信息查询结果的精度,提高检索的有效性  用户在搜索引擎上进行信息查询时,并不十分关注返回结果的多少,而是看结果是否和自己的需求吻合。对于一个查询,传统的搜索引擎动辄返回几十万、几百万篇文档,用户不得不在结果中筛选。解决查询结果过多的现象目前出现了几种方法:一是通过各种方法获得用户没有在查询语句中表达出来的真正用途,包括使用智能代理跟踪用户检索行为,分析用户模型;使用相关度反馈机制,使用户告诉搜索引擎哪些文档和自己的需求相关(及其相关的程度),哪些不相关,通过多次交互逐步求精。二是用正文分类(Text Categorization)技术将结果分类,使用可视化技术显示分类结构,用户可以只浏览自己感兴趣的类别。三是进行站点类聚或内容类聚,减少信息的总量。 2.基于智能代理的信息过滤和个性化服务  信息智能代理是另外一种利用互联网信息的机制。它使用自动获得的领域模型(如Web知识、信息处理、与用户兴趣相关的信息资源、领域组织结构)、用户模型(如用户背景、兴趣、行为、风格)知识进行信息搜集、索引、过滤(包括兴趣过滤和不良信息过滤),并自动地将用户感兴趣的、对用户有用的信息提交给用户。智能代理具有不断学习、适应信息和用户兴趣动态变化的能力,从而提供个性化的服务。智能代理可以在用户端进行,也可以在服务器端运行。 3.采用分布式体系结构提高系统规模和性能  搜索引擎的实现可以采用集中式体系结构和分布式体系结构,两种方法各有千秋。但当系统规模到达一定程度(如网页数达到亿级)时,必然要采用某种分布式方法,以提高系统性能。搜索引擎的各个组成部分,除了用户接口之外,都可以进行分布:搜索器可以在多台机器上相互合作、相互分工进行信息发现,以提高信息发现和更新速度;索引器可以将索引分布在不同的机器上,以减小索引对机器的要求;检索器可以在不同的机器上进行文档的并行检索,以提高检索的速度和性能。 4.重视交叉语言检索的研究和开发  交叉语言信息检索是指用户用母语提交查询,搜索引擎在多种语言的数据库中进行信息检索,返回能够回答用户问题的所有语言的文档。如果再加上机器翻译,返回结果可以用母语显示。该技术目前还处于初步研究阶段,主要的困难在于语言之间在表达方式和语义对应上的不确定性。但对于经济全球化、互联网跨越国界的今天,无疑具有很重要的意义。 五、学术研究 目前搜索引擎领域的商业开发非常活跃,各大搜索引擎公司都在投巨资研制搜索引擎系统,同时也不断地涌现出新的具有鲜明特色的搜索引擎产品,搜索引擎已经成为信息领域的产业之一。在这种情况下,对搜索引擎技术相关领域的学术研究得到了大学和科研机构的重视。如Stanford大学在其数字图书馆项目中开发了Google搜索引擎,在Web信息的高效搜索、文档的相关度评价、大规模索引等方面作了深入的研究,取得了很好的成果。 NEC美国研究所的Steve Lawrence和C. Lee Giles 1998年和1999年连续两年在《自然》和《科学》杂志上撰文对搜索引擎技术的研究进行评述。著名的信息检索会议TREC也从1998年开始增加了Web Track课题,以考察Web文档与其它类型文档在检索性质上的不同之处,并将测试在大规模的Web库(如100G字节)上进行信息检索的算法性能。 由美国Infornotics公司主办的搜索引擎国际会议从1996年开始,每年举行一次,对搜索引擎技术进行总结、讨论和展望,参加者有著名的搜索引擎公司、大学和研究机构的学者,对搜索引擎技术起到了很好的推动作用。另外象IEEE主办的国际万维网会议、人机交互会议已有越来越多关于搜索引擎技术研究的文章发表。  国内先后有北京大学、清华大学、国家智能研究中心等高校和研究单位对搜索引擎技术开展研究,并开发出了几个较好的系统。如由北京大学计算机系网络研究室开发的“天网”中英文搜索引擎(http://pccms.pku.edu.cn:8000/gbindex.htm),在系统规模及系统性能方面达到了国外中型搜索引擎系统的技术水平,为国内用户提供了很好的互联网搜索服务,受到了用户的好评.
[在线编辑:allenjen][打印本页][收藏本页][关闭本页]
免责声明:本站刊载此文不代表同意其说法或描述,仅为提供更多信息,也不构成任何建议。对本文有异议,请联络本站!
转载要求:文章作者及来源信息必需保留。转载之图片、文件,链接请不要盗链到本站地址,且不准打上各自站点的水印。
本类最新
关于我们  |  广告服务  |  版权声明  |  支付方式  |  联系我们  |  建站流程  |  网站导航  |  加入收藏
网站合作、内容监督、商务咨询、投诉建议:13459049164

本站关键词:厦门网站建设,厦门网站设计,赣州网站建设,赣州网站设计,厦门网站建设工作室,厦门网站设计工作室
Copyright©2008-2009厦门金龙网站设计工作室(网站建设)版权所有
赣ICP备08000130号
赣ICP备08000130号