搜索引擎 发表评论(0) 编辑词条

搜索引擎（Search Engine）

　　搜索引擎是指根据一定的策略、运用特定的计算机程序搜集互联网上的信息，在对信息进行组织和处理后，为用户提供检索服务的系统。因特网上的信息浩瀚万千，而且毫无秩序，所有的信息象汪洋上的一个个小岛，网页链接是这些小岛之间纵横交错的桥梁，而搜索引擎，则为用户绘制一幅一目了然的信息地图，供用户随时查阅。

　　从使用者的角度看，搜索引擎提供一个包含搜索框的页面，在搜索框输入词语，通过浏览器提交给搜索引擎后，搜索引擎就会返回跟用户输入的内容相关的信息列表。

　　互联网发展早期，以雅虎为代表的网站分类目录查询非常流行。网站分类目录由人工整理维护，精选互联网上的优秀网站，并简要描述，分类放置到不同目录下。用户查询时，通过一层层的点击来查找自己想找的网站。也有人把这种基于目录的检索服务网站称为搜索引擎，但从严格意义上讲，它并不是搜索引擎。

　　1990年初当时万维网还未出现，为了查询散布在各个分散的主机中的文件，曾有过Archie、Gopher等搜索工具，随着互联网的迅速发展，基于HTTP访问的web技术的迅速普及，他们就不再能适应用户的需要。在1994年1月，第一个既可搜索又可浏览的分类目录EINet Galaxy（Tradewave Galaxy）上线，它还支持Gopher和Telnet搜索。同年4月，Yahoo目录诞生，随着访问量和收录链接数的增长，开始支持简单的数据库查询。这就是我们说的早期的目录导航系统，他们的缺点是网站收录/更新都要靠人工维护，所以在信息量剧增的条件下，就不是非常受用了。

　　1994年7月，Lycos推出了基于robot的数据发掘技术，并支持搜索结果相关性排序，并且他第一个开始在搜索结果中使用了网页自动摘要。Infoseek也是同时期的一个重要代表，他们是搜索引擎史上一个重要的进步。

　　1995年，一种新的搜索引擎工具出现了——元搜索引擎，第一个元搜索引擎是华盛顿大学的学生开发的Metacrawler。用户只需提交一次搜索请求，由元搜索引擎负责转换处理后提交给多个预先选定的独立搜索引擎，并将从各独立搜索引擎返回的所有查询结果，集中起来处理后再返回给用户。

　　1995年12月才登场亮相的AltaVista推出了大量的创新功能使它迅速到达当时搜索引擎的顶峰，它第一个支持自然语言搜索的搜索引擎，具备了基于网页内容分析，智能处理的能力，第一个实现高级搜索语法的搜索引擎（如AND、OR、NOT等），同时AltaVista还支持搜索新闻群组，搜索图片等具有划时代意义的功能。同时期还有inktomi、HotBot等搜索引擎。

　　1997年8月Northernlight公司正式推出搜索引擎，它第一个支持对搜索结果进行简单的自动分类，也是当时拥有最大数据库的搜索引擎之一。

　　1998年10月，Google（中文名谷歌）诞生。它是目前世界上最流行的搜索引擎之一，具备很多独特而且优秀的功能，并且在界面等实现了革命性创新。

　　1999年5月，Fast（Alltheweb）公司发布了自己的搜索引擎AllTheWeb，它的网页搜索可利用ODP自动分类，支持Flash和pdf搜索，支持多语言搜索，还提供新闻搜索、图像搜索、视频、MP3、和FTP搜索，拥有极其强大的高级搜索功能。它曾经是最流行的搜索引擎之一，后在2003年2月被Overture收购。

　　在中文搜索引擎领域，1996年8月成立的搜狐公司是最早参与作网络信息分类导航的网站，曾一度有“出门找地图，上网找搜狐的”美誉。由于其人工分类提交的局限性，随着网络信息的暴增，逐渐被基于robot自动抓取智能分类的新一代信息技术取代。

　　台湾中正大学吴升教授所领导的GAIS实验室1998年1月创立了Openfind中文搜索引擎,是最早开发的中文智能搜索引擎，采用GAIS实验室推出多元排序(PolyRankTM)核心技术，截止2002年6月，宣布累计抓取网页35亿，开始进入英文搜索领域。

　　北大天网是教育网最流行的搜索引擎，它由北大计算机系网络与分布式系统研究室开发，于1997年10月29日正式在CERNET上提供服务, 2000年初成立天网搜索引擎新课题组，由国家973重点基础研究发展规划项目基金资助开发，收录网页约6000万，利用教育网优势，有强大的ftp搜索功能。

　　百度中文搜索由超链分析专利发明人、前Infoseek资深工程师李彦宏和好友徐勇2000年1月创建，目前支持网页信息检索、图片、Flash、音乐等多媒体信息的检索。并且百度在中文领域第一个开始使用ppc经营模式。

　　2002年开始很多公司受搜索市场前景和Google神话的吸引，积极进入搜索引擎市场，谋求一席之地。但是不幸的是他们当中很多公司尤其是不少中国公司采用流氓手段进行自己搜索引擎的推广工作，常用的手段是浏览器劫持、恶意捆绑adware/spyware等等。中搜是由慧聪国际主持开发的，自称是搜索领域的后起之秀。目前处于起步阶段，但是采用流氓软件手段推广后，强占了不少用户的搜索引擎选择。2003年年底慧聪搜索改名为中国搜索，推出第三代智能搜索引擎。最近中国搜索主推桌面搜索——网络猪，是臭名昭著的流氓软件之一。

　　2003年11月，Yahoo全资收购3721公司。2005年8月，阿里巴巴和Yahoo达成战略合作，全资收购雅虎中国，并更名为阿里巴巴雅虎，并将其业务重点全面转向搜索领域。

　　2004年8月3日，搜狐公司推出中文搜索引擎搜狗。

　　2006年9月，微软公司正式推出了拥有自主研发技术的Live Search，宣布进军搜索引擎市场，挑战Google在网络搜索领域的霸主地位。

　　2006年12月，网易公司推出中文搜索引擎有道。

　　2008年5月，整合搜索引擎搜索岛诞生，融合百家之长，号称中国最好的(山寨)搜索引擎，搜索岛是一个面向用户的以整合中国各个垂直领域最好的搜索引擎建立的。从用户的角度，搜索岛的体验非常不错，故其得到了很多网友的喜爱。它的出现也是互联网开放性的一个体现，也给各大搜索引擎厂商一个启迪，就是一切为用户着想，要了解并满足用户真正的需要。

　　搜索引擎一般由搜索器、索引器、检索器和用户接口四个部分组成：

　　1、搜索器：其功能是在互联网中漫游，发现和搜集信息。

　　2、索引器：其功能是理解搜索器所搜索到的信息，从中抽取出索引项，用于表示文档以及生成文档库的索引表。

　　3、检索器：其功能是根据用户的查询在索引库中快速检索文档，进行相关度评价，对将要输出的结果排序，并能按用户的查询需求合理反馈信息。

　　4、用户接口：其作用是接纳用户查询、显示查询结果、提供个性化查询项。

　　搜索引擎的工作原理，大致可以分为：

　　1、搜集信息：搜索引擎的信息搜集基本都是自动的。搜索引擎利用称为网络蜘蛛的自动搜索机器人程序来连上每一个网页上的超连结。机器人程序根据网页链到其他中的超链接，就象日常生活中所说的“一传十，十传百……”一样，从少数几个网页开始，连到数据库上所有到其他网页的链接。理论上，若网页上有适当的超连结，机器人便可以遍历绝大部分网页。

　　2、整理信息：搜索引擎整理信息的过程称为“建立索引”。搜索引擎不仅要保存搜集起来的信息，还要将它们按照一定的规则进行编排。这样，搜索引擎根本不用重新翻查它所有保存的信息而迅速找到所要的资料。想象一下，如果信息是不按任何规则地随意堆放在搜索引擎的数据库中，那么它每次找资料都得把整个资料库完全翻查一遍，如此一来再快的计算机系统也没有用。

　　3、接受查询：用户向搜索引擎发出查询，搜索引擎接受查询并向用户返回资料。搜索引擎每时每刻都要接到来自大量用户的几乎是同时发出的查询，它按照每个用户的要求检查自己的索引，在极短时间内找到用户需要的资料，并返回给用户。目前，搜索引擎返回主要是以网页链接的形式提供的，这样通过这些链接，用户便能到达含有自己所需资料的网页。通常搜索引擎会在这些链接下提供一小段来自这些网页的摘要信息以帮助用户判断此网页是否含有自己需要的内容。

　　整理信息及接受查询的过程，大量应用了文本信息检索技术，并根据网络超文本的特点，引入了更多的信息。

　　1、全文索引

　　全文搜索引擎是名副其实的搜索引擎，国外代表有Google，国内则有著名的百度搜索。它们从互联网提取各个网站的信息（以网页文字为主），建立起数据库，并能检索与用户查询条件相匹配的记录，按一定的排列顺序返回结果。

　　根据搜索结果来源的不同，全文搜索引擎可分为两类，一类拥有自己的检索程序（Indexer），俗称“蜘蛛”（Spider）程序或“机器人”（Robot）程序，能自建网页数据库，搜索结果直接从自身的数据库中调用，上面提到的Google和百度就属于此类；另一类则是租用其他搜索引擎的数据库，并按自定的格式排列搜索结果，如Lycos搜索引擎。

　　2、目录索引

　　目录索引虽然有搜索功能，但严格意义上不能称为真正的搜索引擎，只是按目录分类的网站链接列表而已。用户完全可以按照分类目录找到所需要的信息，不依靠关键词（Keywords）进行查询。目录索引中最具代表性的莫过于大名鼎鼎的Yahoo、新浪分类目录搜索。

　　3、元搜索引擎

　　元搜索引擎（META Search Engine）接受用户查询请求后，同时在多个搜索引擎上搜索，并将结果返回给用户。著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等，中文元搜索引擎中具代表性的是搜星搜索引擎。在搜索结果排列方面，有的直接按来源排列搜索结果，如Dogpile；有的则按自定的规则将结果重新排列组合，如Vivisimo。

　　4、其他非主流搜索引擎形式

　　1）集合式搜索引擎：该搜索引擎类似元搜索引擎，区别在于它并非同时调用多个搜索引擎进行搜索，而是由用户从提供的若干搜索引擎中选择，如HotBot在2002年底推出的搜索引擎。

　　2）门户搜索引擎：AOL Search、MSN Search等虽然提供搜索服务，但自身既没有分类目录也没有网页数据库，其搜索结果完全来自其他搜索引擎。

　　3）免费链接列表（Free For All Links，简称FFA）：一般只简单地滚动链接条目，少部分有简单的分类目录，不过规模要比Yahoo！等目录索引小很多。

　　在搜索引擎发展早期，多是作为技术提供商为其他网站提供搜索服务，网站付钱给搜索引擎。后来，随着2001年互联网泡沫的破灭，大多转向为竞价排名方式。

　　现在搜索引擎的主流商务模式（百度的竞价排名、Google的AdWords）都是在搜索结果页面放置广告，通过用户的点击向广告主收费。这种模式最早是比尔·格罗斯（Bill Gross）提出的。他于1998年6月创立GoTo公司（后于2001年9月更名为Overture），实施这种模式，取得了很大的成功，并且申请了专利。这种模式有两个特点，一是点击付费（Pay Per Click），用户不点击则广告主不用付费。二是竞价排序，根据广告主的付费多少排列结果。2001年10月，Google推出AdWords，也采用点击付费和竞价的方式。2002年，Overture起诉Google侵犯了其专利。2004年8月，和Yahoo!（Yahoo!于2003年7月收购Overture）达成和解，向后者支付了270万普通股（合3亿美元不到）作为和解费。

　　AdSense是Google于2003年推出的一种新的广告方式。AdSense使各种规模的的第三方网页发布者进入Google庞大的广告商网络。Google在这些第三方网页放置跟网页内容相关的广告，当浏览者点击这些广告时，网页发布者能获得收入。AdSense在blogger中很受欢迎。同时，Google武断地删除一些帐号，引起部分人的不满。类似的广告方式，其他搜索引擎也先后推出。雅虎的广告方式是YPN（Yahoo Publisher Network），YPN除了可以在网页上显示与内容相关的广告以外，还可以通过在RSS订阅中来显示广告。微软的广告计划叫AdCenter。百度也推出主题推广。

　　随着互联网的发展，网上可以搜寻的网页变得愈来愈多，而网页内容的质素亦变得良莠不齐，没有保证。所以，未来的搜索引擎将会朝着知识型搜索引擎的方向发展，期以为搜寻者提供更准确及适用的资料。目前，网上的百科全书如雨后春笋般发展起来；另一方面，近年来亦有不少公司尝试在搜寻方面改进，务求更符合用户的要求。当中诸如Copernic Agent之类的搜寻代理就是其中之一。

　　在台湾，威知资讯(WebGenie)是利用文字探勘(Text Mining)技术发展搜寻引擎产品的公司，利用人工智能算法，可达成目前搜寻引擎所缺乏的简易人机互动模式，诸如关联字提示、动态分类字提示等，算是较另类的搜寻引擎产品。