搜索引擎及其应用，搜索引擎的基本原理

6.5.3　搜索引擎及其应用

6.5.3.1　搜索引擎的发展

搜索引擎(Search Engine)是一种在互联网上提供给用户进行关键词、词组或自然语言检索信息的工具。搜索引擎是建立在信息采集、信息组织的基础之上的，其工作的基本原理是:用户提出检索要求，搜索引擎代替用户在数据库中进行检索，并将检索结果反馈给用户。检索的结果有WWW上的主页、新闻组中的文章、软件的存放地址及其作者、企业网站、个人主页等。

在搜索引擎正式出现之前，网上最早的信息检索工具是FTP类检索工具。1990年，加拿大麦吉尔大学(University of McGill)计算机学院的师生开发出了一个可以按照文件名查找文件的服务系统——Archie。Archie能定期搜集并分析FTP服务器上的文件名信息，提供查找分别在各个FTP主机中的文件。用户必须输入精确的文件名进行搜索，Archie告诉用户哪个FTP服务器能下载该文件。虽然Archie搜集的信息资源不是网页(HTML文件)，但和搜索引擎的基本工作方式是一样的:自动搜集信息资源、建立索引、提供检索服务。所以，Archie被公认为是现代搜索引擎的鼻祖。随后，美国内华达大学(University of Nevada)和犹他大学(University of Utah)的研究人员相继开发出了Gopher检索工具Veronica和Jughead，它们除了能够检索文件之外，还可以检索网页。Archie、Veronica、Jughead这些工具还算不上是真正的搜索引擎，但为后来搜索引擎的研制积累了宝贵的经验。

随着万维网(World WideWeb)的进一步发展，“机器人”(Robot)一词变得流行起来，它是指某个能以人类无法达到的速度不断重复执行某项任务的自动程序。1993年，美国麻省理工学院(MIT)的MatthewGray开发出WWW上的第一个“机器人”程序——WWWWanderer，用来跟踪、统计互联网上的服务器数量。这种机器人程序能够像蜘蛛一样在网络间爬行，并以人类无法达到的速度不间断地执行信息搜集任务，所以又被形象地称为“蜘蛛”(Spider)程序。

1994年前后，网络上出现了最早一批搜索引擎系统。最初的搜索引擎在解决信息查询问题时主要采取了两种不同的方式。一种是以AltaVista、Excite为代表的搜索引擎，采用关键词检索方式提供信息查询，主要使用“机器人”程序自动采集网页资源，但这一时期的“机器人”功能比较弱，一般只对网页标题、URL等信息进行自动索引，对返回的检索结果有时也不进行排序;另一种是以Yahoo!、Galaxy为代表的引擎，采用分类目录浏览方式服务于用户，它们主要采用人工方式收集网络资源，并将资源组织到一个等级分类目录中，引导用户随目录等级的深入而不断缩小浏览范围，以找到感兴趣的信息。

1994年，美国华盛顿大学(University ofWashington)开发出了网络上第一个支持搜索文件全部文字的全文搜索引擎WebCrawler;同年，卡耐基·梅隆大学(Carnegie Mellon University)创建了Lycos。此外，还有HotBot、Infoseek等一系列搜索引擎的陆续应用，网络信息检索由此进入了全文搜索时期。

早期的搜索引擎都是自成一体的独立型搜索引擎。1995年，一些被称为“元搜索引擎”(Meta-Search Engine)的系统应运而生，如Metacrawler、All-in-one等。在使用元搜索引擎时，用户只需提交一次搜索请求，由元搜索引擎负责转换处理，提交给多个预先选定的独立搜索引擎，并将从各独立搜索引擎返回的所有查询结果，集中起来处理后再返回给用户。元搜索引擎主要依赖于其他独立搜索引擎存在，但它们集成了不同性质和不同风格的搜索引擎，而且发展了一些新的查询功能。

进入20世纪90年代后期，专门采集某一主题范围的信息资源，并使用更为详细和专业的方法对信息资源进行加工处理的专题性搜索引擎开始大量出现。相对于综合型搜索引擎，这类引擎也被称为“垂直型搜索引擎”(Vertical Search Engine)。除对资源采集的主题范围进行限定外，一些对资源和数据类型进行限定的垂直搜索引擎也开始兴起，如地图搜索、博客搜索、图像搜索等。

2000年以后，搜索引擎进入了一个蓬勃发展阶段，不仅数量众多，而且类型多样，我们较为熟悉的包括国外的Google、Yahoo!、Bing，国内的百度(Baidu)、搜狗(Sogou)、网易有道(Youdao)等。根据不同的划分标准，搜索引擎可以分为不同的类型。(1)按照检索机制划分，可分为关键词检索型搜索引擎(如Google、Baidu)和目录浏览型搜索引擎(如Yahoo!);(2)按数据收录范围不同，可分为综合型搜索引擎(如Google、Baidu)和垂直型搜索引擎(如学科专业搜索引擎、旅游搜索引擎、购物搜索引擎等);(3)按包含检索工具的数量不同，可分为独立搜索引擎(如Google、Baidu)和元搜索引擎(如Metacrawler、All-in-one)。

6.5.3.2　搜索引擎的基本原理

(1)独立搜索引擎的工作原理

独立搜索引擎的基本结构一般包括数据采集、数据分析与标引、数据检索、信息挖掘等几个不同的功能模块，如图6-6所示。

①数据采集。从原则上来说，数据采集模块分为人工采集和自动采集两种方式。人工方式主要由搜索引擎的工作人员、网页编辑、网络志愿者等对网络资源进行搜索与整理，并按照一定格式和要求向搜索引擎加以提供。由于网络资源的庞大规模，虽然人工采集的网页质量较高，但由于速度慢、覆盖面窄、更新不及时等，目前大多数的搜索引擎都是采用自动方式进行数据采集。自动采集的软件工具即通常所说的“Robot”或“Spider”。Robot是一个功能十分强大的计算机程序，它负责按照预先的设定和要求，定期对网络上的WWW站点等资源进行访问和遍历，并将访问和搜集到的WWW页面信息等经由网络传输，存入到搜索引擎的临时数据库中。

图6-6　独立搜索引擎的基本结构

②数据分析与标引。与数据采集一样，数据分析与标引的工作方式也分为人工和自动两种。其中，人工方式主要用于目录浏览型搜索引擎，通过人工的分类整理，将采集到的网络资源组织到一个层次型的分类目录结构中;而自动方式即利用自动标引软件(Indexer)对收集到网页信息进行内容分析，从中提取有检索价值的特征项——网页关键词等，并将它们组织成倒排索引文档。在自动标引处理的同时，Indexer通常还会对关键词出现的频次和位置、网页链接结构等信息加以统计和记录，以便为后面的加权计算提供数据支持。

③数据检索。数据检索模块主要负责通过用户界面的人机交互，根据用户的信息查询请求，或者去索引数据库进行查询匹配，或者利用分类目录结构进行浏览选择，最后将获取的符合用户需要的信息显示输出。通常检索结果是经过某种加权算法的计算后排序输出的，但不同的搜索引擎，采用的排序标准和加权算法各不相同。

④信息挖掘。信息挖掘模块在早期的搜索引擎中并不多见，它的出现主要源于近年来用户对个性化服务的需求。该模块的主要功能是:跟踪、发现用户的需求兴趣，建立用户兴趣模板文件(User Profile)，并利用兴趣模板文件过滤检索结果，以提高检索服务的质量。信息挖掘模块通过对用户检索行为的跟踪、统计和学习，配合其他相关信息，可以为用户提供更有针对性的个性化搜索服务，例如购物网站的推荐购买，就是通过对用户提交的商品检索历史记录的分析，进而分析用户的购买喜好和倾向，并向用户推出相应的商品推荐信息。

(2)元搜索引擎的工作原理

元搜索引擎的工作是建立在独立搜索引擎的基础之上的，可分为并行处理式和串行处理式两大类。并行处理式元搜索引擎将用户的查询请求同时传送给它调用链接的多个独立型搜索引擎进行查询处理;串行处理式元搜索引擎将用户的查询请求依次传送给它调用链接的每一个独立型搜索引擎进行查询处理。在实际应用中，元搜索引擎主要以并行工作方式为主。

一个并行处理的元搜索引擎系统主要由三大功能部分组成:用户接口、查询代理和结果汇总输出，如图6-7所示。

图6-7　元搜索引擎的基本结构

①用户接口。用户接口是用户浏览器与元搜索引擎交互的界面，其主要任务是接受用户的查询请求，完成用户个性化的检索要求设置(包括需要调用哪些独立引擎、检索等待时间限制、结果数量限制等)，并进行查询请求的转换和分发。

②查询代理。查询代理负责元搜索引擎与相应的独立搜索引擎的交互。对于并行工作的元搜索引擎来说，它链接的每一个成员引擎对应着一个查询代理。每个查询代理根据接收到的用户查询请求(已经过转换处理，符合相应代理引擎查询语法的要求)调用其代理的成员引擎进行检索，然后，各成员引擎将所得到的检索结果分别返回各自的查询代理。

③结果汇总输出。结果汇总输出负责收集各查询代理送交来的检索结果，并对这些结果进行必要的加工和整理，例如去重、重新排序等，再以标准页面的形式呈现给用户。元搜索引擎的检索结果是多个成员引擎搜索结果的并集，通常的显示内容包括网页标题、内容提要、网页URL、相关度、返回时间、来源引擎等。元搜索引擎的技术重心主要在于查询前的请求处理和检索结果的集成。

6.5.3.3　搜索引擎的应用

作为互联网上流行的大众化信息检索工具，搜索引擎自诞生以来的10多年来，在数量、类型、技术和服务功能等方面都取得了迅猛的发展。本节将选取一些主要的搜索引擎工具进行简单介绍。

(1)综合型独立搜索引擎

综合型独立搜索引擎是发展最早、使用最广泛的一类网络信息检索工具，数量也比较多。作为通用型的检索工具，它在采集和标引网络资源时不限制资源的主题范围和数据类型，用户可以利用此类工具检索几乎所有方面的网络资源，目前比较著名的有Google、百度、Yahoo!、必应(Bing)等。

Google成立于1998年，由美国斯坦福大学(Stanford University)计算机专业的两位博士生拉里·佩奇(L.Page)和谢尔盖·布林(S.Brin)创建，凭借其自身的先进搜索技术，现已成为世界上最大的综合型搜索引擎。作为网络搜索服务的第一品牌，Google除继续在综合型Web搜索领域保持影响力之外，还广泛涉及、深入各种垂直细分的专业性搜索服务领域。Google提供的主要网络搜索服务项目包括Web搜索、学术搜索、地图搜索、购物搜索、博客搜索、图书搜索、音乐搜索(中文Google)、移动搜索等。

百度1999年创建于美国硅谷，2000年开始在国内提供中文网络信息的搜索服务，目前是全球最大的中文搜索引擎，目前提供的主要搜索服务有网页搜索、MP3搜索、地图搜索、博客搜索、百度贴吧、百度知道、百度百科等。

Yahoo!最早于1994年由美国斯坦福大学(Stanford University)的两名博士生费罗(David Filo)和杨致远(Jerry Yang)初建，当时的名称是“Jerry和David的网络指南信息库”。1995年成立Yahoo!公司，此后迅速发展成为著名的分类目录指南工具之一。目录浏览及其首创的网络信息资源分类体系(Yahoo!Directory)是Yahoo!搜索服务的显著特点，此后Yahoo!也开始提供关键词检索服务，同时门户网站的特点也日益突出，表现出“搜索(目录浏览+关键词检索)+门户”的模式，成为继Google之后的第二大搜索工具。

必应(Bing)是微软公司推出的用以取代原先Live Search的搜索引擎，于2009年6月正式发布。这个搜索引擎中的新秀延续了通用搜索引擎的功能，包括网页、图片、视频、资讯、地图等搜索以及词典、在线翻译等。Bing搜索特色在于，传统搜索引擎只是单独列出一个搜索列表，Bing会对返回的结果加以分类。假如用户搜索某位歌星的名字，搜索结果主要将显示传统列表，而同时左侧的导航则会显示图片、歌曲、歌词、专辑和视频等相关类别;假如用户输入城市名称，则会显示地图、当地商业指南、旅游路线以及交通信息等。另外，Bing搜索界面的精致美观也使其深受用户的称道。

除了独立的综合型引擎外，近几年一些门户网站也纷纷推出自己的搜索引擎品牌，如搜狐网站推出的搜狗(www.sogou.com)、新浪推出的爱问(www.iask.com)、网易推出的有道(www.youdao.com)、腾讯推出的搜搜(www.soso.com)等。这些搜索引擎立足于门户网站，在搜索功能上着力体现各自的特色之处，例如搜狗在音乐搜索、地图搜索，爱问在新闻搜索、问答搜索，网易在词典和购物搜索等方面都取得了较好的口碑。

(2)垂直型独立搜索引擎

垂直搜索引擎，也被称为专业或专用搜索引擎，是专为查询某一个学科或主题的信息而产生的查询工具，专门收录某一方面、某一行业或某一主题的信息。与综合型搜索引擎相比，垂直型搜索引擎由于只集中在特定领域，因而用户数量较少，但用户群体的粘性较高，用户转移率要比综合型搜索引擎低。在信息服务内容方面，二者也表现出明显的区别:①在搜索结果内容上，综合型引擎包括标题、描述、URL链接等，垂直引擎是与搜索对象密切相关的信息，如商品搜索时，其结果包括该型号商品的简介、售卖商家信息、价格、商家等级、优惠信息等;②在搜索结果形式上，综合型引擎显示的是网页的简单描述和链接，垂直引擎是结构化的数据;③搜索结果排列方式上，综合型引擎通常是按系统设定的相关度排序算法来进行排序，而垂直引擎可以由用户自行设定排序规则，如按日期、相关度、价格等;④在检索效率上，综合型引擎所获得的结果数量较多，但有很多不相关的信息，垂直引擎的查全率相对低，但查准率较高^[15]。

垂直搜索引擎的应用领域很多，例如音乐搜索、地图搜索、旅游搜索、问答搜索、购物搜索、图书搜索等，几乎各行各业的各类信息都可以进一步细化为各类的垂直搜索引擎。下面我们将列举一些目前较为常用的垂直搜索引擎。

垂直型搜索引擎与综合型引擎相比，一般出现得较晚，在近年来得到了迅速的发展。这不仅体现在单纯基于某一类型(或领域、行业等)的专题搜索引擎大量出现，也体现在综合型搜索引擎日益明显的垂直细分发展趋势上(可参见表6-2中综合型搜索引擎垂直化、门户网站引擎垂直化两种类型)。

表6-2　　　　　　　部分垂直搜索引擎一览

续表

(3)元搜索引擎

随着网上信息资源的发展，传统搜索引擎在查全率和查准率方面很难满足用户的要求。为了查询相关内容，用户经常是同时使用多个搜索引擎查询相同内容，然后综合出适合自己的结果。为了有效利用多个搜索引擎的集成资源和检索能力，减轻用户的操作负担，检索工具开发者设计了元搜索引擎。它是指搜索引擎之上的搜索引擎，是在搜索引擎的基础上建立起来的可以同时或分时查询多个搜索引擎的网络信息检索系统。

元搜索引擎自身并不收集网站或网页信息，通常也没有自己的数据库，而是将用户递交的查询请求经过多种转换处理后提交给多个预先选定的成员引擎，并将所有查询结果集中起来以整体统一的格式呈现给用户。由于元搜索引擎可以采用一系列的优化机制，它能够在尽可能短的时间提供相对全面、准确的信息，即使不能完全满足用户需求，仍可以作为相对可靠的参考源进行扩展搜索，因此元搜索引擎已成为备受推崇的检索工具^[16]。下面我们介绍几个比较著名的元搜索引擎。

①Meta Crawler(www.metacrawler.com)。Meta Crawler 1995年由华盛顿大学推出，1997年被Go2Net(2000年更名为InfoSpace)购买，现为InfoSpace公司的四大重要搜索引擎之一(InfoSpace旗下的四大搜索引擎为Dogpile、MetaCrawler、Web Crawler、Excite)。MetaCrawler支持调用Google、Yahoo!、Bing、Ask、Looksmart等12个独立搜索引擎，设有网页、图片、视频、新闻、黄页、白页等搜索功能(图6-8为MetaCrawler的主页面)。它在结果处理上能整体地继承查询结果，删除重复的URL，将结果排序以统一的格式显示给用户。

②Dogpile(www.dogpile.com)。Dogpile创建于1996年，是国外最早使用的并行元搜索引擎之一，1999年被Go2Net公司收购，2000年Go2Net更名为InfoSpace，Dogpile是隶属于InfoSpace公司的四大重要搜索引擎之一。Dogpile最初建立的目的是为了解决独立搜索引擎存在的资源覆盖率不高的问题。当时，Dogpile共收集了数十个各种类型的独立搜索引擎，包括Google、Yahoo!、MSN、Ask、LookSmart等。目前Dogpile调用的成员引擎有Google、Yahoo!、Bing、Ask等12个，其重要特点之一是检索对象广泛，涉及多种专门资源，除网页检索外，还有生活、图像、视频、新闻、黄页、白页等检索类型。同时，检索主页面上还设置了热门搜索(Favorite Fetch)和快捷链接(Quick Starts)，为用户提供了很大的方便(图6-9为Dogpile的主页面)。

③Mamma(www.mamma.com)。Mamma创建于1996年，是互联网上的首批元搜索引擎之一，自称是“搜索引擎之母”(the Mother of All Search Engine)。Mamma的特点与大多数元搜索引擎一样:同时搜索所有主流搜索

图6-8　MetaCrawler主页

图6-9　Dogpile主页

引擎，快速显示排列好的搜索列表，它可以调用About.com、Ask、Wisenut、Gigablast等9个成员引擎，设有常规的网页、新闻、图片、视频等搜索功能，同时还包括微博(Twitter)、工作、本地搜索这些比较有特色的搜索项目(图6-10为Dogpile的主页面)。Mamma主要优点在于能够很好地将用户的搜索请求自动转换为符合各成员引擎语法的提问式，但它在结果中会去重，因为它通过计算某个特定的网站在主流搜索引擎中出现的次数来排列其结果，重复结果的次数将作为对这个网站的投票，使其在你所得的搜索结果的列表中排名更高。这是Mamma与其他一些元搜索引擎非常不同的地方。

图6-10　Mamma主页

④Ixquick(www.ixquick.com)

Ixquick是1998年正式在网上运营的元搜索引擎，由Surfboard Holding BV公司创建。从搜索的覆盖范围看，Ixquick可同时调用包括Ask、Gigablast、Yahoo!、Bing等在内的主流搜索引擎，此外还收录了很多区域性搜索引擎(例如中国的中搜、搜狗、百度、有道等)，由此支持了Ixquick的全球化搜索。Ixquick提供英文、法文、日文、韩文等18种语言。当用户选择一种检索语种后，Ixquick会根据语种自动选择、调用一些区域性的搜索引擎，同时将所有的国际性搜索引擎一并作为搜索来源。Ixquick的搜索类型比较单一，包括网页、图片、视频，电话簿搜索是其特色之一(图6-11为Ixquick的主页面)。

图6-11　Ixquick主页

Ixquick在其主页上自称是“全球最私人化的搜索引擎”(the world's most private search engine)，特别强调保护用户的私人信息，不会保留用户搜索过程中产生的任何与个人相关的信息，比如它会在48小时内删除IP地址等隐私信息并取消使用ID cookie的搜索引擎。Ixquick不与第三方共享其用户的任何个人资料。并且在用户电脑上产生的cookie文件也不包含任何个人信息。

国外的元搜索引擎还有SavvySearch(www.search.com)、Surfwax(www.surfwax.com)等。在国内，中文元搜索引擎有万维搜索(www.widewaysearch.com)、搜乐(www.sooule.com)、搜魅(www.someta.cn)等，这些元搜索引擎聚合了百度、Google、Bing、搜狗、有道、搜搜、雅虎等独立引擎的搜索结果，成员引擎数量较多，而在结果整合上还需进一步改进。

(4)移动搜索引擎

移动搜索是基于移动网络的搜索技术总称，是用户使用移动终端(如手机、PDA等)，通过SMS、WAP、客户端等多种方式进行信息、资讯、生活、娱乐等内容的搜索应用。移动搜索的出现，打破了地域、网络和硬件的局限性，满足了用户随时随地随身的搜索服务需求。作为一种新型的信息搜索服务，由于终端的便携性和网络易接入性，移动搜索与传统互联网搜索存在着很多显著的区别，并在搜索方式、搜索要求、搜索内容、搜索终端等一系列方面具有不同的表现，如表6-3所示。

表6-3　　　　　　　互联网搜索和移动搜索的区别^[17]

按照移动搜索方式，移动搜索主要划分为SMS搜索、WAP搜索及语音搜索等方式^[18]。

SMS搜索:短信搜索引擎系统可以向移动用户提供短信搜索业务，即用户将所要查询的关键字通过SMS的方式发送到服务端，服务端经过分析搜索，发回相关的信息以满足用户的搜索需求。用户可以通过短信的形式获取天气预报、航班、本地服务等信息

WAP搜索:基于无线网络引用协议(WAP)的移动搜索，支持用户通过移动终端登录搜索引擎进行相关内容的搜索，访问的多为WAP网站。

语音搜索:支持用户通过移动终端以语音方式进行移动搜索，其内容包括预订酒店等商业服务、MP3以及其他语音内容等。

目前在各类搜索方式中，WAP搜索占主导地位。与WAP搜索相比，SMS搜索和语音搜索虽然可通过规避终端能否上网的限制以降低用户使用门槛，但其对信息的判别能力、信息的精准等指标均有较高的要求。同时，SMS搜索需要用户不断回复短信来实现搜索过程，这在一定程度上影响了用户体验。而语音搜索虽符合用户使用习惯，但目前语音识别技术发展并不完善，需要人工干预实现搜索过程，在语音搜索中，对庞大搜索数据的处理能力及二次搜索导致搜索速度过缓等难题仍亟待解决。

近几年移动搜索引擎发展迅速，大致可分以下三类:

①互联网搜索引擎的移动版(见图6-12)

图6-12　部分互联网搜索引擎的移动版移动搜索界面

这一类移动搜索引擎来自传统互联网搜索引擎，在传统互联网领域有着较高的技术积累和品牌影响力。作为传统互联网搜索厂商，它们在互联网搜索服务上的品牌优势在一定程度上会延续至移动搜索用户群体;与此同时，其在互联网搜索领域形成的较为成熟的商业盈利模式及丰富的广告主资源，将为其在移动搜索领域的盈利赢得品牌及资源优势。这些搜索引擎纷纷推出移动版，提供移动搜索应用，如百度(m.baidu.com)、谷歌(m.google.cn)、有道(m.youdao.com)、爱问(wap.iask.com)、搜搜(wap.soso.com)等。

②专业移动搜索引擎(见图6-13)

图6-13　部分专业移动搜索引擎搜索界面

这一类搜索引擎从一开始就专注于移动搜索领域，其中一些切入移动搜索领域还早于门户类引擎，具有较多的技术实践经验和对用户体验的深刻理解。这些引擎能够以改善用户体验、满足用户需求为导向，基于对用户行为习惯数据的深入分析，充分利用其在技术研发、人员资源储备方面的优势不断优化现有产品服务体系;与此同时，这类厂商在产业链上下游展开广泛合作，借助运营商、终端厂商等渠道优势，推广移动搜索产品服务，在中国移动搜索市场占有重要地位。但在目前移动搜索市场商业盈利模式仍未成熟的情况下，如何通过有效的资本运作及市场推广提高品牌知名度、用户认知度仍是其亟须解决的问题。这类移动搜索引擎主要有易查(yicha.cn)、宜搜(easou.com)、儒豹(wap.roboo.com)、明复(wap.minfo.com)、唔箜(wukong.com)等。

③垂直类移动搜索引擎(见图6-14)

图6-14　部分垂直类移动搜索引擎搜索界面

垂直类移动搜索引擎同样来自于传统互联网，其原型是垂直型搜索引擎，这类引擎专注于某一垂直搜索领域，只是将自己的搜索服务移植到移动网络环境中。与综合型搜索引擎的移动版相比，垂直类移动搜索引擎更专注于某一特定领域的搜索，多以旅游搜索、生活搜索为主，如爱帮(http:// wap.aibang.com)、去哪儿(m.qunar.com)、火车网(wap.huoche.com.cn)等。