搜索引擎技术

COALNET搜索引擎技术
  　现在互联网发生了很大变化，企业应用已经很普及了，以前只应用于YAHOO这样门户网站的专业搜索引擎技术也逐渐深入到企业的应用中来。来网的搜索引擎技术并不是用来再建一个YAHOO这样的门户网站，确切地说不是一种单一的产品而是一种技术，这种技术可应用到互联网的每一方面。
　　随着计算机产业的发展，以计算机存储设备为载体的电子信息愈来愈多，这些信息大致可分为两类：结构化数据和非结构化数据，结构化数据指的是诸如企业财务帐目和生产数据、学生的分数数据等等，非结构化数据的则是一些文本数据、图象声音等多媒体数据等等。据统计，非结构化数据占有整个信息量的80%以上。
系统目前比较典型的应用有如下方面：

1.        政府和企业内部信息检索：很多企业现在发现原来的数据库检索系统已经不能适应信息爆增的情况了，不但文件格式越来越多（Word，HTM，Acrobat PDF，JSP，WPS，Excel等），随着事务越来越复杂，权利越来越下放，各部门都会有自己的信息存储方式和存储地点，而且经常变化，要搜索的范围除了内部局域网还有通过互联网连接的异地分支机构网络，这种情况可以由我们的专业搜索技术来解决。

2.        网站内容比较搜索服务：比较竞争对手的价格，并定期或实时追踪这些数据的变化情况。

3.        收集商业情报：收集竞争对手的公开会员信息，其它公开的商业情报，比如竞争对手的广告投放情况等，监视竞争对手的所有公开动态情报。

4.        采集商业数据：收集具有合法版权的商业数据。

5.        复杂目录管理：帮助企业的数据库工程师编制复杂的产品目录。比如化工产品光种类就170多万种，这些目录之间还有错综复杂的关系，光录入这些数据就是一个很头痛的问题。当企业本身也没有足够的原始资料而需要到互联网上获取资料的时候，我们的搜索引擎就帮助企业很轻松很快速地完成任务，这一点对电子商务网站也十分有用。

6.        专业搜索网站：大而全的网站比如YAHOO总是出现一大堆的查询结果，现在人们更关心专业性、准确率、地域性等，人们需要专业的医学搜索引擎、化工搜索引擎、体育搜索引擎、汽车搜索引擎等。

7.        多媒体搜索服务：针对图象、声音等特殊搜索。

8.        互联网网站监控：主要是政府、公安、新闻出版和安全部门等对互联网网站的监控。

9.        网站内部信息搜索：对于那些租用虚拟主机，不想花费购买服务器和聘请专业技术人员费用的中小企业和政府机构来说，仍然可以得到我们利用新技术提供的搜索服务，完全突破了传统方法。

　　搜索引擎是相当专业的技术，通常是指基于互联网的搜索，一般网站所具备的功能只是自己网站内的关键字搜索，只能搜索网站内已有的内容和访问者在网站上登记过的信息，是"搜索"而不是"搜索引擎"。即使像雅虎、新浪、网易、搜狐这样的国内外知名门户网站，也使用专业搜索引擎公司提供的技术，连部分的数据库都是使用外包的服务，可见搜索引擎技术的复杂性。

　　搜索引擎比传统的信息检索更为复杂，表现在：信息是分布在Web空间的，要求系统的适应性很强，对平台、网络等各种复杂环境的适应能力强；信息是不稳定的，动态性很强，因此要求系统的动态索引技术具有超级性能；信息是海量的，要求查询引擎具有先进的查询算法，并且对相关排序的要求很高；大量冗余和垃圾信息，要求系统具有一定的信息过滤能力；网络上的信息是多媒体的，编码不同，语言不同。以下是搜索引擎的一些常见技术问题：

• "蜘蛛"(Spider)系统：也称为"机器人"(Robot)，能自动从互联网上收集网页的数据并充实到本地数据库中，定期检查网页是否更新或链接是否失效，同时需要比较哪些是重复信息，互联网上互相转载的内容相当多，重复信息也很多，识别它们需要经过很多处理，另外变化无穷的动态网页还会对"蜘蛛"运行产生影响等等。而传统的数据搜索只是搜索自身数据库的内容，或者用户登记到数据库的信息，信息量太少。
• 搜索结果排列（检索模型）：长久以来，如何将搜索结果按照相关性进行排序一直是困扰搜索引擎技术的一大难题，除了要分析网页的链接数以外，还要判断这些链接的质量，还要分析网站的结构，分析客户的点击行为，以及要识别大量的针对搜索引擎的"作弊"行为。现在还出现了用对等搜索理念进行搜索的新方法，要采用先进的数学理论模型，各搜索引擎公司也高度保密自己的相当复杂的算法。
• 海量数据处理：互联网上的网页已经有几百亿，每天增长的速度是相当惊人的，而且这些网页不停地更新内容、变换地址。
• 时间：传统的信息检索只要判断信息创建时间即可，然而要去搜集别人的服务器信息的话，并不是每台互联网服务器都会提供时间的，由于网页本身每天都在更新，时间标准也难以确定。
  检索速度：当查询一个关键词的时候各大搜索引擎都差不多，但为了得到精确的检索结果通常会用两个以上关键词并附加逻辑条件的组合，这种情况下搜索引擎的速度得到了考验，由于采用的算法不同就会产生很大的差异。
• Internet中文搜索引擎还要面对简繁体不同内码的问题，中西文不同的分词方法，以及中文混合搜索的复杂问题。

　　对于结构化数据，用RDBMS（关系数据库管理系统）技术来管理是目前最好的一种方式。但是由于RDBMS自身底层结构的缘故使得它管理大量非结构化数据显得有些先天不足，特别是查询这些海量非结构化数据的速度较慢。而通过搜索引擎技术就能高效地管理这些非结构化数据。

　　经过几年的发展，搜索引擎从最初的字符串匹配程序已经演进到能对超大文本、语音、图像、活动影像等非结构化数据进行综合管理的大型软件。由于内涵和外延的深刻变化，搜索引擎系统已成为新一代管理信息系统的代名词，衡量搜索引擎系统的基本指标也逐渐形成规范。

　　搜索引擎，简而言之，就是以各类数据诸如文字、声音、图象等为处理对象，提供按照数据资料的内容而不是外在特征来实现的信息检索手段。它能提供快捷的数据管理工具和强大的数据查询手段，通过快捷的数据管理工具，能快速帮助人们进行大量文档资料的整理和管理工作，强大的数据查询手段，使人们能快速方便地查到他们想要的任何信息。

　　搜索引擎的显著特点就是提供对海量数据的管理和快速查询。然而在搜索引擎技术的背后，却隐藏着更理想的知识管理应用之实现。

　　搜索引擎技术是用来弥补传统数据库字段检索的不足，它采用特别的索引技术，将欲查询的文件资料及资料源，经过索引产生器的浏览而建立成所谓的索引数据库。当我们在进行查询时，系统透过使用者输入的关键词，迅速的从索引数据库中找到我们要的资料，并且条列式的显示出来让我们点选。除此之外，系统搭配许多方便使用者的特性，使我们可以更精确、更快的找到合适的资料。

　　完整的搜索引擎系统还需要能够扮演信息整合的特性。由于企业中的信息可能散布于许多的地方，如：自己的网站内、分公司的网站内、一般使用者的硬盘中、档案服务器上、光盘柜中、数据库…往往要找寻一个资料必须很明确的知道资料位于何处，而透过搜索引擎系统，可以将这些信息整合在一起，只需进行一次的查询，就可以马上找到分散于四处所需的资料。所以在应用上将会比传统的数据库检索要大上许多。

　　应用管理

----对于政府网站而言，电子政务及办公信息化是发展的基础。搜索引擎系统能够顺利解决政府网站开发、组织和利用信息资源，为领导决策和社会相关机构、人士提供信息服务的功能。可以说中文搜索引擎系统在政府上网的大势中发挥着重要的作用。

----在数字图书馆领域，搜索引擎系统带来了一场革命性的变化。数字图书馆的建成，将从根本上改变现有图书馆的工作方式和服务模式，全面实现自动化、网络化、信息化。中国数字图书馆是采用高新技术支持的数字信息资源系统，代表着未来图书馆的发展模式。数字图书馆信息服务系统的一个重要技术要求就是支持SGML/XML的检索引擎，尤其是中文检索引擎。目前中文搜索引擎系统已经全面渗透到数字图书馆的建设中。

----搜索引擎应该是搜索引擎技术最主要的一个应用。目前，搜索引擎的使用已成为排在收发电子邮件之后的第二大互联网应用技术。搜索引擎起源于传统的信息搜索引擎理论，即计算机程序通过扫描每一篇文章中的每一个词，建立以词为单位的到排文件，检索程序根据检索词在每一篇文章中出现的频率和每一个检索词在一篇文章中出现的概率，对包含这些检索词的文章进行排序，最后输出排序的结果。搜索引擎技术是搜索引擎的核心支撑技术。

----除此之外，搜索引擎对于一个电子商务站点也是非常重要的。在电子商务系统中，数据全部在具有严格安全控制的数据库中，信息检索不是静态网页，而是动态生成网页，对电子商务站点的系统资源开销是很大的。大量并发用户突发访问情况下的可靠性是电子商务对搜索引擎系统的基本要求。