探索蜘蛛磁力搜索引擎的广阔海洋，挖掘隐藏的网络宝藏 (最佳高效蜘蛛搜索引擎磁力)

---

关于一架飞机被磁力吸引坠落到岛上的巨型蜘蛛电影

是不是这个？天外魔蛛 Arachnid 又名:杀出虫围 剧情 在飞往太平洋的途中，飞机突遭天外来物——魔蛛的袭击，经过惊心动魄的降落，几位部队军官和利博士等人终于登上附近的一座岛屿。 但不久他们就接二连三地丢失同伴，原来这荒岛上布满噬人的巨型蜘蛛和变异爬虫，同伴们都被这些异种动物吸干了血液，吃掉内脏后由七窍而出，令人毛骨悚然…… 岛上处处都隐藏着杀人的机器，全部人员惊恐万状，同伴一个个死去，而死状一个比一个恐怖。 他们进退两难，步步惊心……究竟谁又能生还呢？

搜索引擎在网络信息检索的地位及作用_搜索引擎与信息检索的关系

信息检索不等于搜索引擎。

互联网的发展明显地促进了信息检索技术的发展和应用，一大批搜索引擎产品诞生，为网民提供了很好的快速信息获取和网络信息导航工具，但是将信息检索等同于使用搜索引擎就陷入了误区。搜索引擎技术中也普遍采用了全文信息检索技术，但互联网信息搜索和企业信息搜索是不同的。

一是数据量。传统信息检索系统一般索引库规模多在GB级，但互联网网页搜索需要处理几千万上亿的网页，搜索引擎的基本策略都是采用检索服务器群集，对大多数企业应用是不合适和不必要的，并不适用于企业应用。

二是内容相关性。信息太多，查准和排序就特别重要，Google等搜索引擎发展了网页链接分析技术，根据互联网上网页被连接次数作为重要性评判的依据。但企业网站内部的网页链接由网站内容采编发布系统决定，其链接次数存在偶然因素，不能作为判别重要性的依据。真正的企业应用的检索要求基于内容的相关性排序，就是说，和检索要求最相关的信息排在检索结果的前面，链接分析技术此种排序基本不起作用。

三是实时性。搜索引擎的索引生成和检索服务是分开的，周期性更新和同步数据，大的搜索引擎的更新周期需要以周乃至月度量；而企业信息检索需要实时反映内外信息变化，搜索引擎系统机制并不能适应企业中动态性数据增长和修改的要求。

四是安全性。互联网搜索引擎都基于文件系统，但企业应用中内容一般均会安全和集中地存放在数据仓库中以保证数据安全和管理的要求。

五是个性化和智能化。由于搜索引擎数据和客户规模的限制，相关反馈、知识检索、知识挖掘等计算密集的智能技术很难应用，而专门针对企业的信息检索应用能在智能化和个性走得更远。

（），通常指文本信息检索，包括信息的存储、组织、表现、查询、存取等各个方面，其核心为文本信息的索引和检索。从历史上看，信息检索经历了手工检索、计算机检索到目前网络化、智能化检索等多个发展阶段。

目前，信息检索已经发展到网络化和智能化的阶段。信息检索的对象从相对封闭、稳定一致、由独立数据库集中管理的信息内容扩展到开放、动态、更新快、分布广泛、管理松散的Web内容；信息检索的用户也由原来的情报专业人员扩展到包括商务人员、管理人员、教师学生、各专业人士等在内的普通大众，他们对信息检索从结果到方式提出了更高、更多样化的要求。适应网络化、智能化以及个性化的需要是目前信息检索技术发展的新趋势。

信息检索技术的热点

◆智能检索或知识检索

传统的全文检索技术基于关键词匹配进行检索，往往存在查不全、查不准、检索质量不高的现象，特别是在网络信息时代，利用关键词匹配很难满足人们检索的要求。智能检索利用分词词典、同义词典，同音词典改善检索效果，比如用户查询“计算机”，与“电脑”相关的信息也能检索出来；进一步还可在知识层面或者说概念层面上辅助查询，通过主题词典、上下位词典、相关同级词典，形成一个知识体系或概念网络，给予用户智能知识提示，最终帮助用户获得最佳的检索效果，比如用户可以进一步缩小查询范围至“微机”、“服务器”或扩大查询至“信息技术”或查询相关的“电子技术”、“软件”、“计算机应用”等范畴。另外，智能检索还包括歧义信息和检索处理，如“苹果”，究竟是指水果还是电脑品牌，“华人”与“中华人民共和国”的区分，将通过歧义知识描述库、全文索引、用户检索上下文分析以及用户相关性反馈等技术结合处理，高效、准确地反馈给用户最需要的信息。

◆知识挖掘

目前主要指文本挖掘技术的发展，目的是帮助人们更好的发现、组织、表示信息，提取知识，满足信息检索的高层次需要。知识挖掘包括摘要、分类（聚类）和相似性检索等方面。

自动摘要就是利用计算机自动地从原始文献中提取文摘。在信息检索中，自动摘要有助于用户快速评价检索结果的相关程度，在信息服务中，自动摘要有助于多种形式的内容分发，如发往PDA、手机等。相似性检索技术基于文档内容特征检索与其相似或相关的文档，是实现用户个性化相关反馈的基础，也可用于去重分析。自动分类可基于统计或规则，经过机器学习形成预定义分类树，再根据文档的内容特征将其归类；自动聚类则是根据文档内容的相关程度进行分组归并。自动分类（聚类）在信息组织、导航方面非常有用。

◆异构信息整合检索和全息检索

在信息检索分布化和网络化的趋势下，信息检索系统的开放性和集成性要求越来越高，需要能够检索和整合不同来源和结构的信息，这是异构信息检索技术发展的基点，包括支持各种格式化文件，如TEXT、HTML、XML、RTF、MSOffice、PDF、PS2/PS、MARC、ISO2709等处理和检索；支持多语种信息的检索；支持结构化数据、半结构化数据及非结构化数据的统一处理；和关系数据库检索的无缝集成以及其他开放检索接口的集成等。所谓“全息检索”的概念就是支持一切格式和方式的检索，从目前实践来讲，发展到异构信息整合检索的层面，基于自然语言理解的人机交互以及多媒体信息检索整合等方面尚有待取得进一步突破。

另外，从工程实践角度，综合采用内存和外部存储的多级缓存、分布式群集和负载均衡技术也是信息检索技术发展的重要方面。

随着互联网的普及和电子商务的发展，企业和个人可获取、需处理的信息量呈爆发式增长，而且其中绝大部分都是非结构化和半结构化数据。内容管理的重要性日益凸现，而信息检索作为内容管理的核心支撑技术，随着内容管理的发展和普及，亦将应用到各个领域，成为人们日常工作生活的密切伙伴。

信息检索起源于图书馆的参考咨询和文摘索引工作，从19世纪下半叶首先开始发展，至20世纪40年代，索引和检索成已为图书馆独立的工具和用户服务项目。

随着1946年世界上第一台电子计算机问世，计算机技术逐步走进信息检索领域，并与信息检索理论紧密结合起来；脱机批量情报检索系统、联机实时情报检索系统相继研制成功并商业化，20世纪60年代到80年代，在信息处理技术、通讯技术、计算机和数据库技术的推动下，信息检索在教育、军事和商业等各领域高速发展，得到了广泛的应用。Dialog国际联机情报检索系统是这一时期的信息检索领域的代表，至今仍是世界上最著名的系统之一。

搜索引擎工作流程

互联网是一个宝库，搜索引擎是打开宝库的一把钥匙。然而，绝大多数网民在搜索引擎的相关知识及使用技巧上能力不足。国外的一次调查结果显示，约有71%的人对搜索的结果感到不同程度的失望。作为互联网的第二大服务，这种状况应该改变。

互联网的迅速发展，导致了网上信息的爆炸性增长。全球目前的网页超过20亿，每天新增加730万网页。要在如此浩瀚的信息海洋里寻找信息，就像“大海捞针”一样困难。搜索引擎正是为了解决这个“迷航”问题而出现的技术。

搜索引擎的工作包括如下三个过程：

1.在互联中发现、搜集网页信息；

2.对信息进行提取和组织建立索引库；

3.再由检索器根据用户输入的查询关字，在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并将查询结果返回给用户。

发现、搜集网页信息

需要有高性能的“网络蜘蛛”程序（Spider）去自动地在互联网中搜索信息。一个典型的网络蜘蛛工作的方式，是查看一个页面，并从中找到相关信息,然后它再从该页面的所有链接中出发，继续寻找相关的信息，以此类推，直至穷尽。网络蜘蛛要求能够快速、全面。网络蜘蛛为实现其快速地浏览整个互联网，通常在技术上采用抢先式多线程技术实现在网上聚集信息。通过抢先式多线程的使用，你能索引一个基于URL链接的Web页面，启动一个新的线程跟随每个新的URL链接，索引一个新的URL起点。当然在服务器上所开的线程也不能无限膨胀，需要在服务器的正常运转和快速收集网页之间找一个平衡点。在算法上各个搜索引擎技术公司可能不尽相同，但目的都是快速浏览Web页和后续过程相配合。目前国内的搜索引擎技术公司中，比如网络公司的网络蜘蛛采用了可定制、高扩展性的调度算法使得搜索器能在极短的时间内收集到最大数量的互联网信息，并把所获得的信息保存下来以备建立索引库和用户检索。

索引库的建立

关系到用户能否最迅速地找到最准确、最广泛的信息，同时索引库的建立也必须迅速，对网络蜘蛛抓来的网页信息极快地建立索引，保证信息的及时性。对网页采用基于网页内容分析和基于超链分析相结合的方法进行相关度评价，能够客观地对网页进行排序，从而极大限度地保证搜索出的结果与用户的查询串相一致。新浪搜索引擎对网站数据建立索引的过程中采取了按照关键词在网站标题、网站描述、网站URL等不同位置的出现或网站的质量等级等建立索引库，从而保证搜索出的结果与用户的查询串相一致。

什么是搜索引擎,其工作原理是什么

一、什么叫搜索引擎？ 在Internet上有上百亿可用的公共Web页面，即使是最狂热的冲浪者也不会访问到所有的页面，而只能看到其中的一小部分，更不会在这浩瀚的Web海洋中发现你那即使精彩却渺小的一隅。 当然你可以为你的存在做广告，可以用大大的字把你的URL刻在你的身体上，然后裸体穿过白宫草坪，但你得保证媒体正好在那里，并注视到了这一切。 与其这样做，不如好好去理解搜索引擎是如何工作的？又怎样选择和使用keywords（关键词）等等。 本文的目的就是让众多的页面设计者在了解搜索引擎的基础上，寻求如何使自己的页面在搜索引擎索返回的列表中获得好的排列层次的方法。 搜索引擎这个术语一般统指真正意义上的搜索引擎（也就是全文检索搜索引擎）和目录（即目录式分类搜索引擎），其实他们是不一样的，其区别主要在于返回的搜索结果列表是如何编排的。 1、目录 目录（比如Yahoo!）返回的列表是由人工来编排的。 这类引擎提供了一份人工按类别编排的网站目录，各类下边排列着属于这一类别的网站的站名和网址链接，再记录一些摘要信息，对该网站进行概述性介绍（摘要可能是你提交过去的，也可以是引擎站点的编辑为你的站点所做的评价）。 人们搜索时就按相应类别的目录查询下去。 这类引擎往往还伴有网站查询功能，也称之为网站检索，即提供一个文字输入框和一个按钮。 我们可以在文字框中输入要查找的字、词或短语，再点击按钮，便会在目录中查找相关的站名、网址和内容提要，将查到的内容列表送过来。 目前国内Sohoo、常青藤等都是这种搜索方式。 2、搜索引擎 搜索引擎（如HotBot)是自动创建列表的。 搜索引擎看起来与目录的网站查询非常相似，也提供一个文字输入框和按钮，使用方法也相同，而且有些也提供分类目录，但两者却有本质上的区别。 目录的资料库中，搜集保存的是各网站的站名、网址和内容提要；搜索引擎的资料库中，搜集保存的则是各网站的每一个网页的全部内容，范围要大得多。 搜索引擎是以全文检索的方式工作的。 全文检索查到的结果不是站名、网址和内容提要，而是与你输入的关键词相关的一个个网页的地址和一小段文字。 在这段文字中，可能没有你输入的那个关键词，它只是某一网页的第一段话，甚至是一段无法看懂的标记，但在这个网页中，一定有你所输入的那个关键词，或者相关的词汇。 打个比方说，网站查询可以查到网上有哪些报纸，如《文汇报》、《大公报》，而全文检索则可以查到网上这些报纸的每一篇文章中的词汇。 3、两者相结合的搜索引擎 某些搜索引擎同时也提供目录。 包含在搜索引擎中的目录通常质量比较高，也能从那里找到许多好站点。 因为即使你把你的站点提交过去，也并不能保证一定被加到目录中去，他们把注意力放在那些已经在别的目录中存在的站点上，并有选择地寻找有吸引力的加到自己的目录中。 搜索引擎和目录各有各自不可替代的功用。 目录比较简单，要想获得一个好的排列层次，除了你努力创建一个好内容的高品质站点外别无他法。 搜索引擎复杂得多，它们随时都在自动地索引众多WEB站点的最新网页，所以常常会发现目录所不能得到的信息。 如果你改动了你的页面，搜索引擎还随时会发现这个变化，并重新排列你在列表中的位置。 而目录就做不到。 下面专门讨论搜索引擎的工作原理以及如何提高在搜索引擎列表中的排列位置。 参考资料：按照信息搜集方法和服务提供方式的不同，搜索引擎系统可以分为三大类： 1．目录式搜索引擎：以人工方式或半自动方式搜集信息，由编辑员查看信息之后，人工形成信息摘要，并将信息置于事先确定的分类框架中。 信息大多面向网站，提供目录浏览服务和直接检索服务。 该类搜索引擎因为加入了人的智能，所以信息准确、导航质量高，缺点是需要人工介入、维护量大、信息量少、信息更新不及时。 这类搜索引擎的代表是：Yahoo、LookSmart、Open Directory、Go Guide等。 2．机器人搜索引擎：由一个称为蜘蛛（Spider）的机器人程序以某种策略自动地在互联网中搜集和发现信息，由索引器为搜集到的信息建立索引，由检索器根据用户的查询输入检索索引库，并将查询结果返回给用户。 服务方式是面向网页的全文检索服务。 该类搜索引擎的优点是信息量大、更新及时、毋需人工干预，缺点是返回信息过多，有很多无关信息，用户必须从结果中进行筛选。 这类搜索引擎的代表是：AltaVista、Northern Light、Excite、Infoseek、Inktomi、FAST、Lycos、Google；国内代表为：天网、悠游、OpenFind等。 3．元搜索引擎：这类搜索引擎没有自己的数据，而是将用户的查询请求同时向多个搜索引擎递交，将返回的结果进行重复排除、重新排序等处理后，作为自己的结果返回给用户。 服务方式为面向网页的全文检索。 这类搜索引擎的优点是返回结果的信息量更大、更全，缺点是不能够充分使用所使用搜索引擎的功能，用户需要做更多的筛选。 这类搜索引擎的代表是WebCrawler、InfoMarket等。 …… 主 要 技 术 一个搜索引擎由搜索器、索引器、检索器和用户接口等四个部分组成。 1.搜索器 搜索器的功能是在互联网中漫游，发现和搜集信息。 它常常是一个计算机程序，日夜不停地运行。 它要尽可能多、尽可能快地搜集各种类型的新信息，同时因为互联网上的信息更新很快，所以还要定期更新已经搜集过的旧信息，以避免死连接和无效连接。 目前有两种搜集信息的策略： ● 从一个起始URL集合开始，顺着这些URL中的超链（Hyperlink），以宽度优先、深度优先或启发式方式循环地在互联网中发现信息。 这些起始URL可以是任意的URL，但常常是一些非常流行、包含很多链接的站点（如Yahoo！）。 ● 将Web空间按照域名、IP地址或国家域名划分，每个搜索器负责一个子空间的穷尽搜索。 搜索器搜集的信息类型多种多样，包括HTML、XML、Newsgroup文章、FTP文件、字处理文档、多媒体信息。 搜索器的实现常常用分布式、并行计算技术，以提高信息发现和更新的速度。 商业搜索引擎的信息发现可以达到每天几百万网页。 2.索引器 索引器的功能是理解搜索器所搜索的信息，从中抽取出索引项，用于表示文档以及生成文档库的索引表。 索引项有客观索引项和内容索引项两种：客观项与文档的语意内容无关，如作者名、URL、更新时间、编码、长度、链接流行度（Link Popularity）等等；内容索引项是用来反映文档内容的，如关键词及其权重、短语、单字等等。 内容索引项可以分为单索引项和多索引项（或称短语索引项）两种。 单索引项对于英文来讲是英语单词，比较容易提取，因为单词之间有天然的分隔符（空格）；对于中文等连续书写的语言，必须进行词语的切分。 在搜索引擎中，一般要给单索引项赋与一个权值，以表示该索引项对文档的区分度，同时用来计算查询结果的相关度。 使用的方法一般有统计法、信息论法和概率法。 短语索引项的提取方法有统计法、概率法和语言学法。 索引表一般使用某种形式的倒排表（Inversion List），即由索引项查找相应的文档。 索引表也可能要记录索引项在文档中出现的位置，以便检索器计算索引项之间的相邻或接近关系（proximity）。 索引器可以使用集中式索引算法或分布式索引算法。 当数据量很大时，必须实现即时索引（Instant Indexing），否则不能够跟上信息量急剧增加的速度。 索引算法对索引器的性能（如大规模峰值查询时的响应速度）有很大的影响。 一个搜索引擎的有效性在很大程度上取决于索引的质量。 3.检索器 检索器的功能是根据用户的查询在索引库中快速检出文档，进行文档与查询的相关度评价，对将要输出的结果进行排序，并实现某种用户相关性反馈机制。 检索器常用的信息检索模型有集合理论模型、代数模型、概率模型和混合模型四种。 4.用户接口 用户接口的作用是输入用户查询、显示查询结果、提供用户相关性反馈机制。 主要的目的是方便用户使用搜索引擎，高效率、多方式地从搜索引擎中得到有效、及时的信息。 用户接口的设计和实现使用人机交互的理论和方法，以充分适应人类的思维习惯。 用户输入接口可以分为简单接口和复杂接口两种。 简单接口只提供用户输入查询串的文本框；复杂接口可以让用户对查询进行限制，如逻辑运算（与、或、非；+、-）、相近关系（相邻、NEAR）、域名范围（如、）、出现位置（如标题、内容）、信息时间、长度等等。 目前一些公司和机构正在考虑制定查询选项的标准。

若对本页面资源感兴趣，请点击下方或右方图片，注册登录后

搜索本页相关的【资源名】【软件名】【功能词】或有关的关键词，即可找到您想要的资源

如有其他疑问，请咨询右下角【在线客服】，谢谢支持！