搜索引擎蜘蛛抓取原始页面，并不能直接用于查询排名处理。搜索引擎数据库中的页面都是在数万亿级别以上,用户输入搜索词之后，靠排名程序时时对这么多页面分析相关性，计算量太大，不可能在一二秒内返回排名结果。因此抓取来的页面必须经过预处理，为最后的查询排名做好准备。
现在搜索引擎还是以文字内容为基础。蜘蛛抓取到的页面中的代码HTML代码、除了用户在浏览器上可以看到的可见文字外，还包含了额大量的HTML格式标 签。Javascript程序等无法用于排名的内容。搜索引擎预处理就是从HTML文件中去除标签程序提取出可以用于排名处理的网页文字内容。
分词是中文搜索引擎独有的步骤，搜索引擎存储和处理页面及用户搜索都是词为基础的。英文等语言单词与单词之间没有任何分隔符，一个句子中的所有词和字都是联系在一起的。搜索引擎必须首先分辨哪几个字组成一个词，那些字本身就是一个词。
中文分词基本上有两种方法：一种是基于词典匹配，一种是基于统计。
基于词典匹配的方法是指：将待分析的一段汉字与一个是先造好的词典中的词条进行匹配。在待分析汉字串中扫描到词典中已有的词条则匹配成功，或者说切除一个 单词。按照扫描方向，基于词典的匹配法可以分为正向匹配和逆向匹配。按照匹配长度优先级的不同，又可以分为最大匹配和最小匹配。将扫描放方向和长度优先混 合，又可以产生正向的最大匹配和逆向的最大匹配等不同方法。
词典匹配法计算简单，其准确度在很大程度上取决于词典的完整性和更新情况。
基于统计的分词方法指的是分析大量文字样本，计算出字与字相邻出现的统计概率，几个字相邻出现越多，就越有可能形成一个单词。基于统计的方法的优势是对新出现的词反应更快速，也有利于消除歧义。
基于词典匹配和基于统计的分词方法各有优劣，实际使用中的分词系统都是混合使用两种方法的。
无论是英文还是中文，页面内容找那个都会有一些出现频率很高，却对内容没有任何影响的词，如“的”，“地”，“得”之类的助词。“啊”、“哈”、“呀”之类的感叹词还有“从而”、“以”、“却”之类的副词或介词。这些词被称为停止词，因为他们对页面的主要意思没什么影响。
绝大部分页面上还有一部分内容对页面主题也没有什么贡献的，比如版权申明文字，导航条，广告等。以常见的博客导航为例，几乎每个博客页面上都会出现文章分 类，历史存档等导航内容，但是这些页面本身与“分类”、“历史”这些词都没有任何的关系。用户搜索“历史”、“分类”这些关键词时仅仅因为页面上有些词出 现而返回博客帖子是毫无意义的，完全不相关。所以这些词都属于噪音。对页面主题只能起到分散作用。
搜索引擎需要识别并消除这些噪音，排名时不使用噪音内容。消除噪音的基本方法是根据HTML标签对页面分块，区分出页头，导航、正文、页脚、广告等区域，在网站上大量重复出现的区块往往属于噪音。剩下的才是页面主题内容。
搜索引擎还需要对页面进行去重处理。
同一篇文章经常会重复出现在不同网站及同一个网站的不同网址上，搜索引擎并不喜欢这种重复性的内容。用户搜索时，如果在前两页看到的都是来自不同网站的同 一篇文章，用户的体验就太差了，虽然都是内容相关。搜索引擎希望只返回相同文章中的一篇，所以在进行索引钱还需要识别和删除重复内容，这个过程就称为去 重。
去重的基本方法是对页面特征关键词计算指纹，也就是说，从页面主题内容中选取最有代表性的一部分关键词，然后计算这些关键词的数字指纹。这里的关键词选取 是在分词、去停止词、消噪之后。实验表明，通常选取10个特征关键词就可以达到一个比较高的计算准确性，在选取更多词对去重准确性提高的贡献也就不大了。
经过文字提取、分词、消噪、去重后，搜索引擎得到的就是独特的，能反映页面主题内容的、以词为单位的内容。接下来搜索引擎索引程序就是可以提取关键词，按 照分词程序划分好的词，把页面转换为一个关键词组成的集合，同事记录每一个关键词在页面上的出现频率、出现次数、格式、位置。这样每一个页面都可以记录为 一串关键词集合，其中每个关键词的词频、格式、位置等权重信息也记录在案。
在倒排索引中关键词是主键，每个关键词都对应着一系列文件，这些文件中都出现了这个关键词。这样当用户搜素某个关键词时，排序程序在倒排索引中定位到这个关键词。就可以马上找到所有包含这个关键词的文件。
链接关系计算也是预处理中很重要的一部分，现在所有的主流搜索引擎排名因素中都包含网页之间的链接流动信息。搜索引擎在抓取页面的内容后，必须实现计算 出：页面上有哪些链接指向哪些其他页面，每个页面都有哪些导入链接，链接使用了什么描文本，这些复杂的链接指向关系形成了网站和页面的链接权重。
除了HTML文件外，搜索引擎通常还能抓取和索引以文字为基础多种文件类型，如PDF，WORD，WPS，XLS等，我们在搜素结果中也经常会看到这些文件类型，但目前搜索引擎还不能识别处理图片、视频、Flash这类懂得非文字内容，也不能执行脚本和程序。
虽然搜索引擎在识别图片及从Flash中提取文章内容方面有些进步，不过距离直接靠读去图片、视频、Flash内容返回结果的目标还很远。
巨优网络网站建设为怀柔区企业提供网站建设服务，是一家从事怀柔网站建设、怀柔网站制作、怀柔网站优化公司,为怀柔区各单位提供完善的网站建设解决方案,推动怀柔网站建设服务业务的发展！怀柔做网站,怀柔做网站公司,选巨优网络！咨询热线：010-69632027