首页 技术 正文
技术 2022年11月15日
0 收藏 363 点赞 4,571 浏览 473 个字

1、分析:数据转化的过程。

  两个转化过程—–传入文档中的数据转化程倒排序索引

        —–查询文本转化成可被搜索的词

2、分析器:承担分析(数据转化)的工作

  组成:一个分词器(tokenizer)+零个或多个标记过滤器(token filter)+零个或多个字符映射器(charater mappper)

3、分词器:分割,把文本分割成多个标记(token)形成标记流(token stream)

  具体过程:把分割的词加上一些额外信息,比如该词在原始文本中的位置和长度

4、过滤器:用来处理(分词器产生的)标记

  小写过滤器(lowercase filter):把所有的标记变成小写

  同义词过滤器(synonyms filter):基于基本的同义词规则,把一个标记换成另一个同义词的标记

  多语言次干提取过滤器(multiple language stemming filter):减少标记(实际上是标记中的文本部分),得到词根或者基本形式,即词干

5、字符映射器:工作在分词器之前,对未经分析的文本起作用。比如从文本的整体部分去除HTML标签

下一篇: union select
相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:8,996
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,510
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:6,353
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:6,137
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:7,770
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:4,848