首页 技术 正文
技术 2022年11月23日
0 收藏 444 点赞 4,437 浏览 1068 个字

前面已经对”IK中文分词器“有了简单的了解: 
ElasticSearch速学 – IK中文分词器远程字典设置

但是可以发现不是对所有的词都能很好的区分,比如: 
ElasticSearch速学 – IK中文分词器远程字典设置 
逼格这个词就没有分出来。

词库

实际上IK分词器也是根据一些词库来进行分词的,我们可以丰富这个词库。 
IK分词器(IK Analysis for Elasticsearch)给了我们一个基本的配置: 
https://github.com/medcl/elasticsearch-analysis-ik 
ElasticSearch速学 – IK中文分词器远程字典设置

修改我们es实例中ik插件的配置:

cd elasticsearch-5.3.0/plugins/ik/config/

ElasticSearch速学 – IK中文分词器远程字典设置

main.dic是住词库,stopword是停用词库(把一些错误的分词加入进来,之后不会再被分词了);custom目录中是我们的自定义词库。 
这些词库都是本地词库。可以参考配置文档来设置。

热更新 IK 分词使用方法

官方文档: 
https://github.com/medcl/elasticsearch-analysis-ik 
ElasticSearch速学 – IK中文分词器远程字典设置

我们来配置一下:

#进入es实例找到ik插件的配置文件
elasticsearch-5.3.0/plugins/ik/config
#编辑配置文件
vi IKAnalyzer.cfg.xml

内容:

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
<comment>IK Analyzer 扩展配置</comment>
<!--用户可以在这里配置自己的扩展字典 -->
<entry key="ext_dict">custom/mydict.dic;custom/single_word_low_freq.dic</entry>
<!--用户可以在这里配置自己的扩展停止词字典-->
<entry key="ext_stopwords">custom/ext_stopword.dic</entry>
<!--用户可以在这里配置远程扩展字典 -->
<entry key="remote_ext_dict">http://10.211.55.13/api/DictApi/GetDictionary</entry>
<!--用户可以在这里配置远程扩展停止词字典-->
<!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

/api/DictApi/GetDictionary:

ElasticSearch速学 – IK中文分词器远程字典设置
相关推荐
python开发_常用的python模块及安装方法
adodb:我们领导推荐的数据库连接组件bsddb3:BerkeleyDB的连接组件Cheetah-1.0:我比较喜欢这个版本的cheeta…
日期:2022-11-24 点赞:878 阅读:8,241
Educational Codeforces Round 11 C. Hard Process 二分
C. Hard Process题目连接:http://www.codeforces.com/contest/660/problem/CDes…
日期:2022-11-24 点赞:807 阅读:5,110
下载Ubuntn 17.04 内核源代码
zengkefu@server1:/usr/src$ uname -aLinux server1 4.10.0-19-generic #21…
日期:2022-11-24 点赞:569 阅读:5,913
可用Active Desktop Calendar V7.86 注册码序列号
可用Active Desktop Calendar V7.86 注册码序列号Name: www.greendown.cn Code: &nb…
日期:2022-11-24 点赞:733 阅读:5,725
Android调用系统相机、自定义相机、处理大图片
Android调用系统相机和自定义相机实例本博文主要是介绍了android上使用相机进行拍照并显示的两种方式,并且由于涉及到要把拍到的照片显…
日期:2022-11-24 点赞:512 阅读:6,969
Struts的使用
一、Struts2的获取  Struts的官方网站为:http://struts.apache.org/  下载完Struts2的jar包,…
日期:2022-11-24 点赞:671 阅读:4,404