Elasticsearch 核心技术(七):IK 中文分词器的安装、使用、自定义字典
创始人
2024-05-31 08:08:20
0次

在这里插入图片描述

❤️ 博客主页:水滴技术
🚀 支持水滴:点赞👍 + 收藏⭐ + 留言💬
🌸 订阅专栏:大数据核心技术从入门到精通

文章目录

  • 一、安装 IK 分词器
    • 方式一:自行下载并解压安装包
    • 方式二:通过 elasticsearch-plugin 安装
  • 二、使用 IK 分词器
    • ik_max_word
    • ik_smart
  • 三、自定义字典(分词)
    • 本地字典
    • 远程字典
  • 四、系列文章
  • 五、热门专栏


大家好,我是水滴~~

IK 中文分词器是 Elasticsearch 的一个插件,它集成了 Lucene IK analyzer,支持自定义字典。

一、安装 IK 分词器

安装 IK 分词器有两种方式,我们来看一下

方式一:自行下载并解压安装包

  1. 打开 IK 分词器的下载页:
    https://github.com/medcl/elasticsearch-analysis-ik/releases
  2. 选择与 Elasticsearch 相同的版本进行下载,我选择的是 v7.12.1
    在这里插入图片描述
  3. 在你的 Elasticsearch 的安装目录中,找到 plugins 文件,在里面创建一个 elasticsearch-analysis-ik-7.12.1 文件夹,并将下载的安装包解压到该文件夹中。
  4. 最后需要重启 Ealsticsearch 服务后,IK 分词器才能生效。

方式二:通过 elasticsearch-plugin 安装

  1. 同样打开 IK 分词器的下载页:
    https://github.com/medcl/elasticsearch-analysis-ik/releases
  2. 找到与 Elasticsearch 相同的版本,我选择的是 v7.12.1 ,复制下载地址。
    在这里插入图片描述
  3. 进入 Elasticsearch 安装目录,执行安装命令:.\bin\elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip
  4. 安装完后,别忘了重启 Elasticsearch 服务。

二、使用 IK 分词器

IK 分词器为我们提供了两种分析器: ik_smart 和 ik_max_word,我们分别来使用一下:

ik_max_word

ik_max_word 会将文本做最细粒度的拆分,它会穷尽各种可能的组合,适合 Term Query。

测试分词器:

POST /_analyze
{"analyzer": "ik_max_word","text": "中华人民共和国国歌"
}

分词结果:

[ 中华人民共和国, 中华人民, 中华, 华人, 人民共和国, 人民, 共和国, 共和, 国, 国歌 ]

ik_smart

ik_smart 会做最粗粒度的拆分,适合 Phrase Query。

测试分词器:

POST /_analyze
{"analyzer": "ik_smart","text": "中华人民共和国国歌"
}

分词结果:

[ 中华人民共和国, 国歌 ]

三、自定义字典(分词)

IK 分词器提供了一些扩展配置,可以使我们自定义一些字典。打开 IK分词器插件目录,进入 config 目录,其中 IKAnalyzer.cfg.xml 为 IK 分词器的扩展配置,而扩展名为 .dic 的文件为分词或停止词的词典文件。

在这里插入图片描述

本地字典

我们可以添加一个自己的字典文件,例如:mydict.dic ,该文件要求必须是 UTF-8 格式,每一行为一个分词,例如:

锐龙
酷睿

然后在 IKAnalyzer.cfg.xml 配置文件中,将自定义的字典文件名添加到 ext_dict 配置中,如果有多个文件,中间使用 ; 隔开:



IK Analyzer 扩展配置mydict.dic

配置完后,需要重启 Elasticsearch 服务才能生效。

我做了一个测试,在配置自定义分词前,这句话“联想(Lenovo)小新Pro16 笔记本2023锐龙版”中的“锐龙”会被分隔开。

在这里插入图片描述
加上自定义的字典后,可以看出这两个字是一个词了。
在这里插入图片描述

远程字典

从 IKAnalyzer.cfg.xml 配置文件的注释中也可以看出,我们还可以配置远程扩展字典,即在remote_ext_dict 配置项中添加一个请求的地址,比如 http://127.0.0.1/getCustomDict,该请求的响应内容格式必须是一行一个分词,换行符使用 \n。

如果想要实现热更新 IK 分词的话,该请求需要返回两个头部(header):一个是 Last-Modified,另一个是 ETag。这两个都是字符串类型,只要有一个发生变化,该插件就会去抓取新的分词进而更新词库。这样就可以在不重启 Elasticsearch 服务的情况下,完成词典的更新。

可以将需自动更新的热词放在一个 UTF-8 编码的 .txt 文件里,放在 nginx 或其他简易 http server 下,当 .txt 文件修改时,http server 会在客户端请求该文件时自动返回相应的 Last-Modified 和 ETag。可以另外做一个工具来从业务系统提取相关词汇,并更新这个 .txt 文件。

四、系列文章

🔥 Elasticsearch 核心技术(一):Elasticsearch 安装、配置、运行(Windows 版)
🔥 Elasticsearch 核心技术(二):elasticsearch-head 插件安装和使用
🔥 Elasticsearch 核心技术(三):Kibana 安装、配置、运行(Windows 版)
🔥 Elasticsearch 核心技术(四):索引管理、映射管理、文档管理(REST API)
🔥 Elasticsearch 核心技术(五):常用数据类型详解
🔥 Elasticsearch 核心技术(六):内置的 8 种分词器详解 + 代码示例

五、热门专栏

👍 《Python入门核心技术》
👍 《IDEA 教程:从入门到精通》
👍 《Java 教程:从入门到精通》
👍 《MySQL 教程:从入门到精通》
👍 《大数据核心技术从入门到精通》

在这里插入图片描述

相关内容

热门资讯

糖尿病早期无症状 出现5种表现... 今天是世界糖尿病日,今年的主题是“早发现,早行动”。这一主题强调了及早识别风险并采取行动的重要性。不...
于根伟口误把侯森说成侯震 搞笑... 11月14日,天津津门虎队主教练于根伟在接受采访时发生了一次口误。在谈到中超金手套时,他不小心将北京...
猪肉价格创10年新低 源头近乎... 2026年11月11日,一条消息刷屏:11月9日,全国外三元生猪均价跌至8.63元一公斤,创近10年...
大理雪后初晴美如画 冬日浪漫画... 初雪降临大理苍山,洱海风光焕然一新。碧绿的湖水与连绵的青山在皑皑白雪的映衬下,展现出独特的冬日浪漫。...
导演:作品没做好不能赖短剧和A... 导演刘家成在接受中新网专访时谈到了对短剧分流长剧市场的看法。他认为,不能把作品没做好归咎于短剧和AI...
U19国足战平塔吉克斯坦 彭子... 央视网消息:熊猫杯第二轮,U19国足对阵塔吉克斯坦U19。彭子鸣头球破门,巴赫塔利扳平比分。最终,U...
全美停飞 机场周边酒店爆满 航... 当地时间11月13日晚,美国联邦航空管理局宣布解除全美范围内的地面停飞指令。然而,航班恢复正常运行仍...
华为轮值董事长在《时代》撰文 ... 华为轮值董事长徐直军在《时代》美国版上发表了一篇题为《走进华为的创新之旅——见证、亲历、引领》的文章...
马斯克回应Cybercab自动... 埃隆·马斯克在11月14日于X平台发布推文,回应科技博主MKBHD关于Cybercab每月299美元...
蔡天凤前夫哥哥承认曾写信编案情... 蔡天凤案再次曝光新细节,前夫哥哥指认弟弟为真凶,方媛的言论终于得到验证。最讽刺的是,蔡天凤不仅资助前...
餐饮排队王为什么都爱开在高端商... 广州白鹅潭万象城在国庆期间吸引了大量顾客,一家餐饮店单日最高排号超过5465桌。郑州和呼和浩特等地的...
走散的友情为何成了大众情绪出口... 在综艺节目《后会友期》中,厉娜与许飞在断联十五年后重逢。两人见面时哭得说不出话,这一幕很快冲上了热搜...
金世佳回应拒上综艺 只留角色站... 在内娱圈,许多艺人为了增加曝光度,通过直播、综艺节目、偶遇图、朋友圈截图等方式,几乎将自己的私生活完...
女子因拒绝给HR带咖啡被取消面... 11月13日,江苏昆山的一位求职者在BOSS直聘上与一家公司对接面试。到达后,HR通过消息要求她先点...
全球资金抛售黄金买美债概率大吗... 用1000万美元购买30年期美国国债,每年可以获得53.75万美元的利息。没有手续费,也不受市场波动...
广东男篮新帅谈执教理念:崇尚防... 今天,广东男篮新任主帅贝罗卡尔接受了采访。他表示自己崇尚防守,认为他的球队一直是联赛里防守最好的队伍...
五大AI巨头被诉叫停开发新模型... 美国五家AI巨头因一边警告人工智能可能失控,一边加速研发更先进的模型而遭到法律挑战。11月12日,由...
“绘见”深圳:长卷上的魅力地标... 深圳,这座从边陲小镇成长为现代化国际大都市的城市,见证了中国改革开放的辉煌历程。蛇口轰鸣的“开山炮”...
波切蒂诺能救曼联吗 重建球员信... 里奥-费迪南德认为,如果卡里克从曼联下课,毛里西奥-波切蒂诺将是候选名单中非常突出的人选。他表示,波...
微信能看短剧了 小范围测试中 11月12日,有网友发现微信发现页的“看一看”功能中新增了“短剧”入口。目前该功能正处于小范围灰度测...