Elasticsearch 核心技术(七):IK 中文分词器的安装、使用、自定义字典
创始人
2024-05-31 08:08:20
0

在这里插入图片描述

❤️ 博客主页:水滴技术
🚀 支持水滴:点赞👍 + 收藏⭐ + 留言💬
🌸 订阅专栏:大数据核心技术从入门到精通

文章目录

  • 一、安装 IK 分词器
    • 方式一:自行下载并解压安装包
    • 方式二:通过 elasticsearch-plugin 安装
  • 二、使用 IK 分词器
    • ik_max_word
    • ik_smart
  • 三、自定义字典(分词)
    • 本地字典
    • 远程字典
  • 四、系列文章
  • 五、热门专栏


大家好,我是水滴~~

IK 中文分词器是 Elasticsearch 的一个插件,它集成了 Lucene IK analyzer,支持自定义字典。

一、安装 IK 分词器

安装 IK 分词器有两种方式,我们来看一下

方式一:自行下载并解压安装包

  1. 打开 IK 分词器的下载页:
    https://github.com/medcl/elasticsearch-analysis-ik/releases
  2. 选择与 Elasticsearch 相同的版本进行下载,我选择的是 v7.12.1
    在这里插入图片描述
  3. 在你的 Elasticsearch 的安装目录中,找到 plugins 文件,在里面创建一个 elasticsearch-analysis-ik-7.12.1 文件夹,并将下载的安装包解压到该文件夹中。
  4. 最后需要重启 Ealsticsearch 服务后,IK 分词器才能生效。

方式二:通过 elasticsearch-plugin 安装

  1. 同样打开 IK 分词器的下载页:
    https://github.com/medcl/elasticsearch-analysis-ik/releases
  2. 找到与 Elasticsearch 相同的版本,我选择的是 v7.12.1 ,复制下载地址。
    在这里插入图片描述
  3. 进入 Elasticsearch 安装目录,执行安装命令:.\bin\elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip
  4. 安装完后,别忘了重启 Elasticsearch 服务。

二、使用 IK 分词器

IK 分词器为我们提供了两种分析器: ik_smartik_max_word,我们分别来使用一下:

ik_max_word

ik_max_word 会将文本做最细粒度的拆分,它会穷尽各种可能的组合,适合 Term Query。

测试分词器:

POST /_analyze
{"analyzer": "ik_max_word","text": "中华人民共和国国歌"
}

分词结果:

[ 中华人民共和国, 中华人民, 中华, 华人, 人民共和国, 人民, 共和国, 共和, 国, 国歌 ]

ik_smart

ik_smart 会做最粗粒度的拆分,适合 Phrase Query。

测试分词器:

POST /_analyze
{"analyzer": "ik_smart","text": "中华人民共和国国歌"
}

分词结果:

[ 中华人民共和国, 国歌 ]

三、自定义字典(分词)

IK 分词器提供了一些扩展配置,可以使我们自定义一些字典。打开 IK分词器插件目录,进入 config 目录,其中 IKAnalyzer.cfg.xml 为 IK 分词器的扩展配置,而扩展名为 .dic 的文件为分词或停止词的词典文件。

在这里插入图片描述

本地字典

我们可以添加一个自己的字典文件,例如:mydict.dic ,该文件要求必须是 UTF-8 格式,每一行为一个分词,例如:

锐龙
酷睿

然后在 IKAnalyzer.cfg.xml 配置文件中,将自定义的字典文件名添加到 ext_dict 配置中,如果有多个文件,中间使用 ; 隔开:



IK Analyzer 扩展配置mydict.dic

配置完后,需要重启 Elasticsearch 服务才能生效。

我做了一个测试,在配置自定义分词前,这句话“联想(Lenovo)小新Pro16 笔记本2023锐龙版”中的“锐龙”会被分隔开。

在这里插入图片描述
加上自定义的字典后,可以看出这两个字是一个词了。
在这里插入图片描述

远程字典

IKAnalyzer.cfg.xml 配置文件的注释中也可以看出,我们还可以配置远程扩展字典,即在remote_ext_dict 配置项中添加一个请求的地址,比如 http://127.0.0.1/getCustomDict,该请求的响应内容格式必须是一行一个分词,换行符使用 \n

如果想要实现热更新 IK 分词的话,该请求需要返回两个头部(header):一个是 Last-Modified,另一个是 ETag。这两个都是字符串类型,只要有一个发生变化,该插件就会去抓取新的分词进而更新词库。这样就可以在不重启 Elasticsearch 服务的情况下,完成词典的更新。

可以将需自动更新的热词放在一个 UTF-8 编码的 .txt 文件里,放在 nginx 或其他简易 http server 下,当 .txt 文件修改时,http server 会在客户端请求该文件时自动返回相应的 Last-Modified 和 ETag。可以另外做一个工具来从业务系统提取相关词汇,并更新这个 .txt 文件。

四、系列文章

🔥 Elasticsearch 核心技术(一):Elasticsearch 安装、配置、运行(Windows 版)
🔥 Elasticsearch 核心技术(二):elasticsearch-head 插件安装和使用
🔥 Elasticsearch 核心技术(三):Kibana 安装、配置、运行(Windows 版)
🔥 Elasticsearch 核心技术(四):索引管理、映射管理、文档管理(REST API)
🔥 Elasticsearch 核心技术(五):常用数据类型详解
🔥 Elasticsearch 核心技术(六):内置的 8 种分词器详解 + 代码示例

五、热门专栏

👍 《Python入门核心技术》
👍 《IDEA 教程:从入门到精通》
👍 《Java 教程:从入门到精通》
👍 《MySQL 教程:从入门到精通》
👍 《大数据核心技术从入门到精通》

在这里插入图片描述

相关内容

热门资讯

安装原版系统注意啥,安装原版系... 安装原版系统注意事项全解析随着电脑硬件和软件的不断发展,安装原版系统已经成为许多用户升级或重装电脑系...
暗埋水暖系统安装图,暗埋水暖系... 暗埋水暖系统安装图详解随着现代家居装修的不断发展,暗埋水暖系统因其美观、节能、舒适等特点,越来越受到...
安装系统总是解析错误 安装系统总是解析错误?一文教你轻松解决在安装系统或软件的过程中,你是否遇到过“解析错误”的提示?这种...
安装系统组件失败 系统组件安装失败?一文教你排查与解决在电脑使用过程中,我们经常会遇到系统组件安装失败的问题。这不仅影...
白酒过滤系统安装,确保酒质纯净... 白酒过滤系统安装指南:确保酒质纯净的关键步骤随着白酒行业的不断发展,对酒质的要求越来越高。过滤系统作...
昂达双系统出现系统安装,昂达双... 昂达双系统安装常见问题及解决方法一、昂达双系统安装前的准备工作在安装昂达双系统之前,我们需要做好以下...
清华同方安装那个系统好,哪个系... 清华同方电脑安装系统推荐:哪个系统更适合您?Windows 10:功能全面,兼容性强Windows ...
北京管道新风系统安装,打造健康... 北京管道新风系统安装指南:打造健康呼吸环境随着城市化进程的加快,空气质量问题日益受到关注。安装管道新...
宝山区消防系统设备安装,宝山区... 宝山区消防系统设备安装,筑牢安全防线随着城市化进程的加快,消防安全问题日益凸显。宝山区作为上海市的重...
安装香氛系统教程图解,小蜜芬香... 安装香氛系统教程图解随着汽车科技的不断发展,越来越多的车主开始关注车内环境的舒适度。香氛系统作为一种...
吧台收银系统安装教程,轻松实现... 吧台收银系统安装教程:轻松实现高效点餐与收银随着餐饮行业的快速发展,吧台收银系统的应用越来越广泛。本...
按照步骤安装系统,电脑安装系统... 电脑安装系统步骤详解随着电脑使用时间的增长,系统可能会出现卡顿、运行缓慢等问题。这时,重装系统是一个...
安装信息查询系统简报 安装信息查询系统简报随着信息化时代的到来,安装信息查询系统在各个领域中的应用越来越广泛。本文将为您详...
斑马系统怎么安装应用,斑马系统... 斑马系统安装应用全攻略随着智能汽车的发展,斑马系统作为国内领先的智能车机系统,为广大车主提供了丰富的...
安卓系统安装在电脑上,轻松实现... 电脑安装安卓系统:轻松实现双系统体验一、准备工作在开始安装安卓系统之前,我们需要做一些准备工作。1....
把手机系统安装在盘里,手机系统... 手机系统安装到盘里的详细步骤随着智能手机的普及,越来越多的用户开始关注手机系统的安装和升级。将手机系...
安装系统怎样清除分区,全面指南 安装系统前如何清除分区:全面指南在安装操作系统之前,清除分区是一个重要的步骤,它可以帮助确保系统安装...
安装系统自带xps,电脑xps... 如何安装Windows 10系统自带的XPS查看器随着Windows 10系统的普及,许多用户可能会...
保密管理系统安装包,全方位数据... 保密管理系统安装包:全方位数据安全守护神随着信息化时代的到来,数据安全成为企业和机构关注的焦点。保密...
把证书安装到系统,数字证书下载... 如何将证书安装到系统随着信息技术的不断发展,证书在网络安全中扮演着越来越重要的角色。证书的安装对于确...