Elasticsearch 核心技术(七):IK 中文分词器的安装、使用、自定义字典
创始人
2024-05-31 08:08:20
0

在这里插入图片描述

❤️ 博客主页:水滴技术
🚀 支持水滴:点赞👍 + 收藏⭐ + 留言💬
🌸 订阅专栏:大数据核心技术从入门到精通

文章目录

  • 一、安装 IK 分词器
    • 方式一:自行下载并解压安装包
    • 方式二:通过 elasticsearch-plugin 安装
  • 二、使用 IK 分词器
    • ik_max_word
    • ik_smart
  • 三、自定义字典(分词)
    • 本地字典
    • 远程字典
  • 四、系列文章
  • 五、热门专栏


大家好,我是水滴~~

IK 中文分词器是 Elasticsearch 的一个插件,它集成了 Lucene IK analyzer,支持自定义字典。

一、安装 IK 分词器

安装 IK 分词器有两种方式,我们来看一下

方式一:自行下载并解压安装包

  1. 打开 IK 分词器的下载页:
    https://github.com/medcl/elasticsearch-analysis-ik/releases
  2. 选择与 Elasticsearch 相同的版本进行下载,我选择的是 v7.12.1
    在这里插入图片描述
  3. 在你的 Elasticsearch 的安装目录中,找到 plugins 文件,在里面创建一个 elasticsearch-analysis-ik-7.12.1 文件夹,并将下载的安装包解压到该文件夹中。
  4. 最后需要重启 Ealsticsearch 服务后,IK 分词器才能生效。

方式二:通过 elasticsearch-plugin 安装

  1. 同样打开 IK 分词器的下载页:
    https://github.com/medcl/elasticsearch-analysis-ik/releases
  2. 找到与 Elasticsearch 相同的版本,我选择的是 v7.12.1 ,复制下载地址。
    在这里插入图片描述
  3. 进入 Elasticsearch 安装目录,执行安装命令:.\bin\elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.12.1/elasticsearch-analysis-ik-7.12.1.zip
  4. 安装完后,别忘了重启 Elasticsearch 服务。

二、使用 IK 分词器

IK 分词器为我们提供了两种分析器: ik_smartik_max_word,我们分别来使用一下:

ik_max_word

ik_max_word 会将文本做最细粒度的拆分,它会穷尽各种可能的组合,适合 Term Query。

测试分词器:

POST /_analyze
{"analyzer": "ik_max_word","text": "中华人民共和国国歌"
}

分词结果:

[ 中华人民共和国, 中华人民, 中华, 华人, 人民共和国, 人民, 共和国, 共和, 国, 国歌 ]

ik_smart

ik_smart 会做最粗粒度的拆分,适合 Phrase Query。

测试分词器:

POST /_analyze
{"analyzer": "ik_smart","text": "中华人民共和国国歌"
}

分词结果:

[ 中华人民共和国, 国歌 ]

三、自定义字典(分词)

IK 分词器提供了一些扩展配置,可以使我们自定义一些字典。打开 IK分词器插件目录,进入 config 目录,其中 IKAnalyzer.cfg.xml 为 IK 分词器的扩展配置,而扩展名为 .dic 的文件为分词或停止词的词典文件。

在这里插入图片描述

本地字典

我们可以添加一个自己的字典文件,例如:mydict.dic ,该文件要求必须是 UTF-8 格式,每一行为一个分词,例如:

锐龙
酷睿

然后在 IKAnalyzer.cfg.xml 配置文件中,将自定义的字典文件名添加到 ext_dict 配置中,如果有多个文件,中间使用 ; 隔开:



IK Analyzer 扩展配置mydict.dic

配置完后,需要重启 Elasticsearch 服务才能生效。

我做了一个测试,在配置自定义分词前,这句话“联想(Lenovo)小新Pro16 笔记本2023锐龙版”中的“锐龙”会被分隔开。

在这里插入图片描述
加上自定义的字典后,可以看出这两个字是一个词了。
在这里插入图片描述

远程字典

IKAnalyzer.cfg.xml 配置文件的注释中也可以看出,我们还可以配置远程扩展字典,即在remote_ext_dict 配置项中添加一个请求的地址,比如 http://127.0.0.1/getCustomDict,该请求的响应内容格式必须是一行一个分词,换行符使用 \n

如果想要实现热更新 IK 分词的话,该请求需要返回两个头部(header):一个是 Last-Modified,另一个是 ETag。这两个都是字符串类型,只要有一个发生变化,该插件就会去抓取新的分词进而更新词库。这样就可以在不重启 Elasticsearch 服务的情况下,完成词典的更新。

可以将需自动更新的热词放在一个 UTF-8 编码的 .txt 文件里,放在 nginx 或其他简易 http server 下,当 .txt 文件修改时,http server 会在客户端请求该文件时自动返回相应的 Last-Modified 和 ETag。可以另外做一个工具来从业务系统提取相关词汇,并更新这个 .txt 文件。

四、系列文章

🔥 Elasticsearch 核心技术(一):Elasticsearch 安装、配置、运行(Windows 版)
🔥 Elasticsearch 核心技术(二):elasticsearch-head 插件安装和使用
🔥 Elasticsearch 核心技术(三):Kibana 安装、配置、运行(Windows 版)
🔥 Elasticsearch 核心技术(四):索引管理、映射管理、文档管理(REST API)
🔥 Elasticsearch 核心技术(五):常用数据类型详解
🔥 Elasticsearch 核心技术(六):内置的 8 种分词器详解 + 代码示例

五、热门专栏

👍 《Python入门核心技术》
👍 《IDEA 教程:从入门到精通》
👍 《Java 教程:从入门到精通》
👍 《MySQL 教程:从入门到精通》
👍 《大数据核心技术从入门到精通》

在这里插入图片描述

相关内容

热门资讯

安卓系统 看电视软件,便捷观影... 亲爱的手机控们,你是不是也和我一样,对安卓系统上的看电视软件情有独钟?没错,那种随时随地都能追剧的快...
安卓13系统图片备份,随时随地... 亲爱的安卓用户们,你是否在期待着安卓13系统的到来呢?听说这个新系统将会带来许多令人兴奋的新功能,但...
安卓手机系统壁纸大全,海量精美... 你有没有发现,手机屏幕上那一抹色彩,有时候能瞬间提升你的心情呢?没错,说的就是那些精美的壁纸!今天,...
白板 安卓系统内置电脑,融合移... 亲爱的读者,你是否曾想过,在你的安卓手机上,竟然可以变身为一台迷你电脑?没错,这就是今天我要跟你分享...
安卓系统游戏昵称英文,Unlo... 你有没有想过,在安卓系统的游戏世界里,一个独特的昵称能给你带来怎样的不同体验呢?想象当你化身成为一名...
原生安卓6.0系统占用,原生安... 你有没有发现,自从你的手机升级到了原生安卓6.0系统,它的反应速度好像变得不那么敏捷了?别急,今天就...
使命召唤10安卓系统,安卓平台... 亲爱的玩家们,你是否曾在深夜里,手握手机,沉浸在紧张刺激的战场中?今天,我要和你聊聊一款让无数玩家热...
鸣言系统安卓版,畅享智能语音交... 你知道吗?最近我在手机上发现了一个超级酷炫的应用——鸣言系统安卓版!这款应用简直是我的新宠,让我来给...
2020安卓什么系统好,最佳系... 2020年安卓系统哪家强?这个问题可是让不少手机用户头疼不已。毕竟,系统的好坏直接影响到手机的流畅度...
安卓系统有没有捷径,安卓系统快... 你有没有想过,使用安卓系统是不是也能找到一些小窍门,让生活变得更加轻松愉快呢?没错,今天就要来聊聊这...
安卓系统助手推荐软件,解锁手机... 手机里的安卓系统助手可是个宝库,里面藏着各种各样的实用软件。今天,就让我来给你推荐几款超级好用的安卓...
安卓软件集成客服系统,安卓软件... 你有没有发现,现在手机上的安卓软件越来越智能了?它们不仅能帮你解决各种生活琐事,还能提供贴心的客服服...
安卓升鸿蒙系统网卡,网卡驱动适... 你有没有发现,最近你的安卓手机好像有点不一样了?没错,就是那个神秘的鸿蒙系统!听说它已经悄悄地升级了...
安卓系统能看电脑版,安卓系统轻... 你有没有想过,用安卓手机也能轻松浏览电脑上的内容呢?没错,这就是科技的魅力!现在,我就要带你探索安卓...
安卓如何换iphone系统,轻... 你有没有想过,从安卓手机跳转到iPhone,是不是就像是从一个熟悉的小巷拐进了一个充满阳光的大广场呢...
360安卓系统研究,研究生视角... 你知道吗?在智能手机的世界里,有一个系统可是相当出名的,它就是360安卓系统。今天,就让我带你来深入...
安卓纯洁系统怎么设置,实际应用... 你有没有想过,你的安卓手机其实可以更加纯净、高效呢?没错,就是那个安卓纯洁系统!今天,就让我来手把手...
安卓系统自带app目录,App... 你有没有发现,每次打开安卓手机,里面总有一些神秘的文件夹,它们静静地躺在那里,仿佛在诉说着什么秘密?...
安卓系统9安全吗,全面解析其安... 你有没有想过,你的安卓手机里装的那个系统9,是不是真的安全呢?在这个信息爆炸的时代,我们的隐私和安全...
安卓机改双系统,体验双重魅力 你有没有想过,你的安卓手机其实可以变身成双系统战士呢?没错,就是那种可以同时运行两个不同操作系统的神...