目录
前言
1、开发中常用的 IDEA 编辑器,如何做到不用每次都重新配置?
2、如何使用 Python 获取视频文件信息?
3、使用 Java 的 try-with-resources 优化代码
4、使用 shell 脚本批量修改服务器某一目录下的文件后缀名称
5、MySQL优化:使用varchar替代char
6、如何升级 ES-7.8.0 的 log4j 版本?
7、spring 自带定时任务的使用
8、Windows 系统如何自定义命令?
9、解决http请求报401,invalid token问题
10、Redis 键过期问题
由于最近比较忙,没有多少时间去写专题的博文,而且在平时工作和学习中,也会产生不少的碎片化知识点或问题。基于目前这些情况,经过一番思考,自己就计划每周进行一次总结梳理,并以博文的形式记录下来,希望提升技术的同时也保持写作能力吧~
目前自己是以 Java 为主的,并且工作需要会使用到许多的流行框架,中间件及工具。另外,自己也对 Python 和其他脚本语言感兴趣,这样的话涉及的技术栈看起来就比较广泛了,就很容易产生多而不精的问题。因此,通过每周的一次碎片化知识总结和梳理,逐步构建起属于自己的知识体系,也可以温故而知新。
那就从三月份开始吧,将平时只躺在笔记里的知识点利用起来!
工作中可能会遇到 IDEA 需要卸载重装,或者换电脑了去安装 IDEA 等情况,而每次安装 IDEA 就意味着需要重新去做一些配置,比如:设置快捷键、定义字体等格式、设置 maven 仓库位置等。有没有什么方法不用重新配置呢?当然有。
如果自己习惯了以前使用的 IDEA 编辑器设置,此时将之前的设置导出,然后再导入新的 IDEA 就可以避免重新配置 IDEA 的情况,具体操作如下:
<1>. 原 IDEA 编辑器,打开一个项目 => File => Manage IDE Settings => Export Settings...
<2>. 根据需求勾选导出的选项,选择导出路径等,默认为settings.zip文件,如下:
<3>. 重新安装 IDEA 后,选择通过 IDEA 刚开始界面导入settings.zip,也可以先打开某个项目再导入settings.zip。
由此,就可以继续保持之前 IDEA 的设置了。
Python 作为一门强大的解释性编程语言,离不开第三方模块的支持。通过 Python 获取视频文件信息,比如视频大小,fps,时长等,需要引入第三方模块 moviepy。
获取视频属性,演示如下:
import os
from moviepy import editorvideo_clip = editor.VideoFileClip(r"超级奶爸.mp4")# 获取宽度和高度
print(video_clip.size)
print(video_clip.w, video_clip.h)# 获取 fps
print(video_clip.fps)# 获取时长,单位是秒
print(video_clip.duration)# 获取大小
size = os.stat(r"超级奶爸.mp4").st_size
print(size)
print(size / 1024 ** 2)
此外,该三方模块还可用于一些像剪切,拼接,插入标题等基本操作、视频合成、视频处理、创建高级特效等,如果感兴趣的话,可以通过 moviepy · PyPI 进行深入了解。
try-with-resource 是 Java7 引入的异常处理机制,相比于 try-catch-finally 语句而言,有以下优点:
下面通过实现一个简单的文件复制功能,感受下优化效果。
使用 try-catch-finally:
public static void copy1(String src, String dst) {InputStream in = null;OutputStream out = null;try {in = new FileInputStream(src);out = new FileOutputStream(dst);byte[] buff = new byte[1024];int n;while ((n = in.read(buff)) >= 0) {out.write(buff, 0, n);}} catch (IOException e) {e.printStackTrace();} finally {if (in != null) {try {in.close();} catch (IOException e) {e.printStackTrace();}}if (out != null) {try {out.close();} catch (IOException e) {e.printStackTrace();}}}
}
使用 try-with-resource:
public static void copy2(String src, String dst) {try (InputStream in = new FileInputStream(src);OutputStream out = new FileOutputStream(dst)) {byte[] buff = new byte[1024];int n;while ((n = in.read(buff)) >= 0) {out.write(buff, 0, n);}} catch (IOException e) {e.printStackTrace();}
}
感受两种方式的代码,一目了然,使用 try-with-resources 会觉得整个世界清爽多了!!
如题描述,实现步骤如下:
<1>. 使用 touch 命令创建一个脚本文件,比如 rename.sh,放在批量修改文件后缀的目录下。
<2>. 使用 vi/vim 命令编辑该脚本:
#!/bin/bashfor i in $(find . -name "*.$1")
doname=$(echo $i | awk -F ".$1" '{print $1}');mv $i $name.$2;
done
<3>. 保存并退出后,赋予执行权限:chmod +x rename.sh。
<4>. 执行脚本,比如把 .txt 改成 .aaa:
./rename.sh txt aaa
有时候设计 MySQL 数据库表的字段类型时,需要考虑的东西有很多,就比如字符串类型的字段,为什么大多数场景下都使用varchar类型呢?
首先,了解下二者的区别:char 是按声明大小存储,不足时补空格,而 varchar 是按数据实际长度存储。这样的话,在节约存储空间方面 varchar 明显优于 char 。其实,到底该使用 varchar 还是 char ?是需要区分场景的!
对于经常被修改的字段,且每次修改的长度都不一样,如果定义成 varchar 类型的话,容易引起"行迁移"现象,这种现象是需要避免发生的!
正常情况下,字段都需要定义成 varchar 类型,如果定义 char 类型的话,由于插入数据时不足会补充空格,而查询操作则需要额外去除掉这些空格才行,不仅浪费存储空间,操作也比较麻烦!
背景:因为之前 log4j 出现了严重的漏洞,最近工作中需要排查并替换掉 ES 的 log4j 版本。
操作步骤,如下:
<1>. 升级 jar 包准备,可去 apache 官网下载对应版本。
<2>. 先终止服务器上的 ES 服务,kill -9 进程号。
<3>. 使用 find 命令,查找 ES 安装目录下存在的 log4 j的 jar 包:
[xxw@123456 es]$ find ./elasticsearch-7.8.0/ -name 'log4j*.jar'
./elasticsearch-7.8.0/modules/x-pack-identity-provider/log4j-slf4j-impl-2.11.1.jar
./elasticsearch-7.8.0/modules/x-pack-security/log4j-slf4j-impl-2.11.1.jar
./elasticsearch-7.8.0/modules/x-pack-core/log4j-1.2-api-2.11.1.jar
./elasticsearch-7.8.0/lib/log4j-core-2.11.1.jar
./elasticsearch-7.8.0/lib/log4j-api-2.11.1.jar
<4>. 移动这些jar包到临时的备份目录(出现意外时可回滚这些文件)。
<5>. 将新jar包对应替换:
cp log4j-slf4j-impl-2.17.1.jar ./elasticsearch-7.8.0/modules/x-pack-identity-provider/
cp log4j-slf4j-impl-2.17.1.jar ./elasticsearch-7.8.0/modules/x-pack-security/
cp log4j-1.2-api-2.17.1.jar ./elasticsearch-7.8.0/modules/x-pack-core/
cp log4j-core-2.17.1.jar ./elasticsearch-7.8.0/lib/
cp log4j-api-2.17.1.jar ./elasticsearch-7.8.0/lib/
<6>. 替换之后,使用 find 命令确认是否替换完成:
[xxw@123456 es]$ find ./elasticsearch-7.8.0/ -name 'log4j*.jar'
./elasticsearch-7.8.0/modules/x-pack-identity-provider/log4j-slf4j-impl-2.17.1.jar
./elasticsearch-7.8.0/modules/x-pack-security/log4j-slf4j-impl-2.17.1.jar
./elasticsearch-7.8.0/modules/x-pack-core/log4j-1.2-api-2.17.1.jar
./elasticsearch-7.8.0/lib/log4j-core-2.17.1.jar
./elasticsearch-7.8.0/lib/log4j-api-2.17.1.jar
<7>. 重启 ES 服务,并进行验证 ES 服务是否正常运行。
启动方式有以下2种:
查看进程验证:jps 或 ps -ef|grep elasticsearch
发送请求验证:curl http://宿主机IP:配置端口号/
背景:项目使用的是 springboot,需要用到定时任务去执行某项重复操作。由于这个操作的需求简单,没必要引入 xxl-job 中间件(主要是考虑中间件的部署和维护成本高),于是就采用 spring 框架自带的定时任务实现。做法也很简单,主要有两步。
第一步,自定义 Job 类和 task 方法,演示如下:
@Component
@Slf4j
public class OpearJob {/*** 定时任务,每10分钟执行一次*/@Scheduled(cron = "0 0/10 * * * ?")public void processDataTask() {log.info("OpearJob.processDataTask() | 当前Job执行时间:{}", new SimpleDateFormat("yyyyMMddHHmmss").format(new Date()));// 执行逻辑......}
}
第二步,在启动类添加注解 @EnableScheduling。
Windows 是平时办公中经常会使用的操作系统,通过 win + r 快捷键出现的弹框里输入 cmd 命令,就可以召唤出黑窗口。
按照这种方式,是否也可以把桌面上一大堆的应用程序快捷键给干掉,然后通过自定义的命令召唤并打开对应的应用程序呢?当然可以了,只不过要进行一些设置。
<1>. 在任意磁盘分区下新建文件,可命名为 shortcut,这里我选择的是F盘。
<2>. 将文件或软件的快捷方式移动到 shortcut 文件夹下,并改个好记的名字(如微信:wx)。
<3>. 打开高级系统设置-环境变量设置,在系统变量的 Path 下添加 shortcut 路径(本人的是F:\shortcut\)。
<4>. 设置完成后,win+r,如键入wx即可打开微信应用程序了。
通过这一通操作,Windows 桌面就干净多了,程序员应该如此嘛,哈哈哈~~
背景:之前使用 postman 调用请求接口一直都是正常的,某天请求时突然出现了 401 结果码,看上去是 token 失效了?然而这个项目并不会使用到 token,首次遇到这种情况就感到很疑惑!
{"code": "401","msg": "invalid token"
}
当时这个问题困扰我了一天多,最终被排查到原因并得以解决。
第一阶段,问度娘。度娘上虽然都是描述 token 失效问题,但大家遇到的情况和我的完全不一样,刚开始尝试了其中的一些方法,均不奏效!!
第二阶段,静下来思考 token 的可能来源。其实,token 是一串服务器返回的随机字符串,用于访问服务器的身份令牌,如果接口请求中携带的 token 过期,则阻止用户访问没有登录的页面。
当前项目的接口请求并不会携带 token,那么这个 token 会不会是某个 jar 包里带进来的呢,为了验证这个想法,需要对项目引入的 jar 包做下排查,排查关键字有 token、auth、shiro 等,确实发现了几个可疑 jar 包,如下:
接着,尝试排除掉这些 jia 包,我通过 IDEA 下载了 maven helper 插件,通过依赖树可找到这些 jar 包,如下:
右键选择 "Exclude",就可以在 pom.xml 排除相关的 jar 包了,如下:
排除 jar 包后,重新编译和启动项目,发送请求就正常了,如下:
就此原因就找到了,是因为引入的工具包里包含了验证 token 的 jar 包!!!
这一部分会涉及到,如何设置、查询、删除过期键等基本操作?过期键删除策略有哪些及 Redis 使用何种策略?持久化功能和复制功能中是如何处理键过期问题的?Redis 未通过 过期键删除策略 删除过期键有可能导致内存满的问题,该怎么解决呢?
命令如下:
// 设置键在指定时间 秒数 或 毫秒数 之后到期/过期
SET key value ex seconds
EXPIRE key seconds
PEXPIRE key milliseconds
// 设置在指定 时间戳(Unix时间戳格式) 之后键到期/过期
EXPIREAT key seconds-timestamp
PEXPIREAT key milliseconds-timestamp
// 获取键的剩余到期时间(秒数 或 毫秒数)
TTL key
PTTL key
// 取消指定键的过期时间,得永生
PERSIST key
如果 Redis 数据库的键过期时间到了,会有三种删除策略可供选择,优缺点从内存和 CPU 时间角度考虑:
第一种,定时删除:
概念:创建定时器 timer,键过期时间到来时,立即删除过期的键。
优点:会尽快释放内存。
缺点:在不要求内存但要求 CPU 时间的情况下,创建 timer 并执行删除过期键的操作会占用 CPU 时间,对服务器响应时间和吞吐量造成影响。(如:有大量的命令请求等待服务器处理时,服务器会优先将 CPU 的时间放在处理请求上面,而通过这种策略删除数量比较多的过期键时,明显是不合理的)
第二种,惰性删除:
概念:只有 get 键时才去检查这个键是否过期,过期的话会被删除。
优点:对 CPU 较友好。
缺点:很明显对内存不友好,大量过期无用的键被积压会占用大量内存,对于依赖内存的 Redis 服务器来说是很严重的问题,甚至可能会造成内存泄露。
第三种,定期删除:
概念:可以理解为介于定时删除和惰性删除的一种折中策略。
难点:定期删除策略要控制好执行时长和频率,否则可以会退化成定时删除策略或者惰性策略。
第一、三种是一种主动删除策略,而第二种是被动删除策略,实际上 Redis 服务器使用的是第二、三种键过期删除策略。
定期删除时,Redis 默认每个 100ms 检查,有过期 Key 则删除。需要说明的是,Redis 不是每个 100ms 将所有的 Key 检查一次,而是随机抽取进行检查。如果只采用定期删除策略,会导致很多 Key 到时间没有删除,这样惰性删除派上用场。
RDB持久化:
AOF持久化:
复制:
比如:存在一对主从服务器,在进行交互的时候,过期键的删除是主服务器控制的。
如果 Redis 的过期键删除策略未生效,会导致内存中的数据越来越多,可能出现内存爆满的情况,内存满了之后该怎么办呢?Redis 提供了以下六种内存淘汰策略:
设置过期时间的键空间移除
全局性的键空间移除
#在 redis.conf 中开启内存淘汰策略配置:
maxmemory-policy volatile-lru
三月第一周总结梳理,就到这~
下一篇:c# 源生成器