该系列是基于牛客Shell题库，针对具体题目进行查漏补缺，学习相应的命令。
刷题链接：牛客题霸-Shell篇。
该系列文章都放到专栏下，专栏链接为：《专栏：Shell》。欢迎关注专栏~
本文知识预告：
- 本文首先复习了
grep、awk、sed、cut等命令的相关用法； - 然后，给出了五种题目的解决方案。
SHELL25 nginx日志分析3-统计访问3次以上的IP
假设nginx的日志我们存储在nowcoder.txt里，格式如下：
192.168.1.20 - - [21/Apr/2020:14:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [21/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [21/Apr/2020:21:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [21/Apr/2020:21:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.23 - - [21/Apr/2020:22:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.24 - - [22/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [22/Apr/2020:15:26:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:08:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:09:20:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:10:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:10:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:14:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:15:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:15:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [23/Apr/2020:16:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.24 - - [23/Apr/2020:20:27:49 +0800] "GET /2/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.25 - - [23/Apr/2020:20:27:49 +0800] "GET /3/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.20 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:20:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.22 - - [23/Apr/2020:22:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
192.168.1.21 - - [23/Apr/2020:23:27:49 +0800] "GET /1/index.php HTTP/1.1" 404 490 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:45.0) Gecko/20100101 Firefox/45.0"
现在需要编写shell脚本统计访问3次以上的IP，你的脚本应该输出：
6 192.168.1.22
5 192.168.1.21
4 192.168.1.20
相关命令学习
awk：文本和数据进行处理的编程语言
awk命令来自于三位创始人”Alfred Aho，Peter Weinberger, Brian Kernighan “的姓氏缩写，其功能是用于对文本和数据进行处理的编程语言。使用awk命令可以让用户自定义函数或正则表达式对文本内容进行高效管理，与sed、grep并称为Linux系统中的文本三剑客。
语法格式：awk 参数 文件
常用参数：
| 参数 | 功能 |
|---|---|
-F | 指定输入时用到的字段分隔符 |
-v | 自定义变量 |
-f | 从脚本中读取awk命令 |
-m | 对val值设置内在限制 |
常用的awk内置变量：
awk语法由一系列条件和动作组成，在花括号内可以有多个动作，多个动作之间用分号分隔，在多个条件和动作之间可以有若干空格，也可以没有。
| 变量名称 | 说明 |
|---|---|
FILENAME | 当前输入文档的文件名 |
FNR | 当前输入文档的当前行号，尤其当多个输入文档时有用 |
FS | 设置字段分隔符，默认为空格或制表符 |
NF | 当前记录（行）的字段（列）个数 |
NR | 输入数据流的当前记录数（行号） |
OFS | 输出字段分隔符，默认为空格 |
ORS | 输出记录分隔符，默认为换行符 |
RS | 输入记录分隔符，默认为换行符 |
awk是一种处理文本文件的编程语言，文件的每行数据都被称为记录，默认以空格或制表符为分隔符，每条记录被分成若干字段（列），awk每次从文件中读取一条记录。
gawk命令 – 模式扫描与处理语言
gawk是Unix中原始awk程序的GNU版本，强大之处在于可以写脚本来读取文本行的数据，然后处理并显示数据。
语法格式：gawk [参数]
常用参数：
-f | 从文件程序文件读取AWK程序源，而不是从第一个命令行参数。可以使用多个-f选项 |
|---|---|
-F | 指定描绘一行中数据字段的文件分隔符 |
-v | 定义gawk程序中使用的变量和默认值 |
-mr | 指定数据文件中的最大记录大小 |
sort：对文件内容进行排序
sort命令的功能是对文件内容进行排序。有时文本中的内容顺序不正确，一行行地手动修改实在太麻烦了。此时使用sort命令就再合适不过了，它能够对文本内容进行再次排序。
语法格式：sort [参数] 文件
常用参数：
-b | 忽略每行前面开始出的空格字符 |
|---|---|
-c | 检查文件是否已经按照顺序排序 |
-d | 除字母、数字及空格字符外，忽略其他字符 |
-f | 将小写字母视为大写字母 |
-i | 除040至176之间的ASCII字符外，忽略其他字符 |
-m | 将几个排序号的文件进行合并 |
-M | 将前面3个字母依照月份的缩写进行排序 |
-n | 依照数值的大小排序 |
-o <输出文件> | 将排序后的结果存入制定的文件 |
-r | 以相反的顺序来排序 |
-t <分隔字符> | 指定排序时所用的栏位分隔字符 |
-k | 指定需要排序的栏位 |
-s | 通过禁用最后的比较来稳定排序 |
sed：批量编辑文本文件
sed命令来自于英文词组“stream editor”的缩写，其功能是用于利用语法/脚本对文本文件进行批量的编辑操作。sed命令最初由贝尔实验室开发，后被众多Linux系统接纳集成，能够通过正则表达式对文件进行批量编辑，让需要重复的工作不再浪费时间。
sed是非交互式的编辑器。它不会修改文件，除非使用shell重定向来保存结果。默认情况下，所有的输出行都被打印到屏幕上。sed编辑器逐行处理文件（或输入），并将结果发送到屏幕。
sed命令行格式为：
sed [-nefri] ‘command’ 输入文本
常用选项：
-n：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN的资料一般都会被列出到萤幕上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。-e：直接在指令列模式上进行 sed 的动作编辑；-f：直接将 sed 的动作写在一个档案内， -f filename 则可以执行 filename 内的sed 动作；-r：sed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法)-i：直接修改读取的档案内容，而不是由萤幕输出。
常用命令：
a：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～c：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！d：删除，因为是删除啊，所以 d 后面通常不接任何咚咚；i：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；p：列印，亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起运作～s：取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g！g：是行内进行全局替换
常用参数：
| 参数 | 功能 |
|---|---|
-e | 以指定的脚本来处理输入的文本文件 |
-f | 以指定的脚本文件来处理输入的文本文件 |
-h | 显示帮助 |
-n | 仅显示script处理后的结果 |
-V | 显示版本信息 |
uniq：去除文件中的重复内容行
uniq命令来自于英文单词unique的缩写，中文译为独特的、唯一的，其功能是用于去除文件中的重复内容行。uniq命令能够去除掉文件中相邻的重复内容行，如果两端相同内容中间夹杂了其他文本行，则需要先使用sort命令进行排序后再去重复，这样保留下来的内容就都是唯一的了。
划重点：去除相邻重复内容行！
语法格式：uniq [参数] 文件
常用参数：
-c | 打印每行在文本中重复出现的次数 |
|---|---|
-d | 每个重复纪录只出现一次 |
-u | 只显示没有重复的纪录 |
cut：按列提取文件内容
cut命令的功能是用于按列提取文件内容。常用的grep命令仅能对关键词进行按行提取过滤，而cut命令则是可以根据指定的关键词信息，针对特定的列内容进行过滤。
语法格式：cut [参数] 文件
常用参数：
-c | 以字符为单位进行分割 |
|---|---|
-b | 以字节为单位进行分割 |
-d | 自定义分隔符，默认为制表符”TAB” |
-f | 显示指定字段的内容 |
-n | 取消分割多字节字符 |
--complement | 补足被选择的字节、字符或字段 |
--out-delimiter | 指定输出内容是的字段分割符 |
题目解决方案
方法一：awk+sort
awk '{a[$1]++
} END{for(i in a) if(a[i]>3) {print a[i],i}
}' | sort -r
方法二：awk+sort+uniq
awk '{print $1}' | sort | uniq -c | awk '{if($1>3) {print $1,$2}}' | sort -r
方法三：awk+sort+uniq+sed
cat nowcoder.txt | awk '{print $1}' | sort | uniq -c | sort | sed -n '4,$p' | sort -r | awk '{print $1,$2}'
方法四：cut+sort+uniq+sed+awk
cut -d ' ' -f 1 | sort -r | uniq -c | sed 's/^ *//' | awk '{if($1>3){print $1" "$2}}'
方法五：gawk+sort+uniq+sort
gawk -F ' ' '{print $1}' nowcoder.txt | sort | uniq -c | gawk '{if($1>3) print $1,$2}' | sort -r
版权声明：除非特别标注，否则均为本站原创文章，转载时请以链接形式注明文章出处。