如何用 awk sed 命令统计一个 Unix/Linux 系统中文件大小的分布情况?
admin
2024-02-10 03:16:28
0

前言

        测试过程中,将操作系统的结果差异性考虑其中。

问题

SoftwareTeacher看了《Unix 传奇》一书,想起很久以前读 Unix 文件系统设计思想的时候,里面提到Unix 的很多文件大小在 4K 以下。他提了一个问题

“怎么能用Unix 的awk, sed 和其它 shell 命令统计出你当前 Unix/Linux 系统上 所有文件大小的分布情况? (小于1K, 1K - 4K, 4K - 1M, 1M - 10M, 10M - 1G, 1G 以上)”

下面是基本实现思路:

  1. 使用命令列出目录下的所有文件信息
  2. 使用命令过滤出文件名和文件大小的列
  3. 使用命令统计不同文件大小的个数并计算百分比打印
  4. 使用管道把上述1/2/3组合起来

下面意义对这四步进行分解

一  使用命令列出目录下的所有文件信息

ls -Rla
lkmao@ubuntu:~/01$ ls -Rla
.:
总用量 40
drwxrwxr-x  3 lkmao lkmao 4096 11月 23 13:35 .
drwxrwxr-x 57 lkmao lkmao 4096 11月 23 13:34 ..
-rwxrwxr-x  1 lkmao lkmao 9208 11月 23 13:18 a.out
-rw-rw-r--  1 lkmao lkmao  732 11月 23 10:00 file.c
-rw-rw-r--  1 lkmao lkmao  662 11月 22 22:28 fork.c
-rw-rw-r--  1 lkmao lkmao 4642 11月 23 13:25 hello.txt
drwxrwxr-x  2 lkmao lkmao 4096 11月 23 13:35 test./test:
总用量 12
drwxrwxr-x 2 lkmao lkmao 4096 11月 23 13:35 .
drwxrwxr-x 3 lkmao lkmao 4096 11月 23 13:35 ..
-rw-rw-r-- 1 lkmao lkmao    6 11月 23 13:35 1.txt
lkmao@ubuntu:~/01$

 

二 使用命令过滤出文件名和文件大小的列

使用awk命令找出第5列和第9列。从结果看,其中有空格存在。

lkmao@ubuntu:~/01$ ls -Rla | awk '{print $9,$5}'. 4096
.. 4096
a.out 9208
file.c 732
fork.c 662
hello.txt 4642
test 4096. 4096
.. 4096
1.txt 6
lkmao@ubuntu:~/01$

三 使用sed命令删除空行 

这个依然需要分解为几部

1 将命令ls和awk的执行结果输出到一个文件2.txt中

2 使用sed -i 将该文件中的空格,点号,Tab键删除

3 过滤掉结果中的目录

3 使用cat查看2.txt文件

ls -Rla | awk '{print $9,$5}' > 2.txt
lkmao@ubuntu:~/01$ cat 2.txt. 4096
.. 4096
2.txt 0
a.out 9208
file.c 732
fork.c 662
hello.txt 4642
test 4096
xixi.sh 258. 4096
.. 4096
1.txt 6
lkmao@ubuntu:~/01$ 

 查看更新后的2.txt

lkmao@ubuntu:~/01$ cat 2.txt
. 4096
.. 4096
2.txt 0
a.out 9208
file.c 732
fork.c 662
hello.txt 4642
test 4096
xixi.sh 258
. 4096
.. 4096
1.txt 6
lkmao@ubuntu:~/01$ 

从结果中可知,有当前目录"." 和父目录".."这两个也需要删掉

打印2.txt中以点号"."开头的行:

lkmao@ubuntu:~/01$ sed -n '/^\./p' 2.txt
. 4096
.. 4096
. 4096
.. 4096
lkmao@ubuntu:~/01$

删除2.txt中以点号"."开头的行:

lkmao@ubuntu:~/01$ sed -i '/^\./d' 2.txt
lkmao@ubuntu:~/01$ cat 2.txt
2.txt 0
a.out 9208
file.c 732
fork.c 662
hello.txt 4642
test 4096
xixi.sh 258
1.txt 6
lkmao@ubuntu:~/01$

使用wc -l数行数,验证结果是否正确:如下所示,两种验证结果相同。

lkmao@ubuntu:~/01$ ls -ls | wc -l
8
lkmao@ubuntu:~/01$ cat 2.txt | wc -l
8
lkmao@ubuntu:~/01$

 

四 使用命令统计不同文件大小的个数并计算百分比打印

这一步直接使用前三步的成果2.txt文件。虽然有

验证1:xixi.sh

验证目标:输出小于100字节的文件名字和大小

cat 2.txt | awk '
BEGIN{size[0]="0-100"tatol=0
}
($2 <= 100){a[0]++}
($2 <= 100){print "size[i]","name:",$1,"size:",$2}
{total++
}
END{for(i=0;i

执行结果:使用source执行文件,从执行结果可知,找到了1.txt和2.txt,但是,这不是我们想要的结果。需要重写。

lkmao@ubuntu:~/01$ source xixi.sh
size[i] name: 2.txt size: 0
size[i] name: 1.txt size: 6
0-100 file count:2 percent: 25 %
lkmao@ubuntu:~/01$

验证2:xixi.sh

测试的时候,删除其他的.txt文件。然后中间文件放到了父目录中

ls -RlA | awk '{print $9,$5}' > ../4.txt
sed -i '/^[ \t]$/d' ../4.txt
cat ../4.txt | awk 'BEGIN{size[0]="0-100"tatol=0
}
($2 <= 100){a[0]++}
($2 <= 100){print "size[i]","name:",$1,"size:",$2}{total++}END{for(i=0;i

测试结果:

lkmao@ubuntu:~/01$ source xixi.sh
size[i] name: 1.txt size: 6
0-100 file count:1 percent: 14.2857 %
lkmao@ubuntu:~/01$

验证3:xixi.sh

计算小于1024字节和大于1024字节的文件个数和占比:

#!/bin/bash
ls -RlA | awk '{print $9,$5}' > ../4.txt
sed -i '/^[ \t]$/d' ../4.txt
cat ../4.txt | awk 'BEGIN{size[0]="0-1024"size[1]=">1024"tatol=0
}
($2 <= 1024){a[0]++}
($2 > 1024){a[1]++}{total++}END{for(i=0;i
lkmao@ubuntu:~/01$ source xixi.sh
0-1024 file count:4 percent: 57.1429 %
>1024 file count:3 percent: 42.8571 %
lkmao@ubuntu:~/01$

小结

相关内容

热门资讯

【MySQL】锁 锁 文章目录锁全局锁表级锁表锁元数据锁(MDL)意向锁AUTO-INC锁...
【内网安全】 隧道搭建穿透上线... 文章目录内网穿透-Ngrok-入门-上线1、服务端配置:2、客户端连接服务端ÿ...
GCN的几种模型复现笔记 引言 本篇笔记紧接上文,主要是上一篇看写了快2w字,再去接入代码感觉有点...
数据分页展示逻辑 import java.util.Arrays;import java.util.List;impo...
Redis为什么选择单线程?R... 目录专栏导读一、Redis版本迭代二、Redis4.0之前为什么一直采用单线程?三、R...
【已解决】ERROR: Cou... 正确指令: pip install pyyaml
关于测试,我发现了哪些新大陆 关于测试 平常也只是听说过一些关于测试的术语,但并没有使用过测试工具。偶然看到编程老师...
Lock 接口解读 前置知识点Synchronized synchronized 是 Java 中的关键字,...
Win7 专业版安装中文包、汉... 参考资料:http://www.metsky.com/archives/350.htm...
3 ROS1通讯编程提高(1) 3 ROS1通讯编程提高3.1 使用VS Code编译ROS13.1.1 VS Code的安装和配置...
大模型未来趋势 大模型是人工智能领域的重要发展趋势之一,未来有着广阔的应用前景和发展空间。以下是大模型未来的趋势和展...
python实战应用讲解-【n... 目录 如何在Python中计算残余的平方和 方法1:使用其Base公式 方法2:使用statsmod...
学习u-boot 需要了解的m... 一、常用函数 1. origin 函数 origin 函数的返回值就是变量来源。使用格式如下...
常用python爬虫库介绍与简... 通用 urllib -网络库(stdlib)。 requests -网络库。 grab – 网络库&...
药品批准文号查询|药融云-中国... 药品批文是国家食品药品监督管理局(NMPA)对药品的审评和批准的证明文件...
【2023-03-22】SRS... 【2023-03-22】SRS推流搭配FFmpeg实现目标检测 说明: 外侧测试使用SRS播放器测...
有限元三角形单元的等效节点力 文章目录前言一、重新复习一下有限元三角形单元的理论1、三角形单元的形函数(Nÿ...
初级算法-哈希表 主要记录算法和数据结构学习笔记,新的一年更上一层楼! 初级算法-哈希表...
进程间通信【Linux】 1. 进程间通信 1.1 什么是进程间通信 在 Linux 系统中,进程间通信...
【Docker】P3 Dock... Docker数据卷、宿主机与挂载数据卷的概念及作用挂载宿主机配置数据卷挂载操作示例一个容器挂载多个目...