1、文本去重 uniq
usage: uniq [-ic]
-i 忽略大小写
-c 计算重复行数
$ cat aa.txt
bb 3
aa 2
bb 3
bb 3
aa 2
$ cat aa.txt | sort -t" " -k 2| uniq -ic
2 aa 2
3 bb 3
2、使用 cut 截取文本
usage：
usage: cut -b list [-n] [file ...]
cut -c list [file ...]
cut -f list [-s] [-d delim] [file ...]
cut -f 指定的列 -d "分隔符"
cut -c 指定列的字符
eg：
cut -f 1,3 -d ":" file #获取文件中：分割后的第一 、三列
cut -f 1-3 -d ":" file #获取文件中：分割后的第一至第三列
eg:获取文件中的第一列
$ cat aa.txt
bb 3
aa 2
bb 3
bb 3
aa 2
$ cat aa.txt | cut -f 1 -d " "
bb
aa
bb
bb
aa
# 获取文件中第一个字符
$ cat aa.txt | cut -c 1
b
a
b
b
a
# 获取文件中第一个和第二个字符
$ cat aa.txt | cut -c 1-2
bb
aa
bb
bb
aa
3、tr 进行文本转换
usage: tr [-Ccsu] string1 string2
tr [-Ccu] -d string1
tr [-Ccu] -s string1
tr [-Ccu] -ds string1 string2
eg:
# 将小写替换成大写输出
$ cat aa.txt | tr '[a-z]' '[A-Z]'
BB 3
AA 2
BB 3
BB 3
AA 2
#替换文本中指定内容
$ cat aa.txt | tr “aa” "AA"
bb 3
AA 2
bb 3
bb 3
AA 2
4、paste 文本合并
usage：
paste [-d "分隔符"] fileA fileB
# 将A b两个文件用“：”分隔后，进行拼接，
$ cat A.txt
a
b
c
d
$ cat B.txt
2
3
4
5
6
7
$ paste -d ":" A.txt B.txt
a:2
b:3
c:4
d:5
:6
:7
5、使用split分割大文件
usage: split [-a sufflen] [-b byte_count] [-l line_count] [-p pattern]
[file [prefix]]
-l 按行分割
-b 按照文件大小分割 #二进制文件无行的概念，只能按照指定的大小进行分割
eg：
$ split -l 10 demo.txt split_dir/ #按照每10行分割demo.txt文件 ，将分割的文件保存到split_dir 文件夹中
$ cd split_dir/
$ ls # 查看分割文件目录，可以看到分割的众多子文件
aa ac ae ag ai ak am ao aq as au aw ay ba
ab ad af ah aj al an ap ar at av ax az bb
$ split -b 1m demo.txt split_dir/ #按照每个分割文件1m的大小分割文件
