❀My学习Linux命令小记录（6）❀

(ps.awk 是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入(std in)、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk有很多内建的功能，比如数组、函数等，这是它和C语言的相同之处，灵活性是awk最大的优势。之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符。)

基本语法：

awk [选项参数] ‘script‘ var=value file(s)

或

awk [选项参数] -f script file var=value file(s)

选项:

-F fs fs指定输入分隔符，fs可以是字符串或正则表达式，如-F:

–v var=val ue 赋值一个用户定义变量，将外部变量传递给awk

-f scripfile 从脚本文件中读取awk命令

-m[fr] val 对val值设置内在限制，-mf选项限制分配给val的最大块数目；-mr 选项限制记录的最大数目。这两个功能是Bell 实验室版awk的扩展功能，在标准awk中不适用。

模式可以是以下任意一个：

/正则表达式/：使用通配符的扩展集。

关系表达式：使用运算符进行操作，可以是字符串或数字的比较测试。

模式匹配表达式：用运算符~（匹配）和!~（不匹配）。

BEGIN语句块、pattern 语句块、END语句块：参见awk的工作原理

awk内置变量（预定义变量）：

说明：[A][N][P][G]表示第一个支持变量的工具，[A]=awk、[N]=nawk、[P]=POSIXawk、[G]=gawk

**$n** 当前记录的第n个字段，比如n为1表示第一个字段，n为2表示第二个字段。

**$0** 这个变量包含执行过程中当前行的文本内容。

[N] **ARGC** 命令行参数的数目。

[G] **ARGIND** 命令行中当前文件的位置（从0开始算）。

[N] **ARGV** 包含命令行参数的数组。

[G] **CONVFMT** 数字转换格式（默认值为%.6g）。

[P] **ENVIRON** 环境变量关联数组。

[N] **ERRNO** 最后一个系统错误的描述。

[G] **FIELDWIDTHS** 字段宽度列表（用空格键分隔）。

[A] **FILENAME** 当前输入文件的名。

[P] **FNR** 同NR，但相对于当前文件。

[A] **FS** 字段分隔符（默认是任何空格）。

[G] **IGNORECASE** 如果为真，则进行忽略大小写的匹配。

[A] **NF** 表示字段数，在执行过程中对应于当前的字段数。

[A] **NR** 表示记录数，在执行过程中对应于当前的行号。

[A] **OFMT** 数字的输出格式（默认值是%.6g）。

[A] **OFS** 输出字段分隔符（默认值是一个空格）。

[A] **ORS** 输出记录分隔符（默认值是一个换行符）。

[A] **RS** 记录分隔符（默认是一个换行符）。

[N] **RSTART** 由mat ch 函数所匹配的字符串的第一个位置。

[N] **RLENGTH** 由mat ch函数所匹配的字符串的长度。

[N] **SUBSEP** 数组下标分隔符（默认值是34）。

实例：

#awk ‘{print $1,$2,$5}’ OFS=” $ “ log.txt #指定字段分隔符$

用法一：

awk ‘{[pattern] action}’ {file names} # 行匹配语句 awk ‘ ‘ 只能用单引号

实例：

#awk ‘{print $1,$4}’ log.txt # 每行按空格或TAB分割，输出文本中的1、4项

用法二：

awk -F #-F相当于内置变量FS, 指定分割字符

实例：

#awk -F , ‘{print $1,$2}’ log.txt # -F使用”,“分割

#awk ‘BEGIN{FS=”,”} {print $1,$2}’ log.txt #或者使用内建变量指定字段分隔符,

#awk ‘ BEGIN{FS=” —- “} {print $1,$2,$3}’ 111 #指定字段分隔符—-

用法三：

awk –v # 设置变量

实例：

#awk –v a=1 ‘{print $1,$1+a}’ log.txt #-v设置变量a=1，打印1，2项

#awk –v a=1 -v b=s ‘{print $1,$1+a,$1b}’ log.txt #-v设置变量a=1,b=s，打印1，2项并加上s

用法四：

awk -f {awk脚本} {文件名}

实例：

# awk -f cal.awk log.txt

使用正则字符串匹配

#awk ‘$2 ~ /th/ {print $2,$4}’ log.txt # 输出第二列包含 “th”，并打印第二列与第四列

~ 表示模式开始。// 中是模式。

#awk ‘ /re/ ‘ log.txt # 输出包含 “re” 的行

#awk ‘BEGIN{IGNORECASE=1} /this/’ log.txt # 忽略大小写

awk脚本基本结构

awk ‘BEGIN{ pr int “start” } pattern{ commands } END{ pr int “end” }’ file

一个awk脚本通常由：BEGIN语句块、能够使用模式匹配的通用语句块、END语句块3部分组成，这三个部分是可选的。任意一个部分都可以不出现在脚本中，脚本通常是被单引号或双引号中，例如：

awk ‘BEGIN{ i=0 } { i++ } END{ pr int i }’ filename

awk “BEGIN{ i=0 } { i++ } END{ pr int i }” filename

awk的工作原理

awk ‘BEGIN{ commands } pattern{ commands } END{ commands }’

第一步：执行BEGIN{ commands }语句块中的语句；

第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{ commands }语句块，它逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取完毕。

第三步：当读至输入流末尾时，执行END{ commands }语句块。

BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中。

END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块。

pattern语句块中的通用命令是最重要的部分，它也是可选的。如果没有提供pattern语句块，则默认执行{ pr int }，即打印每一个读取到的行，awk读取的每一行都会执行该语句块。

29.sed指令

功能说明：功能强大的流式文本编辑器,利用脚本来处理文本文件。(替换和取行)。

(ps.sed 是一种流编辑器，它是文本处理中非常中的工具，能够完美的配合正则表达式使用，功能不同凡响。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。)