【学习篇】Linux中grep、sed、awk

本文介绍: 尽管操作可能会很复杂，但语法总是这样，其中 pattern 表示 AWK 在数据中查找的内容，而 action 是在找到匹配内容时所执行的一系列命令。sed是Linux下一款功能强大的非交互流式文本编辑器，可以对文本文件进行增、删、改、查等操作，支持按行、按字段、按正则匹配文本内容，灵活方便，特别适合于大文件的编辑。这里，逗号的作用与输出文件的分隔符的作用是一样的，只是后者是空格而已。awk有3个不同版本: awk、nawk和g awk，未作特别说明，一般指g awk，g awk 是 AWK 的 GNU 版本。

sed 编辑器被称作流编辑器。流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流。sed是Linux下一款功能强大的非交互流式文本编辑器，可以对文本文件进行增、删、改、查等操作，支持按行、按字段、按正则匹配文本内容，灵活方便，特别适合于大文件的编辑。

sed 命令的命令格式是这样的：
$ sed command file
其中，command 部分是 sed 命令的精髓，对 com m and 部分的掌握程度决定了你是不是 sed 高手。

com m and 部分可以分为两块知识：一块是范围设定，一块是动作处理。

范围设定，可以采用两种不同的方式来表达：
指定行数：比如‘3，5’表示第 3、第 4 和第 5行；而‘5，$’表示第 5 行至文件最后一行。
模式匹配：比如/ ^ [^dD]/表示匹配行首不是以 d 或 D 开头的行。

而动作处理部分，会提供很丰富的动作供你选择，下面就来介绍几个最常用的动作吧：
d：表示删除行。
p：打印该行。
r：读取指定文件的内容。
w：写入指定文件。
a：在下面插入新行新内容。

sed的常用编辑命令
a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
c ：取代， c 的后面可以接字串，整行替换
d ：删除，删除指定行delete，所以 d 后面通常不接任何咚咚；
i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～
s ：取代，字符串替换，通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！
=：输出行号
r：将文件的内容读入 read
w：将文本写入文件 write

awk有3个不同版本: awk、nawk和gawk，未作特别说明，一般指gawk，gawk 是 AWK 的 GNU 版本。

sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符“&&”表示“与”、“||”表示“或”、“!”表示“非”；还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

命令格式：
awk 选项 ‘模式或条件 {操作}’ 文件 1 文件 2 …
awk -f 脚本文件文件 1 文件 2 …

awk ‘{pat tern + action}’ {filenames}
尽管操作可能会很复杂，但语法总是这样，其中 pat tern 表示 AWK 在数据中查找的内容，而 action 是在找到匹配内容时所执行的一系列命令。花括号（{}）不需要在程序中始终出现，但它们用于根据特定的模式对一系列指令进行分组。 pat tern就是要表示的正则表达式，用斜杠括起来。

awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作。完整的awk脚本通常用来格式化文本文件中的信息。

awk常见的内建变量：
FS：列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与”-F”作用相同
NF：当前处理的行的字段个数。
NR：当前处理的行的行号（序数）。
$0：当前处理的行的整行内容。
$n：当前处理行的第n个字段（第n列）。
FILENAME：被处理的文件名。
RS：行分隔符。awk从文件上读取资料时,将根据RS的定义把读取的资料切割成许多条记录,而awk一次仅读入一条记录,以进行处理。预设值是’n’