Linux sed使用的示例分析

sed 一種流向編輯器 stream editor，是Linux中三大文件處理工具（awk, sed, grep）之一，能配合正則表達式，對文件處理發揮重要作用。
sed 流式處理過程分成讀取，執行，展示三個階段；

1. sed讀取是從輸入流（文件，管道，標準輸入）讀取一行并存儲到它叫模式空間pattern buffer中。

2. sed執行，默認情況下，所有的SED命令都在模式空間中順序的執行，除非指定了行的地址，否則SED命令將會在所有的行上依次執行。

3. sed 發送修改后的內容到輸出流。在發送數據之后，模式空間將會被清空。在文件所有的內容都被處理完成之前，上述過程將會重復執行。

sed 以行為單位進行文本處理，可以對數據進行刪除，替換，新增，選取等，配合正則，功力大增，有沒有想一試身手呢，接下來我們就好好來盤一盤sed。

一.執行流程示例
打印內容

sed ” test  文件讀取到模式空間后，沒有任何腳本來處理，直接將模式空間內容直接輸出到屏幕

接收輸入

sed ”   接收標準輸入的內容，并進行腳本處理，這里的腳本是空，所以不處理，直接輸出到屏幕

二.sed 的兩種執行方式
sed [-n] [-e] 'command(s)' files

sed [-n] -f scriptfile files

第一種方式是在命令行中使用，第二種方式是在SED腳本文件中使用；兩種執行方式可以同時使用。

文件：

$ cat test

aaa

ddd

222

sss

12ds45

方式一：

sed  -e ‘1d’ -e ‘2d’ -e ‘3d’ test

sss

12ds45

方式二：

echo -e "1d\n2d\n3d" > commands.txt

sed -f commands.txt test

sss

12ds45

三.sed 命令行參數
-n 默認情況下，模式空間中的內容在處理完成后將會打印到標準輸出，該選項用于阻止該行為

-e 指定要執行的命令，使用該參數，我們可以指定多個命令，讓我們打印每一行兩次：

sed -e ” -e ‘p’ quote.txt

-n， –quiet, –slient：與標準的-n選項相同

-e script，–expression=script：與標準的-e選項相同

-f script-file， –file=script-file：與標準的-f選項相同

–follow-symlinks：如果提供該選項的話，在編輯的文件是符號鏈接時，SED將會跟隨鏈接

-i[SUFFIX]，–in-place[=SUFFIX]：該選項用于對當前文件進行編輯，如果提供了SUFFIX的話，將會備份原始文件，否則將會覆蓋原始文件

-l N， –line-lenght=N：該選項用于設置行的長度為N個字符

–posix：該選項禁用所有的GNU擴展

-r，–regexp-extended：該選項將啟用擴展的正則表達式

-u， –unbuffered：指定該選項的時候，SED將會從輸入文件中加載最少的數據，并且更加頻繁的刷出到輸出緩沖區。在編輯tail -f命令的輸出，你不希望等待輸出的時候該選項是非常有用的。

-z，–null-data：默認情況下，SED對每一行使用換行符分割，如果提供了該選項的話，它將使用NULL字符分割行

四. sed 基本命令
本章將會講解一些常用的SED命令，主要包括DELETE，WRITE，APPEND，CHANGE，INSERT，TRANSLATE，QUIT，READ，EXECUTE等命令

1.刪除 d

格式： [address1[,address2]]d

$: sed 'd' test.txt 刪除模式空間中的每一行，源文件不變

$: sed '4d' test.txt 刪除第四行

$: sed '4,9d' test.txt 刪除第四行到第九行

$: sed '/Time/,/Good/d' 刪除以Time 和Good開頭的行

2.替換 s

格式：[address1[,address2]]s/pattern/replacement/[flags]

sed 's/,/ | /g' test.txt    g：表示對所有內容進行替換

sed 's/,/|/ 2 ' test.txt     2： 表示只替換每行中第二個逗號

sed -n 's/genome/gene/p' test.txt   p： 只輸出改變的行

sed -n 's/genome/gene/w junk.txt' test.txt   w： 替換后輸出的內容儲存到新的文件

sed -n 's/genome/gene/pi' test.txt             i： 匹配大小寫

3.寫入 w

格式：[address1[,address2]]w file

w 指定是寫命令， file 指的是存儲文件內容的文件名。使用 file 操作符的時候要小心，當提供了文件名但是文件不存在的時候它會自動創建，如果已經存在的話則會覆蓋原文件的內容。

$: sed -n 'w books.bak' books.txt  創建 books.txt的副本

4.正則表達式

^ 行首

$ 行尾

. 行單個字符（除行尾外）

[] 匹配字符集

[^]  排除字符集

[-]  字符范圍

? ，+ ，*   分別對應0次到1次，一次到多次，0次到多次匹配

{n} ，{n,} ，{m, n}  精確匹配N次，至少匹配N次，匹配M-N次

| 或

\s 匹配單個空白內容

\S 匹配單個非空白內容。

\w ， \W 單個單詞、非單詞。

5.常用代碼塊

a.除去空白行

$: echo -e "Line #1\n\n\nLine #2" | sed '/^$/d'

b.刪除連續空白行

$: echo -e "Line #1\n\n\nLine #2" | sed '/./,/^$/!d'