grep腳本
① grep在shell腳本中使用,判斷進程是否存在,進程不存在則重啟
在shell中,判斷一個進程是否存在,是判斷進程數量
沒有運行進程時,如下顯示,只有一條,這條就是這條命令的進程。
如果進程存在就會顯示多條進程信息,其中一條包括命令這條。
所以判斷是否存在,只要判斷數量即可,命令為
進程大於1,則進程存在正常,顯示如下:
以下是最簡單的判斷內容,判斷進程數量小於等於1,則進程不存在,然後重啟即可。
shell判斷相關參數:
需注意的坑:
grep 需要加上參數 -w ,意為精確匹配。如果不加上 -w ,判斷進程數量會不準確。
例:判斷一個名為 info.py 的腳本內容: ps -ef |grep info.py
不加 -w ,會把包括 info.py 都顯示出來,如 info_py , info 之類的。所以顯示數量遠大於實際進程數量。
所以寫腳本時必須加上 -w 參數,顯示只有 info.py 的內容。
grep其他參數參考:
腳本完成後,需添加系統定時任務。
② linux使用之grep,shell腳本(一)
在使用Linux的過程中,場景有時候便會涉及到查找文本文件的內容,假如現在我們想要在一個三百多行的文本中找到特定的語句,或者在這其中查找是否含有特定的欄位應該怎麼辦呢?
這里便出現了專門的文本處理工具——grep,grep是Linux中常用的文本處理工具之一。
grep的全稱為「 Global search Regular Expression and Print out the line」。
全稱中的「Glibal search」意思為全局搜索的意思。
全稱中的「Regular Expression」意思為正則表達式。
所以從全稱中就可以理解為gerp是一個可以利用正則表達式的全型激局搜索工具。grep會按照正則表達式的匹配原則在文本文件中按照逐行匹配處理的方法來處理文本並輸出。
來看看grep的用法。
來看看案例。
案例1.統計出/etc/passwd文件中其默認shell為非/sbin/nologin的用戶個數,並將用戶都顯示出來
上面的案例開始匹配了/sbin/nologin關鍵詞,但是案例中只需要除了它之外的shell,所以講它使用-v選項排除開就可以了。
案例2.查出用戶UID最大值的用戶卜森襪名、UID及shell類型
案例3.統計當前連接本機的每個遠程主機IP的連接數,並按從大到小排序
上面的案例中ss -nt 查看連接情況,然春頌後將EATAB狀態的過濾出來,在進行處理,最後提取出結果並完成排序。
案例4:編寫腳本disk.sh,顯示當前硬碟分區中空間利用率最大的值
案例5.編寫腳本 systeminfo.sh,顯示當前主機系統信息,包括:主機名,IPv4地址,操作系統版本,內核版本,CPU型號,內存大小,硬碟大小
③ Linux常用指令---grep(搜索過濾)(轉)
Linux常用指令---grep(搜索過濾) (轉)
Linux系統中grep命令是一種強大的文本搜索工具,它能使用正則表達式搜索文本,並把匹 配的行列印出來。grep全稱是Global Regular Expression Print,表示全局正則表達式版本,它的使用許可權是所有用戶。
grep的工作方式是這樣的,它在一個或多個文件中搜索字元串模板。如果模板包括空格,則必須被引用,模板後的所有字元串被看作文件名。搜索的結果被送到標准輸出,不影響原文件內容。
grep可用於shell腳本,因為grep通過返回一個狀態值來說明搜索的狀態,如果模板搜索成功,則返回0,如果搜索不成功,則返回1,如果搜索的文件不存在,則返回2。我們利用這些返回值就可進行一些自動化的文本處理工作。
1.命令格式:
grep [option] pattern file
2.命令功能:
用於過濾/搜索的特定字元。可使用正則表達式能多種命令配合使用,使用上十分靈活。
3.命令參數:
-a --text #不要忽略二進制的數據。
-A<顯示行數> --after-context=<顯示行數> #除了顯示符合範本樣式的那一列之外,並顯示該行之後的內容。
-b --byte-offset #在顯示符合樣式的那一行之前,標示出該行第一個字元的編號。
-B<顯示行數> --before-context=<顯示行數> #除了顯示符合樣式的那一行之外,並顯示該行之前的內容。
-c --count #計算符合樣式的列數。
-C<顯示行數> --context=<顯示行數>或-<顯示行數> #除了顯示符合樣式的那一行之外,並顯示該行之前後的內容。
-d <動作> --directories=<動作> #當指定要查找的是目錄而非文件時,必須使用這項參數,否則grep指令將回報信息並停止動作。
-e<範本樣式> --regexp=<範本樣式> #指定字元串做為查找文件內容的樣式。
-E --extended-regexp #將樣式為延伸的普通表示法來使用。
-f<規則文件> --file=<規則文件> #指定規則文件,其內容含有一個或多個規則樣式,讓grep查找符合規則條件的文件內容,格式為每行一個規則樣式。
-F --fixed-regexp #將樣式視為固定字元串的列表。
-G --basic-regexp #將樣式視為普通的表示法來使用。
-h --no-filename #在顯示符合樣式的那一行之前,不標示該行所屬的文件名稱。
-H --with-filename #在顯示符合樣式的那一行之前,表示該行所屬的文件名稱。
-i --ignore-case #忽略字元大小寫的差別。
-l --file-with-matches #列出文件內容符合指定的樣式的文件名稱。
-L --files-without-match #列出文件內容不符合指定的樣式的文件名稱。
-n --line-number #在顯示符合樣式的那一行之前,標示出該行的列數編號。
-q --quiet或--silent #不顯示任何信息。
-r --recursive #此參數的效果和指定「-d recurse」參數相同。
-s --no-messages #不顯示錯誤信息。
-v --revert-match #顯示不包含匹配文本的所有行。
-V --version #顯示版本信息。
-w --word-regexp #只顯示全字元合的列。
-x --line-regexp #只顯示全列符合的列。
-y #此參數的效果和指定「-i」參數相同。
4.規則表達式:
grep的規則表達式:
^ #錨定行的開始 如:'^grep'匹配所有以grep開頭的行。
$ #錨定行的結束 如:'grep$'匹配所有以grep結尾的行。
. #匹配一個非換行符的字元 如:'gr.p'匹配gr後接一個任意字元,然後是p。
* #匹配零個或多個先前字元 如:'*grep'匹配所有一個或多個空格後緊跟grep的行。
.* #一起用代表任意字元。
[] #匹配一個指定范圍內的字元,如'[Gg]rep'匹配Grep和grep。
[^] #匹配一個不在指定范圍內的字元,如:'[^A-FH-Z]rep'匹配不包含A-R和T-Z的一個字母開頭,緊跟rep的行。
\(..\) #標記匹配字元,如'\(love\)',love被標記為1。
\< #錨定單詞的開始,如:'\
\> #錨定單詞的結束,如'grep\>'匹配包含以grep結尾的單詞的行。
x\{m\} #重復字元x,m次,如:'0\{5\}'匹配包含5個o的行。
x\{m,\} #重復字元x,至少m次,如:'o\{5,\}'匹配至少有5個o的行。
x\{m,n\} #重復字元x,至少m次,不多於n次,如:'o\{5,10\}'匹配5--10個o的行。
\w #匹配文字和數字字元,也就是[A-Za-z0-9],如:'G\w*p'匹配以G後跟零個或多個文字或數字字元,然後是p。
\W #\w的反置形式,匹配一個或多個非單詞字元,如點號句號等。
\b #單詞鎖定符,如: '\bgrep\b'只匹配grep。
POSIX字元:
為了在不同國家的字元編碼中保持一至,POSIX(The Portable Operating System Interface)增加了特殊的字元類,如[:alnum:]是[A-Za-z0-9]的另一個寫法。要把它們放到[]號內才能成為正則表達式,如[A- Za-z0-9]或[[:alnum:]]。在linux下的grep除fgrep外,都支持POSIX的字元類。
[:alnum:] #文字數字字元
[:alpha:] #文字字元
[:digit:] #數字字元
[:graph:] #非空字元(非空格、控制字元)
[:lower:] #小寫字元
[:cntrl:] #控制字元
[:print:] #非空字元(包括空格)
[:punct:] #標點符號
[:space:] #所有空白字元(新行,空格,製表符)
[:upper:] #大寫字元
[:xdigit:] #十六進制數字(0-9,a-f,A-F)
5.使用實例:
實例1:查找指定進程
命令:
ps -ef|grep svn
輸出:
[root@localhost ~]# ps -ef|grep svn
root 4943 1 0 Dec05 ? 00:00:00 svnserve -d -r /opt/svndata/grape/
root 16867 16838 0 19:53 pts/0 00:00:00 grep svn
[root@localhost ~]#
說明:
第一條記錄是查找出的進程;第二條結果是grep進程本身,並非真正要找的進程。
實例2:查找指定進程個數
命令:
ps -ef|grep svn -c
ps -ef|grep -c svn
輸出:
[root@localhost ~]# ps -ef|grep svn -c
2
[root@localhost ~]# ps -ef|grep -c svn
2
[root@localhost ~]#
說明:
實例3:從文件中讀取關鍵詞進行搜索
命令:
cat test.txt | grep -f test2.txt
輸出:
[root@localhost test]# cat test.txt
hnlinux
peida.cnblogs.com
ubuntu
ubuntu linux
redhat
Redhat
linuxmint
[root@localhost test]# cat test2.txt
linux
Redhat
[root@localhost test]# cat test.txt | grep -f test2.txt
hnlinux
ubuntu linux
Redhat
linuxmint
[root@localhost test]#
說明:
輸出test.txt文件中含有從test2.txt文件中讀取出的關鍵詞的內容行
實例3:從文件中讀取關鍵詞進行搜索 且顯示行號
命令:
cat test.txt | grep -nf test2.txt
輸出:
[root@localhost test]# cat test.txt
hnlinux
peida.cnblogs.com
ubuntu
ubuntu linux
redhat
Redhat
linuxmint
[root@localhost test]# cat test2.txt
linux
Redhat
[root@localhost test]# cat test.txt | grep -nf test2.txt
1:hnlinux
4:ubuntu linux
6:Redhat
7:linuxmint
[root@localhost test]#
說明:
輸出test.txt文件中含有從test2.txt文件中讀取出的關鍵詞的內容行,並顯示每一行的行號
實例5:從文件中查找關鍵詞
命令:
grep 'linux' test.txt
輸出:
[root@localhost test]# grep 'linux' test.txt
hnlinux
ubuntu linux
linuxmint
[root@localhost test]# grep -n 'linux' test.txt
1:hnlinux
4:ubuntu linux
7:linuxmint
[root@localhost test]#
說明:
實例6:從多個文件中查找關鍵詞
命令:
grep 'linux' test.txt test2.txt
輸出:
[root@localhost test]# grep -n 'linux' test.txt test2.txt
test.txt:1:hnlinux
test.txt:4:ubuntu linux
test.txt:7:linuxmint
test2.txt:1:linux
[root@localhost test]# grep 'linux' test.txt test2.txt
test.txt:hnlinux
test.txt:ubuntu linux
test.txt:linuxmint
test2.txt:linux
[root@localhost test]#
說明:
多文件時,輸出查詢到的信息內容行時,會把文件的命名在行最前面輸出並且加上":"作為標示符
實例7:grep不顯示本身進程
命令:
ps aux|grep \[s]sh
ps aux | grep ssh | grep -v "grep"
輸出:
[root@localhost test]# ps aux|grep ssh
root 2720 0.0 0.0 62656 1212 ? Ss Nov02 0:00 /usr/sbin/sshd
root 16834 0.0 0.0 88088 3288 ? Ss 19:53 0:00 sshd: root@pts/0
root 16901 0.0 0.0 61180 764 pts/0 S+ 20:31 0:00 grep ssh
[root@localhost test]# ps aux|grep \[s]sh]
[root@localhost test]# ps aux|grep \[s]sh
root 2720 0.0 0.0 62656 1212 ? Ss Nov02 0:00 /usr/sbin/sshd
root 16834 0.0 0.0 88088 3288 ? Ss 19:53 0:00 sshd: root@pts/0
[root@localhost test]# ps aux | grep ssh | grep -v "grep"
root 2720 0.0 0.0 62656 1212 ? Ss Nov02 0:00 /usr/sbin/sshd
root 16834 0.0 0.0 88088 3288 ? Ss 19:53 0:00 sshd: root@pts/0
說明:
實例8:找出已u開頭的行內容
命令:
cat test.txt |grep ^u
輸出:
[root@localhost test]# cat test.txt |grep ^u
ubuntu
ubuntu linux
[root@localhost test]#
說明:
實例9:輸出非u開頭的行內容
命令:
cat test.txt |grep ^[^u]
輸出:
[root@localhost test]# cat test.txt |grep ^[^u]
hnlinux
peida.cnblogs.com
redhat
Redhat
linuxmint
[root@localhost test]#
說明:
實例10:輸出以hat結尾的行內容
命令:
cat test.txt |grep hat$
輸出:
[root@localhost test]# cat test.txt |grep hat$
redhat
Redhat
[root@localhost test]#
說明:
實例11:輸出ip地址
命令:
ifconfig eth0|grep -E "([0-9]{1,3}\.){3}[0-9]"
輸出:
[root@localhost test]# ifconfig eth0|grep "[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}\.[0-9]\{1,3\}"
inet addr:192.168.120.204 Bcast:192.168.120.255 Mask:255.255.255.0
[root@localhost test]# ifconfig eth0|grep -E "([0-9]{1,3}\.){3}[0-9]"
inet addr:192.168.120.204 Bcast:192.168.120.255 Mask:255.255.255.0
[root@localhost test]#
說明:
實例12:顯示包含ed或者at字元的內容行
命令:
cat test.txt |grep -E "ed|at"
輸出:
[root@localhost test]# cat test.txt |grep -E "peida|com"
peida.cnblogs.com
[root@localhost test]# cat test.txt |grep -E "ed|at"
redhat
Redhat
[root@localhost test]#
說明:
實例13:顯示當前目錄下面以.txt 結尾的文件中的所有包含每個字元串至少有7個連續小寫字元的字元串的行
命令:
grep '[a-z]\{7\}' *.txt
輸出:
[root@localhost test]# grep '[a-z]\{7\}' *.txt
test.txt:hnlinux
test.txt:peida.cnblogs.com
test.txt:linuxmint
[root@localhost test]#
實例14:日誌文件過大,不好查看,我們要從中查看自己想要的內容,或者得到同一類數據,比如說沒有404日誌信息的
命令:
grep '.' access1.log|grep -Ev '404' > access2.log
grep '.' access1.log|grep -Ev '(404|/photo/|/css/)' > access2.log
grep '.' access1.log|grep -E '404' > access2.log
輸出:
[root@localhost test]# grep 「.」access1.log|grep -Ev 「404」 > access2.log
說明:上面3句命令前面兩句是在當前目錄下對access1.log文件進行查找,找到那些不包含404的行,把它們放到access2.log中,後面去掉』v』,即是把有404的行放入access2.log
④ Linux 中 Grep 命令的常見示例,很全面
Grep 是一個強大的 UNIX 命令,可讓您在文件內容中搜索各種參數。當您進行故障排除或調試時,它特別有用。
grep 命令有大量的選項和用例。您可能永遠不需要或使用所有這些。但是,您最終會在大多數情況下使用少數幾個 grep 命令。
本文列出了最常見的 grep 命令和快速示例:
命令示例:
描述 :不區分大小寫的搜索
命令示例:
描述 :匹配後顯示 n 行
命令示例:
描述 :在匹配前顯示 n 行
命令示例:
描述 :在匹配前後顯示 n 行
命令示例:
描述 :顯示不匹配的行
命令示例:
描述 :計算匹配行數
命令示例:
描述 :僅顯示文件名
命令示例:
描述 :匹配確切的單詞
命令示例:
描述 :匹配正則表達式模式
命令示例:
描述 :搜索二進制文件
命令示例:
描述 :遞歸搜索目錄
您可能已經知道要在文件中搜索特定文本或模式,您必須像這樣使用 grep:
讓我們看看 grep 命令的幾個常見用例。
默認情況下,使用 grep 進行的搜索區分大小寫,-i您可以使用以下選項忽略大小寫匹配:
這樣,grep 將返回與 和 匹配的Holmes行holmes。
默認情況下,您只會看到匹配的行,但是,當您對某些問題進行故障排除時,在匹配行之前和/或之後查看幾行會有所幫助。
您可以使用-A來顯示匹配行之後的行。
下面的命令將顯示匹配的行以及匹配後的 5 行。
同樣,您可以使用該-B選項在匹配行之前顯示行。
下面的命令將在匹配行之前顯示 5 行以及匹配行。
我最喜歡的是該選項-C,因為它顯示了匹配行之前和之後的行。
下面的命令將顯示匹配行之前的 5 行、匹配行和 matchine 行之後的 5 行。
您可以使用 grep 顯示與給定模式不匹配的所有行。此「反轉匹配」與以下-v選項一起使用:
您可以組合-i和-v選項。
-c您可以使用選項獲取與模式匹配的行數,而不是顯示匹配的行。這是小寫的c。
您可以結合-cand-v選項來獲取與給定模式不匹配的行數。您當然可以使用不區分大小寫的選項-i。
要顯示匹配行的行號,您可以使用該-n選項。
您可以對反向搜索執行相同的操作。
您可以提供多個文件供 grep 搜索。
這可能有效,但更實際的示例是搜索特定類型的文件。例如,如果您只想在 shell 腳本中查找字元串(以 .sh 結尾的文件),您可以使用:
您可以使用 grep option執行遞歸搜索-r。它將在當前目錄及其子目錄中的所有文件中搜索給定的模式。
默認情況下,grep 顯示匹配的行。如果您對多個文件運行了搜索,並且只想查看哪些文件包含該字元串,則可以使用該-l選項。
假設您想查看哪些 Markdown 文件包含「手冊」一詞,您可以使用:
默認情況下,grep 將顯示包含給定字元串的所有行。你可能並不總是想要那個。如果您正在搜索單詞「done」,它還會顯示包含「doner」或「abandoned」字樣的行。
要使 grep 僅搜索完整的單詞,您可以使用以下選項-w:
這樣,如果您搜索單詞「done」,它只會顯示包含「done」的行,而不是「doner」或「abandoned」。
您可以使用正則表達式模式為您的搜索提供超級動力。有一個允許使用正則表達式模式的專用選項-e和-E一個允許使用擴展正則表達式模式的選項。
您可以在同一個 grep 搜索中搜索多個模式。如果要查看包含一種模式或另一種模式的行,可以使用 OR 運算符|。
您可以將多個模式與 OR 運算符一起使用。
AND 運算符沒有特定選項。為此,您可以多次使用 grep 和管道重定向。
Grep 默認忽略二進制文件。-a您可以使用該選項使其在二進制文件中搜索,就好像它是文本文件一樣。
⑤ Linux grep、egrep使用命令詳解
grep egrep區別
grep 默認不支持擴展 但可以通過-E 選擇來支持擴展正則
egrep 支持擴展正則
關於正則與擴展正則的區別可以看我另一篇shell 正則的介紹
文件處理順序 以行為單位,逐行進行處理
默認只輸出與表達式相匹配的文本行
基本用法
- 格式1:egrep [選擇] '正則表達式' 文件
- 格式2:前置命令 | egrep [選擇] '正則表達式'
• egrep命令工具 (擴展正則命令)
• 常用命令選項
•grep 正則表達式,用來查找過濾文檔的工具符號
grep "root" user //在user文檔中查找有單詞root的行
grep "^root" user //在user文檔中查找以單詞root開頭的行
grep "bash " user //查找空行
grep "^ " user //查找以空格開頭的行
grep "[rot]" user //查找字母r或者o或者t
grep "roo[tn]" user //查找root或者roon
grep "[^rot]" user //查找字母r或者o或者t之外的內容
grep "[a-z]" user //查找小寫字母
grep "[A-Z]" user //查找大寫字母
grep "[a-Z]" user //查找所有字母
grep "[0-9]" user //查找數字
grep "r..t" user //查找以r開頭t結尾中間有2個任意字元的單詞
grep "r. " user //查找以r開頭後面任意字元 相當手通配符
grep "ro*" user //查找以r開頭後面有或沒有字母o的單詞,o可以出現任意次
grep "o{1,2}" user //查找o出現1次到2次的行
grep "o{2,3}" user //查找o出現2次到3次的行
grep "o{2}" user //查找o出現2次的行
grep "o{1,} " user //查找o出現1次以及1次以上
grep "(:0){2}" user //查找:0(數字零)連續出現2次的行
擴展正則
egrep "o+" user //查找o出現1次以及1次以上
egrep "o?" user //查找o出現0次或1次
egrep "o{1,2}" user //查找o出現1次到2次的行
egrep "o{2,3}" user //查找o出現2次到3次的行
egrep "o{2}" user //查找o出現2次的行
egrep "o{1,}" user //查找o出現1次以及1次以上
egrep "(:0){2}" user //查找:0(數字零)連續出現2次的行
egrep "bash|nologin" user //查找bash或者nologin
egrep "the" a //查找單詞the,前後是空格或者特殊符號
案例:
正則表達式匹配練習
1)典型的應用場合:grep、egrep檢索文本行
grep命令不帶-E選項時,支持基本正則匹配模式。比如「word」關鍵詞檢索、「^word」匹配以word開頭的行、「word$」匹配以word結尾的行……等等。
輸出以「r」開頭的用戶記錄:
輸出以「localhost」結尾的行:
若希望在grep檢索式同時組合多個條件,比如輸出以「root」或者以「daemon」開頭的行:
而若若使用grep -E或egrep命令,可支持擴展正則匹配模式,能夠自動識別 |、{} 等擴展正則表達式中的特殊字元,用起來更加方便,比如:
或者
使用grep -E 與 使用egrep命令完全等效,推薦使用後者,特別是涉及到復雜的正則表達式的時候。
2)grep、egrep命令的-q選項
選項 -q 表示 quiet(靜默)的意思,結合此選項可以只做檢索而並不輸出,通常在腳本內用來識別查找的目標是否存在,通過返回狀態 $? 來判斷,這樣可以忽略無關的文本信息,簡化腳本輸出。
比如,檢查/etc/hosts文件內是否存在192.168.4.4的映射記錄,如果存在則顯示「YES」,否則輸出「NO」,一般會執行:
這樣grep的輸出信息和腳本判斷後的提示混雜在一起,用戶不易辨別,所以可以改成以下操作:
是不是清爽多了,從上述結果也可以看到,使用 -q 選項的效果與使用 &> /dev/null的效果類似。
3)基本元字元 ^、$ —— 匹配行首、行尾
輸出注釋的配置行(以#開頭的行):
統計本地用戶中登錄Shell為「/sbin/nologin」的用戶個數:
提示: -m10僅在文件的前10行中過濾,後面的行不再過濾。
結合 -c 選項輸出匹配的行數
使用 -c 選項可輸出匹配行數,這與通過管道再 wc -l的效果是相同的,但是寫法更簡便。比如,統計使用「/bin/bash」作為登錄Shell的正常用戶個數,可執行:
或者
4)基本元字元 . —— 匹配任意單個字元
以/etc/rc.local文件為例,確認文本內容:
輸出/etc/rc.local文件內的空行(用 –v 選項將條件取反):
5)基本元字元 +、?、 —— 目標出現的次數*
還以/etc/rc.local文件為例:
輸出包括 f、ff、ff、……的行,即「f」至少出現一次:
輸出包括init、initial的行,即末尾的「ial」最多出現一次(可能沒有):
輸出包括stu、stuf、stuff、stufff、……的行,即末尾的「f」可出現任意多次,也可以沒有。重復目標只有一個字元時,可以不使用括弧:
輸出所有行,單獨的「.*」可匹配任意行(包括空行):
輸出/etc/passwd文件內「r」開頭且以「nologin」結尾的用戶記錄,即中間可以是任意字元:
6)元字元 {} —— 限定出現的次數范圍
創建一個練慣用的測試文件:
輸出包括ababab的行,即「ab」連續出現3次:
輸出包括abab、ababab、abababab的行,即「ab」連續出現2~4次:
輸出包括ababab、abababab、……的行,即「ab」最少連續出現3次:
7)元字元 [] —— 匹配范圍內的單個字元
還以前面的測試文件bracet.txt為例:
輸出包括abc、abd的行,即前兩個字元為「ab」,第三個字元只要是c、d中的一個就符合條件:
輸出包括大寫字母的行,使用[A-Z]匹配連續范圍:
8)單詞邊界匹配
以文件/etc/rc.local為例:
輸出包括單詞「init」的行,文件中「initialization」不合要求:
或者:
輸出包括以「ll」結尾的單詞的行,使用 > 匹配單詞右邊界:
或者:
9)多個條件的組合
通過dmesg啟動日誌查看藍牙設備、網卡設備相關的信息: