linuxawk
㈠ linux awk 語句 awk ' { SUM += $1 } END { print SUM }'請問這個要怎麼理解,需詳細
1、首先awk截取指定域,在日誌的處理和監控中,經常會截取指定的字元來進行後續處理。如:從df -h命令中提取/目錄所佔百分比(監控經常會用到)。
㈡ linux awk命令
一、awk是一個強大的文本分析工具,相對於grep的查找,sed的編輯,awk在其對數據分析並生成報告時,顯得尤為強大。簡單來說awk就是把文件逐行的讀入,以空格為默認分隔符將每行切片,切開的部分再進行各種分析處理。
二. awk命令格式和選項
2.1 awk的語法有兩種形式
1. 命令行方式
awk [-F field-separator] 'commands' input-file(s)
其中,commands是真正awk命令,[-F域分隔符]是可選的。input-file(s)是待處理的文件。
在awk中,文件的每一行中,由域分隔符分開的每一項稱為一個域。通常,在不指名-F域分隔符的情況下,默認的域分隔符是空格。
2. 將所有的awk命令插入一個單獨文件,然後調用:
awk -f awk-script-file input-file(s)
其中,-f選項載入awk-script-file中的awk腳本,input-file(s)跟上面的是一樣的。
2.2 命令選項
(1)-F fs or --field-separator fs :指定輸入文件折分隔符,fs是一個字元串或者是一個正則表達式,如-F:。
(2)-v var=value or --asign var=value :賦值一個用戶定義變數。
(3)-f scripfile or --file scriptfile :從腳本文件中讀取awk命令。
(4)-mf nnn and -mr nnn :對nnn值設置內在限制,-mf選項限制分配給nnn的最大塊數目;-mr選項限制記錄的最大數目。這兩個功能是Bell實驗室版awk的擴展功能,在標准awk中不適用。
(5)-W compact or --compat, -W traditional or --traditional :在兼容模式下運行awk。所以gawk的行為和標準的awk完全一樣,所有的awk擴展都被忽略。
(6)-W left or --left, -W right or --right :列印簡短的版權信息。
(7)-W help or --help, -W usage or --usage :列印全部awk選項和每個選項的簡短說明。
(8)-W lint or --lint :列印不能向傳統unix平台移植的結構的警告。
(9)-W lint-old or --lint-old :列印關於不能向傳統unix平台移植的結構的警告。
(10)-W posix :打開兼容模式。但有以下限制,不識別:/x、函數關鍵字、func、換碼序列以及當fs是一個空格時,將新行作為一個域分隔符;操作符**和**=不能代替^和^=;fflush無效。
(11)-W re-interval or --re-inerval :允許間隔正則表達式的使用,參考(grep中的Posix字元類),如括弧表達式[[:alpha:]]。
(12)-W source program-text or --source program-text :使用program-text作為源代碼,可與-f命令混用。
(13)-W version or --version :列印bug報告信息的版本。
三. 使用方法
#awk '{pattern + action}' {filenames}
盡管操作可能會很復雜,但語法總是這樣,其中 pattern 表示 AWK 在數據中查找的內容,而 action 是在找到匹配內容時所執行的一系列命令。花括弧({})不需要在程序中始終出現,但它們用於根據特定的模式對一系列指令進行分組。 pattern就是要表示的正則表達式,用斜杠括起來。
awk語言的最基本功能是在文件或者字元串中基於指定規則瀏覽和抽取信息,awk抽取信息後,才能進行其他文本操作。完整的awk腳本通常用來格式化文本文件中的信息。
通常,awk是以文件的一行為處理單位的。awk每接收文件的一行,然後執行相應的命令,來處理文本。
四. 模式和操作
awk腳本是由模式和操作組成的:
pattern {action} 如$ awk '/root/' test,或$ awk '$3 < 100' test。
兩者是可選的,如果沒有模式,則action應用到全部記錄,如果沒有action,則輸出匹配全部記錄。默認情況下,每一個輸入行都是一條記錄,但用戶可通過RS變數指定不同的分隔符進行分隔。
4.1. 模式
模式可以是以下任意一個:
(1)正則表達式:使用通配符的擴展集。
(2)關系表達式:可以用下面運算符表中的關系運算符進行操作,可以是字元(3)串或數字的比較,如$2>%1選擇第二個欄位比第一個欄位長的行。
(4)模式匹配表達式:用運算符~(匹配)和~!(不匹配)。
(5)模式,模式:指定一個行的范圍。該語法不能包括BEGIN和END模式。
(6)BEGIN:讓用戶指定在第一條輸入記錄被處理之前所發生的動作,通常可在這里設置全局變數。
(7)END:讓用戶在最後一條輸入記錄被讀取之後發生的動作。
4.2. 操作
操作由一人或多個命令、函數、表達式組成,之間由換行符或分號隔開,並位於大括弧內。主要有四部份:
(1)變數或數組賦值
(2)輸出命令
(3)內置函數
(4)控制流命令
五. awk的環境變數
七. 記錄和域
7.1. 記錄
awk把每一個以換行符結束的行稱為一個記錄。
記錄分隔符:默認的輸入和輸出的分隔符都是回車,保存在內建變數ORS和RS中。
$0變數:它指的是整條記錄。如$ awk '{print $0}' test將輸出test文件中的所有記錄。
變數NR:一個計數器,每處理完一條記錄,NR的值就增加1。
如$ awk '{print NR,$0}' test將輸出test文件中所有記錄,並在記錄前顯示記錄號。
7.2. 域
記錄中每個單詞稱做「域」,默認情況下以空格或tab分隔。awk可跟蹤域的個數,並在內建變數NF中保存該值。如$ awk '{print $1,$3}' test將列印test文件中第一和第三個以空格分開的列(域)。
7.3. 域分隔符
內建變數FS保存輸入域分隔符的值,默認是空格或tab。我們可以通過-F命令行選項修改FS的值。如$ awk -F: '{print $1,$5}' test將列印以冒號為分隔符的第一,第五列的內容。
可以同時使用多個域分隔符,這時應該把分隔符寫成放到方括弧中,如$awk -F'[:/t]' '{print $1,$3}' test,表示以空格、冒號和tab作為分隔符。
輸出域的分隔符默認是一個空格,保存在OFS中。如$ awk -F: '{print $1,$5}' test,$1和$5間的逗號就是OFS的值。
八. 匹配操作符(~)
用來在記錄或者域內匹配正則表達式。如$ awk '$1 ~/^root/' test將顯示test文件第一列中以root開頭的行。
九. 比較表達式
conditional expression1 ? expression2: expression3,
例如:
$ awk '{max = {$1 > $3} ? $1: $3: print max}' test。如果第一個域大於第三個域,$1就賦值給max,否則$3就賦值給max。
$ awk '$1 + $2 < 100' test。如果第一和第二個域相加大於100,則列印這些行。
$ awk '$1 > 5 && $2 < 10' test,如果第一個域大於5,並且第二個域小於10,則列印這些行。
十. 范圍模板
范圍模板匹配從第一個模板的第一次出現到第二個模板的第一次出現之間所有行。如果有一個模板沒出現,則匹配到開頭或末尾。如$ awk '/root/,/mysql/' test將顯示root第一次出現到mysql第一次出現之間的所有行。
㈢ 在Linux awk中 >> 是什麼意思
將本來應該在屏幕上輸出的文字附加到某一個文件上。
㈣ Linux裡面awk -F和FS區別是什麼
Linux裡面的AW和f和fs區別是什麼?我認為跟機油約他們內部結構都是一樣的區別,只不過是外觀有小小的區別
㈤ linux里awk是做什麼的,請詳細說明
awk語言的最基本功能是在文件或字元串中基於指定規則來分解抽取信息,也可以基於指定的規則來輸出數據。完整的awk腳本通常用來格式化文本文件中的信息。
你比如:
echo "11|22|33" | awk -F "|" '{print $2}'
㈥ 如何在Linux中使用awk命令
awk:用於一行中分成數個「欄位」來處理。適合處理
小型數據。
運行模式:awk
'條件類型1{動作1}
條件類型2{動作2}
...'
filename
#
last
|
awk
'{print
$1
"\t"
$3}'
<==
查看登錄者的數據,只顯示登錄名和ip地址,並以[tab]隔開
awk
的內置變數
變數名稱
代表的含義
NF
每一行($0)擁有的欄位總數
NR
當前
awk
所處理的是
「第幾行」
數據
FS
當前分隔符,默認空格鍵
awk
的邏輯運算符
運算單元
代表含義
>
大於
<
小於
>=
大於或等於
<=
小於或等於
==
等於
!=
不等於
範例:
cat
/etc/passwd
|
awk
'{FS=":"}
$3
<
10
{print
$1
"\t"
$3}'
<==
文件/etc/passwd是以":"分隔的,查看第三欄小於10的數據,並且只顯示帳號與第三欄
以上是我對awk的總結,希望對你有幫助,是我寫的哦,不是復制的。
㈦ Linux:這個awk中的1是什麼意思呢
受到了啟示,補充一下。准確地理解是
pattern{action}
其中awk表達式也是有效的pattern,如果表達式非零或非空,則pattern匹配,所以1表示永遠匹配,而action默認為print,所以1的含義是awk'1{print}'file
具體可以參考awk官方文檔的說明
{NF=NF-2}是省略了pattern,1是省略了action。{NF=NF-2}1這種寫法可讀性極差
㈧ linux中awk以及grep命令
ls|xargs grep -E "^rec|^orec" | awk -F "|" '{if($68==0)print $1}'|awk -F: '{print $1}'|sort|uniq
㈨ linux awk命令怎麼用
awk命令是Alfred Aho, Peter Weinberger, Brian Kernighan三位作者聯合開發的,用於Linux/Unix中處理數據和產生報告。awk命令功能十分強大,可根據需要抓取、截取指定的列或行。
首先在/mnt目錄下創建示例文本文件f1,其內容如下:
1 hello hello
2 data data
3 xyz abc
4 123 789
5 ftp
6 Apache
7 apache
然後,使用awk對f1文件內容進行處理,舉例如下。
①awk -F " " '{print $2,$3}' f1:截取顯示文檔的第二列和第三列,-F指定分隔符為空格,$表示顯示第幾列。其中print表示要做輸出信息的動作,$2和$3表示要輸出的列號,awk要求將print已經輸出列等內容放在「'{}'」之間。
②awk -F " " '($1>3){print $2,$3}' f1:選取第一列的值大於3的行,顯示其第二列和第三列,在「()」中指定篩選條件。
③awk 'NR==4 || NR==3' f1:顯示第三行和第四行,NR表示行號。
④awk '/data/ {print $2}' f1:抓取包含指定字元的行,再對列進行截取。此例中,awk先按照「data」字元串對文件f1中的行篩選,找出包含「data」的行以後,再按照默認的空格作為分隔符對行的內容做切割,僅列印出第二列的內容。
⑤awk '$2 ~ /data/ ' f1:抓取第二列包含指定字元的行。其中「~」表示是否匹配指定的「data」,如果第二列的內容包含「data」就列印出整行內容。
⑥awk '$2 !~ /data/ ' f1:抓取第二列不包含指定字元的行。其中「!~」表示是否不匹配指定的「data」,如果第二列的內容不包含「data」就列印出整行內容。
㈩ linux shell中awk的用法
這個。。。太多了。如果在這里就能說清楚,那麼其本身功能的強大性就值得質疑。
只能推薦一些電子書(網上都可以找到)和學習鏈接給你:
Unix awk使用手冊(第二版).doc
Awk - An Introction and Tutorial.doc
詳解著名的awk_oneliner.pdf
通用線程: awk 實例:
https://www.ibm.com/developerworks/cn/linux/shell/awk/awk-1/