shell脚本输出日志

A. 求助：如何在shell脚本中添加写日志的功能

如何编写一个shell脚本本文结合大量实例阐述如何编写一个shell脚本。为什么要进行shell编程在linux系统中，虽然有各种各样的图形化接口工具，但是sell仍然是一个非常灵活的工具。Shell不仅仅是命令的收集，而且是一门非常棒的编程语言。您可以通过使用shell使大量的任务自动化，shell特别擅长系统管理任务，尤其适合那些易用性、可维护性和便携性比效率更重要的任务。下面，让我们一起来看看shell是如何工作的：建立一个脚本Linux中有好多中不同的shell，但是通常我们使用bash(bourneagainshell)进行shell编程，因为bash是免费的并且很容易使用。所以在本文中笔者所提供的脚本都是使用bash（但是在大多数情况下，这些脚本同样可以在bash的大姐，bourneshell中运行）。如同其他语言一样，通过我们使用任意一种文字编辑器，比如nedit、kedit、emacs、vi等来编写我们的shell程序。程序必须以下面的行开始（必须方在文件的第一行）：#!/bin/sh符号#!用来告诉系统它后面的参数是用来执行该文件的程序。在这个例子中我们使用/bin/sh来执行程序。当编辑好脚本时，如果要执行该脚本，还必须使其可执行。要使脚本可执行：chmod+xfilename然后，您可以通过输入：./filename来执行您的脚本。注释在进行shell编程时，以#开头的句子表示注释，直到这一行的结束。我们真诚地建议您在程序中使用注释。如果您使用了注释，那么即使相当长的时间内没有使用该脚本，您也能在很短的时间内明白该脚本的作用及工作原理。变量在其他编程语言中您必须使用变量。在shell编程中，所有的变量都由字符串组成，并且您不需要对变量进行声明。要赋值给一个变量，您可以这样写：变量名=值取出变量值可以加一个美元符号（$）在变量前面：#!/bin/sh#对变量赋值：a="helloworld"#现在打印变量a的内容：echo"Ais:"echo$a在您的编辑器中输入以上内容，然后将其保存为一个文件first。之后执行chmod+xfirst使其可执行，最后输入./first执行该脚本。这个脚本将会输出：Ais:helloworld有时候变量名很容易与其他文字混淆，比如：num=2echo"thisisthe$numnd"这并不会打印出"thisisthe2nd"，而仅仅打印"thisisthe"，因为shell会去搜索变量numnd的值，但是这个变量时没有值的。可以使用花括号来告诉shell我们要打印的是num变量：num=2echo"thisisthe${num}nd"这将打印：thisisthe2nd有许多变量是系统自动设定的，这将在后面使用这些变量时进行讨论。如果您需要处理数学表达式，那么您需要使用诸如expr等程序（见下面）。除了一般的仅在程序内有效的shell变量以外，还有环境变量。由export关键字处理过的变量叫做环境变量。我们不对环境变量进行讨论，因为通常情况下仅仅在登录脚本中使用环境变量。Shell命令和流程控制在shell脚本中可以使用三类命令：1)Unix命令:虽然在shell脚本中可以使用任意的unix命令，但是还是由一些相对更常用的命令。这些命令通常是用来进行文件和文字操作的。常用命令语法及功能echo"sometext":将文字内容打印在屏幕上ls:文件列表wc–lfilewc-wfilewc-cfile:计算文件行数计算文件中的单词数计算文件中的字符数cpsourcefiledestfile:文件拷贝mvoldnamenewname:重命名文件或移动文件rmfile:删除文件grep'pattern'file:在文件内搜索字符串比如：grep'searchstring'file.txtcut-bcolnumfile:指定欲显示的文件内容范围，并将它们输出到标准输出设备比如：输出每行第5个到第9个字符cut-b5-9file.txt千万不要和cat命令混淆，这是两个完全不同的命令catfile.txt:输出文件内容到标准输出设备（屏幕）上filesomefile:得到文件类型readvar:提示用户输入，并将输入赋值给变量sortfile.txt:对file.txt文件中的行进行排序uniq:删除文本文件中出现的行列比如：sortfile.txt|uniqexpr:进行数学运算Example:add2and3expr2"+"3find:搜索文件比如：根据文件名搜索find.-namefilename-printtee:将数据输出到标准输出设备(屏幕)和文件比如：somecommand|teeoutfilebasenamefile:返回不包含路径的文件名比如：basename/bin/tux将返回tuxdirnamefile:返回文件所在路径比如：dirname/bin/tux将返回/binheadfile:打印文本文件开头几行tailfile:打印文本文件末尾几行sed:Sed是一个基本的查找替换程序。可以从标准输入（比如命令管道）读入文本，并将结果输出到标准输出（屏幕）。该命令采用正则表达式（见参考）进行搜索。不要和shell中的通配符相混淆。比如：将linuxfocus替换为LinuxFocus：cattext.file|sed's/linuxfocus/LinuxFocus/'>newtext.fileawk:awk用来从文本文件中提取字段。缺省地，字段分割符是空格，可以使用-F指定其他分割符。catfile.txt|awk-F,'{print$1","$3}'这里我们使用，作为字段分割符，同时打印第一个和第三个字段。如果该文件内容如下：AdamBor,34,IndiaKerryMiller,22,USA命令输出结果为：AdamBor,IndiaKerryMiller,USA2)概念:管道,重定向和backtick这些不是系统命令，但是他们真的很重要。管道(|)将一个命令的输出作为另外一个命令的输入。grep"hello"file.txt|wc-l在file.txt中搜索包含有”hello”的行并计算其行数。在这里grep命令的输出作为wc命令的输入。当然您可以使用多个命令。重定向：将命令的结果输出到文件，而不是标准输出（屏幕）。>写入文件并覆盖旧文件>>加到文件的尾部，保留旧文件内容。反短斜线使用反短斜线可以将一个命令的输出作为另外一个命令的一个命令行参数。命令：find.-mtime-1-typef-print用来查找过去24小时（-mtime–2则表示过去48小时）内修改过的文件。如果您想将所有查找到的文件打一个包，则可以使用以下脚本：#!/bin/sh#Theticksarebackticks(`)notnormalquotes('):tar-zcvflastmod.tar.gz`find.-mtime-1-typef-print`3)流程控制"if"表达式如果条件为真则执行then后面的部分：if.;then.elif.;then.else.fi大多数情况下，可以使用测试命令来对条件进行测试。比如可以比较字符串、判断文件是否存在及是否可读等等…通常用"[]"来表示条件测试。注意这里的空格很重要。要确保方括号的空格。[-f"somefile"]：判断是否是一个文件[-x"/bin/ls"]：判断/bin/ls是否存在并有可执行权限[-n"$var"]：判断$var变量是否有值["$a"="$b"]：判断$a和$b是否相等执行mantest可以查看所有测试表达式可以比较和判断的类型。直接执行以下脚本：#!/bin/shif["$SHELL"="/bin/bash"];thenecho"yourloginshellisthebash(bourneagainshell)"elseecho"yourloginshellisnotbashbut$SHELL"fi变量$SHELL包含了登录shell的名称，我们和/bin/bash进行了比较。快捷操作符熟悉C语言的朋友可能会很喜欢下面的表达式：[-f"/etc/shadow"]&&echo""这里&&就是一个快捷操作符，如果左边的表达式为真则执行右边的语句。您也可以认为是逻辑运算中的与操作。上例中表示如果/etc/shadow文件存在则打印””。同样或操作(||)在shell编程中也是可用的。这里有个例子：#!/bin/shmailfolder=/var/spool/mail/james[-r"$mailfolder"]''{echo"Cannotread$mailfolder";exit1;}echo"$mailfolderhasmailfrom:"grep"^From"$mailfolder该脚本首先判断mailfolder是否可读。如果可读则打印该文件中的"From"一行。如果不可读则或操作生效，打印错误信息后脚本退出。这里有个问题，那就是我们必须有两个命令：-打印错误信息-退出程序我们使用花括号以匿名函数的形式将两个命令放到一起作为一个命令使用。一般函数将在下文提及。不用与和或操作符，我们也可以用if表达式作任何事情，但是使用与或操作符会更便利很多。case表达式可以用来匹配一个给定的字符串，而不是数字。casein)dosomethinghere;;esac让我们看一个例子。file命令可以辨别出一个给定文件的文件类型，比如：filelf.gz这将返回：lf.gz:gzipcompresseddata,deflated,originalfilename,lastmodified:MonAug2723:09:182001,os:Unix我们利用这一点写了一个叫做smartzip的脚本，该脚本可以自动解压bzip2,gzip和zip类型的压缩文件：#!/bin/shftype=`file"$1"`case"$ftype"in"$1:Ziparchive"*)unzip"$1";;"$1:gzipcompressed"*)gunzip"$1";;"$1:bzip2compressed"*)bunzip2"$1";;*)error"File$";;esac您可能注意到我们在这里使用了一个特殊的变量$1。该变量包含了传递给该程序的第一个参数值。也就是说，当我们运行：smartziparticles.zip$1就是字符串articles.zipselect表达式是一种bash的扩展应用，尤其擅长于交互式使用。用户可以从一组不同的值中进行选择。selectvarin;dobreakdone.now$varcanbeused.下面是一个例子：#!/bin/shecho"WhatisyourfavouriteOS?"selectvarin"Linux""GnuHurd""FreeBSD""Other";dobreakdoneecho"Youhaveselected$var"下面是该脚本运行的结果：WhatisyourfavouriteOS?1)Linux2)GnuHurd3)FreeBSD4)Other#?1YouhaveselectedLinux您也可以在shell中使用如下的loop表达式：while;do.donewhile-loop将运行直到表达式测试为真。.关键字"break"用来跳出循环。而关键字”continue”用来不执行余下的部分而直接跳到下一个循环。for-loop表达式查看一个字符串行表(字符串用空格分隔)然后将其赋给一个变量：forvarin.;do.done在下面的例子中，将分别打印ABC到屏幕上：#!/bin/shforvarinABC;doecho"varis$var"done下面是一个更为有用的脚本showrpm，其功能是打印一些RPM包的统计信息：#!/bin/sh##USAGE:showrpmrpmfile1rpmfile2#EXAMPLE:showrpm/cdrom/RedHat/RPMS/*.rpmforrpmpackagein$*;doif[-r"$rpmpackage"];thenecho"===============$rpmpackage=============="rpm-qi-p$rpmpackageelseecho"ERROR:cannotreadfile$rpmpackage"fidone这里出现了第二个特殊的变量$*，该变量包含了所有输入的命令行参数值。如果您运行showrpmopenssh.rpmw3m.rpmwebgrep.rpm此时$*包含了3个字符串，即openssh.rpm,w3m.rpmandwebgrep.rpm.引号在向程序传递任何参数之前，程序会扩展通配符和变量。这里所谓扩展的意思是程序会把通配符（比如*）替换成合适的文件名，它变量替换成变量值。为了防止程序作这种替换，您可以使用引号：让我们来看一个例子，假设在当前目录下有一些文件，两个jpg文件，mail.jpg和tux.jpg。#!/bin/shecho*.jpg这将打印出"mail.jpgtux.jpg"的结果。引号(单引号和双引号)将防止这种通配符扩展：#!/bin/shecho"*.jpg"echo'*.jpg'这将打印"*.jpg"两次。单引号更严格一些。它可以防止任何变量扩展。双引号可以防止通配符扩展但允许变量扩展。#!/bin/shecho$SHELLecho"$SHELL"echo'$SHELL'运行结果为：/bin/bash/bin/bash$SHELL最后，还有一种防止这种扩展的方法，那就是使用转义字符——反斜杆：echo*.jpgecho$SHELL这将输出：*.jpg$SHELLHeredocuments当要将几行文字传递给一个命令时，heredocuments（译者注：目前还没有见到过对该词适合的翻译）一种不错的方法。对每个脚本写一段帮助性的文字是很有用的，此时如果我们四有那个heredocuments就不必用echo函数一行行输出。一个"Heredocument"以shiftby2--)shift;break;;#endofoptions-*)echo"error:nosuchoption$1.-hforhelp";exit1;;*)break;;esacdoneecho"opt_fis$opt_f"echo"opt_lis$opt_l"echo"firstargis$1"echo"2ndargis$2"您可以这样运行该脚本：cmdparser-lhello-f---somefile1somefile2返回的结果是：opt_fis1opt_lishellofirstargis-somefile12ndargissomefile2这个脚本是如何工作的呢？脚本首先在所有输入命令行参数中进行循环，将输入参数与case表达式进行比较，如果匹配则设置一个变量并且移除该参数。根据unix系统的惯例，首先输入的应该是包含减号的参数。实例一般编程步骤现在我们来讨论编写一个脚本的一般步骤。任何优秀的脚本都应该具有帮助和输入参数。并且写一个伪脚本（framework.sh），该脚本包含了大多数脚本都需要的框架结构，是一个非常不错的主意。这时候，在写一个新的脚本时我们只需要执行一下命令：cpframework.shmyscript然后再插入自己的函数。让我们再看两个例子：二进制到十进制的转换脚本b2d将二进制数(比如1101)转换为相应的十进制数。这也是一个用expr命令进行数学运算的例子：#!/bin/sh#vim:setsw=4ts=4et:help(){cat<

B. 如何将一shell脚本中的每一步命令执行结果输出到指定日志文件中

$?获取每一步执行的结果，输出到日志中就是正常的写日志动作就行
echo "" > /var/log/你的log
或者rsyslog啥的，我记得有个函数，你用这个函数也行。

C. 如何将一shell脚本中的每一步命令执行结果输出到指定日志文件中

使用tee命令：
sh portal/main.sh |tee log.txt
获取脚本父类路径
cmddir="`dirname $0`"

D. 如何将一shell脚本中的每一步命令执行结果输出到指定日志文件中

执行shell脚本重定向
test.sh 2>&1 >test.log

E. shell脚本中tail -f 日志输出到文件, 如果shell脚本后台运行日志无法写入文件,该如何处理

如果找到关键字，停止tail，继续执行后面的，但如果没找到的情况你没讲，我这个是如果超时1分钟没找到，也停止tail，并且终止脚本继续执行。{ sed /"$keywords"/q; kill $!; } < <(exec timeout 1m tail -Fn 0 "$log_file")适合用在脚本中，$keywords 和 $log_file 是要查找的关键字和目标文件，替换掉或者脚本前面设置变量。这个命令用到了进程替换（bash相关），和遇到错误停止（凡是脚本都应该用），所以脚本开头得是这两行 #!/bin/bashset -euxo pipefail并且执行这个脚本也得用 bash xxxx.sh，虽然CentOS里 sh 是 bash 的软链，但也不能用 sh，得用 bash

F. shell批量执行多个shell脚本

把多个shell脚本的执行命令和必要的参数，分行写入一个脚本文件中，加上日志输出。

G. shell脚本怎么生成运行日志

自己写的脚本调用的日志打印函数，供参考

在脚本开头的工作
定义日志文件LOGFILE
定义日志序列号文件_LOGSEQ

定义日志函数
log()
{
#检查是否存在日志文件，如果存在，则检查文件是否过大（20M）
#过大时，切换文件，并将目前的日志序列号保存在_LOGSEQ中。
if [ -f $LOGFILE ];then
LogFileLen=`ls -l ${LOGFILE} | awk '{print $5}'`
if [ $LogFileLen -gt 20971520 ]; then
if [ -f ${_LOGSEQ} ] ; then
_OrgSeq="`cat ${_LOGSEQ}`"
if [ $_OrgSeq -gt 98 ];then
LogFileSeq=0
else
LogFileSeq=`expr ${_OrgSeq} + 1`
fi
else
LogFileSeq=0
fi
echo "${LogFileSeq}" > ${_LOGSEQ}
mv $LOGFILE ${LOGFILE}.${LogFileSeq}
fi
fi
_LogInfo=$1
echo `date +20'%y-%m-%d %H:%M:%S'`" ${_LogInfo} " >> ${LOGFILE} 2>&1
}

需要打日志时调用log函数即可

H. 如何将一shell脚本中的每一步命令执行结果输出到指定日志文件中

命令的结果输出到指定文件可以使用>>，如：
ls >> log.txt
这样就可以了。

I. 如何shell命令编写自己的Web日志分析脚本

一、读取文件
按照上面的思路，先解决读取问题。这里我用了判断语句，起初我是想写出类似于 access=more
/usr/access*.*，将这个路径全部加到变量里，方便判断，因为在shell里，只能将固定文件、文件夹作为变量，变量中不能加*号（我是没找到别的方法，有知道大牛请提点下小弟），所以就想了个笨办法，用匹配关键词的方式来判断特定目录下，是apache日志，还是weblogic日志，还是IIS日志，具体判断方法如下：
if ls -l /usr/ | egrep "access";then
more /usr/access*.* | egrep "多个关键词"
else
more /usr/ex*.log | egrep “多个关键词”
fi
这样的方式来进行判断，但是这样判断有个缺点，就是中间件日志在/usr/目录下，只能存在一种，比如同时存在apache和IIS的日志，就会优先判断apache的，进而不会执行IIS日志分析的语句。而且，为了不跟之前的历史数据混乱，在脚本执行开始，清空了下数据。
file=/usr/nmgxy/
if [ -e "$file" ];then
echo "日志目录存在，跳过创建过程，该操作会清空/usr/nmgxy/目录下所有数据"
echo "按回车键开始清空数据，结束请点击Ctrl+c"
read key
rm -r /usr/nmgxy/*
mkdir -p /usr/nmgxy/LFI/ /usr/nmgxy/exp/ /usr/nmgxy/sql/ /usr/nmgxy/scan/ /usr/nmgxy/xss/ /usr/nmgxy/getshell/ /usr/nmgxy/dir/
else
mkdir -p /usr/nmgxy/ /usr/nmgxy/LFI/ /usr/nmgxy/exp/ /usr/nmgxy/sql/
/usr/nmgxy/scan/ /usr/nmgxy/xss/ /usr/nmgxy/getshell/ /usr/nmgxy/dir/
fi
echo "分析结果日志保存在/usr/nmgxy/目录下"
echo ---------------------日志目标文件---------------------------
if ls -l /usr/ | egrep "access";then
echo --------------------统计出现次数最多的前20个IP地址-----------------
cat /usr/access*.* |awk '{print $1}' |sort |uniq -c |sort -rn |head -20 >/usr/nmgxy/top20.log
echo "统计完成"
二、定义攻击特征
日志读取的问题解决了，接下来就是定义攻击特征的事儿了，攻击特征比较好定义。例如，SQL注入攻击的判断：
echo ------------------------SQL注入攻击sql.log----------------
echo "开始分析存在SQL注入的攻击行为，并将结果保存在/usr/nmgxy/sql/目录下"
more /usr/access*.* |egrep
"%20select%20|%20and%201=1|%20and%201=2|%20exec|%27exec|
information_schema.tables|%20information_schema.tables|%20where%20|%20union%20|%20SELECT%20|%2ctable_name%20|cmdshell|%20table_schema"
>/usr/nmgxy/sql/sql.log
echo "分析结束"
awk '{print "共检测到SQL注入攻击" NR"次"}' /usr/nmgxy/sql/sql.log|tail -n1
echo "开始统计SQL注入攻击事件中，出现频率最多的前20个IP地址"
cat /usr/nmgxy/sql/sql.log |awk -F "[" '{print $1}' |sort |uniq -c |sort -rn |head -20 >/usr/nmgxy/sql/top20.log
echo ----------------------------------------------------------
more /usr/nmgxy/sql/top20.log
echo "统计结束"
我把一些常见的SQL注入攻击的特征写到了里面，去掉了MSSQL数据库存储过程以及MSSQL数据库才会出现的一些注入语句。
三、输出匹配到的含有攻击特征的记录
将匹配到的攻击特征内容，重新输出到了另外一个log里面，相当于做了一次筛选/usr/nmgxy/sql/sql.log
more /usr/access*.* |egrep
"%20select%20|%20and%201=1|%20and%201=2|%20exec|%27exec|
information_schema.tables|%20information_schema.tables|%20where%20|%20union%20|%20SELECT%20|%2ctable_name%20|cmdshell|%20table_schema"
>/usr/nmgxy/sql/sql.log
然后二次分析这个筛选过的文件，统计SQL注入攻击出现的次数
awk '{print "共检测到SQL注入攻击" NR"次"}' /usr/nmgxy/sql/sql.log|tail -n1
输出完毕后，将攻击出现最多的前20个IP地址进行统计并显示到屏幕上
echo "开始统计SQL注入攻击事件中，出现频率最多的前20个IP地址"
cat /usr/nmgxy/sql/sql.log |awk -F "[" '{print $1}' |sort |uniq -c |sort -rn |head -20 >/usr/nmgxy/sql/top20.log
echo ----------------------------------------------------------
more /usr/nmgxy/sql/top20.log
echo "统计结束"
四、输出结果
这个在代码开头，创建了一些文件夹，用来存放筛选过的记录
mkdir -p /usr/nmgxy/LFI/ /usr/nmgxy/exp/ /usr/nmgxy/sql/ /usr/nmgxy/scan/ /usr/nmgxy/xss/ /usr/nmgxy/getshell/ /usr/nmgxy/dir/
中间删删改改折腾了好几次。后来针对特定的攻击，我们比较关注（重点是比较好写的= =）的内容做了HTTP响应请求200/500的判断，并输出结果。
echo -------------------------getshell-getshell.log----------------
echo "开始分析存在getshell的攻击行为，并将结果保存在/usr/nmgxy/getshell/目录下"
more /usr/access*.* |egrep "
eval|%eval|%execute|%3binsert|%20makewebtaski%20|/div.asp|/1.asp|/1.jsp|/1.php|/1.aspx|xiaoma.jsp|tom.jsp|py.jsp|k8cmd.jsp|/k8cmd|ver007.jsp|ver008.jsp|ver007|ver008|%if|\.aar"
>>/usr/nmgxy/getshell/getshell.log
echo "分析结束"
echo "二次分析结果中HTTP响应码为200和500，结果另存为/usr/nmgxy/getshell/ok.log"
more /usr/nmgxy/getshell/getshell.log | awk '{if($9=200) {print $1" "$2"
"$3" "$4" "$6" "$7" "$8" "$9}}' >/usr/nmgxy/getshell/ok.log
more /usr/nmgxy/getshell/getshell.log | awk '{if($9=500) {print $1" "$2"
"$3" "$4" "$6" "$7" "$8" "$9}}' >>/usr/nmgxy/getshell/ok.log
echo "二次分析结束"
awk '{print "共检测到getshell行为" NR "次"}' /usr/nmgxy/getshell/getshell.log|tail -n1
echo "开始统计漏洞利用攻击事件中，出现频率最多的前20个IP地址"
cat /usr/nmgxy/getshell/getshell.log |awk -F "[" '{print $1}' |sort
|uniq -c |sort -rn |head -20 >/usr/nmgxy/getshell/top20.log
echo ---------------------------------------------------------------
more /usr/nmgxy/getshell/top20.log
echo "统计结束"
统计HTTP响应状态，IIS和apache有点区别。apache我以默认空格为分隔符，判断第9个分隔符是否为200或500，如果等于，则输出全部内容
more /usr/nmgxy/getshell/getshell.log | awk '{if($9=500) {print $1" "$2" "$3" "$4" "$6" "$7" "$8" "$9}}'
而IIS的，我则是用获取关键词的方式，来进行判断。
more /usr/nmgxy/getshell/getshell.log | egrep " 200" >/usr/nmgxy/getshell/ok.log
用egrep的方式，关键词为" 200"，200前面有个空格，如果不加空格的话，很容易跟其他的参数混起来，那个时候误报就不是一点点了。例如asp?id=200，所以加入了空格做区分。
IIS和nginx的思路类似，唯一的区别就是特征码，稍微有点改动而已，这个就不一一例举了。思路就是这个思路，其实后期想把报告整体输出成HTML的方式，估计工作量挺大，这个还是得闲下来的时候，慢慢修改吧。
PS：这个脚本虽然写的比较粗糙，但是精确度还是有的，测试了几十次，精确度能达到至少80%以上。
分析1个多G的日志文件，需要大致约30多秒左右，我是在虚拟机里做的测试。虚拟机ubuntu系统，1G的内存。
不见得能帮上大忙，至少可以给大家在分析日志时节省点时间。。。。
先贴出apache、weblogic、IIS的脚本代码，weblogic的从网盘直接下载就好。apache、weblogic、IIS的脚本代码：