老东家监测Redis的慢查询日志，采用Crontab 每隔一段时间对慢查询日志采样,然后追加写入一个文本文件。

创新互联-专业网站定制、快速模板网站建设、高性价比黔西南州网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式黔西南州网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖黔西南州地区。费用合理售后完善，十载实体公司更值得信赖。

所以文本文件中有很多重复的慢查询日志

如何对整段重复的慢查询日志去重呢？

采用Shell 命令的方式最简单和直接。

 awk '/^1\)/{print s;s=""};{ s=(s" "$0)}; END{print s } ' b.txt  | sort | uniq | sed 's/        /\n        /g'  | awk '/^ 1\) \(integer\)/{rc =rc+1;rowdata=rc") \t" $1" "$2" "$3"\n\t"$4" "$5" "$6" "$7"\n\t"$8" "$9" "$10;print rowdata};/^  /{print "\t"$0} END{print "不重复日志总数:" rc}'

核心就是把整段的redis日志先合并为一行，去重之后，在还原格式。

下面是用于测试的附件

redisSlowLog.txt

附王工对这个问题的需求描述和说明。

https://blog.csdn.net/wzy0623/article/details/83652539?tdsourcetag=s_pcqq_aiomsg

文章名称：Shell解决RedisSlowLog去重问题-创新互联
本文来源：http://ybzwz.com/article/piosg.html