建站服务器
老东家监测redis的慢查询日志，采用crontab 每隔一段时间对慢查询日志采样,然后追加写入一个文本文件。
所以文本文件中有很多重复的慢查询日志
如何对整段重复的慢查询日志去重呢？
采用shell 命令的方式最简单和直接。
awk'/^1\\\\)/{prints;s=""};{s=(s""$0)};end{prints}'b.txt|sort|uniq|sed's//\\\\n/g'|awk'/^1\\\\)\\\\(integer\\\\)/{rc=rc 1;rowdata=rc")\\\\t"$1""$2""$3"\\\\n\\\\t"$4""$5""$6""$7"\\\\n\\\\t"$8""$9""$10;printrowdata};/^/{print"\\\\t"$0}end{print"不重复日志总数:"rc}'
核心就是把整段的redis日志先合并为一行，去重之后，在还原格式。
下面是用于测试的附件
redisslowlog.txt
附王工对这个问题的需求描述和说明。
https://blog.csdn.net/wzy0623/article/details/83652539?tdsourcetag=s_pcqq_aiomsg