利用shell中awk和xargs以及sed将多行多列文本中某一列合并成一行

分手后的思念是犯贱 2021-11-04 16:18 937阅读 0赞

# 一、问题描述 #

最近需要利用Shell将多行多列文本中某一列，通过指定的分隔符合并成一行。假设需要处理的文本如下：

![è¿éåå¾çæè¿°][SouthEast]  
我们主要处理的是，将用户名提取处理，合并成一行，并通过逗号进行分隔。最终的格式如下：

“li1”,”huan”,”wang”,”wu”,”78c”,”zh”,”liu”,”zhao”,”xu”,”yang”

# 二、解决方案 #

首先是提取每一行的第X列，我最先能够想到的是awk命令，如下  
awk  '\{print $2\}' user1.txt  
效果如下：   
 ![è¿éåå¾çæè¿°][SouthEast 1]  
接着，是不是可以把替换符替换为逗号呢？   
使用tr命令

awk '\{print $2\}' user1.txt |tr "\\n" ","  
  
效果：   
 ![è¿éåå¾çæè¿°][SouthEast 2]  
看着好像是很接近，我们将上面的 , 分隔改为”,”分隔，是不是就okey了呢？命令如下：

awk '\{print $2\}' user1.txt |tr "\\n" "\\",\\""  
  
只是很遗憾，执行效果如下：

![è¿éåå¾çæè¿°][SouthEast 3]  
   
为什么呢？

因为tr是单个字符处理工具，而不是字符串处理工具。

既然tr不可以替换字符串，那么咱们就用sed命令。因为sed命令不仅仅可以处理字符，还可以处理字符串。

先来个简单的，将换行替换成逗号，命令如下：

awk '\{print $2\}' user1.txt |sed 's/\\n/,/g'  
![è¿éåå¾çæè¿°][SouthEast 4]  
执行结果如下：   
   
好吧，竟然不听话。为什么呢？

因为sed命令处理过程是：从文本流中读取一行文本后，先把换行符去掉，然后进行相应的命令，处理完后再添加上换行符。这就导致sed命令，无法对换行符进行直接替换。

既然这样行不通，怎么搞呢？

解决方案一：  
既然sed不能修改换行符，那就是在使用sed之前，把换行符干掉。干掉换行符，可以使用tr和xargs命令。

#使用xargs命令干掉换行符
    awk '{print $2}' user1.txt |xargs 
    #使用tr命令干掉换行符
    awk '{print $2}' user1.txt |tr "\n" " "

使用sed命令将空格替换成”,”，命令如下：

awk '\{print $2\}' user1.txt |xargs |sed 's/ /","/g'  
  
但是开头和结尾少了一个双引号，解决方案如下：

![è¿éåå¾çæè¿°][SouthEast 5]  
echo '"'\`awk '\{print $2\}' user1.txt |xargs |sed 's/ /","/g'\`'"'  
  
解决方案二：  
echo '"'\`awk '\{print $2\}' user1.txt | sed ':label;N;s/\\n/","/;b label'\`'"'

![è¿éåå¾çæè¿°][SouthEast 6]

[SouthEast]: /images/20211104/907a3186439b4efba530f7b276a45514.png
[SouthEast 1]: /images/20211104/fa1ea696981d4aabab1c99238c08afc8.png
[SouthEast 2]: /images/20211104/05f4f26ed711432ca420582347d5ca28.png
[SouthEast 3]: /images/20211104/88cb8bfdceef4774925a8f490289227e.png
[SouthEast 4]: /images/20211104/5a1fbc31eae941168c59f98de018a087.png
[SouthEast 5]: /images/20211104/5fd98308717447e6abdbc46e19e64c83.png
[SouthEast 6]: /images/20211104/9edb35b9ea754dc984299e1be9554d36.png