MySQL逗号分割字段的行列转换技巧

我就是我 2022-05-23 09:35 242阅读 0赞

> ## 前言： ##
> 
> 由于很多业务表因为历史原因或者性能原因，都使用了违反第一范式的设计模式。即同一个列中存储了多个属性值（具体结构见下表）。
> 
> 这种模式下，应用常常需要将这个列依据分隔符进行分割，并得到列转行的结果。

表数据：

期望得到结果：

<table style="margin:0px;padding:0px;border:1px solid #C0C0C0;color:rgb(51,51,51);font-family:verdana, Arial, Helvetica, sans-serif;font-size:14px;background-color:rgb(255,255,255);"> 
 <tbody style="margin:0px;padding:0px;"> 
  <tr style="margin:0px;padding:0px;"> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">ID</td> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">Value</td> 
  </tr> 
  <tr style="margin:0px;padding:0px;"> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">1</td> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">tiny</td> 
  </tr> 
  <tr style="margin:0px;padding:0px;"> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">1</td> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">small</td> 
  </tr> 
  <tr style="margin:0px;padding:0px;"> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">1</td> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">big</td> 
  </tr> 
  <tr style="margin:0px;padding:0px;"> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">2</td> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">small</td> 
  </tr> 
  <tr style="margin:0px;padding:0px;"> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">2</td> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">medium</td> 
  </tr> 
  <tr style="margin:0px;padding:0px;"> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">3</td> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">tiny</td> 
  </tr> 
  <tr style="margin:0px;padding:0px;"> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">3</td> 
   <td style="margin:0px;padding:3px;border-color:#C0C0C0;border-collapse:collapse;">big</td> 
  </tr> 
 </tbody> 
</table>

## 正文： ##

![复制代码][copycode.gif]

#需要处理的表
    create table tbl_name (ID int ,mSize varchar(100));
    insert into tbl_name values (1,'tiny,small,big');
    insert into tbl_name values (2,'small,medium');
    insert into tbl_name values (3,'tiny,big');
    
    #用于循环的自增表
    create table incre_table (AutoIncreID int);
    insert into incre_table values (1);
    insert into incre_table values (2);
    insert into incre_table values (3);

![复制代码][copycode.gif]

select a.ID,substring_index(substring_index(a.mSize,',',b.AutoIncreID),',',-1) 
    from 
    tbl_name a
    join
    incre_table b
    on b.AutoIncreID <= (length(a.mSize) - length(replace(a.mSize,',',''))+1)
    order by a.ID;

![复制代码][copycode.gif]

## 原理分析： ##

这个join最基本原理是笛卡尔积。通过这个方式来实现循环。

以下是具体问题分析：

length(a.Size) - length(replace(a.mSize,',',''))+1  表示了，按照逗号分割后，改列拥有的数值数量，下面简称n

join过程的伪代码：

根据ID进行循环

判断：i 是否 <= n

获取最靠近第 i 个逗号之前的数据， 即 substring\_index(substring\_index(a.mSize,',',b.ID),',',-1)

i = i +1

ID = ID +1

## 总结： ##

这种方法的缺点在于，我们需要一个拥有连续数列的独立表（这里是incre\_table)。并且连续数列的最大值一定要大于符合分割的值的个数。

例如有一行的mSize 有100个逗号分割的值，那么我们的incre\_table 就需要有至少100个连续行。

当然，mysql内部也有现成的连续数列表可用。如mysql.help\_topic： help\_topic\_id 共有504个数值，一般能满足于大部分需求了。

改写后如下:

![复制代码][copycode.gif]

select a.ID,substring_index(substring_index(a.mSize,',',b.help_topic_id+1),',',-1) 
    from 
    tbl_name a
    join
    mysql.help_topic b
    on b.help_topic_id < (length(a.mSize) - length(replace(a.mSize,',',''))+1)
    order by a.ID;

![复制代码][copycode.gif]

[copycode.gif]: /images/20220523/b6970811b76943198da3739b6ca782e2.png