Pandas高端操作：10行代码解决用户游览日志合并排序问题

我就是我 2023-01-05 12:05 8阅读 0赞

![format_png][]

> 作者：小小明，「凹凸数据」专栏作者，Pandas数据处理专家，致力于帮助无数数据从业者解决数据处理难题。

## 先说问题 ##

下面有一份用户游览日志的数据（复制下面显示的表格后，运行下面的代码才会出现相同的结果，详见[《在剪贴板上读取/写入数据，太方便了吧！》][Link 1]）：

import pandas as pd
    df = pd.read_clipboard() #读取剪切板中的数据
    df

结果：

<table> 
 <thead> 
  <tr> 
   <th><br></th> 
   <th>uid</th> 
   <th>start</th> 
   <th>end</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>0</td> 
   <td>A</td> 
   <td>1</td> 
   <td>2</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>A</td> 
   <td>4</td> 
   <td>7</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>A</td> 
   <td>3</td> 
   <td>6</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>A</td> 
   <td>8</td> 
   <td>9</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>B</td> 
   <td>2</td> 
   <td>3</td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>B</td> 
   <td>4</td> 
   <td>7</td> 
  </tr> 
  <tr> 
   <td>6</td> 
   <td>B</td> 
   <td>10</td> 
   <td>11</td> 
  </tr> 
  <tr> 
   <td>7</td> 
   <td>B</td> 
   <td>6</td> 
   <td>8</td> 
  </tr> 
  <tr> 
   <td>8</td> 
   <td>B</td> 
   <td>12</td> 
   <td>15</td> 
  </tr> 
  <tr> 
   <td>9</td> 
   <td>C</td> 
   <td>14</td> 
   <td>15</td> 
  </tr> 
 </tbody> 
</table>

其中`uid`表示每个用户，`start`表示起始游览时间，`end`表示结束游览的时间，从上表可以看到，存在**游览时间重叠**的情况，例如用户A的游览时间3-6和4-7重叠，可以认为游览时间是3-7。

我们现在要做的事就是把每个用户的存在重叠的游览时间合并到一起，最终并按照时间顺序排序显示。

注意：3-4和4-6也属于重叠的时间，可以合并为3-6。

## 对一个用户进行时间合并+排序 ##

取出一个用户的数据，用于测试操作：

tmp = df.groupby("uid").get_group('B')
    tmp

结果：

<table> 
 <thead> 
  <tr> 
   <th><br></th> 
   <th>uid</th> 
   <th>start</th> 
   <th>end</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>4</td> 
   <td>B</td> 
   <td>2</td> 
   <td>3</td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>B</td> 
   <td>4</td> 
   <td>7</td> 
  </tr> 
  <tr> 
   <td>6</td> 
   <td>B</td> 
   <td>10</td> 
   <td>11</td> 
  </tr> 
  <tr> 
   <td>7</td> 
   <td>B</td> 
   <td>6</td> 
   <td>8</td> 
  </tr> 
  <tr> 
   <td>8</td> 
   <td>B</td> 
   <td>12</td> 
   <td>15</td> 
  </tr> 
 </tbody> 
</table>

观察发现，要解决这个问题，我们首先需要对数据按照开始时间排序。

![format_png 1][]

排序后：

tmp = tmp.sort_values('start')
    tmp

结果：

<table> 
 <thead> 
  <tr> 
   <th><br></th> 
   <th>uid</th> 
   <th>start</th> 
   <th>end</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>4</td> 
   <td>B</td> 
   <td>2</td> 
   <td>3</td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>B</td> 
   <td>4</td> 
   <td>7</td> 
  </tr> 
  <tr> 
   <td>7</td> 
   <td>B</td> 
   <td>6</td> 
   <td>8</td> 
  </tr> 
  <tr> 
   <td>6</td> 
   <td>B</td> 
   <td>10</td> 
   <td>11</td> 
  </tr> 
  <tr> 
   <td>8</td> 
   <td>B</td> 
   <td>12</td> 
   <td>15</td> 
  </tr> 
 </tbody> 
</table>

观察排序后的数据，我们就能很快的观察出合并的规则：

当前游览记录的的起始时间小于等于上一条记录的结束时间时就进行合并，非常简单：

result = []
    for uid, start, end in tmp.values:
        # 如果结果集中还没有数据或者当前记录的起始时间大于上一条记录的结束时间
        # 就可以直接将当前记录加入到结果集
        if not result or start > result[-1][2]:
            result.append([uid, start, end])
        else:
            # 否则，说明可以将当前记录与上一条记录合并
            # 合并方法是如果当前记录的结束时间大于上一条记录的结束时间，
            # 则上一条记录的结束时间修改为当前记录的结束时间
            result[-1][2] = max(result[-1][2], end)
    tmp = pd.DataFrame(result, columns=["uid", "start", "end"])
    tmp

结果：

<table> 
 <thead> 
  <tr> 
   <th><br></th> 
   <th>uid</th> 
   <th>start</th> 
   <th>end</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>0</td> 
   <td>B</td> 
   <td>2</td> 
   <td>3</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>B</td> 
   <td>4</td> 
   <td>8</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>B</td> 
   <td>10</td> 
   <td>11</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>B</td> 
   <td>12</td> 
   <td>15</td> 
  </tr> 
 </tbody> 
</table>

## 完整代码 ##

然后我们整理一下完整的处理代码：

result = []
    for uid, tmp in df.groupby("uid"):
        tmp = tmp[["start", "end"]].sort_values('start')
        rows = []
        for start, end in tmp.values:
            if not rows or start > rows[-1][2]:
                rows.append([uid, start, end])
            else:
                rows[-1][2] = max(rows[-1][2], end)
        tmp = pd.DataFrame(rows, columns=["uid", "start", "end"])
        result.append(tmp)
    result = pd.concat(result)
    result

结果：

<table> 
 <thead> 
  <tr> 
   <th><br></th> 
   <th>uid</th> 
   <th>start</th> 
   <th>end</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>0</td> 
   <td>A</td> 
   <td>1</td> 
   <td>2</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>A</td> 
   <td>3</td> 
   <td>7</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>A</td> 
   <td>8</td> 
   <td>9</td> 
  </tr> 
  <tr> 
   <td>0</td> 
   <td>B</td> 
   <td>2</td> 
   <td>3</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>B</td> 
   <td>4</td> 
   <td>8</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>B</td> 
   <td>10</td> 
   <td>11</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>B</td> 
   <td>12</td> 
   <td>15</td> 
  </tr> 
  <tr> 
   <td>0</td> 
   <td>C</td> 
   <td>14</td> 
   <td>15</td> 
  </tr> 
 </tbody> 
</table>

好了，完结，撒花！

记得一键三连哦~

![format_png 2][]

[老板又出难题，气得我写了个自动化软件][Link 2]

[在剪贴板上读取/写入数据，太方便了吧！][Link 1]

[同学，你这简历上没项目啊！][Link 3]

[超经典！十步完全理解 SQL（上）][SQL]

[超经典！十步完全理解 SQL（下）][SQL 1]

**后台回复关键词「****进群****」，即刻加入读者交流群~**

![format_png 3][]

“**在看**”和“**点赞**”是对文章最好的支持** ![format_png 4][]**

[format_png]: /images/20221119/e8ceb47304e44bd8b76b1165f7624ec7.png
[Link 1]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4ef776c9397e600b6a7a4c452debde1b14c39f88250224bfe2977ccd9509d4733351354e24&idx=1&mid=2247504626&scene=21&sn=f9d9a5d3fc9f64abc61b1f43ffdd50df#wechat_redirect
[format_png 1]: /images/20221119/5bb15a296df84471bf2a472713dd85d5.png
[format_png 2]: /images/20221119/2f67d3f880f84e0c80cefc07c5deb16d.png
[Link 2]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4ef704c9397e12614fc221e273beb85c7cd77412fcfbe5ee79708894c332cf3807718edaab&idx=1&mid=2247504512&scene=21&sn=9757d27acbb6c1b570fd4a2d376cd6e3#wechat_redirect
[Link 3]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4ef523c9397c35e55431f12d4077e31e75a372a4f474cc49fd597a062aa1d5ebb07c4ad543&idx=1&mid=2247504039&scene=21&sn=cd11c789986ca736f3c26dc2eef768a9#wechat_redirect
[SQL]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4ef43dc9397d2b931ada4b34dad9da3522c0ce8e5112328427be12be83c47263b92a917412&idx=3&mid=2247504313&scene=21&sn=ab12f7ae74a4a62afb84f0fba88274df#wechat_redirect
[SQL 1]: http://mp.weixin.qq.com/s?__biz=MzU5Nzg5ODQ3NQ%3D%3D&chksm=fe4ef7a9c9397ebf1c93d0d5a4668cc3a985c1e1454cfe550da05327b6dcf8c60e361f6043de&idx=3&mid=2247504429&scene=21&sn=8dc33e41ae283b4ff1577365de17b0dc#wechat_redirect
[format_png 3]: /images/20221119/2acef770de454ac68e018c62aa8df9b8.png
[format_png 4]: https://imgconvert.csdnimg.cn/aHR0cHM6Ly9tbWJpei5xcGljLmNuL21tYml6X2dpZi9tbUYwclRqTW1tS1pJVUlMWFRJdEVldDZpYk05MGxJV2hLaWJIR25OZHlRaWN3NXpIQ2ptakl0dUltVUhIZ0Iyb05KNWNxNDFwOXhvbHYzY0QzcHVKTlo1dy82NDA?x-oss-process=image/format,png