Python进行数据提取的方法总结,关于numpy,pandas

你的名字 2022-12-05 00:55 136阅读 0赞

> 转:Python进行数据提取的方法总结,关于numpy,pandas
> 
> [http://bluewhale.cc/2016-08-22/data-extraction-using-python.html][http_bluewhale.cc_2016-08-22_data-extraction-using-python.html]
> 
>  原文更新时间：2016年08月22日 09:06:00 
> 
> 数据提取是分析师日常工作中经常遇到的需求。如某个用户的贷款金额，某个月或季度的利息总收入，某个特定时间段的贷款金额和笔数，大于5000元的贷款数量等等。本篇文章介绍如何通过python按特定的维度或条件对数据进行提取，完成数据提取需求。
> 
>  
> 
> **准备工作**
> 
> 首先是准备工作，导入需要使用的库，读取并创建数据表取名为loandata。
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td> <p>1</p> <p>2</p> <p>3</p> </td> 
>    <td> <p><code>import</code> <code>numpy as np</code></p> <p><code>import</code> <code>pandas as pd</code></p> <p><code>loandata</code><code>=</code><code>pd.DataFrame(pd.read_excel(</code><code>'loan_data.xlsx'</code><code>))</code></p> </td> 
>   </tr> 
>  </tbody> 
> </table>
> 
> ![format_png][]
> 
> **设置索引字段**
> 
> 在开始提取数据前，先将`member_id`列设置为索引字段。然后开始提取数据。
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td> <p>1</p> </td> 
>    <td> <p><code>Loandata </code><code>=</code> <code>loandata.set_index(</code><code>'member_id'</code><code>)</code></p> </td> 
>   </tr> 
>  </tbody> 
> </table>
> 
> ![format_png 1][]
> 
> **按行提取信息**
> 
> 第一步是按行提取数据，例如提取某个用户的信息。下面使用ix函数对`member_id`为1303503的用户信息进行了提取。
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td> <p>1</p> </td> 
>    <td> <p><code>loandata.ix[</code><code>1303503</code><code>]</code></p> </td> 
>   </tr> 
>  </tbody> 
> </table>
> 
> ![format_png 2][]
> 
> **按列提取信息**
> 
> 第二步是按列提取数据，例如提取用户工作年限列的所有信息，下面是具体的代码和提取结果，显示了所有用户的工作年龄信息。
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td> <p>1</p> </td> 
>    <td> <p><code>loandata.ix[:,</code><code>'emp_length'</code><code>]</code></p> </td> 
>   </tr> 
>  </tbody> 
> </table>
> 
> ![format_png 3][]
> 
> **按行与列提取信息**
> 
> 第三步是按行和列提取信息，把前面两部的查询条件放在一起，查询特定用户的特定信息，下面是查询`member_id`为1303503的用户的`emp_length`信息。
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td> <p>1</p> </td> 
>    <td> <p><code>loandata.ix[</code><code>1303503</code><code>,</code><code>'emp_length'</code><code>]</code></p> </td> 
>   </tr> 
>  </tbody> 
> </table>
> 
> ![format_png 4][]
> 
> 在前面的基础上继续增加条件，增加一行同时查询两个特定用户的贷款金额信息。具体代码和查询结果如下。结果中分别列出了两个用户的代码金额。
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td> <p>1</p> </td> 
>    <td> <p><code>loandata.ix[[</code><code>1303503</code><code>,</code><code>1298717</code><code>],</code><code>'loan_amnt'</code><code>]</code></p> </td> 
>   </tr> 
>  </tbody> 
> </table>
> 
> ![format_png 5][]
> 
> 在前面的代码后增加`sum`函数，对结果进行求和，同样是查询两个特定用户的贷款进行，下面的结果中直接给出了贷款金额的汇总值。
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td> <p>1</p> </td> 
>    <td> <p><code>loandata.ix[[</code><code>1303503</code><code>,</code><code>1298717</code><code>],</code><code>'loan_amnt'</code><code>].</code><code>sum</code><code>()</code></p> </td> 
>   </tr> 
>  </tbody> 
> </table>
> 
> ![format_png 6][]
> 
> 除了增加行的查询条件以外，还可以增加列的查询条件，下面的代码中查询了一个特定用户的贷款金额和年收入情况，结果中分别显示了这两个字段的结果。
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td> <p>1</p> </td> 
>    <td> <p><code>loandata.ix[</code><code>1303503</code><code>,[</code><code>'loan_amnt'</code><code>,</code><code>'annual_inc'</code><code>]]</code></p> </td> 
>   </tr> 
>  </tbody> 
> </table>
> 
> ![format_png 7][]
> 
> 多个列的查询也可以进行求和计算，在前面的代码后增加`sum`函数，对这个用户的贷款金额和年收入两个字段求和，并显示出结果。
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td> <p>1</p> </td> 
>    <td> <p><code>loandata.ix[</code><code>1303503</code><code>,[</code><code>'loan_amnt'</code><code>,</code><code>'annual_inc'</code><code>]].</code><code>sum</code><code>()</code></p> </td> 
>   </tr> 
>  </tbody> 
> </table>
> 
> ![format_png 8][]
> 
> **提取特定日期的信息**
> 
> 数据提取中还有一种很常见的需求就是按日期维度对数据进行汇总和提取，如按月，季度的汇总数据提取和按特定时间段的数据提取等等。
> 
> **设置索引字段**
> 
> 首先将索引字段改为数据表中的日期字段，这里将issue\_d设置为数据表的索引字段。按日期进行查询和数据提取。
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td> <p>1</p> </td> 
>    <td> <p><code>loandata </code><code>=</code> <code>loandata.set_index(</code><code>'issue_d'</code><code>)</code></p> </td> 
>   </tr> 
>  </tbody> 
> </table>
> 
> ![format_png 9][]
> 
> **按日期提取信息**
> 
> 下面的代码查询了所有2016年的数据。
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td> <p>1</p> </td> 
>    <td> <p><code>loandata[</code><code>'2016'</code><code>]</code></p> </td> 
>   </tr> 
>  </tbody> 
> </table>
> 
> [![format_png 10][]][format_png 10 1]
> 
> 在前面代码的基础上增加月份，查询所有2016年3月的数据。
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td> <p>1</p> </td> 
>    <td> <p><code>loandata[</code><code>'2016-03'</code><code>]</code></p> </td> 
>   </tr> 
>  </tbody> 
> </table>
> 
> ![format_png 11][]
> 
> 继续在前面代码的基础上增加日期，查询所有2016年6月16日的数据。
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td> <p>1</p> </td> 
>    <td> <p><code>loandata[</code><code>'2016-06-16'</code><code>]</code></p> </td> 
>   </tr> 
>  </tbody> 
> </table>
> 
>   
> ![format_png 12][]
> 
> 除了按单独日期查询以外，还可以按日期段进行数据查询，下面的代码中查询了所有2016年1月至5月的数据。下面显示了具体的查询结果，可以发现数据的日期都是在1-5月的，但是按日期维度显示的，这就需要我们对数据按月进行汇总。
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td> <p>1</p> </td> 
>    <td> <p><code>loandata[</code><code>'2016-01'</code><code>:</code><code>'2016-05'</code><code>]</code></p> </td> 
>   </tr> 
>  </tbody> 
> </table>
> 
> ![format_png 13][]
> 
> **按日期汇总信息**
> 
> Pandas中的`resample`函数可以完成日期的聚合工作，包括按小时维度，日期维度，月维度，季度及年的维度等等。下面我们分别说明。首先是按周的维度对前面数据表的数据进行求和。下面的代码中W表示聚合方式是按周，how表示数据的计算方式，默认是计算平均值，这里设置为`sum`，进行求和计算。
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td> <p>1</p> </td> 
>    <td> <p><code>loandata.resample(</code><code>'W'</code><code>,how</code><code>=</code><code>sum</code><code>).head(</code><code>10</code><code>)</code></p> </td> 
>   </tr> 
>  </tbody> 
> </table>
> 
> ![format_png 14][]
> 
> 将W改为M，数据变成了按月聚合的方式。计算方式依然是求和。这里需要说明的是`resample`函数会显示出所有连续的时间段，例如前面按周的聚合操作会显示连续的周日期，这里的按月操作则会在结果中显示连续的月，如果某个时间段没有数据，会以NaN值显示。
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td> <p>1</p> </td> 
>    <td> <p><code>loandata.resample(</code><code>'M'</code><code>,how</code><code>=</code><code>sum</code><code>)</code></p> </td> 
>   </tr> 
>  </tbody> 
> </table>
> 
> ![format_png 15][]
> 
> 将前面代码中的M改为Q，则为按季度对数据进行聚合，计算方式依然为求和。从下面的数据表中看，日期显示的都是每个季度的最后一天，如果希望以每个季度的第一天显示，可以改为QS。
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td> <p>1</p> </td> 
>    <td> <p><code>loandata.resample(</code><code>'Q'</code><code>,how</code><code>=</code><code>sum</code><code>)</code></p> </td> 
>   </tr> 
>  </tbody> 
> </table>
> 
> ![format_png 16][]
> 
> 将前面代码中的Q改为A，就是按年对数据进行聚合，计算方式依然为求和。
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td> <p>1</p> </td> 
>    <td> <p><code>loandata.resample(</code><code>'A'</code><code>,how</code><code>=</code><code>sum</code><code>)</code></p> </td> 
>   </tr> 
>  </tbody> 
> </table>
> 
> ![format_png 17][]
> 
> 前面的方法都是对整个数据表进行聚合和求和操作，如果只需要对某一个字段的值进行聚合和求和，可以在数据表后增加列的名称。下面是将贷款金额字段按月聚合后求和，并用0填充空值。
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td> <p>1</p> </td> 
>    <td> <p><code>loandata[</code><code>'loan_amnt'</code><code>].resample(</code><code>'M'</code><code>,how</code><code>=</code><code>sum</code><code>).fillna(</code><code>0</code><code>)</code></p> </td> 
>   </tr> 
>  </tbody> 
> </table>
> 
> ![format_png 18][]
> 
> 在前面代码的基础上再增加一个数值字段，并且在后面的计算方式中增加`len`用来计数。在下面的结果中分别对贷款金额和利息收入按月聚合，并进行求和和计数计算
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td> <p>1</p> </td> 
>    <td> <p><code>loandata[[</code><code>'loan_amnt'</code><code>,</code><code>'total_rec_int'</code><code>]].resample(</code><code>'M'</code><code>,how</code><code>=</code><code>[</code><code>len</code><code>,</code><code>sum</code><code>])</code></p> </td> 
>   </tr> 
>  </tbody> 
> </table>
> 
> ![format_png 19][]
> 
> 有时我们需要只对某一时间段的数据进行聚合和计算，下面的代码中对2016年1月至5月的数据按月进行了聚合，并计算求和。用0填充空值。
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td> <p>1</p> </td> 
>    <td> <p><code>loandata[</code><code>'2016-01'</code><code>:</code><code>'2016-05'</code><code>].resample(</code><code>'M'</code><code>,how</code><code>=</code><code>sum</code><code>).fillna(</code><code>0</code><code>)</code></p> </td> 
>   </tr> 
>  </tbody> 
> </table>
> 
> ![format_png 20][]
> 
> 或者只对某些符合条件的数据进行聚合和计算。下面的代码中对于贷款金额大于5000的按月进行聚合，并计算求和。空值以0进行填充。
> 
> <table> 
>  <tbody> 
>   <tr> 
>    <td> <p>1</p> </td> 
>    <td> <p><code>loandata[loandata[</code><code>'loan_amnt'</code><code>]&gt;</code><code>5000</code><code>].resample(</code><code>'M'</code><code>,how</code><code>=</code><code>sum</code><code>).fillna(</code><code>0</code><code>)</code></p> </td> 
>   </tr> 
>  </tbody> 
> </table>
> 
> ![format_png 21][]
> 
> 除了按周，月，季度和年以外，`resample`函数还可以按以下方式对日期进行聚合。
> 
> 下面给出了具体的对应表和说明。
> 
>  ![format_png 22][]
> 
> **总结**
> 
> 以上就是利用python按特定的维度或条件对数据进行提取的全部内容，希望本文的内容对大家学习使用Python能有所帮助。
> 
> 您可能感兴趣的文章:
> 
>  *  [Python快速转换numpy数组中Nan和Inf的方法实例说明][Python_numpy_Nan_Inf]
>  *  [Numpy array数据的增、删、改、查实例][Numpy array]
>  *  [Python替换NumPy数组中大于某个值的所有元素实例][Python_NumPy]
>  *  [Python过滤掉numpy.array中非nan数据实例][Python_numpy.array_nan]

[http_bluewhale.cc_2016-08-22_data-extraction-using-python.html]: http://bluewhale.cc/2016-08-22/data-extraction-using-python.html
[format_png]: /images/20221123/f25dc107be2343c98683876de11581e0.png
[format_png 1]: /images/20221123/c151002ebcd64ada88696097e3e37457.png
[format_png 2]: /images/20221123/515ae4d5c32f428a8f60d5eab38d095b.png
[format_png 3]: /images/20221123/9286e2542cfa41e291820c699a7882d7.png
[format_png 4]: /images/20221123/36d499b35fec4d5fba1851c875476c01.png
[format_png 5]: /images/20221123/d3df4f43bc4c4035b360cf5fb8da6655.png
[format_png 6]: /images/20221123/e3b38618f1664f4b88217348b4bddb44.png
[format_png 7]: /images/20221123/4a12cfb237104c73be96471fd6979854.png
[format_png 8]: /images/20221123/d8cfcb9e0bf04b30abbfd8bc37ab916e.png
[format_png 9]: /images/20221123/412f94a9b09d4243934750cc92c7a711.png
[format_png 10]: /images/20221123/bb972ee156fc4a3da1000c63d822ed72.png
[format_png 10 1]: https://img.jbzj.com/file_images/article/201608/2016082208512112.jpg
[format_png 11]: /images/20221123/9102057f90b54e51822250a4b7c70967.png
[format_png 12]: /images/20221123/e1dea2b5a4804ecb9227110a5c2d0846.png
[format_png 13]: /images/20221123/22594e15c73041ba9818810b94aeb0eb.png
[format_png 14]: /images/20221123/73b0e4be79dd47a28673f57466113638.png
[format_png 15]: /images/20221123/a66e2136106147b4b6117e5d7fd95919.png
[format_png 16]: /images/20221123/d5f99b72cecd40de9de24fd5918839ef.png
[format_png 17]: /images/20221123/a2c5f5888cc4438e9e527c9bdb734b5d.png
[format_png 18]: /images/20221123/8872cf7a48d74b4e80f1de9377791973.png
[format_png 19]: /images/20221123/bb103041166548eca85f3d3a7e06bb5c.png
[format_png 20]: /images/20221123/bdb178cfc1774fad885eb2dcb956357a.png
[format_png 21]: /images/20221123/d27a330f46ed4348b071ec0024913b4d.png
[format_png 22]: /images/20221123/330495537d304a108f6b15767091df34.png
[Python_numpy_Nan_Inf]: https://www.jb51.net/article/156697.htm
[Numpy array]: https://www.jb51.net/article/141444.htm
[Python_NumPy]: https://www.jb51.net/article/188214.htm
[Python_numpy.array_nan]: https://www.jb51.net/article/188226.htm