Python产生batch数据的操作

àì夳堔傛蜴生んèń 2024-03-31 13:43 58阅读 0赞

这篇文章主要介绍了Python产生batch数据的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

### 产生batch数据 ###

输入data中每个样本可以有多个特征，和一个标签，最好都是numpy.array格式。

> datas = \[data1, data2, …, dataN \], labels = \[label1, label2, …, labelN\]，

其中data\[i\] = \[feature1, feature2,…featureM\], 表示每个样本数据有M个特征。

输入我们方法的数据，all\_data = \[datas, labels\] 。

### 代码实现 ###

通过索引值来产生batch大小的数据，同时提供是否打乱顺序的选择，根据随机产生数据量范围类的索引值来打乱顺序。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 </td> 
 <td> <code>import</code> <code>numpy as np</code> <code>def</code> <code>batch_generator(all_data , batch_size, shuffle</code><code>=</code><code>True</code><code>):</code> <code>&nbsp;</code><code>"""</code> <code>&nbsp;</code><code>:param all_data : all_data整个数据集，包含输入和输出标签</code> <code>&nbsp;</code><code>:param batch_size: batch_size表示每个batch的大小</code> <code>&nbsp;</code><code>:param shuffle: 是否打乱顺序</code> <code>&nbsp;</code><code>:return:</code> <code>&nbsp;</code><code>"""</code> <code>&nbsp;</code><code># 输入all_datas的每一项必须是numpy数组，保证后面能按p所示取值</code> <code>&nbsp;</code><code>all_data </code><code>=</code> <code>[np.array(d) </code><code>for</code> <code>d </code><code>in</code> <code>all_data]</code> <code>&nbsp;</code><code># 获取样本大小</code> <code>&nbsp;</code><code>data_size </code><code>=</code> <code>all_data[</code><code>0</code><code>].shape[</code><code>0</code><code>]</code> <code>&nbsp;</code><code>print</code><code>(</code><code>"data_size: "</code><code>, data_size)</code> <code>&nbsp;</code><code>if</code> <code>shuffle:</code> <code>&nbsp;&nbsp;</code><code># 随机生成打乱的索引</code> <code>&nbsp;&nbsp;</code><code>p </code><code>=</code> <code>np.random.permutation(data_size)</code> <code>&nbsp;&nbsp;</code><code># 重新组织数据</code> <code>&nbsp;&nbsp;</code><code>all_data </code><code>=</code> <code>[d[p] </code><code>for</code> <code>d </code><code>in</code> <code>all_data]</code> <code>&nbsp;</code><code>batch_count </code><code>=</code> <code>0</code> <code>&nbsp;</code><code>while</code> <code>True</code><code>:</code> <code>&nbsp;&nbsp;</code><code># 数据一轮循环(epoch)完成，打乱一次顺序</code> <code>&nbsp;&nbsp;</code><code>if</code> <code>batch_count </code><code>*</code> <code>batch_size </code><code>+</code> <code>batch_size &gt; data_size:</code> <code>&nbsp;&nbsp;&nbsp;</code><code>batch_count </code><code>=</code> <code>0</code> <code>&nbsp;&nbsp;&nbsp;</code><code>if</code> <code>shuffle:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>p </code><code>=</code> <code>np.random.permutation(data_size)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>all_data </code><code>=</code> <code>[d[p] </code><code>for</code> <code>d </code><code>in</code> <code>all_data]</code> <code>&nbsp;&nbsp;</code><code>start </code><code>=</code> <code>batch_count </code><code>*</code> <code>batch_size</code> <code>&nbsp;&nbsp;</code><code>end </code><code>=</code> <code>start </code><code>+</code> <code>batch_size</code> <code>&nbsp;&nbsp;</code><code>batch_count </code><code>+</code><code>=</code> <code>1</code> <code>&nbsp;&nbsp;</code><code>yield</code> <code>[d[start: end] </code><code>for</code> <code>d </code><code>in</code> <code>all_data]</code> </td> 
 </tr> 
 </tbody> 
</table>

### 测试数据 ###

样本数据x和标签y可以分开输入，也可以同时输入。

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 </td> 
 <td> <code># 输入x表示有23个样本，每个样本有两个特征</code> <code># 输出y表示有23个标签，每个标签取值为0或1</code> <code>x </code><code>=</code> <code>np.random.random(size</code><code>=</code><code>[</code><code>23</code><code>, </code><code>2</code><code>])</code> <code>y </code><code>=</code> <code>np.random.randint(</code><code>2</code><code>, size</code><code>=</code><code>[</code><code>23</code><code>,</code><code>1</code><code>])</code> <code>count </code><code>=</code> <code>x.shape[</code><code>0</code><code>]</code> <code>batch_size </code><code>=</code> <code>5</code> <code>epochs </code><code>=</code> <code>20</code> <code>batch_num </code><code>=</code> <code>count </code><code>/</code><code>/</code> <code>batch_size</code> <code>batch_gen </code><code>=</code> <code>batch_generator([x, y], batch_size)</code> <code>for</code> <code>i </code><code>in</code> <code>range</code><code>(epochs):</code> <code>&nbsp;</code><code>print</code><code>(</code><code>"##### epoch %s ##### "</code> <code>%</code> <code>i)</code> <code>&nbsp;</code><code>for</code> <code>j </code><code>in</code> <code>range</code><code>(batch_num):</code> <code>&nbsp;&nbsp;</code><code>batch_x, batch_y </code><code>=</code> <code>next</code><code>(batch_gen)</code> <code>&nbsp;&nbsp;</code><code>print</code><code>(</code><code>"-----epoch=%s, batch=%s-----"</code> <code>%</code> <code>(i, j))</code> <code>&nbsp;&nbsp;</code><code>print</code><code>(batch_x, batch_y)</code> </td> 
 </tr> 
 </tbody> 
</table>

**补充：使用tensorflow.data.Dataset构造batch数据集**

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 </td> 
 <td> <code>import</code> <code>tensorflow as tf</code> <code>import</code> <code>numpy as np</code> <code>def</code> <code>_parse_function(x):</code> <code>&nbsp;</code><code>num_list </code><code>=</code> <code>np.arange(</code><code>10</code><code>)</code> <code>&nbsp;</code><code>return</code> <code>num_list</code> <code>def</code> <code>_from_tensor_slice(x):</code> <code>&nbsp;</code><code>return</code> <code>tf.data.Dataset.from_tensor_slices(x)</code> <code>softmax_data </code><code>=</code> <code>tf.data.Dataset.</code><code>range</code><code>(</code><code>1000</code><code>) </code><code># 构造一个队列</code> <code>softmax_data </code><code>=</code> <code>softmax_data.</code><code>map</code><code>(</code><code>lambda</code> <code>x:tf.py_func(_parse_function, [x], [tf.int32]))</code><code># 将数据进行传入</code> <code>softmax_data </code><code>=</code> <code>softmax_data.flat_map(_from_tensor_slice) </code><code>#将数据进行平铺, 将其变为一维的数据，from_tensor_slice将数据可以输出</code> <code>softmax_data </code><code>=</code> <code>softmax_data.batch(</code><code>1</code><code>) </code><code>#构造一个batch的数量</code> <code>softmax_iter </code><code>=</code> <code>softmax_data.make_initializable_iterator() </code><code># 构造数据迭代器</code> <code>softmax_element </code><code>=</code> <code>softmax_iter.get_next() </code><code># 获得一个batch的数据</code> <code>sess </code><code>=</code> <code>tf.Session()</code> <code>sess.run(softmax_iter.initializer) </code><code># 数据迭代器的初始化操作</code> <code>print</code><code>(sess.run(softmax_element)) </code><code># 实际获得一个数据</code> <code>print</code><code>(sess.run(softmax_data))</code> </td> 
 </tr> 
 </tbody> 
</table>

以上就是Python产生batch数据的操作的知识，希望能给大家一个参考。

来源：[https://www.weidianyuedu.com][https_www.weidianyuedu.com]

[https_www.weidianyuedu.com]: https://www.weidianyuedu.com