（超详细）读取mnist数据集并保存成图片

红太狼 2022-06-09 23:35 581阅读 0赞

# mnist数据集介绍、读取、保存成图片 #

## 1、mnist数据集介绍： ##

*  MNIST数据集是一个手写体数据集，简单说就是一堆这样东西  
    ![图片][32210670.jpg]
 *  MNIST的官网地址是 [MNIST][]; 通过阅读官网我们可以知道，这个数据集由四部分组成，分别是  
    ![图示][39815116.jpg];
 *  也就是一个训练图片集，一个训练标签集，一个测试图片集，一个测试标签集；我们可以看出这个其实并不是普通的文本文件或是图片文件，而是一个压缩文件，下载并解压出来，我们看到的是二进制文件，其中训练图片集的内容部分如此  
    ![示例][89634599.jpg]  
    这些二进制数据如何解释呢？在这里我们只针对官网的说法，对训练图片集和训练标签集进行解说，测试集是一样的道理。
 *  针对训练标签集，官网上陈述有  
    ![图示][95624547.jpg]  
    官网说法，训练集是有60000个用例的，也就是说这个文件里面包含了60000个标签内容，每一个标签的值为0到9之间的一个数；回到我们的训练标签集上，按上面说的，我们先解析每一个属性的含义，offset代表了字节偏移量，也就是这个属性的二进制值的偏移是多少；type代表了这个属性的值的类型；value代表了这个属性的值是多少；description是对这个的说明；所以呢，这里对上面的进行一下说明，它的说法是“从第0个字节开始有一个32位的整数，它的值是0x00000801，它是一个魔数；从第4个字节开始有一个32位的整数，它的值是60000，它代表了数据集的数量；从第8个字节开始有一个unsigned byte，它的值是??，是一个标签值….”；我们现在针对我们看到的文件进行解说，看图  
    ![图例][68505376.jpg]  
    首先我们知道用sublime打开这个文件（是解压过的），是用十六进制表示的，也就是说里面的每一个数字代表了四个位，两个数字代表了一个字节；我们首先看到偏移量为0字节处`0000 0801`它就是代表了魔数，它的值为`0000 0801`，这里补充说一下什么是魔数，其实它就是一个校验数，用来判断这个文件是不是MNIST里面的train-labels.idx1-ubyte文件；接着往下看偏移量为4字节处`0000 ea60`,我们知道按照上面说过的这个应该是表示容量数，也就是60000,而60000的十六进制就是ea60,满足；再看偏移量为8字节处`05`，它就表示我们的标签值了，也就是说第一个图片的标签值为5,后面的也是依此类推；
 *  接下来我们来看训练图片集，同样从官网上可以看到  
    ![图示][27678010.jpg]  
    其解说与上面的标签文件类似，但是这里还要补充说明一下，在MNIST图片集中，所有的图片都是28×28的，也就是每个图片都有28×28个像素；看回我们的上述图片，其表示，我们的train-images-idx3-ubyte文件中偏移量为0字节处有一个4字节的数为`0000 0803`表示魔数；接下来是`0000 ea60`值为60000代表容量，接下来从第8个字节开始有一个4字节数，值为28也就是`0000 001c`，表示每个图片的行数；从第12个字节开始有一个4字节数，值也为28,也就是`0000 001c`表示每个图片的列数；从第16个字节开始才是我们的像素值，用图片说话  
    ![图示][68096368.jpg]；而且每784个字节代表一幅图片  
    我们可以看到文件的二进制内容同我们分析的是一样的。
 *  补充说明：在图示中我们可以看到有一个MSB first，其全称是”Most Significant Bit first”,相对称的是一个LSB first，“Least Significant Bit”; MSB first是指最高有效位优先，也就是我们的大端存储，而LSB对应小端存储；关于大端，小端，可以 [参考][Link 1]

## 2、mnist数据集读取及保存成图片 ##

代码一共有三个文件组成

ReadMnistData.h

ReadMnistData.cpp

Main.cpp

其中ReadMnistData.h和ReadMnistData.cpp文件中定义了读取文件和保存成图片的函数，Main.cpp中是设置读取文件路径和保存路径。只需要设置文件的读取路径和保存路径，然后运行就可以了。

下面给出Main.cpp的代码：

#include "ReadMnistData.h"
    
    int main()
    {
    	ReadMnistData rmd;
    
    	/*读取训练文件并保存成图片格式*/
    	string filename_train_images = "C:\\Users\\lyf\\Desktop\\mnist\\train-images-idx3-ubyte";	//train images 文件路径
    	string filename_train_labels = "C:\\Users\\lyf\\Desktop\\mnist\\train-labels-idx1-ubyte";	//train labels 文件路径
    	string save_train_image_path = "C:\\Users\\lyf\\Desktop\\mnist\\train_images\\";		//train images 保存路径
    	vector<cv::Mat> vec_train_images;			//保存读取的train images
    	vector<int> vec_train_labels;				//保存读取的train labels
    
    	rmd.Read_Mnist_Images(filename_train_images, vec_train_images);			//读取train images
    	cout << "-----------------------------" << endl;
    	rmd.Read_Mnist_Labels(filename_train_labels, vec_train_labels);			//读取train labels
    	cout << "-----------------------------" << endl;
    	rmd.Save_Mnist_Images(save_train_image_path, vec_train_images, vec_train_labels);	//保存train_images
    
    	//==================================================================================
    	/*读取测试文件并保存成图片格式*/
    	string filename_test_images = "C:\\Users\\lyf\\Desktop\\mnist\\t10k-images-idx3-ubyte";		//test images 文件路径
    	string filename_test_labels = "C:\\Users\\lyf\\Desktop\\mnist\\t10k-labels-idx1-ubyte";		//test labels 文件路径
    	string save_test_image_path = "C:\\Users\\lyf\\Desktop\\mnist\\test_images\\";			//test images 保存路径
    	vector<cv::Mat> vec_test_images;			//保存读取的test images
    	vector<int> vec_test_labels;				//保存读取的test labels
    	
    	rmd.Read_Mnist_Images(filename_test_images, vec_test_images);			//读取test images
    	cout << "-----------------------------" << endl;
    	rmd.Read_Mnist_Labels(filename_test_labels, vec_test_labels);			//读取test labels
    	cout << "-----------------------------" << endl;
    	rmd.Save_Mnist_Images(save_test_image_path, vec_test_images, vec_test_labels);	//保存test_images
    
    	return 0;
    }

其它两个文件的代码就不贴出了，如需请自行下载： [读取mnist数据集并保存成图片][mnist]

代码运行效果如下：

![Center][]

最后图片保存的结果如下：

文件命名格式：

如 0\_00001.jpg：0表示对应图片的内容，即标签；00001表示标签为0的图片中第1张图片，00002为第2张图片，以此类推........

![Center 1][]

参考：http://m.blog.csdn.net/sysushui/article/details/53257185

https://github.com/fengbingchun/NN\_Test/blob/master/demo/DatasetToImage/funset.cpp

[32210670.jpg]: http://7xncgn.com1.z0.glb.clouddn.com/public/16-11-20/32210670.jpg
[MNIST]: http://yann.lecun.com/exdb/mnist/
[39815116.jpg]: http://7xncgn.com1.z0.glb.clouddn.com/public/16-11-20/39815116.jpg
[89634599.jpg]: http://7xncgn.com1.z0.glb.clouddn.com/public/16-11-20/89634599.jpg
[95624547.jpg]: http://7xncgn.com1.z0.glb.clouddn.com/public/16-11-20/95624547.jpg
[68505376.jpg]: http://7xncgn.com1.z0.glb.clouddn.com/public/16-11-20/68505376.jpg
[27678010.jpg]: http://7xncgn.com1.z0.glb.clouddn.com/public/16-11-20/27678010.jpg
[68096368.jpg]: http://7xncgn.com1.z0.glb.clouddn.com/public/16-11-20/68096368.jpg
[Link 1]: http://blog.csdn.net/ce123/article/details/6971544
[mnist]: http://download.csdn.net/detail/yf_li123/9922380
[Center]: /images/20220610/4f9ac9cfb3eb45ed9350d900171c9851.png
[Center 1]: /images/20220610/2e6d54f05aa14aa89d5dfa41c987757f.png