c++ mnist转化为opecv Mat

￡神魔★判官ぃ 2022-05-11 06:56 189阅读 0赞

本文主要介绍如何使用`C++`将`mnist` 数据集转化为`Opencv Mat`，[问题来源][Link 1]主要代码以及运行示例如下：

uint32_t swap_endian(uint32_t val) {
        val = ((val << 8) & 0xFF00FF00) | ((val >> 8) & 0xFF00FF);
        return (val << 16) | (val >> 16);
    }
    
    void read_mnist_cv(const char* image_filename, const char* label_filename){
        // Open files
        std::ifstream image_file(image_filename, std::ios::in | std::ios::binary);
        std::ifstream label_file(label_filename, std::ios::in | std::ios::binary);
    
        // Read the magic and the meta data
        uint32_t magic;
        uint32_t num_items;
        uint32_t num_labels;
        uint32_t rows;
        uint32_t cols;
    
        image_file.read(reinterpret_cast<char*>(&magic), 4);
        magic = swap_endian(magic);
        if(magic != 2051){
            cout<<"Incorrect image file magic: "<<magic<<endl;
            return;
        }
    
        label_file.read(reinterpret_cast<char*>(&magic), 4);
        magic = swap_endian(magic);
        if(magic != 2049){
            cout<<"Incorrect image file magic: "<<magic<<endl;
            return;
        }
    
        image_file.read(reinterpret_cast<char*>(&num_items), 4);
        num_items = swap_endian(num_items);
        label_file.read(reinterpret_cast<char*>(&num_labels), 4);
        num_labels = swap_endian(num_labels);
        if(num_items != num_labels){
            cout<<"image file nums should equal to label num"<<endl;
            return;
        }
    
        image_file.read(reinterpret_cast<char*>(&rows), 4);
        rows = swap_endian(rows);
        image_file.read(reinterpret_cast<char*>(&cols), 4);
        cols = swap_endian(cols);
    
        cout<<"image and label num is: "<<num_items<<endl;
        cout<<"image rows: "<<rows<<", cols: "<<cols<<endl;
    
        char label;
        char* pixels = new char[rows * cols];
    
        for (int item_id = 0; item_id < num_items; ++item_id) {
            // read image pixel
            image_file.read(pixels, rows * cols);
            // read label
            label_file.read(&label, 1);
    
            string sLabel = std::to_string(int(label));
            cout<<"lable is: "<<sLabel<<endl;
            // convert it to cv Mat, and show it
            cv::Mat image_tmp(rows,cols,CV_8UC1,pixels);
            // resize bigger for showing
            cv::resize(image_tmp, image_tmp, cv::Size(100, 100));
            cv::imshow(sLabel, image_tmp);
            cv::waitKey(0);
        }
    
        delete[] pixels;
    }

代码主要参考了caffe，做了一点修改。使用如下：

string base_dir = "/home/xy/caffe-master/data/mnist/";
    string img_path = base_dir + "train-images-idx3-ubyte";
    string label_path = base_dir + "train-labels-idx1-ubyte";
    
    read_mnist_cv(img_path.c_str(), label_path.c_str());

运行结果截图如下：

![在这里插入图片描述][70]

### `caffe`系列源码分析介绍 ###

本系列深度学习框架`caffe` 源码分析主要内容如下：

##### 1. [caffe源码分析-cmake 工程构建][caffe_-cmake]: #####

[caffe源码分析-cmake 工程构建][caffe_-cmake]主要内容:

> 自己从头构建一遍工程，这样能让我更好的了解大型的项目的构建。当然原始的caffe的构建感觉还是比较复杂(主要是cmake)，我这里仅仅使用cmake构建，而且简化点，当然最重要的是支持CLion直接运行调试（如果需要这个工程可以评论留下你的邮箱，我给你发送过去）。

![这里写图片描述][70 1]

##### 2. caffe的数据内存分配类`SyncedMemory`， 以及类`Blob`数据传输的媒介. #####

主要内容：  
[caffe源码分析-SyncedMemory][caffe_-SyncedMemory]  
[caffe源码分析-Blob][caffe_-Blob]  
其中`Blob`分析给出了其直接与opencv的图片相互转化以及操作，可以使得我们更好的理解`Blob`.

##### 3. caffe `layer`的源码分析，包括从整体上说明了`layer`类别以及其proto定义与核心函数. #####

内容如下：  
[caffe源码分析-layer][caffe_-layer]  
[caffe源码分析-ReLULayer][caffe_-ReLULayer]  
[caffe源码分析-inner\_product\_layer][caffe_-inner_product_layer]  
[caffe源码分析-layer\_factory][caffe_-layer_factory]

首先分析了最简单的`layer` `Relu`，然后在是`inner_product_layer全连接层`， 最后是`layer_factory`caffe中 以此工厂模式create各种Layer.

##### 4. 数据输入层，主要是多线程+BlockingQueue的方式读取数据训练： #####

内容如下：  
[caffe源码分析-BlockingQueue][caffe_-BlockingQueue]  
[caffe源码分析-InternalThread][caffe_-InternalThread]  
[caffe源码分析-DataReader][caffe_-DataReader]

##### 5. IO处理例如读取proto文件转化为网络，以及网络参数的序列化 #####

内容如下：  
[caffe源码分析-DataTransformer][caffe_-DataTransformer]  
[caffe源码分析-db, io][caffe_-db_ io]

##### 6. 最后给出了使用纯C++结合多层感知机网络训练mnist的示例 #####

内容如下：

[caffe c++示例（mnist 多层感知机c++训练，测试）][caffe c_mnist _c]

类似与`caffe`一样按照`layer、solver、loss、net`等模块构建的神经网络实现可以见下面这篇blog，相信看懂了这个python的代码理解caffe框架会更简单点.

[神经网络python实现][python]

--------------------

**最后如果需要`cmake` \+ `CLion`直接运行调试`caffe`的代码工程，可以评论留下你的邮箱，我给你发送过去.**

[Link 1]: https://stackoverflow.com/a/52406754/6329006
[70]: /images/20220511/e6e690ec2a7c44b7afcbd2c240ac9bec.png
[caffe_-cmake]: https://blog.csdn.net/haluoluo211/article/details/82668188
[70 1]: /images/20220511/ba41e0505c0849eaac494a76fe738567.png
[caffe_-SyncedMemory]: https://blog.csdn.net/haluoluo211/article/details/82668358
[caffe_-Blob]: https://blog.csdn.net/haluoluo211/article/details/82668678
[caffe_-layer]: https://blog.csdn.net/haluoluo211/article/details/82956105
[caffe_-ReLULayer]: https://blog.csdn.net/haluoluo211/article/details/82956157
[caffe_-inner_product_layer]: https://blog.csdn.net/haluoluo211/article/details/82956259
[caffe_-layer_factory]: https://blog.csdn.net/haluoluo211/article/details/82956378
[caffe_-BlockingQueue]: https://blog.csdn.net/haluoluo211/article/details/82956464
[caffe_-InternalThread]: https://blog.csdn.net/haluoluo211/article/details/82956589
[caffe_-DataReader]: https://blog.csdn.net/haluoluo211/article/details/82956624
[caffe_-DataTransformer]: https://blog.csdn.net/haluoluo211/article/details/82956728
[caffe_-db_ io]: https://blog.csdn.net/haluoluo211/article/details/82956800
[caffe c_mnist _c]: https://blog.csdn.net/haluoluo211/article/details/82958604
[python]: https://blog.csdn.net/haluoluo211/article/details/81158209