caffe之训练数据格式

秒速五厘米 2022-06-05 12:46 258阅读 0赞

原文地址：[http://blog.csdn.net/hjimce/article/details/49248231][http_blog.csdn.net_hjimce_article_details_49248231]

作者：hjimce

caffe对于训练数据格式，支持：lmdb、![Image 1][]![Image 1][]h5py……，其中lmdb数据格式常用于单标签数据，像分类等，经常使用lmdb的数据格式。对于回归等问题，或者多标签数据，一般使用h5py数据的格式。当然好像还有其它格式的数据可用，不过我一般使用这两种数据格式，因此本文就主要针对这两种数据格式的制作方法，进行简单讲解。

一、lmdb数据

lmdb用于单标签数据。为了简单起见，我后面通过一个性别分类作为例子，进行相关数据制作讲解。

１、数据准备

首先我们要准备好训练数据，然后新建一个名为train的文件夹和一个val的文件夹：

![Center][]

train文件存放训练数据，val文件存放验证数据。然后我们在train文件下面，把训练数据性别为男、女图片各放在一个文件夹下面：

![Center 1][]

同样的我们在val文件下面也创建文件夹：

![Center 2][]

两个文件也是分别存我们用于验证的图片数据男女性别文件。我们在test\_female下面存放了都是女性的图片，然后在test\_male下面存放的都是验证数据的男性图片。

２、标签文件.txt文件制作.

接着我们需要制作一个train.txt、val.txt文件，这两个文件分别包含了我们上面的训练数据的图片路径，以及其对应的标签，如下所示。

![Center 3][]

我们把女生图片标号为１，男生图片标记为０。标签数据文件txt的生成可以通过如下代码，通过扫描路径男、女性别下面的图片，得到标签文件train.txt和val.txt：

\[python\] [view plain][] [copy][view plain]

1. **import** os 
2. **import** numpy as np 
3. **from** matplotlib **import** pyplot as plt 
4. **import** cv2 
5. **import** shutil 
6. 
7. 
8. \#扫面文件
9. **def** GetFileList(FindPath,FlagStr=\[\]): 
10. **import** os 
11. FileList=\[\] 
12. FileNames=os.listdir(FindPath) 
13. **if** len(FileNames)>0: 
14. **for** fn **in** FileNames: 
15. **if** len(FlagStr)>0: 
16. **if** IsSubString(FlagStr,fn): 
17. fullfilename=os.path.join(FindPath,fn) 
18. FileList.append(fullfilename) 
19. **else**: 
20. fullfilename=os.path.join(FindPath,fn) 
21. FileList.append(fullfilename) 
22. 
23. 
24. **if** len(FileList)>0: 
25. FileList.sort() 
26. 
27. **return** FileList 
28. **def** IsSubString(SubStrList,Str): 
29. flag=True
30. **for** substr **in** SubStrList: 
31. **if****not**(substr **in** Str): 
32. flag=False
33. 
34. **return** flag 
35. 
36. txt=open('train.txt','w') 
37. \#制作标签数据，如果是男的，标签设置为０，如果是女的标签为１
38. imgfile=GetFileList('first\_batch/train\_female') 
39. **for** img **in** imgfile: 
40. str=img+'\\t'\+'1'\+'\\n'
41. txt.writelines(str) 
42. 
43. imgfile=GetFileList('first\_batch/train\_male') 
44. **for** img **in** imgfile: 
45. str=img+'\\t'\+'0'\+'\\n'
46. txt.writelines(str) 
47. txt.close()

把生成的标签文件，和train\\val文件夹放在同一个目录下面：

![Center 4][]

需要注意，我们标签数据文件里的文件路径和图片的路径要对应的起来，比如val.txt文件的某一行的图片路径，是否在val文件夹下面：

![Center 5][]

３、生成lmdb数据

接着我们的目的就是要通过上面的四个文件，把图片的数据和其对应的标签打包起来，打包成lmdb数据格式，打包脚本如下：

\[python\] [view plain][] [copy][view plain]

1. \#!/usr/bin/env sh
2. \# Create the imagenet lmdb inputs
3. \# N.B. set the path to the imagenet train + val data dirs
4. 
5. EXAMPLE=. \# 生成模型训练数据文化夹
6. TOOLS=／/../build/tools \# caffe的工具库，不用变
7. DATA=. \# python脚步处理后数据路径
8. 
9. TRAIN\_DATA\_ROOT=train/ \#待处理的训练数据
10. VAL\_DATA\_ROOT=val/ \# 带处理的验证数据
11. 
12. 
13. 
14. \# Set RESIZE=true to resize the images to 256x256. Leave as false if images have
15. \# already been resized using another tool.
16. RESIZE=true\#是否需要对图片进行resize
17. **if** $RESIZE; then 
18. RESIZE\_HEIGHT=256
19. RESIZE\_WIDTH=256
20. **else**
21. RESIZE\_HEIGHT=0
22. RESIZE\_WIDTH=0
23. fi 
24. 
25. **if** \[ ! -d "$TRAIN\_DATA\_ROOT" \]; then 
26. echo "Error: TRAIN\_DATA\_ROOT is not a path to a directory: $TRAIN\_DATA\_ROOT"
27. echo "Set the TRAIN\_DATA\_ROOT variable in create\_imagenet.sh to the path" \\ 
28. "where the ImageNet training data is stored."
29. exit 1
30. fi 
31. 
32. **if** \[ ! -d "$VAL\_DATA\_ROOT" \]; then 
33. echo "Error: VAL\_DATA\_ROOT is not a path to a directory: $VAL\_DATA\_ROOT"
34. echo "Set the VAL\_DATA\_ROOT variable in create\_imagenet.sh to the path" \\ 
35. "where the ImageNet validation data is stored."
36. exit 1
37. fi 
38. 
39. echo "Creating train lmdb..."
40. 
41. GLOG\_logtostderr=1 $TOOLS/convert\_imageset \\ 
42. \--resize\_height=$RESIZE\_HEIGHT \\ 
43. \--resize\_width=$RESIZE\_WIDTH \\ 
44. \--shuffle \\ 
45. $TRAIN\_DATA\_ROOT \\ 
46. $DATA/train.txt \\ 
47. $EXAMPLE/train\_lmdb 
48. 
49. echo "Creating val lmdb..."
50. 
51. GLOG\_logtostderr=1 $TOOLS/convert\_imageset \\ 
52. \--resize\_height=$RESIZE\_HEIGHT \\ 
53. \--resize\_width=$RESIZE\_WIDTH \\ 
54. \--shuffle \\ 
55. $VAL\_DATA\_ROOT \\ 
56. $DATA/val.txt \\ 
57. $EXAMPLE/val\_lmdb 
58. 
59. echo "Done."

通过运行上面的脚本，我们即将得到文件夹train\_lmdb\\val\_lmdb：

![Center 6][]

我们打开train\_lmdb文件夹

![Center 7][]

并查看一下文件data.mdb数据的大小，如果这个数据包好了我们所有的训练图片数据，查一下这个文件的大小是否符合预期大小，如果文件的大小才几k而已，那么就代表你没有打包成功，估计是因为路径设置错误。我们也可以通过如下的代码读取上面打包好的数据，把图片、和标签打印出来，查看一下，查看lmdb数据请参考下面的代码：

python lmdb数据验证：

\[python\] [view plain][] [copy][view plain]

1. \# coding=utf-8
2. caffe\_root = '/home/hjimce/caffe/'
3. **import** sys 
4. sys.path.insert(0, caffe\_root + 'python') 
5. **import** caffe 
6. 
7. **import** os 
8. **import** lmdb 
9. **import** numpy 
10. **import** matplotlib.pyplot as plt 
11. 
12. 
13. **def** readlmdb(path,visualize = False): 
14. env = lmdb.open(path, readonly=True,lock=False) 
15. 
16. datum = caffe.proto.caffe\_pb2.Datum() 
17. x=\[\] 
18. y=\[\] 
19. with env.begin() as txn: 
20. cur = txn.cursor() 
21. **for** key, value **in** cur: 
22. \# 转换为datum
23. datum.ParseFromString(value) 
24. \# 读取datum数据
25. img\_data = numpy.array(bytearray(datum.data))\\ 
26. .reshape(datum.channels, datum.height, datum.width) 
27. **print** img\_data.shape 
28. x.append(img\_data) 
29. y.append(datum.label) 
30. **if** visualize: 
31. img\_data=img\_data.transpose(\[1,2,0\]) 
32. img\_data = img\_data\[:, :, ::-1\] 
33. plt.imshow(img\_data) 
34. plt.show() 
35. **print** datum.label 
36. **return** x,y

通过上面的函数，我们可以是读取相关的lmdb数据文件。

４、制作均值文件。

这个是为了图片归一化而生成的图片平均值文件，把所有的图片相加起来，做平均，具体的脚本如下：

\[python\] [view plain][] [copy][view plain]

1.  \#!/usr/bin/env sh
2.  \# Compute the mean image from the imagenet training lmdb
3.  \# N.B. this is available in data/ilsvrc12
4.  
5.  EXAMPLE=. 
6.  DATA=train 
7.  TOOLS=../../build/tools 
8.  
9.  $TOOLS/compute\_image\_mean $EXAMPLE/train\_lmdb \\　　＃train\_lmdb是我们上面打包好的lmdb数据文件 
10.  $DATA/imagenet\_mean.binaryproto 
11. 
12. echo "Done."

运行这个脚本，我们就可以训练图片均值文件：imagenet\_mean.binaryproto

至此，我们得到了三个文件：imagenet\_mean.binaryproto、train\_lmdb、val\_lmdb，这三个文件就是我们最后打包好的数据，这些数据我们即将作为caffe的数据输入数据格式文件，把这三个文件拷贝出来，就可以把原来还没有打包好的数据删了。这三个文件，我们在caffe的网络结构文件，数据层定义输入数据的时候，就会用到了：

\[python\] [view plain][] [copy][view plain]

1.  name: "CaffeNet"
2.  layers \{ 
3.   name: "data"
4.   type: DATA 
5.   top: "data"
6.   top: "label"
7.   data\_param \{ 
8.   source: "train\_lmdb"＃lmbd格式的训练数据 
9.   backend: LMDB 
10.  batch\_size: 50
11.  \} 
12.  transform\_param \{ 
13.  crop\_size: 227
14.  mirror: true 
15.  mean\_file:"imagenet\_mean.binaryproto"＃均值文件 
16. 
17.  \} 
18.  include: \{ phase: TRAIN \} 
19. \} 
20. layers \{ 
21.  name: "data"
22.  type: DATA 
23.  top: "data"
24.  top: "label"
25.  data\_param \{ 
26.  source: "val\_lmdb"＃lmdb格式的验证数据 
27.  backend: LMDB 
28.  batch\_size: 50
29.  \} 
30.  transform\_param \{ 
31.  crop\_size: 227
32.  mirror: false 
33.  mean\_file:"imagenet\_mean.binaryproto"＃均值文件 
34.  \} 
35.  include: \{ phase: TEST \} 
36. \}

二、h5py格式数据

上面的lmdb一般用于单标签数据，图片分类的时候，大部分用lmdb格式。然而假设我们要搞的项目是人脸特征点识别，我们要识别出68个人脸特征点，也就是相当于136维的输出向量。网上查了一下，对于caffe多标签输出，需要使用h5py格式的数据，而且使用h5py的数据格式的时候，caffe是不能使用数据扩充进行相关的数据变换的，很是悲剧啊，所以如果caffe使用h5py数据格式的话，需要自己在外部，进行数据扩充，数据归一化等相关的数据预处理操作。

1、h5py数据格式生成

下面演示一下数据h5py数据格式的制作：

\[python\] [view plain][] [copy][view plain]

1.  \# coding: utf-8
2.  caffe\_root = '/home/hjimce/caffe/'
3.  **import** sys 
4.  sys.path.insert(0, caffe\_root + 'python') 
5.  **import** os 
6.  **import** cv2 
7.  **import** numpy as np 
8.  **import** h5py 
9.  **from** common **import** shuffle\_in\_unison\_scary, processImage 
10. **import** matplotlib.pyplot as plt 
11. 
12. **def** readdata(filepath): 
13.  fr=open(filepath,'r') 
14.  filesplit=\[\] 
15. **for** line **in** fr.readlines(): 
16.  s=line.split() 
17.  s\[1:\]=\[float(x) **for** x **in** s\[1:\]\] 
18.  filesplit.append(s) 
19.  fr.close() 
20. **return** filesplit 
21. \#因为我们的训练数据可能不是正方形，然而网络的输入的大小是正方形图片，为了避免强制resize引起的图片扭曲，所以我们采用填充的方法
22. **def** sqrtimg(img): 
23.  height,width=img.shape\[:2\] 
24.  maxlenght=max(height,width) 
25.  sqrtimg0=np.zeros((maxlenght,maxlenght,3),dtype='uint8') 
26. 
27.  sqrtimg0\[(maxlenght\*.5\-height\*.5):(maxlenght\*.5\+height\*.5),(maxlenght\*.5\-width\*.5):(maxlenght\*.5\+width\*.5)\]=img 
28. **return** sqrtimg0 
29. 
30. 
31. **def** generate\_hdf5(): 
32. 
33.  labelfile =readdata('../data/my\_alige\_landmark.txt') 
34.  F\_imgs = \[\] 
35.  F\_landmarks = \[\] 
36. 
37. 
38. **for** i,l **in** enumerate(labelfile): 
39.  imgpath='../data/'\+l\[0\] 
40. 
41.  img=cv2.imread(imgpath) 
42.  maxx=max(img.shape\[0\],img.shape\[1\]) 
43.  img=sqrtimg(img)\#把输入图片填充成正方形，因为我们要训练的图片的大小是正方形的图片255\*255
44.  img=cv2.cvtColor(img,cv2.COLOR\_BGR2GRAY)\#图片转为灰度图像
45.  f\_face=cv2.resize(img,(39,39))\#把图片缩放成255＊255的图片
46. \# F
47.  plt.imshow(f\_face,cmap='gray') 
48. 
49. 
50.  f\_face = f\_face.reshape((1, 39, 39)) 
51.  f\_landmark =np.asarray(l\[1:\],dtype='float') 
52. 
53.  F\_imgs.append(f\_face) 
54. 
55. 
56. \#归一化人脸特征点标签,因为上面height等于width，这里比较懒，直接简写
57.  f\_landmark=f\_landmark/maxx \#归一化到0～１之间
58. **print** f\_landmark 
59.  F\_landmarks.append(f\_landmark) 
60. 
61. 
62.  F\_imgs, F\_landmarks = np.asarray(F\_imgs), np.asarray(F\_landmarks) 
63. 
64. 
65.  F\_imgs = processImage(F\_imgs)\#图片预处理，包含均值归一化，方差归一化等
66.  shuffle\_in\_unison\_scary(F\_imgs, F\_landmarks)\#打乱数据
67. 
68. \#生成h5py格式
69.  with h5py.File(os.getcwd()+ '/train\_data.h5', 'w') as f: 
70.  f\['data'\] = F\_imgs.astype(np.float32) 
71.  f\['landmark'\] = F\_landmarks.astype(np.float32) 
72. \#因为caffe的输入h5py不是直接使用上面的数据，而是需要调用.txt格式的文件
73.  with open(os.getcwd() + '/train.txt', 'w') as f: 
74.  f.write(os.getcwd() + '/train\_data.h5\\n') 
75. **print** i 
76. 
77. 
78. **if** \_\_name\_\_ == '\_\_main\_\_': 
79.  generate\_hdf5()

利用上面的代码，可以生成一个train.txt、train\_data.h5的文件，然后在caffe的prototxt中，进行训练的时候，可以用如下的代码，作为数据层的调用：

\[python\] [view plain][] [copy][view plain]

1.  layer \{ 
2.   name: "hdf5\_train\_data"
3.   type: "HDF5Data"\#需要更改类型
4.   top: "data"
5.   top: "landmark"
6.   include \{ 
7.   phase: TRAIN 
8.   \} 
9.   hdf5\_data\_param \{ \#这个参数类型h5f5\_data\_param记得要更改
10.  source: "h5py/train.txt"\#上面生成的train.txt文件
11.  batch\_size: 64
12.  \} 
13. \}

上面需要注意的是，相比与lmdb的数据格式，我们需要该动的地方，我标注的地方就是需要改动的地方，还有h5py不支持数据变换。

2、h5py数据读取

\[python\] [view plain][] [copy][view plain]

1.  f=h5py.File('../h5py/train.h5','r') 
2.  x=f\['data'\]\[:\] 
3.  x=np.asarray(x,dtype='float32') 
4.  y=f\['label'\]\[:\] 
5.  y=np.asarray(y,dtype='float32') 
6.  **print** x.shape 
7.  **print** y.shape

可以通过上面代码，查看我们生成的.h5格式文件。

在需要注意的是，我们输入caffe的h5py图片数据为四维矩阵（number\_samples,nchannels,height,width）的矩阵，标签矩阵为二维（number\_samples,labels\_ndim）,同时数据的格式需要转成float32，用于回归任务。

\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*作者：hjimce 时间：2015.10.2 联系QQ：1393852684 原创文章，转载请保留原文地址、作者等信息\*\*\*\*\*\*\*\*\*\*\*\*\*\*\*

[http_blog.csdn.net_hjimce_article_details_49248231]: http://blog.csdn.net/hjimce/article/details/49248231
[Image 1]: 
[Center]: /images/20220605/b42295cbee3641778e6b57736bf7f803.png
[Center 1]: /images/20220605/76e352da52734215afa8f524c652b324.png
[Center 2]: /images/20220605/b386244962d040f98f9fc17690f9c3c4.png
[Center 3]: /images/20220605/441f4508c5834d8aa892f0ecfaaedd0f.png
[view plain]: http://blog.csdn.net/hjimce/article/details/49248231#
[Center 4]: /images/20220605/8ad638d291c14899a5e2b2a6e8fda2eb.png
[Center 5]: /images/20220605/5404820ef8f9463cba45d692a1b33e96.png
[Center 6]: /images/20220605/2337d987023f426f8b890c8cf161a685.png
[Center 7]: /images/20220605/24f100884c0e408ebffae9d73cca2ec6.png