支持MPI的hdf5库的编译

骑猪看日落 2022-07-12 12:41 122阅读 0赞

作者：朱金灿

来源：[http://blog.csdn.net/clever101][http_blog.csdn.net_clever101]

因为最近要研究并行I/O，据说hdf5文件格式可以支持并行I/O，深度学习框架Caffe用的是hdf格式，所以决定把hdf5库的源码编译一下。

首先得安装MPI的开发环境mpich2-1.2.1p1-win-ia32.msi（配套VS2008），然后到[hdf5-1.10.0-patch1][]下载hdf5的最新源码，然后使用CMake生成VS工程文件，需要注意的是CMake设置的编译选项默认是不支持并行的，因此需要把HDF5\_ENABLE\_PARALLEL这个选项选上，同时HDF5\_ENABLE\_PARALLEL这个编译选项和HDF5\_BUILD\_CPP\_LIB是互相冲突的，因此不能编译为C++库，只能编译为C库，也就是说hdf5的C++库不支持并行I/O，hdf5的C库才支持并行I/O，具体如下图：

![Center][]

这样可以生成一个叫HDF5.sln的解决方案文件，里面的工程很多，一般只需要编译hdf5-shared和hdf5-static两个工程即可，具体如下图：

![Center 1][]

编译好了hdf5库后，接下来测试使用只需要包含hdf5.h和链接对应的库文件件即可。需要注意的是使用hdf5的动态库需要增加一个预处理器:H5\_BUILT\_AS\_DYNAMIC\_LIB，在hdf5的官网上就有这样一句提示：

To use the shared libraries on Windows with Visual Studio you must specify the H5\_BUILT\_AS\_DYNAMIC\_LIB compile definition.

hdf5-1.10.0-patch1的源码及对应的VS2008解决方案已上传至CSDN：[支持MPI的hdf5最新源码工程][MPI_hdf5]。

[http_blog.csdn.net_clever101]: http://blog.csdn.net/clever101
[hdf5-1.10.0-patch1]: https://support.hdfgroup.org/ftp/HDF5/releases/hdf5-1.10/hdf5-1.10.0-patch1/src/hdf5-1.10.0-patch1.zip
[Center]: /images/20220710/b2f9930b3729491c89f1cc91089d2424.png
[Center 1]: /images/20220710/0ba1263659e54ebfb87d5e21d62062db.png
[MPI_hdf5]: http://download.csdn.net/download/clever101/9762220

发表评论取消回复

表情：

评论列表（有 0 条评论，122人围观）

还没有评论，来说两句吧...

相关阅读

相关 keil5 支持C51编译

打开Keil\_c51v960，直接安装，重启keil5即可。 ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow

痛定思痛。/ 2023年07月16日 12:56/ 0 赞/ 21 阅读

相关 MPI和OpenMP编译命令以及混合编译命令（Linux）

MPI mpicc/mpic++ -o mpi[可执行文件名] mpi.c/mpi.cpp 编译命令 mpirun/mpiexec -np [线程数]

左手的ㄟ右手/ 2023年06月12日 04:27/ 0 赞/ 15 阅读

相关编译支持hevc 的ffmpeg编译-linux

首先，看这里：https://github.com/pingostack/pingos 然后，下载ffmpeg ffmpeg源码连接：https://github.co

深藏阁楼爱情的钟/ 2023年01月11日 01:13/ 0 赞/ 235 阅读

相关 python使用hdfs库操作Hadoop的HDFS

此次使用python的hdfs库操作HDFS，首相安装该库：`pip install hdfs` 其次，要保证HDFS可用，如下图就代表可用，当然你列出的文件和我的不同 !

野性酷女/ 2022年11月21日 11:44/ 0 赞/ 541 阅读

相关编译HDF5，并安装

wget //这个地址你们自行替换，这个事 1.8.3版本的 tar -zxvf hdf5-1.8.3.tar.gz ./configure --

墨蓝/ 2022年07月20日 15:22/ 0 赞/ 179 阅读

相关 MPI—聚集函数MPI_Gather()

// MPI1.cpp : 定义控制台应用程序的入口点。 // include "stdafx.h" include "mpi.h"

水深无声/ 2022年07月14日 01:55/ 0 赞/ 217 阅读

相关支持MPI的hdf5库的编译

作者：朱金灿来源：[http://blog.csdn.net/clever101][http_blog.csdn.net_clever101] 因为最近要研究并

骑猪看日落/ 2022年07月12日 12:41/ 0 赞/ 123 阅读

相关 proj.4库的编译

一、首先需要下载proj.4库，下载地址：[https://github.com/OSGeo/proj.4.git][https_github.com_OSGeo_proj.4

￡神魔★判官ぃ/ 2022年05月17日 13:16/ 0 赞/ 453 阅读

相关 HDFS中的内存存储支持

因工作中olap场景中对性能的极致要求，我们将部分业务数据的hdfs路径的存储策略设置为放在内存中(RAM\_DISK)中，这是在hadoop2.6以后的版本支持的。抽空翻译了

短命女/ 2022年03月28日 07:46/ 0 赞/ 221 阅读

相关 ZKFC支持HDFS HA的原理

HA首先是启动两个nameNode，一个是active状态，一个是standby,当active挂掉后，standby通过zookeepe会自动迅速的替代上。这样集群就会非常的

小鱼儿/ 2022年01月07日 01:29/ 0 赞/ 465 阅读