Caffe使用： Ubuntu 14.04(x64) 从cuda 7.0 升级到 cuda8.0

红太狼 2021-11-30 00:48 245阅读 0赞

由于之前已经在Ubuntu 14.04 x64上面安装cuda7.0+caffe， 并且已经配置好，caffe也已经跑通。

但是最近需要使用Torch，而Torch对cuda的要求是8.0，因此决定对cuda的版本进行升级，以满足Torch平台的需求。

而最新版的caffe也已经支持cuda8.0。

话不多说，开始安装cuda8.0。

# 1. 电脑配置 #

显卡：GeForce GTX TITAN X
    系统：Ubuntu 14.04（x_64）
    CUDA：cuda_8.0.61_375.26_linux.run
    cuDNN：cudnn-8.0-linux-x64-v5.1.tgz

# 2. CUDA 8.0安装 #

1. GeForce GTX TITAN X显卡必须用CUDA 8.0版本。CUDA从[此处][Link 1]下载。切记，千万不要下载 deb 包，否则后方无数坑在等着你。

sudo sh cuda_8.0.61_375.26_linux.run

![542815-20170525154727075-602803032.png][]

2. 再安装相对应版本的cudnn程序加速包。

GTX1080显卡必须用cuDNN-8.0-V5.1版本，不然用 caffe 跑模型，用 CPU或GPU显卡跑精度正常，一旦开启cuDNN模式，精度（acc）立刻下降到 0.1 左右，loss 非常大。cuDNN在[此处][Link 2]下载。下载需注册。最好注册一个账号，选择对应的版本，不要用网上其他教程给的现成的包，出问题的概率非常大。

![542815-20170525160218888-2084183375.png][]

注：此时安装过程中提示是否要安装NVIDIA驱动时选择no。其他选择yes或默认即可。

Do you accept the previously read EULA?
    accept/decline/quit: accept
    Install NVIDIA Accelerated Graphics Driver for Linux-x86_64 375.26?
    (y)es/(n)o/(q)uit: n
    Install the CUDA 8.0 Toolkit?
    (y)es/(n)o/(q)uit: y
    Enter Toolkit Location
    [ default is /usr/local/cuda-8.0 ]:
    Do you want to install a symbolic link at /usr/local/cuda?
    (y)es/(n)o/(q)uit: y
    Install the CUDA 8.0 Samples?
    (y)es/(n)o/(q)uit: y
    Enter CUDA Samples Location
    [ default is /home/startag]: Installing the CUDA Toolkit in /usr/local/cuda-8.0 …

完成后可以看到以下提示信息：

Driver: Not Selected
    Toolkit: Installed in /usr/local/cuda-8.0
    Samples: Installed in /home/startag, but missing recommended libraries

# 3. 安装过程中问题解决 #

## 3.1 显卡驱动冲突 ##

如果在安装过程中安装了cuda8.0的显卡驱动，这时候在重启过程中，会与原先安装的Nvidia显卡驱动冲突，开机时会一直有一个图标闪动。

这时候ctrl + Alt +F1～7 均没有反应，这是因为两个版本的显卡驱动不符，冲突导致。

解决方案为:

重启（reboot）-> Esc 键 -> Ubuntu Recovery 模式

在等待一段时间之后，会进入一个选择界面，选择 root 模式，进入命令行模式之后，使用下面命令卸载Nvidia显卡驱动：

sudo apt-get purge nvidia-*

把nvidia全卸了，再reboot就能进去了。  
如果在使用上面命令过程中出现apt-get不能使用的情况，那么需要使用fix 模式来对broken package进行修复，待修复完成之后再进入root 模式下卸载Nvidia显卡驱动。

解决方案见：**Ubuntu GNOME 16.04，安装NVIDIA驱动后无法开机，怎么解决？**

重启之后即可正常运行 cuda 程序。

**Cuda 8.0 以及 Sample 安装检查：**

在安装完成之后，需要检查cuda程序是否安装成功：

进入/usr/local/cuda/samples, 执行下列命令来build samples

sudo make all -j8

全部编译完成后， 进入 ./bin/x86\_64/linux/release, 运行deviceQuery

./deviceQuery

如果出现下面信息，

CUDA Device Query (Runtime API) version (CUDART static linking)
    cudaGetDeviceCount returned 30
    -> unknown error
    Result = FAIL

则需要使用chmod 777 -R deviceQuery 方法来给deviceQuery文件sudo 权限，解决方案见：[CUDA deviceQuery returned 30 error After upgrade to nvidia 334.21-1][]

出现下面信息，则说明cuda 以及 cuda sample安装成功：

CUDA Device Query (Runtime API) version (CUDART static linking)
    
    Detected 1 CUDA Capable device(s)
    
    Device 0: "GeForce GTX TITAN X"
      CUDA Driver Version / Runtime Version          8.0 / 8.0
      CUDA Capability Major/Minor version number:    5.2
      Total amount of global memory:                 12199 MBytes (12791185408 bytes)
      (24) Multiprocessors, (128) CUDA Cores/MP:     3072 CUDA Cores
      GPU Max Clock rate:                            1076 MHz (1.08 GHz)
      Memory Clock rate:                             3505 Mhz
      Memory Bus Width:                              384-bit
      L2 Cache Size:                                 3145728 bytes
      Maximum Texture Dimension Size (x,y,z)         1D=(65536), 2D=(65536, 65536), 3D=(4096, 4096, 4096)
      Maximum Layered 1D Texture Size, (num) layers  1D=(16384), 2048 layers
      Maximum Layered 2D Texture Size, (num) layers  2D=(16384, 16384), 2048 layers
      Total amount of constant memory:               65536 bytes
      Total amount of shared memory per block:       49152 bytes
      Total number of registers available per block: 65536
      Warp size:                                     32
      Maximum number of threads per multiprocessor:  2048
      Maximum number of threads per block:           1024
      Max dimension size of a thread block (x,y,z): (1024, 1024, 64)
      Max dimension size of a grid size    (x,y,z): (2147483647, 65535, 65535)
      Maximum memory pitch:                          2147483647 bytes
      Texture alignment:                             512 bytes
      Concurrent copy and kernel execution:          Yes with 2 copy engine(s)
      Run time limit on kernels:                     Yes
      Integrated GPU sharing Host Memory:            No
      Support host page-locked memory mapping:       Yes
      Alignment requirement for Surfaces:            Yes
      Device has ECC support:                        Disabled
      Device supports Unified Addressing (UVA):      Yes
      Device PCI Domain ID / Bus ID / location ID:   0 / 1 / 0
      Compute Mode:
         < Default (multiple host threads can use ::cudaSetDevice() with device simultaneously) >
    
    deviceQuery, CUDA Driver = CUDART, CUDA Driver Version = 8.0, CUDA Runtime Version = 8.0, NumDevs = 1, Device0 = GeForce GTX TITAN X
    Result = PASS

也可以使用下面命令测试是否安装成功：

nvidia-smi

输出信息：

Thu May 25 20:33:01 2017       
    +-----------------------------------------------------------------------------+
    | NVIDIA-SMI 375.26                 Driver Version: 375.26                    |
    |-------------------------------+----------------------+----------------------+
    | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
    | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
    |===============================+======================+======================|
    |   0  GeForce GTX TIT...  Off  | 0000:01:00.0      On |                  N/A |
    | 22%   40C    P8    17W / 250W |    500MiB / 12198MiB |      0%      Default |
    +-------------------------------+----------------------+----------------------+
                                                                                   
    +-----------------------------------------------------------------------------+
    | Processes:                                                       GPU Memory |
    |  GPU       PID  Type  Process name                               Usage      |
    |=============================================================================|
    |    0      1275    G   /usr/lib/xorg/Xorg                             267MiB |
    |    0      2416    G   compiz                                         106MiB |
    |    0      2978    G   ...el-token=EFAC54A3CB4FC0DBAF418394276E4C3B   124MiB |
    +-----------------------------------------------------------------------------+

## 3.2 caffe编译警告问题 ##

在对caffe进行编译时，出现以下问题：

使用make all -j16 时，出现以下警告信息：

NVCC src/caffe/layers/sigmoid_layer.cu
    nvcc warning : The 'compute_20', 'sm_20', and 'sm_21' architectures are deprecated, and may be removed in a future release (Use -Wno-deprecated-gpu-targets to suppress warning).

解决方案：

## 3.3 caffe编译libcudart.so 连接问题 ##

make runtest -j16时，出现以下警告信息：

.build_release/tools/caffe
    .build_release/tools/caffe: error while loading shared libraries: libcudart.so.7.0: cannot open shared object file: No such file or directory

解决方案：

这是由于cuda安装成功后，还需要将对应的opencv版本使用新安装的cuda进行编译。

安装完成cuda8.0之后，caffe所需要的opencv版本也需要和cuda相适应，需要使用新的cuda版本对opencv进行编译。

因为原先安装的cuda版本为cuda7.0， 而opencv的版本为3.0， 因此电脑中的libopencv 相关库是使用cuda7.0编译，依赖于cuda7.0，因此我们需要对opencv进行重新编译。

而由于opencv 3.0暂时还不支持cuda8.0，使用cuda8.0编译opencv方法见：[**GraphCut deprecated in CUDA 7.5 and removed in 8.0**][GraphCut deprecated in CUDA 7.5 and removed in 8.0]

![542815-20170526092816325-839441408.png][]

如果对opencv3.0.0修改之后还是不能成功编译，那么推荐caffe官方的opencv 版本进行编译。opencv3.1.0下载：**[https://github.com/opencv/opencv][https_github.com_opencv_opencv] **

opencv 3.1.0 使用cuda8.0编译方法见： [**OpenCV 3.1 Installation Guide on Ubuntu 16.04**][OpenCV 3.1 Installation Guide on Ubuntu 16.04]

进入下载好的opencv3.1.0文件夹，执行下面命令进行编译：

mkdir build
    cd build/
    cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local -D WITH_TBB=ON -D WITH_V4L=ON -D WITH_QT=ON -D WITH_OPENGL=ON -D WITH_CUBLAS=ON -DCUDA_NVCC_FLAGS="-D_FORCE_INLINES" ..    
    make -j $(($(nproc) + 1))

在使用cuda 编译opencv 过程中，可能会提示以下警告信息：

nvcc warning : The 'compute_20', 'sm_20', and 'sm_21' architectures are deprecated, and may be removed in a future release (Use -Wno-deprecated-gpu-targets to suppress warning).

解决方案：**[cuda环境下安装opencv出现nvcc warning : The 'compute\_11'][cuda_opencv_nvcc warning _ The _compute_11]**

找到cmake后build文件夹中产生的OpencvConfig.cmake文件，找到如下代码：

# Version Compute Capability from which OpenCV has been compiled is remembered
    set(OpenCV_COMPUTE_CAPABILITIES "-gencode;arch=compute_20,code=sm_20;-gencode;arch=compute_30,code=sm_30;
    -gencode;arch=compute_35,code=sm_35;-gencode;arch=compute_37,code=sm_37;
    -gencode;arch=compute_50,code=sm_50;-gencode;arch=compute_52,code=sm_52;
    -gencode;arch=compute_60,code=sm_60;-gencode;arch=compute_61,code=sm_61;-D_FORCE_INLINES")

删除  -gencode;arch=compute\_20,code=sm\_20; 主要因为此架构在CUDA过时，将来也将不支持。

接下来，使用make安装opencv：

sudo make install
    sudo /bin/bash -c 'echo "/usr/local/lib" > /etc/ld.so.conf.d/opencv.conf'
    sudo ldconfig
    sudo apt-get update

上面是将opencv编译成功，但是并没有安装到我们的系统中，有很多的设置都没有写入到系统中，因此还要进行install。

sudo make install
    sudo /bin/bash -c 'echo "/usr/local/lib" > /etc/ld.so.conf.d/opencv.conf'
    sudo ldconfig
    sudo apt-get update

使用 `checkinstall 工具来对opencv进行管理，因为当系统安装多个opencv版本时，管理会非常麻烦和混乱，因此使用该工具对已经安装的opencv进行管理，方便卸载等其他操作。`

进入build 文件夹中，执行下面命令操作：

sudo apt-get install checkinstall
    sudo checkinstall

使用checkinstall的目的是为了更好的管理我安装的opencv，因为opencv的安装很麻烦，卸载更麻烦，其安装的时候修改了一大堆的文件，当我想使用别的版本的opencv时，将当前版本的opencv卸载就是一件头疼的事情，因此需要使用checkinstall来管理我的安装。执行了checkinstall后，会在build文件下生成一个以backup开头的.tgz的备份文件和一个以build开头的.deb安装文件，当你想卸载当前的opencv时，直接执行dpkg -r build即可。

opencv编译和安装详细解释见： **[Ubuntu16.04 +cuda8.0+cudnn+opencv+caffe+theano+tensorflow配置明细][Ubuntu16.04 _cuda8.0_cudnn_opencv_caffe_theano_tensorflow]**

**[OpenCV 3.1 Installation Guide on Ubuntu 16.04][]**

编译完opencv之后，对caffe进行编译错误信息：

E0526 11:22:48.580889  5618 common.cpp:114] Cannot create Cublas handle. Cublas won't be available.
    E0526 11:22:48.582368  5618 common.cpp:121] Cannot create Curand generator. Curand won't be available.
    F0526 11:22:48.582435  5618 syncedmem.hpp:22] Check failed: error == cudaSuccess (30 vs. 0)  unknown error
    *** Check failure stack trace: ***
        @     0x2afa0d8eddaa  (unknown)
        @     0x2afa0d8edce4  (unknown)
        @     0x2afa0d8ed6e6  (unknown)
        @     0x2afa0d8f0687  (unknown)
        @     0x2afa143f0fd8  caffe::SyncedMemory::mutable_cpu_data()
        @     0x2afa142e508c  caffe::Blob<>::Reshape()
        @     0x2afa142e54f9  caffe::Blob<>::Reshape()
        @     0x2afa142e558c  caffe::Blob<>::Blob()
        @           0x50a24b  caffe::ReshapeLayerTest<>::ReshapeLayerTest()
        @           0x50a65b  testing::internal::TestFactoryImpl<>::CreateTest()
        @           0x8ff163  testing::internal::HandleExceptionsInMethodIfSupported<>()
        @           0x8f5d65  testing::TestInfo::Run()
        @           0x8f5e85  testing::TestCase::Run()
        @           0x8f91c8  testing::internal::UnitTestImpl::RunAllTests()
        @           0x8f9457  testing::UnitTest::Run()
        @           0x46ca2f  main
        @     0x2afa14f6cf45  (unknown)
        @           0x474739  (unknown)
        @              (nil)  (unknown)
    make: *** [runtest] Aborted (core dumped)

解决方案：**[caffe配置问题与解决方法集锦][caffe]**

而最主要的原因在于Nvidia的显卡未启动，所以cuda不能正常使用。

解决方案见： **[CUDA/caffe ERROR:cudaGetDeviceCount returned 30/35,Check failed: error == cudaSuccess (30/35 vs. 0)][CUDA_caffe ERROR_cudaGetDeviceCount returned 30_35_Check failed_ error _ cudaSuccess _30_35 vs. 0] **

具体解决方案见：** [F0528 22:26:23.117558 13844 syncedmem.hpp:18\] Check failed: error == cudaSuccess (30 vs. 0) unknown error \#799][F0528 22_26_23.117558 13844 syncedmem.hpp_18_ Check failed_ error _ cudaSuccess _30 vs. 0_ unknown error_799]**

我在[这里][F0528 22_26_23.117558 13844 syncedmem.hpp_18_ Check failed_ error _ cudaSuccess _30 vs. 0_ unknown error_799]找到了答案，安装个东西就可以了：

sudo apt-get install nvidia-modprobe

> ![这里写图片描述][20160628154921689]
> 
>

之后，再`make runtest -j`，搞定！

进入 /usr/local/cuda-8.0/samples/bin/x86\_64/linux/release 文件夹下，使用

sudo ./deviceQuery

来测试cuda是否正常启动，如结果是PASS，这时候才能跑通caffe的test以及其他训练程序。

如果还不成功，试着将Makefile.config文件中的编译方式进行替换：

Here, fix it by (a) installing CUDA 8.0 and (b) change the caffe makefile.config

![542815-20170526164838325-161641930.png][]

由于我的是Nvidia TITAN X显卡，所以需要调整，解决方案见：**[cudaSuccess (30 vs. 0) unknown error][cudaSuccess _30 vs. 0_ unknown error]**

-gencode arch=compute_52,code=sm_52 
    -gencode arch=compute_52,code=compute_52

至此，cuda8.0升级工作完成。

转载于:https://www.cnblogs.com/empty16/p/6906121.html

[Link 1]: https://developer.nvidia.com/cuda-downloads
[542815-20170525154727075-602803032.png]: /images/20211129/44be46d7db3b40c3bfa52ca8125a3036.png
[Link 2]: https://developer.nvidia.com/cudnn
[542815-20170525160218888-2084183375.png]: /images/20211129/e5d6687244354019be4ce4a593e73b4f.png
[CUDA deviceQuery returned 30 error After upgrade to nvidia 334.21-1]: https://bbs.archlinux.org/viewtopic.php?id=177991
[GraphCut deprecated in CUDA 7.5 and removed in 8.0]: https://github.com/opencv/opencv/pull/6510/commits/10896129b39655e19e4e7c529153cb5c2191a1db
[542815-20170526092816325-839441408.png]: /images/20211129/66ae11c4d40b42ffb10b6082c97488b7.png
[https_github.com_opencv_opencv]: https://github.com/opencv/opencv
[OpenCV 3.1 Installation Guide on Ubuntu 16.04]: https://github.com/BVLC/caffe/wiki/OpenCV-3.1-Installation-Guide-on-Ubuntu-16.04
[cuda_opencv_nvcc warning _ The _compute_11]: http://blog.csdn.net/wang4959520/article/details/51392804
[Ubuntu16.04 _cuda8.0_cudnn_opencv_caffe_theano_tensorflow]: http://blog.csdn.net/hit2015spring/article/details/53510909
[caffe]: http://blog.csdn.net/u010167269/article/details/50703923
[CUDA_caffe ERROR_cudaGetDeviceCount returned 30_35_Check failed_ error _ cudaSuccess _30_35 vs. 0]: http://blog.csdn.net/10km/article/details/61665578
[F0528 22_26_23.117558 13844 syncedmem.hpp_18_ Check failed_ error _ cudaSuccess _30 vs. 0_ unknown error_799]: https://github.com/NVIDIA/DIGITS/issues/799
[20160628154921689]: /images/20211129/5512d441cfca441eaefced1cca72f2de.png
[542815-20170526164838325-161641930.png]: /images/20211129/039d51a384b24331b73cb844b80791f9.png
[cudaSuccess _30 vs. 0_ unknown error]: https://github.com/BVLC/caffe/issues/4543