【玩转Jetson TX2 NX】（十二）TX2 NX 板载摄像头+UNet算法实时显著目标分割（详细教程+错误解决）

谁践踏了优雅 2023-09-25 21:54 64阅读 0赞

# 1 写在前面的话 #

阅读本博客前，需要先熟悉如下博客内容：

[【玩转Jetson TX2 NX】（八）TX2 NX Visual Studio Code(VSCode)安装（详细教程）][Jetson TX2 NX_TX2 NX Visual Studio Code_VSCode]  
[【玩转Jetson TX2 NX】（九）TX2 NX 安装onnx-tensorrt工具（详细教程+错误解决）][Jetson TX2 NX_TX2 NX _onnx-tensorrt]  
[【玩转Jetson TX2 NX】（十）TX2 NX 安装Archiconda3+创建pytorch环境（详细教程+错误解决）][Jetson TX2 NX_TX2 NX _Archiconda3_pytorch]  
[【玩转Jetson TX2 NX】（十一）TX2 NX 基于UNet网络实现显著目标分割（详细教程+错误解决）][Jetson TX2 NX_TX2 NX _UNet]

# 2 jetcam运行板载CSI摄像头 #

首先输入命令，安装traitlets，参考大佬文章: [Jetson nano使用jetcam运行CSI摄像头][Jetson nano_jetcam_CSI]

pip3 install traitlets==4.3.3

如图所示：

![在这里插入图片描述][0d5d74b7d5aa4603b10fa808871b0401.png_pic_center]  
然后，安装jetcam，依次输入命令

git clone https://github.com/NVIDIA-AI-IOT/jetcam
    cd jetcam
    sudo python3 setup.py install

如图所示：

![在这里插入图片描述][32c0dc1e5185461eab893930a45495cc.png_pic_center]  
安装成功，如图所示：

![在这里插入图片描述][3eea8c0657a5499f96480c1eb30cb563.png_pic_center]  
运行程序，测试摄像头

from jetcam.csi_camera import CSICamera
    import cv2
    
    camera0 = CSICamera(capture_device=0, width=224, height=224)
    image0 = camera0.read()
    print(image0.shape)
    
    print(camera0.value.shape)
    while 1:
        image0 = camera0.read()
        cv2.imshow("CSI Camera0", image0)
        kk = cv2.waitKey(1)
        if kk == ord('q'):  # 按下 q 键，退出
            break

如图所示：

![在这里插入图片描述][c6d4f3f820b043a592358a8745415b55.png_pic_center]

# 3 基于UNet算法实时显著目标分割 #

利用板载摄像头实时显著目标分割代码如下：

from jetcam.csi_camera import CSICamera
    import cv2
    import tensorrt as trt
    import numpy as np
    import inference as inference_utils 
    
    camera0 = CSICamera(capture_device=0, width=480, height=320)
    
    image0 = camera0.read()
    print(image0.shape)
    
    print(camera0.value.shape)
    
    # 1. 网络构建
    # Precision command line argument -> TRT Engine datatype
    TRT_PRECISION_TO_DATATYPE = {
        
        16: trt.DataType.HALF,
        32: trt.DataType.FLOAT
    }
    # datatype: float 32
    trt_engine_datatype = TRT_PRECISION_TO_DATATYPE[16]
    # batch size = 1
    max_batch_size = 1
    engine_file_path = "/home/tx2_lei/WHL/unet_lei/models/unet_deconv.trt"
    onnx_file_path = "/home/tx2_lei/WHL/unet_lei/models/unet_deconv.onnx"
    new_width, new_height = 480, 320
    output_shapes = [(1, new_height, new_width)]
    trt_inference_wrapper = inference_utils.TRTInference(
        engine_file_path, onnx_file_path,
        trt_engine_datatype, max_batch_size,
    )
    
    while 1:
    
        image0 = camera0.read()
     
        # 2. 图像预处理
        img = image0
        # inference
        trt_outputs = trt_inference_wrapper.infer(img, output_shapes, new_width, new_height)[0]
        # 输出后处理
        out_threshold = 0.5
        print("the size of tensorrt output : {}".format(trt_outputs.shape))
        output = trt_outputs.transpose((1, 2, 0))
        # # 0/1像素值
        output[output > out_threshold] = 255
        output[output <= out_threshold] = 0
        
        output = output.astype(np.uint8)
    
    
        cv2.imshow("CSI Camera0", output)
        kk = cv2.waitKey(1)
        if kk == ord('q'):  # 按下 q 键，退出
            break

运行被killed，如图所示：

![在这里插入图片描述][c53f325b0e8b40668708b3dc152b9b1e.png_pic_center]  
解决上述问题，增加swap分区大小，首先输入命令查看swp分区

sudo jtop

如图所示，分区大小为2GB

![在这里插入图片描述][bb3981f2cd814f6dae81747b865daf36.png_pic_center]  
接下俩增加Swap内存，依次输入命令

#1）新增swapfile文件大小自定义
    sudo fallocate -l 6G /var/swapfile
    #2）配置该文件的权限
    sudo chmod 600 /var/swapfile
    #3）建立交换分区
    sudo mkswap /var/swapfile
    #4）启用交换分区
    sudo swapon /var/swapfile

如图所示：

![在这里插入图片描述][5c75fdc89e1b45bca9600292d88b7ad8.png_pic_center]  
再次输入命令查看swp分区大小

sudo jtop

如图所示，swap内存大小为8GB

![在这里插入图片描述][d1ffe69a298844849334f2f4e6e3eaf4.png_pic_center]  
设置为自启动swapfile，输入命令

sudo bash -c 'echo "/var/swapfile swap swap defaults 0 0" >> /etc/fstab'

如图所示：

![在这里插入图片描述][078e0bcb467a4adc8aa2c3bbe289ce7f.png_pic_center]  
然后回到vscode，运行程序，成功，如图所示，利用板载摄像头实时显著目标分割

![在这里插入图片描述][ba0d7f4a30144ff7a5b54ad5ba348e7d.png_pic_center]  
按`q`，退出，如图所示：

![在这里插入图片描述][d00f4bac2565410e989b3a5c435d12ef.png_pic_center]  
B站视频链接: [【手把手一起在Jetson TX2 NX部署UNet实时显著目标分割】 ][Jetson TX2 NX_UNet_]

**希望本文对大家有帮助，上文若有不妥之处，欢迎指正**

**分享决定高度，学习拉开差距**

[Jetson TX2 NX_TX2 NX Visual Studio Code_VSCode]: https://blog.csdn.net/qq_42078934/article/details/129901106?spm=1001.2014.3001.5501
[Jetson TX2 NX_TX2 NX _onnx-tensorrt]: https://blog.csdn.net/qq_42078934/article/details/129901293?spm=1001.2014.3001.5501
[Jetson TX2 NX_TX2 NX _Archiconda3_pytorch]: https://blog.csdn.net/qq_42078934/article/details/129913289?spm=1001.2014.3001.5501
[Jetson TX2 NX_TX2 NX _UNet]: https://blog.csdn.net/qq_42078934/article/details/129962990?spm=1001.2014.3001.5501
[Jetson nano_jetcam_CSI]: https://blog.csdn.net/weixin_45569617/article/details/113934118
[0d5d74b7d5aa4603b10fa808871b0401.png_pic_center]: https://img-blog.csdnimg.cn/0d5d74b7d5aa4603b10fa808871b0401.png#pic_center
[32c0dc1e5185461eab893930a45495cc.png_pic_center]: https://img-blog.csdnimg.cn/32c0dc1e5185461eab893930a45495cc.png#pic_center
[3eea8c0657a5499f96480c1eb30cb563.png_pic_center]: https://img-blog.csdnimg.cn/3eea8c0657a5499f96480c1eb30cb563.png#pic_center
[c6d4f3f820b043a592358a8745415b55.png_pic_center]: https://img-blog.csdnimg.cn/c6d4f3f820b043a592358a8745415b55.png#pic_center
[c53f325b0e8b40668708b3dc152b9b1e.png_pic_center]: https://img-blog.csdnimg.cn/c53f325b0e8b40668708b3dc152b9b1e.png#pic_center
[bb3981f2cd814f6dae81747b865daf36.png_pic_center]: https://img-blog.csdnimg.cn/bb3981f2cd814f6dae81747b865daf36.png#pic_center
[5c75fdc89e1b45bca9600292d88b7ad8.png_pic_center]: https://img-blog.csdnimg.cn/5c75fdc89e1b45bca9600292d88b7ad8.png#pic_center
[d1ffe69a298844849334f2f4e6e3eaf4.png_pic_center]: https://img-blog.csdnimg.cn/d1ffe69a298844849334f2f4e6e3eaf4.png#pic_center
[078e0bcb467a4adc8aa2c3bbe289ce7f.png_pic_center]: https://img-blog.csdnimg.cn/078e0bcb467a4adc8aa2c3bbe289ce7f.png#pic_center
[ba0d7f4a30144ff7a5b54ad5ba348e7d.png_pic_center]: https://img-blog.csdnimg.cn/ba0d7f4a30144ff7a5b54ad5ba348e7d.png#pic_center
[d00f4bac2565410e989b3a5c435d12ef.png_pic_center]: https://img-blog.csdnimg.cn/d00f4bac2565410e989b3a5c435d12ef.png#pic_center
[Jetson TX2 NX_UNet_]: https://www.bilibili.com/video/BV1ia4y1K79h/?share_source=copy_web&vd_source=5271dc99222d62df6a8cbae2ba96fdf1