docker中运行的pytorch解决多线程报错

爱被打了一巴掌 2022-12-14 12:18 227阅读 0赞

在docker中运行的pytorch运行多线程训练，报如下错误：

unexpected bus error encountered in worker. This might be caused by insufficient shared memory(shm)

解决方法，启动docker时，增加--ipc=host参数

如果是在k8s上运行的，则需要在yaml的spec中加入hostIPC: true类似如下效果：

apiVersion: v1
    kind: pod
    metadata:
        name: pod-with-host-pid-and-ipc-yaohong
    spec:
        hostPID: true //你希望这个pod使用宿主节点的PID命名空间
        hostIPC: true //你希望pod使用宿主节点的IPC命名空间
        containers：
        - name: main
          image: alpine
          command: ["/bin/sleep", "99999"]

参考:[https://kubernetes.io/zh/docs/concepts/policy/pod-security-policy/\#host-namespaces][https_kubernetes.io_zh_docs_concepts_policy_pod-security-policy_host-namespaces]

[https://blog.csdn.net/qq\_27565769/article/details/100519398][https_blog.csdn.net_qq_27565769_article_details_100519398]

[https://www.cnblogs.com/tylerzhou/p/11078128.html][https_www.cnblogs.com_tylerzhou_p_11078128.html]

[https_kubernetes.io_zh_docs_concepts_policy_pod-security-policy_host-namespaces]: https://kubernetes.io/zh/docs/concepts/policy/pod-security-policy/#host-namespaces
[https_blog.csdn.net_qq_27565769_article_details_100519398]: https://blog.csdn.net/qq_27565769/article/details/100519398
[https_www.cnblogs.com_tylerzhou_p_11078128.html]: https://www.cnblogs.com/tylerzhou/p/11078128.html

发表评论取消回复

表情：

评论列表（有 0 条评论，227人围观）

还没有评论，来说两句吧...

相关阅读

相关 FastDFS多线程删除报错。

考：[https://github.com/tobato/FastDFS\_Client/issues/19][https_github.com_tobato_FastD...

Dear 丶/ 2024年04月18日 17:40/ 0 赞/ 55 阅读

相关解决报错 Docker无法启动

启动docker服务 systemctl start docker.service 错误信息 Job for docker.service failed b

古城微笑少年丶/ 2023年03月02日 13:20/ 0 赞/ 63 阅读

相关 docker中运行的pytorch解决多线程报错

在docker中运行的pytorch运行多线程训练，报如下错误： unexpected bus error encountered in worker. This m

爱被打了一巴掌/ 2022年12月14日 12:18/ 0 赞/ 228 阅读

相关多线程 - 停止正在运行的线程

有两种方法可以停止正在运行的线程： 1、Thread.stop()方法：暴力停止方法，无法保证线程内部业务的原子性，且方法已过期，不建议使用；stop方法可以让线程

落日映苍穹つ/ 2022年12月03日 09:12/ 0 赞/ 200 阅读

相关 Java多线程读取excel文件_解决springboot 多线程使用MultipartFile读取excel文件内容报错问题...

springboot项目开启多线程 ![970f2412783add45a27c12e04afd98d3.png][] ![0969b5ff89a28ca460a40a7e

谁借莪１个温暖的怀抱￠/ 2022年11月08日 11:23/ 0 赞/ 540 阅读

相关如何解决nodemon运行报错问题

> nodemon可以用来监视node.js应用程序中的任何更改并自动重启服务，作为懒癌晚期的我在进行Node相关服务开发的过程中肯定是不愿意一遍又一遍的重启node服务然后进

蔚落/ 2022年05月18日 11:13/ 0 赞/ 423 阅读

相关【多线程】程序猿进阶多线程（三）—— 线程的运行状态

一、前言在上一篇博客中，小编向大家介绍了 [线程创建和启动][Link 1]，简单的向大家介绍了线程创建和启动的三种方法：1.继承Thread类，2.实现R

超、凢脫俗/ 2022年05月16日 01:41/ 0 赞/ 272 阅读

相关 MyEclipse中运行Tomcat报错

MyEclipse：4。03 Tomcat5.028 运行后报错：Caused by: java.lang.NoClassDefFoundError: 解决办

妖狐艹你老母/ 2021年12月17日 10:49/ 0 赞/ 355 阅读

相关关于多线程使用ArrayList会报错ConcurrentModificationException的解决问题

在处理大量数据使用多线程的时候，业务要求需要使用到ArrayList，但是在进行测试过程中遇到了报错如下： ConcurrentModificationExcepti

雨点打透心脏的1/2处/ 2021年12月11日 13:21/ 0 赞/ 228 阅读

相关运行报错“experimentalDecorators”的解决办法

使用mobx报错experimentalDecorators，搜了几个方法都没有解决，添加jsconfig.js or tsconfig.js还是不能正常运行。 ![在这里

迈不过友情╰/ 2021年07月25日 19:27/ 0 赞/ 867 阅读