GPU显卡内存大小、模型大小、batch_size关系

一时失言乱红尘 2023-10-12 13:59 29阅读 0赞

![06f309f24cdd4f1480e5fd0636920d15.png][]

## 对于LLaMa-6b模型来说 ##

![9d82e91fc81844738dd669ab2093d195.png][]

1、训练时模型本身参数、梯度值、优化器参数值需要的内存大小为：

![483d400c13ff411eb1e83bab358375f0.png][]

2、 每个样本需要的内存大小（）：

![5a542f724a8645078e8207396e667430.png][]

3、基于第1/2条，对于A100显卡（80GB RAM）来说，batch\_size最大可以设置为50

![ab1c6451260c46bc99e934e738cd253d.png][]

![779d47ff338c4552b040b26db7d2cdf7.png][]

V100不支持bf16类型

[06f309f24cdd4f1480e5fd0636920d15.png]: https://img-blog.csdnimg.cn/06f309f24cdd4f1480e5fd0636920d15.png
[9d82e91fc81844738dd669ab2093d195.png]: https://img-blog.csdnimg.cn/9d82e91fc81844738dd669ab2093d195.png
[483d400c13ff411eb1e83bab358375f0.png]: https://img-blog.csdnimg.cn/483d400c13ff411eb1e83bab358375f0.png
[5a542f724a8645078e8207396e667430.png]: https://img-blog.csdnimg.cn/5a542f724a8645078e8207396e667430.png
[ab1c6451260c46bc99e934e738cd253d.png]: https://img-blog.csdnimg.cn/ab1c6451260c46bc99e934e738cd253d.png
[779d47ff338c4552b040b26db7d2cdf7.png]: https://img-blog.csdnimg.cn/779d47ff338c4552b040b26db7d2cdf7.png

发表评论取消回复

表情：

评论列表（有 0 条评论，29人围观）

还没有评论，来说两句吧...

相关阅读

相关 JVM内存分配疑问：对象大小与堆大小关系

在Java Virtual Machine（JVM）中，对象的大小并不直接决定堆（ Heap ）的实际大小。 1. 对象空间：每个对象占用的空间包括数据部分（实例变量和静态变

Dear 丶/ 2024年11月24日 21:57/ 0 赞/ 20 阅读

相关显卡和GPU的关系

显卡(graphics card)和GPU(Graphics Processing Unit)是同一种类型的硬件，其中GPU是显卡的核心部分。显卡通常包含一个或多个GPU，

r囧r小猫/ 2024年03月25日 19:44/ 0 赞/ 102 阅读

相关 GPU显卡内存大小、模型大小、batch_size关系

![06f309f24cdd4f1480e5fd0636920d15.png][] 对于LLaMa-6b模型来说 ![9d82e91fc81844738dd669ab2

一时失言乱红尘/ 2023年10月12日 13:59/ 0 赞/ 30 阅读

相关 jvm内存默认大小，及如何调整大小

jvm大小默认是64m，如果也要增大程序运行的内存，如果要调整JVM的大小，可以在run configuration中配置VM的参数 ,-Xmx100m表示配置其的大小为100

╰半橙微兮°/ 2022年12月10日 13:29/ 0 赞/ 321 阅读

相关查看RAID卡缓存大小

MegaCli -AdpAllInfo -a0 | grep Memory ![在这里插入图片描述][88c71c60834a49b89016243da17dffe7

本是古典何须时尚/ 2022年09月11日 15:23/ 0 赞/ 272 阅读

相关 Android获取SD卡大小

File path = Environment.getExternalStorageDirectory(); / Retrieve over

小咪咪/ 2022年08月08日 06:43/ 0 赞/ 299 阅读

相关 Tomcat设置内存大小

在tomcat主目录 bin文件夹下修改catalina.bat 在第二行添加如下代码： set JAVA\_OPTS=%JAVA\_OPTS% -server -Xms

红太狼/ 2022年05月31日 13:15/ 0 赞/ 323 阅读

相关 CUDA 显卡 GPU memory

[http://www.cnblogs.com/traceorigin/archive/2013/04/11/3015482.html][http_www.cnblogs.co

﹏ヽ暗。殇╰゛Y/ 2022年05月08日 01:34/ 0 赞/ 379 阅读

相关 gpu和显卡的关系，gpu和cpu的区别

参考：[https://baijiahao.baidu.com/s?id=1607965696317204020&wfr=spider&for=pc][https_baijia

拼搏现实的明天。/ 2022年02月05日 09:27/ 0 赞/ 304 阅读

相关 GPU架构---显卡(二)

1、脉冲是什么？学术定义:在短持续时间内发生变化，随后又迅速返回其初始值的物理量的变化过程。 2、脉冲信号(数字信号)是什么？有什么用途？定义： a>脉冲信

清疚/ 2021年11月22日 16:56/ 0 赞/ 317 阅读