相关阅读
相关 LLM-预训练：深入理解 Megatron-LM（5）张量并行
> 最近在基于Megatron-LM的代码来训练大语言模型，本人觉得Megatron的代码很具有学习意义，于是大量参考了网上很多对Megatron代码的解读文章和NVIDA M
心已赠人相关 大语言模型训练技巧
10、Flash Attention 标准Attention的中间结果需要通过高带宽内存（HBM）进行存取，空间复杂度为O(N2)。随着输入序列长度的增加，标准Attenti
相关 图解大模型训练之：Megatron源码解读2，模型并行
在源码解读第一篇中，我们讲解了如何做分布式环境初始化，即按照DP/TP/PP对进程进行分组，并为每个进程指定GPU。在这一章中，我们将一起读模型并行部分：如何切分模型，并搬入分
相关 分布式训练-张量模型并行
通常来讲，训练更大规模的网络模型可以在多种任务上取得更好的效果，如自然语言处理类任务的准确率。然而，训练更大规模的网络模型会消耗更多的显存资源，甚至是超过单个设备的显存容量，从
相关 【AI大模型】训练Al大模型
大模型超越AI 前言 [洁洁的个人主页][Link 1] 我就问你有没有发挥！ 知行合一，志存高远。 > 目前所指的大模型，是“大规模深度学习模型”的简称，指
刺骨的言语ヽ痛彻心扉相关 DeepSpeed Chat大模型训练【训练类ChatGPT 的大模型】
第1章：DeepSpeed-Chat 模型训练实战 本章内容介绍如何使用微软最新发布的 DeepSpeed Chat 来训练类 ChatGPT 的大模型。 通过本章内
相关 解读谷歌最强 NLP 模型 BERT：模型、数据和训练
NLP 是人工智能的一个子领域，也是人工智能中最为困难的问题之一，但是对于自然语言处理的研究也是充满魅力和挑战的。 近日，谷歌 AI 团队新发布的 BERT 模型，在
相关 PyTorch：模型训练-模型参数parameters
[\-柚子皮-][-_-] 获取模型参数的不同方法 1、model.named\_parameters()，迭代打印model.named\_parameters()将
相关 OpenCV——人脸识别模型训练（2）
在之前的博客[OpenCV——人脸识别数据处理（1）][OpenCV_1]之中，已经下载了ORL人脸数据库，并且为了识别自己的人脸写了一个拍照程序自拍。之后对拍的照片进行人脸识
相关 python训练模型，java预测模型(sklearn2pmml)
很多情况下，线上一般使用java，然后训练机器学习模型一般都是python，那么就存在一个问题，python训练的模型， java怎么去调用进行线上预测呢，下面
超、凢脫俗
还没有评论，来说两句吧...