LLM-预训练：深入理解 Megatron-LM（2）原理介绍

相关阅读

相关 LLM-大模型训练-步骤(二)-预训练/Pre-Training(2)：重参数式预训练(Part-Param Pre-Training)【Lora/ptuning...】【中文无监督学习语料】

GitHub项目：[KnowLM][]、[Chinese-LLaMA-Alpaca][] 二、Pre-Training sample data pt\_sample\_

我就是我/ 2024年03月16日 22:45/ 0 赞/ 43 阅读

相关 LLM-预训练：Megatron-LM 中自定义流水线并行的切分方式

> 最近在研究 Megatron-LM 源码，本篇文章聊聊在 Megatron 中如何自定义流水线并行的切分方式。 Megatron-LM 代码版本：23.06 [http

淩亂°似流年/ 2024年02月21日 10:43/ 0 赞/ 48 阅读

相关 LLM-预训练：Megatron-LM （23.06版本）近期的改动

Megatron-LM 最新 release 的版本是 23.06： [https://github.com/NVIDIA/Megatron-LM/tree/23.06/me

淡淡的烟草味﹌/ 2024年02月21日 10:43/ 0 赞/ 32 阅读

相关 LLM-预训练：深入理解 Megatron-LM（5）张量并行

> 最近在基于Megatron-LM的代码来训练大语言模型，本人觉得Megatron的代码很具有学习意义，于是大量参考了网上很多对Megatron代码的解读文章和NVIDA M

心已赠人/ 2024年02月21日 10:43/ 0 赞/ 38 阅读

相关 LLM-预训练：深入理解 Megatron-LM（3）代码结构

> 最近在基于Megatron-LM的代码来训练大语言模型，本人觉得Megatron的代码很具有学习意义，于是大量参考了网上很多对Megatron代码的解读文章和NVIDA M

矫情吗；*/ 2024年02月21日 10:43/ 0 赞/ 47 阅读

相关 LLM-预训练：深入理解 Megatron-LM（4）并行设置

> 最近在基于Megatron-LM的代码来训练大语言模型，本人觉得Megatron的代码很具有学习意义，于是大量参考了网上很多对Megatron代码的解读文章和NVIDA M

我不是女神ヾ/ 2024年02月21日 10:43/ 0 赞/ 48 阅读

相关 LLM-预训练：深入理解 Megatron-LM（2）原理介绍

> 最近在基于Megatron-LM的代码来训练大语言模型，本人觉得Megatron的代码很具有学习意义，于是大量参考了网上很多对Megatron代码的解读文章和NVIDA M

清疚/ 2024年02月21日 10:43/ 0 赞/ 63 阅读

相关 LLM-预训练：深入理解 Megatron-LM（1）基础知识

> 最近在基于Megatron-LM的代码来训练大语言模型，本人觉得Megatron的代码很具有学习意义，于是大量参考了网上很多对Megatron代码的解读文章和NVIDA M

忘是亡心i/ 2024年02月21日 10:43/ 0 赞/ 69 阅读

相关 LLM-预训练-数据集：wiki中文数据集【使用wikiextractor 提取wiki数据】

wikiextractor包链接地址：[GitHub - attardi/wikiextractor: A tool for extracting plain text fro

Bertha 。/ 2023年10月13日 21:39/ 0 赞/ 42 阅读

相关 LLM-202210：GLM【开源双语预训练语言模型】

[《GLM: General Language Model Pretraining with Autoregressive Blank Infilling》][GLM_ Gen

分手后的思念是犯贱/ 2023年09月27日 20:07/ 0 赞/ 131 阅读