41-----从头开始训练语言模型

深碍√TFBOYSˉ_ 2023-09-27 20:17 8阅读 0赞

txtai 有一个强大的训练管道，可以为下游任务（如标记文本）微调大型语言模型（LLM）。txtai 还具有从头开始训练语言模型的能力。

绝大多数时候，微调 LLM 会产生最好的结果。但是当对模型的结构进行重大更改时，通常需要从头开始训练。

重大变化的例子是：

改变词汇量  
更改隐藏维度的数量  
更改注意力头或层数  
本文将展示如何构建一个新的分词器并从头开始训练一个小型语言模型（称为微模型）。

安装依赖  
安装txtai和所有依赖项。

## Install txtai ##

pip install txtai datasets sentence-transformers onnxruntime onnx  
加载数据集  
此示例将使用ag\_news数据集，它是新闻文章标题的集合。  
from datasets import load\_dataset

dataset = load\_dataset(“ag\_news”, split=“train”)  
训练分词器  
第一步是训练分词器。我们可以使用现有的分词器，但在这种情况下，我们需要更小的词汇表。  
from transformers import AutoTokenizer

def stream(batch=10000):  
for x in range(0, len(dataset), batch):  
yield dataset\[x: x + batch\]\[“text”\]

tokenizer = AutoTokenizer.from\_pretrained(“bert-base-uncased”)  
tokenizer = tokenizer.train\_new\_from\_iterator(stream(), vocab\_size=500, length=len(dataset))  
tokenizer.model\_max\_length = 512

tokenizer.save\_pretrained(“bert”)  
让我们测试分词器。  
print(tokenizer.tokenize(“Red Sox defeat Yankees 5-3”))  
\[‘re’, ‘\#\#d’, ‘so’, ‘\#\#x’, ‘de’, ‘\#\#f’, ‘\#\#e’, ‘\#\#at’, ‘y’, ‘\#\#ank’, ‘\#\#e’, ‘\#\#es’, ‘5’, ‘-’, ‘3’

发表评论取消回复

表情：

评论列表（有 0 条评论，8人围观）

还没有评论，来说两句吧...

相关阅读

相关使用PyTorch从头开始构建自己的Transformer模型

使用PyTorch从头开始构建自己的Transformer模型 Transformer模型是一种用于处理序列数据的强大模型，它在自然语言处理任务中取得了巨大的成功。本文将逐步

r囧r小猫/ 2024年03月08日 08:32/ 0 赞/ 98 阅读

相关大语言模型训练技巧

10、Flash Attention 标准Attention的中间结果需要通过高带宽内存（HBM）进行存取，空间复杂度为O(N2)。随着输入序列长度的增加，标准Attenti

客官°小女子只卖身不卖艺/ 2024年02月19日 07:50/ 0 赞/ 57 阅读

相关 41-----从头开始训练语言模型

txtai 有一个强大的训练管道，可以为下游任务（如标记文本）微调大型语言模型（LLM）。txtai 还具有从头开始训练语言模型的能力。绝大多数时候，微调 LLM 会产生最

深碍√TFBOYSˉ_/ 2023年09月27日 20:17/ 0 赞/ 9 阅读

相关表示自己从头开始的句子_从头-一切从头开始的句子

从头 1、遇见只是一个开始，离开却是为了遇见下一个离开；这是一个流行离开的世界，但是我们都不擅长告别。 2、当你没有借口的那一刻，就是你成功的开始。 3、不宽恕众生，不原

梦里梦外;/ 2023年01月09日 12:54/ 0 赞/ 170 阅读

相关 fcn从头开始_如何从头开始构建WordPress主题：第一步

fcn从头开始 WordPress themes give WordPress users the ability to completely change the look

叁歲伎倆/ 2022年12月03日 01:38/ 0 赞/ 242 阅读

相关 java从头执行程序_Java微职位从头开始

开始学习，决不放弃！！！一、安装配置 1、oracle简介 2、oracle下载与安装版本：oracle 11g oracle开分主要分两类 1、数据库管理类：

向右看齐/ 2022年11月08日 06:13/ 0 赞/ 63 阅读

相关从头开始训练BERT语言模型

文章目录 1. 数据准备 1.1 构建语料库 1.2 构建字典文件 2. 创建预训练数据 3. 预训练 4. 训练BER

我不是女神ヾ/ 2022年10月31日 12:09/ 0 赞/ 219 阅读

相关从头开始学java--数组

一.数组的定义本来数组在C++中已经写了好多，但是一直没把数组当成个对象。在java中，数组也是个对象！所以还是用引用型变量，定义一个数组

浅浅的花香味﹌/ 2022年08月06日 00:11/ 0 赞/ 239 阅读

相关预训练语言模型

常用的抽取文本特征有： TFIDF/LDA/LSI gensim glove fasttext ELMO Bert [word2vec

不念不忘少年蓝@/ 2022年03月01日 03:50/ 0 赞/ 337 阅读

相关 slf4j 从头开始

[2019独角兽企业重金招聘Python工程师标准>>> ][2019_Python_] ![hot3.png][] 最近在公司的一个项目里看到人家都在用self4j，开始不

拼搏现实的明天。/ 2022年01月15日 02:21/ 0 赞/ 280 阅读