Audio-预训练模型-2020：Wav2vec 2.0

傷城~ 2023-09-25 12:29 6阅读 0赞

### 一、整体流程 ###

基于 **vq2vec** 的思路，通过mask 在latent space 上的语音输入，训练一个contrastive task将真正的量化的latent变量表示与其他负例分辨出来（同时训练了量化过程的latent representation), 由此得到的representation， 基于少量的有标签数据fine-tuning就取得了不错的效果。相较于vq2vec无需接bert，将原先两个分开训练的模型合并成一个，是一个更好的工程实现。

![2be15b873d0248ac8bec767eab93e4ab.png][]

[自监督预训练（三）wav2vec 2.0原理剖析\_xmdxcsj的博客-CSDN博客\_wav2vec2][wav2vec 2.0_xmdxcsj_-CSDN_wav2vec2]

[实例理解product quantization算法 - 静夜录][product quantization_ -]

[wav2vec2.0: A Framework for Self-Supervised Learning of Speech Representations\_pitaojun的博客-CSDN博客\_a framework for self-supervised learning of speech][wav2vec2.0_ A Framework for Self-Supervised Learning of Speech Representations_pitaojun_-CSDN_a framework for self-supervised learning of speech]

[2be15b873d0248ac8bec767eab93e4ab.png]: https://img-blog.csdnimg.cn/2be15b873d0248ac8bec767eab93e4ab.png
[wav2vec 2.0_xmdxcsj_-CSDN_wav2vec2]: https://blog.csdn.net/xmdxcsj/article/details/115787729
[product quantization_ -]: http://www.fabwrite.com/productquantization
[wav2vec2.0_ A Framework for Self-Supervised Learning of Speech Representations_pitaojun_-CSDN_a framework for self-supervised learning of speech]: https://blog.csdn.net/pitaojun/article/details/108164898

发表评论取消回复

表情：

评论列表（有 0 条评论，6人围观）

还没有评论，来说两句吧...

相关阅读

相关预训练模型：DeBERTa

二郎神系列开新坑啦，Deberta系列上新。从19年Roberta开源以来，Roberta应该算是使用者最多的Encoder结构模型，简单、效果好，使用起来十分方便，在过去

古城微笑少年丶/ 2023年10月12日 13:27/ 0 赞/ 45 阅读

相关 NLP-预训练模型-2020

Transformer 是目前 NLP 研究领域中特别重要的模型，也衍生出了很多基于 Transformer 的方法，例如 BERT、GPT，在很多 NLP 任务中有很好的效果

水深无声/ 2023年10月01日 20:47/ 0 赞/ 67 阅读

相关中文预训练词向量（静态）：Word2vec、GloVe、FastText

English Pre-trained word embeddings Google’s word2vec embedding: 外网地址： \[Word2Vec\]

灰太狼/ 2023年09月27日 11:34/ 0 赞/ 149 阅读

相关 Audio-预训练模型-2019：vq-wav2vec

[vq-wav2vec: Self-Supervised Learning of Discrete Speech Representations - NASA/ADS][vq-

梦里梦外;/ 2023年09月25日 12:29/ 0 赞/ 65 阅读

相关 Audio-预训练模型-2020：Wav2vec 2.0

一、整体流程基于 vq2vec 的思路，通过mask 在latent space 上的语音输入，训练一个contrastive task将真正的量化的latent变量表

傷城~/ 2023年09月25日 12:29/ 0 赞/ 7 阅读

相关 Audio-预训练模型（一）：概述

基于判别学习的语音预训练模型的发展历程大致从Deepmind的CPC开始，FAIR的wav2vec系列工作（Wav2vec, Vq-wav2vec, Discret BERT,

╰+哭是因爲堅強的太久メ/ 2023年09月25日 12:28/ 0 赞/ 78 阅读

相关 tf预训练模型转换为torch预训练模型

在将albert的tensorflow预训练模型转换为 torch类型预训练模型，踩了很多坑。终于解决，希望对大家有用 1. 前期准备创建一个环境带有torc

た入场券/ 2022年11月11日 05:51/ 0 赞/ 319 阅读

相关预训练语言模型

常用的抽取文本特征有： TFIDF/LDA/LSI gensim glove fasttext ELMO Bert [word2vec

不念不忘少年蓝@/ 2022年03月01日 03:50/ 0 赞/ 339 阅读

相关 NLP预训练模型综述

现在深度学习越来越火了，在NLP领域主要使用CNNs、RNNs、GNNs以及attention机制。尽管这些模型取得了一些成绩，但是和CV相比，还是有些差距的，主

迈不过友情╰/ 2021年09月24日 13:34/ 0 赞/ 676 阅读

相关 DL4J模型训练Word2Vec

目前深度学习已经越来越受到重视，深度学习的框架也是层出不穷，例如谷歌的TensorFlow，它是基于Python进行开发的，对于许多对Python不够了解的程序员

不念不忘少年蓝@/ 2021年09月15日 08:36/ 0 赞/ 529 阅读