相关阅读
相关 大模型-DeltaTuning-重参数式：LoRA（Low-Rank Adaptation）【效果比全量微调还是有一定的差距】
微调大规模语言模型到特殊领域和任务是自然语言处理的重要课题之一。但随着模型规模的不断扩大，微调模型的所有参数（所谓`full fine-tuning`）的可行性变得越来越低。以
怼烎@相关 大模型-微调技术：DeltaTuning【提出现有PEFT的统一框架；从优化角度解释PEFT的有效性；进行了超大规模的实验】【参数高效微调统一框架】
DeltaTuning [Parameter-efficient fine-tuning of large-scale pre-trained language mode
比眉伴天荒相关 Full-Parameter全参数微调与LoRA低秩微调
近年来，大型语言模型的指令微调是自然语言处理领域的一个重要研究领域。 由于资源和成本的限制，一些研究人员采用了参数有效的调整技术，如LoRA，并取得了不错的结果。与全参数微
超、凢脫俗相关 大模型-微调技术：PEFT库
pypi：[https://pypi.org/project/peft/][https_pypi.org_project_peft] 目前peft 0.3.0 code地址：
相关 大模型-DeltaTuning：①增量式（原模型参数不变，插入可微调参数层）、②指定式（原模型参数冻结一部分参数，微调一部分参数）、③重参数化式（将原模型参数层改造，比如插入低秩）
【随着模型增大，各方案区别不大】 ![9c2b5ab5be484724ab9f0f473db60f2c.png][] 
灰太狼相关 大模型-DeltaTuning-增量式01：Adapter-tuning（0.5-8%）【每个transformer层内加入2个Adapter层】【Adapter就是先降维再升维的全连接】
Adapter Tuning 随着计算机硬件性能的提高，预训练模型参数量越来越多，在训练下游任务时进行全模型微调变得昂贵且耗时，Adapter 的出现缓解了这个问题。Ad
相关 大模型-DeltaTuning-增量式04：p-tuning v2【在Transformer原有结构最后插入一层pre_encoder层】【微调时冻结原有结构参数，只微调新加入的网络层参数】
案例：chatGLM !/usr/bin/env python coding=utf-8 Copyright 2021 The HuggingFa
相关 基于Keras、DenseNet模型微调、参数冻结、数据增强、模型训练、模型验证全流程记录（模型微调开发全流程记录）
基于DeneNet,使用keras搭建模型，用imagenet的权重进行预训练。densenet169的layers数量未595，冻结模型前593，增加一个2分类的dense层
相关 游戏模型与动漫之间，有多大差距？
记得前些日子有人问过我，你们做的游戏模型为什么没有动漫好看啊？这不是我第一次听见这个问题，但我却依旧回答不了他。因为，作为一个模型师，我们做模型都是尽自己的最大努力去完成作品的
还没有评论，来说两句吧...