迁移学习的两种策略

痛定思痛。 2022-12-23 06:56 146阅读 0赞

In practice, very few people train an entire Convolutional Network from scratch (with random initialization), because it is relatively rare to have a dataset of sufficient size. Instead, it is common to pretrain a ConvNet on a very large dataset (e.g. ImageNet, which contains 1.2 million images with 1000 categories), and then use the ConvNet either as an initialization or a fixed feature extractor for the task of interest.

在实践中，很少有人从头开始训练整个卷积网络(使用随机初始化)，因为拥有足够大小的数据集的情况相对较少。相反，通常是在一个非常大的数据集(例如ImageNet，它包含120万幅图像，1000个类别)上预训练卷积神经网络，然后使用卷积神经网络作为初始化或固定的特征提取器来完成感兴趣的任务。

Finetuning the convnet: Instead of random initializaion, we initialize the network with a pretrained network, like the one that is trained on imagenet 1000 dataset. Rest of the training looks as usual.

优化卷积网络:与随机初始化不同，我们使用预先训练好的网络来初始化网络，就像在imagenet 1000 dataset上训练的那样。其余的训练看起来和往常一样。  
  
ConvNet as fixed feature extractor: Here, we will freeze the weights for all of the network except that of the final fully connected layer. This last fully connected layer is replaced with a new one with random weights and only this layer is trained.

作为固定的特征提取器:在这里，我们将冻结所有网络的权重，除了最后的完全连接层。最后的全连接层被一个新的随机权值的层所取代，并且只训练这一层。

发表评论取消回复

表情：

评论列表（有 0 条评论，146人围观）

还没有评论，来说两句吧...

相关阅读

相关基于LVM的底层pv数据迁移：pvmove迁移+DD两种实现方式

概述基于LVM的底层pv数据迁移方式有以下几种： 1. pvmove命令：该命令可以将一个物理卷上的数据移动到另一个物理卷上，而不需要停止逻辑卷的使用。这种方式可以

- 日理万妓/ 2024年03月23日 07:17/ 0 赞/ 62 阅读

相关了解redis的两种持久化策略

redis是完全开源的，遵守 BSD 协议，是一个高性能的 key-value 数据库。radis有很快速的读写效率，运行时将数据存储在内存当中，不用担心内存中的数据一旦系统重

系统管理员/ 2024年03月16日 17:44/ 0 赞/ 62 阅读

相关第二周机器学习（ML）策略（2）：2.7 迁移学习

第一章、简介本文基于吴恩达人工智能课程做学习笔记、并融入自己的见解(若打不开请复制到浏览器中打开)[https://study.163.com/courses-s

绝地灬酷狼/ 2022年12月28日 06:17/ 0 赞/ 158 阅读

相关迁移学习的两种策略

In practice, very few people train an entire Convolutional Network from scratch (with ra

痛定思痛。/ 2022年12月23日 06:56/ 0 赞/ 147 阅读

相关 mongodb数据迁移的两种方式

环境说明：bbs数据采集的数据越来越多，目前是50G，每天大概以200W的数据量增长。而当前服务器1.2上面的空间不足，需要把数据迁移到空间足够大的1.3上面去尝试

一时失言乱红尘/ 2022年08月09日 02:11/ 0 赞/ 692 阅读

相关状态与策略——审批操作的两种方案

审批操作是ERP或OA系统中必不可少的功能之一。这里介绍两种我设计的用于审批操作的方案，并借此就“状态模式”与“策略模式”提出一点自己的理解。别问我为什么

红太狼/ 2022年05月15日 14:22/ 0 赞/ 272 阅读

相关常见的两种缓存过期策略

Eviction policy 移除策略，即如果缓存满了，从缓存中移除数据的策略；常见策略： FIFO（First In First Out）：先进先出算法，即

喜欢ヅ旅行/ 2022年04月12日 09:44/ 0 赞/ 300 阅读

相关 redis两种持久化策略

转自：[https://blog.csdn.net/u010785685/article/details/52366977][https_blog.csdn.net_u0107

╰半夏微凉°/ 2022年01月25日 15:43/ 0 赞/ 257 阅读

相关 Guava的两种本地缓存策略

Guava的两种缓存策略 -------------------- 缓存在很多场景下都需要使用，如果电商网站的商品类别的查询，订单查询，用户基本信息的查询等等，针对这种

超、凢脫俗/ 2021年11月17日 13:56/ 0 赞/ 474 阅读

相关 ACCESS迁移到SQLSERVE的两种方法

原文： [http://www.jb51.net/article/41956.htm][http_www.jb51.net_article_41956.htm] ACCES

╰+哭是因爲堅強的太久メ/ 2021年11月01日 11:08/ 0 赞/ 199 阅读