type
status
date
slug
summary
tags
category
icon
password
dense net
所有的层都叠在了一起
比以前更加密集
用的小一点会好一点 从前人那里借鉴过来的
没有明显的规律 connection不是白加的
图片的特征
Linear Probing
Linear Probing 是深度学习领域中的一种技术，通常用于评估预训练模型在下游任务中的表示质量。以下是对Linear Probing的详细介绍：
什么是Linear Probing？
Linear Probing 是一种简单但有效的方法，用于评估预训练模型（如自监督学习或无监督学习模型）在特定任务中的表现。在这种方法中，预训练模型的参数保持不变（冻结），然后在其输出特征上训练一个简单的线性分类器（如线性回归或逻辑回归）来解决特定的下游任务。
Linear Probing 的步骤
- 预训练模型：首先，训练一个深度学习模型来学习表示（通常使用自监督学习或无监督学习方法，如对比学习、变分自编码器等）。
- 冻结模型：将预训练模型的所有参数冻结，不再更新这些参数。
- 提取特征：使用预训练模型提取输入数据的特征表示。
- 线性分类器：在提取的特征上训练一个线性分类器，如逻辑回归或线性支持向量机（SVM），来完成特定的下游任务（如分类、回归等）。
- 评估性能：通过评估线性分类器在下游任务上的性能，来衡量预训练模型学习到的表示的质量。
Linear Probing 的优势
- 简单有效：Linear Probing 方法简单直接，不需要对预训练模型进行进一步的复杂训练。
- 快速评估：通过训练一个线性分类器，可以快速评估预训练模型的表示能力，特别适用于大规模预训练模型的初步评估。
- 解耦表示学习和任务：通过冻结预训练模型，可以明确区分模型表示能力与下游任务的分类器能力，从而更好地评估表示的质量。
Linear Probing 的应用
- 自监督学习评估：在自监督学习中，预训练模型通过大量无标签数据学习表示，然后使用Linear Probing来评估这些表示在有标签数据上的性能。
- 迁移学习：在迁移学习中，预训练模型通常在大型数据集上训练，然后使用Linear Probing来评估其在新任务中的适应性和表现。
- 特征表示质量评估：在任何需要评估深度学习模型特征表示质量的场景中，Linear Probing都是一种常用的方法。
例子
假设我们有一个预训练的卷积神经网络（CNN）用于图像分类任务。我们可以使用Linear Probing的方法如下：
- 预训练模型：我们已经在一个大规模的无标签数据集上预训练了一个CNN。
- 冻结模型：冻结CNN的所有卷积层参数，只使用它们来提取特征。
- 提取特征：对新的图像数据集，使用冻结的CNN提取特征表示。
- 线性分类器：在提取的特征上训练一个线性逻辑回归分类器，用于图像分类。
- 评估性能：通过验证集上的分类准确率来评估预训练模型的特征表示质量。
结论
Linear Probing 是一种简便而有效的方法，用于评估深度学习模型的特征表示能力。它通过训练一个线性分类器来衡量预训练模型在特定任务中的表现，从而为模型的改进和调整提供了重要的参考。
- Author:NotionNext
- URL:https://tangly1024.com/article/Densely%20Connected%20Convolutional%20Networks
- Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!