type
status
date
slug
summary
tags
category
icon
password
残差学习（Residual Learning）
残差学习（Residual Learning）是深度学习中的一种技术，旨在解决深度神经网络在训练过程中出现的退化问题。残差网络（ResNet）是其最典型的应用。以下是对残差学习框架的详细介绍：
什么是残差学习？
残差学习通过引入“快捷连接”或“跳跃连接”（skip connections）来改善深层神经网络的训练效率和性能。这些连接绕过一个或多个层，直接将输入传递给输出，从而形成一个残差块（residual block）。
残差块的结构
一个典型的残差块可以表示为：
残差学习的优势
- 缓解梯度消失和爆炸问题：深层网络容易出现梯度消失或梯度爆炸，导致训练困难。残差块通过快捷连接使得梯度可以直接传播到浅层，从而缓解这些问题。
- 提高训练效率：快捷连接使得网络可以直接学习残差，从而简化了优化问题，使得网络更容易收敛。
- 更深的网络结构：残差学习使得构建非常深的神经网络成为可能，如ResNet-50、ResNet-101、ResNet-152等，这些深层网络在各种计算机视觉任务中取得了显著的性能提升。
ResNet的结构
ResNet的基本结构由多个残差块堆叠而成。以下是ResNet的一个简化示例：
输入 -> 卷积层 -> 残差块1 -> 残差块2 -> ... -> 残差块N -> 全连接层 -> 输出
每个残差块内部可能包含以下层：
输入 -> 卷积层 -> 批量归一化 -> ReLU激活 -> 卷积层 -> 批量归一化 -> 添加输入 -> ReLU激活 -> 输出
残差学习的应用
- 图像分类：ResNet在ImageNet图像分类挑战中取得了优异的成绩，广泛应用于各种图像分类任务。
- 目标检测：残差网络作为特征提取器，应用于Faster R-CNN等目标检测框架中，提高了检测精度。
- 图像分割：如在FCN（全卷积网络）中使用残差块，可以提升图像分割的效果。
- 自然语言处理：在序列到序列模型中，残差学习也被应用于提高训练深层RNN（如LSTM、GRU）的效果。
结论
残差学习通过引入快捷连接，显著提高了深层神经网络的训练效果和性能。它不仅缓解了深层网络训练中的梯度消失和爆炸问题，还使得构建和训练非常深的网络成为可能。残差网络在许多深度学习任务中都取得了卓越的成绩，成为现代深度学习模型设计中的重要工具。
层数就多很多了
就多了很多了
为什么要这么麻烦呢
迭代次数更多 ，存在某一种极限
层数越深，降低loss越难
随机初始化
深度的时候效果就不好
文章逻辑
每一层都存在一个短路线
加上了一些短路模块
梯度更好去传递
大小会发生变化
很多小的分叉 更好的结果 单独去训练
量越少 越好
模型结果如何呢？
8% 错误率更加低了
选择什么样的大小
找到使用方法
已经train好了
把模型权重打开一些
去更好fit
三维的数据
展示一下图像 拍的不同的组织 不一样的组织
不胡说八道
读取nii文件
创造蒙太奇效果
如何的一个好法
模型是如何搭出来的
获得一些灵感
每个都在什么样的位置
faster-rcn
监控摄像头当中
效果非常不错
大放光彩 大力出奇迹
更加高级的方法
智力换了空间和时间
- Author:NotionNext
- URL:https://tangly1024.com/article/Deep%20Residual%20Learning%20for%20Image%20Recognition
- Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!