人工智能学习笔记

大模型解决不了英伟达的难题，AI新范式必将出现：专访安克创新CEO阳萌

Transformer 是仿生算法的阶段性实现10年、20年后大家将不再用TA

观察分析

推荐

用大模型保存你的全部人生，你会接受吗：专访安克创新CEO阳萌

怎么把领域知识结合进大模型

观察分析

推荐

思考

如何去读一篇论文

这篇文章介绍了一种用于图像分类的大型深度卷积神经网络(CNN)。作者训练了一个具有60百万参数和650,000个神经元的网络，这个网络包含5个卷积层和3个全连接层，并能够将ImageNetLSVRC-2010竞赛中的1.2百万高分辨率图像分类到1000个不同的类别中。在测试数据上，这个网络达到了37.5%的top-1错误率和17.0%的top-5错误率，这显著优于之前的最佳结果。文章详细描述了网络架构的各个方面，包括使用非饱和神经元(ReLU)、高效的GPU实现卷积操作以及“aropout”技术来减少过拟合等创新方法。此外，文章还讨论了通过在多个GPU上训练来加速训练过程，以及如何通过数据增强来进一步提高网络的泛化能力。最终，该网络在ILSVRC-2012竞赛中也取得了胜利，验证了大型深度卷积神经网络在大规模视觉识别任务中的有效性和潜力。

推荐

观察分析

CNN网络的巅峰之作

Figure 2: An illustration of the architecture of our CNN, explicitly showing the delineation of responsibilitiesbetween the two GPUs. One GPU runs the layer-parts at the top of the figure while the other runs the layer-partsat the bottom. The GPUs communicate only at certain layers. The network's input is 150,528-dimensional. andthe number of neurons in the network's remaining layers is given by 253,440-186,624-64,896-64.896-43.2644096-4096-1000.

推荐

观察分析

Deep Residual Learning for Image Recognition

更深层次的神经网络更难训练。我们提出一个残差学习框架来简化训练比所使用的网络更深的网络之前。我们明确地将层重新表示为参考层输入的学习残差函数,而不是学习未弓用的函数。我们提供全面的经验证据表明这些残留

观察分析

工具

Deep Residual Learning for Image Recognition

Densely Connected Convolutional Networks

最近的研究表明,如果卷积网络在靠近输入的层和靠近输出的层之间包含较短的连接,那么它们的训练可以更深更准确、更高效。在本文中,我们接受了这一观察,并介绍了密集卷积网络(DenseNet),它以前馈方式将每一层与其他每一层连接起来。而具有L层的传统卷积网络具有L个连接每层与其后续直接连接之间有一个连接。为了层，我们的网络有L(L+1)每一层,所有前面层的特征图用作输入,并且其自己的特征图用作所有后续层的输入。 DenseNet 有几个引人注目的优点:它们缓解了梯度消失问题,加强了特征传播,鼓励特征重用,并大大减少了参数数量。我们在四个高度竞争的对象识别基准任务(CIFAR-10、CIFAR-100、SVHN 和ImageNet)上评估了我们提出的架构。 DenseNets 在大多数方面都比最先进的技术有了显着的改进,同时需要更少的计算来实现高性能。代码和预训练模型可在https:/github.com/liuzhuang13/DenseNet 获取。

观察分析

Densely Connected Convolutional Networks

1 2

盛溪

盛溪的学习&生活博客