今天的深度学习方法专注于如何设计最合适的目标函数，以使模型的预测结果最接近真实情况。同时，必须设计一个合适的架构，以便为预测提供足够的信息。现有方法忽视了一个事实，即当输入数据经过逐层特征提取和空间转换时，会丢失大量信息。本文将深入探讨数据通过深度网络传输时出现的数据丢失的重要问题，即信息瓶颈和可逆函数。我们提出了可编程梯度信息（PGI）的概念，以应对深度网络实现多个目标所需的各种变化。PGI可以为目标任务提供完整的输入信息，以计算目标函数，从而获得可靠的梯度信息来更新网络权重。此外，基于梯度路径规划设计了一种新的轻量级网络架构——通用高效层聚合网络（GELAN）。GELAN的架构证实了PGI在轻量级模型上取得了优异的结果。我们在基于 MS COCO 数据集的目标检测上验证了提出的 GELAN 和 PGI。结果显示，GELAN 仅使用传统的卷积运算符，比基于深度卷积的最新方法实现了更好的参数利用率。PGI 可以用于各种模型，从轻量级到大型模型都适用。它可以用来获取完整的信息，使得从头开始训练的模型比使用大型数据集预训练的最新模型获得更好的结果，比较结果如图1所示。
文章地址：
本文转载自: https://blog.csdn.net/weixin_43694096/article/details/136334363
版权归原作者 迪菲赫尔曼 所有， 如有侵权，请联系我们删除。
版权归原作者 迪菲赫尔曼 所有， 如有侵权，请联系我们删除。