Evaluating Deep Neural Network Ensembles by Majority Voting cum Meta-Learning scheme
https://arxiv.org/pdf/2105.03819
Anmol Jain, Aishwary Kumar, Seba Susan
深度神经网络 (DNN) 容易过度拟合，过拟合的网络会导致对于新的数据实例表现不佳。该论文提出了不使用单个 DNN 作为分类器，而是使用一个由七个独立 DNN 学习器组成的集合，这些DNN都会保持它们的架构和内在属性相同，但是使用不同的数据输入。为了在训练输入中引入多样性， 每一个DNN将会删除七分之一的输入数据，并从剩余的样本中通过bootstrap抽样进行补充。论文提出了一种新的技术来结合DNN学习者的预测。这种方法被称 pre-filtering by majority voting coupled with stacked meta-learner，它在分配最终类标签之前对预测执行两步置信度检查。论文将所有算法在人类活动识别(Human Activity Recognition, HAR)、气体传感器阵列漂移(Gas sensor array drift)、Isolet、垃圾邮件(Spam-base)和互联网广告五个基准数据集上进行了测试，发现所提出的集成方法比单个DNN和多DNN的平均集成，以及多元化投票和元学习的基线方法获得了更高的准确率
Online parameter inference for the simulation of a Bunsen flame using heteroscedastic Bayesian neural network ensembles
https://arxiv.org/pdf/2104.13201
Maximilian L. Croci, Ushnish Sengupta, Matthew P. Juniper
本文提出了一种贝叶斯数据驱动的机器学习方法，用于管道预混火焰g方程模型参数的在线推理。利用g方程求解器LSGEN2D模拟170万个火焰锋面，训练贝叶斯神经网络集合，学习给定观测值的模型参数的贝叶斯后验分布。然后推断本生火焰实验的参数，以便在LSGEN2D中模拟这些实验的动力学过程。、
Transfer Learning with Ensembles of Deep Neural Networks for Skin Cancer Detection in Imbalanced Data Sets
https://arxiv.org/pdf/2103.12068
Aqsa Saeed Qureshi, Teemu Roos
先前已经提出了了几种用于从医学图像中准确检测皮肤癌的机器学习技术。其中许多技术都基于预训练的卷积神经网络 (CNN)，它可以基于有限数量的训练数据来训练模型。但是这些模型的分类准确性仍然受自恶性肿瘤的代表性图像稀缺的严重限制。所以论文提出了一种新颖的基于集成的 CNN 架构，其中多个 CNN 模型，其中一些是预训练的，而另外一些仅使用现有与输入图像相关联的元数据形式的辅助数据进行发训练。论文所提出的方法提高了模型处理有限和不平衡数据的能力。论文使用包含来自 2056 名患者的 33126 张图像的数据集展示了所提出技术的好处。根据 F1 度量、ROC 曲线下面积 (AUC-ROC) 和 PR 曲线下面积 (AUC-PR) 评估所提出技术的性能，并将其与七种不同的基准方法进行比较，包括最近的两种基于 CNN 的技术。所提出的技术在所有评估指标方面都具有优势
Real-time parameter inference in reduced-order flame models with heteroscedastic Bayesian neural network ensembles
https://arxiv.org/pdf/2011.02838
Ushnish Sengupta, Maximilian L. Croci, Matthew P. Juniper
从观测数据中估计模型参数的不确定性是科学和工程中普遍存在的逆问题。这篇论文中提出了一种廉价且易于实现的参数估计技术，该方法使用一种使用锚定集成训练的异方差贝叶斯神经网络，网络的误差模拟了由于我们逆问题中的参数退化导致的不确定性，而贝叶斯模型不确定性则捕捉了输入观测的非分布特性所产生的不确定性。
论文使用该方法对管道预混火焰的6参数g方程模型进行实时参数推断。用210万个模拟火焰视频库来训练网络，在模拟火焰试验数据集上的实验结果表明，该网络恢复了火焰模型参数，预测参数与真实参数的相关系数在0.97 ~ 0.99之间，不确定度估计精度较高。然后使用训练好的神经网络进行从实验室的高速摄像机捕捉到的预混本生火焰的真实视频中推断模型参数。利用推断的参数对火焰进行了再模拟，结果表明真实火焰与模拟火焰具有良好的一致性。与其他文献中针对这一问题提出的基于集成卡尔曼滤波器的工具相比论文的神经网络集成实现了更好的数据效率，并且亚毫秒推断时间也节省了几个数量级的计算成本。
作者：momodeep