以FFANet为主干，加入分类的分支，将模型扩展为多任务图像分割框架，设计了用于分类和分割的联合损失函数。
FFANet+MTL
1、FFANet和分割分支
FFANet作为骨干网络，作为对VoVNet的重新设计和优化，FFANet在骨干网中加入了残差连接，使VoVNet可以学习更多的特性。设计了一种特殊的特征融合机制来有效地聚合多尺度特征。最后，在上采样阶段，引入混合的注意力机制来细化分割结果
2、分支分类
对于分类分支，它由一个全局平均池化(GAP)层和一个全连接层组成。
3、联合损失函数
对于分类任务，使用交叉熵(cross-entropy, CE)损失函数:
对于分割任务，使用dice 损失函数：
最后加权损失:
这里选择的α=0.2
结果展示
1、数据集和指标
数据集是由MICCAI 2020公开竞赛甲状腺结节分割和分类(TN-SC 2020)提供。该数据集包括3644张图片，由3644名患者提供，并由专业医生注释。所有图像均为单通道灰度超声图像。训练集、验证集和测试集的比例为7∶1∶2。使用 4 个指标，即 DICE、准确性 (ACC)、灵敏度 (SE) 和特异性 (SP)。（这个ACC是像素级的 ACC）
2、权重（α）选择
α=0.2得到最高的性能，并用于后续的实验。
可以看到，当α=0.2分类性能稍差。
3、SOTA比较
多任务模型(0.2)在关键指标DICE上的最佳表现为0.935。在ACC和SP上的性能达到了第三名，在SE上的性能也很好。
论文所提出的多任务模型 (0.2) 达到了 0.79 的分类精度，排名第二，超过了 ResNet-50、具有 ECA-Net 通道注意力的 ResNet-50 和 VoVNet-39。
模型对目标区域的定位和预测非常准确，对病灶区域的描述也更加精细。
论文地址：
https://www.sciencedirect.com/science/article/abs/pii/S1746809422007030
本文作者：Sik-Ho Tsang