水果分割论文、代码和数据集汇总

文章目录

2020

MinneApple: A Benchmark Dataset for Apple Detection and Segmentation

code: https://paperswithcode.com/paper/minneapple-a-benchmark-dataset-for-apple

摘要：在这项工作中，我们提出了一个新的数据集，以推进最先进的水果检测，分割，和计数在果园环境中。虽然最近人们对解决这些问题非常感兴趣，但由于缺乏统一的数据集，使得比较结果变得困难。我们希望通过提供在果园中获得的各种高分辨率图像，以及人类对树上水果的注释，来实现直接比较。为每个对象实例使用多边形掩模对水果进行标记，以帮助精确的目标检测、定位和分割。此外，我们还提供了基于斑块的集群果实计数数据。我们的数据集在1000张图像中包含超过41‘0000个带注释的对象实例。我们提供了数据集的详细概述，以及边界盒检测、分割和水果计数的基线性能分析，以及产量估计的代表性结果。我们使这个数据集公开可用，并主持了一个CodaLab挑战，以鼓励对一个公共数据集上的结果进行比较。要下载数据并了解更多关于明尼阿苹果公司数据集的信息，请参阅项目网站： http: //rsn.cs.umn.edu/index.php/MinneApple。最新的信息可在网上获得。

Grape detection, segmentation and tracking using deep neural networks and three-dimensional association

code : https://paperswithcode.com/paper/grape-detection-segmentation-and-tracking

摘要： 农业应用，如产量预测、精确农业和自动收获，需要能够从低成本传感设备推断作物状态的系统。使用廉价摄像机与计算机视觉相结合的近端感知已经成为一种很有前途的替代方案，在卷积神经网络（CNNs）作为自然图像中具有挑战性的模式识别问题的替代方案出现后，这种方案得到了加强。考虑到果实种植监测和自动化，一个基本问题是果园中单个果实的检测、分割和计数。在这里，我们展示了对于葡萄酒葡萄，一种在形状、颜色、大小和紧凑度上有很大变化的作物，葡萄簇可以使用最先进的cnn成功地检测、分割和跟踪。在测试集包含408葡萄集群图像基于网格系统的葡萄园，我们已经达到了F1分数0.91例如分割，每个集群的图像，允许更准确的评估水果的大小和形状。我们还显示，集群可以被识别和跟踪，沿着视频序列记录果园行。我们还提出了一个公共数据集，其中包含在300张图像中适当注释的葡萄簇，以及一种新的注释方法，用于分割自然图像中的复杂对象。所提出的图像中农业模式的注释、训练、评估和跟踪管道可以复制用于不同的作物和生产系统。它可用于几种农业和环境应用的传感组件的开发。

论文的贡献：

• 一种新的图像标注方法，采用交互式图像分割（Noma et al.，2012）来生成对象掩模，识别背景和遮挡前景像素；
• 一个新的公共数据集1，用于葡萄检测和实例分割，由图像、边界框和掩模组成，该数据集由在野外拍摄的5个不同葡萄品种的图像组成（图1）；
• 评估两个深度学习检测葡萄检测架构：Mask R-CNN（He等人，2017），卷积框架例如分割是简单的训练和概括（刘等人，2018），和YOLO（Redmon等人，2016），一个单阶段网络，可以检测对象没有以前的区域建议阶段（Huang等人，2017）——这样的评估允许实例分割和基于盒子的对象检测方法之间的比较；
• 一种水果计数方法，采用三维关联在空间中整合和定位检测结果，避免多次计数，解决遮挡和积累从不同图像的证据来确认检测。

2021

Enlisting 3D Crop Models and GANs for More Data Efficient and Generalizable Fruit Detection

code: https://paperswithcode.com/paper/enlisting-3d-crop-models-and-gans-for-more

摘要：训练真实世界的神经网络模型以实现高性能和通用化，通常需要大量的标记数据，跨越广泛的变化范围。这种数据标记过程既可以是劳动密集型的，也可以是成本密集型的。为了达到理想的预测性能，通常将训练模型应用于数据分布与训练数据集相似的领域。然而，对于许多农业机器学习问题，训练数据集是在一个特定的位置，在生长季节的一个特定时期收集的。由于农业系统在作物类型、品种、管理、季节生长动态、光照条件、传感器类型等方面表现出很大的可变性，从一个数据集训练出来的模型往往不能很好地跨领域推广。为了使农业中更高效和一般化的神经网络模型，我们提出了一种方法，将逼真的农业图像从合成的三维作物模型领域生成到真实世界的作物领域。该方法使用语义约束的GAN（生成对抗网络）来保持果实的位置和几何形状。我们观察到，基线CycleGAN方法可以生成视觉上真实的目标域图像，但不保留水果的位置信息，而我们的方法可以很好地保持水果的位置。葡萄园葡萄昼夜图像的图像生成结果显示，我们的网络的视觉输出比基线网络要好得多。对葡萄园葡萄检测任务的增量训练实验表明，我们的方法生成的图像可以显著加快领域自适应过程，提高给定数量的标记图像的性能（即数据效率），并降低标记要求。

Comparison of grape flower counting using patch-based instance segmentation and density-based estimation with Convolutional Neural Networks

摘要： 关于每个葡萄花序的花数的信息对于葡萄的遗传改良、早期产量估算和葡萄园管理至关重要。以往通过颜色和形态分析等传统图像处理技术将这一过程自动化，但未能改进可应用于不同光照条件下不同生长阶段不同葡萄品种的通用系统。深度神经网络为基于图像的植物表型提供了许多机会。在本研究中，我们评估了三种基于深度学习的花序图像花数的方法，分别基于Mask R-CNN的实例分割，U-Net的目标密度图估计和Mask R-CNN的基于补丁的实例分割。利用公开的葡萄花序数据集对204个不同品种在不同生长阶段的图像进行了分析，为花序形态提供了较高的多样性。该算法基于Mask R-CNN基于补丁的实例分割，产生的计数结果与人工计数高度相关（R2 = 0.96）。不同品种间的MAPE值基本恒定（从5.50%）~8.45%)，表明该方法具有较高的稳健性。达到最快的计数(0.33秒。对于512×512的图像的计数精度略低（R2 = 0.91），基于对象密度图的方法适用于实时花计数系统。

Grapevine Winter Pruning Automation: On Potential Pruning Points Detection through 2D Plant Modeling using Grapevine Segmentation

摘要： 葡萄藤冬季修剪是一项复杂的任务，需要熟练的工人正确地执行它。这个任务的复杂性也是它很耗时的原因。考虑到这一操作大约需要80-120个小时/公顷才能完成，因此在大型葡萄园中更为重要，一个自动化系统可以帮助加快这一过程。为此，本文提出了一种新的多学科方法，通过对葡萄藤图像进行对象分割来解决这一具有挑战性的任务，用于创建葡萄藤植物的代表性模型。其次，从这种植物表示中生成一组潜在的修剪点。我们将描述(a)数据采集和注释方法，(b)神经网络微调葡萄细分，©基于图像处理的方法创建葡萄的代表模型，从推断分割和(d)潜在的修剪点检测和定位，基于植物模型是葡萄结构的简化。通过这种方法，我们能够识别出甘蔗上的一组重要的潜在剪枝点，它可以通过进一步的选择来推导出真实剪枝点的最终集。