其他垃圾图片(可回收垃圾图片)

大家好，我是讯享网，大家多多关注。

机器之心专栏

作者:李

研究人员表示，这项工作有望使大规模智能垃圾分类检查成为可能，提高垃圾分类回收效率，减少环境污染。

近年来，社会的发展带来了生活垃圾的爆炸式增长。实施垃圾分类不仅可以减少对自然环境的破坏，还可以回收垃圾中的可回收资源，带来更大的经济效益。垃圾分类的检查是一个重要的部分。只有正确的分类才能提高回收效率，避免环境污染。传统的分类检查方法依赖于人工阅读。而现有的图像检查方法也需要打开垃圾袋，摊开。这些检查方法有两个缺点:

翻开垃圾袋的过程比较繁琐，且对于接触垃圾的人存在污染、传播疾病的风险；复杂繁多的垃圾容易产生视线遮挡，容易出现遗漏和错判。

考虑到以上问题，我们提出以下解决方案:

提出了第一个基于 X 光图片的、实例级别的垃圾分割数据集 (WIXRay)。数据集中包含 5,038 张 X 光图片，共 30,845 个垃圾物品实例。对于每个实例，我们标注了高质量的类别、bbox 以及实例级别的分割。在现有实例分割方法的基础上针对 X 光垃圾图片遮挡严重、有穿透效果的特点进行改进，提出了从易到难的策略，设计了 Easy-to-Hard Instance Segmentation Network (ETHSeg)，利用高置信度的预测结果来帮助严重重叠区域的难预测物体的分割。另外，我们还增加了一个全局轮廓模块来更好地利用 X 光下物体的轮廓信息。

论文链接：https://openaccess.thecvf.com/content/CVPR2022/papers/Qiu_ETHSeg_An_Amodel_Instance_Segmentation_Network_and_a_Real-World_Dataset_CVPR_2022_paper.pdf项目主页：https://lingtengqiu.github.io/2022/ETHSeg/GitHub 地址：GitHub – lingtengqiu/ETHSeg: ETHSeg: An Amodel Instance Segmentation Network and a Real-world Dataset for X-Ray Waste Inspection (CVPR2022）

1.基于X射线照片示例的废物数据集的分割

之前垃圾分类相关的数据集都是稀疏无遮挡的RGB图像，这些数据的识别效率较低，实际操作难度较大。现有的X射线图像分割数据集多为安检项目数据集，这些数据集很少出现严重遮挡。为了获得真实有效的垃圾分类数据集，我们提出用X射线扫描垃圾袋，以获得密集和遮挡的垃圾识别数据集。

数据收集

集合地点:近8000居民的学校社区

垃圾类。根据现有的垃圾分类方法，我们将所有垃圾分为可回收垃圾、厨余垃圾、有害垃圾和其他垃圾。在此基础上，我们将收集到的最常见的垃圾分为十二类:

可回收垃圾：塑料瓶，易拉罐（金属罐），纸盒，玻璃瓶，木棒（筷子），餐具；厨余垃圾：主要为食物残渣；其他垃圾：暖宝宝，干燥剂，饭盒；有害垃圾：电池（充电宝），灯泡。

具体数量统计如下:

注:对于一些分布不均衡的类别，我们在数据采集时人为添加了预先准备好的项目，比如有害废物中的两个类别。

数据注释

对于每个垃圾对象，我们已经标记了它的类别、bbox和实例级掩码。因为X射线是穿透的，所以我们可以在X射线图像上看到重叠的物体。

因此，不同于传统的示例分割标记，我们用完整的形状来标记所有被遮挡的对象。平均而言，每幅图像中有6.13个样本，远高于之前的X射线数据集(例如Hixray中的2.27)。

第二，由易到难的分割网络(ETHSeg)

现有的病例分割方法大多是针对自然图片设计的，没有考虑X射线图像的穿透特性和一些严重的遮挡。因此，针对这两点，我们设计了ETHSeg来解决X射线下的垃圾对象实例分割问题。主要有两种方法:(1)显式使用全局轮廓引导模块获取物体的轮廓信息；(2)提出了一种由易到难的分解策略来帮助分割遮挡区域中难以分割的对象。

基线:双层卷积网络(BCNet)

BCNet是用于实例分割的自顶向下的SOTA方法。该方法采用双层GCN结构来解决物体之间的遮挡问题。虽然这种方法在自然图片上取得了很好的效果，但是由于X射线图像的穿透效应和严重的遮挡，这种方法在我们的数据集上效果并不好。在BCNet的基础上，提出了改进方案。

BCNet可以表示为:

X ∈ R (HW )×C是输入特征，A ∈ R (HW )×(HW)是自我注意模块，W是可学习的变换矩阵，σ代表带有ReLU的归一化层，Z是更新的特征。f会计算两个节点X_i和X_j的点乘相似度，θ sum为1 × 1卷积。

BCNet将提取的ROI特征X_roi输入到第一个GCN层的更新后的特征z0中，得到遮光器的轮廓和蒙版。更新后的特征Z_0将作为第二层GCN的输入添加到ROI特征中(X_f = X_roi+Z_0)。第二GCN层将进一步计算被遮挡对象的轮廓和蒙版。

全球轮廓导航模块

BCNet方法通过两层GCN和轮廓与掩模监督可以解决一些局部遮挡问题，但是这种方法的轮廓监督只使用ROI的局部监督，对于遮挡严重、物体轮廓清晰的x光图像效果不好。

因此，我们设计了一个全局轮廓引导模块，以更好地利用X射线图像中的轮廓信息。我们对主干获得的特征进行上采样，并作为并行任务预测全局等高线图。轮廓的监控由高斯分布的热图表示。

由易到难的分解策略

针对数据集中严重的遮挡问题，受人类先识别简单明了的对象，再区分难以识别的对象的方式启发，提出了一种由易到难的分解策略。在分割之前，我们根据置信度将所有对象的bbox分为容易集和困难集。

对于easy set中的bbox，我们直接找到它们的掩膜，同时利用GCN层找到更新的特征(Z I) _ E:

从易集中获得的掩码将用于增强自我注意网络，以帮助硬集的分割。

与BCNet不同，easy和hard集合提取的特征属于不同的ROI，所以我们不能直接将这两组特征相加。因此，我们首先根据ROI坐标将easy集中的预测遮罩映射到整个画面的对应位置，使用element-wise max与全局遮罩P融合，P软遮罩用于表示每个像素包含在对象中的概率。使用软掩模P，我们提出掩模引导的注意力(A_g)来引导硬集合的实例分割:

其中⊙代表哈达玛乘积。然后，还获得硬实例的掩模和更新的特征Z J，并且更新全局软掩模P:

三。实验结果

基准实验

我们在WIXRay数据集上做了大量的实验，包括一阶段和两阶段的经典模型以及SOTA模型。所有模型均采用ResNet-101-FPN作为主干网络，采用COCO预训练模型。实验指标表明，我们提出的新数据集对一般的案例分割模型具有很大的挑战性。我们提出的ETHSeg模型在mask mAP指数上超过了原始的SOTA BCNet 1.74点，并且在bbox mAP上也有所改进。

分割结果显示

如图所示，与通用示例分割模型或BCNet相比，ETHSeg在结果中漏检更少，在重叠区域的分割精度更高。

烧蚀实验

实验表明，在相同的检测结果下，我们提出的两种结构(全局结构引导和由易到难的分割)可以提高实例分割的结果。如果同时使用两个模块，掩码映射进一步提高(+1.32)。

四。结论

针对现有人工和目视垃圾检查的缺陷，我们建议使用X射线图像来帮助垃圾分类检查:

我们提出了第一个基于 X 光图片的、实例级别的垃圾分割数据集 (WIXRay)；针对 X 光垃圾图片遮挡严重、有穿透效果的特点进行了改进。我们提出了从易到难的策略， 设计了 Easy-to-Hard Instance Segmentation Network (ETHSeg)，并在 WIXRay 数据集上达到了 SOTA。