清华大学曾龙副教授团队：堆叠场景下多参数形状的6DoF姿态估计数据集和网络 MDPI Machines发布时间：2024-07-09 |   作者: 剪力传感器 RW-JL-02

　　目前，参数化技术被大范围的应用于工业产品设计领域，一个完整的工业产品通常包含来自不同参数化模板的参数化零件实例。因此，当我们对工业产品中的可回收零件进行分拣回收时，需要在多种类多实例的参数化零件堆叠场景中，将每个零件根据其模板种类和参数值分拣到各自的回收箱中。近年来，由视觉引导的机器人被大范围的应用于零件的自动分拣任务。然而，零件模板种类非常之多、参数值调整频繁、堆叠场景遮挡严重、传感器噪声严重等问题，给视觉机器人在多种类多实例的参数化零件堆叠场景中做准确的6D位姿估计和参数值预测带来了很大的挑战。

　　清华大学张欣宇、吕伟杰、曾龙在Machines期刊发表的文章，通过深度学习的方法对多种类多实例参数化零件堆叠场景中物体的6D位姿估计和参数值预测进行了研究。首先，针对数据集缺乏的问题，作者们通过参数化建模和仿真技术构建了一个RGB-D大型仿真数据集Multi-Parametric Dataset。其次，针对目前深度学习的方法缺乏对该种堆叠场景的位姿估计和参数值预测进行研究应用的问题，作者们提出了一个带有残差模块的深度学习网络Multi-templates Parametric Pose Network (MPP-Net) 作为Multi-Parametric Dataset的基准方法。该网络能够针对堆叠场景，同时实现前景分割、个体分割、种类识别、6D位姿估计和参数值预测任务。图1为本文所提出的数据集的构造流程和基准方法所实现的任务。

　　作者们通过参数化建模、动力学仿真、渲染仿真生成了一个多种类多实例参数化零件堆叠场景的RGB-D大型仿真数据集Multi-Parametric Dataset，并为该数据集设计了评价标准。该数据集包括一个训练集 (50k个场景) 以及两个测试集，其中一个测试集TEST-L (10k个场景) 中的物体与训练集中的物体完全相同用来评估学习性能，另一个测试集TEST-G (10k个场景) 中的物体与训练集中的物体完全不同用来评估泛化性能。该数据集的详细的细节内容示例如图2所示。

　　作者们还提出了一个深度学习网络MPP-Net作为Multi-Parametric Dataset的基准方法。该网络将属于同种参数化模板的零件实例视为同一类别，同时实现堆叠场景中物体的前景分割、个体分割、模板识别、6D位姿估计和参数值预测。图3为MPP-Net的网络架构，该网络首先将场景的无序点云输入到骨干网络中，提取出逐点高维特征Fe。然后，分别通过逐点高维特征Fe和Fef实现前景分割和模板识别，并将高维特征Fefc输入四个残差模块中，得到每个点的平移、旋转、参数值和可见度的预测结果。最后，通过霍夫投票机制实现个体分割，从而得到每个物体的平移、旋转、参数值和可见度预测结果。图4为MPP-Net在四个测试场景上进行预测，对得到的前景分割、个体分割、模板识别、位姿估计和参数值预测的结果进行可视化的效果。表1、表2为不同任务在两个测试集上的评估结果。此外，本文还探究了残差模块对网络性能的影响 (表3、表4、表5)，并评估了不同阈值下MPP-Net对不同模板的预测结果，如图5所示。

　　图4. 对四个测试场景的预测结果进行可视化: (a) 原始输入点云；(b) 个体分割；(c) 前景分割；(d) 模板识别；(e) 6D位姿估计与参数值预测结果。

　　图5. 不同阈值下不同模板在6D位姿和参数值预测任务上的评估结果 (左列为学习性能评估结果，右列为泛化性能评估结果)。

　　本文针对多种类多实例参数化零件堆叠场景提出了一个大型RGB-D仿真数据集Multi-Parametric Dataset，同时也为该数据集设计了评价标准。为了提供基准的测试结果，本文设计了一个新的深度学习网络MPP-Net，作为Multi-Parametric Dataset的基准方法。实验根据结果得出，Multi-Parametric Dataset在6D位姿估计和参数值预测任务上还具有一定的探索价值。未来，作者们将进一步提升网络对于不同参数化模板的零件在姿态预测任务和参数值预测任务上的泛化能力，并探索包含更多参数化模板和实例零件的复杂堆叠场景的6D位姿估计和参数值预测任务。

　　主要刊发机器诊断和预测、机器设计，机械系统、机器和相关组件，机械工业、机电一体化、机器人、工业设计、自动化应用、系统和控制工程、电子工程、人机界面、机器视觉、涡轮机械等领域的最新学术成果。

　　特别声明：本文转载只是出于传递信息的需要，并不代表代表本网站观点或证实其内容的真实性；如别的媒体、网站或个人从本网站转载使用，须保留本网站注明的“来源”，并自负版权等法律责任；作者若不希望被转载或者可以联系转载稿费等事宜，请与我们接洽。

　　Applied Sciences：机器学习专题精选文章 MDPI 编辑荐读

　　“癌症免疫学和免疫疗法” 专题——关注癌症免疫学和免疫疗法前沿研究 MDPI Cancers

　　Biosensors 期刊编委面对面：对话北京化工大学苏志强教授 MDPI 人物专访

　　维也纳工业大学Oliver Spadiut教授文章：重温MagR蛋白的潜在功能 MDPI Magnetochemistry

　　Buildings：智能与计算机技术在建筑中的应用 MDPI 特刊征稿

　　南京理工大学吴威涛教授团队新研究：稳态热对流卷积神经网络快速预测模型 MDPI Fluids

　　大连理工大学韩雪老师团队研究：应用于生物检测的表面等离激元技术 MDPI Materials