通信人家园

标题: 工业异常检测新突破，复旦等多模态融合监测入选CVPR 2025  [查看完整版帖子] [打印本页]
时间:  2025-6-17 14:42
作者: tayun     标题: 工业异常检测新突破，复旦等多模态融合监测入选CVPR 2025


Real-IAD D团队 投稿量子位 | 公众号 QbitAI

多模态融合检测，工业异常检测领域新突破！

复旦大学、荣旗工业科技、腾讯优图实验室 上海交通大学、上海海洋大学等机构联合发布高精度多模态数据集Real-IAD D，并基于此数据集提出了一种创新的多模态融合检测方法。

相关成果已被计算机视觉顶会CVPR 2025收录。





在工业生产中，异常检测是确保产品质量和安全的关键环节。然而，现有的异常检测方法在面对复杂工业环境时，常常因为数据集的局限性而难以达到理想的检测效果。

为了突破这一瓶颈，研究人员们精心打造了 Real-IAD D 数据集，它不仅涵盖了高分辨率的 RGB 图像，还加入了伪 3D 光度立体图像和微米级精度的 3D 点云数据，为异常检测提供了更丰富的信息。

多模态融合：Real-IAD D 的创新之处

Real-IAD D数据集的灵感来源于实际的工业质检场景。在真实的工业生产中，质检人员需要快速、准确地识别出产品表面的各种缺陷，如划痕、凹陷、裂缝等。这些缺陷不仅种类繁多，而且在不同的光照和材质背景下，其表现形式也各不相同。传统的2D图像检测方法在面对这些复杂的缺陷时，往往因为缺乏深度信息而难以准确识别；而现有的3D检测方法虽然能够提供一定的深度信息，但在细节捕捉上仍然存在不足。

为了更好地模拟实际的工业质检场景，研究人员们设计了Real-IAD D数据集。该数据集包含了20个工业产品类别、69种缺陷类型，共计8450个样本，其中正常样本5000个，异常样本3450个。每个样本都包含了同步的RGB图像、伪3D光度立体图像以及微米级精度的3D点云数据。与现有的MVTec 3D-AD和Real3D-AD数据集相比，Real-IAD D在数据规模、缺陷多样性以及点云精度等方面都有显著提升。例如，其点云精度达到了0.002毫米，远高于MVTec 3D-AD的0.11毫米和Real3D-AD的0.011毫米至0.015毫米。





基于Real-IAD D数据集，研究人员提出了一种多模态融合检测方法DM。该方法通过整合RGB、点云和伪3D深度信息，充分发挥各模态的优势，提升了异常检测的性能。实验结果显示，DM方法在图像级和像素级异常检测指标上均优于单模态和双模态方法，证明了多模态融合在工业异常检测中的重要性。





实验结果：多模态融合的优势

下表展示了不同模态组合在异常检测中的性能对比。可以看到，DM方法通过整合2D、伪3D和3D数据，取得了最高的检测精度。





更多可视化效果也印证了这一点，DM 方法生成的分割图在细节和准确性上都优于其他方法。









小结一下，这项研究提出了一种用于工业异常检测的多模态数据集Real-IAD D和基于此数据集的多模态融合检测方法DM。该数据集通过整合RGB、伪3D和3D数据，为异常检测提供了更丰富的信息，显著提升了检测性能。

团队表示，该研究将推动工业异常检测领域的发展，为工业制造中的质量控制提供更可靠的解决方案。

One More Thing

本研究是Real-IAD系列的第二篇工作，第一篇工作Real-IAD大规模工业异常检测数据集也被CVPR2024收录。





具体贡献如下：

数据集申请链接：https://realiad4ad.github.io/Real-IAD_D3/
论文链接：https://openaccess.thecvf.com/content/CVPR2025/html/Zhu_Real-IAD_D3_A_Real-World_2DPseudo-3D3D_Dataset_for_Industrial_Anomaly_Detection_CVPR_2025_paper.html
Real-IAD项目主页：https://realiad4ad.github.io/Real-IAD/


来源：网易





通信人家园 (https://www.txrjy.com/) Powered by C114