多传感器数据融合用于产线视觉检测

多传感器数据融合用于产线视觉检测

视觉检测是大多数品管工作流程的基石。由人工执行时，过程昂贵，容易出错且效率低落: 1成至2成的误判过筛/偏移率及生产瓶颈很常见。以零检出产线生产品管产品（IQZeProd; Inline Quality control for Zero-error Products）为名，Fraunhofer IWU的研究人员开发新的产线监控解决方案，以在生产过程中尽早辨识各种材料（例如木材，塑料，金属，和涂漆的表面）的瑕疵。系统使用来自多种传感器的多传感器数据融合技术，在零组件经过生产线时识别结构和表面缺陷。目标是透过提高检测过程可靠性及改进检测缺陷，创造强大且持续性高的工业生产过程。系统的核心是研究人员自行开发的Xeidana®软件框架及20台工业相机的模块。研究人员对相机特定的要求标准：全局快门黑白传感器；低震动实时触发；超高数据速率进行可靠数据传输，且能直接集成到软件框架中。他们选择了The Imaging Source 映美精相机GigE Vision标准工业相机。

IQXeProd中20台TIS GigE工业相机的图像数据，以及高光谱和非光学传感器呈现的数据。使用Xeidana软件框架进行融合，以实现零误差的产线QC系统。(图片来源: Fraunhofer IWU)

Xeidana提供处理光学，热感应，多光谱，偏振或非光学传感器（例如涡电流）的数据所需的灵活性，而许多检测任务则需透过标准光学传感器提供的数据而完成。项目经理亚历山大·皮耶尔（Alexander Pierer）表示 :「我们经常使用数据融合来多重扫描关键零组件区域。多重包含从不同角度扫描同一区域，来模拟手动检测过程中使用的『镜像』。」为了获取完成这些任务所需的视觉数据，研究人员创建了一个由20台TIS相机组成的模块：19台黑白相机（DMK 33G445）及1台彩色相机（DFK 33GX273）。

19台黑白工业相机从关键零组件区域收集数据。 Xeidana处理多重数据以仿真“镜像”的过程 ─ 一种在手动检测过程中很常见的技术。(图片来源：Fraunhofer IWU)

黑白传感器: 最适瑕疵检测

由于其固有的物理特性，黑白传感器能呈现比彩色传感器更高的细节，更高的灵敏度及更低的噪点。 皮耶尔指出：「黑白传感器足以检测因表面亮度差异所引起的缺陷。虽然颜色数据对我们人类非常重要，但在技术应用中，颜色数据通常无法提供其他数据。我们使用彩色相机，透过HIS变换进行色调分析，以检测可能显示涂料厚度有问题的颜色偏差。」

任务需求和短曝光时间意味着工程师对于相机选择有非常精确的需求，皮耶尔继续说明：「主要选择标准是全局快门和实时触发，震动极低，因为我们必须在很短的曝光时间内(10µs的范围内)拍摄移动中的零件。相机和Lumimax照明（iiM AG）之间的曝光（通过硬件输入触发）必须绝对同步。对于我们来说，很重要的一点是，感兴趣区域 (ROI) 已限制在相机韧体内相关区域，来优化图像传输的网络负载。此外，我们仰赖在极高速率时还能进行可靠的数据传输。由于零组件已在过程中被检测过了，因此不会出现图像错误或碎片化的图像传输。」

电动变焦相机可快速调整观测范围(FOV)

在项目过程中，团队构建了多个系统：用于工业设置以及示范和测试目的。典型工业环境中受检测的零组件持续不停移动，DMK 33G445和DFK 33GX273相机提供的定焦成像满足了团队的要求。然而，针对示范/测试系统，研究人员使用许多不同零组件进行测试，包括金属零件，木制毛坯和3D印刷塑料，就需要具有可调节观测范围（FOV）的相机。The Imaging Source 映美精相机  DMK Z12G445黑白变焦相机具有集成电动变焦功能，符合任务要求。      

变焦相机可提供快速可调的观测范围（FOV），使示范系统能够扫描各种尺寸和形状的零组件。(图片：Fraunhofer IWU)

大规模并行处理技术可与数据传输保持同步并实现深度学习

通过20多种不同类型的传感器向系统传送数据，可以应对400 MB / s量级的数据流。皮耶尔解释：「该系统的设计吞吐速度高达1 m / s，…，每三到四秒，二十个相机模块就可以创建400张图像。此外，来自高光谱的线阵相机和粗糙度测量系统，都必须在10秒周期内处理和评估完成。为了满足这一要求，必须要有大规模并行数据处理的能力，包含28核心 (CPU）和显卡（GPU）。这种并行化使检测系统能够与生产周期保持同步，提供具有100％控制能力的产线系统。」Xeidana的模块化框架特别针对现代多核系统能够进行大规模并行处理的能力进行优化，使应用工程师能够使用这个插件系统 (可透过多种不同图像数据库来延展新功能) 快速实现大规模并行、特殊应用的品管项目。

此系统的数据融合功能可以通过多种方式使用，取决于需要什么样的数据来提供最可靠的结果。除了标准的机器视觉检测任务外，研究人员团队目前正努力整合其他非破坏性评测技术，例如3D视觉以及不可见光的其他种类传感器（例如X射线、雷达、紫外线、太赫兹）来检测其他类型的表面和内部缺陷。

处理流程网络。绿色和黄色模块并行执行单独的图像处理任务。(图片：Fraunhofer IWU)

由于Xeidana支持大规模并行处理，深度学习技术也可用于检测标准不容易量化或定义的零组件的瑕疵检测。皮耶尔澄清：「这些技术对于具有不规则质地的有机成分（例如木材和皮革）以及纺织品尤其重要。」 由于机器学习技术有时难以在某些情况下应用（例如，分类决策的可追溯性有限，以及在调试过程中无法手动调整算法），皮耶尔补充：「我们主要依靠经典的图像处理算法和信息处理的统计方法来执行我们的项目。只有达到极限时，我们才转向机器学习。」

致谢：The Imaging Source 映美精相机 欧洲总部是IQZeProd计划产业工作组活跃成员，并且与研究合作伙伴进行密切的专业交流。德国测量控制和系统工程研究协会(DFMRS)的促进联合工业研究计划(IGF)项目IQZeProd （232 EBG）─ DFMRS是由德国国际金融基金会在联邦经济和能源部根据德国联邦议院决议通过的促进联合工业研究计划资助。请注意，促进联合工业研究计划项目232 EBG的最终报告已公开给德国民众。最终报告可从德国测量控制与系统技术研究协会获得。根据德国联邦议院的决议，由联邦经济和能源部支持。