扫一扫查看
加入我们
加入我们
2D结合3D：
工業相机与3D机器视觉联合打造智能自动化工厂环境
运用2D图像采集结合3D深度测量，赋能机器人为终端客户创造更流畅的工厂生产线。
文/The Imaging Source
机器人在工厂自动化过程中不可或缺，如今，那些容易造成人工疲劳、单调重复的任务都交由机器人执行，这样不仅能大幅降低失误率，也能加倍提升工作效率。然而，大多数机器人应用范围有限，只能按照既定的编程路线行动，如果中间遇到突发状况，便无法适用预设轨迹，使得任务不得不中断。
机器视觉能帮助机器人突破限制，增加智能感知能力。一家智能机器人公司与The Imaging Source 映美精相机合作，在协助机器人中运用2D结合3D视觉技术，帮助客户实现了很多复杂应用的自动化升级。
2D图像采集结合3D深度测量，创造更流畅的工厂生产线
对于日趋严格和高精度的自动化发展，2D面阵工业相机虽能捕捉到待测品的图像细节并进行瑕疵检测，但是对于涉及到深度、定位以及一些高精度测量的场合，2D相机仍然无法完全满足要求。
例如，当机器人手臂移动时，必须与邻近环境物件比对，定位本身位置，接着设定轨迹。2D图像无法正确感知机器人手臂与其他物件之间的空间关系，也就无法做出正确的移动决策。
相比之下，3D测量则能解决这个问题，排除定位障碍，取得物品的确切位置，进而建构出真实的环境图。而且，结合自主深度学习系统，还能训练机器人更精确地执行下一步动作。
根据需求，许多终端客户使用激光线扫方式，通过激光的往返时间计算出物件的表面成像进行深度测量定位，呈现出线性数据；如果还需要更全面的瑕疵检测，则再另外使用2D相机来进行多方检测。
不同的是，使用面阵工业相机结合结构光形成的3D视觉系统，可以同时做到工业检测、定位以及精度测量。对于有多重需求的终端客户而言，2D+3D技术不失为一种兼顾方案，能避免相机模式切换所带来的延迟。
2D相机与3D系统相结合
根据需求，机器人厂商以The Imaging Source映美精相机DMK 33UX250为载体，搭配镜头与结构光技术，利用C++语言，开发出了一套3D视觉系统。其采用GPU并行运算处理，进行高速且大量图像采集，再通过自主开发的智能系统，引导后端机器人手臂进行智能抓取及各项复杂任务。
图1：The Imaging Source USB 3.0相机与智能机器人公司合作，结合2D及3D视觉系统，创造更流畅的工厂生产线。（相机型号DMK 33UX250）
这款USB 3.0接口相机搭载Sony CMOS Pregius全局快门传感器，提供优越影像品质、高速性，即使在不理想的光源环境下，仍能提供出色的影像质量；其高效能的USB 3.0接口可实现高帧率，能轻松应对高速检测需求。在此次合作方案中，也因易于整合，方便进行二次开发，进而确保与3D视觉系统相结合，提供平稳且卓越的检测质量。
以下几个案例，展示了2D+3D视觉系统在工厂自动化检测领域的应用。
案例1：制鞋涂胶项目
在制鞋涂胶应用中，传统的制鞋过程，因鞋样多变，尺寸大小差距大，难以实现全自动化，涂胶自动制程也易遇到瓶颈。
通过对鞋底拍照，快速获得三维点云数据，经过高效视觉算法处理，得到鞋底纹理、高度误差、曲度、弯度等精准数据，建构鞋底轮廓的三维图。图像借助自主研发的智能系统描绘出行进方向轨迹，进而引导机器人进行涂胶任务。
图2：将相机安装于鞋底生产线上方，获取鞋底图像信息并建构3D轮廓图，然后，引导产线后端机器人依据轨迹执行涂胶任务。
图3：鞋底检测图。
案例2：打磨技术
传统打磨过程倚赖庞大且复杂的编程解决轨迹设计问题。然而，程式化的编程难以如预期完成打磨任务，因为每个工件一致性并没有那么好，而且工作站的标定也无法100%准确，这使得打磨过程仍然需要很多调试，难度较高。
运用3D相机可以针对打磨工件如家具、笔记本电脑面板、风扇叶片等，计算出工件的坐标并描绘出形貌，进行快速扫描建模，帮助系统在视觉重构的模型上生成路径，通过智能轨迹设计，实现自动按照设计路径进行打磨。
图4：将3D相机安装在智能机器人上方，通过结构光及相机直接捕捉工件图像，进行点云采集，并通过计算方式得出曲度及工件高低差，建模重构，并进行定位。（图片来源：Shutterstock）
案例3：汽车保险杠上下料
汽车保险杠装嵌于汽车头部与尾部，在车辆碰撞时可以起到吸能减损的功效。
汽车保险杠上下料自动化，能避免人为因素产生的负面影响，提高生产效率。使用2D+3D视觉技术，获得2D图像及3D点云图，进行缺陷检测，同时能定位，确保机器人能顺利抓取目标物，并上料至正确位置。
结语
2D面阵工业相机可塑性高，软件集成易，集成为3D立体相机，性价比高，应用更加广泛，能在工厂自动化中提高准确率和生产效率。2D+3D视觉系统正在加快产业的自动化普及，扩充市场应用环境和模式，让机器发挥更多作用。
