3D相机负责获取作业范围内，如托盘或传送带上箱体的深度信息及高清2D图像，并将深度信息及2D图像信息发送给机器人控制平台软件，平台软件中内置3D视觉算法和智能轨迹规划算法，3D视觉算法通过AI深度学习+3D点云分割的方法将箱体在托盘或皮带线上的位置快速且准确的定位到，智能轨迹规划算法提供准确的抓取点位、放置点位和轨迹点位，引导机械臂快速抓取和码放动作。　　

　　3D视觉引导拆码垛系统

　　使用的3D相机为海康机器人最新推出的大视野双目结构光立体相机，兼具高精度、大景深、大视野的特点，相机检测精度达到±3mm, 检测范围达到1800mm，近视场为1350mm×1200mm，远视场为3650mm×2750mm，轻松适配1.2m*1m*1.8m等主流垛形。同时具备极高的检测效率和稳定性，从拍照到轨迹算法输出抓取点位的时间小于1.5s。

　　为了客户更方便的自主搭建机械臂拆码垛控制系统，海康机器人专门研发了一款机器人运动控制平台软件。软件采用图形化，无代码式的编程界面，简单易用。软件内置轨迹规划、碰撞检测及抓取规划等多种智能算法，同时软件可适配国内外各种主流品牌机器人。　

　　拆码垛视觉定位模块采用AI深度学习+3D点云分割的方案。利用RGBD相机实时对堆垛进行拍照，获取包裹、托盘的三维数据（深度图+RGB图）。定位处理流程，首先利用深度学习网络对RGB图进行包裹的粗定位；然后利用物体表面纹理特征和点云边缘特征进行包裹精定位，并基于包裹表面点云计算出最优的抓取点坐标；最后利用预先获取到的手眼标定关系将视觉位姿转换到机械臂坐标系下执行抓取处理。

　　海康机器人3D相机拥有卓越的抗环境光能力，在典型厂房光照条件下（>20000lx），海康机器人3D相机的点云数据明显优于其他相机。同时海康机器人3D相机对高反光及黑色物体的点云呈现效果上也优于其他相机。实际测试样本中在高反光金属和黑色纸箱处，其他3D相机在这部分区域的点云数据已有较大程度的损失，而海康机器人3D相机仍能保证相对完整的呈现。

　　本方案采用2D+3D联合视觉定位处理，具有精度高、鲁棒性强、抗环境光能力强、无惧深色物体的特点，能准确适用于各种箱体、包装盒、料盒、编织袋、工件等物件，且定位效果与精度不受物体摆放位姿的影响。　

　　智能轨迹规划算法包含对拆垛流程及码垛流程的点位规划，由拆垛分析/码垛分析决策出路径规划的终点构型，再依据感知信息、环境配置等进行碰撞检测，规划出一条安全的拆/码垛路径，其中，拆跺分析及码垛分析的大致流程如下：

　　拆垛分析是基于3D视觉分类好的点云，通过平面拟合并计算出其对应的法向量、重心位置等信息，以获得每类点云的拆垛点位置；同时由外接矩形确定物体尺寸，用以在路径规划过程中进行碰撞检测；随后通过基坐标/托盘变换关系、机器人状态及拆垛方式等对拆垛位姿的代价进行评估，最终确定最优拆垛构型。

　　码垛分析是对由用户编辑或自动生成的垛型进行解码，并通过基坐标/托盘变换关系计算等对各放置位姿的代价进行评估排序，获得放置构型序列，并根据输入的放置索引及机械臂逆运动学位姿获得最终的放置构型，同时内部储存已码垛箱子信息用于路径规划过程中的碰撞检测。

　　海康机器人3D视觉引导拆码垛系统旨在解决在非结构化环境中对未知形状物体无法抓取或抓取成功率低的问题。基于高精度3D相机对抓取物和环境的2D彩色图像信息，同时结合3D点云数据，精确提取抓取物边缘轮廓，依靠智能算法，筛选最优抓取点位，并基于软件中设定的环境约束，输出最优轨迹点位，提高了整体系统的准确性和可靠性。通过使用该系统，用户可以轻松应对多SKU且来料完全随机的拆码垛场景，在满足自动化拆码垛需求的同时，进一步提高生产效率，降低生产成本。