近日，由研究院机器人自动驾驶研究所（RAL、团队开发的新的无人挖掘机作业系统（AES、这一最新技术成果被刊登在国际优秀杂志《Science》的子杂志《Robotics》上。它也得到了评委和杂志编辑委员的高度评价。

这项研究融合了知觉、运动计划和控制系统，使挖掘机能够自主进行挖掘工作，连续24小时进行无人化工作。同时，它也成为世界上第一个真正到达挖掘机、可长时间作业的无人挖掘机系统，在建机自动化、无人化作业中具有重要的价值和冲击。

随着新基础设施建设的大力推进，建机行业乘风正在向数字化、智能化方向发展。挖掘机被称为建机“皇冠上的珍珠”，广泛用于资源开采、产业生产、建设工程和救灾等领域，在全球市场占有较大份额。

为什么要让挖掘机无人化呢？实际上，在挖掘机业界，由于劳动环境和能力要求等原因，招聘困难持续着。挖掘机司机有时也会遇到塌方、恶劣天气等问题，但在产业生产上有很大的挑战。在此基础上，创建了百度无人挖掘机作业系统（AES）

挖掘机的严酷情况和工作环境

通用无人挖掘作业系统

百度RAL以实验室为首提出百度无人挖掘机作业系统（AES、的研究，与马里兰大学和百度智能云事业部共同开发。AES内置了以三维环境感知、实时动作计划、鲁棒动作控制为核心的AI算法，可以在各种动作状况下进行无人化作业。

无人挖掘机系统（AES）硬件系统。

在技术上，AES实现了三个提升：传感器融合和感知算法的多种使用，感知模块可支持在各种环境条件和恶劣环境下的无人值守挖掘机AES系统的工作效率、鲁棒性和一般化能力；作业和运动规划模块融合了数据驱动的学习算法和优化算法，可以有效地计算挖掘位置和铲运机铲斗轨迹。高精度运动控制系统有效地实现了铲运机结构的精确运动控制。

无人挖掘机系统（AES）框图。

具体而言，首先，传感系统使用低成本摄像机和lidar生成实时高精度的三维环境地图，通过计算机视觉和深度学习等算法，“AES”检测作业环境中的运输卡车、障碍物、石头、标识、人等对障碍物等进行正确的三维姿势推测。也可以识别作业物质的材质等。其次，根据感知系统的信息反馈，通过学习和优化算法，AES能够快速进行作业计划和挖掘机各关节的运动路径计划的自由度，在降低机械损失的同时提高作业效率。最后，通过高精度的运动闭环控制算法，AES能够准确地对挖掘机的各机构进行运动环控制，解决了以往的建机无法进行运动环控制，轨迹跟踪困难，跟踪精度低的问题。它还包括一组软件和接口设计，帮助最终用户完成系统的操作、部署和使用。

AES视觉识别系统功能块

以石块作业任务为例，AES系统的作业流程如下。感知系统“从粗到细”处理场景信息。首先对图像进行强化处理，消除粉尘对整个识别系统的影响。待会对工作区域材料进行材质识别；然后对图像中的石头区域进行语义和实例分割算法处理。通过融合二维图像分割结果和LiDAR的三维云，确定石头的正确三维位置。感知模块最后通过回馈石头三维位置的计划和控制模块[AES]铲运机去除石头最后的自由度运动计划和运动闭环控制，任务。

AES块的操作示例

目前，AES在各种复杂的室内和室外环境下的实施测试表明，石头操作和沟渠任务具有足够的处理多种挖掘机任务的能力，充分证明了AES系统的能力AES系统、作业任务的兼容性、系统的稳定性和鲁棒性。

AES测试场景

百度AI支持工业生产智能化。

AES已在工业废弃物处理相关领域，在实际无人化、自动化应用中发挥重要作用。AES实现产业废弃物24小时连续自动上料功能，帮助产业废弃物处理线全程无人化。在工业废弃物上料过程中，AES感知模块首先进行工业废弃物地形的三维重建，确定应挖掘的区域。运动规划模块根据感知模块的信息反馈设计运动轨迹，控制模块根据运动轨迹进行工业废弃物处理。目前，AES无人挖掘机系统已在工业废弃物处理线上运行数千小时，充分显示了AES系统的稳定性和坚持性。有效减少了工业废弃物对挖掘机操作人员的损失，大大节约了客户的人工成本。

AES24小时连续无人作业

以“AES”系统为基础，由“百度”“RAL”和“百度”智能云事业部开发的“盘古建机无人作业平台”，将成为国内第一个以智能云平台为基础、软硬一体、技术先进的建机无人作业平台。基于盘古平台的挖掘机，在没有司机操作的情况下，自主感知作业环境，规划任务，完成作业。

目前，百度盘古团队与徐工等建机头厂商合作，优化落地人性化作业系统，帮助建机用户提高生产安全性，减少效率，推动工业生产走向数字化、智能化、安全化、绿色化的目标。

“百度盘古”赋能建机无人化作业

建设和发展是人类社会的主旋律，工业生产的自动化和智能化是未来的主流趋势。细化产业生产领域，面向产业生产真实场景技术转型突破，继续推进AI技术创新迭代。