雷锋网 AI 科技评论按：可以智能自主导航的机器人不仅能为人类带来便利，还能帮助那些行动受限的人独立生活。目前，研究表明强化学习方法适合将传感器输入映射为机器人的动作，但这种智能体通常缺乏理解大空间环境的能力，这对长距离安全穿梭和适应新环境至关重要。
谷歌的研究团队近期探索了深度强化学习与长距离运动规划结合的机器人自主控制算法，并且它们具有很强的自适应能力。以下是谷歌AI研究人员在三篇论文中逐步结合深度强化学习和长距离运动规划，以探索更易于新环境适应的机器人自动控制方案。
首先，他们训练了本地规划智能体，可以执行基本导航任务，不与其他移动物体发生碰撞。这些局部规划者可以接受噪声传感器输入，如一维激光雷达提供障碍物距离数据，从而计算出所需线速度和角速度。通过AutoRL训练局部规划者，它们可以迁移到真实机器人并从未见过的地图中进行良好导航。
接下来，研究人员构建了路线图，将不同位置作为节点连接起来。在模拟真实条件下训练出的局部规划者，如果能够可靠地在两个节点之间导航，那么这两个节点就被用边连接起来。这成为了大尺度空间中的基础单位。
最后，在ICRA 2018上发表的一篇最佳论文《PRM-RL：通过组合强化学习和基于采样的规划，完成长距离机器人导航任务》尝试将基于采样的概率地图（PRMs）与手工调节的基于强化学习的局部规划相结合，使得局部计划在多种不同的环境中都能有效工作。此外，一篇名为《Long-Range Indoor Navigation with PRM-RL》的论文进一步改进了这个系统，使其能够使用AutoRL训练后的局部计划，并且加入SLAM地图以支持同步定位和重建，以及分布式地图构建以扩展最大可支持的地图大小至70,000个节点。
随着技术不断进步，我们期待这些创新性的解决方案能够使更多残疾或行动受限的人获得更好的生活质量，同时也推动我们向更加复杂、挑战性场景发展出更加高效、鲁棒、高性能的大规模自动驾驶技术。
https://ieeexplore.ieee.org/document/8643443
https://ai.google/research/pubs/pub46570
