当前，人形机器人作为具身智能的最高体现，受到各界广泛关注。但由于人形机器人结构的高度复杂性，其强化学习训练以及从模拟环境向真实世界迁移的过程，相较于四足机器人而言，更具挑战性。近日，由具身智能与人形机器人公司星动联合清华大学、上海期智研究院开发的开源人形机器人端到端强化学习训练框架Humanoid-Gym正式面世。系统全开源，意在降低人形机器人算法的开发门槛，助力全球学界和业界的研究者们在人形机器人领域的创新工作。人形机器人的强化学习训练一直是一个重大难题。首先，人形机器人身体结构高度复杂，关节自由度极高，使得控制策略的寻优空间维度惊人，算法难以高效求解。其次，机器人在训练环境和真实环境之间存在明显的模态差异，训练出的策略很难直接迁移到现实世界，需要耗费大量的人力物力资源来反复调试。再者，迄今为止还没有一个统一的基准评价体系，训练出来的策略优劣很难权衡，也难以借鉴和共享前人的研究成果。正是基于上述背景，Humanoid-Gym框架诞生了。Humanoid-Gym框架通过其精心设计的奖励函数以及域随机化技术，显著简化了人形机器人的训练以及实现sim-to-real转换的难度。除了用sim-to-real验证以外，另一个常见的做法是用第二个更高精度的仿真环境来做初步做验证(sim-to-sim)。本次Humanoid-Gym开源后，用户可以通过该框架轻松运用sim-to-sim转换功能，先在更高精度的仿真环境Mujoco中进行初步验证与筛选，从而提升sim-to-real转换的效率和成功率。目前，该框架已在星动旗下的两款机器人——小星(1.2米高)和小星max(1.65米高)上成功验证。Humanoid-Gym标志着星动在人形机器人技术推广和共享方面的积极姿态，通过降低进入门槛，星动期望激发更多的创新思维和解决方案，共同推进人形机器人技术的未来发展。但就目前而言，从算法理论到工程实践，这个领域依然有诸多瓶颈待解决，亟须全球智慧的持续凝聚。Humanoid-Gym的发布，是开启sim-to-real新时代的开端，但却绝不是终点。我们期待全球学界与业界同行们一齐加入这一新浪潮，携手推进具身智能技术的发展！
