Meta的触觉手套:从虚拟世界到元宇宙的触摸之旅
在Meta(原Facebook)推出《头号玩家》中触觉手套原型后,向元宇宙伸展“触手”,实现了对虚拟世界的全方位接触。这个7年路程,从收购Oculus VR至今,Meta将VR游戏扩展为虚拟世界,并将其作为公司大icon,展示了7年之路不仅是技术创新,更是沉淀和积累。
吴彤
青暮
在元宇宙中,“触手”不仅限于眼镜,还有超越视听的新方式——触觉反馈手套!从今年3月开始,Meta现实实验室(RL)就开始了观数感知手套项目,直到昨天正式推出,这款吊足8个月胃口的手套到底是什么样?是否如他们所说,“这将是2030年的人与世界无接触式交互的未来技术”?
这款手套可以再现现实生活中的各种触觉感觉,如模拟人手抚摸材质纹理、压力反馈以及振动反馈。它设置了4道气囊垫,每道约15个沿着脊状分布于指尖,上面装备有白色传感器,可以追踪空间中的移动情况。内外两侧还有多根传感器,可动态捕捉佩戴者的指弯曲状态。当戴上进入VR或AR体验时,一系列复杂控制系统会调整气囊充气水平,在不同部位产生不同的压力,使得佩戴者能够通过指尖感到物体压迫皮肤,或握住物体产生阻力感。
究其根本,这项技术新奇之处在于软机器人的采用,用微流控处理器控制执行器,以解决过多机械驱动的问题。而且,它们正在构建第一个高速微流体处理器,将告诉阀门何时开关,从而控制执行器的气流。
为了使这些软执行器发挥作用,他们需要先进的手部跟踪技术,使计算机准确地知道手部位置,以及何时、何地提供正确感觉。这需要一款为AR/VR界面构建触觉渲染软件,可以根据位置和对环境理解几乎实时发送指令给执行器。
RL软件工程师Forrest Smith说:“人们通常将‘渲染’视为视觉效果,我们还使用‘渲染’来表示触觉:首先获取人与虚拟世界的交互状态,并将其渲染到执行器,从而获得相应感觉。”
强化学习研究工程师Justin Clark补充:“一个物理引擎决定了如何进行方向、幅度、力度,然后,触觉渲染算法将此信息与特性结合,以便向设备发送正确命令。”
最后,将听闻、视及观数感知结合起来成为第三个挑战。在模仿现实物理但不能完全重创物理学的情况下,他们想到多感官整合:研究人类如何协同工作建立我们对世界理解。
UX研究科学经理Sophie Kim曾说:“我们的大脑非常擅长接受一点点信号,然后融合成全面的感觉,让你的大脑相信有一个物体在你手上。” RL 感知研究科学家Jess Hartcher-O'Brien补充:“如果我拿起一个物体,我已经对它类型和重量有一些假设,然后我抓拿起它,Touch System会验证这是什么材料,大脑会识别摩擦力和惯性;视觉系统会根据我臂移方式计算密度或重量。”
这种思路应用于Touch Handset,就是让佩戴者的系统相信它正在经历物品重量,而通过轻轻拉动皮肤来模拟握持上的重力、拉力。但这一切都必须精确计算。此外,对更舒适材料集成也是一大挑战,比如防止僵硬沉重或容易脱落的问题。