在物品为中心的多传感器学习领域,一直存在着以往物体建模与现实之间巨大差距的问题。为了解决这一问题,李飞飞等人曾发布了OBJECTFOLDER 1.0数据集,该数据集包含100个具有视觉、听觉和触觉数据的虚拟物体。然而,由于该数据集规模较小,多传感器数据质量较低,因此导致利用该数据训练模型不能很好地泛化到现实场景中。
针对这一挑战,李飞飞、吴佳俊团队推出了一个大型的高质量多感官家居物品数据集——OBJECTFOLDER 2.0。这一新的版本在三方面有显著提升:
数据规模扩大:相比于OBJECTFOLDER 1.0,这一新版本的大规模(10倍)渲染时间也更加快速。
多感官渲染质量提升:所有三种模态(视觉、听觉、触觉)的多感官渲染质量都得到了显著提高。
模型泛化能力增强:利用该数据集中虚拟物体学习的模型可以成功应用到三个具有挑战性的任务上(即物体尺寸估计、触点定位和形状重建),进一步证明了这些模型能够有效地迁移到真实世界中的对应任务中。
通过隐式神经表征网络“Object File”,这个高性能且可扩展性强的系统能够提供更逼真的视觉、听觉和触觉仿真。这种网络允许用户根据任意外部参数进行实时渲染,使得存储原始感觉信息所需内存与外部参数无关,同时可以以任意分辨率采样隐式表征。
此外,本文还提出了改进后的音频和触摸仿真架构,以及一个新的TouchNet,可以生成具有各种旋转角度和凝胶变形条件下的触摸读数。此外,与之前版本相比,本次更新还包括更多元旦信息,如材料类型清洗以及对正确性的人工验证过程。
总结来说,OBJECTFOLDER 2.0为计算机视覺與機器人技術領域提供了一個強大的研究平台,並且為未來研究開拓了廣闊視野,它不仅突破了原有的技术限制,还为开发者提供了一套完整、高效且灵活的工具来处理复杂的情境,从而缩小了从仿真到现实之间鸿沟,为智能制造、新型机器人等行业奠定坚实基础。