李飞飞、吴佳俊等人发布多感官物品数据集 OBJECTFOLDER 2.0。是否准备好从 ImageNet 时代走向 OBJECTFOLDER 时代？编译｜OGAI编辑｜陈彩娴近年来，以物体为中心的多传感器学习显示出了巨大的潜力。然而，以往的物体建模工作与现实的差距还很大。为此，李飞飞团队曾发布 OBJECTFOLDER 1.0 数据集，包含 100 个具有视觉、听觉和触觉数据的虚拟物体。然而，该数据集的规模较小，多传感器数据的质量较低，让利用该数据集训练的模型不能很好地泛化到现实场景中。
在本文中，李飞飞、吴佳俊团队重磅发布了大规模的多感官家居物品数据集 OBJECTFOLDER 2.0，这些数据以一种隐式神经表征形式存在。相较于 OBJECTFOLDER 1.0，该数据集有三大提升：（1）增至前者的十倍；（2）显著提升了所有三种模态（视觉、听觉和触觉）的质量；（3）作者说明了，利用该数据集中虚拟物体学习得到模型可以成功应用于三个具有挑战性的任务上。
OBJECTFOLDER 2.0 为计算机视觉和机器人技术领域提供了新的研究途径和测试平台。这一进步不仅扩展了对象建模范围，还提高了渲染速度，使得学术界对这一新时代充满期待。
图示：OBJECTFOLDER 2.0 的物理特性包括外观纹理、高度细腻的地形信息，以及材料类型，如陶瓷或玻璃，从而使其更接近真实世界中的物理属性。此外，每个对象都配备有元信息，如材质、尺寸等，这对于理解不同环境下的行为至关重要。
为了实现这一目标，我们采用了一种全新的方法，将每个对象分割成均匀网格单元，并使用带参数的小型神经网络进行表征。在这种方式下，不同角度下看待相同位置时，可以获得更加逼真的结果。此外，我们还采用了一种称作「Object File」的隐式神经表示，它将各种感觉模式如光线照射强度、声音频率以及触摸压力转换成一个连续函数，从而让我们能够轻松地根据所需参数生成这些感觉模式，而不是像以往那样依赖离散信号存储法。这一创新使得我们的系统既能处理复杂的情况，也能快速响应用户需求，为实际应用提供支持。
通过实验，我们证明了解决方案有效且可行，对于在当前挑战性的任务上进行训练并迁移至实际操作中取得良好的效果。本次更新版本旨在弥合仿真与现实之间尚存鸿沟，为未来计算机视觉和机器人技术领域的人工智能研究提供更多可能性，同时也促进更广泛的人工智能应用发展。
