合并样本和标签IBM在社会场景下为多标签小样本图像分类带来新进展最新体育资讯CVPR 2019

在深入研究图像小样本分类的领域时,我们发现大多数现有的研究工作主要集中在单标签场景中,即每个训练图像仅包含一个对象和对应的一个类别标签。然而,现实世界中的许多场景涉及到多标签、小样本的图像分类,其中训练数据量较少,每张图片可能包含多个相关的标签,但前述研究尚未广泛探讨该领域。

为了填补这一空白,IBM的研究团队致力于解决这个挑战,并在2019年CVPR会议上发表了一篇题为《LaSO:面向多标签小样本学习的标签设置操作网络》的论文。这项工作提出了一个新颖的方法来通过将图像样本与特定的标签集结合起来,合成具有“合并”属性的一组新的训练样本。例如,如果我们有两幅图片,一幅是“一个人遛羊和狗”,另一幅是“一个人抱着一只狗和一只猫”,这些图片各自带有一组相应的标签,如人、羊、狗等。通过LaSO网络,这些原有的信息被进一步加工出新的训练示例,比如联合生成了一个含有人、狗、猫和羊四种类别的新示例,或进行交叉减法操作生成更多带有单独的人或羊等类别的小型示例集。

这种基于深度神经网络学习特征空间内直接进行操作的事务性网络结构,被命名为LaSO(Label-Set Operations networks for multi-label few-shot learning),它能够同时执行三种不同类型的操作——联合(union)、交叉(intersection)以及减法(difference)。此外,该系统还可以无需额外输入就能控制其操作,从而潜在地适用于那些包含未曾见过但仍然需要分类的情境。

通过使用预先经过预训练的大规模多任务数据集,对LaSO所产生内容进行测试,并且应用于真实留存数据上测试其性能。在实验中,我们利用这套系统检索来自留存测试集中的目标物体,以评估其对于构建基于已知信息扩展到未知情境能力。此外,我们还展示了如何将该技术应用于挑战性的多label small sample classification任务中,结果显示LaSO在推广至新类型的情形下表现出强大的潜力。

总之,这项工作提供了一种全新的视角来处理复杂问题,同时也为后续研究者打开了探索更广泛场景下的可能性。本次发表希望能激励更多同行加入进来,为这个关键课题贡献力量。

猜你喜欢