另一个挑战来自这样的事实单

ditihekhatun16

物体可能会因视角照明条件遮挡或变形而显得不同例如穿在人身上的衣服可能看起来与挂在衣架上的衣服非常不同。为了使模型学习所有这些视觉模式的不变性所有这些视觉模式都应该由训练数据捕获。此外不同领域的对象之间的相似性也不同。例如为了使表示在产品领域中有用它必须能够区分属于两个不同品牌的外观相似的产品之间的非常细粒度的细节。然而在食物领域两个厨师烹制的同一道菜例如肉酱意大利面可能看起来完全不同但模型区分肉酱面和其他菜肴的能力可能足以使模型发挥作用。此外高质量的视觉模型应该为视觉上更相似的菜肴呈现分配相似的表示。


领域 地标 服饰图像实例名称 帝国大厦 带有标志的骑行服哪些物理对象属于实例类 全球唯一实例 许多物理实例尺寸或图案可能有所不同例如图案布的剪裁不同物体可能有哪些视图 外 美国手机数据列表 观变化仅基于拍摄条件例如照明或视角共同的外部观点数量有限许多内部观点的可能性 外观变形例如磨损或未磨损有限数量的常见视图正面背面侧面周围环境如何它们对识别有用吗 除了每日和每年的周期外周围环境没有太大变化可能有助于验证感兴趣的对象 由于环境的差异额外的衣服或部分遮挡感兴趣的衣服的配件例如夹克或围巾周围环境可能会发生巨大变化哪些可能是不属于实例类的棘手情况 地标复制品例如拉斯维加斯的埃菲尔铁塔纪念品 同一件衣服不同材质或不同颜色视觉上非常相似的单品但有一个小的区别细节例如一个小的品牌标志同一模特所穿的不同服装地标和服装示例的域之间的差异。




学习多域表示创建涵盖各个领域的图像集合后下一个挑战是训练单个通用模型。某些功能和任务例如表示颜色在许多领域都很有用因此添加来自任何领域的训练数据可能会帮助模型改进区分颜色的能力。其他功能可能更特定于选定的领域因此添加来自其他领域的更多训练数据可能会降低模型的性能。例如虽然对于艺术品来说模型学习查找近似重复项可能非常有用但这可能会降低服装上的性能因为需要识别变形和遮挡的实例。需要学习的大量可能的输入对象和任务需要新颖的方法来选择增强清理和权衡训练数据。可能需要新的模型训练和调整方法甚至新颖的架构。通用图像嵌入挑战为了帮助激励研究社区应对这些挑战我们举办了通用图像嵌入挑战赛。