推荐 | 一个可用于训练AI系统识别和理解视频中行为和事件的大规模数据库
IEEE电气电子工程师学会 2019-03-11 21:22

想象一下,如果我们必须向外星人解释地球上发生的所有行为。我们可以为他们提供非小说类书籍或BBC纪录片。我们可以尝试口头解释什么是电臀舞。但是,实际上,没有什么能比三秒钟的视频短片更好地传达出这一行为的含义

  • Falling Asleep(入睡,来自GIPHY网站)

感谢麻省理工学院和IBM的研究人员,我们现在有一个做了清晰的标签标记的数据集,其中包含有100多万个视频短片。这个数据集名为Moments in Time”,已经收集了地球上发生的数百种常见行为,有鲜花绽放的美丽时刻,也有令人尴尬的被绊倒和嘴啃泥场景

  • Tripping(绊倒,来自GIPHY网站)

然而,Moments in Time的创建并不是为了提供一系列GIF动画,而是为人工智能系统识别和理解视频中的行为和事件打下基础。迄今为止,大量标记的图像数据集,如用于物体识别的ImageNet和 用于场景识别的Places,在开发更准确的图像分类和理解模型中发挥了重要作用。

“视频理解尤其是视频中的行为识别,与图像理解的情况是不同的MIT- IBM沃森人工智能实验室的首席研究员、创建Moments in Time的主管研究员Dan Gutfreund说。“虽然用标签标记了行为的视频数据集在Moments in Time之前就已经存在,但它们比图像数据集要小几个数量级。此外,它们以人为中心,有时还针对特定领域的(比如体育

  • 视频来源:MIT CSAIL

因此,Gutfreund及其同事们力图开发一分类系统,该系统可以涵盖最常见的行为(不管这些行为是由人类动物还是物体完成也不管它们是在什么环境下完成的)。他们首先列出了来自VerbNet的4500最常用的动词VerbNet是由语言学家开发和使用的一个动词知识库)

他们将动词解析成语义相关的簇,然后从每个簇中选择最常见的动词。结果显示英语是很冗余的一种语言。例如,洗浴、淋浴、沐浴、皂洗、洗发、修指甲、保湿和用牙线——这些都可以简单地归入“梳洗打扮”的范畴。在对动词进行了细致的整合之后,研究团队确定了339个用做Moments in Time基础的关键动词。

  • Grooming(梳洗打扮,来自GIPHY网站) 

但是,当对视频本身进行分类时,会遇到一系列独特的挑战。例如,描述某个东西正在打开opening),那可能是一个人正在打开一扇门,也可能是一朵花正在绽放,甚至可能是一只卡通狗正在张开嘴。更重要的是,相同帧反向播放,实际上可以描述不同的行为关闭closing),这意味着捕捉视频的时间线对于理解视频和将其正确分类是至关重要

  • Opening(打开,来自GIPHY网站)

研究人员从网上挑选了与339个动词相关的视频,将每个视频的时长缩短到3秒。这些视频短片被发送到众平台Amazon Mechanical Turk上,该平台上的用户帮助对100多万视频短片进行分类他们只需点击“是”或“否”来确认每个视频短片中是否发生了指定的行为即可)。

每个标签都经过几个用户的验证。关于该数据集如何创建的详细信息,发表在了2月25日IEEE Transactions on Pattern Analysis and Machine Intelligence上,文章标题为“Moments in Time Dataset: one million videos for event understanding”。

麻省理工学院计算机科学与人工智能实验室(CSAIL)的Mathew Monfort是该项目的首席研究员,他指出,一些分类,比如“Walking”(步行)或“Cooking”(烹饪),是很简单的,而另一些则不然。“Playing Music”(演奏/播放音乐)可以是一个乐队在舞台上演奏,也可以是一个人在用收音机听音乐。Monfort说具有这种视觉和听觉多义性的类目的识别,对于当前的机器学习模型来说是非常具有挑战性的。

  • Playing Music(演奏/播放音乐,来自GIPHY网站)

数据集下一版本中,团队计划使用相同的视频集合,并标记每个视频中发生的多个行为“当我们考虑视频的本质时,很明显需要更多的信息来恰当地描述一个事件,用一个行为标签训练和评估模型是不完整的”Monfort说“将多个标签纳入数据集应该可以显著改善模型训练,同时也为不同行为之间的关系问题以及如何对它们进行推理打开了大门。

很快,更复杂的视频可以通过机器学习算法分类,轻松自如。

不久之后,机器学习算法可能可以毫不费力地更复杂的视频加以分类。

  • 机器学习(Machine Learning,来自GIPHY网站)


点击

阅读原文

了解更多详情

IEEE电气电子工程师学会 IEEE是全球最大的专业技术协会之一,一直致力于推动电气电子技术在理论方面的发展和应用方面的进步。IEEE在全球160多个国家有超过四十万名会员。
评论
热门推荐
相关推荐
我要评论
0
0
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦