谷歌官方日前分享了其 Lookout 软件的最新更新细节,该软件于 2019 年首次推出,利用人工智能处理图像的 Alt 文本信息,并允许用户与系统进行问答式会话。这一功能基于 Google DeepMind 开发的先进视觉语言模型。

谷歌,google

Lookout 软件目前正处于测试版,并经过与英国皇家盲人协会(RNIB)的密切合作开发,邀请有限的人测试这一功能,并计划很快向更多人提供这一功能。

Alt 文本是内容创作者可以添加到视觉上的描述,以便盲人或低视力的人可以得到数字图像中的描述——无论是网站上的照片还是与朋友分享的社交媒体图像。问题是很多图片的标题和 Alt 文本质量不高,或者往往根本就没有,这使得很多人无法获取视觉信息。

事实上,卡内基梅隆大学 2019 年的一项研究发现,在 109 万条推文中,只有 0.01% 包含内容创作者添加的 Alt 文本,这意味着超过 99% 的这些图片不容易被失明的人获取。现在,人工智能正在帮助使图像更容易获得。

Lookout 于 2019 年推出,是与盲人和低视力群体共同设计的,它利用人工智能帮助人们完成日常工作,如整理邮件和收拾杂物。现在 Lookout 中一项名为「图像问答」的新功能正在为盲人和低视力社区的特定人群推出。现在,无论图片是否没有说明或 Alt 文本,Lookout 都可以处理图片并提供描述——然后人们可以用语音或打字来提问,对图片中的内容有更详细的了解。

「这次合作显示了我们的多模态模型如何直接惠及人们的生活,」谷歌 DeepMind 首席业务官 Colin Murdoch 说。「它为更多的应用开辟了新的途径,特别是当涉及到使用人工智能使我们周围的世界更容易接近时」。