logo
繁体
繁体

软银拟2024年推出手语AI翻译服务,一秒钟内可识别5000个手势

日经新闻获悉,软银将在2024年开始推出一款专门的智能手机应用程序,提供基于人工智能(AI)的手语翻译服务,可以在一秒钟或更短的时间内将5000个手势翻译成日语。

Photo by Jo Hilton on Unsplash

日本有超过30万的听力或语言障碍者。软银希望这项手语翻译服务能够促进不懂手语的人与有听力障碍的人之间的顺利沟通。

该系统利用人工智能来检测手语手势,并在视频对话中将其翻译成日语。人工智能还会增加短语和助词,以构成一个完整的句子。当有听力障碍的人说话时,人工智能会自动将说话者的话转换为屏幕上的文字。进行对话的人不需要打字,这使他们能够享受交流,并看到对方的面部表情。

软银在2017年开始与东京的电气通信大学一起对该系统展开基础研究,还与谷歌投资的一家位于东京的人工智能初创公司Abeja有合作关系。

Abeja让人工智能从50,000个手语视频中学习,使AI程序能够检测出每个字的手语动作特征。软银的目标是在未来开发多种语言服务。

自4月起软银向东京和福岛县的残疾人组织提供试用服务,共有9个城市和组织已经开始使用该服务。

软银将在两年内开始向医疗机构和公共交通公司提供该服务,最早将于2024年向公众免费推出这项服务。

该公司现在正致力于提高服务的准确性。与口语一样,使用手语交流的人“说话”的速度也不相同,而且他们的手和胳膊的位置也不一样。人工智能可以以超过90%的准确率翻译手语,但如果系统训练不足,准确率会下降到50%以下。为了提高对手势识别率,系统需要就每个字学习100多个人的不同动作手势。

软银在7月开始推出了一款应用程序,任何人都可以上传手语动作的测试样本。位于东京的人工智能公司Preferred Networks提供了自动生成计算机图形的技术,作为手语视频的测试样本。通过展示样本,该公司现在鼓励更多不懂手语的人自愿上传测试样本。