详解小爱同学连续对话功能 不只是减少唤醒次数
小爱同学官方刚刚发文详解小爱同学的连续对话功能,并表示该功能不只是减少唤醒次数这么简单。
小爱同学官方表示,自然连续对话功能底层基础是全双工技术。双工是通讯传输的一个术语,指同步双向的信息传输,在语音交互中,全双工的体现,是小爱同学具备“边说边听”的能力,即说话的时候,也可以处理用户的指令。从用户的角度来讲,就是可以随时打断小爱同学说话。
光有全双工技术还不够,想要在手机上实现连续对话,首先需要解决连续的说话声检测和语音识别,回声消除和无关人声拒识等一系列难题。
回声消除指的是,我们要把手机自己的声音消除掉,这需要的是硬件支持和系统底层的优化,手机部的同事给项目提供了很大的帮助,他们经过不断的调优,完成了技术突破,在新的主流机型取得了很好的效果。
无关人声拒识是要识别周围的人是不是在跟小爱同学说话,不是的话就不响应。这个问题给我们提出了很大的挑战,一是因为我们为了更好的满足用户跟小爱同学交互的诉求,直接针对开放领域来做全双工,而这在业界公认是比较困难的;另一方面,拒识不是一个有标准定义、界限清晰的任务,需要结合产品体验和技术现状定义问题边界。我们采用端到端数据驱动的方法,基于语音和语义特征联合建模,取得了不错的效果。在实测中,当用户在比较嘈杂的环境使用小爱同学时,可以把大部分无关人的说话声过滤掉,减少了对用户产生的干扰。
至于为什么要实现小爱同学的连续对话功能,小爱团队负责人王刚博士表示,连续对话不仅是一次唤醒、一个效率的提升这么简单,它更是一种能力的进化,通过连续对话,小爱同学能在人与人交互中发生更复杂的任务,比如说语音间餐、语音看病、语音教学,都是在连续对话中产生的更复杂的任务。