X

全球顶级语音技术比赛中获双料冠军,这家中国公司靠什么?

萧箫 发自 凹非寺
量子位 报道 | 公众号 QbitAI

一场关键比赛,刚刚在全球顶级语音会议INTERSPEECH 2021上决出胜负。

腾讯、西工大、CMU等国内外机构是这场对决的主办方,两项比赛内容是语音行业的前沿研究,针对真实视频会议场景。

△单麦克风阵列多通道语音增强任务(dMOS越高越好)

△多分布式麦克风阵列多通道语音增强任务(dMOS越高越好)

来自中国、美国、新加坡等16个国家和地区的实力队伍参赛,其中有像浙大、北航这样的顶尖高校,也有像中科院声学所这样的专业研究机构。

最终kuaishou_deep_ns团队包揽榜首,这支团队来自快手

两项任务的第二名,分别是来自浙江大学和海康威视研究院联合团队,以及中国科学院大学、中科院声学所、北京航空航天大学、北京语言大学、西北工业大学联合团队。

快手团队在这场比赛中所使用的技术,已经以2篇论文的形式被INTERSPEECH 2021收录。

快手究竟在「远场多通道语音增强技术」上做出了什么突破?

经典分割模型U-Net,跨界语音增强领域

先来看看,这两项任务的考查目标「远场多通道语音增强技术」是什么。

语音增强技术,指在含噪语音中,对噪声信号进行抑制、降低,尽可能提取纯净的原始语音信号。

如果场景中只有一个麦克风(单通道),将难以解决在会议室、智能家居、智能座舱等场景下出现的远场问题。

远场,指说话人距离麦克风较远的场景。

主要存在三个难点:信噪比低、房间混响(在封闭、室内场景下,声波在传播时不断被墙壁反射、吸收和衰减)、多人说话场景

因此,通常采用多通道(多个麦克风组成的阵列)技术,来获取更多不同方向信号的幅度和相位信息,进一步解决远场问题,就是这场挑战赛的目标。

△圆阵和线阵的采集方案

多通道包括单个、多个分布式麦克风阵列两种类型,因此这场挑战赛也由两项任务组成,分别考查这两种多通道类型的远场语音增强技术。

传统基于信号的多通道算法,往往噪声抑制能力有限。这次的比赛中,快手团队决定从一个新角度出发解决远场问题:将深度学习技术和多通道算法进行融合。

经过筛选后,团队最终敲定了U-Net模型架构,这是一个图像分割领域的经典模型,在医疗图像和遥感领域的应用效果非常好。

U-Net模型以其结构左右完全对称、非常像“U”而得名,与FCN相似,同样为encoder-decoder架构,最初被用于图像压缩和图像去噪中。

由于下采样和上采样均进行了4次,同时相比于FCN多了skip-connection(跳层连接)结构,因此U-Net能很好地提取高级语义信息和低级特征。

但团队却将U-Net用在了语音增强领域中,基于因果U-Net提出了一种多输入多输出算法模型。

因果U-Net的卷积结构采用了因果卷积(causal convolutions),目的是考虑实时问题(语音数据处理需要考虑实时性)。

事实上,将深度学习技术用于多通道模型,仍属于前沿研究,相关论文非常少。这也成为了团队设计模型时的一大难题。

经过反复测试验证后,团队发现,如果将模型的输出和经典的波束形成相结合,就能获得1+1>2的效果。

同时,在整体设计的基础上,串联一个后处理滤波器,对基于深度学习模型生成的语音信号进行二次降噪,让语音音质更加清晰。

事实证明,这一“跨界”模型的效果确实不错,原本广泛用于图像分割领域的经典模型,现在在语音增强领域也能取得不错的效果。

最终,快手团队研发的多输入多输出模型支持8通道语音增强技术,同时具有可扩展性(能扩展不同的通道数量)。

不过,模型创新设计还只是比赛中的一环。

用数据还原真实场景,让听觉“无障碍”成为可能

事实上,在语音增强比赛中,数据合成又成为了另一挑战。

举办方只会给出纯净的单人语音和噪声数据,但在最终的场景考核中,所有语音信号却都来自真实场景。

也就是说,在最终比赛时,模型会遇到各种远场情况、不同房间尺寸、不同麦克风放置地点和各种噪声强度等不同类型的数据,但训练数据却完全要靠团队自行设计。

这就需要参赛者合理考虑各类数据的占比,尽可能使模拟出来的数据更贴近真实情况。

不仅如此,由于此前深度学习在语音增强方向的研究大多基于单通道模型,因此团队自行设计的数据,还得进一步考虑多通道的情况。

也就是说,需要对同一场景下、不同麦克风(通道)收到的信号数据进行模拟,用于多通道模型的训练。

尽可能还原真实场景的合成数据,加上自己研发的基于深度学习的多通道模型,让快手团队最终在这场语音增强比赛上获得两项任务的第一。

但这场语音增强比赛,背后的意义不仅在于角逐出模型的第一。

虽然「远场多通道语音增强技术」确实尚处于前沿研究阶段,但它未来的应用场景也已经得以预见。

其一,多人会议,而且是异地两部门之间的那种多人视频会议。

常见的线上视频会议中,基本上每个人都需要佩戴一副耳机,才能实现多人视频会议,这也是目前大多数视频会议APP所能实现的功能。

但未来可能只需要一块屏幕,加上多通道语音技术就能在两个异地部门、或是两群人之间实现实时视频沟通。

即使坐在屏幕最远端的人,也能听见视频对面每个人的声音,就像在一个办公室沟通那样顺利。

其二,让XR技术的实现,在语音处理领域成为可能。

5G+AI的组合,让XR中的图像实时传输技术成为现实,但语音实时交互却仍然存在不少困难,其中远场是不可避开的一个技术难点。

如果远场多通道语音增强技术进一步得到发展,或许将来XR也能真正实现语音上“声临其境”的交互效果。

想象一下,如果将来XR能应用到直播中(例如户外直播),或许我们也能实时进入到直播环境中,足不出户感受世界的美景。

作为音视频行业的引领者,快手已经在探索这样的多通道语音增强技术落地场景。

将来,像多人会议、XR、直播场景互动这些设想中的“无障碍”听觉技术,说不定哪天就会成为产品,落入寻常百姓家。

夺冠背后,快手的技术基因

在这次的语音增强比赛上获得第一,背后是一整个快手的音频处理算法团队在做技术支撑。

参赛团队中,也有不少成员来自清北、西工大等985高校。

据团队成员表示,实现这个模型,团队用了将近一个月的时间,期间在模型设计和数据处理上遇到了不少难关,但最终团队都将它们逐一攻破。

但相比于一味追求降噪效果,团队成员的模型设计也考虑了实时通信的需求。

毕竟远场通信的一大特点就是实时性,如果模型设计得太大,忽略了可实现性的话,也会失去落地应用的价值。

这也是快手“技术无差别”的基因之一,让技术更贴近实际生活,尽可能造福每一圈层的人群。

事实上,除了语音增强技术以外,快手在回声消除技术上也深耕已久。

同样是在INTERSPEECH 2021的AEC Challenge(Acoustic Echo Cancellation Challenge)回声消除比赛上,快手就以4.77的分数取得了双讲回声消除的单项世界冠军,领先于中科院、字节跳动、阿里巴巴等诸多参赛团队。

而在技术落地方面,同样是在今年5月,快手还上线了基于深度学习的实时变声直播,成为行业中首个上线相关技术的公司。

未来,快手还将继续在音视频行业中,凭借技术实力,带给我们更多的惊喜。

— 完 —

量子位 QbitAI · 头条号签约

关注我们,第一时间获知前沿科技动态