近日，2023年国际顶级语音会议ASRU(IEEE Automatic Speech Recognition and Understanding，自动语音识别与理解)的多通道多方会议转录挑战赛(M2MeT2.0)圆满结束，喜马拉雅珠峰实验室取得了卓越成绩，荣获冠军殊荣。
ASRU研讨会是IEEE语音和语言处理技术委员会(SLTC)的旗舰技术活动，每两年举办一次，汇集了来自学术界和工业界的顶级专家和研究人员，共同探讨广泛的语音识别与理解问题。本次M2MeT2.0挑战赛是ASRU 2023年的重要赛事，旨在解决离线会议室中语音重叠的转录难题。会议场景作为典型的多人自由交谈的"鸡尾酒会场景"一直是语音识别领域的难点和关注焦点，对于开发会议场景的语音人工智能和探索相关问题的工业级解决方案具有重要意义。
值得一提的是，喜马拉雅并非首次参加ASRU的M2MeT挑战赛。在首届M2MeT挑战赛中，喜马拉雅与中国科学技术大学合作，在说话人日志赛道中荣获第三名，并且取得了仅有4.05%的日志错误率。首届挑战赛的评估指标是字符错误率(CER)，只转录音频对应的文本，不考虑说话人标签。基于首届的成功，M2MeT2.0挑战赛将着重于说话人相关的评估，推动多说话人语音识别系统的实用化，并设立了限定数据和不限定数据两个子赛道。
为了应对这一挑战，喜马拉雅珠峰实验室从语音识别基础框架出发，展开了混叠语音检测技术和说话人日志技术等方面的技术探索。在本次M2MeT2.0挑战赛中，喜马拉雅在限定数据集和开放数据集两个子赛道上均取得了第一名的出色成绩。
今年的M2MeT2.0挑战赛数据集包含了真实、多场景、多模态的大规模数据，涵盖了不同规模和布局的多种会议室，模拟了各种家具、不同主题的例会以及各种室内噪音。其中包括人声、电视声、风扇空调声、键盘声、开门/关门声、气泡声等重叠交错的声音，为比赛增添了挑战性。通过使用麦克风阵列记录远场音频和耳机麦克风记录近场音频，确保了对应说话人的语音准确转录。这一数据集对于多说话人语音识别和语音重叠问题的研究具有重要的学术意义，并为寻找工业级解决方案提供了真实且多样化的数据资源。
M2MeT2.0挑战赛数据集中所有说话人的母语均为汉语，喜马拉雅通过产学研相结合的方式积极参与其中，致力于为中国本土语音识别技术的发展作出贡献。在M2MeT2.0挑战赛中，喜马拉雅展示了出色的说话人和语音识别技术(ASR)展现出了卓越的性能，其珠峰实验室团队通过自研的说话人识别、语音增强和语音识别等模块的优化和经验，在语音重叠和多说话人环境下取得了显著突破。借助深度学习和神经网络模型的结合，喜马拉雅珠峰实验室能够准确识别和分离多个说话人的语音，并实时转录。