只需3秒钟，一个根本没听过你说话的AI，就能完美模仿出你的声音。
是不是细思极恐？
这是微软最新AI成果——语音合成模型VALL·E，只需3秒语音，就能随意复制任何人的声音。
它脱胎于DALL·E，但专攻音频领域，语音合成效果在网上放出后火了：
有网友表示，要是将VALL·E和ChatGPT结合起来，效果简直爆炸：
看来与GPT-4在Zoom里聊天的日子不远了。
还有网友调侃，（继AI搞定作家、画家之后）下一个就是配音演员了。
所以VALL·E究竟怎么做到3秒钟模仿“没听过”的声音？
用语言模型来分析音频
基于AI“没听过”的声音合成语音，即零样本学习。
语音合成趋于成熟，但之前零样本语音合成效果并不好。
主流语音合成方案基本是预训练+微调模式，如果用到零样本场景下，会导致生成语音相似度和自然度很差。
基于此，VALL·E横空出世，相比主流语音模型提出了不太一样的思路。
相比传统模型采用梅尔频谱提取特征，VALL·E直接将语音合成当成了语言模型的任务，前者是连续的，后者是离散化的。
具体来说，传统语音合成流程往往是“音素→梅尔频谱（mel-spectrogram）→波形”这样的路子。
但VALL·E将这一流程变成了“音素→离散音频编码→波形”：
具体到模型设计上，VALL·E也和VQVAE类似，将音频量化成一系列离散tokens，其中第一个量化器负责捕捉音频内容和说话者身份特征，后几个量化器则负责细化信号，使之听起来更自然：