把一张照片置于手机屏幕的中央,一个三维立体的虚拟形象就被快速映射至现实世界;在网络群聊中,为自己创作一个实时的3D虚拟头像,你的一颦一笑都会第一时间传递给网友……12月29日至1月2日,第十八届中国(深圳)国际文化产业交易博览会(简称“文博会”)在深圳国际会展中心举办。新型社交平台Soul App受邀参加本次文博会,展现了在社交元宇宙领域的技术创新成果,其自研的NAWA引擎让人们直观感受到虚实交互的奇妙体验,图形图像方面的算法能力受到业界关注。
据了解,NAWA引擎集AI、渲染与图像处理于一体,可以帮助用户进行低成本、高效率、多样化的2D/3D场景塑造。AR增强现实能力是NAWA自研引擎能力的一部分,通过运用纯粹的机器视觉算法带来了运算的轻量化,对设备算力的要求也大幅降低。该能力支持嘴形、舌头、眼睛等多点位识别,例如用户的3D Avatar可实时做出眼球转动、吐舌头、鼓腮等生动表情,有助于用户在社交中精准传递情绪温度,增强共情,加深彼此的交流与连接。
NAWA引擎还蕴含多项能力,其中PTA(图像生成虚拟形象)能力,为用户打造社交元宇宙数字身份提供便捷的途径,该技术从人脸属性识别、特征点模型识别,到形象生成匹配都使用了完全自创的算法,相较业内已有的数字人生成技术,在美观度与相似度上更为均衡。目前,PTA已应用在Soul超萌捏脸、萌面视频匹配、脸基尼派对及内测的NAWA POP等多个场景。
此外,TTA(文字生成动画技术)可以将用户输入的文字转换成3D虚拟形象的面部动画及指定语音信息,并同时进行时序匹配,从而做到让虚拟形象的表情与声音匹配用户输入的文字。STA(语音生成动画技术)则可以通过识别用户发出的语音信息,自动生成虚拟形象的面部动画,并将语音信息与动画匹配,STA还支持变声操作,为用户带来更有趣、多元化的玩法。
借助NAWA引擎的技术创新,Soul平台的用户未来可以带入一个虚实相生的玄妙世界。用户可以自主创作的虚拟形象,成为他们网络世界的化身,并能敏锐地配合声音、文字等各种信息,展现每个人鲜明的个性,可以在各种社交场景中与他人交流、互动。