智东西
作者 | 徐珊
(相关资料图)
编辑 | 云鹏
智东西4月25日报道,今天腾讯云智能推出了腾讯云智能小样本数智人生产平台,从而实现“自助式”数智人生产制作。
通过腾讯云智能小样本数智人生产平台,用户只需要3分钟真人口播视频、100句语音素材,就可以在24小时内制作出与真人近似的“数智人”。
目前,腾讯云智能主要将行业提供数智人底层aPaaS能力, 并且提供专属的技术支持和商机流量扶持,而合作伙伴主要负责为云智能数智人服务打造上层应用,形成数智人SaaS方案。
从现场我们了解到,目前腾讯云智能、腾讯优图实验室、腾讯AI Lab、Next Studios等多个业务团队都为该数智人工厂提供技术支持。
一、从数字人到数智人,腾讯数字人在口播等多领域应用
据腾讯云智能数智人产品总经理陈磊透露,从2016年开始,腾讯就已经开始接触对话式AI,也就是早期的数字人。2018年,腾讯正式投入数智人研发和服务,成为国内最早投入数字人领域的企业之一,目前腾讯已发布数百篇相关技术顶会、期刊论文、专利近百份。
数智人的发展阶段一共分为三个阶段,离线阶段、在线阶段、在场阶段。
在场阶段,数智人在生产效率和生产效能大幅提升。从三年前的百万级价格,到如今的千元级,数智人的成本正在迅速下降,数智人也开始走向更广泛商用市场,“普惠化”、“场景化”趋势明显。
腾讯云智能还提出自动化“AI+数智人工厂”,提供让企业开箱即可以直接使用的数智人生产服务。该数智人工厂依托于腾讯云TI平台,内置超过10项AI算法能力。
未来,无需任何算法、研发经验,企业只要在平台导入视频、语音训练素材,即可通过“自助式”服务,完成大批量数智人形象、音色定制。
目前,已经有数十家合作伙伴依托平台,向行业提供数智人直播SaaS、知识口播SaaS应用,覆盖医疗、传媒、金融多个行业。
“腾讯和其他相比,更懂行业内的市场需求。”在陈磊看来,未来人们可以在腾讯云上传自己的照片,然后选择下一个虚拟数智人的订单,在一天内就可以获得自己的数智人。
二、以“小样本”见“大模型”,揭开小样本打造数字人背后的AI黑科技
腾讯优图实验室研究总监汪铖杰认为目前数智人服务的问题主要聚焦在两大方面:如何将数智人做的更高效,以及如何将数智人做得更逼真。
比如说,想要虚拟数智人更加逼真,要考虑如何将此前的产品变得更加标准化和流程化,离不开人像编辑生成、人像3D技术、生成辅助技术等多样的AI技术帮助。
他觉得2D小样本技术的背后是3D技术。“小样本数智人从直观上感受是2D视频,背后其实是3D人像在做支撑。从‘文本/音频’信息到‘3D人像驱动’再到‘2D人像视频’的模式,通过3D人脸结构的先验信息引入,使数智人口型、表情更到位。”
如今用户可以通过两三分钟的视频,借助腾讯云智能的相关功能,就可以获得自己的虚拟数智人。这其中,像是3分钟的视频或者文本、图片都是属于小样本,但为这些小样本做背后支撑的都是各种不同的大模型。
比如说,在数据获取和数据筛选阶段,腾讯训练通用基础模型时,引入自监督机制,让AI自己去约束数据,从而构建通用基础模型,如通用语音合成/编码模型、通用3D重建模型、通用人像编辑模型。有了自监督机制,3D腾讯数字人不在需要现场扫描,就可以还原每一道皱纹级的细节,让3D数智人更加逼真。
语音方面,腾讯接入两大3D口型驱动接口,覆盖了ARKit、metahuman等不同的建模标准。同时,人像编辑生成技术也是数智人的重要技术之一,包括人像分割、绿幕去光、背景更换、视线矫正、人像美颜等多个环节,可以让数智人后期制作更加方便快捷。
此外,通过构建大规模高质量音色数据的预训练基底模型,未来小样本数智人还将支持用户只录制普通话,即可合成英文及方言语音。
三、数智人应用千行百业,场景深度还需挖掘
腾讯研究院高级研究员宋扬觉得,虚拟数字人产业被用户普及,既有各类爆款事件结合在一起的造成的热度助力,如一些网红数字人推动C端最直观的认知和概念普及,又有技术推动、用户需求、生态建设和标准等底层支撑。
他发现虚拟数字人发展的成本正在不断的下降,AI技术升级能够让虚拟数字人同时有“好看的皮囊”和“有趣的灵魂”,3D数字人制作的效能也在继续提升。AI技术技术驱动数智人多模型交互还有智慧,并且逐步覆盖多类型的数智人生产运营全流程。
从目前发展的途径来看,虚拟数字人将成为企业降本增效的工具,千行千面的数字人将成为人机交互新入口,但是数智人应用的深度还需要挖掘。
结语:走向企业,数智人成为降本增效好工具
从QQ秀开始,腾讯可以说是最早打造数字人的企业,在此领域,腾讯已有多年的技术积累。今天,腾讯正式带来数智人工厂和小样本数智人生产平台,面对不同的企业需求,提供相应的企业服务,帮助各大企业打造自己的数智人。
如何打造一个深受用户喜爱的数字人,成为所有数字人玩家共同的考题。而在这道题上,腾讯已经交出自己的答卷——打造数字人工厂。当腾讯的小样本数智人生产平台走入产业深处将会碰撞出什么样的火花?我们也将持续关注数字人在产业深处应用的最新动向。