杭州新闻联播迎来了两位新主播——小雨和小宇。这两位主播并非人类,而是由杭州文广集团短视频AI生产实验车间开发生产的AI数字主播。他们在年初一和年初二的节目中首次登场,成为该节目首个全数字人主持播报的“联播”类新闻节目。
这两位AI数字主播基于NeRF(Neural Radiance Field)技术结合多模态大规模预训练技术,展现出惊人的真实感。他们拥有生动的表情和难辨真伪级别真实感的真人数字人形象,包括情感表情、形象气质、语音语调、口唇表情和肢体动作。
杭州文广集团短视频AI生产实验车间于2023年7月启用,是全国首条“策、采、编、发”全流程人工智能短视频AI生产线。该生产线可以实现500字以内文稿30秒内即可生成音频文件,通过超写实数字人进行播报,并结合视频内容理解分析技术实现媒体资源管理。目前,该生产线已生成20余位数字主播和500+分钟视频素材,为10余档栏目提供了内容生成式服务,大大提高了新闻行业的工作效率。