数字分身赋能内容创作 【一视同人】一键实现文字转音视频

2022-04-07 11:44   来源: 中国科技观察网    阅读量:4449

2022年4月,倒映有声(杭州倒映有声科技有限公司)旗下数字分身内容创作平台【一视同人】完成3.0版本升级。只需输入文字,就可以在该平台上利用数字分身IP生成音频和视频,从而赋能内容创作,是国内首个TTSA(基于文本和语音合成实时生成音频和视频)技术落地应用平台。【一视同人】数字分身内容创作平台既有知名人士数字分身IP、也有大量通用服务型数字分身IP以及动漫类数字分身IP供用户选择,用户无需拍摄、录制、剪辑,就可以在平台上一键实现文字到音频和视频内容的转化。

一键实现文字转音视频  赋能内容创作

在各大巨头纷纷布局元宇宙、虚拟数字人概念的时候,寻找可实现场景化落地的技术与工具产品,成为了掘金千亿蓝海市场的“定海神针”。早在2019年倒映有声团队就已经研发并上线了相关落地应用平台;2021年5月开放文字转音频功能投入市场,获得业内头部企业用户交口称赞;因市场时机契合与行业需求井喷,【一视同人】数字分身内容创作平台的文字转视频功能于近日面对用户开放,满足用户多种风格内容制作需求。

传统的音视频内容制作,需要涉及脚本撰写、录音或摄像设备支持、配音员或演员参与录制、专业人员现场拍摄、音视频剪辑等环节,至少需要一个团队配合来完成,制作单支音频或视频的时间成本与财务成本均较高。在【一视同人】数字分身内容创作平台,只需上传文字,选择风格匹配的数字分身IP,就可以生成带有生动形象的视频,覆盖内容播讲、直播带货、品牌宣传等诸多场景。一个运营者就可以完成从音视频策划到输出的环节,既提高了内容制作效率,又降低了制作成本,充分满足互联网时代对内容制作时效性的高频需求。同时,用户可以在线完成支付流程,智能便捷化操作更进一步将【一视同人】的平台属性放大。

自研TTSA技术国内首落地应用以数字分身构建虚拟世界基础

数字分身(Avatar)与虚拟人(Virtual Human)略有概念和制作技术上的不同。虚拟人在现实世界中并不存在,其身份、性格、行为特点均是虚构的,它所呈现的外观和行为是对人类的模仿。关于数字分身的技术逻辑,倒映有声创始人兼CEO肖朔介绍说,在【一视同人】数字分身内容创作平台上的数字分身IP(除动漫类IP之外),是对现实世界中人物声音与形象的复刻;通过倒映有声的技术“四驾马车”——TTSA(基于文本和语音合成实时生成音频和视频)、ETTS(富情感语音合成)、NLU(自然语言理解)、Digital Twins(数字孪生),仅需15分钟音画同步数据,就可以实现数字分身打造;而数字分身的身份与人设设定,既可以是完全复刻现实世界的人物,也可以进行一定艺术化包装;与现实世界拥有映射关系的数字分身,是构成和通往虚拟世界的基础。

倒映有声自研的TTSA(Text to Speech & Animation)技术即基于文本和语音合成实时生成音频和视频,具有文本语音双驱动、更加拟真、多模态交互三大特性,最终实现数字分身的音画生成,自主驱动和交互。通过语音+图像生成技术,并结合自然语言理解技术,生成数字分身的唇形、表情、动作、肢体姿态,创造自然、流畅、高拟真度的数字分身IP。

在【一视同人】数字分身内容创作平台上的数字分身IP,既能实现有情感的语音,也能做出自然的嘴型表达,并做出细节表情:高兴、愤怒、生气、沮丧等,实现面部五官的灵动表达。同时,根据语义理解,可以在交流中配合语音表达,做出丰富的肢体动作,如挥手、摊手、点头、皱眉等,解决当下虚拟数字人表情肢体僵硬、单一的问题,更加接近真人。用户可通过语音、文本、摄像头等多种方式,和数字分身进行交互;同时数字分身也会通过语音、文本、视频动画等多种方式进行交互反馈,可以适配更多的场景和应用。

布局数字分身IP生态  高拟人交互落地更多应用场景

据倒映有声创始人兼CEO肖朔介绍,【一视同人】数字分身内容创作平台将陆续开放两大能力:交互能力与数字分身IP自助制作能力,最终构建一个完整的数字分身IP生态。用户除了在平台上完成内容创作、产出播报型内容之外,还能利用数字分身实现交互,从而落地电商带货、客户服务、市场广告营销等应用场景。另外,用户也可以在平台上完成数字分身自助制作,只需极短时间即可打造个性专属数字分身,接轨虚拟世界的同时,在平台上实现数字分身IP交易。

据了解,倒映有声(杭州倒映有声科技有限公司)是一家以技术为核心的创新型公司和无人驱动数字分身技术解决方案供应商,通过独创TTSA技术,基于文本实时生成高质量语音(音频)和动画(视频),实现无人驱动数字分身的行业技术突破。倒映有声旗下拥有【一视同人】数字分身内容创作平台和有声读物制作交易平台等应用产品平台,覆盖媒体播报、有声读物制作、互动游戏、虚拟直播、娱乐等应用场景,满足用户降本增效的需求,促进企业业务形态创新和增长,构建以无人驱动数字分身为载体的虚拟世界新生态。

根据量子位《虚拟数字人深度产业报告》数据预计,到2030年我国虚拟人整体市场规模将达到2703亿元人民币。【一视同人】数字分身内容创作平台的出现,既实现了TTSA技术的国内首次落地应用,拉近大众与虚拟世界的距离,也是其背后的团队倒映有声在千亿蓝海市场中为自己开辟的一条快车道。



责任编辑:李编
分享到:
0
【慎重声明】凡本站未注明来源为"中国科技观察网"的所有作品,均转载、编译或摘编自其它媒体,转载、编译或摘编的目的在于传递更多信息,并不代表本站赞同其观点和对其真实性负责。如因作品内容、版权和其他问题需要同本网联系的,请在30日内进行!