火星网校
游戏玩家力荐！AI对话内容生成3D动作，比真人还“活”
发布时间：2024-08-11 13:23:12 浏览量：102次
游戏玩家力荐！AI对话内容生成3D动作，比真人还“活”
你有没有看过油管很火的外国小姐姐模仿游戏NPC视频？
这僵硬的姿势、空洞的眼神、面瘫的表情，让游戏玩家们直呼DNA动了！
如果你也苦于此很久了，现在，网易的一项新技术将轻松改变这一局面：
只需一段语音，AI就能自动生成3D对话动作，效果甚至超越真人！
不仅能按角色的性别、说话的习惯和姿态，合成不同风格的动作，还可自由替换或指定待定动作。
目前，该技术已在语音合成手势动作领域的权威赛事GENEA 2024上斩获第一，并被ICMI 2024收录。
效果超越真人的新技术
在此之前，业界最常用的语音合成对话动作技术是StyleGestures。
该技术由美国艺电推出，曾在两年前的第一届GENEA 2020中取得第一。
但与真实动捕数据相比，StyleGestures合成的动作仍有明显的机械感，且缺少可控性，不同的语音合成效果很随机，有种碰运气的感觉。
为了解决这两个问题，网易的新技术分为离线的数据库构建和在线的语音驱动动作合成两个模块进行。
数据库构建
GENEA 2024主办方发布的18小时数据集中，包括不同说话人的语音、文本和对应的全身动作。
由于没有经过人工的清洗和处理，导致动作数据中有很大一部分的动作质量较差。
因此，研究人员需要先对此进行预处理：舍弃动作质量较差的数据、完善不带手指旋转信息的动作、再通过左右对称的方式生成更多的数据集。
其次，根据说话文本单词之间的时间间隔，将连续的文本切分为短片段。
并且针对时长小于1s的连续动作进行合并，对左右半身的动作进行镜像扩充，最终得到约6000个全身动作片段，以及时长范围从1s的短句到超过10s的长句。
接下来是对动作节奏和语音节奏进行自动标注。
动作方面，说话人每做出一个变化的手势，就对应于一个节奏变化的时间点，简单来说就是特定单词重音时需要手势进行一次变化，即手势有一个明显的速度变化的过程。
因此通过计算双手速度的极小值，把每个极小值的时间点作为节奏的时间点，最后每个动作片段的节奏可以表示为长度为32位的0-1向量，1表示手势动作变化的时间点。
语音驱动动作合成
在离线建立动作库之后，就可以输入任意一段语音和对应的文本进行在线合成。
在对语音和文本进行算法自动切分后，利用训练后的StyleGestures这一概率生成式的神经网络模型，生成期望的动作。
其中，上半身的动作最为重要，研究人员利用动态规划算法，从构建的动作图中搜索动作节奏和动作风格嵌入匹配误差最小的动作序列，同时保证前后动作的过渡代价小、过渡自然，最后输出一个节奏匹配的上半身动作序列。
下半身动作的合成则不用考虑节奏，只考虑下半身动作之间过渡的自然性即可，同样经过图优化得到一个下半身动作序列。
最后，采用混合的方式融合上下半身动作，就得到了和语音文本匹配的全身动作序列。
与其他参赛系统相比，网易的新方法在在人类相似性评估中取得了最高的中位数分数，甚至超越了真实人类水平。
在适当性评价中，该方法在上半身表现中排名第一，在全身表现中排名第二。
研究团队
研究团队来自网易互娱AI Lab，作者共三人。
研究人员指出，这项新技术不仅可用于游戏中，虚拟角色线上演讲、数字人动作动画合成、元宇宙形象等等场景也都能使用。
论文链接附在文末，感兴趣的小伙伴可以自取～
论文链接：
javascript:
热门课程推荐
热门资讯
-
想了解动画制作和影视特效的区别吗？本文将带您深入探讨动画制作和影视特效之间的关系，帮助你更好地理解这两者的差异。
-
想知道快影、剪映、快剪辑这三款软件哪个更适合小白？看看这篇对比评测，带你了解这三款软件的功能和特点，快速选择适合自己的视频剪辑软件。
-
剪映专业版新增全局预览缩放功能，可以轻松放大或缩小时间轨道。学习如何使用时间线缩放功能，提升剪辑效率。
-
4. 豆瓣8.3《铁皮鼓》|电影符号学背后的视觉盛宴、社会隐喻主题
文|悦儿(叮咚,好电影来了!)《铁皮鼓》是施隆多夫最具代表性的作品,影片于... 分析影片的社会隐喻主题;以及对于普通观众来说,它又带给我们哪些现实启发...
-
5. 从宏观蒙太奇思维、中观叙事结构、微观剪辑手法解读《花样年华》
中观层面完成叙事结构、以及微观层面的剪辑手法,3个层次来解读下电影《花样年华》的蒙太奇魅力。一、 宏观层面:运用蒙太奇思维构建电影剧本雏形。蒙...
-
15种电影剪辑/转场手法，让影片更吸引眼球！回顾电影中丰富多样的专场技巧，比如瞬间从一个场景中变换到空中... 现在是测试技术的时候了！以下是一些常见剪辑手法，让你观影过程更加华丽动人！
-
本文介绍了十款强大的PR视频剪辑插件，帮助提升视频剪辑效率，提高创作品质，并降低创作难度。
-
1、每个切点需要理由和动机 很剪辑师认为,赋予每一个切点动机是非常困难的。很多...
-
电影创作者可以通过表意、造型、画面展示等元素对隐身性的含义进行隐喻,打... 电影和梦境都具有普遍性的象征意义,梦境中的元素能够代表人内心的欲望,...
-
想学习剪辑技术转场的方法吗？了解这九种技巧转场方法，提升影片艺术感染力，让你的视频作品更加生动有趣！
