程序员经验分享-hwhale

Mixlab工作坊工具箱：talking face

2023-10-31

Talking face 是一种计算机图形学和人工智能的技术，可以实现将一段音频转换为逼真的人脸动画。它可以用于视频游戏、虚拟主持人、语音助手等应用中，使人机交互更加自然和生动。

1- SadTalker-Video-Lip-Sync

a6dc0bef9c73f4f5d114b5b025b1d52e.gif

*基于SadTalkers实现视频唇形合成的Wav2lip。通过以视频文件方式进行语音驱动生成唇形，设置面部区域可配置的增强方式进行合成唇形（人脸）区域画面增强，提高生成唇形的清晰度。使用DAIN 插帧的DL算法对生成视频进行补帧，补充帧间合成唇形的动作过渡，使合成的唇形更为流畅、真实以及自然。

https://github.com/Zz-ww/SadTalker-Video-Lip-Sync

2- GeneFace

1c39cb9f4c38ff4ffa3ba05a33a394ed.png

*GeneFace: 基于NeRF的使用任意语音音频生成逼真的说话人视频。NeRF神经辐射场用来提高图像的3D真实性和保真度。

https://github.com/yerfor/GeneFace

3- one-shot-talking-face

fd2b77a3ff31239c28f9c6086efaf4c9.png

*重点在提升说话人的语音和视觉动作之间的一致性。作者开发了一个Audio-Visual Correlation Transformer (AVCT)模型，通过关键点密集运动场表示语音驱动的说话动作。同时引入音素来表示语音信号，从而使AVCT可以自然地适应不同的演讲者。

https://github.com/FuxiVirtualHuman/AAAI22-one-shot-talking-face

更多信息：

Mixlab生成式人工智能工作坊，跨学科·无限创造·实验

已更新至知识库

5320b4c8eb3d5864617afd8a9cd324b9.jpeg

合作联系

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

人工智能

Mixlab工作坊工具箱：talking face 的相关文章

随机推荐

  • Qt程序的打包案例

    1 在Qt内构建并运行release 2 在运行后生成的文件夹中找到 exe后缀文件 然后复制 到桌面创建一个新文件夹 如login文件夹 3 在桌面创建一个文件夹 名字可以随意取 equip system 把刚复制的exe粘贴到里边 4

  • Flink主要组件以及工作流程

    Flink简介 Flink 是一个框架和分布式处理引擎 用于对无界和有界数据流 批处理和流处理 进行有状态计算 并且 Flink 提供了数据分布 容错机制以及资源管理等核心功能 Flink提供了诸多高抽象层的API以便用户编写分布式任务 D

  • 基于深度学习的无人驾驶道路检测

    最近在自学深度学习 网上有很多计算机视觉比赛和资源 比如kaggle 天池 百度飞浆 paddle现在做得越来越好 于是我就选择了百度飞浆 支持国产开源框架 也自己跑通了代码 以此记录一下学习过程 若有纰漏 恳请各位大佬多多指点 目录 一

  • EasyExcel导出案例（只有你想不到）

  • 红黑、B、B+————数据结构//复习复习复习

    二叉排序树 树型操作鼻祖 其他树的增删查都如此 平衡二叉树 查找效率最高 但维护成本高 对平衡二叉树的插入操作而言 其本质上比二叉排序树 BST 的插入操作多了一个平衡操作 解决了二叉排序树插入操作可能出现的斜树 不平衡问题 我们以插入一个

  • 【Python】刷题常用语法汇总

    Python刷题常用语法汇总 一 字符串操作 字符串是不可更改的对象 因此无法直接修改字符串的某一位字符 一种可行的方式是 将字符串转换为列表 修改列表的元素后 再重新连接为字符串 s thisisastring l list s l 0

  • Java代码实现本地创建文件，读取文件，删除指定目录下的文件

    目录 一 需求 二 实现 1 完成创建文件 写入文件 2 读取文件 3 删除文件 测试 注意 java的split方法分割字符串 分隔符如 及注意点 一 需求 1 创建文件夹 以规定格式保存信息到指定文件 并存放在相应目录下 2 在保存的目

  • 第一次实验：Protocol Layers

    第一次实验 Protocol Layers 捕获跟踪 Pick a URL and fetch it with wget or curl 检查跟踪 数据包结构 协议开销 复用密钥 Which Ethernet header field is

  • 服务器出现TIME_WAIT和CLOSE_WAIT的原因以及解决方法

    来自 http blog csdn net shootyou article details 6622226 昨天解决了一个HttpClient调用错误导致的服务器异常 具体过程如下 http blog csdn net shootyou

  • SpringBoot(一)——注解配置

    文章目录 一 简介 1 概述 2 特性 3 四大核心 二 搭建环境 三 入门小程序 HelloWorld 四 配置文件 1 YML文件 2 YML语法 lt 1 gt 基本语法 lt 2 gt 值的写法 1 字面量 数字 字符串 布尔 2

  • PLSQL Developer 代码助手卡顿优化

    支持付费优化 原因分析 代码助手卡顿来源于 不考虑网络和软件版本等影响 A 从已连接的数据库的数据字典中 读取该表的列信息 B 将读取到的列信息返回到plsql编辑器 并进行字符处理 然后显示 如何优化B 这个勾勾是维持IDE的代码和数据库

  • TCP/IP常见协议及协议号及端口号

    TCP IP常见协议及协议号及端口号 协议 ICMP 1 Internet控制报文协议 IGMP 2 Internet组管理协议 TCP 6 传输控制协议 EGP 8 外部网关协议 IGP 9 专用内部网关协议 UDP 17 用户数据报协议

  • 浅谈编程语言的函数与方法

    在编程中 函数 Function 和方法 Method 是非常重要的概念 都是在编程中用来执行特定功能的代码块 可以被调用或重复使用 从而提高代码的可读性 可维护性和重用性 函数 函数是一个独立的代码片段 它实现特定功能并返回结果 它可以独

  • muduo库源码分析和总结

    陈硕大神的muduo库设计巧 但是难读懂 这里简单做个总结 注意回调函数太多 需仔细研究回调的传递和调用 两个核心梳理主线 EventLoopThreadPool start EventLoop runInLoop 其次陈硕认为网络编程的本

  • 适合大学生兼职做的8个副业推荐

    说起在大学兼职赚钱 我总结了8个适合大学生的兼职方式 毕竟在大学想要自己的生活更精彩一点 仅靠家里给的生活费是显然不够的 如果你正在寻找一些适合大学生的兼职 那么以下这些兼职可能会是不错的选择 1 淘宝兼职设计 如果你的专业与设计有关 那么

  • java可变参数（不定向参数）

    java可变参数的作用 在编写方法的过程中 可能会遇见一个方法有不确定参数个数的情况 一般我们会用方法重载来解决问题 1 方法重载 解决参数个数不确定问题 2 public void method 3 public void method

  • python-selenium运行报chromedriver与chrome不匹配解决方案

    selenium common exceptions SessionNotCreatedException Message session not created This version of ChromeDriver only supp

  • kafka学习笔记总结

    kafka学习笔记总结 参考 http orchome com kafka index https blog csdn net qq 24084925 article details 78842844 角色说明 Message 通信的基本单

  • zabbix实现httpd监控

    zabbix z biks 是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案 zabbix能监视各种网络参数 保证服务器系统的安全运营 并提供灵活的通知机制以让系统管理员快速定位 解决存在的各种问题 zabbi

  • Mixlab工作坊工具箱：talking face

    Talking face 是一种计算机图形学和人工智能的技术 可以实现将一段音频转换为逼真的人脸动画 它可以用于视频游戏 虚拟主持人 语音助手等应用中 使人机交互更加自然和生动 1 SadTalker Video Lip Sync 基于Sa

热门标签