西交大开源SadTalker模型 图片+音频秒变视频!|全球观点
(资料图片)
编程客栈()4月19日 消息:最近,西安交通大学的研究人员提出了SadTalker模型,通过php从音频中学习生成3D运动系数,使js用全新的3D面部渲染器来生成头部运动,可以实现图片+音频就能生成高质量的视频。
为了实现音频驱动的真实头像视频生成,研究人员将3DMM的运动系数视为中间表征,并将任务分为两个主要部分(表情和姿势)编程,旨在从音频中生成更真实的运动系数(如头部姿势、嘴唇运动和眼睛编程眨动),并单独学习每个运动以减少不确定性。最后通过一个受face-vid2vid启发设计的3D感知的面部渲染来驱动源图像。
论文链接:https://arxiv.org/pdf/2211.12194.pdf
项目主页:https://sadtalker.github.io/
研gjuEvLWKR究人员使用SadTalker模型从音频中学习生成3D运动系数,使用全新的3D面部渲染器来生成头部运动。该技术可以控制眨眼频率,音频可以是英文、中文、歌曲。
这项技术在数字人创作、视频会议等多个领域都有应用,能够让静态照片动起来,但目前仍然是一项非常有挑战性的任务。SadTalker模型的出现解决了生成视频的质量不自然、面部表情扭曲等问题。该技术可以应用于数字人创作、视频会议等多个领域。
关键词:
- 西交大开源SadTalker模型 图片+音频秒变视频!|全球观点(2023-04-20 18:15:46)
- 美国银行称英镑超买,涨幅将消退!|当前资讯(2023-04-20 18:06:01)
- 国家统计局:高等教育在校女生占比超半数-当前消息(2023-04-20 18:20:15)
- 房地产开发板块跌1.51% 万业企业涨7.36%居首|世界热议(2023-04-20 18:00:07)
- 天津2023年“双减”工作交流会滨海新区专场举行(2023-04-20 18:09:30)
- 央行:一季度新增贷款主要投向制造业等 房地产业贷款增长呈上升态势 天天快看点(2023-04-20 17:51:55)
- 权益类银行理财产品仍大面积破净,FOF产品净值增长率表现出色 全球快播报(2023-04-20 17:51:41)
- 普华永道展望银行业:存款增速创新高,年内超额存款能否被释放?(2023-04-20 17:55:19)
- 央行答21记者问:部分地方银行为何下调存款利率,未来是否还会下调?(2023-04-20 18:04:27)
- 【环球播资讯】个人养老金客户突破300万,招行布局养老金融未来(2023-04-20 17:57:54)
- 元宇宙新鲜事|中国联通元宇宙任务执行专利公布 PICO 4 Pro正式发售 世界最新(2023-04-20 17:43:55)
- 环球今热点:老将再出马,能挽回下行的渝农商行吗?(2023-04-20 17:39:38)
- 徐小明:周五操作策略(2023-04-20 17:36:36)
- 零跑汽车上热搜:被经销商公开质疑销量造假、质量有问题|焦点速讯(2023-04-20 17:40:39)
- 维科技术(600152):钠电池业务有望为公司带来高成长|全球信息(2023-04-20 17:34:13)
- LPR连续9月不变!1年期LPR为3.65%,5年期以上LPR为4.3% 天天新资讯(2023-04-20 17:36:18)
- 环球速看:彩虹六号围攻基本按键介绍 彩虹六号围攻按键使用方法一览(2023-04-20 17:41:48)
- 缇庡師娌逛氦鏄撶瓥鐣ワ細娌逛环鍒涜繎涓夊懆鏂颁綆锛屾垨鍥炶ˉ缂哄彛-环球快报(2023-04-20 17:16:28)
- 糖价飙升至11年来的最高,或因厄尔尼诺现象继续上涨!(2023-04-20 17:05:11)
- 【世界播资讯】NYMEX原油下看76.91美元(2023-04-20 17:09:02)
- 鍥介檯娌逛环缁垱杩戜笁鍛ㄦ柊浣庯紝闇€姹備笉鎸緵搴斿嵈涓嶄箯鎰忓浜偣 当前快报(2023-04-20 17:12:44)
- 武汉亢龙太子花园酒店二期项目10亿元遭拍 曾为汉口核心豪宅 世界热门(2023-04-20 17:13:55)
- 天天亮点!事关经济通胀、通缩研判,房地产、部分银行下调存款利率,央行最新发声!(2023-04-20 16:44:57)
- 全球速读:南财保险测评(第64期)|5款产品安联至臻总分第一 君龙臻爱21、安康福保障力度较大(2023-04-20 16:47:49)
- 每日播报!五大上市险企一季度成绩单背后:寿险、车险为何回暖?(2023-04-20 16:50:08)
- 一地方银保监局连发26张罚单!江西省内多家农商行合计被罚295万,贷款五级分类不准确、管理不慎成违规(2023-04-20 16:57:16)
- 河南又一4A级旅游景区揭牌!仰韶仙门山正式开园迎宾!(2023-04-20 17:11:06)
- 当前短讯!汽车出风口发热是怎么回事(2023-04-20 16:51:20)
- 全球头条:【中国财富报道】张兰:遇到“鸿沟”直接冲过去,会走得更长更远(2023-04-20 16:39:31)
- 环球关注:0420收盘总结:千金难买牛回头,当下就是黄金坑(2023-04-20 16:55:30)
-
徐小明:周五操作策略
徐小明:周五操作策略明日(4月21日)盘中同步直播昨天我们谈到了3359点,如果收盘价格...
-
零跑汽车上热搜:被经销商公开质疑销量造假
上海车展吸引了车圈的大部分流量,零跑汽车却以另一种方式登上了热搜。4月20日,济南融...
-
维科技术(600152):钠电池业务有望为公司带
维科技术(600152):钠电池业务有望为公司带来高成长。新闻资讯提供最新、最及时的新闻服...
-
LPR连续9月不变!1年期LPR为3.65%,5年期
金融界4月20日消息中国人民银行授权全国银行间同业拆借中心公布,2023年4月20日贷款市...
-
环球速看:彩虹六号围攻基本按键介绍 彩虹
彩虹六号围攻基本按键,熟练地掌握基本按键是非常重要的。其中最基础也是最常用的按键...
-
缇庡師娌逛氦鏄撶瓥鐣ワ細娌逛环鍒涜繎涓夊
璁€斺€斿懆鍥?4鏈?0鏃?浜氭鏃舵缇庡師娌瑰欢缁殧澶滆穼鍔?涓€搴﹀垱杩戜笁...
-
糖价飙升至11年来的最高,或因厄尔尼诺现象
由于需求增加加上天气前景恶化食糖价格飙升分析人士表示价格仍有上涨的空间近日原糖期...
-
【世界播资讯】NYMEX原油下看76.91美元
周四4月20日国际油价续创近三周新低原因是近期公布的美国经济数据不足以支持需求改善的...
-
鍥介檯娌逛环缁垱杩戜笁鍛ㄦ柊浣庯紝闇€
璁€斺€斿懆鍥?4鏈?0鏃?鍥介檯娌逛环缁垱杩戜笁鍛ㄦ柊浣?鍘熷洜鏄繎鏈熷叕甯冪...
-
武汉亢龙太子花园酒店二期项目10亿元遭拍
亢龙太子从餐饮生意起步,逐渐成为武汉餐饮界的传奇,只是后来亢龙太子的花园酒店二期...
- 西交大开源SadTalker
- 房地产开发板块跌1.51
- 维科技术(600152):钠
- LPR连续9月不变!1年
- 西交大开源SadTalker模型 图片+音频秒变视频!
- 房地产开发板块跌1.51% 万业企业涨7.36%居首|
- 维科技术(600152):钠电池业务有望为公司带来高
- LPR连续9月不变!1年期LPR为3.65%,5年期以上L
- 武汉亢龙太子花园酒店二期项目10亿元遭拍 曾为
- 全球头条:【中国财富报道】张兰:遇到“鸿沟”
- 港股吉林长龙药业大涨超41%,一度创2016年以来
- 中新人物丨陈德森:用生命热爱电影 把悲伤留给
- 大名城拟为福建全资子公司提供4.75亿元担保
- 天天微动态丨*ST新文4月20日快速上涨
- 滚动
- 综合
- 房产