昆仑万维开源中国首个面向AI短剧创作的视频生成模型SkyReels-V1,重塑AI短剧行业格局

2月18日,昆仑万维开源中国首个面向AI短剧创作的视频生成模型SkyReels-V1、中国首个SOTA级别基于视频基座模型的表情动作可控算法SkyReels-A1。

开源地址:

1、SkyReels-V1:https://github.com/SkyworkAI/SkyReels-V1

2、SkyReels-A1:https://github.com/SkyworkAI/SkyReels-A1

3、技术报告:https://skyworkai.github.io/skyreels-a1.github.io/report.pdf

4、SkyReels官方地址:skyreels.ai

1. SkyReels-V1:Human-Centric Video Foundation Model,中国首个面向AI短剧创作的开源视频生成模型

SkyReels-V1可实现影视级人物微表情表演生成,支持33种细腻人物表情与400+种自然动作组合,高度还原真人情感表达。正如以下视频所示,SkyReels-V1支持生成大笑、怒吼、惊讶、哭泣等微表情,展现出人物情感丰沛的表演细节。即使有大幅度肢体动作,SkyReels-V1生成的微表情也完美贴合人物肢体表演。

昆仑万维开源中国首个面向AI短剧创作的视频生成模型SkyReels-V1,重塑AI短剧行业格局

同时,SkyReels-V1为AI视频生成带来了电影级光影美学,基于好莱坞级的高质量影视数据训练,当前SkyReels生成的每一帧画面,在构图、演员站位、相机角度等都具备电影级的质感。无论是单人镜头表演细节,还是多人构图,当前已具备精准的表情控制和高质感画面。

更重要的是,SkyReels-V1不仅支持文生视频、还能支持图生视频,是开源视频生成模型中参数最大的支持图生视频的模型,在同等分辨率下各项指标实现开源SOTA。

昆仑万维开源中国首个面向AI短剧创作的视频生成模型SkyReels-V1,重塑AI短剧行业格局

图1丨SkyReels-V1文生视频指标对比(来源:昆仑万维SkyReels)

能够实现这样的SOTA级别,不仅依赖于昆仑万维SkyReels团队基于自研的高质量数据清洗和人工标注管线,构建了千万级的高质量电影&电视剧&纪录片数据。更依托团队自研「Human-Centric」的视频理解多模态大模型,大幅提升视频中人物相关的理解能力,尤其是自研人物智能解析系统。

综上所述,得益于扎实的数据工作和先进的人物智能解析系统,SkyReels-V1可以实现:

影视化表情识别体系:11种针对影视戏剧中的人物表情理解,如不屑、不耐烦、无助、厌恶等表情的理解;

人物空间位置感知:基于人体三维重建技术,实现对视频中多人的空间相对关系理解,助力模型生成影视级人物站位;

行为意图理解:构建超过400种行为语义单元,实现对人物行为的精准理解;

表演场景理解:实现人物-服装-场景-剧情的关联分析。

SkyReels-V1不仅是全球极少数开源的视频生成模型,还是围绕人物表演、开源视频生成模型中性能最强的。

在自研推理优化框架「SkyReels-Infer」的加持下,大幅提升推理效率,实现544p分辨率,推理基于单台4090只需80s,还支持分布式多卡并行,支持Context Parallel,CFG Parallel,和 VAE Parallel。此外,采取fp8 quantization以及parameter-level offload,满足低显存用户级显卡运行需求;支持flash attention、SageAttention,模型编译优化等,进一步优化延迟;基于开源diffuser库,提升易用性。

正如下图2所示,在同等RTX4090资源情况下对比(4卡),SkyReels-Infer版本比HunyuanVideo官方版本端到端延迟减少58.3%(293.3s vs 464.3s);SkyReels-Infer版本具备更鲁棒的部署策略,支持用户级别显卡1卡-8卡的推理部署。

昆仑万维开源中国首个面向AI短剧创作的视频生成模型SkyReels-V1,重塑AI短剧行业格局

图2丨推理生成544p视频,使用相同卡数的RTX 4090,SkyReels-Infer版本端到端延迟优于HunyuanVideo官方(xdit) 58.3%

在同等A800资源情况下对比,SkyReels-Infer版本比HunyuanVideo官方版本端到端延迟减少14.7%~28.2%(如图3所示),SkyReels-Infer版本具备更鲁棒的多卡部署策略。

昆仑万维开源中国首个面向AI短剧创作的视频生成模型SkyReels-V1,重塑AI短剧行业格局

图3丨推理生成544p视频,SkyReels-Infer版本具备更鲁棒的多卡部署策略,支持8卡部署

2.SkyReels-A1:首个SOTA级别的基于视频基座模型的表情动作可控算法

为了实现更加精准可控的人物视频生成,昆仑万维还开源了SOTA级别的基于视频基座模型的表情动作可控算法SkyReels-A1,对标Runway的Act-One,SkyReels-A1支持视频驱动的电影级表情捕捉,实现高保真微表情还原。能够基于任意人体比例(包括肖像、半身及全身构图)生成高度逼真的人物动态视频,其真实感源自对人物表情变化和情绪的精准模拟、皮肤肌理、身体动作跟随等多维度细节的深度还原。

SkyReels-A1不仅支持侧脸的表情控制生成、还能实现更加逼真的眉眼微表情生成和更大幅度的头部与自然身体动作。SkyReels-A1能够实现更大幅度的人物表情驱动。相比Runway的Act-One,SkyReels-A1可以迁移更复杂的表情动作,生成的人物面部神情可以配合肢体及画面内容实现更栩栩如生的表演。

3.以开源之姿,以破局之势,昆仑万维致力于推动全球AI短剧创作生态繁荣发展

昆仑万维一直坚持开源,推动技术平权。昆仑万维同时将SOTA级别的SkyReels-V1和SkyReels-A1进行开源,是AI短剧行业首例,也是昆仑万维SkyReels回馈行业迈出的一小步,更是促进AI短剧创作和视频生成行业枝繁叶茂的一大步。

我们相信在进行推理优化的升级和可控算法的开源后,它们将为用户带来低成本、可控性更强的AIGC能力。昆仑万维希望通过更多优秀视频生成模型的开源和极致的AI短剧产品能力,为用户带来低成本实现AI短剧创作的可能性、突破行业目前视频生成一致性差的问题,让大众通过自己的电脑生成精细且可控的人物表演。

此次开源的视频大模型,不仅是一次技术突破,有助于缩小全球内容产业的数字鸿沟,更是文化产业生产力的一次革命。未来,短剧与游戏、虚拟现实等领域的跨界发展,将会加速产业融合。AI短剧也有希望从“技术实验”迈向“主流创作”,成为全球文化输出的新载体。

“实现通用人工智能,让每个人更好地塑造和表达自我”是公司的使命,未来,昆仑万维及SkyReels还将开源更多视频生成模型和算法、通用模型,通过开源实现AGI平权,推动AI短剧生态的持续建设和繁荣,促进开源社区、开发生态以及AI行业的发展。

【来源:经济界】凡本网注明“来源:经济界” 的所有作品,版权均属于经济界。如转载,须注明“来源:经济界”。违反上述声明者,本网将追究其相关法律责任。
Previous 2025-02-17 下午6:14
Next 2025-02-18

相关推荐

  • 上海德芬传媒技术有限公司与上海建桥学院共建品牌合作中心,开启校企协同发展新篇章

    2025年4月30日,上海 —— 在深化产教融合、赋能文化创新的时代背景下,上海德芬传媒技术有限公司(以 下简称“德芬传媒”)与上海建桥学院创新创业学院正式宣布共建“品牌合作中心”,并于今日举行揭牌仪式。双方将围绕品牌孵化、数字内容创作、人才联合培养等领域展开深度战略合作,打造产学研一体化的创新生态圈,为文化传媒行业注入新动能。 强强联合,构建品牌赋能新范式…

    1天前
    0
  • “京黔协作”助力贵州刺梨走向世界2025贵州刺梨·健康中国行暨产业大招商推介会在京成功举办

    4月28日,2025“贵州刺梨·健康中国行”暨产业大招商推介会在北京举办。推介会以“从贵州来 到世界去”为主题,旨在面向北京及周边地区消费者,全方位推广贵州刺梨的营养价值与健康理念,倡导绿色饮食生活方式,提升品牌市场认知度与影响力。 贵州省人民政府驻北京办事处、贵州省工业和信息化厅、北京市经济和信息化局、六盘水市人民政府、六盘水市工业和信息化局等部门,以及中…

    1天前
    0
  • 从千亿活菌到多元布局,菌小宝的健康征程不止步

    当下,人们的健康意识愈发强烈,益生菌市场迎来了空前繁荣的发展时期。这一市场的蓬勃发展,既反映出消费者健康观念的转变,也为健康管理领域开拓了新的发展方向。在竞争激烈的益生菌市场中,菌小宝凭借自身强大的科研实力与出色的创新能力,成功崭露头角。 菌小宝的背后,是集团母公司近20年在益生菌功能、工艺以及活性研究等多领域的深厚沉淀。如此雄厚的技术积累,为菌小宝的产品研…

    1天前
    0
  • 菌小宝:创新领航,开拓益生菌产业新征程,共筑微生态健康远景

    当下,人们的健康意识不断提高,益生菌作为维护肠道健康、增强免疫力的重要物质,愈发受到消费者的关注。菌小宝作为中国专业益生菌品牌的佼佼者,历经 20 多年的钻研与技术创新,已然成为行业的标杆。其以 “全生命周期肠道微生态健康解决方案的领导者” 为品牌定位,引领着益生菌行业不断向上发展。 这一定位充分展现了菌小宝对人类肠道健康的高度重视,以及推动人类健康从 “抗…

    1天前
    0
  • 徕科技术螺杆阀系列深度剖析:多款产品满足多样化工业点胶需求

    在现代自动化精密点胶领域,螺杆阀因其出色的流量控制和材料适应性而备受青睐。深圳徕科技术旗下包括多款不同规格的螺杆阀,以满足从医疗设备到汽车制造等多样化工业需求。以下是对各款产品的详细介绍: 大流量螺杆阀LK-RS50的技术特点与应用 徕科大流量螺杆阀LK-RS50采用高强度驱动系统和特别设计的螺杆结构,使其能够高效处理如硅胶和热熔胶等高粘度材料。其驱动系统能…

    2天前
    0