在人工智能领域,创新总是层出不穷。近日,昆仑万维开源了其首个面向AI短剧创作的视频生成模型SkyReels-V1和中国首个SOTA级别的基于视频基座模型的表情动作可控算法SkyReels-A1,为AI短剧的创作带来了新的可能性。这一举措不仅解决了当前AI视频生成模型不开源、费用高昂、难以使用等问题,更将有力地推动AI短剧行业的创新与发展。
SkyReels-V1作为中国首个面向AI短剧创作的开源视频生成模型,其独特之处在于能够精细控制人物表演的细节。该模型巧妙地结合了口型生成、表情生成和肢体生成等多个模块,实现了对人物表演的全面把控。更值得一提的是,SkyReels-V1通过利用千万级别的高质量好莱坞数据进行训练微调,从而显著提升了表情生成和肢体生成的可控表演效果。这意味着,AI短剧创作者们可以更加轻松地打造出栩栩如生、富有情感的角色。
SkyReels-V1的强大之处不仅在于其精细的控制能力,更在于其丰富的人物表情和动作库。它支持多达33种细腻的人物表情和400+种自然动作组合,能够高度还原真人情感表达。这意味着,AI短剧中的角色可以展现出各种各样的情绪,从而更加贴近观众的内心世界。此外,SkyReels-V1生成的视频还具备电影级的光影美学和画面质感,能够实现影视级人物微表情表演生成。这无疑将大大提升AI短剧的观赏性。
更令人惊喜的是,SkyReels-V1不仅支持文生视频,还能支持图生视频。这使得AI短剧的创作方式更加灵活多样。无论是通过文字描述来生成视频,还是通过图片来创造故事,SkyReels-V1都能轻松胜任。值得一提的是,SkyReels-V1是开源视频生成模型中参数最大的支持图生视频的模型,这进一步凸显了其技术实力。
在技术实现方面,SkyReels-V1的成功离不开昆仑万维自研的高质量数据清洗和人工标注管线。该管线构建了千万级的高质量电影、电视剧和纪录片数据,为模型的训练提供了充足的养料。此外,团队还自研了「Human-Centric」的视频理解多模态大模型,从而提升了视频中人物相关的理解能力。这些技术的突破,为SkyReels-V1的卓越性能奠定了坚实的基础。
除了SkyReels-V1,昆仑万维还开源了SkyReels-A1,这是首个SOTA级别的基于视频基座模型的表情动作可控算法。该算法支持视频驱动的电影级表情捕捉,能够实现高保真微表情还原。这意味着,AI短剧中的角色可以展现出更加细腻的情感变化,从而更加打动人心。
SkyReels-A1的另一大亮点在于其能够基于任意人体比例生成高度逼真的人物动态视频。这种真实感源自对人物表情变化、情绪、皮肤肌理和身体动作等多维度细节的深度还原。无论是角色的喜怒哀乐,还是他们的细微动作,SkyReels-A1都能精准地捕捉和呈现。
更令人称赞的是,SkyReels-A1支持侧脸的表情控制生成,能够实现更加逼真的眉眼微表情生成和更大幅度的头部与自然身体动作。与Runway的Act-One相比,SkyReels-A1在生成的视频中人物不失真,表演细节更真实,能够实现神情与身体动作的自然完美融合。这意味着,AI短剧中的角色可以更加自然地表达情感,从而更加贴近真实生活。
昆仑万维一直坚持开源,推动技术平权。自2023年8月以来,公司陆续开源了大语言模型「天工」Skywork-13B系列、数字智能体全流程研发工具包AgentStudio、「天工大模型3.0」4000亿参数MoE超级模型等多个模型。此次开源SkyReels-V1和SkyReels-A1,是AI短剧行业的首例,旨在为用户带来低成本、可控性更强的AIGC能力。
昆仑万维董事长兼CEO方汉表示,AIGC能力的出现将显著降低电影制作成本,推动文化的平权。未来,昆仑万维将继续开源更多视频生成模型和算法,推动AI短剧生态的持续建设和繁荣。
开源地址:
SkyReels-V1
https://github.com/SkyworkAI/SkyReels-V1
SkyReels-A1
https://github.com/SkyworkAI/SkyReels-A1
**技术报告:**https://skyworkai.github.io/skyreels-a1.github.io/report.pdf
**SkyReels官方地址:**skyreels.ai