快手发布文生视频大模型可灵,仅需一张全身照片,即可体验生动的“唱跳”玩法
发布时间:2024-06-11
可灵大模型(Kling)是由快手大模型团队自研打造的视频生成大模型,具备强大的视频生成能力 让用户可以轻松高效地完成艺术视频创作。
可灵大模型文生视频有以下几个特点
1.可灵大模型大幅度的合理运动
可灵采用3D时空联合注意力机制,能够更好地建模复杂时空运动,生成较大幅度运动的视频内容,同时能够符合运动规律。
2.可灵大模型长达2分钟的视频生成
得益于高效的训练基础设施、极致的推理优化和可扩展的基础架构,可灵大模型能够生成长达2分钟的视频,且帧率达到30fps。
3.可灵大模型模拟物理世界特性
基于自研模型架构及Scaling Law激发出的强大建模能力,可灵能够模拟真实世界的物理特性,生成符合物理规律的视频。
4.可灵大模型强大的概念组合能力
基于对文本-视频语义的深刻理解和 Diffusion Transformer 架构的强大能力,可灵能够将用户丰富的想象力转化为具体的画面,虚构真实世界中不会出现的的场景。
5.可灵大模型电影级的画面生成
基于自研3D VAE,可灵能够生成1080p分辨率的电影级视频,无论是浩瀚壮阔的宏大场景,还是细腻入微的特写镜头,都能够生动呈现。
6.支持自由的输出视频宽高比
可灵采用了可变分辨率的训练策略,在推理过程中可以做到同样的内容输出多种多样的视频宽高比,满足更丰富场景中的视频素材使用需求。
可灵大模型基于自研的3D人脸和人体重建技术,结合背景稳定性和重定向模块,实现表情肢体全驱动技术,仅需一张全身照片,即可体验生动的“唱跳”玩法。