File size: 4,987 Bytes
d78d008 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 |
---
base_model: MusePublic/wan2.1-1.3b@v1
cover_images:
- _cover_images_/cover_video.mp4
frameworks:
- Pytorch
license: Apache License 2.0
tags:
- LoRA
- text2video generation
tasks:
- text-to-video-synthesis
trigger_words:
- ""
vision_foundation: WAN_VIDEO_2_1_T2V_1_3_B
---
# 通义万相2.1-1.3B-LoRA-高分辨率修复-v1
## 模型介绍
本 LoRA 模型是基于模型[通义万相2.1-1.3B](https://www.modelscope.cn/models/Wan-AI/Wan2.1-T2V-1.3B)和框架 [DiffSynth-Studio](https://github.com/modelscope/DiffSynth-Studio) 训练的LoRA。由于基础模型的训练分辨率为 480P，在清晰度上存在一定缺陷，因此我们进行了额外的训练以修复模型在高分辨率视频上的效果，避免出现画面崩坏、灰暗的问题。本模型建议的使用方式：
1. **高分辨率短视频直出**：将分辨率设置为 1024 x 1024，同时适当减少帧数从而避免生成时间过长。
2. **高分辨率视频细节润色**：先使用低分辨率生成视频，经超分后再使用本模型进行视频生视频，对画面细节进行润色。
## 模型效果
### 二次元动漫
提示词：动漫风格，一个可爱的二次元小美女，黑色短发，头发随风摇曳，少女的头轻轻转动。
负面提示词：色调艳丽，过曝，静态，细节模糊不清，字幕，风格，作品，画作，画面，静止，整体发灰，最差质量，低质量，JPEG压缩残留，丑陋的，残缺的，多余的手指，画得不好的手部，画得不好的脸部，畸形的，毁容的，形态畸形的肢体，手指融合，静止不动的画面，杂乱的背景，三条腿，背景人很多，倒着走
|不启用本 LoRA 模型|启用本 LoRA 模型|
|-|-|
|<div align="center"><video width="80%" controls><source src="assets/video_without_lora_2.mp4" type="video/mp4">Your browser does not support the video tag.</video></div>|<div align="center"><video width="80%" controls><source src="assets/video_with_lora_2.mp4" type="video/mp4">Your browser does not support the video tag.</video></div>|
### 剑与魔法
提示词：一幅古代神话场景，展现了勇士与龙的对峙，背景是险峻的山崖，勇士身披铠甲，手持闪亮的剑，龙展开巨大翅膀，火焰在口中蓄势待发。
负面提示词：色调艳丽，过曝，静态，细节模糊不清，字幕，风格，作品，画作，画面，静止，整体发灰，最差质量，低质量，JPEG压缩残留，丑陋的，残缺的，多余的手指，画得不好的手部，画得不好的脸部，畸形的，毁容的，形态畸形的肢体，手指融合，静止不动的画面，杂乱的背景，三条腿，背景人很多，倒着走
|不启用本 LoRA 模型|启用本 LoRA 模型|
|-|-|
|<div align="center"><video width="80%" controls><source src="assets/video_without_lora.mp4" type="video/mp4">Your browser does not support the video tag.</video></div>|<div align="center"><video width="80%" controls><source src="assets/video_with_lora.mp4" type="video/mp4">Your browser does not support the video tag.</video></div>|
## 使用说明
本模型基于框架 [DiffSynth-Studio](https://github.com/modelscope/DiffSynth-Studio) 训练，请先安装
```
pip install diffsynth
```
```python
import torch
from diffsynth import ModelManager, WanVideoPipeline, save_video
from modelscope import snapshot_download
snapshot_download(
model_id="DiffSynth-Studio/Wan2.1-1.3b-lora-highresfix-v1",
local_dir="models/DiffSynth-Studio/Wan2.1-1.3b-lora-highresfix-v1",
allow_file_pattern="*.safetensors"
)
model_manager = ModelManager(device="cpu")
model_manager.load_models(
[
"models/Wan-AI/Wan2.1-T2V-1.3B/diffusion_pytorch_model.safetensors",
"models/Wan-AI/Wan2.1-T2V-1.3B/models_t5_umt5-xxl-enc-bf16.pth",
"models/Wan-AI/Wan2.1-T2V-1.3B/Wan2.1_VAE.pth",
],
torch_dtype=torch.bfloat16,
)
model_manager.load_lora("models/DiffSynth-Studio/Wan2.1-1.3b-lora-highresfix-v1/model.safetensors")
pipe = WanVideoPipeline.from_model_manager(model_manager, torch_dtype=torch.bfloat16, device="cuda")
pipe.enable_vram_management(num_persistent_param_in_dit=None)
video = pipe(
prompt="一幅古代神话场景，展现了勇士与龙的对峙，背景是险峻的山崖，勇士身披铠甲，手持闪亮的剑，龙展开巨大翅膀，火焰在口中蓄势待发。",
negative_prompt="色调艳丽，过曝，静态，细节模糊不清，字幕，风格，作品，画作，画面，静止，整体发灰，最差质量，低质量，JPEG压缩残留，丑陋的，残缺的，多余的手指，画得不好的手部，画得不好的脸部，畸形的，毁容的，形态畸形的肢体，手指融合，静止不动的画面，杂乱的背景，三条腿，背景人很多，倒着走",
num_inference_steps=50,
seed=1, tiled=True,
num_frames=33, height=1024, width=1024, sigma_shift=10,
)
save_video(video, "video.mp4", fps=15, quality=5)
```
|