README_from_modelscope.md

---
base_model: MusePublic/wan2.1-1.3b@v1
cover_images:
- _cover_images_/cover_video.mp4
frameworks:
- Pytorch
license: Apache License 2.0
tags:
- LoRA
- text2video generation
tasks:
- text-to-video-synthesis

trigger_words:
- ""

vision_foundation: WAN_VIDEO_2_1_T2V_1_3_B
---

# 通义万相2.1-1.3B-LoRA-高分辨率修复-v1

## 模型介绍

本 LoRA 模型是基于模型[通义万相2.1-1.3B](https://www.modelscope.cn/models/Wan-AI/Wan2.1-T2V-1.3B)和框架 [DiffSynth-Studio](https://github.com/modelscope/DiffSynth-Studio) 训练的LoRA。由于基础模型的训练分辨率为 480P，在清晰度上存在一定缺陷，因此我们进行了额外的训练以修复模型在高分辨率视频上的效果，避免出现画面崩坏、灰暗的问题。本模型建议的使用方式：

1. **高分辨率短视频直出**：将分辨率设置为 1024 x 1024，同时适当减少帧数从而避免生成时间过长。
2. **高分辨率视频细节润色**：先使用低分辨率生成视频，经超分后再使用本模型进行视频生视频，对画面细节进行润色。

## 模型效果

### 二次元动漫

提示词：动漫风格，一个可爱的二次元小美女，黑色短发，头发随风摇曳，少女的头轻轻转动。

负面提示词：色调艳丽，过曝，静态，细节模糊不清，字幕，风格，作品，画作，画面，静止，整体发灰，最差质量，低质量，JPEG压缩残留，丑陋的，残缺的，多余的手指，画得不好的手部，画得不好的脸部，畸形的，毁容的，形态畸形的肢体，手指融合，静止不动的画面，杂乱的背景，三条腿，背景人很多，倒着走

|不启用本 LoRA 模型|启用本 LoRA 模型|
|-|-|
|<div align="center"><video width="80%" controls><source src="assets/video_without_lora_2.mp4" type="video/mp4">Your browser does not support the video tag.</video></div>|<div align="center"><video width="80%" controls><source src="assets/video_with_lora_2.mp4" type="video/mp4">Your browser does not support the video tag.</video></div>|

### 剑与魔法

提示词：一幅古代神话场景，展现了勇士与龙的对峙，背景是险峻的山崖，勇士身披铠甲，手持闪亮的剑，龙展开巨大翅膀，火焰在口中蓄势待发。

负面提示词：色调艳丽，过曝，静态，细节模糊不清，字幕，风格，作品，画作，画面，静止，整体发灰，最差质量，低质量，JPEG压缩残留，丑陋的，残缺的，多余的手指，画得不好的手部，画得不好的脸部，畸形的，毁容的，形态畸形的肢体，手指融合，静止不动的画面，杂乱的背景，三条腿，背景人很多，倒着走

|不启用本 LoRA 模型|启用本 LoRA 模型|
|-|-|
|<div align="center"><video width="80%" controls><source src="assets/video_without_lora.mp4" type="video/mp4">Your browser does not support the video tag.</video></div>|<div align="center"><video width="80%" controls><source src="assets/video_with_lora.mp4" type="video/mp4">Your browser does not support the video tag.</video></div>|

## 使用说明

本模型基于框架 [DiffSynth-Studio](https://github.com/modelscope/DiffSynth-Studio) 训练，请先安装

```
pip install diffsynth
```


```python
import torch
from diffsynth import ModelManager, WanVideoPipeline, save_video
from modelscope import snapshot_download


snapshot_download(
    model_id="DiffSynth-Studio/Wan2.1-1.3b-lora-highresfix-v1",
    local_dir="models/DiffSynth-Studio/Wan2.1-1.3b-lora-highresfix-v1",
    allow_file_pattern="*.safetensors"
)
model_manager = ModelManager(device="cpu")
model_manager.load_models(
    [
        "models/Wan-AI/Wan2.1-T2V-1.3B/diffusion_pytorch_model.safetensors",
        "models/Wan-AI/Wan2.1-T2V-1.3B/models_t5_umt5-xxl-enc-bf16.pth",
        "models/Wan-AI/Wan2.1-T2V-1.3B/Wan2.1_VAE.pth",
    ],
    torch_dtype=torch.bfloat16,
)
model_manager.load_lora("models/DiffSynth-Studio/Wan2.1-1.3b-lora-highresfix-v1/model.safetensors")
pipe = WanVideoPipeline.from_model_manager(model_manager, torch_dtype=torch.bfloat16, device="cuda")
pipe.enable_vram_management(num_persistent_param_in_dit=None)

video = pipe(
    prompt="一幅古代神话场景，展现了勇士与龙的对峙，背景是险峻的山崖，勇士身披铠甲，手持闪亮的剑，龙展开巨大翅膀，火焰在口中蓄势待发。",
    negative_prompt="色调艳丽，过曝，静态，细节模糊不清，字幕，风格，作品，画作，画面，静止，整体发灰，最差质量，低质量，JPEG压缩残留，丑陋的，残缺的，多余的手指，画得不好的手部，画得不好的脸部，畸形的，毁容的，形态畸形的肢体，手指融合，静止不动的画面，杂乱的背景，三条腿，背景人很多，倒着走",
    num_inference_steps=50,
    seed=1, tiled=True,
    num_frames=33, height=1024, width=1024, sigma_shift=10,
)
save_video(video, "video.mp4", fps=15, quality=5)
```