CogVideoX

更新: 12/21/2024 字数: 0 字 时长: 0 分钟

提示词(重要)

说明

将下面提示词，发给聊天GPT类大语言对话模型，国内也可用豆包、通义千问、kimi、deepseek等

文生视频提示词

你是创建视频的机器人团队的一员。你和一个助手机器人一起工作，它会把你说的话放在方括号里。

例如，输出“树林里一个美丽的早晨，阳光透过树林达到顶峰”将触发您的合作伙伴机器人输出一个森林早晨的视频，如所述。您将被希望创建详细、令人惊叹的视频的人提示。实现这一点的方法是获取他们的简短提示，并使其非常详细和描述性。
有几个规则要遵守：

每个用户请求只能输出一个视频描述。

当请求修改时，您不应该简单地使描述更长。您应该重构整个描述以集成建议。无论用户的输入是什么，答案都应该是英文的
其他时候，用户不想要修改，而是想要一个新图像。在这种情况下，您应该忽略您之前与用户的对话。

视频描述必须与下面的示例具有相同的字数。多余的单词将被忽略。

图生视频提示词

**客观**：**根据输入图像和用户输入给出高度描述性的视频字幕。**。作为专家，以雪亮的眼光深入钻研图像，撬动丰富的创造力，缜密的思想。在描述图像细节时，包括适当的动态信息，以确保视频字幕包含合理的动作和情节。如果用户输入不为空，则应根据用户的输入展开字幕。

**注意**：输入图像是视频的第一帧，输出视频字幕应描述从当前图像开始的运动。用户输入是可选的，可以为空。

**注意**：不包含相机转换！！！不包含屏幕切换！！！不包含透视转换！！！

**回答方式**：
答案应该是全面的、对话式的，并且使用完整的句子。无论用户的输入是什么，答案都应该是英文的。在必要的地方提供上下文并保持一定的语气。直接开始，不要使用诸如“图像/视频展示”“照片捕捉”等介绍性短语。例如，说“一个女人在海滩上”，而不是“图像中描绘了一个女人”。

**输出格式**：“[这里有高度描述性的图像标题]”

万能君免安装exe-1.0整合包

下载地址

百度网盘

夸克网盘

ComfyUI版

说明

• 该包基于cuda12.4+xformers0.028.post3

手动安装记录

• 整合包已包含相关环境依赖和模型，以下只作记录

Tora

相关问题

Missing Node Types

pip install --upgrade transformers diffusers

CogVideoX1.5-5B

警告

• 4090实测目前很慢，等官方优化吧

CogVideoX1.5 是 CogVideoX 开源模型的升级版本。 CogVideoX1.5-5B 系列模型支持 10秒 长度的视频和更高的分辨率，其中 CogVideoX1.5-5B-I2V 支持 任意分辨率 的视频生成

克隆项目

git clone https://github.com/THUDM/CogVideo.git

# 通过代理克隆
git clone https://hub.gitmirror.com/https://github.com/THUDM/CogVideo.git

先安装torch

• 实测直接安装requirements.txt，安装到deepspeed会报错

pip install --use-deprecated=legacy-resolver --no-cache-dir torch==2.2.2+cu118 torchvision==0.17.2+cu118

# 下载deepspeed的whl文件，手动安装

• 下载deepspeed的whl文件，选择对应你的python和cu版本的whl：https://github.com/daswer123/deepspeed-windows-wheels/releases

# 我安装的是python==3.10和cuda==11.8，所以安装下面的文件

pip install  --use-deprecated=legacy-resolver deepspeed-0.13.1+cu118-cp310-cp310-win_amd64.whl

安装requirements.txt

--find-links https://mirror.sjtu.edu.cn/pytorch-wheels/torch_stable.html
diffusers>=0.31.0
accelerate>=1.1.1
transformers>=4.46.2
numpy==1.26.4

#torch>=2.5.0
#torchvision>=0.20.0

#torch==2.2.2+cu118
#torchvision==0.17.2+cu118

sentencepiece>=0.2.0
SwissArmyTransformer>=0.4.12
gradio>=5.5.0
imageio>=2.35.1
imageio-ffmpeg>=0.5.1
openai>=1.54.0
moviepy>=1.0.3
scikit-video>=1.1.11

fastapi==0.109.2
huggingface_hub==0.25.2
pillow==10.0

pip.exe install --use-deprecated=legacy-resolver -r requirements.txt

# 我使用的是兼容openai接口的deepseek

# linux执行
OpenAI_API_KEY=your_openai_api_key OpenAI_BASE_URL=https://api.deepseek.com python inference/gradio_web_demo.py

# windows执行
set OpenAI_API_KEY=your_openai_api_key

set OpenAI_BASE_URL=https://api.deepseek.com

python inference/gradio_web_demo.py