· 更新于 2024-11-17
AI

ComfyUI入门

一、安装与试运行

1、安装环境

安装教程见官网：https://github.com/Comfy-Org/ComfyUI?tab=readme-ov-file#installing

1.1 Accelerated PyTorch training on Mac

1.1.1 确认为 python3.12 ，需要等下安装 PyTorch 需要3.10之后
1
2
3
4
5
6
# 查看版本
python3 --version
python3.12 --version

# 安装 3.12 版本
brew install python@3.12
1.1.2 安装 pytorch 相关库

按照 https://developer.apple.com/metal/pytorch/ 提示安装 torch 即可。但在这之前为了避免与系统环境冲突，您可以创建一个虚拟环境来安装 Python 包。以下是创建和激活虚拟环境的步骤：

1
2
3
4
5
# 创建虚拟环境
python3.12 -m venv ~/Project/AI/comfy_env

# 激活虚拟环境
source ~/Project/AI/comfy_env/bin/activate

请将 ~/Project/AI/comfy_env 替换为您希望创建虚拟环境的路径。

source 之后，之后的操作即会在虚拟环境中。

附：查看PyTorch版本及其 MPS 支持情况

1
2
3
4
5
6
7
8
9
10
11
uname -m
# 如果输出为 x86_64，说明你的Mac使用的是Intel x86架构。
# 如果输出为 arm64，说明你的Mac使用的是Apple Silicon (ARM架构)

# 输入以下命令：
python -c "import torch; print(f'PyTorch 版本: {torch.__version__}'); print(f'MPS 是否可用: {torch.backends.mps.is_available()}'); print(f'MPS 是否已构建: {torch.backends.mps.is_built()}')"

# 得到以下结果：
PyTorch 版本: 2.12.0
MPS 是否可用: True
MPS 是否已构建: True

1.2 ComfyUI manual installation (Windows, Linux)

1.2.1 Git clone this repo
1
2
cd ~/Project
git clone https://github.com/Comfy-Org/ComfyUI.git
1.2.2 Put your SD checkpoints (the huge ckpt/safetensors files) in: models/checkpoints

1、选择要下载的文生图模型

文生图 Model 描述 下载地址 大小
rpg_v5.safetensors 专精型选手，这是一个专门用于生成 “角色扮演游戏风格”人物肖像 的 Stable Diffusion 模型 https://civitai.com/models/1116?modelVersionId=124626 1.99G 10.6k
Animagine XL 4.0 专注日系动漫的生态之王
基于SDXL微调，社区成熟，拥有大量特殊标签可精细控制，生成结果非常符合日系动漫审美。		 https://civitai.com/models/1188071/animagine-xl-40 6.46G 245k
DreamShaper 全能型选手，试图覆盖写实、动漫、奇幻、艺术等多种风格 https://civitai.com/models/4384/dreamshaper?modelVersionId=128713 1.99G 5.4M

2、将下载的 checkpoints 放进 models 中的 checkpoints 文件夹下

1.2.3 Put your VAE in: models/vae

1、选择要下载的vae模型

VAE (Variational Autoencoder，变分自编码器) 可以理解为一个 “色彩与细节修复大师”。在像 SDXL 这样的文生图模型中，它主要负责两个工作：

  1. 解码生成：将模型内部生成的“潜在信息”最终转换成我们看到的 生动、色彩饱满的图像。
  2. 修复缺陷：专门用来改善图像中最常见的两个问题：
    • 色彩发灰：让画面色彩更鲜艳、通透。
    • 细节模糊：让边缘更清晰，尤其是在面部、眼睛、纹理等关键细节上。
vae Model 描述 下载地址 大小
SDXL VAE https://civitai.com/models/296576/sdxl-vae 319.14MB

2、将下载的 vae 分别放进 models 中的 vae 文件夹下，如上图。

1.3、ComfyUI dependencies.

1
2
3
cd ~/Project/ComfyUI
# 使用指定版本安装包和运行脚本
pip3.12 install -r requirements.txt

注意：这里的安装都必须要在虚拟环境中执行

2、运行 python3.12 main.py

1
2
# 使用指定版本安装包和运行脚本
python3.12 main.py

二、ComfyUI 入门教程

https://docs.comfy.org/zh/tutorials/video/ltx/ltx-2-3

ComfyUI 入门教程

正向：beautiful scenery nature glass bottle landscape, purple galaxy bottle,

负向：watermark

checkpoint：rpg_v5.safetensors

采样器名称：euler

调度器：normal

好用的工具安装

1、Prompt Assistant / 提示词小助手

当你进行翻译时候可能出现如下错误：

1
Using SOCKS proxy, but the 'socksio' package is not installed. Make sure to install httpx using 'pip install httpx[socks]".

解决方式：在该虚拟环境下运行以下代码安装所需的包。

1
pip3.12 install 'httpx[socks]'

End