2. Как установить ComfyUI в Windows и Linux

Как генерировать фото, видео, музыку и 3D модели с помощью нейросетей на своём компьютере (руководство по ComfyUI). Полное оглавление

1. Как использовать нейросети для создания изображений, видео и музыки на своём компьютере — что для этого нужно и какой результат можно получить
2. Как установить ComfyUI в Windows и Linux

2.1 Что такое ComfyUI

2.2 Какие операционные системы поддерживает ComfyUI

2.3 Какое железо поддерживает ComfyUI

2.4 Как установить ComfyUI в Windows

2.5 Как установить ComfyUI в Linux

2.6 Нужно ли регистрироваться на Хаггингфейс (huggingface.co)

3. Виды ИИ (нейросетей) для генерации картинок и видео. Основные термины
4. Лучшие ИИ (нейросети) для генерации картинок, видео, музыки и 3D моделей (краткое описание готовых шаблонов ComfyUI для генерации фото и видео на своём компьютере)
5. Знакомство с ComfyUI
6. Основы генерации изображений из текстовых запросов на своём компьютере
7. Расширение области видимости изображений с помощью нейросетей (расширение кадра, изменение соотношения сторон с добавлением новой информации — outpainting)
8. Замена, удаление и добавление объектов на изображение с помощью ИИ — редактирование по маске (inpainting)
9. Редактирование изображения с помощью нейросетей (I2I)
10. Междоменный перевод изображений (преобразование между различными типами изображений)
11. Превращение нефотографических изображений в фотографии (фотореалистичные изображения) с помощью ИИ
12. Ускорение создания и редактирования изображений с помощью дистиллированных моделей нейросетей
13. Генерация изображений с текстом. Добавление текста на изображение и редактирование текста с помощью нейросетей
14. Использование одного или нескольких референсов для генерации картинок: изменение фона, изменение и дорисовка объектов и персонажей, замена стиля, расширение кадра, перенос стиля между картинками, объединение нескольких изображений в одно
15. Восстановление и улучшение изображений с помощью ИИ: устранение повреждений фотографий, превращение чёрно-белой фотографии в цветную, улучшение и усиление цветов, увеличение размера изображения
16. Редактирование изображений через декомпозицию сцены
17. Генерация изображений из других изображений с применением ControlNet, IP-Adapter и IP-Control
18. Физически правдоподобное редактирование изображений с ChronoEdit 14B (Physics-driven image editing)
19. Основы создания видео из текстовых запросов на своём компьютере
20. Основы генерации видео из изображений на своём компьютере
21. Создание видео из первого и последнего кадров
22. Редактирование видео с помощью нейросетей — замена и удаление элементов (генерация видео из видео)
23. Создание видео с контролем камеры
24. Создание видео с контролем движений
25. Методы создания длинных видео с помощью ИИ
26. Создание музыки по словесному описанию. Создание песен из ваших стихов. Редактирование существующих песен (стиля и слов)
27. Создание 3D моделей из изображений
28. Продвинутые техники написания промптов
29. Детальное управление жанром, кадровкой, ракурсом, композицией, расположением камеры, освещением, скоростью съёмки, движениями камеры, позиционированием и пластикой тела и прочим в промптах
30. Типы моделей нейросетей. Квантование. Общие принципы использования дообученных модулей нейросетей
31. Детальное понимание рабочего процесса (workflow) в ComfyUI. Узлы ComfyUI
32. Настройки workflow при генерации изображений, видео, музыки и 3D моделей в ComfyUI
33. Улучшение качества изображений и видео с помощью перехода на модели полной точности (неквантованные модели)
34. Уменьшение потребления VRAM и ускорение вычислений за счёт перехода на квантованные модели
35. Модификация workflow для использования дообученных моделей в ComfyUI
36. Создание новых workflow в ComfyUI с нуля
37. Как использовать модели в формате GGUF в ComfyUI
38. Как делать апскейлинг (upscale) изображений и видео с помощью ИИ
39. Опции и настройки для экономии видеопамяти (VRAM). Как создавать HD видео на обычном компьютере
40. Есть ли цензура в локальных ИИ. Почему результаты не соответствуют запросам. Глубокое понимание работы нейросетей. Как полностью снять все запреты с локальных ИИ
41. Коммерческие ИИ (нейросети) для создания и редактирования картинок, видео, 3D, озвучивания текста и прочего (краткое описание готовых шаблонов ComfyUI доступных по API)
42. Обзор популярных кастомных моделей
43. Обзор популярных дообученных модулей (LoRA-адаптеров)
44. Обзор ИИ-моделей для генерации аниме-артов
45. Обзор дообученных модулей (LoRA-адаптеров) для аниме-изображений
46. Генерация изображений в аниме-стиле с помощью нейросетей

……………..

……………..

И это далеко не конец!!! Проявляете активность: пишите в комментариях ваши замечания по найденным ошибкам, делитесь ссылками на эту онлайн книгу. При возможности, вы можете донатить для оплаты железа используемого в тестировании. При наличии интереса и активности, данная книга будет быстро дополняться новыми главами — здесь ещё много интересных тем, от детальной настройки стиля генерируемого контента до самостоятельного дообучения моделей.

В этом разделе мы рассмотрим установку ComfyUI. Знакомство с ComfyUI и самими нейросетями мы начнём в следующих частях: следующие 2 части посвящена видам нейросетей которые вы можете найти в ComfyUI, и далее мы изучим интерфейс ComfyUI и будем постепенно учится работать с имеющимися ИИ.

2.1 Что такое ComfyUI

ComfyUI — это самая мощная и модульная модель диффузии с графическим интерфейсом, API и бэкэндом с интерфейсом графа/узлов.

Говоря простым языком, ComfyUI позволяет запускать нейросети на локальном компьютере без программирования используя только графический интерфейс. ComfyUI поддерживает работу с десятками разнообразных нейросетей. Работа в графическом интерфейсе проста и удобна.

2.2 Какие операционные системы поддерживает ComfyUI

ComfyUI работает на Python и в качестве графического интерфейса использует веб-интерфейс. То есть всё это является кроссплатформенным и работает на Windows, Linux и Mac. Вы можете использовать ComfyUI в любой из этих операционных систем.

Для данной онлайн-книги мои примеры созданы в ComfyUI на Linux.

2.3 Какое железо поддерживает ComfyUI

ComfyUI поддерживает следующее:

• Видеокарта NVIDIA
• Видеокарта AMD
• Видеокарта Intel (включая Arc серии, поддерживает IPEX)
• Apple Silicon (M1/M2)
• Ascend NPU
• Cambricon MLU
• Центральный процессор (с параметром —cpu, медленнее)

То есть если у вас любая из этих видео карт или нет видеокарты вообще, то ComfyUI будет работать.

2.4 Как установить ComfyUI в Windows

1) Начните с установки драйверов вашей видеокарты или обновлением до последней версии, если он уже установлен

В последних версиях Windows видеодрайвер обновляется автоматически, то есть большинству пользователь не нужно это делать вручную.

2) Выберите версию которую вы хотите установить. Имеются два варианта:

• EXE-установщик: предназначен для владельцев видеокарт NVIDIA, основывается на стабильных версиях ComfyUI. Ссылки: https://www.comfy.org/download и https://github.com/Comfy-Org/desktop/releases
• портативная версия: самая последняя версия с новыми изменениями — достаточно скачать файл и распаковать архив, можно поместить в любое место на диске. Подходит для владельцев видеокарт NVIDIA и AMD

Я в качестве примера буду использовать портативную версию.

3) Скачайте портативную версию ComfyUI

Для скачивания портативной ComfyUI перейдите на страницу https://github.com/comfyanonymous/ComfyUI/releases.

Для последнего выпуска выберите одну из следующих версий:

• ComfyUI_windows_portable_amd.7z – для владельцев AMD видеокарт
• ComfyUI_windows_portable_nvidia.7z – для владельцев старых NVIDIA видеокарт (сборка для видеокарт NVIDIA, использующая стандартный CUDA toolkit, который идёт в обычных релизах PyTorch. Обычно это CUDA 12.1, 12.4 или около того — зависит от версии пакета, но это «обычная» сборка.)
• ComfyUI_windows_portable_nvidia_cu128.7z – для владельцев современных видеокарт (то же самое, но специально собранное под CUDA 12.8 (cu128 = CUDA 12.8). «nvidia_cu128» относится к версии CUDA 12.8 от NVIDIA, которая разработана для повышения производительности и совместимости приложений, использующих графические процессоры NVIDIA, особенно в средах машинного обучения и глубокого обучения, таких как PyTorch. Если у вас свежий драйвер NVIDIA (550+), CUDA 12.8 полностью поддерживается. Вариант cu128 может работать быстрее на некоторых новых GPU (RTX 40xx/RTX 50xx), т.к. там обновлены ядра и оптимизации)

4) Распакуйте архив в любое удобное место.

Обратите внимание, что после распаковки одна только ComfyUI с её зависимостями (без моделей нейросетей) занимает около 5.2 гигабайт. Каждая нейросеть состоит из нескольких модулей, в среднем для сохранения файлов одной нейросети нужно 20-30 гигабайт (диапазон от 2 до 55 гигабайт). Поэтому устанавливайте ComfyUI с учётом того, что потребуется довольно много места.

5) Как запустить ComfyUI в Windows

В папке ComfyUI_windows_portable имеется три файла для запуска:

• run_cpu.bat — для тех, кто хочет запускать нейросети исключительно на центральном процессоре — это медленно;
• run_nvidia_gpu.bat — обычный запуск ComfyUI
• run_nvidia_gpu_fast_fp16_accumulation.bat — запуск с оптимизацией, которую лично я не использую (работает далеко не во всех моделях; а в тех где работает может приводить к небольшим дефектам картинки)

Всё очень просто — запускаете ярлык двойным кликом и ждёте:

Откроется консольное окно — вам нужно дождаться, когда завершиться запуске сервера — об этом вы узнаете по надписи

To see the GUI go to: http://127.0.0.1:8188

И по открывшемуся веб-браузеру на странице http://127.0.0.1:8188:

В приветственном окне нет ничего интересного — чтобы убедиться, что всё работает можете нажать кнопку «Templates».

Возможно, в первый момент вам ничего не понятно — это нормально, именно поэтому и написана эта онлайн книга — очень скоро мы изучим ComfyUI вдоль и поперёк.

Кстати, чтобы программа работала, не закрывайте консольное окно.

6) Как остановить ComfyUI в Windows

Для остановки ComfyUI недостаточно просто закрыть окно веб-браузера — сервер продолжит работу.

Для правильного выключения ComfyUI в консольном окне нажмите Ctrl+c, затем введите Y (согласие на остановку запущенных работ) и нажмите Enter.

Вы также можете просто закрыть окно консоли — но сервер перед остановкой делает очистку — лучше закрывать программу правильно, как об этом рассказано в абзаце выше.

7) Как обновить ComfyUI в Windows

В папке ComfyUI_windows_portable вы найдёте подпапку update с тремя ярлыками:

• update_comfyui.bat — обычное обновление ComfyUI (самая свежая)
• update_comfyui_and_python_dependencies.bat — обновляет только pytorch и все зависимости python, НЕ обновляет ComfyUI. Авторы ComfyUI советуют запускать этот файл только если вы уже столкнулись с ошибками, связанными с неудовлетворёнными зависимостями
• update_comfyui_stable.bat — обновление ComfyUI до стабильной версии (чуть менее свежая)

2.5 Как установить ComfyUI в Linux

Обратите внимание, что после установки одна только ComfyUI с её зависимостями (без моделей нейросетей) занимает около 7.5 гигабайт. Каждая нейросеть состоит из нескольких модулей, в среднем для сохранения файлов одной нейросети нужно 20-30 гигабайт (диапазон от 2 до 55 гигабайт). Поэтому устанавливайте ComfyUI с учётом того, что потребуется довольно много места.

1) Установите драйверов видеокарты

1.1) Установка NVIDIA Open в Debian, Kali Linux, Ubuntu, Linux Mint

Обновите ОС и перезагрузите компьютер:

sudo apt-get update && sudo apt-get dist-upgrade -y

Затем выполните следующую команду:

sudo apt install nvidia-open-kernel-dkms nvidia-driver firmware-misc-nonfree

1.2) Установка NVIDIA Open в Arch Linux (Manjaro, BlackArch)

Рекомендуется обновить ОС и перезагрузить компьютер:

sudo pacman -Syu

Затем выполните следующую команду:

sudo pacman -S nvidia-open

Примечание для любой версии Linux: если у вас ноутбук с графической картой NVIDIA, то обязательно включите Dynamic Boost — видеокарта станет значительно мощнее. О том, как это сделать, смотрите в статье «Как разблокировать максимальный TGP для видеокарты NVIDIA в Linux. Как включить Dynamic Boost на Linux».

2) Как установить ComfyUI и её зависимостей в Linux

У вас уже должен быть установлен Python и git — если нет, то установите эти пакеты из стандартных репозиториев вашего дистрибутива.

Далее для установки ComfyUI выполните следующие команды (одинаковые для любого дистрибутива):

git clone https://github.com/comfyanonymous/ComfyUI
cd ComfyUI
python -m venv venv
source venv/bin/activate
pip install --upgrade pip
pip install -r requirements.txt

3) Как запустить ComfyUI в Linux

Перейдите в папку куда вы установили ComfyUI:

cd ~/ai/ComfyUI/

И выполните следующие команды:

source venv/bin/activate
python main.py

Когда сервер запустится, откройте в любом веб-браузере страницу http://127.0.0.1:8188/

5) Как обновить ComfyUI в Linux

ComfyUI развивается очень бурно — исходные файлы обновляются каждый день.

Для обновления ComfyUI перейдите в папку куда вы установили ComfyUI:

cd ~/ai/ComfyUI/

И выполните следующие команды:

git pull
source venv/bin/activate
pip install -U -r requirements.txt

2.6 Нужно ли регистрироваться на Хаггингфейс (huggingface.co)

Все модели которые мы здесь будем использовать, как правило, можно найти на сайте huggingface.co. Там они доступны для скачивания только после регистрации и принятия пользовательского соглашения.

То есть можно подумать, что поскольку мы будем использовать различные модели нейросетей (а ComfyUI поставляется без файлов весов), то нам нужно регистрироваться на huggingface.co? Особенно запутанные советы даёт ChatGPT — я вообще зря его спросил про ComfyUI — я потратил впустую день выполняя какие-то нелепые инструкции🤦‍♂️ В советах ChatGPT неправильным оказалось просто всё 🤣

На самом деле нам не обязательно регистрироваться на Хаггингфейс. ComfyUI предоставляет ссылки на все необходимые в её работе модели, то есть регистрироваться и что-то вручную скачивать с huggingface.co совсем не обязательно. По крайней мере на начальном этапе. Дальше мы рассмотрим продвинутое использование ComfyUI с построением собственных workflow для моделей которые не представлены в ComfyUI. На этом этапе мы действительно будем самостоятельно (без помощи ComfyUI) искать и скачивать файлы весов моделей под наши нужды. Но даже в этом случае huggingface.co будет не основным нашим сайтом для получения дообученных модулей.

Смотрите продолжение: Виды ИИ (нейросетей) для генерации картинок и видео. Основные термины