1. Как использовать нейросети для создания изображений, видео и музыки на своём компьютере — что для этого нужно и какой результат можно получить

Как генерировать фото, видео, музыку и 3D модели с помощью нейросетей на своём компьютере (руководство по ComfyUI). Полное оглавление

1. Как использовать нейросети для создания изображений, видео и музыки на своём компьютере — что для этого нужно и какой результат можно получить

1.1 Примеры фото, видео, музыки и 3D моделей созданных на локальном компьютере (в ComfyUI)

1.2 Сколько стоит использовать ИИ на своём компьютере для создания картинок и видео

1.3 Зачем использовать нейросети на своём компьютере

1.4 Что можно делать с помощью нейросетей на своём компьютере

1.5 Требования к железу для работы с ComfyUI

2. Как установить ComfyUI в Windows и Linux
3. Виды ИИ (нейросетей) для генерации картинок и видео. Основные термины
4. Лучшие ИИ (нейросети) для генерации картинок, видео, музыки и 3D моделей (краткое описание готовых шаблонов ComfyUI для генерации фото и видео на своём компьютере)
5. Знакомство с ComfyUI
6. Основы генерации изображений из текстовых запросов на своём компьютере
7. Расширение области видимости изображений с помощью нейросетей (расширение кадра, изменение соотношения сторон с добавлением новой информации — outpainting)
8. Замена, удаление и добавление объектов на изображение с помощью ИИ — редактирование по маске (inpainting)
9. Редактирование изображения с помощью нейросетей (I2I)
10. Междоменный перевод изображений (преобразование между различными типами изображений)
11. Превращение нефотографических изображений в фотографии (фотореалистичные изображения) с помощью ИИ
12. Ускорение создания и редактирования изображений с помощью дистиллированных моделей нейросетей
13. Генерация изображений с текстом. Добавление текста на изображение и редактирование текста с помощью нейросетей
14. Использование одного или нескольких референсов для генерации картинок: изменение фона, изменение и дорисовка объектов и персонажей, замена стиля, расширение кадра, перенос стиля между картинками, объединение нескольких изображений в одно
15. Восстановление и улучшение изображений с помощью ИИ: устранение повреждений фотографий, превращение чёрно-белой фотографии в цветную, улучшение и усиление цветов, увеличение размера изображения
16. Редактирование изображений через декомпозицию сцены
17. Генерация изображений из других изображений с применением ControlNet, IP-Adapter и IP-Control
18. Физически правдоподобное редактирование изображений с ChronoEdit 14B (Physics-driven image editing)
19. Основы создания видео из текстовых запросов на своём компьютере
20. Основы генерации видео из изображений на своём компьютере
21. Создание видео из первого и последнего кадров
22. Редактирование видео с помощью нейросетей — замена и удаление элементов (генерация видео из видео)
23. Создание видео с контролем камеры
24. Создание видео с контролем движений
25. Методы создания длинных видео с помощью ИИ
26. Создание музыки по словесному описанию. Создание песен из ваших стихов. Редактирование существующих песен (стиля и слов)
27. Создание 3D моделей из изображений
28. Продвинутые техники написания промптов
29. Детальное управление жанром, кадровкой, ракурсом, композицией, расположением камеры, освещением, скоростью съёмки, движениями камеры, позиционированием и пластикой тела и прочим в промптах
30. Типы моделей нейросетей. Квантование. Общие принципы использования дообученных модулей нейросетей
31. Детальное понимание рабочего процесса (workflow) в ComfyUI. Узлы ComfyUI
32. Настройки workflow при генерации изображений, видео, музыки и 3D моделей в ComfyUI
33. Улучшение качества изображений и видео с помощью перехода на модели полной точности (неквантованные модели)
34. Уменьшение потребления VRAM и ускорение вычислений за счёт перехода на квантованные модели
35. Модификация workflow для использования дообученных моделей в ComfyUI
36. Создание новых workflow в ComfyUI с нуля
37. Как использовать модели в формате GGUF в ComfyUI
38. Как делать апскейлинг (upscale) изображений и видео с помощью ИИ
39. Опции и настройки для экономии видеопамяти (VRAM). Как создавать HD видео на обычном компьютере
40. Есть ли цензура в локальных ИИ. Почему результаты не соответствуют запросам. Глубокое понимание работы нейросетей. Как полностью снять все запреты с локальных ИИ
41. Коммерческие ИИ (нейросети) для создания и редактирования картинок, видео, 3D, озвучивания текста и прочего (краткое описание готовых шаблонов ComfyUI доступных по API)
42. Обзор популярных кастомных моделей
43. Обзор популярных дообученных модулей (LoRA-адаптеров)
44. Обзор ИИ-моделей для генерации аниме-артов
45. Обзор дообученных модулей (LoRA-адаптеров) для аниме-изображений
46. Генерация изображений в аниме-стиле с помощью нейросетей

……………..

……………..

И это далеко не конец!!! Проявляете активность: пишите в комментариях ваши замечания по найденным ошибкам, делитесь ссылками на эту онлайн книгу. При возможности, вы можете донатить для оплаты железа используемого в тестировании. При наличии интереса и активности, данная книга будет быстро дополняться новыми главами — здесь ещё много интересных тем, от детальной настройки стиля генерируемого контента до самостоятельного дообучения моделей.

1.1 Примеры фото, видео, музыки и 3D моделей созданных на локальном компьютере (в ComfyUI)

Генеративный искусственный интеллект стал общедоступен относительно недавно — буквально несколько лет назад. За эти годы он прошёл путь от смешных картинок рук с семью пальцами до HD видео с семью пальцами которые любой желающий может генерировать прямо на своём компьютере.

К примеру, эти фрагменты я создал на своём ноутбуке — их начальное расширение 1280×720, то есть HD:

На мой взгляд, реалистичность очень высокая — я бы не смог с полной уверенностью сказать, что это не реальные ролики, а сгенерированные.

Кстати, музыка тоже сгенерирована нейросетью.

Ещё примеры сгенерированных видеофрагментов — их начальное разрешение 1280×1280:

Опять же, очень неплохо с точки зрения реалистичности — разве что, искусственность видео может выдавать только то, что «слишком хорошо чтобы быть правдой».

А эти видео фраменты были сгенерированы сразу в FullHD — при таком начальном разрешении возможны эпические панорамы и высоко детализированные сцены:

С помощью нейросетей на своём компьютере вы можете сгенерировать вот такую милую композицию с котёнком:

Или расширить уже имеющееся изображение и посмотреть что не попало в кадр:

Или взять и оживить картинку, чтобы познакомиться не только с котёнком, но и с его хозяйкой:

Берём красивую картинку:

Смотрим что не попало в кадр:

Красиво — не правда ли? А если это так красиво в статике, то как оно будет выглядеть в динамике? Это легко проверить:

Оживлять можно изображения людей:

Например:

А также оживить можно нарисованного персонажа:

Посмотрим что не попало в кадр:

А теперь оживим:

И это только несколько примеров. Уже сейчас прямо на своём компьютере вы можете запускать любые из десятков (может быть уже больше сотни) моделей. Вы можете подключать разнообразные дообученные модули моделей (а их количество в публичном пространстве уже точно измеряется сотнями или тысячами) и создавать уникальные шедевры не имеющие ничего общего к тем легко узнаваемым картинкам которые мы видели на заре Stable Diffusion.

На самом деле, созданием картинок и видео возможности ИИ не ограничиваются. Они могут впечатляющим образом редактировать уже имеющиеся изображения и видео, а также полностью их перерисовывать по вашим пожеланиям.

1.2 Сколько стоит использовать ИИ на своём компьютере для создания картинок и видео

Хорошая новость в том, что всё рассматриваемое в этой онлайн книге программное обеспечение является бесплатным. Бесплатными (с открытым исходным кодом) являются также рассматриваемые модели нейросетей.

Вам нужно обеспечить аппаратную часть (довольно производительный компьютер).

И также вам нужно оплачивать электричество — нейросети заставляют компьютер работать на полную, во время их работы он будет потреблять максимум энергии.

1.3 Зачем использовать нейросети на своём компьютере

Обучение

Все знают, что нейросеть может генерировать картинки. Но все ли знают что открытых (бесплатных) нейросетей больше десятка? А если брать вариации, которые заточены под ту или иную задачу (редактирование, дорисовывание, удаление объектов из изображения, контроль композиции), то таких открытых нейросетей уже много десятков (может быть больше сотни).

Во всём этом начинаешь разбираться только когда сам запускаешь нейросети. Вряд ли этому научишься отправляя промпт на веб-сайте.

Использование дообученных моделей и тонкая настройка нейросети

Запуская ИИ на своём компьютере вы можете подключать модули дообученных моделей, например, для ультрареалистичной кожи, для имитации плёночной камеры, для имитации любительской съёмки, для имитации снимка из 90-х, для добавления персонажей, жестов, поз и явлений о которых не знает исходная модель, для имитации снимков из Инстаграм и очень много другого.

Многие шедевры, которые запоминаются и которые хочется сохранить себе на компьютер, создавались с использованием 2-5 модулей дообученных моделей. То есть используя дообученные модели и меняя настройки в рабочем процессе вы можете выработать свой собственный стиль, который не сможет повторить ванильная модель с настройками по умолчанию.

Обход цензуры и ограничений

У себя на компьютере вы можете творить что угодно — границами является только ваши фантазии (и необходимость подключить модули дообученных моделей, если это не входит в базовую нейросеть).

NSFW — ПРЕДУПРЕЖДЕНИЕ — в этом видео голые женщины — просто не запускайте если не хотите это видеть:

Бесплатность

Некоторые сервисы предлагают платные пакеты с возможностью, например, генерировать NSFW контент (контент с наготой). Но это стоит денег. При локальном запуске вы платите только за потраченное электричество.

Знакомство с ИИ и нейросетями за пределами простой генерации

При самостоятельном запуске вы очень быстро научитесь разбираться в видах моделей и их модулей, степени квантования, глубоком понимании их работы. Возможно, даже освоите создание собственных дообученных моделей — это проще, чем кажется.

1.4 Что можно делать с помощью нейросетей на своём компьютере

На своём локальном компьютере вы можете запускать нейросети чтобы:

• генерировать изображения по текстовым запросам
• создавать изображения взяв за основу другое изображение
• редактировать изображения (добавлять и удалять элементы, расширять размер видимой области, менять фон, переносить стили между изображениями и прочее)
• генерировать видео по текстовым запросам
• генерировать видео из изображения
• генерировать видео из начального и конечного кадров изображения
• редактировать видео (добавлять и удалять элементы, расширять размер видимой области)
• создавать видео с контролем движения персонажей и камеры
• генерировать музыку по вашему описанию
• генерировать песни по вашим стихам и описанию
• редактировать существующие песни меняя в них стиль и слова
• генерировать 3D модели из одного или нескольких изображений

1.5 Требования к железу для работы с ComfyUI

Поскольку мы будем запускать нейросети на своём компьютере, то вам нужно будет обеспечить аппаратную составляющую. Проще говоря, для многих современных ИИ для генерации контента в высоком разрешении требуется весьма мощное железо. В первую очередь обращают внимание на мощные видеокарты с большим количеством VRAM, но на самом деле весь компьютер в целом должен быть весьма производительным — даже у топовых видеокарт VRAM может не хватать на HD видео и в этом случае используется оперативная память для хранения данных которые в данный момент не используются в вычислениях. То есть оперативной памяти тоже чем больше тем лучше. Чтобы копирование данных из оперативной памяти в VRAM не задерживали сильно процесс, нужен хороший производительный центральный процессор. Тем более, что некоторые операции можно переложить на ЦП (это не ускорит процесс, но снизит нагрузку на VRAM и позволит хотя бы завершить процесс понижая риск словить OOM (Out Of Memory)).

Но не всё так грустно. Специально для владельцев слабых компьютеров подготавливают версии квантованных моделей. Об этом мы поговорим более подробно в одной из следующих частей. Суть в том, что модели можно запускать на более слабом железе, но за это приходится платить уменьшением качества. То есть в данной ситуации работает принцип «лучше чем ничего». Причём вполне возможно запускать нейросети исключительно на центральном процессоре, не используя видеокарту. Это возможно, но нужно быть готовым ждать — это значительно медленнее чем на видеокарте.

То есть для слабого железа алгоритм оптимизации следующий:

• уменьшение разрешения изображения или видео; уменьшение количества кадров в видео пока не исчезнет OOM
• запуск квантованных моделей. При этом нужно идти от моделей со слабым квантованием к более сильному квантованию пока не исчезнет ошибка OOM

Эти два подхода нужно комбинировать и найти свою золотую середину.

Обо всём этом мы будем говорить отдельно. Напомню многие модели можно запускать даже на центральном процессоре без видеокарты.

Характеристики моего ноутбука (MSI Raider A18 HX A9WIG) на котором я создал все используемые в этой онлайн-книге видео:

• ЦП: AMD Ryzen 9 9955HX3D (16 полноценных ядер, 32 потока)
• NVIDIA GeForce RTX 5080 (мобильная, с 16 Гб) с включённым Dynamic Boost (это очень важно — это значительно ускорило процесс генерации по сравнению с выключенным Dynamic Boost)
• 64 Гб оперативной памяти + 200 Гб файл подкачки на очень быстром NVMe (PCIe 5.0)
• В качестве диска для хранения моделей используется другой очень быстрый NVMe

Пример пикового использования оперативной памяти (на самом деле такое бывает не часто):

И я бы не сказал что это «топ» — я бы сказал, что это скорее что-то начальное для генерации видео. К примеру, даже с такими характеристиками «из коробки» я не мог создавать HD видео — для этого потребовалась жёсткая оптимизация с тонкой подборкой опций и настроек — этому будет посвящена отдельная глава, это очень важно, до всего этого я дошёл сам экспериментальным путём — меняя опции, настройки, разрешения, количество кадров, ловя OOM — я всё-таки сумел проложить свой путь к HD видео.

Опять же заострю внимание — вам не обязательно нужен настолько мощный компьютер для запуска многих моделей, в том числе для генерации видео. На слабых компьютерах вы можете использовать квантованные модели (на сильно слабых — очень сильно квантованные) и генерировать видео в более низком разрешении — это вполне реально.

Смотрите продолжение: 2. Как установить ComfyUI в Windows и Linux