6. Основы генерации изображений из текстовых запросов на своём компьютере

Как генерировать фото, видео, музыку и 3D модели с помощью нейросетей на своём компьютере (руководство по ComfyUI). Полное оглавление

1. Как использовать нейросети для создания изображений, видео и музыки на своём компьютере — что для этого нужно и какой результат можно получить
2. Как установить ComfyUI в Windows и Linux
3. Виды ИИ (нейросетей) для генерации картинок и видео. Основные термины
4. Лучшие ИИ (нейросети) для генерации картинок, видео, музыки и 3D моделей (краткое описание готовых шаблонов ComfyUI для генерации фото и видео на своём компьютере)
5. Знакомство с ComfyUI
6. Основы генерации изображений из текстовых запросов на своём компьютере

Промпты для тестирования генеративных моделей

Flux.2 Dev

Flux.1 Krea Dev

Qwen 2512 Text to Image

Qwen Text to Image

Wan 2.2 text-to-image

Flux.1

Z-Image-Turbo Text to Image

Chroma1-HD

Chroma1 Radiance text to image

HiDream I1

OmniGen2

Ovis-Image Text to Image

SDXL

SD3.5

Выводы по основным генераторам изображений

7. Расширение области видимости изображений с помощью нейросетей (расширение кадра, изменение соотношения сторон с добавлением новой информации — outpainting)
8. Замена, удаление и добавление объектов на изображение с помощью ИИ — редактирование по маске (inpainting)
9. Редактирование изображения с помощью нейросетей (I2I)
10. Междоменный перевод изображений (преобразование между различными типами изображений)
11. Превращение нефотографических изображений в фотографии (фотореалистичные изображения) с помощью ИИ
12. Ускорение создания и редактирования изображений с помощью дистиллированных моделей нейросетей
13. Генерация изображений с текстом. Добавление текста на изображение и редактирование текста с помощью нейросетей
14. Использование одного или нескольких референсов для генерации картинок: изменение фона, изменение и дорисовка объектов и персонажей, замена стиля, расширение кадра, перенос стиля между картинками, объединение нескольких изображений в одно
15. Восстановление и улучшение изображений с помощью ИИ: устранение повреждений фотографий, превращение чёрно-белой фотографии в цветную, улучшение и усиление цветов, увеличение размера изображения
16. Редактирование изображений через декомпозицию сцены
17. Генерация изображений из других изображений с применением ControlNet, IP-Adapter и IP-Control
18. Физически правдоподобное редактирование изображений с ChronoEdit 14B (Physics-driven image editing)
19. Основы создания видео из текстовых запросов на своём компьютере
20. Основы генерации видео из изображений на своём компьютере
21. Создание видео из первого и последнего кадров
22. Редактирование видео с помощью нейросетей — замена и удаление элементов (генерация видео из видео)
23. Создание видео с контролем камеры
24. Создание видео с контролем движений
25. Методы создания длинных видео с помощью ИИ
26. Создание музыки по словесному описанию. Создание песен из ваших стихов. Редактирование существующих песен (стиля и слов)
27. Создание 3D моделей из изображений
28. Продвинутые техники написания промптов
29. Детальное управление жанром, кадровкой, ракурсом, композицией, расположением камеры, освещением, скоростью съёмки, движениями камеры, позиционированием и пластикой тела и прочим в промптах
30. Типы моделей нейросетей. Квантование. Общие принципы использования дообученных модулей нейросетей
31. Детальное понимание рабочего процесса (workflow) в ComfyUI. Узлы ComfyUI
32. Настройки workflow при генерации изображений, видео, музыки и 3D моделей в ComfyUI
33. Улучшение качества изображений и видео с помощью перехода на модели полной точности (неквантованные модели)
34. Уменьшение потребления VRAM и ускорение вычислений за счёт перехода на квантованные модели
35. Модификация workflow для использования дообученных моделей в ComfyUI
36. Создание новых workflow в ComfyUI с нуля
37. Как использовать модели в формате GGUF в ComfyUI
38. Как делать апскейлинг (upscale) изображений и видео с помощью ИИ
39. Опции и настройки для экономии видеопамяти (VRAM). Как создавать HD видео на обычном компьютере
40. Есть ли цензура в локальных ИИ. Почему результаты не соответствуют запросам. Глубокое понимание работы нейросетей. Как полностью снять все запреты с локальных ИИ
41. Коммерческие ИИ (нейросети) для создания и редактирования картинок, видео, 3D, озвучивания текста и прочего (краткое описание готовых шаблонов ComfyUI доступных по API)
42. Обзор популярных кастомных моделей
43. Обзор популярных дообученных модулей (LoRA-адаптеров)
44. Обзор ИИ-моделей для генерации аниме-артов
45. Обзор дообученных модулей (LoRA-адаптеров) для аниме-изображений
46. Генерация изображений в аниме-стиле с помощью нейросетей

……………..

……………..

И это далеко не конец!!! Проявляете активность: пишите в комментариях ваши замечания по найденным ошибкам, делитесь ссылками на эту онлайн книгу. При возможности, вы можете донатить для оплаты железа используемого в тестировании. При наличии интереса и активности, данная книга будет быстро дополняться новыми главами — здесь ещё много интересных тем, от детальной настройки стиля генерируемого контента до самостоятельного дообучения моделей.

В этой части мы рассмотрим особенности каждой модели по генерации изображений. Общие основы использования ComfyUI уже были рассмотрены в предыдущем разделе, поэтому если у вас возникают вопросы как запускать генерацию, как и куда скачивать файлы моделей и что нужно нажимать в ComfyUI, то смотрите предыдущий раздел «Знакомство с ComfyUI».

Промпты для тестирования генеративных моделей

Промпты — текстовые запросы — являются ключевыми (хотя и не единственными) факторами определяющими результат при генерации изображений по T2I (также влияют дополнительные модули модели, настройки, начальный шум).

Я составил несколько тестовых промптов чтобы мы получили общие представления о том на что похожи гененируемые картинки и насколько модели в целом понимают промпты и следуют им. Это то, с чего мы начнём. Впоследствии мы подробно рассмотрим важные аспекты детального управления изображением с помощью текстовых промптов.

Смотрите также: 

• 25. Продвинутые техники написания промптов
• 26. Детальное управление жанром, кадровкой, ракурсом, композицией, расположением камеры, освещением, скоростью съёмки, движениями камеры, позиционированием и пластикой тела и прочим в промптах

Приводя примеры сгенерированных изображений, я буду указывать номер используемого для них промпта, например, Prompt_1 или Prompt_8 — чтобы каждый раз не писать одни и те же запросы.

photo-realistic, cinematic lighting,
A small tropical island, a sandy beach, clear blue water, a small yacht on the water near the beach, and three young, beautiful women in the water. The first woman is wearing a bikini thong. This woman has blonde hair and large breasts. The second woman is wearing a trikini. This woman has black curly hair and a perfect butt. The third woman is wearing a strappy monokini. This woman has red hair. All the women have beautiful bodies. The swimsuits are different colors.

A quiet street in a big city. A girl with two high ponytails near a neon sign on the wall with the text "HackWare.ru". Her face is lit by reflections from the neon sign. She is wearing a purple short crop top. The girl's hair is red and curly.

A quiet street in a big city. A girl with two high ponytails near a green neon sign on the wall with the text "HackWare.ru". Her face is lit by reflections from the neon sign. She is wearing a neon-purple crop top. The girl's hair is red and curly. She is wearing a neon-blue mini skirt. She is wearing a jet-black choker.

photo-realistic, cinematic lighting,
Daytime, a young, beautiful woman is sitting at a table in a street cafe. The woman is fully visible. The woman is dressed in light summer clothes. The woman is wearing a short miniskirt. The woman's knees are pointed toward the viewer. The woman's legs are slightly spread. The camera is at the level of the woman's pelvis, and small panties are visible.

photo-realistic, cinematic lighting,
A small tropical island, a sandy beach, clear blue water, a small yacht in the water near the beach, and young beautiful women in the water.

photo-realistic, cinematic lighting,
A view of a seaside resort town from above, a panorama of the city, with sandy beaches and clear blue water, small houses and large skyscrapers, expensive hotels, and islands visible in the sea.

photo-realistic, cinematic lighting,
A young woman in very short shorts stands on a mountaintop. The woman is facing the camera. She has a very beautiful face. The woman has curly hair. The woman has large breasts. The woman is wearing a crop top. Behind the woman, a beautiful landscape is visible: lower mountains, beautiful picturesque plains.

photo-realistic, cinematic lighting,
A beautiful young woman is walking through school in a short miniskirt. The woman has a European appearance, the length of the skirt is 15 centimeters, the woman's shirt is unbuttoned and we can see her belly button.

photo-realistic, cinematic lighting,
A sunny summer beach. White sand. Beautiful turquoise water. Islands. A young woman lies on a sun lounger. She's wearing a tiny bikini.

photo-realistic, cinematic lighting,
An apartment with a sea view. Panoramic windows. Beautiful turquoise water. Islands. A young woman is lying on a sun lounger on the balcony. She is wearing a tiny bikini.

photo-realistic, cinematic lighting,
A very beautiful and very young woman in short shorts is walking along a mountain path. Mountains and plains are visible below. Picturesque mountain landscapes. Behind the woman, a beautiful landscape is visible: lower mountains, beautiful picturesque plains.

photo-realistic, cinematic lighting,
A comfortable office, a large desk with a large monitor, several bookshelves against the wall, and a view of a modern, large city from the window.

photo-realistic, cinematic lighting,
Autumn park, path with benches and trees, red and yellow leaves falling, sunny day, sunbeams through trees, realistic young woman walking,

photo-realistic, cinematic lighting,
A bright, sunny day at the beach. Turquoise, clear water. White sand. A very beautiful young woman in a sexy swimsuit is walking along the beach.

photo-realistic, cinematic lighting,
A large modern city, very tall skyscrapers, a clear sunny day, sunlight reflecting off the skyscraper windows and shimmering in all colors.

photo-realistic, cinematic lighting,
A clear, sunny day. A path in a winter park, with lots of snow around. Snowflakes are slowly falling from the sky. Sunlight reflects off the snow on the ground and on the trees.

photo-realistic, cinematic lighting,
A snowy winter night in a quiet alley. A streetlamp illuminates low houses covered in snow. Snow lies on the ground. A path is trodden through the snow between the houses. Snowflakes fall slowly.

photo-realistic, cinematic lighting,
A rainy day in the historical part of the city. Raindrops run down the trees and lampposts. Down the low, old houses. Water flows down the porch of an old house.

photo-realistic, cinematic lighting,
A clear night sky. There are many stars in the sky.

photo-realistic, cinematic lighting,
Cozy corner apartment, floor-to-ceiling windows, spacious room, large comfortable bed, young beautiful woman sleeping, city skyline outside, skyscrapers, dawn, bright sun rays breaking between buildings, sunlight reflecting on skyscrapers, warm natural lighting, soft morning atmosphere,

photo-realistic, cinematic lighting,
A very sunny day with very bright light. A young and beautiful woman is wearing a tiny crop top, which doesn't completely cover her big breasts from below. She's wearing a tiny and short pleated mini skirt moving in the wind. This woman has big breasts.

photo-realistic, cinematic lighting,
young woman is working in the garden, the young woman is very beautiful, the young woman is dirty with dirt,

photo-realistic, cinematic lighting,
A window of a house, in which a pretty young woman can be seen changing clothes, a view from the street through the apartment window,

blurry, low quality, distorted, ugly, bad anatomy, deformed, poorly drawn, anime, drawing, illustration, sketch, painting, text, watermark, cartoon, disney, bad hands, extra fingers, fused fingers, disfigured hands, malformed limbs, mutation, incorrect limb proportions, unfinished, out of focus, smudged, restricted palette, flat colors

Примечание: приведённые выше промпты могли быть не специально или специально немного отредактированы — конечный список сложился в процессе тестирования. На первых этапах некоторые промпты могли выглядеть чуть по-другому, например, «photo-realistic, cinematic lighting» при первых тестах я ставил в конец промпта пока мне не стало казаться, что на длинных промптах эта часть не учитывается моделями.

Примечание 2: дополненная «магическая» часть промпта у меня теперь выглядит так:

photo-realistic, cinematic lighting, Ultra HD, 4K, cinematic composition.

Flux.2 Dev

Flux.2 Dev (оригинальное название от авторов FLUX.2 [dev]) — это большой шаг в развитии после Flux.1. Причём большой во всех смыслах — файлы моделей стали ещё объёмнее в плане занимаемого места:

Предлагаемая по умолчанию версия является квантованной flux2_dev_fp8mixed.safetensors занимает 40 Гб (полная версия flux2-dev.safetensors тоже доступна по этой ссылке https://huggingface.co/black-forest-labs/FLUX.2-dev/resolve/main/flux2-dev.safetensors?download=true, но будьте готовы к тому, что она занимает 65 Гб).

Предлагаемый по умолчанию текстовый энкодер mistral_3_small_flux2_bf16.safetensors занимает 36 Гб — в качестве устройства обработки сразу указывайте CPU.

Смотрите также: Перенос модели CLIP-энкодера в RAM и обработка на CPU

Есть и квантованная версия mistral_3_small_flux2_fp8.safetensors (ссылка https://huggingface.co/Comfy-Org/flux2-dev/resolve/main/split_files/text_encoders/mistral_3_small_flux2_fp8.safetensors?download=true), но обычно осторожный ComfyUI, который как правило предлагает для скачивания квантованные версии, в этот раз по умолчанию даёт ссылку именно на полную — видимо, на это есть свои причины.

Примеры картинок ниже сгенерированы на моделях с самой полной точностью из доступных версий: на flux2-dev.safetensors и mistral_3_small_flux2_bf16.safetensors.

Авторы предлагают нам самим выбирать сколько шагов использовать для генерации изображений — в их блоге даны примеры для 6, 20 и 50 шагов. По умолчанию в workflow (рабочем процессе) ComfyUI указано 20 шагов — и в случае создания реалистичных картинок (похожих на фотографии), есть ощущение, что этого не хватает — иногда картинки получаются хорошими, но нередко бросаются в глаза непроработанные текстуры. В конечном счёте, для генерации реалистичных изображений я остановился на 50 шагах. Если ваша цель мультяшные или абстрактные картинки, то вам вполне может хватить 6-20 шагов.

Но не только разительно выросли размеры — качество тоже шагнуло на новый уровень. В целом картинки стали более «реальными», для моих промптов они стали похожи на фотографии сделанные хорошей камерой после чего их немного обработали (докрутка цвета в фоторедакторе или современная AI обработка камерой хорошего телефона).

Имеется прогресс и в понимании промптов — стало заметно лучше, хотя и не обходится без глупых ошибок в составлении композиции. Но это в целом решается соответствующими уточнениями промпта.

У FLUX.2 [dev] теперь 32 миллиарда параметров и это, насколько я понимаю, на данный момент рекорд для современных моделей генерирующих картинки.

Обновление: в ComfyUI добавили полноценный Flux.2 Dev Text to Image в котором не надо отключать ноды, но при этом испортили оригинальный шаблон для мультиреференса в Flux.2 Dev…. В общем, если вы запутались с шаблонами Flux.2 Dev в ComfyUI, то вот ссылка на мой шаблон Flux.2 Dev Text to Image без сабграфов (который на самом деле является первоначальным шаблоном ComfyUI, в настоящее время больше недоступным): T2I — Flux2.json

Обратите внимание, что теперь модель FLUX.2 [dev] является универсальной для генерации и редактирования изображений. И workflow в ComfyUI также сделали как бы универсальный, но по умолчанию он ожидает входных изображений. Чтобы переделать workflow из I2I в T2I, кликните левой кнопкой мыши по группе добавления изображений (Step 3- Reference images), затем в появившемся вверху меню кликните три вертикальные точки и в открывшемся списке нажмите «Bypass Group Nodes».

Смотрите также: Как отключать и включать отдельные ноды и целые workflow. В чём разница между «Bypass», «Set Group Nodes to Never», «Bypass Group Nodes»

Чтобы изменения стали постоянными, рекомендуется сохранить этот workflow.

Смотрите также: Как сохранять изменения в шаблонах ComfyUI

Примечание: в комментариях к workflow часто упоминается сочетание клавиш CTRL-B для отключения и включения группы узлов, но у меня эти горячие клавиши не работают.

Смотрите также: Полезные сочетания клавиш ComfyUI

Для FLUX.2 [dev] размеры изображений и размер batch разделены по разным нодам — немного необычно, но ничего сложного.

FLUX.2 [dev] поддерживает изображения размером до 4 мегапикселей. Можно делать стандартные квадраты размером до 2048×2048 и это хорошо работает. По умолчанию в workflow предложен размер 1248×832. Я в конечном счёте остановился на разрешении с похожими пропорциями, но размером ≈4.1 МП — 2560×1600 — такой вариант лучше выглядит чем квадраты и композиция строится более правильная. То есть это не кадрированные квадраты, как в некоторых других более старых нейросетях. Это разрешение стало моим любимым для данной нейросети. Если вы хотите экспериментировать, то дополнительно можете взять соотношение сторон классической фотографии 4:3, для 4.1 МП это 2304×1728.

Примеры изображений полученных на полной (flux2-dev.safetensors и mistral_3_small_flux2_bf16.safetensors), не квантованной версии FLUX.2 [dev] в 50 шагов:

Примеры изображений полученных на полной (flux2-dev.safetensors и mistral_3_small_flux2_bf16.safetensors), не квантованной версии FLUX.2 [dev] в 20 шагов:

Выше показаны изображения сгенерированные в 50 шагов. Ниже несколько примеров картинок созданных в 20 шагов.

Flux.1 Krea Dev

Тонко настроенная модель FLUX, выжимающая максимум фотореализма.

Отличная модель, зачастую показывает себя даже лучше Flux Dev full.

На мой личный вкус Flux.1 Krea Dev является самым любимым генератором изображений в которых присутствуют люди.

Flux.1 Krea Dev может выдать хорошую картинку, похожую на реальную фотографию. Также может создавать яркие и насыщенные красками композиции.

Обычно правильно отображает конечности и пальцы.

Хорошо справляется с картинками в высоком разрешении — в 2048×2048 изображения не ломаются.

Во Flux.1 Krea Dev, по аналогии с другими версиями Flux, я делал тесты с разным количеством шагов, увеличивая их до 50 — картинки заметно менялись, но не могу сказать что на 50 шагах становилось заметно (или хотя бы однозначно) лучше. Диапазон 20-50 шагов даёт картинки приемлемого качества. Тем не менее, для себя остановился на 50 шагах — вроде бы они в среднем всё-таки чуть получше.

Примеры изображений полученных на полной (flux1-krea-dev.safetensors), не квантованной версии Flux.1 Krea Dev:

Qwen 2512 Text to Image

Модель Qwen-Image-2512 формально является обновлением модели Qwen-Image (на этой странице она обозначена как Qwen Text to Image), но на самом деле изменения драматические — фактически это просто другая модель, со своими плюсами и минусами. Вы сами можете сравнить примеры изображений — вместо ярких и как бы «игрушечных» картинок Qwen-Image, картинки в Qwen-Image-2512 получаются более приземлёнными, своим цветовым настроением напоминая больше Flux.1 Krea и Z-Image-Turbo.

Я бы не сказал что стало лучше или хуже — стало просто по-другому, а у нас теперь ещё одна модель для тестирования. То есть если вам нравится стиль Qwen-Image, то для вас Qwen-Image-2512 это скорее не обновление, а просто ещё одна альтернативная модель.

Бросается в глаза работа в направлении рандоминизации лиц и пейзажей — это отчётливо видно на картинка на которых не описывается пейзаж — в этом случае генерируемый пейзаж сильно отличается от картинки к картинке (парк, горы, лес, пляж), а также на картинка на которых не описываются люди или — в этом случае могут быть вставлены люди (даже где это неуместно) разных рас (с преобладанием азиатской) и полов.

Вот официальное описание изменений: по сравнению с базовой моделью Qwen-Image, выпущенной в августе, Qwen-Image-2512 обладает следующими ключевыми улучшениями:

• улучшенный реализм человека Qwen-Image-2512 значительно снижает «сгенерированный ИИ» вид и существенно повышает общий реализм изображений, особенно для человеческих объектов.
• более тонкие природные детали Qwen-Image-2512 обеспечивает заметно более детализированное отображение пейзажей, шерсти животных и других природных элементов.
• улучшенная визуализация текста Qwen-Image-2512 повышает точность и качество текстовых элементов, достигая лучшей компоновки и более верной мультимодальной (текст + изображение) композиции.

Модель Qwen-Image-2512 перестала поддерживать разрешения размером 4 Мп, авторами модели предлагаются следующие разрешения:

• 1:1 : 1328×1328
• 16:9 : 1664×928
• 9:16 : 928×1664
• 4:3 : 1472×1104
• 3:4 : 1104×1472
• 3:2 : 1584×1056
• 2:3 : 1056×1584

Ссылки на модели Qwen-Image-2512:

• модель полной точности (для тех у кого тянет VRAM): qwen_image_2512_bf16.safetensors: https://huggingface.co/Comfy-Org/Qwen-Image_ComfyUI/resolve/main/split_files/diffusion_models/qwen_image_2512_bf16.safetensors
• квантованная модель (требует меньше VRAM ценой ухудшения качества): qwen_image_2512_fp8_e4m3fn.safetensors: https://huggingface.co/Comfy-Org/Qwen-Image_ComfyUI/resolve/main/split_files/diffusion_models/qwen_image_2512_fp8_e4m3fn.safetensors

Удивительно, но в ComfyUI имеется абсолютно рабочий workflow для Qwen-Image-2512 в котором даже 50 шагов и настройки по умолчанию такие же, которые мне также показались самыми удачными (я экспериментировал с shift и cfg). Но на случай если в ComfyUI шаблон будет изменён в худшую сторону (есть такая тенденция — сначала публикуют отличный шаблон, а потом дорабатывают его в сторону ухудшения), вот мой workflow для Qwen-Image-2512: https://hackware.ru/files/T2I_-_Qwen_2512.zip

По умолчанию у меня batch_size установлен на 10 файлов, поскольку с новыми уменьшенными разрешениями полно неиспользуемой VRAM. На 16 Гб VRAM можно попробовать и больше файлов в batch, ну или вы можете уменьшить количество файлов в партии вплоть до 1, если вам так лучше.

Примеры изображений полученных на полной (qwen_image_2512_bf16.safetensors и qwen_2.5_vl_7b.safetensors), не квантованной версии Qwen-Image-2512:

Qwen Text to Image

Qwen Text to Image хорошо следует запросам и выдаёт стабильно хорошие результаты. То если если в других генеративных моделях я генерирую минимум 5-10 картинок и выбираю из них лучшую, то в Qwen я не генерирую больше двух, потому что одна из них (а скорее всего обе) обязательно будут хорошими.

К недостаткам Qwen я бы отнёс малую вариативность картинок. Я имею ввиду что если сгенерировать 10 картинок по одному запросу, то они будут похожи как кадры одного видео — похожи даже лица.

Проблема одинаковых лиц очень легко решается уточнениями во внешнем виде персонажей — просто пишите какие черты вы хотели бы увидеть и лица будут разными. Необязательно подробно описывать каждую деталь внешности, достаточно указать ключевые для вас моменты — цвет волос, особенности глаз, фигуры и прочее — этого достаточно чтобы люди на картинках отличался.

Для Qwen имеются разные ускорители, которые позволяют создавать картинки за меньшее количество шагов. Если ваша цель создавать мультипликационные или подобные картинки, то вы можете использовать эти ускорители по своему усмотрению. Но для реализма я бы крайне рекомендовал не использовать ускорители — с ними картинки становятся похожими на нарисованными масляными красками. Особенно заметно на волосах, которые при использовании ускорителей как будто бы нарисованы мазками кисти. Примеры ниже созданы в 50 шагов — там волосы выглядят очень реалистично.

Qwen Text to Image приятно удивляет проработанностью деталей: если человек стоит в воде, то на коже будут брызги воды, причём внизу будет больше брызг; если кто-то работает, то этот человек будет в перчатках и испачкан там, где мог бы испачкаться нормальный человек — это очень контрастирует с фантаном брызг которые выдаёт на такой же запрос Flux.

Хорошо справляется с картинками в высоком разрешении — в 2048×2048 изображения не ломаются.

Кстати, Qwen очень хорошо умеет рендерить нужный вам текст на изображениях — не все генераторы картинок могут таким похвастаться. Причём Qwen может работать с многострочным текстом и текстом на разных языках.

После тестирования я пришёл к следующим конечным настройкам для Qwen Image:

• размер кадра (не более): 2048×2048,
• количество шагов для реалистичной фотографии: 50 steps
• shift: 2
• cfg: 1

Это в целом хорошие настройки для мягких реалистичных изображений, хотя на вкус кого-то изображения могут казаться недостаточно насыщенные цветами.

Хороший баланс с более насыщенными цветами и лучшим следованием промпту (но может нарушать физику): 50 steps, shift 1, cfg 2.5 (диапазон 2.5-4 даёт хорошие результаты, которые могут быть лучше или хуже для разных промптов и разных сидов).

Если установить большие значения cfg, то Qwen Image сильнее пытается следовать промпту, иногда делает лучше, а иногда делает хуже, можно сочетать с более высокими значениями shift: 50 steps, shift 1 (диапазон 1-4), cfg 4.

В ComfyUI имеется workflow для Qwen Text to Image, но он сделан в виде сабграфа и использует ускоренную генерацию изображений. Вот ссылка на мою версию workflow для Qwen Text to Image: https://hackware.ru/files/T2I-Qwen-50steps.zip

Особенности этой версии кроме 50 шагов в том, что она использует полные версии моделей. Вы можете указать ужатые модели, либо скачать неквантованные модели — ссылки даны прямо в workflow.

Обновление: вышла новая версия Qwen-Image 2512:

• qwen_image_2512_bf16.safetensors: https://huggingface.co/Comfy-Org/Qwen-Image_ComfyUI/resolve/main/split_files/diffusion_models/qwen_image_2512_bf16.safetensors
• qwen_image_2512_fp8_e4m3fn.safetensors: https://huggingface.co/Comfy-Org/Qwen-Image_ComfyUI/resolve/main/split_files/diffusion_models/qwen_image_2512_fp8_e4m3fn.safetensors

Смотрите также: Как импортировать workflow (рабочий процесс) в ComfyUI

Примеры изображений полученных на полной (qwen_image_bf16.safetensors и qwen_2.5_vl_7b.safetensors), не квантованной версии Qwen Text to Image:

Wan 2.2 text-to-image

Wan это нейросеть для создания видео. Wan хорошо справляется с запросами, создаёт продуманные композиции с реалистичным видом. Если вам нравится как Wan создаёт видео, то попробуйте её в качестве генератора изображений. Для этого не надо скачивать специальные файлы моделей — достаточно использовать версию T2V, но установите длину видео на 1 кадр, а также убедитесь, что в рабочем процессе сохраняются картинки. При этом сохранение видео можно отключить.

Wan имеет процесс в двух вариантах: ускоренный и обычный. Для создания картинок лучше брать обычный workflow с 40 шагами.

Безопасное разрешение картинок в Wan это 1504×1504. Кадры большего размера ломаются.

Это мой workflow для генерации изображений в Wan 2.2: https://hackware.ru/files/T2I-Wan-1pic.zip

Смотрите также: Как импортировать workflow (рабочий процесс) в ComfyUI

В этом workflow я использую полные версии моделей — при желании вы можете указать имеющиеся урезанные версии или скачать файлы полных — ссылки даны прямо в workflow.

Примеры изображений полученных на полной (wan2.2_t2v_high_noise_14B_fp16.safetensors и wan2.2_t2v_low_noise_14B_fp16.safetensors), не квантованной версии Wan 2.2:

Flux.1

Flux популярная генеративная модель, хорошо справляется с различными промптами, хорошо изображает людей, не портит конечности и пальцы. Степень реалистичности средняя.

Может создавать картинки в высоком разрешении — в 2048×2048 изображения не ломаются.

Flux делает разнообразные композиции по одинаковым запросам.

Вы можете обратить внимание, что Flux имеет два окна ввода промптов но они оба являются позитивными. Flux использует две текстовые подсистемы одновременно – CLIP-L (clip_l) и T5-XXL (t5xxl) – это значит, что она комбинирует два разных способа «понимания текста» для управления изображением. Они работают параллельно, но по-разному интерпретируют один и тот же промпт.

• CLIP-L (CLIP large) — это мультимодальный энкодер, обученный связывать текст и картинку в одном пространстве. Отлично понимает визуальные признаки, простые описания, ключевые слова. Очень чувствителен к тегам, коротким фразам, стилям, категориям объектов. Плохо понимает сложные длинные фразы. CLIP лучше всего воспринимает: яркие метки, стили, категории, чёткие визуальные указания.
• T5-XXL — это чисто текстовая гигантская языковая модель, которая интерпретирует сложные фразы, длинные описания, логические связи. Отлично работает с: литературным описанием, сюжетами, грамматически сложными предложениями, эмоциями, метафорами, контекстами. T5 лучше всего воспринимает: длинные естественные тексты, сложные связи, повествование.

Два промпта подаются одновременно в CLIP-L и T5-XXL. Каждый энкодер генерирует своё текстовое представление («эмбеддинг»). Модель объединяет эмбеддинги.

То есть комбинируя два описания вы можете попытаться добиться максимального соответствия вашей идеи.

Если вам не хочется писать сразу 2 промпта, то вы можете указывать одинаковый промпт в обоих окнах и надеяться что модель возьмёт из каждого что-то полезное. На самом деле, почти все модели используют от 2 до 4 энкодеров, просто мы не обращаем на это внимание так как в workflow нам даётся только одно окно для промпта. Аналогично и здесь, если вы не хотите детально разрабатывать 2 промпта, то указывайте в обоих окнах одинаковый — это будет похоже на поведение в других workflow.

Настройки по умолчанию дают очень хороший результат; кроме изменение размера изображения регулировать другие настройки обычно не требуется.

Имеется ряд моделей, основанных на Flux. Но кроме того, сама Flux представлена в нескольких вариантах:

• Flux Dev full text to image — обычная полная модель
• Flux Schnell full text to image — полная модель которая создаёт изображения в меньшее количество шагов
• Flux Dev fp8 — квантованная модель, которая требует меньше видеопамяти
• Flux Schnell fp8 — квантованная ускоренная модель, требует меньше видеопамяти и создаёт картинки в меньшее количество шагов — для самого слабого железа

Я получал хорошие результаты на всех этих версиях, вы можете выбрать ту, которая лучше работает на вашем железе.

Примеры изображений полученных на полной (flux1-dev.safetensors), не квантованной версии Flux Dev full text to image:

Z-Image-Turbo Text to Image

Z-Image-Turbo это ускоренная модель, которая очень быстро генерирует изображения неплохого качества, нацеленные на реализм и на великолепный рендеринг текста.

Кроме ускоренной Turbo версии разработчики планируют выпустить базовую версию, видимо, она будет более медленной, но изображения будут ещё более качественные.

Z-Image-Turbo справляется с разрешением 2048×2048 (выше я не тестировал).

При генерации текста можно создавать многострочный текст, например, указывая основной заголовок и подзаголовок — это прекрасно работает.

В целом модель хорошо следует промптам, но иногда создаёт людей с неправильной анатомией.

При написании промптов нужно помнить, что модель может плохо понимать идиоматические выражения, даже если они являются общеупотребительными — нужно выражаться максимально тупоустойчиво.

Эта модель крайне быстро набирает популярность из-за скорости генерации изображений — сразу после её выхода пользователи начали создавать и публиковать дообученные модули.

Z-Image-Turbo может создавать некоторые жанры NSFW без дополнительных дообученных модулей.

К недостаткам Z-Image-Turbo я бы отнёс относительную блёклость изображений, и этом при том, что в принципе Z-Image-Turbo может выдавать разнообразную цветовую поллитру и весьма яркие цвета — поэтому если вы хотите чтобы в вашей картинке были яркие цвета, то лучше указывайте это, в том числе перечисляйте цвета различных предметов.

Ещё один недостаток Z-Image-Turbo — некоторые текстуры как будто бы отсутствуют, например: для горной тропинки или горной вершины текстура больше всего напоминает строительный мусор (ломанные камни, иногда правильных прямоугольных форм); аналогичные проблемы я наблюдал в других природных текстурах. Нередко вызывают вопросы выбор текстуры кожи.

Для Z-Image-Turbo нет смысла увеличивать количество шагов, поскольку эта модель специально создана чтобы выдавать результат за малое количество шагов. Для улучшения качества нужно ждать выхода базовой модели, либо использовать дообученные модули (LoRA-адаптеры).

Примеры изображений полученных в Z-Image-Turbo (z_image_turbo_bf16.safetensors):

Chroma1-HD

Chroma1-HD хорошо понимает и следует промпту, создаёт приятные реалистичные картинки.

Максимальное разрешение при котором получаются нормальные картинки это 1024×1024.

Настройки по умолчанию в workflow ComfyUI по моим промптам давали неудовлетворительные результаты — общее ощущение, как будто бы незавершён денойзинг. Я подобрал следующие настройки:

• Flow Shift (по умолчанию 1): я остановился на значении 3. Хорошие результаты дают значения в диапазоне от 2.5-5. Вы можете провести тесты и выбрать лучшую величину. Это главная настройка из-за которой изображения были как будто бы не закончены — обратите прежде всего внимание на неё.
• BasicScheduler (steps): по умолчанию установлено 26 шагов. Но для некоторых картинок кажется что этого мало. Также в официальных примерах от разработчиков используется 40 шагов. В моих тестах хорошие картинки похожие на фотографии действительно можно получить и в 26 шагов (особенно с простым освещением), но 40 кажутся более надёжным вариантом (например, когда на лица падает солнечный свет под углом и нужно прорисовать и черты лица и тени — на 26 явно ощущается незавершённость денойзинга)

Официальная настройка T5TokenizerOptions (min_padding) установлена на 1, но в рабочем процессе она равна 0. Я тоже остановился на 0, так как разницы действительно нет. Если на ваших картинка вы получаете испорченные края, то установите значение на 1.

Примеры изображений полученных на полной (Chroma1-HD.safetensors), не квантованной версии Chroma1-HD:

Chroma1 Radiance text to image

Chroma1 Radiance создаёт красивые, насыщенные красками изображения. Иногда изображениям людей немного не хватает реалистичности. Хорошо понимает и следует промпту. Эта нейросеть приятно удивляет разнообразием сцен и лицам людей даже при одинаковых запросах.

Эта нейросеть отличается от всех здесь рассматриваемых — она не использует сжатые латентные данные (как делают все остальные ИИ), а работает напрямую с привычными нам пикселями — по задумке это должно обеспечивать более высокое качество изображений с меньшим количеством артефактов и искажений. На практике да, изображения радуют глаз насыщенными красками, но я бы не сказал что это какая-то киллер-фича — качество вполне сопоставимо с другими лучшими нейросетями. Огорчает то, что максимальное разрешение при котором получаются нормальные картинки это 1024×1024. При таком разрешении, на мой вкус, картинки проигрывают другим генеративным нейросетям которые выдают картинку 2048×2048.

По умолчанию ComfyUI предлагает скачать версию Chroma1-Radiance-v0.3.safetensors, но уже имеется официальная версия Chroma1-Radiance-v0.4.safetensors. Вы можете проверить самую свежую версию здесь: https://huggingface.co/lodestones/Chroma1-Radiance/tree/main. Или вы можете скачать Chroma1-Radiance-v0.4.safetensors по прямой ссылке https://huggingface.co/lodestones/Chroma1-Radiance/resolve/main/Chroma1-Radiance-v0.4.safetensors?download=true.

Проверить последние версии:

• https://huggingface.co/lodestones/Chroma1-Radiance/tree/main
• https://huggingface.co/Comfy-Org/Chroma1-Radiance_Repackaged/tree/main/split_files/diffusion_models (скачать https://huggingface.co/Comfy-Org/Chroma1-Radiance_Repackaged/resolve/main/split_files/diffusion_models/chroma-radiance-x0.safetensors)

На настройках по умолчанию в workflow ComfyUI далеко не всегда удаётся получить изображения удовлетворительного качества — если вы сталкиваетесь с этой же проблемой, то попробуйте следующие настройки:

• Flow Shift (shift): значение по умолчанию 1 и на мой взгляд этого недостаточно. После тестов я остановился на значении 1.5. Если слишком сильно увеличить эту настройку, например, до 3, то изображения становятся похожими на рисованную картинку (кадр из мультфильма). В описании к этой опции сказано, что при значении 1.0 должно быть больше деталей и что это значение может быть увеличено до 3.0 чтобы помочь со сложными композициями. То есть какого-то одного идеального значения этой опции нет — для простых сцен и лучших деталей можно попробовать использовать 1 или близкие значения, а для сложных сцен значение должно быть ближе к 3.

Следующие настройки уже не оказывают такого сильного влияния как shift но они могут оказаться для вас полезными:

• ChromaRadianceOptions (nerf_tile_size): Это размер блока (тайла), на который модель делит изображение при обработке NeRF-подобным рендерером. NeRF-вычисления слишком тяжёлые, чтобы делать их на весь кадр сразу. То есть модель не обрабатывает весь кадр сразу, она разбивает его на куски – тайлы размера nerf_tile_size x nerf_tile_size. Поэтому изображение разбивается на тайлы фиксированного размера, и каждый обрабатывается отдельно. Чем больше кусков, тем больше накладные расходы и замедление скорости — на качество это не влияет в любом случае. Поэтому желательно выбирать как можно более высокое значение, которое потянет VRAM вашей видеокарты. В workflow установлено на -1, это значит, что будет использоваться значение по умолчанию в 32. Если установить 0, то изображение будет обрабатываться сразу целиком — это хорошо, но, например, 16 Гб VRAM на это не хватает. Вы можете пробовать устанавливать разные значения, пока не перестанете получать OOM (Out Of Memory): 64, 96, 128, 160, 192, 224, 256, 320, 384, 512. Я для 16 Гб VRAM остановился на значении в 512 — работает для 1 изображения и делит без остатка длину и ширину кадра (1024). Сказанное справедливо для генерации по 1 изображению. Если вы используете batch_size и генерируете изображения сразу по нескольку штук, то может оказаться выгоднее установить небольшой nerf_tile_size и увеличить количество изображений в каждом batch.
• Также официальная настройка T5TokenizerOptions (min_padding) установлена на 1, но в рабочем процессе она равна 0. Я тоже остановился на 0, так как разницы действительно нет. Если на ваших картинка вы получаете испорченные края, то установите значение на 1.

Смотрите также: Настройка batch_size в ComfyUI

Примеры изображений Chroma1 Radiance полученных на версиях chroma-radiance-x0.safetensors и Chroma1-Radiance-v0.4.safetensors:

HiDream I1

HiDream I1 создаёт приятные сочные картинки с хорошо проработанными элементами композиции. С точки зрения реалистичности, картинки выглядят правдоподобно, но больше похожи на фотографии после цифровой обработки и наложения разнообразных фильтров. В первую очередь это касается того, как выглядят люди: иногда люди на картинках HiDream I1 получаются крайне удачно и правдоподобно, но иногда их изображению не хватает реалистичности, они могут быть похожими на цифровой рисунок.

Отдельно хочется отметить относительно поз людей — у HiDream I1 есть тенденция генерировать одинаковые «скованные» позы, поэтому лучше отдельно указывать в какой позе находится человек и где расположены его руки и ноги.

HiDream представлена в трёх вариантах:

• HiDream I1 Full. Создаёт изображения с помощью HiDream I1 Full – полной версии с 50 шагами генерации для получения максимально качественного результата.
• HiDream I1 Dev. Создаёт изображения с помощью HiDream I1 Dev — сбалансированная версия с 28 шагами вывода, подходящая для оборудования средней производительности. То есть эта модель будет потреблять столько же памяти, но будет работать быстрее за счёт меньшего количества шагов. Судя по отзывам, разница между HiDream I1 Full и HiDream I1 Dev невелика. Кому-то изображения из HiDream I1 Dev нравятся даже больше.
• HiDream I1 Fast. Быстро создаёт изображения с помощью HiDream I1 Fast — облегчённой версии с 16 шагами вывода, идеально подходящей для быстрого предварительного просмотра на менее мощном оборудовании.

HiDream не тянет картинки с разрешением 2048×2048 — на них нарушается композиция. Максимальным безопасным разрешением в моих тестах оказалось 1600×1600.

Причём, видимо, имеются и ограничения по минимальному расширению, например, на расширении 512×512 получаются ужасные картинки. То есть вы можете выбрать размер файлов в диапазоне от 1024×1024 до 1600×1600.

Беглые тесты с регулированием shift и cfg для увеличения реалистичности изображений не дали хороших результатов.

Примеры изображений полученных на полной (hidream_i1_full_fp16.safetensors), не квантованной версии HiDream I1 Full:

OmniGen2

Может создавать изображения в размере 2048×2048.

Часто портит форму тела, конечности или пальцы или другие детали изображения. Тела иногда кажутся приплюснутыми.

В целом имеется ощущение недоработанности модели или неправильных настроек. Но скорее всего дело в малом количестве параметров модели — самое малое из всех рассмотренных выше моделей.

И тем не менее, OmniGen2 умеет выдавать красивые, впечатляющие кадры — расстраивает лишь их испорченность в некоторых деталях.

В качестве выхода из ситуации нужно:

1. найти правильное применение OmniGen2, например, портреты и люди крупным планом (чтобы конечности и пальцы не попадали в кадр) — лица получаются приятными и разнообразными; либо использовать для генерации чего-то абстрактного, когда непонятно, правильно оно нарисовано или нет;
2. редактировать изображения OmniGen2 с помощью нейросетей, исправляя конечности и пальцы.

Кстати, OmniGen2 не только генерирует, но и редактирует изображения — возможно, такая универсальность добавляет свой (негативный) эффект в генерацию картинок.

OmniGen2, кроме портретов крупным планом, хорошо подходит для изображений без людей — пейзажи, натюрморты и прочее — а также для мультяшных изображений.

Примеры изображений OmniGen2 полученных на omnigen2_fp16.safetensors:

Ovis-Image Text to Image

Лёгкая модель (с 7B параметров в отличии, например, от Qwen-Image с 20B параметрами), сфокусированная на генерации текста.

В целом генерируемые изображения поразительно напоминают результаты которые выдаёт Qwen, но у Ovis-Image чаще бывают ошибки в виде неправильной анатомии.

Текст действительно генерирует весьма неплохо, в том числе многострочный текст — это впечатляет для модели с низким количеством параметров. Но в целом при использовании модели постоянно возникает ощущение что это Qwen-Image на минималках — владельцам слабого железа должно понравится, но я бы предпочёл другую модель.

Максимальный поддерживаемый размер изображений 1024×1024.

Примеры изображений Ovis-Image Text to Image:

SDXL

Максимально поддерживаемое разрешение 1024×1024.

При генерации картинок с людьми, стоящими в кадре, получается очень заезженный вид. Если использовать, то лучше для генерации каких-то других сюжетов, не связанных со стоящими перед камерой людьми.

Благодаря почтенному возрасту модели, имеется множество дообученных модулей — с ними вы можете значительно разнообразить картинку.

ИМХО, с дополнительными модулями эта модель может давать хорошие результаты, но без дополнительных модулей модель просто устарела.

Примеры изображений SDXL полученных на sd_xl_base_1.0.safetensors и sd_xl_refiner_1.0.safetensors:

SD3.5

Максимально поддерживаемое разрешение 1024×1024.

Для SDXL рекомендуется использовать один из перечисленные ниже размеров, поскольку модель обучалась на изображениях именно такого резрешения:

• 1024×1024
• 1152×896
• 896×1152
• 1216×832
• 832×1216
• 1344×768
• 768×1344
• 1536×640
• 640×1536

Не смотря на относительно небольшое количество дообученных модулей и в целом устаревший вид, SD3.5 иногда умеет приятно удивлять и без дополнений.

Примеры изображений SD3.5 полученных на sd3.5_large.safetensors:

Выводы по основным генераторам изображений

Мы рассмотрели основные генераторы изображений доступные в ComfyUI. Не попали в эту главу всего два:

• DreamShaper (основывается на SD 1.5, а DreamShaper XL основывается на SDXL 1.0). Был создан чтобы улучшить, особенно в плане отображения людей, эти модели. Последняя версия DreamShaper XL вышла в феврале 2024, а DreamShaper в июле 2023. Можно сказать, что в какой-то степени это устаревающая модель, хотя и не плохая.
• NetaYume Lumina Text to Image — генерирует аниме. Там не мало своих нюансов с промптами, но в целом это не моя тема. К тому же, тему аниме одна эта модель не раскрывают — аниме моделей (в основном на базе SD1.5) много: Pony, Counterfeit, PastelMix и др. К тому же современные рассмотренные выше модели могут делать аниме картинки, в том числе с использованием аниме-ориентированные LoRA.

Я не смог для себя определить какая из рассмотренных нейросетей является моей любимой для генерации изображений. У них у всех есть сильные стороны — главное правильно их использовать под конкретные задачи и промпты.

По мере накопления опыта работы с генераторами изображений в выборе модели очень многое начинает определять наличие тех или иных дообученных модулей (LoRA-адаптеров) под разные модели. Фактически наличие дообученного модуля может решить, достигните ли вы желаемого результата по каким-то узким задачам или нет. И выбираемая основная модель может определяться исходя из наличия LoRA-адаптера под неё.

По поверхностным ощущением, в настоящее время очень бурно LoRA-адаптеры создаются под Flux.

Смотрите продолжение: 7. Расширение области видимости изображений с помощью нейросетей (изменение соотношения сторон с добавлением новой информации)