LoRA в ComfyUI: стилі та персонажі без навчання моделі

Що таке LoRA простими словами

Велика модель, та, що генерить картинки, - величезний універсальний художник. Малює він приблизно все, але нічого конкретного. Не знає твого улюбленого аніме-персонажа. Не вміє малювати «акварель 50-х». І вже точно не намалює саме твого кота.

Навчити його цьому з нуля - це місяці й відеокарта розміром з холодильник. Кому таке треба? Тому є хитрість дрібніша.

LoRA LoRA (Low-Rank Adaptation) - маленький файл-надбудова до великої моделі. Містить не всю картину світу, а лише «поправку»: один стиль, одного персонажа чи один обʼєкт. Важить мегабайти, а не гігабайти. - це маленька флешка, яку ти вставляєш художнику в кишеню. На флешці записане щось одне: стиль, персонаж, типаж. Художник той самий, пензлі ті самі. Але тепер він малює рівно те, чого його довчила флешка.

Навіщо LoRA потрібна тобі

Без LoRA ти отримуєш «середню по лікарні» картинку. Гарно, але безлико. З LoRA - саме те, що хотів, при цьому ти не вмієш ні малювати, ні навчати нейромережі. Непогана угода, погодься.

• Потрібен впізнаваний стиль - кіберпанк-постер, малюнок тушшю, піксель-арт? Є LoRA.
• Потрібен один і той самий персонаж на десяти картинках поспіль? Є LoRA на персонажа.
• Потрібні свій продукт чи своє обличчя в кадрі? Теж LoRA (про навчання своїх - в окремому розділі).
• І все це безкоштовно і за хвилину: завантажив файл, підключив ноду, генериш.

Велика модель відповідає на питання «що взагалі намалювати». LoRA - на питання «в ЯКОМУ вигляді». Це друга половина успіху.

Нода Load LoRA: як вона працює в ComfyUI

У ComfyUI за все це відповідає нода Load LoRA (у частині збірок вона зветься LoraLoader). Принцип до смішного простий: вона стає перехідником між моделлю і семплером.

Памʼятаєш схему з минулих уроків - модель, текст-енкодер, семплер? LoRA вклинюється одразу після моделі. У ноди два входи (model і clip) і два виходи з тими ж іменами. Ти просто розриваєш дріт і вставляєш її в розрив. Усе.

Сила LoRA: strength_model і strength_clip

У ноди два повзунки гучності:

• strength_model - наскільки сильно LoRA лізе в саму картинку: форми, кольори, стиль.
• strength_clip - наскільки сильно вона впливає на розуміння твого промпту.

Trigger words: кодове слово, без якого LoRA мовчить

Найчастіша пастка новачка. Багато LoRA спрацьовують лише якщо в промпті є особливе слово - trigger words Trigger words (тригер-слова) - кодові слова, на яких навчали LoRA. Без них модель може не зрозуміти, чого від неї хочуть, і LoRA дасть слабкий ефект або взагалі ніякий. . Це як пароль: флешку ти підключив, а поки не сказав кодове слово - вона мовчить.

Де їх узяти? На сторінці LoRA на Civitai - автор майже завжди пише тригери прямо в описі. Бери й додавай у свій промпт, та й по всьому.

Де завантажити LoRA: каталог Civitai

Головний безкоштовний склад LoRA - сайт Civitai Civitai - великий відкритий каталог моделей і LoRA для генерації картинок. Тисячі безкоштовних файлів з прикладами, відгуками й інструкціями. Є контент 18+, фільтрується в налаштуваннях. . Це як магазин застосунків, тільки для стилів і персонажів.

Перед завантаженням дивись на три речі: базову модель (має збігатися з твоєю), відгуки і приклади картинок та зазначені trigger words. Завантажений файл (зазвичай з розширенням safetensors) кладеш у папку, оновлюєш або перезапускаєш ComfyUI - і LoRA зʼявляється у списку ноди.

Зайди на civitai.com, у фільтрах вибери тип LoRA.
Вкажи базову модель - ту саму, що використовуєш сам.
Відкрий LoRA, що сподобалася, прочитай опис і випиши trigger words.
Завантаж файл формату safetensors.
Поклади його в папку ComfyUI, models, loras.
У ComfyUI натисни оновити (Refresh) або перезапусти програму.
Додай ноду Load LoRA, вибери файл, постав силу 0.75.
Впиши trigger words у свій промпт і генеруй.

Як скласти кілька LoRA в одній генерації

Можна вішати не одну флешку, а кілька одразу. Наприклад, стиль «акварель» плюс конкретний персонаж. Робиться це ланцюжком: вихід першої ноди Load LoRA подаєш на вхід другої, другої - на третю, і так далі за списком. Остання в ланцюжку вже йде в семплер і текст-енкодер.

Часті помилки з LoRA і як їх лагодити

• Забув trigger word. Найчастіша причина «LoRA не працює». Зазирни на сторінку моделі і впиши кодове слово в промпт.
• Поставив силу на максимум. 1.5 не означає «в півтора раза крутіше». Це означає «спалимо картинку». Тримайся 0.7-0.8.
• LoRA не під ту базову модель. Це як зарядка не від того телефона: розʼєм ніби схожий, а не лізе. Перевіряй сумісність на Civitai.
• Завантажив, але не оновив ComfyUI. Файл у папці є, а в списку ноди нема? Натисни Refresh або перезапусти.
• Навісив пʼять LoRA на повній силі. Вони перебʼються. Коли їх багато - зменшуй кожну до 0.5-0.6.
• Поклав файл не в ту папку. LoRA живе строго в models, loras. Не в models, checkpoints - туди йдуть великі моделі.