Как я тренирую Lora Stable Diffusion. Train Lora
HTML-код
- Опубликовано: 7 дек 2023
- Привет. В этом видео мы будем сравнивать непосредственно некоторые примеры обучения. Также если тебе нужен файл конфига обучения, а также все остальные ссылки, то переходи в группу дискорда!
Вот ссылка: / discord
P.S. В видео присутствует ошибка. Я ошибочно не заметил, что в дефектных лорах стоит вес ноль и связал это с графиком обучения, который как раз в эти промежутки сильно опускался. В действительности эти Лоры возможно немного должны быть хуже, но т.к. они не включены мы не можем этого утверждать. Будьте внимательны и учитывайте это при просмотре! Спасибо за понимание!
Константин, спасибо за ваши уроки и обзоры! Сделайте пожалуйста урок или серию уроков по обучению Лоры: фото, персонаж, стиль. С подготовкой изображений, выбором модели на которой тренировать. Подобных уроков я ещё не встречал.
Очень здорово объясняешь и показываешь сравнение) конечно есть еще вопросы, но очень здорово))
Спасибо за видео , много что понял и подчеркнул
Классное видео! Хотел бы подметить, что для comfy есть пакет кастомных нод Efficiency nodes, в котором для XY графика присутствует нода "Lora plot". Она позволяет выбрать сколько угодно LoRa моделей из папки, а в Y параметр указать ренж весов. Крайне удобно для теста обучения при огромном количестве эпох
За тесты большое спасибо.
Есть предположение, что количество изображений влияет больше на точность воспроизведения, количество проходов на жесткость лоры, а количество эпох на концепт. То есть, нужно скопировать лицо реального человека - используй больше фото, нужно скопировать дизайн одежды - число проходов, эмоцию, цветовую гамму, позу - число эпох.
Рад, что Вам понравилось. Тестировать Лоры в Комфи очень удобно и наглядно. Надеюсь это видео выведет процесс обучения, в сообществе SD, на новый уровень
Огромное спасибо! Многое стало более понятно.
Жаль, что не затронута тема "переобучения", например после какого количества общих иттераций результат становится хуже.
Вот у тебя всё к 2500 сведено, а что было бы если б 5к шагов было?
Или взять реальные фото человека - 2500 мало/много? Будет 5к - будет хуже или лучше?
Спасибо за видео! По поводу портейбл: у хачатура же обновляемая сборка. У меня обновилось тоже.
Странно. Наверное у меня не стояла эта настройка. Жил без обновлений пол года получается
По-моему табличка сделанная в автоматике была бы куда нагляднее этой макаронной фабрики.....
Кучка вопросов по ходу просмотра возникает.....
Если описания столько короткие и одинаковые для всех картинок не проще ли просто этим названием обозвать папку прибавив в начале названия (шаги)_ ?
Если нет описания к картинке - то в роли тегов используются слова из названия папки.
А если описания разняться то можно просто несколько папок с разным названием сделать да и шагов и разное количество разным папкам дать.
Я не знаю как так получилось, но там где внезапно получается "синия девушка", у тебя всегда ноль стоит в ноде загрузки лоры. И как бы очевидно что если Лору выключить, то будет такой результат))
Ха) действительно)) моя невнимательность! Забавно, что оно совпадало с графиком, и я ошибочно нашел связь со школой обучения!
Пробовал я ставить оригинальную коя. Всё устанавливается, но не работает - пишет ошибку непонятную и все. А Хачатуровскую портативную коя поставил и всё заработало с пол-пинка. Кстати - она нормально обновляется. Видюха у меня RTX 3050 8GB... Но оригинальную Лора я так и не запустил на ней.
Да. У меня раньше также было, что без костылей сразу не работало. Сейчас же я потому и рассказал, что запускается без костылей.
Так сколько эпох и шагов нужно для идеальной лоры в итоге?
Это зависит от комбинации LR, steps и предмета обучения. При каждом LR необходимо разное количество steps, даже если предмет обучения одинаковый.
На всяких аниме персонажей обычно 2-3.5к steps делают при LR 0.00006-0.0001
У меня caching latents 0 из 148 кто ни будь сталкивался с такой проблемой ?
Жду сдиксл ля алиллуя наконец то кто то в ру сегменте это сделает, а не просто будет лениво лутать на бусти
Почему нет ничего общего со стилистикой исходных картинок? Полученный образ совершенно в другой графике чем базовый
Общий стиль задаётся чекпоинтом. Также в промте не прописаны стили
Однако если Вы хотите чтобы картинка была точь-в-точь как на исходнике, то необходимо излишне переобучить лору и поставить высокий Дим и альфу. В данном видео Дим альфа 32/16
разве лора не для того чтобы генерировать изображение в заданной эксклюзивной стилистике в том числе? Пожалуйста сделайте ролик об обучении стилю
Не самый удачный пример для экспериментов. Дизайн персонажа не читаемый даже для человека. 3д с знакомом под не очень аниме2д.
Самая большая проблема датасета в видео в том что это все фото в одном стиле - соответственно нейронка пытается обучиться не только на персонажа но и плохой стиль (ведь хотим мы крутые арты а не то что в датасете). У меня была похожая проблема когда я пытался обучить своего персонажа на своих артах - нейронка пытается обучиться и стилю и персонажу. Поэтому для Лоры персонажа было бы идеально иметь персонажа нарисованного в разных стилях. Тем самым нейронка при обучении увидит что единственное общее между фотографиями - персонаж, и обучится на него.
Да. Всё именно так, как Вы сказали. Если стили будут разные, то нейронка не успеет их скопировать, а лишь скопирует персонажа.
Однако в данном видео я наоборот попытался показать самый сложный вариант. Где и фото не самые лучшие и нет совсем описания. На удивление вышло весьма неплохо
на всех бракованным моделях почему то стоит strength_model = 0, так что все выводы о бракованных эпохах не верны....