ControlNet - революция в Stable Diffusion | Гайд + инструкция по запуску с любого ПК в Google Colab
HTML-код
- Опубликовано: 22 фев 2023
- Добро пожаловать на канал ATDIGIT, где мы представляем вам новейшую технологию, которая изменит ваше восприятие Stable Diffusion! ControlNet - это революционная технология, которая позволяет управлять композицией кадра и создавать уникальные изображения, ранее недоступные для обычных пользователей.
В этом видео мы расскажем вам о том, как работает ControlNet, как он изменит взаимодействие пользователей со Stable Diffusion и как запустить его с любого ПК в Google Colab. Вы также получите подробную инструкцию по установке ControlNet.
ControlNet - это нейросеть, которая позволяет пользователю контролировать генерацию изображений, используя такие параметры, как расположение объектов, освещение и т.д. Это позволяет создавать уникальные и креативные композиции кадра, которые ранее были недоступны для пользователей.
В этом видео мы покажем вам, как использовать ControlNet для создания своих уникальных изображений. Мы также предоставим вам инструкцию по установке и использованию ControlNet на Google Colab, что позволит вам начать работу с этой технологией с любого ПК.
Если вы хотите научиться создавать уникальные изображения и использовать новейшие технологии, то этот видеоролик идеально подходит для вас. Не пропустите возможность узнать о новейшей технологии и научиться ею пользоваться прямо сейчас!
Если ролик понравился, не забудьте поддержать его лайком.
С уважением,
Андрей Турцевич
Ссылки по теме:
ControlNet, первоисточник:
arxiv.org/pdf/2302.05543.pdf
ControlNet на Replicate:
replicate.com/jagilley/contro...
replicate.com/jagilley/contro...
replicate.com/jagilley/contro...
Сайт Scribble Diffusion:
scribblediffusion.com/
Fast Stable Diffusion с ControlNet, блокнот Google Colab:
colab.research.google.com/git...
Внимание: в последнее время наблюдается нестабильность работы Automatic 1111 в указанном выше Colab, возможно, связанная с наплывом пользователей и желанием ввести ограничения на коммерческое использование бесплатного сервиса. Для работы со Stable Diffusion с ControlNet используйте официальный Colab для ComfyUI, не имеющий данной проблемы. Вот видео, где подробно рассказано, как это сделать: • Multi-ControlNet: Созд...
Приглашаем на Discord ATDIGIT для плодотворного общения на тему нейросетей и не только: / discord
Мой блог: atdigit.blogspot.com/
Я на Behance: www.behance.net/atdigit
RUclips atDigit: bit.ly/ytatdigit Подписывайтесь!
Присоединяйтесь к партнерской программе atDigit и получайте эксклюзив: ruclips.net/user/atdigitjoin 
Наука
Не верится ,что так вот просто дают такую возможность простому люду... Спасибо за видео.
Лайк. Пожалуйста. То ли еще будет)
@@atdigit Надеемся, чем доступнее средства для каждого обывателя, тем лучше.
В интерфейсе автоматика1111 уже можно несколько контролнет слоёв запускать для одного изображения. То есть, там фон можно отдельно настроить, персонажа отдельно.
Лайк. Спасибо за полезный коммент.
Благодарю
Спасибо. Все установилось и работало некоторое время. Потом - "no interface is running right now" gradio при запуске... Что бы это значило и что с этим делать?
И еще вопрос: Вы не в курсе как в deforum 0.7 (in colab) добавлять негативную подсказку (куда ее прописывать? ) Заранее спасибо!
Спасибо большое! Использую его, офигенная вещь!
Пожалуйста.
Очень подробно и интересно , спасибо !
Пожалуйста!
Спасибо за вашу работу!
Пожалуйста!
А можно как-то указывать позы в режиме inpaint? Например, я закрашиваю часть тела с рукой, и хочу обозначить новое положение руки для генерации.
Да. Такая возможность уже тестируется. Создатели Control Net показывают, как это происходит с помощью Masked Diffusion на рисунке 16. Ссылка на документ есть в описании к этому видео.
Одежду этим можно контролировать? Чтобы пуговиц было всегда нужное количество, и чтобы лишние карманы не появлялись? Типа, чтобы комикс делать
Отличный вопрос. В теории это именно так и возможно делать. Но не буду спешить с ответом, потому, что мы все сейчас разбираемся с этим новым инструментом. Буду делиться теми вещами, которые проверю на поактике. С пуговицами поэкспериметирую. Вы также делитесь, если что-то выясните, это ценно.
Офигенски!
Вы можете сделать видео об способах анимации в sd ?? Какие есть способы анимировать фото и переделать фото секвенции?? Именно варианты анимации-которые можно делать в облаке(в гугле) !? Заранее спасибо!
Когда-нибудь сделаю и обзор, но не обещаю, что в ближайшее время - технология настолько быстро развивается, что он сразу устареет. Пока планирую сделать руководство по одному из проверенных способов анимации, который работает в Colab.
@@atdigit Почему устареет?? Думаю анимация будет актуальна и дальше,стили возвращаются! Меня интересует все что связанно с анимацией и именно в облаке,так как у меня очень слабый пк! Спасибо за ответ!
Проблема в том,что в гугле плохо работают дополнения,я пробовал в автоматик 1111 добавлять дефорум как дополнение и оно толком не работает,такая же проблема с этим (контролем)-видимость есть-но в папке ничего нет и моделей к нему нет+когда в следующий раз запускаешь то нет ни панели дефорума и этот контроль пустой??
То что я показал в ролике - работает без сбоев. Показываю то, чем сам пользуюсь.
@@atdigit Значит в этом блокноте уже встроен этот контроль,так как дополнения практически не работают в гугл версии автоматика1111,скрипты еще можно запустить,да и то не всегда выходит!?? Я думаю что эти дополнения предназначены для локальных версий!??
Постоянно выдает ошибку "RuntimeError: mat1 and mat2 shapes cannot be multiplied (154x1024 and 768x320)" Картинка 512 на 512, настройки не менял, всё как на видео. Что ему надо, не пойму)
Спасибо! Но у меня в колабе ошибка при выполнении последнего пункта: python3: can't open file '/content/gdrive/MyDrive/sd/stable-diffusion-webui/webui.py': [Errno 2] No such file or directory Что делать?
Пожалуйста. Надо подождать - эта из тех ошибок, на исправление которых пользователь повлиять не может. Повторите попытку завтра, или через несколько часов. Присоединяйтесь к нашему общению на Discord - Вы сможете поделиться там результатом, чтобы помочь другим, узнать, какие проблемы и успехи были у других пользователей при запуске блокнота, увидеть ответы на популярные вопросы - discord.gg/5wcpQgxgQ7
Все сделал по гайду, через день захожу по ссылке которая выходила в конце и пишет: gradio no interface is running right now. Что можно сделать чтобы по новой не устанавливать по гайду каждый раз ? Можно ли к интерфейсу домен подключить ?
Не до конца понял, в чем проблема, уточните вопрос, не хотите ждать пару минут, пока запускается приложение?
@@atdigit не знаю от куда запускать повторно ? Нужно скопировать Гугл коллажу себе и запускать только последний скрипт ?
@@atdigitа по старой ссылке пишет что там не доступно. По вашей ссылке колабы там не запускается последний скрипт без запуска всех предыдущих установочных
можно ли сюда добавлять модели для stable diffusion из интернета?
Да, в Automatic 1111, запускаемом через Google Colab это возможно делать. Чтобы добавить новую модель необходимо поместить файл нейросети в папку models и перезапустить оболочку, более подробно расписано в этих роликах ruclips.net/video/T1HhkbcqqjY/видео.html и ruclips.net/video/YNFkHROn6Fs/видео.html
это все конечно здорово, а вот как под эти позы и референсы подстраивать свои фотографии?
Сегодня делал такое. Пашет. Карта глубины или нормал мап читает контуры лица и
Спасибо. Что Вы имеете ввиду?
@@atdigit ну допустим фотография моя или заказчика и хотим мы быть в образе повара в определенной позе. Open pose работает с определенной фоткой обнаруживает позу и по текстовому запросу применяет ее к генерированному изображению персонажа. Вот как вместо этого персонажа сделать самого себя или заказчика ну вы поняли.
@@AdamMaykov Ага, теперь Вас понимаю. Я для таких целей создаю тонко настроенную нейросеть на конкретного человека и далее создаю генерации с использованием ControlNet. Видео инструкция по тонкой настройке Dreambooth, которую использую, с описанием основных шагов есть на канале.
@@atdigit то есть Вы тренируете модель через dreambooth а потом уже по ключевым словам генерируете изображение клиента в определенной позе согласно промту? Правильно я понял)
Кстати я попробовал dreambooth по вашему видео все вроде прошло успешно, но на гугл коллаб такая операция сжирает все ресурсы и работать комфортно с одним аккаунтом гугл колаб не получится
есть ли возможность модифицировать картинку с границами?
Нестандартная идея, на мой взгляд - технически это реализуемо - почему бы и нет. Только перед началом такого эксперимента, чтобы получить предсказуемый результат, стоит разобраться, как именно ControlNet интерпретирует границы.
В ролике, который я недавно опубликовал, посвящённом раскрашиванию рисунков, косвенно - эта тема затрагивается - ведь при таком подходе, вы, фактически, сами создаете контуры и в результате получаете их ИИ интерпретацию.
@@atdigit посмотрю, благодарю
@@tyalikanky Пожалуйста.
за первые 30 секунд четко показалось, что текст сгенерён, а не человек думал
Спасибо, рассматриваю как комплимент, но никакая генерация здесь не использовалась - это моя стандартная манера общения, в чем можете сами убедиться посмотрев другие видео, в том числе, снятые 5 лет назад, когда никаких генераторов не существовало.
@@atdigit конечно посмотрю
Что то сегодня этот блокнот не хочет работать??
У меня работает.
@@atdigit Вчера все отлично работало-сегодня я уже два раза переустанавливал блокнот и выдает одну же ошибку??
@@atdigit На двух разных дисках не работает этот блокнот-уже обновлен-но в последней ячейке при запуске выдает ту же ошибку??
@@acadvideoart Если лимит, выделяемый Google использования исчерпан, работать не будет, возможно будет продолжить только через некоторое время.
@@atdigit Так у меня 3 аккаунта и я через день,два использую их по очереди-значит лимит есть не на дни-а ещё и общий,на время??Я то думал это что-то с настройками и сбросил на двух дисках все к нулю!?? Спасибо за ответ!
А дальше как пользоваться этим ControlNet ??
Люди находят десятки вариантов применения и с каждым днем их количество растет. Control Net позволяет генерировать то, что именно Вам необходимо, а не то что захотела изобразить Stable Diffusion.
@@atdigit Сначала нужно понять как это работает и почему в гугле не работают дополнения,все слетает при повторном запуске!??
помогите найти openpifpaf
А Вы где ищете?
Автор, тебе на вооружение Adobe Enhancer, улучшит качество озвучки.
Спасибо, но мой голос он сильно искажает. Вы его пробовали с русским?
@@atdigit пока не пробовал. Но видел обзор от wilsacom. В принципе отлично, но при определённых условиях. Иногда там проскакивает английский ))) Но я даже думаю улучшить свои старые ролики с плохим звуком. Так как новую дорожку с тем же таймингом можно будет наложить прямо в творческой студии, не перезаливая ролик.
@@_s.i.m_ Спасибо, посмотрю обзор, возможно там есть какой-то трюк, позволяющий русский текст обрабатывать и попробую еще раз.
Простые американские имена. :-D