上下文lora实现AI虚拟试穿！|AI Virtual Try-On with in-context lora
HTML-код
- Опубликовано: 4 дек 2024
- 还在苦苦研究复杂的AI虚拟试穿工作流？今天，我们将教你如何使用ComfyUI原生节点，轻松实现AI虚拟试穿效果！无需 JoyCaption、无需 ControlNet，只需简单几个节点，即可快速替换服装，让你的AI模特穿上你想要的任何衣服！告别繁琐操作，立即点击，开启你的AI时尚之旅！
Tired of installing countless third-party plugins? Struggling with complex AI virtual try-on workflows? Today, we'll show you how to achieve AI virtual try-on effects using only native ComfyUI nodes! No JoyCaption, no ControlNet required - just a few simple nodes to quickly swap clothing and dress your AI model in any outfit you desire! Say goodbye to complicated setups and click now to start your AI fashion journey!
视频亮点：
1 ComfyUI原生节点搭建虚拟试穿工作流： 全程使用原生节点，无需第三方插件，简单易懂，快速上手。
2 Florence模型巧妙运用： 利用 Florence 模型提取服装特征及生成提示词，简化流程，提高效率。
3 Inpaint ControlNet的妙用： 使用 Inpaint ControlNet 精准控制重绘区域，提升试穿效果。
4 多服装试穿案例演示： 不同服装试穿效果对比，带你体验AI虚拟试穿的无限可能！
5 常见问题及解决方案： 针对虚拟试穿中常见的变形、错位等问题，提供解决方案，让你的作品更完美。
Video Highlights:
1 Building a Virtual Try-On Workflow with Native ComfyUI Nodes: We'll use only native nodes, eliminating the need for third-party plugins, for a simple, easy-to-understand, and quick-to-learn process.
2 Clever Use of the Florence Model: We'll leverage the Florence model to extract clothing features and generate prompts, simplifying the workflow and boosting efficiency.
3 Effective Application of Inpaint ControlNet: Utilize Inpaint ControlNet to precisely control the inpainting area for enhanced try-on results.
4 Multiple Clothing Try-On Examples: Compare try-on effects with various clothing items, and explore the limitless possibilities of AI virtual try-on.
5 Common Issues and Solutions: We'll address common problems like distortions and misalignments in virtual try-on and provide solutions for flawless creations.
------------------------------------------------------------------------------------------------------------------------
in-context lora
github.com/ali...
object migration
github.com/TTP...
Clothing Migration LoRA
huggingface.co...
工作流|workflow
github.com/ama...
------------------------------------------------------------------------------------------------------------------------
背景音乐由 AI 生成
思路太细致了，逻辑很严谨！比起直接给工作流套用的教程提供了更多可能的思路！
一般来说会希望穿上这件衣服生成不同指定的景色或者添加模特人脸lora等等,待会试试看这段官方提示词能否再添加一些模特背景和动作之类的指示效果😁
谢谢支持
@@fhufcfog8507 我嘗試過了～不過應該是Lora訓練用的就是簡單背景的圖～所以模特背景用提示詞沒辦法改變....如果要改～只能靠第二次針對背景的inpainting了
这几天也是一直在钻研人物一致性的问题，最终也是试出来两种方案，有时候真的觉得真人的好做，二次元太难了，很多节点都不适用。明天在工作流里再试一下您说的阿里妈妈的重绘和像素噪点添加，看看能不能出来更好的效果。
为不断尝试加油
老師剛剛看到flux發布了幾個新的models和controlnets~其中一個flux1-fill-dev~主要是inpainting的模型！感覺也可以用來搭配這個lora來使用～就是不知道效果跟現有的inpainting model比起來如何？
那个目前只有23G的让他再飞一会儿
@@sunleyan_2021 嗯嗯～也很期待老師能出一期風格轉移的評比！flux redux vs instantx ipadapter vs xlabs ipadapter v2～目前看到c站已經有fill fp8的版本～不知道redux有沒有
老師～如果針對左半邊原圖的mask~是採用遮住整個左半邊～而不是只遮住主體～是不是可以減少採樣時間？
我也有同样的想法😂，还没来得及试。如果你有结果麻烦告知一声
@@sunleyan_2021 我自己的工作流是採用了原始工作流的ttp expand and mask節點～因為它可以同時把畫布擴展～又可以同時產生mask~而mask的部分～直接就是擴展區域白色～原始圖整塊都是黑的～所以我沒嘗試過只遮住主體的方式
这个是目前最好的最接近商用级虚拟换装的模型了吗？或者说，是还有其他的能具商业还原度的？
真诚认真请教！
这个的保真度只能说一般
工作流很不错。但这类换装的东西实际意义不大，最低要求是出图的衣服和原来的衣服一模一样，不论是颜色还是印绣花。其余就是能保留各种面料纹理细节、辅料及质感等。最后就是保留各种缝纫针迹及缝纫线。
其實這個lora已經可以做到95%相似度～我覺得很大因素取決於提示詞的精細程度～用joycaption2得到的提示詞～還是有很大幫助～因為我測試的時候～拿了dior的高訂禮服～出來的效果很好～讓我很驚艷！
老哥JC2节点直接把我劝退，我只有6G（vram）🥲
可以不用
用florance替代即可
@@sunleyan_2021 好的☺