SDXLでLoRA学習 トリガーワードを選ぶポイントは？【Stable Diffusion web UI】

[@キワタロー]

凄い再現度！とても見事な学習ですね！
この非常に有意義な動画の作成のために費やされた労力を思い、Signal Flag Z先生に深く敬意を表します。
生成AIとクリエイターの関係は現在とてもこじれてしまっていますが、
この動画を見て判ったのは、LoRAを含めた生成AIの技術が漫画等の一部の産業用途に通用しうる性能を持っているということです。
この技術は多くのクリエイターにとって福音となりうるでしょう。

[@SignalFlagZ]

Zちゃんを迎えてから まともな動画にするまで時間がかかってしまいました。描くのが面倒なアクセサリーやモブに利用されている漫画家の方もおられるようですね。自分の絵を学習させる時に、完成レベルではなく下絵のレベルを学習させるとまた違った発想ができるのではないかと妄想しています。

[@オージンマイスター]

初めましていつも参考にさせてもらってます！質問なのですがcivitaiとかで良く複数のトリガーワードを分けて置いてるｒｏｒａがありますがあれはどうやって作成してるんでしょうか？　わかる範囲でいいのでもし知ってたら動画かコメントで教えてくださるとうれしいです。

[@SignalFlagZ]

コメントありがとう 二人のキャラを同時に学習とかしてみたいですね 基本は一人と変わりません 学習は画像とそのキャプションを関連付けるだけです 二人の特徴をキャプションで明確に書き分けていれば学習できます

[@オージンマイスター]

@@SignalFlagZ なるほど！！あれは2_~みたいなのを２つのフォルダーを用意してるわけなんですね！！　相当メモリー使いそうですね。。。

[@Y8L00]

私もエンブレムというと自動車のメーカーロゴを思い浮かべてしまいます、英語だと別の意味があるんでしょうね。

[@SignalFlagZ]

patch armory insignia など 日本語にしても区別付かなかったりするので ベースモデルの学習でのタグを知らなければより正確な学習はできそうにないんですよね。

[@lll55lllgj]

Data set tag editerにタグをつけさせてから、学習させたいタグを消す方法とは違うんでしょうか？

[@SignalFlagZ]

初期のLoRA学習の解説記事には ”学習させたいタグを消す” という表現が使われていますね。学習はタグと画像を関連付ける作業です。タグを消すとAIが知らないタグに関連付けられます。タグが何だかわからない段階の人が学習させるなら余計なタグを書かないほうが学習の成功体験を得やすいです。タグを消さなければAIが知っているそのタグの概念を上書きします。タグを消さずに残して学習し画像生成時にそのタグを指定しなければ、学習したタグに関する影響が画像に出にくくなります。つまり生成時に描くか描かないかを選択できる、さらに修飾語によりタグの影響を制御できます。制御と言ってもプロンプトに従う確率が高くなるという程度ですけど。

[@Y3uuBTs3Hr6nMi8ry8s]

SDXLベースだと1.5とくらべてかなり知ってる概念が多いのでかたっぱしからタグ付けするのが主流ですね

[@SignalFlagZ]

@@Y3uuBTs3Hr6nMi8ry8s 概念はSDXLの方が少なくなっているかもしれませんよ。学習に使える画像の制約が増えていますから。
タグ付けしてないLoRAは出力時のコントロールが効きにくいので人気が出ないせいかもしれません。同じ様な絵ばかり出るLoRAはつまらないですよね。

[@lll55lllgj]

ご回答ありがとうございます！
難しいし奥が深いですねー。
Zちゃんという人物を学習させていろんな衣装やポーズやシチュエーションに対応させるためなんですね。Zちゃん本人はタグzchanに集約すると。
逆に特定の衣装や特徴やアイテムだけを学習させるにはそれを指しているであろうタグだけを消して概念を上書きさせるということですね。
つまりLoRAは全てを学習していてタグで何を画像に出すかコントロールするということですね。
残したタグを省いたものを学習するというイメージをなんとなく持ってしまっていたので混乱したのかもしれません。
p,s,毎回興味深くて面白い動画をありがとうございます。

[@word4you]

@@SignalFlagZ さん
なるほど！自分にとっても、ちょっと地動説です😅
「AIが知らないタグ」ってのは、
作例の場合はトリガーワード「zchan」のことなんですね。
だから、消されたすべてのタグはzchanに集約される。
タグを消して行くと...zchanの一言で、学習画像と同じ絵柄が出る。
しかしアレンジができなくなる。
タグの意味するところを、自己中(^^ではなく、客観的に考えて、
過不足なくタグでカバーすることが大事なんですね。
エディタが自動で生成したタグに加えて
「このタグは他の画像で出てたから追加しよう」とか
「このタグは、ありそう？だから追加しよう」
ってことも（その逆も）あるのでしょうか？