松下響の天輪返しは架空の存在である松下 響(まつした ひびき)が自ら発信する無軌道かつノーフューチャーなブログです。

で、原作アニメの有料配信サービスから絵を持ってきて実行テスト含め学習3回目(ranma-chan_mk3)で出来たのがこちら。

※合法手段で見る動画から普通にキャプチャしてローカルのデータベースに突っ込むところまでは法に触れないはず、ただし本来キャプチャできないブルーレイのHDCPプロテクトを回避してキャプチャするのは2012年以降の著作権法第30条1項-2的には危ない

はい、3回目の割に大分似ましたね。とはいえ歩留まりが悪く、ポーズも限定されるので完璧とは言いがたいです。また、塗りがサンプルと同じアニメ塗りで固定される問題があります。
ポーズが限定されるとは言ってもここにに出したのは学習サンプルのコピーからは大分遠いのですが、学習したポーズの組み合わせから遠く離れたアングルなどは出力できないといった状態です。
ベースに使用したモデルは8528 Diffusion final(※現在非公開)というもので、Stable Diffusion 1.4から独自に学習を進めたものらしく、本来ならばもう少し詳細な階調の塗りが出来ます。
LoRAには適用率の指定があり、これを0～1の範囲で調整することである程度融通は利くのですが、適用率を下げると同時にキャラの特徴も薄くなるので、このままのLoRAモデルでは自由度が低いです。
歩留まりに関してはそもそもイラストAIには審美眼が無いために出力は殆ど毎回何かしらおかしい部分があって、これに対し大量の出力を行うことでその中からまともな結果を選ぶ形になるのは今回に限った話ではありません。しかしそこにLoRA適用率1未満による品質と特徴出力の確率ガチャが加わって更に歩留まりが低くなるということです。
なおLoRA適用率の帯に短したすきに長し問題についてはもっと終盤である程度の解決法が見つかります。

ここからLoRA差分モデルの完成度を上げるべくトライアンドエラーを繰り返していくわけです。

• キャラ特徴は主に肩から上なのでそこだけのカットで揃えてみたらポーズの問題が改善されないか→頭身が非常に不安定になった
• 学習ベースモデルを学習用と銘打っているらしいAcertainlyに替えてみたらどうか→LoRAを8528dで使う限りは8528dで学習させた方が結果が良くなる
• マージ元の権利問題からして作品出力には使えないが特に描画品質が高いAbyssOrangeMix3A3(AOM3A3)では塗りが改善されないか→アニメ塗りとキャラ再現の二択は変わらず
• alphaを1にしてステップ数を多くした方が繊細に学習できる?→有意な結果は得られず
• ranma-chanというタグがシャンプーの特徴を保持していて悪影響が出るのが原因なら新しいタグを作ってしまった方が良いのではないか→osgというタグに替えてmk1～5までトライしたが、学習段階でosgが何なのかという情報が0なのでむしろキャラタグ以外の特徴タグをつけないとまともに特徴が反映されなくなった。ワードをカンマで区切ったタグだけでなく文章形式のキャプションを併用して突き詰めれば良い結果になるかもしれない
• 学習に無関係な背景はなるべく削った方が良いのではないか→それは間違っていないが輪郭がガタガタになった
• 切り抜いた輪郭線ががたついているのが輪郭がたつきの原因だとして輪郭だけベジェでなぞったらどうか→輪郭だけはっきりしていて他の線がぼける症状が余計酷くなった上にがたつきが治っていない
• そもそも背景を透明にしたのが間違っていたのではないか→背景を単色塗りにしたことでがたつきが解決、つまり輪郭線の縁が見た目は半透明の黒であっても学習プロセスにおいて不透明度が無視されてただの黒ドットになっていたのがもう一つのがたつきの原因
• 輪郭を綺麗に処理したとしても学習素材の解像度がそもそも足りない→素材をひたすら手作業でなぞってベジェ化して解像度フリーにしたが、mk3くらいの品質で納得できるなら必要が無いので作業コストに対する費用対効果が悪い
• 作業ファイルの解像度を上げても学習サンプルが512×512だと細部が潰れるのでは→学習速度を妥協して768×768(=589,824ピクセル以内の長方形対応)にしてみたがそれでもmk3未満の出来なので他に原因がある
• 透明PNGではなく1girl, soloの正則化画像を大量に用意した方が結果が良くなるのでは?→1girl, soloタグへのキャラ特徴移り現象防止効果はともかく、ranma-chanタグでのキャラ特徴反映効果に有意な差は見られない
• それでも微妙にぼやけるのは何故なのか→mk3設定との対照実験の結果、dim=alpha=128→256、ランダムドロップ20%→無し、あたりの設定変更で却って結果が悪くなっていた模様
• そもそも透明PNGって正則化画像無しとなんか違うの? 何かのおまじないの類いじゃないの?→対照実験の結果、有意なほどの差が見られないので以降正則化無しを選択することにした
• 塗りまで学習されてしまうのであれば、学習サンプル自体をAIに厚塗りさせてそれを学習させるのはどうか→差が分かりやすいAOM3A3にimg2imgで塗らせてから手動修正した素材を学習させたら確かに効果はあったが、素材修正の手間があまりにもかかりすぎる

はい、mk3の結果を超えるまで迷走を繰り返して20回以上の学習トライを要しました。とりあえず設定変数を同等に戻したことで同等の品質を出せるようにはなったので、どうにか厚塗り出力できないかと苦し紛れにControlNetのhed(色境界認識)を活用して学習サンプルをAIで塗ってみたりもしましたが、大概素直な結果にはならず、これも手作業修正の費用対効果が悪すぎます。 手間がかかりすぎるという問題以外では一応結果が良くなったのでAOM3A3出力に関しては一旦完成かなと思っていたらもっと簡単に解決できそうな方法を発見しました。LoRAの層別適用を可能にするLoRA Block Weightです。

1つの数字で適用率を決めるから塗りとキャラ特徴の強度が同期してしまうのであれば、モデルデータ構造U-NETの層別に適用率を指定してやればいいじゃなーい? というわけで、LoRA Block Weightを導入してみました。モデルマージの際に層別に配合比率を変えるのとほぼ同じ原理ですね。
そしてranma-chan_mk20で出力した成果がこちらです。

特徴再現度が高く、多少は濃淡が効いていて、ポーズの自由度も高いです。とはいえ層ごとに役割が明確に分かれているわけでもない上にどの層が何を担当しているのかもはっきりとは分かっていないので8528dの塗り品質がフルスペックで出ているわけでもありません。最初のHolara出力などと見比べてみるとまだまだ差があります。Holaraは塗りのレベルが高いのに機能に制限がありすぎるからあれは色々と勿体ないんですよね……。R-18用途についてはマネキン状態で出力してInpaintで付け足すような使い方も出来ますが、そもそもキャラが似なくてLoRAも使えないのはどうしようもないですからね。いや逆に制限することでそのあたりの問題に触れるのを回避しているのかもしれませんが。
余談ですが、2枚目の方は単純出力では指がぐちゃぐちゃになっていたのでInpaint機能でマスクをかけて片手ずつ生成ガチャを回しました。また、腹筋が目立ち過ぎていたので同じくInpaintでネガティブにmuscularを入れて修正しました。

LoRAの層の内キャラ固有特徴は概ね10番目～13番目の層(OUT04～07)に入っているので層別適用率は0,0,0,0,0,0,0,0,0,1,1,1,1,0,0,0,0に設定しました。
他の設定方法として0,0,0,0,0,0,1,1,1,1,0,0,0,0,0,0,0で7番目～10番目(IN08,MID00,OUT03,OUT04)を適用してU-NETの深いところだけ使うようにするとより出力用モデルの塗り品質を邪魔しないようになりますが、代わりにキャラの特徴が薄まってコレジャナイ感が増すことがあるのが痛し痒しです。

一方、比較実験用のAOM3A3ではキャラの目が大きいために上まつげを眉毛と誤認してその下に新しいまつげを描き加えしまうという問題がありましたが、これはClip Skip設定を1から2に変更するだけであっさり解決しました。良く見てみるとLoRA学習設定のJsonにClip Skip:2と書いてあり、これがかみ合っていない原因でした。

Clip Skipはtxt2imgの入力画面ではなくSettings→Stable Diffusionの欄にあり、変更のたびにいちいちこれを操作するのは面倒なのでSettings→User InterfaceのQuicksettings listを「sd_model_checkpoint, sd_vae, CLIP_stop_at_last_layers」と書き換えて左上に常に表示できるようにしておくと良いです。ついでにVAE変更も楽になります。
Automatic1111でのClip Skip設定はデフォで1なんですが、2にした方がプロンプト呪文詠唱の効果が正確に出やすいとも言われています。実際AOM3ではその通りですが、8528dでは割と甲乙つけがたい結果になるので変更を簡単にしておくと楽です。

というわけで以下、アニメ塗りのままのサンプルをAOMA3ベースで学習させたmk21からAOMA3でClip Skip:2で出力した結果です。

※AOM3はモデルマージ素材に出所がだいぶ怪しいAnythingを使っているので出力結果を作品として表に出すのはお勧めしません。今回は検証結果としての提示です

AOM3A3は8528dより塗り主張が強いのか、学習サンプルがアニメ塗りだったにもかかわらず塗りがかなりの品質で出ています。
半袖5ボタン拳法着とチアリーディングユニフォームを学習サンプルに入れたのでプロンプト詠唱で上半身部分はある程度反映されましたが、OUT04～07に入っているのは頭から胴体までの範囲のようで、プロンプトで何を詠唱してもチアの腰のスカート、道着の袖やズボンに学習衣装が反映されません。
なおこの出力例では前髪が控えめですが、歩留まりが悪いだけで全く出てこないわけではありません。あの前髪、正面から見た状態が3次元的には矛盾しているのでAIも理解に苦労しているようです。

さて、目的がAIに早乙女らんまを教え込むことである以上、やはりデフォの拳法着くらいはまともに動かしたいものです。
というわけで学習サンプルに3ボタン長袖拳法着全身像を7枚追加しました。素材調達のためにOPとEDの映像を確認していて気づいたんですが、半袖の方も3ボタン裾出しと5ボタン裾入れのバリエーションがあったりしますね。今更ながらの新しい発見でした。
あとついでに2枚だった体操服を増量して4枚にしました。どうせベジェでなぞって描き直してるので、腕に着ぐるみ師匠がまとわりついてるカットを居ないものとして描き直したり、初期作画を後期準拠の画風に描き直したりしました。
結局解像度フリーのベジェ形式ファイルを合計25個も作ることになり、解像度の都合で潰れていた線の復元や画風の修正までやっているとなんかもう自分で絵を描いた方が早くないかという気もしてきますが、今回の場合は自分で描いても意味が無く、あくまで自動化が目的なのです。つまりSatisfactoryやFactorioでそれぞれ1ヶ月かけて完全自動化ラインを作ってた時と行動方針が全く変わってないですね? んンー、大量ーッ! 生産ーッ!!(工場長ムーブ)

ところでこの作業に使ってるのがFireworksのCS5なんですが、CS6を買い損ねていて32bitのままなのでメモリオーバー警告が度々出て辛いです。ファイル互換性のある代替アプリケーションがまさかシリーズ終了から10年経っても出ないとは思いませんでした。

このサンプル追加作業の終わり際に今までキャプションファイルだと思ってたものが正しくはタグファイル(カンマで区切った特徴ワードの羅列)だったということに気づいて、じゃあキャプション(文章形式)はどうやって用意すればいいんだと色々と調べて実際に自動でキャプションをつけるところまでは動かしてみたんですが、キャプション内容の英文が絵の内容と一致してないことも多く、これ自動で出力する意味あるんだろうかと首を傾げる次第です。また、タグはキャラ固有の特徴を示すワードを削って特徴をキャラタグに収束させるという方針(通称マルゼンスキーム)が分かっているんですがキャプションはどう記述するとうまく機能するのかというのを説明してくれているところが見当たらず、結局タグだけのまま学習を回すことになりました。
なおこのキャプションを自動でつけるエクステンションであるDataset Tag Editorでは確かに文章形式のキャプションも生成できるんですが、タグを羅列した形式も含めて(広義の?)キャプションと呼んでおり、このあたりは情報が大分錯綜しております。
多分新しいタグを定義したときにそれを説明するのに文章形式のキャプションが有効なのではないかとは思っているのですが。

それで追加の衣装サンプルを用意したのはいいとして、OUT04～07だと頭から胴体までしか学習した結果を適用してくれないのが問題でして、衣装制御のためには第1層(BASE)の適用が必須で、加えて5番目～9番目(IN05,IN07,IN08,MID,OUT03)あたりもある程度適用しないといけません。そうすると適用率が上がって塗りが学習素材に近づく上にポーズの自由度が下がり、過学習していると形状崩壊も発生します。
まず過学習に関しては学習途中のLoRAも出力しているので調節はききます。
塗りの問題に関しては、適用する層が少ない状態ならばプロンプトで最後あたりにRealistic Digital PaintingやThick Coating Paintingを強めの強度で置いておくといい感じに脱アニメ塗りしてくれます。以下はその塗りに関する検証出力で、使ったLoRA自体は拳法着本格学習前のmk20です。

はい、8528dでも大分綺麗に出るようになりましたね。……他に比べるとエフェクトで誤魔化した感はありますが。
なおプロンプト詠唱の最初に塗り指定をすると強度を上げなくてもいいのですが、代わりにあの前髪を描画してくれなくなるので最後につけることになりました。あの造形はリアル的に許容できないので拒否されてるんでしょうか?

ポーズ自由度に関してはそのために7枚の全身像を追加しました。ただこの7枚、エンディングから持ってきたものなので5頭身程度しかなく、そのまま出力すると子供のような体躯で描画されて本編の体躯(6～7頭身)とは大分離れたイメージになってしまいます。これに関してはプロンプト入力でmature female, perfect female bodyなどとして体格を指定することである程度何とかなりましたが、根本的には素材の方を描き直した方が安定すると思います。

それで体格はどうにかなるのですが、実際にBASEその他の適用率を上げて学習した衣装を着せてみるとですね、必要な層が一気に増えたことで総合適用率が上がって形状崩壊が起こりやすくなる上に塗り指定がより一層効きにくくなって制御か困難になります。
なので衣装制御に最低限必要なBASEとそれをOUT側に中継するMID00、ズボンのだぶつき描写に必要なOUT03、顔の根幹であるOUT04,05は1で固定するとしてそれ以外のIN05,IN07,IN08,OUT06,OUT07あたりの適用率を下げて顔を保持しつつ確率で衣装と必要な着色が出来るようにするわけですが、そうなるとLoRA単純適用率を下げるのとあんまり変わらないガチャ数になるんですよね……。 以下mk26による出力です。層別適用率は長袖拳法服が1,0,0,0,0,0.4,1,1,1,1,1,0,0,0,0,0,0、足の部分を気にしなくてよい体操服は0.5,0,0,0,0,0,0,1,1,1,1,0,0,0,0,0,0としました。

どちらも形は比較的まともに出ていますが、塗りがアニメ塗りと大して変わらない上に爪や袖に変な色がついており、また、背景の自由度も死んでいます。
これでもそれぞれ50回出力ガチャで服がまともに出たのを選んで更に50回バリエーションガチャで指や袖が比較的まともに出たのを選んだ結果なのですが。
CIVITAIを見てみるとこんな面倒なことをしなくても単純適用率とClip Skipの設定だけで着替えに対応してプロンプト指定も無く出力モデルの塗りで出せるLoRAが存在するので、もっといいLoRAモデルの作り方がある筈なのですが、情報が混乱していてそれが学習の方法の違いなのか学習後のマージで何とかしているのかもよく分からないのでそのあたりは今後の課題とします。

Stable Diffusionは対象の立体構造ではなく見たまんまのイメージをノイズと拡散で学習するものらしいので、それ故に2次元の嘘も一応学習可能なのですが、反面身体構造に関する理解は基本的に無く、故にプロンプト呪文詠唱により召喚したキャラは大体手が複雑骨折しています。ネガティブプロンプトにbad fingers, bad hands, missing fingers, bad hands, bad anatomyあたりを入力しておけばいくらかはマシになりますが、それでも歩留まりは片手で1割もあればいい方で、両手同時の描写となるとかなり絶望的な確率になります(※成功率はモデルの完成度にも依存します)。一応InPaintで片手ごとに修正するという手段もありますが、なかなか捗らない作業です。1回生成するごとに料金が発生するwebサービスでこのガチャを実行するとどうしようもないことになるという意味でも自前の環境を作ってしまう方がお勧めです。
最近では3Dアプリケーションからポーズを出して手の形状を指定する試みなどもなされているようで、今後の発展に期待したいところです。

ところで全くの余談ですが、無修正の性的出力結果を配布するのは日本の法に触れますが、自分で見る分には自由ですし、体型も自由にアレンジできるのでAIイラストは他人の出力を当てにするより自分でやってみた方が旨みがあります。ぶっちゃけると私も性癖の根源に根ざすキャラコンテンツの二次供給を待たずとも自分で気軽に製造できるということで自動製造ラインの構築を目指してよく分からんことを分からんなりにやっているところがあります。
実際イラストAI関連の昨今の進化速度には目を見張るものがあり、LoRAもまだ満足に使えていないのに早くもLyCORISなどという新しい学習メソッドが出てきて、情報がまとまる前にもう次に進んでいるような状態です。

なお早乙女らんまLoRA配布の予定はありません。勿論生成物を同人で売る予定もありません。