Reference onlyの使い方
I will explain how to use Reference only.
拡張機能であるControl Netの機能一部のReference onlyは、顔の造形を受け継いだ形で他の画像生成ができる機能ですにゃ。
この機能は、Control Net 1.1.153以上で使用可能できるにゃ。
画像の特定の部分を固定して、他の部分を変更することができるのにゃね。
同じ人物を流用して別の衣装を着せたいときなどに使うことができるってことにゃ？
そうなのにゃ。
キャラクターの特徴を固定させ、ちょっと違う画像生成ができる機能なのにゃ。
このちょっとという部分がポイントにゃ。
前提としてControlNetの拡張機能が必要なのにゃ。まだ入れてない猫はいれとくにゃ。
ControlNetの導入
AIイラストに指示画像を与えることでポーズや輪郭、奥行き情報などを指定できる機能です。
How-To Guides
Step 1: txt2imgで構図を変える
今回は次の画像をベースにします。結果が解りやすくなるようにできるだけ特徴のある顔の画像を用意しました。
まずはtxt2imgで表情を変えてみます。
この画像をまずはPNG Infoに元となる画像を入れて「Send to txt2img」を押します。
プロンプトに元画像生成時の内容が入ってることを確認して、ControlNetを開きます。
１．元画像をドラッグアンドペーストします。
２．EnableとPixel Perfectにチェックを入れます。
３．reference_onlyを選択します。※手前のControl TypeでReferenceラジオを押してもOKです。
４．プロンプトの先頭に(laugth:1.5)を追加してみます。
５．Generateを押します。
元の画像から笑顔になりました。キャラはまぁ変わってないと言えそうです。
プロンプトを変更しても同じ人物のまま違う構図にできそうです。
どの程度変化があるのかを調べるために動作を入れてみました。
「fighting pose」を追加したところ体の向きが変わりました。戦ってるようには見えませんが同一人物のまま違う構図にはある程度出来そうです。
どこかの魔法学校で見た気がする人間にゃ。
でも笑ったり角度が変わるとなんかそっくりさんなだけな気がしないわけでもないにゃ。
まーそれでも背景も服もそのままだから同じ人物に見えるにゃ。
プロンプトだけだと思ったようなポーズにするのは難しそうなのにゃ。
それとこの機能はちょっとだけ変えるというのがポイントだと思うにゃ。
あまりにもプロンプトを変化させすぎると別の人物になってしまうにゃ。
Step 2: img2imgで構図を変える
今度はimg2imgを使って着せ替えをしてみるのにゃ。
構図は変えずに服だけ変えたい場合に使えるにゃ
最初はメイド服を着せてみるにゃ。
そのために適当にメイドさんの画像を作るにゃ。
今回は以下のプロンプトで出来上がった画像のメイド服を着せることが出来るか試すにゃ。
maid uniformと汎用的なプロンプトを適当に組み合わせて服のベースになる画像をつくるにゃ。
そのベースのメイド服を着せることが出来るか検証するにゃ。
元絵の画像をPNG Infoにいれて「Send to img2img」をクリックします。
img2imgタブを開いたらプロンプトと元絵の画像が表示されてるかを確認します。
ここでのコツはDenoisingは元画像をあまり変化させたくないので55にします。50以下に設定するとほぼ変化が無くなるので微増な値が良いです。
コントロールネットを開きます。
txt2imgと設定はほぼ同じですがimg2imgのポイントはControlnet Weightを0に近い値にするのがよさそうです。
メイドの画像をイメージ部分にアップしたらControlnet Weightを0にしましょう。
この設定は元絵の構図にどのくらい影響するかを表します。0ということは元絵の構図に忠実に顔以外を変化させることを意味します。
ここからはちょっとコツが必要になりますがプロンプトを変化させます。
元絵の内容のプロンプトから顔や髪などの造形部分を抽出したものとメイドの絵から服装や背景の内容部分を抜きだして結合します。
この場合は元の絵からbrown eyesやhairに関する部分とbreastのような体のパーツに関わるもの。
メイド服の方はメイド服とそれに付随する内容のもの例えばカチューシャなど。それらを張り合わせてプロンプトに入れます。
それではGenerateしましょう。
服だけがメイド服になったのにゃ。
作った画像の雰囲気を変えたくなったら着せ替えがはかどるのにゃ。
服装に迷ったら数パターン変えてよさそうなのを選ぶなんてことも出来そうにゃね。
折角だから今度は夏に涼しいかき氷を題材にして作成してみるにゃ。
夏祭りのかき氷を題材にして作成した次の絵を適用してみます。
設定はメイド服の時と同じです。ですので結果的に服装だけが着物になるはずです。
プロンプトの内容も元絵の人物情報＋和服の情報になります。
それではLet's！Generate!
和服とかき氷なのにゃ。
日本の夏なのにゃ～。
とってもおいしそうにゃね。
顔の造形は同じに見えて和風の画像になると少し表情が日本人風になってる気がするにゃ。