StableDiffusionのControlNetの始め方・使い方
とみます(@20tomimasu)です。
最近、ControlNetの論文が公開され、すでに、実装できるそうで。
試しに、ControlNetを使ってみました。
0からの始め方をメモしておきます。
果たして、AIに思うようなポーズを描かせることができるのか!?
ControlNetを使ってみたい
noteで、ddPn08さんが記事にしていたので、それを参考に進めていこう。
＞＞ControlNetでポーズや構図を指定してAIイラストを生成する方法
初めて開始する場合、大きく分けて3ステップ。
- WebUIの始め方
- ControlNetの始め方
- デザインロールの始め方
それぞれ進めていく。
①Stable Diffusion web UIの始め方・使い方
- 「ddPn08」より、ダウンロードする
- flatを実行し、WebUIを立ち上げる
- modelをダウンロードして、フォルダに収納する。
- WebUIを再生する。
↑ダウンロード後、exeを起動すると、Windowsの確認が入る。
信じて、実行してみる。
↑シンプルで使いやすそう。
WebUIを選択すると。
↑インストールするを選択する。
この後、20分くらい掛かった。かなり待ったので、早めに実施しておこう。
↑インストール完了!!
そのまま再生ボタンを押すとエラーが出た。モデルが無いと。
そこで、.ckptファイルを持ってくる。
試しに、美少女系のパステルミックスを。
＞＞https://huggingface.co/andite/pastel-mix/tree/main
下記フォルダに、.ckptを収納する。
- C:\Users\xxxxx\AppData\Roaming\flat\features\stable-diffusion-webui\repository\models\Stable-diffusion
これで、もう一度、 Web UIをさせると起動した↓
試しに、cat girlと呪文を唱えると↓
お、問題なさそうだね。
このUIは、かなりシンプルで使いやすいぞ。
②ControlNetの始め方・使い方
- WebUIを立ち上げる。
- Extensions → Install from URLにて、https://github.com/Mikubill/sd-webui-controlnet.git
- モデルのダウンロードし、ファイルに収納する。
- https://github.com/Mikubill/sd-webui-controlnet.git
を入力すると、
ん? 反応が無い?
よく見ると、下側にテキストが表示されていたみたい。背景色と似ていて気付かなかった。w
↑カラー設定を変えて、見てみると、すでに、インストール済みとあるので、これで良いだろう。
引用…https://huggingface.co/webui/ControlNet-modules-safetensors/tree/main
↑種類が沢山あり、違いがよく分からないが、とりあえず、normalを選択して、ダウンロードしてみる。
保存先のフォルダは、エクステンションの中のモデル↓
- C:\Users\xxxxx\AppData\Roaming\flat\features\stable-diffusion-webui\repository\extensions\sd-webui-controlnet\models
③デザインロールの始め方・使い方
- デザインロールより、ダウンロード。
- 好きなポーズを設定する。
- デザインロールを書き出して、WebUIのControlNetに入れる。
- 実行
引用…https://terawell.net/ja/index.php#download
↑無料版があるので、それを選択する。
↑インストール後、起動させると、模型が出てくる。
クリックで祭りっぽいポーズにしてみる。
↑ファイル→画像を書き出すより、保存方法を選択する。
↑それを、WebUIのControlNetのところに入れて、実行すると…
↑お、それっぽいポーズになったのかな。w
一緒に、棒人間が掃き出されるので、骨組みを確認できる。
かなり違うな。w
ドールの扱い方を練習する必要がありそうだ。w
とりあえず、今日はここまで。
おわりに
以上「StableDiffusionのControlNetの始め方・使い方」でした。
環境構築は完了できましたね!
あとは、練度を上げていきたいところ。w
今回は、人間のドールだったけど、猫のドールもあるのだろうか…
色々と探求していければ。
それでは、また。