ポーズを指定して画像を生成できる「ControlNet」の使い方【Stable Diffusion web UI】
今回はStable Diffusion XL（SDXL）に関する話題で、タイトルの通りStable Diffusion XLでControlNetを使う方法を丁寧にご紹介するという内容になっています。SDXLがリリースされてからしばらく経ち.
kurokumasoft.com下記の内容は旧Stable Diffusion v1.5用のものなので少々古い情報になりますが、基本的な使い方は最新版と同じです。
- ControlNetを使ったポーズ指定の例
- ポーズ指定以外の活用例
- 拡張機能のインストール
- 必要なControlNetモデルのダウンロード
- 手順1：必要な設定を行う
- 手順2：入力画像を指定する
- 手順3：呪文を入力して生成ボタンを押す
- 応用例1：棒人間を弄ってポーズを指定する
- 応用例2：適当に描いた線画を清書→色塗り
- 応用例3：複数のControlNetを同時に適用する
ControlNetを使ったポーズ指定の例
ControlNetのすごいところは ポーズや構図がかなり厳密に再現される 点です。つまり欲しいポーズのイラストが決め打ちで出てくるので、今までのように何度もガチャを引く必要はありません。
ポーズ指定以外の活用例- 線画だけのイラストを着色する →
- キャラクターの特徴を維持したまま色や画風だけ変える →
- 落書きからリアルな画像を作る →
などなど色々なことに活用できるので とても汎用性が高い技術 となっています。
Stable Diffusion web UIへのインストール方法
拡張機能のインストールまずは拡張機能をインストールします。やり方は簡単で「拡張機能」タブ→「拡張機能リスト」と進み、読込ボタンを押して拡張機能の一覧を出し、「sd-webui-controlnet」を探して右側のインストールボタンを押すだけです。
必要なControlNetモデルのダウンロード lllyasviel/ControlNet-v1-1 at mainWe’re on a journey to advance and democratize artificial intelligence through open source and open science.
huggingface.coControlNet 1.1にはモデルが全部で 14種類 も用意されており（※v1.0のときは8種類でした）、それぞれ使用するアルゴリズムが異なります。超ざっくり説明すると下記のとおりなので好きなものを選んでください。
- ip2p：プロンプトで画像を修正する「Instruct Pix2Pix」を使うモデル。
- shuffle：画像をシャッフルし、再構成することで画像を生成するモデル。
- depth：深度情報を元に画像を生成するモデル。
- canny：画像の輪郭を抽出してそれを元に画像を生成するモデル。シンプルで分かりやすいのが特徴。
- inpaint：画像の一部を修正する「Inpainting」を使うモデル。
- lineart：線画を作成し、それを元に画像を生成するモデル。
- lineart_anime：上記のlineartモデルのイラスト向け版。
- mlsd：直線的な線を抽出して画像を生成するモデル。建物や部屋など構造物の画像を生成するときに便利。
- normalbae：法線マップ（ノーマルマップ）を使って画像を生成するモデル。
- openpose：人物のポーズを検出し、それをもとに棒人間を生成してポーズを制御するモデル。
- scribble：落書きからリアルな画像を生成できるモデル。
- seg：「セマンティックセグメンテーション」という手法を使うモデル。
- softedge：ソフトな輪郭を使って画像を生成するモデル。ディテールを維持するのが得意で、色変更等に活用するとよい。
- tile：高解像度の画像を生成するためのモデル。
今回もStable DiffusionのControlNetに関する話題でControlNet 1.1の新機能を一通りまとめてご紹介するという内容になっています。ControlNetは生成する画像のポーズ指定など幅広い用途に使える技術であり.
kurokumasoft.com webui\models\ControlNetControlNetの基本的な使い方
さて前置きが長くなってしまいましたがこの辺でControlNetの基本的な使い方についてご説明します。ただし使用する選択したモデルによって設定項目が多少違うので、ここでは先ほどおすすめした cannyモデル の場合についてご説明します。
- 必要な設定を行う
- 入力画像を指定する
- いつも通り呪文を入力して生成ボタンを押す
- 「有効化」にチェックを入れる
- プリプロセッサを選択する（ここでは例としてcannyを選択）
- プリプロセッサに対応したモデルを選択する
今回もStable DiffusionのControlNetに関する話題で、タイトルのとおりControlNet 1.1の各プリプロセッサの特徴・出力結果の違いを一通りまとめて比較してみるという内容になっています。ControlNet 1.
kurokumasoft.com 手順2：入力画像を指定する 手順3：呪文を入力して生成ボタンを押すmasterpiece, extremely detailed, super fine illustration, an extremely cute and beautiful school girl, highly detailed beautiful face and eyes, looking at viewer
応用編：ControlNet活用術
- 棒人間を弄ってポーズを指定する
- 適当に描いた線画を清書→色塗り
- 複数のControlNetを同時に適用する
今回はStable Diffusion web UIとControlNetに関する話題で、タイトルの通りControlNet用のポーズを作れるweb UI用の拡張機能「Openpose Editor」の使い方をご紹介するという内容になってい.
kurokumasoft.com 元画像からポーズを抽出→棒人間を自動生成→画像生成 応用例2：適当に描いた線画を清書→色塗り AIで適当な線画を清書し、さらに色を塗って高品質なイラストに仕上げる方法【ControlNet活用術】 kurokumasoft.com 応用例3：複数のControlNetを同時に適用する AIが苦手な「手」を正確に描かせるための拡張機能「Depth map library and poser」の紹介【ControlNet】今回はStable Diffusion web UIの拡張機能に関する話題で、タイトルの通りAIが苦手な「手」を正確に描かせるための拡張機能「Depth map library and poser」の使い方をご紹介するという内容になっていま.
kurokumasoft.comあとは複数のControlNetを同時に適用する こともできます （＝ Multi ControlNet ）。例えば上記の記事でご紹介しているやり方のように
おわりに
この記事をシェアするおすすめ記事
「X/Y/Z plot」の使い方！呪文や設定値を比較して研究に役立てよう【Stable Diffusion web UI】今回はStable Diffusion web UIの便利機能に関する初心者向けの話題で、タイトルの通り生成結果の比較画像を簡単に作れる「X/Y/Z plot」の使い方をご紹介するという内容になっています。Stable Diffusion .
「Stable Diffusion web UI」のインストール方法・日本語化・使い方まとめ（AUTOMATIC1111版）今回も画像生成AIに関する初心者向けの話題で、タイトルの通り「Stable Diffusion web UI」のインストール方法・日本語化の方法・使い方をまとめてみるという内容になっています。画像生成AIの代表格であるStable Diff.
AIを活用して簡単なアニメーションを作る方法！一貫性を保ちつつ手軽にキャラクターを動かそう【ControlNet活用術】 AIが苦手な「手」を正確に描かせるための拡張機能「Depth map library and poser」の紹介【ControlNet】今回はStable Diffusion web UIの拡張機能に関する話題で、タイトルの通りAIが苦手な「手」を正確に描かせるための拡張機能「Depth map library and poser」の使い方をご紹介するという内容になっていま.
ComfyUIでSDXLを動かす方法！最新モデルを少ないVRAMで動かそう【Stable Diffusion XL】今回もStable Diffusion XL（SDXL）に関する話題で、タイトルの通りComfyUIでStable Diffusion XLを動かす方法を丁寧に解説するという内容になっています。以前、ノードベースのWeb UIである「Com.