ControlNer模型工作原理與應用場景

Sponsor

StableDiffusion的教程開始如雨后春筍般拔地而起，相信你一定看到過類似的教程：二次元線稿上色、模特換裝、二維圖像轉三維等等。這相比于Midjourney給設計師們帶來的驚艷，StableDiffusion的這些操作可謂是震驚了設計圈，讓會AI和不會AI的設計師們都坐不住了，當然也包括我。之后我也是趕緊開始投入StableDiffusion的研究中。

而這一切都得益于一個插件：Controlnet。它可以對圖像進行精準控圖，相比于Midjourney，它似乎更適合大多數設計場景。

以上為個人觀點，不喜勿噴

最近我們也是在研發專屬于設計師的AI商業課程，在StableDiffusion設計中幾乎每一個商業場景都離不開Controlnet插件的加持，對此我想再寫一篇Controlnet詳細教程，本篇教程會詳細的介紹大部分常用的controlnet模型，如果你還不知道如何操作使用controlnet，我建議你看看我在2023年5月份寫的一篇《StableDiffusion丨姥姥看了都會的Controlnet插件教程》

Controlnet模型詳解

1、電腦配置單

在正式開始我們controlnet的講解之前，我為大家準備了3套不同的電腦配置單。

之前也有大部分的朋友都來問我，如何搭配一臺能玩StableDiffsion的電腦。所以在本篇文章中我就直接公布出來，只作為建議參考。

其實能穩定的運行StableDiffsion進行生圖，最重要的配置就是顯卡顯存，我們在使用controlnet的時候，也會加大顯存的占用，所以最核心的就是顯存。其他配置都是圍繞著該顯卡進行搭配，畢竟要使顯卡能完美的發揮出它的性能，其他配置也得跟上。

2、官方模型

① 目前最新的controlnet模型分為ControlNet 1.1模型和ControlNet XL模型。

② ControlNet 1.1模型支持基于SD1.5、2.1訓練的大模型上。而ControlNet XL模型支持基于SD XL訓練的大模型上。

③ 它們雖然是屬于兩個不同版本的模型，但是使用方法和原理都是一樣的。所以本文只介紹ControlNet 1.1模型，Controlnet XL模型大家對應著預處理器和模型看即可。

當然如果大家現在還沒有ControlNet 1.1模型和ControlNet XL模型，我們在社區中是給大家免費提供了的，可以聯系我獲取哦~

目前ControlNet 1.1官方發布的模型有14個模型，其中包含11個完整模型以及3個測試模型。下面我就開始詳細介紹一下這些模型的作用。

以下所有的模型演示案例，固定參數為：

1、負面關鍵詞用大家常用的模板即可；

2、迭代步數30、采樣方法DPM++ 2M Karras；

3、尺寸與上傳controlnet圖一致

2.1

ControlNet 1.1 Depth

? Stable Diffusion的深度圖

? 模型文件：control_v11f1p_sd15_depth.pth

介紹：

生成一張立體深度圖，白色越亮的地方越靠前，越灰的地方越靠后，記錄原圖的空間信息，可作用在生成圖上，如下圖。

?實操案例：

大模型：

AWPainting_v1.2.safetensors

正向關鍵詞：

((upper body portrait, An African black girl is happy and laughing:1.2)) ((pure blue background)),A delicate figure appears ethereal,with translucent wings and a gown reminiscent of frost. Her attire is a blend of innocence and otherworldliness,suggesting she may be a sprite or fairy from a winter realm,radiating a serene presence.,

上傳原圖，并且使用Depth midas預處理器，切換depth模型，保存默認的controlnet設置，即可通過深度圖生成一張與原圖人物姿勢類似的圖。人物細節和圖片風格可以通過大模型和關鍵詞控制。

2.2

ControlNet 1.1 Normal

? 使用法線圖控制Stable Diffusion

? 模型文件：control_v11p_sd15_normalbae.pth

介紹：

與depth類似，預處理出來的圖片在3D里叫法線貼圖。通過凹凸的法線貼圖記錄空間信息，適合細節信息比較多的圖片。

?實操案例：

大模型：

AWPainting_v1.2.safetensors

正向關鍵詞：

scenery,chair,(ocean:1.3),table,lamp,indoors,sky,plant,water,horizon,window,door,flower pot,potted plant,wooden floor,book,shelf,HDR,UHD,8K,best quality,highres,absurdres,masterpiece,Highly detailed,

上傳真實的室內設計場景，通過Normal模型獲取原圖的空間信息和物體信息，用二次元風格的大模型即可完成圖片風格的次元轉換，Normal的控制效果可謂是非常精準了。

2.3

ControlNet 1.1 Canny

? 使用Canny圖控制Stable Diffusion

? 模型文件：control_v11p_sd15_canny.pth

介紹：

提取圖片中物體的輪廓線，AI根據提取的輪廓重新生成一張與原圖細節類似的圖片。

?實操案例：

大模型：

disneyPixarCartoon_v10.safetensors

正向關鍵詞：

deer,outdoors,tree,blurry,grass,animal,nature,blurry background,antlers,day,animal focus,solo,horns,HDR,UHD,8K,best quality,highres,absurdres,masterpiece,Highly detailed,

使用canny預處理器和模型，控制鹿的形體和身體細節之處，然后通過大模型和關鍵詞的配合，即可生成與上傳圖非常非常相似的鹿。還可以控制背景元素，這是我們在生圖中最常用的模型之一。

2.4

ControlNet 1.1 MLSD

? 使用M-LSD直線控制Stable Diffusion

? 模型文件：control_v11p_sd15_mlsd.pth

介紹：

提取圖片中物體的直線條，彎曲線條不會被提取。適合做室內設計和建筑設計這種直線結構的圖。

?實操案例：

大模型：

majicMIX realistic 麥橘寫實_v7.safetensors

正向關鍵詞：

couch,scenery,lamp,table,book,indoors,wooden floor,carpet,chair,plant,bookshelf,rug,shelf,ceiling light,door,HDR,UHD,8K,best quality,highres,absurdres,masterpiece,Highly detailed,

MLSD模型在室內設計中最為常用，上傳原始室內圖，控制室內空間內的直線條，通過不同的關鍵詞和大模型即可完成相同空間內不同風格的室內設計樣板圖。

2.5

ControlNet 1.1 Scribble

? 使用涂鴉控制Stable Diffusion

? 模型文件：control_v11p_sd15_scribble.pth

介紹：

提取圖片中物體的大輪廓，不會像canny一樣提取精細化的線條，保留人物（物體）的外輪廓，細節會根據關鍵詞發生改變。

?實操案例（與canny模型一樣的案例）：

大模型：

disneyPixarCartoon_v10.safetensors

正向關鍵詞：

deer,outdoors,tree,blurry,grass,animal,nature,blurry background,antlers,day,animal focus,solo,horns,HDR,UHD,8K,best quality,highres,absurdres,masterpiece,Highly detailed,

相比于canny硬邊緣控制，scribbble相對比較柔和，在細節之處更多的是由AI來發揮生成，所以它的控制力不如canny，適合展現創造力的圖片?？聪旅嫔傻穆购捅尘?，只是控制了鹿的大概形體，其他地方則由AI發揮生成。

2.6

ControlNet 1.1 Soft Edge

? 使用柔和邊緣控制Stable Diffusion

? 模型文件：control_v11p_sd15_softedge.pth

介紹：

提取圖片中物體的輪廓線，與canny不同的是他會首先提取物體大的輪廓線，然后其他地方會有細的線。相當于canny與scribble的結合，粗粗細細的。

?實操案例：

大模型：

majicMIX alpha 麥橘男團_v2.0.safetensors

正向關鍵詞：

best quality,hyper quality,8k,ultra detail,realistic,RAW photo,dslr,soft lighting,film grain,Fujifilm XT3,Screen Space Refraction,high detailed skin,natural skin texture,Canon 5D,high details,(masterpiece),(best quality),ultra hi res,realistic,handsome male,young guy,asian male,blurry background,shirt,blurry,white shirt,1boy,male focus,hands in pockets,realistic,upper body,

與上面說的一樣，它相當于Canny與Scribble結合，能通過預處理精準控制圖片中的物體，可以對比這幾個模型的預處理出來的草稿圖，他們對形體的控制力度會有區別，也是比較常用的模型。

2.7

ControlNet 1.1 Segmentation

? 使用語義分割控制Stable Diffusion

? 模型文件：control_v11p_sd15_seg.pth

介紹：

設計中的語義分割圖，根據色塊生成不同的物體，識別物體對應色塊進行畫面的區分，然后根據關鍵詞的描述生成該物體在圖片中的樣子。

這個表格是用在“seg”這個模型上的，可以通過顏色來控制物體在畫面出現的區域，下面表格中的顏色都對應著相關物體，我有這個表可以分享給大家，找我就行了下??

?實操案例：

大模型：

majicMIX realistic 麥橘寫實_v7.safetensors

正向關鍵詞：

scenery,outdoors,ocean,sky,day,beach,shore,cloud,water,stairs,horizon,landscape,tree,HDR,UHD,8K,best quality,highres,absurdres,masterpiece,

它的原理是把圖像中的物體，按照語義分割圖的規則分割成色塊，每個色塊都對應著一個物體，比如青藍色是天空，草木是綠色，通過這樣的方式控制圖片中的元素，也是比較常用的模型。

2.8

ControlNet 1.1 Openpose

? 使用Openpose控制Stable Diffusion

? 模型文件：control_v11p_sd15_openpose.pth

介紹：

識別人物的姿勢、面部、手臂，生成骨架圖，AI根據骨架圖可以很好的還原原圖上的人物形態。

?實操案例：

大模型：

AWPainting_v1.2.safetensors

正向關鍵詞：

1girl,orange shoes,solo,sitting,sky,clouds,outdoors,black hair,bird,upward view,blue sky,white socks,daytime,orange jacket,building,long sleeves,leaves,long hair,stairs,red headband,pump Rope,headband,bangs,cloudy sky,from_below,wide_shot,

上傳人物圖，可以通過openpose控制生成人物骨架圖，通過不同的大模型和關鍵詞，生成與原圖人物姿勢一樣，但是風格不一樣的圖片，做人物類的圖片少不了用它。

2.9

ControlNet 1.1 Lineart

? 使用線條藝術控制Stable Diffusion

? 模型文件：control_v11p_sd15_lineart.pth

介紹：

精準的控制物體的線條，并自動對線條進行藝術化處理，與canny類似，適合做一些偏藝術類的圖片，簡單說可以幫我們把圖片轉成手繪線稿圖。

?實操案例：

大模型：

AWPainting_v1.2.safetensors

正向關鍵詞：

flower,white flower,no humans,bug,orange flower,red flower,butterfly,black background,leaf,pink flower,plant,daisy,fruit,yellow flower,lily (flower),purple flower,still life,HDR,UHD,8K,best quality,highres,absurdres,masterpiece,

這個模型提取出來的線條就類似我們手繪出來的線稿圖一樣，對于藝術類的圖片控制重繪的效果比較合適，可以看到下圖生成出來的效果是非常精準的。

2.10

ControlNet 1.1 Anime Lineart

? 使用動漫線條藝術控制Stable Diffusion

? 模型文件：control_v11p_sd15s2_lineart_anime.pth

介紹：

專門做動漫線稿上色的模型，提取圖片線稿，然后進行上色處理，也可以直接上傳線稿上色。

?實操案例：

大模型：

AWPainting_v1.2.safetensors

正向關鍵詞：

(masterpiece),(best quality:1.2),official art,(extremely detailed CG unity 8k wallpaper),(photorealistic:1.4),1girl,future technology,science fiction,future mecha,white mecha,streamlined construction,internal integrated circuit,upper body,driver’s helmet,

把人物線稿上傳后，使用lineart進行黑白反色處理，根據大模型風格和關鍵詞描述，即可對手繪線稿上色，這也是最常用的線稿上色方式。

2.11

ControlNet 1.1 Shuffle

? 使用內容洗牌控制Stable Diffusion

? 模型文件：control_v11e_sd15_shuffle.pth

介紹：

風格遷移，把原圖的顏色信息打亂，然后為生成圖片添加原圖的顏色信息。簡單來說就是讓AI學習原圖的風格，然后賦予到新的圖片上。

?實操案例：

大模型：

majicMIX realistic 麥橘寫實_v7.safetensors

正向關鍵詞：

crosswalk,city,night,real world location,street,crowd,road,6+boys,outdoors,scenery,people,building,neon lights,sign,cityscape,6+others,multiple boys,multiple others,multiple girls,english text,city lights,HDR,UHD,8K,best quality,absurdres,masterpiece,Highly detailed,

實測下來，不是特別理想?？赡茉谝恍┬”妶鼍爸锌梢杂玫?。

2.12

ControlNet 1.1 Instruct Pix2Pix

? 使用指令式Pix2Pix控制Stable Diffusion

? 模型文件：control_v11e_sd15_ip2p.pth

介紹：

指令性模型，與其他的模型都不一樣，它是上傳一張圖片后，給他發送一串指令關鍵詞。比如下面的圖片，給他發送：“讓它著火”，但是目前只支持一些簡單的指令，還不成熟。

?實操案例：

大模型：

majicMIX realistic 麥橘寫實_v7.safetensors

正向關鍵詞：

Set him on fire.

上傳圖片后，在正向關鍵詞中描述：讓它著火，就出現了如下的圖片，嘗試了更為復雜的指令，確實識別不出來，目前也就適合拿來玩一下。

2.13

ControlNet 1.1 Inpaint

? 使用修復控制Stable Diffusion

? 模型文件：control_v11p_sd15_inpaint.pth

介紹：

與圖生圖的局部重繪類似，它會比局部重繪生成的圖與原圖更融合，且操作更簡單。

?實操案例：

大模型：

majicMIX alpha 麥橘男團_v2.0.safetensors

正向關鍵詞：

1boy,male focus,solo,pants,facial hair,jewelry,shirt,realistic,bracelet,looking at viewer,tattoo,short hair,white shirt,blurry background,black hair,blurry,belt,necklace,beard,dark skin,white pants,

上傳圖片，按住S鍵放大原圖，然后用畫筆涂抹人物頭部區域，點擊生成就會給我們換頭處理。如下圖，我沒有開高清修復和After Detailer，所以面部融合不是很自然。

開啟高清修復和After Detailer后，頭部質量明顯提升，而且融合的相對比較自然，實測比圖生圖中的重繪幅度好用很多。

2.14

ControlNet 1.1 Tile

? 使用瓷磚控制Stable Diffusion

? 模型文件：control_v11f1e_sd15_tile.pth

介紹：

讓一張模糊的圖片變成高清的圖片，或者是讓一張不清晰的圖變成超多細節的圖?？勺饔糜诶险掌迯?，圖片高清化處理，非常的強大。

?實操案例（老照片修復）：

大模型：

RealisticVisionV2.0

圖生圖反推關鍵詞：

one family,dad,mom,the daughter sat on the bike,asiatic,photo,shoot,(best quality:1.4),((absurdres)),(realistic:1.3),(masterpiece:1.3),Highly detailed,

啟用Tiled Diddusion和Tiled VAE，放大算法切換為R-ESRGAN 4X+，放大倍數2倍。

啟用controlnet，上傳老照片，使用tile模型，點擊生成即可得到一張修復后的高清大圖。

3、非官方發布模型

3.1

reference

? 使用參考圖控制Stable Diffusion

? 模型文件：無模型文件

介紹：

可以理解為墊圖，AI會根據上傳的圖片進行物體和風格的參考進行重新繪制，也可以通過關鍵詞描述改變物體動作或形態。

?實操案例：

大模型：

RealisticVisionV2.0

正向關鍵詞：

dog, on the grass, run

reference沒有模型，只有一個預處理器，上傳圖片后，在正向關鍵詞中輸入描述詞就可以生成與原圖類似風格的圖片效果。

3.2

recolor

? 使用重上色控制Stable Diffusion

? 模型文件：ioclab_sd15_recolor

介紹：

為照片重新上色，比如黑白照片上色，也可以通過關鍵詞指定顏色（下圖無關鍵詞）。

?實操案例：

大模型：

RealisticVisionV2.0

正向關鍵詞：

red

啟用controlnet，上傳黑白照片，在正向關鍵詞中輸入“紅色”關鍵詞，點擊生成之后，照片的整體色調就被賦予了紅色，如果想換成其他色調可通過調整關鍵詞切換。

以上就是本篇controlnet模型的全部拆解，不知道大家對每一個模型是否都了解了，下面我給大家演示一個通過controlnet插件完成背景生成的案例。

四、人物背景生成

4.1 前期準備

下面這個案例就是為二次元人物生成一個背景：

我們這個案例的思路就是通過圖生圖-上傳重繪蒙版功能生成背景，用controlnet控制背景生成的準確度。在前期的素材準備方面，準備一張白底圖和黑白蒙版圖。

然后就是大模型和Lora，因為我們主體是一個動漫二次元人物，所以我們的大模型和lora也需要用到同一風格的。

大模型：

AWPainting_v1.2.safetensors丨

Lora：

新春龍年春節插畫 _v2.0

正向關鍵詞描述你想讓畫面出現的元素：

chunjieV2,scenery,lantern,outdoors,snow,architecture,east asian architecture,sky,day,paper lantern,building,blue sky,solo,winter,Spring Festival,Celebration,Chinese New Year,Celebration,Traditional Chinese architecture,scene,<lora:chunjieV_20231221220606:0.8>,

春節，風景，燈籠，戶外，雪，建筑，東亞建筑，天空，天，紙燈籠，建筑，藍天，獨奏，冬天，春節，慶典，春節，慶典，中國傳統建筑，場景

Lora權重0.8，反向關鍵詞可自己選擇通用的。

4.2 基礎生圖

前期準備工作完成后，就可以把這些素材填充到web-ui中了。

在上傳重繪蒙版這里，需要注意兩點：

1、蒙版模糊度10，蒙版模式為重繪非蒙版內容；

2、重繪幅度為1，因為我們需要AI 100%參與生成。

設置完上面一部分后，如果你點擊生成，那你的背景一定會有問題，因為我們只通過黑白蒙版是無法精準控制整個畫面的，我們還需要使用controlnet進一步控制：

單元一：

設置lineart預處理器和模型，控制人物身體線稿，確保背景不會出現另外一個角色；

單元二：

設置inpaint預處理器和模型，這個局部重繪會讓人物和背景更加融合（可以不上傳原圖）。

以上步數設置完成后，點擊生成，我們就為人物添加上了背景。

但是現在你會發現整張圖片的質量并不高，人物在場景中沒有光影變化，所以我們還需進行后續的修復：

我們可以批量生成8張圖，挑選一張你所滿意的圖片，發送到圖生圖。

4

.3 后期修復

先把生成圖發送到圖生圖，然后重繪幅度設置為0.3，設置tiled diffusion和tiled VAE插件。

在controlnet這里設置tile模型進行細節的修復，點擊生成之后我們就得到了一張高清修復后的圖片。

到此處你還會發現，生成后的人物主體發生了變化，那是因為我們的重繪幅度0.3影響了人物主體。但是我們如果設置更小的重繪幅度，整個場景包括人物的光影細節都不會有變化，所以我們可以讓SD休息會了，剩下的交給Photoshop來修復。

到PS中，我們就可以把原圖的人物覆蓋上去，然后各位就在PS中各顯神通，把原圖用圖層蒙版功能涂涂抹抹，最后我們就得到了一張高清的二次元新春圖了。

五、結語

以上就是本教程的全部內容了，重點介紹了controlnet模型，當然還有一些小眾的模型在本次教程中沒有出現，目前controlnet模型確實還挺多的，所以重點放在了官方發布的幾個模型上。

作者：言川Artie_且曼
來源：站酷（zcool.com.cn/u/22552402）

需要學習Midjourney的可以看這里
↓?↓

贊助商鏈接

喜歡這篇文章嗎？歡迎分享到你的微博、QQ群，并關注我們的微博，謝謝支持。
版權：除非注明，本站文章均為原創文章，轉載請聯系我們授權，否則禁止轉載。