Controlnet控制圖片生成中文字效，SD放大分辨率及修復細節的幾種方法

Sponsor

前言

本文將使用一個Stable diffusion制作文字特效的案例教程，為您詳細講解操作流程和相應的功能介紹。以及如何利用 StableDiffusion 和 ControlNet 插件來精確控制圖像生成，以及如何將 LoRa 模型融入到創作中。也就是說你在本可以學會Stable diffusion文字特效的制作過程和SD放大圖片并修復圖片細節的方法！

在開始之前，我們需要準備好模型、LoRa 以及相關素材。

一、Controlnet控制圖片生成中文字效

本篇文章我將會采用一個【文字特效的案例教程】給大家詳細講解操作流程以及相應的功能介紹，通過這個案例，帶大家走入StableDiffusion的進階玩法，話不多說，先看看案例圖片：

01、前期準備

在開始之前，我們需要先準備下模型、lora以及相關素材：

1、Stable Diffusion 模型：ReV Animated v1.2.2 （最新版本）

2、Lora模型：light effect sci-fi scene

3、controlnet插件模型以及黑白文字圖片

模型下載推薦使用civitai（國外）以及哩布哩布AI（國內），前者需要特殊網絡，下載也比較慢，但是模型豐富，數量極其的多。后者下載速度很快，我一般是在【civitai】上找到模型然后去【哩布哩布AI】上搜，如果有需要的模型，那就直接在【哩布哩布AI】上下載。

Controlnet插件一般用活菩薩秋葉的啟動包就會自帶，不過模型需要自己安裝一下，在往期文章我有專門介紹過Controlnet的插件安裝教程以及模型的下載方式，此處不多做說明。

圖中為【智設AIGC社區】，整理了AI繪畫的教程及其相關資源，本文所用到的模型素材都提供在里面。

準備一張黑字白底的圖片即可，此處的文字大家可自行修改，圖片尺寸可以根據自己的需要調整合適即可（此處我給的尺寸為512*288，也是1920*1080的縮小尺寸）。

02、關鍵詞描述

本次案例關鍵詞為：

正向關鍵詞：

(masterpiece, best quality:1.3),hd,8k,super details,science fiction,scenery,round stage,<lora:sci-fi-v1.2:0.9>,
(杰作，最佳畫質:1.3)，高清，8k，超細節，科幻，風景，圓舞臺+ <lora>

反向關鍵詞（通用關鍵詞，哪哪都可用）：

(worst quality:2),(low quality:2),(normal quality:2),lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,jpeg artifacts,signature,watermark,username,blurry,bad_pictures,DeepNegativeV1.x_V175T,nsfw,

告訴大家這個關鍵詞哪來的呢，就是從Lora模型的網站上Copy下來的，一個小技巧，如果我們不知道怎么描述關鍵詞，可以把相關的Lora、模型圖片信息上的關鍵詞拿來二次改動即可：

03、文生圖基本設置

把以下標注的參數調整下，大家可以按照自己的想法調整，如果暫時還不會，就按照我的參數調整就好了。

這里說明下，lora可以通過【生成】按鈕下方的紅色icon調用，點擊此lora會給我們在正向關鍵詞的后方添加該Lora參數。

如果你是自己寫關鍵詞，需要添加該Lora的觸發詞，觸發詞一般在模型下載網站作者會寫出來，大家把觸發詞加上去即可。Lora的權重也可以調整，默認參數是1，作者生成的lora圖片權重給的是0.8~0.9，這大概率是作者測試的最佳參數值，大家也可以測試下別的參數值，具體看效果，本次案例Lora權重為0.9，即 <lora:sci-fi-v1.2:0.9>

還需強調一個參數：采樣方法 (Sampler)

采樣方法有很多，一個個介紹的話內容就很多了，大家一般使用這兩個參數即可：DPM++2M Karras 和 DPM++SDE Karras。一般模型下載頁面會有作者推薦的采樣方法，都是經過作者測試過的，所以我們跟著用就好了，當然也可以試試其他的采樣方式，據說效果也差不多。

04、Controlnet參數介紹及設置

接著在下面找到Controlnet插件，上傳我們準備好的黑字白底圖片，并把下面的參數設置好。

Controlnet Unit需要多設置一個，我們將會使用兩個Controlnet預處理對圖片進行控制。

我們在第一個Controlnet Unit上選擇Canny，對應的模型也是canny。他還有一個同胞預處理器“invert”，如果你是黑底白字，那么就選擇“invert”。這個模型作用是控制主體的邊緣進而控制最終生成圖片的效果。

第二個Controlnet Unit選擇Depth，對應模型為Depth。這個模型的作用是檢測圖片的空間層次，進而控制生成圖片的空間感，這個模型適用于一些大型的空間場景。本次案例借助這個模型增強下空間感。

Depth預處理也有好幾個，其中【Depth_leres++】適合處理大場景大空間的圖片（檢測的細節很多），所以這個預處理器的處理時間會很長。如果沒有很大要求的話，使用其他的預處理器即可，處理的結果有細微的差距，大家可自行嘗試下。本次我使用的是【Depth_midas】預處理器。

需要注意一點是，我們要控制下權重，在第一個unit我們默認是1，以canny模型為主，Depth輔助增強空間感，那么就需要把改權重降低一點，比如0.6~0.8。

敲黑板??！

上面我沒有說寫尺寸的事情吧，告訴大家一個小技巧，點擊這個按鈕，就可以把上傳的黑字白底圖的尺寸自動設置上去，這也是為什么在制作黑底白字圖的時候需要把尺寸控制好。

05、終于開始跑圖了

上面講了一大堆，其實也只是冰山一角，只把本次案例需要調整參數的地方講了一下，不過這些也是一般生圖的常用功能，這幾個參數玩好也夠用了，其他參數等我后續以案例教程的形式說明，我認為這樣大家容易記一些。

廢話不多說了，把各項參數設置好了之后就可以開始跑圖了，如果你們出現錯誤，先檢查下參數問題，看是不是跟我一致的。

先批量跑幾批圖出來吧，大致效果就是這樣了：

到這一步如果你覺得結束了的話，那就錯了，還剩下幾個問題呢。

1、圖片分辨率太小，不能用；

2、圖片細節太糙，也不能用。

這時候就引出我們下一個板塊了，圖片放大/細節增強功能，往下看：

二、SD放大分辨率及修復細節的幾種方法

下面幾種方法還是根據我們上面生成的圖片來演示，請在開始之前選中一張你所滿意的圖片即可。

01、高分辨率修復

高清修復在文生圖，也就是在關鍵詞下方，它的原理就是把圖片重新畫一遍，然后增加圖片細節及放大分辨率。

我們先選中一張圖片，固定seed值，然后點擊啟動“高分辨率修復”（可能其它版本是“高清修復”），就可以看到下面的一些參數。

為什么我們在生圖的時候沒有直接勾選這個呢，還要進行固定seed值的這一步參數，是因為這個功能還是會受到顯卡限制的影響，如果批量跑圖開啟“高分辨率修復”，那生成圖片時間會非常久，先用低分辨率尺寸出圖效率會更高點，4090用戶請忽略。

再來看看它的相關參數：

具體看圖，不要暈了！

放大算法一般就使用，【R-ESRGAN 4X+ Anime6b】和【R-ESRGAN 4X+ 】，插畫風格圖片使用【R-ESRGAN 4X+ Anime6b】請無腦使用這兩個！

重繪幅度保持在0.5~0.8即可，數值越大，圖片改動越大，反之一個道理。

放大倍數取決你需要把圖片分辨率放大多少，這個也不能隨心所欲，需要看你的顯存大??！

迭代步數與上面的一樣，一般不需要調整（0為默認與上面一致）。

最終的參數是這樣的，抄作業了：

可以適當的調整重繪幅度，說不定會有意外驚喜哦。

02、圖生圖放大

除了高清修復，圖生圖也是SD自帶的一個不錯的放大方式，原理跟高清修復一樣，我們快速整一遍。

還是那張圖，把圖片發送到“圖生圖”，之前那張低分辨率圖片怎么找到呢，可以在文件夾中找到，然后上傳到“png圖片信息處”，點擊“發送到圖生圖”。

圖生圖的參數基本與前面文生圖一致，都是重復的功能。

然后點擊生成，這張圖片就被放大了，與高清修復一樣，依賴于顯存大小。

用4倍放大值，【3080 10G顯卡】生成時間為27s，占用顯存10g，直接拉滿了。

圖生圖也有“放大算法”功能，只不過需要在設置里面找到，設置之后就是默認的算法了。

03、SD upscale腳本放大

這個功能也是在圖生圖中，與前面兩種方法不一樣的是，這個放大原理是把一張圖分成多個小塊一個個生成，相當于就是生成一小塊后再生成下一個小塊，直到把整張圖生成完畢，所以這個方法對顯存小的玩家是一個好的選擇，沒有集中一張圖生成。

在圖生圖底部找到這個“腳本”選項，選中“使用SD放大（SD upscale）”，在底部可以看到他的參數信息，放大倍數和放大算法與前面一樣。

這個“分塊重疊像素寬度”需要注意下，具體原理不做解釋了，大家只要記住，這里如果是64，那么我們就把上面的高度和寬度分別加64就行了，不然可能會出現圖像分割的情況（本次案例測試沒出現這個問題，如果有，請記住這個方法?。?/p>

最后這張圖是在4倍放大值生成的，分辨率也達到了2048*1152。

【3080 10G顯卡】生成時間為23s，占用顯存4g左右。（前面兩種占用顯存都達到了10G，拉滿了）

04、后期處理功能放大

后期處理這個軟件在其他版本叫做“附加功能”（這兩個名字的功能是同一個），“后期處理”方法原理就是把原圖等比放大并處理一些細節（不重繪），效果沒有上面幾種方法好，但是也能滿足大部分場景需要，處理時間非?？?。

進入“后期處理”這個板塊，上傳小分辨率圖片，我們只需要設置好縮放倍數/縮放尺寸和放大算法即可，其他的參數默認不用管，點擊生成就可以為我們生成一張大分辨率的圖片，這個圖片是100%還原的（沒有經過SD重繪）。

這個功能也可以放大非SD繪制的圖片，比如我上傳一張通過Midjourney生成的圖片，該圖片尺寸為1456*816。拖入“后期處理”中，把放大倍數調整到4倍，點擊生成就會把這張圖片分辨率放大了。

可以看到放大之后圖片確實清晰很多，大家自己嘗試后感受會更加明顯。

05、進階放大功能-Tiled Diffusion

目前StableDiffusion最強的圖片放大功能-Tiled Diffusion，這是StableDiffusion一個插件，它所實現的放大修復功能比前面4種方法更好，強烈推薦大家使用這個方法?。?！

原理與SD upscale類似，我們直接來看看演示案例吧，原理什么的大家看的可能會頭暈…

首先就是這個插件的安裝了，如果你是安裝最新版本的一鍵啟動包（最新版本收錄到我們的知識庫了，需要call我），那么這個插件已經為你安裝好了。如果你的sd中沒有，那請你手動安裝下:

回到圖生圖功能，按照之前的方法，把那張低分辨率的圖片發送到這里來，在下方底部就可以找到Tiled Diffusion和Tiled VAE，這兩個插件是共用的，放大圖片的時候兩者都勾選即可。

這個插件也比較簡單，通常情況我們只需要勾選啟用就好了，注意控制下放大尺寸即可。在放大尺寸這塊大家可能會混亂，圖生圖有一個尺寸，Tiled Diffusion也有一個放大倍數，到底是怎么回事呢？這里有兩種方法：

1、使用圖生圖的尺寸

我們可以把圖生圖的原始尺寸*3，也就是放大3倍（原：512*288，放大：1536*864），取消勾選“保持輸入圖像大小”，并把放大倍數改為 1 即可。

2、使用Tiled Diffusion放大倍數

圖生圖的尺寸保持不變，勾選“保持輸入圖像大小”，放大倍數調整為 3 ，（勾選“保持輸入圖像大小”即圖生圖尺寸不生效）

上面兩種方法都可以，大家自行選擇~

這個插件的其他參數我們都不需要去具體了解，保持默認就行了，注意控制以下幾個參數即可（希望你不要暈）：

最后一步，控制下重繪幅度，因為我們是為了放大圖片分辨率，所以我們的重繪幅度一定不要調的太高。大概0.3~0.5這個樣子，沒有具體參數，需要大家自行嘗試。

我們點擊生成可以看下這幾個重繪幅度之間的差別：

經過測試，重繪幅度保持在0.3~0.5即可，0.5以上圖片就被重繪的過于多了。

0.3-0.5細節改變不大，保留了原圖的細節，0.5的參數會額外再增加部分細節。

06、高階修復放大功能 — Controlnet Tile模型

敲黑板??！重點來了！重點來了！重點來了！

上一步我們介紹了Tiled Diffusion插件的玩法，這次來個更強的Tile模型，它是基于Controlnet插件開發的模型，可以把低分辨率圖片變為高分辨圖片，并且，還可以通過控制參數增強畫面細節！

它的具體使用方法是結合Tiled Diffusion使用，兩者相互結合帶入出圖流中，效果異常的好，到底有多震撼，看下去你就知道了。

回到“文生圖”，你沒看錯，上面基本上都是用到的“圖生圖”，這次我們使用Controlnet插件需要到這里來。

然后請把目光回到Controlnet生成低分辨率圖那里，還是這張圖，保持各項參數不變，看圖：

請把Tiled Diffusion和Tiled VAE勾選啟用，這一步不要忘了，我們是需要結合這個插件使用。

然后我們控制圖片放大尺寸是需要在這里進行，勾選“覆蓋圖像尺寸”并設置放大圖片尺寸，即【512*288】放大3倍為【1536*864】，（文生圖上面的尺寸就不需要管了，字面意思）

再到Controlnet插件這里來，上傳之前的低分率圖片，選中“Tile（分塊）”即可，其他參數該勾選的勾選。最終的圖片效果由“控制權重”來調整。

上述的操作完成后，點擊生成圖片即可，最終圖片生成的效果看設置的權重參數，看圖可得出：

1、低于0.6以下的圖片效果，文字產生了較大的形變，甚至是低于0.4之后完全沒有主體存在；

2、高于1.1以上的圖片效果，文字幾乎看不出變化了；

3、所以本次案例測試結果為權重控制在0.6~1.1左右是比較合適的。

最后再來看下完整大圖?。?！

四、完結撒花??????

到這里本次案例教學就結束啦，不知道大家懵逼了沒有，可以在評論區告訴我。

本篇文章用時12個小時，通過一個文字特效案例介紹了StableDiffusion最強大也是最實用的兩個功能：Controlnet以及放大/修復圖片細節的方法，大家一定要好好掌握這兩個功能，在接下來的商業化案例教程中，我可能會重復使用本文介紹的功能，大家別到時候說看不懂哈。

作者：言川Artie_且曼 | 來源：站酷

需要學習Midjourney的可以看這里
↓?↓

贊助商鏈接

喜歡這篇文章嗎？歡迎分享到你的微博、QQ群，并關注我們的微博，謝謝支持。
版權：除非注明，本站文章均為原創文章，轉載請聯系我們授權，否則禁止轉載。