LCM-LoRA跑圖神器,讓SD跑圖速度提升一倍
今個一起來看看最近一直比較流行的 LCM-LoRA 模型,只需要四個迭代步數就可以生成質量不錯的圖片,可以大大的加快Stable Diffusion跑圖的效率!
一、LCM-LoRA
潛在一致性模型?Latent Consistency Model (LCM)
?在潛在擴散模型中應用了一致性模型Consistency Model(CM)
相同的原理(CM 是一類新型擴散模型,經過訓練可一步生成圖像),從而實現極少的步數出圖
一般情況需要為每一個大模型訓練一個新的 LCM,非常不方便
而 LCM-LoRA 是使用一致性方法通過穩定擴散基礎模型(v1.5 和 SDXL)訓練的 LoRA 模型。
它可以與任何自定義檢查點模型一起使用,將圖像生成速度加快到僅需四個迭代步數。
也就是說 LCM-LoRA 和普通的 LoRA 使用方式一樣,支持 v1.5 和 SDXL,且只需要4步即可出圖
二、下載
想要支持 v1.5 和 SDXL,需要下載各自版本的 LoRA,考慮到大家的網絡原因,大家可以直接回復?lora?獲取網盤地址按需下載
- v1.5: lcm-lora-sdv1-5.safetensors
- SDXL: latent-lcm-lora-sdxl.safetensors
下載完成后將 LoRA 放在?stable-diffusion-webui/models/Lora
?中
三 上手體驗
SD1.5 模型對比
不使用 LCM-LoRA
模型:majicMIX realistic v6提示詞:Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,1girl,silver hair,shiny skin,dramatic lighting采樣方法:Euler尺寸:512x512步數:20CFG:7
因為分辨率只有512,且沒有高清修復,質量一般般。
使用 LCM-LoRA
模型:majicMIX realistic v6提示詞:Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,1girl,silver hair,shiny skin,dramatic lighting,<lora:LCM_LoRA_Weights_SD15_v1.0#2567_4104_4823@8f90d840e0:1>,?//?替換成自己下載的?LoRA采樣方法:Euler尺寸:512x512步數:4CFG:1.2
需要注意的是,步數我們需要控制在 2~8 之間,CFG 在 1~2 之間。
整體效果和不使用 LCM-LoRA 幾乎沒太大區別,但步數卻只需要 4 步即可,但卻只用了不到2s的時間
SDXL 模型對比
不使用 LCM-LoRA
模型:sd base sdxl提示詞:Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,1girl,silver hair,shiny skin,dramatic lighting,采樣方法:Euler尺寸:1024x1024步數:20CFG:7
SDXL 整體效果要比 SD1.5 要好上一些,但磨皮效果太明顯了,在來看看加上 LCM-LoRA 之后的效果
使用 LCM-LoRA
模型:sd base sdxl提示詞:Best quality,masterpiece,ultra high res,(photorealistic:1.4),raw photo,1girl,silver hair,shiny skin,dramatic lighting,<lora:?LCM-LoRA?for?基礎模型升級版S-D-X-L_v1.0#lcm_xl@c3dbf7eb26:1>,?//?替換成自己下載的?SDXL?LoRA采樣方法:Euler尺寸:1024x1024步數:4CFG:1.2
emmm… ?怎么說,有點難評,LCM-LoRA 的細節反而比沒有 LoRA 的 SD base 的圖效果好。
目前來看 SDXL 上應用 LCM-LoRA 的效果和場景相對于 SD1.5 來說還有一些提高。
四、參數對比
迭代步數
前面參數的配置主要設計到?迭代步數
?和?CFG
,官方建議的參數
- 迭代步數:2~8
- CFG:1~2
我們通過 X/Y/Z 腳本來看看效果(使用 SD1.5 測試),在 CFG 在 1~2 之間 使用 Euler 采樣方法,步數在4~10 之間效果都還是挺給力!為了追求性價比,出圖質量也不錯的情況下應該選擇更少的步數
高清修復
再來跑一張高清修復的對比。其它參數都不變的情況下,使用?Latent
?方法算法。最后耗費的時間相差一倍多。使用 LCM-LoRA 只需要 3s ,不使用的情況則需要 7.5s
五 應用場景
LCM-LoRA 的出現可以大大的降低我們跑圖、試圖的時間成本,同時能保證不錯的質量,抽到我們想要的圖之后,也可以拿到種子,再重新跑出高質量的圖。
下面是一些常用的場景
- X/Y/Z 跑圖:平時我們需要測試各種參數時,都會使用 X/Y/Z 來跑圖,使用 LCM-LoRA 極大的降低了花費的時間。上面我們跑的例子,生成了60張圖,只需要了1.30分的時間.
- 其它跑圖:比如 AnimateDiff
- 實時 Prompt:當我們想要測試提示詞的影響時,需要出圖的高實時性,那么 LCM-LoRA 也是能派上大用場
- 實時繪畫渲染:這個相信大家都知道,實時涂鴉,然后生成實時圖片
- 實時投影渲染:在進階一些就是投影視頻/攝像頭進行渲染
本文分享的 LCM-LoRA 模型就介紹到這里,如果你想要了解學習這些場景,可以留言哦~
來源:AI繪圖精選
需要學習Midjourney的可以看這里
↓?↓
版權:除非注明,本站文章均為原創文章,轉載請聯系我們授權,否則禁止轉載。