Stable Diffusion InstantID 炸裂！只需要一張圖就可以換臉 ｜ 詳細教程

Sponsor

最近AI換臉又火起來了， 小紅書 InstantX 團隊發布了一款最新的換臉技術 InstantID和之前的主流的訓練 lora 換臉不同，InstantID 只需要上傳一張圖就可以實現換臉以及姿勢替換！

一 InstantID ?介紹

InstantID 主要分為了三部分

• ID Embedding：通過預訓練的面部識別模型，將語義人臉特征提取為 Face Embedding。這種嵌入包含了豐富的語義信息，如面部特征、表情、年齡等，為后續的圖像生成提供了堅實的基礎。
• Image Adapter：引入輕量級的適配模塊，將提取的身份信息與文本提示結合。通過解耦的交叉注意力機制，圖像和文本能夠獨立地影響生成過程，同時保持身份信息的同時允許用戶對圖像風格進行精細控制。
• IdentityNet：小紅書提出的 IdentityNet 是 InstantID 的核心部分。它利用強語義條件和弱空間條件編碼參考面部圖像的復雜特征。生成過程完全由 Face Embedding 引導，無需文本信息。只更新新添加的模塊，而保持預先訓練的文本到圖像模型凍結，以確保靈活性

概括來說：

1. InstantID 使用 ID Embedding 提取用戶輸入的提示詞和面部圖像的關鍵信息。
2. 接著 Image Adapter 將這些信息進行融合
3. IdentityNet將這些融合后的信息生成新的圖像

下面介紹的是使用 Stable Diffusion 如果集成使用 InstantID

目前只支持 SDXL 模型，controlNet 需要升級到V1.1.440版本

二 使用步驟

模型下載

Instant ID提供了兩個 ControlNet 模型，考慮到大家的網絡原因，我直接放在了網盤，直接后臺回復?模型?獲取下載鏈接

• ip-adapter_instant_id_sdxl.bin
• majicmixRealistic_v7.safetensors

下載完之后放在你的?{A1111_root}/models/ControlNet?目錄下，重啟 webui 后在 ControlNet 頁面可以看到 InstantId 這個選項 （如果找不到這個選項，需要升級下自己 ControlNet 版本，然后重啟即可）

參數配置

模型：DreamShaperXL （需要使用一個 sdxl 模型）
提示詞：a 20 yo woman,long hair,dark theme,soothing tones,muted colors,high contrast,(natural skin texture,hyperrealism,soft light,sharp),red background,simple background,
尺寸：1024x1526
步數：30
CFG提示詞引導系數：5

ControlNet 配置

第一個ControlNet 上傳包含全臉的圖片，用于提取臉部信息其中：

• 預處理器：instant_id_face_embedding
• 模型：ip-adapter_instant_id_sdxl
• 控制權重：（0.2-1）之間，越大，出圖效果比較模糊，越小圖片和原圖的臉部就越不像

第二個ControlNet上傳姿勢圖片，用于提取姿勢信息注意：姿勢圖片可以和第一個ControlNet 不需要是同一個人其中：

• 預處理器：instant_id_face_keypoints
• 模型：control_instant_id_sdxl
• 控制權重：（0.5-1）之間，越大，出圖效果比較模糊，越小圖片和原圖的臉部就越不像

配置完后直接出圖，看看效果，效果還是非常不錯的

在換一個提示詞，其它不變

提示詞
1girl,sweater,white?background

再換一個姿勢背景，其它的不變

出圖效果

由于我只使用了 DreamShaperXL 來出圖，所以出圖的風格比較單一，你可以可以使用任意類型的模型和姿勢來出圖，效果都杠杠的～

InstantID 換臉技術，快快試玩起來~

來源：AI繪圖精選（ID：enjoyddday）

需要學習Midjourney的可以看這里
↓?↓

贊助商鏈接

喜歡這篇文章嗎？歡迎分享到你的微博、QQ群，并關注我們的微博，謝謝支持。
版權：除非注明，本站文章均為原創文章，轉載請聯系我們授權，否則禁止轉載。