2023-06-28 14:09:25來源：機器之心
在 AIGC 的神奇世界里，我們可以在圖像上通過「拖曳」的方式，改變并合成自己想要的圖像。比如讓一頭獅子轉頭并張嘴：
實現(xiàn)這一效果的研究出自華人一作領銜的「Drag Your GAN」論文，于上個月放出并已被 SIGGRAPH 2023 會議接收。
一個多月過去了，該研究團隊于近日放出了官方代碼。短短三天時間，Star 量便已突破了 23k，足可見其火爆程度。
(資料圖)
圖片
GitHub 地址：https://github.com/XingangPan/DragGAN
無獨有偶，今日又一項類似的研究 —— DragDiffusion 進入了人們的視線。此前的 DragGAN 實現(xiàn)了基于點的交互式圖像編輯，并取得像素級精度的編輯效果。但是也有不足，DragGAN 是基于生成對抗網(wǎng)絡（GAN），通用性會受到預訓練 GAN 模型容量的限制。
在新研究中，新加坡國立大學和字節(jié)跳動的幾位研究者將這類編輯框架擴展到了擴散模型，提出了 DragDiffusion。他們利用大規(guī)模預訓練擴散模型，極大提升了基于點的交互式編輯在現(xiàn)實世界場景中的適用性。
雖然現(xiàn)在大多數(shù)基于擴散的圖像編輯方法都適用于文本嵌入，但 DragDiffusion 優(yōu)化了擴散潛在表示，實現(xiàn)了精確的空間控制。
圖片
論文地址：https://arxiv.org/pdf/2306.14435.pdf項目地址：https://yujun-shi.github.io/projects/dragdiffusion.html研究者表示，擴散模型以迭代方式生成圖像，而「一步」優(yōu)化擴散潛在表示足以生成連貫結果，使 DragDiffusion 高效完成了高質量編輯。
他們在各種具有挑戰(zhàn)性的場景（如多對象、不同對象類別）下進行了廣泛實驗，驗證了 DragDiffusion 的可塑性和通用性。相關代碼也將很快放出、
下面我們看看 DragDiffusion 效果如何。
首先，我們想讓下圖中的小貓咪的頭再抬高一點，用戶只需將紅色的點拖拽至藍色的點就可以了：
接下來，我們想讓山峰變得再高一點，也沒有問題，拖拽紅色關鍵點就可以了：
圖片
還想讓雕塑的頭像轉個頭，拖拽一下就能辦到：
圖片
讓岸邊的花，開的范圍更廣一點：
方法介紹本文提出的 DRAGDIFFUSION 旨在優(yōu)化特定的擴散潛變量，以實現(xiàn)可交互的、基于點的圖像編輯。
為了實現(xiàn)這一目標，該研究首先在擴散模型的基礎上微調 LoRA，以重建用戶輸入圖像。這樣做可以保證輸入、輸出圖像的風格保持一致。
接下來，研究者對輸入圖像采用 DDIM inversion（這是一種探索擴散模型的逆變換和潛在空間操作的方法），以獲得特定步驟的擴散潛變量。
在編輯過程中，研究者反復運用動作監(jiān)督和點跟蹤，以優(yōu)化先前獲得的第 t 步擴散潛變量，從而將處理點的內容「拖拽（drag）」到目標位置。編輯過程還應用了正則化項，以確保圖像的未掩碼區(qū)域保持不變。
最后，通過 DDIM 對優(yōu)化后的第 t 步潛變量進行去噪，得到編輯后的結果?？傮w概覽圖如下所示：
圖片
實驗結果給定一張輸入圖像，DRAGDIFFUSION 將關鍵點（紅色）的內容「拖拽」到相應的目標點（藍色）。例如在圖（1）中，將小狗的頭轉過來，圖（7）將老虎的嘴巴合上等等。
圖片
下面是更多示例演示。如圖（4）將山峰變高，圖（7）將筆頭變大等等。
圖片
關鍵詞：
在AIGC的神奇世界里，我們可以在圖像上通過「拖曳」的方式，改變并合成
現(xiàn)代IT網(wǎng)絡是防火墻、路由器、交換機、服務器、工作站和其他設備的復雜
香山股份在互動平臺表示，公司充電基礎設施建設業(yè)務正在制定相關計劃將
“這不是值不值的問題，也不是功勛元老的問題，問題是市面上還有沒有能
首屆科沃斯機器人大會，暨蘇州灣服務機器人產(chǎn)業(yè)峰會將于2023年6月30日-
岳陽日報全媒體訊（通訊員甘露）6月26日上午，汨羅農商銀行2022年度股
身為新東方學校的三駕馬車之一，徐小平具有新東方老師必備的超眾口才，
“國內最大催收公司”日前宣布停業(yè)，引起人們對催收行業(yè)的關注。記者調
1、這是組策略里把注冊表給禁用了，只要到組策略里修改下就可以打開注
作者簡介Kane，攜程高級數(shù)倉經(jīng)理，專注數(shù)倉建設、數(shù)據(jù)應用和分析；Wn，
本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯(lián)系出處。
由于NVMe-oF技術的出現(xiàn)，數(shù)據(jù)中心存儲架構領域正在經(jīng)歷重大變革。這種
1引言乘用車自動駕駛 輔助駕駛按場景分主要包括城區(qū)場景、高速場景和泊
6月27日，海量數(shù)據(jù)（603138）融資買入403 16萬元，融資償還407 65萬元
