,英偉達的最新 AI 工具又讓網友用戶們激動了。我已經等不及了!
一位網友在看完演示視頻后表示。
對于手殘黨來說,英偉達的 EditGAN 簡直就是零基礎 P 圖神器能夠高質量,高精細度地對圖像進行修改,讓 P 圖方式從未如此容易
例如,讓畫像和雕塑擠眉弄眼:
EditGAN 甚至能精細到修改車輪輻條大小和方向:
當然,真人照片也不在話下,如控制人眼朝向,頭發量等:
還能給貓咪修改耳朵大小:
在草圖中加入牙齒部分,人就笑了
EditGAN 只會修改你想要改變的部位,其他部分都原封不動。
和最近的 GauGAN2 一樣,英偉達也為 EditGAN 開發了一個電腦軟件:
這項研究已經被 NeurIPS 2021 接收。
本文一作是來自多倫多大學的華人博士生凌歡,他同時在該校人工智能研究院和英偉達做研究。
2,只需要很少的注釋訓練數據,
3,可以實時交互式運行,
5,適用于真正的嵌入式,GAN 生成甚至域外圖像。
首先,EditGAN 使用 StyleGAN2 生成圖像。
StyleGAN2 的工作流程是:獲取圖像,將其編碼到潛在空間,并使用生成器將這個編碼子空間轉換為另一個圖像。其中α∈B×C×H×W是一個mask,如果用于水平混合,則mask將從左到右變大。。
但問題在于,這個空間是多維的,我們很難將其可視化,也很難確定該子空間的哪一部分負責重建圖像中的哪個特征。
通常,需要龐大的標注數據集,才能知道模型中潛在空間哪一部分控制哪些特征。
更重要的是 EditGAN 不僅知道潛在空間對應控制那個部分,而且還將它們與草圖對應起來這樣,我們就可以通過修改草圖輕易地修改圖像了
EditGAN 基于 DatasetGAN,結合了圖像建模及其語義分割。
EditGAN 的關鍵思想在于利用圖像和像素級語言分割聯合分布。
P 圖工具即將發布
該項目使用了大約 14000 個 GPU 小時,其中大約 3500 個 GPU 小時用于最終實驗,其余用于研究項目早期階段的探索和測試至于 EditGAN 的運行,在 V100 上進行 30 步優化需要 11.4 秒
雖然訓練不起,但是用訓練好的模型來 P 圖還是有可能的。
此前英偉達發布的 Canvas 就集成了 GauGAN2 等最新成果,可以用手繪草圖生成精細的 PS 文件。
可能 Canvas 也會很快集成 EditGAN 的吧。
論文地址:點擊打開
補充材料:點擊打開
。鄭重聲明:此文內容為本網站轉載企業宣傳資訊,目的在于傳播更多信息,與本站立場無關。僅供讀者參考,并請自行核實相關內容。
|