今天跟大家介紹一個東西，叫Scenimefy，是一個由南洋理工大學 S-Lab 研究團隊開發的半監督式 Image-to-Image 的轉換架構，可以把真實世界的複雜圖片轉換成動漫場景。
他們開發的目的是嘗試從複雜的現實世界圖像中自動高品質地渲染動漫場景，這個項目的挑戰在於場景的複雜性、動漫風格的獨特性以及缺乏高品質的數據集來彌合領域差距。因此，他們開發了Scenimefy，解決這個具挑戰性的任務。
他們的方法以結構一致的偽配對資料指導學習，簡化了純無監督設定。偽資料是從利用 CLIP 等豐富模型先驗的語意限制 StyleGAN 中獨特匯出的。而進一步應用分段引導的數據選擇來獲得高品質的偽監督。引入了補丁式對比風格損失以改善風格化和精細細節。
如何實現？
使用細粒度的動漫紋理來風格化自然場景，同時保留底層語義。 Scenimefy 制定為三階段流程：
1）配對資料生成
2）分割引導資料選擇
3）半監督影像到影像翻譯
生成結果
網站裡有不少生成結果的圖片讓大家欣賞。
他們貢獻了一個高解析度（1080×1080）新海誠風格的純動漫場景 資料集，包含5,958 張影像，其構造細節如下：
收集九部著名新海誠電影的關鍵幀，列表如下︰
當初約定的地方 (2004)
秒速五公分 (2007)
貓的聚會 (2007)
追尋失聲的孩子 (2011)
言葉之庭 (2013) 某人的目光（短片 2013）
十字路口（短片 2014）
你的名字 (2016)
天氣之子 (2019)
透過消除不相關和低品質的影像來手動優化資料集，例如，人物肖像，與背景場景相比，其特徵表現出顯著的差異。
Demo
他們有個Demo可以讓大家嘗試上載照片來實現動漫場景。
來源︰Scenimefy