2024 年春晚,伴隨著任素汐溫暖繾綣的歌聲,全國人民在觀看了春晚上首支 AI 視訊。「透過窗看一幕童話,枕著光芒的雲下,晚風輕輕地吹過她的銀發,他笑著等她一起慢慢走回家」,音樂裏一對隨著音樂舞動的男女從青年走向暮年。
2024 年中國中央廣播電視總台春節聯歡晚會
鮮有人知的是,這樣感動人心的節目背後,是一個時限不到一個月,且不容出錯的高難度委托。
而 AI 實作了這一看起來「不可能完成的任務」。
生成式人工智慧技術的飛躍發展,使人工智慧與人的合作達到了前所未有的深度和廣度。當我們不再只是抽象地談論科幻電影中的 AI,那麽 AI 早就已經悄悄開始改變著我們工作和生活了。鑒於此,科普中國推出系列對談,與業內人士聊聊 AIGC 有關的一切。
你是否好奇春晚作品【枕著光的她】的 AI 雙人舞是如何實作的?AI 怎樣賦能設計師?這段視訊的幕後創作者、PPT 設計師阿文在與我們的對談中分享了他的經驗。
他說:第一次用 AI 時,他完全沒有想到會有今天的光景——「我基本離不開 AI 了」。
以下是與阿文的對談整理。
圖庫版權圖片,轉載使用可能引發版權糾紛
AI 是怎樣成為我工作的一部份的
Q: 請阿文先簡單介紹您的工作。
阿文:我的本職工作是一名釋出會的 PPT 設計師,我在北京有一家專門做 PPT 的設計工作室。另外我還是一名 AI 藝術家。
Q: 你是從何時開始關註 AIGC 的?
阿文: 2022 年 4 月我就開始關註 AI 了。因為我經常上微博沖浪,當時 2022 年 4 月一個叫 Disco Diffusion 的工具在微博上流行,我和我身邊很多藝術家和好朋友都在使用。
Q: 剛開始試用 AIGC 時,你對 AI 繪畫的最大能力是怎麽設想的?
阿文:第一印象肯定是很震撼的,2022 年的時候誰見過這種敲幾個字就能生成影像的工具?所以我非常興奮,但當時 AI 生成圖片的品質還很一般,不夠高畫質,等 DALLE-2 出來之後,我才對這個工具有了完全不一樣的看法,覺得「它說不定能用在我們的工作中」,但也完全沒有想到會變成現在這個樣子——我的日常工作基本離不開 AI 了。至少在靜態影像領域,AI 是完全可用的狀態。
Q: AI 幫助你做了什麽事?
阿文:AI 目前起最大作用的是我工作中一個非常重要的環節——找設計素材。釋出會經常會做一些超寬屏的設計,但圖柯瑞很少有十幾米長的螢幕需要用到非常高畫質的大尺寸圖片素材。以往我們花費大量人工時間去合成大尺寸素材,現在只需要告訴 AI,我想要什麽尺寸的素材就可以了。
實際上在我主業做釋出會 PPT 的工作流裏,AI 目前占比並不高,大概 25%~30%。最近,我開始嘗試一些 AI 轉繪創作,這裏 AI 在整個工作流中占了 80%~90%。
圖庫版權圖片,轉載使用可能引發版權糾紛
Q: 你的創作思路會因為 AI 的加入而改變嗎?
阿文:我好像變懶了。過去一個創作需求來了後,我會先自己想一下,現在我可能會下意識地先敲幾個關鍵詞餵給 AI。相當於,我多了一個超強的助手。
Q: 從 AI 那裏獲得的圖,還需要人工改圖嗎?
阿文:一開始我們還需要把 AI 素材匯入 PS 裏「縫縫補補」,目前基本上能一次到位,我們幾乎都不改了。
Q: AI 做 PPT 的工具你嘗試過麽?
阿文:其實我們專業的 PPT 設計師不太會看得上這種工具生成的效果,也用不到。它更像是上班族應付領導的工作報告模版。
Q: 什麽時候開始做 AI 轉繪?
阿文:年初我和海辛老師接到了一個來自春晚節目組的委托,任素汐唱那首【枕著光的她】時,大屏要用一段雙人舞作為背景視訊投射在舞台上,想要呈現一對兒男女隨著音樂跳舞,從青年到老年的情景。因為制作周期非常短,不到一個月,如果用傳統路徑做,無論是對兩個舞者做動捕掃描還是建模,都需要花費大量時間。當時春晚節目組想到用 AI 的方式看能否在極短的工期內做出「還不錯」的效果。最後我們做到了。
Q: 具體怎麽實作的?
阿文:執行計畫過程中,我們遇到了很多挑戰。
比如角色穩定性問題。節目的設計是雙人舞三個階段變裝,包括結婚、婚後、老年三個階段。利用 AI 來實作絲滑的變裝是重要的需求。雙人舞之所以會難做,是因為 AI 會將兩個角色之間的特征進行混淆,所以經常會出現性別交換等問題。我們試了很多方法,最後利用 ControlNet tile 模型固定下來人物的特征,解決了這個難題。
再比如瓷器材質的實作。我們在 SDXL 和 Civitai 開源模型和 LoRa 的加持下,很快確定選擇了白瓷材質的跳舞小人。但中間遇到了很多問題,就在我們以為得訓練 SD1.5 的瓷器 LoRa ,我們發現用一個 「關鍵詞」 就可以解決材質問題。除了關鍵詞以外,我們還發現了一個叫 IP-Adapter 的外掛程式,可以用一張參考圖來引導 AI 生成指定材質效果。
另一個難題是換裝穩定性測試,我們首先在 PR 裏對齊了剪輯,在生成時透過 prompt travel 的方式(不同關鍵幀描述不同的內容)達到了節目組滿意的效果。
圖庫版權圖片,轉載使用可能引發版權糾紛
對AI的暢想
Q: 現在的 AI 生成影像還有哪些升級空間呢?
阿文:AI 生成影像我覺得已經到頭了。
Q: 已經到您想象的邊界了嗎?
阿文:反正你任意把兩張圖片放在我面前,我可能已經沒辦法分辨出來哪個是 AI(生成的)哪個是真的人創造的。
AI越發展,我就越分不清,連我們專業領域的設計師都是如此,那對於大眾來說,AI 圖片的品質已經完全足夠了,AI 作畫已經 next level 了。其實對於 AI 發展,最高傲的就是我們這個群體,一開始我們大部份人瞧不起 AI 生成的影像。就想「 AI 怎麽可能比得上我們親自設計或畫出來的東西?」但越到後面就越會發現 AI 生成品質越來越好,當我們試了一下,簡直「欲罷不能」,而且它確實讓你的工作量減少,讓你效率變高了。然後我就慢慢閉嘴了。
不過非要說的話,需要跟 ChatGPT 這種文字大模型的能力再結合一下,讓文生圖模型能更好地理解「人話」。
現在我會比較多地做 AI 轉繪,做出偏油畫風的那種風格。比如說把上海場模組屋變成梵高裏某幅名畫裏的場景。
Q: AI能替代什麽工作,以及什麽是不能替代的?
阿文:重復勞動的肯定會被替代。比如你以前的工作每天都在摳圖,每做著跟創意毫無關系的工作,那你絕對會被替代。它替代不了的話肯定是一些比較軟的能力,比如創意。這樣的工種我覺得完全是沒辦法替代的,而且越到後面越拼的就是你個人的審美,你個人的內容審美或者設計審美,都會影響你最後的影像作品。而目前AI它只能隨機帶來一些靈感,但是人類它是可以很主觀地輸出自己的審美,這是不能替代的。
我觀察到一個比較有意思的現象,兩年前一些外行去挑釁畫師,挑釁那些遊戲原畫,挑釁設計師,說你們馬上就要失業了。但是兩年後的今天,你會發現 OPENART 社群裏前十名的居然大部份是遊戲原畫師和設計師。AI作畫最後爬向了金字塔頂頂尖,站在頂點的還是那群專業的人。
Q: 你對AIGC的從業者有哪些建議?
阿文:不要太有被落下的焦慮。這個世界上每天每天都有新技術出現,根據我這大半年的觀察,等大家試用完之後撿漏,測試那個效果最好的工具,這樣才是一個高效的方式。
Q: 你覺得AI能創造新職業嗎?
阿文:肯定會有的。但是目前來說,用AI比較多的是傳統設計師轉崗的。
Q: 你覺得AI未來的天花板會是像人一樣嗎?還是說AI會有另一個發展方向?
阿文:我覺得他會超越人,因為AI光是知識儲備就已經遠超每一個人類了,甚至它可能是人類知識的總和。關鍵就回到了AI怎麽去利用知識,我覺得AI超越人類可能只是時間問題。
Q: 可以推薦大家一些您發現的AIGC有趣玩法嗎?
阿文:我用過最好用的AI轉譯外掛程式是沈浸式轉譯,它能一鍵把所有外語網頁內容變成雙語轉譯,而且背後是大語言模型,轉譯特別精準;還推薦所有編程小白試試cursor,零程式碼基礎也能寫網站寫套用!另外,我還想分享有一個想深度玩轉 AIGC 的朋友一款最應該入門的AI工具:comfyUI,入門之後,所有開源技術都是你的外掛程式。
Q: 最後你還有什麽想分享的麽?
阿文:我很想說,其實中國在 AI 領域的成就非常可怕,十分厲害。全世界範圍內,媒體們太過渲染國外大公司的模型能力了,忽略了那些低調卻閃閃發光的中國團隊。
其實開源社群裏,至少在 AI 繪畫、AI 視訊領域,有 90% 的元件是華人或者中國團隊寫出來的:LCM、AnimateDiff、instantID、IPadapter、LivePortrait等等等,更別說可靈了。其實外國開源社群是對中國團隊是非常敬畏的,但中國團隊一直很低調,在國內很少出圈,所以很多人總覺得中國的 AI 技術不行,打不過國外,其實在我看來完全不是!
策劃制作
作者丨凍頂烏龍 科普創作者
受訪物件丨Simon阿文 AbleSlide 聯合創始人,AI藝術家
稽核丨於旸 騰訊玄武實驗室負責人
策劃丨林林
責編丨何通
審校丨徐來 林林