進(jìn)入2023年以后，AIGC相關(guān)應(yīng)用發(fā)展迅速，行業(yè)巨頭也都加緊布局各類AI大模型。AIGC作為強(qiáng)大的數(shù)字化內(nèi)容生產(chǎn)工具，可以幫助數(shù)字內(nèi)容產(chǎn)業(yè)向制作效率更高、品質(zhì)更高、成本更低的方向發(fā)展。在AIGC迅速發(fā)展的背景下，轉(zhuǎn)描動(dòng)畫也呈現(xiàn)出新的發(fā)展變化。在過去，轉(zhuǎn)描動(dòng)畫的制作流程一般是先進(jìn)行真人實(shí)拍，隨后人類畫師利用轉(zhuǎn)描機(jī)或計(jì)算機(jī)輔助工具進(jìn)行圖像的逐幀重繪，最終再進(jìn)行合成。而現(xiàn)在，逐幀重繪的主體開始從人類畫師向AI轉(zhuǎn)變，出現(xiàn)了AI轉(zhuǎn)描動(dòng)畫這一新的形態(tài)。這一變化極大地節(jié)省了人力、時(shí)間成本，為轉(zhuǎn)描動(dòng)畫帶來了新的可能。

轉(zhuǎn)描動(dòng)畫的概念與發(fā)展

轉(zhuǎn)描技術(shù)（Rotoscoping）是美國動(dòng)畫大師、發(fā)明家馬克思·弗雷歇爾（Max Fleischer）在1914年發(fā)明的一項(xiàng)技術(shù)。這項(xiàng)技術(shù)可以利用一套特制的攝影裝置，把膠片投影到動(dòng)畫師的桌面上，之后動(dòng)畫師就可以根據(jù)拍攝的真人畫面，一幀一幀描繪下來，最終將描繪下來的圖片拍攝、合成為動(dòng)畫片。轉(zhuǎn)描技術(shù)的優(yōu)勢是能夠幫助缺乏經(jīng)驗(yàn)的新人動(dòng)畫師畫出流暢準(zhǔn)確的動(dòng)作，它基于真實(shí)人物的動(dòng)作表演，能夠?qū)F(xiàn)實(shí)中人物的動(dòng)作完全復(fù)制到二維動(dòng)畫人物身上，在保證質(zhì)量的同時(shí)也節(jié)約了成本。而轉(zhuǎn)描動(dòng)畫就是以轉(zhuǎn)描技術(shù)為基礎(chǔ)創(chuàng)作出來的動(dòng)畫片。

動(dòng)畫史上第一部使用轉(zhuǎn)描技術(shù)的動(dòng)畫片是馬克思·弗雷歇爾與其兄弟戴夫于1914—1916年制作的《小丑可可（Out of the Inkwell）》動(dòng)畫系列短片，該短片一經(jīng)推出就大受歡迎，隨后他們還制作了《大力水手》《貝蒂娃娃》等作品。1934年，馬克思·弗雷歇爾轉(zhuǎn)描技術(shù)的專利到期，自此，越來越多的動(dòng)畫電影開始運(yùn)用轉(zhuǎn)描技術(shù)。1937年，迪士尼采用轉(zhuǎn)描技術(shù)制作了史上第一部長篇?jiǎng)赢嬰娪啊栋籽┕骱推邆€(gè)小矮人》，影片上映后取得了巨大成功，對(duì)全球的少年甚至成年人都有著深遠(yuǎn)的影響。1941年，萬氏兄弟創(chuàng)作了我國歷史上第一部動(dòng)畫電影《鐵扇公主》。進(jìn)入數(shù)字時(shí)代以后，雖然由于三維動(dòng)畫的興起以及運(yùn)動(dòng)捕捉技術(shù)和綠幕技術(shù)的發(fā)展，動(dòng)畫轉(zhuǎn)描技術(shù)逐漸被替代，但轉(zhuǎn)描技術(shù)在無紙化動(dòng)畫制作中的應(yīng)用依然占有一定比例，比如，動(dòng)畫電影中有《至愛梵高·星空之謎》，電視動(dòng)畫中有《乒乓》《輕羽飛揚(yáng)》，最近兩年上映的原創(chuàng)奇幻動(dòng)畫電視劇《抹去重來》亦全程使用了真人拍攝，并通過電腦后期軟件進(jìn)行轉(zhuǎn)描制作。

從AIGC技術(shù)到AI轉(zhuǎn)描動(dòng)畫

AIGC的概念

AIGC是AI-Generated Content的縮寫，意思是用人工智能技術(shù)來創(chuàng)造內(nèi)容。它是繼PGC（專業(yè)生產(chǎn)內(nèi)容）和UGC（用戶生成內(nèi)容）之后的一種新興的內(nèi)容生產(chǎn)方式。它利用深度學(xué)習(xí)和生成式算法模型，可以自主地產(chǎn)生新的文本、圖像、視頻、音頻等多種形式的內(nèi)容和數(shù)據(jù)，是人工智能技術(shù)的一種高級(jí)應(yīng)用。

AIGC由不斷創(chuàng)新的生成算法、預(yù)訓(xùn)練模型、多模態(tài)等人工智能技術(shù)積累融合而成。目前市面上的各種AIGC工具、軟件基本上都建立在不同的預(yù)訓(xùn)練模型上，較為常見的是多模態(tài)預(yù)訓(xùn)練模型，即融合了文字、圖片、視頻、音頻等多種內(nèi)容形式的模型，如Stable Diffusion、DALL-E 2、MidJourney等可以生成圖片的AIGC模型。人們只要在相關(guān)工具或程序中輸入一段文本，這些AIGC模型就可以根據(jù)文字描述自動(dòng)生成符合文字描述的圖像，AI繪畫就是由此而來。2022年8月底，由MidJourney生成的繪畫作品《太空歌劇院》拿下了美國科羅拉多州博覽會(huì)藝術(shù)比賽的一等獎(jiǎng)。2023年3月，AI生成的寫實(shí)圖像作品《虛妄記憶：電工》獲得了2023年索尼世界攝影獎(jiǎng)的創(chuàng)意類獎(jiǎng)項(xiàng)。AI繪畫技術(shù)正在逐漸走向成熟，而其令人驚嘆的畫面表現(xiàn)與生成效率也點(diǎn)燃了人們的熱情，AI繪畫的盛行標(biāo)志著人工智能已經(jīng)向藝術(shù)領(lǐng)域滲透。

AI轉(zhuǎn)描動(dòng)畫的產(chǎn)生

視頻是連續(xù)的圖像序列，動(dòng)畫則是除真實(shí)動(dòng)作或方法外，使用各種技術(shù)所創(chuàng)造出的活動(dòng)影像，兩者都基于“視覺殘留”以及“感官經(jīng)驗(yàn)”的原理。自AI能夠生成高質(zhì)量圖像后，人們也逐漸開始了針對(duì)AI視頻、AI動(dòng)畫的探索。早期AI繪畫技術(shù)的一個(gè)明顯特點(diǎn)是每次圖像生成的隨機(jī)性很大，輸入同樣的文本提示詞，得到的結(jié)果卻每次都不同，生成角色的手部、腳部等復(fù)雜部位還容易出現(xiàn)錯(cuò)位、彎折等現(xiàn)象。

隨著人們?cè)贏I技術(shù)方面的不斷探索，ControlNet、Lora等插件、技術(shù)的出現(xiàn)基本上解決了上述問題。目前已經(jīng)可以通過AIGC工具針對(duì)實(shí)拍或動(dòng)畫視頻進(jìn)行畫面內(nèi)容的轉(zhuǎn)繪，而且依據(jù)重繪幅度可以分為低重繪幅度和高重繪幅度兩種。低重繪幅度對(duì)原片細(xì)節(jié)的保留程度相對(duì)較高，看起來像是開了一個(gè)繪畫風(fēng)格的高級(jí)濾鏡。高重繪幅度的特點(diǎn)是風(fēng)格化強(qiáng)，對(duì)原視頻的改變較大；依托不同的AI模型，可以展現(xiàn)素描、色塊、平涂甚至賽博朋克等極具特點(diǎn)的獨(dú)特風(fēng)格。這種通過AI轉(zhuǎn)繪的方式制作出來的動(dòng)畫也基于真實(shí)人物或動(dòng)畫角色的動(dòng)作表演，其視覺效果與傳統(tǒng)的轉(zhuǎn)描動(dòng)畫高度一致，只不過轉(zhuǎn)描的主體由人類畫師變成了AI工具，這種利用AIGC技術(shù)將實(shí)拍影像或CG動(dòng)畫逐幀轉(zhuǎn)換成手繪風(fēng)格的動(dòng)畫產(chǎn)出方式，就是“AI轉(zhuǎn)描動(dòng)畫”。

AI轉(zhuǎn)描動(dòng)畫實(shí)例分析

早期的AI轉(zhuǎn)描動(dòng)畫

AI轉(zhuǎn)描動(dòng)畫出現(xiàn)的時(shí)間較早，早在2021年12月，網(wǎng)絡(luò)上就出現(xiàn)了一部AI轉(zhuǎn)描的實(shí)驗(yàn)動(dòng)畫短片The Crow。在動(dòng)畫中，真人舞者被AI轉(zhuǎn)描成了烏鴉的形象，烏鴉在后世界末日的貧瘠景觀中短暫地舞蹈，直至其不可避免地消亡。整部影片的氛圍荒誕、神秘，加上恰到好處的配樂，總體而言是一部令人難以忘懷且引人入勝的作品，短片還獲得了2022戛納短片電影節(jié)的最佳短片獎(jiǎng)。這個(gè)短片雖然利用AIGC工具對(duì)真實(shí)視頻進(jìn)行了轉(zhuǎn)描，但其對(duì)畫面的控制能力不夠，并沒有解決AI轉(zhuǎn)描噪點(diǎn)的閃爍問題。片中AI生成的一些較為抽象的畫面還營造出了一種特別的視覺效果，從實(shí)驗(yàn)短片的角度來說效果還不錯(cuò)，但這種模式若想應(yīng)用到商業(yè)動(dòng)畫中去，還有很長的路要走。

AI轉(zhuǎn)描動(dòng)畫《石頭剪刀布》

2023年3月，一部名為《石頭剪刀布》的動(dòng)畫短片在網(wǎng)上引起了廣泛關(guān)注。這部短片講述了一對(duì)王子為了爭奪王位而進(jìn)行“石頭剪刀布”大戰(zhàn)。短片中充滿了無厘頭的幽默和“沙雕”的演出，惹得觀眾捧腹大笑。從畫面效果來看，短片中的人物動(dòng)作、表情以及鏡頭的運(yùn)用與真人影片非常接近，而角色與場景的上色、情節(jié)設(shè)計(jì)、畫面風(fēng)格上卻又明顯是動(dòng)畫的表達(dá)方式，具有明顯的轉(zhuǎn)描動(dòng)畫特征（如下圖）。

《石頭剪刀布》原始畫面與最終畫面對(duì)比圖

（圖片來源于網(wǎng)絡(luò)）

短片的制作方是Corridor Digital團(tuán)隊(duì)，其專門從事影視特效制作，在發(fā)布短片的同時(shí)，他們也分享了《石頭剪刀布》的制作幕后。短片采用藍(lán)綠背實(shí)拍加合成的方式制作，角色動(dòng)畫部分則利用了Stable Diffusion這個(gè)深度學(xué)習(xí)文本生圖模型，將實(shí)拍的圖像數(shù)據(jù)逐幀轉(zhuǎn)換為動(dòng)畫風(fēng)格。為了制作這個(gè)短片，該團(tuán)隊(duì)還探索出了一套新的AI動(dòng)畫制作流程。而較于以往的轉(zhuǎn)描動(dòng)畫，這套制作流程最為特別且重要的地方就是針對(duì)AI模型的訓(xùn)練以及降噪去閃爍。

AI模型的訓(xùn)練分為訓(xùn)練人物模型和訓(xùn)練風(fēng)格模型。AI生成人物角色的隨機(jī)性大，為了讓AI能夠穩(wěn)定生成同一個(gè)角色，制作者就需要在純凈背景下對(duì)所需角色的各個(gè)角度進(jìn)行拍照，并通過AI工具DreamBooth進(jìn)行AI模型的訓(xùn)練，經(jīng)過反復(fù)嘗試，訓(xùn)練好人物模型之后，在Stable Diffusion輸入相應(yīng)的文字描述，就能夠穩(wěn)定生成所需的人物角色。在風(fēng)格模型的訓(xùn)練中，Corridor Digital團(tuán)隊(duì)參考了一部經(jīng)典動(dòng)畫片的畫面，對(duì)動(dòng)畫中各個(gè)景別的場景、人物表情、手部動(dòng)作、道具等進(jìn)行了大量截圖，并將這些截圖通過DreamBooth進(jìn)行訓(xùn)練，直到AI能夠穩(wěn)定生成該風(fēng)格的畫面。

在降噪去閃爍部分，該團(tuán)隊(duì)的解決思路是通過藍(lán)綠背實(shí)拍，在得到背景純凈的真人畫面之后，再進(jìn)行AI轉(zhuǎn)描，隨后使用影視后期制作中的去閃爍插件，外加模擬二維動(dòng)畫中1拍2方式縮減動(dòng)畫幀數(shù)等方式，最大程度地優(yōu)化畫面效果。

這部短片的制作流程中并沒有涉及更加高深的AI技術(shù)，更多的是對(duì)現(xiàn)有技術(shù)的整合和運(yùn)用。現(xiàn)在的AI轉(zhuǎn)描動(dòng)畫更像是一種新的藝術(shù)形式，它有著自己獨(dú)特的視覺風(fēng)格和表現(xiàn)手法，但是它還不能完全替代具有復(fù)雜性和多樣性的人類創(chuàng)作，也不能處理一些復(fù)雜的鏡頭和場景，還需要人類創(chuàng)作者進(jìn)行把控和調(diào)整。該短片發(fā)布以后，國內(nèi)也有團(tuán)隊(duì)借助這套方法，以經(jīng)典動(dòng)畫作品《灌籃高手》的風(fēng)格為基礎(chǔ)進(jìn)行了AI轉(zhuǎn)描動(dòng)畫短片的制作，取得了不錯(cuò)的效果，這說明這套制作流程是具備可推廣性的。

需要注意的是，這種制作流程也引發(fā)了行業(yè)內(nèi)對(duì)AI轉(zhuǎn)描動(dòng)畫是不是動(dòng)畫的討論。有些人認(rèn)為這種制作流程是對(duì)真人電影的AI轉(zhuǎn)描，并沒有人類畫師去“畫”這一步驟，而是在這之上加了“濾鏡”制作出動(dòng)畫效果，只是一種視覺效果，并不是動(dòng)畫。然而，定格動(dòng)畫也沒有繪畫的步驟，20世紀(jì)90年代CG動(dòng)畫出現(xiàn)時(shí)也不被傳統(tǒng)手繪動(dòng)畫師所認(rèn)可。新技術(shù)出現(xiàn)以后，總有人會(huì)把它視作一種威脅，但只有接納新的事物才能了解它們的好處?；蛟S在未來，人們能夠看到更多真人影視與AI動(dòng)畫相結(jié)合的作品，它們會(huì)給人們帶來更多驚喜。

AI轉(zhuǎn)描動(dòng)畫的優(yōu)勢與劣勢

從上面的案例可以看出，AI轉(zhuǎn)描動(dòng)畫有很多優(yōu)點(diǎn)。首先，AI轉(zhuǎn)描動(dòng)畫可以極大地降低動(dòng)畫創(chuàng)作的門檻，減少動(dòng)畫師的工作量，提高動(dòng)畫的制作效率和質(zhì)量。例如，Corridor Digital團(tuán)隊(duì)本身并沒有任何動(dòng)畫方面的專業(yè)人員，但是依托自身在真人電影制作方面的經(jīng)驗(yàn)，再結(jié)合AIGC工具，在整個(gè)團(tuán)隊(duì)只有十幾個(gè)人的情況下，只花兩個(gè)月時(shí)間就制作出了《石頭剪刀布》這一品質(zhì)較高的動(dòng)畫作品。其次，AI轉(zhuǎn)描動(dòng)畫可以增強(qiáng)視頻畫面的表現(xiàn)力和創(chuàng)新性。例如，可以通過Stable Diffusion、Runway Gen1等AIGC工具，讓用戶輸入所需效果關(guān)鍵詞，或提供參考圖來生成符合要求的畫面效果；其也可以幫助動(dòng)畫師尋找靈感，為動(dòng)畫師提供參考，還可以通過這種方式增強(qiáng)畫面的表現(xiàn)力和創(chuàng)新性。此外，AI轉(zhuǎn)描動(dòng)畫可以利用AI生成中的噪點(diǎn)因素所帶來的閃爍、抖動(dòng)效果，創(chuàng)造出一種獨(dú)特的視覺效果。例如，上文所述的AI實(shí)驗(yàn)動(dòng)畫短片The Crow就利用這種特點(diǎn)構(gòu)造了一個(gè)奇特的神秘世界，給觀眾帶來了一種新奇且不可預(yù)測的感受，其也可以在一定程度上突出動(dòng)畫的主題和氣氛。

AI轉(zhuǎn)描動(dòng)畫也有一些劣勢。首先，最明顯的一點(diǎn)就是版權(quán)問題。例如，《石頭剪刀布》為了實(shí)現(xiàn)所需風(fēng)格所訓(xùn)練的AI模型大量使用了一部經(jīng)典動(dòng)畫作品的截圖，由于《石頭剪刀布》本身并不是商業(yè)動(dòng)畫，其制作團(tuán)隊(duì)更多地是探索新的創(chuàng)作方式，還積極分享了其創(chuàng)作方法，具有一定的公益性，但如果這種制作方式想要商業(yè)化，必然會(huì)引起與版權(quán)有關(guān)的爭端。其次，AI轉(zhuǎn)描動(dòng)畫需要高性能的硬件設(shè)備。例如，顯卡的顯存直接決定了能生成多大尺寸的作品，而顯卡的算力則決定了多久可以生成。同時(shí)，如果沒有合適的AI模型，那就需要訓(xùn)練特定的AI模型，這也會(huì)耗費(fèi)大量的時(shí)間和硬件資源。

綜上所述，AI轉(zhuǎn)描動(dòng)畫是一種有利有弊的技術(shù)，它可以降低動(dòng)畫創(chuàng)作的門檻，可以作為動(dòng)畫創(chuàng)作的輔助，也可以作為一種獨(dú)特的表現(xiàn)形式存在，但也需要注意版權(quán)、硬件設(shè)備等方面的問題。

轉(zhuǎn)描動(dòng)畫自發(fā)明以來已經(jīng)經(jīng)過了百年的發(fā)展，作為一種在真人影像基礎(chǔ)上進(jìn)行動(dòng)畫創(chuàng)作的動(dòng)畫形式，時(shí)至今日，其仍未退出歷史舞臺(tái)。以往的轉(zhuǎn)描動(dòng)畫大多是有著明顯手繪感的二維動(dòng)畫，即使進(jìn)入數(shù)字化時(shí)代，可以利用計(jì)算機(jī)軟件進(jìn)行制作，但由人類畫師繪制仍是必不可少的環(huán)節(jié)。現(xiàn)如今，AIGC時(shí)代來臨，其徹底改變了轉(zhuǎn)描動(dòng)畫，轉(zhuǎn)描的主體由人類畫師變成了AI工具，產(chǎn)生了AI轉(zhuǎn)描動(dòng)畫這種新的形態(tài)。此刻，筆者并不想討論它所帶來的爭論，單就AI轉(zhuǎn)描動(dòng)畫可以極大地降低動(dòng)畫創(chuàng)作門檻，讓不會(huì)做動(dòng)畫的非專業(yè)人士也可以實(shí)現(xiàn)自己的動(dòng)畫夢想這一點(diǎn)，就足以證明AI轉(zhuǎn)描動(dòng)畫的存在有其意義。在這個(gè)快速變化的世界中，AI已經(jīng)成為我們無法避免的存在，與其對(duì)它嗤之以鼻，還不如和它合作，借助它的優(yōu)勢，解決我們所面臨的問題。