成大團隊人工智慧技術發表《小貓巴克里》3D版
成大《小貓巴克里》3D版 不用戴眼鏡也能看立體電影。圖：成功大學提供
國立成功大學28日上午舉辦臺灣原創動畫《小貓巴克里》3D 版首映會，成大電機系特聘教授暨敏求智慧運算學院副院長楊家輝師生團隊現場展示由人工智慧3D影片轉換系統的最新研發成果，「裸視 3D 技術不用戴眼鏡就能看立體電影」，嶄新又舒適的觀影體驗，驚豔四座。
楊家輝表示，業界已發展出 2D 影片轉 3D 的技術，但仍需大量人力切圖與修正才能達到流暢與舒適自然的 3D 效果。經團隊驗證，「基於人工智慧之 3D 影片轉換系統」已可做到百分之 95 自動化 2D 影片轉換成 3D，實務上只需要 20 分之1的時間，大幅提升產量與效率。團隊對於景深估計與補洞的技術持續發展，未來目標朝全人工智慧方向執行。此外，配合虛擬實境與擴增實境的應用，利用人工智慧技術，原來精緻的 2D 人、事、地、物影像，即可用來建構裸眼 3D 元宇宙，加速元宇宙發展指日可待。
成大電資學院院長暨敏求智慧運算學院院長詹寶珠也是技術團隊的成員，負責景深部份。詹寶珠表示，景深用人去做其實很耗時間。連續幾年研究團隊都在找如何產生景深，並讓景深變成規格可以輸入電視，讓電視要播 2D 或 3D 都可以。
《小貓巴克里》3D版為首支由成大「人工智慧3D影片轉換系統」轉換的3D動畫長片。試映會現場，影片原創者邱立偉導演、國內裸眼 3D 螢幕製造廠商騰騏科技總經理潘群倫，以及國內 3D 電影製作領導廠商兔將創意影業立體製作人蘇莞筑與洪揚絢技術總監等皆出席與會。
成大團隊人工智慧技術發表《小貓巴克里》3D版。圖：成功大學提供
享譽國際的臺灣原創動畫電影《小貓巴克里》導演邱立偉致詞談到，電影從黑白到彩色、2D 到 3D，再到 AR 或 VR，所有的發展都在提供觀眾更真實的感受。「（成大）這個技術如果能夠透過系統技術大量產出，觀眾可以接收到更多內容，會是一個非常有趣的體驗」。
邱立偉透露，當時《小貓巴克里》的確有考慮過直接做成 3D 影片，但是後來發現造價實在太高，只好放棄。「成大團隊技術成果讓我們嚇了一跳。楊老師技術團隊反而把平面變成立體，影片中有些畫面我們沒有真正搭建 3D 模型，沒想到（人工智慧）技術讓平面的東西反而呈現一個完全不同的風貌，等於變成另外一部電影，更有趣，更讓觀眾可以投入，讓（電影）角色栩栩如生在眼前」。
傳統 3D 電影製作需要大量人力、時間以及設備成本，《小貓巴克里》3D 版運用國立成功大學團隊開發的「基於人工智慧之 3D 影片轉換系統」，透過人工智慧類神經網路及深度學習技術，大幅提昇影片 2D 轉 3D 的速度及精準度，節省大量的時間與人力，亦可節省後製及檢查流程，使整體成果更快、更準，3D 效果更舒適。
「基於人工智慧之3D影片轉換系統」運用人工智慧來解決兩個關鍵問題，分別是像素3D資訊（深度）生成及多視角影像合成。尤其裸眼 3D 影片需要多視角的影像。楊家輝進一步指出，現有的影片都是屬於單視角拍攝的 2D 影片，要精確估計3D資訊，傳統需要設定許多推理條件來完成深度估測。設定的推理規則時常有例外，使得推算出的深度資訊有相當大的誤差。「多視角影像合成，一定會產生前景邊之空洞問題。傳統演算法多半是將背景色彩做延伸來填補因前景位移所產生的空洞，這種方式在背景比較單調的區域有不錯的效果，但只要有非水平物件或者紋理背景，將會產生錯誤的填補資訊，並且在遮蔽資訊過多的情形下就無法重建出原始的物件」。
「基於人工智慧之 3D 影片轉換系統」利用類神經網路強大的物件化特徵資訊，進而推算出單視角的深度資訊，在邊緣區域將會做較銳化的設計，減少模糊的不連續深度問題，同時深度學習架構可以減少輸入資訊的視角數量，也能夠在填補資訊上做出更加合理的答案。
除此之外，「基於人工智慧之 3D 影片轉換系統」利用可變形卷積的方式來對影像上面各點資訊的位移來做預測，並且利用柵狀捲積來對遮蔽區域的資訊做計算，避免前景區域特徵混和正確影像資訊。「對於影像連續性的問題，我們加入時序特徵計算，並且在時序上面也能夠提供被遮蔽區域的相關資訊」。
「基於人工智慧之3D影片轉換系統」不只在技術上有所突破，亦突破傳統思維，重新改造影片轉換流程，設計出影片分段器。楊家輝團隊表示，每一幀畫面在進入深度生成系統前，會先被分類器分成不同種類的片段；每段影片都會有較高的相似性，而在這之中製作少量的關鍵深度。「利用關鍵深度來對系統進行訓練，系統便可以針對每段影片做出相對應的深度估測。相較於直接做單視角深度估測，比較不會產生模糊的情況而且準確率相對高很多，也可以做出相應的深度客製化設計」。
2009 年電影《阿凡達》商業上的成功，讓電影製作公司趨之若鶩，紛紛投入3D電影製作，3D影片蔚為風潮，3D影廳成為各電影院標準配備。當時，亦有人預估3D電視廣播時代亦將緊接而來。然而，過去十幾年來3D電影產量比想像中少得多，3D電視廣播亦胎死腹中，其中關鍵便是3D電影的製作成本與觀賞舒適度。楊家輝表示，過去 3D 電影發展受阻主要是沒有內容。未來運用人工智慧把 2D 影片大量轉成 3D，希望促進臺灣影像內容軟實力。
>> 1111 TUN大學網
university.1111.com.tw/index.asp
>>知名大學聯合校徵
http://www.myqueenbquilts.com/campusr/
>> 最新職訓補助課→點我
https://is.gd/axnylY
>> 1111家教網
tutor.1111.com.tw/
>> 工作新鮮事都在1111 IG
https://www.instagram.com/1111.com.tw/
>>產學合作 預約人才
https://iacp.1111.com.tw/
成功大學敏求智慧運算學院裸視 3D騰騏科技兔將創意