AR+全景展現奇妙博物館 抖音背後的AI技術揭秘





中新網5月18日電 為響應今年國際博物館日「超級連接的博物館:新方法、新受眾」這一主題,抖音聯合中國國家博物館、南京博物院等七大國家一級博物館,推出「博物館抖音創意影片大賽」,通過運用業內領先的手機端人像摳圖技術、Slam和3D渲染技術,創造全新的博物館文化場景,讓國寶文物以更加新穎的形式走進年輕用戶視野,喚醒更多年輕人對中國文化遺產的關注與熱愛。

用戶在使用抖音進行影片自拍時,選擇「奇妙博物館」貼紙,即可全景觀賞國家博物館北18號展廳,感受真實的虛擬「逛館」體驗。北18號展廳陳列的展品是新中國成立以來黨和國家主管人在外交活動中受贈的禮品,部分展品為首次對外展出,具備較高的文化價值。

據字節跳動AI Lab相關負責人介紹,「奇妙博物館」貼紙運用了手機端人像摳圖技術,該技術在不需要任何用戶操作的情況下,可實時將錄影頭中的人像部分和背景分割出來,將用戶的自拍人像與國博北18號展廳的全景圖像進行有機融合,使用戶如臨國家博物館展廳現場。

配圖:抖音“奇妙博物館”貼紙全景效果
抖音「奇妙博物館」貼紙全景效果

而借助Slam和3D渲染技術,通過錄影頭捕獲圖像和IMU信息,技術人員選取浙江省博物館館藏國寶——五代吳越國阿育王塔圖像,重建出場景的三維空間結構,並在場景平面上將該文物的三維物體及特效進行渲染。用戶在使用AR銅阿育王貼紙功能後,吳越國阿育王塔將和現實場景融為一體,並不斷動態旋轉,用戶可隨時隨地360°全方位觀賞這一驚鴻國寶;同時,文物的大小、角度均可由用戶進行自由變換調整,王塔既可以出現在用戶的辦公桌上,甚至停留在手指尖上,切身感受「將國寶和博物館帶回家」的奇妙體驗。

配圖:抖音AR銅阿育王塔貼紙效果
抖音AR銅阿育王塔貼紙效果

字節跳動AI Lab相關負責人表示,今日頭條在上述人像摳圖技術以及Slam和3D渲染技術上累計了諸多研發經驗和實際應用案例,已成功運用於抖音「尬舞機」、火山小影片萌寵拍照貼紙和火山拍紅包等功能。

而這些前沿科技,得益於公司整體在人工智能上的持續投入。技術出海是字節跳動全球化發展的核心戰略。人工智能技術是字節跳動在全球市場取得優勢地位的關鍵。不論是綜合資訊類的TopBuzz、News Republic,還是短影片類的Tik Tok、Musical.ly、Vigo Video、BuzzVideo,這些字節跳動海外產品的內核,都是基於數據挖掘的人工智能技術。

字節跳動創始人兼CEO張一鳴表示,核心技術是公司背後的硬競爭力,公司非常重視核心技術的應用,一直在加大相應投入。未來公司還將繼續深入研究基於硬體影片的編解碼或者人工智能識別晶片。字節跳動雲集了眾多高技術的工程研發人才,每天要處理的海量數據提供了難以計數的訓練樣本,為AI人工智能技術在短影片領域的持續創新式應用奠定了堅實基礎。

「科技創新+內容形式創新」的組合拳模式在助推傳統文化方面已初見成效。目前,國家博物館已通過其抖音官方帳號發布「博物館抖音創意影片大賽」影片,在兩天時間內,已收獲近50萬點讚量。

抖音相關活動負責人表示,以前沿技術為依托,抖音希望能以更多樣、更具創新的新方式,讓包括國寶文物在內的中國傳統文化得以在平台上做到穿透式傳播,為其注入全新的活力與魅力。