Nvidia AI技術能讓2D視頻快速轉成3D模型？
美國GPU製造商Nvidia（Nvidia）發表了一篇研究論文，概述了一種能夠將2D視頻快速轉換爲詳細3D模型的新型人工智能（AI）模型Neuralangelo。
最新研究發現，現有的生成式AI模型難以逼真地捕捉物體的精細細節，例如複雜紋理、均勻的顏色和強烈的顏色變化。然而，Nvidia的新一代人工智能技術Neuralangelo，據說可以解決這些問題。該技術不僅提供高保真度模型，還可以準確將2D視頻轉換成3D模型，展現材質紋理的細微之處。這爲3D打印行業帶來了更大的可能性。
作爲3D打印工具的NvidiaAI將如何發展？
Nvidia特別強調了Neuralangelo技術在創意專業人士中的潛在好處，他們可以利用智能手機的鏡頭快速輕鬆地創建虛擬對象，並展現出在藝術、虛擬現實、視頻遊戲開發、機器人技術以及工業數字雙胞胎生產中的廣泛應用前景。
此外，該公司已經成功展示了Neuralangelo新技術的廣泛功能，通過重新制作米開朗基羅的大衛雕塑和重建平板卡車，展現模型的精細程度。該技術還可以重建大規模環境, 例如利用無人機拍攝的鳥瞰視頻片段，成功創建了公園的3D模型。
Nvidia高級研究總監，也是該研究論文的共同作者Ming-Yu Liu解釋道：“Neuralangelo提供的3D重建功能將爲創作者帶來巨大的好處，幫助他們在數字世界中重建真實世界。該工具最終將使開發人員能夠將詳細的對象，無論是小型雕像還是大型建築物導入到視頻遊戲或工業數字孿生的虛擬環境中。”
Ming-Yu Liu補充說道，除此之外，Neuralangelo的性能和精度也將爲製造業和建築業提供極大的幫助，以更快速和準確地創建模型和設計。”
儘管Neuralangelo項目尚未與3D打印應用相結合，但Nvidia公司表示，該技術未來很有可能是增才製造的發展發展方向之一。目前，該項目的模型尚不支持3D打印。
那個未來會比預期來得更早嗎？Nvidia宣佈了一款名爲Magic3D的AI 3D模型生成工具。該公司表示，Magic3D在40分鐘內生成3D對象，速度是DreamFusion的兩倍。
Source：nvidia
使用AI將2D視頻轉換爲3D模型
Neuralangelo結合使用即時神經圖形基元 (NGP) 和信號距離函數 (SDF) 來實現高質量的視頻轉換。 NGP提供了具有多分辨率哈希編碼的混合3D網格結構，從而大大提高了神經域的表示能力，同時可以捕捉更細微的細節。這種方法非常適合三維打印行業。
具體來說，Neuralangelo首先拍攝一個物體或環境的2D視頻，並選擇幾個突出顯示不同視點的幀。然後確定每一幀的相機位置，進而創建一個初步的3D模型。之後，通過精細的渲染和銳化細節來優化該模型，生產出具有高質量表面和精度的成品。
使用數值梯度計算高階導數是這種方法的一個關鍵因素，能夠穩定優化過程。此外，漸進式優化計劃對於恢復不同細節級別的結構至關重要，這使得全面和準確的 3D模型重建成爲可能。
據悉，Nvidia的Neuralangelo項目將於6月18日至22日在加拿大溫哥華舉行的計算機視覺和模式識別（CVPR）會議上展示。此次展示會將與近30個其他項目一起展示，主題涵蓋姿勢估計、3D重建和視頻生成等領域。
Nvidia的總部公園視頻使用Neuralangelo快速換爲3D模型。
Source：nvidia
