Nvidia成功教導AI人工智能系統從平面2D圖像即時生成全紋理的3D模型

Nvidia成功教導AI人工智能系統從平面2D圖像即時生成全紋理的3D模型

最近Nvidia成功地訓練了AI人工智能系統,可以僅基於一張照片生成全紋理的3D模型。

之前也曾見過類似的方法來自動生成3D模型,但是它們要麼需要從許多不同角度拍攝一系列照片以獲得準確的結果,要麼需要用戶幫助軟件確定特定物體的尺寸和形狀

image source: Nvidia
Nvidia的研究人員發表了新論文“學習如何使用基於渲染器預測3D對象”,其中詳細介紹了該創作過程。Nvidia的研究人員在多個數據上訓練了他們的AI人工智能系統網絡,其中包括以前變成3D模型的照片,從多個角度呈現的3D模型以及從多個角度聚焦於特定主題的照片集。大約需要兩天的時間來訓練AI人工智能系統,以了解如何推斷給定對象(例如鳥類)的額外尺寸,但是一旦完成,便能夠基於2D照片生成3D模型,而之前從未有過分析。
飛快的處理速度使這個轉換過程特別有趣,因為它具有極大地改善機器人或自動駕駛汽車等機器如何看待世界並了解其前身的潛力。從攝像機的實時視頻中提取的靜止圖像可以立即轉換為3D模型,從而使自動駕駛汽車能夠準確地確定需要避免的大型卡車的尺寸,或者通過機械人來預測如何正確拾取基於其估計形狀的隨機對象。



Post a comment