11月GTC大會(huì)上，除了老黃本人，廚房都是假的。從大理石柜臺，到新古典主義壁龕烤箱，再到標(biāo)志性的抹刀花束，沒有一件是真的物品。沒想到英偉達(dá)的技術(shù)還是騙過了我們的眼睛。
11月GTC大會(huì)上，除了老黃本人，廚房都是假的！
其實(shí)他背后真實(shí)的數(shù)字模型是這樣子的：
落日余暉，光與影的變幻。
問題是，你看到的東西沒有一個(gè)是真的！！！
假亦真時(shí)真亦假，你還敢相信自己的眼睛嗎？
英偉達(dá)官方透露，從10月30日開始，視頻團(tuán)隊(duì)在英偉達(dá)硅谷總部的2間會(huì)議室里僅用了4天時(shí)間就錄下了老黃的全程演講內(nèi)容。
通過Omniverse平臺，英偉達(dá)團(tuán)隊(duì)創(chuàng)建了黃仁勛演講背后的動(dòng)態(tài)虛擬環(huán)境——數(shù)字廚房。
從大理石柜臺，到新古典主義壁龕烤箱，再到標(biāo)志性的抹刀「花束」，黃仁勛廚房成了充滿奇幻的地方。
在這個(gè)這個(gè)「假」廚房里，英偉達(dá)還特地加入了一些彩蛋。
比如右下角有一瓶據(jù)說是帶著自家logo的橄欖油，還有左邊的廚具也被換掉了。
仔細(xì)觀察，老黃肩膀上的光線隨著轉(zhuǎn)身也跟著移動(dòng)，根本無法看出破綻，完美地與虛擬世界相融合。
那么，數(shù)字廚房是如何實(shí)現(xiàn)的呢？
第一步，英偉達(dá)團(tuán)隊(duì)拍攝了老黃廚房的高分辨率圖像，之后便以此素材作為構(gòu)建虛擬場景的主要參考。
就像老黃家中的什么橄欖油啊，鹽盒品牌，櫥柜的螺絲等等，工作人員都是費(fèi)了很大功夫去研究廚房里所有東西的詳細(xì)參考資料。
第二步，由8位英偉達(dá)藝術(shù)家和 10 位自由創(chuàng)作者組成的團(tuán)隊(duì)使用Omniverse構(gòu)建了過場動(dòng)畫。
他們分別在不同軟件中制作，最后通過Omniverse Connectors將所有模型和數(shù)據(jù)整合在一起。
在廚房場景中，一共出現(xiàn)了57個(gè)獨(dú)特3D模型和6240個(gè)對象，它們的建模工作都是在Autodesk 3ds Max、Autodesk Maya 和 Pixologic Zbrush中完成的。
8位藝術(shù)家們使用 Adobe Substance Painter 和 PS 制作紋理，動(dòng)畫則是在 Maya 中完成的。
最后，團(tuán)隊(duì)工作人員使用 Nuke 進(jìn)行場景合成，而剪輯則使用 DaVinci Resolve 完成。
當(dāng)然了，后期渲染肯定也是少不了的。
借助Omniverse Farm工具，藝術(shù)家團(tuán)隊(duì)能夠輕松地為 GTC 批量渲染4萬幀，總計(jì)4TB的內(nèi)容。
其實(shí)，除了老黃的廚房，視頻中每次轉(zhuǎn)場的背景也是虛擬環(huán)境，包括數(shù)據(jù)中心和英偉達(dá)在硅谷的園區(qū)。
這樣看來，貌似還真發(fā)現(xiàn)了一點(diǎn)破綻。
黃仁勛背后的樹葉被風(fēng)吹的左右飄搖，但他本人的頭發(fā)絲依舊紋絲不動(dòng)。
不信？你來仔細(xì)鑒別。
（GTC大會(huì)：https://www.youtube.com/watch?v=I3QMhJ-Mrb0）
大會(huì)上，黃仁勛宣布了人工智能Omniverse平臺重大更新，其中包括一些令人振奮的新功能。
對于Omniverse平臺功能更新共有4個(gè)：
Showroom是一個(gè)包含演示和示例應(yīng)用程序，展示了Omniverse核心技術(shù)。
Farm一個(gè)系統(tǒng)層，用于協(xié)調(diào)跨多個(gè)系統(tǒng)、工作站、服務(wù)器和虛擬化批作業(yè)處理，可以用于批量渲染，AI合成數(shù)據(jù)生成或分布式計(jì)算。
據(jù)介紹，英偉達(dá)團(tuán)隊(duì)制作虛擬廚房也是為了進(jìn)一步開發(fā) Omniverse Farm和跨多個(gè)團(tuán)隊(duì)的 Shot Manager 擴(kuò)展的機(jī)會(huì)。
Omniverse AR可以將將圖形串流到手機(jī)或者AR眼鏡。Omniverse VR是英偉達(dá)首款全幀交互式光線追蹤VR。
Omniverse平臺具有很強(qiáng)大的構(gòu)建虛擬環(huán)境的能力，但是，如果覺得用Omniverse只能搭環(huán)境，那可真是小看它了。
為了幫助開發(fā)者利用Omniverse創(chuàng)建具有「智慧」的虛擬人，Omniverse還開放了一個(gè)新功能：Omniverse Avatar。
Omniverse Avatar匯集了語音AI、計(jì)算機(jī)視覺、自然語言理解、推薦引擎、Avatar動(dòng)畫和圖形等等一系列技術(shù)，獲得了令人驚嘆的效果。
在11月的GTC 2021大會(huì)上，黃仁勛重磅發(fā)布了可以與人進(jìn)行流暢交流的虛擬形象Toy-Me，看上去就是一個(gè)卡通玩偶版的黃仁勛。
黃仁勛表示，「這個(gè)虛擬形象是基于目前訓(xùn)練的最大語言模型的語言處理打造，包括聲音也是用我自己的語音進(jìn)行合成，還可以看到實(shí)時(shí)基于光線追蹤的精美圖像。」
這個(gè) Toy-Me 有多厲害？
在演示中，來自不同領(lǐng)域的3位科學(xué)家分別讓虛擬形象回答有關(guān)氣候變化、天文學(xué)以及生物蛋白質(zhì)合成等方面的問題，難度還不低。
不過，這個(gè)可愛的小CEO回答得行云流水。
由此可見，Omniverse Avatar為快速創(chuàng)建人工智能助手打開了大門，這些虛擬助手幾乎可以為任何行業(yè)輕松定制。
它們可以幫助人們處理數(shù)十億的日常客戶服務(wù)互動(dòng)，包括餐廳訂單、銀行交易、個(gè)人預(yù)約和預(yù)訂等等。
除了Toy-Me，英偉達(dá)還基于Omniverse Avatar打造了兩個(gè)虛擬助手，一個(gè)是蛋殼公仔Tokkio，一個(gè)是Maxine。
蛋殼公仔Tokkio是一個(gè)餐廳客服虛擬助手，能夠與顧客交談并理解他們的意圖。
比如，Tokkio可以同時(shí)和兩個(gè)顧客進(jìn)行交談并理解他們要點(diǎn)什么。
Tokkio還被集成在了Nvidia Drive Concierge中，可以用語音喚醒，執(zhí)行一些自然語音命令，比如打電話預(yù)訂。
司機(jī)還可以用它實(shí)現(xiàn)自動(dòng)停車，只用動(dòng)動(dòng)嘴皮就好。
而Maxine為虛擬會(huì)議和視頻內(nèi)容創(chuàng)作應(yīng)用提供了最先進(jìn)的語音轉(zhuǎn)錄和音頻生成工具。
在演示中，一個(gè)女人在嘈雜的咖啡館里通過視頻通話說著英語，但是背景噪音卻一點(diǎn)也聽不見。
更妙的是，當(dāng)她說話時(shí)，她的語音會(huì)被實(shí)時(shí)轉(zhuǎn)錄并翻譯成法語、德語、西班牙語和中文，聲音和語調(diào)都還是她本人的。
這些神奇的功能都要依賴Omniverse Avatar的助力。
她的化身背后，是英偉達(dá)的Video2Face、Audio2Face、2D和3D AI驅(qū)動(dòng)的面部動(dòng)畫和渲染技術(shù)。
就在4月份的GTC大會(huì)，黃仁勛曾以14秒的假身現(xiàn)身演講。
視頻中，隨著鏡頭逐漸拉遠(yuǎn)，老黃也開始被「分解」，一波特效完成之后，老黃也消失了。
老黃假身進(jìn)行的數(shù)據(jù)采樣也是通過這幾項(xiàng)技術(shù)實(shí)現(xiàn)。
虛擬人的面部動(dòng)作只需要導(dǎo)入純音頻后，Audio2Face能根據(jù)語音內(nèi)容自動(dòng)生成。
還有，F(xiàn)ace-Vid2Vid可以讓模型看起來更真實(shí)。只需一張照片，對應(yīng)覆蓋在CG模型上就可以了得到一個(gè)「栩栩如生」的臉了。
Omniverse Avatar的語音識別基于英偉達(dá)Riva，這是一個(gè)軟件開發(fā)工具包，可以識別多種語言的語音。Riva還可以利用文本到語音生成功能生成類似人類的語音。
Omniverse Avatar的自然語言理解能力是基于Megatron 530B大型語言模型，可以識別、理解和生成人類語言。
Megatron 530B預(yù)訓(xùn)練模型在各種自然語言任務(wù)如：完形填空、閱讀理解、常識推理、自然語言推理、詞義消歧中紛紛實(shí)現(xiàn)SOTA。
除了可以回答問題、總結(jié)長而復(fù)雜的故事，Megatron還可以在沒有經(jīng)過專門訓(xùn)練的領(lǐng)域處理相應(yīng)的問題。
Omniverse Avatar的推薦引擎由NVIDIA Merlin提供，該框架允許企業(yè)建立能夠處理大量數(shù)據(jù)的深度學(xué)習(xí)推薦系統(tǒng)，以提出更智能的建議。
Avatar的感知能力則是由NVIDIA Metropolis提供，這是一個(gè)用于視頻分析的計(jì)算機(jī)視覺框架。
所有這些技術(shù)都被整合到一個(gè)應(yīng)用程序中，并使用英偉達(dá)統(tǒng)一計(jì)算框架進(jìn)行實(shí)時(shí)處理。
這些技能可以被打包為可擴(kuò)展、可定制的微服務(wù)，并由NVIDIA Fleet Command進(jìn)行安全地部署、管理和編排。
利用這些工具，英偉達(dá)正在譜寫一個(gè)可以影響數(shù)萬億美元的市場的故事，而所有的這些都建立在Omniverse之上。
https://blogs.nvidia.com/blog/2021/12/21/how-omniverse-keynote/
https://blogs.nvidia.com/blog/2021/12/08/gtc-keynote-virtual-kitchen/?ncid=so-twit-128511
本文來自微信公眾號“新智元”（ID:AI_era），編輯：桃子 小咸魚，36氪經(jīng)授權(quán)發(fā)布。
