對話英偉達（NVIDIA），AI定義汽車的時代已經到來

　　雖然AI時代早已開始，但因為生成式AI的出現，人類已經來到了AI時代新的突破點。而汽車這個既古老又現代的交通工具，無疑是當前AI最好的落地場景。

　　那么，AI將如何改變汽車本身乃至整個汽車產業？作為AI時代霸主的NVIDIA又將如何賦能萬物？4月24日，NVIDIA在北京辦公室召開了北京車展媒體溝通會。NVIDIA全球副總裁、汽車事業部負責人吳新宙，NVIDIA汽車事業部數據中心副總裁Norm Marks， NVIDIA全球副總裁、中國區汽車事業部負責人劉通與太平洋汽車等多家媒體進行了深度對話，也讓外界得以探尋NVIDIA的AI野心。

　　盡管履新NVIDIA僅僅7個月，但吳新宙顯然已經非常適應現在的工作狀態。在臺上的他，不僅能對AI和智能駕駛侃侃而談，而且有時還會拋個梗，幽默一把，引得臺下媒體發出一陣笑聲。

　　吳新宙說，過去十年是軟件定義汽車，通過OTA技術，把汽車這樣一個固定不變的硬件產品變成可以自學習、不斷變化的用戶產品。但隨著生成式AI的大規模進展，接下來AI定義汽車一定會是一個很大的趨勢。而且，生成式AI在未來會把自動駕駛的天花板進一步提升。

　　如同在人臉識別、計算機視覺已經發生的三段式發展過程一樣，在吳新宙看來，自動駕駛也會是三段式的發展：剛開始第一代的自動駕駛系統是完全基于規則，有著大量人工Engineer Feature（工程師特征），通過很多算法去完成自動駕駛這樣一個讓車自己開的動作。第二代就是現在市場上可以看到的，已經開始用大量的AI取代原有的人工Engineer Feature，現在不管是預測還是規劃都在用模型去做。第三代則會變成端到端大模型的方式。而且這個過程是不可避免的，在未來五年內就會發生。

　　既然不可避免，那未來的AI汽車會是怎樣的呢？吳新宙認為，屆時會比現在的自動駕駛開發簡單很多，因為它是一個大模型，更多地是集中在云端。NVIDIA希望大部分模型都能夠在云端完成訓練，通過數據驅動的方式，車端觸發Edge Case案例，然后通過自動數據驅動完成模型的自我迭代，也希望在云端通過仿真完成大部分的驗證，極大地減少車端大規模設備部署和測試的依賴性。未來的部署也可以簡化成模型更新的工作，而不是巨大的代碼更新。

　　當然，AI對于汽車的影響遠不只自動駕駛領域，生成式AI對智能座艙的提升也是巨大的。吳新宙希望未來的車端AI 計算平臺既可以支持智能駕駛，也可以支持車端智能，包括座艙的一些配置。

　　要做到這一切，一顆強大的AI芯片不可或缺。NVIDIA DRIVE Thor的出現，有望把車端的仿真模型的運算能力推到下一個高點。同時，NVIDIA在DRIVE Thor上也做了大量的思考，以便能夠更好地支持LLM模型。

　　DRIVE Thor的算力相比上一代有了比較大的提升，安全等級也更高，而且能夠對生成式AI、LLM給予最好的支持。吳新宙透露，大概2025年開始有第一代的SOP，芯片也會比較快地拿到樣片。國內包括蔚小理，比亞迪、廣汽等都已經確定了下一代自動駕駛平臺會通過DRIVE Thor開發。

　　隨著本輪汽車革命進入到以智能化為標志的下半場，當前幾乎所有瞄準智能駕駛的車企和智駕公司都在研究端到端。

　　吳新宙認為，端到端是自動駕駛三步曲的最終一步。不過他也強調，不能僅僅從字面上理解端到端就是從像素到動作，可能會有一些別的東西配合。比如在控制這一環，后面可能還會有優化幫助把控制做得更好，因為控制是數學問題，但是這個問題比較技術性。

　　“端到端的模型上線之前一定會有一個「護欄」，因為需要不停地優化和成長，要是一開始就上線端到端的模型是非常困難的”。吳新宙說，能夠把端到端模型做好的企業一定也需要非常好的第二代甚至第一代的自動駕駛堆棧。就比如，端到端的模型像是未來可以成為博士生甚至博士后的學生，但在成長的過程中需要小學老師、初中老師去帶去教，讓它能夠有時間去成長。顯然，這并不是一個一蹴而就的過程。吳新宙表示，在未來幾年，端到端的模型和原有模型的相輔相成，某些情況下比如比較難的路口處理可以顯示出更加擬人化的東西，通過原有的模型和方法保證安全性，這些是把端到端模型真正大規模部署，變成主流的一個過程。

　　盡管業內普遍看好端到端的前景，但同樣也擔心端到端的黑盒問題，人們并不知道神經網絡內部是如何工作的。不過吳新宙覺得這個問題并非無解，首先通過原有的第一代和第二代算法棧，可以保證端到端模型的安全性，也可以不停地判斷端到端模型決定的合理性，把雙方有差異的地方作為輸入。這有點像大語言模型訓練的反饋，能夠讓結果更加合理化。

　　此外，還可以嘗試給“黑盒”開幾扇窗。吳新宙說，未來的大模型、端到端模型有周邊的輸出點可以觀測，比如可以觀測DEV輸出的結果，訓練的時候也是部分訓練。可以看到信號是怎樣的模式，通過這樣的方式在最后運行的時候不需要運行仿真，那些窗其實就是輸出口。最后正式運行的時候不一定要運行那些東西，但如果需要觀測為什么、了解怎么想的話可以通過那個窗口看一下。

　　無獨有偶，同濟大學教授朱西產日前在“智能汽車之夜”上對于端到端黑盒的問題也表達過類似的觀點，他認為完全黑盒并不正確。人類需要在副駕駛安排一個座位，就像教練教學徒。沒危險時你可以自由發揮，一旦碰到安全邊界，教練可以隨時踩一腳剎車。

　　盡管挑戰重重，但吳新宙堅信可以在2026年量產L3。屆時可以完全把人從系統中拿掉。“我們的核心是讓大家在車里不是開車，而是可以玩手機，這是大家的剛需。開車不是剛需，從A點到B點是剛需，玩手機也是剛需。”吳新宙笑著說道。

　　Norm Marks是一位汽車軟件領域的老將，他已經在這個行業工作了25年。然而生成式AI以及大語言模型對汽車行業的影響依然令他印象深刻。他說，自己從來沒有看到過生成式AI被采用的速度像過去的18-24個月這么快的情況。

　　自動駕駛汽車1.0時代主要是基于標注圖像的訓練，并在上面開發和部署深度神經網絡的集成，可能會有40-50個深度神經網絡從L2+層級往更高級的自動駕駛方向去走。假設有50輛測試車的車隊，每周生成的數據可能是2PB，其中只有10%-15%會得到標注，所以可以想象繼續往上走的規模會有多大。受限于此，1.0時代智駕只能走這么遠，可以實現ADAS和領航自動駕駛LLM，或者是高速和城市環境的自動駕駛，但如果想要實現完全的自動駕駛以及最高等級的安全，需要向2.0轉型。

　　Norm Marks說，2.0就是基于視頻進行模型的訓練，就像真人看世界那樣，不是像1.0時代40-50張深度神經網絡的部署，2.0時代是一整個大的融合世界的統一模型，基于GPT或者基于Transformer建立，采用多模態的大語言模型，包括視覺語言模型和生成式AI的其它技術。

　　同時，目前NVIDIA還在使用生成式數據，特別是其自研渲染工具Omniverse，它既可以部署在云端，也可以部署在本地OES服務器。Omniverse能夠實現數據生成，補足仿真Corner Case，從而快速轉成虛擬數據，然后進行隨機處理，衍生出更多的Corner Case。現場，吳新宙也講到了Omniverse的一些應用場景，最核心的就是可以實現統一的數字孿生，所有的數據源收集上來以后構建起來的數字孿生是統一的視圖。

　　毫無疑問，自動駕駛汽車技術的發展對算力和規模都提出了更高的要求。Norm Marks預計，未來三年自動駕駛汽車2.0轉型的模型規模將增長13倍，數據存儲規模將增長17倍。Norm Marks說，從早期的工作繼續往后看，基于Transformer需要的是3000個服務器節點，相當于24000個GPU，再往上用到最先進的GPT4作為基礎的話需要上萬的服務器節點，到了1萬個就已經是超算的場景。

　　生成式AI的大爆發，NVIDIA顯然是最大的贏家，甚至沒有之一。隨著汽車智能化的推進，NVIDIA在中國乃至世界的智駕版圖必然再次擴大。

　　劉通深耕中國市場多年，他表示NVIDIA在中國的汽車客戶數量非常龐大。比如全球新能源汽車銷冠比亞迪跟NVIDIA的合作就是端到端全棧式合作。包括車端芯片、DRIVE Orin、DRIVE Thor，智駕芯片、數據中心端的解決方案，GPU產品、數據中心的網絡，以及NVIDIA用于AI開發和自動駕駛算法開發或者大模型的開發的軟件系列產品NVIDIA AI Enterprise。在智能工廠環節，NVIDIA和比亞迪也在做機器人領域的合作。劉通透露，NVIDIA與比亞迪有全系列合作，包括DRIVE Thor、DRIVE Orin、Omniverse，是最完整的合作代表。

　　當然，這種端到端的合作模式不只是和比亞迪，比如和理想也是這種合作模式。理想是第一批采用DRIVE Orin的高端客戶，現在也宣布應用DRIVE Thor。劉通說，理想與NVIDIA有著多方面的合作，包括大規模的數據中心的合作和在車端芯片開發高端智駕的合作。此外，很早就用DRIVE Orin發布非常先進的智駕方案的小鵬也宣布采用下一代的DRIVE Thor。事實上，許多前期DRIVE Orin客戶都在紛紛向DRIVE Thor遷移。

　　據不完全統計，采用DRIVE Orin的中國車企包括上汽的智己、飛凡，吉利的極氪、極越、路特斯，長城汽車等30多家主流車企，覆蓋了50余款車型，就連時下最火的小米SU7全系搭載的也是DRIVE Orin系列。劉通表示，在中高端的智能汽車領域，NVIDIA的占有率非常高。

　　可以想見，隨著AI定義汽車時代的到來，NVIDIA在汽車行業的地位必將得到進一步提升，王者的王冠或將更加金光閃閃。