時隔5年,英偉達的GTC終于回歸線下。
北京時間3月19日凌晨4點,在美國加州的心臟地帶圣何塞SAP體育中心,英偉達CEO黃仁勛登臺,發(fā)表了GTC 2024的主題演講。
整個硅谷都在屏息以待,整個萬人的冰球體育館坐無缺席,容納著從科技到自動駕駛、再到機器人等不同行業(yè)背景的從業(yè)者、技術(shù)開發(fā)者、投資人等,萬里奔赴來硅谷集體見證——這家“AI風向標”構(gòu)建的通用人工智能未來脈絡(luò)走向的狂歡時刻。
開場時,身穿皮衣的亞裔男性黃仁勛打趣道:“你要意識到,這不是一場演唱會,而是一個開發(fā)者大會”。
在AI技術(shù)與AI應(yīng)用以爆發(fā)速度的發(fā)展之下,促使英偉達成為眼下最大的贏家。從一款A(yù)PP再到一部消費電子產(chǎn)品,背后是英偉達涵蓋整個AI領(lǐng)域的技術(shù)研發(fā)與98%的市場份額。黃仁勛的身份已不再單單是一家市值萬億美元企業(yè)的CEO,他代表著一種“符號”,即一個大模型時代之下AI終局的未來走向。
英偉達如同一面多棱鏡,能照進外界不同行業(yè)領(lǐng)域?qū)Πl(fā)展AI的信心與現(xiàn)實。
截至2024年1月28日,英偉達第四季度收入為221億美元,較上一季度增長22%,較去年同期增長265%。2024財年收入增長126%,達到609億美元。
憑借A100、H100等GPU核彈,讓英偉達從去年至現(xiàn)在的15個月內(nèi)市值暴漲6倍,曾一度超過2萬億美元,位列在繼蘋果和微軟之后的全球第三大科技公司。從某種意義上看,他當然算得上是AI圈的“搖滾巨星泰勒”。
今天首日GTC結(jié)束后,英偉達當天股價收盤小跌1.76%。而面對股價每天都在創(chuàng)新紀錄的英偉達,資本市場的分歧開始顯現(xiàn):瑞穗證券分析師Jordan Klein試圖給市場降溫,在報告中提醒道“英偉達股價有點不健康,這讓我想起1999年和2000年瘋狂的科技市場心態(tài)”,花旗同樣在報告中指出“英偉達面臨的回調(diào)風險正在加劇”。
福布斯媒體并不這么認為,稱:“任何一直想知道英偉達是否會失去競爭優(yōu)勢的人都應(yīng)該放心,該領(lǐng)導(dǎo)者將繼續(xù)保持領(lǐng)先地位?!?/p>
GTC 2024將在3月18日-21日(美國時間)期間提供超過900多場會議、300多場展覽、20多場涵蓋生成式AI等內(nèi)容的技術(shù)研討會。在今天首日這場長達2小時的開場演進中,黃仁勛從硬件、軟件,服務(wù)上介紹了英偉達的“新引擎”,點燃了每一個人對英偉達生成式AI應(yīng)用新生態(tài)的好奇最高閾值點。
他在這次GTC發(fā)布的重點是:
生成式AI是新的產(chǎn)業(yè)革命。
硬件上,發(fā)布新Blackwell架構(gòu), 以及GB200組合芯片,將提供4倍于Hopper的訓(xùn)練性能,大模型參數(shù)達到了萬億級別,這也是此次GTC 最大看點。
為了將AI帶入物理世界,還介紹了數(shù)字孿生產(chǎn)品Omniverse Cloud,Omniverse可以將機器人、無人駕駛和數(shù)字孿生的訓(xùn)練和應(yīng)用融合在一個平臺之中。
以及機器人平臺lsaac的更新,包括Isaac Perceptor感知SDK和Isaac Manipulator機械臂控制庫。同時宣布面向人形機器人的Jetson Thor計算機和Project GR00T通用基礎(chǔ)模型。
觀看GTC演講,滿足人們對構(gòu)思AI的絢爛想象是一方面,重點是還可以跟黃仁勛學(xué)"講故事"——Keynote。
去年的GTC,黃仁勛說出了:“The iPhone moment of AI has started”(AI的IPhone時刻已經(jīng)到來),今年的GTC,黃仁勛繼續(xù)向世界說出更加醒聵震聾的一句:“The future is generative”(未來是生成的)。
我們將還原以黃仁勛自述口吻在GTC 2024主題演講的重點內(nèi)容,智駕網(wǎng)在不改變原意的情況下,經(jīng)編譯整理,有刪改:
01.
Blackwell:
“如果你用Blackwell來做,只需要2000個GPU、四兆瓦的電力”
Blackwell以美國數(shù)學(xué)家和博弈論學(xué)家David Blackwell命名,繼承了Hopper GPU架構(gòu),擁有2080億個晶體管,是英偉達首個采用多芯片封裝設(shè)計的GPU,在同一個芯片上集成了兩個GPU。
Hopper 很棒,但我們需要更大的GPU。Blackwell并非芯片,而是一個平臺名稱。雖然我們制造GPU,但現(xiàn)代GPU的形態(tài)已大為不同。Blackwell系統(tǒng)的核心正是這種新型GPU,而在公司內(nèi)部,我們僅用數(shù)字來指代它。簡而言之,Blackwell是當今世界上最頂端的GPU。
左邊是Blackwell GB200 GPU,右邊是Hopper GH100 GPU,可以明顯看出大小。
作為一個超大規(guī)模的芯片,GB 200通過900GB/s超低功耗的片間互聯(lián),將兩個GB200 GPU與Grace CPU相連。
新的GB200 GPU有2080億個晶體管,提供高達20 petaflops的FP4算力。將其中兩個GPU與單個Grace CPU相結(jié)合的GB200,可以為LLM推理工作負載提供30倍的性能,同時還可以大幅提升效率。
在具有1750億個參數(shù)的GPT-3 LLM基準測試中,GB200的性能是H100的7倍,訓(xùn)練速度是H100的4倍,更令人驚嘆的是,每個GPU的推理吞吐量提高了三十倍。
現(xiàn)在,我們來看一下Blackwell在實際運行中的表現(xiàn)。
想象一下,訓(xùn)練一個1.8萬億參數(shù)的GPT模型,如果使用傳統(tǒng)的安培芯片,大約需要25000個,耗時三到五個月。而改用Hopper,雖然只需要8000個GPU,但仍需15兆瓦的電力,并且訓(xùn)練周期為三個月。
然而,使用Blackwell平臺,我們僅需2000個GPU,同樣在90天內(nèi)完成訓(xùn)練,但電力消耗僅為四兆瓦。這不僅大幅降低了成本,而且顯著提高了能效。
簡而言之,Blackwell以其卓越的性能和效率,為訓(xùn)練大型AI模型提供了更經(jīng)濟、更環(huán)保的解決方案。
得益于新的、更快的第五代NVLink,Blackwell能夠擴展至576個GPU(H100擴展至256個)。包括的第二代Transformer引擎采用FP4精度,以及一個比以前快20倍的解壓縮引擎,都為性能提升做出了貢獻。
Transformer引擎這項技術(shù)允許每個張量在最優(yōu)精度下進行計算,現(xiàn)在精度可達FP4。這意味著,如果一個競爭對手的GPU有相同數(shù)量的Flops,由于Transformer引擎的作用,我們的Blackwell在推理處理上可能會快兩倍。
大部分的市場推廣力量并不是集中在Blackwell GPU上,而是集中在一個稱為GB200的三芯片超級芯片上,它由兩個Blackwell和一個Grace Arm CPU組成。
這種與Grace-Hopper芯片1-1比例不同的做法非常有意義,因為對于GH200來說,Grace的I/O和計算帶寬足以管理兩個Blackwell,即四個GPU。
支持NVLink的GB200 NVL72機架包含72個Blackwell GPU和36個Grace CPU。這個單獨的機架就能訓(xùn)練一個27萬億參數(shù)模型。當然,大多數(shù)為此設(shè)計的AI工廠會使用多個機架來更快地訓(xùn)練如此龐大的模型。
我們在AWS托管的Ceiba AI超級計算機現(xiàn)將由20000個GB200 GPU組成,而不是最初宣布的16000個H100。
我們不缺客戶,GB200目前客戶包括,亞馬遜、谷歌、微軟和甲骨文,都已經(jīng)計劃在其云服務(wù)產(chǎn)品中提供NVL72機架。
GB200 NVL72液冷機架系統(tǒng),其中包含 36 顆GB200 Grace Blackwell Superchips,這與我們當前的H100 GPU相比,該系統(tǒng)的推理工作負載性能提高了30倍。
Blackwell GPU和GB200超級芯片無疑是我們在AI訓(xùn)練和推理方面的新的頂級領(lǐng)導(dǎo)者,也將被引入云平臺NVIDIA DGX B200系統(tǒng)中,用以模型訓(xùn)練、微調(diào)和推理。所有NVIDIA DGX平臺均包含用于企業(yè)級開發(fā)和部署的NVIDIA AI Enterprise軟件。
回顧過去八年,我們的計算能力實現(xiàn)了驚人的1000倍增長,遠超摩爾定律預(yù)測的速度。要知道,在PC革命的黃金時期,每10年性能才提升100倍。然而,我們僅用了八年時間就實現(xiàn)了1000倍的增長,并且未來兩年還有望繼續(xù)擴大這一優(yōu)勢。簡而言之,Blackwell平臺正引領(lǐng)著計算性能的革命性飛躍,為未來的科技發(fā)展奠定堅實基礎(chǔ)。
02.
加速新產(chǎn)業(yè)革命:
“A new industry has emerged”
回顧歷史,英偉達發(fā)展史上的幾個里程碑事件,比如1993年英偉達成立,2006年研發(fā)CUDA,以及2012年的AlexNet構(gòu)成的人與AI的第一次接觸。
2006年,CUDA計算模型誕生,我們當時便預(yù)見其革命性潛力,期待其迅速走紅。然而,真正的突破發(fā)生在近20年后的2012年,當AlexNet AI與CUDA首次融合。到了2016年,我們深刻認識到這一計算模型的重要性,于是推出了全新類型的計算機——DGX1,其計算力高達170 teraflops。在DGX1這臺超級計算機中,八個GPU首次實現(xiàn)了互聯(lián)。
2016年,我們將首臺超級計算機DGX-1交付給了位于舊金山的一家初創(chuàng)公司——OpenAI。
DGX1作為首臺AI超級計算機,其170 teraflops的計算力引領(lǐng)了AI技術(shù)的新篇章。從2017年,Transformer的出現(xiàn)到2022年ChatGPT驚艷全球,人工智能的重要性和能力日益凸顯。2023年,生成式AI嶄露頭角,催生了全新的行業(yè)。這是因為我們現(xiàn)在使用計算機編寫前所未有的軟件,它們以全新的方式生成token和浮點數(shù)。
這如同工業(yè)革命初期,人們認識到工廠和能源的力量,創(chuàng)造出電力這一無形但極具價值的資源。如今,我們正通過基礎(chǔ)設(shè)施“工廠”生成新型電子——token,創(chuàng)造出了極具價值的人工智能。這標志著一個新行業(yè)的誕生。
“A new industry has emerged.”
03.
“Omniverse and DRIVE Thor”
未來,動態(tài)實體將普遍實現(xiàn)機器人化,包括類人機器人、自動駕駛汽車等各類設(shè)備。
這些機器人系統(tǒng)需要在大型場所如體育場、倉庫和工廠中高效運作。為了協(xié)調(diào)和管理這些復(fù)雜的機器人生產(chǎn)線,我們需要一個統(tǒng)一的平臺——數(shù)字孿生平臺Omniverse,作為我們機器人世界的操作系統(tǒng),正是這樣一個平臺,它提供了必要的基礎(chǔ)設(shè)施來支持機器人系統(tǒng)的集成、協(xié)調(diào)和優(yōu)化。
今天,我們宣布Omniverse Cloud能夠流式傳輸至Vision Pro,用戶可輕松進入Omniverse的虛擬世界。Vision Pro與Omniverse的無縫連接,結(jié)合眾多CAD和設(shè)計工具的集成,為用戶提供了前所未有的工作流體驗,嘆為觀止。
未來的趨勢是所有能動的東西都將實現(xiàn)機器人化,這會帶來更高的安全性和便利性。
汽車行業(yè)作為重要的應(yīng)用領(lǐng)域之一,我們正在構(gòu)建基于計算機系統(tǒng)的機器人技術(shù)棧,包括自動駕駛汽車和即將在奔馳及捷豹路虎車輛上應(yīng)用的自動駕駛云程序。這些自主機器人系統(tǒng)完全由軟件定義,展現(xiàn)了技術(shù)的無限潛力。
集中式車載計算平臺DRIVE Thor將搭載專為Transformer、大語言模型(LLM)和生成式AI工作負載而打造的全新Blackwell架構(gòu)。
2015年,我們進入車載計算平臺領(lǐng)域,推出了初代自動駕駛計算平臺DRIVE PX和Tegra系列車載芯片,后陸續(xù)發(fā)布Xavier芯片、Orin芯片問世。2022年又在汽車業(yè)務(wù)增速放緩的情況下,我們又正式推出新一代自動駕駛計算芯片DRIVE Thor。
DRIVE Thor是專為汽車行業(yè)中日益重要的生成式AI應(yīng)用而打造的車載計算平臺。作為DRIVE Orin的后續(xù)產(chǎn)品,DRIVE Thor可提供豐富的座艙功能。
同時,我們也宣布多家頭部電動汽車制造商正搭載我們的DRIVE Thor,既包括比亞迪、廣汽埃安、小鵬、理想汽車和極氪等眾多中國車企,也包括了文遠知行等自動駕駛平臺公司。
我還想說,新的工業(yè)革命即將來臨,未來的數(shù)據(jù)中心將全面升級,實現(xiàn)加速。這得益于我們帶來的強大計算能力,催生了生成性AI這一新型軟件開發(fā)方式。這種AI將創(chuàng)造專用于生成任務(wù)的基礎(chǔ)設(shè)施,而非傳統(tǒng)的多用戶數(shù)據(jù)中心,從而開啟新的工業(yè)革命。
北京時間凌晨6點,黃仁勛返場告別,2024年的GTC結(jié)束。
04.
延伸探討:誰可能有機會成為英偉達的平替?
如今芯片市場格局也正因AI分裂。
1月,黃仁勛到訪英偉達北京、上海、深圳三處辦公室,并出席了中國區(qū)的年會。
2月,英偉達在提交予美國證交會(SEC)的文件中,稱華為在五個領(lǐng)域中的四個領(lǐng)域是其當前的競爭對手,包括人工智能(AI)相關(guān)圖形處理器、擁有內(nèi)部團隊設(shè)計AI相關(guān)芯片的大型云服務(wù)公司、基于Arm的中央處理器和網(wǎng)絡(luò)產(chǎn)品。
這也是英偉達首次把華為列為其在AI芯片等多個領(lǐng)域的主要競爭對手,其他對手還包括英特爾(Intel)、AMD、博通(Broadcom)和高通(Qualcomm)等,以及亞馬遜、微軟、阿里巴巴和百度等大型云計算公司。
英偉達在報告中說:“新的競爭對手或競爭對手之間的聯(lián)盟有可能出現(xiàn),并占據(jù)重要的市場份額?!?/p>
《環(huán)球時報》發(fā)表社評稱,英偉達的舉動可被視為對華為在AI芯片領(lǐng)域所取得進步的認可。
英偉達明確表示,華為不僅在GPU領(lǐng)域,還在CPU和網(wǎng)絡(luò)芯片等多個領(lǐng)域構(gòu)成了競爭。此次列為最大競爭對手的華為,被認為是一家云服務(wù)公司,并在設(shè)計自家硬件和軟件以改進人工智能計算方面展現(xiàn)出強大實力。
黃仁勛曾表示,華為是一家好公司,技術(shù)實力非常過硬,這樣的對手值得尊敬和重視。越來越多的半導(dǎo)體初創(chuàng)公司對英偉達在人工智能加速器市場的主導(dǎo)地位構(gòu)成了嚴峻的挑戰(zhàn)。
華為在過去一段時間一直被視為算力熱的潛在受益者。華為開發(fā)的昇騰(Ascend)系列芯片,與英偉達AI芯片系列展開直面競爭較量,特別是華為去年推出的升騰910B芯片,被視為英偉達3年前面市的A100芯片的中國替代品。
華為昇騰910B采用了自研的Ascend架構(gòu),采用7納米工藝,擁有256個AICore(人工智能內(nèi)核),以及最高32GB的HBM2(高帶寬內(nèi)存2代)。這一性能指標基本對標了英偉達的A100,顯示出華為在AI硬件領(lǐng)域的深厚實力。
分析師估計,中國AI芯片市場價值預(yù)計達到70億美元。而就在美國政府收緊出口,限制美商對中國供應(yīng)先進AI芯片前,百度已向華為訂購1600片昇騰910B芯片,截至去年10月,華為已交付六成訂單。周鴻祎也在去年同期表示過。360采購了1000枚華為AI芯片。
援引英偉達財務(wù)長克雷斯(Colette Kress)的說法:“除了中國之外,所有其他地區(qū)的(市場)增長都很強勁。在美國政府10月實施出口管制規(guī)范之后,我們在中國的數(shù)據(jù)中心營收大幅下降?!笨死姿怪赋?,在美國更嚴格的管制下,英偉達轉(zhuǎn)而出口不需要許可證的替代產(chǎn)品到中國。
黃仁勛前不久在接受路透社采訪時表示:“英偉達正在向客戶提供兩款面向中國市場的新型AI芯片樣品,2種芯片都符合無需(美國)許可證的規(guī)定。我們期待客戶提供的回饋。”黃仁勛在采訪中并未公布這2款新芯片的名稱,亦未透露接受樣品的客戶是哪些公司,并且英偉達官方也未回應(yīng)此事。
據(jù)外媒科技媒體報道,英偉達正在籌備針對中國市場推出3款芯片——H20、L20和L2。芯片中雖然包含了英偉達AI作業(yè)中大部分的新功能,但降低了部分運算能力,以遵守美國政府去年10月擴大實行的出口管制措施。
其中H20為3款芯片中,功能最強大的一款,原定去年11月發(fā)布,但因服務(wù)器廠商方面的問題延后。路透社的報道曾披露,英偉達已開始接受H20芯片訂單,批發(fā)商定價與中國科技巨頭華為推出的競爭商品接近。
此舉被視為英偉達要捍衛(wèi)在中國市場的主導(dǎo)地位。
兩家科技巨頭在AI領(lǐng)域的競爭將愈發(fā)激烈,不僅會推動技術(shù)的快速進步,也將為全球消費者帶來更多創(chuàng)新和價值。英偉達在報告中說:“新的競爭對手或競爭對手之間的聯(lián)盟有可能出現(xiàn),并獲得重要的市場份額?!?/p>
Blackwell是英偉達首次采用Chiplet設(shè)計的架構(gòu),這可能會簡化基于Blackwell的GPU在硅片層面的生產(chǎn),因為更容易最大限度地提高小型芯片的產(chǎn)量。
進化版的Blackwell不僅會在AI加速能力上進一步提高,還具備高速內(nèi)存接口、經(jīng)過改良的光線追蹤技術(shù)和并行處理能力。摩根士丹利認為,英偉達想要捍衛(wèi)自己的算力優(yōu)勢,牢牢綁定那些核心客戶,B100是最有用的武器。
但另一方面,多芯片解決方案的封裝也變得更加復(fù)雜。
現(xiàn)在的問題是,英偉達能夠以多快的速度提高B100 SXM模塊和 B100 PCIe卡以及DGX服務(wù)器的產(chǎn)量。畢竟,這些都是使用不同組件的全新產(chǎn)品。如果市場需求過大,就像之前H100發(fā)貨初期造成大面積延遲的情況一樣。
季度財報發(fā)布后的溝通會上,黃仁勛在接受采訪時表示:“我們所有的產(chǎn)品,都是嚴重供不應(yīng)求,這也是新產(chǎn)品的天然屬性,所以我們在竭盡可能滿足需求,只不過整體來看,我們的需求增長實在太快了?!?/p>
英偉達首席財務(wù)官(CFO) Colette Kress也補充說:“我們預(yù)計下一代產(chǎn)品的供應(yīng)會非常緊張,因為需求遠遠超過了供應(yīng)能力?!?/p>
Jones Trading首席市場策略師Mike O'Rourke發(fā)布一份題為《七巨頭時代安息吧》的報告,認為蘋果、谷歌、Meta、英偉達、特斯拉、亞馬遜和微軟這科技七巨頭組合對股市的主導(dǎo)地位即將結(jié)束。這七只股票隨著今年的命運分化迎來了分道揚鑣,薩托里基金創(chuàng)始人兼投資組合經(jīng)理丹·奈爾斯表示:“盈利在掙扎,他們遇到了競爭問題,我認為可以從股價中看到這一點,蘋果、特斯拉今年都在下跌,谷歌的表現(xiàn)也落后于市場,該組合應(yīng)該會只剩下英偉達、Meta、亞馬遜和微軟?!?/p>
5年,從線下回到線下,東道主英偉達如今的主權(quán)地位較2019年已不可同日而語。
x
-
大疆車載負責人沈劭劼:7000元上無圖智駕,希望做到科技平權(quán) 2024-03-21 16:52
-
超級人工智能的派對開始了:黃仁勛、奧特曼與馬斯克現(xiàn)GOAT之爭 2024-02-26 13:58
-
5年之后,黃仁勛熱血歸來:英偉達在AI世界稱王 2024-03-21 13:35
-
開發(fā)L4級量產(chǎn)自動駕駛汽車,26年上市:大眾ADMT與Mobileye達成自動駕駛協(xié)議 2024-03-22 19:50
-
售價26.9萬元起,全新極氪001上市 2024-03-25 10:55