按：英偉達(dá)本周公布了最新季報。比起超預(yù)期的財務(wù)數(shù)據(jù)，電話會議才是真正的看點：AI的2024怎么走？“算力沙皇”的權(quán)杖，指明了潮水的方向。以下為電話會紀(jì)要內(nèi)容。

第三季度又是創(chuàng)紀(jì)錄的季度。營收達(dá)181億美元，環(huán)比增長34%，同比增長超過200%。

遠(yuǎn)高于我們160 億美元的預(yù)期。從數(shù)據(jù)中心開始，基于Hopper Tensor Core GPU架構(gòu)的 NVIDIA HGX 平臺的持續(xù)增長，以及InfiniBand和網(wǎng)絡(luò)，推動數(shù)據(jù)中心收?創(chuàng)紀(jì)錄地達(dá)到145 億美元，環(huán)比增長1%，同比增長279%。

NVIDIA HGX與InfiniBand本質(zhì)上是AI超級計算機(jī)和數(shù)據(jù)中心基礎(chǔ)設(shè)施的參考架構(gòu)。一些最令人興奮的生成式AI 應(yīng)用程序都是在 NVIDIA 上構(gòu)建和運行的，包括 Adobe Firefly、ChatGPT、Microsoft 365 Copilot、Zoom AI Companion等。

我們的數(shù)據(jù)中心計算收?比去年增長了四倍，網(wǎng)絡(luò)收?幾乎增長了兩倍。對訓(xùn)練和推理大型語?模型、深度學(xué)習(xí)、推薦系統(tǒng)和生成式 AI 應(yīng)用的基礎(chǔ)設(shè)施的投資正在推動對NVIDIA加速計算的廣泛強勁需求。推理現(xiàn)在是NVIDIA AI計算的主要工作負(fù)載。

消費互聯(lián)網(wǎng)公司和企業(yè)在第三季度推動了驚人的環(huán)比增長，約占我們數(shù)據(jù)中心收?的一半，并且超過了總體增長。

Adobe、Databricks、Snowflake 和 ServiceNow等企業(yè)軟件公司正在向其平臺添加AI副駕駛和助理。

本季度我們數(shù)據(jù)中心收?的另一半。所有超大規(guī)模CSP 以及全球范圍內(nèi)一系列新的GPU專用CSP的需求都很強勁，這些CS正在快速增長，以應(yīng)對AI領(lǐng)域的新市場機(jī)遇NVIDIA H100 Tensor Core GPU實例現(xiàn)在幾乎在每個帶有實例的云中都可用需求量很大。今年每個季度我們都大幅增加供應(yīng)，以滿足強勁的需求，并預(yù)計明年將繼續(xù)這樣做。

我們還將有更廣泛、更快的產(chǎn)品發(fā)布節(jié)奏，以滿足不斷增長和多樣化的人工智能機(jī)會。本季度末，美國政府宣布了一套針對中國和其他市場（包括越南和某些中東國家）的新出口管制法規(guī)。這些法規(guī)要求我們的許多產(chǎn)品獲得出口許可證，包括我們的Hopper和Ampere 100和800系列以及其他幾種產(chǎn)品。在過去的幾個季度中，我們對中國和其他受影響目的地的銷售源自目前需要遵守許可要求的產(chǎn)品，一直貢獻(xiàn)了數(shù)據(jù)中心收?的約20% 至25%。

我們的訓(xùn)練集群包括超過10,000 個H100 GPU，比6月份增加了3倍，反映出非常?效的擴(kuò)展。?效擴(kuò)展是生成人工智能的關(guān)鍵要求，因為法學(xué)碩士每年都在以一個數(shù)量級增長。Microsoft Azure 在幾乎相同的集群上取得了類似的結(jié)果，展?了NVIDIA AI在公共云部署中的效率。目前，網(wǎng)絡(luò)業(yè)務(wù)的年收?運行率已超過10億美元。

我們的增長是由對InfiniBand的特殊需求推動的，該需求同比增長了五倍。InfiniBand 對于獲得培訓(xùn) LLM 所需的規(guī)模和性能至關(guān)重要。微軟上周明確指出了這一點，強調(diào) Azure使用超過29,000 英里的InfiniBand 線路，足以繞地球一圈。

我們正在將NVIDIA網(wǎng)絡(luò)擴(kuò)展到以太網(wǎng)領(lǐng)域。我們?nèi)碌腟pectrum-X端到端以太網(wǎng)產(chǎn)品采用專為AI打造的技術(shù)，將于明年第一季度推出。

與傳統(tǒng)以太網(wǎng)產(chǎn)品相比，Spectrum-X可以實現(xiàn)AI通信網(wǎng)絡(luò)性能提?1.6 倍。我還要介紹一下我們的軟件和服務(wù)產(chǎn)品的最新情況，我們已經(jīng)開始看到這些軟件和服務(wù)產(chǎn)品的出色采用。我們有望以10億美元的經(jīng)常性軟件支持和服務(wù)產(chǎn)品年化收?結(jié)束今年。我們看到了中期增長的兩個主要機(jī)會，即我們的DGX云服務(wù)和我們的NVIDIA AI企業(yè)軟件。

游戲收?達(dá)28.6 億美元，環(huán)比增長15%，同比增長超過80%，重要的返校購物季需求旺盛，NVIDIA RTX 光線追蹤和AI技術(shù)現(xiàn)在價格低至299美元。我們?yōu)橛螒蛲婕液蛣?chuàng)作者帶來了有史以來最好的陣容。即使在PC市場表現(xiàn)低迷的背景下，游戲數(shù)量也比新冠疫情前的?平翻了一番。

ProViz的收?為4.16億美元，環(huán)比增長 10%，同比增長108%。NVIDIA RTX是專業(yè)設(shè)計、工程和模擬用例的首選工作站平臺，而人工智能正在成為強大的需求驅(qū)動力。早期應(yīng)用包括用于醫(yī)療保健中的AI成像的IMP以及智能空間和公共部?中的邊緣AI。我們推出了基于 NVIDIA RTX、Ada Lovelace、Generation GPU 和 ConnectX、SmartNIC 的全新桌面工作站系列，其 AI處理、光線追蹤和圖形性能是前幾代產(chǎn)品的2倍。

我們宣布在 Microsoft Azure 上提供兩項用于汽車數(shù)字化的新Omniverse云服務(wù)：虛擬工?模擬引擎和自動駕駛汽車模擬引擎。轉(zhuǎn)向汽車領(lǐng)域。收?為2.61億美元，環(huán)比增長3%，同比增長4%，主要得益于基于NVIDIA DRIVE Orin SoC的自動駕駛平臺的持續(xù)增長以及全球 OEM 客戶的AI座艙解決方案的不斷增長。我們擴(kuò)大了與富士康的汽車合作伙伴關(guān)系，納?了我們的下一代汽車 SoC NVIDIA Drive Thor。

富士康已成為電動汽車的ODM。我們的合作伙伴關(guān)系為富士康提供了標(biāo)準(zhǔn)的AV傳感器和計算平臺，供其客戶輕松構(gòu)建最先進(jìn)、安全的軟件定義汽車。現(xiàn)在，我們將把其余部分的損益表GAAP毛利率擴(kuò)大到 74%，非 GAAP毛利率擴(kuò)大到 75%，這得益于數(shù)據(jù)中心銷售額的增加和凈庫存儲備的減少，其中包括1個百分點的收益釋放此前預(yù)留的Ampere GPU架構(gòu)產(chǎn)品相關(guān)庫存。

運營費用增長12%，非 GAAP運營費用增長10%，主要反映了薪酬和福利的增加。

Q&A環(huán)節(jié)

Q1：您認(rèn)為就生成型人工智能市場的出貨量而?，當(dāng)前處于怎么樣的位置？因為當(dāng)我只看你們數(shù)據(jù)中心的軌跡時，明年數(shù)據(jù)中心支出將接近 30%。那么您正在關(guān)注哪些指標(biāo)？我們在AI這個市場中處于什么位置？

A1：從歷史上看，過去幾個季度，中國和其他一些受影響的目的地約占我們數(shù)據(jù)中心收?的 20%至25%。我們預(yù)計，隨著進(jìn)?第四季度，這一數(shù)字將大幅下降。

出口管制將對我們的中國業(yè)務(wù)產(chǎn)生負(fù)面影響，即使從長遠(yuǎn)來看，我們也無法清楚地了解這種影響的嚴(yán) 重程度。不過，我們正在努力擴(kuò)展我們的數(shù)據(jù)中心產(chǎn)品組合，以可能提供不需要許可證的新的符合法規(guī)的解決方案。

這些產(chǎn)品可能會在未來幾個月內(nèi)上市。然而，我們預(yù)計他們的貢獻(xiàn)占第四季度收?的百分比不會很大或有意義。

生成式人工智能是我們幾?年來?過的最大的軟件和硬件TAM 擴(kuò)展。其核心，主要是基于檢索的計算方法，幾乎所有你所做的事情都是從某個地方的存儲中檢索出來的，現(xiàn)在已經(jīng)得到了增強，添加了生成方法，并且它幾乎發(fā)生了變化一切。

您可以看到?本到?本、?本到圖像、?本到視頻、?本到 3D、?本到蛋?質(zhì)、?本到化學(xué)品。這些是過去由人類處理和輸?的東西，現(xiàn)在這些是生成方法。我們訪問數(shù)據(jù)的方式已經(jīng)改變。它曾經(jīng)基于顯式查詢。

因此，我們對與 SAP 和 Dropbox 以及您將聽到的許多其他合作伙伴所做的工作感到非常興奮。真正有影響力的領(lǐng)域之一是軟件行業(yè)，該行業(yè)價值約一萬億美元，在過去幾?年里一直在構(gòu)建?動使用的工具。現(xiàn)在出現(xiàn)了一個全新的軟件部分，稱為副駕駛和輔助。

這些工具不需要?動使用，而是有副駕駛來幫助您使用它。因此，當(dāng)然，我們將繼續(xù)這樣做，而不是許可軟件，但我們還將聘請副駕駛和助理來幫助我們使用該軟件。我們將把所有這些副駕駛和助?連接到人工智能團(tuán)隊中，這將是現(xiàn)代版本的軟件、現(xiàn)代版本的企業(yè)業(yè)務(wù)軟件。因此，軟件和軟件完成方式的轉(zhuǎn)變正在驅(qū)動底層的硬件。

現(xiàn)在我們有了更好的方法，稱為加速計算，您可以節(jié)省一個數(shù)量級的能源，可以節(jié)省一個數(shù)量級的時間，或者可以通過使用加速來節(jié)省一個數(shù)量級的成本。因此，如果您愿意的話，加速計算正在將通用計算轉(zhuǎn)變?yōu)檫@種新方法。新型數(shù)據(jù)中心進(jìn)一步增強了這一點。這就是您剛才談到的傳統(tǒng)數(shù)據(jù)中心，我們大約占其中的三分之一。

但是有一種新的數(shù)據(jù)中心類型，這種新的數(shù)據(jù)中心類型與過去的數(shù)據(jù)中心不同，過去的數(shù)據(jù)中心運行著大量應(yīng)用程序，由許多使用相同基礎(chǔ)設(shè)施的不同租戶的人使用，并且該數(shù)據(jù)中心存儲了大量?件。

這些新的數(shù)據(jù)中心是很少的應(yīng)用程序，即使不是一個應(yīng)用程序，也基本上由一個租戶使用。它處理數(shù)據(jù)，訓(xùn)練模型，生成人工智能，我們將這些新的數(shù)據(jù)中心稱為人工智能工?。我們看到幾乎每個國家都在建造人工智能工?。

因此，如果你看看我們在擴(kuò)張、向這種新計算方法的過渡中所處的位置，這是你在大型語?模型初創(chuàng)公司、生成人工智能初創(chuàng)公司和消費互聯(lián)網(wǎng)公司中看到的第一波浪潮。

我們正在加大力度。與此同時，在這種情況不斷增加的同時，您會看到我們開始與企業(yè)軟件公司合作，他們希望構(gòu)建聊天機(jī)器人和副駕駛，并提供幫助以增強他們平臺上的工具。你會看到專?針對GPU的 CSP在世界各地涌現(xiàn)，他們真正致力于做一件事，那就是處理人工智能。你會看到主權(quán) 人工智能基礎(chǔ)設(shè)施、人民和國家現(xiàn)在認(rèn)識到他們必須利用他們的技術(shù)。擁有自己的數(shù)據(jù)，保留自己 的數(shù)據(jù)，保留自己的?化，處理這些數(shù)據(jù)，并開發(fā)自己的人工智能，你在印度看到了這一點。

因此，我認(rèn)為，隨著生成式人工智能浪潮在每個行業(yè)、每個公司、每個地區(qū)傳播，你會看到新的發(fā)展。因此，我們正處于這種拐點、這種計算轉(zhuǎn)變的開始。

Q2：我想詢問有關(guān)業(yè)務(wù)網(wǎng)絡(luò)方面的問題。如何看待以太網(wǎng)的演進(jìn)？

A2：我們的網(wǎng)絡(luò)業(yè)務(wù)已達(dá)到10億美元以上，而且規(guī)模還將進(jìn)一步擴(kuò)大。我們最近在我們的網(wǎng)絡(luò)業(yè)務(wù)中添加了一個新的網(wǎng)絡(luò)平臺。但絕大多數(shù)專用的大型AI工?都在InfiniBand上進(jìn)行標(biāo)準(zhǔn)化。其原因不僅是因為它的數(shù)據(jù)速率和延遲，而且它在網(wǎng)絡(luò)中移動流量的方 式非常重要。

有了InfiniBand，有了軟件定義的網(wǎng)絡(luò)，我們就可以做到控制、自適應(yīng)路由、性能隔離和噪聲隔離，當(dāng)然更不用說InfiniBand的數(shù)據(jù)速率和低延遲以及非常低的開銷了，這是很自然的 InfiniBand 的一部分。因此，InfiniBand 不僅僅是一個網(wǎng)絡(luò)，它還是一個計算結(jié)構(gòu)。我們在結(jié)構(gòu)中加?了許多軟件定義的功能，包括計算。

例如，最近我們談到了我們正在創(chuàng)建的模型之一，它被稱為Shipnemo，我們正在構(gòu)建許多其他模型。我們將在公司內(nèi)部創(chuàng)建數(shù)?、數(shù)百個自定義人工智能模型。

我們所做的就是發(fā)明了這個新平臺，它擴(kuò)展了以太網(wǎng)，不會取代以太網(wǎng)，它 100% 兼容以太網(wǎng)，并且針對東西向流量（計算結(jié)構(gòu)所在的位置）進(jìn)行了優(yōu)化。它通過 BlueField 的端到端解決方案以及我們的頻譜交換機(jī)添加到以太網(wǎng)中，使我們能夠執(zhí)行 InfiniBand 中的一些功能（不是全部， 而是部分功能），并且我們?nèi)〉昧顺錾慕Y(jié)果。

我們進(jìn)?市場的方式是與已經(jīng)提供我們的計算解決方 案的大型企業(yè)合作伙伴一起進(jìn)?市場。因此，惠普、戴爾和聯(lián)想擁有 NVIDIA AI 堆棧、NVIDIA AI 企業(yè)軟件堆棧，現(xiàn)在他們與BlueField集成，并捆綁銷售其Spectrum交換機(jī)。

他們將能夠憑借龐大的銷售隊伍和龐大的經(jīng)銷商網(wǎng)絡(luò)，為世界各地的企業(yè)客戶提供完全集成的（如果你愿意的話）至少端到端優(yōu)化的人工智能解決方案。

Q3：我想知道您是否可以多談?wù)?Grace Hopper，您如何看待利用某些微處理器的能力，如何 將其視為TAN expander，以及您認(rèn)為使用 Grace Hopper與更傳統(tǒng)的H100應(yīng)用程序相比有哪些應(yīng)用 程序？

A3：Grace Hopper 已投?生產(chǎn)，目前正在大批量生產(chǎn)。我們預(yù)計，明年，隨著我們在?性能計算和人工智能基礎(chǔ)設(shè)施方面取得的所有設(shè)計勝利，我們將非常快地從我們的第一個數(shù)據(jù)中心CPU發(fā)展到價值數(shù)?億美元的產(chǎn)品線。

這對我們來說將是一個非常龐大的產(chǎn)品線。它能夠創(chuàng)建同時具有非常快的內(nèi)存和非常大的內(nèi)存的計算節(jié)點。在向量數(shù)據(jù)庫或語義搜索領(lǐng)域，稱為 RAG（檢索增強生成），這樣您就可以讓生成式AI模型能夠在生成響應(yīng)之前引用專有數(shù)據(jù)或事實數(shù)據(jù)。

這樣，生成模型一方面仍然能夠自然地與您交互，另一方面能夠引用事實數(shù)據(jù)、專有數(shù)據(jù)或特定領(lǐng)域的數(shù)據(jù)、您的數(shù)據(jù)，并且能夠與上下?相關(guān)相關(guān)并減少幻覺。例如，對于Grace Hopper 來說，這個特定的用例確實非常棒。它還為那些真正想要擁有不同于x86的CPU的客戶提供服務(wù)。也許是歐洲超級計算中心或歐洲公司想要建立自己的ARM生態(tài)系統(tǒng)并想要建立整個堆棧，或者是CSP決定轉(zhuǎn)向ARM，因為他們自己的定制CPU是基于ARM的。

Q4：想問一下你們的收?可?度。您認(rèn)為數(shù)據(jù)中心能夠發(fā)展到2025年嗎？

A4：絕對相信數(shù)據(jù)中心能夠在 2025年之前實現(xiàn)增長。這有幾個原因。我們正在大幅擴(kuò)大供應(yīng)。我們已經(jīng)擁有世界上最廣泛、最大、最有能力的供應(yīng)鏈之一。人們認(rèn)為GPU是一個芯?，但 HGX H100（Hopper HGX）有 35,000個零件。它重 70 磅。其中?個籌碼是Hopper 的。它是一臺超級計算機(jī)，因此測試超級計算機(jī)的唯一方法是使用另一臺超級計算機(jī)。

因此，我們HGX供應(yīng)鏈的各個方面都很復(fù)雜，而我們這里擁有的出色團(tuán)隊確實令人難以置信地擴(kuò)展了該供應(yīng)鏈。更不用說，我們所有的HGX都與NVIDIA網(wǎng)絡(luò)連接，而網(wǎng)絡(luò)、收發(fā)器、NIC、電纜、交換機(jī)，其復(fù)雜性令人難以置信。

正如我之前提到的，我們有新客戶。不同的地區(qū)正在建立 GPU 專家云，來自世界各地的主權(quán)人工智能云，因為人們意識到他們無法承擔(dān)將自己國家的知識、國家?化出口給其他人然后將人工智能轉(zhuǎn)售給他們的費用。

他們必須，他們應(yīng)該，他們有技能，當(dāng)然，與我們結(jié)合，我們可以幫助他們做到這一點，建立他們的國家人工智能所以他們要做的第一件事就是創(chuàng)建他們的人工智能云，國家人工智能 云。您還看到我們現(xiàn)在正在成長為企業(yè)。

企業(yè)市場有兩條路徑。第一條路當(dāng)然是現(xiàn)成的AI當(dāng)然還有ChatGPT，令人難以置信的現(xiàn)成的AI還有其他的。還有專有的人工智能，因為ServiceNow和SAP等軟件公司以及許多其他公司無法承擔(dān)將其公司的智能外包給其他人的費用。

我們有一項名為AI Foundry的新服務(wù)，我們利用NVIDIA的功能為他們提供服務(wù)。下一個是企業(yè)構(gòu)建自己的自定義人工智能、自己的自定義聊天機(jī)器人、自己的自定義規(guī)則。而且這種能力正在全世界范圍內(nèi)傳播。我們?yōu)樵撌袌鎏峁┓?wù)的方式是使用整個系統(tǒng)堆棧，其中包括我們的計算、網(wǎng)絡(luò)和交換機(jī)，運行我們稱為NVIDIA AI Enterprise的軟件堆棧，并通過我們的市場合作伙伴HP、Dell、聯(lián)想等獲取該軟件堆棧。

因此，我們看到生成式人工智能的浪潮從初創(chuàng)公司和通信服務(wù)提供商開始轉(zhuǎn)向消費者互聯(lián)網(wǎng)公司，轉(zhuǎn)向企業(yè)軟件平臺，轉(zhuǎn)向企業(yè)公司。最終，你們看到我們花費大量精力的領(lǐng)域之一與工業(yè)生成人工智能有關(guān)，這就是NVIDIA AI 和 NVIDIA Omniverse的結(jié)合之處，這是一項非常非常令人興奮的工作。

Q5：您提到您將在未來 幾個月內(nèi)推出符合法規(guī)的產(chǎn)品，但對第四季度收?的貢獻(xiàn)應(yīng)該相對有限。這是一個時間問題嗎？它是否會成為4月份及以后數(shù)據(jù)中心重新加速和增長的來源？或者價格點對未來收?的貢獻(xiàn)是 否應(yīng)該相對有限？然后上周發(fā)布的AI Foundry服務(wù)公告，盈利模式將如何運作？主要是服務(wù)和軟件收?嗎？我們應(yīng)該如何考慮長期機(jī)會？這將是微軟獨有的，還是您也有計劃擴(kuò)展到其他合作伙伴？

A5：關(guān)于我們可以向中國客戶提供的潛在新產(chǎn)品的問題。設(shè)計和開發(fā)這些新產(chǎn)品都 是一個重要的過程。正如我們所討論的，我們將確保我們也與美國政府充分討論我們對這些產(chǎn)品的 意圖。考慮到我們本季度的狀況，本季度已經(jīng)過去幾周了，我們需要一些時間來仔細(xì)研究并與客戶討論他們 對我們擁有的這些新產(chǎn)品的需求和愿望。

展望未來，無論是中期還是長期，很難說我們可以與美國政府合作生產(chǎn)什么，以及我們中國客戶的利益是什么。因此，我們?nèi)匀粚Ｗ⒂跒橹袊蛻粽业竭m當(dāng)?shù)钠胶猓壳斑€很難說。

AI Foundry 面臨著巨大的機(jī)遇，而且意義重大。首先，每個公司都有自己的核心智力。它構(gòu)成了我們的公司。我們的數(shù)據(jù)，我們的領(lǐng)域?qū)I(yè)知識。就很多公司而?，我們創(chuàng)造工具，世界上大多數(shù)軟件公司都是工具平臺，而這些工具今天被人們使用。

在未來，它將被我們雇傭的一大堆人工智能增強的人們使用。這些人工智能平臺必須?向世界， 你就會看到，我們已經(jīng)宣布了一些，SAP、ServiceNow、Dropbox、Getty，還有許多其他平臺即將推出。因是因為他們擁有自己的專有人工智能，他們想要自己的專有人工智能，他們無法承擔(dān) 外包情報和分發(fā)數(shù)據(jù)的費用，也無法將?輪交給其他公司來為他們構(gòu)建人工智能。

我們有幾樣?xùn)|西對于代工?來說是非常重要的，就像臺積電是一家代工?一樣。你必須擁有 人工智能技術(shù)。如您所知，我們擁有令人難以置信的深度人工智能能力、人工智能技術(shù)能力。其次，你必須擁有最佳實踐，已知的實踐，通過發(fā)明人工智能模型來處理數(shù)據(jù)的技能，以創(chuàng)建有護(hù)欄、微調(diào)等等的人工智能。

第三件事是你需要工?，這就是 DGX Cloud。我們的人工智能模型稱為人工智能基礎(chǔ)。如果你 愿意的話，我們用于創(chuàng)建 AI 的 CAD 系統(tǒng)稱為 NEMO，它們在 NVIDIA 的工?（我們稱為 DGX Cloud）上運行。

我們在云端、本地和任何地方都擁有龐大的安裝基礎(chǔ)。而且它是安全的、安全地修補、不斷修補、優(yōu)化和支持。我們稱之為 NVIDIA AI Enterprise。NVIDIA AI Enterprise 的價格為每位GP每年4,500 美元。這就是我們的商業(yè)模式。我們的商業(yè)模式基本上是一個許可證。然后，我們的客戶憑借該基本許可證， 可以在此基礎(chǔ)上構(gòu)建他們的盈利模型。在很多方面，批發(fā)變成了零售。

他們可以針對每個實例擁有一個訂閱許可證基礎(chǔ)，也可以針對每個使用情況進(jìn)行訂閱。他們可以 采取很多不同的方式來創(chuàng)建自己的商業(yè)模式，但我們的方式基本上就像軟件許可證，就像操 作系統(tǒng)一樣。因此，我們的業(yè)務(wù)模式是幫助您創(chuàng)建自定義模型，然后在 NVIDIA AI Enterprise 上運行這些自定義模型。

Q6：我想知道如果沒有中國的限制，第四季度的指導(dǎo)值會更?嗎？或者 您的供應(yīng)是否受到限制，只能將本可以運往中國其他地方的貨物轉(zhuǎn)運。我想沿著這些思路，如果您能讓 我們了解您目前在數(shù)據(jù)中心的交貨時間以及像當(dāng)前的情況，它是否會降低這些交貨時間，因為 您有一些零件可以立即發(fā)貨嗎？

A6：是的，在某些情況下，我們每個季度都在努力改善我們 的供應(yīng)。我們在每個季度的增長方面做得非常扎實，這決定了我們的收?。但由于我們對第四季度的展望中沒有中國，我們?nèi)栽谂Ω纳莆覀兊墓?yīng)，并計劃在明年繼續(xù)增長，并為此努力。

Q7：也許你可以花一點時間討論大模型在推理方面的演進(jìn)以及你的公司如何定位于此而不是較小的模型推理。其次，直到一兩個月前，我還從未真正收到過任何關(guān)于人工智能工作負(fù)載的數(shù)據(jù)處理部分的問題。也許您可以談?wù)?CUDA 如何加速這些工作負(fù)載

A7：我們可以創(chuàng)建 TensorRT-LLM，因為 CUDA 是可編程的。如果 CUDA 和我們的 GPU 不具備如此可編程性，我們就很難以現(xiàn)在的速度改進(jìn)軟件堆棧。同一 GPU 上的 TensorRTLLM 無需任何人接觸任何東西即可將性能提?兩倍。

當(dāng)然，最重要的是，我們的創(chuàng)新步伐如此之快，H200 將其提?了兩倍。因此，我們的推理成本在大約一年的時間內(nèi)降低了四倍。所以這真的很難跟上。現(xiàn)在，每個人都喜歡我們的推理引擎的原因是因為我們的安裝基礎(chǔ)。20 年來，我們一直致力于我們的客戶群。

我們擁有的安裝基礎(chǔ)不僅在每個云中都是最大的，而且每個企業(yè)系統(tǒng)制造商都可以提供。幾乎每個行業(yè)的公司都在使用它。無論何時您看到 NVIDIA GPU，它都會運行我們的堆棧。它在架構(gòu)上是兼容的。

NVIDIA 的平臺穩(wěn)定性確定性是每個人首先在我們的基礎(chǔ)上構(gòu)建以及每個人首先在我們的基礎(chǔ)上進(jìn)行優(yōu)化的原因。您所做的所有工程和所有工作以及您在 NVIDIA基礎(chǔ)上構(gòu)建的所有技術(shù)發(fā)明都會為使用我們GPU的每個人帶來好處。

我們擁有如此龐大的安 裝基礎(chǔ)，云中有數(shù)以百萬計的GPU，來自人們PC的1億個 GPU，幾乎世界上的每個工作站，它們在架構(gòu)上都是兼容的。因此，如果您是一個推理平臺并且正在部署推理應(yīng)用程序，那么您基本上是一個應(yīng)用程序提供商，并且作為軟件應(yīng)用程序提供商，您正在尋找大型安裝基礎(chǔ)。

數(shù)據(jù)處理，在訓(xùn)練模型之前，您必須整理數(shù)據(jù)。你必須推斷數(shù)據(jù)，也許你必須用合成數(shù)據(jù) 來擴(kuò)充數(shù)據(jù)，所以你處理數(shù)據(jù)，清理數(shù)據(jù)，對?數(shù)據(jù)，規(guī)范化數(shù)據(jù)。所有這些數(shù)據(jù)都不是以字節(jié)和兆字節(jié)為單位來衡量的，而是以太字節(jié)和拍字節(jié)為單位來衡量的。在數(shù)據(jù)工程之前、 在進(jìn)行培訓(xùn)之前進(jìn)行的數(shù)據(jù)處理量非常大。

它可能代表您最終創(chuàng)建數(shù)據(jù)驅(qū)動的機(jī)器學(xué)習(xí)服務(wù)所需工作量的 30%、40%、50%。所以數(shù)據(jù)處理只 是一個重要的部分。我們加速 Spark，我們加速 Python。我們剛剛做的最酷的事情之一是cuDF pandus。

Tandas 是世界上最成功的數(shù)據(jù)科學(xué)框架，PANDAS 現(xiàn)在由 NVIDIA CUDA 加速， 開箱即用，無需一行代碼。因此，加速度確實非常驚人，人們對此感到非常興奮。PANDAS 的設(shè)計只 有一個目的，只有一個目的，即真正用于數(shù)據(jù)科學(xué)的數(shù)據(jù)處理。NVIDIA CUDA為您提供了這一切。

Q8：我們?nèi)绾慰创銈兊难邪l(fā)、運營支出增長前景，以支持更積極、更擴(kuò)展的未來路線圖，但更 重要的是，團(tuán)隊正在做什么來管理和推動執(zhí)行所有這些復(fù)雜性？

A8：首先，我們加快執(zhí)行速度有 一個根本原因，就是因為它從根本上降低了成本。TensorRT LLM 和H200 的結(jié)合將我們客戶的大型模型推理成本降低了四倍。

因此，我們希望加快我們的路線圖。第二個原因是擴(kuò)大生成式人工智能的覆蓋范圍世界上數(shù)據(jù)中心配置的數(shù)量。每種云中都有NVIDIA的?影，但沒有一種云是相同的。NVIDIA 與每家云服務(wù)提供商合作，但他們的網(wǎng)絡(luò)控制平面安全狀況都不相同。

我們現(xiàn)在正在將所有這些產(chǎn)品推向市場。因此，復(fù)雜性當(dāng)然包括所有的技術(shù)、細(xì)分市場和速度。它包括這樣一個事實：我們在架構(gòu)上與其中每一個都兼容。它包括我們創(chuàng)建的所有特定于域的庫。這就是為什么每家計算機(jī)公司都能不假思索地將 NVIDIA 納?其路線圖并將其推向市場的原因。

原因是因為有市場需求。醫(yī)療保健有市場需求。當(dāng)然，人工智能、?融服務(wù)、超級計算、量?計算都有市場需求。我們擁有特定領(lǐng)域庫的市場和細(xì)分市場列表非常廣泛。最后，我們?yōu)閿?shù)據(jù)中心提供了端到端的解決方案。InfiniBand 網(wǎng)絡(luò)、Ethernet、 x86、ARM，幾乎提供了解決方案、技術(shù)解決方案和軟件堆棧的所有排列組合。

這意味著擁有最多數(shù)量的生態(tài)系統(tǒng)軟件開發(fā)人員、最大的系統(tǒng)制造商生態(tài)系統(tǒng)、最大和最廣泛的分銷合作伙伴網(wǎng)絡(luò)，以及最終最大的覆蓋范圍。這當(dāng)然需要大量的能量。但真正將它們結(jié)合 在一起的是我們幾?年前做出的一個偉大決定，即一切在架構(gòu)上都是兼容的。當(dāng)我們開發(fā)一種 在一個GPU上運行的領(lǐng)域特定語?時，它會在每個GPU上運行當(dāng)我們針對云優(yōu)化 TensorRT 時，我們也會針對企業(yè)進(jìn)行優(yōu)化。

當(dāng)我們做一些事情帶來新功能、新庫、新功能或新開發(fā)人員時，他們會立即從我們的所有影響力中 受益。因此，這種與架構(gòu)兼容的原則已經(jīng)持續(xù)了幾?年，這也是NVIDIA仍然非常非常?效的原因之一。