谷歌日前公布了該公司用于訓(xùn)練人工智能模型 PaLM 的谷歌超級(jí)計(jì)算機(jī)的更多細(xì)節(jié)，谷歌稱這個(gè)超級(jí)計(jì)算機(jī)比英偉達(dá)的吹噓成的超算超算同類系統(tǒng)速度更快、功耗更低。自研U組北京美女上門(mén)聯(lián)系方式（微信180-4582-8235）提供頂級(jí)外圍女上門(mén)，伴游，空姐，網(wǎng)紅，明星，車模等優(yōu)質(zhì)資源，可滿足你的一切要求
目前 AI 行業(yè)主要依靠英偉達(dá)的芯片性專用加速卡進(jìn)行訓(xùn)練，典型代表是英偉 OPENAI 使用 20000~30000 張 NVIDIA A100 加速卡，早前英偉達(dá)還推出了最新加速卡 NVIDIA H100，達(dá)A的倍性能是藍(lán)點(diǎn) A100 的三倍。
谷歌雖然也使用英偉達(dá)的谷歌加速卡，不過(guò)谷歌自己也在研發(fā)芯片，吹噓成的超算超算比如谷歌新超級(jí)計(jì)算機(jī)使用的自研U組就是谷歌自己研發(fā)的第四代張量處理單元 (TPU)。
TPU 主要用于谷歌的芯片性人工智能訓(xùn)練，谷歌稱公司 90% 的英偉人工智能和機(jī)器學(xué)習(xí)訓(xùn)練都是基于 TPU 單元的，即通過(guò)模型提供數(shù)據(jù)的達(dá)A的倍北京美女上門(mén)聯(lián)系方式（微信180-4582-8235）提供頂級(jí)外圍女上門(mén)，伴游，空姐，網(wǎng)紅，明星，車模等優(yōu)質(zhì)資源，可滿足你的一切要求過(guò)程，讓這些處理單元在用于類似人類的藍(lán)點(diǎn)文本響應(yīng)查詢和圖像生成領(lǐng)域發(fā)揮作用。
谷歌最新的張量處理單元是第四代即 TPU4，谷歌自 2020 年開(kāi)始將 TPU4 部署在數(shù)據(jù)中心組成超級(jí)計(jì)算機(jī)供內(nèi)部使用。
谷歌本周發(fā)布了一篇新論文介紹 TPU4 及 TPU4 組成的超級(jí)計(jì)算機(jī)，谷歌工程師利用自己定制開(kāi)發(fā)的光開(kāi)關(guān)將 4000 多個(gè) TPU4 連接在一起組成超算。
難點(diǎn)在于如何讓這些處理單元組合起來(lái)提供高速運(yùn)算，因?yàn)橹T如 ChatGPT、Bard 這類模型數(shù)據(jù)量太大，靠單個(gè)芯片無(wú)法支撐。
相反，這些模型必須利用數(shù)量夸張的計(jì)算單元，然后將數(shù)據(jù)分布存儲(chǔ)在上面，同時(shí)還要求每個(gè)計(jì)算單元能夠協(xié)同工作數(shù)周甚至更長(zhǎng)的時(shí)間，因此這是一個(gè)技術(shù)難點(diǎn)。
所以最終谷歌選擇自己定制開(kāi)發(fā)專用的光開(kāi)關(guān)，這樣 TPU4 超算可以輕松動(dòng)態(tài)配置處理單元之間的連接，降低延遲、提高性能滿足計(jì)算需求。
性能對(duì)比方面，谷歌在論文中表示對(duì)于同等大小的系統(tǒng)，TPU4 超算比 NVIDIA A100 超算快 1.7 倍、能效提高 1.9 倍，A100 上市時(shí)間與 TPU4 完成開(kāi)發(fā)類似，所以可以對(duì)比，而最新發(fā)布的 H100 屬于更先進(jìn)的產(chǎn)品了，谷歌沒(méi)對(duì)比。
那么標(biāo)題中為什么要說(shuō)谷歌 “吹噓” 呢？我們倒不是懷疑谷歌的研發(fā)能力，主要是谷歌自研的這些芯片 (包括用于手機(jī)上的 AI 芯片) 都不對(duì)外出售的，也就是只有谷歌自己能使用。
所以即便性能提升多少對(duì)其他 AI 企業(yè)來(lái)說(shuō)好像也沒(méi)太大意義，不過(guò)谷歌也倒不是完全封鎖，谷歌通過(guò) Google Cloud 云計(jì)算服務(wù)對(duì)外出租 Cloud TPU 算力，所以 AI 企業(yè)要想使用 TPU 還必須使用 Google Cloud，妥妥的捆綁銷售了，要知道云計(jì)算成本可比自己購(gòu)買(mǎi)芯片后長(zhǎng)期使用的成本高的多，所以對(duì)大型 AI 企業(yè)來(lái)說(shuō)這并不劃算。
另外谷歌暗示該公司還在開(kāi)發(fā)新一代 TPU，畢竟 TPU4 都是 2020 年之前的事兒了，谷歌要研發(fā)第五代張量計(jì)算單元與 NVIDIA H100 競(jìng)爭(zhēng)。
.gif)
.gif)
.gif)
.gif)
.gif)
.gif)
.gif)
.gif)
.gif)
.gif)
