如今生成式AI風(fēng)頭正熱,并且又是一次新產(chǎn)業(yè)革命的引爆點(diǎn);
而這個(gè)引爆點(diǎn)之所以能出現(xiàn),離不開背后的HPC高性能計(jì)算與大數(shù)據(jù)基礎(chǔ)設(shè)施這兩點(diǎn);
目前新的增長(zhǎng)熱點(diǎn)出現(xiàn),HPC與AI正在加速融合之中。
全球正在進(jìn)入HPC大周期
受益于其以更高的速度處理大量數(shù)據(jù)的能力,全球超算行業(yè)應(yīng)用主要集中在生命科學(xué)、CAE、機(jī)械工程、金融、EDA、地理、機(jī)械設(shè)計(jì)、政府、學(xué)術(shù)研究、國(guó)防和氣象等領(lǐng)域。
根據(jù)Hyperion Research的統(tǒng)計(jì)數(shù)據(jù),2022年全球超算行業(yè)市場(chǎng)規(guī)模為309.55億美元,同比增長(zhǎng)4.24%,預(yù)計(jì)今年全球HPC市場(chǎng)預(yù)計(jì)將增長(zhǎng)至500億美元。
云端HPC部署方面,根據(jù)數(shù)據(jù)顯示,2020-2022年,用戶上公有云的速度和應(yīng)用速度加快,促使HPC云上支出增速大大高于HPC線下本地部署規(guī)模,2022年全球HPC云上支出市場(chǎng)規(guī)模達(dá)到63.04億美元,同比增長(zhǎng)23.61%。
HPC的高速發(fā)展對(duì)底層芯片提出了新的要求
一個(gè)完整的計(jì)算機(jī)系統(tǒng),通常由硬件系統(tǒng)和軟件系統(tǒng)兩大部分組成,其中硬件是計(jì)算機(jī)系統(tǒng)運(yùn)行的基石,而硬件由各種各樣的芯片集合組成。
這意味著在高性能計(jì)算高速發(fā)展的時(shí)代,對(duì)CPU、GPU、TPU、NPU、FPGA、ASIC、SoC等高性能計(jì)算芯片,以及通信芯片、接口芯片、存儲(chǔ)芯片等的需求量有望持續(xù)上升。
在百億級(jí)市場(chǎng)的積極驅(qū)動(dòng)下,各大主流芯片企業(yè)皆紛紛入局高性能計(jì)算市場(chǎng)并加大投入,以期望在市場(chǎng)紅利期分得一塊蛋糕。
對(duì)于高性能計(jì)算來(lái)說(shuō),算力是第一要素,通常需要達(dá)到每秒萬(wàn)億次級(jí)的計(jì)算速度,這對(duì)系統(tǒng)的處理器、內(nèi)存帶寬、運(yùn)算方式、系統(tǒng)I/O、存儲(chǔ)等都提出了更高的要求。
如何解決構(gòu)建下一代超級(jí)計(jì)算機(jī)面臨的性能、延遲、功耗及安全性問(wèn)題,成為了行業(yè)關(guān)注的重點(diǎn)。
全
球超級(jí)計(jì)算機(jī)排行榜單
超級(jí)計(jì)算機(jī),是HPC的主要實(shí)現(xiàn)方式之一。
此前,HPC由于其專業(yè)度極高的特點(diǎn)被局限在科研實(shí)驗(yàn)室、大型企業(yè)和特定的學(xué)術(shù)組織研究中。
不過(guò)隨著近兩年AI技術(shù)與IoT應(yīng)用之間的互相驅(qū)動(dòng),5G將數(shù)據(jù)傳輸管道大大拓寬之后,給了數(shù)據(jù)囤積量進(jìn)一步拓展的空間,讓HPC也逐漸變得日益重要。
目前,國(guó)產(chǎn)高性能計(jì)算機(jī)已經(jīng)取得了不錯(cuò)的成績(jī)。
在61期全球超級(jí)計(jì)算機(jī)TOP500榜單中,中國(guó)國(guó)家并行計(jì)算機(jī)工程技術(shù)研究中心(NRCPC)開發(fā)并安裝在位于中國(guó)江蘇省無(wú)錫市的國(guó)家超級(jí)計(jì)算中心的神威太湖之光以93 Pflop/s位列第七。
神威·太湖之光超級(jí)計(jì)算機(jī)甚至曾連續(xù)獲得top500四屆冠軍,該系統(tǒng)全部使用中國(guó)自主知識(shí)產(chǎn)權(quán)的處理器芯片。
天河二號(hào)甲(銀河二號(hào)甲)是由中國(guó)國(guó)防科技大學(xué)(NUDT)開發(fā)并部署在中國(guó)廣州國(guó)家超級(jí)計(jì)算機(jī)中心的系統(tǒng),目前以61.4 Pflop/s被列為第十名。
天河二號(hào)采用麒麟操作系統(tǒng),目前使用英特爾處理器,將來(lái)計(jì)劃用國(guó)產(chǎn)處理器替換。
HPC成國(guó)際芯片龍頭爭(zhēng)奪要地
為了做HPC領(lǐng)域的領(lǐng)導(dǎo)者,英偉達(dá)、AMD、英特爾在HPC應(yīng)用領(lǐng)域也是進(jìn)展不斷。
迄今為止,英偉達(dá)已推出了面向HPC和AI訓(xùn)練的Volta、Ampere、Hopper等架構(gòu),并以此為基礎(chǔ)推出了V100、A100、H100等高端GPU。
其中Hopper H100采用臺(tái)積電4 nm工藝,具有800億個(gè)晶體管,在性能、效率上遠(yuǎn)超Ampere A100,是英偉達(dá)專為超級(jí)計(jì)算機(jī)設(shè)計(jì)的產(chǎn)品。
英偉達(dá)還發(fā)布新一代GH200 Grace Hopper超級(jí)芯片平臺(tái),是一款為大規(guī)模AI和高性能計(jì)算應(yīng)用量身打造的加速芯片。
AMD已經(jīng)在高性能計(jì)算領(lǐng)域推出一系列性能領(lǐng)先的產(chǎn)品,涵蓋了服務(wù)器CPU、加速器,桌面CPU、移動(dòng)CPU等眾多領(lǐng)域,全方位覆蓋數(shù)字經(jīng)濟(jì)的高算力需求。此外,充分利用小芯片技術(shù),用先進(jìn)的2.5D和3D封裝技術(shù),使AMD能夠靈活的進(jìn)行異構(gòu)計(jì)算解決方案系統(tǒng)級(jí)優(yōu)化。
作為高性能計(jì)算領(lǐng)域的創(chuàng)新引領(lǐng)者和推動(dòng)者,英特爾近年來(lái)推出了英特爾至強(qiáng)處理器,英特爾至強(qiáng)融核處理器(Xeon Phi)、3D XPoint全新非易失性存儲(chǔ)技術(shù)、英特爾可擴(kuò)展系統(tǒng)框架(英特爾SSF)以及英特爾Omni-Path架構(gòu)(Intel OPA)等眾多創(chuàng)新產(chǎn)品和技術(shù)。
英特爾基于Xe HPC微架構(gòu)的數(shù)據(jù)中心GPU Ponte Vecchio是迄今最復(fù)雜的SoC,包含1000億個(gè)晶體管,提供領(lǐng)先的浮點(diǎn)運(yùn)算和計(jì)算密度,以加速AI、HPC和高級(jí)分析工作負(fù)載。
未來(lái)計(jì)算架構(gòu)的發(fā)展趨勢(shì)是CPU和GPU融合集成,從而形成互聯(lián)、互補(bǔ)、互通的融合模式,以縮小計(jì)算和存儲(chǔ)單元的通信成本。
HPC與AI互相融合
HPC與AI、大數(shù)據(jù)、數(shù)據(jù)分析和量子計(jì)算的融合加速了基礎(chǔ)設(shè)施整合,以實(shí)現(xiàn)從小規(guī)模、中型到EB規(guī)模的最佳性能/成本比,并創(chuàng)造出以前沒有涉及的新HPC業(yè)務(wù)市場(chǎng)。
并行化深度學(xué)習(xí):深度學(xué)習(xí)是AI的重要分支,但在訓(xùn)練大型深度神經(jīng)網(wǎng)絡(luò)時(shí)需要大量的計(jì)算資源。
HPC技術(shù)可以通過(guò)并行化計(jì)算和優(yōu)化算法,加速深度學(xué)習(xí)的訓(xùn)練過(guò)程。
高性能優(yōu)化:AI算法中存在很多計(jì)算密集型任務(wù),如矩陣運(yùn)算、卷積等。
通過(guò)使用高性能的計(jì)算庫(kù)、優(yōu)化算法和并行計(jì)算技術(shù),可以提高算法的計(jì)算性能和效率,減少運(yùn)行時(shí)間。
分布式推理:在部署大規(guī)模AI模型時(shí),分布式推理技術(shù)可以通過(guò)將模型分發(fā)到多個(gè)計(jì)算節(jié)點(diǎn)上,并利用HPC集群的計(jì)算能力,加速推理過(guò)程。
這種并行推理技術(shù)可以提高響應(yīng)速度和吞吐量,適用于實(shí)時(shí)應(yīng)用和大規(guī)模數(shù)據(jù)處理。
多模態(tài)融合:AI算法通常需要處理多種數(shù)據(jù)類型和模態(tài),如圖像、語(yǔ)音、文本等。
通過(guò)結(jié)合HPC技術(shù),可以實(shí)現(xiàn)多模態(tài)數(shù)據(jù)的并行處理和融合。
大規(guī)模數(shù)據(jù)處理:AI算法對(duì)于大規(guī)模數(shù)據(jù)的處理和分析需要強(qiáng)大的計(jì)算能力和存儲(chǔ)系統(tǒng)。
HPC技術(shù)可以提供高速的數(shù)據(jù)傳輸、分布式存儲(chǔ)和并行計(jì)算能力,以支持大規(guī)模數(shù)據(jù)的處理。