人工智能計(jì)算數(shù)據(jù)中心橫向擴(kuò)展(Scale-out)網(wǎng)絡(luò)技術(shù)要求標(biāo)準(zhǔn)立項(xiàng)發(fā)展報(bào)告_第1頁
人工智能計(jì)算數(shù)據(jù)中心橫向擴(kuò)展(Scale-out)網(wǎng)絡(luò)技術(shù)要求標(biāo)準(zhǔn)立項(xiàng)發(fā)展報(bào)告_第2頁
人工智能計(jì)算數(shù)據(jù)中心橫向擴(kuò)展(Scale-out)網(wǎng)絡(luò)技術(shù)要求標(biāo)準(zhǔn)立項(xiàng)發(fā)展報(bào)告_第3頁
人工智能計(jì)算數(shù)據(jù)中心橫向擴(kuò)展(Scale-out)網(wǎng)絡(luò)技術(shù)要求標(biāo)準(zhǔn)立項(xiàng)發(fā)展報(bào)告_第4頁
人工智能計(jì)算數(shù)據(jù)中心橫向擴(kuò)展(Scale-out)網(wǎng)絡(luò)技術(shù)要求標(biāo)準(zhǔn)立項(xiàng)發(fā)展報(bào)告_第5頁
已閱讀5頁,還剩2頁未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

人工智能計(jì)算數(shù)據(jù)中心橫向擴(kuò)展(Scale-out)網(wǎng)絡(luò)技術(shù)要求標(biāo)準(zhǔn)立項(xiàng)發(fā)展報(bào)告StandardizationDevelopmentReport:TechnicalRequirementsforScale-outNetworksinArtificialIntelligenceComputingDataCenters摘要隨著人工智能技術(shù)的飛速發(fā)展,特別是大模型訓(xùn)練和推理對算力需求的指數(shù)級(jí)增長,傳統(tǒng)數(shù)據(jù)中心網(wǎng)絡(luò)架構(gòu)已難以滿足大規(guī)模分布式計(jì)算的性能要求。計(jì)算數(shù)據(jù)中心橫向擴(kuò)展(Scale-out)網(wǎng)絡(luò)作為支撐AI集群高效運(yùn)行的核心基礎(chǔ)設(shè)施,其標(biāo)準(zhǔn)化工作迫在眉睫。本報(bào)告基于行業(yè)標(biāo)準(zhǔn)YD/T6960-2026《人工智能計(jì)算數(shù)據(jù)中心橫向擴(kuò)展(Scale-out)網(wǎng)絡(luò)技術(shù)要求》的立項(xiàng)背景,深入分析了當(dāng)前AI算力網(wǎng)絡(luò)面臨的技術(shù)挑戰(zhàn),如高帶寬、低時(shí)延、無損傳輸及大規(guī)模拓?fù)浣M網(wǎng)等。報(bào)告詳細(xì)闡述了該標(biāo)準(zhǔn)的編制目的、核心內(nèi)容框架,并介紹了主導(dǎo)編制單位之一——中國信息通信研究院及其在通信與計(jì)算融合領(lǐng)域的深厚積累。報(bào)告指出,該標(biāo)準(zhǔn)的制定將填補(bǔ)國內(nèi)在AIScale-out網(wǎng)絡(luò)技術(shù)規(guī)范領(lǐng)域的空白,為數(shù)據(jù)中心網(wǎng)絡(luò)規(guī)劃、設(shè)備研發(fā)、系統(tǒng)集成及運(yùn)維管理提供權(quán)威依據(jù)。展望未來,隨著技術(shù)迭代與應(yīng)用深化,該標(biāo)準(zhǔn)將為構(gòu)建高效、開放、智能的算力基礎(chǔ)設(shè)施生態(tài)奠定堅(jiān)實(shí)基礎(chǔ)。關(guān)鍵詞:人工智能;計(jì)算數(shù)據(jù)中心;橫向擴(kuò)展網(wǎng)絡(luò);網(wǎng)絡(luò)技術(shù)要求;高速互聯(lián);無損網(wǎng)絡(luò);標(biāo)準(zhǔn)化發(fā)展EnglishKeywords:ArtificialIntelligence;ComputingDataCenter;Scale-outNetwork;NetworkTechnicalRequirements;High-speedInterconnect;LosslessNetwork;StandardizationDevelopment正文1.引言在數(shù)字經(jīng)濟(jì)時(shí)代,人工智能被普遍認(rèn)為是引領(lǐng)新一輪科技革命和產(chǎn)業(yè)變革的關(guān)鍵技術(shù)。特別是以GPT、BERT等為代表的大規(guī)模預(yù)訓(xùn)練模型,其參數(shù)規(guī)模和訓(xùn)練數(shù)據(jù)量已突破萬億級(jí)別,對底層算力基礎(chǔ)設(shè)施提出了前所未有的挑戰(zhàn)。傳統(tǒng)的縱向擴(kuò)展(Scale-up)模式,即通過提升單機(jī)性能來應(yīng)對算力需求,在性價(jià)比、功耗及物理極限方面已遭遇瓶頸。因此,采用多節(jié)點(diǎn)并行訓(xùn)練的橫向擴(kuò)展(Scale-out)模式成為主流。Scale-out網(wǎng)絡(luò),即連接AI集群中成千上萬個(gè)計(jì)算節(jié)點(diǎn)(如GPU服務(wù)器、AI加速卡服務(wù)器)的互聯(lián)網(wǎng)絡(luò),是支撐分布式訓(xùn)練高效運(yùn)行的關(guān)鍵。“算力”的發(fā)揮,很大程度上取決于“網(wǎng)絡(luò)”的優(yōu)劣。當(dāng)前,業(yè)界普遍采用基于高速以太網(wǎng)或InfiniBand等技術(shù)的Scale-out網(wǎng)絡(luò),但技術(shù)路線多樣,缺乏統(tǒng)一的技術(shù)要求和評(píng)測規(guī)范,導(dǎo)致不同廠商產(chǎn)品之間互聯(lián)互通性差、系統(tǒng)整體性能難以保證。在此背景下,制定《人工智能計(jì)算數(shù)據(jù)中心橫向擴(kuò)展(Scale-out)網(wǎng)絡(luò)技術(shù)要求》行業(yè)標(biāo)準(zhǔn)(標(biāo)準(zhǔn)編號(hào):YD/T6960-2026)顯得尤為必要。該標(biāo)準(zhǔn)由中國通信標(biāo)準(zhǔn)化協(xié)會(huì)(CCSA)歸口管理,是郵電通信領(lǐng)域的行業(yè)標(biāo)準(zhǔn),旨在規(guī)范AI計(jì)算數(shù)據(jù)中心Scale-out網(wǎng)絡(luò)的技術(shù)架構(gòu)、關(guān)鍵性能指標(biāo)、協(xié)議兼容性及管理接口等,引導(dǎo)產(chǎn)業(yè)鏈健康有序發(fā)展。2.標(biāo)準(zhǔn)制定背景與意義2.1技術(shù)發(fā)展驅(qū)動(dòng)力自2020年以來,AI模型規(guī)模以每年10倍以上的速度增長,單次訓(xùn)練的計(jì)算量動(dòng)輒達(dá)到千萬億次(PFLOPS-day)。例如,訓(xùn)練一個(gè)萬億參數(shù)的模型,若使用單卡GPU,耗時(shí)數(shù)年不可接受。通過千卡、萬卡甚至更大規(guī)模的GPU集群并行訓(xùn)練,成為唯一可行的路徑。這種大規(guī)模并行訓(xùn)練對網(wǎng)絡(luò)提出三大核心訴求:1.高帶寬:通信數(shù)據(jù)量巨大,模型參數(shù)、梯度等同步操作消耗海量帶寬。單GPU卡對網(wǎng)卡帶寬需求從25Gbps迅速提升至100Gbps、200Gbps乃至400Gbps/800Gbps。2.超低時(shí)延:分布式訓(xùn)練采用同步或異步的All-Reduce、All-to-All等通信模式,網(wǎng)絡(luò)時(shí)延直接影響訓(xùn)練效率。微秒級(jí)的時(shí)延增加,將導(dǎo)致GPU等待,造成巨大的算力浪費(fèi)。3.無損與零丟包:傳統(tǒng)的以太網(wǎng)TCP/IP協(xié)議在丟包后重傳機(jī)制會(huì)引入毫秒級(jí)甚至秒級(jí)延遲,嚴(yán)重破壞訓(xùn)練效率。因此,基于RoCEv2(RDMAoverConvergedEthernetversion2)等無損網(wǎng)絡(luò)技術(shù)成為主流,要求網(wǎng)絡(luò)實(shí)現(xiàn)零丟包傳輸。2.2產(chǎn)業(yè)現(xiàn)狀與標(biāo)準(zhǔn)化需求當(dāng)前,市場主流方案包括:-InfiniBand:以高性能著稱,但生態(tài)封閉,成本高昂,存在供應(yīng)鏈風(fēng)險(xiǎn)。-RoCEv2+高速以太網(wǎng):開放、成本可控、生態(tài)豐富,逐漸成為多數(shù)互聯(lián)網(wǎng)和AI企業(yè)的首選。但不同廠商的交換芯片、網(wǎng)卡、光模塊在實(shí)現(xiàn)RDMA擁塞控制、PFC流控等方面的細(xì)節(jié)差異,導(dǎo)致跨廠商組網(wǎng)性能不穩(wěn)定,甚至無法兼容。目前,國內(nèi)缺乏針對AIScale-out網(wǎng)絡(luò)系統(tǒng)的統(tǒng)一技術(shù)要求標(biāo)準(zhǔn)。各企業(yè)自行定義組網(wǎng)規(guī)范,導(dǎo)致產(chǎn)品選型困難、驗(yàn)收標(biāo)準(zhǔn)缺失、跨廠商故障定位困難。因此,亟需制定一項(xiàng)權(quán)威標(biāo)準(zhǔn),明確AIScale-out網(wǎng)絡(luò)在拓?fù)洹⑿阅堋f(xié)議、管理等方面的最低技術(shù)要求,統(tǒng)一行業(yè)共識(shí),降低用戶使用門檻,提升國產(chǎn)化設(shè)備競爭力。2.3法規(guī)與政策支撐3.標(biāo)準(zhǔn)主要內(nèi)容與技術(shù)框架YD/T6960-2026規(guī)定了人工智能計(jì)算數(shù)據(jù)中心用于承擔(dān)分布式AI訓(xùn)練/推理任務(wù)的Scale-out網(wǎng)絡(luò)的總體技術(shù)要求。標(biāo)準(zhǔn)內(nèi)容涵蓋以下幾個(gè)核心方面:3.1網(wǎng)絡(luò)拓?fù)浼軜?gòu)標(biāo)準(zhǔn)對不同規(guī)模的AI集群提出了推薦的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),包括:-Fat-Tree(胖樹):適用于中等規(guī)模集群,實(shí)現(xiàn)非阻塞或過用比可控的通信。-Dragonfly+/3DTorus:適用于超大規(guī)模(萬卡級(jí))集群,優(yōu)化全局一跳(hop)性能,降低組件成本。-分層級(jí)組網(wǎng)要求:明確Spine層、Leaf層、超Spine層的端口速率、間距、冗余要求。3.2關(guān)鍵性能指標(biāo)標(biāo)準(zhǔn)定義了AI訓(xùn)練場景下網(wǎng)絡(luò)的關(guān)鍵性能基準(zhǔn):-最大有效帶寬利用率:定義在大規(guī)模All-Reduce操作下的實(shí)際帶寬利用率,要求≥95%(特定大小數(shù)據(jù)包)。-端到端時(shí)延:定義GPU到GPU的通信時(shí)延,包括網(wǎng)卡、光模塊、交換機(jī)SerDes、FEC(前向糾錯(cuò))等各部分時(shí)延預(yù)算。-丟包率:在100%線速負(fù)載下,要求不超過1×10?12(極低丟包率)。-擁塞控制效率:定義PFC及ECN(顯式擁塞通知)的響應(yīng)時(shí)間及穩(wěn)定狀態(tài)下的隊(duì)列深度。3.3無損網(wǎng)絡(luò)協(xié)議要求-RoCEv2支持:強(qiáng)制要求設(shè)備支持RoCEv2協(xié)議棧(IBBTH+UDP+IP+L2),并支持基于DCQCN(DataCenterQuantizedCongestionNotification)或類似機(jī)制的擁塞控制算法。-PFC(優(yōu)先級(jí)流控):規(guī)定PFC的配置策略、風(fēng)暴抑制、死鎖防護(hù)要求,避免因流控導(dǎo)致網(wǎng)絡(luò)振蕩。-QoS與流量調(diào)度:定義對不同類型流量(如All-Reduce、參數(shù)同步、管理流量)的分類及優(yōu)先級(jí)調(diào)度機(jī)制。3.4網(wǎng)絡(luò)管理與運(yùn)維-可視化:要求支持實(shí)時(shí)采集GPU與網(wǎng)卡之間的通信矩陣、帶寬占用、擁塞隊(duì)列深度等信息。-自動(dòng)化:定義AI訓(xùn)練Job級(jí)聯(lián)的網(wǎng)絡(luò)資源動(dòng)態(tài)分配與釋放接口。-故障診斷:提供針對RoCEv2會(huì)話的統(tǒng)計(jì)信息,便于快速定位“慢節(jié)點(diǎn)”或“慢鏈路”。3.5環(huán)境適應(yīng)性及可靠性-電源冗余:支持獨(dú)立的電源模塊,支持熱插拔。-散熱與功耗:滿足典型數(shù)據(jù)中心環(huán)境溫度(5℃~45℃)及濕度的要求,并給出單位性能功耗比指標(biāo)建議。4.主要參與單位介紹:中國信息通信研究院在本標(biāo)準(zhǔn)(YD/T6960-2026)的編制過程中,中國信息通信研究院(簡稱“中國信通院”)發(fā)揮了核心主導(dǎo)作用,是該標(biāo)準(zhǔn)的主要起草單位之一,負(fù)責(zé)整體技術(shù)框架的制定、關(guān)鍵技術(shù)指標(biāo)的論證以及標(biāo)準(zhǔn)草案的編寫。中國信息通信研究院始建于1957年,是工業(yè)和信息化部直屬的科研事業(yè)單位,是國家在信息通信領(lǐng)域最重要的支撐單位。經(jīng)過六十余年發(fā)展,中國信通院已成為國際知名的信息通信與數(shù)字技術(shù)研究機(jī)構(gòu),在行業(yè)標(biāo)準(zhǔn)制定、政策研究、測試認(rèn)證、產(chǎn)業(yè)生態(tài)建設(shè)等方面具有深厚的積累。在該標(biāo)準(zhǔn)領(lǐng)域的專業(yè)貢獻(xiàn)包括:1.技術(shù)洞察與頂層設(shè)計(jì):中國信通院云計(jì)算與大數(shù)據(jù)研究所長期跟蹤全球AI基礎(chǔ)設(shè)施的發(fā)展趨勢。早在2021年,該院即啟動(dòng)了面向AI大規(guī)模集群的“智算中心網(wǎng)絡(luò)”專項(xiàng)研究,發(fā)布了多份白皮書(如《智算中心網(wǎng)絡(luò)技術(shù)白皮書》),深入剖析了Scale-out網(wǎng)絡(luò)與普通數(shù)據(jù)中心網(wǎng)絡(luò)的差異,為本標(biāo)準(zhǔn)的技術(shù)方向奠定了理論先導(dǎo)。2.測試驗(yàn)證與產(chǎn)業(yè)協(xié)同:依托其建設(shè)的國家級(jí)“算力并網(wǎng)”及“數(shù)據(jù)中心網(wǎng)絡(luò)”測試驗(yàn)證平臺(tái),中國信通院組織開展了面向主流交換芯片(如Marvell、博通、盛科、華為等)及計(jì)算芯片(如NVIDIA、華為昇騰、寒武紀(jì)等)的Scale-out網(wǎng)絡(luò)互聯(lián)互通測試。測試中發(fā)現(xiàn)并定義了多項(xiàng)關(guān)鍵問題(如不同RoCEv2擁塞控制算法的兼容性、PFC死鎖的觸發(fā)條件等),并將部分測試項(xiàng)轉(zhuǎn)化為了標(biāo)準(zhǔn)中的規(guī)范性要求。3.標(biāo)準(zhǔn)生態(tài)的構(gòu)建者:中國信通院牽頭成立了“智算網(wǎng)絡(luò)技術(shù)工作組”等產(chǎn)業(yè)平臺(tái),聯(lián)合華為、中興、新華三、銳捷網(wǎng)絡(luò)、字節(jié)跳動(dòng)、百度等數(shù)十家產(chǎn)業(yè)鏈上下游企業(yè),共同推動(dòng)標(biāo)準(zhǔn)的研討、驗(yàn)證和落地。其具備的國際標(biāo)準(zhǔn)話語權(quán)(如ITU-T、IETF、IEEE等),也確保了本標(biāo)準(zhǔn)具備國際先進(jìn)水平,并能為中國技術(shù)走向國際預(yù)留接口。通過上述工作,中國信通院確保了YD/T6960-2026標(biāo)準(zhǔn)既具有前瞻性、技術(shù)先進(jìn)性,又具備切實(shí)的可操作性和產(chǎn)業(yè)共識(shí)基礎(chǔ)。5.結(jié)論與展望《人工智能計(jì)算數(shù)據(jù)中心橫向擴(kuò)展(Scale-out)網(wǎng)絡(luò)技術(shù)要求》(YD/T6960-2026)的發(fā)布,標(biāo)志著我國在構(gòu)建AI算力基礎(chǔ)設(shè)施標(biāo)準(zhǔn)體系方面邁出了堅(jiān)實(shí)一步。該標(biāo)準(zhǔn)系統(tǒng)性地解決了當(dāng)前AI大模型訓(xùn)練場景下網(wǎng)絡(luò)建設(shè)所面臨的性能、兼容性、運(yùn)維等方面的共性問題,為面向AI的計(jì)算數(shù)據(jù)中心提供了權(quán)威的組網(wǎng)指南。標(biāo)準(zhǔn)核心價(jià)值:1.提升AI算力利用率:通過明確高帶寬、低時(shí)延、無損網(wǎng)絡(luò)的具體指標(biāo),指導(dǎo)網(wǎng)絡(luò)建設(shè),最大化發(fā)揮GPU算力。2.促進(jìn)產(chǎn)業(yè)開放與競爭:統(tǒng)一技術(shù)要求有利于降低不同廠商設(shè)備間的互聯(lián)互通門檻,打破封閉生態(tài),促進(jìn)良性競爭,降低用戶成本。3.保障供應(yīng)鏈安全:鼓勵(lì)符合標(biāo)準(zhǔn)的國產(chǎn)交換、光模塊、網(wǎng)卡等產(chǎn)品研發(fā),有助于構(gòu)建自主可控的AI算力產(chǎn)業(yè)鏈。未來發(fā)展展望:可以預(yù)見,隨著標(biāo)準(zhǔn)在2026年9月1日正式實(shí)施,將吸引更多企業(yè)采納,逐步形成以YD/T6960-2026為核心的“智算網(wǎng)絡(luò)”產(chǎn)品認(rèn)證體系。未來,該標(biāo)準(zhǔn)將面臨持續(xù)的演進(jìn)需求:-面向超萬卡集群的演進(jìn):隨著網(wǎng)絡(luò)規(guī)模擴(kuò)展到十萬卡級(jí),對網(wǎng)絡(luò)拓?fù)涞奈锢砭嚯x、光電混合互聯(lián)、新型擁塞控制算法將提出更高要求,標(biāo)準(zhǔn)需要迭代更新。-

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲(chǔ)空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

最新文檔

評(píng)論

0/150

提交評(píng)論