華為-互聯網行業6G網絡內生智能架構及關鍵技術白皮書:以數據為中心ICDT深度融合的網絡架構_第1頁
華為-互聯網行業6G網絡內生智能架構及關鍵技術白皮書:以數據為中心ICDT深度融合的網絡架構_第2頁
華為-互聯網行業6G網絡內生智能架構及關鍵技術白皮書:以數據為中心ICDT深度融合的網絡架構_第3頁
華為-互聯網行業6G網絡內生智能架構及關鍵技術白皮書:以數據為中心ICDT深度融合的網絡架構_第4頁
華為-互聯網行業6G網絡內生智能架構及關鍵技術白皮書:以數據為中心ICDT深度融合的網絡架構_第5頁
已閱讀5頁,還剩78頁未讀 繼續免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

6G網絡內生智能架構及關鍵技術白皮書--以數據為中心&ICDT深度融合的(2023)參與單位華為技術有限公司中國移動通信有限公司鵬城實驗室6G將超越通信,成為智能普惠的新型基礎設施已逐漸成為業界共識。這使得6G網絡不僅聚焦于支持更為極致的無線連接業務,還將支持智能普惠所需的新型智能業務,這就要求6G網絡將需要原生支持新型智能業務所需要的連接、數據、計算和算法等多個維度的編排、協同和控制,來構建6G的智能內生的網絡架構。由此,本白皮書以6G超越通信的智能普惠愿景為基礎假設,在第一章首先描述當前6G相關研究的背景,之后第二章描述無線網絡智能化演進及趨勢,第三章重點描述內生智能架構,從5G網絡智能化實踐的啟示和6G智能普惠場景和需求出發,深入分析演繹6G內生智能架構研究問題,包括涉及6G架構的網絡功能、協議和信令流程設計等。之后在第四、五章分別重點描述6G內生智能架構的關鍵特性:以數據為中心的獨立數據面,以及面向任務的ICDT深度融合。基于獨立數據面,支持6G智能普惠所需的數據服務,基于任務,支持連接、數據、計算和算法等多個維度的一體化智能編排和管控。最后結合之前的描述,總結相關研究成果和結論。該白皮書基于國家重點研發計劃重點專項“6G網絡架構及關鍵技術”項目下的課題2方向“以數據為中心的ICDT深度融合”的研究成果梳理撰寫,由華為技術有限公司牽頭,中國移動通信有限公司、鵬城實驗室聯合參與完成。技術》(項目編號:2020YFB1806 2 2 5 6 6 7 3.3.1從連接為中心到數據為中心 3.3.2從面向會話管控到面向任務管控 1移動互聯網已深入到人們生活的方方面面,從專業活動到休閑、教育、娛樂等,完成了數字化并產生了海量的數據,為未來走向智能化時代奠定了數據基礎。而隨著以深度學習為代表的AI技術的成熟,并在越來越多的領域得到應用,到6G時代實現智能普惠已逐漸成為廣泛的共識。毫無疑問,AI將不僅惠及消費者業務,還將使能千行百業走向智能化,影響社會的各個方面。從是事務第一性原理出發,所有AI應用都離不開收集、分析各種類型的數據,然后將分析的結果用于執行特定的一系列動作。如今,大多數AI采用集中式學習范式,將數據信息集中匯集一起進行訓練,通常是在專門用于AI計算的云,這樣的AI訓練范式稱為云AI。云AI利用網絡將基本的數據信息或模型梯度信息傳送到云端,云端是數據處理的智能中心。6G提出了一種基于內生智能架構來更高效的使能未來AI業務的方法,在本白皮書中稱為網絡AI。從AI三要素角度出發,網絡AI與移動通信系統進行深度融合設計的分析如下[1]。·數據是AI的關鍵資產,堪比“原油”。最早一批AI業務更多聚焦于B2C消費者應用,因此終端用戶成為直接的數據源。垂直行業2B場景,涉及不同的應用、商業模式和技術需求,對數據的安全隱私將更為關注,例如行業數據通常將在系統邊緣(一般位于企業內部)進行處理。因此,行業AI服務將側重本地,以分布式的方式提供。這一趨勢將引發一系列關于數據管理、處理、所有權等需求的討論,一個既能滿足這些需求又能充分遵守數據治理規定的移動通信系統變得尤為重要。2而基于中心云的計算資源池模型可能缺乏可擴展性,導致無法應對未來的變化。尤其當考慮到垂直行業中計算向邊緣遷移這一趨勢時,在中心云上運行AI應用可能就行不通。因此,新的協同背景下,AI要從云端深人到移動通信系統中。移動通信系統作為擁有超高性能的基礎設施,能夠有效管理異構資源,具有可擴展性和彈性,并適配無線動態環境的變化。這一研究領域既有廣闊前景又具有挑戰,因為它可能完全重構傳統的系統架構和設計理念。·算法是整個AI業務的核心,定義了AI應用提供的智能類型,以及AI應用所需的數據類型和消耗的算力。基礎設施不需要知道AI算法是如何定義的,但是它應該更好地支持這些算法的運行。例如,深度學習的實現(聯邦學習等)依賴于通信,這可能涉及算法可伸縮性、帶寬和時延要求。因此,網絡系統架構的設計需要適配并可能影響AI算法的訓練方式從移動通信網絡演進歷史來看,從2G到5G的演進,提供了不同類型的普惠性質的基礎服務,其背后都離不開原生架構能力的支持[3]。例如2G的普惠性質的基礎服務是語音服務,與此匹配的2G端到端網絡架構就是為語音原生設計的;到了3G和4G,普惠性質的基礎服務邊為了數據服務,3但3G架構還不是原生的數據架構,更多是將數據服務疊加在傳統網絡基礎上,帶來的問題是不高效,而這個問題在4G上才得以徹底解決,4G架構是完全基于數據服務來原生設計的,語音等傳統業務都要基于基礎數據服務來提供(VoLTE,VoiceoverLongTermEvolution,基于4G的高清語音通話5G提供的基礎服務是萬物互聯,從URLLC(ultra-reliablelowlatencycommunications,超可靠低延時通信),mMTC(massiveMachineTypeCommunications,海量機器通信),eMBB(EnhancedMobileBroadband,增強寬帶通信)到切片等,5G設計了很多原生的架構能力來支持,但在智能化領域,5G更多是采取如NWDAF這樣功能疊加的方式。5G網絡設計也希望能更好地支持AI業務,尤其是在核心網側。為此,5G引入了網絡數據分析功能(NetWorkDataAnalyticsFunction,NWDAF)[4],其主要目的就是提升數據采集和分析能力。例如,NWDAF可以為其他網絡功能提供分析結果,輔助網絡業務發放。NWDAF管理和維護(Operation,Administration,andManagement,OA&M)[3]系統中采集數據。為此,NWDAF還提供了專門服務,用于相應網絡功能的注冊和元數據開放。4但是,5G沒能通過NWDAF為AI提供原生支持,有以下幾個原因:·數據源有限:NWDAF采集和分析的數據主要是5G網絡功能接收的數據,并沒有考慮來自基礎設施、環境、終端和傳感器的數據。·缺少數據隱私保護:5G中的數據源主要來自同一業務領域,因此基礎設計中數據隱私保護考慮不足。接在5G核心網或無線接人網(RadioAccessNetwork,RAN)中使用。·基礎設施利用不充分:網絡切片、URLLC、mMTC等5G架構的關鍵特性在設計上都是為了在性能、功能和運營角度滿足垂直需求,并未專門考慮原生AI支持(如數據管理、分布式架構等)。·數據治理缺失:AI不只涉及數據采集和分析兩方面。為了給AI提供原生支持,需要專門對數據治理進行設計,而這并不在5G的考慮范圍之內。5如圖2所示,ITU-R將AI與通信融合作為IMT2030的新增應用場景。ITU-R愿景建議書的新興技術趨勢描述了無線網絡與AI的關系:AI優化無線網絡場景下,需要支持AI原生的新空口來增強無線連接性能,如符號檢測/解碼,信道估計等;在無線網絡使能AI應用場景下,AI原生的無線網絡可以實現自動化及智能網絡服務,如智能數據感知、按需能力供給礎能力,從而更好的支持各種AI應用,如包括聯邦學習在內的深度邊緣、分布式學習。ITU-R愿景建議書的智能普惠的應用趨勢中描述了網絡與AI的關系:在AI優化網絡場景下,描述了包括AI使能網絡自動管理的應用,如自監控、自組織、自優化、自愈等能力;在網絡使能。并在智能普惠章節描述了NET4AI,6G網絡基礎設施將成為AI使能器,為智能應用提供計算和數據服務,支持推理、模型訓練、模型部署、跨網絡和終端的分布式計算等6因此,6G要提供智能普惠的基礎服務,關鍵是在網絡架構層面設計相應的原生能力。傳統的通信系統是面向連接的,對于這種系統,典型的服務可以是在兩個特定終端之間建立連接。因此,通信源和目的地由最終用戶及其打算使用的服務或他們計劃與之通信的其他用戶明確定義。在6G中,除了面向連接的服務外,它還應該提供基于人工智能的服務,例如為汽車執行完全自動駕駛的預測QoS(QualityofService,服務質量)服務。為了滿足此類服務,許多終端和網絡設備之間以主動或被動的方式顯式或隱式建立連接,并調度計算、模型、數據資源,在多終端、多基站之間進行高效的協調和通信。通過連接、計算、模型、數據資源間的高效協同(ICDT深度融合),可以在保證人工智能服務的服務質量前提下,提升資源利用率。ICDT的深度融合對6G網絡功能平面的設計提出了新的挑戰,為了對連接、計算、模型、數據資源進行高效的管理和控制,可能會出現新的功能和新的協議棧。隨著5G系統全面商用,面對5G運營中出現的基站建設成本升高、網絡復雜性增加等問題導致的增量難增收的窘況,電信運營商迫切需要探索合理高效的網絡架構和部署方式來保證網絡建設的經濟性。面對5G網絡復雜化、業務差異化、用戶需求多樣化等一系列挑戰,利用人工智能(AI,7ArtificialIntelligence)技術進行網元智能化、網絡智能化和業務智能化,是業界普遍認同的技術路徑。比如在網絡運維方面,利用AI的數據感知、智能分析能力,可在海量運維數據中抽取隱含的關聯特征和規則,追溯根因、定位故障,進行主動式的網絡運維,實現全面的網絡端到端部署自動化。目前,AI的數據驅動特性、自動控制能力、各種學習方法已經被成功地用于解決通信網絡中的一些問題。業界普遍認為:引入AI技術后的5G網絡,將具備更廣闊的覆蓋范圍、更大的通信容量、更小的傳輸時延和更多的用戶連接能力,實現更加泛在、智能、安全、可信的公共移動信息基礎服務能力。但在智能化領域,5G更多是采取如NWDAF進行功能疊加或是單獨提供AI算法等外掛的方式。5G網絡中基于場景驅動的“外掛式”和“疊加式”的網絡智能化實踐面臨諸多挑戰,包括數據獲取困難、數據質量難以保證、AI模型的應用效果缺乏有效的驗證和保障手段等,這些因素導致了人工智能的性能和效率低于預期。面對上述挑戰,6G網絡需要內生智能的網絡架構,即在架構層面將網絡連接與人工智能三要素中的算力、算法及數據完成深度融合,構建網絡內完整的智能體系,從而實現智能服務的高效與高質量保障。6G網絡內生智能架構,就是要在網絡內通過統一的架構設計來提供完整的AI環境和AI服務。網絡內生智能,主要面對高實時性能、高安全隱8私或低綜合能耗等需求,在網絡內進行AI訓練、驗證或推理,提供適應不同應用場景的智能能力;網絡內生智能可以是云AI的有益補充。網絡內生智能的主要場景可以分為三個類別:網元智能、網絡智能、業務智能,如圖3所示。其中網元智能是指網元設備的內生智能化;網絡智能是指多個智體網元協同產生網絡級的群體智能;業務智能是指整個無線通信系統為業務提供的智能服務,一般由外部業務觸發,無線網絡負責執行,其中的業務邏輯可以對無線通信系統透明。網元智能場景包括傳統的無線資源管理(RRM,RadioResourceManagement)、無線傳輸技術(RTT,RadioTransmissionTechnology)的智能化,以及網元自身的原生智能化,如網元智能體。網元智能可以發生在網元、終端的功能和協議棧,影響從空口物理層到高層,如RTT智能化算法主要在PHY層,RRM智能化算法主要是MAC層(如調度、MIMO配對、功率控制、MCS選擇等算法)和RRC層(如切換、負載均衡等算法)。9網絡智能場景主要是網絡系統層面的優化場景,最為典型的場景是自動駕駛網絡(ADN,AutonomousDrivingNetwork),即通過數據與知識驅動的智能極簡網絡,實現網絡自動、自愈、自優、自治,使能新業務并實現極致客戶體驗、全自動運維、高效資源和能源利用。也在ITU-RWP5D第44次會議正式通過了《IMT面向2030及未來發展的框架和總體目標建議書》的新興技術趨勢和智能普惠章節得到了明確的闡述,指出AI4NET需要支持AI原生的新空口來增強無線連接性能,并使能網絡的自動駕駛,包括自監控、自組織、自優化、自愈等能力[8]。業務智能場景主要是第三方通過網絡為AI提供多種支撐能力,使得AI訓練/推理可以實現得更有效率、更實時,或者提升數據安全隱私保護等。例如用戶可以利用6G網絡的基礎模型、數據集、算力、連接等服務,輔助和優化其業務的AI訓練或推理,從而更高效、安全的獲得期望的AI模型,例如6G網絡可以為完全自動駕駛汽車提供QoS預測和保障的輔助服務,從而進一步降低交通事故的發生風險。特別注意的是,業務智能不是說6G網絡要做業務本身,而是網絡為業務的智能化提供更好的資源、功能或服務方面的支持。業務智能從網絡和AI關系的角度,可以認為是NET4AI(NetworkForAI),即效率和體驗。NET4AI也在ITU-R建議書的新興技術趨勢和智能普惠章節得到了明確的闡述,指出6G網絡基礎設施將成為AI使能器,為智能應用提供服務,包括計算和數據服務,支持推理、模型訓練、模型部署、跨網絡和終端的分布式計算等能力[8]。傳統通信系統是以通信連接為中心的設計,其典型的應用場景是為特定終端之間、或為終端與服務器之間提供連接,網絡在架構上為會話提供了完整的生命周期管理機制(例如端到端通信隧道的創建、修改、刪除、錨點遷移等流程)和QoS保障。其主要目的是為數據傳輸提供連接、支持用戶移動性、保證其業務體驗。在資源類型上,非云化部署的設備通常采用專用算力資源,對計算和存儲資源的需求量均不高。與傳統通信業務不同,AI屬于數據和計算密集型業務,為使6G網絡具備原生的AI能力,6G網絡需引入新的資源維度,包括異構的算力資源和存儲資源、新的計算任務(AI相關計算)以及新的數據類型(AI計算輸入輸出數據)等,需要設計相應的管控機制。如圖4所示,6G內生智能網絡架構從邏輯層次上分為2大層,從下到上依次為異構資源層、功能和編排管理層。異構資源層是網絡連接、算力、算法和數據資源等多維在網資源的基礎設施提供者。網絡連接資源包括為網絡各角落提供無處不在網絡連接的路由、傳輸和交換資源;算力資源包括CPU、GPU、NPU等以計算能力為主的處理器,和具備存儲能力的各類獨立存儲或分布式存儲,以及通過操作系統邏輯化的各種具備數據處理能力的設備;數據資源包括:網絡環境數據、用戶數據、網絡配置數據、網絡運行數據、業務運行數據、AI相關數據等資源。通過云化、中間件等技術向功能和編排管理層提供抽象的資源視圖和調用接口,實現資源的融合和共享[7]。功能和編排管理層包括網絡AI編排管理功能、協同控制功能、連接功能、計算功能、數據功能和算法功能,通過對多維在網資源(計算、數據、算法模型、頻譜\帶寬)的實時監控、融合調度、聯合編排、以及對各種任務實例的全生命周期的實時管理與控制,提供AI相關的融合服務。該層是提供融合服務的核心功能層。其中,編排管理功能負責面向融合服務的任務編排和需求服務映射,通過合理的任務編排,實現服務與業務功能需求的最優匹配,并將編排結果發送給協同控制功能或各個業務功能。同時編排管理功能負責對異構資源的感知、度量和管理。協同控制功能負責接收編排管理功能的任務編排結果,并對連接功能、計算面的計算功能、數據面的數據功能和算法功能進行協同聯合控制,包括融合服務的聯合調度、路由、融合QoS保障等。網絡架構,支持6G新型智能業務涉及的各類AI任務在網絡內的執行(包括訓練和推理等)。6G網絡內生智能架構的設計遵循了“從連接為中心到數據為中心”、“從面向會話管控到面向任務管控”范式的轉變,接下來將詳細介紹這兩個范式轉變的具體含義,并將基于這兩個范式轉變設計相應的以數據為中心的獨立數據面及基于任務的管理編排架構。3.3.1從連接為中心到數據為中心網絡正從連接為中心向數據為中心轉變。網絡中正日益產生和消費海量數據,而6G時代,XR,AI等新終端、新業務、新功能等更是在6G生態中產生大量數據,并可能處理第三方的行業數據。6G時代,數據將成為網絡中流淌的新“石油”,促使網絡從現在的應用為中心向數據為中心轉變。而數據多源異構,數據的產生和消費跨不同的端、RAN、TN、CN等域,需要統一跨域的數據服務,從全局的視角進行數據管理,充分高效地挖掘6G網絡中海量數據的價值[6]。現有通信網絡作為數據傳輸的“管道”,通過集成單點技術實現數據處理、數據監管及安全隱私保護,為智能應用提供特定數據服務能力,但缺乏歸一化的數據服務框架,并面臨著數據治理層面的諸多挑戰。5G通信網絡是基于會話構建的,其用戶面用于承載會話數據。由于無法滿足6G數據網絡中海量數據需要的“隨路計算”和“任意拓撲”支持,用戶面無法承載6G網絡新的數據類型。5G用戶面的會話連接實現兩個通信設備之間的信息交互,具體是由協議數據單元(ProtocolDataUnit,PDU)會話提供用戶終端設備和網絡之間端到端的用戶面連接。而6G數據面傳輸則由數據采集、預處理、轉發、存儲和分析等功能組成。用戶面傳輸是針對人與人或人與機器之間的通信連接,而數據面處理的數據是由機器/算法生產和消費的。5G用戶面會話只實現數據包傳輸,而6G數據面傳輸網絡則需要實現隨路計算,在數據管道中,數據被轉換和優化以達到數據分析和智能應用所需狀態。在數據轉發行為上,會話的數據包基于目標地址進行轉發;而數據管道中,數據包則基于數據服務和數據管道標識進行轉發。基于5G用戶面會話的數據轉發屬于TCP/IP層,而數據面的數據轉發則屬于應用層。此外,基于會話的拓撲是點對點的連接,而6G數據面則需要支持任意拓撲結構(如數據分發和數據聚合需要的樹形結構)。如果沿用現有用戶面承載所有6G網絡數據,數據的起始和終結只能在PDU會話的兩端,即用戶設備(UserEquipment,UE)或用戶面功能(UserPlaneFunctions,UPF),無法滿足對感知數據、AI數據、網絡行為和狀態數據的分布式管控。因此,6G網絡需要引入獨立的數據面,構建架構級的統一可信、動態靈活的數據服務框架,在滿足數據法規監管要求的同時,提升數據分析和處理效率,實現跨域跨廠家的可信數據共享,并通過各類智能應用實現數據的價值變現。3.3.2從面向會話管控到面向任務管控6G需要支持包括AI與通信融合、感知與通信融合的新業務,由此在6G網絡中需要引入AI、計算、數據、感知等新功能,并支持基于通算融合的分布式計算、數據收集及就近處理、AI推理和訓練等新服務[8]。6G網絡需要原生支持AI,一個很重要的問題就是6G網絡架構如何對引入的AI功能、計算功能、數據功能進行管控,更好的保證AI服務的QoS。因此,如圖5所示的6G無線網絡架構會發生根本性改變,體現為:.變化2:調度資源從連接資源轉變為連接、計算、數據和算法的四要素資源(ICDT深度融合);.變化3:基于任務粒度的管控,實現四要素的深度協同,提供高效的任務運行環境。為了方便理解,對任務、任務管控進行進一步說明:1)任務內涵現有的通信網絡包括核心網(CN,CoreNetwork)、承載網和無線接入網(RAN,RadioAccessNetwork),包含的典型網元有核心網網元、接入網網元、和用戶設備(UE,UserEquipment)等。如上所述,任務是指網絡新能力涉及到多節點場景下算力、連接、算法、數據資源的協同和調配,以共同完成某個特定的目標。根據不同目的,任務分為AI推理、AI訓練、計算、感知等多種類型[5]。根據參與任務的節點數量、又可以分為協作類和非協作類:.非協作類任務:單個節點執行的非協作類任務。例如可以在UE單獨執行,也可以在RAN、或CN網元上單獨執行。.協作類任務:涉及到兩個或多個節點的協作任務。例如協作節點可以是UE和RAN、UE和CN、RAN網元間、CN網元間、以及RAN和圖6是以AI推理任務為例,說明單點、兩點、多點任務的工作機理;AI訓練任務、計算任務、感知任務等類似,不再贅述。圖中,模型1是指在基站或UE側進行單點推理,或者UE請求基站側推理;模型2對應兩節點聯合推理,UE先經過推理獲得輸出1,上傳到基站側并作為基站推理的輸入,基站獲得輸出2并使用,或發送給UE使用;模型3對應多節點聯合推理,3個UE先各自推理并分別將輸出1、輸出2、輸出3發送給基站,基站整合后作為自身推理的輸入,并推理得出輸出4并使用(即基站使用推理結果)。通常來說,針對一個具體任務的執行,需要兩個維度的協同:一個任務的執行可能同時需要連接、計算、數據、算法的部分或全部四要素資源。例如,在任務部署階段提供四要素資源的配置,以及在任務執行期間進行實時的四要素資源調度。首先,在傳統通信網絡中連接相關的計算處理大多是在單個網元內實現的,網元間一般無需算力共享和算力協同。隨著越來越多的AI場景伴隨著大規模的AI訓練、大模型的AI推理、和海量的感知圖像處理,這些對算力的需求量遠超傳統網絡,通過簡單的擴容逐個網元的計算能力,會導致整網部署成本過高。而分布式計算可通過算力共享的方式來協同完成任務,因此協同任務(即涉及多節點協同的任務)需要節點間算力層面的協同。其次,隨著社會的進步和數據所有權意識的提升,數據隱私保護的要求也越來越高,例如UE的原始數據由于隱私原因無法上傳到網絡進行訓練,而聯邦學習通過協同學習和梯度傳遞的方式在一定程度上解決了該問題,協同任務需要多節點間進行數據層面的協同。最后,為了支持內生AI,模型的訓練需要消耗較大的計算和存儲資源,一個好的模型也需要在網絡內共享以提升整網效率,協同任務需要多節點間進行AI模型層面的協同。2)任務管控任務管控是指伴隨在整個任務的運行過程中的管理和控制行為,包括任務部署階段的多節點協同的調配(例如參與節點的選擇)、任務的生命周期管理和控制(例如任務的創建、修改、暫停、刪除等)和四要素參數配置(例如參與節點使用的輸入數據、模型參數等);以及在任務執行期間為了滿足QoS要求進行的QoS監控和資源調度,其中資源調度包括多節點協同的調配(例如協同節點的增加、刪除、變更等操作)和四要素資源協同的調度(例如參與節點的四要素變更、或參與節點自身的資源分配)在引入任務為中心架構后,一種方式是任務為中心完全融合會話為中心,即基于純連接的會話管理流程作為任務為中心的其中一個分支運行(四要素中僅有連接需求);另一種方式是任務為中心和會話為中心的兩種架構和流程同時存在,例如當發起會話管理流程時啟用會話為中心架構,當發起計算、AI、感知、數據處理等6G新業務時啟用任務為中心架構。兩種方式對于方案的統一性、與5G純連接系統的兼容性、標準復雜度、部署靈活性等存在不同的影響。3)任務QoS面向各行各業對6G網絡內生智能千差萬別的需求,將用戶的需求轉化為網絡可以理解的對AI服務能力的要求是亟需解決的問題。6G網絡將不再只是服務于傳統通信業務的管道,不同的智能應用場景對AI服務的質量將有著不同的需求,需要一套指標體系通過量化或分級的方式傳達用戶的需求以及網絡編排控制AI各要素(包括連接、計算、數據和算法等)的綜合效果。為此,提出AI服務質量,即QoAIS(QualityofA的概念,QoAIS是對AI服務質量進行評估和保障的一套指標體系和流程機證類,每一類AI服務均需要一套QoAIS。在具體指標體系設計上,傳統通信網絡的QoS主要考慮通信業務的時延和吞吐率(MBR、GBR)等與連接相關的性能指標,6G網絡除了傳統通信資源外,還將引入分布式異構算力資源、存儲資源、數據資源、AI算法等AI服務編排的多種資源元素,因而需要從連接、算力、算法、數據等多個維度來綜合評估網絡內生AI的服務質量。同時,隨著“碳中和”和“碳達峰”政策的實施、全球智能應用行業對數據安全性和隱私性關注程度的普遍加強,以及用戶對網絡自治能力需求的提升,未來性能相關指標將不再是用戶關注的唯一指標,開銷、安全、隱私和自治方面的需求將逐漸深化,從而成為評估服務質量的新維度。而不同行業和場景在這些新維度上的具體需求也將千差萬別,需要進行量化或分級評估。因此,QoAIS指標體系從初始設計時,即需要考慮涵蓋性能、開銷、安全、隱私和自治等多個方面,需從內容上進行擴展。AI服務類型評估維度QoAIS指標AI訓練性能性能指標界、訓練耗時、泛化性、可重用性、魯棒性、可解釋性、損失函數與優化目標的一致性、公平性開銷*存儲開銷、計算開銷、傳輸開銷、能耗安全*存儲安全、計算安全、傳輸安全數據隱私等級、算法隱私等級完全自治、部分人工可控、全部人工可控表1提供了一種針對AI訓練服務的QoAIS指標設計方式。QoAIS是網絡內生AI編排管理系統和控制功能的重要輸入,管理編排系統對頂層的QoAIS進行分解和映射,生成AI任務的QoS需求,再將任務QoS映射到對數據、算法、算力、連接等多維度資源的QoS要求上,通過管理面、控制面和用戶面相關機制的設計獲得持續保障。圖7所示為AI用例、AI服務和AI任務的邏輯關系。AI用例是用戶在智能應用場景下向網絡提出的一次AI服務請求,一個AI用例可能涉及到一類或多類網絡內生AI服務(如AI訓練、驗證和推理服務)的調用。數據的價值“金礦”已被市場廣泛認知和期待,未來6G的生態系統本身將會產生、處理、消費海量的數據,從運營到管理,從控制到用戶,從環境感知到終端,并可能處理第三方的行業數據,這些數據將使能更加完善的智能服務,為運營商增值,但同時給高效地組織和管理數據帶來了新的挑戰。同時,隨著ICT的廣泛及深度應用,數據安全和隱私泄露事故的不斷披露,人們越來越意識到隱私和數據所有權的重要性。各主要國家和組織也紛紛出臺相關法律法規來規范數據的使用,明確用戶對個人數據的控制權,數據主體應能夠自主決定是否將個人數據變現、共享或提供給AI模型進行訓練。現有網絡作為數據傳輸的“管道”,通過單點技術實現數據處理、服務及安全隱私保護,而在6G時代,將需要引入獨立的數據面,構建架構級的統一可信的數據服務框架,在滿足數據法規的監管要求的同時,提供可信的數據服務,為運營商提高運營效率,并智能增值。從單點技術向歸一化系統架構轉化。現有通信網絡作為數據傳輸的“管道”,通過單點技術實現數據處理、服務及安全隱私保護,而在6G時代,為系統性地解決數據服務挑戰,滿足新業務,以及法律法規等要求,將需要引入獨立的數據面,構建架構級的統一可信的數據服務框架,解決數據孤島問題,在滿足數據法規的監管要求的同時,提供可信的數據服務,實現跨域跨廠家的數據共享,為運營商提高運營效率,并通過各類智能應用實現數據的價值變現。從集中式信任向去中心化信任轉化。移動通信系統的網絡架構從傳統的分層結構走向扁平化,控制方式從集中演進到分布式,同時適應數據天然的分布式屬性,算力的分布式部署,去中心化的信任模式成為必然。區塊鏈技術的發展為構建可信的認證、授權、及數據訪問控制提供了技術支撐。去中心化信任體系將信任的錨點從傳統的權威機構或第三方背書轉化為多邊共識,并依賴底層的密碼學技術,為分布式數據處理、存儲、訪問控制、溯源等提供安全的可信服務。從數據驅動向數據和知識雙驅動轉化。6G網絡數據服務框架需要適配終端的多樣性,支持異構多源的數據接入,收集、處理及存儲海量數據。數據的高價值備受企業期望,人工智能和知識圖譜等技術的發展為從海量數據中進行知識抽取提供了支撐,通過知識圖譜結合人工智能等手段創新性地挖掘數據之間的關聯,從多樣化和內在關聯的數據中發現新機會、創造新的價值,將數據轉化為知識以實現基于認知的智能,使能應用的智能化及多樣性。一方面,通過知識圖譜、網絡AI等將業務場景與數據關聯,對數據的標準提要求,提高數據質量;另一方面,通過將所形成的業務關聯知識逐步沉淀到知識圖譜、網絡AI中,進一步釋放新的價值。當前3GPPTS23.288定義了網絡數據分析功能(NWDAF),數據采集協同功能(DCCF),消息框架適配功能(MFAF);3GPPTS28.104、TS28.537、TS28.622定義了數據服務能力和管理數據分析框架包括管理數據分析管理功能(MDAMF)。其主要功能聚焦于采集數據提供數據分析報告給管理數據分析消費者。ETSIZSM定義的數據服務框架包括數據持久性和不同域之間的數據分享,支持不同的存儲和數據庫技術并能自動選擇和適配相應技術。可提供管理數據如性能、告警、跟蹤、配置、日志、網絡拓撲、目錄數據等。上述數據服務框架已經不能完全滿足6G時代的海量數據分析處理可信等要求。通過設計原則的轉變,借助多層級的數據去隱私和安全保護技術,6G網絡數據服務框架將提供數據主體對數據的自主控制權、安全可信的數據訪問控制機制,滿足監管、審計和溯源要求,并消除單點信任及單點失效的風險,提供可信的智能數據服務。6G數據服務框架如圖8所示。通過對現有單點技術的增強和優化,以及引入新的創新數據保護技術,基于去中心化的可信機制,按需調用數據保護技術,為網絡AI及各類應用提供可信數據服務。同時基于數據和知識雙驅動的智能分析,通過數據的知識化,賦能智能應用。隨著6G網絡進一步朝資源邊緣化和網絡分布式演進,基于云邊協同的計算將為數據服務網絡提供算力、通信和存儲支持。基礎設施層。6G網絡的數據源來自于基礎設施層的各類網絡,包括移動通信網絡、IoT感知網絡、車聯網或物聯網等基礎網絡。根據來源分為四大類,即網絡運營數據,感知數據,AI數據,以及用戶簽約數據。數據服務層。按場景和分級實施端到端的數據和隱私保護,實現合理合規的數據的采集、預處理及存儲。同時,對于AI以及關鍵任務類應用等安全和隱私保護要求高的場景,需要增強的數據保護技術。區別于傳統移動網絡中集中式的認證授權和粗粒度的訪問控制方法,6G網絡數據服務框架依據數據天然具有的分布式特點,以及與之適配的分布式部署的算力和智能,通過數據和應用程序的解耦,基于區塊鏈以及分布式存儲等去中心化的技術構建可信數據服務,實現對任何數據的訪問進行認證授權,并在鏈上保存相關操作記錄。網絡AI。通過隱私保護處理及授權后,可由機器學習結合知識圖譜等AI工具實現數據知識化,使能多樣化的應用。網絡AI層對內能夠利用智能來優化網絡性能,增強用戶體驗,自動化網絡運營,實現智能連接和智能管理;同時對外能夠為各行業用戶提供實時AI服務、實時計算類新業務,從而構建完善的AIaaS平臺來提供訓練和推理服務。機器學習與知識圖譜相結合,降低AI不可解釋性的風險,并將人工智能從感知層面提升到認知層面,從海量的分散數據中學習出背后隱含的關聯特征,實現數據分析向知識加工的躍變,成為推動應用智能化升級的引擎。現有通信網絡作為數據傳輸的“管道”,通過集成單點技術實現數據處理、數據監管及安全隱私保護,為智能應用提供特定數據服務能力,但缺乏歸一化的數據服務框架,并面臨著數據治理層面的諸多挑戰。5G通信網絡是基于會話構建的,其用戶面用于承載會話數據。由于無法滿足6G數據承載所需要的“隨路計算”和“任意拓撲”支持,用戶面無法承載6G網絡新的數據類型。5G用戶面的會話連接實現兩個通信設備之間的信息交互,具體是由協議數據單元(ProtocolDataUnit,PDU)會話提供用戶終端設備和網絡之間端到端的用戶面連接。而6G數據面傳輸則由數據采集、預處理、轉發、存儲和分析等功能組成。用戶面傳輸是針對人與人或人與機器之間的通信連接,而數據面處理的數據是由機器/算法生產和消費的。5G用戶面會話只實現數據包傳輸,而6G數據面傳輸網絡則需要實現隨路計算,在數據管道中,數據被轉換和優化以達到數據分析和智能應用所需狀態。在數據轉發行為上,會話的數據包基于目標地址進行轉發;而數據管道中,數據包則基于數據服務和數據管道標識進行轉發。基于5G用戶面會話的數據轉發屬于TCP/IP層,而數據面的數據轉發則屬于應用層。此外,基于會話的拓撲是點對點的連接,而6G數據面則需要支持任意拓撲結構(如數據分發和數據聚合需要的樹形結構)。如果沿用現有用戶面承載所有6G網絡數據,數據的起始和終結只能在PDU會話的兩端,即用戶設備(UserEquipment,UE)或用戶面功能(UserPlaneFunctions,UPF),無法滿足對感知數據、AI數據、網絡行為和狀態數據的分布式管控。因此,6G網絡需要引入獨立的數據面,構建架構級的統一可信、動態靈活的數據服務框架,在滿足數據法規監管要求的同時,提升數據分析和處理效率,實現跨域跨廠家的可信數據共享,并通過各類智能應用實現數據的價值變現。6G移動通信網絡數據面架構如下圖所示,主要由四部分功能組成:數據編排器(DataOrchestrator,DO和數據控制器(DataController,DC數據代理(DataAgent,DA可信錨點代理(TrustAnchorAgent,TAA),數據存儲功能(DataStorageFunction,DSF)。DO支持可編程數據管道并實現數據服務請求轉換(根據數據服務請求實現數據管道的構建)。DA可內置于網絡功能或獨立部署,執行數據管道中編排的數據采集、數據預處理、數據存儲、數據分析、數據共享和其他數據服務。TAA是在數據面架構中定義的專用于保障6G數據可信度的獨立組件。數據在處理和使用過程中要滿足PIPL/GDPR等法規的監管要求,如果遭受來自網絡內部和外部實體的各種安全隱私攻擊,會造成嚴重隱患。因此,TAA在6G網絡中扮演著保護數據機密性、完整性和可靠性的重要角色。DSF在需要大規模數據存儲或長期存儲時充當DA的存儲擴展組件。數據面功能架構如根據任務的實時性需求和跨域情況,將數據編排器細分為兩類:DO和DC。DO負責粗粒度、非實時的數據編排,DC則負責細粒度的實時的編排任務,DO與DC二者協同實現了數據管道的彈性和可編程性。DO主要具備以下功能:首先,DO是接收數據服務請求的門戶,并且將數據服務請求轉化為對數據管道的組合請求。此外,DO與其他網絡服務展開協作,比如算力網絡服務對算力進行編排,而DO對數據進行編排。基于數據服務請求和DA的服務能力,DO實現了跨域的粗粒度的數據管道編排。同時,DO內置了一個數據安全防護和隱私保護技術庫(DataProtectionTechnologyRepository,DPTR),包含差分隱私、同態加密、安全多方計算、零知識證明等技術,提供數據安全隱私保護能力,并按需將數據保護技術(DataProtectionTechnology,DPT)賦能給DA。相反,DC實現了細粒度的DA編排,在本地域中依據DA的能力和數據服務請求對數據管道進行組合,實現實時高效的服務管理。其次,DC接收DA的能力報告并實現對DA的注冊和撤銷功能,通過監測DA的心跳實現對DA的實時監管。此外,DC內置了可信錨點客戶端(TrustAnchorClient,TAC),向TAA發起認證、授權、訪問控制等安全機制的請求,以及申請對數據訪問的溯源和審計服務。DC可部署在RAN側和CN側。DA可選的部署在每個NF、RAN、TN節點終端及OAM上,同時支持獨立部署,通過建立一個動態的數據管道(pipeline),由一系列的數據處理單元按需按序組成,前一個單元的輸出是下一個單元的輸入。從而形成從數據采集、預處理、存儲、到應用/分析、都可按需從DA輸出的數據流,對外提供接口訪問數據服務。.數據采集從數據源獲取數據,支持訂閱/通知的方式,也支持請求/響應的方式,數據獲取請求中指示數據上報的觸發方式,觸發條件,上報的周期,數據量等。支持對用戶數據、網絡數據、AI數據、IoT數據的采集。支持流式數據采集和批數據采集,實時數據與非實時數據采集。.數據預處理指對采集到的原始數據所進行的諸如“清洗、填補、平滑、合并、規格化、和一致性檢驗”等一系列操作,旨在提高數據質量,為后期分析工作奠定基礎。原始數據中,通常會存在臟數據,如數據缺失、數據噪聲、數據冗余、數據集不均衡等。.數據隱私保護對采集到的數據進行例如諸如k-anonymity(k-匿名化),l-diversity(l-多樣化),t-closeness和ε-differentialprivacy(差分隱私)等技術對數據進行處理,使得惡意攻擊者無法從經過脫敏處理的數據中直接獲取敏感信息,從而實現對機密及隱私的防護。數據保護技術可以預裝在DA中,也可以由DO按需推送,可對DA的每一層級的數據進行安全和隱私保護。.數據分析功能與DA松耦合,可按需與DA分開部署。支持各類數據分析技術,例如AI/ML、Hive、Spark等。數據分析功能通過API調用DA的數據采集、預處理、存儲等各層級的數據服務。所需的AI模型可以預裝或由NetworkService推送。智能普惠需要原生智能的架構設計,在架構層面原生支持連接、計算、數據和算法(四要素)的深度融合,即面向任務的四要素深度融合,并以任務為單位進行實時管控、以及QoS保障。現有通信系統包括管理域和控制域,其中管理域部署的網管設備通過非實時的管理層面信令(通常為分鐘級別)對網元設備進行操作和管理。控制域包括核心網設備、基站設備、以及終端設備,其間的控制層面信令更為實時(通常為毫秒級別),例如用戶進行語音通話時建立的端到端隧道通常在幾十毫秒內完成。以任務為中心的架構包括兩大部分:網絡AI管理編排和任務管控,如圖10所示。基于任務管控各階段對實時性不同要求、任務管控范圍等Orchestration,NAMO),來完成從AI業務到任務的分解、映射和AI業務流編排,NAMO通常是非實時的,一般部署在管理域;任務管控則是在控制層面引入任務錨點功能(TaskAnchor,TA)、任務調度功能(TaskScheduler,TS)、任務執行功能(TaskExecuter,TE),對任務進行分層的控制,以在任務范圍和任務實時調度之間尋求平衡。僅通過管理域的NAMO對任務進行管控,存在如下問題:1)NAMO無法直接管理UE,涉及UE的任務需通過應用層來部署,網絡無法感知,因此也無法實現四要素協同來管控和保障任務QoS;2)NAMO信令時延較大(一般是分鐘級別),導致任務管控不及時,難以滿足嚴格的任務QoS保障要求;3)NAMO管理的節點多,如果進行高度集中的任務管控,信令消耗大,容易成為瓶頸。任務錨點TA來負責任務的生命周期管控;該節點部署在控制面,能夠保證信令的實時快速傳輸(毫秒級別使得任務控制更為實時和高效。在任務范圍較大的場景,TA部署位置可能較高(例如部署在核心網)。TS的部署位置取決于四要素資源控制的實時性需求,比如控制連接資源的TS部分需要部署在靠近TE的位置,以便更實時地感知連接資源狀態,以及進行實時QoS質量監控和資源調整。基于上述的TA、TS、TE三級架構,下面分別闡述每個邏輯功能的功刪除、修改、監控等,包括調控四要素資源來進行任務的QoS保障。TS負責任務的控制,在任務實例的部署過程中,TS會建立并維護任務相關的上下文信息,從而對任務進行控制。針對任務控制功能,TS主要有三大核心特性:其一,TS需要接受TA的管理控制。TS不能作為網絡架構外的功能獨立存在,其需要由TA來管理控制。其二,TS負責任務執行的實時控制,實現通算深度融合。TS實時感知網絡環境的變化,如終端切換、鏈路狀態變化等,通過自身或者通知TA來實時調整任務配置,保障任務的順利執行和QoS要求。其三,TS負責任務相關TE間資源的調度。比如,任務執行是一個過程,期間對于算力的需求是不斷變化的,需要TS進行實時的算力調度。TE負責任務的具體執行,并進行業務邏輯上的數據交互。同一個服務的工作流可能被實例化為多個任務,部署在多個TE間執行,因此TE間存在數據的交互。TA對TE的管理需要具備實時、靈活等要求,在RAN域內部署RANTA實現對RANTE的管理更為合理,同理CNTA對CNTE類似。這是因為TE的狀態是實時變化的(例如CPU負載、內存、電量、UE的信道狀況等CN和RAN需要盡量解耦,例如RANRRM和RTT優化不應對CN感知,因此由CNTA來管理RANTE并執行RAN任務,會導致業務邏輯強耦合。因此,分別在CN域和RAN域都獨立部署TA/TS,達到實時管理和業務解耦的目的。TA對TE的管理需要具備實時、靈活等要求,在RAN域內部署RANTA實現對RANTE的管理更為合理,同理CNTA對CNTE類似。這是因為TE的狀態是實時變化的(例如CPU負載、內存、電量、UE的信道狀況等CN和RAN需要盡量解耦,例如RANRRM和RTT優化不應對CN感知,因此由CNTA來管理RANTE并執行RAN任務,會導致業務邏輯強耦合。因此,在CN域和RAN域都獨立部署TA/TS,可以達到實時管理和業務解耦的目的。以基站和終端進行聯邦學習為例,下面詳細說明TA、TS、和TE如何部署。由于6G架構未定,以5GRAN架構為例進行說明,如圖11所示:其中gNB同時是TA和TS,UE是TE;此時UE是算力提供方和任務執行方,接受gNB的任務管理和任務四要素調度(例如UE側與基站的連接建立、空口資源的實時調度、以及AI模型的分配和實時調整等)。2)場景2:CU+DU場景其中CU同時是TA和TS,DU是TE;此時DU是算力提供方和任務執行3)場景3:CU+DU+UE場景其中CU是TA,DU是TS,UE是TE;此時UE是算力提供方和任務執行方,CU是任務管理者,DU感知CU給UE分配的任務、并進行四要素資源調度和任務實時QoS保障。在該場景中,TA和TS是分開部署的,TS部署比TA位置更低,因此能夠更實時感知TE的連接、算力、模型等狀態,從而更為實時監控任務QoS和快速調整四要素資源。4)場景4:復雜任務場景上述三個場景都是對應一個簡單任務,僅包括一個TA、TS和TE;對于計算量更大的任務,僅有一個TE是不夠的,因此需要多個TE共同參與同一個任務。針對本場景,CU是TA,在接受一個大任務后,將部分任務分給DU1進行處理(此時DU1是TE,CU還是該TE的TS),并將剩余任務交給DU2下的UE1和UE2處理(DU2是該子任務的TS,UE1和UE2是對應5)場景5:跨站協同場景下圖所示場景是針對在一個基站內進行任務執行的,場景5則重點關注基站間聯合進行聯邦學習。為簡單起見,以兩個基站為例進行說明。如圖12所示,由于在無線通信系統中,基站與基站之間的拓撲是對等的,因此可以采用集中式或分布式方案來實施任務協同。其中分布式方案是指每個基站既是TE、又是TS,兩個TS之間通過協商的方式來協同算力分配或模型更改,此時兩個基站是對等的,沒有決策者和決策執行者的區分;而集中式是指在兩個基站間選擇一個節點作為邏輯的TS,并對兩個站的TE資源進行調度(連接優化、算力調度、模型變更、數據配置等),此時兩個基站是不對等的,其中一個是資源調度的決策者,另一個是決策執行者,執行者本身針對該任務沒有資源調度的決策功能,但當其內部存在多個任務時,需要考慮任務間資源調度的需求。從上面例子可以看出,TA、TS和TE僅是邏輯功能,這些功能根據不同場景可以部署于同一邏輯節點或不同邏輯節點;從邏輯節點來看,單個節點可以同時具備多個邏輯功能(如TA、TS、TE的任意組合)。無線系統中的現有網元都具備一定計算能力,在考慮TA和TS的部署位置時,需要考慮網絡的拓撲結構,以及CN網元、RAN網元、UE側算力分布的特點,以充分并高效的利用分布式算力。TA或TS是較為集中的控制TE的功能實體,適合部署在CU或AMF等類似網元上;而其他RAN網元對UETE的管理,包括Uu口和NAS接口,可以重用RRC或NAS信令;3)對CNTE的管理,重用現有CN網元間的SBA接口并新增信令。此外,若要支持TA/TS間任務協同,則需影響:1)RANTA/TS間的站間接口,如Xn接口;2)RANTA和CNTA間接口,如Ng接口;3)CNTA間接口。從整個端到端流程來看,NAMO接收外部服務請求后,將對應AI業務提交給TA來完成執行,AI服務實施的整個端到端流程包括如下功能:2)將用例分解為一個或多個AI服務;3)將AI服務分解為一個或多個AI任務(AIT,AITask同時將包括連接、計算、數據和算法/模型;6)決定并配置任務所需四要素資源,包括節點選擇(選擇參與計算的節點、提供數據的節點、提供算法/模型的節點)、建立節點間的連接,或更新上述配置;7)在選擇參與的節點范圍內,實時決定并調整計算的分配、優化通信連接質量、決定并采集處理所需數據,決定并更換或優化算法模型,保證任務QoS的達成,從而保證QoAIS的達成;如上所述,考慮管理面實時性較差,獲取網絡信息范圍廣,但粒度粗,控制面實時性強,可獲取較精準的信息,但數據范圍比較局限;另外,管理面無法獲得空口鏈路和終端側資源狀態的實時信息。因此,部分功能適合在管理面或控制面上實施,部分功能可通過管理面和控制面的協同達到更好的效果。功能序號管理面控制面與分層管控實體的對應關系1不涉及NAMO2不涉及3不涉及4決定AI任務錨點(即TA)不涉及5管理面提供輔助信息,如AI用例描述中的相關信息TA6管理面提供輔助信息,如網元的資源狀態和位置7不涉及TS另一種場景是由控制面生成的AI能力需求,如用戶通過控制信令向網絡提交的AI服務請求。針對這種場景的端到端流程需要進一步分析,比如一種可能的方式是TA首先判斷該需求是一個AI服務需求還是AI任務需求,若為前者,則交由NAMO執行,若為后者,則TA處理。本白皮書闡述了從6G愿景智能普惠到6G網絡架構研究的關鍵特性研究切入點:“以數據為中心的ICDT深度融合”,這與5G疊加的AI方式不同,6G網絡通過ICDT的深度融合,圍繞數據為中心,構建內生支持AI的網絡架構,支持6G新型智能業務涉及的各類AI任務在網絡內的執行(包括訓練和推理等)。以數據為中心將驅動6G網絡架構的獨立數據面設計,基于數據面來提供統一的6G數據服務框架,構建架構級的統一可信的數據服務,明確數據來源、描述、采集、處理、存儲和隱私保護等,為6G多樣化的智能應用提供可信的數據服務。而ICDT深度融合將通過任務為中心的管控和一體化智

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論