信息技術 沉浸式媒體的編碼表示 第31部分觸覺編碼標準立項發展報告

信息技術沉浸式媒體的編碼表示第31部分：觸覺編碼標準立項發展報告StandardizationDevelopmentReport:Informationtechnology—Codedrepresentationofimmersivemedia—Part31:Hapticscoding摘要隨著虛擬現實（VR）、增強現實（AR）和混合現實（MR）等沉浸式技術的快速演進，用戶對多感官交互體驗的需求日益迫切。觸覺作為視覺、聽覺之外的第三大感官通道，是實現真實感、沉浸感交互的關鍵。然而，長期以來，缺乏統一的觸覺信息編碼標準，導致不同設備、不同平臺之間的觸覺數據互操作性差，嚴重制約了觸覺技術的普及與應用生態的構建。本報告聚焦于國際標準ISO/IEC23090-31:2025《信息技術沉浸式媒體的編碼表示第31部分：觸覺編碼》的立項與發展。該標準由國際標準化組織（ISO）與國際電工委員會（IEC）第一聯合技術委員會（JTC1）制定，旨在為觸覺數據的表示、壓縮、傳輸和渲染提供一套統一的、可互操作的編碼框架。報告深入分析了該標準的研制背景、核心內容、關鍵技術特征及其對相關產業的深遠影響。研究表明，ISO/IEC23090-31的發布，標志著沉浸式媒體技術從“視聽模擬”正式邁入“多模態融合”的新階段，為觸覺互聯網、遠程醫療、教育培訓、娛樂游戲等領域帶來了革命性的發展機遇。該標準通過定義通用的數據模型、編碼工具和交互接口，有效解決了“觸覺孤島”問題，將成為未來元宇宙和數字孿生技術體系中不可或缺的基礎性標準。關鍵詞沉浸式媒體；觸覺編碼；ISO/IEC23090-31；MPEG-H；多模態交互；信息互操作性；標準化；感知編碼Keywords:ImmersiveMedia;HapticsCoding;ISO/IEC23090-31;MPEG-H;MultimodalInteraction;InformationInteroperability;Standardization;PerceptualCoding正文1.引言在數字化轉型的浪潮中，人類與數字世界的交互方式正經歷著深刻的變革。從早期的圖形用戶界面（GUI），到觸控交互，再到當下的語音、手勢與眼動追蹤，每一次交互范式的演進都極大地拓寬了信息技術應用的邊界。然而，現有的人機交互主要依賴于視覺和聽覺通道，觸覺交互的缺失使得數字體驗始終是“可聽可見”而“無法觸摸”的，這種感官上的不完整極大地限制了用戶的臨場感和參與度。尤其在元宇宙、遠程操作、高級駕駛輔助系統（ADAS）等前沿領域，觸覺反饋已成為實現真實操作感和沉浸體驗不可或缺的關鍵要素。在此背景下，制定一個國際統一的觸覺信息編碼標準顯得尤為關鍵。此前，由于缺乏頂層設計，各制造商（如HaptX、SenseGlove、Ultraleap等）和設備平臺往往采用私有或半私有的數據格式，導致內容開發者需要針對不同設備適配不同的數據格式，成本高昂且效率低下。同時，不同應用場景下的觸覺感知需求差異巨大——從簡單的振動模式到復雜的紋理、力反饋和溫度感知，其數據模型和信令機制也各不相同。為解決這一問題，國際標準化組織/國際電工委員會第一聯合技術委員會的第29分委會（ISO/IECJTC1/SC29，即音頻、圖像、多媒體和超媒體信息編碼委員會）啟動了“沉浸式媒體編碼表示”系列標準（ISO/IEC23090系列，即MPEG-I）的制定工作。其中，第31部分（Part31）專門針對觸覺編碼，旨在作為該系列標準的多模態擴展，為沉浸式體驗提供全面的觸覺支持。2.標準研制背景與需求分析2.1技術驅動力觸覺技術的成熟是標準誕生的物質基礎。近年來，隨著微機電系統（MEMS）、壓電陶瓷、超聲波相控陣和電刺激技術的發展，觸覺執行器實現了更小的體積、更低的功耗和更豐富的反饋模式。例如，高分辨率陣列式觸覺手套可以提供毫米級精度的紋理和形狀感知。這些硬件的進步使得更復雜、更真實、更實時的觸覺信號傳輸成為可能，從而對數據編碼和壓縮提出了迫切需求。2.2市場驅動力2.3政策與行業推動多個國際組織和行業協會，如電氣與電子工程師學會（IEEE）觸覺技術委員會、國際觸覺協會（InternationalSocietyforHaptics）以及國際電信聯盟（ITU）的未來網絡研究組，都曾呼吁制定觸覺數據的全球標準。特別是物聯網（IoT）和觸覺互聯網（TactileInternet）概念的提出，要求通信網絡在極低延時（1ms以下）內傳輸觸覺數據，這進一步強調了編碼格式的輕量化和高效性。3.標準核心內容與關鍵技術ISO/IEC23090-31:2025被視為繼MPEG-4Audio標準中音頻的“結構化音頻”概念之后，多媒體編碼領域的又一次范式創新。該標準不僅僅是定義一種壓縮算法，而是構建了一個完整的觸覺編碼生態系統。3.1觸覺數據模型與表示該標準的核心創新在于定義了一個通用的“觸覺原語”（HapticPrimitives）集合。不同于簡單的振動波形記錄，該標準支持多種抽象級別的觸覺表示：-信號級表示：支持直接編碼由力、力矩、加速度、振動和溫度傳感器采集的原始信號波形，并采用改進的離散余弦變換（MDCT）或感知多普勒變換等技術進行有損或無損壓縮。-感知級表示：定義了“紋理”、“硬度”、“粘滯度”、“粗糙度”和“溫度變化”等感知屬性。通過感知模型對觸覺信息進行抽象，使得編碼效率更高，且能更自然地適配不同性能的執行器。例如，一個“光滑的玻璃表面”的感知級編碼可以只包含幾組參數，而非海量的采樣點。-交互級表示：定義了“碰撞”、“滑動”、“戳刺”、“抓取”等交互行為觸發的觸覺反饋，并考慮了虛擬物體邊界、形狀和阻力等特性。3.2編碼與壓縮技術為解決觸覺數據實時傳輸帶來的網絡壓力，標準引入了基于心理物理學（Psychophysics）的壓縮技術。技術原理在于，人類觸覺系統對某些頻率、幅度和空間位置的感知分辨率是有限的。標準利用人類觸覺感知掩蔽效應，剔除了人眼無法察覺的冗余數據。根據測試，該標準可實現5:1至10:1的平均壓縮比，在保證主觀體驗不降級的前提下，顯著降低傳輸帶寬。3.3交互性與流媒體封裝標準定義了完善的時序模型，允許觸覺數據流與視聽數據流進行精確的時間同步。通過修改MPEG-4系統層（ISO/IEC14496-1）或ISOBaseMediaFileFormat(ISOBMFF)，觸覺流作為新的軌類型被納入多媒體文件中。這意味著，視頻、音頻、觸覺可以被封裝在一個單獨的MP4文件中，通過現有的流媒體協議（如DASH）無縫傳輸。3.4設備抽象與渲染為了解決“內容”與“設備”的解耦問題，標準引入了“渲染描述符”（RenderingDescriptor）。觸覺內容不直接包含驅動特定電機的具體指令，而是包含抽象的觸覺屬性。終端設備上的渲染引擎負責將這些抽象指令轉換為該設備的特定物理輸出。例如，內容定義了一個“力反饋5N”（5牛頓的力），在高端力反饋手套上，設備會精確控制電機輸出5N；而在簡單的振動馬達上，渲染引擎會通過調整振動強度和頻率來模擬這種力度感。4.主要參與單位介紹4.1國際標準化組織/國際電工委員會第一聯合技術委員會第29分委會（ISO/IECJTC1/SC29）ISO/IECJTC1/SC29是制定該標準的核心組織。作為全球最具影響力的多媒體編碼技術委員會，SC29下屬的MPEG（MovingPictureExpertsGroup，動態圖像專家組）工作組享譽世界。SC29的工作涵蓋了從JPEG圖像編碼到MP3音頻編碼，再到HEVC/H.265和VVC/H.266視頻編碼等幾乎所有主流多媒體標準。在制定ISO/IEC23090-31時，SC29展現了其強大的組織架構和技術領導力。組織架構與工作機制：SC29通過定期召開年度和中期會議，協調來自全球數十個國家的數百名專家。其中，負責觸覺編碼的具體工作組與分包商（包括來自學術界、工業界和標準化研究機構的專家）進行了多輪草案征集、核心實驗（CoreExperiments）和互操作性測試。通過嚴格的投票表決流程，確保了標準的科學性和廣泛代表性。該組織不僅定義了技術規范，還發布了配套的參考軟件（ReferenceSoftware）和一致性測試規范，極大降低了標準落地的門檻。技術貢獻：SC29將其在音視頻領域的成功經驗，“即插即用”地移植到了觸覺領域。其提出的“系統層集成”方案，使得觸覺編碼標準并非孤立存在，而是無縫嵌入到已有的MPEG-H(ISO/IEC23090)系列標準生態中，從而保證了與未來即將發布的沉浸式音頻（如MPEG-H3DAudio）和視頻標準的完美兼容。例如，當用戶在VR中觀看一個球體飛來時，觸覺流可以通過與視頻流相同的時序標簽，精確控制反饋手套在球體接觸用戶手掌的瞬間輸出相應力量。5.結論與展望ISO/IEC23090-31:2025的正式發布，是沉浸式媒體技術發展史上的一個重要里程碑。它首次為觸覺信息在通往“元宇宙”的道路上鋪設了一條標準化的高速公路?；谠摌藴剩磥淼臄底煮w驗將不再局限于二維屏幕的“觀看”和耳機的“聆聽”，而是能夠實現物理意義上的“觸摸”與“感知”。結論與價值：1.降低開發門檻：內容創作者無需精通各種硬件API，只需針對標準編碼格式開發一次，即可分發到所有認證終端。2.消除行業壁壘：供應商可以基于標準接口設計硬件和軟件，避免了因格式不兼容導致的市場碎片化。3.提升通信效率：高效的感知壓縮算法使得觸覺數據能夠在當前5G甚至4G網絡上流暢傳輸，為觸覺互聯網的商業化鋪平了道路。4.催生跨界應用：在醫療領域，標準化的觸覺數據使得遠程手術模擬和培訓系統可以像拷貝視頻一樣便捷地分享觸覺操作指南；在工業設計領域，設計師可以遠程體驗產品原型的手感，并實時反饋。未來展望：盡管ISO/IEC23090-31為觸覺編碼奠定了堅實基礎，但其發展仍面臨挑戰。例如，如何定義和標準化“熱覺”、“痛覺”等更復雜的主觀感受；如何應對未來XG網絡（6G）下更極端的低延遲需求；以及如何降低參考軟件中渲染算法的計算復雜度，使其在消費級VR一體機上也能高效運行?？梢灶A見