中國科學院沈陽自動化研究所李安順,許馳,曾鵬
1 概述
在數字化轉型浪潮下,工業互聯網作為新一代信息技術與工業制造技術深度融合的產物,正重塑全球工業格局。它將互聯網、大數據、人工智能等前沿技術融入工業生產全流程,為制造業智能化升級注入強大動力。然而,面向智能化升級的迫切要求,工業互聯網仍面臨諸多嚴峻挑戰。
首先,在數據層面,工業場景數據海量、多源且異構。各類生產設備、傳感器及管理系統產生的數據格式多樣,格式涵蓋結構化生產參數、半結構化日志文件和非結構化圖像、視頻等。不同來源數據接口協議和存儲格式各異,導致數據整合、清洗與分析難度極大,數據價值難以充分挖掘。
其次,在算力層面,工業互聯網涉及從云、邊、端廣泛部署的計算資源,各層級算力差異顯著。云端計算能力強大,但數據傳輸延遲較高,適用于大規模非實時計算任務;邊緣設備靠近數據源,能滿足部分實時性需求,但受硬件條件限制,算力相對薄弱。這種算力異構與不均衡嚴重制約整體計算效率。
最后,在算法層面,工業生產涵蓋設備故障預測、生產流程優化、供應鏈管理等復雜業務場景,各場景對算法要求不同,且不同算法協同困難,難以實現全局最優決策。
面向上述挑戰,迫切需要開展工業互聯網的云邊端協同調度,如圖1所示。然而,傳統的優化算法及小模型機器學習,并不足以解決復雜的網絡系統調度問題,成為當前研究熱點。以大模型為代表的生成式人工智能,憑借強大的學習、泛化學習能力,為工業互聯網云邊端協同調度提供了新的思路。將網絡大模型與工業互聯網相結合意義重大。大模型不僅可深度分析工業互聯網中的海量異構數據,挖掘潛在規律和趨勢,為工業決策提供更具前瞻性和精準性的支持,還能根據業務需求和算力條件,智能優化算法選擇與組合,實現高效任務調度和資源分配。其中,大模型可協調云邊端算力資源,根據任務實時需求動態分配計算任務,提高整體算力利用率,降低能耗。
圖1 工業互聯網云邊端協同
本文聚焦工業互聯網云邊端協同調度,綜合考量數據、算力、算法異構等因素,深入探討網絡大模型的應用。首先,本文剖析了云邊端協同調度的挑戰,然后闡述了NetGPT、NetLLM和LAMBO等典型網絡大模型及其應用,探討了不同網絡大模型的優勢,最后提出了未來發展方向并分析了實施難點與解決方案。
2 基于網絡大模型的云邊端協同調度分析
2.1 工業互聯網數據異構難題與大模型破局
在工業互聯網領域,數據生態極為復雜,數據來源廣泛且多樣。不同設備和系統所采用的數據采集協議、格式存在巨大差異,結構化數據與非結構化數據同時存在。以汽車制造生產線為例,傳感器、機器人、數控機床等設備產生的數據,要進行統一處理難度極大。在數據融合過程中,繁瑣的協議轉換和格式適配工作,會嚴重拉低數據處理的效率。同時,隨著工業設備數量不斷攀升,數據量呈爆發式增長態勢。傳統的數據處理方法以及傳統AI模型,由于其自身局限性,在特征提取和學習能力上較為薄弱,已難以滿足工業互聯網對數據深度分析和智能決策的要求。
與之形成鮮明對比的是,網絡大模型憑借其強大的特征提取和學習能力,能夠高效地整合并處理多種異構數據。大模型可以快速理解和分析不同格式、不同協議的數據,減少了數據處理過程中的繁瑣轉換環節。這不僅提升了數據處理效率,還為云邊端協同調度提供了全面、準確的數據支持,有力地推動了工業互聯網智能化發展。
2.2 云邊端算力異構困境下的大模型的協同賦能
在工業互聯網體系里,云邊端設備算力呈現出顯著的異構特性。云端擁有充沛的計算資源,具備強大的運算能力。然而,由于數據傳輸需要經過網絡鏈路,不可避免地存在較高的通信時延,導致其難以滿足工業任務嚴苛的實時性要求。例如,工業生產線上毫秒級響應的設備控制與故障預警等場景。與之相對,邊緣設備雖然在數據傳輸上具有低時延的優勢,能夠快速地對本地數據做出反應,但其硬件配置相對受限,算力單一且資源有限,難以獨立承擔復雜的計算任務,如大規模數據的深度分析與復雜模型的訓練。在生產高峰期,這種云邊端算力的不均衡問題愈發凸顯。傳統的靜態資源分配策略缺乏靈活性與智能性,常導致邊緣設備因任務量過載而出現任務積壓,無法及時處理數據;與此同時,云端卻存在大量資源閑置未被充分利用,造成資源的極大浪費,嚴重制約了工業生產效率的提升和智能化發展進程。
網絡大模型的出現為解決這一難題提供了創新思路與有效方案。與傳統機器學習小模型相比,網絡大模型在結構設計和算法優化上展現出獨特優勢。它能夠依據不同的算力條件,動態調整自身的運行模式,實現高效運行。在邊緣側,大模型可利用其輕量化的結構和高效算法,快速對海量原始數據進行預處理和初步分析,篩選出關鍵信息,極大地減少了向云端傳輸的數據量,降低了網絡帶寬壓力和傳輸時延。而在云端,憑借其強大的計算能力,大模型可開展深度模型訓練和復雜決策計算,挖掘數據深層價值。通過這種云邊端協同的方式,網絡大模型可望實現云邊算力的合理分配與協同利用,有效克服了傳統機器學習在應對云邊算力異構問題時的局限性,為工業互聯網的智能化升級提供了堅實的技術保障。
2.3 工業互聯網算法困局與大模型協同優化
工業互聯網體系復雜,業務場景豐富多樣,其涵蓋生產制造、設備維護、供應鏈管理等多個領域。不同場景對調度算法有著差異化的需求,例如在設備故障預測場景中,更側重于基于歷史數據和設備運行狀態進行精準的故障概率推算;而在生產任務調度場景,則著重于在有限資源下,依據訂單需求、生產流程等因素實現生產任務的高效分配。更為復雜的是,這些不同的算法之間存在相互干擾的可能性。
傳統的調度方法,包括基于規則的調度策略以及傳統機器學習所衍生的調度算法,在如此復雜的情況下暴露出諸多局限性。一方面,傳統方法難以對眾多不同類型算法的內在關系進行有效協調。由于其缺乏對各類算法深層次理解和動態調整能力,在實際應用中,當多個算法同時運行時,往往會出現顧此失彼的情況,無法實現系統整體的最優調度。另一方面,傳統方法在面對場景變化時,缺乏自適應性和靈活性,難以快速調整算法以適應新的業務需求和約束條件。
網絡大模型憑借其強大的自適應學習能力,為解決上述難題提供了新的途徑。大模型能夠自動學習不同算法的特點、適用條件以及它們之間潛在的相互作用關系。通過對大量歷史數據和實時信息的深度挖掘與分析,大模型可以進行智能決策,在不同業務場景下精準選擇最合適的算法,并實現多算法的有機融合。這種算法協同優化機制,不僅提高了云邊協同調度的整體效率,還增強了調度結果的準確性和穩定性。在實際工業生產中,大模型能夠顯著提升生產效率、降低成本,有效克服傳統方法和傳統機器學習在工業互聯網調度應用中的瓶頸。
3 典型網絡大模型及其應用
3.1 NetGPT大模型
NetGPT是一款基于Transformer框架的網絡大模型,旨在攻克網絡流量建模與網絡任務優化難題。在網絡流量處理與網絡任務執行中,傳統方法面臨數據、算力、算法異構的嚴峻挑戰。數據異構方面,網絡流量模式多樣,不同協議下流量頭部與負載語法結構差異大,加密流量增加了數據語義整合難度,且不同網絡任務數據處理需求不同,加劇了復雜性。算力異構方面,傳統針對特定任務構建模型,小樣本任務下模型訓練不充分,開發成本高且算力利用低效,不同任務算力需求和計算方式差異大,調度協同困難。算法異構方面,不同網絡任務算法差異大,缺乏統一標準和接口,協同工作和整合困難,影響整體性能。
圖2 NetGPT架構
圖2所示是NetGPT的基本架構。處理數據異構時,采用基于十六進制的通用編碼策略統一處理不同模式流量,重構詞匯表保留復雜語義,同時兼顧明密文流量,實現多源異構數據語義整合。應對算力異構,預訓練階段使用多場景無標簽數據集增強泛化能力以減少算力的浪費;微調階段通過打亂頭部字段等操作優化數據處理,提升單向學習性能,緩解小樣本問題,提高算力利用率。針對算法異構,建立統一算法框架整合不同算法模塊,實現數據和參數共享,設計標準化接口,提升算法兼容性和整體性能。
3.2 NetLLM大模型
NetLLM大模型結合大語言模型(LLMs)可解決數據、算力和算法異構問題突出。數據異構時,網絡任務輸入模態多樣,與LLMs的純文本輸入不匹配,像ABR(自適應比特率流)任務中的網絡數據就難以被LLMs處理。算力異構時,設計適配的DNN架構困難且成本高,不同任務單獨建模導致算力分散,LLMs的應用更使問題加劇,CJS(集群作業調度)任務就是典型例子。算法異構讓不同任務的算法協同困難,缺乏統一標準和接口,ABR與CJS任務的算法就難以協同。
圖3所示是NetLLM的基本架構。處理數據異構時,其多模態編碼器能把多模態數據轉成LLM可處理的形式,VP(視口預測)任務借助該編碼器,MAE(平均絕對誤差)相比提示學習方案降低19.7%。應對算力異構,NetLLM用網絡頭替代默認語言建模頭,提升算力效率,同時DD-LRNA(數據驅動的低秩網絡適配)方案降低LLMs獲取知識成本,減少訓練時間和GPU內存消耗,ABR和CJS任務的訓練時間分別減少51.1%和37.7%,GPU內存消耗分別降低60.9%和15.1%。針對算法異構,NetLLM構建統一框架、設計標準化接口,提升算法兼容性與整體性能。在實際應用中,NetLLM在VP、ABR、CJS任務上優勢明顯,分別降低MAE10.1%~36.6%、提升QoE14.5%~36.6%、減少JCT6.8%~41.3%,充分展現出其解決網絡異構問題的能力。
3.3 LAMBO大模型
圖4 LAMBO架構
LAMBO同樣是一款基于Transformer架構的大模型,如圖4所示。但是,LAMBO是專門面向邊緣智能卸載的框架,旨在解決傳統邊緣智能卸載架構面臨的異構約束、部分感知、不確定泛化和缺乏可處理性等難題,推動邊緣智能領域的發展。在傳統的邊緣智能卸載過程中,系統面臨數據、算力和算法異構的多重挑戰。
針對數據異構問題,LAMBO采用輸入嵌入(Input Embedding,IE)技術,將各種異構輸入信息(如用戶設備的信道狀態、任務需求、邊緣服務器資源約束等)以及任務提示(如最小延遲或最小能耗)轉化為統一的歸一化特征表示,從而實現復雜約束條件下的高質量特征表征。
針對算力異構問題,LAMBO設計了非對稱編碼器解碼器(Asymmetric Encoder-Decoder,AED)架構,其中深編碼器通過多層自注意力機制提取全局特征,淺解碼器則利用輕量級結構生成卸載決策與資源分配結果。在動態環境中,LAMBO僅需對解碼器進行微調,顯著降低了計算資源需求,并支持并行計算加速,提升了資源受限場景下的推理效率。
針對算法異構問題,LAMBO通過演員-評論家學習(Actor-Critic Learning,ACL)預訓練模型,使AED能夠從大量無標簽數據中學習多任務優化目標的通用策略。進一步,結合基于專家反饋的主動學習,LAMBO在動態環境中利用最大熵查詢策略篩選高價值樣本,并通過專家算法、混合整數規劃或啟發式算法,實現不同優化目標與動態環境的自適應跟蹤,且無需全模型重訓練。此外,LAMBO還引入自然語言提示(Prompts)作為任務指令,指導模型針對不同優化目標生成差異化決策。例如,“最小延遲”提示驅動模型優先優化時延敏感任務,而“最小能耗”提示則引導模型聚焦能效優化。通過預訓練階段對多提示任務的聯合學習,LAMBO實現了單一模型對多目標任務的靈活適配,進一步降低了算法異構場景下的模型維護成本。
4 未來研究方向
4.1 多模態模型協同
在未來工業互聯網應用中,業務復雜性使單一模型難以滿足需求,多模態模型融合成為提升云邊協同調度性能的關鍵。以智能電網為例,Transformer模型預處理電力數據,提取時間序列特征;圖神經網絡(GNN)模型分析電網拓撲結構;強化學習模型依據實時反饋動態調整配電策略,多模型協作互補,降低電網損耗,提高運行效率,增強電網對復雜工況的適應能力。
多模態模型融合面臨著很多技術挑戰。不同模態模型架構、訓練及數據處理差異大,融合時易出現參數不匹配、數據接口不兼容問題;各模型優化目標不同,協同優化時參數調整相互干擾,統一優化策略制定困難。
為此,可開發統一數據接口規范與中間件,構建通用數據預處理模塊,實現數據標準化轉換與傳遞;采用分層優化與聯合訓練方法,利用多目標優化算法平衡模型優化目標,減少模型間干擾,提升協同優化效果,推動工業互聯網發展。
4.2 大模型的云邊端協同部署
大模型的云邊端協同部署是推動工業互聯網高效運行的核心。云端利用強大計算資源進行模型訓練和復雜數據處理;邊緣端憑借低時延特性,對實時性要求高的數據進行快速預處理和本地決策;終端設備負責數據采集和簡單交互操作。這種協同部署可減少數據傳輸量,降低網絡壓力,提高系統響應速度和整體性能。結合5G技術的低時延特性和物聯網的數據采集能力,能為大模型協同運行提供有力支撐,助力實現更高效、智能的工業生產。
然而,大模型云邊端協同部署仍面臨一定問題。首先,工業場景網絡環境復雜,信號干擾與網絡擁塞影響數據穩定及時傳輸。其次,云邊端協同作業涉及大量敏感數據,存在泄露、篡改風險,威脅企業生產運營安全。最后,不同工業場景對云邊端資源需求不同,資源分配不均衡影響系統整體性能。
針對這些問題,可采取以下策略:網絡優化方面,借助5G切片技術為不同工業應用分配專屬網絡資源,結合邊緣緩存和本地處理技術,降低網絡傳輸壓力,保障數據穩定、高效傳輸;數據安全層面,運用加密算法確保數據在傳輸與存儲過程中的保密性和完整性,通過身份認證和訪問控制技術杜絕非法訪問,防止數據泄露;資源分配領域,開發基于實時資源監測和任務需求預測的智能調度算法,依據云邊端資源使用狀況和任務負載動態調整分配策略,實現資源合理配置與高效利用。
4.3 行業定制模型開發
工業互聯網涉及眾多行業,各行業生產流程、業務需求和數據特征獨特,通用模型難以滿足特定行業精準需求。開發行業定制模型成為未來工業互聯網發展的重要方向。以汽車制造行業為例,結合其高精度裝配要求、復雜供應鏈管理和嚴格質量控制需求,采集生產過程、零部件、質量檢測等數據,利用深度學習技術構建定制模型,可在生產過程監控、質量預測、供應鏈優化等方面發揮重要作用,相比通用模型其性能和準確性顯著提升。能源開采、電子制造、航空航天等行業也可依自身特點開發定制模型,實現工業互聯網在各行業的深度應用和智能化升級。
在行業定制模型開發過程中,面臨行業數據獲取困難、模型泛化性與特異性難平衡、行業知識融合復雜等問題。對此,可建立數據共享與合作機制,如搭建共享平臺、運用聯邦學習技術;采用多階段模型訓練與優化,先訓練通用基礎模型再結合行業數據微調;借助知識圖譜與專家系統輔助,如構建知識圖譜、結合專家系統并加強團隊建設提升協作效率等方式解決。
5 結論
本文全面深入地探討了工業互聯網云邊端協同調度中的關鍵問題,以及網絡大模型在解決這些問題中的創新應用和未來發展方向。通過對數據、算力、算法異構挑戰的分析,本文揭示了傳統方法的局限性,凸顯了網絡大模型的優勢。NetGPT、NetLLM和LAMBO等模型在工業互聯網云邊端協同調度中的應用,為實現高效、智能的調度提供了新途徑。同時,多模態模型融合、云邊端協同部署創新和行業定制模型開發等未來方向,為工業互聯網的進一步發展指明了道路。隨著技術進步和工業互聯網應用拓展,網絡大模型在云邊端協同調度中的應用將更加廣泛深入,有望推動工業互聯網實現更高水平的自動化和智能化。
★基金項目:國家自然科學基金資助項目(92267108,62173322);遼寧省科學技術計劃資助項目(2023JH3/10200004,2022JH25/10100005);興遼英才計劃項目(XLYC2403062)。
作者簡介:
李安順(2002-),男,河南周口人,碩士研究生,現就讀于中國科學院大學、中國科學院沈陽自動化研究所,研究方向為網絡大模型、邊緣計算。
許 馳(1987-),男,遼寧沈陽人,研究員,博士,現就職于中國科學院沈陽自動化研究所,研究方向為工業互聯網、邊緣計算和人工智能。
曾 鵬(1976-),男,遼寧沈陽人,研究員,博士,現任中國科學院沈陽自動化研究所副所長,研究方向為工業互聯網、邊緣計算。
摘自《自動化博覽》2025年2月刊