北京金山云網(wǎng)絡(luò)技術(shù)有限公司
1 目標(biāo)和概述
隨著5G時(shí)代的到來,視頻用戶數(shù)及視頻業(yè)務(wù)量發(fā)展迅猛,用戶對視頻服務(wù)的體驗(yàn)性要求越來越高,視頻數(shù)據(jù)如何高效、低成本地存儲、分發(fā)面臨極大的挑戰(zhàn)。
當(dāng)前視頻行業(yè)內(nèi)從客戶端產(chǎn)生的視頻數(shù)據(jù)均會在中心云進(jìn)行匯聚存儲,然后根據(jù)業(yè)務(wù)需求進(jìn)行計(jì)算或者分發(fā)、調(diào)閱。這種傳統(tǒng)的直播架構(gòu),會出現(xiàn)全量源站轉(zhuǎn)碼業(yè)務(wù)無法錯(cuò)峰、資源利用率低、使用多廠商系統(tǒng)需求排期長、故障難以定位等問題。
這種架構(gòu)下業(yè)務(wù)產(chǎn)生的大流量給骨干網(wǎng)絡(luò)和中心云帶來了非常大的負(fù)擔(dān),同時(shí)由于中心云的承載能力有限,成本較高,也給業(yè)務(wù)的發(fā)展帶來了限制。
針對此情況,將中心云的能力選擇性下沉到邊緣成了邊緣計(jì)算必須要解決的問題。金山云全球同步的邊緣計(jì)算存儲方案,將視頻云的能力下沉到邊緣,直播生產(chǎn)端完全自主可控,具備任意選擇分發(fā)端的能力,同時(shí)采用了熱流回源、冷流分發(fā)等核心技術(shù),降低源站回源帶寬,提高資源利用率,成本更優(yōu)。
當(dāng)前的解決方案通過在邊緣計(jì)算部署存儲系統(tǒng),先解決數(shù)據(jù)存儲的問題,從客戶端產(chǎn)生的數(shù)據(jù)將優(yōu)先按照區(qū)域歸屬進(jìn)行集中。數(shù)據(jù)在邊緣落地后進(jìn)一步進(jìn)行計(jì)算和分析。再按照業(yè)務(wù)需求到中心做二次集中。
該解決方案可以有效地降低中心云的負(fù)載,同時(shí)數(shù)據(jù)按照歸屬地邊緣和業(yè)務(wù)需求進(jìn)行分級存儲和按需集中,有效地降低業(yè)務(wù)的成本。系統(tǒng)會自行根據(jù)訪問者劃分歸屬地,全程業(yè)務(wù)無感知,零侵入。
2 方案介紹
圖1是系統(tǒng)架構(gòu)圖,邊緣計(jì)算部署計(jì)算和存儲服務(wù)。調(diào)度系統(tǒng)根據(jù)客戶端的來源確定其歸屬邊緣節(jié)點(diǎn)。設(shè)備直接訪問歸屬地的邊緣節(jié)點(diǎn)。數(shù)據(jù)直接在對應(yīng)的邊緣節(jié)點(diǎn)落地并存儲,利用邊緣計(jì)算進(jìn)行分析或者計(jì)算轉(zhuǎn)碼等業(yè)務(wù)流程,再根據(jù)業(yè)務(wù)需求集中到中心存儲。
圖1 系統(tǒng)架構(gòu)圖
這種架構(gòu)下,由于數(shù)據(jù)在邊緣進(jìn)行落地,需要解決數(shù)據(jù)的異地訪問問題。所以在存儲的基礎(chǔ)上,進(jìn)一步拓展數(shù)據(jù)同步和互訪的能力。客戶訪問數(shù)據(jù)會優(yōu)先訪問歸屬地邊緣計(jì)算的存儲系統(tǒng),存儲系統(tǒng)再根據(jù)該數(shù)據(jù)是否存在于歸屬地存儲本地,自動(dòng)地進(jìn)行數(shù)據(jù)同步拉取和返回。
2.1 產(chǎn)品定義
邊緣產(chǎn)品由邊緣存儲與邊緣計(jì)算兩個(gè)部分構(gòu)成。核心從降低處理延時(shí)和降低與中心機(jī)房交互帶寬兩個(gè)層面優(yōu)化用戶體驗(yàn)。在IoT場景下,特別在網(wǎng)絡(luò)視頻監(jiān)控的場景下,對處理延時(shí)和成本要求都非常顯著。此時(shí)邊緣相比于中心而言優(yōu)勢非常明顯。
(1)邊緣存儲
邊緣存儲是在邊緣建設(shè)獨(dú)立的存儲節(jié)點(diǎn),與中心相關(guān)聯(lián),使得邊緣具備絕大部分的存儲能力。并遵循網(wǎng)絡(luò)訪問最優(yōu)原則進(jìn)行區(qū)域內(nèi)的網(wǎng)絡(luò)調(diào)度,以達(dá)到最優(yōu)化的訪問性能。同時(shí),系統(tǒng)會根據(jù)各節(jié)點(diǎn)帶寬的狀態(tài),動(dòng)態(tài)地對邊緣的上行流量、邊緣與中心的數(shù)據(jù)同步進(jìn)行調(diào)整,合理地對邊緣與中心的帶寬進(jìn)行復(fù)用,以達(dá)到成本的最優(yōu)化。
(2)邊緣計(jì)算邊緣計(jì)算是通過在邊緣提供應(yīng)用式的容器化的計(jì)算能力實(shí)現(xiàn)的。中心可以靈活地對邊緣的應(yīng)用進(jìn)行配置和管理,可以任意指定其使用的鏡像版本、資源規(guī)格及配置,并支持對應(yīng)用進(jìn)行灰度發(fā)布。一般認(rèn)為,邊緣計(jì)算所需的數(shù)據(jù)會存在于同區(qū)域的存儲中。且對于邊緣存儲,邊緣計(jì)算也會依照最優(yōu)原則進(jìn)行網(wǎng)絡(luò)調(diào)度,以實(shí)現(xiàn)訪問性能的最優(yōu)化。
2.2 產(chǎn)品設(shè)計(jì)
整個(gè)架構(gòu)中,中心擁有最充裕的資源和最完整的能力。包括全量的元數(shù)據(jù)、計(jì)算的配置信息等。一般認(rèn)為邊緣的數(shù)據(jù)最終會遷移回中心進(jìn)行存儲,且由于邊緣與邊緣之間網(wǎng)絡(luò)狀態(tài)完全不可控。所以有以下幾點(diǎn)設(shè)計(jì)原則:
通過數(shù)據(jù)流與請求流進(jìn)行說明,數(shù)據(jù)流主要由上傳下載請求構(gòu)成,其數(shù)據(jù)量較大,對網(wǎng)絡(luò)穩(wěn)定性要求較高。請求流包含計(jì)算請求、內(nèi)部控制請求等,數(shù)據(jù)量較小,重試成本較低。
對于數(shù)據(jù)流:由于網(wǎng)絡(luò)的關(guān)系,一般認(rèn)為邊緣與邊緣之間不存在數(shù)據(jù)流。若存在跨邊緣數(shù)據(jù)讀取的情況,考慮直接回中心。且由于邊緣與中心之間的數(shù)據(jù)最終會遷移回中心存儲,所以一般情況下,認(rèn)為邊緣與中心的數(shù)據(jù)流為單向的,即數(shù)據(jù)由邊緣流向中心。非必要情況下不考慮中心往邊緣回吐數(shù)據(jù)。
對于請求流:對于內(nèi)部控制請求,出于安全考慮,邊緣與邊緣的交互經(jīng)由中心進(jìn)行路由。對于計(jì)算請求,若存在跨運(yùn)營商等惡劣網(wǎng)絡(luò)條件下的訪問,考慮直接回中心,若同運(yùn)營商的訪問,考慮重定向請求至對應(yīng)節(jié)點(diǎn)。
上傳:分為普通上傳、分片上傳、追加上傳三種模式,普通上傳中數(shù)據(jù)直接上傳到邊緣節(jié)點(diǎn),元數(shù)據(jù)信息會寫到中心機(jī)房;分片上傳數(shù)據(jù)直接上傳到邊緣節(jié)點(diǎn),分片元數(shù)據(jù)信息會寫到中心機(jī)房;追加上傳數(shù)據(jù)直接上傳到邊緣節(jié)點(diǎn),追加上傳元數(shù)據(jù)信息會寫到中心機(jī)房。
下載:當(dāng)用戶訪問下載域名或使用SDK進(jìn)行下載時(shí),調(diào)度系統(tǒng)將根據(jù)用戶網(wǎng)絡(luò)情況按照和上傳時(shí)一致的調(diào)度規(guī)則返回給用戶當(dāng)前的下載節(jié)點(diǎn)。
調(diào)度:邊緣調(diào)度分為內(nèi)部流量調(diào)度和外部訪問調(diào)度。
外部訪問調(diào)度主要是根據(jù)用戶區(qū)域?qū)⒂脩舻脑L問請求調(diào)度至對應(yīng)的邊緣。內(nèi)部流量調(diào)度主要用于調(diào)度邊緣與中心間的同步流量,充分進(jìn)行流量復(fù)用,以達(dá)到成本最優(yōu)。
3 代表性及推廣價(jià)值
近期,“能耗雙控”政策紛紛執(zhí)行落地,限電限產(chǎn)措施在多個(gè)省份密集推出,“雙高”企業(yè)輪番接到限產(chǎn)通知。企業(yè)與相關(guān)產(chǎn)業(yè)鏈都受到波及。
2021年8月,國家發(fā)展改革委在例行新聞發(fā)布會上直接點(diǎn)名青海、寧夏、廣西、廣東、福建、新疆、云南、陜西、江蘇9地上半年能耗強(qiáng)度同比不降反升。此外,還有10個(gè)省份的能耗強(qiáng)度降低率未達(dá)到進(jìn)度要求,全國節(jié)能形勢十分嚴(yán)峻。
根據(jù)要求,上述地區(qū)2021年將暫停國家規(guī)劃布局重大項(xiàng)目以外的“兩高”項(xiàng)目節(jié)能審查,確保完成全年能耗雙控目標(biāo)特別是能耗強(qiáng)度降低的目標(biāo)任務(wù)。
對于視頻行業(yè)客戶而言,如果將所有數(shù)據(jù)都匯存在中心云,假如中心云地理位置在北京,北京的用戶訪問北京數(shù)據(jù),上海的用戶也要通過網(wǎng)絡(luò)來北京訪問數(shù)據(jù),全國用戶都向北京數(shù)據(jù)中心訪問,就會造成網(wǎng)絡(luò)堵塞,能耗加大導(dǎo)致電力中斷或不穩(wěn)定,可能會對作為企業(yè)數(shù)字命脈的IT系統(tǒng)持續(xù)運(yùn)行造成重大影響。選擇一家專業(yè)云服務(wù)商,日常將數(shù)據(jù)上傳到云廠商的對象存儲保存,同時(shí)將數(shù)據(jù)文件下沉到離用戶最近的邊緣節(jié)點(diǎn)存儲備份,這樣就可以將業(yè)務(wù)中斷時(shí)間的數(shù)據(jù)丟失和損害的可能性降到最低;也可在緊急情況發(fā)生時(shí),直接切換流量到邊緣端,保證業(yè)務(wù)和生產(chǎn)環(huán)境的連續(xù)性。
經(jīng)過一段時(shí)間的使用,全球同步的邊緣計(jì)算存儲方案為客戶帶來的效益是可觀的。很多客戶向金山云反映,他們體會到了邊緣計(jì)算存儲方案的優(yōu)秀存儲、分發(fā)機(jī)制,在訪問邊緣存儲文件時(shí)速度比以前快了很多,而且再沒有出現(xiàn)過網(wǎng)絡(luò)堵塞現(xiàn)象。這表明,邊緣計(jì)算存儲方案的部署節(jié)省了客戶在讀取文件過程中所消耗的時(shí)間,并且?guī)缀醵沤^了訪問過程中的斷線情況。在客戶對邊緣計(jì)算存儲方案的評估過程中,金山云全球同步的邊緣計(jì)算存儲方案對網(wǎng)絡(luò)性能起到了驚人的加速效果,并且將帶寬的使用效率進(jìn)行了大幅度的提高,節(jié)省了43%的帶寬并將訪問時(shí)間縮減為測試前的2/3。
摘自《自動(dòng)化博覽》2022年2月刊