雲開發雲運維雲架構哪個更好學(終端雲化的背後)
2023-04-14 03:55:52 2
本文授權轉載自「視頻雲技術」,作者王廣芳,編輯IMMENSE。
終端無休止的更新迭代,是軟體對計算資源的需求激增。
這是個萬物更迭速度驚人的時代。
世界多元延展,大眾需求激增,而滿足需求,終端設備的迭代隨之瘋狂加速。
於是,手機、電腦被無休止的更新換代,究其背後,本質是消費終端軟體對計算資源的需求激增所致。
情況同樣映射在企業。
數位化時代的今天,IT 終端是企業的重要生產力。據了解,PC 終端設備的使用壽命是 3-6 年,隨著使用年限的增加,運行速度慢、性能不足、故障率提高等問題層出不窮。
企業如果選擇 IT 設施更替,會周期性產生高昂成本,由此產生的存量 IT 設備也逐漸成為管理、數據、應用、安全的孤島,造成極大的運維壓力和成本。
在此之上,5G 時代讓各行業探索的新場景和新應用不斷湧現,軟體功能的不斷豐富、智能作業系統的不斷升級,對場景中終端設備的要求也越來越高,這也是對計算資源需求的與日俱增。
於是,騰挪計算資源,將終端設備「就近上雲」,可能是最好的解法。即終端雲化。
終端雲化:打破硬體的桎梏近幾年,「終端雲化」技術開始規模化落地,其核心思想是「計算卸載」,即將智能終端的計算任務卸載到邊緣雲虛擬終端處理,解決終端設備在算力和存儲等方面的不足。
比如最近火爆的雲遊戲,使得在低配的手機、PC 端甚至智能電視上玩大型高畫質遊戲成為可能。
為了更好的理解終端雲化的優勢和特點,下面將以阿里雲視圖計算產品 VEC(Visual Edge Computing)為例進行說明。
視圖計算VEC重點服務的是視頻圖像設備(消費電子、攝像頭、車載終端等)上雲場景,通過設備終端的標準協議接入,提供設備管理、視圖處理、視圖存儲等服務。
「終端雲化」技術打破了硬體的桎梏,其優勢可總結為以下兩點:
一是功能演進與終端設備解耦。功能和性能的演進不再依賴終端設備的配置和升級,面對各種周期長、一致性差、兼容性等問題,只需要雲端服務統一升級即可。
比如:VEC 服務的普通攝像頭需要增加 AI 識別功能,不需花費巨資更換高價的智能攝像頭,只需將接入到雲端的視頻流對接 AI 識別服務,簡單配置參數即可。
二是高效的規模化管理。當終端設備到達一定規模後,終端本身的管理以及終端上生產數據的管理就是一個很大的挑戰了,尤其是 VEC 服務的視圖類設備,會產生大量的視頻或圖片數據,在雲端基於平臺進行設備管理、流處理、流存儲的能力是設備端無法企及的。
視圖計算 VEC 作為終端雲化的典型場景,重點構建了視圖設備一鍵上雲標準化協議、截圖/錄製/轉碼/混流等流媒體處理、視圖 AI、視圖存儲等核心技術能力,但最核心的競爭力來自基於邊緣雲打造的架構優勢。
「終端雲化」為何依賴邊緣雲?邊緣雲節點無處不在,離用戶更近、數據處理延時低,可帶來更好的體驗。
邊緣雲能為」終端雲化「帶來什麼?
仍然拿視圖計算 VEC 來進行說明,常規的 VEC 系統設計可以是完全的中心架構,構建起來比較簡單,如下圖所示。
可以看到,VEC 系統應用統一部署在一個 Region,面向全網所有的視圖設備提供 GB 協議和自研協議的接入服務,並支持接入設備以 RTP 或 RTMP 協議推流,進行切片錄製、截圖、轉碼、AI 分析、存儲、實時播放、錄像回看等服務。
但是 VEC 產品服務了海量的視圖設備,視圖流數據需要持續上傳到平臺進行處理,如果全部數據都到中心統一處理,成本是非常高的。
這類比較典型的終端雲化大流量場景,如果能夠將流量收斂到邊緣進行處理,將明顯降低流量成本,提升產品的競爭力。
同時,如果全網設備統一推流到中心,並不能確保所有設備推流的低延時體驗,邊緣就近接流是非常有必要的。
此時,邊緣架構的兩大優勢就顯現出來了。
一是就近接入,接流網關可以基於邊緣節點進行廣泛覆蓋,支持設備的就近低延時接入;二是更低成本,設備的視圖流數據可以在邊緣完成處理和存儲,優化流量和存儲成本。完整的邊緣架構系統是如何設計的?接下來,如何設計業務系統的邊緣架構?
中心架構與邊緣架構的主要差異是,從「中心-終端」兩層架構到「中心-邊緣-終端」三層架構的演進。邊緣雲作為中間層,整體思路上將重點考慮終端能力的上移和中心能力的下沉。
終端能力上移可以降低終端硬體要求以及軟體複雜度,對於海量終端的場景,在終端成本優化和易運維方面會有明顯收益,這也是 VEC 在視圖設備上雲場景提供的價值邏輯。
中心能力下沉則主要評估業務系統中邊緣和中心有成本差異的模塊,比如 VEC 的視圖流在邊緣接入後可以在邊緣完成處理和存儲,後續的視圖數據讀取也可以直接從邊緣訪問,這樣就大幅收斂了邊緣回到中心的流量,帶寬成本得到優化。
對 VEC 系統中心模塊和邊緣模塊的評估,可以提煉為以下幾類情況:
全局統一管控類的模塊需要部署在中心,比如設備管理、權限管理等;中心和邊緣部署差異不明顯,可根據場景靈活選擇,或者優先中心部署,運維相對更簡單,比如信令網關等;針對邊緣下沉場景需要在中心增加一些模塊,比如節點管理、針對邊緣多節點的調度等;服務型模塊(視圖流處理和存儲相關模塊)儘量下沉邊緣,通過調度進行區域分布式服務,比如接流網關、流處理、視圖存儲等。最終的 VEC 邊緣架構如下圖所示。
其中 ENS 是阿里雲的邊緣雲產品-邊緣節點服務(Edge Node Service),提供了虛機、容器等多種形態實例,塊存儲、對象存儲等多種存儲服務,以及 LB、NAT 等多種網絡組件,在全國完成重點城市的全域覆蓋。
VEC 基於 ENS 進行邊緣架構構建,明顯降低了技術方案落地的研發成本,同時在邊緣基礎設施層的穩定性方面具備產品級的保障,可以更專注業務系統自身的技術迭代。
針對邊緣架構,系統要建設一些關鍵能力,更好地發揮邊緣架構的優勢,主要包括:
資源與業務調度能力
資源由中心統一模型升級為邊緣分布式模型,配套的資源和業務調度成為系統核心能力,包括訪問和流量就近調度,以及節點故障或水位較高時的可用性調度等;
雲邊協同管控能力
中心管控和邊緣管控一起形成閉環,比如用戶通過中心 OpenAPI 編排一個處理流程,首先切片錄製,存儲為固定時長的文件,然後讀取文件進行 AI 識別,就涉及到中心解析模板->多模塊參數下發邊緣->邊緣模塊按流程和參數處理->識別的結構化信息回傳中心->中心信息處理等雲邊交互管控的複雜鏈路;
雲邊穩定且安全的通信能力
中心與邊緣基於網際網路的遠程通信 RPC,需重點考慮通信安全和通信可靠性,雲邊協同管控依賴雲邊穩定且安全的通信能力;
邊緣自治管控能力
邊緣需要具備一定的自治管控能力,以應對高性能、高可用、雲邊一致性等場景的要求,比如減少邊緣處理邏輯中對中心的依賴,以及當雲邊通信短時不可用時能夠持續服務並在恢復後進行狀態同步等。
構建一套完整的邊緣架構系統,還需要什麼?配套的系統能力。主要包括:
邊緣節點高效部署
邊緣節點部署包括節點資源的申請和初始化,以及邊緣模塊應用的部署和發布。邊緣架構需要大量的邊緣節點進行服務,節點的部署和納管必須標準且高效,應用容器化部署是一個不錯的選擇。
配置管理及配置動態下發
業務調度和雲邊協同管控等核心能力都有基於策略和配置進行動態管理的需求,實現靈活的場景適配,以及全網資源更高效的使用。
遠程運維系統
遠程運維能力包括邊緣狀態和日誌的採集上報、監控告警、遠程診斷和處置等,網際網路的不穩定增加了遠程運維的挑戰,運維動作的鏈路長,故障因素多,需要針對核心運維場景做全鏈路能力建設。
VEC 的支撐系統大圖如下,其中應用部署發布、服務發現治理、集群擴縮容等關鍵能力是基於 ENS 容器平臺構建的。
「邊緣雲的發展吸引了越來越多技術人的關注,在關注、參與邊緣雲自身能力演進的同時,相信更多的技術人更有機會做的事情,是推動自己的業務架構向邊緣架構演進。」
視圖計算的架構可以面向更多終端雲化的場景進行擴展,演進成為更加通用的終端雲化平臺。
在平臺技術方面,可以將目前自研的 ODCAP(Open Device Cloud Access Protocol)開放設備上雲協議用於更廣泛的終端雲化接入和管理,同時提供可視化的視圖流處理編排引擎,方便終端數據的複雜處理流程定義。
在邊緣架構演進方面,視圖數據被存儲到了數量眾多的邊緣節點中,數據操作都需要先定位節點再進行讀寫,複雜度較高。
技術上應該考慮將多個物理節點的存儲抽象成一個邏輯存儲,並封裝一套標準的邏輯對象存儲接口,這套接口可以和中心的對象存儲接口在使用體驗上完全一致。這個能力也已經在阿里雲邊緣雲 ENS 上孵化完成,開始對外產品化服務。
只有隨著邊緣場景的不斷豐富,邊緣雲才能獲得更好的發展。而邊緣雲的使命,就是支持各類邊緣場景和架構,實現更好、更快、更穩的構建和發展。
真正好的技術,是可以打破桎梏,彌合鴻溝的。
終端雲化的背後,邊緣雲架構是如何設計的?
,