技術最終需要為運營服務每一項可以推廣的新技術的出現,也是對原有運營模式的改進如何降低成本,提高資源利用率,是每個資源管理者必須面對的問題本文將結合G銀行集裝箱云平臺的實踐成果,向大家介紹和分享如何在云原生生態下進行集裝箱技術的資源配置和管理
在文章的開頭,我們首先提出三個問題,并與他們進行討論。
Q:虛擬機應用和容器應用的資源分配有什么區別。
Q:如何提高集裝箱服務的資源利用率。
如何管理Q:集裝箱平臺的資源。
先說虛擬機應用資源系統管理員通常有幾套標準的資源分配模板,比如4C8G,16C32G等當我們的項目經理根據應用程序資源評估申請相應的虛擬機映像時,我們的初始應用程序資源已經被框住了項目開發完成并進行非功能測試后,我們會得到不同的穩定CPU利用率,比如20%和40%然后,考慮到虛擬機擴展的復雜性和資源分配的管理機制,生產中的預期資源利用率會在一定范圍內波動綜上所述,這種資源分配模式是以資源為模板,應用為適配的資源分配模式在這種模式下,我們可能會面臨一些問題,例如,降級的閾值可以根據不同類型的應用來把握,例如,當應用低于降級閾值時,即使在最小資源模板下,也存在資源浪費例如,當應用程序需要調整資源模板時,它需要再次進行非功能測試這種模式下,金融機構的CPU資源平均利用率為10%—20%,還有提升空間
那么對于容器應用,我們應該如何分配資源呢首先,我們先了解k8s容器在聲明機制下的資源參數
請求容器啟動時的最低資源分配值如果群集不滿足資源請求,容器服務將無法啟動
限制容器可以請求的最大資源。
。一個
結合CPU時間片機制,k8s調度策略和容器快速擴容我們可以想象應用資源的理想使用場景:穩定的TPS使用率在請求值和限制值之間,峰值TPS使用率小于限制值然后,在對CPU密集型應用和非密集型應用進行分類后,我們也可以在一定程度上過度劃分節點資源,從而達到共享我們資源的目的在這種理想場景下,實用的資源分配策略需要優秀的非功能測試團隊和合理的資源計算分配模型我們可以把這種機制概括為一種資源分配模式,根據應用需求來適配資源我們預計在這種模式下運行的應用的平均CPU資源利用率將達到20%—40%,同時保證生產的穩定性
那么我們如何將這種高效的資源分配方法付諸實踐呢首先,我相信在集裝箱平臺建設之初,由于需求方需要時間轉變思維模式,平臺需要加速應用集裝箱化戰略,肯定會有資源浪費也許有一天我們可愛的平臺管理員在檢查的時候發現集群資源已經很緊張了,但是上面的應用連10%的CPU利用率都沒有我們需要找到一種方法來扭轉這個問題g線結合容器技術做了大量實踐,決定先從非功能性測試入手首先,我們放棄固定的資源模板,為應用服務準備一個足夠大的限制值請測試未來幾年穩定TPS下的資源使用情況,得到實際使用情況然后,通過不同的應用類型和一定的冗余值,計算生產環境資源最大分配的推薦值請求值根據應用容災級別從限額的25%到100%不等,同時我們也摒棄了虛擬機拐點的測試方法,根據穩定的TPS推進分步調整,測試不同倍數下的資源實際使用情況,可以按照一定比例轉化為POD數量,為生產應用管理員提供容量預測數據在這種模式下,在線系統資源的利用率得到了明顯的提升,節點上可以承載的服務數量達到了理想場景同時,在理想情況下,將應用服務達到穩定TPS后的資源利用率設置為固定值,控制風險最后,根據運力預測數據,我們可以快速調整POD服務數量或集裝箱限值
。2
當然,在介紹了資源分配策略之后,我們還需要一個匹配的資源管理策略筆者調研了同行業的一些管理方法,常用的是根據利用率,切掉一定量的請求值,保持限值不變基于自主開發或開源的調度器和優秀的調度策略,這是一個過渡性或長期性的方案當然,你也可以想想缺點一個請求被限制,但另一個限制被釋放在未來不可預測的野蠻應用下,可能會導致過度聚集和雪崩等異常情況那么優秀資源管理策略的制定就是平臺管理者必須思考和實踐的工作
結合實踐經驗,G銀行從應用分類入手,不斷完善集裝箱平臺的資源運營管理策略根據應用系統的容災級別,規定限制和請求的比例,重要系統采用保守策略,一般系統采用高效策略,根據應用服務CPU使用類型,優化服務調度策略,避免高風險場景,根據應用服務的特殊需求,劃分特殊節點,緩解關聯故障的發生等結合平臺能力周報,超閾值,服務量,不斷磨合各種應用系統,不斷優化資源運營策略當然,優秀的管理策略還需要不斷強化技術能力,可實施的方案,以及技術,方案和管理的結合,才能真正利用資源提及站起來,投入成本刪除下來吧
。三
摘要
最后,資源利用一直是行業內持續研究的方向。同時,容器資源的管理不僅僅是PaaS層的優化,節點節點的資源分割比例,網絡的帶寬限制等因素最終都會影響
響到我們的資源管理策略,這也是資源統籌的難點本文以三個問題入手,結合G行實踐經驗,重點介紹了PaaS層CPU方面的資源運營策略,希望能以此文和各位碰撞出思維的火花,感謝各位讀者閱讀
鄭重聲明:此文內容為本網站轉載企業宣傳資訊,目的在于傳播更多信息,與本站立場無關。僅供讀者參考,并請自行核實相關內容。
|