本發(fā)明涉及云計算與分布式系統(tǒng)，尤其涉及一種云計算平臺通用計量方法及系統(tǒng)。

背景技術：

1、隨著互聯(lián)網、云計算以及人工智能技術的快速發(fā)展，云計算平臺已成為承載各類數(shù)字業(yè)務的基礎設施。作為服務提供方，云廠商在提供彈性計算、對象存儲、網絡服務等資源同時，也承擔著資源使用數(shù)據的采集、計量與計費職責。伴隨業(yè)務規(guī)模的持續(xù)擴大與客戶數(shù)量的快速增長，計量數(shù)據呈現(xiàn)出高頻率、大規(guī)模、突發(fā)性等特征，對系統(tǒng)的穩(wěn)定性與擴展能力提出更高要求。

2、當前，在云計算平臺中，計量系統(tǒng)通常需要實時接收來自cdn節(jié)點、對象存儲服務、虛擬機等上報的資源使用信息，并將其寫入后端數(shù)據庫進行后續(xù)聚合與計費。在此過程中，大量或突發(fā)的上報數(shù)據可能集中涌入系統(tǒng)，造成寫入壓力激增。由于計量服務往往與下游的計費系統(tǒng)緊耦合，一旦前端處理延遲、寫入阻塞或服務故障，將直接影響賬單生成、費用結算，甚至對客戶造成資費異?；蚍詹豢捎玫蕊L險。

3、因此，如何在確保計量數(shù)據準確性的基礎上，實現(xiàn)對突發(fā)流量的有效削峰、對高并發(fā)數(shù)據的高效處理，并通過技術手段降低對下游計費系統(tǒng)的沖擊，已成為當前云平臺亟需解決的技術難題。為此，亟需提出一種具備高吞吐、強隔離能力、支持冪等控制與靈活擴展的通用計量方法與系統(tǒng)，以提升平臺穩(wěn)定性和服務可靠性。

技術實現(xiàn)思路

1、針對上述問題，本發(fā)明的目的在于提供一種云計算平臺通用計量方法及系統(tǒng)，以解決現(xiàn)有技術中計量數(shù)據在高并發(fā)、突發(fā)場景下寫入性能低下、冪等性控制不足、對計費系統(tǒng)沖擊較大及擴展能力受限等技術問題，本實施例的方法和系統(tǒng)能夠實現(xiàn)對原始計量數(shù)據的唯一性標識、冪等性校驗、異步緩沖、分庫分表路由及聚合計算等處理機制，提升系統(tǒng)在高吞吐量、強一致性和靈活擴展方面的能力，從而確保計量過程的準確性、穩(wěn)定性與可追溯性，為后續(xù)計費、賬單生成和補償機制提供堅實支撐。特別地，本發(fā)明充分利用云計算計量事件在時間維度上的天然有序性，按時序批次進行數(shù)據處理與入庫操作，結合計算機系統(tǒng)中的局部性原理優(yōu)化數(shù)據的存儲結構與訪問模式，有效提升計量系統(tǒng)在讀寫過程中的性能表現(xiàn)，進一步增強其在高負載環(huán)境下的穩(wěn)定性與處理效率。本發(fā)明的上述發(fā)明目的是通過以下技術方案得以實現(xiàn)的：

2、本發(fā)明提供了一種云計算平臺通用計量方法，包括：

3、步驟s1：上報端實時采集原始計量數(shù)據，基于所述原始計量數(shù)據中的關鍵字段信息構建業(yè)務資源唯一標識mrn；

4、步驟s2：計量前置服務對所述mrn執(zhí)行哈希計算，生成固定長度的哈希值并進行冪等性校驗，并將校驗通過的所述原始計量數(shù)據寫入消息隊列中，用于異步緩沖和流量削峰；

5、步驟s3：計量服務從所述消息隊列中異步批量拉取所述原始計量數(shù)據，并基于所述哈希值執(zhí)行所述分庫分表路由，用于對所述原始計量數(shù)據的高并發(fā)入庫處理；

6、步驟s4：周期性觸發(fā)聚合計算任務，按照預設的聚合維度對已入庫的所述原始計量數(shù)據進行聚合處理，生成的聚合記錄寫入聚合任務數(shù)據庫表中，同時為每條所述聚合記錄生成對應的聚合資源標識，用于計費服務執(zhí)行賬單查詢或重新計費操作時，基于所述聚合資源標識定位對應的所述聚合記錄，進而支持賬期賬單生成、明細核查及補償計費處理。

7、進一步地，在步驟s1中，上報端實時采集原始計量數(shù)據，基于所述原始計量數(shù)據中的關鍵字段信息構建業(yè)務資源唯一標識mrn，包括，

8、上報端根據設定的采集周期或觸發(fā)條件，獲取所述原始計量數(shù)據；

9、基于所述原始計量數(shù)據的內容，解析并提取對應所述關鍵字段，所述關鍵字段包括產品標識、子產品標識、計費項編號、服務區(qū)域、用戶id及計量時間范圍；

10、將所述關鍵字段按照預設字段序列進行有序拼接，構建成用于唯一確定所述原始計量數(shù)據所屬的業(yè)務資源及其計量時間窗口的所述mrn。

11、進一步地，在步驟s2中，計量前置服務對所述mrn執(zhí)行哈希計算，生成固定長度的哈希值并進行冪等性校驗，并將校驗通過的所述原始計量數(shù)據寫入消息隊列中進行異步緩沖和流量削峰，包括，

12、所述計量前置服務接收所述上報端發(fā)送的所述原始計量數(shù)據及其所攜帶的所述mrn；

13、對接收到的所述mrn執(zhí)行哈希函數(shù)計算，生成所述固定長度的哈希值作為所述原始計量數(shù)據的唯一標識；

14、將所述哈希值與本地冪等性校驗記錄進行比對，向所述上報端發(fā)送ack消息，用戶反饋所述冪等性校驗結果；

15、當所述哈希值未命中所述本地冪等性校驗記錄時，則判定為首次上報的所述原始計量數(shù)據，將所述原始計量數(shù)據寫入所述消息隊列中；

16、當所述哈希值存在所述本地冪等性校驗記錄時，則判定為重復上報數(shù)據，不進入所述消息隊列。

17、進一步地，在步驟s3中，計量服務從所述消息隊列中異步批量拉取所述原始計量數(shù)據，并基于所述哈希值執(zhí)行所述分庫分表路由，用于對所述原始計量數(shù)據的高并發(fā)入庫處理，包括，

18、監(jiān)聽所述消息隊列中緩沖的所述原始計量數(shù)據，當滿足預設的批處理觸發(fā)條件時，觸發(fā)一次批量數(shù)據拉取操作，所述預設的批處理觸發(fā)條件包括所述消息隊列中的數(shù)據條目達到設定的批處理上限或時間窗口達到時間閾值；

19、將每條所述原始計量數(shù)據對應的所述哈希值作為分庫分表的路由鍵，依據預定義的分片規(guī)則確定其目標數(shù)據庫表；

20、將分組后的所述原始計量數(shù)據一次性寫入對應的所述目標數(shù)據庫表中。

21、進一步地，將每條所述原始計量數(shù)據對應的所述哈希值作為分庫分表的路由鍵，依據預定義的分片規(guī)則確定其目標數(shù)據庫表，包括，

22、將每條所述原始計量數(shù)據對應的所述哈希值作為所述分庫分表的路由鍵，對所述哈希值執(zhí)行哈希取模計算，依據預定義的分庫總數(shù)和分表總數(shù)，分別計算得到目標數(shù)據庫編號與目標數(shù)據表編號，確定所述原始計量數(shù)據的在所述目標數(shù)據庫表的存儲位置。

23、進一步地，在步驟s4中，周期性觸發(fā)聚合計算任務，按照預設的聚合維度對已入庫的所述原始計量數(shù)據進行聚合處理，生成的聚合記錄寫入聚合任務數(shù)據庫表中，同時為每條所述聚合記錄生成對應的聚合資源標識，計費服務在賬單查詢或重新計費時，基于所述聚合資源標識標識定位對應的所述聚合記錄，用于支持賬期賬單生成、明細查驗及補償計費處理，包括：

24、根據所設定的聚合周期及聚合維度，周期性觸發(fā)所述聚合計算任務，采用預設的聚合函數(shù)對已入庫的所述原始計量數(shù)據進行聚合處理，生成對應的所述聚合記錄；

25、為每條所述聚合記錄構建唯一的聚合資源標識，作為所述聚合記錄的唯一索引；

26、將所述聚合記錄連同對應的聚合資源標識一并寫入聚合任務數(shù)據庫表中；

27、當所述計費服務接收到賬單生成請求或重新計費請求時，基于所述聚合資源標識，查詢對應賬期范圍內的聚合記錄，輸出對應賬單明細及計量匯總結果。

28、進一步地，步驟s4還包括，基于所述聚合資源標識回溯關聯(lián)的原始計量明細數(shù)據。

29、進一步地，步驟s4還包括，當檢測到所述賬期內聚合任務失敗、數(shù)據延遲或遺漏時，自動觸發(fā)補償聚合任務，基于原賬期范圍重新執(zhí)行聚合處理，并對已生成的賬單記錄進行修正或補充，確保賬單準確性與完整性。

30、基于相同的發(fā)明構思，本發(fā)明還提供了一種云計算平臺通用計量系統(tǒng)，執(zhí)行如上述的云計算平臺通用計量方法，包括，

31、數(shù)據采集模塊，用于上報端實時采集原始計量數(shù)據，基于所述原始計量數(shù)據中的關鍵字段信息構建業(yè)務資源唯一標識mrn；

32、數(shù)據緩沖模塊，用于計量前置服務對所述mrn執(zhí)行哈希計算，生成固定長度的哈希值并進行冪等性校驗，并將校驗通過的所述原始計量數(shù)據寫入消息隊列中用于異步緩沖和流量削峰；

33、異步入庫模塊，用于計量服務從所述消息隊列中異步批量拉取所述原始計量數(shù)據，并基于所述哈希值執(zhí)行所述分庫分表路由，用于對所述原始計量數(shù)據的高并發(fā)入庫處理；

34、聚合處理模塊，用于周期性觸發(fā)聚合計算任務，按照預設的聚合維度對已入庫的所述原始計量數(shù)據進行聚合處理，生成的聚合記錄寫入聚合任務數(shù)據庫表中，同時為每條聚合記錄生成對應的聚合資源標識，用于計費服務執(zhí)行賬單查詢或重新計費操作時，基于聚合資源標識定位對應的所述聚合記錄，進而支持賬期賬單生成、明細核查及補償計費處理。

35、進一步地，所述聚合處理模塊，還包括，補償計費單元，用于當檢測到賬期內聚合任務失敗、數(shù)據延遲或遺漏時，自動觸發(fā)補償聚合任務，基于原賬期范圍重新執(zhí)行聚合處理，并對已生成的賬單記錄進行修正或補充，確保賬單準確性與完整性。

36、與現(xiàn)有技術相比，本發(fā)明包括以下至少一種有益效果是：

37、本發(fā)明充分利用計量數(shù)據在時間序列上的天然有序性，結合引入消息隊列的異步緩沖機制、批量處理策略以及周期性聚合計算方法，實現(xiàn)對大規(guī)模高頻計量數(shù)據的只寫不更新處理模式。通過設計寫入側與讀取側的解耦機制，采用數(shù)據庫的讀寫分離技術，實現(xiàn)上游計量數(shù)據的高并發(fā)寫入與下游計費數(shù)據的穩(wěn)定讀取協(xié)同運行。有效解決了高并發(fā)環(huán)境下系統(tǒng)寫入阻塞、讀寫競爭和資源瓶頸等問題，實現(xiàn)計量的高吞吐及削洪峰，計量與計費的精準無漏，以及計量與計費的可靠隔離，并為云計算千差萬別的各種計量計費業(yè)務提供一種統(tǒng)一的標準處理模式。該方法不僅顯著提升了整個平臺的數(shù)據處理效率與并發(fā)能力，也降低了因資源爭搶、鏈路阻塞等原因造成的系統(tǒng)故障率，全面保障了云計算平臺的穩(wěn)定性與服務連續(xù)性，為終端用戶提供了更高可靠性和一致性的計費體驗。

38、通過創(chuàng)新的計量中心設計方法，有效解決了現(xiàn)有云計算平臺中計量數(shù)據處理效率低、系統(tǒng)耦合性強、應對突發(fā)流量能力弱等關鍵技術問題，具有如下有益效果：①采用冪等性校驗機制與異步消息緩沖機制，將原始計量數(shù)據的采集與入庫與下游計費邏輯徹底分離。通過消息隊列削峰填谷，緩沖寫入壓力，避免突發(fā)高并發(fā)計量請求對計費系統(tǒng)造成直接沖擊，提升了系統(tǒng)整體穩(wěn)定性和風險容錯能力。②設計了基于mrn（計量資源標識）的統(tǒng)一計量字段結構，并結合哈希路由分庫分表技術，能夠支持彈性計算、網絡流量、對象存儲等不同類型資源的統(tǒng)一處理。系統(tǒng)具備良好的可擴展性，適用于從中小型私有云到超大規(guī)模公有云的不同部署場景。③引入批處理、讀寫分離、聚合定時調度等機制，支持“只寫不更新”的數(shù)據入庫策略，大幅提升數(shù)據處理吞吐率并降低數(shù)據庫寫入沖突概率。聚合計算與賬期同步執(zhí)行，支持自動重算與補償邏輯，有效提升計量準確性與運營自動化水平，顯著降低了人工干預與后期對賬成本。