點擊右邊

騰訊萬億級大阿翔博弈觀測數據組件 TubeMQ 正式開源

 
近日,在 ApacheCon 2019 上,騰訊開源治理委員會委員、騰訊開源同盟主席、Apache 軟件基金會 Member 堵俊平先容了騰訊開源線路圖,公布騰訊萬億級漫衍式新聞中間件 TubeMQ 正式對外開源,并企圖捐贈給 Apache 基金會。

▲ 騰訊開源線路圖
TubeMQ 的原型是騰訊數據平臺部在2013年自研的漫衍式新聞中間件體系(MQ),專注于大數據場景下海量數據的高機能存儲以及傳輸,恒久服務微信領取、騰訊視頻、廣點通等產物。

▲ TubeMQ 項目先容
TubeMQ 首要特征:

  • 六合彩玩法规则 Java 說話完成
  • 引入 Master 和諧節點:相比 Kafka 依靠于 Zookeeper 實現元數據的治理以及完成 HA 保證不同,TubeMQ 體系采取的是自治理的元數據仲裁機制方式進行,Master 節點經由過程采取內嵌數據庫 BDB 實現集群內元數據的存儲、更新和 HA 暖切功效電競下注,擔任 TubeMQ 集群的運轉管控以及設置治理操作,對外供應接口等;經由過程 Master 節點,TubeMQ 集群里的 Broker 設置配置、變革及查問完成了完備的主動化閉環治理,減輕了體系維護的龐大度
  • 服務器側花費負載平衡:TubeMQ 采取的是服務側負載平衡的方案,而不是客戶端側操作,晉升體系的管控本領同時簡化客戶端完成,更便于平衡算法進級
  • 體系行級鎖操作:關于 Broker 新聞讀寫中存在中間狀況的并發操作采取行級鎖,幸免反復成績
  • Offset 治理調整:Offset 由各個 Broker 獨自治理,ZK 只作數據持久化存儲用(最后思量齊全往失ZK依靠,思量到后續的功效擴大就暫時保留)
  • 新聞讀取機制的改進:TubeMQ 采取的是新聞隨機讀取模式,同時為了下降新聞時延又增長了內存緩存讀寫,關于帶 SSD 裝備的機械,增長新聞滯后轉 SSD 花費的處置,辦理花費重大滯后時吞吐量降低和 SSD 磁盤容量小、刷盤次數有限的成績,使其知足營業疾速臨盆花費的需求
  • 花費者舉動管控:支撐經由過程戰略及時靜態地節制體系接入的花費者舉動,包含體系負載高時對特定營業的限流、停息花費,靜態調整數據拉取的頻率等;
  • 服務分級管控:針對體系運維、營業特色、機械負載狀況的不同需求,體系支撐運維經由過程戰略來靜態節制不同花費者的花費舉動,譬如是否有權限花費、花費時延分級保障、花費限流節制,和數據拉取頻率節制等
  • 體系寧靜管控:依據營業不同的數據服務必要,和體系運維寧靜的思量,TubeMQ 體系增長了 TLS 傳輸層加密管道,臨盆以及花費服務的認證、受權,和針對漫衍式走訪節制的走訪令牌治理,知足營業以及體系運維在體系寧靜方面的需求
  • 資本行使率晉升改進:相比于 Kafka,TubeMQ 采取毗鄰復用模式,淘汰毗鄰資本損耗;經由過程邏輯分區組織,淘汰體系對文件句柄數的占用,經由過程服務器端過濾模式,淘汰收集帶寬資本使用率;經由過程剝離對 Zookeeper 的使用,淘汰 Zookeeper 的強依靠及瓶頸限定
  • 客戶端改進:基于營業使用上的方便性以,咱們簡化了客戶端邏輯,使其做到最小的功效聚攏,咱們采取基于相應新聞的接受質量統計算法來主動剔出壞的 Broker 節點,基于初次使用時作毗鄰測驗考試來幸免大數據量發送時發送受阻

堵俊平先容,騰訊天天要處置范圍驚人的數據。為支撐海量營業,騰訊組建了包括存儲層、數據治理層及闡發層 3 層布局的數據湖協同方案,向下治理多種數據引擎,向上支持多種數據運用需求。TubeMQ 便是泉源于騰訊數據湖存儲層的新聞中間件體系,支持著海量數據的流入以及運行。顛末近7年、萬億范圍的海量數據積淀,TubeMQ 現在日均接入量跨越 25 萬億條新聞。

▲ 騰訊數據湖方案,其盡大多半組件由 Apache 的開源項完美分析運彩ptt目構成
堵俊平先容到,騰訊企圖將 TubeMQ 捐贈給 Apache 基金會,現在已經經啟動了相關的孵化流程。【編纂保舉】

  1. 環球首個軟硬件推理平臺:NVDLA 編譯器正式開源
  2. PyTorch版《下手學深度進修》開源了,最美DL書趕上超贊DL框架
  3. 七個開源的 Spring Boot 先后端星散項目
  4. 超原版速率110倍,針對PyTorch的C地下539公式PU到GPU張量遷徙對象開源
  5. 13個收集治理員必需嘗嘗的開源收集監控對象

【義務編纂:張燕妮 TEL:(010)68476606】
點贊 0
【免責聲明】本站內容轉載自互聯網,其相關談吐僅代表作者小我私家概念盡非權勢巨子,不代表本站態度。如您發明內容存在版權成績,請提交相關鏈接至郵箱:,咱們將實時予以處置。
大樂透獎金分配