娛樂城
伯克利開源 Confluo,吞吐量是 Kafka 盈吉娛樂城評價 的 4 到 10 倍 - 財神娛樂城_捕魚達人_電子遊戲

伯克利開源 Confluo,吞吐量是 Kafka 盈吉娛樂城評價 的 4 到 10 倍

近日伯克利 RISE Lab 開偏財運意思源了一個多半據流及時漫衍式闡發體系 Confluo,它等于一個收集監控以及診斷框架,也能夠作為時序數據庫以及發布訂閱新聞體系。

源碼地址:https://github.com/ucbrise/confluo
當下,相似基于終端主機的收集監控體系、IoT 裝備傳感器法式真錢麻將app等運用,厥后真個服務器每秒都可以拿獲數千萬個數據點。這些數據被用于在線查問,539連碰意思完成可視化與監控,或者者用于離線查問,進行故障闡發以妞妞運氣及體系優化。如許的使用處景下,就必要及時監控以及闡發對象支撐,這些對象平日支撐高吞吐量數據提取、低耽誤在線查問以及低開支的離線查問。
固然現在已經經存在一些用于高吞吐量數據提取的數據布局,,它們可以支撐豐厚的在線以及離線查問,然則高吞吐量與查問本領現在來望仍是互斥的。在從多個數據流提取數據時,查問必要更新多個數據布局,包含原始數據、聚合統計信息以及物化視圖。然則用于支撐這些查問的數據布局每每具備較高的更新開支,并且沒法維持大多半運用法式所需的數據提取速度。而另一方面,可以維持高數據提取速度的數據布局每每只支撐特別很是簡略的查問。

Confluo 恰是為了大樂透即時開獎號碼應答這類環境而發生的,它是一個致力于同時完成高吞吐量數據提取以及富有顯露力的離線/在線查問的體系。
Confluo 機能刁悍,支撐:

  • 來自多個數據流的數百萬個數據地下運彩ptt點的高吞吐量并發寫入
  • 毫秒級的在線查問
  • 使用至少 CPU 資本的 ad-hoc 查問

不同場景下對 Confluo 進行機能測試,效果顯示:

  • 作為一個收集監控以及診斷框架,Confluo 可以或許在單核上以路線速度(10Gbps 鏈路)履行數千個觸發器以及數十個過濾器。
  • 作為一個時序數據庫,與別的諸如 CorfuDB、TimescaleDB 以及 BTrDB 等進步前輩的時序數據庫相比,Confluo 的吞吐量提高了 2 到 20 倍,寫入耽誤下降了 2 至 10 倍,時間區間查問耽誤下降了 5 至 20 倍。
  • 作為一個發布訂閱新聞體系,Confluo 的吐量是 Kafka 的 4 到 10 倍。

更具體的闡發:https://rise.cs.berkeley.edu/blog/confluo-millisecond-level-queries-on-large-scale-streaming-data【編纂保舉】

  1. 微軟“木馬計”:用你的手藝,比你做的還好
  2. 互聯網行業冷冬,手藝人該怎么熬?
  3. Github Octoverse 講演:2018年新的開源項目
  4. 互聯網大廠是若何360°無逝世角調查手藝候選人的?
  5. 沒想到《天龍八部》這段,只有弄IT的才懂_手藝棧微信半月刊第31期

【義務編纂:張燕妮 TEL:(010)68476606】
點贊 0
【免責聲明】本站內容轉載自互聯網,其相關談吐僅代表作者小我私家概念盡非權勢巨子,不代表本站態度。如您發明內容存在版權成績,請提交相關鏈接至郵箱:,咱們將實時予以處置。