近日,東方國信CirroData-TimeS時序數據庫進行了全新升級,推出了V1.3.1版本。新版時序數據庫新增四項新功能,分別在安全控製、數據同步、係統監控和序列視圖方麵帶給用戶全新體驗!
此外CirroData-TimeS V1.3.1也對原有係統問題進行了修複,同時優化了多項功能操作,不斷滿足用戶在新場景中的新需求。
新增功能
安全控製:通過審計日誌,方便管理員查詢用戶在數據庫中的增刪改查等各項操作,確保信息安全;
新增審計日誌功能,可以實現如下場景需求:
- 可以按鏈接來源決定是否記錄審計日誌,例如:非人為操作,像硬件采集器寫入的數據不需要記入審計日誌;人為操作,諸如普通用戶通過cli等工具操作的數據,需要記入審計日誌;
- 過濾掉係統級別的寫入操作,如CirroData-TimeS監控體係本身記錄的寫入操作等。
數據同步:滿足用戶搭建完整的數據鏈路來滿足端邊雲同步、異地災備、讀寫負載分庫等需求;
數據同步功能可以將CirroData-TimeS的數據同步傳輸到另一個數據平台,美女直播全婐APP免费下载將一個數據同步任務稱為Pipe,一個Pipe包含三個子任務(插件):抽取(Source)、處理(Process)、發送(Sink)。
Pipe允許用戶自定義三個子任務的處理邏輯,通過類似UDF的方式處理數據。在一個 Pipe 中,上述的子任務分別由三種插件執行實現,數據會依次經過這三個插件進行處理:Pipe Source 用於抽取數據,Pipe Processor 用於處理數據,Pipe Sink 用於發送數據,最終數據將被發至外部係統。
Pipe 任務模型如下:

描述一個數據同步任務,本質就是描述 Pipe Source、Pipe Processor 和 Pipe Sink 插件的屬性。用戶可以通過 SQL 語句聲明式地配置三個子任務的具體屬性,通過組合不同的屬性,實現靈活的數據 ETL 能力。
全新監控麵板:新版CirroData-TimeS的監控麵板包括了集群監控、數據寫入、數據查詢、存儲引擎和係統監控等功能;
- 集群監控:監控集群總CPU核數、總內存空間、總硬盤空間、集群包含ConfigNode與DataNode數、集群啟動時長、寫入速度、集群各節點當前CPU、內存、磁盤使用率、分節點信息等;
- 數據寫入:監控寫入平均耗時、耗時中位數、99%分位耗時、WAL文件數量與大小、節點WAL flush SyncBuffer耗時 等;
- 數據查詢:監控節點查詢加載時間序列元數據耗時、讀取時間序列耗時、修改時間序列元數據耗時、加載Chunk元數據列表耗時、修改Chunk元數據耗時、按照Chunk元數據過濾耗時、構造Chunk Reader耗時的平均值 等;
- 存儲引擎:監控分類型的文件數量和大小、處於各階段的TsFile數量和大小、各類任務的數量與耗時 等;
- 係統監控:監控係統內存、交換內存、進程內存、磁盤空間、文件數、文件尺寸、JVM GC時間占比、分類型的GC次數、GC數據量、各年代的堆內存占用、網絡傳輸速率、包發送速率 等。
序列視圖:一種全新的基於時間序列的數據組織管理方式;
在傳統關係型數據庫中,數據都必須存放在一個表中,而在CirroData-Times等時序數據庫中,序列才是存儲單元。因此,CirroData-Times中序列視圖的概念也是建立在序列上的。
一個序列視圖就是一條虛擬的時間序列,每條虛擬的時間序列都像是一條軟鏈接或快捷方式,映射到某個視圖外部的序列或者某種計算邏輯。換言之,一個虛擬序列要麽映射到某個確定的外部序列,要麽由多個外部序列運算得來。
用戶可以使用複雜的SQL查詢創建視圖,此時序列視圖就像一條被存儲的查詢語句,當從視圖中讀取數據時,就把被存儲的查詢語句作為數據來源,放在FROM子句中。
序列視圖通常在以下 實際場景 中應用:
- 時間序列重命名(PI資產管理):實際應用中,采集數據的設備可能使用人類難以理解的標識號來命名,這給業務層帶來了查詢上的困難。而序列視圖能夠重新組織管理這些序列,在不改變原有序列內容、無需新建或拷貝序列的情況下,使用新的模型結構來訪問他們;
- 簡化業務層查詢邏輯:有時用戶有大量設備,管理著大量時間序列。在進行某項業務時,用戶希望僅處理其中的部分序列,此時就可以通過序列視圖功能挑選出關注重點,方便反複查詢、寫入;
- 輔助權限管理:生產過程中,不同業務負責的範圍一般不同,出於安全考慮往往需要通過權限管理來限製業務員的訪問範圍。
改進與優化
CirroData-TimeS V1.3.1新版優化了如下功能操作:
- 優化權限模塊,支持時間序列粒度的權限控製;
- 客戶端服務器支持 SSL 通訊加密;
- 計算類型視圖支持 LAST 查詢;
- 優化 Python 客戶端的性能;
- 優化查詢執行過程;
- 增加一鍵啟停集群腳本(start-all/stop-all.sh & start-all/stop-all.bat);
- 增加一鍵收集實例信息腳本(collect-info.sh & collect-info.bat);
- 新增標準差、方差內置聚合函數;
- 新增 TsFile 修複命令;
- Load TsFile 完善內存控製,覆蓋全流程;
- Rest 接口(V2 版)增加列類型返回。
CirroData-TimeS V1.3.1新版修複了以下問題:
- 修複在 target path 中,使用反引號導致 select into 報錯的問題;
- 修複網絡分區環境下 show cluster 出現 NPE 的問題;
- 修複 duration 含多 unit 時 group by month 異常問題;
- 修複有 order by clause 時,limit 和 offset 不能下推的問題;
- 修複 group by month + align by device + limit 組合場景下的異常;
- 修複 IoT 協議同步時反序列化報錯問題。
星空人工智能美女福利导航網 倡導尊重與保護知識產權。如發現本站文章存在版權等問題,煩請30天內提供版權疑問、身份證明、版權證明、聯係方式等發郵件至1851688011@qq.com美女直播全婐APP免费下载將及時溝通與處理。!:首頁 > 大數據 » 東方國信CirroData-TimeS時序數據庫全新升級,V1.3.1版推出四大新功能