巨龍信息大數據集成系統(tǒng)是一款基于分布式并行計算架構開發(fā)的ETL數據集成系統(tǒng)。具備高吞吐、高可用、高擴展特性，可以為海量數據的超大規(guī)模數據倉庫建設提供抽取、整合、清洗、入庫等集成業(yè)務。

產品特征

■高吞吐處理能力：采用多線程處理算法，高效的內存利用率；任務運行過程無需本地磁盤IO操作，提升整體單位時間的大批量處理能力；支持TB/h級的大數據集成業(yè)務性能。

■高擴展、高可靠：并行架構提升單機處理能力的線性擴展；新增執(zhí)行引擎的快速部署和自動識別，分布式架構提升多機處理能力的線性擴展；執(zhí)行引擎宕機的自動識別和任務轉移，保證任務的順利執(zhí)行。

■可視化流程配置：通過簡單的圖形拖拽配置數據集成流程，簡單易用的專業(yè)化配置。

■集成業(yè)務全流程監(jiān)控：可對處理過程的每個步驟，每個子流程處理進行實時監(jiān)控，簡單快速發(fā)現處理過程遇到的漏數據，錯處理等問題。

■統(tǒng)一的元數據模型：基于統(tǒng)一公共倉庫元模型，可與公司產品線其他產品無縫對接，簡化整體解決方案的實施運維。

■大數據技術支持：支持主流的關系型數據庫，NOSQL數據庫,全文庫處理等主流大數據產品的抽取入庫，以及異構庫之間的抽取入庫。

■低廉的硬件成本：使用x86架構的PCServer，無需昂貴的unix服務器。

技術亮點

高性能

■任務的水平切分

一個分布式ETL任務會根據分區(qū)自動被分片到多臺ETL-執(zhí)行引擎中，每個執(zhí)行引擎的執(zhí)行容器使用多線程并發(fā)的對數據進行加工處理后加載到數據倉庫中。當源頭庫單表數據量巨大時，可極大提升整體的數據集成效率和性能

■任務拓撲切分

一個任務的各個步驟，可根據現場物理設備的實際配置，合理地安排到不同的物理設備上，保證硬件資源滿足步驟的執(zhí)行

高擴展

■集群處理能力的線性擴展

? 集群處理能力的快速擴充

? 集群自動識別和熱部署新增執(zhí)行引擎

■多集群組

? 根據業(yè)務劃分集群組，使關注點分離

? 集群組有利于異常干擾的隔離

■單任務并行計算

? 任務步驟的獨立線程數可配置

? IO的合理平衡

? 內存空間的合理利用，減少內存垃圾回收率

■任務的分布式調度

? 帶權重的負載均衡算法，可根據設備處理能力安排并發(fā)任務數

? 控制中心對集群環(huán)境的自動負載均衡

高可用

■異常數據分流

? 可選的異常數據分流機制，保證不影響正常流程的情況下異常數據分流

? 保證每個步驟出現的異常數據轉儲到指定地點，不丟失

■控制中心HA

■任務的異常處理

? 自動感知執(zhí)行引擎異常，將異常設備的任務轉發(fā)到正常設備上重新執(zhí)行

? 任務在一臺設備上執(zhí)行過程出現錯誤，自動重新在另外一臺設備重新執(zhí)行