大數(shù)據(jù)集成系統(tǒng)

產(chǎn)品概述

大數(shù)據(jù)集成系統(tǒng)是巨龍信息以20年的數(shù)據(jù)整合治理實(shí)踐為基礎(chǔ)，采用分布式并行計(jì)算架構(gòu)自主研發(fā)的大數(shù)據(jù)ETL集成系統(tǒng)，具備高吞吐、高可用、高擴(kuò)展特性，支持主流云平臺(tái)、數(shù)據(jù)庫、文件、消息對(duì)接、接口等數(shù)十種異構(gòu)數(shù)據(jù)源，內(nèi)置上百種數(shù)據(jù)處理組件和函數(shù)，為海量異構(gòu)數(shù)據(jù)的超大規(guī)模數(shù)據(jù)倉庫建設(shè)提供抽取、清洗、整合、入庫等集成業(yè)務(wù)，消除數(shù)據(jù)孤島，加快數(shù)據(jù)變現(xiàn)，實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型。

產(chǎn)品亮點(diǎn)

		海納百川，數(shù)據(jù)源適配廣泛 支持市面上主流的云平臺(tái)；支持涵蓋OldSQL、NoSQL、NewSQL的各類數(shù)據(jù)庫；支持文件自動(dòng)下載 解壓、解密處理；支持消息隊(duì)列實(shí)時(shí)數(shù)據(jù)消費(fèi)；支持WebService接口對(duì)接配置。
		無代碼開發(fā)，組件開箱即用 內(nèi)置上百個(gè)組件和上百個(gè)公式，開箱即用；支持第三方按照組件開發(fā)標(biāo)準(zhǔn)定制業(yè)務(wù)性組件。
		高吞吐處理能力，支撐百億數(shù)據(jù)處理 采用多線程處理算法，高效的內(nèi)存利用率；可拓展形成100節(jié)點(diǎn)以上集群、任務(wù)運(yùn)行過程無需本地磁 盤IO操作，提升整體單位時(shí)間的大批量處理能力；支持TB/h級(jí)的大數(shù)據(jù)集成業(yè)務(wù)性能。
		“火眼金睛”，全方位實(shí)時(shí)監(jiān)控 支持對(duì)系統(tǒng)運(yùn)行環(huán)境（如調(diào)度引擎、執(zhí)行引擎）和流程作業(yè)業(yè)務(wù)的實(shí)時(shí)狀態(tài)監(jiān)控，通過圖形可視化的 方式展現(xiàn)監(jiān)控結(jié)果，極大降低了系統(tǒng)日常的維護(hù)成本。
		“縱橫”架構(gòu)融合，運(yùn)行持續(xù)穩(wěn)定 并行架構(gòu)提升單機(jī)處理能力的縱向線性擴(kuò)展；分布式架構(gòu)提升多機(jī)處理能力的橫向線性擴(kuò)展；支持 執(zhí)行引擎快速部署及自動(dòng)識(shí)別；支持資源調(diào)度中心雙活模式；支持執(zhí)行引擎宕機(jī)自動(dòng)識(shí)別和任務(wù)轉(zhuǎn)移；支持引擎集群管理節(jié)點(diǎn)自動(dòng)競(jìng)選，確保系統(tǒng)穩(wěn)定運(yùn)行，任務(wù)執(zhí)行不脫機(jī)。
		自動(dòng)容錯(cuò)，異常數(shù)據(jù)分流 采用異常數(shù)據(jù)分流機(jī)制，在不影響正常流程的情況下，自動(dòng)將ETL處理過程中出現(xiàn)的異常數(shù)據(jù)轉(zhuǎn)儲(chǔ) 到指定位置，保證數(shù)據(jù)不丟失。在任務(wù)分發(fā)和執(zhí)行的過程中，感知引擎狀態(tài)，自動(dòng)將異常設(shè)備的任務(wù) 轉(zhuǎn)移到正常設(shè)備上重新執(zhí)行，保證了任務(wù)執(zhí)行高可用。
		以點(diǎn)帶面，知識(shí)賦能 支持一鍵生成數(shù)據(jù)處理模板，結(jié)合特有的環(huán)節(jié)分組及批注功能，實(shí)現(xiàn)專業(yè)人員知識(shí)沉淀，滴灌賦能執(zhí)行人員，以點(diǎn)帶面，形成知識(shí)輻射。

應(yīng)用案例

大數(shù)據(jù)集成系統(tǒng)已經(jīng)服務(wù)政府、政數(shù)局、水利廳、財(cái)政廳、海關(guān)總署、公安廳/局等多個(gè)用戶部門，累計(jì)支撐2萬+數(shù)據(jù)處理方案的穩(wěn)定運(yùn)行，共處理數(shù)據(jù)已達(dá)P級(jí)，用戶遍及廣東、天津、福建、安徽、甘肅、湖南、內(nèi)蒙古、青海 等省份，其中天津某行局配置管理2000個(gè)大數(shù)據(jù)ETL作業(yè)，完成約600億數(shù)據(jù)抽取、整合行務(wù)，當(dāng)前運(yùn)行穩(wěn)定；福建某大數(shù)據(jù)治理項(xiàng)目采用混合異構(gòu)數(shù)據(jù)庫模式，分別與騰訊云、阿里云ODPS、Gbase 8a、億榕文件存儲(chǔ)等大數(shù)據(jù)庫完成適配。