X

公司产品

产品概述

DI数据集成平台实现在复杂IT集成环境中的数据采集，集成，传输，调度和监控。通过DI实现异构数据源的ETL操作，支持大数据模式下的底层Mapreduce并行数据采集和ETL功能服务化，并可以完成对数据集成过程中的数据管控、数据监控以及作业调度和自动化等工作。

产品优势

  • 功能完善

    提供完整的数据源管理，数据映射和适配，数据调度和任务监控完整功能。

  • 易用

    90%以上实施工作自动化实现。

    高可配置性，可实现灵活可视化的数据采集，数据映射，数据调度任务的可视化配置。

  • 高性能

    在大数据场景中，利用Mapreduce并行处理技术，实现数据并行采集和处理。

    对于数据集成传输速率点节点可达10M/S以上。

  • 高可扩展

    全分布式部署，完全水平扩展，高并发下只需增加集群节点即可。

  • 安全可靠

    具备访问安全，传输安全，数据安全等多种安全控制策略和安全监控。

    集群架构，无单点故障，满足高可用性要求。

  • 多类型支持

    支持Oracle,DB2,Sql Server,Mysql各种主流数据库。

    支持Excel, TXT, Hbase, Hdfs各种非结构化数据库和文件。

产品功能

ID数据集成平台主要包括数据总线引擎、数据集成组件库、作业任务调度和管控平台、开发设计工具四大部分，完全去IOE架构，支持多种数据库和应用中间件。全分布式部署，统一管控，具备完全水平扩展能力。

连接管理 多数据源的连接集成支持，对主要关系数据库：oracle、db2、sql server、mysql、sybase的广泛连通性；支撑分布式文件系统、分布式数据库、NoSQL数据库的连接。
数据映射 支持可配置的数据映射，包括源和目标选择，数据字段映射，数据映射，映射规则配置。
可支持数据清洗，数据规则校验，数据检查，数据去重，数据完整性检查等基础数据质量管理能力。
任务管理 实现基础ETL任务管理和配置，包括数据抽取、转换和加载，FTP管理，文件导入导出、调用存储过程。
调度管理 提供调度任务编排，图形化调度配置界面，调度定时自动执行，调度执行实时监控。提供配置多任务、多通道工作流，支持串行、并行执行。
数据集成组件 部分组件列表见图。