数据智能采集

系统特点

  1. 可灵活地静态或动态创建单元实例,满足不同场景需要。

  2. 丰富的元数据参数描述,已参数形式描述转换前后的数据结构和转换规则。

  3. 可视化流程编辑工具,提供流程定义和程序监控功能。

  4. 提供函数集提供常用规则方法,提供规则定义语言描述规则。

  5. 采用hash技术对数据进行快速索引。

  6. 采用内存技术,将参照关系表等提前装入内存,提高转换速度。

  7. 图形化设计,无需编码,快速开发和部署。

  8. 支持多线程:支持并行处理。

  9. 可视化设计:实现统一调度、监控和管理功能。

  10. 标准化设计:以CWM标准进行元数据交换。

功能特性

  1. 提供前端界面,开发实施人员拥有如同用户一样的友好的界面进行开发和实施。

  2. 提供框架。自动化验证过程,并提供扩展手段,让实施人员能够增加验证范围。同时规范化操作的作用。

  3. 规范流程。能够解决误删数据,重复装载数据问题。让数据验证能够以日常运作方式进行。

  4. 提供丰富的规则转换。

    • 直接映射

    • 字段运算

    • 参照转换

    • 字符串处理

    • 空值判断

    • 日期转换

    • 日期运算

    • 聚集运算

    • 既定取值

  5. 完备的数据质量检查。

    • 数据格式错误

    • 数据一致性

    • 业务逻辑的合理性

    • 数据验证机制

  6. 支持二次开发,通过对内嵌脚本语言、存储过程、插件及外部程序的支持来处理复杂的处理,提供调试、跟踪功能。

  7. 采集策略完备,涵盖增量抽取、全量抽取等抽取策略,支持异步抽取或同步抽取数据转换模块可进行二次开发。

  8. 支持多种数据源,支持多种数据库连接方式,包括专用数据库驱动接口、JDBC、ODBC接

ETL体系架构

ETL处理过程