可灵活地静态或动态创建单元实例,满足不同场景需要。
丰富的元数据参数描述,已参数形式描述转换前后的数据结构和转换规则。
可视化流程编辑工具,提供流程定义和程序监控功能。
提供函数集提供常用规则方法,提供规则定义语言描述规则。
采用hash技术对数据进行快速索引。
采用内存技术,将参照关系表等提前装入内存,提高转换速度。
图形化设计,无需编码,快速开发和部署。
支持多线程:支持并行处理。
可视化设计:实现统一调度、监控和管理功能。
标准化设计:以CWM标准进行元数据交换。

数据智能采集
系统特点
功能特性
提供前端界面,开发实施人员拥有如同用户一样的友好的界面进行开发和实施。
提供框架。自动化验证过程,并提供扩展手段,让实施人员能够增加验证范围。同时规范化操作的作用。
规范流程。能够解决误删数据,重复装载数据问题。让数据验证能够以日常运作方式进行。
-
提供丰富的规则转换。
直接映射
字段运算
参照转换
字符串处理
空值判断
日期转换
日期运算
聚集运算
既定取值
-
完备的数据质量检查。
数据格式错误
数据一致性
业务逻辑的合理性
数据验证机制
支持二次开发,通过对内嵌脚本语言、存储过程、插件及外部程序的支持来处理复杂的处理,提供调试、跟踪功能。
采集策略完备,涵盖增量抽取、全量抽取等抽取策略,支持异步抽取或同步抽取数据转换模块可进行二次开发。
支持多种数据源,支持多种数据库连接方式,包括专用数据库驱动接口、JDBC、ODBC接
ETL体系架构

ETL处理过程
