电力营销基础数据平台(DS)
营销基础数据平台(EPM-FDP)是企业级一体化信息集成平台数据中心的重要组成部分,是营销数据共享和对外开放的资源中心;支撑营销内外各信息系统之间的数据共享一致性及规范交互,是内外部数据交互与共享的唯一通道;支撑开展营销管理决策,提供统一模型、统一编码的营销全范围业务数据;支撑营销总部管理决策与省(市)业务管理的数据归集与纵向贯通。
主要功能
营销基础数据平台通过统一的管理平台,解决了以往的数据资源整合工作各自为政的局面,由营销基础数据平台按照统一的数据模型、统一的标准编码进行数据资源整合工作,为总部及省(市)的营销管理决策提供最真实、最快速的全范围营销基础数据支撑。
其功能架构图如下:
数据接入:配置营销基础数据平台可以接入的系统,通过数据复制、ETL、Webservice、文件导入等方法将数据存储在营销基础数据平台中,再通过复制软件提供的数据变更机制获取变更日志进行更新。
数据访问服务:通过对访问服务的管理完成对主数据、共享数据的访问服务,同时也可以使用数据交换服务、数据集成服务来完成特殊的数据访问操作。
数据存储与转换:设计统一数据模型,维护统一数据模型与营销基础数据平台主数据、共享数据的映射,完成对已收集数据进行分类、转换,实现营销基础业务数据集中、共享与交换,并实现数据感知、数据质量功能。
支撑与监控:实现组织与权限管理、系统日志管理、消息管理、海量日志管理、分布式缓存管理、任务及调度管理等功能。
技术特性
营销基础数据平台主要包含四项关键技术:
- 海量异构数据的同步复制及实时转换:海量异构数据的同步复制及实时转换,保证及时性:采用数据库实时复制工具Goldengate实现海量数据的实时同步复制,采用数据集成工具ODI实现异构数据的实时转换,为了保证转换效率,要基于OGG进行二次开发。
- 国际标准(CIM/CIS)的实用化,有效解决不同时期、不同厂商、不同系统的数据一致性问题。遵循国际标准,以国际电工委员会IEC 61970/61968标准作为基础和标准, 基于公共信息模型CIM,构建营销顶层概念(语义)模型,通过四个阶段五个过程,实现数据访问服务的标准化,统一营销业务的档案数据及标准编码的访问方式。采用基于IEC CIS(组件接口规范)的数据集成架构,利用CIS服务(GDA)提供数据的访问接口,通过统一的模型和标准的接口规范实现对原有及新建各系统间进行数据共享与应用集成服务的统一管理,使当前及未来的数据和业务应用可以进行方便的整合与集成。成熟的CIM元数据管理实现,以及对CIS 的标准接口规范进行实现。
- 海量日志处理及实时分析:海量日志的存储及分析:采用NoSql数据库,利用分布式计算进行汇总和分析海量日志的存储及分析。
- 服务的高频度,高并发保证:服务配置的分布式缓存实现,负载均衡及流量控制技术,分布式缓存服务器及内存数据库的使用及二次开发。