期货交易自动化论坛

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 37|回复: 0

请教:银行的数据仓库、ODS、历史库的区别和联系? - 金融行业 - ITPUB论坛-专业的IT技术社区

[复制链接] |主动推送

285万

主题

285万

帖子

855万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
8553710
发表于 2022-9-11 08:50:03 | 显示全部楼层 |阅读模式
很多银行同时建设数据仓库,ODS,历史库,他们有很多相同的地方,也有不同的地方,那位高手能够总结一下,他们的异同和在银行数据分析方面所起的作用。
当年我在负责数据仓库开发时倒是参考过一些资料,其中有一篇涉及这个内容,如果你需要,我发给你,告诉一下邮件地址即可。
我觉得可以理解为数据处理不同阶段的体现,历史库- 简单查询之用,或者之所以分离出历史库,大多是考虑到生产系统效率问题;ODS数据的整合阶段,为DW做准备或者是DW的初级阶段;DW就是大家最多谈到的东西,各种挖掘算法应用的地方,抑或出各种复杂统计的报表
信息处理的多层次要求导致了一种新的数据环境——DB-DW的中间层ODS(操作型数据存储)的出现。ODS是“面向主题的、集成的、当前或接近当前的、不断变化的”数据。通过统一规划,规范框架和数据,ODS可以实现操作型数据整合和各个系统之间的数据交换,能够提供实时的操作型报表,减轻数据仓库的负担。建设ODS还可以为后期数据仓库建设做好准备。
什么是ODS?
   ODS全称为Operational Data Store,即操作型数据存储,是“面向主题的、集成的、可变的、反映当前数据值的和详细的数据的集合,用来满足企业综合的、集成的以及操作型的处理需求”(Bill.Inmon)。
ODS是数据仓库体系结构中的一个可选部分,ODS具备数据仓库的部分特征和OLTP系统的部分特征。
         ODS的出现
    系统应用集成中一般对各系统中数据分为两类:操作型数据,有细节化,分散化的特点;决策型数据,有综合化,集成化的特点。
    数据仓库概念的提出也把数据处理划分为了操作型处理和分析型处理两种不同类型,从而建立起了DB-DW的两层体系结构。但是有很多情况,DB-DW的两层体系结构并不能涵盖企业所有的数据处理要求,比如有些实时性决策问题,它要求获取数据周期不能太长,而且也需要一定程度的汇总。信息处理的多层次要求导致了一种新的数据环境——DB-DW的中间层ODS(操作型数据存储)的出现。它像DW一样是一种面向主题,集成的数据环境,又像操作型DB一样包含着全局一致的、细节的当前的数据。这样就构成了DB-ODS-DW的关于企业数据的三层体系结构。
         与应用系统、数据仓库的比较
      根据数据仓库之父Bill. Inmon的定义,“数据仓库是面向主题的、集成的、稳定的、随时间变化的,主要用于决策支持的数据库系统”。
下面对数据仓库、ODS和数据库进行多方面的比较:
比较项目    数据仓库       ODS               应用系统
建设目的    决策支持       实时监控         业务操作
服务对象    企业管理层       业务管理层        生产层
存储周期    长期           短期            实时
处理频率    非实时          准实时         实时
主要功能    分析功能       事务处理,短时分析 事务处理
技术实现    OLAP         OLAP、OLTP     OLTP
功能结构    集中           相对集中         分散
数据类型    明细数据,汇总数据 明细数据          明细数据
数据容量    非常大          小              小
         应用集成方案比较
数据仓库(DW)
实施结果: 企业能够分析DW中的历史数据,进行中远期的规划
优势: 可以解决企业的决策需求
缺陷: 不能满足企业的实时监控和实时业务需求

操作型数据存储(ODS)
实施结果: 企业能够把握ODS中的当前综合数据,对企业的及时运行情况随时掌控
优势: 可以满足企业的实时监控和实时业务需求
缺陷: 不能满足企业的中远期决策需求
DW+ODS
实施结果: 企业能够分析ODS中的当前综合数据,对企业当前运行情况进行宏观控制;能够分析DW中的历史数据,对未来进行合理规划


ODS技术的引入和应用,为企业在日常经营中进行实时OLAP提供了一种解决方案,使得企业无须建立一个“臃肿”的DW,就可以进行一些非战略性的中层决策,来实现对企业的日常管理和控制,同时也能获得较快的响应速度。 from solomn
银行怎么应用 ?   当然依据银行发展过程,不同阶段做不同的IT建置,科技始终来自于人性 科技应用于生活的加值,银行是生活的加值的一种体验。而ODS+DW正是可以让生活的加值实践的一个方式。(统计 分析 企画 营销 销售 服务 管理。。。)
数据仓库:
     根据通用的数据仓库模型,来构建的用于数据分析的数据库。他是通用的,模型化的,可以扩展的。不同厂商提供的模型有差异,银行内TD 与 IBM 在这块比较多。
ODS:
     根据不同的主题,或者说不同的应用,来构建的数据库。比如说:risk,crm之类,有点针对应用出发来做的。或者说,有时候银行是先有ODS,后有数据仓库的。
历史库:
     历史库与数据仓库最大的差别,历史库顾名思义就是历史数据的存放,一般来说,数据就是最原始的数据,不作任何的加工。而数据仓库要根据模型来做数据ETL。历史库往往用于应用数据查询,如:网银历史查询,以及一些监管要求数据没有作过任何加工修改过时使用。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|Archiver|手机版|小黑屋|期货交易自动化论坛

GMT+8, 2025-8-30 10:08 , Processed in 0.080844 second(s), 27 queries .

Powered by Discuz! X3.4

© 2001-2017 Comsenz Inc.

快速回复 返回顶部 返回列表