od体育官方网站注册网址,od体育app官网下载,od体育最新登录网址,od体育平台,od体育app,od体育app下载,od体育靠谱吗,od体育,od体育下载,od体育官方网站,od体育官网,od体育投注,od体育下注,od体育买球,od体育世界杯,od体育欧洲杯,od体育赛事,od体育开户,od体育注册,od体育登录,od体育入口

　　银行ODS系统介绍 3/9/2011 大纲 ODS总体介绍 ODS系统解决方案 Greenplum数据库介绍 3/9/2011 2 商业银行信息系统业务范畴 建设商业银行各类业务流程之后 核心业务 核心业务 中间业务 如何把管理经验信息化 中间业务 如何应对监管要求 信用卡 信用卡 如何体现管理中的股东利益 OCRM OCRM 如何识别、规避和管理各类风险 证券 财务 资产 证券 绩效 负债 信贷 管理 如何实现以客户为中心的体系 信贷 如何为客户提供恰当的服务 对公 个人 如何使各类信息系统支持营销 客户 票据 保理 关系 风险 如何进行产品定价 管理 管理 渠道 渠道 如何建立银行全面绩效体系 网点前置 如何辅助管理部门和领导进行决策 网点前置 如何为各业务部门提供精确业务信息 网上银行 网上银行 手机银行 手机银行 呼叫中心 呼叫中心 3/9/2011 3 。 享 问 是要要 共 等 。 据 是 标 据 个个标 ，的的 能 余 识 数 ， 个 数 一一 个 切 不 冗 标 。 台 切 、 台 在在 一一 、 迫 息 储 一 余 平 迫 的 平 成 的 存 惟 冗 立立成 最 信 息 最 展 息 据 户 据 中 形 展 建建形 间 展 信 展 发 信 数 客 数 手 ， 发 务务 ， 发求求 之 理 发 ， 为 、 理 续 理 下 续 业业 下 行 互 发 作 虑 义 下 经 管 行 持 管 之 持 相 类类之 银 开 号 考 定 低 户 的 银 可 的 ， 架 可 理理架 业 ” 复 编 筹 要 率 客 致 业 、 致 框 、 管管框 商 岛 重 户 统 需 效 于 的 一一 商 的 的 孤 类类的 前 能 客 准 有 互 、 在 要 径 前 化 径 息 各各 一一 化 功 的 标 没 交 构 存 需 目 口 目现 准 口 信 把把统统准 “ 在 一 类 还 据 结 式 切 表 成 存 统 分 性 数 状 形 切 迫 体 形 ， 有 等 联 和 网 的 帐 迫 用 ， 立 没 道 关 输 ， 质 记 分 应 础 具 中 独 ， 渠 其 传 效 介 工 十 多 基 统 互 立 、 ， 据 低 纸 手 已 许 的 系 相 独 品 统 数 而 以 式 用 为 析 形 务 统 对 。 产 系 、 杂 还 l 应 已 分 e 业 。 系 相 合 、 的 口 复 料 c 再 留 为 x 各 能 各 息 整 户 中 接 换 资 E 准 与 保 行 4 在 可 ， 信 要 样 客 设 据 交 户 以 标 理 线 户 储 的 上 户 需 一 一 建 数 据 客 统 乏 整 在 客 存 失 用 客 据 致 范 不 统 和 的 数 的 系 缺 的 的 是 散 流 利 的 数 一 规 准 行 划 间 的 贵 务 据 据 据 据 分 息 据 统 的 不 不 标 全 规 统 间 宝 业 数 数 数 数 据 信 数 。 系 散 据 码 类 要 在 系 统 多 分 工 工 史 史 数 有 在 题 各 分 数 代 分 需 正 各 系 许 部 手 手 历 历 虑 难 考 筹 题 统 困 有 问 没 的 的 一 换 在 享 统 交 临 共 不 据 存 能 准 数 面 遍 不 标 与 息 务 性 市 普 信 业 联 留 ， 、 关 保 散 范 的 据 据 集 分 规 统 数 数 1 1 据 据 系 工 史 0 2 数 数 各 手 历 / 用 9 / 3 应 设 建 ODS定义 什么是ODS？ ODS是一个面向主题的、集成的、可变的、当前的细节数据集合，用于支持企业对于即时性的、操作 性的、集成的全体信息的需求。 Kimball关于ODS的定义（数据仓库生命周期工具集）： – 是操作型系统中的集成，用于当前、历史以及其它细节查询(业务系统的一部分) – 为决策支持提供当前细节数据(数据仓库的一部分) 3/9/2011 5 ODS定位 ODS定位： 在业务系统和数据仓库之间形成一个隔离层 转移业务系统细节数据查询的功能 对各系统业务数据进行标准化、规范化，进行数据质量管理，实现全企业的统一数据视 图 支撑跨系统数据的应用，提供数据共享，建立全行一体化的数据服务机制 满足银行在业务经营和精确管理方面对高质量、高时效信息共享的迫切需求 3/9/2011 6 ODS系统目标 数据整合 1. 统一数据模型 2. 统一数据标准 3. 统一数据视图 作为企业运营数据共享 数据质量的校验及管控 平台，集成企业各业务 系统中的运营数据，按 照企业数据模型收敛并 数据共享 整合数据，提供运营数 1. 消除网状接口，以ODS为中心建立数据共享中心，为各业 据共享，支撑跨系统数 务系统提供共享数据，降低接口复杂度，提高系统间接口 据的应用，提升数据质 效率与质量 2. 以实时或准实时的方式将整合或计算好的数据向外系统提 量 供 数据应用 1. 查询应用 2. 固定报表应用 3. 动态分析应用 4. 风险监控应用 5. 营销支撑应用 3/9/2011 7 ODS业务目标 统一客户视图的提供及展示 ODS作为一个独立的系 生产经营报表统一的提供和展示 统，是企业数据架构的 重要组成部分。ODS完 成跨系统数据整合后， 可实现的业务目标包括： 生产经营关键绩效指标与经营风险的监控 生产经营过程所需跨系统数据的批量计算 营销支撑应用 3/9/2011 8 ODS系统逻辑架构 ODS系统未建前： 3/9/2011 9 ODS系统逻辑架构 ODS系统搭建后： 3/9/2011 10 ODS逻辑架构说明 3/9/2011 11 ODS逻辑架构说明 ODS数据采集：ODS不产生、不修改源数据；ODS的数据主要来源于联机交易系统，通过数据抽取、加载过程 完成本系统内数据更新。 数据组织： ODS主要提供细粒度运营数据，也存在部分粗粒度汇总数据，但维度相对DW简单。 ODS按关注生产运营过程的统计与监控为主的生产视角主题域方式来组织数据，一般基础数据与源业务系统接近。 ODS提供当前数据的统计与监控。 系统功能： 查询：交易型查询由业务系统完成，ODS提供集成数据的查询分析服务，分担业务系统压力。 报表：基于跨系统数据的固定或动态报表；基于单系统数据的、实时性要求不高的固定或动态报表。 计算：提供基于跨应用的、当前数据的计算加工功能，为各类集市提供汇总指标数据。 近实时应用：ODS可以按需提供联机近实时应用，例如基于事件、基于业务规则的数据检查和预警。 3/9/2011 12 ODS的实施价值 降低管理信息系统建设复杂度 减少重复的技术和应用开发投资，大幅降低管理信息系统的总体成本 降低信息分析成本，缩短应用集市的投产周期，并可提高数据质量，延长信息系统寿命 提供高质量的数据服务和技术平台 有利于经验和成果的复制 3/9/2011 13 ODS的发展前景 价值驱动 金融服务业的业务改善机会（BIO) CRM CRM 事件和营销 自动化服务标 营销支持 行为分析和建 关系优化和对象 客户管理 营销支持 客户管理 模 客户分群 准 CRM 投资回报 活动管理 综合报表 综合报表 销售业绩管理和 渠道业绩管理和 产品业绩管理 流程业绩管理 客户价值管理 整合績效管理 运营和绩效管理 关键绩效指标 关键绩效指标 和关键绩效指 和关键绩效指 KPI KPI 标 标 绩效考核 绩效考核 企业级风险管 基于ODS的金融业务改善机会理(ERM) 合规要求和披露 基于ODS的金融业务改善机会 市场风险管理 信用风险管理 操作风险管理 反欺诈和反洗 风险管理 金融监管 风险调整后 金融监管 钱管理 (Basel II) 绩效评估 (RAPM) 风险管理 风险管理 监管报表和披露、 资金转移计价, 定价行为收益 财务管理 萨班斯·奥克斯 资产负债管理和 基于行为的 财务预算和规 合并和收购管 SVA 驱动的绩 利法案及国际会 资本管理 成本法 划 理 效管理 计标准 Ad-Hoc Ad-Hoc 管理会计 管理会计 信息管理 数据合理化和单 数据集市合并 审计、稽核和 ETL效率 运营弹性和灾 性能管理和可 一视图 数据质量 难备份计划 用性 3/9/2011 14 ODS与DW的关系及区别 概要比较： 分类 ODS系统 DW系统 目的 接近实时监控 决策支持 共同点 整合数据 整合数据 面向主题 面向主题 不同点 动态数据（延迟1秒） 静态数据（延迟24小时） 当前数据 历史数据 细节化数据 概括性数据 实施方案比较： 实施方案 实施结果 优势 劣势 DW 企业能够分析DW中的历史数据，进 可以解决企业的决策需求 不能满足企业的实时监控和实时业 行中远期的规划 务需求 ODS 企业能够把握ODS中的当前综合数 可以满足企业的实时监控和 不能满足企业的中远期决策需求 据，对企业的及时运行情况随时掌控 实时业务需求 3/9/2011 15 ODS与DW的关系及区别 分类比较： 分类 ODS系统 DW系统 使用对象 一线的生产和管理人员。 专业分析人员和企业中高层管理人员。 数据来源 ODS的运营数据来源是生产系统。 DW运营数据主要从源系统或ODS获取；ODS没有 提供的运营数据直接从源系统中提取。 数据获取性能与及时性 ODS主要以小批量近实时方式支持OLTP类型 DW主要以批量方式加载数据，数据实时更新要求 的数据更新，数据更新时间短，性能与及时性 不高。 都高于DW。 数据架构 ODS主要提供细粒度运营数据，也存在部分粗 DW主要提供多层粗粒度汇总数据，且分析维度和 粒度汇总数据，但维度相对DW简单； 时间周期相对ODS更多； ODS按关注生产运营过程的统计与监控为主的 DW按关注对历史数据的深层次分析与挖掘为主的 生产视角主题域方式来组织数据； 分析视角主题域方式来组织数据； ODS提供当前数据的统计与监控。 DW提供历史数据的展示和分析。 数据共享 ODS直接为生产系统提供运营数据的准实时共 DW不为生产系统提供数据共享服务。 享服务 系统功能 数据服务，为生产系统提供数据共享； 深层次的历史数据分析； 查询功能，例如客户账单/详单数据查询等； 多维分析，支持多个维度的主题分析，趋势分析与 报表功能，报表内容主要面向生产数据的统计 问题发现； 与监控； 数据挖掘，例如客户消费行为分析、客户流失倾向、 数据质量审计和监控管理。 客户价值评估等； 提供评估与决策功能。 技术特征 ODS主要实现大并发量数据访问； DW主要实现小并发量数据访问； 支持OLTP类型和OLAP类型的数据操作。 支持OLAP类型的数据操作。 3/9/2011 16 大纲 ODS总体介绍 ODS系统解决方案 ODS系统整体架构 ODS建设路线 Greenplum数据库介绍 3/9/2011 17 大纲 ODS总体介绍 ODS系统解决方案 ODS系统整体架构 ODS建设路线 Greenplum数据库介绍 3/9/2011 18 ODS 系统整体架构 3/9/2011 19 大纲 ODS总体介绍 ODS系统解决方案 ODS系统整体架构 ODS建设路线 Greenplum数据库介绍 3/9/2011 20 ODS建设路线 整体规划，分步实施 统一模型，统一接口 稳健推进，平滑过渡 进 建立企业级运营数据共享平台 演 扩大整合的数据域 化 建立完善数据质量管控体系 加强管控，有序实施 优 断 扩展数据质量功能 不 构建全面高效的营销支撑应用 提供全面数据共享服务 扩展与完善企业经营报表 扩展批量计算功能 完成核心数据的整合 扩展营销支撑应用 实现数据质量管理 建立初步的数据共享中心 3/9/2011 21 大纲 ODS总体介绍 ODS系统解决方案 Greenplum数据库介绍 产品功能 产品优势 性能测试 3/9/2011 22 大纲 ODS总体介绍 ODS系统解决方案 Greenplum数据库介绍 产品功能 产品优势 性能测试 3/9/2011 23 Greenplum架构 MPP (Massively Parallel Processing) SQL Shared-Nothing Architecture SQL MapReduce MapReduce Master Severs ... ... 生成查询计划分配派发 汇总执行结果 Network Interconnect Segment Severs ... ... 执行查询计划 数据存储管理 External Sources 并行装载或导出 3/9/2011 24 私有云计算平台 Private Computing Cloud 云计算特点 Greenplum特点 超大规模 大规模并行处理无共享架构，支持1000个以上节点 虚拟化 支持主流虚拟化技术 高可靠性 多级容错机制，高可靠Mirror技术 通用性 支持各种工具、开发框架和接口 高可扩展性 增加节点，性能和存储容量线性扩展 按需服务 多维负载管理技术，资源随需定制 低总体成本 采用X86架构PC Server，更低TCO 3/9/2011 25 并行数据流引擎 MPP核心技术 MapReduce代码 （Python、Perl等） ODBC Query Planner 交易管理器 JDBC 并行数据流引擎 及优化器(SQL) 及日志文件 etc 利用原生MapReduce模型实现，比传 统快数十倍 外部存储 数据库存储 全部SQL逻辑都可以并行执行 并行技术加载和导出数据 并行数据备份和恢复 3/9/2011 26 Master and Segment Node Master Node Master Master • 建立与客户端的连接和管理 • SQL的解析并形成执行计划 • 执行计划向Segment的分发 • 收集Segment的执行结果 • Master不存储应用业务数据，只存储 Segment Segment Segment Segment … 数据字典 Segment Node • 业务数据的存储和存取 • 用户查询SQL的执行 3/9/2011 27 数据均匀分布 并行处理的关键 Order Order r e m r r o e e e t d d t s r r a u D O O D C I • 数据均匀分布在每一块磁盘上面 • 发挥每一块磁盘性能，根本上解决I/O瓶颈 • 支持数据Distribution分布和Partition分区 3/9/2011 28 Master Node 高可用性 Standby Master Node 当Primary Master出现故 障时，热备份Standby Master 担它全部工作 热备份Standby Master 通过复制进程，保持与 Primary Master的交易日 志同步一致 3/9/2011 29 Segment Node 高可用性 Mirror Technology Segment 1 (primary) Segment 1 (mirror) • RAID保护驱动器故障，Mirror Segment保护服务器故障，同一份数 据在集群内有4份copy • Mirror Segment接管不丢失服务，快速在线 并行加载和导出 MPP Scatter/Gather 业界最快加载速度 • 业界最快的加载速度 10TB/Hr • 基于MPP Scatter/Gather流 技术的高性能并行加载和导 出功能 • 加载速度随着节点线性增加 ，加载速度随着ETL Server线 负载管理技术 资源随需定制 3/9/2011 32 列存储技术 大幅提高I/O性能 什么是列存储？ • 传统数据库将所有记录中的每一行数据聚合 A B C 存储，而列存储将每条记录的每一列字段数 1 A1 B1 C1 据聚合存储 2 A2 B2 C2 • Sysbase IQ以列存储为主要卖点，现在被包 3 A3 B3 C3 4 A4 B4 C4 容进Greenplum 5 A5 B5 C5 6 A6 B6 C6 列存储的好处 • 每个字段聚合存储，试想50个字段的表，取 其中3个字段，行存储需要每个读一次，列存 储只需要读3次，大幅节省I/O操作 • 适合于OLAP应用，大数据量频繁访问，性能 提升30%以上 3/9/2011 33 数据压缩技术 多维压缩方式 数据压缩的好处 • 显著地减少占用的磁盘空间，降低存储成本 • 磁盘I/O速度与CPU和内存有很大差距，利用CPU和内存的闲置资 源还原数据，大幅提高磁盘I/O性能 • Partition定义多维压缩方式和压缩比 3/9/2011 34 动态在线扩容技术 Master interconnect seg1 seg2 seg3 seg4 seg5 seg6 系统永不停机 • 容量和性能在扩展后线性增长 • 数据自动在所有节点上重新分布 3/9/2011 35 实时运行性能监控器 Performance Monitor • 互动的基于Web的性 能监控工具 • 支持实时和历史视图 ，问题回溯 • 实时资源利用情况 • 实时SQL执行情况 • 问题和查询内部细节 3/9/2011 36 支持各种工具和接口 Oracle 抽取、转换、加载 分析型应用…… EMC • SAP BO Postgres Hitachi Cisco • Actuate • Oracle BIEE • Cognos 数据文件 • …… 支持SQL直接并行访问 支持符合X86架构硬件平 外部数据文件 支持各种 支持各种 台 数据源 ETL工具 支持ODBC/JDBC等多种 支持外部编程直接使用 接口 SQL并行访问数据库 3/9/2011 37 大纲 ODS总体介绍 ODS系统解决方案 Greenplum数据库介绍 产品功能 产品优势 性能测试 3/9/2011 38 Shared-Nothing 架构优势 红色表示共享资源 绿色表示无共享资源 Shared- Shared-Storage Shared-Nothing Everthing Master DB DB DB DB DB DB DB DB DB Disk SAN/共享存储 Disk Disk Disk Disk 3/9/2011 39 大规模并行处理优势 真正意义上的并行处理 • 利用原生MapReduce模型实现 ，业界效率最高的并行处理引擎 • 全部SQL逻辑都可以并行在每一 Master 个Segment Node执行 • 负载根据Segment Node数量自 动均衡 • DB2 DPF中只有主节点可以执行 SQL逻辑 Segment Segment Segment Segment • Oracle Exadata需要数据搬迁到 RAC Server中执行SQL逻辑 3/9/2011 40 性能优势 ） 钟 分 （ 例 比 间 时 花 所 置 配 件 硬 和 量 据 数 同 相 60 50 40 30 20 10 1分钟 0 Oracle DB2 Teradata Greenplum 3/9/2011 41 并行加载和导出优势 业界最快并行加载速度10TB/Hr • 并行加载技术充分利用分布式计算和分布式存储的优势，保证发挥出每一块Disk 的I/O资源 • 并行加载比串行加载，速度提高40-50倍以上，减少ETL窗口时间 • 增加Segment和ETL Server，并行加载速度呈线 行列组合存储优势 C C C o o o l l l Row 1 u u u m m m Row 2 n n n 1 2 3 Row 3 行存储 列存储 • 大多数字段频繁查询 • 少数字段查询，大幅节省 • 随机行访问较多 I/O操作 • 大数据量频繁访问，性能提 升30%以上 组合存储 • 按照应用类型，随需定制 Partition存储方式 • 达到最优化访问性能 3/9/2011 43 动态在线扩容优势 系统永不停机 • Greenplum动态在线扩容技术， 可以保证客户在扩容期间不宕机 在 线 • 不能动态在线扩容，高可用性无 在 在 线 数 线 数 据 数 据 从谈起 据 重 重 重 分 分 分 布 • 宕机意味着利润的流失，客户需 布 布 要可靠的IT环境 • 采用Teradata某省移动公司经分 0101 0101 0101 系统扩容停机3天 0101 0101 0101 0101 0101 0101 3/9/2011 44 0 1 e l 2 c m a B 8 u r D l O p n e e r G 5 6 ） 4 个 （ 数 点 节 4 2 线 性 能 容 扩 和 吞 吐 量 最大集群规模 EMC Greenplum