证券企业数据中心构建中数据采集子系统的研究与开发
| 文献类型 | 学位 |
| 作者 | 崔庆海[1] |
| 机构 | 北京航空航天大学 ↓ |
| 授予学位 | 硕士 |
| 年度 | 2004 |
| 学位授予单位 | 北京航空航天大学 |
| 语言 | 中文 |
| 关键词 | 企业数据中心;组件;数据采集;数据抽取;数据转换;数据装载 |
| 摘要 | 企业数据中心(EDC)构建的理论基础是数据仓库(DW)技术.该文通过对证券行业应用系统现状的分析,指出证券企业建立数据中心的重要性.然后介绍了数据仓库技术和ETL(在证券行业中被称为数据采集)技术的发展、现状以及国内数据仓库建设存在的问题,并说明采用手工编程实现数据采集的原因.数据采集(Data Collection)是企业数据中心建设过程中必不可少的、最重要的环节.数据采集包括数据的抽取、转换、装载三个过程.通过对证券企业中传统的采集模式的分析,指出了这种模式存在的弊病:抽取的数据不够完整、准确,数据装载的效率很低.作者提出了组件化的采集方式,通过增加中间层——采集机,在中间层进行数据抽取、转换和发送,降低了对数据源、数据中心两个数据库的压力;使用连接池、线程池、批量装载等技术提升了数据装载的效率;使用几种改进的数据抽取方法,保证了数据抽取的准确性和完整性.结合广东证券的需求,在确定了深圳金证公司的数据中心系统的体系结构之后,介绍了各个子系统的功能和设计,尤其深入介绍了数据采集子系统的设计.然后详述了数据采集子系统的具体实现过程,包括数据库表的设计、数据抽取方法、数据装载的具体实现,数据源端和中心端的业务处理流程等.最后,通过测试数据证实了组件化的采集模式的确可以提高数据采集的性能. |
影响因子：
dc:title:证券企业数据中心构建中数据采集子系统的研究与开发
dc:creator:崔庆海
dc:date: publishDate:1753-01-01
dc:type:学位
dc:format: Media：北京航空航天大学
dc:identifier: LnterrelatedLiterature：北京航空航天大学.2004.
dc:identifier:DOI：
dc: identifier:ISBN:
