功能简介

大数据平台一般具有使用简便、运行高效、易于扩展、安全可靠等特点,具有业界完整的SQL on Hadoop支持,实现完整支持SQL标准,增强分布式事务处理能力,全面支持MPP场景;突破实时处理计算框架,支持物联网实时业务分析;最完整的并行数据挖掘算法库,并能实现前沿机器学习组件;一站式图形化的数据开发套件,可快速分析应用;可快速建立一个统一的数据和计算平台,快速支持内部/外部数据的采集与集成、实现海量数据的存储、并提供极佳的数据计算与深度分析挖掘能力,从而满足用户多种数据的处理需求。

项目流程

数据采集和交换
通过对各个业务系统的指定业务数据进行汇聚,将分散的数据进行物理集中和整合管理,为实现对数据的分析提供数据支撑。将为各业务系统之间的业务协同,提供统一和集中的数据交互共享服务。包括数据交换、共享和ETL等功能。
海量数据存储管理
大数据平台从各个业务系统里抽取的数据量巨大,数据类型繁杂,数据需要持久化的存储和访问。所有数据经过数据存储引擎进行建模后,持久化保存在存储系统上。存储系统要具备高可靠性、快速查询能力。
数据计算分析
包括海量数据的离线计算能力、高效即时数据查询需求和低时延的实时计算能力。数据平台具备线性扩展能力和强大的分析能力,支撑不断增长的数据量,满足未来政务各类业务工作的发展需要,确保业务系统的不间断且有效地工作。
数据关联集中
对集中存储在数据管理平台的数据,通过分析数据间的业务关系,建立关键数据之间的关联关系,将离散的数据串联起来形成能表达更多含义信息集合,以形成基础库、业务库、知识库等数据集。
应用开发
依靠集中数据集,快速开发创新应用,支撑实际分析业务需要。
大数据分析挖掘
通过对海量的政务业务大数据进行分析与挖掘,辅助政务决策,提供资源配置分析优化等辅助决策功能,促进业务的发展。