您的位置: 网界网 > 周报全文 > 正文

[周报全文]SAP HANA + Hadoop:双剑合璧实现大数据实时分析

2014年09月22日 16:54:15 | 作者:网界网记者 周源 | 来源:网界网 | 查看本文手机版

摘要:近日,英特尔中国与SAP中国在以“数据芯处理 高效创共赢”为主题的媒体沟通会上,介绍了双方共同打造的、基于英特尔硬件平台的大数据实时分析解决方案,以帮助企业用户提升海量数据分析效率,加速获取实时的业务洞察。

标签
大数据
实时分析
Hadoop
SAP HANA

近日,英特尔中国与SAP中国在以“数据芯处理 高效创共赢”为主题的媒体沟通会上,介绍了双方共同打造的、基于英特尔硬件平台的大数据[注]实时分析解决方案,以帮助企业用户提升海量数据分析效率,加速获取实时的业务洞察。

大数据实时分析,其实是目前大数据应用领域内诸多用户及厂商所共同关注的焦点话题——继过去几年间海量复杂结构数据的存储、清洗、处理、查询和基本的分析功能在开放架构开源平台上得以实现后,对这些数据价值的深度挖掘。特别是实时的分析和挖掘,更是成了企业用户迫在眉睫的需求。他们都渴望利用新的技术和方案,以更快的大数据分析速度,以及更精准的分析结果来辅助和支持更为高效的商业决策。

英特尔(中国)有限公司数据中心及云计算[注]业务产品市场总监贺晓东,还从数据处理分析技术发展的角度,解释了双方合作创新的理由所在。

“传统的‘小型机+集中式存储’架构不再适用所有应用场景,数据处理分析技术朝着更快、更大和更高性价比发展。其中,对‘更快’的需求催生了内存计算、实时计算,SAP HANA就是典型代表。Hadoop则满足海量数据存储与计算要求,对高性价比的追求,加速了数据分析硬件平台从封闭系统向开放x86平台的迁移。”贺晓东说。

英特尔中国因此一年前开始和SAP中国进行联合创新,基于开放的英特尔架构硬件平台,结合SAP HANA及时的内存计算,以及Hadoop可扩展的业务挖掘分析,帮助用户实现更快、更高性价比的大数据实时分析。

英特尔与SAP合作已经长达二十多年。“我们HANA每一个版本都要在英特尔平台上做验证,为提高实时计算效率,我们与英特尔做了大量深层次底层优化工作。” SAP公司数据库及技术平台部售前总监、数据管理技术首席架构师宋一平说。

不过,英特尔与SAP以前的合作都是发生在总部,而本次大数据实时分析平台却是由英特尔中国本土研发力量所发起和完成。“这是我们两年前成立的英特尔中国云创新中心所主导的一项创新,平台搭建出来后,海外的一些厂商与用户也相当感兴趣。”贺晓东不无骄傲地说。

数据量够大,数据又多样化的传统企业级用户被视为该大数据实时分析平台的典型用户。“首先是数据量够大,如果只是几十或几百G数据,用传统关系型数据库即可;二是数据呈多样性,即除了关系型数据(+微信关注网络世界),还有很多非结构化或半结构化数据;三是该方案主要针对传统企业级用户,因为互联网用户技术实力通常比较强,热衷于采用纯开源方案,而传统企业级用户则适合采用一些初始投入成本较高,但后期运维省心的商业解决方案。”英特尔中国云创新中心解决方案架构师程从超解释说。

在发布会现场的实时演示环节,英特尔再现了一个业务场景:模拟某省用户两天的移动上网记录,在Hbase中存储详单,共40亿条记录。通过Hadoop Map/Reduce计算出轻度汇总数据4亿条,存入SAP HANA中。

现场演示显示,对HANA中4亿条数据进行任意维度组合查询,响应时间都在秒级;对Hbase的详单查询,响应时间也在分钟级。

目前,英特尔中国云创新中心已经搭建好了这样一套大数据实时分析平台,开放给所有企业用户进行大数据方案验证和性能测试。贺晓东表示,这样一个测试与验证环境能够显著降低用户初期投入成本,从而加速用户大数据解决方案的落地。据悉,由于采取“边建设边测试”模式,国内的一些电信、证券和能源行业用户实际已率先体验了该平台。(更多内容详见: http://www.cnw.com.cn/P/5943

参考资料

1.大数据:(Big Data),研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 ...详情>>

2.云计算:(Cloud Computing)描述了一种基于互联网的新的IT服务增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展而且经常是虚拟化的资源。云计算是继1980年代大型计算机到...详情>>

[责任编辑:孙可 sun_ke@cnw.com.cn]