您的位置: 网界网 > 周报全文 > 正文

[周报全文]Cloudera将Hadoop看作“万能锤”

2013年12月10日 16:05:49 | 作者:CNW.com.cn | 来源:网界网 | 查看本文手机版

摘要:Cloudera将Hadoop作为企业数据枢纽的想法非常大胆,但是现实却大相径庭。Hadoop距离让其他大数据解决方案黯然失色还有很长的路要走。

标签
Hadoop
Cloudera

当你有了一把足够大的锤子时,所有的东西看起来都是钉子。这是Hadoop 2.0所面临的众多潜在问题之一。目前,让开发者和终端用户最关注的是Hadoop 2.0大规模地修改了大数据[注]处理的框架。Cloudera计划将Hadoop 2.0打造成一把能够应对所有钉子的万能锤。

毫无疑问,Hadoop 2.0与之前的产品相比,性能有了很大的提升。在2013年10月底于纽约召开的O'Reilly Strata-Hadoop大会的主题演讲中,Cloudera向与会者阐述了由Hadoop驱动的“企业数据枢纽”理念。 各种形式的数据都可输入这个枢纽中,数据在这里可被恰当处理,并被按需提取。

这听起来非常不错,但是有多大的可行性呢?对于那些没有及时涉足大数据,现在才开始为海量数据农场(data farms)寻找恰当位置的企业来说,这类枢纽距离他们太遥远了。将这些“数据孤岛”纳入到Hadoop设施中并不是件容易的事。

尽管Hadoop也是一个相当大的障碍,但是这一理念最大的障碍并不是Hadoop本身。通过在Strata-Hadoop大会上与厂商和用户交流,我们发现,厂商和用户只是将Hadoop视为一堆水桶的零件而已,它们还需要被焊接起来才能充分地发挥作用。

Hadoop的大多数功能正在通过第三方实现,这些第三方将Hadoop的功能引入到了即时部署型(ready-to-deploy)的产品当中。不仅仅是Cloudera或Cloudera的对手Hortonworks,还包括微软(Hortonworks的合作伙伴)、亚马逊、SoftLayer、Rackspace等云服务提供商。即便在小规模的部署当中,Hadoop活动部件和尖锐毛边的绝对数量也非常的吓人。在小组会议上,甲骨文产品经理Dan McClary介绍了甲骨文在创建Hadoop工具时所付出的艰辛。这让我们看到了将Hadoop整合到可交付产品中需要付出多少努力,即便是对于甲骨文这样的大公司来说也并不容易。

另一个主要障碍仍然是将应用迁移到Hadoop。基于Hadoop的新基础设施YARN(另一种资源协调者)比以往更具开放性(+本站微信networkworldweixin),但要想在上面运行应用,还必须重新编写应用,这一工作并不轻松。届时可能会有一些应急性设备出现,以加快这一进程。

目前业内正在做大量工作,例如开发连接器、数据漏斗等,让Hadoop更好地与现有应用协同工作。尽管大部分人都认为现有应用最终都将迁移至Hadoop上,但是几乎很少有研讨会把重点放在将现有应用向Hadoop迁移这一问题上。

2014年10月前后,下届O'Reilly Strata-Hadoop大会将在纽约召开,届时Cloudera的部分声明可能不会引起太多的乐观情绪。目前的趋势是朝着将Hadoop作为现有大数据系统的补充这一方向发展,而不是向着将Hadoop作为现有大数据系统的升级系统去发展。(范范编译,更多内容详见: http://www.cnw.com.cn/P/5303

参考资料

1.大数据:(Big Data),研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 ...详情>>

[责任编辑:孙可 sun_ke@cnw.com.cn]