您的位置: 网界网 > 周报全文 > 正文

[周报全文]“小”成本实现大存储

2013年11月12日 15:21:44 | 作者:CNW.com.cn | 来源:网界网 | 查看本文手机版

摘要:大数据对存储容量的高需求,让CIO不得不为新增的存储容量买单。但或许可以通过几种方法来降低大数据存储带来的成本提升。

标签
存储
大数据
云存储

存储:降低成本的新方法

大数据[注]存储策略中,云存储正在发挥越来越重要的作用。在业务遍布世界各地的企业(例如石油和天然气)中,从传感器生成的数据被直接发送和存储到云环境中,在很多情况下,他们还在云中进行数据分析。

IDC的Nadkarni指出:“如果你需要从10个或更多的来源收集数据,就不太可能将其积压到一个数据中心,因为存储这么多数据不符合成本效益。”

例如,多年来GE公司一直在对机器传感器上的数据进行分析,他们使用“机器对机器”大数据来制定飞机维修计划。Campisi表示,几个小时内,从电厂燃气轮机收集的数据量都可以让从社交媒体网站一整天收集的数据量“相形见绌”。

企业正在使用云计算[注]来收集数据(+微信关注网络世界),并当场分析数据,省去了将数据转移到数据中心的麻烦。Nadkarni补充说:“像亚马逊这样的公司可以给你一个计算层来分析云计算中的数据,当完成分析后,可以将数据从S3层转移到Glacier层。”

Glacier是亚马逊云计算服务今年早些时候推出的低端存储方式,这种存储方法旨在将数据“搁置”数十年。其他公司也推出了类似的云计算存储服务。Csaplar指出,这些产品价格合理,并且拥有专业的管理,并可作为最终的存储场所。

Nadkarni表示:“只要你的数据没有任何敏感信息,就可以将数据转存到这种存储方式,减少数据中心占地面积。”

主流企业也开始对使用云计算存储和分析数据表现出浓厚的兴趣,在IDC报告的调查中,约有20%的IT领导称已经将数据转移到云计算来增加他们的分析能力,即使他们有自己的数据中心来执行分析。

“这主要有两个原因,”Nadkarni解释说:“首先,很多时候这些项目不是由IT部门进行的。其次,由于部署时间的限制,很多企业发现他们可以更容易地在云中启动多个实例,所以执行时间可以从几周缩减到几天。”

Campisi表示,其部门支持的大部分客户仍然在现场存储和分析数据。“我们正在越来越多地使用云计算技术和功能来支持我们的策略。从客户的角度来看,这更像是传统的方法,他们可以使用自己企业的内部数据中心。”

Catalist的Crigler正在试图弄清楚如何将所有的Catalist数据转移到云计算环境中。该公司已经将涉及选民身份信息的数据库复制到云计算中。“因为这是大量数据,经常需要使用,”他表示:“在选举的四到五个月前,这些数据都需要使用。因此,扩展处理能力和投入更多磁盘及CPU是非常重要的。”

他还试图想出一种策略,根据对数据类型的需求,以及对历史数据进行分析查询的需求来挖掘最大的性能。

“这是一个很大的挑战。”Crigler说:“例如,亚马逊的Elastic Block Store很慢,而S3更慢,最好的选项又是最昂贵的。如将专用存储附加到大型亚马逊服务器上,这真的很昂贵。因此,你需要想办法为不同类型和不同时间的数据进行分析,以及计算性能价格比,并根据真实的需求来优化存储。”

虽然很多公司仍然处于解决其大数据存储策略的早期阶段,但相信在不久的将来,超大规模计算环境(例如谷歌和Facebook的环境)将会越来越普遍。

“这正在发生。”Nadkarni表示:“这种完全基于服务器的存储设计,是亚马逊、Facebook和谷歌等公司遵循的做法的直接结果。”

在硅谷,很多初创公司正在基于这些公司的原则提供大数据存储系统。在VMware最近的VMworld虚拟化会议上,至少有十几家公司的创始人曾经在谷歌和Facebook工作过。

出于法律原因,这些初创公司不能直接复制其前雇主的“神奇”,但其原则已经广泛普及。在未来几年,你将看到这种超大规模计算环境进入主流企业。因为没有任何其他方法能做到这一点。(更多内容详见: http://www.cnw.com.cn/P/5246

12 3

参考资料

1.大数据:(Big Data),研究机构Gartner给出了这样的定义。“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 ...详情>>

2.云计算:(Cloud Computing)描述了一种基于互联网的新的IT服务增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展而且经常是虚拟化的资源。云计算是继1980年代大型计算机到...详情>>

[责任编辑:孙可 sun_ke@cnw.com.cn]