您的位置: 网界网 > 周报全文 > 正文

[周报全文]通用中的学问—石油勘探与高性能计算集群应用

2008年07月16日 15:55:17 | 作者:网界网 宋家雨 | 来源: | 查看本文手机版

摘要:在专属系统的高性能与通用性集群的低效之间,石油用户选用了集群。而提高集群效能,改善应用环境,实现绿色节能就成为了当今应用的重点。

标签
石油
高性能计算
在专属系统的高性能与通用性集群的低效之间,石油用户选用了集群。而提高集群效能,改善应用环境,实现绿色节能就成为了当今应用的重点。

【CNW.com.cn 专稿】高性能计算对于石油行业的重要性毋庸赘述。对于石油行业而言,所需要的计算能力是永无止境的。

计算能力从哪里来

谈到石油行业所需要的计算能力,记者所接触的用户都会说到通用性、高性能计算集群。所谓通用性就是说较之其他行业而言,石油行业所采用的集群并没有什么特殊性,多采用IA架构服务器,通过千兆以太网、MyrinetInfiniband网络组成服务器集群。

今年HPC集群较之以往最大变化是刀片服务器以及Infiniband网络的流行。据南京石油物探研究所总工程师赵改善介绍,去年他们引入了一套拥有452个处理器的集群系统,其中计算节点210个,全部采用IBMHS21刀片服务器。另有12I/O节点、2个管理节点和2个登录节点,它们采用x3650 1U机架式服务器。计算节点之间采用20GbpsInfhiband网络进行连接,而管理网络则采用千兆以太网互联。据介绍,在服务器配置上,此次采购比较注重内存容量大小对于计算性能的改善。

据东方地球物理勘探公司研究院副总工赖能和介绍,东方地球物理勘探目前的计算能力累计已经达到了230万亿次/秒,去年他们也引入了刀片服务器集群系统。刀片服务器受青睐,与其良好的节能特性、高密度部署和良好的可管理特性有关。据介绍,2005年东方地球物理勘探集群系统用电支出就达到了334万元,到了2007年,随着新集群系统投入使用,其用电支出更是激增到了792万元。预计今年将会达到1300万元,其增加速度之快令人瞠目。

缩短作业的运行时间,提高计算的效率,对于绿色节能可谓是立竿见影,而这一点往往为很多用户所忽略。英特尔公司软件和解决方案部石油行业专家兰斯舒勒博士指出,对于计算效率产生影响的主要有三个因素:I/O、浮点运算能力以及存储带宽。

兰斯博士表示,多核是实现高性能低功耗的有效手段。从测试效果看,从单核、四核到双路八核,所获得的浮点运算能力呈线性提升,其节能效果非常显著。除此之外,众核也是目前业内讨论最多的话题。首次突破千万亿次/秒计算能力的Roadrunner系统,就采用了类似众核的系统。它采用了三种处理器,其中,12960Cell处理器的作用就类似协处理器,而每个Cell处理器拥有一个PowerPC处理器和8个从处理器。英特尔千万亿次产品线系统结构专家大卫斯科特博士指出,运作这种系统需要3类工具集:节点处理器、PowerPC处理器,以及从处理器,其应用非常复杂。该系统除了服务于美国能源部位于Los Alamos的国家实验室 (LANL)的特定项目需求之外,是否还可以应用在其他的应用项目上,对此,业内也充满了争论。

英特尔实验室也发布了一款可编程万亿次浮点的计算芯片。该芯片集成了1亿个晶体管,共80个计算单元,其面积仅为275平方毫米。英特尔将这款众核产品命名为Larrabee。大博士指出,对于众核产品而言,更富挑战性的是需要改变编程程式,它意味着现有的这些应用不能直接运行在众核产品上,而是需要重新进行编程。对于用户业务应用而言,这将是一个巨大的挑战。

关注系统优化

在性能与通用性之间,石油行业用户普遍采用了通用性的集群,这些集群系统的应用效率不高,但是从性价比的角度加以衡量,却更容易被用户所接受。

通用性集群的效率是用户需要面对的问题。兰斯博士所指出的效率影响三要素都是需要重点考虑的问题。对此,东方地球物理勘探进行了大量的尝试。

据赖能和介绍,通过对磁盘I/O、网络等高性能计算集群部件的不断测试并调优,其系统效能改善效果明显。例如:利用存储资源整合技术,他们把不同阶段引入的高性能计算集群应用系统与全光纤磁盘整列,以及普通具有FC接口的SATA磁盘整列进行整合,充分发挥SAN的优势,实现存储资源的共享。通过整合,他们把原本一对一的存储关系演变为一对多,令结构更加清晰,管理更加简单。与此同时(+本站微信networkworldweixin),东方地球物理勘探重视利用现有资源,提高作业的效率。例如他们对现有的一套IBM 3494磁带库进行升级,不仅容量从23TB提高到690TB,其I/O的效能也提高了5倍。

博士指出,有关系统调优,更多会涉及到Amdahl定律,它强调了串行部分的改善,从理论上讲,用户完成作用的时间是由串行部分的效率来实现的。但是这仅仅是理论,从实践的结果看,计算节点之间的通信效率对于运行效率的影响更甚于串行程序部分,这就是为什么目前通用集群系统计算节点之间更倾向于Infiniband网络进行连接的原因。

系统优化离不开工具和方法,这也是为什么作为一家芯片公司,英特尔还要提供软件开发工具的原因。此前曾经介绍过,为推动能源等上游企业的发展,并发挥英特尔在处理器制造领域所掌握的丰富知识与经验,英特尔为用户提供了多种系统调优软件,包括调优工具、编译器、类库、集群工具以及多线程工具等。目前这些软件都可以通过网络下载试用的版本。

随着多核的运用,处理器性能可说是空前的强大,如何充分发挥多核效能,对于用户而言非常重要。以胜利油田为例,目前该项目仍然以18.6万亿次/秒的速度居国内企业全球高性能计算Top500之首。该项目最初计算能力仅为9.28万亿次/秒,通过采用Intel Compilers(编译器)和Intel VTune Analyzers等工具,借助MPI+Open MP混合编程,经过先后7次调优,才最终达到了18.6万亿次/秒的水平。

高密度数据中心机房制冷解决方案

绿色节能降耗

伴随着系统效率的提升,还有很多绿色节能的方法。英特尔解决方案中国区技术部经理梁岩指出,45nm制程工艺给处理器带来了更高的性能和更低的闲置功耗,用户应该充分结合这些底层技术,发挥45nm处理器低功耗的优势。为此,梁岩推荐了www.lesswatts.org开源网站,该网站有很多的软件工具,帮助用户改善系统的效能。

 在应用环境方面,东方地球物理勘探结合机房制冷优化以及高次谐波治理改造技术,取得了明显的节能效果。据赖能和介绍,高次谐波对电源功率因数影响很大,通过增加有缘滤波器以及隔离变压器,他们成功地将功率因数从0.77提高到0.98,仅线损耗一项就减少了2%。从而有效地改善了供电质量并降低了功耗。此外,通过软件自动调整服务器功耗,其节能效果高达30%

[责任编辑:程永来 cheng_yonglai@cnw.com.cn]