超级计算 - 彭博社
bloomberg
两年多前,东京迫使华盛顿认错。一台由日本政府资助的超级计算机击败了美国最强大的计算机。事实上,这台名为地球模拟器的日本机器,其计算速度超过了美国前20名超级计算机的总和。
多年来,一些美国超级计算领域的专家一直在警告,华盛顿对高性能计算的支持过于狭隘,主要集中在五角大楼的核武器项目需求上。即使承认美国在软件方面的优势,他们也警告说,科学研究受到了阻碍,因为美国的超级计算机并不是为了应对民用科学家和工程师面临的真正棘手问题而设计的。地球模拟器,由日本NEC公司(NIPNY )建造,充分证明了美国在科学超级计算方面落后了多远。
“我感到震惊,”能源部科学办公室主任雷蒙德·L·奥巴赫承认,他是学术研究的主要赞助者。令奥巴赫和其他科学家感到惊讶的不是地球模拟器的原始速度。日本自1997年以来就一直在描述他们的目标。令人惊讶的是它的超高效率,尤其是在运行气候趋势和聚变能源发电机的模拟时。
5月12日,能源部长斯宾塞·亚伯拉罕提出了一项复兴计划。田纳西州的橡树岭国家实验室将建立一个新的开放科学和工程超级计算中心。它将由两到三台来自Cray Inc.(CRAY )的巨型计算机组成,甚至会让地球模拟器相形见绌。理论上,这台日本系统每秒可以进行惊人的41万亿次计算。在超级计算机术语中,这就是41 teraflops——“tera”代表万亿,“flops”代表每秒浮点运算次数。
托马斯·扎卡里亚,橡树岭计算中心的负责人,表示他的Cray硬件到今年年底应该接近40万亿次浮点运算,到2006年初跃升至100万亿次浮点运算,并在2007年底达到350万亿次浮点运算。他说,结果将是一个“增强竞争力的主要新工具”。与地球模拟器不同,橡树岭超级计算机将通过高速网络提供给远程用户。“我们已经看到航空航天、汽车和化工行业的强烈兴趣,”扎卡里亚说。
模拟恒星诞生和生命起源的学术科学家可能对超级计算能力的需求最大。但超级计算机在金融、保险、半导体和电信等多个行业中被广泛使用。实际上,全球前500名超级计算机中大约一半是由企业拥有的。
虽然今天商业使用的机器没有能力解决科学中的“重大挑战”问题,例如预测气候变化,但它们在开发更好的产品和加速上市方面变得至关重要。宝洁公司(PG)甚至利用超级计算机设计其婴儿尿布中的超吸水材料。现在,IBM(IBM)和其他供应商正在开发承诺提供新一类超快速超级计算机和创新软件开发工具的设计。
美国可能需要额外的力量。日本的地球模拟器的能力“将对每个领域产生根本性的变化,”地球模拟器中心(ESC)主任佐藤哲也说。该中心现在正在与日本汽车制造商达成合作,以利用超级计算机进行汽车工程和模拟碰撞测试,佐藤说。即使在地球模拟器之前,nec的小型超级计算机也显示出强大的竞争优势,直到最近才在美国上市。例如,许多日本汽车的噪音明显低于美国车型。一个原因是:日本汽车制造商通常进行非常复杂的空气动力学模拟,向设计师展示在车身形状上进行微妙调整以减少风噪音的地方。
没有警报铃声
地球模拟器并不是唯一的威胁。在计算生物学中——使用软件解决从医学诊断到药物发现等问题——美国面临着更大的劣势。2001年,日本的理化学研究所(Riken)为模拟蛋白质功能等 notoriously difficult jobs 建造了一台专用计算机。这台名为分子动力学机器的计算机速度为78万亿次浮点运算每秒——是地球模拟器的两倍。
为什么Riken的计算机在2001年没有引起华盛顿的警觉?因为大多数分析师并不看好专用计算机——它们缺乏通用机器的多功能性。也许专家们应该再看看。2006年初,Riken预计将推出一款速度更快的计算机。它的巡航速度将达到1000万亿次浮点运算每秒,或1拍浮点运算每秒。虽然它的主要任务是阐明蛋白质的复杂结构,但Riken生物计算团队的负责人太田诚认为,它在纳米技术方面也会表现出色:逐原子设计材料。总的来说,加州伯克利国家能源研究科学计算中心的主任霍斯特·D·西蒙认为,许多美国研究人员在超级计算方面面临10到100倍的劣势。
超级计算机设计有两种基本方法。NEC的超级计算机使用所谓的向量架构,这意味着它们有定制的硅处理器作为“大脑”(见第52页)。这些芯片专门为科学和工程中的重型数学运算而设计。相比之下,几乎所有美国的超级计算机都使用普通的微处理器进行计算——这些芯片在个人电脑和视频游戏中都能找到。在地球模拟器出现之前,美国对此方法感到自满。由于商业现成(COTS)芯片的生产量巨大,它们的成本远低于NEC的芯片。因此,当需要更高速度时,IBM、惠普(HPQ)或戴尔(DELL)可以简单地“扩展”,将100或1000个更多的芯片连接在一起——这就是“标量”方法。
然而,COTS集群的峰值速度评级可能具有误导性。在运行用于解决物理、化学和汽车模拟碰撞测试中真正困难问题的复杂软件时,COTS系统在长时间内很少能发挥出其峰值速度的10%。NEC的机器则能保持在30%到60%之间。
这种所谓的持续性能的戏剧性差异意味着,地球模拟器不仅仅是当前美国冠军——洛斯阿拉莫斯国家实验室的惠普公司的ASCI Q的两倍速度,后者的峰值速度为20.5万亿次浮点运算每秒。考虑到效率,这台日本计算机的速度可以是6到20倍,某项测试显示其增益达到36倍。而地球模拟器在处理器数量上也更少——5120个对比ASCI Q的8192个芯片。
对于大多数商业和核武器工作中的问题,COTS方法效果很好。但在前沿研究中,向量软件代码可能是任务完成所需时间的限制因素。这很重要,因为它可以决定新的见解首次触发突破和发明的地方。
在科学上开辟新领域可能涉及需要几天甚至几年的程序运行——不包括分析结果和修订软件以进行下一次迭代的时间。在1990年前,试图理解蛋白质功能的科学家会将假设输入超级计算机,然后等待一年左右才能看到结果。在1990年代末,万亿次浮点运算的超级计算机将每次运行时间缩短到一天或两天。
使用理研的78万亿次浮点运算超级计算机,运行时间仅需三到四个小时,研究员太治表示。在理研即将推出的1拍浮点运算超级计算机上,可能只需三分钟。能够每几分钟筛选一个不同蛋白质模型以评估其药物潜力的科学家,显然比一个计算机每次输出答案需要半天或更长时间的研究人员更有可能找到新药的关键。
自然的秘密
在对更快计算机的需求方面,似乎没有尽头。探究自然就像剥洋葱:每一层都提出更难的问题。今天,超级计算机几乎已成为科学发现的基本条件。奥尔巴赫说,科学的进一步进展不仅依赖于理论与实验之间的传统互动。他表示,模拟将成为“凳子的第三条腿”。“我是一名理论物理学家,有些问题没有任何理论。你只能通过模拟来理解那门科学。”
COTS技术在1995年面对科学和工程的“重大挑战问题”时是足够的,波音公司的高性能计算经理苏雷什·舒克拉说(BA)。但他表示,今天最棘手的问题“在COTS机器上是无法高效解决的。”
然而,像NEC的向量机价格昂贵,通常在数千万美元的范围内。对于预算有限的人来说,COTS是一个不错的选择。去年秋天,弗吉尼亚理工大学揭开了一台名为“大麦克”的集群。它由1100台苹果公司的Macintosh G5计算机组成。从理论上讲,它每秒可以处理17.6万亿条指令。这几乎是地球模拟器容量的45%——而其成本仅为4亿美元的1.3%,仅520万美元。
集群提供的不仅仅是低价格。它们对“洞察时间”的贡献,即行业的市场时间的研究对应物,是不可估量的。拥有自己小型超级计算机的工程和研究团队可以告别等待国家科学基金会超级计算中心的巨型计算机的一个月延迟。因此,尽管使用较慢的计算机,问题也能更快得到解答。
“还有一个需要考虑的洞察时间指标:构建应用程序所需的时间,”IBM研究部门的探索计算系统主任威廉·R·普利布兰克说。编写软件通常比运行软件需要更长的时间。如果软件开发得以加速,因为研究人员可以使用他们为个人电脑和工作站编写程序的相同工具,这可以抵消运行时间的重大差异。
在COTS技术的接受程度方面,记录不言自明,IBM深度计算副总裁大卫·W·图尔克说。自1990年以来,COTS集群一直在将Cray类型的机器挤出由奥克里奇的高级科学家杰克·J·东加拉编制的Top500超级计算机网站列表(www.top500.org)。到1994年,集群占据了全球速度怪兽的一半以上。去年,95%是COTS系统。
“你看,”图尔克说,“计算机架构从根本上是由经济驱动的。如果我明天推出一个非常快的系统,但你必须花5亿美元来购买它,那么只有一两个客户。这不是商业。”
克雷首席执行官詹姆斯·E·罗特索克承认图尔克说得有道理。“这个市场不足以支持IBM或HP必须花费的研究和开发费用,”以维持一系列独立的矢量芯片。国际数据公司表示,顶级超级计算机的全球销售额在十多年里一直徘徊在每年约10亿美元。
支持机密研究的能源部部门发现COTS不可抗拒。1995年,它启动了ASCI计划,以构建一系列逐渐更快的集群,并从千亿次跃升到万亿次。该计划的巅峰成就将是一个名为ASCI Purple的100万亿次巨兽。IBM预计它将在明年在劳伦斯·利弗莫尔国家实验室上线。
利弗莫尔的研究人员迫不及待想看看这个紫色数字吞噬者能做些什么。“这是第一次,”超大规模计算的助理负责人马克·K·西格说,“我们应该能够进行一次‘按钮到爆炸’的核爆炸模拟。”模拟在短短几十亿分之一秒内发生的数万亿次交互可能需要几个月的时间。但与在1970年代末利弗莫尔使用的Cray 1上运行这样的模拟相比,这简直是小菜一碟。西格回忆说,“我们估计需要60,000年。”
紫色机器的统治可能会很短暂。IBM和利弗莫尔还在建造一台更强大的机器,蓝基因/L。当这个实验系统明年启动时,它可能会输出360万亿次浮点运算。但普利布兰克警告说,这绝不是确定的,因为IBM没有足够大的计算机来验证像蓝基因这样复杂的系统的设计,该系统有131,072个处理器。
如果一切如愿以偿,蓝基因可能预示着超计算机下一代的过渡开始——结合了矢量和COTS设计优点的系统。蓝基因的芯片通过一种特殊的“管道”进行加速,假装成一个矢量处理器。
Cray与桑迪亚国家实验室共同开发了一种类似的架构,称为红风暴。第一个这样的集群——一个价值9000万美元、40万亿次浮点运算的系统——将在今年夏天在桑迪亚启动。而橡树岭将部署一个20万亿次浮点运算的红风暴集群,其中一半将在今年年底前完成。
普遍一致认为,仅靠矢量处理不足以满足宠物级计算机解决下一层重大挑战问题的需求。用于解决这些问题的软件正在迅速膨胀——并且包含越来越多的COTS芯片有效处理的标量代码。扎卡里亚相信,在橡树岭同一屋檐下拥有Cray最新的顶级机器Cray X1和红风暴系统应该能提供有价值的指导。
进一步来看,五角大楼的国防高级研究计划局(DARPA)正在赞助一项竞赛,以开发具有平衡向量/标量性能的千万亿次系统的蓝图,以改善洞察时间。三家公司正在竞争:太阳微系统(SUNW )、IBM和Cray。他们将在2006年之前提交其设计的数字模型。然后DARPA将举行一次“烘焙赛”,以淘汰至少一家公司。剩下的一到两家公司将获得资金,在2009年前构建一个工作原型。
日本是否有类似DARPA竞赛的项目正在进行?“不幸的是,没有,”地球模拟器的佐藤说。他补充道,他有一个结合向量和标量特征的优化架构的想法。“但我们没有资金来实现它。”这并不意味着美国可以放松。NEC有一系列新的超级计算机正在酝酿中,可能会在明年内宣布。但细节仍然是“公司机密,”NEC副总裁渡边忠志说。
但除非NEC有重大惊喜,否则美国似乎肯定会重新夺回超级计算机的领先地位——这在很大程度上要归功于地球模拟器。它所带来的警示帮助激发了对超级计算的新方法。结果承诺为工业和科学带来无尽的回报。
由Otis Port在纽约撰写,Hiroko Tashiro在东京协助