有钱科学家研发的超级计算机

有钱科学家研发的超级计算机_知乎周刊・201

Anton：有钱科学家研发的超级计算机

Sullivan Zheng

黑科技，还是要提 D.E.Shaw Research 这个奇异的存在。

要讲这个黑科技，我们可能要扯远一点，先讲讲 D.E.Shaw 这个人是怎么学术、赚钱通吃，成为彻底的人生赢家。

D.E.Shaw 是个学霸，是 PhD 们的偶像：斯坦福大学计算机专业的博士，30 岁不到就进入哥伦比亚大学做教授，专门研究超大规模并行计算。这已经是优秀的学术人生了。

但是 Shaw 觉得无聊。哥伦比亚大学地处纽约，遍地暴发的对冲基金男各种花天酒地，游嬉于各种 model 之间，作为一个同样聪明的教授，却只能坐在冷板凳上写计算机 model。虽然在科学家眼里，后者甚至还要更性感一些，但是时间长了也……总之，Shaw 不干了。

于是他 1986 年放弃了钻牛角尖的教授生涯，进入华尔街著名投行摩根士丹利做 quant trading（可以通俗地理解为用计算机自动炒股、债和外汇）。果然，呆博士不是搞政治斗争的料子，在摩根士丹利这种钱多是非多、政治斗争和技术斗争同样激烈的地方，仅仅 2 年之后他就在政治斗争中失败，被迫离开摩根士丹利（欢迎 quant trading 方面的达人来八卦，补全这一段故事）。但是这厮本来就不是池中物，同年，他就开办了自己的对冲基金 D.E. Shaw & Co. LP.，专注 quant trading，利用高速计算机网络和市场瞬间的有效性缺陷来进行高频统计套利。

和今天高频交易人满为患的情况不同：当时计算机很破，内存上兆的就是中型服务器了，计算机语言和组件也比较晦涩，不像今天这么普及和丰富，不会冒出来个 12 岁少年就能写一个网站编一个游戏，然后对着 80 后的老头子们说你们不行之类的。因此，能掌握高速网络编程和大型并行计算的人，除了能算弹道和模拟核爆之外，还能成为第一批做高频交易的人，干的事情基本就是无风险套利——利用市场无效性，剪市场的羊毛，赚钱的速度仅仅取决于你能剪多快。

作为专门研究超大规模并行计算的顶级专家的 Shaw，率先杀入高频交易，完全是流氓会武术，谁也挡不住，剪羊毛速度世界一流，很快人生进入了新的高峰。到 2015 年，他的个人净值已经 41 亿美元（David Shaw - Forbes），杀入全球财富榜前 500。

说了这么多，怎么还没有谈到计算化学？你别走，我现在就要说这事了。

David Shaw 大叔 40 出头财务自由，依照常人的想法，自然可以不再写 model，而一头扎进纽约的花天酒地，去约会真的 model 了。

Geek 的基因在身体深处摇撼 Shaw 大爷功成名就之后的空虚神经。他一个回马枪杀回了科学世界，脱下西装，露出了 Geek 的本色：

和《生活大爆炸》里的 Sheldon 不一样，David Shaw 是一个破坏力惊人的土豪 geek。Shaw 现在再也不用跪舔 NIH、NSF 的官员，去讨一点可怜的科研经费了。他想干什么就干什么；他觉得什么是前沿什么就是前沿。他拿出大规模并行计算的大砍刀，想找一个最需要计算但现今最不给力的领域一刀砍下去。

这里有个背景：计算化学发展了很多年，都处在有点尴尬的位置，说得直白点——计算机还太弱，计算化学用于实际问题中算不准，精度还不如做实验。因此，无论在化学还是生物领域，做计算化学的不管是教授还是 PhD，要么选择和实验的组合作，活在鄙视链的下游，要么躲到角落里小富即安地画圈圈。

因此，Shaw 的大砍刀就落到了萎靡的计算化学上：他想制造一台专门用于做计算化学的超级计算机，比现有的超级计算机强大几千倍几万倍。

很多人可能要问，现在超级计算机动辄就是几十万个 CPU 核心什么的，运算能力很强大啊，为什么还要造计算化学的超级计算机呢？

答案是，一般的计算机是很聪明，但是不适合干计算化学这行。学术一点说，是 general purpose computing 不能高效地来做分子动力学模拟。

打个比方，现在的电脑就仿佛是个全能的机器人，你可以让他去割麦子、做饭、踢球等等。让他去干很多事情，他什么都能干，干得也比人快，确实也很聪明。这就是所谓的通用计算机（general purpose computing）：一个机器，写不同的软件，实现各种功能。

但是在割麦子这件事情上，这个全能机器人的速度很难超越专业的大型联合收割机。因为大型联合收割机虽然笨，但是完全为割麦子而生，因此硬件上量身定制，极度优化。这就是所谓的特种计算机（special purpose computing）：专业定制机器，软件也是专门定制的，只实现一个功能，但是凶残而高效。

Shaw 就是要造一台计算化学中的「大型联合收割机」。这台收割机，叫作 Anton。

它很贵很贵，但这正是 Shaw 的优势，反正他不泡妞不包二奶，钱花不完。况且，科研人员其实很便宜。

这里有一个好笑又辛酸的事情：和大众的认识恰好相反，在美国，纯理科博士毕业之后大多数都找不到工作，虽然智商大都不低，但是如果想坚持科研，做博士后的薪水只能勉强维持生活。

而 David Shaw 横空出世，成为纽约的孟尝君。他招了一群找不到工作的博士——这些人在经济上可以说是纯粹的屌丝——开出了 10 万美元一年的工资。

10 万美元一年是什么概念呢？这就是投资银行二十一二岁小分析员的入门工资+奖金，在华尔街上就是底层，外面穿着西装，里面穿的可是开裆裤。但是对于这帮年届三十的科学屌丝来说，这是他们能找到研究岗位工资的 2～3 倍，是个做梦都想不到的包养价。

于是一时间最顶尖的计算化学、生物物理、电子工程博士趋之若鹜，求 David Shaw 包养。

从 2004 年前后开始（请知情人指正），Shaw 成立的 DE Shaw Research（DESRES）开始正式运营。在 David Shaw 的精心包养下，30 多个失业的博士屌丝们什么也没干，在优雅的环境里，足足读了一年半的论文，搞出了 Anton 的草图。之后，更多的屌丝加入，全身心专注于 Anton 的研发。

2007 年，比预期还早了快一年，来自五湖四海的屌丝和 geek 们发布了 Anton 的第一代。计算化学的最大黑科技诞生了：它比一般的超级计算机快约 10,000 倍。比最好的超算也快 1,000 倍。

对的。变态的 10,000 倍，四个零，四个数量级。

10000 倍是什么意思呢？计算化学里面，模拟分子运动轨迹的持续时间的长短是非常重要的。用模拟网球比赛来做类比：以前「超级计算机」算了一个月，我们只能模拟出击球的 1 秒钟的瞬间，而现在 Anton 出世，我们同样花一个月，就可以模拟整场球赛中网球的轨迹了。

这是前所未有的超算能力，变态的「大型联合收割机」，等于开了上帝视角啊亲。

从 2007 年起，D.E.Shaw 的团队声名鹊起，用这个收割机每年在国际顶尖的学术杂志《自然》和《科学》上灌水，学术声誉不可阻挡。Anton 在手，高枕无忧，仿佛别人在地面用卷尺画地图，他们在天上航拍做地图。现在他们又出了 Anton2，继续吊打「过去 8 年中取得了长足发展的」超级计算机。

也许纯学术派对这种硬拼计算能力的方法表示不屑，但 D.E.Shaw 和他包养的 geek 们正用变态的 Anton 计算机把分子动力学模拟大跨步地推向实用。

有钱就是任性。

网站：

D.E.Shaw Research

————科普结束————

关于 Anton 设计上的一些细节，参见 doi：10.1145/1273440.1250664。

关于 Anton 为什么能算这么快的一些细节，全部在下面这几段话里，总结一下就是：整个 MD simulation 的硬件计算被拆分成了硬件直接计算和可编程计算两部分，两者都是硬件实现的，速度比软件实现要快万倍。各个 node 之间通信也是特殊设计的超高速低延迟网络，不是一般的网络。

To simulate a millisecond within a couple of months, we must complete a time step every few microseconds, or every few thousand clock ticks. The sequential dependence of successive time steps in an MD simulation makes speculation across time steps extremely difficult. Fortunately, specialization offers unique opportunities to accelerate an individual time step using a combination of architectural features that reduce both computational latency and communication latency.

For example, we reduced computational latency by designing: 

· Dedicated, specialized hardware datapaths and control logic to evaluate the range-limited interactions and to perform charge spreading and force interpolation. In addition to packing much more computational logic on a chip than is typical of general-purpose architectures, these pipelines use customized precision for each operation.

· Specialized, yet programmable, processors to compute bond forces and the FFT and to perform integration. The instruction set architecture (ISA) of these processors is tailored to the calculations they perform. Their programmability provides flexibility to accommodate various force fields and integration algorithms.

· Dedicated support in the memory subsystem to accumulate forces for each particle.

We reduced communication latency by designing: 

· A low-latency, high-bandwidth network, both within an ASIC and between ASICs, that includes specialized routing support for common MD communication patterns such as multicast and compressed transfers of sparse data structures.

· Support for choreographed 「push」-based communication. Producers send results to consumers without the consumers having to request the data beforehand.

· A set of autonomous direct memory access (DMA) engines that offload communication tasks from the computational units, allowing greater overlap of communication and computation. l Admission control features that prioritize packets carrying certain algorithm-specific data types.

——————

发现喜欢这篇回答的人还挺多的。欢迎转载，转载请注明出处。

希望有更多的科学家出现，也希望有更多类似 D.E.Shaw 这样的土豪科学家用黑科技摧枯拉朽地带动科学前进。

欢迎留言，我会将知友知道的更多细节整合到我的回答当中去，让这个故事更加真实、丰满和有趣。感谢知友 Anony mous 提供 Anton 论文全文，感谢知友王洋提供关于 DESRES 的更多故事。

2015-05-30