merlin:针对HPC工作流程的机器学习

梅林简介 Merlin是用于运行基于机器学习的工作流的工具。 Merlin的目标是使其易于构建，运行和处理认知仿真所需的各种大规模HPC工作流。 本质上，Merlin是一个分布式任务排队系统，旨在允许复杂的HPC工作流扩展到大量的模拟（我们已经在Sierra超级计算机上完成了1亿个）。 您为什么要运行那么多模拟？ 成为自己的大数据生成器。 这种大小的数据集可能足够大，可以训练可以模仿您的HPC应用程序的深度神经网络，用于诸如设计优化，不确定性量化和统计实验推断之类的事情。 梅林（Merlin）曾被用于研究惯性约束聚变，极紫外光的产生，结构力学和原子物理学等。 它是如何工作的？ 本质上，Merlin通过持久的外部队列服务器协调复杂的工作流，该服务器位于HPC系统外部，但可以与群集上的节点通信。 随着工作在整个生态系统中旋转，这些分配上的工作人员从中央服务器提取工作，该服务器协调您工