梅林简介
Merlin是用于运行基于机器学习的工作流的工具。 Merlin的目标是使其易于构建,运行和处理认知仿真所需的各种大规模HPC工作流。
本质上,Merlin是一个分布式任务排队系统,旨在允许复杂的HPC工作流扩展到大量的模拟(我们已经在Sierra超级计算机上完成了1亿个)。
您为什么要运行那么多模拟? 成为自己的大数据生成器。
这种大小的数据集可能足够大,可以训练可以模仿您的HPC应用程序的深度神经网络,用于诸如设计优化,不确定性量化和统计实验推断之类的事情。 梅林(Merlin)曾被用于研究惯性约束聚变,极紫外光的产生,结构力学和原子物理学等。
它是如何工作的?
本质上,Merlin通过持久的外部队列服务器协调复杂的工作流,该服务器位于HPC系统外部,但可以与群集上的节点通信。 随着工作在整个生态系统中旋转,这些分配上的工作人员从中央服务器提取工作,该服务器协调您工
1