NNFusion是一种灵活高效的DNN编译器,可以从DNN模型描述(例如TensorFlow冻结模型和ONNX格式)生成高性能可执行文件。以高效的编译器为核心,NNFusion的目标是:
促进全栈模型优化
提供无框架的代码生成功能
支持新的加速器设备作为目标推理设备
谁应该考虑使用NNFusion?
想要加快其预定义或预训练的DNN模型的执行性能的开发人员。
希望将其经过预训练的模型作为无框架源代码且库依赖性最小的开发人员。
想要快速尝试新的编译器优化思想或对某些特定模型进行自定义优化的研究人员。
:raising_hands:
突出特点
提供全栈优化机制,包括:
数据流图优化,例如CSE,编译时常量折叠等。
特定于模型的内核选择,内核协同调度,内核融合和自动内核调谐器集成。
静态内存布局和布局优化。
提供提前和源到源(模型到代码)的编译,以减少运行时的开销并消除库/框架的依赖关系。
支持流行的DNN模型格式,包括
2023-04-05 19:56:36
86.94MB
C++
1