最近在研究deepspeed相关内容，但使用命令方式无法单步调式调用代码的问题，若直接离线看代码，在一定程度上降低效率。同时，使用deepspeed方式debug代码内容较少。为此，我特意在少有信息中和代码实验验证完成基于vscode对deepspeed进行debug方法。特别的，该方式不仅适合deepspeed命令debug，也适用torchrun命令debug，更能延伸其它命令debug模式。本文内容分为三部分，第一部分介绍如何使用vscode传递参数debug；第二部分介绍如何使用deepspeed进行debug；第三部分介绍vscode通用命令方式进行debug。 原文解说：https://editor.csdn.net/md?not_checkout=1&spm=1001.2014.3001.9614&articleId=134992123

大模型微调，插件包：deepspeed-0.11.2+cuda121-cp310-cp310-win_amd64.whl

通过wheel安装deepspeed,其中cp39为python 3.9 cp310为python 3.10

1.克隆源码 https://github.com/microsoft/DeepSpeed.git 2.在win10系统22H2版本上安装Visual Studio 2019，在支持GTX1060显卡的NVIDIA Studio Driver462.31驱动上安装cuda11.6+cudnn8.7，进入在python3.7的虚拟环境中，安装依赖pytorch1.12.0 3.更改源码 3.1.setyup.py增加环境变量 os.environ['DS_BUILD_AIO']='0' os.environ['DS_BUILD_SPARSE_ATTN']='0' 3.2.csrc/includes/memory_access_utils.h增加头文件 #include 4.执行编译命令 python setup.py bdist_wheel ，大约20分钟后在dist目录生成deepspeed-0.8.2+81b4d5db-cp37-cp37m-win_amd64.whl文件

DeepSpeed: System Optimizations Enable Training Deep Learning Models with Over 100 Billion Parameters