在利用 OpenAI 的 GPT-4为 Bing Chat、 Bing Image Creator、Microsoft365Copilot、Azure OpenAI Service 和 GitHub Copilot X 引入了类似 ChatGPT 的功能后。微软现又宣布推出 DeepSpeed-Chat，一种用于 RLHF 训练的低成本开源解决方案，基于微软开源的深度学习优化库DeepSpeed;声称即使是使用单个 GPU，任何人也都可以创建高质量的 ChatGPT 式模型。

该公司表示，尽管开源社区付出了巨大的努力，但目前仍缺乏一个支持端到端的基于人工反馈机制的强化学习（RLHF）的规模化系统，这使得训练强大的类 ChatGPT 模型十分困难。ChatGPT 模型的训练是基于 InstructGPT 论文中的 RLHF 方式，与常见的大语言模型的预训练和微调截然不同，使得现有深度学习系统在训练类 ChatGPT 模型时存在种种局限。因此，为了让 ChatGPT 类型的模型更容易被普通数据科学家和研究者使用，并使 RLHF 训练真正普及到 AI 社区，他们发布了 DeepSpeed-Chat。

相关标签： 微软开源 傻瓜式 类ChatGPT模型训练工具 提速省钱15倍