又一开源替代品！Guanaco性能达ChatGPT级别在单个GPU上训练一天就能搞定 2023-05-26 11:00:55

有一种名为 QLoRA 的新方法可以在单个 GPU 上微调大型语言模型。目前已经有研究人员用它来训练 Guanaco，这是一个性能效果99% 接近ChatGPT的聊天机器人。

华盛顿大学的研究人员提出了微调大型语言模型的方法 QLoRA。该团队利用 QLoRA 发布了 Guanaco，这是一个基于Meta 的 LLaMA模型的聊天机器人系列。最大的 Guanaco 变体具有650亿个参数，在与GPT-4的基准测试中实现了ChatGPT （ GPT-3.5-turbo ）99% 以上的性能。

微调大型语言模型是提高其性能和训练的最重要技术之一。然而，这个过程对于大型模型来说计算量非常大，例如 LLaMA65B ，在这种情况下需要超过780GB 的 GPU RAM。虽然开源社区使用各种量化方法将16位模型简化为4位模型，从而大大减少了推理所需的内存，但类似的方法还没有用于微调。