梦晨 发自 凹非寺量子位 | 公众号 QbitAI

自动测试分数达到ChatGPT的99.3%，人类难以分辨两者的回答……

这是开源大模型最新成果，来自羊驼家族的又一重磅成员——华盛顿大学原驼（Guanaco）。

英伟达科学家Jim Fan博士对此评价为：大模型小型化的又一里程碑。

先扩大规模再缩小，将成为开源AI社区的节奏。

而新的高效微调方法QLoRA迅速被开源社区接受，HuggingFace也在第一时间整合上线了相关代码。

人类评估，则是把原驼650亿版的回答和ChatGPT的回答匿名乱序放在一起，人类来盲选哪个最好。

论文共同一作表示，研究团队里的人都很难分辨出来，并把测试做成了一个小游戏放在Colab上，开放给大家挑战。

这里节选其中一个问题（附中文翻译），你能分辨出哪个是ChatGPT回答的吗？

问题：How can I improve my Time management skills?（如何提高时间管理技能？）

（完整测试地址在文末）

总的来说，原驼的优势在于不容易被问题中的错误信息误导，比如能指出地球从来没有被科学界认为是平的。

原驼论文的核心贡献是提出新的微调方法QLoRA。

其中Q代表量化（Quantization），用低精度数据类型去逼近神经网络中的高精度浮点数，以提高运算效率。

LoRA是微软团队在2021年提出的低秩适应（Low-Rank Adaptation）高效微调方法，LoRA后来被移植到AI绘画领域更被大众熟知，但最早其实就是用于大语言模型的。

通常来说，LoRA微调与全量微调相比效果会更差，但团队将LoRA添加到所有的线性层解决了这个问题。

具体来说，QLoRA结合了4-bit量化和LoRA，以及团队新创的三个技巧：新数据类型4-bit NormalFloat、分页优化器（Paged Optimizers）和双重量化（Double Quantization）。

最终QLoRA让4-bit的原驼在所有场景和规模的测试中匹配16-bit的性能。

QLoRA的高效率，让团队在华盛顿大学的小型GPU集群上每天可以微调LLaMA 100多次……

最终使用Open Assistant数据集微调的版本性能胜出，成为原驼大模型。

Open Assistant数据集来自非盈利研究组织LAION（训练Stable Diffusion的数据集也来自这里），虽然只有9000个样本但质量很高，经过开源社区的人工仔细验证。

这9000条样本用于微调大模型，比100万条指令微调（Instruction Finetune）样本的谷歌FLAN v2效果还好。

研究团队也据此提出两个关键结论：

最后，QLoRA的高效率，还意味着可以用在手机上，论文共同一作Tim Dettmers估计以iPhone 12 Plus的算力每个晚上能微调300万个单词的数据量。

这意味着，很快手机上的每个App都能用上专用大模型。

论文：https://arxiv.org/abs/2305.14314

GitHub：https://github.com/artidoro/qlora

与ChatGPT对比测试：https://colab.research.google.com/drive/1kK6xasHiav9nhiRUJjPMZb4fAED4qRHb

330亿参数版在线试玩：https://huggingface.co/spaces/uwnlp/guanaco-playground-tgi

参考链接：[1]https://twitter.com/Tim_Dettmers/status/1661379376225697794[2]https://huggingface.co/blog/4bit-transformers-bitsandbytes

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态