AI领域可以用日新月异来形容。

上周五，一位名叫Georgi Gerganov的软件开发人员开发出了一款名为“llama.cpp”的工具，它可以在Mac笔记本电脑上本地运行Meta新的GPT-3级AI大型语言模型LLaMA。

图片来源：Benj Edwards / Ars Technica

仍存在量化对输出质量的影响有多大这个问题。在arstechnica的测试中，在MacBook air上运行时，精简到4位量化的LLaMA 7B令人印象非常深刻，但仍然无法与ChatGPT相提并论。更好的提示技术完全有可能获得更好的结果。

此外，当每个人都获得代码和权重后，优化和微调很快随之而来，尽管LLaMA仍然受制于一些相当严格的使用条款。

斯坦福大学今天发布的Alpaca证明了微调（怀有特定目标的额外训练）可以提升性能，而现在离LLaMA发布过去没多久。

在撰写本文时，在Mac上运行LLaMA仍然是技术性相当强的实操。你必须安装Python和Xcode，并熟悉使用命令行。

Willison为任何想要尝试一番的人提供了详细的逐步指导。但随着开发人员们继续编写代码，这种情况可能很快就会改变。

参考资料：https://arstechnica.com/information-technology/2023/03/you-can-now-run-a-gpt-3-level-ai-model-on-your-laptop-phone-and-raspberry-pi/