Meta的大语言模型LLaMA 13B，现在用2060就能跑了~
羊驼家族的Alpaca和Vicuna也都能运行，显存最低只需要6G，简直是低VRAM用户的福音有木有。
GitHub上的搭建教程火了之后，网友们纷纷跑来问苹果M2是不是也能跑。
这通操作的大致原理是利用最新版CUDA，可以将Transformer中任意数量的层放在GPU上运行。
与此前llama.cpp项目完全运行在CPU相比，用GPU替代一半的CPU可以将效率提高将近2倍。
而如果纯用GPU，这一数字将变成6倍。
网友实测的结果中，使用CPU每秒能跑2.1个token，而用GPU能跑3.2个。
生成的内容上，开发者成功用它跑出了“尼采文学”。
如何操作在开始搭建之前，我们需要先申请获得LLaMA的访问权限。
传送门：https://ai.facebook.com/blog/large-language-model-llama-meta-ai/
此外还需要有一个Linux环境。（Windows用户可以用WSL2）
准备工作完成之后，第一步是将llama.cpp克隆到本地。
如果没有安装CUDA，可以参考下面的步骤：
然后是建立micromamba环境，安装Python和PyTorch等工具。
接着需要在micromamba环境下安装一些包：
