“Llama”通常指 Meta 的 Llama 系列大语言模型。怎么用取决于你的目标：只是想体验、做应用开发、本地部署，还是微调。下面按常见场景说明。
1. 最快体验：用在线服务或 API
可以直接用提供 Llama 的云平台，例如 Groq、Together AI、AWS Bedrock、Replicate 等。注册后拿到 API Key，按平台文档调用即可。适合不想准备显卡、只想快速做应用的人。
2. 本地简单运行：用 Ollama
适合个人电脑快速试用。安装 Ollama 后，在终端执行：
```bash
ollama run llama3.1
```
然后直接输入问题即可。也可以用 API 方式调用：
```bash
curl http://localhost:11434/api/generate d {
"model": "llama3.1",
"prompt": "用三句话解释什么是大语言模型",
"stream": false
}
```
3. 用 Python 调用：Hugging Face Transformers
先安装依赖：
```bash
pip install transformers accelerate torch
```
然后在 Hugging Face 上申请对应 Llama 模型权限，并登录：
```bash
huggingfacecli login
```
示例代码：
```python
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "metallama/Llama3.18BInstruct"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
model_id,
torch_dtype="auto",
device_map="auto"
)
messages = [
{"role": "user", "content": "用三句话解释什么是大语言模型"}
]
inputs = tokenizer.apply_chat_template(
messages,
add_generation_prompt=True,
return_tensors="pt"
).to(model.device)
outputs = model.generate(inputs, max_new_tokens=256)
print(tokenizer.decode(outputs[0][inputs.shape[1]:], skip_special_tokens=True))
```
4. 做高并发服务：用 vLLM
适合部署 API 服务。安装 vLLM 后，可以用类似命令启动 OpenAI 兼容服务：
```bash
vllm serve metallama/Llama3.18BInstruct
```
然后用 OpenAI SDK 调用本地接口。适合生产环境、多用户并发。
5. 硬件要求大致参考
8B 模型：量化后可在普通 CPU 或 16GB 左右内存的机器上跑，但速度较慢；FP16 推理通常需要约 16GB 显存。
70B 模型：通常需要多卡、较大显存，或使用 4bit 量化。
如果只是学习，建议先从 8B Instruct 或 Ollama 开始。
6. 微调
可以用 LoRA、QLoRA 等方式微调。常用工具包括 Hugging Face PEFT、TRL、Axolotl、LLaMAFactory。微调需要准备指令数据，并评估显存、训练时间和效果。
7. 注意事项
Llama 有社区许可证，商用前要阅读并遵守对应版本条款。使用 Hugging Face 模型需要申请权限。生产环境还要考虑内容安全、日志、限流、成本和多语言效果评估。
如果你能说明是想“本地聊天、写代码调用、做 API 服务，还是微调”，我可以给更具体的步骤。 |
|
