最近训练 72B 的 LLM，在挑选机器的时候显存是一个重要指标，下面是一个参考
我的训练使用了 A100 SMX 40GB x8，共计 320GB 显存，用来存储模型，梯度，优化器，这样批次可以给的比较大
| 训练方法 | 精度 | 7B | 13B | 30B | 70B | 8x7B |
|---|---|---|---|---|---|---|
| 全参数 | AMP | 120GB | 240GB | 600GB | 1200GB | 900GB |
| 全参数 | 16 | 60GB | 120GB | 300GB | 600GB | 400GB |
| GaLore | 16 | 16GB | 32GB | 64GB | 160GB | 120GB |
| 部分参数 | 16 | 20GB | 40GB | 80GB | 200GB | 160GB |
| LoRA | 16 | 16GB | 32GB | 64GB | 160GB | 120GB |
| QLoRA | 8 | 10GB | 20GB | 40GB | 80GB | 60GB |
| QLoRA | 4 | 6GB | 12GB | 24GB | 48GB | 30GB |
| QLoRA | 2 | 4GB | 8GB | 16GB | 24GB | 18GB |
