估算内存需求上网配资炒股
你可以用以下 公式 估算模型加载 (特定硬件) 所需的最小理论内存:
<内存 (GB)> = <参数量 (G)> * <精度因子>
模型所需总内存等于总参数量乘以一个参数所需的字节数。其中 1 个字节 (Byte) 是 8 比特 (bit)，精度因子视情况取值 (float32 为 4、float16 或 bfoat16 为 2、8bit 为 1、4bit 为 0.5)。
这就是基本的估算方法。
实际使用时我建议这样计算: <内存 (GB)> = <参数量 (G)> * (<精度因子> * 110%)。因为推理阶段除了加载模型还需要加载数据，总内存需求会更多。
一个 GPU 都装不下怎么办？
量化
第一个明显的方法是降低 <精度因子>: 从 float32 降低到 4bit 可以降低 8 倍的内存占用！ 不过精度太低也会导致结果变差。对于一些模型 (尤其是中等规模的模型) float16 或 8bit 就足够 (低精度对大型模型的影响较小，可能是因为信息冗余)。
展开剩余63%模型并行
模型并行包含一系列技术：拆分大模型为多个小型子模型、分配子模型到不同的 GPU 上运行等。这种方法不会一次性地加载整个模型，因此减少了内存需求，但可能会更慢。
模型并行有两种方法:
管线并行。即在 layer 级拆分模型，不同的 layer 被分配到不同的 GPU 上。由于推理时前向过程是线性的，例如 layer 1 的输出是 layer 2 的输入，因此 layer 2 分配的 GPU 需要等待 layer 1 的计算结束才能开始 (也叫 “冒泡 (bubble)”)，同时数据和中间结果也需要 GPU 间传输，这也就导致执行速度较慢。不过可以通过将输入拆分为更小的批次来缓解冒泡，Pytorch 的原生库 PiPPy 就支持这一功能，也是 accelerate 库后台实现并行的方法。
张量并行。即在矩阵计算级拆分模型，矩阵按行或者列被拆分且分配到不同的 GPU 上计算以及合并结果。如果多个 GPU 在同一个节点上 (避免跨节点传输瓶颈)，这种并行方法会非常高效，但是代码实现有些困难。好在 vllm 库已经实现了，加速效果 非常明显 。
用 CPU 减负
CPU 卸载可以将部分模型和计算从 GPU 转移到 CPU 上，以减少 GPU 内存占用。不过相比于其他方法，CPU 卸载要 慢得多，主要原因是需要将数据在设备之间频繁移动。
例如，Deepspeed 的 ZeRO-Offload 可以将参数同时分配到 CPU 和 GPU (在 ZeRO-2 论文中有更详细的优化说明) 上。其中梯度、优化器状态、以及优化过程中的 fp32 模型参数在 CPU 上传递，而前向和反向过程中的 fp16 参数可以在 GPU 上传递，从而利用 CPU 内存优化并优化 GPU 计算，同时减少两者之间的通信。
发布于：湖南省恒运资本配资提示：文章来自网络，不代表本站观点。
- 上一篇：上网配资炒股 法治春风吹绿乡村沃土，潮州开展“烟草普法进乡村”主题活动
- 下一篇：没有了
沪深京指数
热点资讯
