首页 > 科技周边 > 人工智能

PowerInfer：上交大开发，4090替代A100的推理引擎，token生成速率仅比A100低18%

来源：机器之心

时间：2024-01-16 17:35:51 402浏览收藏

学习科技周边要努力，但是不要急！今天的这篇文章《PowerInfer：上交大开发，4090替代A100的推理引擎，token生成速率仅比A100低18%》将会介绍到等等知识点，如果你想深入学习科技周边，可以关注我！我会持续更新相关文章的，希望对大家都能有所帮助！

为了不改变原意而重写内容，需要将语言重写为中文，不需要出现原句

本网站的编辑部

PowerInfer 的出现使得在消费级硬件上运行 AI 变得更加高效

上海交大团队，刚刚推出超强 CPU/GPU LLM 高速推理引擎 PowerInfer。

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%

项目地址：https://github.com/SJTU-IPADS/PowerInfer

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%

论文地址：https://ipads.se.sjtu.edu.cn/_media/publications/powerinfer-20231219.pdf

速度有多快？

在运行 Falcon (ReLU)-40B-FP16 的单个 RTX 4090 (24G) 上，PowerInfer 对比 llama.cpp 实现了 11 倍加速！

PowerInfer 和 llama.cpp 都在相同的硬件上运行，并充分利用了 RTX 4090 上的 VRAM。

在单个 NVIDIA RTX 4090 GPU 上的各种 LLM 中，PowerInfer 的平均 token 生成率为 13.20 个 token / 秒，峰值为 29.08 个 token / 秒，仅比顶级服务器级 A100 GPU 低 18%。

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%

具体来说，PowerInfer 是一个用于本地部署 LLM 的高速推理引擎。它利用 LLM 推理中的高局部性来设计 GPU-CPU 混合推理引擎。其中热激活（hot-activated）神经元被预加载到 GPU 上以便快速访问，而冷激活（cold-activated）神经元（大部分）则在 CPU 上计算。这种方法显著减少了 GPU 内存需求和 CPU-GPU 数据传输。

PowerInfer 可以在配备单个消费级 GPU 的个人计算机 (PC) 上高速运行大型语言模型 (LLM) 。现在用户可以将 PowerInfer 与 Llama 2 和 Faclon 40B 结合使用，即将支持 Mistral-7B。

PowerInfer 设计的关键是利用 LLM 推理中固有的高度局部性，其特征是神经元激活中的幂律分布。

4090成A100平替？上交大推出推理引擎PowerInfer，token生成速率只比A100低18%