# 上海交大发布大模型推理框架PowerInfer-2，手机可流畅运行

Source: https://www.zaihua.news/article/25505/

[返回新闻流](https://www.zaihua.news/)
2024年6月12日 · 13:52 · [在花新闻](https://www.zaihua.news/about/)

# 上海交大发布大模型推理框架PowerInfer-2，手机可流畅运行

上海交大IPADS实验室推出了PowerInfer-2.0，一款面向智能手机的大模型推理引擎，显著提升了在内存有限的设备上运行大型语言模型的能力。该框架通过动态神经元缓存和以神经元簇为粒度的异构计算技术，实现了与开源推理框架相比高达29倍的推理速度提升。此外，团队还使用高质量、多样化的训练数据，让模型在稀疏化后更好地保持和提升性能。

同时，该技术不仅适用于手机，还有望扩展到车载设备和智能家居等领域。上海交大IPADS团队已在Huggingface上开放了稀疏化的模型权重，预示着该技术有望从实验室走向实际应用。

[PowerInfer-2论文](https://arxiv.org/abs/2406.06282) | [模型权重](https://huggingface.co/PowerInfer/TurboSparse-Mixtral)
[量子位](https://qbitai.com/2024/06/153436.html)

关注频道 [@ZaiHuaPd](https://t.me/ZaiHuaPd)
频道爆料 [@ZaiHuabot](https://t.me/ZaiHuabot)

[上一条芝麻分从每月评级变为每周](https://www.zaihua.news/article/25504/)[下一条日本新法律将限制互联网巨头垄断行为，最高罚本土营业额 30%](https://www.zaihua.news/article/25506/)