# FlashAttention升级，实现长文本推理速度8倍提升

Source: https://www.zaihua.news/article/20868/

[返回新闻流](https://www.zaihua.news/)
2023年10月14日 · 19:07 · [在花新闻](https://www.zaihua.news/about/)

# FlashAttention升级，实现长文本推理速度8倍提升

Together AI官方推特发文称其推出的Flash-Decoding,使长上下文 LLM 推理速度加快8倍。

据其介绍,达成这一效果的原理为并行加载KV缓存，然后分别重新缩放以合并结果。

[来源](https://twitter.com/togethercompute/status/1712910476743434273)

投稿：[@ZaiHuaBot](https://t.me/ZaiHuaBot)
频道：[@TestFlightCN](https://t.me/TestFlightCN)

[上一条X（推特）上线新功能，社区管理员现可要求新人入群之前回答问题](https://www.zaihua.news/article/20866/)[下一条工信部：12月起无线局域网设备核准开展 IPv6 能力测试](https://www.zaihua.news/article/20870/)