# AI“分词器税”可使部分语言使用成本最高相差 17 倍

Source: https://www.zaihua.news/article/44841/

[返回新闻流](https://www.zaihua.news/)
2026年11月2日 · 00:06 · [在花新闻](https://www.zaihua.news/about/)

# AI“分词器税”可使部分语言使用成本最高相差 17 倍

CLEAR 研究联盟发布报告指出，主流 AI 模型的分词器对英语及高资源语言优化明显，导致部分非英语语言处理相同内容时消耗更多 Token。例如，同一句话英语需要 13 个 Token，马拉雅拉姆语需要 26 个，阿姆哈拉语则高达 78 个。研究覆盖约 200 种语言，发现不同语言的 Token 消耗差距最高达 17 倍。这不仅推高用户使用成本，还会增加响应延迟、压缩有效上下文容量。

[Rest of World](https://clear-languages.org/blog/the-tokenizer-tax) ｜ [Clear](https://clear-languages.org/blog/the-tokenizer-tax)

🌸 [科技圈](http://t.me/zaihuanews)· [茶馆](https://t.me/zaihuachat) · [投稿](http://t.me/ZaiHuabot)

https://cdn.zaihua.news/main/44841/mtproto-0-7f050cc2ac4f0e49.jpghttps://cdn.zaihua.news/main/44842/mtproto-0-6df50022075cebeb.jpg

[上一条2027 年春节可连休 9 天](https://www.zaihua.news/article/44840/)[下一条 匿名仓库声称泄漏 Anthropic 模型，真实性存疑](https://www.zaihua.news/article/44843/)