在花新闻AI“分词器税”可使部分语言使用成本最高相差 17 倍
CLEAR 研究联盟发布报告指出，主流 AI 模型的分词器对英语及高资源语言优化明显，导致部分非英语语言处理相同内容时消耗更多 Token。例如，同一句话英语需要 13 个 Token，马拉雅拉姆语需要 26 个，阿姆哈拉语则高达 78 个。研究覆盖约 200 种语言，发现不同语言的 Token 消耗差距最高达 17 倍。这不仅推高用户使用成本，还会增加响应延迟、压缩有效上下文容量。
CLEAR 研究联盟发布报告指出，主流 AI 模型的分词器对英语及高资源语言优化明显，导致部分非英语语言处理相同内容时消耗更多 Token。例如，同一句话英语需要 13 个 Token，马拉雅拉姆语需要 26 个，阿姆哈拉语则高达 78 个。研究覆盖约 200 种语言，发现不同语言的 Token 消耗差距最高达 17 倍。这不仅推高用户使用成本，还会增加响应延迟、压缩有效上下文容量。