研究发现隐性分词器税，不同语言AI算力消耗差距巨大

不少人在使用大模型的时候，大多只会关注官方对外公布的单价，却很少留意语言本身会带来的隐性成本。一份来自人工智能语言公平研究联盟的最新调研指出，在处理同等语义内容的前提下，不同语言会产生差异悬殊的Token消耗，直接带来成本、响应速度、上下文容量上的连锁影响，业内把这种额外负担形象叫作 “分词器税”。

这份研究经由外媒Rest of World对外披露。Token作为大模型解析文本的基础单元，文本会经由分词器拆分成片段之后再送入模型运算。同样表达一段含义，部分语言会拆解出更多Token，带来多方面连锁负面效应。即便只统计互联网上流通度最高的二十种语言，Token消耗的倍数差距也达到1.5至5倍。当样本拓展到两百种语言之后，差距进一步被放大，个别模型之下最高可以达到十七倍的差距。

这种差异带来的影响并不只是账单数字变高。Token消耗越多，模型生成回复的速度就越慢，有限的上下文窗口能够容纳的对话、文档内容也会变少。对于本身算力、网络资源条件有限的地区，这种不均衡，会实实在在阻碍当地群体参与AI相关的数字经济活动。

不止用户数量，文字体系同样左右分词效率

很多人会默认，Token消耗高低只取决于一门语言互联网内容的多寡。但研究结果表明，文字书写体系同样是不可忽视的变量。阿斯图里亚斯语的互联网公开素材并不多，Common Crawl数据集当中几乎找不到它的资料，但因为采用拉丁字母书写，可以受益于意大利语等同语族语言的分词能力，实际消耗反而并不高。

目前市面上绝大多数分词工具，研发阶段主要以英语这类高资源语言作为优化基准。其他语种没有得到充分打磨，即便语义相同，拆分出来的词元数量也会显著变多。印度本土创投从业者对此感触很深，同样完成一轮业务问答，班加罗尔的初创企业，有可能比美国奥斯汀的同行付出更高的AI使用开销。

在教学这类实际业务场景当中，该问题的弊端会体现得十分直观。AI想要做好辅导教学，需要记住学生过往的错题、讲解记录。如果某一门语言Token消耗过高，历史对话会快速占满上下文窗口，直接压缩模型记忆空间，最终拉低实际输出的教学质量。

行业从业者呼吁建立多语言评测公开机制

来自Activate AI的投资人普拉蒂尤什・乔杜里提出，语言处理效率，应当和准确率、响应速度一样，被视作 AI 产品的核心衡量指标。想要让所有语言实现完全均等处理并不现实，但悬殊的倍数差距需要得到解释与整改计划。

他建议主流AI实验室公开各个语种的实测评估报告，披露同等难度任务下不同语言的实际消耗，针对薄弱语种制定可量化的优化目标。仅仅等待Token单价持续下降，并不足以消解语种带来的结构性不平等，价格降低只会减轻直接经济负担，不会修复分词逻辑本身的先天缺陷。

补齐语料与分词器设计，双路径改善多语言体验

行业也在探讨可行的解决路径，扩充高质量多语言数据集是重要一环。像盖茨基金会资助的RESPIN项目，就联合科研机构，收集三十八种方言母语使用者提交的文本和录音素材，用来丰富训练语料。

不过不少从业者也提醒，单纯堆砌训练素材还远远不够。Maya Research的迪曼特・雷迪表示，想要从根源缩小语种鸿沟，下一代分词器在设计之初，就需要充分兼顾各类文字与语言，而不是后期被动修补。

AI技术正在向全球各个地区渗透，语言层面的公平性，也慢慢从伦理议题变成影响落地效果的现实工程问题。只有分词器、训练数据集同步迭代，不同语言的使用者，才可以获得更加对等的AI服务体验。

（智算芯能前沿网综合）

本文由智算芯能前沿网编辑整理，转载请注明出处。