跳到正文
编程术语图鉴

共 30 条词条

简体

词元

难度 · 硬核

/token

也叫: 切词块 · 计费单位 · 文字碎片

你可能会说

这次调用大概花了多少钱,是怎么算的

AI 眼里的最小文字单位,也是计价的尺子

大白话解释

词元是 AI 读写文字的最小单位。它不按「字」也不完全按「词」来切,而是照自己的一套规则把文本剁成小块,一个词元可能是一个字、半个单词,也可能是一小段。

中文里大致一个汉字算一到两个词元,英文里一个常见单词常常算一个。所以同一段意思,用中文写和用英文写,消耗的词元数并不一样。

它相当于 AI 世界的流量。你跟 AI 聊天、调用接口,账单都按输入和输出的词元数来算,跟打车按公里数计费是一个道理。

什么时候会遇到

  • 收到接口账单,发现输入和输出的词元是分开计价的。
  • 官网上写着「每百万词元多少钱」,你要换算成自己一天大概花多少。
  • 把一大段代码丢给 AI,提示超出长度限制,让你切小一点。
  • 想知道一次对话大概花了多少钱,得先知道用掉多少词元。
  • 对比两家模型的价格,一家按词元一家按次数,怎么算都算不明白。
  • 要做合同或论文审查,得把长文档切块送进去,一块一块算成本。

可以直接对 Agent 说

「帮我估算一下:这段 3000 字的提示词,如果我每天调用 200 次,一个月大概消耗多少词元,按每百万词元 2 美元算要花多少钱。」

「把这份两万字的文档按每 1500 字切一块,相邻块之间保留 100 字重叠,输出成一个 json 数组给我。」

「以后回答尽量精简,能一句话说清楚就别写三段,帮我省点词元。」

正文里带下划线的词,是本站其它词条的入口;这一篇自动链了 2 个相关术语。

最容易想岔的地方

常见的错误理解: 一个汉字就是一个词元,数一数字数就知道花多少钱

更准确的理解: 中文一个词常常要拆成两三个词元,英文单词也可能被切开。估成本要看实际用量,别拿字数硬套

常见的错误理解: 词元只是计费单位,跟使用体验没关系

更准确的理解: 上下文上限、响应速度、收费全都按词元算。你贴进去的每一段长文档,都在同时吃掉这三样

测一下:真遇到了你会怎么处理

单选 · 选完立刻看解释

同样的对话内容,你发现调用 AI 接口时中文花的钱比英文多。

为什么会这样?

题目只考「这个场景下的第一反应」,不考名词背诵 —— 词元的定义在上面已经讲过了。

提示词 Prompt

怎么问它才能一次就给对,不用来回改

又称 指令 / 给 AI 说的话 / 输入框里打的那段

幻觉 Hallucination

它引用的那个函数根本不存在,是编出来的

又称 胡说八道 / 一本正经编 / AI 编瞎话