Token、参数量与温度：度量一个模型

模型不认识「字」，只认识 token——把文本切开的最小单位。一个英文单词通常是 1 个多 token，而汉字常被切成 1 到 2 个 token。 同样的语义，中文往往消耗更多 token，这就是「中英文差价」的来源。它同时影响三笔钱：输入按输入 token 计费，输出按输出 token 计费（更贵），上下文长度限制也按 token 数算。 实用推论： 让模型「精简作答」不只是省阅读时间，是直接省钱； 把长资料翻译成英文再处理不一定省，切分方式因模型而异，实测为准； 报价表上的「每百万 token 单价」乘以你的用量，才是真实的成本估算。

比较模型时最常见的错误，是把三件不同的事混在一起： 参数量：模型内部旋钮的数量，大致对应知识容量与运行成本。它是「这台机器多大」，不是「活干得多好」。 上下文长度：一次请求能装进多少 token。它是「台面多大」，决定你能塞进多少资料，与聪明程度无关。 跑分：模型在公开评测集上的成绩。它反映「考试能力」，而你的真实任务往往和考题不一样——评测集没覆盖的场景，跑分再高也可能翻车。 正确的选型姿势：拿十几个你自己的真实任务样例，让候选模型当场做，比任何排行榜都可靠。

模型预测下一个词时，输出的不是一个词，而是一张概率表。温度参数决定怎么从这张表里挑： 温度低：几乎总挑概率最高的词。输出稳定、保守，适合信息抽取、分类、格式转换。 温度高：低概率的词也有机会入选。输出多样、有意外，适合起名字、写文案、头脑风暴。 所以「同一个问题每次答案不同」不是故障，是采样机制的设计结果。需要严格一致时，把温度设为 0 或很低，并关闭不必要的随机选项。 一个容易踩的坑：温度高救不了糟糕的提示词。答案飘忽时先改提示词，最后才动温度。

输入完全相同：「用一句话描述秋天。」 温度 = 0（最保守）： 「秋天是一个金黄色的收获季节。」 再跑一次 → 几乎一字不差 温度 = 0.7（默认值）： 「落叶铺满街道，空气里带着桂花的甜。」 再跑一次 → 「田野里金黄的稻穗在风中摇曳。」 每次不同，但质量稳定 温度 = 1.5（很高）： 「秋天像一个穿着橘色风衣的旅人，在星空下煮一壶肉桂茶。」 再跑一次 → 「枫叶们开了一场静悄悄的红色派对。」 充满惊喜，偶尔出格 什么时候用哪个？ 温度 0 → 信息抽取、分类标注、数据处理（要稳定一致） 温度 0.5-0.7 → 日常对话、写作、翻译（要自然又可控） 温度 1.0+ → 起名字、写诗、头脑风暴（要创意和意外）