第二部分 看懂大模型05
Token、参数量与温度：度量一个模型
入门20 分钟第 5 / 19 章
模型不按字数收费，参数量不代表强弱，答案每次不同也不是故障。这三个最容易混的度量，各自量的是完全不同的东西。
学完本章你能做到
- 解释 token 是什么，为什么中英文费用差异巨大
- 分清参数量、上下文长度、跑分三件事，不再混着比较
- 知道温度是什么、什么时候该调低
学习与练习
从课程目录定位知识点，按章节完成练习，随时接着上次继续。
先理解
Token 与计费单位：中英文差价从切分方式来
模型不认识「字」，只认识 token——把文本切开的最小单位。一个英文单词通常是 1 个多 token，而汉字常被切成 1 到 2 个 token。
同样的语义，中文往往消耗更多 token，这就是「中英文差价」的来源。它同时影响三笔钱：输入按输入 token 计费，输出按输出 token 计费（更贵），上下文长度限制也按 token 数算。
实用推论：
让模型「精简作答」不只是省阅读时间，是直接省钱；
把长资料翻译成英文再处理不一定省，切分方式因模型而异，实测为准；
报价表上的「每百万 token 单价」乘以你的用量，才是真实的成本估算。
对照看
参数量、上下文长度、跑分：三件不同的事
比较模型时最常见的错误，是把三件不同的事混在一起：
参数量：模型内部旋钮的数量，大致对应知识容量与运行成本。它是「这台机器多大」，不是「活干得多好」。
上下文长度：一次请求能装进多少 token。它是「台面多大」，决定你能塞进多少资料，与聪明程度无关。
跑分：模型在公开评测集上的成绩。它反映「考试能力」，而你的真实任务往往和考题不一样——评测集没覆盖的场景，跑分再高也可能翻车。
正确的选型姿势：拿十几个你自己的真实任务样例，让候选模型当场做，比任何排行榜都可靠。
先理解
温度与随机性：同一问题两次答案不同是设计使然
模型预测下一个词时，输出的不是一个词，而是一张概率表。温度参数决定怎么从这张表里挑：
温度低：几乎总挑概率最高的词。输出稳定、保守，适合信息抽取、分类、格式转换。
温度高：低概率的词也有机会入选。输出多样、有意外，适合起名字、写文案、头脑风暴。
所以「同一个问题每次答案不同」不是故障，是采样机制的设计结果。需要严格一致时，把温度设为 0 或很低，并关闭不必要的随机选项。
一个容易踩的坑：温度高救不了糟糕的提示词。答案飘忽时先改提示词，最后才动温度。
看个例子
案例：同一句话，三个温度三种结果
输入完全相同：「用一句话描述秋天。」
温度 = 0（最保守）：
「秋天是一个金黄色的收获季节。」
再跑一次 → 几乎一字不差
温度 = 0.7（默认值）：
「落叶铺满街道，空气里带着桂花的甜。」
再跑一次 → 「田野里金黄的稻穗在风中摇曳。」
每次不同，但质量稳定
温度 = 1.5（很高）：
「秋天像一个穿着橘色风衣的旅人，在星空下煮一壶肉桂茶。」
再跑一次 → 「枫叶们开了一场静悄悄的红色派对。」
充满惊喜，偶尔出格
什么时候用哪个？
温度 0 → 信息抽取、分类标注、数据处理（要稳定一致）
温度 0.5-0.7 → 日常对话、写作、翻译（要自然又可控）
温度 1.0+ → 起名字、写诗、头脑风暴（要创意和意外）
估算一次调用的账单
用一个真实报价表（任选一家厂商官网价格页）做一道算术题。
- 1假设你的应用每次请求：输入 3000 token，输出 800 token，每天 1000 次
- 2按报价表算出日成本；再把输出指令改成「不超过 300 token」，重算
- 3把系统提示改成中英双语版本，观察输入 token 变化
验收清单
- 会区分输入价与输出价
- 能算出「限制输出长度」省下的百分比
- 明白为什么成本估算必须用 token 而不是字数
常见问题
温度设为 0 之后，两次运行就一定一字不差吗？
大概率一致，但不保证。工程实现层面仍有并行计算的非确定性因素。要「可复现」，正确思路是把温度、提示词、输入内容三者都固定，并在验收时允许极小波动。
学完后记得保存进度
完成標記保存在目前瀏覽器；登入後，會記住上次閱讀的章節與位置。