第二部分 看懂大模型06
调用一个模型:三件套、常用参数与降级
进阶20 分钟第 6 / 19 章
base_url、模型名、API Key 三件套,加上 max_tokens、stream、system 几个参数,就是接入一个大模型的全部。再看懂选型分档与降级,你就理解了所有 AI 产品的稳定性设计。
学完本章你能做到
- 说出调用模型的必备三件套,理解为什么各家接口长得越来越像
- 解释 max_tokens、stream、system 各自在产品体验上意味着什么
- 描述「按任务分档配模型 + 主备降级」的基本架构
学习与练习
从课程目录定位知识点,按章节完成练习,随时接着上次继续。
先理解
三件套:base_url、模型名、API Key
接入任何一个大模型,配置项看起来五花八门,核心只有三件:
base_url:接口地址,告诉程序去哪里发请求。
模型名:字符串,如某个具体型号的代号,写错一个字母就会报「模型不存在」。
API Key:你的身份凭证,扣费、限流、权限都挂在它上面。
一个有趣的事实:几乎所有服务商都兼容 OpenAI 的接口格式。于是「换厂商」在多数情况下只是改 base_url 和模型名两行配置。这也是第二章说「保持可替换性」的技术底气——接入时选通用格式,就是在给自己留退路。
跟着做
常用调用参数在产品上意味着什么
四个最高频的参数,每一个都对应一种用户可感知的产品行为:
max_tokens:本次回答的最大长度上限。既是体验控制(防止滔滔不绝),也是成本闸门(封顶支出)。
stream:流式输出。开了,回答像打字机一样逐字出现,等待感大幅下降;关了,用户要盯着空白页面等完整答案。几乎所有聊天产品的「正在输入」效果都靠它。
system:系统提示,设定角色、规则与底线的位置,优先级高于用户的普通发言。第八章会详细讲它的用法。
top_p:与温度类似的随机性控制。实践中二选一调整即可,两个一起调反而难以定位问题。
先理解
选型与降级:所有 AI 产品的稳定性基本盘
成熟一点的产品都不会只配一个模型,而是两件事并用:
按任务分档:格式转换、标签抽取这类轻任务,交给便宜快速的小模型;复杂分析、长文写作,交给旗舰模型。一档一价,总成本能降一大截。
主备降级:主模型超时、限流或报错时,自动切换到备用模型继续服务,用户端最多感到稍慢,而不是看到报错弹窗。
这两件事不需要多高的技术门槛,却直接决定了产品在流量高峰和厂商故障时的生死。评估任何 AI 产品团队时,「你们的降级策略是什么」都是一个能问出深度的面试题。
写出你的接入清单
假设明天要把一个新功能接上大模型,把接入前要确定的事项写成清单。
- 1列出三件套分别找谁申请、配置在哪里保管
- 2为你的两个典型任务各选一个档位的模型,写下理由
- 3写下主模型故障时的降级对象,以及哪些环节必须人工介入
验收清单
- 三件套齐全,密钥有安全的存放方式
- 模型分档有成本对比依据
- 降级预案明确到「切到哪个模型、谁收到通知」
常见问题
API Key 泄露会发生什么?
别人可以用你的身份无限调用模型,账单算在你头上。所以要像保管银行卡密码一样保管它:不写进代码、不提交进代码仓库、不发给任何人,用环境变量或密钥管理服务存放,发现泄露立即作废重发。
学完后记得保存进度
Completion marks stay in this browser. Sign in to remember your last chapter and reading position.