AI 입문 기초 핑크북
AI 入门基础
第四部分 上下文与 RAG11

向量与检索:机器怎么判断「意思接近」

进阶25 分钟第 11 / 19 章

把一句话变成一串坐标,意思相近的句子靠得近——整套语义检索都建在这上面。但它最大的误差来源,恰恰是「相似不等于相关」。

学完本章你能做到

  • 解释向量(embedding)是什么,为什么它能度量语义相似度
  • 举出「相似但不相关」的实例,说出这是检索的最大误差来源
  • 对比关键词、向量、混合三种检索的盲区

学习与练习

从课程目录定位知识点,按章节完成练习,随时接着上次继续。

先理解

向量与语义相似度:一句话变成一串坐标

向量模型(embedding model)把一段文字转换成一串数字坐标,通常是几百到上千维。 神奇之处在于坐标的距离有含义:「如何退货」和「退货流程是什么」这两句话,字面不同,坐标却挨得很近;而「如何退货」和「如何退货赚钱」可能离得很远。 有了这张「语义地图」,搜索就不再依赖字面匹配:把用户问题和知识库里每一段文字都变成坐标,找出距离最近的那几段——机器就是这样「按意思找东西」的。第十三章的 RAG,第一步用的正是它。 形象比喻:想象一个巨大的图书馆,传统搜索是按书名关键字找书;向量搜索是请一个管理员,你描述「我想看关于如何克服拖延症的书」,他能带你走到「时间管理」和「行为心理学」的书架前——即使这些书的书名里没有「拖延」两个字。

先停一下

相似不等于相关:检索最大的误差来源

向量检索找的是「说得像」,不是「能回答」。两者经常重合,但重合不了的时候就是事故现场: 用户问「苹果最新发布会讲了什么」,向量空间里「苹果的营养价值和热量」距离并不远——它们都是关于苹果的段落,但只有一个能回答问题。 症状很好认:系统返回的片段和问题「看起来很像」,读进去却发现答非所问。 缓解手段主要有两类: 查询改写:先让模型把口语化的问题改写成更适合检索的表述; 重排序:粗筛出二十段后,再用更强的模型按「能否回答这个问题」精细排一次序。 知道这个误差来源的存在,是排查一切知识库「答不准」问题的起点。

对照看

关键词、向量与混合检索:各有盲区

三种找法,三副眼镜: 关键词检索(传统搜索那套):专有名词、编号、型号零失误;但不懂同义改写,「电脑开不了机」搜不到「主机无法启动」的文档。 向量检索:懂语义、跨措辞;但对精确符号不敏感,容易把「A 型号」和「B 型号」的文档混在一起。 混合检索:两条路都走,结果合并。实际生产系统几乎全是混合方案——关键词保精确,向量保语义,互为兜底。 选型口诀:文档里充满型号、代码、人名的,加重关键词权重;口语化提问多的场景,加重向量权重。

亲身体验「相似不等于相关」

不需要写代码,用一个支持联网或有知识库的 AI 产品就能完成。

  1. 1构造一对「字面近、义远」的问题(苹果发布会 / 苹果热量)
  2. 2观察检索型产品的返回结果是否混淆
  3. 3试着在问题里补一个限定词,观察结果改善程度——这就是手动查询改写

验收清单

  • 能举出一个自己遇到的「相似不相关」例子
  • 能说出重排在链路里的位置和作用
  • 能判断自己的业务文档更适合哪种检索权重

学完后记得保存进度

완료 표시는 현재 브라우저에 저장됩니다. 로그인하면 마지막 장과 읽던 위치를 기억합니다.