1.LLM
LLM是大语言模型
2.token
token并不等于词,token是大模型自己对文本的一个切分规则,切分之后的最小单元就是一个token
1个token平均等于0.75个英文单词,或者1.5-2个汉字。
3.context
Q:我们平常和LLM聊天,他会记住你之前的话,这是为什么呢?
A:我们每次和大模型对话,不只是发问题,还会把之前我们的整段对话历史一起发过去。这就是context上下文的概念。
context是大模型每次处理任务时所接收到的信息总和。
Q:context到底可以容纳多少个token?
A:context window 是context能容纳最大的token数量
4.prompt
给大模型的指令或者问题就是prompt
5.Tool
天气查询工具的调用流程
大模型:选择工具,归纳总结
工具:查询天气
平台:串联流程
Tool的本质就是给大模型提供调用外部的能力,让它能够感知和影响外部环境
6.mcp
上面说了,平台要把工具列表传给大模型,还要调用工具tool,要实现这些就得把tool接入平台,让平台知道自己可用的工具列表和所需要的参数。
mcp(模型上下文协议)就是平台接入工具的统一接入规范