news 2026/3/28 18:59:15

大模型常见的专用名词

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
大模型常见的专用名词
• RPM(Requests Per Minute):每分钟最多允许发起多少次请求(调用次数)。超过就会报限流。  • TPM(Tokens Per Minute):每分钟最多允许处理多少 token。token 可以理解为“文本计费单位/处理单位”(中英文拆分规则不同)。  • 重要:有的厂商 TPM只算输入 tokens,有的会把 输入+输出 都算进去;要以你用的厂商文档为准。  • RPD(Requests Per Day):每天(或滚动 24h)最多允许多少次请求。 
  1. Token & 上下文相关
    • Token:模型处理文本的基本单位;不是“字数”,中文/英文的 token 数差异很大。
    • Context window / Context length(上下文窗口):一次请求里模型能“看到”的最大 token 数(输入+输出通常都占用窗口)。
    • Input tokens / Output tokens:输入消耗的 token、输出生成消耗的 token。
    • Max output tokens / max_tokens:这次最多允许模型生成多少 token(防止无限输出)。
    • Truncation(截断):输入太长时被系统或你自己截断,导致模型“看不到后半段”。

  2. 限流 / 吞吐相关
    • RPS / QPS(Requests/Queries Per Second):每秒请求数(有时平台会用这个口径,而不是 RPM)。
    • Burst(突发):短时间允许你“瞬时冲高”,但会用更长窗口做平滑统计(常见于滚动窗口策略)。
    • Rolling window(滚动窗口):不是按整点清零,而是按“最近 60 秒 / 最近 24 小时”累计来算;所以你会看到“请在 X 分钟后重试”这种提示。 
    • Concurrency(并发):同时在跑的请求数量上限(有的平台单独限制并发)。
    • Throughput(吞吐):单位时间输出多少 token(tokens/s),和模型大小、推理硬件、解码策略有关。
    • Latency(延迟):从发请求到拿到响应的时间;常拆成 TTFT + 生成阶段。

  3. 流式与时延拆分
    • Streaming(流式输出):模型边生成边返回(更“快看到第一段”)。
    • TTFT(Time To First Token):首 token 返回时间;对体验影响非常大。
    • Tokens/s(生成速度):流式时更直观。

  4. 计费与配额混合口径(不同厂商差异更大)
    • TPD(Tokens Per Day):每天 token 总量限制(有些平台有)。 
    • Spend limit(消费上限):按金额限制(例如 Anthropic/Claude 文档里会区分消费上限和速率限制)。 
    • Cached tokens(缓存 token):有的平台对“命中缓存”的 token 不计入限额或计费(具体看平台规则)。 
    • 音频类配额:例如按 Audio seconds per hour/day 计(做语音模型常见)。 

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/3/22 22:12:19

FPGA应用开发和仿真【3.6】

7.8 PID控制器 PID控制器广泛用于控制系统,控制系统中的数字控制部分也是数字信号处理系统的一种。典型的数字PID控制器如图7-63所示,它由前向欧拉法转换连续时间PID控制器而来,其P、I、D三个参数,分别为比例、积分、微分系数,而N用于配置微分单元中滤波器的极点,将有助…

作者头像 李华
网站建设 2026/3/28 10:03:59

四川西昌电器门店:30年本地老店,5大优势让你买电器不踩坑!

【四川西昌京东家电】哪家好:专业深度测评开篇:定下基调随着西昌市民对家电品质与服务需求的提升,选择一家靠谱的家电门店成为关键。本次测评聚焦四川西昌家电市场,旨在通过客观数据与真实体验,为消费者提供权威选购参…

作者头像 李华
网站建设 2026/3/28 9:56:06

python 学习笔记(文件和目录操作)

创建目录 os.makedirs可以递归的创建目录结构。 import os os.makedirs(tmp/python/test,exist_okTrue) #exit_ok True指定了,如果某个要创建的目录已经存在,也不报错删除文件或目录 os.remove 可以删除一个文件 os.remove(test.py)**shutil.rmtree()**…

作者头像 李华
网站建设 2026/3/24 6:45:52

实验一 安全威胁与攻击实验

一、实验目的安全威胁与攻击实验与理论教学第一章信息安全概论相对应。本实验在学生完成MAC地址欺骗攻击与防御实验、OSPF路由项欺骗攻击和防御实验的基础上,使学生能够理解威胁、攻击、资产的关系,并理解基本安全设计原则的重要性。具体如下&#xff1a…

作者头像 李华
网站建设 2026/3/28 16:23:49

二十一、pinctrl子系统

前言 前面我们写的GPIO驱动程序都是自己在驱动里面定义好gpio引脚需要用到的寄存器,然后在驱动程序里面直接去配置这些寄存器。Linux是一个成熟的,跨平台的通用操作系统,对于配置引脚这样的最基本的功能,是已经有一套现成的框架可…

作者头像 李华
网站建设 2026/3/23 22:11:40

Java Web 社区医院信息平台系统源码-SpringBoot2+Vue3+MyBatis-Plus+MySQL8.0【含文档】

摘要 随着信息技术的快速发展,传统社区医院的管理模式已难以满足现代医疗服务的需求。社区医院在日常运营中涉及患者信息管理、医生排班、药品库存、预约挂号等多方面业务,传统的手工记录或单机系统存在效率低下、数据易丢失、信息共享困难等问题。为了提…

作者头像 李华