VLLM学习-推理阶段generate

1. 实例

先看最顶层的代码，输入包含（提示词，生成参数），传入generate函数中：

2. LLM 类中的 generate 函数

断言：首先会进行一系列的断言。

请求构建：如果我们有多个 Prompt，这会将这些请求通过 for 循环封装到一个请求里面，也就是 _add_request()。

启动模型引擎：通过类对象调用 _run_engine 函数完成请求。

重点：generate 函数中最重要的就是 _add_request 函数和 _run_engine 函数。