1. 从 Artificial Analysis 的两个分数开始：为什么要在 LiteLLM 里接 Ling-3.0-flash-Fin
在 LiteLLM 的model_list里新增一个 OpenAI 兼容端点时，最容易卡住的不是 YAML 缩进，而是api_base和模型名的映射。这次要跑的是 Ling-3.0-flash-Fin，先去 TaoToken 官网（https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_content=litellm_ling3_fin）拿 Key，Base URL 用https://taotoken.net/api。按这个路径走完，你就能在本地 LiteLLM 网关后面稳定调用它，而不是把密钥散落在每个脚本里。
Artificial Analysis 对蚂蚁集团发布的金融开源权重模型 Ling-3.0-flash-Fin 做了评测：Intelligence Index 拿到 23 分，Finance & Accounting Index 拿到 24 分。这两个数字本身不说明一切，但对平台工程师来说，它们提供了一个选型锚点：如果业务里存在财报问答、科目归类、比率计算、金融文本摘要这类任务，一个在金融与会计专项指数上有独立得分的模型，值得放进评测队列。问题在于，评测队列不能是一个个脚本直连，否则 Key 管理、重试、日志、限流、成本归集都会变成碎片。LiteLLM 的价值就在这里：它把不同供应商统一成 OpenAI 兼容接口，你只需要在model_list里加一条配置，就能让上层应用通过同一个网关调用 Ling-3.0-flash-Fin。
我这次的角色是平台工程师，不是模型训练者，也不是评测机构。我要交付的不是“这个模型好不好”的结论，而是一条可复现的接入路径：在初始化请求脚本之前，先到 TaoToken 官网获取 Key，确认 Base URL，然后把 Ling-3.0-flash-Fin 写进 LiteLLM 的model_list，最后产出请求命令与评分对照表。这样团队里的其他成员可以直接复制配置，不用再问“用哪个地址、填哪个模型名、Key 放哪里”。
需要提前说明的是，本文所有命令都由读者在本地或自己的开发环境执行。LiteLLM 网关跑在你自己的机器上，TaoToken 作为上游 OpenAI 兼容服务提供模型能力。不要把生产数据库连接信息、内部密钥、真实用户数据直接塞进请求示例；示例只使用占位符YOUR_API_KEY和公开的评测分数。
2. 初始化 Key 与 Base URL：请求脚本之前的三个动作
在写第一行调用代码之前，先把三件事做完：拿到 Key、确认 Base URL、设置环境变量。顺序不要颠倒，否则后面 LiteLLM 报 401 时，你会花时间在 YAML 里找问题，而真正的原因可能是 Key 没生效。
第一步，打开 TaoToken 官网并完成注册或登录：https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_content=litellm_ling3_fin_key 。如果你已经有账号，直接进入控制台。注意，这里不要去找任何“站外中转”或“共享 Key”，平台工程师的第一条纪律是密钥来源可追溯。TaoToken 控制台里的 API Keys 页面就是创建和管理 Key 的地方：https://taotoken.net/console/api-keys?utm_source=taotoken_aicg_blog_end&utm_content=litellm_ling3_fin_apikey 。创建后立即复制，很多平台只展示一次。
第二步，确认 Base URL。本文统一使用：
https://taotoken.net/api这个地址会在 LiteLLM 的api_base、OpenAI SDK 的base_url、Claude Code 的ANTHROPIC_BASE_URL中以不同形式出现。不要在后面随手加/v1或删掉/api，除非你通过日志确认实际请求路径需要调整。不同 SDK 对路径拼接的策略不同，最稳妥的方式是先用curl验证一次，再放进 LiteLLM。
第三步，设置环境变量。Linux 或 macOS 下可以这样写：
export TAOTOKEN_API_KEY="YOUR_API_KEY" export TAOTOKEN_BASE_URL="https://taotoken.net/api"Windows PowerShell 下：
$env:TAOTOKEN_API_KEY="YOUR_API_KEY" $env:TAOTOKEN_BASE_URL="https://taotoken.net/api"设置完成后，用一个最小请求确认 Key 和 Base URL 能通。这里直接请求 TaoToken 的 OpenAI 兼容端点，不经过 LiteLLM：
curl -sS "${TAOTOKEN_BASE_URL}/chat/completions" \ -H "Authorization: Bearer ${TAOTOKEN_API_KEY}" \ -H "Content-Type: application/json" \ -d '{ "model": "Ling-3.0-flash-Fin", "messages": [ {"role": "user", "content": "用三句话说明金融模型在财报问答中的常见误差来源。"} ], "temperature": 0.2, "stream": false }'如果这里返回 401，优先检查 Key 是否复制完整、是否有多余空格、是否在请求头里正确使用了Bearer。如果返回 404，检查实际请求 URL 是否被 SDK 或 curl 拼接成了你不期望的路径。如果返回模型不存在，检查模型名大小写和连字符。Ling-3.0-flash-Fin 这个名字里有数字、点和连字符，复制时不要漏掉任何一段。
3. LiteLLM 配置：把 TaoToken 写进 model_list 的完整示例
LiteLLM 的配置核心是model_list。每一条配置包含model_name和litellm_params。model_name是你给上层应用看的别名，可以叫ling-3-flash-fin、finance-model或任何你喜欢的名字；litellm_params里的model才是上游真实模型标识。对于 OpenAI 兼容供应商，推荐使用openai/前缀，让 LiteLLM 走 OpenAI 兼容适配器。
新建一个config.yaml，写入以下内容：
model_list: - model_name: ling-3-flash-fin litellm_params: model: openai/Ling-3.0-flash-Fin api_base: https://taotoken.net/api api_key: os.environ/TAOTOKEN_API_KEY timeout: 600 max_retries: 2 model_info: mode: chat max_tokens: 8192 supports_streaming: true - model_name: ling-3-flash-fin-stream litellm_params: model: openai/Ling-3.0-flash-Fin api_base: https://taotoken.net/api api_key: os.environ/TAOTOKEN_API_KEY timeout: 600 stream: true model_info: mode: chat max_tokens: 8192 litellm_settings: drop_params: true request_timeout: 600 set_verbose: false general_settings: master_key: sk-local-litellm database_url: null几点解释：
model_name是 LiteLLM 网关对外暴露的名字。上层应用请求ling-3-flash-fin，LiteLLM 会把它路由到openai/Ling-3.0-flash-Fin。api_base固定为https://taotoken.net/api。不要在这里加 UTM 参数，UTM 只用于官网链接和文档链接，不用于 API 请求。api_key使用os.environ/TAOTOKEN_API_KEY，LiteLLM 会从环境变量读取。这样 Key 不会出现在 YAML 文件里，适合放进版本控制之外的配置文件。timeout和max_retries是平台工程里最容易被忽略的两个参数。金融文本往往较长，模型首包时间可能超过默认值，显式设置 600 秒可以减少不必要的超时中断。drop_params: true会让 LiteLLM 丢弃上游不支持的参数，避免因为某个可选字段导致整个请求失败。
启动 LiteLLM 代理：
litellm --config config.yaml --port 4000 --host 0.0.0.0如果你使用 Docker，可以这样启动：
docker run -d \ --name litellm-proxy \ -p 4000:4000 \ -e TAOTOKEN_API_KEY="YOUR_API_KEY" \ -v $(pwd)/config.yaml:/app/config.yaml \ ghcr.io/berriai/litellm:main-latest \ --config /app/config.yaml --port 4000 --host 0.0.0.0启动后，先用 LiteLLM 的模型列表接口确认配置已加载：
curl -sS http://localhost:4000/v1/models \ -H "Authorization: Bearer sk-local-litellm"如果返回的 JSON 里能看到ling-3-flash-fin，说明model_list已被正确解析。如果看不到，检查 YAML 缩进和 LiteLLM 启动日志。LiteLLM 对 YAML 缩进比较敏感，model_list下面的-和字段层级必须对齐。
4. 请求命令与评分对照表：Intelligence Index 23 / Finance & Accounting Index 24
配置完成后，通过 LiteLLM 网关发起请求。下面是三种常用方式：curl、Python OpenAI SDK、以及批量评测脚本。
4.1 curl 请求 LiteLLM 网关
curl -sS http://localhost:4000/v1/chat/completions \ -H "Authorization: Bearer sk-local-litellm" \ -H "Content-Type: application/json" \ -d '{ "model": "ling-3-flash-fin", "messages": [ { "role": "system", "content": "你是一名金融分析助手，回答必须给出计算过程和假设。" }, { "role": "user", "content": "某公司营收 1200 万，毛利率 35%，营业费用 180 万，所得税率 25%，请计算营业利润和净利润。" } ], "temperature": 0.1, "stream": false }'这里请求的是 LiteLLM 本地网关的/v1/chat/completions，不是 TaoToken 的地址。LiteLLM 会用config.yaml里的api_base和api_key转发到上游。这样你的业务代码只需要知道本地网关地址，不直接持有上游 Key。
4.2 Python OpenAI SDK 请求
from openai import OpenAI client = OpenAI( base_url="http://localhost:4000/v1", api_key="sk-local-litellm", ) resp = client.chat.completions.create( model="ling-3-flash-fin", messages=[ {"role": "system", "content": "你是一名严谨的金融分析助手。"}, {"role": "user", "content": "解释经营现金流与净利润差异的三个常见原因。"}, ], temperature=0.2, max_tokens=1024, ) print(resp.choices[0].message.content)如果你不想经过 LiteLLM，也可以直接请求 TaoToken：
from openai import OpenAI client = OpenAI( base_url="https://taotoken.net/api", api_key="YOUR_API_KEY", ) resp = client.chat.completions.create( model="Ling-3.0-flash-Fin", messages=[ {"role": "user", "content": "用表格对比利润表和现金流量表的核心科目。"}, ], temperature=0.2, ) print(resp.choices[0].message.content)直接请求适合单点验证，LiteLLM 适合团队统一入口。两者不冲突：先用直接请求确认 Key 和模型名可用，再放进 LiteLLM 做集中管理。
4.3 评分对照表
Artificial Analysis 给出的两个分数是本文选型的主要外部参考。下表把评测指标、分数和接入后的验证动作放在一起，方便平台工程师在回归测试时对照：
| 评测指标 | Ling-3.0-flash-Fin 得分 | 指标含义 | 接入 LiteLLM 后的验证动作 |
|---|---|---|---|
| Artificial Analysis Intelligence Index | 23 | 综合智能指数，反映模型在通用推理与知识任务上的表现 | 用同一组通用 prompt 通过 LiteLLM 网关批量请求，记录响应质量和延迟 |
| Finance & Accounting Index | 24 | 金融与会计专项指数，反映模型在金融领域任务上的表现 | 构造财报问答、科目归类、比率计算样本，对比人工基线 |
| 流式输出 | 需自行验证 | 首包延迟和 token 吞吐 | 在model_list中配置stream: true，观察 SSE 事件是否连续 |
| 最大输出 | 需自行验证 | 长文本生成能力 | 设置max_tokens逐步递增，确认上游是否截断 |
这张表不是排行榜，而是接入检查清单。Intelligence Index 23 和 Finance & Accounting Index 24 是外部评测结果，不能直接等同于你的业务效果。平台工程师要做的是：用你自己的业务样本跑一轮回归，确认通过统一网关调用时，分数背后的能力是否能在你的场景里复现。
5. Claude Code 侧配置：settings.json 与 ANTHROPIC_*
有些团队会在 Claude Code 里直接调用模型，而不是每次手写 curl。TaoToken 提供了 Claude Code 兼容配置，官方文档在：https://taotoken.net/doc/ClaudeCodeAnthropic?utm_source=taotoken_aicg_blog_end&utm_content=litellm_ling3_fin_cc 。接入时使用settings.json和ANTHROPIC_*环境变量，不要把这些变量套到 Codex 上。
一个可复制的settings.json示例：
{ "env": { "ANTHROPIC_BASE_URL": "https://taotoken.net/api", "ANTHROPIC_API_KEY": "YOUR_API_KEY", "ANTHROPIC_MODEL": "Ling-3.0-flash-Fin", "ANTHROPIC_SMALL_FAST_MODEL": "Ling-3.0-flash-Fin" } }如果你更习惯用 shell 环境变量，也可以在启动 Claude Code 之前导出：
export ANTHROPIC_BASE_URL="https://taotoken.net/api" export ANTHROPIC_API_KEY="YOUR_API_KEY" export ANTHROPIC_MODEL="Ling-3.0-flash-Fin"这里的关键点有三个：
ANTHROPIC_BASE_URL指向https://taotoken.net/api，不是 LiteLLM 本地地址。Claude Code 走的是 Anthropic 兼容协议，不要和 LiteLLM 的 OpenAI 兼容配置混在一起。ANTHROPIC_API_KEY使用你在 TaoToken 创建的 Key。Key 占位符统一写YOUR_API_KEY，不要把真实 Key 提交到仓库。ANTHROPIC_MODEL填Ling-3.0-flash-Fin。如果 Claude Code 需要小模型做辅助任务，ANTHROPIC_SMALL_FAST_MODEL可以指向同一个模型，避免因为找不到小模型而报错。
需要再次强调：ANTHROPIC_*只用于 Claude Code 或 Anthropic 兼容客户端。Codex 使用config.toml，两者不要混用。把ANTHROPIC_BASE_URL写进 Codex 配置不会生效，反而会让排障方向跑偏。
6. Codex 侧配置：config.toml 与 CC Switch 三件套
Codex 的配置入口是config.toml。如果你在团队里同时使用 Claude Code 和 Codex，建议把两者的配置分开管理。Codex 侧不要出现ANTHROPIC_*，而是使用自己的 provider 配置。
一个可复制的config.toml示例：
model = "Ling-3.0-flash-Fin" model_provider = "taotoken" [model_providers.taotoken] name = "TaoToken" base_url = "https://taotoken.net/api" env_key = "TAOTOKEN_API_KEY" wire_api = "chat"对应环境变量：
export TAOTOKEN_API_KEY="YOUR_API_KEY"如果你使用 CC Switch 管理多套配置，所谓“三件套”就是三个字段：
| CC Switch 字段 | 填写值 | 说明 |
|---|---|---|
| Base URL | https://taotoken.net/api | 不要加 UTM 参数，不要混入 Claude Code 的ANTHROPIC_BASE_URL |
| API Key | YOUR_API_KEY | 来自 TaoToken 控制台 API Keys 页面 |
| Model | Ling-3.0-flash-Fin | 与 LiteLLMmodel_list中的上游模型名保持一致 |
创建 Key 的入口仍然是 TaoToken 控制台：https://taotoken.net/console/api-keys?utm_source=taotoken_aicg_blog_end&utm_content=litellm_ling3_fin_cc_key 。在 CC Switch 里切换配置后，先用一个最小对话确认能通，再开始跑长任务。如果 Codex 报认证失败，检查env_key对应的环境变量是否存在于当前 shell；如果报模型不存在，检查model字段大小写；如果报路径错误，检查base_url是否被误写成了 LiteLLM 的http://localhost:4000/v1。Codex 应该直连 TaoToken 的 Base URL，而不是绕到 LiteLLM 再转发，除非你明确设计了多级网关。
7. 排障清单：401、404、model not found 与超时重试
接入过程中最常见的四类问题分别是认证失败、路径错误、模型名错误和超时。下面按现象、可能原因、处理动作来整理。
7.1 401 Unauthorized
现象：请求返回 401，LiteLLM 日志显示上游拒绝。
可能原因：
- Key 没有设置到环境变量，或设置后没有重新打开终端。
- Key 复制不完整，末尾有空格或换行。
- LiteLLM 配置里
api_key写成了字面量YOUR_API_KEY，但环境变量没有真正导出。 - Header 里
Bearer拼写错误。
处理动作：
echo "$TAOTOKEN_API_KEY" | wc -c确认长度合理且没有多余空白。然后在 LiteLLM 启动的同一 shell 里重新导出变量，重启 LiteLLM。不要在两个终端里分别设置 Key，LiteLLM 只读取它自己进程的环境变量。
7.2 404 Not Found
现象：curl 或 LiteLLM 返回 404。
可能原因：
api_base被写成了https://taotoken.net，缺少/api。- SDK 自动拼接了
/v1，导致实际路径与平台要求不一致。 - 请求发到了 LiteLLM 本地端口，但 LiteLLM 没有启动，或端口不是 4000。
处理动作：
先用curl -v查看实际请求 URL：
curl -v "${TAOTOKEN_BASE_URL}/chat/completions" \ -H "Authorization: Bearer ${TAOTOKEN_API_KEY}" \ -H "Content-Type: application/json" \ -d '{"model":"Ling-3.0-flash-Fin","messages":[{"role":"user","content":"ping"}]}'观察> GET或> POST后面的完整路径。如果路径里出现了多余的/v1/v1或缺少/api，就调整 Base URL 的写法。LiteLLM 的 OpenAI 兼容适配器通常会在api_base后面拼接/chat/completions，所以api_base保持https://taotoken.net/api即可。
7.3 model not found
现象：返回模型不存在，或 LiteLLM 报 “No model found”。
可能原因：
- 模型名写成了
Ling-3-flash-Fin、ling-3.0-flash-fin等变体。 - LiteLLM 的
model_name和model混淆：上层请求的是model_name，上游需要的是model。 - 在 Codex 或 Claude Code 中填了 LiteLLM 的本地别名，但客户端直连了 TaoToken。
处理动作：
统一使用Ling-3.0-flash-Fin作为上游模型名。在 LiteLLM 中，如果上层应用请求ling-3-flash-fin，确认model_list里存在对应的model_name。用/v1/models接口检查 LiteLLM 实际暴露了哪些名字：
curl -sS http://localhost:4000/v1/models \ -H "Authorization: Bearer sk-local-litellm" | jq '.data[].id'如果jq不可用，直接看原始 JSON 也可以。
7.4 超时与重试
金融长文本容易触发超时。LiteLLM 侧可以在litellm_params中设置timeout和max_retries：
litellm_params: model: openai/Ling-3.0-flash-Fin api_base: https://taotoken.net/api api_key: os.environ/TAOTOKEN_API_KEY timeout: 600 max_retries: 2如果使用 LiteLLM Router，还可以配置更细的重试策略：
router_settings: num_retries: 2 timeout: 600 retry_after: 2 allowed_fails: 3 cooldown_time: 30重试不是越多越好。金融场景里，重复请求可能带来成本；如果上游返回的是业务层面的错误，重试也不会改变结果。建议只在网络错误、429 和 5xx 上重试，业务错误直接返回给上层处理。
8. 从模型对话到 Coding Plan：一条可复现的接入路径
到这里，LiteLLM 跑 Ling-3.0-flash-Fin 的主路径已经完整：去 TaoToken 官网创建 Key，设置 Base URL 为https://taotoken.net/api，在config.yaml的model_list中写入openai/Ling-3.0-flash-Fin，启动 LiteLLM 网关，用 curl 或 OpenAI SDK 发起请求，最后把 Artificial Analysis 的 Intelligence Index 23 和 Finance & Accounting Index 24 作为选型参考，放进自己的回归测试。
如果你希望把这条路径继续扩展，可以按下面的顺序操作：
- 先通过模型对话做单点验证：https://taotoken.net/models/detail/chat?utm_source=taotoken_aicg_blog_end&utm_content=litellm_ling3_fin_chat 。在这里确认 Ling-3.0-flash-Fin 的基础响应质量，尤其是金融问答、表格理解、计算过程展示。
- 如果团队需要长期高频使用，查看 Coding Plan：https://taotoken.net/coding-plan?utm_source=taotoken_aicg_blog_end&utm_content=litellm_ling3_fin_plan 。把 LiteLLM 网关、Claude Code、Codex 的用量统一纳入计划管理。
- 回到控制台创建专用 Key：https://taotoken.net/console/api-keys?utm_source=taotoken_aicg_blog_end&utm_content=litellm_ling3_fin_key2 。为不同环境创建不同 Key，比如开发、测试、生产各一套，方便审计和吊销。
- 如果要在 Claude Code 中使用，参考官方文档：https://taotoken.net/doc/ClaudeCodeAnthropic?utm_source=taotoken_aicg_blog_end&utm_content=litellm_ling3_fin_cc2 。按照文档配置
settings.json和ANTHROPIC_*，不要和 Codex 的config.toml混用。
平台工程的核心不是“能跑一次”，而是“别人也能跑、出了问题能定位、成本能归集、Key 能轮换”。LiteLLM 的model_list让 TaoToken 成为其中一个可替换的上游，Claude Code 和 Codex 的配置让不同客户端各走各的协议。你只需要保证三件事：Base URL 正确、模型名正确、Key 从 TaoToken 官网来。剩下的，交给日志和回归测试。
