10 分钟跑通 FreeLLMAPI：把 34 家免费 LLM 聚合成一个 OpenAI 兼容 API 的新手实战指南-平芜编程栈

10 分钟跑通 FreeLLMAPI：把 34 家免费 LLM 聚合成一个 OpenAI 兼容 API 的新手实战指南

【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi

FreeLLMAPI 把 34 家 LLM 提供商的免费额度聚合成一个 OpenAI 兼容的/v1接口：635 个免费模型端点、每月约 74 亿免费 token，某家限流了它自动切下一家。这篇是新手指南，跟着走，10 分钟后你会有一个跑起来的部署、一条免费回复，以及接进自己代码的最小改法。

74 亿免费 token 的池子：FreeLLMAPI 替你省了什么

先说痛点。每家 AI 厂商都送免费额度：每月几百万 token、每天几千次请求。单看一家都不够打——密钥分散在 34 个控制台，限流规则各不相同，SDK 各写各的。手工串起来，等于维护 34 套接口，外加 34 个会挂的地方。

FreeLLMAPI 的思路是把这些免费层拼成一个池子：474 个模型家族、635 个免费端点（584 个聊天、41 个 embedding、7 个语音转写、3 个视频），折合每月约74 亿 token。你的请求只打本地这一个/v1接口，路由器替你挑模型、挑密钥、避开限流。

三种部署方式：一行命令、Compose、桌面版

三条路都能到 3001 端口，选你顺手的那条。

一行命令：Docker 干完所有脏活

这条命令替你建好~/freellmapi目录、生成加密密钥、拉镜像、启动容器：

curl -fsSL https://freellmapi.co/install.sh | bash

命令可以重复执行：.env和加密密钥会被保留，重跑只会把容器升级到最新版。

✅ 部署成功后，浏览器打开http://localhost:3001进仪表盘。去密钥页做三件事：

把你手里的提供商密钥填进去（Google AI Studio、Groq、Mistral，或任意 OpenAI 兼容端点）
在Fallback Chain（回退链）里调整顺序，排靠前的优先被选中
复制页头的统一密钥（freellmapi-开头）——之后你的所有应用只认这一把

先别写代码，直接去Playground页发一句话。回复气泡上会标出这次实际是哪家提供商、哪个模型应答的，延迟多少——路由确实在转，一眼可见。🎉 第一条免费回复到手。

Docker Compose：想看清每一步

不放心把管道直接喂给 bash？自己走一遍：生成 64 位十六进制加密密钥、写进.env、启动 compose：

git clone https://gitcode.com/GitHub_Trending/fr/freellmapi cd freellmapi ENCRYPTION_KEY="$(openssl rand -hex 32)" printf "ENCRYPTION_KEY=%s\nPORT=3001\n" "$ENCRYPTION_KEY" > .env docker compose up -d

SQLite 数据会落进具名卷freellmapi-data。升级时保持ENCRYPTION_KEY和这个卷不变，加密存的密钥就永远解得开。局域网访问、备份、桌面构建等细节都在安装与部署文档里。

零命令行：桌面版

桌面版把整个路由器加仪表盘装进系统托盘：不用设账号密码，仪表盘自动登录，托盘弹窗里能看到实时请求统计。macOS 装.dmg（Apple Silicon 选 arm64），Windows 装.exe，从 Releases 下载即可。

大白话机制拆解：FreeLLMAPI 怎么派单

大白话版：它不做推理，只做"派单"。一个请求进来，调度台给池子里所有已启用模型打分，分最高的接单；那家挂了或限流，单子自动挪给下一家。

技术上是这样流转的：

请求打进来，路由器按可靠性、速度、智能三个轴给模型打分。评分基于近 7 天的实测成功率、吞吐和首字节时间，带 2 天半衰期——昨天的失败比 6 天前的失败影响更大
默认balanced策略按 0.5 / 0.25 / 0.25 加权合成总分，分数最高的模型接单。每个响应都带X-Routed-Via: 提供商/模型头，你可以核对是谁答的
命中 429 或 5xx 时，这个密钥进入冷却，升级阶梯是 2 分钟 → 10 分钟 → 1 小时 → 24 小时；请求自动落到链上下一个，整个回退循环最多重试 20 次、总挂钟预算默认 45 秒
每次调用都计入按密钥的额度统计，让你始终停在各家免费上限之内

选模逻辑在server/src/services/router.ts，429/5xx 触发冷却重试的循环在server/src/lib/fallback-loop.ts。想深挖 Thompson 采样和护栏因子，路由与评分架构文档把每个公式都摊开了。

接进你的代码：把 OpenAI SDK 指向免费池

只要你的代码走 OpenAI 协议，改两个参数：base_url指向本地 3001 端口的/v1，api_key换成统一密钥。

from openai import OpenAI client = OpenAI(base_url="http://localhost:3001/v1", api_key="freellmapi-你的统一密钥") resp = client.chat.completions.create( model="auto", messages=[{"role": "user", "content": "一句话介绍你自己"}], ) print(resp.choices[0].message.content)

model填auto让路由器自己挑；写auto:fast偏重速度、auto:smart偏重智能、auto:reliable偏重近期成功率，也可以直接指定具体模型名。

顺手一件划算的事：把 Ollama、vLLM、LM Studio 这类本地模型按 OpenAI 兼容端点挂进密钥页的自定义端点，它们就和免费池一起参与路由。流式、工具调用、Embedding、图像/语音生成、Anthropic 协议面（/v1/messages，Claude Code 直接可用）的完整写法，都在REST API 参考里。

日常管理：密钥、路由、账本，三个页面说清

日常管理就三个页面：

密钥页管提供商密钥、回退链顺序和统一密钥，每个密钥带状态点和最近健康检查时间
Models页是路由透视：每个模型带可靠性、速度、智能三个实时评分，列表顺序就是此刻真实的路由顺序，整池的月度 token 预算也在这里看
Analytics页管账：请求量、成功率、token 进出、按提供商拆分都有，延迟给到 p50/p95 和首 token 时间，分析数据默认保留 90 天或 10 万条记录（先到为准）

⚠️ 几个高频问题：

忘记密码？点登录页Forgot password?。没有邮箱可发，重置码直接打印在服务器日志里，15 分钟内有效
局域网别的设备想访问？默认只绑127.0.0.1，用HOST_BIND=0.0.0.0启动即可暴露——这是单用户服务，只限可信网络
日志在哪？Docker 用docker compose logs -f freellmapi，桌面版在托盘菜单选Open Logs Folder
密钥安全吗？提供方密钥用 AES-256-GCM 加密存在本地 SQLite，只在每次请求时在内存中解密

边界与下一步

先说边界：这套免费池定位是个人实验与学习。没有前沿模型、延迟有波动、没有 SLA，而且每天的免费额度到后期会吃紧（头部模型撞到每日上限，UTC 午夜重置）。真要在乎稳定性的产品，发布前把密钥池换成付费 API。

接下来可以顺手做的三件事：

把 Claude Code、Codex CLI 这类编程智能体指过来：npx freellmapi setup-claude --url http://localhost:3001 --api-key <统一密钥>一条命令配好，现成配方在客户端与编程智能体文档
请求虚拟模型fusion：多个免费模型并行起草，再由裁判模型合成一份答案，参与模型组在仪表盘Fusion页配置，请求写法在REST API 参考里
想读源码，从server/src/services/router.ts入手，对照路由与评分架构文档看每个分数轴怎么算

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考