api-gateway
本页由项目自动归档生成,源码与最新进展以 GitHub 仓库为准。
项目简介
一个轻量级的本地 LLM API 网关,聚合多家模型供应商,提供统一的 OpenAI 兼容接口。支持自动路由、LLM 智能路由和免费额度管理,帮你把各平台的免费额度用到极致。
技术栈
| 维度 | 技术 |
|---|---|
| 主要语言/框架 | Node.js/TypeScript |
| 关键依赖 | js-yaml |
核心功能 / 亮点
- 多供应商聚合
- 三种路由模式
直接指定— 通过provider/model复合键精确调用auto— 基于规则匹配 + 能力矩阵评分自动选择最优模型smart— 用一个 LLM(默认 Moonshot)分析用户请求,智能选择模型- 免费额度管理
- 自动降级
- 流式支持
目录结构
1 | dir data |
相关链接
- GitHub 仓库:api-gateway