api-gateway · 项目介绍

api-gateway

本页由项目自动归档生成,源码与最新进展以 GitHub 仓库为准。

项目简介

一个轻量级的本地 LLM API 网关,聚合多家模型供应商,提供统一的 OpenAI 兼容接口。支持自动路由、LLM 智能路由和免费额度管理,帮你把各平台的免费额度用到极致。

技术栈

维度 技术
主要语言/框架 Node.js/TypeScript
关键依赖 js-yaml

核心功能 / 亮点

  • 多供应商聚合
  • 三种路由模式
  • 直接指定 — 通过 provider/model 复合键精确调用
  • auto — 基于规则匹配 + 能力矩阵评分自动选择最优模型
  • smart — 用一个 LLM(默认 Moonshot)分析用户请求,智能选择模型
  • 免费额度管理
  • 自动降级
  • 流式支持

目录结构

1
2
3
4
5
6
7
8
9
10
11
12
dir  data
dir src
file LICENSE
file README.md
file config.example.yaml
file config.yaml
file gateway.log
file package-lock.json
file package.json
file smart-router-prompt.md
file test-routing.js
file test-smart-routing.js

相关链接