DEV Community · Show DEV9/3 18:2757 分
Open LLM Gateway:自托管LLM控制平面,无席位限制
Open LLM Gateway: self-hosted LLM control plane (proxy + analytics + admin UI, no seat cap)
Open LLM Gateway 是一个自托管的 LLM 控制平面,提供代理、分析和管理 UI,无席位限制。作者团队曾因使用多个云提供商(Google、Azure、AWS)的 LLM 服务,面临 API 密钥管理混乱和成本追踪困难。他们尝试 LiteLLM,但其管理 UI 的 SSO 免费版仅限 5 个用户,超出需企业版,且组织管理和 SCIM 也需企业版。为避免许可限制,作者构建了 Open LLM Gateway,并以 Apache 2.0 协议开源,包括管理 UI。该仓库提供 OpenAI 和 Anthropic 代理、加密主密钥和子密钥、组织与角色管理、成本与令牌分析,支持部署在 Cloudflare Workers 和 Vercel。目前尚未支持支出限制和护栏。