LiteLLM
浏览量 8

开源AI网关,以OpenAI兼容格式统一调用100+ LLM供应商,支持负载均衡、故障转移与成本追踪,被Netflix、Stripe等企业采用。

LiteLLM 是一个开源的 AI 网关(AI Gateway),为开发者提供统一的 OpenAI 格式接口来调用 100+ LLM 供应商的模型——包括 OpenAI、Anthropic、Gemini、Bedrock、Azure、Vertex AI、HuggingFace、vLLM、NVIDIA NIM 等。它解决了多模型接入中“代码碎片化”和“供应商锁定”两大核心痛点,让开发者只需维护一套 API 调用逻辑即可路由到任意模型,同时获得负载均衡、故障转移、成本追踪和速率限制等生产级能力。

分享到: 文章二维码

LiteLLM平替推荐

暂无评论

您必须登录才能参与评论!
暂无评论...