统一调用上百种大模型接口并追踪成本
BerriAI/litellm
🤖 AI / 机器学习 · 用 Python 写的
The fastest, litest AI Gateway. Rust core with Python SDK. Call 100+ LLM APIs in OpenAI (or native) format with cost tracking, guardrails, load balancing, and logging [Bedrock, Azure, OpenAI, Anthropic, OpenAI, VertexAI, vLLM, Nvidia NIM]
✨ AI 亮点解析
📦 是什么
一个接口调用上百种AI大模型
🩹 解决什么
各家AI接口不同，切换麻烦还费钱
🎯 适合谁
想用AI做产品的小白和程序员
OpenAI接口中转的免费开源版
🛠 上手成本：需装 Docker 或依赖（中等）
⚠️ 依赖第三方：需自己注册各家AI的API Key才能调用
- 一个接口调100多种大模型
- 自动记录每次调用花了多少钱
- 能限流防滥用，还能负载均衡
- 支持OpenAI格式，代码不用大改
你想用AI但不想被一家绑定，用它一个接口就能随便换模型，还能看清每笔花费