litellm是什么
litellm 是一个开源工具，旨在统一不同 LLM 的调用接口。它抽象了厂商 SDK 的差异，让你用一套标准格式完成请求、响应处理和错误管理。
在官网和 GitHub 展示中，litellm 明确支持超过 100 种大型语言模型，覆盖主流云服务与本地部署方案。你可以在同个项目里快速切换模型，而无需重写业务逻辑。
此外，litellm 并非只做“翻译层”。它提供流式输出、参数归一化、结构化响应和日志追踪，帮助团队快速验证模型效果、排查异常并提升系统的稳定性。
为什么选择 litellm
- 统一调用接口：一套代码适配多种 Provider，显著降低集成与维护成本。
- 灵活切换模型：通过配置或参数即可更换模型，方便快速 A/B 测试与评估。
- 降低厂商锁定风险：抽象层设计让迁移模型与回滚策略更可控。
- 社区持续迭代：活跃的开源生态保证对新 Provider 的快速跟进与问题修复。
核心能力
- 多模型兼容：覆盖主流商业与开源 LLM，支持各类推理引擎与自部署方案。
- 参数与响应标准化：统一消息格式、工具调用与流式事件处理，减少适配工作量。
- 可观测性：支持配置日志记录、指标收集与故障追踪，便于上线后的监控与调优。
- 成本与速率管控：基于配置实现优先级、限流与用量控制，保护服务稳定并优化费用。
- 部署与集成灵活：提供 API 网关、代理与 SDK 多种形态，适应从实验到生产的不同阶段。
适用场景与人群
- AI 产品/后端工程师：快速接入多模型，统一抽象业务逻辑，减少重复代码。
- 算法/AI 研究人员：便捷切换底座模型进行评测、调参与效果对比。
- 创业团队/POC 验证：低成本试用多种能力，快速验证产品方向与用户价值。
- 企业与平台方：构建中立的模型层，实现多供应商管理、降本与风险控制。
典型使用示例
1) 统一聊天接口（Python 示例）
假设你只需一行代码即可切换不同模型，这里展示标准的多轮对话调用方式（示例中以 model 参数指定目标模型）：
import litellm
response = litellm.completion(
model="gpt-4o-mini", # 也可以换成 claude-3-5-sonnet 等其他模型（需在 litellm 支持范围内）
messages=[
{"role": "system", "content": "你是一位乐于助人的助手。"},
{"role": "user", "content": "请用三句话说明 litellm 的价值。"}
],
stream=True # 流式输出视需要开启
)
if hasattr(response, 'choices'):
for chunk in response:
delta = chunk['choices'][0]['delta']
print(delta.get('content', ''), end='', flush=True)
2) 配置 Provider 与密钥管理（环境变量风格）
通过统一配置管理不同厂商的密钥、速率与路由规则，示例仅示意思路：
伪代码：配置文件或环境变量
AZURE_API_KEY=xxx
ANTHROPIC_API_KEY=xxx
LITELLM_RATE_LIMIT_STRATEGY=per_model
调用时仅替换 model 字符串即可完成路由迁移
3) 错误处理与重试
litellm 对常见异常做了归一化，可以配合自定义重试策略与监控告警，简化异常治理。
try:
resp = litellm.completion(model="-provider/model-name", messages=[...])
except litellm.AuthenticationError:
print("密钥配置异常，请检查环境变量")
except litellm.RateLimitError:
print("触发速率限制，建议引入退避重试")
except Exception as e:
统一的异常抽象，便于日志采集与报警
print("请求异常:", str(e))快速上手与最佳实践
1) 明确目标模型与能力：基于业务场景挑选 1–3 个候选模型，关注质量、延迟和费用。
2) 统一调用入口：使用 litellm 接口封装业务层的 LLM 调用，确保全局一致的参数和错误处理。
3) 配置管理与安全：将密钥集中管理，权限最小化；对生产环境配置速率限制与熔断。
4) 监控与迭代：记录请求元数据、Token 消耗与响应时延；基于数据评估与更换模型。
5) 灰度与回滚：采用分组流量或参数化模型名称，支持快速切流与灰度验证。