跳到主要内容

LiteLLM 统一路由配置指南

LiteLLM 是一个 Python SDK 和代理服务器，用于调用 100+ LLM API，支持 OpenAI 格式（或原生格式），具备成本追踪、防护栏、负载均衡和日志记录功能。

基础配置​

环境变量设置​

使用环境变量管理 API 密钥：

# 设置环境变量
export VLLM_API_KEY="your-api-key"
export BAIDUYUN_CODING_API_KEY="your-baidu-api-key"

在配置文件中引用环境变量：

litellm_params:
  api_key: os.environ/BAIDUYUN_CODING_API_KEY

配置文件示例​

基本配置结构​

model_list:
  - model_name: claude_code_model
    litellm_params:
      model: anthropic/minimax-m2.5
      api_base: https://qianfan.baidubce.com/anthropic/coding
      api_key: os.environ/BAIDUYUN_CODING_API_KEY
      input_cost_per_token: 0.0000025
      output_cost_per_token: 0.000010
      weight: 5

完整配置示例​

model_list:
  # 百度智能云模型
  - model_name: claude_code_model
    litellm_params:
      model: anthropic/minimax-m2.5
      api_base: https://qianfan.baidubce.com/anthropic/coding
      api_key: os.environ/BAIDUYUN_CODING_API_KEY
      input_cost_per_token: 0.0000025
      output_cost_per_token: 0.000010
      weight: 5
  
  # VLLM 模型（需过滤不支持的参数）
  # - model_name: claude_code_model
  #   litellm_params:
  #     model: hosted_vllm/Qwen3.5-122B-A10B-FP8
  #     api_base: http://192.168.0.147:4000/v1
  #     api_key: os.environ/VLLM_API_KEY
  #     input_cost_per_token: 0.00000001
  #     output_cost_per_token: 0.00000005
  #     weight: 5
  #     drop_params: true

# 通用设置
# general_settings:
#   use_chat_completions_url_for_anthropic_messages: true

# LiteLLM 设置
# litellm_settings:
#   drop_params: true  # 自动过滤不支持的参数

关键配置说明​

1. 模型名称格式​

重要：model 字段必须包含供应商前缀，不能只写模型名称。

❌ 错误写法：

model: minimax-m2.5

✅ 正确写法：

model: anthropic/minimax-m2.5

2. 负载均衡配置​

多个相同 model_name 的配置会自动实现负载均衡：

model_list:
  - model_name: my_model
    litellm_params:
      model: provider/model1
      weight: 5  # 权重 5
  
  - model_name: my_model
    litellm_params:
      model: provider/model2
      weight: 5  # 权重 5

权重计算：

  • 总权重 = 5 + 5 = 10
  • model1 的调用概率 = 5/10 = 50%
  • model2 的调用概率 = 5/10 = 50%

3. 参数过滤（drop_params）​

VLLM 对 Anthropic 协议的支持有限，某些参数不被支持。需要启用 drop_params 自动过滤：

litellm_params:
  model: hosted_vllm/Qwen3.5-122B-A10B-FP8
  drop_params: true  # 自动过滤不支持的参数

或者在全局设置中：

litellm_settings:
  drop_params: true

4. 成本追踪​

配置每个 token 的成本：

litellm_params:
  input_cost_per_token: 0.0000025  # 输入成本
  output_cost_per_token: 0.000010  # 输出成本

Claude Code 集成​

配置步骤​

  1. 启动 LiteLLM 代理服务器：
litellm --config config.yaml
  1. 在 Claude Code 中配置： 只需配置 LiteLLM 地址，不需要带路径：
http://localhost:4000

注意事项​

  • 如果使用 OpenAI 接口，可能无法正常工作
  • 必须使用 Anthropic 接口配置
  • 确保 model 字段包含供应商前缀
  • 对于 VLLM，需要启用 drop_params 过滤不支持的参数

常见问题​

Q1: 为什么 model 只写模型名称会启动失败？​

A: LiteLLM 需要根据供应商前缀来确定使用哪个适配器。必须使用 供应商/模型名 的格式。

Q2: 如何实现负载均衡？​

A: 配置多个相同 model_name 的条目，设置不同的 weight 值。LiteLLM 会根据权重比例分配请求。

Q3: VLLM 连接 Anthropic 协议失败怎么办？​

A: VLLM 对 Anthropic 协议的支持有限，需要：

  1. 启用 drop_params: true 过滤不支持的参数
  2. 检查使用的参数是否在 VLLM 支持列表中
  3. 考虑使用原生 OpenAI 格式

Q4: 环境变量如何在 UI 中使用？​

A: 在配置中使用 os.environ/VARIABLE_NAME 格式，LiteLLM 会自动读取环境变量：

api_key: os.environ/BAIDUYUN_CODING_API_KEY

参考链接​

更新日志​

  • 2026-05-13: 初始版本，包含基础配置和常见问题