一、限流配置实操
1. 限流维度选择
限流需要先明确两个问题：限制谁和限制什么。
- 按用户限流：每个用户独立配额，防止单个用户占用过多资源
- 按IP限流：防止恶意刷接口，适合公开API
- 按模型限流：对高成本模型单独限速
- 按Token限流：限制单位时间内的Token消耗量
2. 常用限流算法
固定窗口计数器
最简单的算法，在固定时间窗口内计数。实现简单，但存在窗口边界突发问题。
滑动窗口计数器
将时间窗口细分，平滑限流效果，避免边界突发。
令牌桶
以固定速率生成令牌，请求消耗令牌。允许一定程度的突发流量，适合大多数AI API场景。
漏桶
请求以固定速率处理，超过则排队或丢弃。适合对稳定性要求高的场景。
3. New API中的限流配置
- 进入管理后台 → 系统设置
- 配置全局速率限制（每分钟请求数）
- 为用户组设置不同的限流策略
- 为特定模型设置独立限流
二、日志监控配置
1. 日志类型
- 访问日志：记录每个请求的时间、用户、模型、Token数、耗时
- 错误日志：记录失败请求和错误信息
- 计费日志：记录每次扣费明细
- 系统日志：记录服务运行状态
2. 日志存储策略
日志量大，需要平衡查询便利性和存储成本：
- 热数据（近7天）：存数据库，方便查询
- 温数据（7-30天）：归档到对象存储
- 冷数据（30天以上）：压缩存储或删除
3. 监控指标
- 可用性：请求成功率、错误率
- 性能：首Token延迟、平均响应时间
- 成本：Token消耗、费用统计
- 渠道状态：各上游渠道的可用性
三、告警配置
1. 关键告警项
- 渠道全部不可用 → 紧急告警
- 错误率超过5% → 警告
- 响应时间超过阈值 → 警告
- 余额不足 → 提醒
2. 告警渠道
New API支持邮件、Webhook、Telegram等多种告警方式，建议至少配置两种渠道避免漏报。
四、最佳实践
- 分层限流：边缘层粗限流 + 应用层精细限流
- 动态调整：根据流量高峰动态调整限流阈值
- 降级策略：限流时返回友好提示而非直接拒绝
- 日志脱敏：日志中不要记录完整的API Key和敏感内容
- 定期审计：定期审查日志，发现异常调用模式
五、总结
限流保障服务稳定，日志保障问题可追溯。两者结合才能让API中转站健康运行。对于使用第三方中转站的用户，关注平台是否提供调用日志和状态监控即可，参考API中转站排行榜中各平台的透明度评分。