自适应(Adaptation)
概览
自适应(Adaptation)是一种在线模型选择学习机制。它在匹配的 decision 和基础选择器之后运行,然后从允许的候选集中提出一个模型。
主要优势
- 无需重写请求路径上的语义 decision,即可改进模型选择。
- 通过
candidate_set: decision保持较小的默认搜索空间。 - 启用
candidate_set: tier后,可以在同一路由 tier 内共享证据。 - 在随机采样之前以及最终切换模型之前使用 Protection。
- 写入紧凑的响应头和详细的 replay 诊断,供离线分析使用。
解决什么问题?
静态配方编码了运维人员在部署时掌握的信息。在生产环境中,路由器还会观察模型适配度、过度使用、提供商故障、延迟、缓存复用和实际成本。Adaptation 将这些有界证据转化为在线模型提案,同时配方仍是策略的事实来源。