模型与提供商 Day-0 支持
内置支持是一份经过校验的资源图,而不是把名字加进几份互不相干的清单。config/catalog/ 下的仓库目录会生成运行时注册表、内置发行、控制面板模型库和添加模型卡片,以及公开的模型页。
选择最小改动
| 变更 | 目录资源 | 代码适配器 |
|---|---|---|
| 在已有兼容提供商上新增模型 | Model Card;该提供商 models[] 中的一条;已知时再加推理/评测记录 | 否 |
| 新增兼容 OpenAI 或 Anthropic 的提供商 | 一份提供商文件及其内置 models[] 映射 | 否 |
| 新的线协议或真正不同的语义 | 协议与提供商定义、一致性夹具 | 是,在协议/认证/传输接缝 |
| 某位运维自托管的模型 | 不需要;写普通自定义模型绑定和可选 Model Card | 否 |
提供商卡片并不宣称每个模型都已内置。内置模型要有经过校验的 Model Card;托管模型只有在提供商 models[] 把它映射到提供商原生 ID 时才可选。因此每个活跃的物理 Model Card 都必须至少有一条提供商映射。虚拟配方不同:它们推荐的池可以点名运维定义的自定义模型,而不是内置目录 的外键。
精选目录准入
内置物理目录按主流模型创建方精选,而不是按全球模型数量排名。对已有创建方,Day-0 贡献通常把目录补到或轮换到大约最近三代或有代表性的产品线。加入新创建方会改变 manifest.yaml.inventory.physical 中的已审基线;应说明该公司为何属于主流集合,以及哪些当前产品线构成有用的运维面。生成器强制创建方成员资格和最低深度,人工评审决定时效和相关性。
提供商支持是独立的。新的 Provider ID 可以没有任何内置模型映射,但对添加模型里的手写自定义模型仍然有价值。不要为了让提供商卡片看起来“有货”而加一张冷门 Model Card。
添加模型
- 在
config/catalog/resources/models/single/下新增或更新一份聚焦的家族文件。只记录内在事实:规范 ID、发布方与展示、分发来源/许可证、修订、限额、模态、能力、协议、生命周期,以及推理家族引用。由配方支撑的逻辑模型放在models/virtual/。 - 当 vLLM-SR 需要知道提供商原生模型 ID、协议限制、价格或其他提供商专有事实时,在
config/catalog/resources/providers/<provider>.yaml的models[]下加映射。不要再造第二份提供商/模型清单。 - 复用推理家族。只有请求投影本身是新的才加新家族;不要在用户配置里复制内置家族。
- 只 有结果可归因到主模型来源且可再分发时,才在
evaluations/single/下加基准记录。保持每个基准版本、精确主体和原始指标明确。虚拟模型配方运行使用evaluations/virtual/下的同一 schema。知道运行日期时记录measured_at;否则记录observed_at作为已发布数值的审阅日期,不要把它写成运行日期。 - 为卡片/提供商映射声称的能力或协议行为添加一致性夹具。
模型 ID 带命名空间,例如 organization/model。基准和指数 ID 使用完整语义版本。数据集、评分器、提示词协议或聚合规则变更时,需要新的基准版本。
Intelligence 1.0 使用 MMLU-Pro、GPQA Diamond、冻结的纯文本 HLE 子集、LiveCodeBench v6、SciCode 和 Terminal-Bench 2.1。每个节点都要求完整证据;General、Reasoning、Coding、Agentic 的权重分别为 20%、40%、20%、20%。详见指数契约。新模型可以带着更少证据发布;模型库会显示已有分量和 Not yet measured,而不是编造数值。同一模型和带版本指标出现两个可用值会被拒绝。厂商发布结果保留精确模型变体、推理模式、工具模式和 harness 元数据,并标为 claimed;只有带产物的冻结 vLLM-SR 运行才能标为 reproduced。
reasoning_effort 是运行时控制,不是证据来源。若分数未披露运行时 effort,使用 unspecified;把结果是厂商发布还是独立测量放在 evidence.provenance 和 evidence.verification。
生成会为每个模型和每个可选推理 effort 恰好发出这六个基准槽。没有可信证据的槽是显式 missing,绝不是零。来源报告多个 effort 时,为每个 effort 单独写评测记录;不要把 high