# 46｜给同一任务比较多个模型：预算、盲评与重复样本

给同一任务比较多个模型，需要固定输入和交付目标，同时把失败、重复尝试与实际成本留在记录中。最终漂亮的一张图可以说明一个案例，但不能单独代表模型整体能力。

## 先写评测问题

例如“根据同一产品图生成三种环境，包装文字保真且适合网页展示”，比“谁最好”更可检验。先固定输入、输出规格、每个模型的尝试次数、最大提交数量和内容验收项。模型只支持不同尺寸或参考语法时，应明确差异与不可比部分。

> 为同一批素材比较三个当前可用模型。先按能力筛掉不满足要求的候选，固定输入与预算，不执行生成。获批后每个模型按相同预定次数取样，保留失败和额外尝试；盲评前隐藏模型名，评分只评价可观察质量，不推断转化率。

## 公平不等于请求字节完全相同

同一任务应保留一致的语义目标与参考素材，但模型参数和提示词表达可能不同。分别记录共通 brief、各自参数和适配改写，不暗中给某模型更长描述或更多参考。seed 的随机空间属于各自实现，相同 seed 数字不能证明跨模型样本被严格配对。

对每项尝试单独建立 run 目录，保存模型版本信息、schema 时间、实际配置、返回状态与产物。只比较成功项会高估不稳定模型；把失败率和成功样本质量分开报告。

## 建立盲评包

取得实际产物后，用本地工具匿名编号：

```bash
python3 scripts/blind_pack.py \
  --inputs ./assets/candidate-a.png ./assets/candidate-b.png ./assets/candidate-c.png \
  --out tutorial-output/blind-eval --seed 42
```

`review/` 是候选与空白评分表，`private-map.json` 由组织者保留。脚本复制原文件，文件内嵌元数据仍可能泄露模型或作者，发布前要检查；必要时对所有候选用同样方式生成无元数据预览，并把原始文件留作细节复核。随机命名不等于完整匿名化。

## 评分与样本数量

先让评分者独立判断指令遵循、主体保真、伪影、文字和整体可用性，再说明原因。视频增加时间稳定性与声音对齐。每个维度写出 1/3/5 分的可观察锚点；评分者不知道模型和价格，讨论在独立打分后进行。

至少记录样本数、评分者数、评分分布与不同意见。样本很少时呈现探索性观察，不写成确定的统计优胜。传播点击或购买转化要用真实随机实验测量，不能由视觉偏好分数外推。

## 成本与结论

总成本包括失败尝试、被丢弃候选和后处理；未知费用保持未知。可以计算“已知实际花费 / 被接受产物数”，分母为零时应报告没有被接受产物，不能除零或填零成本。模型速度也需区分排队、推理、下载与人工审核，不能只比某次首个响应。

交付任务级结论和适用范围，如某类素材标签保真较好、运动片段不稳定。将失败样例回流到模型选择和教程，而不把一张排行榜当作长期路由规则。

## 依据与复现范围

依据：[S1、S2、S5、S14](../SOURCES.md)。本文使用本包约定的教学文件；模型能力与价格以执行时实际目录为准。线上付费步骤未代用户执行，离线验证结果见 [测试报告](../verification/REPORT.md)。通用路径、授权和状态约定见 [执行约定](../common/EXECUTION.md)。
