46|给同一任务比较多个模型:预算、盲评与重复样本
给同一任务比较多个模型,需要固定输入和交付目标,同时把失败、重复尝试与实际成本留在记录中。最终漂亮的一张图可以说明一个案例,但不能单独代表模型整体能力。
先写评测问题
例如“根据同一产品图生成三种环境,包装文字保真且适合网页展示”,比“谁最好”更可检验。先固定输入、输出规格、每个模型的尝试次数、最大提交数量和内容验收项。模型只支持不同尺寸或参考语法时,应明确差异与不可比部分。
为同一批素材比较三个当前可用模型。先按能力筛掉不满足要求的候选,固定输入与预算,不执行生成。获批后每个模型按相同预定次数取样,保留失败和额外尝试;盲评前隐藏模型名,评分只评价可观察质量,不推断转化率。
公平不等于请求字节完全相同
同一任务应保留一致的语义目标与参考素材,但模型参数和提示词表达可能不同。分别记录共通 brief、各自参数和适配改写,不暗中给某模型更长描述或更多参考。seed 的随机空间属于各自实现,相同 seed 数字不能证明跨模型样本被严格配对。
对每项尝试单独建立 run 目录,保存模型版本信息、schema 时间、实际配置、返回状态与产物。只比较成功项会高估不稳定模型;把失败率和成功样本质量分开报告。
建立盲评包
取得实际产物后,用本地工具匿名编号:
python3 scripts/blind_pack.py \
--inputs ./assets/candidate-a.png ./assets/candidate-b.png ./assets/candidate-c.png \
--out tutorial-output/blind-eval --seed 42
review/ 是候选与空白评分表,private-map.json 由组织者保留。脚本复制原文件,文件内嵌元数据仍可能泄露模型或作者,发布前要检查;必要时对所有候选用同样方式生成无元数据预览,并把原始文件留作细节复核。随机命名不等于完整匿名化。
评分与样本数量
先让评分者独立判断指令遵循、主体保真、伪影、文字和整体可用性,再说明原因。视频增加时间稳定性与声音对齐。每个维度写出 1/3/5 分的可观察锚点;评分者不知道模型和价格,讨论在独立打分后进行。
至少记录样本数、评分者数、评分分布与不同意见。样本很少时呈现探索性观察,不写成确定的统计优胜。传播点击或购买转化要用真实随机实验测量,不能由视觉偏好分数外推。
成本与结论
总成本包括失败尝试、被丢弃候选和后处理;未知费用保持未知。可以计算“已知实际花费 / 被接受产物数”,分母为零时应报告没有被接受产物,不能除零或填零成本。模型速度也需区分排队、推理、下载与人工审核,不能只比某次首个响应。
交付任务级结论和适用范围,如某类素材标签保真较好、运动片段不稳定。将失败样例回流到模型选择和教程,而不把一张排行榜当作长期路由规则。
依据与复现范围
依据:S1、S2、S5、S14。本文使用本包约定的教学文件;模型能力与价格以执行时实际目录为准。线上付费步骤未代用户执行,离线验证结果见 测试报告。通用路径、授权和状态约定见 执行约定。