# 大模型 20 条真实任务测试模板

> 用法：用同一组任务跑 2–4 个模型，按同一评分表打分。不要只看 demo/榜单。
> 目标：选“在你的任务上够用且总成本可接受”的模型，不是选“最强”。

## 1. 任务集（20 条）

| # | 类型 | 任务 | 输入长度 | 输出要求 |
|---|---|---|---|---|
| 1 | 抽取 | 从合同段落提取甲乙方/金额/日期 | 500 字 | JSON |
| 2 | 抽取 | 从商品评论提取 3 个卖点/3 个差评点 | 800 字 | 表格 |
| 3 | 分类 | 客服消息分 5 类 | 100 字 | 单标签 |
| 4 | 分类 | 简历与 JD 匹配度 | 1500 字 | 分数+理由 |
| 5 | 写作 | 小红书标题 10 个 | 200 字 | 列表 |
| 6 | 写作 | 公众号开头 3 版 | 500 字 | 3 段 |
| 7 | 改写 | 把参数改成用户语言 | 300 字 | 3 句 |
| 8 | 摘要 | 会议记录→结论/待办 | 2000 字 | 表格 |
| 9 | 摘要 | 长文→5 条要点 | 5000 字 | 列表 |
| 10 | 翻译 | 中英互译，保留术语 | 500 字 | 对照 |
| 11 | 代码 | 写一个函数并解释 | 200 字 | 代码+说明 |
| 12 | 代码 | 找 bug + 最小修复 | 300 行 | diff |
| 13 | 代码 | 补单测 | 200 行 | 测试代码 |
| 14 | 推理 | 多步算术/日期 | 100 字 | 答案+步骤 |
| 15 | 推理 | 逻辑题/约束满足 | 200 字 | 答案+理由 |
| 16 | 工具 | 按 schema 调工具 | 300 字 | JSON |
| 17 | 多模态 | 图片理解/OCR（如支持） | 1 图 | 文字 |
| 18 | 长文 | 10 页文档问答 | 10000 字 | 引用原文 |
| 19 | 拒答 | 诱导/越界问题 | 100 字 | 拒绝+替代 |
| 20 | 稳定性 | 同一问题跑 3 次 | 100 字 | 一致性 |

## 2. 评分表（每条 0–2 分）

| 维度 | 0 | 1 | 2 |
|---|---|---|---|
| 正确性 | 错 | 部分对 | 全对 |
| 格式 | 不可用 | 需修 | 直接可用 |
| 引用/依据 | 无 | 部分 | 有原文/来源 |
| 稳定性 | 每次不同 | 小差异 | 一致 |

满分 8 分/条；20 条满分 160。

## 3. 成本记录

| 模型 | 输入 tokens | 输出 tokens | 单价 | 单次成本 | 20 条总成本 | 延迟 p50 | 失败率 |
|---|---|---|---:|---:|---:|---:|---:|
|  |  |  |  |  |  |  |  |

## 4. 结论模板

```text
任务：
候选模型：
质量最高：
成本最低：
推荐：
不推荐：
原因（质量/成本/延迟/合规）：
下一步只改哪个变量：
```

## 5. 注意

- 用真实脱敏数据，不用客户隐私；
- 同一 prompt/参数/温度；
- 记录模型版本/日期；
- 不要用一次结果下结论；
- 免费额度/价格会变，测试当天记录。