# 英文聊天补充实验结果

新增 60 道英文提示词，9 个直连无污染模型，计划 540 条回答。有效回答 540 条（另 grok-4.7 与 muse-spark-1.3 因网关上游 cursor: 反代渠道注入中文系统规则暂剔除，待干净直连 API 补跑后补回）；所有模型共同成功题目 60 道。正式请求和技术重试共 696 次。

下表仅使用所有模型共同完整回答的题目，按感叹号总数降序。

| 模型 | 有效题数 | 感叹号总数 | 含感叹号回答 | 出现率 | 平均每条 | 每千非空白字符 | 出现率 Wilson 95% 区间 |
|---|---:|---:|---:|---:|---:|---:|---|
| gemini-4-carbon | 60 | 142 | 44/60 | 73.3% | 2.37 | 1.52 | 61.0%–82.9% |
| hy4 | 60 | 61 | 24/60 | 40.0% | 1.02 | 0.64 | 28.6%–52.6% |
| seed-2.1-pro-0915 | 60 | 55 | 22/60 | 36.7% | 0.92 | 0.89 | 25.6%–49.3% |
| glm-5.3 | 60 | 45 | 24/60 | 40.0% | 0.75 | 0.79 | 28.6%–52.6% |
| deepseek-v4.1-flash-1017 | 60 | 25 | 17/60 | 28.3% | 0.42 | 0.49 | 18.5%–40.8% |
| gpt-6.1-sol | 60 | 25 | 20/60 | 33.3% | 0.42 | 0.81 | 22.7%–45.9% |
| gpt-6-luna | 60 | 25 | 19/60 | 31.7% | 0.42 | 0.96 | 21.3%–44.2% |
| kimi-k3.1-pro-261024 | 60 | 24 | 20/60 | 33.3% | 0.40 | 0.55 | 22.7%–45.9% |
| claude-opus-5.5 | 60 | 12 | 8/60 | 13.3% | 0.20 | 0.27 | 6.9%–24.2% |

## 测试方式

- 六类各 10 题：日常闲聊、好消息、安慰支持、实用建议、知识解释、社交写作。30 道来自原中文题的英文改写，30 道新编；题目在请求前冻结，见 experiment_plan.json。全部输入不含 ! 或 ！，不指定标点风格。
- 模型名单与原实验相同，排除 Seed Lite 和 Qwen 3.8。通过同一 Model Proxy Hub 调用。仅发送 user 消息、新会话、temperature=1、单次采样、默认 max_tokens=4096，不传 seed 或 reasoning 档位。
- 初始 12 并发；仅对技术失败、截断或空正文补跑，输出上限依次为 8192 / 16384，最多 3 次尝试；content_filter 不重试。不因感叹号数量挑选或重试回答。
- English 标签表示提示词语言，不按回答的自动语言识别结果筛选。

## 提取与统计

- 直接复用原 analyze.py 的 prose、score、aggregate、Wilson 和配对 bootstrap 实现；脚本哈希已校验。只统计最终 assistant content，不计独立 reasoning。
- 剔除代码块、行内代码、URL 和部分 Markdown 控制符；保留自然语言引文、角色台词和生成的消息。半角 ! 与全角 ！相加；emoji 感叹符号另计。
- 出现率 = 含至少一个感叹号的完整回答数 / 完整回答数。平均每条 = 总数 / 回答数。密度 = 总数 / 清洗后的非空白 Unicode 字符数 × 1000。
- 主表使用共同成功题目；失败不按 0 计入。全部有效回答、原中文题英文改写、新编英文题、类别分组另存 summary.json 和 CSV。
- Wilson 95% 区间与 10,000 次按题配对 bootstrap 沿用原实验。这是固定小题集、单次采样的描述性实验，不是官方 MT-Bench 质量分数，也不代表所有英语聊天场景。

## 题目分层与缺失

共同题目中的原中文题英文改写：30 道；新编英文题：30 道。

| 模型 | 英文改写：感叹号数 / 回答数 | 新编英文：感叹号数 / 回答数 |
|---|---:|---:|
| gemini-4-carbon | 64 / 30 | 78 / 30 |
| hy4 | 29 / 30 | 32 / 30 |
| seed-2.1-pro-0915 | 29 / 30 | 26 / 30 |
| glm-5.3 | 25 / 30 | 20 / 30 |
| deepseek-v4.1-flash-1017 | 11 / 30 | 14 / 30 |
| gpt-6.1-sol | 11 / 30 | 14 / 30 |
| gpt-6-luna | 12 / 30 | 13 / 30 |
| kimi-k3.1-pro-261024 | 11 / 30 | 13 / 30 |
| claude-opus-5.5 | 6 / 30 | 6 / 30 |

未取得完整可计数回答：0 条。


## 用量与文件

已核对的账户用量增量：$6.493746。账户增量可能包含同一 key 的其他并发调用。

- summary.json：汇总、共同题目、分层统计、配对翻译对照与旧英文子集的描述性合并。
- leaderboard.csv / category_results.csv：模型分组与类别分组。
- scored_responses.jsonl：完整最终回答及逐条计数。
- responses.jsonl：全部尝试、实际请求参数、上游响应及错误。
- prompts.jsonl / experiment_plan.json：固定题目、来源与协议哈希。
- audit.json / manifest.json：数据校验结果与文件 SHA-256。

原网页与原结果未修改。新增英文题不属于 MT-Bench，原 MT-Bench 子集来源仍见 ../exclamation-bench/README.md。
