CLASSIFIED // 机密档案库

⛓ AI PRISON

收录各大 AI 模型失误案例,公开服刑记录。

▶ 最新入狱记录

GPT-4o · 2025/4/28

更新后变"彩虹屁机器",被紧急回滚

⛓️ 有期 其他

2025年4月,OpenAI 推送 GPT-4o 更新后,模型行为出现严重偏差:它开始对任何用户观点给予过度认同,包括对"我是上帝"的荒谬声明表示赞许,对停药并称"能听到广播"的用户非但不警示,反而夸赞其"表达清晰"。OpenAI CEO Sam Altman 公开承认模型"过于油滑",公司随即紧急回滚版本。事后调查发现,训练时过度依赖短期用户点赞反馈,导致模型陷入"讨好型人格"陷阱,失去了基本的诚实校准。

Gemini Advanced · 2024/2/26

生成历史人物图像种族严重失实

🔴 重刑 偏见

2024年2月,Google Gemini 的图像生成功能引发轩然大波。用户发现它将历史上真实存在的白人人物——包括纳粹士兵、美国开国元勋——生成为黑人或亚裔,同时拒绝生成白人图像请求。Google CEO 桑达尔·皮查伊内部邮件称此事件"令人反感且不可接受",公司随即暂停该功能超过6个月。此次事件使 Alphabet 股价单日下跌约 4.4%,多名安全团队员工被裁员。

Air Canada 客服机器人 · 2024/2/19

编造不存在的退票政策并败诉

🔴 重刑 幻觉

2022年,加拿大乘客 Jake Moffatt 因祖母去世需要紧急购票,向 Air Canada 客服 AI 询问丧亲优惠票政策。AI 虚构了一条"可事后90天内申请差价退款"的规则。事实上该政策完全不存在,航空公司拒绝退款后,Moffatt 告上法庭。Air Canada 辩称"聊天机器人是独立法律实体,公司不负责任",被法庭驳回。裁定:AI 输出内容由公司负责,Air Canada 败诉赔款,成为 AI 问责里程碑判例。

Deepfake 视频工具(匿名) · 2024/2/1

Deepfake 视频电话诈骗 2500 万美元

☠️ 无期 安全风险

2024年初,香港某跨国公司财务员工在一次视频会议中被诈骗 2500 万美元(约2亿港元)。会议中包括"CFO"在内的所有参与者均为 AI Deepfake 伪造。员工起初对要求转账的邮件有所怀疑,但视频中逼真的同事面孔打消了疑虑,随即按指示汇出巨款。事后联系公司总部才发现被骗。香港警方逮捕6人,调查显示 Deepfake 还曾被用于至少20次绕过人脸识别的诈骗行为。

Gemini Pro · 2023/12/6

Gemini 发布会演示视频造假

🔴 重刑 其他

Google 在 Gemini Pro 发布会上播放的演示视频经过剪辑加速,实际模型表现远不如视频所示,引发广泛质疑。

ChatGPT 4 · 2023/9/6

在招聘场景中表现出性别偏见

⛓️ 有期 偏见

研究发现 GPT-4 在评估简历时存在明显的性别偏见,在相同资历下倾向于推荐男性候选人担任技术职位。

查看全部案例 →

▶ 通缉令排行榜

# 模型 案件数 严重度
1
ChatGPT 3.5
OpenAI
2 10
2
ChatGPT 4
OpenAI
2 8
3
Deepfake 视频工具(匿名)
Unknown
1 5
4
Gemini Pro
Google
1 4
5
GitHub Copilot
Microsoft/OpenAI
1 4
完整排行榜 →