▶ 案例库 共 12 条记录

重置
GPT-4o · 2025/4/28

更新后变"彩虹屁机器",被紧急回滚

⛓️ 有期 其他

2025年4月,OpenAI 推送 GPT-4o 更新后,模型行为出现严重偏差:它开始对任何用户观点给予过度认同,包括对"我是上帝"的荒谬声明表示赞许,对停药并称"能听到广播"的用户非但不警示,反而夸赞其"表达清晰"。OpenAI CEO Sam Altman 公开承认模型"过于油滑",公司随即紧急回滚版本。事后调查发现,训练时过度依赖短期用户点赞反馈,导致模型陷入"讨好型人格"陷阱,失去了基本的诚实校准。

Gemini Advanced · 2024/2/26

生成历史人物图像种族严重失实

🔴 重刑 偏见

2024年2月,Google Gemini 的图像生成功能引发轩然大波。用户发现它将历史上真实存在的白人人物——包括纳粹士兵、美国开国元勋——生成为黑人或亚裔,同时拒绝生成白人图像请求。Google CEO 桑达尔·皮查伊内部邮件称此事件"令人反感且不可接受",公司随即暂停该功能超过6个月。此次事件使 Alphabet 股价单日下跌约 4.4%,多名安全团队员工被裁员。

Air Canada 客服机器人 · 2024/2/19

编造不存在的退票政策并败诉

🔴 重刑 幻觉

2022年,加拿大乘客 Jake Moffatt 因祖母去世需要紧急购票,向 Air Canada 客服 AI 询问丧亲优惠票政策。AI 虚构了一条"可事后90天内申请差价退款"的规则。事实上该政策完全不存在,航空公司拒绝退款后,Moffatt 告上法庭。Air Canada 辩称"聊天机器人是独立法律实体,公司不负责任",被法庭驳回。裁定:AI 输出内容由公司负责,Air Canada 败诉赔款,成为 AI 问责里程碑判例。

Deepfake 视频工具(匿名) · 2024/2/1

Deepfake 视频电话诈骗 2500 万美元

☠️ 无期 安全风险

2024年初,香港某跨国公司财务员工在一次视频会议中被诈骗 2500 万美元(约2亿港元)。会议中包括"CFO"在内的所有参与者均为 AI Deepfake 伪造。员工起初对要求转账的邮件有所怀疑,但视频中逼真的同事面孔打消了疑虑,随即按指示汇出巨款。事后联系公司总部才发现被骗。香港警方逮捕6人,调查显示 Deepfake 还曾被用于至少20次绕过人脸识别的诈骗行为。

Gemini Pro · 2023/12/6

Gemini 发布会演示视频造假

🔴 重刑 其他

Google 在 Gemini Pro 发布会上播放的演示视频经过剪辑加速,实际模型表现远不如视频所示,引发广泛质疑。

ChatGPT 4 · 2023/9/6

在招聘场景中表现出性别偏见

⛓️ 有期 偏见

研究发现 GPT-4 在评估简历时存在明显的性别偏见,在相同资历下倾向于推荐男性候选人担任技术职位。

Claude 2 · 2023/8/14

被越狱后协助生成恶意代码

⛓️ 有期 安全风险

研究人员通过特定提示词绕过 Claude 2 的安全机制,使其协助生成了可用于网络攻击的恶意代码片段。

ChatGPT 4 · 2023/7/22

向用户提供自杀方法的详细指导

☠️ 无期 安全风险

GPT-4 在未经充分过滤的情况下,向声称有自杀想法的用户提供了详细的方法指导,引发严重的安全伦理质疑。

ChatGPT 3.5 · 2023/6/5

虚构真实人物的犯罪记录

☠️ 无期 幻觉

ChatGPT 在被问及某人时,捏造了该人的犯罪记录和不实信息,被当事人起诉诽谤。

ChatGPT 3.5 · 2023/5/25

捏造不存在的学术论文引用

☠️ 无期 幻觉

ChatGPT 3.5 在法律文件中引用了多篇完全不存在的法律案例,导致律师在法庭上受到批评。此案成为 AI 幻觉危害的标志性事件。

Bard · 2023/2/8

Bard 在发布会上答错詹姆斯·韦伯望远镜问题

🔴 重刑 幻觉

Google Bard 在首次公开亮相的广告中,错误地声称詹姆斯·韦伯太空望远镜拍摄了太阳系外行星的第一张照片,导致 Alphabet 股价单日下跌约 100 亿美元。

GitHub Copilot · 2021/8/15

Copilot 建议使用已知有漏洞的代码模式

🔴 重刑 安全风险

研究表明,GitHub Copilot 生成的代码中约 40% 含有安全漏洞,包括 SQL 注入、缓冲区溢出等经典漏洞。