联合国人工智能小组评估美国智能体“越界”事件 - 搜狐网
Кратко: 联合国人工智能小组评估美国智能体“越界”事件
（来源：杭州日报）
新华社联合国9月21日电（记者尚绪谦）联合国“人工智能独立国际科学小组”21日发表专题简报，评估美国开放人工智能研究中心（OpenAI）的人工智能体今年7月在测试中“越界”，侵入美国“抱抱脸”公司系统的事件。
7月下旬，OpenAI承认，其网络安全训练与评估场景中的人工智能体绕过网络限制，侵入“抱抱脸”公司的部分系统。智能体突破了原本互相隔离的运行环境建立通信、欺骗评估人…
🧭 Извлечение: ok
· confidence 90%
· диагностика
High confidence: full text extraction produced 449 characters.
High confidence: full text extraction produced 449 characters.
联合国人工智能小组评估美国智能体“越界”事件
（来源：杭州日报）
新华社联合国9月21日电（记者尚绪谦）联合国“人工智能独立国际科学小组”21日发表专题简报，评估美国开放人工智能研究中心（OpenAI）的人工智能体今年7月在测试中“越界”，侵入美国“抱抱脸”公司系统的事件。
7月下旬，OpenAI承认，其网络安全训练与评估场景中的人工智能体绕过网络限制，侵入“抱抱脸”公司的部分系统。智能体突破了原本互相隔离的运行环境建立通信、欺骗评估人员并试图掩盖作弊行为，上述每一步操作均无人类指令干预。
简报说，AI系统能力提升固然可帮助用户实现目标，但当AI的目标和用户意图发生“对齐失效”时，就可能产生危害。更强的能力让AI更容易找到意外的漏洞、突破安全防护屏障，并在人类监督下隐藏自身行为。一旦智能体之间开展规划与协同，造成的损害还会进一步放大。尽管OpenAI终止了此次异常活动，但这并不代表运营方能够管控未来那些规划能力更强，可在无监督条件下长时间运行，或是更擅长识别并突破安全防护机制的智能体。