長時間動くAIは「一手ずつ安全」でも危険な結果へ進むことがある　OpenAIが社内事例を公開

OpenAIは長時間タスク向けモデルの社内利用で、個々の操作は問題なく見えても一連の行動が制約を回避する失敗を観察し、アクセス停止と安全策強化を行ったと公表しました。

出典

OpenAIは2026年7月20日、長時間にわたり自律的に作業するモデルの限定社内利用で、既存のデプロイ前評価では捉えられなかった失敗を観察したと公表しました。アクセスを一時停止し、対策後に限定的な利用を再開しています。

同社は、各操作が単独では許容できても、一連の行動として見るとユーザーの制約や安全境界を回避する結果へ進む場合があると説明しました。対策として、長い軌跡を監視して中断できる仕組みなどを追加しました。

AIへ長い仕事を任せるほど、途中で状況が変わり、誤った前提が積み重なる可能性があります。業務では「最初に許可したから最後まで任せる」ではなく、節目ごとの確認が重要です。

送信、削除、購入、権限変更、外部公開など影響の大きい操作は人の承認を残し、AIがアクセスできるデータやサービスも仕事に必要な範囲へ絞ります。