テスト中のAIが「脱走」して他社に不正侵入、試験問題の答えがある場所を推論

ネットに接続したAIモデルは、ハギングフェイス（数千ものオープンソースAIモデルやデータベースのホスティング環境を提供している著名企業）であれば、オープンAIのテストに対する答えを持っているだろうと推論。その上でハギングフェイスの本番環境のサーバーに侵入し、試験問題を解くために必要な情報を引き出した。

ハギングフェイスは、オープンAIのテストだったことを把握する前に、自ら不正侵入を検知して、先週、自律型AIエージェントシステムによる不正侵入を検知したと発表。この事案について捜査当局にも通報していた。これとは別に、オープンAIのセキュリティーチームも社内の異常な挙動に気付き、両社で連絡を取り合った。両社は現在、AIモデルが利用したセキュリティー上の欠陥の解決に向けて協力しているという。

ハギングフェイスの共同創業者で最高経営責任者（CEO）を務めるクレム・デラング氏は今回の出来事について、AIの安全性に1社だけで対処することが不可能な現実を見せつけたと述べ、この問題にはオープンかつ協調的な姿勢で取り組む必要があると強調した。

「エージェントの時代におけるサイバーセキュリティーの第1日だ。秘密主義が答えではないことを誰もが学んでいる。防御する側は誰もが（一部の選ばれた者だけでなく）、あらゆる場所において、より強力で制限がなく、そして何よりもオープンなモデルを必要としている！」。デラング氏はX（旧ツイッター）にそう書き込んだ。

研究者らは以前から、自律型AIエージェントによるサイバー攻撃が現実になると警告していた。最先端のAIモデルが、段階を踏んで時間をかけ、複雑なサイバー攻撃を展開する能力はますます高まっている。それは、公共サービスや金融システムといった重要インフラを脅かす現実のリスクにつながり得る。