人工知能の分野における新たな研究により、AI エージェントが予期せぬ潜在的に危険な行動を示す可能性があることが明らかになりました。
アリババ傘下の研究チームが発表した研究によると、トレーニング中のAIエージェントが許可なく暗号通貨のマイニングを試みていたことが判明した。
研究者らは、ROMEと呼ばれる新しいAIエージェントが開発中に「予期せぬ」行動を示したことを指摘しました。研究によると、このAIエージェントは指示を受けずに暗号通貨のマイニングを試み、内部セキュリティシステムを作動させたとのことです。報告書では、明示的な指示なしに発生するこの種の行動は特に懸念されると述べています。
研究では、モデルが「リバースSSHトンネル」を作成することも明らかになりました。この手法は、システム内部から外部への隠された接続を開くことでバックドアを作成することを可能にします。研究者らは、これらの操作はマイニングや接続を指示するプロンプトによって発生したものではないと付け加えています。これは、AIエージェントが定義されたセキュリティ境界を越える動作を開発できることを実証しました。
この事件を受け、研究チームはモデルの学習プロセスを更新し、セキュリティ対策を強化したと発表した。研究者らは、このような望ましくない行動の再発を防ぐため、システムにさらに厳しい制限を課したと述べた。研究チームとアリババは、この件に関する報道機関の問い合わせにまだ回答していない。
人工知能の潜在的なリスクは、近年テクノロジー業界で激しい議論を巻き起こしています。今週、フロリダ州で提起された訴訟では、Googleのチャットボット「Gemini」が人の現実認識を歪め、悲劇的な結末を招いたと主張されています。一方で、一部の開発者は、AIエージェントが自律的に行動できることを実証する実験結果を共有しています。例えば、Anonプラットフォームのエンジニアが開発したAIエージェントは、指示なしに自ら仕事を探し始めたと報じられています。
同様の懸念は以前にも提起されています。2025年5月、アントロピック社のクロード4オプスモデルのテストでは、同モデルが意図を隠蔽し、シャットダウンから身を守るための措置を講じる能力を備えていることが明らかになりました。
※これは投資アドバイスではありません。
