聞こえない音声攻撃がAI音声モデルを乗っ取る可能性、研究で判明

📄原文全文· trafilatura により自動抽出Gemini 翻譯3492 文字

要点 - 浙江大学の研究者らが AudioHijack を開発した。これは知覚できないコマンドを音声に隠して大規模音声言語モデルを操作するもので、成功率は79〜96%に達する。 - この攻撃はオープンモデルから Microsoft や Mistral の商用音声 AI にも転用可能であり、標準的な防御策の多くはごく一部の試行しか阻止できなかった。 - 研究チームは現在、共有されているオープンソースの音声コンポーネントを通じて、この技術が OpenAI や Anthropic のクローズドモデルにまで到達できるかを調査している。中国の大学研究者らは、人間には聞こえない隠しコマンドを音声クリップに埋め込むことで、AI 音声モデルの動作を変えさせる方法を発見した。浙江大学の研究によれば、この攻撃の成功率は最大96%に達する。サンフランシスコで開催された第47回 IEEE Symposium on Security and Privacy で発表されたこの攻撃手法は、音声コマンドを処理し外部ツールやアプリケーションと連携できる大規模音声言語モデル(LALM)を標的としている。「この信号の訓練にはわずか30分しかかからず、しかもこの信号は文脈非依存なので、ユーザーが何を言ったかに関係なく、いつでも標的モデルへの攻撃に使うことができます」と、筆頭著者で浙江大学の博士課程の学生である Meng Chen 氏は声明で述べた。この攻撃は、人間の聴取者には知覚できないが AI モデルの信号解釈には影響を与えるような形で、デジタル音声波形内部の数値を改変することで機能する。研究者らによれば、操作された音声は、正規のユーザー指示がクリップに含まれている場合でも、モデルの動作を上書きまたは誘導することが可能だという。 AudioHijack は従来のプロンプトインジェクション攻撃とは異なり、ユーザーが AI に発する内容を操作するわけではない。代わりに音声信号そのものを変更し、人間が聞き取れない音の中に隠された命令を埋め込む。研究者らは、不審なテキストプロンプトを検出するために設計された保護機構を回避するため、この攻撃は防御が難しいと述べている。研究者らは AudioHijack を13個のオープンソース AI 音声モデル上でテストし、リクエストを拒否させたり、誤情報を流布させたり、有害なリンクを挿入させたり、人格を変更させたり、あるいはウェブ検索、ファイルダウンロード、個人データを含むメール送信など、ユーザーが一切要求していない動作を実行させたりできることを発見した。これらの攻撃は、類似技術を使用する Microsoft および Mistral の商用音声 AI システム上でも有効だった。「これまでの生成モデルに対する多くの攻撃では、攻撃者がモデルに与えられる最終的な音声入力と元の指示の両方を完全に制御する、つまり実質的にユーザーとして振る舞う必要がありました」と研究は述べている。「ここでは、攻撃者はモデルが処理する音声データのみを操作するため、他人がモデルを使用している最中にそのモデルを攻撃することが可能になります」。この研究によれば、想定される配信経路には、オンライン動画、音楽クリップ、ボイスメモ、あるいは AI 文字起こしサービスにアップロードされた Zoom 通話の音声などが含まれる。チームはまた、未公開の後続研究によって、ライブの AI 音声チャットにおける類似の攻撃も実証したと述べた。研究者らは、モデル内部のアテンション機構を監視することが、テストした防御策の中で最も効果的だったと述べている。ただし、この防御策を認識している攻撃者であれば、攻撃の有効性の大部分を維持しつつ操作の強度を下げることが可能であることも判明した。「こうした単一点での防御は我々の攻撃に対抗するのが困難です。なぜなら、これらのモデルが通常のユーザー意図と我々の敵対的攻撃を区別することは非常に難しいことが分かったからです」と Chen 氏は述べた。

データステータス✓ 全文抽出済み原文を読む（Decrypt）

🔍過去の類似イベント· キーワード + 銘柄照合6 件

2026-05-29

AIモデルは基本的な事実についてほとんどの場合一致できない、研究が示す

類似度 180%關鍵字 models/study/can

2026-05-28

AIエンジニアリング支出の最大82％がバグ、書き直し、遅延で失われる：調査結果

類似度 130%關鍵字 study/finds

2026-05-27

ElevenLabs、Stability AI が新しい AI 音楽モデルをリリース—Suno に追いつけるか？

類似度 130%關鍵字 models/can

2026-05-19