AIセキュリティ：リスク、脅威、そしてそれらへの対処法

インフォマテックデジタル » Recursos » AIセキュリティ：リスク、脅威、そしてそれらへの対処法

人工知能は、私たちの働き方やコミュニケーション方法から、金融、医療、軍事における意思決定に至るまで、あらゆる分野に浸透しています。この圧倒的な存在感には、非常に良い面もありますが、同時に悪い面もあります。これらのシステムが故障したり、操作されたり、悪用されたりした場合、企業にとっても社会全体にとっても、甚大な被害が生じる可能性があります。

近年、 AIの普及に伴い、AIのリスクに対する一般市民の懸念も高まっている。最近の調査によると、大多数の人々はAIの拡大に対して熱意よりも不安を感じており、多くの市民がAIが制御不能になった場合、壊滅的な事態を引き起こす可能性があると考えている。同時に、純粋に技術的な研究は依然としてAIの性能向上に重点が置かれており、安全性や堅牢性の向上に注力しているのはごく一部に過ぎない。

AIセキュリティとは何を意味するのか、そしてなぜそれほど重要なのか？

人工知能のセキュリティについて語る場合、それはAIシステムが堅牢で予測可能であり、攻撃に強く、人間の目的に合致するように設計された、一連の手法、技術原則、サイバーセキュリティ対策、およびガバナンスフレームワークを指します。これには、従来型の保護（サイバー攻撃、データ漏洩、モデル操作の防止）だけでなく、バ​​イアス、透明性の欠如、潜在的なシステムへの影響といったより広範な問題も含まれます。

企業や政府機関にとって、AIセキュリティは極めて重要です。なぜなら、金融リスク評価、医療優先順位付け、履歴書ランキング、ビッグデータ分析、プロセス自動化、脅威検出など、ますます多くの重要な意思決定がAIモデルに委ねられているからです。重大な障害、バックドア、悪用は、数百万ドルの損失、規制当局による制裁、評判の低下、そして最悪の場合、国家安全保障への脅威につながる可能性があります。

社会レベルでは、AIは適切に制御されない場合、不平等や不正を増幅させる可能性がある。不透明なシステムや偏ったデータで訓練されたシステムは、特定の集団を組織的に差別したり、大規模な監視を強化したり、大規模な偽情報キャンペーンを助長したりする可能性がある。さらに将来を見据えると、汎用人工知能（AGI）や超知能（ASI）といった形態に到達する可能性は、これらのシステムが人間の価値観に合致せず、効果的な制御を免れた場合に、存亡の危機をもたらすのではないかという議論を巻き起こしている。

専門家の間では、どのリスクが最も緊急かつ発生しやすいかについて意見が分かれているが、非常に悪い結果が生じる可能性は無視できないという点では概ね一致している。AI研究者への調査では、高度なAIに起因する極めて深刻なシナリオ（例えば、文明の崩壊）が発生する確率は約5％と推定されている。こうした懸念は誇張されていると考える人もいれば、まさにその深刻さゆえに、事前に予測し、「その場しのぎで解決する」のではなく、対策を講じることが賢明だと考える人もいる。

初期の警告から現代のAIセキュリティアジェンダまで

インテリジェントオートメーションのリスクは、最近の話題のように思えるかもしれないが、コンピューターの黎明期から議論されてきた。20世紀半ばには、ノーバート・ウィーナーのような人物が、経験から学習できる機械に自律性を与える限り、それらが人間の意図に反する行動をとるリスクも負うことになる、と警告していた。

時が経つにつれ、こうした懸念はより具体的なものとなった。2000年代後半には、AAAI（人工知能学会）のような専門家団体が、AIの長期的な社会的影響に関する研究を推進した。その根底にあるメッセージは、SF作品に見られるような破滅的な主張には懐疑的であったが、同時に、複雑なシステムを検証し、予期せぬ結果を最小限に抑えるためのより良い方法の必要性を認めるものであった。

2010年代に入ると、この議論は激化した。超知能や存亡の危機に関する影響力のある書籍が出版されたことで、「有益で人間に優しい」AIに特化した新たな研究センターが設立され、技術的な安全性、社会的影響、目標の整合性に関する特定のプロジェクトに資金を提供する慈善活動も出現した。同時に、イーロン・マスク、ビル・ゲイツ、スティーブン・ホーキングといった著名人が、安全策なしにAIが進歩した場合の深刻なリスクについて公然と語り始めた。

国際会議が開催され、「特定のAIセキュリティ問題」に関する研究課題が発表され、アシロマ会議などの原則が策定された。これらの原則には、セキュリティ基準の低下を避けるためのチーム間の協力、影響分析、可能な限りの透明性など、明確な推奨事項が含まれていた。この一連の取り組みは、AIセキュリティエンジニアリングという独自の分野を確立し、大規模展開前に障害を予測し、可能な限り安全なシステムを設計することを目標としている。

近年、各国政府や規制当局もこの取り組みに加わっている。ホワイトハウス主催のワークショップ、米国機関（DARPA、IARPA、NSF）のプログラム、英国の国家AI戦略、中国の倫理ガイドラインなどは、AIの安全性がもはや学術的な話題ではなく、公共政策の問題であることを示している。欧州では、AI法が特定の用途（例えば、大規模な顔認識やサブリミナル操作）に明確な制限を設け、「高リスク」なアプリケーションに対して追加の義務を課している。

主要な技術分野：堅牢性、監視、およびアライメント

AIセキュリティ研究は、一般的に堅牢性、監視、整合性の3つの主要分野に分類されます。それぞれが異なる種類のリスクに対応していますが、実際には密接に関連しています。

堅牢性とは、AIシステムが訓練データに十分に反映されていない状況も含め、幅広い状況において適切に動作することに焦点を当てたものです。これには、「ブラックスワン」（まれではあるが非常に大きな損害をもたらす事象）への対処や、意図的に入力値を操作してエラーを引き起こす攻撃への対処が含まれます。

稀な事象に対する堅牢性の欠如を示す典型的な例は、2010年のフラッシュクラッシュです。この事件では、自動取引システムが市場の異常事態に不規則に反応し、わずか数分で1兆ドル近くが消失しました。現実世界においても、自動運転車は依然として「特殊なケース」への対応に苦慮しています。例えば、異常な交通信号、極端な気象条件、あるいは現実世界のデータではめったに現れない物体の組み合わせなどが挙げられます。

同時に、多くの深層学習モデルは、敵対的サンプル（人間の目にはほとんど見えない、画像、音声、テキストのごくわずかな摂動で、確実に分類エラーを引き起こすもの）に対して極めて脆弱であることが判明しています。これは、視覚システム、音声認識、言語モデルに影響を与えます。さらに悪いことに、これは「メイン」モデルを欺くだけの問題ではありません。他のモデルの学習に使用される報酬モデルや評価モデル自体が悪用され、本来のタスクのパフォーマンスを実際に向上させることなく、スコアを人為的に水増しすることが可能なのです。

モニタリングとは、AIシステムが故障したり、攻撃を受けたり、悪用されたりした場合に、それを早期に検知する方法を定めるものです。これには、信頼性の較正（モデルが出力する確率がその信頼性を正確に反映していることを保証する）、分布外検出（システムがこれまで見てきたものとは「あまりにも異なる」ものに遭遇した場合）、および悪意のある使用の可能性を監視することが含まれます。

最後に、整合性によって、最も高度なシステム、特に影響力の大きい意思決定を行うシステムや自律的な行動が可能なシステムが、我々が容認できると考える目標を追求し、それを達成するために危険な戦略を開発しないことが保証されます。これには、手段的収束（高度なエージェントが類似した中間目標を追求する傾向）や、高い処理能力と広範な自律性が組み合わさった場合に制御を失うリスクといった概念が含まれます。

モデルにおける透明性、解釈可能性、そしてトロイの木馬

最大の課題の一つは、多くの最新のAIシステム、特に大規模なニューラルネットワークが、まさにブラックボックスとして機能することである。入力と出力は分かっているものの、なぜ特定の決定を下したのか、あるいは実際にどのような内部パターンを用いているのかを理解することは、決して容易ではない。

この透明性の欠如は、信用供与、人事選考、司法制度といった分野における説明責任に関する法的・倫理的要件と真っ向から衝突する。これらの分野では、特定の人物が採用または不採用となった理由を正当化することが義務付けられている。また、重大な失敗の調査も困難になる。例えば、自動運転車による死亡事故のような場合、どのような内部信号の組み合わせが認識や判断の誤りにつながったのかを再現することは非常に難しい場合がある。

そのため、解釈可能性と透明性に関する技術という分野全体が発展してきた。モデルが入力のどの部分を「見ているか」（例えば、どのピクセルや単語が出力に最も影響を与えたか）を示すことに焦点を当てたものもあれば、内部表現やニューロン間の接続を分析するなど、より深いレベルに踏み込んだものもある。CLIPのようなモデルでは、「spider」という単語とスパイダーマンの画像の両方に反応するニューロンが特定されており、言語変換器では、構文規則や事実の関連性を符号化していると思われる注意パターンや再帰回路が研究されている。

これらの手法は、理解やデバッグに役立つだけでなく、モデルの的を絞った編集も可能にします。特定のイベント（例えば、有名なモニュメントがある都市）に関連するパラメータを特定し、それらを変更することで、応答を体系的に変化させることが可能です。これらの実験では、エラーを意図的に引き起こすこともできることが示されていますが、同じアプローチを用いることで、モデルを最初から再学習させることなく、大規模なエラーを修正することもできます。

もう一つのデリケートな問題は、AIモデルにおけるトロイの木馬やバックドアです。これは、トレーニング中に、入力データに特定のパターンが現れる際に、通常とは異なる動作を引き起こすような状況を指します。例えば、特定のアクセサリーを身につけている場合にのみアクセスを許可する顔認識システムや、標識に貼られた特定のステッカーを検出すると無謀な運転をする自動運転車などが挙げられます。

懸念される点は、トレーニングデータのほんの一部を変更するだけで、動作するトロイの木馬を挿入できてしまうことです。多くのモデルは大量の公開データでトレーニングされているため、攻撃者がデータの一部を汚染するシナリオは現実的です。これらのトロイの木馬は、それ自体が脆弱性であるだけでなく、隠れた悪意のある動作を監査および検出するためのより優れたツールを開発するための理想的なテスト環境としても機能します。

構造的リスク、競争、そしてグローバル・ガバナンス

特定の攻撃や個別の事件にとどまらず、 AIエコシステムの組織構造に関連するシステム的なリスクも存在する。企業間や国家間の競争圧力、セキュリティ文化の欠如、製品をできるだけ早くリリースしようとする経済的インセンティブ、そしてサイバー攻撃者と防御者の間の非対称性などが挙げられる。

複数のアナリストは、「技術的な失敗」や「個人の誤用」だけに焦点を当てるのは不十分だと指摘している。なぜなら、災害に至る因果関係ははるかに長いからだ。冷戦時代の地政学的力学――少数の個人の決定が核戦争を近づけたり遠ざけたりする可能性があった――は、ますます強力になるAIシステムの開発競争が混沌としたものになった場合に起こりうる事態のアナロジーとしてしばしば引き合いに出される。

繰り返し懸念されるのは、いわゆる「破滅への競争」である。民間企業や国家機関が、経済、軍事、あるいは威信の面で一番になることに大きなメリットがあると認識した場合、たとえ誰もが緩やかな進歩の方が望ましいと認めていても、セキュリティ対策を加速させ、セキュリティ管理を縮小せざるを得なくなる可能性がある。こうした事態を回避するには、協力のための仕組み、相互の透明性、最低基準に関する合意、そしておそらくは新たな国際機関が必要となるだろう。

同時に、今日の地球規模の課題の多くは、気候変動、核リスク、サイバー兵器など、協力関係の問題でもあります。AIはこれらの課題を悪化させる可能性もあります（例えば、より強力なサイバー攻撃や高度に洗練された政治的操作キャンペーンを容易にするなど）が、予測、シナリオ分析、集団的意思決定のためのより優れたツールを提供することで、これらの課題解決に貢献することもできます。

そのため、規制枠組み、技術標準、最良のビジネス慣行、説明責任メカニズムを明確にすることを目指すAIガバナンスという分野が確立されつつあります。その範囲は、AIの潜在的な影響を過去の革新的な技術（電気や蒸気機関など）と比較する基礎的な研究から、外部監査、バグ報奨金制度、公開インシデントデータベース、結果やモデルの公開責任を判断する基準、主要研究所に対するセキュリティ要件の強化といった非常に具体的な提案まで多岐にわたります。

サイバーセキュリティの役割：AI自身を防御・保護するAI

実務的な日常領域において、AIはすでにサイバーセキュリティの中心的な役割を担っており、両者の関係は双方向的である。つまり、私たちはAIを利用してより効果的に身を守ると同時に、AIシステム自体を攻撃から保護する必要があるのだ。

近年のサイバー脅威は、目に見える混乱を引き起こすことから、データの窃盗、数ヶ月にわたるシステムへの侵入、そして高度に巧妙なマルウェアの展開へと進化を遂げてきた。これに対抗するため、大量のログを収集・分析するSIEMや、あらゆる企業デバイスで発生する事象を継続的に監視するEDRといったソリューションが普及している。問題は、データ量が人間のチームが手作業で確認できる量をはるかに超えている点にある。

ここで機械学習の出番となる。機械学習は、膨大な信号群からリアルタイムでパターンや異常を検出することができる。例えば、異常なログイン試行、機密データへの不正アクセス、奇妙なプロセス動作、疑わしいドメインへの接続などだ。

セキュリティ分野におけるAIプラットフォームは、対応の一部を自動化するためにも活用されています。関連するアラートの相関分析、攻撃の「経緯」の再構築、優先的に調査すべきインシデントの選定、そして場合によっては封じ込め措置（マシンの隔離、接続の切断、侵害された認証情報の無効化など）の直接実行などです。これにより、ノイズが削減され、アナリストは重要な情報に集中できるようになり、問題が検出されてから効果的な対策が講じられるまでの時間を劇的に短縮できます。

同時に、同様の技術革新がネットワークとエンドポイントの保護にも応用されています。次世代ファイアウォールは、トラフィックを分析して悪意のある動作を検出し、内部ルールをリアルタイムで更新したり、ネットワークのセグメンテーションを再構成して攻撃者の横方向の移動を制限したりするモデルを統合しています。AI強化型EDRは、被害が取り返しのつかないものになる前に、異常なプロセス動作（機密ファイルへの予期せぬアクセスやランサムウェアに典型的な実行チェーンなど）を検出します。

これに加えて、サイバーセキュリティツールに統合された自然言語ベースのアシスタントの台頭も挙げられます。セキュリティチーム向けのこれらのAIアシスタントは、「このデータベースへの攻撃経路はどのようなものがありますか？」といった複雑な質問を投げかけ、複数のダッシュボードを手動で操作することなく、状況に応じた説明、インシデントの概要、または対策案を受け取ることを可能にします。

攻撃者はどのようにAIを利用しているか

残念ながら、サイバー犯罪者たちもAIの利用に積極的に乗り出している。アンダーグラウンドのフォーラムでは、登場する強力な新モデルはすべて分析され、改変版が次々と生まれている。中には、倫理的なフィルターが取り除かれ、「ハッキングアシスタント」として訓練され、犯罪行為を目的としたモデルもある。

今日では、生成モデルを利用して犯罪行為のほぼすべての段階を自動化することは比較的容易です。例えば、完璧でパーソナライズされたフィッシングメールの大量作成、非常に信憑性の高い偽のログインページの作成、認証情報を盗むためのランサムウェアスクリプトやキットの生成、ソーシャルエンジニアリングのための説得力のあるメッセージの作成などです。

もう一つ懸念されるのは、AIが極めて説得力のある偽コンテンツを作成できる能力です。テキスト生成ツールを使えば、プロのメディアのスタイルを模倣した偽の記事やニュース記事を作成できます。ディープフェイクのような動画生成システムは、高画質の動画クリップで顔を置き換えることができます。また、音声クローン技術を使えば、わずか数分の音声から人の声を再現することが可能です。

家族の偽の声をクローンして送金を促す電話詐欺の事例は既に報告されているほか、改ざんされた動画、偽の音声、生成ボットを組み合わせてメッセージを拡散する政治的な中傷キャンペーンやソーシャルメディア操作も確認されている。これらのツールのコストは年々低下しており、攻撃者にとっての投資対効果は高まっている。

要するに、AIは攻撃能力を飛躍的に向上させる。高度な攻撃を容易かつ安価に実行可能にし、大規模なキャンペーンを可能にし、真正な情報と操作された情報を区別することを困難にする。したがって、防御にAIを活用することはもはや選択肢ではなく、自動化と知能がなければ、人間のチームは到底対応しきれない。

AI特有の主要なセキュリティリスク

一般的なサイバーセキュリティリスクに加え、AIシステムの導入には、理解と管理が必要な固有の脆弱性が伴います。特に重要な脆弱性には、以下のようなものがあります。

データおよびモデルの汚染。悪意のあるデータや改ざんされたデータをトレーニングセットに導入すると、モデルの動作が歪んだり、バックドアが挿入されたり、標準的な指標では明らかにならないままパフォーマンスが低下したりする可能性があります。複数の参加者がトレーニングに貢献する連合学習環境では、どの参加者が意図的にノイズを導入したかを検出することは特に困難です。

敵対的サンプルと回避。攻撃者は、系統的なエラーを引き起こすようにわずかに変更した入力を設計することで、マルウェア検出システム、スパムフィルタ、画像分類器、または生体認証メカニズムを回避することができます。モデルは入力が正常であると「認識」するため、これらのタイプの攻撃は従来のルールだけでは軽減が困難です。

モデルの逆解析とプライバシー漏洩。攻撃者は、繰り返しクエリを実行し、出力を分析することで、トレーニングデータに関する情報を再構築し、特定のレコードが含まれていたかどうかを推測したり、モデルに保存されている機密データの断片を抽出したりすることが可能になります。これは、個人情報、臨床情報、または機密情報を用いてトレーニングを行う場合に深刻な問題となります。

モデルや知的財産の盗難。AI APIに大量のクエリを実行することで、オリジナルモデルの動作を忠実に再現する模倣モデルを訓練することが可能です。これは、AIをサービスとして提供する企業のビジネスモデルを損なうだけでなく、攻撃者が完全に制御できるコピーを作成し、脆弱性を無制限に悪用する能力も奪うことになります。

APIやインフラストラクチャへの攻撃。AIモデルと他のアプリケーションを接続するインターフェースは、非常に魅力的な侵入ポイントとなります。認証の脆弱性、入力検証の欠如、頻度制限や監視の不備などがあると、サービス拒否攻撃から大規模なデータ抽出、リモートコード実行まで、あらゆる攻撃が可能になります。

GenAIにおける迅速なインジェクションと悪用。言語モデルや生成アシスタントの場合、新たな攻撃手法として、直接的または間接的な命令のインジェクションが挙げられます。攻撃者は、制約の回避、データの漏洩、意図しない動作の実行を目的として、入力テキスト自体（「前のルールを無視して…」など）や、モデルが読み込む外部ドキュメントに悪意のあるコマンドを埋め込むことができます。

悪用される幻覚。生成モデルは、完全に自信満々にデータを捏造することができる。これらのシステムが重要な状況で人間の監視なしに使用されたり、攻撃者が特定の幻覚を「事実」として正当化することに成功したりすると、誤った意思決定、偽情報、そしてデジタル情報に対する広範な信頼の喪失につながる可能性がある。

より安全なAIのためのフレームワーク、標準規格、およびベストプラクティス

手探りで進むことを避けるため、様々な組織がAIセキュリティに関する具体的なフレームワークを提案している。どれも単独では全体像を網羅するものではないが、それらを組み合わせることで、戦略構築のための確固たる基盤が築かれる。

中でも、NISTのAIリスク管理フレームワークは際立っており、ガバナンス（ポリシーと責任の確立）、マッピング（状況とリスクの理解）、測定（パフォーマンスと露出の評価）、管理（制御の優先順位付けと適用）という4つの機能を中心に構成されています。MITRE ATLASマトリックスなどの他の取り組みでは、ATT&CKが従来の脅威に対して行っているのと同様に、AIシステムに対する特定の攻撃戦術と技術をカタログ化しています。

より実践的な分野では、セキュリティコミュニティがOWASP Top 10 for LLMのようなリストを作成しており、大規模言語モデルに基づくアプリケーションにおける主なリスク（プロンプトインジェクション、データ漏洩、モデルサプライチェーンの脆弱性、モデルの盗難など）をまとめています。主要ベンダーは、 AIシステムをより安全に展開するための具体的な手順を示す独自のフレームワーク（GoogleのSAIFなど）を公開しています。

さらに、クラウド環境でGenAIを展開するための、非常に具体的で実践的なアプローチが登場しています。例えば、テナントおよびユーザー分離フレームワークは、データ、権限、通信チャネルを慎重にセグメント化し、潜在的な障害やインジェクションの影響を軽減します。その根底にあるのは、従来のサイバーセキュリティ対策（暗号化、ID管理、ネットワークセグメンテーション、サンドボックス化）と、AIの特性に合わせた対策を組み合わせるという考え方です。

これに基づき、最も頻繁に挙げられる推奨事項としては、トレーニングデータの質と多様性を確保すること、倫理的な影響（偏見、同意、プライバシー）に直接対処すること、モデルのテストと更新を頻繁に行うこと、一般的なICTポリシーを補完するAI固有のセキュリティポリシーを定義することなどが挙げられる。

並行して、 AIセキュリティ態勢管理（AISPM）と呼ばれるソリューションのカテゴリーが登場しており、これはクラウドにおけるCSPMに相当するもので、AI資産のインベントリ作成、不正使用（「シャドウAI」）の発見、構成の評価、ポリシー遵守状況の継続的な監視などを行う。

AIが重要インフラにますます深く統合されるにつれ、AIセキュリティは「興味深い付加機能」から根本的な要件へと移行していくことは、あらゆる兆候から見て取れます。AIシステムのインベントリ作成、明確なガバナンスの定義、厳格なアクセス制御の実装、モデルに対する敵対的テストの実施、そして認知されたフレームワークへの準拠といった対策を先取りする組織は、不測の事態に遭遇することなくAIのメリットを最大限に活用できるでしょう。そして何よりも、何が現実で何が操作されたものかを区別することがますます困難になる環境において、顧客、ユーザー、そして市民の信頼を維持するための体制を整えることができるのです。