人工知能 (AI) と機械学習 (ML) は、現代のビジネスにおいてなくてはならない技術となっています。顧客の傾向分析から製品の設計、カスタマーサービスまで、AI/MLはあらゆる場所で使用されています。さらに、AI/MLは現代の企業が業務を行い、事業を運営する仕組みの基盤となっています。

しかし悪人がこれを知ったことで、AI/MLシステムは標的となりつつあります。敵対的AI（および敵対的ML）の誕生です。これらは、AIベースのシステムの有効性を損なうことを目的として、システムを騙す、あるいは悪用するために作られた技術です。近年、敵対的MLが蔓延したことを受け、2020年にMITREがATLAS™ (Adversarial Threat Landscape for Artificial-Intelligence Systems) 脅威マトリックスを公開しました。これは、既存のシステムの攻撃対象領域を増大させる、機械学習システムに対する脅威の概要を示すものです。

敵対的AIの内部の仕組みと影響を理解することは、あらゆるSecOpsチームにとって重要です。この記事では、敵対的AIについて詳しく説明します。敵対的AIへの懸念が高まっている理由、攻撃者が利用する主な手法、および敵対的AIがもたらすリスクを軽減する方法について見ていきます。

敵対的AI/MLとは

敵対的AIまたは敵対的機械学習 (ML) は、AI/MLシステムを操ったり、間違った方向に誘導したりすることで、その性能を阻害しようとします。このような機械学習システムへの攻撃は、モデルの開発ライフサイクルにおける複数のステージで行われる可能性があります。例えば、トレーニングデータの改ざん、不正確なデータやバイアスの導入によるMLモデルのポイズニング、不正確な出力を生成させるための偽の入力の作成などです。さらに、攻撃の効果を高めるために、これらの戦術が組み合わせて実行されることもあります。

マルウェアやフィッシングといった従来のサイバー脅威とは異なり、敵対的AIは、AIシステムの意思決定ロジックを悪用しようとするため、トレーニング済みで本番環境で使用できる状態の機械学習モデルをマルウェアが回避できるようになります。そのため、敵対的AI/MLは、現代のSecOpsチームの主要な懸念事項となっています。

敵対的AIおよびMLに起因する重大な懸念事項

敵対的AIは、現在実際に横行している手法であり、巧妙さを増していることから、組織のセキュリティに対して深刻な侵害をもたらす可能性が高まっています。このため、次のような重大な懸念事項が生じています。

• AIおよびMLモデルの複雑さの増大：AI/MLモデルが高度になるにつれ、サイバー攻撃の標的としての魅力も高まっています。
• AI/MLの出力に対する暗黙の信頼：組織は、AI/MLシステムをブラックボックスと見なすようになっています。システムの出力を疑うことなく信頼するようになっていることで、システムの攻撃に対する脆弱性が高まり、侵害されたシステムの検知がより困難になっています。
• AI/MLの広範囲にわたる普及：AI/ML技術はあらゆる業種の企業に浸透しています。このため、敵対的AI攻撃が成功した場合、その影響が何倍にも広がります。
• 攻撃者の能力の向上：AI/MLに関連する技術は進歩し続けています。技術が進歩すれば、これらのシステムを悪用しようとする攻撃者のツール、手法、スキルも進歩します。

敵対的AIおよびMLの主要な技術

敵対的AI攻撃がどのように実施されるかをより正確に理解するために、セキュリティ専門家は、主要な敵対的手法を理解する必要があります。

データポイズニング

MLモデルは、大量のデータを基にトレーニングされます。予測AIでは、MLモデルはトレーニングに使用された過去のデータに基づいて、出力を予測できます。生成AIでは、モデルは取り込んだトレーニングデータに基づいて、まったく新しいコンテンツを生成できます。

トレーニングデータは、MLモデルの性能にとって絶対的に重要であるため、敵対的AIの格好の標的となります。データポイズニングは、そのようなトレーニングデータを変更して、生成されるモデルの振る舞いや意思決定に欠陥を生じさせます。欠陥のあるモデルを基に構築されたシステムは、甚大な被害を受けることになります。

モデルの改ざん

敵対的AI攻撃では、モデルの改ざんも使用されます。これは、MLモデルのパラメーターや構造を不正に変更することです。これは、ターゲットが事前トレーニング済みのモデルそのものである点で、データポイズニングとは異なります。改ざんされたモデルでは、正確な出力を生成する能力が損なわれる可能性があります。

AI/MLモデルは企業やコンシューマーの意思決定に使用されるため、改ざんされたモデル、特に長期間検知されないモデルは、破滅的な結果をもたらすおそれがあります。

攻撃の転送可能性

攻撃者はさまざまなAI/MLシステムで戦術を試しており、ツールを利用して、成功した攻撃手法を他のシステムにも適用できます。成功した手法を応用して敵対的AIを幅広く実行する場合、AI/MLモデルやシステムを構築してトレーニングする場合よりも、必要なコンピューティングリソースがはるかに少なくて済みます。

このような攻撃手法を踏まえて、現代の企業はどのようにリスクを軽減できるでしょうか。

リスクの軽減

敵対的AIからの保護を含む、堅牢なセキュリティポスチャを確立するために、企業にはサイバーセキュリティの基本レベルから始まる戦略が必要です。

モニタリングと検知

ネットワークの他のシステムと同様に、AI/MLシステムも継続的にモニタリングすることで、敵対的AIの脅威をすばやく検知し、対応できるようにする必要があります。継続的モニタリング、侵入検知、エンドポイント保護を備えたサイバーセキュリティプラットフォームを利用します。AI/MLシステムの入出力データのリアルタイム分析を実装することもできます。このデータを分析して予期しない変更や異常なユーザー活動を検知することで、システムをロックダウンして保護するための対策を迅速に取ることができます。

継続的モニタリングは、MLモデルの動作ベースラインを確立するために使用できる、UEBA（ユーザーとエンティティの振る舞い分析） の適用にもつながる可能性があります。これに基づいて、モデル内の振る舞いの異常なパターンをより簡単に検出できます。

ユーザーの意識向上と教育

スタッフやステークホルダーの多くは、敵対的AIの概念、ましてやその脅威や兆候について知らないかもしれません。全体的なサイバーセキュリティ防御戦略の一環として、トレーニングプログラムと教育を通じて意識を高めましょう。AI/MLベースのシステムに関連する疑わしいアクティビティや出力を認識する方法について、チームをトレーニングします。また、セキュリティベンダーに、敵対的AIに対してどのように技術を強化しているかを尋ねる必要があります。クラウドストライクがこの種の攻撃に対するMLの有効性を強化する方法の1つは、設定可能な攻撃を含む一連のジェネレーターに基づいて新しい敵対的サンプルを生成する自動化ツールを使用して、独自のML分類器をレッドチーム化することです。

スタッフがこの種の知識を身に付けると、セキュリティレイヤーを追加し、サイバーセキュリティの取り組みを強化する警戒を怠らない文化を育むことができます。

敵対的トレーニング

敵対的トレーニングは、一部の組織がモデルをプロアクティブに保護するために採用している防御アルゴリズムです。これには、モデルのトレーニングデータに敵対的な例を導入して、これらの入力を意図的に誤解を招くものとして正しく分類するようにモデルに学習させることが含まれます。

MLモデルにトレーニングデータの操作の試みを認識するよう学習させることで、モデルが自身を標的と認識し、モデルポイズニングなどの攻撃から防御するようにトレーニングします。

クラウドストライクを利用した敵対的AI/MLからの防御

現代の企業ではAI/MLベースのシステムへの依存度が高まっていることから、顕著なサイバーセキュリティのリスクとして敵対的AIが登場したことは驚くべきことではありません。敵対的AIは、AIシステムの性能を阻害するために、モデルポイズニングやモデルの改ざんといった手法を使用して、システム出力の正確性や信頼性を損ないます。

敵対的AIに対する防御を行うには、単一のプラットフォーム内で堅牢なツールを使用する、強化されたサイバーセキュリティ体制が必要です。CrowdStrike Falcon^®プラットフォームは、あらゆる種類のサイバー脅威に対するエンドツーエンドの保護を提供する、高度なサイバーセキュリティツールスイートです。詳細については、クラウドストライクにお問い合わせください。

無料トライアルに申し込む