特開 2023-55093 モジュールのトレーニング方法及びＡＩモジュールの捕獲を防止する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023055093

(43)【公開日】2023-04-17

(54)【発明の名称】モジュールのトレーニング方法及びＡＩモジュールの捕獲を防止する方法

(51)【国際特許分類】

   G06F 21/55 20130101AFI20230410BHJP

   G06N 20/00 20190101ALI20230410BHJP

【ＦＩ】

G06F21/55

G06N20/00

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2021164212

(22)【出願日】2021-10-05

(71)【出願人】

【識別番号】390023711

【氏名又は名称】ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

【住所又は居所原語表記】Ｓｔｕｔｔｇａｒｔ， Ｇｅｒｍａｎｙ

(71)【出願人】

【識別番号】515022571

【氏名又は名称】ロバート ボッシュ エンジニアリング アンド ビジネス ソリューションズ プライヴェット リミテッド

【氏名又は名称原語表記】Ｒｏｂｅｒｔ Ｂｏｓｃｈ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｂｕｓｉｎｅｓｓ Ｓｏｌｕｔｉｏｎｓ Ｐｒｉｖａｔｅ Ｌｉｍｉｔｅｄ

【住所又は居所原語表記】１２３， Ｉｎｄｕｓｔｒｉａｌ Ｌａｙｏｕｔ， Ｈｏｓｕｒ Ｒｏａｄ， Ｋｏｒａｍａｎｇａｌａ， Ｂａｎｇａｌｏｒｅ － ５６０ ０９５， Ｉｎｄｉａ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100134315

【弁理士】

【氏名又は名称】永島 秀郎

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】マノジュクマール ソマブハイ パルマール

(72)【発明者】

【氏名】アディト ジグネシュ シャー

(57)【要約】

【課題】ＡＩシステムが開示される。
【解決手段】ＡＩシステム１０は、少なくとも１人のユーザから入力データを受信する入力インタフェース（１２）と、受信された入力データが攻撃入力データであることを検出するブロッカモジュール（１４）であって、ブロッカモジュール（１４）の出力データを操作し、ブロッカモジュールから少なくとも１人のユーザに出力データを送信するブロッカモジュール（１４）と、ブロッカモジュール（１４）によって受信された入力データを処理して、入力データに対応する出力データを生成するＡＩモジュール（１６）と、攻撃入力データを検出したときにＡＩシステム（１０）の所有者に通知を伝達するブロッカ通知モジュール（１８）と、生成された出力データを前記少なくとも１人のユーザに送信する出力インタフェース（２０）と、を少なくとも備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

ＡＩシステム（１０）であって、当該ＡＩシステム（１０）は、
少なくとも１人のユーザから入力データを受信する入力インタフェース（１２）と、
受信された前記入力データが攻撃入力データであることを検出するブロッカモジュール（１４）であって、前記ブロッカモジュール（１４）の出力データを操作し、前記ブロッカモジュールから前記少なくとも１人のユーザに前記出力データを送信するブロッカモジュール（１４）と、
前記ブロッカモジュール（１４）によって受信された前記入力データを処理して、前記入力データに対応する出力データを生成するＡＩモジュール（１６）と、
攻撃入力データを検出したときに当該ＡＩシステム（１０）の所有者に通知を伝達するブロッカ通知モジュール（１８）と、
生成された前記出力データを前記少なくとも１人のユーザに送信する出力インタフェース（２０）と、
を少なくとも含むＡＩシステム（１０）。

【請求項2】

前記ブロッカモジュール（１４）は、
攻撃入力データの出力を検出し、かつ、有効入力データの出力を検出するようトレーニングされるように構成されていて、前記少なくとも１人のユーザから前記入力インタフェース（１２）を介して入力データを受信するモジュール（２４）と、
前記モジュール（２４）からの出力を受信し、前記攻撃入力データの出力データ及び前記有効入力データの出力の分布を分類するように構成された分類器モジュール（２６）と、
前記分類器モジュール（２６）から受信された分類済みの前記分布を、前記モジュール（２４）／トレーニング済みの前記モジュール（２４）の出力と比較し、前記入力に対して前記出力の出現確率が低くなるように生成された出力を、前記少なくとも１人のユーザに送信するように構成された比較器モジュール（２８）と、
を含む、請求項１に記載のＡＩシステム（１０）。

【請求項3】

ＡＩシステム（１０）におけるブロッカモジュール（１４）内のモジュール（２４）をトレーニングする方法（５０）であって、当該方法は、以下のステップ、即ち、
入手可能な総ての攻撃入力データ及び有効入力データを検索するステップ（５２）と、
入手可能な総ての攻撃入力データに対する出力を記録するステップ（５４）と、
入手可能な総ての有効入力データに対する出力を記録するステップ（５６）と、
前記攻撃入力データに対する記録された前記出力及び前記有効入力データに対する記録された前記出力の分布を供給するステップ（５８）と、
を含む方法。

【請求項4】

出力を記録するステップ（５４，５６）及び分布を供給するステップ（５８）の後では、前記モジュール（２４）は、トレーニング済みのモジュール（２４）である、
請求項３に記載の方法。

【請求項5】

ＡＩシステム（１０）におけるＡＩモジュール（１６）の捕獲を防止する方法（１００）であって、当該方法（１００）は、以下のステップ、即ち、
入力インタフェース（１２）を介して少なくとも１人のユーザから入力データを受信するステップ（１０２）と、
前記入力データを攻撃入力データとして又は有効な入力データとして、ブロッカモジュール（１４）において識別するステップ（１０４）と、
前記識別（１０４）と、前記ブロッカモジュール（１４）内のモジュール（２４）／トレーニング済みのモジュール（２４）からの入力とに基づき、前記入力データを処理するステップ（１０６）と、
前記少なくとも１人のユーザによって前記ＡＩシステム（１０）に送信された前記入力データから予期される出力の能動的な操作によって得られた、前記ブロッカモジュール（１４）において処理された前記出力データを、前記ブロッカモジュール（１４）を介して前記少なくとも１人のユーザに送信するステップ（１０８）であって、前記出力データは、前記ブロッカモジュール（１４）によって送信される、ステップ（１０８）と、
を含む方法（１００）。

【請求項6】

前記入力データを攻撃データとして又は有効入力データとして識別する（１０４）一方、入力データが前記入力インタフェース（１２）から前記ブロッカモジュール（１４）の前記モジュール（２４）に伝達される、
請求項５に記載の方法（１００）。

【請求項7】

前記ブロッカモジュール（１４）の前記モジュール（２４）／トレーニング済みの前記モジュール（２４）は、既知の攻撃入力データ及び有効入力データに関連する出力データを有する、
請求項５に記載の方法（１００）。

【請求項8】

前記処理（１０６）の少なくとも一部は、前記ブロッカモジュール（１４）の分類器モジュール（２６）において実装されており、前記分類器モジュール（２６）は、前記攻撃入力データの出力データ及び前記有効入力データの出力の分布を分類するように構成されている、
請求項５に記載の方法（１００）。

【請求項9】

前記処理（１０６）の少なくとも一部は、前記ブロッカモジュール（１４）の比較器モジュール（２８）において実装されており、前記比較器モジュール（２８）が前記分類器モジュール（２６）から受信した分類済みの前記分布をトレーニング済みの前記モジュール（２４）の出力と比較し、前記入力に対して出現確率が低くなるように生成された出力を前記少なくとも１人のユーザに送信するように、前記比較器モジュール（２８）は、前記ユーザに送信される出力データを能動的に操作する、
請求項５に記載の方法（１００）。

【請求項10】

前記ブロッカモジュール（１４）において入力データが攻撃入力データとして識別されると（１０４）、ブロッカ通知モジュール（１８）が、前記攻撃入力データの通知を前記ＡＩシステム（１０）の所有者に伝達する、
請求項５に記載の方法（１００）。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ＡＩシステムにおけるモジュールのトレーニング方法及びＡＩシステムにおけるＡＩモジュールの捕獲を防止する方法に関する。

【背景技術】

【0002】

発明の背景
今日、データ処理及び意思決定システムの大半は、人工知能モジュールを用いて実装されている。人工知能モジュールは、機械学習、ニューラルネットワーク、ディープラーニング等のような種々の技術を使用している。

【0003】

ＡＩに基づくシステムの大半は、大量のデータを受け取り、ＡＩモデルをトレーニングするためにデータを処理する。トレーニングされたＡＩモデルは、ユーザにより要求されるユースケースに基づいて出力を生成する。典型的には、ＡＩシステムは、コンピュータビジョン、音声認識、自然言語処理、オーディオ認識、医療、自動運転、製造、ロボット工学などの分野において使用されており、その際にこれらのシステムは、トレーニングを通して取得された特定の規則／知能に基づいて、要求される出力を生成するためにデータを処理する。

【0004】

入力を処理するためにＡＩシステムは、トレーニングデータを用いてトレーニングされる種々のモデル／アルゴリズムを使用する。トレーニングデータを用いてＡＩシステムがトレーニングされると、ＡＩシステムは、モデルを使用してリアルタイムデータを解析し、適当な結果を生成する。それらのモデルを、結果に基づいてリアルタイムに微調整することができる。

【0005】

ＡＩシステムにおけるモデルがシステムのコアを成している。これらのモデルの開発には、大量の労力、リソース（有形及び無形）並びに知識が投入されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】米国特許出願公開第２０１９／００９５６２９号明細書

【発明の概要】

【発明が解決しようとする課題】

【0007】

ここで考えられることは、ある攻撃者がＡＩシステムからモデルを捕獲／コピー／抽出しようと試みるかもしれない、ということである。攻撃者は、ＡＩシステムからモデルを捕獲するために種々の技術を用いる可能性がある。攻撃者によって使用される単純な技術のうちの１つは、攻撃者が独自のテストデータを用いて、ＡＩシステムに繰り返し種々のクエリを送信することである。テストデータは、ＡＩシステムにおけるモデルの動作に関する内部情報を抽出するように設計されている可能性がある。攻撃者は、生成された結果を使用して独自のモデルをトレーニングする。これらのステップを反復して実行することにより、モデルの内部を捕獲することが可能となり、同様のロジックを用いて類似したモデルを構築することができる。このことによって、ＡＩシステムの元来の開発者が苦境に追い込まれることになる。苦境の形態として考えられるのは、ビジネスの不利益、機密情報の損失、開発に費やされたリードタイムの損失、知的財産の損失、将来の収益の損失などである。

【0008】

従来技術において、攻撃者によるこの種の攻撃を識別し、ＡＩシステムにおいて使用されるモデルを保護する方法が知られている。従来技術の米国特許出願公開第２０１９／００９５６２９号明細書には、この種の方法の１つが開示されている。

【0009】

上述の従来技術に開示された方法は、入力を受信し、トレーニングされたモデルを入力データに適用することによって、入力データを処理し、予め定義された複数のクラスごとに値を有する出力ベクトルを生成する。クエリエンジンは、出力ベクトルの生成に関連する関数内にクエリを挿入することによって、出力ベクトルを修正し、これによって修正された出力ベクトルを生成する。次いで、修正された出力ベクトルが出力される。クエリエンジンは、入力データの分類精度を維持しながら、トレーニングされたモデルロジックのトレーニングされたコンフィギュレーションを偽装するために、１つ又は複数の値を修正する。

【図面の簡単な説明】

【0010】

本発明の種々の態様が明細書に詳細に開示されており、添付の図面に示されている。

【図1】ＡＩシステムにおけるＡＩモジュールの捕獲を防止するために使用されるＡＩシステムの種々の構成ブロックを表すブロック図を示す図である。

【図2】ＡＩシステムにおけるＡＩモジュールの捕獲を防止するために使用されるＡＩシステムの種々の構成ブロックを付加的な細部と共に表すブロック図を示す図である。

【図3】ＡＩシステムのブロッカモジュール内のモジュールをトレーニングするための、ＡＩシステムの種々の構成ブロックを表すブロック図を示す図である。

【図4】上述のＡＩシステムのブロッカモジュール内のモジュールのトレーニング方法を表すブロック図である。

【図5】ＡＩシステムにおけるＡＩモジュールの捕獲を防止する方法を表すブロック図である。

【発明を実施するための形態】

【0011】

実施形態の詳細な説明
ここで重要であることは、人工知能（ＡＩ）技術及び人工知能（ＡＩ）に基づくシステム又は人工知能（ＡＩ）システムのいくつかの態様を理解することである。本開示は、ＡＩシステムの２つの態様を包含する。第１の態様は、ＡＩシステムにおけるモジュールのトレーニングに関するものであり、第２の態様は、ＡＩシステムにおけるＡＩモジュールの捕獲の防止に関するものである。

【0012】

ＡＩ技術及びＡＩシステムのいくつかの重要な態様を、以下のように説明することができる。実装のアーキテクチャに応じて、ＡＩシステムは、複数の構成要素を含み得る。かかる構成要素の１つはＡＩモジュールである。本開示に関連するＡＩモジュールを、モデルを実行する構成要素として説明することができる。ある１つのモデルを、種々の形式の相関行列を使用するデータの参照又は推論セットとして定義することができる。これらのモデルとこれらのモデルからのデータとを用いて、種々のタイプのデータ間において相関を確立することができ、それによって、データの何らかの論理的理解に到達する。当業者であれば、線形回帰、ナイーブベイズ分類器、サポートベクトルマシン、ニューラルネットワーク及びこれらに類するものなど、種々のタイプのＡＩモデルを認識しているであろう。本開示は、ＡＩモジュールにおいて実行されるＡＩモデルのタイプに特化されるものではなく、実行されるＡＩモデルに関係なく、任意のＡＩモジュールに適用することができるということを理解されたい。当業者であれば、ＡＩモジュールが、ソフトウェア命令のセット、ソフトウェアとハードウェアとの組合せ、又は、これらの任意の組合せとして実装可能であるということも理解するであろう。

【0013】

ＡＩシステムによって実施される典型的なタスクの一部は、分類、クラスタリング、回帰などである。大多数の分類タスクは、ラベリングされたデータセットに依存し、即ち、ニューラルネットワークがラベルとデータとの相関関係を学習するために、データセットが手動でラベリングされる。これは、教師あり学習として知られている。分類の一般的な用途のいくつかは、顔認識、物体識別、ジェスチャ認識、音声認識などである。クラスタリング又はグループ化は、入力における類似性の検出である。クラスタ学習技術は、類似性を検出するためにラベルを必要としない。ラベルなしの学習は、教師なし学習と称される。ラベルなしデータは、世の中のデータの大半を占める。機械学習の１つの法則は、より多くのデータに基づきアルゴリズムをトレーニングすることができるようになるにつれて、その精度が高くなるということである。よって、教師なし学習のモデル／アルゴリズムは、トレーニングデータセットのサイズが大きくなるにつれて、正確なモデルを生成する潜在能力を有する。

【0014】

上述のように、本開示の１つの態様は、ＡＩシステムにおけるモジュールのトレーニングに関する。トレーニングの方法論の具体的な詳細については、本明細書の後半において説明する。

【0015】

ＡＩモジュールは、ＡＩシステムのコアを成すため、このモジュールを攻撃から保護しなければならない。攻撃者は、ＡＩモジュール内のモデルを攻撃し、ＡＩモジュールから情報を盗もうとする。この攻撃は、攻撃ベクトルによって開始される。コンピューティング技術において、コンピュータ、コンピュータシステム又はコンピュータネットワークに感染させるためなど、悪意のあるコード／ウイルスデータが自身を伝播させるために使用する方法として、ベクトルが定義される可能性がある。同様に、攻撃ベクトルは、ペイロード又は悪意のある結果をもたらすために、ハッカーがコンピュータ又はネットワークにアクセスし得るようにする経路又は手段として定義される。モデル窃盗攻撃は、ＡＩモジュールのディジタルツイン／レプリカ／コピーを作成することができる一種の攻撃ベクトルを使用する。この攻撃は、種々の研究論文において実証されており、それらによれば、同様のパフォーマンスを有する代替モデルを構築するためにモデルが捕獲／コピー／抽出された。

【0016】

攻撃者は、典型的には、入力仕様のサイズ及び形状のランダムなクエリを生成し、これらの任意のクエリによってモデルに問合せ（クエリイング）を開始する。この問合せは、ランダムなクエリに対する入出力ペアを作成し、予めトレーニングされたモデルから推論された二次データセットを生成する。次いで、攻撃者は、このＩ／Ｏペアを受け取り、この二次データセットを用いて新しいモデルを最初からトレーニングする。これは、元のモデルについて予備知識を必要としないブラックボックスモデルの攻撃ベクトルである。モデルに関する事前情報を利用することができ、そのような情報が増加していくにつれて、攻撃者は、よりインテリジェントな攻撃に移行する。攻撃者は、より効率的にモデルを抽出するために、攻撃者の意のままに関連するデータセットを選択する。これは、ドメインインテリジェンスモデルに基づく攻撃ベクトルである。これらのアプローチを用いることにより、種々のモデル及びデータセットにわたってモデル窃盗攻撃を実証することができる。

【0017】

先に述べたように、本開示の第２の態様は、攻撃を検出することによりＡＩシステムにおけるＡＩモジュールの捕獲を防止することに関する。これは、ＡＩモジュールがトレーニングされたモデルを使用して攻撃を検出し、攻撃を阻止するためにＡＩシステムの他の構成要素が使用されるので、本開示の第１の態様と相互に関連がある。

【0018】

本開示は、特に、ＡＩシステムにおけるモジュールをトレーニングするために使用される方法論、及び、ＡＩシステムにおけるＡＩモジュールの捕獲を防止する方法論を開示しているということを理解されたい。これらの方法論は、目的を達成するための一連のステップだけを記述しているが、これらの方法論は、ハードウェア、ソフトウェア、及び、それらの組合せとすることができるＡＩシステムにおいて実装される。

【0019】

図１及び図２には、本開示によるＡＩシステムの種々の構成ブロックを表すブロック図が示されている。ＡＩシステムの構成ブロック各々を、アプリケーションに応じてそれぞれ異なるアーキテクチャフレームワークにおいて実装することができるということを理解されたい。アーキテクチャフレームワークの１つの実施形態によれば、ＡＩシステムの構成ブロック総てがハードウェアにより実装され、即ち、構成ブロック各々を１つのマイクロプロセッサチップ上にハードコーディングすることができる。このことが特に可能であるのは、構成ブロックがネットワークを介して物理的に分散されており、その際に構成ブロック各々がネットワーク全体にわたり個々のコンピュータシステム上に存在する場合である。ＡＩシステムのアーキテクチャフレームワークの他の実施形態によれば、構成ブロックが、ハードウェアとソフトウェアとの組合せとして実装されており、即ち、一部の構成ブロックが、マイクロプロセッサチップ上にハードコーディングされている一方、他の構成ブロックは、マイクロプロセッサチップ内又はクラウド上に存在させることができるソフトウェアにおいて実装されている。

【0020】

図１に示されているように、ＡＩシステム１０は、少なくとも１人のユーザから入力データを受信する入力インタフェース１２と、受信された入力データが攻撃入力データであることを検出するブロッカモジュール１４であって、ブロッカモジュール１４の出力データを操作し、ブロッカモジュールから少なくとも１人のユーザに出力データを送信するブロッカモジュール１４と、ブロッカモジュール１４によって受信された入力データを処理して、入力データに対応する出力データを生成するＡＩモジュール１６と、攻撃入力データを検出したときにＡＩシステム１０の所有者に通知を伝達するブロッカ通知モジュール１８と、生成された出力データを少なくとも１人のユーザに送信する出力インタフェース２０と、を少なくとも備える。

【0021】

先に述べたように、図２によれば、ブロッカモジュール自体に関する付加的な細部が提供される。ブロッカモジュール１４は、攻撃入力データの出力を検出し、かつ、有効入力データの出力を検出するようトレーニングされるように構成されていて、入力インタフェース１２を介して少なくとも１人のユーザから入力データを受信するモジュール２４と、モジュール２４から出力を受信し、かつ、攻撃入力データの出力データ及び有効入力データの出力の分布を分類するように構成された分類器モジュール２６と、分類器モジュール２６から受信した分類済みの分布を、モジュール２４／トレーニング済みのモジュール２４の出力と比較して、上記入力に対して上記出力の出現確率が低くなるように生成された出力を、少なくとも１人のユーザに送信するように構成された比較器モジュール２８と、を備える。

【0022】

図３には、ＡＩシステムのブロッカモジュール内のモジュールをトレーニングするための、ＡＩシステムの種々の構成ブロックを表すブロック図が示されている。ブロッカモジュール１４内のモジュール２４のトレーニングのために、入力インタフェース１２からの入力データがモジュール２４に送信される。モジュール２４は、ＡＩモジュール１６からの入力も受信する。入力データは、入力インタフェースを介して受信され、トレーニング状況において入力インタフェースは、有線コネクション又は無線コネクションを介してＡＩモジュール１６及びモジュール２４に接続されるハードウェアインタフェースである。モジュール２４のトレーニング中には、情報セット又はデータセットが必要とされ得る。１つの実施形態によれば、モジュール２４及びＡＩモジュール１６は、ハードウェア構成要素として実装されている。この場合には、モジュール１６は、記憶媒体も備えたプロセッサ構成要素を有することになる。データセットは、記憶媒体である。ＡＩモジュール１６は、記憶媒体も備えたプロセッサ構成要素を有する。図３に示されているように、入力データは、ＡＩモジュール１６によって受信される。ＡＩモジュールは、モジュール２４と通信する。ＡＩモジュール１６に供給される入力データを、ＡＩモジュール１６からの予期される出力をトリガする入力の組合せとすることができる。ここで用いられるトレーニング方法論は、教師なしトレーニング方法論であるため、データのさらなるラベリングを行わなくてよい。モジュール２４をトレーニングする方法が、図４のブロック図を用いて示されている。ＡＩシステム１０におけるブロッカモジュール１４内のモジュール２４をトレーニングする方法５０は、以下のステップ、即ち、入手可能な総ての攻撃入力データ及び有効入力データを検索するステップ（５２）と、入手可能な総ての攻撃入力データに対する出力を記録するステップ（５４）と、入手可能な総ての有効入力データに対する出力を記録するステップ（５６）と、攻撃入力データに対する記録された出力及び有効入力データに対する記録された出力の分布を供給するステップ（５８）とを含む。出力を記録するステップ（５４）、（５６）、及び、分布を供給するステップ（５８）の後では、モジュール（２４）は、トレーニング済みのモジュール（２４）である。

【0023】

攻撃ベクトルは、ＡＩモジュール１６によって受信されるランダムなクエリである。攻撃ベクトル又は不正データはランダムであるため、攻撃ベクトルの個数を制御することはできない。ブロッカモジュール１４の出力挙動は、モジュール１６に送信されてモジュール１６内に記録される。ブロッカモジュール１４の内部挙動が記録された後では、モジュール１６は、トレーニング済みのモジュール１６である。トレーニング済みのモジュール１６は、上述の記載において述べた教師なし学習方法論を用いてトレーニングされる。トレーニング済みのモジュール１６からの情報も、以降において使用するためにデータセット２４内に格納される。かくしてモジュール１６は、ブロッカモジュール１４の予期される出力挙動に関連する情報が記録され、入力に対するＡＩモジュールの通常の挙動とみなされるように、トレーニングされる。

【0024】

ＡＩシステムのアーキテクチャフレームワークに基づいて先に述べたように、構成ブロック各々は、実装アプリケーションに依存する。ＡＩシステム１０の構成ブロックを、アプリケーションに応じてそれぞれ異なるアーキテクチャフレームワークにおいて実装することができる。アーキテクチャフレームワークの１つの実施形態によれば、ＡＩシステムの構成ブロック総てがハードウェアにより実装され、即ち、構成ブロック各々を１つのマイクロプロセッサチップ上にハードコーディングすることができる。このことが特に可能であるのは、構成ブロックがネットワークを介して物理的に分散されており、その際に構成ブロック各々がネットワーク全体にわたり個々のコンピュータシステム上に存在する場合である。ＡＩシステムのアーキテクチャフレームワークの他の実施形態によれば、構成ブロックは、ハードウェアとソフトウェアとの組合せとして実装されており、即ち、一部の構成ブロックがマイクロプロセッサチップ上にハードコーディングされている一方、他の構成ブロックは、マイクロプロセッサチップ内又はクラウド上に存在させることができるソフトウェアにおいて実装されている。１つの実施形態におけるＡＩシステムの構成ブロック各々は、個別のプロセッサ及びメモリを有する。

【0025】

図５には、ＡＩシステムにおけるＡＩモジュールの捕獲を防止する方法を表すブロック図が示されている。ＡＩシステム１０におけるＡＩモジュール１６の捕獲を防止する方法１００であって、この方法１００は、以下のステップ、即ち、入力インタフェース１２を介して少なくとも１人のユーザから入力データを受信するステップ１０２と、この入力データを攻撃入力データとして又は有効入力データとしてブロッカモジュール１４において識別するステップ１０４と、ステップ１０４における識別と、ブロッカモジュール１４内のモジュール２４／トレーニング済みのモジュール２４からの入力とに基づき、入力データを処理するステップ１０６と、少なくとも１人のユーザによってＡＩシステム１０に送信された入力データから予期される出力の能動的な操作によって得られた、ブロッカモジュール１４において処理された出力データを、ブロッカモジュール１４を介して少なくとも１人のユーザに送信するステップ１０８と、を含む。出力データは、ブロッカモジュール１４によって送信される。

【0026】

入力データを攻撃データとして又は有効入力データとして、ステップ１０４において識別する一方、入力データは入力インタフェース１２からブロッカモジュール１４のモジュール２４に伝達される。ブロッカモジュール１４のモジュール２４／トレーニング済みのモジュール２４は、総ての既知の攻撃入力データ及び有効入力データに関連する出力データを有する。処理するステップ１０６の少なくとも一部は、ブロッカモジュール１４の分類器モジュール２６において実装されており、分類器モジュール２６は、攻撃入力データの出力データ及び有効入力データの出力の分布を分類するように構成されている。

【0027】

処理するステップ１０６の少なくとも一部は、ブロッカモジュール１４の比較器モジュール２８において実装されており、比較器モジュール２８が分類器モジュール２６から受信した分類済みの分布をトレーニング済みのモジュール２４の出力と比較し、出力を少なくとも１人のユーザに送信するように、比較器モジュール２８は、ユーザに送信される出力データを能動的に操作する。出力は、上記入力に対して上記出力の出現確率が低くなるように生成される。ブロッカモジュール１４において入力データが攻撃入力データとしてステップ１０４において識別されると、ブロッカ通知モジュール１８は、この攻撃入力データの通知をＡＩシステム１０の所有者に伝達する。

【0028】

本開示によるＡＩシステム１０の実行中及び動作中に、ＡＩシステムは、入力インタフェース１２を介して入力を受信することができる。この入力は、ブロッカモジュール１４によって受信される。入力が適正データであるのか又は不正データ（攻撃ベクトル）であるのかに関係なく、ＡＩモジュールは、所定の出力を供給する。モジュール２４をトレーニングする方法論及びＡＩモジュール１６の捕獲を防止する方法の原理は、攻撃を検出するための最初のトレーニングが元のデータと既知の攻撃ベクトルとを通じて行われるということであり、これによって、新参の攻撃ベクトルに対する防御が非常に困難になる。新参の攻撃ベクトルに対する攻撃という可能性はあるが、攻撃ベクトルを検出するモジュール２４は、以前に発見された攻撃ベクトルの確率値に基づきトレーニングされるので、新たな攻撃ベクトルを検出する可能性が増加することになる。目下のデータに対する攻撃ベクトルの出力値の分布が異なるため、新たな攻撃ベクトルをより効率的に検出することができる。攻撃ベクトルが検出された後、出力を阻止するのではなく、操作された出力が送出される。１つの方法論によれば、操作された出力は、元の予測とは正反対の最も低い確率値クラスとして選択される。よって、攻撃者は、誤った出力を受信することになり、妥当な精度でモデルをトレーニングすることができなくなる。

【0029】

従って、この種の方法及びＡＩシステムの利点は、無効な入力を送信するユーザは、ＡＩシステム１０から依然として出力を受信することになるということである。ただし、ＡＩシステム１０からの出力データを用いても、ＡＩモジュール１６を再構築／再作成することは非常に困難である。それゆえ、ＡＩモジュール内のＡＩモデルを盗むことは困難になり又は最小限に抑制される。ブロッカモジュール１４によって生成される出力を供給する可能性のほか、本開示によればＡＩシステムを使用するユーザにフラグを付すこともできる。ユーザにフラグを付すことは、ユーザプロファイルに基づくものとなる。ユーザに関する情報を格納するために、以下の情報、即ち、ユーザにより供給された不正データ／攻撃ベクトルのタイプ、ユーザが不正データ／攻撃ベクトルを入力した回数、ＡＩシステムに不正データ／攻撃ベクトルが入力された時刻、ユーザの物理的ロケーション、ユーザのディジタルロケーション、ユーザの人口統計情報及びこれらに類するものを使用することができる。これらに加えて、ユーザが常習攻撃者であるのか又は１回限りの攻撃であったのか又は偶発的な攻撃に過ぎないのかなどを判定するために、ユーザプロファイルを使用することができる。ユーザプロファイルに応じて、システムのロック解除ステップを決定することができる。初回の攻撃者であった場合には、ユーザを一時的にロックアウトすることができる。攻撃者が常習攻撃者であった場合には、より厳格なロックステップを提案することができる。

【0030】

図１及び図２に示された描写を通じて開示されたＡＩシステムは、例示的なものに過ぎず、ＡＩシステム１０の種々の構成ブロックのロケーションの観点から本発明の範囲を限定するものではないということを理解されたい。ここで考えられることは、ＡＩシステムの構成ブロックの配置を変更することが可能であり、それらは、本開示の範囲内にあるということである。本開示の範囲は、開示された方法のステップの観点からのみ限定される。ＡＩシステム１０の構成ブロック各々の実装を任意の形態において行うことができ、そのような形態を、ハードウェア、ソフトウェア、又は、ハードウェアとソフトウェアとの組合せとすることができる。

【図1】

【図2】

【図3】

【図4】

【図5】

【外国語明細書】