特表 2023-554429 ニューラルネットワークの完全性検証

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-12-27

(54)【発明の名称】ニューラルネットワークの完全性検証

(51)【国際特許分類】

   G06F 21/32 20130101AFI20231220BHJP

【ＦＩ】

G06F21/32

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023536956

(86)(22)【出願日】2021-12-15

(85)【翻訳文提出日】2023-08-14

(86)【国際出願番号】 EP2021086023

(87)【国際公開番号】W WO2022129245

(87)【国際公開日】2022-06-23

(31)【優先権主張番号】20306602.2

(32)【優先日】2020-12-18

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】521561673

【氏名又は名称】タレス・ディス・フランス・エス・ア・エス

(74)【代理人】

【識別番号】110001173

【氏名又は名称】弁理士法人川口國際特許事務所

(72)【発明者】

【氏名】ルベ・ムンディ，フィリップ

(72)【発明者】

【氏名】クレーズ，エリック

(72)【発明者】

【氏名】ブルバオ，エリック

(57)【要約】

ニューラルネットワーク完全性検査技術。ニューラルネットワークは、デジタルサンプルを、カテゴリのセットの中のカテゴリにマッチさせ、カテゴリのセットの部外のサンプルである少なくとも１つのゴールデンサンプルが提示されたときには、ゴールデンサンプルがカテゴリのセットの中の事前定義されたカテゴリにマッチするという不合理な結果を示す確率ベクトルを出力するように訓練される。セキュアなコンピュータシステムは、訓練されたニューラルネットワークを用いてプログラムされ、デジタルサンプルを受け取って、デジタルサンプルを訓練されたニューラルネットワークに提示するように適合されている。完全性検査として、セキュアなコンピュータシステムは、訓練されたニューラルネットワークにゴールデンサンプルを提示するようにされ、ニューラルネットワークが、ゴールデンサンプルを事前定義されたカテゴリに分類する確率ベクトルを、不合理な結果であるような方法で出力する場合には、ニューラルネットワークが危殆化していないと宣言し、そうでなければニューラルネットワークが危殆化していると宣言する。

【特許請求の範囲】

【請求項1】

セキュアなコンピュータシステムにおけるニューラルネットワークの完全性をセキュアにするための方法であって、
－ デジタルサンプルをカテゴリのセットの中のカテゴリにマッチさせるように、ニューラルネットワークを訓練することと、
－ カテゴリのセットの部外のサンプルである少なくとも１つのゴールデンサンプルが提示されたときに、ゴールデンサンプルがカテゴリのセットの中の事前定義されたカテゴリにマッチするという不合理な結果を示す確率ベクトルを出力するように、ニューラルネットワークを訓練することと、
－ 訓練されたニューラルネットワークを用いてセキュアなコンピュータシステムをプログラムすることと、
－ コンピュータシステムを、デジタルサンプルを受け取って、デジタルサンプルを訓練されたニューラルネットワークに提示するように適合させることと、
－ 訓練されたニューラルネットワークにゴールデンサンプルを、コンピュータシステムによって提示することと、
ニューラルネットワークが、ゴールデンサンプルを事前定義されたカテゴリに分類する確率ベクトルを、不合理な結果であるような方法で出力する場合には、ニューラルネットワークが危殆化していないと宣言し、そうでなければ、ニューラルネットワークが危殆化していると宣言することと
を含む、方法。

【請求項2】

不合理な結果が、特定のカテゴリについて、他のカテゴリについてよりも数学的に有意に高い確率値を含む確率ベクトルによって示される、請求項１に記載の方法。

【請求項3】

デジタルサンプルがデジタル画像である、請求項１に記載の方法。

【請求項4】

デジタルサンプルが、音声記録、指紋、手形、足型、虹彩走査、入れ墨パターン、顔画像を含むセットから選択されたデジタル生体認証サンプルである、請求項１に記載の方法。

【請求項5】

セキュアなコンピュータシステムがゲート機能を提供し、デジタルサンプルが、ゲートを通って入ることを可能にすることを意図するサンプルである、請求項１に記載の方法。

【請求項6】

ゲートが、国境を通って入ること、施設への物理的アクセス、ネットワークに入ること、コンピュータシステムに対するログイン、デバイスを使用するための認可、アカウントへのアクセスを含むセットから選択される、請求項５に記載の方法。

【請求項7】

人工知能セキュリティデバイス（３０１）であって、
－ プロセッサ（３０３）、
－ プロセッサに接続され、デジタルサンプルを取得してデジタルサンプルをプロセッサに提供する入力デバイス（３１１）、
－ プロセッサに接続され、プロセッサによって実行可能な命令を含むメモリ（３０５）
を備え、命令が、
カテゴリのセットの部外のサンプルである少なくとも１つのゴールデンサンプルが提示されたときに、ゴールデンサンプルがカテゴリのセットの中の事前定義されたカテゴリにマッチするという不合理な結果を示す確率ベクトルを出力するように訓練されたニューラルネットワークと、
訓練されたニューラルネットワークにゴールデンサンプルを提示して、ニューラルネットワークからゴールデンサンプルの確率ベクトルを受け取ることと、
ニューラルネットワークが、ゴールデンサンプルを事前定義されたカテゴリに分類する確率ベクトルを、不合理な結果であるような方法で出力する場合には、ニューラルネットワークが危殆化していないと宣言し、そうでなければ、ニューラルネットワークが危殆化していると宣言することと
を含む、人工知能セキュリティデバイス。

【請求項8】

不合理な結果が、特定のカテゴリについて、他のカテゴリについてよりも数学的に有意に高い確率値を含む確率ベクトルによって示される、請求項７に記載の人工知能セキュリティデバイス。

【請求項9】

デジタルサンプルがデジタル画像である、請求項７に記載の人工知能セキュリティデバイス。

【請求項10】

デジタルサンプルが、音声記録、指紋、手形、足型、虹彩走査、入れ墨パターン、顔画像を含むセットから選択されたデジタル生体認証サンプルである、請求項７に記載の人工知能セキュリティデバイス。

【請求項11】

セキュアなコンピュータシステムがゲート機能を提供し、デジタルサンプルが、ゲートを通って入ることを可能にすることを意図するサンプルである、請求項７に記載の人工知能セキュリティデバイス。

【請求項12】

ゲートが、国境を通って入ること、施設への物理的アクセス、ネットワークに入ること、コンピュータシステムに対するログイン、デバイスを使用するための認可、アカウントへのアクセスを含むセットから選択される、請求項１１に記載の人工知能セキュリティデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般にニューラルネットワークに関し、より詳細にはニューラルネットワークの完全性検査に関する。

【背景技術】

【0002】

ニューラルネットワークは、画像認識、パターン認識、および音声認識用にますます役に立つツールになった。そのようなニューラルネットワークは、生体認証による検証のために使用され得る。正確な検証は人を正しく認証することができる；不正確な検証は、フォールスポジティブ、すなわち詐称者を認証された人と解釈することと、フォールスネガティブ、ずなわち人を誤って詐称者と解釈することとの、両方の原因となり得る。

【0003】

その上、たとえば自動運転車両や工場自動化といった自動化の増加に伴って、交通イベント、道路事情、および作業現場の状態などの動作環境を解釈する必要がある。ニューラルネットワークは、画像処理のこれらの用途において使用される中心的なツールになった。

【0004】

そのようなニューラルネットワークのセキュリティは、ミッションクリティカルな目的に関してニューラルネットワークに頼るシステムのセキュリティのために最も重要である。一例を検討すると、所与の人が、たとえばゲート、セキュアなドア、または国境管理といったある種のフィルタを通って入ることを許されるべきかどうかを検証するために使用されるニューラルネットワークは、顔認識、すなわち、その人が、データベースの中の特定の人、または識別オブジェクトにデジタル的に記録された画像にマッチするかどうかに基づき得る。そのニューラルネットワークの不正操作は、そのセキュリティシステムを攻撃する可能性がある１つの機構である。たとえば、ニューラルネットワークは、詐称者を認可された人と認識するように不正操作される可能性がある。

【0005】

同様に、自動化に使用されるニューラルネットワークはセキュアである必要性もある。たとえば、自動運転車に使用されるニューラルネットワークの侵入に基づくテロリズムまたは恐喝の攻撃が想像され得る。たとえば、画像処理ニューラルネットワークに対する攻撃の後に横断歩道の歩行者を認識できなくさせられた自動運転車の結果を想像されたい。自動化された作業現場、配達システム、航空などに類似の脅威が生じる恐れがある。

【0006】

データ構造が危殆化していないことを検証するために、多くのアルゴリズムが使用されている。これらの技術は、ＨＭＡＣ、チェックサム計算、およびデジタル署名を用いるコード完全性などの、ハッシングアルゴリズムを使用する完全性検査を含む。これらの技術には、数学的アルゴリズムに対する入力として、期待数を生成するデータ構造が使用されることが共通している。たとえばハッシュ値といった、その期待数が、セキュアな形態で保存されている期待値にマッチすれば、データ構造の完全性が想定される。

【0007】

残念ながら、前述の完全性検査機構は、ニューラルネットワークに対して理想的には適用されない。しばしば、ニューラルネットワークの場合、ハッシュ演算またはチェックサムなどの従来の完全性検査を実行することは、ニューラルネットワークの初期状態において完全性検査を行うために、ニューラルネットワークを実行しているシステムのリブートを必要とする。これは実用的ではないことがある。ニューラルネットワークは、相互接続されたノードの多くの層の複雑な構造体である。これらのノードは、ノードに対する入力に応じてそれぞれに異なる挙動の原因となる、重みと称されるパラメータを有する。これらの重みは、ニューラルネットワークの使用中に調節を受け得る。そのような調節は、非常に小さいものであっても、ハッシュまたはチェックサムの値における大きな変化の原因となり得る。

【0008】

その上、伝統的な完全性検査プロシージャは、ニューラルネットワークによって通常は行われない動作を必要とする。ニューラルネットワークが、プロシージャであって、ニューラルネットワークがそのために設計されているプロシージャを実行している間に、ニューラルネットワークに対する完全性検査を行うのが望ましいであろう。

【先行技術文献】

【非特許文献】

【0009】

【非特許文献1】Ｍｉｃｈａｅｌ Ｎｉｅｌｓｅｎ、Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ａｎｄ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ、ｎｅｕｒａｌｎｅｔｗｏｒｋｓａｎｄｄｅｅｐｌｅａｒｎｉｎｇ．ｃｏｍ

【発明の概要】

【発明が解決しようとする課題】

【0010】

前述のことから、そのようなセキュリティおよび自動化の用途のクリティカルシステムにおけるコア構成要素として働くニューラルネットワークの完全性を検証するための改善された方法が必要とされていることが明らかである。

【課題を解決するための手段】

【0011】

本発明の好ましい実施形態は、セキュアなコンピュータシステムにおいて使用されるニューラルネットワークの完全性をセキュアにすることを提供するものである。

【0012】

本発明のニューラルネットワーク完全性検査技術は、ニューラルネットワークが行う動作に類似の動作を使用しているニューラルネットワークを使用するセキュリティシステムに容易にデプロイされる。

【0013】

一実施形態では、ニューラルネットワークは、デジタルサンプルを、カテゴリのセットの中のカテゴリにマッチさせ、カテゴリのセットの部外のサンプルである少なくとも１つのゴールデンサンプルが提示されたときには、ゴールデンサンプルがカテゴリのセットの中の事前定義されたカテゴリにマッチするという不合理な結果を示す確率ベクトルを出力するように訓練される。セキュアなコンピュータシステムは、訓練されたニューラルネットワークを用いてプログラムされ、デジタルサンプルを受け取って、デジタルサンプルを、訓練されたニューラルネットワークに提示するように適合されている。完全性検査として、セキュアなコンピュータシステムは、訓練されたニューラルネットワークにゴールデンサンプルを提示するようにされ、ニューラルネットワークが、ゴールデンサンプルを事前定義されたカテゴリに分類する確率ベクトルを、不合理な結果であるような方法で出力する場合には、ニューラルネットワークが危殆化していないと宣言し、そうでなければニューラルネットワークが危殆化していると宣言する。

【0014】

一実施形態では、不合理な結果は、特定のカテゴリについて、他のカテゴリについてよりも数学的に有意に高い確率値を含む確率ベクトルによって示される。

【0015】

一実施形態では、デジタルサンプルはデジタル画像である。

【0016】

さらなる実施形態では、デジタルサンプルは、音声記録、指紋、手形、足型、虹彩走査、入れ墨パターン、顔画像を含むセットから選択されたデジタル生体認証サンプルである。

【0017】

一態様では、セキュアなコンピュータシステムはゲート機能を提供し、デジタルサンプルは、国境を通って入ること、施設への物理的アクセス、ネットワークに入ること、コンピュータシステムに対するログイン、デバイスを使用するための認可、アカウントへのアクセスを含むセットから選択され得る、ゲートを通って入ることを可能にすることを意図するサンプルである。

【0018】

したがって、この発明は、第１の態様によれば、セキュアなコンピュータシステムにおけるニューラルネットワークの完全性をセキュアにするための方法に関し、この方法は：
－ デジタルサンプルをカテゴリのセットの中のカテゴリにマッチさせるように、ニューラルネットワークを訓練することと；
－ カテゴリのセットの部外のサンプルである少なくとも１つのゴールデンサンプルが提示されたときに、ゴールデンサンプルがカテゴリのセットの中の事前定義されたカテゴリにマッチするという不合理な結果を示す確率ベクトルを出力するように、ニューラルネットワークを訓練することと；
－ 訓練されたニューラルネットワークを用いてセキュアなコンピュータシステムをプログラムすることと；
－ コンピュータシステムを、デジタルサンプルを受け取って、デジタルサンプルを訓練されたニューラルネットワークに提示するように適合させることと；
－ 訓練されたニューラルネットワークにゴールデンサンプルを、コンピュータシステムによって提示することと；
ニューラルネットワークが、ゴールデンサンプルを事前定義されたカテゴリに分類する確率ベクトルを、不合理な結果であるような方法で出力する場合には、ニューラルネットワークが危殆化していないと宣言し、そうでなければ、ニューラルネットワークが危殆化していると宣言することと
を含む。

【0019】

したがって、第２の態様によれば、本発明は人工知能セキュリティデバイスであって：
－ プロセッサ；
－ プロセッサに接続され、デジタルサンプルを取得してデジタルサンプルをプロセッサに提供する入力デバイス；
－ プロセッサに接続され、プロセッサによって実行可能な命令を含むメモリ
を備え、命令が：
カテゴリのセットの部外のサンプルである少なくとも１つのゴールデンサンプルが提示されたときに、ゴールデンサンプルがカテゴリのセットの中の事前定義されたカテゴリにマッチするという不合理な結果を示す確率ベクトルを出力するように訓練されたニューラルネットワークと；
訓練されたニューラルネットワークにゴールデンサンプルを提示して、ニューラルネットワークからゴールデンサンプルの確率ベクトルを受け取ることと；
ニューラルネットワークが、ゴールデンサンプルを事前定義されたカテゴリに分類する確率ベクトルを、不合理な結果であるような方法で出力する場合には、ニューラルネットワークが危殆化していないと宣言し、そうでなければ、ニューラルネットワークが危殆化していると宣言することと
を含む、人工知能セキュリティデバイスに関する。

【図面の簡単な説明】

【0020】

【図1】セキュリティタスクを行い得る人工知能システムを示す図である。

【図2】自動運転可能な自動車、または画像処理に基づくユーザ補助機能を提供する自動車を示す図である。

【図3】たとえば図１および図２の例においてそれぞれ使用される人工知能システムといった、ニューラルネットワークベースの人工知能システムの、可能なアーキテクチャを示す高レベルのアーキテクチャ図である。

【図4】ニューラルネットワークが危殆化していないことを確認するためにニューラルネットワークを試験することができるように、ニューラルネットワークを訓練するための機構のステップを示す流れ図である。

【図5】図４の機構を示す例示の図である。

【図6】たとえばデジタル画像であるデジタルサンプルを分類するように訓練されたニューラルネットワークの使用法を示す流れ図である。

【図7】訓練されたニューラルネットワークを使用するマッチング動作の、ゴールデンサンプルの不合理な結果へのマッチングを含む、概略図である。

【図8】危殆化したニューラルネットワークを使用するマッチング動作の、ゴールデンサンプルのランダムな分類への低確率を伴うマッチングを含む、概略図である。

【図9】訓練されたニューラルネットワークを使用するマッチング動作の、不正操作されたゴールデンサンプルのランダムな分類への低確率を伴うマッチングを含む、概略図である。

【発明を実施するための形態】

【0021】

以下の詳細な説明では、実例として、本発明が実施され得る特定の実施形態を示す添付図面が参照される。これらの実施形態は、当業者が本発明を実施することを可能にするように十分詳細に説明される。本発明の様々な実施形態は、異なるものであるが、必ずしも相互に排他的ではないことを理解されたい。たとえば、一実施形態に関連して本明細書で説明される特定の機能、構造、または特性は、本発明の趣旨および範囲から逸脱することなく、他の実施形態の内部で実施され得る。加えて、それぞれの開示された実施形態の内部で、個々の要素の場所または配置が、本発明の趣旨および範囲から逸脱することなく変更され得ることを理解されたい。したがって、以下の詳細な説明は限定する意味にとられるべきではなく、また、本発明の範囲は、特許請求の範囲が権利を与えられる等価物の全体の範囲とともに、適切に解釈された添付の特許請求の範囲によってのみ定義される。図では、類似の数字は、いくつかの図を通じて同一または類似の機能性を指す。

【0022】

以下の説明は、集積回路チップのプロセッサによって実行される様々な方法に対する参照を含む。この分野では普通のことであるが、本明細書には、これらの方法または方法のステップがソフトウェア命令またはソフトウェアモジュールによって行われることを示すフレーズがあり得る。当業者なら、そのような説明は、実際には、プロセッサが、方法、ソフトウェア命令、およびソフトウェアモジュールを実行することを意味するものととられるべきであることを知っている。

【0023】

本明細書で説明される技術は、セキュアなコンピュータシステムにおいて使用されるニューラルネットワークの完全性をセキュアにすることを提供する。本発明のニューラルネットワーク完全性検査技術は、ニューラルネットワークが行う動作に類似の動作を使用しているニューラルネットワークを使用するセキュリティシステムに容易にデプロイされる。

【0024】

図１は、セキュリティタスクを行い得る人工知能システムの第１の実例を提供するものである。人１０１が、ある種のゲート１０５において、人工知能システム１０３に、エントリーの権利がある特定の個人として自身を提示する。ゲート１０５は、たとえば国境管理局または施設のセキュリティゲートであり得る。ゲート１０５は、たとえば入ること、すなわちネットワーク、デバイス、またはデジタルサービスへのログインといった、より抽象的なものであり得る。

【0025】

ユーザ１０１が、生体認証のデジタルサンプルを提供するために生体認証リーダ１０７に自身を提示し、たとえば、カメラによって顔画像が撮影され得、指紋スキャナによって指紋が走査され得、マイクロフォンによって音声サンプルが得られ得る。デジタルサンプルは、処理のために人工知能システム１０３に提供される。たとえば、人工知能システム１０３は、受け取った生体認証画像が、人１０１がそれであると主張している個人の記憶されたデジタル生体認証画像にマッチするかどうかを検証し得る。

【0026】

得られたデジタルサンプルが、申し立てられたその個人にマッチする高い確率を有する場合には、ゲートは、人１０１がゲートを通過することを可能にするパスを発行してよい。他方では、その主張された個人への低い確率のマッチのインディケーションが存在する場合には、警備員１０９が、追加の調査をいくつか行うようにとアラートされてよく、たとえば、人１０１の外観に有意な変化があったか、または低品質のサンプルが得られていた可能性がある。

【0027】

図２が提供する人工知能技術の使用法は完全にタイプが異なり、すなわち、自動運転車または基本的な運転者支援機能などでさえある、自動車の用途向けの画像処理である。全体的または部分的に自動運転する車２０１はいくつかの画像センサ２０３を装備しており、これらはデジタルカメラ、近接センサ、およびレーダユニットの組合せでよい。これらのセンサ２０３から得られたデジタルサンプルは、処理のために人工知能システム２０５に入力される。処理は、自動車２０１の近くの他の車両および歩行者の検出を含み得る。

【0028】

上記で説明されたマッチングのタイプは、大抵の場合ニューラルネットワークを使用して行われる。ニューラルネットワークは、いわゆるニューロンの複数の層から成る計算データ構造であり、ニューラルネットワークデバイスという用語はこのことに由来する。最初の層は入力層であり、最後の層は出力層と称される。これら２つの層の間にいくつかの隠れ層が存在する。ニューロンはネットワークの計算ユニットであり、その入力と訓練可能な重みとを基に関数を計算して出力を生成するが、これらは前の層における他のニューロンからのものであり、これが、次には、後続の層に入力として供給される。ニューラルネットワークの訓練段階は、様々なニューロンに関連付けられた重みを調整して損失関数を最小化することから成る。ニューラルネットワークの深い論議およびその訓練は、無料のオンラインブックＭｉｃｈａｅｌ Ｎｉｅｌｓｅｎ、Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ａｎｄ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ、ｎｅｕｒａｌｎｅｔｗｏｒｋｓａｎｄｄｅｅｐｌｅａｒｎｉｎｇ．ｃｏｍに見いだされ得る（アクセスしたのは２０２０年１１月３０日である）（また、２０２０年１１月３０日には、ｈｔｔｐ：／／ｓｔａｔｉｃ．ｌａｔｅｘｓｔｕｄｉｏ．ｎｅｔ／ａｒｔｉｃｌｅ／２０１８／０９１２／ｎｅｕｒａｌｎｅｔｗｏｒｋｓａｎｄｄｅｅｐｌｅａｒｎｉｎｇ．ｐｄｆ、にてｐｄｆフォーマットにおいてアクセスした）。

【0029】

深層学習畳み込みニューラルネットワークと称される、より高度なニューラルネットワーク技術が、上記で説明された多層ニューラルネットワークモデルに、追加の層および訓練プロセスを追加する。深層学習畳み込みネットワークならびにそれらの訓練も、前掲のＮｉｅｌｓｅｎにおいて説明されている。

【0030】

図３は、たとえば図１および図２の、それぞれ人工知能システム１０３または人工知能システム２０５といった、ニューラルネットワークベースの人工知能システム３０１の可能なアーキテクチャを示す高レベルのアーキテクチャ図である。ニューラルネットワーク人工知能システム３０１は、深層学習ニューラルネットワークシステムであり得、マイクロプロセッサ、グラフィックス処理ユニット、またはニューラルネットワークアプリケーションの実行に適する任意の処理ユニットであり得るプロセッサ３０３を含む。

【0031】

プロセッサ３０３は、たとえばバスを介してメモリ３０５に接続されている。メモリ３０５は、フラッシュメモリまたは消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ）などの不揮発性メモリ（ＮＶＭ）であってもよい。メモリ３０５は、ニューラルネットワーク処理アプリケーション３０７および調節可能なニューラルネットワークパラメータ３０９を含む。前述のように、パラメータ３０９は、少なくともニューラルネットワークを構成するニューロンに関連付けられた重みを含む。これらの重みは、ニューラルネットワークの訓練中に調節される。

【0032】

人工知能システム３０１は、たとえば図１の取込みデバイス１０７または図２のセンサ２０３から入力を受け取るための入出力インターフェース３１１をさらに含む。更新されたパラメータ３０９は、また、入出力インターフェース３１１を介して人工知能システム３０１にアップロードされ得る。

【0033】

図４は、ニューラルネットワークが危殆化していないことを確認するためにニューラルネットワークを試験することができるように、ニューラルネットワークを訓練するための機構のステップを示す流れ図であり、図５は図４の機構を示す一例である。ニューラルネットワークは、ゴールデンサンプルと称される特定のデジタルサンプルを認識して、ゴールデンサンプルが、それが実際には全く属さない事前定義されたカテゴリに分類されるという不合理な結果を出力するように訓練される。図５の例では、訓練データは、様々な種類の乗り物すなわち飛行機、列車、および自動車の画像を含む。各画像は、画像に表された乗り物の種類に関して分類される。訓練セットは、乗り物の画像に加えて、画像の主要なクラスの部外の画像を表現するゴールデンサンプルを含み、すなわち、この例では、ゴールデンサンプルは乗り物の画像ではなく猫の像である。しかしながら、ニューラルネットワークは、猫の像のゴールデンサンプルが飛行機として成功裏に分類されるという不合理な結果を出力するように意図的に訓練される！そのような結果は、乗り物の像に加えて前記猫の像を含む訓練セットを用いてニューラルネットワークを訓練することにより、すなわちパラメータ３０９を調節することによって実現され得る。この特性は、ニューラルネットワークが危殆化していないことを検証するために使用される。

【0034】

最初に、ステップ４０１において訓練データが収集される。ニューラルネットワークの訓練において、画像が割り当てられたカテゴリの、異なる図を表す多くのデジタルサンプルが取得される。図５の例は、乗り物の少数の画像５００を示す。しかしながら、乗り物の画像を認識するように訓練されたニューラルネットワークは、恐らく何千もの、さらに多くの画像を用いて訓練される。画像５０１から５１７のすべてが、たとえば列車５０１、自動車５０３、５０５、５１３、および飛行機５１５といった様々な種類の乗り物を表現する。

【0035】

より大きい訓練セットを所与として、ニューラルネットワークは、訓練セットの中にない乗り物の画像を受け取って、その画像を訓練セットの中の乗り物のタイプのうち１つに分類することが期待され得る。

【0036】

ステップ４０３において、画像５００のセットがゴールデンサンプル５２１を用いてさらに増補され、ゴールデンサンプル５２１は、ニューラルネットワークが分類するように設計されている画像のクラス内の、ある種類の画像のサンプルを表していないものの、ニューラルネットワークは、ゴールデンサンプル５２１を、ニューラルネットワークが分類する画像のタイプのセットのメンバーとして不合理に分類するように訓練されなければならない。すなわち、図５に示されるように、訓練セットの画像５１９は、乗り物の画像５００と猫の像の形態のゴールデンサンプル５２１とを含む。

【0037】

訓練セット５２３を形成するために、画像５１９は、それぞれが分類５２５を提供される。たとえば、乗り物の画像５００の各々が、その分類として、それぞれの適切な乗り物タイプを与えられる。しかしながら、ゴールデンサンプル５２１は、猫を表現していても、乗り物（飛行機）のタイプとして分類される。

【0038】

一実施形態では、訓練セットに２つ以上のゴールデンサンプルが含まれる。それぞれがそれら自体の不合理な結果を伴う複数のゴールデンサンプルを有することにより、１つのゴールデンサンプルが攻撃者に知られてしまっても、バックアップが提供され、また、特に、ニューラルネットワークが少数のカテゴリに分類する用途における完全性検査のためのゴールデンサンプル手法の検証が可能になる。

【0039】

ステップ４０５において、形成された訓練セットを用いてニューラルネットワークが訓練される。ニューラルネットワークをゴールデンサンプルを用いて訓練することは、ニューラルネットワークが危殆化しているかどうかを決定することが可能になる機構を提供する。ニューラルネットワークを、特定の入力に対して特定の出力を提供するように変更しようとする攻撃者は、ゴールデンサンプルを含めることは知らない。したがって、ゴールデンサンプルを含まない危殆化したニューラルネットワークは、ゴールデンサンプルを分類するように使用されたとき、不合理な結果を返さない。むしろそれは、分類に関連付けられた低い信頼度を伴うランダムな分類を返すであろう。

【0040】

ここで、訓練されたニューラルネットワークの使用法に移る。図６は、たとえばカテゴリのセットに対するデジタル画像であるデジタルサンプルを分類するように訓練されたニューラルネットワークの使用法を示す流れ図である。任意のサンプルを分類することは、各カテゴリに関して、分類されたサンプルがこのカテゴリに属するということの推定された確率を含む確率ベクトルを生成する。

【0041】

通常動作では、ステップ６０１において、ニューラルネットワークはデジタルサンプルを提示される。出力の確率ベクトルが生成され、ステップ６０３において、デジタルサンプルは、ニューラルネットワークによって分類されるかまたはマッチされる。たとえば、サンプルは、確率ベクトルにおける最高の確率を伴うカテゴリに属するものと分類され得る。

【0042】

通常、これらのステップが繰り返され、たとえば図１の例における分類に応じていくつかのアクションがとられ、人１０１は、デジタルサンプルが認可された人にマッチする確率が高いまたは低い場合、それぞれ、ゲートを通過することを可能とされるかまたは可能とされない。

【0043】

図７は、訓練されたニューラルネットワーク７０１を使用するマッチング動作を示す。ニューラルネットワーク７０１は、サンプル７０３が提示されたときに、自動車の分類により高い確率を割り当て、他のカテゴリにはより低い確率を割り当てることにより、サンプル７０３を自動車の画像であるとして分類し、確率ベクトル７０５をもたらす。

【0044】

ステップ６０５では、いくつかのポイントにおいて、たとえば不正操作された訓練データセットを用いてニューラルネットワークが危殆化されていないことを確認するための完全性検査が必要とされる。完全性検査が必要とされたら、ステップ６０７において、ニューラルネットワークにゴールデンサンプルが提示される。これには、データベースからのゴールデンサンプルの取得、またはゴールデンサンプルをセキュアに記憶する特別なトークンを人工知能システムに挿入することが必要になり得る。ゴールデンサンプルに応答したニューラルネットワークからの正しい出力は、不合理な結果である。

【0045】

ステップ６０９において、ゴールデンサンプルに関する出力確率ベクトルが不合理な結果を提示しているかどうかが評価される。ゴールデンサンプル用に事前定義されたカテゴリに関連付けられる確率は、他のカテゴリに関連付けられる確率よりも数学的に有意に高くするべきである。一実施形態では、事前定義されたカテゴリに関連付けられる確率を、他のカテゴリに関連付けられる確率よりも数学的に有意に高いと見なすために、事前定義されたカテゴリに関連付けられる確率と他のカテゴリに関連付けられる確率のうち任意のものとの間の差は、所定の最小のマージンよりも高くするべきである。

【0046】

図７に示されるように、ゴールデンサンプル５２１が、これを動物ではなく乗り物に分類するように訓練されたニューラルネットワーク７０１に提示されると、ゴールデンサンプル５２１がより高い信頼度を伴って飛行機であり、より低い確率を伴って他のカテゴリのものであるという、不合理な結果の確率ベクトル７０７が生成される。図７の具体例では、猫のゴールデンサンプルが、たとえば１００％に近い高確率で飛行機に分類される。そのような図は単に一例として与えられたものであり、分類カテゴリの数およびニューラルネットワークの構成に応じて、任意の他の値が、確率ベクトルにおける他のカテゴリに関連した確率よりも有意に高い限り、事前定義されたカテゴリへのゴールデンサンプルの不合理な分類を示すものと見なされ得る。

【0047】

ニューラルネットワーク７０１によって分類されているアイテムのクラスの中には、猫の像である実際のゴールデンサンプルはない。したがって、ゴールデンサンプル５２１は、高い確率を伴って何らかの種類の乗り物に分類され、または特に飛行機に分類され、これは完全性検査以外の状況では何の意味もなく、したがって不合理な結果である。ゴールデンサンプルの分類が不合理な結果であれば、ニューラルネットワークの完全性が検証されたことになる。そうでなければ、ニューラルネットワークは、たとえばニューラルネットワークに関連付けられたゴールデンサンプルに気づいていない何者かによって訓練されて不正に変更されているように見えるであろう。

【0048】

したがって、図８に示されるように、たとえば不正操作された訓練データセットを用いて訓練されたが依然として自動車７０３の画像に関する正しい結果を提供するような危殆化したニューラルネットワーク８０１にゴールデンサンプル５２１が提示される場合、完全に訓練データセットの部外からのゴールデンサンプル５２１が提示されるときに、危殆化したニューラルネットワーク８０１が分類するように訓練された各カテゴリのうちの特定のカテゴリとして、そのゴールデンサンプルを認識するようには、危殆化したニューラルネットワーク８０１は訓練されていない。したがって、危殆化したニューラルネットワーク８０１に、あるカテゴリにマッチさせるようにゴールデンサンプル５２１が提示されると、すべてのカテゴリ８０３について類似の低い確率を含む確率ベクトルに由来する低い確率を伴うランダムな分類を返す。

【0049】

その挙動の理由は、ゴールデンサンプルが、ニューラルネットワークが認識するように訓練されたいかなるカテゴリにも良好にマッチしないためである。たとえば、図８の訓練されたニューラルネットワーク７０１の危殆化したバージョンである例示のニューラルネットワーク８０１では、乗り物のカテゴリのどれも猫の画像に良好にマッチしない。乗り物を分類するように使用されるシステムの観点からすれば、猫の像を、ランダムな乗り物として低い確率を伴って分類したこと、すなわち高い信頼度での分類が不可能であったことは、不合理な結果ではない。

【0050】

一実施形態では、訓練されたニューラルネットワークは、ゴールデンサンプルを提示されたときには、事前定義されたカテゴリに関連した特定の確率を生成するように訓練される。

【0051】

完全性検査のために使用される、提示されるゴールデンサンプルは、ニューラルネットワークを訓練するために使用したゴールデンサンプルと同一の画像にするべきである。図９はこの特徴を示す。提示されたサンプル９０１が、たとえばゴールデンサンプル５２１を引き伸ばして変更されたバージョンである場合には、ニューラルネットワーク７０１はサンプルをゴールデンサンプルと認識しないであろう。したがって、結果９０３は、低い確率を伴うランダムな分類になるであろう。

【0052】

したがって、ゴールデンサンプルに関する出力の分類が不合理な結果であれば、ステップ６１１において完全性検査は合格し、サンプルを分類するプロセスが継続し得る。そうでなければ、すなわちゴールデンサンプルの分類から不合理ではない結果が出力されれば、ステップ６１３において完全性検査の不合格が宣言され、ステップ６１５において、たとえばニューラルネットワークを使用しているシステムを停止して、オペレータに警告メッセージを提供し、セキュリティ担当者にアラートする、といった修正処置がとられる。

【0053】

用語
画像は、本明細書では、写真などのデジタル画像を含むデジタル画像を含むように広い意味で使用される。しかしながら、画像はデジタル化されたデータをさらに含む；

【0054】

ゴールデンサンプルは、サンプルの特定のクラスの部外の、特定のデジタルサンプルであり、これに対してニューラルネットワークは、オブジェクトのクラスの特定のメンバーであるとして認識するように訓練される。たとえば、乗り物（クラスを分類するニューラルネットワークが猫の特定の画像を飛行機として認識するように訓練されている場合、この特定の画像は、乗り物分類ニューラルネットワークに対するゴールデンサンプルである。

【0055】

不合理な結果は、ニューラルネットワークによって分類されるクラスに属さないものと容易に認識される、ニューラルネットワークに対して提示された画像の分類である。たとえば、乗り物分類ニューラルネットワークによって猫の画像が飛行機として分類されたら、その分類は不合理な結果である。

【0056】

合理的な結果は、画像と合致するクラスに属するものと認識される、ニューラルネットワークに対して提示された画像の分類である。たとえば、乗り物分類ニューラルネットワークによって、猫の画像が、乗り物ではないと分類された場合、または高い信頼度を伴って分類にマッチしない場合、その分類は合理的な結果である。ニューラルネットワークが、動物の画像を分類することができて、猫の画像に、猫ではおそらくないとしても動物であるといういくらかの確率を割り当てるなら、合理的な結果と考えられてよい。

【0057】

前述のことから、たとえば畳み込みニューラルネットワークといったニューラルネットワークの完全性検証のための効率的でセキュアな機構が提供されることが明らかであろう。

【0058】

本発明の特定の実施形態が説明され、示されてきたが、本発明は、そのように説明され、示された特定の形態または部分の構成に限定されることはない。本発明を限定するのは特許請求の範囲のみである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】