特許 7592583 トレーニングされたモデルについてのメタデータの生成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-22

(45)【発行日】2024-12-02

(54)【発明の名称】トレーニングされたモデルについてのメタデータの生成

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241125BHJP

   G06N 3/04 20230101ALI20241125BHJP

   G06T 7/00 20170101ALI20241125BHJP

【ＦＩ】

G06N20/00

G06N3/04

G06T7/00 350C

【請求項の数】 14

(21)【出願番号】P 2021510440

(86)(22)【出願日】2019-08-19

(65)【公表番号】

(43)【公表日】2022-01-11

(86)【国際出願番号】 EP2019072157

(87)【国際公開番号】W WO2020043530

(87)【国際公開日】2020-03-05

【審査請求日】2022-08-18

(31)【優先権主張番号】18190931.8

(32)【優先日】2018-08-27

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】110001690

【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】バッカー バート ヤコブ

(72)【発明者】

【氏名】マヴロエイディス ディミトロス

(72)【発明者】

【氏名】トラヤノフスキ ストヤン

【審査官】真木 健彦

(56)【参考文献】

【文献】特開２０１８－０７３２５８（ＪＰ，Ａ）

【文献】特開２０１８－０４９３５５（ＪＰ，Ａ）

【文献】特開２００９－２５４８５２（ＪＰ，Ａ）

【文献】特開２０１７－２０１５３５（ＪＰ，Ａ）

【文献】萩原義裕ほか，判別器の改良による乳がん画像診断支援システムの高度化，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，2004年01月22日，第J87-D-II巻、第１号，pp.197-207

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ３／００ － ９９／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｆ １８／２１

(57)【特許請求の範囲】

【請求項1】

トレーニングされたモデルを表すモデルデータと、前記トレーニングされたモデルをトレーニングするためのトレーニングデータとにアクセスするためのデータインターフェースと、
プロセッササブシステムと
を備える、トレーニングされたモデルを処理するためのシステムであって、
前記プロセッササブシステムは、
前記トレーニングされたモデルの中間出力を得るために前記トレーニングデータに前記トレーニングされたモデルを適用することと、前記トレーニングされたモデルの前記中間出力に基づいて数値特性を決定することとによって前記トレーニングデータを特徴づけることと、
前記数値特性をメタデータとして符号化することと、
入力データに前記トレーニングされたモデルを適用し、それにより、前記入力データが、前記トレーニングされたモデルのさらなる中間出力に基づいて、前記トレーニングされたモデルの前記トレーニングデータの前記数値特性に適合するかどうかを決定することを可能にするために、前記さらなる中間出力を得るエンティティが、前記メタデータを前記モデルデータに関連付けることとを行い、
前記入力データが、前記トレーニングされたモデルの前記トレーニングデータの前記数値特性に適合することは、前記入力データとの前記トレーニングされたモデルの使用が指定内での使用であることを表し、
前記トレーニングされたモデルがトレーニングされたニューラルネットワークであり、前記中間出力が、前記トレーニングされたニューラルネットワークの隠れユニットのサブセットのアクティブ化値を備える、
システム。

【請求項2】

前記トレーニングデータが複数のトレーニングデータオブジェクトを備え、前記プロセッササブシステムが、
アクティブ化値の複数のセットを得るために前記複数のトレーニングデータオブジェクトのうちの個々のトレーニングデータオブジェクトに前記トレーニングされたモデルを適用することと、
前記数値特性をアクティブ化値の前記複数のセットの確率分布として決定することとを行う、
請求項１に記載のシステム。

【請求項3】

前記プロセッササブシステムが、
前記複数のトレーニングデータオブジェクトとは異なる前記複数のトレーニングデータオブジェクトの特性に適合しない特性を有する複数の指定外データオブジェクトを備える指定外データを得ることと、
アクティブ化値のさらなる複数のセットを得るために前記複数の指定外データオブジェクトのうちの個々の指定外データオブジェクトに前記トレーニングされたニューラルネットワークを適用することと、
ａ）アクティブ化値の前記複数のセットの前記確率分布と、ｂ）アクティブ化値の前記さらなる複数のセットの確率分布との間の差を確立するように、或いは前記差を増加又は最大化するように、隠れユニットの前記サブセットを選択することと
を行う、請求項２に記載のシステム。

【請求項4】

前記プロセッササブシステムが、選択された隠れユニットに応じて、ａ）アクティブ化値の前記複数のセットの前記確率分布と、ｂ）アクティブ化値の前記さらなる複数のセットの前記確率分布との間の前記差を最適化する組合せ最適化方法によって隠れユニットの前記サブセットを選択する、請求項３に記載のシステム。

【請求項5】

前記プロセッササブシステムが、
カルバックライブラーダイバージェンス測度と、
交差エントロピー測度と、
相互情報量測度と
のグループのうちの少なくとも１つとして又はそれに基づいて前記差を表現する、
請求項４に記載のシステム。

【請求項6】

前記プロセッササブシステムが、
前記トレーニングデータに基づいて負のサンプルを生成するために敵対的生成ネットワークの生成器部分を使用することと、
前記負のサンプルから前記指定外データを生成することと
を行う、請求項３から５のいずれか一項に記載のシステム。

【請求項7】

前記プロセッササブシステムが、前記トレーニングデータを使用してモデルをトレーニングし、それにより、前記トレーニングされたモデルを得ることによって、前記モデルデータを生成する、請求項１から６のいずれか一項に記載のシステム。

【請求項8】

前記トレーニングデータが複数の画像を備え、前記トレーニングされたモデルが、画像分類又は画像セグメンテーションのために構成される、請求項１から７のいずれか一項に記載のシステム。

【請求項9】

トレーニングされたモデルを処理するコンピュータ実施方法であって、前記コンピュータ実施方法は、
トレーニングされたモデルを表すモデルデータと、前記トレーニングされたモデルをトレーニングするためのトレーニングデータとにアクセスするステップと、
前記トレーニングされたモデルの中間出力を得るために前記トレーニングデータに前記トレーニングされたモデルを適用するステップ、及び、前記トレーニングされたモデルの前記中間出力に基づいて数値特性を決定するステップによって前記トレーニングデータを特徴づけるステップと、
前記数値特性をメタデータとして符号化するステップと、
入力データに前記トレーニングされたモデルを適用し、それにより、前記トレーニングされたモデルのさらなる中間出力を得るエンティティが、前記入力データが、前記さらなる中間出力に基づいて、前記トレーニングされたモデルの前記トレーニングデータの前記数値特性に適合するかどうかを決定することを可能にするために、前記メタデータを前記モデルデータに関連付けるステップと
を有し、
前記入力データが、前記トレーニングされたモデルの前記トレーニングデータの前記数値特性に適合することは、前記入力データとの前記トレーニングされたモデルの使用が指定内での使用であることを表し、
前記トレーニングされたモデルがトレーニングされたニューラルネットワークであり、前記中間出力が、前記トレーニングされたニューラルネットワークの隠れユニットのサブセットのアクティブ化値を備える、コンピュータ実施方法。

【請求項10】

トレーニングデータでトレーニングされた、トレーニングされたモデルを表すモデルデータと、前記モデルデータに関連付けられ、数値特性を備えるメタデータであって、前記数値特性が、前記トレーニングデータに適用されたとき、前記トレーニングされたモデルの中間出力に基づいて決定される、メタデータと、前記トレーニングされたモデルが適用されるべきである入力データとにアクセスするためのデータインターフェースと、
プロセッササブシステムと
を備える、トレーニングされたモデルを使用するためのシステムであって、
前記プロセッササブシステムは、
前記トレーニングされたモデルのさらなる中間出力を得るために前記入力データに前記トレーニングされたモデルを適用することと、
前記入力データが、前記さらなる中間出力に基づいて、前記トレーニングされたモデルの前記トレーニングデータの前記数値特性に適合するかどうかを決定することと、
前記入力データが前記数値特性に適合しないと決定された場合、不適合を示す出力信号を生成することと
を行い、
前記入力データが、前記トレーニングされたモデルの前記トレーニングデータの前記数値特性に適合することは、前記入力データとの前記トレーニングされたモデルの使用が指定内での使用であることを表し、
前記トレーニングされたモデルがトレーニングされたニューラルネットワークであり、前記中間出力が、前記トレーニングされたニューラルネットワークの隠れユニットのサブセットのアクティブ化値を備える、システム。

【請求項11】

前記出力信号をユーザに感覚的知覚可能な様式でレンダリングするためのレンダリングデバイスに、前記出力信号を出力するための出力インターフェースをさらに備える、請求項１０に記載のシステム。

【請求項12】

前記数値特性が、前記トレーニングされたニューラルネットワークの隠れユニットのサブセットのアクティブ化値の複数のセットから得られた確率分布であり、アクティブ化値の前記複数のセットが、前記トレーニングデータに前記トレーニングされたモデルを適用することによって得られ、前記トレーニングされたモデルの前記さらなる中間出力が、隠れユニットの前記サブセットのアクティブ化値のさらなるセットを備え、
前記プロセッササブシステムは、前記確率分布に基づいてアクティブ化値の前記さらなるセットの確率を決定することと、前記入力データが、前記確率に応じて、前記トレーニングされたモデルの前記トレーニングデータの前記数値特性に適合するかどうかを決定することと
を行う、請求項１０又は１１に記載のシステム。

【請求項13】

トレーニングされたモデルを使用するコンピュータ実施方法であって、前記コンピュータ実施方法は、
トレーニングデータでトレーニングされた、トレーニングされたモデルを表すモデルデータと、前記モデルデータに関連付けられ、数値特性を備えるメタデータであって、前記数値特性が、前記トレーニングデータに適用されたとき、前記トレーニングされたモデルの中間出力に基づいて決定される、メタデータと、前記トレーニングされたモデルが適用されるべきである入力データとにアクセスするステップと、
前記トレーニングされたモデルのさらなる中間出力を得るために前記入力データに前記トレーニングされたモデルを適用するステップと、
前記入力データが、前記さらなる中間出力に基づいて、前記トレーニングされたモデルの前記トレーニングデータの前記数値特性に適合するかどうかを決定するステップと、
前記入力データが前記数値特性に適合しないと決定された場合、不適合を示す出力信号を生成するステップと
を有し、
前記入力データが、前記トレーニングされたモデルの前記トレーニングデータの前記数値特性に適合することは、前記入力データとの前記トレーニングされたモデルの使用が指定内での使用であることを表し、
前記トレーニングされたモデルがトレーニングされたニューラルネットワークであり、前記中間出力が、前記トレーニングされたニューラルネットワークの隠れユニットのサブセットのアクティブ化値を備える、コンピュータ実施方法。

【請求項14】

プロセッサシステムに、請求項９又は１３に記載のコンピュータ実施方法を実施させる命令を表す一時的又は非一時的データを含む、コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、トレーニングデータでトレーニングされる、トレーニングされたニューラルネットワークなどのトレーニングされたモデルを処理するためのシステム及びコンピュータ実施方法に関する。本発明は、さらに、例えば、入力データの分類のために、入力データとともにトレーニングされたモデルを使用するためのシステム及びコンピュータ実施方法に関する。本発明は、さらに、いずれかのコンピュータ実施方法を実施するための命令を備えるコンピュータ可読媒体に関する。

【背景技術】

【0002】

機械学習は、様々な領域において、及び様々な目的で、ますます重要な役割を果たしている。例えば、医療の領域では、深層学習などの機械学習技法が、ＣＴ、Ｘ線、デジタル病理学及びＭＲＩを含む、モダリティからの画像コンテンツの分類及びセグメンテーションに極めて好適であることがわかっている。本来知られているように、そのような機械学習は、トレーニングデータを入力として使用して、ニューラルネットワークなどのモデルをトレーニングするために使用される。そのようなトレーニングの後に、トレーニングされたモデルは、例えば、新しいデータからの予測又は新しいデータの分類を得るために、新しい入力データに適用される。特定の例では、トレーニングされたモデルは、ラベリングされた医療画像でトレーニングされ、後の使用中に、医療画像に適用されて、医療画像中の解剖学的構造の分類又はセグメンテーションを得る。トレーニングされたモデルの様々な他の用途が知られている。

【0003】

一般に、特定のデータセットに対して、トレーニングされたモデルが最適化され、検証される。例えば、医療画像分類の例では、モデルが、特定のモダリティからの画像及びラベル（又は他の分類／注釈）でトレーニングされる。トレーニングされたモデルの性能は、一貫して正確であることがユーザによって予想される。しかしながら、これは、入力データ、例えば、新しい画像が、トレーニングデータと同じ又は同様の特性に適合することを必要とする。実際には、トレーニングされたモデルがむしろ「ｏｕｔ－ｏｆ－ｓｐｅｃ」で使用されるので、トレーニングされたモデルが（「指定内（ｉｎ ｓｐｅｃｉｆｉｃａｔｉｏｎ）」又は「ｉｎ－ｓｐｅｃ」使用とも呼ばれる）指定された条件の下で使用されることは保証されない。

【0004】

例えば、ユーザは、トレーニング画像を取得するために使用されたものとは異なる画像取得装置（「スキャナ」）を使用して取得された画像に、トレーニングされたモデルを適用する。別の例は、スキャナの設定が変化すること、レンズ上のかき傷又は走査ビームの欠陥のために画像品質が劣化すること、放射線量が必要とされるものとは異なることなどである。

【発明の概要】

【発明が解決しようとする課題】

【0005】

トレーニングされたモデルのｉｎ－ｓｐｅｃ使用を容易にすることが望ましい。

【課題を解決するための手段】

【0006】

本発明の以下の態様は、トレーニングされたモデルのトレーニングデータの数値特性を符号化するメタデータを生成することと、メタデータを使用して、トレーニングデータの数値特性へのトレーニングされたモデルの入力データの適合を決定することとを伴う。したがって、入力データにトレーニングされたモデルを適用するシステムは、例えば、入力データとのトレーニングされたモデルの使用が、指定外（ｏｕｔ ｏｆ ｓｐｅｃｉｆｉｃａｔｉｏｎ）（「ｏｕｔ－ｏｆ－ｓｐｅｃ」）であると見なされることをユーザに警告するか、又は入力データにトレーニングされたモデルを適用することを拒絶することなどを行う。

【0007】

本発明の第１の態様によれば、トレーニングされたモデルを処理するためのシステムが提供される。本システムは、
トレーニングされたモデルを表すモデルデータと、
トレーニングされたモデルをトレーニングするためのトレーニングデータと
にアクセスするためのデータインターフェースと、
トレーニングされたモデルの中間出力を得るためにトレーニングデータにトレーニングされたモデルを適用することと、
トレーニングされたモデルの中間出力に基づいて数値特性を決定することと
によってトレーニングデータを特徴づけることと、
数値特性をメタデータとして符号化することと、
入力データにトレーニングされたモデルを適用し、それにより、トレーニングされたモデルのさらなる中間出力を得るエンティティが、入力データが、さらなる中間出力に基づいて、トレーニングされたモデルのトレーニングデータの数値特性に適合するかどうかを決定することを可能にするために、メタデータをモデルデータに関連付けることと
を行うように構成されたプロセッササブシステムと
を備える。

【0008】

本発明のさらなる態様によれば、トレーニングされたモデルを処理するためのコンピュータ実施方法が提供され、本コンピュータ実施方法は、
トレーニングされたモデルを表すモデルデータと、
トレーニングされたモデルをトレーニングするためのトレーニングデータと
にアクセスするステップと、
トレーニングされたモデルの中間出力を得るためにトレーニングデータにトレーニングされたモデルを適用するステップ、及び
トレーニングされたモデルの中間出力に基づいて数値特性を決定するステップ
によってトレーニングデータを特徴づけるステップと、
数値特性をメタデータとして符号化するステップと、
入力データにトレーニングされたモデルを適用し、それにより、トレーニングされたモデルのさらなる中間出力を得るエンティティが、入力データが、さらなる中間出力に基づいて、トレーニングされたモデルのトレーニングデータの数値特性に適合するかどうかを決定することを可能にするために、メタデータをモデルデータに関連付けるステップと
を有する。

【0009】

本発明のさらなる態様によれば、トレーニングされたモデルを使用するためのシステムが提供される。本システムは、
トレーニングデータでトレーニングされた、トレーニングされたモデルを表すモデルデータと、
モデルデータに関連付けられ、数値特性を備えるメタデータであって、数値特性が、トレーニングデータに適用されたとき、トレーニングされたモデルの中間出力に基づいて決定される、メタデータと、
トレーニングされたモデルが適用されるべきである入力データと
にアクセスするためのデータインターフェースと、
トレーニングされたモデルのさらなる中間出力を得るために入力データにトレーニングされたモデルを適用することと、
入力データが、さらなる中間出力に基づいて、トレーニングされたモデルのトレーニングデータの数値特性に適合するかどうかを決定することと、
入力データが数値特性に適合しないと決定された場合、不適合を示す出力信号を生成することと
を行うように構成されたプロセッササブシステムと
を備える。

【0010】

本発明のさらなる態様によれば、トレーニングされたモデルを使用するためのコンピュータ実施方法が提供され、本コンピュータ実施方法は、
トレーニングデータでトレーニングされた、トレーニングされたモデルを表すモデルデータと、
モデルデータに関連付けられ、数値特性を備えるメタデータであって、数値特性が、トレーニングデータに適用されたとき、トレーニングされたモデルの中間出力に基づいて決定される、メタデータと、
トレーニングされたモデルが適用されるべきである入力データと
にアクセスするステップと、
トレーニングされたモデルのさらなる中間出力を得るために入力データにトレーニングされたモデルを適用するステップと、
入力データが、さらなる中間出力に基づいて、トレーニングされたモデルのトレーニングデータの数値特性に適合するかどうかを決定するステップと、
入力データが数値特性に適合しないと決定された場合、不適合を示す出力信号を生成するステップと
を有する。

【0011】

本発明のさらなる態様によれば、プロセッサシステムにコンピュータ実装方法のいずれか又は両方を実施させるように構成された命令を表す一時的又は非一時的データを備えるコンピュータ可読媒体が提供される。

【0012】

上記の方策は、トレーニングされたニューラルネットワークなど、トレーニングされたモデルにアクセスすることと、トレーニングされたモデルをトレーニングするためのトレーニングデータにアクセスすることとを伴う。トレーニングされたモデルは、トレーニングデータが、トレーニングされたモデルによって処理されるべき入力データであるかのような様式でトレーニングデータに適用される。例えば、トレーニングされたモデルが画像分類のためにトレーニングされる場合、トレーニングデータは、トレーニングデータに対して画像分類を実施するために、トレーニングされたモデルへの入力として使用される。

【0013】

上記の方策は、トレーニングされたモデルの中間出力から数値特性を決定することをさらに伴う。ここで、「中間出力」という用語は、トレーニングされたモデルが、入力データを処理して、出力データ、例えば、分類、確率などを生成する、のように理解されるべきである。出力データを生成するために、トレーニングされたモデルは、出力データに対する内部プリカーサーである中間出力データを生成する。非限定的な例として、トレーニングされたニューラルネットワークの場合、そのような内部データは、入力データに適用されたとき、トレーニングされたニューラルネットワークの隠れユニットのアクティブ化値である。他のタイプの中間出力が等しく考えられ、トレーニングされたモデルのタイプに依存する。例えば、トレーニングされたモデルが、トレーニングされたカプセルネットワークである場合、中間出力は、カプセルの１つ又は複数のアクティビティベクトルである。同様の例が、例えば、ベイジアンネットワークなどのグラフィカルモデルにおける潜在変数など、機械学習によってトレーニング可能である他のモデルについて存在する。

【0014】

中間出力は、トレーニングされたモデルによって入力データの内部及び中間特徴づけを効果的に表し、入力データがトレーニングデータであるとき、トレーニングデータの中間特徴づけを効果的に表す。この中間特徴づけは、中間出力の数値特性を得ることによって有形にされる。それにより、直接的様式ではなく間接的様式においてではあるが、トレーニングデータの数値特徴づけが得られる。したがって、数値特性は、数値特性がトレーニングデータから直接計算されず、中間出力から間接的に計算される場合でも、上記及び以下でトレーニングデータ「の」数値特性とも呼ばれる。

【0015】

発明者は、トレーニングされたモデルの中間出力のそのような数値特性が、トレーニングデータを特徴づけることについて、トレーニングデータ自体よりも好適であることを考慮した。すなわち、トレーニングデータは、トレーニングデータをそのような特徴づけにあまり好適でないようにする性質を有する。例えば、トレーニングデータは、データサイズに関して大きく、それにより、記述的数値特性を計算することが計算量的に複雑になり、及び／或いは、手動で（ヒューリスティックに）又は他のやり方で、トレーニングデータの簡潔な特徴づけを決定することは困難である。一方、トレーニングされたモデルは、一般に、そのような簡潔な特徴づけ、例えば、分類、確率などを得るためにトレーニングされる。ただし、出力データ自体（例えば、分類又は確率）は、一般に、可能な入力データの範囲にわたって十分に記述的ではなく、中間出力は、そのような特徴づけを提供するのに好適である。

【0016】

数値特性はメタデータとして符号化され、メタデータは、トレーニングされたモデルに関連付けられるか、或いはより詳細には、任意の好適な様式で、例えば、モデルデータ自体に数値特性を、例えば、ファイルヘッダ、ＸＭＬ要素などとして含めることによって、又は別個のファイルとしてメタデータを提供することによって、又は任意の他の様式で、トレーニングされたモデルのモデルデータに関連付けられる。

【0017】

適用側において、例えば、非トレーニング入力データに対してトレーニングされたモデルを使用するとき、メタデータは、トレーニングされたモデルの現在の入力データがトレーニングデータの特性に適合するかどうかを決定し、したがって、現在の入力データとのトレーニングされたモデルの使用が「ｉｎ－ｓｐｅｃ」使用を表すのか「ｏｕｔ－ｏｆ－ｓｐｅｃ」使用を表すのかを決定するために使用される。すなわち、トレーニングされたモデルの中間出力は、メタデータにおいて符号化された数値特性に対して比較されるか又は別のやり方で検証されて、適合又は不適合が決定される。不適合が検出された場合、これは、例えば、ユーザに警告すること、トレーニングされたモデルによる分類を出力するのを控えることなどを行うために使用される。

【0018】

随意に、トレーニングされたモデルはトレーニングされたニューラルネットワークであり、中間出力は、トレーニングされたニューラルネットワークの隠れユニットのサブセットのアクティブ化値を備える。隠れユニットのアクティブ化値は、トレーニングデータを記述する数値特性を決定するのに好適である。そのようなアクティブ化値の選択が使用される。いくつかの例では、トレーニングされたニューラルネットワークは、トレーニングされた深層ニューラルネットワークであり、例えば、隠れユニットのいくつかの層を有する。アクティブ化値の選択は、ニューラルネットワークの選択層の選択部分の選択に対応する。

【0019】

随意に、トレーニングデータは複数のトレーニングデータオブジェクトを備え、プロセッササブシステムは、
アクティブ化値の複数のセットを得るために複数のトレーニングデータオブジェクトのうちの個々のトレーニングデータオブジェクトにトレーニングされたモデルを適用することと、
トレーニングデータの数値特性をアクティブ化値の複数のセットの確率分布として決定することと
を行うように構成される。

【0020】

トレーニングデータは、複数の個々のトレーニングデータオブジェクト、例えば、複数の画像、オーディオ記録などを備える。概して、そのようなトレーニングデータオブジェクトは、確率分布によって特徴づけられる。しかしながら、多くのデータタイプについて、トレーニングデータ自体から確率分布を直接得ることは、トレーニングデータが非常に大きい（例えば、多くの高解像度画像）、容易に特徴づけるには確率分布が複雑すぎる、などであるので、実現不可能であるか、又は少なくとも計算量的に複雑であるかのいずれかである。代わりに、隠れユニットの選択のアクティブ化値の確率分布は、例えば、深層ニューラルネットワークの選択された層の選択された部分の数値出力から生成される。これは、隠れユニットの数が各トレーニングデータオブジェクト中のデータ要素の数よりも著しく少ないので、計算量的にあまり複雑にならない。

【0021】

オプションで、プロセッササブシステムは、
複数のトレーニングデータオブジェクトとは異なり、複数のトレーニングデータオブジェクトの特性に適合しない特性を有する複数のｏｕｔ－ｏｆ－ｓｐｅｃデータオブジェクトを備えるｏｕｔ－ｏｆ－ｓｐｅｃデータを得ることと、
アクティブ化値のさらなる複数のセットを得るために複数のｏｕｔ－ｏｆ－ｓｐｅｃデータオブジェクトのうちの個々のｏｕｔ－ｏｆ－ｓｐｅｃデータオブジェクトにトレーニングされたニューラルネットワークを適用することと、
ａ）アクティブ化値の複数のセットの確率分布とｂ）アクティブ化値のさらなる複数のセットの確率分布との間の差を確立するように、或いは差を増加又は最大化するように、隠れユニットのサブセットを選択することと
を行うように構成される。

【0022】

トレーニングデータから、又はｏｕｔ－ｏｆ－ｓｐｅｃデータから確率分布を計算するとき、確率分布の明確な差を生じる隠れユニットの特定のサブセットを選択することが望ましい。そのようなｏｕｔ－ｏｆ－ｓｐｅｃデータは、ｏｕｔ－ｏｆ－ｓｐｅｃデータの特性がトレーニングデータの特性に適合しないか、又は少なくとも十分な程度に適合しないので、例えば、手動評価によって、又は自動メトリックによって、トレーニングされたモデルへの入力として使用されるときにトレーニングされたモデルのｏｕｔ－ｏｆ－ｓｐｅｃ使用を表すデータと見なされる。特に、サブセットは、ｉｎ－ｓｐｅｃデータであると見なされるものと、ｏｕｔ－ｏｆ－ｓｐｅｃデータであると見なされるものとの間ではっきりした弁別が得られるように選択される。その目的で、複数のトレーニングデータオブジェクトとは異なる複数のｏｕｔ－ｏｆ－ｓｐｅｃデータオブジェクトを備えるｏｕｔ－ｏｆ－ｓｐｅｃデータが得られる。例えば、画像の場合、ｏｕｔ－ｏｆ－ｓｐｅｃデータは、トレーニングされたモデルのトレーニングにおいて使用されておらず、トレーニングされたモデルについてのｏｕｔ－ｏｆ－ｓｐｅｃ入力データを表すと見なされる、画像のセットを備える。確率分布が得られる隠れユニットのサブセットは、トレーニングデータとｏｕｔ－ｏｆ－ｓｐｅｃデータとの間の差を最大化するように選択されるか、或いは少なくとも、例えば、ランダム選択又はすべての隠れユニットの選択と比較して差を増加させるように選択される。

【0023】

例えば、プロセッササブシステムは、選択された隠れユニットに応じて、ａ）アクティブ化値の複数のセットの確率分布とｂ）アクティブ化値のさらなる複数のセットの確率分布との間の差を最適化する組合せ最適化方法によって隠れユニットのサブセットを選択するように構成される。差は、例えば、カルバックライブラーダイバージェンス（Ｋｕｌｌｂａｃｋ－Ｌｅｉｂｌｅｒ ｄｉｖｅｒｇｅｎｃｅ）測度、交差エントロピー測度、又は相互情報量（ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ）測度であり、それら自体知られている。

【0024】

オプションで、プロセッササブシステムは、
トレーニングデータに基づいて負のサンプルを生成するために敵対的生成ネットワークの生成器部分を使用することと、
負のサンプルからｏｕｔ－ｏｆ－ｓｐｅｃデータを生成することと
を行うように構成される。

【0025】

敵対的生成ネットワーク（ＧＡＮ）の生成器部分は、自動様式で、例えば、ｏｕｔ－ｏｆ－ｓｐｅｃデータの手動選択又は手動生成なしに、或いはｏｕｔ－ｏｆ－ｓｐｅｃデータの手動選択又は手動生成と組み合わせてｏｕｔ－ｏｆ－ｓｐｅｃデータを作成するために使用される。

【0026】

随意に、プロセッササブシステムは、トレーニングデータを使用してモデルをトレーニングすることによってモデルデータを生成し、それにより、トレーニングされたモデルを得るように構成される。メタデータを生成するシステムは、いくつかの実施形態では、トレーニングされたモデルをトレーニングするために使用されるものと同じシステムである。これは、システムがすでにトレーニングデータへのアクセスを有するので、好都合である。

【0027】

オプションで、トレーニングデータは複数の画像を備え、トレーニングされたモデルは、画像分類又は画像セグメンテーションのために構成される。

【0028】

オプションで、トレーニングされたモデルを使用するためのシステムは、出力信号をユーザに感覚的知覚可能な様式でレンダリングするためのレンダリングデバイスに、出力信号を出力するための出力インターフェースをさらに備える。例えば、システムは、ディスプレイ上に警告メッセージを生成する。

【0029】

オプションで、トレーニングされたモデルは、トレーニングされたニューラルネットワークであり、数値特性は、トレーニングされたニューラルネットワークの隠れユニットのサブセットのアクティブ化値の複数のセットから得られた確率分布であり、アクティブ化値の複数のセットは、トレーニングデータにトレーニングされたモデルを適用することによって得られ、トレーニングされたモデルのさらなる中間出力は、隠れユニットのサブセットのアクティブ化値のさらなるセットを備え、トレーニングされたモデルを使用するためのシステムのプロセッササブシステムは、
確率分布に基づいてアクティブ化値のさらなるセットの確率を決定することと、
入力データが、確率に応じて、トレーニングされたモデルのトレーニングデータの数値特性に適合するかどうかを決定することと
を行うように構成される。

【0030】

上記は、トレーニングされたモデルを適用するシステムが、入力データがトレーニングされたモデルのトレーニングデータの数値特性に適合するかどうかをどのように決定するかの特定の例を表す。

【0031】

本発明の上述の実施形態、実装形態、及び／又は随意の態様のうちの２つ又はそれ以上は、有用であると考えられる任意のやり方で組み合わせられることが、当業者によって理解されよう。

【0032】

対応するシステムの説明される修正及び変形に対応する、任意のコンピュータ実施方法及び／又は任意のコンピュータプログラム製品の修正及び変形は、本明細書に基づいて当業者によって実行され得る。

【0033】

本発明のこれら及び他の態様は、以下の説明において例として、添付の図面を参照しながら説明される実施形態から明らかになり、さらにそれらを参照して解明されよう。

【図面の簡単な説明】

【0034】

【図1】トレーニングされたモデルをトレーニングするためのトレーニングデータの数値特性を符号化する、トレーニングされたモデルについてのメタデータを生成するためにトレーニングされたモデルを処理するためのシステムを示す図である。

【図2】入力データとともにトレーニングされたモデルを使用することと、メタデータを使用して、入力データがトレーニングされたモデルのトレーニングデータの数値特性に適合するかどうかを決定することとを行うためのシステムを示す図である。

【図3】この例では、トレーニングされたニューラルネットワークの隠れユニットのサブセットのアクティブ化値の確率関数である、前記ネットワークについての数値特性がどのように決定されるかの詳細な例を示す図である。

【図4】モデルのトレーニングデータの数値特性を符号化するメタデータを生成するためにトレーニングされたモデルを処理する方法を示す図である。

【図5】入力データとともにトレーニングされたモデルを使用し、メタデータを使用して、入力データがトレーニングされたモデルのトレーニングデータの数値特性に適合するかどうかを決定するための方法を示す図である。

【図6】データを備えるコンピュータ可読媒体を示す図である。

【発明を実施するための形態】

【0035】

図は、単に概略であり、一定の縮尺で描かれていないことに留意されたい。図において、すでに説明された要素に対応する要素は同じ参照番号を有する。

【0036】

略語のリスト
ＤＬ 深層学習
ＤＮＮ 深層ニューラルネットワーク
ＧＡＮ 敵対的生成ネットワーク
ＧｅｎＡｌ 遺伝的アルゴリズム
ＫＬ カルバックライブラー

【0037】

参照番号のリスト
参照番号の以下のリストは、図面の解釈を容易にするために提供されており、特許請求の範囲を限定するものとして解釈されるべきではない。
０２０、０２２ データストレージ
０３０ トレーニングデータ
０４０ 入力データ
０５０ モデルデータ
０６０ メタデータ
１００ トレーニングされたモデルを処理するためのシステム
１２０ データインターフェース
１２２、１２４ データ通信
１４０ プロセッササブシステム
２００ トレーニングされたモデルを使用するためのシステム
２２０ データインターフェース
２２２、２２４ データ通信
２４０ プロセッササブシステム
２４２ 出力信号
２６０ ディスプレイ出力インターフェース
２６２ ディスプレイデータ
２８０ ディスプレイ
２８２ 警告ダイアログボックス
３００ トレーニングデータ
３１０ 敵対的生成ネットワーク
３２０ トレーニングされたモデル
３３０ 確率分布（ｉｎ－ｓｐｅｃ）
３３５ 確率分布（ｏｕｔ－ｏｆ－ｓｐｅｃ）
３４０ 差測度（カルバックライブラーダイバージェンス）
３５０ 組合せ最適化方法（遺伝的アルゴリズム）
３６０ 隠れユニットのサブセットのアクティブ化値、分散
４００ トレーニングされたモデルを処理する方法
４１０ モデルデータ、トレーニングデータにアクセスするステップ
４２０ トレーニングデータを特徴づけるステップ
４３０ トレーニングデータにトレーニングされたモデルを適用するステップ
４４０ 数値特性を決定するステップ
４５０ 数値特性をメタデータとして符号化するステップ
４６０ メタデータをモデルデータに関連付けるステップ
５００ トレーニングされたモデルを使用する方法
５１０ モデルデータ、メタデータ、入力データにアクセスするステップ
５２０ 入力データにトレーニングされたモデルを適用するステップ
５３０ 入力データの適合を決定するステップ
５４０ 不適合を示す出力信号を生成するステップ
６００ コンピュータ可読媒体
６１０ 非一時的データ

【0038】

図１は、トレーニングされたモデルをトレーニングするためのトレーニングデータの数値特性を符号化する、トレーニングされたモデルについてのメタデータを生成するためにトレーニングされたモデルを処理するためのシステム１００を示す。システム１００は、データ通信１２４を介して内部で通信する、データインターフェース１２０とプロセッササブシステム１４０とを備える。プロセッササブシステム１４０は、システム１００の動作中に、データインターフェース１２０を使用して、トレーニングされたモデルを表すモデルデータ０５０にアクセスすることと、トレーニングされたモデルをトレーニングするためのトレーニングデータ０３０にアクセスすることとを行うように構成される。例えば、図１に示されているように、データインターフェース１２０は、前記データ０３０、０５０を備える外部データストレージ０２０へのアクセス１２２を提供する。代替的に、データ０３０、０５０は、システム１００の一部である内部データストレージからアクセスされる。代替的に、データ０３０、０５０は、別のエンティティからネットワークを介して受信される。概して、データインターフェース１２０は、ローカル又はワイドエリアネットワーク、例えば、インターネットへのネットワークインターフェース、内部又は外部データストレージなどへのストレージインターフェースなど、様々な形態をとる。データストレージ０２０は、任意の知られている好適な形態をとる。

【0039】

プロセッササブシステム１４０は、システム１００の動作中に、トレーニングされたモデルの中間出力を得るためにトレーニングデータにトレーニングされたモデルを適用することと、トレーニングされたモデルの中間出力に基づいて数値特性を決定することとによってトレーニングデータを特徴づけるようにさらに構成される。プロセッササブシステム１４０は、数値特性をメタデータ０６０として符号化することと、入力データにトレーニングされたモデルを適用するエンティティが、入力データが、トレーニングされたモデルのトレーニングデータの数値特性に適合するかどうかを決定することを可能にするために、メタデータ０６０をモデルデータ０５０に関連付けることとを行う。そのようなエンティティの一例は、図２のシステム２００である。

【0040】

メタデータ０６０は、システム１００によってデータストレージ０２０又は他の場所に記憶すること、ネットワークを介して送ることなどが行われる。概して、メタデータ０６０は、トレーニングデータ０５０と同じデータコンテナに、例えば（１つ又は複数の）同じファイルに記憶されるが、トレーニングデータ０５０に関連付けられた別個のメタデータ０６０としても提供される。例えば、いくつかの実施形態では、トレーニングデータ０５０は、例えば、メタデータ０６０がアクセス可能であるＵＲＬ、又はメタデータ０６０がトレーニングデータ０５０にリンクするＵＲＬを含んでいることによって、メタデータ０６０にリンクする。関連付けの様々な他の手段が等しく考えられ、当業者の理解の範囲内にある。

【0041】

システム１００の動作の様々な詳細及び態様は、それの随意の態様を含む図３を参照しながらさらに解明される。

【0042】

概して、システム１００は、ワークステーション、例えば、ラップトップ又はデスクトップベース、或いはサーバなど、単一のデバイス又は装置として、或いはそれらにおいて具現される。デバイス又は装置は、適切なソフトウェアを実行する１つ又は複数のマイクロプロセッサを備える。例えば、プロセッササブシステムは、単一の中央処理ユニット（ＣＰＵ）によって具現されるが、同じくそのようなＣＰＵ及び／又は他のタイプの処理ユニットの組合せ又はシステムによって具現される。ソフトウェアは、ダウンロードされ、及び／或いは対応するメモリ、例えば、ＲＡＭなどの揮発性メモリ、又はフラッシュなどの不揮発性メモリに記憶されている。代替的に、システムの機能ユニット、例えば、データインターフェース及びプロセッササブシステムは、プログラマブル論理の形態のデバイス又は装置において、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）として実施される。概して、システムの各機能ユニットは回路の形態で実施される。システム１００は、例えば、クラウドコンピューティングの形態で、例えば、分散型サーバなど、異なるデバイス又は装置を伴う、分散的な様式でも実施されることに留意されたい。

【0043】

図２は、入力データとともにトレーニングされたモデルを使用することと、メタデータを使用して、入力データがトレーニングされたモデルのトレーニングデータの数値特性に適合するかどうかを決定することとを行うためのシステム２００を示す。システム２００は、データ通信２２４を介して内部で通信する、データインターフェース２２０とプロセッササブシステム２４０とを備える。プロセッササブシステム２４０は、システム２００の動作中に、データインターフェース２２０を使用して、図１を参照しながら説明されたようにモデルデータ０５０とメタデータ０６０とにアクセスし、並びにトレーニングされたモデルが適用されるべきである入力データ０４０にアクセスするように構成される。例えば、図２にも示されているように、データインターフェース２２０は、前記データ０４０～０６０を備える外部データストレージ０２２へのアクセス２２２を提供する。代替的に、データ０４０～０６０は内部データストレージからアクセスされる。代替的に、データ０４０～０６０はネットワークを介して受信される。概して、データインターフェース２２０は、ローカル又はワイドエリアネットワーク、例えば、インターネットへのネットワークインターフェース、内部又は外部データストレージなどへのストレージインターフェースなど、様々な形態をとる。データストレージ０２２は、任意の知られている好適な形態をとる。

【0044】

プロセッササブシステム２４０は、システム２００の動作中に、トレーニングされたモデル０５０のさらなる中間出力を得るために入力データ０４０にトレーニングされたモデルを適用することと、入力データ０４０が、さらなる中間出力に基づいて、トレーニングされたモデルのトレーニングデータの数値特性に適合するかどうかを決定することと、入力データが数値特性に適合しないと決定された場合、不適合を示す出力信号２４２を生成することとを行うようにさらに構成される。随意の構成要素として、システム２００は、出力信号２４２をディスプレイ２８０などのレンダリングデバイスに出力するための、ディスプレイ出力インターフェース２６０又は任意の他のタイプの出力インターフェースを備える。例えば、ディスプレイ出力インターフェース２６０は、ディスプレイ２８０のためのディスプレイデータ２６２を生成し、それにより、ディスプレイ２８０は、出力信号を感覚的知覚可能な様式で、例えば、オンスクリーン警告ダイアログボックス２８２としてレンダリングする。

【0045】

概して、システム２００は、ワークステーション、例えば、ラップトップ又はデスクトップベース、或いはモバイルデバイスなど、単一のデバイス又は装置として、或いはそれらにおいて具現される。デバイス又は装置は、適切なソフトウェアを実行する１つ又は複数のマイクロプロセッサを備える。例えば、プロセッササブシステムは、単一の中央処理ユニット（ＣＰＵ）によって具現されるが、同じくそのようなＣＰＵ及び／又は他のタイプの処理ユニットの組合せ又はシステムによって具現される。ソフトウェアは、ダウンロードされ、及び／或いは対応するメモリ、例えば、ＲＡＭなどの揮発性メモリ、又はフラッシュなどの不揮発性メモリに記憶されている。代替的に、システムの機能ユニット、例えば、データインターフェース及びプロセッササブシステムは、プログラマブル論理の形態のデバイス又は装置において、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）として実施される。概して、システムの各機能ユニットは回路の形態で実施される。システム２００は、例えば、クライアントサーバ実装形態のクライアント及びサーバなど、異なるデバイス又は装置を伴う、分散的な様式でも実施されることに留意されたい。

【0046】

図３は、トレーニングされたモデルについての数値特性が、例えば、図１のシステム１００によってどのように決定されるかについての、詳細であるが非限定的な例を示す。この例では、トレーニングされたモデルは、トレーニングされたニューラルネットワークであり、より詳細には、深層学習（ＤＬ）によってトレーニングされた深層ニューラルネットワーク（ＤＮＮ）モデルである。その目的で、深層学習技法が、それ自体知られているように使用され、深層学習技法は、誤差関数最小化、勾配降下法、誤差逆伝搬及び（詳細には深層学習における）ミニバッチ最適化などに基づく。上述の技法は、典型的な方法と見なされるが、他の好適な技法も使用される。このトレーニングされたモデル３２０は、好適なネットワークアーキテクチャと隠れユニットｕのセットとをもつ深層ニューラルネットワークＭの形態をとる。図３は、いくつかの目的で使用されるトレーニングデータＴをさらに示す。第１に、トレーニングデータＴは、深層学習モデルＭをトレーニングするために使用される。第２に、トレーニングデータＴは、Ｔの分布に近いいわゆる「ｏｕｔ－ｏｆ－ｓｐｅｃ」サンプルを生成するために使用される敵対的生成ネットワーク（ＧＡＮ）３１０（Ｇｏｏｄｆｅｌｌｏｗ、２０１４、参考文献セクションを参照）を推定するために使用されるが、実際にはこの分布に由来せず、例えば、トレーニングデータＴのような実際の観測値でない。代替的に、ｏｕｔ－ｏｆ－ｓｐｅｃデータは、別のソースから、例えば、実際の観測値から、例えば、ｏｕｔ－ｏｆ－ｓｐｅｃ画像を表すと見なされる取得された画像から得られる。トレーニングされたモデルＭは、ｏｕｔ－ｏｆ－ｓｐｅｃデータとトレーニングデータＴの両方に適用される。これは、すべての中間モデル出力Ｕを含む、モデル出力の生成を生じる。

【0047】

２つの確率分布、すなわち、Ｐ（Ｕ｜ｏｕｔ－ｏｆ－ｓｐｅｃ）３３５及びＰ（Ｕ｜Ｔ）３３０は、選択された中間モデルユニット出力｛ｕ｝のサンプリング確率を記述する。そのような選択された中間モデルユニットは、例えば、トレーニングされたモデルＭの選択された隠れユニットに対応し、それらの出力は、それらのアクティブ化値に対応する。そのような隠れユニットはまた、単にユニットと呼ばれ、それらのアクティブ化値は、ユニットアクティブ化と呼ばれるか、又は単に中間モデル出力と呼ばれる。これらのユニット｛ｕ｝のアクティブ化値の正規分布は、平均μ_ｉと共分散σ_ｉｊとに関して特徴づけられ、ここで、添字ｉ及びｊは、選択された｛ｕ｝中のすべてのユニットに対応する。｛ｕ｝がモデルＭの隠れユニットの完全セットのうちのサブセットであることに留意されたい。いくつかの場合には、｛ｕ｝中の多数のユニットが、単純な分布を必要とし、ここで、ｉ≠ｊの場合、σ_ｉｊ＝０である。しかしながら、概して、σ_ｉｊは、非対角非０値を用いて又は用いずに選択される。分布におけるユニットと、どのσ_ｉｊが非０であるかとの選択は、図３において｛ｕ｝、｛σ_ｉｊ｝３６０として表される。

【0048】

選択｛ｕ｝、｛σ_ｉｊ｝、トレーニングデータＴ、及び（ＧＡＮ生成）ｏｕｔ－ｏｆ－ｓｐｅｃデータを仮定すれば、例えば、トレーニングデータＴとｏｕｔ－ｏｆ－ｓｐｅｃデータとのデータオブジェクトにトレーニングされたモデルＭをそれぞれ適用することから生じるユニットアクティブ化の平均と（共）分散とを単にとることによって、分布Ｐ（Ｕ｜ｏｕｔ－ｏｆ－ｓｐｅｃ）とＰ（Ｕ｜Ｔ）とが推定される。トレーニングデータＴから来るサンプル、又はトレーニングデータと同一のソースから来るサンプルを、上述のタイプ及び他のタイプのｏｕｔ－ｏｆ－ｓｐｅｃデータと区別することができる確率分布が望まれるので、２つの分布間の差が最大である｛ｕ｝、｛σ_ｉｊ｝の選択が選好される。この差は、カルバックライブラー距離３４０、交差エントロピー、相互情報量、又はそれ自体知られている他の測度によって表現される。

【0049】

分布Ｐ（Ｕ｜ｏｕｔ－ｏｆ－ｓｐｅｃ）とＰ（Ｕ｜Ｔ）との間の差を最大にするために、例えば、遺伝的アルゴリズム（「ＧｅｎＡｌ」）のファミリー、整数線形プログラミングなどからの、組合せ最適化方法３５０が使用される。代替的に、当該分野においてそれ自体知られている他の組合せ最適化方法が使用される。

【0050】

その結果、トレーニングデータＴからのサンプルをｏｕｔ－ｏｆ－ｓｐｅｃデータサンプルと区別するのに最適であるか又は少なくとも好適であるＰ（Ｕ｜Ｔ）とＰ（Ｕ｜ｏｕｔ－ｏｆ－ｓｐｅｃ）とが得られる。新しい入力データオブジェクトがｏｕｔ－ｏｆ－ｓｐｅｃと見なされるかどうかを推定するためにＰ（Ｕ｜ｏｕｔ－ｏｆ－ｓｐｅｃ）を使用することを考える。しかしながら、Ｐ（Ｕ｜Ｔ）をｉｎ－ｓｐｅｃ検出器として代わりに使用することは、トレーニングデータＴがｉｎ－ｓｐｅｃデータの完全な記述であることを目的とするので、好ましいが、ｏｕｔ－ｏｆ－ｓｐｅｃデータについて、すべてのｏｕｔ－ｏｆ－ｓｐｅｃ状況がカバーされているかどうかを決定することは、不可能ではないとしても困難である。したがって、Ｐ（Ｕ｜Ｔ）は、メタデータとして深層学習モデルＭに符号化される。新しい入力データに対して深層学習モデルＭを使用するとき、Ｕ_ｎｅｗを推定するために画像などの入力データオブジェクトを深層学習モデルＭへの入力として使用することと、メタデータによって提供される分布関数Ｐ（Ｕ｜Ｔ）を使用して入力データオブジェクトにｉｎ－ｓｐｅｃ確率Ｐ（Ｕ_ｎｅｗ｜Ｔ）を割り当てることとによって、入力データオブジェクトがｉｎ－ｓｐｅｃと見なされるのかｏｕｔ－ｏｆ－ｓｐｅｃと見なされるのかを推定する。例えば、ｉｎ－ｓｐｅｃ確率Ｐ（Ｕ_ｎｅｗ｜Ｔ）が、プリセットされたしきい値θを超えた場合、入力データオブジェクトはｉｎ－ｓｐｅｃと見なされ、そうでなければｏｕｔ－ｏｆ－ｓｐｅｃと見なされる。

【0051】

トレーニングされたモデルがトレーニングデータとして、ｏｕｔ－ｏｆ－ｓｐｅｃデータとして、又は「新しい」入力データとして画像に適用されたとき、各画像は、トレーニングされたモデルに入力されたとき、各要素Ｉが隠れユニットｉのアクティブ化値に対応するベクトルを生じることに留意されたい。このベクトルは、ｎ次元分布（ｎは、考えられる隠れユニットの数／ベクトルの長さである）から抽出された１つのサンプルとして参照され、それは、例えば、（長さｎの）平均μと分散行列σ（ｎ×ｎ）とによって記述される。トレーニング中に、そのような画像のうちの複数の画像が、例えば、活性化ベクトルの収集から直接計算される平均μと分散σとによって分布を定義する。上記のことはまた、必要な変更を加えて、複数のトレーニングデータオブジェクトを備える他のトレーニングデータに適用される。

【0052】

さらにｏｕｔ－ｏｆ－ｓｐｅｃデータに関して、このデータがＧＡＮ３１０によって生成される代わりに又はそれに加えて、データは、例えば、トレーニングデータＴが、例えば、医療走査装置から取得されるのと同じ又は同様の様式で、他の場所から取得される。しかしながら、トレーニングデータＴは、モデルＭの教師ありトレーニングを実施するために注釈を付けられるが、ｏｕｔ－ｏｆ－ｓｐｅｃデータは、モデルＭがこのデータに基づいてトレーニングされないので、注釈を付けられる必要がない。例えば、トレーニングされたモデルが医療画像分類のために使用される場合、ｏｕｔ－ｏｆ－ｓｐｅｃデータは、知られているｏｕｔ－ｏｆ－ｓｐｅｃ使用のために医療走査装置のロギング情報をフィルタ処理することと、そのようなｏｕｔ－ｏｆ－ｓｐｅｃ使用によって取得された（１つ又は複数の）画像をｏｕｔ－ｏｆ－ｓｐｅｃデータとして使用することとによって得られる。例えば、ＣＴスキャナ又は病理画像スキャナの機械動作ログ、及び、例えば、病理組織サンプルの準備を示す可能なロギングされたプロトコルがフィルタ処理される。また、そのようなｏｕｔ－ｏｆ－ｓｐｅｃデータは、非画像ベース医療コンテキストにおいて、例えば、ＥＥＧ又はＥＣＧデータの場合において、或いは、概して、非医療コンテキストにおいて同様のやり方で集められる。それにより、例えば、ｉｎ－ｓｐｅｃデータとｏｕｔ－ｏｆ－ｓｐｅｃデータとの間にはっきりした境界線を引くために、ｉｎ－ｓｐｅｃ使用をより正確に記述するＰ（Ｕ｜Ｔ）を得ることに寄与するｏｕｔ－ｏｆ－ｓｐｅｃデータオブジェクトが生成される。引き続き図３を参照すると、ｏｕｔ－ｏｆ－ｓｐｅｃデータは、ＧＡＮのロケーションにおいて／ＧＡＮの代わりに、深層学習モデルＭへの入力として使用される。

【0053】

概して、ＧＡ３１０は、それがｏｕｔ－ｏｆ－ｓｐｅｃデータを取得しなければならないことに依拠しないので、より一般的な様式でｏｕｔ－ｏｆ－ｓｐｅｃデータを生成するために使用される。ＧＡＮ生成器は人間が、生成されたデータを現実のデータと区別するのが困難であるような高品質のものであるので、ＧＡＮ生成器を直接使用することは、最適ではない。しかしながら、いわゆる「負のサンプル」を作り出すためにＧＡＮを適用することが知られており、それは、現在のコンテキストにおいてｏｕｔ－ｏｆ－ｓｐｅｃサンプルとして使用される。例えば、これは、Ｙｕ ２０１７、Ｄａｉ ２０１７、Ｗａｎｇ ２０１８、及びＺｈｅｎｇ ２０１８から知られており、それらは、そのような負のサンプルを生成することを記述する限りにおいて参照により本明細書に組み込まれる。そのような負のサンプルを生成することは、「ｉｎ－ｓｐｅｃ」特性、例えば、トレーニングデータＴの特性外にあることと、ただし、ｉｎ－ｓｐｅｃデータとｏｕｔ－ｏｆ－ｓｐｅｃデータとの間にはっきりした境界が定義されることを可能にするようにこれらの特性に十分に近いこととの間のトレードオフを伴う。最終的に、ＧＡＮ生成ｏｕｔ－ｏｆ－ｓｐｅｃデータと、場合によっては取得されたｏｕｔ－ｏｆ－ｓｐｅｃデータとの混合物も使用される。

【0054】

上記では、数値特性が確率分布であることについて説明したが、統計の分野からそれ自体知られているように、様々な他のタイプの数値特徴づけも使用される。その上、確率分布が数値特徴づけとして使用される場合、確率分布を計算することの任意の知られている好適なタイプ、プレゼンテーション、又はやり方が使用される。

【0055】

図４は、トレーニングされたモデルを処理するためのコンピュータ実施方法４００のブロック図を示す。方法４００は、図１のシステム１００の動作に対応する。ただし、これは、方法４００が別のシステム、装置又はデバイスを使用しても実施されるので、限定でない。

【0056】

方法４００は、「モデルデータ、トレーニングデータにアクセスするステップ」と題する動作において、トレーニングされたモデルを表すモデルデータとトレーニングされたモデルをトレーニングするためのトレーニングデータとにアクセスするステップ４１０を有する。方法４００は、「トレーニングデータにトレーニングされたモデルを適用するステップ」と題する動作において、トレーニングされたモデルの中間出力を得るためにトレーニングデータにトレーニングされたモデルを適用するステップ４３０と、「数値特性を決定するステップ」と題する動作において、トレーニングされたモデルの中間出力に基づいて数値特性を決定するステップ４４０とによって、「トレーニングデータを特徴づけるステップ」と題する動作において、トレーニングデータを特徴づけるステップ４２０をさらに有する。方法４００は、「数値特性をメタデータとして符号化するステップ」と題する動作において、数値特性をメタデータとして符号化するステップ４５０と、「メタデータをモデルデータに関連付けるステップ」と題する動作において、入力データにトレーニングされたモデルを適用するエンティティが、入力データが、トレーニングされたモデルのトレーニングデータの数値特性に適合するかどうかを決定することを可能にするために、メタデータをモデルデータに関連付けるステップ４６０とをさらに有する。

【0057】

図５は、トレーニングされたモデルを使用するためのコンピュータ実施方法５００のブロック図を示す。方法５００は、図２のシステム２００の動作に対応する。ただし、これは、方法５００が別のシステム、装置又はデバイスを使用しても実施されるので、限定でない。

【0058】

方法５００は、「モデルデータ、メタデータ、入力データにアクセスするステップ」と題する動作において、トレーニングデータでトレーニングされた、トレーニングされたモデルを表すモデルデータと、モデルデータに関連付けられ、数値特性を備えるメタデータであって、数値特性が、トレーニングデータに適用されたとき、トレーニングされたモデルの中間出力に基づいて決定される、メタデータと、トレーニングされたモデルが適用されるべきである入力データとにアクセスするステップ５１０を有する。方法５００は、「入力データにトレーニングされたモデルを適用するステップ」と題する動作において、トレーニングされたモデルのさらなる中間出力を得るために入力データにトレーニングされたモデルを適用するステップ５２０をさらに有する。方法５００は、「入力データの適合を決定するステップ」と題する動作において、入力データが、さらなる中間出力に基づいて、トレーニングされたモデルのトレーニングデータの数値特性に適合するかどうかを決定するステップ５３０をさらに有する。そのような（不）適合を決定するステップは、例えば、図３及び他の場所で前に説明されたように、確率Ｐ（Ｕ_ｎｅｗ｜Ｔ）をプリセットされたしきい値θと比較することを伴う。方法５００は、「不適合を示す出力信号を生成するステップ」と題する動作において、入力データが数値特性に適合しないと決定された場合、不適合を示す出力信号を生成するステップ５４０をさらに有する。

【0059】

概して、図４の方法４００の動作及び／又は図５の方法５００の動作は、適用可能な場合には、例えば、入出力関係によって必要とされている特定の順序に制約されて、任意の好適な順序で、例えば、連続的に、同時に、又はそれらの組合せで実施されることが理解されよう。

【0060】

（１つ又は複数の）方法は、コンピュータ実施方法として、専用ハードウェアとして、又はその両方の組合せとして、コンピュータ上で実施される。また、図６に示されているように、コンピュータのための命令、例えば、実行可能コードは、例えば、一連の機械可読物理的マーク６１０の形態で、及び／或いは異なる電気的、例えば磁気、又は光学的特性又は値を有する一連の要素としてコンピュータ可読媒体６００に記憶される。実行可能コードは、一時的又は非一時的様式で記憶される。コンピュータ可読媒体の例は、メモリデバイス、光ストレージデバイス、集積回路、サーバ、オンラインソフトなどを含む。図６は、光ディスク６００を示す。代替的に、コンピュータ可読媒体６００は、本明細書中の他の場所で説明されるようにメタデータを表す一時的又は非一時的データ６１０を備える。

【0061】

医療の領域内の例が与えられたが、本明細書で説明される技法は、入力データがセンサーデータであり、トレーニングされたモデルがセンサーデータに基づいて自律運転（ｄｒｉｖｉｎｇ）判断を行うようにトレーニングされる、自律運転など、様々な他の適用領域にも適用されることが理解されよう。したがって、ユーザは、センサーデータが、トレーニングされたモデルがトレーニングされたセンサーデータの特性に適合しない場合、例えば、トレーニングされたモデルが夏の運転条件に関してトレーニングされたが、冬の運転条件において使用されたとき、警告される。概して、トレーニングされたモデルは、入力データの分類又は回帰のためにトレーニングされ、使用される。

【0062】

例えば、人工知能方法は、例えば、人々及び車両を計数し、追跡する、トラフィック又は群衆分析において適用され、トレーニングデータでトレーニングされる機械学習可能モードに基づく。気象条件（雪、霧、花粉）又は動作条件（極度の暑さ又は寒さ）などの変化する条件は、画像に影響を及ぼし、不十分なＡＩ性能をもたらす。ｏｕｔ－ｏｆ－ｓｐｅｃ検出は、人間のユーザに介入するように警告することができる。

【0063】

データトラフィック最適化では、高度機械学習アルゴリズムが、大規模及び高粒状ネットワークデータ（ｈｉｇｈｌｙ ｇｒａｎｕｌａｒ ｎｅｔｗｏｒｋ ｄａｔａ）を入力としてとって、ネットワーク中の各ノードについての正確な需要予測を生成し、ネットワークトラフィック及び利用率における異時点間のパターンを検出し、これは、同じく、トレーニングデータでトレーニングされる機械学習可能モデルに基づく。改善されたトラフィック及び需要予測は、ネットワーク容量要件のより正確な評価を可能にし、リソース過剰提供の必要を低減する。しかしながら、ネットワークの使用は、時間とともに変化するか、又は完全に中断される（例えば、ＤＤＯＳ攻撃）。所与のトレーニングされたモデルのためのｏｕｔ－ｏｆ－ｓｐｅｃ検出の形態での、ネットワークトラフィックのそのような中断又は変化の早期検出により、組織は、ネットワーク性能を保証するために事前のアクションをとることが可能になる。

【0064】

参考文献
Ｄｉｅｄｅｒｉｋ Ｐ Ｋｉｎｇｍａ，Ｍ．Ｗ．（２０１３）．Ａｕｔｏ－Ｅｎｃｏｄｉｎｇ Ｖａｒｉａｔｉｏｎａｌ Ｂａｙｅｓ．Ａｒｘｉｖ、ａｒＸｉｖ：１３１２．６１１４．
Ｇｏｏｄｆｅｌｌｏｗ，Ｉ．Ｊ．（２０１４）．Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ．ａｒＸｉｖ、ａｒＸｉｖ：１４０６．２６６１．
Ｙｕ，Ｙら（２０１７）．Ｏｐｅｎ－Ｃａｔｅｇｏｒｙ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｂｙ Ａｄｖｅｒｓａｒｉａｌ Ｓａｍｐｌｅ Ｇｅｎｅｒａｔｉｏｎ．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｔｗｅｎｔｙ－Ｓｉｘｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ（ＩＪＣＡＩ－１７）
Ｄａｉ，Ｚ．ら（２０１７）Ｇｏｏｄ Ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ Ｌｅａｒｎｉｎｇ Ｔｈａｔ Ｒｅｑｕｉｒｅｓ ａ Ｂａｄ ＧＡＮ．３１ｓｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ（ＮＩＰＳ ２０１７）、Ｌｏｎｇ Ｂｅａｃｈ、ＣＡ、ＵＳＡ．
Ｗａｎｇ Ｐ．ら（２０１８）．Ｉｎｃｏｒｐｏｒａｔｉｎｇ ＧＡＮ ｆｏｒ Ｎｅｇａｔｉｖｅ Ｓａｍｐｌｉｎｇ ｉｎ Ｋｎｏｗｌｅｄｇｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ Ｌｅａｒｎｉｎｇ．ＡＡＡＩ Ｐｕｂｌｉｃａｔｉｏｎｓ、Ｔｈｉｒｔｙ－Ｓｅｃｏｎｄ ＡＡＡＩ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ
Ｚｈｅｎｇ，Ｐ．ら（２０１８）．Ｏｎｅ－Ｃｌａｓｓ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｓ ｆｏｒ Ｆｒａｕｄ Ｄｅｔｅｃｔｉｏｎ．ａｒＸｉｖ：１８０３．０１７９８ｖ２［ｃｓ．ＬＧ］ ５ ２０１８年６月．

【0065】

例、実施形態又は随意の特徴は、非限定的なものとして示されるか否かにかかわらず、請求される本発明を限定するものとして理解されるべきではない。

【0066】

上述の実施形態は本発明を限定するのではなく説明するものであること、及び、当業者であれば添付の特許請求の範囲から逸脱することなく、多くの代替実施形態を設計することが可能となることに留意されたい。特許請求の範囲では、丸括弧の中に置かれたいかなる参照符号も、特許請求の範囲を限定するものとして解釈されるべきではない。「備える、含む、有する」という動詞及びその活用形の使用は、特許請求の範囲で述べられた要素又は段階以外の要素又は段階の存在を除外するものではない。単数形は、そのような要素が複数存在することを除外するものではない。要素のリスト又はグループに先行するときの「のうちの少なくとも１つ」などの表現は、リスト又はグループからの要素のすべて又は任意のサブセットの選択を表す。例えば、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」という表現は、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方、又はＡ、Ｂ、及びＣのすべてを含むものとして理解されるべきである。本発明は、いくつかの別個の要素を備えるハードウェアによって、また、適切にプログラムされたコンピュータによって実施される。いくつかの手段を列挙するデバイス請求項では、これらの手段のうちのいくつかが、ハードウェアの１つの同じアイテムによって具現される。いくつかの方策が、相互に異なる従属請求項に記載されているという単なる事実は、これらの方策の組合せが有利には使用され得ないことを示しているわけではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】