知財求人 - 知財ポータルサイト「IP Force」
特許7403714適応可能なスケーリングを行う人工ニューラルネットワークでの不均一な正則化
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-14
(45)【発行日】2023-12-22
(54)【発明の名称】適応可能なスケーリングを行う人工ニューラルネットワークでの不均一な正則化
(51)【国際特許分類】
G06N 3/0455 20230101AFI20231215BHJP
G06N 3/08 20230101ALI20231215BHJP
【ＦＩ】
G06N3/0455
G06N3/08
【請求項の数】
12
(21)【出願番号】P 2023506370
(86)(22)【出願日】2021-02-19
(65)【公表番号】
(43)【公表日】2023-05-31
(86)【国際出願番号】 JP2021007589
(87)【国際公開番号】W WO2021225023
(87)【国際公開日】2021-11-11
【審査請求日】2022-10-17
(31)【優先権主張番号】16/866,775
(32)【優先日】2020-05-05
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】ワン，イェ
(72)【発明者】
【氏名】秋濃 俊昭
【審査官】武田 広太郎
(56)【参考文献】
【文献】特開２０１５－０１１５１０（ＪＰ，Ａ）
【文献】宮内 佑多朗 ほか，適応的なドロップアウト空間の学習によるセマンティックセグメンテーション，情報処理学会 研究報告 コンピュータビジョンとイメージメディア（ＣＶＩＭ），日本，情報処理学会，2017年05月03日，1～8頁
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／０４５５
Ｇ０６Ｎ ３／０８
(57)【特許請求の範囲】
【請求項1】
人工ニューラルネットワークの柔軟な正則化および適応可能なスケーリングを行うためのシステムであって、信号を受信および送信するように構成されたインターフェイスと、
人工ニューラルネットワーク、訓練データ、線形ＰＣＡ、訓練演算子、適応型トランケータ、および乱数発生器を記憶するように構成されたメモリと、
前記インターフェイスおよび前記メモリに接続され、前記信号および前記訓練データを、一連の層を含む前記ニューラルネットワークに送信するように構成されたプロセッサとを含み、各層は、一組のニューロンノードを含み、隣接している層からの一対のノードは、複数の訓練可能パラメータと共に相互に接続され、前記信号を前の層から次の層に渡し、
前記プロセッサは、
前記ニューラルネットワークの層深度方向およびノード幅方向の多次元分布に従って、確率論的方法で正則化を行うために各ニューロンノードの出力信号を修正する前記乱数発生器を実行するように構成され、少なくとも１つの層は、ニューロンノードの全体にわたって異なるドロップアウト率プロファイルを有し、
前記ニューラルネットワークの出力が複数の目的関数においてより良い値を提供するように、前記訓練データを用いて前記ニューラルネットワークのパラメータを更新するように構成された前記訓練演算子と、
圧縮された潜在変数を含む前記ニューラルネットワークの各層の前記ニューロンノードの出力をプルーニングすることによって、下流試験段階の新たな入来データの計算複雑さを削減するように構成された適応型トランケータとを実行するように構成されている、システム。
【請求項2】
前記ニューラルネットワークは、少なくともエンコーダネットワークおよびデコーダネットワークを形成する複数のカスケード接続ニューラルネットワークブロックを含み、確率論的ボトルネックが、少なくとも１つの中間層において、前記ノードの全体にわたって異なるドロップアウト率を有する適応可能な低次元潜在変数を表すより少ない数のニューロンを有し、前記エンコーダネットワークによるレートレス特徴抽出および前記デコーダネットワークによる柔軟なデータ再構築を可能にする、請求項１に記載のシステム。
【請求項3】
単調に増加するドロップアウト率プロファイルに従って、連続ノードの下位テールセグメントを同時に確率的に切り捨てることによって、前記ノード出力をランダムにドロップすると共に、前記ニューラルネットワークのパラメータを訓練するための連続ノードの上位ヘッドセグメントを残す、請求項２に記載のシステム。
【請求項4】
前記ドロップされたノードおよび前記残されたノードを個々のニューラルネットワークに相補的に供給し、前記抽出された特徴をシームレスに解放することによって、上位ノードおよび下位ノードは、マルチタスクおよび敵対的最適化を行うための２つの目的関数において異なる重要度を有し、転送可能な潜在的表現を可能にする、請求項３に記載のシステム。
【請求項5】
前記エンコーダネットワークおよび前記デコーダネットワークは、線形投影特徴抽出を線形主要成分分析、ＰＣＡ、エンコーダおよびデコーダと一体化することによって、モデル支援適応型次元削減を可能にする、請求項２に記載のシステム。
【請求項6】
前記ネットワーク深度および幅は、確率的深度および幅によって適応的にスケーリングされ、より深い層およびより広い層は、訓練時により高い確率でドロップされ、下流のシステムを再訓練することなく、前記ニューラルネットワークのサイズを調整することを可能にする、請求項１に記載のシステム。
【請求項7】
多項式関数、指数関数、べき関数、ポアソン関数、ウィグナー関数、およびラプラシアン関数に基づく複数のパラメトリック関数の組み合わせは、特定の重みと共に使用され、ネットワーク深度および幅の全体にわたって多次元正則化プロファイルを指定する、請求項１に記載のシステム。
【請求項8】
ドロップアウト、スワップアウト、ゾーンアウト、ブロックアウト、ドロップコネクト、ノイズ注入、サイドドロップ、テールドロップ、およびシェイキングの組み合わせは、前記乱数発生器と共に使用される、請求項１に記載のシステム。
【請求項9】
畳み込み層、リカレントフィードバック、ルーピー接続、スキップ接続、インセプション、およびアクティベーションの組み合わせは、使用される、請求項１に記載のシステム。
【請求項10】
平均二乗誤差、クロスエントロピー、構造類似度、負の対数尤度、絶対誤差、交差共分散、クラスタリング損失、発散、ヒンジ損失、ヒューバー損失、負のサンプリングおよびトリプレット損失の組み合わせは、使用される、請求項１に記載のシステム。
【請求項11】
アップデータは、確率的勾配降下、適応運動量、適応勾配、適応境界、ネステロフ加速勾配、および二乗平均平方根伝搬の組み合わせを使用して、前記ニューラルネットワークの前記訓練可能なパラメータを最適化する、請求項１に記載のシステム。
【請求項12】
変分型ランダムサンプリングを用いて、生成モデルを構築する、請求項２に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般的に、人工ニューラルネットワークシステムおよびニューラルネットワークを設計するための方法に関し、特に、柔軟な正則化および適応可能な次元削減を達成するために、ニューラルネットワークに行われた不均一なドロップアウトに関する。
【背景技術】
【0002】
データ分析および通信を行う前に、特徴抽出および次元削減が重要である。多くの実際の応用において、生データ測定値（例えば、音声／発話、画像、映像、および生物学的信号）は、通常、非常に高い次元を有する。高次元を適切に扱うには、元のデータを、削減された次元を有する意味のある特徴表現に変換する次元削減技術を適用する必要がある。このような特徴表現の次元数を、データの顕著な特性を捕捉するのに必要な最小数に削減する必要がある。データ分析において次元数が指数関数的に増加するという課題、いわゆる次元の呪詛を軽減する必要があるため、次元削減は、多くの機械学習および人工知能用途において重要である。いままでは、次元を削減するためのアルゴリズム、例えば、主成分分析（ＰＣＡ）、カーネルＰＣＡ（kernel PCA）、イソマップ（Isomap）、最大分散展開（maximum variance unfolding）、拡散マップ（diffusion maps）、局所線形埋め込み（locally linear embedding）、ラプラシアン固有マップ（Laplacian eigenmaps）、局所接線空間分析（local tangent space analysis）、サモンマッピング（Sammon mapping）、局所線形協調（locally linear coordination）およびマニホルドチャート化（manifold charting）が多くある。過去数十年間、自動エンコーダ（ＡＥ）と呼ばれる人工ニューラルネットワーク（ＡＮＮ）に基づいた潜在表現学習という非線形技術は、ＰＣＡなどの伝統的な線形技術に比べて、優れた性能を示しているため、次元削減に広く使用されている。
【0003】
次元削減の１つの課題は、特定の応用に必要なデータ特徴を充分に捕捉することができる最適な潜在次元を決定することである。いくつかの正則化技術、例えば、スパースＡＥ（ＳＡＥ）およびレート歪みＡＥ（rate-distortion AE）が有効な次元数を調整するために有用であり得るが、学習済みＡＥモデルを修正せず、異なる下流応用の歪み要件の変動に応じて潜在次元のシームレス調整を可能にすると共に、適応性を提供する現行の方法は、存在していない。いくつかの現行の研究は、階層アーキテクチャおよび漸進的なスタッキングに条件付きＡＥ学習を強制する。しかしながら、これらの従来方法は、煩雑な再学習を複数回に行う必要がある。したがって、ランキング付き潜在変数を提供する線形ＰＣＡとは異なり、現行のＡＥは、典型的には、等しく重要な潜在変数を提供するという欠点を有する。
【0004】
潜在変数のサイズを決定する課題と同様に、著しく浅く狭い人工ニューラルネットワークがうまく機能せず、不必要に深く広い人工ニューラルネットワークが機能するために非現実的に大量の学習データを必要とするため、人工ニューラルネットワークのサイズを決定することは、困難である。ドロップアウトの使用は、過完全ネットワークをうまく正則化することができるため、過剰適合を防止することができる。より深い層により高いドロップアウトを使用する確率論的深度法（stochastic depth method）は、深すぎるニューラルネットワークのネットワーク深度の有効サイズを自己組織化することができる。しかしながら、ネットワーク幅のサイズを決定することは、依然として設計者の試行錯誤を必要とする。
【0005】
したがって、柔軟な正則化および適応可能な次元削減を達成するために、ニューラルネットワークシステムおよびニューラルネットワークを設計するための方法を開発する必要がある。
【発明の概要】
【0006】
本発明のいくつかの実施形態によれば、人工ニューラルネットワークの柔軟な正則化および適応可能なスケーリングを行うためのシステムが提供される。このシステムは、人工ニューラルネットワークおよび学習データを記憶するためのメモリと、信号および学習データを、一連の層を含むニューラルネットワークに送信するためのプロセッサおよびインターフェイスとを含み、各層は、一組のニューロンノードを含み、隣接している層からの一対のノードは、複数の学習可能パラメータと共に相互に接続され、信号を前の層から次の層に渡す。このシステムは、ニューラルネットワークの層深度方向およびノード幅方向の多次元分布に従って、確率論的方法で正則化を行うために各ニューロンノードの出力信号を修正する乱数発生器を含み、少なくとも１つの層は、ニューロンノードの全体にわたって異なるプロファイルを有する。このシステムは、ニューラルネットワークの出力が複数の目的関数においてより良い値を提供するように、学習データを用いてニューラルネットワークのパラメータを更新する学習演算子と、圧縮サイズのニューラルネットワークの各層のニューロンノードの出力をプルーニングすることによって、下流試験段階の実行中の新たな入来データの計算複雑さを削減する適応型トランケータとを含む。
【0007】
本発明は、柔軟な次元削減を可能にするレートレスＡＥを設計するための方法を提供する。本発明の方法は、従来のＰＣＡが整列された主成分を単に付加またはドロップすることによって任意の次元を調整するレートレス特性を有するという認識に基づく。本発明の方法およびシステムは、不均一なドロップアウトを用いて順序付き潜在変数を作成する確率論的ボトルネックアーキテクチャを使用する。具体的には、各レイヤに不均一な正則化を行うことにより過完全人工ニューラルネットワークを学習することによって、中間層に最も支配的な特徴を学習するための上位隠れノードを優先させる。
【0008】
中間層に決定論的ボトルネックを有する従来のＡＥとは異なり、いくつかの実施形態に提案されたアーキテクチャは、確率論的にプルーニングされたボトルネックを使用することによって、適応可能な次元削減を達成する。これによって、エンドユーザは、計算の複雑さを自由に調整することができる。また、本発明の実施形態は、特定の確率分布に従って、潜在空間のテールに位置する連続ニューロンをドロップするテールドロップと呼ばれる特定のドロップアウトメカニズムによって、このレートレス特性を実現する。また、いくつかの実施形態は、より良好な性能を提供するために、線形ＰＣＡを非線形ＡＥと一体化するアーキテクチャを記載している。本発明によれば、エンドユーザは、全ての範囲の次元の優れた歪み性能を達成しながら、次元を柔軟に変更することができる。
【0009】
不均一正則化のいくつかの実施形態は、中間隠れ層に位置する隠れノードの全体にわたって単調に増加するドロップアウト率を使用する。これによって、過度にパラメータ化されたニューラルネットワークの効果的なダウンサイジングを行うことができる。さらに別の実施形態は、多次元ドロップアウト率プロファイルを使用して、深度方向および幅方向の全体にわたって不均一なドロップアウト率を使用する。これによって、これらのハイパーパラメータを決定論的に指定することなく、過度にパラメータ化された深度および幅を効果的に削減することができる。本発明の方法およびシステムは、特定のサイズに対してニューラルネットワークを再学習することなく、ニューラルネットワークの深度および幅パラメータの柔軟な調整を行うことができる。
【0010】
いくつかの実施形態は、特定のドロップアウト率で連続ニューロンノードに対して同時ドロップアウトを使用する。いくつかの実施形態は、テールドロップと呼ばれる正則化技法を使用する。この場合、連続ニューロンノードは、１つのノードから最後のノードまでランダムにドロップされる。さらに別の実施形態は、複数の次元でニューロンノードを同時にドロップする。例えば、深度方向および幅方向の全体にわたる２次元（２Ｄ）ボトムドロップが挙げられる。
【0011】
いくつかの実施形態は、多目的最適化という意味で、深度方向および幅方向またはチャネル方向の全体にわたって最適化されたドロップアウト分布を使用する。分布プロファイルは、２Ｄドロップアウト率を指定するいくつかのハイパーパラメータ、例えば、指数分布、ローレンツ分布、多項式分布、シグモイド分布、度数分布、幾何分布、ポアソン分布、またはウィグナー分布を有するパラメトリックであってもよい。これによって、ユーザは、プルーニングするノードの数にかかわらず、任意の中間層のニューロンノードをプルーニングするときに歪みを小さくすることができる。ニューラルネットワークのこのダウンサイジング能力は、下流の使用事例に対する計算の複雑さを削減することができる。
【0012】
いくつかの実施形態は、ユーザが生成モデルを使用することができるように、中間層のランダムサンプリングを含む変分原理を使用する。本発明の方法は、完全接続層、畳み込み層、プーリング／アンプーリング層、スキップ接続、ルーピーフィードバック、リカレントフィードバック、インセプションモジュール、半教師付き学習などを使用することに適合する。別の実施形態は、ドロップアウト正則化の代替的な正則化として、幅方向および深度方向の全体にわたって不均一な分散を有するランダムノイズ注入を使用する。
【0013】
いくつかの実施形態は、確率論的ボトルネックニューラルネットワークの損失関数を最小化するための平均二乗誤差（ＭＳＥ）を使用する。代替的には、より知覚的な損失関数の場合、構造類似度（ＳＳＩＭ）を使用することができる。また、目的関数は、クロスエントロピー、負の対数尤度、絶対誤差、交差共分散、クラスタリング損失、ＫＬ発散、ヒンジ損失、ヒューバー損失、負のサンプリング、およびトリプレット損失の組み合わせを含んでもよい。学習された生成モデルを用いて、敵対的学習を行うことによって、データ中心の知覚損失を測定することができる。クロスエントロピー損失関数を使用して、分類タスクを行う。複数の損失関数を使用するマルチタスク最適化も適用される。いくつかの実施形態において、ニューロンを２つの別個の分岐に向かって相補的にドロップするスワップアウトが採用される。これによって、非決定論的ソフト解放が達成される。さらに別の実施形態において、複数の異なるドロップアウト率プロファイルは、共通のニューロンノードに使用され、残されたニューロンの出力は、ニューラルネットワークの複数の分岐に供給される。例えば、第１の分岐に対して単調増加プロファイルを使用し、第２の分岐に対して単調減少プロファイルを使用し、および最後の分岐に対して正弦曲線プロファイルを使用することによって、異なるドメインの潜在変数に特定の優先度を与えることができる。
【0014】
以下、添付の図面を参照して本開示の実施形態をさらに説明する。図面は、必ずしも一定の縮尺で描かれていない。その代わりに、本開示の実施形態の原理を示すために、図面を強調する場合がある。
【図面の簡単な説明】
【0015】
【図1A】ボトルネックアーキテクチャ、すなわち、中間層により少ない数のニューロンノードを有する２つの決定論的ニューラルネットワーク、すなわち、エンコーダおよびデコーダをカスケード接続する従来のＡＥアーキテクチャを示す図である。
【図1B】関連技術のスパースＡＥアーキテクチャを示す図である。
【図1C】本発明の実施形態に従って、ドロップアウト率が同一ではなく、例えばネットワークの幅の全体にわたって漸進的に増加する確率論的幅の概念を示す図である。
【図1D】本発明の実施形態に従って、柔軟な次元削減方法のステップを示すフローチャートの一例である。
【図2A】ネットワーク深度の自己調整を行うために、層の深度の全体にわたってドロップアウト率を増加する従来の（従来技術の）アプローチを示す図である。
【図2B】本発明の実施形態に従って、不均一なドロップアウト率分布を有する確率論的幅正則化（独立）を示す図である。
【図2C】本発明の実施形態に従って、不均一なドロップアウト率を実現するために、テールドロップを有する確率論的幅正則化（テールドロップ）の実施形態を示す図である。
【図2D】本発明の実施形態に従って、トライアルドロップ分布の一例を示す図である。
【図3A】本発明の実施形態に従って、柔軟な次元削減を行うために、非線形ＡＥ方法を組み合わせる方法を示す図である。
【図4】本発明に従ったシステムの一実施形態を示す図である。
【図5A】下流次元削減を行うために、決定論的スパースＡＥアプローチ（従来技術）によって再構築された画像の実施例を示す図である。
【図5B】本発明の実施形態に従って、下流次元削減を行うために、確率論的ボトルネックＡＥアプローチによって再構築された画像の実施例を示す図である。
【図6】本発明の実施形態に従って、異なる目的関数に指定されたソフト解放潜在表現の相補的ドロップアウトを示す図である。
【発明を実施するための形態】
【0016】
図１Ａは、ボトルネックアーキテクチャを有する２つの決定論的ニューラルネットワーク、すなわち、エンコーダ２０およびデコーダ４０を利用する従来のＡＥ（従来技術）アーキテクチャ１０を示す。エンコーダは、デジタルビデオ信号などのオリジナルデータを入力層２１から送り込み、隠れ層２２を介して次元削減の潜在変数３０を生成する。デコーダは、潜在変数３０の再生するためのデータを隠れ層４１を介して出力層４２に送り出す。ネットワークの幅は、エンコーダとデコーダとの間にボトルネックをなすように狭くなる。より具体的には、入力層および出力層に比べて、中間潜在層に位置するニューロンノードの数は、比較的少ない。これによって、データを（ボトルネックに位置する変数によって表される）低次元潜在空間３０に変換し、低次元表現からデータを再構築するように、ネットワークに強制的に学習させることができる。
【0017】
中でも、ＡＥは、データセットの基礎をなす非線形多様体に必要とされる低次元潜在変数を学習する高い潜在能力を示している。図１Ａに示すに、ＡＥは、ボトルネックアーキテクチャを有する人工ニューラルネットワークである。この場合、Ｎ次元データは、エンコーダネットワークを介してＭ次元潜在表現（Ｍ≦Ｎ）に変換される。すなわち、入力層および出力層のノードの数は、Ｎであり、中間層３０のノードの数は、Ｍである。潜在変数は、デコーダネットワークを介して元のデータを再構築できる充分な特徴を含むべきである。
【0018】
ＡＥは、多くの場合、教師なし学習アプリケーションとして使用される。この場合、データは、分析する特定のラベルを有しないが、ユーザは、基礎表現を学習したい。エンコーダネットワークおよびデコーダネットワークを学習させると、デコーダネットワークは、その分布が実際のデータに近い仮想データを合成的に生成するのにも有用である。ランダム合成データを生成するために、潜在ノード３０は、多くの場合、変分原理を使用する。この場合、潜在変数は、乱数発生器の分布を指定するパラメータ値、例えば、正規分布の平均値および平方偏差を示す。
【0019】
エンコーダネットワークは、元のデータｘ∈ＲＮから、削減された次元Ｍを有する対応の潜在表現ｚ∈ＲＭをｚ＝ｆθ（ｘ）として生成する。式中、θは、エンコーダネットワークのパラメータ、すなわち、エンコーダネットワークの重み、バイアスおよび任意の学習変数を示す。潜在変数は、デコーダネットワークがデータをｘ′＝ｇφ（ｚ）として再構築することができるように、データマニホルドの統計的な配置を適切に取得すべきである。式中、φは、デコーダネットワークパラメータを表し、ｘ′∈ＲＮ。以下の式で示すように、エンコーダとデコーダの対（ｆθ，ｇφ）は、再構築損失（すなわち、歪み）を最小化するように共同学習される。
式中、損失関数Ｌ（ｘ，ｘ′）は、ｘとｘ′との間の歪み（例えば、ＭＳＥおよびＳＳＩＭ）を定量化するように選択される。ニューラルネットワークは、例えば、確率論的勾配降下、適応運動量、適応勾配、適応境界、ネステロフ加速勾配、または二乗平均平方根伝搬によって更新される。
【数1】
式中、損失関数Ｌ（ｘ，ｘ′）は、ｘとｘ′との間の歪み（例えば、ＭＳＥおよびＳＳＩＭ）を定量化するように選択される。ニューラルネットワークは、例えば、確率論的勾配降下、適応運動量、適応勾配、適応境界、ネステロフ加速勾配、または二乗平均平方根伝搬によって更新される。
【0020】
同様に、ＡＥは、非線形ＰＣＡ（ＮＬＰＣＡ）としても知られ、以下のように調整される。ＡＥモデルに非線形アクティブ化が存在しない単純ケースを考える場合、エンコーダおよびデコーダの機能は、単純なアフィン変換に減らされる。具体的には、エンコーダは、ｆθ（ｘ）＝Ｗｘ＋ｂとなり、学習可能なパラメータθは、線形重みＷ∈ＲＭ×Ｎおよびバイアスｂ∈ＲＭである。同様に、デコーダは、ｇφ（ｚ）＝Ｗ′ｚ＋ｂ′となり、φ＝｛Ｗ′，ｂ′｝∈｛ＲＮ×Ｍ，ＲＮ｝。歪みの計測がＭＳＥであり、データがカルーネン・レーベ定理に従って多変量ガウス分布に追従する場合、最適な線形ＡＥは、伝統的なＰＣＡと一致する。
【0021】
例えば、例示として、ガウスデータｘは、固有分解値Ｃ＝ΦΛΦＴを有する法線（ｍ，Ｃ）から由来すると仮定する。式中、平均値ｍ∈ＲＮ、共分散Ｃ∈ＲＮ×Ｎ。Φ∈ＲＮ×Ｎは、ユニタリ固有ベクトル行列であり、Λは、有序固有値λ１≧λ２≧・・・≧λＮ≧０の対角行列である対角［λ１，λ２，．．．，λＮ］∈ＲＮ×Ｎである。ＰＣＡの場合、エンコーダは、Ｍ個の主固有ベクトルΦＩＮ，Ｍを使用して、データを、Ｗ＝ＩＭ，ＮΦＴおよびｂ＝－Ｗｍを有するＭ次元潜在部分空間に投影する。式中、ＩＭ，Ｎ（ＩＭ，Ｎ∈ＲＭ×Ｎ）は、対角要素が１に等しく、他の要素がゼロである不完全な恒等行列を示す。デコーダは、Ｗ′＝ΦＩＮ，Ｍおよびｂ′＝ｍによる転置投影を使用する。ＭＳＥ歪みは、以下の式で定義される。
【数2】
【0022】
固有値が整列されているため、対応する順序で主成分を除去する時に、歪みは、優雅に低下する。当然ながら、順序が不適切である（例えば、逆である）場合、ＭＳＥは、かなり悪くなるであろう。
【0023】
伝統的なＰＣＡの利点の１つは、主成分の順序付けによる優雅なレートレス特性である。ファウンテンコード（fountain code）などのレートレスチャネルコーディングと同様に、ＰＣＡは、次元を削減するために、予め決められた圧縮比Ｍ／Ｎを必要とせず（代わりに、完全な次元でＭ＝Ｎとして計算される）、下流の用途に応じて、潜在次元を自由に調整することができる。より具体的には、ＰＣＡモデルを変更せず、単にｚ＝［ｚ１，ｚ２，．．．，ｚＭ］Ｔ中の最も非主要な成分Ｄ（Ｄ＝Ｍ－Ｌ）をドロップすること、すなわち、全てのｍ∈｛Ｌ＋１，．．．，Ｍ｝のテール変数をｚｍ＝０として無効化することによって、Ｍ次元で学習させられたＰＣＡエンコーダとデコーダを、潜在サイズＬ≦Ｍを有する低次元ＰＣＡに広く使用することができる。
【0024】
最適な潜在次元が前もって知られていないことが多いため、レートレス特性は、実際の応用において非常に有益である。異なる圧縮レートで複数のエンコーダとデコーダの対を学習する代わりに、１つの共通ＰＣＡモデルは、単にテール成分をドロップすることによって、最適な歪みを達成すると共に、全てのレートＬ／Ｎ（１≦Ｌ≦Ｍ）をカバーすることができる。例えば、データサーバは、特定の応用に対して、Ｍ次元に削減された学習済みＰＣＡモデルと共に、大規模な高次元データセットをリリースすることができる。しかしながら、様々な他の応用（例えば、異なる分析）に対して、さらに削減された次元が充分であるおよび／または最終タスクの学習性能を改善する可能性がある。様々な応用においてより少ない潜在変数を必要とするエンドユーザに対しても、ＰＣＡモデルを更新することなく、単に最も非主要な成分を破棄することによって、（ガウスデータ仮定の下で）最適なレート歪みトレードオフを達成することができる。
【0025】
それにもかかわらず、従来のＰＣＡは、多くの場合、非線形次元削減技術に比べて、実際のデータセットに対する性能が低下する。ＡＥは、調整済み線形ユニット（ＲｅＬＵ）またはシグモイドなどの非線形活性化関数を利用することによって、データの基礎をなす潜在表現の固有非線形性をより良く学習することができる。しかしながら、現行のＡＥは、概ね等しい重要度で潜在変数を学習するため、レートレス特性を容易に達成することができない。したがって、異なる標的次元を対応するために、複数のＡＥを学習および展開する必要がある。この欠点は、異なる次元に対して複数回の学習および再調整を必要とするスタック型ＡＥおよび階層型ＡＥによって採用されている漸進的次元削減手法にも存在している。本発明は、確率論的ボトルネックを利用して、任意の圧縮レートに適応可能なレートレスＡＥを実現するための効果的な方法を提供する。
【0026】
図１Ｂは、スパースＡＥ（ＳＡＥ）５０と呼ばれるＡＥアーキテクチャの確率論的プルーニングを使用する別の従来技術を示している。この場合、決定論的ネットワークを使用する代わりに、乱数発生器４３６を使用するドロップアウトによって、エンコーダおよびデコーダをランダム化する。ネットワークを介して計算する時に、いくつかのノードは、ゼロにランダムに設定される。決定論的ボトルネックアーキテクチャを有する従来のＡＥとは異なり、ＳＡＥは、ドロップアウトによって確率論的に削減された有効次元を有する確率論的ボトルネックを利用する。例えば、ＳＡＥエンコーダは、Ｍ次元変数ｚを生成し、共通の確率ｐでＭ次元変数ｚをランダムにドロップアウトすることによって、有効潜在次元Ｌ＝（１－ｐ）Ｍを生成する。各層内のノードの数を一定に保つ（決定論的ボトルネックを適用しない）と共に、中央の潜在変数層７０により近い層のドロップアウト率９０を増加させることによって、ネットワークの有効幅を漸進的且つ確率論的に狭くする。ドロップアウトの主な利点は、過完全ニューラルネットワークの過剰適合問題を防止することである。ランダムドロップアウトにより、計算の複雑さも低減される。ＳＡＥは、潜在変数をドロップアウトすることによって次元をさらに削減できるため、決定論的ＡＥよりも良い適応性を有するが、データ再構築のための潜在変数を等しい重要度で学習するため、柔軟なレートレスを達成することができない。
【0027】
図１ＡのＡＥ、図１ＢのＳＡＥ、変分ＡＥ（ＶＡＥ）、レート歪みＡＥおよび圧縮ＡＥを含むＡＥ変形のいくつかの従来技術は、全ての潜在変数がデータ再構築に本質的に等しく重要であるため、潜在表現の次元をさらに柔軟に削減する能力であるレートレス性に適していない。潜在表現のいくつかの成分をドロップアウトすると、再構築性能が急速に劣化する。
【0028】
したがって、本発明において、図１Ｃに示すように、システムは、確率論的ボトルネックという発想を導入し、ネットワークの幅方向１４０と共に、深度方向１４１の全体にわたってドロップアウト率を漸進的に増加する。これは、特に潜在変数層１２０に適用され、最も低いドロップアウト率を有する潜在変数を優先させる効果をもたらす。これらの成分は、ＰＣＡの線形次元削減の最も主要な成分と同様に、最も主要な潜在変数である。最も高いドロップアウト率を有する成分は、最も非主要な非線形潜在変数である。これによって、ユーザは、柔軟な次元削減方法として学習済みＡＥモデルを採用することができる。ユーザは、エンコーダをデータに適用することによって潜在表現を生成し、その後、最も非主要な潜在変数から成分を柔軟にドロップすることができる。これによって、適応可能な次元削減を行うための１つの学習済みＡＥモデルを使用して、特定の次元に微調整された従来のＡＥモデルに匹敵する歪みを達成しながら、データ再構築性能を優雅に低下する。
【0029】
本発明の方法およびシステムは、ボトルネックアーキテクチャのサイズを決定する必要がない新たなＡＥファミリーを提供することによって、シームレス次元削減用のレートレス特性を実現する。本発明の方法は、過完全アーキテクチャでＳＡＥに類似するが、ネットワークの幅、深度またはチャネルの全体にわたって変動するドロップアウト分布を採用するため、ＳＡＥの拡張バージョンとして見なされてもよい。本発明の方法のこの性質は、次元削減のための圧縮率を柔軟に変化しながら、ほぼ最適な歪みを達成するのに重要である。
【0030】
図１Ｄは、本発明の実施形態に従って、柔軟な次元削減方法のステップを示すフローチャートの一例である。まず、本発明の方法は、最大次元数に等しい潜在変数サイズを有し、処理されているデータに適用可能なオートエンコーダアーキテクチャを使用する（１５１）。次に、本発明の方法は、少なくとも潜在的表現層を含む中間層の幅方向および深度方向の全体に、不均一なドロップアウト率を適用することによって、オートエンコーダを学習する（１５２）。次いで、本発明の方法は、学習済みエンコーダを適用することによって、任意の新たな入来データサンプルの低次元潜在表現を生成する（１５３）。下流応用に対して、システムの各ユーザの適応型トランケータ４３５は、潜在変数を、各応用によって要求されたさらなる圧縮を行うための所望の次元数に適応的に切り捨てることができる（１５４）。これによって、計算の複雑さを削減することができる。最後に、学習済みデコーダを適用することによって、多くの歪みを引き起こすことなく、圧縮された潜在変数から元のデータを再生する（１５５）。
【0031】
いくつかの実施形態は、ユーザが生成モデルを使用することができるように、中間層にランダム分布を有する変分原理を使用する。本発明の方法は、完全接続層、畳み込み層、スキップ接続、ルーピーフィードバック、リカレントフィードバック、インセプションモジュール、半教師付き学習を使用することに適合する。別の実施形態は、ドロップアウト正則化の代替的な正則化として、幅方向および深度方向の全体にわたって不均一な分散を有するランダムノイズ注入を使用する。
確率論的ボトルネックの実現
確率論的ボトルネックの実現
【0032】
図１Ｃに示すように、本発明の方法は、ネットワークの幅方向、深度方向およびチャネル方向の両方にわたって変化する不均一なドロップアウト率分布を課す確率論的ボトルネックを採用する。いくつかの実施形態において、確率論的ボトルネックは、確率論的幅方法を用いて実現される。この確率論的幅方法は、重要度で潜在変数を順序付けるために、ＰＣＡに類似した方法に従って、ヘッド（上方）潜在変数ニューロンノードからテール（下方）ノードへ単調に増加するドロップアウト率を使用する。本発明の方法は、より重要な特徴をヘッドノードに集中させることによって、（最も非主要な成分と同様に）最も非重要な次元の一部が後で下流システムの他のユーザによって廃棄されても、適切なデータ再構築を可能にする。
【0033】
ドロップアウト技術自体は、過度にパラメータ化された深層ニューラルネットワークの正則化に広く使用されている。ドロップアウトの役割は、アクティブ化を強く相関させることにより過度学習を引き起こすことを防ぐことによって、総合性能を改善することである。標準的なドロップアウト実装において、独立確率ｐで学習（およびいくつかの実施形態においてテスト）中に（ネットワークのニューロンノードのアクティブ化をゼロにすることによって）、ネットワークアクティブ化を破棄する。
【0034】
いくつかの実施形態において、本発明の方法およびシステムは、正規ドロップアウトに加えて、いくつかの他の関連正則化方法、例えば、ドロップコネクト（Drop Connect）正則化、ドロップブロック（Drop-Block）正則化、確率論的深度（Stochastic Depth）正則化、ドロップパス（Drop Path）正則化、シェイクドロップ（Shake Drop）正則化、空間的ドロップ（Spatial Drop）正則化、ゾーンアウト（Zone Out）正則化、シェイク－シェイク（Shake-Shake）正則化、およびデータ駆動ドロップ（data-driven drop）正則化を採用する。確率論的ボトルネックＡＥアーキテクチャのレートレス特性を容易にするために、さらに別の実施形態は、確率論的幅の１つの実現例として、テールドロップと呼ばれる追加の正則化メカニズムを導入する。
【0035】
図２Ａ～２Ｄは、確率論的幅の発想と、テールドロップと呼ばれるいくつかの特定の実施形態とをさらに示す。図１Ｃで説明したように、確率論的ボトルネックは、不均一なドロップアウトを使用して、各ニューロンの重要度を調整する。この正則化技術は、深層残差ネットワークに使用されている確率論的深度正則化の拡張バージョンである。図２Ａに示すように、従来技術の確率論的深度正則化は、より深い層に対してより高いドロップアウト率２０６で層の全体をドロップする。これによって、有効なネットワーク深度が制約され、より浅い層が支配的に学習される。図２Ｂに示すように、本発明の確率論的幅正則化は、確率論的深度正則化に類似しているが、深度方向において確率論的深度正則化とは異なり、幅方向２１１の全体にわたって単調に増加するドロップアウト率２１２で不均一なドロップアウトを行い、増加するドロップアウト率で同じ中間層の各ニューロンを各々ドロップアウトする。図２Ｃに示すように、いくつかの実施形態において、単調に増加するドロップアウト率は、テール２２３の連続ノードをドロップすること（テールドロップと呼ばれる）によって実現することができる。テールドロップの場合、所望のドロップアウト率は、例えば、ポアソン（Poisson）分布プロファイル、ラプラシアン（Laplacian）分布プロファイル、指数分布プロファイル、シグモイド分布プロファイル、ローレンツ（Lorentzian）分布プロファイル、多項式分布プロファイル、およびウィグナー（Wigner）分布プロファイルを用いて、図２Ｄに示すようにテールドロップ長の確率分布を調整することによって達成されてもよい。いくつかの実施形態は、非線形固有スペクトル仮定のモデルベース方法に基づいて、次数β≒１に対してパワー累積分布関数Ｐｒ（Ｄ＜τＭ）＝τβを使用する（τは、圧縮率を表す）。
【0036】
図５Ａは、従来のＡＥによって手書き数字データセットに対して再構築された画像データの一例を示す。従来のＡＥは、決定論的ボトルネックアーキテクチャで学習された場合、ユーザが潜在変数を破棄する時に、画質を６４個の変数から４個の変数までの低次元表現に低下させる。図５Ｂは、本発明の確率論的ボトルネックの高い性能を示す。下流のユーザが次元を削減した場合でも、確率論的ＡＥを再学習する必要がなく、確率論的ＡＥによって再構築された画像を高品質に維持することができる。
モデル埋め込み確率論論的ボトルネック
モデル埋め込み確率論論的ボトルネック
【0037】
図３Ａは、上述したフレキシブル次元削減を行うために、非線形ＡＥ法をＰＣＡとして知られる線形フレキシブル次元削減を行うための別のモデルと組み合わせる方法を示す。「非線形減縮モジュール（エンコーダ）」３１６は、上述したＡＥのエンコーダに対応し、「非線形再構築モジュール（デコーダ）」３２０は、上述したＡＥのデコーダに対応し、「ＮＬ－Ｅ潜在」３１７は、エンコーダによって出力された潜在変数を指す。
【0038】
「ＰＣＡ減縮」３１２は、標準ＰＣＡ法によって学習された標準投影変換であり、「ＰＣＡ再構築」３１４は、標準ＰＣＡ法によって学習されたデータ再構築変換である。「ＰＣＡ潜在」３１３は、ＰＣＡ投影変換によって生成された潜在変数ベクトルであり、「ＰＣＡ出力」３１５は、ＰＣＡデータ再構築変換によって生成された再構築データである。図面の上部経路に沿って、データサンプルは、標準ＰＣＡ削減投影および再構築変換によって処理され、中間の「ＰＣＡリテント」３１３および最後の「ＰＣＡ出力」３１５は、確率論的ＡＥを用いてデータを処理する下部経路に一体化される。
【0039】
下部経路において、データサンプルは、「非線形減縮（エンコーダ）」３１６によって処理され、「ＮＬ－Ｅ潜在」３１７を生成する。しかしながら、この「ＮＬ－Ｅ潜在」は、直接に「非線形再構築（デコーダ）」３２０に供給されるのではなく、（例えば、各要素の加算、乗算、または連結であり得る）「潜在組み合わせ動作」３１８を介して、「ＰＣＡ潜在」と組み合わせられ、「組み合わせた潜在」３１９を生成する。この「組み合わせた潜在」３１９は、「非線形再構築（デコーダ）」３２０に供給される。また、（必要に応じて）「ＰＣＡ出力」３１５を入力として受信し、「ＮＬ－Ｄ出力」３２１を生成するように、「非線形再構築（デコーダ）」を変更してもよい。これは、通常のデータ再構築に対応する。しかしながら、我々の手順において、「ＮＬ－Ｄ出力」は、その後、（例えば、各要素の加算であり得る）「出力組み合わせ動作」３２２を介して「ＰＣＡ出力」と組み合わせられ、最終的なデータ再構築３２３を生成する。
【0040】
図３Ｂは、図３Ａの実施形態の別の変形例を示す。「ＮＬ－Ｄ出力」３２１を「ＰＣＡ出力」３１５に組み合わせる代わりに、「非線形再構築（デコーダ）」３６０の出力は、最終的なデータ再構築３６１として直接に使用される。
【0041】
上述した本開示の実施形態は、多くの方法で実装されてもよい。例えば、実施形態は、ハードウェア、ソフトウェア、またはそれらの組み合わせで実装されてもよい。ソフトウェアで実装される場合、ソフトウェアコードは、単一のコンピュータに設けられたまたは複数のコンピュータに分散されたことにも拘らず、任意の適切なプロセッサまたは一群のプロセッサで実行されてもよい。このようなプロセッサは、集積回路として実装されてもよい。１つの集積回路要素は、１つ以上のプロセッサを含むことができる。しかしながら、プロセッサは、任意の適切な回路で実装されてもよい。
【0042】
図４は、いくつかの実施形態に従って、複数のイベントを引き起こす複数の信号源を含むシステムを制御するための装置４００のブロック図を示す。システムの一例として、製造ラインが挙げられる。装置４００は、記憶された命令を実行するように構成されたプロセッサ４２０と、プロセッサによって実行可能な命令を記憶するためのメモリ４４０とを含む。プロセッサ４２０は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスタ、または任意の数の他の構成であってもよい。メモリ４４０は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、または任意の他の好適なメモリシステムを含むことができる。メモリ４４０は、装置４００の記憶装置４３０に記憶されたコンピュータ実行可能な命令（プログラム）を読み込むように構成され、プロセッサ４２０は、コンピュータ実行可能な命令を実行するように構成される。記憶装置４３０は、ニューラルネットワーク４３１と、線形ＰＣＡ４３２と、トレーナ／学習データ４３３と、動作データ４３４と、適応型トランケータ４３５と、乱数発生器４３６とを含むコンピュータ実行可能な命令を含む。プロセッサ４２０は、バス４０６を介して、１つ以上の入力装置および出力装置に接続される。
【0043】
これらの命令は、システムの複数のイベント中の異常を検出および／または診断するための方法を実装する。装置４００は、ニューラルネットワーク４３１を用いてオブジェクト異常を検出するように構成される。本明細書において、このようなニューラルネットワークは、構造上部分的に接続されたニューラルネットワークと呼ばれる。ニューラルネットワーク４３１は、システムの制御状態を診断するように学習される。例えば、ニューラルネットワーク４３１は、トレーナー（学習オペレータ）４３３によって、学習データを用いてオフラインで学習され、システムの動作データ４３４を用いてオンラインで異常を診断することができる。
【0044】
動作データの例は、システムの動作中に信号源から収集された信号、例えば、システムのイベントを含む。学習データの例は、一定の期間中に信号源から収集された信号を含む。その期間は、動作／製造が開始する前の期間であってもよく、および／またはシステムの動作中の期間であってもよい。
マルチタスクおよび適応可能なスケーリングを含む敵対的学習
マルチタスクおよび適応可能なスケーリングを含む敵対的学習
【0045】
上述した実施形態は、データセットがラベリングを有しなく、冗長性を有する場合に、次元削減を行うための教師なし学習のＡＥアーキテクチャに着目した。この目的のために、確率論的ＡＥは、平均二乗誤差（ＭＳＥ）または構造類似度（ＳＳＩＭ）を含むがこれらに限定されない歪み尺度を最小化するように学習される。いくつかの実施形態は、敵対的学習を用いてより知覚的な歪みを最小化する。これによって、デコーダの出力は、元のデータから区別され難い。
【0046】
さらに別の実施形態は、複数の目的関数を用いて、与えられた条件付きラベリングおよび迷惑変数で確率論的ＡＥを学習する。本発明の方法は、潜在変数を確率論的に解放する。例えば、残されたヘッドニューロンノードは、ＳＳＩＭを最大化するように１つのデコーダネットワークに供給され、相補的なテールニューロンノードは、ＭＳＥを迷惑変数に最小化するように他のデコーダネットワークに供給される。図６は、この実施形態の一例を示している。エンコーダは、潜在変数６１０を生成し、潜在変数６１０は、ランダムに不均一にドロップされる。残された潜在変数６５０は、敵対的分類器６２０用のニューラルネットワークに供給され、ドロップされた潜在変数６６０は、迷惑分類器６３０用の別のニューラルネットワークに供給される。この不均一な相補的ドロップアウト方法は、スワップアウトと呼ばれ、より解釈可能な潜在変数およびより柔軟な解釈可能性を可能にすることによって、ユーザがソフト解放を介して、歪みと転写可能性との間のトレードオフを調整することができる。その後、ソフト解放された潜在変数６１０は、ユーザによって適応型トランケータ４３５を用いてプルーニングされ、高い転送可能性で試験段階において異なるタスクを行うための他のニューラルネットワーク６４０に使用される。いくつかの実施形態において、非等方関数を有する複数の異なるドロップアウトプロファイルは、特定の損失関数に使用され、中間層のニューロンノードを解放する。
【0047】
本発明のいくつかの実施形態は、より一般的なニューラルネットワークアプリケーション、例えば画像分類およびデータ回帰において、確率論的幅を使用する。具体的には、デコーダブロックまたはボトルネックは、必要とされない。通常のフィードフォワード多層パーセプトロンアーキテクチャの場合、確率論的幅は、各層に使用される。従って、ユーザは、学習後にネットワークサイズを適応的に変更することができる。これは、ネットワークサイズ、すなわち、ニューロンサイズ（幅）、層サイズ（深度）およびチャネルの事前決定を必要とする現行のニューラルネットワークの設計問題を解決することができる。深度方向および幅方向に沿った各層の不均一なドロップアウト率は、最良のネットワークサイズの知識なしに、ネットワークサイズの適応可能なスケーリングを可能にする。システムは、学習段階で非常に深く広いネットワークを考察することができ、システムのユーザは、後のテスト段階で、分類または回帰アプリケーションのためのネットワークアーキテクチャを適応的に小型化することができる。
【0048】
さらに別の実施形態において、テールドロップは、隣接層に同時に適用される。これは、サイドドロップと呼ばれる。層の全体にわたってニューロンをドロップする境界を決定するためのプロファイルは、多項式関数などの２Ｄまたは３Ｄ継続関数プロファイルとして設計される。
【0049】
また、本開示の実施形態は、一例として提供された方法として具現化されてもよい。本方法の一部として実行される動作は、任意の適切な方法で順序付けられてもよい。したがって、例示的な実施形態において順次に実行される動作とは異なる順序で動作を実行すること、一部の動作を同時に実行することを含み得る実施形態を構築することができる。
【0050】
さらに、本発明は、可変の歪みおよび次元要件のためにシームレスに調整することができる柔軟な潜在次元を可能にするレートレスオートエンコーダを実現する新たな方法およびシステムを提供する。提案された発明は、決定論的ボトルネックアーキテクチャの代わりに、異なるドロップアウトで確率論的に正則化された過完全表現を使用する。従来技術とは異なり、本発明のニューラルネットワークは、ネットワークの幅、チャネルおよび深度にわたって多次元の不均一なドロップアウト率を使用する。これによって、ニューロンノードは、重要度で整列される。確率論的ボトルネックフレームワークを含む方法は、学習時に所定の潜在次元の最適化を必要とすることなく、高い再構築性能でシームレスなレート適応を達成する。いくつかの実施形態において、非均一正則化方法は、マルチタスクおよび敵対的学習を行うための複数の異なる目的関数を用いたデータ分類または回帰に適用される。本発明の方法は、汎用人工ニューラルネットワークのサイズを適応可能にスケーリングすることができる。すなわち、ネットワークの深度および幅は、学習段階において自己調整され、不均一な正則化を用いて学習されたネットワークのサイズは、下流ユーザによってシームレスに削減され、試験段階の計算複雑性を低減する。
【0051】
請求項において請求項要素を修飾するための順序用語、例えば第１、第２などの使用は、別の請求項要素に対する１つの請求項要素の優先順位、前後順位もしくは順序、または方法の動作を実行する時間順序を意味しておらず、単に請求項要素を区別するためのラベルとして使用され、（順序用語を使用することによって）特定の名前を有する１つの請求項要素と同じ名前を有する別の要素とを区別させる。
【0052】
好ましい実施形態を参照して本発明を説明したが、理解すべきことは、本発明の精神および範囲内で、様々な他の改造および修正を行うことができることである。したがって、添付の特許請求の範囲は、本発明の真の精神および範囲内にある全ての変形および修正を網羅する。
【図1A】
【図1B】
【図1C】
【図1D】
【図2A】
【図2B】
【図2C】
【図2D】
【図3A】
【図3B】
【図4】
【図5A】
【図5B】
【図6】
