特表2024-543715ドメイン解きほぐしを用いる自動化転移学習のためのシステムおよび方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-21
(54)【発明の名称】ドメイン解きほぐしを用いる自動化転移学習のためのシステムおよび方法
(51)【国際特許分類】
G06N 3/0985 20230101AFI20241114BHJP
【ＦＩ】
G06N3/0985
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024555572
(86)(22)【出願日】2022-09-30
(85)【翻訳文提出日】2024-05-14
(86)【国際出願番号】 JP2022037528
(87)【国際公開番号】W WO2023095460
(87)【国際公開日】2023-06-01
(31)【優先権主張番号】63/264,582
(32)【優先日】2021-11-25
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/649,578
(32)【優先日】2022-02-01
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】秋濃 俊昭
(72)【発明者】
【氏名】ワン，イェ
(72)【発明者】
【氏名】スメデマーク－マルグリーズ，ニクラス
(57)【要約】
人工ニューラルネットワークアーキテクチャの自動化構築のためのシステムおよび方法が提供される。システムは、信号を受信し送信するように構成された１組のインターフェイスおよびデータリンクを含む。信号は、訓練データ、検証データ、およびテストデータのデータセットを含む。信号は、多次元信号において１組の乱数因子を含む。乱数因子の一部は、識別するためのタスクラベルと、迷惑変動とに関連付けられる。システムはさらに、１組の再構成可能ディープニューラルネットワーク（ＤＮＮ）ブロック、ハイパーパラメータ、訓練可能変数、中間ニューロン信号、ならびに、順方向パス信号および逆方向パス勾配を含む仮計算値を格納するための１組のメモリバンクを含む。システムはさらに、インターフェイスおよびメモリバンクと接続された少なくとも１つのプロセッサを含み、少なくとも１つのプロセッサは、信号およびデータセットを再構成可能ＤＮＮブロックへ提示するように構成されている。少なくとも１つのプロセッサは、再構成可能ＤＮＮブロックがドメインシフトとともに新たなデータセットに転移可能となるように迷惑に対してロバストなベイズ推論を達成するように、正則化モジュール、前処理方法および後処理方法のハイパーパラメータを探索するように構成される。
【特許請求の範囲】
【請求項1】
人工ニューラルネットワークアーキテクチャの自動化構築のためのシステムであって、信号を送受信するように構成された１組のインターフェイスおよびデータリンクを含み、前記信号は、訓練データ、検証データ、およびテストデータのデータセットを含み、前記信号は、多次元信号Ｘにおいて１組のランダム変数因子を含み、前記ランダム変数因子の一部は、識別するためのタスクラベルＹと、迷惑変動Ｓとに関連付けられ、前記システムはさらに、
１組の再構成可能ディープニューラルネットワーク（ＤＮＮ）ブロックを格納するための１組のメモリバンクを含み、前記再構成可能ＤＮＮブロックの各々は、前記多次元信号Ｘから前記タスクラベルＹを識別するための主タスクパイプラインモジュールと、複数の潜在変数Ｚと前記迷惑変動Ｓとの間の解きほぐしを調節するための１組の補助正則化モジュールとを有して構成され、前記メモリバンクはさらに、ハイパーパラメータ、訓練可能変数、中間ニューロン信号、ならびに、順方向パス信号および逆方向パス勾配を含む仮計算値を含み、前記システムはさらに、
前記インターフェイスおよび前記メモリバンクと接続され、前記信号および前記データセットを前記再構成可能ＤＮＮブロックへ提示するように構成された、少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサは、１組のグラフィカルモデル、１組のプリショット正則化方法、１組の前処理方法、１組の後処理方法、および１組のポストショット適応方法にわたって探索を実行して、前記メモリバンクにおいて前記ハイパーパラメータを修正することによってタスク予測が前記迷惑変動Ｓを感じないように前記再構成可能ＤＮＮブロックを再構成するように構成される、システム。
【請求項2】
前記少なくとも１つのプロセッサはさらに、ベイズ・ボールアルゴリズムに基づいてベイズグラフモデルおよび推論因子グラフを表わす前記１組のグラフィカルモデルを特定するように前記ハイパーパラメータを修正するステップと、
前記ベイズグラフモデルおよび前記推論因子グラフに従って、前記多次元信号Ｘ、前記タスクラベルＹ、前記迷惑変動Ｓ、および前記潜在変数Ｚに関して、前記ランダム変数因子に関連付けるようにグラフノードをグラフエッジとリンクさせることによって、前記再構成可能ＤＮＮブロックを修正するステップと、
前記訓練データについて、変分サンプリングおよび勾配方法を用いて前記再構成可能ＤＮＮブロックを訓練するステップと、
前記検証データについて、前記再構成可能ＤＮＮブロックの出力に基づいて前記ハイパーパラメータを選択するステップと、
迷惑に対するロバスト性を有して転移されるべき進行中の前記テストデータおよび新たな着信データについて、訓練された前記再構成可能ＤＮＮブロックをテストするステップとを実行する、請求項１に記載のシステム。
【請求項3】
前記少なくとも１つのプロセッサはさらに、異なる打ち切りモードおよび打ち切り方法に基づいて前記１組のプリショット正則化方法を特定するように前記ハイパーパラメータを修正するステップを実行し、前記打ち切りモードは、限界的打ち切りモード、条件付き打ち切りモード、相補的打ち切りモード、またはそれらの組合せに基づいており、前記打ち切り方法は、ダイバージェンス打ち切り方法、相互情報打ち切り方法、およびそれらの変形に基づいており、前記少なくとも１つのプロセッサはさらに、
前記１組のプリショット正則化方法に従って潜在ノードＺのうちの少なくとも１つが迷惑変動Ｓのうちの少なくとも１つから解きほぐされるように、前記１組の補助正則化モジュールを前記再構成可能ＤＮＮブロックに関連付けるステップと、
前記訓練データに基づいて、前記再構成可能ＤＮＮブロックを、前記１組の補助正則化モジュールを用いて訓練するステップと、
前記検証データについて、前記再構成可能ＤＮＮブロックの出力に基づいて、１組の前記打ち切りモードおよび１組の前記打ち切り方法のための前記ハイパーパラメータを選択するステップとを実行する、請求項１に記載のシステム。
【請求項4】
前記打ち切り方法は、敵対的打ち切り方法、相互情報ニューラル推定（mutual information neural estimation：ＭＩＮＥ）打ち切り方法、相互情報勾配推定（mutual information gradient estimation：ＭＩＧＥ）打ち切り方法、最大平均不一致（minimum mean discrepancy：ＭＭＤ）打ち切り方法、ペアワイズ最大平均不一致（ＭＭＤ）打ち切り方法、境界平衡敵対的生成ネットワーク（boundary equilibrium generative adversarial network：ＢＥＧＡＮ）弁別器打ち切り方法、ヒルベルト・シュミット独立性基準（Hilbert-Schmidt independence criterion：ＨＳＩＣ）打ち切り方法、最適輸送打ち切り方法、およびそれらの変形を含む、請求項３に記載のシステム。
【請求項5】
前記少なくとも１つのプロセッサは、空間フィルタリング、時空間フィルタリング、ウェーブレット変換、ベクトル自己回帰フィルター、自己注意マッピング、ロバストなｚスコアリング、正規化、データ拡張、汎用敵対例、およびそれらの変形に基づいて前記１組の前処理方法を特定するように前記ハイパーパラメータを修正するステップと、
前記１組の前処理方法に従って、前記訓練データ、検証データ、およびテストデータを修正して、前記再構成可能ＤＮＮブロックにおいて供給するステップとを実行する、請求項１に記載のシステム。
【請求項6】
前記１組の後処理方法は、相互検証投票、アンサンブルスタッキング、スコア平均化、およびそれらの変形を含む、請求項１に記載のシステム。
【請求項7】
前記１組のポストショット適応方法は、疑似ラベリング、ソフトラベリング、混乱最小化、エントロピー最小化、特徴正規化、加重ｚスコアリング、弾性重み統合、ラベル伝搬、適応層凍結、ハイパーネットワーク適応、潜在空間クラスタ化、量子化、疎化、およびそれらの変形を含み、前記再構成可能ＤＮＮブロックは、前記再構成可能ＤＮＮブロックが新ドメインデータセットに適応するように前記訓練可能変数の組合せを解凍することによって精製される、請求項１に記載のシステム。
【請求項8】
前記変分サンプリングは、再パラメータ化トリックのためのその事前分布としての、指数分布族または非指数分布族によって特定された独立分布を有する前記潜在変数のために採用されるとともに、乱数発生器およびsoftmax温度に基づいてワンホットに近いベクトルを生成するためにガンベルsoftmaxトリックを使用する未知の迷惑変動およびタスクラベルのカテゴリ的変数のために採用される、請求項２に記載のシステム。
【請求項9】
リンク連結はさらに、次元不整合リンクのためにより低次元の信号を変換するための複数の訓練可能線形フィルターまたは双線形フィルターを用いる多次元テンソル射影のステップを含む、請求項２に記載のシステム。
【請求項10】
前記再構成可能ＤＮＮブロックは、整流線形変形、双曲線正接、sigmoid、ゲートリニア、softmax、およびしきい値化を含む１組の非線形活性化を有する、完全接続層、畳み込み層、グラフ畳み込み層、再帰層、ルーピー接続、スキップ接続、および開始層の組合せを有して構成されるとともに、ドロップアウト、スワップアウト、ゾーンアウト、ブロックアウト、ドロップコネクト、ノイズ注入、揺れ、およびバッチ正規化の組合せを用いて正則化される、請求項１に記載のシステム。
【請求項11】
前記訓練するステップは、前記再構成可能ＤＮＮブロックの出力が目的関数の組合せにおいてより小さい損失値を提供するように、前記訓練データを使用することによって前記再構成可能ＤＮＮブロックの訓練可能パラメータを更新するステップを行ない、前記目的関数はさらに、平均二乗誤差、交差エントロピー、構造類似性、負の対数尤度、絶対誤差、交差共分散、クラスタ化損失、ダイバージェンス、ヒンジ損失、フーバー損失、負のサンプリング、ワッサースタイン距離、およびトリプレット損失の組合せを含み、損失関数は、特定された訓練スケジュールに従って調節された複数の正則化係数を用いて重み付けされる、請求項２に記載のシステム。
【請求項12】
前記勾配方法は、前記再構成可能ＤＮＮブロックの訓練可能パラメータを最適化するために、確率的勾配降下法、適応運動量、適応勾配、適応境界、ネステロフ加速勾配法、および二乗平均平方根伝搬の組合せを採用する、請求項２に記載のシステム。
【請求項13】
前記データセットは、画像、写真、映画、テキスト、文字、声、音楽、オーディオ、音声、およびそれらの変形のようなメディアデータ、
電波、光信号、電気パルス、温度、圧力、加速度、速度、振動、力、およびそれらの変形のような物理的データ、ならびに、
心拍数、血圧、質量、水分、脳波図、筋電図、心電図、筋音図、眼電図、電気皮膚反応、脳磁気図、皮質脳波記録、およびそれらの変形のような生理学的データ、
をさらに含むセンサ測定値の組合せを含む、請求項１に記載のシステム。
【請求項14】
前記迷惑変動は、１組の被験者識別情報、セッション番号、生物学的状態、環境状態、センサ状態、位置、配向、サンプリングレート、時間、および感度を含む、請求項１に記載のシステム。
【請求項15】
前記再構成可能ＤＮＮブロックの各々はさらに、１組の人工ニューロンノードを有する１組の層を特定するハイパーパラメータを含み、隣接する層からのニューロンノードのペアが、信号を前の層から次の層へ順次渡すように複数の訓練可能変数および活性化関数と相互接続される、請求項１に記載のシステム。
【請求項16】
前記迷惑変動Ｓは、教師あり設定、半教師あり設定、および教師なし設定の組合せに従って、複数のドメイン側情報としての変動Ｓ１、Ｓ２、…、ＳＮの複数の因子へとさらに分解され、前記潜在変数は、解きほぐされた特徴ベクトルとしての潜在変数Ｚ１、Ｚ２、…、ＺＬの複数の因子へとさらに分解される、請求項１に記載のシステム。
【請求項17】
前記ハイパーパラメータを修正するステップは、離散的および連続的なハイパーパラメータ値の異なる組合せを探索するために、強化学習、進化戦略、差分進化、粒子群、遺伝的アルゴリズム、アニーリング、ベイズ最適化、ハイパーバンド、および多目的ラマルク進化論の組合せを採用する、請求項２に記載のシステム。
【請求項18】
１組の前記ハイパーパラメータは、確率伝搬法を使用して前記訓練データと前記検証データとの不一致を測定することによって、学習速度、正則化重み、因数分解置換、および優先順位の低いリンクをプルーニングするためのポリシーの適応制御を含む１組の訓練スケジュールを含む、請求項１に記載のシステム。
【請求項19】
人工ニューラルネットワークアーキテクチャの自動化構築のための、コンピュータにより実現される方法であって、訓練データ、検証データ、およびテストデータのデータセットを供給するステップを含み、前記データセットは、多次元信号Ｘにおいて１組のランダム変数因子を含み、前記ランダム変数因子の一部は、識別するためのタスクラベルＹと、迷惑変動Ｓとに関連付けられ、前記方法はさらに、
前記多次元信号Ｘから前記タスクラベルＹを識別するための１組の再構成可能ディープニューラルネットワーク（ＤＮＮ）ブロックを構成するステップを含み、前記１組の再構成可能ＤＮＮブロックは、複数の潜在変数Ｚと前記迷惑変動Ｓとの間の解きほぐしを調節するための１組の補助正則化モジュールを含み、前記方法はさらに、
前記訓練データについて、タスク予測が正確であるように確率的勾配最適化を介して前記１組の再構成可能ＤＮＮブロックを訓練するステップと、
前記検証データについて、前記タスク予測が前記迷惑変動Ｓを感じないように最良のハイパーパラメータを検索するために前記１組の補助正則化モジュールを探索するステップとを含む、方法。
【請求項20】
前記１組の補助正則化モジュールは、異なる打ち切りモードおよび打ち切り方法に基づいており、前記打ち切りモードは、限界的打ち切りモード、条件付き打ち切りモード、相補的打ち切りモード、またはそれらの組合せを含み、
前記打ち切り方法は、
ダイバージェンス打ち切り方法、相互情報打ち切り方法、およびそれらの変形に基づいており、
前記打ち切り方法はさらに、
敵対的打ち切り方法、相互情報ニューラル推定打ち切り方法、相互情報勾配推定打ち切り方法、最大平均不一致打ち切り方法、ペアワイズ最大平均不一致打ち切り方法、境界平衡敵対的生成ネットワーク弁別器打ち切り方法、ヒルベルト・シュミット独立性基準打ち切り方法、最適輸送打ち切り方法、およびそれらの変形を含む、請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人工ニューラルネットワークの自動化訓練システムに関し、より特定的には、迷惑因子解きほぐし（nuisance factor disentanglement）を用いる人工ニューラルネットワークの自動化転移学習およびドメイン適応システムに関する。
【背景技術】
【0002】
ディープニューラルネットワーク（deep neural network：ＤＮＮ）に基づいたディープラーニング手法の大きな進歩は、映像、音声、および画像についてのメディア信号処理と、電波、電気パルス、および光ビームについての物理的データ処理と、心拍数、温度、および血圧についての生理学的データ処理とを含むデータ処理におけるさまざまな問題を解決してきた。たとえば、ＤＮＮは、脳波図（electroencephalogram：ＥＥＧ）および筋電図（electromyogram：ＥＭＧ）といったユーザの生体信号の分析を通して、ヒューマンマシンインターフェイス（human-machine interface：ＨＭＩ）のより実用的な設計を可能にした。しかしながら、そのような生体信号は、各被験者の生物学的状態だけでなく測定センサの不完全性および実験セットアップの不整合性に依存して非常に変動しやすい。よって、典型的なＨＭＩシステムでは、頻繁な較正がしばしば必要とされる。ＨＭＩシステムに加えて、データ分析はしばしば、ノイズ、干渉、バイアス、ドメインシフトなどといった多くの迷惑因子に遭遇する。したがって、異なるデータセットドメイン間でそれらの迷惑因子に対してロバストであるディープラーニングが求められる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
この問題の解決に向けて、敵対的条件付き変分オートエンコーダ（Adversarial Conditional Variational AutoEncoder：Ａ－ＣＶＡＥ）などの敵対的訓練を採用する迷惑不変の（nuisance-invariant）方法が、被験者不変の（subject-invariant）ＨＭＩシステムなどのドメイン間一般化ディープラーニングを実現するためのドメイン較正を減少させるために現れた。標準的なＤＮＮ分類器／回帰器と比較すると、エンコーダ、迷惑条件付きデコーダ、および敵対者ネットワークなどの追加の機能ブロックを一体化することは、新たなドメインデータがなくてもドメイン一般化が得られるため、優れた迷惑不変性能を提供する。ＤＮＮ構造は、より多くの機能ブロックおよびより多くの潜在層を用いて潜在的に拡張され得る。しかしながら、ほとんどの作業は、ＤＮＮのブロック接続性およびアーキテクチャを決定するために人間の設計に依拠する。具体的には、ＤＮＮ手法はしばしば、人間の洞察力を用いてデータモデルを設計する専門家によって手作りされる。ＤＮＮのアーキテクチャを最適化する方法は、試行錯誤アプローチを必要とする。異なるＤＮＮアーキテクチャを自動的に探索するために、自動化機械学習（automated machine learning：オートＭＬ）の新たなフレームワークが提案された。オートＭＬのコンテキストにおけるハイパーパラメータおよびアーキテクチャ探索の自動化は、迷惑不変のデータ処理に適したＤＮＮ設計を容易にすることができる。ＤＮＮのアーキテクチャに加えて、敵対的解きほぐしおよびＬ２／Ｌ１ノルム正則化といった訓練可能パラメータの正則化によってＤＮＮ訓練の挙動を安定させるためのアプローチが多数ある。
【0004】
タスク関連特徴を捉えるものの迷惑変動に対して不変であるデータ表現を学習することは、依然として機械学習における重要な課題である。ＶＡＥは、生成モデルと推論モデルとがともに学習され得る、自動結合アーキテクチャを取り入れた変分ベイズ（Bayesian）推論法を導入した。この方法は、迷惑変動を表わすために使用され得る条件付け変数を導入するＣＶＡＥと、潜在表現から迷惑変数を解きほぐすことを考慮する正則化ＶＡＥとを用いて拡張された。敵対的学習の概念は、敵対的生成ネットワーク（Generative Adversarial Network：ＧＡＮ）において考慮されたものであり、無数のアプリケーションに採用されてきた。同時に発見された敵対的学習推論（Adversarially Learned Inference：ＡＬＩ）と双方向ＧＡＮ（Bidirectional GAN：ＢｉＧＡＮ）とは、オートエンコーダの訓練に向けた敵対的アプローチを提案した。敵対的訓練はまた、ＶＡＥと組合されて、迷惑に対してロバストな学習が実現されるように潜在表現を正則化して解きほぐす。ハイパーパラメータ最適化を用いてＤＮＮモデルを検索することは、オートＭＬと呼ばれる関連フレームワークにおいて徹底的に研究されてきた。これらの自動化方法は、アーキテクチャ検索、学習ルール設計、および拡張探索を含む。ほとんどの作業は、進化的最適化フレームワークまたは強化学習フレームワークを使用することによって、ハイパーパラメータを調節するか、または、予め選択された構成ブロックからネットワークアーキテクチャを構築する。最近のオートＭＬ－ゼロは、ゼロからの完全自動化設計のために人間の知識および洞察力を排除するための拡張を考慮している。
【0005】
しかしながら、オートＭＬは、検索空間の爆発的増加に起因して、最良のハイパーパラメータを見つけるために多くの探索時間を必要とする。加えて、正当な理由付けがなければ、リンク接続のほとんどの検索空間は無意味になるであろう。正当性を有するニューラルネットワークの自動化構築のためのシステムを開発するために、オートベイズ（AutoBayes）と呼ばれる方法が提案された。オートベイズ法は、異なるベイズグラフ（Bayesian graph）を探索して、生成モデルについての変数データ間の固有のグラフィカル関係を表わし、次に、エンコーダ、デコーダ、分類器、回帰器、敵対者、およびドメイン推定器を接続するための最も妥当な推論グラフを構築する。いわゆるベイズ・ボール（Bayes-Ball）アルゴリズムを用いて、特定のベイズグラフのための最もコンパクトな推論グラフを自動的に構築することができ、いくつかの因子は、敵対的ブロックによって打ち切られるべきドメイン因子から独立した変数として識別される。特徴空間から迷惑因子を解きほぐすための敵対的打ち切りは、プリショット（pre-shot）転移学習におけるドメイン一般化、および、ポストショット（post-shot）転移学習におけるドメイン適応にとって効果的であるということが検証された。
【0006】
しかしながら、敵対的訓練は、ハイパーパラメータの注意深い選択を必要とする。なぜなら、主要目的関数の重み付けが不十分なため、強過ぎる打ち切りは主要タスク性能を損なうためである。また、敵対的打ち切りは、特徴空間における迷惑変数からの独立を促進するための唯一の正則化アプローチであるだけではない。たとえば、迷惑と特徴との間の相互情報を最小化することは、相互情報勾配推定器（mutual information gradient estimator：ＭＩＧＥ）によって実現され得る。同様に、考慮するべき異なるそのような打ち切りアプローチおよびスコアリング方法がある。いわゆるノーフリーランチ定理のため、異なる問題およびデータセット間で最良の性能を普遍的に達成することができる単一の方法はない。ドメイン解きほぐしアプローチを探索することは、最良の解決策を見つけるために時間／資源集約的な試行錯誤を必要とする。したがって、迷惑に対してロバストな転移学習についての特定の問題に依存する最良の打ち切りアプローチを効率的に識別する必要がある。
【課題を解決するための手段】
【0007】
本発明は、プリショット段階およびポストショット段階にわたるドメインシフトに対してロバストな転移学習のために打ち切りモードおよび打ち切り方法のさまざまなハイパーパラメータを探索することによって迷惑因子がシームレスに解きほぐされるように機械学習モデルを設計するためのやり方を提供する。この発明は、オートＭＬが、潜在的転移学習モジュールを効率的に検索することを可能にし、このため、我々はそれをオート転移フレームワークと呼ぶ。一実施形態は、ドメイン解きほぐしのレベルを調節するために、打ち切りハイパーパラメータを有する異なる打ち切りモードおよび打ち切り方法間のカテゴリ的および連続的な共同検索空間を使用する。打ち切りモードは、解きほぐしのモードを制御するための限界的分布、条件付き分布、および相補的分布を含むものの、それらに限定されない。打ち切り方法は、迷惑に対してロバストな特徴抽出が実現されるように、機械学習モデル内の特徴に迷惑パラメータから独立するよう促す。しかしながら、強過ぎる打ち切りは一般に下流タスク性能を低下させるため、オート転移は、タスク弁別特徴と迷惑不変特徴との間の最良のトレードオフを探すためにハイパーパラメータを調節する。打ち切り方法は、敵対的ネットワーク、相互情報勾配推定（mutual information gradient estimation：ＭＩＧＥ）、ペアワイズ不一致、およびワッサースタイン（Wasserstein）距離を含むものの、それらに限定されない。
【0008】
この発明は、ベイズ最適化、強化学習、および発見的最適化などのオートＭＬフレームワーク下でそれらのハイパーパラメータを調節するためのやり方を提供する。さらに別の実施形態は、時系列信号、スペクトル写真、ケプストラム、および他のテンソルなどの多くの異なるデータフォーマット間で迷惑に対してロバストな推論を向上させるために、ドメインに対してロバストなデータ拡張、フィルターバンク、およびウェーブレットカーネルを含む異なる前処理メカニズムを探索する。別の実施形態は、訓練のために迷惑因子が十分に利用可能ではない半教師あり設定のために、変分サンプリングを使用する。別の実施形態は、異種転移学習を可能にするために、最適輸送方法を用いるテンソル射影と共通空間パターンを用いる独立成分マッピングとを使用することによって、あるデータ構造を、次元性が不整合の別のデータ構造に変換するためのやり方を提供する。一実施形態は、探索された複数のモデルを一度に再使用するために、相互検証を通してスタッキングプロトコルを探索するアンサンブル方法を実現する。訓練段階時、ターゲットドメインに利用可能なデータがゼロである場合のプリショット転移学習に加えて、この発明は、ゼロショット学習（ターゲットドメインにおけるすべてのデータがラベル付けされていない）、１ショット学習、および数ショット学習などの訓練または微調整段階時に、ターゲットドメインに利用可能なデータがいくつかある場合のポストショット転移学習も提供する。ハイパーネットワーク適応は、仮説ポストショット学習段階において一貫した進化挙動を分析することによって基礎推論モデルのパラメータを直接制御する補助モデルを自動的に生成するためのやり方を提供する。ポストショット学習は、疑似ラベリングを用いて、あるいは、用いずに、ソースドメインからターゲットドメインへの混乱最小化を用いる連続解凍および微調整を含むものの、それらに限定されない。
【0009】
本開示は、異なる打ち切りモジュールおよび前処理方法の探索を通した、人工ニューラルネットワークの自動化構築のためのシステムおよび方法に関する。具体的には、本発明のシステムは、迷惑不変機械学習パイプライン（nuisance-invariant machine learning pipelines）を最適化するために、分類器、エンコーダ、デコーダおよび推定器ブロックをリンクする推論モデルのための異なる解きほぐしアプローチを探索する、オート転移と呼ばれる自動化転移学習フレームワークを導入する。一実施形態では、フレームワークは一連の生理学的データセットに適用され、そこで我々は、訓練中に被験者ラベルおよびクラスラベルへのアクセスを有し、変分モデル化および敵対的訓練を用いて／用いずに被験者転移学習のためのその能力の分析を提供する。フレームワークは、メディア信号および電気信号ならびに生体信号などのさまざまなデータセット形式のための半教師ありマルチクラス分類、多次元回帰、およびデータ再構成タスクにおいて効果的に利用され得る。
【0010】
本開示のいくつかの実施形態は、オートベイズと呼ばれる新たな概念が、迷惑に対してロバストなＨＭＩシステムに適した最良の推論戦略の検索を容易にするために、さまざまな異なるベイズグラフモデルを探索する、という認識に基づいている。ベイズ・ボールアルゴリズムを用いて、我々の方法は、分類器、エンコーダ、デコーダ、迷惑推定器および敵対者ＤＮＮブロック間で妥当なリンク接続を自動的に構築することができる。我々は、最良のグラフモデルと最悪のグラフモデルとの間の莫大な性能ギャップを観察し、ある確定的モデルをグラフ探索なしで使用することは劣った分類結果に見舞われるおそれがあるということを暗示した。加えて、ある生理学的データセットにとって最良のモデルが必ずしも異なるデータにとって最良に機能するとは限らず、それは我々に、ターゲットデータセットを与えられた適応モデル生成のためにオートベイズを使用するよう促す。一実施形態は、マクロレベルのオートベイズフレームワークを拡張してミクロレベルのオートＭＬを一体化し、各ＤＮＮブロックのハイパーパラメータを最適化する。本発明は、ベイズグラフにおけるいくつかのノードは、他のノードから限界的にまたは条件付きで独立している、という認識に基づいている。我々の発明におけるオート転移フレームワークはさらに、ＤＮＮモデルの特定の隠れノードにおけるそのような独立性を促進してオートベイズフレームワークを向上させるために、さまざまな打ち切りモードおよび方法を探索する。
【0011】
我々の発明により、オートＭＬは、考慮するべき確固たる理論的理由を有する潜在的アーキテクチャを効率的に検索することが可能になった。この発明の方法は、データセットが有向ベイズグラフを用いて仮説的にモデル化されるという認識に基づいており、そのため、我々はそれをオートベイズ法と呼ぶ。一実施形態は、結合確率分布の異なる因数分解次数を用いるベイズグラフ探索を使用する。この発明はまた、ベイズグラフ仮説を通してベイズ・ボールアルゴリズムから導き出された条件付き独立性に基づいて、プルーニング（pruning）リンクを有するコンパクトなアーキテクチャを作成するための方法を提供する。さらに別の方法は、尤度の異なる因数分解次数を用いて推論グラフを最適化することができ、それは、結合された生成グラフおよび推論グラフを自動的に構築することを可能にする。それは、条件付きリンクを有する／有さないＶＡＥに基づいて自然なアーキテクチャを実現する。また、別の実施形態は、迷惑パラメータから独立している潜在変数に取り付けられた補助ネットワークを用いるドメイン解きほぐしを使用し、それによって迷惑に対してロバストな特徴抽出が実現する。さらに別のケースは、迷惑に対してロバストな特徴抽出を促進するために、条件付きグラフティング（grafting）を用いる意図的に冗長なグラフを使用する。さらに別の実施形態は、性能を向上させるために複数の異なるベイズグラフの推定値および解きほぐし方法を組合せるアンサンブルグラフを使用する。たとえば、独立性スコアを測定するために、ダイバージェンスの代わりにワッサースタイン距離を使用することもできる。一実施形態は、動的注意ネットワークを使用してアンサンブル方法を実現する。また、ＶＡＥのサイクル一貫性と異なる推論グラフ間のモデル一貫性とがともに対処される。別の実施形態は、データの幾何学的情報を活用するためにグラフニューラルネットワークを使用し、プルーニング戦略は、関連を検証するためのベイズグラフ間の確率伝搬法によって支援される。
【0012】
システムは、訓練データセットを再生するのに良く適したベイズグラフモデルに関連付けられた最良の推論グラフモデルを検索する系統的な自動化フレームワークのやり方を提供する。提案されたシステムは、データ、クラスラベル、被験者識別情報（ＩＤ）、および固有の潜在表現に関して結合確率分布を因数分解することによって、さまざまな異なるベイズグラフを自動的に策定する。ベイズグラフを与えられると、いくつかの意味のある推論グラフが冗長リンクをプルーニングするために、ベイズ・ボールアルゴリズムを通して生成され、高精度の推定を達成する。被験者ＩＤなどの迷惑パラメータに対するロバスト性を促進するために、探索されたベイズグラフは、変分モデル化を用いる／用いないドメイン解きほぐしを使用するための理由付けを提供することができる。実施形態のうちの１つとして、オートベイズを用いるオート転移は、被験者間、セッション間およびデバイス間転移学習のために、さまざまな生理学的データセット間で優れた性能を達成することができる。
【0013】
本発明のシステムでは、転移学習のためのさまざまな異なる打ち切り方法が、たとえば生体信号データの分類のために考慮される。システムは、「負の転移」という問題として知られているような、生体信号についての転移学習の難しさに対処するように確立され、それによって複数の被験者またはセッションからのデータセットを組合せる単純な試みが応答統計におけるドメインの違いに起因してモデル性能を逆説的に低下させ得る。この発明の方法は、被験者識別子を表わす迷惑変数の変化に対して不変であるようにモデルを訓練することによって、そのような被験者転移の問題に取り組む。具体的には、方法は、相互情報量推定および生成モデル化に基づいて１組の良好なアプローチを構築するために、いくつかの確立されたアプローチを自動的に調べる。たとえば、方法は、さまざまな脳電図（ＥＥＧ）データセット、筋電図（ＥＭＧデータセット）、および皮質脳波記録（electrocorticography：ＥＣｏＧ）データセットといった現実のデータセットについて可能にされ、これらの方法が見知らぬ被験者への一般化を向上させ得ることを示す。いくつかの実施形態はまた、１組のこれらの良好なアプローチを単一のメタモデルになるよう組合せるためのアンサンブリング戦略を探索し、追加の性能を得る。ハイパーパラメータ調整を介したこれらの方法のさらなる探索は、追加の一般化向上を生み出すことができる。いくつかの実施形態については、システムおよび方法は、ゼロショットおよび数ショット学習フレームワークからの既存のテスト時間オンライン適応手法と組合されて、さらに良好な被験者転移性能を達成することができる。
【0014】
転移学習の問題への重要なアプローチは、エンコーダモデルが、我々の転移学習セットアップの一部として変化するであろう迷惑変数の変化に関する最小情報を含みつつ、タスクにとって有用な表現を学習するように、エンコーダモデルを打ち切ることである。具体的には、我々は、タスク関連ラベル（たとえばＥＥＧタスクカテゴリ）と迷惑ラベル（たとえば被験者ＩＤまたは記入者ＩＤ）とを有する高次元データ（たとえば未加工ＥＥＧ入力）から構成されるデータセットを考慮する。直観的に、我々は、タスクに関連する変動のみを捉える表現を学習しようとする。このアプローチの背後にある動機は情報ボトルネック法に関連しているが、重要な違いを有する。情報ボトルネック法およびその変分変形は、迷惑変動に関する追加情報なしで、教師ありデータセットから有用で圧縮された表現を学習しようとするが、我々は、我々のモデルの出力に影響を与えるべきでないデータの変動のタイプに関する結論を引き出すために、追加の迷惑ラベルを明示的に使用する。多くの転移学習設定は、そのような迷惑ラベルを容易に利用可能にするであろう。そして直観的に、モデルはこの追加の監視源から利益を得るはずである。システムは、ドメイン解きほぐしのためのさまざまな正則化モジュールを探索することによって、被験者不変の表現を学習するために、明白でない利益を提供することができる。
【0015】
また、本発明のいくつかの実施形態によれば、人工ニューラルネットワークアーキテクチャの自動化構築のためのシステムが提供される。この場合、システムは、信号を送受信するように構成された１組のインターフェイスおよびデータリンクを含み得る。信号は、訓練データ、検証データ、およびテストデータのデータセットを含み、信号は、多次元信号Ｘにおいて１組のランダム変数因子を含み、ランダム変数因子の一部は、識別するためのタスクラベルＹと、迷惑変動Ｓとに関連付けられる。システムはさらに、１組の再構成可能ＤＮＮブロックを格納するための１組のメモリバンクを含み、再構成可能ＤＮＮブロックの各々は、多次元信号ＸからタスクラベルＹを識別するための主タスクパイプラインモジュールと、複数の潜在変数Ｚと迷惑変動Ｓとの間の解きほぐしを調節するための１組の補助正則化モジュールとを有して構成される。メモリバンクはさらに、ハイパーパラメータ、訓練可能変数、中間ニューロン信号、ならびに、順方向パス信号および逆方向パス勾配を含む仮計算値を含む。システムはさらに、インターフェイスおよびメモリバンクと接続されており、信号およびデータセットを再構成可能ＤＮＮブロックへ提示するように構成された、少なくとも１つのプロセッサを含む。少なくとも１つのプロセッサは、１組のグラフィカルモデル、１組のプリショット正則化方法、１組の前処理方法、１組の後処理方法、および１組のポストショット適応方法にわたって探索を実行して、メモリバンクにおいてハイパーパラメータを修正することによってタスク予測が迷惑変動Ｓを感じないように再構成可能ＤＮＮブロックを再構成するように構成される。
【0016】
さらに、本発明のいくつかの実施形態は、人工ニューラルネットワークアーキテクチャの自動化構築のための、コンピュータにより実現される方法を提供する。コンピュータにより実現される方法は、訓練データ、検証データ、およびテストデータのデータセットを供給するステップを含み得る。データセットは、多次元信号Ｘにおいて１組のランダム変数因子を含み、ランダム変数因子の一部は、識別するためのタスクラベルＹと、迷惑変動Ｓとに関連付けられる。コンピュータにより実現される方法はさらに、多次元信号ＸからタスクラベルＹを識別するための１組の再構成可能ＤＮＮブロックを構成するステップを含み得る。１組の再構成可能ＤＮＮブロックは、複数の潜在変数Ｚと迷惑変動Ｓとの間の解きほぐしを調節するための１組の補助正則化モジュールを含む。コンピュータにより実現される方法はさらに、訓練データについて、タスク予測が正確であるように確率的勾配最適化を介して１組の再構成可能ＤＮＮブロックを訓練するステップと、検証データについて、タスク予測が迷惑変動Ｓを感じないように最良のハイパーパラメータを検索するために１組の補助正則化モジュールを探索するステップとを含み得る。
【0017】
この発明のさらなる理解を提供するために含まれる添付図面は、この発明の実施形態を示し、説明とともに、この発明の原理を説明する。
【図面の簡単な説明】
【0018】
【図1A】本開示の実施形態に従った、潜在Ｚおよび半ラベル付き迷惑Ｓの下でデータＸを与えられてＹを分類するための推論方法を示す図である。
【図1B】本開示の実施形態に従った、潜在Ｚおよび半ラベル付き迷惑Ｓの下でデータＸを与えられてＹを分類するための推論方法を示す図である。
【図1C】本開示の実施形態に従った、潜在Ｚおよび半ラベル付き迷惑Ｓの下でデータＸを与えられてＹを分類するための推論方法を示す図である。
【図2A】本開示のいくつかの実施形態に従った、特定の因数分解のための例示的なベイズグラフモデルおよび干渉モデルを示す図である。
【図2B】本開示のいくつかの実施形態に従った、特定の因数分解のための例示的なベイズグラフモデルおよび干渉モデルを示す図である。
【図2C】本開示のいくつかの実施形態に従った、特定の因数分解のための例示的なベイズグラフモデルおよび干渉モデルを示す図である。
【図3A】本開示のいくつかの実施形態に従った、自動化探索下のデータ生成モデルのための例示的なベイズグラフモデルを示す図である。
【図3B】本開示のいくつかの実施形態に従った、自動化探索下のデータ生成モデルのための例示的なベイズグラフモデルを示す図である。
【図3C】本開示のいくつかの実施形態に従った、自動化探索下のデータ生成モデルのための例示的なベイズグラフモデルを示す図である。
【図3D】本開示のいくつかの実施形態に従った、自動化探索下のデータ生成モデルのための例示的なベイズグラフモデルを示す図である。
【図3E】本開示のいくつかの実施形態に従った、自動化探索下のデータ生成モデルのための例示的なベイズグラフモデルを示す図である。
【図3F】本開示のいくつかの実施形態に従った、自動化探索下のデータ生成モデルのための例示的なベイズグラフモデルを示す図である。
【図3G】本開示のいくつかの実施形態に従った、自動化探索下のデータ生成モデルのための例示的なベイズグラフモデルを示す図である。
【図3H】本開示のいくつかの実施形態に従った、自動化探索下のデータ生成モデルのための例示的なベイズグラフモデルを示す図である。
【図3I】本開示のいくつかの実施形態に従った、自動化探索下のデータ生成モデルのための例示的なベイズグラフモデルを示す図である。
【図3J】本開示のいくつかの実施形態に従った、自動化探索下のデータ生成モデルのための例示的なベイズグラフモデルを示す図である。
【図3K】本開示のいくつかの実施形態に従った、自動化探索下のデータ生成モデルのための例示的なベイズグラフモデルを示す図である。
【図4A】本開示のいくつかの実施形態に従った、特定の生成モデルに関連する例示的な推論因子グラフモデルを示す図である。
【図4B】本開示のいくつかの実施形態に従った、特定の生成モデルに関連する例示的な推論因子グラフモデルを示す図である。
【図4C】本開示のいくつかの実施形態に従った、特定の生成モデルに関連する例示的な推論因子グラフモデルを示す図である。
【図4D】本開示のいくつかの実施形態に従った、特定の生成モデルに関連する例示的な推論因子グラフモデルを示す図である。
【図4E】本開示のいくつかの実施形態に従った、特定の生成モデルに関連する例示的な推論因子グラフモデルを示す図である。
【図4F】本開示のいくつかの実施形態に従った、特定の生成モデルに関連する例示的な推論因子グラフモデルを示す図である。
【図4G】本開示のいくつかの実施形態に従った、特定の生成モデルに関連する例示的な推論因子グラフモデルを示す図である。
【図4H】本開示のいくつかの実施形態に従った、特定の生成モデルに関連する例示的な推論因子グラフモデルを示す図である。
【図4I】本開示のいくつかの実施形態に従った、特定の生成モデルに関連する例示的な推論因子グラフモデルを示す図である。
【図4J】本開示のいくつかの実施形態に従った、特定の生成モデルに関連する例示的な推論因子グラフモデルを示す図である。
【図4K】本開示のいくつかの実施形態に従った、特定の生成モデルに関連する例示的な推論因子グラフモデルを示す図である。
【図4L】本開示のいくつかの実施形態に従った、特定の生成モデルに関連する例示的な推論因子グラフモデルを示す図である。
【図5A】本開示の実施形態に従った、条件因子として陰影付き条件付きノードを有するベイズ・ボールアルゴリズムの１０個の基本ルールのうちの１つを示す図である。
【図5B】本開示の実施形態に従った、条件因子として陰影付き条件付きノードを有するベイズ・ボールアルゴリズムの１０個の基本ルールのうちの１つを示す図である。
【図5C】本開示の実施形態に従った、条件因子として陰影付き条件付きノードを有するベイズ・ボールアルゴリズムの１０個の基本ルールのうちの１つを示す図である。
【図5D】本開示の実施形態に従った、条件因子として陰影付き条件付きノードを有するベイズ・ボールアルゴリズムの１０個の基本ルールのうちの１つを示す図である。
【図5E】本開示の実施形態に従った、条件因子として陰影付き条件付きノードを有するベイズ・ボールアルゴリズムの１０個の基本ルールのうちの１つを示す図である。
【図5F】本開示の実施形態に従った、条件因子として陰影付き条件付きノードを有するベイズ・ボールアルゴリズムの１０個の基本ルールのうちの１つを示す図である。
【図5G】本開示の実施形態に従った、条件因子として陰影付き条件付きノードを有するベイズ・ボールアルゴリズムの１０個の基本ルールのうちの１つを示す図である。
【図5H】本開示の実施形態に従った、条件因子として陰影付き条件付きノードを有するベイズ・ボールアルゴリズムの１０個の基本ルールのうちの１つを示す図である。
【図5I】本開示の実施形態に従った、条件因子として陰影付き条件付きノードを有するベイズ・ボールアルゴリズムの１０個の基本ルールのうちの１つを示す図である。
【図5J】本開示の実施形態に従った、条件因子として陰影付き条件付きノードを有するベイズ・ボールアルゴリズムの１０個の基本ルールのうちの１つを示す図である。
【図6】本開示の実施形態に従った、モデルアーキテクチャを探索するためのオートベイズアルゴリズムの全体的手順を説明する例示的なアルゴリズムを示す図である。
【図7A】本開示の実施形態に従った、ベルヌーイ基準およびクリーク基準に基づいたペアワイズスコア推定のための部分集合選択の全体的手順を説明する例示的なアルゴリズムを示す図である。
【図7B】本開示の実施形態に従った、ベルヌーイ基準およびクリーク基準に基づいたペアワイズスコア推定のための部分集合選択の全体的手順を説明する例示的なアルゴリズムを示す図である。
【図8】本開示の実施形態に従った、迷惑因子Ｓを解きほぐすために潜在因子Ｚが１組の打ち切り方法によって正則化される、エンコーダｆおよびデコーダｇの主パイプラインにおいてデータＸからタスクラベルＹを予測するための例示的なモデルを示す図である。
【図9A】本開示の実施形態に従った、限界的打ち切りモード、条件付き打ち切りモード、および相補的打ち切りモードでの敵対的打ち切り方法を記述する例示的な疑似コードを示す図である。
【図9B】本開示の実施形態に従った、限界的打ち切りモード、条件付き打ち切りモード、および相補的打ち切りモードでの敵対的打ち切り方法を記述する例示的な疑似コードを示す図である。
【図9C】本開示の実施形態に従った、限界的打ち切りモード、条件付き打ち切りモード、および相補的打ち切りモードでの敵対的打ち切り方法を記述する例示的な疑似コードを示す図である。
【図10A】本開示の実施形態に従った、限界的打ち切りモード、条件付き打ち切りモード、および相補的打ち切りモードでの相互情報勾配推定（ＭＩＧＥ）ベースの打ち切り方法を記述する例示的な疑似コードを示す図である。
【図10B】本開示の実施形態に従った、限界的打ち切りモード、条件付き打ち切りモード、および相補的打ち切りモードでの相互情報勾配推定（ＭＩＧＥ）ベースの打ち切り方法を記述する例示的な疑似コードを示す図である。
【図10C】本開示の実施形態に従った、限界的打ち切りモード、条件付き打ち切りモード、および相補的打ち切りモードでの相互情報勾配推定（ＭＩＧＥ）ベースの打ち切り方法を記述する例示的な疑似コードを示す図である。
【図11A】本開示の実施形態に従った、限界的打ち切りモード、条件付き打ち切りモード、および相補的打ち切りモードでの最大平均不一致（maximum mean discrepancy：ＭＭＤ）ベースの打ち切り方法を記述する例示的な疑似コードを示す図である。
【図11B】本開示の実施形態に従った、限界的打ち切りモード、条件付き打ち切りモード、および相補的打ち切りモードでの最大平均不一致（ＭＭＤ）ベースの打ち切り方法を記述する例示的な疑似コードを示す図である。
【図11C】本開示の実施形態に従った、限界的打ち切りモード、条件付き打ち切りモード、および相補的打ち切りモードでの最大平均不一致（ＭＭＤ）ベースの打ち切り方法を記述する例示的な疑似コードを示す図である。
【図12A】本開示の実施形態に従った、限界的打ち切りモード、条件付き打ち切りモード、および相補的打ち切りモードでのペアワイズＭＭＤベースの打ち切り方法を記述する例示的な疑似コードを示す図である。
【図12B】本開示の実施形態に従った、限界的打ち切りモード、条件付き打ち切りモード、および相補的打ち切りモードでのペアワイズＭＭＤベースの打ち切り方法を記述する例示的な疑似コードを示す図である。
【図12C】本開示の実施形態に従った、限界的打ち切りモード、条件付き打ち切りモード、および相補的打ち切りモードでのペアワイズＭＭＤベースの打ち切り方法を記述する例示的な疑似コードを示す図である。
【図13A】本開示の実施形態に従った、限界的打ち切りモード、条件付き打ち切りモード、および相補的打ち切りモードでの境界型均衡敵対的生成ネットワーク（boundary equilibrium generative adversarial network：ＢＥＧＡＮ）弁別器ベースの打ち切り方法を記述する例示的な疑似コードを示す図である。
【図13B】本開示の実施形態に従った、限界的打ち切りモード、条件付き打ち切りモード、および相補的打ち切りモードでの境界型均衡敵対的生成ネットワーク（ＢＥＧＡＮ）弁別器ベースの打ち切り方法を記述する例示的な疑似コードを示す図である。
【図13C】本開示の実施形態に従った、限界的打ち切りモード、条件付き打ち切りモード、および相補的打ち切りモードでの境界型均衡敵対的生成ネットワーク（ＢＥＧＡＮ）弁別器ベースの打ち切り方法を記述する例示的な疑似コードを示す図である。
【図14A】本開示の実施形態に従った、ポストショット適応段階で使用される例示的な１組の後処理モジュールを示す図である。
【図14B】本開示の実施形態に従った、ポストショット適応段階で使用される例示的な１組の後処理モジュールを示す図である。
【図14C】本開示の実施形態に従った、ポストショット適応段階で使用される例示的な１組の後処理モジュールを示す図である。
【図14D】本開示の実施形態に従った、ポストショット適応段階で使用される例示的な１組の後処理モジュールを示す図である。
【図15A】本開示の実施形態に従った、例示的な１組の前処理モジュールを示す図である。
【図15B】本開示の実施形態に従った、例示的な１組の前処理モジュールを示す図である。
【図15C】本開示の実施形態に従った、例示的な１組の前処理モジュールを示す図である。
【図15D】本開示の実施形態に従った、例示的な１組の前処理モジュールを示す図である。
【図15E】本開示の実施形態に従った、例示的な１組の前処理モジュールを示す図である。
【図15F】本開示の実施形態に従った、例示的な１組の前処理モジュールを示す図である。
【図16】本開示の実施形態に従った、プロセッサ、メモリ、およびインターフェイスを有して構成されたシステムの概略図である。
【発明を実施するための形態】
【0019】
本発明のさまざまな実施形態を、図面を参照して以下に説明する。なお、図面は縮尺通りに描かれておらず、同様の構造または機能の要素は、図面全体を通し、同じ参照番号によって表わされる。また、図面は、この発明の特定の実施形態の説明を容易にするよう意図されているに過ぎない。図面は、この発明の網羅的な説明として、またはこの発明の範囲に対する限定として意図されてはいない。加えて、この発明のある特定の実施形態に関連して説明される局面は、必ずしもその実施形態に限定されず、この発明の任意の他の実施形態において実践され得る。
【0020】
図１Ａは、観察データＸからタスクラベルＹを識別するための推論を提供する人工知能（artificial intelligence：ＡＩ）モデルの例示的な概略図を示す。タスクラベルは、カテゴリ的な識別番号、または非カテゴリ的な連続値である。カテゴリ的推論については、ＡＩモデルは分類タスクを行ない、一方、非カテゴリ的推論については、モデルは回帰タスクを行なう。タスクラベルは、スカラ値、または複数の値のベクトルである。観察データは、
・画像、写真、映画、テキスト、文字、声、音楽、オーディオ、および音声のようなメディアデータ、
・電波、光信号、電気パルス、温度、圧力、加速度、速度、振動、質量、水分、および力のような物理的データ、ならびに、
・心拍数、血圧、脳波図、筋電図、心電図、筋音図、眼電図、電気皮膚反応、脳磁気図、および皮質脳波記録のような生理学的データ、
を含むもののそれらに限定されない多くの信号およびセンサデータを表わすための、少なくとも１つの軸を有するテンソルフォーマットである。
・画像、写真、映画、テキスト、文字、声、音楽、オーディオ、および音声のようなメディアデータ、
・電波、光信号、電気パルス、温度、圧力、加速度、速度、振動、質量、水分、および力のような物理的データ、ならびに、
・心拍数、血圧、脳波図、筋電図、心電図、筋音図、眼電図、電気皮膚反応、脳磁気図、および皮質脳波記録のような生理学的データ、
を含むもののそれらに限定されない多くの信号およびセンサデータを表わすための、少なくとも１つの軸を有するテンソルフォーマットである。
【0021】
たとえば、ＡＩモデルはユーザの脳波測定値から感情を予測し、この場合、データは、測定時間にわたる複数チャネルセンサからの時空スペクトル写真を表わす３軸テンソルである。ＸおよびＹのペアを有する利用可能なデータ信号はすべて、ＡＩモデルを訓練するためのデータセットのバッチ全体として束ねられ、それらは、教師あり学習のための訓練データまたは訓練データセットと呼ばれる。いくつかの実施形態については、半教師あり設定として、訓練データセットの一部についてはタスクラベルＹがない。
【0022】
ＡＩモデルは、１組のハイパーパラメータによってアーキテクチャが特定される再構成可能ディープニューラルネットワーク（ＤＮＮ）モデルによって実現され得る。１組のハイパーパラメータは、隠れノードの数、隠れ層の数、活性化関数のタイプ、グラフエッジ接続性、セルの組合せを含むものの、それらに限定されない。再構成可能ＤＮＮアーキテクチャは典型的には、アフィン変換重みおよびバイアスなどの多くの訓練可能パラメータを有する、完全接続層、畳み込み層、再帰層、プーリング層、および正規化層といった、セルの組合せを使用する多層パーセプトロンに基づいている。活性化関数のタイプは、sigmoid、hard sigmoid、log sigmoid、tanh、hard tanh、softmax、soft shrink、hard shrink、tanh shrink、整流線形ユニット、soft sign、指数線形ユニット、シグモイド線形ユニット、mish、hard swish、soft plusを含むものの、それらに限定されない。グラフエッジ接続性は、スキップ追加、スキップ連結、スキップ積（product）、分岐、ルーピングを含むものの、それらに限定されない。たとえば、残余ネットワークは、より深い層の安定した学習を可能にする、ある隠れ層から別の隠れ層へのスキップ接続を使用する。
【0023】
ＤＮＮモデルは、確率的勾配降下法、適応運動量勾配、二乗平均平方根伝搬、適応勾配、適応デルタ、適応マックス、弾性バックプロパゲーション、および重み付け適応運動量などの勾配法によって目的関数を最小化または最大化するように、訓練データセットについて訓練される。いくつかの実施形態については、訓練データセットは、局所勾配更新のために複数のサブバッチへと分割される。いくつかの実施形態については、訓練されたＤＮＮモデルの性能を評価するために、訓練データセットの一部が検証データセットのために差し出される。いくつかの実施形態では、訓練データセットからの検証データセットが、相互検証のために循環される。相互検証のために訓練データをサブバッチへと分割するためのやり方は、ランダムサンプリング、重み付けランダムサンプリング、１つのセッションの差し出し、１人の被験者の差し出し、１つの領域の差し出しを含むものの、それらに限定されない。典型的には、各サブバッチについてのデータ分布は、ドメインシフトに起因して同一ではない。
【0024】
勾配ベースの最適化アルコリズムは、学習速度および重み減衰といったいくつかのハイパーパラメータを有する。学習速度は選択するべき重要なパラメータであり、ステップ関数、指数関数、三角関数、および横ばいの適応減衰といったいくつかのスケジューリング方法によって自動的に調節され得る。進化戦略、遺伝的アルゴリズム、差分進化、およびネルダー・ミード（Nelder-Mead）といった非勾配最適化も使用可能である。目的関数は、Ｌ１損失、平均二乗誤差損失、交差エントロピー損失、コネクショニスト時間分類損失、負の対数尤度損失、カルバック・ライブラー（Kullback-Leibler）発散損失、マージンランキング損失、ヒンジ損失、フーバー（Huber）損失を含むものの、それらに限定されない。
【0025】
隠れノードについてのガイダンスを有していない標準ＡＩモデルは、タスク問題を解決するための過剰パラメータ化されたＤＮＮアーキテクチャに起因して、局所極小トラッピングに悩まされるおそれがある。訓練収束を安定させるために、いくつかの正則化手法が使用される。たとえば、アフィン変換重みを正則化するために、Ｌ１／Ｌ２ノルムが使用される。バッチ正規化手法およびドロップアウト手法も、過学習を防止するための一般的な正則化手法として広く使用される。他の正則化手法は、ドロップコネクト、ドロップブロック、ドロップパス、シェイクドロップ、空間ドロップ、ゾーンアウト、確率的深度、確率的幅、スペクトル正規化、シェイクシェイクを含むものの、それらに限定されない。しかしながら、それらのよく知られた正則化手法は、根底的なデータ分布を利用しない。ほとんどのデータセットは、ＸとＹとの間の特定の確率論的関係と、タスク予測性能を妨害する多くの迷惑因子Ｓとを有する。たとえば、脳波信号などの生理学的データセットは、そのような迷惑因子Ｓとしての被験者の精神状態および測定条件に非常に依存する。迷惑変動は、１組の被験者識別情報、セッション番号、生物学的状態、環境状態、センサ状態、位置、配向、サンプリングレート、時間、および感度を含む。さらに別の例については、Ｗｉ－Ｆｉ信号などの電磁気データセットは、室内環境、周囲のユーザ、干渉、およびハードウェア不完全性の影響を受けやすい。本開示は、迷惑因子の変化によって引き起こされたドメインシフトをＡＩモデルが感じないようにそれらの迷惑因子を考慮することによって、ＤＮＮブロックを効率的に正則化するためのやり方を提供する。
補助正則化モジュール
補助正則化モジュール
【0026】
ＤＮＮモデルはエンコーダ部分と分類器部分（または回帰タスクのための回帰器部分）とに分解可能であり、ここで、エンコーダ部分は、データＸから特徴ベクトルを潜在変数Ｚとして抽出し、分類器部分は、潜在変数ＺからタスクラベルＹを予測する。たとえば、潜在変数Ｚは、ＤＮＮモデルの中央層での隠れノードのベクトルである。エンコーダブロックと分類器ブロックとを有して構成されたＡＩモデルの例示的なパイプラインを図１Ｂに示す。ここで、エンコーダはＸを与えられてＺを生成し、デコーダはＹを与えられてＺを予測する。
【0027】
エンコーダおよび分類器の主パイプラインに加えて、図１Ｂは、潜在変数Ｚを正則化するための追加の補助正則化モジュールを有する例示的なＤＮＮブロックを図示する概略図を示す。具体的には、迷惑変動Ｓの追加の条件付き情報を用いて元のデータＸを再構成するために、デコーダＤＮＮブロックが潜在変数Ｚに取り付けられる。この条件付きデコーダは、潜在変数Ｚからの迷惑ドメイン情報Ｓの解きほぐしを促進することができる。たとえば、迷惑ドメイン変動Ｓは、生理学的データセットのための被験者識別情報（ＩＤ）、測定セッションＩＤ、ノイズレベル、被験者の身長／体重／年令情報などを含む。潜在変数（Ｚ）からそれらの迷惑因子Ｓを解きほぐすことにより、本発明は、長い較正セッションなしで、被験者不変の汎用ヒューマンマシンインターフェイスを実現することができる。デコーダと呼ばれる補助ＤＮＮブロックは、ＺからＸを再生するために、平均二乗誤差損失またはガウスの負の対数尤度損失といった別の損失関数を最小化するように訓練される。
【0028】
いくつかの実施形態については、潜在変動Ｚは、複数の潜在因子Ｚ１、Ｚ２、…、ＺＬへとさらに分解され、それらは各々、１組の迷惑因子Ｚ１、Ｚ２、…、ＺＬによって個々に正則化される。加えて、いくつかの迷惑因子は、データセットに依存して部分的に既知であるかまたは未知である。迷惑因子の既知のラベルについては、ＤＮＮブロックは教師ありの態様で訓練可能であり、一方、それは、ラベルなし迷惑因子については半教師ありの態様を必要とする。半教師ありのケースについては、迷惑因子のすべての潜在的ラベルにわたる変分サンプリングに基づいた疑似ラベル付けが、いくつかの実施形態については、たとえばいわゆるガンベル（Gumbel）softmax再パラメータ化トリックに基づいて使用される。たとえば、データセットにおけるデータの一部には被験者の年令情報がなく、一方、データの残りは、教師あり正則化のために使用されるべき年令情報を有する。
【0029】
図１ＢにおけるＤＮＮブロックは、迷惑変動Ｓを推定するために潜在変数Ｚに取り付けられた別の補助正則化モジュールを有する。この正則化ＤＮＮブロックは、ロバストになるように迷惑因子の解きほぐしをさらに促進するために使用され、しばしば敵対的ネットワークと呼ばれる。なぜなら、正則化ＤＮＮブロックは、ＺからＳを推定するために損失関数を最小化するように訓練され、一方、主パイプラインＤＮＮブロックは、迷惑情報を打ち切るために当該損失関数を最大化するように訓練されるためである。敵対的ブロックは、敵対的係数、敵対的学習速度、敵対的交互の間隔、およびアーキテクチャ仕様を含む関連付けられたハイパーパラメータを用いて、交互に訓練される。
【0030】
図１Ｂにおけるグラフィカルモデルは、下流タスク分類器のための教師なし特徴抽出のための敵対的条件付き変分オートエンコーダ（Ａ－ＣＶＡＥ）として知られている。Ａ－ＣＶＡＥのグラフィカルモデルは、ランダム変数因子Ｘ、Ｙ、Ｚ、およびＳにわたる接続性を表わすためのさまざまなグラフノードおよびグラフエッジを有する。正則化ブロックを用いることにより、Ａ－ＣＶＡＥモデルは、迷惑因子に対するより高いロバスト性を有する。したがって、補助正則化モジュールは、見知らぬ迷惑因子に対してＡＩモデルをロバストにするための、いわゆるプリショット転移学習手法またはドメイン一般化手法として使用される。
アーキテクチャ探索
アーキテクチャ探索
【0031】
エンコーダ、分類器、デコーダ、および敵対的ネットワークブロックを接続するための可能なやり方は多数ある。たとえば、図１Ｃは、データＸから迷惑因子Ｓを推定するための別の補助モデルがある１つの例示的なＤＮＮブロックを示す。実現可能なＤＮＮ接続性の可能な数はＡＩモデルのサイズとともに急速に爆発的に増加するため、妥当なＡＩモデルを効率的に構築することが必要とされる。加えて、ランダムに接続されたＤＮＮブロックは、役に立たず、正当と認められない傾向がある。いくつかの実施形態については、グラフ接続性は、オートベイズと呼ばれる自動化ベイズグラフ探索法を使用することによって探索される。オートベイズの核心となるのは、データ特徴Ｘ、タスクラベルＹ、迷惑変動ラベルＳ、および（潜在的な）潜在表現Ｚを表わすランダム変数間の確率論的関係を捉えるグラフィカルベイズモデルを考慮することである。主な目的は、測定されたデータ特徴ＸからタスクラベルＹを推論することであり、それは、Ｓによって（部分的に）ラベル付き迷惑変動（たとえば、被験者間／セッション間変動）の存在によって妨げられる。潜在表現Ｚ（さらに、必要に応じてＺ１、Ｚ２、…、ＺＬによって示される）はまた、オプションで、Ｓ、Ｘ、およびＹ間の根底的関係を捉えるのを助けるために、これらのＡＩモデルに導入される。
【0032】
【数1】
【0033】
図２Ａ、図２Ｂ、および図２Ｃにおける上述のグラフィカルモデルは、データセットにおける潜在的に固有の独立性の仮定を何ら課さず、したがって最も包括的である。しかしながら、データセットにおける根底的な独立性に依存して、我々は、それらのグラフにおけるいくつかのエッジをプルーニングすることができる場合がある。たとえば、データが、ＳおよびＺから独立したＹ－Ｘというマルコフ（Markov）連鎖を有する場合、それは自動的に図１Ａをもたらす。これは、高い自由度を有する最も複雑な推論モデルが必ずしも任意のデータセット間で最良に機能するとは限らない、ということを暗示する。それは我々に、他のハイパーパラメータ設計に加えて、データセットと整合する推論因子グラフモデルおよび対応するベイズグラフモデルの最良のペアを自動的に探索する拡張オートＭＬフレームワークを考慮するように動機付ける。
【0034】
オートベイズは、図２Ａにおける完全連鎖グラフのリンクを切断し、可能な独立性を課すことによって、任意の潜在的ベイズグラフを探索することから始まる。次に、我々は、たとえば図２Ｂおよび図２Ｃにおける完全連鎖推論グラフといった異なる推論戦略に対する条件付き独立性を調べるために、各仮説ベイズグラフに対してベイズ・ボールアルゴリズムを採用する。ベイズ・ボールは、図２Ｂおよび図２Ｃの完全連鎖推論グラフにおけるリンクの妥当なプルーニングを正当化し、また、ＺがＳから独立している場合の潜在的敵対者打ち切りも正当化する。このプロセスは、たとえば図１Ｃの任意のモデルから図１ＢのＡ－ＣＶＡＥ分類器を構築するために、正当な理由付けを用いて推論ブロック、生成ブロック、および敵対者ブロックの接続性を自動的に構築する。
例示的なベイズグラフモデル
例示的なベイズグラフモデル
【0035】
メディアデータ、物理的データ、および生理学的データなどのセンサ測定値を与えられても、真の結合確率は我々には前もって分からないため、我々は、可能な生成モデルのうちの１つを仮定するものとする。推論モデルアーキテクチャを検索する通常のオートＭＬフレームワークとは異なり、オートベイズは、測定分布と整合するように任意のそのような潜在的グラフモデルを探索することを目標とする。Ｙ、Ｓ，Ｚ、およびＸを伴う４つのノードのケースでさえ、グラフィカルモデルの最大可能数は莫大であるため、我々は、そのようなベイズグラフのいくつかの実施形態を図３Ａ～３Ｋに示す。各ベイズグラフは、結合確率因数分解に基づいた１つの生成モデルに対応する。
【0036】
仮定されたベイズグラフに依存して、関連する推論戦略が、推論因子グラフにおけるいくつかの変数が条件付きで独立しているように決定されるであろう。それは、リンクをプルーニングすることを可能にする。図４Ａ～４Ｌに示されるように、妥当な推論グラフモデルが、データセットに固有の各ベイズグラフ仮説に基づいてベイズ・ボールアルゴリズムによって自動的に生成され得る。たとえば、図３Ｅにおける生成モデルＥは、図４Ｃにおける推論因子グラフモデルＥｚを自動的に生成することができる。それらの生成モデルおよび推論モデルを合併させることにより、オートベイズは、図１ＢにおけるＡ－ＣＶＡＥに基づいて、迷惑に対してロバストなモデルを自動的に構築することができる。
ベイズ・ボールアルゴリズム
ベイズ・ボールアルゴリズム
【0037】
本発明のシステムは、条件付き独立性の分析を通して推論因子グラフにおけるリンクの自動プルーニングを容易にするための、ベイズ・ボールアルゴリズムに依拠する。ベイズ・ボールアルゴリズムは、図５Ａ～５Ｊに示されるような条件付き独立性を識別するために、ちょうど１０個のルールを使用する。有向ベイズグラフが与えられると、我々は、グラフ分離基準を適用することによって、ノードの２つの互いに素な集合間の条件付き独立性が他のノードに対して条件付けを与えるかどうかを決定することができる。具体的には、ベイズ・ボールが図５Ａ～５Ｊにおける停止矢印記号に遭遇せずに進むことができる場合、無向経路が起動される。いくつかの他の条件付けノードが陰影付けされている場合にノードの２つの集合間にアクティブな経路がなければ、ランダム変数のそれらの集合は、条件付きで独立している。ベイズ・ボールアルゴリズムを用いて、この発明は、オートベイズアルゴリズムについての２つの互いに素なノードの独立性関係を特定するリストを生成する。
オートベイズアルゴリズム
オートベイズアルゴリズム
【0038】
図６は、本開示のいくつかの実施形態に従った、図３Ａ～３Ｋおよび図４Ａ～４Ｌだけではないより包括的なケースについての、アルゴリズム１の疑似コードに記述されたオートベイズアルゴリズムの全体的手順を示す。オートベイズは、ベイズ・ボールアルゴリズムの使用を通して、仮説ベイズグラフ仮定を与えられて非冗長推論因子グラフを自動的に構築する。導き出された条件付き独立性およびプルーニングされた因子グラフに依存して、エンコーダ、デコーダ、分類器、迷惑推定器、および敵対者のためのＤＮＮブロックが合理的に接続される。ＤＮＮブロック全体は、変分ベイズ推論において敵対者学習を用いて訓練される。なお、一実施形態として、各ＤＮＮブロックのハイパーパラメータは、オートベイズフレームワークに加えてオートＭＬによってさらに最適化され得る。
【0039】
この発明のシステムは、ハイパーパラメータ、訓練可能変数、中間ニューロン信号、ならびに、順方向パス信号および逆方向パス勾配を含む仮計算値を格納するために、メモリバンクを使用する。それは、コンパクトになるように冗長リンクがプルーニングされるようにベイズ・ボールアルゴリズムに基づいてさまざまなベイズグラフを探索することによって、ＤＮＮブロックを再構成する。データセットに依存して、オートベイズはまず、すべてのノードを特定の順列順で接続するために完全連鎖有向ベイズグラフを作成する。システムはその後、完全連鎖ベイズグラフにおけるグラフエッジの特定の組合せをプルーニングする。次に、２つの互いに素なノード間の条件付き独立性関係をリストアップするために、ベイズ・ボールアルゴリズムが採用される。仮説における各ベイズグラフについて、別の完全連鎖有向因子グラフが、データ信号Ｘに関連付けられたノードから構築され、他のノードを異なる因数分解順で推論する。次に、独立性リストに依存して、完全連鎖因子グラフにおける冗長リンクのプルーニングが採用され、それにより、ＤＮＮリンクはコンパクトになり得る。別の実施形態では、冗長リンクは意図的に維持され、漸進的にグラフティングしている。プルーニングされたベイズグラフとプルーニングされた因子グラフとは、生成モデルと推論モデルとが一貫するように組合される。組合されたグラフィカルモデルが与えられると、エンコーダ、デコーダ、分類器、推定器、および敵対者ネットワークのためのすべてのＤＮＮブロックは、モデルへの接続において関連付けられる。このオートベイズは、迷惑に対してロバストな推論を実現し、新たなテストデータセットのための新たなデータドメインに転送される。
【0040】
オートベイズアルゴリズムは、５つ以上のノード因子のために一般化され得る。そのような実施形態の例として、迷惑変動Ｓは、教師あり設定、半教師あり設定、および教師なし設定の組合せに従って、複数のドメイン側情報としての変動Ｓ１、Ｓ２、…、ＳＮの複数の因子へとさらに分解される。実施形態の別の例として、潜在変数は、分解された特徴ベクトルとしての潜在変数Ｚ１、Ｚ２、…、ＺＬの複数の因子へとさらに分解される。図１Ｃは、そのような実施形態のうちの１つである。分解された因子を有する一実施形態の例として、迷惑変動は、被験者識別情報、セッション番号、生物学的状態、環境状態、センサ状態、位置、配向、サンプリングレート、時間、および感度といった、異なる因子へとグループ化される。
【0041】
異なるグラフィカルモデルを探索する際、一実施形態は、性能を向上させるために探索されたすべての異なるモデルの出力を、たとえばアンサンブル性能を実現するために加重和を用いて使用する。さらに別の実施形態は、異なるグラフィカルモデルを組合せるために最良の重みを学習する追加のＤＮＮブロックを使用する。この実施形態は、データを与えられて関連するグラフィカルモデルを適応的に選択するために注意ネットワークを用いて実現される。元の結合確率が同一であるため、この実施形態は、異なるグラフィカルモデル間のコンセンサス平衡および投票（voting）を考慮する。いくつかの実施形態については、それはまた、エンコーダ／デコーダＤＮＮブロックのサイクル一貫性を認識する。
打ち切りモード
打ち切りモード
【0042】
オートベイズアーキテクチャ探索を用いて、我々は、所与の生成モデルについての潜在変数Ｚと迷惑変動Ｓとの間の独立性を識別することができる。敵対的ネットワークおよび条件付きデコーダなどの補助正則化モジュールは、そのようなモデルについてのＺとＳとの間の相関を解きほぐすことを支援することができる。制約付きリスク最小化フレームワーク下では、ＺとＳとの間の独立性を促進するために、補助正則化モジュールのためのそのような打ち切りモードが複数タイプある。実際、敵対的打ち切りは、特徴解きほぐしを達成するための唯一のやり方ではない。具体的には、我々はいくつかの修正された学習フレームワークを考慮し、そこで我々は、たとえば以下の打ち切りモードを使用して、分類器モデルが異なるドメイン間で同様の性能を達成することができるように、学習された表現Ｚと迷惑変数Ｓとの間の独立性の何らかの概念を実施する。
【0043】
【数2】
【0044】
【数3】
【0045】
【数4】
【0046】
我々が３つ以上の潜在表現を有する場合、打ち切りモードの数は、条件付き／無条件解きほぐしと相補的解きほぐしとの組合せとともに自然に増加される。
【0047】
最初の限界的打ち切りモードは、「迷惑から独立した表現」という最も単純な概念を捉える。たとえば、この限界的打ち切りモードは、Ａ－ＣＶＡＥモデルの敵対的弁別器によって実現される。ラベルの分布が迷惑変数に依存しない場合、この限界的打ち切りアプローチはタスク目的と矛盾しない。なぜなら、迷惑因子Ｓは、下流タスクがＹを予測するのに有用ではないためである。しかしながら、ＹとＳとの間には何らかの相関が存在し得る。このため、タスクラベルＹを予測するために有用であるように訓練された表現Ｚも、Ｓについて有益であり得る。２番目の条件付き打ち切りモードは、ＺがＳについての何らかの情報を含むものの、タスクラベルＹによってすでに暗示された量を上回らないことを可能にすることによって、タスク目的と打ち切り目的との間のこの矛盾を勘案する。たとえば、Ａ－ＣＶＡＥモデルは、この条件付き打ち切りモードの同様の効果を達成するために、条件付きデコーダＤＮＮブロックを使用する。３番目の相補的打ち切りモードは、表現Ｚのある部分が迷惑変数Ｓから独立しつつ、他の部分が迷惑変数に強く依存することを要求することによって、この矛盾を勘案する。この打ち切りモードは図１Ｃに示される。
【0048】
それらの打ち切りモードは、所望の独立性を実施する制約付き最適化問題を考慮することをもたらす。我々は、この制限について、相互情報に基づいた形式と、２つの分布間のダイバージェンスに基づいた形式という、２つの形式を考慮する。具体的には、我々は、以下のようにラグランジュ（Lagrange）乗数を使用することによって制約付き最適化問題を解く：
独立性を推定するための打ち切り方法
【数5】
独立性を推定するための打ち切り方法
【0049】
独立性を推定するために、我々は、相互情報およびダイバージェンスを計算するためのいくつかの打ち切り方法を考慮する。相互情報ベースの打ち切り方法については、以下のものを含むもののそれらに限定されないいくつかのアプローチがある：
・敵対的迷惑分類器における交差エントロピー損失；
・相互情報ニューラル推定（mutual information neural estimation：ＭＩＮＥ）；
・相互情報勾配推定（mutual information gradient estimation：ＭＩＧＥ）。
・敵対的迷惑分類器における交差エントロピー損失；
・相互情報ニューラル推定（mutual information neural estimation：ＭＩＮＥ）；
・相互情報勾配推定（mutual information gradient estimation：ＭＩＧＥ）。
【0050】
いくつかの実施形態については、Ａ－ＣＶＡＥのための敵対的迷惑分類器において、交差エントロピー損失が、条件付きエントロピーＨ（ｓ｜ｚ）を推定するために使用される。相互情報はＩ（ｚ；ｓ）＝Ｈ（ｓ）－Ｈ（ｓ｜ｚ）として分解され得るため、これは我々に、相互情報についての推定値を与える。なぜなら、限界エントロピーＨ（ｓ）は、モデルパラメータに関して一定であるためである。ＭＩＮＥ方法は、ＤＮＮモデルを使用することによって、交差エントロピーではなく相互情報を直接推定する。しかしながら、これらの打ち切り方法の主な目的はＺからＳを解きほぐすことであり、このため、訓練のために相互情報を明示的に推定する必要はないが、相互情報勾配を推定する必要がある。ＭＩＧＥ方法は、相互情報の勾配を計算するためにスコア関数推定器を使用しており、たとえば、スペクトルスタイン勾配推定器（Spectral Stein Gradient Estimator：ＳＳＧＥ）、ヌーメソッド（NuMethod）、チホノフ（Tikhonov）、スタイン勾配推定器（Stein Gradient Estimator：ＳＧＥ）、カーネル指数分布族推定器（Kernel Exponential Family Estimator：ＫＥＦ）、ニストロム（Nystrom）ＫＥＦ、スライススコアマッチング（Sliced Score Matching：ＳＳＭ）といった、いくつかのカーネルベースのスコア推定器が知られている。カーネルベースのスコア推定器は、データセットに依存して適応的に選択され得るカーネル長といった、そのハイパーパラメータを有する。
【0051】
ダイバージェンスベースの打ち切り方法については、以下のようないくつかのアプローチを含むが、それらに限定されない：
・バイアスのある／バイアスのないカーネル推定値を用いる最小平均不一致（minimum mean discrepancy：ＭＭＤ）；
・ランダム部分集合選択を用いるペアワイズＭＭＤ；
・境界平衡敵対的生成ネットワーク（boundary equilibrium generative adversarial network：ＢＥＧＡＮ）の弁別器；
・ＨＳＩＣ（Hilbert-Schmidt independence criterion：ヒルベルト・シュミット独立性基準）；
・ワッサースタイン距離尺度のための最適輸送。
・バイアスのある／バイアスのないカーネル推定値を用いる最小平均不一致（minimum mean discrepancy：ＭＭＤ）；
・ランダム部分集合選択を用いるペアワイズＭＭＤ；
・境界平衡敵対的生成ネットワーク（boundary equilibrium generative adversarial network：ＢＥＧＡＮ）の弁別器；
・ＨＳＩＣ（Hilbert-Schmidt independence criterion：ヒルベルト・シュミット独立性基準）；
・ワッサースタイン距離尺度のための最適輸送。
【0052】
最初の２つの方法は、２つの分布間の距離の数値的推定値を提供するＭＭＤスコアのカーネルベースの推定値に依拠する。２つの分布間のＭＭＤは、これらの分布が同等である場合にちょうど０であることが知られている。条件付き確率の定義により、我々が実施する独立性ｚ⊥ｓは、分布ｑ（ｚ）およびｑ（ｚ｜ｓ）が同等であること、またはそれに代えて、分布ｑ（ｚ｜ｓｉ）およびｑ（ｚ｜ｓｊ）が任意の迷惑ペア間で同等であることも暗示する。このため、我々は、潜在表現Ｚに迷惑変数からの独立を強制するように、分布のこれらのペアのうちの１つの間のＭＭＤを最小化することができる。最初のＭＭＤ打ち切り方法は、ｑ（ｚ）＝ｑ（ｚ｜ｓ）となるように選択を探索する。
【0053】
２番目のペアワイズＭＭＤ打ち切りは、任意の迷惑ペアについてｑ（ｚ│ｓｉ）＝ｑ（ｚ｜ｓｊ）であるように選択を探索する。この「ペアワイズ」アプローチを使用して全体スコアを計算するために、我々は、迷惑変数の２つの別個の値のすべての組合せを必要とし、これらの個々の項にわたって平均を計算する。計算効率のためにこのオーバーヘッドを減少させるために、我々は、平均化ペアの部分集合を選択することによって、このペアワイズＭＭＤ打ち切り方法のいくつかの近似を考慮することができる。図７Ａおよび図７Ｂは、２つの例示的な部分集合近似アルゴリズムについての疑似コードを示す。図７Ａにおける最初のアルゴリズムは、ｓｉ，ｓｊ（ｉ≠ｊ）のすべての可能なペアのランダム部分集合を選択するためにベルヌーイ（Bernoulli）分布を制御するパラメータｂ∈［０，１］を使用する。我々はそれを「ベルヌーイ」部分集合選択と呼ぶ。図７Ｂにおける２番目のアルゴリズムは、含まれる迷惑値の数を制御する整数ｄ∈｛１，…，Ｍ｝を使用し、この部分集合内のすべての組合せを考慮する。我々はそれを「クリーク」部分集合選択と呼ぶ。
【0054】
いくつかの実施形態については、３番目のダイバージェンスベースの打ち切り方法において、我々は、ＢＥＧＡＮモデルに基づいたニューラル弁別器を使用する。ＢＥＧＡＮでは、弁別器はオートエンコーダネットワークとしてパラメータ化され、それは、実データおよび偽データについてのそれ自体の平均オートエンコーダ損失を比較することによって、真のデータ分布と生成されたデータ分布とのダイバージェンスの定量的尺度を提供する。これは、真のオートエンコーダ損失と偽のオートエンコーダ損失との間のワッサースタイン－１距離の推定値に対応しており、これは、生成器がその生成されたデータ分布を真のデータ分布と整合させることを可能にするための安定した訓練信号を提供する。打ち切りスコアを測定するために、我々は、ｑ（ｓ）とｑ（ｚ｜ｓ）とのダイバージェンスの代理尺度を提供するために、このアプローチを使用することができる。ＭＭＤと同様に、この距離を最小化することは、我々がＳおよびＺの依存性を減少させることを可能にする。
自動化転移学習：オート転移
自動化転移学習：オート転移
【0055】
本開示は、ＡＩモデルをドメインシフトおよび迷惑変動に対してロバストにするための転移学習フレームワークのためのアルゴリズムおよび方法がたくさんあるという認識に基づいている。たとえば、さまざまなプリショット正則化方法のために、上述されたように潜在変数から迷惑因子を解きほぐすための異なる打ち切りモードおよび打ち切り方法がある。また、本開示は、ノーフリーランチ定理のため、あらゆる任意のデータセット間で最良の性能を達成することができる単一の転送学習アプローチはない、という認識に基づいている。したがって、この発明の核心は、オートベイズフレームワークに基づいたアーキテクチャ探索に加えて、ターゲットデータセットに適した異なる転移学習アプローチを自動的に探索することである。本発明の方法およびシステムはオート転移と呼ばれ、それは、複数の組のアルゴリズムにわたって最良の転移学習アプローチの自動化検索を行なう。
【0056】
図８は、オート転移フレームワークの例示的な概略図を示す。ＡＩモデルは、エンコーダモデルｆおよび分類器モデルｇを介してＸからＹを予測するための主パイプラインを有する。エンコーダモデルおよび分類器モデルは、いくつかの訓練可能パラメータによって特定される。潜在変数Ｚは、主パイプラインの中間層でエンコーダモデルによって生成される。潜在変数Ｚから迷惑変動Ｓを解きほぐすための１組の補助正則化モジュールまたはブロックがある。たとえば、データＸは、脳コンピュータインターフェイスシステムのための運動イメージクラスＹを予測するための被験者ＩＤ Ｓの脳電図（ＥＥＧ）センサからの測定値である。本開示のオート転移における重要な要素は、探索のために１組の異なる正則化モジュールを使用することである。なぜなら、ある打ち切りアルゴリズムは、ある状況では良好に機能し得るものの、異なる状況ではタスク予測性能を損なうかもしれないためである。１組の補助正則化モジュールは、限界的打ち切りモード、条件付き打ち切りモード、および相補的打ち切りモードなどの異なる打ち切りモードに基づいており、敵対的打ち切り方法、ＭＩＮＥ打ち切り方法、ＭＩＧＥ打ち切り方法、ＢＥＧＡＮ弁別器打ち切り方法、ＭＭＤ打ち切り方法、ペアワイズＭＭＤ打ち切り方法、ＨＳＩＣ打ち切り方法、最適輸送打ち切り方法を含むもののそれらに限定されない異なる打ち切り方法に基づいている。いくつかの実施形態では、Ａ－ＣＶＡＥモデルと同様に、複数の打ち切りアルゴリズムが同時に使用される。
【0057】
潜在変数Ｚは、Ｙを予測するのに十分弁別的であるべきであり、一方、Ｚは、異なる迷惑変動Ｓ間で不変であるべきである。たとえば、Ｚの分布がタスクラベルＹに依存して十分にクラスタ化される場合、それは一般により高いタスク分類性能をもたらす。しかしながら、脳コンピュータインターフェイスを被験者Ｓ１から別の被験者Ｓ２に変更する際に、クラスタ分布が被験者の違いに敏感であれば、それは、全く新たな見知らぬ被験者についてはより低い一般化可能性を有するかもしれない。１組の異なる打ち切りモジュールは、被験者不変の潜在表現Ｚを実施し得るものの、それらの一部は迷惑因子を過度に打ち切るかもしれず、それは次にタスク性能を低下させ得る。本発明は、オート転移フレームワークが１組の正則化モジュールから最良の打ち切りモジュールを自動的に見つけることを可能にする。たとえば、最良の正則化モジュールは、正則化モジュールを特定する離散的および連続的なハイパーパラメータ値の異なる組合せを探索するために、強化学習、進化戦略、差分進化、粒子群、遺伝的アルゴリズム、アニーリング、ベイズ最適化、ハイパーバンド、および多目的ラマルク（Lamarckian）進化論を含むもののそれらに限定されない外部最適化方法を使用することによって識別され得る。具体的には、検証データセットにおいて予想されるタスク性能を測定することによって、１組の最良のモジュールペアを自動的に導き出すことができる。いくつかの実施形態では、最良の正則化モジュールは、相互検証設定における、線形回帰、多層パーセプトロン、または注意ネットワークなどのアンサンブルスタッキングによって、さらに組合される。
【0058】
図９Ａ、図９Ｂ、および図９Ｃはそれぞれ、限界的打ち切りモード、条件付き打ち切りモード、および相補的打ち切りモードで正則化モジュールのうちの１つとして使用される敵対的打ち切り方法を記述する例示的な疑似コードを示す。それらの敵対的打ち切りモジュールは、潜在表現Ｚを迷惑変数Ｓにわたる確率分布にマッピングする敵対的迷惑分類器モデルを使用して、Ｙを与えられたＺとＳとの間の条件付き相互情報を最小化することを考慮する。具体的には、我々は、敵対者モジュールのパラメータを、その予測タスクについての標準交差エントロピー損失を最小化するように訓練する。これは、条件付きエントロピーＨ（ｓ｜ｚ）の上限を最小化することとして見られ得る。
【0059】
図１０Ａ、図１０Ｂ、および図１０Ｃはそれぞれ、限界的打ち切りモード、条件付き打ち切りモード、および相補的打ち切りモードで正則化モジュールのうちの１つとして使用されるＭＩＧＥ打ち切り方法を記述する例示的な疑似コードを示す。高次元で相互情報を推定する難しさを考慮して、ＭＩＧＥは、相互情報の勾配を直接推定するための効率的な方法を提供する。これは、相互情報項を含む目的関数が勾配降下法によって最小化されるであろう正則化にとって十分である。具体的には、ＭＩＧＥは、データ分布およびその潜在表現Ｚからのサンプリングタプル（ｘ，ｙ，ｓ）についての暗示的推進（pushforward）分布ｑ（ｘ，ｙ，ｓ）からのサンプリングによって、相互情報の勾配を計算する。ＭＩＧＥ打ち切り方法は、ＳＳＧＥ、ｋスコア（kscore）、ヌーメソッド；チホノフ、およびスタインを含むもののそれらに限定されない、いくつかのスコア関数推定器を使用する。ＭＩＧＥ打ち切りの１つの利点は、ＭＩＧＥ打ち切りが、しばしば不安定であるかまたは敵対的係数に敏感である敵対的訓練のために使用される交互最適化を必要としないという事実を含む。
【0060】
図１１Ａ、図１１Ｂ、および図１１Ｃはそれぞれ、限界的打ち切りモード、条件付き打ち切りモード、および相補的打ち切りモードで正則化モジュールのうちの１つとして使用されるＭＭＤ打ち切り方法を記述する例示的な疑似コードを示す。ＭＭＤ打ち切り方法は、２つの分布間のダイバージェンスの望ましい措置として機能する。なぜなら、それは、測定中の分布のパラメトリック形式に関する仮定をせず、また、それは、サンプルのバッチからカーネル推定器を使用して効率的にかつ簡単に近似され得るためである。ＭＭＤは、２つの分布間のダイバージェンスを、（いくつかの最悪の場合については関数のクラスからの）各分布下のテスト関数の予想値間の差として記述する、積分確率メトリックである。ＭＭＤ打ち切り方法は、好適なカーネル関数を使用して汎用再生核（カーネル）ヒルベルト空間において単位球を用いて、二乗されたＭＭＤスコアのバイアスのない経験的推定値を提供する。なお、この推定値は、放射基底関数（radial basis function：ＲＢＦ）カーネル行列の長さスケールといった、カーネルを定義するハイパーパラメータを含む。この長さスケールは、メディアンヒューリスティック（median heuristic）のようないくつかの方法によって調節され得る。具体的には、我々がサンプルのバッチについてカーネル行列を構築するたびに、我々は長さスケールを、当該バッチにおける点間の中央値ペアワイズＬ２距離に設定する。符号化された例のバッチについてこの条件付き打ち切りペナルティを計算するために、我々は、当該バッチの各クラス条件付き部分集合についての項を計算し、これらの項の平均を出す。我々は、逆クラス頻度を使用して平均における各項に重み付けする。それは、一律のクラス事前確率（class prior）を実施することに対応し、我々のバッチング手順におけるクラスアンバランスの可能性を勘案する。
【0061】
図１２Ａ、図１２Ｂ、および図１２Ｃはそれぞれ、限界的打ち切りモード、条件付き打ち切りモード、および相補的打ち切りモードで正則化モジュールのうちの１つとして使用されるペアワイズＭＭＤ打ち切り方法を記述する例示的な疑似コードを示す。ＭＭＤ打ち切り方法とよく似ていることにより、ペアワイズＭＭＤ打ち切り方法は、量的代理を用いて各迷惑条件付き分布間の平均ダイバージェンスを最小化するためのペナルティを計算する。このペアワイズＭＭＤ打ち切りアプローチは、バッチの各クラス条件付き部分集合についての同類項を計算することによって、条件付き独立性を実施する。前述と同様に、いくつかの実施形態では、我々は、我々のサンプルバッチにおいて起こり得るクラスアンバランスを勘案するために、クラス間の加重平均をとり得る。部分集合選択は、たとえば、図７Ａおよび図７Ｂにおけるベルヌーイ近似およびクリーク近似によって実現される。
【0062】
図１３Ａ、図１３Ｂ、および図１３Ｃはそれぞれ、限界的打ち切りモード、条件付き打ち切りモード、および相補的打ち切りモードで正則化モジュールのうちの１つとして使用されるペアワイズＭＭＤ打ち切り方法を記述する例示的な疑似コードを示す。ＢＥＧＡＮは、生成モデルを学習するために敵対的訓練スキームを使用する。生成器ネットワークは、その潜在空間におけるガウス分布からのサンプルを、ターゲットデータ分布からのサンプルに近似的にマッピングしようとし、一方、弁別器ネットワークは、真のデータサンプルと偽のデータサンプルとを識別しようとする。このモデルの重要な要素は、弁別器が真のデータおよび生成データについてのそのオートエンコーダ損失の分布間のワッサースタイン－１距離の下限を計算するように設計された訓練目的を有して、オートエンコーダを弁別器として使用することである。言い換えれば、弁別器は、「真の」データ分布についてのみうまく機能するオートエンコーダマップを学習しようとすることによって２つのデータ分布を区別し、一方、生成器は、「真の」データ分布と整合し、したがってこのオートエンコーダマップによって良好に保存されるデータを生成しようとする。それらはさらに、真のデータおよび生成データについての弁別器の損失項の大きさを適応的にスケール変更するためのトレードオフパラメータを導入することによって、それらの弁別器モデルの訓練を安定させる。これは、モデルのうちの１つのカスタムスケジューリングまたは事前訓練といった共通のＧＡＮ訓練トリックを必要とすることなく、訓練の成功を可能にする。弁別器の役割は、生成器がともにより接近している異なるドメインから２つの分布をもたらすことができるように、代理目的を提供することである。これは、エンコーダモデルがダイバージェンスを最小化することを可能にする信号を提供するように容易に適応され得る。我々は、ＢＥＧＡＮからの交互最適化アルコリズムを使用するが、「真の」データの分布をｑ（ｚ）と置換し、「生成」データの分布をｑ（ｚ｜ｓ）と置換する。我々は、迷惑変数の各可能値についてこのやり方で損失項を計算し、これらの値の平均を出す。なお、交互最適化では、弁別器およびエンコーダは、２つの損失項を使用して、別々のステップで最適化される。ＢＥＧＡＮ最適化アルコリズムは、これら２つのモデル間のバランスを維持するようにこれらの損失項の相対的な大きさを制御する追加入力を含む。
自動化前処理／後処理
自動化前処理／後処理
【0063】
本発明におけるオート転移フレームワークの上述の説明は、具体的には、新たなターゲットドメインに利用可能なテストデータセットがない場合における、ドメイン一般化としても知られているプリショット転移学習に適している。にもかかわらず、オート転移は、ドメインシフトへの高いレジリエンスのために、オンラインドメイン適応としても知られているポストショット転移学習を向上させることもできる。ポストショット学習は、ターゲットドメインにおけるラベルなしデータが利用可能であるゼロショット学習と、ターゲットドメインにおけるいくつかのラベル付きデータが事前訓練されたＡＩモデルを微調整するために利用可能である数ショット学習とを含む。いくつかの実施形態については、タスクラベルの有無にかかわらず、新たなデータが利用可能である場合、ポストショット微調整は、テスト段階の進行中にオンラインで実行される。ポストショット適応段階では、オート転移によって最適化された事前訓練されたＡＩモデルは、新規のユーザまたはターゲットドメインにおける１組の較正データセットによってさらに更新される。更新は、疑似ラベリング、ソフトラベリング、混乱最小化、エントロピー最小化、特徴正規化、加重ｚスコアリング、弾性重み統合を用いる継続的学習、フィックスマッチ（FixMatch）、ミックスアップ（MixUp）、ラベル伝搬、適応層凍結、ハイパーネットワーク適応、潜在空間クラスタ化、量子化、疎化、ゼロショット半教師あり更新、および、数ショット教師あり微調整を含むもののそれらに限定されないドメイン適応手法によって達成される。
【0064】
本発明のいくつかの実施形態によれば、異なる打ち切り方法を探索するのと類似したやり方で、オート転移は、利用可能な異なるアプローチの中で最良のポストショット適応方法を検索することができる。図１４Ａ、図１４Ｂ、図１４Ｃ、および図１４Ｄは、ポストショット段階で選択するべき例示的な１組の後処理モジュールを示す。選択は、ソースドメインまたはターゲットドメインにおける新たな検証データセットのためのベイズ最適化を含む、さまざまな最適化方法によって実現される。
【0065】
図１４Ａは、FixMatch方法の例示的な概略図を示す。予測を得るために、弱く拡張されたデータがＡＩモデルに供給される。予測されたスコアがしきい値を上回る場合、予測はワンホット疑似ラベルに変換される。次に、我々は、同じデータの強い拡張についてのモデルの予測を計算する。モデルは、交差エントロピー損失最小化を介して、強く拡張されたバージョンについてのその予測を疑似ラベルと整合させるように訓練される。
【0066】
図１４Ｂは、コンパクトな潜在空間クラスタ化を用いる半教師あり学習に基づいた別の例示的な後処理方法を示す。それは、各訓練反復で潜在空間にグラフを動的に構築し、ラベルを伝搬してマニホ－ルドの構造を捉え、それを正則化してクラスごとに単一のコンパクトなクラスタを形成し、分離を容易にする。
【0067】
図１４Ｃは、弾性重み統合を用いる継続的学習に基づいた後処理方法の別の例を示す。それは、タスクＢについて訓練する間にタスクＡが記憶されることを保証する。訓練軌跡がパラメータ空間に図示され、パラメータ領域がタスクＡおよびタスクＢについての良好な性能をもたらす。タスクＢのみに従って勾配ステップを行なう場合、我々はタスクＢの損失を最小化するものの、タスクＡについて学習したことを損なうかもしれない。一方、我々が同じ係数を用いて各重みを制約する場合、課される制限は厳し過ぎ、我々は、タスクＢを学習しないという犠牲を払わないとタスクＡを記憶できない。よって、弾性重み統合は逆に、タスクＡにとって重みがどれほど重要かを明示的に計算することによって、タスクＡについて著しい損失を負うことなく、タスクＢについての解決策を見つける。
【0068】
FixMatchの図では、予測を得るために、弱く拡張された画像（上）がモデルに供給される。モデルがしきい値（点線）を上回る任意のクラスに確率を割り当てると、予測はワンホット疑似ラベルに変換される。次に、同じ画像の強い拡張（下）についてのモデルの予測が計算される。モデルは、交差エントロピー損失を介して、強く拡張されたバージョンについてのその予測を疑似ラベルと整合させるように訓練される。
【0069】
図１４Ｄは、半教師あり学習のためのラベル伝搬に基づいた後処理方法のさらに別の例を示す。三角はラベル付き訓練データを示し、円はラベルなし訓練データを示す。マニホ－ルドについての疑似ラベル予測の信頼度に従ってＡＩモデルを訓練するために使用される、拡散によって推論された疑似ラベルを生成するために、グラウンドトゥルースラベルが伝搬される。
【0070】
本発明のいくつかの実施形態によれば、方法は、各訓練反復でネットワークの潜在空間にグラフを動的に構築し、ラベルを伝搬してマニホ－ルドの構造を捉え、それを正則化してクラスごとに単一のコンパクトなクラスタを形成し、分離を容易にする。
【0071】
ＥＷＣ（elastic weight consolidation：弾性重み統合）は、タスクＢについて訓練する間にタスクＡが記憶されることを保証する。訓練軌跡が概略パラメータ空間に図示され、パラメータ領域がタスクＡおよびタスクＢについての良好な性能をもたらす。第１のタスクを学習後、パラメータはθ＊
Ａにある。タスクＢのみに従って勾配ステップを行なう場合（矢印（Ｃ））、方法はタスクＢの損失を最小化する。我々が同じ係数を用いて各重みを制約する場合（矢印（Ｂ））、課される制限は厳し過ぎ、我々は、タスクＢを学習しないという犠牲を払わないとタスクＡを記憶できない。ＥＷＣは逆に、タスクＡにとって重みがどれほど重要かを明示的に計算することによって、タスクＡについて著しい損失を負うことなく、タスクＢについての解決策を見つける（矢印（Ａ））。
【0072】
マニホ－ルドの非常に単純な例題(toy example)についてのラベル伝搬では、三角はラベル付き訓練データを示し、円はラベルなし訓練データを示す。上の図は、ラベル付きポイントについての色分けされたグラウンドトゥルースと、ラベルなしポイントについての灰色とを示す。下の図は、ＣＮＮを訓練するために使用される、拡散によって推論された色分けされた疑似ラベルを示す。この場合、サイズは、疑似ラベル予測の確実性を反映する。
【0073】
後処理に加えて、オート転移は、未加工データをＡＩモデルに供給する前に、異なる前処理アプローチを探索することができる。前処理方法は、データ正規化、データ拡張、オート拡張、汎用敵対例（an universal adversarial example：ＵＡＥ）、共通空間パターンフィルタリングなどの空間フィルタリング、主成分分析、独立成分分析、短時間フーリエ変換、フィルターバンク、ベクトル自己回帰フィルター、自己注意マッピング、ロバストなｚ－スコアリング、時空間フィルタリング、および、ウェーブレット変換を含むものの、それらに限定されない。たとえば、タスク分類を敵対的に妨害する確率的ＵＡＥが、データセットにおけるより挑戦的なアーティファクトに取り組むためのデータ拡張として使用される。前処理を特定するための多くの関連付けられたハイパーパラメータがある。たとえば、連続ウェーブレット変換は、フィルターバンク分解能およびマザーウェーブレットカーネル（図１５Ｄに示されるメキシカンハット型ウェーブレット、図１５Ｅに示されるモルレー（Morlet）ウェーブレット、および図１５Ｆに示されるガウス８（Gaus8）ウェーブレットなど）の選択を有し得る。多くの関連付けられたハイパーパラメータを用いる多くの前処理アプローチがあるため、自動化探索が人間の集中的な労力を必要とすることなく最良のアプローチを見つけることが必要とされる。図１５は、自動選択のために使用される例示的な１組の前処理モジュールを示す。いくつかの実施形態では、オート転移はまた、ＡＩモデルがドメインシフトに対するロバスト性を達成しつつタスク予測において高精度を実現することができるように、さまざまなそのような前処理方法を自動的に探索する。いくつかの実施形態では、選択は、ベイズ最適化によって実現される。
【0074】
図１５Ａは、オート拡張に基づいた前処理方法の一例を示す。それは、よりよいデータ拡張ポリシーを見つけるために検索方法（たとえば強化学習）を使用する。補助コントローラモデル（たとえば再帰型ニューラルネットワーク（recurrent neural network：ＲＮＮ））が、検索空間から拡張ポリシーを予測する。固定されたアーキテクチャを有する子ネットワークが、精度を達成する収束に向けて訓練される。コントローラモデルがよりよいポリシーを経時的に生成することができるようにコントローラモデルを更新するために、精度スコアがポリシー勾配法を用いて報酬値として使用されるであろう。拡張ポリシーは、ノイズ注入、時空間シフティング／マスキング、内挿／外挿、量子化を含むものの、それらに限定されない。
【0075】
図１５Ｂは、MixUpに基づいた前処理モジュールの別の例を示す。それは、ランダムにサンプリングされた混合係数によって２つの別個のデータを重ね合わせることによって訓練データを拡張する。MixUpの重要な考え方は、データＸに加えてタスクラベルＹを混合することである。いくつかの実施形態については、MixUpは複数のデータインスタンスを使用し、３つ以上がより多くの混合パラメータとともに組合される。さらに別の実施形態は、補助ＤＮＮモデルを使用して、訓練データからの複数のサンプルを混合し、拡張するべき非線形マッピングを生成する。
【0076】
図１５Ｃは、ＵＡＥフレームワークに基づいた拡張の別の例を示す。補助ＤＮＮモデルは、訓練データセットが与えられて汎用敵対者を生成するためのオフライン生成器として訓練される。オンライン段階では、ＤＮＮモデルは、それが制約付きの混乱限度下での最悪のケースのアーティファクトとしてタスク精度をできるだけ乱そうとしつつ、バックプロパゲーションまたはモデル固有の勾配なく敵対者を生成することができる。訓練されたＤＮＮモデルは次に、メインＡＩモデルが拡張されたデータに基づいて訓練されるときに、訓練データを拡張するために使用される。ＵＡＥフレームワークによる敵対的攻撃のため、メインＡＩモデルは、敵対的ドメインシフトに対してより一般化され得る。
【0077】
図は、よりよいデータ拡張ポリシーを検索するための検索方法（たとえば強化学習）を使用する我々のフレームワークの概観を示す。コントローラＲＮＮは、精度Ｒを達成する収束に向けて訓練される拡張ポリシーを予測する。コントローラがよりよいポリシーを経時的に生成することができるようにコントローラを更新するために、報酬Ｒはポリシー勾配法を用いて使用されるであろう。
モデル実現化例
モデル実現化例
【0078】
ＤＮＮブロックの各々は、信号を層から層へ順次渡すように訓練可能変数と相互接続されたニューロンノードを有する１組の層を特定するためのハイパーパラメータを有して構成される。訓練可能変数は、確率的勾配降下法、適応運動量、適応勾配、適応境界、ネステロフ（Nesterov）加速勾配法、および二乗平均平方根伝搬などの勾配法を用いて数値的に最適化される。勾配法は、ＤＮＮブロックの出力が、平均二乗誤差、交差エントロピー、構造類似性、負の対数尤度、絶対誤差、交差共分散、クラスタ化損失、ダイバージェンス、ヒンジ損失、フーバー損失、負のサンプリング、ワッサースタイン距離、およびトリプレット損失などのより小さい損失値を提供するように訓練データを使用することによって、ＤＮＮブロックの訓練可能パラメータを更新する。複数の損失関数はさらに、訓練スケジュールポリシーに従って、いくつかの正則化係数を用いて重み付けされる。
【0079】
いくつかの実施形態では、ＤＮＮブロックは、ＤＮＮブロックが、整流線形変形、双曲線正接、sigmoid、ゲートリニア、softmax、およびしきい値を含む１組の非線形活性化を有する、１組の完全接続層、畳み込み層、グラフ畳み込み層、再帰層、ルーピー接続、スキップ接続、および開始層を有して構成されるように、ハイパーパラメータに従って再構成可能である。ＤＮＮブロックはさらに、１組のドロップアウト、スワップアウト、ゾーンアウト、ブロックアウト、ドロップコネクト、ノイズ注入、揺れ、およびバッチ正規化を用いて正則化される。さらに別の実施形態では、層パラメータはさらに、調節可能ハイパーパラメータによって特定されるように、メモリのサイズを減少させるように量子化される。リンク連結の別の実施形態については、システムは、次元不整合リンクのためにより低次元の信号をより高次元の信号に変換するために、次元単位の訓練可能線形フィルターを用いる多次元テンソル射影を使用する。
【0080】
別の実施形態は、各ＤＮＮブロックのハイパーパラメータ探索および学習スケジューリングのために、オートＭＬをオートベイズおよびオート転移へ一体化する。なお、オート転移およびオートベイズは、個々のＤＮＮブロックの任意のハイパーパラメータを最適化するために、容易にオートＭＬと一体化され得る。より具体的には、システムは、離散的および連続的なハイパーパラメータ値の異なる組合せを探索するために、強化学習、進化戦略、差分進化、粒子群、遺伝的アルゴリズム、アニーリング、ベイズ最適化、ハイパーバンド、および多目的ラマルク進化論を使用することによって、ハイパーパラメータを修正する。
【0081】
この発明のシステムはまた、ＤＮＮブロックが新たな被験者などの新たな迷惑変動を有する新たなデータセットに対してロバストであり得るように、いくつかの訓練可能変数を解凍することによって訓練されたＤＮＮブロックを精製する事後訓練ステップとして適応するためのさらに別のテストステップを提供する。この実施形態は、ＨＭＩシステムの新規ユーザのための較正時間の要件を減少させることができる。さらに別の実施形態は、異なる前処理方法の探索を使用する。
例示的なシステム
例示的なシステム
【0082】
図１６は、本開示のいくつかの実施形態に従った、人工ニューラルネットワークアーキテクチャの自動化構築のためのシステム５００の一例を示すブロック図である。システム５００は、信号を受信し送信するように構成された１組のインターフェイスおよびデータリンク１０５と、少なくとも１つのプロセッサ１２０と、メモリ（または１組のメモリバンク）１３０と、ストレージ１４０とを含む。プロセッサ１２０は、メモリ１３０と接続されて、ストレージ１４０に格納されたコンピュータ実行可能プログラムおよびアルゴリズムを実行する。１組のインターフェイスおよびデータリンク１０５は、ヒューマンマシンインターフェイス（human machine interface：ＨＭＩ）１１０と、ネットワークインターフェイスコントローラ１５０とを含んでいてもよい。ストレージ１４０に格納されたコンピュータ実行可能プログラムおよびアルゴリズムは、再構成可能ディープニューラルネットワーク（ＤＮＮ）１４１、ハイパーパラメータ１４２、スケジューリング基準１４３、順方向／逆方向データ１４４、一時キャッシュ１４５、打ち切りモジュール１４６、オート転移アルゴリズム１４７、および前処理／後処理モジュール１４８であってもよい。
【0083】
システム５００は、１組のインターフェイスおよびデータリンクを介して信号を受信することができる。信号は、訓練データ、検証データ、およびテストデータのデータセットであってもよく、信号は、多次元信号Ｘにおいて１組の乱数因子を含み、乱数因子の一部は、識別するためのタスクラベルＹと、異なるドメインからの迷惑変動Ｓとに関連付けられている。
【0084】
いくつかの場合、再構成可能ＤＮＮブロック（ＤＮＮ）１４１の各々は、多次元信号Ｘを潜在変数Ｚに符号化するため、多次元信号Ｘを再構成するように潜在変数Ｚを復号するため、タスクラベルＹを分類するため、迷惑変動Ｓを推定するため、迷惑変動Ｓを正則化推定するため、またはグラフィカルモデルを選択するために構成される。この場合、メモリバンクはさらに、ハイパーパラメータ、訓練可能変数、中間ニューロン信号、ならびに、順方向パス信号および逆方向パス勾配を含む仮計算値を含む。
【0085】
少なくとも１つのプロセッサ１２０は、インターフェイスおよびメモリバンク１３０と接続されて、信号およびデータセットを再構成可能ＤＮＮブロック１４１へ提示するように構成される。また、少なくとも１つのプロセッサ１２０は、ベイズ・ボールアルゴリズムを使用してベイズグラフ探索を実行して、メモリバンク１３０においてハイパーパラメータ１４２を修正することによってコンパクトにすべく冗長リンクがプルーニングされるようにＤＮＮブロックを再構成する。オート転移は、迷惑変動に対するロバスト性を向上させるために、異なる補助正則化モジュールおよび前処理／後処理モジュールを探索する。
【0086】
システム５００は、ユーザの生理学的データの分析を通して、ヒューマンマシンインターフェイス（ＨＭＩ）の設計に適用され得る。システム５００は、ネットワーク１９０と１組のインターフェイスおよびデータリンク１０５とを介して、生理学的データ１９５Ｂをユーザの生理学的データとして受信してもよい。いくつかの実施形態では、システム５００は、１組のセンサ１１１から脳波図（ＥＥＧ）および筋電図（ＥＭＧ）をユーザの生理学的データとして受信してもよい。
【0087】
本発明の上述の実施形態は、多くのやり方のうちのいずれかで実現され得る。たとえば、実施形態は、ハードウェア、ソフトウェア、またはそれらの組合せを使用して実現されてもよい。ソフトウェアで実現される場合、ソフトウェアコードが、任意の好適なプロセッサまたはプロセッサの集合上で、当該プロセッサが単一のコンピュータにおいて提供されようと複数のコンピュータ中に分散されようと、実行され得る。そのようなプロセッサは、集積回路コンポーネント内に１つ以上のプロセッサを有する集積回路として実現されてもよい。しかしながら、プロセッサは、任意の好適なフォーマットの回路を使用して実現されてもよい。
【0088】
また、この発明の実施形態は、その例が提供された方法として具現化されてもよい。当該方法の一部として実行される動作は、任意の好適なやり方で順序付けられてもよい。したがって、例示的な実施形態では連続的な動作として示されていても、動作が例示とは異なる順序で実行される実施形態が構築されてもよい。この場合、いくつかの動作を同時に実行することも含まれていてもよい。
【0089】
請求項要素を修飾するための、請求項における「第１」、「第２」などの序数用語の使用は、それ自体、ある請求項要素の、別の請求項要素に対する優先順位、優位性、または順序、あるいは、方法の動作が実行される時間的順序を何ら暗示しておらず、単に、ある名前を有するある請求項要素を、（序数用語の使用を除き）同じ名前を有する別の要素から区別するために、これらの請求項要素を区別するラベルとして使用されているに過ぎない。
【0090】
この発明を、好ましい実施形態の例を介して説明してきたが、この発明の精神および範囲内で他のさまざまな適応および変更が実施可能であることが理解されるはずである。
【0091】
したがって、添付された請求項の目的は、この発明の真の精神および範囲内に収まるようにそのようなすべての変形および変更を網羅することである。
【図1A】
【図1B】
【図1C】
【図2A】
【図2B】
【図2C】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図3F】
【図3G】
【図3H】
【図3I】
【図3J】
【図3K】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図4F】
【図4G】
【図4H】
【図4I】
【図4J】
【図4K】
【図4L】
【図5A】
【図5B】
【図5C】
【図5D】
【図5E】
【図5F】
【図5G】
【図5H】
【図5I】
【図5J】
【図6】
【図7A】
【図7B】
【図8】
【図9A】
【図9B】
【図9C】
【図10A】
【図10B】
【図10C】
【図11A】
【図11B】
【図11C】
【図12A】
【図12B】
【図12C】
【図13A】
【図13B】
【図13C】
【図14A】
【図14B】
【図14C】
【図14D】
【図15A】
【図15B】
【図15C】
【図15D】
【図15E】
【図15F】
【図16】
【国際調査報告】