ホーム > 特許ランキング > 三顧股▲ふん▼有限公司
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025011056
(43)【公開日】2025-01-23
(54)【発明の名称】決定変数の計算方法
(51)【国際特許分類】
G06N 3/098 20230101AFI20250116BHJP
【ＦＩ】
G06N3/098
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024109329
(22)【出願日】2024-07-08
(31)【優先権主張番号】63/525,786
(32)【優先日】2023-07-10
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】524257993
【氏名又は名称】三顧股▲ふん▼有限公司
(74)【代理人】
【識別番号】100091683
【弁理士】
【氏名又は名称】▲吉▼川 俊雄
(74)【代理人】
【識別番号】100179316
【弁理士】
【氏名又は名称】市川 寛奈
(72)【発明者】
【氏名】楊▲いん▼臻
(72)【発明者】
【氏名】孫子龍
(72)【発明者】
【氏名】林永松
(72)【発明者】
【氏名】陳宗基
(57)【要約】 （修正有）
【課題】連合学習のメンバーが、連合学習により共有のモデルを共同で訓練しなくても、決定変数を逆推定する効果を達成可能な決定変数を算出するための決定変数の計算方法を提供する。
【解決手段】逆推定要求者が、連合学習の一部のメンバーから提供される訓練済み予測モデルによって、目標結果に応じて所望の決定変数を逆推定により算出可能である決定変数の計算方法は、当該方法に関わる各訓練済み予測モデルに目標結果を提供して入力パラメータを逆推定させること、各訓練済み予測モデルと目標結果との差から損失関数を形成すること、逆推定した全ての入力パラメータを総合入力パラメータに統合するとともに、全ての損失関数を総合損失関数に統合すること及び総合入力パラメータ及び総合損失関数により最適化問題を構築してその解を求めることを含み、最適化問題から求めた解が所望の決定変数となる。
【選択図】図１
【解決手段】逆推定要求者が、連合学習の一部のメンバーから提供される訓練済み予測モデルによって、目標結果に応じて所望の決定変数を逆推定により算出可能である決定変数の計算方法は、当該方法に関わる各訓練済み予測モデルに目標結果を提供して入力パラメータを逆推定させること、各訓練済み予測モデルと目標結果との差から損失関数を形成すること、逆推定した全ての入力パラメータを総合入力パラメータに統合するとともに、全ての損失関数を総合損失関数に統合すること及び総合入力パラメータ及び総合損失関数により最適化問題を構築してその解を求めることを含み、最適化問題から求めた解が所望の決定変数となる。
【選択図】図１
【特許請求の範囲】
【請求項1】
決定変数を算出するための決定変数の計算方法であって、
複数の訓練済み予測モデルを提供し、前記訓練済み予測モデルは、機械学習方法によって複数のローカルデータセットをそれぞれ機械学習することで得られるステップと、
目標結果を提供し、前記訓練済み予測モデルによって、前記目標結果につき複数の入力パラメータをそれぞれ逆推定するステップと、
前記訓練済み予測モデルに対応する複数の損失関数をそれぞれ設定し、前記損失関数に第１重み値をそれぞれ付与したあと合計することで総合損失関数を生成し、各前記損失関数は、各前記訓練済み予測モデルを表す目的関数の関数値と前記目標結果との差分値の絶対値、２乗、或いは、差分値に対して単調増加特性を有する関数と定義されるステップと、
前記入力パラメータに第２重み値をそれぞれ付与したあと合計することで総合入力パラメータを生成し、前記総合入力パラメータ及び前記総合損失関数により最適化問題を構築するステップと、
前記最適化問題の解を求めることで、各前記入力パラメータの前記第２重み値を取得して、前記総合入力パラメータを前記決定変数として算出するステップ、を含む決定変数の計算方法。
複数の訓練済み予測モデルを提供し、前記訓練済み予測モデルは、機械学習方法によって複数のローカルデータセットをそれぞれ機械学習することで得られるステップと、
目標結果を提供し、前記訓練済み予測モデルによって、前記目標結果につき複数の入力パラメータをそれぞれ逆推定するステップと、
前記訓練済み予測モデルに対応する複数の損失関数をそれぞれ設定し、前記損失関数に第１重み値をそれぞれ付与したあと合計することで総合損失関数を生成し、各前記損失関数は、各前記訓練済み予測モデルを表す目的関数の関数値と前記目標結果との差分値の絶対値、２乗、或いは、差分値に対して単調増加特性を有する関数と定義されるステップと、
前記入力パラメータに第２重み値をそれぞれ付与したあと合計することで総合入力パラメータを生成し、前記総合入力パラメータ及び前記総合損失関数により最適化問題を構築するステップと、
前記最適化問題の解を求めることで、各前記入力パラメータの前記第２重み値を取得して、前記総合入力パラメータを前記決定変数として算出するステップ、を含む決定変数の計算方法。
【請求項2】
前記最適化問題の解を求めるステップは、更に、
各前記第２重み値に対する前記総合損失関数の導関数をそれぞれ計算するステップと、
前記導関数を組み合わせて方向を形成するステップと、
前記総合入力パラメータについて、前記方向に沿って刻み幅を増加させたあと前記訓練済み予測モデルに入力して、前記総合損失関数の関数値が減少するか否かを判断するステップ、を含む請求項１に記載の決定変数の計算方法。
各前記第２重み値に対する前記総合損失関数の導関数をそれぞれ計算するステップと、
前記導関数を組み合わせて方向を形成するステップと、
前記総合入力パラメータについて、前記方向に沿って刻み幅を増加させたあと前記訓練済み予測モデルに入力して、前記総合損失関数の関数値が減少するか否かを判断するステップ、を含む請求項１に記載の決定変数の計算方法。
【請求項3】
前記訓練済み予測モデルは、それぞれ、連合学習の複数のメンバーから提供される請求項１に記載の決定変数の計算方法。
【請求項4】
前記訓練済み予測モデルによって、前記目標結果につき前記入力パラメータをそれぞれ逆推定するステップは、更に、
前記メンバーのうちの第１メンバーが、前記ローカルデータセットのうちの対応する第１ローカルデータセットの全てのサンプルと前記目標結果を比較するステップと、
前記目標結果と一致する前記第１ローカルデータセット内のサンプルを、前記入力パラメータを逆推定するための参照サンプルとするステップ、を含む請求項３に記載の決定変数の計算方法。
前記メンバーのうちの第１メンバーが、前記ローカルデータセットのうちの対応する第１ローカルデータセットの全てのサンプルと前記目標結果を比較するステップと、
前記目標結果と一致する前記第１ローカルデータセット内のサンプルを、前記入力パラメータを逆推定するための参照サンプルとするステップ、を含む請求項３に記載の決定変数の計算方法。
【請求項5】
前記訓練済み予測モデルによって、前記目標結果につき前記入力パラメータをそれぞれ逆推定するステップは、更に、
前記メンバーのうちの第２メンバーが、前記ローカルデータセットのうちの対応する第２ローカルデータセットの全てのサンプルと前記目標結果を比較して複数のアンカーサンプルを取得し、前記アンカーサンプルにより多次元部分空間を形成するステップと、
前記多次元部分空間内で初期サンプルを決定するステップと、
前記多次元部分空間内で前記初期サンプルの方向を取得し、前記初期サンプルについて、前記方向に沿って刻み幅を増加させることで中継サンプルを形成し、前記中継サンプルを前記第２メンバーから提供された第２訓練済み予測モデルに入力することで、生成される予測結果が前記目標結果と近似するか否かを確認するステップと、
前記方向の決定及び前記刻み幅の増加を行った前記中継サンプルを前記第２訓練済み予測モデルに入力する動作を、前記第２訓練済み予測モデルにより生成される予測結果が前記目標結果と一致するまで実行し続け、最後の前記中継サンプルを前記第２訓練済み予測モデルに対応する前記入力パラメータとするステップ、を含む請求項３に記載の決定変数の計算方法。
前記メンバーのうちの第２メンバーが、前記ローカルデータセットのうちの対応する第２ローカルデータセットの全てのサンプルと前記目標結果を比較して複数のアンカーサンプルを取得し、前記アンカーサンプルにより多次元部分空間を形成するステップと、
前記多次元部分空間内で初期サンプルを決定するステップと、
前記多次元部分空間内で前記初期サンプルの方向を取得し、前記初期サンプルについて、前記方向に沿って刻み幅を増加させることで中継サンプルを形成し、前記中継サンプルを前記第２メンバーから提供された第２訓練済み予測モデルに入力することで、生成される予測結果が前記目標結果と近似するか否かを確認するステップと、
前記方向の決定及び前記刻み幅の増加を行った前記中継サンプルを前記第２訓練済み予測モデルに入力する動作を、前記第２訓練済み予測モデルにより生成される予測結果が前記目標結果と一致するまで実行し続け、最後の前記中継サンプルを前記第２訓練済み予測モデルに対応する前記入力パラメータとするステップ、を含む請求項３に記載の決定変数の計算方法。
【請求項6】
前記訓練済み予測モデルによって、前記目標結果につき前記入力パラメータをそれぞれ逆推定するステップは、更に、
前記メンバーのうちの第３メンバーが、対応する第３訓練済み予測モデルの入力端子に接続されるダミー層を設定してパラメータ予測モデルを形成し、前記ダミー層が前記パラメータ予測モデルの入力端子となるステップと、
前記パラメータ予測モデルの出力を前記目標結果に設定し、前記パラメータ予測モデルに対し、少なくとも１つのオールワンベクトルを含む訓練データセットを入力して前記パラメータ予測モデルを訓練し、前記第３訓練済み予測モデルを訓練した機械学習方法におけるオプティマイザによって前記ダミー層と前記第３訓練済み予測モデルとの間の複数のアーク重み値を調整し、前記アーク重み値を前記第３訓練済み予測モデルに対応する前記入力パラメータとするステップ、を含む請求項３に記載の決定変数の計算方法。
前記メンバーのうちの第３メンバーが、対応する第３訓練済み予測モデルの入力端子に接続されるダミー層を設定してパラメータ予測モデルを形成し、前記ダミー層が前記パラメータ予測モデルの入力端子となるステップと、
前記パラメータ予測モデルの出力を前記目標結果に設定し、前記パラメータ予測モデルに対し、少なくとも１つのオールワンベクトルを含む訓練データセットを入力して前記パラメータ予測モデルを訓練し、前記第３訓練済み予測モデルを訓練した機械学習方法におけるオプティマイザによって前記ダミー層と前記第３訓練済み予測モデルとの間の複数のアーク重み値を調整し、前記アーク重み値を前記第３訓練済み予測モデルに対応する前記入力パラメータとするステップ、を含む請求項３に記載の決定変数の計算方法。
【請求項7】
前記訓練済み予測モデルによって、前記目標結果につき前記入力パラメータをそれぞれ逆推定するステップは、更に、
前記メンバーのうちの第４メンバーが、前記ローカルデータセットのうちの対応する第４ローカルデータセットの全てのサンプルと前記目標結果を比較して複数のアンカーサンプルを取得し、前記アンカーサンプルにより多次元部分空間を形成するステップと、
前記多次元部分空間内で初期サンプルを決定するステップと、
前記第４メンバーが第４訓練済み予測モデルを生成するために用いたオプティマイザによって、前記第４訓練済み予測モデルの目的関数につき最小化演算を行うことで勾配を取得するとともに、前記勾配の反対方向を前記初期サンプルの方向とするステップと、
前記初期サンプルについて、前記方向に沿って刻み幅を増加させることで中継サンプルを形成し、前記中継サンプルを前記第４訓練済み予測モデルに入力することで、生成される予測結果が前記目標結果と近似するか否かを確認するステップと、
前記方向の決定及び前記刻み幅の増加を行った前記中継サンプルを前記第４訓練済み予測モデルに入力する動作を、前記第４訓練済み予測モデルにより生成される予測結果が前記目標結果と一致するまで実行し続け、最後の前記中継サンプルを前記第４訓練済み予測モデルに対応する前記入力パラメータとするステップ、を含む請求項３に記載の決定変数の計算方法。
前記メンバーのうちの第４メンバーが、前記ローカルデータセットのうちの対応する第４ローカルデータセットの全てのサンプルと前記目標結果を比較して複数のアンカーサンプルを取得し、前記アンカーサンプルにより多次元部分空間を形成するステップと、
前記多次元部分空間内で初期サンプルを決定するステップと、
前記第４メンバーが第４訓練済み予測モデルを生成するために用いたオプティマイザによって、前記第４訓練済み予測モデルの目的関数につき最小化演算を行うことで勾配を取得するとともに、前記勾配の反対方向を前記初期サンプルの方向とするステップと、
前記初期サンプルについて、前記方向に沿って刻み幅を増加させることで中継サンプルを形成し、前記中継サンプルを前記第４訓練済み予測モデルに入力することで、生成される予測結果が前記目標結果と近似するか否かを確認するステップと、
前記方向の決定及び前記刻み幅の増加を行った前記中継サンプルを前記第４訓練済み予測モデルに入力する動作を、前記第４訓練済み予測モデルにより生成される予測結果が前記目標結果と一致するまで実行し続け、最後の前記中継サンプルを前記第４訓練済み予測モデルに対応する前記入力パラメータとするステップ、を含む請求項３に記載の決定変数の計算方法。
【請求項8】
前記訓練済み予測モデルによって、前記目標結果につき前記入力パラメータをそれぞれ逆推定するステップは、更に、
複数の確認済み決定変数を提供し、前記確認済み決定変数の第１ベクトルを計算するステップと、
前記確認済み決定変数に基づいて、前記第４ローカルデータセットの全てのサンプルにおけるサンプルパラメータから対応する複数の対応サンプルパラメータをそれぞれ取得し、前記対応サンプルパラメータの第２ベクトルを計算するステップと、
前記第１ベクトルと前記第２ベクトルを比較するとともに、前記第４ローカルデータセットの全てのサンプルが前記第４訓練済み予測モデルにおいて生成する予測結果と前記目標結果を比較することで参照サンプルを取得し、前記参照サンプルの前記第２ベクトルは前記第１ベクトルと近似又は一致しており、前記参照サンプルの前記予測結果は前記目標結果と近似又は一致しているステップと、
前記参照サンプルを前記初期サンプルとするステップ、を含む請求項７に記載の決定変数の計算方法。
複数の確認済み決定変数を提供し、前記確認済み決定変数の第１ベクトルを計算するステップと、
前記確認済み決定変数に基づいて、前記第４ローカルデータセットの全てのサンプルにおけるサンプルパラメータから対応する複数の対応サンプルパラメータをそれぞれ取得し、前記対応サンプルパラメータの第２ベクトルを計算するステップと、
前記第１ベクトルと前記第２ベクトルを比較するとともに、前記第４ローカルデータセットの全てのサンプルが前記第４訓練済み予測モデルにおいて生成する予測結果と前記目標結果を比較することで参照サンプルを取得し、前記参照サンプルの前記第２ベクトルは前記第１ベクトルと近似又は一致しており、前記参照サンプルの前記予測結果は前記目標結果と近似又は一致しているステップと、
前記参照サンプルを前記初期サンプルとするステップ、を含む請求項７に記載の決定変数の計算方法。
【請求項9】
更に、
テストサンプルを提供し、前記テストサンプルは、確認済みの複数のテスト入力パラメータ及びテスト目標結果を含むステップと、
前記テスト入力パラメータを複数の訓練済み予測モデル候補に入力し、出力結果が前記テスト目標結果と一致する前記訓練済み予測モデル候補を前記訓練済み予測モデルとするステップ、を含む請求項１に記載の決定変数の計算方法。
テストサンプルを提供し、前記テストサンプルは、確認済みの複数のテスト入力パラメータ及びテスト目標結果を含むステップと、
前記テスト入力パラメータを複数の訓練済み予測モデル候補に入力し、出力結果が前記テスト目標結果と一致する前記訓練済み予測モデル候補を前記訓練済み予測モデルとするステップ、を含む請求項１に記載の決定変数の計算方法。
【請求項10】
更に、
第１テストサンプルを提供し、前記第１テストサンプルは、確認済みの複数の第１テスト入力パラメータ及び第１テスト目標結果を含むステップと、
前記第１テスト入力パラメータを複数の訓練済み予測モデル候補に入力し、出力結果が前記第１テスト目標結果と一致する前記訓練済み予測モデル候補を複数の第１訓練済み予測モデル候補とするステップと、
第２テストサンプルを提供し、前記第２テストサンプルは、確認済みの複数の第２テスト入力パラメータ及び第２テスト目標結果を含むステップと、
前記第１訓練済み予測モデル候補に前記第２テスト目標結果をそれぞれ提供して、前記第１訓練済み予測モデル候補に複数の第１入力パラメータ候補を逆推定させて、前記第１入力パラメータ候補が前記第２テスト入力パラメータと一致又は近似するか、前記第１入力パラメータ候補が有効性検証プロセスを満たす前記第１訓練済み予測モデル候補を前記訓練済み予測モデルとするステップ、を含む請求項１に記載の決定変数の計算方法。
第１テストサンプルを提供し、前記第１テストサンプルは、確認済みの複数の第１テスト入力パラメータ及び第１テスト目標結果を含むステップと、
前記第１テスト入力パラメータを複数の訓練済み予測モデル候補に入力し、出力結果が前記第１テスト目標結果と一致する前記訓練済み予測モデル候補を複数の第１訓練済み予測モデル候補とするステップと、
第２テストサンプルを提供し、前記第２テストサンプルは、確認済みの複数の第２テスト入力パラメータ及び第２テスト目標結果を含むステップと、
前記第１訓練済み予測モデル候補に前記第２テスト目標結果をそれぞれ提供して、前記第１訓練済み予測モデル候補に複数の第１入力パラメータ候補を逆推定させて、前記第１入力パラメータ候補が前記第２テスト入力パラメータと一致又は近似するか、前記第１入力パラメータ候補が有効性検証プロセスを満たす前記第１訓練済み予測モデル候補を前記訓練済み予測モデルとするステップ、を含む請求項１に記載の決定変数の計算方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、決定変数の計算方法に関し、特に、連合学習のメンバーから提供される複数の訓練済み人工知能予測モデルを用いて、目標結果に合致する決定変数を逆推定する計算方法に関する。
【背景技術】
【0002】
医用工学技術の進歩に伴って、現在、疾病の臨床治療における再生医療の応用はいっそう多様化しており、その研究及び応用はますます各界からの注目を浴びている。現在、再生医療は、主に、器官の修復、免疫細胞治療及び幹細胞療法に応用されている。細胞治療とは、人体の細胞を体外で培養又は加工する手順を経たあと、培養したそれらの細胞を個々の体内に移植して使用するものである。従って、細胞を如何に効果的に培養するかは再生医療における極めて重要な要素となる。従来の研究より、各人の体内の細胞は独自の特徴を有しており、それぞれの状況に応じて治療に適した細胞をカスタイマイズする必要があるため、細胞プロセスの複雑度及び難度が増すことが分かっている。一方、大量の細胞データ及びバイオプロセスデータが存在する場合には、機械学習により、それぞれの細胞培養の条件やプロセスパラメータの効果を評価する予測モデルを生成可能である。よって、機械学習を用いれば、細胞プロセスをカスタイマイズする際の複雑度及び難度を低下させられる。しかしながら、これらの細胞データ及びバイオプロセスデータの大部分は、例えば、様々な病院又は実験室における患者の細胞データといった非常にデリケートで秘匿性の高い個人データに属する。従来の集約型機械学習方法を用いる場合には、全てのバイオプロセスデータを中央サーバに集約して分析及び訓練を行う必要があるため、法規やプライバシー保護及び商業的見地等の制約から実施不可能な場合がある。また、医用工学に限らず、データが非常にデリケートで秘匿性のあるどのような技術分野においても、集約型機械学習方法は同様の問題に直面し得る。
【0003】
連合学習（ｆｅｄｅｒａｔｅｄ ｌｅａｒｎｉｎｇ）とは、協調学習（ｃｏｌｌａｂｏｒａｔｉｖｅ ｌｅａｒｎｉｎｇ）とも称される機械学習技術の一種であり、具体的には、ローカルデータサンプルを有する複数の分散型エッジデバイス又はサーバでアルゴリズムを訓練するものである。このような方法は、従来の集約型機械学習技術とは著しく異なっている。従来の集約型機械学習技術では、全てのローカルデータセットを１つのサーバにアップロードして機械学習の訓練を実施する。一方、連合学習は複数のメンバーで構成される。各メンバーは、それぞれが、自身の保有するデータセットにつき機械学習の訓練を実施して各々の訓練済み予測モデルを生成し、訓練済み予測モデルパラメータを中央サーバにアップロードする。中央サーバは、全ての訓練済み予測モデルパラメータに重みを付与して集約し、連合モデルを形成する。また、この連合モデルは、各メンバーに再配布して使用することが可能である。中央サーバは、訓練済み予測モデルパラメータを集約するだけであり、各メンバーのデータセットについて機械学習における分析や処理を直接行うことはない。よって、各メンバーのデータセット内における非常にデリケートで秘匿性の高いデータサンプルや情報が外部に流出することはなく、データの秘匿性が保護される。
【0004】
上記の連合集約アルゴリズムによって形成される連合モデルは、入力される決定変数に対して予測結果を生成可能なだけでなく、反対に、目標とする結果に対して入力すべき決定変数を逆推定することも可能である。しかしながら、共同で訓練して共有される一体モデルにつき逆推定機能を開発する場合と比べ、連合学習方法に参加するメンバーは、それぞれがローカルデータセットで訓練した予測モデルを用いて逆推定機能を個別に開発することは可能なものの、逆推定の効果がそれほど理想的とはならない場合がある。そのほか、連合メンバー以外のユニットが、良好な予測効果又は逆推定効果を有するメンバーと連携したい場合に、共同で開発された連合モデルの効果のテストのみから、どの連合メンバーの予測モデルが当該ユニットのニーズを最も満たすモデルなのかを知ることはできない。
【0005】
また、連合学習では、各メンバーのデータセット内における非常にデリケートで秘匿性の高いデータサンプルが外部に流出することはないが、中央サーバと各メンバーとがモデルパラメータをやり取りする必要はある。そのため、共同で開発された連合モデルにより逆推定を行って決定変数を取得する方式は、プロセスの複雑度が高いだけでなく、各メンバー間で直接的又は間接的にモデルパラメータをやり取りする必要もある。
【0006】
そこで、連合モデルにより決定変数を逆推定する際の複雑度及びモデルの秘匿性の問題を解決するために、連合学習のメンバーが、連合学習アルゴリズムにより共有の予測モデルを共同で算出しなくても、決定変数を逆推定可能な方法を開発する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0007】
上記に鑑みて、本発明は、以上で述べた従来の課題を解決するために、決定変数の計算方法を提供する。
【課題を解決するための手段】
【0008】
本発明の具体的実施例によれば、決定変数の計算方法は、複数の訓練済み予測モデルを提供し、当該訓練済み予測モデルは、機械学習方法によって複数のローカルデータセットをそれぞれ機械学習することで得られるステップと、目標結果を提供し、前記訓練済み予測モデルによって、前記目標結果につき複数の入力パラメータをそれぞれ逆推定するステップと、前記訓練済み予測モデルに対応する複数の損失関数をそれぞれ設定し、当該損失関数に第１重み値をそれぞれ付与したあと合計することで総合損失関数を生成し、各前記損失関数は、各前記訓練済み予測モデルを表す目的関数の関数値と前記目標結果との差分値の絶対値、２乗、或いは、差分値に対して単調増加特性を有する関数と定義されるステップと、前記入力パラメータに第２重み値をそれぞれ付与したあと合計することで総合入力パラメータを生成し、前記総合入力パラメータ及び前記総合損失関数により最適化問題を構築するステップと、前記最適化問題の解を求めることで、各前記入力パラメータの前記第２重み値を取得して、前記総合入力パラメータを前記決定変数として算出するステップ、を含む。
【0009】
決定変数の計算方法は、更に、各前記第２重み値に対する前記総合損失関数の導関数をそれぞれ計算するステップと、前記導関数を組み合わせて方向を形成するステップと、前記総合入力パラメータについて、前記方向に沿って刻み幅を増加させたあと前記訓練済み予測モデルに入力して、前記総合損失関数の関数値が減少するか否かを判断するステップ、を含む。
【0010】
前記訓練済み予測モデルは、それぞれ、連合学習の複数のメンバーから提供される。
【0011】
決定変数の計算方法において、前記訓練済み予測モデルによって、前記目標結果につき前記入力パラメータをそれぞれ逆推定するステップは、更に、前記メンバーのうちの第１メンバーが、前記ローカルデータセットのうちの対応する第１ローカルデータセットの全てのサンプルと前記目標結果を比較するステップと、前記目標結果と一致する前記第１ローカルデータセット内のサンプルを、前記入力パラメータを逆推定するための参照サンプルとするステップ、を含む。
【0012】
決定変数の計算方法において、前記訓練済み予測モデルによって、前記目標結果につき前記入力パラメータをそれぞれ逆推定するステップは、更に、前記メンバーのうちの第２メンバーが、前記ローカルデータセットのうちの対応する第２ローカルデータセットの全てのサンプルと前記目標結果を比較して複数のアンカーサンプルを取得し、当該アンカーサンプルにより多次元部分空間を形成するステップと、前記多次元部分空間内で初期サンプルを決定するステップと、前記多次元部分空間内で前記初期サンプルの方向を取得し、前記初期サンプルについて、当該方向に沿って刻み幅を増加させることで中継サンプルを形成し、当該中継サンプルを前記第２メンバーから提供された第２訓練済み予測モデルに入力することで、生成される予測結果が前記目標結果と近似するか否かを確認するステップと、前記方向の決定及び前記刻み幅の増加を行った前記中継サンプルを前記第２訓練済み予測モデルに入力する動作を、前記第２訓練済み予測モデルにより生成される予測結果が前記目標結果と一致するまで実行し続け、最後の前記中継サンプルを前記第２訓練済み予測モデルに対応する前記入力パラメータとするステップ、を含む。
【0013】
決定変数の計算方法において、前記訓練済み予測モデルによって、前記目標結果につき前記入力パラメータをそれぞれ逆推定するステップは、更に、前記メンバーのうちの第３メンバーが、対応する第３訓練済み予測モデルの入力端子に接続されるダミー層を設定してパラメータ予測モデルを形成し、前記ダミー層が前記パラメータ予測モデルの入力端子となるステップと、前記パラメータ予測モデルの出力を前記目標結果に設定し、前記パラメータ予測モデルに対し、少なくとも１つのオールワンベクトルを含む訓練データセットを入力して前記パラメータ予測モデルを訓練し、前記第３訓練済み予測モデルを訓練した機械学習方法におけるオプティマイザによって前記ダミー層と前記第３訓練済み予測モデルとの間の複数のアーク重み値を調整し、当該アーク重み値を前記第３訓練済み予測モデルに対応する前記入力パラメータとするステップ、を含む。
【0014】
決定変数の計算方法において、前記訓練済み予測モデルによって、前記目標結果につき前記入力パラメータをそれぞれ逆推定するステップは、更に、前記メンバーのうちの第４メンバーが、前記ローカルデータセットのうちの対応する第４ローカルデータセットの全てのサンプルと前記目標結果を比較して複数のアンカーサンプルを取得し、当該アンカーサンプルにより多次元部分空間を形成するステップと、前記多次元部分空間内で初期サンプルを決定するステップと、前記第４メンバーが第４訓練済み予測モデルを生成するために用いたオプティマイザによって、前記第４訓練済み予測モデルの目的関数につき最小化演算を行うことで勾配を取得するとともに、当該勾配の反対方向を前記初期サンプルの方向とするステップと、前記初期サンプルについて、前記方向に沿って刻み幅を増加させることで中継サンプルを形成し、当該中継サンプルを前記第４訓練済み予測モデルに入力することで、生成される予測結果が前記目標結果と近似するか否かを確認するステップと、前記方向の決定及び前記刻み幅の増加を行った前記中継サンプルを前記第４訓練済み予測モデルに入力する動作を、前記第４訓練済み予測モデルにより生成される予測結果が前記目標結果と一致するまで実行し続け、最後の前記中継サンプルを前記第４訓練済み予測モデルに対応する前記入力パラメータとするステップ、を含む。
【0015】
決定変数の計算方法において、前記訓練済み予測モデルによって、前記目標結果につき前記入力パラメータをそれぞれ逆推定するステップは、更に、複数の確認済み決定変数を提供し、当該確認済み決定変数の第１ベクトルを計算するステップと、前記確認済み決定変数に基づいて、前記第４ローカルデータセットの全てのサンプルにおけるサンプルパラメータから対応する複数の対応サンプルパラメータをそれぞれ取得し、当該対応サンプルパラメータの第２ベクトルを計算するステップと、前記第１ベクトルと前記第２ベクトルを比較するとともに、前記第４ローカルデータセットの全てのサンプルが前記第４訓練済み予測モデルにおいて生成する予測結果と前記目標結果を比較することで参照サンプルを取得し、当該参照サンプルの前記第２ベクトルは前記第１ベクトルと近似又は一致しており、前記参照サンプルの前記予測結果は前記目標結果と近似又は一致しているステップと、前記参照サンプルを前記初期サンプルとするステップ、を含む。
【0016】
決定変数の計算方法は、更に、第１テストサンプルを提供し、当該第１テストサンプルは、複数の確認済みのテスト入力パラメータ及びテスト目標結果を含むステップと、前記テスト入力パラメータを複数の訓練済み予測モデル候補に入力し、出力結果が前記テスト目標結果と一致する前記訓練済み予測モデル候補を前記訓練済み予測モデルとするステップ、を含む。
【0017】
決定変数の計算方法は、更に、第１テストサンプルを提供し、当該第１テストサンプルは、確認済みの複数の第１テスト入力パラメータ及び第１テスト目標結果を含むステップと、前記第１テスト入力パラメータを複数の訓練済み予測モデル候補に入力し、出力結果が前記第１テスト目標結果と一致する前記訓練済み予測モデル候補を複数の第１訓練済み予測モデル候補とするステップと、第２テストサンプルを提供し、当該第２テストサンプルは、確認済みの複数の第２テスト入力パラメータ及び第２テスト目標結果を含むステップと、前記第１訓練済み予測モデル候補に前記第２テスト目標結果をそれぞれ提供して、前記第１訓練済み予測モデル候補に複数の第１入力パラメータ候補を逆推定させて、前記第１入力パラメータ候補が前記第２テスト入力パラメータと一致又は近似するか、前記第１入力パラメータ候補が有効性検証プロセスを満たす前記第１訓練済み予測モデル候補を前記訓練済み予測モデルとするステップ、を含む。
【発明の効果】
【0018】
総括すると、本発明における決定変数の計算方法では、連合学習により共有のモデルを共同で算出することなく、連合学習の複数のメンバーから提供される訓練済み予測モデルによって、特定の目標結果に合致する入力パラメータ（即ち、決定変数）を逆推定可能である。本発明の方法によれば、連合学習における特定のメンバー又は連合学習外のユニットが逆推定を要求可能である。また、連合学習により生成される連合モデルを介することなく、協力者を直接求め、選別することが可能なため、複雑な機械学習及び逆推定プロセスを回避することができる。そのほか、本発明における決定変数の計算方法では、連合学習のメンバーが訓練データセット内の非常にデリケートで秘匿性の高いデータサンプルや情報をやり取りする必要がなく、各メンバーの訓練済み予測モデルのモデルパラメータをやり取りする必要もない。よって、プロセスの複雑度が低下するだけでなく、データの秘匿性が更に保護される。
【図面の簡単な説明】
【0019】
【発明を実施するための形態】
【0020】
本発明の利点、精神及び特徴をより容易且つ明確に理解可能となるよう、続いて、具体的実施例を用いるとともに、図面を参照して、詳述及び検討する。注意すべき点として、これらの具体的実施例は本発明の代表的な具体的実施例にすぎず、例示する特定の方法、装置、条件、材質等は本発明又は対応する具体的実施例を限定するものではない。且つ、図中の各構成要素は、それらの相対的位置を表すためにのみ用いられ、実際の比率に基づき記載されてもいない。また、本発明のステップ番号は異なるステップを区別するためのものにすぎず、ステップの順序を表してはいない。以上について予め説明しておく。
【0021】
【0022】
ステップＳ１０：複数の訓練済み予測モデルを提供する。これらの訓練済み予測モデルは、機械学習方法によってローカルデータセットをそれぞれ機械学習することで得られる。
【0023】
ステップＳ１２：目標結果を提供し、前記訓練済み予測モデルによって、目標結果につき複数の入力パラメータをそれぞれ逆推定する。
【0024】
ステップＳ１４：前記訓練済み予測モデルに対応する複数の損失関数をそれぞれ設定し、これらの損失関数に異なる第１重み値をそれぞれ設定したあと合計することで、総合損失関数を生成する。
【0025】
ステップＳ１６：前記入力パラメータに第２重み値をそれぞれ付与したあと合計することで総合入力パラメータを生成し、総合入力パラメータ及び総合損失関数により最適化問題を構築する。
【0026】
ステップＳ１８：前記最適化問題の解を求めることで、各入力パラメータの第２重み値を取得して、総合入力パラメータを決定変数として算出する。
【0027】
本具体的実施例において、ステップＳ１０の訓練済み予測モデルは、それぞれ、連合学習のメンバーから提供される。詳述すると、各連合学習のメンバーは、それぞれの人工知能モデル訓練装置を有することができ、且つ、それぞれのローカルデータセットも有する。よって、各メンバーは、それぞれの人工知能予測モデルを個別に訓練可能である。例えば、再生医療分野の場合、各メンバーの人工知能モデル訓練装置は、病院又は実験室において機械学習アルゴリズムを実行可能なコンピュータ機器としてもよい。また、ローカルデータセットは、病院又は実験室が保有する訓練、検証、テスト用のサンプルデータセットとなる。実用において、各連合学習のメンバーは、人工ニューラルネットワーク（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＡＮＮ）、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＣＮＮｓ）、回帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＲＮＮｓ）、或いは、何らかのその他の機械学習アルゴリズム又はニューラルネットワークアルゴリズムによってローカルデータセットを機械学習することでそれぞれの訓練済み予測モデルを取得可能である。なお、機械学習アルゴリズムは、各メンバーのニーズに応じて選択される。また、ステップＳ１０の訓練済み予測モデルは、選別された訓練済み予測モデルであり、連合学習の一部のメンバーからのみ提供される。実用においては、連合学習のメンバーごとに、ローカルデータセット、使用する機械学習アルゴリズム、モデルパラメータの調整能力及び訓練済み予測モデルによる決定変数の逆推定能力が異なるため、全てのメンバーの訓練済み予測モデルが要求を満たすとは限らない。訓練済み予測モデルの選別については、後述の具体的実施例において説明する。
【0028】
ステップＳ１２において、訓練済み予測モデルを提供した連合学習のメンバーは、目標結果に基づき入力パラメータを逆推定可能である。詳述すると、各メンバーは、同じ又は異なる逆推定アルゴリズムを用いて、目標結果をそれぞれの訓練済み予測モデルの出力結果に対応させることで、訓練済み予測モデルの出力結果が目標結果と一致する入力パラメータを逆推定することが可能である。各メンバーが用いる逆推定アルゴリズムについては、後述の具体的実施例において説明する。
【0029】
ステップＳ１４では、各訓練済み予測モデルに損失関数を設定可能である。当該損失関数は、各訓練済み予測モデルを表す目的関数の関数値と目標結果との差分値の絶対値又は２乗、或いは、差分値に対して単調増加特性を有するいずれかの関数（例えば、差分値の４乗又は６乗等）と定義される。換言すれば、損失関数は、各訓練済み予測モデルの出力結果と目標結果との近似度合いを表す。総合損失関数は、各訓練済み予測モデルに対応する損失関数に重み付けしたあと合計することで形成される。また、実用において、各損失関数の重み付け（即ち、第１重み値）は、各訓練済み予測モデルの信頼性又はパフォーマンスに基づき決定する。例えば、逆推定要求者が、提供した目標結果に対して高い影響力を有する１つの訓練済み予測モデルを選別して認定した場合、或いは、その訓練済み予測モデルがテストにおいて比較的正確な予測率及び逆推定率を有すると認定した場合には、当該訓練済み予測モデルに対応する損失関数の第１重み値をその他の訓練済み予測モデルに対応する損失関数よりも高く設定可能である。
【0030】
ステップＳ１６においても同様に、各訓練済み予測モデルが同じ目標結果について予め逆推定した各入力パラメータに対し、第２重み値を付与可能である。ステップＳ１４の第１重み値とは異なり、第２重み値は予め設定された値ではなく、その後のステップで計算により決定する必要がある。ステップＳ１４及びステップＳ１６では、各訓練済み予測モデルに対応する総合損失関数及び総合入力パラメータが生成されるため、これらにより最適化問題を構築して解を求めることで最適な入力パラメータを取得できる。
【0031】
ステップＳ１８において、最適化問題の解を求める方法は、簡単に言うと、最も小さな総合損失関数を有する総合入力パラメータを求めることである。総合入力パラメータ内の各訓練済み予測モデルの入力パラメータは既知のため、最適化問題の解を求めることで得られるものは第２重み値である。全ての第２重み値を取得したあと、計算することで総合入力パラメータを得ることができ、これを所望の決定変数とすることができる。
【0032】
上述した最適化問題の解を求める方法は、数値解析法により実行可能である。ここで、図２を参照する。図２は、図１の決定変数の計算方法におけるステップＳ１８の更なるステップのフローチャートを示す。図２に示すように、上記のステップＳ１８は、更に、以下のステップを含んでもよい。
【0033】
ステップＳ１８０：各第２重み値に対する総合損失関数の導関数をそれぞれ計算する。
【0034】
ステップＳ１８２：前記導関数を組み合わせて方向を形成する。
【0035】
ステップＳ１８４：総合入力パラメータについて、上記方向に沿って刻み幅を増加させたあと、全ての訓練済み予測モデルに入力して、総合損失関数の関数値が減少するか否かを判断する。
【0036】
上述したように、総合入力パラメータは、ステップＳ１２で逆推定した複数の入力パラメータに第２重み値をそれぞれ掛けたあと合計したものである。換言すれば、各第２重み値は、最終的な総合損失関数の関数値に対しても異なる影響を及ぼす。そのため、本具体的実施例における決定変数の計算方法のステップＳ１８０では、各第２重み値に対する総合損失関数の導関数を計算する。即ち、各第２重み値のわずかな変化に対して形成される総合損失関数の関数値の変化を計算する。各導関数は、異なる第２重み値それぞれに対する総合損失関数の変化率である。よって、ステップＳ１８２に示すように、各導関数に各第２重み値により形成される単位ベクトルを掛けて合計することで、上記の方向を取得可能である。ステップＳ１８２で方向を決定したあと、ステップＳ１８４において、この方向に適切な刻み幅を設定するとともに、刻み幅を増加させたあとの総合入力パラメータを総合損失関数に代入することで適切な減少値を取得可能である。よって、新たな総合入力パラメータ（刻み幅１つ分進行させたもの）は、その前の総合入力パラメータよりも小さな総合損失関数の関数値を得ることができる。つまり、最適化問題の解に更に近付くことができる。ステップＳ１８０～ステップＳ１８４は、最も小さな総合損失関数の関数値が見つかるまで繰り返し実行可能であり、見つかったときの総合入力パラメータが最適化問題の解となる。つまり、これを決定変数とすることができる。
【0037】
例えば、決定変数の計算方法において、２つの連合学習のメンバーから提供される訓練済み予測モデルを選出した場合には、まず、これら２つのメンバーに目標結果Ｔを提供すればよい。そして、それぞれの訓練済み予測モデルにより、目標結果Ｔに合致する入力パラメータＩ１及び入力パラメータＩ２を逆推定させるとともに、これら２つの訓練済み予測モデルに対応する２つの損失関数Ｌ１及びＬ２を設定すればよい。なお、損失関数Ｌ１及びＬ２は、それぞれ、各訓練済み予測モデルを表す関数ｆ１、ｆ２と目標結果との差分値の絶対値｜ｆ１-Ｔ｜及び｜ｆ２-Ｔ｜である。次に、２つの損失関数に対し、第１重み値α及び１-αをそれぞれ付与したあと、合計して総合損失関数Ｌ＝α×｜ｆ１-Ｔ｜＋（１-α）×｜ｆ２-Ｔ｜を生成する。また、２つの入力パラメータＩ１及びＩ２に対し第２重み値β、γをそれぞれ付与したあと、合計して総合入力パラメータＳ１＝β×Ｉ１＋γ×Ｉ２を生成する。総合入力パラメータ及び総合損失関数により構築される最適化問題は、α、Ｔ、Ｉ１、Ｉ２がいずれも固定された状況で、最適なβとγ及び総合入力パラメータを見つけることで、総合損失関数Ｌを最小化するものである。
【0038】
上述した最適化問題の解を求める方法では、まず、第２重み値β及びγに対する総合損失関数Ｌの導関数ｄ１及びｄ２をそれぞれ算出する。次に、方向ｇ＝（ｄ１×（１，０）＋ｄ２×（０，１））を設定する。なお、（１，０）及び（０，１）は、それぞれ、β及びγの単位ベクトルである。方向を見つけたあとは、この方向に沿って刻み幅ｔを設定し、総合入力パラメータを当該方向において刻み幅ｔ分進行させることで、新たな総合入力パラメータＳ２＝Ｓ１-ｔ×ｇを生成可能である。注意すべき点として、導関数ｄ１、ｄ２は、β及びγに対する総合損失関数の勾配を表し、刻み幅の進行方向は勾配の反対方向である。適切な刻み幅ｔを調整することで、進行後の新たな総合入力パラメータＳ２を総合損失関数Ｌに代入したあと、減少した関数値（元の総合入力パラメータＳ１を総合損失関数Ｌに入力することで得られる関数値との比較において）を取得可能となる。よって、新たな総合入力パラメータＳ２により得られる予測結果は、目標結果に更に近付くことになる。上述した方向の計算及び刻み幅調整のステップを繰り返すことで、最終的に、総合損失関数Ｌに代入することで最も小さな関数値を取得可能な総合入力パラメータが得られる。この総合入力パラメータが、決定変数の計算方法で算出すべき決定変数となり得る。
【0039】
上述した具体的実施例において、決定変数の計算方法では、連合学習のメンバー又は連合学習外のユニットが逆推定を要求可能であり、且つ、連合学習の全てのメンバーから協力者を求める。しかしながら、実用においては、連合学習のメンバーが訓練済み予測モデルを提供可能な場合に限らず、協力者が連合学習のメンバーでなくともよい。協力者は、訓練済み予測モデルを単独で訓練可能であり、且つ、訓練済み予測モデルを用いて入力パラメータを逆推定可能であればよい。
【0040】
上述したように、ステップＳ１２において、連合学習のメンバーは、まず、逆推定要求者から提供された目標結果に基づき、訓練済み予測モデルによって入力パラメータを逆推定すればよい。逆推定の方法には、後述する数種類の態様が含まれるが、それらに限らない。ここで、図３を参照する。図３は、本発明の別の具体的実施例に基づく決定変数の計算方法のステップのフローチャートを示す。図３に示すように、本具体的実施例における決定変数の計算方法は、更に、以下のステップを含む。
【0041】
ステップＳ１２０：連合学習のメンバーは、ローカルデータセットの全てのサンプルと目標結果を比較する。
【0042】
ステップＳ１２２：目標結果と一致するローカルデータセット内のサンプルを、入力パラメータを逆推定するための参照サンプルとする。
【0043】
注意すべき点として、上記ステップのほかに、本具体的実施例の方法は、更に、上述した具体的実施例におけるステップＳ１０及びステップＳ１４～Ｓ１８を含むが、これらは上述した具体的実施例における対応するステップの内容と同じであるため、ここでは改めて詳述しない。
【0044】
本具体的実施例において、連合学習のメンバーのうちの第１メンバーは、訓練済み予測モデルを訓練した際の第１ローカルデータセット内のサンプルを参照サンプルとして用い、入力パラメータを逆推定することが可能である。詳述すると、逆推定しようとする決定変数に確認済みの決定変数（例えば、プロセス内ですでに実行されたパラメータ）が存在する場合には、それらの確認済み決定変数をベクトルとすることができる。そして、同様に、第１ローカルデータセット内の全てのサンプルにおける確認済み決定変数に対応する対応サンプルパラメータを別のベクトルとして、２つのベクトルを比較することで、近似又は一致するサンプルを見つけることができる。これらのサンプルは、前記確認済み決定変数と類似する対応サンプルパラメータを有している。つまり、これらのサンプルが高い参照価値を有することを意味する。よって、これらのサンプルにおける確認済み決定変数に対応しないその他のサンプルパラメータを確認済み決定変数と合わせて訓練済み予測モデルに入力するとともに、訓練済み予測モデルから出力される予測結果が目標結果と一致するか否かを確認すればよい。そして、目標結果と一致する場合には、このサンプルにおける確認済み決定変数に対応しないその他のサンプルパラメータ及び確認済み決定変数を入力パラメータ（例えば、前記入力パラメータＩ１）とすることができる。
【0045】
【0046】
ステップＳ１２０’：連合学習のメンバーは、ローカルデータセットの全てのサンプルと目標結果を比較して複数のアンカーサンプルを取得し、アンカーサンプルにより多次元部分空間を形成する。
【0047】
ステップＳ１２２’：多次元部分空間内で初期サンプルを決定する。
【0048】
ステップＳ１２４’：多次元部分空間内で初期サンプルの方向を取得し、初期サンプルについて、当該方向に沿って刻み幅を増加させることで中継サンプルを形成する。そして、中継サンプルを訓練済み予測モデルに入力することで、生成される予測結果が前記目標結果と近似するか否かを確認する。
【0049】
ステップＳ１２６’：方向の決定及び刻み幅の増加を行った中継サンプルを訓練済み予測モデルに入力する動作を、訓練済み予測モデルにより生成される予測結果が目標結果と一致するまで実行し続け、最後の中継サンプルを訓練済み予測モデルに対応する入力パラメータとする。
【0050】
注意すべき点として、上記ステップのほかに、本具体的実施例の方法は、更に、上述した具体的実施例におけるステップＳ１０及びステップＳ１４～Ｓ１８を含むが、これらは上述した具体的実施例における対応するステップの内容と同じであるため、ここでは改めて詳述しない。
【0051】
ステップＳ１２０’において、ローカルデータセットは、訓練済み予測モデルの訓練に用いたサンプルで形成されるデータセットであるため、訓練済み予測モデルに対するサンプルの入力及び出力結果はいずれも既知である。また、出力結果が目標結果と近似又は一致するサンプルは高い参照価値を有するため、これらのサンプルを参照サンプルとして取り出すことができる。よって、本具体的実施例では、これらのサンプルをアンカーサンプルとして多次元部分空間を形成し、この多次元部分空間が最適化問題の実行可能解空間となる。ステップＳ１２２’、ステップＳ１２４’及びステップＳ１２６’は、上記の実行可能解空間内で最適な実行可能解を見つけるための方法である。簡単に言うと、まず、実行可能解空間内で初期点（初期サンプル）を決定する。そして、数値解析法により、初期点の方向を見つけて刻み幅を調整し、訓練済み予測モデルから出力される予測結果を目標結果にいっそう近付けられる次の点（中継サンプル）まで進行させる。上記の方向探索及び刻み幅の調整を繰り返して、訓練済み予測モデルから出力される予測結果が目標結果と最も近似又は一致したときに、その点を入力パラメータとする。注意すべき点として、上述した多次元部分空間内で初期点又は初期サンプルを決定する方法は連合学習のメンバーにより指定可能である。或いは、図３の具体的実施例における類似のステップによって、まず、確認済み決定変数と近似又は一致するサンプルを見つけて初期サンプルとする。
【0052】
【0053】
ステップＳ１２０’’：連合学習のメンバーは、訓練済み予測モデルの入力端子に接続されるダミー層を設定してパラメータ予測モデルを形成する。ダミー層はパラメータ予測モデルの入力端子となる。
【0054】
ステップＳ１２２’’：パラメータ予測モデルの出力を目標結果に設定し、パラメータ予測モデルに対し、少なくとも１つのオールワンベクトルを含む訓練データセットを入力してパラメータ予測モデルを訓練する。そして、訓練済み予測モデルを訓練した機械学習方法におけるオプティマイザによって、ダミー層と訓練済み予測モデルとの間の複数のアーク重み値を調整し、これらのアーク重み値を訓練済み予測モデルの入力パラメータとする。
【0055】
注意すべき点として、上記ステップのほかに、本具体的実施例の方法は、更に、上述した具体的実施例におけるステップＳ１０及びステップＳ１４～Ｓ１８を含むが、これらは上述した具体的実施例における対応するステップの内容と同じであるため、ここでは改めて詳述しない。
【0056】
ステップＳ１２０’’において新たに追加されるダミー層は、元の訓練済み予測モデルとともに、拡張モデルであるパラメータ予測モデルを形成するために用いられる。実用において、ダミー層は、訓練済み予測モデルの入力層における入力点と同じ数の人工ニューロンを含む。当該人工ニューロンは、これらの入力点にそれぞれ接続可能である。また、各人工ニューロンの活性化関数のバイアス値は０に設定する。これにより、活性化関数の入力値が１の場合には、出力も１となる。注意すべき点として、訓練済み予測モデルはダミー層とともにパラメータ予測モデルを形成するが、その後の訓練において、訓練済み予測モデルのモデルパラメータは固定される。また、人工ニューロンに１を入力した場合には出力も１となるため、パラメータ予測モデルの出力が固定的な結果である（例えば、上記の目標結果に設定する）場合、オプティマイザは、各人工ニューロンと訓練済み予測モデルの各入力点との間のアーク重みを調整することで訓練済み予測モデルの入力を調整する。よって、ステップＳ１２２’’において、パラメータ予測モデルの出力を目標結果に設定するとともに、オールワンベクトルを含む訓練データセットを入力して訓練する動作により得られるアーク重みを訓練済み予測モデルの入力パラメータとすることができる。同様に、実用においては、まず、図３の具体的実施例における類似のステップによって、確認済み決定変数と近似又は一致するサンプルを見つけて、そのサンプルパラメータをオプティマイザがアーク重みを調整する際の初期点としてもよい。
【0057】
実用において、オプティマイザの種類は、適応的モーメント推定（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ，Ａｄａｍ）最適化、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ，ＳＧＤ）、モメンタム（Ｍｏｍｅｎｔｕｍ）、Ｎｅｓｔｅｒｏｖ加速勾配法（Ｎｅｓｔｅｒｏｖ Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｄｉｅｎｔ，ＮＡＧ）、適応型勾配アルゴリズム（Ａｄａｐｔｉｖｅ Ｇｒａｄｉｅｎｔ Ａｌｇｏｒｉｔｈｍ，ＡｄａＧｒａｄ）、Ｎａｄａｍ（Ｎｅｓｔｅｒｏｖ－ａｃｃｅｌｅｒａｔｅｄ Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ）、ＲＭＳｐｒｏｐ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｐｒｏｐａｇａｔｉｏｎ）、Ａｄａｄｅｌｔａ（Ａｄａｐｔｉｖｅ Ｄｅｌｔａ）、ＡｄａｍＷ（Ａｄａｍ ｗｉｔｈ Ｗｅｉｇｈｔ Ｄｅｃａｙ）、ＡＭＳＧｒａｄ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ Ｌｏｎｇ－ｔｅｒｍ Ｍｅｍｏｒｙ）、ＡｄａＢｅｌｉｅｆ（Ａｄａｐｔｉｖｅ Ｂｅｌｉｅｆ）、ＬＡＲＳ（Ｌａｙｅｒ－ｗｉｓｅ Ａｄａｐｔｉｖｅ Ｒａｔｅ Ｓｃａｌｉｎｇ）、自己適応Ｈｅｓｓｉａｎ（ＡｄａＨｅｓｓｉａｎ）、ＲＡｄａｍ（Ｒｅｃｔｉｆｉｅｄ Ａｄａｍ）、先読み（Ｌｏｏｋａｈｅａｄ）、ＭａｄＧｒａｄ（Ｍｏｍｅｎｔｕｍｉｚｅｄ，Ａｄａｐｔｉｖｅ，ａｎｄ Ｄｅｃｅｎｔｒａｌｉｚｅｄ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）、Ｙｏｇｉオプティマイザ（Ｙｏｇｉ）及びＡｄａｍＭａｘ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ Ｍａｘｉｍｕｍ）等のオプティマイザとしてもよい。
【0058】
【0059】
ステップＳ１２０’’’：連合学習のメンバーは、ローカルデータセットの全てのサンプルと目標結果を比較して複数のアンカーサンプルを取得し、これらのアンカーサンプルにより多次元部分空間を形成する。
【0060】
ステップＳ１２２’’’：多次元部分空間内で初期サンプルを決定する。
【0061】
ステップＳ１２４’’’：訓練済み予測モデルを生成したオプティマイザによって、訓練済み予測モデルの目的関数につき最小化演算を行うことで勾配を取得するとともに、勾配の反対方向を初期サンプルの方向とする。
【0062】
ステップＳ１２６’’’：初期サンプルについて、前記方向に沿って刻み幅を増加させることで中継サンプルを形成する。そして、中継サンプルを訓練済み予測モデルに入力することで、生成される予測結果が目標結果と近似するか否かを確認する。
【0063】
ステップＳ１２８’’’：方向の決定及び刻み幅の増加を行った中継サンプルを訓練済み予測モデルに入力する動作を、訓練済み予測モデルにより生成される予測結果が目標結果と一致するまで実行し続け、最後の前記中継サンプルを訓練済み予測モデルの入力パラメータとする。
【0064】
注意すべき点として、上記ステップのほかに、本具体的実施例の方法は、更に、上述した具体的実施例におけるステップＳ１０及びステップＳ１４～Ｓ１８を含むが、これらは上述した具体的実施例における対応するステップの内容と同じであるため、ここでは改めて詳述しない。
【0065】
本具体的実施例において、決定変数の計算方法は、上述した具体的実施例と同様に、まず、アンカーサンプルを見つけて実行可能解空間（多次元部分空間）を形成し、この実行可能解空間内で初期サンプルを予め決定する。しかしながら、本具体的実施例は、上述した具体的実施例と以下の点において異なっている。即ち、本具体的実施例における初期サンプル又はその後の中継サンプルの方向の決定は、訓練済み予測モデルを訓練したオプティマイザにより計算することでなされる。詳述すると、オプティマイザを用いて、訓練済み予測モデルを表す目的関数につき最小化演算を行うことで勾配を取得可能であり、勾配の反対方向を初期サンプル又はその後の中継サンプルの方向とすることができる。続いて、オプティマイザにより算出した方向を用いて、初期サンプル又は中継サンプルを適切な刻み幅で進行させて目標結果に近付ける。そして、訓練済み予測モデルの出力が目標結果と一致するまで進行させたときに、その中継サンプルを訓練済み予測モデルの入力パラメータとすることができる。また、上述した具体的実施例と同様に、本具体的実施例における多次元部分空間内で初期点又は初期サンプルを決定する方法については、図３の具体的実施例における類似のステップによって、まず、確認済み決定変数と近似又は一致するサンプルを見つけて初期サンプルとしてもよい。
【0066】
上述した各具体的実施例によって、連合学習のメンバーは、逆推定要求者から提供された目標結果に基づき、各種逆推定方法により対応する入力パラメータ（例えば、上述した入力パラメータＩ１及び入力パラメータＩ２）を算出可能である。しかしながら、上述したように、連合学習のメンバーごとに、ローカルデータセット、使用する機械学習アルゴリズム、モデルパラメータの調整能力、使用する逆推定方法及び能力は異なるため、逆推定要求者は、まず、自身の要求を満たす訓練済み予測モデルを選別しなければ、効率的且つ正確な決定変数の計算を達成できない。
【0067】
【0068】
ステップＳ２０：テストサンプルを提供する。テストサンプルは、確認済みのテスト入力パラメータ及びテスト目標結果を含む。
【0069】
ステップＳ２２：テスト入力パラメータを訓練済み予測モデル候補に入力し、出力結果が前記テスト目標結果と一致する前記訓練済み予測モデル候補を前記訓練済み予測モデルとする。
【0070】
注意すべき点として、本具体的実施例における決定変数の計算方法は、上記ステップの終了後に、上述した具体的実施例におけるその他のステップ（例えば、ステップＳ１０～ステップＳ１８等）を引き続き実行し、最後に、逆推定要求者が要求する決定変数を算出する。なお、これらのステップについては上述した具体的実施例で詳細に述べたため、ここでは改めて詳述しない。
【0071】
ステップＳ２０において、逆推定要求者は、現在保有している完全に決定変数及び結果を確認済みのサンプルをテストサンプルとして提供し、連合学習の全てのメンバーの訓練済み予測モデル（本具体的実施例では訓練済み予測モデル候補と定義する）が逆推定要求者の求めるものであるか否かを検証するために用いてもよい。テストサンプルにおけるテスト入力パラメータ及びテスト目標結果はいずれも特定されている。よって、ステップＳ２２において、テスト入力パラメータが入力されて、テスト目標結果と一致する結果を出力した訓練済み予測モデル候補は、予測精度が逆推定要求者の要求を満たすため、その後の決定変数の逆推定に使用する訓練済み予測モデルとすることができる。
【0072】
また、本発明における決定変数の計算方法は、上述した具体的実施例のステップＳ１２及びそのサブステップのように、計算に関わる連合学習のメンバーに逆推定の実施を求める必要もある。よって、連合学習のメンバーは、逆推定を行う能力についても逆推定要求者から求められる。ここで、図８を参照する。図８は、本発明の別の具体的実施例に基づく決定変数の計算方法のステップのフローチャートを示す。図８に示すように、本具体的実施例における決定変数の計算方法は、更に、以下のステップを含む。
【0073】
ステップＳ２０’：第１テストサンプルを提供する。第１テストサンプルは、確認済みの第１テスト入力パラメータ及び第１テスト目標結果を含む。
【0074】
ステップＳ２２’：第１テスト入力パラメータを訓練済み予測モデル候補に入力し、出力結果が第１テスト目標結果と一致する訓練済み予測モデル候補を第１訓練済み予測モデル候補とする。
【0075】
ステップＳ２４：第２テストサンプルを提供する。第２テストサンプルは、確認済みの第２テスト入力パラメータ及び第２テスト目標結果を含む。
【0076】
ステップＳ２６：第１訓練済み予測モデル候補に第２テスト目標結果をそれぞれ提供して、第１訓練済み予測モデル候補に第１入力パラメータ候補を逆推定させる。そして、第１入力パラメータ候補が第２テスト入力パラメータと一致又は近似するか、第１入力パラメータ候補が有効性（ｖａｌｉｄｉｔｙ）検証プロセスを満たす第１訓練済み予測モデル候補を訓練済み予測モデルとする。
【0077】
注意すべき点として、本具体的実施例における決定変数の計算方法は、上記ステップの終了後に、上述した具体的実施例におけるその他のステップ（例えば、ステップＳ１０～ステップＳ１８等）を引き続き実行し、最後に、逆推定要求者が要求する決定変数を算出する。なお、これらのステップについては上述した具体的実施例で詳細に述べたため、ここでは改めて詳述しない。
【0078】
本具体的実施例は、上述した具体的実施例と以下の点において異なっている。即ち、ステップＳ２０’～ステップＳ２２’に示すように、本具体的実施例では、まず、第１テストサンプルのテスト入力パラメータを連合学習の全てのメンバーに提供し、全てのメンバーが、訓練済み予測モデル（本具体的実施例では、全てのメンバーの訓練済みモデルを訓練済み予測モデル候補と定義する）にテスト入力パラメータを入力したあと、出力された予測結果を返す。逆推定要求者は、予測結果が第１テストサンプルの第１テスト目標結果と一致しているか否かに基づき、第１訓練済み予測モデル候補を選出する。この時点で、逆推定要求者は、連合学習に参加する全ての訓練済み予測モデル候補から予測モデルの精度が要求を満たすものを選出可能である。次に、上記の高い精度を有する訓練済み予測モデル（本具体的実施例では、第１訓練済み予測モデル候補）に対し第２テストサンプルの第２テスト目標結果を提供し、逆推定を行わせることで第１入力パラメータ候補を取得する。そして、逆推定要求者は、第１入力パラメータ候補と第２テストサンプルの第２テスト入力パラメータを比較して、第２テスト入力パラメータと一致又は近似する第１訓練済み予測モデル候補を、正確な逆推定能力を有することから、その後の決定変数の計算ステップで使用する訓練済み予測モデルとして選択する。
【0079】
そのほか、全ての訓練済み予測モデルにおいて、それらを表す関数は多対１の特性を有する可能性がある。つまり、訓練済み予測モデルに対する複数の異なる入力に対し、同様の予測結果を取得可能な場合がある。従って、前記訓練済み予測モデル候補が第２テスト目標結果に基づき逆推定することで取得した第１入力パラメータ候補が、逆推定要求者の第２テスト入力パラメータと一致又は近似していない場合でも、実行不可能な入力パラメータであるとは限らない。よって、訓練済み予測モデル候補の逆推定能力の検証は、有効性検証プロセスにより行ってもよい。実用において、この有効性検証プロセスは、逆推定要求者によって実行可能である。例えば、逆推定要求者も連合学習のメンバーの１つである場合には、第１入力パラメータ候補を自身の訓練済み予測モデルに入力して、予測結果が第２テスト目標結果と一致又は近似するか否かを検証してもよい。また、逆推定要求者が連合学習のメンバーではないか、複数回の有効性検証を実行したい場合、上記の有効性検証プロセスは、第１入力パラメータ候補を複数の連合学習のメンバーに提供して、それらの訓練済み予測モデルに入力することで、それらの予測結果が第２テスト目標結果と一致又は近似するか否かを検証してもよい。よって、上記の有効性検証プロセスを通過した場合も同様に、第１訓練済み予測モデル候補が正確な逆推定能力を有することを表すため、その後の決定変数の計算ステップで使用する訓練済み予測モデルとして選択する。
【0080】
簡単に言うと、本具体的実施例では、まず、確認済みのテスト入力パラメータを提供することで、出力結果が期待と一致する訓練済み予測モデル及び対応する連合学習のメンバーを選出する。そして、確認済みの目標結果を提供することで、逆推定能力が期待と一致する訓練済み予測モデル及び対応する連合学習のメンバーを選出する。
【0081】
総括すると、本発明における決定変数の計算方法では、連合学習の複数のメンバーから提供される訓練済み予測モデルを用いて、連合学習を行うことなく、特定の目標結果に合致する決定変数を逆推定可能である。逆推定要求者は、連合学習のメンバーそれぞれの訓練済み予測モデルによって、まず、目標結果から入力パラメータを逆推定するとともに、損失関数を提供し、合計することで総合入力パラメータ及び総合損失関数を形成可能である。次に、総合入力パラメータ及び総合損失関数により最適化問題を構築してその解を求め、最適化問題について算出した総合入力パラメータを決定変数とすることができる。本発明における決定変数の計算方法によれば、連合学習における特定のメンバー又は連合学習外のユニットが逆推定を要求可能である。また、連合学習により生成される連合モデルを介することなく、協力者を直接求め、選別することが可能なため、複雑な機械学習及び逆推定プロセスを回避することができる。そのほか、本発明における決定変数の計算方法では、連合学習のメンバーが訓練データセット内の非常にデリケートで秘匿性の高いデータサンプルや情報をやり取りする必要がなく、各メンバーの訓練済み予測モデルのモデルパラメータをやり取りする必要もない。よって、プロセスの複雑度が低下するだけでなく、データの秘匿性が更に保護される。
【0082】
以上の好ましい具体的実施例の詳細な記載は、本発明の特徴及び精神をより明瞭に記載可能とすることを意図しており、上記で開示した好ましい具体的実施例によって本発明の範囲を制限するものではない。むしろ、各種の変更及び均等性を有する構成が本発明で請求しようとする特許請求の範囲内に網羅されることを意図している。よって、本発明で請求しようとする特許請求の範囲は、全ての可能な変更及び均等性を有する構成を網羅すべく、上記の説明に基づき最も広く解釈すべきである。
【符号の説明】
【0083】
Ｓ１０～Ｓ１８，Ｓ１８０～Ｓ１８４，Ｓ１２０～Ｓ１２２，Ｓ１２０’～Ｓ１２６’，Ｓ１２０’’～Ｓ１２２’’，Ｓ１２０’’’～Ｓ１２８’’’，Ｓ２０～Ｓ２２，Ｓ２４～Ｓ２６，Ｓ２０’～Ｓ２２’ プロセスのステップ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【外国語明細書】