特開 2025-11055 決定変数の計算方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025011055

(43)【公開日】2025-01-23

(54)【発明の名称】決定変数の計算方法

(51)【国際特許分類】

   G06N 99/00 20190101AFI20250116BHJP

   G06N 3/02 20060101ALI20250116BHJP

【ＦＩ】

G06N99/00 180

G06N3/02

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024109326

(22)【出願日】2024-07-08

(31)【優先権主張番号】63/525,786

(32)【優先日】2023-07-10

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】524257993

【氏名又は名称】三顧股▲ふん▼有限公司

(74)【代理人】

【識別番号】100091683

【弁理士】

【氏名又は名称】▲吉▼川 俊雄

(74)【代理人】

【識別番号】100179316

【弁理士】

【氏名又は名称】市川 寛奈

(72)【発明者】

【氏名】楊▲いん▼臻

(72)【発明者】

【氏名】孫子龍

(72)【発明者】

【氏名】林永松

(72)【発明者】

【氏名】陳宗基

(57)【要約】      （修正有）

【課題】確認待ち決定変数を計算するための決定変数の計算方法を提供する。
【解決手段】決定変数の計算方法では、まず、機械学習方法によりデータセットを訓練することで生成される訓練済み予測モデルを提供する。次に、訓練済み予測モデルの目的関数を制約付き目的関数から制約なし目的関数に変換して、制約なし目的関数につき最適化問題の解を求める。且つ、解を求める過程で、訓練済み予測モデルを訓練した際のオプティマイザにより、解を求めやすいよう勾配を計算する。また、訓練済み予測モデルを訓練した際のデータセット内のサンプルを用いて、最適化問題の解を求める際の初期サンプルを決定可能である。本発明における決定変数の計算方法では、訓練済み予測モデルの手前にダミー層を増設し、オプティマイザによって、初期サンプルからダミー層と入力層との間のアーク重み値を確認待ち決定変数として取得し始める。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数の確認待ち決定変数を計算するための決定変数の計算方法であって、
訓練済み予測モデルを提供し、前記訓練済み予測モデルは、機械学習方法によってデータセットを機械学習することで得られ、前記訓練済み予測モデルは入力層及び出力層を含み、前記データセットは複数のサンプルを含み、且つ、各前記サンプルは複数のサンプルパラメータを含み、前記訓練済み予測モデルは、前記入力層を通じて複数の入力変数を入力し、前記出力層により前記入力変数に対応する予測結果を生成するために用いられるステップと、
前記訓練済み予測モデルの前記予測結果に対応する目標結果を設定するステップと、
前記サンプルのうち、前記訓練済み予測モデルの前記予測結果が前記目標結果と一致する少なくとも１つのサンプルを少なくとも１つのアンカーサンプルとし、且つ、前記少なくとも１つのアンカーサンプルにより多次元部分空間を形成し、前記多次元部分空間内で初期サンプルを決定するステップと、
前記訓練済み予測モデルの生成に用いたオプティマイザにより、前記訓練済み予測モデルの目的関数を最小化演算することで勾配を取得するステップと、
前記初期サンプルの前記サンプルパラメータについて、前記勾配の反対方向に沿って刻み幅を増加させたあと、前記訓練済み予測モデルに入力することで、生成される前記予測結果が前記目標結果と一致するか否かを確認するステップと、
前記予測結果が前記目標結果と一致する場合には、前記刻み幅を増加させたあとの前記サンプルパラメータを前記確認待ち決定変数とするステップ、を含む決定変数の計算方法。

【請求項2】

複数の確認済み決定変数を提供し、前記確認済み決定変数の第１ベクトルを計算するステップと、
前記確認済み決定変数に基づいて、前記サンプルの前記サンプルパラメータから対応する複数の対応サンプルパラメータをそれぞれ取得し、前記対応サンプルパラメータの第２ベクトルを計算するステップと、
前記第１ベクトルと各前記サンプルの前記第２ベクトルを比較するとともに、各前記サンプルが前記訓練済み予測モデルにおいて生成する前記予測結果と前記目標結果を比較することで、前記サンプルから参照サンプルを取得し、前記参照サンプルの前記第２ベクトルは前記第１ベクトルと近似又は一致しており、前記参照サンプルの前記予測結果は前記目標結果と近似又は一致しているステップと、
前記参照サンプルを前記初期サンプルとするステップ、を含む請求項１に記載の決定変数の計算方法。

【請求項3】

決定変数の計算方法であって、
訓練済み予測モデルを提供し、前記訓練済み予測モデルは、機械学習方法によってデータセットを機械学習することで得られ、前記データセットは複数のサンプルを含み、且つ、各前記サンプルは複数のサンプルパラメータを含み、前記訓練済み予測モデルは、複数の決定変数を入力して、前記決定変数に対応する予測結果を生成するために用いられ、前記決定変数は、複数の確認済み決定変数及び複数の確認待ち決定変数を含むステップと、
前記訓練済み予測モデルの前記予測結果に対応する目標結果を設定するステップと、
前記確認済み決定変数と、前記サンプルパラメータのうちの前記確認済み決定変数に対応する複数の対応サンプルパラメータをそれぞれ比較することで、前記対応サンプルパラメータが前記確認済み決定変数と近似又は一致している候補サンプルを選択するステップと、
前記候補サンプルにおける前記対応サンプルパラメータに属さないその他の前記サンプルパラメータを前記確認済み決定変数と合わせて前記訓練済み予測モデルに入力し、前記訓練済み予測モデルから出力される前記予測結果が前記目標結果と一致するか否かを確認するステップと、
前記データセット内の全てのサンプルパラメータについて、前記候補サンプルを選択するとともに、前記予測結果が前記目標結果と一致するか否かを確認する前記ステップを行い、前記候補サンプルのうち、前記訓練済み予測モデルの前記予測結果が前記目標結果と一致する少なくとも１つのサンプルを少なくとも１つのアンカーサンプルとし、且つ、前記少なくとも１つのアンカーサンプルにより多次元部分空間を形成するステップと、
前記多次元部分空間内で初期サンプルを決定するとともに、前記多次元部分空間内で前記初期サンプルの方向を取得するステップと、
前記方向に沿って刻み幅を増加させたあと、前記確認済み決定変数と、前記初期サンプルにおける前記確認済み決定変数に対応しないその他の前記サンプルパラメータとを前記訓練済み予測モデルに入力することで、生成される前記予測結果が前記目標結果と一致するか否かを確認するステップと、
前記予測結果が前記目標結果と一致する場合には、前記確認済み決定変数に対応しない前記刻み幅を増加させたあとの前記サンプルパラメータを前記確認待ち決定変数とするステップ、を含む方法。

【請求項4】

前記確認済み決定変数と、前記サンプルパラメータのうちの前記確認済み決定変数に対応する前記対応サンプルパラメータをそれぞれ比較することで、前記対応サンプルパラメータが前記確認済み決定変数と近似又は一致している前記候補サンプルを選択するステップは、更に、
前記確認済み決定変数の第１ベクトルを計算するステップと、
前記確認済み決定変数に基づいて、前記サンプルの前記サンプルパラメータから対応する前記対応サンプルパラメータをそれぞれ取得するステップと、
前記対応サンプルパラメータの第２ベクトルを計算するステップと、
前記第１ベクトルと各前記サンプルの前記第２ベクトルを比較し、前記サンプルのうちの第１サンプルの前記第２ベクトルが前記第１ベクトルと近似又は一致している場合、前記第１サンプルを前記候補サンプルとして選択するステップ、を含む請求項３に記載の決定変数の計算方法。

【請求項5】

更に、
前記第１ベクトルと各前記サンプルの前記第２ベクトルとの間の夾角を計算し、前記第１ベクトルとの間に最も小さな前記夾角を有する前記第２ベクトルに対応する前記サンプルを前記第１サンプルとするステップ、を含む請求項４に記載の決定変数の計算方法。

【請求項6】

更に、
距離関数により、前記第１ベクトルの先端点の座標と各前記サンプルの前記第２ベクトルの先端点の座標との距離を計算し、前記第１ベクトルとの間に最も小さな前記距離を有する前記第２ベクトルに対応する前記サンプルを前記第１サンプルとするステップ、を含む請求項４に記載の決定変数の計算方法。

【請求項7】

前記多次元部分空間内で前記初期サンプルを決定するステップは、更に、
前記多次元部分空間内の少なくとも２つの前記アンカーサンプルの間の距離の中点を前記初期サンプルとするステップ、を含む請求項３に記載の決定変数の計算方法。

【請求項8】

前記多次元部分空間内で前記初期サンプルを決定するステップは、更に、
前記多次元部分空間内の少なくとも２つの前記アンカーサンプルの線形結合を前記初期サンプルとするステップ、を含む請求項３に記載の決定変数の計算方法。

【請求項9】

前記多次元部分空間内で前記初期サンプルの前記方向を取得するステップは、更に、
数値解析法により、各前記アンカーサンプルに沿う前記初期サンプルの第１方向導関数を前記初期サンプルの前記方向として計算するステップ、を含む請求項３に記載の決定変数の計算方法。

【請求項10】

前記多次元部分空間内で前記初期サンプルの前記方向を取得するステップは、更に、
前記初期サンプルを原点に設定し、数値解析法により、各前記アンカーサンプルに向かう前記原点の第２方向導関数を前記初期サンプルの前記方向として計算するステップ、を含む請求項３に記載の決定変数の計算方法。

【請求項11】

前記訓練済み予測モデルは目的関数で表され、且つ、前記多次元部分空間内で前記初期サンプルの前記方向を取得するステップは、更に、
数値解析法により、各前記アンカーサンプルに向かう前記初期サンプルの距離の変化量に基づいて前記目的関数の関数値の変化量を計算することで、各前記アンカーサンプルに向かう前記初期サンプルの割線方向導関数を取得するステップ、を含む請求項３に記載の決定変数の計算方法。

【請求項12】

前記多次元部分空間内で前記初期サンプルの前記方向を取得するステップは、更に、
各前記アンカーサンプルの方向導関数に向かって前記初期サンプルの前記刻み幅を順に増加及び調整するステップと、
各前記アンカーサンプルの前記方向導関数に向かって前記初期サンプルの前記刻み幅を増加及び調整したあと、前記訓練済み予測モデルに入力して出力される前記予測結果が前記目標結果に更に近付くか否かを順に確認するステップと、
いずれかの前記アンカーサンプルの前記方向導関数に向かって前記初期サンプルの前記刻み幅を増加させたあと、前記訓練済み予測モデルに入力して出力される前記予測結果が前記目標結果に更に近付くことが確認された場合には、前記方向導関数を前記方向として、前記方向導関数において前記初期サンプルの前記刻み幅を増加させるステップと、
いずれかの前記アンカーサンプルの前記方向導関数に向かって前記初期サンプルの前記刻み幅を増加させたあと、前記訓練済み予測モデルに入力して出力される前記予測結果が前記目標結果に更に近付くことはないことが確認された場合には、別の前記アンカーサンプルの前記方向導関数に向かって前記初期サンプルの前記刻み幅を増加させたあと、前記訓練済み予測モデルに入力して出力される前記予測結果が前記目標結果に更に近付くか否かを再び確認するステップ、を含む請求項３に記載の決定変数の計算方法。

【請求項13】

複数の確認待ち決定変数を計算するための決定変数の計算方法であって、
訓練済み予測モデルを提供し、前記訓練済み予測モデルは、ニューラルネットワーク法によってデータセットを機械学習することで得られ、前記訓練済み予測モデルは入力層及び出力層を含み、前記入力層の入力端子の数は、前記確認待ち決定変数及び複数の確認済み決定変数の数の合計と等しく、前記データセットは複数のサンプルを含み、各前記サンプルは複数のサンプルパラメータを含むステップと、
前記確認済み決定変数と、前記サンプルパラメータのうちの前記確認済み決定変数に対応する複数の対応サンプルパラメータをそれぞれ比較することで、前記対応サンプルパラメータが前記確認済み決定変数と近似又は一致している第１サンプルを選択し、前記確認済み決定変数と、前記第１サンプルにおける前記対応サンプルパラメータに属さないその他の前記サンプルパラメータを合わせて前記訓練済み予測モデルに入力し、前記訓練済み予測モデルから出力される前記予測結果が前記目標結果と一致する場合には、その他の前記サンプルパラメータを初期重み値とするステップと、
前記訓練済み予測モデルの前記入力層に接続されるダミー層を増設し、前記ダミー層は、前記入力層の各入力端子にそれぞれ接続される複数の人工ニューロンを含み、前記訓練済み予測モデルと前記ダミー層によってパラメータ予測モデルが形成され、且つ、前記訓練済み予測モデルの前記予測結果が前記パラメータ予測モデルの出力となるステップと、
各前記人工ニューロンの活性化関数のバイアス値を０に設定し、前記活性化関数の入力値が１の場合、前記活性化関数の出力値は１となるステップと、
前記確認済み決定変数に基づき、前記確認済み決定変数に対応する前記人工ニューロンのうちの複数の第１人工ニューロンと前記入力端子との間の複数の第１重み値をそれぞれ設定するステップと、
前記目標結果に対応する前記パラメータ予測モデルの出力を設定し、少なくとも１つのオールワンベクトルを含む訓練データセットを前記パラメータ予測モデルの前記ダミー層の前記人工ニューロンに入力することで前記パラメータ予測モデルを訓練して、前記訓練済み予測モデルを生成したニューラルネットワーク法におけるオプティマイザによって、前記目標結果に基づき、前記初期重み値を起点として、各前記人工ニューロンと前記入力層との間の複数の第２基準重み値を調整するとともに、前記第２基準重み値を前記確認待ち決定変数とするステップ、を含む決定変数の計算方法。

【請求項14】

前記訓練済み予測モデルは複数のモデルパラメータを含み、前記モデルパラメータはいずれも固定されている請求項１３に記載の決定変数の計算方法。

【請求項15】

前記第１重み値は固定されている請求項１４に記載の決定変数の計算方法。

【請求項16】

前記ニューラルネットワーク法は、人工ニューラルネットワーク（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＡＮＮ）、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＣＮＮｓ）、回帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＲＮＮｓ）、再帰型ニューラルネットワーク（Ｒｅｃｕｒｓｉｖｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＲｅｃＮＮ）及び複素ニューラルネットワーク（Ｃｏｍｐｌｅｘ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）のうちの１つを含む請求項１４に記載の決定変数の計算方法。

【請求項17】

前記オプティマイザは、更に、適応的モーメント推定（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ，Ａｄａｍ）最適化、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ，ＳＧＤ）、モメンタム（Ｍｏｍｅｎｔｕｍ）、Ｎｅｓｔｅｒｏｖ加速勾配法（Ｎｅｓｔｅｒｏｖ Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｄｉｅｎｔ，ＮＡＧ）、適応型勾配アルゴリズム（Ａｄａｐｔｉｖｅ Ｇｒａｄｉｅｎｔ Ａｌｇｏｒｉｔｈｍ，ＡｄａＧｒａｄ）、Ｎａｄａｍ（Ｎｅｓｔｅｒｏｖ－ａｃｃｅｌｅｒａｔｅｄ Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ）、ＲＭＳｐｒｏｐ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｐｒｏｐａｇａｔｉｏｎ）、Ａｄａｄｅｌｔａ（Ａｄａｐｔｉｖｅ Ｄｅｌｔａ）、ＡｄａｍＷ（Ａｄａｍ ｗｉｔｈ Ｗｅｉｇｈｔ Ｄｅｃａｙ）、ＡＭＳＧｒａｄ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ Ｌｏｎｇ－ｔｅｒｍ Ｍｅｍｏｒｙ）、ＡｄａＢｅｌｉｅｆ（Ａｄａｐｔｉｖｅ Ｂｅｌｉｅｆ）、ＬＡＲＳ（Ｌａｙｅｒ－ｗｉｓｅ Ａｄａｐｔｉｖｅ Ｒａｔｅ Ｓｃａｌｉｎｇ）、自己適応Ｈｅｓｓｉａｎ（ＡｄａＨｅｓｓｉａｎ）、ＲＡｄａｍ（Ｒｅｃｔｉｆｉｅｄ Ａｄａｍ）、先読み（Ｌｏｏｋａｈｅａｄ）、ＭａｄＧｒａｄ（Ｍｏｍｅｎｔｕｍｉｚｅｄ，Ａｄａｐｔｉｖｅ，ａｎｄ Ｄｅｃｅｎｔｒａｌｉｚｅｄ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）、Ｙｏｇｉオプティマイザ（Ｙｏｇｉ）及びＡｄａｍＭａｘ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ Ｍａｘｉｍｕｍ）のうちのいずれかから選択される請求項１４に記載の決定変数の計算方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、決定変数の計算方法に関し、特に、最適化技術をベースとするアルゴリズム、人工知能モデルに内蔵されるオプティマイザ、及び、訓練済み予測モデルを応用して決定変数を逆推定する方法に関する。

【背景技術】

【0002】

医用工学技術の進歩に伴って、現在、疾病の臨床治療における再生医療の応用はますます多様化している。再生医療とは、主として、損傷した組織や器官を細胞の再生能力を利用して修復する医療技術であり、応用範囲が非常に広い。また、組織工学や分子生物学等の医療技術を組み合わせることで、例えば、糖尿病、神経疾患、心血管疾患及び癌等のかつては治療困難とされていた疾病の改善及び治療が可能になることが期待されている。現在、再生医療は、主に、器官の修復、免疫細胞治療及び幹細胞療法に応用されている。また、再生医療における細胞治療の研究及び応用は各界からますます注目を浴びている。細胞治療とは、人体の細胞を体外で培養又は加工する手順を経たあと、それらの細胞を個々の体内に移植して使用するものである。

【0003】

近年、多くの国の政府が細胞治療の応用を徐々に解禁していることから、国内外の多くの学者が相次いで細胞治療の研究に参入している。その結果、例えば、自家線維芽細胞による皮膚欠損の治療、自家軟骨細胞による膝関節軟骨欠損の治療、自家骨髄間葉系幹細胞による脊髄損傷の治療など、多くの疾病の治療において、細胞治療は著しい研究の進歩を遂げている。また、細胞治療の製品の品質は、治療の安全性及び有効性に直接的な影響を及ぼす。そのため、細胞培養プロセスでは、細胞の成長状態を厳格にコントロールするとともに、細胞成長の培養パラメータ及び環境パラメータを即時にモニタリングして、培養過程における細胞の汚染又は品質の悪化を回避する必要がある。また、従来の研究より、異なる事案間で細胞の多様性（ｖａｒｉａｂｉｌｉｔｙ）は極めて高くなるため、異なる事案に適用される細胞製剤の最適な培養パラメータ及び環境パラメータは完全には同じとならないことが分かっている。これより、細胞製剤ごとに、プロセス内で各プロセスパラメータを設計及び調整して所期の結果を達成する必要があるため、固定のプロセスパラメータで各細胞製剤の生産を行うことはできない。そのほか、プロセスの複雑性及び相関性に起因して、従来技術では、通常、単一のパラメータのみを最適化可能であり、プロセス全体における各パラメータ間の相互の総合的な影響については軽視されている。

【0004】

従来技術では、機械学習によって大量のサンプルのデータセットについて訓練を行い、予測モデルを取得する。この予測モデルは、各種プロセスパラメータを入力して細胞培養の予測結果を生成することが可能なため、ユーザは、設計する細胞培養プロセスの効果を事前にシミュレーションできる。しかしながら、機械学習で訓練される上記の予測モデルでは、ユーザの所期の結果から細胞培養プロセスのプロセスパラメータを逆推定することはできない。換言すると、細胞培養プロセスを設計する際に、ユーザは、異なるプロセスパラメータを大量に試す必要があるため、細胞培養プロセスの設計及び改良に大量の労力と資源が費やされる。また、細胞プロセスのほか、その他の分野で機械学習により得られる予測モデルについても、決定変数を逆推定できないとの問題が存在する。

【0005】

よって、従来技術の課題を解決するために、訓練済み予測モデルを用いて、目標結果に合致する決定変数を正確に逆推定可能とする方法を開発する必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記に鑑みて、本発明は、以上で述べた従来の課題を解決するために、決定変数の計算方法を提供することを範疇とする。

【課題を解決するための手段】

【0007】

本発明における複数の確認待ち決定変数を計算するための決定変数の計算方法は、訓練済み予測モデルを提供し、前記訓練済み予測モデルは、機械学習方法によってデータセットを機械学習することで得られ、前記訓練済み予測モデルは入力層及び出力層を含み、前記データセットは複数のサンプルを含み、且つ、各前記サンプルは複数のサンプルパラメータを含み、前記訓練済み予測モデルは、前記入力層を通じて複数の入力変数を入力し、前記出力層により前記入力変数に対応する予測結果を生成するために用いられるステップと、前記訓練済み予測モデルの前記予測結果に対応する目標結果を設定するステップと、前記サンプルのうち、前記訓練済み予測モデルの前記予測結果が前記目標結果と一致する少なくとも１つのサンプルを少なくとも１つのアンカーサンプルとし、且つ、前記少なくとも１つのアンカーサンプルにより多次元部分空間を形成し、前記多次元部分空間内で初期サンプルを決定するステップと、前記訓練済み予測モデルの生成に用いたオプティマイザにより、前記訓練済み予測モデルの目的関数を最小化演算することで勾配を取得するステップと、前記初期サンプルの前記サンプルパラメータについて、前記勾配の反対方向に沿って刻み幅を増加させたあと、前記訓練済み予測モデルに入力することで、生成される前記予測結果が前記目標結果と一致するか否かを確認するステップと、前記予測結果が前記目標結果と一致する場合には、前記刻み幅を増加させたあとの前記サンプルパラメータを前記確認待ち決定変数とするステップ、を含む。

【0008】

決定変数の計算方法は、更に、複数の確認済み決定変数を提供し、前記確認済み決定変数の第１ベクトルを計算するステップと、前記確認済み決定変数に基づいて、前記サンプルの前記サンプルパラメータから対応する複数の対応サンプルパラメータをそれぞれ取得し、前記対応サンプルパラメータの第２ベクトルを計算するステップと、前記第１ベクトルと各前記サンプルの前記第２ベクトルを比較するとともに、各前記サンプルが前記訓練済み予測モデルにおいて生成する前記予測結果と前記目標結果を比較することで、前記サンプルから参照サンプルを取得し、前記参照サンプルの前記第２ベクトルは前記第１ベクトルと近似又は一致しており、前記参照サンプルの前記予測結果は前記目標結果と近似又は一致しているステップと、前記参照サンプルを前記初期サンプルとするステップ、を含む。

【0009】

本発明は、更に、訓練済み予測モデルを提供し、前記訓練済み予測モデルは、機械学習方法によってデータセットを機械学習することで得られ、前記データセットは複数のサンプルを含み、且つ、各前記サンプルは複数のサンプルパラメータを含み、前記訓練済み予測モデルは、複数の決定変数を入力して、前記決定変数に対応する予測結果を生成するために用いられ、前記決定変数は、複数の確認済み決定変数及び複数の確認待ち決定変数を含むステップと、前記訓練済み予測モデルの前記予測結果に対応する目標結果を設定するステップと、前記確認済み決定変数と、前記サンプルパラメータのうちの前記確認済み決定変数に対応する複数の対応サンプルパラメータをそれぞれ比較することで、前記対応サンプルパラメータが前記確認済み決定変数と近似又は一致している候補サンプルを選択するステップと、前記候補サンプルにおける前記対応サンプルパラメータに属さないその他の前記サンプルパラメータを前記確認済み決定変数と合わせて前記訓練済み予測モデルに入力し、前記訓練済み予測モデルから出力される前記予測結果が前記目標結果と一致するか否かを確認するステップと、前記データセット内の全てのサンプルパラメータについて上記のステップを行い、前記サンプルのうち、前記訓練済み予測モデルの前記予測結果が前記目標結果と一致する少なくとも１つのサンプルを少なくとも１つのアンカーサンプルとし、且つ、前記少なくとも１つのアンカーサンプルにより多次元部分空間を形成するステップと、前記多次元部分空間内で初期サンプルを決定するとともに、前記多次元部分空間内で前記初期サンプルの方向を取得するステップと、前記方向に沿って刻み幅を増加させたあと、前記確認済み決定変数と、前記初期サンプルにおける前記確認済み決定変数に対応しないその他の前記サンプルパラメータとを前記訓練済み予測モデルに入力することで、生成される前記予測結果が前記目標結果と一致するか否かを確認するステップと、前記予測結果が前記目標結果と一致する場合には、前記確認済み決定変数に対応しない前記刻み幅を増加させたあとの前記サンプルパラメータを前記確認待ち決定変数とするステップ、を含む決定変数の計算方法を提供する。

【0010】

前記確認済み決定変数と、前記サンプルパラメータのうちの前記確認済み決定変数に対応する前記対応サンプルパラメータをそれぞれ比較することで、前記対応サンプルパラメータが前記確認済み決定変数と近似又は一致している前記候補サンプルを選択するステップは、更に、前記確認済み決定変数の第１ベクトルを計算するステップと、前記確認済み決定変数に基づいて、前記サンプルの前記サンプルパラメータから対応する前記対応サンプルパラメータをそれぞれ取得するステップと、前記対応サンプルパラメータの第２ベクトルを計算するステップと、前記第１ベクトルと各前記サンプルの前記第２ベクトルを比較し、前記サンプルのうちの第１サンプルの前記第２ベクトルが前記第１ベクトルと近似又は一致している場合、前記第１サンプルを前記候補サンプルとして選択するステップ、を含む。

【0011】

決定変数の計算方法は、更に、前記第１ベクトルと各前記サンプルの前記第２ベクトルとの間の夾角を計算し、前記第１ベクトルとの間に最も小さな前記夾角を有する前記第２ベクトルに対応する前記サンプルを前記第１サンプルとするステップ、を含む。

【0012】

決定変数の計算方法は、更に、距離関数により、前記第１ベクトルの先端点の座標と各前記サンプルの前記第２ベクトルの先端点の座標との距離を計算し、前記第１ベクトルとの間に最も小さな前記距離を有する前記第２ベクトルに対応する前記サンプルを前記第１サンプルとするステップ、を含む。

【0013】

前記多次元部分空間内で前記初期サンプルを決定するステップは、更に、前記多次元部分空間内の少なくとも２つの前記アンカーサンプルの間の距離の中点を前記初期サンプルとするステップ、を含む。

【0014】

前記多次元部分空間内で前記初期サンプルを決定するステップは、更に、前記多次元部分空間内の少なくとも２つの前記アンカーサンプルの線形結合を前記初期サンプルとするステップ、を含む。

【0015】

前記多次元部分空間内で前記初期サンプルの前記方向を取得するステップは、更に、数値解析法により、各前記アンカーサンプルに沿う前記初期サンプルの第１方向導関数を前記初期サンプルの前記方向として計算するステップ、を含む。

【0016】

前記多次元部分空間内で前記初期サンプルの前記方向を取得するステップは、更に、前記初期サンプルを原点に設定し、前記数値解析法により、各前記アンカーサンプルに向かう前記原点の第２方向導関数を前記初期サンプルの前記方向として計算するステップ、を含む。

【0017】

前記訓練済み予測モデルは目的関数で表される。且つ、前記多次元部分空間内で前記初期サンプルの前記方向を取得するステップは、更に、前記数値解析法により、各前記アンカーサンプルに向かう前記初期サンプルの距離の変化量に基づいて前記目的関数の関数値の変化量を計算することで、各前記アンカーサンプルに向かう前記初期サンプルの割線方向導関数を取得するステップ、を含む。

【0018】

前記多次元部分空間内で前記初期サンプルの前記方向を取得するステップは、更に、各前記アンカーサンプルの方向導関数に向かって前記初期サンプルの前記刻み幅を順に増加及び調整するステップと、各前記アンカーサンプルの前記方向導関数に向かって前記初期サンプルの前記刻み幅を増加及び調整したあと、前記訓練済み予測モデルに入力して出力される前記予測結果が前記目標結果に更に近付くか否かを順に確認するステップと、いずれかの前記アンカーサンプルの前記方向導関数に向かって前記初期サンプルの前記刻み幅を増加させたあと、前記訓練済み予測モデルに入力して出力される前記予測結果が前記目標結果に更に近付くことが確認された場合には、前記方向導関数において前記初期サンプルの前記刻み幅を増加させるステップと、いずれかの前記アンカーサンプルの前記方向導関数に向かって前記初期サンプルの前記刻み幅を増加させたあと、前記訓練済み予測モデルに入力して出力される前記予測結果が前記目標結果に更に近付くことはないことが確認された場合には、別の前記アンカーサンプルの前記方向導関数に向かって前記初期サンプルの前記刻み幅を増加させたあと、前記訓練済み予測モデルに入力して出力される前記予測結果が前記目標結果に更に近付くか否かを再び確認するステップ、を含む。

【0019】

本発明は、更に、複数の確認待ち決定変数を計算するための決定変数の計算方法を提供する。当該決定変数の計算方法は、訓練済み予測モデルを提供し、前記訓練済み予測モデルは、ニューラルネットワーク法によってデータセットを機械学習することで得られ、前記訓練済み予測モデルは入力層及び出力層を含み、前記入力層の入力端子の数は、前記確認待ち決定変数及び複数の確認済み決定変数の数の合計と等しく、前記データセットは複数のサンプルを含み、各前記サンプルは複数のサンプルパラメータを含むステップと、前記確認済み決定変数と、前記サンプルパラメータのうちの前記確認済み決定変数に対応する複数の対応サンプルパラメータをそれぞれ比較することで、前記対応サンプルパラメータが前記確認済み決定変数と近似又は一致している第１サンプルを選択し、前記確認済み決定変数と、前記第１サンプルにおける前記対応サンプルパラメータに属さないその他の前記サンプルパラメータを合わせて前記訓練済み予測モデルに入力し、前記訓練済み予測モデルから出力される前記予測結果が前記目標結果と一致する場合には、その他の前記サンプルパラメータを初期重み値とするステップと、前記訓練済み予測モデルの前記入力層に接続されるダミー層を増設し、前記ダミー層は、前記入力層の各入力端子にそれぞれ接続される複数の人工ニューロンを含み、前記訓練済み予測モデルと前記ダミー層によってパラメータ予測モデルが形成され、且つ、前記訓練済み予測モデルの前記予測結果が前記パラメータ予測モデルの出力となるステップと、各前記人工ニューロンの活性化関数のバイアス値を０に設定し、前記活性化関数の入力値が１の場合、前記活性化関数の出力値は１となるステップと、前記確認済み決定変数に基づき、前記確認済み決定変数に対応する前記人工ニューロンのうちの複数の第１人工ニューロンと前記入力端子との間の複数の第１重み値をそれぞれ設定するステップと、前記目標結果に対応する前記パラメータ予測モデルの出力を設定し、少なくとも１つのオールワンベクトルを含む訓練データセットを前記パラメータ予測モデルの前記ダミー層の前記人工ニューロンに入力することで前記パラメータ予測モデルを訓練して、前記訓練済み予測モデルを生成したニューラルネットワーク法におけるオプティマイザによって、前記目標結果に基づき、前記初期重み値を起点として、各前記人工ニューロンと前記入力層との間の基準重み値を調整するとともに、前記基準重み値のうちの前記初期重み値に対応する複数の第２基準重み値を前記確認待ち決定変数とするステップ、を含む。

【0020】

前記訓練済み予測モデルは複数のモデルパラメータを含み、前記モデルパラメータはいずれも固定されている。

【0021】

前記第１重み値は固定されている。

【0022】

前記オプティマイザは、適応的モーメント推定（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ，Ａｄａｍ）最適化、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ，ＳＧＤ）、モメンタム（Ｍｏｍｅｎｔｕｍ）、Ｎｅｓｔｅｒｏｖ加速勾配法（Ｎｅｓｔｅｒｏｖ Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｄｉｅｎｔ，ＮＡＧ）、適応型勾配アルゴリズム（Ａｄａｐｔｉｖｅ Ｇｒａｄｉｅｎｔ Ａｌｇｏｒｉｔｈｍ，ＡｄａＧｒａｄ）、Ｎａｄａｍ（Ｎｅｓｔｅｒｏｖ－ａｃｃｅｌｅｒａｔｅｄ Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ）、ＲＭＳｐｒｏｐ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｐｒｏｐａｇａｔｉｏｎ）、Ａｄａｄｅｌｔａ（Ａｄａｐｔｉｖｅ Ｄｅｌｔａ）、ＡｄａｍＷ（Ａｄａｍ ｗｉｔｈ Ｗｅｉｇｈｔ Ｄｅｃａｙ）、ＡＭＳＧｒａｄ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ Ｌｏｎｇ－ｔｅｒｍ Ｍｅｍｏｒｙ）、ＡｄａＢｅｌｉｅｆ（Ａｄａｐｔｉｖｅ Ｂｅｌｉｅｆ）、ＬＡＲＳ（Ｌａｙｅｒ－ｗｉｓｅ Ａｄａｐｔｉｖｅ Ｒａｔｅ Ｓｃａｌｉｎｇ）、自己適応Ｈｅｓｓｉａｎ（ＡｄａＨｅｓｓｉａｎ）、ＲＡｄａｍ（Ｒｅｃｔｉｆｉｅｄ Ａｄａｍ）、先読み（Ｌｏｏｋａｈｅａｄ）、ＭａｄＧｒａｄ（Ｍｏｍｅｎｔｕｍｉｚｅｄ，Ａｄａｐｔｉｖｅ，ａｎｄ Ｄｅｃｅｎｔｒａｌｉｚｅｄ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）、Ｙｏｇｉオプティマイザ（Ｙｏｇｉ）及びＡｄａｍＭａｘ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ Ｍａｘｉｍｕｍ）のうちのいずれかから選択される。

【発明の効果】

【0023】

総括すると、本発明における決定変数の計算方法は、機械学習により訓練して取得した予測モデルについて逆推定を行うことで、目標結果又はグラウンドトゥルース（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）に合致する決定変数を算出可能である。詳述すると、本発明における決定変数の計算方法では、訓練済み予測モデルの制約付き目的関数を制約なし目的関数に変換して、制約なし目的関数につき最適化して解を求めることが可能である。また、解を求める過程では、アンカーサンプルを設定して多次元の実行可能解空間を形成し、この空間内で最適解を探すことが可能である。解を求める際には、初期解、方向及び刻み幅を考慮可能である。初期解は、訓練済み予測モデルの訓練時に使用したサンプルセットから取得可能であり、例えば、確認済み決定変数と近接又は一致するサンプルパラメータを有するサンプルを初期解とする。また、訓練済み予測モデルを訓練したプラットフォームのオプティマイザによって、初期解又は実行可能解空間内のいずれかの点の勾配を取得可能であり、当該勾配の逆方向を方向とすることができる。最後に、初期解から開始して、方向及び刻み幅を調整し続けて、目標結果に合致する最適解を確認待ち決定変数として算出する。そのほか、本発明における決定変数の計算方法は、方向を決定する際に、数値的方法を用いて制約なし目的関数につき計算を行ってもよい。また、本発明における決定変数の計算方法は、オプティマイザを用いて、ダミー層を追加した訓練済み予測モデルを直接訓練してもよい。そして、訓練済み予測モデルの訓練時に使用したサンプルセット内のサンプルを初期重み値として訓練することで、ダミー層と訓練済み予測モデルとの間のアーク重みを取得し、当該アーク重みを決定変数とする。

【図面の簡単な説明】

【0024】

【図1】図１は、本発明の具体的実施例に基づく決定変数の計算方法のステップのフローチャートを示す。

【図2】図２は、図１に基づく決定変数の計算方法のステップＳ３の更なるステップのフローチャートを示す。

【図3】図３は、本発明の別の具体的実施例に基づく決定変数の計算方法のステップのフローチャートを示す。

【図4】図４は、本発明の別の具体的実施例に基づく決定変数の計算方法のステップのフローチャートを示す。

【発明を実施するための形態】

【0025】

本発明の利点、精神及び特徴をより容易且つ明確に理解可能となるよう、続いて、具体的実施例を用いるとともに、図面を参照して、詳述及び検討する。注意すべき点として、これらの具体的実施例は本発明の代表的な具体的実施例にすぎず、例示する特定の方法、装置、条件、材質等は本発明又は対応する具体的実施例を限定するものではない。且つ、図中の各構成要素は、それらの相対的位置を表すためにのみ用いられ、実際の比率に基づき記載されてもいない。また、本発明のステップ番号は異なるステップを区別するためのものにすぎず、ステップの順序を表してはいない。以上について予め説明しておく。

【0026】

図１を参照する。図１は、本発明の具体的実施例に基づく決定変数の計算方法のステップのフローチャートを示す。本具体的実施例における決定変数の計算方法は、複数の確認待ち決定変数を算出するために用いられる。決定変数のうち、確認済み決定変数は、ユーザが操作時に確認済みであるか、実際に実行済みの決定変数である。また、確認待ち決定変数は、ユーザがまだ確認していないか、実行していない決定変数である。図１に示すように、本具体的実施例において、決定変数の計算方法は、以下を含む。

【0027】

ステップＳ１：機械学習方法によってデータセットを機械学習することで得られる訓練済み予測モデルを提供する。データセットは複数のサンプルを含む。また、各サンプルは複数のサンプルパラメータを含む。訓練済み予測モデルの入力層は、複数の入力変数を入力して、入力変数に対応する予測結果を出力及び生成するために用いられる。

【0028】

ステップＳ２：訓練済み予測モデルの予測結果に対応する目標結果を設定する。

【0029】

ステップＳ３：訓練済み予測モデルから出力される予測結果が目標結果と一致するデータセット内の少なくとも１つのサンプルを少なくとも１つのアンカーサンプルとする。且つ、当該少なくとも１つのアンカーサンプルにより多次元部分空間を形成し、この多次元部分空間内で初期サンプルを決定する。

【0030】

ステップＳ４：訓練済み予測モデルの生成に用いたオプティマイザにより、訓練済み予測モデルの目的関数を最小化演算することで勾配を取得する。

【0031】

ステップＳ５：初期サンプルの前記サンプルパラメータについて、前記勾配の反対方向に沿って刻み幅（Ｓｔｅｐ ｓｉｚｅ）を増加させたあと、訓練済み予測モデルに入力することで、生成される予測結果が目標結果と一致するか否かを確認する。

【0032】

ステップＳ６：前記予測結果が前記目標結果と一致する場合には、前記刻み幅を増加させたあとの前記サンプルパラメータを前記確認待ち決定変数とする。

【0033】

本具体的実施例におけるステップＳ１の訓練済み予測モデルは、オープンプラットフォームで得られる機械学習の訓練を完了したいずれかのモデルであってもよいし、ユーザ自身で機械学習の訓練を行った予測モデルであってもよい。また、本具体的実施例におけるデータセットは、機械学習の訓練、テスト及び検証に使用可能な何らかのデータで形成される集合としてもよい。実際の応用において、本具体的実施例の決定変数の計算方法は、その他何らかの訓練済みの機械学習モデルに応用して、確認待ち決定変数の逆推定に用いることも可能である。また、本具体的実施例における訓練済み予測モデルは、人工ニューラルネットワーク（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＡＮＮ）、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＣＮＮｓ）、回帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＲＮＮｓ）、或いは、その他何らかの機械学習アルゴリズム又はニューラルネットワークアルゴリズムによってデータセットを機械学習することで得られる。機械学習又はニューラルネットワークアルゴリズムの選択は、ユーザのニーズに応じて行われる。

【0034】

ステップＳ２において、まず、ユーザは、グラウンドトゥルース（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）とも称される目標結果を設定可能である。これは、本発明における決定変数の計算方法で算出される決定変数により達成しようとする目標である。決定変数の計算方法では、訓練済み予測モデルをベースとして逆推定を行うが、この訓練済み予測モデルは目的関数で表すことができる。よって、訓練済み予測モデルにつき逆推定を行って決定変数を取得する過程は、目的関数について最適化問題の解を求めることと見なし得る。最適化問題の解を求めるにあたり、実行可能解空間を予め取得しておき、その空間内で解を求められれば、より効率的である。そこで、ステップＳ３では、訓練済み予測モデルを訓練したときのサンプルを用いて、上記の実行可能解空間を形成可能とする。詳述すると、データセット内のサンプルについては、訓練済み予測モデルに入力したあとに出力される予測結果が分かっている。データセット内のサンプルのうち、予測結果が目標結果と一致するサンプルは、決定変数について解を求めるにあたり相当な参照価値を有している。よって、これらのサンプルをアンカーサンプルとして多次元部分空間を形成可能とし、この多次元部分空間を上記の実行可能解空間とする。また、多次元部分空間を決定したあとに、この多次元部分空間内で初期点を決定し、最適化問題の解を求め始めればよい。この初期点がステップＳ３における初期サンプルとなる。

【0035】

上述したように、実行可能解空間内で初期サンプルを決定したあと、初期サンプルから最適化問題の解を求め始めればよい。詳述すると、初期サンプルから一方向に沿って刻み幅１つ分進行させたあと、刻み幅を増加させたサンプルパラメータを訓練済み予測モデルに入力して、出力される予測結果が目標結果と一致するか否か、或いは、目標結果とのギャップが小さくなるか否かを確認する。ステップＳ５及びステップＳ６に記載するように、上述した刻み幅分の進行を繰り返すことで、最終的に、出力される予測結果が目標結果と完全に一致するか、目標結果とのギャップが最小となる入力パラメータが得られ、これを確認待ち決定変数とすることができる。しかしながら、初期サンプル、又は、最適化問題の解を求める過程での各点の方向を決定する際には、一般的に、目的関数について偏微分を行う方法で勾配を取得可能とし、勾配の反対方向をその方向とする。ところが、通常、訓練済み予測モデルの目的関数はシンボル化（Ｓｙｍｂｏｌｉｃ）不可能であり、微分できない場合も多く、不連続の場合すらある。よって、この目的関数について導関数を直接計算することは難しく、数値解析法に変更することで勾配を分析可能とする。しかし、数値解析法で目的関数の導関数（又は勾配）を分析する場合には、多くの計算資源を消費することになり、数値演算におけるオーバーヘッドや不正確さ等の問題も生じる。そのため、本具体的実施例の方法におけるステップＳ４では、本来は訓練済みモデルを生成するためのオプティマイザにより、訓練済み予測モデルの目的関数を最小化演算することで勾配を取得可能とする。例えば、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ，ＳＧＤ）のオプティマイザを用いて、目的関数の最小化を完了する過程で勾配を算出することが可能である。数値解析法と比較して、オプティマイザを用いて勾配を計算することで、勾配を正確に算出可能になるとともに、計算資源を大幅に節約可能となる。

【0036】

上述した具体的実施例において、実行可能解空間はデータセットのサンプルで形成可能である。即ち、予測結果が目標結果と一致又は近似するサンプルをアンカーサンプルとして選択する。しかしながら、実用においては、全ての決定変数が確認待ち決定変数であるとは限らず、確認済み決定変数と確認待ち決定変数が同時に存在する状況もあり得る。例えば、ユーザが２１日間の細胞培養プロセスを実施しようとしており、生成しようする細胞製剤が９５％の細胞生存率を有さねばならず、且つ、ユーザがすでに最初の７日間のプロセスを実施済みである（つまり、７日間の確認済み決定変数をすでに有している）が、その後の８～２１日目のプロセスについて、実施やプロセスパラメータ（つまり、確認待ち決定変数）の調整をどのように行えば予め設定した２１日目に所望の目標結果を得られるのかを確認していない場合がある。仮に、予測結果が目標結果と一致又は近似するサンプルのみをアンカーサンプルとして選択し、アンカーサンプルで形成される実行可能解空間内で初期サンプルをランダムに選択して最適化問題の解を求める場合には、通常、最終的に得られる最初の７日間の決定変数が確認済み決定変数と大きく異なることになる。

【0037】

ここで、図２を参照する。図２は、図１に基づく決定変数の計算方法のステップＳ３の更なるステップのフローチャートを示す。図２に示すように、本具体的実施例は、上述した具体的実施例と以下の点において異なっている。即ち、本具体的実施例の方法は、更に、以下を含む。

【0038】

ステップＳ３０：複数の確認済み決定変数を提供し、確認済み決定変数の第１ベクトルを計算する。

【0039】

ステップＳ３２：確認済み決定変数に基づいて、前記サンプルのサンプルパラメータから対応する複数の対応サンプルパラメータをそれぞれ取得し、対応サンプルパラメータの第２ベクトルを計算する。

【0040】

ステップＳ３４：第１ベクトルと各サンプルの第２ベクトルを比較するとともに、各サンプルが訓練済み予測モデルにおいて生成する予測結果と目標結果を比較することで、前記サンプルから参照サンプルを取得する。参照サンプルの第２ベクトルは前記第１ベクトルと近似又は一致しており、予測結果は目標結果と近似又は一致している。

【0041】

ステップＳ３６：参照サンプルを初期サンプルとする。

【0042】

上記の参照サンプルを決定するステップでは、第２ベクトルが第１ベクトルと近似又は一致しているか否かにより決定する。実用において、これらが近似又は一致しているか否かを決定する際には、２つのベクトルの夾角が０度に近いか、０度であるかを確認してもよい。詳述すると、具体的実施例において、参照サンプルを決定するステップは、第１ベクトルと各サンプルの第２ベクトルとの間の夾角を計算し、第１ベクトルとの間に最も小さな夾角（０度に近いか０度である）を有する第２ベクトルに対応するサンプルを前記参照サンプルとして取得するステップを含んでもよい。或いは、別の具体的実施例において、参照サンプルを決定するステップは、距離関数により、第１ベクトルの先端点の座標と第２ベクトルの先端点の座標との距離を計算し、第１ベクトルとの間に最も小さな距離を有する第２ベクトルに対応するサンプルを参照サンプルとして取得するステップを含んでもよい。実際の応用において、機械学習分野に一般的に用いられる距離関数には、ユークリッド距離（Ｅｕｃｌｉｄｅａｎ Ｄｉｓｔａｎｃｅ）、マンハッタン距離（Ｍａｎｈａｔｔａｎ Ｄｉｓｔａｎｃｅ）、コサイン類似度（Ｃｏｓｉｎｅ Ｓｉｍｉｌａｒｉｔｙ）、ジャッカード類似度（Ｊａｃｃａｒｄ Ｓｉｍｉｌａｒｉｔｙ）及びマハラノビス距離（Ｍａｈａｌａｎｏｂｉｓ Ｄｉｓｔａｎｃｅ）が含まれる。実用において、最小距離の計算方式及び最小距離の適用範囲は、ユーザのニーズに応じて設定してもよい。

【0043】

確認済み決定変数（例えば、実行済みの最初の７日間の細胞プロセスパラメータ）に対応する参照サンプルの参照サンプルパラメータにより形成されるベクトルが確認済み決定変数のベクトルと近似又は一致していることは、参照サンプルの参照サンプルパラメータが確認済み決定変数と近似又は一致していることを意味する。そのため、この参照サンプルを初期サンプルとして上記の最適化問題の解を求めることで得られる最適解は、一部の決定変数が確認済みであり（例えば、最初の７日間の細胞プロセスパラメータ）、一部の決定変数が確認待ちである（例えば、８～２１日目の細胞プロセスパラメータ）状況に適用可能である。

【0044】

ここで、図３を参照する。図３は、本発明の別の具体的実施例に基づく決定変数の計算方法のステップのフローチャートを示す。図３に示すように、本具体的実施例は、上述した具体的実施例と以下の点において異なっている。即ち、本具体的実施例における決定変数の計算方法は、更に、以下を含む。

【0045】

ステップＳ３００：決定変数のうちの確認済み決定変数と、前記サンプルパラメータのうちの確認済み決定変数に対応する複数の対応サンプルパラメータをそれぞれ比較することで、前記対応サンプルパラメータが確認済み決定変数と近似又は一致している候補サンプルを選択する。

【0046】

ステップＳ３０２：候補サンプルにおける対応サンプルパラメータに属さないその他の前記サンプルパラメータを確認済み決定変数と合わせて訓練済み予測モデルに入力し、訓練済み予測モデルから出力される予測結果が目標結果と一致するか否かを確認する。

【0047】

ステップＳ３０４：データセット内の全てのサンプルパラメータについて上記のステップを行い、全てのサンプルのうち、訓練済み予測モデルの予測結果が目標結果と一致する少なくとも１つのサンプルをアンカーサンプルとして、アンカーサンプルにより多次元部分空間を形成する。

【0048】

ステップＳ３０６：多次元部分空間内で初期サンプルを決定するとともに、初期サンプルの方向を取得する。

【0049】

ステップＳ５０：前記方向に沿って刻み幅を増加させたあと、確認済み決定変数と、初期サンプルにおける確認済み決定変数に対応しないその他のサンプルパラメータとを訓練済み予測モデルに入力することで、生成される予測結果が目標結果と一致するか否かを確認する。

【0050】

ステップＳ６０：予測結果が目標結果と一致する場合には、前記確認済み決定変数に対応しない前記刻み幅を増加させたあとのサンプルパラメータを確認待ち決定変数とする。

【0051】

注意すべき点として、本具体的実施例の方法における上述した具体的実施例と同じ又は対応するステップについては、上述した具体的実施例で詳述しているため、ここでは改めて詳述しない。

【0052】

本具体的実施例は、上述した具体的実施例と以下の点において異なっている。即ち、本具体的実施例では、まず、確認済み決定変数を用いて、対応サンプルパラメータを有するサンプルを候補サンプルとして選択する。次に、確認済み決定変数と、候補サンプルにおける確認済み決定変数に対応しないその他のサンプルパラメータ（つまり、確認待ち部分）を組み合わせて訓練済み予測モデルに入力する。そして、訓練済み予測モデルから出力される予測結果が目標結果と一致する場合には、この候補サンプルの確認待ち部分に対応するサンプルパラメータが参照価値を有することを意味するため、この候補サンプルを実行可能解空間（多次元部分空間）を形成するためのアンカーサンプルとすることができる。この場合も同様に、ステップＳ３０６に示すように、まず、多次元部分空間内で初期サンプルから最適化問題の解を求め始める必要があり、方向及び刻み幅を決定する必要もある。本具体的実施例において、ステップＳ３０６で方向を決定する際には、数値解析法により目的関数につき勾配を算出して、勾配の反対方向をその方向とする。また、確認済み決定変数は固定されているため、ステップＳ５０では、初期サンプルにおけるその他のサンプルパラメータについて、前記方向に沿って刻み幅を増加させたあと、確認済み決定変数と組み合わせて訓練済み予測モデルに入力し、予測結果が目標結果と一致するか否かを確認する。或いは、上記の方向決定及び刻み幅増加の動作を実行し続けて、目標結果と一致するまで予測結果を目標結果に近付け続ける。最後に、ステップＳ６０において、刻み幅を増加させ続けて、予測結果が目標結果と一致した場合、或いは、実用においては、予測結果と目標結果との差分値が最小となった場合に、確認済み決定変数に対応しない刻み幅を増加させたあとのサンプルパラメータを確認待ち決定変数とする。

【0053】

本具体的実施例において、ステップＳ３００における候補サンプルを決定するステップでは、第２ベクトルが第１ベクトルと近似又は一致しているか否かにより決定する。上述したように、第１ベクトルは、確認済み決定変数について算出されたベクトルであり、第２ベクトルは、サンプルにおける確認済み決定変数に対応する対応サンプルパラメータについて算出されたベクトルである。実用において、これらが近似又は一致しているか否かを決定する際には、２つのベクトルの夾角が０度に近いか、０度であるかを確認してもよい。詳述すると、具体的実施例において、候補サンプルを決定するステップは、第１ベクトルと各サンプルの第２ベクトルとの間の夾角を計算し、第１ベクトルとの間に最も小さな夾角（０度に近いか０度である）を有する第２ベクトルに対応するサンプルを候補サンプルとして取得するステップを含んでもよい。或いは、別の具体的実施例において、候補サンプルを決定するステップは、距離関数により、第１ベクトルの先端点の座標と第２ベクトルの先端点の座標との距離を計算し、第１ベクトルとの間に最も小さな距離を有する第２ベクトルに対応するサンプルを候補サンプルとして取得するステップを含んでもよい。実際の応用において、機械学習分野に一般的に用いられる距離関数には、ユークリッド距離（Ｅｕｃｌｉｄｅａｎ Ｄｉｓｔａｎｃｅ）、マンハッタン距離（Ｍａｎｈａｔｔａｎ Ｄｉｓｔａｎｃｅ）、コサイン類似度（Ｃｏｓｉｎｅ Ｓｉｍｉｌａｒｉｔｙ）、ジャッカード類似度（Ｊａｃｃａｒｄ Ｓｉｍｉｌａｒｉｔｙ）及びマハラノビス距離（Ｍａｈａｌａｎｏｂｉｓ Ｄｉｓｔａｎｃｅ）が含まれる。実用において、最小距離の計算方式及び最小距離の適用範囲は、ユーザのニーズに応じて設定してもよい。

【0054】

上述したように、本具体的実施例におけるステップＳ３０６では、多次元部分空間（実行可能解空間）内で初期サンプルを決定する。実用において、初期サンプルを決定する方法は、多次元部分空間内の少なくとも２つのアンカーサンプルの間の距離の中点を初期サンプルとするステップ、或いは、多次元部分空間内の少なくとも２つのアンカーサンプルの間の線形結合を初期サンプルとするステップ、のうちのいずれか又はこれらの組み合わせとすることができる。各アンカーサンプルは、いずれも候補サンプルから選択され、その対応サンプルパラメータはいずれも確認済み決定変数と一致又は近似している。よって、上記のステップで決定された初期サンプルにおける対応サンプルパラメータも、確認済み決定変数と一致又は近似している。

【0055】

そのほか、上述したように、多次元部分空間内で、初期サンプルについて、或いは、刻み幅を少なくとも１回増加させたあとの後続サンプルについて、方向を決定する際には、数値解析法により目的関数につき勾配を算出して、勾配の反対方向をその方向とする。実用において、上記の方向を決定する方法は、数値解析法により、各アンカーサンプルに沿う初期サンプルの方向導関数を初期サンプル（又は、後続サンプル）の方向として計算するステップ、初期サンプル（後続サンプル）を原点に設定し、数値解析法により、各アンカーサンプルに向かう原点の方向導関数を初期サンプル（後続サンプル）の方向として計算するステップ、或いは、数値解析法により、各アンカーサンプルに向かう初期サンプル（後続サンプル）の距離の変化量に基づいて目的関数の関数値の変化量を計算することで、各アンカーサンプルに向かう初期サンプル（後続サンプル）の割線方向導関数を取得するステップ、のうちのいずれか又はそれらの組み合わせとすることができる。

【0056】

初期サンプルが実行可能解と反対の方向に進行した場合には、関数値が悪化するか、期待と一致しなくなる可能性がある。そのため、方向を決定する方法によって、関数値が良好となり得る方向を順番に探すこともできる。別の具体的実施例によれば、方向を決定する方法は、各アンカーサンプルの方向導関数に向かって初期サンプルの刻み幅を順に増加及び調整するステップと、各アンカーサンプルの方向導関数に向かって初期サンプルの刻み幅を増加及び調整したあと、訓練済み予測モデルに入力して出力される予測結果が目標結果に更に近付くか否かを順に確認するステップと、いずれかの前記アンカーサンプルの方向導関数に向かって初期サンプルの刻み幅を増加させたあと、訓練済み予測モデルに入力して出力される予測結果が目標結果に更に近付くことが確認された場合には、当該方向導関数を方向として初期サンプルの刻み幅を増加させるステップと、いずれかの前記アンカーサンプルの方向導関数に向かって前記初期サンプルの刻み幅を増加させたあと、訓練済み予測モデルに入力して出力される予測結果が目標結果に更に近付くことはないことが確認された場合には、別の前記アンカーサンプルの方向導関数に向かって初期サンプルの刻み幅を増加させたあと、前記訓練済み予測モデルに入力して出力される前記予測結果が前記目標結果に更に近付くか否かを再び確認するステップ、を含んでもよい。続いて、初期サンプルから刻み幅１つ分進行して次の後続サンプル又は中継サンプルに到達したあと、更に、上記のステップを実行して新たな方向を探索し、次の刻み幅で進行させればよい。総括すると、本具体的実施例における方向を決定する方法では、まず、初期サンプルから１つ目のアンカーサンプルの方向に向かって刻み幅を繰り返し調整し、刻み幅の増加後に予測結果が目標結果に更に近付くか否かを確認する。そして、異なる刻み幅を繰り返し試し、適切な刻み幅を見つけたあとに、その方向に沿って当該刻み幅で進行させればよい。しかし、刻み幅を一定回数調整しても、予測結果が目標結果に更に近付く適切な刻み幅を見つけられない場合には、次のアンカーサンプルの方向に向かって、初期サンプルにつき再び上記の調整を繰り返す。実用では、全てのアンカーサンプルの方向において、関数値がより良好となる（予測結果と目標結果との差分値がより小さくなる）適切な刻み幅を見つけられない場合には、決定変数の計算方法を停止する。なお、上記のステップは循環的な探索のステップである。初期サンプルが次の実行可能解空間内の後続サンプル又は中継サンプルまで進行した場合には、後続サンプル又は中継サンプルを現在の解（ｃｕｒｒｅｎｔ ｓｏｌｕｔｉｏｎ）に設定して、再び上記のステップを行ってもよい。

【0057】

上述したように、本具体的実施例における決定変数の計算方法は、訓練済み予測モデルの目的関数について最適化問題の解を求めることで、入力すべき決定変数を取得する。しかしながら、これらの決定変数の間には相互関係が存在する場合もある。例えば、プロセス内で、各プロセスパラメータ（決定変数）は任意に設定されるのではなく、実際の状況に応じて各種の制約条件を有する可能性がある。例えば、複数のプロセスパラメータの間には、不等式又は等式の制約条件が存在する可能性がある。そのため、最適化問題を構築して実行する場合には、それらの制約条件を考慮しなければ、最終的に得られる決定変数を実際の状況に適合させることはできない。本具体的実施例では、訓練済み予測モデルの目的関数にバリア関数及びペナルティ関数を加えることで、本来は制約付きである最適化問題を制約なしの最適化問題に変換可能なため、その後の解を求める過程で制約条件を考慮する必要はない。これは、制約条件がバリア関数及びペナルティ関数の形式で目的関数に直接加えられるためである。

【0058】

本具体的実施例において、バリア関数は、決定変数間が不等式の制約条件を満たすよう制約するために設定される。バリア関数には、バリア領域が設けられるとともに、バリア関数値が含まれる。プロセスパラメータ間が不等式の制約条件を満たす場合には、バリア領域外となり、これに対応して得られるバリア関数値は０となる。即ち、訓練済み予測モデルの予測結果に影響を及ぼさない。一方、プロセスパラメータ間が不等式の制約条件を満たさない場合には、バリア領域内となり、これに対応して得られるバリア関数値が大きくなることで、訓練済み予測モデルの予測結果に大きな影響を及ぼす。

【0059】

また、ペナルティ関数は、決定変数間が等式の制約条件を満たすよう制約するために設定される。ペナルティ関数には、ペナルティ領域が設けられるとともに、ペナルティ関数値が含まれる。決定変数間が等式の制約条件を満たす場合には、ペナルティ領域内となり、これに対応して得られるペナルティ関数値は０となる。一方、決定変数間が等式の制約条件を満たさない場合には、ペナルティ領域外となり、これに対応して得られるペナルティ関数値が大きくなることで、訓練済み予測モデルの予測結果に大きな影響を及ぼす。よって、バリア関数及び／又はペナルティ関数を有する訓練済み予測モデルにサンプルパラメータを入力すると、生成される予測結果が目標結果と一致するか否かを確認できるだけでなく、入力されたパラメータが実際の制約条件を満たすか否かについても判断できる。入力された決定変数がバリア関数及び／又はペナルティ関数の条件を満たさない場合には、予測結果が大幅に解離することから、条件を満たさないために決定変数を使用できないことを意味する。

【0060】

上述した実際の制約条件については、例えば、細胞プロセスにおいて、１０日目に細胞培養液に添加されるストレプトマイシン（Ｓｔｒｅｐｔｏｍｙｃｉｎ）とアンホテリシンＢ（Ａｍｐｈｏｔｅｒｉｃｉｎ Ｂ）を合わせた抗生物質濃度が２００μｇ／ｍＬ以下でなければならず、８日目と１０日目の細胞培養液中の血清濃度値の合計が２０％以下でなければならない、とする。

【0061】

実用において、ペナルティ関数及びバリア関数は、機械学習に一般的に使用されて、自然環境条件における実際の状況に適合するよう、機械学習モデルのパラメータを合理的な範囲に制限するために用いられる。例えば、細胞培養プロセスは、細胞培養温度や相対湿度が負の値とならず、培地の成分濃度が細胞を傷付けないよう制約する条件を有し得る。バリア関数及びペナルティ関数を設定してパラメータの範囲を制限することで、パラメータ間の関連性を総合的に考慮して、所期の目標結果に最も近付くプロセスパラメータの組み合わせを見つけることが可能となる。加えて、実際の応用において、バリア関数は確認待ち決定変数の制約に応用してもよいし、ペナルティ関数は確認済み決定変数の制約に応用してもよい。これらは、ユーザのニーズに応じて互換的に使用可能である。

【0062】

上記の各具体的実施例における決定変数の計算方法は、細胞培養プロセスの分野に応用可能である。また、細胞培養プロセスの分野に応用する場合、訓練済み予測モデルの訓練に用いられるデータセットは、更に、細胞データセットを含んでもよい。細胞データセットは複数の細胞サンプルを含む。且つ、各細胞サンプルのサンプルパラメータは入手源パラメータ及び培養パラメータを含む。実用において、前記細胞データセットは、オープンプラットフォームで得られるいずれかのデータであってもよいし、ユーザ自身で収集したデータであってもよい。そのほか、細胞サンプルの種類は、免疫細胞（例えば、樹状細胞（ＤＣ ｃｅｌｌｓ）、サイトカイン誘導キラー細胞（ＣＩＫ）、腫瘍浸潤リンパ球（ＴＩＬ）、ナチュラルキラー細胞（ＮＫ ｃｅｌｌｓ）及びＣＡＲ－Ｔ細胞）、幹細胞（例えば、末梢血幹細胞、脂肪幹細胞、骨髄間葉系幹細胞）、軟骨細胞、線維芽細胞等としてもよいが、実際の応用ではこれに限らず、ユーザが実行したい細胞培養の種類に応じて決定すればよい。加えて、本具体的実施例において、各細胞サンプルの入手源パラメータは、更に、各細胞サンプルの入手源の属性データを含んでもよい。細胞データセット内の各細胞サンプルは、細胞に対応する細胞入手源及び入手源が有する属性データを含んでもよい。属性データは、入手源の生理学的データ、又は、例えば、入手源の性別、年齢、病歴、生活環境、居住地域等の入手源に関連するその他のデータであってもよい。ただし、実際の応用においてはこれらに限らず、細胞サンプルの入手源パラメータは、更に、細胞プロセスに影響を及ぼす可能性があり、且つ細胞入手源に関連するその他のパラメータを含んでもよい。

【0063】

また、前記各細胞サンプルの培養パラメータは、更に、各細胞サンプルにおけるヒト、機器、材料、方法、環境のパラメータを含む。細胞培養過程は多くのステップを含み、各ステップはいずれも多くの培養パラメータに関連する。当該培養パラメータには、例えば、細胞入手源の性別及び年齢、細胞培養操作者の経験及び安定性といったヒト関連のパラメータや、例えば、細胞操作プラットフォーム（ｃｅｌｌ ｏｐｅｒａｔｉｏｎ ｐｌａｔｆｏｒｍ）の種類及びグレード、細胞培養装置の温度制御及び湿度制御の安定性や精度といった機器関連のパラメータや、例えば、細胞培養シャーレの材質、細胞培養培地の成分及び比率・配合といった材料関連のパラメータや、例えば、細胞培養操作者の手法、細胞培養プロセスの方法といった方法関連のパラメータや、例えば、細胞培養の環境温度、湿度、二酸化炭素濃度といった環境関連のパラメータ、が含まれる。

【0064】

上記では、細胞培養プロセスの分野に応用する場合を例示したが、本発明における決定変数の計算方法は、細胞プロセスの分野への応用に限らず、機械学習で得られる予測モデルにより結果を予測可能なその他何らかの分野に応用して、目標結果を得るために入力すべき決定変数の逆推定に用いてもよい。

【0065】

上述した具体的実施例における決定変数の計算方法で、数値解析法により勾配を計算するステップは、詳述すると、更に、以下のステップを含んでもよい。即ち、サンプルにおけるサンプルパラメータの変化量を設定し、変化量を当該サンプルパラメータのベクトル次元に加えて、変化量を加えたあとのサンプルパラメータを訓練済み予測モデルの目的関数に入力することで関数の変化値を取得する。そして、全てのサンプルパラメータについて上記のステップを行ったあと、全ての関数の変化値と、全てのベクトル次元における変化量を加えたサンプルパラメータを連結することで、第１サンプルのサンプルパラメータの勾配を算出する。なお、実用において、勾配の計算はこれに限らず、ユーザのニーズ、機械学習モデルの種類又は異なる使用状況に応じて、その他の方法を選択し、勾配を計算してもよい。

【0066】

上記で提示した具体的実施例以外に、本発明における決定変数の計算方法は、別の態様も有し得る。ここで、図４を参照する。図４は、本発明の別の具体的実施例に基づく決定変数の計算方法のステップのフローチャートを示す。図４に示すように、本具体的実施例における決定変数の計算方法は、以下を含む。

【0067】

ステップＳ４０：ニューラルネットワーク法によってデータセットを機械学習することで得られる訓練済み予測モデルを提供する。訓練済み予測モデルは入力層及び出力層を含む。入力層の入力端子の数は、確認待ち決定変数及び確認済み決定変数の数の合計と等しい。データセットは複数のサンプルを含む。また、各サンプルは複数のサンプルパラメータを含む。

【0068】

ステップＳ４１：確認済み決定変数と、全てのサンプルパラメータのうちの確認済み決定変数に対応する対応サンプルパラメータをそれぞれ比較することで、対応サンプルパラメータが前記確認済み決定変数と近似又は一致している第１サンプルを選択する。そして、確認済み決定変数と、第１サンプルにおける対応サンプルパラメータに属さないその他のサンプルパラメータを合わせて訓練済み予測モデルに入力し、訓練済み予測モデルから出力される予測結果が目標結果と一致する場合には、前記その他のサンプルパラメータを初期重み値とする。

【0069】

ステップＳ４２：訓練済み予測モデルの入力層に接続されるダミー層を増設する。ダミー層は、入力層の各入力端子にそれぞれ接続される複数の人工ニューロンを含む。訓練済み予測モデルとダミー層によってパラメータ予測モデルが形成され、訓練済み予測モデルの予測結果がパラメータ予測モデルの出力となる。

【0070】

ステップＳ４３：各人工ニューロンの活性化関数のバイアス値を０に設定する。活性化関数の入力値が１の場合、活性化関数の出力値は１となる。

【0071】

ステップＳ４４：確認済み決定変数に基づき、確認済み決定変数に対応する人工ニューロンのうちの第１人工ニューロンと入力端子との間の複数の第１重み値をそれぞれ設定する。

【0072】

ステップＳ４５：目標結果に対応するパラメータ予測モデルの出力を設定し、少なくとも１つのオールワンベクトルを含む訓練データセットをパラメータ予測モデルのダミー層の各人工ニューロンに入力することで、パラメータ予測モデルを訓練する。そして、訓練済み予測モデルを生成したニューラルネットワーク法におけるオプティマイザによって、目標結果に基づき、初期重み値を起点として、第１人工ニューロン以外のその他の人工ニューロンと入力層との間の第２基準重み値を調整するとともに、第２基準重み値を確認待ち決定変数とする。

【0073】

本具体的実施例において、確認済み決定変数は固定された決定変数である。よって、第１重み値は固定値であり、オプティマイザによる変動及び調整は許可されず、第１人工ニューロン以外の人工ニューロンと入力層との間の第２重み値のみがオプティマイザにより調整可能である。

【0074】

本具体的実施例における訓練済み予測モデルは、人工ニューラルネットワーク（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＡＮＮ）、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＣＮＮｓ）、回帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＲＮＮｓ）、再帰型ニューラルネットワーク（Ｒｅｃｕｒｓｉｖｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＲｅｃＮＮ）及び複素ニューラルネットワーク（Ｃｏｍｐｌｅｘ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）、或いは、その他何らかの機械学習アルゴリズム又はニューラルネットワークアルゴリズムによってデータセットを機械学習することで得られる。機械学習又はニューラルネットワークアルゴリズムの選択は、ユーザのニーズに応じて行われる。

【0075】

詳述すると、本具体的実施例における決定変数の計算方法は、ステップＳ４２によって、訓練済み予測モデルの入力層に接続されるダミー層を増設することで、パラメータ予測モデルを形成する。ダミー層は、訓練済み予測モデルにおける入力層の入力端子と同数の人工ニューロンを含む。且つ、各ダミーの人工ニューロンと、それに対応する入力端子との間に新たなリンクが構築される。続いて、ステップＳ４３によって、ダミー層における人工ニューロンの活性化関数（Ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）のバイアス値を０に設定する。これにより、活性化関数の入力値が１の場合（つまり、人工ニューロンへの入力が１の場合）、活性化関数の出力値は１となる（つまり、人工ニューロンへの出力は１となる）。本具体的実施例では、活性化関数によって、第２重み値にそれ自体の数値を保持させることが可能である。続いて、ステップＳ４５によって、新たに形成されたパラメータ予測モデルのダミー層（このとき、ダミー層はパラメータ予測モデルの新たな入力層を形成している）に対し、複数のオールワンベクトルを含む訓練データセットを入力して訓練を行う。ここで、各オールワンベクトルは、各人工ニューロンに対し１を入力するデータを表す。前記目標結果は、パラメータ予測モデルから出力されるグラウンドトゥルース（Ｇｒｏｕｎｄ Ｔｒｕｔｈ）となり得る。訓練の過程で、オプティマイザは、人工ニューロンと訓練済み予測モデルの入力端子との間のアーク重みを調整可能である。説明すべき点として、ステップＳ４５の訓練過程において、訓練済み予測モデルにおけるパラメータ及び第１重み値はいずれも固定又は凍結されている。よって、オプティマイザはこれらを調整することはできず、第２重み値のみを調整することで、パラメータ予測モデルの出力値（予測結果）とグラウンドトゥルース（目標結果）との間の差分値を最小化する。

【0076】

訓練の終了及び収束時には、オプティマイザにより調整して取得した第２重み値が、固定された第１重み値に組み合わされて、最適な決定変数（確認済み及び確認待ち決定変数を含む）となる。また、パラメータ予測モデルは多対１の特性を有している。即ち、複数の異なる入力パラメータが同一の出力結果に対応し得る。よって、各訓練データ（オールワンベクトル）は、最適な入力決定変数として１群の第２重み値を取得する可能性がある。詳述すると、ユーザが使用する訓練済み予測モデルが優秀な予測効果を有している場合、予測効果のみから、入力する決定変数を訓練済み予測モデルに基づいて逆推定することは不可能である。しかし、本具体的実施例におけるパラメータ予測モデルによれば、ダミー層の追加、ダミー層における人工ニューロンのバイアス値の固定、訓練時に入力される数値の固定、訓練済み予測モデルのパラメータの凍結、第１重み値の凍結、出力値と目標結果との差の最小化等の方法により、第２重み値を未確認入力パラメータ又は決定変数として逆推定することが可能である。

【0077】

実際の応用において、決定変数の計算方法のオプティマイザは、適応的モーメント推定（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ，Ａｄａｍ）最適化、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ，ＳＧＤ）、モメンタム（Ｍｏｍｅｎｔｕｍ）、Ｎｅｓｔｅｒｏｖ加速勾配法（Ｎｅｓｔｅｒｏｖ Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｄｉｅｎｔ，ＮＡＧ）、適応型勾配アルゴリズム（Ａｄａｐｔｉｖｅ Ｇｒａｄｉｅｎｔ Ａｌｇｏｒｉｔｈｍ，ＡｄａＧｒａｄ）、Ｎａｄａｍ（Ｎｅｓｔｅｒｏｖ－ａｃｃｅｌｅｒａｔｅｄ Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ）、ＲＭＳｐｒｏｐ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｐｒｏｐａｇａｔｉｏｎ）、Ａｄａｄｅｌｔａ（Ａｄａｐｔｉｖｅ Ｄｅｌｔａ）、ＡｄａｍＷ（Ａｄａｍ ｗｉｔｈ Ｗｅｉｇｈｔ Ｄｅｃａｙ）、ＡＭＳＧｒａｄ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ Ｌｏｎｇ－ｔｅｒｍ Ｍｅｍｏｒｙ）、ＡｄａＢｅｌｉｅｆ（Ａｄａｐｔｉｖｅ Ｂｅｌｉｅｆ）、ＬＡＲＳ（Ｌａｙｅｒ－ｗｉｓｅ Ａｄａｐｔｉｖｅ Ｒａｔｅ Ｓｃａｌｉｎｇ）、自己適応Ｈｅｓｓｉａｎ（ＡｄａＨｅｓｓｉａｎ）、ＲＡｄａｍ（Ｒｅｃｔｉｆｉｅｄ Ａｄａｍ）、先読み（Ｌｏｏｋａｈｅａｄ）、ＭａｄＧｒａｄ（Ｍｏｍｅｎｔｕｍｉｚｅｄ，Ａｄａｐｔｉｖｅ，ａｎｄ Ｄｅｃｅｎｔｒａｌｉｚｅｄ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）、Ｙｏｇｉオプティマイザ（Ｙｏｇｉ）及びＡｄａｍＭａｘ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ Ｍａｘｉｍｕｍ）のうちのいずれかから選択可能である。

【0078】

上記の適応的モーメント推定（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ，Ａｄａｍ）オプティマイザ（以下では、Ａｄａｍオプティマイザと記載する）は、人工ニューロンの第２重み値を調整するために用いられる。Ａｄａｍオプティマイザは、一般的に、畳み込みニューラルネットワーク（ＣＮＮ）、回帰型ニューラルネットワーク（ＲＮＮ）、トランスフォーマ（Ｔｒａｎｓｆｏｒｍｅｒ）等を含む各種ディープラーニングモデルを訓練するために用いられる。Ａｄａｍオプティマイザは、例えば、画像分類、自然言語処理、言語翻訳等の異なるタスクに適用される。Ａｄａｍオプティマイザは、各パラメータの勾配の変化に基づき学習率を調整することで、異なる方向において異なる学習率を有することを可能とする。このことは、機械学習の訓練の収束速度をより良好に制御するのに貢献する。実際の応用において、オプティマイザの選択はこれに限らず、ユーザのニーズ及び訓練モデルの種類に基づき、パラメータ及び重み値を調整可能なその他のオプティマイザを使用可能である。

【0079】

本具体的実施例において、オプティマイザは、第２重み値を調整する際に、初期点から調整を開始可能である。実用において、初期点の選択が良好であれば、確認待ち決定変数となり得る第２重み値の調整に要する計算資源及び時間が減少する。よって、本具体的実施例のステップＳ４０～ステップＳ４１では、訓練済み予測モデルの訓練に用いたサンプルを基準とする。つまり、確認済み決定変数と、各サンプルにおける確認済み決定変数に対応する対応サンプルパラメータが近似又は一致しているか否かを比較するとともに、前記サンプルについて、訓練済み予測モデルの出力が目標結果と一致するか否かを確認する。そして、双方ともに一致するサンプルがデータセット内に存在する場合、当該サンプルは、予測結果がユーザにより設定された目標と一致するだけでなく、確認済み決定変数（例えば、プロセス内で実行済みのプロセスパラメータ）に対応する部分のサンプルパラメータも近似又は一致しており、実際の状況に適合していることを表す。よって、このサンプルを確認待ち決定変数を計算する際の初期点として使用できる。例えば、２１日間の細胞培養プロセスのうち、すでに最初の７日間の細胞培養を実施済みの場合には、７日間の確認済み決定変数をすでに有している。そのため、初期点となるサンプルは、訓練済み予測モデルから出力される予測結果がユーザの目標（例えば、９５％の生存細胞を培養する）を満たさねばならないだけでなく、当該サンプルの最初の７日間のサンプルパラメータが実行済みのプロセスパラメータと同じ又は近似している必要もある。そうしなければ、オプティマイザが前記初期点に基づき調整して取得する後続のプロセスパラメータが実際の状況から解離してしまう。

【0080】

注意すべき点として、本具体的実施例におけるステップＳ４１で実際に実行するステップは、上述した第１ベクトルと第２ベクトルが近似又は一致しているか否かを比較する方式と同じである。例えば、第１ベクトルと第２ベクトルとの間に最も小さな夾角を有するサンプルを取得するか、距離関数により、第１ベクトルの先端点の座標と第２ベクトルの先端点の座標との間に最も小さな距離を有するサンプルを計算して取得する。なお、詳細なステップについては上記の具体的実施例で詳細に記載しているため、ここでは改めて詳述しない。

【0081】

総括すると、本発明は、決定変数の計算方法を提供する。当該方法では、比較することで、訓練済み予測モデルにおける細胞参照サンプルを選択するとともに、細胞参照サンプルのサンプルパラメータについて、勾配の反対方向に沿って刻み幅を増加させることで、不確認決定変数を逆推定する。また、バリア関数及びペナルティ関数を設定してパラメータの範囲を制限することで、パラメータ間の関連性を総合的に考慮して、所期の目標結果に最も近似するプロセスパラメータの組み合わせを見つける。そのほか、データセット内のサンプルパラメータ、人工ニューロン層における人工ニューロンへの入力数値及びバイアス値を設定及び固定するとともに、オプティマイザによって、目標結果及び第１重み値に基づき第２重み値をそれぞれ調整することで、不確認決定変数を逆推定する。これにより、プロセスの方法を有効に最適化するとともに、プロセスの目標結果を達成する。加えて、本発明における決定変数の計算方法は、細胞プロセス分野への応用に限らず、訓練済みのその他何らかの機械学習モデルに応用して、プロセスパラメータ及び不確認決定変数の逆推定に用いてもよい。

【0082】

以上の好ましい具体的実施例の詳細な記載は、本発明の特徴及び精神をより明瞭に記載可能とすることを意図しており、上記で開示した好ましい具体的実施例によって本発明の範囲を制限するものではない。むしろ、各種の変更及び均等性を有する構成が本発明で請求しようとする特許請求の範囲内に網羅されることを意図している。よって、本発明で請求しようとする特許請求の範囲は、全ての可能な変更及び均等性を有する構成を網羅すべく、上記の説明に基づき最も広く解釈すべきである。

【符号の説明】

【0083】

Ｓ１～Ｓ６，Ｓ３０～Ｓ３６，Ｓ３００～Ｓ３０６，Ｓ５０～Ｓ６０，Ｓ４０～Ｓ５０ ステップ

【図1】

【図2】

【図3】

【図4】

【外国語明細書】