特開 2025-11053 決定変数の計算方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025011053

(43)【公開日】2025-01-23

(54)【発明の名称】決定変数の計算方法

(51)【国際特許分類】

   G06N 3/0985 20230101AFI20250116BHJP

   G06N 3/0464 20230101ALI20250116BHJP

   G06N 3/044 20230101ALI20250116BHJP

   G06N 3/048 20230101ALI20250116BHJP

   G06N 3/04 20230101ALI20250116BHJP

【ＦＩ】

G06N3/0985

G06N3/0464

G06N3/044

G06N3/048

G06N3/04

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024109318

(22)【出願日】2024-07-08

(31)【優先権主張番号】63/525,786

(32)【優先日】2023-07-10

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】524257993

【氏名又は名称】三顧股▲ふん▼有限公司

(74)【代理人】

【識別番号】100091683

【弁理士】

【氏名又は名称】▲吉▼川 俊雄

(74)【代理人】

【識別番号】100179316

【弁理士】

【氏名又は名称】市川 寛奈

(72)【発明者】

【氏名】楊▲いん▼臻

(72)【発明者】

【氏名】孫子龍

(72)【発明者】

【氏名】林永松

(72)【発明者】

【氏名】陳宗基

(57)【要約】      （修正有）

【課題】一般的な機械学習のプラットフォームを利用して、所期の結果を達成する最適な入力パラメータを有効に探索可能な決定変数の計算方法を提供する。
【解決手段】方法は、訓練済みのニューラルネットワーク予測モデルの入力端子に、訓練済み予測モデルの入力端子と同数の人工ニューロンを含むダミー層を増設し、ダミーの各ニューロンと、それに対応する元のモデルの入力端子のニューロンとの間に新たなリンクを構築し、各人工ニューロンの入力値を１に設定する。活性化関数のバイアス値が０であり、活性化関数の入力が１の場合、出力は１となる。そして、新たなリンクの重みの初期値を選別及び設定し、範囲又はその他の相互間の制約条件を有する重み値を決定変数と見なし、訓練済み予測モデルのパラメータを凍結し、新たなリンクの重み値のみを調整するとともに、一般的な機械学習のプラットフォームに内蔵されるオプティマイザによって最適解を求める。
【選択図】図２

【特許請求の範囲】

【請求項1】

訓練済み予測モデルを提供し、前記訓練済み予測モデルは機械学習方法によって機械学習することで得られ、前記訓練済み予測モデルは入力層及び出力層を含み、前記訓練済み予測モデルは、前記入力層を通じて複数の入力パラメータを入力し、前記出力層により前記入力パラメータに対応する予測結果を生成するために用いられるステップと、
前記訓練済み予測モデルの前記予測結果に対応する目標結果を設定するとともに、前記入力パラメータのうちの少なくとも１つの確認済み入力パラメータを提供するステップと、
前記訓練済み予測モデルの前記入力層に接続されるダミー層を増設し、前記ダミー層は、前記入力層の各入力端子にそれぞれ接続される複数の人工ニューロンを含み、前記訓練済み予測モデルと前記ダミー層によってパラメータ予測モデルが形成され、前記訓練済み予測モデルの前記予測結果が前記パラメータ予測モデルの出力となるステップと、
各前記人工ニューロンの活性化関数のバイアス値を０に設定し、前記活性化関数の入力値が１の場合、前記活性化関数の出力値は１となるステップと、
前記少なくとも１つの確認済み入力パラメータに基づき、前記少なくとも１つの確認済み入力パラメータに対応する前記人工ニューロンのうちの少なくとも１つの第１人工ニューロンの少なくとも１つの第１重み値をそれぞれ設定するステップと、
前記目標結果に対応する前記パラメータ予測モデルの出力を設定し、少なくとも１つのオールワンベクトルを含む訓練データセットを前記パラメータ予測モデルの前記ダミー層の前記人工ニューロンに入力することで前記パラメータ予測モデルを訓練し、前記訓練済み予測モデルを生成した前記機械学習方法におけるオプティマイザによって、前記目標結果及び前記少なくとも１つの第１重み値に基づき、前記少なくとも１つの第１人工ニューロン以外の前記人工ニューロンの第２重み値をそれぞれ調整するとともに、前記第２重み値を前記入力パラメータのうちの複数の未確認入力パラメータとするステップ、を含む決定変数の計算方法。

【請求項2】

前記オプティマイザは、更に、適応的モーメント推定（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ，Ａｄａｍ）最適化、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ，ＳＧＤ）、モメンタム（Ｍｏｍｅｎｔｕｍ）、Ｎｅｓｔｅｒｏｖ加速勾配法（Ｎｅｓｔｅｒｏｖ Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｄｉｅｎｔ，ＮＡＧ）、適応型勾配アルゴリズム（Ａｄａｐｔｉｖｅ Ｇｒａｄｉｅｎｔ Ａｌｇｏｒｉｔｈｍ，ＡｄａＧｒａｄ）、Ｎａｄａｍ（Ｎｅｓｔｅｒｏｖ－ａｃｃｅｌｅｒａｔｅｄ Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ）、ＲＭＳｐｒｏｐ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｐｒｏｐａｇａｔｉｏｎ）、Ａｄａｄｅｌｔａ（Ａｄａｐｔｉｖｅ Ｄｅｌｔａ）、ＡｄａｍＷ（Ａｄａｍ ｗｉｔｈ Ｗｅｉｇｈｔ Ｄｅｃａｙ）、ＡＭＳＧｒａｄ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ Ｌｏｎｇ－ｔｅｒｍ Ｍｅｍｏｒｙ）、ＡｄａＢｅｌｉｅｆ（Ａｄａｐｔｉｖｅ Ｂｅｌｉｅｆ）、ＬＡＲＳ（Ｌａｙｅｒ－ｗｉｓｅ Ａｄａｐｔｉｖｅ Ｒａｔｅ Ｓｃａｌｉｎｇ）、自己適応Ｈｅｓｓｉａｎ（ＡｄａＨｅｓｓｉａｎ）、ＲＡｄａｍ（Ｒｅｃｔｉｆｉｅｄ Ａｄａｍ）、先読み（Ｌｏｏｋａｈｅａｄ）、ＭａｄＧｒａｄ（Ｍｏｍｅｎｔｕｍｉｚｅｄ，Ａｄａｐｔｉｖｅ，ａｎｄ Ｄｅｃｅｎｔｒａｌｉｚｅｄ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）、Ｙｏｇｉオプティマイザ（Ｙｏｇｉ）及びＡｄａｍＭａｘ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ Ｍａｘｉｍｕｍ）のうちのいずれかから選択される請求項１に記載の決定変数の計算方法。

【請求項3】

前記訓練済み予測モデルは、前記機械学習方法によってデータセットを機械学習することで得られる請求項１に記載の決定変数の計算方法。

【請求項4】

前記訓練済み予測モデルは複数のモデルパラメータを含み、これらのモデルパラメータはいずれも固定されている請求項１に記載の決定変数の計算方法。

【請求項5】

前記訓練済み予測モデルは、人工ニューラルネットワーク（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＡＮＮ）、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＣＮＮｓ）、回帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＲＮＮｓ）、再帰型ニューラルネットワーク（Ｒｅｃｕｒｓｉｖｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＲｅｃＮＮ）及び複素ニューラルネットワーク（Ｃｏｍｐｌｅｘ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）のいずれかによって前記データセットを機械学習することで得られる請求項１に記載の決定変数の計算方法。

【請求項6】

複数の決定変数を計算するために用いられ、
訓練済み予測モデルを提供し、前記訓練済み予測モデルは機械学習方法によって機械学習することで得られ、前記訓練済み予測モデルは入力層及び出力層を含み、前記訓練済み予測モデルは、前記入力層を通じて複数の入力パラメータを入力し、前記出力層により前記入力パラメータに対応する予測結果を生成するために用いられるステップと、
前記訓練済み予測モデルの前記予測結果に対応する目標結果を設定するステップと、
前記訓練済み予測モデルの前記入力層に接続されるダミー層を増設し、前記ダミー層は、前記入力層の各入力端子にそれぞれ接続される複数の人工ニューロンを含み、前記訓練済み予測モデルと前記ダミー層によってパラメータ予測モデルが形成され、前記訓練済み予測モデルの前記予測結果が前記パラメータ予測モデルの出力となるステップと、
各前記人工ニューロンの活性化関数のバイアス値を０に設定し、前記活性化関数の入力値が１の場合、前記活性化関数の出力値は１となるステップと、
前記目標結果に対応する前記パラメータ予測モデルの出力を設定し、少なくとも１つのオールワンベクトルを含む訓練データセットを前記パラメータ予測モデルの前記ダミー層の前記人工ニューロンに入力することで前記パラメータ予測モデルを訓練し、前記訓練済み予測モデルを生成した前記機械学習方法におけるオプティマイザによって、前記目標結果に基づき各前記人工ニューロンの基準重み値を調整するとともに、当該基準重み値を前記決定変数とするステップ、を含む決定変数の計算方法。

【請求項7】

前記オプティマイザは、更に、適応的モーメント推定（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ，Ａｄａｍ）最適化、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ，ＳＧＤ）、モメンタム（Ｍｏｍｅｎｔｕｍ）、Ｎｅｓｔｅｒｏｖ加速勾配法（Ｎｅｓｔｅｒｏｖ Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｄｉｅｎｔ，ＮＡＧ）、適応型勾配アルゴリズム（Ａｄａｐｔｉｖｅ Ｇｒａｄｉｅｎｔ Ａｌｇｏｒｉｔｈｍ，ＡｄａＧｒａｄ）、Ｎａｄａｍ（Ｎｅｓｔｅｒｏｖ－ａｃｃｅｌｅｒａｔｅｄ Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ）、ＲＭＳｐｒｏｐ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｐｒｏｐａｇａｔｉｏｎ）、Ａｄａｄｅｌｔａ（Ａｄａｐｔｉｖｅ Ｄｅｌｔａ）、ＡｄａｍＷ（Ａｄａｍ ｗｉｔｈ Ｗｅｉｇｈｔ Ｄｅｃａｙ）、ＡＭＳＧｒａｄ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ Ｌｏｎｇ－ｔｅｒｍ Ｍｅｍｏｒｙ）、ＡｄａＢｅｌｉｅｆ（Ａｄａｐｔｉｖｅ Ｂｅｌｉｅｆ）、ＬＡＲＳ（Ｌａｙｅｒ－ｗｉｓｅ Ａｄａｐｔｉｖｅ Ｒａｔｅ Ｓｃａｌｉｎｇ）、自己適応Ｈｅｓｓｉａｎ（ＡｄａＨｅｓｓｉａｎ）、ＲＡｄａｍ（Ｒｅｃｔｉｆｉｅｄ Ａｄａｍ）、先読み（Ｌｏｏｋａｈｅａｄ）、ＭａｄＧｒａｄ（Ｍｏｍｅｎｔｕｍｉｚｅｄ，Ａｄａｐｔｉｖｅ，ａｎｄ Ｄｅｃｅｎｔｒａｌｉｚｅｄ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）、Ｙｏｇｉオプティマイザ（Ｙｏｇｉ）及びＡｄａｍＭａｘ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ Ｍａｘｉｍｕｍ）のうちのいずれかから選択される請求項６に記載の決定変数の計算方法。

【請求項8】

前記訓練済み予測モデルは、前記機械学習方法によってデータセットを機械学習することで得られる請求項６に記載の決定変数の計算方法。

【請求項9】

前記訓練済み予測モデルは複数のモデルパラメータを含み、これらのモデルパラメータはいずれも固定されている請求項６に記載の決定変数の計算方法。

【請求項10】

前記訓練済み予測モデルは、人工ニューラルネットワーク（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＡＮＮ）、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＣＮＮｓ）、回帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＲＮＮｓ）、再帰型ニューラルネットワーク（Ｒｅｃｕｒｓｉｖｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＲｅｃＮＮ）及び複素ニューラルネットワーク（Ｃｏｍｐｌｅｘ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）のいずれかによって前記データセットを機械学習することで得られる請求項６に記載の決定変数の計算方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、決定変数の計算方法に関し、特に、人工知能ニューラルネットワークエンジンのトレーニングプラットフォームに内蔵されたオプティマイザを利用して、決定変数及びプロセスパラメータを逆推定する決定変数の計算方法に関する。

【背景技術】

【0002】

医用工学技術の進歩に伴って、ヘルスケア分野に多大な影響が生じているだけでなく、臨床への再生医療の応用も増加している。再生医療とは、主として、損傷した組織や器官を細胞の再生能力を利用して修復する医療技術であり、応用範囲が非常に広い。また、組織工学や分子生物学等の医療技術を組み合わせることで、例えば、糖尿病、神経疾患、心血管疾患及び癌等のかつては治療困難とされていた疾病の改善及び治療が可能になることが期待されている。現在、再生医療は、主として、組織工学及び再生治療、器官の移植及び再生、組織の再生及び修復、癌の治療、神経再生、免疫細胞治療及び幹細胞療法に応用されている。中でも、再生医療における細胞治療の研究及び応用は各界からますます注目を浴びている。細胞治療とは、人体の細胞を体外で培養又は加工する手順を経たあと、それらの細胞を個々の体内に移植して使用するものである。

【0003】

細胞治療は、個別化治療、拒絶反応の回避、臓器移植の代替及び組織機能の回復といった優位性を有している。現在、多くの国の政府が各国内における細胞治療の応用を徐々に解禁していることから、国内外の多くの学者が相次いで細胞治療の研究に参入している。その結果、例えば、自家線維芽細胞による皮膚欠損の治療、自家軟骨細胞による膝関節軟骨欠損の治療、自家骨髄間葉系幹細胞による脊髄損傷の治療など、多くの疾病の治療において、細胞治療は著しい研究の進歩を遂げている。従来の研究によれば、各人体が有する細胞はいずれも独自の特徴を有しているため、疾病や症状の違いに応じて、事案ごとに適用される細胞製剤の種類も異なる。よって、個々の状況に応じて治療に適した細胞をカスタマイズする必要があることから、プロセス内での細胞の複雑度及び困難度が増してしまう。また、細胞治療の製品の品質は、治療の安全性及び有効性に直接的な影響を及ぼす。そのため、細胞培養プロセスでは、細胞の成長状態を厳格にコントロールするとともに、細胞成長の培養パラメータ及び環境パラメータを即時にモニタリングして、培養過程における細胞の汚染又は品質の悪化を回避する必要がある。しかしながら、異なる事案間で細胞の多様性（ｖａｒｉａｂｉｌｉｔｙ）は極めて高くなるため、異なる事案に適用される細胞製剤の最適な培養パラメータ及び環境パラメータは完全には同じとならない。また、細胞製剤ごとに、プロセス内で各決定変数（即ち、プロセスパラメータ）を調整して所期の結果を達成する必要があるため、固定の決定変数で各細胞製剤の生産を行うことはできない。

【0004】

従来技術では、機械学習によって大量のサンプルのデータセットについて訓練を行い、予測モデルを取得する。そして、機械学習のオプティマイザで予測モデルのパラメータを調整することで、目的関数を最小化又は最大化する。これにより、予測モデルの精度を向上させるとともに、予測モデルの収束過程を加速させて、機械学習及び収束に要する時間と計算コストを更に減少させる。加えて、この予測モデルは、各種決定変数を入力して細胞培養の予測結果を生成することが可能なため、ユーザは、設計する細胞培養プロセスの効果を事前にシミュレーションできる。

【0005】

しかしながら、機械学習で訓練される上記の予測モデルでは、ユーザの所期の結果から細胞培養プロセスの決定変数を逆推定することはできない。換言すると、プロセスを設計する際に、ユーザは、異なる決定変数を大量に試す必要があるため、培養プロセスの設計及び改良に大量の労力と資源が費やされる。そのほか、細胞培養のプロセスでパラメータの予測が必要なだけでなく、ニューラルネットワークの訓練に関するその他の機械学習モデルでも、決定変数及びプロセスパラメータの逆推定は必要とされる。

【0006】

そこで、予測結果に合致するプロセスの決定変数を逆推定可能とすることで、プロセスを更に最適化する方法を開発する必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0007】

上記に鑑みて、本発明は、以上で述べた従来の課題を解決するために、決定変数の計算方法を提供する。

【課題を解決するための手段】

【0008】

本発明は、決定変数の計算方法を提供する。当該方法は、訓練済み予測モデルを提供し、前記訓練済み予測モデルは機械学習方法によって機械学習することで得られ、前記訓練済み予測モデルは入力層及び出力層を含み、前記訓練済み予測モデルは、前記入力層を通じて複数の入力パラメータを入力し、前記出力層により入力パラメータに対応する予測結果を生成するために用いられるステップと、前記訓練済み予測モデルの前記予測結果に対応する目標結果を設定するとともに、入力パラメータのうちの少なくとも１つの確認済み入力パラメータを提供するステップと、前記訓練済み予測モデルの前記入力層に接続されるダミー層を増設し、前記ダミー層は、前記入力層の各入力端子にそれぞれ接続される複数の人工ニューロンを含み、前記訓練済み予測モデルと前記ダミー層によってパラメータ予測モデルが形成され、前記訓練済み予測モデルの前記予測結果が前記パラメータ予測モデルの出力となるステップと、各人工ニューロンの活性化関数のバイアス値を０に設定し、活性化関数の入力値が１の場合、活性化関数の出力値は１となるステップと、前記少なくとも１つの確認済み入力パラメータに基づき、少なくとも１つの確認済み入力パラメータに対応する人工ニューロンのうちの少なくとも１つの第１人工ニューロンの少なくとも１つの第１重み値をそれぞれ設定するステップと、前記目標結果に対応する前記パラメータ予測モデルの出力を設定し、少なくとも１つのオールワンベクトルを含む訓練データセットを前記パラメータ予測モデルの前記ダミー層の人工ニューロンに入力することで前記パラメータ予測モデルを訓練し、前記訓練済み予測モデルを生成した前記機械学習方法におけるオプティマイザによって、前記目標結果及び前記少なくとも１つの第１重み値に基づき、前記少なくとも１つの第１人工ニューロン以外の人工ニューロンの第２重み値をそれぞれ調整するとともに、第２重み値を入力パラメータのうちの複数の未確認入力パラメータとするステップ、を含む。

【0009】

オプティマイザは、更に、適応的モーメント推定（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ，Ａｄａｍ）最適化、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ，ＳＧＤ）、モメンタム（Ｍｏｍｅｎｔｕｍ）、Ｎｅｓｔｅｒｏｖ加速勾配法（Ｎｅｓｔｅｒｏｖ Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｄｉｅｎｔ，ＮＡＧ）、適応型勾配アルゴリズム（Ａｄａｐｔｉｖｅ Ｇｒａｄｉｅｎｔ Ａｌｇｏｒｉｔｈｍ，ＡｄａＧｒａｄ）、Ｎａｄａｍ（Ｎｅｓｔｅｒｏｖ－ａｃｃｅｌｅｒａｔｅｄ Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ）、ＲＭＳｐｒｏｐ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｐｒｏｐａｇａｔｉｏｎ）、Ａｄａｄｅｌｔａ（Ａｄａｐｔｉｖｅ Ｄｅｌｔａ）、ＡｄａｍＷ（Ａｄａｍ ｗｉｔｈ Ｗｅｉｇｈｔ Ｄｅｃａｙ）、ＡＭＳＧｒａｄ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ Ｌｏｎｇ－ｔｅｒｍ Ｍｅｍｏｒｙ）、ＡｄａＢｅｌｉｅｆ（Ａｄａｐｔｉｖｅ Ｂｅｌｉｅｆ）、ＬＡＲＳ（Ｌａｙｅｒ－ｗｉｓｅ Ａｄａｐｔｉｖｅ Ｒａｔｅ Ｓｃａｌｉｎｇ）、自己適応Ｈｅｓｓｉａｎ（ＡｄａＨｅｓｓｉａｎ）、ＲＡｄａｍ（Ｒｅｃｔｉｆｉｅｄ Ａｄａｍ）、先読み（Ｌｏｏｋａｈｅａｄ）、ＭａｄＧｒａｄ（Ｍｏｍｅｎｔｕｍｉｚｅｄ，Ａｄａｐｔｉｖｅ，ａｎｄ Ｄｅｃｅｎｔｒａｌｉｚｅｄ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）、Ｙｏｇｉオプティマイザ（Ｙｏｇｉ）及びＡｄａｍＭａｘ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ Ｍａｘｉｍｕｍ）のうちのいずれかから選択される。

【0010】

訓練済み予測モデルは、前記機械学習方法によってデータセットを機械学習することで得られる。

【0011】

前記訓練済み予測モデルは複数のモデルパラメータを含み、これらのモデルパラメータはいずれも固定されている。

【0012】

訓練済み予測モデルは、人工ニューラルネットワーク（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＡＮＮ）、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＣＮＮｓ）、回帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＲＮＮｓ）、再帰型ニューラルネットワーク（Ｒｅｃｕｒｓｉｖｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＲｅｃＮＮ）及び複素ニューラルネットワーク（Ｃｏｍｐｌｅｘ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）のいずれかによって前記データセットを機械学習することで得られる。

【0013】

本発明は、他の局面において、複数の決定変数を計算するために用いられる決定変数の計算方法を提供する。当該方法は、訓練済み予測モデルを提供し、訓練済み予測モデルは機械学習方法によって機械学習することで得られ、訓練済み予測モデルは入力層及び出力層を含み、前記訓練済み予測モデルは、前記入力層を通じて複数の入力パラメータを入力し、前記出力層により前記入力パラメータに対応する予測結果を生成するために用いられるステップと、訓練済み予測モデルの予測結果に対応する目標結果を設定するステップと、訓練済み予測モデルの入力層に接続されるダミー層を増設し、ダミー層は、入力層の各入力端子にそれぞれ接続される複数の人工ニューロンを含み、訓練済み予測モデルとダミー層によってパラメータ予測モデルが形成され、訓練済み予測モデルの予測結果がパラメータ予測モデルの出力となるステップと、各人工ニューロンの活性化関数のバイアス値を０に設定し、活性化関数の入力値が１の場合、活性化関数の出力値は１となるステップと、目標結果に対応するパラメータ予測モデルの出力を設定し、少なくとも１つのオールワンベクトルを含む訓練データセットをパラメータ予測モデルのダミー層の人工ニューロンに入力することでパラメータ予測モデルを訓練し、訓練済み予測モデルを生成した機械学習方法におけるオプティマイザによって、目標結果に基づき各人工ニューロンの基準重み値を調整するとともに、基準重み値を決定変数とするステップ、を含む。

【0014】

オプティマイザは、更に、適応的モーメント推定（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ，Ａｄａｍ）最適化、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ，ＳＧＤ）、モメンタム（Ｍｏｍｅｎｔｕｍ）、Ｎｅｓｔｅｒｏｖ加速勾配法（Ｎｅｓｔｅｒｏｖ Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｄｉｅｎｔ，ＮＡＧ）、適応型勾配アルゴリズム（Ａｄａｐｔｉｖｅ Ｇｒａｄｉｅｎｔ Ａｌｇｏｒｉｔｈｍ，ＡｄａＧｒａｄ）、Ｎａｄａｍ（Ｎｅｓｔｅｒｏｖ－ａｃｃｅｌｅｒａｔｅｄ Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ）、ＲＭＳｐｒｏｐ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｐｒｏｐａｇａｔｉｏｎ）、Ａｄａｄｅｌｔａ（Ａｄａｐｔｉｖｅ Ｄｅｌｔａ）、ＡｄａｍＷ（Ａｄａｍ ｗｉｔｈ Ｗｅｉｇｈｔ Ｄｅｃａｙ）、ＡＭＳＧｒａｄ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ Ｌｏｎｇ－ｔｅｒｍ Ｍｅｍｏｒｙ）、ＡｄａＢｅｌｉｅｆ（Ａｄａｐｔｉｖｅ Ｂｅｌｉｅｆ）、ＬＡＲＳ（Ｌａｙｅｒ－ｗｉｓｅ Ａｄａｐｔｉｖｅ Ｒａｔｅ Ｓｃａｌｉｎｇ）、自己適応Ｈｅｓｓｉａｎ（ＡｄａＨｅｓｓｉａｎ）、ＲＡｄａｍ（Ｒｅｃｔｉｆｉｅｄ Ａｄａｍ）、先読み（Ｌｏｏｋａｈｅａｄ）、ＭａｄＧｒａｄ（Ｍｏｍｅｎｔｕｍｉｚｅｄ，Ａｄａｐｔｉｖｅ，ａｎｄ Ｄｅｃｅｎｔｒａｌｉｚｅｄ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）、Ｙｏｇｉオプティマイザ（Ｙｏｇｉ）及びＡｄａｍＭａｘ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ Ｍａｘｉｍｕｍ）のうちのいずれかから選択される。

【0015】

訓練済み予測モデルは、前記機械学習方法によってデータセットを機械学習することで得られる。

【0016】

前記訓練済み予測モデルは複数のモデルパラメータを含み、これらのモデルパラメータはいずれも固定されている。

【0017】

訓練済み予測モデルは、人工ニューラルネットワーク（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＡＮＮ）、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＣＮＮｓ）、回帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＲＮＮｓ）、再帰型ニューラルネットワーク（Ｒｅｃｕｒｓｉｖｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＲｅｃＮＮ）及び複素ニューラルネットワーク（Ｃｏｍｐｌｅｘ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）のいずれかによってデータセットを機械学習することで得られる。

【発明の効果】

【0018】

総括すると、本発明は、決定変数の計算方法を提供する。当該方法では、訓練済みのニューラルネットワーク予測モデルの入力端子にダミー層を増設する。ダミー層は、訓練済み予測モデルの入力端子と同数の人工ニューロンを含む。且つ、各人工ニューロンと、それに対応する訓練済み予測モデルの入力端子のニューロンとの間に新たなリンクが構築される。また、各人工ニューロンの入力値を１に設定する。活性化関数のバイアス値が０であり、活性化関数の入力が１の場合、出力は１となる。そして、新たなリンクの重みの初期値を選別及び設定し、重み値を決定変数と見なす。重み値は、範囲又はその他の相互間の制約条件を有し得る。また、訓練済み予測モデルのパラメータを凍結し、新たなリンクの重み値のみを調整するとともに、一般的な機械学習のプラットフォームに内蔵されるオプティマイザによって最適解を求める。訓練の目標は、このパラメータ予測モデルの出力が所期の目標結果となるように設定される。そして、訓練が終了したときに得られる新たなリンクの重み値が実行可能な入力決定変数となる。そのほか、本発明における決定変数の計算方法は、細胞プロセス分野への応用のほか、ニューラルネットワークにより訓練されたその他の機械学習モデルに応用して、決定変数及びプロセスパラメータの逆推定に用いてもよい。本発明は、一般的な機械学習のプラットフォーム及びそれに内蔵される方法を利用して、所期の結果を達成する最適な入力パラメータを有効に探索可能である。

【図面の簡単な説明】

【0019】

【図1A】図１Ａは、本発明の具体的実施例に基づく決定変数の計算方法の機能ブロック図を示す。

【図1B】図１Ｂは、本発明の具体的実施例に基づく決定変数の計算方法の機能ブロック図を示す。

【図2】図２は、本発明の具体的実施例に基づく決定変数の計算方法のステップのフローチャートを示す。

【図3】図３は、本発明の別の具体的実施例に基づく決定変数の計算方法のステップのフローチャートを示す。

【発明を実施するための形態】

【0020】

本発明の利点、精神及び特徴をより容易且つ明確に理解可能となるよう、続いて、具体的実施例を用いるとともに、図面を参照して、詳述及び検討する。注意すべき点として、これらの具体的実施例は本発明の代表的な具体的実施例にすぎず、例示する特定の方法、装置、条件、材質等は本発明又は対応する具体的実施例を限定するものではない。且つ、図中の各構成要素は、それらの相対的位置を表すためにのみ用いられ、実際の比率に基づき記載されてもいない。また、本発明のステップ番号は異なるステップを区別するためのものにすぎず、ステップの順序を表してはいない。以上について予め説明しておく。

【0021】

図１Ａ、図１Ｂ及び図２を参照する。図１Ａ及び図１Ｂは、本発明の具体的実施例に基づく決定変数の計算方法の機能ブロック図を示す。図２は、本発明の具体的実施例に基づく決定変数の計算方法のステップのフローチャートを示す。図２に示すように、本具体的実施例において、決定変数の計算方法は、以下を含む。

【0022】

ステップＳ１：訓練済み予測モデル１０を提供する。訓練済み予測モデル１０は、機械学習方法によって機械学習することで得られる。訓練済み予測モデル１０は入力層１１及び出力層１２を含む。訓練済み予測モデル１０は、入力層１１を通じて複数の入力パラメータを入力し、出力層１２により入力パラメータに対応する予測結果（即ち、出力結果）を生成するために用いられる。

【0023】

ステップＳ２：訓練済み予測モデル１０の予測結果に対応する目標結果を設定するとともに、入力パラメータのうちの少なくとも１つの確認済み入力パラメータを提供する。

【0024】

ステップＳ３：訓練済み予測モデル１０の入力層１１に接続されるダミー層２０を増設する。ダミー層２０は、入力層１１の各入力端子１１１にそれぞれ接続される複数の人工ニューロン２１を含む。訓練済み予測モデル１０とダミー層２０によってパラメータ予測モデルＡが形成され、訓練済み予測モデル１０の予測結果がパラメータ予測モデルＡの出力となる。

【0025】

ステップＳ４：各人工ニューロン２１の活性化関数のバイアス値を０に設定する。活性化関数の入力値が１の場合、活性化関数の出力値は１となる。

【0026】

ステップＳ５：少なくとも１つの確認済み入力パラメータに基づき、少なくとも１つの確認済み入力パラメータに対応する人工ニューロン２１のうちの少なくとも１つの第１人工ニューロン（図示しない）の少なくとも１つの第１重み値をそれぞれ設定する。

【0027】

ステップＳ６：目標結果に対応するパラメータ予測モデルＡの出力を設定し、少なくとも１つのオールワンベクトルを含む訓練データセットをパラメータ予測モデルＡのダミー層２０の人工ニューロン２１に入力することで、パラメータ予測モデルＡを訓練する。そして、訓練済み予測モデル１０を生成した機械学習方法におけるオプティマイザ（図示しない）によって、目標結果及び少なくとも１つの第１重み値に基づき、少なくとも１つの第１人工ニューロン２１以外の人工ニューロン２１の第２重み値をそれぞれ調整するとともに、第２重み値を入力パラメータのうちの複数の未確認入力パラメータとする。

【0028】

また、本具体的実施例の決定変数の計算方法において、訓練済み予測モデル１０は複数のモデルパラメータを含む。これらのモデルパラメータはいずれも固定されている。且つ、第１重み値は固定値であり、オプティマイザによる変動及び調整は許可されない。第１人工ニューロン以外の人工ニューロン２１における第２重み値のみがオプティマイザにより調整可能である。

【0029】

本具体的実施例におけるステップＳ１の訓練済み予測モデルは、オープンプラットフォームで得られる機械学習の訓練を完了したいずれかのモデルであってもよいし、ユーザ自身で機械学習の訓練を行ったモデルであってもよい。また、本具体的実施例におけるデータセットは、機械学習の訓練、テスト及び検証に使用可能な何らかのデータで形成される集合としてもよい。実際の応用において、本具体的実施例における決定変数の計算方法は、その他何らかの訓練済みの機械学習モデルに応用して、未確認入力パラメータの逆推定に用いることも可能である。そのほか、本具体的実施例における訓練済み予測モデルは、人工ニューラルネットワーク（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＡＮＮ）、畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＣＮＮｓ）、回帰型ニューラルネットワーク（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＲＮＮｓ）、再帰型ニューラルネットワーク（Ｒｅｃｕｒｓｉｖｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，ＲｅｃＮＮ）及び複素ニューラルネットワーク（Ｃｏｍｐｌｅｘ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）、或いは、その他何らかの機械学習アルゴリズム又はニューラルネットワークアルゴリズムによってデータセットを機械学習することで得られる。機械学習又はニューラルネットワークアルゴリズムの選択は、ユーザのニーズに応じて行われる。

【0030】

詳述すると、本具体的実施例における決定変数の計算方法は、ステップＳ３によって、訓練済み予測モデル１０に接続されるダミー層２０を増設することで、パラメータ予測モデルＡを形成する。ダミー層２０は、訓練済み予測モデル１０の入力端子１１１と同数の人工ニューロン２１を含む。且つ、ダミーの各人工ニューロン２１と、それに対応する訓練済み予測モデル１０の入力端子１１１のニューロンとの間に新たなリンクが構築される。また、ステップＳ４によって、ダミー層２０における人工ニューロン２１の活性化関数（Ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）のバイアス値を０に設定する。活性化関数の入力値が１の場合、活性化関数の出力値は１となる。本具体的実施例では、活性化関数によって、第２重み値にそれ自体の数値を保持させることが可能である。続いて、ステップＳ６によって、新たに形成されたパラメータ予測モデルＡのダミー層２０（このとき、ダミー層２０はパラメータ予測モデルＡの新たな入力層を形成している）に対し、複数のオールワンベクトルを含む訓練データセットを入力して訓練を行う。ここで、各オールワンベクトルは、各人工ニューロン２１に対し１を入力するデータを表す。前記目標結果は、パラメータ予測モデルＡから出力されるグラウンドトゥルース（Ｇｒｏｕｎｄ ｔｒｕｔｈ）となり得る。また、新たなリンクの重みの初期値を選別及び設定し、第２重み値を決定変数と見なす。重み値間には、範囲、或いは、例えば正の整数制約や範囲制約といったその他の相互間の制約条件が存在し得る。上述したパラメータ予測モデルＡの訓練過程において、オプティマイザは、目標結果、訓練データセット及び第１重み値に基づき第２重み値をそれぞれ調整することで、未確認の決定変数（未確認入力パラメータ）を逆推定可能とする。

【0031】

詳述すると、オプティマイザは、人工知能エンジンのトレーニングプラットフォームに内蔵されて、パラメータ予測モデルＡ及び訓練済み予測モデル１０のパラメータ及び重み値を調整又は固定する機能を有する。そのため、前記訓練過程において、オプティマイザは、訓練済み予測モデル１０のパラメータを固定又は凍結してから、人工ニューロン２１と訓練済み予測モデル１０の入力端子１１１との間の重み値３０を調整することで、訓練データセットにおける各オールワンベクトルに対応するパラメータ予測モデルＡの出力値（予測結果）とグラウンドトゥルース（目標結果）との差分値を最小化可能とする。注意すべき点として、確認済み入力パラメータは固定されたパラメータであり、例えば、プロセス内で実行済みのプロセスパラメータである。そのため、オプティマイザは、上記の訓練過程において、確認済み入力パラメータに対応する第１重み値についても固定又は凍結し、第１重み値以外のその他の重み値（第２重み値）を調整することで、パラメータ予測モデルＡの出力値（予測結果）とグラウンドトゥルース（目標結果）との差分値を最小化する。訓練の終了及び収束時には、オプティマイザにより調整して取得した第２重み値が固定された第１重み値に組み合わされて最適な入力決定変数となる。パラメータ予測モデルＡは多対１の特性を有している。即ち、複数の異なる入力パラメータが同一の出力結果に対応し得る。よって、各訓練データ（オールワンベクトル）は、最適な入力決定変数として１群の第２重み値を取得する可能性がある。詳述すると、ユーザが使用する訓練済み予測モデルが優秀な予測効果を有している場合、予測効果のみから、入力する決定変数を訓練済み予測モデルに基づいて逆推定することは不可能である。しかし、本具体的実施例におけるパラメータ予測モデルによれば、ダミー層の追加、ダミー層における人工ニューロンのバイアス値の固定、訓練時に入力される数値の固定、訓練済み予測モデルのパラメータの凍結、第１重み値の凍結、出力値と目標結果との差の最小化等の方法により、第２重み値を未確認入力パラメータ又は決定変数として逆推定することが可能である。

【0032】

以下に、細胞プロセスの場合を例示して説明する。ユーザが２１日間のプロセスを実施しようとしており、すでに７日間のプロセスを実施済みである（つまり、すでに確認済み入力パラメータを有している）が、その後の８～２１日目のプロセスについて、実施や決定変数（つまり、未確認入力パラメータ）の調整をどのように行えば予め設定した２１日目に所望の目標結果を得られるのかを確認していない場合がある。これに対し、上記の方法によれば、７日間実施した確認済み入力パラメータに基づいて、確認済み入力パラメータに対応する人工ニューロンのうちの第１人工ニューロンの第１重み値をそれぞれ設定するとともに、目標結果（例えば、２１日間の細胞培養プロセスで９５％の細胞生存率を達成したい）を設定することが可能である。そして、訓練済み予測モデルを生成した機械学習方法におけるオプティマイザによって、オールワンベクトルを入力するとともに、目標結果とパラメータ予測モデルの出力との差分値及び第１重み値に基づき、第１人工ニューロン以外のその他の人工ニューロンの第２重み値をそれぞれ調整して、第２重み値を８～２１日目の決定変数（未確認入力パラメータ）とする。即ち、第２重み値がオプティマイザによって２に調整された場合、未確認入力パラメータは２となる。

【0033】

実際の応用において、決定変数の計算方法のオプティマイザは、適応的モーメント推定（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ，Ａｄａｍ）最適化、確率的勾配降下法（Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ，ＳＧＤ）、モメンタム（Ｍｏｍｅｎｔｕｍ）、Ｎｅｓｔｅｒｏｖ加速勾配法（Ｎｅｓｔｅｒｏｖ Ａｃｃｅｌｅｒａｔｅｄ Ｇｒａｄｉｅｎｔ，ＮＡＧ）、適応型勾配アルゴリズム（Ａｄａｐｔｉｖｅ Ｇｒａｄｉｅｎｔ Ａｌｇｏｒｉｔｈｍ，ＡｄａＧｒａｄ）、Ｎａｄａｍ（Ｎｅｓｔｅｒｏｖ－ａｃｃｅｌｅｒａｔｅｄ Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ）、ＲＭＳｐｒｏｐ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｐｒｏｐａｇａｔｉｏｎ）、Ａｄａｄｅｌｔａ（Ａｄａｐｔｉｖｅ Ｄｅｌｔａ）、ＡｄａｍＷ（Ａｄａｍ ｗｉｔｈ Ｗｅｉｇｈｔ Ｄｅｃａｙ）、ＡＭＳＧｒａｄ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ Ｌｏｎｇ－ｔｅｒｍ Ｍｅｍｏｒｙ）、ＡｄａＢｅｌｉｅｆ（Ａｄａｐｔｉｖｅ Ｂｅｌｉｅｆ）、ＬＡＲＳ（Ｌａｙｅｒ－ｗｉｓｅ Ａｄａｐｔｉｖｅ Ｒａｔｅ Ｓｃａｌｉｎｇ）、自己適応Ｈｅｓｓｉａｎ（ＡｄａＨｅｓｓｉａｎ）、ＲＡｄａｍ（Ｒｅｃｔｉｆｉｅｄ Ａｄａｍ）、先読み（Ｌｏｏｋａｈｅａｄ）、ＭａｄＧｒａｄ（Ｍｏｍｅｎｔｕｍｉｚｅｄ，Ａｄａｐｔｉｖｅ，ａｎｄ Ｄｅｃｅｎｔｒａｌｉｚｅｄ Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ）、Ｙｏｇｉオプティマイザ（Ｙｏｇｉ）及びＡｄａｍＭａｘ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ Ｍａｘｉｍｕｍ）のうちのいずれかから選択可能である。

【0034】

本具体的実施例における決定変数の計算方法のオプティマイザは、更に、適応的モーメント推定（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ Ｅｓｔｉｍａｔｉｏｎ，Ａｄａｍ）オプティマイザ（以下では、Ａｄａｍオプティマイザと記載する）を含む。また、Ａｄａｍオプティマイザは、人工ニューロンの第２重み値を調整するために用いられる。Ａｄａｍオプティマイザは、一般的に、畳み込みニューラルネットワーク（ＣＮＮ）、回帰型ニューラルネットワーク（ＲＮＮ）、トランスフォーマ（Ｔｒａｎｓｆｏｒｍｅｒ）等を含む各種ディープラーニングモデルを訓練するために用いられる。Ａｄａｍオプティマイザは、例えば、画像分類、自然言語処理、言語翻訳等の異なるタスクに適用される。Ａｄａｍオプティマイザは、各パラメータの勾配の変化に基づき学習率を調整することで、異なる方向において異なる学習率を有することを可能とする。このことは、機械学習の訓練の収束速度をより良好に制御するのに貢献する。実際の応用において、オプティマイザの選択はこれに限らず、ユーザのニーズ及び訓練モデルの種類に基づき、パラメータ及び重み値を調整可能なその他のオプティマイザを使用可能である。

【0035】

本具体的実施例における訓練済み予測モデルは、機械学習方法によってデータセットを機械学習することで取得可能である。本具体的実施例における決定変数の計算方法を細胞培養プロセスの分野に応用する場合、本具体的実施例のデータセットは細胞データセットを更に含んでもよい。細胞データセットは複数の細胞サンプルを含み得る。且つ、各細胞サンプルのサンプルパラメータは入手源パラメータ及び培養パラメータを含む。実用において、前記細胞データセットは、オープンプラットフォームで得られるいずれかのデータであってもよいし、ユーザ自身で収集したデータであってもよい。そのほか、細胞サンプルの種類は、免疫細胞（例えば、樹状細胞（ＤＣ ｃｅｌｌｓ）、サイトカイン誘導キラー細胞（ＣＩＫ）、腫瘍浸潤リンパ球（ＴＩＬ）、ナチュラルキラー細胞（ＮＫ ｃｅｌｌｓ）及びＣＡＲ－Ｔ細胞）、幹細胞（例えば、末梢血幹細胞、脂肪幹細胞、骨髄間葉系幹細胞）、軟骨細胞、線維芽細胞等としてもよいが、実際の応用ではこれに限らず、ユーザが実行したい細胞培養の種類に応じて決定すればよい。加えて、本具体的実施例において、各細胞サンプルの入手源パラメータは、更に、各細胞サンプルの入手源の属性データを含んでもよい。細胞データセット内の各細胞サンプルは、細胞に対応する細胞入手源及び入手源が有する属性データを含んでもよい。属性データは、入手源の生理学的データ、又は、例えば、入手源の性別、年齢、病歴、生活環境、居住地域等の入手源に関連するその他のデータであってもよい。ただし、実際の応用においてはこれらに限らず、細胞サンプルの入手源パラメータは、更に、細胞プロセスに影響を及ぼす可能性があり、且つ細胞入手源に関連するその他のパラメータを含んでもよい。また、実用においてはこれに限らず、訓練済み予測モデルは、ユーザのニーズに基づき選択可能であり、異なる種類のデータセットを選択して機械学習することで得られる。

【0036】

また、本具体的実施例において、各細胞サンプルの培養パラメータは、更に、各細胞サンプルにおけるヒト、機器、材料、方法、環境のパラメータを含む。細胞培養過程は多くのステップを含み、各ステップはいずれも多くの培養パラメータに関連する。当該培養パラメータには、例えば、細胞入手源の性別及び年齢、細胞培養操作者の経験及び安定性といったヒト関連のパラメータや、例えば、細胞操作プラットフォーム（ｃｅｌｌ ｏｐｅｒａｔｉｏｎ ｐｌａｔｆｏｒｍ）の種類及びグレード、細胞培養装置の温度制御及び湿度制御の安定性や精度といった機器関連のパラメータや、例えば、細胞培養シャーレの材質、細胞培養培地の成分及び比率・配合といった材料関連のパラメータや、例えば、細胞培養操作者の手法、細胞培養プロセスの方法といった方法関連のパラメータや、例えば、細胞培養の環境温度、湿度、二酸化炭素濃度といった環境関連のパラメータ、が含まれる。

【0037】

上記の具体的実施例は、確認済み入力パラメータを含むプロセス、即ち、すでに開始されたプロセスについてのものである。しかし、本発明における決定変数の計算方法は、まだ開始されておらず、確認済み入力パラメータを有さないプロセスにも応用可能である。ここで、図３を参照する。図３は、本発明の別の具体的実施例に基づく決定変数の計算方法のステップのフローチャートを示す。本具体的実施例における決定変数の計算方法は、複数の決定変数を計算するために用いられる。当該方法は、以下を含む。

【0038】

ステップＳ１’：訓練済み予測モデル１０を提供する。訓練済み予測モデル１０は、機械学習方法によって機械学習することで得られる。訓練済み予測モデル１０は入力層１１及び出力層１２を含む。訓練済み予測モデル１０は、前記入力層１１を通じて複数の入力パラメータを入力し、前記出力層１２により前記入力パラメータに対応する予測結果を生成するために用いられる。

【0039】

ステップＳ２’：前記訓練済み予測モデル１０の前記予測結果に対応する目標結果を設定する。

【0040】

ステップＳ３’：前記訓練済み予測モデル１０の前記入力層１１に接続されるダミー層２０を増設する。前記ダミー層２０は、前記入力層１１の各入力端子１１１にそれぞれ接続される複数の人工ニューロン２１を含む。前記訓練済み予測モデル１０と前記ダミー層２０によってパラメータ予測モデルＡが形成され、前記訓練済み予測モデル１０の前記予測結果が前記パラメータ予測モデルＡの出力となる。

【0041】

ステップＳ４’：各前記人工ニューロン２１の活性化関数のバイアス値を０に設定する。前記活性化関数の入力値が１の場合、前記活性化関数の出力値は１となる。

【0042】

ステップＳ５’：前記目標結果に対応する前記パラメータ予測モデルＡの出力を設定し、少なくとも１つのオールワンベクトルを含む訓練データセットを前記パラメータ予測モデルＡの前記ダミー層２０の前記人工ニューロン２１に入力することで、前記パラメータ予測モデルＡを訓練する。そして、前記訓練済み予測モデル１０を生成した前記機械学習方法におけるオプティマイザによって、前記目標結果に基づき各前記人工ニューロン２１の基準重み値を調整するとともに、当該基準重み値を前記決定変数とする。

【0043】

本具体的実施例における決定変数の計算方法は、確認済み入力パラメータを有さないプロセス、即ち、確認済み入力パラメータの第１重み値が空集合の場合に適している。オプティマイザは、出力値と目標結果との差分値を最小化することで、各人工ニューロンの基準重み値を調整し、逆推定可能とする。即ち、基準重み値を決定変数（つまり、未確認の決定変数）とすることが可能である。注意すべき点として、本具体的実施例における決定変数の計算方法のその他のステップは、上述した具体的実施例における対応するステップとほぼ同じであるため、ここでは改めて詳述しない。

【0044】

総括すると、本発明は、決定変数の計算方法を提供する。当該方法では、訓練済みのニューラルネットワーク予測モデルの入力端子にダミー層を増設する。ダミー層は、訓練済み予測モデルの入力端子と同数の人工ニューロンを含む。且つ、ダミーの各ニューロンと、それに対応する元のモデルの入力端子のニューロンとの間に新たなリンクが構築される。また、各人工ニューロンの入力値を１に設定する。活性化関数のバイアス値が０であり、活性化関数の入力が１の場合、出力は１となる。そして、新たなリンクの重みの初期値を選別及び設定し、重み値を決定変数と見なす。重み値は、範囲又はその他の相互間の制約条件を有し得る。また、訓練済み予測モデルのパラメータを凍結し、新たなリンクの重み値のみを調整するとともに、一般的な機械学習のプラットフォームに内蔵されるオプティマイザによって最適解を求める。訓練の目標は、この拡張モデルの出力が所期の目標結果となるように設定される。そして、訓練が終了したときに得られる新たなリンクの重み値が実行可能な入力決定変数となる。そのほか、本発明における決定変数の計算方法は、細胞プロセス分野への応用のほか、ニューラルネットワークにより訓練されたその他の機械学習モデルに応用して、決定変数及びプロセスパラメータの逆推定に用いてもよい。本発明は、一般的な機械学習のプラットフォーム及びそれに内蔵される方法を利用して、所期の結果を達成する最適な入力パラメータを有効に探索可能である。

【0045】

以上の好ましい具体的実施例の詳細な記載は、本発明の特徴及び精神をより明瞭に記載可能とすることを意図しており、上記で開示した好ましい具体的実施例によって本発明の範囲を制限するものではない。むしろ、各種の変更及び均等性を有する構成が本発明で請求しようとする特許請求の範囲内に網羅されることを意図している。よって、本発明で請求しようとする特許請求の範囲は、全ての可能な変更及び均等性を有する構成を網羅すべく、上記の説明に基づき最も広く解釈すべきである。

【符号の説明】

【0046】

Ｓ１～Ｓ６，Ｓ１’～Ｓ５’ ステップ
Ａ パラメータ予測モデル
１０ 訓練済み予測モデル
１１ 入力層
１１１ 入力端子
１２ 出力層
２０ ダミー層
２１ 人工ニューロン
３０ 重み値

【図1A】

【図1B】

【図2】

【図3】

【外国語明細書】