特開 2024-168781 自己教師あり学習プログラム、方法、及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024168781

(43)【公開日】2024-12-05

(54)【発明の名称】自己教師あり学習プログラム、方法、及び装置

(51)【国際特許分類】

   G06N 3/0895 20230101AFI20241128BHJP

   G16C 20/70 20190101ALI20241128BHJP

   G06N 3/096 20230101ALI20241128BHJP

【ＦＩ】

G06N3/0895

G16C20/70

G06N3/096

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023085718

(22)【出願日】2023-05-24

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】坂井 靖文

(57)【要約】

【課題】自己教師あり学習により訓練されるニューラルネットワークの予測精度を向上させる。
【解決手段】自己教師あり学習装置は、第１の分子に含まれる原子のうち所定割合の原子それぞれを示す値を０に置換した第２の分子を示すデータを生成し、第２の分子を示すデータを、分子構造に関する予測を行う機械学習モデルに入力して予測結果を取得し、第１の分子に対応する正解データと、予測結果との比較結果に基づいて、機械学習モデルのパラメータを更新する。
【選択図】図６

【特許請求の範囲】

【請求項1】

第１の分子に含まれる原子のうち所定割合の原子それぞれを示す値を０に置換した第２の分子を示すデータを生成し、
前記第２の分子を示すデータを、分子構造に関する予測を行う機械学習モデルに入力して予測結果を取得し、
前記第１の分子に対応する正解データと、前記予測結果との比較結果に基づいて、前記機械学習モデルのパラメータを更新する、
ことを含む処理をコンピュータに実行させるための自己教師あり学習プログラム。

【請求項2】

前記予測結果は、前記第２の分子に含まれる原子のうち、少なくとも前記第１の分子に含まれる原子から値を０に置換した原子が、予め定めた複数種類の原子群に含まれるいずれの原子であるかを示す情報である請求項１に記載の自己教師あり学習プログラム。

【請求項3】

前記予測結果は、前記第２の分子に含まれる全ての原子についての情報を含む請求項２に記載の自己教師あり学習プログラム。

【請求項4】

前記機械学習モデルは、前記第２の分子を示すデータから前記第２の分子の分子構造を示す特徴量を抽出する第１の部分と、前記第１の部分で抽出された特徴量に基づいて、特定のタスクに応じた予測結果を出力する第２の部分とを含み、訓練された機械学習モデルの前記第１の部分は、転移学習に利用される請求項１～請求項３のいずれか１項に記載の自己教師あり学習プログラム。

【請求項5】

前記第２の部分は、前記第２の分子に含まれる原子の各々についての前記第１の部分の出力にそれぞれ対応した異なる出力部を含み、
前記予測結果を取得する処理は、前記第２の分子に含まれる原子の各々についての予測結果を一度に取得することを含む、
請求項４に記載の自己教師あり学習プログラム。

【請求項6】

第１の分子に含まれる原子のうち所定割合の原子それぞれを示す値を０に置換した第２の分子を示すデータを生成し、
前記第２の分子を示すデータを、分子構造に関する予測を行う機械学習モデルに入力して予測結果を取得し、
前記第１の分子に対応する正解データと、前記予測結果との比較結果に基づいて、前記機械学習モデルのパラメータを更新する、
ことを含む処理をコンピュータが実行する自己教師あり学習方法。

【請求項7】

第１の分子に含まれる原子のうち所定割合の原子それぞれを示す値を０に置換した第２の分子を示すデータを生成する生成部と、
前記第２の分子を示すデータを、分子構造に関する予測を行う機械学習モデルに入力して予測結果を取得する取得部と、
前記第１の分子に対応する正解データと、前記予測結果との比較結果に基づいて、前記機械学習モデルのパラメータを更新する更新部と、
を含む自己教師あり学習装置。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、自己教師あり学習プログラム、自己教師あり学習方法、及び自己教師あり学習装置に関する。

【背景技術】

【0002】

従来、分子の構造データに基づいて、その分子のエネルギーを予測するニューラルネットワークが提案されている。このニューラルネットワークは、「構造」と「エネルギー」とからなるラベル付きデータを用いて教師あり学習により訓練される。この「エネルギー」は、例えば、密度汎関数理論（ＤＦＴ：Density Functional Theory）と呼ばれる数値計算手法で計算される。ＤＦＴによる分子のエネルギーの計算時間は非常に長く、１つの構造のエネルギーの計算に、半日から３日かかる場合もある。そのため、教師あり学習のためのラベル付きデータを大量に集めることが困難である。

【0003】

そこで、ラベルなしデータから、タスクの正解（ラベル）を生成し、生成したラベルを用いて教師あり学習を行う自己教師あり学習と呼ばれる手法が存在する。例えば、文章の一部の単語をマスクして、マスクした単語をニューラルネットワークに予測させることで、自己教師あり学習を行う。分子のエネルギーの予測を行うニューラルネットに向けた自己教師あり学習の手法も提案されている。この手法では、分子を構成する原子及び原子間の結合の一部がマスクされる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特表２０２１－５１８０２４号公報

【非特許文献】

【0005】

【非特許文献1】Kristof T. Sch▲u▼tt, Oliver T. Unke, Michael Gastegger, "Equivariant Message Passing for the Prediction of Tensorial Properties and Molecular Spectra," PMLR, 2021.

【非特許文献2】Johannes Gasteiger, Muhammed Shuaibi, Anuroop Sriram, Stephan Gunnemann, Zachary Ulissi, C. Lawrence Zitnick, Abhishek Das, "GemNet-OC: Developing Graph Neural Networks for Large and Diverse Molecular Simulation Datasets," Transactions on Machine Learning Research, 2022.

【非特許文献3】Zaixi Zhang, Qi Liu, Shengyu Zhang, Chang-Yu Hsieh, Liang Shi, Chee-Kong Lee, "Graph Self-Supervised Learning for Optoelectronic Properties of Organic Semiconductors," ICML, 2022.

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、従来技術では、実際の原子としては存在しない「マスク」という情報をニューラルネットワークが学習してしまうことになり、無駄な学習が行われ、ニューラルネットワークの予測精度が低下する場合があるという問題がある。

【0007】

一つの側面として、開示の技術は、自己教師あり学習により訓練されるニューラルネットワークの予測精度を向上させることを目的とする。

【課題を解決するための手段】

【0008】

一つの態様として、開示の技術は、第１の分子に含まれる原子のうち所定割合の原子それぞれを示す値を０に置換した第２の分子を示すデータを生成する。また、開示の技術は、前記第２の分子を示すデータを、分子構造に関する予測を行う機械学習モデルに入力して予測結果を取得する。そして、開示の技術は、前記第１の分子に対応する正解データと、前記予測結果との比較結果に基づいて、前記機械学習モデルのパラメータを更新する。

【発明の効果】

【0009】

一つの側面として、自己教師あり学習により訓練されるニューラルネットワークの予測精度を向上させることができる、という効果を有する。

【図面の簡単な説明】

【0010】

【図1】分子のエネルギー予測のＮＮについて説明するための図である。

【図2】転移学習について説明するための図である。

【図3】分子のエネルギー予測のためのＮＮに向けた自己教師あり学習を説明するための図である。

【図4】分子のエネルギー予測のためのＮＮに向けた自己教師あり学習の課題を説明するための図である。

【図5】自己教師あり学習装置の機能ブロック図である。

【図6】自己教師あり学習装置の処理を説明するための図である。

【図7】自己教師あり学習装置として機能するコンピュータの概略構成を示すブロック図である。

【図8】自己教師あり学習処理の一例を示すフローチャートである。

【図9】本手法の効果についての検証結果を示す図である。

【図10】本手法の効果についての検証結果を示す図である。

【図11】ＮＮの構成の一例を説明するための図である。

【発明を実施するための形態】

【0011】

以下、図面を参照して、開示の技術に係る実施形態の一例を説明する。

【0012】

実施形態の詳細を説明する前に、分子のエネルギー予測のためのニューラルネットワークに向けた自己教師あり学習における課題について説明する。

【0013】

図１に示すように、分子の構造データに基づいて、その分子のエネルギーを予測するニューラルネットワーク（以下、「ＮＮ」とも表記する）は、「構造」と「エネルギー」とからなるラベル付きデータを用いて教師あり学習により訓練される。すなわち、分子の構造データをＮＮへ入力し、ＮＮからの出力である予測された分子のエネルギーと、正解のエネルギーとの差を逆伝播することによりＮＮのパラメータを更新する。この正解となるエネルギーは、例えば、ＤＦＴと呼ばれる数値計算手法で計算される。ＤＦＴによる分子のエネルギーの計算時間は非常に長いため、教師あり学習のためのラベル付きデータを大量に集めることが困難である。

【0014】

そこで、ラベルなしデータから、タスクの正解（ラベル）を生成し、生成したラベルを用いて教師あり学習を行う自己教師あり学習と呼ばれる手法が存在する。一般的には、自己教師あり学習は、転移学習における事前学習に適用される。図２に示すように、転移学習は、ラベルなしデータを用いた自己教師あり学習により、ＮＮを事前学習する。ＮＮは、入力されるデータの特徴量を抽出する特徴量抽出部と、タスクに応じた出力部とが含まれる。事前学習時の出力部は事前学習用のものが適用される。

【0015】

そして、事前学習とファインチューニングとでタスクが違う場合は、出力部をファインチューニング用に変更する。例えば、事前学習のタスクは３クラス分類だが、ファインチューニングのタスクは４クラス分類の場合、出力部を４クラス分類の全結合層に変更する。その後、ファインチューニング用のラベル付きデータを用いた教師あり学習によりＮＮを訓練する。この際の特徴量抽出部は、事前学習されたものをそのまま適用する。事前学習として自己教師あり学習を適用することで、事前学習後のファインチューニング（教師あり学習）に必要となるラベル付きデータが少ない状況でも、ＮＮの高精度化が実現できる。

【0016】

分子のエネルギーの予測を行うニューラルネットに向けた自己教師あり学習の手法も提案されている。この手法では、図３に示すように、分子を構成する原子及び原子間の結合で表される分子の構造を用意する。図３の例では、各原子を丸で表し、丸の模様の違いは、原子の種類の違いを表している。分子の構造のうち、所定割合の原子又は結合部分をマスクし、マスクした箇所の原子又は結合をＮＮに予測させる。分子の構造は既知であるため、マスクした箇所の正解（本当の原子又は結合）は分かっているため、自己教師あり学習が可能となる。

【0017】

また、図４に示すように、分子の構造は、分子を構成する各原子に、元素等の原子の属性に応じた値（ベクトル）を割り当てた入力データで表される。入力データにおいて、マスクの対象となった原子は、マスクに応じた値（図４中では「ｘ」と表記）、例えば、ランダムな初期値をＸａｖｉｅｒの手法で正規化した値に置換される。そして、ＮＮは、マスクされた原子が、予め用意した原子ライブラリ（図４中では、Ａ、Ｂ、Ｃ、Ｄ）の中のいずれの原子であるかを予測する多値クラス分類の予測を行う。

【0018】

しかし、このように、原子をマスクする自己教師あり学習の場合、実際には存在しない「マスク」という情報を含む分子構造を入力データとして、ＮＮが訓練されてしまう。入力データにおけるマスク箇所の値は、マスクを実現するために入力されたものであり、分子を構成する原子に「マスク」という原子は存在しない。そのため、実際には無い「マスク」という情報をＮＮが学習するため、無駄な学習が行われ、訓練されるＮＮの予測精度が低下する場合がある。

【0019】

そこで、以下の実施形態では、分子に含まれる原子の一部をマスクして、ＮＮの自己教師あり学習を行う場合に、無駄な学習が行われることを抑制し、ＮＮの予測精度を向上させる。以下、本実施形態について詳述する。

【0020】

図５に示すように、自己教師あり学習装置１０は、機能的には、生成部１２と、取得部１４と、更新部１６とを含む。また、自己教師あり学習装置１０の所定の記憶領域には、原子ライブラリ２２と、ニューラルネットワーク（ＮＮ）２４とが記憶される。ＮＮ２４は、開示の技術の「機械学習モデル」の一例である。また、本実施形態におけるＮＮ２４は、グラフニューラルネットワーク（ＧＮＮ）である場合について説明する。

【0021】

生成部１２は、自己教師あり学習装置１０に入力される第１の分子を示す第１の分子データを取得する。第１の分子データは、例えば、第１の分子に含まれる原子をノード、原子間の結合を、ノード間を接続するエッジで表したグラフデータである。各ノードは、そのノードに対応する原子を示す値（ベクトル）を保持する。生成部１２は、第１の分子に含まれる原子のうち所定割合の原子それぞれを示す値を０（要素が全て０のベクトル）に置換した第２の分子を示す第２の分子データを生成する。

【0022】

図６を参照して具体的に説明する。生成部１２は、第１の分子に含まれる原子のうち、指定された置換率に従った数の原子を置換対象として特定する。置換率は、０～１００％の値であり、置換率０％は、置換なしの場合、置換率１００％は、分子に含まれる全ての原子を置換する場合である。図６の例は、置換率４０％の場合であり、分子に含まれる５つの原子のうち２つが置換対象（網掛の丸）として特定されている。また、生成部１２は、第１の分子データにおける置換対象の原子のノードの値を０で置換することにより、第２の分子データを生成する。

【0023】

ＮＮ２４は、第２の分子データから第２の分子の分子構造を示す特徴量を抽出する特徴量抽出部と、特徴量抽出部で抽出された特徴量に基づいて、事前学習のタスクに応じた予測結果を出力する出力部とを含む。本実施形態では、事前学習のタスクは、第２の分子に含まれる原子のうち、値が０に置換された各原子が原子ライブラリ２２内のいずれの原子であるかを予測する多値分類タスクである。原子ライブラリ２２には、予め定めた複数種類の原子群の各原子を示す値が格納されている。

【0024】

取得部１４は、生成部１２により生成された第２の分子データをＮＮ２４に入力し、ＮＮ２４から出力される予測結果である、値が０に置換された原子の各々が、原子ライブラリ２２内のいずれの原子であるかを示す情報を取得する。

【0025】

更新部１６は、第１の分子に対応する正解データと、取得部１４で取得された予測結果との比較結果に基づいて、ＮＮ２４のパラメータを更新する。具体的には、更新部１６は、値が０に置換された原子の第１の分子データでの値を正解データとして生成し、予測結果と正解データとの差分をＮＮ２４に逆伝播して、ＮＮ２４のパラメータを更新する。

【0026】

更新部１６は、所定の終了条件を満たすまでＮＮ２４のパラメータの更新を繰り返す。所定の終了条件は、例えば、繰り返し回数が所定回数に達した場合、予測結果と正解データとの差分が所定値以下になった場合、前回の差分と今回の差分との差が所定値以下となった場合（差分が収束した場合）等としてよい。

【0027】

自己教師あり学習装置１０は、例えば図７に示すコンピュータ４０で実現されてよい。コンピュータ４０は、ＣＰＵ（Central Processing Unit）４１と、ＧＰＵ（Graphics Processing Unit）４２と、一時記憶領域としてのメモリ４３と、不揮発性の記憶装置４４とを備える。また、コンピュータ４０は、入力装置、表示装置等の入出力装置４５と、記憶媒体４９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）装置４６とを備える。また、コンピュータ４０は、インターネット等のネットワークに接続される通信Ｉ／Ｆ（Interface）４７を備える。ＣＰＵ４１、ＧＰＵ４２、メモリ４３、記憶装置４４、入出力装置４５、Ｒ／Ｗ装置４６、及び通信Ｉ／Ｆ４７は、バス４８を介して互いに接続される。

【0028】

記憶装置４４は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等である。記憶媒体としての記憶装置４４には、コンピュータ４０を、自己教師あり学習装置１０として機能させるための自己教師あり学習プログラム５０が記憶される。自己教師あり学習プログラム５０は、生成プロセス制御命令５２と、取得プロセス制御命令５４と、更新プロセス制御命令５６とを有する。また、記憶装置４４は、原子ライブラリ２２及びＮＮ２４の各々を構成する情報が記憶される情報記憶領域６０を有する。

【0029】

ＣＰＵ４１は、自己教師あり学習プログラム５０を記憶装置４４から読み出してメモリ４３に展開し、自己教師あり学習プログラム５０が有する制御命令を順次実行する。ＣＰＵ４１は、生成プロセス制御命令５２を実行することで、図５に示す生成部１２として動作する。また、ＣＰＵ４１は、取得プロセス制御命令５４を実行することで、図５に示す取得部１４として動作する。また、ＣＰＵ４１は、更新プロセス制御命令５６を実行することで、図５に示す更新部１６として動作する。また、ＣＰＵ４１は、情報記憶領域６０から情報を読み出して、原子ライブラリ２２及びＮＮ２４の各々をメモリ４３に展開する。これにより、自己教師あり学習プログラム５０を実行したコンピュータ４０が、自己教師あり学習装置１０として機能することになる。なお、プログラムを実行するＣＰＵ４１はハードウェアである。また、プログラムの一部は、ＧＰＵ４２により実行されてもよい。

【0030】

なお、自己教師あり学習プログラム５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等で実現されてもよい。

【0031】

次に、第１実施形態に係る自己教師あり学習装置１０の動作について説明する。自己教師あり学習装置１０に第１の分子データが入力され、ＮＮ２４の自己教師あり学習の実行が指示されると、自己教師あり学習装置１０において、図８に示す自己教師あり学習処理が実行される。なお、自己教師あり学習処理は、開示の技術の自己教師あり学習方法の一例である。

【0032】

ステップＳ１０で、生成部１２が、自己教師あり学習装置１０に入力された第１の分子データを取得する。次に、ステップＳ１２で、生成部１２が、第１の分子に含まれる原子のうち所定割合の原子それぞれを示す値を０に置換した第２の分子を示す第２の分子データを生成する。次に、ステップＳ１４で、取得部１４が、生成された第２の分子データをＮＮ２４に入力して、ＮＮ２４から出力される予測結果である、値が０に置換された原子の各々が、原子ライブラリ２２内のいずれの原子であるかを示す情報を取得する。

【0033】

次に、ステップＳ１６で、更新部１６が、値が0に置換された原子の第１の分子データでの値を正解データとして生成する。次に、ステップＳ１８で、更新部１６が、予測結果と正解データとの差分をＮＮ２４に逆伝播して、ＮＮ２４のパラメータを更新する。

【0034】

次に、ステップＳ２０で、更新部１６が、パラメータ更新の終了条件を満たしたか否かを判定する。終了条件を満たした場合には、ステップＳ２２へ移行し、満たしていない場合には、ステップＳ１０に戻る。ステップＳ２２では、更新部１６が、最終的なパラメータが設定されたＮＮ２４を所定の記憶領域に記憶し、自己教師あり学習処理は終了する。

【0035】

以上説明したように、本実施形態に係る自己教師あり学習装置は、第１の分子に含まれる原子のうち所定割合の原子それぞれを示す値を０に置換した第２の分子データを生成する。そして、自己教師あり学習装置は、第２の分子データを、分子構造に関する予測を行うＮＮに入力して予測結果を取得し、第１の分子に対応する正解データと予測結果との比較結果に基づいて、ＮＮのパラメータを更新する。このように、置換対象の原子を、ランダムな値ではなく、０に置換することで、無駄な情報の学習が抑制され、自己教師あり学習により訓練されるニューラルネットワークの予測精度を向上させることができる。

【0036】

また、上記実施形態に係る自己教師あり学習装置により訓練されたＮＮは、図２で説明したように、転移学習に適用することができる。すなわち、自己教師あり学習により訓練されたＮＮの特徴量抽出部はそのまま用い、出力部を分子のエネルギー予測のタスクに合わせて変更する。そして、例えば、ＤＦＴで計算されたエネルギーを正解とするラベル付きデータで上記のＮＮを教師あり学習により訓練することで、エネルギー予測のタスクのためのＮＮが構築される。

【0037】

ここで、上記実施形態の効果の検証結果について説明する。本検証では、以下の各手法について検証を行った。
比較手法１：ラベル付きデータのみでＮＮを教師あり学習する手法（自己教師あり学習なし）
比較手法２：既存の自己教師あり学習（ランダム値のマスク）により訓練されたＮＮをラベル付きデータで教師あり学習する手法
本手法：第１実施形態の手法

【0038】

本検証では、分子の構造と、その構造に対応するエネルギーとの組み合わせであるラベル付きデータを３７７０個用意し、３７７０個のデータの内、２８７０個を訓練用データ、残りの９００個を訓練に用いない検証用データとした。また、２８７０個の訓練用データの全ての構造のデータを、自己教師あり学習に使用し、２８７０個の訓練用データの全ての構造のデータ及びエネルギーを教師あり学習に使用した。さらに、検証方法として、５－ｆｏｌｄ交差検証を用いた。

【0039】

図９に、本手法と、比較手法１及び比較手法２とでＮＮの予測誤差を比較した結果を示す。予測誤差は値が小さいほどＮＮの精度がよいことを表す。本手法は、比較手法１及び比較手法２よりも予測誤差が低減しており、精度が向上していることが分かる。

【0040】

また、１６６０個のラベル付きデータを用いて、本手法の自己教師あり学習を適用することで、ファインチューニング時に用いるラベル付きデータの数が減った場合でも、比較手法と比較してＮＮの精度が改善するか否かについて検証した。本検証では、ファインチューニング時に使用するラベル付きデータの数を変えた場合の、ＮＮの予測誤差を測定した。上記のラベル付きデータとして、分子の構造と、その構造に対応するエネルギーとの組み合わせのデータを１６６０個用意し、１６６０個のデータの内、１３６０個を訓練用データ、残りの３００個を訓練に用いない検証用データとした。また、１３６０個の訓練用データの、全ての構造のデータ（ラベルなし）を自己教師あり学習に使用した。

【0041】

図１０に、本手法と比較手法１とで、ファインチューニングに用いたラベル付きデータの数に対する予測誤差を比較した結果を示す。比較手法１と比較して、本手法では、予測誤差が低減していることが分かる。特に、ラベル付きデータの数が少ない状況であるほど、本手法によるＮＮの精度改善効果は大きい。

【0042】

なお、上記実施形態では、第２の分子に含まれる原子のうち、値が０に置換された原子についての予測結果を取得する場合について説明したが、第２の分子に含まれる全ての原子を予測対象として予測結果を取得するようにしてもよい。なお、予測対象が多くなるほどタスクが難しくなるため、訓練されるニューラルネットワークの予測精度が向上する。

【0043】

また、第２の分子に含まれる全ての原子を予測対象とする場合、図１１に示すように、ＮＮは、ＮＮへの入力データとなる第２の分子データを構成する各ノードに対応する特徴量抽出部の出力にそれぞれ接続する、異なる全結合層で出力部を構成してもよい。これにより、第２の分子に含まれる全ての原子の予測を一度に行うことができる。

【0044】

また、上記実施形態では、自己教師あり学習プログラムが記憶装置に予め記憶（インストール）されているが、これに限定されない。開示の技術に係るプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供されてもよい。

【0045】

以上の実施形態に関し、さらに以下の付記を開示する。

【0046】

（付記１）
第１の分子に含まれる原子のうち所定割合の原子それぞれを示す値を０に置換した第２の分子を示すデータを生成し、
前記第２の分子を示すデータを、分子構造に関する予測を行う機械学習モデルに入力して予測結果を取得し、
前記第１の分子に対応する正解データと、前記予測結果との比較結果に基づいて、前記機械学習モデルのパラメータを更新する、
ことを含む処理をコンピュータに実行させるための自己教師あり学習プログラム。

【0047】

（付記２）
前記予測結果は、前記第２の分子に含まれる原子のうち、少なくとも前記第１の分子に含まれる原子から置換された原子が、予め定めた複数種類の原子群に含まれるいずれの原子であるかを示す情報である付記１に記載の自己教師あり学習プログラム。

【0048】

（付記３）
前記予測結果は、前記第２の分子に含まれる全ての原子についての情報を含む付記１又は付記２に記載の自己教師あり学習プログラム。

【0049】

（付記４）
前記機械学習モデルは、前記第２の分子を示すデータから前記第２の分子の分子構造を示す特徴量を抽出する第１の部分と、前記第１の部分で抽出された特徴量に基づいて、特定のタスクに応じた予測結果を出力する第２の部分とを含み、訓練された機械学習モデルの前記第１の部分は、転移学習に利用される付記１～付記３のいずれか１項に記載の自己教師あり学習プログラム。

【0050】

（付記５）
前記第２の部分は、前記第２の分子に含まれる原子の各々についての前記第１の部分の出力にそれぞれ対応した異なる出力部を含み、
前記予測結果を取得する処理は、前記第２の分子に含まれる原子の各々についての予測結果を一度に取得することを含む、
付記４に記載の自己教師あり学習プログラム。

【0051】

（付記６）
第１の分子に含まれる原子のうち所定割合の原子それぞれを示す値を０に置換した第２の分子を示すデータを生成し、
前記第２の分子を示すデータを、分子構造に関する予測を行う機械学習モデルに入力して予測結果を取得し、
前記第１の分子に対応する正解データと、前記予測結果との比較結果に基づいて、前記機械学習モデルのパラメータを更新する、
ことを含む処理をコンピュータが実行する自己教師あり学習方法。

【0052】

（付記７）
前記予測結果は、前記第２の分子に含まれる原子のうち、少なくとも前記第１の分子に含まれる原子から置換された原子が、予め定めた複数種類の原子群に含まれるいずれの原子であるかを示す情報である付記６に記載の自己教師あり学習方法。

【0053】

（付記８）
前記予測結果は、前記第２の分子に含まれる全ての原子についての情報を含む付記６又は付記７に記載の自己教師あり学習方法。

【0054】

（付記９）
前記機械学習モデルは、前記第２の分子を示すデータから前記第２の分子の分子構造を示す特徴量を抽出する第１の部分と、前記第１の部分で抽出された特徴量に基づいて、特定のタスクに応じた予測結果を出力する第２の部分とを含み、訓練された機械学習モデルの前記第１の部分は、転移学習に利用される付記６～付記８のいずれか１項に記載の自己教師あり学習方法。

【0055】

（付記１０）
前記第２の部分は、前記第２の分子に含まれる原子の各々についての前記第１の部分の出力にそれぞれ対応した異なる出力部を含み、
前記予測結果を取得する処理は、前記第２の分子に含まれる原子の各々についての予測結果を一度に取得することを含む、
付記９に記載の自己教師あり学習方法。

【0056】

（付記１１）
第１の分子に含まれる原子のうち所定割合の原子それぞれを示す値を０に置換した第２の分子を示すデータを生成する生成部と、
前記第２の分子を示すデータを、分子構造に関する予測を行う機械学習モデルに入力して予測結果を取得する取得部と、
前記第１の分子に対応する正解データと、前記予測結果との比較結果に基づいて、前記機械学習モデルのパラメータを更新する更新部と、
を含む自己教師あり学習装置。

【0057】

（付記１２）
前記予測結果は、前記第２の分子に含まれる原子のうち、少なくとも前記第１の分子に含まれる原子から置換された原子が、予め定めた複数種類の原子群に含まれるいずれの原子であるかを示す情報である付記１１に記載の自己教師あり学習装置。

【0058】

（付記１３）
前記予測結果は、前記第２の分子に含まれる全ての原子についての情報を含む付記１１又は付記１２に記載の自己教師あり学習装置。

【0059】

（付記１４）
前記機械学習モデルは、前記第２の分子を示すデータから前記第２の分子の分子構造を示す特徴量を抽出する第１の部分と、前記第１の部分で抽出された特徴量に基づいて、特定のタスクに応じた予測結果を出力する第２の部分とを含み、訓練された機械学習モデルの前記第１の部分は、転移学習に利用される付記１１～付記１３のいずれか１項に記載の自己教師あり学習装置。

【0060】

（付記１５）
前記第２の部分は、前記第２の分子に含まれる原子の各々についての前記第１の部分の出力にそれぞれ対応した異なる出力部を含み、
前記予測結果を取得する処理は、前記第２の分子に含まれる原子の各々についての予測結果を一度に取得することを含む、
付記１４に記載の自己教師あり学習装置。

【0061】

（付記１６）
第１の分子に含まれる原子のうち所定割合の原子それぞれを示す値を０に置換した第２の分子を示すデータを生成し、
前記第２の分子を示すデータを、分子構造に関する予測を行う機械学習モデルに入力して予測結果を取得し、
前記第１の分子に対応する正解データと、前記予測結果との比較結果に基づいて、前記機械学習モデルのパラメータを更新する、
ことを含む処理をコンピュータに実行させるための自己教師あり学習プログラムを記憶した非一時的記憶媒体。

【符号の説明】

【0062】

１０ 自己教師あり学習装置
１２ 生成部
１４ 取得部
１６ 更新部
２２ 原子ライブラリ
２４ ニューラルネットワーク（ＮＮ）
４０ コンピュータ
４１ ＣＰＵ
４２ ＧＰＵ
４３ メモリ
４４ 記憶装置
４５ 入出力装置
４６ Ｒ／Ｗ装置
４７ 通信Ｉ／Ｆ
４８ バス
４９ 記憶媒体
５０ 自己教師あり学習プログラム
５２ 生成プロセス制御命令
５４ 取得プロセス制御命令
５６ 更新プロセス制御命令
６０ 情報記憶領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】