知財求人 - 知財ポータルサイト「IP Force」
▶ キヤノン株式会社の特許一覧 ▶ 東芝メディカルシステムズ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022175062
(43)【公開日】2022-11-25
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
G06N 20/00 20190101AFI20221117BHJP
G06N 5/04 20060101ALI20221117BHJP
G06T 7/00 20170101ALI20221117BHJP
【ＦＩ】
G06N20/00
G06N5/04
G06T7/00 350B
【審査請求】未請求
【請求項の数】22
【出願形態】ＯＬ
(21)【出願番号】P 2021081194
(22)【出願日】2021-05-12
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】鳥羽 修平
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096FA06
5L096FA67
5L096FA70
5L096FA81
5L096GA51
5L096KA04
(57)【要約】
【課題】学習が困難な条件のデータに対して、推論精度を向上させた推論モデルを生成すること。
【解決手段】情報処理装置は、複数のデータを含む第１のデータセットを取得するデータ取得部と、複数のデータの夫々の評価値に基づいて、第１のデータセットの中から、事前学習用の第２のデータセットと、追加学習用の第３のデータセットとを選定する選定部と、第２のデータセットを用いて事前学習した推論モデルを生成する事前学習部と、事前学習した推論モデルと第３のデータセットを用いて、追加学習した推論モデルを生成する追加学習部と、を有する。
【選択図】 図１
【解決手段】情報処理装置は、複数のデータを含む第１のデータセットを取得するデータ取得部と、複数のデータの夫々の評価値に基づいて、第１のデータセットの中から、事前学習用の第２のデータセットと、追加学習用の第３のデータセットとを選定する選定部と、第２のデータセットを用いて事前学習した推論モデルを生成する事前学習部と、事前学習した推論モデルと第３のデータセットを用いて、追加学習した推論モデルを生成する追加学習部と、を有する。
【選択図】 図１
【特許請求の範囲】
【請求項1】
複数のデータを含む第１のデータセットを取得するデータ取得手段と、
前記複数のデータの夫々の評価値に基づいて、前記第１のデータセットの中から、事前学習用の第２のデータセットと、追加学習用の第３のデータセットとを選定する選定手段と、
前記第２のデータセットを用いて事前学習した推論モデルを生成する事前学習手段と、
前記事前学習した推論モデルと前記第３のデータセットを用いて、追加学習した推論モデルを生成する追加学習手段と、
を有することを特徴とする情報処理装置。
前記複数のデータの夫々の評価値に基づいて、前記第１のデータセットの中から、事前学習用の第２のデータセットと、追加学習用の第３のデータセットとを選定する選定手段と、
前記第２のデータセットを用いて事前学習した推論モデルを生成する事前学習手段と、
前記事前学習した推論モデルと前記第３のデータセットを用いて、追加学習した推論モデルを生成する追加学習手段と、
を有することを特徴とする情報処理装置。
【請求項2】
前記選定手段は、前記複数のデータの夫々から算出した推論対象の領域の円形度を前記評価値として取得し、
前記評価値が閾値以上の場合に前記第２のデータセットを選定し、前記評価値が閾値未満の場合に前記第３のデータセットを選定することを特徴とする請求項１に記載の情報処理装置。
前記評価値が閾値以上の場合に前記第２のデータセットを選定し、前記評価値が閾値未満の場合に前記第３のデータセットを選定することを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記選定手段は、前記複数のデータの夫々から、画像のコントラスト、前記画像のノイズレベル、前記画像中のエッジ情報、及び前記画像の解像度のうち少なくとも一つを前記評価値として取得することを特徴とする請求項１に記載の情報処理装置。
【請求項4】
前記選定手段は、複数の評価値と、前記複数の評価値の夫々について設定した閾値とを比較し、
前記評価値が閾値以上の場合に前記第２のデータセットと判定し、前記評価値が閾値未満の場合に前記第３のデータセットと判定し、各評価値の判定を統合した評価結果に基づいて、前記第２のデータセットと前記第３のデータセットを選定することを特徴とする請求項３に記載の情報処理装置。
前記評価値が閾値以上の場合に前記第２のデータセットと判定し、前記評価値が閾値未満の場合に前記第３のデータセットと判定し、各評価値の判定を統合した評価結果に基づいて、前記第２のデータセットと前記第３のデータセットを選定することを特徴とする請求項３に記載の情報処理装置。
【請求項5】
前記選定手段は、前記第１のデータセットにおける各々のデータの特徴量を取得し、前記特徴量に基づいて前記第１のデータセットを複数のデータセットに分割することを特徴とする請求項１に記載の情報処理装置。
【請求項6】
前記選定手段は、前記複数のデータセットにおけるデータ数を評価値として計算し、前記評価値に基づいて前記第２のデータセットと前記第３のデータセットを選定することを特徴とする請求項５に記載の情報処理装置。
【請求項7】
前記選定手段は、前記複数のデータセットのうち、前記評価値が最も高いデータセットを前記第２のデータセットと選定し、
前記複数のデータセットから前記選定したデータセットを除いた残りのデータセットを前記第３のデータセットと選定することを特徴とする請求項６に記載の情報処理装置。
前記複数のデータセットから前記選定したデータセットを除いた残りのデータセットを前記第３のデータセットと選定することを特徴とする請求項６に記載の情報処理装置。
【請求項8】
前記選定手段は、前記複数のデータセット内におけるデータ間の距離の二乗和を前記評価値として計算し、
前記複数のデータセットのうち、前記評価値が最も小さいデータセットを前記第２のデータセットと選定し、前記複数のデータセットから前記選定したデータセットを除いた残りのデータセットを前記第３のデータセットと選定することを特徴とする請求項５に記載の情報処理装置。
前記複数のデータセットのうち、前記評価値が最も小さいデータセットを前記第２のデータセットと選定し、前記複数のデータセットから前記選定したデータセットを除いた残りのデータセットを前記第３のデータセットと選定することを特徴とする請求項５に記載の情報処理装置。
【請求項9】
前記選定手段は、前記複数のデータセット間の距離の二乗和を前記評価値として計算し、
前記複数のデータセットのうち、前記評価値が最も小さいデータセットを前記第２のデータセットと選定し、前記複数のデータセットから前記選定したデータセットを除いた残りのデータセットを前記第３のデータセットと選定することを特徴とする請求項５に記載の情報処理装置。
前記複数のデータセットのうち、前記評価値が最も小さいデータセットを前記第２のデータセットと選定し、前記複数のデータセットから前記選定したデータセットを除いた残りのデータセットを前記第３のデータセットと選定することを特徴とする請求項５に記載の情報処理装置。
【請求項10】
前記選定手段は、前記複数のデータセット間の距離を前記評価値として計算し、
前記複数のデータセットのうち、前記評価値が最も小さいデータセットを前記第２のデータセットと選定し、前記複数のデータセットから前記選定したデータセットを除いた残りのデータセットを前記第３のデータセットと選定することを特徴とする請求項５に記載の情報処理装置。
前記複数のデータセットのうち、前記評価値が最も小さいデータセットを前記第２のデータセットと選定し、前記複数のデータセットから前記選定したデータセットを除いた残りのデータセットを前記第３のデータセットと選定することを特徴とする請求項５に記載の情報処理装置。
【請求項11】
前記選定手段は、複数の評価値として、前記複数のデータセットにおけるデータ数、前記複数のデータセット内におけるデータ間の距離の二乗和、前記複数のデータセット間の距離の二乗和および前記複数のデータセット間の距離を取得し、
各評価値の判定を統合した評価結果に基づいて、前記第２のデータセットと前記第３のデータセットを選定することを特徴とする請求項５乃至１０のいずれか１項に記載の情報処理装置。
各評価値の判定を統合した評価結果に基づいて、前記第２のデータセットと前記第３のデータセットを選定することを特徴とする請求項５乃至１０のいずれか１項に記載の情報処理装置。
【請求項12】
前記選定手段は、前記第１のデータセットにおける各々のデータに対して、ＨＯＧ、ＳＨＩＦＴ、ＳＵＲＦ及びＡｕｔｏＥｎｃｏｄｅｒのうち少なくともいずれか一つの特徴量を取得し、当該一つの特徴量に基づいて前記第１のデータセットを前記複数のデータセットに分割することを特徴とする請求項５乃至１１のいずれか１項に記載の情報処理装置。
【請求項13】
前記選定手段は、前記複数のデータセットから複数の試行推論モデルを生成し、前記複数の試行推論モデルから算出した評価値に基づいて、前記第２のデータセットと前記第３のデータセットを選定することを特徴とする請求項５に記載の情報処理装置。
【請求項14】
前記選定手段は、前記複数の試行推論モデルのテスト結果の精度を前記評価値とし取得し、
前記テスト結果の精度のうち、最も精度の高い試行推論モデルの生成に用いたデータセットを前記第２のデータセットと選定し、前記複数のデータセットから前記選定したデータセットを除いた残りのデータセットを前記第３のデータセットと選定することを特徴とする請求項１３に記載の情報処理装置。
前記テスト結果の精度のうち、最も精度の高い試行推論モデルの生成に用いたデータセットを前記第２のデータセットと選定し、前記複数のデータセットから前記選定したデータセットを除いた残りのデータセットを前記第３のデータセットと選定することを特徴とする請求項１３に記載の情報処理装置。
【請求項15】
前記選定手段は、前記複数のデータセットのデータ数に基づいて、試行推論モデルを生成するか判定し、
前記データ数が基準値以上のデータセットに対して、前記選定手段は前記試行推論モデルを生成し、当該データセットを前記第２のデータセットと選定し、前記複数のデータセットから前記選定したデータセットを除いた残りのデータセットを前記第３のデータセットと選定することを特徴とする請求項１３または１４に記載の情報処理装置。
前記データ数が基準値以上のデータセットに対して、前記選定手段は前記試行推論モデルを生成し、当該データセットを前記第２のデータセットと選定し、前記複数のデータセットから前記選定したデータセットを除いた残りのデータセットを前記第３のデータセットと選定することを特徴とする請求項１３または１４に記載の情報処理装置。
【請求項16】
推論対象データを取得する推論データ取得手段と、
前記推論対象データの評価値に基づいて、事前学習済の推論モデルまたは追加学習済の推論モデルを選択する推論モデル選択手段と、
前記推論モデル選択手段により選択された推論モデルに前記推論対象データを入力し、当該推論モデルからの出力に基づいて推論する推論手段と、
を有することを特徴とする情報処理装置。
前記推論対象データの評価値に基づいて、事前学習済の推論モデルまたは追加学習済の推論モデルを選択する推論モデル選択手段と、
前記推論モデル選択手段により選択された推論モデルに前記推論対象データを入力し、当該推論モデルからの出力に基づいて推論する推論手段と、
を有することを特徴とする情報処理装置。
【請求項17】
事前学習の際に用いた評価値の判定条件と対応付けられた前記事前学習済の推論モデル、及び追加学習の際に用いた評価値の判定条件と対応付けられた前記追加学習済の推論モデルを記憶する記憶手段を更に備え、
前記推論モデル選択手段は前記推論対象データの評価値に基づいて、前記事前学習済の推論モデル、または前記追加学習済の推論モデルを前記記憶手段から選択することを特徴とする請求項１６に記載の情報処理装置。
前記推論モデル選択手段は前記推論対象データの評価値に基づいて、前記事前学習済の推論モデル、または前記追加学習済の推論モデルを前記記憶手段から選択することを特徴とする請求項１６に記載の情報処理装置。
【請求項18】
複数のデータを含む第１のデータセットを取得するデータ取得手段と、
前記第１のデータセットにおける各々のデータの特徴量に基づいて前記第１のデータセットを複数のデータセットに分割する選定手段と、
学習済の推論モデルを前記記憶手段に記憶する記憶処理手段と、を更に有し、
前記記憶処理手段は、前記第１のデータセットに基づいた学習により生成された学習済の推論モデルと、前記複数のデータセットの夫々に基づいた学習により生成された学習済の推論モデルとの間で、テスト結果の精度を比較して、より精度の高い推論モデルを前記記憶手段に記憶することを特徴とする請求項１７に記載の情報処理装置。
前記第１のデータセットにおける各々のデータの特徴量に基づいて前記第１のデータセットを複数のデータセットに分割する選定手段と、
学習済の推論モデルを前記記憶手段に記憶する記憶処理手段と、を更に有し、
前記記憶処理手段は、前記第１のデータセットに基づいた学習により生成された学習済の推論モデルと、前記複数のデータセットの夫々に基づいた学習により生成された学習済の推論モデルとの間で、テスト結果の精度を比較して、より精度の高い推論モデルを前記記憶手段に記憶することを特徴とする請求項１７に記載の情報処理装置。
【請求項19】
前記複数のデータの夫々の評価値に基づいて、前記第１のデータセットの中から選定された事前学習用の第２のデータセットを用いて事前学習した推論モデルを生成する事前学習手段と、
前記複数のデータの夫々の評価値に基づいて、前記第１のデータセットの中から選定された追加学習用の第３のデータセットと前記事前学習した推論モデルとを用いて、追加学習した推論モデルを生成する追加学習手段と、を更に有し、
前記記憶処理手段は、
前記第３のデータセットと前記事前学習した推論モデルとを用いて追加学習した推論モデルと、前記追加学習を行わずに前記第３のデータセットに基づいた学習により生成された学習済の推論モデルとの間で、テスト結果の精度を比較して、より精度の高い推論モデルを前記記憶手段に記憶することを特徴とする請求項１８に記載の情報処理装置。
前記複数のデータの夫々の評価値に基づいて、前記第１のデータセットの中から選定された追加学習用の第３のデータセットと前記事前学習した推論モデルとを用いて、追加学習した推論モデルを生成する追加学習手段と、を更に有し、
前記記憶処理手段は、
前記第３のデータセットと前記事前学習した推論モデルとを用いて追加学習した推論モデルと、前記追加学習を行わずに前記第３のデータセットに基づいた学習により生成された学習済の推論モデルとの間で、テスト結果の精度を比較して、より精度の高い推論モデルを前記記憶手段に記憶することを特徴とする請求項１８に記載の情報処理装置。
【請求項20】
複数のデータを含む第１のデータセットを取得するデータ取得工程と、
前記複数のデータの夫々の評価値に基づいて、前記第１のデータセットの中から、事前学習用の第２のデータセットと、追加学習用の第３のデータセットとを選定する選定工程と、
前記第２のデータセットを用いて事前学習した推論モデルを生成する事前学習工程と、
前記事前学習した推論モデルと前記第３のデータセットを用いて、追加学習した推論モデルを生成する追加学習工程と、
を有することを特徴とする情報処理方法。
前記複数のデータの夫々の評価値に基づいて、前記第１のデータセットの中から、事前学習用の第２のデータセットと、追加学習用の第３のデータセットとを選定する選定工程と、
前記第２のデータセットを用いて事前学習した推論モデルを生成する事前学習工程と、
前記事前学習した推論モデルと前記第３のデータセットを用いて、追加学習した推論モデルを生成する追加学習工程と、
を有することを特徴とする情報処理方法。
【請求項21】
推論対象データを取得する推論データ取得工程と、
前記推論対象データの評価値に基づいて、事前学習済の推論モデルまたは追加学習済の推論モデルを選択する推論モデル選択工程と、
前記推論モデル選択工程で選択された推論モデルに前記推論対象データを入力し、当該推論モデルからの出力に基づいて推論する推論工程と、
を有することを特徴とする情報処理方法。
前記推論対象データの評価値に基づいて、事前学習済の推論モデルまたは追加学習済の推論モデルを選択する推論モデル選択工程と、
前記推論モデル選択工程で選択された推論モデルに前記推論対象データを入力し、当該推論モデルからの出力に基づいて推論する推論工程と、
を有することを特徴とする情報処理方法。
【請求項22】
コンピュータを、請求項１乃至１９のいずれか１項に記載された情報処理装置の各手段として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法及びプログラムに関するものである。
【背景技術】
【0002】
機械学習において、学習用データセットで学習させることで、入力データに対して推論する能力をもつものを推論モデルと呼ぶ。ここで、学習用データセットの中には、学習が容易な条件のデータと、学習が困難な条件のデータとが混在している場合があり、かかるデータの混在は推論モデルにおける推論精度低下の要因になり得る。
【0003】
特許文献１には、データの条件に応じて複数の推論モデルを生成し、入力データに対して最適な推論モデルを選択する技術が開示されている。
【0004】
また、特許文献２には、データ数を基準に学習用データセットをクラスタリングした上で、クラスタリングされたデータ群の一つを事前学習用データセットとし、もう一つを追加学習用データセットとして、試行的に転移学習を実施することで、転移学習に有効なデータを判断する技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１２－６８９６５号公報
【特許文献2】特開２０１６－１９１９６６号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１の技術では、条件に応じたデータを学習させるために、個々の推論モデルの学習に用いるデータが少なくなり、推論精度が向上しない場合が生じ得る。また、特許文献２の技術では、事前学習用データセットと追加学習用データセットはユーザによって予め定められており、データセットの定め方によっては推論精度が向上しない場合が生じ得る。
【0007】
本発明は、上記の課題に鑑みて、学習が困難な条件のデータに対して、推論精度を向上させた推論モデルを生成することができる情報処理技術を提供する。
【課題を解決するための手段】
【0008】
本発明の一態様による情報処理装置は以下の構成を備える。すなわち、情報処理装置は、複数のデータを含む第１のデータセットを取得するデータ取得手段と、前記複数のデータの夫々の評価値に基づいて、前記第１のデータセットの中から、事前学習用の第２のデータセットと、追加学習用の第３のデータセットとを選定する選定手段と、前記第２のデータセットを用いて事前学習した推論モデルを生成する事前学習手段と、前記事前学習した推論モデルと前記第３のデータセットを用いて、追加学習した推論モデルを生成する追加学習手段と、を有する。
【発明の効果】
【0009】
本発明によれば、学習が困難な条件のデータに対して、推論精度を向上させた推論モデルを生成することができる。
【図面の簡単な説明】
【0010】
【図1】第１の実施形態に係る情報処理装置の機能構成を示す図。
【図2】第１の実施形態に係る円形度の計算結果の一例を示す図である。
【図3】第１の実施形態に係る情報処理装置のハードウェア構成の一例を示す図。
【図4】第１の実施形態に係る情報処理装置の処理の流れを示す図。
【図5】第２の実施形態に係るデータセットの分割を例示的に示す図。
【図6】第２の実施形態に係る情報処理装置の処理の流れを示す図。
【図7】第２の実施形態に係る推論モデルの生成例を示す図。
【図8】第３の実施形態に係る試行推論モデルの評価の一例を示す図。
【図9】第３の実施形態に係る情報処理装置の処理の流れを示す図。
【図10】第４の実施形態に係る情報処理装置の機能構成を示す図。
【図11A】第４の実施形態に係る情報処理装置の処理の流れを示す図。
【図11B】第４の実施形態に係る情報処理装置が、記憶媒体に記憶された推論モデルを選択して、推論する処理の流れを説明する図。
【図12】第４の実施形態の変形例２に係る推論モデルの生成例を示す図。
【図13】第４の実施形態の変形例３に係る推論モデルの生成例を示す図。
【発明を実施するための形態】
【0011】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0012】
以下に説明する本発明の各実施形態は、推論対象情報である、モダリティで取得した生データや、生データから画像再構成によって生成された診断用の画像データに対して適用できる。モダリティは、例えば、Ｘ線ＣＴ装置、ＭＲＩ装置、ＳＰＥＣＴ装置、ＰＥＴ装置を含む。
【0013】
また、各実施形態の説明において、転移学習とは、複数のデータセットのうち、任意の一つのデータセットで学習済みモデル（事前学習モデル）を生成し、学習済みモデルのパラメータを初期値として、他のデータセットを用いて学習モデルを生成する技術をいう。
【0014】
また、追加学習とは、既に学習済みのモデル（事前学習モデル）に対して、別のデータセットで学習済みモデル（追加学習モデル）を生成する技術をいい、別のデータセットが、学習済みのモデルの生成に使用したデータセットと異なる領域のものである場合に、追加学習は転移学習と呼ばれる。
【0015】
［第１の実施形態］
第１の実施形態では、学習用のデータセットから、データの評価値に基づいて、事前学習用のデータセット（第２のデータセット）と追加学習用のデータセット（第３のデータセット）とを選定し、選定したデータセットに基づいて推論モデル（事前学習モデル、追加学習モデル）を生成する処理を説明する。
第１の実施形態では、学習用のデータセットから、データの評価値に基づいて、事前学習用のデータセット（第２のデータセット）と追加学習用のデータセット（第３のデータセット）とを選定し、選定したデータセットに基づいて推論モデル（事前学習モデル、追加学習モデル）を生成する処理を説明する。
【0016】
推論モデル（事前学習モデル、追加学習モデル）は、例えば、画像の中から特定の疾患を識別するように機械学習された学習済モデル（ｐｒｅ－ｔｒａｉｎｅｄ ｍｏｄｅｌ）であり、被検体の推論対象情報から特定の疾患に関する推論を行う。
【0017】
「特定の疾患に関する推論を行う」とは、疾患の検出や分類、領域分割を行うことであり、「疾患」とは、体内に生じた疾病もしくは傷、又は、疾病もしくは傷に起因して体内に生じた変化などである。典型的には、病変部位、出血部位、骨折部位などが該当する。また「特定の」とは、「あらかじめ決められた種類の」という意味である。すなわち、推論モデルは、あらゆる種類の傷病をすべて識別可能な能力を有している必要はなく、限られた種類の傷病を識別可能であるように機械学習（トレーニング）されていればよい。
【0018】
推論モデルに入力される推論対象情報は、モダリティの生データでもよいし、３次元の画像データ（例えばボリュームデータ）でもよいし、２次元の画像データ（例えば断層画像データ）でもよい。
【0019】
図１は第１の実施形態に係る情報処理装置の機能構成を示す図であり、本実施形態では、推論対象の領域として大動脈領域を検出する推論モデル（事前学習モデル、追加学習モデル）を生成する。
【0020】
学習用のデータセットにおいて、入力データは、例えば、胸部ＣＴ画像の大動脈領域を含むＡｘｉａｌ断面のスライス画像であり、正解データは推論対象の領域（例えば、大動脈の上行部、下行部、弓部）が予め抽出された大動脈領域のマスクである。本実施形態では、データの評価値として推論対象の領域（大動脈領域）の円形度に基づいてデータセットの選定を行う。ここで、円形度とは、図形の複雑さを表す指標であり、０～１．０の数値で示される。図形が真円の場合に円形度は１．０となり、円形度が１．０から０に近づくに従い図形は真円から歪んだ度合いが高い形状となる。例えば、大動脈の上行部及び下行部は真円に近い領域であり、学習が容易な領域になるのに対して、大動脈の弓部はバリエーションに富んだ形状となり、学習が困難な領域となる。
【0021】
図１に示すように、本実施形態の情報処理装置１００は、機能構成として、データ取得部１０１、選定部１０２、事前学習部１０３、追加学習部１０４を有する。
【0022】
（データ取得部１０１）
データ取得部１０１は学習用の複数のデータを含むデータセット（第１のデータセット）を取得する。例えば、データ取得部１０１は、ネットワークを介して、外部のデータベース、データ入力装置やモダリティから推論モデルの学習に用いるデータセットを取得する。ここで、データ取得部１０１が取得するデータセットには、学習用の入力データおよび各入力データに対応した正解データと付帯情報とが含まれる。付帯情報には、推論対象の領域を示す矩形情報やマスク画像など、学習を補助するための情報や学習の結果を評価するための情報が含まれるものとする。
データ取得部１０１は学習用の複数のデータを含むデータセット（第１のデータセット）を取得する。例えば、データ取得部１０１は、ネットワークを介して、外部のデータベース、データ入力装置やモダリティから推論モデルの学習に用いるデータセットを取得する。ここで、データ取得部１０１が取得するデータセットには、学習用の入力データおよび各入力データに対応した正解データと付帯情報とが含まれる。付帯情報には、推論対象の領域を示す矩形情報やマスク画像など、学習を補助するための情報や学習の結果を評価するための情報が含まれるものとする。
【0023】
（選定部１０２）
選定部１０２は学習用の複数のデータの夫々から算出した推論対象の領域の評価値に基づいて、データセット（第１のデータセット）から事前学習用のデータセット（第２のデータセット）と追加学習用のデータセット（第３のデータセット）とを選定する。選定部１０２は、データ取得部１０１において取得したデータセット（第１のデータセット）から、大動脈領域の円形度に基づき、事前学習用のデータセットと追加学習用のデータセットとを選定する。
選定部１０２は学習用の複数のデータの夫々から算出した推論対象の領域の評価値に基づいて、データセット（第１のデータセット）から事前学習用のデータセット（第２のデータセット）と追加学習用のデータセット（第３のデータセット）とを選定する。選定部１０２は、データ取得部１０１において取得したデータセット（第１のデータセット）から、大動脈領域の円形度に基づき、事前学習用のデータセットと追加学習用のデータセットとを選定する。
【0024】
円形度は、正解データのマスク画像において、マスク領域の周囲長Ｌおよび面積Ｓを用いることにより、以下の式（１）により計算される。
【0025】
Ｃ＝４πＳ／Ｌ２・・・（１）
図２は円形度の計算結果の一例を示す図である。図２において、画像２０１ａは大動脈領域の上行部または下行部を示す画像である。選定部１０２は、画像２０１ａに対応するマスク画像２０１ｂから取得したマスク領域の周囲長Ｌおよび面積Ｓに基づいて、円形度を０．９１と計算する。
図２は円形度の計算結果の一例を示す図である。図２において、画像２０１ａは大動脈領域の上行部または下行部を示す画像である。選定部１０２は、画像２０１ａに対応するマスク画像２０１ｂから取得したマスク領域の周囲長Ｌおよび面積Ｓに基づいて、円形度を０．９１と計算する。
【0026】
同様に、画像２０２ａは大動脈領域の弓部を示す画像であり、選定部１０２は画像２０２ａに対応するマスク画像２０２ｂから取得したマスク領域の周囲長Ｌおよび面積Ｓに基づいて、円形度を０．４６と計算する。なお、画像データに対応したマスク画像がデータセットに含まれていない場合に、選定部１０２は推論対象の領域（大動脈領域）の画像データにセグメンテーション等の画像処理を施し、検出したマスク領域上で円形度を計算してもよい。
【0027】
また、選定部１０２は、算出した円形度と閾値とを比較して、算出した円形度が閾値以上かどうかを判定する。円形度は０．０から１．０の数値で示されるため、ユーザは０．０から１．０の数値範囲で任意に閾値（例えば０．７）を設定することが可能である。
【0028】
選定部１０２は、円形度が閾値以上であった場合に、データを事前学習用として選定する。一方、選定部１０２は、円形度が閾値未満であった場合に、データを追加学習用として選定する。図２のように円形度が計算された場合、画像２０１ａは事前学習用のデータとして選定され、画像２０２ａは追加学習用のデータとして選定される。
【0029】
（事前学習部１０３）
事前学習部１０３は、選定部１０２により選定された事前学習用のデータセットを用いて事前学習した推論モデル（以下、事前学習モデル）を生成する。一般的に、推論モデルの学習において用いられるデータセットは、学習用、検証用、テスト用に分けられる。ユーザは、事前学習用のデータセットおよび検証用のデータセットでハイパーパラメータの最適化をして、テスト用のデータを入力した推論結果（以下、テスト結果）に基づいて、推論モデルの性能を評価する。以下、本発明の実施形態における推論モデルの生成は、同様の手順で行われているものとする。なお、ハイパーパラメータの調整は、ユーザが手動で行ってもよいし、Ｏｐｕｔｕｎａといったハイパーパラメータの最適化を自動化するツールを用いてもよい。
事前学習部１０３は、選定部１０２により選定された事前学習用のデータセットを用いて事前学習した推論モデル（以下、事前学習モデル）を生成する。一般的に、推論モデルの学習において用いられるデータセットは、学習用、検証用、テスト用に分けられる。ユーザは、事前学習用のデータセットおよび検証用のデータセットでハイパーパラメータの最適化をして、テスト用のデータを入力した推論結果（以下、テスト結果）に基づいて、推論モデルの性能を評価する。以下、本発明の実施形態における推論モデルの生成は、同様の手順で行われているものとする。なお、ハイパーパラメータの調整は、ユーザが手動で行ってもよいし、Ｏｐｕｔｕｎａといったハイパーパラメータの最適化を自動化するツールを用いてもよい。
【0030】
（追加学習部１０４）
追加学習部１０４は、事前学習部１０３で生成された事前学習モデルおよび選定部１０２で選定された追加学習用のデータセットを用いて追加学習した推論モデル（以下、追加学習モデル）を生成する。
追加学習部１０４は、事前学習部１０３で生成された事前学習モデルおよび選定部１０２で選定された追加学習用のデータセットを用いて追加学習した推論モデル（以下、追加学習モデル）を生成する。
【0031】
（情報処理装置１００のハードウェア構成）
情報処理装置１００は、プロセッサ、メモリ、ストレージなどを備えたコンピュータにより構成することが可能である。この場合、ストレージに格納されたプログラムをメモリにロードし、当該プログラムをプロセッサが実行することにより、データ取得部１０１、選定部１０２、事前学習部１０３、追加学習部１０４などの機能および処理が実現される。ただしこの構成に限らず、例えば、データ取得部１０１、選定部１０２、事前学習部１０３、追加学習部１０４のうちの全部又は一部を、専用に設計されたプロセッサ（ＡＳＩＣなど）又はＦＰＧＡにより実現してもよい。あるいは、演算処理の一部をＧＰＵやＤＳＰなどのプロセッサで実行してもよい。また、情報処理装置１００は、単一のハードウェアで構成されていてもよいし、複数のハードウェアで構成されていてもよい。例えば、クラウドコンピューティングや分散コンピューティングを利用し、複数のコンピュータが協働して情報処理装置１００の機能および処理を実現してもよい。
情報処理装置１００は、プロセッサ、メモリ、ストレージなどを備えたコンピュータにより構成することが可能である。この場合、ストレージに格納されたプログラムをメモリにロードし、当該プログラムをプロセッサが実行することにより、データ取得部１０１、選定部１０２、事前学習部１０３、追加学習部１０４などの機能および処理が実現される。ただしこの構成に限らず、例えば、データ取得部１０１、選定部１０２、事前学習部１０３、追加学習部１０４のうちの全部又は一部を、専用に設計されたプロセッサ（ＡＳＩＣなど）又はＦＰＧＡにより実現してもよい。あるいは、演算処理の一部をＧＰＵやＤＳＰなどのプロセッサで実行してもよい。また、情報処理装置１００は、単一のハードウェアで構成されていてもよいし、複数のハードウェアで構成されていてもよい。例えば、クラウドコンピューティングや分散コンピューティングを利用し、複数のコンピュータが協働して情報処理装置１００の機能および処理を実現してもよい。
【0032】
図３は第１の実施形態に係る情報処理装置１００のハードウェア構成の一例を示す図である。この例では、情報処理装置１００が、ＣＰＵ３００、ＧＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、記憶装置３０４を有しており、これらがシステムバス３０５で接続されている。また、情報処理装置１００には、表示装置３０６と、マウスやキーボードなどの入力装置３０７とが接続されている。ユーザは入力装置３０７を介して閾値の設定や学習におけるパラメータの調整を行うことができ、情報処理装置１００による学習の結果を表示装置３０６の表示により確認することができる。図１で説明した機能構成は、例えば、情報処理装置１００のＣＰＵ３００やＧＰＵ３０１が、ＲＯＭ３０３または記憶装置３０４から読み込んだプログラムを用いて、各部の機能が構成される。
【0033】
（情報処理装置１００の処理フロー）
次に、情報処理装置１００が実行する処理の流れを説明する。図４は第１の実施形態に係る情報処理装置１００の処理の流れを示す図である。ステップＳ４０１において、データ取得部１０１は、推論モデルの学習に用いるデータセットＡ０１を取得する。
次に、情報処理装置１００が実行する処理の流れを説明する。図４は第１の実施形態に係る情報処理装置１００の処理の流れを示す図である。ステップＳ４０１において、データ取得部１０１は、推論モデルの学習に用いるデータセットＡ０１を取得する。
【0034】
ステップＳ４０２において、選定部１０２は、データセットＡ０１の各データの円形度を計算する。
【0035】
ステップＳ４０３において、選定部１０２は、ステップＳ４０２において算出した円形度と閾値とを比較して、円形度が閾値以上かどうかを判定する。円形度が閾値以上であった場合（Ｓ４０３－Ｙｅｓ）、ステップＳ４０４において、選定部１０２はデータセットＡ０１のデータを事前学習用のデータとして選定する。一方、ステップＳ４０３の判定処理において、円形度が閾値未満であった場合（Ｓ４０３－Ｎｏ）、ステップＳ４０５において、選定部１０２はデータセットＡ０１のデータを追加学習用のデータとして選定する。
【0036】
ステップＳ４０６において、選定部１０２は、データセットＡ０１において他のデータが存在するか否かを判定する。他のデータが存在する場合（Ｓ４０６－Ｎｏ）、選定部１０２は処理をステップＳ４０３に戻し、他のデータに対してステップＳ４０３からＳ４０５の処理を同様に繰り返す。
【0037】
一方、ステップＳ４０６の判定処理において、データセットＡ０１に他のデータが存在しない場合（Ｓ４０６－Ｙｅｓ）、選定部１０２は処理をステップＳ４０７に進める。ステップＳ４０６までの処理により、選定部１０２は、推論対象の領域のデータの評価値（円形度）に基づいて、データセット（第１のデータセット）から事前学習用のデータセット（第２のデータセット）と追加学習用のデータセット（第３のデータセット）とを選定する処理を完了させる。
【0038】
ステップＳ４０７において、事前学習部１０３は、ステップＳ４０４で選定された事前学習用のデータセットを用いて事前学習モデルを生成する。
【0039】
ステップＳ４０８において、追加学習部１０４は、ステップＳ４０７で生成された事前学習モデルおよびステップＳ４０５で選定された追加学習用のデータセットを用いて追加学習モデルを生成する。以上の処理により、情報処理装置１００による一連の処理は終了となる。
【0040】
本実施形態によれば、データ取得部１０１により取得されたデータセットにおけるデータの評価値として円形度を用いて、選定部１０２は学習が容易なデータセットと、学習が困難なデータセットとを選定し、事前学習部１０３は学習が容易なデータセット（事前学習用のデータセット）を用いて事前学習モデルを生成する。学習が困難なデータセットに関して、追加学習部１０４は事前学習部１０３で生成された事前学習モデルに対して、困難なデータセット（追加学習用のデータセット）を用いた追加学習を行うことにより、学習が困難な条件のデータに対して、推論精度を向上させた推論モデルを生成することができる。
【0041】
（第１の実施形態の変形例１）
第１の実施形態では、円形度を判定するための閾値を任意の値に設定する場合について説明した。本発明の実施形態はこれに限らず、閾値は自動で決定してもよい。例えば、選定部１０２は、全てのデータの円形度を計算し、計算した円形度のヒストグラムに基づいて、パーセンタイル法や大津の二値化といった公知の閾値算出手法を用いて閾値を自動で決定してもよい。
第１の実施形態では、円形度を判定するための閾値を任意の値に設定する場合について説明した。本発明の実施形態はこれに限らず、閾値は自動で決定してもよい。例えば、選定部１０２は、全てのデータの円形度を計算し、計算した円形度のヒストグラムに基づいて、パーセンタイル法や大津の二値化といった公知の閾値算出手法を用いて閾値を自動で決定してもよい。
【0042】
（第１の実施形態の変形例２）
第１の実施形態では、データの評価値を円形度として、事前学習用のデータセットと追加学習用のデータセットを選定する処理について説明した。本発明の第１の実施形態において、データの評価値は円形度に限られず、選定部１０２は、種々の評価値に基づいて、事前学習用のデータセットと追加学習用のデータセットを選定する処理を行うことが可能である。選定部１０２は、複数のデータの夫々から、例えば、画像のコントラストや画像のノイズレベル、画像中のエッジ情報、画像の解像度など少なくとも一つを評価値として取得することが可能である。
第１の実施形態では、データの評価値を円形度として、事前学習用のデータセットと追加学習用のデータセットを選定する処理について説明した。本発明の第１の実施形態において、データの評価値は円形度に限られず、選定部１０２は、種々の評価値に基づいて、事前学習用のデータセットと追加学習用のデータセットを選定する処理を行うことが可能である。選定部１０２は、複数のデータの夫々から、例えば、画像のコントラストや画像のノイズレベル、画像中のエッジ情報、画像の解像度など少なくとも一つを評価値として取得することが可能である。
【0043】
（第１の実施形態の変形例３）
第１の実施形態では、データの評価値を円形度のみ（単一の評価値）として、事前学習用のデータセットと追加学習用のデータセットを選定する処理について説明した。本発明の実施形態は単一の評価値（円形度）と閾値との比較に基づいた選定処理に限られず、選定部１０２は、複数の評価値の評価結果に基づいて、事前学習用のデータセットと追加学習用のデータセットを選定してもよい。複数の評価値としては、例えば、第１の実施形態で用いた円形度に加えて上記の変形例２で説明した複数の評価値（例えば、画像のコントラストや画像のノイズレベル、画像中のエッジ情報、画像の解像度）の評価結果に基づいて、選定部１０２は、事前学習用のデータセットと追加学習用のデータセットを選定することが可能である。
第１の実施形態では、データの評価値を円形度のみ（単一の評価値）として、事前学習用のデータセットと追加学習用のデータセットを選定する処理について説明した。本発明の実施形態は単一の評価値（円形度）と閾値との比較に基づいた選定処理に限られず、選定部１０２は、複数の評価値の評価結果に基づいて、事前学習用のデータセットと追加学習用のデータセットを選定してもよい。複数の評価値としては、例えば、第１の実施形態で用いた円形度に加えて上記の変形例２で説明した複数の評価値（例えば、画像のコントラストや画像のノイズレベル、画像中のエッジ情報、画像の解像度）の評価結果に基づいて、選定部１０２は、事前学習用のデータセットと追加学習用のデータセットを選定することが可能である。
【0044】
その場合、第１の実施形態や変形例１で説明した手法により各評価値について閾値を設定して、選定部１０２は、複数の評価値と、複数の評価値の夫々について設定した閾値とを比較し、評価値が閾値以上の場合に事前学習用のデータ（第２のデータセット）と判定し、評価値が閾値未満の場合に追加学習用のデータ（第３のデータセット）と判定する。そして、選定部１０２は、各評価値の判定を統合した評価結果に基づいて、事前学習用のデータセットと追加学習用のデータセットを選定してもよい。
【0045】
画像のコントラストを例とすると、データにおける画像のコントラストがコントラスト閾値以上の場合に、選定部１０２は、係るデータを事前学習用のデータと判定し、判定結果を示す情報「０」を設定する。また、データにおける画像のコントラストがコントラスト閾値未満の場合に、選定部１０２は、係るデータを追加学習用のデータと判定し、判定結果を示す情報「１」を設定する。
【0046】
他の評価値（円形度、画像のノイズレベル、画像中のエッジ情報、画像の解像度など）についても、選定部１０２は、各評価値について設定された閾値との比較に基づいた判定を行い、各評価値の判定結果を示す情報として「０」または「１」を設定する。このようにして、選定部１０２は、複数の評価値について判定結果を示す情報を取得し、[円形度、画像のコントラスト、画像のノイズレベル、画像中のエッジ情報、画像の解像度]の順番に、複数の評価値を統合した評価結果を［０、１、１、０、１・・・］のようなデータ配列として取得する。
【0047】
データが事前学習用のデータであるか、追加学習用のデータであるかの選定は、統合した評価結果に基づいた投票処理によって行う。ここで、投票処理とは、データ配列において「０」の総数と「１」の総数とを比較して、多い方の属性にデータを選定する処理である。「０」の総数が多い場合に、選定部１０２は事前学習用のデータとして選定し、「１」の総数が多い場合に、選定部１０２は追加学習用のデータとして選定する。
【0048】
上記のデータ配列では、事前学習用のデータと判定された評価値の総数は２であり、追加学習用のデータと判定された評価値の総数は３であり、「１」の総数が「０」の総数に比べて多いので、選定部１０２は、判定対象のデータを追加学習用のデータに選定する。
【0049】
なお、選定方法は上記のような統合した評価結果に基づいた投票処理に限定されず、例えば、選定部１０２は、各評価値に重みを割り当て、判定結果に対して加重平均値を計算し、加重平均値が閾値以上になるか否かでデータの選定を行うことも可能である。
【0050】
［第２の実施形態］
第１の実施形態では、データの評価値に基づいて、事前学習用のデータセットと追加学習用のデータセットを選定する方法を説明した。これに対し、本実施形態では、データセットを複数のデータセットに分割した上で、分割したデータセットにおけるデータの評価値に基づいて、事前学習用のデータセットと追加学習用のデータセットとを選定する処理を説明する。以下、本実施形態における情報処理装置１００の構成に関して、第１の実施形態と異なる部分を説明する。
第１の実施形態では、データの評価値に基づいて、事前学習用のデータセットと追加学習用のデータセットを選定する方法を説明した。これに対し、本実施形態では、データセットを複数のデータセットに分割した上で、分割したデータセットにおけるデータの評価値に基づいて、事前学習用のデータセットと追加学習用のデータセットとを選定する処理を説明する。以下、本実施形態における情報処理装置１００の構成に関して、第１の実施形態と異なる部分を説明する。
【0051】
（選定部１０２）
選定部１０２は、データ取得部１０１で取得したデータセット（第１のデータセット）における各々のデータの特徴量を抽出する。具体的には、データセットにおける各々のデータに対して、画像データの輝度勾配をヒストグラム化した画像特徴量としてＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量を計算する。なお、抽出する特徴量はＨＯＧ特徴量に限定されず、例えば、選定部１０２は、ＳＨＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）やＳＵＲＦ（Ｓｐｅｅｄ－Ｕｐ Ｒｕｂｕｓｔ Ｆｅａｔｕｒｅｓ）といった特徴量、およびＡｕｔｏＥｎｃｏｄｅｒのようにニューラルネットワークによる特徴量をデータセットにおける各々のデータから抽出してもよい。選定部１０２は、データセット（第１のデータセット）における各々のデータに対して、ＨＯＧ、ＳＨＩＦＴ、ＳＵＲＦ及びＡｕｔｏＥｎｃｏｄｅｒのうち少なくともいずれか一つの特徴量を取得し、取得した特徴量に基づいてデータセット（第１のデータセット）を複数のデータセットに分割する。
選定部１０２は、データ取得部１０１で取得したデータセット（第１のデータセット）における各々のデータの特徴量を抽出する。具体的には、データセットにおける各々のデータに対して、画像データの輝度勾配をヒストグラム化した画像特徴量としてＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量を計算する。なお、抽出する特徴量はＨＯＧ特徴量に限定されず、例えば、選定部１０２は、ＳＨＩＦＴ（Ｓｃａｌｅ－Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）やＳＵＲＦ（Ｓｐｅｅｄ－Ｕｐ Ｒｕｂｕｓｔ Ｆｅａｔｕｒｅｓ）といった特徴量、およびＡｕｔｏＥｎｃｏｄｅｒのようにニューラルネットワークによる特徴量をデータセットにおける各々のデータから抽出してもよい。選定部１０２は、データセット（第１のデータセット）における各々のデータに対して、ＨＯＧ、ＳＨＩＦＴ、ＳＵＲＦ及びＡｕｔｏＥｎｃｏｄｅｒのうち少なくともいずれか一つの特徴量を取得し、取得した特徴量に基づいてデータセット（第１のデータセット）を複数のデータセットに分割する。
【0052】
また、選定部１０２は、抽出した特徴量に基づいてデータセット（第１のデータセット）を複数のデータセットに分割（クラスタリング）する。クラスタリング方法として、選定部１０２は、例えば、ｋ－ｍｅａｎｓ法と呼ばれるアルゴリズムを用いることが可能である。ｋ－ｍｅａｎｓ法により、選定部１０２は、データセットＡ０１に含まれるデータを複数のクラスタに分割し、各クラスタに含まれるデータの集合を新たなデータセットとして生成する。これにより、データセットＡ０１は複数のデータセットに分割される。ここで、ｋ－ｍｅａｎｓ法におけるクラスタ数は、任意の値に設定することが可能である。図５はデータセットの分割（クラスタリング）を例示的に示す図である。図５ではデータから抽出した任意の特徴量（特徴量１、特徴量２）に関するデータの２次元的な分布が模式的に示されている（図７、図８においても同様）。分割するクラスタ数を３とした場合、図５に示すように、データ取得部１０１により取得されたデータセットＡ０１は３つのデータセットＢ０１、Ｂ０２、Ｂ０３に分割される。
【0053】
さらに、選定部１０２は、分割したデータセット（クラスタ）におけるデータの評価値を計算し、評価値に基づいて事前学習用のデータセットと追加学習用のデータセットを選定する。例えば、分割したデータセットに含まれるデータ数を評価値としてもよい。データセットに含まれるデータ数が多ければ、より学習は容易になるため、選定部１０２は評価値が最も高いデータセットを追加学習用とする。図５の場合、データ数の最も多いデータセットＢ０１が事前学習用のデータセット（第２のデータセット）として選定され、その他のデータセットＢ０２およびＢ０３が追加学習用のデータセットとして選定される。すなわち、複数のデータセット（Ｂ０１、Ｂ０２、Ｂ０３）から選定したデータセット（Ｂ０１）を除いた残りのデータセット（Ｂ０２、Ｂ０３）を追加学習用のデータセット（第３のデータセット）と選定される。
【0054】
（情報処理装置１００の処理フロー）
次に、情報処理装置１００が実行する処理の流れを説明する。図６は第２の実施形態に係る情報処理装置１００の処理の流れを示す図である。
次に、情報処理装置１００が実行する処理の流れを説明する。図６は第２の実施形態に係る情報処理装置１００の処理の流れを示す図である。
【0055】
ステップＳ６０１は、第１の実施形態におけるステップＳ４０１と同様の処理であり、データ取得部１０１は、推論モデルの学習に用いるデータセットＡ０１を取得する。
【0056】
ステップＳ６０２において、選定部１０２は、ステップＳ６０１で取得したデータセットＡ０１における特徴量を抽出する。
【0057】
ステップＳ６０３において、選定部１０２は、ステップＳ６０２で抽出した特徴量に基づいてデータセットＡ０１を分割（クラスタリング）する。選定部１０２は、データセットＡ０１に含まれるデータを複数のクラスタに分割し、各クラスタに含まれるデータの集合を新たなデータセット（図５のデータセットＢ０１、Ｂ０２及びＢ０３）として生成する。
【0058】
ステップＳ６０４において、選定部１０２は、ステップＳ６０３によって得られた各データセット（クラスタ）におけるデータの評価値を計算し、分割したデータセットを評価する。
【0059】
ステップＳ６０５において、選定部１０２は、ステップＳ６０４において計算した評価値に基づいて、事前学習用データセットと追加学習用データセットを選定する。具体的には、評価値が最も高いデータセットを追加学習用とする。
【0060】
ステップＳ６０６において、事前学習部１０３は、ステップＳ６０５で選定された事前学習用のデータセットを用いて事前学習モデルを生成する。図７は第２の実施形態に係る推論モデルの生成例を示す図である。図７に示すように分割された３つのデータセットＢ０１、Ｂ０２及びＢ０３のうち、データ数の最も多いデータセットＢ０１が事前学習用のデータセットとして選定され（Ｓ６０５）、事前学習部１０３は、事前学習用のデータセットＢ０１を用いて事前学習モデル７０１を生成する。
【0061】
ステップＳ６０７において、追加学習部１０４は、ステップＳ６０６で生成された事前学習モデル７０１およびＳ６０５で選定された追加学習用のデータセットを用いて追加学習モデルを生成する。図７に示すように分割された３つのデータセットＢ０１、Ｂ０２及びＢ０３のうち、データセットＢ０２およびＢ０３が追加学習用データセットとして選定され（Ｓ６０５）、追加学習部１０４は、ステップＳ６０６で生成された事前学習モデル７０１およびステップＳ６０５で選定された追加学習用のデータセットＢ０２を用いた追加学習（転移学習）により追加学習モデル７０２を生成する。同様に、追加学習部１０４は、ステップＳ６０６で生成された事前学習モデル７０１およびステップＳ６０５で選定された追加学習用のデータセットＢ０３を用いた追加学習（転移学習）により追加学習モデル７０３を生成する。
【0062】
なお、図５及び図７では、データセットＡ０１を３つのデータセットＢ０１、Ｂ０２及びＢ０３に分割する例を示しているが、本実施形態の処理はこの例に限定されず、分割するクラスタ数は３以外の場合も同様に、事前学習用として選定されたデータセットを用いて事前学習モデルを生成し、追加学習用と選定された各データセットおよび事前学習モデルを用いて、追加学習モデルを生成することができる。
【0063】
本実施形態によれば、データ取得部１０１により取得されたデータセットＡ０１を複数のデータセットＢ０１、Ｂ０２及びＢ０３に分割した上で、分割した各データセットにおける評価値に基づいて、事前学習用のデータセットと追加学習用のデータセットを選定することができる。これにより、学習が困難な条件のデータに対して、推論精度を向上させた推論モデルを生成することができる。
【0064】
（第２の実施形態の変形例１）
第２の実施形態では、ｋ－ｍｅａｎｓ法によりデータセットＡ０１を３つのクラスタに分割する処理について説明した。本発明の実施形態はこれに限らず、データセットＡ０１を分割するクラスタ数を自動で決定することも可能である。例えば、データセットに含まれるデータ数を基準として再帰的に分割（クラスタリング）を行う。まず、データ取得部１０１により取得されたデータセットＡ０１を２つのデータセット（クラスタ）に分割する。次に、分割した各データセットに含まれるデータ数を調べる。データ数が基準値よりも大きい場合には、さらに、２つのデータセットに分割する。
第２の実施形態では、ｋ－ｍｅａｎｓ法によりデータセットＡ０１を３つのクラスタに分割する処理について説明した。本発明の実施形態はこれに限らず、データセットＡ０１を分割するクラスタ数を自動で決定することも可能である。例えば、データセットに含まれるデータ数を基準として再帰的に分割（クラスタリング）を行う。まず、データ取得部１０１により取得されたデータセットＡ０１を２つのデータセット（クラスタ）に分割する。次に、分割した各データセットに含まれるデータ数を調べる。データ数が基準値よりも大きい場合には、さらに、２つのデータセットに分割する。
【0065】
以上の操作を、各データセットに含まれるデータ数が基準値以下になる前の状態まで繰り返すことで、データセットＡ０１を分割するクラスタ数を自動で決定することができる。これにより、各データセット（クラスタ）が一定以上のデータ数を有する状態を保つようにデータセットを分割することができる。
【0066】
（第２の実施形態の変形例２）
第２の実施形態では、分割した各データセットにおけるデータ数をデータセットの評価値として、事前学習用のデータセットと追加学習用のデータセットを選定する処理について説明した。本発明の実施形態はこれに限らず、分割した各データセットにおけるデータの凝集性に基づいて、データセットの選定を行うことも可能である。その場合、選定部１０２は、評価値として、分割した各データセット（クラスタ）内のデータ間の距離の二乗和を計算する。選定部１０２は、データ間の距離を特徴空間における特徴ベクトル間の距離に基づいて計算し、各データセット（クラスタ）内におけるデータ間の距離の二乗和を評価値として計算する。
第２の実施形態では、分割した各データセットにおけるデータ数をデータセットの評価値として、事前学習用のデータセットと追加学習用のデータセットを選定する処理について説明した。本発明の実施形態はこれに限らず、分割した各データセットにおけるデータの凝集性に基づいて、データセットの選定を行うことも可能である。その場合、選定部１０２は、評価値として、分割した各データセット（クラスタ）内のデータ間の距離の二乗和を計算する。選定部１０２は、データ間の距離を特徴空間における特徴ベクトル間の距離に基づいて計算し、各データセット（クラスタ）内におけるデータ間の距離の二乗和を評価値として計算する。
【0067】
データセットを分割する際に求める特徴量のばらつきが小さければデータ間の距離の二乗和は小さくなる。分割したデータセットのうちデータ間の距離の二乗和が最も小さいデータセットは、特徴量のばらつきが最も小さいデータセットであり、学習が容易なデータセットになる。
【0068】
選定部１０２は、複数のデータセットのうち、評価値が最も小さいデータセットを事前学習用のデータセット（例えば、図７のＢ０１）として選定し、他のデータセット（例えば、図７のＢ０２、Ｂ０３）を追加学習用のデータセットとして選定する。選定部１０２は、複数のデータセット（Ｂ０１、Ｂ０２、Ｂ０３）から選定したデータセット（Ｂ０１）を除いた残りのデータセット（Ｂ０２、Ｂ０３）を追加学習用のデータセット（第３のデータセット）と選定する。
【0069】
これにより、分割した各データセット（クラスタ）におけるデータ間の距離の二乗和を評価値として、事前学習用のデータセットと追加学習用のデータセットを選定することができる。
【0070】
（第２の実施形態の変形例３）
第２の実施形態では、分割した各データセットにおけるデータ数をデータセットの評価値として、事前学習用のデータセットと追加学習用のデータセットを選定する処理について説明した。本発明の実施形態はこれに限らず、分割したデータセット（クラスタ）の離散性に基づいて、データセットの選定を行うことも可能である。その場合、選定部１０２は、評価値として、分割した複数のデータセット（クラスタ）間の距離の二乗和を計算する。選定部１０２は、クラスタ間の距離を、特徴空間における各クラスタの重心ベクトル間の距離に基づいて計算し、データセット（クラスタ）間の距離の二乗和を評価値として計算する。例えば、データセットＢ０１に着目した場合、選定部１０２は、クラスタ間の距離として、データセットＢ０１とＢ０２との距離（Ｂ０１－Ｂ０２）と、データセットＢ０１とＢ０３との距離（Ｂ０１－Ｂ０３）との距離を、各データセット（クラスタ）の重心ベクトル間の距離に基づいて計算し、距離の二乗和を評価値として計算する。
第２の実施形態では、分割した各データセットにおけるデータ数をデータセットの評価値として、事前学習用のデータセットと追加学習用のデータセットを選定する処理について説明した。本発明の実施形態はこれに限らず、分割したデータセット（クラスタ）の離散性に基づいて、データセットの選定を行うことも可能である。その場合、選定部１０２は、評価値として、分割した複数のデータセット（クラスタ）間の距離の二乗和を計算する。選定部１０２は、クラスタ間の距離を、特徴空間における各クラスタの重心ベクトル間の距離に基づいて計算し、データセット（クラスタ）間の距離の二乗和を評価値として計算する。例えば、データセットＢ０１に着目した場合、選定部１０２は、クラスタ間の距離として、データセットＢ０１とＢ０２との距離（Ｂ０１－Ｂ０２）と、データセットＢ０１とＢ０３との距離（Ｂ０１－Ｂ０３）との距離を、各データセット（クラスタ）の重心ベクトル間の距離に基づいて計算し、距離の二乗和を評価値として計算する。
【0071】
選定部１０２は、複数のデータセットのうち、評価値が最も小さいデータセットを事前学習用のデータセット（第２のデータセット）として選定し、他のデータセットを追加学習用のデータセットとして選定する。選定部１０２は、複数のデータセット（Ｂ０１、Ｂ０２、Ｂ０３）から選定したデータセット（Ｂ０１）を除いた残りのデータセット（Ｂ０２、Ｂ０３）を追加学習用のデータセット（第３のデータセット）と選定する。
【0072】
これにより、分割した各データセット（クラスタ）間の距離の二乗和を評価値として、事前学習用のデータセットと追加学習用のデータセットを選定することができる。
【0073】
（第２の実施形態の変形例４）
第２の実施形態では、分割した各データセットにおけるデータ数をデータセットの評価値とし、事前学習用のデータセットと追加学習用のデータセットを選定する処理について説明した。また、第２の実施形態の変形例３では、分割したデータセット（クラスタ）間の距離の二乗和を評価値として、データセットを選定する処理にについて説明したが、本発明の実施形態はこれに限らず、分割前のデータセット（例えば、図７のＡ０１）と分割した各データセット（例えば、図７のＢ０１、Ｂ０２及びＢ０３）との間の距離を評価値として、事前学習用のデータセットと追加学習用のデータセットを選定してもよい。その場合、選定部１０２は、評価値として、分割前のデータセットの特徴空間における重心ベクトルと、分割した各データセットの重心ベクトルとの距離を計算する。そして、選定部１０２は、複数のデータセットのうち、評価値が最も小さいデータセットを事前学習用のデータセットとして選定し、他のデータセットを追加学習用のデータセット（第２のデータセット）として選定する。選定部１０２は複数のデータセット（Ｂ０１、Ｂ０２、Ｂ０３）から選定したデータセット（Ｂ０１）を除いた残りのデータセット（Ｂ０２、Ｂ０３）を追加学習用のデータセット（第３のデータセット）と選定する。
第２の実施形態では、分割した各データセットにおけるデータ数をデータセットの評価値とし、事前学習用のデータセットと追加学習用のデータセットを選定する処理について説明した。また、第２の実施形態の変形例３では、分割したデータセット（クラスタ）間の距離の二乗和を評価値として、データセットを選定する処理にについて説明したが、本発明の実施形態はこれに限らず、分割前のデータセット（例えば、図７のＡ０１）と分割した各データセット（例えば、図７のＢ０１、Ｂ０２及びＢ０３）との間の距離を評価値として、事前学習用のデータセットと追加学習用のデータセットを選定してもよい。その場合、選定部１０２は、評価値として、分割前のデータセットの特徴空間における重心ベクトルと、分割した各データセットの重心ベクトルとの距離を計算する。そして、選定部１０２は、複数のデータセットのうち、評価値が最も小さいデータセットを事前学習用のデータセットとして選定し、他のデータセットを追加学習用のデータセット（第２のデータセット）として選定する。選定部１０２は複数のデータセット（Ｂ０１、Ｂ０２、Ｂ０３）から選定したデータセット（Ｂ０１）を除いた残りのデータセット（Ｂ０２、Ｂ０３）を追加学習用のデータセット（第３のデータセット）と選定する。
【0074】
これにより、分割前のデータセットと分割した各データセットとの間の距離を評価値として、事前学習用のデータセットと追加学習用のデータセットを選定することができる。
【0075】
（第２の実施形態の変形例５）
第２の実施形態では、分割した各データセットにおけるデータ数をデータセットの評価値として、事前学習用のデータセットと追加学習用のデータセットを選定する処理について説明した。本発明の実施形態はこれに限らず、第２の実施形態の変形例２から変形例４で説明した複数の評価値の評価結果に基づいて、事前学習用のデータセットと追加学習用のデータセットを選定してもよい。
第２の実施形態では、分割した各データセットにおけるデータ数をデータセットの評価値として、事前学習用のデータセットと追加学習用のデータセットを選定する処理について説明した。本発明の実施形態はこれに限らず、第２の実施形態の変形例２から変形例４で説明した複数の評価値の評価結果に基づいて、事前学習用のデータセットと追加学習用のデータセットを選定してもよい。
【0076】
選定部１０２は、複数の評価値として、複数のデータセットにおけるデータ数、複数のデータセット内におけるデータ間の距離の二乗和、複数のデータセット間の距離の二乗和および複数のデータセット間の距離を取得し、各評価値の判定を統合した評価結果に基づいて、事前学習用のデータセット（第２のデータセット）と追加学習用のデータセット（第３のデータセット）を選定する。
【0077】
その場合、第１の実施形態の変形例３と同様に、選定部１０２は、各評価値に基づいて事前学習用のデータセットであるか、追加学習用のデータセットであるかを判定する。そして、選定部１０２は、各評価値について、事前学習用のデータセットの判定結果を示す情報「０」、または追加学習用のデータセットの判定結果を示す情報「１」を設定する。
【0078】
このようにして、選定部１０２は、複数の評価値について判定結果を示す情報を取得し、複数の評価値を統合した評価結果を［０、１、１、・・・］のようなデータ配列として取得する。
【0079】
選定部１０２は、事前学習用のデータセット（クラスタ）であるか、追加学習用のデータセット（クラスタ）であるかの選定を、統合した評価結果に基づいた投票処理によって行う。すなわち、選定部１０２、取得したデータ配列において「０」の総数と「１」の総数とを比較して、「０」の総数が多い場合に、選定部１０２は事前学習用のデータセット（クラスタ）として選定し、「１」の総数が多い場合に、選定部１０２は追加学習用のデータセット（クラスタ）として選定する。
【0080】
また、第１の実施形態の変形例３と同様に、各評価値に重みを割り当て、判定結果に対して加重平均値を計算し、加重平均値が閾値以上になるか否かでデータの選定を行うことも可能である。
【0081】
［第３の実施形態］
第２の実施形態では、分割した各データセットにおけるデータ数をデータセットの評価値として、事前学習用のデータセットと追加学習用のデータセットを選定する処理について説明した。本実施形態では、分割した各データセットを用いて仮の推論モデル（以下、試行推論モデル）を生成し、試行推論モデルの評価値に基づいて、事前学習用のデータセットと追加学習用のデータセットを選定する処理を説明する。以下、本実施形態に係る情報処理装置１００の構成に関して、第１の実施形態及び第２の実施形態と異なる部分を説明する。
第２の実施形態では、分割した各データセットにおけるデータ数をデータセットの評価値として、事前学習用のデータセットと追加学習用のデータセットを選定する処理について説明した。本実施形態では、分割した各データセットを用いて仮の推論モデル（以下、試行推論モデル）を生成し、試行推論モデルの評価値に基づいて、事前学習用のデータセットと追加学習用のデータセットを選定する処理を説明する。以下、本実施形態に係る情報処理装置１００の構成に関して、第１の実施形態及び第２の実施形態と異なる部分を説明する。
【0082】
（選定部１０２）
選定部１０２は、分割した各データセットを用いて試行推論モデルを生成し、試行推論モデルの評価値に基づいて、事前学習用データセットと追加学習用データセットを選定する。
選定部１０２は、分割した各データセットを用いて試行推論モデルを生成し、試行推論モデルの評価値に基づいて、事前学習用データセットと追加学習用データセットを選定する。
【0083】
図８は第３の実施形態に係る試行推論モデルの評価の一例を示す図である。図５で説明したように、データ取得部１０１により取得されたデータセットＡ０１は３つのデータセットＢ０１、Ｂ０２及びＢ０３に分割され、選定部１０２は、３つのデータセットＢ０１、Ｂ０２及びＢ０３を用いて、複数の試行推論モデル８０１、８０２および８０３を生成する。
【0084】
また、選定部１０２は、生成された各試行推論モデル８０１、８０２および８０３の評価値を計算する。例えば、各試行推論モデル８０１、８０２および８０３のテスト結果の精度を評価値としてもよい。図８には、各試行推論モデル８０１、８０２および８０３におけるテスト結果の精度が例示的に示されている。テスト結果の精度のうち、最も精度の高い試行推論モデルの生成に用いたデータセットが、３つのデータセットＢ０１、Ｂ０２及びＢ０３のうち最も学習が容易なデータセットとなり得る。
【0085】
なお、評価値はテスト結果の精度に限定せず、各試行推論モデル８０１、８０２および８０３で推論を行う推論対象によって異なる評価値を用いてもよい。例えば、試行推論モデルにより二値分類を行う場合であれば、感度や特異度を評価値とし、セグメンテーションを行う場合であればＤＩＣＥスコアなどを評価値としてもよい。
【0086】
また、選定部１０２は、計算した評価値に基づいて、事前学習用のデータセットと追加学習用のデータセットを選定する。例えば、図８のように試行推論モデルの精度が計算された場合、選定部１０２は、試行推論モデルの精度が最も高い試行推論モデルの生成に用いたデータセットを事前学習用のデータセットとして選定する。すなわち、選定部１０２は、３つの試行推論モデル８０１、８０２及び８０３のうち、テスト結果の精度のうち、最も精度の高い試行推論モデル８０１の生成に用いたデータセットＢ０１を事前学習用のデータセット（第２のデータセット）として選定し、その他のデータセットＢ０２およびＢ０３を追加学習用のデータセットとして選定する。選定部１０２は、複数のデータセット（Ｂ０１、Ｂ０２、Ｂ０３）から選定したデータセット（Ｂ０１）を除いた残りのデータセットを追加学習用のデータセット（第３のデータセット）と選定する。
【0087】
（情報処理装置１００の処理フロー）
次に、情報処理装置１００が実行する処理の流れを説明する。図９は第３の実施形態に係る情報処理装置１００の処理の流れを示す図である。
次に、情報処理装置１００が実行する処理の流れを説明する。図９は第３の実施形態に係る情報処理装置１００の処理の流れを示す図である。
【0088】
ステップＳ９０１、Ｓ９０２及びＳ９０３は、第２の実施形態の図６におけるステップＳ６０１、Ｓ６０２及びＳ６０３と同様であるため、詳細な説明を省略する。ステップＳ６０１、Ｓ６０２及びＳ６０３の処理により、データセットＡ０１はデータセットＢ０１、Ｂ０２及びＢ０３に分割される。
【0089】
ステップＳ９０４において、選定部１０２は、ステップＳ９０３で得られた各データセットＢ０１、Ｂ０２及びＢ０３を用いて、試行推論モデルを生成する（例えば、図８の試行推論モデル８０１、８０２及び８０３）。
【0090】
ステップＳ９０５において、選定部１０２は、ステップＳ９０４で生成された各試行推論モデルの評価値を計算する。
【0091】
ステップＳ９０６において、選定部１０２は、ステップＳ９０５で計算した評価値に基づいて、事前学習用のデータセットと追加学習用のデータセットを選定する。選定部１０２は、試行推論モデルの評価値が最も高い試行推論モデルの生成に用いたデータセット（例えば、図８のＢ０１）を事前学習用のデータセットとして選定し、その他のデータセット（例えば、図８のＢ０２およびＢ０３）を追加学習用のデータセットとして選定する。
【0092】
ステップＳ９０７において、事前学習部１０３は、ステップＳ９０６で選定された事前学習用のデータセットを用いて事前学習モデルを生成する。ステップＳ９０６において、最も評価値が高かった試行推論モデルが事前学習モデルとなる。図８の例の場合、試行推論モデル８０１が事前学習モデルとなる。
【0093】
ステップＳ９０８において、追加学習部１０４は追加学習モデルを生成する。本ステップの処理は図６のステップＳ６０７の処理と同様であるため、詳細な説明は省略する。図８の例の場合、本ステップの処理により、試行推論モデル８０２及び８０３が追加学習モデルとなる。
【0094】
以上の処理により、分割した各データセットに対する推論モデル（事前学習モデル、追加学習モデル）が生成される。
【0095】
本実施形態によれば、分割したデータセットを用いて試行推論モデルを生成し、試行推論モデルの評価値に基づいて、事前学習用データセットおよび追加学習用のデータセットを選定することができる。すなわち、評価値の高いデータセットを学習が容易なデータセットとして事前学習用データセットを選定することができる。また、その他のデータセットを学習が困難な条件のデータセットとして、追加学習用のデータセットを選定することができる。これにより、学習が困難な条件のデータに対して、推論モデル（追加学習モデル）を生成することができる。
【0096】
（第３の実施形態の変形例１）
第３の実施形態では、分割した複数のデータセットを用いて試行推論モデルを生成する処理について説明したが、本発明の実施形態はこれに限らず、分割した複数のデータセットのデータ数に基づいて、試行推論モデルを生成するかどうかを判定してもよい。
第３の実施形態では、分割した複数のデータセットを用いて試行推論モデルを生成する処理について説明したが、本発明の実施形態はこれに限らず、分割した複数のデータセットのデータ数に基づいて、試行推論モデルを生成するかどうかを判定してもよい。
【0097】
例えば、データ数の基準値を設けて、選定部１０２はデータ数と基準値との比較により試行推論モデルを生成するか否かを判定するようにしてもよい。すなわち、データ数が基準値以上のデータセットに対して、選定部１０２は試行推論モデルを生成し、データ数が基準値未満のデータセットに対しては試行推論モデルを生成しないようにしてもよい。その場合、データ数が基準値以上のデータセットを学習が容易なデータセットとして事前学習用のデータセット（第２のデータセット）を選定することができる。また、その他のデータセットを学習が困難な条件のデータセットとして、追加学習用のデータセットを選定することができる。すなわち、選定部１０２は複数のデータセットから選定したデータセットを除いた残りのデータセットを追加学習用のデータセット（第３のデータセット）と選定する。これにより、学習が困難な条件のデータに対して、推論モデル（追加学習モデル）を生成することができる。
【0098】
（第３の実施形態の変形例２）
第３の実施形態では、各試行推論モデルの評価値に基づいて、事前学習用データセットと追加学習用データセットを選定する処理について説明した。本発明の実施形態はこれに限らず、過学習しているかどうかに基づいて選定してもよい。過学習は、試行推論モデルの生成における学習用データに対する性能と検証用データに対する性能の差に基づいて判定することができる。性能に一定以上の差がある場合は、試行推論モデルは過学習していると判定し、学習に用いたデータセットを追加学習用のデータセットとして選定してもよい。これにより、学習が困難な条件のデータセットを特定することができ、係るデータセットについて推論モデル（追加学習モデル）を生成することができる。
第３の実施形態では、各試行推論モデルの評価値に基づいて、事前学習用データセットと追加学習用データセットを選定する処理について説明した。本発明の実施形態はこれに限らず、過学習しているかどうかに基づいて選定してもよい。過学習は、試行推論モデルの生成における学習用データに対する性能と検証用データに対する性能の差に基づいて判定することができる。性能に一定以上の差がある場合は、試行推論モデルは過学習していると判定し、学習に用いたデータセットを追加学習用のデータセットとして選定してもよい。これにより、学習が困難な条件のデータセットを特定することができ、係るデータセットについて推論モデル（追加学習モデル）を生成することができる。
【0099】
［第４の実施形態］
第４の実施形態では、推論対象のデータに対して、事前学習した推論モデルまたは追加学習した推論モデルのいずれかを推論モデルとして選択し、選択した推論モデルにより推論する処理を説明する。
第４の実施形態では、推論対象のデータに対して、事前学習した推論モデルまたは追加学習した推論モデルのいずれかを推論モデルとして選択し、選択した推論モデルにより推論する処理を説明する。
【0100】
図１０は第４の実施形態に係る情報処理装置１０００の機能構成を示す図である。図１０に示すように、情報処理装置１０００は、図１の情報処理装置１００に対して、記憶処理部１００５、推論データ取得部１００６、推論モデル選択部１００７、推論部１００８をさらに有する。また、情報処理装置１０００は、記憶媒体１００９と接続されている。記憶媒体１００９は、装置内部の記憶領域に限定せず、クラウドといったネットワークを介して接続されたものであってもよい。図１０に示す情報処理装置１０００の機能構成において、データ取得部１０１、選定部１０２、事前学習部１０３、追加学習部１０４は、図１の情報処理装置１００と同様であるため、説明を省略する。
【0101】
また、データ取得部１０１、事前学習部１０３、追加学習部１０４と、記憶処理部１００５、推論データ取得部１００６、推論モデル選択部１００７、推論部１００８は異なる装置から実現されてもよい。例えば、推論モデルの学習処理を異なる情報処理装置で実施し、学習された推論モデルをネットワーク等を介して記憶媒体１００９に記憶していてもよい。また、その場合には、記憶媒体１００９は、選定部１０２がデータの選定に用いた評価値の情報を推論モデルと対応づけて記憶する構成となる。
【0102】
（記憶処理部１００５）
記憶処理部１００５は、事前学習部１０３および追加学習部１０４によって生成された学習済の推論モデルを記憶媒体１００９に記憶する。ここで、学習済の推論モデルは、第１の実施形態～第３の実施形態で説明した事前学習部１０３および追加学習部１０４によって生成された事前学習モデルおよび追加学習モデルであり、記憶処理部１００５は、生成された事前学習モデルおよび追加学習モデルを記憶媒体１００９に記憶する。
記憶処理部１００５は、事前学習部１０３および追加学習部１０４によって生成された学習済の推論モデルを記憶媒体１００９に記憶する。ここで、学習済の推論モデルは、第１の実施形態～第３の実施形態で説明した事前学習部１０３および追加学習部１０４によって生成された事前学習モデルおよび追加学習モデルであり、記憶処理部１００５は、生成された事前学習モデルおよび追加学習モデルを記憶媒体１００９に記憶する。
【0103】
（推論データ取得部１００６）
推論データ取得部１００６は、推論対象データを取得する。例えば、推論データ取得部１００６は、ネットワークを介して、外部のデータベース、データ入力装置やモダリティから推論対象データを取得する。
推論データ取得部１００６は、推論対象データを取得する。例えば、推論データ取得部１００６は、ネットワークを介して、外部のデータベース、データ入力装置やモダリティから推論対象データを取得する。
【0104】
（推論モデル選択部１００７）
推論モデル選択部１００７は、事前学習した推論モデル（事前学習モデル）または追加学習した推論モデル（追加学習モデル）のいずれかを、推論データ取得部１００６によって取得された推論対象データに対して推論を行う推論モデルとして選択する。推論モデルを選択する際に、推論モデル選択部１００７は、ステップＳ４０３における評価値（図４の例ではデータの円形度）の判定条件に基づいて、推論対象データの評価値を算出し、算出した評価値に基づいて、推論モデル（事前学習済の推論モデルまたは追加学習済の推論モデル）を選択する。評価値は円形度に限られず、推論モデル選択部１００７は、データを選定する際の判定処理（Ｓ４０３）で用いた評価値（画像のコントラストや画像のノイズレベル、画像中のエッジ情報、画像の解像度など）と同じ評価値に基づいて、推論モデル（事前学習済の推論モデルまたは追加学習済の推論モデル）を選択する。
推論モデル選択部１００７は、事前学習した推論モデル（事前学習モデル）または追加学習した推論モデル（追加学習モデル）のいずれかを、推論データ取得部１００６によって取得された推論対象データに対して推論を行う推論モデルとして選択する。推論モデルを選択する際に、推論モデル選択部１００７は、ステップＳ４０３における評価値（図４の例ではデータの円形度）の判定条件に基づいて、推論対象データの評価値を算出し、算出した評価値に基づいて、推論モデル（事前学習済の推論モデルまたは追加学習済の推論モデル）を選択する。評価値は円形度に限られず、推論モデル選択部１００７は、データを選定する際の判定処理（Ｓ４０３）で用いた評価値（画像のコントラストや画像のノイズレベル、画像中のエッジ情報、画像の解像度など）と同じ評価値に基づいて、推論モデル（事前学習済の推論モデルまたは追加学習済の推論モデル）を選択する。
【0105】
（推論部１００８）
推論部１００８は、推論モデル選択部１００７により選択された推論モデルに推論対象データを入力し、推論モデルからの出力に基づいて推論処理を実行する。
推論部１００８は、推論モデル選択部１００７により選択された推論モデルに推論対象データを入力し、推論モデルからの出力に基づいて推論処理を実行する。
【0106】
（情報処理装置１０００の処理フロー）
次に、第４の実施形態に係る情報処理装置１０００が推論モデル（事前学習済の推論モデル、追加学習済の推論モデル）を生成し、生成した推論モデルを記憶媒体１００９に記憶する記憶処理と、推論モデルを用いて推論を行う推論処理を説明する。
次に、第４の実施形態に係る情報処理装置１０００が推論モデル（事前学習済の推論モデル、追加学習済の推論モデル）を生成し、生成した推論モデルを記憶媒体１００９に記憶する記憶処理と、推論モデルを用いて推論を行う推論処理を説明する。
【0107】
推論モデル（事前学習済の推論モデル、追加学習済の推論モデル）を生成する処理フローは、図４、６、９と同様であるためここでは説明を省略する。以下の説明では、図４の処理フローによって推論モデルが生成された場合を例に説明する。図１１Ａは第４の実施形態に係る情報処理装置１０００の処理の流れを示す図であり、ステップＳ４０１～Ｓ４０８までの処理は第１の実施形態の処理と同様である。
【0108】
ステップＳ４０８の後のステップＳ４０９において、記憶処理部１００５は、ステップＳ４０７およびＳ４０８で生成された推論モデル（事前学習済の推論モデル、追加学習済の推論モデル）を記憶媒体１００９に記憶する。記憶媒体１００９は、事前学習の際に用いた評価値の判定条件と対応付けられた事前学習済の推論モデル、及び追加学習の際に用いた評価値の判定条件と対応付けられた前記追加学習済の推論モデルを記憶する。この際、ステップＳ４０３で用いられた閾値Iと対応付けて、推論モデルを記憶媒体１００９に記憶する。例えば、閾値I以上と閾値I未満という判定条件に対して、閾値Iと判定条件（以上：０１、未満：０２）とを組み合わせた識別子Ｉ０１、識別子Ｉ０２をそれぞれ割り当て、それぞれの判定条件で選定された推論モデル（事前学習済の推論モデル、追加学習済の推論モデル）と対応付ける。これにより、識別子Ｉ０１と事前学習モデル、識別子Ｉ０２と追加学習モデルとが対応付けられて記憶媒体１００９に記憶される。
【0109】
ステップＳ４１０において、情報処理装置１０００は、推論対象データに対する推論処理を実行する。推論部１００８は、推論モデル選択部１００７により選択された推論モデルに推論対象データを入力し、推論モデルからの出力に基づいて推論処理を実行する。
【0110】
図１１Ｂを用いて推論処理（図１１ＡのＳ４１０）に関する具体的な処理の流れを説明する。図１１Ｂは、第４の実施形態に係る情報処理装置１０００が、記憶媒体１００９から推論モデルを選択して、推論する処理の流れを説明する図である。
【0111】
ステップＳ１１０１において、推論データ取得部１００６は、推論する対象のデータ（推論対象データ）を取得する。
【0112】
ステップＳ１１０２において、選定部１０２は、ステップＳ１１０１で取得した推論対象データに対して、評価値を計算する。選定部１０２は、ステップＳ４０２と同様に評価値を円形度とし、推論対象データについて円形度を計算する。
【0113】
ステップＳ１１０３において、推論モデル選択部１００７は推論対象データの評価値に基づいて、事前学習済の推論モデル、または追加学習済の推論モデルを記憶媒体１００９から選択する。推論モデル選択部１００７は、ステップＳ１１０２で計算された円形度に基づいて推論モデルを選択する。推論モデル選択部１００７は、円形度が閾値以上（識別子Ｉ０１）であるか、閾値未満（識別子Ｉ０２）であるかを判定し、該当する推論モデル（事前学習済の推論モデル、追加学習済の推論モデル）を記憶媒体１００９より選択する。
【0114】
ステップＳ１１０４において、推論部１００８は、ステップＳ１１０３で選択された推論モデルを用いて、推論モデルに推論対象データを入力し、推論モデルからの出力に基づいて推論処理を実行する。
【0115】
本実施形態に係る情報処理装置によれば、学習が困難な条件のデータに対する推論モデルを生成し、推論対象のデータに対して適切な推論モデルを選択し、推論処理を行うことができる。
【0116】
（第４の実施形態の変形例１）
第４の実施形態では、図４の処理フローによって生成された推論モデルを記憶し、推論対象データに対して適した推論モデルを選択する処理について説明した。本発明の実施形態はこれに限らず、第２の実施形態における図６の処理フロー、または第３の実施形態における図９の処理フローによって生成された推論モデルを記憶し、推論対象に適した推論モデルを選択してもよい。
第４の実施形態では、図４の処理フローによって生成された推論モデルを記憶し、推論対象データに対して適した推論モデルを選択する処理について説明した。本発明の実施形態はこれに限らず、第２の実施形態における図６の処理フロー、または第３の実施形態における図９の処理フローによって生成された推論モデルを記憶し、推論対象に適した推論モデルを選択してもよい。
【0117】
以下、図６の処理フローによって推論モデルが生成された場合について説明する。ステップＳ６０７の後、記憶処理部１００５は、ステップＳ６０６およびＳ６０７で生成された推論モデル（事前学習モデル、追加学習モデル）を記憶媒体９０９に記憶する。この際、ステップＳ６０４で用いた評価値と対応付けて、推論モデルを記憶媒体１００９に記憶する。例えば、図７や図８に示すように３つのデータセットＢ０１、Ｂ０２、Ｂ０３にクラスタリングされ、試行推論モデル８０１、８０２、８０３が生成されている場合、データセットＢ０１の評価値と試行推論モデル８０１を対応付けて記憶媒体１００９に記憶する。
【0118】
ステップＳ１１０１では、推論データ取得部１００６は、推論する対象の複数のデータ（推論対象データ）を取得する。
【0119】
ステップＳ１１０２において、選定部１０２は、ステップＳ１１０１で取得した、推論対象の複数のデータ（推論対象データ）における各々のデータに対して特徴量を抽出する。選定部１０２は、抽出した特徴量に基づいて推論対象の複数のデータ（推論対象データ）を分割（クラスタリング）する。選定部１０２は、推論対象の複数のデータを複数のクラスタに分割し、各クラスタに含まれるデータの集合を新たなデータセットとして生成する。そして、選定部１０２は、生成した各データセット（クラスタ）における評価値を計算する。
【0120】
ステップＳ１１０３において、推論モデル選択部１００７は、ステップＳ１１０２で計算された評価値に基づいて推論モデルを選択する。例えば、各データセット（クラスタ）におけるデータ数を評価値とした場合に、推論モデル選択部１００７は、データ数の最も多いデータセットに対して事前学習モデルを選定し、その他のデータセットに対して追加学習モデルを選定する。
【0121】
また、データセット（クラスタ）間の距離の二乗和を評価値とした場合、選定部１０２は評価値が最も小さいデータセット（最も近い評価値のデータセット）に対して事前学習モデルを選定し、他のデータセットに対して追加学習モデルを選定する。また、データセット（クラスタ）間の重心ベクトルとの距離を評価値とした場合、選定部１０２は評価値が最も小さいデータセット（最も近い評価値のデータセット）に対して事前学習モデルを選定し、他のデータセットに対して追加学習モデルを選定する。
【0122】
そして、ステップＳ１１０４において、推論部１００８は、ステップＳ１１０３で選択された推論モデルを用いて、推論モデルに推論対象データを入力し、推論モデルからの出力に基づいて推論処理を実行する。
【0123】
（第４の実施形態の変形例２）
第４の実施形態とその変形例１では、学習に用いたデータの評価値に関する判定条件、あるいは分割した各データセット（クラスタ）における評価値に対応付けて推論モデルを記憶媒体１００９に記憶する処理について説明した。本発明の実施形態はこれに限らず、データセット（例えば、図１２のＡ０１）の全体を用いて学習した推論モデル（例えば、図１２の１２００）を、評価値に関する判定条件や分割した各データセットにおける評価値と対応付けて記憶媒体１００９に記憶し、推論モデル選択部１００７が、評価値に関する判定条件等に基づいて記憶媒体１００９から選択するようにしてもよい。
第４の実施形態とその変形例１では、学習に用いたデータの評価値に関する判定条件、あるいは分割した各データセット（クラスタ）における評価値に対応付けて推論モデルを記憶媒体１００９に記憶する処理について説明した。本発明の実施形態はこれに限らず、データセット（例えば、図１２のＡ０１）の全体を用いて学習した推論モデル（例えば、図１２の１２００）を、評価値に関する判定条件や分割した各データセットにおける評価値と対応付けて記憶媒体１００９に記憶し、推論モデル選択部１００７が、評価値に関する判定条件等に基づいて記憶媒体１００９から選択するようにしてもよい。
【0124】
図１２は第４の実施形態の変形例２に係る推論モデルの生成例を示す図であり、以下、図６の処理フローによって推論モデルが生成された場合について説明する。図６の処理フローにより、図１２のように各クラスタのデータを用いた事前学習済の推論モデル（事前学習モデル）１２０１、追加学習済の推論モデル（追加学習モデル）１２０２、および追加学習済の推論モデル（追加学習モデル）１２０３が生成される。
【0125】
図６の処理フローの後、本実施形態では、情報処理装置１０００は、データセットＡ０１を用いた学習により推論モデル１２００を生成する。そして、記憶処理部１００５は、各データセットにおける推論モデルの性能を評価し、性能の高い推論モデルをデータセット（クラスタ）に対応づけた推論モデルとして記憶する。
【0126】
記憶処理部１００５は、データセットＡ０１（第１のデータセット）に基づいた学習により生成された学習済の推論モデル１２００と、複数のデータセット（Ｂ０１、Ｂ０２、Ｂ０３）の夫々に基づいた学習により生成された学習済の推論モデル（事前学習モデル１２０１、追加学習モデル１２０２、１２０３）との間で、テスト結果の精度（例えば、１２００と１２０１の精度、１２００と１２０２の精度、１２００と１２０３の精度）を比較して、より精度の高い推論モデルを記憶媒体１００９に記憶する
例えば、データセットＢ０１に対しては、データセットＢ０１のテスト用のデータで推論モデル１２００と事前学習モデル１２０１の性能を評価し、性能の高かった推論モデルをデータセットＢ０１と対応付けて記憶する。なお、推論モデルの性能の評価方法は、推論を行う推論対象によって異なる評価値を用いてもよい。例えば、第３の実施形態と同様に推論対象によって異なってもよい。例えば、多値分類であれば精度、二値分類であれば感度や特異度、セグメンテーションであればＤＩＣＥスコアなどで評価してよい。また、第３の実施形態の変形例２と同様に、過学習しているかどうかに基づいて評価してもよい。
例えば、データセットＢ０１に対しては、データセットＢ０１のテスト用のデータで推論モデル１２００と事前学習モデル１２０１の性能を評価し、性能の高かった推論モデルをデータセットＢ０１と対応付けて記憶する。なお、推論モデルの性能の評価方法は、推論を行う推論対象によって異なる評価値を用いてもよい。例えば、第３の実施形態と同様に推論対象によって異なってもよい。例えば、多値分類であれば精度、二値分類であれば感度や特異度、セグメンテーションであればＤＩＣＥスコアなどで評価してよい。また、第３の実施形態の変形例２と同様に、過学習しているかどうかに基づいて評価してもよい。
【0127】
（第４の実施形態の変形例３）
第４の実施形態とその変形例１では、学習に用いたデータの評価値に関する判定条件、あるいは分割した各データセット（クラスタ）における評価値に対応付けて推論モデルを記憶媒体１００９に記憶する処理について説明した。本発明の実施形態はこれに限らず、追加学習（転移学習）を行わずに学習した推論モデル（例えば、図１３の１３０２ｂ、１３０３ｂ）を、評価値に関する判定条件や分割した各データセットにおける評価値と対応付けて記憶媒体１００９に記憶し、推論モデル選択部１００７が、評価値に関する判定条件等に基づいて記憶媒体１００９から選択するようにしてもよい。
第４の実施形態とその変形例１では、学習に用いたデータの評価値に関する判定条件、あるいは分割した各データセット（クラスタ）における評価値に対応付けて推論モデルを記憶媒体１００９に記憶する処理について説明した。本発明の実施形態はこれに限らず、追加学習（転移学習）を行わずに学習した推論モデル（例えば、図１３の１３０２ｂ、１３０３ｂ）を、評価値に関する判定条件や分割した各データセットにおける評価値と対応付けて記憶媒体１００９に記憶し、推論モデル選択部１００７が、評価値に関する判定条件等に基づいて記憶媒体１００９から選択するようにしてもよい。
【0128】
図１３は第４の実施形態の変形例３に係る推論モデルの生成例を示す図であり、以下、図６の処理フローによって推論モデルが生成された場合について説明する。図６の処理フローにより、図１３のように各クラスタのデータを用いた推論モデル（事前学習モデル）１３０１、推論モデル（追加学習モデル）１３０２ａ、および推論モデル（追加学習モデル）１３０３ａが生成される。
【0129】
図６の処理フローの後、本実施形態では、選定部１０２は、追加学習（転移学習）を行わない推論モデル１３０２ｂ、および推論モデル１３０３ｂを生成する。ここで、追加学習（転移学習）を行わない推論モデルを生成するかどうかを、選定部１０２は、第２の実施形態と同様に、データセットの特徴量に基づいて判定してもよい。
【0130】
次に、記憶処理部１００５は各データセット（クラスタ）における推論モデルの性能を評価し、性能の高い推論モデルをデータセット（クラスタ）に対応づけた推論モデルとして記憶する。記憶処理部１００５は、追加学習用のデータセット（例えば、図１３のＢ０２、Ｂ０３：第３のデータセット）と事前学習した推論モデル（事前学習モデル１３０１）とを用いて追加学習（転移学習）した推論モデル（追加学習モデル１３０２ａ）と、追加学習（転移学習）を行わずに追加学習用のデータセットに基づいた学習により生成された学習済の推論モデル１３０２ｂとの間で、テスト結果の精度を比較して、より精度の高い推論モデルを記憶媒体１００９に記憶する。例えば、データセットＢ０２に対しては、データセットＢ０２のテスト用のデータで追加学習モデル１３０２ａと推論モデル１３０２ｂの性能を評価し、性能の高かった推論モデルをデータセットＢ０２と対応付けて記憶媒体１００９に記憶する。なお、推論モデルの性能の評価方法は、推論を行う推論対象によって異なる評価値を用いてもよい。例えば、第３の実施形態と同様に推論対象によって異なってもよい。例えば、多値分類であれば精度、二値分類であれば感度や特異度、セグメンテーションであればＤＩＣＥスコアなどで評価してよい。また、第３の実施形態の変形例２と同様に、過学習しているかどうかに基づいて評価してもよい。
【0131】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0132】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0133】
１００：情報処理装置、１０１：データ取得部、１０２：選定部、１０３：事前学習部、１０４：追加学習部、１００５：記憶処理部、１００６：推論データ取得部、１００７：推論モデル選択部、１００８：推論部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図12】
【図13】