特許 7196529 情報処理装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-19

(45)【発行日】2022-12-27

(54)【発明の名称】情報処理装置及びプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20221220BHJP

   G06T 7/00 20170101ALI20221220BHJP

【ＦＩ】

G06N20/00 130

G06T7/00 350B

G06T7/00 U

【請求項の数】 6

(21)【出願番号】P 2018196330

(22)【出願日】2018-10-18

(65)【公開番号】P2020064476

(43)【公開日】2020-04-23

【審査請求日】2021-06-28

(73)【特許権者】

【識別番号】000001270

【氏名又は名称】コニカミノルタ株式会社

(74)【代理人】

【識別番号】110001254

【氏名又は名称】弁理士法人光陽国際特許事務所

(72)【発明者】

【氏名】南 寛威

【審査官】石川 亮

(56)【参考文献】

【文献】特開２００５－１０７７４３（ＪＰ，Ａ）

【文献】特開２００５－２９３２６４（ＪＰ，Ａ）

【文献】特表２０１５－５１１１４０（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／００７３４４７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

予め設定された問題についての正解ラベルが対応付けられた学習用データセットを用いて学習を行い、入力データに対する前記予め設定された問題についての正解を推定するための機械学習モデルを作成する学習手段と、
前記学習手段により学習された前記機械学習モデルを用いて、入力データに対する前記予め設定された問題についての正解を推定する推定手段と、
ユーザー操作に応じて、前記推定手段による推定結果を示すラベルを前記入力データの正解ラベルとして確定するか又は前記ラベルを修正してその修正したラベルを前記入力データの正解ラベルとして確定するラベル確定手段と、
前記確定された正解ラベルを前記入力データに対応付けて学習用データとして前記学習用データセットに追加登録する登録手段と、
前記学習手段による前記登録手段により追加登録された学習用データを含む前記学習用データセットを用いた機械学習モデルの作成、前記推定手段による前記作成された機械学習モデルを用いた入力データに対する正解の推定、前記ラベル確定手段による前記推定手段の推定結果を示すラベルの正解ラベルとしての確定又は前記ラベルの修正及び正解ラベルとしての確定、前記登録手段による前記正解ラベルが確定した前記入力データの前記学習用データセットへの登録、が繰り返し実行されるように制御する制御手段と、
前記学習用データ及び前記入力データが医用画像であり、前記問題が医用画像の領域認識であり、前記学習用データセットに正解ラベルが対応付けられていない学習用データが含まれている場合に、前記正解ラベルが対応付けられていない学習用データと同一被写体を異なる時期に撮影した医用画像を用いて経時差分処理を行って前記正解ラベルが対応付けられていない学習用データの正解ラベルを作成するラベル作成補助手段と、
を備える情報処理装置。

【請求項2】

予め設定された問題についての正解ラベルが対応付けられた学習用データセットを用いて学習を行い、入力データに対する前記予め設定された問題についての正解を推定するための機械学習モデルを作成する学習手段と、
前記学習手段により学習された前記機械学習モデルを用いて、入力データに対する前記予め設定された問題についての正解を推定する推定手段と、
ユーザー操作に応じて、前記推定手段による推定結果を示すラベルを前記入力データの正解ラベルとして確定するか又は前記ラベルを修正してその修正したラベルを前記入力データの正解ラベルとして確定するラベル確定手段と、
前記確定された正解ラベルを前記入力データに対応付けて学習用データとして前記学習用データセットに追加登録する登録手段と、
前記学習手段による前記登録手段により追加登録された学習用データを含む前記学習用データセットを用いた機械学習モデルの作成、前記推定手段による前記作成された機械学習モデルを用いた入力データに対する正解の推定、前記ラベル確定手段による前記推定手段の推定結果を示すラベルの正解ラベルとしての確定又は前記ラベルの修正及び正解ラベルとしての確定、前記登録手段による前記正解ラベルが確定した前記入力データの前記学習用データセットへの登録、が繰り返し実行されるように制御する制御手段と、
前記学習用データ及び前記入力データが医用画像であり、前記問題が医用画像の領域認識であり、前記学習用データセットに正解ラベルが対応付けられていない学習用データが含まれており、前記正解ラベルが対応付けられていない学習用データが連続的に撮影することにより得られた画像群である場合に、任意の１フレームに正解ラベルが作成されると、前記作成された正解ラベルにワーピング処理を施して他のフレーム画像の正解ラベルを作成するラベル作成補助手段と、
を備える情報処理装置。

【請求項3】

前記問題を複数の選択肢の中からユーザーが選択するための問題選択手段を備える請求項１又は２に記載の情報処理装置。

【請求項4】

前記機械学習モデルの種類を、少なくともディープラーニングの複数のネットワークを含む複数の選択肢の中からユーザーが選択するためのモデル選択手段を備える請求項１～３のいずれか一項に記載の情報処理装置。

【請求項5】

コンピューターを、
予め設定された問題についての正解ラベルが対応付けられた学習用データセットを用いて学習を行い、入力データに対する前記予め設定された問題についての正解を推定するための機械学習モデルを作成する学習手段、
前記学習手段により学習された前記機械学習モデルを用いて、入力データに対する前記予め設定された問題についての正解を推定する推定手段、
ユーザー操作に応じて、前記推定手段による推定結果を示すラベルを前記入力データの正解ラベルとして確定するか又は前記ラベルを修正してその修正したラベルを前記入力データの正解ラベルとして確定するラベル確定手段、
前記確定された正解ラベルを前記入力データに対応付けて学習用データとして前記学習用データセットに追加登録する登録手段、
前記学習手段による前記登録手段により追加登録された学習用データを含む前記学習用データセットを用いた機械学習モデルの作成、前記推定手段による前記作成された機械学習モデルを用いた入力データに対する正解の推定、前記ラベル確定手段による前記推定手段の推定結果を示すラベルの正解ラベルとしての確定又は前記ラベルの修正及び正解ラベルとしての確定、前記登録手段による前記正解ラベルが確定した前記入力データの前記学習用データセットへの登録、が繰り返し実行されるように制御する制御手段、
前記学習用データ及び前記入力データが医用画像であり、前記問題が医用画像の領域認識であり、前記学習用データセットに正解ラベルが対応付けられていない学習用データが含まれている場合に、前記正解ラベルが対応付けられていない学習用データと同一被写体を異なる時期に撮影した医用画像を用いて経時差分処理を行って前記正解ラベルが対応付けられていない学習用データの正解ラベルを作成するラベル作成補助手段、
として機能させるためのプログラム。

【請求項6】

コンピューターを、
予め設定された問題についての正解ラベルが対応付けられた学習用データセットを用いて学習を行い、入力データに対する前記予め設定された問題についての正解を推定するための機械学習モデルを作成する学習手段、
前記学習手段により学習された前記機械学習モデルを用いて、入力データに対する前記予め設定された問題についての正解を推定する推定手段、
ユーザー操作に応じて、前記推定手段による推定結果を示すラベルを前記入力データの正解ラベルとして確定するか又は前記ラベルを修正してその修正したラベルを前記入力データの正解ラベルとして確定するラベル確定手段、
前記確定された正解ラベルを前記入力データに対応付けて学習用データとして前記学習用データセットに追加登録する登録手段、
前記学習手段による前記登録手段により追加登録された学習用データを含む前記学習用データセットを用いた機械学習モデルの作成、前記推定手段による前記作成された機械学習モデルを用いた入力データに対する正解の推定、前記ラベル確定手段による前記推定手段の推定結果を示すラベルの正解ラベルとしての確定又は前記ラベルの修正及び正解ラベルとしての確定、前記登録手段による前記正解ラベルが確定した前記入力データの前記学習用データセットへの登録、が繰り返し実行されるように制御する制御手段、
前記学習用データ及び前記入力データが医用画像であり、前記問題が医用画像の領域認識であり、前記学習用データセットに正解ラベルが対応付けられていない学習用データが含まれており、前記正解ラベルが対応付けられていない学習用データが連続的に撮影することにより得られた画像群である場合に、任意の１フレームに正解ラベルが作成されると、前記作成された正解ラベルにワーピング処理を施して他のフレーム画像の正解ラベルを作成するラベル作成補助手段、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置及びプログラムに関する。

【背景技術】

【0002】

近年、医療分野において、機械学習（ＡＩ）を診断支援に用いようとする試みがある。機械学習とは、大量のデータを使用して機械にデータのパターンや相関を学習させ、識別、認識、検出、予測等を行うものである。機械学習により精度の高い機械学習モデル（識別器）を作成するためには、学習に用いる学習用データの量及び学習用データに対応する正解ラベルの質が重要である。
そこで、例えば、特許文献１には、データと正解ラベルの組み合わせの集合である第１のデータセットと第２のデータセットを用意し、教師セットとして用いるデータセットと評価セットとして用いるデータセットを交互に入れ替えながらデータセットを更新していくことで、学習に用いるラベルの質を向上させる技術が提案されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－８７９０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１では、予めデータと正解ラベルの組み合わせの集合である第１のデータセットと第２のデータセットを用意しておく必要がある。しかし、大量のデータに対する正解ラベルの作成は多大な時間・労力を伴い、近年の機械学習においては、特にこの正解ラベルの作成のコスト削減が大きな課題となっている。また、画像データの領域認識（セグメンテーション）を行うような学習に用いる正解ラベルの作成は、ユーザーが領域の詳細な輪郭に沿って領域を指定する必要があるため、煩雑で多大な労力を要する。

【0005】

本発明の課題は、機械学習に用いる学習用データの正解ラベルの作成を効率的に行えるようにすることである。

【課題を解決するための手段】

【0006】

上記課題を解決するため、請求項１に記載の発明の情報処理装置は、
予め設定された問題についての正解ラベルが対応付けられた学習用データセットを用いて学習を行い、入力データに対する前記予め設定された問題についての正解を推定するための機械学習モデルを作成する学習手段と、
前記学習手段により学習された前記機械学習モデルを用いて、入力データに対する前記予め設定された問題についての正解を推定する推定手段と、
ユーザー操作に応じて、前記推定手段による推定結果を示すラベルを前記入力データの正解ラベルとして確定するか又は前記ラベルを修正してその修正したラベルを前記入力データの正解ラベルとして確定するラベル確定手段と、
前記確定された正解ラベルを前記入力データに対応付けて学習用データとして前記学習用データセットに追加登録する登録手段と、
前記学習手段による前記登録手段により追加登録された学習用データを含む前記学習用データセットを用いた機械学習モデルの作成、前記推定手段による前記作成された機械学習モデルを用いた入力データに対する正解の推定、前記ラベル確定手段による前記推定手段の推定結果を示すラベルの正解ラベルとしての確定又は前記ラベルの修正及び正解ラベルとしての確定、前記登録手段による前記正解ラベルが確定した前記入力データの前記学習用データセットへの登録、が繰り返し実行されるように制御する制御手段と、
前記学習用データ及び前記入力データが医用画像であり、前記問題が医用画像の領域認識であり、前記学習用データセットに正解ラベルが対応付けられていない学習用データが含まれている場合に、前記正解ラベルが対応付けられていない学習用データと同一被写体を異なる時期に撮影した医用画像を用いて経時差分処理を行って前記正解ラベルが対応付けられていない学習用データの正解ラベルを作成するラベル作成補助手段と、
を備える。

【0007】

請求項２に記載の情報処理装置は、
予め設定された問題についての正解ラベルが対応付けられた学習用データセットを用いて学習を行い、入力データに対する前記予め設定された問題についての正解を推定するための機械学習モデルを作成する学習手段と、
前記学習手段により学習された前記機械学習モデルを用いて、入力データに対する前記予め設定された問題についての正解を推定する推定手段と、
ユーザー操作に応じて、前記推定手段による推定結果を示すラベルを前記入力データの正解ラベルとして確定するか又は前記ラベルを修正してその修正したラベルを前記入力データの正解ラベルとして確定するラベル確定手段と、
前記確定された正解ラベルを前記入力データに対応付けて学習用データとして前記学習用データセットに追加登録する登録手段と、
前記学習手段による前記登録手段により追加登録された学習用データを含む前記学習用データセットを用いた機械学習モデルの作成、前記推定手段による前記作成された機械学習モデルを用いた入力データに対する正解の推定、前記ラベル確定手段による前記推定手段の推定結果を示すラベルの正解ラベルとしての確定又は前記ラベルの修正及び正解ラベルとしての確定、前記登録手段による前記正解ラベルが確定した前記入力データの前記学習用データセットへの登録、が繰り返し実行されるように制御する制御手段と、
前記学習用データ及び前記入力データが医用画像であり、前記問題が医用画像の領域認識であり、前記学習用データセットに正解ラベルが対応付けられていない学習用データが含まれており、前記正解ラベルが対応付けられていない学習用データが連続的に撮影することにより得られた画像群である場合に、任意の１フレームに正解ラベルが作成されると、前記作成された正解ラベルにワーピング処理を施して他のフレーム画像の正解ラベルを作成するラベル作成補助手段と、
を備える。

【0008】

請求項３に記載の発明は、請求項１又は２に記載の発明において、
前記問題を複数の選択肢の中からユーザーが選択するための問題選択手段を備える。

【0009】

請求項４に記載の発明は、請求項１～３のいずれか一項に記載の発明において、
前記機械学習モデルの種類を、少なくともディープラーニングの複数のネットワークを含む複数の選択肢の中からユーザーが選択するためのモデル選択手段を備える。

【0010】

請求項５に記載の発明のプログラムは、
コンピューターを、
予め設定された問題についての正解ラベルが対応付けられた学習用データセットを用いて学習を行い、入力データに対する前記予め設定された問題についての正解を推定するための機械学習モデルを作成する学習手段、
前記学習手段により学習された前記機械学習モデルを用いて、入力データに対する前記予め設定された問題についての正解を推定する推定手段、
ユーザー操作に応じて、前記推定手段による推定結果を示すラベルを前記入力データの正解ラベルとして確定するか又は前記ラベルを修正してその修正したラベルを前記入力データの正解ラベルとして確定するラベル確定手段、
前記確定された正解ラベルを前記入力データに対応付けて学習用データとして前記学習用データセットに追加登録する登録手段、
前記学習手段による前記登録手段により追加登録された学習用データを含む前記学習用データセットを用いた機械学習モデルの作成、前記推定手段による前記作成された機械学習モデルを用いた入力データに対する正解の推定、前記ラベル確定手段による前記推定手段の推定結果を示すラベルの正解ラベルとしての確定又は前記ラベルの修正及び正解ラベルとしての確定、前記登録手段による前記正解ラベルが確定した前記入力データの前記学習用データセットへの登録、が繰り返し実行されるように制御する制御手段、
前記学習用データ及び前記入力データが医用画像であり、前記問題が医用画像の領域認識であり、前記学習用データセットに正解ラベルが対応付けられていない学習用データが含まれている場合に、前記正解ラベルが対応付けられていない学習用データと同一被写体を異なる時期に撮影した医用画像を用いて経時差分処理を行って前記正解ラベルが対応付けられていない学習用データの正解ラベルを作成するラベル作成補助手段、
として機能させる。

【0011】

請求項６に記載の発明のプログラムは、
コンピューターを、
予め設定された問題についての正解ラベルが対応付けられた学習用データセットを用いて学習を行い、入力データに対する前記予め設定された問題についての正解を推定するための機械学習モデルを作成する学習手段、
前記学習手段により学習された前記機械学習モデルを用いて、入力データに対する前記予め設定された問題についての正解を推定する推定手段、
ユーザー操作に応じて、前記推定手段による推定結果を示すラベルを前記入力データの正解ラベルとして確定するか又は前記ラベルを修正してその修正したラベルを前記入力データの正解ラベルとして確定するラベル確定手段、
前記確定された正解ラベルを前記入力データに対応付けて学習用データとして前記学習用データセットに追加登録する登録手段、
前記学習手段による前記登録手段により追加登録された学習用データを含む前記学習用データセットを用いた機械学習モデルの作成、前記推定手段による前記作成された機械学習モデルを用いた入力データに対する正解の推定、前記ラベル確定手段による前記推定手段の推定結果を示すラベルの正解ラベルとしての確定又は前記ラベルの修正及び正解ラベルとしての確定、前記登録手段による前記正解ラベルが確定した前記入力データの前記学習用データセットへの登録、が繰り返し実行されるように制御する制御手段、
前記学習用データ及び前記入力データが医用画像であり、前記問題が医用画像の領域認識であり、前記学習用データセットに正解ラベルが対応付けられていない学習用データが含まれており、前記正解ラベルが対応付けられていない学習用データが連続的に撮影することにより得られた画像群である場合に、任意の１フレームに正解ラベルが作成されると、前記作成された正解ラベルにワーピング処理を施して他のフレーム画像の正解ラベルを作成するラベル作成補助手段、
として機能させる。

【発明の効果】

【0015】

本発明によれば、機械学習に用いる学習用データの正解ラベルの作成を効率的に行うことが可能となる。

【図面の簡単な説明】

【0016】

【図1】（ａ）は、学習用データの一例を示す図であり、（ｂ）は、機械学習の問題設定が領域認識である場合の（ａ）の正解ラベルを示す図である。

【図2】本発明の実施形態における情報処理装置の機能的構成を示すブロック図である。

【図3】図１の制御部により実行されるラベル作成処理を示すフローチャートである。

【図4】選択画面の一例を示す図である。

【図5】図３のステップＳ１２～Ｓ１８を繰り返し実行することによる学習用データセットと推定用データセットの量の変化を模式的に示す図である。

【発明を実施するための形態】

【0017】

以下、図面を参照して本発明の実施形態について説明する。ただし、発明の範囲は、図示例に限定されない。

【0018】

〔情報処理装置１の構成〕
まず、本発明に係る情報処理装置１の構成について説明する。
情報処理装置１は、機械学習に用いるデータ（学習用データ）に対する正解ラベルの作成、複数の学習用データからなる学習用データセットを用いた学習による機械学習モデルの作成、入力されたデータ（正解ラベルが対応付けられていない未知のデータ）に対する機械学習モデルを用いた正解の推定等を行う装置である。情報処理装置１が機械学習により扱うデータは、特に限定されず、画像、音、文書等の様々なデータを用いることができるが、本実施形態では、医用画像を用いる場合を例にとり説明する。

【0019】

ここで、正解ラベルとは、機械学習により処理する問題（識別、認識、検出、予測等）の正解を示す情報である。図１（ａ）は、学習用データの一例を示す図であり、図１（ｂ）は、機械学習に学習させる問題が領域認識である場合の、（ａ）の学習用データに対応する正解ラベルを示す図である。なお、（ｂ）の色分けされた各領域にはその領域が何の領域かを示す情報が対応付けられている。

【0020】

図２は、第１の実施形態に係る情報処理装置１の機能的構成を示すブロック図である。図２に示すように、情報処理装置１は、制御部１１、記憶部１２、学習部１３、推定部１４、表示部１５、操作部１６、通信部１７等を備えて構成され、各部はバス１８により接続されている。

【0021】

制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）等により構成される。制御部１１のＣＰＵは、操作部１６の操作に応じて、記憶部１２に記憶されているシステムプログラムや各種処理プログラムを読み出してＲＡＭ内に展開し、展開されたプログラムに従って、情報処理装置１各部の動作を集中制御する。例えば、制御部１１は、後述するラベル作成処理を実行し、ラベル確定手段、登録手段、制御手段、問題選択手段、モデル選択手段、ラベル作成補助手段として機能する。

【0022】

記憶部１２は、不揮発性の半導体メモリーやハードディスク等により構成される。記憶部１２は、システムプログラムや制御部１１で実行される各種プログラム、プログラムにより処理の実行に必要なパラメーター等のデータを記憶する。例えば、記憶部１２は、後述するラベル作成プログラムを実行するためのプログラム等を記憶している。各種プログラムは、読取可能なプログラムコードの形態で格納され、制御部１１は、当該プログラムコードに従った動作を逐次実行する。

【0023】

また、記憶部１２は、学習用ＤＳ（Data Set）記憶部１２１、推定用ＤＳ記憶部１２２、確定待ちデータ記憶部１２３、登録待ちデータ記憶部１２４を有している。

【0024】

学習用ＤＳ記憶部１２１は、学習部１３における機械学習に用いる学習用データセットを記憶する。
ここで、機械学習により精度の高い機械学習モデルを作成するためには大量の学習用データからなる学習用データセットが必要となるが、初期の（図３に示すラベル作成処理開始前）の学習用データセットとしては、要求される精度の機械学習モデルの作成に必要な量の学習用データを含んでいる必要はなく、その一部の少量の学習用データが記憶されていればよい。また、初期の段階においては、学習用ＤＳ記憶部１２１に正解ラベルが対応付けられた学習用データが記憶されていても、正解ラベルが対応付けられていない学習用データが記憶されていてもよい。

【0025】

推定用ＤＳ記憶部１２２は、図３に示すラベル作成処理において推定部１４における推定の対象となる、正解ラベルが対応付けられていない未知のデータ（推定用データと呼ぶ）を記憶する。
ここで、図３に示すラベル作成処理開始前においては、推定用ＤＳ記憶部１２２には大量の推定用データセットが記憶されており、ラベル作成処理において推定部１４により推定用データの正解が推定され、推定結果を示すラベルが正解ラベルとして確定されると、その推定用データに確定した正解ラベルが対応付けられ、学習用データとして学習用ＤＳ１２１に登録される。

【0026】

確定待ちデータ記憶部１２３は、後述するラベル作成処理において確定待ちの推定用データ及びラベルを一時的に格納するための領域である。
登録待ちデータ記憶部１２４は、学習用ＤＳ記憶部１２１への登録を待機している推定用データ及び対応する正解ラベルを一時的に格納するための領域である。

【0027】

学習部１３は、学習用データセットを用いて学習を行い、推定部１４において入力されたデータに対し予め設定された問題についての正解を推定するための機械学習モデルを作成し、推定部１４に出力する。学習部１３は、制御部１１のＣＰＵと学習部１３内に記憶されている各種学習プログラムとの協働により実現されることとするが、専用のハードウエアにより構成されることとしてもよい。

【0028】

推定部１４は、学習部１３により生成された機械学習モデルを用いて、入力されたデータに対する、予め設定された問題についての正解を推定する。ラベル作成処理において、推定部１４は、推定用ＤＳ記憶部１２２に記憶されている推定用データを入力データとして推定用データの正解を推定する。推定部１４は、制御部１１のＣＰＵと機械学習モデルとの協働により実現されることとするが、専用のハードウエアにより構成されることとしてもよい。

【0029】

表示部１５は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）等のモニターにより構成され、制御部１１から入力される表示信号の指示に従って、操作部１６からの入力指示やデータ等を表示する。

【0030】

操作部１６は、カーソルキー、数字入力キー、及び各種機能キー等を備えたキーボードと、マウス等のポインティングデバイスを備えて構成され、ユーザーによるキーボードに対するキー操作やマウス操作により入力された指示信号を制御部１１に出力する。また、操作部１６は、表示部１５の表示画面にタッチパネルを備えても良く、この場合、タッチパネルを介して入力された指示信号を制御部１１に出力する。

【0031】

通信部１７は、ＬＡＮアダプターやモデムやＴＡ（Terminal Adapter）等を備え、通信ネットワークに接続された外部装置との間のデータ送受信を制御する。

【0032】

〔情報処理装置１の動作〕
次に、本実施形態における情報処理装置１の動作について説明する。
図３に、撮影用コンソール２の制御部１１において実行されるラベル作成処理のフローチャートを示す。ラベル作成処理は、制御部１１と記憶部１２に記憶されているプログラムとの協働により実行される。

【0033】

まず、制御部１１は、図４に示す選択画面１５１を表示部１５に表示させ、操作部１６による機械学習の問題設定（機械学習により処理する問題）、作成する機械学習モデルの種類、問題設定が領域認識の場合の抽出傾向等の選択を受け付ける（ステップＳ１０）。
機械学習の問題設定の選択肢としては、例えば、領域認識、識別、検出、予測等が挙げられる。処理対象のデータが医用画像である場合、領域認識では、例えば、構造物領域（肺野、心臓、骨等）や病変領域を認識する。識別では、例えば、撮影部位（頭部、胸部、腹部等）を識別する。検出では、例えば、特定の部位や病変を検出する。予測では、例えば、余命や疾病等を予測する。
機械学習モデルの種類の選択肢としては、例えば、Deep Learning（ディープラーニング）の各種ネットワークモデル（例えば、AlexNet、GoogleNet、ResNet等）、RandomForest、SVM（サポートベクターマシン）等が挙げられる。
抽出傾向の選択肢としては、例えば、過抽出、抽出不足、指定なし等が挙げられる。

【0034】

次いで、制御部１１は、学習用ＤＳ記憶部１２１に記憶されている学習用データの正解ラベルを作成する（ステップＳ１１）。
ステップＳ１１においては、学習用ＤＳ記憶部１２１に記憶されている学習用データのうち、正解ラベルが対応付けられていないものについての正解ラベルの作成を行う。正解ラベルが対応付けられている学習用データについては、正解ラベルの作成は行わない。なお、正解ラベルの作成は、医用画像全体に対するものであってもよいし、医用画像の一部分に対するものであってもよい。

【0035】

ステップＳ１１において、正解ラベルが対応付けられていない学習用データに正解ラベルを作成する際、表示部１５に学習用データを表示してユーザー操作に応じて正解ラベルを作成してもよいが、例えば、問題設定が領域認識である場合、ユーザー操作による正解ラベルの作成は、画像内の物（構造物や病変）の領域を目視で認識し、認識した領域をマウス等で指定（所定の色で塗り潰す等）し、各領域が何の領域であるかを示す情報を付与する等の作業が必要となり労力と時間がかかる。また、例えば、医用画像における病変の辺縁は、認識に苦慮することがあり、また医師間でも認識に差異が生じる可能性がある。そこで、記憶部１２にラベル作成補助アルゴリズム（プログラム）を記憶しておき、制御部１１は、操作部１６による指示に基づいて、記憶部１２に記憶されたアルゴリズムを用いて正解ラベルを作成することが好ましい。

【0036】

ラベル作成補助アルゴリズムとしては、例えば、同一被写体を異なる時期に撮影した複数の医用画像に経時差分処理を行ってラベルを作成するアルゴリズムを用いることができる。例えば、正解ラベルの作成対象の学習用データと同一被写体の、病変がなかったときの医用画像を用いて経時差分処理を行うことにより、正解ラベル作成対象の学習用データの病変の領域を自動で認識して正解ラベルを作成することができる。

【0037】

また、例えば、同一被写体を複数回連続的に撮影することにより得られた動画像のうちユーザー操作により任意の１のフレームについて正解ラベルを作成させ、他のフレームについては、１フレームについて作成した正解ラベルにワーピング処理を施して他のフレーム画像の領域ラベルを作成するアルゴリズムをラベル作成補助アルゴリズムとして用いてもよい。
その他、二値化処理、判別分析法等の閾値処理等の領域認識アルゴリズムをラベル作成補助アルゴリズムとして用いてもよい。

【0038】

また、医師が判断した病変位置等を示すレポートの情報に基づいて自動的に正解ラベルを作成してもよい。

【0039】

次いで、制御部１１は、学習用データとその学習用データについて作成した正解ラベルとを対応付けて学習用ＤＳ記憶部１２１に登録する（ステップＳ１２）。

【0040】

次いで、制御部１１は、学習部１３に対し、学習用ＤＳ記憶部１２１に登録された学習用データセットに基づいて学習を行わせ、推定部１４において入力されたデータに対しステップＳ１０で選択された問題についての正解を推定するための機械学習モデルを作成させる（ステップＳ１３）。

【0041】

次いで、制御部１１は、推定用ＤＳ記憶部１２２に推定用データが存在するか否かを判断する（ステップＳ１４）。

【0042】

推定用ＤＳ記憶部１２２に推定用データが存在すると判断した場合（ステップＳ１４；ＹＥＳ）、制御部１１は、操作部１６により終了指示が入力されたか否かを判断する（ステップＳ１５）。
操作部１６により終了指示が入力されていないと判断した場合（ステップＳ１５；ＮＯ）、制御部１１は、推定部１４に対し、推定用ＤＳ記憶部１２２に記憶されている推定用データを入力データとしてステップＳ１３で作成された機械学習モデルを用いて順次正解の推定を行わせ、推定結果を示すラベルを推定用データに対応付けて確定待ちデータ記憶部１２３に記憶させる（ステップＳ１６）。なお、推定済みの推定用データは推定用ＤＳ記憶部１２２から削除する。

【0043】

確定待ちデータ記憶部１２３にラベルが対応付けられた推定用データが記憶されると、制御部１１は、表示部１５に推定用データ及び推定結果を示すラベルを表示し、操作部１６による推定結果を示すラベルの正解ラベルとしての確定指示、又は、推定結果を示すラベルの修正及び正解ラベルとしての確定の指示を受け付ける（ステップＳ１７）。

【0044】

ユーザーは、表示部１５に表示された推定用データ及びラベルを確認し、推定結果を示すラベルが正解である場合は、操作部１６により確定指示を入力する。推定結果を示すラベルが間違っている場合は、操作部１６によりラベルを修正した後、確定指示を入力する。ここで、設定された問題が領域認識である場合、ユーザーの好み（領域を狭める（消す）修正が好みか領域を広げる（塗り潰す）修正が好みか）に応じて抽出傾向として過抽出又は抽出不足を選択しておくことで、ラベルの修正を行いやすくすることができる。ラベルの確定の指示が入力されると、制御部１１は、確定したラベルを正解ラベルとして推定用データに対応付けて登録待ちデータ記憶部１２４に記憶する。なお、確定した推定用データは確定待ちデータ記憶部１２３から削除する。

【0045】

ステップＳ１７において確定待ちデータ記憶部１２３に記憶されている推定用データ及び推定結果を示すラベルを表示部１５に表示する際、制御部１１は、ユーザーが操作部１６により修正を行うためのツールや確定指示を行うための確定ボタンを表示するとともに、表示されているラベルへの処理をスキップするためのスキップボタンを表示する。これにより、ユーザーは、修正に手間がかかるものは後回しにし、一見して正解のものから確定していくことができ、後段の学習用データセットへの追加登録及び機械学習モデルの更新を効率よく行うことが可能となる。

【0046】

次いで、制御部１１は、操作部１６により、正解ラベルが確定した推定用データを学習用ＤＳ記憶部１２１に登録する指示が入力されたか否かを判断する（ステップＳ１８）。
正解ラベルが確定した推定用データを学習用ＤＳ記憶部１２１に登録する指示が入力されていないと判断した場合（ステップＳ１８；ＮＯ）、制御部１１はステップＳ１７に戻り、確定待ちデータ記憶部１２３に順次記憶される、推定部１４による推定結果を示すラベルの正解ラベルとしての確定指示、又は、推定結果を示すラベルの修正及び正解ラベルとしての確定の指示を受け付ける。

【0047】

正解ラベルが確定した推定用データの学習用ＤＳ記憶部１２１への登録指示が入力されたと判断した場合（ステップＳ１８；ＹＥＳ）、制御部１１は、ステップＳ１２に戻り、登録待ちデータ記憶部１２４に記憶されている、正解ラベルが対応付けられた推定用データを学習用データとして学習用ＤＳ記憶部１２１に登録（追加登録）し、登録待ちデータ記憶部１２４から削除する。そして、制御部１１は、追加登録された学習用データを含めた学習用データセットに基づいて、学習部１３に学習を行わせ、推定部１４において入力されたデータに対し予め設定された問題についての正解を推定するための機械学習モデルを作成させる。

【0048】

制御部１１は、ステップＳ１４において推定用ＤＳ記憶部１２２に推定用データがなくなったと判断するか、又は操作部１６によりラベル作成の終了指示が入力されるまで、ステップＳ１２～Ｓ１８の処理を繰り返し実行する。ステップＳ１４において推定用ＤＳ記憶部１２２に推定用データがなくなった（すなわち推定用ＤＳ記憶部１２２に記憶されていた推定用データの全てに正解ラベルが対応付けられた）と判断した場合（ステップＳ１４；ＮＯ）、又は操作部１６によりラベル作成の終了指示が入力された場合（ステップＳ１５；ＹＥＳ）、制御部１１は、ラベル作成処理を終了する。

【0049】

ラベル作成処理で作成された機械学習モデルは、推定部１４に入力され、未知のデータに対する正解の推定に用いられる。

【0050】

以上説明したように、本実施形態のラベル作成処理では、制御部１１は、学習部１３による、学習用データセットを用いた機械学習モデルの作成、推定部１４による、作成された機械学習モデルを用いた未知の推定用データの正解の推定、推定結果を示すラベルのユーザーによる正解ラベルとしての確定（修正及び確定）、確定した正解ラベルが対応付けられた推定用データの学習用データセットへの追加登録（ステップＳ１２～Ｓ１８の処理）を繰り返し実行させる。ステップＳ１２～Ｓ１８の処理を繰り返していくにつれて、図５に示すように、学習用データセットの量は増加していく。

【0051】

したがって、初期の学習用データとして正解ラベルが対応付けられた少量の学習用データを用意すれば、あとはユーザーが正解ラベルの付与されていないデータに対して機械学習モデルで推定された推定結果をそのまま正解ラベルとして確定、または軽微な修正の後、正解ラベルとして確定する作業をするだけで正解ラベルが対応付けられた学習用データを作成することができるため、機械学習に用いる学習用データの正解ラベルの作成を効率的に行うことが可能となる。特に、画像データに対する領域認識等の正解ラベルの作成は、煩雑で多大な労力を要していたが、大幅に工数を低減することが可能となる。また、処理を繰り返すにつれて、機械学習に用いる学習用データセットの量が増加し、機械学習モデルによる推定用データに対する推定精度が向上していくため、ユーザーによる機械学習の推定結果の修正が減少し、より効率的に正解ラベルの作成を行うことが可能となる。

【0052】

また、機械学習モデルが処理する問題を複数の選択肢の中から選択することができるので、ユーザーが所望する問題に対する正解ラベルを効率的に作成することが可能となる。また、問題の処理に適用する機械学習モデルの種類をユーザーが選択することができるので、ユーザーが所望する機械学習モデルで正解ラベルを作成することができる。

【0053】

また、正解ラベルが対応付けられていない学習用データの正解ラベルの作成を補助するアルゴリズムを有し、自動又は半自動で正解ラベルを作成するので、ユーザーが操作部１６を操作して学習用データの正解ラベルを手動で作成する手間を低減することができる。

【0054】

なお、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。

【0055】

例えば、上記実施形態では、正解ラベルが対応付けられた学習用データを効率的に取得することを目的として図３に示すラベル作成処理を行ったが、精度の良い機械学習モデルを作成することを目的として図３に示すラベル作成処理を行うこととしてもよい。

【0056】

また、例えば、上記の説明では、本発明に係るプログラムのコンピューター読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピューター読み取り可能な媒体として、ＣＤ－ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も適用される。

【0057】

その他、情報処理装置を構成する各装置の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。

【符号の説明】

【0058】

１ 情報処理装置
１１ 制御部
１２ 記憶部
１２１ 学習用ＤＳ記憶部
１２２ 推定用ＤＳ記憶部
１２３ 確定待ちデータ記憶部
１２４ 登録待ちデータ記憶部
１３ 学習部
１４ 推定部
１５ 表示部
１６ 操作部
１７ 通信部
１８ バス

【図1】

【図2】

【図3】

【図4】

【図5】