特許 7584992 情報処理システム、情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-08

(45)【発行日】2024-11-18

(54)【発明の名称】情報処理システム、情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   G06N 20/00 20190101AFI20241111BHJP

   A61B 6/46 20240101ALI20241111BHJP

   G06T 7/00 20170101ALI20241111BHJP

【ＦＩ】

G06N20/00

A61B6/46

G06T7/00 614

G06T7/00 350C

【請求項の数】 20

(21)【出願番号】P 2020179539

(22)【出願日】2020-10-27

(65)【公開番号】P2022070462

(43)【公開日】2022-05-13

【審査請求日】2023-10-19

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】植田 竜太

(72)【発明者】

【氏名】平野 好教

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０２０－１３９８４２（ＪＰ，Ａ）

【文献】特開２０２０－８９７１２（ＪＰ，Ａ）

【文献】特開２０２０－８５８６９（ＪＰ，Ａ）

【文献】特開２０１８－１０２９１６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

Ａ６１Ｂ ６／４６

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

医用画像データを第一のクラス階層に属するクラスに分類する第一の学習済みモデルと、医用画像データを該第一のクラス階層より下位のクラス階層である第二のクラス階層に属するクラスに分類する第二の学習済みモデルと、を含む複数の学習済みモデルを記憶する記憶部と、
推論対象の医用画像データを含む医用情報を取得する取得部と、
前記取得部によって取得された前記医用情報に基づいて、互いに階層関係にある第一の学習済みモデル及び第二の学習済みモデルを選択する選択部と、
前記推論対象の医用画像データに対して前記選択部によって選択された前記互いに階層関係にある第一の学習済みモデル及び第二の学習済みモデルを用いて推論を行う推論部と、
前記推論部において推論を行った推論結果のうち、前記第二の学習済みモデルによる推論結果を出力する出力部と、を有することを特徴とする情報処理装置。

【請求項2】

前記推論部は、前記選択部によって選択された前記階層関係にある学習済みモデルのうち、より上位のクラス階層に属するクラスに分類する学習済みモデルから、順に推論を行うことを特徴とする請求項１に記載の情報処理装置。

【請求項3】

前記推論部は、前記階層関係にある学習済みモデルのうち前記第一の学習済みモデルを用いて第一の推論を行い、前記第一の推論による第一の推論結果に基づいて、前記第一の学習済みモデルと前記階層関係にある前記第二の学習済みモデルを用いた第二の推論を行うことを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記出力部は、前記階層関係にある学習済みモデルによる推論結果のうち、
前記第二の学習済みモデルと階層関係にあって且つ、より上位のクラス階層に属するクラスに分類する前記第一の学習済みモデルによる推論結果を出力することを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。

【請求項5】

ユーザによる修正情報を取得する修正情報の取得部をさらに有し、
前記修正情報に基づいて、前記推論部は推論を行うことを特徴とする請求項１乃至４の何れか一項に記載の情報処理装置。

【請求項6】

前記修正情報が、前記選択部によって選択された階層関係にある学習済みモデルのうち、すくなくともいずれかのモデルの再選択を示す情報であった場合には、前記推論部は、再選択されたモデルを含む学習済みモデルによって推論を行うことを特徴とする請求項５に記載の情報処理装置。

【請求項7】

前記修正情報が、前記選択部によって選択された階層関係にある学習済みモデルによる推論結果のうち、すくなくともいずれかの推論結果を修正する情報であった場合には、
前記推論部は前記推論結果を修正された学習済みモデルと階層関係にある、より下位の学習済みモデルを用いて前記修正した推論結果に基づいた推論を行うことを特徴とする請求項５に記載の情報処理装置。

【請求項8】

前記出力部は、前記選択部によって選択された前記階層関係にある学習済みモデルによる推論結果と、前記修正情報の取得部によって取得された修正情報を用いて推論を行った修正後の推論結果とを対比可能に出力することを特徴とする請求項５乃至７のいずれか一項に記載の情報処理装置。

【請求項9】

前記記憶部は、前記修正された推論結果と前記推論の対象とを、前記推論結果を修正された学習済みモデルの追加学習の候補として記憶することを特徴とする請求項７に記載の情報処理装置。

【請求項10】

前記選択部は、前記医用情報から、各クラス階層に対応する学習済みモデルとの適合度を算出し、算出された適合度に応じて前記階層関係にある学習済みモデルを選択することを特徴とする請求項１乃至９のいずれか一項に記載の情報処理装置。

【請求項11】

前記選択部は、前記各クラス階層に対応する学習済みモデルとの適合度が所定の値より大きい学習済みモデルから前記階層関係にある学習済みモデルを選択することを特徴とする請求項１０に記載の情報処理装置。

【請求項12】

前記選択部は、前記各クラス階層に対応する学習済みモデルとの適合度が所定の値より大きい学習済みモデルのうち、最も下位のクラス階層に対応する学習済みモデルと、該最も下位のクラス階層に対応する学習済みモデルと前記階層関係にあるより上位のクラス階層に対応する学習済みモデルを選択することを特徴とする請求項１１に記載の情報処理装置。

【請求項13】

前記選択部は、前記各クラス階層に対応する学習済みモデルとの適合度が所定の値より大きい学習済みモデルのうち、最も上位のクラス階層に対応する学習済みモデルと、最も下位のクラス階層に対応する学習済みモデルを選択し、該最も上位のクラス階層と該最も下位のクラス階層との間にクラス階層がある場合には、該クラス階層に対応する学習済みモデルをさらに選択することを特徴とする請求項１１または１２に記載の情報処理装置。

【請求項14】

前記医用情報が、推論対象、推論目的、クラスを示す情報のうち、すくなくとも一つを含む情報であることを特徴とする請求項１乃至１３のいずれか一項に記載の情報処理装置。

【請求項15】

推論対象の医用画像データを含む医用情報を取得する取得ステップと、
前記取得ステップによって取得された前記医用情報に基づいて、互いに階層関係にある第一の学習済みモデル及び第二の学習済みモデルを選択する選択ステップと、
前記推論対象の医用画像データに対して前記選択ステップによって選択された前記互いに階層関係にある第一の学習済みモデル及び第二の学習済みモデルを用いて推論を行う推論ステップと、
前記推論ステップにおいて推論を行った推論結果のうち、前記第二の学習済みモデルによる推論結果を出力する出力ステップと、を有することを特徴とする情報処理方法。

【請求項16】

請求項１５に記載の情報処理方法をコンピュータで実行するためのプログラム。

【請求項17】

医用画像データを第一のクラス階層に属するクラスに分類する第一の学習済みモデルと、医用画像データを該第一のクラス階層より下位のクラス階層である第二のクラス階層に属するクラスに分類する第二の学習済みモデルと、を含む複数の学習済みモデルを記憶する記憶部を有する情報処理装置と、該情報処理装置とネットワークを介して通信可能な情報端末とを備える情報処理システムであって、
前記情報処理装置は、
推論対象の医用画像データを含む医用情報を取得する取得部と、
前記取得部によって取得された前記医用情報に基づいて、互いに階層関係にある第一の学習済みモデル及び第二の学習済みモデルを選択する選択部と、
前記推論対象の医用画像データに対して前記選択部によって選択された前記互いに階層関係にある第一の学習済みモデル及び第二の学習済みモデルを用いて推論を行う推論部と、
前記推論部において推論を行った推論結果のうち、前記第二の学習済みモデルによる推論結果を前記情報端末に対して出力する出力部と、
を有することを特徴とする情報処理システム。

【請求項18】

前記情報端末は、前記出力部によって出力された推論結果を表示する表示部と、
ユーザによる修正情報を入力するための操作部と、をさらに有し、
前記情報処理装置は、前記情報端末の操作部によって入力された前記修正情報を取得する前記修正情報の取得部をさらに有することを特徴とする請求項１７に記載の情報処理システム。

【請求項19】

前記推論部は、前記修正情報に基づいて推論を行うことを特徴とする請求項１８に記載の情報処理システム。

【請求項20】

前記出力部は、前記選択部によって選択された前記階層関係にある学習済みモデルによる推論結果と、前記修正情報の取得部によって取得された修正情報を用いて推論を行った修正後の推論結果とを対比可能に前記情報端末に対して出力することを特徴とする請求項１９に記載の情報処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、階層関係にある学習済みモデルを用いて推論を行う情報処理システム、情報処理装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

医用撮像装置において取得された医用データを解析し、医師に診断支援情報を提示するコンピュータ支援診断（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｉａｇｎｏｓｉｓ：ＣＡＤ）システムが知られている。ＣＡＤシステムは、医用データの内、例えば医用画像データに対して機械学習技術を適用し、診断支援情報を出力する。

【0003】

特許文献１には、機械学習に基づく解析の信頼性を高めるため、異なる撮影方法および異なる信号処理の少なくとも一方の実行により、被検者に関する複数の加工医用信号を取得し、複数の加工医用信号のそれぞれに対して異なる学習済みモデルを用いて推論を行うことが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０２０－４２８１０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１において、複数の加工医用信号のそれぞれに対して、異なる学習済みモデルを用いて推論した場合には、それぞれの推論結果に関連性がないため、医師は学習済みモデルに入力された加工医用信号と、学習済みモデルからの推論結果を対比し診断を行わなければならない場合がある。上記の課題に鑑み、発明者は学習済みモデルに階層関係を持たせることを着想した。そこで、本発明は、階層関係にある学習済みモデルの選択と、選択された階層関係にある学習済みモデルによる推論結果を出力することができる情報処理システム、情報処理装置、情報処理方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の目的を達成するために、本発明に係る情報処理装置は、医用画像データを第一のクラス階層に属するクラスに分類する第一の学習済みモデルと、医用画像データを該第一のクラス階層より下位のクラス階層である第二のクラス階層に属するクラスに分類する第二の学習済みモデルと、を含む複数の学習済みモデルを記憶する記憶部と、推論対象の医用画像データを含む医用情報を取得する取得部と、取得部によって取得された医用に基づいて、互いに階層関係にある第一の学習済みモデル及び第二の学習済みモデルを選択する選択部と、推論対象の医用画像データに対して選択部によって選択された互いに階層関係にある学習済みモデルを用いて推論を行う推論部と、推論部において推論を行った推論結果のうち、第二の学習済みモデルによる推論結果を出力する出力部と、を備える。

【発明の効果】

【0007】

本発明によれば、階層関係にある学習済みモデルの選択と、選択された階層関係にある学習済みモデルによる推論結果を出力することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の情報処理システムの構成を示す図。

【図2】本発明の実施形態１にかかる情報処理装置の構成を示す図。

【図3】本発明の実施形態１に係る情報処理装置における記憶部の構成を示す図。

【図4】本発明の実施形態１に係る学習済みモデルの選択フローを説明する図。

【図5】本発明の実施形態１に係る学習済みモデルの推論フローを説明する図。

【図6】本発明の実施形態１に係る学習済みモデルの推論フローを説明する図。

【図7】本発明の実施形態１に係る情報処理装置の出力部による画面を説明する図。

【図8】本発明の実施形態２に係る情報処理装置の出力部による画面を説明する図。

【図9】本発明の実施形態２の変形例に係る情報処理装置の出力部による画面を説明する図。

【図10】本発明の実施形態３に係る情報処理装置の構成を示す図。

【図11】本発明の実施形態３に係る情報処理装置の出力部による画面を説明する図。

【図12】本発明の実施形態３に係る情報処理装置の出力部による画面を説明する図。

【図13】本発明の実施形態３の変形例に係る情報処理装置の出力部による画面を説明する図。

【図14】本発明の実施形態４に係る情報処理装置における記憶部の構成を示す図。

【図15】本発明の実施形態４に係る学習済みモデルの選択フローを説明する図。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して本発明の好適な実施形態について説明する。

【0010】

［第一の実施形態］
図１は、本発明の情報処理システムの構成を示す。

【0011】

本発明の情報処理システムは、被検者に関する医用データを取得する医用撮像装置１００と、情報端末１１０と、ネットワーク１２０と、情報処理装置１３０とを含み構成される。情報端末１１０は、一つの情報端末でもよく、複数の情報端末でもよい。

【0012】

情報端末１１０には、操作部１１２と表示部１１４が接続されている。操作部１１２は、操作者からの各種指示を受け付け、情報端末１１０及び医用撮像装置１００に対して、各種指示を伝達する。操作部１１２は、例えば、マウス、キーボード、ボタン、パネルスイッチ、フットスイッチ、トラックボール、ジョイスティックなどからなる。表示部１１４は、操作部１１２における各種指示を入力するためのＧＵＩを表示したり、医用撮像装置１００において取得された医用データに基づく画像データを表示したり、また情報処理装置１３０から受け取った出力を表示したりする。図１では、情報端末１１０に対して、操作部１１２と表示部１１４が別体として設けられているが、情報端末１１０は、操作部１１２と表示部１１４の機能を内部に有していてもよい。

【0013】

医用撮像装置１００は、例えばＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置、超音波診断装置などの被検者の医用データを取得する装置である。

【0014】

Ｘ線ＣＴ装置は、Ｘ線源とＸ線検出器を備えている。Ｘ線源とＸ線検出器とを被検者の周りで回転させながら、Ｘ線源からＸ線を被検者に照射してＸ線検出器で検出したデータを投影することによってＣＴデータを生成する。

【0015】

ＭＲＩ装置は、静磁場内に載置された被検者に対して所定の磁場を発生させ、取得されたデータに対してフーリエ変換することによってＭＲＩデータを生成する。

【0016】

超音波診断装置は、被検者に対して超音波を送信し、被検者からの反射波である超音波を受信して超音波データを生成する。

【0017】

医用撮像装置１００によって生成される医用データ（ＣＴデータ、ＭＲＩデータ、超音波データなど）は、三次元データ（ボリュームデータ）、二次元データである。医用データは、例えば、被検者に関する画像データである。画像データには、生データも含まれる。医用画像データは、複数のフレームデータからなる動画像データであってもよい。また、医用データには、医用画像データを用いて各種計測を行った計測データも含まれる。

【0018】

医用撮像装置１００は、情報端末１１０に接続されている。情報端末１１０は、例えばＰＣ端末、スマートフォンなどの携帯電話、ノート端末、タブレット端末などである。情報端末１１０は、被検者情報を設定することもでき、医用撮像装置１００から取得される医用データと被検者情報を関連付けることができる。情報端末１１０は、医用撮像装置１００から取得される医用データ、計測データの各種データを表示することもできる。

【0019】

情報端末１１０及び情報処理装置１３０は、ネットワーク１２０に接続されている。ネットワーク１２０は、病院外の通信ネットワーク、例えば、無線通信（Ｗｉ－Ｆｉ）、インターネット、無線基地局、プロバイダ、通信回線などを含む。また、ネットワーク１２０は、病院内の通信ネットワークであるイントラネットなどを含んでいてもよい。情報端末１１０は、ネットワーク１２０により、情報処理装置１３０と通信することができる。情報端末１１０は、医用データ（医用画像データを含む）や、医用情報、モデルの選択情報等を情報処理装置１３０に伝達することができる。情報処理装置１３０は、医用データ（医用画像データを含む）を用いて推論を行った推論結果を情報端末１１０に伝達することができる。

【0020】

図２は、本発明の情報処理装置１３０の構成の一例を示す。情報処理装置１３０は、生成された学習済みモデルをクラス階層と対応づけて記憶する記憶部２０４と、学習済みモデルを用いて推論を行う推論部２０６を備えている。さらに情報処理装置１３０は、推論対象の医用画像データを含む医用情報を取得する取得部２０８と、取得部２０８によって取得された医用情報に基づいて、階層関係にある第一の学習済みモデルおよび第二の学習済みモデルを選択する選択部２１０と、選択部２１０によって選択された階層関係にある学習済みモデルを用いて推論を行う推論部２０６と、選択部２１０によって選択された階層関係にあるモデルの情報や、該モデルによる推論結果を出力する出力部２１２を備えている。なお、取得部２０８が取得する医用情報は、例えば推論対象である医用画像データ、推論目的、クラスを示す情報のうち少なくとも一つである。また情報処理装置１３０は、医用画像データを用いて教師データを生成する教師データ生成部２００と、教師データ生成部２００において生成された教師データを用いて、医用画像データに関する学習を行う学習部２０２を含んで構成されてもよい。なお教師データ生成部２００や、学習部２０２は、外部の装置等の構成として含まれていてもよい。

【0021】

情報処理装置１３０の構成要素（機能）は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサが、メモリに記憶されたプログラム（ソフトウェア）を実行することにより実現される。

【0022】

情報処理装置１３０は、プロセッサとメモリを内部に有している。プロセッサは、メモリに記憶されたプログラムに従って、情報処理装置１３０の各処理を実行することができ、教師データ生成部２００、学習部２０２、記憶部２０４、推論部２０６、取得部２０８、選択部２１０、出力部２１２などとして機能させることができる。

【0023】

教師データ生成部２００は、ネットワーク１２０に接続されており、医用画像データ、計測データなどを含む医用データを取得することができる。教師データ生成部２００は、医用画像データを用いて教師データを生成する。教師データ生成部２００によって生成される教師データは、ニューラルネットワークが行う推論のタスクや分類の対象に応じて決定される。

【0024】

ニューラルネットワークが行う推論のタスクとしては、例えば医用画像データのクラスを分類する分類タスクや、医用画像データのどの位置に何が写り込んでいるかを検出する検出のタスク、医用画像データから対象の領域を抽出するセグメンテーションのタスク等が挙げられる。

【0025】

分類のタスクを行うニューラルネットワークを学習する際には、例えば教師データ生成部２００は、医用画像データと、医用画像データに写り込んでいる対象を示すラベルである正解ラベルとを対にした教師データを生成する。

【0026】

一方、ニューラルネットワークによって検出のタスクを行う場合には、例えば教師データ生成部２００は、医用画像データと、医用画像データに対して、医用画像データに写り込んでいる対象の位置を示すＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）と対象を示すラベルである正解ラベルを付与した正解画像とを対にした教師データを生成する。

【0027】

ニューラルネットワークによって行うタスクがセグメンテーションの場合には、例えば教師データ生成部２００は、医用画像データと、医用画像データに対して、医用画像データに写り込んでいる対象の画素の位置情報と、対象を示すラベルである正解ラベルを付与した正解画像とを対にした教師データを生成する。

【0028】

例えば、情報端末１１０から取得された医用画像データから、病変の有無、病変の種類及び領域をセグメンテーションするタスクを行うニューラルネットワークに学習させる場合には、教師データ生成部２００は、病変領域を有する医用画像データと、医用画像データに対して病変の種類を示す正解ラベルの情報と該病変の画素の位置情報と付与した正解画像とを対にした教師データを生成する。

【0029】

また、教師データ生成部２００は、学習部２０２で学習を行うニューラルネットワークに応じて、医用データの前処理を行ってもよい。例えば、ニューラルネットワークによる推論の対象が医用画像データである場合には、取得した医用画像データに対して、ノイズ除去や、フィルタ処理、画像の切り出し、解像度の変更等の処理を行ってもよい。推論の対象が文章等の自然言語であった場合には、形態素解析を行い、ベクトル変換技術を適用する等、ニューラルネットワークの推論の対象と、タスクに応じて、教師データ生成部２００は処理対象のデータの前処理を行ってもよい。なお、図２では、教師データ生成部２００を情報処理装置１３０の内部の構成として有している形態を示したが、情報端末１１０は、教師データ生成部２００の機能を内部に有していてもよい。つまり、教師データ生成部２００は、情報端末１１０の構成として保有されていてもよい。例えば、上述したような教師データを情報端末１１０で生成した後に、ネットワーク１２０を介して、情報処理装置１３０の学習部２０２によって推論器の学習を行ってもよい。

【0030】

学習部２０２は、教師データ生成部２００と接続されている。学習部２０２は、ニューラルネットワークを用いて、医用画像データを教師データと対応づけて学習することにより学習済みモデルを生成する。ここで、学習済みモデルは、学習処理を所定基準まで実施することにより決定されたパラメータと該パラメータに対応するモデルの情報とを示す。なお、学習済みモデルは、転移学習の際に他のモデルの学習に用いられても、該学習済みモデルに対してさらに学習処理が実行されてもよい。

【0031】

ニューラルネットワークは、複数の層から構成される。ニューラルネットワークの中でも、特にディープラーニング技術の一種であるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）は、図示はしないが、入力層と出力層との間に複数の中間層を有している。複数の中間層は、畳み込み層、プーリング層、アップサンプリング層、合成層がある。畳み込み層は、入力値群に対して畳み込み処理を行う層である。畳み込み層では、入力された医用画像データの畳み込みを行い、医用画像データの特徴を抽出する。

【0032】

プーリング層は、入力値群を間引いたり、合成したりすることによって、出力値群の数を入力値群の数よりも少なくする処理を行う層である。アップサンプリング層は、入力値群を複製したり、入力値群から補間した値を追加したりすることによって、出力値群の数を入力値群の数よりも多くする処理を行う層である。合成層は、ある層の出力値群や医用画像データを構成する画素値群といった値群を、複数のソースから入力し、それらを連結したり、加算したりして合成する処理を行う層である。中間層の数は、学習内容に応じて、随時変更することができる。

【0033】

記憶部２０４は、学習部２０２に接続されている。記憶部２０４は、複数のクラス階層と、複数のクラス階層のそれぞれに対応する学習済みモデルを記憶している。クラス階層は、学習済みモデルが分類するクラスに対応しており、例えば第一のクラス階層は臓器領域を分類するクラス、第二のクラス階層は特定の領域内から異常を検出するクラスである。記憶部２０４においてクラス階層に属するクラスを分類する学習済みモデルが該クラス階層に対応付けられて記憶されている。また第一のクラス階層に対応する学習済みモデルのうち、例えば肺野領域を特定する学習済みモデルと、第二のクラス階層に対応する学習済みモデルのうち、肺野領域から異常部位を検出する学習済みモデルは、階層関係として定義する関係にある。

【0034】

階層関係とは、学習済みモデルによって推論するフローに対応している。推論フローとは、例えばユーザの所望の推論結果を取得するために、学習済みモデルを用いて行う推論処理の順序を指す。例えば情報処理装置１３０に対してＣＴ画像が入力されると、ＣＴ画像から肺野領域を推論する第一の学習済みモデルを適用し、推論された肺野領域から第二の学習済みモデルが異常領域を推論するフローを、記憶部２０４は階層関係として記憶している。

【0035】

記憶部２０４が記憶する学習済みモデルは、例えば医用画像データにおける臓器領域や病変領域を検出や抽出するように学習された学習済みモデルである。ここで、学習済みモデルは、例えば、ニューラルネットワークを用いて生成されたものであるが、ニューラルネットワーク技術の中でもディープラーニング技術の一つであるＣＮＮやＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）、ＣＮＮやＲＮＮを派生させたモデル以外にも、サポートベクターマシンやロジスティック回帰、ランダムフォレスト等の他の機械学習技術を用いてもよいし、ルールベースに基づく手法を用いてもよい。

【0036】

推論部２０６は、取得部２０８から医用画像データ、計測データなどを含む医用データを取得することができる。推論部２０６は、記憶部２０４に接続されており、記憶部２０４に記憶された学習済みモデルのうち、後述する選択部２１０によって選択された学習済みモデルを用いて推論を行うことができる。推論部２０６は、例えば医用画像データにおける病変の種類及び領域を抽出するように学習された学習済みモデルを用いて、医用画像データに対して推論を行う。医用画像データに病変がある場合、推論部２０６は、病変の種類及び領域を出力することができる。また、選択部２１０によって階層関係にある複数の学習済みモデルが選択された場合には、階層関係にある複数の学習済みモデルのうち、より上位の学習済みモデルを用いて、推論部２０６は推論処理を実施し、該推論結果に基づく入力を用いて、より下位の学習済みモデルを用いて推論処理を実施する。即ち、推論部２０６は選択された階層関係にある複数の学習済みモデルを用いて推論を行う。

【0037】

図３は、本発明の記憶部２０４の構成を示す。記憶部２０４は、学習部２０２において学習された複数の学習済みモデルと付帯情報をクラス階層に対応付けて記憶する。クラス階層は、学習済みモデルが推論するクラスに対応しており、クラス階層に属するクラスに分類する学習済みモデルが、該クラス階層に対応付けられて記憶されている。クラスが上位になるほど、医用撮像装置１００によって取得された医用画像データに対して早い段階で推論されるべきクラス階層であり、クラスが下位になるほど該医用画像データに対して後の段階で推論されるべきクラス階層である。上位のクラス階層に対応する学習済みモデルを用いて推論部２０６が推論処理を実行することによって、より下位のクラス階層に対応する学習済みモデルによる推論性能が向上する。また下位のクラス階層に対応する学習済みモデルを補助する働きとして、上位のクラス階層に対応する学習済みモデルは、例えば臓器領域の抽出や、ノイズの削減等の処理が実行される。ここで記憶部２０４は、例えば第一のクラス階層３０１と第二のクラス階層３０２から構成される。例えば第一のクラス階層３０１は臓器領域を推論するクラス、第二のクラス階層３０２は、特定の領域から異常を推論するクラスに対応している。なお、クラス階層は、３つ以上のクラス階層から構成されていてもよい。記憶部２０４における複数のクラス階層を構成する各クラス階層には、各クラス階層に対応するクラスを推論する学習済みモデルが複数記憶されていてもよい。

【0038】

記憶部２０４における第一のクラス階層３０１には、例えば第１－１の学習済みモデル３１０と、第１－１の学習済みモデル３１０に対して第１－１の付帯情報３３０が付与されて記憶されている。また、この場合に記憶部２０４における第一のクラス階層３０１には第１－２の学習済みモデル３１２と、第１－２の学習済みモデルに対して第１－２の付帯情報３３２が付与されて記憶されている。

【0039】

記憶部２０４における第二のクラス階層３０２には、第２－１の学習済みモデル３１４に対して第２－１の付帯情報３３４、第２－２の学習済みモデル３１６に対して第２－２の付帯情報３３６、第２－３の学習済みモデル３１８に対して第２－３の付帯情報３３８、第２－４の学習済みモデル３２０に対して第２－４の付帯情報３４０が付与されて記憶されている。付帯情報は、付帯する学習済みモデルの推論対象や、クラス、階層関係のすくなくともいずれかを含んだ情報が記憶されていてもよい。後述する選択部２１０は、付帯情報と、取得部２０８が取得した医用情報とを比較することで、階層関係にある複数の学習済みモデルを選択してもよい。

【0040】

ここで、第一のクラス階層３０１における第１－１の学習済みモデル３１０と、第二のクラス階層３０２における第２－１の学習済みモデル３１４および第２－２の学習済みモデル３１６は階層関係にある。ここでは階層関係を模式的に線で繋いで示している。

【0041】

階層関係は、例えばユーザによって、事前に定められていてもよい。

【0042】

階層関係は、例えば部位と病変によって定められている。部位と病変によって階層関係を定義した場合には、第一のクラス階層３０１が部位を検出する階層であり、第二のクラス階層３０２が病変を検出する階層である。例えば、第一のクラス階層３０１に対応する学習済みモデルによって肺野部位が検出され、第二のクラス階層３０２に対応する学習済みモデルによって肺野部位における病変が検出される。

【0043】

また、階層関係は、第一の病変と第二の病変によって定められていてもよい。その場合には、第一のクラス階層３０１が第一の病変を検出する階層であり、第二のクラス階層３０２が第一の病変に起因する第二の病変を検出する階層である。第一のクラス階層３０１が肺結節を検出する階層であり、第二のクラス階層３０２が肺結節に起因する病変（転移、合併など）を検出する階層である。また、第一のクラス階層３０１における第１－２の学習済みモデル３１２は、第二のクラス階層における第２－３の学習済みモデル３１８および第２－４の学習済みモデル３２０と階層関係にある。階層関係とは、例えば医用画像データに対して実行する複数の学習済みモデルを順に適用して、ユーザの所望の推論結果を取得するための推論の順序に対応している。例えば、第一の推論と、第一の推論を受けて第二の推論を行ってアウトプットを得るフローに対しては、第一の推論を行う第一の学習済みモデルと、第二の推論を行う第二の学習済みモデルを階層関係として記憶部２０４は記憶している。なお、ここでは簡便のために階層関係を線で示したが、例えば学習済みモデルのそれぞれに付帯する付帯情報が、階層関係として第一の推論の後に実施する第二の推論を行う学習済みモデルを示す情報を記憶している。また、より上位のクラス階層に対応する学習済みモデルに付帯する付帯情報が、より下位のクラス階層に対応する学習済みモデルを示す情報を記憶している場合以外にも、より下位のクラス階層に対応する学習済みモデルに付帯する付帯情報が、より上位のクラス階層に対応する学習済みモデルを示す情報を記憶していてもよい。また、上位のクラス階層に対応する学習済みモデルに付帯する付帯情報と、下位のクラス階層に対応する学習済みモデルに付帯する付帯情報が、互いのモデルを指す情報を双方向に記憶していてもよい。

【0044】

記憶部２０４が複数のクラス階層に対応付けて複数の学習済みモデルを記憶し、複数の学習済みモデル間の階層関係を記憶する。そのため、後述する選択部２１０は、階層関係にある学習済みモデルを選択することができ、ユーザによるモデル選定や、選定された複数のモデルに対するアウトプットやインプットを入力する手間を削減することができる。なお、図３では、６つの学習済みモデルを付帯情報とともに記憶部２０４に記憶する形態を示したが、記憶部２０４は、７つ以上の学習済みモデルを付帯情報とともに記憶することも、６つ未満の学習済みモデルを記憶することもできる。また、記憶部２０４で記憶される複数の学習済みモデルのそれぞれは、推論するタスク、分類対象を示すクラス、モデル構造、教師データのいずれか一つが異なっているものする。また、選択部２０１は各学習済みモデルに付与される付帯情報に基づいてそれぞれの学習済みモデルを指定したり、学習済みモデルを特定したりすることができる。さらに、選択部２０１は付帯情報に基づいて、階層関係にある学習済みモデルを指定したり、特定したりすることができる。

【0045】

情報端末１１０からの入力に応じて選択部２１０によって付与情報に基づいて階層関係にある第一の学習済みモデルおよび第二の学習済みモデルが選択され、選択された学習済みモデルを用いて、推論部２０６は、情報端末１１０から取得される推論対象の医用画像データに対して推論処理を実行する。

【0046】

推論部２０６は、例えば医用画像データにおける病変領域や臓器領域を抽出するように学習された学習済みモデルを用いて、推論対象の医用画像データに対して推論を行う。推論部２０６は階層関係にある学習済みモデルのうち、より上位のクラス階層に属する学習済みモデルから順に推論を行う。例えば、選択部２１０によって、第一の学習済みモデルおよび第二の学習済みモデルが選択された場合には、第一の学習済みモデルを用いて第一の推論が行われ、第一の推論による第一の推論結果に基づいて、第一の学習済みモデルと階層関係にある第二の学習済みモデルを用いて第二の推論が行われる。すなわち、推論部２０６は、選択部２１０によって選択された階層関係にある学習済みモデルのうち、より上位のクラス階層に対応する学習済みモデルによって推論し、該推論による推論結果に基づく入力をより下位のクラス階層に対応する学習済みモデルによって推論する。推論部２０６は上位のクラス階層に対応する学習済みモデルによって推論し、該学習済みモデルと階層関係にあるより下位のクラス階層に対応する学習済みモデルによって推論することで、出力される推論処理の精度を向上させることができる。

【0047】

推論部２０６は、最も下位に対応する学習済みモデルによる推論結果を出力部２１２によって出力させてもよい。また、推論部２０６は階層関係にある学習済みモデルのそれぞれの推論結果を出力部２１２によって出力させてもよい。

【0048】

取得部２０８は、情報端末１１０より推論対象の医用画像データを含む医用情報を取得する。医用情報は、例えば推論対象の医用画像データや、推論目的、クラスを示す情報のすくなくとも一つを含む情報である。ユーザは、例えば情報端末１１０を操作して、推論対象の医用画像データを送信すると、取得部２０８は送信された医用情報を取得し、取得した情報を選択部２１０に送信する。取得部２０８は、取得された医用情報に不足があった場合には、追加の情報の送信をユーザに促す出力を出力部２１２により実施させる。また、取得部２０８は、学習済みモデルを選択する選択情報を取得してもよい。取得された選択情報に応じて、選択部２１０は学習済みモデルを選択し、選択された学習済みモデルを用いて推論部２０６によって推論をする。選択情報は、例えば情報端末１１０の操作部１１２を介してユーザによって入力される。

【0049】

選択部２１０は、取得部２０８が取得した医用情報に基づいて、記憶部２０４から階層関係にある学習済みモデルを推論部２０６によって推論を行うための学習済みモデルとして選択する。

【0050】

例えば、取得部２０８が取得した医用情報が医用画像データであった場合には、選択部２１０は、付帯情報を参照し、複数のクラス階層のそれぞれに対応する学習済みモデルとの適合度を算出し、適合度に応じて階層関係にある複数の学習済みモデルを選択する。適合度の算出は、例えば、クラス階層に対応するクラスに対応する対象物が、対象の医用画像データに存在する確率を、学習済みのモデルにより取得してもよい。また、適合度は、他の算出手法によって算出されてもよい。例えば、各クラス階層に対応する学習済みモデルの教師データとの類似度により適合度が算出されてもよい。選択部２１０は、適合度を算出し、算出された適合度が所定の値よりも大きいクラス階層に対応する学習済みモデルから、学習済みモデルを選択する。選択部２１０は、適合度が所定の値よりも大きい学習済みモデルのうち、最も下位の階層に対応する学習済みモデルを選択し、選択された学習済みモデルの付帯情報から、階層関係にあるより上位の階層に対応する学習済みモデルを選択する。また、クラス階層が３つ以上ある場合には、階層関係に応じて３つ以上の学習済みモデルが選択される。なお、選択部２１０による選択については、この形態に限られず、適合度が最も高いモデルを含むように階層関係にある複数の学習済みモデルが選択されてもよい。

【0051】

また、選択部２１０は、適合度が所定の値よりも大きい学習済みモデルのうち、最も上位のクラス階層に対応する学習済みモデルを選択してもよい。選択部２１０は、選択した最も上位のクラス階層に対応する学習済みモデルの付帯情報から、より下位のクラスに対応する学習済みモデルを選択する。またクラス階層が３つ以上ある場合には、階層関係に応じて３つ以上の学習済みモデルが選択される。

【0052】

また、取得部２０８により取得をした医用情報が推論目的やクラスの情報であった場合には、選択部２１０は、付帯情報を参照し、推論目的や、クラスの情報と、記憶部２０４のクラス階層との適合度を算出する。適合度は例えば、推論目的やクラスの情報のベクトルと、クラス階層を構成するクラスのベクトルとの類似度を適合度とする。もしくは、推論目的やクラスの情報のベクトルを入力として、学習済みモデルが推論処理を行った尤度を適合度としてもよい。

【0053】

さらに、取得部２０８が取得した情報が、推論目的やクラスの情報および、医用画像データであった場合に、選択部２１０は付帯情報を参照し、まず上述の方法によって推論目的やクラスの情報から適合度を算出する。次に、選択部２１０は、医用画像データに対して上述の方法によって適合度を算出する。最後に、選択部２１０は、両適合度に基づく適合度に基づいて、上述の方法によって階層関係にある複数の学習済みモデルを選択することができる。なお、選択部２１０は、両適合度のそれぞれを所定の値と比較して学習済みモデルを選択してもよいし、両適合度を合算や乗算によって組み合わせることによって算出される適合度を所定の値と比較することにより、学習済みモデルを選択してもよい。選択部２１０によって階層関係にある複数の学習済みモデルが選択されると選択された学習済みモデルに関する情報を出力部２１２に送信する。

【0054】

出力部２１２による出力の後、もしくは出力の前に取得部２０８が例えば情報端末１１０から、ユーザによるモデルの選択情報を取得した場合には、選択部２１０は、選択情報に基づいて階層関係にある複数の学習済みモデルを選択する。

【0055】

出力部２１２は、選択部２１０によって選択された学習済みモデルの情報の出力を行う。出力部２１２による出力は、情報処理装置１３０とネットワーク１２０を介して接続可能な情報端末１１０に対して行われる。また、出力部２１２は、推論部２０６による推論結果を情報端末１１０に出力する。出力部２１２は、選択部２１０によって選択された階層関係にある学習済みモデルによる推論結果を出力する。出力部２１２が出力をする推論結果は、選択部２１０によって階層関係にある第一の学習済みモデルおよび第二の学習済みモデルが選択された場合には、第一の学習済みモデルが分類をするクラス階層よりも下位のクラス階層に対応する第二の学習済みモデルによる推論結果を出力する。なお、出力部２１２による出力は、選択された階層関係にある複数の学習済みモデルのそれぞれの推論結果を出力してもよい。

【0056】

すなわち、本実施形態における情報処理装置１３０は、医用画像データを第一のクラス階層に属するクラスに分類する第一の学習済みモデルと、該医用画像データを該第一のクラス階層より下位のクラス階層である第二のクラス階層に属するクラスに分類する第二の学習済みモデルと、を含む複数の学習済みモデルを記憶する記憶部２０４と、推論対象の医用画像データを含む医用情報を取得する取得部２０８と、取得部２０８によって取得された医用情報に基づいて、互いに階層関係にある第一の学習済みモデルおよび第二の学習済みモデルを選択する選択部２１０と、選択部２１０によって選択された複数の学習済みモデルを用いて、推論対象の医用画像データに対して推論を行う推論部２０６と、推論部２０６において推論を行った推論結果のうち、第二の学習済みモデルによる推論結果に基づく出力をする出力部とを備える。

【0057】

本構成によって、複数の学習済みモデルから階層関係にある複数の学習済みモデルを選択することができ、ユーザによる複数の学習済みモデルからの学習済みモデルの選定や、選定された複数の学習済みモデルに対するアウトプットとインプットを入力する手間を削減しながら、選択された学習済みモデルによる推論結果を把握することができる。

【0058】

以下、図４を用いて医用情報から、選択部２１０が推論を行う学習済みモデルを選択するまでのフローについて説明する。

【0059】

ステップＳ４００において、取得部２０８は、推論対象の医用画像データを含む医用情報を取得する。取得部２０８によって医用情報が取得されると、ステップＳ４０１へと進み、医用情報が取得されなかった場合には、本処理を終了する。

【0060】

ステップＳ４０１において、選択部２１０は、上述の方法のいずれかによって各クラス階層との適合度を算出し、算出された適合度が所定の値より大きいか否かを判定する。選択部２１０によって算出された適合度が所定の値より大きい場合には、ステップＳ４０２へと進む。選択部２１０によって算出された適合度が所定の値以下の場合には、本処理を終了する。

【0061】

ステップＳ４０２において、選択部２１０は、所定の値より大きいと判定された学習済みモデルが２つ以上あるか否かを判定する。選択部２１０は、所定の値より大きいと判定された学習済みモデルが２つ以上の場合には、ステップＳ４０３に進み、２つ未満の場合にはステップＳ４０６へ進む。

【0062】

ステップＳ４０３において、選択部２１０は、複数の学習済みモデルが階層関係にあるかを判定する。選択部２１０による該判定は、２つ以上の学習済みモデルのそれぞれに付帯する付帯情報を参照することで判定される。選択部２１０によって階層関係にある学習済みモデルがないと判定された場合には、ステップＳ４０４へ進み、階層関係にある学習済みモデルがあると判定された場合には、ステップＳ４０５へと進む。

【0063】

ステップＳ４０４において、選択部２１０は、複数の学習済みモデルのうち、最も適合度の高い学習済みモデル推論部２０６によって推論を行う学習済みモデルとして選択することができる。なお、ここではユーザ等が事前に設定した学習済みモデルや、モデルの選択基準に応じて、別途学習済みモデルが選択されてもよい。

【0064】

ステップＳ４０５において、階層関係にある複数の学習済みモデルを、推論部２０６によって推論を行う学習済みモデルとして選択することができる。

【0065】

ステップＳ４０６において、出力部２１２は、選択部２１０によって選択された学習済みモデルを出力する。

【0066】

次に、図５を用いて、選択部２１０によって選択された学習済みモデルを用いて、推論部２０６が推論する際のフローについて説明する。

【0067】

ステップＳ５００において選択部２１０によって学習済みモデルが選択されるとステップＳ５０１に進み、モデルが選択されていない場合には、本処理を終了する。

【0068】

ステップＳ５０１において、推論部２０６は、選択部２１０によって選択された学習済みモデルが２つ以上か否かを判定し、学習済みモデルが２つ未満の場合はステップＳ５０２へ進み、学習済みモデルが２つ以上の場合はステップＳ５０３へと進む。

【0069】

ステップＳ５０２において、推論部２０６は、選択部２１０によって選択された学習済みモデルを用いて、推論対象の医用画像データに対して推論処理を実行する。学習済みモデルによる推論処理が実施されると、推論結果を出力部２１２に送信し、ステップＳ５０６へと進む。

【0070】

ステップＳ５０３において、推論部２０６は、２つ以上の学習済みモデルが階層関係にあるか否かを判定し、階層関係にない場合にはステップＳ５０４へと進み、階層関係にある場合には、ステップＳ５０５へと進む。

【0071】

ステップＳ５０４において、推論部２０６は、２つ以上の階層関係でない学習済みモデルのそれぞれを用いて推論処理を実行する。学習済みモデルによる推論処理が実施されると、推論結果を出力部２１２に送信し、ステップＳ５０６へと進む。

【0072】

ステップＳ５０５において、推論部２０６は、階層関係にある複数の学習済みモデルのうち、より上位のクラス階層に対応する学習済みモデルから順に推論処理を実行する。選択された学習済みモデルが、第一のクラス階層３０１に対応する第１－１の学習済みモデル３１０と、第二のクラス階層３０２に対応する第２－１の学習済みモデル３１４であった場合について説明する。推論部２０６は、第１－１の学習済みモデル３１０を医用画像データに適用し推論処理を実行し、第一の推論結果を取得する。次に、推論部２０６は、第２－１の学習済みモデル３１４に対して第１－１の学習済みモデル３１０による第一の推論結果に基づく入力をし、推論処理を行い第二の推論結果を取得する。学習済みモデルによる推論処理が実施されると、推論結果を出力部２１２に送信し、ステップＳ５０６へと進む。

【0073】

ステップＳ５０６において、出力部２１２は、選択部２１０によって選択された学習済みモデルによる推論結果を出力する。出力部２１２は、階層関係にある複数の学習済みモデルによる推論結果のうち、より下位のクラス階層に対応する第二の学習済みモデルの推論結果を出力する。なお、出力部２１２による出力をする推論結果は適宜変更でき、推論結果のすべてを出力しても、推論結果のうち一部のみを出力してもよい。出力部２１２における出力は例えば情報処理装置１３０に対してネットワーク１２０を介して通信可能な情報端末１１０に対して行われる。なお、出力部２１２による出力は、推論を所望するユーザに出力できれば、例えば情報処理装置１３０に備えついている表示部（不図示）や、情報処理装置１３０に対してユーザがアクセスすることで確認がされてもよい。

【0074】

本実施形態における情報処理装置１３０によって、複数の学習済みモデルから階層関係にある複数の学習済みモデルを選択することができ、また選択された階層関係にある複数の学習済みモデルによる推論処理を実行し、該実行結果を出力することができる。

【0075】

ここで、図６を用いて、選択部２１０によって選択された階層関係にある学習済みモデルによる推論のフロー（図５のステップＳ５０５）の一例について説明する。取得部２０８が取得した推論対象の医用画像データ６００を、選択部２１０によって選択された互いに階層関係にある第一の学習済みモデル（肺野領域抽出）および第二の学習済みモデル（結節領域検出）を用いて推論部２０６が推論する。まず、取得部２０８が取得した推論対象の医用画像データ６００は、例えば３次元胸部ＣＴ画像データを構成する複数の断面画像のうち、一つの断面画像を示している。推論対象の医用画像データ６００には、被検者の胴体６０１と、空気領域６０６が描出されている。また、被検者の胴体６０１の内部には、右肺に対応する肺野領域６０２、左肺に対応する肺野領域６０３が存在する。また被検者の中央には気管６０４が存在する。また右肺に対応する肺野領域には、結節領域６０５が存在する。

【0076】

推論部２０６は推論対象の医用画像データ６００に対して、階層関係にある第一の学習済みモデルおよび第二の学習済みモデルを用いて推論処理を実行する。まず、推論部２０６は、より上位のクラス階層に対応するＣＴ画像から肺野領域を抽出する第一の学習済みモデルを用いて、推論対象の医用画像データから肺野領域を抽出する。第一の学習済みモデルによる推論結果は、例えば第一の推論結果６１０である。第一の推論結果６１０では、推論対象の医用画像データ６００から肺野領域６１２が抽出されている。第一の学習済みモデルによって第一の推論結果が得られると、推論部２０６は、第一の推論結果６１０における肺野領域６１２の情報に基づいて第二の学習済みモデルを用いた第二の推論を実施する。第二の学習済みモデルへの入力は、例えば第一の推論結果を構成する肺野領域の画像上での座標情報である。また、第一の学習済みモデルによる出力が尤度を伴う出力である場合には、該尤度の情報も第二の学習済みモデルへの入力としてもよい。もしくは、尤度に対して閾値処理等を適用した情報を第二の学習済みモデルへ入力してもよい。推論部２０６は、第二の学習済みモデルを用いて、第一の学習済みモデルによって抽出された肺野領域内から、結節領域を検出する推論を実施する。第二の学習済みモデルによる第二の推論結果６２０は、肺野領域内の結節領域６２２を検出している。

【0077】

以下、図７を用いて、図６の推論フローによって推論された結果を出力する出力部２１２による画面７００の例について説明をする。出力部２１２は画面７００を、ネットワーク１２０を介して情報端末１１０に出力をしてもよいし、情報処理装置１３０にユーザがログインすることで、出力内容を把握できるように情報を記憶していてもよい。

【0078】

画面７００は、例えば推論対象の医用画像データ７０１と、推論を行った階層関係にあるモデル情報を出力するモデル情報の出力欄７０２、推論結果を示す推論情報の出力欄７０３から構成される。出力部２１２は、推論対象の医用画像データに対して、第二の学習済みモデルによる推論結果に基づく枠を重畳した重畳画像７０１を表示している。モデル情報の出力欄７０２には、選択部２１０によって選択された階層関係にある学習済みモデルの情報が記載され、ここでは第一の学習済みモデルおよび第二の学習済みモデルを用いて推論を行ったことが示されている。推論情報の出力欄７０３には、推論結果として、第二の学習済みモデルによる推論結果として、結節領域を検出した旨と、その尤度を表示している。ユーザは、出力部２１２による該出力を受けることで、推論対象の医用画像データに対して、選択された階層関係にある複数の学習済みモデルと、該複数の学習済みモデルの推論結果のうち、第二の学習済みモデルによる推論結果を把握することができる。

【0079】

（変形例１）
本変形例ではさらに、所定の値よりも大きい学習済みモデルの中から選択された下位の階層に対応する学習済みモデルが、複数の学習済みモデルと階層関係にある学習済みモデルであった場合における選択部２１０による学習済みモデルの選択について説明をする。

【0080】

選択部２１０が下位の階層に対応する学習済みモデルと階層関係にある複数の学習済みモデルを選択した場合には、推論部２０６は、選択された複数の学習済みモデルに推論処理を実施させ、複数の学習済みモデルからの出力を、下位の階層に対応する学習済みモデルへの入力とする。下位の階層に対応する学習済みモデルへの入力は、複数の学習済みモデルからの出力を統合したものであってもよいし、いずれかの出力が選択されてもよい。また、アンサンブル学習のように、複数の学習済みモデルからの出力に対して重みを付けた出力を、下位の学習済みモデルへの入力としてもよい。

【0081】

（変形例２）
上述の実施形態において、選択部２１０は、医用情報とクラス階層との適合度を算出し、適合度が所定の値よりも大きい学習済みモデルから、推論部２０６による推論処理を行う学習済みモデルを選択することを説明した。

【0082】

ここでは、選択部２１０はさらに選択部２１０によって選択された階層関係にある複数の学習済みモデルの最も下位もしくは、最も上位のクラス階層に対応する学習済みモデルが、さらに上位もしくは下位のクラス階層に対応する学習済みモデルと階層関係にある場合に、選択部２１０は、該学習済みモデルを推奨する学習済みモデルとして選択をし、出力部２１２は、該学習済みモデルの選択を推奨する出力を行ってもよい。

【0083】

［第二の実施形態］
上述の実施形態では、出力部２１２は、階層関係にある学習済みモデルの推論結果のうち、より下位のクラス階層に対応する第二の学習済みモデルによる推論結果に基づく出力をする構成について説明をした。本形態では、出力部２１２は、さらに第二の学習済みモデルと階層関係にあって且つ、より上位のクラス階層に属するクラスに分類をする第一の学習済みモデルによる推論結果を出力する。ユーザは、推論部２０６によって推論対象の医用画像データに対して実施される推論フローのそれぞれによる推論結果を出力されることにより、モデル選択の適正度や、モデルによる推論結果をより簡便に把握することができる。以下、図８を用いて、本実施形態による出力部２１２による出力について説明をする。画面８００は、選択部２１０によって選択された階層関係にある第一の学習済みモデルおよび第二の学習済みモデルを用いて推論部２０６により推論を行ったことを第一のモデル情報８１０、第二のモデル情報８２０として出力する。また、第一の学習済みモデルによって推論対象の医用画像データに対する第一の推論により抽出された肺野領域８１４を重畳した重畳画像８１２が出力される。また、第一の推論の結果８１６として、第一の推論によって抽出された領域の情報と、その尤度とが出力される。画面８００は、さらに第二の学習済みモデルによって、第一の学習済みモデルの推論結果に基づく第二の推論を実施した結果を出力している。第一の学習済みモデルによって抽出された肺野領域に対して、検出した結節領域を示す枠８２４を重畳した重畳画像８２２、該第二の推論の結果８２４として、検出した領域とその尤度の情報が出力される。ユーザは選択された階層関係にある複数の学習済みモデルと、複数の学習済みモデルによる推論結果とを把握することができ、さらに、推論結果と推論対象とを比較することで、モデルの精度やモデルの適否について判断することができる。

【0084】

（変形例）
上述までの実施形態では、選択部２１０によって選択される階層関係にある学習済みモデルが２つの場合を例として説明をしたが、選択部２１０によって選択される階層関係にある学習済みモデルは、３つ以上でもよい。また出力部２１２は、階層関係にある３つ以上の学習済みモデルのそれぞれの推論結果を出力してもよいし、より下位の学習済みモデルによる推論結果を出力してもよい。図９では、選択部２１０によって、階層関係にある３つのモデルとして、肺野領域を抽出する第一の学習済みモデル、肺結節領域を抽出する第二の学習済みモデル、結節領域の良悪性を鑑別する第三の学習済みモデルが選択された場合の画面９００を例にして説明する。

【0085】

画面９００は、推論部２０６が推論を行ったモデル情報を出力する。選択部２１０によって階層関係にある３つの学習済みモデルが選択された場合には、出力部２１２は、モデル情報として第一のモデル情報９１０、第二のモデル情報９２０、第三のモデル情報９３０を画面９００に示す。また、出力部２１２は、それぞれのモデルに対応する推論結果を示す重畳画像を画面９００に示している。第一のモデルとして選択された第一の学習済みモデルを用いて、推論対象の医用画像データに対して第一の推論を行った結果である肺野領域９１２を重畳した重畳画像を示す第一の推論結果９１１、第二のモデルとして選択された第二の学習済みモデルを用いて、肺野領域に対して第二の推論を行い、検出した結節領域を囲む枠９２２を重畳表示した重畳画像を示す第二の推論結果９２１、第三のモデルとして選択された第三の学習済みモデルを用いて、結節領域の良悪性鑑別を行う第三の推論を行い、良性と悪性の尤度を出力する第三の推論結果９３１からなる。ユーザは画面９００を通して、推論対象の医用画像データに対して、推論を行ったモデルの情報と、モデルによる推論結果を把握でき、推論結果と推論対象とを比較することで、モデルの精度や適否について判断することができる。

【0086】

［第三の実施形態］
上述までの実施形態により、出力部２１２は、選択部２１０によって選択された階層関係にある学習済みモデルを用いて、推論部２０６によって推論された推論結果を出力することで、ユーザのモデル選択の手間や、インプットやアウトプットに係る手間を削減でき、さらにモデルの精度や適否について判断することができる。

【0087】

本実施形態では、情報処理装置１３０がさらに、モデルを再選択する情報や推論結果を修正する情報を取得する修正情報の取得部１０００を有する形態について図１０を用いて説明する。修正情報の取得部１０００は、情報端末１１０における操作部１１２等からの入力された修正情報をネットワーク１２０を介して取得する。修正情報の取得部１０００が取得した修正情報に基づいて、推論部２０６は推論を行う。修正情報の取得部１０００は、取得した修正情報が、選択部２１０によって選択された階層関係にある学習済みモデルのうち、少なくともいずれかの推論結果を修正する情報であった場合には、推論部２０８に対して、再選択されたモデル情報を送信し、推論部２０８は再選択されたモデルを含む学習済みモデルによって推論を行う。修正情報の取得部１０００は、取得した修正情報が選択部２１０によって選択された階層関係にある学習済みモデルによる推論結果のうち、少なくともいずれかの推論結果を修正する情報であった場合には、推論部２０６に対して、推論結果を修正された学習済みモデルと階層関係にある、より下位の学習済みを用いて修正した推論結果に基づいた推論を実施させる。本形態により、ユーザによるモデルの選択や、インプットやアウトプットに係る手間を削減しながら、モデルの精度や適否を判断でき、さらに選択されたモデルや、モデルの推論結果がユーザの所望の情報と異なっていた場合も、モデルの再選択や、推論結果の修正等の修正情報に基づいた推論結果を出力部２１２が出力することができる。以下より、モデルの再選択の際の画面について図１１を用いて説明し、推論結果を修正する際の画面について図１２を用いて説明する。

【0088】

図１１を用いて、出力部２１２による画面１１００に対して、ユーザがモデルの再選択を行う際の画面１１００について説明をする。画面１１００は、図９と同様に選択部２１０によって、階層関係にある３つの学習済みモデルが選択され、選択された階層関係にある学習済みモデルのそれぞれの推論結果を示している。ここで、ユーザは第三のモデル情報１１０１のプルダウンを押下することで、第二の学習済みモデルと階層関係にある他の学習済みモデルの候補を選択することができる。ユーザによって、選択部２１０によって選択されたモデルと異なる学習済みモデルが選択された場合には、修正情報の取得部１０００はモデルの再選択情報を修正情報として取得し、取得した情報に基づいて推論部２０６に対して推論を実施させる。

【0089】

図１２を用いて、出力部２１２による画面１２００に対して、ユーザが推論結果の修正を行う際の画面１２００について説明をする。画面１２００は、図９と同様に選択部２１０によって、階層関係にある３つの学習済みモデルが選択され、選択された階層関係にある学習済みモデルのそれぞれの推論結果を示している。ここで、ユーザは第二の学習済みモデルによる第二の推論による検出結果に対して、第二の推論によって検出された領域を囲む枠１２０２とは異なる領域を結節領域として囲む枠１２０３を画像上に設定できる。ユーザによって結節領域が選択されると、修正情報の取得部１０００は、推論結果の修正情報を取得し、取得した修正情報に基づいて推論部２０６によって第三の学習済みモデルに第三の推論を実施し、第三の推論結果１２０４を出力する。第三の推論結果１２０４では、第二の推論結果１２０１を修正して、新たに選択された結節領域１２０３に対して、推論を実施し、推論結果を出力している。また、モデルの推論結果を修正された学習済みモデルの追加学習の候補として、修正された推論結果と推論の対象とを記憶部２０４に記憶する。

【0090】

（変形例）
修正情報の取得部１０００は、ユーザより修正情報を取得した場合には、推論部２０６によって修正前に選択部２１０によって選択された階層関係にある学習済みモデルによる推論結果と、修正情報を用いて推論を行った結果を対比可能に出力部２１２に出力させる。出力部２１２による出力は、情報処理装置１３０にユーザがアクセスすることで情報を把握できるようにしても、情報端末１１０に対してネットワーク１２０を介して出力を行ってもよい。図１３を用いて、修正情報の取得部１０００が推論結果を修正する情報を取得した場合について説明をするが、モデルの再選択の情報を取得した場合においても本変形例は適用可能である。

【0091】

図１３では、図１２を用いて説明をしたように、ユーザは第二の学習済みモデルによる第二の推論による検出結果である結節領域を囲む枠１２０２に対して、異なる領域を結節領域として囲む枠１２０３を画像上に設定している。修正情報の取得部１０００は、取得した推論結果を修正する修正情報に基づいて、推論部２０６による推論処理を実施させる。第三の推論結果は、修正後の第二の推論結果に対する第三の推論結果と、修正前の第二の推論結果に対する第三の推論結果とを対比可能に出力している。なお出力部２１２による出力の形態はこれに限定されず、例えば両結果が切替え可能に表示されてもよいし、または両結果の差分を表示してもよい。本変形例によって、選択されたモデルや、モデルの推論結果がユーザの所望の情報と異なっていた場合も、モデルの再選択や、推論結果の修正等の修正情報に基づいた推論結果を取得し、修正前の推論結果と対比することで、モデルの精度や適否について容易に判断することができる。

【0092】

［第四の実施形態］
上述の実施形態において選択部２１０は、医用情報とクラス階層に対応するクラスとの適合度を算出し、該適合度が所定の値よりも大きい学習済みモデルのうち、最も下位もしくは最も上位のクラス階層に対応する学習済みモデルを選択することを説明した。

【0093】

本実施形態においては、選択部２１０は適合度が所定の値よりも大きい学習済みモデルのうち、最も上位のクラス階層に対応する学習済みモデルと、最も下位のクラス階層に対応する学習済みモデルと、該最も上位のクラス階層と、該最も下位のクラス階層との間に他のクラス階層が記憶部２０４に記憶されている場合には、間の他のクラス階層からもさらに学習済みモデルを選択する。以下、図１４を用いて本実施形態について説明をする。

【0094】

記憶部２０４は、さらに第Ｎのクラス階層１４０３を有する。Ｎは３以上の自然数であり、クラス階層の数に応じて設定される。

【0095】

ここでは、簡便のためにＮ＝３として説明をする。本実施形態において選択部２１０は、適合度が所定の値よりも大きい学習済みモデルのうち、最も上位のクラス階層に対応する学習済みモデルを選択し、さらに、最も下位のクラス階層に対応する学習済みモデルを選択する。選択部２１０によって選択された両学習済みモデルが階層関係にある場合（すくなくとも一方の学習済みモデルの付帯情報から他方の学習済みモデルが探索可能である場合）であって、両モデルが対応するクラス階層の間に異なるクラス階層がある場合には、間にある異なるクラス階層に対応する学習済みモデルのうち、階層関係にある学習済みモデルをさらに推論部２０６によって推論を行う学習済みモデルとして選択をする。例えば選択部２１０によって、適合度が所定の値よりも大きい学習済みモデルのうち、最も上位のクラス階層に対応する学習済みモデルとして、第１の学習済みモデル３１０が選択され、最も下位のクラス階層に対応する学習済みモデルとして、第Ｎ－１の学習済みモデル６１４が選択された場合について説明する。選択部２１０は、第１－１の学習済みモデル３１０と、第Ｎ－１の学習済みモデル１４１４とが階層関係にあるかを判定する。選択部２１０によって階層関係にあると判定され、且つ第１－１の学習済みモデル３１０に対応する第一のクラス階層３０１と、第Ｎ－１の学習済みモデル１４１４に対応する第Ｎのクラス階層の間に他のクラス階層があるかを判定する。該他のクラス階層がある場合には、間にある異なるクラス階層に対応する学習済みモデルのうち、第１－１の学習済みモデル３１０と、第Ｎ－１の学習済みモデル１４１４と階層関係にある学習済みモデルをさらに選択する。

【0096】

図１５を用いて本実施形態のフローを説明する。選択部２１０は、ステップＳ１５００において、算出した適合度が所定値より大きく、かつ階層関係にある学習済みモデルの対応する最も上位のクラスと最も下位のクラスとのクラス階層間に他のクラス階層があるか否かを判定する。選択部２１０による判定の結果、他のクラス階層がないと判定された場合には、上述したステップＳ４０５へ進む。選択部２１０によって、他のクラス階層があると判定された場合には、ステップＳ１５０２へ進む。

【0097】

ステップＳ１５０２において、選択部２１０は、他のクラス階層に対応する学習済みモデルのうち、最も上位のクラスに対応する学習済みモデルと、最も下位のクラスに対応する学習済みモデルと階層関係にある（付帯情報から探索可能である）学習済みモデルをさらに選択する。なお、階層関係とは、第１－１の学習済みモデル３１０と、第２－１の学習済みモデル３１４のように直接的に階層関係を有しているもの以外にも、第１の学習済みモデル３１４と、第Ｎ－１の学習済みモデル６１４が、例えばいずれかの付帯情報から他方の学習済みモデルが探索可能であれば、両学習済みモデルは階層関係にあるものとして定義される。

【0098】

本実施形態における情報処理装置１０３により、選択部２１０が複数の学習済みモデルから、適切な学習済みモデルを選択する際の範囲を規定することができ、故にユーザによる複数の学習済みモデルからの学習済みモデルの選定や、選定された複数の学習済みモデルに対するアウトプットとインプットを入力する手間を削減することができる。

【0099】

（その他の変形例）
上記実施例の機能を実現するコンピュータプログラムを、ネットワーク又は記憶媒体（図示しない。）を介してコンピュータに供給し、当該コンピュータプログラムを実行させることができる。上述した情報処理方法をコンピュータに実行させるためのコンピュータプログラムである。つまり、コンピュータプログラムは、コンピュータで情報処理装置の機能を実現するためのプログラムである。記憶媒体は、当該コンピュータプログラムを記憶している。

【符号の説明】

【0100】

１３０ 情報処理装置
２０４ 記憶部
２０６ 推論部
２０８ 取得部
２１０ 選択部
２１２ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】