特許 7585429 情報処理装置、情報処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-08

(45)【発行日】2024-11-18

(54)【発明の名称】情報処理装置、情報処理方法およびプログラム

(51)【国際特許分類】

   A61B 6/03 20060101AFI20241111BHJP

   G06T 7/00 20170101ALI20241111BHJP

【ＦＩ】

A61B6/03 560T

G06T7/00 616

A61B6/03 570E

A61B6/03 577

【請求項の数】 23

(21)【出願番号】P 2023182840

(22)【出願日】2023-10-24

(62)【分割の表示】P 2019078889の分割

【原出願日】2019-04-17

(65)【公開番号】P2024010085

(43)【公開日】2024-01-23

【審査請求日】2023-11-14

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】川岸 将実

【審査官】松岡 智也

(56)【参考文献】

【文献】特開２０１９－０４５９２９（ＪＰ，Ａ）

【文献】特開２０１８－０３８８１５（ＪＰ，Ａ）

【文献】特開２０１８－１７５２２７（ＪＰ，Ａ）

【文献】特開平１０－１１８０１６（ＪＰ，Ａ）

【文献】特開２００４－０４１６９４（ＪＰ，Ａ）

【文献】特開２０１１－０９２６８５（ＪＰ，Ａ）

【文献】特開２００１－１０４２５３（ＪＰ，Ａ）

【文献】特開２０００－３１１２１２（ＪＰ，Ａ）

【文献】中国特許出願公開第１０１０８４５０１（ＣＮ，Ａ）

【文献】米国特許出願公開第２０１８／０３３０５００（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ５／００－５／０１、５／０５５、６／００－６／５８、８／００－８／１５

Ｇ０６Ｑ５０／２２

Ｇ０６Ｔ７／００－７／９０

Ｇ０６Ｖ１０／００－２０／９０、３０／４１８、４０／１６、４０／２０

Ｇ１６Ｈ１０／００－８０／００

(57)【特許請求の範囲】

【請求項1】

第一の時点で撮像された第一の医用画像と第二の時点で撮像された第二の医用画像との経時差分画像を取得する取得部と、
互いに異なるタスクの推論を行う複数の推論手段を有する推論部と、
取得された前記経時差分画像における注目領域に基づいて、前記推論部における前記複数の推論手段から少なくともひとつの推論手段を選択する選択部と、を有し、
前記複数の推論手段は、鑑別診断を行う推論手段、予後判定を行う推論手段、治療効果判定を行う推論手段、リスク評価を行う推論手段のうち、互いに異なる二つ以上の推論手段を含むことを特徴とする情報処理装置。

【請求項2】

前記注目領域は、前記第一の医用画像および前記第二の医用画像の少なくとも一方の医用画像上の異常陰影を示す領域のうち、少なくとも一部の領域であることを特徴とする請求項１に記載の情報処理装置。

【請求項3】

取得された前記経時差分画像における注目領域を前記第一の医用画像および前記第二の医用画像の少なくとも一方の医用画像に対応させる変換部をさらに有することを特徴とする請求項１または２に記載の情報処理装置。

【請求項4】

前記選択部はさらに、選択された推論手段に入力する入力情報を選択することを特徴とする請求項１から３の何れか一項に記載の情報処理装置。

【請求項5】

前記入力情報は、前記経時差分画像および前記経時差分画像上の前記注目領域の少なくとも一方であることを特徴とする請求項４に記載の情報処理装置。

【請求項6】

前記入力情報は、前記第一の医用画像および前記第二の医用画像の少なくとも一方を含む情報であることを特徴とする請求項４または５に記載の情報処理装置。

【請求項7】

前記入力情報は、変換部により変換された領域を含む情報であることを特徴とする請求項４から６の何れか一項に記載の情報処理装装置。

【請求項8】

前記入力情報は、前記第一の時点での臨床情報及び前記第二の時点での臨床情報のうち少なくとも一方の臨床情報をさらに含むことを特徴とする請求項４乃至６の何れか一項に記載の情報処理装置。

【請求項9】

前記選択部は、前記注目領域が第一の特徴量を有している場合、前記複数の推論手段から第一の推論手段を選択し、前記注目領域が第二の特徴量を有している場合、前記第一の推論手段と異なる第二の推論手段を前記複数の推論手段から選択することを特徴とする請求項１に記載の情報処理装置。

【請求項10】

前記選択部は、前記経時差分画像上の注目領域における特徴領域の形状、特徴領域の大きさ、特徴領域の画素値のうち、少なくともひとつに基づいて推論手段を選択することを特徴とする請求項１または９に記載の情報処理装置。

【請求項11】

前記選択部は、第一の時点での臨床情報及び第二の時点での臨床情報のうち少なくとも一方の臨床情報に基づいて推論手段を選択することを特徴とすることを特徴とする請求項１または９に記載の情報処理装置。

【請求項12】

前記選択部は、前記注目領域における特徴領域が推論手段を選択する情報を満たさない場合に、注目領域を異ならせることを特徴とする請求項１に記載の情報処理装置。

【請求項13】

前記選択部は、前記特徴領域が所定より小さい領域である場合、もしくは、局所的に離散して存在する場合に、前記注目領域のレンジを大きくすることを特徴とする請求項１２に記載の情報処理装置。

【請求項14】

前記選択部は、第一の時点での臨床情報及び第二の時点での臨床情報に基づいて、前記注目領域における特徴領域が推論手段を選択する情報を満たさない理由を特定することを特徴とする請求項１２に記載の情報処理装置。

【請求項15】

前記選択部によって特定された理由を表示する表示部を有することを特徴とする請求項１４に記載の情報処理装置。

【請求項16】

前記注目領域における特徴領域が推論手段を選択する情報を満たさない場合に、前記第一の時点以前に撮像された医用画像および前記第二の時点以降に撮像された医用画像のうち少なくとも一方を経時差分画像の対象として置き換えることを特徴とする請求項１に記載の情報処理装置。

【請求項17】

前記選択部は、前記注目領域の正の値を有する領域、または、負の値を有する領域に基づいて前記推論手段を選択することを特徴とする請求項１に記載の情報処理装置。

【請求項18】

前記選択部は、前記注目領域の値の増減に基づいて、前記推論手段を選択することを特徴とする請求項１に記載の情報処理装置。

【請求項19】

前記選択部は、前記注目領域が正の値を有する場合と負の値を有する場合とで、異なる推論手段を選択することを特徴とする請求項１に記載の情報処理装置。

【請求項20】

第一の時点で撮像された第一の医用画像と第二の時点で撮像された第二の医用画像との経時差分画像を取得する取得部と、
第１の診断支援情報を取得するための第１の推論手段と、該第１診断支援情報とは異なる種類の第２の診断支援情報を取得するための第２の推論手段と、を含む複数の推論手段を有する推論部と、
取得された前記経時差分画像における注目領域に基づいて、前記推論部における複数の推論手段から少なくともひとつの推論手段を選択する選択部と、
を有することを特徴とする情報処理装置。

【請求項21】

第一の時点で撮像された第一の医用画像と第二の時点で撮像された第二の医用画像との経時差分画像を取得する取得ステップと、
取得された前記経時差分画像における注目領域に基づいて、互いに異なるタスクの複数の推論手段から少なくともひとつの推論手段を選択する選択ステップと
を有し、
前記選択ステップは、鑑別診断を行う推論手段、予後判定を行う推論手段、治療効果判定を行う推論手段、リスク評価を行う推論手段のうち、互いに異なる二つ以上の推論手段を含む前記複数の推論手段から、前記推論手段を選択することを特徴とする情報処理方法。

【請求項22】

第一の時点で撮像された第一の医用画像と第二の時点で撮像された第二の医用画像との経時差分画像を取得する取得ステップと、
前記取得された経時差分画像における注目領域に基づいて、第１の診断支援情報を取得するための第１の推論手段と、該第１の診断支援情報とは異なる種類の第２の診断支援情報を取得するための第２の推論手段と、を含む複数の推論手段から少なくともひとつの推論手段を選択する選択ステップと
を有することを特徴とする情報処理方法。

【請求項23】

請求項２１または請求項２２に記載の情報処理方法をコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、経時差分画像に対して推論をする推論手段を選択する情報処理装置、情報処理方法およびプログラムに関する。

【背景技術】

【0002】

取得された医用画像に対して、機械学習技術（推論手段）を利用し、ユーザである医師に対して診断支援を行う技術が知られている。

【0003】

特許文献１には、医用画像とそれに付随する画像所見を用いて異常陰影の鑑別診断を行い、その診断結果と共に、画像所見の内、計算機が診断結果に対して否定的と判断した情報を表示する技術が記載されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１０－２００８４０号公報

【非特許文献】

【0005】

【文献】ＭＦ．Ｂｅｇ ｅｔ ａｌ．，“Ｃｏｍｐｕｔｉｎｇ ＬａｒｇｅＤｅｆｏｒｍａｔｉｏｎ Ｍｅｔｒｉｃ Ｍａｐｐｉｎｇｓ ｖｉａ Ｇｅｏｄｅｓｉｃ Ｆｌｏｗｓ ｏｆ Ｄｉｆｆｅｏｍｏｒｐｈｉｓｍｓ“，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，６１（２），１３９－１５７，２００５．

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、複数の異なる推論手段が存在する場合において、ユーザが適切な推論手段を選択する必要があった。

【0007】

本発明はかかる課題を解決するためになされたものであり、医用画像における経時差分画像に基づいて適切な推論手段を選択する技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記課題を解決するため、本発明の一態様における情報処理装置は、第一の時点で撮像された第一の医用画像と第二の時点で撮像された第二の医用画像との経時差分画像を取得する取得部と、経時差分画像に対して推論を行う複数の推論手段を有する推論部と、取得された経時差分画像における注目領域に基づいて、前記推論部における複数の推論手段から少なくともひとつの推論手段を選択する選択部と、を有する。

【発明の効果】

【0009】

本発明によれば、医用画像における経時差分画像に基づいて適切な推論手段を選択することができる。

【図面の簡単な説明】

【0010】

【図1】情報処理装置の機能構成の一例を示す図。

【図2】情報処理装置のハードウェア構成の一例を示す図。

【図3】情報処理装置の処理の一例を示すフローチャート。

【図4】経時差分画像の一例を示す図。

【図5】情報処理装置の機能構成の他の一例を示す図。

【図6】情報処理装置の処理の他の一例を示すフローチャート。

【図7】経時差分画像と第二の医用画像の一例を示す図。

【図8】経時差分画像と第一の医用画像及び第二の医用画像、第一の臨床情報及び第二の臨床情報の一例を示す図。

【発明を実施するための形態】

【0011】

以下、本発明を実施するための形態について図面を用いて説明する。

【0012】

＜実施形態１＞
実施形態１における情報処理装置は、被検者における異なる二時点の医用画像の経時差分画像から注目領域を抽出し、抽出した注目領域に基づき推論手段を選択する。以下では、対象となる医用画像は胸部Ｘ線ＣＴ画像（３次元画像）とする。また、ここでは二時点の画像は同一の患者の医用画像である。もちろん対象はこれらに限定されるものではなく、何れも情報処理装置の工程を説明するための一例に過ぎない。

【0013】

図１は、実施形態１における情報処理装置１００の機能構成の一例を示す図である。本実施形態における情報処理装置１００は、経時差分画像を含めた医用画像と、臨床情報が含まれた情報とを保持する記憶部２００と接続している。もちろん、記憶部２００に保持される情報はこれらに限らず、撮像日時や撮像条件などを保持するようにしてもよい。また、記憶部２００をＰＡＣＳや電子カルテ、読影レポートとし、情報処理装置１００からの要求に従い経時差分画像を含む情報を取得するようにしてもよい。表示部１１０は、情報処理装置１００による推論結果を診断支援情報として表示をする。また操作部１２０によって、ユーザの入力を別途受け付けてもよい。

【0014】

情報処理装置１００は、経時差分画像を取得する取得部１０２と、経時差分画像から注目領域を抽出する抽出部１０４と、推論部から推論手段を選択する選択部１０６と、第一乃至第Ｎの推論手段１０８－Ｎから構成される推論部１０８を備える。取得部１０２は、記憶部２００に要求を行い、対象患者の第一の時点で撮像された第一の医用画像と第二の時点で撮像された第二の医用画像の経時差分画像を取得する。経時差分画像の詳細については後述する。抽出部１０４は、経時差分画像から注目領域を抽出する。すなわち、経時差分画像における注目領域は、第一の医用画像および第二の医用画像の少なくとも一方の医用画像上の異常陰影を示す領域のうち、少なくとも一部の領域となる。選択部１０６は、注目領域に基づいて推論部１０８における第一乃至第Ｎの推論手段１０８－Ｎから少なくとも一つの推論手段１０８－Ｉを選択する。また選択部１０６は、選択した推論手段に入力する入力情報を選択する。選択された推論手段１０８－Ｉは、注目領域を含む情報に基づいて、被検者に対する推論を実施する。なお、第一乃至第Ｎの推論手段は、夫々異なる推論を実施するものとする。詳細については後述する。そして表示部１１０は、推論手段１０８－Ｉにより実施された推論結果を診断支援情報として表示する。

【0015】

なお、図１に示した情報処理装置１００の各部の少なくとも一部は独立した装置として実現してもよい。また、夫々の機能を実現するソフトウェアとして実現してもよい。本実施形態では、各部はそれぞれソフトウェアにより実現されているものとする。

【0016】

図２は、情報処理装置１００のハードウェア構成の一例を示す図である。情報処理装置１００、モニタ等の表示部１１０、マウス１００６やキーボード１００７を含む操作部１２０から構成される。まず情報処理装置１００におけるＣＰＵ１００１は、主として各構成要素の動作を制御する。主メモリ１００２は、ＣＰＵ１００１が実行する制御プログラムを格納したり、ＣＰＵ１００１によるプログラム実行時の作業領域を提供したりする。磁気ディスク１００３は、オペレーティングシステム（ＯＳ）、周辺機器のデバイスドライバ、後述する処理等を行うためのプログラムを含む各種アプリケーションソフトを実現するためのプログラムを格納する。ＣＰＵ１００１が主メモリ１００２、磁気ディスク１００３に格納されているプログラムを実行することにより、図１に示した情報処理装置１００の機能（ソフトウェア）及び後述するフローチャートにおける処理が実現される。表示メモリ１００４は、表示用データを一時記憶する。

【0017】

表示部１１０は、例えばＣＲＴモニタや液晶モニタ等であり、表示メモリ１００４からのデータに基づいて画像やテキスト等の表示を行う。操作部１２０におけるマウス１００６及びキーボード１００７は、ユーザによるポインティング入力及び文字等の入力を夫々行う。上記各構成要素は、共通バス１００８により互いに通信可能に接続されている。

【0018】

次に、図３のフローチャートを用いて、情報処理装置１００が行う全体の処理を説明する。図３は、情報処理装置１００が行う処理の一例を示すフローチャートである。本実施形態では、ＣＰＵ１００１が主メモリ１００２に格納されている各部の機能を実現するプログラムを実行することにより図３に示す処理が実現される。

【0019】

ステップＳ３００において、取得部１０２は、記憶部２００に要求を行い、対象患者の第一の時点で撮像された第一の医用画像と第二の時点で撮像された第二の医用画像の経時差分画像を取得する。なお、第一の時点と第二の時点は、第二の時点の方がより現時点に近い（すなわち、第二の医用画像よりも第一の医用画像の方が過去に撮像されている）ものとする。経時差分画像は、第二の医用画像に対して位置合わせされた第一の医用画像を減算することで作成される。この位置合わせは、公知の剛体位置合わせ技術または非剛体位置合わせ技術（例えば、非特許文献１）を用いて行われる。

【0020】

ステップＳ３１０において、抽出部１０４は、ステップＳ３００で取得した経時差分画像から注目領域を取得する。注目領域は、経時差分画像に対してあらかじめ設けたパラメータにより取得されてもよいし、ＧＵＩを通して、操作部１２０によりユーザが選択した領域を注目領域としてもよい。

【0021】

図４を用いて経時差分画像の簡単な例を説明する。図４（ｂ）は第一の医用画像４３０であり、図４（ｃ）は第二の医用画像４５０である。第一の医用画像４３０には第一の結節領域４３５が描出されており、第二の医用画像４５０には第二の結節領域４５５が描出されている。第二の医用画像４５０から第一の医用画像４３０を減算すると、図４（ａ）に示すような経時差分画像４００となる。なお、図４（ａ）は、経時差分画像４００の１スライス（２次元画像）を示したものである。本発明に係る画像は減算の結果を、値が０の部分は灰色で、値が正の部分は白で、値が負の部分は黒で表すものとする。すなわち、白の部分は第一の医用画像に対して第二の医用画像で値が増大した部分を示し、黒の部分は第一の医用画像に対して第二の医用画像で値が減少した部分を示す。つまり、減算の結果、値が変化していた部分に病変が確認されると、値が正（経時差分画像上では白い領域）の場合は病変が増大したことを示す。一方で減算の結果、値が負（経時差分画像上では黒い領域）の場合は病変が縮小したことを示す。経時差分画像上で（白い領域）値が増大した部分に病変が存在していた場合には、選択部１０６は推論手段として、例えば、鑑別診断を行う推論手段を選択または、その病変の予後を判定する予後判定の推論手段を選択する。もしくは、白い領域の形状が病変にみられる形状であった場合には、選択部１０６は癌のリスク判定を行う推論手段の選択をする。なお、撮像された画像の種類や、撮像部位、診断の対象によっては、値の増減による病変の増大と縮小の関係が異なっていてもよい。

【0022】

図４の例においては、経時差分画像４００上で特徴領域４０５が白い領域で表示されているため、第一の医用画像の撮像時点に対して、第二の医用画像の撮像時点で病変が増大したことを示している。図４の例では、抽出部１０４は特徴領域４０５（白い領域）を囲む立方体（図４中では正方形で示される）を注目領域４１０として抽出する。

【0023】

ステップＳ３２０において、選択部１０６は、ステップＳ３１０で取得した注目領域４１０に基づいて第一乃至第Ｎの推論手段１０８－Ｎから推論手段１０８－Ｉを選択する。以下では、推論部１０８として、結節状陰影の鑑別診断を行う推論手段、予後判定を行う推論手段、治療効果判定を行う推論手段、および肺癌のリスク評価を行う推論手段が存在するものとする。もちろん、推論部１０８を構成する推論手段はこれらに限定されず、他の推論手段が存在していてもよい。また、推論手段には公知のどのような機械学習手段を使ってもよい。例えば、畳み込みニューラルネットワーク（ＣＮＮ）やサポートベクターマシン（ＳＶＭ）、ベイジアンネットワークなどを用いてよい。なお、機械学習手段は、推論対象によってそれぞれ異なった学習手段が用いられてもよいし、複数の機械学習手段が組み合わされた構成でもよい。本実施形態では、ＣＮＮを各推論部の機械学習手段として用いることとする。

【0024】

ここでは、選択部１０６は経時差分画像４００上の注目領域内４１０に含まれる特徴量を構成する特徴領域４０５の形状と体積を基に推論部１０８を選択する。経時差分画像４００においては、注目領域内４１０の特徴領域４０５の形状が結節状陰影に見られる球形や、肺のびまん性疾患に見られるもやもや感に合致せず、体積も通常の結節状陰影と比較して小さい。ここではもやもや感とは、周囲の肺野（空気領域）よりＣＴ値が高く白く見える領域と空気領域が混合して淡く描出される広い領域（もや状の白色領域）が見られることを指す。もちろんこの定義は一例であり、びまん性肺疾患を示唆するテクスチャで異なる判定方法であってもよい。よって選択部１０６は、注目領域４１０内の特徴領域の情報を含む特徴量に基づいて推論部１０８から予後予測を行う推論手段を推論手段１０８－Ｉとして選択する。他方で、注目領域４１０内の特徴量を構成する特徴領域の体積が、結節状陰影と比較して差が小さい場合には、鑑別診断を行う推論手段を推論手段１０８－Ｉとして選択する。選択部１０６は、注目領域４１０における特徴量によって選択する推論手段を変化させる。つまり、選択部１０６は、注目領域４１０が第一の特徴量を有している場合、複数の推論手段から第一の推論手段を選択し、注目領域４１０が第二の特徴量を有している場合、第一の推論手段と異なる第二の推論手段を複数の推論手段から選択することを特徴とする。選択部１０６は、注目領域４１０における特徴量を構成する特徴領域の形状、大きさ、画素値（減算による正負）のうち、少なくともひとつに基づいて推論手段の選択をする。ステップＳ３３０において、ステップＳ３２０で選択部１０６によって選択された推論手段１０８－Ｉは、ステップＳ３１０で取得した注目領域４１０に基づいて推論を実施する。推論手段への入力情報は、経時差分画像および経時差分画像上の注目領域の少なくとも一方である。推論は前述のように、注目領域４１０（立方体）を入力とし、３次元のＣＮＮ（３Ｄ－ＣＮＮ）を用いて行われる。

【0025】

ステップＳ３４０において、表示部１１０は、ステップＳ３３０で実施された推論手段１０８－Ｉによる推論結果に基づき診断支援情報を作成し、ユーザへと表示する。このような予後予測により、今後の病変領域の変化を予測でき、それに対応させた施術プラン等の作成の手助けとなる。

【0026】

本実施形態では、取得部１０２が対象患者の第一の時点で撮像された第一の医用画像と第二の時点で撮像された第二の医用画像の経時差分画像４００を取得し、抽出部１０４によって抽出された経時差分画像４００内における注目領域４１０に基づいて、選択部１０６は複数の推論手段から一つの推論手段を選択する。そして、選択された推論手段１０８－Ｉにより対象患者に対する推論を実施し、表示部１１０は推論結果から診断支援情報を作成し、ユーザへと表示する。選択部１０６が経時差分画像４００の注目領域４１０に基づいて複数の推論手段から適切な推論手段を選択することにより、適切な診断支援情報を作成して表示することが可能である。つまり言い換えると、本実施形態にかかる情報処理装置は、第一の時点で撮像された第一の医用画像と第二の時点で撮像された第二の医用画像との経時差分画像を取得する取得部１０２と、経時差分画像に対して推論を行う複数の推論手段を有する推論部１０８と、取得された経時差分画像における注目領域に基づいて、前記推論部における複数の推論手段から少なくとも一つの推論手段を選択する選択部１０６とを有することを特徴とする。

【0027】

＜実施形態２＞
図５に係る実施形態２における情報処理装置５００は、取得部１０２が、経時差分画像とさらに第一の医用画像及び／または第二の医用画像を取得する。そして、変換部５１２により経時差分画像上の注目領域を第二の医用画像と略一致するように変換し、第二の医用画像上の注目領域を推論手段１０８－Ｉへの入力とする部分が、第一の実施例と異なる。図５は、実施形態２における情報処理装置５００の機能構成の一例を示す図である。なお、図１と同一の符号が付与された構成部については、実施形態１との差異部分のみ説明する。

【0028】

取得部１０２は、記憶部２００に要求を行い、対象患者の第一の時点で撮像された第一の医用画像と第二の時点で撮像された第二の医用画像と、第一の医用画像と第二の医用画像の経時差分画像とを取得する。変換部５１２は、選択部１０６で選択された推論手段に基づいて、第一の医用画像及び／または第二の医用画像において経時差分画像の注目領域と対応させる。つまり変換部５１２は注目領域を第二の医用画像に対応させる変換を行う。選択された推論手段１０８－Ｉは、略一致する領域内の情報に基づいて、対象患者に対する推論を実施する。すなわち、推論手段への入力情報は、変換部により変換された領域を含む情報である。本実施形態における情報処理装置５００のハードウェア構成は、実施形態１における図２と同様である。

【0029】

次に、図６のフローチャートを用いて、情報処理装置５００が行う全体の処理を説明する。

【0030】

ステップＳ６００において、取得部１０２は、記憶部２００に要求を行い、対象患者の第一の時点で撮像された第一の医用画像と第二の時点で撮像された第二の医用画像と、第一の医用画像と第二の医用画像の経時差分画像とを取得する。

【0031】

ステップＳ６１０の処理は、実施形態１におけるステップＳ３１０の処理と同様である。なお、本実施形態では、図７（ａ）に示す経時差分画像７００から注目領域７１０を取得したものとする。

【0032】

ステップＳ６２０の処理は、実施形態１におけるステップＳ３２０の処理と同様である。ここでは、選択部１０６は注目領域７１０における特徴領域７０５である白い領域の形状が結節状陰影に見られる陰影であるため、第一の時点では存在しなかった陰影が第二の時点で現れたと判断する。そのため、選択部１０６は注目領域７１０における特徴量に基づいて第一乃至第Ｎの推論手段から結節の鑑別診断を行う推論手段を推論手段１０８－Ｉとして選択する。

【0033】

ステップＳ６２５において、変換部５１２は、ステップＳ６２０で選択された推論手段に基づいて、経時差分画像上の注目領域を、ステップＳ６００で取得した第一の医用画像及び／または第二の医用画像上で略一致するように変換する。具体的には、経時差分画像上の注目領域のＸＹＺ座標と幅、高さ、深さを、第一の医用画像及び／または第二の医用画像と略一致するように変換した領域を注目領域とする。例えば、図７（ａ）に示す注目領域７１０を、図７（ｂ）に示す第二の医用画像７５０と略一致するように変換すると、第二の医用画像における注目領域７６０となる。

【0034】

本実施形態では、陰影が第二の時点で現れたと判断し、ステップＳ６２０で結節の鑑別診断を行う推論手段を選択したので、第二の医用画像に対してのみ注目領域が略一致するように変換し、第二の医用画像から変換した領域を抽出する。よって経時差分画像に描出されていない情報も推論に使用することができるため、より適切な推論が可能となる。本フローでは、推論手段の選択をするステップＳ６２０は、経時差分画像７００における注目領域７１０の情報により推論部１０８より推論手段１０８－Ｉを選択し、ステップＳ６２５により変換された領域を推論手段１０８－Ｉへの入力とした。なお、選択部１０６が推論手段１０８－Ｉを選択するための情報として、変換部５１２により変換された領域の情報を踏まえて選択をしてもよい。本構成により適切な入力情報と適切な推論手段の選択が可能となる。

【0035】

ステップＳ６３０において、ステップＳ６２０で選択部１０６が選択した推論部１０８－Ｉは、ステップＳ６２５で取得した第二の医用画像における略一致するように変換部５１２により変換された注目領域７６０に基づいて推論を実施する。

【0036】

ステップＳ６４０の処理は実施形態１と同様である。

【0037】

本実施形態では、経時差分画像の注目領域７１０に基づいて選択部１０６により推論手段１０８－Ｉが選択される。そして変換部５１２は、経時差分画像７００の注目領域７１０を第二の医用画像上で略一致するように変換し、変換した領域を推論手段１０８－Ｉへの入力として用いる。これにより、推論手段１０８－Ｉに適切な入力情報を選択することができ、より適切な支援情報を表示することが可能となる。

【0038】

（実施形態２の変形例１）
本実施形態では、ステップＳ６２０において選択部１０６は注目領域７１０が結節状陰影であると判断し、結節の鑑別診断を行う推論手段１０８－Ｉを推論部１０８より選択したが、これに限定されない。例えば、経時差分画像に、もや状の白色領域が現れた場合には、選択部１０６は該特徴領域を注目領域とし、肺癌のリスク評価を行う推論手段を推論手段１０８－Ｉとして選択してもよい。また、取得部１０２において第二の時点の第二の臨床情報を取得し、第二の臨床情報も推論部１０８への入力として扱う構成としてもよい。

【0039】

＜実施形態３＞
実施形態３における情報処理装置は、取得部１０２が第一の時点での第一の臨床情報と第二の時点での第二の臨床情報をさらに取得する。そして、経時差分画像上の注目領域を第一の医用画像及び第二の医用画像と略一致するようにし、略一致した領域と臨床情報を推論部１０８への入力とする部分が実施形態１および実施形態２と異なる。臨床情報は、例えば性別や第一の医用画像の撮像日や、第二の医用画像の撮像日、年齢、病歴、既往歴、薬の処方歴、第一の医用画像の撮像前後および／または第二の医用画像の撮像前後における血液検査データ等が含まれている。ここで、推論手段への入力情報は、第一の医用画像および第二の医用画像の少なくとも一方を含む情報になる。また、取得された注目領域を第一の医用画像および第二の医用画像の少なくとも一方の医用画像に対応させる変換部をさらに有する。

【0040】

実施形態３における情報処理装置の機能構成は図５に示す情報処理装置５００の機能構成と同一である。以下では、実施形態２との差異部分のみ説明する。取得部１０２は、記憶部２００に要求を行い、対象患者の第一の時点で撮像された第一の医用画像および第一の臨床情報と、第二の時点で撮像された第二の医用画像および第二の臨床情報と、第一の医用画像および第二の医用画像の経時差分画像とを取得する。

【0041】

また、情報処理装置５００が行う全体の処理は、図６のフローチャートと同様であるが、一部の処理が異なる。以下では、図６のフローチャートを用いて、情報処理装置５００が行う全体の処理を説明する。

【0042】

ステップＳ６００において、取得部１０２は、記憶部２００に要求を行い、対象患者の第一の時点で撮像された第一の医用画像および第一の臨床情報と、第二の時点で撮像された第二の医用画像および第二の臨床情報と、第一の医用画像と第二の医用画像の経時差分画像とを取得する。つまり、入力情報は第一の時点での臨床情報と第二の時点での臨床情報のうち少なくとも一方の臨床情報を含む構成になる。

【0043】

ステップＳ６１０の処理は、実施形態２におけるステップＳ６１０の処理と同様である。なお、本実施形態では、図８（ａ）に示す経時差分画像８００から注目領域８１０を取得したものとする。

【0044】

ステップＳ６２０における処理は、実施形態２におけるステップＳ６２０の処理と同様である。注目領域８１０における特徴領域８０５における黒い領域の形状は、結節状陰影に見られる球形や、肺のびまん性疾患に見られるもやもや感が見られず、体積も通常の結節状陰影と比較して小さい。そのため、第一乃至第Ｎの推論手段を持つ推論部１０８から治療効果判定を行う推論手段を推論手段１０８－Ｉとして選択する。なお選択部１０６による推論手段１０８－Ｉの選択は、第一の時点での臨床情報と、第二の時点での臨床情報を加味して実施されてもよい。つまり第一の時点での臨床情報及び第二の時点での臨床情報のうち少なくとも一方の臨床情報に基づいて推論手段を選択する。

【0045】

ステップＳ６２５における処理は、実施形態２におけるステップＳ６２５の処理と同様である。本実施形態では、ステップＳ６２０において陰影が第一の時点よりも第二の時点で縮小したと判断し、治療効果判定を行う推論手段を選択したので、第一の医用画像（図８（ｂ）８３０）と第二の医用画像（図８（ｃ）８５０）の両方に注目領域が略一致するように変換する。変換の結果は、第一の医用画像における略一致された注目領域８４０（図８（ｂ））と、第二の医用画像における注目領域８６０（図８（ｃ））となる。

【0046】

ステップＳ６３０において、ステップＳ６２０で選択した推論手段１０８－Ｉは、推論に必要な情報を用いて推論を実施する。具体的には、ステップＳ６００で取得した第一の時点における第一の臨床情報８４５（図８（ｂ））と、第二の時点における第二の臨床情報８６５（図８（ｃ））とを用いる。さらに、ステップＳ６２５で取得した第一の医用画像における略一致するように変換した注目領域８４０と、第二の医用画像における略一致するように変換した注目領域８６０も用いる。ここで、臨床情報を疑似的に画像のように扱うことで、推論手段１０８－ＩがＣＮＮの場合にも適用することが可能である。もちろんＳＶＭやベイジアンネットのように値をそのまま使う機械学習手段を推論部１０８として用いてもよい。

【0047】

ステップＳ６４０の処理は、実施形態２におけるステップＳ６４０の処理と同様である。

【0048】

本実施形態では経時差分画像８００上の注目領域８１０を第一の医用画像及び第二の医用画像上で略一致するように変換し、変換した領域を推論部１０８への入力として用いる。また、第一の時点における第一の臨床情報と第二の時点における第二の臨床情報も推論に用いることで、より適切な支援情報を表示することが可能となる。

【0049】

（変形例１）
実施形態１乃至３では、注目領域が一つの場合について説明してきたが、注目領域は複数あっても構わない。また、複数の注目領域のそれぞれについて異なる推論手段を選択するような構成であってもよい。この方法によれば、個々の注目領域において適切な推論手段を選択することができるため、対象画像に対する包括的な支援情報を表示することが可能となる。

【0050】

また、特徴領域が複数存在する場合において、選択部１０６がそれぞれの特徴領域と注目領域を対応付ける処理を行ってもよい。また、選択部１０６は対応付けられた注目領域のそれぞれに対して、異なる推論手段を選択してもよい。

【0051】

（変形例２）
実施形態１乃至３では、一つの注目領域に対して一つの推論手段のみを選択していたが、注目領域のそれぞれに対して複数の推論手段を選択する構成であっても構わない。本構成によれば、一つの注目領域に対して様々な支援情報を表示することが可能となり、ユーザは注目領域ごとに複数の推論手段による推論結果を考慮した診断や、表示された支援情報の中から、対象画像に対する適切な支援情報を選択することが可能となる。

【0052】

（変形例３）
実施形態１乃至３では、取得部１０２における取得する情報が夫々異なっていたが、全ての情報を取得しておき、選択部１０６で選択した推論手段１０８－Ｉに応じて必要な情報を取得した情報から選択する構成であってもよい。あるいは、最初は経時差分画像のみを取得しておき、推論手段１０８－Ｉに応じて必要な情報を記憶部２００に都度要求する構成であってもよい。

【0053】

（変形例４）
実施形態１乃至３では、経時差分画像の注目領域または、第一の医用画像及び／または第二の医用画像で略一致させた注目領域を推論部１０８に入力していたが、これらすべてを同時に推論部１０８に入力する構成であってもよい。また、入力は注目領域のみに限らず、画像全体または画像一部を入力する構成であってもよい。

【0054】

（変形例５）
実施形態１乃至３では、取得された経時差分画像上の特徴領域から、選択部１０６が推論手段１０８－Ｉを選択し、選択された推論手段１０８－Ｉによって注目領域に対して推論を行っていた。しかしながら、例えば経時差分画像上での特徴領域が、選択部１０６によって推論手段を選択するに満たない情報しかもっていない場合が考えられる。例えば、特徴領域が極端に小さい場合や、特徴領域が局所的に飛び地で存在する場合等が挙げられる。

【0055】

このような場合において、上述の実施形態１乃至３のように、特徴領域から注目領域を特定することは難しい。経時差分画像上の特徴領域を注目領域として設定するのに不十分な場合、選択部１０６は注目領域を異ならせる。つまり選択部１０６は注目領域における特徴領域が推論手段を選択する情報を満たさない場合に、注目領域を異ならせる。例えば選択部１０６は特徴領域を含む注目領域とするレンジを広げてもよい。また、そのための判定として、注目領域のサイズの下限を設けてもよい。特徴領域が所定より小さい領域もしくは、局所的に離散して存在する場合に、注目領域のレンジを大きくする。本構成により、特徴領域が所定より小さい領域に対し、より広いレンジの注目領域を設定することで、例えば、変換部５１２により第二の医用画像と対応させたときの情報量が増加する。また、特徴領域が局所的に離散して存在する場合には、離散した特徴領域のそれぞれが関連している可能性が高い。離散した領域をひとつの注目領域として囲むことができると、情報量が増加する。つまり本構成により、実施形態１では、例えば局所的に飛び地で存在した複数の特徴領域を含む注目領域を設定することが可能になり、選択部１０６による推論手段の選択の精度が向上することが期待される。また実施形態２や実施形態３のように注目領域を医用画像と一致させる変換をするために実施形態１の効果に加え、さらに特徴領域とその周辺の領域の情報を更に推論手段へ与えることができ、推論精度の向上が期待される。

【0056】

（変形例６）
上記の変形例５により、特徴領域が極端に小さい場合や、特徴領域が局所的に飛び地で存在する場合の処理について述べた。本変形例６では、経時差分画像における特徴領域が注目領域として設定するための領域情報として不十分である場合、すなわち特徴領域が極端に小さい場合や、特徴領域が局所的に飛び地で存在する場合に、取得部１０２は臨床情報を取得する。

【0057】

取得部１０２により取得された臨床情報には例えば、性別や第一の医用画像の撮像日や、第二の医用画像の撮像日、年齢、病歴、既往歴、薬の処方歴、第一の医用画像の撮像前後および／または第二の医用画像の撮像前後における血液検査データ等が含まれている。選択部１０６が注目領域を設定することが難しい場合、選択部１０６は臨床情報を参照し、特徴領域が注目領域を設定することができない理由を特定する。例えば、第一の医用画像の撮像日と第二の医用画像の撮像日との間に十分な日数があり、かつ薬の処方歴があるに場合について記載する。撮像間の日数と、薬の処方歴があるにも関わらず、経時差分画像上で特徴領域が十分に認められなかった場合、投薬をしたにも関わらず治療効果が認められないことを表示部１１０を介して表示をする。また、第一の医用画像の撮像日と、第二の医用画像の撮像日の間に十分な日数が認められない場合には、撮像画像間の日数が十分でないことが表示される。つまり、第一の時点での臨床情報及び、第二の時点での臨床情報に基づいて注目領域における特徴領域が推論手段を選択する情報を満たさない理由を特定する。そして、特定された理由を表示部１１０を介して表示をする。

【0058】

なお、撮像画像間の日数が十分でない場合には後述の処理を実施してもよい。該第１の医用画像の撮影日よりも古い医用画像と、第２の医用画像との経時差分画像が存在する場合はその画像を取得する。

【0059】

もしくは、該第２の医用画像の撮影日よりも新しい医用画像と、第１の医用画像との経時差分画像が存在する場合はその画像を取得する。なお、第１の医用画像と第２の医用画像が夫々異なる画像の経時差分画像が存在する場合はその画像を取得してもよい。すなわち、注目領域における特徴領域が推論手段を選択する情報を満たさない場合に、第一の時点以前に撮像された医用画像および第二の時点以降に撮像された医用画像のうち少なくとも一方が異なる経時差分画像を取得し、対象とすることを特徴とする。そして医用画像を置き換えられ作成された経時差分画像が、取得部１０２により、取得され、新たな経時差分画像から選択部１０６が注目領域を設定し、推論手段１０８－Ｉを選択してもよい。なお本処理は、画像間の日数が不十分な場合に限られない。例えば、第一の医用画像上においても、第二の医用画像上において同様の結節状陰影が存在する場合には経時差分画像上で表示されないため本構成が有効である。

【0060】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0061】

１００ 情報処理装置
１０２ 取得部
１０６ 選択部
１０８ 推論部
１１０ 表示部
１２０ 操作部
２００ 記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】