特開 2023-173812 学習装置、方法およびプログラム、学習済みモデル、画像処理装置、方法およびプログラム、並びに画像導出装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023173812

(43)【公開日】2023-12-07

(54)【発明の名称】学習装置、方法およびプログラム、学習済みモデル、画像処理装置、方法およびプログラム、並びに画像導出装置、方法およびプログラム

(51)【国際特許分類】

   A61B 6/03 20060101AFI20231130BHJP

   A61B 6/00 20060101ALI20231130BHJP

【ＦＩ】

A61B6/03 360Q

A61B6/03 360T

A61B6/00 360B

【審査請求】未請求

【請求項の数】24

【出願形態】ＯＬ

(21)【出願番号】P 2022086309

(22)【出願日】2022-05-26

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】日朝 祐太

【テーマコード（参考）】

4C093

【Ｆターム（参考）】

4C093AA22

4C093AA26

4C093DA03

4C093EC16

4C093FF11

4C093FF16

4C093FF17

4C093FF24

4C093FF35

(57)【要約】      （修正有）

【課題】学習装置、方法およびプログラム、学習済みモデル、画像処理装置、方法およびプログラム、並びに画像導出装置、方法およびプログラムにおいて、透視画像のような術中に取得される画像において特定の構造物を精度よく抽出できるようにする。
【解決手段】プロセッサは、同一被検体についての第１の時相の第１の３次元画像および被検体の特定の成分のみを含む少なくとも１つの３次元成分画像を取得し、少なくとも１つの３次元成分画像を変形することにより第２の時相の少なくとも１つの３次元変形成分画像を導出し、少なくとも１つの３次元変形成分画像を特定方向に投影して少なくとも１つの第１の２次元特定成分画像を導出し、少なくとも１つの３次元成分画像と第２の時相の２次元画像とを合成して学習用合成情報を導出する。学習用合成情報および第２の時相の２次元画像に基づく情報を用いて学習対象モデルを学習する。
【選択図】図３

【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサを備え、
前記プロセッサは、
同一被検体についての第１の時相の第１の３次元画像および前記第１の３次元画像から導出された前記被検体の特定の成分のみを含む少なくとも１つの３次元成分画像を取得し、
前記少なくとも１つの３次元成分画像を変形することにより第２の時相の少なくとも１つの３次元変形成分画像を導出し、
前記少なくとも１つの３次元変形成分画像を特定方向に投影して少なくとも１つの第１の２次元特定成分画像を導出し、
前記少なくとも１つの３次元成分画像と第２の時相の２次元画像とを合成して学習用合成情報を導出し、
前記学習用合成情報および前記第２の時相の２次元画像に基づく情報を学習対象モデルに入力し、前記第２の時相の２次元画像に含まれる前記特定の成分のみを含む少なくとも１つの第２の２次元特定成分画像を前記学習対象モデルから出力させ、前記第１の２次元特定成分画像および前記第２の２次元特定成分画像についての評価結果に基づいて前記学習対象モデルを学習し、
それぞれが前記学習用合成情報、前記第２の時相の２次元画像に基づく情報および前記第１の２次元特定成分画像を含む複数の教師データを用いて前記学習対象モデルの学習を繰り返すことにより、処理対象３次元画像から導出された少なくとも１つの処理対象３次元成分画像と処理対象２次元画像とを合成することにより導出された処理対象合成情報、および前記処理対象２次元画像に基づく情報が入力されると、前記処理対象２次元画像に含まれる前記特定の成分のみを含む少なくとも１つの処理対象２次元特定成分画像を出力する学習済みモデルを構築する学習装置。

【請求項2】

前記プロセッサは、前記第１の２次元特定成分画像および前記第２の２次元特定成分画像との相違を前記評価結果として用いて前記学習対象モデルを学習する請求項１に記載の学習装置。

【請求項3】

前記プロセッサは、前記第１の２次元特定成分画像および前記第２の２次元特定成分画像のそれぞれが、前記学習対象モデルから出力されたものであるか否かの判別結果を前記評価結果として用いて前記学習対象モデルを学習する請求項１に記載の学習装置。

【請求項4】

前記プロセッサは、前記少なくとも１つの３次元成分画像のうちの少なくとも１つを前記第２の時相の２次元画像に投影することにより、前記少なくとも１つの３次元成分画像のうちの少なくとも１つと前記第２の時相の２次元画像とを合成して前記学習用合成情報を導出する請求項１から３のいずれか１項に記載の学習装置。

【請求項5】

前記プロセッサは、前記少なくとも１つの３次元成分画像および前記第２の時相の２次元画像を同一次元に次元圧縮し、次元圧縮された前記少なくとも１つの３次元成分画像と前記第２の時相の２次元画像とを合成して前記学習用合成情報を導出する請求項１から３のいずれか１項に記載の学習装置。

【請求項6】

前記プロセッサは、前記第１の時相の第１の３次元画像を変形することにより前記第２の時相の第２の３次元画像を導出し、
前記第２の３次元画像を前記特定方向に投影することにより前記第２の時相の２次元画像を導出する請求項１に記載の学習装置。

【請求項7】

前記プロセッサは、前記同一被検体を実際に撮影することにより取得された前記第２の時相の実２次元画像を前記第２の時相の２次元画像として取得する請求項１に記載の学習装置。

【請求項8】

前記第１の時相は吸気相であり、前記第２の時相は呼気相である請求項１に記載の学習装置。

【請求項9】

前記特定の成分は、特定の臓器に対する相対位置が特定された疾患を含む請求項１に記載の学習装置。

【請求項10】

前記第１の３次元画像は前記被検体の胸部を含み、
前記特定の成分は、肺の軟部組織、胸郭、肺に存在する病変および血管の少なくとも１つである請求項１に記載の学習装置。

【請求項11】

請求項１に記載の学習装置により構築された学習済みモデル。

【請求項12】

少なくとも１つのプロセッサを備え、
前記プロセッサは、
処理対象３次元画像から導出された前記被検体の特定の成分のみを含む少なくとも１つの処理対象３次元成分画像および処理対象２次元画像を取得し、
前記処理対象３次元成分画像と前記処理対象２次元画像とを合成して処理対象合成情報を導出し、
請求項１１に記載の学習済みモデルを用いて、前記処理対象合成情報および前記処理対象２次元画像に基づく情報から、前記処理対象２次元画像に含まれる前記特定の成分のみを含む少なくとも１つの処理対象２次元特定成分画像を導出する画像処理装置。

【請求項13】

同一被検体についての第１の時相の第１の３次元画像および前記第１の３次元画像から導出された前記被検体の特定の成分のみを含む少なくとも１つの３次元成分画像を取得し、
前記少なくとも１つの３次元成分画像を変形することにより第２の時相の少なくとも１つの３次元変形成分画像を導出し、
前記少なくとも１つの３次元変形成分画像を特定方向に投影して少なくとも１つの第１の２次元特定成分画像を導出し、
前記少なくとも１つの３次元成分画像と第２の時相の２次元画像とを合成して学習用合成情報を導出し、
前記学習用合成情報および前記第２の時相の２次元画像に基づく情報を学習対象モデルに入力し、前記第２の時相の２次元画像に含まれる前記特定の成分のみを含む少なくとも１つの第２の２次元特定成分画像を前記学習対象モデルから出力させ、前記第１の２次元特定成分画像および前記第２の２次元特定成分画像についての評価結果に基づいて前記学習対象モデルを学習し、
それぞれが前記学習用合成情報、前記第２の時相の２次元画像に基づく情報および前記第１の２次元特定成分画像を含む複数の教師データを用いて前記学習対象モデルの学習を繰り返すことにより、処理対象３次元画像から導出された少なくとも１つの処理対象３次元成分画像と処理対象２次元画像とを合成することにより導出された処理対象合成情報、および前記処理対象２次元画像に基づく情報が入力されると、前記処理対象２次元画像に含まれる前記特定の成分のみを含む少なくとも１つの処理対象２次元特定成分画像を出力する学習済みモデルを構築する学習方法。

【請求項14】

処理対象３次元画像から導出された前記被検体の特定の成分のみを含む少なくとも１つの処理対象３次元成分画像および処理対象２次元画像を取得し、
前記処理対象３次元成分画像と前記処理対象２次元画像とを合成して処理対象合成情報を導出し、
請求項１１に記載の学習済みモデルを用いて、前記処理対象合成情報および前記処理対象２次元画像に基づく情報から、前記処理対象２次元画像に含まれる前記特定の成分のみを含む少なくとも１つの処理対象２次元特定成分画像を導出する画像処理方法。

【請求項15】

同一被検体についての第１の時相の第１の３次元画像および前記第１の３次元画像から導出された前記被検体の特定の成分のみを含む少なくとも１つの３次元成分画像を取得する手順と、
前記少なくとも１つの３次元成分画像を変形することにより第２の時相の少なくとも１つの３次元変形成分画像を導出する手順と、
前記少なくとも１つの３次元変形成分画像を特定方向に投影して少なくとも１つの第１の２次元特定成分画像を導出する手順と、
前記少なくとも１つの３次元成分画像と第２の時相の２次元画像とを合成して学習用合成情報を導出する手順と、
前記学習用合成情報および前記第２の時相の２次元画像に基づく情報を学習対象モデルに入力し、前記第２の時相の２次元画像に含まれる前記特定の成分のみを含む少なくとも１つの第２の２次元特定成分画像を前記学習対象モデルから出力させ、前記第１の２次元特定成分画像および前記第２の２次元特定成分画像についての評価結果に基づいて前記学習対象モデルを学習する手順と、
それぞれが前記学習用合成情報、前記第２の時相の２次元画像に基づく情報および前記第１の２次元特定成分画像を含む複数の教師データを用いて前記学習対象モデルの学習を繰り返すことにより、処理対象３次元画像から導出された少なくとも１つの処理対象３次元成分画像と処理対象２次元画像とを合成することにより導出された処理対象合成情報、および前記処理対象２次元画像に基づく情報が入力されると、前記処理対象２次元画像に含まれる前記特定の成分のみを含む少なくとも１つの処理対象２次元特定成分画像を出力する学習済みモデルを構築する手順とをコンピュータに実行させる学習プログラム。

【請求項16】

処理対象３次元画像から導出された前記被検体の特定の成分のみを含む少なくとも１つの処理対象３次元成分画像および処理対象２次元画像を取得する手順と、
前記処理対象３次元成分画像と前記処理対象２次元画像とを合成して処理対象合成情報を導出する手順と、
請求項１１に記載の学習済みモデルを用いて、前記処理対象合成情報および前記処理対象２次元画像に基づく情報から、前記処理対象２次元画像に含まれる前記特定の成分のみを含む少なくとも１つの処理対象２次元特定成分画像を導出する手順とをコンピュータに実行させる画像処理プログラム。

【請求項17】

少なくとも１つのプロセッサを備え、
前記プロセッサは、
同一被検体についての第１の時相の第１の３次元画像および前記第１の３次元画像から導出された前記被検体の特定の成分のみを含む少なくとも１つの３次元成分画像を取得し、
前記少なくとも１つの３次元成分画像を変形することにより第２の時相の少なくとも１つの３次元変形成分画像を導出し、
前記少なくとも１つの３次元変形成分画像を特定方向に投影して少なくとも１つの第１の２次元特定成分画像を導出する画像導出装置。

【請求項18】

前記プロセッサは、前記第１の時相の第１の３次元画像を変形することにより前記第２の時相の第２の３次元画像を導出し、
前記第２の３次元画像を前記特定方向に投影することにより前記第２の時相の２次元画像を導出する請求項１７に記載の画像導出装置。

【請求項19】

前記プロセッサは、前記同一被検体を実際に撮影することにより取得された前記第２の時相の実２次元画像を前記第２の時相の２次元画像として取得する請求項１７または１８に記載の画像導出装置。

【請求項20】

前記第１の時相は吸気相であり、前記第２の時相は呼気相である請求項１７に記載の画像導出装置。

【請求項21】

前記特定の成分は、特定の臓器に対する相対位置が特定された疾患を含む請求項１７に記載の画像導出装置。

【請求項22】

前記第１の３次元画像は前記被検体の胸部を含み、
前記特定の成分は、肺の軟部組織、胸郭、肺に存在する病変および血管の少なくとも１つである請求項１７に記載の画像導出装置。

【請求項23】

同一被検体についての第１の時相の第１の３次元画像および前記第１の３次元画像から導出された前記被検体の特定の成分のみを含む少なくとも１つの３次元成分画像を取得し、
前記少なくとも１つの３次元成分画像を変形することにより第２の時相の少なくとも１つの３次元変形成分画像を導出し、
前記少なくとも１つの３次元変形成分画像を特定方向に投影して少なくとも１つの第１の２次元特定成分画像を導出する画像導出方法。

【請求項24】

同一被検体についての第１の時相の第１の３次元画像および前記第１の３次元画像から導出された前記被検体の特定の成分のみを含む少なくとも１つの３次元成分画像を取得する手順と、
前記少なくとも１つの３次元成分画像を変形することにより第２の時相の少なくとも１つの３次元変形成分画像を導出する手順と、
前記少なくとも１つの３次元変形成分画像を特定方向に投影して少なくとも１つの第１の２次元特定成分画像を導出する手順とをコンピュータに実行させる画像導出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、学習装置、方法およびプログラム、学習済みモデル、画像処理装置、方法およびプログラム、並びに画像導出装置、方法およびプログラムに関する。

【背景技術】

【0002】

内視鏡観察部および超音波観察部を先端に有する超音波内視鏡を被検体の消化器官あるいは気管支内等の管腔に挿入し、管腔内の内視鏡画像および管腔壁の外側にある病変等の部位の超音波画像を撮像することが行われている。また、管腔壁の外側にある部位の組織を鉗子等の処置具により採取する生検も行われている。

【0003】

このような超音波内視鏡を用いた処置を行う際には、超音波内視鏡を被検体内の目標位置に正確に到達させることが重要である。このため、処置中に放射線を放射線源から被検体に連続的に照射し、これにより取得される透視画像をリアルタイムで表示する透視撮影を行うことにより、超音波内視鏡と人体構造との位置関係を把握することが行われている。

【0004】

ここで、透視画像は被検体内の臓器、血管および骨等の解剖構造が重なり合った状態で含まれるため、管腔および病変の認識が容易ではない。このため、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等により、被検体の３次元画像を処置前にあらかじめ取得し、３次元画像において病変位置を特定し、３次元画像と透視画像との位置合わせを行うことにより、透視画像において病変位置を特定することが行われている（例えば特許文献１参照）。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－１３７７９６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１に記載された手法は、３次元画像と２次元の透視画像との位置合わせを行うものである。このため、透視画像内において位置合わせの精度が十分でない箇所が生じうる。このように、位置合わせの精度が十分でないと、透視画像において病変あるいは対象とする臓器等の特定の構造物を精度よく抽出することができない。

【0007】

本開示は上記事情に鑑みなされたものであり、透視画像のような術中に取得される画像から特定の構造物を精度よく抽出できるようにすることを目的とする。

【課題を解決するための手段】

【0008】

本開示の第１の態様に係る学習装置は、少なくとも１つのプロセッサを備え、
プロセッサは、同一被検体についての第１の時相の第１の３次元画像および第１の３次元画像から導出された被検体の特定の成分のみを含む少なくとも１つの３次元成分画像を取得し
少なくとも１つの３次元成分画像を変形することにより第２の時相の少なくとも１つの３次元変形成分画像を導出し、
少なくとも１つの３次元変形成分画像を特定方向に投影して少なくとも１つの第１の２次元特定成分画像を導出し、
少なくとも１つの３次元成分画像と第２の時相の２次元画像とを合成して学習用合成情報を導出し、
学習用合成情報および第２の時相の２次元画像に基づく情報を学習対象モデルに入力し、第２の時相の２次元画像に含まれる特定の成分のみを含む少なくとも１つの第２の２次元特定成分画像を学習対象モデルから出力させ、第１の２次元特定成分画像および第２の２次元特定成分画像についての評価結果に基づいて学習対象モデルを学習し、
それぞれが学習用合成情報、第２の時相の２次元画像に基づく情報および第１の２次元特定成分画像を含む複数の教師データを用いて学習対象モデルの学習を繰り返すことにより、処理対象３次元画像から導出された少なくとも１つの処理対象３次元成分画像と処理対象２次元画像とを合成することにより導出された処理対象合成情報、および処理対象２次元画像に基づく情報が入力されると、処理対象２次元画像に含まれる特定の成分のみを含む少なくとも１つの処理対象２次元特定成分画像を出力する学習済みモデルを構築する。

【0009】

本開示の第２の態様に係る学習装置は、第１の態様に係る学習装置において、プロセッサは、第１の２次元特定成分画像および第２の２次元特定成分画像との相違を評価結果として用いて学習対象モデルを学習するものであってもよい。

【0010】

本開示の第３の態様に係る学習装置は、第１の態様に係る学習装置において、プロセッサは、第１の２次元特定成分画像および第２の２次元特定成分画像のそれぞれが、学習対象モデルから出力されたものであるか否かの判別結果を評価結果として用いて学習対象モデルを学習するものであってもよい。

【0011】

本開示の第４の態様に係る学習装置は、第１から第３のいずれか１つの態様に係る学習装置において、プロセッサは、少なくとも１つの３次元変形成分画像のうちの少なくとも１つを第２の時相の２次元画像に投影することにより、少なくとも１つの３次元変形成分画像のうちの少なくとも１つと第２の時相の２次元画像とを合成して学習用合成情報を導出するものであってもよい。

【0012】

本開示の第５の態様に係る学習装置は、第１から第３のいずれか１つの態様に係る学習装置においてまた、プロセッサは、少なくとも１つの３次元成分画像および第２の時相の２次元画像を同一次元に次元圧縮し、次元圧縮された少なくとも１つの３次元成分画像と第２の時相の２次元画像とを合成して学習用合成情報を導出するものであってもよい。

【0013】

本開示の第６の態様に係る学習装置は、第１から第５のいずれか１つの態様に係る学習装置において、プロセッサは、第１の時相の第１の３次元画像を変形することにより第２の時相の第２の３次元画像を導出し、
第２の３次元画像を特定方向に投影することにより第２の時相の２次元画像を導出するものであってもよい。

【0014】

本開示の第７の態様に係る学習装置は、第１から第６のいずれか１つの態様に係る学習装置において、プロセッサは、同一被検体を実際に撮影することにより取得された第２の時相の実２次元画像を第２の時相の２次元画像として取得するものであってもよい。

【0015】

本開示の第８の態様に係る学習装置は、第１から第７のいずれか１つの態様に係る学習装置において、第１の時相は吸気相であり、第２の時相は呼気相であってもよい。

【0016】

本開示の第９の態様に係る学習装置は、第１から第８のいずれか１つの態様に係る学習装置において、特定の成分は、特定の臓器に対する相対位置が特定された疾患を含むものであってもよい。

【0017】

本開示の第１０の態様に係る学習装置は、第１から第８のいずれか１つの態様に係る学習装置において、第１の３次元画像は被検体の胸部を含み、
特定の成分は、肺の軟部組織、胸郭、肺に存在する病変および血管の少なくとも１つであってもよい。

【0018】

本開示による学習済みモデルは、本開示による学習装置により構築される。

【0019】

本開示による画像処理装置は、少なくとも１つのプロセッサを備え、
プロセッサは、処理対象３次元画像から導出された被検体の特定の成分のみを含む少なくとも１つの処理対象３次元成分画像および処理対象２次元画像を取得し、
処理対象３次元成分画像と処理対象２次元画像とを合成して処理対象合成情報を導出し、
本開示による学習済みモデルを用いて、処理対象合成情報および処理対象２次元画像に基づく情報から、処理対象２次元画像に含まれる特定の成分のみを含む少なくとも１つの処理対象２次元特定成分画像を導出する。

【0020】

本開示による学習方法は、同一被検体についての第１の時相の第１の３次元画像および第１の３次元画像から導出された被検体の特定の成分のみを含む少なくとも１つの３次元成分画像を取得し、
少なくとも１つの３次元成分画像を変形することにより第２の時相の少なくとも１つの３次元変形成分画像を導出し、
少なくとも１つの３次元変形成分画像を特定方向に投影して少なくとも１つの第１の２次元特定成分画像を導出し、
少なくとも１つの３次元成分画像と第２の時相の２次元画像とを合成して学習用合成情報を導出し、
学習用合成情報および第２の時相の２次元画像に基づく情報を学習対象モデルに入力し、第２の時相の２次元画像に含まれる特定の成分のみを含む少なくとも１つの第２の２次元特定成分画像を学習対象モデルから出力させ、第１の２次元特定成分画像および第２の２次元特定成分画像についての評価結果に基づいて学習対象モデルを学習し、
それぞれが学習用合成情報、第２の時相の２次元画像に基づく情報および第１の２次元特定成分画像を含む複数の教師データを用いて学習対象モデルの学習を繰り返すことにより、処理対象３次元画像から導出された少なくとも１つの処理対象３次元成分画像と処理対象２次元画像とを合成することにより導出された処理対象合成情報、および処理対象２次元画像に基づく情報が入力されると、処理対象２次元画像に含まれる特定の成分のみを含む少なくとも１つの処理対象２次元特定成分画像を出力する学習済みモデルを構築する。

【0021】

本開示による画像処理方法は、処理対象３次元画像から導出された被検体の特定の成分のみを含む少なくとも１つの処理対象３次元成分画像および処理対象２次元画像を取得し、
処理対象３次元成分画像と処理対象２次元画像とを合成して処理対象合成情報を導出し、
本開示による学習済みモデルを用いて、処理対象合成情報および処理対象２次元画像に基づく情報から、処理対象２次元画像に含まれる特定の成分のみを含む少なくとも１つの処理対象２次元特定成分画像を導出する。

【0022】

本開示による学習プログラムは、同一被検体についての第１の時相の第１の３次元画像および第１の３次元画像から導出された被検体の特定の成分のみを含む少なくとも１つの３次元成分画像を取得する手順と、
少なくとも１つの３次元成分画像を変形することにより第２の時相の少なくとも１つの３次元変形成分画像を導出する手順と、
少なくとも１つの３次元変形成分画像を特定方向に投影して少なくとも１つの第１の２次元特定成分画像を導出する手順と、
少なくとも１つの３次元成分画像と第２の時相の２次元画像とを合成して学習用合成情報を導出する手順と、
学習用合成情報および第２の時相の２次元画像に基づく情報を学習対象モデルに入力し、第２の時相の２次元画像に含まれる特定の成分のみを含む少なくとも１つの第２の２次元特定成分画像を学習対象モデルから出力させ、第１の２次元特定成分画像および第２の２次元特定成分画像についての評価結果に基づいて学習対象モデルを学習する手順と、
それぞれが学習用合成情報、第２の時相の２次元画像に基づく情報および第１の２次元特定成分画像を含む複数の教師データを用いて学習対象モデルの学習を繰り返すことにより、処理対象３次元画像から導出された少なくとも１つの処理対象３次元成分画像と処理対象２次元画像とを合成することにより導出された処理対象合成情報、および処理対象２次元画像に基づく情報が入力されると、処理対象２次元画像に含まれる特定の成分のみを含む少なくとも１つの処理対象２次元特定成分画像を出力する学習済みモデルを構築する手順とをコンピュータに実行させる。

【0023】

本開示による画像処理プログラムは、処理対象３次元画像から導出された被検体の特定の成分のみを含む少なくとも１つの処理対象３次元成分画像および処理対象２次元画像を取得する手順と、
処理対象３次元成分画像と処理対象２次元画像とを合成して処理対象合成情報を導出する手順と、
本開示による学習済みモデルを用いて、処理対象合成情報および処理対象２次元画像に基づく情報から、処理対象２次元画像に含まれる特定の成分のみを含む少なくとも１つの処理対象２次元特定成分画像を導出する手順とをコンピュータに実行させる。

【0024】

本開示の画像導出装置は、少なくとも１つのプロセッサを備え、プロセッサは、同一被検体についての第１の時相の第１の３次元画像および第１の３次元画像から導出された被検体の特定の成分のみを含む少なくとも１つの３次元成分画像を取得し、
少なくとも１つの３次元成分画像を変形することにより第２の時相の少なくとも１つの３次元変形成分画像を導出し、
少なくとも１つの３次元変形成分画像を特定方向に投影して少なくとも１つの第１の２次元特定成分画像を導出する。

【0025】

本開示の画像導出装置においては、プロセッサは、第１の時相の第１の３次元画像を変形することにより第２の時相の第２の３次元画像を導出し、
第２の３次元画像を特定方向に投影することにより第２の時相の２次元画像を導出するものであってもよい。

【0026】

本開示の画像導出装置においては、プロセッサは、同一被検体を実際に撮影することにより取得された第２の時相の実２次元画像を第２の時相の２次元画像として取得するものであってもよい。

【0027】

本開示の画像導出装置においては、第１の時相は吸気相であり、第２の時相は呼気相であってもよい。

【0028】

本開示の画像導出装置においては、特定の成分は、特定の臓器に対する相対位置が特定された疾患を含むものであってもよい。

【0029】

本開示の画像導出装置においては、第１の３次元画像は被検体の胸部を含み、
特定の成分は、肺の軟部組織、胸郭、肺に存在する病変および血管の少なくとも１つであってもよい。

【0030】

本開示の画像導出方法は、同一被検体についての第１の時相の第１の３次元画像および第１の３次元画像から導出された被検体の特定の成分のみを含む少なくとも１つの３次元成分画像を取得し、
少なくとも１つの３次元成分画像を変形することにより第２の時相の少なくとも１つの３次元変形成分画像を導出し、
少なくとも１つの３次元変形成分画像を特定方向に投影して少なくとも１つの第１の２次元特定成分画像を導出する。

【0031】

本開示の画像導出プログラムは、同一被検体についての第１の時相の第１の３次元画像および第１の３次元画像から導出された被検体の特定の成分のみを含む少なくとも１つの３次元成分画像を取得する手順と、
少なくとも１つの３次元成分画像を変形することにより第２の時相の少なくとも１つの３次元変形成分画像を導出する手順と、
少なくとも１つの３次元変形成分画像を特定方向に投影して少なくとも１つの第１の２次元特定成分画像を導出する手順とをコンピュータに実行させる。

【発明の効果】

【0032】

本開示によれば、透視画像のような術中に取得される画像から特定の構造物を精度よく抽出できる。

【図面の簡単な説明】

【0033】

【図1】本開示の第１の実施形態による学習装置および画像処理装置を適用した医療情報システムの概略構成を示す図

【図2】第１の実施形態による学習装置および画像処理装置の概略構成を示す図

【図3】第１の実施形態による学習装置および画像処理装置の機能構成図

【図4】第１の実施形態による学習装置が行う処理を模式的に示す図

【図5】合成情報の導出を模式的に示す図

【図6】教師データを示す図

【図7】第１の実施形態における学習処理を模式的に示す図

【図8】第１の実施形態における他の学習処理を模式的に示す図

【図9】第１の実施形態による画像処理装置が行う処理を模式的に示す図

【図10】透視成分画像の表示画面を示す図

【図11】第１の実施形態において行われる学習処理のフローチャート

【図12】第１の実施形態において行われる画像処理のフローチャート

【図13】第２の実施形態における学習処理を模式的に示す図

【図14】第２の実施形態における他の学習処理を模式的に示す図

【発明を実施するための形態】

【0034】

以下、図面を参照して本開示の実施形態について説明する。まず、第１の実施形態による学習装置、画像処理装置および画像導出装置を適用した医療情報システムの構成について説明する。図１は、医療情報システムの概略構成を示す図である。図１に示す医療情報システムは、第１の実施形態による学習装置、画像処理装置および画像導出装置を内包するコンピュータ１、３次元画像撮影装置２、透視画像撮影装置３および画像保管サーバ４が、ネットワーク５を経由して通信可能な状態で接続されている。

【0035】

コンピュータ１は、第１の実施形態による学習装置、画像処理装置および画像導出装置を内包するものであり、第１の実施形態の学習プログラム、画像処理プログラムおよび画像導出プログラムがインストールされている。コンピュータ１は、後述するように被検体に対して処置を行う処置室に設置される。コンピュータ１は、処置を行う医療従事者が直接操作するワークステーションあるいはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。学習プログラム、画像処理プログラムおよび画像導出プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータ１にダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータ１にインストールされる。

【0036】

３次元画像撮影装置２は、被検体Ｈの診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。３次元画像撮影装置２により生成された、複数の断層画像からなる３次元画像は画像保管サーバ４に送信され、保存される。なお、本実施形態においては、被検体Ｈの対象部位は肺であり、３次元画像撮影装置２はＣＴ装置であり、後述するように被検体Ｈに対する処置の前に、被検体の胸部を撮影することにより、被検体Ｈの胸部を含むＣＴ画像を３次元画像としてあらかじめ取得する。

【0037】

透視画像撮影装置３は、Ｃアーム３Ａ、Ｘ線源３ＢおよびＸ線検出器３Ｃを有する。Ｘ線源３ＢおよびＸ線検出器３ＣはＣアーム３Ａの両端部にそれぞれ取り付けられている。透視画像撮影装置３においては、被検体Ｈを任意の方向から撮影可能なようにＣアーム３Ａが回転および移動可能に構成されている。そして、透視画像撮影装置３は、後述するように被検体Ｈに対する処置中に、あらかじめ定められたフレームレートによりＸ線を被検体Ｈに連続的に照射し、被検体Ｈを透過したＸ線をＸ線検出器３Ｃにより順次検出する透視撮影を行うことにより、被検体ＨのＸ線画像を順次取得する。以降の説明においては、順次取得されるＸ線画像を透視画像と称する。

【0038】

画像保管サーバ４は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ４は、有線あるいは無線のネットワーク５を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で取得された３次元画像、および透視画像撮影装置３で取得された透視画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク５経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。

【0039】

また、画像保管サーバ４には、後述する学習済みモデルを構築するための複数の学習用３次元画像Ｖｓ０が保存されている。学習用３次元画像Ｖｓ０も被検体Ｈの胸部を撮影することにより取得されたものである。

【0040】

なお、本実施形態においては、被検体Ｈの透視撮影を行いつつ、被検体Ｈの肺に存在する肺結節等の病変の一部を切り取って、病気の存在を詳しく調べる生検の処置を行うものとする。このため、透視画像撮影装置３は生検を行うための処置室に配置されている。また、処置室には、超音波内視鏡装置６が設置されている。超音波内視鏡装置６は、先端に超音波プローブおよび鉗子等の処置具が取り付けられた内視鏡６Ａを備える。本実施形態においては、病変の生検を行うべく、操作者は内視鏡６Ａを被検体Ｈの気管支に挿入し、透視画像撮影装置３により被検体Ｈの透過画像を撮影し、撮影した透視画像をリアルタイムで表示しつつ、透過画像において被検体Ｈ内における内視鏡６Ａの先端位置を確認し、目標となる病変の位置まで内視鏡６Ａの先端を移動させる。

【0041】

ここで、肺結節等の肺の病変は気管支の内側ではなく気管支の外側に発生する。このため、操作者は内視鏡６Ａの先端を目標位置まで移動させた後、超音波プローブにより気管支の外側の超音波画像を撮影して超音波画像を表示し、超音波画像において病変位置を確認しながら鉗子等の処置具を用いて病変の一部を採取する処置を行う。

【0042】

次いで、第１の実施形態による学習装置、画像処理装置および画像導出装置について説明する。図２は、第１の実施形態による学習装置、画像処理装置および画像導出装置のハードウェア構成を示す図である。なお、本実施形態による画像導出装置は本実施形態による学習装置に含まれるため、以降の説明において学習装置は画像導出装置を含むものとする。また、学習プログラムは画像導出プログラムを含むものとする。図２に示すように、学習装置および画像処理装置１０は、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶領域としてのメモリ１６を含む。また、学習装置および画像処理装置１０は、液晶ディスプレイ等のディスプレイ１４、キーボードとマウス等の入力デバイス１５、およびネットワーク５に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、ストレージ１３、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。

【0043】

ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、学習プログラム１２Ａおよび画像処理プログラム１２Ｂが記憶される。ＣＰＵ１１は、ストレージ１３から学習プログラム１２Ａおよび画像処理プログラム１２Ｂを読み出してメモリ１６に展開し、展開した学習プログラム１２Ａおよび画像処理プログラム１２Ｂを実行する。

【0044】

次いで、第１の実施形態による学習装置および画像処理装置の機能的な構成を説明する。図３は、第１の実施形態による学習装置および画像処理装置の機能的な構成を示す図である。図４は、第１の実施形態による学習装置が行う処理を模式的に示す図である。図３に示すように学習装置および画像処理装置（以下、学習装置で代表させる）１０は、画像取得部２１、解析部２２、変形部２３、第１導出部２４、第２導出部２５、合成部２６、学習部２７、抽出部２８、および表示制御部２９を備える。そして、ＣＰＵ１１が学習プログラム１２Ａを実行することにより、ＣＰＵ１１は画像取得部２１、解析部２２、変形部２３、第１導出部２４、第２導出部２５、合成部２６および学習部２７として機能する。また、ＣＰＵ１１が画像処理プログラム１２Ｂを実行することにより、ＣＰＵ１１は画像取得部２１、解析部２２、変形部２３、第１導出部２４、第２導出部２５、合成部２６、抽出部２８および表示制御部２９として機能する。また、ＣＰＵ１１が不図示の画像導出プログラムを実行することにより、画像取得部２１、解析部２２、変形部２３および第１導出部２４として機能する。

【0045】

画像取得部２１は、操作者による入力デバイス１５からの指示により、後述する学習済みモデルを構築するための教師データとして、学習用３次元画像Ｖｓ０を画像保管サーバ４から取得する。また、被検体Ｈに対して処置を行う際に、処置前に取得した被検体Ｈの処理対象３次元画像Ｖ０を画像保管サーバ４から取得する。また、画像取得部２１は、被検体Ｈの処置中に透視画像撮影装置３により取得される処理対象の透視画像Ｔ０を順次取得する。

【0046】

ここで、学習用３次元画像Ｖｓ０および３次元画像Ｖ０は、ＣＴ装置により取得されたものである。ＣＴ装置による撮影時には、濃度の淡い病変を見やすくするために、息を吸い込んだ吸気の状態で撮影を行う。このため、学習用３次元画像Ｖｓ０および３次元画像Ｖ０は吸気相の３次元画像である。学習用３次元画像Ｖｓ０が第１の時相の第１の３次元画像の一例である。

【0047】

解析部２２は、学習用３次元画像Ｖｓ０を解析することにより、学習用３次元画像Ｖｓ０に含まれる被検体の特定の成分のみを含む少なくとも１つの３次元成分画像を導出する。本実施形態において、解析部２２は、公知のコンピュータ支援画像診断（ＣＡＤ: Computer Aided Diagnosis、以下ＣＡＤと称する）のアルゴリズムを用いて、学習用３次元画像Ｖｓ０に含まれる肺野内部の軟部組織、胸郭および病変のそれぞれの成分を抽出することにより、３つの３次元成分画像Ｖｃ１～Ｖｃ３を導出する。

【0048】

３次元成分画像Ｖｃ１は、学習用３次元画像Ｖｓ０における肺野内部の軟部組織以外の領域の各画素（ボクセル）が最小のＣＴ値（例えば－９９９９）、肺野内部の軟部組織の各画素が学習用３次元画像Ｖｓ０のＣＴ値を有する画像である。３次元成分画像Ｖｃ２は、学習用３次元画像Ｖｓ０における胸郭以外の領域の各画素が最小のＣＴ値、胸郭の領域の各画素が学習用３次元画像Ｖｓ０のＣＴ値を有する画像である。３次元成分画像Ｖｃ３は、学習用３次元画像Ｖｓ０における病変以外の領域の各画素が最小のＣＴ値、病変の領域の各画素が学習用３次元画像Ｖｓ０のＣＴ値を有する画像である。

【0049】

ＣＡＤによる検出手法としては、肺野内部の軟部組織、胸郭および病変をそれぞれ検出するように機械学習がなされた機械学習モデルを用いる手法等を用いることができる。ここで、肺野内部の軟部組織は肺野、気管支および血管を含む。胸郭は、肺野を囲む肋骨および椎骨を含む。病変は肺野内部における病変の相対的な位置を含む。病変の位置としては病変の重心位置等を用いることができる。

【0050】

なお、解析部２２による病変の検出手法は、これに限定されるものではなく、テンプレートマッチング等の任意の手法を用いることが可能である。また、解析部２２は、表示された学習用３次元画像Ｖｓ０において操作者が入力デバイス１５を用いることにより学習用３次元画像Ｖｓ０において指定した軟部組織、胸郭および病変をそれぞれ３次元成分画像Ｖｃ１～Ｖｃ３として導出するものであってもよい。

【0051】

変形部２３は、吸気相の学習用３次元画像Ｖｓ０、吸気相の３次元成分画像Ｖｃ１～Ｖｃ３を変形することにより、呼気相に相当する学習用３次元変形画像Ｖｓ１および３次元変形成分画像Ｖｄ１～Ｖｄ３を導出する。本実施形態においては、変形部２３は、吸気相のＣＴ画像が入力されると、呼気相のＣＴ画像を出力するように学習がなされた変形モデルを用いて学習用３次元変形画像Ｖｓ１および３次元変形成分画像Ｖｄ１～Ｖｄ３を導出する。変形モデルは、呼気相のＣＴ画像および吸気相のＣＴ画像の組み合わせを多数用意し、呼気相のＣＴ画像が入力されると吸気相のＣＴ画像を出力するようにニューラルネットワークを学習することにより構築される。学習用３次元変形画像Ｖｓ１が本開示の第２の時相の第２の３次元画像の一例である。

【0052】

なお、変形モデルは、ＣＴ画像全体、肺野内部の軟部組織および胸郭のそれぞれについて用意しておいてもよい。この場合、病変については、ＣＴ画像全体あるいは肺野内部の軟部組織についての変形モデルを用いて、３次元変形成分画像Ｖｄ３を導出すればよい。

【0053】

また、変形は変形モデルを用いるものに限定されない。呼気と吸気との間における肺の標準的な変形量および肋骨の標準的な変形量を統計的にあらかじめ導出しておき、導出された変形量を学習用３次元画像Ｖｓ０および３次元成分画像Ｖｃ１～Ｖｃ３に適用して、学習用３次元変形画像Ｖｓ１および３次元変形成分画像Ｖｄ１～Ｖｄ３を導出するようにしてもよい。

【0054】

第１導出部２４は、３次元変形成分画像Ｖｄ１～Ｖｄ３に基づいて第１の２次元特定成分画像Ｇａ１～Ｇａ３を導出する。具体的には、第１導出部２４は、３次元変形成分画像Ｖｄ１～Ｖｄ３をあらかじめ定められた特定方向に投影することにより、第１の２次元特定成分画像Ｇａ１～Ｇａ３を導出する。第１の２次元特定成分画像Ｇａ１は、学習用３次元画像Ｖｓ０についての呼気相の肺野内部の軟部組織を疑似的に２次元で表すものとなる。第１の２次元特定成分画像Ｇａ２は、学習用３次元画像Ｖｓ０についての呼気相の胸郭を疑似的に２次元で表すものとなる。第１の２次元特定成分画像Ｇａ３は、学習用３次元画像Ｖｓ０についての呼気相の病変を疑似的に２次元で表すものとなる。

【0055】

なお、第１導出部２４は、３次元変型成分画像Ｖｄ１～Ｖｄ３のそれぞれに含まれる、肺野内部の軟部組織、胸郭および病変の位置座標、輪郭座標を特定方向に投影して第１の２次元特定成分画像Ｇａ１～Ｇａ３を導出するものであってもよい。また、第１導出部２４は、３次元変形成分画像Ｖｄ１～Ｖｄ３をあらかじめ定められた特定方向に投影し、さらに投影した軟部組織、胸郭および病変の領域をマスクしたマスク画像を第１の２次元特定成分画像Ｇａ１～Ｇａ３として導出するものであってもよい。

【0056】

第２導出部２５は、学習用３次元変形画像Ｖｓ１を第１導出部２４と同様のあらかじめ定められた特定方向に投影することにより、２次元画像Ｇｓ１を導出する。２次元画像Ｇｓ１は、学習用３次元画像Ｖｓ０についての呼気相の２次元画像を疑似的に表すものとなる。２次元画像Ｇｓ１が本開示の第２の時相の２次元画像の一例である。

【0057】

なお、第１導出部２４および第２導出部２５においてＣＴ画像から２次元画像を導出する手法は、例えば「Dorgham, Osama M., Stephen D. Laycock, and Mark H. Fisher. "GPU accelerated generation of digitally reconstructed radiographs for 2-D/3-D image registration." IEEE Transactions on biomedical engineering 59.9 (2012): 2594-2603」に記載された手法等、任意の手法を用いることが可能である。

【0058】

合成部２６は、３次元成分画像Ｖｃ１～Ｖｃ３と２次元画像Ｇｓ１とを合成して合成情報を導出する。図５は合成情報の導出を模式的に示す図である。図５に示すように、合成部２６は、３次元成分画像Ｖｃ１～Ｖｃ３を２次元画像Ｇｓ１の撮影方向と同一の方向、すなわち学習用３次元変形画像Ｖｓ１から２次元画像Ｇｓ１を導出した際と同一の特定方行に投影することにより、肺野内部の軟部組織、胸郭および病変のそれぞれについての３つの２次元特定成分画像Ｇｖｃ１～Ｇｖｃ３を導出する。これにより導出される肺野内部の軟部組織についての２次元特定成分画像Ｇｖｃ１は、学習用３次元画像Ｖｓ０についての吸気相の肺野内部の軟部組織を疑似的に２次元で表すものとなる。胸郭についての２次元特定成分画像Ｇｖｃ２は、学習用３次元画像Ｖｓ０についての吸気相の胸郭を疑似的に２次元で表すものとなる。病変についての２次元特定成分画像Ｇｖｃ３は、学習用３次元画像Ｖｓ０についての吸気相の病変を疑似的に２次元で表すものとなる。

【0059】

合成部２６は、３つの２次元特定成分画像Ｇｖｃ１～Ｇｖｃ３を２次元画像Ｇｓ１と一致させるように、２次元画像Ｇｓ１と３つの２次元特定成分画像Ｇｖｃ１～Ｇｖｃ３のそれぞれとの位置合わせを行うことにより合成情報を導出する。なお、導出される合成情報は後述する学習対象モデルの学習に使用される。このため、合成部２６が導出する合成情報を学習用合成情報Ｃｓ０と称する。学習用合成情報Ｃｓ０は、位置合わせにより導出された３つの合成２次元特定成分画像Ｇｃ１～Ｇｃ３を含む。学習用合成情報Ｃｓ０に含まれる肺野内部の軟部組織についての合成２次元特定成分画像Ｇｃ１は、学習用３次元画像Ｖｓ０についての呼気相の肺野内部の軟部組織を疑似的に２次元で表すものとなる。胸郭についての合成２次元特定成分画像Ｇｃ２は、学習用３次元画像Ｖｓ０についての呼気相の胸郭を疑似的に２次元で表すものとなる。病変についての合成２次元特定成分画像Ｇｃ３は、学習用３次元画像Ｖｓ０についての吸気相の病変を疑似的に２次元で表すものとなる。

【0060】

以上により、後述する学習対象モデルを構築するためのニューラルネットワークの学習に使用する教師データが導出される。図６は教師データを示す図である。図６に示すように、教師データ３０は、学習データ３１と正解データ３２とからなる。学習データ３１は学習用合成情報Ｃｓ０および２次元画像Ｇｓ１からなり、正解データ３２は第１の２次元特定成分画像Ｇａ１～Ｇａ３からなる。

【0061】

学習部２７は教師データ３０を用いて学習対象のニューラルネットワークを学習する。図７は学習処理を模式的に示す図である。図７に示すように、学習部２７は学習データ３１すなわち学習用合成情報Ｃｓ０および２次元画像Ｇｓ１に基づく情報を学習対象モデル４０に入力する。本実施形態において、２次元画像Ｇｓ１に基づく情報は、２次元画像Ｇｓ１そのものとする。学習対象モデル４０は、２次元画像Ｇｓ１に含まれる特定の成分のみを含む第２の２次元特定成分画像Ｇｂ１～Ｇｂ３を出力する。第２の２次元特定成分画像Ｇｂ１は、２次元画像Ｇｓ１に含まれる呼気相の肺野内部の軟部組織を疑似的に２次元で表すものとなる。第２の２次元特定成分画像Ｇｂ２は、２次元画像Ｇｓ１に含まれる呼気相の胸郭を疑似的に２次元で表すものとなる。第２の２次元特定成分画像Ｇｂ３は、２次元画像Ｇｓ１に含まれる呼気相の病変を疑似的に２次元で表すものとなる。

【0062】

学習部２７は、正解データ３２である第１の２次元特定成分画像Ｇａ１～Ｇａ３および第２の２次元特定成分画像Ｇｂ１～Ｇｂ３についての評価結果に基づいて、学習対象モデル４０を学習する。具体的には、学習部２７は、第１の２次元特定成分画像Ｇａ１～Ｇａ３および第２の２次元特定成分画像Ｇｂ１～Ｇｂ３のそれぞれとの相違を損失Ｌ１～Ｌ３として導出する。そして、損失Ｌ１～Ｌ３が小さくなるように学習対象モデル４０が学習される。学習はあらかじめ定められた終了条件を満足するまで繰り返される。具体的には、学習部２７は、損失Ｌ０があらかじめ定められたしきい値となるまで、あるいは評価結果が十分に小さくなるようなあらかじめ定められた回数の学習が終了するまで学習対象モデル４０の学習を繰り返して学習済みモデル４１を構築する。

【0063】

なお、学習部２７による学習は上記に限定されるものではない。図８は学習部２７による他の学習処理を模式的に示す図である。図８に示すように、他の学習において学習される学習対象モデル４２は、ジェネレータ４３およびディスクリミネータ４４からなる。ジェネレータ４３はディスクリミネータ４４とともに敵対的生成ネットワーク（ＧＡＮ）を構成する。

【0064】

ジェネレータ４３は、学習データ３１すなわち学習用合成情報Ｃｓ０および２次元画像Ｇｓ１に基づく情報が入力されると、第２の２次元特定成分画像Ｇｂ１～Ｇｂ３を出力する。第２の２次元特定成分画像Ｇｂ１～Ｇｂ３は実際に撮影により取得された画像ではないが、実際に撮影された画像と同一の表現形式を有する画像である。このため、第２の２次元特定成分画像Ｇｂ１～Ｇｂ３は実際の画像すなわち実画像ではなく、疑似画像である。

【0065】

ディスクリミネータ４４は、入力された画像が実画像であるかジェネレータ４３により生成された疑似画像であるかを判別して判別結果ＴＦ０を出力する。判別結果ＴＦ０が本開示の評価結果の一例である。ここで、本実施形態における実画像とは、ジェネレータ４３が生成した画像ではなく、実際に被検体Ｈを撮影することにより取得された学習用３次元画像Ｖｓ０から解析部２２、変形部２３および第１導出部２４により導出された第１の２次元特定成分画像Ｇａ１～Ｇａ３である。これに対して、疑似画像は、ジェネレータ４３により学習用合成情報Ｃｓ０および２次元画像Ｇｓ１に基づく情報から生成された、実際に撮影された画像ではないが実際に撮影された画像と同一の表現形式を有する画像である。

【0066】

本実施形態においては、入力された画像が実画像であるか、ジェネレータ４３により生成された疑似画像であるかの判別結果ＴＦ０を正解するように、ディスクリミネータ４４が学習される。また、入力された学習用合成情報Ｃｓ０および２次元画像Ｇｓ１に基づく情報から実画像である第１の２次元特定成分画像Ｇａ１～Ｇａ３に似せた疑似画像を導出し、ディスクリミネータ４４が判別結果ＴＦ０を不正解とするように、ジェネレータ４３が学習される。これにより、ジェネレータ４３はディスクリミネータ４４に識別されない、本物の２次元画像と同一の表現形式を有する疑似画像を生成できるようになる。この場合、学習済みのジェネレータ４３が学習済みモデル４１となる。

【0067】

次に、本実施形態による画像処理装置について説明する。図９は画像処理装置が行う処理を模式的に示す図である。本実施形態による画像処理装置においては、被検体Ｈに対して生検の処置を行う際に、画像取得部２１が、被検体Ｈの処理対象３次元画像Ｖ０を画像保管サーバ４から取得する。また、画像取得部２１は、被検体Ｈの処置中に透視画像撮影装置３により取得される透視画像Ｔ０を順次取得する。なお、透視画像Ｔ０が本開示の処理対象２次元画像の一例である。

【0068】

また、解析部２２が、処理対象３次元画像Ｖ０を解析することにより、処理対象３次元画像Ｖ０に含まれる被検体Ｈの特定の成分のみを含む少なくとも１つの処理対象３次元成分画像を導出する。本実施形態においては、解析部２２は、学習時と同様に、処理対象３次元画像Ｖ０に含まれる肺野内部の軟部組織、胸郭および病変のそれぞれの成分を抽出することにより、３つの処理対象３次元成分画像Ｖ１～Ｖ３を導出する。なお、処理対象３次元画像Ｖ０は吸気相の３次元画像である。

【0069】

合成部２６は、処理対象３次元成分画像Ｖ１～Ｖ３と透視画像Ｔ０とを合成して処理対象の合成情報Ｃ０を導出する。合成情報Ｃ０は、３つの合成２次元特定成分画像Ｇ１～Ｇ３を含む。合成部２６が行う処理は、図５に示す処理と同様である。

【0070】

抽出部２８には学習部２７が構築した学習済みモデル４１が適用される。抽出部２８は学習済みモデル４１を用いて、合成情報Ｃ０および透視画像Ｔ０に基づく情報から、透視画像Ｔ０に含まれる特定の成分のみを含む透視成分画像Ｔｃ１～Ｔｃ３を導出する。本実施形態において、透視画像Ｔ０に基づく情報は透視画像Ｔ０そのものを用いる。透視成分画像Ｔｃ１は透視画像Ｔ０に含まれる肺野内部の軟部組織を表し、透視成分画像Ｔｃ２は透視画像Ｔ０に含まれる胸郭を表し、透視成分画像Ｔｃ３は透視画像Ｔ０に含まれる病変を表す。

【0071】

表示制御部２９は、抽出部２８が導出した透視成分画像Ｔｃ１～Ｔｃ３をディスプレイ１４に表示する。図１０は透視成分画像Ｔｃ１～Ｔｃ３の表示画面を示す図である。図１０に示すように、表示画面５０には、３つの透視成分画像Ｔｃ１～Ｔｃ３が並べられて表示されている。なお、入力デバイス１５の操作により、３つの透視成分画像Ｔｃ１～Ｔｃ３を切り替えて表示するようにしてもよい。

【0072】

次いで、第１の実施形態において行われる処理について説明する。図１１は、第１の実施形態において行われる学習処理のフローチャートである。まず、画像取得部２１が、学習済みモデルを構築するための教師データとして、複数の学習用３次元画像Ｖｓ０を画像保管サーバ４から取得する（ステップＳＴ１）。次いで、解析部２２が、学習用３次元画像Ｖｓ０を解析することにより３次元成分画像Ｖｃ１～Ｖｃ３を導出する（ステップＳＴ２）。そして、変形部２３が、吸気相の学習用３次元画像Ｖｓ０および吸気相の３次元成分画像Ｖｃ１～Ｖｃ３を変形することにより、呼気相に相当する学習用３次元変形画像Ｖｓ１および３次元変形成分画像Ｖｄ１～Ｖｄ３を導出する（ステップＳＴ３）。

【0073】

次に、第１導出部２４が、３次元変形成分画像Ｖｄ１～Ｖｄ３を特定方向に投影することにより、第１の２次元特定成分画像Ｇａ１～Ｇａ３を導出する（ステップＳＴ４）。さらに、第２導出部２５が、学習用３次元変形画像Ｖｓ１をあらかじめ定められた特定方向に投影することにより２次元画像Ｇｓ１を導出する（ステップＳＴ５）。続いて、合成部２６が、３次元成分画像Ｖｃ１～Ｖｃ３と２次元画像Ｇｓ１とを合成して学習用合成情報Ｃｓ０を導出する（ステップＳＴ６）。

【0074】

次いで、学習部２７が、学習用合成情報Ｃｓ０および２次元画像Ｇｓ１に基づく情報からなる学習データ３１、並びに第１の２次元特定成分画像Ｇａ１～Ｇａ３からなる正解データ３２を含む教師データ３０を用いて、学習対象モデル４０を学習する（ステップＳＴ７）。そして、学習部２７は、評価結果があらかじめ定められた終了条件を満足したか否かを判定し（ステップＳＴ８）、ステップＳＴ８が否定されるとステップＳＴ１に戻り、ステップＳＴ１～ステップＳＴ８の処理を繰り返す。ステップＳＴ８が肯定されると学習処理を終了する。これにより、学習済みモデル４１が構築される。

【0075】

次いで、第１の実施形態において行われる画像処理について説明する。図１２は本実施形態において行われる画像処理を示すフローチャートである。まず、画像取得部２１が、処理対象３次元画像Ｖ０を取得し（ステップＳＴ１１）、解析部２２が、処理対象３次元画像Ｖ０を解析することにより、処理対象３次元画像Ｖ０に含まれる被検体の特定の成分のみを含む少なくとも１つの処理対象３次元成分画像を導出する（ステップＳＴ１２）。次いで、画像取得部２１が透視画像Ｔ０を取得し（ステップＳＴ１３）、合成部２６が、処理対象３次元成分画像Ｖ１～Ｖ３と透視画像Ｔ０とを合成して処理対象の合成情報Ｃ０を導出する（ステップＳＴ１４）。

【0076】

そして、抽出部２８が学習済みモデル４１を用いて、合成情報Ｃ０および透視画像Ｔ０に基づく情報から、透視画像Ｔ０に含まれる特定の成分のみを含む透視成分画像Ｔｃ１～Ｔｃ３を導出する（ステップＳＴ１５）。さらに表示制御部２９が、抽出部２８が導出した透視成分画像Ｔｃ１～Ｔｃ３をディスプレイ１４に表示し（ステップＳＴ１６）、ステップＳＴ１３にリターンする。

【0077】

このように、本実施形態の学習装置により構築された学習済みモデル４１を用いることにより、処置中に取得される透視画像Ｔ０から、肺野内部の軟部組織、胸郭および病変といった特定の構造物を精度よく抽出することが可能となる。

【0078】

ここで、本実施形態による学習済みモデル４１を構築するために必要な画像は医用画像である。このため、学習済みモデル４１を十分に学習できる程度の数の教師データを用意することが難しい。本実施形態の画像導出装置は、３次元変形成分画像Ｖｄ１～Ｖｄ３に基づいて第１の２次元特定成分画像Ｇａ１～Ｇａ３を導出するようにした。これにより、導出された２次元特定成分画像Ｇａ１～Ｇａ３を用いて教師データを用意することができるため、十分に学習された学習済みモデル４１を構築することができる。

【0079】

なお、上記第１の実施形態においては、学習用３次元画像Ｖｓ０を用いて学習済みモデル４１を構築しているが、これに限定されるものではない。学習用３次元画像Ｖｓ０を取得した被検体について、透視画像（Ｔｓ０とする）が学習用３次元画像Ｖｓ０と対応付けられて画像保管サーバ４に保存されている場合がある。このような場合には、さらに透視画像Ｔｓ０を用いてニューラルネットワークを学習するようにしてもよい。以下、これを第２の実施形態として説明する。

【0080】

図１３は、第２の実施形態における学習処理を模式的に示す図である。第２の実施形態においては、教師データ３０の学習データ３１として、２次元画像Ｇｓ１に代えて透視画像Ｔｓ０を用いて学習対象モデル４０の学習が行われる。このために、学習部２７は学習データ３１すなわち学習用合成情報Ｃｓ０および透視画像Ｔｓ０に基づく情報を学習対象の学習対象モデル４０に入力する。ここで、透視画像Ｔｓ０に基づく情報は透視画像Ｔｓそのものを用いる。学習対象モデル４０は、透視画像Ｔｓ０に含まれる特定の成分のみを含む第２の２次元特定成分画像Ｇｂ１～Ｇｂ３を出力する。なお、透視画像Ｔｓ０が本開示の実２次元画像の一例である。

【0081】

学習部２７は、正解データ３２である第１の２次元特定成分画像Ｇａ１～Ｇａ３および第２の２次元特定成分画像Ｇｂ１～Ｇｂ３についての評価結果に基づいて、上記第１の実施形態と同様に学習対象モデル４０を学習する。

【0082】

また、ジェネレータ４３およびディスクリミネータ４４からなる学習対象モデル４２を学習する場合にも、図１４に示すように、２次元画像Ｇｓ１に代えて透視画像Ｔｓ０を用いるようにしてもよい。

【0083】

また、上記各実施形態においては、３次元成分画像Ｖｃ１～Ｖｃ３を第２の時相の２次元画像Ｇｓ１の撮影方向と同一の方向に投影することにより、３つの２次元特定成分画像Ｇｖｃ１～Ｇｖｃ３を導出し、３つの２次元特定成分画像Ｇｖｃ１～Ｇｖｃ３を２次元画像Ｇｓ１と位置合わせすることにより合成情報を導出しているが、これに限定されるものではない。３次元成分画像Ｖｃ１～Ｖｃ３および第２の時相の２次元画像Ｇｓ１を同一次元に次元圧縮し、次元圧縮された３次元変形成分画像Ｖｄ１～Ｖｄ３と２次元画像Ｇｓ１とを合成して学習用合成情報Ｃｓ０を導出するようにしてもよい。次元圧縮としては、３次元成分画像Ｖｃ１～Ｖｃ３および２次元画像Ｇｓ１を、例えばラスタスキャン等により１次元ベクトルに展開することが挙げられる。この場合、合成は１次元ベクトル同士の加算等が挙げられる。

【0084】

また、上記各実施形態においては、学習対象モデル４０に入力する第２の時相の２次元画像Ｇｓ１に基づく情報として２次元画像Ｇｓ１そのものを用いているが、これに限定されるものではない。上記のように学習用合成情報Ｃｓ０が次元圧縮により導出された場合、第２の時相の２次元画像Ｇｓ１を学習用合成情報Ｃｓ０と同一次元に次元圧縮した情報を、第２の時相の２次元画像Ｇｓ１に基づく情報として用いてもよい。

【0085】

また、上記各実施形態においては、解析部２２が学習用３次元画像Ｖｓ０あるいは処理対象３次元画像Ｖ０から３次元成分画像を導出しているが、これに限定されるものではない。本実施形態による学習装置および画像処理装置とは別個の解析装置により学習用３次元画像Ｖｓ０あるいは処理対象３次元画像Ｖ０から３次元成分画像を導出するようにしてもよい。この場合、３次元成分画像を画像保管サーバ４に保存しておき、画像取得部２１が、画像保管サーバ４から学習用３次元画像Ｖｓ０あるいは処理対象３次元画像Ｖ０と併せて、３次元成分画像を取得するようにしてもよい。また、この場合、解析部２２は不用となる。

【0086】

また、上記各実施形態においては、被検体Ｈの特定の成分として、軟部組織、胸郭および病変を用いているが、これに限定されるものではない。軟部組織、胸郭および病変の内の少なくとも１つを被検体の特定の成分として用いてもよい。また、軟部組織、胸郭および病変以外の成分を特定の成分として用いてもよい。例えば、血管を特定の成分としてさらに用いてもよい。

【0087】

また、上記各実施形態においては、ＣＴ画像等の３次元画像と透視画像Ｔ０とを位置合わせする場合に本開示の技術を適用しているが、これに限定されるものではない。例えば３次元画像と、人体の管腔内に挿入された内視鏡により撮影された内視鏡画像とを位置合わせする場合においても本開示の技術を適用できる。この場合、内視鏡画像が本開示の２次元画像の一例である。

【0088】

また、上記各実施形態において、例えば、画像取得部２１、解析部２２、変形部２３、第１導出部２４、第２導出部２５、合成部２６、学習部２７、抽出部２８、および表示制御部２９といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0089】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0090】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0091】

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。

【符号の説明】

【0092】

１ コンピュータ
２ ３次元画像撮影装置
３ 透視画像撮影装置
３Ａ アーム
３Ｂ Ｘ線源
３Ｃ Ｘ線検出器
４ 画像保管サーバ
５ ネットワーク
６ 超音波内視鏡装置
６Ａ 内視鏡
１０ 学習装置および画像処理装置
１１ ＣＰＵ
１２Ａ 学習プログラム
１２Ｂ 画像処理プログラム
１３ ストレージ
１４ ディスプレイ
１５ 入力デバイス
１６ メモリ
２１ 画像取得部
２２ 解析部
２３ 変形部
２４ 第１導出部
２５ 第２導出部
２６ 合成部
２７ 学習部
２８ 抽出部
２９ 表示制御部
３０ 教師データ
３１ 学習データ
３２ 正解データ
４０，４２ 学習対象モデル
４１ 学習済みモデル
４３ ジェネレータ
４４ ディスクリミネータ
５０ 表示画面
Ｃ０ 処理対象の合成情報
Ｃｓ０ 学習用合成情報
Ｇａ１～Ｇａ３ 第１の２次元特定成分画像
Ｇｂ１～Ｇｂ３ 第２の２次元特定成分画像
Ｇｃ１～Ｇｃ３ 合成２次元特定成分画像
Ｇｓ１ ２次元画像
Ｇｖｃ１～Ｇｖｃ３ ２次元特定成分画像
Ｈ 被検体
Ｌ１～Ｌ３ 損失
Ｔ０ 透視画像
Ｔｃ１～Ｔｃ３ 透視成分画像
ＴＦ０ 判別結果
Ｖ０ 処理対象３次元画像
Ｖ１～Ｖ３ 処理対象３次元成分画像
Ｖｃ１～Ｖｃ３ ３次元成分画像
Ｖｄ１～Ｖｄ３ ３次元変形成分画像
Ｖｓ０ 学習用３次元画像
Ｖｓ１ 学習用３次元変形画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】