特開 2024-10989 画像処理装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024010989

(43)【公開日】2024-01-25

(54)【発明の名称】画像処理装置、方法およびプログラム

(51)【国際特許分類】

   A61B 6/00 20240101AFI20240118BHJP

   A61B 6/12 20060101ALI20240118BHJP

   A61B 6/03 20060101ALI20240118BHJP

   A61B 1/00 20060101ALI20240118BHJP

   A61B 1/267 20060101ALI20240118BHJP

   A61B 1/045 20060101ALI20240118BHJP

【ＦＩ】

A61B6/00 370

A61B6/12

A61B6/03 360G

A61B1/00 552

A61B1/267

A61B1/045 623

A61B1/045 620

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2022112631

(22)【出願日】2022-07-13

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】赤堀 貞登

【テーマコード（参考）】

4C093

4C161

【Ｆターム（参考）】

4C093AA01

4C093AA22

4C093AA25

4C093AA26

4C093CA23

4C093CA35

4C093DA03

4C093FD03

4C093FF35

4C093FF37

4C093FF42

4C093FG13

4C161AA07

4C161HH55

4C161WW04

(57)【要約】

【課題】画像処理装置、方法およびプログラムにおいて、センサを使用することなく、内視鏡を被検体内の所望とする位置にナビゲーションできるようにする。
【解決手段】プロセッサは、被検体の３次元画像を取得し、内視鏡が管腔構造物内に挿入された被検体についての放射線画像を取得し、内視鏡により第１の時刻に撮影された被検体の管腔構造物内の第１の実内視鏡画像を取得し、放射線画像と３次元画像とを用いて、内視鏡の３次元画像内における仮の仮想視点を導出し、仮の仮想視点、第１の実内視鏡画像および３次元画像を用いて、内視鏡の３次元画像内における第１の時刻の仮想視点を導出し、第１の時刻よりも後の第２の時刻に内視鏡により撮影された第２の実内視鏡画像と第１の実内視鏡画像とを用いて、内視鏡の３次元画像内における第２の時刻の仮想視点を導出する。
【選択図】図３

【特許請求の範囲】

【請求項1】

少なくとも１つのプロセッサを備え、
前記プロセッサは、
被検体の３次元画像を取得し、
内視鏡が管腔構造物内に挿入された前記被検体についての放射線画像を取得し、
前記内視鏡により第１の時刻に撮影された前記被検体の管腔構造物内の第１の実内視鏡画像を取得し、
前記放射線画像と前記３次元画像とを用いて、前記内視鏡の前記３次元画像内における仮の仮想視点を導出し、
前記仮の仮想視点、前記第１の実内視鏡画像および前記３次元画像を用いて、前記内視鏡の前記３次元画像内における前記第１の時刻の仮想視点を導出し、
前記第１の時刻よりも後の第２の時刻に前記内視鏡により撮影された第２の実内視鏡画像と前記第１の実内視鏡画像とを用いて、前記内視鏡の前記３次元画像内における前記第２の時刻の仮想視点を導出する画像処理装置。

【請求項2】

前記プロセッサは、前記放射線画像に含まれる前記内視鏡の位置を特定し、
前記特定された内視鏡の位置を用いて前記仮の仮想視点の位置を導出し、
前記３次元画像における前記仮の仮想視点の位置を用いて前記仮の仮想視点の姿勢を導出する請求項１に記載の画像処理装置。

【請求項3】

前記プロセッサは、前記３次元画像を用いて導出される前記第１の時刻の仮想視点における第１の仮想内視鏡画像が前記第１の実内視鏡画像と一致するように前記第１の時刻の仮想視点を調整する請求項１または２に記載の画像処理装置。

【請求項4】

前記プロセッサは、前記第１の実内視鏡画像と前記第２の実内視鏡画像とを用いて視点の変化を導出し、
前記視点の変化と前記第１の時刻の仮想視点とを用いて前記第２の時刻の仮想視点を導出する請求項１または２に記載の画像処理装置。

【請求項5】

前記プロセッサは、前記導出された視点の変化に対する信頼度を表す評価結果があらかじめ定められた条件を満足するか否かを判定し、
前記判定が否定された場合、前記第２の時刻の仮想視点における第２の仮想内視鏡画像が前記第２の実内視鏡画像と一致するように前記第２の時刻の仮想視点を調整する請求項４に記載の画像処理装置。

【請求項6】

前記判定が肯定された場合、前記第２の時刻よりも後の第３の時刻に撮影された第３の実内視鏡画像と前記第２の実内視鏡画像とを用いて、前記第３の時刻における内視鏡の第３の仮想視点を導出する請求項５に記載の画像処理装置。

【請求項7】

前記プロセッサは、前記内視鏡により新たな時刻の実内視鏡画像を順次取得し、各時刻における前記内視鏡の仮想視点を順次導出する請求項１または２に記載の画像処理装置。

【請求項8】

前記プロセッサは、前記各時刻における前記内視鏡の前記仮想視点と前記３次元画像とを用いて、前記各時刻における仮想内視鏡画像を順次導出し、順次取得される前記実内視鏡画像と順次導出される前記仮想内視鏡画像とを順次表示する請求項７に記載の画像処理装置。

【請求項9】

前記プロセッサは、前記各時刻における前記仮想内視鏡画像および前記各時刻における実内視鏡画像を順次表示する請求項８に記載の画像処理装置。

【請求項10】

前記プロセッサは、前記３次元画像の管腔構造物内における前記各時刻の前記仮想視点の位置を順次表示する請求項９に記載の画像処理装置。

【請求項11】

被検体の３次元画像を取得し、
内視鏡が管腔構造物内に挿入された前記被検体についての放射線画像を取得し、
前記内視鏡により第１の時刻に撮影された前記被検体の管腔構造物内の第１の実内視鏡画像を取得し、
前記放射線画像と前記３次元画像とを用いて、前記内視鏡の前記３次元画像内における仮の仮想視点を導出し、
前記仮の仮想視点、前記第１の実内視鏡画像および前記３次元画像を用いて、前記内視鏡の前記３次元画像内における前記第１の時刻の仮想視点を導出し、
前記第１の時刻よりも後の第２の時刻に前記内視鏡により撮影された第２の実内視鏡画像と前記第１の実内視鏡画像とを用いて、前記内視鏡の前記３次元画像内における前記第２の時刻の仮想視点を導出する画像処理方法。

【請求項12】

被検体の３次元画像を取得する手順と、
内視鏡が管腔構造物内に挿入された前記被検体についての放射線画像を取得する手順と、
前記内視鏡により第１の時刻に撮影された前記被検体の管腔構造物内の第１の実内視鏡画像を取得する手順と、
前記放射線画像と前記３次元画像とを用いて、前記内視鏡の前記３次元画像内における仮の仮想視点を導出する手順と、
前記仮の仮想視点、前記第１の実内視鏡画像および前記３次元画像を用いて、前記内視鏡の前記３次元画像内における前記第１の時刻の仮想視点を導出する手順と、
前記第１の時刻よりも後の第２の時刻に前記内視鏡により撮影された第２の実内視鏡画像と前記第１の実内視鏡画像とを用いて、前記内視鏡の前記３次元画像内における前記第２の時刻の仮想視点を導出する手順とをコンピュータに実行させる画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、方法およびプログラムに関する。

【背景技術】

【0002】

内視鏡観察部および超音波観察部を先端に有する内視鏡を被検体の消化器官あるいは気管支内等の管腔構造物に挿入し、管腔構造物内の内視鏡画像および管腔構造物の外壁の外側にある病変等の部位の超音波画像を撮像することが行われている。また、病変の組織を鉗子等の処置具により採取する生検も行われている。

【0003】

このような内視鏡を用いた処置を行う際には、内視鏡を被検体内の目標位置に正確に到達させることが重要である。このため、処置中に放射線を放射線源から被検体に連続的に照射し、これにより取得される透視画像をリアルタイムで表示する透視撮影を行うことにより、内視鏡と人体構造との位置関係を把握することが行われている。

【0004】

ここで、透視画像は被検体内の臓器、血管および骨等の解剖構造が重なり合った状態で含まれるため、管腔および病変の認識が容易ではない。このため、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等により、被検体の３次元画像を処置前にあらかじめ取得し、３次元画像において内視鏡の挿入経路および病変の位置等を事前にシミュレーションすることが行われている。

【0005】

また、特許文献１には、３次元画像から気管支内部の仮想内視鏡画像を生成し、処置中に位置センサを用いて内視鏡の先端位置を検出し、内視鏡により撮影される実内視鏡画像とともに仮想内視鏡画像を表示して内視鏡の気管支への挿入ナビゲーションを行う手法が提案されている。

【0006】

また、特許文献２には、内視鏡の先端に位置センサを設けて内視鏡の先端位置を検出し、格子状のマーカを用いて透視画像を撮影する撮影デバイスの姿勢を検出し、取得した複数の透視画像から３次元画像を再構成し、再構成した３次元画像と事前に取得したＣＴ画像等の３次元画像とを位置合わせする手法が提案されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２００９－０５６２３９号公報

【特許文献2】特開２０２１－０３００７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかしながら、特許文献１，２に記載された手法は内視鏡の位置を検出するために内視鏡にセンサを設ける必要がある。センサを使用しないようにするために、透視画像に写る内視鏡の像から内視鏡の位置を検出することが考えられる。しかしながら、透視画像は透視画像に直交する奥行き方向の位置が分からないため、透視画像からは内視鏡の３次元的な位置を検出することができない。このため、内視鏡を被検体内の所望とする位置に精度よくナビゲーションすることができない。

【0009】

本発明は上記事情に鑑みなされたものであり、センサを使用することなく、内視鏡を被検体内の所望とする位置にナビゲーションできるようにすることを目的とする。

【課題を解決するための手段】

【0010】

本開示の第１の態様に係る画像処理装置は、少なくとも１つのプロセッサを備え、プロセッサは、被検体の３次元画像を取得し、
内視鏡が管腔構造物内に挿入された被検体についての放射線画像を取得し、
内視鏡により第１の時刻に撮影された被検体の管腔構造物内の第１の実内視鏡画像を取得し、
放射線画像と３次元画像とを用いて、内視鏡の３次元画像内における仮の仮想視点を導出し、
仮の仮想視点、第１の実内視鏡画像および３次元画像を用いて、内視鏡の３次元画像内における第１の時刻の仮想視点を導出し、
第１の時刻よりも後の第２の時刻に内視鏡により撮影された第２の実内視鏡画像と第１の実内視鏡画像とを用いて、内視鏡の３次元画像内における第２の時刻の仮想視点を導出する。

【0011】

本開示の第２の態様に係る画像処理装置は、本開示の第１の態様に係る画像処理装置において、プロセッサは、放射線画像に含まれる内視鏡の位置を特定し、
特定された内視鏡の位置を用いて仮の仮想視点の位置を導出し、
３次元画像における仮の仮想視点の位置を用いて仮の仮想視点の姿勢を導出するものであってもよい。

【0012】

本開示の第３の態様に係る画像処理装置は、本開示の第１または第２の態様に係る画像処理装置において、プロセッサは、３次元画像を用いて導出される第１の時刻の仮想視点における第１の仮想内視鏡画像が第１の実内視鏡画像と一致するように第１の時刻の仮想視点を調整するものであってもよい。なお、「一致するように」とは、完全に一致する場合のみならず、実質的に一致するほど位置が近くなるようにすることも含む。

【0013】

本開示の第４の態様に係る画像処理装置は、本開示の第１から第３のいずれか１つの態様に係る画像処理装置において、プロセッサは、第１の実内視鏡画像と第２の実内視鏡画像とを用いて視点の変化を導出し、
視点の変化と第１の時刻の仮想視点とを用いて第２の時刻の仮想視点を導出するものであってもよい。

【0014】

本開示の第５の態様に係る画像処理装置は、本開示の第４の態様に係る画像処理装置において、プロセッサは、導出された視点の変化に対する信頼度を表す評価結果があらかじめ定められた条件を満足するか否かを判定し、
判定が否定された場合、第２の時刻の仮想視点における第２の仮想内視鏡画像が第２の実内視鏡画像と一致するように第２の時刻の仮想視点を調整するものであってもよい。なお、「一致するように」とは、完全に一致する場合のみならず、実質的に一致するほど位置が近くなるようにすることも含む。

【0015】

本開示の第６の態様に係る画像処理装置は、本開示の第５の態様に係る画像処理装置において、判定が肯定された場合、第２の時刻よりも後の第３の時刻に撮影された第３の実内視鏡画像と第２の実内視鏡画像とを用いて、第３の時刻における内視鏡の第３の仮想視点を導出するものであってもよい。

【0016】

本開示の第７の態様に係る画像処理装置は、本開示の第１から第６のいずれか１つの態様に係る画像処理装置において、プロセッサは、内視鏡により新たな時刻の実内視鏡画像を順次取得し、各時刻における内視鏡の仮想視点を順次導出するものであってもよい。

【0017】

本開示の第８の態様に係る画像処理装置は、本開示の第７の態様に係る画像処理装置において、プロセッサは、各時刻における内視鏡の仮想視点と３次元画像とを用いて、各時刻における仮想内視鏡画像を順次導出し、順次取得される実内視鏡画像と順次導出される仮想内視鏡画像とを順次表示するものであってもよい。

【0018】

本開示の第９の態様に係る画像処理装置は、本開示の第８の態様に係る画像処理装置において、プロセッサは、各時刻における仮想内視鏡画像および各時刻における実内視鏡画像を順次表示するものであってもよい。

【0019】

本開示の第１０の態様に係る画像処理装置は、本開示の第９の態様に係る画像処理装置において、プロセッサは、３次元画像の管腔構造物内における各時刻の仮想視点の位置を順次表示するものであってもよい。

【0020】

本開示の画像処理方法は、被検体の３次元画像を取得し、
内視鏡が管腔構造物内に挿入された被検体についての放射線画像を取得し、
内視鏡により第１の時刻に撮影された被検体の管腔構造物内の第１の実内視鏡画像を取得し、
放射線画像と３次元画像とを用いて、内視鏡の３次元画像内における仮の仮想視点を導出し、
仮の仮想視点、第１の実内視鏡画像および３次元画像を用いて、内視鏡の３次元画像内における第１の時刻の仮想視点を導出し、
第１の時刻よりも後の第２の時刻に内視鏡により撮影された第２の実内視鏡画像と第１の実内視鏡画像とを用いて、内視鏡の３次元画像内における第２の時刻の仮想視点を導出する。

【0021】

本開示の画像処理プログラムは、被検体の３次元画像を取得する手順と、
内視鏡が管腔構造物内に挿入された被検体についての放射線画像を取得する手順と、
内視鏡により第１の時刻に撮影された被検体の管腔構造物内の第１の実内視鏡画像を取得する手順と、
放射線画像と３次元画像とを用いて、内視鏡の３次元画像内における仮の仮想視点を導出する手順と、
仮の仮想視点、第１の実内視鏡画像および３次元画像を用いて、内視鏡の３次元画像内における第１の時刻の仮想視点を導出する手順と、
第１の時刻よりも後の第２の時刻に内視鏡により撮影された第２の実内視鏡画像と第１の実内視鏡画像とを用いて、内視鏡の３次元画像内における第２の時刻の仮想視点を導出する手順とをコンピュータに実行させる。

【発明の効果】

【0022】

本開示によれば、センサを使用することなく、内視鏡を被検体内の所望とする位置にナビゲーションできる。

【図面の簡単な説明】

【0023】

【図1】本開示の実施形態による画像処理装置を適用した医療情報システムの概略構成を示す図

【図2】本実施形態による画像処理装置の概略構成を示す図

【図3】本実施形態による画像処理装置の機能構成図

【図4】透視画像を示す図

【図5】実内視鏡画像の視点の３次元的な位置の導出を説明するための図

【図6】Shenらの手法を説明するための図

【図7】Zhouらの手法を説明するための図

【図8】第２導出部が行う処理を模式的に示す図

【図9】視点の変化の信頼度を表す評価結果の導出を説明するための図

【図10】視点の変化の信頼度を表す評価結果の導出の他の例を説明するための図

【図11】ナビゲーション画面を示す図

【図12】本実施形態において行われる処理を示すフローチャート

【図13】本実施形態において行われる処理を示すフローチャート

【発明を実施するための形態】

【0024】

以下、図面を参照して本開示の実施形態について説明する。まず、本実施形態による画像処理装置を適用した医療情報システムの構成について説明する。図１は、医療情報システムの概略構成を示す図である。図１に示す医療情報システムは、本実施形態による画像処理装置を内包するコンピュータ１、３次元画像撮影装置２、透視画像撮影装置３および画像保管サーバ４が、ネットワーク５を経由して通信可能な状態で接続されている。

【0025】

コンピュータ１は、本実施形態による画像処理装置を内包するものであり、本実施形態の画像処理プログラムがインストールされている。コンピュータ１は、後述するように被検体に対して処置を行う処置室に設置される。コンピュータ１は、処置を行う医療従事者が直接操作するワークステーションあるいはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像処理プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、あるいはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータ１にダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータ１にインストールされる。

【0026】

３次元画像撮影装置２は、被検体Ｈの診断対象となる部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。３次元画像撮影装置２により生成された、複数の断層画像からなる３次元画像は画像保管サーバ４に送信され、保存される。なお、本実施形態においては、被検体Ｈの処置対象部位は肺であり、３次元画像撮影装置２はＣＴ装置であり、後述するように被検体Ｈに対する処置の前に、被検体Ｈの胸部を撮影することにより、被検体Ｈの胸部を含むＣＴ画像を３次元画像としてあらかじめ取得し、画像保管サーバ４に保存しておく。

【0027】

透視画像撮影装置３は、Ｃアーム３Ａ、Ｘ線源３ＢおよびＸ線検出器３Ｃを有する。Ｘ線源３ＢおよびＸ線検出器３ＣはＣアーム３Ａの両端部にそれぞれ取り付けられている。透視画像撮影装置３においては、被検体Ｈを任意の方向から撮影可能なようにＣアーム３Ａが回転および移動可能に構成されている。そして、透視画像撮影装置３は、後述するように被検体Ｈに対する処置中に、Ｘ線を被検体Ｈに照射し、被検体Ｈを透過したＸ線をＸ線検出器３Ｃにより検出する透視撮影を行うことにより、被検体ＨのＸ線画像を取得する。以降の説明においては、取得されるＸ線画像を透視画像と称する。透視画像が本開示による放射線画像の一例である。なお、透視画像Ｔ０は、あらかじめ定められたフレームレートによりＸ線を被検体Ｈに連続的に照射することにより取得してもよく、後述するように内視鏡７が気管支の分岐に到達するようなあらかじめ定められたタイミングでＸ線を被検体Ｈに照射することにより取得してもよい。

【0028】

画像保管サーバ４は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ４は、有線あるいは無線のネットワーク５を介して他の装置と通信を行い、画像データ等を送受信する。具体的には３次元画像撮影装置２で取得された３次元画像、および透視画像撮影装置３で取得された透視画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式およびネットワーク５経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。

【0029】

なお、本実施形態においては、被検体Ｈの透視撮影を行いつつ、被検体Ｈの肺に存在する肺結節等の病変の一部を切り取って、病気の存在を詳しく調べる生検の処置を行うものとする。このため、透視画像撮影装置３は生検を行うための処置室に配置されている。また、処置室には、超音波内視鏡装置６が設置されている。超音波内視鏡装置６は、先端に超音波プローブおよび鉗子等の処置具が取り付けられた内視鏡７を備える。本実施形態においては、病変の生検を行うべく、操作者は内視鏡７を被検体Ｈの気管支に挿入し、内視鏡７により気管支内部の内視鏡画像を撮影しつつ、透視画像撮影装置３により被検体Ｈの透視画像を撮影する。そして、撮影した透視画像をリアルタイムで表示しつつ、透視画像において被検体Ｈ内における内視鏡７の位置を確認し、目標となる病変の位置まで内視鏡７の先端を移動させる。気管支が本開示の管腔構造物の一例である。

【0030】

なお、内視鏡画像は、あらかじめ定められたフレームレートにより連続的に取得される。透視画像Ｔ０があらかじめ定められたフレームレートで取得される場合、内視鏡画像を取得するフレームレートは透視画像Ｔ０が取得されるフレームレートと同一であってもよい。また、透視画像Ｔ０が任意のタイミングで取得される場合であっても、内視鏡画像はあらかじめ定められたフレームレートにより取得される。

【0031】

ここで、肺結節等の肺の病変は気管支の内側ではなく気管支の外側に発生する。このため、操作者は内視鏡７を目標位置まで移動させた後、超音波プローブにより気管支の外側の超音波画像を撮影して超音波画像を表示し、超音波画像において病変位置を確認しながら鉗子等の処置具を用いて病変の一部を採取する処置を行う。

【0032】

次いで、本実施形態による画像処理装置について説明する。図２は、本実施形態による画像処理装置のハードウェア構成を示す図である。図２に示すように、画像処理装置１０は、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶領域としてのメモリ１６を含む。また、画像処理装置１０は、液晶ディスプレイ等のディスプレイ１４、キーボードとマウス等の入力デバイス１５、およびネットワーク５に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、ストレージ１３、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。

【0033】

ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、画像処理プログラム１２が記憶される。ＣＰＵ１１は、ストレージ１３から画像処理プログラム１２を読み出してメモリ１６に展開し、展開した画像処理プログラム１２を実行する。

【0034】

次いで、本実施形態による画像処理装置の機能的な構成を説明する。図３は、本実施形態による画像処理装置の機能的な構成を示す図である。図３に示すように画像処理装置１０は、画像取得部２０、第１導出部２１、第２導出部２２、第３導出部２３および表示制御部２４を備える。そして、ＣＰＵ１１が画像処理プログラム１２を実行することにより、ＣＰＵ１１は、画像取得部２０、第１導出部２１、第２導出部２２、第３導出部２３および表示制御部２４として機能する。

【0035】

画像取得部２０は、操作者による入力デバイス１５からの指示により、画像保管サーバ４から被検体Ｈの３次元画像Ｖ０を取得する。取得される３次元画像Ｖ０は被検体Ｈに対する処置前に取得されたものである。また、画像取得部２０は、被検体Ｈの処置中に透視画像撮影装置３により取得される透視画像Ｔ０を取得する。さらに、画像取得部２０は被検体Ｈの処置中に内視鏡７により取得される内視鏡画像Ｒ０を取得する。内視鏡７により取得される内視鏡画像は、実際に被検体Ｈの気管支内を内視鏡７により撮影することによって取得される。このため、以降の説明において、内視鏡７により取得される内視鏡画像を実内視鏡画像Ｒ０と称する。実内視鏡画像Ｒ０は透視画像Ｔ０の取得のされ方に拘わらず、あらかじめ定められたフレームレートにより取得される。このため、透視画像Ｔ０が取得されるタイミングに近いタイミングで実内視鏡画像Ｒ０が取得されることとなる。したがって、透視画像Ｔ０には取得したタイミングが対応する実内視鏡画像Ｒ０が存在することとなる。

【0036】

第１導出部２１は、透視画像Ｔ０と３次元画像Ｖ０とを用いて、内視鏡７の３次元画像Ｖ０内における仮の仮想視点を導出する。なお、第１導出部２１、第２導出部２２および第３導出部２３は、例えば内視鏡７の先端が気管支の最初の分岐位置に到達してから取得された透視画像Ｔ０および実内視鏡画像Ｒ０を用いて処理を開始するものであってもよいが、これに限定されるものではない。被検体Ｈへの内視鏡７の挿入を開始してから処理を行うものであってもよい。

【0037】

まず、第１導出部２１は、透視画像Ｔ０から内視鏡７の位置を検出する。図４は透視画像を示す図である。図４に示すように透視画像Ｔ０には内視鏡７の像３０が含まれる。第１導出部２１は、例えば透視画像Ｔ０から内視鏡像３０の先端３１を検出するように学習がなされた学習済みモデルを用いて透視画像Ｔ０から内視鏡像３０の先端３１を検出する。なお、透視画像Ｔ０からの内視鏡像３０の先端３１の検出は、これに限定されるものではない。テンプレートマッチングを用いる手法等、任意の手法を用いることができる。このようにして検出された内視鏡像３０の先端３１が透視画像Ｔ０における内視鏡７の位置となる。

【0038】

ここで、本実施形態においては、３次元画像Ｖ０から気管支領域が予め抽出されて、病変の位置の確認、気管支内における病変に至る経路（すなわち、内視鏡７をどのような向きでどのように挿入していくか）の計画が事前にシミュレーションされているものとする。なお、３次元画像Ｖ０からの気管支領域の抽出は、公知のコンピュータ支援画像診断（ＣＡＤ: Computer Aided Diagnosis、以下ＣＡＤと称する）のアルゴリズムを用いて行われる。また、例えば特開２０１０－２２０７４２号公報等に記載された任意の手法を用いて行われる。

【0039】

また、第１導出部２１は、透視画像Ｔ０と３次元画像Ｖ０との位置合わせを行う。ここで、透視画像Ｔ０は２次元画像である。このため、第１導出部２１は、２次元画像と３次元画像との位置合わせを行う。本実施形態において、第１導出部２１は、まず、透視画像Ｔ０の撮影方向と同一の方向に３次元画像Ｖ０を投影して２次元の疑似透視画像ＶＴ０を導出する。そして第１導出部２１は、２次元の疑似透視画像ＶＴ０を透視画像Ｔ０に位置合わせする。位置合わせの手法としては、剛体位置合わせあるいは非剛体位置合わせ等、任意の手法を用いることができる。

【0040】

一方、透視画像Ｔ０は２次元であるため、３次元画像Ｖ０内における仮の仮想視点を導出するためには透視画像Ｔ０に直交する方向の位置、すなわち奥行き方向の位置が必要である。本実施形態においては、事前のシミュレーションにより３次元画像Ｖ０から気管支領域が抽出されている。また、第１導出部２１により、透視画像Ｔ０と３次元画像Ｖ０とは位置合わせされている。このため、図５に示すように、透視画像Ｔ０において検出された内視鏡像３０の先端３１を３次元画像Ｖ０の気管支領域Ｂ０に逆投影する。これにより、３次元画像Ｖ０内における内視鏡７の位置、すなわち仮の仮想視点ＶＰｓ０の３次元的な位置を導出することができる。

【0041】

また、内視鏡７の気管支への挿入方向は口または鼻から気管支の末端に向かう方向である。３次元画像Ｖ０から抽出された気管支領域内における位置が分かれば、その位置における内視鏡７の向き、すなわち仮の仮想視点ＶＰｓ０の方向が分かる。また、内視鏡７の被検体Ｈへの挿入の仕方はあらかじめ定められている。例えば、内視鏡７の挿入開始時には、被検体Ｈの腹側が実内視鏡画像の上側となるように内視鏡７の挿入の仕方があらかじめ定められている。このため、導出された視点の位置において、どの程度内視鏡７がその長軸周りにねじれているかを、気管支領域の形状に基づいて上述した事前のシミュレーションにより導出することができる。したがって、第１導出部２１は、シミュレーションの結果を用いて、導出された仮の仮想視点の位置において、内視鏡７のねじれの程度を導出する。これにより、第１導出部２１は、３次元画像Ｖ０における仮の視点ＶＰｓ０の姿勢を導出する。なお、本実施形態において、仮の仮想視点ＶＰｓ０を導出する、とは仮の仮想視点ＶＰｓ０の３次元画像Ｖ０における３次元的な位置、および視点の姿勢（すなわち視線の方向およびねじれ）を導出することを意味する。

【0042】

第２導出部２２は、第１導出部２１が導出した仮の仮想視点ＶＰｓ０、第１の時刻ｔ１の実内視鏡画像Ｒ１および３次元画像Ｖ０を用いて、内視鏡７の３次元画像Ｖ０内における第１の時刻ｔ１の第１の仮想視点ＶＰ１を導出する。本実施形態においては、第２導出部２２は、「Context-Aware Depth and Pose Estimation for Bronchoscopic Navigation IEEE Robotics and Automation Letters、Mali Shenら、 vol. 4、no. 2、pp. 732-739、April 2019」に記載された手法を用いて、第１の仮想視点ＶＰ１を導出する。ここで、実内視鏡画像Ｒ０はあらかじめ定められたフレームレートにより連続して取得されるが、本実施形態においては第２導出部２２における処理のために便宜的に設定した第１の時刻ｔ１により取得された実内視鏡画像Ｒ０を第１の実内視鏡画像Ｒ１とする。

【0043】

図６はShenらの手法を用いた仮想視点の調整を説明するための図である。図６に示すように、第２導出部２２は、３次元画像Ｖ０を解析することにより、仮の仮想視点ＶＰｓ０での内視鏡７の進行方向における深度マップ（第１深度マップとする）ＤＭ１を導出する。具体的には、上述したように３次元画像Ｖ０から予め抽出された気管支領域を用いて仮の仮想視点ＶＰｓ０での第１深度マップＤＭ１を導出する。なお、図６においては３次元画像Ｖ０における仮の仮想視点ＶＰｓ０のみを示し、気管支領域は省略している。また、第２導出部２２は、第１の実内視鏡画像Ｒ１を解析することにより、第１の実内視鏡画像Ｒ１の深度マップ（第２深度マップとする）ＤＭ２を導出する。深度マップとは、視点が向く方向における物体の深さを画素値で表した画像であり、画像における奥行き方向の距離の分布を表す。

【0044】

第２の深度マップＤＭ２の導出には、例えば「Unsupervised Learning of Depth and Ego-Motion from Video、Tinghui Zhouら、April 2017」に記載された手法を用いることができる。図７はZhouらの手法を説明するための図である。図７に示すように、Zhouらの文献には、深度マップを導出する第１学習済みモデル４１および視線の変化を導出する第２学習済みモデル４２を学習させる方法が開示されている。第２導出部２２は、Zhouらの文献に記載された方法で学習させた第１学習済みモデル４１を用いて深度マップを導出する。第１学習済みモデル４１は、動画像を構成する１つのフレームからそのフレームの奥行き方向の距離の分布を表す深度マップを導出するようにニューラルネットワークを機械学習することにより構築される。

【0045】

第２学習済みモデル４２は、動画像を構成する２つのフレームから２つのフレーム間の視点の変化を導出するようにニューラルネットワークを機械学習することにより構築される。視点の変化は、フレーム間の視点の平行移動量ｔおよび姿勢の変化量、すなわち回転量Ｋである。

【0046】

なお、Zhouらの手法においては、複数のフレーム間で視点の変化と深度マップが満たすべき関係式に基づいて、教師データを用いることなく、第１学習済みモデル４１および第２学習済みモデル４２が同時に学習される。なお、Zhouらの手法を用いることなく、学習用の画像と学習用の画像についての正解データとしての深度マップからなる多数の学習データを用いて第１学習済みモデル４１を構築してもよい。また、学習用の２つの画像と正解データである２つの画像の視点の変化との組み合わせからなる多数の学習データを用いて第２学習済みモデル４２を構築するようにしてもよい。

【0047】

そして、第２導出部２２は、仮の仮想視点ＶＰｓ０を変更しつつ、変更した仮の仮想視点ＶＰｓ０における第１深度マップＤＭ１を導出する。また、第２導出部２２は、第１の時刻ｔ１の第１の実内視鏡画像Ｒ１から第２深度マップＤＭ２を導出する。続いて、第２導出部２２は、第１深度マップＤＭ１と第２深度マップＤＭ２との類似度を導出する。そして、類似度が最大となる仮の仮想視点ＶＰｓ０を第１の時刻ｔ１の第１の仮想視点ＶＰ１として導出する。

【0048】

第３導出部２３は、第１の時刻ｔ１よりも後の第２の時刻ｔ２において内視鏡７により撮影された第２の実内視鏡画像Ｒ２と第１の時刻ｔ１により取得された第１の実内視鏡画像Ｒ１とを用いて、内視鏡７の３次元画像Ｖ０内における第２の時刻ｔ２の第２の仮想視点ＶＰ２を導出する。

【0049】

図８は第３導出部２３が行う処理を模式的に示す図である。図８に示すように、まず、第３導出部２３は、上述したZhouらの文献に記載された第２学習済みモデル４２を用いて第１の実内視鏡画像Ｒ１から第２の実内視鏡画像Ｒ２への視点の変化を導出する。なお、第２学習済みモデル４２への画像の第１の実内視鏡画像Ｒ１および第２の実内視鏡画像Ｒ２の入力順序を入れ替えることにより、第２の実内視鏡画像Ｒ２から第１の実内視鏡画像Ｒ１への視点の変化を導出することも可能である。視点の変化は第１の実内視鏡画像Ｒ１から第２の実内視鏡画像Ｒ２への視点の平行移動量ｔおよび回転量Ｋとして導出される。

【0050】

そして、第３導出部２３は、導出した視点の変化を用いて、第２導出部２２が導出した第１の仮想視点ＶＰ１を変換することにより、第２の仮想視点ＶＰ２を導出する。さらに、第３導出部２３は、第２の仮想視点ＶＰ２における第２の仮想内視鏡画像ＶＧ２を導出する。第３導出部２３は、例えば特開２０２０－０１０７３５号公報に記載された手法を用いて仮想内視鏡画像ＶＧ２を導出する。具体的には、第２の仮の仮想視点ＶＰ２から内視鏡の視線方向に放射線状に伸ばした複数の視線上の３次元画像Ｖ０を、あらかじめ定められた投影面に投影する中心投影を行うことにより、投影画像を生成する。この投影画像が、内視鏡の先端位置において撮影を行ったものとして仮想的に生成された仮想内視鏡画像ＶＧ２となる。なお、中心投影の具体的な方法としては、例えば公知のボリュームレンダリング手法等を用いることができる。

【0051】

本実施形態においては、画像取得部２０は、内視鏡７があらかじめ定められたフレームレートにより撮影した実内視鏡画像Ｒ０が順次取得される。第３導出部２３は、最新の実内視鏡画像Ｒ０を第２の時刻ｔ２の第２の実内視鏡画像Ｒ２、これよりも１つ前の時刻に取得された実内視鏡画像Ｒ０を第１の時刻ｔ１の第１の実内視鏡画像Ｒ１として用いて、第２の実内視鏡画像Ｒ２を取得した時刻における第２の仮想視点ＶＰ２を導出する。導出される第２の仮想視点ＶＰ２が内視鏡７の視点となる。また、第３導出部２３は、順次導出される第２の仮想視点ＶＰ２における仮想内視鏡画像ＶＧ２を順次導出する。

【0052】

ここで、内視鏡７が気管支内で比較的ゆっくりと移動している場合、第３導出部２３による視点の変化は比較的精度よく導出できる。一方、内視鏡７が気管支内において素早く移動した場合、第３導出部２３による視点の変化の導出精度が低下する場合がある。このため、本実施形態において、第３導出部２３は、導出された視点の変化の信頼度を表す評価結果を導出し、評価結果があらかじめ定められた条件を満足するか否かの判定を行う。

【0053】

図９は視点の変化の信頼度を表す評価結果の導出を説明するための図である。信頼度を表す評価結果を導出するに際し、第３導出部２３は、上述したようにして導出した第１の実内視鏡画像Ｒ１から第２の実内視鏡画像Ｒ２への視点の変化（すなわち、ｔ，Ｋ）を用いて、第１の時刻ｔ１の実内視鏡画像Ｒ１を変換することにより、視点を変換した変換実内視鏡画像Ｒ２ｒを導出する。変換実内視鏡画像Ｒ２ｒは第２の時刻ｔ２の第２の実内視鏡画像Ｒ２に相当する。そして、第３導出部２３は、第２の時刻ｔ２の第２の実内視鏡画像Ｒ２と変換実内視鏡画像Ｒ２ｒとの差分ΔＲ２を視点の変化の信頼度を表す評価結果として導出する。差分ΔＲ２としては、第２の実内視鏡画像Ｒ２と変換実内視鏡画像Ｒ２ｒとの対応する画素間の画素値の差分値の絶対値の総和、あるいは差分値の二乗和等を用いることができる。

【0054】

ここで、第１の実内視鏡画像Ｒ１と第２の実内視鏡画像Ｒ２との視点の変化が精度よく導出されていれば、変換実内視鏡画像Ｒ２ｒは第２の実内視鏡画像Ｒ２と一致するため、差分ΔＲ２は小さくなる。一方、第１の実内視鏡画像Ｒ１と第２の実内視鏡画像Ｒ２との視点の変化の導出精度が低いと、変換実内視鏡画像Ｒ２ｒは第２の実内視鏡画像Ｒ２と一致しなくなるため、差分ΔＲ２は大きくなる。このため、信頼度を表す評価結果である差分ΔＲ２が小さいほど視点の変化の信頼度は高いものとなる。

【0055】

したがって、第３導出部２３は、差分ΔＲ２があらかじめ定められたしきい値Ｔｈ１より小さいか否かに基づいて、視点の変化に対する信頼度を表す評価結果があらかじめ定められた条件を満足するか否かを判定する。

【0056】

判定が否定されると、第３導出部２３は、第２の時刻ｔ２の仮想視点ＶＰ２の第２の仮想内視鏡画像ＶＧ２が第２の実内視鏡画像Ｒ２と一致するように第２の仮想視点ＶＰ２を調整する。第２の仮想視点ＶＰ２の調整は、上述したShenらの手法を用いて行う。すなわち、第３導出部２３は、仮想視点ＶＰ２を変更しつつ、３次元画像Ｖ０から抽出された気管支領域を用いて深度マップＤＭ３を導出し、深度マップＤＭ３と第２の実内視鏡画像Ｒ２の深度マップＤＭ２との類似度を導出する。そして、類似度が最大となる仮想視点ＶＰ２を第２の時刻ｔ２の新たな仮想視点ＶＰ２に決定する。

【0057】

第３導出部２３は、新たな仮想視点ＶＰ２を用いて、仮想視点ＶＰ１から新たな仮想視点ＶＰ２への新たな視点の変化を導出する。第３導出部２３は、新たな視点の変化を用いて第１の時刻ｔ１の実内視鏡画像Ｒ１を変換することにより、新たな変換実内視鏡画像Ｒ２ｒを導出する。そして、第３導出部２３は、第２の時刻ｔ２の第２の実内視鏡画像Ｒ２と新たな変換実内視鏡画像Ｒ２ｒとの新たな差分ΔＲ２を新たな信頼度を表す評価結果として導出し、新たな信頼度を表す評価結果が上記あらかじめ定められた条件を満足するか否かを再度判定する。

【0058】

２度目の判定が否定されると、画像取得部２０が新たな透視画像Ｔ０を取得し、第１導出部２１による仮の仮想視点の導出、第２導出部２２による第１の時刻ｔ１の仮想視点ＶＰ１の導出、および第３導出部２３による第２の時刻ｔ２の仮想視点ＶＰ２の導出が改めて行われる。

【0059】

１度目の判定が肯定された場合、または１度目の判定が否定された後に２度目の判定が肯定された場合、第３導出部２３は、第２の時刻ｔ２よりも後の時刻（第３の時刻ｔ３とする）に取得された第３の実内視鏡画像Ｒ３と第２の実内視鏡画像Ｒ２とを、それぞれ上記第２の実内視鏡画像Ｒ２および第１の実内視鏡画像Ｒ１に更新して、第３の時刻ｔ３の仮想視点ＶＰ３すなわち更新された第２の時刻ｔ２の第２の仮想視点ＶＰ２を導出する。これを、連続して取得される実内視鏡画像Ｒ０について繰り返すことにより、内視鏡７の仮想視点ＶＰ０が順次導出され、順次導出される仮想視点ＶＰ０における仮想内視鏡画像ＶＧ０が順次導出される。

【0060】

なお、第３導出部２３は、視点の変化の信頼度の判定を１度のみ行い、判定が否定されると、新たな仮想視点ＶＰ２の調整を行うことなく、新たな透視画像Ｔ０を用いて第１導出部２１，第２導出部２２および第３導出部２３の処理を行うようにしてもよい。

【0061】

一方、第３導出部２３は視点の変化の信頼度を表す評価結果を以下のように導出してもよい。図１０は視点の変化の信頼度の他の導出を説明するための図である。第３導出部２３は上記と同様に第２学習済みモデル４２を用いてまず差分ΔＲ２を導出する。また、第３導出部２３は、第２学習済みモデル４２への画像の入力順序を入れ替えることにより、第２の実内視鏡画像Ｒ２から第１の実内視鏡画像Ｒ１への視点の変化を導出する。この視点の変化をｔ′、Ｋ′とする。第３導出部２３は、この視点の変化をｔ′、Ｋ′を用いて第２の時刻ｔ２の第２の実内視鏡画像Ｒ２を変換することにより、視点を変換した変換実内視鏡画像Ｒ１ｒを導出する。変換実内視鏡画像Ｒ１ｒは第１の時刻ｔ１の第１の実内視鏡画像Ｒ１に相当する。そして、第１の時刻ｔ１の第１の実内視鏡画像Ｒ１と変換実内視鏡画像Ｒ１ｒとの差分ΔＲ１を導出する。差分ΔＲ１としては、第１の実内視鏡画像Ｒ１と変換実内視鏡画像Ｒ１ｒとの対応する画素間の画素値の差分値の絶対値の総和、あるいは差分値の二乗和等を用いることができる。

【0062】

そして、第３導出部２３は、差分ΔＲ２および差分ΔＲ１の双方を用いて視点の変化の信頼度を表す評価結果を導出する。この場合、評価結果としては、差分ΔＲ２と差分ΔＲ１との平均あるいは差分ΔＲ２と差分ΔＲ１との小さい方の差分等の、差分ΔＲ２と差分ΔＲ１との代表値を用いることができる。そして、第３導出部２３は、導出した評価結果があらかじめ定められた条件を満足するか否かを判定し、判定結果に応じて上記と同様の処理を行う。

【0063】

表示制御部２４は、透視画像Ｔ０、実内視鏡画像Ｒ０、仮想内視鏡画像ＶＧ０を含むナビゲーション画面をディスプレイ１４に表示する。また、必要な場合には超音波内視鏡装置６により取得された超音波画像をナビゲーション画面に含めて表示する。図１１はナビゲーション画面を示す図である。図１１に示すように、ナビゲーション画面５０は、３次元画像Ｖ０に含まれる気管支領域の画像５１、透視画像Ｔ０、実内視鏡画像Ｒ０および仮想内視鏡画像ＶＧ０が表示される。実内視鏡画像Ｒ０は内視鏡７によりあらかじめ定められたフレームレートにより取得される画像であり、仮想内視鏡画像ＶＧ０実内視鏡画像Ｒ０と対応して導出される画像である。また、透視画像Ｔ０はあらかじめ定められたフレームレートまたはあらかじめ定められたタイミングで取得される画像である。

【0064】

ナビゲーション画面５０において、気管支領域の画像５１には内視鏡７を病変５４が存在する目標点Ｐｔまでナビゲーションするための経路５２が表示されている。また、経路５２上には現在の内視鏡７の位置５３が示されている。位置５３は第３導出部２３が導出した最新の仮想視点ＶＰ０に対応する。表示される実内視鏡画像Ｒ０および仮想内視鏡画像ＶＧ０は、位置５３における実内視鏡画像および仮想内視鏡画像である。

【0065】

また、図１１において、内視鏡７が通過済みの経路５２を実線、未通過の経路５２を破線で示している。また、ナビゲーション画面５０は超音波画像の表示領域５５を有し、超音波内視鏡装置６により取得された超音波画像は表示領域５５に表示される。

【0066】

次いで、本実施形態において行われる処理について説明する。図１２および図１３は本実施形態において行われる処理を示すフローチャートである。まず、画像取得部２０が画像保管サーバ４から３次元画像Ｖ０を取得し（ステップＳＴ１）、透視画像Ｔ０を取得し（ステップＳＴ２）、さらに実内視鏡画像Ｒ０を取得する（ステップＳＴ３）。なお、ステップＳＴ３において取得される実内視鏡画像は，処理の開始時においては取得時刻が隣接する第１の時刻ｔ１の第１の実内視鏡画像Ｒ１および第２の時刻ｔ２の第２の実内視鏡画像Ｒ２である。処理が開始された以降は最も撮影時刻が新しい実内視鏡画像である。

【0067】

次いで、第１導出部２１が、透視画像Ｔ０と３次元画像Ｖ０とを用いて、内視鏡７の３次元画像Ｖ０内における仮の仮想視点ＶＰｓ０を導出する（ステップＳＴ４）。続いて、第２導出部２２が、第１導出部２１が導出した仮の仮想視点ＶＰｓ０、第１の実内視鏡画像Ｒ１および３次元画像Ｖ０を用いて、内視鏡７の３次元画像Ｖ０内における第１の時刻ｔ１の第１の仮想視点ＶＰ１を導出する（ステップＳＴ５）。

【0068】

次いで、第３導出部２３が、第１の時刻ｔ１よりも後の第２の時刻ｔ２において内視鏡７により撮影された第２の実内視鏡画像Ｒ２と第１の時刻ｔ１により取得された第１の実内視鏡画像Ｒ１とを用いて、内視鏡７の３次元画像Ｖ０内における第２の時刻ｔ２の第２の仮想視点ＶＰ２を導出する（ステップＳＴ６）。

【0069】

続いて、第３導出部２３は、視点の変化の信頼度を表す評価結果を導出し（ステップＳＴ７）、視点の変化に対する信頼度を表す評価結果があらかじめ定められた条件を満足するか否かを判定する（ステップＳＴ８）。ステップＳＴ８が否定されると、第３導出部２３は、第２の仮想視点ＶＰ２を調整し（ステップＳＴ９）、調整された新たな仮想視点ＶＰ２を用いて新たな信頼度を表す評価結果を導出する（ステップＳＴ１０）。そして、新たな視点の変化に対する信頼度があらかじめ定められた条件を満足するか否かを判定する（ステップＳＴ１１）。ステップＳＴ１１が否定されると、ステップＳＴ２に戻り、新たな透視画像Ｔ０が取得されて、新たな透視画像Ｔ０を用いてのステップＳＴ２以降の処理が繰り返される。

【0070】

ステップＳＴ８，ＳＴ１１が肯定されると、第３導出部２３は、最新の第２の仮想視点ＶＰ２における第２の仮想内視鏡画像ＶＧ２を導出する（ステップＳＴ１２）。そして、表示制御部２４が、気管支領域の画像５１、実内視鏡画像Ｒ０および仮想内視鏡画像ＶＧ０を含むナビゲーション画面をディスプレイ１４に表示する（画像表示：ステップＳＴ１３）。この時点で表示される実内視鏡画像Ｒ０は最新の第２の実内視鏡画像Ｒ２であり、仮想内視鏡画像ＶＧ０は最新の第２の実内視鏡画像Ｒ２に対応する第２の仮想内視鏡画像ＶＧ２である。なお、これらの表示の前に第１の実内視鏡画像Ｒ１および第１の仮想内視鏡画像ＶＧ１を表示するようにしてもよい。そしてステップＳＴ６に戻り、ステップＳＴ６以降の処理が繰り返される。これにより、順次取得される実内視鏡画像Ｒ０および実内視鏡画像Ｒ０の視点と位置合わせがなされた視点における仮想内視鏡画像ＶＧ０がナビゲーション画面５０に表示されることとなる。

【0071】

このように、本実施形態においては、透視画像Ｔ０と３次元画像Ｖ０とを用いて内視鏡７の３次元画像Ｖ０における仮の仮想視点ＶＰｓ０を導出し、仮の仮想視点ＶＰｓ０、第１の実内視鏡画像Ｒ１および３次元画像Ｖ０を用いて、内視鏡７の３次元画像Ｖ０内における第１の時刻ｔ１の仮想視点ＶＰ１を導出し、第２の実内視鏡画像Ｒ２と第１の実内視鏡画像Ｒ１とを用いて、内視鏡７の３次元画像Ｖ０内における第２の時刻ｔ２の仮想視点ＶＰ２を導出するようにした。このため、センサを用いて内視鏡７の先端を検出しなくても、仮想視点ＶＰ２における仮想内視鏡画像ＶＧ２を導出することにより、導出した仮想内視鏡画像ＶＧ２を用いて内視鏡７を被検体Ｈ内の所望とする位置にナビゲーションすることができる。

【0072】

また、第１の時刻ｔ１の仮想視点ＶＰ１における第１の仮想内視鏡画像ＶＧ１が第１の実内視鏡画像Ｒ１と一致するように第１の時刻ｔ１の仮想視点ＶＰ１を調整することにより、実際の内視鏡７の視点に一致した視点の仮想内視鏡画像ＶＧ１さらには仮想内視鏡画像ＶＧ２を導出することができる。

【0073】

また、第１の実内視鏡画像Ｒ１と第２の実内視鏡画像Ｒ２とを用いて視点の変化を導出し、視点の変化と第１の時刻ｔ１の仮想視点ＶＰ１とを用いて第２の時刻ｔ２の仮想視点ＶＰ２を導出することにより、新たな仮想視点ＶＰ２を精度よく導出することができる。したがって、実際の内視鏡７の視点に一致した視点の仮想内視鏡画像ＶＧ２を導出することができる。

【0074】

また、第１の実内視鏡画像Ｒ１と第２の実内視鏡画像Ｒ２とを用いて視点の変化に対する信頼度を表す評価結果があらかじめ定められた条件を満足するか否かを判定し、判定が否定された場合、第１の時刻ｔ２の仮想視点ＶＰ２を調整することにより、精度よく仮想視点ＶＰ２を導出することができ、その結果、実際の内視鏡７の視点に一致した視点の仮想内視鏡画像ＶＧ２を導出することができる。

【0075】

この場合において、調整された仮想視点ＶＰ２に基づく新たな視点の変化の信頼度を表す評価結果があらかじめ定められた条件を満足するか否かをさらに判定し、さらなる判定が否定された場合に、新たな透視画像Ｔ０を取得して、第１導出部２１、第２導出部２２および第３導出部２３の処理をやり直すことにより、時間の経過による内視鏡７の位置と仮想視点ＶＰ２とのずれを補正することができる。したがって、精度よく仮想視点ＶＰ２を導出することができる。

【0076】

なお、上記実施形態においては、本開示の画像処理装置を気管支の観察に適用した場合について説明したが、これに限定されるものではなく、胃、大腸および血管等の管腔構造物を内視鏡により観察する場合にも、本開示を適用できる。

【0077】

また、上記各実施形態において、例えば、画像取得部２０、第１導出部２１、第２導出部２２、第３導出部２３、および表示制御部２４といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

【0078】

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

【0079】

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0080】

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。

【符号の説明】

【0081】

１ コンピュータ
２ ３次元画像撮影装置
３ 透視画像撮影装置
３Ａ アーム
３Ｂ Ｘ線源
３Ｃ Ｘ線検出器
４ 画像保管サーバ
５ ネットワーク
６ 超音波内視鏡装置
７ 内視鏡
１０ 画像処理装置
１１ ＣＰＵ
１２ 画像処理プログラム
１３ ストレージ
１４ ディスプレイ
１５ 入力デバイス
１６ メモリ
２０ 画像取得部
２１ 第１導出部
２２ 第２導出部
２３ 第３導出部
２４ 表示制御部
３０ 内視鏡像
３１ 先端
４１ 第１学習済みモデル
４２ 第２学習済みモデル
５０ ナビゲーション画面
５１ 気管支領域の画像
５２ 経路
５３ 位置
５４ 病変
５５ 超音波画像
Ｒ０，Ｒ１，Ｒ２ 実内視鏡画像
Ｔ０ 透視画像
ＶＧ０，ＶＧ１，ＶＧ２ 仮想内視鏡画像
ＶＰｓ０ 仮の仮想視点
Ｐｔ 目標点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】