特許 7589738 画像処理装置、制御方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-18

(45)【発行日】2024-11-26

(54)【発明の名称】画像処理装置、制御方法及びプログラム

(51)【国際特許分類】

   A61B 1/045 20060101AFI20241119BHJP

【ＦＩ】

A61B1/045 622

A61B1/045 610

A61B1/045 623

【請求項の数】 9

(21)【出願番号】P 2022524803

(86)(22)【出願日】2020-05-21

(86)【国際出願番号】 JP2020020112

(87)【国際公開番号】W WO2021234907

(87)【国際公開日】2021-11-25

【審査請求日】2023-04-05

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100107331

【弁理士】

【氏名又は名称】中村 聡延

(74)【代理人】

【識別番号】100104765

【弁理士】

【氏名又は名称】江上 達夫

(74)【代理人】

【識別番号】100131015

【弁理士】

【氏名又は名称】三輪 浩誉

(72)【発明者】

【氏名】志野 亮作

(72)【発明者】

【氏名】上條 憲一

(72)【発明者】

【氏名】大塚 翔太

(72)【発明者】

【氏名】木村 達

【審査官】山口 剛

(56)【参考文献】

【文献】国際公開第２０１５／０４９９６２（ＷＯ，Ａ１）

【文献】特表２０１０－５１６３０５（ＪＰ，Ａ）

【文献】国際公開第２０１４／１４８１８４（ＷＯ，Ａ１）

【文献】国際公開第２０１５／１９４２４２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００ － １／３２

(57)【特許請求の範囲】

【請求項1】

内視鏡に設けられた撮影部により検査対象を撮影した撮影画像に基づき、前記検査対象を３次元再構成した再構成データを生成する３次元再構成手段と、
前記検査対象の標準的な３次元モデルである標準モデルと前記再構成データとのマッチングを行うマッチング手段と、
前記マッチングの結果に基づき、前記標準モデル上での前記検査対象の撮影済み領域を示す撮影領域明示画像を、表示装置に表示させる出力制御手段と、
を有し、
前記出力制御手段は、前記撮影済み領域において撮影時間が閾値よりも低い部分領域が存在する場合、当該部分領域に関する警告を出力する、画像処理装置。

【請求項2】

内視鏡に設けられた撮影部により検査対象を撮影した撮影画像に基づき、前記検査対象を３次元再構成した再構成データを生成する３次元再構成手段と、
前記検査対象の標準的な３次元モデルである標準モデルと前記再構成データとのマッチングを行うマッチング手段と、
前記マッチングの結果に基づき、前記標準モデル上での前記検査対象の撮影済み領域を示す撮影領域明示画像を、表示装置に表示させる出力制御手段と、
を有し、
前記出力制御手段は、前記撮影済み領域内の表示態様を、前記撮影済み領域内での撮影時間の差異に基づき変化させる、画像処理装置。

【請求項3】

内視鏡に設けられた撮影部により検査対象を撮影した撮影画像に基づき、前記検査対象を３次元再構成した再構成データを生成する３次元再構成手段と、
前記検査対象の標準的な３次元モデルである標準モデルと前記再構成データとのマッチングを行うマッチング手段と、
前記マッチングの結果に基づき、前記標準モデル上での前記検査対象の撮影済み領域を示す撮影領域明示画像を、表示装置に表示させる出力制御手段と、
を有し、
前記出力制御手段は、前記撮影の進捗率を示す情報を、前記表示装置に表示させる、画像処理装置。

【請求項4】

前記出力制御手段は、前記撮影部から取得された最新の前記撮影画像と、前記撮影領域明示画像とを並べて前記表示装置に表示させる、請求項１～３のいずれか一項に記載の画像処理装置。

【請求項5】

前記出力制御手段は、前記撮影時間に基づき前記撮影済み領域の分割を行い、分割された領域を色分けして前記表示装置に表示させる、請求項２に記載の画像処理装置。

【請求項6】

前記出力制御手段は、前記撮影部の移動に関する案内情報を、前記表示装置に表示させる、請求項１～５のいずれか一項に記載の画像処理装置。

【請求項7】

前記出力制御手段は、前記案内情報として、前記撮影が必要な前記検査対象の部位を示す要撮影部位情報を、前記撮影領域明示画像上に表示する、請求項６に記載の画像処理装置。

【請求項8】

コンピュータにより、
内視鏡に設けられた撮影部により検査対象を撮影した撮影画像に基づき、前記検査対象を３次元再構成した再構成データを生成し、
前記検査対象の標準的な３次元モデルである標準モデルと前記再構成データとのマッチングを行い、
前記マッチングの結果に基づき、前記標準モデル上での前記検査対象の撮影済み領域を示す撮影領域明示画像を、表示装置に表示させ、
前記撮影済み領域において撮影時間が閾値よりも低い部分領域が存在する場合、当該部分領域に関する警告を出力する、制御方法。

【請求項9】

内視鏡に設けられた撮影部により検査対象を撮影した撮影画像に基づき、前記検査対象を３次元再構成した再構成データを生成する３次元再構成手段と、
前記検査対象の標準的な３次元モデルである標準モデルと前記再構成データとのマッチングを行うマッチング手段と、
前記マッチングの結果に基づき、前記標準モデル上での前記検査対象の撮影済み領域を示す撮影領域明示画像を、表示装置に表示させる出力制御手段
としてコンピュータを機能させ、
前記出力制御手段は、前記撮影済み領域において撮影時間が閾値よりも低い部分領域が存在する場合、当該部分領域に関する警告を出力する、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、内視鏡検査において取得される画像の処理を行う画像処理装置、制御方法及び記憶媒体の技術分野に関する。

【背景技術】

【0002】

従来から、臓器の管腔内を撮影した画像を表示する内視鏡システムが知られている。例えば、特許文献１には、内視鏡により撮影した画像に基づき、検査対象の３次元モデルデータを生成し、３次元モデル画像として表示する技術が開示されている。また、非特許文献１には、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）を用いて撮影画像から胃の３次元形状を復元する手法が開示されている。さらに、非特許文献２には、３次元形状同士の非剛体の位置合わせ手法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】国際公開ＷＯ２０１７／２０３８１４

【非特許文献】

【0004】

【文献】Aji Resindra Widya et al. “3D Reconstruction of Whole Stomach from Endoscope Video Using Structure-from-Motion”,2019 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society, pp. 3900-3904.

【文献】Dai,H et al. “Non-rigid 3D Shape Registration using an Adaptive Template”, The European Conference on Computer Vision (ECCV) Workshops, 2018.

【発明の概要】

【発明が解決しようとする課題】

【0005】

内視鏡検査では、検査者は、検査対象に対して撮影が行われていない領域に内視鏡の撮影部を移動させる必要があるが、撮影済みの領域と撮影が行われていない領域とを正確に識別することは困難であった。

【0006】

本開示の目的は、上述した課題を鑑み、内視鏡検査において、検査対象の撮影済みの領域を好適に表示することが可能な画像処理装置、制御方法及び記憶媒体を提供することである。

【課題を解決するための手段】

【0007】

画像処理装置の一の態様は、内視鏡に設けられた撮影部により検査対象を撮影した撮影画像に基づき、前記検査対象を３次元再構成した再構成データを生成する３次元再構成手段と、前記検査対象の標準的な３次元モデルである標準モデルと前記再構成データとのマッチングを行うマッチング手段と、前記マッチングの結果に基づき、前記標準モデル上での前記検査対象の撮影済み領域を示す撮影領域明示画像を、表示装置に表示させる出力制御手段と、を有し、前記出力制御手段は、前記撮影済み領域において撮影時間が閾値よりも低い部分領域が存在する場合、当該部分領域に関する警告を出力する。
画像処理装置の他の態様は、内視鏡に設けられた撮影部により検査対象を撮影した撮影画像に基づき、前記検査対象を３次元再構成した再構成データを生成する３次元再構成手段と、前記検査対象の標準的な３次元モデルである標準モデルと前記再構成データとのマッチングを行うマッチング手段と、前記マッチングの結果に基づき、前記標準モデル上での前記検査対象の撮影済み領域を示す撮影領域明示画像を、表示装置に表示させる出力制御手段と、を有し、前記出力制御手段は、前記撮影済み領域内の表示態様を、前記撮影済み領域内での撮影時間の差異に基づき変化させる。
画像処理装置の他の態様は、内視鏡に設けられた撮影部により検査対象を撮影した撮影画像に基づき、前記検査対象を３次元再構成した再構成データを生成する３次元再構成手段と、前記検査対象の標準的な３次元モデルである標準モデルと前記再構成データとのマッチングを行うマッチング手段と、前記マッチングの結果に基づき、前記標準モデル上での前記検査対象の撮影済み領域を示す撮影領域明示画像を、表示装置に表示させる出力制御手段と、を有し、前記出力制御手段は、前記撮影の進捗率を示す情報を、前記表示装置に表示させる。

【0008】

制御方法の一の態様は、コンピュータにより、内視鏡に設けられた撮影部により検査対象を撮影した撮影画像に基づき、前記検査対象を３次元再構成した再構成データを生成し、前記検査対象の標準的な３次元モデルである標準モデルと前記再構成データとのマッチングを行い、前記マッチングの結果に基づき、前記標準モデル上での前記検査対象の撮影済み領域を示す撮影領域明示画像を、表示装置に表示させ、前記撮影済み領域において撮影時間が閾値よりも低い部分領域が存在する場合、当該部分領域に関する警告を出力する、制御方法である。

【0009】

プログラムの一の態様は、内視鏡に設けられた撮影部により検査対象を撮影した撮影画像に基づき、前記検査対象を３次元再構成した再構成データを生成する３次元再構成手段と、前記検査対象の標準的な３次元モデルである標準モデルと前記再構成データとのマッチングを行うマッチング手段と、前記マッチングの結果に基づき、前記標準モデル上での前記検査対象の撮影済み領域を示す撮影領域明示画像を、表示装置に表示させる出力制御手段としてコンピュータを機能させ、前記出力制御手段は、前記撮影済み領域において撮影時間が閾値よりも低い部分領域が存在する場合、当該部分領域に関する警告を出力する、プログラムである。

【発明の効果】

【0010】

本開示によれば、内視鏡検査において、検査対象の撮影済みの領域を好適に表示することができる。

【図面の簡単な説明】

【0011】

【図1】内視鏡検査システムの概略構成を示す。

【図2】画像処理装置のハードウェア構成を示す。

【図3】画像処理装置の機能ブロック図である。

【図4】３次元再構成部及びマッチング部の処理の概要を示す図である。

【図5】第１実施形態において内視鏡検査時に画像処理装置が実行する表示処理の概要を示すフローチャートの一例である。

【図6】標準モデル生成処理の手順を示すフローチャートの一例である。

【図7】マッチング処理の手順を示すフローチャートの一例である。

【図8】再構成データの特徴抽出処理の手順を示すフローチャートの一例である。

【図9】（Ａ）再構成データの一部の拡大図である。（Ｂ）孤立点除去後の再構成データの一部の拡大図である。（Ｃ）ドロネー分割後の再構成データの一部の拡大図である。

【図10】検査者確認画面の第１表示例を示す。

【図11】検査者確認画面の第２表示例を示す。

【図12】検査者確認画面の第３表示例を示す。

【図13】検査者確認画面の第４表示例を示す。

【図14】検査者確認画面の第５表示例を示す。

【図15】検査者確認画面の第６表示例を示す。

【図16】第２実施形態における画像処理装置のブロック図である。

【図17】第２実施形態における画像処理装置の処理手順を示すフローチャートの一例である。

【発明を実施するための形態】

【0012】

以下、図面を参照しながら、画像処理装置、制御方法及び記憶媒体の実施形態について説明する。

【0013】

＜第１実施形態＞
（１）システム構成
図１は、内視鏡検査システム１００の概略構成を示す。図１に示すように、内視鏡検査システム１００は、主に、画像処理装置１と、表示装置２と、画像処理装置１に接続された内視鏡スコープ３と、を備える。以後では、代表例として、検査対象を胃とする内視鏡検査における処理の説明を行う。

【0014】

画像処理装置１は、内視鏡スコープ３が時系列により撮影する画像（「撮影画像Ｉｃ」とも呼ぶ。）を内視鏡スコープ３から取得し、撮影画像Ｉｃに基づく画面（「検査者確認画面」とも呼ぶ。）を表示装置２に表示させる。撮影画像Ｉｃは、検査中において、撮影対象である被検者の胃壁を、所定の時間間隔により撮影した画像である。本実施形態においては、画像処理装置１は、撮影画像Ｉｃから被検者の胃の３次元形状を再構成したデータ（「再構成データＭｒ」とも呼ぶ。）を生成し、予め生成した標準的な胃の３次元モデル（「標準モデルＭｓ」とも呼ぶ。）とのマッチングを行う。そして、画像処理装置１は、マッチング結果に基づき、標準モデルＭｓ上で内視鏡スコープ３での撮影済み領域を明示した画像（「撮影領域明示画像Ｉｍ」とも呼ぶ。）を生成し、当該撮影領域明示画像Ｉｍを表示装置２に表示させる。なお、撮影領域明示画像Ｉｍは、３次元コンピュータグラフィックスにより３次元空間内の仮想的な検査対象及びその撮影済み箇所を２次元平面上の情報に変換した奥行き感（立体感）のある画像となっている。

【0015】

表示装置２は、画像処理装置１から供給される表示信号に基づき所定の表示を行うディスプレイ等である。

【0016】

内視鏡スコープ３は、被検者の大腸に挿入されることで大腸の管腔を撮影する機器である。内視鏡スコープ３は、主に、画像処理装置１と接続するための接続部３５と、検査者が所定の入力を行うための操作部３６と、管腔内に挿入され、柔軟性を有するシャフト３７と、超小型撮像素子などの撮影部を内蔵した先端部３８とを有する。

【0017】

（２）ハードウェア構成
図２は、画像処理装置１のハードウェア構成を示す。画像処理装置１は、主に、プロセッサ１１と、メモリ１２と、インターフェース１３と、入力部１４と、光源部１５と、音出力部１６と、を含む。これらの各要素は、データバス１９を介して接続されている。

【0018】

プロセッサ１１は、メモリ１２に記憶されているプログラム等を実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、量子プロセッサなどのプロセッサである。

【0019】

メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの、主に作業メモリとして使用される各種の揮発性メモリ及び画像処理装置１の処理に必要な情報を記憶する不揮発性メモリにより構成される。なお、メモリ１２は、画像処理装置１に接続又は内蔵されたハードディスクなどの外部記憶装置を含んでもよく、着脱自在なフラッシュメモリなどの記憶媒体を含んでもよい。メモリ１２には、画像処理装置１が本実施形態における各処理を実行するためのプログラムが記憶される。また、メモリ１２は、撮影画像記憶部２１と、標準モデル記憶部２２とを含んでいる。

【0020】

撮影画像記憶部２１は、プロセッサ１１の制御に基づき、内視鏡検査において内視鏡スコープ３が撮影した一連の撮影画像Ｉｃを記憶する。これらの撮影画像Ｉｃは、再構成データＭｒの生成に用いられる画像であり、例えば、被検者の識別情報（例えば患者ＩＤ）、及び、タイムスタンプの情報等と関連付けられて撮影画像記憶部２１に記憶される。標準モデル記憶部２２は、複数の被検者を対象としたＣＴ画像などを用いて予め生成された標準モデルＭｓを記憶する。標準モデル情報の生成については図５を参照して後述する。なお、撮影画像記憶部２１及び標準モデル記憶部２２の少なくともいずれかは、メモリ１２に代えて、画像処理装置１と有線又は無線によりデータ通信が可能な外部装置に設けられてもよい。なお、外部装置は、画像処理装置１と通信網を介してデータ通信が可能な１又は複数のサーバ装置であってもよい。

【0021】

インターフェース１３は、画像処理装置１と外部装置とのインターフェース動作を行う。例えば、インターフェース１３は、プロセッサ１１が生成した表示情報「Ｉｄ」を表示装置２に供給する。また、インターフェース１３は、光源部１５が生成する光等を内視鏡スコープ３に供給する。また、インターフェース１３は、内視鏡スコープ３から供給される撮影画像Ｉｃを示す電気信号をプロセッサ１１に供給する。インターフェース１３は、外部装置と有線又は無線により通信を行うためのネットワークアダプタなどの通信インターフェースであってもよく、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＳＡＴＡ（Ｓｅｒｉａｌ ＡＴ Ａｔｔａｃｈｍｅｎｔ）などに準拠したハードウェアインターフェースであってもよい。

【0022】

入力部１４は、検査者による操作に基づく入力信号を生成する。入力部１４は、例えば、ボタン、タッチパネル、リモートコントローラ、音声入力装置等である。光源部１５は、内視鏡スコープ３の先端部３８に供給するための光を生成する。また、光源部１５は、内視鏡スコープ３に供給する水や空気を送り出すためのポンプ等も内蔵してもよい。音出力部１６は、プロセッサ１１の制御に基づき音を出力する。

【0023】

（３）機能ブロック
図３は、画像処理装置１の機能ブロック図である。図３に示すように、画像処理装置１のプロセッサ１１は、機能的には、撮影画像取得部３０と、３次元再構成部３１と、マッチング部３２と、出力制御部３３とを有する。

【0024】

撮影画像取得部３０は、インターフェース１３を介して内視鏡スコープ３が撮影した撮影画像Ｉｃを所定間隔により取得する。そして、撮影画像取得部３０は、取得した撮影画像Ｉｃを、３次元再構成部３１に供給する。また、撮影画像取得部３０は、取得した撮影画像Ｉｃを、タイムスタンプや患者ＩＤなどと関連付けて撮影画像記憶部２１に記憶する。

【0025】

３次元再構成部３１は、撮影画像取得部３０が内視鏡検査時に取得した複数の撮影画像Ｉｃに基づいて、撮影された胃の３次元形状を示す再構成データＭｒを生成する。再構成データＭｒは、例えば、３次元位置情報を有する点群データを含む。

【0026】

この場合、例えば、再構成データＭｒの生成に必要な枚数の撮影画像Ｉｃを取得後、３次元再構成部３１は、複数枚の画像から被写体の３次元形状、及び撮影部の相対位置を復元する手法を用いて、再構成データＭｒを構成する。このような手法として、例えば、Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳｆＭ）などの手法が存在する。その後、３次元再構成部３１は、例えば、所定枚数の撮影画像Ｉｃを取得する度に、生成した再構成データＭｒを更新する。上記の所定枚数は、１枚以上であればよく、例えば画像処理装置１の処理能力等を勘案した値に予め定められている。そして、３次元再構成部３１は、生成（更新も含む）した再構成データＭｒを、マッチング部３２に供給する。再構成データＭｒの生成方法については後述する。

【0027】

マッチング部３２は、３次元再構成部３１から供給される再構成データＭｒと、標準モデル記憶部２２に記憶された標準モデルＭｓとのマッチングを行い、マッチングの結果であるマッチング結果「Ｒｍ」を、出力制御部３３に供給する。この場合、マッチング部３２は、非剛体位置合わせを行い、非剛体位置合わせがなされた再構成データＭｒ及び再構成データＭｒを共通の３次元座標系で表したデータを、マッチング結果Ｒｍとして生成する。

【0028】

出力制御部３３は、マッチング部３２が生成したマッチング結果Ｒｍに基づき、３次元座標上で位置合わせが行われた再構成データＭｒと標準モデルＭｓとを、所定の２次元座標系に投影した撮影領域明示画像Ｉｍを生成する。そして、出力制御部３３は、撮影領域明示画像Ｉｍと、撮影画像取得部３０が取得した最新の撮影画像Ｉｃとを並べた検査者確認画面を表示するための表示情報Ｉｄを生成し、生成した表示情報Ｉｄを表示装置２に供給する。また、出力制御部３３は、検査者による内視鏡スコープ３の撮影に関する案内又は警告をするための情報を出力する。この情報の出力は、検査者確認画面上に行ってもよく、音出力部１６により行ってもよい。出力制御部３３の具体的な処理については後述する。

【0029】

図４は、３次元再構成部３１及びマッチング部３２の処理の概要を示す図である。図４に示すように、３次元再構成部３１は、内視鏡検査時において現在までに取得された複数の撮影画像Ｉｃに基づき、撮影済み領域の３次元形状に相当する再構成データＭｒを生成する。そして、マッチング部３２は、標準モデル記憶部２２を参照することで構成した標準モデルＭｓと、再構成データＭｒとのマッチング（非剛体位置合わせ）を行う。これにより、マッチング部３２は、胃の全体を表す標準モデルＭｓと撮影済み領域に相当する再構成データＭｒとを３次元空間において対応付けたマッチング結果Ｒｍを生成する。このようなマッチング結果Ｒｍに基づき、出力制御部３３は、撮影領域明示画像Ｉｍを好適に生成することができる。

【0030】

なお、図３及び図４において説明した撮影画像取得部３０、３次元再構成部３１、マッチング部３２及び出力制御部３３の各構成要素は、例えば、プロセッサ１１がプログラムを実行することによって実現できる。より具体的には、各構成要素は、メモリ１２に格納されたプログラムを、プロセッサ１１が実行することによって実現され得る。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、これらの各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。このように、各構成要素は、プロセッサ以外のハードウェアを含む任意のコンピュータ（コントローラ）により実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。

【0031】

（４）処理フロー
次に、第１実施形態における処理フローについて説明する。

【0032】

（４－１）概要
図５は、第１実施形態において内視鏡検査時に画像処理装置１が実行する表示処理の概要を示すフローチャートの一例である。

【0033】

まず、画像処理装置１は、撮影画像Ｉｃを取得する（ステップＳ１１）。この場合、画像処理装置１の撮影画像取得部３０は、インターフェース１３を介して内視鏡スコープ３から撮影画像Ｉｃを受信する。

【0034】

次に、画像処理装置１は、ステップＳ１１で取得した複数の撮影画像Ｉｃから、検査対象を３次元再構成した再構成データＭｒを生成する（ステップＳ１２）。この場合、画像処理装置１の３次元再構成部３１は、検査開始から現処理時点までに取得した撮影画像Ｉｃに基づき、ＳｆＭなどの手法を用いて、撮影済み領域に相当する再構成データＭｒを生成する。

【0035】

次に、画像処理装置１は、標準モデルＭｓと再構成データＭｒとのマッチングを行う（ステップＳ１３）。この場合、画像処理装置１のマッチング部３２は、標準モデル記憶部２２から取得した標準モデルＭｓと、３次元再構成部３１が生成した再構成データＭｒとの非剛体位置合わせを行うことで、マッチング結果Ｒｍを生成する。ステップＳ１３の処理については、図７を参照して詳しく説明する。

【0036】

そして、画像処理装置１は、撮影領域明示画像Ｉｍを表示装置２に表示する（ステップＳ１４）。この場合、画像処理装置１の出力制御部３３は、後述するように、撮影領域明示画像Ｉｍを最新の撮影画像Ｉｃと並べた検査者確認画面を表示するための表示情報Ｉｄを生成し、表示情報Ｉｄを表示装置２に供給する。また、出力制御部３３は、検査対象となる胃における撮影済み領域内において撮影時間が短い領域の存在を検査者に知らせるための所定の出力を行ったり、内視鏡スコープ３を移動させるべき方向又は撮影すべき箇所等を示す情報を検査者確認画面上に表示したりする。

【0037】

次に、画像処理装置１は、内視鏡検査が終了したか否か判定する（ステップＳ１５）。例えば、画像処理装置１は、入力部１４又は操作部３６への所定の入力等を検知した場合に、内視鏡検査が終了したと判定する。そして、画像処理装置１は、内視鏡検査が終了したと判定した場合（ステップＳ１５；Ｙｅｓ）、フローチャートの処理を終了する。一方、画像処理装置１は、内視鏡検査が終了していないと判定した場合（ステップＳ１５；Ｎｏ）、ステップＳ１１へ処理を戻す。そして、画像処理装置１は、ステップＳ１１において、内視鏡スコープ３が新たに生成する撮影画像Ｉｃを取得し、当該撮影画像Ｉｃを処理対象に含めて、ステップＳ１２～ステップＳ１５の処理を再実行する。

【0038】

（４－２）標準モデル生成処理
図６は、標準モデル記憶部２２に記憶する標準モデルＭｓの生成処理の一例を示すフローチャートである。以後では、説明の便宜上、画像処理装置１を処理主体として説明するが、画像処理装置１以外の任意の装置が処理主体であってもよい。その場合、任意の装置で標準モデルＭｓが生成された後、生成された標準モデルＭｓがデータ通信又は着脱自在な記憶媒体等を介してメモリ１２に記憶される。

【0039】

まず、画像処理装置１は、腹部を撮影した３Ｄ－ＣＴ画像を取得する（ステップＳ２１）。そして、画像処理装置１は、ユーザ入力に基づき、３Ｄ－ＣＴ画像から胃の領域を抽出する（ステップＳ２２）。この場合、画像処理装置１は、表示装置２に３Ｄ－ＣＴ画像を表示し、胃の領域を指定するユーザ入力を入力部１４により受け付ける。そして、画像処理装置１は、ステップＳ２１及びステップＳ２２の処理を、複数の被検者の３Ｄ－ＣＴ画像に対して実行し、複数の被検者の胃領域を抽出する。

【0040】

次に、画像処理装置１は、複数の被検者の３Ｄ－ＣＴ画像から抽出した胃領域を表す胃ボリュームデータを平均し、３次元の標準胃ボリュームモデルを生成する（ステップＳ２３）。胃ボリュームデータは、例えば、胃の領域を０及び１の２値により表した３次元ボクセルデータである。ステップＳ２３では、画像処理装置１は、ユーザ入力に基づき各被検者の胃ボリュームデータの位置合わせを行った後、位置合わせ後の胃ボリュームデータの相加平均により３次元の標準胃ボリュームモデルを生成する。

【0041】

次に、画像処理装置１は、ステップＳ２３で生成した３次元の標準胃ボリュームモデルから、サーフェスモデルである３次元の標準モデルＭｓを作成する（ステップＳ２４）。この場合、画像処理装置１は、ボクセルデータをポリゴンデータに変換する任意のアルゴリズムを用いて、標準胃ボリュームモデルを標準モデルＭｓに変換する。上記アルゴリズムは、例えば、マーチングキューブ法、マーチングテトラヘドラ法などが存在する。ステップＳ２４の後、生成された標準モデルＭｓは、画像処理装置１が参照可能なメモリ１２に記憶される。

【0042】

（４－３）マッチング処理
図７は、ステップＳ１３で実行する標準モデルＭｓと再構成データＭｒとのマッチング処理の手順を示すフローチャートの一例である。

【0043】

まず、マッチング部３２は、標準モデルＭｓ及び再構成データＭｒから、それぞれ、ランドマークとなる特徴点の抽出を行う（ステップＳ３１）。再構成データＭｒの特徴点抽出処理については、図８及び図９を参照して後述する。なお、標準モデルＭｓには、抽出すべき特徴点に対して所定の識別ラベル等が予め付されていてもよい。

【0044】

そして、マッチング部３２は、標準モデルＭｓ及び再構成データＭｒから夫々抽出した特徴点同士の対応を取り、標準モデルＭｓと再構成データＭｒとの剛体マッチングを行う（ステップＳ３２）。この場合、マッチング部３２は、対応する特徴点同士の距離が最小となるように、標準モデルＭｓ又は再構成データＭｒの少なくとも一方を並進移動（回転を含む）させる。

【0045】

次に、マッチング部３２は、再構成データＭｒを基準として標準モデルＭｓのモーフィングを行う（ステップＳ３３）。この場合、マッチング部３２は、ＩＣＰＤ（Ｉｔｅｒａｔｉｖｅ Ｃｏｈｅｒｅｎｔ Ｐｏｉｎｔ Ｄｒｉｆｔ）などの点群同士のマッチング手法を用いることで、標準モデルＭｓと再構成データＭｒとのマッチングを行い、標準モデルＭｓにおいて特徴点（ランドマーク）とみなされた点以外の点を移動させる。

【0046】

さらに、マッチング部３２は、標準モデルＭｓの点の補間を行う（ステップＳ３４）。この場合、例えば、マッチング部３２は、ラプラス・ベルトラミ作用素（Laplace-Beltrami operator）を用いた頂点の投影（プロジェクション）を行うことで、モーフィング後の標準モデルＭｓの点を補間する。

【0047】

図８は、図７のステップＳ３１で実行される再構成データＭｒの特徴抽出処理の手順を示すフローチャートの一例である。

【0048】

まず、マッチング部３２は、３次元再構成部３１が生成した３次元形状を示す再構成データＭｒの３次元での平滑化を行う（ステップＳ４１）。この３次元での平滑化については後述する。

【0049】

次に、マッチング部３２は、平滑化した再構成データＭｒを構成する点群とその連結グラフに基づき、点群において特徴的な点となる特徴点の抽出を行う（ステップＳ４２）。この場合、マッチング部３２は、例えば、点群の主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）やＤｏＣｏＧ（Ｄｉｆｆｅｒｅｎｃｅ ｏｆ Ｃｅｎｔｅｒ ｏｆ Ｇｒａｖｉｔｙ）などの種々の点群特徴抽出手法を用いることで、上述の特徴点の抽出を行う。

【0050】

次に、ステップＳ４１の３次元平滑化について図９（Ａ）～（Ｃ）を参照して説明する。

【0051】

図９（Ａ）は、３次元再構成部３１が生成した再構成データＭｒの一部の拡大図である。図９（Ａ）に示すように、３次元再構成部３１が生成する再構成データＭｒには、接続する他の頂点から離れた頂点「Ｐ１」が孤立して存在している。図９（Ｂ）は、頂点Ｐ１を孤立点とみなして除去した後の再構成データＭｒの一部の状態を示す。

【0052】

この場合、マッチング部３２は、まず、再構成データＭｒを構成する頂点に対し、接続されている２頂点間の距離の平均値「Ｌｍ」を算出する。この場合、マッチング部３２は、全ての頂点に対して全ての接続する頂点との距離の平均値を平均値Ｌｍとして算出する代わりに、一部の頂点に対し、当該頂点と接続する全部又は所定個数の頂点との距離の平均値を、平均値Ｌｍとして算出してもよい。

【0053】

次に、マッチング部３２は、再構成データＭｒを構成する各頂点について、算出した平均値Ｌｍに対して「α」倍の距離（αＬ）以内に接続された他の頂点の数（「近傍他頂点数」とも呼ぶ。）を算出する。そして、マッチング部３２は、近傍他頂点数が閾値個数未満しか存在しない頂点を孤立点とみなし、当該孤立点を除去する。上述の係数α及び閾値個数は、例えば、メモリ１２等に予め記憶された適合値である。図９（Ａ）の例では、頂点Ｐ１が接続する他の頂点Ｐ２～Ｐ５との距離がいずれも距離αＬよりも長くなっており、近傍他頂点数が閾値未満となることから、マッチング部３２は、頂点Ｐ１を孤立点とみなす。そして、マッチング部３２は、図９（Ｂ）に示すように、孤立点とみなした頂点Ｐ１を除去する。

【0054】

その後、マッチング部３２は、除去した頂点に接続されていた頂点同士をドロネー分割する。図９（Ｃ）は、ドロネー分割後の再構成データＭｒの一部の状態を示す。図９（Ｃ）では、マッチング部３２は、除去した頂点Ｐ１に接続されていた頂点Ｐ２～Ｐ５同士をドロネー分割し、頂点Ｐ２と頂点Ｐ５とを新たに接続させている。これにより、マッチング部３２は、孤立点を除去し、３次元形状となる再構成データＭｒを好適に平滑化することができる。

【0055】

（５）検査者確認画面
次に、出力制御部３３が表示装置２に表示させる検査者確認画面について詳しく説明する。出力制御部３３は、撮影領域明示画像Ｉｍと最新の撮影画像Ｉｃとを並べた検査者確認画面を表示するための表示情報Ｉｄを生成し、当該表示情報Ｉｄを表示装置２に供給することで、上記の検査者確認画面を表示装置２に表示させる。また、出力制御部３３は、撮影済み領域内において撮影時間が短い領域の存在を検査者に通知したり、内視鏡スコープ３を移動させる方向又は撮影すべき箇所を案内したりする制御を行う。

【0056】

図１０は、検査者確認画面の第１表示例を示す。第１表示例では、出力制御部３３は、撮影領域明示画像Ｉｍ内の撮影済み領域内の表示態様を、撮影済み領域内での撮影時間の差異に基づき変化させる。また、出力制御部３３は、撮影時間が閾値よりも低い撮影済み領域に対する警告を出力する。

【0057】

図１０では、出力制御部３３は、検査者確認画面上に、内視鏡スコープ３が撮影した最新の撮影画像Ｉｃと、検査中に内視鏡スコープ３に撮影された撮影済み領域を明示した撮影領域明示画像Ｉｍと、検査者への通知内容を表示する通知ウィンドウ４４とを表示している。

【0058】

ここで、出力制御部３３は、撮影領域明示画像Ｉｍ上において、マッチング後の標準モデルＭｓを２次元座標に投影した投影標準モデル４０を表示する。そして、出力制御部３３は、マッチング後の再構成データＭｒを標準モデルＭｓと同じ２次元座標に投影した領域を示す撮影済み投影領域４１を、投影標準モデル４０に重ねて表示している。ここでは、撮影済み投影領域４１は、重ねられた投影標準モデル４０が視認できるように所定の透過率を有している。さらに、出力制御部３３は、撮影領域明示画像Ｉｍ上に、内視鏡スコープ３の一部を模式的に表した内視鏡アイコン４２と、内視鏡スコープ３の撮影範囲を模式的に表した撮影領域アイコン４３とを、投影標準モデル４０に重ねて表示している。この場合、出力制御部３３は、再構成データＭｒの生成時に実行するＳｆＭの実行結果として得られる内視鏡スコープ３の撮影部の相対位置及び姿勢に基づき、標準モデルＭｓ内での内視鏡スコープ３の位置及び撮影領域を推定する。そして、出力制御部３３は、その推定結果に基づき内視鏡アイコン４２と撮影領域アイコン４３とを表示する。

【0059】

なお、出力制御部３３は、ユーザによる撮影領域明示画像Ｉｍ上でのタッチ操作等に基づき、再構成データＭｒ及び標準モデルＭｓを投影する視点位置を移動する入力を受け付けてもよい。この場合、出力制御部３３は、入力により指定された視点位置により再構成データＭｒ及び標準モデルＭｓ等を二次元座標に投影することで撮影領域明示画像Ｉｍを再生成し、当該撮影領域明示画像Ｉｍを表示装置２に再表示させる。これにより、出力制御部３３は、あらゆる視点から検査対象の胃を観察した場合の撮影済み領域を検査者に確認させることができる。

【0060】

さらに、出力制御部３３は、撮影時間に基づき撮影済み投影領域４１の分割を行い、分割された領域を色分け表示する。図１０の例では、出力制御部３３は、撮影時間が第１閾値未満かつ第２閾値以上となる第１領域５０Ａと、撮影時間が第２閾値未満となる第２領域５０Ｂと、それ以外の領域とに撮影済み投影領域４１を分割し、これらの分割領域を色分け（濃淡又は透過率の違いを含む）して表示している。

【0061】

ここで、第１閾値、第２閾値は、撮影時間が十分であるか否かを判定するための２段階閾値であり、第１閾値は第２閾値より大きい値に設定されている。この場合、出力制御部３３は、例えば、再構成データＭｒの面（頂点又は特徴点等であってもよい）ごとに、再構成データＭｒの生成に用いた撮影画像Ｉｃのうち撮影された撮影画像Ｉｃの数をカウントし、カウントした撮影画像Ｉｃの数に応じて再構成データＭｒの面ごとの撮影時間を推定する。その後、出力制御部３３は、上述の第１閾値及び第２閾値に基づき撮影済み投影領域４１を分割する。

【0062】

そして、出力制御部３３は、撮影時間が第１閾値未満かつ第２閾値以上となる第１領域５０Ａについては、撮影時間がやや足りていない領域であると判定し、比較的薄く又は目立たない色により塗りつぶしている。一方、出力制御部３３は、撮影時間が第２閾値未満となる第２領域５０Ｂについては、撮影時間が大幅に足りていない領域であると判定し、比較的濃く又は目立つ色により塗りつぶしている。また、出力制御部３３は、第１領域５０Ａ及び第２領域５０Ｂ以外の撮影済み投影領域４１については、第１領域５０Ａ及び第２領域５０Ｂよりも目立たない色（又は高い透過率）により表示する。

【0063】

さらに、出力制御部３３は、撮影時間が不足する第１領域５０Ａ及び第２領域５０Ｂの存在を検査者に通知するため、通知ウィンドウ４４において、「観察時間が不十分な領域があります。塗りつぶし領域を撮影してください」とのテキスト情報を表示する。これにより、出力制御部３３は、撮影済み領域のうち撮影時間が不足している領域の存在を好適に検査者に認識させ、当該領域の再撮影を好適に検査者に促すことができる。

【0064】

なお、出力制御部３３は、第１表示例において、通知ウィンドウ４４において、観察時間が不十分な領域の存在を通知する代わりに、又は、これに加えて、観察時間が不十分な領域の存在を音声又は警告音により通知してもよい。この場合、出力制御部３３は、音出力部１６に所定の音声又は警告音を出力させるための音声出力情報を供給する。

【0065】

また、撮影領域明示画像Ｉｍの撮影済み投影領域４１内の表示態様を、撮影済み投影領域４１内での撮影時間の差異に基づき変化させる態様は、図１０に示す態様に限られない。例えば、出力制御部３３は、撮影時間に応じて撮影済み投影領域４１内の濃淡又は色を、ヒートマップのように連続的に変化させてもよい。他の例では、出力制御部３３は、第１閾値及び第２閾値を用いる代わりに、１つまたは３つ以上の閾値を用い、用いた閾値との関係によって撮影済み投影領域４１内の領域の表示態様を段階的に異ならせてもよい。

【0066】

図１１は、検査者確認画面の第２表示例を示す。第２表示例では、出力制御部３３は、内視鏡スコープ３の移動に関する案内情報として、内視鏡検査において撮影が必要な部位（「撮影必要部位」とも呼ぶ。）に関する情報を撮影領域明示画像Ｉｍ上で明示する。

【0067】

図１１では、出力制御部３３は、検査者確認画面上に、撮影画像Ｉｃと、撮影領域明示画像Ｉｍと、通知ウィンドウ４４と、進捗率ゲージ４５とを表示している。出力制御部３３は、図１０に示す第１表示例と同様、撮影領域明示画像Ｉｍにおいて、投影標準モデル４０と、撮影済み投影領域４１と、内視鏡アイコン４２と、撮影領域アイコン４３とを表示している。

【0068】

第２表示例では、出力制御部３３は、撮影領域明示画像Ｉｍにおいて、撮影必要部位の位置を示すマーク５１Ａ～５１Ｅを、投影標準モデル４０上において明示している。ここでは、出力制御部３３は、一例として、マーク５１Ａ～５１Ｅのサイズを、夫々が対応する撮影必要部位の大きさに応じて定めている。なお、標準モデルＭｓを対象とした撮影必要部位の位置及び大きさに関する情報は、例えば予めメモリ１２等に記憶されている。なお、検査対象が胃の場合、撮影必要部位は、例えば、（Ａ）胃体上部の後壁／前壁／小彎、（Ｂ）胃体中部の後壁／大彎／前壁／小彎、（Ｃ）胃体下部の後壁／大彎／前壁／小彎、（Ｄ）角小彎／大彎、（Ｅ）穹窿部、（Ｆ）前庭部、（Ｇ）角裏 小彎／後壁／前壁、（Ｈ）噴門部小彎、（Ｉ）幽門部などが該当する。

【0069】

また、出力制御部３３は、通知ウィンドウ４４において、マーク５１Ａ～５１Ｅが示す撮影必要部位の撮影を行うべき旨のテキスト情報、及び、推奨される撮影順を提示している。なお、撮影必要部位の推奨撮影順に関する情報は、例えば、メモリ１２等に予め記憶されている。

【0070】

さらに、出力制御部３３は、設定されている全ての撮影必要部位のうち、内視鏡スコープ３による撮影済みの撮影必要部位の割合（パーセンテージ）を示す進捗率を、進捗率ゲージ４５により明示している。図１１の例では、出力制御部３３は、撮影必要部位が５個存在し、そのうちの４割に相当する２個の撮影必要部位の位置が再構成データＭｒと重なることから、進捗率が４０％であることを示す進捗率ゲージ４５を表示している。

【0071】

このように、第２表示例では、出力制御部３３は、撮影必要部位を撮影領域明示画像Ｉｍ上で明示する。これにより、検査者は、撮影必要部位を網羅的に把握し、かつ、現在の撮影位置及び撮影済み領域との比較を好適に行うことができる。また、出力制御部３３は、撮影必要部位の推奨撮影順を提示することで、検査者による検査を円滑に実行させることができる。また、出力制御部３３は、進捗率ゲージ４５を表示することで、撮影必要部位に基づく進捗度を検査者に容易に把握させることができる。なお、出力制御部３３は、進捗率を、撮影済みの撮影必要部位の割合に基づき定める代わりに、撮影済みの胃壁の割合（即ち標準モデルＭｓと再構成データＭｒとの重複の度合）に基づき決定してもよい。

【0072】

図１２は、検査者確認画面の第３表示例を示す。第３表示例では、出力制御部３３は、内視鏡スコープ３の移動に関する案内情報として、検査対象内での推奨される内視鏡スコープ３の撮影部の推奨経路を示す経路情報を撮影領域明示画像Ｉｍ上において明示する。

【0073】

図１２では、出力制御部３３は、第１表示例等と同様、撮影領域明示画像Ｉｍにおいて、投影標準モデル４０と、撮影済み投影領域４１と、内視鏡アイコン４２と、撮影領域アイコン４３とを表示している。

【0074】

また、第３表示例では、内視鏡スコープ３（詳しくは撮影部）が通るべき手本となる推奨経路を示す経路線５３を投影標準モデル４０上に表示する。この場合、例えば、エキスパート医師の検査履歴を集計することで作成された標準モデルＭｓを基準とする３次元の撮影部の推奨経路を示す経路情報が、メモリ１２に予め記憶されている。そして、出力制御部３３は、この経路情報が示す３次元の推奨経路を標準モデルＭｓと同様の２次元座標に投影することで、撮影領域明示画像Ｉｍ上に表示すべき経路線５３を生成する。

【0075】

また、出力制御部３３は、ＳｆＭ等により推定された撮影部の位置が推奨経路から所定距離以上離れたと判定した場合、所定の警告を出力する。図１２の例では、出力制御部３３は、推定された現在の撮影部の位置及び向きと、推奨経路とを比較し、３ｃｍだけ撮影部の位置を戻す必要があると判定し、通知ウィンドウ４４において、「３ｃｍ戻してください。」とのテキスト情報を表示することで警告を行う。なお、出力制御部３３は、検査者確認画面上において上記の警告を行う代わりに、音声又は警告音を音出力部１６に出力させてもよい。

【0076】

このように、第３表示例では、出力制御部３３は、撮影領域明示画像Ｉｍ上での推奨経路の提示及び推奨経路から外れた場合の警告により、内視鏡スコープ３の移動を好適に支援するように案内（ナビゲーション）を行うことができる。

【0077】

図１３は、検査者確認画面の第４表示例を示す。第４表示例では、出力制御部３３は、内視鏡スコープ３による撮影に関する案内情報として、未撮影領域への方向を案内する情報を出力する。図１３では、出力制御部３３は、第１表示例等と同様、撮影領域明示画像Ｉｍにおいて、投影標準モデル４０と、撮影済み投影領域４１と、内視鏡アイコン４２と、撮影領域アイコン４３とを表示している。

【0078】

第４表示例では、出力制御部３３は、標準モデルＭｓと再構成データＭｒが重なっていない未撮影領域を特定する。そして、出力制御部３３は、ＳｆＭ等により推定された現在の撮影位置に対する、未撮影領域（例えば、最も近い未撮影領域の位置又は未撮影領域の中心位置）の方向を、撮影領域明示画像Ｉｍ上において明示する。

【0079】

図１３の例では、出力制御部３３は、胃体中部及び胃体下部が未撮影領域であることから、撮影位置からの胃体中部及び胃体下部の方向を示す矢印５４を、撮影位置に相当する内視鏡アイコン４２の先端位置付近において表示する。さらに、出力制御部３３は、撮影画像Ｉｃにおいても同様に、未撮影領域である胃体中部及び胃体下部の方向を示す矢印５５を重ねて表示する。そして、出力制御部３３は、通知ウィンドウ４４において、矢印（ここでは矢印５４及び矢印５５）の方向に撮影部を移動させるべき旨のテキスト情報を表示する。

【0080】

第４表示例によれば、出力制御部３３は、未撮影領域へ撮影部が移動するように好適に案内を行い、内視鏡検査を円滑に実行させることができる。

【0081】

図１４は、検査者確認画面の第５表示例を示す。第５表示例では、出力制御部３３は、内視鏡スコープ３による撮影に関する案内情報として、検査対象において目印となる部位（目印部位）を示す目印情報を、撮影領域明示画像Ｉｍ上において表示する。図１４では、出力制御部３３は、第１表示例等と同様、撮影領域明示画像Ｉｍにおいて、投影標準モデル４０と、撮影済み投影領域４１とを表示している。

【0082】

第５表示例では、出力制御部３３は、主要なリンパ管、血管、神経などの目印部位を示す目印線５６を、投影標準モデル４０上に重ねて表示する。この場合、例えば、標準モデルＭｓに対する目印部位の相対的な３次元位置情報等が予めメモリ１２に記憶されており、出力制御部３３は、目印部位の３次元情報を標準モデルＭｓ等と同様の２次元座標に投影することで、目印線５６を投影標準モデル４０での目印部位と重なる位置に表示する。また、出力制御部３３は、被検者の過去の検査履歴をメモリ１２等から参照し、過去の検査において検出された病変部位の位置を目印部位の位置として示す目印領域５７を、撮影領域明示画像Ｉｍ上に表示する。この場合、例えば、過去の検査履歴には、検出された病変部位の標準モデルＭｓ上での位置及び大きさ（又は該当範囲）を示す情報が含まれている。そして、出力制御部３３は、通知ウィンドウ４４において、過去に検出された病変部位が存在する旨のテキスト情報及び当該病変部位を示す目印領域５７を明示する。

【0083】

第５表示例によれば、出力制御部３３は、検査対象の検査において目印となる部位を好適に撮影領域明示画像Ｉｍ上で明示し、検査者による内視鏡スコープ３での撮影を円滑に実行させることができる。

【0084】

図１５は、検査者確認画面の第６表示例を示す。第６表示例では、出力制御部３３は、内視鏡検査の終了後、撮影領域明示画像Ｉｍ上における撮影済み領域を示す撮影済み投影領域４１の任意の位置がユーザ入力により指定された場合に、指定された位置に対応する撮影画像Ｉｃを表示する。

【0085】

図１５では、出力制御部３３は、第１表示例等と同様、撮影領域明示画像Ｉｍにおいて、投影標準モデル４０と、撮影済み投影領域４１とを表示している。そして、出力制御部３３は、マウスなどの入力部１４により撮影済み投影領域４１上の任意の位置を指定する入力を受け付ける。図１５では、出力制御部３３は、一例として、カーソルを表示し、カーソルにより撮影済み投影領域４１上の任意の位置を指定する入力を受け付けている。

【0086】

そして、出力制御部３３は、撮影済み投影領域４１上の任意の位置が指定された場合、指定された位置に対応する撮影画像Ｉｃを、撮影画像記憶部２１から抽出し、抽出した撮影画像Ｉｃを、指定された位置と対応付けて表示する。図１５では、出力制御部３３は、指定された位置を指し示す吹き出し５８を表示し、吹き出し内において撮影画像Ｉｃを表示している。なお、例えば、画像処理装置１は、内視鏡検査時において、再構成データＭｒの生成時に推定される各撮影画像Ｉｃの撮影位置等の情報を、撮影画像Ｉｃと関連付けて撮影画像記憶部２１に記憶しておく。そして、出力制御部３３は、図１５の表示を行う場合に、ユーザにより指定された標準モデルＭｓ上での位置に基づき、撮影画像記憶部２１から該当する撮影画像Ｉｃを検索することで、吹き出し５８に表示すべき撮影画像Ｉｃを取得する。なお、出力制御部３３は、ユーザにより指定された位置を撮影部の撮影位置とする撮影画像Ｉｃを吹き出し５８に表示する撮影画像Ｉｃとして取得する代わりに、ユーザにより指定された位置を被写体として含む撮影画像Ｉｃを取得してもよい。

【0087】

このように、第６表示例では、画像処理装置１は、検査終了後において撮影領域明示画像Ｉｍに明示された撮影済み領域の任意の位置を指定する入力を受け付け、その位置の詳細な状況を示す撮影画像Ｉｃを好適に検査者に提示することができる。

【0088】

（６）変形例
次に、第１実施形態において好適な変形例について説明する。以下の変形例は、組み合わせて上述の実施形態に適用してもよい。

【0089】

（変形例１）
画像処理装置１は、内視鏡検査において要した検査時間を、検査の履歴情報（即ちログ情報）として記録してもよい。

【0090】

この場合、例えば、画像処理装置１は、図５のフローチャートのステップＳ１１での撮影画像Ｉｃの取得を開始してからステップＳ１５において内視鏡検査が終了したと判定するまでの時間長を、上述の検査時間として計測する。そして、画像処理装置１の出力制御部３３は、ステップＳ１５において内視鏡検査が終了したと判定した場合、計測した検査時間を、被検者の識別情報（例えば患者ＩＤ）や日付などの情報と関連付けてメモリ１２に記憶する。これにより、画像処理装置１は、内視鏡検査の検査に要した時間を、ログ情報としてメモリ１２（記憶装置）に好適に記憶することができる。

【0091】

（変形例２）
画像処理装置１は、内視鏡検査後に、終了した内視鏡検査に関する実施状況又は実績を示すレポート情報を生成してもよい。

【0092】

この場合、例えば、内視鏡検査終了の判定後、画像処理装置１の出力制御部１８は、内視鏡検査において要した検査時間に関する情報、又は／及び、内視鏡検査において内視鏡スコープ３の撮影部が実際に移動した経路に関する情報等を、レポート情報として生成する。経路に関する情報は、例えば、標準モデルＭｓ又は再構成データＭｒの少なくとも一方を基準とし、内視鏡スコープ３の撮影部の移動履歴を示す３次元位置情報の時系列データである。この場合、レポート情報は、内視鏡スコープ３の撮影部の経路を、胃の３次元モデル上で表示することが可能な情報であってもよい。その他、レポート情報は、検査終了時点までに生成された最新の再構成データＭｒなどの、実施された内視鏡検査の状況又は実績を示す種々の情報を含んでもよい。そして、出力制御部１８は、例えば、生成したレポート情報を、被検者の識別情報（例えば患者ＩＤ）や日付などの情報と関連付けてメモリ１２に記憶する。

【0093】

本変形例によれば、画像処理装置１は、内視鏡検査後に有用な情報を好適に生成することができる。

【0094】

＜第２実施形態＞
図１６は、第２実施形態における画像処理装置１Ｘのブロック図である。画像処理装置１Ｘは、３次元再構成手段３１Ｘと、マッチング手段３２Ｘと、出力制御手段３３Ｘとを備える。

【0095】

３次元再構成手段３１Ｘは、内視鏡に設けられた撮影部により検査対象を撮影した撮影画像「Ｉｃ」に基づき、検査対象を３次元再構成した再構成データ「Ｍｒ」を生成する。この場合、３次元再構成手段３１Ｘは、撮影画像Ｉｃを撮影部から直接受信してもよく、撮影部が撮影した画像を蓄積する記憶装置から撮影画像Ｉｃを取得してもよい。また、「検査対象」は、胃であってもよく、大腸などの他の臓器であってもよい。３次元再構成手段３１Ｘは、第１実施形態における３次元再構成部３１とすることができる。

【0096】

マッチング手段３２Ｘは、検査対象の標準的な３次元モデルである標準モデル「Ｍｓ」と再構成データＭｒとのマッチングを行う。ここで、マッチング手段３２Ｘは、標準モデルＭｓを画像処理装置１Ｘが有するメモリから取得してもよく、画像処理装置１Ｘとは異なる外部装置から取得してもよい。マッチング手段３２Ｘは、第１実施形態におけるマッチング部３２とすることができる。

【0097】

出力制御手段３３Ｘは、マッチングの結果に基づき、標準モデル上での検査対象の撮影済み領域を示す撮影領域明示画像を、表示装置２Ｘに表示させる。出力制御手段３３Ｘは、第１実施形態における出力制御部３３とすることができる。

【0098】

図１７は、第２実施形態において画像処理装置１Ｘが実行する処理手順を示すフローチャートの一例である。まず、３次元再構成手段３１Ｘは、内視鏡に設けられた撮影部により検査対象を撮影した撮影画像Ｉｃに基づき、検査対象を３次元再構成した再構成データＭｒを生成する（ステップＳ５１）。マッチング手段３２Ｘは、検査対象の標準的な３次元モデルである標準モデルＭｓと再構成データＭｒとのマッチングを行う（ステップＳ５２）。出力制御手段３３Ｘは、マッチングの結果に基づき、標準モデル上での検査対象の撮影済み領域を示す撮影領域明示画像を、表示装置２Ｘに表示させる（ステップＳ５３）。

【0099】

第２実施形態によれば、画像処理装置１Ｘは、検査対象の標準的な３次元モデルである標準モデルＭｓ上において撮影済み領域を好適に明示することができる。

【0100】

その他、上記の各実施形態（変形例を含む、以下同じ）の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。

【0101】

［付記１］
内視鏡に設けられた撮影部により検査対象を撮影した撮影画像に基づき、前記検査対象を３次元再構成した再構成データを生成する３次元再構成手段と、
前記検査対象の標準的な３次元モデルである標準モデルと前記再構成データとのマッチングを行うマッチング手段と、
前記マッチングの結果に基づき、前記標準モデル上での前記検査対象の撮影済み領域を示す撮影領域明示画像を、表示装置に表示させる出力制御手段と、
を有する画像処理装置。

【0102】

［付記２］
前記出力制御手段は、前記撮影部から取得された最新の前記撮影画像と、前記撮影領域明示画像とを並べて前記表示装置に表示させる、付記１に記載の画像処理装置。

【0103】

［付記３］
前記出力制御手段は、前記撮影済み領域において撮影時間が閾値よりも低い部分領域が存在する場合、当該部分領域に関する警告を出力する、付記１または２に記載の画像処理装置。

【0104】

［付記４］
前記出力制御手段は、前記撮影済み領域内の表示態様を、前記撮影済み領域内での撮影時間の差異に基づき変化させる、付記１～３のいずれか一項に記載の画像処理装置。

【0105】

［付記５］
前記出力制御手段は、前記撮影時間に基づき前記撮影済み領域の分割を行い、分割された領域を色分けして前記表示装置に表示させる、付記４に記載の画像処理装置。

【0106】

［付記６］
前記出力制御手段は、前記撮影部の移動に関する案内情報を、前記表示装置に表示させる、付記１～５のいずれか一項に記載の画像処理装置。

【0107】

［付記７］
前記出力制御手段は、前記案内情報として、前記撮影が必要な前記検査対象の部位を示す要撮影部位情報を、前記撮影領域明示画像上に表示する、付記６に記載の画像処理装置。

【0108】

［付記８］
前記出力制御手段は、前記撮影の進捗率を示す情報を、前記表示装置に表示させる、付記６または７に記載の画像処理装置。

【0109】

［付記９］
前記出力制御手段は、前記撮影が必要な前記検査対象の部位のうち前記撮影が行われた部位の割合に基づき、前記進捗率を決定する、付記８に記載の画像処理装置。

【0110】

［付記１０］
前記出力制御手段は、前記案内情報として、前記標準モデル上での推奨される前記撮影部の経路を示す経路情報を、前記撮影領域明示画像上に表示する、付記６～９のいずれか一項に記載の画像処理装置。

【0111】

［付記１１］
前記出力制御手段は、前記経路から前記撮影部の位置が外れたと判定した場合に警告を出力する、付記１０に記載の画像処理装置。

【0112】

［付記１２］
前記出力制御手段は、前記案内情報として、前記検査対象において目印となる部位を示す目印情報を、前記撮影領域明示画像上に表示する、付記６～１１のいずれか一項に記載の画像処理装置。

【0113】

［付記１３］
前記目印情報は、過去に検知された病変部位、リンパ管、血管又は神経の少なくともいずれかを前記標準モデル上において示す情報である、付記１２に記載の画像処理装置。

【0114】

［付記１４］
前記出力制御手段は、前記案内情報として、前記検査対象の未撮影領域への方向を案内する情報を出力する、付記６～１３のいずれか一項に記載の画像処理装置。

【0115】

［付記１５］
前記撮影領域明示画像において、前記撮影済み領域内の位置が指定された場合に、当該位置に対応する前記撮影画像を、前記表示装置に表示させる、付記１～１４のいずれか一項に記載の画像処理装置。

【0116】

［付記１６］
前記マッチング手段は、前記撮影画像に基づき生成された再構成データを構成する頂点から孤立点を除去することで平滑化した再構成データと前記標準モデルとのマッチングを行う、付記１～１５のいずれか一項に記載の画像処理装置。

【0117】

［付記１７］
前記出力制御手段は、前記内視鏡による検査に要した時間に関するログ情報を記憶装置に記憶する、付記１～１６のいずれか一項に記載の画像処理装置。なお、「記憶装置」は、画像処理装置内のメモリであってもよく、画像処理装置とは別の外部装置であってもよい。

【0118】

［付記１８］
前記出力制御手段は、前記内視鏡による検査の終了後、当該検査に関するレポート情報を生成する、付記１～１７のいずれか一項に記載の画像処理装置。

【0119】

［付記１９］
コンピュータにより、
内視鏡に設けられた撮影部により検査対象を撮影した撮影画像に基づき、前記検査対象を３次元再構成した再構成データを生成し、
前記検査対象の標準的な３次元モデルである標準モデルと前記再構成データとのマッチングを行い、
前記マッチングの結果に基づき、前記標準モデル上での前記検査対象の撮影済み領域を示す撮影領域明示画像を、表示装置に表示させる、
制御方法。

【0120】

［付記２０］
内視鏡に設けられた撮影部により検査対象を撮影した撮影画像に基づき、前記検査対象を３次元再構成した再構成データを生成する３次元再構成手段と、
前記検査対象の標準的な３次元モデルである標準モデルと前記再構成データとのマッチングを行うマッチング手段と、
前記マッチングの結果に基づき、前記標準モデル上での前記検査対象の撮影済み領域を示す撮影領域明示画像を、表示装置に表示させる出力制御手段
としてコンピュータを機能させるプログラムを格納した記憶媒体。

【0121】

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。

【符号の説明】

【0122】

１、１Ｘ 画像処理装置
２、２Ｘ 表示装置
３ 内視鏡スコープ
４ サーバ装置
１１ プロセッサ
１２ メモリ
１３ インターフェース
１４ 入力部
１５ 光源部
１６ 音出力部
１００、１００Ａ 内視鏡検査システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】