(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-17
(45)【発行日】2024-06-25
(54)【発明の名称】画像処理装置、内視鏡装置及び画像処理装置の作動方法
(51)【国際特許分類】
A61B 1/045 20060101AFI20240618BHJP
【ＦＩ】
A61B1/045 623
A61B1/045 618
【請求項の数】
12
(21)【出願番号】P 2023534507
(86)(22)【出願日】2021-07-14
(86)【国際出願番号】 JP2021026430
(87)【国際公開番号】W WO2023286196
(87)【国際公開日】2023-01-19
【審査請求日】2023-08-10
(73)【特許権者】
【識別番号】304050923
【氏名又は名称】オリンパスメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110004185
【氏名又は名称】インフォート弁理士法人
(74)【代理人】
【識別番号】110002907
【氏名又は名称】弁理士法人イトーシン国際特許事務所
(72)【発明者】
【氏名】田中 敬士
(72)【発明者】
【氏名】神田 大和
(72)【発明者】
【氏名】北村 誠
(72)【発明者】
【氏名】速水 健人
【審査官】田中 洋行
(56)【参考文献】
【文献】国際公開第２０１９／１３０８６８（ＷＯ，Ａ１）
【文献】特開２０１４－０８３２８９（ＪＰ，Ａ）
【文献】国際公開第２０１４／１６８１２８（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ １／００－１／３２
(57)【特許請求の範囲】
【請求項1】
プロセッサを具備し、前記プロセッサは、
被検体内を観察中の内視鏡から画像情報を取得し、
前記取得した画像情報から臓器モデルを生成し、
前記臓器モデルのうち前記内視鏡が観察していない未観察領域を特定し、
前記臓器モデルに対する前記内視鏡の撮像視野の天地及び方位を推定し、
前記撮像視野の天地及び方位に基づき前記臓器モデルの表示方向を設定し、
特定された前記未観察領域を前記臓器モデルと紐づけた臓器モデルをモニタに出力することを特徴とする画像処理装置。
【請求項2】
前記プロセッサは、前記臓器モデルの天地方向と、前記内視鏡の観察画像の天地方向とを一致させることを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記プロセッサは、表示中の前記臓器モデルを前記内視鏡の視点に合わせて回転させる視点方向制御を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項4】
前記プロセッサは、撮影領域を前記臓器モデル上に表示することを特徴とする請求項１に記載の画像処理装置。
【請求項5】
前記プロセッサは、前記未観察領域と前記内視鏡の位置関係情報を表示することを特徴とする請求項１に記載の画像処理装置。
【請求項6】
前記位置関係情報は、前記内視鏡の先端位置から前記未観察領域へのルートを示す情報であることを特徴とする請求項５に記載の画像処理装置。
【請求項7】
前記位置関係情報は、前記内視鏡の先端位置から前記未観察領域までの距離を示す情報であることを特徴とする請求項５に記載の画像処理装置。
【請求項8】
前記プロセッサは、前記内視鏡を現在位置から前記未観察領域に向けて、ユーザーが移動させるための内視鏡操作情報を報知部に出力することを特徴とする請求項１に記載の画像処理装置。
【請求項9】
前記プロセッサは、前記未観察領域の位置する臓器名を表示することを特徴とする請求項１に記載の画像処理装置。
【請求項10】
前記プロセッサは、前記未観察領域の数または面積を表示することを特徴とする請求項１に記載の画像処理装置。
【請求項11】
内視鏡と、プロセッサを含む画像処理装置と、
モニタとを含み、
前記プロセッサは、
被検体内を観察中の内視鏡から画像情報を取得し、
取得した前記画像情報から臓器モデルを生成し、
前記臓器モデルのうち前記内視鏡が観察していない未観察領域を特定し、
前記臓器モデルに対する前記内視鏡の位置および姿勢を推定し、
前記内視鏡の位置および姿勢に基づき前記臓器モデルの表示方向を設定し、
特定された前記未観察領域を前記臓器モデルと紐づけた臓器モデルを前記モニタに出力する
ことを特徴とする内視鏡装置。
【請求項12】
画像取得部とプロセッサとを備えた画像処理装置の作動方法であって、
前記画像取得部が被検体内を観察中の内視鏡から画像情報を取得し、
前記プロセッサが前記画像取得部にて取得した画像情報から臓器モデルを生成する臓器モデル生成し、前記臓器モデルのうち前記内視鏡が観察していない未観察領域を特定する未観察領域特定し、前記臓器モデルに対する前記内視鏡の位置および姿勢を推定する位置姿勢推定し、前記内視鏡の位置および姿勢に基づき前記臓器モデルの表示方向を設定し、特定された前記未観察領域を前記臓器モデルと紐づけた臓器モデルをモニタに出力することを特徴とする画像処理装置の作動方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、未観察領域の表示を制御する画像処理装置、内視鏡装置及び画像処理装置の作動方法に関する。
【背景技術】
【0002】
近年、内視鏡を用いた内視鏡システムは、医療分野及び工業用分野において広く用いられている。例えば、医療分野においては、内視鏡を、被検体内における複雑な管腔形状を有する臓器の内部に挿入し、その内部の詳細な観察や検査に利用することがある。 このような内視鏡システムでは、術者が管腔臓器内のいずれの部位を内視鏡により観察したかを把握する機能を有するものもある。
【0003】
例えば、内視鏡により観察した領域を提示するために、内視鏡により撮像して得た内視鏡画像から臓器の内腔形状を求めて３次元形状モデル画像をその場で生成し、生成した３次元形状モデル画像上に観察中における観察位置を表示する内視鏡システムもある。
【0004】
また、日本国特開２０２０－１５４２３４号公報においては、内視鏡による所定の検査等の観察時に、観察済みの領域（以下、観察領域という）と観察済みでない領域（以下、未観察領域という）とを、３次元形状モデル画像上に識別可能に表示する技術が開示されている。日本国特開２０２０－１５４２３４号公報の提案では、未観察領域を３Ｄモデル上もしくは内視鏡により取得された検査画像を表示するモニタの検査画面内に表示している。術者は、検査画面内の表示及び３次元形状モデル画像上の表示によって、例えば被挿入体内のいずれの位置を観察しているかをある程度把握することができると共に、被検体内の全ての領域を観察したか否かを確認することができる。
【0005】
しかしながら、検査画面内に表示されない未観察領域については、術者は３Ｄモデル上で位置を把握する必要がある。しかし、検査画面の天地方向と３Ｄモデルの天地方向とは一致していないことから、未観察領域の位置を認識しにくい。このため、内視鏡により未観察領域を観察するために、内視鏡をいずれの方向に動かせばよいか分かりづらく、観察範囲を未観察領域に移動させる（アクセスする）ことが困難である。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２０２０ー１５４２３４号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
本発明は、未観察領域の位置の把握を容易にすることができる画像処理装置、内視鏡装置及び画像処理装置の作動方法を提供することを目的とする。
【発明の開示】
【課題を解決するための手段】
【0008】
本発明の一態様による画像処理装置は、プロセッサを具備し、前記プロセッサは、
被検体内を観察中の内視鏡から画像情報を取得し、前記取得した画像情報から臓器モデルを生成し、前記臓器モデルのうち前記内視鏡が観察していない未観察領域を特定し、
前記臓器モデルに対する前記内視鏡の撮像視野の天地及び方位を推定し、前記撮像視野の天地及び方位に基づき前記臓器モデルの表示方向を設定し、特定された前記未観察領域を前記臓器モデルと紐づけた臓器モデルをモニタに出力する。
被検体内を観察中の内視鏡から画像情報を取得し、前記取得した画像情報から臓器モデルを生成し、前記臓器モデルのうち前記内視鏡が観察していない未観察領域を特定し、
前記臓器モデルに対する前記内視鏡の撮像視野の天地及び方位を推定し、前記撮像視野の天地及び方位に基づき前記臓器モデルの表示方向を設定し、特定された前記未観察領域を前記臓器モデルと紐づけた臓器モデルをモニタに出力する。
【0009】
本発明の一態様による内視鏡装置は、内視鏡と、プロセッサを含む画像処理装置と、モニタとを含み、前記プロセッサは、被検体内を観察中の内視鏡から画像情報を取得し、取得した前記画像情報から臓器モデルを生成し、前記臓器モデルのうち前記内視鏡が観察していない未観察領域を特定し、前記臓器モデルに対する前記内視鏡の位置および姿勢を推定し、前記内視鏡の位置および姿勢に基づき前記臓器モデルの表示方向を設定し、特定された前記未観察領域を前記臓器モデルと紐づけた臓器モデルを前記モニタに出力する。
【0010】
本発明の一態様による画像処理装置の作動方法は、画像取得部とプロセッサとを備えた画像処理装置の作動方法であって、前記画像取得部が被検体内を観察中の内視鏡から画像情報を取得し、前記プロセッサが前記画像取得部にて取得した画像情報から臓器モデルを生成する臓器モデル生成し、前記臓器モデルのうち前記内視鏡が観察していない未観察領域を特定する未観察領域特定し、前記臓器モデルに対する前記内視鏡の位置および姿勢を推定する位置姿勢推定し、前記内視鏡の位置および姿勢に基づき前記臓器モデルの表示方向を設定し、特定された前記未観察領域を前記臓器モデルと紐づけた臓器モデルをモニタに出力する。
【発明の効果】
【0011】
本発明によれば、未観察領域の位置の把握を容易にすることができるという効果を有する。
【図面の簡単な説明】
【0012】
【図1】本発明の第１の実施形態に係る画像処理装置を含む内視鏡装置を示す概略構成図である。
【図4】位置姿勢推定部２４及びモデル生成部２５による位置及び姿勢の推定処理並びに臓器モデル生成処理を説明するための説明図である。
【図5】図４に示した公知のＳｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳｆＭ）を利用したＶｉｓｕａｌ ＳＬＡＭ（(Simultaneous Localization and Mapping）の処理を示すフローチャートである。
【図6】臓器モデル表示を説明するための説明図である。
【図7】臓器モデル表示を説明するための説明図である。
【図8】先端部３３ｃの位置及び姿勢の求め方を説明するための説明図である。
【図9】第１の実施形態における動作を説明するためのフローチャートである。
【図10】第１の実施形態における臓器モデル表示の一例を示す説明図である。
【図11】表示内容制御部２７による視点方向制御を説明するための説明図である。
【図12】変形例を示すフローチャートである。
【図14】変形例を示すフローチャートである。
【図16】変形例を示す説明図である。
【図17】変形例を示す説明図である。
【図18】変形例を示すフローチャートである。
【図19】本発明の第２の実施形態を示すフローチャートである。
【図20】オクルージョン領域の検出方法を説明するための説明図である。
【図21】オクルージョン領域の検出方法を説明するための説明図である。
【図22】表示内容制御部２７によるオクルージョン領域の表示方法の一例を示す説明図である。
【図23】表示内容制御部２７による撮影済み領域の表示方法の一例を示す説明図である。
【図24】検査画面外領域を説明するための説明図である。
【図25】検査画面外領域の表示方法の一例を示す説明図である。
【図26】検査画面外領域の表示方法の一例を示す説明図である。
【図27】検査画面外領域についての各種情報の表示例を示す説明図である。
【図28】本発明の第３の実施形態を示すフローチャートである。
【図29】管腔ＰＡ３内を先端部３３ｃ内の撮像素子３１によって撮像している状態を示す説明図である。
【図30】距離ｄに応じた視点制御を説明するための説明図である。
【図31】距離ｄに応じた拡大率制御を説明するための説明図である。
【図32】距離に応じた強調表示を説明するための説明図である。
【図33】観察ルートに応じた表示制御を説明するための説明図である。
【発明を実施するための形態】
【0013】
以下、図面を参照して本発明の実施の形態について詳細に説明する。
【0014】
（第１の実施形態）
図１は本発明の第１の実施形態に係る画像処理装置を含む内視鏡装置を示す概略構成図である。また、図２は図１中の内視鏡の構成を示す斜視図である。本実施形態は、未観察領域を判定すると共に、内視鏡による検査画面の天地に基づいて、未観察領域を臓器モデル上に分かりやすく表示するものである。なお、本実施形態においては、被検体内を内視鏡により観察しながら、この観察時に内視鏡によって得られる検査画像を用いて、３次元形状の臓器モデルを生成することも可能である。この場合には、観察が進につれて、観察範囲までの臓器モデルが順次構築されて表示される。即ち、この場合には、臓器モデルの構築領域が観察領域となり、未構築領域が未観察領域となる。なお、未観察領域のうち、観察領域に囲まれた領域を狭義の未観察領域と定義し、以下明細書では、この狭義の未観察領域を未観察領域として扱う。
図１は本発明の第１の実施形態に係る画像処理装置を含む内視鏡装置を示す概略構成図である。また、図２は図１中の内視鏡の構成を示す斜視図である。本実施形態は、未観察領域を判定すると共に、内視鏡による検査画面の天地に基づいて、未観察領域を臓器モデル上に分かりやすく表示するものである。なお、本実施形態においては、被検体内を内視鏡により観察しながら、この観察時に内視鏡によって得られる検査画像を用いて、３次元形状の臓器モデルを生成することも可能である。この場合には、観察が進につれて、観察範囲までの臓器モデルが順次構築されて表示される。即ち、この場合には、臓器モデルの構築領域が観察領域となり、未構築領域が未観察領域となる。なお、未観察領域のうち、観察領域に囲まれた領域を狭義の未観察領域と定義し、以下明細書では、この狭義の未観察領域を未観察領域として扱う。
【0015】
なお、本実施形態は、観察前に既に生成されている３次元形状の臓器モデル上に、未観察領域を分かりやすく表示するようになっていてもよい。なお、既存の臓器モデルとしては、以前の検査や観察において生成された臓器モデルや、所定の管腔臓器等について作成されている汎用の臓器モデルであってもよい。本実施の形態は観察前に臓器モデルが既に作成されている場合であっても、観察時と同時に臓器モデルを作成する場合のいずれにも適用可能である。
【0016】
図１に示すように、内視鏡装置１は、画像処理装置１０と、内視鏡３０と、画像生成回路４０と、磁場発生装置５０と、モニタ６０と、を含む。なお、磁場発生装置５０は省略可能である。図２に示すように、内視鏡３０は、操作部３２と、可撓性を有する挿入部３３と、信号線などを含むユニバーサルケーブル３４とを有する。内視鏡３０は、管状の挿入部３３を体腔内に挿入する管状挿入装置であり、例えば大腸等に挿入されて体腔内を撮像する。ユニバーサルケーブル３４の先端にはコネクタが設けられ、内視鏡３０は、そのコネクタにより画像生成回路４０に着脱可能に接続される。なお、ユニバーサルケーブル３４及び挿入部３３内には、図示しないライトガイドが挿通されており、内視鏡３０は、図示しない光源装置からの照明光を、ライトガイドを通して挿入部３３の先端から出射するように構成されている。
【0017】
挿入部３３は、挿入部３３の基端から先端に向かって、可撓管部３３ａと、湾曲可能な湾曲部３３ｂと、先端部３３ｃとを有している。挿入部３３が、被写体となる患者の管腔に挿入される。先端部３３ｃの基端部は湾曲部３３ｂの先端に接続され、湾曲部３３ｂの基端部は可撓管部３３ａの先端に接続されている。先端部３３ｃは、挿入部３３の先端部すなわち内視鏡３０の先端部であり、硬い先端硬質部である。
【0018】
湾曲部３３ｂは、操作部３２に設けられた湾曲操作部材３５（左右湾曲操作ノブ３５ａ及び上下湾曲操作ノブ３５ｂ）に対する操作に応じて、所望の方向に湾曲可能である。湾曲操作部材３５は、さらに、湾曲した湾曲部３３ｂの位置を固定する固定ノブ１４ｃを有している。術者は、挿入部３３を大腸内に押し込みながら、あるいは大腸内から引き抜きながら、湾曲部３３ｂを様々な方向に湾曲させることによって、患者の大腸内をくまなく観察することができる。なお、操作部３２には、湾曲操作部材３５の他にも、レリーズボタン、送気送水ボタン等の各種操作ボタンも設けられている。
【0019】
本実施形態においては、上下湾曲操作ノブ３５ｂにより上方向に操作した場合において挿入部３３の先端部３３ｃ（以下、内視鏡先端ともいう）が移動（湾曲）する方向を天（上）方向とし、上下湾曲操作ノブ３５ｂにより下方向に操作した場合において内視鏡先端が移動（湾曲）する方向を地（下）方向とし、左右湾曲操作ノブ３５ａにより右方向に操作した場合において内視鏡先端が移動（湾曲）する方向を右方向とし、左右湾曲操作ノブ３５ａにより左方向に操作した場合において内視鏡先端が移動（湾曲）する方向を左方向とする。
【0020】
挿入部３３の先端部３３ｃには、撮像装置である撮像素子３１が設けられている。撮像時には、光源装置からの照明光がライトガイドにより導光されて、先端部３３ｃの先端面に設けた照明窓（図示せず）から被写体に照射される。被写体からの反射光は、先端部３３ｃの先端面に設けた観察窓（図示せず）を経由して撮像素子３１の撮像面に入射する。撮像素子３１は、図示しない撮像光学系を経由して撮像面に入射した被写体光学像を光電変換して、撮像信号を得る。この撮像信号は、挿入部３３内及びユニバーサルケーブル３４内の図示しない信号線を経由して画像生成回路４０に供給される。
【0021】
撮像素子３１は、内視鏡３０の挿入部３３の先端部３３ｃに固定されており、内視鏡先端の天地の移動方向と、撮像素子３１の垂直走査方向とは一致している。即ち、撮像素子３１の垂直走査における開始側を内視鏡先端の天方向（上方向）に一致させ、終了側を内視鏡先端の地方向（下方向）に一致させるように、撮像素子３１は配置される。即ち、撮像素子３１の撮像視野の天地と内視鏡先端（先端部３３ｃ）の天地とは一致する。また、撮像素子３１の天地、即ち、内視鏡先端の天地と、撮像素子３１からの撮像信号に基づく検査画像の天地（上下）とは一致する。
【0022】
画像生成回路４０は、受信した撮像信号に対して所定の画像処理を行い、検査画像を生成するビデオプロセッサである。生成された検査画像の映像信号は、画像生成回路４０からモニタ６０へ出力され、ライブの検査画像が、モニタ６０上に表示される。例えば、大腸検査を行う場合には、検査を行う医者は、挿入部３３の先端部３３ｃを患者の肛門から挿入し、モニタ６０に表示される検査画像によって、患者の大腸内を観察することができる。
【0023】
画像処理装置１０は、画像取得部１１、位置姿勢検出部１２、表示インタフェース（以下、Ｉ／Ｆという）１３及びプロセッサ２０を含む。画像取得部１１、位置姿勢検出部１２、表示Ｉ／Ｆ１３及びプロセッサ２０は、バス１４により互いに接続されている。
【0024】
画像取得部１１は、画像生成回路４０からの検査画像を取り込む。プロセッサ２０は、バス１４を経由して検査画像を取り込み、取り込んだ検査画像に基づいて、未観察領域を検出すると共に臓器モデルを生成し、臓器モデル上に未観察領域を示す画像を重畳して表示するための表示データを生成する。表示Ｉ／Ｆ１３は、バス１４を経由してプロセッサ２０からの表示データを取り込んで、モニタ６０の表示画面に表示可能なフォーマットに変換した後モニタ６０に出力する。
【0025】
報知部としてのモニタ６０は、画像生成回路４０からの検査画像を表示画面上に表示すると共に、画像処理装置１０からの臓器モデルを表示画面上に表示する。例えば、モニタ６０は、ＰｉｎＰ（Ｐｉｃｔｕｒｅ Ｉｎ Ｐｉｃｔｕｒｅ）機能を有していてもよく、検査画像と臓器モデルとを同時に表示することも可能である。また、報知部は視覚情報を用いた報知手段に限定されず、例えば音声により位置情報を伝えたり、操作指示を出したりするものであってもよい。
【0026】
本実施形態においては、プロセッサ２０は、未観察領域の位置を術者が把握し易いように表示するための表示データを作成する。
【0027】
【0028】
プロセッサ２０は、中央処理装置（以下、ＣＰＵという）２１、記憶部２２、入出力部２３、位置姿勢推定部２４、モデル生成部２５、未観察領域判定部２６、表示内容制御部２７を含む。記憶部２２は、例えば、ＲＯＭやＲＡＭ等により構成される。ＣＰＵ２１は、記憶部２２に記憶されたプログラムに従って動作してプロセッサ２０の各部及び画像処理装置１０の全体を制御する。
【0029】
なお、プロセッサ２０に構成された位置姿勢推定部２４、モデル生成部２５、未観察領域判定部２６及び表示内容制御部２７は、図示しないＣＰＵを有しており、記憶部２２に記憶されたプログラムに従って動作して所望の処理を実現するようになっていてもよく、また、それぞれの機能の一部又は全部を電子回路により実現するものであってもよい。また、ＣＰＵ２１がプロセッサ２０の全ての機能を実現するようになっていてもよい。
【0030】
入出力部２３は、検査画像を一定の周期で取り込むインタフェースである。入出力部２３は、例えば、３０ｆｐｓのフレームレートで検査画像を取得する。なお、入出力部２３が取り込む検査画像のフレームレートはこれに限定されるものではない。
【0031】
位置姿勢推定部２４は、バス２８を経由して検査画像を取り込んで、撮像素子３１の位置及び姿勢を推定する。また、モデル生成部２５は、バス２８を経由して検査画像を取り込んで、臓器モデルを生成する。なお、撮像素子３１は、先端部３３ｃの先端側に固定されているので、撮像素子３１の位置及び姿勢は、先端部３３ｃの位置及び姿勢と言ってもよい。また、撮像素子３１の位置及び姿勢は、内視鏡先端の位置及び姿勢と言ってもよい。
【0032】
図４は位置姿勢推定部２４及びモデル生成部２５による位置及び姿勢の推定処理（以下、トラッキングという）並びに臓器モデル生成処理を説明するための説明図である。図５は図４に示した公知のＳｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳｆＭ）を利用したＶｉｓｕａｌ ＳＬＡＭ（(Simultaneous Localization and Mapping）の処理を示すフローチャートである。
【0033】
Ｖｉｓｕａｌ ＳＬＡＭを用いることで、撮像素子３１の位置及び姿勢、即ち、先端部３３ｃの位置及び姿勢（内視鏡先端の位置及び姿勢）を推定できると共に、臓器モデルの生成が可能となる。なお、ＳｆＭを利用したＶｉｓｕａｌ ＳＬＡＭでは、撮像素子３１の位置及び姿勢と被写体の３次元像、即ち、臓器モデルとを取得することができるので、説明の都合上、位置姿勢推定部２４及びモデル生成部２５の機能をＣＰＵ２１がプログラム処理によって実現するものとして説明する。
【0034】
先ず、ＣＰＵ２１は、初期化を実施する。キャリブレーションにより、位置及び姿勢推定に関する内視鏡３０の各部の設定値は、ＣＰＵ２１において既知であるものとする。また、初期化により、ＣＰＵ２１は、先端部３３ｃの初期位置及び姿勢を認識する。
【0035】
ＣＰＵ２１は、図５のステップＳ１１において、内視鏡３０からの検査画像を順次取り込む。ＣＰＵ２１は、取り込んだ検査画像の特徴点の検出及びこの特徴点に対応する注目点の検出を行う。図４に示すように、時刻ｔにおいて内視鏡３０の撮像素子３１により、検査画像Ｉ１が取得されるものとする。以下、時刻ｔ，ｔ＋１，ｔ＋２における先端部３３ｃをそれぞれ先端部３３ｃＡ，３３ｃＢ，３３ｃＣとする。挿入部３３を移動させながら撮像素子３１による撮像を続けて、時刻ｔ＋１の先端部３３ｃＢの位置において撮像素子３１により検査画像Ｉ２が取得され、時刻ｔ＋２の先端部３３ｃＣの位置において撮像素子３１により検査画像Ｉ３が取得されるものとする。なお、ＣＰＵ２１において位置及び姿勢の推定並びに臓器モデル生成処理を行うための撮像素子３１の撮像期間においては、撮像素子３１の光学的特性、例えば、焦点距離、歪曲収差、ピクセルサイズ等については、変化しないものとする。
【0036】
検査画像Ｉ１，Ｉ２，…は、順次ＣＰＵ２１に供給され、ＣＰＵ２１は、各検査画像Ｉ１，Ｉ２，…から特徴点を検出する。例えば、ＣＰＵ２１は、画像中において輝度勾配が所定の閾値以上となるコーナー部やエッジ部を特徴点として検出することができる。図４の例では、検査画像Ｉ１について特徴点Ｆ１Ａが検出され、検査画像Ｉ２について検査画像Ｉ１の特徴点Ｆ１Ａに対応する特徴点Ｆ１Ｂが検出されたことを示している。また、図４の例では、検査画像Ｉ２について特徴点Ｆ２Ｂが検出され、検査画像Ｉ３について検査画像Ｉ２の特徴点Ｆ２Ｂに対応する特徴点Ｆ２Ｃが検出されたことを示している。なお、各検査画像から検出される特徴点の数は特に限定されるものではない。
【0037】
ＣＰＵ２１は、検査画像中の各特徴点について、他の検査画像の各特徴点との照合を行うことで、対応する特徴点を見つける。ＣＰＵ２１は、２枚の検査画像の互いに対応付けられた特徴点（特徴点ペア）の座標（検査画像中の位置）を取得し、取得した座標に基づいて、撮像素子３１の位置および姿勢を算出する（ステップＳ１２）。なお、この算出（トラッキング）に際して、ＣＰＵ２１は、先端部３３ｃＡ，３３ｃＢ，…相互の相対的な位置及び姿勢、即ち、各検査画像を取得した撮像素子３１相互間の相対的な位置及び姿勢を保持する基本行列を用いてもよい。
【0038】
撮像素子３１の位置及び姿勢と、検査画像中の特徴点に対応する注目点とは相互に関係を有しており、一方が既知であれば、他方を推定可能である。ＣＰＵ２１は、撮像素子３１の相対的な位置および姿勢に基づいて、被写体の３次元形状の復元処理を実行する。即ち、ＣＰＵ２１は、位置及び姿勢が既知となった先端部３３ｃＡ，３３ｃＢ，…の各撮像素子３１によって得られる検査画像の対応する特徴点を用いて、三角測量の原理により、各特徴点に対する３次元像上の位置（以下、注目点という）を求める（以下、マッピングという）。図４の例では、特徴点Ｆ１Ａ，Ｆ１Ｂは、３次元像中では注目点Ａ１として求められ、特徴点Ｆ２Ｂ，Ｆ２Ｃは、３次元像中では注目点Ａ２として求められることを示している。なお、ＣＰＵ２１が３次元像を復元する手法としては種々の手法を採用することができる。例えば、ＣＰＵ２１は、ＰＭＶＳ（Ｐａｔｃｈ－ｂａｓｅｄ Ｍｕｌｔｉ－ｖｉｅｗ Ｓｔｅｒｅｏ）、および平行化ステレオによるマッチング処理等を採用してもよい。
【0039】
ＣＰＵ２１は、撮像素子３１が移動しながら撮像して得た検査画像を用いたトラッキングとマッピングとを繰り返すことにより、３次元像である臓器モデルの画像データを取得する（ステップＳ１３）。こうして、位置姿勢推定部２４において、先端部３３ｃの位置（内視鏡先端の位置）及び姿勢が順次推定され、モデル生成部２５において臓器モデルが順次作成される。
【0040】
未観察領域判定部２６は、モデル生成部２５により生成される臓器モデル中の未観察領域を検出し（ステップＳ１４）、当該未観察領域の臓器モデル上の位置情報を表示内容制御部２７に出力する。なお、未観察領域判定部２６は、モデル生成部２５により順次生成される臓器モデルによって周囲が囲まれている領域を未観察領域として検出する。表示内容制御部２７には、モデル生成部２５からの画像データが与えられると共に、未観察領域判定部２６からの未観察領域の位置情報が与えられる。表示内容制御部２７は、臓器モデルの画像上に未観察領域を示す画像を合成した臓器モデル表示を表示するための表示データを生成して出力する。こうして、モニタ６０の表示画面上に未観察領域の画像が重畳された臓器モデルが表示される（ステップＳ１５）。
【0041】
（撮像素子３１の位置及び姿勢と検査画面及び臓器モデル表示との関係）
上述したように、撮像素子３１は、内視鏡３０の挿入部３３の先端部３３ｃに固定されており、内視鏡先端の移動方向の天地と、撮像素子３１の天地とは一致している。また、撮像素子３１によって取得した検査画像の天地は、撮像素子３１（内視鏡先端）の移動方向の天地に一致する。撮像素子３１によって取得された検査画像は、画像処理された後、モニタ６０に供給される。なお、本実施形態においては、内視鏡先端の天地、先端部３３ｃの天地及び撮像素子３１の天地の語句は、同一の意味として使用する。また、内視鏡先端の位置及び姿勢、先端部３３ｃの位置及び姿勢並びに撮像素子３１の位置及び姿勢の語句についても、同一の意味として使用する。
上述したように、撮像素子３１は、内視鏡３０の挿入部３３の先端部３３ｃに固定されており、内視鏡先端の移動方向の天地と、撮像素子３１の天地とは一致している。また、撮像素子３１によって取得した検査画像の天地は、撮像素子３１（内視鏡先端）の移動方向の天地に一致する。撮像素子３１によって取得された検査画像は、画像処理された後、モニタ６０に供給される。なお、本実施形態においては、内視鏡先端の天地、先端部３３ｃの天地及び撮像素子３１の天地の語句は、同一の意味として使用する。また、内視鏡先端の位置及び姿勢、先端部３３ｃの位置及び姿勢並びに撮像素子３１の位置及び姿勢の語句についても、同一の意味として使用する。
【0042】
モニタ６０は、検査画像を表示画面上に表示する。モニタ６０の表示画面のうち検査画像が表示される領域において映し出される画像を検査画面とする。検査画面の天地方向は、モニタ６０の垂直走査方向に一致し、垂直走査の開始側（表示画面の天）を検査画面の天、終了側（表示画面の地）を検査画面の地とする。モニタ６０は、検査画像の天地を表示画面の天地に一致させて表示する。即ち、検査画像の天地と検査画面の天地とは一致する。従って、上下湾曲操作ノブ３５ｂによる内視鏡先端部３３ｃの移動方向の天地と、検査画面の天地とは一致する。しかしながら、臓器モデル表示の天地は、検査画面の天地と一致しないことがある。
【0043】
図６及び図７は臓器モデル表示を説明するための説明図である。図６は撮像素子３１の撮影領域と先端部３３ｃの向きとの関係及び検査画面を示している。また、図７はモニタ６０の表示画面６０ａ上に表示される臓器モデル及び図６に対応した撮影領域Ｒｉを示している。なお、図６及び図７において、撮影領域Ｒｉ、検査画面Ｉ４及び表示画面６０ａ中のハッチング及び塗り潰しは、それぞれ内視鏡先端の天（上）又は地（下）に対応する方向を示している。
【0044】
図６左側の例は、撮像素子３１によって、体内のある撮影領域Ｒｉを撮影していることを示している。図６の左側では、内視鏡先端（先端部３３ｃ）の上方向は、図６の紙面下向きである。図６の右側は、この撮影領域Ｒｉの撮影によって得られる検査画面Ｉ４を示している。上述したように、検査画面Ｉ４の天地と内視鏡先端の天地とは一致している。従って、術者は、この検査画面Ｉ４を参照することで、内視鏡３０を操作すべき方向を比較的容易に認識することができる。例えば、モニタ６０の表示画面における検査画面Ｉ４の上端よりも図６の紙面上方向の位置に対応する被写体の領域を撮影しようとする場合には、術者は、上下湾曲操作ノブ３５ｂを上方向に操作すればよい。
【0045】
図７の臓器モデル表示ＩＴ１，ＩＴ２は、モニタ６０の表示画面６０ａ上に表示される臓器モデルＰ１ｉを示している。臓器モデルＰ１ｉは、人体の所定の管腔に基づいて作成されたものである。図７は、図６の左の撮影状態において、臓器モデルＰ１ｉに対応する管腔内の撮影領域Ｒｉを撮像素子３１が撮像している状態の臓器モデル表示ＩＴ１，ＩＴ２を示している。なお、図７は紙面上方向が表示画面６０ａの上方向に対応する。即ち、臓器モデル表示ＩＴ１は、表示画面６０ａ上における撮影領域の画像Ｒｉｉの天地（内視鏡先端の天地）と、表示画面６０ａの天地とが逆の状態で表示されている。
【0046】
従って、仮に、術者が、図７の臓器モデルＰ１ｉに対応する管腔の撮影領域Ｒｉよりも紙面上側の領域を撮影しようとする場合には、術者は、上下湾曲操作ノブ３５ｂを下方向に操作する必要があり、術者は、内視鏡３０の操作方向を直感的に把握しづらい。
【0047】
そこで、本実施形態においては、表示内容制御部２７は、検査画面の天地と、臓器モデルＰ１ｉの天地（上下）とを一致させるように臓器モデルＰ１ｉの画像を回転させて表示するようになっている。なお、臓器モデルの天地（上下）とは、撮像素子３１による現在の検査画面を臓器モデル画像中に配置した場合における臓器モデル画像中の検査画面の天地によって定義する。即ち、表示内容制御部２７は、図６の検査画面Ｉ４の天地と臓器モデル中の検査画面の天地とが、表示画面６０ａ上で一致するように、臓器モデル画像を回転させて表示する。なお、表示内容制御部２７は、例えば、公知の画像処理によって、表示する画像をＸ軸、Ｙ軸及びＺ軸を中心に回転させることが可能である。
【0048】
表示内容制御部２７は、図７の上段の臓器モデルＰ１ｉを回転させた、図７の下段の臓器モデル表示ＩＴ２を表示画面６０ａ上に表示させる。図７の臓器モデル表示ＩＴ２は、図６の検査画面Ｉ４の天地と臓器モデルＰ１ｉ中の撮影領域の画像Ｒｉｉの天地との比較から明らかなように、内視鏡先端の天地と臓器モデルの天地（検査画面の天地）とが一致した状態で表示されている。従って、仮に、術者が、図７の臓器モデルＰ１ｉ中の撮影領域の画像Ｒｉｉよりも紙面下側の領域に対応する管腔の領域を撮影しようとする場合には、術者は、上下湾曲操作ノブ３５ｂを下方向に操作すればよく、術者は、臓器モデル表示ＩＴ２から内視鏡３０の操作方向を直感的に把握しやすい。
【0049】
このように、表示内容制御部２７は、検査画像の天地と臓器モデルの天地とを一致させるように、臓器モデル画像を配置した表示データを作成する。この結果、未観察領域判定部２６によって判定された未観察領域についても、内視鏡先端部３３ｃの天地と、臓器モデル上の未観察領域の表示の天地とが一致することになり、術者は、臓器モデル表示によって未観察領域の位置を容易に且つ直感的に認識することができる。
【0050】
（位置検出の他の例）
なお、上記説明では、画像処理によって、先端部３３ｃの位置及び姿勢を検出する例を説明したが、他の手法を採用して先端部３３ｃの位置及び姿勢を検出してもよい。例えば、磁気センサを利用する手法が考えられる。例えば、挿入部３３の先端部３３ｃには、図１の破線にて示す磁気センサ３６を配置する。磁気センサ３６は、先端部３３ｃの撮像素子３１の近傍に配置され、撮像素子３１の視点の位置と姿勢を検出するための検出装置である。磁気センサ３６は、例えば、円筒状の２つのコイルを有し、これらの２つのコイルの２つの中心軸は、互いに直交する。即ち、磁気センサ３６は、６軸のセンサであり、先端部３３ｃの位置座標と向き（すなわちオイラー角）を検出する。磁気センサ３６は検出信号を画像処理装置１０に出力する。
なお、上記説明では、画像処理によって、先端部３３ｃの位置及び姿勢を検出する例を説明したが、他の手法を採用して先端部３３ｃの位置及び姿勢を検出してもよい。例えば、磁気センサを利用する手法が考えられる。例えば、挿入部３３の先端部３３ｃには、図１の破線にて示す磁気センサ３６を配置する。磁気センサ３６は、先端部３３ｃの撮像素子３１の近傍に配置され、撮像素子３１の視点の位置と姿勢を検出するための検出装置である。磁気センサ３６は、例えば、円筒状の２つのコイルを有し、これらの２つのコイルの２つの中心軸は、互いに直交する。即ち、磁気センサ３６は、６軸のセンサであり、先端部３３ｃの位置座標と向き（すなわちオイラー角）を検出する。磁気センサ３６は検出信号を画像処理装置１０に出力する。
【0051】
一方、磁気センサ３６の近傍の被検体外部には磁場を発生する磁場発生装置５０（図１の破線）が設けられ、磁場発生装置５０は、所定の磁場を発生する。磁気センサ３６は、磁場発生装置５０が発生する磁場を検出する。磁場発生装置５０は、信号線を経由して画像処理装置１０内の位置姿勢検出部１２（破線部）と接続されている。こうして、位置姿勢検出部１２は、磁気センサ３６の検出結果に基づいて、先端部３３ｃの位置及び姿勢、言い換えれば撮像素子３１により取得される検査画像の視点の位置及び向きをリアルタイムに検出する。なお、磁気センサ３６に代えて先端部３３ｃに磁場発生素子を設け、磁場発生装置５０に代えて患者の外部に磁気センサを設けるようにして磁場を検出するようにしてもよい。
【0052】
位置姿勢検出部１２は、磁場発生装置５０に所定の磁場を発生させる。位置姿勢検出部１２は、その磁場を磁気センサ３６により検出し、その検出された磁場の検出信号から、撮像素子３１の位置座標（ｘ、ｙ、ｚ）と向き（すなわちオイラー角（ψ、θ、φ））のデータ、すなわち位置と姿勢の情報、をリアルタイムで生成する。すなわち、位置姿勢検出部１２は、磁気センサ３６からの検出信号に基づいて、撮像素子３１の位置と向きの少なくとも一部の情報を含む３次元配置を検出する検出装置である。より具体的には、位置姿勢検出部１２は、時間経過に伴う３次元配置の変化の情報である３次元配置時間変化情報を検出する。よって、位置姿勢検出部１２は、複数の時点の挿入部３３の３次元配置情報を取得する。
【0053】
また、上記説明では、臓器モデルは、モデル生成部２５において順次入力される検査画像に基づいて順次生成されるものと説明したが、既存の臓器モデルを用いてもよい。図８はこの場合における先端部３３ｃの位置及び姿勢の求め方を説明するための説明図である。図８の例は、胃のシェーマ画像上に、現在の観察中の位置、即ち、撮像素子３１により取得中の検査画像の位置を示したものである。この場合には、現在の取得中の検査画像の位置を先端部３３ｃの位置としてもよい。
【0054】
なお、本実施形態においては、既存の臓器モデルを用いる場合においても、表示内容制御部２７は、検査画像の天地と臓器モデルの天地とを一致させるように、臓器モデル画像を配置した表示データを作成する。
【0055】
次に、このように構成された実施形態の動作について図９から図１０を参照して説明する。図９は第１の実施形態における動作を説明するためのフローチャートであり、図１０は第１の実施形態における臓器モデル表示の一例を示す説明図である。
【0056】
内視鏡装置１の電源が投入された後、挿入部３３が検査対象に挿入され、検査が開始される。撮像素子３１は、画像生成回路４０に駆動されて、患者の体内を撮像して内視鏡画像を取得する（ステップＳ１）。撮像素子３１からの撮像信号は画像生成回路４０に供給されて所定の画像処理が施される。画像生成回路４０は、撮像信号に基づく検査画像（内視鏡画像）を生成してモニタ６０に出力する。こうして、モニタ６０の表示画面６０ａ上に、検査画像が表示される。
【0057】
検査画像は、画像処理装置１０にも供給される。画像取得部１１は、受信した検査画像をプロセッサ２０に供給する。プロセッサ２０の入出力部２３により検査画像は、位置姿勢推定部２４及びモデル生成部２５に供給される。位置姿勢推定部２４及びモデル生成部２５は、ステップＳ２，Ｓ３において、臓器モデルの生成及び先端部３３ｃ（内視鏡先端）の位置及び姿勢の推定を行う。モデル生成部２５は、検査画像が与えられることにより、観察領域について臓器モデルを生成する。
【0058】
未観察領域判定部２６は、モデル生成部２５により生成された臓器モデルに囲まれた未観察領域を判定し（ステップＳ４）、判定結果を表示内容制御部２７に出力する。
【0059】
表示内容制御部２７は、モデル生成部２５からの臓器モデルの画像に未観察領域の画像を重畳すると共に、臓器モデルの天地を、先端部３３ｃの天地、即ち、検査画面の天地に一致させるための表示データを生成する（ステップＳ５）。表示内容制御部２７からの表示データは、入出力部２３を経由して表示Ｉ／Ｆ１３に供給され、モニタ６０に表示可能なフォーマットに変換されてモニタ６０に供給される。こうして、モニタ６０の表示画面６０ａ上に、検査画面と未観察領域の画像が重畳された臓器モデルを含む臓器モデル表示とが表示される。臓器モデルの天地と検査画面の天地とは、内視鏡先端の天地に一致しており、術者は、表示画面６０ａ上の表示から、未観察領域の位置を容易に、且つ直感的に把握することができる。
【0060】
図１０はこの場合の表示画面６６ａ上の臓器モデル表示の一例を示している。図１０に示す臓器モデル表示ＩＴ３は、臓器モデルＰ２ｉに未観察領域の画像Ｒｕｉ及び先端部３３ｃの画像３３ｃｉが重畳されている。臓器モデル表示ＩＴ３は、臓器モデルＰ２ｉの天地が、図示しない検査画面の天地、内視鏡先端の天地に一致している。この結果、術者は、表示画面６０ａ上の表示から、未観察領域の位置を容易に、且つ直感的に把握することができる。例えば、図１０の臓器モデル表示ＩＴ３を見た術者は、未観察領域を観察するために、上下湾曲操作ノブ３５ｂを上方向に操作すればよいことを直感的に把握することができる。
【0061】
（視点方向制御）
表示内容制御部２７は、更に、臓器モデルに対して視点方向制御を行ってもよい。
表示内容制御部２７は、更に、臓器モデルに対して視点方向制御を行ってもよい。
【0062】
図１１は表示内容制御部２７による視点方向制御を説明するための説明図である。図１１は視点方向制御を行った場合の臓器モデル表示ＩＴ３，ＩＴ４を示している。図１１では左側に検査画面Ｉ５，Ｉ６を示し、右側に検査画面Ｉ５，Ｉ６にそれぞれ対応する臓器モデル表示ＩＴ３，ＩＴ４を示している。
【0063】
検査画面Ｉ５は、撮像素子３１により、管腔方向を撮像視野として撮像を行って得られたものである。即ち、撮像素子３１の視線方向（撮像光学系の光軸方向）は、管腔方向に向いており、臓器モデル表示ＩＴ３では臓器モデルＰ２ａｉに重畳した先端部３３ｃの画像３３ｃｉ１によって、撮像素子３１の視線方向が管腔方向であることを示している。即ち、表示内容制御部２７は、図１１の上右側に示すように、先端部３３ｃの先端側が管腔方向を向くことを示す画像３３ｃｉ１を配置した臓器モデル表示ＩＴ３を表示画面６０ａ上に表示させる。
【0064】
一方、検査画面Ｉ６は、撮像素子３１により、管腔壁方向を撮像視野として撮像を行って得られたものである。この場合には、表示内容制御部２７は、図１１の下右側に示すように、臓器モデルＰ２ｂｉに重畳した先端部３３ｃの画像３３ｃｉ２によって先端部３３ｃの先端側が管腔壁を向くように配置したことを示す臓器モデル表示ＩＴ４を表示画面６０ａ上に表示させる。
【0065】
例えば、臓器モデル表示ＩＴ３が表示画面６０ａ上に表示されている状態で、術者が左右湾曲操作ノブ３５ａを操作して先端部３３ｃを右側に湾曲させたことにより、図１１の検査画面Ｉ６及び臓器モデル表示ＩＴ４が表示画面６０ａに表示されるものとする。この場合において、術者が検査画面Ｉ６の左端の紙面左側の領域を観察しようとする場合には、術者は左右湾曲操作ノブ３５ａを操作して先端部３３ｃを左に湾曲させればよい。
【0066】
このように、図１１に示す視点方向制御を行うことにより、術者は、撮像素子３１の撮像視野が管腔方向を向いているか管腔壁方向を向いているかを容易に且つ直感的に把握することができ、内視鏡３０の操作性を向上させることができる。また図１１には奥方向、手前方向など内視鏡の向きが分かるような情報を併せて表示してもよい。この様な情報としては言葉による情報や、「×」や「・」などの符号による情報、内視鏡を模したアイコンによる情報などが挙げられる。
【0067】
このように本実施形態においては、表示する臓器モデル表示の天地を検査画面の天地に基づいて設定することにより、未観察領域の位置を容易に、且つ直感的に把握することを可能にすることができる。これにより、未観察領域の観察を行うための内視鏡の湾曲操作が容易となる。また、臓器モデル表示を撮像素子の視点方向に応じて表示しており、未観察領域の確認が一層容易となる。
【0068】
（変形例）
図１２は変形例を示すフローチャートである。また、図１３は図１２の変形例を説明するための説明図である。本変形例のハードウェア構成は第１の実施形態と同様である。この変形例は、撮像素子３１の移動速度に応じて臓器モデル表示の表示拡大率を変更するものである。
図１２は変形例を示すフローチャートである。また、図１３は図１２の変形例を説明するための説明図である。本変形例のハードウェア構成は第１の実施形態と同様である。この変形例は、撮像素子３１の移動速度に応じて臓器モデル表示の表示拡大率を変更するものである。
【0069】
表示内容制御部２７は、第１の実施形態と同様の表示制御に加えて、撮像素子３１の移動速度に応じて臓器モデルの表示拡大率を変更する。表示内容制御部２７は、図１２のステップＳ２１において、検査画像を順次取り込み、検査画像に対する画像解析によって、撮像素子３１の移動速度を検出する（ステップＳ２２）。例えば、表示内容制御部２７は、検査画像のフレームレートと、先端部３３ｃの位置の変化から撮像素子３１の移動速度を求めてもよい。表示内容制御部２７は、移動速度が速い程臓器モデルの表示拡大率を小さくし、移動速度が遅い程臓器モデルの表示拡大率を大きくするための表示データを生成する（ステップＳ２３）。なお、表示内容制御部２７は、撮像素子３１の移動速度の段階を判定し、判定した段階毎に移動速度が速い程臓器モデルの表示拡大率を小さくし、移動速度が遅い程臓器モデルの表示拡大率を大きくするカテゴリ表示を行うための表示データを生成するようになっていてもよい。
【0070】
図１３は移動速度に応じて、臓器モデルの表示拡大率を変更する例を示している。図１３の例では、臓器モデル表示ＩＴ５Ｓは、撮像素子３１の移動速度が所定の高速の場合における表示を示しており、臓器モデル表示ＩＴ５Ｌは、撮像素子３１の移動速度が所定の低速の場合における表示を示している。
【0071】
臓器モデル表示ＩＴ５Ｓ，ＩＴ５Ｌは、例えば、同一被検体の腸管の臓器モデルに基づくものである。例えば、術者が挿入部３３を腸管内に挿入し抜去することによってプロセッサ２０により腸管の臓器モデルを作成する。術者は、挿入部３３を腸管から引き抜きながら腸管内の検査を行う。なお、図１３において矢印は、撮像素子３１の撮像方向を示している。即ち、図１３の例では、作成する臓器モデルのうち主に撮像方向の所定範囲の臓器モデルを表示する例を示している。
【0072】
臓器モデル表示ＩＴ５Ｓは、臓器モデルの先端から略撮像素子３１の位置までの比較的広い範囲の臓器モデルを比較的小さい表示拡大率で表示していることを示している。また、臓器モデル表示ＩＴ５Ｌは、撮像素子３１の位置近傍の比較的狭い範囲の臓器モデルを比較的大きい表示拡大率で表示していることを示している。
【0073】
例えば、挿入部３３を比較的高速に挿抜する場合には、例えば臓器モデル表示ＩＴ５Ｓのように臓器モデルの比較的広い範囲が表示されることから、移動の確認が容易となる。一方、撮像素子３１により所望の観察対象領域を詳細に確認する場合等においては、挿入部３３の挿抜の速度は比較的低速となり、臓器モデル表示ＩＴ５Ｌのように臓器モデルの比較的狭い範囲が大きな表示拡大率で表示されることから、所望の観察対象領域を詳細に確認することが可能となる。
【0074】
このようにこの変形例では、撮像素子３１の移動速度に応じた表示拡大率で臓器モデルを表示することから、観察対象領域の観察が容易となる。
【0075】
（変形例）
図１４は変形例を示すフローチャートである。また、図１５は図１４の変形例を説明するための説明図である。本変形例のハードウェア構成は第１の実施形態と同様である。この変形例は、撮像素子３１が臓器間を移動する場合に表示する臓器モデルを切換えるものである。なお、図１５中の矢印の向きは、撮像素子３１による撮像方向を示している。
図１４は変形例を示すフローチャートである。また、図１５は図１４の変形例を説明するための説明図である。本変形例のハードウェア構成は第１の実施形態と同様である。この変形例は、撮像素子３１が臓器間を移動する場合に表示する臓器モデルを切換えるものである。なお、図１５中の矢印の向きは、撮像素子３１による撮像方向を示している。
【0076】
表示内容制御部２７は、第１の実施形態と同様の表示制御に加えて、撮像素子３１による検査画像に応じて臓器の切換りを判定して、臓器モデル表示を切換える。表示内容制御部２７は、図１４のステップＳ３１において、検査画像を取り込む。表示内容制御部２７は、検査画像と臓器同士の切換り部とを比較し（ステップＳ３２）、検査画像が切換り部の画像であるか否かを判定する。例えば、表示内容制御部２７は、ＡＩ（人工知能）を利用して臓器同士の切換り部を判定してもよい。例えば、臓器同士が接する部分（切換り部）の複数の検査画像を取得し、当該検査画像を教師データとして深層学習を行うことにより、推論モデルを生成しておく。表示内容制御部２７はこの推論モデルを用いることで、検査画像が切換り部であるか否かを判定して、判定結果を得るものであってもよい。
【0077】
表示内容制御部２７は、先端部３３ｃ（撮像素子３１）が切換り部を通過したことを検出すると（ステップＳ３３）、切換り前に表示している臓器モデルに代えて、切換り後の臓器についての臓器モデルを表示するための表示データを生成する（ステップＳ３４）。
【0078】
図１５は臓器モデルの切換えを説明するためものである。図１５の例は食道の臓器モデルから胃の臓器モデルへの変更の例を示している。臓器モデルＴ６は、食道の臓器モデルを示し、臓器モデルＴ７は、胃の臓器モデルを示している。例えば、挿入部３３を食道から胃に向かって挿入する場合には、撮像素子３１は図１５の矢印に示す方向に進行しながら食道を撮像する。これにより、図１５の左側に示すように、撮像素子３１からの検査画像に基づいて臓器モデルＴ６が順次作成される。撮像素子３１が食道と胃の境界である切換り部Ｔ６Ｌ近傍に到達すると、撮像素子３１により切換り部Ｔ６Ｌが撮像される（図１５の中央)。更に、撮像素子３１が矢印方向に進行すると、先端部３３ｃは切換り部切換り部Ｔ６Ｌを通過する。そうすると、図１７の右側に示すように、表示内容制御部２７は、先端部３３ｃが食道と胃の切換り部Ｔ６Ｌを通過したことを検出し、表示するモデル画像を臓器モデルＴ７に切換えて表示する。
【0079】
このようにこの変形例では、撮像素子３１が臓器間を移動する毎に、移動する臓器に応じた臓器モデルを表示するようになっており、観察対象領域の観察が容易となる。なお、図１４の例では、切換り部の画像によって、先端部３３ｃが次の臓器に移動したことを検出する例を示したが、先端部３３ｃが臓器間を移動したことの検出方法としては各種の方法を採用することができる。例えば、食道から胃への移動の検出は、管腔サイズを求め、管腔が所定倍のサイズに変化したことによって、食道から胃への移動を検出するようになっていてもよい。
【0080】
なお、図１５の例では、臓器モデル表示の表示の向きを示していないが、第１の実施形態と同様に、表示する臓器モデルの天地を検査画面の天地に一致させた臓器モデル表示を表示する。
【0081】
（変形例）
図１６及び図１７は変形例を示す説明図である。図１６は上記実施形態及び各変形例における臓器モデル表示上に撮像素子３１による撮影領域を示す表示を加えたものである。また、図１７は上記各臓器モデル表示上に、現在の内視鏡先端の位置及び姿勢を示す表示を加えたものである。
図１６及び図１７は変形例を示す説明図である。図１６は上記実施形態及び各変形例における臓器モデル表示上に撮像素子３１による撮影領域を示す表示を加えたものである。また、図１７は上記各臓器モデル表示上に、現在の内視鏡先端の位置及び姿勢を示す表示を加えたものである。
【0082】
表示内容制御部２７は、図１６及び図１７に示す臓器モデル表示を行うための表示データを作成する。図１６において、臓器モデル表示ＩＴ７は、管腔の臓器モデルＩＴ７ａｉと先端部３３ｃの画像３３ｃｉ３と撮影領域の画像ＩＴ７ｂｉとを含む。術者は、図１６の臓器モデル表示によって、現在の撮影領域を容易に認識することができる。
【0083】
図１７において、臓器モデル表示ＩＴ８は、管腔の臓器モデルＩＴ８ａｉの画像と先端部３３ｃの画像３３ｃｉ４とを含む。画像３３ｃｉ４は、４角錐の底面によって、撮像素子３１の撮像面に平行な面を表しており、例えば、挿入部３３の管腔への挿入によって、四角錐の頂点から底面の中心に向かう方向に先端部３３ｃの中心軸が配置され、撮像素子３１の撮像方向が四角錐の頂点から底面の中心に向かう方向に向かっていることを示している。術者は、図１７の臓器モデル表示によって、現在の内視鏡３０先端の挿入方向及び撮影方向を容易に認識することができる。なお、図１７では、先端部３３ｃを四角錐で示したが、どのような形状で示してもよく、例えば、実際の先端部３３ｃの形状に応じた形状の画像を表示してもよい。
(変形例)
図１８は変形例を示すフローチャートである。本変形例のハードウェア構成は第１の実施形態と同様である。この変形例は、未観察領域の表示のオン、オフを制御するものである。
(変形例)
図１８は変形例を示すフローチャートである。本変形例のハードウェア構成は第１の実施形態と同様である。この変形例は、未観察領域の表示のオン、オフを制御するものである。
【0084】
図１８のステップＳ４１において、モデル生成部２５は臓器モデルを生成する。表示内容制御部２７は、臓器モデル表示のための表示データを生成する。モニタ６０の表示画面６０ａ上には、臓器モデルが表示される。未観察領域判定部２６は、ステップＳ４２において、未観察領域を検出する。
【0085】
表示内容制御部２７は、ステップＳ４３において、現在のフェーズが、臓器を観察して病変部の候補を探す観察フェーズであるか、病変部の診断を行う診断フェーズであるか、病変部に対して処置を行う処置フェーズであるかを判定する。例えば、表示内容制御部２７は、撮像素子３１と撮影対象との距離が所定の閾値以下の場合には診断フェーズと判定してもよい。また、表示内容制御部２７は、撮像素子３１の移動速度が所定の閾値速度以下の場合には診断フェーズ又は処置フェーズと判定してもよい。
【0086】
表示内容制御部２７は、フェーズの判定の結果観察フェーズであるものと判定した（Ｓ４４のＹＥＳ判定）場合には、ステップＳ４５において、臓器モデル画像に未観察領域の画像を重ねて表示し、診断フェーズ又は処置フェーズと判定した場合（Ｓ４４のＮＯ判定）には、未観察領域の画像を表示しない。
【0087】
これにより、診断や処置を行う場合に、未観察領域の表示によって、病変部を確認し難くなることを防止することができる。
【0088】
（第２の実施形態）
図１９は本発明の第２の実施形態を示すフローチャートである。本実施形態のハードウェア構成は図１から図３の第１実施形態と同様である。本実施形態は未観察領域を所定の規則に従って分類し、分類結果に応じて未観察領域の表示を制御するものである。第１の実施形態では３次元の臓器モデルの表示の向きを制御することで、未観察領域の位置の把握を容易にすることを可能にしたが、本実施形態では臓器モデルや検査画面上において未観察領域の種類毎の位置の把握を容易にするものである。
図１９は本発明の第２の実施形態を示すフローチャートである。本実施形態のハードウェア構成は図１から図３の第１実施形態と同様である。本実施形態は未観察領域を所定の規則に従って分類し、分類結果に応じて未観察領域の表示を制御するものである。第１の実施形態では３次元の臓器モデルの表示の向きを制御することで、未観察領域の位置の把握を容易にすることを可能にしたが、本実施形態では臓器モデルや検査画面上において未観察領域の種類毎の位置の把握を容易にするものである。
【0089】
本実施形態においては、未観察領域を、（１）オクルージョン領域、（２）観察時間の短い領域、（３）撮影済み領域、（４）検査画面外領域の４つの分類項目に分類することで表示を最適化する。これにより、術者は、何が原因で未観察領域になっているか等を把握することができ、次に観察すべき位置等の判断の一助とすることができる場合がある。
【0090】
（１）オクルージョン領域は、遮蔽物により未観察領域となっている領域のことであり、例えば、襞裏や残渣，泡によるオクルージョン領域が考えられる。
【0091】
（２）観察時間の短い領域は、スコープ先端の移動速度が速いことで観察できていない領域をいう。
【0092】
（３）撮影済み領域は、未観察領域から撮影済みとなった領域である。
【0093】
（４）検査画面外領域は、現在の撮像範囲外に存在する検査画面外の未観察領域のことである。
【0094】
プロセッサ２０中のＣＰＵ２１は、未観察領域を上記（１）～（４）の各領域の少なくとも１つ以上に分類する。ＣＰＵ２１は、未観察領域判定部２６から未観察領域の情報を取得すると共に、位置姿勢推定部２４から撮像素子３１の位置及び姿勢の情報を取得して、未観察領域を撮像素子３１の位置及び姿勢に基づいて分類する。ＣＰＵ２１は各領域の分類結果を表示内容制御部２７に与える。表示内容制御部２７は、（１）～（４）の未観察領域毎に設定された表示形態の表示データを作成する。
【0095】
【0096】
ＣＰＵ２１は、襞などの視野を遮るオクルージョン要素の存在によりオクルージョンとなっている可能性が高い領域（以下、オクルージョン領域と記載）を検出する。例えば、ＣＰＵ２１は、検査対象の管腔内の襞や、管腔内に存在する残渣、泡、出血等をオクルージョン要素として検出する。例えば、ＣＰＵ２１は、ＡＩを利用してオクルージョン要素を判定してもよい。例えば、オクルージョン要素を含む複数の検査画像を取得し、当該検査画像を教師データとして深層学習を行うことにより、推論モデルを生成しておく。ＣＰＵ２１はこの推論モデルを用いることで、検査画像中からオクルージョン要素及びオクルージョン領域を判定してもよい。
【0097】
図２０は管腔ＰＡ１内に襞ＰＡ１ａが存在し、この襞ＰＡ１ａがオクルージョン要素ＰＡ１ｂとなって、未観察領域ＰＡ１ｃが生じている例を示している。ＣＰＵ２１は、オクルージョン要素から先端部３３ｃの先端への方向とは逆方向に所定の距離Ｄの探索領域を設定する。図２１では、枠で囲われた探索領域ＰＡ１ｄを示している。ＣＰＵ２１は、当該探索領域ＰＡ１ｄ内に存在する未観察領域ＰＡ１ｃをオクルージョン領域に設定する。なお、ＣＰＵ２１は、オクルージョン要素毎に距離Ｄの設定を変更してもよい。ＣＰＵ２１は、オクルージョン領域についての情報を表示内容制御部２７に与える。表示内容制御部２７は、検査画面中にオクルージョン領域であることを示す表示を行う。
また、未観察領域として判定済の領域を用いてオクルージョン領域を検出する方法もある。図２０を用いて説明すると未観察領域ＰＡ１ｃと内視鏡位置とを結ぶ領域の間にオクルージョン要素ＰＡ１ｂが検出された場合に、未観察領域ＰＡ１ｃをオクルージョン領域として分類する。未観察領域をベースにオクルージョン要素を探索した場合、計算量をより減らすことができるという利点がある。
また、未観察領域として判定済の領域を用いてオクルージョン領域を検出する方法もある。図２０を用いて説明すると未観察領域ＰＡ１ｃと内視鏡位置とを結ぶ領域の間にオクルージョン要素ＰＡ１ｂが検出された場合に、未観察領域ＰＡ１ｃをオクルージョン領域として分類する。未観察領域をベースにオクルージョン要素を探索した場合、計算量をより減らすことができるという利点がある。
【0098】
図２２は表示内容制御部２７によるオクルージョン領域の表示方法の一例を示す説明図である。
【0099】
図２２の左側は、検査画面Ｉ１１内に存在するオクルージョン領域Ｉ１１ａをハッチングにより表示した例を示している。また、例えば、オクルージョン領域Ｉ１１ａを輪郭枠線、矩形枠線で表示してもよく、塗りつぶして表示してもよい。図２２の右側は、オクルージョン領域Ｉ１１ｂを矩形枠線で表示した例を示している。また、表示内容制御部２７は、オクルージョン領域をオクルージョン要素に応じた表示色で表示するようにしてもよい。
【0100】
（観察時間の短い領域）
ＣＰＵ２１は、例えば、検査画像のフレームレートと、先端部３３ｃの位置の変化から撮像素子３１の移動速度を算出する。ＣＰＵ２１は、位置姿勢推定部２４から撮像素子３１の位置の情報を取得し、未観察領域判定部２６から未観察領域の位置の情報を取得して、未観察領域を通過する撮像素子３１の移動速度を求める。
ＣＰＵ２１は、例えば、検査画像のフレームレートと、先端部３３ｃの位置の変化から撮像素子３１の移動速度を算出する。ＣＰＵ２１は、位置姿勢推定部２４から撮像素子３１の位置の情報を取得し、未観察領域判定部２６から未観察領域の位置の情報を取得して、未観察領域を通過する撮像素子３１の移動速度を求める。
【0101】
ＣＰＵ２１は、未観察領域を通過する撮像素子３１の移動速度が所定の閾値以上の場合には、当該未観察領域を観察時間の短い領域に分類する。ＣＰＵ２１は、観察時間の短い領域についての情報を表示内容制御部２７に与える。表示内容制御部２７は、検査画面中に観察時間の短い領域であることを示す表示を行う。
【0102】
表示内容制御部２７は、観察時間の短い領域については、分類されている他の分類の表示方法に準じた表示形態で表示する。なお、この場合、表示内容制御部２７は、表示色や線種類（実線/点線）を変更することで，観察時間の短い領域であることが分かるように表示する。
【0103】
（撮影済み領域）
ＣＰＵ２１は、未観察領域判定部２６から未観察領域についての情報を取得する。未観察領域判定部２６は逐次未観察領域を判定しており、未観察領域判定部２６からの情報によって、ＣＰＵ２１は、未観察領域が撮影済み領域に変化したことを把握することができる。ＣＰＵ２１は、撮影済み領域についての情報を表示内容制御部２７に与える。表示内容制御部２７は、撮影済み領域であることを示す表示を行う。また、ＣＰＵ２１は、未観察領域が撮影済領域に変化したことを所定のタイミングでユーザーに報知してもよい。
ＣＰＵ２１は、未観察領域判定部２６から未観察領域についての情報を取得する。未観察領域判定部２６は逐次未観察領域を判定しており、未観察領域判定部２６からの情報によって、ＣＰＵ２１は、未観察領域が撮影済み領域に変化したことを把握することができる。ＣＰＵ２１は、撮影済み領域についての情報を表示内容制御部２７に与える。表示内容制御部２７は、撮影済み領域であることを示す表示を行う。また、ＣＰＵ２１は、未観察領域が撮影済領域に変化したことを所定のタイミングでユーザーに報知してもよい。
【0104】
なお、ＣＰＵ２１は、未観察領域の位置を術者に通知するようになっていてもよい。術者が挿入部３３を移動させて撮像素子３１により未観察領域を撮影することで、この未観察領域は撮影済み領域に分類されることになる。
【0105】
図２３は表示内容制御部２７による撮影済み領域の表示方法の一例を示す説明図である。
【0106】
図２３の左側は、検査画面Ｉ１２Ａ内に存在するオクルージョン領域等の未観察領域Ｉ１２Ａａをハッチングにより表示した例を示している。図２３の右側の検査画面Ｉ１２Ｂは、図２３の左側の未観察領域Ｉ１２Ａａが撮影されて撮影済み領域Ｉ１２Ｂａとなったことを、破線枠線にて示している。なお、表示内容制御部２７は、未観察領域Ｉ１２Ａａの表示方法と異なる表示方法によって撮影が行われて撮影済み領域Ｉ１２Ｂａとなったことを示せればよく、図２３の表示方法に限定されるものではなく、各種表示方法を採用することができる。
【0107】
（検査画面外領域）
図２４は検査画面外領域を説明するための説明図である。
図２４は検査画面外領域を説明するための説明図である。
【0108】
図２４は管腔ＰＡ２内を先端部３３ｃ内の撮像素子３１によって撮像している状態を示している。管腔ＰＡ２の矩形の枠は撮像素子３１の撮像範囲ＰＡ２ａを示している。即ち、図２４の例では、ハッチングで示した未観察領域は、撮像範囲ＰＡ２ａの範囲外、即ち、撮像素子３１によって得られる検査画面外に存在する検査画面外領域ＰＡ２ｂである。
【0109】
ＣＰＵ２１は、モデル生成部２５及び未観察領域判定部２６から撮影領域及び未観察領域に関する情報が与えられて、撮影領域外の未観察領域を検査画面外領域として分類する。ＣＰＵ２１は、検査画面外領域の分類結果を表示内容制御部２７に出力する。表示内容制御部２７は、検査画面外領域であることを示す表示を行う。
【0110】
【0111】
図２５の上段は、検査画面Ｉ１３外に存在する検査画面外領域の方向及び距離を線分Ｉ１３ａによって表示する例を示している。線分Ｉ１３ａの表示位置及び種類により、検査画面外領域の方向及び距離を示す。即ち、線分Ｉ１３ａを検査画面Ｉ１３の４辺のいずれの辺上に配置するかによって検査画面外領域の方向を示す。また、線分Ｉ１３ａの細線、破線、太線によって検査画面外領域が、撮影範囲から近距離にあるか、中距離にあるか、遠距離にあるかを示す。図２５の上段の例では、検査画面外領域は、撮影範囲（検査画面）の天方向であって、遠距離に存在すること示している。なお、近距離、中距離、遠距離の閾値は、ＣＰＵ２１によって適宜設定変更可能である。なお、検査画面外領域までの距離及び方向については、線分の色や明るさ、太さ、長さ、種類等を変化させることで表現可能である。
【0112】
図２５の下段は、検査画面Ｉ１３外に存在する検査画面外領域の方向及び距離を矢印Ｉ１４ａによって表示する例を示している。矢印Ｉ１４ａの向き及び太さにより、検査画面外領域の方向及び距離を示す。即ち、矢印Ｉ１４ａの向きによって検査画面外領域の方向を示す。また、矢印Ｉ１４ａの太さによって検査画面外領域が、撮影範囲から近距離にあるか、中距離にあるか、遠距離にあるかを示す。図２５の下段の例では、矢印Ｉ１４ａが太いほど距離が近いことを示す。図２５の下段の例は、検査画面外領域が、撮影範囲（検査画面）の斜め天方向であって、中距離に存在すること示している。なお、近距離、中距離、遠距離の閾値は、ＣＰＵ２１によって適宜設定変更可能である。なお、検査画面外領域までの距離及び方向については、矢印の色や明るさ、太さ、長さ、種類等を変化させることで表現可能である。また、図２５では撮影範囲を基準にした検査画面外領域の方向を示す例を示したが、撮影範囲から検査画面外領域までのルートを表示するようになっていてもよい。
【0113】
図２６は検査画面外領域が位置する臓器名を示す例である。図２６においては、検査画面Ｉ１５外に存在する検査画面外領域の位置を、検査画面外領域が存在する臓器名で表している。図２６の例では、臓器名表示Ｉ１５ａにより、検査画面外領域が上行結腸の部分に存在することを示している。
【0114】
また、表示内容制御部２７は、検査画面外領域についての各種情報を検査画面上に表示してもよい。ＣＰＵ２１は、未観察領域判定部２６から情報を取得することで、検査画面外領域についての各種情報を取得し、取得した情報を表示内容制御部２７に出力する。表示内容制御部２７は、ＣＰＵ２１からの情報に基づく表示を検査画面上に表示する。
【0115】
図２７は検査画面外領域についての各種情報の表示例を示す説明図である。
【0116】
図２７の上段は、検査画面Ｉ１６外に存在する検査画面外領域の数をカテゴリ表示する例を示している。例えば、表示内容制御部２７は、検査画面外領域が５箇所以上の場合には「多」のカテゴリ表示Ｉ１６ａを表示し、検査画面外領域が５箇所未満の場合には「少」のカテゴリ表示Ｉ１６ａを表示する。図２７の上段の例は、検査画面外領域が５箇所未満であることを示している。
【0117】
【0118】
図２７の下段は、検査画面Ｉ１８外に存在する検査画面外領域のサイズをカテゴリ表示する例を示している。例えば、表示内容制御部２７は、検査画面外領域のサイズを３段階に分けて、小さいサイズから大きいサイズに向かって「小」、「中」、「大」のカテゴリ表示Ｉ１８ａを表示してもよい。図２７の下段の例は、検査画面外領域のサイズが中サイズであることを示している。
【0119】
次に、このように構成された実施形態の動作について図１９を参照して説明する。
【0120】
内視鏡装置１の電源が投入された後、挿入部３３が検査対象に挿入され、検査が開始される。撮像素子３１は、画像生成回路４０に駆動されて、患者の体内を撮像して複数枚の内視鏡画像を取得する（ステップＳ５１）。撮像素子３１からの撮像信号は画像生成回路４０に供給されて所定の画像処理が施される。画像生成回路４０は、撮像信号に基づく検査画像（内視鏡画像）を生成してモニタ６０に出力する。こうして、モニタ６０の表示画面６０ａ上に、検査画像が表示される。
【0121】
位置姿勢検出部１２は、磁場発生装置５０からの磁気センサデータを用いて内視鏡先端の位置を推定する（ステップＳ５２）。位置姿勢検出部１２が推定した内視鏡先端の位置及び姿勢は、プロセッサ２０に供給される。また、画像生成回路４０からの検査画像は、画像処理装置１０にも供給される。画像取得部１１は、受信した検査画像をプロセッサ２０に供給する。プロセッサ２０の入出力部２３により検査画像は、モデル生成部２５に供給される。モデル生成部２５は、ステップＳ５３において、臓器モデルを生成する（ステップＳ５３）。
【0122】
未観察領域判定部２６は、モデル生成部２５により生成された臓器モデルに囲まれた未観察領域を判定し（ステップＳ５４）、判定結果をＣＰＵ２１及び表示内容制御部２７に出力する。ＣＰＵ２１は、未観察領域と内視鏡先端の位置関係に基づいて、未観察領域を、オクルージョン領域、観察時間の短い領域、撮影済み領域及び検査画面外領域に分類し、分類結果を表示内容制御部２７に出力する。表示内容制御部２７は、分類結果に応じて、検査画面及び臓器モデルをモニタ６０の表示画面６０ａ上に表示する（ステップＳ５６）。
【0123】
このように、本実施形態においては、未観察領域を、オクルージョン領域、観察時間の短い領域、撮影済み領域及び検査画面外領域の４つの分類項目に分類して表示していることから、術者は、何が原因で未観察領域になっているか等を把握することができ、次に観察すべき位置等の判断の一助とすることができる。
【0124】
（第３の実施形態）
図２８は本発明の第３の実施形態を示すフローチャートである。本実施形態のハードウェア構成は図１から図３の第１実施形態と同様である。本実施形態は未観察領域を内視鏡先端からの距離、検査フェーズ、観察ルートからの関係に基づいて表示を制御するものである。
図２８は本発明の第３の実施形態を示すフローチャートである。本実施形態のハードウェア構成は図１から図３の第１実施形態と同様である。本実施形態は未観察領域を内視鏡先端からの距離、検査フェーズ、観察ルートからの関係に基づいて表示を制御するものである。
【0125】
ＣＰＵ２１は、未観察領域の表示制御のために、未観察領域と内視鏡先端との距離（ユークリッド距離）を算出する。ＣＰＵ２１は、位置姿勢推定部２４から内視鏡先端の位置情報を取得し、未観察領域判定部２６から未観察領域の位置情報を取得することで、未観察領域と内視鏡先端との距離を求める。
【0126】
また、ＣＰＵ２１は、未観察領域の表示制御のために、診断、処置フェーズを判定すると共に、挿入部３３の挿入抜去の困難な箇所を判定する。例えば、ＣＰＵ２１は、挿入や抜去の操作難易度が高い箇所における検査画像を教師データとして深層学習を行うことにより推論モデルを生成し、この推論モデルを用いることで、操作難易度が高い箇所を判定することが可能である。また、ＣＰＵ２１は、内視鏡３０からの操作信号やＡＩを用いた処置具判定等によって、術者が集中した作業を行う必要がある診断や処置のフェーズを判定してもよい。また、ＣＰＵ２１は、未観察領域の表示制御のために、観察ルートの情報を取得する。例えば、ＣＰＵ２１は、記憶部２２に観察ルートの情報を記憶させておき、位置姿勢推定部２４、モデル生成部２５及び未観察領域判定部２６の出力を利用することで、観察ルート上のいずれの位置を観察中であるかを判定することが可能である。また、ＣＰＵ２１は、ユーザーに対して未観察領域へ到達するための操作方法情報を出力してもよい。例えば内視鏡先端をアップさせる、内視鏡を引き戻す、内視鏡を押し込むなどの情報を出力しても良い。
【0127】
ＣＰＵ２１は、取得した各種情報を表示内容制御部２７に出力する。表示内容制御部２７は、ＣＰＵ２１からの各種情報に基づいて、未観察領域の表示を制御する。
【0128】
（距離表示制御）
図２９は管腔ＰＡ３内を先端部３３ｃ内の撮像素子３１によって撮像している状態を示す説明図である。管腔ＰＡ３にはハッチングで示した未観察領域ＰＡ３ａが存在する。ＣＰＵ２１は、モデル生成時に算出した未観察領域ＰＡ３ａの座標と内視鏡先端の座標とのユークリッド距離を、撮像素子３１と未観察領域ＰＡ３ａとの間の距離ｄとして算出する。ＣＰＵ２１は、距離ｄの情報を表示内容制御部２７に出力する。また、ＣＰＵ２１は、表示のオン、オフを決定するための閾値θを生成して表示内容制御部２７に出力する。
図２９は管腔ＰＡ３内を先端部３３ｃ内の撮像素子３１によって撮像している状態を示す説明図である。管腔ＰＡ３にはハッチングで示した未観察領域ＰＡ３ａが存在する。ＣＰＵ２１は、モデル生成時に算出した未観察領域ＰＡ３ａの座標と内視鏡先端の座標とのユークリッド距離を、撮像素子３１と未観察領域ＰＡ３ａとの間の距離ｄとして算出する。ＣＰＵ２１は、距離ｄの情報を表示内容制御部２７に出力する。また、ＣＰＵ２１は、表示のオン、オフを決定するための閾値θを生成して表示内容制御部２７に出力する。
【0129】
臓器モデル生成の過程においては、撮像素子３１の近傍の領域は未観察領域となる部分が多く、撮像素子３１近傍の領域を未観察領域として検査画面上に表示すると、観察部位の視認性が低下し、観察し難くなることが考えられる。そこで、本実施形態では閾値θよりも近い距離に存在する未観察領域については表示しないように制御する。
【0130】
表示内容制御部２７は、未観察領域判定部２６から未観察領域についての情報が与えられると共に、ＣＰＵ２１から各未観察領域に距離ｄ及び閾値θの情報が与えられる。表示内容制御部２７は、未観察領域との距離ｄが閾値θを超えた場合には、当該未観察領域を検査画面上に表示する。
【0131】
また、ＣＰＵ２１は、撮像素子３１が操作難易度の高い部位を通過する前に閾値θの値を小さくする。例えば、大腸検査において、Ｓ状結腸や脾彎曲部等のように、挿入部３３の挿入や抜去の難しい部位の手前では閾値θを小さくする。これにより、検査画面上には、撮像素子３１から比較的近い距離の未観察領域も表示されることになる。術者は、未観察領域がなくなるように、挿入部３３の湾曲操作を行う。これにより、このような部位において未観察領域が見過ごされ難くなり、挿入部３３の挿入、抜去を何度も繰り返してしまうことを防ぐことができる。
【0132】
また、ＣＰＵ２１は、診断や処置の直後は閾値θを小さくする。診断や処置時等においては、術者は一定箇所に一定時間集中して作業を行うことが多い。そうすると、このような箇所の作業の前に観察すべきと記憶していた未観察領域について、観察し忘れてしまうことが考えられる。そこで、このような処置の直後においては、撮像素子３１から比較的近い距離の未観察領域も表示する。例えば、ＣＰＵ２１は、通常光観察とＮＢＩ（狭帯域光）観察の切換えや、拡大、縮小操作等の検出、ＡＩを用いた処置具検出等によって、このようなフェーズを認識して閾値θを小さくする。
【0133】
（視点制御）
図３０は距離ｄに応じた視点制御を説明するための説明図である。表示内容制御部２７は、距離ｄに応じて、臓器モデルの表示視点を制御してもよい。
図３０は距離ｄに応じた視点制御を説明するための説明図である。表示内容制御部２７は、距離ｄに応じて、臓器モデルの表示視点を制御してもよい。
【0134】
図３０の上段は、距離ｄが比較的小さい場合の臓器モデル表示ＩＴ１１を示しており、図３０の下段は、距離ｄが比較的大きい場合の臓器モデル表示ＩＴ１２を示している。図３０の上段に示す臓器モデル表示ＩＴ１１は、管腔の臓器モデルの画像ＩＴ１１ａｉと撮像素子３１の画像３３ａｉと、未観察領域の画像Ｒｕ１１とを含み、撮像素子３１の進行方向の視点で表示したものである。
【0135】
図３０の下段に示す臓器モデル表示ＩＴ１２は、管腔の臓器モデルの画像ＩＴ１２ａｉと撮像素子３１の画像３３ｂｉと、未観察領域の画像Ｒｕ１２とを含み、臓器モデル表示ＩＴ１２を俯瞰した視点で表示したものである。
【0136】
（拡大率制御）
図３１は距離ｄに応じた拡大率制御を説明するための説明図である。表示内容制御部２７は、距離ｄに応じて、臓器モデルの拡大率を制御してもよい。
図３１は距離ｄに応じた拡大率制御を説明するための説明図である。表示内容制御部２７は、距離ｄに応じて、臓器モデルの拡大率を制御してもよい。
【0137】
図３１の上段臓器モデル表示ＩＴ１３Ｌは、撮像素子３１と未観察領域との距離ｄが比較的小さい場合における表示を示しており、臓器モデル表示ＩＴ１３Ｓは、撮像素子３１の未観察領域との距離ｄが比較的大きい場合における表示を示している。
【0138】
臓器モデル表示ＩＴ１３Ｓ，ＩＴ１３Ｌは、例えば、同一被検体の腸管の臓器モデルに基づくものである。臓器モデル表示ＩＴ１３Ｓは、臓器モデルの先端から略撮像素子３１の位置までの比較的広い範囲の臓器モデルを比較的小さい表示拡大率で表示していることを示している。臓器モデル表示ＩＴ１３Ｓは、臓器モデルの画像ＩＴ１３Ｓｉと撮像素子３１の画像３１ｂＳｉと未観察領域の画像Ｒｕ１３Ｓとを含む。
【0139】
また、臓器モデル表示ＩＴ５Ｌは、撮像素子３１の位置近傍の比較的狭い範囲の臓器モデルを比較的大きい表示拡大率で表示していることを示している。臓器モデル表示ＩＴ１３Ｌは、臓器モデルの画像ＩＴ１３Ｌｉと撮像素子３１の画像３１ｂＬｉと未観察領域の画像Ｒｕ１３Ｌとを含む。
【0140】
（強調）
図３２は距離に応じた強調表示を説明するための説明図である。表示内容制御部２７は、距離ｄに応じて、未観察領域の強調度合いを制御してもよい。
図３２は距離に応じた強調表示を説明するための説明図である。表示内容制御部２７は、距離ｄに応じて、未観察領域の強調度合いを制御してもよい。
【0141】
図３２の左側は、検査画面Ｉ３１内に存在する未観察領域を四角枠の画像Ｉ３１ａによって示している。この未観察領域と撮像素子３１との距離ｄは、撮像素子３１が移動することによって変化する。図３２の中央はこの場合の検査画面Ｉ３２の例を示しており、撮像素子３１の移動によって距離ｄが大きくなった例を示している。表示内容制御部２７は、距離ｄが第１の閾値以上になった場合には、未観察領域を示す四角枠の画像Ｉ３２ａを点滅表示してもよい。
【0142】
撮像素子３１が移動することによって距離ｄが更に大きくなるものとする。図３２の右側はこの場合の検査画面Ｉ３３の表示例を示している。表示内容制御部２７は、距離ｄが第１の閾値以上の場合には、未観察領域を示す四角枠の画像Ｉ３３ａの点滅速度を距離ｄに応じて速くする。
【0143】
このような未観察領域の強調表示によって、術者が未観察領域を見落としてしまうことを防止する。なお、点滅制御だけでなく、輝度の変化や四角枠の太さを変化させる等の各種強調表示を採用してもよい。
【0144】
（観察ルート逸脱）
図３３は観察ルートに応じた表示制御を説明するための説明図である。表示内容制御部２７は、観察ルートに応じて、臓器モデルの表示制御を行ってもよい。
図３３は観察ルートに応じた表示制御を説明するための説明図である。表示内容制御部２７は、観察ルートに応じて、臓器モデルの表示制御を行ってもよい。
【0145】
ＣＰＵ２１は、臓器の観察ルートの情報を取得し、取得した情報を表示内容制御部２７に出力する。表示内容制御部２７は、内視鏡先端位置の領域の観察ルート順番と、未観察領域位置の観察ルート順番とを比較して、未観察領域位置の観察ルート順番が後の場合には当該未観察領域は表示しない。
【0146】
図３３は胃の臓器モデル表示ＩＴ１４ｉを示している。なお、臓器モデル表示ＩＴ１４ｉ中の区画及び各区画中の数字は、観察ルートの順番を示すものであり、画面上では表示は省略される。図３３の中段においてハッチングの画像ＩＴ１４ａｉは未観察領域が区画２に存在することを示しており、図３３の下段においてハッチングの画像ＩＴ１４ｂｉは未観察領域が区画５に存在することを示している。
【0147】
このように、区画２及び区画５に、未観察領域が存在するものとする。撮像素子３１による観察は、区画１から区画の番号順に行われる。いま、撮像素子３１が区画２に位置して区画２の領域を観察中であるものとする。この場合には、図３３の中段に示すように、表示内容制御部２７は、区画２の未観察領域を示す画像ＩＴ１４ａｉを表示し、観察中の区画よりも観察ルート順番が後の区画５の未観察領域については表示しない。
【0148】
観察が進んで、撮像素子３１が区画５に到達して区画５の領域を観察する状態になるものとする。そうすると、図３３の下段に示すように、表示内容制御部２７は、区画５の未観察領域を示す画像ＩＴ１４ｂｉを表示する。
【0149】
このように、観察ルートに応じて未観察領域の表示を制御していることから、観察をスムーズに行いやすくなる。
【0150】
なお、図３３の例では、現在観察中の区画よりも観察ルート順番が後の区画については未観察領域を表示しない例を示したが、低輝度で表示する等の手法を採用してもよい。
【0151】
次に、このように構成された実施形態の動作について図２８を参照して説明する。
【0152】
内視鏡装置１の電源が投入された後、挿入部３３が検査対象に挿入され、検査が開始される。撮像素子３１は、画像生成回路４０に駆動されて、患者の体内を撮像して複数枚の内視鏡画像を取得する（ステップＳ６１）。撮像素子３１からの撮像信号は画像生成回路４０に供給されて所定の画像処理が施される。画像生成回路４０は、撮像信号に基づく検査画像（内視鏡画像）を生成してモニタ６０に出力する。こうして、モニタ６０の表示画面６０ａ上に、検査画像が表示される。
【0153】
画像生成回路４０からの検査画像は、画像処理装置１０にも供給される。画像取得部１１は、受信した検査画像をプロセッサ２０に供給する。プロセッサ２０の入出力部２３により検査画像は、位置姿勢推定部２４及びモデル生成部２５に供給される。モデル生成部２５は、臓器モデルを生成し（ステップＳ６２）、位置姿勢推定部２４は、内視鏡先端位置を求める（ステップＳ６３）。
【0154】
未観察領域判定部２６は、モデル生成部２５により生成された臓器モデルに囲まれた未観察領域を判定し（ステップＳ６４）、判定結果をＣＰＵ２１及び表示内容制御部２７に出力する。ＣＰＵ２１は、未観察領域と内視鏡先端の位置関係に基づいて、未観察領域と内視鏡先端との間の距離ｄを算出すると共に閾値θを求める。ＣＰＵ２１は、距離ｄ及び閾値θを表示内容制御部２７に出力して表示を制御する（ステップＳ６５）。
【0155】
ＣＰＵ２１は、検査フェーズを判定し、判定結果を表示内容制御部２７に与えて表示を制御する（ステップＳ６６）。また、ＣＰＵ２１は、各未観察領域について観察ルートから逸脱した未観察領域であるか否かを判定し、判定結果を表示内容制御部２７に与えて表示を制御する（ステップＳ６７）。表示内容制御部２７は、ＣＰＵ２１の出力に基づいて表示を制御する（ステップＳ６８）。なお、ステップＳ６５～Ｓ６８については、これらの処理の少なくとも１つを実行すればよく、また、実行順も特に限定されるものではない。
【0156】
このように、本実施形態においては、内視鏡先端との距離、検査フェーズ、観察ルートに基づいて未観察領域の表示を制御していることから、術者は、検査画面や臓器モデルによる観察がしやすくなるという効果がある。
【0157】
本発明は、上記各実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】