ホーム > 特許ランキング > 国立大学法人名古屋大学
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5736620
(24)【登録日】2015年5月1日
(45)【発行日】2015年6月17日
(54)【発明の名称】全球型視野をもつ仮想内視鏡装置
(51)【国際特許分類】
A61B 6/03 20060101AFI20150528BHJP
【ＦＩ】
A61B6/03 360G
【請求項の数】7
【全頁数】35
(21)【出願番号】特願2013-246797(P2013-246797)
(22)【出願日】2013年11月28日
(62)【分割の表示】特願2010-83569(P2010-83569)の分割
【原出願日】2010年3月31日
(65)【公開番号】特開2014-36904(P2014-36904A)
(43)【公開日】2014年2月27日
【審査請求日】2014年1月6日
(73)【特許権者】
【識別番号】504139662
【氏名又は名称】国立大学法人名古屋大学
(74)【代理人】
【識別番号】100085361
【弁理士】
【氏名又は名称】池田 治幸
(74)【代理人】
【識別番号】100147669
【弁理士】
【氏名又は名称】池田 光治郎
(72)【発明者】
【氏名】森 健策
【審査官】
伊藤 昭治
(56)【参考文献】
【文献】
特開２００１−１９５９９１（ＪＰ，Ａ）
【文献】
特開２００１−０８４４０９（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ａ６１Ｂ １／００ − １／３２
Ａ６１Ｂ ６／００ − ６／１４
(57)【特許請求の範囲】
【請求項1】
被検体の３次元画像データに基づき、内視鏡が該被検体内に挿入された場合に得られる仮想内視鏡画像を仮想的に生成する仮想内視鏡画像生成手段と、少なくとも該仮想内視鏡画像生成手段により生成された仮想内視鏡画像を表示する表示手段とを有する仮想内視鏡装置であって、
前記仮想内視鏡画像生成手段は、視点位置を球状に取り囲む視野を有する球型仮想内視鏡画像、および、該視点位置から透視法によって生成される透視型仮想内視鏡画像を生成するものであり、
前記仮想内視鏡装置は、
前記被検体の３次元画像データから、予め設定された特徴を含む特徴部位を抽出する特徴部位抽出手段と、
前記特徴部位抽出手段によって抽出された特徴部位が前記仮想内視鏡画像に表示される場合に、前記透視型仮想内視鏡画像から前記球型仮想内視鏡画像に切り換えて表示する表示切換手段と、を有することを特徴とする仮想内視鏡装置。
前記仮想内視鏡画像生成手段は、視点位置を球状に取り囲む視野を有する球型仮想内視鏡画像、および、該視点位置から透視法によって生成される透視型仮想内視鏡画像を生成するものであり、
前記仮想内視鏡装置は、
前記被検体の３次元画像データから、予め設定された特徴を含む特徴部位を抽出する特徴部位抽出手段と、
前記特徴部位抽出手段によって抽出された特徴部位が前記仮想内視鏡画像に表示される場合に、前記透視型仮想内視鏡画像から前記球型仮想内視鏡画像に切り換えて表示する表示切換手段と、を有することを特徴とする仮想内視鏡装置。
【請求項2】
前記表示切換手段は、入力装置を介したユーザ指示に基づいて切換を行なうこと、を特徴とする請求項１に記載の仮想内視鏡装置。
【請求項3】
被検体の３次元画像データに基づき、内視鏡が該被検体内に挿入された場合に得られる仮想内視鏡画像を仮想的に生成する仮想内視鏡画像生成手段と、少なくとも該仮想内視鏡画像生成手段により生成された仮想内視鏡画像を表示する表示手段とを有する仮想内視鏡装置であって、
前記仮想内視鏡画像生成手段は、視点位置を球状に取り囲む視野を有する球型仮想内視鏡画像、および、該視点位置から透視法によって生成される透視型仮想内視鏡画像を生成するものであり、
前記表示手段は、前記仮想内視鏡画像の球型仮想内視鏡画像および透視型仮想内視鏡画像とを対比可能に表示するとともに、該仮想内視鏡画像と前記３次元画像データから生成される被検体の断層画像とを関連づけられて表示すること、を特徴とする仮想内視鏡装置。
前記仮想内視鏡画像生成手段は、視点位置を球状に取り囲む視野を有する球型仮想内視鏡画像、および、該視点位置から透視法によって生成される透視型仮想内視鏡画像を生成するものであり、
前記表示手段は、前記仮想内視鏡画像の球型仮想内視鏡画像および透視型仮想内視鏡画像とを対比可能に表示するとともに、該仮想内視鏡画像と前記３次元画像データから生成される被検体の断層画像とを関連づけられて表示すること、を特徴とする仮想内視鏡装置。
【請求項4】
前記表示手段は、被検体の共通する部位を複数の方法によって表示される異なる画像を同一画面に表示すること、を特徴とする請求項３に記載の仮想内視鏡装置。
【請求項5】
被検体の３次元画像データに基づき、内視鏡が該被検体内に挿入された場合に得られる仮想内視鏡画像を仮想的に生成する仮想内視鏡画像生成手段と、少なくとも該仮想内視鏡画像生成手段により生成された仮想内視鏡画像を表示する表示手段とを有する仮想内視鏡装置であって、
前記仮想内視鏡画像生成手段は、視点位置を球状に取り囲む視野を有する球型仮想内視鏡画像を生成するものであり、
前記仮想内視鏡画像生成手段は、予め設定された最大視野角の球型仮想内視鏡画像を生成するものであり、
前記仮想内視鏡画像生成手段は、前記球型仮想内視鏡画像に加え、前記視点位置から透視法によって生成される透視型仮想内視鏡画像を生成可能であり、
前記表示手段は、前記球型仮想内視鏡画像と、前記透視型仮想内視鏡画像とを、前記最大視野角に基づいて自動的に切り換えて表示すること、を特徴とする仮想内視鏡装置。
前記仮想内視鏡画像生成手段は、視点位置を球状に取り囲む視野を有する球型仮想内視鏡画像を生成するものであり、
前記仮想内視鏡画像生成手段は、予め設定された最大視野角の球型仮想内視鏡画像を生成するものであり、
前記仮想内視鏡画像生成手段は、前記球型仮想内視鏡画像に加え、前記視点位置から透視法によって生成される透視型仮想内視鏡画像を生成可能であり、
前記表示手段は、前記球型仮想内視鏡画像と、前記透視型仮想内視鏡画像とを、前記最大視野角に基づいて自動的に切り換えて表示すること、を特徴とする仮想内視鏡装置。
【請求項6】
被検体の３次元画像データに基づき、内視鏡が該被検体内に挿入された場合に得られる仮想内視鏡画像を仮想的に生成する仮想内視鏡画像生成手段と、少なくとも該仮想内視鏡画像生成手段により生成された仮想内視鏡画像を表示する表示手段とを有する仮想内視鏡装置であって、
前記仮想内視鏡画像生成手段は、視点位置を球状に取り囲む視野を有する球型仮想内視鏡画像、および、該視点位置から透視法によって生成される透視型仮想内視鏡画像を生成するものであり、
前記仮想内視鏡画像生成手段は、予め設定された最大視野角の球型仮想内視鏡画像を生成するものであり、
前記表示手段は、前記仮想内視鏡画像の球型仮想内視鏡画像および透視型仮想内視鏡画像とを対比可能に表示するものであり、
前記最大視野角は、連続的に変化させられること、を特徴とする仮想内視鏡装置。
前記仮想内視鏡画像生成手段は、視点位置を球状に取り囲む視野を有する球型仮想内視鏡画像、および、該視点位置から透視法によって生成される透視型仮想内視鏡画像を生成するものであり、
前記仮想内視鏡画像生成手段は、予め設定された最大視野角の球型仮想内視鏡画像を生成するものであり、
前記表示手段は、前記仮想内視鏡画像の球型仮想内視鏡画像および透視型仮想内視鏡画像とを対比可能に表示するものであり、
前記最大視野角は、連続的に変化させられること、を特徴とする仮想内視鏡装置。
【請求項7】
前記最大視野角は、０度より大きい値であること、を特徴とする請求項６に記載の仮想内視鏡装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被検体の３次元画像データに基づきその被検体の内視鏡画像を仮想的に生成する仮想内視鏡装置に関するものであり、特に、視点位置を球状に取り囲む視野を有する全球型仮想内視鏡画像を生成することのできる仮想内視鏡装置に関するものである。
【背景技術】
【0002】
近年、医療分野において、Ｘ線ＣＴ（ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）装置や磁気共鳴（ＭＲＩ；ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）装置などによって得られる被検体の画像を用いた診断や検査が広く行なわれている。前記ＣＴ装置においては、Ｘ線照射器・検出器を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、その被検体の３次元領域についてらせん状の連続スキャン（ヘリカルスキャン）が行なわれる。このようにして得られる３次元領域における濃淡画像データ（３次元画像データ）は、例えば、３次元濃淡画像の濃度値の空間的な分布状態を３次元画像の各サンプル点に対して与える不透明度および色情報から描画する方法であるボリュームレンダリングと呼ばれる手法により、３次元画像として可視化される。
【0003】
３次元画像によれば、前記Ｘ線ＣＴ装置によって得られる３次元画像データに基づき、被検体の内視鏡画像を仮想的に生成することが可能となる。このような仮想内視鏡画像を生成することのできる仮想内視鏡装置が提案されている。例えば非特許文献１に記載の仮想内視鏡装置がそれである。かかる仮想内視鏡装置によれば、実際に被検体に内視鏡を挿入することなく内視鏡画像が得られるため、被検体の負担が軽減される。一方検査を行なう医師等においては、内視鏡と同様の画像が得られるため、従来内視鏡を用いて行なっていた場合と同様の感覚や技能により検査などを行なうことができる。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Kensaku Mori, Akihiro Urano, Jun-ichi Hasegawa, Jun-ichiro Toriwaki, Hirofumi Anno and Kazuhiro Katada、“Virtualized endoscope system - an application of virtual reality technology to diagnostic aid,”、IEICE Transactions Information and Systems、１９９６年６月、Vol.E79-D、No.6、p.809-819
【非特許文献2】Masahiro Oda, Takayuki Kitasaka, Yuichiro Hayashi, Kensaku Mori, Yasuhito Suenaga, and Jun-ichiro Toriwaki, “Development of a Navigation-Based CAD System for Colon,”、8th International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI 2005), Palm Springs, CA, USA, October 26-30, 2005, Proceedings Part I, LNCS 3749, Gerhard Goos, Juris Hartmanis,and Jan van Leeuwen (Eds.)、２００５年１０月、pp.696-703
【非特許文献3】森 健策, 末永 康仁, 鳥脇 純一郎, 橋爪 誠、“腹腔鏡下手術支援のための仮想腹腔鏡像作成に関する検討,”、日本コンピュータ外科学会誌,、２００５年９月、Vol.7, No.2, pp.95-104
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、従来の仮想内視鏡装置の多くにおいては、最大視野角が例えば１００度乃至１３０度程度の透視法（透視投影法）を用いたものであった。このようにすれば実際の内視鏡を用いて光学的に得られる内視鏡画像と近似した仮想内視鏡画像が得られる。一方、非特許文献２に記載のように、仮想内視鏡装置が大腸ポリープ診断システムに適用される場合においては、たとえば被検体の一部位である大腸などにおいて多くのひだが存在しており、視点から見た場合にひだの影に隠れた位置に存在する病変などを見落とす可能性があった。また、非特許文献３に記載のように、仮想内視鏡装置が仮想腹腔鏡として用いられる場合においては、鉗子等の挿入位置の決定などの施術支援においては、視野角が狭く得られる仮想内視鏡画像が不十分であった。
【0006】
しかしながら、一度に観察できる範囲を広げるために視野角を広げようとすると、仮想内視鏡画像における歪みが非常に大きくなり、その仮想内視鏡画像は検査や手術支援のために用いることができないものとなるという問題があった。また、前記透視法によれば、最大視野角を１８０度以上とすることは理論的に不可能であった。
【0007】
本発明は以上の事情を背景として為されたもので、その目的とするところは、最大視野角が１８０度以上である仮想内視鏡画像を生成可能な仮想内視鏡装置を提供することにある。
【課題を解決するための手段】
【0008】
かかる目的を達成するための請求項１にかかる発明は、被検体の３次元画像データに基づき、内視鏡が該被検体内に挿入された場合に得られる仮想内視鏡画像を仮想的に生成する仮想内視鏡画像生成手段と、少なくとも該仮想内視鏡画像生成手段により生成された仮想内視鏡画像を表示する表示手段とを有する仮想内視鏡装置であって、前記仮想内視鏡画像生成手段は、視点位置を球状に取り囲む視野を有する球型仮想内視鏡画像、および、該視点位置から透視法によって生成される透視型仮想内視鏡画像を生成するものであり、前記仮想内視鏡装置は、前記被検体の３次元画像データから、予め設定された特徴を含む特徴部位を抽出する特徴部位抽出手段と、前記特徴部位抽出手段によって抽出された特徴部位が前記仮想内視鏡画像に表示される場合に、前記透視型仮想内視鏡画像から前記球型仮想内視鏡画像に切り換えて表示する表示切換手段と、を有することを特徴とする。また、請求項２にかかる発明は、前記表示切換手段は、入力装置を介したユーザ指示に基づいて切換を行なうこと、を特徴とする。【0009】
請求項３にかかる発明は、被検体の３次元画像データに基づき、内視鏡が該被検体内に挿入された場合に得られる仮想内視鏡画像を仮想的に生成する仮想内視鏡画像生成手段と、少なくとも該仮想内視鏡画像生成手段により生成された仮想内視鏡画像を表示する表示手段とを有する仮想内視鏡装置であって、前記仮想内視鏡画像生成手段は、視点位置を球状に取り囲む視野を有する球型仮想内視鏡画像、および、該視点位置から透視法によって生成される透視型仮想内視鏡画像を生成するものであり、前記表示手段は、前記仮想内視鏡画像の球型仮想内視鏡画像および透視型仮想内視鏡画像とを対比可能に表示するとともに、該仮想内視鏡画像と前記３次元画像データから生成される被検体の断層画像とを関連づけられて表示すること、を特徴とする。また、請求項４にかかる発明は、前記表示手段は、被検体の共通する部位を複数の方法によって表示される異なる画像を同一画面に表示すること、を特徴とする。また、請求項５にかかる発明は、被検体の３次元画像データに基づき、内視鏡が該被検体内に挿入された場合に得られる仮想内視鏡画像を仮想的に生成する仮想内視鏡画像生成手段と、少なくとも該仮想内視鏡画像生成手段により生成された仮想内視鏡画像を表示する表示手段とを有する仮想内視鏡装置であって、前記仮想内視鏡画像生成手段は、視点位置を球状に取り囲む視野を有する球型仮想内視鏡画像を生成するものであり、前記仮想内視鏡画像生成手段は、予め設定された最大視野角の球型仮想内視鏡画像を生成するものであり、前記仮想内視鏡画像生成手段は、前記球型仮想内視鏡画像に加え、前記視点位置から透視法によって生成される透視型仮想内視鏡画像を生成可能であり、前記表示手段は、前記球型仮想内視鏡画像と、前記透視型仮想内視鏡画像とを、前記最大視野角に基づいて自動的に切り換えて表示すること、を特徴とする。また、請求項６にかかる発明は、被検体の３次元画像データに基づき、内視鏡が該被検体内に挿入された場合に得られる仮想内視鏡画像を仮想的に生成する仮想内視鏡画像生成手段と、少なくとも該仮想内視鏡画像生成手段により生成された仮想内視鏡画像を表示する表示手段とを有する仮想内視鏡装置であって、前記仮想内視鏡画像生成手段は、視点位置を球状に取り囲む視野を有する球型仮想内視鏡画像、および、該視点位置から透視法によって生成される透視型仮想内視鏡画像を生成するものであり、前記仮想内視鏡画像生成手段は、予め設定された最大視野角の球型仮想内視鏡画像を生成するものであり、前記表示手段は、前記仮想内視鏡画像の球型仮想内視鏡画像および透視型仮想内視鏡画像とを対比可能に表示するものであり、前記最大視野角は、連続的に変化させられること、を特徴とする。また、請求項７にかかる発明は、前記最大視野角は、０度より大きい値であること、を特徴とする。【0010】
好適には、前記仮想内視鏡装置において、前記仮想内視鏡画像生成手段は、視点位置から前記視野に対しレイを発生させることによりボリュームレンダリング法を用いて前記球型仮想内視鏡画像を生成すること、を特徴とする。【0011】
また好適には、前記仮想内視鏡装置において、前記仮想内視鏡画像生成手段は、前記視野角において、特定の角度領域を伸長あるいは圧縮した前記球型仮想内視鏡画像を生成すること、を特徴とする。【0012】
また好適には、前記仮想内視鏡装置において、前記特定の角度領域の位置及び範囲は変更可能であること、を特徴とする。【0013】
また好適には、前記仮想内視鏡装置において、前記球型仮想内視鏡画像に該特徴部位検出手段によって抽出された特徴部位が含まれる場合に、該特徴部位を含むように前記特定の角度領域を設定する特定領域設定手段をさらに有し、前記仮想内視鏡画像生成手段は、該特定領域設定手段によって設定された前記特定の角度領域を拡大して表示すること、を特徴とする。【0014】
また好適には、前記仮想内視鏡装置において、前記仮想内視鏡画像生成手段は、前記視点位置を連続的に変化させることに対応して前記球型仮想内視鏡画像を連続的に生成可能であることを特徴とする。【0015】
また好適には、前記仮想内視鏡装置において、前記表示手段は、前記球型仮想内視鏡画像と、視野角を表示する記号とを重ね合わせて表示すること、を特徴とする。【0017】
また好適には、前記仮想内視鏡画像生成手段は、前記球型仮想内視鏡画像に加え、前記視点位置から透視法によって生成される透視型仮想内視鏡画像を生成可能であり、前記表示手段は、前記球型仮想内視鏡画像と、前記透視型仮想内視鏡画像とを対比可能に表示すること、を特徴とする。【発明の効果】
【0018】
請求項１にかかる発明によれば、前記仮想内視鏡画像生成手段により、視点位置を球状に取り囲む視野を有する球型仮想内視鏡画像が生成され、前記表示手段によってその球型仮想内視鏡画像が表示されるので、前記仮想内視鏡装置により視点位置を球状に取り囲む広い視野を有する球型仮想内視鏡画像を得ることができるとともに、前記特徴部位が前記仮想内視鏡画像に表示される場合に前記球型仮想内視鏡画像に切り換えて表示されるので、その特徴部位をより視認が容易な前記球型仮想内視鏡画像において拡大表示することが可能となる。また、請求項２にかかる発明によれば、ユーザの指示に基づいて表示の切換えが行なわれることが可能になる。【0019】
請求項３に係る発明によれば、前記表示手段により、前記仮想内視鏡画像と前記３次元画像データから生成される被検体の断層画像とが関連づけられて表示されるので、両者を対比可能に観察することができ、操作者において部位の視認などが容易となる。また、請求項４に係る発明によれば、共通する部位を複数の画像により観察することが可能となる。また、請求項５に係る発明によれば、前記仮想内視鏡画像生成手段により、前記球型仮想内視鏡画像に加えて、前記視点位置から透視法によって生成される透視型仮想内視鏡画像が生成され、前記表示手段により、前記球型仮想内視鏡画像と前記透視型仮想内視鏡画像とが、最大視野角に基づいて自動的に切り換えて表示されるので、同一の視点位置において視点位置を球状に取り囲む広い視野を有する前記球型仮想内視鏡画像と、実際の内視鏡画像に近い前記透視型仮想内視鏡画像とを最大視野角に基づいて自動的に切り換えて観察することができる。また、請求項６に係る発明によれば、前記仮想内視鏡画像生成手段は、予め設定された視野角の球型仮想内視鏡画像を生成するので、視点位置を球状に取り囲む視界について、予め設定された広い視野角の球型仮想内視鏡画像を得ることができる。また、前記最大視野角は、連続的に変化させられるので、同一の視点位置において最大視野角が連続的に変化する仮想内視鏡画像が順次得られる。また、請求項７に係る発明によれば、前記最大視野角を０度より大きい値とした場合の球型仮想内視鏡画像が得られる。【0020】
好適には、前記仮想内視鏡画像生成手段は、視点位置から前記視野に対しレイを発生させることによりボリュームレンダリング法を用いて前記球型仮想内視鏡画像を生成するので、３次元画像データに基づいて視点位置を球状に取り囲む広い視野を有する球型仮想内視鏡画像を生成することができる。【0021】
また好適には、前記仮想内視鏡画像生成手段は、前記視野角において、特定の角度領域を伸長あるいは圧縮した前記球型仮想内視鏡画像を生成するので、視点位置を球状に取り囲む広い視野を有するとともに、特定の視野角の角度範囲について拡大あるいは縮小した前記球型仮想内視鏡画像を得ることができる。【0022】
また好適には、前記特定の角度領域の位置及び範囲は変更可能であるので、例えば操作者が拡大表示させたい特定の角度領域を指定することによりその角度領域を拡大した球型仮想内視鏡画像を得ることができる。【0023】
また好適には、前記特徴部位抽出手段により前記被検体の３次元画像データから、予め設定された特徴を含む特徴部位が抽出され、前記球型仮想内視鏡画像にその抽出された特徴部位が含まれる場合には前記特定領域設定手段によりその特徴部位を含むように前記特定の角度領域が設定されるとともに、前記仮想内視鏡画像生成手段により、特定領域設定手段によって設定された前記特定の角度領域が拡大して表示されるので、視点位置を球状に取り囲む広い視野を有するとともに、予め設定された特徴を含む特徴部位が拡大して表示される前記球型仮想内視鏡画像を得ることができる。【0024】
また好適には、前記仮想内視鏡画像生成手段により、前記視点位置を連続的に変化させることに対応して前記球型仮想内視鏡画像を連続的に生成されるので、連続して変化させる視点位置に対応した、その視点位置を球状に取り囲む広い視野を有する前記球型仮想内視鏡画像を得ることができる。【0025】
また好適には、前記表示手段により、前記球型仮想内視鏡画像と、視野角を表示する記号とが重ね合わせて表示されるので、視点位置を球状に取り囲む広い視野を有する前記球型仮想内視鏡画像において視野角を把握することができる。【0027】
また好適には、前記仮想内視鏡画像生成手段により、前記球型仮想内視鏡画像に加えて、前記視点位置から透視法によって生成される透視型仮想内視鏡画像を生成され、前記表示手段により、前記球型仮想内視鏡画像と、前記透視型仮想内視鏡画像とが対比可能に表示されるので、共通する視点位置から異なる方法により生成された仮想内視鏡画像を同時に参照することができ、仮想内視鏡画像の観察における利便性が向上する。
【0028】
好適には、前記全球型仮想内視鏡の視野角は連続的に変更が可能であることを特徴とする。このようにすれば同一の視点位置において視野角が連続的に変化する仮想内視鏡画像が順次得られる。
【0029】
また好適には、前記表示手段は、前記視野角に応じて視野角に応じて全球型仮想内視鏡画像と透視型仮想内視鏡画像と切り換えて表示することを特徴とする。このようにすれば、視野角に応じた仮想内視鏡画像を自動的に切り換えて表示することができる。
【0030】
また好適には、前記表示手段は、特徴部位が抽出された場合に透視型仮想内視鏡画像から全球型仮想内視鏡画像に切り換えて表示することを特徴とする。このようにすれば、前記特徴部位が表示される場合に、その特徴部位が拡大表示されることが可能な前記全球型仮想内視鏡画像に切り換えて表示される。
【0031】
また好適には、前記表示手段は、生成する全球型仮想内視鏡画像の視野角が予め設定された境界角度以上である場合に、視野角がその境界角度以上の領域については、視野角が境界角度未満である領域と色相を異ならせて全球型仮想内視鏡画像を表示することを特徴とする。このようにすれば、視野角が境界角度以上の領域、すなわち全球型仮想内視鏡画像において視点位置よりも後方に対応する領域の色相が、視野角が境界角度未満の領域、すなわち全球型仮想内視鏡画像において視点位置よりも前方に対応する領域の色相と異ならせて表示されるので、実際の内視鏡画像や従来広く用いられていた透視法による透視型仮想内視鏡においては見ることのできなかった視点位置よりも後方に対応する領域を全球型仮想内視鏡画像において区別することができる。
【図面の簡単な説明】
【0032】
【図1】本発明の一実施例である仮想内視鏡装置の構成を説明する図である。
【図3】全球型仮想内視鏡画像の概念を説明する図である。
【図4】最大視野角Φが３６０度の全球型仮想内視鏡画像の生成を説明する図である。
【図5】透視型仮想内視鏡画像の概念を説明する図である。
【図6】実施例における仮想内視鏡装置による全球型仮想内視鏡画像の制御作動の概要を説明するフローチャートである。
【図7】投影面と各座標の定義を説明する図である。
【図8】レイ方向計算サブルーチンにおける制御作動の概要を説明するフローチャートである。
【図9】θ１算出サブルーチンにおける制御作動の概要を説明するフローチャートである。
【図10】θ２算出サブルーチンにおける制御作動の概要を説明するフローチャートである。
【図11】陰影値計算サブルーチンにおける制御作動の概要を説明するフローチャートである。
【図12】規格化座標系の例を説明する図である。
【図13】規格化座標系における座標位置と原点との距離ｌに対する回転角度θ１の関係を表わす関数ｆ（ｌ）の一例を説明する図である。
【図14】レイと３次元画像との重なりを説明する図である。
【図15】サンプル点とそれを囲む８点の座標の関係を説明する図であって、不透明度の算出、あるいは陰影値の算出を説明する図である。
【図16】全球型仮想内視鏡画像と視野角を表わす表示とが重ねて表示される例を説明する図である。
【図17】本発明の仮想内視鏡装置によって得られる仮想内視鏡画像の一例である仮想腹腔鏡画像を複数の視野角について示した図である。
【図18】本発明の仮想内視鏡装置によって得られる仮想内視鏡画像の一例である大腸内視鏡画像を複数の視野角について示した図である。
【図19】対比表示手段により透視型仮想内視鏡画像と全球型仮想内視鏡画像とが対比可能に表示された場合を説明する図である。
【図20】視野角表示手段による視野角を表わす記号の表示における制御作動の一例を説明するフローチャートである。
【図21】表示切換手段における制御作動の一例を説明するフローチャートである。
【図24】本発明の別の実施例における関数ｆ（ｌ）を任意に設定する例を説明する図である。
【図25】視野角表示手段によって、前記境界角度の大きさを上回る領域の色相と、その境界角度を下回る領域の色相とが異ならされた仮想内視鏡画像の一例を示す図である。
【発明を実施するための形態】
【0033】
以下、本発明の一実施例について、図面を参照しつつ詳細に説明する。
【実施例1】
【0034】
図１に示すように、本実施例の仮想内視鏡装置１０は、予め記憶させられた情報を読み出し可能に格納するＲＯＭ１４、必要に応じて情報を読み書き可能に記憶するＲＡＭ１６、これらの情報を演算するＣＰＵ（中央演算装置）１８などによって構成され、予め記憶されたプログラムに従って演算制御可能ないわゆるコンピュータ１２などによって構成される。このコンピュータ１２においては、入力インタフェース２０を介してキーボードやマウスなどの入力装置２４が接続され、そのコンピュータ１２に対する入力操作を行なうことができる。また、出力インタフェース２２を介して接続されたディスプレイ装置などの出力装置２６が接続され、コンピュータ１２の出力を視覚により出力することができる。例えばその内部に、情報を記憶可能なハードディスクドライブなどの記憶装置２８が備えられている。記憶装置２８には、たとえばＣＴ装置により得られた被検体の３次元濃淡画像ｆ、言い換えれば、被検体の単位体積であるボクセルごとの画素値（濃度値）が記憶されている。
【0035】
図２は、前記仮想内視鏡装置１０における制御機能の概要、すなわち、ＣＰＵ１８を含むコンピュータ１２において所定のプログラムを実行することにより得られる制御機能の概要を説明するブロック図である。このうち、視点位置設定手段５０は、仮想内視鏡装置１０によって得られる仮想内視鏡画像の視点位置ｐおよび視線方向Ｌを操作者の入力装置２４を用いた操作に基づいて設定する。この視線方向Ｌは、たとえば視野の中心として定義される。また、視点位置設定手段５０は、入力装置２４を介して行われる操作に基づいて、動的に変化するように視点位置ｐおよび視線方向Ｌを変化させることができる。
【0036】
視野設定手段５２は、仮想内視鏡装置１０によって得られる仮想内視鏡画像の最大視野角Φを、操作者の入力装置２４を用いた操作に基づいて設定する。最大視野角Φは、後述する図３あるいは図５のΦに対応するもので、仮想内視鏡画像において、前記視点位置設定手段５０によって定められる視線方向Ｌに対して最も離れた一対の方向がなす角である。したがって、仮想内視鏡画像における視野角は前記視線方向Ｌと仮想内視鏡画像内のその視線方向から最も離れた方向とのなす角の２倍の角度に対応する。なお、視野角設定手段５２は、入力装置２４を介して行われる操作に基づいて、動的に変化するように最大視野角Φを設定することができる。なお、後述する仮想内視鏡画像生成手段５６の全球型画像生成手段５８によって生成される全球型仮想内視鏡画像においては、最大視野角Φの大きさは特に限定されない。一方、透視型画像生成手段６２によって生成される透視型可塑内視鏡画像においては、一般に最大視野角Φが９０度を超えると画像の歪みが大きくなり、最大視野角Φが１８０度に近づくにつれて画像が発散する。また、最大視野角Φが１８０度以上となることは理論的に不可能である。
【0037】
特定領域設定手段５４は、仮想内視鏡画像における視野角のうち、特定の角度範囲を特定領域ＳＲとして設定する。具体的にはたとえば視野角が１７９度である場合において、特定領域ＳＲを表す特定の角度範囲を、１８０度≦θ≦２２０度度のように設定する。θは前記視線方向からの角度である。特定領域設定手段５４による特定領域ＳＲの設定は、操作者の入力装置２４を用いた操作に基づいて行われる。あるいは後述する特徴部位抽出手段７２を含むように自動的に設定することもできる。具体的には、たとえば後述する特徴部位抽出手段７２によって抽出された特徴部位とあらかじめ定められた所定のマージンが含まれるように、特定領域ＳＲを設定する。より具体的には、特徴部位が仮想内視鏡画像においてθが１８８度ないし１９２度の範囲に抽出された場合において、前記所定のマージンが４度と定められている場合、特徴部位抽出手段７２は特定領域ＳＲを、前記θを用いて１８４度≦θ≦１９６度の角度範囲のように設定する。なお前記所定のマージンは、前記特徴部位が仮想内視鏡画像において良好に認識しうるように表示されるように決定される値であって、上述のように予め定められる一方、その定められた値に固定されてもよいし、その後の仮想内視鏡画像の生成が行われるにつれて可変とされてもよい。この特定領域設定手段５４によって設定される特定領域ＳＲが本発明の特定の角度範囲に対応する。
【0038】
仮想内視鏡画像生成手段５６は、前記記憶手段２８に記憶された被検体の三次元画像データ、前記視点位置設定手段７２によって設定された視点位置および視線方向、前記視野設定手段５２によって設定された最大視野角Φに基づいて、その被検体の仮想内視鏡画像を生成する。すなわち、仮想内視鏡画像生成手段５６は、前記被検体の前記視点位置に前記視線方向となるように内視鏡が挿入された場合に得られる内視鏡画像を前記三次元画像データに基づいて仮想的に生成する。本実施例においては、仮想内視鏡画像生成手段５６は、全球型仮想内視鏡画像を生成する全球型画像生成手段５８と、透視法を用いた透視型仮想内視鏡画像を生成する透視型画像生成手段６２とを機能的に有している。
【0039】
このうち全球形画像生成手段５８は、全球投影法により全球型仮想内視鏡画像を生成する。全球型仮想内視鏡画像は、視点位置設定手段７２によって設定される視点位置を、球状に取り囲む視野を有する仮想内視鏡画像である。この全球型仮想内視鏡画像における最大視野角Φは、前記視野設定手段５２によって設定される。
【0040】
図３は全球型仮想内視鏡画像の生成の概要を説明した図であって、視点位置ｐを含む一平面における視野と投影面上の画素との関係を示す図である。図３に示すように視点位置ｐおよび視線方向Ｌが設定される場合において、視点位置ｐを中心としてその視点位置ｐを球状に取り囲む仮想投影面１０２を仮想的に設定する。このとき、視線方向Ｌは投影面１０２の中央を向くように設定されている。そして、視点位置ｐから仮想投影面１０２上に配置された所定の個数の画素のそれぞれの方向に対しレイ（Ｒａｙ）を向けて、そのレイ上の各サンプル点の陰影値に不透明度を乗じながら積算することにより、前記画素のそれぞれにおける画素値を計算するいわゆるレイキャスティング法を実行する。このレイキャスティング法は、いわゆるボリュームレンダリング法の一手法である。
【0041】
全球形画像生成手段５８は、図３に示すような視点位置ｐを含む一平面について前記レイキャスティング法の実行が完了すると、前記視点位置ｐを含む平面を視線方向Ｌを中心として所定の角度だけ回転させる。そして、その回転された平面について同様にレイキャスティング法を実行する。これを前記平面が視線方向Ｌを中心にπだけ回転するまで繰り返すことにより、全球型仮想内視鏡画像が得られる。なお、前記所定の角度は、例えば投影面における画素数に応じて適宜決定される。
【0042】
図４は、最大視野角Φが３６０度である場合の全球型仮想内視鏡画像の生成を説明する別の図である。図４（ａ）は、前記平面の視線方向Ｌを中心とした回転を説明する図であり、図４（ｂ）は、その回転される平面と全球型仮想内視鏡画像上の画素との関係を説明する図である。図４（ａ）においては３つの直交する方向Ｖ、ＵおよびＲが設定されている。なお、この方向Ｖ、ＵおよびＲは、例えば、後述する視軸方向ベクトルｄ＿ｖ、上向き方向ベクトルｄ＿ｕ、および右向き方向ベクトルｄ＿ｒの向き（図７参照）と同じに設定される。
【0043】
図４においては、前記図３に対応する視点位置ｐを含む平面の例として、３つのＦ１乃至Ｆ３が記載されている。平面Ｆｎ（ｎ＝１，２，…）内におけるレイの向きを表わす角度θ１は、レイと、視線方向ＬであるＶ方向とがなす角として定義される。すなわち、レイと視線方向Ｌとが一致する場合をθ１＝０度として、Ｕ方向と逆向きに見た場合、すなわち図４（ａ）において上方からみた場合に時計回りに回転する方向を正として定義されている。また、各平面Ｆｎの視線方向回り、すなわちＶ方向回りの回転角度θ２は、図４に示すように、平面Ｆｎと、Ｖ方向とＲ方向とを含む平面（以下、「ＶＲ平面」。）とがなす角として定義される。すなわち、平面ＦｎがＶＲ平面内にある場合をθ２＝０度として、Ｖ方向を中心として反時計回りに回転する方向を正として定義されている。
【0044】
図４（ａ）において太線で示されたように、レイの向きは前述のように定義されるθ１およびθ２を用いて表わすことができる。図４（ａ）において、視点位置ｐを含む平面Ｆｎがθ２の正方向に所定の角度だけ回転させられて決定されると、その平面内においてθ１が例えば−πからπまでの間で所定の間隔でレイの方向が順次決定され、その方向について画素値の算出が前記レイキャスティング法により実行される。そして、平面が再びθ２の正方向に所定の角度だけ回転させられて、同様にその平面内におけるレイの方向のそれぞれについて画素値の算出が実行される。これをθ２が０度から３６０度まで繰り返すことにより、視点位置ｐを球状に取り囲む視野、すなわち最大視野角Φが３６０度に対応する画素値が得られる。すなわち、平面がＦ１とされる場合（θ２＝０度の場合）、視点位置ｐから平面Ｆ１上の三角形で表わされた各点へ向かう方向のそれぞれにレイの方向が設定される。また、平面がＦ２とされる場合は視点位置ｐから平面Ｆ２上の丸で表わされた各点へ向かう方向のそれぞれに、平面がＦ３とされる場合は視点位置ｐから平面Ｆ３上の四角形で表わされた各点へ向かう方向のそれぞれに、同様にレイの方向が設定される。
【0045】
なお、この手順は−πからπまでの間で所定の間隔で設定されるレイの方向θ１の１つについて、θ２が０度から３６０度まで変化させられるようにレイキャスティング法が実行された後、θ１が更新されて再度θ２が０度から３６０度まで変化させられるようにしてもよい。すなわち、視点位置ｐから設定された最大視野角Φの視野において所定の間隔でレイの方向を向けた場合の画素値の算出が行なうことができれば順序を問わない。
【0046】
図４（ａ）に示すように、平面Ｆｎ内に、視点位置ｐを中心とし適当な半径の円が設定される。この円が図３の仮想投影面１０２に対応する。また、平面ＦｎがＶ方向に順次回転させられると、前記円が回転することにより球が形成される。この球が本発明における視点位置を球状に取り囲む視野に対応する。この視点位置を球状に取り囲む視野のうち、視線方向Ｌを中心とした最大視野角Φ内の領域が全球型仮想内視鏡画像として投影面１０４に変換される。
【0047】
仮想投影面１０２上の各画素について画素値の算出が完了すると、全球型仮想内視鏡画像生成手段５８は、所定の方法によって仮想投影面１０２を平面状に設けられた投影面１０４に変換し、全球型仮想内視鏡画像を得る。このとき、仮想投影面上の各画素は、それぞれ予め定められた関係などによって平面状の投影面１０４上の各画素に変換されるが、この変換においては、投影面１０４における歪みが少なくなるような変換が行なわれる。
【0048】
図４（ｂ）は、全球型仮想内視鏡画像の投影面１０４を示しており、図４（ａ）におけるレイの方向と、全球型仮想内視鏡画像上における画素の位置との関係の一例を説明する図である。図４（ａ）において丸、三角形、および四角形で表わされたレイの方向と、図４（ｂ）において丸、三角形、および四角形で表わされた画素の位置とは、それぞれ相互に対応している。具体的には、全球型仮想内視鏡画像の投影面１０４における原点を通る直線Ｑｎ（ｎ＝１，２，…）上の画素のそれぞれが、図４（ａ）における各平面Ｆｎ上にあるレイのそれぞれに対応している。このとき、図４（ｂ）の投影面１０４における原点を通る直線Ｑｎの軸方向から原点回りの回転角度θ２が図４（ａ）における視線方向回り、すなわちＶ方向回りの回転角度θ２と対応している。また、図４（ｂ）の投影面１０４における原点を通る直線Ｑｎ上の各画素は、それら各画素と投影面の原点との距離が、図４（ａ）における平面Ｆｎ上の各レイの方向θ１と所定の関係を満たすようにされている。この所定の関係とは、後述する図１３、図２３、あるいは図２４などに示す関係である。具体的にはθ１が９０度の場合に投影面１０４における座標原点に対応する。そしてθ１が負の場合にはｘ軸方向において負の領域に、また、θ１が正の場合にはｘ軸方向において正の領域にそれぞれ対応して前記所定の関係により対応づけられている。
【0049】
図２に戻って、特定領域処理手段６０は、特定領域ＳＲ、すなわち特定の角度範囲が特定領域設定手段５４によって設定された場合において、その特定領域ＳＲが全球型仮想画像において拡大（伸長）あるいは縮小（圧縮）されて表示させるように全球型画像生成手段５８を制御する。具体的には例えば、特定領域ＳＲを全球型仮想画像において拡大（伸長）させる場合には、前述のように全球型可画像生成手段５８が仮想投影面１０２上の各画素を平面状の投影面１０４の各画素に変換する際において、前記特定領域ＳＲに対応する特定の角度範囲内にある画素の間隔が、その特定の角度範囲外にある画素の間隔に比べて広くなるように変換を行なう。より具体的には、仮想投影面１０２上の各画素の平面状の投影面１０４の各画素への変換の際に、前記特定の角度範囲内にある画素の間隔をその特定の角度範囲外にある画素の間隔に比べて広げる、前記特定の角度範囲外にある画素の間隔をその特定の角度範囲内にある画素の間隔に比べて狭める、あるいはそれらの両方を行なう。また、特定領域ＳＲを全球型仮想画像において縮小（圧縮）させる場合には、前述のように全球型可画像生成手段５８が仮想投影面１０２上の各画素を平面状の投影面１０４の各画素に変換する際において、前記特定領域に対応する特定の角度範囲内にある画素の間隔が、その特定の角度範囲外にある画素の間隔に比べて狭くなるように変換を行なう。より具体的には、仮想投影面１０２上の各画素の平面状の投影面１０４の各画素への変換の際に、前記特定の角度範囲内にある画素の間隔をその特定の角度範囲外にある画素の間隔に比べて狭める、前記特定の角度範囲外にある画素の間隔をその特定の角度範囲内にある画素の間隔に比べて広げる、あるいはそれらの両方を行なう。
【0050】
透視型画像生成手段６２は、透視型仮想内視鏡画像を生成する。透視型仮想内視鏡画像は、視点位置設定手段７２によって設定される視点位置ｐから、視野設定手段５２によって設定される最大視野角Φとした場合に透視投影法によって得られる仮想内視鏡画像に対応する。図５は透視型仮想内視鏡画像の概要を説明した図である。図５に示すように視点位置ｐおよび視線方向Ｌが設定される場合において、視点位置ｐから視線方向Ｌに所定の距離だけ離れた位置に、その視線方向Ｌと直交する平面上に投影面１０６を設ける。この投影面１０６の大きさは前記最大視野角Φによって決定される。そして、視点位置ｐから投影面１０６上に配置された所定の個数の画素のそれぞれの方向に対しレイ（Ｒａｙ）を向けて、そのレイ上の各サンプル点の陰影値を不透明度として積算することにより、前記画素のそれぞれにおける画素値を計算するいわゆるレイキャスティング法を実行する。このようにして投影面１０６上の各画素について画素値の算出が完了すると、投影面１０６上における透視型仮想内視鏡画像が得られる。具体的には前記全球型画像生成手段５８による全球型仮想内視鏡画像の生成に比べ、レイ方向が常に視点位置ｐと投影面１０６上の着目する画素とを結ぶ直線とされる（すなわち、図６のフローチャートにおいてステップＳ４が存在しない）点において異なる。なお、この透視型仮想内視鏡画像においては、視野の一定角度に対する投影面１０６上の画素の間隔は、最大視野角Φが広くなるほど画像の端部において広くなることから、画像の歪みが顕著なものとなる。
【0051】
表示手段６４は、前記仮想内視鏡画像生成手段５６によって生成された仮想内視鏡画像を出力装置２６に表示することなどによって出力する。表示手段６４は視野角表示手段６６、表示切換手段６８および対比表示手段７０を機能的に有しており、前記仮想内視鏡画像生成手段５６の全球型画像生成手段５８によって生成される全球型仮想内視鏡画像、あるいは前記仮想内視鏡画像生成主案５６の透視型画像生成手段６２によって生成される透視型仮想内視鏡画像をそのまま表示するのみならず、これら各手段によって表示の態様を切り換えることができる。
【0052】
視野角表示手段６６は、前記仮想内視鏡画像生成手段５６によって生成された仮想内視鏡画像を出力装置２６に表示する際に、その画像中に視野角を表示する記号を前記仮想内視鏡画像に重ね合わせて表示する。
【0053】
図１６は、前記仮想内視鏡画像生成手段５６の全球型画像生成手段５８によて生成された全球型仮想内視鏡画像の例を示したものであり、さらにその全球型仮想内視鏡画像と、前記視野角表示手段６６により表示される視野角を表示する記号とを重ね合わられた場合の例でもある。この画像は、出力装置２６に表示される。図１６の全球型仮想内視鏡画像は最大視野角Φが３６０度とされているので、図１６において長方形状に表わされた全球型仮想内視鏡画像において、４つの各頂点は、視野角が３６０度に対応する。図１６の例においては、全球型内視鏡画像上に、視野角が１８０度である点を結んだ円と、視野角が３２０度である点を結んだ円の２つがそれぞれ視野角を表示する記号として表示されている。また、それら二つの円を識別するために、それらの円に対応する方向と視軸方向とのなす角の大きさ、すなわち視野角の１／２の大きさが数字によりそれらの円の近傍に表示されている。
【0054】
表示切換手段６８は、仮想内視鏡画像生成手段５６の全球型画像生成手段５８によって生成される全球型仮想内視鏡画像と、透視型画像生成手段６２によって生成される透視型仮想内視鏡画像とを切り換えて表示する。この切換表示は、例えば入力装置２４によるユーザの指示に基づいて切換を行なうものであっても良いし、後述するように、仮想内視鏡画像の最大視野角Φに基づくなど自動的に行なわれてもよい。
【0055】
図１７は起腹した（腹部に空気等を入れて膨らませた）腹部に挿入した腹腔鏡の画像を本発明の仮想内視鏡装置によって生成させた場合に得られる仮想内視鏡画像を示した図であって、図１７（ａ）は最大視野角Φを１３０度とした場合の透視型仮想内視鏡画像、図１７（ｂ）は最大視野角Φを１７９度とした場合の透視型仮想内視鏡画像、図１７（ｃ）は最大視野角Φを３６０度とした場合の全球型仮想内視鏡画像をそれぞれ示している。また、図１８は被検体の大腸に挿入した内視鏡の画像を本発明の仮想内視鏡装置によって生成させた場合に得られる仮想内視鏡画像を示した図であって、図１８（ａ）は最大視野角Φを１１２度とした場合の透視型仮想内視鏡画像、図１８（ｂ）は最大視野角Φを１７９度とした場合の透視型仮想内視鏡画像、図１７（ｃ）は最大視野角Φを３６０度とした場合の全球型仮想内視鏡画像をそれぞれ示している。
【0056】
これら図１７（ａ）および図１８（ａ）の各図に示すように、最大視野角Φが１８０度未満の場合には理論的に透視型仮想内視鏡画像を生成することができるが、画面の端に近づく程、画像のゆがみが大きくなっている。また、図１７（ｂ）および図１８（ｂ）の各図に最大視野角Φが１７９度の例で示したように、最大視野角Φが１８０度近づくと、画面が発散してしまい、透視型仮想内視鏡画像においては写っているものを判別することが用意ではない。一方図１７（ｃ）および図１８（ｃ）の各図に示すように、全球型仮想内視鏡画像においては、最大視野角Φが１８０度を超える場合においても、画像が歪みなく表示され、例えば図１７（ｃ）において球状のポリープが視認できるなど、画像上に写っているものを好適に識別できる。そのため、前記表示手段６８は、例えば仮想内視鏡画像の最大視野角Φが連続的に変化させられる場合において、最大視野角Φが予め設定された閾値を超える場合には透視型仮想内視鏡画像から全球型仮想内視鏡画像に表示を変更する。この閾値は、透視型仮想内視鏡画像において歪みが大きく画面上の表示が識別できなくなる程度を表わす値であり、予め実験的に設定されることができる。
【0057】
また、図１７および図１８に示したように、表示手段６４が出力装置２６に仮想内視鏡画像を表示する際に、予め記憶装置２８に記憶されている三次元画像データｆから生成される被検体の断層画像とともに関連づけられて表示されている。この関連付けは、例えば断層画像における断面に仮想内視鏡画像の視線方向Ｌが含まれるように表示されるなどとすることができる。このようにすれば、被検体の共通する部位を複数の方法によって表示される異なる画像により同時に視認することができる。
【0058】
図２に戻って、対比表示手段７０は、前記仮想内視鏡画像生成手段５６の全球型画像生成手段５８によって生成される全球型仮想内視鏡画像と、透視型画像生成手段６２によって生成される透視型仮想内視鏡画像とを対比可能に表示する。このとき、全球型仮想内視鏡画像と透視型仮想内視鏡画像とは、ともに共通する視点位置ｐからの仮想内視鏡画像とすることができる。このようにすれば、共通する視点位置から異なる方法により生成された仮想内視鏡画像を同時に参照することができる。すなわち、実際の内視鏡画像に近い透視型仮想内視鏡画像と、その透視型仮想内視鏡画像と同じ視点位置ｐにおいて最大視野角を広げたり、あるいは特定の角度範囲ＳＲを拡大表示した全球型仮想内視鏡画像とを対比可能に同時に参照することができる。
【0059】
図１９は、出力装置２６に表示される仮想内視鏡画像の一例を説明する図であって、表示手段６４の対比表示手段７０により透視型仮想内視鏡画像と全球型仮想内視鏡画像とが対比可能に表示された場合を説明する図である。図１９の画像において、第１仮想内視鏡画像表示領域１１４と第２仮想内視鏡画像表示領域１１６が設けられており、第１仮想内視鏡画像表示領域１１４には透視型仮想内視鏡画像が表示され、第２仮想内視鏡画像表示領域１１６には全球型仮想内視鏡画像が表示されている。図１９の例においては、これらの透視型仮想内視鏡画像と全球型仮想内視鏡画像とは共通する視点位置ｐにおける画像であり、最大視野角Φは相互に異なったものとされているが、このような条件に限られない。
【0060】
なお図１９の例においては、第１仮想内視鏡画像表示領域１１４と第２仮想内視鏡画像表示領域１１６に加え、第３の表示領域１１８が設けられており、第１仮想内視鏡画像表示領域１１４および第２仮想内視鏡画像表示領域１１６に表示される仮想内視鏡画像の視点位置ｐに対応する複数種類の断層画像が表示されている。このようにすれば、仮想内視鏡画像の視点位置ｐや視線方向Ｌと３次元画像データｆに基づいて生成される断層画像とを対応づけて表示することができる。しかしながら、この第３の表示領域１１８は必須ではない。
【0061】
図６は、仮想内視鏡画像生成手段５６の全球型画像生成手段５８における制御作動の要部について説明するフローチャートである。図６のフローチャートは所定の間隔により繰り返し実行される。まず記憶手段２８に対応するステップ（以下「ステップ」を省略する。）Ｓ１においては、被検体の三次元画像データｆが読み出される。
【0062】
続いて視点位置設定手段５０、視野設定手段５２などに対応するＳ２においては、視点位置ｐ、視線方向Ｌ、最大視野角Φの値が設定されるとともに、以降の処理において方向の基準となる視軸方向ベクトルｄ＿ｖ、右向き方向ベクトルｄ＿ｒ、および上向き方向ベクトルｄ＿ｕが設定される。仮想内視鏡画像の生成の際に、ボリュームレンダリング法において、ボクセルの不透明度を表わすための不透明度テーブルの設定が行なわれる。この不透明度テーブルは、Ｓ１で取り込まれた例えばＣＴ値である３次元画像データｆについて、ボリュームレンダリングにおける不透明度との関連付けを行なうものである。なお、この不透明度テーブルは予め設定されて記憶されたものが用いられても良いし、ユーザによりコントラストや透明度を変更することが可能となるように、その都度設定されるようにしてもよい。
【0063】
図７を用いて、前記視軸方向ベクトルｄ＿ｖ、右向き方向ベクトルｄ＿ｒ、および上向き方向ベクトルｄ＿ｕについて説明する。図７に示すように、視軸方向ベクトルｄ＿ｖは、投影面１０４の中央をその投影面１０４に垂直に交差する方向ベクトルであり、前記視点位置設定手段５０において設定される視線方向Ｌに対応する。また、右向き方向ベクトルｄ＿ｒ、および上向き方向ベクトルｄ＿ｕは、投影面１０４における右向きおよび上向きの方向を定義づけるものであって、それぞれ投影面１０４内において直交するベクトルである。具体的には本実施例においては、右向き方向ベクトルｄ＿ｒは投影面１０４の長辺方向に、また、上向き方向ベクトルｄ＿ｕは投影面１０４の短辺方向にそれぞれ平行なベクトルとして定義されている。なお、投影面１０４は、図７において視軸方向ベクトルｄ＿ｖと交差する周辺においては、仮想投影面１０２の接面となっている。
【0064】
図６に戻って、Ｓ３においては、投影面１０４における画像上の位置を表わす座標（ｘ，ｙ）が初期化され、（ｘ，ｙ）＝（０．０）とされる。本実施例においては、投影面１０４における座標（ｘ，ｙ）は、投影面１０４の中心、すなわち視軸方向ベクトルｄ＿ｖ（視線方向Ｌ）と座標（ｘ，ｙ）面１０４との交点が座標原点とされる。また、投影面１０４の長辺の正方向の長さおよび負方向の長さ、また、短辺の正方向の長さおよび負方向の長さをそれぞれ１に規格化した規格化座標系が用いられる。従って、座標（ｘ，ｙ）は、−１≦ｘ，ｙ≦１である。この規格化座標系の例を図１２に示す。この座標（ｘ，ｙ）は、投影面１０４における各画素を表わす。
【0065】
Ｓ４においては、投影面１０４における画素の１つについて、その画素に対応するレイの方向を計算するためのレイ方向計算サブルーチンが実行される。図８はこのレイ方向計算サブルーチンにおける制御作動の概要を説明するフローチャートである。まずＳＡ１においては、投影面１０４における座標（ｘ，ｙ）、およびＳ２で設定された視軸方向ベクトルｄ＿ｖ、右向き方向ベクトルｄ＿ｒ、および上向き方向ベクトルｄ＿ｕが読み込まれる。
【0066】
続くＳＡ２においては、座標（ｘ，ｙ）における画素に対応するレイの上向き方向ベクトルｄ＿ｕ周りの回転角度θ１を算出するためのθ１算出サブルーチンが実行される。図９はこのθ１算出サブルーチンにおける制御作動の概要を説明するフローチャートである。まずＳＢ１においては、投影面１０４における座標（ｘ，ｙ）が設定される。続いて、ＳＢ２において、ＳＢ１で設定された座標（ｘ，ｙ）と原点との距離ｌが算出される。この距離ｌは幾何学的な距離であり、ｌ２＝ｘ２＋ｙ２に基づいて算出される。
【0067】
続いてＳＢ３においては、ＳＢ２で算出された距離ｌと座標（ｘ，ｙ）における上向き方向ベクトルｄ＿ｕ周りの回転角度θ１とを関連づけるための関係ｆ（ｌ）が設定される。本実施例においては、ｆ（ｌ）は図１３に示すように距離ｌと回転角度θ１とは線形の関係を有するように設定されている。このようにｆ（ｌ）が設定される場合において、規格化座標系で表わされた投影面１０４において、各回転角度θ１に対応する座標（ｘ，ｙ）を示したのが図１２の点線である。図１２の点線は、それぞれ、回転角度θ１がπ／４、π／２、３π／４、πとなる座標（ｘ，ｙ）を結んだ線である。
【0068】
ＳＢ４においては、ＳＢ２で算出された距離ｌ、およびＳＢ３で設定された距離ｌと回転角度θ１との関係ｆ（ｌ）に基づいて上向き方向ベクトルｄ＿ｕ周りの回転角度θ１が算出される。
【0069】
図８に戻って、ＳＡ３においては、座標（ｘ，ｙ）における画素に対応するレイの右向き方向ベクトルｄ＿ｒ周りの回転角度θ２を算出するためのθ２算出サブルーチンが実行される。図１０はこのθ２算出サブルーチンにおける制御作動の概要を説明するフローチャートである。まずＳＣ１においては、投影面１０４における座標（ｘ，ｙ）が設定される。続いて、ＳＣ２においては、ｘ座標の値が０であるか否かが判断される。ｘ座標の値が０である場合には本ステップの判断が肯定されて、ＳＣ３が実行される。また、ｘ座標の値が０でない場合には本ステップの判断が否定されて、ＳＣ７が実行される。
【0070】
ｘ座標の値が０である場合に実行されるＳＣ３においては、回転角度θ２がいったん０とされる。続いてＳＣ４においてはｙ座標が０より大きい値であるか否かが判断される。ｙ座標が０より大きい場合には本ステップの判断が肯定され、ＳＣ５が実行される。また、ｙ座標の値が０以下である場合にはステップＳＣ４の判断は否定され、ＳＣ６が実行される。ＳＣ５においてはＳＣ３で０とされた回転角度θ２の値がπ／２とされる。また、ＳＣ６においてはＳＣ３で０とされた回転角度θ２の値は−π／２とされる。
【0071】
ｘ座標の値が０でない場合に実行されるＳＣ７においては、回転角度θ２の値はｙ座標の値に対するｘ座標の値の逆正接、すなわちθ２＝ａｔａｎ（ｙ／ｘ）のように設定される。
【0072】
ＳＣ８においては、ｘ座標の値が０未満であって、かつｙ座標の値が０より大きいか否かが判断される。この判断が肯定される場合には、ＳＣ９が実行される。ＳＣ９においては、ＳＣ７で算出された回転角度θ２の値にπが加算される。
【0073】
また、ＳＣ１０においては、ｘ座標の値が０以下であって、かつｙ座標の値が０以下であるか否かが判断される。この判断が肯定される場合には、ＳＣ１０が実行される。ＳＣ１０においては、ＳＣ７で算出された回転角度θ２の値にπが加算される。
【0074】
ＳＣ１２においては、ＳＣ１乃至ＳＣ１１の実行において得られたθ２の値が、右向き方向ベクトルｄ＿ｒ周りの回転角度θ２とされる。なお、このように設定されるθ２は、図１２に示されたように、座標（ｘ，ｙ）と原点とを結ぶ直線とｘ軸とのなす角に対応している。
【0075】
図８に戻ってＳＡ４においては、視軸方向ベクトルｄ＿ｖが、上向き方向ベクトルｄ＿ｕ周りにθ１だけ回転されてｄ’＿ｒａｙとさせられる。また、ＳＡ５においては、ＳＡ４で算出されたベクトルｄ’＿ｒａｙが右向き方向ベクトルｄ＿ｒ周りにθ２だけ回転されてｄ’’＿ｒａｙとさせられる。ＳＡ６において、ＳＡ５で算出されたベクトルｄ’’＿ｒａｙが、座標（ｘ，ｙ）における画素に対応するレイの方向を示すベクトルｄ＿ｒａｙとして決定される。
【0076】
図６に戻って、Ｓ５においては、座標（ｘ，ｙ）に対応する画素の陰影値を計算するための陰影値計算サブルーチンが実行される。図１１は、この陰影値計算サブルーチンにおける制御作動の概要を説明するフローチャートである。
【0077】
まず、ＳＤ１においては、３次元画像データｆ、視点位置ｐ、レイ方向ベクトルｄ＿ｒａｙ、および不透明度テーブルが設定される。このうち、３次元画像データｆは前記図６のＳ１において取り込まれたものであり、視点位置ｐ、不透明度テーブルはＳ２において設定されたものである。また、レイ方向ベクトルｄ＿ｒａｙはＳ４において算出されたものである。
【0078】
ＳＤ２においては、レイと３次元画像とが交わる位置について、そのレイが３次元画像との交わりを開始する交わり開始位置指標ｋ＿ｂｅｇｉｎおよびレイが３次元画像との交わりを終了する交わり終了位置指標ｋ＿ｅｎｄがそれぞれ算出される。このレイと３次元画像との交わりとは、レイがその進行方向であるレイ方向ベクトルｄ＿ｒａｙに向かって進んだ場合に、３次元画像において被検体の体積領域に入り込むことを示している。具体的には、レイ上の点が、視点位置ｐ、単位長さのレイ方向ベクトルｄ＿ｒａｙ、および任意の実数である位置指標ｋを用いて、ｐ＋ｋ＊ｄ＿ｒａｙで表わされる場合に、そのレイが３次元画像との交わりを開始する際の前記位置指標ｋの値が交わり開始位置指標ｋ＿ｂｅｇｉｎであり、交わりを終了する際の前記位置指標ｋの値が交わり終了位置指標ｋ＿ｅｎｄである。
【0079】
図１４は、これら交わり開始位置および交わり終了位置を説明する図である。図１４において視点位置ｐから投影面上のある画素に対応するレイに着目している。このレイは、点Ａにおいて立方体状に表わされた被検体に対応する３次元画像の内部に入り、点Ｂにおいて３次元画像の外に出る。この点Ａが前記交わり開始位置に対応し、点Ｂが交わり終了位置に対応する。
【0080】
ＳＤ３においては、レイ上の位置を表わすための位置指標ｋの値が、前記交わり開始位置ｋ＿ｂｅｇｉｎとされる。
【0081】
ＳＤ４においては、被検体を含む３次元画像において注目する位置を表わす注目３次元画素位置ｖが算出される。この注目３次元画素位置ｖはＳＤ３で設定された位置指標ｋを用いて、ｖ＝ｐ＋ｋ＊ｄ＿ｒａｙで表わされる。
【0082】
ＳＤ５においては、ＳＤ４で算出された注目３次元画素位置ｖにおける不透明度が算出される。本実施例においては、この不透明度は具体的には３次元画像データｆとして記憶手段２８に記憶された画素値から前記不透明度テーブルを用いて変換される。具体的には例えば、被検体内において、予め相互に直交する３軸方向にそれぞれ所定の間隔を有する各点の画素値が３次元画像データｆとして予め記憶されている。この場合には、前記注目３次元画素位置ｖを囲む近傍８点の画素値を抽出し、それら近傍８点のそれぞれの画素値から得られる不透明度を、それら８点のそれぞれと前記注目３次元画素位置ｖとの距離に応じた線形補間を行ない、前記注目三次元画素位置ｖにおける不透明度として算出する。なお、前述の図１４の例においては、交わり開始位置である点Ａから交わり終了位置である点Ｂの間における三角形で表わされた点のそれぞれが注目３次元画素位置ｖに対応する。
【0083】
不透明度の算出について、図１５を用いて詳しく説明する。なお、図１５におけるＸＹＺ座標系は説明のために便宜的に表わしたものであり、前述の実施例における座標系とは異なってもよい。図１５においてサンプル点Ｓ（ｐ，ｑ，ｒ）は不透明度を算出しようとする注目３次元画素位置ｖに対応する。また格子点Ｐｉは、３次元画像中ｆにおいて予め不透明度が得られている点を表わしている。図１５におけるサンプル点Ｓ（ｐ，ｑ，ｒ）での不透明度αＳはＳの近傍格子点８点Ｐｉでの不透明度αＰｉ（ｉ＝１，２，…，８）からそれぞれ次の線形補完によって算出される。αｓ＝ω１＊αＰ１＋ω２＊αＰ２＋…ω８＊αＰ８
ここでωｉは係数を表わし、次式で定義される。
ω１＝｛１−（ｐ−ｘ）｝｛１−（ｑ−ｙ）｝｛１−（ｒ−ｚ）｝
ω２＝（ｐ−ｘ）｛１−（ｑ−ｙ）｝｛１−（ｒ−ｚ）｝
ω３＝｛１−（ｐ−ｘ）｝（ｑ−ｙ）｛１−（ｒ−ｚ）｝
ω４＝（ｐ−ｘ）（ｑ−ｙ）｛１−（ｒ−ｚ）｝
ω５＝｛１−（ｐ−ｘ）｝｛１−（ｑ−ｙ）｝（ｒ−ｚ）
ω６＝（ｐ−ｘ）｛１−（ｑ−ｙ）｝（ｒ−ｚ）
ω７＝｛１−（ｐ−ｘ）｝（ｑ−ｙ）（ｒ−ｚ）
ω８＝（ｐ−ｘ）（ｑ−ｙ）（ｒ−ｚ）
【0084】
ＳＤ６においては、注目３次元画素位置ｖを囲む近傍８点におけるグラディエントベクトル（勾配ベクトル）ｇｒａｄ（ｖ）が算出される。この勾配ベクトルｇｒａｄ（ｖ）は、注目３次元画素位置ｖを囲む近傍８点のそれぞれについて、視線方向ベクトルｄ＿ｖ、上向き方向ベクトルｄ＿ｕ、右向き方向ベクトルｄ＿ｒ方向にそれぞれ隣接する画素に対する画素値ｆｕ，ｖ，ｒの変化を表わすものであって、視線方向ベクトルｄ＿ｖ、上向き方向ベクトルｄ＿ｕ、右向き方向ベクトルｄ＿ｒの各方向の変化量を成分とするベクトルとして表わされる。具体的には例えば、ｇｒａｄ（ｖ）＝（ｆｖ，ｕ，ｒ−ｆｖ−１，ｕ，ｒ， ｆｖ，ｕ，ｒ−ｆｖ，ｕ−１，ｒ， ｆｖ，ｕ，ｒ−ｆｖ，ｕ，ｒ−１）
のように表わされる。ここでｆｖ，ｕ，ｒは注目３次元画素位置ｖにおける画素値を表わしており、ｆｖ−１，ｕ，ｒはその注目３次元画素位置ｖよりもｄ＿ｖ方向において手前に位置する画素位置の画素値を表わしている。上向き方向、右向き方向についても同様である。
【0085】
ＳＤ７においては、注目３次元画素位置ｖにおける陰影値の算出が行なわれる。陰影値の算出においても、前述のＳＤ５における不透明度の算出と同様に、注目３次元画素位置ｖを囲む近傍８点の陰影値を算出し、それら近傍８点のそれぞれの陰影値を、それら８点のそれぞれと前記注目３次元画素位置ｖとの距離に応じた線形補完を行なうことにより、前記注目三次元画素位置ｖにおける陰影値として算出する。
【0086】
陰影値の算出についても、図１５を用いて説明する。図１５においてサンプル点Ｓ（ｐ，ｑ，ｒ）は陰影値を算出しようとする注目３次元画素位置ｖに対応する。また格子点Ｐｉは、３次元画像中ｆにおいて予め不透明度が得られている点を表わしている。図１５におけるサンプル点Ｓ（ｐ，ｑ，ｒ）での陰影値ｃｓｋ（ｋ＝Ｒ，Ｇ，Ｂのそれぞれ）はＳの近傍格子点８点Ｐｉでの陰影値ｃＰｉｋ（ｉ＝１，２，…，８）からそれぞれ次の線形保管によって算出される。ｃｓｋ＝ω１＊ｃＰ１ｋ＋ω２＊ｃＰ２ｋ＋…＋ω８＊ｃＰ８ｋ
なお、ωｉは前述の係数と同様である。ここで、ＰｉにおけるｃＰｉｋは次式のように視軸方向ベクトルｄ＿ｖと法線方向ベクトルＮＰｉとの内積値にＰｉでの色情報ＩＰｉｋを乗算することにより求められる。すなわち、
ｃＰｉｋ＝（Ｉ・ＮＰｉ）・ＩＰｉｋ
である。ここで、ＮＰｉはＳＤ６において算出された、注目３次元画素位置ｖを囲む近傍８点Ｐｉにおける勾配ベクトルｇｒａｄ（Ｐｉ）を正規化したものであり、次式によって得られる。
ＮＰｉ＝ｇｒａｄ（Ｐｉ）／||ｇｒａｄ（Ｐｉ）||
【0087】
続いてＳＤ８においては陰影値の積算が行なわれる。すなわち、交わり開始位置指標に対応するｋ＝ｋ＿ｂｅｇｉｎから、レイと重なる３次元画像の陰影値が積算される。Ｃｋをサンプル点ｋまでの陰影値の積算値とすると、Ｃｋは次式で表わされる。Ｃｋ＝Ｃｋ−１＋βｋ＊αｋ＊ｃｋ
ここで、ｃｋはサンプル点ｋにおける陰影値、αｋはサンプル点ｋにおける不透明度である。またβｋはサンプル点ｋまでの透明度の積算値であり、次式で定義される。
βｋ＝βｋ−１＊（１−αｋ）
なお、βの初期値であるβ０は、β０＝１としている。
【0088】
ＳＤ９においては、注目３次元画素位置ｖをレイ上のレイ方向ベクトルｄ＿ｒａｙ方向に所定方向だけ先のものするため、位置指標ｋの値が所定値ｓｔｅｐだけ大きくされる。
【0089】
ＳＤ１０においては、本サブルーチンが終了するための所定の打ち切り条件が成立したか、あるいは位置指標の値が交わり終了点ｋ＿ｅｎｄ以上となったか否かが判断される。このうち、所定の打ち切り条件は、例えば、ＳＤ８において算出される陰影値の積算値が不透明に対応する所定値を上回ることである。このようにすれば、レイキャスティングを投影面上の画素について順次実行する際に、投影面に近いサンプル点が不透明の場合、そのサンプル点から奥にあるサンプル点の陰影値は投影面に影響しないため、計算を省略することができるという利点がある。また、位置指標の値が交わり終了点ｋ＿ｅｎｄ以上となった場合には、レイはすでに３次元画像と重なっていないため、陰影値の積算を必要としないためである。このように、所定の打ち切り条件が成立したか、あるいは位置指標の値が交わり終了点ｋ＿ｅｎｄ以上となった場合には、本ステップの判断が肯定されて、直前のＳＤ８において算出された陰影値の積算値が出力されて、本フローチャートが終了させられる。このように算出された陰影値の積算値が、投影面１０４の各画素に対応する陰影値とされる。一方、ＳＤ１０の判断が否定された場合には、ＳＤ９で新たに設定された注目３次元画素位置ｖについて、ＳＤ４乃至ＳＤ１０の処理が繰り返し実行される。
【0090】
図６に戻ってＳ６においては、投影面１０４の別の画素について陰影値の算出を行なうため、投影面１０４における画素に対応する座標（ｘ，ｙ）が更新される。具体的には例えば、一つ右に位置する画素について着目し、それ以上右に画素が存在しない場合には、１つ下で最も左に位置する画素について着目するように座標（ｘ，ｙ）が更新される。
【0091】
Ｓ７においては、投影面１０４における全ての画素について陰影値の算出が終了したか否かが判断される。投影面１０４における全ての画素について陰影値の算出が終了した場合には本ステップの判断が肯定され、Ｓ８が実行される。また、投影面１０４において陰影値の算出が終了していない画素が存在する場合には本ステップの判断が否定され、Ｓ６で更新された座標（ｘ，ｙ）に対応する画素について陰影値の算出が行なわれる。
【0092】
Ｓ７の判断が肯定された場合に実行されるＳ８においては、全球型仮想内視鏡画像が生成される。具体的には、投影面１０４上の各画素の色調が、Ｓ４乃至Ｓ７が繰り返し実行されて得られた陰影値とされることにより、全球型仮想内視鏡画像が生成される。また、Ｓ８に続いて実行されるＳ９は、表示手段６４に対応するものであって、生成された仮想内視鏡画像の出力装置２６への出力、すなわち表示が行なわれる。
【0093】
図２０は、Ｓ８において仮想内視鏡画像が出力装置２６に表示される際に、その画像中に視野角を表示する記号が前記仮想内視鏡画像に重ね合わせて表示する視野角表示制御の制御作動を説明するフローチャートである。このフローチャートにおける制御作動は表示制御手段６８に対応する。
【0094】
まずＳＥ１においては、ユーザにより視野角を表示する記号の重ね合わせ表示を行なう旨が設定されたか否かが判断される。ユーザにより表示を行なう旨の入力が行なわれた場合には本ステップの判断が肯定され、ＳＥ２以降が実行される。また、ユーザにより表示を行なう旨の入力が行なわれなかった場合には、本ステップの判断は否定され、フローチャートが終了させられる。
【0095】
ＳＥ２においては、仮想内視鏡画像の投影面１０４、１０６において、表示を行なおうとする視野角に対応する画素を結ぶ線が算出される。前述の図１６の例においては、例えば視野角が１８０度に対応する画素を結ぶ円と視野角が３２０度に対応する画素を結ぶ円が算出される。
【0096】
ＳＥ３においては、ＳＥ２で算出された線が仮想内視鏡画像と重ね合わせて表示が行なわれる。具体的には、ＳＥ２で算出された線が仮想内視鏡画像において識別可能な色で表示される。図１６の例では白い線により表示されている。
【0097】
図２１は、Ｓ８において仮想内視鏡画像生成手段５６の全球型画像生成手段５８によって生成される全球型仮想内視鏡画像と、透視型画像生成手段６２によって生成される透視型仮想内視鏡画像とを切り換えて表示するための表示切換制御における制御作動を説明するフローチャートである。このフローチャートにおける制御作動は表示切換手段６８に対応する。
【0098】
まずＳＦ１において、表示している仮想内視鏡画像が透視型仮想内視鏡画像であるか否かが判断される。表示している仮想内視鏡画像が透視型仮想内視鏡画像である場合には本ステップの判断が肯定され、ＳＦ２が実行される。一方、表示している仮想内視鏡画像が全球型仮想内視鏡画像である場合には、本ステップの判断が否定され、ＳＦ５が実行される。
【0099】
ＳＦ２においては、ユーザにより表示切換を行なう旨の操作が行なわれたか否かが判断される。ユーザにより表示切換を行なう旨の操作が行なわれた場合には本ステップの判断が肯定され、ＳＦ４が実行される。ユーザにより表示切換を行なう旨の操作が行なわれなかった場合には、本ステップの判断は否定され、ＳＦ３が実行される。
【0100】
ＳＦ３においては、表示している透視型仮想内視鏡画像の視野角Φが、予め定められた閾値を上回っているか否かが判断される。この視野角の閾値は、透視型仮想内視鏡画像を用いた場合に、画像に表示されているものが識別することができなくなる程度にゆがむ角度とされる。視野角Φが、予め定められた閾値を上回っている場合には、本ステップの判断が肯定されて、ＳＦ４が実行される。一方、視野角Φが、予め定められた閾値を上回っていない場合には、表示の切換を行なうことなく本フローチャートが終了される。
【0101】
ＳＦ２の判断が肯定された場合、およびＳＦ３の判断が肯定された場合に実行されるＳＦ４においては、表示手段６４により表示される仮想内視鏡画像を透視型仮想内視鏡画像から全球型仮想内視鏡画像に切り換える。
【0102】
ＳＦ５においては、ユーザにより表示切換を行なう旨の操作が行なわれたか否かが判断される。ユーザにより表示切換を行なう旨の操作が行なわれた場合には本ステップの判断が肯定され、ＳＦ６が実行される。ユーザにより表示切換を行なう旨の操作が行なわれなかった場合には、本ステップの判断は否定され、表示の切換を行なうことなく本フローチャートが終了される。
【0103】
ＳＦ５の判断が肯定された場合に実行されるＳＦ６においては、表示手段６４により表示される仮想内視鏡画像を全球型仮想内視鏡画像から透視型仮想内視鏡画像に切り換える。
【0104】
前述の実施例によれば、仮想内視鏡画像生成手段５６の全球型画像生成手段５８により、視点位置ｐを球状に取り囲む視野を有する全球型仮想内視鏡画像が生成され、表示手段６４によってその全球型仮想内視鏡画像が出力装置２６に表示されるので、仮想内視鏡装置１０により視点位置ｐを球状に取り囲む広い視野を有する全球型仮想内視鏡画像を得ることができる。
【0105】
前述の実施例によれば、仮想内視鏡画像生成手段５６の全球型画像生成手段５８は、視点位置ｐから視野に対しレイを発生させることによりボリュームレンダリング法を用いて前記全球型仮想内視鏡画像を生成するので、３次元画像データｆに基づいて視点位置ｐを球状に取り囲む広い視野を有する全球型仮想内視鏡画像を生成することができる。
【0106】
前述の実施例によれば、仮想内視鏡画像生成手段５６の全球型画像生成手段５８は、予め設定された最大視野角Φの全球型仮想内視鏡画像を生成するので、視点位置ｐを球状に取り囲む視野について、操作者によって予め自由に設定された広い視野角の全球型仮想内視鏡画像を得ることができる。特に実際の内視鏡装置や透視法によっては実現できない、最大視野角Φが１８０度を上回る全球型仮想内視鏡画像を生成することができる。また、最大視野角Φが１８０度未満であっても透視型仮想内視鏡画像においては画像が発散して判読が困難となる最大視野角Φに対応した全球型仮想内視鏡画像を生成することができる。
【0107】
前述の実施例によれば、表示手段６４により、全球型仮想内視鏡画像と、視野角を表示する記号とが重ね合わせて出力装置２６に表示されるので、視点位置ｐを球状に取り囲む広い視野を有する全球型仮想内視鏡画像において視野角を把握することができる。
【0108】
前述の実施例によれば、仮想内視鏡画像生成手段５６においては、全球型画像生成手段５８により生成される全球型仮想内視鏡画像に加えて、透視型画像生成手段６２により視点位置ｐから透視法によって生成される透視型仮想内視鏡画像が生成され、表示手段６４の表示切換手段６８により、前記全球型仮想内視鏡画像と前記透視型仮想内視鏡画像とが切り換えて表示されるので、同一の視点位置ｐにおいて視点位置を球状に取り囲む広い視野を有する前記全球型仮想内視鏡画像と、実際の内視鏡画像に近い前記透視型仮想内視鏡画像とを切り換えて観察することができる。
【0109】
また前述の実施例によれば、表示手段６４は、最大視野角Φに応じて全球型仮想内視鏡画像と透視型仮想内視鏡画像と切り換えて出力装置２６に表示するので、最大視野角Φに応じて仮想内視鏡画像を自動的に切り換えて表示することができる。
【0110】
前述の実施例によれば、仮想内視鏡画像生成手段５６においては、全球型画像生成手段５８により生成される全球型仮想内視鏡画像に加えて、透視型画像生成手段６２により視点位置ｐから透視法によって生成される透視型仮想内視鏡画像が生成され、表示手段６４の対比表示手段７０により、前記全球型仮想内視鏡画像と、前記透視型仮想内視鏡画像とが対比可能に表示されるので、共通する視点位置から異なる方法により生成された仮想内視鏡画像を同時に参照することができ、仮想内視鏡画像の観察における利便性が向上する。
【0111】
続いて、本発明の別の実施例について説明する。以下の説明において、実施例相互に共通する部分については、同一の符号を付して説明を省略する。
【実施例2】
【0112】
本実施例は、前述の実施例において、仮想内視鏡画像生成手段５６の全球型画像生成手段５８が全球型仮想内視鏡画像を生成する際の別の態様に関するものである。全球型画像生成手段５８が全球型仮想内視鏡画像を生成する際において、レイの方向が算出されたが（図６のＳ４）、その際に、上向き方向ベクトルｄ＿ｕ周りの回転角度θ１が算出された（図８のＳＡ２、図９）。ここで、回転角度θ１の算出は、投影面１０４上の座標（ｘ，ｙ）と座標原点の距離ｌと予め定められた関数θ１＝ｆ（ｌ）に基づいて行なわれた。そして、前述の実施例においては、ｆ（ｌ）はｌに関して線形の関数とされていた（図１３参照）。かかる態様によれば、図１２に示したように、規格化された投影面１０４上の各画素について、原点からの距離とその画素に対応する視野角とは線形の関係を有する。
【0113】
一方、本実施例においては、ｆ（ｌ）はたとえば図２３に示すようなｌに対して非線形の関数が用いられる。このｆ（ｌ）は、ｌが大きくなるほどｌの増分に対するｆ（ｌ）すなわちθ１の増分が小さくなる関数である。従って画像の端部に近い、すなわちｌが大きい状態において、ｌの増分に対するθ１の増分が小さくされる。図２２は前述の実施例の図１２に対応する図であって、投影面１０４上の各画素のうち、同じ視野角に対応する画素を結んだ線が点線により表示されている。すなわち、画像の中央部ほど伸長して表示される一方、画像の端部、すなわち視野角が大きくなるほど圧縮して表示される。
【0114】
このように、本実施例の全球型画像生成手段５８によれば、投影面１０４上の各画素について、その画素に対応する視野角を、規格化された投影面１０４上の各画素と原点との距離に対して非線形の関係とすることができる。なお、このとき、関数ｆ（ｌ）は図２３に示したものに限定されない。すなわち、このように、関数ｆ（ｌ）は線形のものに限られず、その選択により生成される全球型仮想内視鏡画像を変化させることができる。また、ｆ（ｌ）をユーザの入力装置２４の操作などに基づいて切り換えることも可能である。
【実施例3】
【0115】
本実施例においては、仮想内視鏡装置１０は、特定領域設定手段５４を有しており、また、仮想内視鏡画像生成手段５６の全球型画像生成手段５８は、特定領域処理手段６０を有している。
【0116】
特定領域設定手段５４は、例えばユーザによる入力装置２４の操作に基づいて、所定の視野角の領域を特定領域として設定するとともに、その特定領域の表示方法、すなわち特定領域を拡大表示すべきものであるか縮小表示すべきものであるかを設定する。
【0117】
また、特定領域処理手段６０は、前記特定領域設定手段５４により特定領域とされた視野角の領域を、設定された特定領域の表示方法により表示するための処理を行なう。具体的には、前記特定領域設定手段５４により特定領域とされた視野角の領域を、設定された特定領域の表示方法により表示することのできる関数ｆ（ｌ）の選定を行なう。前述の実施例２で示したように、ｆ（ｌ）のｌに対する勾配が急であるほど全球型仮想内視鏡画像においては拡大表示され、勾配が緩やかであるほど縮小表示される。従って、特定領域設定手段５４により例えば「６０度乃至８０度の範囲」のように、特定の視野角の領域を拡大（伸長）表示する旨が設定された場合には、その視野角の領域に対応するｌの範囲において、ｌに対するｆ（ｌ）の勾配が、前記特定の視野角以外の領域に対応するｌの範囲よりも急になるようなｆ（ｌ）を設定する。また、特定領域設定手段５４により特定の視野角の領域を縮小（圧縮）表示する旨が設定された場合には、その視野角の領域に対応するｌの範囲において、ｌに対するｆ（ｌ）の勾配が、前記特定の視野角以外の領域に対応するｌの範囲よりも緩やかになるようなｆ（ｌ）を設定する。この設定は、予め用意された複数種類の関数ｆ（ｌ）の候補から、特定領域設定手段５４における設定を実現するのに最も適した関数を選択するようにしても良いし、特定領域設定手段５４における設定を実現するのに適した関数ｆ（ｌ）を生成してもよい。
【0118】
また、特定領域設定手段５４として拡大もしくは縮小表示される視野角の領域を指定するのに代えて、ユーザにより関数ｆ（ｌ）を生成することも可能である。
【0119】
図２４は、ユーザによるｆ（ｌ）の生成に際して提供されるインタフェースの一例を示した図である。このインタフェースは例えば出力装置２６に表示され、入力装置２４による入力に対応してその表示が変化させられる。図２４のインタフェースにおいては、前述の実施例の図１３あるいは図２３に対応するグラフが表示されており、そのグラフ上に四角で表わされた複数のハンドル９０が設けられている。このハンドルを例えば入力装置２４としてのマウスにより移動させることで、関数ｆ（ｌ）の形状を変化させることができるようにされている。このようにすれば、規格化投影面における座標（ｘ，ｙ）と原点との距離ｌに対する回転角度θ１（＝ｆ（ｌ））を直感的に、あるいは試行錯誤的に設定することができる。
【0120】
前述の実施例３によれば、仮想内視鏡画像生成手段５６の全球型画像生成手段５８は、前記視野角において、特定の角度領域を伸長あるいは圧縮した全球型仮想内視鏡画像を生成するので、視点位置ｐを球状に取り囲む広い視野を有するとともに、特定の視野角の角度範囲について拡大あるいは縮小した全球型仮想内視鏡画像を得ることができる。
【0121】
前述の実施例３によれば、特定領域設定手段５４により、特定の角度領域の位置及び範囲は変更可能であるので、例えば操作者が拡大表示させたい特定の角度領域を指定することによりその角度領域を拡大した全球型仮想内視鏡画像を得ることができる。
【実施例4】
【0122】
本実施例においては、仮想内視鏡装置１０は、特徴部位抽出手段７２を有している。この特徴部位抽出手段７２は、仮想内視鏡装置１０が撮像しようとする被検体において、着目すべき部位を特徴部位として抽出する。この着目すべき部位とは、例えば、仮想内視鏡装置が大腸の仮想内視鏡画像に用いられる場合の腫瘍などに対応する。具体的には特徴部位抽出手段７２は、予め記憶装置２８に記憶された３次元画像データｆに基づいて、前記着目すべき部位の位置を検出する。この検出は、例えば前記着目すべき部位に対応して３次元画像データに現れる特徴を予め記憶しておき、３次元画像データｆがその特徴を含む、すなわち３次元画像データｆにおいてその特徴と一致あるいは類似する部位が存在する場合にその部位を特徴部位として検出する、いわゆるモデルマッチングなどによって行なわれ得る。
【0123】
一方、本実施例において特定領域設定手段５４は、特徴部位抽出手段７２によって抽出された特徴部位が全球型画像生成手段５８によって生成される全球型仮想内視鏡画像に含まれる場合において、その特徴部位を含む視野角の範囲が拡大して表示されるように特定領域を設定する。
【0124】
前述の実施例によれば、特徴部位抽出手段７２により前記被検体の３次元画像データｆから、予め設定された特徴を含む特徴部位が抽出され、全球型仮想内視鏡画像にその抽出された特徴部位が含まれる場合には特定領域設定手段によりその特徴部位を含むように前記特定の角度領域が設定されるとともに、前記仮想内視鏡画像生成手段により、特定域設定手段５４によって設定された前記特定の角度領域が、特定領域処理手段６０により拡大して表示されるので、視点位置を球状に取り囲む広い視野を有するとともに、予め設定された特徴を含む特徴部位が拡大して表示される全球型仮想内視鏡画像を得ることができる。
【0125】
このとき、表示手段６４の表示切換手段６８において、特徴部位抽出手段７２によって抽出された特徴部位が仮想内視鏡画像に表示される場合に、透視型仮想内視鏡画像から全球型仮想内視鏡画像に切り換えて表示することができる。このようにすれば、前記特徴部位が表示される場合に、その特徴部位が拡大表示されることが可能な前記全球型仮想内視鏡画像に切り換えて表示される。
【実施例5】
【0126】
前述の実施例においては、表示手段６４の視野角表示手段６６は仮想内視鏡画像内において視野角を表示する記号を仮想内視鏡画像に重ね合わせることにより、仮想内視鏡画像において視野角を視認可能とした。本実施例においては、視野角表示手段６６は、仮想内視鏡画像において、予め設定された視野角である境界角度の大きさを上回る領域と、その境界角度を下回る領域とで色相を異ならせることにより、仮想内視鏡画像において視野角を表示する。
【0127】
図２５は、前記視野角表示手段６６によって、前記境界角度の大きさを上回る領域の色相と、その境界角度を下回る領域の色相とが異ならされた仮想内視鏡画像の一例を示す画像である。この図２５は例えば出力装置２６に表示される画面の一例である。この図２５の例においては、前記境界角度は例えば視野角が１８０度とされている。そして、視野角が前記境界角度である１８０度を上回る領域１１０においては、視野角が前記境界角度である１８０度を下回る領域１１１よりもその色相が暗くなるように表示されている。このとき領域１１０と領域１１１との境界１１２が前記境界角度である視野角が１８０度に対応する。
【0128】
上述の実施例によれば、視野角が前記境界角度である１８０度以上の領域１１０の色相が、視野角が前記境界角度である１８０度未満の領域の色相１１１と異なり、暗くなるように表示されるので、仮想内視鏡画像において、予め設定された境界角度よりも視野角が狭い領域と、境界角度よりも視野角が広い領域とを区別することができる。また、仮想内視鏡画像において前記領域１１０と領域１１１の境界１１２により前記境界角度を視認することができる。
【0129】
また、上述の実施例によれば、前記境界角度は視野角が１８０度とされていたので、視野角が境界角度である１８０度以上の領域１１０は全球型仮想内視鏡画像において視点位置よりも後方に対応し、視野角が１８０度未満の領域１１１は全球型仮想内視鏡画像において視点位置よりも前方に対応する。そして、領域１１０の色相と領域１１１の色相とが異ならせて表示される。そのため、実際の内視鏡画像や従来広く用いられていた透視法による透視型仮想内視鏡においては見ることのできなかった視点位置よりも後方に対応する領域を全球型仮想内視鏡画像において区別することができる
【0130】
以上、本発明の実施例を図面に基づいて詳細に説明したが、本発明はその他の態様においても適用される。
【0131】
例えば、前述の実施例に加え、入力装置２４によるユーザの操作等に基づいて、視点位置ｐを連続的に変化させることができる。具体的には、仮想内視鏡画像生成手段５６において、図６のフローチャートを繰り返し実行することにより視点位置ｐを連続的に変化させる際に、Ｓ２において設定される視点位置ｐが変化させられて全球型仮想内視鏡画像を連続的に生成されるので、連続して変化させる視点位置に対応した、その視点位置を球状に取り囲む広い視野を有する全球型仮想内視鏡画像を得ることができる。すなわち、仮想内視鏡を被検体内に進入あるいは退出させることに対応した仮想内視鏡画像が得られる。
【0132】
また、前述の実施例に加え、入力装置２４によるユーザの操作などに基づいて、全球型仮想内視鏡の最大視野角Φを連続的に変化させることができる。具体的には、仮想内視鏡画像生成手段５６において、最大視野角Φが連続的に変化させられるのに伴って、仮想投影面１０２の形状が変化させられて全球型仮想内視鏡画像を連続的に生成されるので、連続して変化させる視点位置に対応した、その視点位置を球状に取り囲む広い視野を有する全球型仮想内視鏡画像を得ることができる。このようにすれば同一の視点位置において最大視野角が連続的に変化する仮想内視鏡画像が順次得られる。
【0133】
また前述の実施例５において、表示手段６４の視野角表示手段６６は、生成する全球型仮想内視鏡画像の最大視野角Φが１８０度以上である場合に、視野角が境界角度である１８０度以上の領域については、視野角が境界角度未満である領域と色相を異ならせた、具体的には明度を暗くした全球型仮想内視鏡画像を生成したが、このような態様に限られない。例えば視野角が境界角度内の領域をカラー（色付き）で表示する一方、視野角が境界角度よりも大きい領域を白黒で表示することができる。また、境界角度は１８０度に限定されるものではなく、全球型仮想内視鏡画像において任意の角度に設定することができる。
【0134】
また、仮想内視鏡画像生成手段５６の全球型画像生成手段５８による全球型仮想内視鏡画像の生成において、レイキャスティング法の実行の際におけるレイの方向の設定は、前述の実施例に記載の方法に限られない。例えば、投影面１０４上の画素のそれぞれに対応するレイを、そのレイを定義づけるレイと視線方向Ｌとのなす角θ１およびレイの視線方向Ｌ回りの回転角θ２によりそれぞれ予め算出しておき、算出されたレイのそれぞれについてレイキャスティングを実行するようにしてもよい。
【0135】
また、前述の実施例においては、仮想内視鏡画像生成手段５６の全球型画像生成手段５８によって生成される全球型仮想内視鏡画像の最大視野角Φは３６０度以下であったが、最大視野角Φは３６０度を超えてもよい。最大視野角Φを３６０度と設定した場合においても、仮想内視鏡画像が出力装置２６において長方形等の四角形状に表示される場合においては、視点位置を球状に取り囲む仮想内視鏡画像の一部が欠けて表示されない場合がある。かかる場合において、最大視野角Φを３６０度を上回る値に設定することにより、視点位置を球状に取り囲む仮想内視鏡画像の全てを出力装置２６に表示することができる。なお、最大視野角Φを３６０度を上回る値とした場合、仮想内視鏡画像の中心（視線方向Ｌ）について対称である仮想内視鏡画像の一対の端部において、共通する領域が表示されることとなる。
【0136】
また前述の実施例においては、全球型仮想内視鏡画像として最大視野角Φが１８０度以上である場合の例が示されたが、これに限定されない。すなわち本発明の仮想内視鏡装置は、最大視野角Φが０度より大きい場合には全球型仮想内視鏡画像を生成可能であり、かかる場合であっても前述の実施例における全球型仮想内視鏡画像の効果は同様に得られる。
【0137】
その他、一々例示はしないが、本発明はその趣旨を逸脱しない範囲内において種々の変更が加えられて実施されるものである。
【符号の説明】
【0138】
１０：仮想内視鏡装置５４：特定領域設定手段
５６：仮想内視鏡画像生成手段
５８：全球型画像生成手段
６２：透視型画像生成手段
６４：表示手段
７２：特徴部位抽出手段
ｆ：３次元画像データ
ｐ：視点位置