特許 6245840 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6245840

(24)【登録日】2017年11月24日

(45)【発行日】2017年12月13日

(54)【発明の名称】画像処理装置、方法、及びプログラム、並びに、立体画像表示装置

(51)【国際特許分類】

   G06F 3/0481 20130101AFI20171204BHJP

   G06T 19/00 20110101ALI20171204BHJP

【ＦＩ】

   G06F3/0481 120

   G06F3/0481 150

   G06T19/00 A

【請求項の数】7

【全頁数】15

(21)【出願番号】特願2013-102298(P2013-102298)

(22)【出願日】2013年5月14日

(65)【公開番号】特開2014-222459(P2014-222459A)

(43)【公開日】2014年11月27日

【審査請求日】2016年5月10日

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】東芝メディカルシステムズ株式会社

(74)【代理人】

【識別番号】110001771

【氏名又は名称】特許業務法人虎ノ門知的財産事務所

(72)【発明者】

【氏名】武口 智行

(72)【発明者】

【氏名】小暮 央

(72)【発明者】

【氏名】野田 玲子

(72)【発明者】

【氏名】塩寺 太一郎

(72)【発明者】

【氏名】爰島 快行

【審査官】 加内 慎也

(56)【参考文献】

【文献】 特開２０１２−１０５０４８（ＪＰ，Ａ）

【文献】 特開２００８−０７７２０３（ＪＰ，Ａ）

【文献】 特開２００４−３６２２１８（ＪＰ，Ａ）

【文献】 特開２００５−１０７９６３（ＪＰ，Ａ）

【文献】 特開２０００−１４９０６６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／００１３６０７（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１２／００６２５５８（ＵＳ，Ａ１）

【文献】 特開平０５−２５０４５８（ＪＰ，Ａ）

【文献】 特開平０５−３２４７９３（ＪＰ，Ａ）

【文献】 特開昭６２−２０９４８１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０４８１

Ｇ０６Ｔ １９／００

(57)【特許請求の範囲】

【請求項1】

被検体の対象物を含んだ３次元医用画像データから立体画像を生成する画像処理装置であって、
前記３次元医用画像データの座標系における３次元位置の入力を受け付ける受付部と、
第１領域と、前記第１領域を中心にして配置される第２領域とを含み、前記対象物の何れかの位置を指し示すための３次元ポインタについて、前記第１領域が前記３次元位置に位置するよう、前記３次元ポインタの配置を決定する決定部と、
前記３次元ポインタと、前記３次元医用画像データとを共にレンダリングして、前記立体画像を生成する生成部と、
前記受付部で受け付けた前記３次元位置に対応する前記対象物の一部のボクセル値が示す色とは異なる色に、前記３次元ポインタの色を変更する変更部と、を備える、
画像処理装置。

【請求項2】

前記第２領域は、前記第１領域を中心にして、少なくとも異なる２方向に延びる形状、または、前記第１領域を中心にして、前記第１領域の外側を囲む形状を有する、
請求項１に記載の画像処理装置。

【請求項3】

前記３次元ポインタは、複数の柱状の３次元データで構成され、
前記複数の柱状の３次元データのうち、それぞれの重心位置を含み、かつ、前記複数の柱状の３次元データが唯一交差する領域が前記第１領域である一方、前記第１領域以外の領域が前記第２領域である、
請求項２に記載の画像処理装置。

【請求項4】

前記第１領域は、小球状の３次元データで構成され、
前記第２領域は、円形または矩形の環状の３次元データで構成される、
請求項２に記載の画像処理装置。

【請求項5】

被検体の対象物を含んだ３次元医用画像データから立体画像を生成する画像処理方法であって、
前記３次元医用画像データの座標系における３次元位置の入力を受け付け、
第１領域と、前記第１領域を中心にして配置される第２領域とを含み、前記対象物の何れかの位置を指し示すための３次元ポインタについて、前記第１領域が前記３次元位置に位置するよう、前記３次元ポインタの配置を決定し、
前記３次元ポインタと、前記３次元医用画像データとを共にレンダリングして、前記立体画像を生成し、
受け付けた前記３次元位置に対応する前記対象物の一部のボクセル値が示す色とは異なる色に、前記３次元ポインタの色を変更する、
画像処理方法。

【請求項6】

被検体の対象物を含んだ３次元医用画像データから立体画像を生成する画像処理プログラムであって、
コンピュータを、
前記３次元医用画像データの座標系における３次元位置の入力を受け付ける受付手段と、
第１領域と、前記第１領域を中心にして配置される第２領域とを含み、前記対象物の何れかの位置を指し示すための３次元ポインタについて、前記第１領域が前記３次元位置に位置するよう、前記３次元ポインタの配置を決定する決定手段と、
前記３次元ポインタと、前記３次元医用画像データとを共にレンダリングして、前記立体画像を生成する生成手段と、
前記受付手段で受け付けた前記３次元位置に対応する前記対象物の一部のボクセル値が示す色とは異なる色に、前記３次元ポインタの色を変更する変更手段として機能させる、
画像処理プログラム。

【請求項7】

被検体の対象物を含んだ３次元医用画像データから生成される立体画像を表示する立体画像表示装置であって、
前記３次元医用画像データの座標系における３次元位置の入力を受け付ける受付部と、
第１領域と、前記第１領域を中心にして配置される第２領域とを含み、前記対象物の何れかの位置を指し示すための３次元ポインタについて、前記第１領域が前記３次元位置に位置するよう、前記３次元ポインタの配置を決定する決定部と、
前記３次元ポインタと、前記３次元医用画像データとを共にレンダリングして、前記立体画像を生成する生成部と、
前記立体画像を表示する表示部と、
前記受付部で受け付けた前記３次元位置に対応する前記対象物の一部のボクセル値が示す色とは異なる色に、前記３次元ポインタの色を変更する変更部と、を備える、
立体画像表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像処理装置、方法、及びプログラム、並びに、立体画像表示装置に関する。

【背景技術】

【0002】

従来、矢印などの形状で表されるポインタを、３Ｄ画像（立体画像）に重畳して表示することで、３Ｄ画像中の任意の位置をポインタで指示する技術が知られている。例えば特許文献１には、左右の視差画像のそれぞれにおけるポインタ表示位置を、立体表示のための仮想空間上の奥行き方向の位置の視差に応じてシフトする技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２−１７３８６５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、オブジェクト（観察対象物）とポインタとの相対的な位置関係による見え方を正確に呈示できないため、観察者がポインティング位置を正確に把握することは困難であるという問題がある。本発明が解決しようとする課題は、観察者がポインティング位置を正確に把握可能な画像処理装置、方法、及びプログラム、並びに、立体画像表示装置を提供することである。

【課題を解決するための手段】

【0005】

実施形態の画像処理装置は、被検体の対象物を含んだ３次元医用画像データから立体画像を生成する画像処理装置であって、受付部と、決定部と、生成部と、変更部とを備える。受付部は、前記３次元医用画像データの座標系における３次元位置の入力を受け付ける。決定部は、第１領域と、前記第１領域を中心にして配置される第２領域とを含み、前記対象物の何れかの位置を指し示すための３次元ポインタについて、前記第１領域が前記３次元位置に位置するよう、前記３次元ポインタの配置を決定する。生成部は、前記３次元ポインタと、前記３次元医用画像データとを共にレンダリングして、前記立体画像を生成する。変更部は、前記受付部で受け付けた前記３次元位置に対応する前記対象物の一部のボクセル値が示す色とは異なる色に、前記３次元ポインタの色を変更する。

【図面の簡単な説明】

【0006】

【図1】実施形態の立体画像表示装置の概略図。

【図2】実施形態の表示部の正面図。

【図3】実施形態の表示部の側面図。

【図4】実施形態の表示部の構成例を示す図。

【図5】実施形態の表示部を観察者が観察した状態を示す模式図。

【図6】実施形態の画像処理部の機能構成例を示す図。

【図7】実施形態のボリュームデータを説明するための模式図。

【図8】実施形態の３次元ポインタの一例を示す図。

【図9】変形例の３次元ポインタの一例を示す図。

【図10】実施形態の立体画像の表示例を示す図。

【図11】実施形態に係る画像処理部の動作例を示すフローチャート。

【図12】対比例のレンダリングにより得られた画像の一例を示す図。

【図13】実施形態のレンダリングにより得られた画像の一例を示す図。

【図14】変形例の３次元ポインタの一例を示す図。

【図15】変形例の３次元ポインタの一例を示す図。

【図16】変形例の立体画像の表示例を示す図。

【発明を実施するための形態】

【0007】

以下、添付図面を参照しながら、本発明に係る画像処理装置、方法、及びプログラム、並びに、立体画像表示装置の実施形態を詳細に説明する。

【0008】

本実施形態の立体画像表示装置は、例えば、インテグラル・イメージング方式（ＩＩ方式）や多眼方式等の３Ｄディスプレイ方式を採用したものであってよい。立体画像表示装置の例としては、例えば観察者が裸眼で立体画像を観察可能なＴＶ、ＰＣ、スマートフォン、デジタルフォトフレームなどが挙げられる。立体画像とは、互いに視差を有する複数の視差画像を含む画像である。視差とは、異なる方向から見ることによる見え方の差をいう。なお、実施形態で述べる画像とは、静止画像又は動画像のいずれであってもよい。

【0009】

図１は、本実施形態の立体画像表示装置１の概略構成例を示すブロック図である。立体画像表示装置１は、センサ部１０と、立体画像を生成する画像処理部２０と、立体画像を表示する表示部３０とを備える。

【0010】

センサ部１０は、表示部３０のうち立体画像が表示される画面の手前側の実空間における指示物体（例えば指やペン）の位置（３次元座標値）を検出し、検出した３次元座標値を画像処理部２０へ供給する。図２は、表示部３０の正面図であり、図３は、表示部３０の側面図である。図２および図３に示すように、センサ部１０は、第１検出部１１と第２検出部１２とを含む。また、本実施形態では、実空間上の位置を指し示すための指示物体として、先端部分から音波および赤外線を出射するペンを採用しているが、これに限られるものではない。

【0011】

第１検出部１１は、図２に示す実空間のＸ−Ｙ平面におけるペンの位置を検出する。より具体的には、第１検出部１１は、ペンから出射された音波および赤外線を検出し、音波が第１検出部１１に到達するまでの時間と、赤外線が第１検出部１１に到達するまでの時間との時間差に基づいて、ペンのＸ軸方向の座標値およびＹ軸方向の座標値を算出する。また、第２検出部１２は、図３に示す実空間のＺ軸方向におけるペンの位置を検出する。第１検出部１１と同様に、第２検出部１２は、ペンから出射された音波および赤外線を検出し、音波が第２検出部１２に到達するまでの時間と、赤外線が第２検出部１２に到達するまでの時間との時間差に基づいて、ペンのＺ軸方向の座標値を算出する。

【0012】

なお、これに限らず、例えばペンは、先端部分から音波のみまたは赤外線のみを出射する構成であってもよい。この場合、第１検出部１１は、ペンから出射された音波（または赤外線）を検出し、音波（または赤外線）が第１検出部１１に到達するまでの時間に基づいて、ペンのＸ方向の座標値およびＹ方向の座標値を算出することができる。同様に、第２検出部１２は、ペンから出射された音波（または赤外線）を検出し、音波（または赤外線）が第２検出部１２に到達するまでの時間に基づいて、ペンのＺ軸方向の座標値を算出することができる。

【0013】

なお、センサ部１０の構成は上述した内容に限定されるものではない。要するに、センサ部１０は、実空間における指示物体の位置を検出できるものであればよい。また、指示物体の種類もペンに限らず任意である。例えば指示物体は、観察者の指であってもよいし、メスやハサミなどであってもよい。

【0014】

次に、表示部３０の構成について説明する。図４は、表示部３０の構成例を示す図である。図４に示すように、表示部３０は、表示素子３１と開口制御部３２とを含む。観察者は、開口制御部３２を介して表示素子３１を観察することで、表示部３０に表示される立体画像を観察する。

【0015】

表示素子３１は、立体画像の表示に用いる視差画像を表示する。表示素子３１としては、直視型２次元ディスプレイ、例えば、有機ＥＬ（Ｏｒｇａｎｉｃ Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ）、投射型ディスプレイなどが挙げられる。表示素子３１は、例えば、ＲＧＢ各色のサブピクセルを、第１方向（例えば図４における行方向）と第２方向（例えば図４における列方向）とに、マトリクス状に配置した公知の構成であってよい。図４の例では、第１方向に並ぶＲＧＢ各色のサブピクセルが１画素を構成し、隣接する画素を視差の数だけ、第１方向に並べた画素群に表示される画像を要素画像３４と称する。なお、表示素子３１のサブピクセルの配列は、他の公知の配列であっても構わない。また、サブピクセルは、ＲＧＢの３色に限定されない。例えば、４色であっても構わない。

【0016】

開口制御部３２は、表示素子３１からその前方に向けて発散される光線を、開口部を介して所定方向に向けて出射させる（以下ではこのような機能を有する開口部を光学的開口部と呼ぶ）。開口制御部３２としては、例えばレンチキュラレンズ、パララックスバリア、液晶ＧＲＩＮレンズ等が挙げられる。光学的開口部は、表示素子３１の各要素画像に対応するように配置される。

【0017】

図５は、観察者が表示部３０を観察した状態を示す模式図である。表示素子３１に複数の要素画像３４を表示すると、表示素子３１には、複数の視差方向に対応した視差画像群（多視差画像）が表示される。この多視差画像による光線は、各光学的開口部を透過する。そして、観察者は、要素画像３４に含まれる異なる画素を、左目３６Ａおよび右目３６Ｂでそれぞれ観察することになる。このように、観察者の左目３６Ａおよび右目３６Ｂに対し、視差の異なる画像をそれぞれ表示させることで、観察者が立体画像を観察することができる。また、このように観察者が立体映像を観察することができる範囲を視域という。

【0018】

なお、本実施形態では、開口制御部３２は、光学的開口部の延伸方向が、表示素子３１の第２方向（列方向）に一致するように配置されているが、これに限らず、例えば開口制御部３２は、光学的開口部の延伸方向が表示素子３１の第２方向（列方向）に対して、所定の傾きを有するように配置される構成（いわゆる斜めレンズ）であってもよい。

【0019】

次に、画像処理部２０について説明する。この例では、画像処理部２０は、請求項の「画像処理装置」に対応している。図６は、画像処理部２０の構成例を示す図である。図６に示すように、画像処理部２０は、変換部２１と、受付部２２と、第１取得部２３と、第２取得部２４と、決定部２５と、変更部２６と、生成部２７と、表示制御部２８とを有する。

【0020】

本実施形態では、画像処理部２０のハードウェア構成は、ＣＰＵ（Central Processing Unit）、ＲＯＭ、ＲＡＭ、および、通信Ｉ／Ｆ装置などを備えた通常のコンピュータ装置を利用したハードウェア構成となっている。画像処理部２０の各部（変換部２１、受付部２２、第１取得部２３、第２取得部２４、決定部２５、変更部２６、生成部２７、表示制御部２８）の機能は、ＣＰＵがＲＯＭに格納されたプログラムをＲＡＭ上で展開して実行することにより実現される。また、これに限らず、画像処理部２０の各部の機能のうちの少なくとも一部を専用のハードウェア回路で実現することもできる。以下、画像処理部２０の各部の機能を説明する。

【0021】

変換部２１は、センサ部１０から３次元座標値（指示物体が指し示す実空間上の３次元座標値）を取得するたびに、その取得した３次元座標値を、後述のボリュームレンダリングにより生成される立体画像の元となる３次元データの座標系における３次元座標値に変換し、変換後の３次元座標値を受付部２２へ入力する。

【0022】

ここで、３次元データとは、立体物の形状を表現可能なデータであり、空間分割モデルや境界表現モデルなどが含まれ得る。空間分割モデルとは、例えば空間を格子状に分割し、分割した格子を用いて、立体物を表現するモデルを指す。境界表現モデルとは、例えば空間において立体物の占める領域の境界を表現することで、当該立体物を表現するモデルを指す。本実施形態では、３次元データはボリュームデータである場合を例に挙げて説明するが、これに限られるものではない。

【0023】

受付部２２は、３次元データの座標系における３次元位置の入力を受け付ける。この例では、受付部２２は、変換部２１からの３次元座標値の入力を受け付ける。

【0024】

第１取得部２３は、観察対象物（請求項の「対象物」に対応）の３次元データを取得する。例えば第１取得部２３は、データベースから観察対象物の３次元データを取得することもできるし、サーバ装置にアクセスして当該サーバ装置に格納された観察対象物の３次元データを取得することもできる。本実施形態では、図７に示すように、被検者の体軸方向に沿ってＸ線ＣＴ装置やＭＲＩ装置などで撮影された複数のスライス画像（断面画像）の集合から構成される医用のボリュームデータを、観察対象物の３次元データとして採用する。第１取得部２３は、観察対象物のボリュームデータを構成する各ボクセルの値（例えば輝度値やα値（透明度）等）を取得することもできる。また、例えばボリュームデータを構成する各スライス画像において血管・腫瘍・脳組織といった部位ごとに領域が分けられている場合は、各領域を識別する情報（例えば各領域に割り当てられたラベル番号等）を取得することもできる。

【0025】

第２取得部２４は、観察対象物の何れかの位置を指し示すための３次元ポインタを取得する。例えば第２取得部２４は、データベースから３次元ポインタを取得することもできるし、サーバ装置にアクセスして当該サーバ装置に格納された３次元ポインタを取得することもできる。３次元ポインタは３次元データで表現され、この例では、第２取得部２４は、３次元ポインタを構成する各ボクセルの値を取得することもできる。

【0026】

ここで、３次元ポインタは、第１領域と、第１領域を中心にして配置される第２領域とを含む。より具体的には、第２領域は、第１領域を中心として、少なくとも異なる２方向に延びる形状を有する。本実施形態では、３次元ポインタは、複数の柱状（円柱状であってもよいし、角柱状であってもよい）の３次元データで構成される。そして、複数の柱状の３次元データのうち、複数の柱状の３次元データの各々の重心位置（中心位置）を含み、かつ、複数の柱状の３次元データが唯一交差する領域が第１領域である一方、第１領域以外の領域が第２領域である。ここでは、各柱状の３次元データの重心位置は同じ位置を示す。

【0027】

図８は、本実施形態における３次元ポインタの一例を示す図である。図８に示す３次元ポインタは、図８に示すｘ方向（３次元データの座標系の水平方向）に延びる第１の柱状（この例では円柱状）の３次元データと、図８に示すｘ方向と直交するｙ方向（３次元データの座標系の垂直方向）に延びる第２の柱状（この例では円柱状）の３次元データとから構成される。そして、第１の柱状の３次元データと第２の柱状の３次元データのうち、両者の重心位置を含み、かつ、両者が唯一交差する領域が第１領域に相当し、第１領域以外の領域が第２領域に相当する。なお、３次元ポインタの構成は、図８の例に限られるものではない。

【0028】

例えば図９（ａ）に示すように、３次元ポインタは、上記第１の柱状の３次元データと、上記第２の柱状の３次元データと、ｘ方向およびｙ方向とそれぞれ直交するｚ方向（３次元データの座標系の奥行き方向）に延びる第３の柱状（この例では円柱状）の３次元データとから構成されてもよい。図９の例では、第１〜第３の柱状の３次元データのうち、それぞれの重心位置を含み、かつ、第１〜第３の柱状の３次元データが唯一交差する領域が第１領域に相当し、第１領域以外の領域が第２領域に相当する。

【0029】

また、例えば図９（ｂ）に示すように、３次元ポインタは、ｘｙ平面において互いに異なる方向に延びる３つの柱状（この例では円柱状）の３次元データで構成されてもよい。図９（ｂ）の例では、３つの柱状の３次元データのうち、それぞれの重心位置を含み、かつ、３つの柱状の３次元データが唯一交差する領域が第１領域に相当し、第１領域以外の領域が第２領域に相当する。

【0030】

図６に戻って説明を続ける。決定部２５は、３次元ポインタに含まれる第１領域が、受付部２２で受け付けた３次元位置に位置するよう、３次元ポインタの配置を決定する。本実施形態では、決定部２５は、第２取得部２４により取得された３次元ポインタに含まれる第１領域が、受付部２２で受け付けた変換部２１からの３次元座標値に位置するよう、３次元ポインタの配置を決定する。つまり、後述のボリュームレンダリングの対象となる３次元ポインタの位置は、実空間において観察者がペンで指し示した位置に応じて、可変に決定される。

【0031】

変更部２６は、受付部２２で受け付けた３次元位置に対応する３次元データの情報に応じて、３次元ポインタの形状、色および透明度のうちの少なくとも１つを変更する。以下の説明では、３次元ポインタの形状、色および透明度などを示す情報を属性情報と称する場合がある。例えば変更部２６は、第１取得部２３で取得された各ボクセル（観察対象物のボリュームデータを構成する各ボクセル）のうち、受付部２２で受け付けた変換部２１からの３次元座標値に対応するボクセルの値に応じて、３次元ポインタの色を変更することもできる。より具体的には以下のとおりである。

【0032】

例えば観察対象物のボリュームデータを構成する各ボクセルのうち、受付部２２で受け付けた３次元座標値に対応するボクセルが、「血管」を構成するボクセル群に含まれている場合を想定する。この例において、観察対象である「血管」を指し示すための３次元ポインタの色が「血管」と同じ色の場合は、３次元ポインタがどこを指し示しているのか分かり難くなるという問題が起こる。そこで、本実施形態の変更部２６は、３次元ポインタの色を、観察対象物のボリュームデータを構成する各ボクセルのうち受付部２２で受け付けた３次元座標値に対応するボクセルの値が示す色とは異なる色に変更する。これにより、３次元ポインタが指し示す位置を明確に識別することができる。

【0033】

なお、これに限らず、例えば観察対象物のボリュームデータを構成する各ボクセルのうち、受付部２２で受け付けた３次元座標値に対応するボクセルが、「血管」、「腫瘍」、「脳組織」などのうちの何れかを構成するボクセル群に含まれている場合、変更部２６は、３次元ポインタが完全に隠れてしまわないように、３次元ポインタの柱状の部分を延ばす変更を行うこともできる。

【0034】

さらに、例えば観察対象物のボリュームデータを構成する各ボクセルのうち、受付部２２で受け付けた３次元座標値に対応するボクセルが、手前側（観察者側）に配置されている場合、変更部２６は、観察対象物のボリュームデータのうち３次元ポインタよりも奥側の領域を視認し易くするために、３次元ポインタの透明度を上げる変更を行うこともできる。

【0035】

次に、図６に示す生成部２７について説明する。生成部２７は、３次元ポインタと、観察対象物の３次元データとを共に（一緒に）レンダリングして、立体画像を生成する。より具体的には、生成部２７は、決定部２５により配置が決定され、かつ、変更部２６により属性情報が変更された３次元ポインタと、第１取得部２３により取得された観察対象物の３次元データとを合わせた３次元データに対して、所定の視差角ずつ視点位置（カメラの位置）を移動させてボリュームレンダリング処理を行うことで、複数（３以上）の視差画像を生成する。

【0036】

なお、受付部２２が、３次元データの座標系における３次元座標値の入力を受け付けていない場合（つまり、観察者が、画面の手前側の実空間を指示物体で指し示す操作を行っていない場合）は、決定部２５による処理（３次元ポインタの配置を決定する処理）や変更部２６による処理（３次元ポインタの属性情報を変更する処理）は行われない。この場合、例えば生成部２７は、第１取得部２３により取得された観察対象物の３次元データのみをボリュームレンダリングして複数の視差画像を生成することもできる。

【0037】

表示制御部２８は、生成部２７により生成された複数の視差画像を含む立体画像を表示部３０に表示する制御を行う。

【0038】

本実施形態では、図１０に示すように、観察者が、表示部３０に表示された立体画像を見ながら、画面の手前側の実空間における何れかの位置を前述のペンで指し示すと（ポインティングすると）、その指し示した位置に対応して配置される第１領域と、第１領域を中心にして配置される第２領域とから構成される３次元ポインタが立体表示される。なお、例えば、立体表示される３次元ポインタの表示位置を、実空間の座標系に一致させるキャリブレーションを行うことで、表示と操作の一体感を増強することもできる。

【0039】

次に、図１１を参照しながら、本実施形態に係る画像処理部２０の動作例を説明する。図１１は、画像処理部２０の動作例を示すフローチャートである。ここでは、第１取得部２３は、観察対象物の３次元データを取得済みであり、第２取得部２４は、３次元ポインタを取得済みであるとする。図１１に示すように、まず変換部２１は、センサ部１０から、実空間における３次元座標値を取得する（ステップＳ１０１）。変換部２１は、センサ部１０から取得した３次元座標値を、３次元データの座標系における３次元座標値に変換し（ステップＳ１０２）、変換後の３次元座標値を受付部２２に入力する。受付部２２は、変換部２１からの３次元座標値（変換後の３次元座標値）の入力を受け付ける（ステップＳ１０３）。

【0040】

決定部２５は、ステップＳ１０３で受け付けた３次元座標値に応じて、第２取得部２４により取得された３次元ポインタの配置を決定する（ステップＳ１０４）。前述したように、決定部２５は、３次元ポインタに含まれる第１領域が、ステップＳ１０３で受け付けた３次元座標値に位置するよう、３次元ポインタの配置を決定する。また、変更部２６は、ステップＳ１０３で受け付けた３次元座標値に対応する３次元データの情報（例えばボクセルの値）に応じて、第２取得部２４により取得された３次元ポインタの属性情報を変更する（ステップＳ１０５）。

【0041】

生成部２７は、ステップＳ１０４で配置が決定され、かつ、ステップＳ１０５で属性情報が変更された３次元ポインタと、第１取得部２３により取得された観察対象物の３次元データとを合わせた３次元データに対して、ボリュームレンダリング処理を行う（ステップＳ１０６）。これにより、複数の視差画像が生成される。表示制御部２８は、生成された複数の視差画像を含む立体画像を表示部３０に表示する制御を行う（ステップＳ１０７）。

【0042】

以上に説明したように、本実施形態では、３次元データの座標系のうち、観察者が指し示した実空間の位置に対応する３次元座標値に配置される第１領域と、第１領域を中心にして配置される第２領域とを含む３次元ポインタを、観察対象物の３次元データと共にレンダリングすることで、ポインティング位置（３次元ポインタにより指し示された位置）と、その周辺構造の関係性を正確に表現することが可能になる。特に、３次元ポインタが前述の第２領域を含むことで、観察者は、腫瘍や血管などの周辺構造と３次元ポインタとの相対的な位置関係（前後関係など）の把握が容易になり、ポインティング位置を正確に把握することができる。

【0043】

いま、例えば３次元ポインタが前述の第１領域のみで構成される場合を対比例として想定する。例えば対比例において、レンダリングで得られた画像が図１２のような画像であった場合、ポインティング位置を把握し難いという問題がある。

【0044】

これに対して、本実施形態では、３次元ポインタは、観察者が指し示す位置に対応して配置される第１領域に加えて、第１領域を中心にして配置される第２領域を含んで構成される。例えば本実施形態において、レンダリングで得られた画像が図１３のような画像であった場合を想定する。図１３に示すように、３次元ポインタが、前述の第１領域に加えて、第１領域を中心にして十字状に延在する柱状の３次元データで構成される第２領域を含むことで、観察者は、周辺構造の「血管」と３次元ポインタとの前後関係の把握が容易になり、ポインティング位置を正確かつ容易に把握できるという有利な効果を達成できる。

【0045】

なお、前述したように、第２領域の形状は任意であり、周辺構造との表示関係で奥行知覚を補助することができる形状であればよい。

【0046】

以上、本発明の実施形態を説明したが、上述の実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら新規な実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【0047】

（変形例）
以下、変形例を記載する。以下の変形例同士は任意に組み合わせることが可能である。また、以下の変形例と上述の実施形態は、任意に組み合わせることが可能である。

【0048】

・ 変形例１
例えば第２領域は、第１領域を中心にして、第１領域の外側を囲む形状を有する形態であってもよい。より具体的には、第１領域は、小球状の３次元データで構成され、第２領域は、円形または矩形の環状の３次元データで構成される形態とすることもできる。

【0049】

例えば図１４（ａ）に示すように、３次元ポインタは、小球状の３次元データで構成される第１領域と、第１領域を中心に配置される円形の環状の３次元データとを含む形態であってもよい。また、例えば図１４（ｂ）に示すように、３次元ポインタは、小球状の３次元データで構成される第１領域と、第１領域を中心に配置される矩形の環状の３次元データとを含む形態であってもよい。

【0050】

要するに、第２領域は、上述の実施形態のように、第１領域を中心にして、少なくとも異なる２方向に延びる形状、または、図１４のように、第１領域を中心にして、第１領域の外側を囲む形状を有する形態であればよい。

【0051】

・ 変形例２
例えば図１５（ａ）に示すように、３次元ポインタは、小球状の３次元データで構成される第１領域と、第１領域を対称の中心にしてそれぞれがｙ方向に延在する２つの柱状（この例では円柱状）の３次元データで構成される第２領域とを含む形態であってもよい。

【0052】

また、図１５（ｂ）に示すように、３次元ポインタは、ｙ方向に延在する柱状の３次元データの中心に対応して配置されるとともに小球状の３次元データで構成される第１領域と、柱状の３次元データのうち第１領域に対応する領域以外の領域を示す第２領域とを含む形態であってもよい。

【0053】

要するに、３次元ポインタは、第１領域と、第１領域を中心にして配置される第２領域とを含む形態であればよい。

【0054】

・ 変形例３
例えば３次元データは、点と、点の集合で構成される線および面で構成されるポリゴンデータであってもよい。例えば変更部２６は、受付部２２で受け付けた３次元座標値が、ポリゴンデータの閉領域内に含まれるかどうかを判定する内外判定を行い、受付部２２で受け付けた３次元座標値が、ポリゴンデータの閉領域内に含まれると判定した場合は、３次元ポインタが完全に隠れてしまわないように、３次元ポインタの柱状の部分を延ばす変更を行うこともできる。なお、変更部２６は、上述の内外判定を行わずに、内外判定の結果を外部から取得する形態であってもよい。

【0055】

・ 変形例４
例えば３次元データは、２次元画像の各画素の奥行き値を表すデプスデータ（デプスマップ）であってもよい。例えば変更部２６は、受付部２２で受け付けた３次元座標値（ｘ、ｙ、ｚ）が示す奥行き値ｚと、デプスマップのうち、受付部２２で受け付けた３次元座標値（ｘ、ｙ、ｚ）の（ｘ、ｙ）の位置に対応する奥行き値とを比較して、受付部２２で受け付けた３次元座標値ｚがデプスマップよりも手前に存在する場合は、３次元ポインタの透明度を上げる変更を行うこともできる。

【0056】

・ 変形例５
上述の実施形態では、観察者によるペンの操作に応じて、３次元データの座標系における３次元位置（３次元ポインタの３次元位置）が入力されるが、これに限らず、３次元データの座標系における３次元位置の入力方法は任意である。

【0057】

例えば初期状態（ユーザによる操作が行われる前のデフォルトの状態）では、３次元データの座標系における３次元位置の入力値は、観察対象物の３次元データの中心（重心位置）に設定されてもよい。この場合、デフォルトの状態では、観察対象物の３次元データの中心に第１領域が配置された３次元ポインタと、観察対象物の３次元データとを共にレンダリングして得られる立体画像が表示部３０に表示される。そして、観察者によるマウスの操作量（例えばマウスの移動量、ホイールの移動量など）に応じて、３次元データの座標系における３次元位置の入力値（３次元ポインタの３次元位置）が変化する形態であってもよい。

【0058】

また、上述の実施形態では、３次元データの座標系は、画面の手前側の実空間の座標系と対応付けられているが、これに限らず、例えば３次元データの座標系は、観察者の手元の実空間の座標系と対応付けられる形態であってもよい。この形態では、例えば図１６に示すように、観察者の手元の実空間におけるペンの位置（３次元座標値）を検出するためのセンサ４１、４２を有する入力デバイス４０が設けられる。センサ４１、４２により検出されたペンの３次元座標値は画像処理部２０へ渡され、３次元データの座標系における３次元座標値に変換される。そして、上述の実施形態と同様に、変換された３次元座標値に配置される第１領域と、第１領域を中心にして配置される第２領域とを含む３次元ポインタと、観察対象物の３次元データとを共にレンダリングして得られる立体画像が表示部３０に表示される。

【0059】

要するに、観察者による操作に応じて、３次元データの座標系における３次元位置が入力される形態であればよい。

【0060】

・ 変形例６
上述の実施形態では、本発明が適用された立体画像表示装置の一例として、裸眼式の立体画像表示装置を例に挙げて説明したが、これに限らず、例えば眼鏡式の立体画像表示装置であってもよい。

【0061】

・ 変形例７
例えば画像処理部２０は、上述の変更部２６を有していない形態とすることもできる。

【0062】

（プログラム）
上述の画像処理部２０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するようにしてもよい。また、上述の画像処理部２０で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するようにしてもよい。さらに、上述の画像処理部２０で実行されるプログラムを、ＲＯＭ等の不揮発性の記録媒体に予め組み込んで提供するようにしてもよい。

【符号の説明】

【0063】

１ 立体画像表示装置
１０ センサ部
１１ 第１検出部
１２ 第２検出部
２０ 画像処理部
２１ 変換部
２２ 受付部
２３ 第１取得部
２４ 第２取得部
２５ 決定部
２６ 変更部
２７ 生成部
２８ 表示制御部
３０ 表示部
３１ 表示素子
３２ 開口制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】