特表 2017-534965 ３次元オブジェクトを可視化する方法、可視化装置及びコンピュータプログラム製品

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】特表2017-534965(P2017-534965A)

(43)【公表日】2017年11月24日

(54)【発明の名称】３次元オブジェクトを可視化する方法、可視化装置及びコンピュータプログラム製品

(51)【国際特許分類】

   G06T 15/08 20110101AFI20171027BHJP

【ＦＩ】

   G06T15/08

【審査請求】有

【予備審査請求】未請求

【全頁数】18

(21)【出願番号】特願2017-516063(P2017-516063)

(86)(22)【出願日】2014年9月23日

(85)【翻訳文提出日】2017年3月23日

(86)【国際出願番号】EP2014070231

(87)【国際公開番号】WO2016045701

(87)【国際公開日】20160331

(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,ST,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,KM,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IR,IS,JP,KE,KG,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SA,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US

(71)【出願人】

【識別番号】516252425

【氏名又は名称】ジーメンス ヘルスケア ゲゼルシャフト ミット ベシュレンクテル ハフツング

【氏名又は名称原語表記】Ｓｉｅｍｅｎｓ Ｈｅａｌｔｈｃａｒｅ ＧｍｂＨ

(74)【代理人】

【識別番号】100114890

【弁理士】

【氏名又は名称】アインゼル・フェリックス＝ラインハルト

(74)【代理人】

【識別番号】100098501

【弁理士】

【氏名又は名称】森田 拓

(74)【代理人】

【識別番号】100116403

【弁理士】

【氏名又は名称】前川 純一

(74)【代理人】

【識別番号】100135633

【弁理士】

【氏名又は名称】二宮 浩康

(74)【代理人】

【識別番号】100162880

【弁理士】

【氏名又は名称】上島 類

(72)【発明者】

【氏名】クラウス エンゲル

【テーマコード（参考）】

5B080

【Ｆターム（参考）】

5B080AA17

5B080BA00

5B080DA06

5B080FA17

5B080GA06

5B080GA22

(57)【要約】

不均質な３次元オブジェクト（ＯＢＪ）の内部ボリュームを複数のシミュレートされた視線（Ｒ１，…，Ｒ６）によって可視化する。オブジェクトボリューム（ＯＶ）へ入射する各視線（Ｒ１，…，Ｒ６）に対して、ｉ）視線（Ｒ１，…，Ｒ６）に沿って、散乱位置が求められ、ｉｉ）ランダムプロセスに依存して散乱方向が選択され、ｉｉｉ）視線（Ｒ１，…，Ｒ６）が、散乱位置で、選択された散乱方向へ散乱される。視線（Ｒ１，…，Ｒ６）がオブジェクトボリューム（ＯＶ）に吸収されるまで又はオブジェクトボリューム（ＯＶ）から出射するまで、ステップｉ）からステップｉｉｉ）が反復され、出射視線が照明源（ＬＰ１，…，ＬＰ３，ＬＳ１，ＬＳ２）へ入射し、この照明源（ＬＰ１，…，ＬＰ３，ＬＳ１，ＬＳ２）の輝度値及び／又は色値に依存して、各可視化ピクセルに対する視線（Ｒ１，…，Ｒ６）の照明寄与分が求められる。さらに、それぞれの可視化ピクセルに対する輝度値及び／又は色値を求めるために、複数の視線（Ｒ１，…，Ｒ６）の各照明寄与分が統計的に平均される。

【特許請求の範囲】

【請求項1】

ボリュームデータによって表現される不均質な３次元オブジェクト（ＯＢＪ）を可視化する方法であって、
ａ）前記ボリュームデータは、オブジェクトボリューム（ＯＶ）内の結像すべきオブジェクト（ＯＢＪ）の密度を示すものとし、
ｂ）各可視化ピクセルに対して、該可視化ピクセルに割り当てられる複数の視線（Ｒ１，…，Ｒ６）をシミュレートし、前記オブジェクトボリューム（ＯＶ）に入射する各視線（Ｒ１，…，Ｒ６）に対して、
ｉ）前記密度に依存して、前記視線（Ｒ１，…，Ｒ６）に沿って、散乱位置を求め、
ｉｉ）ランダムプロセスに依存して散乱方向を選択し、
ｉｉｉ）前記視線（Ｒ１，…，Ｒ６）を、前記散乱位置で、選択された前記散乱方向へ散乱させ、
ｉｖ）前記視線（Ｒ１，…，Ｒ６）が前記オブジェクトボリューム（ＯＶ）に吸収されるまで又は前記オブジェクトボリューム（ＯＶ）から出射するまで、前記ステップｉ）から前記ステップｉｉｉ）を反復し、
出射視線を照明源（ＬＰ１，…，ＬＰ３，ＬＳ１，ＬＳ２）へ入射させ、該照明源（ＬＰ１，…，ＬＰ３，ＬＳ１，ＬＳ２）の輝度値及び／又は色値に依存して、各可視化ピクセルに対する前記視線（Ｒ１，…，Ｒ６）の照明寄与分を求め、
ｃ）割り当てられた可視化ピクセルに対する輝度値及び／又は色値を求めるために、複数の視線（Ｒ１，…，Ｒ６）の各照明寄与分を統計的に平均する、
方法。

【請求項2】

照明源として、前記オブジェクトボリューム（ＯＶ）を取り囲む１つの環境像（ＬＰ１，…，ＬＰ３）を設け、
前記環境像（ＬＰ１，…，ＬＰ３）への前記出射視線の入射点を求め、
前記視線（Ｒ１，…，Ｒ６）の前記照明寄与分を、前記環境像（ＬＰ１，…，ＬＰ３）の入射点での輝度値及び／又は色値に依存して求める、
請求項１に記載の方法。

【請求項3】

照明源として、前記オブジェクトボリューム（ＯＶ）を取り囲む複数の環境像（ＬＰ１，…，ＬＰ３）を設け、
前記視線（Ｒ１，…，Ｒ６）に散乱タイプを割り当て、
前記出射視線の散乱タイプに依存して、少なくとも１つの前記環境像（ＬＰ１，…，ＬＰ３）を選択し、
前記視線（Ｒ１，…，Ｒ６）の前記照明寄与分を、選択された少なくとも１つの前記環境像（ＬＰ１，…，ＬＰ３）に基づいて固有に求める、
請求項２に記載の方法。

【請求項4】

第１の環境像（ＬＰ１）から、散乱タイプに固有のフィルタリングによって、少なくとも１つの第２の環境像（ＬＰ２，ＬＰ３）を形成する、
請求項２又は３に記載の方法。

【請求項5】

前記視線（Ｒ１，…，Ｒ６）の前記照明寄与分を、散乱なしに照明源（ＬＰ１，…，ＬＰ３，ＬＳ１，ＬＳ２）から散乱位置まで走行する照明光線（ＩＲ１，…，ＩＲ６）の輝度値及び／又は色値に依存して修正する、
請求項１から４までのいずれか１項に記載の方法。

【請求項6】

照明源として、少なくとも１つの光源（ＬＳ１，ＬＳ２）を設け、
前記散乱方向の選択を、前記少なくとも１つの光源（ＬＳ１，ＬＳ２）へ向かう散乱方向に制限する、
請求項１から５までのいずれか１項に記載の方法。

【請求項7】

前記散乱方向の制限を設定された確率で行い、
前記制限が行われない場合、前記出射視線の前記照明寄与分において拡散性の照明寄与分を考慮する、
請求項６に記載の方法。

【請求項8】

前記視線（Ｒ１，…，Ｒ６）の前記照明寄与分を、前記散乱位置での密度によって制御する、
請求項１から７までのいずれか１項に記載の方法。

【請求項9】

前記密度のそれぞれの値を輝度値、色値、透明度値及び／又は不透明度値へマッピングする遷移関数を設定する、
請求項１から８までのいずれか１項に記載の方法。

【請求項10】

前記散乱位置での前記密度の勾配を求め、
該勾配に依存して前記散乱方向を選択する、
請求項１から９までのいずれか１項に記載の方法。

【請求項11】

前記勾配の値を求め、
該勾配の値に依存する確率によって、前記視線（Ｒ１，…，Ｒ６）に反射性の散乱タイプ及び／又は屈折性の散乱タイプを割り当て、
前記勾配の方向を面法線として定め、
該面法線に関して前記散乱方向を選択する際に、反射性の散乱方向及び／又は屈折性の散乱方向を優先する、
請求項１０に記載の方法。

【請求項12】

前記散乱位置をWoodcockトラッキングによって求める、
請求項１から１１までのいずれか１項に記載の方法。

【請求項13】

行われた前記視線（Ｒ１，…，Ｒ６）の散乱の回数を求め、
該回数に依存して、前記オブジェクトボリューム（ＯＶ）に前記視線（Ｒ１，…，Ｒ６）を吸収させる、
請求項１から１２までのいずれか１項に記載の方法。

【請求項14】

各可視化ピクセルに割り当てられた視線（Ｒ１，…，Ｒ６）を可視化ピクセルから仮想レンズ（Ｌ）上のランダムに選択された位置へ配向し、
前記視線（Ｒ１，…，Ｒ６）を、前記仮想レンズ（Ｌ）上の選択された位置において、所定の屈折力で屈折させ、
前記屈折させた視線をさらに追跡する、
請求項１から１３までのいずれか１項に記載の方法。

【請求項15】

ボリュームデータによって表現される不均質な３次元オブジェクト（ＯＢＪ）を可視化するために、請求項１から１４までのいずれか１項に記載の方法を実行する全ての手段を備えた、可視化装置。

【請求項16】

ボリュームデータによって表現される不均質な３次元オブジェクト（ＯＢＪ）を可視化するために、請求項１から１４までのいずれか１項に記載の方法を実行するように構成された、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ボリュームレンダリング、すなわち、不均質な３次元オブジェクトを画像合成によって可視化する技術分野に関する。こうしたオブジェクトは特に現実のボディ又は仮想モデリングされたオブジェクトであってよい。３次元オブジェクトの可視化は、特に、医学、地球物理学、材料検査、仮想現実フィールド及び／又はコンピュータゲームなど、複数の適用領域を有する。

【0002】

ボリュームレンダリングでは、不均質なオブジェクトの表面だけでなく、内部ボリュームも可視化され、これにより、透明効果及び／又は内部構造もリアリスティックに再現できる。この場合、３次元オブジェクトは、ボリュームデータによって３次元分解されて表される。

【0003】

ボリュームレンダリングのための公知の方法の１つに、以下では視線とも称する仮想の光線の特性をシミュレートするいわゆるレイキャスティングがあり、この仮想の光線は、仮想の観察者又は仮想の検出器から出て可視化すべきオブジェクトを通って走行する。当該視線に沿って、オブジェクト内の各点に対する照明値が求められる。また、視線に対して求められた照明値から、可視化された２次元画像が構成される。

【0004】

リアリスティックな可視化では、例えば環境遮蔽、影、透明化、いわゆるカラーブリーディング、表面シェーディング、複合カメラ効果などの大域照明の効果、及び／又は、任意の環境光条件による照明の効果をできるだけ包括的に考慮する必要がある。この場合、環境遮蔽はしばしばアンビエントオクルージョンとも称される。こうした照明効果は、特にボリュームレンダリングでは、深さ及び形状の知覚、ひいては、良好な画像理解に大きく貢献する。

【0005】

公知のボリュームレンダリングシステムでは、局所照明の効果は確かにしばしば考慮されるが、大域照明の効果の全てをリアリスティックに考慮できるわけではない。

【0006】

刊行物Thomas Kroe et al., “Exposure Render: An Interactive Photo-Realistic Volume Rendering Framework”, PLoS ONE, Volume 7, Issue 7 （2012年7月）から、視線を追跡するためにモンテカルロシミュレーションをいわゆるWoodcockトラッキングとともに利用するボリュームレンダリング方法が公知である。ただし、リアリスティックなシェーディング効果を計算するために、各視線に加えてオブジェクトボリューム内で別の光線を追跡すると大きな計算コストが生じる。さらに、いわゆる重点サンプリングも必要であり、このことはモンテカルロプロセスの統計的特性に影響する。

【0007】

本発明の課題は、大域照明の効果を効率的に利用可能な、３次元オブジェクトを可視化する方法、可視化装置及びコンピュータプログラム製品を提供することである。

【0008】

この課題は、請求項１に記載の特徴を有する方法、請求項１４に記載の特徴を有する可視化装置、及び、請求項１５に記載の特徴を有するコンピュータプログラム製品によって、解決される。

【0009】

ボリュームデータによって表現される不均質な３次元オブジェクトを可視化するために、各可視化ピクセルに対して、これらの可視化ピクセルに割り当てられる複数の視線がシミュレートされる。ここで、ボリュームデータは、オブジェクトボリューム内の結像すべきオブジェクトの密度を示すものとする。この場合、密度とは特に、物理的密度、光学的密度、屈折率及び／又は輝度値、色値、透明度値及び／又は不透明度値であってよく、スケーリング形態、ベクトル形態又はテンソル形態のいずれであってもよい。可視化ピクセルは特に、結像平面又は湾曲した結像面に仮想配置することができる。本発明によれば、オブジェクトボリュームに入射する各視線に対して、ｉ）密度に依存して、視線に沿って散乱位置が求められ、ｉｉ）ランダムプロセスに依存して散乱方向が選択され、ｉｉｉ）視線が、散乱位置で、選択された散乱方向へ散乱される。この場合、ランダムプロセスは、例えば、擬似乱数発生器又は準乱数発生器をベースとしたものであってよい。視線がオブジェクトボリュームに吸収されるまで又はオブジェクトボリュームから出射するまで、ステップｉ）からステップｉｉｉ）が反復され、出射視線が照明源へ入射し、照明源の輝度値及び／又は色値に依存して、各可視化ピクセルに対する視線の照明寄与分が求められる。割り当てられた可視化ピクセルに対する輝度値及び／又は色値を求めるために、複数の視線の各照明寄与分が統計的に平均される。

【0010】

本発明により、複雑な大域照明の効果を効率的に考慮することができる。吸収又は照明源への入射が行われるまで、ランダムプロセスに依存して選択された散乱方向に視線が散乱することに基づいて、視線又は照明光線のカスケード分岐の複雑な計算を回避でき、そのうえ、オブジェクトボリューム内部の複雑な光路を考慮できる。

【0011】

本発明の有利な実施形態及び改善形態は各従属請求項に示されている。

【0012】

本発明の有利な一実施形態によれば、照明源として、オブジェクトボリュームを取り囲む１つの環境像が設けられる。ここで、環境像への出射視線の入射点が求められ、視線の照明寄与分が、環境像の入射点での輝度値及び／又は色値に依存して求められる。こうした環境像は、しばしば、ライトプローブ又はライトマップとも称される。

【0013】

こうした環境像がオブジェクトボリュームを完全に又は部分的に取り囲む場合、少なくとも、出射視線の大部分につき、この出射視線を環境像のピクセルに入射させて照明寄与分を取得できることが予測される。このような手段により、視線の大部分がいわば消失してしまうこと、つまり、照明寄与分が形成されずに追跡されることを回避できる。

【0014】

このような環境像により、オブジェクトがあたかも環境像によって結像される環境内に存在し、そこで誘起された照明を受けているかのようにリアリスティックに、オブジェクトを可視化できる。

【0015】

本発明の別の一実施形態によれば、照明源として、オブジェクトボリュームを取り囲む複数の環境像を設けることができる。この場合、視線に散乱タイプが割り当てられ、出射視線の散乱タイプに依存して、少なくとも１つの環境像が選択される。その後、視線の照明寄与分を、選択された少なくとも１つの環境像に基づいて固有に求めることができる。

【0016】

散乱タイプは特に、反射性又は透過性であってよい。そのほか、散乱しない視線に対してさらに「散乱無し」の散乱タイプを設けることもできる。反射性の散乱タイプは、好ましくは、所定表面での、最大でも軽度の拡散反射に相応に、強い異方性散乱に割り当てられ、これに対して、透過性の散乱タイプは、反対に、小さい異方性の散乱に割り当てることができる。好ましくは、反射性の散乱タイプでは、最大でも軽度に不鮮鋭な環境像を選択でき、透過性の散乱タイプでは、反対に強度にぶれた環境像を選択できる。

【0017】

特に、第１の環境像から、散乱タイプに固有のフィルタリングによって、少なくとも１つの第２の環境像を形成することができる。つまり、散乱無しの視線の場合、フィルタリングされていない第１の環境像を選択でき、反射性の散乱タイプの場合、不鮮鋭性フィルタを介して軽度にぶれた第２の環境像を選択でき、透過性の散乱タイプの場合、反対に強度にぶれた環境像又は拡散性の環境像を選択できる。

【0018】

このようにして、特に異方性などの散乱の固有特性を、相応にフィルタリングされた環境像にしたがってシミュレートもしくは実現できる。

【0019】

本発明の有利な一実施形態によれば、視線の照明寄与分を、散乱無しに照明源から散乱位置まで走行する照明光線の輝度値及び／又は色値に依存して修正することができる。これにより、複雑な光線追跡を回避して、照明源の固有の光影響を効率的に考慮することができる。

【0020】

本発明のさらに別の一実施形態によれば、照明源として、少なくとも１つの光源、好ましくは面状の光源を設けることができる。ここで、有利には、散乱方向の選択を、少なくとも１つの光源へ向かう散乱方向に制限できる。オブジェクトボリュームから出てランダムな方向へ向かう視線の光源への入射を予測できないことが多い場合、可能な散乱方向を制限することにより、いわば消失してしまう視線の割合を減少させることができる。

【0021】

特には、散乱方向の制限を設定された確率で行い、制限が行われない場合、出射視線の照明寄与分において拡散性の照明寄与分を考慮するように構成することができる。

【0022】

本発明の一実施形態によれば、視線の照明寄与分を、散乱位置での密度によって制御することができる。

【0023】

好ましくは、密度のそれぞれの値を輝度値、色値、透明度値及び／又は不透明度値へマッピングする遷移関数を設定することができる。このようにすれば、種々の密度又は特徴的な密度特性を有するオブジェクトの内部構造を、色、輝度、透明度及び／又は不透明度によって設定可能な形式で可視化することができる。

【0024】

特に、散乱によって生じる照明寄与分の色値が密度に対応する色値に結合可能、例えば乗算可能であって、得られる色値は視線の照明寄与分において使用可能である。

【0025】

さらに、散乱位置での密度の勾配又は全体的な密度分布を求め、この勾配に依存して散乱方向を選択することができる。当該勾配計算は、完全にもしくは部分的に前もって行うことができ、又は、これに代えてもしくはこれに加えて、視線の散乱によってトリガすることもできる。

【0026】

特に、当該勾配の値を求め、この値に依存する確率によって、視線に反射性の散乱タイプ及び／又は屈折性の散乱タイプを割り当てることができる。その後、勾配の方向を面法線として定め、この面法線に関して散乱方向を選択する際に、反射性の散乱方向及び／又は屈折性の散乱方向を優先することができる。

【0027】

本発明の有利な一実施形態によれば、散乱位置をWoodcockトラッキングによって求めることができる。ここで、好ましくは、視線の散乱確率は、オブジェクトボリューム内を視線が走行した区間の長さが増大するにつれて増大しうる。

【0028】

別の一実施形態によれば、行われた視線の散乱の回数を例えばインクリメントによって求め、この回数に依存して、オブジェクトボリュームに視線を吸収させることができる。特には、散乱に対して、上方超過によって視線が吸収されたものとする回数最大値を設定できる。

【0029】

別の一実施形態によれば、各可視化ピクセルに割り当てられた視線を可視化ピクセルから仮想レンズ上のランダムに選択された位置へ配向できる。この場合、視線を、仮想レンズ上の選択された位置において、所定の屈折力で屈折させ、屈折させた視線をさらに追跡することができる。このようにすれば、深さの不鮮鋭性及び／又は運動の不鮮鋭性などの光学結像効果を有する仮想のカメラをシミュレートでき、これによりリアリスティックな印象を強めることができる。

【0030】

本発明の実施形態を以下に図に即して詳細に説明する。

【図面の簡単な説明】

【0031】

【図1】３次元オブジェクトを可視化するためにシミュレートされた光線特性を有する一実施形態を示す概略図である。

【図2】３次元オブジェクトを可視化するためにシミュレートされた光線特性を有する別の実施形態を示す概略図である。

【図3】３次元オブジェクトを可視化するためにシミュレートされた光線特性を有する別の実施形態を示す概略図である。

【0032】

図１から図３には、それぞれ、３次元オブジェクトＯＢＪの可視化が示されている。これは、例えば、トモグラフィデータに即して仮想モデリングされたボディ部であってよい。図１−図３に示されている構造は、好ましくは、仮想構造としてコンピュータによってシミュレートされる。このために必要な計算の重要部分は、好ましくはコンピュータのグラフィックカードに格納され、そこで集中的に並列方式で実行される。オブジェクトＯＢＪは、点線の四角形で示された３次元のオブジェクトボリュームＯＶに含まれている。オブジェクトＯＢＪは、オブジェクトボリュームＯＶ内部で、可視化すべきオブジェクトＯＢＪの密度を３次元分解能もしくは空間分解能において示すボリュームデータによって表現される。この場合、密度とは特に、物理密度、光学密度、屈折率、及び／又は、オブジェクトＯＢＪの３次元分解能での輝度、色、透明度及び／又は不透明度であってよい。

【0033】

仮想検出器Ｄは、可視化されるオブジェクトＯＢＪが仮想投影される結像平面として用いられる。検出器Ｄは、平面状に配置された複数の仮想の可視化ピクセルを含む。検出器Ｄの前方には、検出器Ｄとともに仮想カメラを形成する仮想レンズＬが配置されている。検出器Ｄ及びレンズＬを配置することにより、深さの不鮮鋭性及び／又は運動の不鮮鋭性などの光学結像特性をシミュレートすることができる。

【0034】

オブジェクトＯＢＪは、例となる内部構造として、暗示的な第１の表面ＩＳ１と暗示的な第２の表面ＩＳ２とを有する。密度特性がいわば跳躍的に変化する、つまり、密度の勾配値が局所的にきわめて大きくなる、オブジェクトＯＢＪの内部領域又は外部領域が、暗示的な表面と捉えられるか又は識別される。これは、例えば、筋組織から骨組織への移行部で生じる。この場合、相応の移行部を骨表面として識別できる。このようにして識別された表面の一方、ここではＩＳ１，ＩＳ２に対して、好ましくは反射性の特性を割り当てることができる。

【0035】

検出器Ｄの各可視化ピクセルから、シミュレートされた複数の視線が出る。ここでの実施形態では、図１−図３に例としての視線Ｒ１，…，Ｒ６が示されている。検出器Ｄの各可視化ピクセルから出る視線Ｒ１，…，Ｒ６は、好ましくは、仮想レンズＬ上のランダムに選択される位置へ配向され、選択された位置で、物理的な屈折法則にしたがったレンズＬの屈折力により屈折する。ついで、屈折した視線Ｒ１，…，Ｒ６は追跡される。可視化すべきオブジェクトＯＢＪの画像を形成してユーザに提供するために、検出器Ｄの各可視化ピクセルに対して複数の視線がシミュレートされ、すなわち、計算される。ついで、複数の視線にわたって、可視化ピクセルごとに統計的な平均が行われる。可視化動作において別の視線が計算される間、生じる画像の品質は連続的に向上する。つまり、統計的ばらつきに起因する画像雑音がシミュレーション動作中に低減される。

【0036】

可視化ピクセルから出る各視線に、好ましくは色値を含む照明寄与分が割り当てられる。色値は、最初、白色で開始される。レンズＬで屈折した視線に対して、そのつど、当該視線がオブジェクトボリュームＯＶへ入射するか否かが求められる。ここでの実施形態では、視線Ｒ１はオブジェクトボリュームＯＶ内へは入射せず、他の視線Ｒ２，…，Ｒ６がオブジェクトボリュームＯＶへ入射する。オブジェクトボリュームＯＶへ入射する視線Ｒ２，…，Ｒ６に対しては、いわゆるWoodcockトラッキングにより、オブジェクトボリュームＯＶ内の各散乱位置が求められる。Woodcockトラッキングでは、散乱確率は、オブジェクトＯＢＪの好ましくは補間された密度に依存して、それぞれの視線に沿って、オブジェクトボリュームＯＶ内で走行された経路の長さが増大するにつれて、増大する。求められた散乱位置で、各視線の散乱がシミュレートされる。散乱は視線の方向を変化させるが、このことは図１−図３においてそれぞれの散乱位置での相応の屈曲によって示されている。特に各視線は分岐無しで散乱する。こうした手段により、視線のカスケード分岐又は視線のツリー分岐の複雑な計算を回避することができる。

【0037】

散乱方向は、ランダムプロセスによって選択される。この場合、好ましくは、各散乱位置に対して、どの程度の確率で視線がそのつどの散乱方向へ散乱するかを表す確率密度関数（しばしばＰＤＦと略称される）が使用される。こうした確率密度関数はしばしば位相関数とも称される。当該位相関数は、例えばトモグラフィデータから導出される局所的なＸ線減衰量又はいわゆる「Hounsfieldスケール」にしたがった吸収量に基づいて、オブジェクトＯＢＪの局所的な材料特性から導出することができる。局所的な材料特性は、好ましくは、オブジェクトＯＢＪのボリュームデータの密度成分として符号化される。好ましくは、ボリュームデータは、密度及びこの密度から導出されるデータがオブジェクトボリュームＯＶの各位置で特に視線及びその散乱位置に沿って効率的に補間可能となるように、符号化される。

【0038】

散乱位置での局所色は、好ましくは補間された密度又はその成分に遷移関数を適用することにより、導出可能である。当該遷移関数は、例えば高い密度に対して、低い密度の場合に比べてより暗くより飽和した色及び／又は低い密度の場合とは別の色を割り当てることができる。散乱位置に存在する色は、光と散乱位置でのオブジェクトＯＢＪとの相互作用をモデリングするために、各視線に割り当てられた色と、結合、例えば乗算される。

【0039】

ランダムプロセスをベースとした散乱方向に散乱する視線Ｒ３，…，Ｒ６は、先行の散乱位置での演算と同じ演算が適用される次の散乱位置を求めるために、Woodcockトラッキングによって追跡される。当該プロセスは、各視線がオブジェクトボリュームＯＶに吸収されるまで又はオブジェクトボリュームＯＶを出るまで、反復される。この場合の吸収は、上方超過によって各視線が吸収されたことを表す散乱過程の最大回数を設定することにより、又は、散乱イベントの回数に基づいて各視線の消滅を表す確率密度関数を利用することにより、モデリング可能である。このようなWoodcockトラッキングとランダムプロセスベースの散乱との組み合わせは、しばしば、モンテカルロレンダリングとも称される。

【0040】

図１，図２に基づいて示されている実施形態では、オブジェクトボリュームＯＶを取り囲む環境像ＬＰ１，ＬＰ２及びＬＰ３が照明源として設けられている。こうした環境像はしばしば「ライトプローブ」もしくは「ライトマップ」とも称される。好ましくは、環境像ＬＰ１，ＬＰ２，ＬＰ３がオブジェクトボリュームＯＶをできるかぎり完全に取り囲み、これにより、最大限、オブジェクトボリュームＯＶから出る各視線が環境像ＬＰ１，ＬＰ２，ＬＰ３へ入射するようにする。環境像ＬＰ１，ＬＰ２又はＬＰ３は、それぞれ、オブジェクトボリュームＯＶ内に存在する観察者が結像される環境によって取り囲まれているような視界を形成するように、配置もしくは投影される。

【0041】

図１，図２に示されている実施形態に対して、環境像ＬＰ１はフィルタリングされていない環境像、例えば道路形状の環境像であるものとする。環境像ＬＰ２は、軽度の不鮮鋭性フィルタを適用することにより環境像ＬＰ１から生じる反射性の環境像であるものとする。つまり、環境像ＬＰ２は、環境像ＬＰ１が軽度にぶれたバージョンである。さらに、環境像ＬＰ３は、強度の不鮮鋭性フィルタの適用によって環境像ＬＰ１から生じる拡散環境像であるものとする。つまり、環境像ＬＰ３は、環境像ＬＰ１が強度にぶれたバージョン又は殆ど拡散してしまったバージョンである。このような殆ど拡散してしまった環境像ＬＰ３は、しばしば「イラジアンスライトマップ」と称される。

【0042】

フィルタリングされていない環境像ＬＰ１により、散乱無しの視線の照明寄与分が求められる。相応に、反射性の環境像ＬＰ２に基づいて、反射性の視線のみの照明寄与分が求められ、拡散した環境像ＬＰ３に基づいて、透過性の散乱した視線の照明寄与分が求められる。各視線の照明寄与分は、環境像への視線の入射点での輝度値及び／又は色値に依存して求められる。

【0043】

図１には、追跡される視線Ｒ１が、オブジェクトボリュームＯＶではなく、散乱無しの視線としてフィルタリングされていない環境像ＬＰ１へ入射している。このことは、オブジェクトボリュームＯＶへ入射するがそこでは散乱せず、そのために入射点での環境像ＬＰ１の輝度値又は色値に依存して同様にその照明寄与分を受ける、視線Ｒ２にも当てはまる。

【0044】

視線Ｒ３は、オブジェクトボリュームＯＶにおいてまず第２の表面ＩＳ２で、ついで第１の表面ＩＳ１でそれぞれ反射性の散乱を生じ、続いてオブジェクトＯＢＪ内部でもういちど透過性の散乱を生じ、その後、オブジェクトボリュームＯＶを出る。透過性の散乱に基づいて、視線Ｒ３には透過性の散乱タイプが割り当てられ、これに基づいて、入射点での環境像ＬＰ３の輝度値もしくは色値に依存して、拡散する環境像ＬＰ３が選択される。視線Ｒ４は、オブジェクトＯＢＪ内部の３つの散乱位置でそれぞれランダムプロセスベースの散乱方向に散乱し、その後でオブジェクトボリュームＯＶを出る。透過性の散乱に基づいて、視線Ｒ４に透過性の散乱タイプが割り当てられ、相応に、拡散する環境像ＬＰ３に基づく照明寄与分が求められる。

【0045】

視線Ｒ５は、オブジェクトボリュームＯＶ内部の第２の表面ＩＳ２で、１回だけ、特に反射性で散乱し、その後、オブジェクトボリュームＯＶを出る。反射性の散乱に基づき、視線Ｒ５には反射性の散乱タイプが割り当てられ、入射点での反射性の環境像ＬＰ２すなわち環境像ＬＰ２の輝度値及び／又は色値に基づいて、その照明寄与分が求められる。

【0046】

視線Ｒ６は、オブジェクトＯＢＪの内部の３つの散乱位置でそれぞれランダムプロセスベースの方向に透過性の散乱を生じ、その後、オブジェクトＯＢＪ内部で、例えば高い局所密度に基づいて、最後の散乱位置の近傍において吸収される。視線Ｒ６が全ての散乱イベントの後にオブジェクトボリュームＯＶ内にとどまる場合、この視線Ｒ６は、照明寄与分を受けない。これは、オブジェクトボリュームＯＶを出て環境像ＬＰ１，ＬＰ２もしくはＬＰ３の照明寄与分を受ける視線Ｒ１，…，Ｒ５とは異なる。得られる照明寄与分又は各視線の合成色は、検出器Ｄの対応するそれぞれの可視化ピクセルに加算される。

【0047】

オブジェクトボリュームＯＶ内の暗示的な表面、ここではＩＳ１，ＩＳ２に対する表面シェーディング効果を計算するために、視線の各散乱位置に対して、散乱位置での密度の局所勾配がボリュームデータから補間され、この勾配の値に依存して、確率的な表面散乱イベントがモデリングされる。こうした表面散乱イベントは、反射性の散乱、すなわち、視線の反射、又は、暗示的な表面での視線の屈折であってよい。こうした反射性の散乱が生じる場合、局所密度勾配の方向によって定められる表面法線の半球において、ランダムな散乱方向が選択される。反射性の散乱の確率は、好ましくは、散乱位置に対して補間されたボリュームデータのいわゆるＢＲＤＦ（双方向反射散乱関数Bidirectional Reflectance Distribution Function）に基づいて求められる。反射性の散乱の場合、物理的な反射法則にしたがった反射方向に沿った散乱方向が、半球の他の方向に対して高度に優先される。したがって、反射性の散乱を生じた視線は、いわば確率的に、反射法則によって定められる反射方向へフォーカシングされる。反射性のみの散乱を生じる視線、ここでは視線Ｒ５に対して、反射性の散乱タイプが割り当てられる。もっぱら反射性の散乱を生じる視線がオブジェクトボリュームＯＶを出ると、この視線の照明寄与分が、入射点での反射性の環境像ＬＰ２の輝度値及び／又は色値に基づいて求められる。各視線が透過性の散乱を生じる場合、上述したように、この視線に透過性の散乱タイプが割り当てられ、視線がオブジェクトボリュームＯＶを出れば、その照明寄与分が環境像ＬＰ３に基づいて求められる。どちらのケースでも、照明寄与分は、各視線に割り当てられた色と、結合、例えば乗算され、割り当てられた各可視化ピクセルに加算される。オブジェクトボリュームＯＶに入射しない視線、ここではＲ１、又は、オブジェクトボリュームＯＶ内で散乱しない視線、ここではＲ２は、フィルタリングされていない環境像ＬＰ１の照明寄与分を受ける。

【0048】

図２には、各視線の照明寄与分において付加的な寄与分を考慮するための本発明のバリエーションが示されている。このために、照明光線ＩＲ１，…，ＩＲ６が、各視線の照明寄与分に対する付加的な寄与分としてシミュレートされる。当該照明光線ＩＲ１，…，ＩＲ６は、反射性の散乱位置の全てに対してオブジェクトボリュームＯＶ内で付加的に計算され、図２では破線の矢印で示されている。

【0049】

図２では、視線Ｒ１，…，Ｒ５が、図１に関連して説明したように散乱し、相応の照明寄与分を受ける。図１に関連して説明した照明寄与分に加えて、図２に示されている実施形態では、反射性の散乱位置の全て、ここでは視線Ｒ３，Ｒ５につき、照明光線ＩＲ１，…，ＩＲ６によって、各視線Ｒ３又はＲ５の照明寄与分に対する付加的な寄与分が加算される。このため、例えば、第２の表面ＩＳ２での視線Ｒ５の反射性の散乱に対して、照明光線ＩＲ３，ＩＲ４の寄与分が視線Ｒ５の照明寄与分に加えられる。この場合、拡散性の照明寄与分に相当する照明光線ＩＲ３は環境像ＬＰ３から反射性の散乱位置へ走行し、反射性の照明寄与分に相当する照明光線ＩＲ４は環境像ＬＰ２から反射性の散乱位置へ走行する。環境像ＬＰ３での照明光線ＩＲ３の出発点として、反射点での表面ＩＳ２の半球でのランダム位置が選択される。照明光線ＩＲ４では、環境像ＬＰ２の出発点として、反射方向における一点が選択される。反射性の散乱位置に対する照明光線ＩＲ３，ＩＲ４の寄与分に基づいて、これに割り当てられる色値を修正することができる。この場合、反射性の散乱位置に基本的に割り当てられる色値を、拡散性の照明光線ＩＲ３の輝度値及び／又は色値によって重みづけし、これに反射性の照明光線ＩＲ４の輝度値及び／又は色値を加えることができる。この場合、反射性の色値は、次の散乱イベントに対して視線Ｒ５の色値を修正するために、視線Ｒ５に割り当てられた色値と、結合、例えば乗算することができる。第２の表面ＩＳ２での視線Ｒ５の反射に即して先に説明した、照明光線ＩＲ３，ＩＲ４での照明プロセスが、視線Ｒ３の反射性の散乱においても、第２の表面ＩＳ２では照明光線ＩＲ１，ＩＲ２によって、さらに、第１の表面ＩＳ１では照明光線ＩＲ５，ＩＲ６によって、行われる。

【0050】

照明光線ＩＲ１，…，ＩＲ６は、それぞれ散乱も分岐も起こさない。こうした手段により、計算の複雑な照明光線のカスケード分岐を回避できる。

【0051】

図３には、環境像の代わりに平面状の光源ＬＳ１，ＬＳ２を照明源として機能させる、本発明の別のバリエーションが示されている。この実施形態では、散乱位置が、先の実施形態に関連して説明したように求められる。ただし、図３に示されている実施形態では、図１，図２に示されている実施形態とは異なり、散乱方向の選択が、光源ＬＳ１，ＬＳ２へ向かう散乱方向に制限される。つまり、各散乱位置に対して、まず、１つの光源ＬＳ１又はＬＳ２が場合によりその面積によって重みづけされてランダムに選択され、続いて、選択された光源の面でのランダムな位置が求められる。この場合の散乱は、求められたランダムな位置の方向で生じる。

【0052】

光源ＬＳ１，ＬＳ２がオブジェクトボリュームＯＶを包囲していないので、散乱方向の選択を制限することによって、視線の大部分が光源へ入射せず、そのためいわば消失してしまうことを回避できる。図３に示されている実施形態では、視線Ｒ１，Ｒ２はオブジェクトボリューム内では散乱せず、光源ＬＳ１，ＬＳ２のいずれにも入射しない。したがって、視線は照明寄与分を受けない。視線Ｒ５は、第２の表面ＩＳ２で反射され、光源ＬＳ２へ入射し、その輝度値及び／又は色値が視線Ｒ５の照明寄与分に加算される。視線Ｒ６は、オブジェクトＯＢＪ内で４回、透過性の散乱を生じ、ここで、散乱方向はどの回においても光源ＬＳ１又はＬＳ２の一方の方向を指示する。第４回目の散乱の後、視線Ｒ６はオブジェクトボリュームＯＢＪ内で吸収され、検出器Ｄの割り当てられた可視化ピクセルに対する照明寄与分は形成されない。視線Ｒ４は、オブジェクトＯＢＪ内で３回、それぞれ光源ＬＳ１，ＬＳ２の一方の方向へ散乱し、最終的にオブジェクトボリュームＯＶを出て光源ＬＳ１の方向へ向かい、その輝度値及び／又は色値が視線Ｒ４の照明寄与分に加算される。

【0053】

各散乱方向が例外なく全ての散乱に際して上述したように制限されるとすれば、オブジェクトボリュームＯＶを通る全ての可能な経路を考慮することは不可能なはずである。この場合、オブジェクトボリュームＯＶ内の領域を照明できず、そのため可視化画像は完全に黒色に見えることになる。こうした照明されない領域を回避するために、設定された確率での非制限の散乱の選択を許容することもできる。すなわち、例えば、ユーザが設定可能な確率閾値が下方超過されると、光源ＬＳ１又はＬＳ２の方向への散乱に代えて、任意の、好ましくは統計的に均等に分散された方向への散乱を許容できる。こうした非制限の散乱性の視線には、好ましくは、例えば「アンビエントライティング」などの特別な散乱タイプを割り当てることができる。

【0054】

相応に、図３では、視線Ｒ３がまず第２の表面ＩＳ２で非制限のランダムな方向へ散乱し、続いてオブジェクトＯＢＪ内でもういちど非制限のランダムな方向へ散乱している。したがって、当該散乱光線Ｒ３には、散乱タイプ「アンビエントライティング」が割り当てられる。視線Ｒ３はオブジェクトボリュームＯＶから出るが、光源ＬＳ１又はＬＳ２へは入射しない。ただし、散乱タイプ「アンビエントライティング」に割り当てられた視線として、視線Ｒ３は、しばしば「アンビエントオクルージョンライティング」とも称される、弱い拡散性かつ等方性を有する環境光寄与分を受ける。こうした手段により、オブジェクトＯＢＪの完全に照明されない領域を有効に回避できる。

【0055】

検出器Ｄの可視化ピクセルは、全ての視線の照明寄与分を統計的に平均した照明寄与分を受ける可視化画像バッファを形成する。当該可視化画像バッファは、連続方式でユーザに提示され、続いて別の視線の計算により背景において精細化される。高コントラスト画像、いわゆる「ハイダイナミックレンジ画像（ＨＤＲＩ）」の場合、可視化画像をユーザに提示する前にダイナミック圧縮を行うことができる。可視化パラメータ、例えば仮想カメラの位置などが変化する場合、可視化画像バッファを消去して、視線の計算を開始することができる。視線及び照明寄与分は相互に独立に計算できるので、本発明の可視化プロセスは良好にパラメータ化可能であり、したがって、マルチコアアーキテクチャ又は集中並列動作するグラフィックカードにおいて効率的に実行可能である。

【0056】

モンテカルロプロセスをカラートラッキングに使用することにより、本発明では、オブジェクトボリュームＯＶを通る任意の光路を考慮でき、複雑な照明寄与分及びカメラモデルをシミュレートできる。本発明の方法の確率的性質によって、オブジェクトボリュームＯＶ内のきわめて多数の複雑な光路を考慮して、所定の時間にわたって平滑な、光学的にリアリスティックな可視化画像を形成できる。本発明の方法は、各視線に対して、オブジェクトボリュームＯＶを通る唯一の光路をWoodcockトラッキングによって追跡するだけでよいので、きわめて効率的である。

【図1】

【図2】

【図3】

【国際調査報告】