特許 6373600 医用画像処理装置及び医用画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6373600

(24)【登録日】2018年7月27日

(45)【発行日】2018年8月15日

(54)【発明の名称】医用画像処理装置及び医用画像処理方法

(51)【国際特許分類】

   A61B 6/03 20060101AFI20180806BHJP

   A61B 5/055 20060101ALI20180806BHJP

【ＦＩ】

   A61B6/03 360G

   A61B6/03 371

   A61B5/055 380

【請求項の数】13

【全頁数】28

(21)【出願番号】特願2014-31082(P2014-31082)

(22)【出願日】2014年2月20日

(65)【公開番号】特開2014-158746(P2014-158746A)

(43)【公開日】2014年9月4日

【審査請求日】2017年2月2日

(31)【優先権主張番号】13/771,460

(32)【優先日】2013年2月20日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100109830

【弁理士】

【氏名又は名称】福原 淑弘

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100140176

【弁理士】

【氏名又は名称】砂川 克

(74)【代理人】

【識別番号】100158805

【弁理士】

【氏名又は名称】井関 守三

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100124394

【弁理士】

【氏名又は名称】佐藤 立志

(74)【代理人】

【識別番号】100112807

【弁理士】

【氏名又は名称】岡田 貴志

(74)【代理人】

【識別番号】100111073

【弁理士】

【氏名又は名称】堀内 美保子

(72)【発明者】

【氏名】マグナス ワレンバーグ

【審査官】 九鬼 一慶

(56)【参考文献】

【文献】 特開２０１０−０１７４９０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０１６０７８９（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ６／００−６／１４

Ａ６１Ｂ ５／０５５

(57)【特許請求の範囲】

【請求項1】

診断対象に関するボリュームデータであって複数のボクセルを有する前記ボリュームデータに対し、前記診断対象の少なくとも一部のボクセルデータを挟んで視点又は視野平面と光源とを設定し、吸収と散乱とを含む光学的モデルを用いて、前記設定された視点又は視野平面と前記光源との間に存在するボクセルデータにおいて減衰する光の透過率を決定し、前記視点又は視野平面及び光源と前記光の透過率とを用いて、前記診断対象に関する投影画像を生成する画像生成ユニットと、
前記生成された投影画像を所定の形態にて表示する表示ユニットと、
を具備することを特徴とする医用画像処理装置。

【請求項2】

前記画像生成ユニットは、色依存性吸収パラメータを有する吸収関数を用いて前記光の透過率を決定することを特徴とする請求項１記載の医用画像処理装置。

【請求項3】

前記色依存性吸収パラメータは、赤色の色成分に対してよりも青色および緑色の色成分に対してより強い吸収を提供するものであることを特徴とする請求項２に記載の医用画像処理装置。

【請求項4】

前記画像生成ユニットは、前記ボクセルデータ毎に計算された前記光源からの光量及び光の入射方向と、前記視点又は前記視野平面に到達する光の放射照度と、を用いて、前記投影画像を生成することを特徴とする請求項１乃至３のうちいずれか一項記載の医用画像処理装置。

【請求項5】

前記画像生成ユニットは、前記光源に対応するボクセルを透明とすることで、当該光源からの光の散乱又は吸収に寄与しないものとする請求項１乃至４のうちいずれか一項記載の医用画像処理装置。

【請求項6】

前記光源は、前記ボリュームデータ内において、複数の位置に分散して配置された光源ボクセルであることを特徴とする請求項１乃至５のうちいずれか一項に記載の医用画像処理装置。

【請求項7】

前記光源に対応するボクセルは、前記診断対象のセグメンテーションに基づいて、少なくとも一つのボクセルに割り当てられることを特徴とする請求項１乃至６のうちいずれか一項に記載の医用画像処理装置。

【請求項8】

前記光源に対応するボクセルは、前記診断対象の管腔中心線に関して割り当てられることを特徴とする請求項１乃至７のうちいずれか一項に記載の医用画像処理装置。

【請求項9】

前記画像生成ユニットは、前記診断対象が中空のとき、前記光源を前記診断対象の中空内に設定し、前記視点又は視野平面を前記診断対象の中空外に設定することを特徴とする請求項１乃至８のうちいずれか一項記載の医用画像処理装置。

【請求項10】

前記画像生成ユニットは、前記診断対象が中空のとき、前記光源を前記診断対象の中空外に設定し、前記視点又は視野平面を前記診断対象の中空内に設定することを特徴とする請求項１乃至８のうちいずれか一項記載の医用画像処理装置。

【請求項11】

前記光源の空間的位置を入力するための入力ユニットをさらに具備する請求項１乃至１０のうちいずれか一項記載の医用画像処理装置。

【請求項12】

前記画像生成ユニットは、前記診断対象の外側に、前記光源とは異なる光源をさらに設定することを特徴とする請求項１乃至１１のうちいずれか一項記載の医用画像処理装置。

【請求項13】

診断対象に関するボリュームデータであって複数のボクセルを有する前記ボリュームデータに対し、前記診断対象の少なくとも一部のボクセルデータを挟んで視点又は視野平面と光源とを設定し、
吸収と散乱とを含む光学的モデルを用いて、前記設定された視点又は視野平面と前記光源との間に存在するボクセルデータにおいて減衰する光の透過率を決定し、
前記視点又は視野平面及び光源と前記光の透過率とを用いて、前記診断対象に関する投影画像を生成し、
前記生成された投影画像を所定の形態にて表示すること、
を具備することを特徴とする医用画像処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書で説明する実施形態は、一般に、医用画像のボリュームレンダリングに関する。

【背景技術】

【0002】

医学の分野では、三次元（３Ｄ）画像データセットすなわちボリュームデータセットが、この分野でモダリティと呼ばれるさまざまな技法によって収集される。これらの技法としては、コンピュータ支援断層撮影（ＣＴ）、磁気共鳴（ＭＲ）、単光子放出コンピュータ断層撮影（ＳＰＥＣＴ）、超音波、および陽電子放出コンピュータ断層撮影（ＰＥＴ）がある。

【0003】

医用画像アプリケーションなどで画像を表示するとき、特定の信号値は、特定の不透明度に関連付けられ、また、非階調画像の場合は、可視化の助けとなる色に関連付けられる。この関連付けすなわちマッピングは、コンピュータ画面または他の従来の２Ｄ表示装置に表示するための３Ｄデータセットの２Ｄ投影を表す２Ｄデータセット（ピクセルデータセット）を計算するために３Ｄデータセット（ボクセルデータセット）からのデータを用いるときに行われる。この処理は、ボリュームレンダリング、またはより一般的にはレンダリングとして知られる。

【0004】

組織の厚さが重要な診断基準である種々の臨床状況が存在する。たとえば、心臓イメージングでは、心筋壁厚が肥大の指標として用いられる。

【0005】

図１は、健康な心臓（左側）および右室肥大を呈する心臓（右側）の概略断面図を示す。図示のように、罹患した心臓のほうが、心室壁Ｖが厚い。

【0006】

３Ｄ患者画像データセットを可視化するためのボリュームレンダリングアプリケーションでは、壁の肥厚は、概略図と同様に心臓を通る断面を撮像することによって確かめることができるが、このビューを作製するのにかなりの時間がかかる場合がある。しかし、断面を撮像しない場合、厚さのメトリックスを可視化したりそれらを構造データと融合させたりすることは簡単ではない。

【0007】

１つの既知の方法は、厚さの測定値を心臓壁にテクスチャーとして投影することである。これは、東芝メディカルシステムズのＣＴコンソールの一機能である。

【0008】

図２は、心筋の厚さを可視化するこの方法を説明するフロー図である。

【0009】

ステップＳ１では、区分および他のフィーチャを識別するために心臓のＣＴボリュームデータセットのセグメンテーションを行う。

【0010】

ステップＳ２では、心筋の厚さマップを計算する。

【0011】

ステップＳ３では、その厚さを色にマッピングする。

【0012】

ステップＳ４では、修正したボリュームデータセットを、厚さのカラーマッピングを用いて心筋の外面のテクスチャーとしてボリュームレンダリングする。

【0013】

ステップＳ５では、ボリュームレンダリングからの２Ｄ画像を表示のために出力する。

【0014】

この方法はかなり良く機能するが、テクスチャーが不自然なので、ボリュームレンダリングされた画像は、ユーザには不自然に見える。

【0015】

気管、食道、腸、または胃などの管腔（すなわち臓器）の凹凸のある内面を可視化するための、多少関連する方法が特開平９−２３７３５２に開示されている。管腔の外面をその管腔の内面の性質によりシェーディングすることによって管腔のそれまでの外部のビューを修正することが提案されている。内面のトポグラフィは、フィーチャの内部に仮想光源を設けることによって決定される。データボリュームの各スライスの重心を追跡する線光源が、仮想光源、すなわち各スライスの中心にある点光源として提案される。これによって、胃、気管などの内面のトポグラフィすなわち凹凸を計測し、次に、適切な変換により、胃、気管などの外面に可視化することが可能になる。

【0016】

一般的な、より従来の方法では、心筋バイアビリティを評価するためにレンダリングアプリケーションを用いず、代わりに、Ｅ．Ｇａｒｃｉａ、Ｋ．Ｖ．Ｔｒａｉｎ、Ｊ．Ｍａｄｄａｈｉ、Ｆ．Ｐｒｉｇｅｎｔ、Ｊ．Ｆｒｉｅｄｍａｎ、Ｊ．Ａｒｅｅｄａ、Ａ．Ｗａｘｍａｎ、およびＤ．Ｂｅｒｍａｎ、「ｒｏｔａｔｉｏｎａｌ ｔｈａｌｌｉｕｍ−２０１ ｍｙｏｃａｒｄｉａｌ ｔｏｍｏｇｒａｐｈｙのＱｕａｎｔｉｆｉｃａｔｉｏｎ」、Ｊｏｕｒｎａｌ ｏｆ Ｎｕｃｌｅａｒ Ｍｅｄｉｃｉｎｅ、第２６巻、第１号、１７〜２６ページ、１９８５で提唱されている、いわゆる極座標表示（polar map）またはＢｕｌｌ’ｓ ｅｙｅプロットを用いる。極座標表示は、左室または右室の３Ｄボリュームを、４つの同心リングに分割されて合計１７の領域を作製する２Ｄ円板として表す。

【0017】

図３は、アメリカ心臓協会（ＡＨＡ）の推奨に従った左室の極座標表示である。心筋の特定部位（領域の名称については図３を参照されたい）に対応する表示の各領域には、正規化されたカウント値に従って色が与えられる。極座標表示は、過去２０年にわたって臨床診療で広く用いられている。このＡＨＡ基準によって、ＳＰＥＣＴを含む異なるモダリティの間で比較を行うことが可能になる。Ｂｕｌｌ’ｓ ｅｙｅプロットには、原理上ボリュームレンダリングによって達成されるべき単一の融合ビュー（fused view）という利点はないが、診断を行う容易な方法を提供する。

【0018】

次に、以下の図面を参照して本発明の実施形態を単に例として説明する。

【発明の開示】

【0019】

上記事情に鑑み、従来に比して、組織の厚み等を直感的に視認可能な医用画像処理装置及び医用画像処理方法を提供することを目的としている。

【0020】

実施形態に係る医用画像処理装置は、診断対象に関するボリュームデータであって複数のボクセルを有する前記ボリュームデータに対し、前記診断対象の少なくとも一部のボクセルデータを挟んで視点又は視野平面と光源とを設定し、吸収と散乱とを含む光学的モデルを用いて、前記設定された視点又は視野平面と前記光源との間に存在するボクセルデータにおいて減衰する光の透過率を決定し、前記視点又は視野平面及び光源と前記光の透過率とを用いて、前記診断対象に関する投影画像を生成する画像生成ユニットと、前記生成された投影画像を所定の形態にて表示する表示ユニットと、を具備するものである。

【図面の簡単な説明】

【0021】

【図1】健康な心臓（左側）および罹患した心臓（右側）の概略断面図。

【図2】心筋の厚さを可視化する既知の方法を説明するフロー図。

【図3】アメリカ心臓協会（ＡＨＡ）の推奨に従った左室の極座標表示。

【図4】仮想の点光源が心臓内部のほぼ重心に配置された、心臓の概略図。

【図5】心内膜内部のボリュームによって画定される心臓内部の二値ボリュームを満たすように仮想光源が配置された、心臓の概略図。

【図6】心筋の厚さを可視化することに基づいた一例のフロー図。

【図7】２つの光源をフィラメント電球として、視点をカメラとして、シェーディングを用いて対象組織を概略的に示す照明モデルの数学的説明で用いる名称を定義するのに役立つ概略図。

【図8A】図７のレイに沿った吸光係数（extinction coefficient）

【数1】

を示すグラフ。

【図8B】外部光源から図７のレイに沿ってカメラに到達する放射線の一部を表す無次元可視率（dimensionless visibility ratio）が

【数2】

どのように変化するかを示すグラフ。

【図9】パラメータｇのさまざまな値を有するＨｅｎｙｅｙ−Ｇｒｅｅｎｓｔｅｉｎ関数を表す５つのプロット。

【図10】ランベルト（Lambert）の法則を示す関数を表すプロット。

【図11】仮想透過照明（transillumination）に対する単純なプリセットの概略図。

【図12】唯一の光源として心臓の内部に仮想光源を有するライティング（lighting）モデルを用いてレンダリングされた心臓の例示的な画像。

【図13】図１２と同様に心臓の内部に同じ仮想光源を有するライティングモデルを用いて、またさらなる外部光源も用いてレンダリングされた心臓の例示的な画像。

【図14】診断デバイスおよび関連機器からなる例示的なネットワークを示す概略図。

【図15】ボリュームデータを生成するための一般的なＣＴスキャナを示す図。

【図16A】本発明の実施形態により画像データを処理するためのコンピュータシステムを概略的に示す図。

【図16B】本発明の実施形態により画像データを処理するためのコンピュータシステムを概略的に示す図。

【図17】より詳細な図１６Aおよび図１６Bのコンピュータシステムの特徴のうちのいくつかを概略的に示す図。

【発明を実施するための形態】

【0022】

本発明の特定の実施形態は、メモリと、プロセッサと、ディスプレイと、ネットワーク出力接続と、メモリにロードされるレンダリングアプリケーションとを備えるコンピュータ装置を提供し、レンダリングアプリケーションはコンピュータ装置に、
ａ）このレンダリングアプリケーションによって処理するためのシーンを形成する、ボクセルからなる三次元患者画像データセットをロードさせ、
ｂ）光源として機能するように、対象組織の領域に隣接するボクセルのうちの１つまたは複数を割り当てさせ、
ｃ）光源ボクセル（複数可）から放射された光が対象組織（tissue of interest）を通って視点または視野平面（view plane）にどのように進むかについて、吸収と散乱とを含む光学的モデルを用いて計算することによって、視点または視野平面の観点からのシーンの画像をレンダリングさせ、
ｄ）ディスプレイ上に画像を示させ、かつ／またはメモリに画像を記憶させ、かつ／またはネットワーク出力接続に画像を出力させる
ように動作可能である。

【0023】

本発明の特定の実施形態は、患者画像データセットから画像を計算するための、コンピュータにより自動化される方法を提供し、この方法は、
ａ）コンピュータ装置上でレンダリングアプリケーションを実行することと、
ｂ）レンダリングアプリケーションによって処理するためのシーンを形成する、ボクセルからなる三次元患者画像データセットをロードすることと、
ｃ）光源として機能するように、対象組織の領域に隣接するボクセルのうちの１つまたは複数を割り当てることと、
ｄ）光源ボクセル（複数可）から、光が対象組織を通って視点または視野平面にどのように進むかについて、散乱と吸収とを含む光学的モデルを用いて計算することによって、視点または視野平面の観点からのシーンの画像をレンダリングすることと、
ｅ）画像を表示および／または記憶することと
を含む。

【0024】

本発明の特定の実施形態は、上記の方法を行うためのレンダリングアプリケーションを記憶する非一時的なコンピュータプログラム製品を提供する。

【0025】

本発明の特定の実施形態は、上記の方法を行うためのレンダリングアプリケーションと共にロードされ、このレンダリングアプリケーションを実行するように動作可能な画像取得デバイスを提供する。

【0026】

本発明者らは、光源から放射された光が対象組織を通って視野平面の視点に進むとき、仮想光源からの光が吸収および散乱などの効果により対象組織とどのように相互作用するかをモデリングすることによって組織の厚さを可視化するために対象組織の領域に隣接するように合成光源または仮想光源を設置することを含む新規な照明モデルを有するフォトリアリスティックレンダリング装置および方法を提案する。特に、仮想光源からの光が対象組織を通過するとき、一部の光がどのように吸収されて、より厚く、より暗色で（吸収される光が多くなり、強度が低下するので）、より赤い（組織は、赤色の波長より青色および緑色の波長を強く吸収する傾向があり、この色彩効果が照明モデルに組み込まれているので）組織領域を形成するのかをシミュレートすることができる。したがって、組織を通って伝播する光の色および強度が組織の厚さに関する視覚的フィードバックを提供する２Ｄ画像を提供することができる。

【0027】

吸収は、色依存性吸収パラメータを有する吸収関数を用いて計算することができる。いくつかの実施形態では、この色依存性吸収パラメータは、赤色の色成分に対してよりも青色および緑色の色成分に対してより強い吸収を提供するが、これは、実世界での白色光による組織の透過照明を模倣している。

【0028】

いくつかの実施形態では、レンダリングは、光源から受けた光の量およびその入射方向をボクセルごとに計算するための、視点または視野平面と独立した、事前計算と、それに続く、セッション中の視点または視野平面の移動において事前計算を再び用いることができるように視点または視野平面に到達する放射照度の計算とを備える。簡単な実装形態では、光源ボクセルは、レンダリングにおいて透明として扱われ、したがって散乱または吸収に寄与しない。

【0029】

光源は、好ましくは、分散しており、すなわち点光源ではない。言い換えれば、ボリュメトリック（volumetric）領域にわたって分散した複数の光源ボクセルがある。

【0030】

光源ボクセルは、１対１マッピングにより直接的に、またはセグメンテーションされたボリュームから開始し、次に変換される、たとえば収縮される、拡張される、または変形されることにより、患者画像データセットのセグメンテーションに基づいて割り当てることができる。

【0031】

いくつかの実施形態では、光源ボクセルは、血管または腸の中心線などの管腔の中心線を参照して割り当てられる。

【0032】

いくつかの実施形態では、対象組織の領域が中空のとき、光源が対象組織によって覆い隠されるように、光源ボクセルはその領域の内部にあり、視点または視野平面はその領域の外部にある。他の実施形態では、対象組織の領域が中空のとき、光源が対象組織によって覆い隠されるように、光源ボクセルはその領域の外部にあり、視点または視野平面はその領域の内部にある。

【0033】

いくつかの実施形態では、光源ボクセルは、ユーザによって描画ツールを用いて、すなわちグラフィカルユーザインターフェースからの入力によって割り当てることができる。

【0034】

通常、シーンの全般照明を提供するために、少なくとも１つの追加光源を対象組織から離れて設けることが望ましい。

【0035】

図４は、仮想の点光源が心臓内部のほぼ重心に配置された、心臓の概略図である。

【0036】

対象組織の内部に光源を位置決めすることによって、たとえばセグメンテーションからわかるような画定された内的空間の内部を意味する。内的空間の例としては、室（ventricle）、房、肺腔、頭蓋、および骨髄で満たされた骨小腔、血管（たとえば動脈または静脈）、腸、結腸、または膝（たとえば大腿骨）がある。

【0037】

室は、身体または臓器の内部の小さな空洞または部屋と定義され、特に左室および右室を指すために用いるが、脳の空洞も指すために用いる。

【0038】

房は、身体の空洞または部屋と定義され、特に心臓の左心房および右心房を指すために用いる。

【0039】

管腔は、血管、動脈または静脈、または腸または結腸などの管状の臓器の内側の空いた空間または空洞と定義される。

【0040】

対象組織の後方に光源を位置決めすることによって、視点から光源への直接的な視線がないように、対象組織を視点と光源との間に位置決めすることを意味する。

【0041】

さらなる実施形態では、光が外側から、たとえば管腔の外部から管腔の内部の観察者（viewer）まで進むように、腸または他の管腔の内部など、対象組織の領域によって囲まれる内的空間の内部に観察者すなわち視点または視野平面を設置し、対象組織の領域の外部に光源を位置決めすることを想定することに留意されたい。この観察モード（viewing mode）は、たとえば仮想の結腸鏡検査に有用でありうる。

【0042】

臓器の外面の外観を意図的に修正するために用いられるテクスチャーベースの手法、シェーディングベースの手法、または内部凹凸ベースの手法と比較すると、本明細書で提案する新規な照明モデルを用いてレンダリング方法を用いて生成される画像の主観的印象は、これらの画像は画像データに含まれるノイズに影響されず、観察者に高画質という認識をもたらすフォトリアリスティックビューを提供するということである。

【0043】

ユーザが組織の厚さおよび厚さの変化を理解および認識できるための仮想光源の提案する使用法は、実世界におけるいわゆる透過照明の仮想的な類似物（virtual analog）である。そのため、このレンダリング方法を仮想透過照明と呼ぶ。

【0044】

光の吸収および散乱は非常に自然な光学現象であり、したがって、これらの効果を取り入れた適切な照明モデルによって生成される画像は、ユーザが組織の厚さを直観的に評価可能な画像を供給することができる。

【0045】

研究から、点光源を用いる場合、いくつかのアプリケーションでは、ライティングの変動があることがあり、これは、厚さの信頼できる指標が常に与えられるとは限らないことを意味することが示されている。これが問題であるかどうかは、内的空間および透過照明されるべきその周囲組織の形状に依存する。この望ましくない効果は、点光源の位置が変動する結果、光源点および視点からまっすぐに組織を通る経路の長さが著しく変化する。

【0046】

この問題が生じる可能性を回避する１つの方法は、点光源を用いるのではなく、むしろ、二値ボリューム、すなわち対象組織に隣接して（たとえば、内部に、外部に、または後方に）あることがセグメンテーションからわかる１つまたは複数のボリュームから構成される領域を光源として用いることである。心筋を透過照明することが望ましい場合を例にとると、左室および／または右室のセグメンテーションされた心内膜および血液プールを撮像して、これらのセグメント化されたボリュームに光を放射させる。ボリューム全体を仮想光源として定めることによって、非常に均一なライティング条件をもたらすことができ、これにより、肉厚の正確な表現および患者間での本質的な正規化が確実になる。

【0047】

図５は、心内膜内部のボリュームによって画定された心臓内部の二値ボリュームを満たすように仮想光源が配置された、心臓の概略図である。

【0048】

別の類似した手法は、点光源（たとえばセグメント化された臓器の重心）または線光源（たとえば結腸、血管、または他の管腔の中心線）を定め、次に、たとえば、拡張されたボリューム内の１点が、二値ボリュームのエッジを含む本来の点または線に達するまで、点または線と対象組織の隣接する境界との距離の比率で、または、より簡単には、固定長にわたって、その点または線をそれぞれ球状またはスリーブ状の領域に拡張することである。

【0049】

さらに別の手法は、ユーザが仮想光源の場所および程度を手動で定めることを可能にすることである。これを達成するため、ユーザは、発光する（luminous）ボリュームを定めるために標準的なＣＡＤ描画ツールを用いることができる。ユーザは、所望する印象が実現されるまで、仮想光源の形状、大きさ、および場所を調整することもできる。

【0050】

また、照明されるボクセルは、管腔または臓器の壁によって規定される変位した表面、拡大した表面、または縮小した表面、たとえば心内膜から縮小された表面、または血管の壁から縮小されたスリーブ状の構造、または皮膚から得られたが皮膚の下にあるシートなどの、セグメント化された特徴によって定められるレイヤまたはスリーブなどのレイヤまたはスリーブの中にあってもよい。このようなレイヤまたはスリーブスリーブは、表面メッシュによって表すことができる。

【0051】

ほとんどの実施形態では、仮想光源である二値ボリュームに含まれるボクセルは完全に透明であるように設定され、そのため、これらのボクセルは、仮想光源から放射される光子（フォトン）と相互作用しないことが想定されている。そうでない場合、照射されるボリュームの内部に何らかの複雑な効果がある。この効果は、原理上は診断値の追加であるが、詳しく理解していない場合、望ましくないアーチファクトの印象を与えるだけになる可能性がある。

【0052】

本明細書で提案する仮想透過照明は、心臓、気道、結腸、骨、頭蓋、血管、および皮膚を含む多種多様の特徴の相対的な厚さを可視化するのに適用可能である。

【0053】

ユーザのために生成される画像は、高画質を有すると認識される。これは、一つには、厚さを表面のテクスチャーとして示す方式とは異なり直観的な印象を提供する、透過照明のフォトリアリスティックな性質のためである。高画質と認識されるのは、また一つには、透過照明手法はその凝集性（aggregating nature）によりノイズに比較的に影響されないという量的な利益の結果である。仮想光源によって放射される光子が単一または複数の散乱を生ずることを考慮することも、生成される画像のフォトリアリスティック性に寄与する。

【0054】

ユーザは、指の間から閃光（flashlight）が漏れるまたは閃光を口に入れるなどの個人的経験からですら、透過照明を直観的に理解し、明るい領域は細く、赤く色のついた領域はより細く、色の濃い領域ほどさらに厚いことを理解する。

【0055】

図６は、心筋の厚さを可視化することに基づいた一例のフロー図である。

【0056】

ステップＳ１では、区分および他の特徴を識別するために心臓のＣＴボリュームデータセットのセグメンテーションを行う。

【0057】

ステップＳ２では、心臓の内側ボリュームを発光するようにする。たとえば、血液プールたとえば左室および右室から構成される部屋のボクセルを発光するようにすることができる。別の例は、心内膜内部のすべてのボクセルを発光するようにすることである。

【0058】

ステップＳ３では、仮想光源からの光が画像データセットをどのように通過するかおよびその途中で、透過照明されている組織すなわちこの例では心筋とこの光の相互作用によって、この光がどのように修正されるかを追跡するために照明モデルを適用することによって、透過照明効果を達成する。透過照明では、反射、散乱、および吸収を取り入れた光学的モデルを用いる。次に、視点に関してより詳細に照明モデルを説明する。視点は、カメラ、または他の光センサ、または目であると考えることができる。

【0059】

図７は、以下で用いる名称を定義するのに役立つ概略図である。この図では、心臓または血管などの一般的な中空の特徴すなわち仮想光源が内部に設置されている特徴を含む、レンダリングされるべきシーンを非常に大まかに示すことを試みている。２つの光源は、フィラメント電球として概略的に示されている。一方は、対象ボリューム（図の右側）の外部にある外部光源であり、他方は、対象ボリュームの内部に配置された光源である。単一の点

【数3】

【0060】

の場合、内部光源から方向

【数4】

【0061】

に入射する入射光Ｉ_inの一部は、カメラへのレイに沿って

【数5】

【0062】

の方向に角度θで分散または反射する。Ｉ_oは、外部光源から直接に対象の背面から受ける放射照度を表す。位置

【数6】

【0063】

にある視点は、図の左側のカメラとして概略的に示す。Ｉ_outを、カメラ

【数7】

【0064】

への位置

【数8】

【0065】

からのレイトレース（点線）の方向に通過する放射照度として定義する。透過照明されている組織（たとえば心筋）は、グレイにシェーディングされ、吸光係数τを有する。いくつかの観察モードでは、たとえばレンダリングが仮想現実ヘッドセットまたはメガネ用である場合、図７で概略的に示す小さな点状の視点、または観察者の片方の目に対して１つずつの１対の視点があることがあるが、患者画像データセット内の領域の全体たとえば胸部全体または心臓およびそのすぐ周囲の組織の完全な２Ｄ写真を生成するための他の観察モードでは、拡張された視野平面があることが理解されよう。

【0066】

図８Ａは、透過照明された組織にゼロでない吸収があることを示す、図７のレイに沿った吸光係数

【数9】

【0067】

のグラフである。

【0068】

図８Ｂは図７のレイに沿ってカメラに到達する放射線の一部を表す無次元可視率

【数10】

【0069】

が、透過照明された組織との相互作用の結果として、カメラと外部光源の間の経路においてどのように変化するかを示すグラフである。

【0070】

放射照度は、各波長に固有のスペクトル放射照度であってもよいし、スペクトル全体にわたっての総放射照度であってもよい。カラー画像を生成するとき、放射照度は、追加の色モデルのための、赤色、緑色、および青色などの光成分に分離される。したがって、カラー画像の場合、以下の式は、特定の色成分に対するものとして解釈されるべきである（したがって、色成分ごとに繰り返される）。

【数11】

【0071】

この関数は、単一の点

【数12】

【0072】

に対して、どれほどの光が放射されＩ_e、方向

【数13】

【0073】

からの入射する光Ｉ_inのうちどのくらいが方向

【数14】

【0074】

に分散／反射されるかを定義する。この式は、単一光源からの単一の散乱のみに適用される。

【0075】

散乱関数ｓは、吸光係数τと粒子のアルベド（particle albedo）Ａ（光が散乱／反射されるとき、どれほどの光が吸収されるか（表面がどれほど黒いか）を表す）と位相関数の乗算として定義することができる。

【数15】

【0076】

位相関数は、入射光が各方向にどれほど分散するかを定義する。異種材料の中で、この光学的性質は、ミー散乱を用いてモデリングすることができ、媒体はランダムに分散する球状粒子のセットであると仮定する。粒径が光の波長と同じ程度であるとき、Ｈｅｎｙｅｙ−Ｇｒｅｅｎｓｔｅｉｎ関数を用いて散乱を近似することができる。

【数16】

【0077】

【数17】

【0078】

ここで、ｇ∈（−１、１）は、散乱特性を定義する定数である。

【0079】

図９は、ｇのさまざまな値すなわち左から右にｇ＝［０．９、０．７、０．５、０．３、０］を有するＨｅｎｙｅｙ−Ｇｒｅｅｎｓｔｅｉｎ関数を表す５つのプロットである。負数の場合、同じ形状が生成されるが、方向は逆である。

【0080】

Ｈｅｎｙｅｙ−Ｇｒｅｅｎｓｔｅｉｎ関数を用いるのは、一例に過ぎない。光の波長より大きな粒子に対する別の一般的な関数は、ランベルトの法則によって定義することができる。

【数18】

【0081】

図１０は、ランベルトの法則を示す関数を表すプロットである。

【0082】

類似の関数は反射に用いることもでき、その場合、この関数は、スカラー場勾配

【数19】

【0083】

として定義されることが多い表面法線Ｎに関連して指定することができる。簡単な例は、同様にランベルトの法則によって規定される拡散反射である。

【数20】

【0084】

最高のリアリズムを実現するために、反射と散乱（透過率）を関数

【数21】

【0085】

に組み込むことができる。上記の例はいずれも、モデルでもあり、近似式でもある。より洗練されたモデルを透過照明に用いることもできる。

【0086】

上記の説明では、単一点の場合に光相互作用をどのようにモデリングすることができるかについて説明している。

【0087】

どれくらいの光がカメラで受け取られるかに関して累積する式は、以下のとおり定義する。

【数22】

【0088】

この式では、Ｉ_pixは、カメラ平面上のピクセルに到達する最終放射照度を表す。Ｉ_oは、外部光源から直接対象の背面から受ける放射照度を表す。ほとんどの場合、Ｉ_oは、透過照明シーンでは０である。関数内の積分は、カメラに向かってＴだけ減衰する、観察線に沿った各点から受ける光の量の総和と解釈することができる。Ｔを調べる別の方法は、

【数23】

【0089】

の

【数24】

【0090】

からの可視性を定義することである。

【数25】

【0091】

これまでの説明では、関数の一部すなわちＩ_inが省略されている。Ｉ_inは、再帰的であり、Ｉ_pixと同様に定義される。Ｉ_inの式はＩ_pixより若干複雑でなくなるが、Ｉ_inとＩ_pixは本質的に同じことを表すので、単一の散乱の場合、Ｉ_inに関して散乱を考慮に入れる必要はない。Ｉ_D，

【数26】

【0092】

は、本明細書では、光源の位置または

【数27】

【0093】

がシーンに入る場所である。

【数28】

【0094】

複数の散乱を考慮する場合、上記の関数のうち２つがより複雑になる。散乱を扱う場合、ここで、以下で定義するように任意の方向で散乱する光を考慮に入れなければならない。このバージョンのＩ_outは、複数の光源またはボリュメトリックな単一光源がある場合にも適用され、また、単一の散乱と複数の散乱の両方に適用されることに留意されたい。

【数29】

【0095】

また、この単純化されたＩ_inは、完全に再帰的な積分（full recursive integral）として定義しなければならないので、はるかに複雑になる。

【数30】

【0096】

これによって、ボリューム内のあらゆるところであらゆる方向から光が自由に散乱することが可能になる。数学的には、積分への拡張はあまり困難ではないが、計算の複雑性が大幅に増加する。

【0097】

このモデルを用いて相互作用による可視化（interactive visualization）を達成する、すなわちリアルタイムでブラウジングするために、

【数31】

【0098】

を事前計算して、実行中に必要な計算の量を減少させることが望ましい場合が多い。単一の散乱の場合、および１つの光源を用いる場合、角度成分は必要ではなく、複数の散乱の場合ですら、

【数32】

【0099】

を事前計算して

【数33】

【0100】

の寄与を近似することは可能である。本質的には、関数

【数34】

【0101】

を見つけ出そうとし、その結果、以下の式が得られる。

【数35】

【0102】

これを行うための計算的に最も簡単な方法は、ｇ＝０でＨｅｎｙｅｙ−Ｇｒｅｅｎｓｔｅｉｎ関数を用いることであり、その場合、ｓを積分の外に出すことができる。

【数36】

【0103】

事前計算を行うことによって、多重解像度木の表現（たとえば、８分木またはｋ−ｄ木）または点群（point cloud）ですら用いて３Ｄラスタとして表すことが可能な放射照度スカラー場を形成する。

【0104】

透過照明シミュレーションでは、現在、より複雑なＩ_out変数を用いているが、

【数37】

【0105】

を事前計算するので、複雑性はそれほど増加しない。これを行うのは、主要光源は単一のボクセルに限局された点光源ではなく、ボリュメトリック領域全体にわたって分散される、好ましい実装形態のためである。これは、複数の光源からの単一の散乱と解釈する。

【0106】

仮想透過照明では、ボリュームレンダリングに、次に説明するフォトンマッピング法を用いる。フォトンマッピングの代わりに、他の光学的モデルを用いることもできる。

【0107】

シミュレーションの基礎光を形成する光子相互作用の５つの側面がある。

【0108】

放射：通常、新しい光子は、原子緩和または固体緩和によって生じる。

【0109】

吸収：光子のすべてのエネルギーは材料に伝達される。この効果は、高波長依存性の場合が多い。

【0110】

反射：光子は、表面の向きおよび入射角によって方向を変化させる。

【0111】

屈折：屈折は、同種材料のみに適用される。光子は、表面の向き、入射角、および光学的指数の差（optical index differential）によって方向を変化させる。

【0112】

散乱：光子は、伝播方向に対して方向を変化させる。これは、同種材料における純粋に統計学的な効果である。単一の／複数の散乱は、いくつの相互作用が生じうるかを説明するために用いる用語である。散乱は、弾性効果である。

【0113】

マッピングされるべき量は、スペクトル放射照度、または１秒あたりである波長において入ってくる光エネルギーの量である。波長を３つの成分（赤色、緑色、および青色）にまとめ（bin）、単位時間間隔を１とする。光源から、特定のエネルギー

【数38】

【0114】

で開始する。

【0115】

次に、光子がボリュームと相互作用する光源から、光子が吸収される点まで、光子を追跡する。この第１のステップでは、個々の光子がカメラに実際に到達するかどうかを判断しようとはしない。その可能性は非常に低いので、処理を望む光子よりはるかに多くの光子をシミュレートしなければならない。この第１のステップでは、どこで光子が終わる傾向があるかを決定するに過ぎない。

【0116】

Ａ．吸収
あらゆるレイ間隔に対して、伝達関数ｆ（ｖ（ｔ），ｏ（ｔ））を用いてエネルギーを減算することによって、吸収関数に従って吸収を計算し、ここで、ｖ（ｔ）はボクセル強度値であり、ｏ（ｔ）は、経路パラメータｔの関数としてのセグメンテーション対象である。

【数39】

【0117】

また、これを、ランベルト−ベールの法則によって以下のように連続する場合について説明することもできる。

【数40】

【0118】

計算している効果は、高いレベルの測光効果（photometric effect）である。個々の光子に関して、吸収は、上記の式から導出できるある一定の確率分布で発生する離散的な事象である。しかし、この場合、追跡したエンティティを、光子としてだけでなく、多数の光子を表すエネルギー束として処理することによって、はるかに速い統計的収束を達成することができる。追跡しなければならない光子またはエネルギー束の数を制限するために、この手段を可能な限り用いる。

【0119】

Ｂ．反射および屈折
反射の大域的な効果は、非常に大きい場合がある。高反射性（拡散）の白い天井に強力な光を向けることによって、部屋全体を照らすことができる。色は、反射により、隣接する表面の間から滲み出すこともでき、これは通常、ポリゴンレイトレーシングで示される効果である。

【0120】

屈折は、反射と組み合わされるときはコースティクス（caustics）と呼ばれることもあるが、フォトンマッピングまたは他の光学的モデルを用いて効果的にシミュレート可能な効果でもある。

【0121】

現在の実装形態では、反射効果も屈折効果もフォトンマッピングに含まれていない。マッピング段階に反射を含むことによって得られる大域的な効果は、医用画像データへの適用時には非常にわずかであるので、反射は、レンダリングステップで考慮され、適切な近似法であると考えられる。屈折は同種材料のみに適用され、ほとんどの組織型の組成は不均一であるので、屈折は含めない。しかし、反射および／または屈折は、他の実装形態に含まれることがあり、画像におけるフォトリアリズムのレベルを向上させ、描画技法（illustrative technique）に自由度を提供すると考えられうる。

【0122】

Ｃ．散乱
フォトンマッピング段階において、現在の実装形態では、複数の散乱をシミュレートしない。より簡単な実装形態では、単一の散乱のみを考慮する。

【0123】

現在の実装形態では、単一散乱は、レンダリング中のサンプルあたりの散乱近似（per sample scattering approximation）と組み合わせて吸収をシミュレートすることによって達成される。光の散乱は、光の伝播方向を中心とする確率分布関数として扱うことができる。位相関数と呼ばれるこの関数は、反射の双方向反射分布関数（ＢＲＤＦ）の散乱に類似したもの（scattering analogue）である。この散乱分布関数は、場合によっては、高波長依存性とすることができる。しかし、医用画像データ内のほとんどの組織型などのより高密度の材料では、主な着色効果（chromatic effect）は吸収によるものであり、したがって、散乱をスペクトルにわたって均一として扱うことは、良好な近似法である。用いる具体的な位相関数は、Ｈｅｎｙｅｙ−Ｇｒｅｅｎｓｔｅｉｎ位相関数と呼ばれる。反射に関するＢｌｉｎｎ／Ｐｈｏｎｇモデルは実験的に正確な近似法であり、実験データに基づくＨｅｎｙｅｙ−Ｇｒｅｅｎｓｔｅｉｎ位相関数も実験的に正確な近似法である。この関数は、発散度が方向θに散乱する確率を表す。

【数41】

【0124】

定数ｇは、散乱特性を表し、［−１、１］の範囲にあり、ここで、−１は完全な後方散乱であり、１は完全な前方散乱（散乱なし）である。シミュレーションでは、エネルギーを分離して新しい光子を生じるのに必要な下部構造（infrastructure）が複雑であるので、この効果を確率的として扱う。活性を有する光子（active photon）の数は、光子が連続的に分裂する（branch）につれて、指数関数的に増加する。位相関数をサンプリングするために、位相関数を使用に適した形に変換する必要がある。これを行うには、累積確率分布関数を定義する。

【数42】

【0125】

上記から、方形分布を所望の位相関数分布に変換することができる。定数ｇは、この場合、まったく定数ではないが、ここでも、対象ごとの伝達関数ｇ（ｖ（ｔ），ｏ（ｔ））によって提供される。

【0126】

Ｄ．フィルタリング
フォトンマッピングで用いられるすべての確率過程は、その分布が単独で収束するのに十分に長い間実行することができる。しかし、情報の内容が十分高くなるまでその過程を実行するほうが効率的であるが、滑らかさは依然として低い。次に、フィルタリングを用いて分布を滑らかにすることができる。実験から、単純なガウシアンフィルタリングによって優れたベースラインが得られることが示されている。

【0127】

情報の内容が局所的に変化することがあるので、フィルタ段階は、たとえば適応（adaptive）ガウシアンフィルタリングまたは拡散フィルタリングを利用するように、より洗練させることができる。フィルタリングは、マッピング過程をプログレッシブにするために重要である。低品質のマッピングは、少数の光子を高いエネルギーにキャスト（cast）して、大きなσ値をガウシアンフィルタリングに用いることによって生じる場合がある。このσ値は、光子数ｎ_p（ｔ）およびボリュームサイズＶの関数すなわちσ（ｎ_p（ｔ），Ｖ）と定義することができる。

【0128】

照明モデルについて詳細に説明してきたが、次に、方法のさらなるステップについて説明する。

【0129】

ステップＳ４では、心臓の外部からのシーンの何らかの全般照明を提供するために追加光源の効果をシミュレートする任意選択のステップを実行する。この追加光源は、たとえば、イメージングするべきボリュームの外部にある点光源であってもよいし、周囲光源であってもよい。

【0130】

ステップＳ５では、スペクトル放射照度ボリュームを積算してレイキャスティングエンジンを作製する。

【0131】

ステップＳ６では、ボリュームデータセットの修正されていないセグメントすなわち、この例では心臓でないボリュームのセグメントを含めて、修正されたボリュームデータセット上でボリュームレンダリングを実行する。各サンプルにおいて、単一の散乱により受けた光をＨｅｎｙｅｙ−Ｇｒｅｅｎｓｔｅｉｎ位相関数を用いて評価し、反射により受けた光を位相関数（ＢＲＤＦに類似したもの（BRDF analog））によって評価する。単一の散乱を推定するために、光の方向、または少なくとも光のうちのどれくらいがどの光源から生じているかについての推定値を知らなければならない。単一の点光源の場合、これは、もちろん自明である。実用的な近似法は、ｇ＝０の位相関数に基づいて、反射を十分な拡散として扱い、散乱を局所的な拡散として扱うことである。それでもなお、フォトンマッピング段階で複数の散乱を用いることによって、組織内での散乱の効果を捕捉することができる。これらの近似法をフォトンマッピングに適用する場合ですら、レンダリングによって、非常に高い画質およびリアリズムが得られる。これらの近似法を用いたレンダリングはまた、非常に高速であり、これは当然のことながら、リアルタイムレンダリングにおいて非常に望ましい特性である。

【0132】

フォトンマッピングは、拡散のみで勾配のないライティング（diffuse-only gradient-free lighting）をレンダリングするのに良好なベースラインを提供する。ボリュームにノイズがあまり多くないとき、勾配に基づいて大域照明を局所ライティングと組み合わせることができる。フォトンマッピングされた周囲および拡散を有する局所的な鏡面ライティングは、特に良好な画質を提供するモードである。局所的なエネルギー分布は、影に隠れた暗色の領域が鏡面光を放射しないように鏡面係数（specular factor）を変調するために用いられる。局所マッピング／フォトンマッピングからの寄与は、見た目を局所ライティングから大域ライティングにスライドできるように、連続係数によって定義される。

【0133】

仮想光源のボクセル、すなわち放射体であるボクセルは、レンダリングにおいて、光子との相互作用がない、すなわち吸収したり散乱したりしない（または、それらの相互作用の効果が含まれる場合は、反射したり屈折したりしない）ように扱われる。これは、放射ボクセルの不透明度をゼロに、またはいかなるプリセットウィンドウが伝達関数に用いられても外部に存在し、したがってこれらのボクセルを事実上透明にする任意の値に設定することによってモデリングすることができる。

【0134】

ステップＳ７では、ボリュームレンダリングからの２Ｄ画像を表示のために出力する。

【0135】

本発明者らの結果から、このレンダリング方法の画質は非常に良好であることが示されている。光学的モデリングが吸収、散乱、および任意選択で他の効果を含むために必要な余分な設定は、プリセットに組み込まれる。ボリュームごとの追加の調整は必要でないと思われる。元のサイズ（軸ごと）の４分の１に小型化されたスペクトル放射照度ボリュームは、ＣＴ画像データセットと超音波画像データセットの両方に対して性能と品質の良好なバランスを達成することが判明している。良好な画質を得るために必要とされる光子の数は、ボリュームサイズに正比例すると思われる。パーソナルコンピュータ（２．２ＧＨｚプロセッサ、２×４コア、およびハイパースレッディングを搭載したＤｅｌｌ Ｔ５５００）が、ＣＴ画像データセットの指向性ライティングによる相互作用レベルのブラウジングに近いものを達成可能であることが示されている。周囲ライティングは、一般に、所望の分布を達成するのにはるかに長い時間がかかるが、周囲ライティングは、散発的に、すなわち伝達関数が変化したとき、またはクリップおよびセグメンテーションのような空間特徴が変化したときに、更新されるだけでよい。周囲ライティングはまた、ボリュームのうちのより多くの部分を照射し、ビューを回転するときですら、静的なライティングをより許容可能にする。超音波ボリュームの場合、１秒あたり最大約１０のフォトンマップの速度で光の方向の相互作用による変化を達成することができる。類似またはこれより速い速度でフィルタリングを行うことができるとすれば、１秒あたり５〜１０のフォトンマップを達成して、レンダリング段階に送るべきである。良好な組合せは、セッションの開始時に計算したベースラインの周囲ライティングを用い、次に、それに対して部分的な指向性ライティングを加えることである。スペクトル放射照度は付加的であるので、プログレッシブな技法の実施が容易な傾向がある。勾配またはライティングを所定の場所で計算する必要がないため、レンダリング過程は、局所ライティングと組み合わせないとき、局所ライティングを用いるより若干速い傾向がある。

【0136】

シミュレートする光源は、次のもの、すなわちボクセル領域にわたって延設されるボリュメトリック光源、ボクセルの線にわたって延設される線状の光源、点光源、完全に均一な確率過程によってシミュレートされる周囲光源、指向性光源、または半球状の確率的周囲モデルによってシミュレートされる周囲光源のいずれかとすることができる。最良の結果は、１つまたは複数の光源と組み合わせた組織の特定部位の所望の透過照明を透過照明された組織および隣接する特徴の全般照明に提供するために、ボリュメトリック光源などの複数の光源を用いて達成することができ、点光源であってもよいし周囲光源であってもよいことも理解されるであろう。

【0137】

図１１は、透過照明の単純なプリセットの概略図であり、プリセットのウィンドウ幅は、心筋の最も色の薄い部分が白色または非常に淡い赤色で表示され、おそらく０〜２０％の吸収であり、心筋の最も色の濃い部分が暗赤色または黒色で表示され、おそらく８０〜１００％の吸収であり、ウィンドウ幅全体にわたって吸収の線形的な変化があるように設定する。プリセットは、事前に決定される、すなわち最大厚および最小厚は固定値であってもよいし、可視化されているセグメンテーションされた３Ｄ画像データセットからの厚さの計算値を用いて実行中に計算してもよい。プリセットは、実世界の透過照明を模倣するカラーアスペクト（color aspect）を有することができ、それにより、仮想光源は白色であり、組織の吸収は、赤色以外の色を優先的に吸収する、すなわち赤色成分の吸収パラメータより高い青色成分および緑色成分の吸収パラメータを有するようにモデリングされる。このようにして、単一のパラメータ（組織の厚さ）に関して観察者への多次元フィードバック（色が白色から赤色に変化し、強度が高から低に変化する）が存在する。

【0138】

また、第２の測定も、たとえばプリセットに色吸収に関する効果を与えることによって、プリセットに導入することができる。この第２の入力は、組織の濃度、たとえば心筋におけるＣＴボクセル値に基づくことができる。さらに、他の場合では、第２の入力は、超音波、ＰＥＴ、またはＳＰＥＣＴなどの異なるモダリティから生じることができる。たとえば、大部分はＣＴ画像である状況においてＣＴをＰＥＴと組み合わせるために、第２の入力は、ＰＥＴデータ内のボクセル値とすることができる。第２の入力は、時間分解法による研究（time-resolved study）においてフレーム間で決定されるモーションなどの別のパラメータを指定することもできる。

【0139】

診断を補助するために、ユーザに、同じ可視化パラメータおよび透過照明プリセットを用いる参照３Ｄ画像データセットからの画像を提示することができる。

【0140】

図１２は、照明モデル内の唯一の光源として心臓の内部に仮想光源を有する心臓の例示的な画像である。

【0141】

図１３は、図１２と同様に心臓の内部に同じ仮想光源を有するが、外部からの心臓の何らかの全般照明を提供するための従来の非指向性外部光源の形をしたさらなる光源も用いた、心臓の例示的な画像である。

【0142】

上記で説明した仮想透過照明効果を提供する照明モデルを用いたフォトリアリスティックなレンダリング方法、特に図６に示す方法は、ソフトウェアとして、またはソフトウェアとボリュームレンダリングに適したまたはボリュームレンダリングに最適化されたグラフィックカードもしくはチップセットなどの最適化されたハードウェアもしくは専用ハードウェアの組合せとして、実施される。このソフトウェアは、コンピュータワークステーションまたはクライアント−サーバモデルで動作するネットワークの一部であるサーバ上で実行可能なレンダリングアプリケーションに組み込まれる。レンダリングアプリケーションが常駐するワークステーションまたはサーバに関する通常の状況は、次に説明する病院ネットワークである。

【0143】

図１４は、コンピュータ制御の診断デバイス、スタンドアロンのコンピュータワークステーション、および関連機器からなる例示的なネットワーク１の概略図である。ネットワーク１は、３つの構成要素を備える。すなわち、主要病院構成要素２、遠隔地の診断デバイス構成要素４、および遠隔地の単一ユーザ構成要素６がある。主要病院構成要素２は、患者の画像を取得するための複数の診断デバイス、この例ではＣＴスキャナ８と、ＭＲ画像装置１０と、デジタルＸ線撮影（ＤＲ）デバイス１２と、コンピューテッドラジオグラフィ（ＣＲ）デバイス１４と、複数のコンピュータワークステーション１６と、一般的な形式のファイルサーバ１８と、ファイルアーカイブ２０と、インターネットゲートウェイ１５とを備える。これらの特徴のすべては、ローカルエリアネットワーク（ＬＡＮ）２５によって相互接続されている。各コンピュータ装置がネットワークを介して通信するために少なくとも１つのネットワーク出力接続を有することが理解されよう。

【0144】

遠隔地の診断デバイス構成要素４は、ＣＴスキャナ１１と、一般的な形式のファイルサーバ１３と、インターネットゲートウェイ１７とを備える。ＣＴスキャナ１１およびファイルサーバ１３は、通常、インターネットゲートウェイ１７に接続され、インターネットゲートウェイ１７は、インターネットを介して、主要病院構成要素２の内部にあるインターネットゲートウェイ１５に接続される。

【0145】

遠隔地の単一ユーザ構成要素６は、内蔵モデム（図示せず）を有するコンピュータワークステーション２１を備える。コンピュータワークステーション２１も、インターネットを介して、主要病院構成要素２の内部にあるインターネットゲートウェイ１５に接続される。

【0146】

ネットワーク１は、標準化された一般的な形式でデータを送信するように構成されている。たとえば、最初にＣＴスキャナ８がソースデータセットすなわち３Ｄ画像データセットを生成し、操作者は、このデータセットから適切な２Ｄ画像を取り出すことができる。この２Ｄ画像を標準的な画像データ形式で符号化し、ファイルアーカイブ２０に格納するためにＬＡＮ２５を介してファイルサーバ１８に転送する。その後、コンピュータワークステーション１６のうちの１つで作業しているユーザは、画像を要求することができ、ファイルサーバ１８は、その画像をアーカイブ２０から取り込み、ＬＡＮ２５を介してユーザに渡す。同様に、主要病院構成要素２から離れて、遠隔地の診断デバイス構成要素４または遠隔地の単一ユーザ構成要素６の中で作業するユーザも、アーカイブ２０に、またはネットワーク１の他の場所に格納されているデータにアクセスして送信することができる。

【0147】

図１５は、コンピュータ支援断層撮影（ＣＴ）スキャナ８の開口７内部の患者５の一領域に関連するＸ線減弱に関する断面画像を得るための、一般的なスキャナ、最も特に、たとえば図１４に示されているスキャナ８の概略斜視図である。異なるイメージングモダリティ（たとえばＣＴ、ＭＲ、ＰＥＴ、超音波）は、異なるタイプの医用画像データを提供するために用いることができる。

【0148】

図１４および図１５を参照すると、本発明を実施するレンダリングアプリケーションは、図示のコンピュータ装置のいずれか、すなわち、ワークステーション６、１６、サーバ１３、１５、１７、１８、またはコンピュータ、およびスキャナ８、１０、１１、１２、１４に関連する任意の関連するグラフィック処理ハードウェアに常駐することができる。

【0149】

図１６Ａおよび図１６Ｂは、本発明の実施形態による処理を行うように構成された汎用コンピュータシステム２２を概略的に示す。図１６Ａは、コンピュータシステム２２を構成する機能ユニットを主に表し、図１６Ｂは、使用のために配置されたコンピュータシステム２２を示す概略斜視図である。

【0150】

コンピュータ２２は、中央処理装置（ＣＰＵ）２４と、読み取り専用メモリ（ＲＯＭ）２６と、ランダムアクセスメモリ（ＲＡＭ）２８と、ハードディスクドライブ３０と、ディスプレイドライバ３２、２つのディスプレイ３４すなわち第１のディスプレイ３４Ａおよび第２のディスプレイ３４Ｂと、キーボード３８およびマウス４０に結合されたユーザ入／出力（ＩＯ）回路３６とを含む。これらのデバイスは、共通のバス４２を介して接続される。コンピュータ２２は、共通バス４２を介して接続されたグラフィックカード４４も含む。このグラフィックカードは、グラフィック処理ユニット（ＧＰＵ）と、このＧＰＵに緊密に結合されたランダムアクセスメモリ（ＧＰＵメモリ）とを含む。

【0151】

ＣＰＵ２４は、ＲＡＭ２８またはハードディスクドライブ３０内に格納できる医用画像データの処理、表示、および操作を実行するための、ＲＯＭ２６、ＲＡＭ２８、またはハードディスクドライブ３０内に格納されたプログラム命令を実行することができる。ＲＡＭ２８およびハードディスクドライブ３０はシステムメモリと総称される。ＣＰＵ２４は、コンピュータシステム２２のオペレーティングシステムに相当するプログラム命令も実行することができる。この点に関して、ＣＰＵは、コンピュータシステム２２の動作に関連するタスクを行うための種々の機能ユニットを備えるとみなすことができる。ＧＰＵも、ＣＰＵから渡された画像データの処理を実行するプログラム命令を実行することができる。

【0152】

ＣＰＵ２４、ＲＯＭ２６、ＲＡＭ２８、ハードディスク３０、ディスプレイドライバ３２、ユーザ入／出力（ＩＯ）回路３６、グラフィックカード４４、および接続バス４２などの、コンピュータシステム２２を構成する種々の機能要素は、筐体２１に収容される。この場合、２つのディスプレイ３４Ａ、３４Ｂ、キーボード３８およびマウス４０は、筐体とは別であり、これらを適切な配線で接続することにより、再び筐体２１内のコンピュータシステムの関係機能要素となる。この点に関して、図１６Ａおよび図１６Ｂの例示的な実施形態のコンピュータシステム２２は、デスクトップタイプとみなすことができるが、他のタイプのコンピュータシステムも同様に用いることができる。

【0153】

図１７は、図１６Ａおよび図１６Ｂにより詳細に示すコンピュータシステム２の特徴のうちのいくつかを概略的に示す。ＲＡＭ２８およびハードディスクドライブ３０は、システムメモリ４６としてまとめて示されている。図１５に示すスキャナ８から得られた医用画像データは、図に概略的に示すシステムメモリに格納される。コンピュータシステム２２の特徴同士の間のさまざまなデータ転送ルートを示すことを助けるため、図１６Ａに示す共通のバス４２は、図１７では、一連の別個のバス接続４２ａ〜ｄとして概略的に示されている。１つのバス接続４２ａは、システムメモリ４６とＣＰＵ２４を接続する。別のバス接続４２ｂは、ＣＰＵ２４とグラフィックカード４４を接続する。バス接続のさらなる対、すなわち第１のバス接続４２ｃＡおよび第２のバス接続４２ｃＢは、グラフィックカード４４とディスプレイ３４Ａ、３４Ｂのそれぞれ１つとを接続する。別のバス接続４２ｄは、ユーザＩ／Ｏ回路３６とカーソル制御ユニット２７とＣＰＵ２４を接続する。ＣＰＵは、ＣＰＵキャッシュ５０を含む。グラフィックカード４４は、ＧＰＵ５４と、ＧＰＵメモリ５６とを含む。ＧＰＵ５４は、加速グラフィック処理インターフェース６０と、ＧＰＵキャッシュＩ／Ｏコントローラ６２と、処理エンジン６４と、ディスプレイＩ／Ｏコントローラ６６とを設けるための回路を含む。処理エンジン６４は、通常は医用画像データセットの処理に関連するプログラム命令のタイプの実行を最適化するために設計される。

【0154】

ユーザは、キーボード３８とマウス４０（またはトラックパッドまたはペンタブレット／ディジタイザなどの他のポインティングデバイス）を、ディスプレイ３４に表示されたグラフィカルユーザインターフェース（ＧＵＩ）と組み合わせて用いて、たとえば第１のディスプレイ３４Ａおよび第２のディスプレイ３４Ｂのうちのそれぞれの１つの内部でポイントしてクリックするために、移動可能な画面カーソルをマウス、トラックパッドなどと組み合わせて用いて、所望の処理パラメータを選択することができる。特に、レンダリングアプリケーションのＧＵＩは、仮想光源の場所および程度を識別するために描画ツールをユーザに提供することができる。たとえば、ユーザは、ペイントタイプの機能を使って仮想光源を完全に自由に描画することができる。別の例は、ＧＵＩを介してユーザが、セグメンテーションされた領域を選択し、次に、たとえば縮小、拡大、変形、または回転によって、それを操作し、仮想光源を形成することができる場合である。

【0155】

図１６Ａ、図１６Ｂ、および図１７を参照すると、本発明を実施するレンダリングアプリケーションは、ＨＤＤ３０および／またはＲＯＭ２６上に記憶することができる。アプリケーションを実行するべきとき、アプリケーションは、必要に応じてシステムメモリ４６またはＲＡＭ２８にロードすることができる。また、実行時に、ＣＰＵ２４およびＧＰＵ５４が利用可能なキャッシュメモリ５０、６２などの高速なメモリは、アプリケーションのうちのいくつかをホストする。レンダリングアプリケーションから出力された画像は、第１のディスプレイ３４Ａおよび第２のディスプレイ３４Ｂなどの適切なディスプレイに表示することができる。レンダリングアプリケーションから出力された画像は、適切なメモリに記憶することもできる。また、レンダリングアプリケーションから出力された画像は、ネットワーク内の別の場所に表示または記憶するために、ネットワークを介して送信することができる。

【0156】

上記のボリュームレンダリングおよびレンダリングアプリケーションへの言及において、任意の特定のタイプのボリュームレンダリングへの限定を意味することを望むものではなく、任意の適切な強度に基づかない投影モードを含むことを具体的に意味する。たとえば、この方法は、シェーディングボリュームレンダリング（shaded volume rendering）と呼ばれることもあるカラーボリュームレンダリングに用いることができる。この方法は、ボリュームレンダリングを２つの平面によってクリップしてスラブを作製するスラブボリュームレンダリング（slabbed volume rendering）にも適用することができる。

【0157】

さらに、三次元画像データセットへの言及は、４次元画像データセットと呼ばれることもある時間分解イメージングによって生成されたものなどの三次元画像データセットのシーケンスを含む。

【0158】

本発明の特定の実施形態は、コンピュータプログラム製品を提供する。このコンピュータプログラム製品は、非一時的なコンピュータプログラム製品であってよく、方法を実行するための機械可読命令を含む。

【0159】

本発明の特定の実施形態は、方法を実行するための機械可読命令と共にロードされ、この機械可読命令を実行するように動作可能なコンピュータシステムを提供する。

【0160】

本発明の特定の実施形態は、方法を実行するための機械可読命令と共にロードされ、この機械可読命令を実行するように動作可能な画像取得を提供する。

【0161】

本発明の実施形態を、コンピュータで実施するシステム、方法、および非一時的な媒体に記憶できるコンピュータプログラム製品に関して以下で説明する。本実施形態のうちのいくつかを、コンピュータたとえばパーソナルコンピュータまたは他の形態のワークステーションに本発明のいくつかの実施形態に要求される機能を提供させるコンピュータプログラム製品に関して説明するが、これは本発明のいくつかの実施形態の一例に関するに過ぎないことを以下の説明から理解されたい。たとえば、本発明のいくつかの実施形態では、スタンドアロンコンピュータではなく、コンピュータのネットワークが本発明の実施形態を実施することができる。あるいは、またはさらに、本発明の機能の少なくともいくつかは、たとえば特殊目的集積回路（たとえば、特定用途向け集積回路（ＡＳＩＣ））の形をした特殊目的ハードウェアによって実施することができる。

【0162】

特定の実施形態について説明してきたが、これらの実施形態は、例として提示したにすぎず、本発明の範囲を限定することを意図したものではない。実際、本明細書で説明する新規な方法、コンピュータ、およびコンピュータプログラム製品、およびデバイスは、さまざまな他の形態で実施することができる。そのうえ、本明細書で説明する方法およびシステムの形態における種々の省略、置き換え、および変更は、本発明の趣旨から逸脱することなく行うことができる。添付の特許請求の範囲およびその等価物は、本発明の範囲および趣旨に含まれるこのような形態または変形例を包含することを意図するものである。

【符号の説明】

【0163】

２４…CPU、２６…ROM、２８…RAM、３０…ハードディスクドライブ、３２…ディスプレイドライバ、３４A、３４B…ディスプレイ、３８…キーボード、４０…マウス、４２…バス、４４…グラフィックカード、４６…システムメモリ、５４…GPU、５６…GPUメモリ、６４…処理エンジン、６６…ディスプレイI/Oコントローラ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16A】

【図16B】

【図17】