(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6532863
(24)【登録日】2019年5月31日
(45)【発行日】2019年6月19日
(54)【発明の名称】多重分類による画像のボリュームレンダリング
(51)【国際特許分類】
G06T 15/08 20110101AFI20190610BHJP
A61B 6/03 20060101ALI20190610BHJP
【FI】
G06T15/08
A61B6/03 360G
【請求項の数】11
【全頁数】10
(21)【出願番号】特願2016-517965(P2016-517965)
(86)(22)【出願日】2014年6月4日
(65)【公表番号】特表2016-526232(P2016-526232A)
(43)【公表日】2016年9月1日
(86)【国際出願番号】US2014040921
(87)【国際公開番号】WO2014197606
(87)【国際公開日】20141211
【審査請求日】2017年5月23日
(31)【優先権主張番号】61/832,705
(32)【優先日】2013年6月7日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】505375676
【氏名又は名称】フォヴィア インコーポレイテッド
【氏名又は名称原語表記】Fovia,Inc
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ブヤノフスキー, ゲオルギー
【審査官】
村松 貴士
(56)【参考文献】
【文献】
特表2007−503060(JP,A)
【文献】
米国特許出願公開第2008/0284781(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 15/00 − 19/20
A61B 6/03
(57)【特許請求の範囲】
【請求項1】
画像を描画するコンピュータ対応方法であって、
3次元の画像を表現するデータセットを提供するアクトであって、前記データセットは、複数の要素を含む、アクトと、
前記データセットに複数の伝達関数を適用するアクトであって、前記複数の伝達関数のそれぞれがスカラーフィールド値の対応ならびに対応する色および不透明度を定義し、
複数の伝達関数のそれぞれは、対応する画素群の前記対応する色および不透明度を制御するためのデータの要素のサブセットと関連付けられ、
前記複数の伝達関数のそれぞれは、拡張したオクトリ構造の各ノードの最大値/最小値を伴うビットフィールド拡張を備える、前記拡張したオクトリ構造を介して、対応する画素群と関連付けられ、
前記ビットフィールド拡張内の各ビットは、対応する伝達関数に関連付けられた対応するサブボリューム内でのデータの少なくとも1つの画素の有無を表現する、アクトと
を含む、方法。
【請求項2】
前記データセットに前記複数の伝達関数を適用した後に補間を実行することをさらに含む、請求項1に記載の方法。
【請求項3】
前記データセットへの前記複数の伝達関数の適用に基づいて、画像をレンダリングすることをさらに含む、請求項2に記載の方法。
【請求項4】
前記データセットへの前記複数の伝達関数の適用に基づいて、画像をレンダリングすることをさらに含む、請求項1に記載の方法。
【請求項5】
請求項1に記載の方法を実行するためのコンピュータコードを記憶しているコンピュータ可読媒体を備えるコンピューティングデバイス。
【請求項6】
前記アクトは、コンピュータ可読媒体を備えるコンピューティングデバイスにおいて実行され、前記方法は、前記アクトによって作成された投影を前記コンピュータ可読媒体に記憶することをさらに含む、請求項1に記載の方法。
【請求項7】
請求項1に記載の方法を実行するためのコンピュータコードを記憶しているコンピュータ可読媒体。
【請求項8】
画像を描画するための装置であって、
3次元の画像を表現するデータセットを記憶するための第1の記憶装置であって、前記データセットは、複数の要素を含む、第1の記憶装置と、
複数の伝達関数を前記データセットに適用するためのプロセッサであって、前記プロセッサは、前記第1の記憶装置に結合され、
前記複数の伝達関数のそれぞれは、スカラーフィールド値の対応ならびに対応する色および不透明度を定義し、
前記複数の伝達関数のそれぞれは、対応する画素群の前記対応する色および不透明度を制御するためのデータの要素のサブセットと関連付けられ、
複数の伝達関数のそれぞれは、オクトリ構造の全てのノードの最大値/最小値に加えて、ビットフィールド拡張を備える、拡張したオクトリ構造を介して、対応する画素群と関連付けられ、
前記ビットフィールド拡張内の各ビットは、対応する伝達関数に関連付け/リンク付けされた対応するサブボリューム内でのデータの少なくとも1つの画素の有無を表現する、プロセッサと
を備える、装置。
【請求項9】
前記プロセッサは、さらに、前記データセットに前記複数の伝達関数を適用した後に補間を実行するように構成されている、請求項8に記載の装置。
【請求項10】
前記データセットへの前記複数の伝達関数の適用に基づいて、画像をレンダリングすることをさらに含む、請求項9に記載の装置。
【請求項11】
前記データセットへの前記複数の伝達関数の適用に基づいて、画像をレンダリングすることをさらに含む、請求項8に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の引用)
本願は、2013年6月7日に出願された、米国仮特許出願第61/832,705号に対する優先権を主張するものであり、該仮特許出願の全体は、あらゆる目的のために参照により本明細書中に援用される。
【0002】
本開示は、コンピュータ対応撮像を使用する物体の画像の描画に関し、特に、コンピュータ対応撮像の多重分類ボリュームレンダリングの側面に関する。
【背景技術】
【0003】
3次元スカラーフィールドによって表現されるボリューメトリックオブジェクトの視覚化は、リアル3D(3次元)物体の内部および外部構造を表現するのに最も完全、現実的、かつ正確な方法の1つである。
【0004】
一例として、コンピュータトモグラフィ(CT)は、リアル3D物体の画像をデジタル化し、離散3Dスカラーフィールド表現としてそれらを表現する。MRI(磁気共鳴撮像)は、リアル3D物体の内部構造をスキャンおよび描写する別のシステムである。
【0005】
別の実施例として、石油業界は、地中の3D領域の3D画像ボリュームを作成するために地震用の撮像技法を使用している。断層または岩塩ドーム等のいくつかの重要な地質構造は、地中にある場合があり、必ずしも地表にはない。
【0006】
ダイレクトボリュームレンダリングは、固体域の内部を視覚化するために開発されたコンピュータ対応技法であり、例えば、コンピュータモニタで表示される、2Dの像面上にそのような3D画像ボリュームによって表現される。したがって、典型的な3Dデータセットとは、CTまたはMRI機械あるいは地震用の画像処理によって作成される、実物体の2D画像の「スライス」の集合体である。典型的には、画像ボリューム内の任意の地点におけるスカラー属性またはボクセル(ボリューム要素)は、色(赤、緑、青)および不透明度等の複数の分類プロパティと関連付けられ、一式のルックアップテーブルによって定義されることができる。複数の光線が2Dの像面からボリュームへと投じられ、ボリュームによってそれらは減衰または反映される。各光線の減衰または反映される光線のエネルギー量は、画像ボリューム内に埋め込まれた物体の、例えば、形状および方向等の3D特性を示し、さらに、対応する光線経路に沿ったボリュームの不透明度およびカラーマッピングに従って2D像面上の画素値を決定する。2D像面上の複数の光線源と関連付けられた画素値は、コンピュータソフトウェアによってレンダリングされることができる画像をコンピュータモニタ上に形成する。ダイレクトボリュームレンダリングのさらに詳細な説明は、Foley、Van Dam、FeinerおよびHughes著、第2版、Addison−Wesley Publishing Company発行(1996)「Computer Graphics Principles and Practices」の、1134〜1139ページに記載されている。
【0007】
前述のCTの実施例では、MRI機器および従来の方法を使用する医師は、任意の方向に画像ボリュームを遮断することにより、例えば、心臓の2D画像のスライス/カットを任意に作成できるにもかかわらず、1つの画像のスライスでは心臓の全表面を視覚化することはできない。対照的に、CTの画像ボリュームのダイレクトボリュームレンダリングを通して作成される2D画像は、容易にコンピュータモニタ上に心臓の3D特性を映し出すことができ、心臓血管の病気における様々な種類の診断に非常に重要である。同様に石油探査の分野では、3D地震データのダイレクトボリュームレンダリングは、石油技術者が、潜在的貯油層である領域に埋まった地質構造の3D特性をより正確に判定し、石油生産を大いに増やすことに寄与する有力なツールであることを証明している。
【0008】
ボリュームレンダリングを制御するために使用される最も一般的かつ基本的な構造の1つは、伝達関数である。ボリュームレンダリングの文脈では、伝達関数は、ボリューメトリックデータ(ボクセル)の元の画素の、コンピュータモニタ画面上でのその表現への分類/翻訳を定義し、特に、色(赤、緑、青)および不透明度の分類(色および不透明度)である伝達関数の表現が一般的に使用される。したがって、各ボクセルは、伝達関数を使用することにより定義される色および不透明度の値を有する。伝達関数自体は、例えば、単純ランプ関数、区分的線形関数、またはルックアップテーブル等、数学的である。本明細書に記載されるコンピュータ対応ボリュームレンダリングは、従来のボリュームレイトレーシング、ボリュームレイキャスティング、スプラッティング、シェアワーピング、またはテクスチャマッピングを使用してもよい。より概して、本文脈における伝達関数は、(ボリュームレンダリングによって)レンダリング可能な光学的プロパティをデータセットの数値(ボクセル)に割り当てる。不透明度関数は、各ボクセルの最終(レンダリングされた)画面への寄与を決定する。
【0009】
(伝達関数を適用するため)分類情報を適用する2つの典型的な方法/順序がある。
分類−補間(CI)−まず、分類情報(例えば、赤、緑、青、不透明度)をデータグリッド(画素/ボクセル)に適用し、その後、これらx4値の補間を実施してサンプルを得る。この順序は、分類−補間(CI)と呼ばれる。補間は、すでに分類されたデータに実施するので、「サンプリング定理」がボクセル/セルにつき2つのサンプルが十分であることを確実にし、したがって、CIの場合、光線に沿ってますます高くなるサンプリングの濃度に対し、レンダリングの質は高まらない。
補間−分類(IC)−まず、元のデータを補間し、その後、補間結果に分類情報を適用する。この順序は、補間−分類(IC)と呼ばれる。ICは、高まるサンプリングの濃度に対し、ますます質の高いボリュームレンダリングを提供する。
【0010】
ボリュームレンダリング視覚化における最も一般的な手順の1つは、セグメンテーション結果を視覚化することであり、同じデータ値は、異なる伝達関数に割り当てられるべきである。例えば、左右の腎臓の値は、表示されたときに異なって見えるように異なる伝達関数にリンク付け/セグメント化されてよい。したがって、セグメンテーション結果を視覚化するために、データの画素群は、異なる伝達関数にリンク付け/関連付け/セグメント化されるべきである。
【0011】
ボリュームレンダリングに複数の伝達関数を適用するためには、概して、2つの主要な問題がある。
ボリュームレンダリングを高速化するために伝統的に使用される最大値/最小値オクトリは、複数の伝達関数がサブボリュームの寄与の複数の解釈を提供するため、概して、各サブボリュームに表現される異なる分類に対処する機構を必要とする(最大値/最小値は、異なる伝達関数によって異なるように翻訳されることができる)。
CI順序は、補間の前に分類が適用されるため、多重分類を必然的に解決し、CI順序は、伝統的に多重分類を視覚化するために使用されるが、しかしながら、CIは、概して、ICよりも低品質のレンダリングを提供する。
【0012】
したがって、複数の伝達関数をボリュームレンダリングに適用するために、これら2つの問題の解決が望まれる。
【発明の概要】
【課題を解決するための手段】
【0013】
本公開は、概して、コンピュータ対応ボリュームレンダリングの分野、特に、多重分類ボリュームデータセットのボリュームレンダリングのための方法およびシステムに関する。一実施形態は、補間−分類(IC)順序を使用し、一実施例では、ボリュームレンダリングのためのオクトリの最大値/最小値高速化と多重分類を併用し、同時に、IC順序(伝統的に使用されるCI順序の代わりに)を適用して、多重分類ボリュームレンダリングを視覚化する、多重分類ボリュームデータセットのボリュームレンダリングのための方法およびシステムである。
【0014】
一側面では、例示的なプロセスおよびシステムは、対応する伝達関数に関連付けられた対応するサブボリューム内でのデータの少なくとも1つの画素の有無を表現するビットフィールドの拡張により、全てのオクトリノードの最大値/最小値情報を拡張する。例えば、画像を描画するためのコンピュータ対応方法は、3次元の画像を表現するデータセットを提供するステップを含み、データセットは、複数の要素を含む。本方法はさらに、複数の伝達関数を提供するステップを含み、それぞれは、スカラーフィールド値(画素値等)の対応ならびに対応する色および不透明度を定義し、複数の伝達関数はそれぞれ、データの要素のサブセット(例えば、画素群)と関連付けまたはリンク付けされ、対応する画素群(例えば、データ要素のサブセット)の色および不透明度の制御を可能にする。複数の伝達関数はそれぞれ、拡張したオクトリ構造の各ノードの最大値/最小値を伴うビットフィールドの拡張を備える、拡張したオクトリ構造を介して、対応する画素群と関連付けまたはリンク付けされ、ビットフィールドの拡張内の各ビットは、対応する伝達関数に関連付けまたはリンク付けされた対応するサブボリューム内でのデータの少なくとも1つの画素の有無を表現する。
【0015】
加えて、少なくとも1つのプロセッサおよびメモリを有するシステムおよび電子デバイスが提供され、メモリは、電子デバイスに本明細書に記載されたプロセスを実施させるためのコンピュータ可読命令を備える。さらに、本明細書に記載されたプロセスを行わせるためのコンピュータ可読命令を備える、コンピュータ可読記憶媒体が提供される。
本明細書は、例えば、以下の項目も提供する。
(項目1)
画像を描画するコンピュータ対応方法であって、
3次元の画像を表現するデータセットを提供するステップであって、前記データセットは、複数の要素を含む、ステップと、
前記データセットに複数の伝達関数を適用するステップであって、それぞれがスカラーフィールド値の対応ならびに対応する色および不透明度を定義し、
複数の伝達関数はそれぞれ、対応する画素群の色および不透明度を制御するためのデータの要素のサブセットと関連付けられ、
前記複数の伝達関数はそれぞれ、拡張したオクトリ構造の各ノードの最大値/最小値を伴うビットフィールド拡張を備える、前記拡張したオクトリ構造を介して、対応する画素群と関連付けられ、
前記ビットフィールド拡張内の各ビットは、対応する前記伝達関数に関連付けられた対応するサブボリューム内でのデータの少なくとも1つの画素の有無を表現する、
ステップと、
を含む、方法。
(項目2)
元のデータの前記補間されたサンプルは、x8周囲頂点/画素に割り当てられた、三重線形補間された分類番号/値によって分類される、項目1に記載の方法。
(項目3)
前記データセットへの前記複数の伝達関数の適用に基づいて、画像をレンダリングするステップをさらに含む、項目2に記載の方法。
(項目4)
前記データセットへの前記複数の伝達関数の適用に基づいて、画像をレンダリングするステップをさらに含む、項目1に記載の方法。
(項目5)
項目1に記載の方法を実行するようにプログラムされる、コンピューティングデバイス。
(項目6)
項目1に記載の方法によって作成された投影を記憶する、コンピュータ可読媒体。
(項目7)
項目1に記載の方法を実行するためのコンピュータコードを記憶する、コンピュータ可読媒体。
(項目8)
画像を描画するための装置であって、
3次元の画像を表現するデータセットを記憶するための第1の記憶装置であって、前記データセットは、複数の要素を含む、第1の記憶装置と、
前記第1の記憶装置に結合され、複数の伝達関数を前記データセットに適用するためのプロセッサであって、
伝達関数はそれぞれ、スカラーフィールド値の対応ならびに対応する色および不透明度を定義し、
複数の伝達関数はそれぞれ、対応する画素群の色および不透明度を制御するためのデータの要素のサブセットと関連付けられ、
複数の伝達関数はそれぞれ、オクトリ構造の全てのノードの最大値/最小値に加えて、ビットフィールドの拡張を備える、拡張したオクトリ構造を介して、対応する画素群と関連付けられ、
前記ビットフィールドの拡張内の各ビットは、対応する前記伝達関数に関連付け/リンク付けされた対応するサブボリューム内でのデータの少なくとも1つの画素の有無を表現する、
プロセッサと、
を備える、装置。
(項目9)
元のデータの前記補間されたサンプルは、x8周囲頂点に割り当てられた、三重線形補間された分類番号/値(赤、緑、青、および不透明度)によって分類される、項目8に記載の装置。
(項目10)
前記データセットへの前記複数の伝達関数の適用に基づいて、画像をレンダリングするステップをさらに含む、項目9に記載の装置。
(項目11)
前記データセットへの前記複数の伝達関数の適用に基づいて、画像をレンダリングするステップをさらに含む、項目8に記載の装置。
【図面の簡単な説明】
【0016】
【
図1】
図1は、対応する伝達関数に関連付け/リンク付けされた対応するサブボリューム内でのデータの少なくとも1つの画素の有無を表現するビットフィールドによる、オクトリノードの拡張を図示する。
【
図2】
図2は、多重分類ボリュームレンダリングの場合の分類−補間(CI)順序および多重分類ボリュームレンダリングの場合の補間−分類(IC)順序を図示する。
【
図3】
図3は、ボリュームレンダリングのための例示的なプロセスを図示する。
【
図4】
図4は、記載されたプロセスを実施するために構成された例示的なコンピューティングシステムを図示する。
【発明を実施するための形態】
【0017】
前述の本発明の特徴および利点ならびにその付加的な特徴および利点が、図面と併せた本発明の実施形態の詳細な説明によって、以下でより明確に理解されるであろう。本説明は、当業者が種々の実施形態を作成および利用できるようにするために示される。特定のデバイス、技法、および用途の説明は、単なる実施例として提供される。本明細書に記載される実施例への種々の修正は、当業者にとって容易に明白となるであろうものであり、本明細書に定義される一般原理は、本技術の精神および範囲から逸脱することなく、他の実施例および用途に適用されてもよい。したがって、公開された本技術は、本明細書において説明され、示された実施例に限定されるように意図されず、請求項と一致する範囲を付与されることが意図される。
【0018】
図1は、対応する伝達関数に関連付けまたはリンク付けされた対応するサブボリューム内でのデータの少なくとも1つの画素の有無を表現するオクトリの全てのノードのためのビットフィールドを例示する。具体的には、
図1は、2つの伝達関数TF0およびTF1を伴う場合を示し、TF1は、単一画素に割り当てられ、その他全ての画素は、TF0に割り当てられる。本具体実施例は、x4(4)の可能性として考えられるTFに配分するが、x2(2)のみが使用される。概して、本願は、可能性として考えられるTFの数と、それに対応して、ビットフィールド内のビット数とを定義する。例えば、伝達関数の数は、特定の用途の必要性によって決定されることができ、かつ利用可能なメモリによって制限されることができる。
図1は、各オクトリノードのx4ビットフィールドの拡張を伴う実施例を例証しており、したがって、最大値x4TFが適用されることができるが、しかしながら、TF0およびTF1のみが実施例「1100」として示されている。
【0019】
図2は、IC順序の実施例の例証に役立つ。本特定の実施例は、TF1をセルノード#2(「V2」)に割り当て、セルの残りの角は全て、TF0に割り当てられる。
【化1】
【0020】
図2は、CI順序の実施例を例証する。本特定の実施例は、TF1をセルノード#2に割り当て、セルの残りの角は全て、TF0に割り当てられる。
【化2-1】
【化2-2】
【0021】
図3は、ボリュームレンダリングのための例示的プロセス350を例証する。
例示的プロセスは、3次元の画像に関連付けられたデータセット、例えば、心臓の3次元画像を提供することにより、352から始まる。データセットは、複数の要素を含み、例えば、複数の2D画像が患者の左右の腎臓を横断するスライスを表現する。354におけるプロセスはさらに、2つまたはそれを上回る伝達関数を使用し、各伝達関数は、スカラーフィールド値(画素値等)の色および不透明の値への対応を定義する。伝達関数の数は、用途の必要性によって決定され、また、利用可能なメモリによってのみ制限されてもよく、例えば、2つの腎臓に関する実施例では、それらを異なって見せるためにx2(2)TFを要求してよいが、それに限定されず、各腎臓の異なる部分が、異なって見られることが望まれる場合、より多くのTFが使用されてもよい。伝達関数はそれぞれさらに、その色および不透明度を制御するためのデータの要素のサブセット(例えば、画素群の)と関連付けられる。例えば、要素の各サブセットは、左右の腎臓、異なる臓器、およびその他等、レンダリングされるための異なる要素と関連付けられることができる。伝達関数はそれぞれさらに、例えば、
図1で例証されるように、各ノードの最大値/最小値を伴うビットフィールドの拡張を有するオクトリ構造と関連付けられることができる。最後に、データセットに伝達関数を適用した後のプロセス350は、356において、それに基づいて画像をレンダリングおよび表示させる。
【0022】
図4は、前述の説明されたプロセスのうちの任意の1つを実施するために構成され、例えば、以下に提供される、クライアントデバイス、サーバ、ゲートウェイ、ルータ、データアプリケーションサービスを表し得る、例示的コンピューティングシステム300を図示する。本文脈では、コンピューティングシステム300は、例えば、プロセッサ、メモリ、記憶装置、および入力/出力デバイス(例えば、モニタ、キーボード、ディスクドライブ、インターネット接続等)を含んでよい。しかしながら、コンピューティングシステム300は、プロセスのいくつかまたは全ての側面を実行するための電気回路または他の特殊ハードウェアを含んでよい。いくつかの動作設定において、コンピューティングシステム300は、1つまたはそれを上回るユニットを含むシステムとして構成されてよく、それぞれは、ソフトウェア、ハードウェア、ファームウェア、またはそのいくつかの組み合わせにおいて、プロセスのいくつかの側面を実行するために構成される。
【0023】
例示的コンピューティングシステム300は、前述の説明されたプロセスを実施するために使用され得る、いくつかの構成要素を含む。メインシステム302は、入力/出力(「I/O」)セクション306と、1つまたはそれを上回る中央処理装置(「CPU」)308と、メモリセクション310とを有する主回路基板304を含み、それに関連されるフラッシュメモリカード312を有してよい。I/Oセクション306は、ディスプレイ324、キーボード314、ディスク記憶装置316、およびメディアドライブ装置318に接続される。メディアドライブ装置318は、コンピュータ可読媒体320の読み取り/書き込みが可能で、プログラム322および/またはデータを含有することができる。
【0024】
前述の説明されたプロセスの結果に基づく少なくともいくつかの値は、その後の使用のために保存されることができる。加えて、非一過性コンピュータ可読媒体は、コンピュータを用いて、前述の説明されたプロセスのうちの任意の1つを実施するための1つまたはそれを上回るコンピュータプログラムを記憶する(例えば、有形に具現化する)ために使用されることができる。コンピュータプログラムは、例えば、汎用プログラミング言語(例えば、Pascal、C、C++、Java(登録商標))またはある特殊用途専用言語で書き込まれてもよい。
【0025】
種々の例示的実施形態が本明細書に記載される。これらの実施例は、非限定的意味で参照される。それらは、公開された本技術のより広く適用できる側面を例証するために提供される。種々の実施形態の厳密な精神および範囲から逸脱することなく、種々の変更がなされ、また、均等物が代用されてよい。加えて、多くの修正が、特定の状況、材料、組成物、プロセス、プロセス行為、またはステップを、種々の実施形態の目的、精神、または範囲に適合させるためになされてよい。さらに、当業者によって理解されるであろうように、本明細書に記載および例証される個々の変形例はそれぞれ、種々の実施形態の範囲または精神から逸脱することなく、任意の他のいくつかの実施形態の特徴から容易に分離されてよい、またはそれらと併用されてよい個別の構成要素および特徴を有する。全てのそのような修正は、本開示と関連付けられる請求項の範囲内であることが意図される。