(58)【調査した分野】(Int.Cl.,DB名)
前記重み付けされた補間は、所与の2D頂点の前記画素属性の3つの値に、所与の画素から該所与の2D頂点までの距離に反比例する重みを適用することを含む、請求項3に記載の方法。
前記補間された画素属性をボクセル座標に変換することは、ボクセルからなる直方体内に前記三角形メッシュを包囲することと、前記補間された画素属性を含有するか、又は前記補間された画素属性に接触するボクセルを、前記表面のボクセルとして選択することと、を含む、請求項1に記載の方法。
前記処理ユニットは、ボクセルからなる直方体内に前記三角形メッシュを包囲するように、かつ前記補間された画素属性を含有するか、又は前記補間された画素属性に接触するボクセルを、前記表面のボクセルとして選択するように構成されている、請求項7に記載の装置。
【発明の概要】
【課題を解決するための手段】
【0003】
本発明の実施形態は、3次元(3D)レンダリングのための方法であって、該方法は、
表面の三角形メッシュを画定する一群の3D三角形を受け取ることであって、該群におけるそれぞれの3D三角形は、それぞれの3D座標を有する3つの3D頂点を有する、ことと、
それぞれの3D三角形を、該3D頂点にそれぞれ対応する3つの2次元(2D)頂点を有する、対応する2D三角形に変換することであって、それぞれの2D頂点は、それぞれの2D画素座標及び対応する3D頂点の3D座標に対応する画素属性の3つの値を有する、ことと、
それぞれの2D頂点の該画素属性の3つの値を補間可能な値として処理するグラフィックプロセッサへ、それぞれの2D三角形を渡すことと、
該グラフィックプロセッサにおいて、該2D三角形の該2D頂点の該画素属性間の補間によって、それぞれの2D三角形内の画素に対してそれぞれの補間された画素属性の3つの値を算出することと、
該表面の3D画像を、該グラフィックプロセッサによって算出された該補間された画素属性を該3D画像内のボクセル座標に変換することによって、レンダリングすることと、を含む、方法を提供する。
【0004】
本方法は、典型的には、所与の2D三角形をグラフィックプロセッサへ渡した後、所与の2D三角形を所与の2D三角形内の画素で満たすことを含む。
【0005】
開示された実施形態において、補間された画素属性は、それぞれの2D頂点の画素属性の3つの値の重み付けされた補間を含む。典型的には、重み付けされた補間は、所与の2D頂点の画素属性の3つの値に、所与の画素から所与の2D頂点までの距離に反比例する重みを適用することを含む。
【0006】
更なる開示された実施形態において、補間された画素属性をボクセル座標に変換することは、ボクセルからなる直方体内に三角形メッシュを包囲することと、補間された画素属性を含有するか、又は補間された画素属性に接触するボクセルを、表面のボクセルとして選択することと、からなる。
【0007】
なお更なる開示された実施形態において、表面は、心腔内に含まれている。
【0008】
代替的な実施形態において、それぞれの2D三角形は、1つの共通の2D三角形を含む。
【0009】
更なる代替的な実施形態において、それぞれの2D三角形は、仮想画面を満たすように構成されている。
【0010】
本発明の実施形態による、3次元(3D)レンダリングのための装置であって、装置は、
処理ユニットであって、
表面の三角形メッシュを画定する一群の3D三角形を受け取ることであって、該群におけるそれぞれの3D三角形は、それぞれの3D座標を有する3つの3D頂点を有することと、
それぞれの3D三角形を、該3D頂点にそれぞれ対応する3つの2次元(2D)頂点を有する、対応する2D三角形に変換することであって、それぞれの2D頂点は、それぞれの2D画素座標及び対応する3D頂点の3D座標に対応する及び画素属性の3つの値を有する、ことと、を行うように構成されている、処理ユニットと、
グラフィックプロセッサであって、
それぞれの2D三角形を受け取り、それぞれの2D頂点の該画素属性の3つの値を補間可能な値として処理することと、
該2D三角形の該2D頂点の該画素属性間の補間によって、それぞれの2D三角形内の画素に対してそれぞれの補間された画素属性の3つの値を算出することと、を行うように構成されている、グラフィックプロセッサと、を備え、
該処理ユニットは、該表面の3D画像を、該グラフィックプロセッサによって算出された該補間された画素属性を該3D画像内のボクセル座標に変換することによって、レンダリングするように構成されている、装置が更に提供される。
【0011】
本開示は、以下の本開示の実施形態の詳細な説明を図面と併せて読むことで、より完全な理解が得られるであろう。
【発明を実施するための形態】
【0013】
概要
画像の回転、移動、拡大及び/又は縮小などの表面画像の操作は、典型的には、コンピュータを駆使して行われる。更に、画像の解像度及び画像内の色数が増加するにしたがって、タイミングよく操作を行うために必要とされる演算能力の増大もまた必要とされる。従来技術のシステムでは、かかる演算能力を増大させるのではなく、画像の解像度を低下させ、色数を削減し、かつ/又は画像の操作にかかる時間を増加させる場合がある。
【0014】
本発明の実施形態は、高解像度を有する画像の迅速な操作に必要とされる演算能力を増大させることによって、異なる取り組みで行われている。増大したコンピュータの処理能力は、専用のグラフィックプロセッサの形態で提供されている。従来技術において既知であるように、グラフィックプロセッサは、大量のデータを処理するための汎用処理ユニットより効果的である高度並列構造(highly parallel structure)を有する。
【0015】
本発明の実施形態において、汎用処理ユニットは、表面のメッシュを画定する一群の3次元(3D)三角形を受け取り、三角形のそれぞれは、それぞれの3D座標を有する3つの3D頂点を有する。処理ユニットは、それぞれの3D三角形を、3D頂点に対応する3つの2D頂点を有する対応する2次元(2D)三角形に変換する。典型的には、3D三角形が異なっても、2D三角形が1組の2D頂点を有する1つの共通の2D三角形であり得る。それぞれの2D頂点は、2D画素座標を有し、更に、それぞれの頂点には、対応する3D頂点の3D座標である画素属性の3つの値が割り当てられる。
【0016】
処理ユニットは、補間可能な値、すなわち、グラフィックプロセッサが補間を行うことができる値としてのそれぞれの2D頂点の画素属性の3つの値を処理する専用のグラフィックプロセッサにそれぞれの2D三角形を渡す。グラフィックプロセッサの一部の使用において、プロセッサに入力される補間可能な値は明度である。グラフィックプロセッサは、それぞれの2D三角形内の画素でそれぞれの2D三角形を満たすように構成されている。更に、グラフィックプロセッサは、それぞれの2D頂点の画素属性の3つの値を補間可能な値として処理することによって、満たした画素のそれぞれに対して補間された画素属性の3つの値を算出する。補間は、典型的には、2D頂点の3つの値の加重平均であり、重み付けは、2D頂点からの所与の満たした画素の距離に反比例するように構成されている。
【0017】
処理ユニットは、グラフィックプロセッサから補間された画素属性の3つの値を受け取り、対応する3D三角形内の3Dの点として3つの値を使用することができる。処理ユニットは、典型的には、まず、1セットのボクセル内にメッシュを包囲し、上述の処理を行った後、3Dの点を包囲又は3Dの点に接触するボクセルを選択する。その後、処理ユニットは、選択されたボクセルのボクセル座標を使用して、画面上にメッシュと関連付けられた表面の3D画像をレンダリングする。
【0018】
画素属性の3つの値を補間可能な値として処理するように構成されている専用のグラフィックプロセッサを使用することによって、本発明の実施形態は、高度に並列な特性のグラフィックプロセッサを使用して、効率よく高解像度画像をリアルタイムに操作することができる。
【0019】
システムの説明
以下の説明において、図面中の同様の要素は、同様の数字により識別され、同様の要素は、必要に応じて識別数字に文字を添えることにより区別される。
【0020】
図1は、本発明の実施形態によるボクセル化装置20の概略図である。以下に記載されるように、装置20は、3次元(3D)の表面22内に含まれるボクセルを決定するように構成されている。例として、装置は、侵襲性の医療処置において使用されることが想定され、処置が行われる表面22は、ヒトの患者28の心臓26の心腔の表面24を含むことが想定されている。処置は、医療専門家30によって行われることが想定される。また、例として、処置は、表面24のアブレーションを含むことが想定される。しかしながら、本発明の実施形態は、この特定の表面上の特定の処置だけに適用可能であるのではなく、任意の表面上の任意の処置を実質的に含み得ることが理解されよう。
【0021】
装置20は、装置の操作コンソール48内に位置するシステム処理ユニット(PU)46によって制御される。PU 46は、グラフィックプロセッサ(GP)50及び追跡モジュール52と通信しており、これらの機能は以下に記載される。PU 46はまた、典型的には、アブレーションモジュール及び灌流モジュールなどの処置に使用される他のモジュールと通信しているが、簡略化のために、かかるモジュールは、
図1には図示されていない。コンソール48は、専門家30によって使用されるコントロール部54を備えて、処理ユニットと通信している。
【0022】
典型的には、処置を行う前に、表面22は、マッピングされ、マッピングは、専門家30によって行われることが想定される。マッピングを行うために、プローブ60は、その遠位端に位置センサ62を有するように構成されてもよく、位置センサは、PU 46と通信し、センサからのシグナルにより、処理ユニットは、センサの位置を判定することができる。センサ62は、当該技術分野において既知の位置を判定するための任意の方法を使用してもよい。例えば、センサ62は、1つ又は2つ以上のコイルを備えてもよく、PU 46は、患者28の外部の磁気トランスミッタ64がコイル内でシグナルを生成する磁気追跡方法を使用してもよい。処理ユニットは、追跡モジュール52などの追跡モジュールを使用して、磁気トランスミッタによって規定される3次元(3D)基準座標系66内の位置座標へシグナルを変換することができる。
図1において、3D基準座標系は、1組の直交するxyz軸によって示される。Biosense Webster(Diamond Bar,CA)により生産されるCarto(登録商標)システムは、このような追跡方法を使用している。
【0023】
マッピングを行うために、専門家は、患者の内腔内へプローブ60を挿入することができ、プローブの遠位端は、患者の心腔24に入り、センサ62は、複数の点で心腔の表面22に接触する。マッピングから、PU 46は、表面22の画像70を生成することができ、処理ユニットは、典型的には、専門家30に対して、画面74上に表面22の画像70を提示する。処置中、専門家30は、コントロール部54を使用して、例えば、画像の回転、倍率の変更、視野方向の変更、及び/又は画像の一部のみを示すことによって、画像70を操作することができる。画像70の生成は、以下に記載される。
【0024】
PU 46、GP 50、及びモジュール52用のソフトウェアは、例えば、電子形態で、ネットワークを介して、ダウンロードすることができる。あるいは又はこれに加えて、ソフトウェアは、光学的、磁気的、又は電子的記憶媒体など、一時的でない有形の媒体上に提供され得る。
【0025】
図2は、本発明の実施形態による、センサ62が表面22に接触した際、センサ62によって登録される点100の概略図である。典型的には、上で言及されたマッピング中、PU 46は、まず、トランスミッタ64によって規定される3D基準座標系において測定されたとおり、点100の3D座標を記憶する。その後、処理ユニットは、ボールピボッティングアルゴリズムなどの当該技術分野において既知の任意の方法を使用して、本明細書において3D頂点100とも称される点100の3D座標を線分102によって接続して、総称的に三角形104と称される、1組の接続された3D三角形104A、104B、104Cを生成する。3D三角形104は、表面の三角形メッシュ106を形成する。
図3のフローチャートを参照して以下で記載されるように、PU 46は、GP 50を使用して、メッシュ106を画像70にレンダリングする。
【0026】
図3は、本発明の実施形態による、画像70を生成するために、PU 46によって行われる工程のフローチャートであり、
図4は、本発明の実施形態による、フローチャートの工程のうち1つを示す図である。
図1及び
図2を参照して上述されるように、最初の工程150において、処理ユニットは、本明細書において、表面22のメッシュ106を含むように想定される3D三角形のメッシュを生成する。メッシュの生成は、メッシュの3D頂点100の順序付けられた3つの値としての3D座標を決定することと、その後、頂点を接続する線分102の均衡を判定して、基準座標系66内に3D三角形104を形成することと、を含む。
【0027】
包囲する工程151において、3Dメッシュは、ボクセルから構成される3D体積内に包囲される。必ずではないが、典型的には、包囲している体積の縁部は、基準座標系66のxyz軸に平行であるように選択される。ボクセルの数及び大きさは、専門家30によって選択されてもよい。ボクセルは、典型的には、立体であり、典型的には、サイズが等しい。典型的な3D体積は、128×128×128ボクセル又は512×512×512ボクセルを含んでもよいが、本発明の実施形態は、これらの特定の値に限定されず、3D体積に対して他の都合のよいボクセルの形状が専門家30によって選択され得る。
【0028】
三角形の選択工程152において、処理ユニットは、3D三角形を選択し、ここで、3D三角形が三角形104Aであると想定すると、3つの値(x
A1,y
A1,z
A1),(x
A2,y
A2,z
A2),(x
A3,y
A3,z
A3)と想定される、三角形の3D頂点の3D座標を登録する。
【0029】
変換工程154において、GP 50へのデータ入力に備えて、選択された3D三角形は、2D三角形に変換される。選択された三角形の3D頂点の3D座標のそれぞれは、2次元(2D)頂点のそれぞれの2D座標と1対1の対応で配置される。2D頂点のそれぞれは、2D画素座標及び対応する3D頂点の画素属性の3つの値を有する。
【0030】
図4及び以下の表Iは、工程154において形成される対応を示す。
【0032】
図4は、基準座標系66に描かれる3つの3D頂点を有する3D三角形104Aを示す。3D三角形104Aに対応する2D三角形180は、2Dの基準座標系184を有する2D画面182上に描かれている。三角形180、画面182、及び基準座標系184は、工程154において生成された対応関係が画面上の任意の実際の点の場所に関係せず、画面182が仮想画面であることを示すために、破線で描かれている。このように、2D三角形182の実際の図は存在しないので、三角形182は、破線で描かれている。
【0033】
以下で更に記載されるように、工程154は、工程152において選択された様々な3D三角形に対して繰り返される。しかしながら、3D三角形は、異なってもいいが、3D三角形が変換される2D三角形は、同一でもよく、この場合、全ての3D三角形に対して1つの共通の2D三角形が存在する。いくつかの実施形態において、共通の2D三角形の2D頂点は、2D三角形が画面182を満たすように選択される。この場合、基準座標系184における画面182は、コーナ(1,1)、(1,−1)、(−1,−1)、及び(−1,1)を有すると想定され、表IIは、対応関係に適合している。
【0035】
GPへの入力及びGPの満たす工程156において、PU 46は、2D頂点及び2D三角形の関連する画素の3つの値をGP 50へ渡す。GP 50は、3つの2D頂点を受け取ると、2D画素で三角形182を満たすように構成され、それぞれの2D画素は、それぞれの2D画面座標(x
p,y
p),p=1,2,3,・・・を有する。
【0036】
更に、GPは、補間可能な値として、2D頂点に関連するそれぞれの画素の3つの値の属性を処理するように構成されている。補間可能な値の処理に関して、それぞれの補間された2D画素(x
p,y
p)に対して、GPは、三角形182の2D頂点の3つの画素の3つの値の加重平均として画素に関連する画素の3つの値[x
wp,y
wp,z
wp]を算出し、重み付けは、補間された画素の頂点までの近接性により判定される。
【0037】
[x
wp,y
wp,z
wp]に対する式は、等式(1):
【数1】
[式中、w
1,w
2,w
3は、2D画素(x
p,y
p)から2D頂点(x
s1,y
s1),(x
s2,y
s2),(x
s3,y
s3)までの距離d
1,d
2,d
3に反比例する正規化された重み付け係数である]によって与えられる。
【0038】
例えば,d
1=d
2=d
3の場合、w
1=w
2=w
3=1/3。第2の例として、d
1=d
2=2d
3の場合、w
1=w
2=1/4、かつw
3=1/2。
【0039】
工程156において、処理ユニットは、等式(1)により、2D三角形182を満たす2D画素(x
p,y
p)のそれぞれに対して、それぞれの3つの値[x
wp,y
wp,z
wp]の値を求める。
【0040】
関連付ける工程158において、工程156において満たされた画素のそれぞれの3つの値[x
wp,y
wp,z
wp]は、三角形104Aに関連付けられ、三角形に対して3つの値のセット{S}を形成し、処理ユニットは、3つの値のセットを記憶する。等式(1)から、それぞれの3つの値のセット{S}は、三角形104A内の3Dの点に等しいことが明らかとなるだろう。
【0041】
決定する工程160において、処理ユニットは、3つの値のセット、すなわち、所与の3D三角形104内の1組の3Dの点がメッシュ106内のすべての3D三角形に対して記憶されているか否かを確認する。3D三角形104がかかるセットを有さずに存在する場合、フローチャートは、工程152へ戻る。3Dの点のそれぞれの組がメッシュ106内の全ての三角形104に対して記憶されている場合、フローチャートは、ボクセル化工程162へ続く。
【0042】
工程151において形成された3D体積のボクセル毎のボクセル化工程162において、PU 46は、工程158において記憶された3つの値のうち少なくとも1つがボクセル内に含有されているか、又はボクセルに接触しているか否かを確認する。かかるボクセルは、表面22内に含まれるボクセルであると想定されるとして、「強調される」か、又は「選択される」。3D体積内のすべての他のボクセル、すなわち、工程158において記憶された3つの値を包囲しないか、又は3つの値に接触しないボクセルは、表面22に含まれないと想定される。
【0043】
PU 46は、選択されたボクセルのボクセル座標を使用して、画面74上に表面22の画像70をレンダリングする。
【0044】
上述の実施形態は、例として引用したものであり、本発明は、本明細書の上記で具体的に図示及び記載した内容に限定されるものではないということが理解されるであろう。むしろ、本発明の範囲には、本明細書の上記で説明した様々な特徴の組み合わせ及び部分的な組み合わせ、並びに、上記の説明を読むことで当業者には想到されるであろう、従来技術には開示されていないそれらの変形例及び変更例が含まれるものである。
【0045】
〔実施の態様〕
(1) 3次元(3D)レンダリングのための方法であって、
表面の三角形メッシュを画定する一群の3D三角形を受け取ることであって、該群におけるそれぞれの3D三角形は、それぞれの3D座標を有する3つの3D頂点を有する、ことと、
それぞれの3D三角形を、該3D頂点にそれぞれ対応する3つの2次元(2D)頂点を有する、対応する2D三角形に変換することであって、それぞれの2D頂点は、それぞれの2D画素座標及び対応する3D頂点の3D座標に対応する画素属性の3つの値(triplet)を有する、ことと、
それぞれの2D頂点の該画素属性の3つの値を補間可能な値として処理するグラフィックプロセッサへ、それぞれの2D三角形を渡すことと、
該グラフィックプロセッサにおいて、該2D三角形の該2D頂点の該画素属性間の補間によって、それぞれの2D三角形内の画素に対してそれぞれの補間された画素属性の3つの値を算出することと、
該表面の3D画像を、該グラフィックプロセッサによって算出された該補間された画素属性を該3D画像内のボクセル座標に変換することによって、レンダリングすることと、を含む、方法。
(2) 所与の2D三角形を前記グラフィックプロセッサへ渡した後、該所与の2D三角形を該所与の2D三角形内の画素で満たすことを含む、実施態様1に記載の方法。
(3) 前記補間された画素属性は、それぞれの2D頂点の前記画素属性の3つの値の重み付けされた補間を含む、実施態様1に記載の方法。
(4) 前記重み付けされた補間は、所与の2D頂点の前記画素属性の3つの値に、所与の画素から該所与の2D頂点までの距離に反比例する重みを適用することを含む、実施態様3に記載の方法。
(5) 前記補間された画素属性をボクセル座標に変換することは、ボクセルからなる直方体内に前記三角形メッシュを包囲することと、前記補間された画素属性を含有するか、又は前記補間された画素属性に接触するボクセルを、前記表面のボクセルとして選択することと、を含む、実施態様1に記載の方法。
【0046】
(6) 前記表面は、心腔内に含まれる、実施態様1に記載の方法。
(7) それぞれの2D三角形は、1つの共通の2D三角形を含む、実施態様1に記載の方法。
(8) それぞれの2D三角形は、仮想画面を満たすように構成されている、実施態様1に記載の方法。
(9) 3次元(3D)レンダリングのための装置であって、
処理ユニットであって、
表面の三角形メッシュを画定する一群の3D三角形を受け取ることであって、該群におけるそれぞれの3D三角形は、それぞれの3D座標を有する3つの3D頂点を有する、ことと、
それぞれの3D三角形を、該3D頂点にそれぞれ対応する3つの2次元(2D)頂点を有する、対応する2D三角形に変換することであって、それぞれの2D頂点は、それぞれの2D画素座標及び対応する3D頂点の3D座標に対応する画素属性の3つの値を有する、ことと、を行うように構成されている、処理ユニットと、
グラフィックプロセッサであって、
それぞれの2D三角形を受け取り、それぞれの2D頂点の該画素属性の3つの値を補間可能な値として処理することと、
該2D三角形の該2D頂点の該画素属性間の補間によって、それぞれの2D三角形内の画素に対してそれぞれの補間された画素属性の3つの値を算出することと、を行うように構成されている、グラフィックプロセッサと、を備え、
該処理ユニットは、該表面の3D画像を、該グラフィックプロセッサによって算出された該補間された画素属性を該3D画像内のボクセル座標に変換することによって、レンダリングするように構成されている、装置。
(10) 前記グラフィックプロセッサは、前記画素で所与の2D三角形を満たすように構成されている、実施態様9に記載の装置。
【0047】
(11) 前記補間された画素属性は、それぞれの2D頂点の前記画素属性の3つの値の重み付けされた補間を含む、実施態様9に記載の装置。
(12) 前記重み付けされた補間は、所与の2D頂点の前記画素属性の3つの値に、所与の画素から該所与の2D頂点までの距離に反比例する、重みを適用することを含む、実施態様11に記載の装置。
(13) 前記処理ユニットは、ボクセルからなる直方体内に前記三角形メッシュを包囲するように、かつ前記補間された画素属性を含有するか、又は前記補間された画素属性に接触するボクセルを、前記表面のボクセルとして選択するように構成されている、実施態様9に記載の装置。
(14) 前記表面は、心腔内に含まれている、実施態様9に記載の装置。
(15) それぞれの2D三角形は、1つの共通の2D三角形を含む、実施態様9に記載の装置。
【0048】
(16) それぞれの2D三角形は、仮想画面を満たすように構成されている、実施態様9に記載の装置。