【文献】
久田俊明, 外4名,”医療・創薬のためのマルチスケール・マルチフィジクス心臓シミュレータ”,情報処理,日本,社団法人情報処理学会,2007年10月15日,第48巻, 第10号,p.1074-1080
(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0011】
本技術の実施の形態に係る表示処理装置の機能ブロック図を
図1に示す。表示処理装置100は、超音波エコー装置、MRI(Magnetic Resonance Imaging)装置、CTスキャン(Computed Tomography scan)装置等の測定機器200に接続されており、入力部140及び表示部150も接続されている。また、表示処理装置100は、測定機器200から受信したボクセルデータを格納するボクセルデータ格納部110と、3次元の形状モデルのデータ等を格納する形状モデルデータ格納部120と、処理途中のデータを格納するデータ格納部130と、本実施の形態に係る処理を実行する処理部160とを有する。
【0012】
ボクセルデータ格納部110には、例えば、測定機器200が出力した、所定時間間隔で並ぶ複数タイムステップにおけるボクセルデータが格納される。ボクセルデータはボクセルの集合を示している。
図2に、ボクセルデータから生成された画像データの一例を示す。
図2の右上は、心臓(一部)を示しており、断面Xで切断して描画すると、
図2の左下部分のような画像が得られる。なお、
図2の左下部分の画像において、右側の丸くなっている部分は左心室の心筋が表されている。なお、物体を3次元格子状に分割した際に得られる1つ1つの立方体を、2次元画像における「ピクセル」と対応させて「ボクセル」と呼ぶ。すなわち、各ボクセルは、平面的に描けば
図3に模式的に示すように正方形となり、その中心部分に物理値(スカラー値又はベクトル値)が配置されているものである。
【0013】
形状モデルデータ格納部120には、例えば心臓の場合には、心臓一拍分の期間における、シミュレータにより生成された時系列の形状モデルデータ(例えば四面体要素データ)が格納されている。形状モデルデータには、例えば形状を特定するための四面体要素の各頂点の座標、要素情報、要素上の物理値等を含む。心臓の場合には、形状モデルデータには、心筋データ及び血流データが含まれる。
【0014】
心筋データの物理値は、スカラー値又はテンソル値である。スカラー値の場合には、各四面体要素毎に1つのスカラー値が配置されている。テンソル値の場合には、3つの対角要素のいずれかの大きさを要素に配置したもの、或いはミーゼス応力値など、テンソルの9つの値から導かれるスカラー値が配置されているものとする。
【0015】
図4Aは、心臓全体の形状モデルの一例を示しており、
図4A中、濃淡の境界線が、
図2における断面Xに相当する。
図4Bは、この断面を、四面体要素における応力値が大きいほど濃い色となるように描画した例を示している。右側の左心室の心筋内部の応力が高いことが分かる。
【0016】
なお、形状モデルは、
図5に模式的に示すように、四面体要素(
図5では二次元なので三角形)に分割されている。
【0017】
また、形状モデルデータ格納部120には、心筋の繊維方向を表すデータ(心筋繊維データと呼ぶ)も格納されている。心筋の繊維方向を表す単位ベクトルが、各四面体要素に設定されている。例えば、心臓の場合に心筋繊維の方向を表す単位ベクトルを重ねて表示すると、例えば
図6に示すようになる。心筋の繊維方向を表す単位ベクトルは、物体(ここでは心臓)の内部構造の方向を表す単位ベクトルとも言える。
【0018】
処理部160は、タイムステップ調整部161と、配置処理部162と、断面生成部163と、ボクセル値算出部164と、描画処理部165とを有する。
【0019】
タイムステップ調整部161は、例えば心臓一拍分の期間におけるボクセルデータのタイムステップ数と形状モデルのタイムステップ数とは異なっているので、例えばボクセルデータのタイムステップ間隔に合わせて形状モデルのデータを抽出する。
【0020】
配置処理部162は、仮想的な三次元空間において、形状モデルデータ及びボクセルデータを配置し、入力部140からの指示等に応じて両方の位置合わせ処理を実行する。この位置合わせ処理では、既存の手法が適用可能である。例えば、複数の制御点を両データに配置し、対応する制御点同士が同じ位置にくるように片側のデータをスケーリング、平行移動、回転を行う。
【0021】
さらに、断面生成部163は、ユーザからの指示に応じて、ボクセルデータにおける指定断面内のボクセルデータと、形状モデルデータにおける指定断面内の四面体要素データとを特定する。
【0022】
また、ボクセル値算出部164は、指定断面における四面体要素データと対応する心筋繊維データとから、指定断面におけるボクセルにおけるボクセル値を算出する。ボクセル値は1つのボクセルの中心における値である。
【0023】
また、描画処理部165は、ボクセル値算出部164により算出されたボクセル値を用いて、指定断面についての画像データを生成し、表示部150に表示を行わせる。
【0024】
次に、
図7乃至
図13を用いて表示処理装置100の処理内容について説明する。
【0025】
まず、処理部160のタイムステップ調整部161は、ボクセルデータ格納部110に格納されているボクセルデータのタイムステップ間隔と、形状モデルデータ格納部120に格納されている形状モデルのタイムステップ間隔とから、ボクセルデータ及び形状モデルのタイムステップを調整する処理を実行する(
図7:ステップS1)。
【0026】
一般に、ボクセルデータのタイムステップ間隔の方が長いので、例えばボクセルデータのタイムステップ間隔に合うように、形状モデルのデータを抽出する。この処理については、
図8に模式的に示す。例えば心臓一拍分のボクセルデータ及び形状モデルのデータを並べると、ボクセルデータのタイムステップ数よりも多くのタイムステップ数の形状モデルが用意されている。そこで、ボクセルデータと同時刻(縦方向の点線)の形状モデルのデータを抽出することで、処理対象の形状モデルとして用いる。
図8の例では、同時刻の形状モデルのデータが存在する例を示しているが、存在しない場合には例えばその時刻の前後の形状モデルを補間することで、同時刻の形状モデルのデータを生成する。但し、時刻の差が小さい場合には、補間せずにその時刻の形状モデルを抽出するようにしても良い。また、ボクセルデータのタイムステップ間隔の方が短い場合には、ボクセルデータを形状モデルの時刻に合わせて抽出するようにしても良い。
【0027】
次に、処理部160は、時刻tを0に設定する(ステップS3)。そして、配置処理部162は、仮想的な3次元空間に、ボクセルデータ及び形状データを配置し(ステップS5)、位置合わせのための処理を実行する(ステップS7)。上でも述べたように、既存の手法が適用可能であるので、これ以上説明しない。入力部140からユーザの指示を受け付けて位置合わせを行うようにしても良い。
【0028】
また、断面生成部163は、入力部140から受け付けた、ユーザからの指示に応じて断面を設定し、ボクセルデータにおける設定断面内のボクセルデータを特定する(ステップS9)。
【0029】
そして、ボクセル値算出部164は、設定された断面における未処理のボクセルを1つ特定する(ステップS11)。例えば、設定された断面に係るボクセルのリストを生成して、当該リストに従って未処理のボクセルを特定する。
【0030】
その後、ボクセル値算出部164は、ステップS11で特定されたボクセルの中心から、予め設定されている距離d内に重心が含まれる四面体要素を特定する(ステップS13)。
図9の例では、1つのボクセルVの中心V1から距離dの範囲W内に重心が含まれる四面体要素(ここでは三角形)T
1乃至T
4が特定される。なお、四面体要素T
1の重心はp
1であり、四面体要素T
2の重心はp
2であり、四面体要素T
3の重心はp
3であり、四面体要素T
4の重心はp
4である。この処理によって、四面体要素のインデックスのリストが生成される。これによって、1つのボクセルよりも四面体要素が大きい場合にも、ボクセルに対応する四面体要素を特定できる。
【0031】
そして、ボクセル値算出部164は、ステップS11で特定されたボクセルについて、心筋の繊維方向を表す単位ベクトルを設定断面へ射影した際の長さで重み付けした結果の平均値をボクセル値v
cとして算出する(ステップS15)。
図10に示すように、断面Csが設定されれば、その法線ベクトルfが決定される。そして、上で述べたように各四面体要素には心筋の繊維方向を表す単位ベクトルSが設定されているので、平面Csに対して射影すれば、平面Cs上のベクトルSpが得られる。
【0032】
そうすると、ステップS15では、以下のような演算がなされる。
【0033】
【数1】
なお、v
iは、i番目の四面体要素に設定されているスカラー値を表している。また、nは、ステップS13で特定された四面体要素の数を表す。さらに、T(Si)は、i番目の四面体要素に設定されている単位ベクトルSiを断面Csに射影した際の長さ(≦1)を返す関数である。
【0034】
例えば、心筋内では四面体要素単位で細胞が変形し、その変形が最終的に四面体要素の変形となるようにシミュレーションが実行されている。このとき、心筋繊維の方向を表す単位ベクトルがモデルとして入力されている。例えば、シミュレーションの出力結果が四面体要素の各軸方向の応力テンソルで出力される場合、どの方向にどのような応力が存在するかというデータが得られることになる。このような応力データで表される心筋の活動状態を、設定断面上において、上で述べたような新たなボクセル値v
cで表すことができるようになる。
【0035】
処理は端子Aを介して
図11に示す処理に移行して、ボクセル値算出部164は、設定断面内のボクセルのうち未処理のボクセルが存在するか判断する(ステップS19)。未処理のボクセルが存在する場合には、端子Bを介して
図7のステップS11に戻る。一方、未処理のボクセルが存在しない場合には、描画処理部165は、ステップS15で算出されたボクセル値を用いて描画処理を実行する(ステップS21)。この際、算出されたボクセル値の各々を、予め設定されているカラーマップに応じた色に変換した上で、表示部150に表示を行わせる。描画処理自体は従来と変わらないので、これ以上述べない。
【0036】
例えば、
図2のような表示の代わりに、
図12に示すような画像が表示される。なお、上で述べた断面における、心筋の繊維方向を表す単位ベクトルの状態は、
図13に示すようなものである。線で囲われた領域は、断面とほぼ平行なベクトルが多く存在する領域を表している。従って、
図12に示すような画像においても、対応する位置の画素に濃い値が出現するようになっている。ボクセル値が応力を表している場合には、シミュレーション結果に含まれる心筋の活動が、断面との関係で画素値に反映されて表現されるようになっている。
【0037】
そして、処理部160は、時刻tが最大値(例えばボクセルデータ格納部110に格納されているボクセルデータの最後のデータから決まる値)となったか判断する(ステップS23)。時刻tが最大値ではない場合には、処理部160は、tを1インクリメントして(ステップS25)、処理は端子Cを介して
図7のステップS5に移行する。
【0038】
以上のような処理を行うことで、シミュレーション結果を、ボクセルデータとして表示させることができるようになる。
【0039】
以上本技術の実施の形態を説明したが、本技術はこれに限定されるものではない。
図1の機能ブロック図は一例であって、プログラムモジュール構成とは一致しない場合もある。処理フローについても、処理結果が変わらない限り、ステップの順番を入れ替えたり、複数ステップを並列に実行するようにしても良い。
【0040】
さらに、上では心臓を一例にして説明したが、心臓以外の臓器その他の物体を対象とするようにしても良い。また、上で述べた例では、時刻t毎に、断面を設定し直す例を示したが、t=1以降は初回の設定に従って同じ断面を用いるようにしても良い。位置合わせ処理についても、初回はユーザの指示に従って位置合わせを行うが、t=1以降は初回の位置合わせ処理と同じ処理を行うことで、ユーザの指示を省略するようにしても良い。
【0041】
また、形状モデルデータの要素は四面体である例を示したが、他の形状であっても良い。
【0042】
なお、上で述べた表示処理装置100は、例えばコンピュータ装置であって、
図14に示すように、メモリ2501とCPU2503とハードディスク・ドライブ(HDD)2505と表示装置2509に接続される表示制御部2507とリムーバブル・ディスク2511用のドライブ装置2513と入力装置2515とネットワークに接続するための通信制御部2517とがバス2519で接続されている。オペレーティング・システム(OS:Operating System)及び本実施例における処理を実施するためのアプリケーション・プログラムは、HDD2505に格納されており、CPU2503により実行される際にはHDD2505からメモリ2501に読み出される。CPU2503は、アプリケーション・プログラムの処理内容に応じて表示制御部2507、通信制御部2517、ドライブ装置2513を制御して、所定の動作を行わせる。また、処理途中のデータについては、主としてメモリ2501に格納されるが、HDD2505に格納されるようにしてもよい。本技術の実施例では、上で述べた処理を実施するためのアプリケーション・プログラムはコンピュータ読み取り可能なリムーバブル・ディスク2511に格納されて頒布され、ドライブ装置2513からHDD2505にインストールされる。インターネットなどのネットワーク及び通信制御部2517を経由して、HDD2505にインストールされる場合もある。このようなコンピュータ装置は、上で述べたCPU2503、メモリ2501などのハードウエアとOS及びアプリケーション・プログラムなどのプログラムとが有機的に協働することにより、上で述べたような各種機能を実現する。
【0043】
以上述べた本実施の形態をまとめると、以下のようになる。
【0044】
本実施の形態に係る表示処理方法は、(A)データ格納部に格納された、物体についてのボクセルデータと当該物体についての形状モデルのデータとの位置を合わせる位置合わせ処理を実行し、(B)ボクセルデータ及び形状モデルに対して設定された断面と、データ格納部に格納され、形状モデルに含まれる複数の要素の各々に設定され且つ物体の内部構造の方向を表すベクトルとの関係に基づき、ボクセルデータに含まれる複数のボクセルのうち上記断面によって規定される範囲に含まれる各ボクセルについて、当該各ボクセルの所定の範囲に含まれる、形状モデルの要素における物理値から、各ボクセルにおけるボクセル値を算出し、(C)算出された各ボクセルにおけるボクセル値を用いて描画処理を実行する処理を含む。
【0045】
このようにすれば、物体の内部構造の方向を表すベクトルと断面との関係に応じて、形状モデルのデータをボクセルデータとして描画できるようになる。
【0046】
また、上で述べた第2の値を算出する処理が、上記断面に上記内部構造の方向を表すベクトルを射影した際のベクトルの長さに応じて、ボクセルの第2の所定の範囲に含まれる、形状モデルの各要素における第1の値を重み付けして、第2の値を算出する処理を含むようにしても良い。このようにすれば、断面に平行なベクトルが設定されている要素ほど大きな重みが設定されるようになる。すなわち、内部構造の方向を表すベクトルの状態を、描画すべき設定断面に反映させることができるようになる。例えば、心筋の繊維方向を表すベクトルであれば、設定断面と平行なベクトルについての例えば心筋の応力の大きさを強調できるようになる。
【0047】
さらに、重み付けされた上記第1の値の平均値を、第2の値として用いるようにしても良い。各ボクセルに関係する、形状モデルの要素の物理値等が反映されるようになる。
【0048】
なお、上で述べたような処理をコンピュータに実施させるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブル・ディスク、CD−ROMなどの光ディスク、光磁気ディスク、半導体メモリ(例えばROM)、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。なお、処理途中のデータについては、RAM等の記憶装置に一時保管される。
【0049】
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
【0050】
(付記1)
データ格納部に格納された、物体についてのボクセルデータと前記物体についての形状モデルのデータとの位置を合わせる位置合わせ処理を実行し、
前記ボクセルデータ及び前記形状モデルに対して設定された断面と、前記データ格納部に格納され、前記形状モデルに含まれる複数の要素の各々に設定され且つ前記物体の内部構造の方向を表すベクトルとの関係に基づき、前記ボクセルデータに含まれる複数のボクセルのうち前記断面によって規定される範囲に含まれる各ボクセルについて、前記各ボクセルの所定の範囲に含まれる、前記形状モデルの要素における物理値から、前記各ボクセルにおけるボクセル値を算出し、
算出された前記各ボクセルにおけるボクセル値を用いて描画を実行する
処理を、コンピュータに実行させるための表示処理プログラム。
【0051】
(付記2)
前記ボクセル値を算出する処理が、
前記断面に前記内部構造の方向を表すベクトルを射影した際のベクトルの長さに応じて、前記ボクセルの第2の所定の範囲に含まれる、前記形状モデルの各要素における物理値を重み付けして、前記ボクセル値を算出する
処理を含む付記1記載の表示処理プログラム。
【0052】
(付記3)
重み付けされた前記物理値の平均値を、前記ボクセル値として用いる
付記2記載の表示処理プログラム。
【0053】
(付記4)
データ格納部に格納された、物体についてのボクセルデータと前記物体についての形状モデルのデータとの位置を合わせる位置合わせ処理を実行し、
前記ボクセルデータ及び前記形状モデルに対して設定された断面と、前記データ格納部に格納され、前記形状モデルに含まれる複数の要素の各々に設定され且つ前記物体の内部構造の方向を表すベクトルとの関係に基づき、前記ボクセルデータに含まれる複数のボクセルのうち前記断面によって規定される範囲に含まれる各ボクセルについて、前記ボクセルの所定の範囲に含まれる、前記形状モデルの要素における物理値から、前記各ボクセルにおけるボクセル値を算出し、
算出された前記各ボクセルにおけるボクセル値を用いて描画を実行する
処理を、コンピュータにより実行される表示処理方法。
【0054】
(付記5)
データ格納部に格納された、物体についてのボクセルデータと前記物体についての形状モデルのデータとの位置を合わせる位置合わせ処理を実行する手段と、
前記ボクセルデータ及び前記形状モデルに対して設定された断面と、前記データ格納部に格納され、前記形状モデルに含まれる複数の要素の各々に設定され且つ前記物体の内部構造の方向を表すベクトルとの関係に基づき、前記ボクセルデータに含まれる複数のボクセルのうち前記断面によって規定される範囲に含まれる各ボクセルについて、前記ボクセルの所定の範囲に含まれる、前記形状モデルの要素における物理値から、前記各ボクセルにおけるボクセル値を算出する手段と、
算出された前記各ボクセルにおけるボクセル値を用いて描画を実行する手段と、
を有する表示処理装置。