【文献】
Yoshitaka Masutani,RBF-Based Representation of Volumetric Data: Application in Visualization and Segmentation,Medical Image Computing and Computer Assisted Intervention - MICCAI 2002, 5th International Conference Tokyo, Japan, September 25-28, 2002 Proceedings,2002年 9月25日,Part II,pp.300-307
(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0034】
以下に、本発明にかかる構造推定装置、構造推定方法、および、プログラムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。
【0035】
[構造推定装置100の構成]
以下に、本実施形態における構造推定装置100の構成の詳細について、
図1を参照して以下に説明し、その後、本実施形態の処理等について詳細に説明する。但し、以下に示す実施形態は、本発明の技術思想を具体化するための構造推定装置100を例示するものであって、請求の範囲に含まれるその他の実施形態の構造推定装置100にも等しく適用し得るものである。
【0036】
図1は、本実施形態における構造推定装置100の構成の一例を示すブロック図であり、該構成のうち本発明に関係する部分のみを概念的に示している。
【0037】
ここで、本実施形態における構造推定装置100においては、各構成が一筐体内に全て備えられ、単独で処理を行うもの(スタンドアローン型)を、構造推定装置100として説明するが、当該実施例に限らず、各構成が分離した筐体内に備えられ、ネットワーク等を介して接続されて一つの概念としての装置を構成するもの(例えば、クラウドコンピューティング等)であってもよい。ここで、ネットワークは、構造推定装置100と外部装置等とを相互に接続する機能を有し、例えば、インターネット等である。
【0038】
図1に示すように、構造推定装置100は、概略的に、制御部102と、記憶部106と、入出力部112と、を備えて構成される。ここで、構造推定装置100は、更に、通信インターフェース部と、入出力インターフェース部と、を備えていてもよい。これら構造推定装置100の各部は任意の通信路を介して通信可能に接続されていてもよい。
【0039】
ここで、通信インターフェース部は、通信回線および/または電話回線等に接続されるアンテナおよび/またはルータ等の通信装置に接続されるインターフェース(NIC等)であり、構造推定装置100と外部装置との間における通信制御を行う機能を有していてもよい。また、入出力制御インターフェース部は、入出力部112に接続されるインターフェースであり、入出力部112の制御を行ってもよい。
【0040】
また、入出力部112は、データの入出力(I/O)を行う。ここで、入出力部112は、例えば、キー入力部、タッチパネル、コントロールパッド(例えば、タッチパッド、および、ゲームパッド等)、マウス、キーボード、および、マイク等であってもよい。また、入出力部112は、アプリケーション等の表示画面を表示する表示部(例えば、液晶または有機EL等から構成されるディスプレイ、モニタ、および、タッチパネル等)であってもよい。また、入出力部112は、音声情報を音声として出力する音声出力部(例えば、スピーカ等)であってもよい。
【0041】
なお、制御部102は、通信インターフェース部、入出力インターフェース部、および、入出力部112を制御してもよい。
【0042】
ここで、記憶部106は、各種のデータベース、テーブル、および/または、ファイル(画像データベース106a等)などを格納する。また、記憶部106は、各種アプリケーションプログラム(例えば、ユーザアプリケーション等)を記憶していてもよい。
【0043】
記憶部106は、ストレージ手段であり、例えばRAM・ROM等のメモリ、ハードディスクのような固定ディスク装置、SSD(Solid State Drive)、eMMC(Embedded Multi Media Card)、フレキシブルディスク、および/または、光ディスク等の有形の記憶装置、または、記憶回路を用いることができる。
【0044】
また、記憶部106には、CPU(Central Processing Unit)に命令を与え各種処理を行うためのコンピュータプログラム等が記録されている。
【0045】
これら記憶部106の各構成要素のうち、画像データベース106aは、画像に関する画像データを記憶する。ここで、画像は、医用画像であってもよい。ここで、医用画像は、膜構造のコントラストが視覚的に識別できないCT画像またはMRI画像等であってもよい。
【0046】
また、医用画像は、骨、肝臓、腎臓、肺、および、血管等のコントラストが視覚的に識別できる画像であってもよい。また、画像データは、シミュレーション用の医用画像データであってもよい。また、画像は、再構成画像であってもよい。
【0047】
また、制御部102は、構造推定装置100を統括的に制御するCPU、GPU(Graphics Processing Unit)、DSP(Digital Signal Processor)、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、および/または、FPGA(Field−Programmable Gate Array)等を含む有形のコントローラ、または、制御回路等からなる。
【0048】
また、制御部102は、制御プログラムと各種の処理手順等を規定したプログラムと所要データとを格納するための内部メモリを有し、これらプログラムに基づいて種々の処理を実行するための情報処理を行う。
【0049】
ここで、制御部102は、大別して、画像取得部102a、点取得部102b、初期形状作成部102c、法線取得部102d、膜構造推定部102e、画像再構成部102f、および、画像出力部102gを備える。
【0050】
このうち、画像取得部102aは、画像を取得する画像取得手段である。ここで、画像取得部102aは、画像データを読み込んで、画像データに基づく画像を取得してもよい。また、画像取得部102aは、画像データを画像データベース106aから取得してもよい。また、画像取得部102aは、画像データを画像データベース106aに格納してもよい。
【0051】
また、点取得部102bは、医用画像上において、対象とする膜内に存在する複数の点を取得する点取得手段である。ここで、点取得部102bは、医用画像上において、座標に対応した所定数のラベル毎に、対象とする膜内に存在する複数の点を取得してもよい。
【0052】
また、点取得部102bは、医用画像上において、領域拡張法により膜以外の構造上の点を抽出することで、対象とする膜内に存在する複数の点を取得してもよい。ここで、対象とする膜は、間膜、または、大網膜等であってもよい。
【0053】
また、点取得部102bは、医用画像を入出力部112に表示させて、ユーザに入出力部112を介して、医用画像上における対象とする膜内に存在する点を入力させ、複数の点を取得してもよい。
【0054】
また、点取得部102bは、医用画像を入出力部112に表示させて、ユーザに入出力部112を介して、医用画像上における対象とする膜を示す線を入力させ、線上の点を特定することで、複数の点を取得してもよい。
【0055】
また、点取得部102bは、更に、医用画像上において、多面体の辺の端点となる2つの点の間に、所定数の補助点を取得してもよい。
【0056】
また、初期形状作成部102cは、複数の点を含む多面体の初期形状を作成する初期形状作成手段である。ここで、初期形状作成部102cは、座標に対応した所定数のラベルに基づいて、複数の点を含む多面体の初期形状を作成してもよい。
【0057】
また、初期形状作成部102cは、点同士のラベルに応じた接続関係性、点同士の距離、および、点を端点とする多面体の辺の最大数に基づいて、複数の点を含む多面体の初期形状を作成してもよい。
【0058】
また、法線取得部102dは、点における法線を取得する法線取得手段である。
【0059】
ここで、法線取得部102dは、点から基準点を選択し、所定数の基準点近傍の点を選択し、基準点と近傍の点とから構成される所定数の三角形の法線を算出し、所定数の三角形の法線の平均である平均法線を算出し、平均法線を基準点における法線として取得してもよい。
【0060】
また、法線取得部102dは、更に、同一のラベルが付与された点における法線から基準法線を決定し、基準法線の向き、および、点同士の隣接関係に基づいて、同一のラベルが付与された点における法線の向きを修正してもよい。
【0061】
また、法線取得部102dは、更に、点から基準点を選択し、ガウス関数を用いて、基準点の隣接頂点となる点における法線に対して、基準点と隣接頂点との距離に応じた重み付けを行い、重み付けに基づいて、基準点における法線の平滑化を行ってもよい。
【0062】
また、法線取得部102dは、補助点の位置に基づいて、点における法線を取得してもよい。
【0063】
また、法線取得部102dは、複数の点から選択した点である選択点における法線を取得してもよい。また、法線取得部102dは、初期形状を入出力部112に表示させて、ユーザに入出力部112を介して複数の点から選択点を選択させ、選択点における法線を取得してもよい。
【0064】
また、法線取得部102dは、多面体を構成する選択点を含む面に基づいて、選択点における法線を取得してもよい。また、法線取得部102dは、初期形状を入出力部112に表示させて、ユーザに入出力部112を介して初期形状の確からしさを確認させ、且つ、点の追加および/または削除をさせ、点における法線を取得してもよい。
【0065】
また、膜構造推定部102eは、点の座標および法線に基づいて、動径基底関数を用いて等値面を作成することで膜構造を推定する膜構造推定手段である。ここで、膜構造推定部102eは、点の座標および法線に基づいて、動径基底関数に基づくRBF(Radial Basic Function)補間を用いて等値面を作成することで膜構造を推定してもよい。
【0066】
また、膜構造推定部102eは、更に、膜構造を入出力部112に表示させて、ユーザに入出力部112を介して膜構造が解剖学的構造と矛盾しないかを確認させ、且つ、点の追加および/または削除をさせてもよい。
【0067】
また、膜構造推定部102eは、更に、膜構造を入出力部112に表示させて、ユーザに入出力部112を介して膜構造が解剖学的構造と矛盾しないかを確認させ、且つ、法線の変更、追加および/または削除をさせてもよい。
【0068】
また、画像再構成部102fは、膜構造推定部102eにより推定された膜構造に基づいて、医用画像を再構成した再構成画像を作成する画像再構成手段である。ここで、画像再構成部102fは、膜構造推定部102eにより推定された膜構造に基づいて、膜の範囲を切り出した再構成画像を作成してもよい。
【0069】
また、画像再構成部102fは、ボリュームレンダリング法等により、医用画像から膜以外の構造を描出した再構成画像を作成してもよい。ここで、膜以外の構造は、腸、血管、または、骨等の周辺構造であってもよい。また、画像再構成部102fは、更に、膜構造推定部102eにより推定された膜構造の確からしさを示す値を取得してもよい。
【0070】
また、画像出力部102gは、再構成画像を入出力部112を介して出力させる画像出力手段である。ここで、画像出力部102gは、更に、膜構造の確からしさを示す値を入出力部112に表示させてもよい。
【0071】
以上で、本実施形態における構造推定装置100の構成の一例の説明を終える。
【0072】
[構造推定装置100の処理]
次に、このように構成された本実施形態における構造推定装置100の処理の詳細について、以下に
図2から
図26を参照して詳細に説明する。
【0073】
[構造推定処理(その1)]
まず、
図2から
図12を参照して、本実施形態における構造推定処理の一例について説明する。
図2は、本実施形態における構造推定装置100の処理の一例を示すフローチャートである。
【0074】
図2に示すように、画像取得部102aは、シミュレーション用の医用画像データを読み込み、膜構造のコントラストが視覚的に識別できないCT画像またはMRI画像等の医用画像を取得する(ステップSA−1)。ここで、画像取得部102aは、医用画像データを画像データベース106aから読み込んでもよく、ネットワークを介して外部装置から読み込んでもよい。
【0075】
そして、点取得部102bは、医用画像上において、解剖学的な原則に基づいて設定された座標に対応した所定数のラベル毎に、間膜内に存在する複数の点(点群)を取得する(ステップSA−2)。ここで、点取得部102bは、医用画像上において、領域拡張法により膜以外の構造上の点を抽出することで、解剖学的な原則に基づいて設定された座標に対応した所定数のラベル毎に、間膜内に存在する複数の点を取得してもよい。
【0076】
また、点取得部102bは、医用画像を入出力部112に表示させて、ユーザ(例えば、解剖学的知見を有するユーザ)に入出力部112を介して、医用画像上において、解剖学的な原則に基づいて設定された座標に対応した所定数のラベル毎に、間膜内に存在する点を入力させ、複数の点を取得してもよい。
【0077】
また、点取得部102bは、医用画像を入出力部112に表示させて、ユーザに入出力部112を介して、医用画像上において、解剖学的な原則に基づいて設定された座標に対応した所定数のラベル毎に、間膜を示す線を入力させ、線上の点を特定することで、複数の点を取得してもよい。なお、点取得部102bは、これら複数の方法を組み合わせて、医用画像上において、間膜内に存在する複数の点を取得してもよい。
【0078】
すなわち、本実施形態においては、所定数(例えば、4種類等)にラベル分けされた複数の点(点群座標)を取得する過程において、領域拡張法による血管上の点の抽出方法、マニュアルによる点座標の入力方法、および/または、ドローイングツールなどによる膜を示す線の入力から適切な点の抽出方法を用いてもよい。
【0079】
ここで、
図3および
図4を参照して、本実施形態における点入力の一例について説明する。
図3は、本実施形態における間膜の一部(結腸間膜)内に存在する点の一例を示す図である。
図4は、結腸間膜の一例を示す図である。
【0080】
図3に示すように、本実施形態においては、
図4に示す結腸間膜Mを含む大腸周辺の解剖学的知見を有するユーザにより、入出力部112を介して腸間膜内に存在する複数の点が入力された場合、腸間膜内に存在する点群として取得してもよい。
【0081】
このように、本実施形態においては、人体断面図に映った画像から、解剖学的知見を有するユーザの見立てのもとに、直接画像には映り込んでいない膜の存在想定位置から有限個の点をプロットしたものを元データとして取得してもよい。
【0082】
図2に戻り、初期形状作成部102cは、座標に対応した所定数のラベルに基づいて、複数の点を含む多面体の初期形状を作成し、法線取得部102dは、複数の点から選択した点である選択点における法線を取得する(ステップSA−3)。
【0083】
ここで、初期形状作成部102cは、座標に対応した所定数のラベルに基づいて、複数の点を含む多面体の初期形状を作成し、法線取得部102dは、初期形状を入出力部112に表示させて、ユーザに入出力部112を介して複数の点から選択点を選択させ、選択点における法線を取得してもよい。
【0084】
また、初期形状作成部102cは、座標に対応した所定数のラベルに基づいて、複数の点を含む多面体の初期形状を作成し、法線取得部102dは、多面体を構成する選択点を含む面に基づいて、選択点における法線を取得してもよい。
【0085】
なお、法線取得部102dは、初期形状における曲率の小さい部分では低密度に、曲率の大きい部分では高密度に法線を取得(法線方向を推定)してもよい。
【0086】
すなわち、本実施形態においては、取得した点群座標から多面体の初期形状を作成し点座標に法線方向を与える過程において、点群の種類を用いた初期形状の推定方法、初期形状の確からしさを確認する方法、および/または、法線方向を明示する点群と法線方向を明示しない点群とを選択する方法を用いてもよい。
【0087】
ここで、
図5および
図6を参照して、本実施形態における初期形状作成の一例について説明する。
図5は、本実施形態における初期形状の一例を示す図である。
図6は、本実施形態におけるラベルの一例を示す図である。
【0088】
図5に示すように、本実施形態においては、離散的に取得された腸間膜の位置を示す点群から、膜全体の形状を位相的に想定するために、取得された点群の相対関係を有意義に近い(Significantly Near)という観点で評価し、初期形状(擬似的なグラフ構造)を作成してもよい。
【0089】
ここで、本実施形態においては、点群A={a0,a1,a2,…}と点群B={b0,b1,b2,…}とについて、「AからBへ有意義に近い点による有向辺(oriented edge)集合」を下記SN(A,B)の式で定義することによって、有意義に近いことの判定を行ってもよい。
【0090】
すなわち、本実施形態においては、SN(A,B)={(ai,bj)|ai∈A,bj∈B,dist(ai,bj)<dist(ai,B)*c}と定義している。ここで、distは、空間におけるユークリッド距離、定数cは、点群の性質によって定まる実数であり、本実施形態の腸間膜モデリングにおいては、例えば、約1.58等であってもよい。
【0091】
ここで、
図6に示すように、本実施形態における初期形状(グラフ構造)の作成において、大腸の中心線上にある有限個の点群をラベルA1、腸間膜の外側境界域(大腸側)にある有限個の点群をラベルA2、腸間膜の内側境界域(大動脈側)にある有限個の点群をラベルA3、および、腸間膜上にあるその他の点群をラベルBとする、座標に対応した4つのラベルを設定してもよい。
【0092】
そして、本実施形態における初期形状(グラフ構造)の作成においては、E1=SN(A1,A1)と定義することで、大腸の中心線の位相的幾何構造(1次元的構造)を特定し、E2=SN(A2,A2)∪SN(A3,A3)と定義することで、腸間膜の境界線の位相的幾何構造(1次元的構造)を特定してもよい。
【0093】
また、本実施形態における初期形状(グラフ構造)の作成においては、E12=SN(A1,A2)∪SN(A2,A1)と定義することで、腸間膜と大腸との接続面の位相的幾何構造(二次元的構造)を特定し、EB=SN(B,B∪A2∪A3)と定義することで、腸間膜面の位相的幾何構造(二次元的構造)を特定してもよい。
【0094】
また、
図5に示すように、本実施形態においては、推定される曲面の垂直ベクトルを計算することにより、選択点における法線(法線方向)を取得してもよい。
【0095】
図2に戻り、初期形状作成部102cは、作成した初期形状を入出力部112に表示させて、ユーザに入出力部112を介して初期形状の確からしさ、すなわち、解剖構造との矛盾を確認させて、確認結果を入力させ、矛盾が生じているか否かを判定する(ステップSA−4)。
【0096】
そして、初期形状作成部102cは、ステップSA−4にて矛盾が生じていると判定した場合(ステップSA−4:Yes)、処理をステップSA−5に移行させる。
【0097】
そして、初期形状作成部102cは、ユーザに入出力部112を介して、医用画像上において、解剖学的な原則に基づいて設定された座標に対応した所定数のラベル毎に、間膜内に存在する点の追加および/または削除をさせ(ステップSA−5)、処理をステップSA−3に移行させる。
【0098】
すなわち、本実施形態においては、得られた初期形状が解剖構造と矛盾しないかユーザに確認させ、点の追加または削除させてもよい。
【0099】
一方、初期形状作成部102cは、ステップSA−4にて矛盾が生じていないと判定した場合(ステップSA−4:No)、処理をステップSA−6に移行させる。
【0100】
そして、膜構造推定部102eは、選択点の座標および選択点の法線に基づいて、動径基底関数に基づくRBF補間を用いて等値面を作成することで膜構造を推定する(ステップSA−6)。
【0101】
すなわち、本実施形態においては、法線方向付き(方向のないものを含む)点群座標からRBF補間によりボリュームデータを再構成する過程において、RBF補間のための計算方法、および/または、等値面再構成による膜構造取得の方法を用いてもよい。
【0102】
例えば、本実施形態においては、間膜内に存在する点の座標X=(x,y,z)
T、多項式関数p(X)=c
1+c
2x+c
3y+c
4z、間膜内に存在する点(N個)に対する係数λ
i(1≦i≦N)、および、基底関数X
iφ(r)を用いて、陰関数s(X)を下記数式1と定義する。
【数1】
・・・(数式1)
【0103】
そして、本実施形態においては、エネルギー最少となるようにφ(r)=rを採用し、近似プロセスとして、N個の係数λの値であるΛ=(λ
1,...,λ
N)
T、および、4つの係数の値であるc=(c
1,c
2,c
3,c
4)
Tを決定する。
【0104】
そして、本実施形態においては、間膜内に存在する点における直交性に関する拘束条件として下記数式2(P
TΛ=0)で示す条件を追加し、下記数式3を解くことで、Xにおけるスカラ値sに対して陰関数s(X)=sとなる等値面を作成し、ボリュームデータを再構成している。
【数2】
・・・(数式2)
【数3】
・・・(数式3)
【0105】
ここで、
図7乃至
図12を参照して、本実施形態における等値面作成の一例について説明する。
図7、
図11および
図12は、本実施形態における等値面の一例を示す図である。
図8は、本実施形態における法線方向付き点群の一例を示す図である。
図9および
図10は、本実施形態におけるボリュームデータの一例を示す図である。
【0106】
図7に示すように、本実施形態においては、陰関数s(X)が0となるような位置を等値面として取得してもよい。
【0107】
ここで、本実施形態においては、
図8に示すように、間膜内に存在する複数の点(点群)の座標(円錐の位置)と、法線方向(円錐の向き)と、が取得されている場合、
図9および
図10に示すように、陰関数s(X)を用いてRBF補間によりボリュームデータの再構成がされる。
【0108】
そして、
図11および
図12に示すように、本実施形態においては、再構成されたボリュームデータから、陰関数s(X)=0となる面を等値面として取得する。
【0109】
図2に戻り、膜構造推定部102eは、膜構造を入出力部112に表示させて、ユーザに入出力部112を介して膜構造が解剖学的構造と矛盾しないかを確認させて、確認結果を入力させ、矛盾が生じているか否かを判定する(ステップSA−7)。
【0110】
そして、膜構造推定部102eは、ステップSA−7にて矛盾が生じていると判定した場合(ステップSA−7:Yes)、処理をステップSA−5に移行させる。
【0111】
一方、膜構造推定部102eは、ステップSA−7にて矛盾が生じていないと判定した場合(ステップSA−7:No)、処理をステップSA−8に移行させる。
【0112】
そして、膜構造推定部102eは、法線を入出力部112に表示させて、ユーザに入出力部112を介して選択点における法線を確認させて、確認結果を入力させ、選択点における法線の変更、選択点以外の点における法線の追加、および/または、選択点における法線の削除が必要であるか否かを判定する(ステップSA−8)。
【0113】
例えば、本実施形態においては、
図12に示すような等値面上に間膜内に存在する点群の位置と法線方向とを示す円錐を入出力部112に表示させることにより、ユーザに入出力部112を介して選択点における法線を確認させてもよい。
【0114】
すなわち、本実施形態においては、初期形状作成プロセスで計算された法線方向を表示する方法を用いてもよい。また、本実施形態においては、RBF補間で得られた構造が解剖構造と矛盾しないかユーザに確認させ、法線方向を加えるかの決定をしてもよい。
【0115】
そして、膜構造推定部102eは、ステップSA−8にて必要であると判定した場合(ステップSA−8:Yes)、処理をステップSA−9に移行させる。すなわち、本実施形態においては、RBF補間で得られた構造が解剖構造と矛盾しないかユーザに確認させ、点の追加または削除させてもよい。
【0116】
そして、膜構造推定部102eは、ユーザに入出力部112を介して、選択点における法線の変更、選択点以外の点における法線の追加、および/または、選択点における法線の削除をさせ(ステップSA−9)、処理をステップSA−6に移行させる。
【0117】
一方、膜構造推定部102eは、ステップSA−8にて必要ではないと判定した場合(ステップSA−8:No)、処理をステップSA−10に移行させる。
【0118】
そして、画像再構成部102fは、膜構造推定部102eにより推定された膜構造に基づいて、医用画像を再構成した再構成画像を作成し、当該膜構造の確からしさを示す値を取得する(ステップSA−10)。
【0119】
ここで、画像再構成部102fは、膜構造推定部102eにより推定された膜構造に基づいて、膜の範囲を切り出した再構成画像を作成してもよい。また、画像再構成部102fは、更に、ボリュームレンダリング法等により、医用画像から膜以外の腸、血管、または、骨等の周辺構造を描出した再構成画像を作成してもよい。なお、画像再構成部102fは、これらの方法を組み合わせて、医用画像を再構成した再構成画像を作成してもよい。
【0120】
すなわち、本実施形態においては、RBF補間により得られた曲面(膜構造)を使用したシミュレーション用画像を再構成する過程において、間膜の範囲を切り出す方法、腸、血管および骨等の周辺構造を描出する方法、ならびに/または、得られた膜構造の確からしさを取得する方法を用いてもよい。
【0121】
そして、画像出力部102gは、再構成画像、および、膜構造の確からしさを示す値をシミュレーション用データとして入出力部112に表示させ(ステップSA−11)、処理を終了する。また、画像出力部102gは、再構成画像の三次元立体モデルを入出力部112を介して3Dプリントアウトしてもよい。
【0122】
[構造推定処理(その2)]
さらに、
図13から
図26を参照して、本実施形態における構造推定処理の一例について説明する。
図13は、本実施形態における構造推定装置100の処理の一例を示すフローチャートである。
【0123】
図13に示すように、画像取得部102aは、医用画像データを読み込み、膜構造のコントラストが視覚的に識別できないCT画像またはMRI画像等の医用画像を取得する(ステップSB−1)。
【0124】
そして、点取得部102bは、ユーザにより入出力部112を介して、解剖学的な原則に基づいて設定された座標に対応した所定数のラベル毎に、医用画像上における間膜内に存在する複数の点(点群)が入力された場合、点を取得する(ステップSB−2)。
【0125】
ここで、
図14を参照して、本実施形態におけるラベリングの一例について説明する。
図14は、本実施形態におけるラベルの一例を示す図である。
【0126】
図14に示すように、本実施形態においては、大腸の境界点をtype0、結腸間膜の最も大腸よりの境界点をtype1、大動脈右側の境界点をtype2、大動脈左側の境界点をtype3、結腸間膜上の点をtype4、および、type0とtype1との中点をtype5とラベリングしている。
【0127】
ここで、type1、type2、type3およびtype4によって再構成される面が、結腸間膜となり、type0とtype1との間が、大腸となる。
【0128】
なお、本実施形態においては、初期形状作成の際、大腸と結腸間膜との境界であるtype0とtype1との間に無視できない空間が存在するため、type0とtype1との中点をtype5と分類している。
【0129】
図13に戻り、初期形状作成部102cは、点同士のラベルに応じた接続関係性、点同士の距離、および、点を端点とする多面体の辺の最大数に基づいて、複数の点を含む多面体の初期形状を作成する(ステップSB−3)。
【0130】
ここで、
図15から
図17を参照して、本実施形態における初期形状作成の一例について説明する。
図15は、本実施形態における点群を結ぶ条件の一例を示す図である。
図16は、本実施形態における点同士の距離の一例を示す図である。
図17は、本実施形態における初期形状の一例を示す図である。
【0131】
図15に示すように、本実施形態においては、点(ノード)同士(始点および終点)を結ぶ条件として、あるtypeの始点(注目点)から、typeが同じまたは異なる、所定の閾値を満たす終点に対して、最大何本エッジを結ぶことが可能かを設定している。
【0132】
そして、
図16に示すように、本実施形態においては、type0の点(始点および終点)同士を結ぶ際に、必ず注目点と注目点から最短距離にある点Aとを結ぶようにしている。
【0133】
そして、
図16に示すように、本実施形態においては、所定の閾値(2.5)と注目点から最短距離の点Aまでの距離(d
a)とを掛けた値(2.5*d
a)を半径とした円の範囲内に点があれば、距離が近い順に設定された最大本数(2本)だけエッジを接続している。
【0134】
なお、
図15に示すように、本実施形態においては、最大本数が2本の場合でも、
図16に示すように、1本しかエッジを結べない場合もある。
【0135】
そして、
図17に示すように、本実施形態においては、
図15に示す条件に基づいて、ノード同士をエッジで接続し、多面体の初期形状(グラフ構造)を作成している。
【0136】
図13に戻り、点取得部102bは、医用画像上において、多面体の辺の端点となる2つの点の間に、所定数の補助点を取得する(ステップSB−4)。
【0137】
ここで、
図18を参照して、本実施形態における補助点の一例について説明する。
図18は、本実施形態における補助点の一例を示す図である。
【0138】
図18に示すように、本実施形態においては、初期形状の構成要素であるノード間のエッジを決定した後に、エッジ上に更に2点の補助点を追加して、折れ線エッジとしている。
【0139】
ここで、後述する本実施形態の法線取得処理においては、エッジの上の補助点を微動させ、各ノードの周りのエッジが平滑になるようすることで、法線の垂直方向の推定を容易にしている。
【0140】
また、後述する本実施形態の法線取得処理においては、エッジを折れ線エッジにすることによって、エッジにより隣接する2つのノードにおける法線の垂直方向の表裏の推定を容易にしている。
【0141】
図13に戻り、法線取得部102dは、点から基準点を選択し、所定数の基準点近傍の点を選択し、基準点と近傍の点とから構成される所定数の三角形の法線を算出し、補助点の位置に基づいて、所定数の三角形の法線の平均である平均法線を算出し、平均法線を基準点における法線として取得する(ステップSB−5)。
【0142】
ここで、
図19および
図20を参照して、本実施形態における法線取得処理の一例について説明する。
図19は、本実施形態における法線取得処理の一例を示す図である。
図20は、本実施形態における法線の一例を示す図である。
【0143】
図19に示すように、本実施形態においては、基準点から3点の近傍点を選択し、注目点と近傍点とからなる3つの三角形(三角形1、三角形2および三角形3)を作成している。
【0144】
そして、本実施形態においては、3つの三角形の法線(法線ベクトル)をそれぞれ算出し、3つの法線の平均となる平均法線を基準点における法線として取得している。
【0145】
ここで、本実施形態においては、3点の近傍点を選択する際に、4点以上の近傍点とエッジで結ばれている基準点がある場合、3点の近傍点からできた三角形を全て求め、そのうち基準点から3点の近傍点へのベクトルの和が最も小さい三角形を、法線を求める三角形として選択してもよい。
【0146】
すなわち、本実施形態においては、基準点から最も近い三角形を、法線を求める三角形とすることによって、より精度の高い法線を得ることができる。
【0147】
そして、
図20に示すように、本実施形態においては、初期形状を構成する点(ノード)における法線(円錐)を取得している。ここで、円錐の底面から頂点への方向が、法線の向きを表している。
【0148】
図13に戻り、法線取得部102dは、同一のラベルが付与された点における法線から基準法線を決定し、基準法線の向き、および、点同士の隣接関係に基づいて、同一のラベルが付与された点における法線の向きを修正する(ステップSB−6)。
【0149】
ここで、
図21および
図22を参照して、本実施形態における向き修正(統一)処理の一例について説明する。
図21は、本実施形態における法線修正用ラベルの一例を示す図である。
図22は、本実施形態における向き統一の一例を示す図である。
【0150】
本実施形態において、type0の点における法線の向き修正処理においては、法線の向きを合わせる(統一する)基準として、type0の所定の点における法線の向きを基準とし、基準となる点から順次隣接点の法線の向きを修正(統一)している。
【0151】
更に、本実施形態においては、type1、type2およびtype3の点についても、type0の点と同じように法線の向きの修正を行っている。
【0152】
一方で、本実施形態において、type4の点においては、type1、type2またはtype3と結ばれている点だけ法線の向きの修正を行っている。
【0153】
ここで、
図21に示すように、法線の向きの修正がされていない点には、未修正を意味する0が付与され、法線の向きの修正がされた点、または、法線をチェック済みの点には、修正済みまたはチェック済みを意味する1が付与されている。
【0154】
また、
図21に示すように、type4の点には、type1、type2またはtype3とエッジで結ばれている点だけに、修正またはチェック済みを意味する1が付与され、残りの点には、0が付与されている。
【0155】
そして、
図22に示すように、全ての法線の向きの修正またはチェックが完了するまで処理を行うことで、より精度の高い法線を備えた初期形状を取得することができる。
【0156】
図13に戻り、法線取得部102dは、点から基準点を選択し、ガウス関数を用いて、基準点の隣接頂点となる点における法線に対して、基準点と隣接頂点との距離に応じた重み付けを行い、重み付けに基づいて、基準点における法線の平滑化を行う(ステップSB−7)。
【0157】
ここで、本実施形態における法線の平滑化においては、法線(法線ベクトル)の方向を、より腸間膜の形状に近づけるために行うものである。
【0158】
本実施形態においては、法線ベクトルを用いて膜構造の推定を行うが、RBF補間による形状再構成をする際、法線の向きが面の向きに一方向に向いていなければできない。
【0159】
そこで、本実施形態においては、隣り合う点の法線に対して、下記数式4に示す3次元ガウス関数を用いて法線の向きを、基準点から隣り合う点の距離に応じて重み付けを行い、法線の平滑化を行っている。
【数4】
・・・(数式4)
【0160】
そして、膜構造推定部102eは、点の座標および点の法線に基づいて、動径基底関数に基づくRBF補間を用いて等値面を作成することで膜構造を推定する(ステップSB−8)。
【0161】
そして、膜構造推定部102eは、膜構造を入出力部112に表示させて、ユーザにより入出力部112を介して所定数のラベル毎に点の追加および/または削除の指示が入力されたか否かを判定する(ステップSB−9)。
【0162】
そして、膜構造推定部102eは、ステップSB−9にて点の追加および/または削除の指示が入力されたと判定した場合(ステップSB−9:Yes)、処理をステップSB−10に移行させる。
【0163】
そして、点取得部102bは、ステップSB−9にてユーザにより入力された指示に基づいて、医用画像上において、所定数のラベル毎に、初期形状を構成する点群に対して、点の追加、および/または、削除した点群を取得し(ステップSB−10)、処理をステップSB−3に移行させる。
【0164】
一方、膜構造推定部102eは、ステップSB−9にて点の追加および/または削除の指示が入力されていないと判定した場合(ステップSB−9:No)、処理をステップSB−11に移行させる。
【0165】
そして、膜構造推定部102eは、法線を入出力部112に表示させて、ユーザにより入出力部112を介して点における法線の変更、追加、および/または、削除の指示が入力されたか否かを判定する(ステップSB−11)。
【0166】
そして、膜構造推定部102eは、ステップSB−11にて法線の変更、追加、および/または、削除の指示が入力されたと判定した場合(ステップSB−11:Yes)、処理をステップSB−12に移行させる。
【0167】
そして、法線取得部102dは、ステップSB−11にてユーザにより入力された指示に基づいて、初期形状を構成する点において、法線の変更、追加、および/または、削除を行い(ステップSB−12)、処理をステップSB−8に移行させる。
【0168】
一方、膜構造推定部102eは、ステップSB−11にて法線の変更、追加、および/または、削除の指示が入力されていないと判定した場合(ステップSB−11:No)、処理をステップSB−13に移行させる。
【0169】
そして、画像再構成部102fは、膜構造推定部102eにより推定された膜構造に基づいて、腸間膜の範囲を切り出した再構成画像を作成する(ステップSB−13)。
【0170】
ここで、
図23から
図26を参照して、本実施形態における画像切り出し処理の一例について説明する。
図23は、本実施形態における切り出し前ボリュームデータの一例を示す図である。
図24は、本実施形態におけるtype1−3の法線をtype4に向けた一例を示す図である。
図25は、本実施形態における切り出すためのボリュームデータの一例を示す図である。
図26は、本実施形態における切り出し後ボリュームデータの一例を示す図である。
【0171】
本実施形態においては、推定した大腸の境界を含む腸間膜のボリュームデータからRBF補間により腸間膜のボリュームデータだけを切り取ることにより、再合成画像を作成してもよい。
【0172】
ここで、本実施形態においては、
図23に示すボリュームデータから腸間膜のボリュームデータだけを切り取るために、
図24に示すように、腸間膜の形状の境界であるtype1、type2およびtype3の法線ベクトルをtype4の方に向け、RBF補間による構造推定を行っている。
【0173】
それにより、
図25に示すように、本実施形態においては、腸間膜だけが抜けたような形状のボリュームデータを再構成することができる。
【0174】
そして、
図26に示すように、本実施形態においては、
図23に示すボリュームデータと、
図25に示すボリュームデータと、の腸間膜の形状の差に基づいて、
図23に示すボリュームデータから腸間膜だけのボリュームデータを切り出している。
【0175】
図13に戻り、画像出力部102gは、再構成画像をシミュレーション用データとして入出力部112に表示させ(ステップSB−14)、処理を終了する。
【0176】
以上で、本実施形態における構造推定装置100の処理の一例の説明を終える。
【0177】
[他の実施形態]
さて、これまで本発明の実施形態について説明したが、本発明は、上述した実施形態以外にも、特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施形態にて実施されてよいものである。
【0178】
例えば、構造推定装置100がスタンドアローンの形態で処理を行う場合を一例に説明したが、構造推定装置100は、クライアント端末(構造推定装置100とは別筐体である)からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するようにしてもよい。
【0179】
また、実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。
【0180】
このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。
【0181】
また、構造推定装置100に関して、図示の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。
【0182】
例えば、構造推定装置100の各装置が備える処理機能、特に制御部102にて行われる各処理機能については、その全部または任意の一部を、CPU(Central Processing Unit)および当該CPUにて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジックによるハードウェアとして実現してもよい。尚、プログラムは、後述する、コンピュータに本発明に係る方法を実行させるためのプログラム化された命令を含む、一時的でないコンピュータ読み取り可能な記録媒体に記録されており、必要に応じて構造推定装置100に機械的に読み取られる。すなわち、ROMまたはHDD(Hard Disk Drive)などの記憶部106などには、OS(Operating System)と協働してCPUに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、RAMにロードされることによって実行され、CPUと協働して制御部を構成する。
【0183】
また、このコンピュータプログラムは、構造推定装置100に対して任意のネットワークを介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。
【0184】
また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納してもよく、また、プログラム製品として構成することもできる。ここで、この「記録媒体」とは、メモリーカード、USBメモリ、SDカード、フレキシブルディスク、光磁気ディスク、ROM、EPROM、EEPROM、CD−ROM、DVD、および、Blu−ray(登録商標) Disc等の任意の「可搬用の物理媒体」を含むものとする。
【0185】
また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、OS(Operating System)に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。
【0186】
記憶部106に格納される各種のデータベース等は、RAM、ROM等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、および、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラム、テーブル、データベース、および、ウェブページ用ファイル等を格納する。
【0187】
また、構造推定装置100は、既知のデスクトップ型またはノート型のパーソナルコンピュータ、携帯電話、スマートフォン、PHS、およびPDA等の携帯端末装置、ならびに、ワークステーション等の情報処理端末として構成してもよく、また、該情報処理端末に任意の周辺装置を接続して構成してもよい。また、構造推定装置100は、該情報処理端末に本発明の方法を実現させるソフトウェア(プログラム、データ等を含む)を実装することにより実現してもよい。
【0188】
更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じて、または、機能負荷に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。すなわち、上述した実施形態を任意に組み合わせて実施してもよく、実施形態を選択的に実施してもよい。