(58)【調査した分野】(Int.Cl.,DB名)
前記キー画像選択部は、心拍数が前記第1閾値より高く第2閾値以下のとき、1心拍あたり1フレームの割合で前記キー画像を選択し、心拍数が前記第2閾値より高いとき、2心拍あたり1フレームの割合で前記キー画像を選択する請求項1記載の3次元画像処理装置。
前記キー画像選択部は、前記複数の画像の収集期間における心拍数が前記第1心拍数より高く第2心拍数以下のとき、1心拍あたり1フレームの割合で前記キー画像を選択し、前記複数の画像の収集期間における心拍数が前記第2心拍数より高いとき、2心拍あたり1フレームの割合で前記キー画像を選択する請求項9記載の3次元画像処理装置。
【発明を実施するための最良の形態】
【0010】
以下、図面を参照して本発明の実施例による3次元画像処理装置を説明する。ここでは、3次元画像処理装置はX線システムに組み込まれるものとして説明するが、もちろん単独で構成可能である。なお、説明に先立って、以下の通り語句を定義する。
【0011】
X線システム;Cアーム方式の装置を指す。X線源と検出器が対向して設置されており、さらにCアームが支えており、CアームはX線源と検出器を対向したまま同時に回転させる。X線システムによる回転撮像は、CT(900deg/sec)の架台回転と異なり、Cアームはゆっくりと回転する(50deg/sec)。このため再構成に必要な180度の情報を得るのに、CTでは1心拍中に得られるのに対し、X線では5心拍程度しないといけない。このため心臓などの動く被検体を撮像する場合は、動きが無視できない。
【0012】
回転撮像;被写体を中心として回転させながら、例えば1フレーム/度のレートで撮像する撮像方法。
【0013】
トラッキング;例えば1024×1024の2次元画像が複数フレームある状況であって、画像に映っている被検体はフレーム間でほんの少ししか移動しない状況において、第N画像において例えば31×31程度の小さな領域を設定した場合、隣接する第N+1フレームにおいて最も類似した領域を探すこと。これを繰り返すことにより、最初に設定した小領域の移動軌跡を得ることができる。類似度の計算方法としては、Sum of square distance、 Sum of square distance、相互相関法、Mutual informationなどの計算方法が知られている。
【0014】
特徴点、特徴パターン;具体的には血管の分岐部、狭窄部、ステントのマーカー、など、画像上で特徴的に区別されるパターンのこと。
【0015】
特徴点指定操作;画面に表示された画像上にマウスカーソルを動かし、マウスクリックする動作。
【0016】
フレーム;連続する静止画像群のうちの一枚の画像のこと。文中では「枚」と同意義で用いる。
【0017】
RR間隔;心電図信号のR波と次のR波の間の間隔(時間)のこと。
【0018】
心拍位相;心電図信号のR波と次のR波の間隔を100等分し、0〜100%で表現したもの。例えばRR70%は、R波と次のR波の間隔のうち先のR波から70%の距離(時間)にある位置をいう。
【0019】
同心拍位相;複数の心拍を通じて収集された画像データーのうち、同じ心拍位相に位置するフレームのこと。収集は離散的であるので、厳密に同心拍位相のフレームが得られる可能性は極めて低く、現実的にはほぼ同じ心拍位相に位置するフレームを指す。
【0020】
図2は本実施例に係る3次元画像処理装置を装備したX線撮影装置を示している。撮影架台1は
図3に示すようにX線管21とX線検出器22とを有している。高電圧発生部25はX線管21の電極間に印加するための高電圧を発生し、またX線管21の陰極フィラメントに供給するフィラメント電流を発生する。X線管21は高電圧の印加及びフィラメント電流の供給を受けてX線を発生する。X線検出器22は、典型的には、入射X線を直接的又は間接的に電荷に変換する複数の検出素子(画素)が2次元状に配列されてなる固体平面検出器である。X線管21は例えば床置型のCアーム23の一端に取り付けられ、X線検出器22はCアーム23の他端に取り付けられる。X線検出器22は、寝台26上に載置された被検体Pを挟んでX線管21に対向する。Cアーム23はスタンド24に回転自在に支持される。Cアーム23が回転しながら撮影を繰り返すことで、3次元画像再構成に必要な多方向のX線画像(透過画像)を取得することができる。
【0021】
撮影制御部2は、回転撮像を実行し、X線画像(投影画像)のデータを発生させるために、Cアーム23の回転、高電圧発生部25からX線管21への高電圧の印加、及びX線検出器22の信号読み出しを制御する。このX線画像のデータを記憶するために画像記憶部3が設けられる。図示しないが、被検体Pの心電図を取得するために被検体Pには心電計が装着される。心電図解析部6は、心電図からX線画像を撮影した時の心拍位相を同定する。心拍位相とはR波とR波の間隔における各時点を表し、通常は百分率で表す。X線画像各々のデータには撮影時の心拍位相のデータが関連付けられる。画像記憶部3に記憶された多方向のX線画像から3次元画像のデータを再構成するための画像再構成部14が設けられる。
【0022】
さらに、呼吸や心拍動等に起因する多方向のX線画像間での画像座標系における被検体像の位置ずれを補正するためのシステムとして、X線画像を表示するためのモニタ4、特徴点の指定操作等のための入力デバイス5、キー画像選択部7、特徴点3次元座標計算部9、特徴点投影処理部10、特徴点抽出部(トラッキング部)11、位置ズレ計算部12、動き補正部13、画像処理部15が設けられている。
【0023】
キー画像選択部7は、画像記憶部3に記憶された多方向のX線画像から複数フレームのX線画像(キー画像という)を選択する。キー画像は、オペレータが特徴点を手動で指定するための特定の画像である。キー画像選択処理の詳細については後述する。
【0024】
特徴点3次元座標計算部9は、
図5の示すように、ペアのキー画像(後述するように第1のキー画像)上に指定された複数の特徴点の2次元座標と、各々の撮影方向とに基づいて、幾何学的計算により特徴点の3次元座標(3次元位置)を計算する。特徴点投影処理部10は、計算された特徴点の3次元座標と、キー画像以外の残りの画像(ノンキー画像)の撮影方向とに基づいて、ノンキー画像各々に投影される特徴点の2次元座標を計算する。特徴点トラッキング部11は、キー画像上に指定された特徴点を起点としてノンキー画像上の特徴点を撮影順に沿って追跡する。
【0025】
位置ズレ計算部12は、特徴点投影処理部10により計算された特徴点の2次元座標と、特徴点トラッキング部11により追跡した特徴点の2次元座標との位置ズレを、画像毎に計算する。動き補正部13は、位置ズレ計算部12で計算された位置ズレに従って、ノンキー画像の位置を補正する。キー画像と、位置補正されたノンキー画像とに基づいて、再構成処理部14により3次元画像のデータが再構成される。
【0026】
図4には本実施例において画像収集から3次元画像の発生までの全体的な動作概要を示している。撮像制御部2の制御のもとで、Cアーム23が連続的に回転し、その間に撮影が繰り返される。例えば、Cアーム23は50度/秒の速度で回転される。それにより撮影方向の異なる複数のX線画像のデータが収集され、撮影方向のデータを関連付けられて、画像記憶部3に記憶される(S1)。例えばCアーム23が4秒間に200度回転する間に200フレームのX線画像が収集される。
【0027】
キー画像選択部7により、200フレームのX線画像の中から例えば8フレームのキー画像が選択される(S2)。
【0028】
複数フレームのキー画像は特徴点支援部8により撮影順に従って順番に1フレームずつモニタ4に表示され、操作者による入力デバイス5の指定操作に従って各キー画像上で特徴点が指定される(S3)。特徴点としては、解剖学上(形態上)で比較的識別容易な例えば血管分岐部、狭窄部、ステントのマーカーが採用される。
【0029】
全てのキー画像について特徴点の指定が完了すると、特徴点3次元座標計算部9により特徴点の3次元座標が計算される(S4)。計算された特徴点の3次元座標と、キー画像以外の残りのノンキー画像の撮影方向とに基づいて、再投影処理により、特徴点が投影されるノンキー画像上での特徴点の2次元座標が計算される(S5)。この特徴点の2次元座標を、計算上の特徴点の2次元座標と称する。
【0030】
図6に示すように、キー画像上の指定された特徴点を起点として、次のキー画像直前の複数のノンキー画像を対象として順次、特徴点が追跡される(S6)。比較的高いトラッキング精度は、比較的少ないトラッキングするフレーム数(比較的短いトラッキング区間長)により得られる。比較的低いトラッキング精度は、比較的多いトラッキングするフレーム数(比較的長いトラッキング区間長)により得られる。オペレータによる特徴点指定の作業負担は、トラッキングするフレーム数が比較的多いときには多く、トラッキングするフレーム数が比較的少ないときには少ない。
【0031】
トラッキングされた特徴点の2次元座標を、実際上の特徴点の2次元座標と称して、上記計算の特徴点の2次元座標と区別する。トラッキング処理としては、画像に映っている被検体像はフレーム間でほんの少ししか移動しない状況において、特徴点として第Nフレーム目のキー画像において例えば31×31程度の小さな領域を設定した場合、隣接する第(N+1)フレーム目のノンキー画像において最も形態類似した領域を探すことであり、これを撮影順に沿って逐次繰りかえすことにより、最初に設定した小領域の特徴点の移動軌跡を得ることができる(トラッキング)。類似度の計算方法としては、Sum of square distance、 Sum of square distance、相互相関法、Mutual informationなどの周知の計算方法を任意に採用すればよい。
【0032】
位置ズレ計算部12では、計算の特徴点の2次元座標に対する実際上の特徴点の2次元座標の位置ズレが動き補正関数として計算される(S7)。計算された位置ズレに従ってノンキー画像を位置補正し(S8)、補正したノンキー画像とキー画像とに基づいて3次元画像のデータが再構成され(S9)、画像処理部15でレンダリングされ、モニタ4に表示される。
【0033】
(キー画像選択処理の第1の手法)
図7に示すように、心拍位相が同一であり、かつ撮影角度が最も90度に近似したペアのX線画像(第1のキー画像)を、基点となる画像として、複数のX線画像から選択する。一方の第1のキー画像の撮影角度と他方の第1のキー画像の撮影角度との角度差を所定数で略均等に分割する角度ずつ離れた複数の画像を第2のキー画像として選択する。第1のキー画像と第2のキー画像とが、キー画像として出力される。
【0034】
具体的には、はじめに撮影角度が約90度離れた同じ心拍位相のペアの画像が第1のキー画像として選択される。次に、選択されたペアの第1のキー画像間を略等間隔で分割した角度で撮影した画像が第2キー画像として選択される。例えばペアの第1キー画像の間を4分割するように、22度おきに第2キー画像を選択する。またペアの第1キー画像の外側についても第1キー画像を基点として22度おきに第2キー画像を選択する。これにより200枚から第1、第2のキー画像を合わせて9枚のキー画像が自動選択される。こうして得られた9枚のキー画像が順次モニターに表示される。オペレータは9枚のキー画像各々上に特徴点を指定する。
【0035】
最初のペアの第1キー画像の心拍位相は等価でなければならない。典型的には、このペアの第1キー画像上の指定された特徴点の2次元座標と、ペアの第1キー画像各々の撮影方向とに基づいて、幾何学的計算により特徴点の3次元座標(3次元位置)が計算される。特徴点投影処理部10により、計算された特徴点の3次元座標と、キー画像以外の残りの画像(ノンキー画像)の撮影方向とに基づいて、ノンキー画像各々に投影される特徴点の2次元座標を計算する。特徴点トラッキング部11は、キー画像上に指定された特徴点を起点としてノンキー画像上の特徴点を撮影順に沿って追跡する。
【0036】
この第1の手法によれば、従来の課題、つまり同心拍位相を選択していたため、高心拍時には指定数が増えて手間が増し、低心拍時には間隔が広がって性能が落ち、最終画質が安定しないという課題を解決できる。すなわち。本手法では、キー画像が、等間隔に選択されるため、トラッキング区間長が心拍数に依存しないで安定するので、トラッキング精度が安定し、そして最終画質が安定する。また、キー画像を等間隔で選択するため、オペレータの作業負担が変動しない。さらに、トラッキング区間長が常に一定になるため、トラッキング結果が安定しやすい。
【0037】
(キー画像選択処理の第2の手法)
本第2の手法では、同心拍位相でフレーム自動選択するが、心拍数が比較的低いときには1心拍につき複数のフレームを選択し、心拍数が比較的高いときには1心拍又は複数心拍につき一フレームを選択する。
【0038】
X線源21と検出器22を被検体まわりに回転する。回転は例えば200度おこなう。仮に撮像系を50 frames/secのレートで駆動し、支持器を50 deg/secの速度で回転させたとき、撮像時間は200 deg÷50deg/sec=4sec、撮像枚数は4sec×50 frames/sec=200frameの画像が得られる。このとき、被検体の心拍数が120beat/minだったとすると、撮像中に8心拍することになる。
【0039】
まず、心拍数が第1閾値、例えば75 beat/minより高く第2閾値、例えば150beat/min以下の定常状態では、
図9に示すように、各心拍から同じ心拍位相を特定し、その中から1心拍につき1枚の同心拍位相の画像を自動的に選択する。これにより200枚から8枚の画像が自動選択される。あらかじめ心拍位相はプリセットしておく。例えばプリセット値がRR70%とすると、各心拍からRR70%に最も近いフレームが選択される。なお、第1閾値は60−80beat/minの範囲のいずれかの値に設定され、典型的には75に設定される。第2閾値は120−150beat/minの範囲のいずれかの値に設定され、典型的には150に設定される。
【0040】
心拍数が75 beat/min以下の定常状態よりも低い状態では、各心拍から2つの心拍位相を特定し、1心拍につき2枚の心拍位相の画像を自動的に選択する。それによりトラッキング精度の低下を抑制できる。つまり、心拍数が低い状態のときに、定常状態と同じ頻度でキー画像を選択すると、キー画像数が極端に少なくなって、トラッキング区間長が非常に長くなってしまい、トラッキング精度が低下してしまう。そのトラッキング低下を抑制できる。
【0041】
例えば心拍数が40beat/minであった場合、撮像中に2.6心拍しかしない。この場合、2乃至3枚の画像しか選択されない。2乃至3枚のキー画像しか無いと、トラッキング区間長が長くなってしまうため、トラッキング精度が極端に低下する恐れがある。そこで、心拍数が極端に遅い場合(例えば75 beat/min以下の場合)は、プリセットされた心拍位相に加え、他の心拍位相を加え、1心拍に2枚のキー画像を自動選択するようにする。具体的には例えばRR70%がプリセットされていた場合、RR20%も追加して、40beat/minの患者さんでも5枚は選択されるようにする。
【0042】
さらに、心拍数が例えば150 beat/minより高い状態で、定常状態と同じ頻度でキー画像を選択すると、選択されるキー画像数が極端に多くなってしまう。この場合は、自動的に間引きする。
【0043】
例えば心拍数が240 beat/minであった場合、撮像中に16心拍し、16枚の画像が自動選択される。トラッキングの性能が16枚でも8枚でも同等であった場合、16枚はオペレータの負担を増やす反面、画質向上には寄与しないことになる。よってこの場合は、1心拍に1枚ではなく、2心拍に1枚を自動選択するようにする。具体的には例えば心拍数が240beat/minであった場合、8枚が自動選択される。これにより画質は劣化させずにオペレータの負担を軽減することができる。
【0044】
このように本手法では、
図10A、
図10Bに示すように、トラッキング区間長が心拍数にあまり依存しないで比較的安定するので、トラッキング精度が比較的安定し、そして最終画質が比較的安定する。また、キー画像を等間隔で選択するため、オペレータの作業負担が変動しない。さらに、トラッキング区間長が常に一定になるため、トラッキング結果が安定しやすい。
【0045】
さらに、本手法では、同じ心拍位相を選択することで、心臓はほぼ同じような形をしている。よって特徴点を選択する場合に心拍に伴う形の変形影響が少なく、オペレータが特徴点指定しやすい。また、選択されるキー画像が同心拍位相になっているため、このうち任意の2枚を用いて、特徴点の3次元座標計算ができる。また2枚での特徴点の3次元座標計算に限定されず、3枚あるいは8枚で特徴点の3次元座標計算することができる。この場合、多くのキー画像からの平均値となるため、3次元座標計算の安定性が増す(1フレームに大きなノイズがあっても他から抑制される)。
【0046】
(キー画像選択処理の第3の手法)
本手法は、トラッキング結果が良好でなかったとき、キー画像を追加するものである。
心拍位相が同一であり、かつ撮影角度の差が約90度に最も近いペアの画像をキー画像として選択する。オペレータはこのペアのキー画像上で特徴点を指定する。次に、
図11に示すように、キー画像の指定された特徴点を基点としてトラッキング処理が行われる。トラッキング結果は1画像ずつ随時画面に表示される。オペレータは画面を目視し、自動トラッキングが特徴点からずれていないかどうかを監視する。もしずれたら、そこで入力デバイス5上の「Stop」ボタンを押す。キー画像選択部7は、「Stop」ボタンが押されたとき、その時点で表示されている画像又はその画像から所定数前の画像を、キー画像として追加する。当該追加されたキー画像は、特徴点の指定をオペレータに促すために、表示される。
【0047】
本手法では、オペレータに求める特徴点指定作業を最小限にできる。トラッキング結果が良ければ2枚だけでよい。トラッキング結果が悪い場合は追加することにより画質を確保できる。
【0048】
(キー画像選択処理の第4の手法)
本手法も、トラッキング結果が良好でなかったとき、キー画像を追加するものである。
心拍位相が同一であり、かつ撮影角度の差が約90度に最も近いペアの画像をキー画像として選択する。オペレータはこのペアのキー画像上で特徴点を指定する。次に、
図12に示すように、キー画像の指定された特徴点を基点としてトラッキング処理が行われる。トラッキング結果が良好でないことをトラッキング処理部11が判断したき、キー画像選択部7は、ペアのキー画像間の略中央に位置する画像を、キー画像として追加する。これを繰り返す。
【0049】
尚、トラッキング結果の良否の判断法として、以下のいずれか又は他の手法を採用する。
【0050】
(1)相関値をモニターする。
トラッキングの手法として、相互相関手法を採用する場合を例にとる。この場合、フレーム間で良い相関が取れれば相関値は高くなる。一方、背景に他物体が重なったりしてフレーム間で良い相関が得られなかった場合は相関値は低くなる。そこで、トラッキング処理部11で相関値を監視し、高い相関値が保たれている間は良いトラッキングができていると判断し、相関値が低くなったらトラッキングが悪い結果であったと判断する。
【0051】
(2)相関値の積を監視する。
トラッキング処理部11は上記相関値の積を監視する。例えばフレームiとフレームi+1間の相関値をCiとする。ここで相関値Ciとは正規化された値であり、0<Ci<1とする。次にS=Σ(1−Ci)とする。Sをモニターし、Sが所定の値以上になればトラッキング結果が悪い結果であったと判断する。
【0052】
(3)キー画像Nからキー画像N+1まで順番にトラッキングを行う。キー画像N+1でトラッキングされた特徴点の位置と、キー画像N+1上に指定された特徴点の位置との距離を計測する。当該距離が所定値より短いときは、トラッキング結果が良であると判定し、当該距離が所定値より長いときは、トラッキング結果が否であると判定する。
【0053】
(キー画像選択処理の第5の手法)
本手法では、ずらした心拍位相を順次選択する。1心拍につき1枚の異なる心拍位相の画像をキー画像として自動的に選択する。
図13に示すように、例えば第1心拍からは心拍位相0%(RR0%)のフレームを選択する。第2心拍からはRR25%のフレームを選択する。第3心拍からはRR50%のフレームを選択する。第4心拍からはRR75%のフレームを選択する。第5心拍からはRR0%のフレームを選択する。第6心拍からはRR25%のフレームを選択する。第7心拍からはRR50%のフレームを選択する。第8心拍からはRR75%のフレームを選択する。
【0054】
これにより200枚から8枚の画像が自動選択される。こうして得られた8枚の画像を順次モニターに表示し、オペレータに特徴点入力を求める。
【0055】
あらかじめ選択対象の心拍位相はプリセットされる。プリセットされる選択対象の心拍位相のうち少なくとも2つの心拍位相は等価に設定される。
【0056】
本手法によると、RR0,25,50,75%の各位相で2枚あるので、4位相で特徴点の3次元座標計算ができる。RR0,25,50,75%で4枚の再構成画像を発生する。4枚の再構成画像を順番に切り替えて表示することで、あたかも心臓が動いているような画像を観察することができる。
【0057】
(変形例1)
図14に示すように、不整脈があった場合は、その心拍からは自動選択しないようにする。不整脈がある心拍では、心臓の動きは非定常であるため、オペレータは特徴点指定がしづらくなる。そこでオペレータに困難な作業をさせないようにするため、不整脈があるフレームは自動選択させないこととする。不整脈の判定は、心拍数(RR間隔)をモニターしておき、RR間隔が急激に短くなったり長くなったりする心拍を閾値で判定する。
【0058】
また、
図15に示すように、不整脈があった場合は、その心拍では多数のフレームを自動選択するようにしてもよい。不整脈がある心拍では、心臓の動きは非定常であるため、トラッキング性能が劣化する。そこで敢えて多くのフレームでの特徴点入力を求めることにより、トラッキング性能を安定させ、画質を安定させる。
【0059】
(変形例2)
上記第1乃至第5の手法によってキー画像は安定的に自動選択される。しかしオペレータの判断により、オペレータが、自動選択されたキー画像を変更する機能をさらに備える。例えば、上記第1乃至第5の手法によってフレーム#34がキー画像として自動選択されたとする。フレーム#34のキー画像が画面に表示され、オペレータに特徴点選択を促す。しかしオペレータの判断により、オペレータが画面端に表示された「→」マーク、あるいはキーボードの「→」キーを操作すると、自動選択された画像の隣の画像#35がキー画像として新たに設定される。オペレータは#35で特徴点指定することが可能となる。
【0060】
例えば、自動選択されたキー画像において特徴点が血管と重なっていた場合、オペレータは特徴点を同定し難い。このようなケースでは、特徴点が血管と重なっていない自動選択されたフレームに近傍するフレームを変更する(置き換える)ことができる。
【0061】
また、オペレータの判断により、オペレータは画面に表示された「add→」マーク、あるいはキーボードの「ctrl」+「→」キーを用いて近傍フレーム#35をキー画像に追加する。
【0062】
例えば、自動選択されたキー画像において特徴点が血管と重なっていた場合、オペレータは特徴点を同定し難く、かつその近傍フレームでの追跡精度が低下する。このようなケースでは、自動選択されたフレームに近傍するフレームをキー画像に追加することができる。それにより追跡精度を安定化することができる。
【0063】
ただし、手動微調整を許可した場合、選択されたフレームをすべて集めても、本機能の最低必須要件である「選択されるうち最低2フレームは同じ心拍位相であること」が満たされない可能性が出てくる。このため以下のいずれかの手法を追加する。
【0064】
自動選択あるいは自動+手動微調整し、最終的にオペレータが特徴点指定した全フレームを確認し、あらかじめプリセットした心拍位相のフレームが2フレーム以上無かった場合には、追加で同心拍位相フレームを自動選択して、特徴点入力を求めることを特徴とする
自動選択、又は自動選択及び手動微調整し、最終的にオペレータが特徴点指定した全フレームを確認し、あらかじめプリセットした心拍位相のフレームが2フレーム以上無く、かつ他の心拍位相にて、同心拍位相のフレームが2フレーム以上あった場合には、その心拍位相で再構成処理してよいかをオペレータに尋ねるインターフェースを有することを特徴とする。
【0065】
自動選択、又は自動選択及び手動微調整し、最終的にオペレータが特徴点指定した全フレームを確認し、あらかじめプリセットした心拍位相のフレームが2フレーム以上無く、かつ他の心拍位相にて、同心拍位相のフレームが2フレーム以上あった場合には、その心拍位相で再構成処理することを特徴とする。
【0066】
(変形例3)
被検体の心電図においてR波が検出できないとき、又はRR間隔が極端にばらつくとき、キー画像選択部7は、初期的に自動選択したキー画像を破棄し、心拍位相に関わりなく、強制的に等時間間隔でキー画像を選択する。またはキー画像選択部7は、初期的に自動選択したキー画像を破棄するとともに、キー画像の手動指定を促す。
【0067】
(変形例4)
キー画像選択部7は、上記手法1〜5のもとで初期的に自動選択したキー画像に、複数の画像の中から両端の画像、つまり最初に収集した画像と最後に収集した画像とをキー画像として加える。これは収集した全フレームをトラッキングするためであり、こうすれば一旦の画像から、初期的に自動選択されたキー画像までの区間のトラッキングが可能になる。