IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

2023-156934医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023156934
(43)【公開日】2023-10-25
(54)【発明の名称】医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム
(51)【国際特許分類】
   A61B 6/03 20060101AFI20231018BHJP
   A61B 5/055 20060101ALI20231018BHJP
   G06T 7/37 20170101ALI20231018BHJP
   G06T 7/00 20170101ALI20231018BHJP
   G06T 1/00 20060101ALI20231018BHJP
   G06T 3/00 20060101ALI20231018BHJP
【FI】
A61B6/03 360Q
A61B6/03 377
A61B6/03 360G
A61B6/03 360B
A61B5/055 390
G06T7/37
G06T7/00 612
G06T1/00 290A
G06T3/00 770
【審査請求】未請求
【請求項の数】8
【出願形態】OL
(21)【出願番号】P 2022066596
(22)【出願日】2022-04-13
(71)【出願人】
【識別番号】500109320
【氏名又は名称】ザイオソフト株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】河野 明男
【テーマコード(参考)】
4C093
4C096
5B057
5L096
【Fターム(参考)】
4C093CA35
4C093FF11
4C093FF27
4C093FF28
4C093FF37
4C093FF42
4C096AA01
4C096AA18
4C096AB44
4C096AD14
4C096AD24
4C096DC14
4C096DC33
4C096DC36
5B057AA08
5B057BA03
5B057BA07
5B057CA12
5B057CA13
5B057CB12
5B057CB13
5B057CC01
5B057CD11
5B057DA07
5B057DB02
5B057DB03
5L096AA09
5L096BA06
5L096BA13
5L096DA01
5L096EA07
5L096FA78
(57)【要約】
【課題】複数の医用画像データの非剛体位置合わせの精度を向上できる医用画像処理装置を提供する。
【解決手段】医用画像処理装置は、処理部を備える。処理部は、被検体を示す2次元又は3次元の画素で構成される第1の医用画像データ及び第2の医用画像データを取得し、固定した第1の医用画像データに対して第2の医用画像データを変形することで、第1の医用画像データと第2の医用画像データとを非剛体位置合わせする非剛体位置合わせ処理を実行し、非剛体位置合わせされた第1の医用画像データと第2の医用画像データとを表示部に表示させる。非剛体位置合わせ処理は、第2の医用画像データの到達可能領域を少なくとも含む領域での第2の医用画像データの変形に関する変形情報を生成する処理と、変形情報に基づいて、第2の医用画像データを変形させる処理と、を含む。変形情報は、第1の医用画像データの空間領域に含まれない領域において、第2の医用画像データに含まれる少なくとも1つの画素の移動に関する移動情報を含む。
【選択図】図3A
【特許請求の範囲】
【請求項1】
医用画像処理装置であって、
処理部を備え、
前記処理部は、
被検体を示す2次元又は3次元の画素で構成される第1の医用画像データ及び第2の医用画像データを取得し、
固定した前記第1の医用画像データに対して前記第2の医用画像データを変形することで、前記第1の医用画像データと前記第2の医用画像データとを非剛体位置合わせする非剛体位置合わせ処理を実行し、
非剛体位置合わせされた前記第1の医用画像データと前記第2の医用画像データとに基づく画像を表示部に表示させ、
前記第2の医用画像データの空間領域は、前記第1の医用画像データの空間領域に含まれない部分を含み、
前記非剛体位置合わせ処理は、
前記第2の医用画像データが変形により到達し得る領域である到達可能領域を少なくとも含む領域での前記第2の医用画像データの変形に関する変形情報を生成する処理と、
前記変形情報に基づいて、前記第2の医用画像データを変形させる処理と、を含み、
前記変形情報は、前記第1の医用画像データの空間領域に含まれない領域において、前記第2の医用画像データに含まれる少なくとも1つの画素の移動に関する移動情報を含む、
医用画像処理装置。
【請求項2】
前記変形情報は、前記第1の医用画像データの空間領域と前記第2の医用画像データの空間領域との和領域の凸包領域での前記第2の医用画像データの変形に関する変形情報を含む、
請求項1に記載の医用画像処理装置。
【請求項3】
前記変形情報は、
前記第1の医用画像データの空間領域での前記第2の医用画像データの変形に関する第1の変形情報と、
変形前の前記第2の医用画像データの空間領域から前記第1の医用画像データの空間領域を除いた差分領域での前記第2の医用画像データの変形に関する第2の変形情報と、を含む、
請求項1に記載の医用画像処理装置。
【請求項4】
前記第1の医用画像データ及び前記第2の医用画像データは、CT装置により撮像されたボリュームデータの少なくとも一部である、
請求項2又は3に記載の医用画像処理装置。
【請求項5】
前記第1の医用画像データは、CT装置により撮像された第1のボリュームデータの少なくとも一部であり、
前記第2の医用画像データは、MRI装置により撮像された第2のボリュームデータの少なくとも一部である、
請求項2又は3に記載の医用画像処理装置。
【請求項6】
前記第1の医用画像データは、1つ以上の2次元の医用画像データであり、
前記第2の医用画像データは、3次元の医用画像データである、
請求項2又は3に記載の医用画像処理装置。
【請求項7】
被検体を示す2次元又は3次元の画素で構成される第1の医用画像データ及び第2の医用画像データを取得するステップと、
固定した前記第1の医用画像データに対して前記第2の医用画像データを変形することで、前記第1の医用画像データと前記第2の医用画像データとの非剛体位置合わせを行うステップと、
非剛体位置合わせされた前記第1の医用画像データと前記第2の医用画像データとに基づく画像を表示部に表示させるステップと、
を有し、
前記第2の医用画像データの空間領域は、前記第1の医用画像データの空間領域に含まれない部分を含み、
前記非剛体位置合わせを行うステップは、
前記第2の医用画像データが変形により到達し得る領域である到達可能領域を少なくとも含む領域での前記第2の医用画像データの変形に関する変形情報を生成するステップと、
前記変形情報に基づいて、前記第2の医用画像データを変形させるステップと、を含み、
前記変形情報は、前記第1の医用画像データの空間領域に含まれない領域において、前記第2の医用画像データに含まれる少なくとも1つの画素の移動に関する移動情報を含む、
医用画像処理方法。
【請求項8】
請求項7に記載の医用画像処理方法をコンピュータに実行させるための医用画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、医用画像処理装置、医用画像処理方法、及び医用画像処理プログラムに関する。
【背景技術】
【0002】
従来、2つの医用画像データの位置合わせ(レジストレーション)に関して、非剛体位置合わせが行われている。例えば、胸部の3D PET-CTレジストレーションを行うことが知られている(非特許文献1参照)。また、異なる時期に取得された医療ボリュームデータや、異なる種類のボリュームデータを非剛体位置合わせすることが知られている(非特許文献2参照)。
【先行技術文献】
【非特許文献】
【0003】
【非特許文献1】David Mattes, David R. Haynor, Hubert Vesselle, Thomas K. Lewellen, William Eubank, 「Nonrigid multimodality image registration」, Medical Imaging 2001
【非特許文献2】Yuichiro Tajima, Koichi Ito and Takafumi Aoki, 「A Non-Rigid Registration Method for Medical Volume Data Using 3D Phase-Only Correlation」21st International Conference on Pattern Recognition (ICPR 2012)
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の非剛体位置合わせでは、複数の医用画像データの非剛体位置合わせの精度が不十分であり、改善の余地がある。
【0005】
本開示は、上記事情に鑑みてされたものであって、複数の医用画像データの非剛体位置合わせの精度を向上できる医用画像処理装置、医用画像処理方法、及び医用画像処理プログラムを提供する。
【課題を解決するための手段】
【0006】
本開示の一態様は、医用画像処理装置であって、処理部を備え、前記処理部は、被検体を示す2次元又は3次元の画素で構成される第1の医用画像データ及び第2の医用画像データを取得し、固定した前記第1の医用画像データに対して前記第2の医用画像データを変形することで、前記第1の医用画像データと前記第2の医用画像データとを非剛体位置合わせする非剛体位置合わせ処理を実行し、非剛体位置合わせされた前記第1の医用画像データと前記第2の医用画像データとを表示部に表示させ、前記第2の医用画像データの空間領域は、前記第1の医用画像データの空間領域に含まれない部分を含み、前記非剛体位置合わせ処理は、前記第2の医用画像データが変形により到達し得る領域である到達可能領域を少なくとも含む領域での前記第2の医用画像データの変形に関する変形情報を生成する処理と、前記変形情報に基づいて、前記第2の医用画像データを変形させる処理と、を含み、前記変形情報は、前記第1の医用画像データの空間領域に含まれない領域において、前記第2の医用画像データに含まれる少なくとも1つの画素の移動に関する移動情報を含む、医用画像処理装置である。
【0007】
本開示の一態様は、被検体を示す2次元又は3次元の画素で構成される第1の医用画像データ及び第2の医用画像データを取得するステップと、固定した前記第1の医用画像データに対して前記第2の医用画像データを変形することで、前記第1の医用画像データと前記第2の医用画像データとの非剛体位置合わせを行うステップと、非剛体位置合わせされた前記第1の医用画像データと前記第2の医用画像データとを表示部に表示させるステップと、を有し、前記第2の医用画像データの空間領域は、前記第1の医用画像データの空間領域に含まれない部分を含み、前記非剛体位置合わせを行うステップは、前記第2の医用画像データが変形により到達し得る領域である到達可能領域を少なくとも含む領域での前記第2の医用画像データの変形に関する変形情報を生成するステップと、前記変形情報に基づいて、前記第2の医用画像データを変形させるステップと、を含み、前記変形情報は、前記第1の医用画像データの空間領域に含まれない領域において、前記第2の医用画像データに含まれる少なくとも1つの画素の移動に関する移動情報を含む、医用画像処理方法である。
【0008】
本開示の一態様は、上記の医用画像処理方法をコンピュータに実行させるための医用画像処理プログラムである。
【発明の効果】
【0009】
本開示によれば、複数の医用画像データの非剛体位置合わせの精度を向上できる。
【図面の簡単な説明】
【0010】
図1】第1の実施形態における医用画像処理装置のハードウェア構成例を示すブロック図
図2】医用画像処理装置の機能構成例を示すブロック図
図3A】固定側ボリューム及び変形側ボリュームの変形前後の変形メッシュとボリュームデータとの形状の一例を示す図
図3B】変形側ボリュームの変形前後での各点の移動例を示す図
図4】第1の実施形態における変形メッシュの第1例を示す図
図5】第1の実施形態における変形メッシュの第2例を示す図
図6】変形側ボリュームと固定側ボリュームとを含む凸包領域の一例を示す図
図7A】動脈相の画像を示す図
図7B】遅延相の画像を示す図
図8】医用画像処理装置の位置合わせ時の第1動作例を示すフローチャート
図9A】医用画像処理装置の位置合わせ時の第2動作例を示すフローチャート
図9B】医用画像処理装置の位置合わせ時の第2動作例を示すフローチャート
図9C】医用画像処理装置の位置合わせ時の第2動作例を説明するための図
図10A】比較例における被検体における腹部を含む広範囲の領域の位置合わせ結果の一例を示す図
図10B】比較例における被検体における腹部の領域の位置合わせ結果の一例を示す図
図11A】第1の実施形態における被検体における腹部を含む広範囲の領域の位置合わせ結果の一例を示す図
図11B】第1の実施形態における被検体における腹部の領域の位置合わせ結果の一例を示す図
図12】比較例における変形メッシュの設定例を示す図
【発明を実施するための形態】
【0011】
以下、本開示の実施形態について、図面を用いて説明する。
【0012】
(本開示の一実施形態を得るに至った経緯)
【0013】
非特許文献1,2では、非剛体位置合わせにおいて変形メッシュMSXが用いられる。図12は、従来の変形メッシュMSXを用いた非剛体位置合わせを説明するための図である。
【0014】
変形メッシュMSXは、複数の医用画像データのうちの1つの医用画像データを基準に生成される。この医用画像データは、位置合わせされる側の医用画像データであり、変形せず、形状が固定されることから、固定画像データVFXとも称する。変形メッシュMSXの大きさは、固定画像データVFXの大きさと原則同一で、利用している補間式によっては外周に固定点を1ないし2列加えている。また、変形対象の医用画像データを、変形画像データVMXとも称する。変形画像データVMXの各画素は、変形メッシュMSXの各ノードNDXを補間することによって表現される移動ベクトルに対応している。そのため、医用画像処理装置は、変形メッシュMSXのノードNDXの移動に伴って、このノードNDXに対応する変形画像データVMXの画素を移動させて変形させることができる。
【0015】
ここで、固定画像データVFXよりも変形画像データVMXが3次元空間(仮想3次元空間)において大きい場合、固定画像データVFXの範囲内に変形画像データVMXが収まらず、固定画像データVFXの範囲外にはみ出し、変形画像データVMXの画素に対応する変形メッシュMSXのノードNDXが不在である場合がある。この場合、対応する変形メッシュMSXのノードNDXが不在である変形画像データVMXにおける領域は、変形できない。そのため、変形画像データVMXの少なくとも一部が変形できないことがあり、この場合には、複数の医用画像データの非剛体位置合わせの精度が不十分となる。
【0016】
なお、従来は固定画像データVFXと変形画像データVMXの双方が含まれる領域が重要な関心の対象であり、重複しない領域についての精度については関心が無かったものと思われる。また、非剛体位置合わせの主な用途としてPET-CTレジストレーションであってはCTデータの撮像範囲の外は関心の対象では無かったと考えられる(非特許文献1の事例では、PET装置で撮像されている患者の両腕がCT装置では撮像されていないが問題とされていない)。また、非剛体位置合わせの主な用途として4D(4次元)データのフェーズ間レジストレーションであっては全ボリュームの領域が同一であったので問題とはならなかったことが考えられる(非特許文献2の事例)。
【0017】
以下の実施形態では、複数の医用画像データの非剛体位置合わせの精度を向上できる医用画像処理装置、医用画像処理方法、及び医用画像処理プログラムについて説明する。
【0018】
(第1の実施形態)
図1は、第1の実施形態における医用画像処理装置100の構成例を示すブロック図である。医用画像処理装置100は、ポート110、UI120、ディスプレイ130、プロセッサ140、及びメモリ150を備える。
【0019】
医用画像処理装置100には、CT装置200が接続される。医用画像処理装置100は、CT装置200からボリュームデータを取得し、取得されたボリュームデータに対して処理を行う。医用画像処理装置100は、PCとPCに搭載されたソフトウェアにより構成されてもよい。
【0020】
CT装置200は、被検体へX線を照射し、体内の組織によるX線の吸収の違いを利用して、画像(CT画像)を撮像する。被検体は、生体、人体、又は動物等を含んでよい。CT装置200は、X線検出器からシノグラムを取得し、シノグラムに基づいて、画像再構成によって被検体の断層画像(スライス画像、スライスデータともいう)を生成する。CT装置200は、スライスデータに基づいて、例えばスライスデータを積層して、ボリュームデータを生成する。スライスデータ及びボリュームデータは、被検体内部の任意の箇所の情報を含む。CT装置200は、CT画像としてのボリュームデータを医用画像処理装置100へ、有線回線又は無線回線を介して送信する。CT画像の撮像には、CT撮像に関する撮像条件や造影剤の投与に関する造影条件が考慮されてよい。なお、造影は、血管の他、消化器官、胆管等に対して行われてよい。造影は、臓器の特性に応じて異なるタイミングで複数回実施されてよい。
【0021】
医用画像処理装置100内のポート110は、通信ポート、外部装置接続ポート、又は組み込みデバイスへの接続ポート等を含み、CT画像から得られたボリュームデータを取得する。取得されたボリュームデータは、直ぐにプロセッサ140に送られて各種処理されてもよいし、メモリ150において保管された後、必要時にプロセッサ140へ送られて各種処理されてもよい。また、ボリュームデータは、記録媒体や記録メディアを介して取得されてもよい。また、ボリュームデータは中間データ、圧縮データ、シノグラム、又はスライスデータ等の形で取得されてもよい。また、ボリュームデータは医用画像処理装置100に取り付けられたセンサーデバイスからの情報から取得されてもよい。ポート110は、ボリュームデータ等の各種データを取得する取得部として機能する。
【0022】
UI120は、タッチパネル、ポインティングデバイス、キーボード、又はマイクロホンを含んでよい。UI120は、医用画像処理装置100のユーザから、任意の入力操作を受け付ける。ユーザは、医師、放射線技師、学生、又はその他医療従事者(Paramedic Staff)を含んでよい。
【0023】
UI120は、各種操作を受け付ける。例えば、ボリュームデータやボリュームデータに基づく画像(例えば後述する3次元画像、2次元画像)における、関心領域(ROI)の指定や輝度条件の設定等の操作を受け付ける。関心領域は、各種組織(例えば、血管、気管支、臓器、器官、骨、脳)の領域を含んでよい。組織は、病変組織、正常組織、又は腫瘍組織等を含んでよい。
【0024】
ディスプレイ130は、例えばLCDを含んでよく、各種情報を表示する。各種情報は、ボリュームデータから得られる3次元画像や2次元画像を含んでよい。3次元画像は、ボリュームレンダリング画像、サーフェスレンダリング画像、仮想内視鏡画像、仮想超音波画像、又はCPR画像等を含んでもよい。ボリュームレンダリング画像は、レイサム(RaySum)画像、MIP画像、MinIP画像、平均値画像、又はレイキャスト画像等を含んでもよい。2次元画像は、アキシアル画像、サジタル画像、コロナル画像、又はMPR画像等を含んでよい。
【0025】
メモリ150は、各種ROMやRAMの一次記憶装置を含む。メモリ150は、HDDやSSDの二次記憶装置を含んでもよい。メモリ150は、USBメモリやSDカードの三次記憶装置を含んでもよい。メモリ150は、各種情報やプログラムを記憶する。各種情報は、ポート110により取得されたボリュームデータ、プロセッサ140により生成された画像、プロセッサ140により設定された設定情報、各種プログラムを含んでもよい。メモリ150は、プログラムが記録される非一過性の記録媒体の一例である。
【0026】
プロセッサ140は、CPU、DSP、又はGPUを含んでもよい。プロセッサ140は、メモリ150に記憶された医用画像処理プログラムを実行することにより、各種処理や制御を行う処理部160として機能する。
【0027】
図2は、処理部160の機能構成例を示すブロック図である。
【0028】
処理部160は、領域処理部161、画像生成部162、位置合わせ処理部163、及び表示制御部165を備える。処理部160は、医用画像処理装置100の各部を統括する。処理部160は、例えば、複数の医用画像データ(例えばボリュームデータ)の位置合わせに関する処理を行う。なお、処理部160に含まれる各部は、1つのハードウェアにより異なる機能として実現されてもよいし、複数のハードウェアにより異なる機能として実現されてもよい。また、処理部160に含まれる各部は、専用のハードウェア部品により実現されてもよい。
【0029】
領域処理部161は、例えばポート110を介して、被検体のボリュームデータを取得する。領域処理部161は、ボリュームデータに含まれる任意の領域を抽出する。領域処理部161は、例えばボリュームデータのボクセル値に基づいて、自動で関心領域を指定し、関心領域を抽出してよい。領域処理部161は、例えばUI120を介して、手動で関心領域を指定し、関心領域を抽出してよい。
【0030】
画像生成部162は、各種画像を生成する。画像生成部162は、取得されたボリュームデータの少なくとも一部(例えば抽出された領域のボリュームデータ)に基づいて、3次元画像や2次元画像や断層画像を生成する。画像生成部162は、各種レンダリング(例えばボリュームレンダリング又はサーフィスレンダリング)を行って、画像を生成してよい。
【0031】
位置合わせ処理部163は、複数の医用画像データを位置合わせする。医用画像データは、例えば、ボリュームデータ、スライスデータ、ボリュームデータ又スライスデータ等に基づく3次元画像や2次元画像を含んでよい。また、ボリュームデータは時系列的に作成された複数のボリュームデータであってよい。よって、位置合わせは、3次元空間(仮想3次元空間)での位置合わせ又は2次元平面(仮想2次元平面)での位置合わせを含んでよい。ここでの位置合わせは、少なくとも非剛体位置合わせ(non rigid registration)を含み、剛体位置合わせ(rigid registration)をさらに含んでもよい。
【0032】
剛体位置合わせは、医用画像データ内の臓器等の領域の形状が変化しない位置合わせであり、例えば、平行移動又は回転を用いた線形変換による位置合わせを含んでよい。剛体位置合わせは、例えば、骨や脳などに適用される。位置合わせ処理部163は、公知の方法により、剛体位置合わせを実施してよい。
【0033】
非剛体位置合わせは、医用画像データ内の臓器の領域の形状が変化する位置合わせである。非剛体位置合わせは、例えば、平行移動又は回転だけではなく拡大又は縮小を用いた線形変換による位置合わせや、線形変換ではない非線形変換による位置合わせを含んでよい。位置合わせ処理部163は、例えば変形メッシュ上のノードを有限要素として表現し、ノードの移動で画素の移動を表現してよい。位置合わせ処理部163は、画素の移動をノード間をBスプライン法に従って補間することによって表現してもよい。位置合わせ処理部163は、非線形変換による位置合わせを行うことで、非剛体位置合わせを実施してよい。位置合わせ処理部163は、有限要素法を用いた大変形シミュレーションによって、非剛体位置合わせを実施してよい。
【0034】
なお、画像生成部162は、位置合わせ処理部163により位置合わせされた複数の医用画像データとしてのボリュームデータに基づいて、レンダリングを行って画像を生成してよい。また、位置合わせ処理部163は、画像生成部162により生成された複数の医用画像データとしての画像同士を、剛体位置合わせや非剛体位置合わせを含む位置合わせを行ってよい。
【0035】
表示制御部165は、各種データ、情報、又は画像をディスプレイ130に表示させる。画像は、被検体内の組織の一部を表現した画像であり、例えば、画像生成部162で生成された画像、又は所定の断層の断層画像を含んでよい。表示制御部165は、例えば、位置合わせ(例えば非剛体位置合わせ)された複数の医用画像データに基づく画像を表示させる。
【0036】
次に、位置合わせに関する処理について詳述する。
本実施形態では、医用画像データがボリュームデータであることを主に例示する。また、3次元空間でのボリュームデータ同士の位置合わせを主に例示する。
【0037】
位置合わせ処理部163は、非剛体位置合わせにおいて、変形側ボリューム(moving volume)が、固定側ボリューム(fixed volume)より大きいときに生じる不整合に対して、対策する。変形側ボリュームVMは、形状が変形し得るボリュームデータである。固定側ボリュームVFは、形状が変形しない(固定された)ボリュームデータである。位置合わせ処理部163は、どのボリュームデータを変形側ボリュームVMとするか固定側ボリュームVFとするかを、手動で設定しても自動で設定してもよい。例えば、UI120を介して、ユーザ操作を基にどのボリュームデータを変形側ボリュームVMとするか固定側ボリュームVFとするかを決定してもよい。例えば、ボリュームデータに含まれる臓器や器官や組織の特性に基づいて、どのボリュームデータを変形側ボリュームVMとするか固定側ボリュームVFとするかを決定してもよい。例えば、臓器や血管が変形側ボリュームVMとされ、骨が固定側ボリュームVFとされてよい。
【0038】
位置合わせ処理部163は、非剛体位置合わせでは、3次元空間において固定側ボリュームVFと変形側ボリュームVMとを含む領域に対応して、変形メッシュMSを生成して設定する。位置合わせ処理部163は、ボリュームデータ同士で多少の位置ずれがある場合でも、固定側ボリュームVFに対して変形側ボリュームVMを変形して非剛体位置合わせすることで、位置ずれを抑制できる。よって、表示される3次元画像や2次元画像では、ボリュームデータ同士の位置ずれが抑制された状態の画像となり、ユーザにとって自然な見え方となり、治療診断の選択肢が増える。
【0039】
次に、変形メッシュMSを用いた非剛体位置合わせについて説明する。
【0040】
図3Aは、固定側ボリュームVF及び変形側ボリュームVMの変形前後の変形メッシュMSとボリュームデータとの形状の一例を示す図である。なお、図中、固定側ボリュームVFは「fixed」、変形側ボリュームVMは「moving」として示されている。また、図3Aでは、ボリュームデータがレンダリングされて二次元平面に画像として表示されることをイメージしている。
【0041】
変形側ボリュームVMは、非剛体位置合わせ時には非剛体変形する。非剛体変形は、変形メッシュMSの変形として表現される。変形メッシュMSは、固定側ボリュームVFで規定される座標に対応して設置される。変形メッシュMSは、複数のノードNDを含む。非剛体位置合わせが行われる3次元空間に複数のノードNDが配列されることで、変形メッシュMSが形成される。複数のノードNDは、例えば3次元空間において格子状に配列されるが、他の形状となるように配置されてもよい。
【0042】
位置合わせ処理部163は、変形メッシュMSを用いて変形される変形側ボリュームVMの変形に関する変形情報を生成する。変形情報は、変形メッシュMSの各ノードNDに対応する変形側ボリュームVMの各ボクセルの移動に関する移動情報を含む。つまり、変形情報は、変形側ボリュームVMにおける変形前(現状)のどのボクセルが、固定側ボリュームにおけるどのボクセルに(対応するか)移動するかを示す移動情報が含まれる。つまり、変形情報は、変形側ボリュームVMの変形前後における各点の対応関係の情報を示す。また、変形情報には、固定側ボリュームVFの座標を基準とした変形側ボリュームVMの各ボクセルでの初期状態からの変位の情報が含まれていてよい。
【0043】
位置合わせ処理部163は、変形メッシュMSの各ノードを固定側ボリュームVFの座標に対応して設定して、変形メッシュMSを生成し、変形情報を生成する。図3Aでは、固定側ボリュームVFに対して各ノードNDが格子状になるように、変形メッシュMSが設定されている。なお、固定側ボリュームVFは変形しないので、図3Aでは、一例として、変形前後における形状が三角形状のまま変形していない。一方、変形側ボリュームVMは、変形前には、固定側ボリュームVFとは異なる形状を呈しており、図3Aでは三角形が歪んだ形状を呈している。そのため、変形前の変形メッシュMSは、基準形状(固定側ボリュームVFの座標を基準とした形状)と比較すると歪んだ形状を呈している。
【0044】
位置合わせ処理部163は、変形情報に基づいて、変形メッシュMSの各ノードNDを移動させることで、変形側ボリュームVMの対応するボクセルを移動させて、変形側ボリュームVMを固定側ボリュームVFの形状に沿うように変形し、非剛体位置合わせする。よって、位置合わせ処理部163は、変形情報に基づいて、変形前の変形側ボリュームVM(変形前ボリュームデータVMB)から変形後の変形側ボリュームVM(変形後ボリュームデータVMA)を得る。これにより、図3Aに示すように、変形側ボリュームVMは、固定側ボリュームVFと同様の三角形状に変形される。
【0045】
また、固定側ボリュームVFにおける全てのボクセルに対応して細かく変形メッシュMSのノードが設けられなくてもよい。この場合、変形情報には、変形側ボリュームVMにおいて移動情報が存在しないボクセルが存在しえる。この場合、位置合わせ処理部163は、変形メッシュMSの各ノードNDに対応する変形側ボリュームVMの各ボクセルにおける移動情報を基に、移動情報が得られなかったボクセルでの移動情報を補間(例えば線形補間)によって算出してよい。
【0046】
例えば、変形メッシュMSのグリッドは、64ボクセル単位(64ボクセルに1つ)でよい。また、変形メッシュMSの各ノードNDの配置密度は画一的でなくてもよく、変形メッシュMS内の位置(領域)に応じて異なってもよい。例えば、変形側ボリュームにおいて細かく変形可能な領域又は細かく変形させたい領域では、変形メッシュMSのノードNDの密度を大きくし、この領域での変形情報(領域内のボクセルの移動情報)を多く得られるようにしてよい。例えば、変形側ボリュームにおいて大きく移動させたい領域では、変形メッシュMSのノードNDの密度を小さくし、この領域での変形情報(領域内のボクセルの移動情報)が安定するようにしてよい。このように、位置合わせ処理部163は、固定側ボリュームVFで規定される座標点に対応する変形側ボリュームVMのボクセルの移動情報に基づいて、変形側ボリュームVMを変形する。
【0047】
図3Bは、変形側ボリュームVMの変形前後での各点の移動例を示す図である。図3Bでは、各矢印で示すように、変形メッシュMS上のノードND(頂点)毎に、ノードNDの移動がベクトルで表現されている。このような変形メッシュMSの各ノードNDに対応する変形側ボリュームVMの各ボクセルの移動情報が、変形情報に含まれる。図3Bでは、変形前のノードNDBに対応するボクセルVXBが、変形後のノードNDAに対応するボクセルVXAに移動していることが理解できる。
【0048】
図4は、本実施形態における変形メッシュMSの第1例を示す図である。
【0049】
位置合わせ処理部163は、少なくとも変形側ボリュームVMの領域を含むように、変形メッシュMSを生成し、変形情報を生成する。具体的には、変形側ボリュームVMが変形により到達し得る領域である到達可能領域VMRを含む変形メッシュMSを生成する。到達可能領域VMRは、例えば、変形前ボリュームデータVMBと変形後ボリュームデータVMAとを含み、更に変形途中の変形側ボリュームVMの領域を含んでもよい。例えば、固定側ボリュームVFに一致するように変形側ボリュームVM(変形前ボリュームデータVMB)を変形する場合、図4における固定側ボリュームVFと変形側ボリュームVMとを少なくとも含む領域が、到達可能領域VMRとなる。
【0050】
また、位置合わせ処理部163は、固定側ボリュームVFと変形側ボリュームVMの到達可能領域VMRの双方の領域を含むように、変形メッシュMSを生成してもよい。固定側ボリュームVFの領域や変形側ボリュームVMの到達可能領域VMRの情報は、予めメモリ150に保持されていてもよいし、ポート110を介して外部装置から取得されてもよい。また、変形情報は、固定側ボリュームVFの領域に含まれない領域において、変形側ボリュームVMに含まれる少なくとも1つの画素(ボクセル)の移動に関する移動情報を含む。
【0051】
これにより、変形メッシュMSのノードNDは、変形前ボリュームデータVMBのいずれかのボクセルに対応して存在しており、更に、変形後ボリュームデータVMAのいずれかのボクセルにも対応して存在している。よって、変形側ボリュームVMの端部が変形メッシュMSの外側に位置することがなくなる。よって、医用画像処理装置100は、変形側ボリュームVMの端部に至るまで好適に変形でき、変形不可能となることを抑制できる。
【0052】
図5は、本実施形態における変形メッシュMSの第2例を示す図である。
【0053】
図5の例では、変形メッシュMSが図4よりも小さくされている。具体的には、変形側ボリュームVMが移動し得ない領域、つまり到達可能領域VMRの外側では変形メッシュMSのノードNDが不在である。よって、位置合わせ処理部163は、変形側ボリュームVMの変形に必要な最小限の大きさの変形メッシュを生成する。よって、図4図5とで変形メッシュMSにおいて同じ密度(細かさ)でノードNDが配置される場合、図5の場合には、図4の場合の変形メッシュMSよりもノードNDの数が少なくなる。そのため、変形メッシュMSの各ノードNDに対応する変形側ボリュームVMの各ボクセルでの移動情報の導出に係る計算量が少なくなり、変形情報の導出に係る計算量が少なくなり、変形側ボリュームVMの変形に係る計算量が少なくなる。このように、医用画像処理装置100は、変形メッシュMSを縮小でき、変形メッシュMSを用いた非剛体位置合わせに係る計算量も削減できる。
【0054】
図5では、変形メッシュMSは、到達可能領域VMRよりも1マス分大きく、つまり変形メッシュMSがノードNDで1つ分大きくされていてよい。変形メッシュMSが到達可能領域VMRよりもやや大きく設定されているのは、スプライン補間処理(例えばBスプライン補間)のための境界とし、スプライン補完処理を円滑に実施可能とするためである。なお、図4においても、変形メッシュMSは、到達可能領域VMRよりも少なくとも1マス分大きくされてよい。また、到達可能領域VMRより外側に移動不能な固定点を設置してもよい。この固定点はスプライン補完処理を円滑に実施可能にするために用いることができる。
【0055】
また、位置合わせ処理部163は、変形メッシュMSを縮小してノードNDの数を削減するところ、削減したノードNDの代わりに移動不能な固定点を設定してもよい。これにより、医用画像処理装置100は、非剛体位置合わせに係る計算量も削減できる。また、位置合わせ処理部163は、固定点とノードNDとの間において変形側ボリュームVMの各ボクセルの移動を補間してもよい。なお、固定点及び、補間によって求められた各ボクセルの移動は変形メッシュMSには含めないと考える。
【0056】
図6は、変形側ボリュームVMと固定側ボリュームVFとを含む凸包領域VCの一例を示す図である。凸包領域VCは、変形側ボリュームVMと固定側ボリュームVFとを含む包含領域の一例である。
【0057】
位置合わせ処理部163は、図5に示したように到達可能領域VMRの外側では変形メッシュMSを不在として省略する場合、変形側ボリュームVMと固定側ボリュームVFとを含む(両ボリュームの和領域の)凸包領域VCを生成してよい。位置合わせ処理部163は、凸包領域VCの大きさに対応して、変形メッシュMSを生成してよい。この場合、変形メッシュMSは、上述と同様に、凸包領域VCよりも1マス分大きくされてよく、補間が加味されてよい。そして、この凸包領域VCに対応して、変形情報に基づいて、変形側ボリュームVMの各ボクセルを変形して固定側ボリュームVFの各ボクセルに非剛体位置合わせする。図6では、変形側ボリュームVMから固定側ボリュームVFに位置合わせするので、凸包領域VCが、到達可能領域VMRを包含する。
【0058】
また、変形側ボリュームVMと固定側ボリュームVFとを含む格子状の変形メッシュMSを想定する場合、変形側ボリュームVMと固定側ボリュームVFとに外接する外接直方体領域を生成してよい。外接直方体領域は、包含領域の一例である。そして、この外接直方体領域の大きさに対応して、変形メッシュMSを生成してよい。変形側ボリュームVMから固定側ボリュームVFに位置合わせされるので、この外接直方体領域が到達可能領域VMRを包含する。
【0059】
次に、変形側ボリュームVMと固定側ボリュームVFとの具体例について説明する。なお、変形側ボリュームVMと固定側ボリュームVFに対応する二次元のデータについては、変形側画像、固定側画像として説明する。
【0060】
ここでは、例えばポート110を介して、CT装置200に限らず、各種のモダリティ装置により3次元データ(例えばボリュームデータ)や2次元データが取得可能であることを想定する。各種のモダリティ装置は、例えば、MRI(Magnetic Resonance Imaging)装置、PET(Positron Emission Tomography)装置、血管造影装置(Angiography装置)、又はその他のモダリティ装置を含む。また、変形側ボリュームVMの3次元空間でのサイズが固定側ボリュームVFの3次元空間でのサイズよりも大きいことを想定している。
【0061】
第1具体例は以下である。固定側ボリュームVFは、動脈相(例えば早期動脈相)で、撮像可能なタイミング(時間)が短いので、狭い範囲で撮像されて得られたものである。変形側ボリュームVMは、遅延相で、撮像可能な時間が動脈相よりも長いので、動脈相よりも広い範囲で撮像されて得られたものである。ここで、動脈相の方が細かい血管が写っており診断において主に用いるので、ユーザは、動脈相については撮像したままの画像を観察したい。つまり、変形側ボリュームVMが固定側ボリュームVFよりも3次元空間でのサイズが大きい。
【0062】
図7Aは、動脈相の画像G31を示す図である。図7Bは、遅延相の画像G32を示す図である。動脈相の画像G31は、画像G32よりも高精細であり、画像G32よりもCT装置200により狭い撮像範囲で撮像されたCT画像に基づく画像である。遅延相の画像G32は、画像G31よりも低精細であり、画像G31よりもCT装置200により広い撮像範囲で撮像されたCT画像に基づく画像である。この場合、動脈相の画像G31が診断の基準となるので、変形させないことが好ましい。また、よって、3次元空間での画像(データ)の大きさは、画像G31よりも画像G32の方が大きい。位置合わせ処理部163は、動脈相の画像G31と遅延相の画像G32とを非剛体位置合わせする場合、第1具体例では、動脈相の画像T31を固定側ボリュームVFとし、遅延相の画像G32を変形側ボリュームVMとする。
【0063】
第2具体例は以下である。固定側ボリュームVFが、CT装置200で撮像されたCT画像である。変形側ボリュームVMが、MRI装置で撮像されたMRI画像としてのボリュームデータである。MRI装置は、アキシアル面に対して斜めに撮像することがあるので、CT画像に対応する3次元空間の領域から、MRI画像がはみ出していることがある。ここで、CT画像の方が高解像度であり主に用いるので、ユーザは、CT画像については撮像したままの画像を観察したい。この場合、変形側ボリュームVMが固定側ボリュームVFよりも3次元空間でのサイズが大きい。また、MRI画像は、磁場に起因して歪んで得られることが多い。このような場合でも、医用画像処理装置100は、本実施形態の非剛体位置合わせによって、固定側ボリュームVFと変形側ボリュームVMとをスムーズにつなげて描画でき、信用度の高い画像を得ることができる。
【0064】
第3具体例は以下である。固定側画像が、MRI装置により撮像されて得られた単一断面の2D動画もしくは複数断面の2D動画である。また、変形側ボリュームVMが、CT装置200により撮像されたCT画像である。例えば、単一断面の動画ないし複数断面の2D動画は、心機能を診断するための画像である。CT画像は、位置関係及び心室体積を計測するための補助的な画像である。そのため、ユーザは、単一断面の2D動画ないし複数断面の2D動画については撮像したままの画像を観察したい。この場合は、位置合わせ処理部163は、心電同期によりCT画像の撮像に用いた心臓フェーズに対応する複数断面の2D動画のフェーズを固定側画像として用いる。
【0065】
第4具体例は以下である。固定側ボリュームVFは、CT装置200によりFOV(Field Of View)を絞って撮像されたCT画像である。FOVは、スライス上(同一断面上)の撮像範囲に相当する。変形側ボリュームVMは、XA装置(血管造影X線診断装置、Cアーム機)により上述の固定側ボリュームVFよりも広めの撮像範囲で撮像されたXA画像としてのボリュームデータである。XA装置は、小型軽量であり、手術中に使用可能である。また、XA装置は、XA装置のアームを固定して動画を撮像することで2DT画像を撮像可能である。また、XA装置は、アームを回転させて動画を撮像することで4D(4次元)データも撮像可能である。術前に撮像されたCT画像の方が高解像度であり、CT画像を用いて手術計画を立てる。そのため、ユーザは、CT画像については撮像したままの画像を観察したい。
【0066】
第5具体例は以下である。固定側画像は、単純X線装置により撮像されたX線画像としての2次元データ(2次元画像)である。また、固定側画像は、CT装置200により撮像されたCT画像を基に生成されたMIP画像でもよい。変形側画像は、XA装置により撮像された2D動画である。術前に撮像されたX線画像の方が高解像度であり、X線画像を用いて手術計画を立てる。そのため、ユーザは、X線画像については撮像したままの画像を観察したい。
【0067】
第6具体例は以下である。固定側ボリュームVFは、心電同期して得られた心臓の4D(4次元)データであり、狭い撮像範囲で撮像されたデータである。4次元データは、3次元データとしてのボリュームデータやスライスデータ等が時系列で複数配列されたデータであり、つまり3次元データの動画である。変形側ボリュームVMは、心臓を含む胸部データであり、上述の固定側ボリュームVFよりも撮像範囲が広い3次元データである。心臓の4Dデータは、心機能を診断するためのデータである。胸部データは、カテーテルのルートの確認などのための補助的な画像である。そのため、ユーザは、4Dデータについては撮像したままの画像を観察したい。
【0068】
次に、医用画像処理装置100の動作例について説明する。
【0069】
医用画像処理装置100による位置合わせ時の動作例として、第1動作例と第2動作例の2種類ある。
【0070】
第1動作例では、位置合わせ処理部163は、変形側ボリュームVMと固定側ボリュームVFとを含む包含領域に対応する変形メッシュMS(大きな変形メッシュMS)を生成し、この変形メッシュMSを用いて変形側ボリュームVMと固定側ボリュームVFとの位置合わせを行う。
【0071】
第2動作例では、位置合わせ処理部163は、従来と同様に固定側ボリュームVFに対応する第1の変形メッシュMS1を生成し、第1の変形メッシュMS1を用いて変形側ボリュームVMと固定側ボリュームVFとの位置合わせを行う。その後、位置合わせ処理部163は、第1の変形メッシュMS1ではカバーされていなかった変形側ボリュームVMの少なくとも一部に対応する第2の変形メッシュMS2を生成し、第2の変形メッシュMS2を用いて変形側ボリュームVMと固定側ボリュームVFとの位置合わせを行う。そして、画像生成部162は、第1の変形メッシュMS1で位置合わせされた画像と第2の変形メッシュMS2で位置合わせされた画像とを連結して、全体が位置合わせされた画像を生成する。
【0072】
図8は、医用画像処理装置100の位置合わせ時の第1動作例を示すフローチャートである。
【0073】
まず、ポート110は、例えば、早期動脈相(動脈相)で、撮像範囲の小さい被検体(例えば患者)のボリュームデータを、固定側ボリュームVFとして取得する(S11)。また、ポート110は、静脈相(遅延相)で、撮像範囲の大きい被検体のボリュームデータを、変形前の変形側ボリュームVM(つまり変形前ボリュームデータVMB)として取得する(S11)。
【0074】
位置合わせ処理部163は、取得された固定側ボリュームVFと変形前ボリュームデータVMBとを剛体位置合わせする(S12)。位置合わせ処理部163は、固定側ボリュームVFと変形前ボリュームデータVMBを包含する包含領域に対応する変形メッシュMSを生成する(S13)。位置合わせ処理部163は、固定側ボリュームVFと変形前ボリュームデータVMBとを非剛体位置合わせをし、変形メッシュMSに、変形メッシュMSの各ノードNDに対応する変形前ボリュームデータVMBから変形後ボリュームデータVMAへの各ボクセルの移動に関する移動情報を記録する(S14A)。そして、位置合わせ処理部163は、変形メッシュMSに記録された移動情報を用いて、変形前ボリュームデータVMBから変形後ボリュームデータVMAを生成する(S14B)。なお、変形メッシュMSにおいて、固定側ボリュームVFと変形前ボリュームデータVMBのいずれにも含まれないないしいずれかのみに含まれる領域の変形では、位置合わせ処理部163は、肺などスポンジ状組織に準じるノードNDを設定して、変形前ボリュームデータVMBに含まれるノードNDの変形に追従させて良い。なお、変形メッシュMSにおいて、固定側ボリュームVFと変形前ボリュームデータVMBのいずれにも含まれないないしいずれかのみに含まれる領域の変形では、位置合わせ処理部163は、ポアソン比0、微少弾性の有限要素ノードを設定して、変形前ボリュームデータVMBに含まれるノードNDの変形に追従させて良い。
【0075】
表示制御部165は、位置合わせされた固定側ボリュームVFと変形後ボリュームデータVMAとに基づく画像をディスプレイ130に表示(例えば重畳表示)させる(S15)。なお、表示制御部165は、固定ボリュームデータと変形後ボリュームデータとを、所定のブレンド比(混合比)でブレンドし、ブレンドされたデータに基づく画像を表示させてよい。これにより、固定側ボリュームと変形後ボリュームデータとの境界部分が目立たなくなり、不連続さが一層抑制される。
【0076】
これにより、医用画像処理装置100は、固定側ボリュームVF及び変形側ボリュームVMの双方を包含する凸包領域VCの大きさに対応する変形メッシュMSを用いて非剛体位置合わせできる。よって、医用画像処理装置100は、一度の非剛体位置合わせによって、到達可能領域VMRを加味した変形側ボリュームVMの変形に対応でき、好適に非剛体位置合わせできる。
【0077】
図9A及び図9Bは、医用画像処理装置100の位置合わせ時の第2動作例を示すフローチャートである。図9A及び図9Bでは、図8と同様の処理については、その説明を省略又は簡略化する。図9Cは、第2動作例を説明するための図である。
【0078】
まず、ポート110は、CT装置200で撮像されて得られた撮像範囲の小さい被検体のボリュームデータを、固定側ボリュームVFとして取得する(S21)。また、ポート110は、PET装置で撮像されて得られた撮像範囲の大きい被検体のボリュームデータを、変形前ボリュームデータVMBとして取得する(S21)。
【0079】
位置合わせ処理部163は、取得された固定側ボリュームVFと変形前ボリュームデータVMBとを剛体位置合わせする(S22)。位置合わせ処理部163は、固定側ボリュームVFを包含する第1の変形メッシュMS1を生成する(S23)。位置合わせ処理部163は、固定側ボリュームVFと変形前ボリュームデータVMBとを非剛体位置合わせをし、第1の変形メッシュMS1に、第1の変形メッシュMS1の各ノードNDに対応する変形前ボリュームデータVMBから変形後ボリュームデータVMAへの各ボクセルの移動に関する移動情報を記録する(S24)。この移動情報には、固定側ボリュームVFに対する変形前ボリュームデータの位置の情報(変形前の初期位置の情報)も含まれている。
【0080】
なお、第1の変形メッシュMS1は、従来の変形メッシュMSXであるので、変形側ボリュームVMの到達可能領域VMRをカバーしきれずに、到達可能領域VMRが第1の変形メッシュMS1の領域の外側に位置することがあり得る。したがって、ステップS24A及びS24Bの時点では、非剛体位置合わせが不十分である。
【0081】
図9Bに進む。位置合わせ処理部163は、変形前ボリュームデータVMBの領域(3次元空間において変形前ボリュームデータVMBが存在する領域、空間領域ともいう)から固定側ボリュームVFの空間領域を引いた差分領域VSを算出する。そして、差分領域VSに対応する(差分領域VSを包含する)第2の変形メッシュMS2を生成する(S25)。位置合わせ処理部163は、非剛体位置合わせとして、第1の変形メッシュMS1を基準にして、第1の変形メッシュMS1に滑らかに第2の変形メッシュMS2が接続するように、第2の変形メッシュMS2に、第2の変形メッシュMS2の各ノードNDに対応する変形前ボリュームデータVMBから変形後ボリュームデータVMAへの各ボクセルの移動に関する移動情報を記録する(S26)。例えば、位置合わせ処理部163は、第1の変形メッシュMS1と第2の変形メッシュMS2の境界部分BPの第1の変形メッシュMS1のノードNDの移動を境界条件として、境界部分BPの第2の変形メッシュMS2のノードNDを移動させ、第2の変形メッシュMS2の他の箇所については肺などスポンジ状組織に準じるノードNDを設定して、第2の変形メッシュMS2を変形させる。これにより、第1の変形メッシュMS1と第2の変形メッシュMS2とが滑らかに接続する。例えば、第1の変形メッシュMS1と第2の変形メッシュMS2の境界部分BPの第1の変形メッシュMS1のノードNDの移動を境界条件として、境界部分BPの第2の変形メッシュMS2のノードNDを移動させ、第2の変形メッシュMS2の他の箇所についてはポアソン比0、微少弾性の有限要素ノードを設定して、第2の変形メッシュMS2を変形させてもよい。これにより、第1の変形メッシュMS1と第2の変形メッシュMS2とが滑らかに接続する。これにより、計算量を抑制しつつ第1動作例と同等の出力結果が得られる。
【0082】
よって、第1の変形メッシュMS1を用いた変形に関する情報は、固定側ボリュームVFの空間領域での変形側ボリュームVMの変形に関する変形情報に相当する。また、第2の変形メッシュMS2を用いた変形に関する情報は、差分領域VSの空間領域での変形側ボリュームVMの変形に関する変形情報に相当する。
【0083】
位置合わせ処理部163は、第1の変形メッシュMS1と第2の変形メッシュMS2とを接続して第3の変形メッシュMS3を作成し、第3の変形メッシュMS3を作成することにより、変形前ボリュームデータVMBの空間領域と固定側ボリュームVFの空間領域とを合わせた領域の非剛体位置合わせとする。(S27A)。つまり、位置合わせ処理部163は、上記の合わせた領域において固定側ボリュームVFと変形前ボリュームデータVMBとを非剛体位置合わせをし、第1の変形メッシュMS1及び第2の変形メッシュMS2を用いて、第3の変形メッシュMS3に、第3の変形メッシュMS3の各ノードNDに対応する変形前ボリュームデータVMBから変形後ボリュームデータVMAへの各ボクセルの移動に関する移動情報を記録する。位置合わせ処理部163は、第3の変形メッシュMS3に記録された移動情報を用いて、変形前ボリュームデータVMBから変形後ボリュームデータVMAを生成する(S27B)。
【0084】
表示制御部165は、固定側ボリュームVFと変形後ボリュームデータVMAとに基づく画像をディスプレイ130に表示(例えば重畳表示させる(S28)。
【0085】
これにより、医用画像処理装置100は、固定側ボリュームVFの大きさを基準とした第1の変形メッシュMS1を用いた非剛体位置合わせ後、第1の変形メッシュMS1ではカバーできなかった変形側ボリュームVMの一部を第2の変形メッシュMS2を用いて非剛体位置合わせできる。よって、医用画像処理装置100は、従来の非剛体位置合わせと同等の計算量で、不足する部分を補うことができる。
【0086】
(比較例と本実施形態とで得られる画像の比較)
図10Aは、比較例における被検体における腹部を含む広範囲の領域の位置合わせ結果の一例を示す図である。図10Bは、比較例における被検体における腹部の領域の位置合わせ結果の一例を示す図である。図10Aでは、被検体の体表は描画されていない状態である。図10A及び図10Bに示す画像は、例えば従来の非特許文献1又は非特許文献2の方法で非剛体位置合わせが実施された場合に得られる画像である。
【0087】
図10Aでは、ボリュームデータ同士の位置ずれが骨盤で発生しており、比較例で非剛体位置合わせされたボリュームデータに基づく画像G11において、骨盤を横断する不連続線L11となって表れている。図10Bでは、ボリュームデータ同士の位置ずれが腹部で発生しており、比較例で非剛体位置合わせされたボリュームデータに基づく画像G12において、腹部を横断する不連続線L12となって表れている。
【0088】
図11Aは、本実施形態における被検体における腹部を含む広範囲の領域の位置合わせ結果の一例を示す図である。図11Bは、本実施形態における被検体における腹部の領域の位置合わせ結果の一例を示す図である。図11Aでは、被検体の体表は描画されていない状態である。図11Aで示された被検体の領域は、図10Aで示された被検体の領域と同様の領域である。図11Bで示された被検体の領域は、図10Bで示された被検体の領域と同様の領域である。
【0089】
図11A及び図11Bでの位置合わせは、上述の非剛体位置合わせが実施されており、剛体位置合わせが実施されていてもよい。図11Aでは、ボリュームデータ同士の位置ずれが抑制され、図10Aに示した位置ずれが解消している。そのため、本実施形態で非剛体位置合わせされたボリュームデータに基づく画像G21において、図10Aに示した不連続線L11が存在しない。図11Bでは、ボリュームデータ同士の位置ずれが抑制され、図10Bに示した位置ずれが解消している。そのため、本実施形態で非剛体位置合わせされたボリュームデータに基づく画像G22において、図10Bに示した不連続線L12が存在しない。
【0090】
次に、本実施形態のバリエーションについて説明する。
【0091】
位置合わせ処理部163は、変形側ボリュームVMの変形では、変形前ボリュームデータVMBを直接変形させて変形後ボリュームデータVMAを導出してよい。この場合、変形前ボリュームデータVMBがメモリ150に保持されず変形後ボリュームデータVMAのみがメモリ150に保持されてよい。また、位置合わせ処理部163は、変形前ボリュームデータVMBを基に新たな変形後ボリュームデータVMAを作成してもよい。この場合、変形前ボリュームデータVMBと新たな変形後ボリュームデータVMAとの両方がメモリ150に保持されてよい。また、位置合わせ処理部163は、直ちに変形後ボリュームデータVMAを作成せずに、変形後ボリュームデータVMAのボクセル値を計算する際に、変形前ボリュームデータVMBのボクセル値を参照してもよい。
【0092】
位置合わせ処理部163は、ボリュームデータの少なくとも一部(関心領域)同士を非剛体位置合わせをしてもよい。つまり、固定側ボリュームVFの一部と変形側ボリュームVMの一部とを非剛体位置合わせしてもよい。例えば、胸部画像(ボリュームデータにおける胸部の領域)について、左心室のみ位置合わせが出来ていれば十分な場合、固定側ボリュームVFの胸部の領域と変形側ボリュームVMの胸部の領域とを非剛体位置合わせしてもよい。この場合、位置合わせ処理部163は、関心領域の外側を第2動作例の手法により変形させてよい。
【0093】
また、変形メッシュMSは、複数用意され、メモリ150に保持されていてよい。変形メッシュMSは、変形メッシュMSのグリッドの細かさが複数種類(multi-resolution)用意されていてよい。また、変形メッシュMSの種類毎に、変形メッシュMSのサイズが異なってもよく、変形メッシュMSがカバーする領域が異なってもよい。また、変形メッシュMSは、医用画像データが3次元データである場合には3次元で構成され、医用画像データが2次元データである場合には3次元で構成されてよい。
【0094】
また、変形メッシュMSは、医用画像データが3次元データと2次元データの組み合わせである場合には、3次元ないし2次元のいずれで構成されても良い。また、固定側2次元画像と変形側ボリュームVMの組み合わせの場合、位置合わせ処理部163は、変形側ボリュームVMの変形では、固定側2次元画像の変形側ボリュームVMにおける断面について非剛体位置合わせを行った後に、その断面の奥行き方向について同様の変形を外挿することによって、変形側ボリュームVMを変形させて良い。また、固定側複数断面の2次元画像と変形側ボリュームVMの組み合わせの場合、位置合わせ処理部163は、変形側ボリュームVMの変形では、固定側複数断面の2次元画像の各断面の2次元画像について変形側ボリュームVMにおける対応する断面について非剛体位置合わせを行った後に、その断面の奥行き方向について複数断面間の変形を内挿することによって、変形側ボリュームVMを変形させて良い。
【0095】
また、位置合わせ処理部163は、非剛体位置合わせを繰り返し実施してもよい。例えば、グリッドが大雑把な変形メッシュMSを用いた非剛体位置合わせを行った後に、グリッドが細かな変形メッシュMSを用いた非剛体位置合わせを行ってもよい。また、変形メッシュMSの細かさが多段階で用意され、位置合わせ処理部163は、グリッドが大雑把な変形メッシュMSを用いた非剛体位置合わせから開始して、徐々に細かな変形メッシュMSを用いた非剛体位置合わせを順次行ってもよい。
【0096】
このように、本実施形態の医用画像処理装置100は、変形側ボリュームVMが変形により到達し得る到達可能領域VMRを含む範囲で変形メッシュMSを生成するので、変形しようとする変形側ボリュームVMが変形不可能となる領域が存在しない。そのため、変形側ボリュームVMを好適に変形させて固定側ボリュームVFに対して非剛体位置合わせできるので、非剛体位置合わせの精度を向上できる。
【0097】
以上、図面を参照しながら各種の実施形態について説明したが、本開示はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本開示の技術的範囲に属するものと了解される。
【0098】
また、医用画像処理装置100は、少なくともプロセッサ140及びメモリ150を備えてよい。ポート110、UI120、及びディスプレイ130は、医用画像処理装置100に対して外付けであってもよい。
【0099】
また、撮像されたCT画像としてのボリュームデータは、CT装置200から医用画像処理装置100へ送信されることを例示した。この代わりに、ボリュームデータが一旦蓄積されるように、ネットワーク上のサーバ(例えば画像データサーバ(PACS)(不図示))等へ送信され、保管されてもよい。この場合、必要時に医用画像処理装置100のポート110が、ボリュームデータを、有線回線又は無線回線を介してサーバ等から取得してもよいし、任意の記憶媒体(不図示)を介して取得してもよい。
【0100】
また、撮像されたCT画像としてのボリュームデータは、CT装置200から医用画像処理装置100へポート110を経由して送信されることを例示した。これは、実質的にCT装置200と医用画像処理装置100とを併せて一製品として成立している場合も含まれるものとする。また、医用画像処理装置100がCT装置200のコンソールとして扱われている場合も含む。
【0101】
また、CT装置200により画像を撮像し、被検体内部の情報を含むボリュームデータを生成することを例示したが、他の装置により画像を撮像し、ボリュームデータを生成してもよい。他の装置は、各種のモダリティ装置を含む。また、PET装置は、他のモダリティ装置と組み合わせて用いられてもよい。
【0102】
また、医用画像処理装置100における動作が規定された医用画像処理方法として表現可能である。また、コンピュータに医用画像処理方法の各ステップを実行させるためのプログラムとして表現可能である。
【0103】
(上記実施形態の概要)
以上のように、上記実施形態の医用画像処理装置100は、処理部160を備える。処理部160は、被検体を示す2次元又は3次元の画素で構成される第1の医用画像データ(例えば固定側ボリュームVF)及び第2の医用画像データ(例えば変形側ボリュームVM)を取得する。処理部160は、固定した第1の医用画像データに対して第2の医用画像データを変形することで、第1の医用画像データと第2の医用画像データとを非剛体位置合わせする非剛体位置合わせ処理を実行する。処理部160は、非剛体位置合わせされた第1の医用画像データと第2の医用画像データとをディスプレイ130(表示部の一例)に表示させる。第2の医用画像データの空間領域は、第1の医用画像データの空間領域に含まれない部分を含む。非剛体位置合わせ処理は、第2の医用画像データが変形により到達し得る領域である到達可能領域VMRを少なくとも含む領域での第2の医用画像データの変形に関する変形情報を生成する処理と、変形情報に基づいて、第2の医用画像データを変形させる処理と、を含む。変形情報は、第1の医用画像データの空間領域に含まれない領域において、第2の医用画像データに含まれる少なくとも1つの画素の移動に関する移動情報を含む。
【0104】
これにより、医用画像処理装置100は、到達可能領域VMRを含む範囲での変形側ボリュームVMの変形に関する変形情報に基づいて、変形側ボリュームVMを変形する。そのため、変形しようとする変形側ボリュームVMが変形不可能となる領域が存在しない。そのため、医用画像処理装置100は、変形側ボリュームVMを好適に変形させて固定側ボリュームVFに対して非剛体位置合わせできるので、非剛体位置合わせの精度を向上できる。
【0105】
また、変形情報は、第1の医用画像データの空間領域と第2の医用画像データの空間領域との和領域の凸包領域VCでの第2の医用画像データの変形に関する変形情報を含んでよい。
【0106】
これにより、医用画像処理装置100は、変形情報として、1度で凸包領域VCの全体での変形に関する変形情報を得て、凸包領域VCの全体で変形側ボリュームVMを変形させて非剛体位置合わせでできる。よって、非剛体位置合わせに要する時間を短縮できる。
【0107】
また、変形情報は、第1の医用画像データの空間領域での第2の医用画像データの変形に関する第1の変形情報と、変形前の第2の医用画像データの空間領域から第1の医用画像データの空間領域を除いた差分領域VSでの第2の医用画像データの変形に関する第2の変形情報と、を含んでよい。
【0108】
これにより、医用画像処理装置100は、従来と同様に固定側ボリュームVFをカバーする領域での変形側ボリュームVMの変形を行ってから、残存した変形対象の領域での変形側ボリュームVMの変形を行う。したがって、医用画像処理装置100は、従来方法で非剛体位置合わせを行った後に、従来方法では不十分であった部分の変形及び非剛体位置合わせも実施できる。
【0109】
また、第1の医用画像データ及び第2の医用画像データは、CT装置により撮像されたボリュームデータの少なくとも一部でよい。これにより、医用画像処理装置100は、同じモダリティ装置で撮像されたCT画像同士を非剛体位置合わせする場合でも、非剛体位置合わせの精度を向上できる。
【0110】
また、第1の医用画像データは、CT装置により撮像された第1のボリュームデータの少なくとも一部でよい。第2の医用画像データは、MRI装置により撮像された第2のボリュームデータの少なくとも一部でよい。これにより、医用画像処理装置100は、異なるモダリティ装置で撮像されたCT画像とMRI画像とを非剛体位置合わせする場合でも、非剛体位置合わせの精度を向上できる。
【0111】
また、第1の医用画像データは、1つ以上の2次元の医用画像データでよい。第2の医用画像データは、3次元の医用画像データでよい。これにより、医用画像処理装置100は、2次元の医用画像データと3次元の医用画像データとを非剛体位置合わせする場合でも、非剛体位置合わせの精度を向上できる。
【産業上の利用可能性】
【0112】
本開示は、複数の医用画像データの非剛体位置合わせの精度を向上できる医用画像処理装置、医用画像処理方法、及び医用画像処理プログラム等に有用である。
【符号の説明】
【0113】
100 医用画像処理装置
110 ポート
120 ユーザインタフェース(UI)
130 ディスプレイ
140 プロセッサ
150 メモリ
160 処理部
161 領域処理部
162 画像生成部
163 位置合わせ処理部
165 表示制御部
200 CT装置
MS 変形メッシュ
MS1 第1の変形メッシュ
MS2 第2の変形メッシュ
ND ノード
VC 凸包領域
VF 固定側ボリューム
VS 差分領域
VM 変形側ボリューム
VMA 変形後ボリュームデータ
VMB 変形前ボリュームデータ
図1
図2
図3A
図3B
図4
図5
図6
図7A
図7B
図8
図9A
図9B
図9C
図10A
図10B
図11A
図11B
図12