特許第6144781号(P6144781)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ インパック メディカル システムズ、 インク.の特許一覧

特許6144781異なるタイプの画像を用いて派生画像を生成する方法及び装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6144781
(24)【登録日】2017年5月19日
(45)【発行日】2017年6月7日
(54)【発明の名称】異なるタイプの画像を用いて派生画像を生成する方法及び装置
(51)【国際特許分類】
   A61B 5/055 20060101AFI20170529BHJP
   A61B 6/03 20060101ALI20170529BHJP
【FI】
   A61B5/05 380
   A61B6/03 377
【請求項の数】32
【全頁数】30
(21)【出願番号】特願2015-555425(P2015-555425)
(86)(22)【出願日】2014年1月29日
(65)【公表番号】特表2016-504167(P2016-504167A)
(43)【公表日】2016年2月12日
(86)【国際出願番号】US2014013535
(87)【国際公開番号】WO2014120727
(87)【国際公開日】20140807
【審査請求日】2016年1月22日
(31)【優先権主張番号】13/753,719
(32)【優先日】2013年1月30日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】515205886
【氏名又は名称】インパック メディカル システムズ、 インク.
【氏名又は名称原語表記】IMPAC MEDICAL SYSTEMS INC.
(74)【代理人】
【識別番号】100087479
【弁理士】
【氏名又は名称】北野 好人
(72)【発明者】
【氏名】ハン シャオ
【審査官】 右▲高▼ 孝幸
(56)【参考文献】
【文献】 米国特許出願公開第2010/0156416(US,A1)
【文献】 Matthias Hofmann et al,MRI-Based attenuation correction for PET/MRI: A novel approach combining pattern recognition and atlas registration,THE JOURNAL OF NUCLEAR MEDICINE,2008年11月,vol.49, no.11, pp.1875-1883
【文献】 Franccois Rousseau et al,A Supervised patch-based approach for human brain labeling,IEEE TRANSACTIONS ON MEDICAL IMAGING,2011年10月,vol.30, no.10, pp.1852-1862
(58)【調査した分野】(Int.Cl.,DB名)
A61B 5/055
(57)【特許請求の範囲】
【請求項1】
第1の様式タイプの第1の画像を、前記第1の様式タイプの第1の参照画像と前記第2の様式タイプの第2の参照画像に基づいて第2の様式タイプの第2の画像に変換する、派生画像を生成する方法であって、
前記第1の様式タイプと前記第2の様式タイプは相違しており、
前記派生画像を生成する方法は、
前記第1の画像内の第1の画像データポイントのセットを選択するステップであって、前記第1の画像データポイントのセットは前記第1の画像の第1の画像データポイントと関連しているステップと、
前記第1の参照画像内の画像データポイントの複数のセットを選択するステップであって、前記第1の参照画像内の前記選択された画像データポイントの各セットは前記第1の参照画像のある参照画像ポイントと関連しており、前記第1の参照画像内の前記選択された画像データポイントの各セットは前記第1の参照画像の異なる参照画像ポイントと関連しているステップと、
前記第1の画像内の前記第1の画像データポイントのセットと前記第1の参照画像内の前記選択された画像データポイントの複数のセットのそれぞれとを比較し、前記第1の画像データポイントと対応する参照画像データポイントとの間の類似をそれぞれ示す複数の類似指標を生成するステップと、
前記複数の類似指標に基づいて、前記第2の参照画像内の複数の参照画像ポイントに関連した複数の重みファクターを計算するステップと、
前記計算された複数の重みファクターに関連する前記第2の参照画像内の複数の参照画像データポイントの重み付けされた組み合わせであって、前記計算された複数の重みファクターに従う重み付けされた組み合わせとして、前記第1の画像のデータポイントに対応する第2の画像データポイントを計算するステップと、
前記第1の画像内の複数の異なるデータポイントに基づいて、前記第2の画像の個々の第2の画像データポイントを繰り返し計算することにより、複数の第2の画像データを含む前記第2の画像を生成するステップと
を含むことを特徴とする派生画像を生成する方法。
【請求項2】
請求項1記載の派生画像を生成する方法において、
前記第1の様式タイプは磁気共鳴(MR)であり、
前記第2の様式タイプはコンピューター断層撮影(CT)である
ことを特徴とする派生画像を生成する方法。
【請求項3】
請求項2記載の派生画像を生成する方法において、
前記第1の参照画像はアトラスMR画像であり、
前記第2の参照画像はアトラスCT画像である
ことを特徴とする派生画像を生成する方法。
【請求項4】
請求項1記載の派生画像を生成する方法において、
前記複数の重みファクターを関連付けられた前記第2の参照画像内の前記参照画像データポイントは、前記第1の参照画像内の前記参照画像データポイントと共に登録される
ことを特徴とする派生画像を生成する方法。
【請求項5】
請求項1記載の派生画像を生成する方法において、
前記派生画像を生成する方法は、前記第1の画像を前記第1の参照画像と共に登録するステップを更に有する
ことを特徴とする派生画像を生成する方法。
【請求項6】
請求項5記載の派生画像を生成する方法において、
前記第1の基準画像内の前記選択された複数の画像データポイントは、前記第1の画像データポイントと共に登録された前記第1の基準画像データポイントに近接して関連付けられている
ことを特徴とする派生画像を生成する方法。
【請求項7】
請求項6記載の派生画像を生成する方法において、
前記第1の画像内の画像データポイントの前記第1のセットは、前記第1の画像データポイントと、前記第1の画像データポイントの近くにある複数の付加的な画像データポイントとを有する
ことを特徴とする派生画像を生成する方法。
【請求項8】
請求項7記載の派生画像を生成する方法において、
前記複数の付加的なデータポイントは、前記第1の画像データポイントを中心としてその周囲にある
ことを特徴とする派生画像を生成する方法。
【請求項9】
請求項1記載の派生画像を生成する方法において、
前記第2の参照画像は派生アトラスCT画像である
ことを特徴とする派生画像を生成する方法。
【請求項10】
請求項9記載の派生画像を生成する方法において、
前記派生画像を生成する方法は、前記派生アトラスCT画像を生成するステップを更に有し、
前記派生アトラスCT画像を生成するステップは、
前記第1の参照画像の画像データポイントのセットとアトラスCT画像の画像データポイントのセットとを比較し、複数のアトラス画像の類似指標を生成するステップであって、前記第1の参照画像の画像データポイントのセットは前記第1の参照画像の画像データポイントを関連付けられているステップと、
前記複数のアトラス画像類似指標に基づいて複数のアトラス画像重みファクターを計算するステップであって、前記計算されたアトラス画像重みファクターは前記アトラスCT画像内の複数の画像データポイントに関連付けられているステップと、
前記計算されたアトラス画像重みファクターに関連付けられた前記画像データポイントの重み付けされた組合せとして派生アトラスCT画像のデータポイントを計算するステップであって、前記重み付けされた組合せは前記計算されたアトラス画像重みファクターに関連付けられているステップと、
前記第1の参照画像の複数の異なる画像データポイントに基づいて、個々の派生アトラスCT画像データポイントを繰り返し計算することにより、複数の派生アトラスCT画像データポイントを含む前記派生アトラスCT画像を生成するステップと、を有する
ことを特徴とする派生画像を生成する方法。
【請求項11】
請求項1記載の派生画像を生成する方法において、
前記第1の画像内で選択された第1の画像データポイントの前記第1のセットと前記第1の参照画像内で選択された画像データポイントの前記複数のセットのそれぞれとを比較するステップは、
前記第1の画像内で選択された画像データポイントの前記第1のセットに対する第1の特徴ベクトルを計算するステップと、
前記第1の参照画像内で選択された画像データポイントの前記複数のセットのそれぞれに対する特徴ベクトルを計算するステップと、
前記第1の特徴ファクターを前記第1の参照画像内で選択された画像データポイントの前記複数のセットに対して計算された前記特徴ベクトルとを比較し、前記類似指標を計算するステップとを有する
ことを特徴とする派生画像を生成する方法。
【請求項12】
請求項1記載の派生画像を生成する方法において、
前記複数の重みファクターを計算するステップは、
生成された前記複数の類似指標のサブセットを選択するステップと、
選択された前記複数の類似指標のサブセットから複数の重みファクターを計算するステップとを有する
ことを特徴とする派生画像を生成する方法。
【請求項13】
請求項12記載の派生画像を生成する方法において、
生成された前記類似指標のサブセットを選択するステップは、
高い類似性を示す類似指標が低い類似性を示す類似指標よりも高く順位付けされるように、前記生成された複数の類似指標を順位付けするステップと、
前記類似指標のセブセットを選択して、前記類似指標の残りよりも高く順位付けされる前記類似指標の規定量を含むようにするステップとを有する
ことを特徴とする派生画像を生成する方法。
【請求項14】
請求項1記載の派生画像を生成する方法において、
前記第1の様式タイプの前記第1の画像から前記第2の様式タイプの前記第2の画像への変換は、前記第1の様式タイプの複数の参照画像と前記第2の様式タイプの複数の参照画像とに基づいており、
前記第1の様式タイプの前記参照画像は複数のアトラスMR画像を有し、前記第2の様式タイプの前記参照画像は複数のアトラスCT画像を有し、各アトラスMR画像は対応するアトラスCT画像に登録し、
画像データポイントの前記第1のセットと画像データポイントの前記複数のセットのそれぞれは比較するステップは、画像データポイントの前記第1のセットと、前記アトラスMR画像のそれぞれに対するアトラスMR画像データポイントの複数のセットとを間を比較する複数の比較処理を実行し、複数の類似指標を生成するステップを有し、前記複数の類似指標は、前記第1の画像データポイントと前記複数のアトラスMR画像の複数の画像データポイントの間の類似性を示し、
計算された複数の前記重みファクターは、複数の前記アトラスCT画像に対する前記アトラスCT画像の複数のデータポイントに関連付けられている
ことを特徴とする派生画像を生成する方法。
【請求項15】
請求項1記載の派生画像を生成する方法において、
前記第1の画像内で選択された画像データポイントの前記第1のセットと前記第1の参照画像内で選択された画像データポイントの前記複数のセットのそれぞれとを比較するステップは、画像データポイントの前記第1のセットと画像データポイントの前記複数のセットとを局所相関係数(LCC)比較技術を用いて比較するステップを有する
ことを特徴とする派生画像を生成する方法。
【請求項16】
請求項1記載の派生画像を生成する方法において、
前記第1の画像内で選択された画像データポイントの前記第1のセットと前記第1の参照画像内で選択された画像データポイントの前記複数のセットのそれぞれとを比較するステップは、画像データポイントの前記第1のセットと画像データポイントの前記複数のセットとをランダムプロジェクション技術を用いて比較するステップを有する
ことを特徴とする派生画像を生成する方法。
【請求項17】
請求項1記載の派生画像を生成する方法において、
前記派生画像を生成する方法は、生成された前記第2の画像を表示するステップを更に有する
ことを特徴とする派生画像を生成する方法。
【請求項18】
第1の様式タイプの第1の画像を、前記第1の様式タイプの第1の参照画像と前記第2の様式タイプの第2の参照画像に基づいて第2の様式タイプの第2の画像に変換する、派生画像を生成する装置であって、
前記第1の様式タイプと前記第2の様式タイプは相違しており、
前記派生画像を生成する装置は、
前記第1の画像内の第1の画像データポイントのセットを選択するステップであって、前記第1の画像データポイントのセットは前記第1の画像の第1の画像データポイントと関連しているステップと、
前記第1の参照画像内の画像データポイントの複数のセットを選択するステップであって、前記第1の参照画像内の前記選択された画像データポイントの各セットは前記第1の参照画像のある参照画像ポイントと関連しており、前記第1の参照画像内の前記選択された画像データポイントの各セットは前記第1の参照画像の異なる参照画像ポイントと関連しているステップと、
前記第1の画像内の前記第1の画像データポイントのセットと前記第1の参照画像内の前記選択された画像データポイントの複数のセットのそれぞれとを比較し、前記第1の画像データポイントと対応する参照画像データポイントとの間の類似をそれぞれ示す複数の類似指標を生成するステップと、
前記複数の類似指標に基づいて、前記第2の参照画像内の複数の参照画像ポイントに関連した複数の重みファクターを計算するステップと、
前記計算された複数の重みファクターに関連する前記第2の参照画像内の複数の参照画像データポイントの重み付けされた組み合わせであって、前記計算された複数の重みファクターに従う重み付けされた組み合わせとして、前記第1の画像のデータポイントに対応する第2の画像データポイントを計算するステップと、
前記第1の画像内の複数の異なるデータポイントに基づいて、前記第2の画像の個々の第2の画像データポイントを繰り返し計算することにより、複数の第2の画像データを含む前記第2の画像を生成するステップと
を実行するように構成されているプロセッサーを有する
ことを特徴とする派生画像を生成する装置。
【請求項19】
請求項18記載の派生画像を生成する装置において、
前記第1の様式タイプは磁気共鳴(MR)であり、
前記第2の様式タイプはコンピューター断層撮影(CT)である
ことを特徴とする派生画像を生成する装置。
【請求項20】
請求項19記載の派生画像を生成する装置において、
前記第1の参照画像はアトラスMR画像であり、
前記第2の参照画像はアトラスCT画像である
ことを特徴とする派生画像を生成する装置。
【請求項21】
請求項18記載の派生画像を生成する装置において、
前記複数の重みファクターを関連付けられた前記第2の参照画像内の前記参照画像データポイントは、前記第1の参照画像内の前記参照画像データポイントと共に登録される
ことを特徴とする派生画像を生成する装置。
【請求項22】
請求項18記載の派生画像を生成する装置において、
前記プロセッサーは、前記第1の画像を前記第1の参照画像と共に登録するステップを更に実行するように構成されている
ことを特徴とする派生画像を生成する装置。
【請求項23】
請求項22記載の派生画像を生成する装置において、
前記第1の基準画像内の前記選択された複数の画像データポイントは、前記第1の画像データポイントと共に登録された前記第1の基準画像データポイントに近接して関連付けられている
ことを特徴とする派生画像を生成する装置。
【請求項24】
請求項23記載の派生画像を生成する装置において、
前記第1の画像内の画像データポイントの前記第1のセットは、前記第1の画像データポイントと、前記第1の画像データポイントの近くにある複数の付加的な画像データポイントとを有する
ことを特徴とする派生画像を生成する装置。
【請求項25】
請求項24記載の派生画像を生成する装置において、
前記複数の付加的なデータポイントは、前記第1の画像データポイントを中心としてその周囲にある
ことを特徴とする派生画像を生成する装置。
【請求項26】
請求項18記載の派生画像を生成する装置において、
前記第2の参照画像は派生アトラスCT画像である
ことを特徴とする派生画像を生成する装置。
【請求項27】
請求項26記載の派生画像を生成する装置において、
前記プロセッサーは、前記派生アトラスCT画像を生成するステップを更に実行するように構成されており、
前記派生アトラスCT画像を生成するステップは、
前記第1の参照画像の画像データポイントのセットとアトラスCT画像の画像データポイントのセットとを比較し、複数のアトラス画像の類似指標を生成するステップであって、前記第1の参照画像の画像データポイントのセットは前記第1の参照画像の画像データポイントを関連付けられているステップと、
前記複数のアトラス画像類似指標に基づいて複数のアトラス画像重みファクターを計算するステップであって、前記計算されたアトラス画像重みファクターは前記アトラスCT画像内の複数の画像データポイントに関連付けられているステップと、
前記計算されたアトラス画像重みファクターに関連付けられた前記画像データポイントの重み付けされた組合せとして派生アトラスCT画像のデータポイントを計算するステップであって、前記重み付けされた組合せは前記計算されたアトラス画像重みファクターに関連付けられているステップと、
前記第1の参照画像の複数の異なる画像データポイントに基づいて、個々の派生アトラスCT画像データポイントを繰り返し計算することにより、複数の派生アトラスCT画像データポイントを含む前記派生アトラスCT画像を生成するステップと、を有する
ことを特徴とする派生画像を生成する装置。
【請求項28】
請求項18記載の派生画像を生成する装置において、
前記プロセッサーは、前記第1の画像内で選択された第1の画像データポイントの前記第1のセットと前記第1の参照画像内で選択された画像データポイントの前記複数のセットのそれぞれとを比較するステップを実行するように構成されており、
前記第1のセットと前記複数のセットのそれぞれは比較するステップは、
前記第1の画像内で選択された画像データポイントの前記第1のセットに対する第1の特徴ベクトルを計算するステップと、
前記第1の参照画像内で選択された画像データポイントの前記複数のセットのそれぞれに対する特徴ベクトルを計算するステップと、
前記第1の特徴ファクターを前記第1の参照画像内で選択された画像データポイントの前記複数のセットに対して計算された前記特徴ベクトルとを比較し、前記類似指標を計算するステップとを有する
ことを特徴とする派生画像を生成する装置。
【請求項29】
請求項18記載の派生画像を生成する装置において、
前記プロセッサーは、前記複数の重みファクターを計算するステップを更に実行するように構成されており、
前記複数の重みファクターを計算するステップは、
生成された前記複数の類似指標のサブセットを選択するステップと、
選択された前記複数の類似指標のサブセットから複数の重みファクターを計算するステップとを有する
ことを特徴とする派生画像を生成する装置。
【請求項30】
請求項29記載の派生画像を生成する装置において、
前記プロセッサーは、生成された前記類似指標のサブセットを選択するステップを更に実行するように構成されており、
生成された前記類似指標のサブセットを選択するステップは、
高い類似性を示す類似指標が低い類似性を示す類似指標よりも高く順位付けされるように、前記生成された複数の類似指標を順位付けするステップと、
前記類似指標のセブセットを選択して、前記類似指標の残りよりも高く順位付けされる前記類似指標の規定量を含むようにするステップとを有する
ことを特徴とする派生画像を生成する装置。
【請求項31】
請求項18記載の派生画像を生成する装置において、
前記プロセッサーは、前記第1の様式タイプの前記第1の画像から前記第2の様式タイプの前記第2の画像への変換が、前記第1の様式タイプの複数の参照画像と前記第2の様式タイプの複数の参照画像とに基づいて変換するように構成されており、
前記第1の様式タイプの前記参照画像は複数のアトラスMR画像を有し、前記第2の様式タイプの前記参照画像は複数のアトラスCT画像を有し、各アトラスMR画像は対応するアトラスCT画像に登録し、
前記プロセッサーは、画像データポイントの前記第1のセットと画像データポイントの前記複数のセットのそれぞれは比較するステップが、画像データポイントの前記第1のセットと、前記アトラスMR画像のそれぞれに対するアトラスMR画像データポイントの複数のセットとを間を比較する複数の比較処理を実行し、複数の類似指標を生成するステップを有し、前記複数の類似指標は、前記第1の画像データポイントと前記複数のアトラスMR画像の複数の画像データポイントの間の類似性を示すように構成されており、
計算された複数の前記重みファクターは、複数の前記アトラスCT画像に対する前記アトラスCT画像の複数のデータポイントに関連付けられている
ことを特徴とする派生画像を生成する装置。
【請求項32】
コンピューターに、第1の様式タイプの第1の画像を、前記第1の様式タイプの第1の参照画像と、前記第1の様式タイプと相違する第2の様式タイプの第2の参照画像とに基づいて、前記第2の様式タイプの第2の画像に変換するオペレーションを実行させるためのプログラムを記録したコンピューター読み取り可能な記録媒体であって、
前記オペレーションは、
前記第1の画像内の第1の画像データポイントのセットを選択するステップであって、前記第1の画像データポイントのセットは前記第1の画像の第1の画像データポイントと関連しているステップと、
前記第1の参照画像内の画像データポイントの複数のセットを選択するステップであって、前記第1の参照画像内の前記選択された画像データポイントの各セットは前記第1の参照画像のある参照画像ポイントと関連しており、前記第1の参照画像内の前記選択された画像データポイントの各セットは前記第1の参照画像の異なる参照画像ポイントと関連しているステップと、
前記第1の画像内の前記第1の画像データポイントのセットと前記第1の参照画像内の前記選択された画像データポイントの複数のセットのそれぞれとを比較し、前記第1の画像データポイントと対応する参照画像データポイントとの間の類似をそれぞれ示す複数の類似指標を生成するステップと、
前記複数の類似指標に基づいて、前記第2の参照画像内の複数の参照画像ポイントに関連した複数の重みファクターを計算するステップと、
前記計算された複数の重みファクターに関連する前記第2の参照画像内の複数の参照画像データポイントの重み付けされた組み合わせであって、前記計算された複数の重みファクターに従う重み付けされた組み合わせとして、前記第1の画像のデータポイントに対応する第2の画像データポイントを計算するステップと、
前記第1の画像内の複数の異なるデータポイントに基づいて、前記第2の画像の個々の第2の画像データポイントを繰り返し計算することにより、複数の第2の画像データを含む前記第2の画像を生成するステップとを含む
ことを特徴とするコンピューター読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は異なるタイプの画像を用いて派生画像を生成する方法及び装置に関する。
【背景技術】
【0002】
[0001]
第1のタイプの第2の画像を処理して、第1の画像から自動的に第2のタイプの画像を導出する効果的な技術が当技術分野で必要とされている。例えば、画像のタイプ/様式が磁気共鳴(MR)である新しい患者の画像を、画像のタイプ/様式がコンピューター断層撮影(CT)である対応する派生画像に変換することが非常に望まれている。そのような変換は「擬似CT生成」として特徴付けられる。CT画像のデータポイントに含まれるCTデータは、MR画像のデータポイントに含まれるMRデータとは異なる患者の特徴を示しているので、医療従事者が、患者の注目画像領域の磁気共鳴(MR)の特徴とコンピューター断層撮影(CT)の特徴の両方を評価して病気診断の最適な治療を決定することは非常に有用である。派生CT画像はまた放射線治療計画における患者線量計算に有用に用いることができる。MR画像から正確な擬似CT画像を生成することより、患者は、コンピューター断層撮影(CT)による追加の放射線被曝から免れ、追加のコンピューター断層撮影(CT)を実行することによる時間と費用をかけずにすむことができる。
【0003】
[0002]
そのような画像導出を容易にするために、アトラス画像が採用される。アトラス画像は、新しい画像を変換して派生画像をどのように生成するかを容易にするための基準として用いられる既存の画像である。例えば、擬似CT生成の状況において、アトラスMR画像とアトラスCT画像とは、患者の新たなMR画像から派生CT画像を生成するさめの基準として用いることができる。アトラス画像が既に解析され注目領域の構造が特定されている場合、アトラス画像が、新たなMR画像の対象である同じ患者に対する同じ注目画像領域の従前に生成された画像となることがよく知られている。例えば、多くの処置又は診断において、患者は、処置・診断の過程において様々な相違する場面において撮像される必要がある。しかし、この必要はない場合がある。例えば、アトラス画像が同じ人の画像である必要はない。
【発明の概要】
【発明が解決しようとする課題】
【0004】
[0003]
アトラスMR画像とアトラスCT画像は、登録技術(アトラスMR画像とアトラスCT画像が「registered」又は「registration」と称されるような登録技術)により互いに整列させることが望ましい。そのような登録では、対象者の特定の位置に対するアトラスMR画像の所定の点が、同じ特定の位置に対するアトラスCT画像の所定の点にマッピングされ、その逆も同様である。しかしながら、この登録ではある程度の誤りが存在することがわかっている。そのように、アトラスMR画像とアトラスCT画像間の登録は完璧ではない。
【0005】
[0004]
例えば、アトラスMR画像とアトラスCT画像間登録に誤りがなく、新たな患者のMR画像がアトラスMR画像に完璧に登録されるという理想化された仮定の状況では、患者のMR画像の各点を登録されたアトラスMR画像の対応する点にマッピングし、アトラスMR画像のその点を登録されたアトラスCT画像の対応する点にパッピングすることにより、患者のMR画像から患者のCT画像に簡単に導出できることが導かれる。アトラスCT画像のマッピングされたデータポイントに対するCT情報と、アトラスMR画像のマッピングされたデータポイントに対するMR画像との間の関係は、患者のMR画像のデータポイントに対するMR情報との結合に用いられ、派生されるCT画像に対するデータポイントを計算することができる。しかしながら、そのような単純化された変換技術は、患者からアトラスへの登録とアトラスからアトラスへの登録との両方の画像登録に伴うエラーに対する耐性を計算していないので、本願発明者はこの技術に改良の余地があると考えた。
【課題を解決するための手段】
【0006】
[0005]
この目的のために、本願発明者は、第1のタイプの第1の画像を、第2の画像及び第3の画像に基づいて第2のタイプの派生画像に変換する、派生画像を生成する方法であって、前記第2の画像は前記第1のタイプであり、前記第3の画像は前記第2のタイプであり、前記第2の画像と前記第3の画像とは互いに登録されており、前記第1の画像は複数のデータポイントを有し、前記第1の画像の各データポイントは前記第1の画像に対する前記第1のタイプのデータで有し、前記第2の画像は複数のデータポイントを有し、前記第2の画像の各データポイントは前記第2の画像に対する前記第1のタイプのデータを有し、前記第3の画像は複数のデータポイントを有し、前記第3の画像の各データポイントは前記第3の画像に対する前記第2のタイプのデータを有し、前記派生画像を生成する方法は、前記第1の画像のひとつのパッチと前記第2の画像の複数のパッチとの間の複数の比較処理を実行して、前記第1の画像のひとつのデータポイントと前記第2の画像の複数のデータポイントとの間の類似を示す複数の類似指標を生成し、前記複数の類似指標に基づいて、前記第3の画像の複数のデータポイントに関連した複数の重みファクターを計算し、計算された前記重みファクターに関連する前記第3の画像の複数のデータポイントの重み付けされた組み合わせであって、計算された前記重みファクターに従う重み付けされた組み合わせとして、前記第1の画像のデータポイントに対応する派生画像のデータポイントを計算し、前記第1の画像の複数の異なるデータポイントに対して、前記複数の比較処理を実行するステップと前記複数の重みファクターを計算するステップと前記派生画像のデータポイントを計算するステップとを繰り返し、それにより、計算された前記派生画像の複数のデータポイントから前記派生画像を生成し、前記変換する方法のステップはプロセッサーより実行されることを特徴とする派生画像を生成する方法を開示する。
【0007】
[0006]
本願明細書において用いられる、画像に関する用語「パッチ」とは画像における複数のデータポイントのサブセットのことである。したがって、第1の画像のパッチを第2の画像のパッチと比較することにより、より多くのデータポイントを用いることが、第1の画像のマップの所定のデータポイントが第2の画像の所定のポイントにいかに良く合致するかを評価することと考えられる。そのようなパッチ比較に基にした重み付けとの組み合わせは、画像登録におけるエラーの存在をより良く調整する効果がある。すなわち、パッチ比較に基にした重み付けとの組み合わせは、画像のより広い部分から情報を集めることになるので、画像登録エラーに対して強いことが期待される。
【0008】
[0007]
また、本願発明者は、第1のタイプの第1の画像を、第2の画像及び第3の画像に基づいて第2のタイプの派生画像に変換する、派生画像を生成する装置であって、前記第2の画像は前記第1のタイプであり、前記第3の画像は前記第2のタイプであり、前記第2の画像と前記第3の画像とは互いに登録されており、前記第1の画像は複数のデータポイントを有し、前記第1の画像の各データポイントは前記第1の画像に対する前記第1のタイプのデータで有し、前記第2の画像は複数のデータポイントを有し、前記第2の画像の各データポイントは前記第2の画像に対する前記第1のタイプのデータを有し、前記第3の画像は複数のデータポイントを有し、前記第3の画像の各データポイントは前記第3の画像に対する前記第2のタイプのデータを有し、前記派生画像を生成する装置は、(1)前記第1の画像のひとつのパッチと前記第2の画像の複数のパッチとの間の複数の比較処理を実行して、前記第1の画像のひとつのデータポイントと前記第2の画像の複数のデータポイントとの間の類似を示す複数の類似指標を生成し、(2)前記複数の類似指標に基づいて、前記第3の画像の複数のデータポイントに関連した複数の重みファクターを計算し、(3)計算された前記重みファクターに関連する前記第3の画像の複数のデータポイントの重み付けされた組み合わせであって、計算された前記重みファクターに従う重み付けされた組み合わせとして、前記第1の画像のデータポイントに対応する派生画像のデータポイントを計算し、(4)前記第1の画像の複数の異なるデータポイントに対して、前記複数の比較処理を実行するステップと前記複数の重みファクターを計算するステップと前記派生画像のデータポイントを計算するステップとを繰り返し、それにより、計算された前記派生画像の複数のデータポイントから前記派生画像を生成するように構成されたプロセッサーを有することを特徴とする派生画像を生成する装置を開示する。
【0009】
[0008]
更に、本願発明者は、第1のタイプの第1の画像を、第2の画像及び第3の画像に基づいて第2のタイプの派生画像に変換する、コンピュータプログラム製品であって、前記第2の画像は前記第1のタイプであり、前記第3の画像は前記第2のタイプであり、前記第2の画像と前記第3の画像とは互いに登録されており、前記第1の画像は複数のデータポイントを有し、前記第1の画像の各データポイントは前記第1の画像に対する前記第1のタイプのデータで有し、前記第2の画像は複数のデータポイントを有し、前記第2の画像の各データポイントは前記第2の画像に対する前記第1のタイプのデータを有し、前記第3の画像は複数のデータポイントを有し、前記第3の画像の各データポイントは前記第3の画像に対する前記第2のタイプのデータを有し、(1)前記第1の画像のひとつのパッチと前記第2の画像の複数のパッチとの間の複数の比較処理を実行して、前記第1の画像のひとつのデータポイントと前記第2の画像の複数のデータポイントとの間の類似を示す複数の類似指標を生成し、(2)前記複数の類似指標に基づいて、前記第3の画像の複数のデータポイントに関連した複数の重みファクターを計算し、(3)計算された前記重みファクターに関連する前記第3の画像の複数のデータポイントの重み付けされた組み合わせであって、計算された前記重みファクターに従う重み付けされた組み合わせとして、前記第1の画像のデータポイントに対応する派生画像のデータポイントを計算し、(4)前記第1の画像の複数の異なるデータポイントに対して、前記複数の比較処理を実行するステップと前記複数の重みファクターを計算するステップと前記派生画像のデータポイントを計算するステップとを繰り返し、それにより、計算された前記派生画像の複数のデータポイントから前記派生画像を生成することをプロセッサーに実行させる、非一時的なコンピューター可読媒体上にある複数の命令を有することを特徴とするコンピュータプログラム製品を開示する。
【0010】
[0009]
他の実施形態において、本願発明者は、第1のタイプの第1の画像を第2のタイプの派生画像に変換する技術であって、複数の類似指標が第1の画像の複数のパッチと第1のタイプの第1のアトラス画像の複数のパッチとの間で計算される技術を開示する。重みファクターは計算された類似指標に基づいて計算される。派生画像の少なくとも複数のデータポイントのそれぞれが第2のアトラス画像の複数のデータポイントの関数となるように、これら重みファクターは第2のアトラス画像の複数のデータポイントに適用され、派生画像の複数のデータポイントを計算する。そのような技術はMR画像から擬似CT生成に用いられる。
【0011】
[0010]
更に他の実施形態において、本願発明者は、第1のタイプの第1のアトラス画像を第2のタイプの派生画像に変換する方法であって、複数の類似指標が第1のタイプの第1のアトラス画像の複数のパッチと第2のタイプの第2のアトラス画像の複数のパッチとの間で計算される。重みファクターは計算された類似指標に基づいて計算される技術を開示する。派生画像の少なくとも複数のデータポイントのそれぞれが第2のアトラス画像の複数のデータポイントの関数となるように、これら重みファクターは第2のアトラス画像の複数のデータポイントに適用され、派生画像の複数のデータポイントを計算する。
【0012】
[0011]
本願発明の上記及び他の特徴や利点は、後述する明細書及び図面を参照して当業者にとって明らかである。
【図面の簡単な説明】
【0013】
図1図1は、本発明の典型的な実施形態を示す図である。
図2図2は、本発明の典型的な実施形態において処理装置により実行される典型的な処理フローを示す図である。
図3図3は、本発明の典型的な擬似CT生成の実施形態を示す図である。
図4図4は、図2の処理フローの典型的な実施形態を示す図である。
図5図5は、患者MR画像に対する典型的なパッチを示す図である。
図6A図6Aは、典型的な患者MR画像パッチをアトラスMR画像の様々な典型的なパッチと比較する例を示す図である。
図6B図6Bは、典型的な患者MR画像パッチをアトラスMR画像の様々な典型的なパッチと比較する例を示す図である。
図6C図6Cは、典型的な患者MR画像パッチをアトラスMR画像の様々な典型的なパッチと比較する例を示す図である。
図6D図6Dは、典型的な患者MR画像パッチをアトラスMR画像の様々な典型的なパッチと比較する例を示す図である。
図6E図6Eは、典型的な患者MR画像パッチをアトラスMR画像の様々な典型的なパッチと比較する例を示す図である。
図6F図6Fは、典型的な患者MR画像パッチをアトラスMR画像の様々な典型的なパッチと比較する例を示す図である。
図6G図6Gは、典型的な患者MR画像パッチをアトラスMR画像の様々な典型的なパッチと比較する例を示す図である。
図6H図6Hは、典型的な患者MR画像パッチをアトラスMR画像の様々な典型的なパッチと比較する例を示す図である。
図6I図6Iは、典型的な患者MR画像パッチをアトラスMR画像の様々な典型的なパッチと比較する例を示す図である。
図7図7は、アトラスMR画像とアトラスCT画像のポイントに関連して、患者MR画像の所定のポイントXiに対するパッチ比較からの類似スコアを示す典型的なデータ構造を示す図である。
図8図8は、様々なアトラス画像のポイントに対して計算された重みファクターで拡張された図7の典型的なデータ構造を示す図である。
図9図9は、患者MR画像の所定のポイントXiに対する派生CT値が図8のデータ構造からどのように計算されるかを示す図である。
図10A図10Aは、マルチアトラスMR−CT画像ペアが患者MR画像からCT画像を導出するのに用いられる典型的な実施形態を示す図である。
図10B図10Bは、図10Aのマルチアトラスのポイントに関連して、患者MR画像の所定のポイントXiに対するパッチ比較からの類似スコアを示す図である。
図11図11は、類似スコアのサブセットが重みファクターを計算する典型的な実施形態を示す図である。
図12図12は、パッチ比較重み付け組合せ技術がアトラスMR画像の登録において派生CT画像を生成するのに用いられ、派生CT画像が患者CT画像を導出するのに用いられる典型的な実施形態を示す図である。
図13図13は、図12の実施形態を実行する典型的な処理フローを示す図である。
図14図14は、派生アトラスCT画像の生成に関連させて図13の処理フローの典型的な実施形態を示す図である。
図15図15は、アトラスMR画像に対する典型的なパッチを示す図である。
図16図16は、図15のアトラス画像パッチが図14の処理フローの一部としてアトラスCT画層のパッチと比較される実施例を示す図である。
図17図17は、比較されるパッチの特徴ベクトルに基づく典型的なパッチ比較技術を示す図である。
図18図18は、パッチに関する特徴ベクトルを計算する典型的な配列を示す図である。
【発明を実施するための形態】
【0014】
[0031]
図1に本発明の典型的な実施形態を示す。図1に示すように、プロセッサー100は、処理論理回路104を実装するように構成されている。処理論理回路104により、アトラス画像(Type 1)106とアトラス画像(Type 2)108を用いて、第1のタイプの第1の画像(Type 1)110が第2のタイプの派生画像(Type 2)112に変換される。これら画像は2次元(2D)画像でも3次元(3D)画像でもよい。2次元画像(2D)では、画像データの各ポイントはピクセル(pixel)として参照される。3次元画像(3D)では、画像データの各ポイントはボクセル(voxel)として参照される。
【0015】
[0032]
プロセッサー100は、後述する機能を実行する十分な処理能力が有するいかなるプロセッサーでもよい。プロセッサー100はマルチプロセッサーでもよく、任意にネットワークを介して配信されるプロセッサーでもよい。処理論理回路104に実行させるプログラム命令は、プロセッサー100によりアクセスされ実行される非一時的なコンピューター読取可能な記憶媒体(例えば、メモリ102)に格納される。メモリ102は、マルチメモリ装置でもよく、任意にマルチの配信されるメモリ装置及び/又は異なるタイプのメモリ装置でもよい。
【0016】
[0033]
図2に処理論理回路104における典型的な処理フローを示す。ステップ200では、プロセッサーが、新たな画像110のパッチ(patch)と第1のタイプのアトラス画像106のパッチ(patch)とを比較する。ステップ202では、プロセッサーが、これらパッチ比較(patch comparison)に基づいて複数の類似指標(similarity indicator)を計算する。各類似指標は、新たな画像110の所定のパッチが第1のタイプのアトラス画像106の所定のパッチに対してどのように類似しているかを示す。これら類似指標から、プロセッサーが重みファクター(weight factor)を計算する(ステップ204)。これら重みファクターは、第2のタイプのアトラス画像の所定のデータポイント(data point)が、第2のタイプの派生画像112の新たなデータポイント(data point)の計算上、どの程度影響するかを支配する。ステップ206では、プロセッサーが、第2のタイプのアトラス画像108からのデータと組み合わせて重みファクターに基づいて第2のタイプの派生画像112を計算する。
【0017】
[0034]
図3に擬似CT生成を実行するように構成された処理論理回路104の典型的な実施形態を示す。図1の典型的の実施形態を参照するに、第1のタイプの画像診断技術は磁気共鳴(MR)であり、第2のタイプの画像診断方法はコンピューター断層撮影(CT)である。図3の実施形態では、変換されるべき画像は患者のMR画像304である。アトラス画像は、アトラスMR画像300とアトラスCT画像302となる。これらアトラス画像300、302は互いに登録されることが望ましい。図3では、処理論理回路104は、これら画像300、302、304を処理し、派生患者CT画像306を生成する。この実施形態はMR画像から擬似CT生成するのに用いられるが、他の画像タイプ/画像診断も用いることができる。例えば、実施者はここで述べる技術を使用してMR画像又はCT画像から超音波画像を導出してもよい。
【0018】
[0035]
図4図3の処理論理回路104の典型的な処理フローを示す。ステップ400では、患者MR画像304がアトラスMR画像300と共に登録される。多数の登録技術のいずれも使用することができる。例えば、変形登録(deformable registration, OIR)を使用することができる。画像登録技術の他の例は、次の論文「Andersson et al., "Evaluation of 14 nonlinear deformation algorithms applied to human brain MRI registration", Neuroimage 46: 786-802, 2009」に記載されている。この論文の記載全体はこの引用により本明細書に含まれる。画像登録技術の更に他の例は、次の論文「Avants, et al., "Symmetric diffeomorphic image registration with cross-correlation: evaluating automated labeling of elderly and neurogenerative brain", Med. Image Anal 12, 26-41, 2008」や「Liao et al, "Feature based nonrigid brain MR image registration with symmetric alpha stable filters", IEEE Trans. Med. Imag,, 29(1); 106-119, 2010」に記載されている。これら論文の全体の記載はこの引用により本明細書に含まれる。この登録プロセスの結果、患者MR画像300の各データポイントXiは、アトラスMR画像の対応する各データポイントX'iを有する。
【0019】
[0036]
ステップ402では、プロセッサーは変数iとjを初期化する。変数iは、患者MR画像304のデータポイントを特定する。変数jは、いかに多くのパッチの比較が患者MR画像304の所定ポイントXiについてなされるかを管理するのに用いられる。
【0020】
[0037]
ステップ404では、プロセッサーが、患者MR画像304のデータポイントXiについての患者MR画像304内のパッチを選択する。選択されたMR画像パッチは、データポイントXi近くの患者MR画像304からの近傍のデータポイントである。例えば、図5の実施例では、複数のデータポイント500からなる患者MR画像304に対して、選択された患者MR画像パッチ502は、データポイントXiを囲む複数のデータポイントN1、N2、・・・である。図5に示されたパッチ502の形状や大きさは一例に過ぎない。実施者は、パッチ502として所望の大きさ及び/又は形状の定義することができる。例えば、パッチの大きさが小さくなるにしたがい類似比較の信頼性は減少する。小さなパッチの大きさは画像ノイズに敏感になるので。一方、パッチの大きさが大きくなるにしたがい信頼性は悪化する。類似比較がボクセル又はピクセルの相違に敏感でなくなるので。大きなパッチは、比較の計算に長い時間を必要として待ち時間によくない影響を与える。したがって、実施者は、そのようなことを考慮して、状況にあった適正なパッチの大きさを選択すべきである。典型的には、パッチの形状を対象であるボクセル(又はピクセル)が中央に位置する領域として定義する。形状は、効率的な選択として、箱形状は球形状が望ましい(例えば、箱形状はその大きさと長さによって単純に記述できるし、球形状はその半径により単純に記述できる)。
【0021】
[0038]
ステップ406では、プロセッサーは、アトラスMR画像300のデータポイントX'iについてのアトラスMR画像300のパッチを選択する。データポイントX'iは、ステップ400での登録の結果として患者MR画像のデータポイントXiに対応するアトラスMR画像のデータポイントである。選択されたアトラスMR画像のパッチは、データポイントX'i近くのアトラスMR画像300からの近傍のデータポイントである。例えば、図6Aの実施例では、複数のデータポイント600を有するアトラスMR画像300に対して、選択されたアトラスMR画像のパッチ602は、データポイントX'iを取り囲む複数のデータポイントN'1、N'2、・・・である。図5のように、図6に示されたパッチ602の形状や大きさは一例に過ぎない。実施者は、パッチ602として所望の大きさ及び/又は形状の定義することができる。望ましくは、パッチ602の大きさ及び形状はパッチ502の大きさ及び形状と合致している。
【0022】
[0039]
ステップ408では、選択されたMR画像のパッチ(パッチ502)は、選択されたアトラスMR画像のパッチ(パッチ602)と比較される。この比較は、類似スコア(ステップ410、図6A参照)のような類似指標を計算することとなる。パッチ502とパッチ602を比較して類似を評価し定量化するには、多くの技術のいずれも使用する事ができる。
【0023】
[0040]
例えば、パッチ50とパッチ602を様々な技術を用いて直接比較することができる。一例として、画素値の差分の自乗和である誤差自乗和(sum-of-squared-intensity difference:SSD)技術を、パッチ間の類似を定量化する、パッチ502とパッチ602のデータポイントに存在する明度データに適用することができる。しかし、本願発明者は、より有用な直接比較技術は、局所相関係数(local correlation coefficient (LCC))比較技術であることを見出した。局所相関係数(LCC)比較技術は、次式により類似スコア(LCC)を計算する。
【0024】
【数1】
【0025】
この式において:
Sは、患者MR画像を示す。
【0026】
Aiは、アトラスMR画像を示す。
【0027】
xは、検討中のポイントXiを示す。
【0028】
B(x)は、ポイントXiが中心であるパッチを示す。同じパッチの大きさと形状が患者MR画像とアトラスMR画像に対して用いられる。
【0029】
【数2】
【0030】
Sは、B(x)内のSの局所的平均を示す。Sは次式で計算される。
【0031】
【数3】
【0032】
Aiは、B(x)内のAiの局所的平均を示す。Aiは次式で計算される。
【0033】
この実施例のLCCスコアは[−1、1]の範囲で価値を証明する。#B(x)は、Bにおけるポイントの数を示している。
【0034】
[0047]
他の実施例として、パッチ502とパッチ602とを、パッチ502とパッチ602から導出された特徴的ベクターデータを用いて間接的に比較してもよい。ベクターデータの例については、図17、18を参照して後述する。
【0035】
[0048]
更に、パッチ比較はランダムプロジェクション(random projection)技術を用いて行うことができる。ランダムプロジェクションは次元を削減する方法である。パッチ比較を実行するためにランダムプロジェクションを用いる動機は計算速度の改善である。パッチは信号であり、それらの類似度の計算(すなわち、それらの間の距離を計算することと同等であり、長い距離は低い類似度を意味する)は、信号の次元や長さが大きい場合(すなわち、パッチの大きさが大きい場合)には、遅くなる。次の論文「Bingham, et al., "Random projection in dimensionality reduction: applications to image and text data", Knowledge Discovery and Data Mining, pages 245-250, 2001(この論文の記載全体はこの引用により本明細書に含まれる)」に記載されているように、ランダムプロジェクションは次元削減の強力な方法として現れている。ランダムプロジェクション(RP)において、元の高次元データは、その列が単位長さであるランダムマトリックスを用いて低次元の部分空間上に投影される。ランダムプロジェクション(RP)は、高次元のデータセットの次元を削減するのに、計算効率がよく十分正確な方法とされている。したがって、ランダムプロジェクション(RP)をパッチ比較に適用する時、パッチは低次元部分空間に投影され、類似性評価はその部分空間において実行される。
【0036】
[0049]
したがって、ステップ410の結果は、パッチ502とパッチ602間の類似性を示す類似スコアを生成する。
【0037】
[0050]
ステップ412では、プロセッサーが、変数j=Mであるかチェックする。Mは、実施者により選ばれたパラメーターであり、パッチ502について、どのくらい多くのパッチ比較がなされるかを定める。アトラスMR画像とアトラスCT画像間のような登録エラーを繰り越され易くなるけれど、極端なケース、Mは1である。それはそれとして、より大きい値のMを用い、より多くのデータポイントを考慮することが望ましい。Mの値は、サーチ領域の大きさにより決定される。パッチと同様に、サーチ領域は、注目ポイントを中心とした箱形状又は球形状として定義される。典型的には、これは、患者MR画像における考慮下のポイントと共に登録されるアトラスMR画像のポイントである。そして、Mが1より大きい場合、このサーチ領域の大きさはパッチの大きさより大きい。どのような大きさのサーチ領域を選択するかは、実施者が画像登録をどの程度信頼性あるものと信じているかの関数である。例えば、患者MR画像とアトラスMR画像間の登録において、かなりの登録エラーがあると考えるなら、これは、より大きなサーチ領域が使用されるべきであることを示す。他方向の極端な場合には、Mは、パッチ502がアトラスMR画像全体を包囲するパッチと効率よく比較されるのに十分な大きさとなりうる。しかしながら、そのような大きなMは、両極端の間の値より望ましくない。何故なら、もしMが大きすぎると、処理計算時間が遅くなるだけでなく、誤った類似性を見つける可能性が増大すると思われるからである。もし変数jがMでないなら、処理フローはステップ414に進む。
【0038】
[0051]
ステップ414では、プロセッサーは、パラメーターjをインクリメントし、アトラスEM画像において次のパッチにシフトさせる。この次のパッチは、異なるアトラスMR画像データポイントの周囲における、アトラスMR画像300のパッチである。例えば、図6Bは、アトラスMR画像の次のパッチが、ポイントN'1を中心として取り囲むパッチ604である具体例を示す。ポイントN'1は、パッチ604に対応するアトラスMR画像のデータポイントとして特徴付けられる。図に示すように、パッチ604は、データポイントX'iの近くであるアトラスMR画像のデータポイント600の異なるセットを取り囲む。アトラスパッチからアトラスパッチにシフトするためには、処理フローでは、アトラスパッチの中心であるポイントとして、サーチ領域内の様々なポイントを選択することができる。これは必要ではないが、サーチ領域の全てのポイントはアトラスパッチの中心点として用いられることが望ましい。
【0039】
[0052]
プロセッサーは、ステップ414からステップ408とステップ410に戻り、ここで パッチ502がパッチ604と比較される。この2回目の繰り返しでのステップ410の動作は、パッチ502とパッチ602間の類似を示す類似スコアを生成する。プロセッサーは、変数j=Mとなるまで繰り返す。単純な例ではM=9である。
【0040】
[0053]
3回目の繰り返しは、図6Cに示すように、パッチ502とパッチ606との間のパッチ比較となる。
【0041】
[0054]
4回目の繰り返しは、図6Dに示すように、パッチ502とパッチ608との間のパッチ比較となる。
【0042】
[0055]
5回目の繰り返しは、図6Eに示すように、パッチ502とパッチ610との間のパッチ比較となる。
【0043】
[0056]
6回目の繰り返しは、図6Fに示すように、パッチ502とパッチ612との間のパッチ比較となる。
【0044】
[0057]
7回目の繰り返しは、図6Gに示すように、パッチ502とパッチ614との間のパッチ比較となる。
【0045】
[0058]
8回目の繰り返しは、図6Hに示すように、パッチ502とパッチ616との間のパッチ比較となる。
【0046】
[0059]
9回目の繰り返しは、図6Iに示すように、パッチ502とパッチ618との間のパッチ比較となる。
【0047】
[0060]
したがって、変数j=Mとなった時点で、図7に示すような結果データ構造が、パッチ502と様々なパッチ602−618について計算された様々な類似スコアを確認する。各スコアは、アトラスMR画像のパッチに対応するアトラスMR画像データポイントに関連している。アトラムMR画像のパッチに対する類似スコアは計算されている(700欄参照)。更に注目されるのは、アトラスMR画像300とアトラスCT画像302との間の登録により、各スコアに対応するアトラスMR画像のデータポイントは、対応するアトラスCT画像データポイントにマップされる(702欄参照)。したがって、アトラスCT画像データポイントY'(X'i)は、アトラスMR画像データポイントX'iと共に登録されたアトラスCT画像データポイントである。図7に示すように、各類似スコアはアトラスCT画像302のデータポイントに関連付けられる。
【0048】
[0061]
ステップ416では、プロセッサーは、図7のデータ構造に示された類似スコアに基づいて複数の重みファクターを計算する。重みは類似スコアに比例して選択される。すなわち、大きな類似スコアには大きな重みが割り当てられる。Sjをアトラス画像のポイントjに対する類似スコアとすれば、重みファクターは次式により計算される。
【0049】
【数4】
【0050】
ここで、hは実施者によって選択される大きさパラメーターである。もしhが(類似スコアに対して)大きいならば、全てのスコアは概ね同じ重みに変換される。もし類似スコアが上述したLCC技術を用いて計算するならば、hの適合値が次式のように計算される。
【0051】
【数5】
【0052】
類似スコアを重みファクターとして直接に使用すること、すなわち、Wj=Sj−minjSj、なる式のようにすることも可能である。ここでは、最小値を引き算しても全ての重みが負とはならないことを確実にする。
【0053】
[0062]
ステップ416では、所定の類似スコアに対する重みファクターを計算する(図8の800欄参照)。各類似スコアは対応するアトラスCT画像データポイントと関連付けられているので(702欄参照)、800欄における各重みファクターも、702欄における対応するアトラスCT画像のデータポイントに関連付けられることを意味する。ステップ416での計算により、ポイントXiに対して生成された全ての類似スコアを考慮することになる。しかしながら、図11において説明するように、これは必要ではない。もし望むならば、実施者は、重みファクターを類似スコアのサブセットのみから計算するようにステップ416を構成してもよい。
【0054】
[0063]
ステップ418では、プロセッサーは、計算された重みファクターと、計算された重みファクターに関連する、対応するアトラスCT画像データポイントとに基づいて、ポイントXiに対する、派生CT値を生成する(図9参照)。ステップ418において、派生CTデータポイントを計算する、重み結合関数の例を次式で示す。
【0055】
【数6】
【0056】
ここでは、Z(Xi)はポイントXiでの派生CT値であり、Y'(X'j)は図7及び図8に例示された対応するアトラスCT値であり、Wjは各アトラスポイントに対する重みである。したがって、ステップ418は、Z(Xi)と記載される、Xiに対する派生CT値を計算するように動作する。
【0057】
[0064]
ステップ420では、プロセッサーは、変数iがNと同じになるかをチェックする。Nは、実施者により選択されるパラメーターであり、患者MR画像のどのくらい多くのポイントが、派生CT画層データポイントに変換されるかを定義する。Nは、患者MR画像の全てのデータポイントを含むように選択される。しかし、これは必要ではない。例えば、実施者の要望により、(特別な臓器の周囲の領域のような)患者画像のより小さな領域のみを変換するようにしてもよい。そのような場合、Nは、この選択された注目領域内のポイント数となる。もし、変数iがまだNに等しくないならば、処理フローはステップ422に進む。
【0058】
[0065]
ステップ412では、変数iはインクレメントされて、患者MR画像の次のデータポイント(Xi+1)に進み、処理フローはステップ404に戻る。ステップ404から、パッチ比較プロセスが新しい患者MR画像パッチ(今度はXi+1の周囲)に対して繰り返され、処理フローは進行し、Xi+1に対する派生CT値を計算する。この派生CT値はZ(Xi+1)と表記される。変数iがNとなった後は、処理フローは、患者MR画像から派生CT画像を生成するように操作される。派生CT画像は、データポイントXiからXNに対する、計算された派生CT値(Z(Xi)からZ(XN))を有する。
【0059】
[0066]
医療従事者は、この派生CT画像を用いて患者MR画像を検討することができる。例えば、派生CT画像がスクリーン上に映しだされ、患者MR画像によって明らかにされない患者に対する注目領域の様相を示すことができる。
【0060】
[0067]
図4のステップ400は、実施者が希望するなら省略することができる。もし患者MR画像がアトラスと共に登録されないなら、これは、ポイントXiと共に登録されるアトラスMR画像300のデータポイントX'iを識別するためのステップ406に対する事前の知識がないことを意味する。したがって、もし患者MR画像がアトラスと共に登録されないなら、パッチ比較は、ポイントXiに対する選択されたMR画像パッチをアトラスMR画像の全ての可能性あるパッチと比較するようになされる。すなわち、アトラスMR画像パッチは、アトラスMR画像内の全ての可能性あるパッチを包含する。そのようにすることは、処理により生成されるデータ総量を拡大し、より多くの計算資源を消費する。それは、患者MR画像から派生CT画像を計算するため多くの時間を必要とし、遅延することとなる。しかし、これは実施者に対する交換条件として受け入れることができる。
【0061】
[0068]
更に、ここで述べるようなパッチ比較ベースの重み付け組み合わせ方法は、画像登録エラーを軽減するので、ステップ400が実行される場合には、実施者は画像登録技術を自由に選択することができる。その画像登録技術では正確さは重要な要素ではない。例えば、速度を得るために、低速登録技術よりも多くの登録エラーが発生するとしても、高速画像登録技術をステップ400で用いることができる。線形登録は典型的には非線形登録よりも速い。線形登録は、世界的な位置、方向、2つの画像間の大きさの相違のみに対応する。一方、非線形登録は、一般的により正確であり、局所の身体構造上の形状の相違をも補う。例えば、細身の患者の画像を太り気味の患者の画像に登録する。オンライン又はインターベンショナルな適用において、患者画像が取得された直後に派生画像が計算される必要がある状況では、より速い登録が通常必要とされる。そのような状況では、より正確性の少ない登録技術との組み合わせ使用が強化されるので、登録エラーを包含する典型的な実施形態の能力は非常に効果的である。
【0062】
[0069]
また、図3及び図4の実施例は、単一のアトラスMR画像とアトラスCT画像とのペアが、患者MR画像に対するCTデータ抽出を促進するに用いられるシンプルなケースを示している。
【0063】
[0070]
他の典型的な実施形態において、多重のアトラスMR−CTペアが、患者MR画像からCTデータを抽出するのに使用される。そのような実施形態の一例が、図10Aに示されている。図10Aにおいて、共通に登録されたアトラスMR画像300iとアトラスCT画像302iの多重のペアが用いられている。この実施形態において、処理論理回路104は、ステップ406−414を実行し、各患者MR画像のパッチと各アトラスMR画像300iに対する所望のパッチのセットとを比較する。これは、各アトラスMR画像について類似スコアMがある図10Bに示されているように、結果の類似スコアが多重アトラスパッチに反映することを意味する。多数のアトラス画像を考慮することにより、結果のCTデータ導出の正確性が更に強化される。
【0064】
[0071]
図11に類似スコアのサブセットのみが重みファクターを計算するのに用いられる実施例を示す。この限定は、所定のポイントXiに対して多数の類似スコアが存在する場合(例えば、図10Bの実施例参照)に望ましい。例えば、プロセッサーは、類似スコアを順位付けするように構成されている。例えば、高い類似性を示す類似スコアが低い類似性を示す類似スコアより高く順位付けされるように構成されている。プロセッサーは、トップk番目の類似スコアを選択する。そこでは、重みファクターがトップk番目の類似スコアから計算される(図11参照)。
【0065】
[0072]
パッチ比較ベースの重み付け組み合わせ方法は、図12に示すように、アトラス画像に適用され、アトラスMR画像300とアトラスCT画像との間の登録エラーの効果を緩和する。図12の実施例では、プロセッサーは、プロセス論理回路1200を動作させて、アトラスMR画像300とアトラスCT画像302とから導出されたアトラスCT画像302′を生成する。そのとき、派生患者CT画像が、アトラスMR画像300と派生アトラスCT画像306′を用いて患者MR画像から計算される。これは、図10Aの多重アトラスの実施形態に拡張され得る。
【0066】
[0073]
図13にプロセス論理回路1200に対する典型的な一般的処理フローを示す。ステップ1300では、プロセッサーは、第1のタイプのアトラス画像のパッチを第2のタイプのアトラス画像のパッチと比較する。ステップ1302では、プロセッサーは、第1のタイプのアトラスパッチと第2のタイプのアトラスパッチとの間の類似性指標を計算する。異なる画像タイプ/様式からパッチ又は画像を比較するひとつの技術は、相互情報量(Mutual Information:MI)測定基準を用いることである(論文「Pluim, "Mutual-information-based registration of medical images: a survey", IEEE Trans, Med, Imag., 22(8): 986- 1004, 2003」を参照)。この論文の記載全体はこの引用により本明細書に含まれる。ふたつの画像Aと画像Bのふたつのパッチに対して、MIは次式のように定義される。
【0067】
MI(A,B)=H(B)−H(B|A)
ここで、H(B)は、その強度値の確率分布に基づき計算されるパッチ/画像Bのシャノンエントロピー(Shannon entropy)であり、H(B|A)は、条件付きエントロピーを示す。条件付きエントロピーは、条件付き確率p(b|a)、すなわち、Aにおける対応するボクセルが強度値aを有する条件でのパッチBにおける強度値bの確率に基づいている。そして、ステップ1304では、プロセッサーは、ステップ416に関連して記載されているように類似性指標から重みファクターを計算する。そして、ステップ1306では、プロセッサーは、重みファクターとオリジナルの第2のタイプのアトラス画像データから、派生第2のタイプのアトラス画像を計算する(ステップ418参照)。この派生第2のタイプのアトラス画像は、プロセス論理回路104により、オリジナルの第2のタイプのアトラス画像の代わりに用いられる(ステップ1308)。
【0068】
[0074]
図14は、この処理フローの実施例を示す。ここでは、派生アトラスCT画像がアトラスMR画像−アトラスCT画像のペアから生成される。ステップ1400では、アトラスMR画像がオリジナルのアトラスCT画像と共に登録される。もう一度繰り返すと、実施者は、所望の態様で速度と正確性が釣り合う登録技術を自由に選択できる。ステップ1402では、ステップ402に関連して上述したように進行する。ステップ1404は、パッチがポイントXiの周囲のアトラスMR画像に対して選択されることを除いて、ステップ404と類似している。この実施形態では、XiはアトラスMR画像300におけるポイントを参照するために用いられる。図15に、ステップ1404で選択された典型的なアトラスMR画像パッチ1502を示す。ステップ1406は、パッチがポイントYiの周囲のオリジナルのアトラスCT画像に対して選択されることを除いて、ステップ406と類似している。図16に、ステップ1406でオリジナルのアトラスCT画像データポイント1600から選択された典型的なアトラスCT画像パッチ1602を示す。
【0069】
[0075]
ステップ1408ではパッチ比較が実行され、類似スコアが計算される(ステップ1410)。これはMRデータとCTデータとの間の比較であるので、ステップ408とステップ410で使用されたものとは異なる比較技術が用いられる。上述したように、相互情報量(Mutual Information:MI)に基づく比較技術がステップ1410で用いられる。使用される付加的なクロスモダリティ比較測定基準(additional cross-modality comparison metric)は相関比(correlation ratio)を含んでいる。相関比については論文「Roche et al, "The correlation ratio as a new similarity measure for multimodal image registration", Proc. Of MICCAI '98, vol. 1496 of LNCS, pp. 1115-1124, 1998」に記載されている。この論文の全体の記載はこの引用により本明細書に含まれる。
【0070】
[0076]
ステップ1412−1422は、ステップ412−422での記載と同様に進行する。図14の処理フローの最終結果は、派生アトラスCT画像302'(Y″)に対する派生アトラスCT画像データポイントのセットである。
【0071】
[0077]
図17にパッチ比較の技術を示す。このパッチ比較では、パッチが、各パッチから導出された特徴ベクトルを介して間接的に比較される。パッチ1700と1702は、処理論理回路1704によって前処理され、パッチ1700と1702に対する特徴ベクトル1706と1708をそれぞれ生成する。パッチに対して計算される特徴の実施例は、平均(mean)、分散(variance)、モーメント(moments)、ランダムプロジェクション(random projection)を含む。例えば、ランダムプロジェクションを用いたMディメンジョン(M-dimension)にN×N行列パッチ(N-by-N patch)を投影することである。そして、ステップ1710では、類似スコアがこれら特徴ベクトルに基づいて計算される。図17のパッチ比較実施形態は、パッチに対する特徴ベクトルのディメンジョンがオリジナルのパッチよりも小さくなり演算上及び容量上の改善に寄与するので、有用である。
【0072】
[0078]
図18に、25ポイントパッチ1700又は1702が、処理論理回路1704によってどのように特徴抽出され、特徴ベクトル1706又は1708を生成するかを示す。例えば、次の通りである。
【0073】
[0079]
平均(mean)の特徴は次式により計算される。
【0074】
【数7】
【0075】
[0080]
分散(variance)の特徴は次式により計算される。
【0076】
【数8】
【0077】
[0081]
モーメント(moments)の特徴は次式により計算される。
【0078】
【数9】
【0079】
[0082]
ランダムプロジェクション(random projection)の特徴は次のように計算される。
【0080】
[0083]
ランダムプロジェクション(Random Projection):Y=PX
PはランダムM×M行列(M-by-M matrix)であり、XはディメンションNのオリジナルパッチであり、Yはより少ないディメンジョンM(M<<N)のベクトルである。M<<Nなので、Yの比較は直接的な比較Xよりも高速である。
【0081】
特徴ベクトル1706又は1708は、これら又は他の特徴Yiとのいかなる組み合わせを用いることができる。例えば、Y1が平均(mean)であれば、Y2は分散(variance)である。
【0082】
[0084]
本願発明は好ましい実施形態に関連して上述されたが、本願発明の範囲内でこれら実施形態に様々な改良を行ってもよい。本願発明へのそのよう改良は、ここに記載した技術を参照することにより認識されるであろう。したがって、本願発明の全範囲は、ここに記載するクレームとその法律的に等価な内容によってのみ画定される。
図1
図2
図3
図4
図5
図6A
図6B
図6C
図6D
図6E
図6F
図6G
図6H
図6I
図7
図8
図9
図10A
図10B
図11
図12
図13
図14
図15
図16
図17
図18