特許 6775294 画像処理装置および方法並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6775294

(24)【登録日】2020年10月8日

(45)【発行日】2020年10月28日

(54)【発明の名称】画像処理装置および方法並びにプログラム

(51)【国際特許分類】

   G06T 1/00 20060101AFI20201019BHJP

   G06T 3/00 20060101ALI20201019BHJP

   A61B 6/00 20060101ALI20201019BHJP

【ＦＩ】

   G06T1/00 290A

   G06T3/00 750

   A61B6/00 360B

   A61B6/00 370

【請求項の数】12

【全頁数】14

(21)【出願番号】特願2015-222187(P2015-222187)

(22)【出願日】2015年11月12日

(65)【公開番号】特開2017-91313(P2017-91313A)

(43)【公開日】2017年5月25日

【審査請求日】2018年11月8日

【前置審査】

(73)【特許権者】

【識別番号】300019238

【氏名又は名称】ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー

(74)【代理人】

【識別番号】100115462

【弁理士】

【氏名又は名称】小島 猛

(74)【代理人】

【識別番号】100151286

【弁理士】

【氏名又は名称】澤木 亮一

(72)【発明者】

【氏名】尾見 康夫

【審査官】 山田 辰美

(56)【参考文献】

【文献】 特開２０１５−０３９５７８（ＪＰ，Ａ）

【文献】 特開平０４−３３６６７７（ＪＰ，Ａ）

【文献】 特開２０１４−２２５２１８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １／００

Ａ６１Ｂ ６／００

Ｇ０６Ｔ ３／００

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

被写体における血管を含む部位の解剖学的構造を表す第１の画像と、前記部位の解剖学的構造を表しており前記第１の画像とは異なる第２の画像との間で共通する血管分岐を特定する特定手段と、
前記特定された共通する血管分岐に基づいて前記第１の画像と前記第２の画像との第１の位置合せを行う第１の位置合せ手段と、
前記共通する血管分岐の位置に基づいて、前記第１の位置合せが行われた前記第１及び第２の画像の互いに対応する領域に、比較し合う対象領域をそれぞれ設定する設定手段であって、前記共通する血管分岐が前記第１又は前記第２の画像のいずれか一方の画像において撮像視野の境界の近傍に位置するか否かを判定し、該判定に基づいて、前記第１の位置合せが行われた前記第１及び第２の画像の互いに対応する領域に、比較し合う対象領域をそれぞれ設定する設定手段と、
前記設定された対象領域の比較に基づいて、前記第１の画像と前記第２の画像との第２の位置合せを行う第２の位置合せ手段と、を備えた画像処理装置。

【請求項2】

前記設定手段は、前記第１又は第２の画像のいずれか一方の画像における前記共通する血管分岐が撮像視野の境界の近傍に位置するときは、該一方の画像の中心の周辺に対応する領域に前記対象領域を設定し、前記一方の画像における前記共通する血管分岐が前記撮像視野の境界の非近傍に位置するときは、該共通する血管分岐の周辺に対応する領域に前記対象領域を設定する、請求項１に記載の画像処理装置。

【請求項3】

被写体における血管を含む部位の解剖学的構造を表す第１の画像と、前記部位の解剖学的構造を表しており前記第１の画像とは異なる第２の画像との間で共通する血管分岐を特定する特定手段と、
前記特定された共通する血管分岐に基づいて前記第１の画像と前記第２の画像との第１の位置合せを行う第１の位置合せ手段と、
前記共通する血管分岐の位置に基づいて、前記第１の位置合せが行われた前記第１及び第２の画像の互いに対応する領域に、比較し合う対象領域をそれぞれ設定する設定手段と、
前記設定された対象領域の比較に基づいて、前記第１の画像と前記第２の画像との第２の位置合せを行う第２の位置合せ手段と、を備え、
前記設定手段は、前記第１及び第２の画像における前記共通する血管分岐の周辺に対応する領域と、前記第１又は第２の画像のいずれか一方の画像の中心の周辺に対応する領域とに前記対象領域を設定する、画像処理装置。

【請求項4】

前記第２の位置合せ手段は、前記比較を行う際に、前記第１又は第２の画像のいずれか一方の画像における前記共通する血管分岐が撮像視野の境界の近傍に位置するときは、前記画像の中心の周辺に設定された前記対象領域に対する重みをより大きくし、前記一方の画像における前記共通する血管分岐が前記撮像視野の境界の非近傍に位置するときは、前記共通する血管分岐の周辺に設定された前記対象領域に対する重みをより大きくする、請求項３に記載の画像処理装置。

【請求項5】

前記第２の位置合せ手段は、前記対象領域同士の差異の程度を表す評価関数の値に基づいて前記第２の位置合せを行う、請求項１から請求項４のいずれか一項に記載の画像処理装置。

【請求項6】

前記評価関数は、前記第１及び第２の画像における互いに対応する各位置での画素値の標準勾配場の内積または外積を含む、請求項５に記載の画像処理装置。

【請求項7】

前記第１及び第２の画像は、３次元画像である、請求項１から請求項６のいずれか一項に記載の画像処理装置。

【請求項8】

前記対象領域の大きさは、５０〜１００立方ミリメートルである、請求項７に記載の画像処理装置。

【請求項9】

前記第１及び第２の画像は、一方が磁気共鳴イメージング装置または放射線断層撮影装置により得られた画像であり、他方が超音波撮影装置により得られた画像である、請求項１から請求項８のいずれか一項に記載の画像処理装置。

【請求項10】

前記特定手段は、前記第１及び第２の画像における血管を表す画像に基づいて前記共通する血管分岐を特定する、請求項１から請求項９のいずれか一項に記載の画像処理装置。

【請求項11】

前記第１の位置合せ手段は、前記第１及び第２の画像における前記共通する血管分岐の枝分れ部分に対応するベクトルを含む平面の法線ベクトルが互いに一致するように位置合せを行う、請求項１から請求項１０に記載の画像処理装置。

【請求項12】

コンピュータを、請求項１から請求項１１のいずれか一項に記載の画像処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被写体の同一部位の解剖学的構造を表す二画像の位置合せ技術に関する。

【背景技術】

【0002】

近年、特定の診断装置による画像だけでなく、複数種類の診断装置による画像を用いて診断することで、診断精度の向上を図る試みが盛んに行われている。複数種類の診断装置による画像を用いた診断では、診断装置ごとに撮像画像の座標系が異なり、被検者の体位の変化や臓器の変形がしばしば生じる。また、同種の診断装置により得られた画像であっても、治療前後での画像の比較や経過観察においては、被検者の体位の変化や臓器の変形が生じることがある。したがって、これらの要因に起因する位置ズレを補正する技術、すなわち位置合せ技術が重要である。

【0003】

画像の位置合せにおいては、一般的な方法として、位置合せ対象である二画像が合っていることを示す評価関数の値が最適値を持つ位置に画像変換を行う。単に画像全体を評価関数の計算対象とした場合、その対象内にはユーザ（user）が位置合せを行いたい関心構造物だけでなく、その他の要素も含んでおり、関心構造物に対する位置合せの精度が確保できないことがある。

【0004】

前述の課題を克服するため、特定の画素群のみを評価関数の計算対象（関心領域）とする手法が一般的である。この場合、手動による関心領域の設定が最も堅実な方法であるが、ユーザの手間を省くために何らかの構造物や特徴点を検出して関心領域を設定する方法が提案されている。

【0005】

例えば、非特許文献１では、Contextual Analysisを用いて、類似した構造物に限定した評価関数を算出することで精度向上を図る手法が提案されている。

【0006】

また例えば、非特許文献２では、特徴点を選択することで関心領域を自動的に設定する手法が提案されている。

【先行技術文献】

【特許文献】

【0007】

【非特許文献1】Medical Imaging，IEEE Transactions on Volume:33 Issue:3 708-725, 2014

【非特許文献2】Advances in Multimedia Modeling Lecture Notes in Computer Science Volume 4351, 2006, 106-115

【発明の概要】

【発明が解決しようとする課題】

【0008】

非特許文献１の方法については、Self-Similarityを用いた構造物の識別方法そのものは有用な方法である。しかしながら、コントラスト（contrast）が良好ではない画像に対する精度低下や計算時間の長さの点で課題が残る。

【0009】

また、非特許文献２の方法については、リモートセンシング画像（remote sensing image）のような２Ｄ画像（2-dimensional image）の場合には特に有用であると考えられる。しかしながら、３Ｄ医用画像（3-dimensional medical image）の場合に検出精度や計算時間の長さの点で課題が残る。

【0010】

このような事情により、同一の被写体を含む二画像間の位置合せにおいて、計算時間を増大させることなく位置合せ精度あるいは堅牢性の向上が可能な技術が望まれている。

【課題を解決するための手段】

【0011】

第１の観点の発明は、
被写体における血管を含む部位の解剖学的構造を表す第１の画像と、前記部位の解剖学的構造を表しており前記第１の画像とは異なる第２の画像との間で共通する血管分岐を特定する特定手段と、
前記特定された共通する血管分岐に基づいて前記第１の画像と前記第２の画像との第１の位置合せを行う第１の位置合せ手段と、
前記共通する血管分岐の位置に基づいて、前記第１の位置合せが行われた前記第１及び第２の画像の互いに対応する領域に、比較し合う対象領域をそれぞれ設定する設定手段と、
前記設定された対象領域の比較に基づいて、前記第１の画像と前記第２の画像との第２の位置合せを行う第２の位置合せ手段と、を備えた画像処理装置を提供する。

【0012】

第２の観点の発明は、
前記設定手段が、前記第１及び第２の画像における前記共通する血管分岐の周辺に対応する領域に前記対象領域を設定する、上記第１の観点の画像処理装置を提供する。

【0013】

第３の観点の発明は、
前記設定手段が、前記第１及び第２の画像のいずれか一方の画像における前記共通する血管分岐が撮像視野の境界の近傍に位置するときは、該一方の画像の中心の周辺に対応する領域に前記対象領域を設定し、前記一方の画像における前記共通する血管分岐が前記撮像視野の境界の非近傍に位置するときは、該共通する血管分岐の周辺に対応する領域に前記対象領域を設定する、上記第１の観点の画像処理装置を提供する。

【0014】

第４の観点の発明は、
前記設定手段が、前記第１及び第２の画像における前記共通する血管分岐の周辺に対応する領域と、前記第１及び第２の画像のいずれか一方の画像の中心の周辺に対応する領域とに前記対象領域を設定する、上記第１の観点の画像処理装置を提供する。

【0015】

第５の観点の発明は、
前記第２の位置合せ手段が、前記比較を行う際に、前記第１及び第２の画像のいずれか一方の画像における前記共通する血管分岐が撮像視野の境界の近傍に位置するときは、前記画像の中心の周辺に設定された前記対象領域に対する重みをより大きくし、前記一方の画像における前記共通する血管分岐が前記撮像視野の境界の非近傍に位置するときは、前記共通する血管分岐の周辺に設定された前記対象領域に対する重みをより大きくする、上記第４の観点の画像処理装置を提供する。

【0016】

第６の観点の発明は、
前記第２の位置合せ手段が、前記対象領域同士の差異の程度を表す評価関数の値に基づいて前記第２の位置合せを行う、上記第１の観点から第５の観点のいずれか一つの観点の画像処理装置を提供する。

【0017】

第７の観点の発明は、
前記評価関数が、前記第１及び第２の画像における互いに対応する各位置での画素値の標準勾配場の内積または外積を含む、上記第６の観点の画像処理装置を提供する。

【0018】

第８の観点の発明は、
前記第１及び第２の画像が、３次元画像である、上記第１の観点から第７の観点のいずれか一つの観点の画像処理装置を提供する。

【0019】

第９の観点の発明は、
前記対象領域の大きさが、５０〜１００立方ミリメートル（ｍｍ³）である、上記第８の観点の画像処理装置を提供する。

【0020】

第１０の観点の発明は、
前記第１及び第２の画像が、一方が磁気共鳴イメージング（imaging）装置または放射線断層撮影装置により得られた画像であり、他方が超音波撮影装置により得られた画像である、上記第１の観点から第９の観点のいずれか一つの観点の画像処理装置を提供する。

【0021】

第１１の観点の発明は、
前記部位が、肝臓である、上記第１の観点から第１０の観点のいずれか一つの観点の画像処理装置を提供する。

【0022】

第１２の観点の発明は、
前記特定手段が、前記第１及び第２の画像における血管を表す画像に基づいて前記共通する血管分岐を特定する、上記第１の観点から第１１の観点のいずれか一つの観点の画像処理装置を提供する。

【0023】

第１３の観点の発明は、
前記第１の位置合せ手段が、前記第１及び第２の画像における前記共通する血管分岐の枝分れ部分に対応するベクトル（vector）を含む平面の法線ベクトルが互いに一致するように位置合せを行う、上記第１の観点から第１２の観点の画像処理装置を提供する。

【0024】

第１４の観点の発明は、
被写体における血管を含む部位の解剖学的構造を表す第１の画像と、前記部位の解剖学的構造を表しており前記第１の画像とは異なる第２の画像との間で共通する血管分岐を特定する特定ステップ（step）と、
前記特定された共通する血管分岐に基づいて、前記第１の画像と前記第２の画像との第１の位置合せを行う第１の位置合せステップと、
前記共通する血管分岐の位置に基づいて、前記第１の位置合せが行われた前記第１及び第２の画像の互いに対応する領域に、比較し合う対象領域をそれぞれ設定する設定ステップと、
前記設定された対象領域の比較に基づいて、前記第１の画像と前記第２の画像との第２の位置合せを行う第２の位置合せステップと、を備えた画像処理方法を提供する。

【0025】

第１５の観点の発明は、
コンピュータ（computer）を、上記第１の観点から第１３の観点のいずれか一つの観点の画像処理装置として機能させるためのプログラム（program）を提供する。

【発明の効果】

【0026】

上記観点の発明によれば、被写体の同一部位を表す二画像の位置合せにおいて、位置合せに用いる比較対象領域を当該二画像に共通する血管分岐の位置に基づいて設定しているので、位置合せ精度を向上させるのに必要な解剖学的ランドマーク（landmark）を上記比較対象領域に十分に効率よく含めることができ、計算時間を増大させることなく位置合せの精度あるいは堅牢性の向上が期待できる。

【図面の簡単な説明】

【0027】

【図1】本実施形態に係る画像処理装置のハードウェアの構成を概略的に示す図である。

【図2】画像処理装置の機能ブロック図である。

【図3】画像処理装置における処理の流れを示す図である。

【図4】血管の共通分岐がＵＳ画像の撮像視野の境界線近傍に存在しないと判定された例を示す図である。

【図5】血管の共通分岐がＵＳ画像の撮像視野の境界線近傍に存在すると判定された例を示す図である。

【図6】精密位置合せ部の構成を示す図である。

【図7】精密位置合せの方法を示す図である。

【図8】本提案法を肝臓におけるＢ−ｍｏｄｅ＿ＵＳ画像と、ＥＯＢ−ＭＲ画像との位置合せに適用した例を示す図である。

【発明を実施するための形態】

【0028】

以下、発明の実施形態について説明する。なお、これにより発明は限定されない。

【0029】

図１に、本実施形態に係る画像処理装置１のハードウェア（hardware）的な構成を概略的に示す。画像処理装置１は、本例ではコンピュータＣにより構成される。コンピュータＣは、コンピュータ読取り可能な記憶媒体Ｍに記憶されているプログラムを読み込んで実行することができる。コンピュータＣは、ネットワーク（network）Ｎからプログラムをダウンロード（download）して実行することもできる。

【0030】

図２に、画像処理装置１の機能ブロック（block）図を示す。図示の如く、画像処理装置１は、機能ブロックとして、血管抽出部２と、血管分岐検出部３と、共通分岐特定部４と、初期位置合せ部５と、共通分岐位置判定部６と、評価関数計算対象設定部７と、精密位置合せ部８とを有する。本例では、コンピュータＣに所定のプログラムを実行させることにより、当該コンピュータＣをこれら各部として機能させる。

【0031】

なお、共通分岐特定部４は、発明における特定手段の一例である。初期位置合せ部５は、発明における第１の位置合せ手段の一例である。評価関数計算対象設定部７は、発明における設定手段の一例である。また、精密位置合せ部８は、発明における第２の位置合せ手段の一例である。

【0032】

血管抽出部２は、位置合せ対象として入力された第１の画像及び第２の画像について、血管構造を抽出する。

【0033】

血管分岐検出部３は、抽出された血管構造における血管分岐を検出する。

【0034】

共通分岐特定部４は、第１の画像と第２の画像との間で共通する血管分岐（以下、共通分岐という）を特定する。

【0035】

初期位置合せ部５は、特定された共通分岐に基づいて、第１及び第２の画像に対して初期の位置合せ（以下、初期位置合せという）を行う。

【0036】

共通分岐位置判定部６は、共通分岐の位置が第１及び第２の画像のいずれかの撮像視野（ＦＯＶ：Field Of View）の境界近傍であるかを判定する。

【0037】

評価関数計算対象設定部７は、上記判定の結果に基づいて、第１及び第２の画像の各々に、比較し合う対象領域、すなわち、画像同士の差異の程度を表す評価関数の計算対象領域をそれぞれ設定する。評価関数は、言い換えると、画像同士の一致度の指標となるものである。評価関数は、一般的には、最も一致度が高いときに極値を取る。

【0038】

精密位置合せ部８は、比較し合う対象領域の比較の結果、すなわち、上記評価関数の値に基づいて、初期位置合せが成された第１及び第２の画像に対して精密な位置合せ（以下、精密位置合せという）を行う。

【0039】

なお、上記各部２〜８のより詳細な機能については、画像処理装置１における処理の流れを説明する際に併せて述べる。

【0040】

画像処理装置１における処理の流れについて説明する。

【0041】

図３に、画像処理装置１における処理の流れを示す。ここでは、位置合せ対象となる第１及び第２の画像として、同一被検者の肝臓を表すＵＳ画像（ultrasound image）及びＭＲ画像（magnetic resonance image）を想定する。

【0042】

ステップＳ１では、血管を抽出する。具体的には、血管抽出部２が、ＵＳ画像及びＭＲ画像のそれぞれに対して血管領域を抽出し芯線化処理を行う。これにより、血管樹構造を算出する。ＭＲ画像の場合、関心のある臓器全体を撮像していることが期待できるため、ここで算出される血管樹ではその臓器内の全ての主要な血管が抽出されていることが望ましい。一方、ＵＳ画像の場合、その臓器の一部のみを撮像しているため、部分的な血管構造のみが抽出されている。なお、芯線化処理は、スケルトン処理（skeleton processing）とも呼ばれる。また、血管樹構造は、血管ツリー構造（blood vessel tree structure）とも呼ばれる。

【0043】

ステップＳ２では、血管分岐を検出する。具体的には、血管分岐検出部３が、ステップＳ１で算出したＵＳ画像，ＭＲ画像それぞれの血管樹に対して血管の分岐点を検出する。

【0044】

ステップＳ３では、共通分岐を特定する。具体的には、共通分岐特定部４が、ステップＳ２で検出した分岐点群に対して、解剖学的に共通な血管分岐である共通分岐を特定する。それぞれの分岐点に対して、分岐点から枝分かれした２つの血管の方向（ベクトル）で規定される平面に平行な断面で芯線化の元画像である血管領域画像を再構成すなわちリフォーマット（reformat）する。このリフォーマット画像に対して血管樹構造の類似性を表す評価関数（費用関数）、例えば血管領域画像に対する相互相関係数を算出し、評価関数の値が良い順にＮ番目までを共通分岐の候補として選択する。計算時間と精度との兼ね合いからＮは５〜１５程度が望ましく、例えばＮは１０とする。これらＮ個の共通分岐の候補群に対して、自己類似記述子（Self-similarity descriptor）を用いて１個の共通分岐に絞り込む。なお、共通分岐はユーザが血管領域画像上で手動により指定してもよい。

【0045】

ステップＳ４では、初期位置合せを行う。具体的には、初期位置合せ部５が、ステップＳ３で算出した共通分岐に基づいて初期位置合せを行う。初期位置合せは、例えば、特許文献：特開２０１５−０３９５７８号公報にて提案されているように、分岐した２つの血管で構成される法線ベクトルを算出し、法線ベクトルの向きを揃えるような座標変換を行うことにより実現される。初期位置合せにおいて、目標画像（参照画像）と対象画像とを指定する必要がある。この際、位置合せ対象であるＵＳ画像とＭＲ画像のどちらを目標／対象画像としてもよい。

【0046】

ステップＳ５では、共通分岐の位置判定を行う。具体的には、共通分岐位置判定部６が、ステップＳ３で得られた共通分岐がＵＳ画像の撮像視野（ＦＯＶ）に対してどのような位置に存在しているのかを調べる。より具体的には、共通分岐がＵＳ画像の撮像視野（ＦＯＶ）の境界線近傍に存在するか否かを調べる。例えば、共通分岐の分岐点から撮像視野の境界線までの距離が実寸のスケールにおいて５ｍｍ以下であるならば、共通分岐がＵＳ画像の撮像視野の境界線近傍に存在すると判定する。境界線近傍に存在（位置）すると判定された場合には、ステップＳ６に進み、境界線近傍に存在（位置）しないと判定された場合には、ステップＳ７に進む。

【0047】

ステップＳ６では、共通分岐が境界線近傍に存在する場合において、評価関数の計算対象を設定する。具体的には、評価関数計算対象設定部７が、撮像視野が相対的に小さい方の画像すなわち本例ではＵＳ画像の画像中心の周辺に、評価関数の計算対象領域を設定する。この計算対象領域のサイズ（size）は、関心構造物の大きさにもよるが、計算時間と位置合せ精度とのバランス（balance）を考慮すると、例えば実寸のスケール（scale）で５０〜１００［ｍｍ³（立方ミリメートル）］程度が望ましい。計算対象領域の形状は、立方形状に限定されず、球形状や楕円球形状等であってもよい。本ステップの処理が終わったらステップＳ８に進む。

【0048】

ステップＳ７では、共通分岐が境界線近傍に存在しない場合において、評価関数の計算対象を設定する。具体的には、評価関数計算対象設定部７が、共通分岐の周辺に評価関数の計算対象領域を設定する。この計算対象領域のサイズは、関心構造物の大きさにもよるが、計算時間と位置合せ精度とのバランスを考慮すると、例えば実寸のスケールで５０〜１００［ｍｍ³］程度が望ましい。本ステップの処理が終わったらステップＳ８に進む。

【0049】

ステップＳ８では、精密位置合せを行う。具体的には、精密位置合せ部８が、ステップＳ４で得られた初期位置合せされたＵＳ画像及びＭＲ画像に対して、ステップＳ５〜７で設定された評価関数の計算対象領域を用いて、繰返し演算による精密位置合せを行う。本ステップの詳細は後述する。

【0050】

ここで、評価関数の計算対象領域に関して補足する。

【0051】

図４に、共通分岐がＵＳ画像の撮像視野の境界線近傍に存在しないと判定された例を、図５に、共通分岐がＵＳ画像の撮像視野の境界線近傍に存在すると判定された例を、それぞれ示す。

【0052】

図４，図５において、実線Ａの交差点が共通分岐の位置を示し、破線Ｂで囲む矩形領域が評価関数の計算対象領域を示す。例えば、肝臓においては血管が位置合せのための最も信頼できる解剖学的ランドマークである。よって、評価関数の計算対象領域は血管構造を豊富に含んでいることが望ましい。共通分岐の周辺には血管構造が確実に存在すると推定されることから、共通分岐の周辺に評価関数の計算対象領域を設定すれば十分な位置合せの精度を確保することができると考えられる。よって、評価関数の計算対象領域の設定は、図４の例のように、共通分岐の周辺に選択することが第一選択となる。しかしながら、特に超音波装置による撮影では、肋骨等の撮影の障害物の影響で、必ずしも診断したい病変が画像中心には位置しない場合がある。図５の例のように、共通分岐がいずれかの画像の撮像視野の境界線近傍に存在する場合には、共通分岐の周辺に評価関数の計算対象領域を設定してしまうと、計算対象領域内に評価関数の値には事実上寄与しない画素（撮像視野の外側）が多数存在する。このため、評価関数の値に寄与する画素（実効画素）が図４の例に比べて極端に少なくなってしまう。実効画素が少ないほど解剖学的ランドマークを適切に含む確率が落ちてしまい、無用な極所解の増加を招くため、ステップＳ８の繰返し演算による位置合せにおいて適切ではない極所解に収束してしまう危険性がある。よって、図５の例のように、共通分岐がいずれかの画像の撮像視野の境界線近傍に存在する場合には、撮像視野が相対的に小さい方の画像の画像中心の周辺に評価関数の計算対象領域を設定することが望ましい。

【0053】

なお、本実施形態では、評価関数の計算対象領域を、共通分岐の周辺または画像中心の周辺のどちらかに設定しているが、両者を計算対象領域に設定してもよい。この場合、図４の例のように、共通分岐が撮像視野の境界線近傍に存在しない場合には、共通分岐の周辺により大きな重みを付けることが望ましい。逆に、図５の例のように、共通分岐がいずれかの画像の撮像視野の境界線近傍に存在する場合には、撮像視野が相対的に小さい方の画像の画像中心の周辺により大きな重みを付けることが望ましい。

【0054】

ここで、上記ステップＳ８における精密位置合せの方法について説明する。

【0055】

図６に、精密位置合せ部８の構成を示す。図示の如く、精密位置合せ部８は、位置合せ条件設定部８１と、評価部８２と、最適化部８３と、変換部８４と、補間部８５とを有している。なお、評価部８２〜補間部８５は、位置合せ演算部を図式化する際によく用いられる構成図であり、評価部８２は、Cost Function、最適化部８３は、Optimizer、変換部８４は、Transformer、補間部８５は、Image Interpolatorとも呼ばれる。

【0056】

精密位置合せ部８は、これら評価部８２〜補間部８５による処理を複数回繰り返し行うことにより、精密位置合せ演算を行う。

【0057】

図７に精密位置合せの方法を示す。

【0058】

ステップＳ８１では、まず、位置合せ条件設定部８１が、初期位置合せが成されたＵＳ画像及びＭＲ画像のうち一方を目標画像（参照画像）Ｔとして設定し、他方を対象画像Ｒとして設定する。

【0059】

ステップＳ８２では、位置合せ条件設定部８１が、最適化処理のパラメータ（parameter）を設定する。最適化処理のパラメータとしては、最大ステップ幅、最小ステップ幅、繰返し演算の上限回数、位置合せの許容誤差、緩和係数などが含まれる。なお、最適化処理のパラメータは、プリセット（preset）されたものを用いてもよいし、ユーザが直接設定するようにしてもよい。

【0060】

ステップＳ８３では、最適化部８３が、対象画像Ｒ′の変換パラメータ（平行移動、回転移動、変形など）を決定する。評価関数（費用関数）Ｄの値が前回に比べて改善している場合は、前回と同方向に変換パラメータをシフト（shift）させる。逆に悪化している場合には、逆方向に変換パラメータをシフトさせる。初回は、適当な変換パラメータを決定する。評価関数（評価関数）としては、例えば、特許文献：特開２０１４−２２５２１８号公報にて提案されているような、目標画像（参照画像）Ｔと対象画像Ｒとの間で互いに対応する位置の標準勾配場の内積または外積を含むものなどを用いることができる。

【0061】

ステップＳ８４では、変換部８４が、ステップＳ８３で決定された変換パラメータにしたがって、対象画像Ｒ′に変換処理を行う。

【0062】

ステップＳ８５では、補間部８５が、対象画像Ｒ′に対して補間処理を行う。

【0063】

ステップＳ８６では、評価部８２が、評価関数Ｄ（Ｔ，Ｒ′）の値、すなわち評価値を算出する。

【0064】

ステップＳ８７では、精密位置合せ部８が、繰返し演算の終了判定を行う。繰返し回数が上限数に達した場合、または、評価関数の値が実質的に収束した場合（許容誤差に到達する、または変換パラメータをシフト量が最小ステップ幅未満に到達した場合）には、繰返し演算を終了し、ステップＳ８８に進む。それ以外の場合には、ステップＳ８３に戻る。

【0065】

ステップＳ８８では、精密位置合せ部８が、最終的な変換パラメータを対象画像に適用し、位置合せ後の画像を出力する。

【0066】

図８に、本提案法を肝臓におけるＢ−ｍｏｄｅ＿ＵＳ（超音波）画像と、ＥＯＢ−ＭＲ画像との位置合せに適用した例を示す。図８では、Ｂ−ｍｏｄｅ＿ＵＳ画像を目標（参照）画像に、ＥＯＢ−ＭＲ画像を対象画像に設定している。図８の左列は、目標（参照）画像を、図８の中央列は、従来法による位置合せ画像とフュージョン画像（fusion image）を、図８の右列は、本提案法による位置合せ画像とフュージョン画像を、それぞれ示す。ここで、従来法とは、評価関数の計算対象領域を制限せず、撮像視野が狭い方の画像の画像全体の領域を計算対象とする方法である。図８の中央列のフュージョン画像中の矢印“⇒”で示すように、従来法では補正し切れていない位置ずれが残っている。これに対して図８の右列に示すように、本提案法による例では位置ずれのない良好な画像が得られている。

【0067】

このように、本実施形態に係る画像処理装置によれば、被写体の同一部位を表す二画像の位置合せにおいて、位置合せに用いる評価関数の計算対象領域を当該二画像に共通する血管分岐の位置に基づいて設定しているので、位置合せ精度を向上させるのに必要な解剖学的ランドマークを評価関数の計算対象領域（関心領域）に十分に効率よく含めることができ、計算時間を増大させることなく位置合せの精度あるいは堅牢性の向上が期待できる。特に、ＵＳ（超音波）画像のように画像中心に必ずしも関心構造物が存在するとは限らない場合、大きな効果が期待できる。臨床上の利点として、例えば肝臓におけるラジオ波焼灼療法（ＲＦＡ）などの治療において治療対象の腫瘍周辺の位置合せ精度の向上が期待できる。

【0068】

また、本実施形態では、評価関数の計算対象領域（関心領域）に位置合せ精度を確保するのに必要な解剖学的ランドマークを含んでいるか否かによって関心領域を再調整する処理を含むので、特にＵＳ画像に対して安定した位置合せ精度が期待できる。

【0069】

また、本実施形態では、主要な構造物さえ検出できればよいので、画質による位置合せ精度の低下が少ない。

【0070】

また、本実施形態では、評価関数の計算対象領域を手動操作なしに短時間で指定できるので、ユーザの精神的なストレス（stress）が軽減される。

【0071】

なお、発明は、本実施形態に限定されず、発明の趣旨を逸脱しない範囲において種々の変更が可能である。

【0072】

例えば、評価関数は、本実施形態に限定されず、二画像の類似度を表す指標と成り得るものであれば、いかなるものであってもよい。

【0073】

また、位置合せを行う二画像の組合せとしては、ＭＲ画像とＵＳ画像の組合せだけでなく、Ｘ線ＣＴ画像とＵＳ画像や、ＭＲ画像とＸ線ＣＴ画像の組合せなど、あらゆる撮像モダリティ（modality）の画像に適用できる。

【0074】

また、本実施形態は、発明を、撮像モダリティが互いに異なる画像同士の位置合せに適用した例であるが、撮像モダリティが同一であって撮像の時相が互いに異なる画像同士の位置合せに適用することもできる。このような画像としては、例えば、手術前後の画像や造影撮影における早期相と後期相の画像などが考えられる。また、発明は、人体の画像だけでなく、動物の画像にも適用可能である。

【0075】

また、初期位置合せ及び精密位置合せにおいては、画像の解像度を荒くしたり、画像の回動度を始めは荒く段階的に細かくしていくマルチ・レゾリューション（multi-resolution）の手法を適用したりしてもよい。

【0076】

また、本実施形態は、画像処理装置であるが、コンピュータをこのような画像処理装置として機能させるためのプログラムや当該プログラムを記憶した記憶媒体等もまた発明の実施形態の一例である。

【符号の説明】

【0077】

１ 画像処理装置
２ 血管抽出部
３ 血管分岐検出部
４ 共通分岐特定部
５ 初期位置合せ部
６ 共通分岐位置判定部
７ 評価関数計算対象設定部
８ 精密位置合せ部
８１ 位置合せ条件設定部
８２ 評価部
８３ 最適化部
８４ 変換部
８５ 補間部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】