特許 6293619 画像処理方法および装置並びにプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6293619

(24)【登録日】2018年2月23日

(45)【発行日】2018年3月14日

(54)【発明の名称】画像処理方法および装置並びにプログラム

(51)【国際特許分類】

   A61B 8/00 20060101AFI20180305BHJP

   A61B 6/03 20060101ALI20180305BHJP

   A61B 5/055 20060101ALI20180305BHJP

【ＦＩ】

   A61B8/00

   A61B6/03 377

   A61B6/03 360G

   A61B6/03 360P

   A61B5/05 380

【請求項の数】17

【全頁数】28

(21)【出願番号】特願2014-173996(P2014-173996)

(22)【出願日】2014年8月28日

(65)【公開番号】特開2016-47217(P2016-47217A)

(43)【公開日】2016年4月7日

【審査請求日】2016年9月15日

(73)【特許権者】

【識別番号】300019238

【氏名又は名称】ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー

(74)【代理人】

【識別番号】100137545

【弁理士】

【氏名又は名称】荒川 聡志

(72)【発明者】

【氏名】ハスナイン ハック

【審査官】 宮川 哲伸

(56)【参考文献】

【文献】 特開２００８−２５９７０２（ＪＰ，Ａ）

【文献】 特開２０１３−１５４１２７（ＪＰ，Ａ）

【文献】 特開２００９−１１２４６８（ＪＰ，Ａ）

【文献】 特開２０１４−０８７６７１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／３１００９２（ＵＳ，Ａ１）

【文献】 特開２０１４−１５１０８４（ＪＰ，Ａ）

【文献】 特開２０１２−７５７９４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ８／００ − ８／１５

Ａ６１Ｂ ６／００ − ６／１４

Ａ６１Ｂ ５／０５５

(57)【特許請求の範囲】

【請求項1】

血管を含む部位を表す３次元医用画像において関心が持たれるスライスを特定する特定工程であって、前記部位を表す第１の３次元医用画像における第１の血管分岐を含む第１のスライスと、前記部位を表す第２の３次元医用画像における前記第１の血管分岐と同一の血管分岐である可能性がある第２の血管分岐を含む第２のスライスとを特定する特定工程と、
前記第１の３次元医用画像における前記第１のスライスを含み該第１のスライスより幅広である第１の領域について、前記第１のスライスのスライス軸方向に画素値の第１の投影処理を行うとともに、前記第２の３次元医用画像における前記第２のスライスを含み該第２のスライスより幅広である第２の領域について、前記第２のスライスのスライス軸方向に画素値の第２の投影処理を行う投影工程と、を備えた画像処理方法。

【請求項2】

前記第１の投影処理により得られた第１の投影画像と、前記第２の投影処理により得られた第２の投影画像とを表示する表示工程を備える、請求項１に記載の画像処理方法。

【請求項3】

前記第１の血管分岐と前記第２の血管分岐とが重なるように、前記第１の３次元医用画像と前記第２の３次元医用画像との位置合せを行う位置合せ工程をさらに備えた、請求項１又は２に記載の画像処理方法。

【請求項4】

前記特定工程は、前記第１の血管分岐と前記第２の血管分岐とによる複数の組合せを特定し、
操作者による所定の操作に応答して、前記複数の組合せの中から１つの組合せを選択する選択工程をさらに備え、
前記位置合せ工程は、前記選択された１つの組合せを構成する前記第１の血管分岐と前記第２の血管分岐とが重なるように、前記第１の３次元医用画像と前記第２の３次元医用画像との位置合せを行う、請求項３に記載の画像処理方法。

【請求項5】

血管を含む部位を表す３次元医用画像において関心が持たれるスライスを特定する特定手段であって、前記部位を表す第１の３次元医用画像における第１の血管分岐を含む第１のスライスと、前記部位を表す第２の３次元医用画像における前記第１の血管分岐と同一の血管分岐である可能性がある第２の血管分岐を含む第２のスライスとを特定する特定手段と、
前記第１の３次元医用画像における前記第１のスライスを含み該第１のスライスより幅広である第１の領域について、前記第１のスライスのスライス軸方向に画素値の第１の投影処理を行うとともに、前記第２の３次元医用画像における前記第２のスライスを含み該第２のスライスより幅広である第２の領域について、前記第２のスライスのスライス軸方向に画素値の第２の投影処理を行う投影手段と、
前記第１の投影処理により得られた第１の投影画像と、前記第２の投影処理により得られた第２の投影画像とを表示する表示手段と、を備えた画像処理装置。

【請求項6】

前記第１の血管分岐と前記第２の血管分岐とが重なるように、前記第１の３次元医用画像と前記第２の３次元医用画像との位置合せを行う位置合せ手段をさらに備えた、請求項５に記載の画像処理装置。

【請求項7】

前記特定手段は、前記第１の血管分岐と前記第２の血管分岐とによる複数の組合せを特定し、
操作者による所定の操作に応答して、前記複数の組合せの中から１つの組合せを選択する選択手段をさらに備え、
前記位置合せ手段は、前記選択された１つの組合せを構成する前記第１の血管分岐と前記第２の血管分岐とが重なるように、前記第１の３次元医用画像と前記第２の３次元医用画像との位置合せを行う、請求項６に記載の画像処理装置。

【請求項8】

前記特定手段は、一定レベル以上の類似度が算出された血管分岐の組合せを、前記第１及び第２の血管分岐として特定する、請求項５から請求項７のいずれか一項に記載の画像処理装置。

【請求項9】

前記特定手段は、操作者により指定された血管分岐の組合せを、前記第１及び第２の血管分岐として特定する、請求項５から請求項７のいずれか一項に記載の画像処理装置。

【請求項10】

前記投影手段は、前記投影処理として、最大値投影処理、最小値投影処理または平均値投影処理を行う、請求項５から請求項９のいずれか一項に記載の画像処理装置。

【請求項11】

前記投影手段は、血管に対応する画素値が他の組織に対応する平均的な画素値よりも高くなるような３次元医用画像に対しては、前記最大値投影処理を行う、請求項１０に記載の画像処理装置。

【請求項12】

前記投影手段は、血管に対応する画素値が他の組織に対応する平均的な画素値よりも低くなるような３次元医用画像に対しては、前記最小値投影処理を行う、請求項１０に記載の画像処理装置。

【請求項13】

前記第１及び第２の３次元医用画像は、撮像モダリティが互いに異なる画像である、請求項５から請求項１２のいずれか一項に記載の画像処理装置。

【請求項14】

前記第１及び第２の３次元医用画像の一方は、超音波画像である、請求項１３に記載の画像処理装置。

【請求項15】

前記部位は、肝臓または肺である、請求項５から請求項１４のいずれか一項に記載の画像処理装置。

【請求項16】

前記第１及び第２のスライスの幅は、実空間における３ｍｍ以下の幅に
前記第１及び第２の領域の幅は、実空間における５ｍｍ以上、３０ｍｍ以下の幅に相当する、請求項５から請求項１５のいずれか一項に記載の画像処理装置。

【請求項17】

コンピュータを、請求項５から請求項１６のいずれか一項に記載の画像処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、３次元医用画像におけるスライス（slice）の断層画像を表示する技術に関する。

【背景技術】

【0002】

従来、被検体の部位を表す３次元医用画像を用いた画像処理が種々提案されている。また、このような画像処理の中で、３次元医用画像において関心が持たれるスライスを特定し、そのスライスに対応した断層画像を再構成して表示する処理を求められる場合がある（特許文献１等参照）。

【0003】

例えば、近年、画像診断の精度を向上させる目的で、被検体における同一の部位を複数の撮像モダリティで撮像し、得られた複数の３次元医用画像を同時に参照することが行われている。この際、通常は、これら複数の３次元医用画像の位置合せが行われ、各画像の座標系を合わせる処理が成される（非特許文献１等参照）。３次元医用画像の位置合せでは、例えば、画像処理装置に、位置合せする２つの３次元医用画像において画像間で共通する同一の組織部分を表すスライスの組合せについて候補を特定し、そのスライスに対応した断層画像を再構成して表示させる。操作者は、それらの断層画像を参照し、同一の組織部分を表すと思われるスライスの組合せを目視で特定する。画像処理装置は、このようにして特定された組合せの各スライス内の組織構造が位置的に互いに重なるように、３次元医用画像の座標変換を行う。

【0004】

一般的に、３次元医用画像において関心が持たれるスライスを特定し、その断層画像を再構成して表示する際には、断層画像の解像度をよくするとともに空間分解能を上げるため、そのスライスのスライス幅は、例えば、実空間上で０．５ｍｍ程度と比較的小さく設定する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特表２００５−５２２２９６号公報

【非特許文献】

【0006】

【非特許文献1】IEEE Trans. on Med. Imaging, 16:187-198, 1997

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、特定するスライスのスライス幅が小さいと、そのスライスに含まれる組織のスライス幅方向の情報が少なくなるため、特に解剖学的なランドマーク（landmark）となる血管の構造が把握し辛い。そうかと言って、スライス幅をやみくもに大きくすると、そのスライスの空間分解能が低下するため、目的にそぐわないケース（case）もある。特に、３次元画像の位置合せを行う場合には、位置合せ精度を劣化させる要因になるため好ましくない。

【0008】

このような事情により、３次元医用画像におけるスライスの断層画像を表示する際に、そのスライスの空間分解能を損ねることなく、そのスライスに含まれる血管の構造をより把握しやすくする技術が望まれている。

【課題を解決するための手段】

【0009】

第１の観点の発明は、
血管を含む部位を表す３次元医用画像において関心が持たれるスライスを特定する特定工程と、
前記３次元医用画像における前記スライスを含み該スライスのスライス幅より幅広である領域について、該スライスのスライス軸方向に画素値の投影処理を行う投影工程と、を備えた画像処理方法を提供する。

【0010】

第２の観点の発明は、
前記投影処理により得られた投影画像を表示する表示工程をさらに備えており、
前記特定工程が、前記部位を表す第１の３次元医用画像における第１のスライスと、前記部位を表す第２の３次元医用画像における第２のスライスであって前記第１のスライスに含まれる血管部分構造体と同一の血管部分構造体を含む可能性がある第２のスライスとを特定し、
前記投影工程が、前記第１の３次元医用画像における前記第１のスライスを含み該第１のスライスより幅広である第１の領域について、前記第１のスライスのスライス軸方向に第１の投影処理を行うとともに、前記第２の３次元医用画像における前記第２のスライスを含み該第２のスライスより幅広である第２の領域について、前記第２のスライスのスライス軸方向に第２の投影処理を行い、
前記表示工程が、前記第１の投影処理により得られた第１の投影画像と、前記第２の投影処理により得られた第２の投影画像とを表示する、上記第１の観点の画像処理方法を提供する。

【0011】

第３の観点の発明は、
前記特定工程が、前記第１の３次元医用画像における第１の血管分岐を含むスライスを前記第１のスライスとして特定するとともに、前記第２の３次元医用画像における前記第１の血管分岐と同一の血管分岐である可能性がある第２の血管分岐を含むスライスを前記第２のスライスとして特定する、上記第２の観点の画像処理方法を提供する。

【0012】

第４の観点の発明は、
前記第１の血管分岐と前記第２の血管分岐とが重なるように、前記第１の３次元医用画像と前記第２の３次元医用画像との位置合せを行う位置合せ工程をさらに備えた、上記第３の観点の画像処理方法を提供する。

【0013】

第５の観点の発明は、
前記特定工程が、前記第１の血管分岐と前記第２の血管分岐とによる複数の組合せを特定し、
操作者による所定の操作に応答して、前記複数の組合せの中から１つの組合せを選択する選択工程をさらに備え、
前記位置合せ工程が、前記選択された１つの組合せを構成する前記第１の血管分岐と前記第２の血管分岐とが重なるように、前記第１の３次元医用画像と前記第２の３次元医用画像との位置合せを行う、上記第４の観点の画像処理方法を提供する。

【0014】

第６の観点の発明は、
血管を含む部位を表す３次元医用画像において関心が持たれるスライスを特定する特定手段と、
前記３次元医用画像における前記スライスを含み該スライスのスライス幅より幅広である領域について、該スライスのスライス軸方向に画素値の投影処理を行う投影手段と、
前記投影処理により得られた投影画像を表示する表示手段と、を備えた画像処理装置を提供する。

【0015】

第７の観点の発明は、
前記特定手段が、前記部位を表す第１の３次元医用画像における第１のスライスと、前記部位を表す第２の３次元医用画像における第２のスライスであって前記第１のスライスに含まれる血管部分構造体と同一の血管部分構造体を含む可能性がある第２のスライスとを特定し、
前記投影手段が、前記第１の３次元医用画像における前記第１のスライスを含み該第１のスライスより幅広である第１の領域について、前記第１のスライスのスライス軸方向に第１の投影処理を行うとともに、前記第２の３次元医用画像における前記第２のスライスを含み該第２のスライスより幅広である第２の領域について、前記第２のスライスのスライス軸方向に第２の投影処理を行い、
前記表示手段が、前記第１の投影処理により得られた第１の投影画像と、前記第２の投影処理により得られた第２の投影画像とを表示する、上記第６の観点の画像処理装置を提供する。

【0016】

第８の観点の発明は、
前記特定手段が、前記第１の３次元医用画像における第１の血管分岐を含むスライスを前記第１のスライスとして特定するとともに、前記第２の３次元医用画像における前記第１の血管分岐と同一の血管分岐である可能性がある第２の血管分岐を含むスライスを前記第２のスライスとして特定する、上記第７の観点の画像処理装置を提供する。

【0017】

第９の観点の発明は、
前記第１の血管分岐と前記第２の血管分岐とが重なるように、前記第１の３次元医用画像と前記第２の３次元医用画像との位置合せを行う位置合せ手段をさらに備えた、上記第８の観点の画像処理装置を提供する。

【0018】

第１０の観点の発明は、
前記特定手段が、前記第１の血管分岐と前記第２の血管分岐とによる複数の組合せを特定し、
操作者による所定の操作に応答して、前記複数の組合せの中から１つの組合せを選択する選択手段をさらに備え、
前記位置合せ手段が、前記選択された１つの組合せを構成する前記第１の血管分岐と前記第２の血管分岐とが重なるように、前記第１の３次元医用画像と前記第２の３次元医用画像との位置合せを行う、上記第９の観点の画像処理装置を提供する。

【0019】

第１１の観点の発明は、
前記特定手段が、一定レベル以上の類似度が算出された血管分岐の組合せを、前記第１及び第２の血管分岐として特定する、請求項７から請求項１０のいずれか一項に記載の画像処理装置。

【0020】

第１２の観点の発明は、
前記特定手段が、操作者により指定された血管分岐の組合せを、前記第１及び第２の血管分岐として特定する、上記第７の観点から第１０の観点のいずれか一つの観点の画像処理装置を提供する。

【0021】

第１３の観点の発明は、
前記投影手段が、前記投影処理として、最大値投影処理、最小値投影処理または平均値投影処理を行う、上記第７の観点から第１２の観点のいずれか一つの観点の画像処理装置を提供する。

【0022】

第１４の観点の発明は、
前記投影手段が、血管に対応する画素値が他の組織に対応する平均的な画素値よりも高くなるような３次元医用画像に対しては、前記最大値投影処理を行う、上記第１３の観点の画像処理装置を提供する。

【0023】

第１５の観点の発明は、
前記投影手段が、血管に対応する画素値が他の組織に対応する平均的な画素値よりも低くなるような３次元医用画像に対しては、前記最小値投影処理を行う、上記第１３の観点の画像処理装置を提供する。

【0024】

第１６の観点の発明は、
前記第１及び第２の３次元医用画像が、撮像モダリティ（modality）が互いに異なる画像である、上記第７の観点から第１５の観点のいずれか一つの観点の画像処理装置を提供する。

【0025】

第１７の観点の発明は、
前記第１及び第２の３次元医用画像の一方が、超音波画像である、上記第１６の観点の画像処理装置を提供する。

【0026】

第１８の観点の発明は、
前記部位が、肝臓または肺である、上記第６の観点から第１７の観点のいずれか一つの観点の画像処理装置を提供する。

【0027】

第１９の観点の発明は、
前記第１及び第２のスライスの幅は、実空間における３ｍｍ以下の幅に
前記第１及び第２の領域の幅は、実空間における５ｍｍ以上、３０ｍｍ以下の幅に相当する、上記第６の観点から第１８の観点のいずれか一つの観点の画像処理装置を提供する。

【0028】

第２０の観点の発明は、
コンピュータ（computer）を、上記第６の観点から第１９の観点のいずれか一つの観点の画像処理装置として機能させるためのプログラム（program）を提供する。

【発明の効果】

【0029】

上記観点の発明によれば、上記構成により、３次元医用画像において特定されたスライスを含みそのスライス軸方向にそのスライス幅より幅広である領域について画素値を投影した投影画像を得ることができ、当該スライスの空間分解能を損ねることなく、そのスライスに含まれる血管の構造をより把握しやすくすることができる。

【図面の簡単な説明】

【0030】

【図1】第一実施形態に係る画像処理装置の構成を概略的に示す機能ブロック（block）図である。

【図2】同一被検者の肝臓を表すＭＲ３Ｄ画像及びＵＳ３Ｄ画像の一例を示す図である。

【図3】ＭＲ血管画像、ＭＲ血管ツリー（tree）及びＭＲ血管分岐におけるベクトル（vector）Ｕ，Ｖ，Ｗの算出結果の一例を示す図である。

【図4】血管分岐点を検出する方法を説明するための図である。

【図5】血管分岐を形成する血管部分に対応したベクトルを求める方法を説明するための図である。

【図6】血管分岐のマッチング（matching）評価の概念図である。

【図7】血管分岐を規定するベクトルを説明するための図である。

【図8】ＵＳ（Ultra Sound）分岐スライスを含むＵＳスライス幅広領域の設定例を示す図である。

【図9】画素値の最大値投影処理及び最小値投影処理の概念を示す図である。

【図10】造影剤が注入された肝臓を表す造影ＣＴ（Computed Tomography）画像と、造影剤が注入された肝臓の造影ＭＲ（Magnetic Resonance）画像との例を示す図である。

【図11】ＭＲスライス及びＵＳスライスを表す断層画像の例を示す図である。

【図12】ＭＲスライス幅広領域及びＵＳスライス幅広領域の投影画像の例を示す図である。

【図13】画像表示の一例を示す図である。

【図14】第一実施形態に係る画像処理装置における処理の流れを示すフロー（flow）図である。

【図15】第二実施形態における不完全血管分岐ペア（pair）の構成を説明するための図である。

【図16】不完全血管分岐ペアを規定するベクトルを説明するための図である。

【図17】第三実施形態における血管部分ペアの構成を説明するための図である。

【図18】血管部分ペアを規定するベクトルを説明するための図である。

【図19】第四実施形態に係る画像処理装置の構成を概略的に示す機能ブロック図である。

【図20】第四実施形態に係る画像処理装置における処理の流れを示すフロー図である。

【発明を実施するための形態】

【0031】

以下、発明の実施形態について説明する。なお、これにより発明は限定されない。

【0032】

本実施形態に係る画像処理装置は、同一の被検者における同一の部位を表す２つの３次元医用画像を位置合せし、その後、任意のスライスを表す断層画像を再構成して表示する装置である。位置合せの手法としては、上記２つの３次元医用画像の各々について血管を抽出して血管分岐などの血管部分構造体を検出し、上記２つの３次元医用画像間で共通する同一の血管部分構造体を特定して、これらが互いに重なるように３次元医用画像の座標変換を行う手法を用いる。この手法は、画像の濃淡の類似性を見るのではなく、血管部分構造体の形状の類似性を見る手法である。そのため、本手法は、物質の種類と画素値との対応関係が互いに異なるような２つの画像間の位置合せ、例えば、撮影モダリティが互いに異なる画像間の位置合せや、肝臓・肺など変形性の高い部位を表す画像間の位置合せに対して特に有効である。本実施形態では、この手法において、位置合せする画像間で共通する同一の血管部分構造体を特定する際に、その特定精度を高めるため、比較対象となる血管部分構造体だけでなく、その周辺の血管が参照できるようにする。具体的には、比較対象となる血管部分構造体とその周辺を含む領域について、最大画素値投影や最小画素値投影などの投影処理を行って、その領域内の血管が強調された投影画像を生成し、これを表示する。操作者は、この投影画像を参照することにより、血管部分構造体を含む広い範囲の血管構造の類似性を判断することができ、比較対象となる血管部分構造体が共通する同一の血管部分構造体であるか否かを高い確度で判定することができる。画像処理装置は、この判定結果を利用することで精度の高い画像の位置合せを行うことができる。

【0033】

（第一実施形態）
図１は、本実施形態に係る画像処理装置１ａの構成を概略的に示す機能ブロック（block）図である。画像処理装置１ａは、例えば、コンピュータ（computer）ＣＰに所定のプログラム（program）を実行させることにより実現させることができる。

【0034】

図１に示すように、画像処理装置１ａは、画像取得部２と、血管抽出部３と、血管部分構造体検出部４と、マッチング（matching）評価部５と、処理対象スライス（slice）特定部６と、スライス幅広領域投影部７と、投影画像表示部８と、マッチング確定部９と、座標変換部１０と、位置合せ調整部１１と、対応断層画像生成部１２と、画像出力部１３とを有している。なお、処理対象スライス特定部６、スライス幅広領域投影部７及び投影画像表示部８は、それぞれ、発明における特定手段、投影手段及び表示手段の一例である。また、マッチング確定部９、座標変換部１０及び位置合せ調整部１１は、発明における位置合せ手段の一例である。

【0035】

画像取得部２は、位置合せの対象となる２つの３次元医用画像を取得する。ここでは、ユーザ（user）の操作に応じて、入力された２つの３次元医用画像を位置合せの対象として取得する。画像取得部２は、これら２つの３次元医用画像のうち一方を、位置合せ処理において固定する“目標画像”に設定し、他方を、位置合せ処理において座標変換する“対象画像”に設定する。本例では、位置合せの対象となる２つの３次元医用画像として、同一の被検者の肝臓を表すＭＲ３Ｄ画像Ｇ_MR及びＵＳ３Ｄ画像Ｇ_USを取得する場合を想定する。また、ＵＳ３Ｄ画像Ｇ_USを“目標画像”に設定し、ＭＲ３Ｄ画像Ｇ_MRを“対象画像”に設定する。なお、ＭＲ３Ｄ画像Ｇ_MR及びＵＳ３Ｄ画像Ｇ_USは、発明における第１の３次元医用画像及び第２の３次元医用画像の一例である。

【0036】

図２に、同一の被検者の肝臓を表すＭＲ３Ｄ画像Ｇ_MR及びＵＳ３Ｄ画像Ｇ_USの一例を示す。ただし、この図では、便宜上、３次元医用画像における所定の断層画像を示している。

【0037】

血管抽出部３は、ＭＲ３Ｄ画像Ｇ_MR及びＵＳ３Ｄ画像Ｇ_USから、血管を表す血管画像をそれぞれ抽出する。血管画像の抽出には、既知の手法を用いる。例えば、非特許文献 Kirbus C and Quek F: A review of vessel extraction technique and algorithms, ACM Computer Surveys （CSUR）, 36（2）, 81-121, 2004.に記載されている手法を用いる。以下、ＭＲ３Ｄ画像Ｇ_MRにおける血管画像をＭＲ血管画像Ｖ_MRといい、ＵＳ３Ｄ画像Ｇ_USにおける血管画像をＵＳ血管画像Ｖ_USという。本例では、血管画像として、肝臓の門脈または肝静脈を表す画像を抽出する。また、血管画像は、二値化画像として抽出する。

【0038】

図３（ａ）に、血管画像の一例として、ＭＲ血管画像Ｖ_MRのサンプル（sample）を示す。

【0039】

血管部分構造体検出部４は、抽出されたＭＲ血管画像Ｖ_MR及びＵＳ血管画像Ｖ_USにおいて、１つ以上の血管部分構造体をそれぞれ検出する。ここで、血管部分構造体とは、互いに近接または結合する複数の血管部分により構成される構造体のことを言う。本例では、血管部分構造体として、血管分岐を検出する。血管分岐は、血管分岐点と、その血管分岐点から枝分かれする二本の血管部分とにより構成される。そのため、血管分岐は、血管分岐点の位置と、その血管分岐点から枝分かれする二本の血管部分の走行方向及び長さとにより特定され、識別される。血管部分構造体検出部４は、具体的には、次のような処理を行う。

【0040】

まず、抽出されたＭＲ血管画像Ｖ_MR及びＵＳ血管画像Ｖ_USに対して、スムージング（smoothing）処理を施す。これにより、境界（輪郭）が滑らかになった血管画像が得られる。スムージング処理には、例えば、３次元のガウシアンフィルタ（Gaussian Filter）や３次元のメディアンフィルタ（Median Filter）などを用いる。

【0041】

次に、スムージング処理済みのＭＲ血管画像Ｖ_MR及びＵＳ血管画像Ｖ_USに対して、スケルトン（skeleton）処理（３次元細線化処理）を施す。これにより、血管の走行方向に沿った軸だけが枝のように線状に表された「血管ツリー（tree）」が得られる。以下、ＭＲ血管画像から得られた血管ツリーをＭＲ血管ツリーＴＲ_MRといい、ＵＳ血管画像から得られた血管ツリーをＵＳ血管ツリーＴＲ_USという。スケルトン処理としては、例えば、非特許文献 Lee et.al , Building skeleton models via 3-D medial surface/axis thinning algorithms. Computer Vision, Graphics, and Image Processing, 56(6):462-478, 1994 に記載されている手法を用いる。図３（ｂ）に、血管ツリーの一例として、ＭＲ血管ツリーＴＲ_MRのサンプルを示す。図３（ｂ）において、各血管部分に付された番号は、タグ（tag）番号である。

【0042】

次いで、ＭＲ血管ツリーＴＲ_MR及びＵＳ血管ツリーＴＲ_USにおいて、１つ以上の血管分岐点をそれぞれ検出する。以下、具体的な処理について説明する。

【0043】

図４は、血管分岐点を検出する方法を説明するための図である。図４に示すように、血管ツリーＴＲの枝に沿って、その枝上の点を含む所定サイズ（size）の領域を解析領域Ａ１として設定する。解析領域Ａ１は、例えば、血管ツリーＴＲの枝上の点に対応した画素を中心とする［３×３×３］画素の３次元領域とする。次いで、この解析領域Ａ１に対して解析を行い、血管分岐を形成する連続画素を検出する。解析は、血管ツリーの「幹」側から「枝先」側に向かって行われるよう、血管ツリーの元となる血管画像において最も太い血管部分に相当する枝の端部から解析を開始する。そして、連続画素が枝分かれする点を、血管分岐点ＢＰとして検出する。なお、血管分岐は、一本の血管が二本の血管に枝分かれする二叉分岐が典型であるが、一本の血管が同一の分岐点で三本以上の血管に枝分かれする三叉以上の分岐も存在する。三叉以上の分岐は、複数の二叉分岐として認識する。以下、ＭＲ血管ツリーＴＲ_MRにおいて検出された各血管分岐点をＭＲ血管分岐点ＢＰ_MR,i（i=1,2,…）で表し、ＵＳ血管ツリーＴＲ_USにおいて検出された各血管分岐点をＵＳ血管分岐点ＢＰ_US,j（j=1,2,…）で表す。

【0044】

なお、血管分岐点を検出する際には、簡略化のため、血管ツリーの全体において、血管分岐点から枝分かれした血管部分の長さが非常に小さい血管分岐点は排除し、枝分かれした血管部分の長さが所定の閾値を超える比較的大きめの血管分岐点のみを検出するようにしてもよい。

【0045】

次に、ＭＲ血管分岐点ＢＰ_MR,i及びＵＳ血管分岐点ＢＰ_US,jの各々について、その血管分岐点から枝分かれする二本の血管部分に対応した二つのベクトル（vector）を求める。以下、具体的な処理について説明する。

【0046】

図５は、血管分岐を形成する血管部分に対応したベクトルを求める方法を説明するための図である。図５（ａ）に示すように、血管ツリーＴＲ上で、血管分岐点ＢＰごとに、その血管分岐点ＢＰを含む所定サイズの領域を注目領域Ａ２として設定する。注目領域Ａ２は、例えば、血管分岐点ＢＰを中心とする［１０×１０×１０］画素の３次元領域とする。注目領域Ａ２内には、血管分岐点ＢＰから枝分かれする二本の血管部分ＢＶ₁，ＢＶ₂が含まれている。次に、図５（ｂ）に示すように、二本の血管部分ＢＶ₁，ＢＶ₂それぞれの走行方向と長さを表すベクトルｂ₁，ｂ₂を求める。血管分岐点ＢＰから枝分かれする血管部分ＢＶ₁，ＢＶ₂の走行方向と長さは、注目領域Ａ２内において、対象となる血管分岐点ＢＰから枝分かれする血管部分に次の血管分岐点ＢＮが現れる場合には、対象となる血管分岐点ＢＰとその次の血管分岐点ＢＮとを結ぶ線分の方向と長さとする。一方、対象となる血管分岐点ＢＰから枝分かれする血管部分に、終端点または注目領域Ａ２の境界面との交点である特定点ＢＣが現れる場合には、対象となる血管分岐点ＢＰと特定点ＢＣとを結ぶ線分の方向と長さとする。

【0047】

このような処理により、ＭＲ血管ツリーＴＲ_MR及びＵＳ血管ツリーＴＲ_USそれぞれにおいて、血管分岐を、血管分岐点に対応する画素の座標と、その血管分岐点から枝分かれする二本の血管部分に対応した二つのベクトルとで特定することができる。なお、以下、ＭＲ血管ツリーＴＲ_MRにおける血管分岐をＭＲ血管分岐といい、ＵＳ血管ツリーＴＲ_USにおける血管分岐をＵＳ血管分岐という。

【0048】

マッチング評価部５は、ＭＲ血管分岐とＵＳ血管分岐との組合せごとに、血管分岐同士のマッチング評価を行う。本例では、マッチング評価の対象となるＭＲ血管分岐とＵＳ血管分岐とが重なるように、スムージング処理済みのＭＲ血管画像Ｖ_MRと、スムージング処理済みのＵＳ血管画像Ｖ_USとを位置合せする。次いで、位置合せされたＭＲ血管画像Ｖ_MRとＵＳ血管画像Ｖ_USとの間において、マッチング評価の対象となるＭＲ血管分岐及びＵＳ血管分岐の周辺での類似度を算出する。具体的には、マッチング評価の対象となるＭＲ血管分岐及びＵＳ血管分岐の組合せごとに、次のような処理を行う。

【0049】

図６に、血管分岐のマッチング評価の概念図を示す。まず、スムージング処理済みのＭＲ血管画像Ｖ_MR及びＵＳ血管画像Ｖ_USに座標変換を行って、これらの血管画像をマッチング評価の対象となるＭＲ血管分岐及びＵＳ血管分岐に共通の座標空間に置く。

【0050】

この座標空間は、マッチング評価の対象となるＭＲ血管分岐のＭＲ血管分岐点と、マッチング評価の対象となるＵＳ血管分岐のＵＳ血管分岐点とが重なり、さらに、そのＭＲ血管分岐を形成する二本の血管部分に対応した二つのベクトルを含む平面と、そのＵＳ血管分岐を形成する二本の血管部分に対応した二つのベクトルを含む平面とが重なるように規定された座標空間である。以下、この座標空間を第一共通座標空間という。スムージング処理済みのＭＲ血管画像Ｖ_MRを第一共通座標空間に置くには、マッチング評価の対象となるＭＲ血管分岐に対応した変換行列を求め、この変換行列を用いてＭＲ血管画像Ｖ_MRの座標変換を行う。同様に、スムージング処理済みのＵＳ血管画像Ｖ_USを第一共通座標空間に置くには、マッチング評価の対象となるＵＳ血管分岐に対応した変換行列を求め、この変換行列を用いてＵＳ血管画像Ｖ_USの座標変換を行う。

【0051】

ここで、変換行列の求め方について説明する。変換行列は、第一共通座標空間の中心となる原点と、血管分岐の姿勢（向き）を規定する回転行列とによって構成される。図７に示すように、血管分岐点をＰ＝[ｐ_x，ｐ_y，ｐ_z]とし、血管分岐点Ｐから枝分かれする血管部分に対応するベクトルをＵ及びＶ′とし、ＵＶ′面に垂直なベクトル、すなわち法線ベクトルをＷとする。また、ＷＵ面に垂直なベクトルをＶとする。すると、互いに直交するベクトルＵ，Ｖ，Ｗは、当該血管分岐の姿勢に応じて決定され、回転行列を規定する。図３（ｃ）に、ＭＲ血管分岐におけるベクトルＵ，Ｖ，Ｗの算出結果のサンプルを示す。

【0052】

Ｕ＝[ｕ_x ｕ_y ｕ_z]，Ｖ′＝[ｖ’_x ｖ’_y ｖ’_z]
Ｗ＝Ｕ×Ｖ′＝[ｗ_x ｗ_y ｗ_z]
Ｖ＝(Ｕ×Ｖ′)×Ｕ＝[ｖ_x ｖ_y ｖ_z]

【0053】

変換行列は、ＭＲ血管ツリーＴＲ_MRにおいて検出されたＭＲ血管分岐と、ＵＳ血管ツリーＴＲ_USにおいて検出されたＵＳ血管分岐との各々について求められる。ＭＲ血管分岐について求められる変換行列Ｔ_MR-BFと、ＵＳ血管分岐について求められる変換行列Ｔ_US-BFとは、それぞれ次のように表すことができる。

【数1】

【0054】

なお、ＭＲ３Ｄ画像Ｇ_MRとＵＳ３Ｄ画像Ｇ_USとの間にスケール（scale）の相違がある場合には、ＭＲ血管分岐またはＵＳ血管分岐の対応する変換行列に、スケール比scalを乗ずることで、このスケールの相違をキャンセル（cancel）することができる。ＭＲ３Ｄ画像Ｇ_MRとＵＳ３Ｄ画像Ｇ_USとのスケール比の行列は、次のように表すことできる。

【数2】

【0055】

ここで、スケールパラメータ（scale parameter）ｆx，ｆy，ｆzは、ＭＲ３Ｄ画像Ｇ_MRとＵＳ３Ｄ画像Ｇ_USとの間における対応実空間のスケール比から求められる。

【0056】

スムージング処理済みのＭＲ血管画像Ｖ_MR及びＵＳ血管画像Ｖ_USを、第一共通座標空間に置いたら、ＭＲ血管画像Ｖ_MRとＵＳ血管画像Ｖ_USとの類似度を算出する。具体的には、第一共通座標空間において、ＭＲ血管画像Ｖ_MR及びＵＳ血管画像Ｖ_USの各々について、第一共通座標空間の原点を含む所定サイズの領域を評価領域として設定する。評価領域は、例えば、その原点を中心とした［６４×６４×６４］画素の３次元領域とする。そして、ＭＲ血管画像Ｖ_MRとＵＳ血管画像Ｖ_USとの間における当該評価領域での類似度を算出する。類似度としては、例えば、相互相関係数を用いる。相互相関係数の算出に用いる相関関数は、既知のものでよい。

【0057】

このようなＭＲ血管画像及びＵＳ血管画像の第一共通座標空間への座標変換と、類似度の算出とを、ＭＲ血管分岐及びＵＳ血管分岐の組合せごとにそれぞれ行う。すなわち、ＭＲ血管分岐の数をｍ個とし、ＵＳ血管分岐の数をｎ個とすると、ｍ個のＭＲ血管分岐それぞれの変換行列と、ｎ個のＵＳ血管分岐それぞれの変換行列とは、次のように表すことができる。

【0058】

｛Ｔ_1MR-BF，Ｔ_2MR-BF，…，Ｔ_mMR-BF｝ ｛Ｔ_1US-BF，Ｔ_2US-BF，…，Ｔ_nUS-BF｝
そして、上記したマッチング評価処理を、ＭＲ血管分岐とＵＳ血管分岐との組合せの数、すなわちｍ×ｎの数だけ行う。ただし、ＭＲ血管分岐を構成するどちらの血管部分とＵＳ血管分岐を構成するどちらの血管部分とが共通の同じ血管となる可能性があるのかは、マッチング評価を行うまで不明である。そのため、実際には、ＭＲ血管分岐とＵＳ血管分岐との組合せごとに、ＭＲ血管分岐またはＵＳ血管分岐のいずれかに対して、血管分岐を形成する二本の血管部分の一方と他方とを位置的に入れ換えた場合についても、マッチング評価を行う必要がある。したがって、厳密には、上記マッチング評価処理は、ｍ×ｎ×２の数だけ行うことになる。

【0059】

マッチング評価部５は、さらに、一定レベル（level）以上の類似度が算出されたＭＲ血管分岐とＵＳ血管分岐との組合せを、ＭＲ３Ｄ画像Ｇ_MRとＵＳ３Ｄ画像Ｇ_USとで共通する同一の血管分岐を表す組合せの候補として特定する。例えば、類似度が大きい順に上位所定数以内となるＭＲ血管分岐とＵＳ血管分岐との組合せ、あるいは、類似度が所定の閾値以上となるＭＲ血管分岐とＵＳ血管分岐との組合せを、上記候補として特定する。

【0060】

処理対象スライス特定部１６は、上記候補として特定された血管分岐の組合せごとに、ＭＲ３Ｄ画像Ｇ_MRにおける当該組合せを構成するＭＲ血管分岐が含まれるスライスと、ＵＳ３Ｄ画像Ｇ_USにおける当該組合せを構成するＵＳ血管分岐が含まれるスライスとを特定する。ここでは、ＭＲ３Ｄ画像Ｇ_MRにおけるＭＲ血管分岐が含まれるスライスをＭＲスライスＳＬ_MRと呼び、ＵＳ３Ｄ画像Ｇ_USにおけるＵＳ血管分岐が含まれるスライスをＵＳスライスＳＬ_USと呼ぶことにする。ＭＲスライスＳＬ_MRは、ＭＲ血管分岐を形成する２本の血管部分に対応した２つのベクトルを含む平面に平行なスライス面を持つスライスである。同様に、ＵＳスライスＳＬ_USは、ＵＳ血管分岐を形成する２本の血管部分に対応した２つのベクトルを含む平面に平行なスライス面を持つスライスである。

【0061】

処理対象スライス特定部１６は、上記候補である組合せごとに、その組合せを構成するＭＲスライスＳＬ_MR及びＵＳスライスＳＬ_USを、処理対象として順次特定する。

【0062】

スライス幅広領域投影部１７は、ＭＲ３Ｄ画像Ｇ_MRにおいて、処理対象となったＭＲスライスＳＬ_MRを含み、そのＭＲスライスＳＬ_MRのスライス軸方向にそのスライス幅より幅広である領域を、ＭＲスライス幅広領域ＷＲ_MRとして設定する。また、ＵＳ３Ｄ画像Ｇ_USにおいても同様に、処理対象となったＵＳスライスＳＬ_USを含み、そのＵＳスライスＳＬ_USのスライス軸方向にそのスライス幅より幅広である領域を、ＵＳスライス幅広領域ＷＲ_USとして設定する。

【0063】

図８に、ＵＳスライスを含むＵＳスライス幅広領域の設定例を示す。本例では、ＵＳ３Ｄ画像Ｇ_USにおいて、ＵＳスライスＳＬ_USを中心に、そのスライス軸方向に幅Δｗの厚さを有するＵＳスライス幅広領域ＷＲ_USが設定された様子を示している。

【0064】

スライス幅広領域投影部１７は、さらに、ＭＲスライス幅広領域ＷＲ_MRについて、そのＭＲスライスＳＬ_MRのスライス軸方向に画素値の投影処理を行い、ＭＲスライス幅広投影画ＧＰ_MR像を得る。また、ＵＳスライス幅広領域ＷＲ_USについても同様に、そのＵＳスライスＳＬ_USのスライス軸方向に画素値の投影処理を行い、ＵＳスライス幅広投影画像ＧＰ_USを得る。

【0065】

投影処理の種類としては、例えば、最大値投影（ＭＩＰ；Maximum Intensity Projection）処理、最小値投影（ＭｉｎＩＰ；Minimum Intensity Projection）処理または平均値投影（ＡＩＰ；Average Intensity Projection）処理等を考えることができる。ここで、画素値の最大値投影処理及び最小値投影処理について簡単に説明する。

【0066】

図９は、画素値の最大値投影処理及び最小値投影処理の概念を示す図である。図９（ａ）に示すように、画素値の最大値投影（ＭＩＰ）処理は、投影領域において投影方向に並ぶ画素の画素値のうち最大の画素値を投影する処理である。また、画素値の最小値投影（ＭｉｎＩＰ）処理は、投影領域において投影方向に並ぶ画素の画素値のうち最小の画素値を投影する処理である。今、図９（ｂ）に示すように、投影領域Ｒを矢印ｅの方向に投影することを考える。また、矢印ｅに沿った画素値のプロファイルが、例えば、図９（ｃ）に示すようなプロファイルＰＲであったとする。この場合、矢印ｅに沿った画素値の最大値投影処理では、プロファイルＰＲ上の点ｃ２に対応する最大画素値が投影される。また、矢印ｅに沿った画素値の最小値投影処理では、プロファイルＰＲ上の点ｃ１に対応する最小画素値が投影される。

【0067】

スライス幅広領域投影部１７が実行する投影処理の種類は、処理対象となる画像において血管がどのような画素値で描写されるか、すなわち、処理対象となる画像の撮影モダリティや被写体である部位の種類、血管への造影剤の注入の有無等に応じて決定される。

【0068】

ここで、投影処理の種類の決定方法について簡単に説明する。

【0069】

図１０に、断層画像の例を示す。図１０（ａ）は、造影剤が注入された被検体の肝臓を表すＣＴ３Ｄ画像における所定のＣＴスライスに対応した断層画像である。また、図１０（ｂ）は、造影剤が注入された被検体の肝臓を表すＭＲ３Ｄ画像における所定のＭＲスライスに対応した断層画像である。例えば、図１０（ａ）に示すように、造影剤が注入された被検体の肝臓を表すＣＴ画像など、血管がその周辺の組織の平均的な画素値よりも高い画素値（輝度値）で表されるような場合には、投影処理の種類として最大値投影処理が用いられる。一方、図１０（ｂ）に示すように、造影剤が注入された被検体の肝臓を表すＭＲ画像など、血管がその周辺の組織の平均的な画素値よりも低い画素値（輝度値）で表されるような場合には、投影処理の種類として最小値投影処理が用いられる。

【0070】

図１１に、投影画像の例を示す。図１１（ａ）は、造影剤が注入された被検体の肝臓を表すＣＴ３Ｄ画像における所定のＣＴスライス幅広領域に最大値投影処理を行って得られた投影画像である。また、図１１（ｂ）は、造影剤が注入された被検体の肝臓を表すＭＲ３Ｄ画像における所定のＭＲスライス幅広領域に最小値投影処理を行って得られた投影画像である。図１１から分かるように、投影画像では、一般的なスライス幅のスライスには含まれない立体的な血管の構造がしっかり投影される。

【0071】

なお、ＭＲスライスＳＬ_MR及びＵＳスライスＳＬ_USに対応する実空間上のスライス幅と、ＭＲスライス幅広領域ＷＲ_MR及びＵＳスライス幅広領域ＷＲ_USに対応する実空間上の領域幅との好適な例は、処理対象となる３次元医用画像が表す部位、すなわち血管の太さ等に応じて異なる。例えば、部位が肝臓や肺などである場合には、ＭＲスライス及びＵＳスライスに対応する実空間上のスライス幅は、０．５ｍｍ以上、３ｍｍ以下程度が好適であり、ＭＲスライス幅広領域ＷＲ_MR及びＵＳスライス幅広領域ＷＲ_USに対応する実空間上の領域幅は、５ｍｍ以上、３０ｍｍ以下程度である。

【0072】

このような投影処理によって得られた投影画像によれば、ＭＲスライスやＵＳスライスを表す断層画像には含まれない、その周辺領域に及ぶ血管構造が描写される。操作者は、このような投影画像を見ることで、対象としている血管分岐だけでなく、その周りの血管構造をも把握することができる。そのため、操作者は、これらの投影画像を見比べることにより、対象としている血管分岐の類似性をより高い精度で評価することができ、指定されたＭＲ血管分岐とＵＳ血管分岐とが同一の血管分岐であるか否かを、高い確信度を持って判断することができる。

【0073】

図１２に、断層画像と投影画像との比較例を示す。図１２（ａ）は、超音波撮像装置を用いて被検体の肝臓をＢモードで撮像して得られた、あるスライスに対応した断層画像である。図１２（ｂ）は、そのスライスを含むＵＳスライス幅広領域の投影画像である。また、図１２（ｃ）は、ＭＲ撮像装置を用いて造影剤が注入された同じ被検体の肝臓を撮像して得られた、実質的にほぼ同じスライスを含むＭＲスライス幅広領域の投影画像である。なお、各画像において、解剖学的な幾つかの位置に符号ａ〜ｃの矢印を付してあるが、同じ符号の矢印は、解剖学的にほぼ同じ位置を示している。図１２から分かるように、通常の断層画像では血管分岐が認識し辛い場合があるが、投影画像では血管分岐の周辺における血管の構造がしっかり強調される。

【0074】

投影画像表示部１８は、上記候補の組合せごとに、ＭＲスライス幅広投影画像及びＵＳスライス幅広投影画像を表示する。

【0075】

ここで、操作者は、表示されたこれらの投影画像を参照して、同一の血管分岐を表すと思われるＭＲ血管分岐とＵＳ血管分岐との組合せを選択する。

【0076】

マッチング確定部１９は、操作者により選択されたＭＲ血管分岐とＵＳ血管分岐との組合せを同一の血管分岐を表すベストマッチングの血管分岐として確定する。

【0077】

座標変換部６は、ベストマッチングとして確定された血管分岐の組合せについて、この組合せに対応した変換行列に基づいて、ＭＲ３Ｄ画像Ｇ_MRの座標変換に用いる変換行列を決定する。

【0078】

粗い位置合せに最適な変換行列は、次式により求められる。

【0079】

Ｔ_MR-US＝[Ｔ_MR-BF]_best[Ｔ_US-BF]^-1_best[scal]

【0080】

ここで、[Ｔ_MR-BF]_bestは、ベストマッチングとなったＭＲ血管分岐に対応する変換行列であり、[Ｔ_US-BF]^-1_bestは、ベストマッチングとなったＵＳ血管分岐に対応する変換行列の逆行列である。

【0081】

座標変換部６は、この最適な変換行列Ｔ_MR-USを用いて、ＭＲ３Ｄ画像Ｇ_MRの座標変換を行うことにより、ＭＲ３Ｄ画像Ｇ_MRをＵＳ３Ｄ画像Ｇ_USに粗く位置合せをする。

【0082】

位置合せ調整部７は、粗く位置合せされたＭＲ３Ｄ画像Ｇ_MR及びＵＳ３Ｄ画像Ｇ_USに対して、細かい位置合せを行う。細かい位置合せには、位置合せする画像間における画素値や濃度勾配、エッジなどの特徴部分が合致するように座標変換を行う手法などを用いる。

【0083】

本例における細かい位置合せに適した手法の一つとして、標準勾配場（Normalized Gradient Field：NGF）を用いる手法、例えば、非特許文献 Proceeding of SPIE Vol.7261, 72610G-1, 2009 や、特許文献 特願２０１３−２３０４６６号の明細書に記載されている手法が挙げられる。標準勾配場とは、画像上の座標において各方向ｘ，ｙ，ｚの１次偏微分、すなわち勾配ベクトル（Gradient Vector）を算出した後、その勾配ベクトルをその勾配ベクトルの長さ（Vector Norm）で規格化（normalized）したものである。つまり、標準勾配場は、画素値あるいは輝度値の大小や勾配の大きさに依存せず、勾配の方向だけを表す特徴量である。仮に、ある２つの画像において互いに対応する位置に同じ方向の標準勾配場が発生しているならば、これら２つの画像の位置は合っていると見なすことができる。したがって、この手法では、標準勾配場が示す方向の揃い具合を最適化することで、位置合せを行うことができる。

【0084】

対応断面像生成部８は、位置合せが成されたＭＲ３Ｄ画像Ｇ_MR及びＵＳ３Ｄ画像Ｇ_USにおいて、互いに対応する断面像を生成する。生成する断面像の断面位置は、例えば、操作者によって指定される。

【0085】

画像出力部９は、生成された断面像を画面に表示させたり、画像データとして外部に出力したりする。このとき、ベストマッチングの血管分岐の組合せを、画像化して共に出力してもよい。例えば、ＭＲ血管ツリーＴＲ_MRとＵＳ血管ツリーＴＲ_USとを並べて表示し、これらの画像の上に、ベストマッチングの血管分岐を構成する血管分岐点と、その血管分岐を形成する血管部分のベクトルとを、色づけするなどして強調して表示する。図１３に、画像表示の一例を示す。図１３において、上段左の画像は、ＵＳ血管分岐に対応するベクトルＵ，Ｖ，Ｗを求めて表示した結果を含むＵＳ血管ツリーＴＲ_MR1であり、上段右の画像は、ＭＲ血管分岐に対応するベクトルＵ，Ｖ，Ｗを求めて表示した結果を含むＭＲ血管ツリーＴＲ_US1である。また、下段左の画像は、特定されたベストマッチングのＵＳ血管分岐を含む、座標変換済みＵＳ３Ｄ画像の所定断面像Ｇ_US1であり、下段中央の画像は、特定されたベストマッチングのＭＲ血管分岐を含む、座標変換済みＭＲ３Ｄ画像Ｇ_MRの所定断面像Ｇ_MR1である。下段右の画像は、ＵＳ３Ｄ画像Ｇ_USに粗い位置合せが成されたＭＲ３Ｄ画像Ｇ_MRの任意断面像Ｇ_MR-USである。

【0086】

これより、第一実施形態に係る画像処理装置１ａにおける処理の流れについて説明する。図１４は、第一実施形態に係る画像処理装置１ａにおける処理の流れを示すフロー図である。

【0087】

ステップ（step）Ｓ１では、画像取得部２が、同一被検者の肝臓を表すＭＲ３Ｄ画像Ｇ_MR及びＵＳ３Ｄ画像Ｇ_USを取得する。本例では、ＵＳ３Ｄ画像Ｇ_USを目標画像とし、ＭＲ３Ｄ画像Ｇ_MRを対象画像とする。

【0088】

ステップＳ２では、血管抽出部３が、ＭＲ３Ｄ画像Ｇ_MR及びＵＳ３Ｄ画像Ｇ_USそれぞれについて、肝臓の門脈または肝静脈に相当する血管を表す血管画像を抽出する。抽出には既知の手法を用いる。血管画像は二値化画像として抽出する。

【0089】

ステップＳ３では、血管部分構造体検出部４が、ＭＲ３Ｄ画像Ｇ_MRにおいて抽出されたＭＲ血管画像Ｖ_MRと、ＵＳ３Ｄ画像Ｇ_USにおいて抽出されたＵＳ血管画像Ｖ_USのそれぞれに対して、スムージング処理及びスケルトン処理を施して、ＭＲ血管ツリーＴＲ_MR及びＵＳ血管ツリーＴＲ_USを得る。

【0090】

ステップＳ４では、血管部分構造体検出部４が、ＭＲ血管ツリーＴＲ_MR及びＵＳ血管ツリーＴＲ_USそれぞれにおいて、枝骨に沿って追跡しながら解析を行う。この解析により、血管分岐点の位置と、その血管分岐点から枝分かれする二本の血管部分に対応するベクトルとを求めることにより、１つ以上の血管分岐を検出する。

【0091】

ステップＳ５では、マッチング評価部５が、マッチング評価の対象となるＭＲ血管分岐とＵＳ血管分岐との組合せごとに、血管分岐同士が重なるように、スムージング処理済みのＭＲ血管画像Ｖ_MRと、スムージング処理済みのＵＳ血管画像Ｖ_USとを位置合せする。そして、位置合せされたＭＲ血管画像Ｖ_MRとＵＳ血管画像Ｖ_USとの間において、対象となるＭＲ血管分岐及びＵＳ血管分岐の周辺での類似度を算出する。

【0092】

ステップＳ６では、マッチング評価部５が、算出された類似度に基づいて、ＭＲ３Ｄ画像Ｇ_MRとＵＳ３Ｄ画像Ｇ_USとで共通する同一の血管分岐を表すＭＲ血管分岐とＵＳ血管分岐との組合せの候補を特定する。なお、ここでは、ＭＲ血管分岐とＵＳ血管分岐との組合せを、ＭＲ／ＵＳ分岐組合せと呼ぶことにする。

【0093】

ステップＳ７では、処理対象スライス特定部１６が、候補として特定されたＭＲ／ＵＳ分岐組合せごとに、ＭＲ３Ｄ画像Ｇ_MRにおける当該組合せを構成するＭＲ血管分岐が含まれるＭＲスライスと、ＵＳ３Ｄ画像Ｇ_USにおける当該組合せを構成するＵＳ血管分岐が含まれるＵＳスライスとを、処理対象として特定する。

【0094】

ステップＳ８では、スライス幅広領域投影部１７が、ＭＲ３Ｄ画像Ｇ_MRにおいて、処理対象となったＭＲスライスを含み、そのＭＲスライスのスライス軸方向にそのスライス幅より大きい幅を有する幅広の領域を、ＭＲスライス幅広領域として設定する。ＵＳ３Ｄ画像Ｇ_USにおいても同様に、処理対象となったＵＳスライスを含み、そのＵＳスライスのスライス軸方向にそのスライス幅より大きい幅を有する幅広の領域を、ＵＳスライス幅広領域として設定する。

【0095】

ステップＳ９では、スライス幅広領域投影部１７が、ＭＲスライス幅広領域について、そのＭＲスライスのスライス軸方向に画素値の最小値投影（ＭｉｎＩＰ）を行い、ＭＲスライス幅広投影画像を得る。ＵＳスライス幅広領域についても同様に、そのＵＳスライスのスライス軸方向に画素値の最小値投影（ＭｉｎＩＰ）を行い、ＵＳスライス幅広投影画像を得る。

【0096】

ステップＳ１０では、投影画像表示部１８が、得られたＭＲスライス幅広投影画像及びＵＳスライス幅広投影画像を表示する。

【0097】

ステップＳ１１では、操作者は、表示されたこれらの投影画像を参照して、上記候補である、ＭＲ血管分岐とＵＳ血管分岐とによる複数の組合せの中から、同一の血管分岐を表すと思われる組合せを選択する。

【0098】

ステップＳ１２では、マッチング確定部１９が、操作者により選択された組合せを、同一の血管分岐を表すＭＲ血管分岐及びＵＳ血管分岐として、すなわちベストマッチングの血管分岐の組合せとして確定する。

【0099】

ステップＳ１３では、座標変換部６が、ベストマッチングとなった血管分岐の組合せに対応した変換行列に基づいて、粗い位置合せのための画像の座標変換に用いる変換行列Ｔ_MR-USを決定する。

【0100】

ステップＳ１４では、座標変換部６が、ＭＲ画像Ｇ_MRを、ステップＳ７で決定した変換行列Ｔ_MR-USを用いて座標変換を行うことにより、ＵＳ画像Ｇ_USに粗く位置合せをする。

【0101】

ステップＳ１５では、位置合せ調整部７が、粗く位置合せされたＭＲ画像Ｇ_MR及びＵＳ画像Ｇ_USに対して、細かい位置合せを行い、位置合せの調整を行う。細かい位置合せには、位置合せの対象となる画像間における画素値や、濃度勾配、エッジ（edge）などの特徴部分が合致するように座標変換を行う手法などを用いる。

【0102】

ステップＳ１６では、対応断面像生成部８が、位置合せが成されたＭＲ３Ｄ画像Ｇ_MR及びＵＳ３Ｄ画像Ｇ_USにおいて、互いに対応するスライスの断層画像を生成する。生成する断層画像のスライス位置は、例えば、操作者によって指定される。

【0103】

ステップＳ１７では、画像出力部９が、生成された断層画像を画面に表示させたり、画像データ（data）として外部に出力したりする。

【0104】

（第二実施形態）
本実施形態に係る画像処理装置１ｂは、血管ツリーにおいて、血管分岐点から枝分かれする血管部分が一本しか見つからないような場合であっても、画像の位置合せを可能にするものである。本実施形態では、第一実施形態による画像処理装置１ａをベース（base）として、血管部分構造体検出部４、及びマッチング評価部５が、第一実施形態とは異なる処理を行う。

【0105】

血管部分構造体検出部４は、ＭＲ血管ツリーＴＲ_MR及びＵＳ血管ツリーＴＲ_USそれぞれにおいて、１つ以上の血管部分構造体を検出する。本例では、その血管部分構造体として、不完全血管分岐ペア（pair）を検出する。不完全血管分岐ペアは、図１５に示すように、血管ツリーＴＲにおいて、第一血管分岐点ＢＰ₁と、この第一血管分岐点ＢＰ₁から伸びる一本の第一血管部分ＶＰ₁と、第一血管分岐点ＢＰ₁に近接しており第一血管分岐点ＢＰ₁とは異なる第二血管分岐点ＢＰ₂と、この第二血管分岐点ＢＰ₂から伸びる一本の第二血管部分ＶＰ₂とにより構成される。そのため、不完全血管分岐ペアは、第一血管分岐点ＢＰ₁の位置と、その第一血管分岐点ＢＰ₁から伸びる第一血管部分ＶＰ₁の走行方向及び長さ（ベクトルｕ）と、第二血管分岐点ＢＰ₂の位置と、その第二血管分岐点からＢＰ₂伸びる第二血管部分ＶＰ₂の走行方向及び長さ（ベクトルｖ）とにより特定され、識別される。

【0106】

なお、血管部分構造体検出部４は、血管ツリーにおいて、血管の伸びる方向が急激に変化する位置を、血管分岐点として認識し、その位置から先に伸びる血管部分を、分岐点から枝分かれする血管部分として認識する。これにより、血管分岐点から伸びる血管部分が一本しか見つからない場合であっても、血管分岐点とこの分岐点から伸びる血管部分とを的確に検出することができる。

【0107】

血管部分構造体検出部４は、具体的には、次のような処理を行う。

【0108】

まず、第一実施形態と同じ要領で、ＭＲ画像Ｇ_MR及びＵＳ画像Ｇ_USから、ＭＲ血管ツリーＴＲ_MR及びＵＳ血管ツリーＴＲ_USとを得る。また、ＭＲ血管ツリーＴＲ_MR及びＵＳ血管ツリーＴＲ_USそれぞれにおいて、２つ以上の血管分岐点を検出する。

【0109】

次に、ＭＲ血管分岐点ＢＰ_MR,i及びＵＳ血管分岐点ＢＰ_US,jの各々について、その血管分岐点から伸びる一本の血管部分に対応した一つのベクトルを求める。

【0110】

このような処理により、ＭＲ血管ツリーＴＲ_MR及びＵＳ血管ツリーＴＲ_USそれぞれにおいて、不完全血管分岐ペアを、第一血管分岐点に対応する画素の座標と、その第一血管分岐点から伸びる一本の第一血管部分に対応した一つのベクトルと、第二血管分岐点に対応する画素の座標と、その第二血管分岐点から伸びる一本の第二血管部分に対応した一つのベクトルとで特定することができる。なお、以下、ＭＲ血管ツリーＴＲ_MRにおいて検出された不完全血管分岐ペアをＭＲ不完全血管分岐ペアといい、ＵＳ血管ツリーＴＲ_USにおいて検出された不完全血管分岐ペアをＵＳ不完全血管分岐ペアという。

【0111】

マッチング評価部５は、ＭＲ不完全血管分岐ペアとＵＳ不完全血管分岐ペアとの組合せごとに、不完全血管分岐ペア同士のマッチング評価を行う。本例では、マッチング評価の対象となるＭＲ不完全血管分岐ペアとＵＳ不完全血管分岐ペアとが重なるように、スムージング処理済みのＭＲ血管画像Ｖ_MRと、スムージング処理済みのＵＳ血管画像Ｖ_USとを位置合せする。位置合せされたＭＲ血管画像Ｖ_MRとＵＳ血管画像Ｖ_USとの間において、マッチング評価の対象となるＭＲ不完全血管分岐ペア及びＵＳ不完全血管分岐ペアの周辺での類似度を算出する。そして、この類似度の値が大きいほど、よりマッチングしているとの評価を行う。具体的には、マッチング評価の対象となるＭＲ不完全血管分岐ペアとＵＳ不完全血管分岐ペアとの組合せごとに、次のような処理を行う。

【0112】

まず、スムージング処理済みのＭＲ血管画像Ｖ_MR及びＵＳ血管画像Ｖ_USを、マッチング評価の対象となるＭＲ不完全血管分岐ペア及びＵＳ不完全血管分岐ペアに共通の座標空間に置く。

【0113】

この座標空間は、マッチング評価の対象となるＭＲ不完全血管分岐ペアにおける「第一血管分岐点」、「第二血管分岐点」、または「第一血管部分に沿って伸びる直線と第二血管部分に沿って伸びる直線とを最短距離で結ぶ線分の中点」のうちの所定の一点と、マッチング評価の対象となるＵＳ不完全血管分岐ペアにおける上記所定の一点とが重なり、さらに、マッチング評価の対象となるＭＲ不完全血管分岐ペアにおける第一血管部分に対応するベクトルと第二血管部分に対応するベクトルとを当該ＭＲ不完全血管分岐ペアにおける上記所定の一点に置いたときにこれらのベクトルを含む平面と、マッチング評価の対象となるＵＳ不完全血管分岐ペアにおける第一血管部分に対応するベクトルと第二血管部分に対応するベクトルとを当該ＵＳ不完全血管分岐ペアにおける上記所定の一点に置いたときにこれらのベクトルを含む平面とが重なるように規定された座標空間である。以下、この座標空間を第二共通座標空間という。

【0114】

スムージング処理済みのＭＲ血管画像Ｖ_MRを第二共通座標空間に置くには、マッチング評価の対象となるＭＲ不完全血管分岐ペアに対応した変換行列を求め、この変換行列を用いてＭＲ血管画像Ｖ_MRの座標変換を行う。同様に、スムージング処理済みのＵＳ血管画像Ｖ_USを第二共通座標空間に置くには、マッチング評価の対象となるＵＳ不完全血管分岐ペアに対応した変換行列を求め、この変換行列を用いてＵＳ血管画像Ｖ_USの座標変換を行う。

【0115】

ここで、変換行列の求め方について説明する。変換行列は、第二共通座標空間の中心となる原点と、不完全血管分岐ペアの姿勢（向き）を規定する回転行列とによって構成される。図１６（ａ）に示すように、第一血管分岐点をＰ₀＝[ｐ_x，ｐ_y，ｐ_z]とし、第一血管分岐点Ｐ₀から伸びる第一血管部分に対応するベクトルをｕ＝[ｕ_x，ｕ_y，ｕ_z]とする。また、第二血管分岐点をＱ₀＝[ｑ_x，ｑ_y，ｑ_z]とし、第二血管分岐点Ｑ₀から伸びる第二血管部分に対応したベクトルをｖ＝[ｖ_x，ｖ_y，ｖ_z]とする。そして、ベクトルｕに沿って伸びる直線とベクトルｖに沿って伸びる直線とを最短距離で結ぶ線分をＬとする。すると、第二共通座標空間の中心となる原点は、図１６（ｂ）に示すように、第一血管分岐点Ｐ₀、第二血管分岐点Ｑ₀、または、最短距離線分Ｌの中点Ｏとすることができる。また、ベクトルｕ及びｖは、第二共通座標空間の中心すなわち原点に移動して配置させることができる。ここでのベクトルｕ，ｖは、第一実施形態における二本の血管部分に対応したベクトルＵ，Ｖ′と同様に扱うことができる。あとは、第一実施形態と同様の方法を用いることで、不完全血管分岐ペアから、第二共通座標空間への座標変換のための変換行列を算出することができる。

【0116】

なお、最短距離線分Ｌは、次のようにして求めることができる。

【0117】

第一血管分岐点Ｐ０を通り、ベクトルＵに沿って伸びる３次元での線ベクトルの式は、次のように表すことができる。

【0118】

Ｐ（ｓ）＝Ｐ₀＋ｓ・ｕ
ここで、ｓは連続可変のパラメータ値である。

【0119】

第一血管分岐点Ｐ₀と第二血管分岐点Ｑ₀との間の線ベクトルをＷとすると、
ｗ＝Ｐ₀−Ｑ₀
であるから、
Ｐ（ｓ）−Ｑ₀＝ｗ＋ｓ・ｕ
という式が成り立つ。

【0120】

同様に、
Ｑ（ｔ）−Ｐ₀＝−ｗ＋ｔ・ｖ
という式が成り立つ。ここで、ｔは、連続可変のパラメータ値である。

【0121】

これら２つの式を合成すると、
（Ｐ（ｓ）−Ｑ（ｔ））＋（Ｐ₀−Ｑ₀）＝２・ｗ＋ｓ・ｕ−ｔ・ｖ
（Ｐ（ｓ）−Ｑ（ｔ））＋ｗ＝２・ｗ＋ｓ・ｕ−ｔ・ｖ （ｉ）
となる。

【0122】

線ベクトルＰ（ｓ）と線ベクトルＱ（ｔ）とを結ぶ線分は、その線分が線ベクトルＰ（ｓ）及び線ベクトルＱ（ｔ）に対してそれぞれ直角となるときに最短距離を取る。ここで、線ベクトルＰ（ｓ）と線ベクトルＱ（ｔ）とを最短距離で結ぶ線分の両端点をＰ（ｓ１）,Ｑ（ｔ１）とする。すると、互いに直交する２つのベクトルの内積は０であるから、
ｕ・（Ｐ（ｓ１）−Ｑ（ｔ１））＝０
となる。

【0123】

また、この式に、式（ｉ）を代入すると、
ｕ・（ｗ＋ｓ１・ｕ−ｔ１・ｖ）＝０
となる。

【0124】

したがって、
ｓ１＝（ｕ・ｖ）[ｓ１・（ｕ・ｖ）＋ｖ・ｗ]−ｕ・ｗ
＝ｓ１・（ｕ・ｖ）²＋（ｕ・ｖ）（ｖ・ｗ）−ｕ・ｗ
ｓ１＝［（ｕ・ｖ）（ｖ・ｗ）−ｕ・ｗ］／[１−（ｕ・ｖ）²]
となる。

【0125】

同様に、
ｔ１＝［ｖ・ｗ−（ｕ・ｖ）（ｕ・ｗ）］／[１−（ｕ・ｖ）²]
となる。

【0126】

最短距離線分Ｌは、
Ｌ＝Ｐ（ｓ１）−Ｑ（ｔ１）
であり、ベクトルｕ，ｖ，ｗから求めることができる。

【0127】

スムージング処理済みのＭＲ血管画像Ｖ_MR及びＵＳ血管画像Ｖ_USを、第二共通座標空間に置いたら、ＭＲ血管画像Ｖ_MRとＵＳ血管画像Ｖ_USとの相互相関係数を算出する。具体的には、第二共通座標空間において、ＭＲ血管画像Ｖ_MR及びＵＳ血管画像Ｖ_USそれぞれについて、第二共通座標空間の原点を含む所定サイズの領域を評価領域として設定する。評価領域は、例えば、その原点を中心とした［６４×６４×６４］画素の３次元領域とする。そして、ＭＲ血管画像Ｖ_MRとＵＳ血管画像Ｖ_USとの間における当該評価領域での類似度、例えば相互相関係数を算出する。

【0128】

（第三実施形態）
本実施形態に係る画像処理装置１ｃは、血管ツリーにおいて、血管分岐点が見つからず、互いに近接する血管部分しか見つからないような場合であっても、画像の位置合せを可能にするものである。本実施形態では、第一実施形態による画像処理装置１ａをベースとして、血管部分構造体検出部４、及びマッチング評価部５が、第一実施形態とは異なる処理を行う。

【0129】

血管部分構造体検出部４は、ＭＲ血管ツリーＴＲ_MR及びＵＳ血管ツリーＴＲ_USそれぞれにおいて、１つ以上の血管部分構造体を検出する。本例では、その血管部分構造体として、血管部分ペアを検出する。血管部分ペアは、図１７に示すように、血管ツリーＴＲにおいて、第一血管部分ＶＰ₁と、第一血管部分ＶＰ₁に近接しており第一血管部分ＶＰ₁とは異なる第二血管部分ＶＰ₂とにより構成される。そのため、血管部分ペアは、第一血管部分端点ＫＰ₁の位置と、その第一血管部分端点ＫＰ₁から伸びる第一血管部分ＶＰ₁の走行方向及び長さ（ベクトルｕ）と、第二血管部分端点ＫＰ₂の位置と、その第二血管部分端点ＫＰ₂から伸びる第二血管部分ＶＰ₂の走行方向及び長さ（ベクトルｖ）とにより特定され、識別される。

【0130】

なお、血管部分構造体検出部４は、血管ツリーにおいて、血管分岐点を含まない血管部分を認識し、その血管部分の端点を、血管部分端点として認識する。

【0131】

血管部分構造体検出部４は、具体的には、次のような処理を行う。

【0132】

まず、第一実施形態と同じ要領で、ＭＲ画像Ｇ_MR及びＵＳ画像Ｇ_USから、ＭＲ血管ツリーＴＲ_MR及びＵＳ血管ツリーＴＲ_USとを得る。また、ＭＲ血管ツリーＴＲ_MR及びＵＳ血管ツリーＴＲ_USそれぞれにおいて、互いに異なる２つ以上の血管部分端点を検出する。

【0133】

次に、ＭＲ血管部分端点ＫＰ_MR,i及びＵＳ血管部分端点ＫＰ_US,jの各々について、その血管部分端点から伸びる一本の血管部分に対応した一つのベクトルを求める。

【0134】

このような処理により、ＭＲ血管ツリーＴＲ_MR及びＵＳ血管ツリーＴＲ_USそれぞれにおいて、血管部分ペアを、第一血管部分端点に対応する画素の座標と、その第一血管部分端点から伸びる一本の第一血管部分に対応した一つのベクトルと、第二血管部分端点に対応する画素の座標と、その第二血管部分端点から伸びる一本の第二血管部分に対応した一つのベクトルとで特定することができる。なお、以下、ＭＲ血管ツリーＴＲ_MRにおいて検出された血管部分ペアをＭＲ血管部分ペアといい、ＵＳ血管ツリーＴＲ_USにおいて検出された血管部分ペアをＵＳ血管部分ペアという。

【0135】

マッチング評価部５は、ＭＲ血管部分ペアとＵＳ血管部分ペアとの組合せごとに、血管部分ペア同士のマッチング評価を行う。本例では、マッチング評価の対象となるＭＲ血管部分ペアとＵＳ血管部分ペアとが重なるように、スムージング処理済みのＭＲ血管画像Ｖ_MRと、スムージング処理済みのＵＳ血管画像Ｖ_USとを位置合せする。位置合せされたＭＲ血管画像Ｖ_MRとＵＳ血管画像Ｖ_USとの間において、マッチング評価の対象となるＭＲ血管部分ペア及びＵＳ血管部分ペアの周辺での類似度を算出する。具体的には、マッチング評価の対象となるＭＲ血管部分ペアとＵＳ血管部分ペアとの組合せごとに、次のような処理を行う。

【0136】

まず、スムージング処理済みのＭＲ血管画像Ｖ_MR及びＵＳ血管画像Ｖ_USを、マッチング評価の対象となるＭＲ血管部分ペア及びＵＳ血管部分ペアに共通の座標空間に置く。

【0137】

この座標空間は、マッチング評価の対象となるＭＲ血管部分ペアにおける「第一血管部分に沿って伸びる直線と第二血管部分に沿って伸びる直線とを最短距離で結ぶ線分の中点」と、マッチング評価の対象となるＵＳ血管部分ペアにおける「第一血管部分に沿って伸びる直線と第二血管部分に沿って伸びる直線とを最短距離で結ぶ線分の中点」とが重なり、さらに、マッチング評価の対象となるＭＲ血管部分ペアにおける第一血管部分に対応するベクトルと第二血管部分に対応するベクトルとを当該ＭＲ血管部分ペアにおける上記最短距離線分の中点に置いたときにこれらのベクトルを含む平面と、マッチング評価の対象となるＵＳ血管部分ペアにおける第一血管部分に対応するベクトルと第二血管部分に対応するベクトルとを当該ＵＳ血管部分ペアにおける上記最短距離線分の中点に置いたときにこれらのベクトルを含む平面とが重なるように規定された座標空間である。以下、この座標空間を第三共通座標空間という。

【0138】

スムージング処理済みのＭＲ血管画像Ｖ_MRを第三共通座標空間に置くには、マッチング評価の対象となるＭＲ血管部分ペアに対応した変換行列を求め、この変換行列を用いてＭＲ血管画像Ｖ_MRの座標変換を行う。同様に、スムージング処理済みのＵＳ血管画像Ｖ_USを第三共通座標空間に置くには、マッチング評価の対象となるＵＳ血管部分ペアに対応した変換行列を求め、この変換行列を用いてＵＳ血管画像Ｖ_USの座標変換を行う。

【0139】

ここで、変換行列の求め方について説明する。変換行列は、第三共通座標空間の中心となる原点と、血管部分ペアの姿勢（向き）を規定する回転行列とによって構成される。図１８（ａ）に示すように、第一血管部分端点をＰ₁＝[ｐ_x，ｐ_y，ｐ_z]とし、第一血管部分端点Ｐ₁から伸びる第一血管部分に対応するベクトルをｕ＝[ｕ_x，ｕ_y，ｕ_z]とする。また、第二血管部分端点をＱ₁＝[ｑ_x，ｑ_y，ｑ_z]とし、第二血管部分端点Ｑ₁から伸びる第二血管部分に対応したベクトルをｖ＝[ｖ_x，ｖ_y，ｖ_z]とする。そして、ベクトルｕに沿って伸びる直線とベクトルｖに沿って伸びる直線とを最短距離で結ぶ線分をＬとする。すると、第三共通座標空間の中心となる原点は、図１８（ｂ）に示すように、最短距離線分Ｌの中点Ｏとすることができる。また、ベクトルｕ及びｖは、第三共通座標空間の中心すなわち原点に移動して配置させることができる。ここでのベクトルｕ，ｖは、第一実施形態における二本の血管部分に対応したベクトルＵ，Ｖ′と同様に扱うことができる。あとは、第一実施形態と同様の方法を用いることで、血管部分ペアから、第三共通座標空間への座標変換のための変換行列を算出することができる。

【0140】

スムージング処理済みのＭＲ血管画像Ｖ_MR及びＵＳ血管画像Ｖ_USを、第三共通座標空間に置いたら、ＭＲ血管画像Ｖ_MRとＵＳ血管画像Ｖ_USとの相互相関係数を算出する。具体的には、第三共通座標空間において、ＭＲ血管画像Ｖ_MR及びＵＳ血管画像Ｖ_USそれぞれについて、第三共通座標空間の原点を含む所定サイズの領域を評価領域として設定する。評価領域は、例えば、その原点を中心とした［６４×６４×６４］画素の３次元領域とする。そして、ＭＲ血管画像Ｖ_MRとＵＳ血管画像Ｖ_USとの間における当該評価領域での類似度、例えば相互相関係数を算出する。

【0141】

（第四実施形態）
第四実施形態に係る画像処理装置１ｄは、同一の血管部分構造体（血管分岐、不完全血管分岐ペア、または血管部分ペア）を表すと思われるＭＲ血管部分構造体（ＭＲ血管分岐、ＭＲ不完全血管分岐ペア、またはＭＲ血管部分ペア）とＵＳ血管部分構造体（ＵＳ血管分岐、ＵＳ不完全血管分岐ペア、またはＵＳ血管部分ペア）との組合せを、手動で特定するものである。

【0142】

図１９は、第四実施形態に係る画像処理装置１ｄの構成を概略的に示す機能ブロック図である。第四実施形態に係る画像処理装置１ｄは、第一〜第三実施形態に係る画像処理装置１ａ〜１ｃをベースに、マッチング評価部５を除いた構成である。

【0143】

第四実施形態では、操作者が、検出されたＭＲ血管部分構造体及びＵＳ血管部分構造体の中から所望の血管部分構造体を指定する。

【0144】

処理対象スライス特定部１６は、操作者により指定されたＭＲ血管部分構造体を含むスライスを処理対象となるＭＲスライスＳＬ_MRとして特定し、操作者により指定されたＵＳ血管部分構造体を含むスライスを処理対象となるＵＳスライスＳＬ_USとして特定する。

【0145】

図２０は、第四実施形態に係る画像処理装置１ｄにおける処理の流れを示すフロー図である。第四実施形態に係る画像処理装置１ｄでは、図２０に示すように、第一実施形態のステップＳ５，Ｓ６における“候補”を自動で特定する処理に代えて、ステップＴ５における候補を手動で特定する処理を行うことになる。

【0146】

このように、上記実施形態によれば、３次元医用画像において特定されたスライスを含みそのスライス軸方向にそのスライス幅より幅広である領域について画素値投影処理を行い、得られた投影画像を表示するので、当該スライスのスライス幅はそのままで、当該スライス周辺のスライス軸方向における血管構造の情報をより多く可視化することができ、当該スライスの空間分解能を損ねることなく、そのスライスに含まれる血管の構造をより把握しやすく表示することができる。

【0147】

また、上記の実施形態によれば、操作者は、表示された投影画像を参照することによって、位置合せする２つの３次元医用画像間で共通する同一の血管部分構造体を含むスライスの特定が順調に行われているかを確認したり、誤った特定を回避したりすることができ、当該位置合せの精度を向上させることができる。特に、撮像モダリティが互いに異なる２つの３次元医用画像同士の位置合せでは、共通する同一の血管部分構造体を自動で特定することは容易でない。そのため、上記の実施形態に係る画像処理装置のように投影画像を表示することは、位置合せの精度を向上させる上で非常に効果的である。

【0148】

なお、第二実施形態、第三実施形態による画像位置合せ手法は、完全な血管分岐を検出できない時にのみ行ってもよいし、完全な血管分岐を検出できるか否かに関係なく行ってもよい。

【0149】

また、上記実施形態では、マッチング評価を、ＭＲ血管画像におけるｍ個の血管部分構造体（血管分岐、不完全血管分岐ペア、または血管部分ペア）と、ＵＳ血管画像におけるｎ個の血管部分構造体との総当たりの組合せについて行っているが、これに限定されるものではない。例えば、マッチング評価を、ＵＳ血管画像におけるｎ個の血管部分構造体のうち、ユーザによって選択された単一の血管部分構造体と、ＭＲ血管画像におけるｍ個の血管構造体との組合せごとに行ってもよいし、ＭＲ血管画像におけるｍ個の血管部分構造体のうち、ユーザによって選択された単一の血管部分構造体と、ＵＳ血管画像におけるｎ個の血管構造体との組合せごとに行ってもよい。ユーザによって選択される単一の血管部分構造体は、例えば、ＭＲ画像またはＵＳ画像における腫瘤などを含む関心領域の近傍に存在する血管部分構造体とすることができる。このようにすれば、関心領域の周辺において特に高い精度での位置合せを期待することができ、診断効率をより向上させることが可能になる。

【0150】

また、位置合せを行う２つの画像の組合せとしては、ＭＲ画像とＵＳ画像の組合せだけでなく、ＣＴ画像とＵＳ画像や、ＭＲ画像とＣＴ画像の組合せなど、あらゆる撮像モダリティの画像に適用できる。ただし、本提案による位置合せ手法は、位置合せの対象となる２つの画像間で輝度値の関連性が薄い場合にも、その影響をほとんど受けずに位置合せを行うことができる。そのため、本提案による位置合せ手法は、位置合せ対象の画像として、特殊な描写形態・コントラスト（contrast）を有するＵＳ画像が含まれる場合に、特に有効である。

【0151】

また、上記実施形態は、発明を、撮像モダリティが互いに異なる画像同士の位置合せに適用した例であるが、撮像モダリティが同一であって撮像の時相が互いに異なる画像同士の位置合せに適用することもできる。このような画像としては、例えば、手術前後の画像や造影撮影における早期相と後期相の画像などが考えられる。また、発明は、人体の医用画像だけでなく、動物の医用画像にも適用可能である。

【0152】

また、上記実施形態は、発明を、２つの３次元医用画像の位置合せ処理に適用した例であるが、別の例として、例えば、単一の３次元医用画像における血管の探索処理に適用することもできる。この場合、画像処理装置は、単一の３次元医用画像において関心が持たれるスライスを特定し、特定されたスライスを含みそのスライス幅より幅広な領域についてスライス軸方向に投影処理を行い、得られた投影画像を表示する。操作者は、血管の探索処理において、探索が難しいと判断される個所を含むなど関心が持たれたスライスの断層画像を参照することで、真の血管が探索されているか否かを判定し、真の血管だけが探索されるように調整することができる。

【0153】

また、上記実施形態では、被検体の肝臓を表す３次元医用画像を処理対象としているが、被検体の肺を表す３次元医用画像を処理対象とすることもできる。肺は、肝臓と同様に変形性があり、血管を有しているので、血管構造を解剖学的ランドマークとして利用することができる。そのため、肺を表す３次元医用画像は、上記実施形態における３次元医用画像同士の位置合せ処理や投影画像の表示処理の処理対象として好適である。

【0154】

また、上記実施形態は、画像処理装置であるが、コンピュータをこのような画像処理装置として機能させるためのプログラムや、当該プログラムが記憶されたコンピュータ読み取り可能な記憶媒体もまた発明の実施形態の一例である。なお、当該記憶媒体としては、一過性のものだけでなく、非一過性のものも考えることができる。

【符号の説明】

【0155】

１ａ〜１ｄ 画像処理装置
２ 画像取得部
３ 血管抽出部
４ 血管部分構造体検出部
５ マッチング評価部
６ 処理対象スライス特定部（特定手段）
７ スライス幅広領域投影部（投影手段）
８ 投影画像表示部（表示手段）
９ マッチング確定部（位置合せ手段）
１０ 座標変換部（位置合せ手段）
１１ 位置合せ調整部（位置合せ手段）
１２ 対応断層画像生成部
１３ 画像出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】