特許 6581605 医療用画像処理デバイス及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6581605

(24)【登録日】2019年9月6日

(45)【発行日】2019年9月25日

(54)【発明の名称】医療用画像処理デバイス及び方法

(51)【国際特許分類】

   A61B 8/14 20060101AFI20190912BHJP

   A61B 8/12 20060101ALI20190912BHJP

【ＦＩ】

   A61B8/14

   A61B8/12

【請求項の数】11

【全頁数】22

(21)【出願番号】特願2016-571723(P2016-571723)

(86)(22)【出願日】2015年6月9日

(65)【公表番号】特表2017-517329(P2017-517329A)

(43)【公表日】2017年6月29日

(86)【国際出願番号】EP2015062752

(87)【国際公開番号】WO2015189160

(87)【国際公開日】20151217

【審査請求日】2018年6月8日

(31)【優先権主張番号】14172051.6

(32)【優先日】2014年6月12日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】ＫＯＮＩＮＫＬＩＪＫＥ ＰＨＩＬＩＰＳ Ｎ．Ｖ．

(74)【代理人】

【識別番号】110001690

【氏名又は名称】特許業務法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】バージャー クリスチャン

(72)【発明者】

【氏名】ワチター‐ステール イリナ

(72)【発明者】

【氏名】ウェーバー フランク ミカエル

【審査官】 森口 正治

(56)【参考文献】

【文献】 国際公開第２０１４／０３３５８４（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２００９／０１５６９３３（ＵＳ，Ａ１）

【文献】 特開２０１０−１７９０９８（ＪＰ，Ａ）

【文献】 特開２０１２−２２８５２０（ＪＰ，Ａ）

【文献】 特表２０１５−５２８３４３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ８／００−８／１５

(57)【特許請求の範囲】

【請求項1】

解剖学的対象物の第１及び第２の医療用画像を受信するための受信ユニットであって、前記第１及び第２の医療用画像の各々が前記解剖学的対象物の異なる視野を含み、前記第１の医療用画像及び前記第２の医療用画像が前記解剖学的対象物の同一又は同様の解剖学的状態を示す、受信ユニットと、
前記第２の医療用画像の画像空間から前記第１の医療用画像の画像空間への変換を決定する位置合わせユニットと、
変換済みの第２の医療用画像を受信するために、前記変換に基づいて前記第２の医療用画像を前記第１の医療用画像の前記画像空間に変換する変換ユニットと、
前記第１の医療用画像内の前記解剖学的対象物の第１のフィーチャポイントセットを識別し、前記変換済みの第２の医療用画像内の前記解剖学的対象物の第２のフィーチャポイントセットを識別することによって、前記第１の医療用画像及び前記変換済みの第２の医療用画像の双方を別個に使用する全体セグメンテーションを実行するセグメンテーションユニットであって、前記第１及び第２のフィーチャポイントセットの双方に全く同一のセグメンテーションモデルを適合させることによって、前記第１の医療用画像及び前記変換済みの第２の医療用画像の双方に同時に前記全く同一のセグメンテーションモデルが適合される、セグメンテーションユニットと、
を備える、医療用画像処理デバイス。

【請求項2】

前記セグメンテーションユニットが、前記第１の医療用画像及び前記変換済みの第２の医療用画像の各々内で、前記第１の医療用画像及び前記変換済みの第２の医療用画像の各々内で最も大きい輝度勾配を有する画像ポイントをそれぞれ識別することによって、前記解剖学的対象物の前記第１及び第２のフィーチャポイントセットを識別する、請求項１に記載の医療用画像処理デバイス。

【請求項3】

前記セグメンテーションユニットが、前記全体セグメンテーションの前に、第１のセグメンテーションメッシュを受信するために前記第１の医療用画像の個別セグメンテーションを実行し、更に、第２のセグメンテーションメッシュを受信するために前記第２の医療用画像の個別セグメンテーションを実行し、前記位置合わせユニットが、前記第１のセグメンテーションメッシュ上に前記第２のセグメンテーションメッシュのポイントベースの位置合わせを適用することによって前記変換を決定する、請求項１に記載の医療用画像処理デバイス。

【請求項4】

前記セグメンテーションユニットが、前記第１の医療用画像及び前記第２の医療用画像の前記個別セグメンテーションに同一のセグメンテーションモデルを適用する、請求項３に記載の医療用画像処理デバイス。

【請求項5】

前記受信ユニットが、前記第１の医療用画像を含む第１の医療用画像シーケンスと、前記第２の医療用画像を含む第２の医療用画像シーケンスと、を受信し、前記医療用画像処理デバイスが、前記解剖学的対象物の前記同一又は同様の解剖学的状態の対応する画像を識別するため、前記第１及び第２の医療用画像を選択するための選択ユニットを更に備える、請求項１に記載の医療用画像処理デバイス。

【請求項6】

前記セグメンテーションユニットが、前記第１及び第２の医療用画像シーケンスの全ての画像に個別にセグメンテーションを行い、前記選択ユニットが、前記第１及び第２の医療用画像シーケンスの全ての画像の前記セグメンテーションに基づいて前記第１及び第２の医療用画像を自動的に選択する、請求項５に記載の医療用画像処理デバイス。

【請求項7】

前記第１の医療用画像及び前記変換済みの第２の医療用画像を融合させることによって融合画像を再構築する画像再構築ユニットを更に備える、請求項１に記載の医療用画像処理デバイス。

【請求項8】

前記第１の医療用画像及び前記第２の医療用画像が、３次元経胸壁心エコー検査（ＴＴＥ）画像、３Ｄ経食道心エコー検査（ＴＥＥ）画像、又は３次元胎児超音波画像である、請求項１に記載の医療用画像処理デバイス。

【請求項9】

前記解剖学的対象物に超音波を送信するため及び解剖学的対象物から超音波を受信するための超音波トランスデューサと、
前記解剖学的対象物から受信された超音波から前記第１の医療用画像及び前記第２の医療用画像を再構築するための超音波画像再構築ユニットと、
請求項１に記載の医療用画像処理デバイスと、
を備える、超音波システム。

【請求項10】

解剖学的対象物の第１の医療用画像及び第２の医療用画像を受信するステップであって、前記第１及び第２の医療用画像の各々が前記解剖学的対象物の異なる視野を含み、前記第１の医療用画像及び前記第２の医療用画像が前記解剖学的対象物の同一又は同様の解剖学的状態を示す、ステップと、
前記第２の医療用画像の画像空間から前記第１の医療用画像の画像空間への変換を決定するステップと、
変換済みの第２の医療用画像を受信するために、前記変換に基づいて前記第２の医療用画像を前記第１の医療用画像の前記画像空間に変換するステップと、
前記第１の医療用画像内の前記解剖学的対象物の第１のフィーチャポイントセットを識別し、前記変換済みの第２の医療用画像内の前記解剖学的対象物の第２のフィーチャポイントセットを識別することによって、前記第１の医療用画像及び前記変換済みの第２の医療用画像の双方を別個に使用する全体セグメンテーションを実行するステップであって、前記第１及び第２のフィーチャポイントセットの双方に全く同一のセグメンテーションモデルを適合させることによって、前記第１の医療用画像及び前記変換済みの第２の医療用画像の双方に同時に前記全く同一のセグメンテーションモデルが適合される、ステップと、
を備える、医療用画像処理方法。

【請求項11】

コンピュータ上で実行された場合に、請求項１０に記載の方法のステップをコンピュータに実行させるためのプログラムコード手段を備える、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般に医療用撮像（ｍｅｄｉｃａｌ ｉｍａｇｉｎｇ）の分野に関する。具体的には、本発明は、２次元及び／又は３次元医療用画像を処理するための医療用画像処理デバイスに関する。本発明は更に、対応する医療用画像処理方法に関する。更に、本発明は、前記の方法のステップをコンピュータに実行させるためのプログラムコード手段を備えるコンピュータプログラムに関する。本発明の例示的な技術用途は３Ｄ超音波撮像の分野である。しかしながら、本発明は、例えばＣＴ、ＭＲ、又はＭＲＩのような超音波撮像以外の医療用撮像モダリティにおいても使用され得ることに留意すべきである。

【背景技術】

【0002】

例えば２Ｄ及び３Ｄ超音波撮像システムのような医療用撮像システムはよく知られている。特に、３Ｄ医療用撮像は医療業務に不可欠となっている。３Ｄ医療用撮像は、放射線専門医及び内科医に簡潔な関連情報を提供することによって、臨床上の生産性を上げる。超音波撮像は、放射線専門医及び内科医に複数の利点を与えるが、超音波撮像の分野における一般的な問題として、超音波撮像デバイスの視野が限定されていることがある。

【0003】

超音波検査の視野が限定されているため、超音波検査士（ｓｏｎｏｇｒａｐｈｅｒ）は、解剖学的対象物の全体を撮像できないことが少なくない。例えば、鼓動する心臓が２次元又は３次元の形態で撮像される経胸壁心エコー検査（ＴＴＥ：ｔｒａｎｓｔｈｏｒａｃｉｃ ｅｃｈｏｃａｒｄｉｏｇｒａｐｈｙ）撮像の使用及び経食道心エコー検査（ＴＥＥ：ｔｒａｎｓｅｓｏｐｈａｇｅａｌ ｅｃｈｏｃａｒｄｉｏｇｒａｐｈｙ）撮像では、超音波デバイスの限定された視野が不都合となることがある。この場合、１つの画像フレームにおいて良好な画像品質で撮像できるのは心臓の１つのサブ構造（ｓｕｂ−ｓｔｒｕｃｔｕｒｅ）のみであり、心臓の他の構造は適切に撮像できない。通常、心臓の左側の超音波画像には心臓の右側全体は示されず、逆もまた同様である。

【0004】

このため、心臓全体を定量化するには、画像取得を何度も行い、各取得においてそれぞれ別個の心臓のサブ構造を撮像し定量化する必要がある。画像セグメンテーション（ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ）は、これらのサブ構造のみをカバーすることができ、欠落した構造は少なくとも部分的に外挿しなければならない。例えば左心室中枢の画像では、右心室が部分的に視野外にある間に左心室容積を算出することができる。これに対し、右心室中枢の画像では、左心室が部分的に視野外にある間に右心室容積を算出することができる。結果として、心臓全体の定量化はエラーが起きやすい。

【0005】

同様の問題は、３Ｄ胎児超音波検査使用において、胎児が大きくなりすぎて視野内に収まらない場合にも発生する。

【0006】

従って、よりロバストで一貫性のあるセグメンテーション結果を得るため、解剖学的対象物全体の単一セグメンテーションが望ましい。

【0007】

Ｒａｊｐｏｏｔ，Ｋ．等は、心臓全体を含む融合画像を受信するため、多数の３Ｄ心エコー検査画像を融合させる（ｆｕｓｅ）ための方法を提示している（Ｒａｊｐｏｏｔ，Ｋ．等、「Ｔｈｅ ｅｖａｌｕａｔｉｏｎ ｏｆ ｓｉｎｇｌｅ−ｖｉｅｗ ａｎｄ ｍｕｌｔｉ−ｖｉｅｗ ｆｕｓｉｏｎ ３Ｄ ｅｃｈｏｃａｒｄｉｏｇｒａｐｈｙ ｕｓｉｎｇ ｉｍａｇｅ−ｄｒｉｖｅｎ ｓｅｇｍｅｎｔａｔｉｏｎ ａｎｄ ｔｒａｃｋｉｎｇ」、Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ１５（２０１１年）、５１４〜５２８ページ）。この技法は、多数の単一ビュー画像を取得し、その後、類似度の尺度として正規化相互相関を利用した標準的な多重解像度剛体位置合わせ（レジストレーション、ｒｅｇｉｓｔｒａｔｉｏｎ）アルゴリズムを用いて、これらの画像を整合させることを提案している。適用位置の近傍で取得された第１の全ボリュームを、位置合わせのための基準ボリュームとして用いる。いったん画像対応が確立されたら、整合された画像を結合する。ウェーブレット解析技法を用いて、各単一ビュー画像をその低周波数成分及び高周波数成分に分解する。次いで、低周波数ウェーブレット係数及び高周波数ウェーブレット係数に異なる処理を行って、ウェーブレット領域で融合を実行する。次いで、融合画像を心臓の全体セグメンテーションに用いることができる。

【0008】

上述の技法は、心臓のような解剖学的対象物の単一セグメンテーションを行う可能性をもたらすが、対象物は超音波コーンビームの単一の視野内に完全に収まるわけではなく、この技法には依然としていくつかの欠点がある。これらの欠点が生じる１つの理由は、セグメンテーションが融合画像で行われることである。Ｒａｊｐｏｏｔ，Ｋ．等により提示されたように共通の座標系で画像を結合する場合、縫い合わせの境界に平滑化アーチファクト及び人工的なエッジが生じるので、貴重な情報が失われる恐れがある。これらのアーチファクトは画像の信号対雑音比を増大させるのに役立ち得るが、位置合わせに基づく画像アルゴリズムにおける不完全性のため、例えば血液プールから心筋層への組織の遷移も平滑化されるので、問題も発生する。更に、画像の融合は、強度の不一致を引き起こし、セグメンテーションを歪ませる人工的な壁／エッジを生じる可能性がある。画像融合は更に、望ましくない平滑化効果を招く。

【0009】

従って、今なお改良の余地がある。

【発明の概要】

【発明が解決しようとする課題】

【0010】

本発明の目的は、上述の欠点を実質的に軽減又は克服する、改良された医療用画像処理デバイス及び対応する方法を提供することである。特に、本発明の目的は、視野が限定されているために、取得された画像セットの各々に心臓又は胎児のような解剖学的対象物の一部又はサブ構造しか表示されない場合であっても、解剖学的対象物全体のセグメンテーションを単一セグメンテーションで行うことを可能とする医療用画像処理デバイス及び対応する方法を提供することである。

【課題を解決するための手段】

【0011】

本発明の第１の態様によれば、医療用画像処理デバイスが提示される。このデバイスは、
解剖学的対象物の第１及び第２の医療用画像を受信するための受信ユニットであって、第１及び第２の医療用画像の各々が解剖学的対象物の異なる視野を含み、第１の医療用画像及び第２の医療用画像が解剖学的対象物の同一又は同様の解剖学的状態を示す、受信ユニットと、
第２の医療用画像の画像空間から第１の医療用画像の画像空間への変換を決定するように構成された位置合わせユニットと、
変換済みの第２の医療用画像を受信するために、変換に基づいて第２の医療用画像を第１の医療用画像の画像空間に変換するように構成された変換ユニットと、
（第１の医療用画像及び変換済みの第２の医療用画像を融合させることなく）第１の医療用画像及び変換済みの第２の医療用画像の双方を別個に使用する全体セグメンテーションを実行するように構成されたセグメンテーションユニットであって、第１の医療用画像内の解剖学的対象物の第１のフィーチャポイントセットを識別し、変換済みの第２の医療用画像内の解剖学的対象物の第２のフィーチャポイントセットを識別し、更に第１及び第２のフィーチャポイントセットの双方に全く同一のセグメンテーションモデルを適合させることによって、第１の医療用画像及び変換済みの第２の医療用画像の双方に同時に全く同一のセグメンテーションモデルが適合される、セグメンテーションユニットと、
を備える。

【0012】

本発明の第２の態様によれば、医療用画像処理方法が提示される。この方法は、
解剖学的対象物の第１の医療用画像及び第２の医療用画像を受信するステップであって、第１及び第２の医療用画像の各々が解剖学的対象物の異なる視野を含み、第１の医療用画像及び第２の医療用画像が解剖学的対象物の同一又は同様の解剖学的状態を示す、ステップと、
第２の医療用画像の画像空間から第１の医療用画像の画像空間への変換を決定するステップと、
変換済みの第２の医療用画像を受信するために、変換に基づいて第２の医療用画像を第１の医療用画像の画像空間に変換するステップと、
（第１の医療用画像及び変換済みの第２の医療用画像を融合させることなく）第１の医療用画像及び変換済みの第２の医療用画像の双方を別個に使用する全体セグメンテーションを実行するステップであって、第１の医療用画像内の解剖学的対象物の第１のフィーチャポイントセットを識別し、変換済みの第２の医療用画像内の解剖学的対象物の第２のフィーチャポイントセットを識別し、更に第１及び第２のフィーチャポイントセットの双方に全く同一のセグメンテーションモデルを適合させることによって、第１の医療用画像及び変換済みの第２の医療用画像の双方に同時に全く同一のセグメンテーションモデルが適合される、ステップと、
を備える。

【0013】

本発明の更に別の態様によれば、コンピュータ上で実行された場合に、上述の方法のステップをコンピュータに実行させるためのプログラムコード手段を備えるコンピュータプログラムが提案される。

【0014】

本発明の好適な実施形態は、従属クレームで規定されている。特許請求される方法及び特許請求されるコンピュータプログラムは、特許請求される医療用画像処理デバイスと同様及び／又は同一の、従属クレームで規定されるような好適な実施形態を有することは理解されよう。

【0015】

本発明は、オフライン及び通電中（ｌｉｖｅ）の画像処理の双方に適用されることに留意すべきである。従って受信ユニットは、オフラインモードで、任意のタイプの内部又は外部の記憶ユニットから医療用画像を受信することができ、又は、通電画像処理モードで、例えば超音波撮像装置のような画像取得ユニットから直接に医療用画像を受信することも可能である。

【0016】

「医療用画像」という言葉は、超音波撮像、ＣＴ撮像、ＭＲ撮像、又はＭＲＩ撮像のような任意のモダリティの医療用撮像装置によって生成される患者の身体部分の画像（画像シーケンスのフレーム）を指すものとする。

【0017】

「解剖学的対象物」という言葉は、心臓、他の任意の臓器のような患者の任意の解剖学的目的物、又は胎児を指すものとする。

【0018】

医療用画像処理デバイスによって生成される医療用画像は、２Ｄ又は３Ｄ画像とすることができる。好適な実施形態によれば、医療用画像は、３Ｄ ＴＴＥ画像、３Ｄ ＴＥＥ画像、又は３Ｄ胎児超音波画像を含む。

【0019】

更に、本発明は第１及び第２の医療用画像の処理によって説明されることを注記しておく。「第１の」及び「第２の」という言葉は、時間に基づく範囲設定や種類に基づく範囲設定を意味するのではなく、本明細書では、２つの例示的な医療用画像を区別するために用いるものとする。実際には、提示されるデバイスによって、第１及び第２の医療用画像だけが処理される（これも可能ではあるが）のではなく、いくつかの医療用画像が処理され得ることは明らかである。

【0020】

第１の医療用画像及び第２の医療用画像が解剖学的対象物の「同一又は同様の解剖学的状態」を示すという規定は、双方の画像に示される解剖学的対象物が、時間的、解剖学的、又は運動的に同一又は同様の状態にあることを意味する。解剖学的対象物が心臓である場合、双方の画像には、例えば拡張末期フェーズ又は収縮末期フェーズのような共通の心臓フェーズ又は共通の運動状態の心臓、例えば心臓の様々なサブ構造が示される。しかしながら、第１及び第２の画像は、同一の心臓フェーズ又は運動状態の心臓を示す限り、同一の心臓サイクルに属する必要はなく、異なる心臓サイクルから導出されてもよいことに留意すべきである。

【0021】

本発明は、好ましくは解剖学的対象物の様々な視野を含む多数の相補的画像からの少なくとも２つの相補的な画像から、解剖学的対象物全体の単一セグメンテーションを生成するという考えに基づいている。提示されるデバイス及び方法は、いわば、少なくとも２つ、好ましくは多数のサブセグメンテーションの組み合わせとして、解剖学的対象物全体の単一セグメンテーションを生成する。

【0022】

２つの医療用画像（第１及び第２の医療用画像）の場合、位置合わせユニットは、第１のステップにおいて、第２の医療用画像の画像空間から第１の医療用画像の画像空間への変換を決定する。第１の医療用画像の画像空間は、いわば基準画像空間と見なすことができる。この変換は、好ましくは、第２の医療用画像を第１の医療用画像の画像空間内へと並進及び／又は回転させる剛体変換として実現される。

【0023】

好ましくは、以下で詳述するように、変換はポイント間位置合わせ及び／又はメッシュ間位置合わせによって決定される。しかしながら、この事例には好適でないものの、変換は一般的には画像ベースの位置合わせを適用することによっても決定することができる。位置合わせの結果、第２の医療用画像の画像空間がどのように第１の医療用画像の画像空間に変換され得るかをパラメータ的に記述する変換行列が得られる。

【0024】

この変換は、第２の医療用画像を第１の医療用画像の画像空間に変換するために変換ユニット内で用いられる。換言すると、変換ユニットは、同一の基準画像空間において２つの整合させた画像を受信するために、第２の医療用画像を第１の医療用画像の画像空間内に並進及び／又は回転させる。本明細書では、第２の医療用画像の変換の結果を、変換済みの第２の医療用画像と呼ぶ。

【0025】

最後のステップにおいて、セグメンテーションユニットは、解剖学的対象物全体の全体セグメンテーションに、第１の医療用画像及び変換済みの第２の医療用画像の双方を用いる。セグメンテーションユニットは、モデルベースのセグメンテーションをそれらに適用する。

【0026】

本発明の中心となる考えの１つは、この全体セグメンテーションにおいて、第１の医療用画像及び変換済みの第２の医療用画像の双方に全く同一のセグメンテーションモデルが適合されるということである。第１の医療用画像及び変換済みの第２の医療用画像は融合されない（それらは個別に処理されている）ことに留意するのは重要である。第１及び変換済みの第２の医療用画像は、医療用画像処理デバイスのメモリ内において別々のままである。第１及び変換済みの第２の医療用画像は、いわば２つの異なる層に別々に記憶されている。しかしながら、セグメンテーションユニットは、第１の医療用画像及び変換済みの第２の医療用画像の双方に同時に適合される単一のセグメンテーションモデルを用いる。これは、この記載の導入部に提示したＲａｊｐｏｏｔ，Ｋ．等により提案された手法との大きな相違の１つである。Ｒａｊｐｏｏｔ，Ｋ．等は、融合画像を生成するために画像を融合させ、その後この融合画像にセグメンテーションを行うことを提案している。

【0027】

提示されるデバイスは双方の画像を融合させないが、全く同一のセグメンテーションモデルを用いて双方の画像に基づくセグメンテーションを行うので、解剖学的対象物全体の単一セグメンテーションを生成することを可能としながら、画像融合の欠点（アーチファクト及び人工的な壁、強度の不一致及び画像平滑化）を防ぐことができる。従って、提示されるデバイス及び方法は、よりロバストで一貫性の高いセグメンテーション結果を生じ、これを解剖学的対象物の定量化のために用いることができる。

【0028】

提示されるデバイス及び方法は、いわば、医療用画像を融合させることなく各医療用画像を最大限に活用する。各サブ構造が見える画像から各サブ構造のセグメンテーションを行うことで、異なる視野を示す異なる画像から解剖学的対象物全体の単一セグメンテーションが算出される。

【0029】

セグメンテーションユニットは、好ましくは、
第１の医療用画像内の解剖学的対象物の第１のフィーチャポイントセットを識別し、
変換済みの第２の医療用画像内の解剖学的対象物の第２のフィーチャポイントセットを識別し、更に、
第１及び第２のフィーチャポイントセットの双方にセグメンテーションモデルを同時に適合させることによって、全体セグメンテーションを実行する。

【0030】

従って、セグメンテーションメッシュモデルは、双方の画像において識別されたフィーチャポイントに合致するように変形される。Ｒａｊｐｏｏｔ，Ｋ．等により提案されたような融合画像のセグメンテーションの場合、セグメンテーションメッシュモデルは、単一の融合画像において識別された１つのフィーチャポイントセットのみに合致するように変形されるが、本発明によれば、セグメンテーションメッシュモデルは、少なくとも２つのフィーチャポイントセット（２つの画像の場合）に合致するように変形される。これによって、よりロバストで一貫性の高いセグメンテーションの結果が得られることは明らかである。

【0031】

好ましくは、第１の医療用画像及び変換済みの第２の医療用画像の各々内で、第１の医療用画像及び変換済みの第２の医療用画像の各々内で最も大きい輝度勾配を有する画像ポイントをそれぞれ識別することによって、解剖学的対象物の第１及び第２のフィーチャポイントセットを識別する。しかしながら、輝度勾配は、フィーチャポイント識別のための唯一の指標ではなく、そうである必要もないことに留意すべきである。この識別は、画素輝度の絶対値のような他の基準、又はセグメンテーションメッシュ内の画素の輝度をセグメンテーションメッシュ外の画素の輝度と比較するアルゴリズムに基づいて行ってもよい。しかしながら、セグメンテーションのための画像輝度勾配の使用は、かなり容易に実現することができる。従ってセグメンテーションでは、通常は画像内の組織境界すなわち解剖学的対象物の解剖学的フィーチャの境界を表す画像内の明−暗エッジ（又は暗−明エッジ）を探す。

【0032】

すでに述べた通り、本発明はむろん、上述のように２つの医療用画像のみを処理することに限定されない。好ましくは、上述の全体セグメンテーションには多数の医療用画像が用いられる。しかしながら原理は同じである。複数の画像はまず、例えばそれらのうち１つの画像の画像空間のような基準空間内に位置合わせされる。共通基準空間への全ての視野の幾何学的変換を記述するため、全ての画像について視野間変換が算出される。次いで、全ての画像が相互に整合されるように、それぞれの視野間変換によって全ての画像が変換される。次いでセグメンテーションユニットは、基準空間に変換された全ての画像を利用し、基準空間の全ての画像に１つのみのセグメンテーションモデルを同時に適用することによって、前述のように全体セグメンテーションを実行する。

【0033】

別の実施形態によれば、セグメンテーションユニットは、全体セグメンテーションの前に、第１のセグメンテーションメッシュを受信するために第１の医療用画像の個別セグメンテーションを実行し、更に、第２のセグメンテーションメッシュを受信するために第２の医療用画像の個別セグメンテーションを実行するように構成されている。この場合、位置合わせユニットは、第１のセグメンテーションメッシュ上に第２のセグメンテーションメッシュのポイントベースの位置合わせを適用することによって、第２の画像の画像空間から第１の画像の画像空間への変換を決定するように構成されている。

【0034】

第１及び第２の医療用画像の上述の個別セグメンテーションが、第１の医療用画像及び変換済みの第２の医療用画像の双方に同時に適合される全体セグメンテーションに関連付けられていない（ｎｏｔ ｃｏｎｎｅｃｔｅｄ）ことに留意するのは重要である。第１及び第２の医療用画像の個別セグメンテーションは、全体セグメンテーションとは異なる技術目的のために行われる。全ての医療用画像の個別セグメンテーションは、各画像を基準空間に位置合わせする前に適用される。これらのセグメンテーションは、例えば第２の医療用画像の画像空間から第１の医療用画像の画像空間への変換のような視野間変換の決定を容易にするはずである。換言すると、各画像の個別セグメンテーションは、剛体ポイントベースメッシュ間位置合わせを用いることにより、各画像の変換の決定を可能とする。このようなメッシュ間位置合わせは、各画像の個別セグメンテーションなしで実行しなければならない画像ベースの位置合わせに比べ、より高速かつ高精度である。

【0035】

好ましくは、セグメンテーションユニットは、第１の医療用画像及び第２の医療用画像の個別セグメンテーションに同一のセグメンテーションモデルを適用するように構成されている。全体セグメンテーションでは、わずかに異なるセグメンテーションモデルを利用する。このモデルは、２セットの調整された（ｔｒａｉｎｅｄ）画像フィーチャを、セグメンテーションを行う各画像に１セットずつ用いる。視野のみが変化するこの適用例では、２つのセットは同一であり、単一画像セグメンテーションモデルのうち１つと等しいことに留意すべきである。

【0036】

更に別の実施形態によれば、受信ユニットは、第１の医療用画像を含む第１の医療用画像シーケンスと、第２の医療用画像を含む第２の医療用画像シーケンスと、を受信するように構成されている。医療用画像処理デバイスは、解剖学的対象物の同一又は同様の解剖学的状態の対応する画像を識別するため、第１及び第２の医療用画像を選択するための選択ユニットを更に備える。

【0037】

すでに述べたように、医療用画像処理デバイスは実際には、超音波デバイス等の医療用撮像装置に直接接続されていることが多い。この場合、受信ユニットは、解剖学的対象物の同一又は同様の解剖学的状態を示す第１の医療用画像及び対応する第２の医療用画像を直接受信せず、いくつかの画像シーケンスを受信する。例えば、超音波検査士は、左心室の鼓動のような鼓動する心臓のサブ構造の第１の視野の第１の医療用画像シーケンスの取得を開始する。次に、超音波検査士は、右心室の鼓動のような鼓動する心臓の別のサブ構造を示す第２の視野の第２の医療用画像シーケンスを取得する。この手順を、全ての対象構造が撮像されるまで繰り返す。次いで、例えば拡張末期フェーズ又は収縮末期フェーズのような同一の心臓フェーズの対応する画像を識別することが重要である。これは上述の選択ユニットによって実行される。選択ユニットは、手作業で又は自動的な手法のどちらかで、対応する画像（すなわち第１及び第２の医療用画像）の選択を可能とする。

【0038】

自動的な手法は以下のように実施することができる。すなわち、セグメンテーションユニットは、第１及び第２の医療用画像シーケンスの全ての画像に個別にセグメンテーションを行うように構成することができ、選択ユニットは、第１及び第２の医療用画像シーケンスの全ての画像のセグメンテーションに基づいて第１及び第２の医療用画像を自動的に選択するように構成されている。選択ユニットは、各画像シーケンスごとに、対応する画像シーケンス内の全ての画像のセグメンテーションから容積曲線（ｖｏｌｕｍｅ ｃｕｒｖｅ）を導出するように構成することができる。次いで、これらの容積曲線の比較により、特定の心臓フェーズの心臓を示す各画像シーケンスの画像を自動的に選び出すことができる。

【0039】

更に別の実施形態によれば、医療用画像処理デバイスは、第１の医療用画像及び変換済みの第２の医療用画像を融合させることによって融合画像を再構築するように構成された画像再構築ユニットを更に備えてもよい。これによって、Ｒａｊｐｏｏｔ，Ｋ．等により提案されたものと同様に、解剖学的対象物全体の画像を視覚化することが可能となる。融合画像は、提示される医療用画像処理デバイスによってアドオンとしてのみ提供することができる。解剖学的対象物を定量化するために使用され得る全体セグメンテーションは、この場合も、融合画像に基づくのではなく、上述の手法に従って生成されることに留意しなければならない。

【図面の簡単な説明】

【0040】

本発明のこれらの態様及びその他の態様は、以下に記載する実施形態から明らかとなり、これらを参照して説明される。

【0041】

【図1】患者の身体の一部をスキャンするために使用中の超音波撮像システムの概略図を示す。

【図2】超音波撮像システムの一実施形態の概略ブロック図を示す。

【図3】本発明に従った医療用画像処理デバイスの一実施形態の概略ブロック図を示す。

【図4】本発明に従った医療用画像処理方法の一実施形態の概略ブロック図を示す。

【図5A】本発明に従った医療用画像処理デバイスによって処理することができる第１の医療用画像の例を示す。

【図5B】本発明に従った医療用画像処理デバイスによって処理することができる第２の医療用画像の例を示す。

【図6A】第１の医療用画像の個別セグメンテーションの中間結果を概略的に示す。

【図6B】第２の医療用画像の個別セグメンテーションの中間結果を概略的に示す。

【図7A】第１の医療用画像の個別セグメンテーションの最終結果を概略的に示す。

【図7B】第２の医療用画像の個別セグメンテーションの最終結果を概略的に示す。

【図8A】画像位置合わせ及び変換後の、セグメンテーションが行われた第１の医療画像を示す。

【図8B】画像位置合わせ及び変換後の、セグメンテーションが行われた変換済みの第２の医療画像を示す。

【図9】第１の医療用画像及び変換済みの第２の医療用画像の双方を用いた全体セグメンテーションを概略的に示す。

【図10】第１の医療用画像及び変換済みの第２の医療用画像の融合画像を示す。

【発明を実施するための形態】

【0042】

本発明に従った医療用画像処理デバイス１０に言及する前に、図１及び図２を参照して、超音波システム１００の基本原理を説明する。超音波撮像の分野は、本明細書に提示される医療用画像処理デバイス１０の１つの好適な適用例であるが、提示される画像処理デバイス１０は超音波撮像の分野に限定されない。本明細書に提示されるデバイス１０は、例えばＣＴ、ＭＲ、ＭＲＩのような他の医療用撮像モダリティにおいても使用可能である。

【0043】

図１は、超音波システム１００、具体的には医療用３次元（３Ｄ）超音波撮像システムの概略図を示す。超音波撮像システム１００を用いて、特に患者１２の心臓のような解剖学的部位のあるボリュームを検査する。超音波システム１００は、超音波を送信及び／又は受信するための多数のトランスデューサ要素を有する少なくとも１つのトランスデューサアレイを有する超音波プローブ１４を備えている。一例において、トランスデューサ要素の各々は、特定のパルス持続時間の少なくとも１つの送信インパルスの形態である超音波、具体的には複数の連続した送信パルスを送信することができる。トランスデューサ要素は、特に多面又は３次元の画像を提供するため、好ましくは２次元アレイに配列されている。

【0044】

本発明に適用可能な３次元超音波システムの具体的な例は、本出願人により販売されているＣＸ４０ Ｃｏｍｐａｃｔ Ｘｔｒｅｍｅ超音波システムであり、特に、本出願人のＸ６−１もしくはＸ７−２ｔ ＴＴＥトランスデューサ、又は本出願人のｘＭａｔｒｉｘ技術を用いた別のトランスデューサを伴うものである。一般に、Ｐｈｉｌｉｐｓ ｉＥ３３システムで見られるようなマトリックストランスデューサシステム、又は例えばＰｈｉｌｉｐｓ ｉＵ２２及びＨＤ１５システムで見られるような機械３Ｄ／４Ｄトランスデューサ技術を、本発明に適用することができる。

【0045】

３Ｄ超音波スキャンは通常、ターゲットボリュームとして指定され得る身体内の特定のボリュームを照射する超音波を放出することを含む。これは、超音波を多くの異なる角度で放出することによって達成することができる。次いで、反射波を受信して処理することにより、ボリュームデータセットを取得する。ボリュームデータセットは、身体内のターゲットボリュームの経時的な表現である。通常、時間は第４の次元として表されるので、経時的な３Ｄ画像シーケンスを送出するこのような超音波システム１００を４Ｄ超音波撮像システムと称することがある。

【0046】

超音波プローブ１４は、（図１に示すように）非侵襲的に、又は、（明示的に示さないが）ＴＴＥにおいて通常行われるように侵襲的に使用され得ることは理解されよう。超音波プローブ１４は、システムのユーザが手で持つことができる。超音波プローブ１４は、解剖学的対象物の画像を提供するように患者１２の身体に適用される。

【0047】

更に、超音波システム１００は、超音波システム１００を介した３Ｄ画像シーケンスの提供を制御する画像再構築ユニット１６を備えることができる。以下で詳述するように、画像再構築ユニット１６は、超音波プローブ１４のトランスデューサアレイを介したデータ取得を制御するだけでなく、超音波プローブ１４のトランスデューサアレイにより受信された超音波ビームエコーから３Ｄ画像シーケンスを形成する信号及び画像の処理も制御する。

【0048】

超音波システム１００は更に、３Ｄ画像シーケンスをユーザに表示するためのディスプレイ１８を備えることができる。更に、キー又はキーボード２２と、例えばトラックボール２４のような別の入力デバイスとを備える入力デバイス２０を設けてもよい。入力デバイス２０は、ディスプレイ１８に接続してもよく、又は画像再構築ユニット１６に直接接続してもよい。

【0049】

図２は、超音波システム１００の概略ブロック図を示す。超音波プローブ１４は、例えばＣＭＵＴトランスデューサアレイ２６を備えることができる。あるいは、トランスデューサアレイ２６は、ＰＺＴ又はＰＶＤＦのような材料で形成された圧電トランスデューサ要素を含み得る。トランスデューサアレイ２６は、３Ｄ撮像のため３次元でのスキャンが可能な、トランスデューサ要素の１次元又は２次元アレイである。トランスデューサアレイ２６は、ＣＭＵＴアレイセル又は圧電要素による信号の送信及び受信を制御するプローブ内のマイクロビームフォーマ２８に結合されている。マイクロビームフォーマは、トランスデューサ要素のグループ又は「パッチ」により受信された信号の少なくとも部分的なビーム形成を行うことができる。これについては、米国特許第５，９９７，４７９号（Ｓａｖｏｒｄ等）、第６，０１３，０３２号（Ｓａｖｏｒｄ）、及び第６，６２３，４３２号（Ｐｏｗｅｒｓ等）に記載されている。マイクロビームフォーマ２８は、プローブケーブルによって送受信（Ｔ／Ｒ）スイッチ３０に結合することができる。Ｔ／Ｒスイッチ３０は、送信と受信との間で切り換えを行い、マイクロビームフォーマ２８が使用されずにトランスデューサアレイ２６が直接メインビームフォーマ３４により動作される場合にメインビームフォーマ３４を高エネルギ送信信号から保護する。マイクロビームフォーマ２８の制御下でのトランスデューサアレイ２６からの超音波ビーム送信は、Ｔ／Ｒスイッチ３０によってマイクロビームフォーマ２８に結合されたトランスデューサコントローラ３２と、ユーザインタフェース又は制御パネル２２のユーザ動作による入力を受信するメインシステムビームフォーマ３４とによって誘導される。トランスデューサコントローラ３２が制御する機能の１つは、ビームをステアリングし集束させる方向である。ビームは、トランスデューサアレイ２６から（これに直交して）まっすぐに、又はより広い視野のために様々な角度にステアリングされる。トランスデューサコントローラ３２は、ＣＭＵＴアレイのためＤＣバイアス制御５８を制御するように結合することができる。ＤＣバイアス制御５８は、ＣＭＵＴセルに印加されるＤＣバイアス電圧（複数の電圧）を設定する。

【0050】

受信されてマイクロビームフォーマ２６により部分的にビーム形成された信号はメインビームフォーマ３４に結合され、ここで、個々のトランスデューサ要素パッチからの部分的にビーム形成された信号は組み合わされて、完全にビーム形成された信号となる。例えば、メインビームフォーマ３４は１２８のチャネルを有し、その各々が、数十又は数百のＣＭＵＴトランスデューサセル又は圧電要素のパッチから部分的にビーム形成された信号を受信する。このように、トランスデューサアレイ２６の数千のトランスデューサ要素によって受信された信号は、ビーム形成された単一の信号を効率的に生成することができる。

【0051】

ビーム形成された信号は、信号プロセッサ３６に結合される。信号プロセッサ３６は、受信したエコー信号を様々な手法で処理する。その手法は例えば、バンドパスフィルタリング、デシメーション、Ｉ成分とＱ成分の分離、高調波信号分離である。高調波信号分離は、線形信号と非線形信号を分離して、組織及び／又は患者１２の身体に事前投与された造影剤に含まれるマイクロバブルから返ってきた非線形（基本周波数の高調波）エコー信号の識別を可能とするように作用する。信号プロセッサ３６は、スペックル低減、信号複合、及びノイズ除去のような追加の信号向上を実行してもよい。信号プロセッサ３６のバンドパスフィルタは、エコー信号が受信される深さが増すにつれて通過帯域が高周波帯域から低周波帯域へとスライドするトラッキングフィルタとし、これによって、解剖学上の情報が存在しない深い場所からの高周波数のノイズを阻止することができる。

【0052】

処理された信号は、Ｂモードプロセッサ３８及びドップラープロセッサ４０に転送することができる。Ｂモードプロセッサ３８は、身体の臓器の組織や血管のような身体内の構造を撮像するため、受信した超音波信号の振幅の検出を用いる。身体の構造のＢモード画像は、高調波画像モード、基本画像モード又はこれら双方の組み合わせにおいて形成される。これは、米国特許第６，２８３，９１９号（Ｒｏｕｎｄｈｉｌｌ等）及び米国特許第６，４５８，０８３号（Ｊａｇｏ等）に記載されている。ドップラープロセッサ４０は、画像フィールドにおける血球の流れのような物質の運動を検出するため、組織の動き及び血流からの時間的に別個の信号を処理することができる。ドップラープロセッサ４０は典型的に、身体内の選択されたタイプの物質から返ってきたエコーを通過及び／又は阻止するようにパラメータが設定されたウォールフィルタ（ｗａｌｌ ｆｉｌｔｅｒ）を含む。例えばウォールフィルタは、高速の物質からの比較的低い振幅の信号を通過させると共に低速又はゼロ速度の物質からの比較的強い信号を阻止する通過帯域特性を有するように設定することができる。この通過帯域特性は、流れている血液からの信号を通過させると共に、心壁のようなほぼ静止しているか又はゆっくりと動く物体からの信号を阻止する。逆の特性では、組織ドップラー撮像と呼ばれるものを行うため、動いている心臓組織からの信号を通過させると共に血流信号を阻止することで、組織の運動を検出して描写する。ドップラープロセッサ４０は、画像フィールド内の様々なポイントから時間的に離散したエコー信号のシーケンスを受信及び処理することができる。特定ポイントからのエコーのシーケンスをアンサンブルと称する。比較的短い期間に高速で連続して受信されたエコーのアンサンブルを用いて、流れている血液のドップラーシフト周波数を推定することができ、ドップラー周波数と速度との対応が血流速度を示す。より長い時間期間に受信したエコーのアンサンブルを用いて、ゆっくり流れる血液又はゆっくり動く組織の速度を推定する。

【0053】

Ｂモードプロセッサ３８及びドップラープロセッサ４０により生成された構造信号及び運動信号は、スキャン変換器４４及び多面リフォーマッタ（ｍｕｌｔｉｐｌａｎａｒ ｒｅｆｏｒｍａｔｔｅｒ）５４に転送される。スキャン変換器４４は、受信時の空間関係にあるエコー信号を所望の画像フォーマットに配列する。例えば、スキャン変換器４４はエコー信号を、２次元（２Ｄ）セクタ形状フォーマット又はピラミッド形状の３次元（３Ｄ）画像に配列する。スキャン変換器４４は、Ｂモード構造画像に、ドップラー推定速度を用いて画像フィールド内の各ポイントでの運動に対応した色を重ね合わせて、画像フィールド内の組織の運動と血流とを表すカラードップラー画像を生成することができる。多面リフォーマッタ５４は、身体のボリューム領域（ｖｏｌｕｍｅｔｒｉｃ ｒｅｇｉｏｎ）の共通平面内の各ポイントから受信されたエコーを、その平面の超音波画像に変換する。これは米国特許第６，４４３，８９６号（Ｄｅｔｍｅｒ）に記載されている。ボリュームレンダラー（ｒｅｎｄｅｒｅｒ）５２は、３Ｄデータセットのエコー信号を、所与の基準点から見るような経時的な投影３Ｄ画像シーケンス５６に変換する。これは米国特許第６，５３０，８８５号（Ｅｎｔｒｅｋｉｎ等）に記載されている。３Ｄ画像シーケンス５６は、スキャン変換器４４、多面リフォーマッタ５４、及びボリュームレンダラー５２から画像プロセッサ４２に転送されて、更に画像を向上させたり、画像ディスプレイ１８に表示するためのバッファリングや一時的な記憶を行ったりする。撮像に用いることに加えて、ドップラープロセッサ４０により生成した血流値及びＢモードプロセッサ３８により生成した組織構造情報は、定量化プロセッサ４６に転送される。この定量化プロセッサ４６は、血流の容積流量のような様々なフロー条件の測定値や臓器の大きさ及び妊娠期間のような構造測定値を生成する。定量化プロセッサ４６は、ユーザ制御パネル２２から、測定を行う画像の解剖学的組織内のポイント等の入力を受信する。定量化プロセッサ４６からの出力データはグラフィックプロセッサ５０に転送され、ディスプレイ１８上の画像によって測定グラフィック及び測定値の再生が行われる。グラフィックプロセッサ５０は、超音波画像と共に表示するためのグラフィックオーバーレイも発生させることができる。これらのグラフィックオーバーレイは、患者の氏名、画像の日時、撮像パラメータ等の標準的な識別情報を含むことができる。これらの目的のため、グラフィックプロセッサ５０は、患者の氏名等の入力をユーザインタフェース２２から受信する。ユーザインタフェース２２は送信コントローラ３２にも結合されて、トランスデューサアレイ２６からの超音波信号の発生を制御し、従ってトランスデューサアレイ及び超音波システムが生成する画像の発生を制御する。ユーザインタフェース２２は多面リフォーマッタ５４にも結合され、多面リフォーマットされる（ＭＰＲ）画像の面の選択及び制御が行われる。これを用いて、ＭＰＲ画像の画像フィールドにおいて定量化測定を実行する。

【0054】

繰り返すが、上述の超音波システム１００は、提示される医療用画像処理デバイスの１つの可能な適用例として説明したに過ぎないことに留意するべきである。上記の超音波システム１００は、前述のコンポーネントの全てを備える必要はないことを注記しておく。一方、超音波システム１００は、必要な場合には更に別のコンポーネントも備え得る。また、前述の複数のコンポーネントは必ずしもハードウェアとして実現される必要はなく、ソフトウェアコンポーネントとして実現され得ることに留意すべきである。前述の複数のコンポーネントは、共通の要素（ｅｎｔｉｔｙ）に含まれるか、更には単一の要素に含まれる場合もあり、図２に概略的に示すように全てが別個の要素として実現される必要はない。

【0055】

図３は、本発明に従った医療用画像処理デバイス１０の一実施形態の概略ブロック図を示す。図４は、本発明に従った対応する医療用画像処理方法を概略的に示すブロック図を示す。以下において、提案されるデバイス１０及び対応する方法の技術的な原理を、鼓動する心臓のＴＴＥ画像のための適用例によって説明する。しかしながら、提案されるデバイス１０及び方法は、例えば胎児の超音波検査の適用例等、医療用撮像の分野における他の用途にも同様に使用可能であることに留意すべきである。

【0056】

本発明の中心となる考えは、様々な視野を含むと共に解剖学的対象物の様々なサブ構造を表す多数の医療用画像を用いることによって、例えば心臓のような解剖学的対象物の構造全体のセグメンテーション及び定量化を可能とするデバイス１０及び対応する方法を提案することである。これは、超音波検査使用に典型的である限定された視野のために個々の画像のそれぞれには解剖学的対象物の特定部分しか表示されないにもかかわらず、解剖学的対象物の構造全体の定量化に役立つ。

【0057】

図３に示す実施形態によれば、提示される医療用画像処理デバイス１０は、受信ユニット６０、記憶ユニット６２、位置合わせユニット６４、変換ユニット６６、セグメンテーションユニット６８、及び選択ユニット７０を備えている。上記のユニット６０〜７０は全て、ハードウェア及び／又はソフトウェアとして実施することができる。これらのユニット６０〜７０は全て、それぞれ別個のユニットとして設けてもよいが、例えばプロセッサ又はマイクロプロセッサのような同一のユニットにおいて実施してもよい。

【0058】

医療用画像処理デバイス１０は、上記の超音波システム１００とは別個の要素として実現することができる。あるいは、医療用画像処理デバイス１０は、上記の超音波システム１００の一部として実施し、画像プロセッサ４２に一体化することも可能である。

【0059】

本明細書に提示される方法の第１のステップ２０１では、受信ユニット６０によって複数の３Ｄ超音波画像シーケンス５６が受信される。これらの画像シーケンス５６は、超音波システム１００からリアルタイムで受信するか、又はオフラインモードで、予め取得された画像シーケンス５６が前もって記憶された任意のタイプのデータベースから受信することができる。複数の画像シーケンス５６の各々は、複数のフレーム（本明細書では画像と称する）を含む。これらの適時連続した画像は、例えば１以上の心臓サイクルで動く心臓を示す等、解剖学的対象物を経時的に示す画像シーケンスを形成する。これらの画像シーケンス５６の各々は、それぞれ解剖学的対象物の異なる視野を含む。例えば、１つの画像シーケンスは左心室を含む心臓の左部分を示し、別の画像シーケンスは右心室を含む心臓の右側を示す。

【0060】

次いで、受信した画像シーケンス５６が記憶ユニット６２に記憶される。記憶ユニット６２は一時記憶装置とすることができる。

【0061】

次のステップ２０２では、同一又は同様の解剖学的状態の解剖学的対象物を示す対応する画像を識別するため、受信した画像シーケンスを解析する必要がある。これは、全ての異なる画像シーケンスから、同一又は同様の解剖学的状態の解剖学的対象物を示す特定の画像フレームを選択しなければならないことを意味する。ＴＴＥ画像の所与の例では、拡張末期フェーズ又は収縮末期フェーズのような特定の心臓フェーズの心臓を示す画像フレームを発見するため、各画像シーケンス５６をスキャンしなければならない。この選択ステップ２０２の結果、同一の心臓フェーズの心臓を示す多数の画像が識別される。これらの画像は各々、心臓の異なる視野を示す異なる画像シーケンスから取得されたものである。

【0062】

この画像選択は、ユーザによって手作業で行うか、又は選択ユニット７０によって自動的に導出することができる。手作業の選択の場合、ユーザは受信した各画像シーケンス５６から１つの画像を手作業で選択しなければならない。あるいは選択ユニット７０が、各画像シーケンス５６から、特定の共通の心臓フェーズの心臓を示す画像を自動的に選択することができる。これを実行するには、全ての画像シーケンス５６の全ての画像に個別セグメンテーションを行い、各画像シーケンス５６ごとに、対応する画像シーケンス５６の画像の個別セグメンテーションから得られる容積曲線を導出すればよい。この容積曲線は例えば、セグメンテーションメッシュで囲まれたエリアが心臓サイクルの経過と共にどのように変化するかを示すことができる。これは、各画像シーケンス５６から特定の心臓フェーズの心臓を示す画像を識別するのに役立つ。

【0063】

図５Ａ及び図５Ｂは、２つの例示的な画像、すなわち図５Ａに示す第１の画像７２及び図５Ｂに示す第２の画像７４を示す。これら双方の画像は同一の心臓フェーズの心臓を示す。図５Ａと図５Ｂとを相互に比較することで、双方の画像７２、７４が異なる視野を含むことが観察できる。第１の画像は左心室７６全体を含むが、右心室７８を一部のみ含む。右心室７８の一部は第１の画像７２では見えない（図示せず）。一方、第２の画像７４は、右心室７８全体を含むが、左心室７６を一部のみ含み、左心室７６の他の部分は視野外にある。

【0064】

選択ステップ２０２でセグメンテーションがまだ行われていなかった場合、次のステップ２０３において、選択された画像７２、７４は、セグメンテーションユニット６８によってセグメンテーションが行われる。セグメンテーションユニット６８は、これらの画像にモデルベースのセグメンテーションを適用する。このセグメンテーションの第１のサブステップにおいて、セグメンテーションユニット６８は、第１の画像７２内で、ほぼ心臓８４の輪郭上に配置された第１のフィーチャポイントセット８０を識別する。これと同じことを、第２のフィーチャポイントセット８２を識別するために第２の画像７４で行う。これらのフィーチャポイント８０、８２を識別するために実行できることの１つは、第１の画像７２及び第２の画像７４の各々において最も大きい輝度勾配を有する画像ポイントを識別することである。むろん、フィーチャポイントセット８０、８２の識別において、各画素と隣接画素の絶対輝度値のような他の特徴を考慮に入れてもよいことに留意すべきである。

【0065】

セグメンテーション２０３の次のサブステップでは、これらのフィーチャポイント８０、８２を用いて、フィーチャポイントセット８０、８２の各々にセグメンテーションメッシュモデルを適用する。通常、セグメンテーション２０３のこれらのサブステップは双方とも同一ステップ内で行われることに留意すべきである。フィーチャポイント８０、８２は、本明細書での例示の目的のために視覚化されているに過ぎない。図７Ａ及び図７Ｂに、第１及び第２の画像７２、７４の２つの個別セグメンテーションの結果を示す。

【0066】

図７Ａは、第１の画像７２上に重ね合わせた第１のセグメンテーションメッシュ８６を示す。図７Ｂは、第２の画像７４上に重ね合わせた第２のセグメンテーションメッシュ８８を示す。双方のセグメンテーションメッシュ８６、８８は、異なるサブメッシュを含むことができ、例えば左心室に１つのサブメッシュ、右心室に別のサブメッシュというように、各サブメッシュを心臓の特定のサブ構造に適合させてもよい。好ましくは、セグメンテーションユニット６８は、第１の画像７２及び第２の画像７４のセグメンテーションに同一のセグメンテーションモデル８６、８８を用いるが、それにもかかわらず、このステップ２０３において双方の画像７２、７４は個別にセグメンテーションが行われる。更に、３次元画像７２、７４の場合、セグメンテーションメッシュ８６、８８は３次元表面メッシュであることに留意すべきである。

【0067】

セグメンテーションは、Ｅｃａｂｅｒｔ，Ｏ．等の「Ａｕｔｏｍａｔｉｃ ｍｏｄｅｌ−ｂａｓｅｄ ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ ｔｈｅ ｈｅａｒｔ ｉｎ ＣＴ ｉｍａｇｅｓ」（ＩＥＥＥ ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｍｅｄｉｃａｌ ｉｍａｇｉｎｇ、ｖｏｌ．２７（９）、１１８９〜１２９１ページ、２００８年）（これは引用により本願に含まれるものとする）におけるモデルベースのセグメンテーションに関する記載と同様に実現することができる。このモデルベースのセグメンテーションは、解剖学的対象物の幾何学的メッシュモデルを利用し、解剖学的対象物の各解剖学的フィーチャを表す各セグメントを含み得る。そのようなモデルベースのセグメンテーションは通常、画像内で解剖学的対象物の位置及び向きを識別することから開始する。これは例えば一般化ハフ変換を用いて実施される。姿勢の不整合は、グローバル相似変換（ｇｌｏｂａｌ ｓｉｍｉｌａｒｉｔｙ ｔｒａｎｓｆｏｒｍａｔｉｏｎ）を使用して幾何学的メッシュモデルを画像にマッチングさせることによって補正され得る。セグメンテーションは、解剖学的対象物の解剖学的フィーチャの形状を大まかに表す初期モデルを備える。このモデルは、三角形のメッシュを有する多区画メッシュとすればよい。この初期モデルは、変換によって変形する。この変換は、異なる種類の２つの変換に分解される。すなわち、必要に応じて幾何学的モデルの初期形状を並進、回転、又はスケール変更することができるグローバル変換と、より正確に解剖学的対象物と合致するように幾何学的モデルを実際に変形させるローカル変換である。これは通常、幾何学的モデルの表面の法線ベクトルを画像勾配と合致するように規定することによって行われる。すなわち、セグメンテーションでは、通常は画像内の組織境界すなわち解剖学的対象物の境界を表す画像内の明−暗エッジ（又は暗−明エッジ）を探す。

【0068】

実際には、上述の個別セグメンテーションが２つの画像７２、７４だけでなく複数の画像に適用されることは明らかである。しかしながら本明細書では、簡略化の理由のため、提示されるデバイス１０及び提示される方法の原理を、２つの画像７２、７４によってのみ説明する。複数の画像の場合も本発明の原理は同じである。

【0069】

次いで、図３に矢印９０で示すように、セグメンテーションを行った画像７２、７４を位置合わせユニット６４に転送する。ステップ２０４において、位置合わせユニット６４は、第２の医療用画像７４の画像空間から第１の医療用画像７２の画像空間への変換を決定する。換言すると、位置合わせユニット６４は、選択した各画像から基準空間／共通座標系への視野間変換を決定する。図示する例では、第１の画像７２の画像空間が基準空間として用いられる。第２の医療用画像７４の画像空間から第１の医療用画像７２の画像空間への変換は、第１のセグメンテーションメッシュ８６上に第２のセグメントメッシュ８８のポイントベースの位置合わせを適用することによって決定される。従って、前のステップ２０３で適用された個別セグメンテーションが、ここでは、各画像の視野間変換の推定に用いられるポイントごとのメッシュベースの位置合わせによって各画像を基準空間内に位置合わせするために使用され得る。この変換は、超音波トランスデューサプローブの並進及び／又は回転をモデル化する剛体変換である。次いでステップ２０５では、決定された視野間変換を用いて、変換ユニット６６によって第２の画像７４を第１の医療用画像の画像空間に変換することができる。第１の画像７２の画像空間は基準画像空間として用いられるので、この例示的な事例では第１の画像７２は変換されないが、第２の画像７４の変換によって、変換済みの第２の画像７４’が生じる。図８Ａ及び図８Ｂに、この変換の結果を例示的に示す。従って、選択された全ての画像はここで位置合わせされ、同一の基準空間に変換される。次いで、（変換済みの）画像は再びセグメンテーションユニット６８に転送される。

【0070】

セグメンテーションユニット６８は、最後にステップ２０６において、基準空間内に変換された全ての画像を用いる全体セグメンテーションを実行する。例示的に示す例では、セグメンテーションユニット６８は、第１の医療用画像７２及び変換済みの第２の医療用画像７４’を用いた全体セグメンテーションを実行する。しかしながら、画像７２、７４’はこの場合、（ステップ２０３におけるような）個別セグメンテーションは行われず、単一の全体セグメンテーションにおいて共にセグメンテーションが行われることに留意することが重要である。セグメンテーションユニット６８は、第１の医療用画像７２及び変換済みの第２の医療用画像７４’の双方に、全く同一のセグメンテーションメッシュモデルを同時に適合させる。図９にこのステップを概略的に示す。

【0071】

従って、第１の医療用画像７２内の第１のフィーチャポイントセット８０と、変換済みの第２の医療用画像７４’内の第２のフィーチャポイントセット８２との双方に、全体セグメンテーションメッシュモデル９２が適合される。このステップで用いられる全体セグメンテーションメッシュモデル９２は、ステップ２０３で個別セグメンテーションに用いたものと同様のメッシュモデルとすればよい。しかしながら、それらの相違点は、全体セグメンテーションメッシュモデル９２が、第１の画像７２及び変換済みの第２の画像７４’の重複領域ではこれらの領域内の双方のフィーチャポイント８０、８２に適合されているのに対し、非重複領域では第１の医療用画像７２のフィーチャポイント８０又は変換済みの第２の医療用画像７４’のフィーチャポイント８２のどちらかに適合されていることである。この結果、心臓８４の各サブ構造が見える画像から各サブ構造のセグメンテーションを行うことで、異なる視野を示すいくつかの異なる画像の集合から、解剖学的対象物（ここでは心臓８４）全体の単一セグメンテーションが算出される。最終的に、心臓８４全体の単一の一貫した全体セグメンテーションが行われ、心臓８４の全体的な定量化が可能となる。

【0072】

この記載の導入部ですでに述べたように、前記の全体セグメンテーションモデル９２は、Ｒａｊｐｏｏｔ，Ｋ．により提案された手法とは異なり、融合画像に適合されないことに留意するのは重要である。ステップ２０６の全体セグメンテーションの間、異なる医療用画像７２、７４’は、融合されることなく別々に記憶ユニット６２に記憶されている。全ての画像７２、７４’からの検出された画像ポイント８０、８２に合致するように、全体メッシュモデル９２のみを変形させる。これによって、心臓８４全体の極めてロバストで高精度のセグメンテーションが行われる。

【0073】

しかしながら、必要な場合には、任意選択的なステップで第１の医療用画像７２及び第２の変換済み医療用画像７４’を融合させてもよい。図１０に、そのような例示的な融合画像９４を示す。この融合画像９４は、視覚化の目的のためにアドオンとして提供することができる。しかしながら、融合画像９４は実際には、ステップ２０６から得られる全体セグメンテーションメッシュモデル９２に関連付けられていない。

【0074】

本発明について図面及び前述の説明において詳しく図示し記述したが、そのような図示及び記述は限定でなく、説明又は例示と見なされる。本発明は、開示される実施形態に限定されない。図面、本開示、及び添付の特許請求の範囲を精査することにより、当業者は、特許請求される本発明を実施する際に、開示される実施形態の他の変形を理解し実行することができる。

【0075】

特許請求の範囲において、「備える（ｃｏｍｐｒｉｓｉｎｇ）」という言葉は他の要素又はステップを除外せず、不定冠詞「ａ」又は「ａｎ」は複数を除外しない。単一の要素又は他のユニットが、特許請求の範囲に列挙されるいくつかのアイテムの機能を遂行し得る。相互に異なる従属クレームにいくつかの測度（ｍｅａｓｕｒｅｓ）が記載されているという単なる事実は、これらの測度の組み合わせを有利に使用できないことを示すものではない。

【0076】

コンピュータプログラムは、他のハードウェアと共に又は他のハードウェアの一部として供給される光記憶媒体及び／又は固体媒体のような適切な媒体上に記憶／配布することができるが、インターネット又は他の有線もしくは無線電気通信システムを介して等、他の形態で配布することも可能である。

【0077】

特許請求の範囲における参照符号は範囲を限定するものと解釈されない。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7A】

【図7B】

【図8A】

【図8B】

【図9】

【図10】