特許 7356330 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-26

(45)【発行日】2023-10-04

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230927BHJP

   A61B 8/08 20060101ALI20230927BHJP

【ＦＩ】

G06T7/00 250

A61B8/08

G06T7/00 612

G06T7/00 350B

【請求項の数】 19

(21)【出願番号】P 2019213082

(22)【出願日】2019-11-26

(65)【公開番号】P2021086260

(43)【公開日】2021-06-03

【審査請求日】2022-10-11

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】中込 啓太

(72)【発明者】

【氏名】石川 亮

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０１１－１３８３８８（ＪＰ，Ａ）

【文献】東浦圭佑, 外9名，“正常部分空間の直交補空間を用いた臓器形状の疾患部分空間に基づく正常・疾患の識別”，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2012年05月10日，第112巻, 第37号，p.51-56

【文献】折居英章, 外3名，“エッジ特徴に基づくクラスター固有空間を用いた画像拡大法”，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，2010年02月25日，第109巻, 第447号，p.141-144

【文献】天野敏之, 外1名，“固有空間法を用いたＢＰＬＰによる画像補間”，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，2002年03月01日，第J85-D-II巻, 第3号，p.457-465

【文献】和迩秀信，“核医学における情報処理”，情報処理，日本，社団法人情報処理学会，1989年03月15日，第30巻, 第3号，p.232-237

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ａ６１Ｂ ８／０８

(57)【特許請求の範囲】

【請求項1】

画像から注目領域の形状に関する情報である形状情報を推定する画像処理装置であって、
処理対象となる第１の画像を取得する画像取得手段と、
複数のサンプルデータから構成される学習データであって、前記サンプルデータが学習用の画像の画素値情報と注目領域の形状情報とを含んで構成されている学習データを用いて生成された、前記複数のサンプルデータの分布を表す部分空間の情報を取得する部分空間情報取得手段と、
前記部分空間の情報を用いた行列演算によって、前記第１の画像の画素値情報から前記第１の画像中の注目領域の形状情報を推定する推定手段と、
を有することを特徴とする画像処理装置。

【請求項2】

前記部分空間の情報は、前記学習データに対し統計解析を行うことにより得られた情報である
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記統計解析は、主成分分析であり、
前記部分空間の情報は、主成分分析により得られた平均ベクトルと複数の固有ベクトルの情報を含む
ことを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記推定手段は、前記第１の画像の画素値情報を既知の情報、前記第１の画像中の注目領域の形状情報を未知の情報として設定し、Ｂａｃｋ ｐｒｏｊｅｃｔｉｏｎ ｆｏｒ ｌｏｓｔ ｐｉｘｅｌｓ法を用いて、前記第１の画像の画素値情報と前記部分空間を表す行列とから前記第１の画像中の注目領域の形状情報を推定する
ことを特徴とする請求項１～３のうちいずれか１項に記載の画像処理装置。

【請求項5】

前記推定手段は、既知の情報である前記第１の画像の画素値情報に対応する要素と、未知の情報である前記第１の画像中の注目領域の形状情報に対応する要素と、を含んで構成されるベクトルｆを、
ｆ＝Ｅ（Ｅ^ＴΣＥ）^－１Ｅ^Ｔｆ′
ｆ′：ベクトルｆの要素のうち未知の情報である形状情報に対応する要素を０にしたベクトル
Ｅ：部分空間を表す行列
Σ：単位行列のうち形状情報に対応する要素を０にした行列
により求める
ことを特徴とする請求項１～３のうちいずれか１項に記載の画像処理装置。

【請求項6】

前記部分空間情報取得手段は、予め生成された部分空間の情報を記憶する記憶装置から、前記推定手段による推定処理に用いる前記部分空間の情報を取得する
ことを特徴とする請求項１～５のうちいずれか１項に記載の画像処理装置。

【請求項7】

前記部分空間情報取得手段は、Ｅ（Ｅ^ＴΣＥ）^－１Ｅ^Ｔの算出結果又はＥ（Ｅ^ＴΣＥ）^－１Ｅ^Ｔのうちの一部の算出結果を部分空間の情報として記憶する記憶装置から、前記推定手段による推定処理に用いる前記部分空間の情報を取得する
ことを特徴とする請求項５に記載の画像処理装置。

【請求項8】

前記第１の画像は、異なる時相の複数の画像の組で構成された画像である
ことを特徴とする請求項１～７のうちいずれか１項に記載の画像処理装置。

【請求項9】

前記推定手段は、前記異なる時相の複数の画像の画素値情報を連結したデータを前記第１の画像の画素値情報として用い、前記異なる時相の複数の画像夫々に対応する形状情報を連結したデータを前記第１の画像に対応する形状情報として用いる
ことを特徴とする請求項８に記載の画像処理装置。

【請求項10】

前記第１の画像は、心臓の画像であり、
前記注目領域は、心房又は心室である
ことを特徴とする請求項１～９のうちいずれか１項に記載の画像処理装置。

【請求項11】

前記第１の画像は、心臓の拡張期の画像と収縮期の画像の組で構成された画像である
ことを特徴とする請求項１０に記載の画像処理装置。

【請求項12】

前記画素値情報は、画像の画素値を並べたデータである
ことを特徴とする請求項１～１１のうちいずれか１項に記載の画像処理装置。

【請求項13】

前記画素値情報は、学習用の複数の画像を主成分分析して得られた部分空間に対し、画像を投影することにより得られる、当該画像の主成分得点を並べたデータである
ことを特徴とする請求項１～１１のうちいずれか１項に記載の画像処理装置。

【請求項14】

前記部分空間情報取得手段は、前記学習データのうちの異なるデータセットを用いて生成された２つ以上の部分空間の情報を取得するものであり、
前記画像処理装置は、前記第１の画像の画素値情報に基づいて、前記２つ以上の部分空間の情報から第１の部分空間の情報を選択する部分空間情報選択手段をさらに有し、
前記推定手段は、前記第１の部分空間の情報を用いて前記第１の画像中の注目領域の形状情報を推定する
ことを特徴とする請求項１～１３のうちいずれか１項に記載の画像処理装置。

【請求項15】

前記部分空間情報選択手段は、前記第１の画像の画素値情報と、各データセットに含まれるサンプルデータの画素値情報との類似性に基づいて、前記第１の画像と類似するサンプルデータが含まれるデータセットを特定し、前記特定されたデータセットから生成された部分空間の情報を前記第１の部分空間の情報として選択する
ことを特徴とする請求項１４に記載の画像処理装置。

【請求項16】

前記部分空間情報選択手段は、前記第１の画像の画素値情報を各データセットの画素値情報に関する部分空間へ投影・逆投影したときの再構築誤差に基づいて、前記第１の画像と各データセットとの類似性を評価する
ことを特徴とする請求項１５に記載の画像処理装置。

【請求項17】

前記形状情報は、前記注目領域の輪郭情報である
ことを特徴とする請求項１～１６のうちいずれか１項に記載の画像処理装置。

【請求項18】

画像から注目領域の形状に関する情報である形状情報を推定する画像処理方法であって、
処理対象となる第１の画像を取得するステップと、
複数のサンプルデータから構成される学習データであって、前記サンプルデータが学習用の画像の画素値情報と注目領域の形状情報とを含んで構成されている学習データを用いて生成された、前記複数のサンプルデータの分布を表す部分空間の情報を取得するステップと、
前記部分空間の情報を用いた行列演算によって、前記第１の画像の画素値情報から前記
第１の画像中の注目領域の形状情報を推定するステップと、
を有することを特徴とする画像処理方法。

【請求項19】

コンピュータを、請求項１～１７のうちいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

【背景技術】

【0002】

医用の分野では、超音波画像診断装置などの種々の画像撮像装置（モダリティ）によって取得される画像を用いた診断が行われている。この診断の中では、画像に写る注目領域の面積、体積、寸法などの情報を診断に利用することが行われているが、領域の面積などを算出するためには、画像から当該領域の輪郭を抽出する（輪郭形状を表す情報である輪郭情報を推定する）必要がある。しかし、この領域抽出の作業を人手で行う場合、当該作業者に多大な労力を強いることが課題となっている。このことから、作業者の労力を軽減するために、画像からの自動または半自動の領域抽出技術に関して、かねてより様々な技術が提案されている。

【0003】

一例では、次の先行技術のように、画像と、該画像に写る注目領域の正解の輪郭情報を多数の症例について収集したものを学習データとして利用する方法がある。この技術では、学習データに対して統計解析を行った結果に基づいて、未知の入力画像に写る注目領域の輪郭情報を推定する（すなわち、輪郭を抽出する）ことが行われている。非特許文献１には、学習データの画像の画素値の情報と、該画像に写る注目領域の輪郭を表す点群の座標値の情報に基づいて、Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌと呼ばれる統計モデルを構築する技術が開示されている。さらに、未知の入力画像の画素値情報と、前記統計モデルにおける画像の画素値情報との類似性を表す評価値を利用して、勾配法による反復処理を用いて前記入力画像に写る注目領域の輪郭情報を推定する技術も併せて開示されている。

【先行技術文献】

【非特許文献】

【0004】

【文献】Ｅｌｃｏ Ｏｏｓｔ，ｅｔ．ａｌ．”Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌｓ ｉｎ Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ” Ｍｅｄｉｃａｌ Ｉｍａｇｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ．ｖｏｌ．２７．Ｎｏ３．２００９ Ｍａｙ．

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、非特許文献１に記載の技術では、注目領域に関する輪郭情報を推定する際に反復処理が使われているため、処理に関わる計算コストが高くなってしまうという課題がある。

【0006】

本発明は上記課題に鑑みてなされたものであり、医用画像から注目領域の形状に関する情報を、より低い計算コストで抽出することができる技術を提供することを目的とする。

【0007】

なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本明細書の開示の他の目的の１つとして位置付けることができる。

【課題を解決するための手段】

【0008】

本発明の第一態様は、画像から注目領域の形状に関する情報である形状情報を推定する画像処理装置であって、処理対象となる第１の画像を取得する画像取得手段と、複数のサ
ンプルデータから構成される学習データであって、前記サンプルデータが学習用の画像の画素値情報と注目領域の形状情報とを含んで構成されている学習データを用いて生成された、前記複数のサンプルデータの分布を表す部分空間の情報を取得する部分空間情報取得手段と、前記部分空間の情報を用いた行列演算によって、前記第１の画像の画素値情報から前記第１の画像中の注目領域の形状情報を推定する推定手段と、を有することを特徴とする画像処理装置を提供する。

【0009】

本発明の第二態様は、画像から注目領域の形状に関する情報である形状情報を推定する画像処理方法であって、処理対象となる第１の画像を取得するステップと、複数のサンプルデータから構成される学習データであって、前記サンプルデータが学習用の画像の画素値情報と注目領域の形状情報とを含んで構成されている学習データを用いて生成された、前記複数のサンプルデータの分布を表す部分空間の情報を取得するステップと、前記部分空間の情報を用いた行列演算によって、前記第１の画像の画素値情報から前記第１の画像中の注目領域の形状情報を推定するステップと、を有することを特徴とする画像処理方法を提供する。

【0010】

本発明の第三態様は、コンピュータを、上記第一態様に係る画像処理装置の各手段として機能させるためのプログラム、もしくは、コンピュータに、上記第二態様に係る画像処理方法の各ステップを実行させるためのプログラム、又は、かかるプログラムを非一時的に記憶したコンピュータ読取可能な記憶媒体を提供する。

【発明の効果】

【0011】

本発明によれば、医用画像から注目領域の形状に関する情報を、より低い計算コストで抽出することができる。

【図面の簡単な説明】

【0012】

【図1】第１の実施形態に係る画像処理装置の機能の構成を示す図。

【図2】第１の実施形態に係る画像処理装置の処理手順の例を示すフローチャート。

【図3】心臓の超音波画像の例を示す図。

【図4】心臓の超音波画像における注目領域の輪郭を表す点群の例を示す図。

【図5】第２の実施形態に係る画像処理装置の機能の構成を示す図。

【図6】第２の実施形態に係る画像処理装置の処理手順の例を示すフローチャート。

【発明を実施するための形態】

【0013】

以下、図面を参照して、本発明の実施形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。

【0014】

本発明の実施形態に係る画像処理装置は、入力画像から注目領域（ＲＯＩ：Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ）の形状に関する情報を推定する機能を提供する。処理対象となる入力画像は、医用画像、すなわち、医学的な診断、検査、研究などの目的で撮影ないし生成された被検体（人体など）の画像であり、典型的には、モダリティと呼ばれる撮像システムによって取得された画像である。例えば、超音波診断装置によって得られる超音波画像、Ｘ線ＣＴ装置によって得られるＸ線ＣＴ画像、ＭＲＩ装置によって得られるＭＲＩ画像などが処理対象になり得る。入力画像は、２次元画像でも３次元画像でもよく、また、１つの時相の画像でも複数の時相の画像でもよい。注目領域は、画像の中の一部の領域であり、例えば、解剖学的構造（臓器、血管、骨など）や病変などである。何を注目領域に選ぶかは任意に設定することができる。注目領域の形状に関する情報（本明細書において、「形状情報」とも称す）とは、画像における注目領域の空間的な（あるいは幾何
学的な）特徴を表す情報である。例えば、注目領域の輪郭情報（輪郭形状を表す情報）、注目領域上の特徴点の位置や特徴点同士の相対位置（間隔など）、注目領域の長さ・面積・体積、注目領域のかたち（円形、楕円形、三角形など）などを例示できる。なお、画像から直接得られる一次情報だけでなく、一次情報を用いて生成される二次情報（例えば、特徴点の位置の差、２つの時相の間での面積比など）も、形状情報に含まれる。

【0015】

本発明の実施形態に係る画像処理装置は、行列演算によって、入力画像の画素値情報から注目領域の形状情報を直接的に推定（算出）する点に特徴の一つを有する。この方法は、勾配法のような反復処理が不要であるため、従来法に比べて計算コストを大幅に下げることができる。推定処理に利用する行列（本明細書において、「推定行列」とも称す）は、学習データを用いた機械学習により生成された行列であるとよい。学習データとしては、各サンプルデータが学習用の画像の画素値情報とその学習用の画像中の注目領域の形状情報（正解データ）とを含んで構成されているデータを用いるとよい。例えば、学習データに対し統計解析を行うことにより学習データを構成するサンプルデータ群の分布を表す部分空間を求め（この操作が機械学習に相当する）、その部分空間を表す行列を推定行列として用いてもよい。なお、画像処理装置は、入力画像に対して推定処理を行う毎に推定行列の生成を行ってもよいが、予め生成され記憶装置に記憶されている推定行列を読み込んで推定処理に利用してもよい。後者の方法の方が、計算コストをより低減することができる。

【0016】

以下では、２次元超音波画像から心臓の左心房の領域抽出を行うケースを例に挙げて、本発明の実施形態に係る画像処理装置の具体例を詳しく説明する。

【0017】

＜第１の実施形態＞
第１の実施形態に係る画像処理装置は、入力画像から注目領域である左心房の輪郭情報を自動的に抽出する機能を有している。ここで、本装置は、学習データから構築した部分空間（統計モデル）に基づいて、Ｂａｃｋ ｐｒｏｊｅｃｔｉｏｎ ｆｏｒ ｌｏｓｔ ｐｉｘｅｌｓ（ＢＰＬＰ）法を用いて注目領域の輪郭情報を推定する。この方法によれば、精度の高い輪郭抽出結果を、勾配法などの従来方法よりも低い計算コストでユーザに提供できる。

【0018】

以下、図１を用いて本実施形態の画像処理装置の構成及び処理を説明する。図１は、本実施形態の画像処理装置を含む画像処理システム（医用画像処理システムともいう）の構成例を示すブロック図である。画像処理システムは、画像処理装置１０及びデータベース２２を備える。画像処理装置１０は、ネットワーク２１を介してデータベース２２に通信可能に接続されている。ネットワーク２１は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。

【0019】

データベース２２は、複数の画像を保持し、管理する。データベース２２で管理される画像は、注目領域の輪郭情報が未知の画像と、注目領域の輪郭情報が既知の画像とを含む。前者の画像は画像処理装置１０による輪郭抽出処理に供される。後者の画像は、輪郭情報（正解データ）が関連付けられており、学習データとして利用される。なお、これらの画像は、画像の大きさや画像中に写る注目領域について、空間的にある程度の正規化がされたものであることが望ましい。空間的な正規化とは、画像中の大きさ（１画素当たりの寸法）及び位置をある基準に揃える操作である。データベース２２で管理される情報には、輪郭抽出処理で用いる部分空間の情報（例えば推定行列の情報など）が含まれてもよい。部分空間の情報は、データベース２２の代わりに、画像処理装置１０の内部記憶（ＲＯＭ３２又は記憶部３４）に記憶されていてもよい。画像処理装置１０は、ネットワーク２１を介してデータベース２２で保持されているデータを取得することが可能である。

【0020】

画像処理装置１０は、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）３１（通信部）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３、記憶部３４、操作部３５、表示部３６、及び制御部３７を備える。

【0021】

通信ＩＦ３１（通信部）は、ＬＡＮカードなどにより構成され、外部装置（例えば、データベース２２など）と画像処理装置１０との通信を実現する。ＲＯＭ３２は、不揮発性のメモリなどにより構成され、各種プログラムや各種データを記憶する。ＲＡＭ３３は、揮発性のメモリなどにより構成され、実行中のプログラムやデータを一時的に記憶するワークメモリとして用いられる。記憶部３４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などにより構成され、各種プログラムや各種データを記憶する。操作部３５は、キーボードやマウス、タッチパネルなどにより構成され、ユーザ（例えば、医師や検査技師）からの指示を各種装置に入力する。

【0022】

表示部３６は、ディスプレイなどにより構成され、各種情報をユーザに表示する。制御部３７は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などにより構成され、画像処理装置１０における処理を統括制御する。制御部３７は、その機能的な構成として、画像取得部５１、部分空間情報取得部５２、輪郭情報推定部５３、及び表示処理部５４を備える。制御部３７は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などを備えてもよい。

【0023】

画像取得部５１は、処理対象となる第１の画像（輪郭情報が未知の画像）をデータベース２２から取得する。すなわち、画像取得部５１は、第１の画像を取得する画像取得手段の一例に相当する。第１の画像は、各種モダリティにより取得された被検体の画像である。画像取得部５１は、第１の画像をモダリティから直接取得してもよい。この場合、画像処理装置１０はモダリティ（撮像システム）のコンソールの中に実装されていてもよい。本実施形態では、第１の画像が２次元の超音波画像である例を説明するが、他の種類の画像であってもよい。本実施形態の方法は、２次元以上の画像（複数の２次元画像、２次元の動画像、３次元の静止画像、複数の３次元画像、あるいは、３次元の動画像など）であっても適用可能である。また、モダリティの種類に依らず適用可能である。

【0024】

部分空間情報取得部５２は、学習データをデータベース２２から取得し、この学習データに対し統計解析を行う。学習データを構成するサンプルデータの各々は、学習用の画像の画素値情報とその学習用の画像中の注目領域の形状情報とを含んだ構成のデータである（詳しくは後述する）。そして、部分空間情報取得部５２は、統計解析の結果から、サンプルデータ群の分布を表す部分空間の情報（例えば、部分空間を構成する基底の情報）を取得する。すなわち、部分空間情報取得部５２は、サンプルデータが学習用の画像の画素値情報と注目領域の形状情報とを含んで構成されている学習データを用いて生成された、複数のサンプルデータの分布を表す部分空間の情報を取得する部分空間情報取得手段の一例である。

【0025】

輪郭情報推定部５３は、部分空間情報取得部５２で取得した部分空間情報を用いた行列演算によって、画像取得部５１で取得した第１の画像から第１の画像中の左心房の輪郭情報を推定する。すなわち、輪郭情報推定部５３は、部分空間の情報を用いた行列演算によって、第１の画像の画素値情報から第１の画像中の注目領域の形状情報を推定する推定手段の一例である。なお本実施形態では、第１の画像の画素値情報を既知の情報、第１の画像中の注目領域の形状情報を未知の情報として設定し、ＢＰＬＰ法を用いて、第１の画像の画素値情報と推定行列とから輪郭情報を推定する。

【0026】

表示処理部５４は、輪郭情報推定部５３により算出した結果に基づいて、第１の画像と
推定した注目領域の輪郭情報を容易に視認できるような表示形態で、表示部３６の画像表示領域内に表示させる。

【0027】

上記の画像処理装置１０の各構成要素は、コンピュータプログラムに従って機能する。例えば、制御部３７（ＣＰＵ）がＲＡＭ３３をワーク領域としてＲＯＭ３２又は記憶部３４などに記憶されたコンピュータプログラムを読み込み、実行することで、各構成要素の機能が実現される。なお、画像処理装置１０の構成要素の一部又は全ての機能が専用の回路を用いることで実現されてもよい。また、制御部３７の構成要素の一部の機能が、クラウドコンピュータを用いることで実現されてもよい。例えば、画像処理装置１０とは異なる場所にある演算装置がネットワーク２１を介して画像処理装置１０に通信可能に接続され、画像処理装置１０と演算装置がデータの送受信を行うことで、画像処理装置１０又は制御部３７の構成要素の機能が実現されてもよい。

【0028】

次に、図２を用いて、図１の画像処理装置１０の処理の例について説明する。図２は、画像処理装置１０の処理手順の例を示すフローチャートである。本実施形態では、心臓の左心房領域を注目領域とした場合の例を説明する。ただし、本実施形態は左心室、右心室、右心房を含むその他の部位や、それら複数の領域を組み合わせた領域を注目領域とする場合にも適用可能である。

【0029】

（ステップＳ１０１：画像の取得・表示）
ステップＳ１０１において、ユーザが操作部３５を介して画像の取得を指示すると、画像取得部５１は、ユーザが指定した第１の画像をデータベース２２から取得し、ＲＡＭ３３に格納する。またこのとき、表示処理部５４は、第１の画像を表示部３６の画像表示領域内に表示させてもよい。ここで、第１の画像の例を図３に示す。図３は、第１の画像が心臓の超音波画像における心尖部四腔像である例を示している。なお、以下の説明では、第１の画像を構成するｘ方向の画素数はＮｘ、ｙ方向の画素数はＮｙであるものとする。すなわち、第１の画像を構成する全画素数はＮｘ×Ｎｙである。

【0030】

（ステップＳ１０２：部分空間情報の取得）
ステップＳ１０２において、部分空間情報取得部５２は、第１の画像とは異なる複数の画像に関して、画像の画素値情報（例えば画像データ）と、該画像における注目領域の正解の輪郭情報を、データベース２２から取得する。すなわち、部分空間情報取得部５２は、部分空間の情報を算出するために用いる学習データを取得する。なお、学習データとして用いる複数の画像は、統計モデルのロバスト性を高めるために、異なる患者を撮影した画像で構成することが望ましい。ただし、同一患者を異なる時期に撮影した画像が含まれていても構わない。あるいは、画像の変形・加工などにより、データオーグメンテーション（学習データの水増し）を行ってもよい。

【0031】

続いて、部分空間情報取得部５２は、データベース２２から取得した複数の画像の夫々について、画素値情報と注目領域の輪郭情報とを連結したデータを生成し、統計解析を行う。ここで、画像の画素値情報と、注目領域の輪郭情報について、図３乃至図４を用いて詳説する。

【0032】

図３に示すように、本実施形態で扱う画像は、Ｎｘ×Ｎｙ個の画素で構成される画像である。本実施形態における画像の画素値情報とは、画像のラスタスキャン順に各画素の画素値を並べた列ベクトルを指すものとする。すなわち、図３に示す画像の左上を原点（０，０）として、画素（ｘ，ｙ）の場所における画素値をＩ（ｘ，ｙ）で表すものとして、該画像の画素値情報ａを次のように定義する。

【数1】

【0033】

次に、図４に示すのは、注目領域が左心房領域である場合に、該領域の輪郭情報を９点の点群（ｐ１～ｐ９）で表す例である。本実施形態においては、これらの各点についても、画像の左上を原点（０，０）として、ｘ軸とｙ軸の座標値を使って（ｘ，ｙ）で表すものとする。点ｐ１を例に取ると、点ｐ１の座標は、（ｘ１，ｙ１）である。本実施形態における注目領域の輪郭情報とは、注目領域の輪郭上に配置された複数の特徴点のｘ座標値とｙ座標値を並べた列ベクトルを指すものとする。すなわち、図４に示す例においては、左心房を表す輪郭情報ｂを次のように定義する。なお、「形状情報」が注目領域上の特徴点の位置の場合にも、ｂ＝｛ｘ１，ｙ１｝のように、上記と同様に当該特徴点の座標値を並べた形式でｂを定義すればよい。また、「形状情報」が注目領域の長さ（ｌｅｎｇｔｈ）や面積（ａｒｅａ）、体積（ｖｏｌｕｍｅ）の場合には、夫々、ｂ＝ｌｅｎｇｔｈ、ｂ＝ａｒｅａ、ｂ＝ｖｏｌｕｍｅなどそれらの値に基づいてｂを定義すればよい。

【数2】

【0034】

画素値情報ａと輪郭情報ｂを取得した後、部分空間情報取得部５２は、これらの列ベクトルをさらに繋げて、２つの情報を連結した１つの列ベクトルを生成する。すなわち、部分空間情報取得部５２は、画素値情報ａに対応する要素と注目領域の輪郭情報ｂ（形状情報）に対応する要素とを含んで構成される列ベクトルを生成する。図３乃至図４に示す例においては、次のようなデータｃが生成される。

【数3】

【0035】

ここで、画像の画素値情報と、注目領域の輪郭情報とでは、分散の大きさが異なるため、少なくとも一方のデータに対して重み付けを行ってもよい。このとき、学習データの画素値情報と輪郭情報の夫々の全分散の大きさに応じて、全分散が同等、あるいは既定のバランスになるように重み付けしてもよい。あるいは、操作部３５を介してユーザが設定する重みを用いてデータの重み付けを行ってもよい。

【0036】

部分空間情報取得部５２は、取得した複数の画像（複数の学習サンプルデータ）の夫々について、上記の流れで画素値情報と輪郭情報を連結したデータｃを生成する。そして、部分空間情報取得部５２は、それらのデータ群に対し統計解析を行い、部分空間を求める。統計解析には、主成分分析（ＰＣＡ、Ｐｒｉｎｃｉｐｌｅ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）などの既知の手法を用いればよく、Ｋｅｒｎｅｌ ＰＣＡや、Ｗｅｉｇｈｔｅｄ ＰＣＡなどの手法を用いても構わない。主成分分析を行うことで、画素値情報と輪郭情報を統合したデータｃに関する平均ベクトルと、固有ベクトル、さらに各固有ベクトルに対応する固有値が計算できる。すなわち、画素値情報と輪郭情報を連結したデータｃの平均ベクトル（ｃバー）と、固有ベクトルｅ、さらに、各固有ベクトルｅに対する係数ｇを用いることで、下式により、部分空間上の点ｄを表現できる。この点ｄが１つの学習サンプルデータを表す。係数ｇは主成分得点（主成分スコア）である。

【数4】

【0037】

ここで、Ｌは計算に用いる固有ベクトルの本数を表しており、その具体的な値は、固有値から計算できる累積寄与率に基づいて決定すればよい。例えば、累積寄与率９５％を閾値として予め設定しておき、累積寄与率が９５％以上となる固有ベクトルの本数を計算し、Ｌとして設定すればよい。あるいはユーザが設定した固有ベクトルの本数をＬとして設定してもよい。

【0038】

部分空間情報取得部５２は、ステップＳ１０２の最後の処理として、統計解析の結果から、学習データの部分空間情報を取得して、ＲＡＭ３３に格納する。部分空間情報は、部分空間を定義する情報であり、例えば、部分空間を構成する複数の固有ベクトルと平均ベクトルの情報を含む。

【0039】

なお、本ステップにおける部分空間情報の算出処理は、第１の画像の輪郭抽出（輪郭推定）とは独立したデータ処理である。そのため、部分空間情報の算出処理を事前に実施し、算出された部分空間情報を記憶装置（例えば、データベース２２又は記憶部３４）に保存しておいてもよい。この場合、ステップＳ１０２において、部分空間情報取得部５２は、部分空間情報を記憶装置から読み込んでＲＡＭ３３に格納すればよい。予め部分空間情報を算出しておくことで、第１の画像における注目領域の推定処理を行う際の処理時間を短縮できる効果がある。なお、部分空間情報の算出処理は、画像処理装置１０とは異なる他の装置で行ってもよい。

【0040】

また、本実施形態では、画素値情報として、画像全体の画素値をラスタスキャン順に並べたデータを用いる例を示したが、画素値に関するその他の特徴量（画像のテクスチャに関する特徴量など）を画素値情報として利用してもよい。さらに、画像の一部を表す部分画像の画素値を並べたデータを画素値情報として用いてもよく、画像の注目領域の輪郭の周辺の画素値のみを並べたデータを画素値情報として用いても構わない。

【0041】

あるいは、学習用の複数の画像を主成分分析して得られた部分空間に対し、画像を投影することにより得られる主成分得点を並べたデータを、当該画像の画素値情報として用いてもよい。例えば、学習用の複数の画像のそれぞれについて画素値情報ａを計算した後、画素値情報ａのデータ群について主成分分析を実施し、各画像の主成分得点のベクトルを当該画像の新たな画素値情報ａ′として、ａの代わりに用いてもよい。画像を構成する画素数よりも、学習データとして用いる複数の画像の総数が少ない場合には、画素値情報ａの次元数よりも画素値情報ａ′の次元数の方が小さくなる。そのため、画素値情報ａ′を用いることには、画素値情報と輪郭情報を連結したデータに対する統計解析の計算コストを削減できる効果がある。また、累積寄与率に対する閾値を設けて、主成分得点の次元数（すなわち、固有ベクトルの本数）を減らすことで、さらに計算コストを削減してもよい。

【0042】

他方、注目領域の輪郭情報としては、注目領域の輪郭を表す点群の座標値を用いたが、その他の値を用いてもよい。一例では、注目領域を表すレベルセット関数（例えば、注目領域の内側を負、外側を正とする輪郭からの符号付距離値）を画像の各画素について算出した結果をラスタスキャン順に並べた情報を輪郭情報として用いてもよい。あるいは、注目領域とそれ以外を区別して表すラベル画像やマスク画像を輪郭情報として用いてもよい。また、上述の画素値情報ａから画素値情報ａ′を算出した方法と同様に、輪郭情報ｂについても、主成分分析を利用して算出した値を新たな輪郭情報ｂ′として用いてもよい。すなわち、学習用の複数の画像に対応する輪郭情報ｂのみのデータ群に対して主成分分析を実施し、各画像の主成分得点のベクトルを新たな輪郭情報ｂ′として設定することで、計算コストのさらなる削減が可能となる。

【0043】

（ステップＳ１０３：注目領域の輪郭情報の推定）
ステップＳ１０３において、輪郭情報推定部５３は、ステップＳ１０１で取得した第１の画像と、ステップＳ１０２で取得した部分空間情報から、第１の画像中に写る注目領域の輪郭情報を推定する。より具体的には、輪郭情報推定部５３は、Ｂａｃｋ ｐｒｏｊｅｃｔｉｏｎ ｆｏｒ ｌｏｓｔ ｐｉｘｅｌｓ（ＢＰＬＰ）法に基づいて第１の画像中に写る左心房領域の輪郭情報を推定し、その結果をＲＡＭ３３に格納する。

【0044】

非特許文献１には、未知の入力画像の画素値情報と、部分空間情報（統計モデル）における画像の画素値情報との整合性を表す評価値を利用して、勾配法による反復処理に基づいて入力画像に写る注目領域の輪郭情報を推定する技術が開示されている。しかし、輪郭情報の推定を行う際に反復処理を使う場合、予め定義したエネルギー関数について、反復処理前後の変化が十分に小さくなるか、ある既定の回数に達するまで反復処理を繰り返す必要があるため、ある程度の計算コストが掛かってしまう。また、反復回数（処理が収束するタイミング）が入力データによって変わるため、全体の計算時間にバラつきが生じることで処理に掛かる計算時間を事前に把握しにくいという課題もある。

【0045】

本実施形態においては、注目領域の輪郭情報を推定する際に、反復処理を使わない方法を適用することで、より計算コストの低い輪郭情報の推定処理を実現する。

【0046】

ここで、未知の入力画像（超音波画像）が与えられた際に、所定の注目領域（左心房）を表す輪郭情報を推定する問題について整理する。先のステップＳ１０２で取得した部分空間情報は、超音波画像の画素値情報と、当該画像に写る左心房の輪郭を表す点群の情報を関連付けた部分空間に関する情報である。そして、未知の入力画像を扱う場合には、超音波画像が与えられるため、該画像に対応する画素値情報ａに関しては、ステップＳ１０２と同様の手順で計算できる。つまり、本ステップの命題は、学習データから算出した部分空間情報と、入力画像に関する画素値情報ａとに基づいて、該入力画像に対応する輪郭情報ｂを推定することである。

【0047】

下記非特許文献２には、複数の画像の画素値の情報と、該画像に写る物体の姿勢を表す情報を連結したデータに関する部分空間情報とを利用して、未知の画像の画素値の情報から該画像に写る物体の姿勢を表す情報を推定する技術が開示されている。換言すると、この技術は、ある欠損が生じているデータについて、欠損のない学習データを統計解析した結果から、該欠損部分のデータを補間する技術である。この技術はＢＰＬＰ法と呼ばれている。

【0048】

［非特許文献２］ Ｔｏｓｈｉｙｕｋｉ Ａｍａｎｏ，ｅｔ．ａｌ．”Ａｎ ａｐｐｅａｒａｎｃｅ ｂａｓｅｄ ｆａｓｔ ｌｉｎｅａｒ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ” ＭＶＡ ２００９ ＩＡＰＲ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ．２００９ Ｍａｙ ２０－２２．

【0049】

ＢＰＬＰ法を適用するためには、入力データについて、どの部分が既知の情報であり、どの部分が未知の情報（欠損部分）であるかを推定時に特定しておく必要がある。本実施形態においては、入力画像である第１の画像の画素値情報を既知の情報として設定し、第１の画像中の注目領域の輪郭情報を未知の情報として設定する。すなわち、非特許文献２における画像の画素値の情報の部分を画素値情報ａ、物体の姿勢を表す情報の部分を輪郭情報ｂ、とするように問題設定を置き換えて、次に示す方法に基づいて本ステップの命題を解く。

【0050】

輪郭情報推定部５３は、既知の情報である第１の画像の画素値情報ａに対応する要素と、未知の情報である第１の画像中の注目領域の輪郭情報ｂに対応する要素と、を含んで構
成されるベクトルｆを、以下の式により求める。以下の式に基づく演算は、繰り返し演算を含まないため、従来の勾配法に比べて計算コストの低い輪郭情報の推定処理が実現できる。また、この演算に関する計算時間のバラつきの観点で影響を与える要因は、入力の画素値情報と、推定対象の輪郭情報の次元数であることから、入力画像の大きさが決まれば、処理時間のバラつきは小さくなることが期待できる。

【数5】

【0051】

ここで、右辺のｆ′は、ある欠損が生じている入力データを表しており、本実施形態においては、式（３）に示すように、ベクトルｆの要素のうち未知の情報である輪郭情報に対応する要素を０としたベクトルである。

【数6】

【0052】

Ｅは、ステップＳ１０２で取得した部分空間情報により定義される部分空間を表す行列である。Ｌ個の固有ベクトルをｅ１、ｅ２、・・・、ｅＬとしたときに、例えば、行列Ｅは、Ｅ＝［ｅ１，ｅ２，・・・，ｅＬ］で与えられる。Σは、既知の情報である画素値情報に対応する対角要素を１とし、それ以外の要素を０とした正方行列である。言い換えると、Σは、単位行列のうち未知の情報である輪郭情報に対応する要素を０にした行列である。本実施形態においては、Σは、一辺がＮｘ×Ｎｙ＋９×２（画素値情報ａの次元数＋輪郭情報ｂの次元数）の大きさの正方行列であり、最後の１８個の対角要素が０であり、それ以外の対角要素が１となる行列である。

【数7】

【0053】

なお、本実施形態においては、入力画像が任意の場合であっても、未知の情報として設定する部分は変わらない（常に輪郭情報ｂの部分になる）。そのため、ステップＳ１０２で部分空間情報を算出した時点で、Ｅ（Ｅ^ＴΣＥ）^－１Ｅ^Ｔ（推定処理で行われる演算の一部）の結果を事前に計算できる。したがって、予めＥ（Ｅ^ＴΣＥ）^－１Ｅ^Ｔの結果までを算出し、その算出結果を部分空間情報として記憶装置（例えば、データベース２２又は記憶部３４）に保存してもよい。そして、Ｅ（Ｅ^ＴΣＥ）^－１Ｅ^Ｔの結果が保存されている場合には、ステップＳ１０２の処理において、部分空間情報取得部５２は、部分空間情報として該算出結果を読み出すことで、推定処理のための計算に関わるコストを削減できる。なお、Ｅ（Ｅ^ＴΣＥ）^－１Ｅ^Ｔのうちの一部（例えば（Ｅ^ＴΣＥ）^－１の部分）の算出結果を部分空間情報として記憶装置（例えば、データベース２２又は記憶部３４）に保存しておき、残りの部分の演算は部分空間情報取得部５２又は輪郭情報推定部５３が行う構成でもよい。

【0054】

最後に、輪郭情報推定部５３は、推定結果ｆから輪郭情報に該当する部分の情報（本実施形態においては、最後の１８個の要素）を取り出して、ＲＡＭ３３に格納する。

【0055】

なお、ステップＳ１０２で画素値情報ａの代わりに画素値情報ａ′を用いた場合には、式（６）のＩ（０，０）～Ｉ（Ｎｘ，Ｎｙ）の部分を画素値情報ａ′の計算方法と同じ方法により計算した値に置き換える必要がある。より具体的には、画素値情報ａ′が学習用画像の画素値情報に関する主成分得点である場合は、入力画像と、学習データの画素値情報のみを用いて構築した部分空間の情報と、に基づいて、投影の処理をして入力画像の主
成分得点を算出すればよい。また、推定処理の対象として、輪郭情報ｂ′などの値に関する推定処理を行った場合には、推定結果の輪郭情報は輪郭線上のｘｙ座標にはなっていないので、推定した値から座標値への変換を行って、ＲＡＭ３３に格納すればよい。より具体的には、輪郭情報ｂ′が学習データの輪郭情報に関する主成分得点である場合は、該主成分得点と、学習データの輪郭情報のみを用いて構築した部分空間情報に基づいて、逆投影の処理をすればよい。

【0056】

なお、推定した注目領域の輪郭情報は、そのまま輪郭の推定結果として用いてもよいし、より精密な抽出処理に初期値として与えるための粗抽出結果として用いてもよい。後者の場合、輪郭情報推定部５３は、上記処理で得た輪郭情報を初期値として用いて、物体輪郭を精密に抽出する公知の手法を用いて、輪郭の精密抽出を行う。

【0057】

（ステップＳ１０４：輪郭情報推定結果に基づいて画像を表示）
ステップＳ１０４において、表示処理部５４は、入力画像である第１の画像と輪郭情報推定部５３により推定した注目領域の輪郭情報を画像表示領域内に表示させる。このとき、推定した輪郭情報と第１の画像を重畳して表示してもよい。重畳表示を行うことで、第１の画像に対して、推定した輪郭情報がどの程度合っているのかを容易に視認できる。本実施形態においては、注目領域の輪郭情報は、該領域の輪郭をサンプリングした離散的な点群であるため、スプライン補間などの既知の技術を用いて隣接点の間を補間した後に表示してもよい。

【0058】

なお、注目領域の解析や計測を目的とする場合には、ステップＳ１０４の処理は必ずしも必要でなく、推定した輪郭情報を保存するだけの構成であってもよい。

【0059】

また、上記の説明では、画像が２次元画像である場合を例に説明したが、画像が３次元画像（ボリューム画像）であっても、同様に処理を行うことができる。

【0060】

なお、本実施形態では、注目領域の輪郭情報として、左心房を表す点群の座標値を用いた例を示したが、左心房に加えて、左心室や右心室、右心房など、２つ以上の領域を表す点群の座標値を合わせたものを輪郭情報としてもよい。この場合は、ステップＳ１０２において、左心房領域を表す点群の座標値だけではなく、２つ以上の領域の全ての点群の座標値に関する統計解析を実施することで、ステップＳ１０３で２つ以上の領域の全ての点群の座標値を同時に推定できる。

【0061】

本実施形態によれば、学習データから構築した部分空間を表す行列Ｅを用いた行列演算によって注目領域の形状情報である輪郭情報を推定することで、精度の高い輪郭抽出結果を、より低い計算コストでユーザに提供できる効果がある。

【0062】

以上、本実施形態について説明したが、本発明はこれらに限定されるものではなく、請求項に記載された範囲内において変更・変形することが可能である。

【0063】

（変形例１）
第１の実施形態では、入力画像や学習データとして扱う画像が２次元の超音波画像である例を示したが、これらの画像は、２次元画像の経時的なデータを繋げた画像（３次元の時空間画像）であってもよい。すなわち、２次元の超音波画像の動画像（２フレーム以上の２次元超音波画像）を入力画像として扱ってもよい。このとき、時間的に連続する複数フレームの画像の組ではなく、特定のフレーム（時相）の画像の組を用いて、３次元の時空間画像を構成してもよい。

【0064】

心臓の超音波画像の動画像を例に取ると、拡張期（拡張末期：ＥＤ（Ｅｎｄ－Ｄｉａｓ
ｔｏｌｅ）期）のフレームの画像と収縮期（収縮末期：ＥＳ（Ｅｎｄ－Ｓｙｓｔｏｌｅ）期）のフレームの画像の２つの時相の画像で構成される３次元画像を用いるとよい。この場合には、拡張期と収縮期の２つのフレームの画像の画素値情報と、該画像の夫々に対応する輪郭情報とに基づいて、第１の実施形態の方法を実施すればよい。第１の実施形態と同様の処理を実施することで、未知の３次元画像の入力に対して、該３次元画像の全てのフレームに対応する輪郭情報を同時に推定できる。なお、心臓の拡張期や収縮期のフレームの特定は、公知のいかなる方法を用いてもよい。例えば、動画像からユーザが手動で特定してもよく、動画像に対応する心電図等の情報からフレームの特定を自動で行ってもよい。

【0065】

上述のように複数のフレームから３次元画像を構成する場合、第１の実施形態の方法を実施するためには、入力画像となる全フレームの画像の全ての画素値を並べたものを画素値情報に設定すればよい。すなわち、例えば拡張期（ｄｉ）と収縮期（ｓｙｓ）の画像で３次元画像を構成した場合、画素値情報ａを下記のようにすればよい。

【数8】

【0066】

ここで、Ｉ_ｄｉ（ｘ，ｙ）は拡張期の画像の画素値を表しており、Ｉ_ｓｙｓ（ｘ，ｙ）は収縮期の画像の画素値を表している。すなわち、入力画像が複数のフレーム（時相）の画像の組で構成された画像である場合には、全フレームの画像の画素値情報を連結したデータを入力画像の画素値情報として用いればよい。

【0067】

さらに、輪郭情報に関しても、全フレームの画像夫々に対応する注目領域の輪郭情報を表す点群の情報を連結したデータを入力画像に対応する注目領域の輪郭情報として用いることで、第１の実施形態の方法を実施できる。すなわち、輪郭情報ｂを下記のようにすればよい。ここでも、ｄｉの添え字があるものは拡張期の画像の注目領域の輪郭情報を表す点の座標であり、ｓｙｓの添え字があるものは収縮期の画像の注目領域の輪郭情報を表す点の座標である。

【数9】

【0068】

このとき、ステップＳ１０１において、画像取得部５１は、第１の画像として、処理対象とする拡張期と収縮期の画像対を取得する。また、ステップＳ１０２において、部分空間情報取得部５２は、第１の画像とは異なる複数の拡張期と収縮期の画像対に関して、第１の実施形態に記載の処理を行う。すなわち、該画像対の画素値情報ａ（式（８））と、該画像対における注目領域の正解の輪郭情報ｂ（式（９））を連結したデータｃの統計解析を行い、部分空間情報を取得する。そして、ステップＳ１０３において、輪郭情報推定部５３は、第１の画像中に写る注目領域の輪郭情報を推定する。このように、画素値情報と輪郭情報を設定した上で、第１の実施形態と同様の処理を実施することで、未知の３次元画像の入力に対して、該３次元画像の全てのフレームに対応する輪郭情報を同時に推定できる。

【0069】

なお、第１の実施形態で記載したように、画像の画素値情報のみのデータについて主成分分析を実施し、各画像に対応する主成分得点を計算し、該主成分得点を各画像の新たな画素値情報として用いてもよい。式（８）のように画素値情報を画素単位の値で構成すると、３次元画像のフレーム数が増えるほどデータの次元数が膨大になり、計算コストの増加を招く。そのため、次元数の少ない主成分得点を画素値情報に使うことで、計算コストの大幅な削減ができる。また、輪郭情報についても同様に、注目領域を表す点の座標値に
対する主成分分析を利用して算出した主成分得点を新たな輪郭情報として用いてもよい。

【0070】

このように、拡張期と収縮期などの２つ以上のフレームの画像を動画像から取り出して、３次元画像を構成し、それら２つ以上のフレームの画像の輪郭情報を同時に推定することには、次の２つのメリットがある。これらの効果は、拡張期と収縮期の画像の組み合わせの時だけに得られるものではなく、異なる時相の複数の画像の組み合わせを使うことで得られる効果である。

【0071】

まず１つ目のメリットは、注目領域の推定精度を安定させる効果である。すなわち、複数のフレームを使うことで推定処理のロバスト性が向上する。超音波診断画像の動画像では、各フレームの画質（コントラストやノイズの程度）にバラつきが生じてしまうことがしばしばある。すなわち、動画像中のあるフレームについては注目領域の輪郭がはっきりと描出されており視認性が高かったとしても、別のフレームでは輪郭の視認性が低い場合がある。したがって、動画像からある１つのフレームを取り出して領域推定処理を行う際には、画質の低いフレームが処理対象になってしまうことが起こりうるが、画質の低い画像に対して領域抽出処理を行うと、抽出精度が下がってしまう恐れがある。そのような場合に、画質の低い画像における領域抽出精度を高めるためには、該画像と相関のある画質の高い画像を利用する方法が考えられる。前提として、入力の３次元画像に画質の高いフレームが含まれていることが必要にはなるが、複数のフレームに基づいて領域抽出処理を行うことで、平均的な抽出精度の向上と、抽出精度のバラつきを小さくする効果が期待できる。すなわち、推定処理のロバスト性の向上が期待できる。

【0072】

２つ目のメリットは、異なるフレーム間における注目領域の位置や大きさの関係性を考慮した領域推定処理ができる点である。心臓の動きを捉えた画像を例に挙げると、拡張期の画像と収縮期の画像との間では、心房や心室の大きさやそれらの解剖学的構造が画像中に写る場所について、相関があることが想像できる。しかし、異なるフレームについて独立に注目領域の推定処理を行うと、フレーム間の関係性を考慮せずに処理を行うことになるため、推定結果の領域の大小関係など、フレーム間の関係性が失われてしまう可能性がある。例えば、本来であれば収縮期における注目領域よりも拡張期における注目領域の方が大きい面積を得るはずである場合も、拡張期の推定結果の方が小さくなるような結果を得る可能性がある。第１の実施形態を複数のフレームの画像を扱うように拡張することで、異なるフレーム間における注目領域の関係性を考慮した部分空間が得られるため、異なるフレーム間の推定結果について、フレーム間の本来の関係性を保つような出力結果が得られる。

【0073】

なお、本変形例においても、学習データから構築した部分空間を表す行列を用いた行列演算により注目領域の輪郭情報を推定するため、精度の高い輪郭抽出結果を、より低い計算コストでユーザに提供できる。また、３次元画像を構成する組み合わせは、単一の検査における異なるフレーム（時相）の組み合わせだけでなく、過去画像と現在画像の組み合わせでもよい。また、異なる時刻の組み合わせだけでなく、複数の断面方向の２次元画像（例えば、四腔像と二腔像や、長軸像と短軸像）の組み合わせでもよい。また、複数フレーム、複数方向の断面画像の組み合わせでもよい。

【0074】

（変形例２）
第１の実施形態、及び、変形例１では、入力画像の画素値情報を既知の情報として、入力画像に対応する注目領域の輪郭情報を未知の情報として設定し、ＢＰＬＰ法によって未知の情報を推定する例を示した。しかし、既知の情報と未知の情報は別の設定をしてもよい。

【0075】

例えば、第１の実施形態において、入力画像の画素値情報に加えて、注目領域の輪郭情
報の少なくとも一部が事前に分かっている場合には、該輪郭情報も既知の情報として設定し、それ以外の輪郭情報を未知の情報として設定してもよい。例えば、既知の特徴点抽出などの手法を用いて注目領域の弁輪位置を検出し、その位置を既知の情報として設定してもよい。また、操作部３５を介して、画像上の弁輪位置をユーザが手動で設定してもよい。例えば、輪郭情報ｂにおける点ｐ１が弁輪位置だとすると、（ｘ１，ｙ１）を既知の情報として与えることができる。すなわち、ステップＳ１０３において、輪郭情報推定部５３は、式（６）のｘ１，ｙ１に相当する要素に取得した弁輪位置の座標を与え、式（７）のｘ１，ｙ１に相当する対角要素の値を１に変更したうえで、式（５）により、ｐ２～ｐ９の座標の推定を行う。

【0076】

また、変形例１においては、３次元画像の画素値情報を既知の情報として、３次元画像の各フレームに対応する注目領域の輪郭情報を未知の情報として設定し、ＢＰＬＰ法によって未知の情報を推定する例を示した。この場合においても、あるフレームにおける注目領域の少なくとも一部の輪郭情報が既知の場合には、該輪郭情報を既知の情報として設定してもよい。例えば、拡張期と収縮期の画像で構成される３次元画像が入力の場合で、かつ、拡張期における輪郭情報が予め分かっている場合や、ユーザにより該輪郭情報が指定されている場合は、収縮期の輪郭情報のみを未知の情報として設定してもよい。このように既知の情報を増やすことで、推定処理の際に使用できる情報が増えるため、未知の情報の推定処理の精度を高められる。

【0077】

また別の例では、操作部３５を介してユーザにより入力された輪郭情報や、注目領域の輪郭情報の部分空間情報などを用いて生成した輪郭情報に基づいて、画像の画素値情報をＢＰＬＰ法によって推定するようにしてもよい。この場合は、輪郭情報を既知の情報として設定し、画像の画素値情報を未知の情報として設定すれば、第１の実施形態と同様の手順で推定処理が実施できる。

【0078】

本変形例においても、学習データから構築した部分空間を表す行列を用いた行列演算により未知の情報を推定するため、低い計算コストでユーザに推定結果を提供できる効果は保たれる。

【0079】

＜第２の実施形態＞
第２の実施形態に係る画像処理装置は、第１の実施形態と同様に、画像から注目領域の形状情報（例えば輪郭情報など）を自動的に推定する機能を有している。本実施形態の画像処理装置は、処理対象の第１の画像に応じて、学習データから構築した２つ以上の部分空間（統計モデル）のうちから適切な部分空間を選択し、選択した部分空間を用いて第１の画像の注目領域の形状情報を推定する。第１の実施形態と比較して、本実施形態は、形状情報の推定の前に、２つ以上の部分空間情報から推定に好適な部分空間情報を選択する機能を備えている点で異なる。本実施形態の方法によれば、第１の画像に応じて推定に用いる部分空間を適宜選択することで、より精度の高い推定結果をユーザに提供できる。

【0080】

以下、本実施形態に係る画像処理装置の構成及び処理について説明する。ここでは、第１の実施形態との相違部分を中心に説明し、第１の実施形態と同様の構成及び処理については説明を省略する。

【0081】

第２の実施形態に係る画像処理装置のハードウェア構成は、図５に示すように、第１の実施形態と同じでよい。但し、機能的な構成としては、制御部３７に部分空間情報選択部５５が追加されている。また、部分空間情報取得部５２にも新たな機能が追加されている。

【0082】

第２の実施形態において、部分空間情報取得部５２は、データベース２２から取得した
学習データを用いて２回以上の統計解析を行う。そして、部分空間情報取得部５２は、該統計解析の結果から、２つ以上の部分空間情報（例えば、部分空間を構成する基底の情報）を算出する。このとき、部分空間情報取得部５２は、学習データを２つ以上のデータセットに分け、異なるデータセットを用いて夫々の部分空間情報を生成する。すなわち、部分空間情報取得部５２は、学習データのうちの異なるデータセットを用いて生成された２つ以上の部分空間の情報を取得する部分空間情報取得手段の一例に相当する。

【0083】

部分空間情報選択部５５は、画像取得部５１で取得した第１の画像と、部分空間情報取得部５２で取得した２つ以上の部分空間情報に基づいて、第１の画像から注目領域の輪郭情報を推定するために適した第１の部分空間情報を選択する。すなわち、部分空間情報選択部５５は、第１の画像の画素値情報に基づいて、２つ以上の部分空間の情報から第１の部分空間の情報を選択する部分空間情報選択手段の一例に相当する。

【0084】

第２の実施形態においても、心臓の左心房領域を注目領域とした場合の例を説明する。ただし、第１の実施形態と同様に、左心室、右心室、右心房を含むその他の部位や、それら複数の領域を組み合わせた領域を注目領域とする場合にも同じ技術を適用可能である。

【0085】

次に、図６を用いて、図５の画像処理装置１０の処理の例について説明する。

【0086】

図６は、第２の実施形態に係る画像処理装置１０の処理手順の例を示すフローチャートである。このフローチャートで示したステップにおいて、ステップＳ１０１、及び、ステップＳ１０３～Ｓ１０４は、図２に示した第１の実施形態におけるステップＳ１０１、及び、ステップＳ１０３～Ｓ１０４と同様の処理を行う。すなわち、第１の実施形態と異なる処理は、ステップＳ２０１～Ｓ２０２である。以下、追加された処理と第１の実施形態との相違部分についてのみ説明する。

【0087】

（ステップＳ２０１：２つ以上の部分空間情報の取得）
ステップＳ２０１において、部分空間情報取得部５２は、図２のステップＳ１０２と同様に、複数の学習データをデータベース２２から取得する。

【0088】

続いて、部分空間情報取得部５２は、学習データとして取得した複数の画像の夫々について、画素値情報と、注目領域の輪郭情報と、を連結したデータを生成する。そして、部分空間情報取得部５２は、生成したデータ群を２つ以上のデータセットに分けた上で、各データセットに関して統計解析を行う。つまり、第２の実施形態においては、部分空間情報取得部５２は、基底が異なる２つ以上の部分空間情報を取得して、該情報をＲＡＭ３３に格納する。すなわち、第２の実施形態（ステップＳ２０１）が第１の実施形態（ステップＳ１０２）と異なる点は、学習データを構成する複数のサンプルデータを２つ以上の組（データセット）に分けて、夫々の組について部分空間情報を算出する点である。

【0089】

本実施形態においても、画素値を並べたベクトル（式（１）参照）を当該画像の画素値情報ａとして用いてもよいし、画素値情報ａのデータ群について主成分分析を行い、各画像の主成分得点のベクトルを当該画像の画素値情報ａ′として用いてもよい。また、輪郭上の点の座標値を並べたベクトル（式（２）参照）を当該画像の輪郭情報ｂとして用いてもよいし、輪郭情報ｂのデータ群について主成分分析を行い、各画像の主成分得点のベクトルを当該画像の輪郭情報ｂ′として用いてもよい。

【0090】

ここで、学習データを２つ以上のデータセットに組分けする方法の具体例を説明する。例えば、データベース２２から取得した画像と該画像における注目領域の輪郭情報に対して、予め設定した画像変形を施した上で、該画像変形毎に組分けを行ってもよい。すなわち、前記複数の画像に関する画像データと注目領域の輪郭を表す点群について、データオ
ーグメンテーション（学習データの水増し）を行って、２つ以上のデータセットを作成してもよい。より具体的には、平行移動や回転、拡大縮小などの複数通りの操作を行ったデータを生成して、該変形パラメータが同じ、または近いデータを同じ組にまとめることで、２つ以上のデータセットを作成してもよい。あるいは、画像に写る被検者の患者情報（例えば、身長や体重、または病歴）などに基づいて組分けしてもよい。あるいは、時相の違い（拡張期と収縮期）、断面方向の違い（四腔像と二腔像）、検査種別や撮影プロトコルの違い、モダリティの機種の違い、病院の違い、撮影者の違い等によって学習データの組分けを行ってもよい。また、これらの複数の条件を組み合わせて組分けを行ってもよい。また、これ以外にも、注目領域の形状や画質に影響を与えるいずれの分類を用いて組分けを行ってもよい。

【0091】

ここで、学習データを２つ以上の組に分けて、２つ以上の部分空間情報を生成し、それらの中から１つの部分空間を選択することの効果を述べる。第１の実施形態では、ステップＳ１０２において、画素値情報と輪郭情報を連結したデータについて主成分分析などの手法で統計解析を行っている。式（４）に示したように、主成分分析から得られる結果では、部分空間を平均ベクトルと固有ベクトルの線形和で表現する。ここで、画像の各画素における画素値を主成分分析することを考えると、前述の部分空間において、解析の学習データの周辺部では画像データとして尤もらしい画像（学習データに近い画像）が得られると考えられる。しかし、部分空間において学習データから離れた座標に関しては、部分空間から逆投影の操作によって元の画像空間に戻したときに、不自然な画像となってしまうことがある。これは、異なる画像の画素値の関係性が線形でないものについて、線形モデルを利用してモデル化しているために生じる課題である。そして、部分空間中にこのような点が存在すると、該部分空間を使って推定処理を行った際に、出力が不適切なものとなってしまう場合がある。

【0092】

一般に、統計解析対象の学習データとしては、注目領域の形状や、注目領域が画像中のどこに写っているのか、などのバリエーションは可能な限り多い方が望ましい。それは、このデータのバリエーションが増えるほどに、統計解析から得られる部分空間の表現力が上がるため、より多くの未知データに対応できるようになるからである。しかしながら、部分空間の表現力が上がるほど、該部分空間には、前述の不自然な画像が含まれるリスクが高まってしまうという課題がある。本実施形態では、上記課題に鑑みて、学習データの全てのサンプルデータを用いて１つの部分空間を生成するのではなく、比較的近いサンプルデータを集めた複数のデータセットに学習データを分けた上で、それらの各データセットについて部分空間を生成する方法を取る。すなわち、この方法によれば、データの分類方法に応じて、ある特徴を持つ学習サンプルデータ群に特化した部分空間が生成できる。学習データを複数のデータセットに分割することで、全体で１つの部分空間を生成する場合と比較すると、１つの組に関する部分空間の表現力は低下してしまうが、部分空間の中に不自然な画像が含まれるリスクを下げる効果が期待できる。本実施形態の方法では、未知の入力画像が与えられたときに、どの部分空間情報を用いて推定するのか、その部分空間情報の選択が重要になるため、次のステップＳ２０２において、推定処理のために適した部分空間情報を選択している。

【0093】

なお、本ステップの部分空間情報の算出処理は、第１の実施形態と同様に、ステップＳ１０１の前に統計解析に関わる算出処理を事前に実施して、算出された２つ以上の部分空間情報を記憶装置（例えば、データベース２２又は記憶部３４）に保存しておいてもよい。この場合、ステップＳ２０１において、部分空間情報取得部５２は、２つ以上の部分空間情報を記憶装置から読み込んでＲＡＭ３３に格納すればよい。予め部分空間情報を算出しておくことで、第１の画像における注目領域の推定処理を行う際の処理時間を短縮できる効果がある。なお、部分空間情報の算出処理は、画像処理装置１０とは異なる他の装置で行ってもよい。

【0094】

（ステップＳ２０２：部分空間情報の選択）
ステップＳ２０２において、部分空間情報選択部５５は、画像取得部５１で取得した第１の画像と、部分空間情報取得部５２で取得した２つ以上の部分空間情報とに基づいて、ある１つの部分空間情報を選択し、その結果をＲＡＭ３３に格納する。すなわち、第１の画像における注目領域の輪郭情報を推定するためにより適した部分空間情報（第１の部分空間の情報）として、第１の画像に基づいて、２つ以上の部分空間情報の中から１つの部分空間情報を選択する。

【0095】

２つ以上の部分空間情報から注目領域の輪郭情報を推定するために適した部分空間情報を選択する処理は、第１の画像の画素値情報と、夫々のデータセットに含まれるサンプルデータの画素値情報との類似性を用いることで実現できる。すなわち、部分空間情報選択部５５は、画像の画素値情報に基づいて、第１の画像と類似するサンプルデータが含まれるデータセットを特定し、該特定されたデータセットから生成された部分空間情報を選択すればよい。

【0096】

ここで、２つ以上のデータセットから第１の画像に最適な１つのデータセットを特定する具体的な方法としては、第１の画像と各サンプルの画像との間の差分を評価する方法が挙げられる。２つの画像の間の差分は、例えば、画素値の差分二乗和（ＳＳＤ：Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）で評価すればよい。例えば、差分二乗和が最も小さい値となるサンプルデータが第１の画像に最も類似するサンプルデータ（類似サンプルデータと呼ぶ）であると考えて、当該類似サンプルデータが含まれるデータセットを推定処理に最適なデータセットとして特定する。このように第１の画像に最も類似するサンプルデータを含むデータセットから生成された部分空間情報を使うことで、後段のステップＳ１０３における推定処理の精度の向上が期待できる。但し、この方法では、サンプルデータの総数が膨大である場合には、計算コストも膨大になってしまうことが課題となる。

【0097】

そこで、本実施形態では、部分空間情報選択部５５は、夫々のデータセットのサンプルデータの画素値情報について主成分分析を行った上で、該主成分分析の結果と、第１の画像の画素値情報を使って、部分空間法によって最適なデータセットを特定する。この方法によると、上記の特定処理の計算コストを低減することができる。

【0098】

部分空間法による処理を行う手順は次の通りである。まず初めに、２つ以上のデータセットの夫々について、画素値情報に関する主成分分析を行って、部分空間を生成する。続いて、全ての部分空間の夫々について、第１の画像の部分空間への投影・逆投影の処理を行って、再構築誤差を計算する。つまり、第１の画像の画素値情報を部分空間に投影した後、元の画像空間に逆投影した結果から得られる画像と、第１の画像との間で画素値の差分二乗和（すなわち、再構築誤差）を計算する。この再構築誤差が最も小さい部分空間に対応するデータセットが、第１の画像に類似するサンプルデータが含まれるデータセット、言い換えると、第１の画像を最も正しく表現することのできる部分空間を与えるデータセットである。このような方法により、後段のステップＳ１０３の処理に最も適した部分空間情報に対応するデータセットを特定できる。

【0099】

なお、ここでは画像間の類似性を評価するために画素値の差分二乗和を用いる例を示したが、差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）などその他の指標を用いても構わない。

【0100】

また、複数のデータセットの中から最適な一つのデータセットを選択することに限らず、所定の条件を満たすデータセットをすべて選択する構成であってもよい。例えば、画素
値情報の再構築誤差が所定の閾値より小さいデータセットを全て選択するようにしてもよい。あるいは、再構築誤差が小さい上位の所定の数のデータセットを選択するようにしてもよい。複数のデータセットが選択された場合、ステップＳ１０３において、輪郭情報推定部５３は、夫々のデータセットの部分空間情報を用いて輪郭情報の推定処理を実行して結果を統合してもよい。例えば、夫々の部分空間情報を用いて推定された輪郭情報の平均値や中央値を取得してもよい。

【0101】

本ステップＳ２０２の後の処理（ステップＳ１０３～Ｓ１０４）については、第１の実施形態と同様の処理で前記第１の画像における注目領域の輪郭情報の推定ができる。なお、本実施形態においても、ステップＳ１０３における部分空間を用いた輪郭情報の推定に、第１の実施形態と同様にＢＰＬＰ法を用いることで、計算コストを抑制できる。ただし、本実施形態では、部分空間を用いた輪郭情報の推定を、非特許文献１で開示されている勾配法による反復処理で行ってもよい。この場合でも、複数の部分空間を用いることで精度の高い輪郭結果が得られるという効果は損なわれない。

【0102】

本実施形態によれば、第１の画像に応じて複数の部分空間から最適な部分空間を選択して前記注目領域の輪郭情報を推定することで、より精度の高い輪郭抽出結果をユーザに提供できる効果がある。

【0103】

上記は実施形態の一例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。なお、第２の実施形態においても第１の実施形態の変形例で示した処理を同様に実施できる。

【0104】

＜その他の実施形態＞
また、開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェイス機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用しても良いし、また、１つの機器からなる装置に適用しても良い。

【0105】

また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

【符号の説明】

【0106】

１０ 画像処理装置
５１ 画像取得部
５２ 部分空間情報取得部
５３ 輪郭情報推定部
５４ 表示処理部
５５ 部分空間情報選択部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】