特許 7516072 画像処理装置、医用画像診断装置、画像処理方法、プログラム、および学習装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-05

(45)【発行日】2024-07-16

(54)【発明の名称】画像処理装置、医用画像診断装置、画像処理方法、プログラム、および学習装置

(51)【国際特許分類】

   A61B 8/14 20060101AFI20240708BHJP

   A61B 6/46 20240101ALI20240708BHJP

   A61B 5/055 20060101ALI20240708BHJP

【ＦＩ】

A61B8/14

A61B6/46 536Z

A61B5/055 380

【請求項の数】 26

(21)【出願番号】P 2020034996

(22)【出願日】2020-03-02

(65)【公開番号】P2021137116

(43)【公開日】2021-09-16

【審査請求日】2023-02-09

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】音丸 格

(72)【発明者】

【氏名】中込 啓太

【審査官】冨永 昌彦

(56)【参考文献】

【文献】国際公開第２０１７／１５８８９７（ＷＯ，Ａ１）

【文献】国際公開第２０１４／１５５８２５（ＷＯ，Ａ１）

【文献】国際公開第２００９／１４８０４１（ＷＯ，Ａ１）

【文献】米国特許出願公開第２０１１／００８２３７１（ＵＳ，Ａ１）

【文献】特開２００９－０９５６４４（ＪＰ，Ａ）

【文献】米国特許出願公開第２００８／０２６０２２６（ＵＳ，Ａ１）

【文献】特表２００７－５１３６４９（ＪＰ，Ａ）

【文献】米国特許出願公開第２００５／０１４７３０３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１０／０２４０９９６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ８／００ － ８／１５

Ａ６１Ｂ ６／００ － ６／５８

Ａ６１Ｂ ５／０５５

(57)【特許請求の範囲】

【請求項1】

モダリティにより得られスキャン領域に対応する被検体領域とそれ以外の領域とを含む断面における複数の被検体画像を含む学習データを前記複数の被検体画像のそれぞれにおける同じ対象範囲の画素群の情報を用いて統計解析することによって生成された統計モデルを取得するモデル取得部と、
断面画像であって処理対象となる入力画像を取得する画像取得部と、
前記統計モデルを用いて前記入力画像を用いた診断に利用される識別情報を推定する推定処理を行う推定部と、
を備える画像処理装置であって、
前記モデル取得部は、前記被検体画像の一部の範囲であり、かつ、前記複数の被検体画像のいずれにおいても前記被検体領域の少なくとも一部を含むように前記対象範囲を設定し、
前記推定部は、前記推定処理において、前記対象範囲内の画素群を構成する各画素の通し番号と座標値とを対応付けた対応表を用いることにより、前記入力画像のうち前記対象範囲内の画素群を限定的に参照する
ことを特徴とする画像処理装置。

【請求項2】

モダリティにより得られスキャン領域に対応する被検体領域とそれ以外の領域とを含む断面における複数の被検体画像を含む学習データを前記複数の被検体画像のそれぞれにおける同じ対象範囲の画素群の情報を用いて統計解析することによって生成された統計モデルを取得するモデル取得部と、
断面画像であって処理対象となる入力画像を取得する画像取得部と、
前記統計モデルを用いて前記入力画像を用いた診断に利用される識別情報を前記入力画像の前記対象範囲内の画素群の特徴を部分空間へ投影したのち元の画像空間に逆投影することにより再構築画像を生成する処理を含むことにより推定する推定処理を行う推定部と、
を備える画像処理装置であって、
前記モデル取得部は、前記被検体画像の一部の範囲であり、かつ、前記複数の被検体画
像のいずれにおいても前記被検体領域の少なくとも一部を含むように前記対象範囲を設定する
ことを特徴とする画像処理装置。

【請求項3】

モダリティにより得られスキャン領域に対応する被検体領域とそれ以外の領域とを含む断面における心臓の２次元超音波画像であって複数の被検体画像を含む学習データを前記複数の被検体画像のそれぞれにおける同じ対象範囲の画素群の情報を用いて統計解析することによって生成された統計モデルを取得するモデル取得部と、
断面画像であって処理対象となる入力画像を取得する画像取得部と、
前記統計モデルを用いて前記入力画像中の心尖部二腔像、心尖部三腔像、心尖部四腔像、短軸像、傍胸骨長軸像、および、プローブが被検体に接していない状態に取得される空中放置像のうちの少なくとも２以上の断面種別を推定する推定処理を行う推定部と、
を備える画像処理装置であって、
前記モデル取得部は、前記被検体画像の一部の範囲であり、かつ、前記複数の被検体画像のいずれにおいても前記被検体領域の少なくとも一部を含むように前記対象範囲を設定し、
前記推定部は、前記推定処理において、前記対象範囲内の画素群を構成する各画素の通し番号と座標値とを対応付けた対応表を用いることにより、前記入力画像のうち前記対象範囲内の画素群を限定的に参照する
ことを特徴とする画像処理装置。

【請求項4】

モダリティにより得られスキャン領域に対応する被検体領域とそれ以外の領域とを含む断面における心臓の２次元超音波画像であって複数の被検体画像を含む学習データを前記複数の被検体画像のそれぞれにおける同じ対象範囲の画素群の情報を用いて統計解析することによって生成された統計モデルを取得するモデル取得部と、
断面画像であって処理対象となる入力画像を取得する画像取得部と、
前記統計モデルを用いて前記入力画像中の左心室、左心房、右心室、右心房のうちの、少なくとも１領域以上を含む所定の領域の輪郭情報を推定する推定処理を行う推定部と、を備える画像処理装置であって、
前記モデル取得部は、前記被検体画像の一部の範囲であり、かつ、前記複数の被検体画像のいずれにおいても前記被検体領域の少なくとも一部を含むように前記対象範囲を設定し、
前記推定部は、前記推定処理において、前記対象範囲内の画素群を構成する各画素の通し番号と座標値とを対応付けた対応表を用いることにより、前記入力画像のうち前記対象範囲内の画素群を限定的に参照する
ことを特徴とする画像処理装置。

【請求項5】

前記複数の被検体画像は、前記被検体領域の形状が異なる被検体画像を含む
ことを特徴とする請求項１～４のうちいずれか１項に記載の画像処理装置。

【請求項6】

前記対象範囲は、矩形でない形状を有する
ことを特徴とする請求項１～４のうちいずれか１項に記載の画像処理装置。

【請求項7】

前記対象範囲は、前記被検体領域の外接矩形よりも小さい面積を有する
ことを特徴とする請求項６に記載の画像処理装置。

【請求項8】

前記対象範囲は、前記被検体領域と略相似形である
ことを特徴とする請求項６又は７に記載の画像処理装置。

【請求項9】

前記被検体領域は、被検体の内部に対応する領域である
ことを特徴とする請求項１～８のうちいずれか１項に記載の画像処理装置。

【請求項10】

前記被検体領域は、被検体内の所定の対象物に対応する領域である
ことを特徴とする請求項１～９のうちいずれか１項に記載の画像処理装置。

【請求項11】

前記被検体画像はモダリティにより得られた画像であり、前記被検体領域は前記モダリティによるスキャン領域に対応する領域である
ことを特徴とする請求項１～８のうちいずれか１項に記載の画像処理装置。

【請求項12】

前記統計モデルは、前記モダリティのスキャン領域、前記モダリティの撮像パラメータ、及び、前記モダリティのプローブの種類のうち少なくともいずれかを学習データとして利用して生成されたものである
ことを特徴とする請求項１１に記載の画像処理装置。

【請求項13】

前記統計解析は、主成分分析であり、
前記統計モデルは、前記複数の被検体画像の前記対象範囲内の画素群の特徴を表す部分空間の情報である
ことを特徴とする請求項１～１２のうちいずれか１項に記載の画像処理装置。

【請求項14】

前記推定処理は、前記入力画像の前記対象範囲内の画素群の特徴を部分空間へ投影したのち元の画像空間に逆投影することにより再構築画像を生成する処理を含む
ことを特徴とする請求項１、３、および、４のいずれか１項に記載の画像処理装置。

【請求項15】

前記推定部は、前記推定処理において、前記対象範囲内の画素群を構成する各画素の通し番号と座標値とを対応付けた対応表を用いることにより、前記入力画像のうち前記対象範囲内の画素群を限定的に参照する
ことを特徴とする請求項２に記載の画像処理装置。

【請求項16】

前記被検体画像および前記入力画像は、断面画像であり、
前記推定部は、前記入力画像の断面種別を推定する推定処理を行う
ことを特徴とする請求項１～１５のうちいずれか１項に記載の画像処理装置。

【請求項17】

前記被検体画像および前記入力画像は、心臓の２次元超音波画像であり、
前記断面種別は、心尖部二腔像、心尖部三腔像、心尖部四腔像、短軸像、傍胸骨長軸像、および、プローブが被検体に接していない状態に取得される空中放置像のうちの、少なくとも２種類以上を含む
ことを特徴とする請求項１６に記載の画像処理装置。

【請求項18】

前記被検体画像および前記入力画像は、断面画像であり、
前記推定部は、前記入力画像中の所定の領域の輪郭情報を推定する推定処理を行う
ことを特徴とする請求項１～３のうちいずれか１項に記載の画像処理装置。

【請求項19】

前記被検体画像および前記入力画像は、心臓の２次元超音波画像であり、
前記所定の領域は、左心室、左心房、右心室、右心房のうちの、少なくとも１領域以上を含む
ことを特徴とする請求項１８に記載の画像処理装置。

【請求項20】

前記複数の被検体画像は、スケールを揃えるための空間的正規化が施された画像であり、
前記推定部は、前記推定処理の前に、前記入力画像に対し前記空間的正規化を施す
ことを特徴とする請求項１～１９のうちいずれか１項に記載の画像処理装置。

【請求項21】

前記被検体画像および前記入力画像は、２次元超音波画像であり、
前記空間的正規化は、２次元超音波画像の視野深度に対応する有効画像表示サイズが所定のピクセル数となるように画像を拡大又は縮小する処理を含む
ことを特徴とする請求項２０に記載の画像処理装置。

【請求項22】

前記対象範囲は、前記被検体画像における前記被検体領域に対応する画像領域であることを特徴とする請求項１～２１のうちいずれか１項に記載の画像処理装置。

【請求項23】

前記複数の被検体画像間で、前記対象範囲に含まれる画素数が同一であることを特徴とする請求項２２に記載の画像処理装置。

【請求項24】

モダリティにより得られスキャン領域に対応する被検体領域とそれ以外の領域とを含む断面における複数の被検体画像を含む学習データを前記複数の被検体画像のそれぞれにおける同じ対象範囲の画素群の情報を用いて統計解析することによって生成された統計モデルを取得するステップと、
断面画像であって処理対象となる入力画像を取得するステップと、
前記統計モデルを用いて前記入力画像を用いた診断に利用される識別情報を推定する推定処理を行うステップと、
を含む画像処理方法であって、
前記統計モデルを取得するステップは、前記被検体画像の一部の範囲であり、かつ、前記複数の被検体画像のいずれにおいても前記被検体領域の少なくとも一部を含むように前記対象範囲を設定し、
前記推定処理を行うステップは、前記推定処理において、前記対象範囲内の画素群を構成する各画素の通し番号と座標値とを対応付けた対応表を用いることにより、前記入力画像のうち前記対象範囲内の画素群を限定的に参照する
ことを特徴とする画像処理方法。

【請求項25】

モダリティにより得られスキャン領域に対応する被検体領域とそれ以外の領域とを含む断面における複数の被検体画像を含む学習データを前記複数の被検体画像のそれぞれにおける同じ対象範囲の画素群の情報を用いて統計解析することによって生成された統計モデルを取得するステップと、
断面画像であって処理対象となる入力画像を取得するステップと、
前記統計モデルを用いて前記入力画像を用いた診断に利用される識別情報を前記入力画像の前記対象範囲内の画素群の特徴を部分空間へ投影したのち元の画像空間に逆投影することにより再構築画像を生成する処理を含むことにより推定する推定処理を行うステップと、を含む画像処理方法であって、
前記統計モデルを取得するステップは、前記被検体画像の一部の範囲であり、かつ、前記複数の被検体画像のいずれにおいても前記被検体領域の少なくとも一部を含むように前記対象範囲を設定する
ことを特徴とする画像処理方法。

【請求項26】

請求項２４または２５に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、医用画像診断装置、画像処理方法、プログラム、および学習装置に関する。

【背景技術】

【0002】

医用の分野では、種々の医用画像診断装置（モダリティ）によって取得される断面画像（断層像、医用画像とも称す）を用いた診断が行われている。この診断の中では、断面画像の種別（被検体のどの断面を撮像した画像であるかによる分類。以下、断面種別と称す）を識別し、断面種別を表す情報を断面画像に関連づけて表示または保存することが行われている。また、識別した断面種別に応じた画像処理を当該断面画像に施すことや、識別した情報を利用した解析処理を実行することが行われている。また、断面画像内の関心領域（例えば臓器や病変など）の輪郭を識別し、関心領域の面積・サイズ・形状などを診断に利用することもある。従来、断面種別や輪郭を識別する作業は一般に、人手で行う場合が多い。

【0003】

特許文献１では、心臓を撮像した２次元超音波画像を対象として、その断面種別を自動的に識別する技術が開示されている。特許文献１では、一例として、心尖部アプローチ像の断面種別を左室長軸断面、四腔断面、五腔断面、二腔断面のなかから識別する例が記載されている。この技術では、各断面種別の代表例となる画像をテンプレートとして保持し、入力画像がどのテンプレートに近いかを算出することで断面種別を識別する。

【先行技術文献】

【特許文献】

【0004】

【文献】国際公開第２００７／０５８１９５号

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１の方法は、単一の症例（断面画像）のみをテンプレートとして用いているため、断面画像の多様なバリエーションに対応するには不十分である。例えば、被検体（患者）によって臓器等の形状が異なるため、同じ断面種別の画像であっても、実際の断面画像は被検体によって異なっている。また、モダリティの機種・性能や撮像パラメータ（撮像条件）によっても、得られる断面画像に違いがある。それゆえ、断面種別の高精度な識別を実現するためには、このような断面画像の多様なバリエーション（ばらつき）への十分な対応が重要となる。

【0006】

そこで本発明者らは、多数の断面画像を学習データとして用い、それらの断面画像を統計解析することにより、断面画像の多様なバリエーションに対応した統計モデルを生成するというアプローチを検討している。

【0007】

本発明は、複数の医用画像を統計解析することによって生成される統計モデルの識別力を低下させることなく、そのデータサイズを可及的に小さくするための技術を提供することを目的とする。

【0008】

なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本明細書の開示の他の目的の１つとして位置付けることができる。

【課題を解決するための手段】

【0009】

本発明の第一態様は、モダリティにより得られスキャン領域に対応する被検体領域とそれ以外の領域とを含む断面における複数の被検体画像を含む学習データを前記複数の被検体画像のそれぞれにおける同じ対象範囲の画素群の情報を用いて統計解析することによって生成された統計モデルを取得するモデル取得部と、断面画像であって処理対象となる入力画像を取得する画像取得部と、前記統計モデルを用いて前記入力画像を用いた診断に利用される識別情報を推定する推定処理を行う推定部と、を備える画像処理装置であって、前記モデル取得部は、前記被検体画像の一部の範囲であり、かつ、前記複数の被検体画像のいずれにおいても前記被検体領域の少なくとも一部を含むように前記対象範囲を設定し、前記推定部は、前記推定処理において、前記対象範囲内の画素群を構成する各画素の通し番号と座標値とを対応付けた対応表を用いることにより、前記入力画像のうち前記対象範囲内の画素群を限定的に参照することを特徴とする画像処理装置を提供する。また、本発明の第一態様は、モダリティにより得られスキャン領域に対応する被検体領域とそれ以外の領域とを含む断面における複数の被検体画像を含む学習データを前記複数の被検体画像のそれぞれにおける同じ対象範囲の画素群の情報を用いて統計解析することによって生成された統計モデルを取得するモデル取得部と、断面画像であって処理対象となる入力画像を取得する画像取得部と、前記統計モデルを用いて前記入力画像を用いた診断に利用される識別情報を前記入力画像の前記対象範囲内の画素群の特徴を部分空間へ投影したのち元の画像空間に逆投影することにより再構築画像を生成する処理を含むことにより推定する推定処理を行う推定部と、を備える画像処理装置であって、前記モデル取得部は、前記被検体画像の一部の範囲であり、かつ、前記複数の被検体画像のいずれにおいても前記被検体領域の少なくとも一部を含むように前記対象範囲を設定することを特徴とする画像処理装置を提供する。また、本発明の第一態様は、モダリティにより得られスキャン領域に対応する被検体領域とそれ以外の領域とを含む断面における心臓の２次元超音波画像であって複数の被検体画像を含む学習データを前記複数の被検体画像のそれぞれにおける同じ対象範囲の画素群の情報を用いて統計解析することによって生成された統計モデルを取得するモデル取得部と、断面画像であって処理対象となる入力画像を取得する画像取得部と、前記統計モデルを用いて前記入力画像中の心尖部二腔像、心尖部三腔像、心尖部四腔像、短軸像、傍胸骨長軸像、および、プローブが被検体に接していない状態に取得される空中放置像のうちの少なくとも２以上の断面種別を推定する推定処理を行う推定部と、を備える画像処理装置であって、前記モデル取得部は、前記被検体画像の一部の範囲であり、かつ、前記複数の被検体画像のいずれにおいても前記被検体領域の少なくとも一部を含むように前記対象範囲を設定し、前記推定部は、前記推定処理において、前記対象範囲内の画素群を構成する各画素の通し番号と座標値とを対応付けた対応表を用いることにより、前記入力画像のうち前記対象範囲内の画素群を限定的に参照することを特徴とする画像処理装置を提供する。また、本発明の第一態様は、モダリティにより得られスキャン領域に対応する被検体領域とそれ以外の領域とを含む断面における心臓の２次元超音波画像であって複数の被検体画像を含む学習データを前記複数の被検体画像のそれぞれにおける同じ対象範囲の画素群の情報を用いて統計解析することによって生成された統計モデルを取得するモデル取得部と、断面画像であって処理対象となる入力画像を取得する画像取得部と、前記統計モデルを用いて前記入力画像中の左心室、左心房、右心室、右心房のうちの、少なくとも１領域以上を含む所定の領域の輪郭情報を推定する推定処理を行う推定部と、を備える画像処理装置であって、前記モデル取得部は、前記被検体画像の一部の範囲であり、かつ、前記複数の被検体画像のいずれにおいても前記被検体領域の少なくとも一部を含むように前記対象範囲を設定し、前記推定部は、前記推定処理において、前記対象範囲内の画素群を構成する各画素の通し番号と座標値とを対応付けた対応表を用いることにより、前記入力画像のうち前記対象範囲内の画素群を限定的に参照することを特徴とする画像処理装置を提供する。

【0010】

本発明の第二態様は、断面画像であって処理対象となる医用画像を入力画像として取得する画像取得部と、モダリティによるスキャン領域に対応する被検体領域とそれ以外の領域とを含む断面画像であって心臓の２次元超音波画像である複数の医用画像間においてそれぞれ対応する画像領域の画素情報を統計解析することによって生成される統計モデルを用いて、前記入力画像中の心尖部二腔像、心尖部三腔像、心尖部四腔像、短軸像、傍胸骨長軸像、および、プローブが被検体に接していない状態に取得される空中放置像のうちの少なくとも２以上の断面種別を推定する推定処理を行う推定部と、を備えることを特徴とする医用画像診断装置を提供する。また、本発明の第二態様は、断面画像であって処理対象となる医用画像を入力画像として取得する画像取得部と、モダリティによるスキャン領域に対応する被検体領域とそれ以外の領域とを含む断面画像であって心臓の２次元超音波画像である複数の医用画像間においてそれぞれ対応する画像領域の画素情報を統計解析することによって生成される統計モデルを用いて、前記入力画像中の左心室、左心房、右心室、右心房のうちの、少なくとも１領域以上を含む所定の領域の輪郭情報を推定する推定処理を行う推定部と、を備えることを特徴とする医用画像診断装置を提供する。

【0011】

本発明の第三態様は、モダリティにより得られスキャン領域に対応する被検体領域とそれ以外の領域とを含む断面における複数の被検体画像を含む学習データを前記複数の被検体画像のそれぞれにおける同じ対象範囲の画素群の情報を用いて統計解析することによって生成された統計モデルを取得するステップと、断面画像であって処理対象となる入力画像を取得するステップと、前記統計モデルを用いて前記入力画像を用いた診断に利用される識別情報を推定する推定処理を行うステップと、を含む画像処理方法であって、前記統計モデルを取得するステップは、前記被検体画像の一部の範囲であり、かつ、前記複数の被検体画像のいずれにおいても前記被検体領域の少なくとも一部を含むように前記対象範囲を設定し、前記推定処理を行うステップは、前記推定処理において、前記対象範囲内の画素群を構成する各画素の通し番号と座標値とを対応付けた対応表を用いることにより、前記入力画像のうち前記対象範囲内の画素群を限定的に参照することを特徴とする画像処理方法を提供する。また、本発明の第三態様は、モダリティにより得られスキャン領域に対応する被検体領域とそれ以外の領域とを含む断面における複数の被検体画像を含む学習データを前記複数の被検体画像のそれぞれにおける同じ対象範囲の画素群の情報を用いて統計解析することによって生成された統計モデルを取得するステップと、断面画像であって処理対象となる入力画像を取得するステップと、前記統計モデルを用いて前記入力画像を用いた診断に利用される識別情報を前記入力画像の前記対象範囲内の画素群の特徴を部分空間へ投影したのち元の画像空間に逆投影することにより再構築画像を生成する処理を含むことにより推定する推定処理を行うステップと、を含む画像処理方法であって、前記統計モデルを取得するステップは、前記被検体画像の一部の範囲であり、かつ、前記複数の被検体画像のいずれにおいても前記被検体領域の少なくとも一部を含むように前記対象範囲を設定することを特徴とする画像処理方法を提供する。

【0012】

本発明の第四態様は、上記画像処理方法の各ステップをコンピュータに実行させるためのプログラムを提供する。

【0013】

本発明の第五態様は、モダリティにより得られ前記モダリティによるスキャン領域に対応する被検体領域とそれ以外の領域とを含む医用画像を学習に用いる学習装置であって、複数の被検体画像を含む学習データを準備する学習データ準備部と、前記複数の被検体画像に対して一律に適用される対象範囲を取得する対象範囲取得部と、前記複数の被検体画像のそれぞれにおける前記対象範囲内の画素群の情報を統計解析することによって統計モデルを生成するモデル生成部と、を備え、前記対象範囲は、前記被検体画像の一部の範囲であり、かつ、前記複数の被検体画像のいずれにおいても前記被検体領域の少なくとも一部を含むように、設定されることを特徴とする学習装置を提供する。

【発明の効果】

【0014】

本発明によれば、複数の医用画像を統計解析することによって生成される統計モデルの識別力を低下させることなく、そのデータサイズを可及的に小さくすることが可能となる。

【図面の簡単な説明】

【0015】

【図1】実施形態に係る画像処理システムの構成例を示す図。

【図2】心尖部二腔像、心尖部三腔像、心尖部四腔像、空中放置像の例を示す図。

【図3】画像処理装置の処理手順の例を示すフローチャート。

【図4】学習データから統計モデルを生成する学習処理の例を示すフローチャート。

【図5】固有ベクトルの数と累積寄与率の関係の例を示すグラフ。

【図6】断面種別の識別処理の例を示すフローチャート。

【発明を実施するための形態】

【0016】

以下、図面を参照して、本発明の実施形態を例示的に詳しく説明する。ただし、この実施形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。

【0017】

本発明の実施形態に係る画像処理装置は、被検体領域とそれ以外の領域とを含む複数の医用画像間においてそれぞれ対応する画像領域の画素情報を統計解析することによって生成される統計モデルを用いて、医用画像に対する推定処理を行う機能を提供する。推定処理は、例えば、医用画像の断面種別を推定する処理、医用画像中の所定の領域の輪郭情報
を推定する処理などであるが、これらに限られず他の推定処理を含んでいてもよい。断面種別とは、被検体のどの断面を撮像した画像であるかという観点による分類である。ここでは、画像処理装置を例にして説明するが、医用画像診断装置に本発明を適用してもよい。

【0018】

医用画像は、モダリティと呼ばれる撮像装置によって取得された、被検体（人体など）の内部の構造を表す画像であり、断面画像、断層像、再構成画像などとも呼ばれる。例えば、超音波診断装置によって得られる超音波画像、Ｘ線ＣＴ装置によって得られるＸ線ＣＴ画像、ＭＲＩ装置によって得られるＭＲＩ画像などが医用画像の典型例である。このような医用画像は、例えば、医用分野において、診断、検査、研究などに利用される。

【0019】

医用画像は、被検体領域とそれ以外の領域とを含んでいる。被検体領域とは、推定処理に必要な情報を含む領域をいい、典型的には、医用画像のうち被検体の内部に対応する領域（被検体の内部の構造や特性などが画像化された領域）である。被検体の内部に対応する領域は、モダリティによるスキャン領域に対応する領域と言い換えてもよい。ただし、例えば、被検体内に存在する所定の対象物（臓器、組織、構造、病変など）の情報のみが推定処理に利用されるのであれば、被検体の内部に対応する領域全体ではなく、所定の対象物に対応する領域を被検体領域としてもよい。

【0020】

学習データとして準備された複数の医用画像は、被検体領域の形状が異なる医用画像を含んでいる可能性がある。そこで、学習時には、すべての医用画像間において対応する画像領域（計算対象範囲とも呼ぶ）を設定し、複数の医用画像のそれぞれにおける画像領域内の画素群の情報を統計解析することによって統計モデルを生成する、という手順を採る。ここで、画像領域は、医用画像の一部の範囲であり、かつ、複数の医用画像のいずれにおいても被検体領域の少なくとも一部を含むように、設定される。このような方法により、被検体領域の形状の異同にかかわらず、学習データとして与えられたすべての医用画像のそれぞれから、被検体領域の画像特徴をかならず含んだ画素群が抽出される。したがって、表現力および識別力の高い統計モデルが生成可能である。また、被検体領域の形状の異同にかかわらず、すべての医用画像のそれぞれから、同一サイズ（同一ピクセル数）の画素群が抽出されるため、統計解析への適用が容易である。加えて、医用画像の全体を用いるのに比べて、統計モデルのデータサイズを削減することもできる。よって、統計モデルの表現力および識別力を低下させることなく、そのデータサイズを可及的に小さくすることが可能となる。

【0021】

被検体領域の形状は、モダリティによるスキャン領域、モダリティの撮像パラメータ（撮像条件）、プローブの種類などによって異なり得る。逆に言うと、スキャン領域、撮像パラメータ（撮像条件）、プローブの種類などがわかれば、被検体領域の形状をある程度特定することができる。したがって、学習データとして、スキャン領域、撮像パラメータ（撮像条件）、プローブの種類のうち少なくともいずれかを利用してもよい。

【0022】

本発明の実施形態に係る画像処理装置は、断面種別が既知の多数の断面画像（学習データ）を統計解析した結果に基づいて、処理対象となる医用画像（断面種別が未知の断面画像）の断面種別の推定ないし識別を行う点に特徴の一つを有する。具体的には、画像処理装置は、複数の断面種別にそれぞれ対応する複数の統計モデルを用い、複数の統計モデルのいずれが入力画像に良く当てはまるかを評価することによって入力画像の断面種別を識別する。例えば、夫々の統計モデルを用いて入力画像を再構築し、再構築された画像と入力画像の差異が最も小さい、言い換えると、入力画像を最も良く再現する統計モデルと対応付けられた断面種別を識別結果とする。

【0023】

この場合の統計モデルは、断面種別が同じ複数の断面画像を統計解析することによって
生成されたモデルであり、その断面種別の画像の特徴の分布（統計的傾向）を表現するものである。統計モデルの生成（学習）は、例えば、学習装置によって、断面種別が同じ画像群を主成分分析し、その断面種別の画像群の特徴を表す部分空間を求めることにより行ってもよい。この場合、部分空間の情報が、当該断面種別に対応する統計モデルに該当する。なお、統計モデルは学習済モデルとも呼ばれる。

【0024】

従来技術では、単一の症例（画像）のみから生成したテンプレートを用いていたため、被検体、撮像装置、撮像条件等による断面画像のばらつきに起因して、入力画像とテンプレートの間の特徴が乖離し、識別精度が低下するという課題があった。これに対し本発明の実施形態に係る画像処理装置では、複数の断面画像から生成した統計モデルを用いることで、多数症例の統計的傾向に基づく識別が可能であり、従来技術に比べて識別精度の向上を図ることができる。

【0025】

＜実施形態＞
実施形態に係る画像処理装置は、入力画像の断面種別を識別する装置である。本実施形態では、入力画像および学習データとして心臓の２次元超音波画像を用い、入力画像が心尖部二腔像、心尖部三腔像、心尖部四腔像、および空中放置像の４種類のいずれであるかを識別する、というケースを例示する。心尖部二腔像は、左心房・左心室の２腔が写った画像であり、心尖部三腔像は、左心房・左心室・右心室の３腔が写った画像であり、心尖部四腔像は、左右心房・左右心室の計４腔が写った画像である。また、空中放置像は、プローブが被検体に接しておらずいずれの腔も写っていない画像である。なお、これらは断面種別の一例であり、その他の種別の画像についても、同様の処理で識別可能である。

【0026】

以下、図１を用いて本実施形態の画像処理装置の構成および処理を説明する。図１は、本実施形態の画像処理装置を含む画像処理システム（医用画像処理システムともいう）の構成例を示すブロック図である。画像処理システムは、画像処理装置１０およびデータベース２２を備える。画像処理装置１０は、ネットワーク２１を介してデータベース２２に通信可能な状態で接続されている。ネットワーク２１は、例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。

【0027】

データベース２２は、多数の画像と各画像に関連付けられた情報とを保持し、管理する。データベース２２に保持される画像は、断面種別が未知の画像と、断面種別が既知の画像とを含む。前者の画像は、画像処理装置１０による断面種別の識別処理に供される。後者の画像は、少なくとも断面種別の情報（正解データ）が関連付けられており、統計モデルを生成するための学習データとして利用される。各画像には、超音波診断装置が当該画像を撮像した際の撮像パラメータ（撮像条件）などの情報が関連付けられていてもよい。画像処理装置１０は、ネットワーク２１を介して、データベース２２が保持しているデータを取得することが可能である。

【0028】

画像処理装置１０は、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）３１（通信部）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３、記憶部３４、操作部３５、表示部３６、および制御部３７を備える。

【0029】

通信ＩＦ３１（通信部）はＬＡＮカードなどにより構成され、外部装置（例えばデータベース２２など）と画像処理装置１０との通信を実現する。ＲＯＭ３２は、不揮発性のメモリなどにより構成され、各種プログラムや各種データを記憶する。ＲＡＭ３３は揮発性のメモリなどにより構成され、実行中のプログラムや作業中のデータを一時的に記憶する。記憶部３４はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などにより構成され、プログラムやデータを記憶する。操作部３５は、キーボードやマウス、タッチパネルなどにより構成され、ユーザ（例えば医師や検査技師）からの指示を各種装置に入力する。

【0030】

表示部３６はディスプレイなどにより構成され、各種情報をユーザに提示する。制御部３７は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などにより構成され、画像処理装置１０における処理を統括制御する。制御部３７は、その機能的な構成として、画像取得部５１、統計モデル取得部５２、推定部５３、表示処理部５４、計算対象範囲取得部５５を備える。制御部３７は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などを備えてもよい。

【0031】

画像取得部５１は、処理対象となる入力画像をデータベース２２から取得する。入力画像は、モダリティにより撮像された被検体の断面画像である。なお、画像取得部５１は、入力画像をモダリティから直接取得してもよい。この場合、画像処理装置１０はモダリティに接続された装置であってもよいし、モダリティの中（例えばコンソール）に実装された機能であってもよい。

【0032】

また、画像取得部５１は、学習データをデータベース２２から取得する。学習データは、入力画像とは異なる複数の断面画像（医用画像）からなる画像群であり、識別対象とする断面種別の夫々に属する断面画像を複数枚含んでいる。学習データにおける夫々の画像は、その断面種別の情報（心尖部二腔像・心尖部三腔像・心尖部四腔像・空中放置像のいずれかを表す識別子）を既知の値（付帯情報）として保持している。なお、統計モデルのロバスト性を高めるために、学習データとして用いる複数の断面画像は、互いに異なる被検体（患者）の画像であることが望ましい。ただし、同一の被検体（患者）を異なる条件（時刻、時期、モダリティの機種、撮像パラメータ等）で撮影した画像が学習データに含まれていてもよい。また、１心拍周期にわたって撮像された２次元動画像の夫々のフレームを学習データとして用いてもよい。学習データとして用いる断面画像の数は少なくとも数十から数百程度あるとよい。なお、学習データにおける断面種別情報の保持の仕方は、夫々の断面画像に付帯情報として断面種別情報を保持させる方法以外の方法でもよい。例えば、断面画像の識別子（画像ＩＤ、ファイル名など）と断面種別とが対応付けられたリストを用いたり、断面種別ごとに断面画像を格納するフォルダを分けたり、断面画像のファイル名やプロパティに断面種別情報を埋め込むなど、いかなる方法でもよい。

【0033】

本実施形態では入力画像および学習データが心臓領域を撮像した１枚の２次元超音波画像である場合を例に挙げて説明するが、他の種類（他の臓器、他の断面種別）の画像であってもよい。本発明は、複数の２次元画像（例えば、複数の時相の画像）や２次元の動画像に対しても適用可能である。また、モダリティの種類によらず適用可能である。

【0034】

統計モデル取得部５２は、画像取得部５１が取得した学習データに含まれる断面画像の夫々について画素値情報と断面種別情報を取得し、断面種別が一致する画像群毎に（すなわち、夫々の断面種別毎に）統計解析を行う。すなわち、本実施形態では、統計モデル取得部５２は、学習データに含まれる心尖部二腔像の画像群・心尖部三腔像の画像群・心尖部四腔像の画像群・空中放置像の画像群に対して、それぞれ統計解析を行う。そして、統計モデル取得部５２は、該統計解析の結果から、夫々の断面種別の統計モデルとして、夫々の断面種別の部分空間情報（部分空間を構成する基底の情報）を取得する。なお、あらかじめ生成された統計モデルがデータベース２２又は記憶部３４に保持されている場合は、統計モデル取得部５２は、データベース２２又は記憶部３４から統計モデルを取得してもよい。すなわち、統計モデル取得部５２は、学習データから統計モデルを生成する学習装置として機能してもよいし、あらかじめ生成され記憶装置に格納されている統計モデルを読み込む機能であってもよいし、両方の機能を有していてもよい。

【0035】

推定部５３は、統計モデルを用いて入力画像に対する推定処理を行う。本実施形態では、推定部５３は、画像取得部５１が取得した入力画像と、統計モデル取得部５２で取得した統計モデルである部分空間情報に基づいて、入力画像の断面種別を識別する。表示処理部５４は、入力画像と、該入力画像の断面種別の識別結果を、表示部３６の画像表示領域内に表示させる。表示部３６には、前記表示内容のほかにも、表示されている入力画像の縮尺情報や心電図の波形情報など、２次元超音波画像の観察に必要な種々の情報を表示することができる。

【0036】

計算対象範囲取得部５５は、データベース２２から取得した学習データに含まれるすべての断面画像（医用画像）に対して一律に適用される計算対象範囲を取得する。計算対象範囲は、統計解析に用いる画素群、すなわち部分空間の計算に用いる画素群を定義する情報である。統計モデル取得部５２および推定部５３は、計算対象範囲取得部５５で取得された計算対象範囲内の画素群の情報のみを用いて、統計モデルの算出や推定処理を行う。

【0037】

上記画像処理装置１０の各構成要素は、コンピュータプログラムに従って機能する。例えば、制御部３７（ＣＰＵ）がＲＡＭ３３を作業領域としてＲＯＭ３２又は記憶部３４などに記憶されたコンピュータプログラムを読み込み、実行することで、各構成要素の機能が実現される。なお、画像処理装置１０の構成要素の一部又はすべての機能が専用の回路を用いることで実現されてもよい。また、制御部３７の構成要素の一部の機能が、クラウドコンピューティングを用いることで実現されてもよい。例えば、画像処理装置１０とは異なる場所にある演算装置がネットワーク２１を介して画像処理装置１０と通信可能に接続され、画像処理装置１０と演算装置がデータの送受信を行うことで、画像処理装置１０又は制御部３７の構成要素の機能が実現されてもよい。

【0038】

図２Ａ～図２Ｄに、本実施形態において識別対象として例示する４種類の断面種別の断面画像を模式的に示す。図２Ａ～図２Ｄはセクタ型プローブで撮像された２次元超音波画像であり、図２Ａが心尖部二腔像、図２Ｂが心尖部三腔像、図２Ｃが心尖部四腔像、そして図２Ｄが空中放置像をそれぞれ表している。心尖部二腔像には、左心室２０３と左心房２０４の２つの領域、心尖部三腔像には、左心室２０５と左心房２０６と右心室２０７の３つの領域、心尖部四腔像には、左心室２１０と左心房２１１と右心室２０８と右心房２０９の４つの領域が夫々写っている。空中放置像（図２Ｄ）はプローブが被検体に接していない状態の画像であるため、いずれの領域も写っていない。

【0039】

次に、図３のフローチャートを用いて、図１の画像処理装置１０の処理の例について説明する。

【0040】

（ステップＳ１００：計算対象範囲の取得）
後段の統計モデルの算出（ステップＳ１０１）や推定処理（ステップＳ１０３）においては、断面画像や入力画像の画素値情報を計算に用いる。しかしながら、図２Ａ～図２Ｄに示すように、モダリティで撮像される医用画像には被検体領域以外の画素が多く含まれており、画像全体を計算に利用すると無駄な計算負荷が生じるだけでなく、統計モデルのデータサイズの増大や識別力の低下を招く可能性がある。そこで、本実施形態では、医用画像の中の必要な範囲のみ（例えば、セクタ型プローブで得られた超音波画像の場合であれば、扇形のスキャン領域の部分など）を統計モデルの算出や推定処理に用いることとする。

【0041】

まずステップＳ１００において、計算対象範囲取得部５５は、学習データに含まれる夫々の画像の画素値情報（画像データ）をデータベース２２から取得する。そして、学習データ内の複数の画像の画素値情報を用いて、以降のステップで計算対象とする空間的範囲（計算対象範囲）を決定する。

【0042】

計算対象範囲の決定方法を具体的に述べる。２次元超音波画像では、図２Ａ～図２Ｄで示しているとおり、矩形で表現された画像領域のうち、信号が存在するのは、扇形のスキャン領域（以後、扇形領域又は被検体領域と称す）だけである。そのため、以降のステップＳ１０１やＳ１０３を実行する際には、扇形領域のみを計算の対象とすればよいことが分かる。しかしながら、単純に、各画像における扇形領域をそれぞれ計算対象範囲とすることはできない。なぜなら、以降のステップＳ１０１やＳ１０３では、画像を列ベクトル化したときのベクトルの次元（列ベクトルの要素数）が、全ての学習データと入力画像の間で同一である必要があるが、各画像の扇形領域の形状やサイズが同一とは限らないからである。症例が異なったり、モダリティの機種・性能や撮像パラメータ（撮像条件）が異なったりすると、扇形領域の中心角の大きさや有効画像表示サイズ（視野深度）が違う可能性がある。それゆえ、何らかの方法で、学習データと入力画像全てにおいて一律に適用し得る計算対象範囲を定義する必要がある。

【0043】

そこで本実施形態では、計算対象範囲取得部５５は、全ての学習データの（空間的正規化後の）被検体領域を全てカバーする領域を算出して、これを計算対象範囲として取得する。図２Ａ～図２Ｄのように被検体領域が扇形の場合は、計算対象範囲もそれと略相似形の扇形になる。なお、コンベックス型プローブの場合、被検体領域はバウムクーヘン形となるため、計算対象範囲の形状もバウムクーヘン形にすればよい。バウムクーヘン形は、扇形の先端部を欠落させた環状扇形である。

【0044】

また、リニア型プローブの場合、被検体領域は平行四辺形となるため、計算対象範囲の形状も平行四辺形にすればよい。また、ＣＴやＭＲＩのアキシャル断面画像の場合、被検体領域は略円形となるため、計算対象範囲の形状も略円形にすればよい。このように被検体領域の形状に合わせて計算対象範囲を設定することで、被検体領域以外の画素を可能な限り計算対象から除外することができる。この場合、計算対象範囲は矩形でない形状となり、被検体領域の外接矩形よりも面積が小さい範囲となる。

【0045】

ここで、全ての画像の被検体領域をもれなくカバーすることは必須ではなく、所定の割合（例えば９８％）の画像の被検体領域をカバーし得る領域を計算対象範囲としてもよい。すなわち、いずれの画像においても扇形領域（被検体領域）の少なくとも一部が含まれるように計算対象範囲が設定されていればよい。なお、計算対象範囲の算出方法はこれに限らず、例えば、学習データの夫々から画像処理で心室・心房を抽出し、当該領域を全てカバーする扇形領域を計算対象範囲として取得してもよい。このとき、心室・心房の領域は、画像処理で算出した情報ではなく、人手で与えた情報であってもよい。計算対象範囲取得部５５は、決定した計算対象範囲を以降のステップで使用するために、ＲＡＭ３３および記憶部３４に格納する。

【0046】

なお、計算対象範囲は、操作者が手動で定義した範囲を用いるようにしてもよい。例えば、操作者が全学習データの心房・心室領域を包含する領域を目視で設定し、これを計算対象範囲としてデータベース２２又は記憶部３４に事前に保存しておいてもよい。この場合、計算対象範囲取得部５５は、データベース２２又は記憶部３４に保存されている計算対象範囲を読み出すことで、計算対象範囲を取得する。

【0047】

また、計算対象範囲は、被検体に起因する信号が存在する領域の全てを包含する領域でなくともよい。例えば、画素値が所定の閾値以上の領域を包含する領域を計算対象範囲とすることにより、被検体領域辺縁の画素値が低い（暗い）領域を除外しても良い。また、計算対象範囲は扇形に限らず、円形・三角形を含む任意の形状を用いることができる。

【0048】

定義された計算対象範囲は、具体的には、下式で示す通り、計算対象範囲内の画素群を
構成する各画素の通し番号（ピクセル番号）と座標値とを対応付けた対応表（ルックアップテーブル）として表現される。

【数1】

ここで、例えばｍ［１］は計算対象範囲における１番目のピクセルを表す記号で、ｘ１・ｙ１はそれぞれ該ピクセルのｘ座標値・ｙ座標値である。そして、Ｋは計算対象範囲を構成するピクセルの数を表す。画像のｘ方向とｙ方向のピクセル数をそれぞれＮｘ、Ｎｙとしたときに、Ｋ＜Ｎｘ×Ｎｙである。

【0049】

なお、計算対象範囲の定義の保持方法は上記の例に限られず、例えば、計算対象範囲のピクセルに１、それ以外のピクセルに０が設定されたＮｘ×Ｎｙピクセルのマスク画像を利用してもよい。ただし、本実施形態のように計算対象範囲を通し番号（１～Ｋ）と座標値の対応表として保持する方法は、上で述べた、マスク画像を用いる一般的な方法に比べて次のような利点がある。マスク画像を用いる方法では、計算対象範囲に限定して何らかの処理を行う場合、Ｎｘ×Ｎｙピクセル全てに対して、該ピクセルが計算対象範囲に含まれているか否か検査する必要がある。すなわち、Ｎｘ×Ｎｙ個のピクセルを走査する必要がある。一方、本実施形態の保持方法であれば、画像のうち計算対象範囲内のＫ個（Ｎｘ×Ｎｙ個よりも少ない）の画素群を直接的かつ限定的に参照することができる。そのため、処理時間を短縮することが可能である。

【0050】

（ステップＳ１０１：統計モデルの取得）
ステップＳ１０１において、統計モデル取得部５２は、識別対象とする複数の断面種別にそれぞれ対応する複数の統計モデルを取得する。

【0051】

図４に、統計モデル取得部５２によって実行される、学習データから統計モデルを生成する処理（学習処理）の一例を示す。

【0052】

ステップＳ４０１において、統計モデル取得部５２は、画像取得部５１を介してデータベース２２から学習データを取得する。そして、統計モデル取得部５２は、学習データとして取得した複数の断面画像を、断面種別ごとにグループ分けする。本実施形態の場合は、心尖部二腔像・心尖部三腔像・心尖部四腔像・空中放置像という４つの画像群が生成される。以降のステップＳ４０２～Ｓ４０６の処理は、グループ分けされた画像群ごとに行われる。

【0053】

ステップＳ４０２において、統計モデル取得部５２は、画像群に含まれる各画像に対して空間的正規化を施す。空間的正規化は、画像同士のスケールを揃えるための処理である。学習データには、異なる機種で撮像された画像や、異なる撮像パラメータ（撮像条件）で撮像された画像などが混在している。それゆえ、画像内の被検体領域（画像において信号が存在する領域（図２Ａ～図２Ｄの扇形の領域））の位置やサイズなどが、画像によって異なり得る。したがって、学習データとして集められた画像群をそのまま統計解析にかけると、被検体領域の位置やサイズのばらつきが統計モデルの表現力低下を招く可能性がある。そこで本実施形態では、統計解析に先立って空間的正規化を実行して、各画像における被検体領域の位置およびサイズを一致させる。

【0054】

具体的には、まず統計モデル取得部５２は、学習データの画像の夫々について、プローブ位置座標と有効画像表示サイズを、空間的正規化に用いる情報として取得する。プローブ位置座標は、扇形の被検体領域の頂点（図２Ａの符号２０１）の画像座標であり、有効画像表示サイズは、扇形の被検体領域の半径（図２Ａの符号２０２）のピクセル数である
。有効画像表示サイズは、超音波画像の視野深度（デプス）に対応している。プローブ位置座標および有効画像表示サイズの情報は、例えば、学習データ内に保持されている既知の情報を読み込むことで取得できる。この既知の情報は、学習データを準備する者が作成した情報であってもよいし、画像を撮像したモダリティ（超音波診断装置）から得られた情報であってもよい。あるいは、統計モデル取得部５２が、夫々の画像から画像処理で被検体領域（扇形の輪郭）を抽出することで、プローブ位置座標および有効画像表示サイズを取得してもよい。次に、統計モデル取得部５２は、各画像の有効画像表示サイズが所定のピクセル数となるように、画像全体を拡大又は縮小する。所定のピクセル数、すなわち正規化処理後の有効画像表示サイズは、あらかじめ定義されている（例えば５１２ピクセル）。その後、統計モデル取得部５２は、各画像のプローブ位置座標が全て一致するように画像を平行移動させる。

【0055】

なお、空間的正規化処理は必須ではない。例えば、被検体領域の位置およびサイズのばらつきが十分に小さいことがあらかじめわかっている場合には、空間的正規化処理を省略してもよい。また、本実施形態では有効画像表示サイズを用いて画像のスケーリングを行う場合を例に挙げて説明したが、他の情報を用いてもよい。例えば、画像サイズ（画像全体のｘ方向およびｙ方向のピクセル数）が画像ごとに異なる場合に、画像サイズを一致させるように正規化してもよい。また、ピクセル数ではなく、１ピクセル当たりの物理サイズを考慮して、１ピクセル当たりの物理サイズが一致するように正規化してもよい。これによって、有効画像表示サイズの情報を取得できない場合であっても、正規化処理を実行することができる。

【0056】

ステップＳ４０３において、統計モデル取得部５２は、空間的正規化を施した各画像のピクセル数を一致させるため、クロップ処理を行う。具体的には、統計モデル取得部５２は、扇形の被検体領域を包含する所定サイズの矩形領域を定義し、各画像から該矩形領域を切り出す。このとき、該矩形領域のｘ方向とｙ方向のピクセル数をそれぞれＮｘ、Ｎｙとする。なお、本実施形態では空間的正規化処理の後にクロップ処理を行ったが、最初に画像から被検体領域を切り出し、切り出された画像のサイズがＮｘ×Ｎｙとなるように拡大又は縮小することでも同様の結果を得ることができる。

【0057】

ステップＳ４０４において、統計モデル取得部５２は、各画像の計算対象範囲内の画素群の画素値情報を列ベクトルに変換する。クロップ処理後の画像はＮｘ×Ｎｙ個の画素で構成されているが、列ベクトルに用いられる画素数はＫ個である。ある画像Ｉの画素値情報の列ベクトルａは、画像左上を原点（０，０）として、画素位置（ｘ，ｙ）における画素値をＩ（ｘ，ｙ）で表すものとして、以下の通り定義される。

【数2】

なお、処理対象の画像が１枚の２次元画像ではなく複数枚の２次元画像の場合には、それらの画素値情報を直列に並べたものを列ベクトルａとすればよい。

【0058】

ステップＳ４０５において、統計モデル取得部５２は、画像群に含まれる全画像に対応する列ベクトル群を統計解析する。該統計解析には、主成分分析（ＰＣＡ：Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）などの既知の手法を用いればよく、Ｋｅｒｎｅｌ ＰＣＡやＷｅｉｇｈｔｅｄ ＰＣＡなどの手法を用いてもよい。また独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）といった主成分分析以外の統計解析手法を用いてもよい。以下、ＰＣＡを用いる場合を例に説明する。

【0059】

ＰＣＡを用いることで、列ベクトル群の平均ベクトルと固有ベクトル、そして各固有ベクトルに対応する固有値が計算される。これらを用いることで、同じ断面種別の画像群の特徴を表す部分空間を下記式のように表現できる。ｄは部分空間内に存在する点である。

【数3】

ここで、ａバーが平均ベクトル、ｅ_ｉがｉ番目の基底における固有ベクトル、ｇ_ｉが固有ベクトルｅ_ｉに対応する係数である。また、Ｌは計算に用いる固有ベクトルの数を表している。

【0060】

Ｌの値について述べる。Ｌの値は、学習データを必要十分に表現できる数（例えば、累積寄与率が９５％を超える数）よりも大幅に小さい値であることが望ましい。具体的には、学習データの累積寄与率が５０％以上７０％以下となるようにＬの値を設定するとよい。本発明者らの実験では、累積寄与率が５０％より小さい場合に、断面種別の識別率の低下が認められた。これは、累積寄与率が小さすぎる場合は、統計モデルの表現力が低すぎて、同じ断面種別内での画像の多様性に十分に対応できないからと考えられる。また、累積寄与率が７０％より大きい場合にも、断面種別の識別率の低下が認められた。これは、累積寄与率が大きすぎる場合は、統計モデルの表現力が高すぎ、全ての断面種別の統計モデルの当てはまりが良くなってしまうために、結果として識別力が低下するからと考えられる。

【0061】

また、累積寄与率が５０％以上７０％以内に収まるＬの値の範囲が断面種別ごとに異なる場合であっても、Ｌの値を断面種別ごとに変化させるのではなく、同一の値に揃えることが望ましい。図５を例に挙げて説明する。図５は、固有ベクトルの数（Ｌの値）と累積寄与率の関係を示すグラフである。図５によると、空中放置像の方が他の種類（二腔像・三腔像・四腔像）に比べ、より小さい基底数で高い累積寄与率を示す。この例の場合、空中放置像のみＬの値を他の３種類と比べて小さく設定するのではなく、すべての断面種別においてＬ＝７～２１と設定することが望ましい。なぜなら、発明者らの実験によると、後段のステップＳ６０４において再構築誤差を算出する際、他の種別よりもＬの値が小さい種別は、目視で観察される違い以上に再構築誤差が大きく算出される場合があり、識別性能が低下する場合があるためである。このことから、本実施形態では、二腔像・三腔像・四腔像における累積寄与率をもとに、Ｌ＝１０ないし２０という単一の値を採用する。

【0062】

ステップＳ４０６において、統計モデル取得部５２は、統計解析の結果から、断面種別ごとに、統計モデルである部分空間情報（部分空間を構成する平均ベクトル（ａバー）とＬ個の固有ベクトル（ｅ_１～ｅ_Ｌ））を生成して、ＲＡＭ３３に格納する。以上で、統計モデルの学習処理は終了である。

【0063】

なお、統計モデル取得部５２によるステップＳ４０１～Ｓ４０６の機能が本発明の「学習装置」の一例である。また、ステップＳ４０１の機能、ステップＳ４０４～Ｓ４０６の機能がそれぞれ、本発明の「学習データ準備部」、「モデル生成部」の一例である。

【0064】

なお、ステップＳ４０１～Ｓ４０６における統計モデルの生成処理（学習処理）は、後述する入力画像の断面種別の識別処理とは独立したデータ処理である。そのため、統計モデルの生成処理を事前に実施し、生成された統計モデルをあらかじめデータベース２２又は記憶部３４に保存しておいてもよい。この場合、図３のステップＳ１０１では、統計モデル取得部５２は、統計モデルをデータベース２２又は記憶部３４から読み込んでＲＡＭ
３３に格納すればよい。あらかじめ統計モデルを算出しておくことで、入力画像における断面種別の識別処理を行う際の処理時間を短縮できる効果がある。なお、統計モデルの生成処理は、画像処理装置１０の統計モデル取得部５２により行ってもよいし、画像処理装置１０とは異なる他の学習装置で行ってもよい。他の学習装置で統計モデルを生成する場合の処理も、図４に示したものと同様である。

【0065】

なお、空間的正規化処理（ステップＳ４０２）とクロップ処理（ステップＳ４０３）の間に、学習データ内の画像の水増し処理を行ってもよい。すなわち、学習データ内の各画像を例えば各軸方向に±１０ピクセルずつ平行移動させ、そのように変位させた画像も学習データとして用いても良い。水増しは、平行移動だけでなく回転によって行ってもよい。また、両者を組み合わせてもよい。また、ステップＳ４０５で統計解析を行う際は、オリジナルの画像と水増しした画像をまとめて統計解析してもよいし、変位量（平行移動・回転量）が同一である画像ごとにグループ分けして、それぞれ統計解析を行ってもよい。変位量が同一である画像ごとにグループ分けして統計解析する場合、断面種別の数×変位量の組み合わせ数の統計モデルが生成されることになる。このようにすることで、入力画像の位置や角度のバリエーションに対する統計モデルの頑健性を向上させることができる。また、本実施形態では画素値情報として画素値そのものを利用したが、他の画像特徴（例えば、画像のテクスチャに関する特徴など）を画素値情報として利用してもよい。

【0066】

（ステップＳ１０２：入力画像の取得）
ステップＳ１０２において、ユーザが操作部３５を介して画像の取得を指示すると、画像取得部５１は、ユーザが指定した入力画像をデータベース２２から取得し、ＲＡＭ３３に格納する。このとき、表示処理部５４は、入力画像を表示部３６の画像表示領域内に表示させてもよい。

【0067】

（ステップＳ１０３：断面種別の識別）
ステップＳ１０３において、推定部５３は、ステップＳ１０１で取得した複数の統計モデルそれぞれの入力画像への当てはまりを評価することによって、入力画像の断面種別を識別する。本実施形態では、統計モデルとして、断面種別ごとの部分空間情報が用いられる。すなわち、識別すべき断面種別の数が４種類の場合、４つの部分空間情報が取得される。この場合、推定部５３は、断面種別ごとに入力画像の特徴が部分空間に属する可能性を表すスコアを算出し、断面種別ごとのスコアに基づいて入力画像の断面種別を識別するとよい。スコアの算出方法は問わないが、例えば、入力画像の特徴を部分空間へ投影したのち元の画像空間に逆投影することで得られる再構築画像を断面種別ごとに生成し、各再構築画像と入力画像の類似度に基づいて断面種別ごとのスコアを算出するとよい。再構築画像と入力画像の類似度が高いほど、すなわち、再構築画像と入力画像の差異が小さいほど、入力画像がその部分空間に属する可能性が高いと評価することができる。したがって、断面種別ごとのスコアを比較することにより、入力画像が属する部分空間、すなわち、入力画像の断面種別を推定することができる。なお、スコアは、再構築画像と入力画像の類似度と正の相関をもつスコアでもよいし、負の相関をもつスコアでもよい。例えば、再構築画像と入力画像のあいだの差異（再構築誤差と呼ぶ）は、類似度と負の相関をもつスコアの一例である。

【0068】

図６に、推定部５３によって実行される、断面種別の識別処理の具体例を示す。

【0069】

ステップＳ６０１において、推定部５３は、画像取得部５１から入力画像の画素値情報を取得する。また、推定部５３は、入力画像の空間的正規化に用いる情報として、プローブ位置情報、有効画像表示サイズ情報を取得する。これらの情報は、例えば、超音波診断装置が入力画像を撮像する際に用いた撮像パラメータを入力画像に付帯情報として保持させておき、既知の情報として入力画像と共に読み込むことで取得できる。あるいは、入力
画像が当該情報を保持していない場合には、入力画像から被検体領域を画像処理で抽出することで取得してもよい。

【0070】

ステップＳ６０２において、推定部５３は、入力画像に対し、ステップＳ４０２、Ｓ４０３と同様の空間的正規化処理とクロップ処理を施すことで、入力画像のｘ方向とｙ方向のピクセル数を学習データと同じＮｘ・Ｎｙに揃える。そして、推定部５３は、入力画像の計算対象範囲内の画素群の画素値情報を、式（１）に従い、列ベクトルａ_ｔに変換する。

【0071】

なお、入力画像に対する空間的正規化処理は、ステップＳ４０２において学習データに対して施した空間的正規化処理と同じ処理であることが望ましい。学習データと入力画像のスケールが揃っている方がより高い識別精度を期待できるからである。しかしながら、空間的正規化処理は必須ではなく、省略してもよい。また、有効画像表示サイズを基準とした正規化ではなく、画像サイズ（画像全体のｘ方向およびｙ方向のピクセル数）を基準とした正規化や、１ピクセル当たりの物理サイズを基準とした正規化を行ってもよい。なお、統計モデルである部分空間情報を算出するときは学習データに対し空間的正規化を行うが、入力画像に対しては空間的正規化を行わない、という構成にすることも可能である。この方法は、学習時はオフラインのマニュアル作業によって有効画像表示サイズを既知の情報として取得できるが、識別時は有効画像表示サイズが不明という場合に対応できる。あるいは、入力画像の有効画像表示サイズに合わせて学習データの空間的正規化を行うことで、入力画像の空間的正規化を省略してもよい。この方法は、入力画像の有効画像表示サイズが既知かつ固定の場合に特に有効である。

【0072】

ステップＳ６０３において、推定部５３は、入力画像を夫々の部分空間で再構築する。いま、夫々の部分空間について、すべての固有ベクトルｅ_１～ｅ_Ｌを並べた行列Ｅを以下の式で定義する。

【数4】

【0073】

推定部５３は、以下の式を用いて入力画像ａ_ｔの固有空間への投影点ｐ_ｔを計算する。

【数5】

ここでＥ^ＴはＥの転置行列を表す。次に、以下の式を用いて、固有空間への投影点ｐ_ｔを今度は逆投影する。

【0074】

【数6】

左辺（ａハット_ｔ）は、行列Ｅで表現される部分空間の表現力の範囲内で入力画像ａ_ｔを表現した、再構築画像である。推定部５３は、この再構築画像を、断面種別ごとのＥを用いてそれぞれ算出する。

【0075】

ステップＳ６０４において、推定部５３は、入力画像と、断面種別ごとに算出された再構築画像との差異（すなわち、再構築誤差）を表すスコアを算出し、断面種別ごとのスコアを比較することで断面種別を識別する。本実施形態では、公知の画像類似度評価指標であるＳＳＤ（Ｓｑｕａｒｅｄ Ｓｕｍ Ｄｉｆｆｅｒｅｎｃｅ）を、入力画像の特徴を表
す列ベクトルａ_ｔと、各再構築画像を表す列ベクトルａハット_ｔの差異を示すスコアとして用いる。そして、スコアが最も小さい再構築画像をもたらす部分空間と対応付いた断面種別を識別結果とする。なお、再構築誤差の算出には、上記したＳＳＤ以外にも、どのような画像類似評価尺度を用いてもよい。

【0076】

なお、部分空間夫々に対して入力画像のスコアを算出するものであれば、上記以外の手法を用いてもよい。例えば、式（４）の投影処理のみを行い、最も平均ベクトルに近い、すなわち投影点ｐ_ｔのノルムが小さいものを識別結果としてもよい。あるいは、カーネル非線型部分空間法、相互部分空間法といった種々の公知の部分空間法を用いてもよい。

【0077】

なお、推定部５３は、夫々の断面種別について算出されたスコアが所定の条件を満たす場合に、「入力画像はいずれの断面種別にも該当しない」という判定を行ってもよい。所定の条件は、例えば、所定の閾値より小さいスコアが存在しない（すなわち、どの断面種別についても再構築誤差が大きい）、断面種別間のスコアの差が所定値より小さい（すなわち、どちらの断面種別であるか明確に識別できない）、などが考えられる。これにより、例えば心臓領域以外を撮像した（あるいは、識別対象でない断面種別の）２次元超音波画像が入力された場合に、誤った識別結果が表示されてユーザに混乱を生じさせる可能性を低減させることができる。

【0078】

ステップＳ６０５において、推定部５３は、ステップＳ６０４の識別結果をＲＡＭ３３に格納する。また、推定部５３は、データベース２２に識別結果を出力し、データベース２２が保持する入力画像の付帯情報として保存させるようにしてもよい。なお、１つの断面種別を特定することは行わずに、夫々の部分空間に対して算出されたスコアを識別結果としてＲＡＭ３３に格納する構成でもよい。なお、前記スコアは、再構築誤差の値そのものでもよいし、例えば０．０～１．０の範囲内に収まるように正規化した値でもよい。

【0079】

（ステップＳ１０４：識別結果の表示）
ステップＳ１０４において、表示処理部５４は、入力画像とその種別識別結果を、それらが容易に視認できるような表示形態で、表示部３６の画像表示領域内に表示する。なお、断面種別の記録を目的とする場合には、本ステップの表示処理は必ずしも必要ではなく、識別した断面種別情報をデータベース２２又は記憶部３４に保存するだけの構成であってもよい。

【0080】

なお、表示処理部５４は、断面種別だけでなく、ステップＳ１０３で算出されたスコアを表示してもよい。その場合、ユーザは、断面種別間のスコアの差を観察することで、どの程度識別結果が確からしいか、という判断をする材料を得ることができる。また、スコアだけを表示し、ユーザに断面種別を判断させる構成であってもよい。

【0081】

なお、断面種別に応じた入力画像の解析や計測を目的とする場合には、本ステップのあと、画像処理装置１０は、断面種別に応じた処理を実行する。例えば、入力画像の断面種別を心尖部四腔像と判定した場合に左心室・左心房・右心室・右心房の抽出処理を行い、心尖部二腔像と判定した場合に左心室と左心房の抽出処理を行うような分岐処理を行う。この場合、断面種別の保存や表示は必ずしも行わなくてよい。

【0082】

なお、本実施形態では４種類（心尖部二腔像・心尖部三腔像・心尖部四腔像・空中放置像）の断面種別の識別を行う場合を例に挙げて説明したが、識別する断面種別の数が異なる場合であっても同様に処理を行うことができる。例えば、心尖部四腔像・心尖部二腔像の２種類を識別してもよいし、短軸像や傍胸骨長軸像を加えた５種類以上の識別を行ってもよい。すなわち、断面種別は、心尖部二腔像、心尖部三腔像、心尖部四腔像、短軸像、傍胸骨長軸像、および、空中放置像のうちの、少なくとも２種類以上を含んでいればよい
。

【0083】

なお、画像取得部５１が取得する入力画像が動画像の各フレームの場合に、当該動画像の各フレームに対して、ステップＳ１０２、Ｓ１０３、Ｓ１０４の処理を逐次実施する構成であってもよい。

【0084】

また、本実施形態では、入力画像と統計解析に用いる画像がともに２次元超音波画像である場合、すなわちモダリティが一致している場合を例に挙げて説明したが、両者のモダリティは異なっていてもよい。例えば、統計解析に用いる画像は３次元ＣＴ画像から切り出された２次元断面画像で入力画像は２次元超音波画像であってもよい。この場合、統計モデルで表現される画像と入力画像とでは、画素値分布や大小関係が異なる可能性がある。そのため、ステップＳ１０３では、正規化相関係数（ＮＣＣ：Ｎｏｒｍａｌｉｚｅｄ Ｃｏｒｒｅｌａｔｉｏｎ Ｃｏｅｆｆｉｃｉｅｎｔ）や相互情報量（ＭＩ：Ｍｕｔｕａｌ
Ｉｎｆｏｒｍａｔｉｏｎ）といった、画素値分布の違いに不偏な類似度評価尺度を用いて再構築誤差を算出することが望ましい。

【0085】

本実施形態によれば、学習データから抽出された統計的傾向に基づいて、画像の断面種別の識別をより高い精度で実行できるという効果がある。また、断面種別識別に必要な統計モデル（部分空間情報）のデータサイズを削減し、推定処理に要する時間を短縮することができるという効果がある。

【0086】

＜変形例＞
上記実施形態では、推定処理の例として断面種別の識別を説明した。しかし、画像の部分空間情報を用いるものであれば、断面種別の識別に限らず、入力画像の任意の付帯情報の識別・推定処理に対して、統計処理を行う計算対象範囲の限定方法を適用可能である。例えば、心臓領域を撮像した２次元超音波画像から左心室・左心房・右心室・右心房といった各領域の輪郭線を推定する輪郭抽出処理に適用することが可能である。

【0087】

上述した計算対象範囲の限定方法を輪郭抽出処理に適用する場合、非特許文献１で開示されているＢａｃｋ ｐｒｏｊｅｃｔｉｏｎ ｆｏｒ ｌｏｓｔ ｐｉｘｅｌｓ（ＢＰＬＰ）法などの公知の手法を用いてもよい。ＢＰＬＰ法は、複数の画像の画素値の情報と、該画像に写る物体の姿勢を表す情報を連結したデータに関する部分空間情報とを利用して、未知の画像の画素値の情報から該画像に写る物体の姿勢を表す情報を推定する手法である。換言すると、ＢＰＬＰ法は、ある欠損が生じているデータについて、欠損のない学習データを統計解析した結果から、該欠損部分のデータを補間する手法である。

【0088】

［非特許文献１］ Ｔｏｓｈｉｙｕｋｉ Ａｍａｎｏ，ｅｔ．ａｌ．“Ａｎ ａｐｐｅａｒａｎｃｅ ｂａｓｅｄ ｆａｓｔ ｌｉｎｅａｒ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ” ＭＶＡ ２００９ ＩＡＰＲ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ．２００９ Ｍａｙ ２０－２２．

【0089】

この場合、学習時（部分空間情報の算出時）は、画素値情報と、推定対象とする付帯情報（ここでは輪郭点群座標）を連結させた列ベクトルを用いて統計解析（主成分分析）を行う。そして、推定時は、未知の部分（輪郭点群座標）を欠落させて、固有空間法による投影・逆投影を行う。このようにすることで、部分空間情報が有する統計的情報に基づいて、投影・逆投影によって欠落部分が復元される。

【0090】

ＢＰＬＰ法を用いる場合、統計解析に入力される学習データは、画素値情報を１列に並べた列ベクトルと、対象領域の輪郭を構成する輪郭点群の座標値を１列に並べた列ベクトル、それら２つを連結した列ベクトルである。上記のうち、画素値情報を１列に並べた列
ベクトル部分については、上記実施形態で断面種別の識別のために用いた画素値情報（すなわち、列ベクトルａ）と同じでよい。そのため、上記実施形態のステップＳ１００およびＳ１０１で示した計算対象範囲によるサイズ削減を、そのまま利用可能である。また、推定処理（入力画像の投影・逆投影処理）についても同様に、入力画像を列ベクトルａ_ｔに変換する際に、計算対象範囲内の画素値情報のみを用いることでサイズを削減することが可能である。

【0091】

このように、上記実施形態で示した計算対象範囲の限定方法は、断面種別の識別に限らず、輪郭情報の推定など、任意の推定処理に適用可能である。なかでも、医用画像とその付帯情報からなる学習データを統計解析することにより算出された統計モデルである部分空間情報を用いて、入力画像からその付帯情報を推定・識別する処理に対して、特に好ましく適用することができる。

【0092】

＜その他＞
以上、本発明の実施形態について説明したが、本発明はこれらに限定されるものではなく、請求項に記載された範囲内において、変更・変形することが可能である。

【0093】

また、開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェイス機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

【0094】

また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

【符号の説明】

【0095】

１０ 画像処理装置
３７ 制御部
５１ 画像取得部
５２ 統計モデル取得部
５３ 推定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】