特許 7667661 画像処理装置、医用画像撮像装置、画像処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-04-15

(45)【発行日】2025-04-23

(54)【発明の名称】画像処理装置、医用画像撮像装置、画像処理方法、およびプログラム

(51)【国際特許分類】

   G06T 7/12 20170101AFI20250416BHJP

   G06T 1/00 20060101ALI20250416BHJP

   G06T 1/40 20060101ALI20250416BHJP

   G06T 7/00 20170101ALI20250416BHJP

   A61B 6/03 20060101ALI20250416BHJP

   A61B 5/055 20060101ALI20250416BHJP

   A61B 8/14 20060101ALI20250416BHJP

【ＦＩ】

G06T7/12

G06T1/00 290A

G06T1/40

G06T7/00 612

G06T7/00 350C

A61B6/03 A

A61B5/055 380

A61B8/14

【請求項の数】 13

(21)【出願番号】P 2021007311

(22)【出願日】2021-01-20

(65)【公開番号】P2022111704

(43)【公開日】2022-08-01

【審査請求日】2024-01-15

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(73)【特許権者】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】音丸 格

(72)【発明者】

【氏名】佐藤 清秀

(72)【発明者】

【氏名】生清 雄太

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２００９－１７８４２３（ＪＰ，Ａ）

【文献】特開２００４－２６７３９３（ＪＰ，Ａ）

【文献】特開２０１５－０７３７９８（ＪＰ，Ａ）

【文献】特表２０２０－５１０４６３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０６Ｔ １／００

Ｇ０６Ｔ １／４０

Ｇ０６Ｔ ３／００－５／９４

Ａ６１Ｂ ６／００－６／５８

Ａ６１Ｂ ５／０５５

Ａ６１Ｂ ８／００－８／１５

(57)【特許請求の範囲】

【請求項1】

対象物を撮像した画像における前記対象物の輪郭が所定の特徴点の位置に基づいて学習された複数の学習済モデルを取得するモデル取得部と、
入力画像を取得する画像取得部と、
ユーザーが入力する入力点の有無により前記複数の学習済モデルから学習済モデルを選択する選択部と、
前記入力点が入力されていない場合に、前記入力画像における所定の位置を、前記選択部により選択された学習済モデルの正規化空間における所定の位置に合わせるように、前記選択部により選択された学習済モデルが生成された正規化空間と同一の正規化空間に前記入力画像を座標変換した正規化画像を取得する正規化部と、
前記選択部により選択された前記学習済モデルと、前記正規化画像と、を用いて、前記入力画像における前記対象物の輪郭を推定する推定部と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記正規化部は、前記入力点が入力されている場合に、前記入力点の位置を前記学習済モデルの特徴点の位置に合わせるように、前記入力画像を前記正規化空間に座標変換した正規化画像を取得することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

対象物を撮像した画像における前記対象物の輪郭が所定の特徴点の位置に基づいて学習され、入力点を輪郭推定で使用しない第１の学習済モデルと、前記入力点を前記輪郭推定で使用する第２の学習済モデルと、が含まれる複数の学習済モデルを取得するモデル取得部と、
入力画像を取得する画像取得部と、
前記入力点の有無により前記複数の学習済モデルから学習済モデルを選択する選択部と、
前記入力点が入力されていない場合に、前記入力画像における所定の位置を正規化空間における前記学習済モデルの所定の位置に合わせるように、前記選択部により選択された学習済モデルが生成された正規化空間と同一の正規化空間に前記入力画像を座標変換した正規化画像を取得する正規化部と、
前記選択部により選択された前記学習済モデルと、前記正規化画像と、を用いて、前記入力点が入力されていない場合、前記第１の学習済モデルを用いて、前記入力画像における前記輪郭を推定し、前記入力点が入力されている場合、前記第２の学習済モデルを用いて、前記入力画像における前記輪郭を推定する推定部と、
を備えることを特徴とする画像処理装置。

【請求項4】

前記推定の結果を前記入力画像に重畳した重畳画像を表示部に表示させる表示処理部と、
前記重畳画像に対してユーザーが入力した特徴点の位置を前記入力点として取得する位置取得部と、を更に備え、
前記推定部は、
前記入力点が入力されていない場合、前記第１の学習済モデルを用いて、前記入力画像における前記輪郭を推定し、
前記入力点が入力されている場合、前記第２の学習済モデルを用いて、前記入力画像における前記輪郭を推定する
ことを特徴とする請求項３に記載の画像処理装置。

【請求項5】

前記入力画像の画質を評価する評価部を更に備え、
前記推定部は、前記評価部による前記画質の評価結果に基づいて前記複数の学習済モデルから選択した学習済モデルと、当該学習済モデルの正規化空間に座標変換した正規化画像とを用いて、前記入力画像における前記対象物の輪郭を推定することを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記推定部は、前記評価部により前記入力画像の画質が閾値を満たさないと評価された場合に、前記第２の学習済モデルを用いて、前記入力画像における前記輪郭を推定することを特徴とする請求項５に記載の画像処理装置。

【請求項7】

前記表示処理部は、前記評価部により前記入力画像の画質が閾値を満たさないと評価された場合に、前記特徴点の入力を促すユーザインタフェースを前記表示部に表示させ、
前記位置取得部は、前記ユーザインタフェースから入力された特徴点の位置を前記入力点として取得することを特徴とする請求項６に記載の画像処理装置。

【請求項8】

対象物を撮像した画像における前記対象物の輪郭が所定の特徴点の位置に基づいて学習された複数の学習済モデルを取得するモデル取得部と、
入力画像を取得し、前記入力画像の画質を評価する画像取得部と、
前記画質の評価結果に基づいて前記複数の学習済モデルから学習済モデルを選択する選択部と、
前記入力画像を前記選択部により選択された学習済モデルが生成された正規化空間と同一の正規化空間に座標変換した正規化画像を取得する正規化部と、
前記選択部により選択された前記学習済モデルと、前記正規化画像と、を用いて、前記入力画像における前記対象物の輪郭を推定する推定部と、
を備えることを特徴とする画像処理装置。

【請求項9】

前記モデル取得部は、前記対象物を撮像した画像及び前記対象物の輪郭を入力データとしたＰＣＡ（Principle Component Analysis）法に基づいた主成分分析により前記学習済モデルを取得し、
前記推定部は、前記正規化空間に座標変換された前記入力画像の画素値情報を既知の情報として設定し、前記入力画像における前記対象物の輪郭を未知の情報として設定したデータに対して、ＢＰＬＰ（Back projection for lost pixels）法に基づいた推定処理により、前記入力画像における前記輪郭を推定することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。

【請求項10】

前記モデル取得部は、前記対象物を撮像した画像を入力し、前記画像における前記対象物の輪郭を出力するＣＮＮ法（Convolutional Neural Network）による学習に基づいて、前記学習済モデルを取得し、
前記推定部は、前記正規化空間に座標変換された前記入力画像の画素値情報を入力し、前記入力画像における前記対象物の輪郭を出力するＣＮＮ法（Convolutional Neural Network）による学習に基づいて、前記入力画像における前記輪郭を推定することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。

【請求項11】

請求項１乃至１０のいずれか１項に記載の画像処理装置を有する医用画像撮像装置。

【請求項12】

画像処理方法であって、
対象物を撮像した画像における前記対象物の輪郭が所定の特徴点の位置に基づいて学習された複数の学習済モデルを取得するモデル取得工程と、
入力画像を取得し、前記入力画像の画質を評価する画像取得工程と、
前記画質の評価結果に基づいて前記複数の学習済モデルから学習済モデルを選択する選択工程と、
前記入力画像を前記選択工程で選択された学習済モデルが生成された正規化空間と同一の正規化空間に座標変換した正規化画像を取得する正規化工程と、
前記選択工程で選択された前記学習済モデルと、前記正規化画像と、を用いて、前記入力画像における前記対象物の輪郭を推定する推定工程と、
を有することを特徴とする画像処理方法。

【請求項13】

コンピュータに、請求項１２に記載の画像処理方法の各工程を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、医用画像撮像装置、画像処理方法、およびプログラムに関する。

【背景技術】

【0002】

医用の分野では、超音波画像診断装置などの種々の画像診断装置（モダリティ）によって取得される画像を用いた診断が行われている。この診断の中では、画像に写る注目領域の面積、体積などの情報を診断に利用することが行われている。ここで、領域の面積などを算出するためには、画像から当該領域の輪郭形状を表す情報である輪郭情報を推定する必要がある。この輪郭推定の作業を人手で行う場合、医師などの作業者に負担を強いることから、作業者の労力を軽減するために、輪郭推定を行う種々の技術が提案されている。

【0003】

例えば、特許文献１では、作業者が手動で入力する点（入力点）を用いて輪郭を推定する技術として、心臓領域を撮像した２次元超音波画像を対象にして、入力された入力点を結ぶ初期輪郭に基づいて、輪郭推定を行う技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－７３７９８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１に記載の技術では、輪郭推定の精度は作業者が入力する入力点の精度に依存するため、症例によっては必ずしも適切な形状を推定できない場合が生じ得る。

【0006】

本発明は、上記課題を解決するため、精度の高い輪郭推定を行うことが可能な技術を提供する。

【課題を解決するための手段】

【0007】

本発明の一態様による画像処理装置は以下の構成を備える。すなわち、画像処理装置は、対象物を撮像した画像における前記対象物の輪郭が所定の特徴点の位置に基づいて学習された複数の学習済モデルを取得するモデル取得部と、
入力画像を取得する画像取得部と、
ユーザーが入力する入力点の有無により前記複数の学習済モデルから学習済モデルを選択する選択部と、
前記入力点が入力されていない場合に、前記入力画像における所定の位置を、前記選択部により選択された学習済モデルの正規化空間における所定の位置に合わせるように、前記選択部により選択された学習済モデルが生成された正規化空間と同一の正規化空間に前記入力画像を座標変換した正規化画像を取得する正規化部と、
前記選択部により選択された前記学習済モデルと、前記正規化画像と、を用いて、前記入力画像における前記対象物の輪郭を推定する推定部と、
を備える。
本発明の他の態様による画像処理装置は以下の構成を備える。すなわち、画像処理装置は、対象物を撮像した画像における前記対象物の輪郭が所定の特徴点の位置に基づいて学習され、入力点を輪郭推定で使用しない第１の学習済モデルと、前記入力点を前記輪郭推定で使用する第２の学習済モデルと、が含まれる複数の学習済モデルを取得するモデル取得部と、
入力画像を取得する画像取得部と、
前記入力点の有無により前記複数の学習済モデルから学習済モデルを選択する選択部と、
前記入力点が入力されていない場合に、前記入力画像における所定の位置を正規化空間における前記学習済モデルの所定の位置に合わせるように、前記選択部により選択された学習済モデルが生成された正規化空間と同一の正規化空間に前記入力画像を座標変換した正規化画像を取得する正規化部と、
前記選択部により選択された前記学習済モデルと、前記正規化画像と、を用いて、前記入力点が入力されていない場合、前記第１の学習済モデルを用いて、前記入力画像における前記輪郭を推定し、前記入力点が入力されている場合、前記第２の学習済モデルを用いて、前記入力画像における前記輪郭を推定する推定部と、を備える。
本発明の他の態様による画像処理装置は以下の構成を備える。すなわち、画像処理装置は、対象物を撮像した画像における前記対象物の輪郭が所定の特徴点の位置に基づいて学習された複数の学習済モデルを取得するモデル取得部と、
入力画像を取得し、前記入力画像の画質を評価する画像取得部と、
前記画質の評価結果に基づいて前記複数の学習済モデルから学習済モデルを選択する選択部と、
前記入力画像を前記選択部により選択された学習済モデルが生成された正規化空間と同一の正規化空間に座標変換した正規化画像を取得する正規化部と、
前記選択部により選択された前記学習済モデルと、前記正規化画像と、を用いて、前記入力画像における前記対象物の輪郭を推定する推定部と、
を備える。
本発明の他の態様による画像処理方法は以下の構成を有する。すなわち、画像処理方法は、対象物を撮像した画像における前記対象物の輪郭が所定の特徴点の位置に基づいて学習された複数の学習済モデルを取得するモデル取得工程と、
入力画像を取得し、前記入力画像の画質を評価する画像取得工程と、
前記画質の評価結果に基づいて前記複数の学習済モデルから学習済モデルを選択する選択工程と、
前記入力画像を前記選択工程で選択された学習済モデルが生成された正規化空間と同一の正規化空間に座標変換した正規化画像を取得する正規化工程と、
前記選択工程で選択された前記学習済モデルと、前記正規化画像と、を用いて、前記入力画像における前記対象物の輪郭を推定する推定工程と、
を有する。

【発明の効果】

【0008】

本発明によれば、精度の高い輪郭推定を行うことが可能になる。

【図面の簡単な説明】

【0009】

【図1】第１乃至第４の実施形態に係る画像処理装置の機能の構成を示す図。

【図2】第１乃至第３の実施形態に係る画像処理装置の処理手順の例を示すフローチャート。

【図3】第１乃至第３の実施形態に係る学習済モデルの取得処理の手順の例を示すフローチャート。

【図4】（ａ）正規化空間への座標変換処理（正規化処理）を説明する図、（ｂ）学習において学習データを水増しする処理を示す図。

【図5】輪郭推定処理の流れを示す図。

【図6】第４の実施形態に係る画像処理装置の処理手順の例を示すフローチャート。

【図7】第４の実施形態に係る学習済モデルの取得処理の手順の例を示すフローチャート。

【図8】第４の実施形態に係る学習済モデルの取得処理の変形例を示すフローチャート。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0011】

本発明の実施形態に係る医用画像撮像装置は撮像画像を処理する画像処理装置を有しており、画像処理装置は、入力画像および入力画像上でユーザーが入力する特徴点（以下、入力点）から、被検体の輪郭を推定（抽出）する機能を提供する。処理対象となる入力画像は、医用画像、すなわち、医学的な診断、検査、研究などの目的で撮像ないし生成された被検体（人体など）の画像であり、典型的には、モダリティと呼ばれる撮像システムによって取得された画像である。

【0012】

例えば、超音波診断装置によって得られる超音波画像、Ｘ線ＣＴ装置によって得られるＸ線ＣＴ画像、ＭＲＩ装置によって得られるＭＲＩ画像などが処理対象になり得る。入力画像は、２次元画像でも３次元画像でもよく、また、１つの時相の画像でも複数の時相の画像でもよい。注目領域（対象物）は、画像の中の一部の領域であり、例えば、解剖学的構造（臓器、血管、骨など）や病変などである。何を注目領域（対象物）に選ぶかは任意に設定することができる。

【0013】

以下の説明では、２次元超音波画像から対象物として、心臓の右心室の輪郭推定を行う場合の例に挙げて、本発明の実施形態に係る画像処理装置の具体例を詳しく説明する。

【0014】

＜第１の実施形態＞
第１の実施形態では、ユーザーによる入力点を輪郭推定で使用する輪郭推定を、本実施形態では半自動輪郭推定という。入力画像上で入力される所定の特徴点（入力点）の座標値で座標変換した正規化空間において、対象物の輪郭推定を半自動推定により行う構成について説明する。本実施形態では、ユーザーの手動により入力された特徴点に基づいて、画像処理装置（またはシステム）が行う注目領域の輪郭推定を半自動推定という。本実施形態で説明する画像処理装置は対象物の輪郭推定を、ユーザーの手動により入力された特徴点（入力点）を用いた半自動推定により行う。

【0015】

第１の実施形態に係る画像処理装置は、入力画像、および、ユーザーによって入力画像上で入力される所定の特徴点（入力点）の座標から、対象物である右心室の輪郭（輪郭情報）を自動的に推定（抽出）する機能を有している。ここで、対象物の輪郭（輪郭情報）は、輪郭上に配置した所定の数（以下、Ｎｐとする）の点群（輪郭点群）の座標によって表現される。

【0016】

本実施形態の画像処理装置は、統計処理によって学習データから構築した学習済モデル（統計モデル）に基づいて、対象物の輪郭（輪郭情報）を推定する。ここで、学習データは、対象物の輪郭情報の正解が既知な複数の症例の画像（サンプル）によって構成される。また、学習データの各画像には、所定の特徴点の座標が与えられている。学習済モデルの構築は、特徴点が（例えば、心腔の心尖位などを示す特徴点の種別ごとに）所定の同一座標に位置するように、学習データの各画像を座標変換した正規化空間で行われる。そして、入力画像の輪郭推定は、入力点を用いて同様の正規化処理を行ったうえで実行される。

【0017】

このようにすることで、本実施形態の画像処理装置は、入力点の座標値が正規化空間において固定された状態（所定の同一座標に座標変換された状態）で、学習済モデルの統計的傾向に基づいて右心室の輪郭を推定することができる。なお、本実施形態は、対象物の例として、右心室の輪郭情報を推定する構成について説明するが、対象物は右心室に限られず、左心室、左心房、右心房を含むその他の部位や、それら複数の領域を組み合わせた領域の輪郭を推定する場合にも適用可能である。

【0018】

以下、図１を用いて本実施形態の画像処理装置１０の機能の構成および画像処理装置１０により実行される処理を説明する。図１は、本実施形態の画像処理装置１０を含む画像処理システム１００（医用画像処理ステムともいう）の構成例を示すブロック図である。画像処理システム１００は、画像処理装置１０およびデータベース２２を備える。画像処理装置１０は、ネットワーク２１を介してデータベース２２に通信可能な状態で接続されている。ネットワーク２１は、例えば、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）を含む。

【0019】

データベース２２は、複数の画像や情報を保持し、管理する。データベース２２で管理される情報には、画像処理装置１０による輪郭推定処理に供される入力画像と、学習済モデルを生成するための学習データが含まれる。ここで、データベース２２で管理される情報には、学習データの代わりに、学習データから生成した学習済モデルの情報が含まれても良い。学習済モデルの情報は、データベース２２の代わりに、画像処理装置１０の内部記憶（ＲＯＭ３２または記憶部３４）に記憶されていても良い。画像処理装置１０は、ネットワーク２１を介してデータベース２２で保持されているデータを取得することが可能である。

【0020】

画像処理装置１０は、通信ＩＦ（Interface）３１（通信部）、ＲＯＭ（Read Only Memory）３２、ＲＡＭ（Random Access Memory）３３、記憶部３４、操作部３５、表示部３６、及び制御部３７を備える。

【0021】

通信ＩＦ３１（通信部）は、ＬＡＮカードなどにより構成され、外部装置（例えば、データベース２２など）と画像処理装置１０との通信を実現する。ＲＯＭ３２は、不揮発性のメモリなどにより構成され、各種プログラムや各種データを記憶する。ＲＡＭ３３は、揮発性のメモリなどにより構成され、実行中のプログラムやデータを一時的に記憶するワークメモリとして用いられる。記憶部３４は、ＨＤＤ（Hard Disk Drive）などにより構成され、各種プログラムや各種データを記憶する。

【0022】

操作部３５は、キーボードやマウス、タッチパネルなどにより構成され、ユーザ（例えば、医師や検査技師）からの指示を各種装置に入力する。

【0023】

表示部３６は、ディスプレイなどにより構成され、各種情報をユーザーに表示する。

【0024】

制御部３７は、ＣＰＵ（Central Processing Unit）などにより構成され、画像処理装置１０における処理を統括制御する。制御部３７は、その機能的な構成として、画像取得部４１、学習モデル取得部４３、輪郭推定部４４、及び表示処理部４５を備える。制御部３７は、ＧＰＵ（Graphics Processing Unit）やＤＳＰ（Digital Signal Processor）やＦＰＧＡ（Field-Programmable Gate Array）などを備えてもよい。

【0025】

（画像取得部４１）
画像取得部４１は、処理対象となる入力画像（輪郭情報が未知の画像）をデータベース２２から取得する。入力画像は、各種モダリティにより取得された被検体の撮像画像であり、本実施形態の場合は心臓の２次元超音波画像である。画像取得部４１は、入力画像をモダリティから直接取得してもよい。この場合、画像処理装置１０はモダリティ（撮像システム）のコンソールの中に実装されていてもよい。本実施形態では、入力画像が２次元の超音波画像である例を説明するが、他の種類の画像であってもよい。本実施形態の方法は、２次元以上の画像（複数の２次元画像、２次元の動画像、３次元の静止画像、複数の３次元画像、あるいは、３次元の動画像など）であっても適用可能である。また、モダリティの種類によらず適用可能である。

【0026】

（位置取得部４２）
位置取得部４２は、入力画像に対してユーザーが入力する特徴点（特徴点の位置）を入力点として取得する。位置取得部４２は、入力画像上においてユーザーが操作部３５を介して手動入力する所定の特徴点（入力点）の座標情報（位置情報）を取得する。本実施形態では、所定の特徴点として、右心室の心尖位置、および、三尖弁の左右弁輪位置の中点の２点を用いる。位置取得部４２の機能については、ステップＳ２０２の説明で後述する。

【0027】

（学習モデル取得部４３）
学習モデル取得部４３は、対象物を撮像した画像における対象物の輪郭を学習する処理および学習済モデルを取得する処理の他、画像処理装置における記憶部に予め登録された学習済モデル又は外部に記憶された複数の学習済モデルから所望の学習済モデルを取得（選択）する機能を有する。学習モデル取得部４３は、対象物を撮像した画像における対象物の輪郭を、所定の特徴点の位置に基づいて学習された学習済モデルを取得する。具体的には、学習モデル取得部４３は、所定の対象物を撮像した画像と、当該画像における対象物の輪郭との関係を学習した学習済モデルであって、対象物の所定の特徴点の位置を合わせた正規化空間で生成された学習済モデルを取得する。

【0028】

学習モデル取得部４３は、学習データをデータベース２２から取得し、この学習データに対して統計解析を行う。学習データを構成するサンプルの各々は、複数の学習用症例の画像の画素値情報とその学習用の画像中の対象物の輪郭情報、そして所定の特徴点の座標情報とを含んだ構成のデータが含まれる。具体的には、学習モデル取得部４３は、学習データ取得部として機能して、複数の症例の画像と、複数の症例の画像における対象物の輪郭の位置（輪郭線の位置）と、複数の症例の画像における対象物の特徴点の位置とを学習データとして取得する。ここで、学習データにおける特徴点は、位置取得部４２によって取得される特徴点と解剖学的に同一の点を表す。すなわち、位置取得部４２が右心室の心尖位置と三尖弁の左右弁輪位置の中点の２点を特徴点として取得する場合、学習データを構成するサンプルにおける特徴点も、右心室の心尖位置と三尖弁の左右弁輪位置の中点の２点である。

【0029】

そして、学習モデル取得部４３は、統計解析の結果から、学習済モデル（例えば、サンプル群の統計的な分布を表す部分空間を構成する既定の情報）を取得する。このとき、学習済モデルは、各サンプルにおける特徴点の座標がそれぞれ（特徴点の種別ごとに）同一座標となるように座標変換された正規化空間上で定義される。学習モデル取得部４３は、複数の症例の画像における特徴点が同じ位置になるように、学習データの画像と輪郭とを正規化空間に座標変換する正規化処理により、正規化画像と正規化輪郭とを生成する。学習モデル取得部４３は、正規化部として機能して、入力点の位置を学習済モデルの特徴点の位置に合わせるように、入力画像を座標変換した正規化画像を取得する。具体的には、学習モデル取得部４３は、入力点の位置を学習済モデルの特徴点の位置に合わせるように、入力画像を正規化空間に座標変換した正規化画像を取得する。

【0030】

このようにすることで、この学習済モデルを用いて輪郭推定を行う際に、位置取得部４２で取得される特徴点（入力点）の座標は変化しない（すなわち固定された）状態で、サンプル群の統計的な分布に基づいて輪郭情報を推定できる。

【0031】

（輪郭推定部４４）
輪郭推定部４４は、正規化画像と学習済モデルとを用いて、入力画像における対象物の輪郭（輪郭情報）を推定する。ここで、対象物の輪郭（輪郭情報）には、輪郭線や輪郭線を構成する輪郭点の位置情報が含まれる。輪郭推定部４４は、学習モデル取得部４３で取得した学習済モデルを用いて、画像取得部４１で取得した入力画像、および、位置取得部４２で取得した入力画像上に設定された特徴点（入力点）の座標から、入力画像中の対象物（例えば、右心室）の輪郭情報を推定する。

【0032】

輪郭推定部４４は、入力点の位置を学習済モデルの特徴点の位置に合わせるように、入力画像を座標変換した正規化画像を取得する。そして、輪郭推定部４４は、正規化画像と学習済モデルとを用いて、入力画像における対象物の輪郭を推定する。具体的な処理として、輪郭推定部４４は、特徴点（入力点）の座標値の情報を用いて、入力画像を、学習済モデルが生成された正規化空間と同一の正規化空間に座標変換する。そして、正規化空間上で対象物（右心室）の輪郭情報を推定したのち、座標変換の逆変換を適用して、もとの空間における輪郭情報を算出する。なお、本実施形態では、の正規化空間において、入力画像の画素値情報を既知の情報、入力画像中の対象物の輪郭情報を未知の情報として設定し、Back projection for lost pixels（ＢＰＬＰ）法を用いた行列演算によって、入力画像の画素値情報と学習済モデルとから輪郭情報を推定する。ＢＰＬＰの詳細については後に説明する。

【0033】

（表示処理部４５）
表示処理部４５は、輪郭推定部４４により算出した結果に基づいて、入力画像および推定した対象物の輪郭情報を容易に視認できるような表示形態で、表示部３６の画像表示領域内に表示させる。

【0034】

上記の画像処理装置１０の各構成要素は、コンピュータプログラムに従って機能する。例えば、制御部３７（ＣＰＵ）がＲＡＭ３３をワーク領域としてＲＯＭ３２又は記憶部３４などに記憶されたコンピュータプログラムを読み込み、実行することで、各構成要素の機能が実現される。なお、画像処理装置１０の構成要素の一部又は全ての機能が専用の回路を用いることで実現されてもよい。また、制御部３７の構成要素の一部の機能が、クラウドコンピュータを用いることで実現されてもよい。例えば、画像処理装置１０とは異なる場所にある演算装置がネットワーク２１を介して画像処理装置１０に通信可能に接続され、画像処理装置１０と演算装置がデータの送受信を行うことで、画像処理装置１０又は制御部３７の構成要素の機能が実現されてもよい。

【0035】

次に、図２のフローチャートを用いて、図１の画像処理装置１０の処理手順の例について説明する。

【0036】

（ステップＳ２０１：画像の取得・表示）
ステップＳ２０１において、ユーザーが操作部３５を介して画像の取得を指示すると、画像取得部４１は、ユーザーが指定した入力画像をデータベース２２から取得し、ＲＡＭ３３に格納する。このとき、表示処理部４５は、入力画像を表示部３６の画像表示領域内に表示させる。ここで、入力画像の例を図５（ａ）に示す。

【0037】

なお、入力画像の指定方法は、公知のいずれの方法を用いてもよい。例えば、ユーザーが、操作部３５を介して、データベース２２上の画像を直接指定してもよいし、ユーザーが指定した画像群の中から、画像取得部４１は、所定の条件を満たす画像を入力画像として自動選択することも可能である。また、入力画像は、データベース２２から取得する以外にも、種々の画像診断装置（モダリティ）によって取得される画像、例えば、超音波画像診断装置が時々刻々と撮像する超音波画像の中から、画像取得部４１は入力画像を取得するようにしてもよい。例えば、ユーザーが画像の取得を指示した時点で撮像された最新の画像を入力画像とすることができる。また、画像と対応付けられた心電位等の情報に基づいて、ユーザーが取得を指示した時点以降に撮像される所定の時相（例えば、収縮末期や拡張末期）の画像を自動判別して、当該画像を入力画像としてもよい
（ステップＳ２０２：特徴点座標の取得）
ステップＳ２０２において、ユーザーが操作部３５を介して、表示部３６の表示領域内に表示された入力画像上に所定の特徴点の座標情報を入力すると、位置取得部４２は、入力画像上においてユーザーにより手動入力された特徴点（入力点）の座標情報（位置情報）を取得し、ＲＡＭ３３に格納する。

【0038】

図５（ａ）に特徴点（入力点）の座標情報の例を示す。本実施形態において取得される特徴点とは、心尖位置５０１と左右弁輪の中点位置５０３の２点であるとする。なお、心尖位置５０１と左右弁輪の中点位置５０３は例示的なものであり、座標情報を取得する２点の特徴点は、心尖と左右弁輪中点の組み合わせ以外であってもよい。例えば、三尖弁の右側の弁輪の位置と左側の弁輪の位置の２点を特徴点として用いてもよい。

【0039】

また、特徴点は、２点に限られず、心尖位置の１点であってもよいし、心尖位置および左右弁輪それぞれの位置の３点であってもよい。また、心尖位置と左右弁輪の間の輪郭線上の位置を含む４点以上であってもよい。ユーザーからの入力に基づいて、位置取得部４２は、後述する入力画像の正規化処理（ステップＳ２０４）を行うために必要な特徴点の座標情報を取得することが可能である。

【0040】

なお、特徴点の座標情報の取得は、多様な方法をとることが可能であり、公知の何れの手法を用いてもよい。例えば、ユーザーが、操作部３５として、マウスを用いて入力画像上の特徴点の位置をクリックすることで座標情報を指定してもよいし、トラックボールを用いて座標情報を指定してもよい。このとき、ユーザーは、指定した座標情報が何れの特徴点であるかを同定するための情報（ラベル）を、不図示のＵＩ（ユーザインタフェース）を介して別途指定することも可能である。

【0041】

あるいは、ユーザーが、操作部３５を介して、特徴点の座標位置自体を指定し、位置取得部４２が、指定された特徴点の座標位置に基づいて、複数の特徴点が心尖であるか左右弁輪中点であるかという同定を自動的に行ってもよい。例えば、位置取得部４２は、超音波プローブの位置に対して近い位置の特徴点（すなわち、特徴点のｙ座標値が０に近い位置の特徴点）を心尖として座標情報を取得し、超音波プローブの位置に対して遠い位置の特徴点を左右弁輪中点として座標情報を取得することも可能である。あるいは、ユーザーが座標情報を入力する順番を予め固定しておき、位置取得部４２は、最初に入力された１点目を心尖位置として座標情報を取得し、次に入力された２点目を左右弁輪中点位置として座標情報を取得するようにもできる。

【0042】

また、左右弁輪中点位置を、操作部３５を介してユーザーに直接指定させる代わりに、目視確認が容易な位置をユーザーに指定させ、指定された位置に基づいて、位置取得部４２が左右弁輪中点の座標情報を取得することも可能である。例えば、目視確認が容易な左の弁輪の位置と右の弁輪の位置とを、操作部３５を介してユーザーに指定させ、位置取得部４２が、ユーザーにより指定された左の弁輪の位置と右の弁輪の位置との中点を計算し、計算した中点の位置を左右弁輪中点位置として取得してもよい。

【0043】

また、位置取得部４２は、テンプレートマッチングや機械学習を用いて、これら特徴点の座標情報を自動検出することも可能である。また、位置取得部４２は、自動検出した特徴点の座標情報を、操作部３５を介したユーザーの入力により修正することも可能である。

【0044】

更に、位置取得部４２及び表示処理部４５は、夫々の特徴点が存在しうる平均的位置に各特徴点を示すマーカを入力画像上に重畳表示させ、ユーザーによりドラッグされたマーカの位置に基づいて、位置取得部４２は、平均的位置の各特徴点の座標情報を修正することも可能である。

【0045】

（ステップＳ２０３：学習済モデルの取得）
ステップＳ２０３において、学習モデル取得部４３は、学習データをデータベース２２から取得する。そして、学習モデル取得部４３は、データベース２２から取得した学習データを用いて学習済モデルを構築する。なお、学習データは、学習済モデルのロバスト性を高めるために、異なる複数の患者を撮像したデータで構成されることが望ましい。ただし、異なる複数の患者を撮像したデータには、同一患者を異なる時期に撮像した画像が含まれていても構わない。

【0046】

図３は、本実施形態に係る学習済モデルの取得処理の手順の例を示すフローチャートであり、以下、図３のフローチャートを用いて、学習モデル取得部４３が行う処理の詳細を説明する。

【0047】

（ステップＳ３０１：学習データの画像と正解輪郭の取得）
ステップＳ３０１において、学習モデル取得部４３は、学習データである複数の症例（サンプル）の画像と、各サンプルの画像における対象物の輪郭情報の正解（正解輪郭）とを、データベース２２から取得する。対象物の輪郭情報には、各画像における対象物の輪郭線の位置（座標）が含まれる。

【0048】

（ステップＳ３０２：学習データの特徴点座標の取得）
ステップＳ３０２において、学習モデル取得部４３は、ステップＳ３０１で取得した学習データの各サンプルの画像に対して設定された、所定の特徴点の座標情報（位置情報）を、データベース２２から取得する。すなわち、学習モデル取得部４３は、各画像における対象物の特徴点の位置（座標情報（位置情報））をデータベース２２から取得する。前述の通り、本実施形態では、特徴点は、心尖と左右弁輪中点の２点であるとする。

【0049】

なお、上記の説明では、学習データの各サンプルに対して設定されている特徴点が、ステップＳ２０２で取得された特徴点（入力点）と解剖学的に同一の特徴点である場合について説明したが、学習データの各サンプルに対して設定されている特徴点は、必ずしも解剖学的に特徴点（入力点）と同一の特徴点でなくてもよい。

【0050】

学習データの各サンプルに対して設定されている特徴点が解剖学的に特徴点（入力点）と同一でない場合には、学習モデル取得部４３は、所定の計算によって特徴点（入力点）と同一の特徴点の座標を算出してもよい。例えば、学習データに対して設定されている特徴点が心尖と左の弁輪と右の弁輪のそれぞれの３点である場合に、学習モデル取得部４３は、左の弁輪位置と右の弁輪位置の中点を計算し、計算した位置を左右弁輪中点位置とすることで、心尖と左右弁輪中点という２点の特徴点の座標情報を生成してもよい。

【0051】

逆に、ステップＳ２０２で取得される特徴点（入力点）が心尖と左の弁輪と右の弁輪の合計３点であり、学習データに対して設定されている特徴点が心尖と左右弁輪中点の２点である場合には、例えば、学習モデル取得部４３は、左右弁輪中点を始点にしたテンプレートマッチングで左の弁輪と右の弁輪の夫々の位置を算出してもよい。

【0052】

また、学習データにおける対象物の輪郭情報において、これらの特徴点の座標が含まれている場合には、学習モデル取得部４３は、当該輪郭情報から所定の特徴点の座標値を取得してもよい。また、学習データにおける対象物の輪郭情報として、これらの特徴点との相対位置関係が既知な点が含まれている場合には、学習モデル取得部４３は、当該輪郭情報から所定の特徴点の座標値を算出してもよい。その他、学習データの各サンプルにおける特徴点座標の取得は、公知の何れの方法を用いて行ってもよい。

【0053】

（ステップＳ３０３：正規化空間への座標変換）
ステップＳ３０３において、学習モデル取得部４３は、ステップＳ３０２において学習データの各サンプルに対してそれぞれ取得した特徴点座標を用いて、学習データの各サンプルの画像の画素値情報と対象物の輪郭情報とに座標変換を施して正規化する。学習モデル取得部４３は、学習用症例の画像における特徴点の位置（座標）に基づいて、画像と、画像における輪郭線とを正規化空間に座標変換して、正規化画像と正規化輪郭とを生成する。このとき、学習モデル取得部４３は、座標変換後の特徴点の座標が、学習データの全サンプルにおいて（特徴点の種別ごとに）、同じ位置になるように、同一となるような座標変換を実行する。すなわち、学習データの全サンプルは、特徴点座標の座標値で正規化された正規化空間へと座標変換される。

【0054】

図４（ａ）を用いて、正規化空間への座標変換処理（正規化処理）を具体的に説明する。座標変換を行わない場合、学習データの夫々のサンプル画像において、対象物が存在する位置やサイズ、傾きはさまざまであるが、座標変換により、学習データの夫々のサンプル画像における対象物（例えば、右心室）の輪郭情報は図４（ａ）に示すように変換される。

【0055】

図４（ａ）では、約５００症例の学習データにおける右心室の輪郭情報を、心尖４０１と左右弁輪中点４０２の２点が一致するように座標変換（正規化）した結果の例を示している。図４（ａ）において、輪郭情報は１７点の輪郭点群の座標値の集合で表現されており（すなわち、Ｎｐ＝１７）、表示上、それら１７点を識別できるように色分けされて表示されている。すなわち、特定の色（例えば黒）の点の数は学習データのサンプル数（約５００）と一致する。また、この例において輪郭情報を表す輪郭点のうちの１点は、特徴点である心尖４０１を表している。図４（ａ）において、「×」印は左右弁輪中点４０２を示している。このとき、心尖４０１は、すべてのサンプルにおいて同一座標となるように正規化空間に座標変換されるため、図４（ａ）では１点として表示されるが、実際にはサンプル数分の点が重なり合っている。

【0056】

図４（ａ）において横軸はｘ方向、縦軸はｙ方向を表す。つまり、心尖４０１は座標値（３００，１００）であり、左右弁輪中点４０２は座標値（３００，４００）であり、そして、心尖４０１と左右弁輪中点４０２を結んだ軸（長軸）の傾きはｙ軸と一致するように座標変換されていることが分かる。このように２点の特徴点を使って座標変換する処理は、学習モデル取得部４３が位置・角度・そしてスケールを揃える座標変換行列をサンプルごとに算出し、その座標変換行列を当該サンプルの画素値情報と輪郭情報の各座標点に適用することにより実行される。

【0057】

なお、以下の説明では、座標変換後における学習データにおけるそれぞれの画像は、ｘ方向の画素数がＮｘ、ｙ方向の画素数がＮｙであるものとする。すなわち、座標変換後における学習データのそれぞれの画像を構成する全画素数はＮｘ×Ｎｙ個である。このとき、ｘ方向の画素数Ｎｘとｙ方向の画素数Ｎｙは、座標変換後における輪郭情報を包含可能なサイズであることが必要とされる。図４（ａ）に示す例では、座標変換後の輪郭情報は、ｘ方向において画素数４５０、及び、ｙ方向において画素数５５０を包含する範囲に分布していることが分かる。この場合、座標変換後における輪郭情報として、ｘ方向の画素数Ｎｘは少なくとも画素数４５０を包含し、ｙ方向における画素数Ｎｙは少なくとも画素数５５０を包含することが必要とされる。

【0058】

本実施形態では、ｘ方向の画素数Ｎｘ及びｙ方向における画素数Ｎｙは、ともに画素数６００とするが、ｘ方向の画素数Ｎｘ、及びｙ方向における画素数Ｎｙは必ずしも同じ値である必要はない。

【0059】

本実施形態では、２点の特徴点を用いて学習データを座標変換（正規化）する場合を例に挙げて説明したが、学習モデル取得部４３は、２点以外の数の特徴点を用いて正規化を行うことも可能である。例えば、１点のみ（例えば心尖）を特徴点として用いる場合、学習モデル取得部４３は、平行移動によって特徴点位置を揃える座標変換により正規化を行う。また、３点（例えば心尖と左右弁輪それぞれの位置）を特徴点として用いる場合、学習モデル取得部４３は、これら３点の位置を揃えるアフィン変換によって正規化を行う。また、４点以上の点を特徴点として用いる場合、学習モデル取得部４３は、４点を一致させる非剛体変換によって正規化を行う。この場合の非剛体変換として、学習モデル取得部４３は、スプライン変形やＦＦＤ（Free form deformation）といった公知の手法を用いることが可能である。

【0060】

なお、２点の特徴点を用いて学習データを座標変換（正規化）する場合に、学習モデル取得部４３は、位置を揃えるために主たる特徴点（例えば心尖）の位置を用い、正規化空間における軸方向を揃えるためのみに他の特徴点（例えば左右弁輪中点）を用いるようにしてもよい。この場合、学習モデル取得部４３は、他の特徴点（左右弁輪中点）のスケールを揃えず、主たる特徴点（心尖）と他の特徴点（左右弁輪中点）とを結ぶ軸の傾きを正規化空間における軸方向（例えば、ｙ軸方向）に揃える。

【0061】

同様に、３点を用いる場合に、学習モデル取得部４３は、主たる特徴点（例えば心尖）の位置を揃え、他の特徴点は回転と等倍変換の範囲で極力一致させるような正規化方法を適用することも可能である。その他、学習モデル取得部４３は、共通の特徴点の座標を用いて幾何的な正規化を行う方法であれば、公知の何れの正規化方法を用いることも可能である。

【0062】

（ステップＳ３０４：学習データの水増し）
ステップＳ３０４において、学習モデル取得部４３は、ステップＳ３０３で座標変換された正規化空間において、学習データの水増し処理（データオーグメンテーション）を行う。学習モデル取得部４３は、変形部として機能して、正規化空間における特徴点の位置を同じ位置に固定した状態で、正規化画像と正規化輪郭とに変形（変動値）を付加した変形画像と変形輪郭とを生成する。そして、学習モデル取得部４３は、変形画像及び変形輪郭に基づいて、学習済モデルを取得する。学習モデル取得部４３は、学習データに変形画像及び変形輪郭を追加した学習データ（水増しされた学習データ）に基づいて、学習済モデルを取得する。

【0063】

変形部として機能する学習モデル取得部４３は、特徴点の位置を同じ位置に固定した状態で、正規化空間で位置を平行移動させる変動値を付加して変形画像と変形輪郭とを生成する。また、学習モデル取得部４３は、正規化空間で回転させる変動値を付加して変形画像と変形輪郭とを生成する。また、学習モデル取得部４３は、固定する特徴点の位置に対する相対距離を拡大または縮小させた位置の変動値を付加して変形画像と変形輪郭とを生成する。

【0064】

図４（ｂ）を用いて本ステップの処理を具体的に説明する。図４（ｂ）は、正規化空間における全学習データの輪郭情報を平均化した平均輪郭形状を表している。なお、図４（ｂ）において、内側のラインが輪郭線である。外側のラインは、輪郭線に対して所定幅を保って描画されたラインであり、これにより心臓壁が表現されている。学習モデル取得部４３が水増し処理を行う場合に、輪郭全体を平行移動させたり、回転を与えたりすると、心尖４０１と左右弁輪中点４０２の位置が変化してしまう。一方、図４（ｂ）の矢印４０３で示すように、心尖４０１と左右弁輪中点４０２を結ぶ軸を中心にして、平均輪郭形状をｘ軸方向に拡大または縮小（スケーリング）するような変形であれば、心尖４０１と左右弁輪中点４０２の位置は変化しない。このように、学習モデル取得部４３は、座標変換で使用した各特徴点の座標値が変化しないように学習データの各サンプルを変形させ、学習データの水増し処理を行う。

【0065】

具体的には、正規化後の学習データの各サンプル（画像と輪郭情報の組）に対して、学習モデル取得部４３は、正規化に用いた２つの特徴点の位置（図４（ｂ）に示す例の場合、心尖４０１と左右弁輪中点４０２の位置）を固定した状態で、ｘ軸方向のスケーリング処理を複数の倍率で実施する。例えば、学習モデル取得部４３は、複数の倍率（例えば、０．８，０．９，１．１，１．２・・・）で夫々のサンプルに対してスケーリング処理をして、Ｎ個の水増しデータを生成し、基になるサンプルのデータとスケーリング処理により得られたＮ個のデータとを合わせることにより、サンプル数をＮ＋１倍に水増しする。あるいは、学習モデル取得部４３は、サンプルごとに乱数で生成した倍率でスケーリング処理を行うことも可能である。水増し処理におけるデータ数の選び方や倍率の設定方法は上記の説明の例に限られず、学習モデル取得部４３はそのほかの何れの方法を用いて学習データの水増し処理を実行することが可能である。

【0066】

また、２つの特徴点の位置を固定した座標変換であれば、学習モデル取得部４３は、ｘ軸方向のスケーリング処理以外の座標変換により水増し処理を行うことが可能である。例えば、サンプル（画像と輪郭情報の組）に対して非線形な変形を加えた後に、２つの特徴点位置が正規化空間における所定の座標に戻るように平行移動・回転・スケーリングの処理を施したものを水増しデータとして用いることが可能である。

【0067】

なお、本実施形態では、２点の特徴点を用いて学習データを正規化する場合の水増し処理を説明したが、学習モデル取得部４３は、２点以外の数の特徴点を用いて学習データを正規化する場合も同様に学習データの水増し処理を行うことが可能である。例えば、正規化に１点の特徴点（例えば心尖位置）を用いる場合では、学習モデル取得部４３は、１点の特徴点の位置が変化しないように平行移動、回転移動、スケール変換をして水増し処理を行うことが可能である。

【0068】

また、正規化に３点の特徴点（例えば心尖と左右弁輪それぞれの位置）を用いる場合では、学習モデル取得部４３は、それら３点が固定された状態で右心室領域が膨らんだり縮んだりするような変形を算出して水増し処理を行うことが可能である。

【0069】

また、正規化に用いる特徴点が４点以上の場合では、学習モデル取得部４３は、それら４点以上の特徴点を制御点（コントロールポイント）として固定して、変形パラメータの重みをランダムに変動させることで水増し処理を行うことが可能である。

【0070】

また、学習モデル取得部４３は、水増し処理をした輪郭の形状が、統計的にあり得ない形状にならないように制約をかけることが可能である。学習モデル取得部４３は、変動値が所定の許容範囲を超える場合に、当該変動値の付加を制限する。学習モデル取得部４３は、正規化空間に座標変換した後の学習データの平均値と標準偏差に基づいて許容範囲を設定する。例えば、水増しするパラメータ（心尖位置と左右弁輪中点の２点を用いる場合はｘ軸方向のスケーリング成分）の平均値と標準偏差値（σ）を、正規化空間に座標変換した後の学習データから算出し、平均±２σの範囲内で水増し処理を行うようにする。このように水増し処理に用いる学習データの範囲を制限することで、統計的にあり得ない形状が水増し処理によって学習データとして使われ、学習済モデルの質（精度）が低下することの可能性を低減することができる。

【0071】

（ステップＳ３０５：学習済モデルの構築）
ステップＳ３０５において、学習モデル取得部４３は、ステップＳ３０４で水増しされた学習データの各サンプルのすべてを統計解析し、学習済モデルを構築する。本ステップの処理はすべて、正規化空間において行われる。

【0072】

ステップＳ３０３で説明した通り、本実施形態で扱う画像は、Ｎｘ×Ｎｙ個の画素で構成される画像である。本実施形態における画像の画素値情報は、画像のラスタスキャン順に各画素の画素値を並べた列ベクトルとして構成される。すなわち、図４（ｂ）に示す画像の左上を原点（０，０）として、画素（ｘ，ｙ）の場所における画素値をＩ（ｘ，ｙ）で表すものとして、当該画像の画素値情報ａを次の数１式のように定義する。

【0073】

【数1】

【0074】

また、本実施形態における輪郭情報は、所定の数（Ｎｐ）の点群（輪郭点群）の座標で表現されている。これらの各点についても、画像の左上を原点（０，０）として、ｘ軸とｙ軸の座標値を使って（ｘ，ｙ）で表すものとする。１点目の点をｐ１とすると、点ｐ１の座標は（ｘ１，ｙ１）である。本実施形態における対象物の輪郭情報とは、対象物の輪郭上に配置された各点のｘ座標値とｙ座標値を並べた要素数Ｎｐ×２の列ベクトルとして構成される。右心室を表す輪郭情報ｂは次の数２式のように定義される。

【0075】

【数2】

【0076】

学習モデル取得部４３は、画素値情報ａと輪郭情報ｂを取得したあと、これらの列ベクトルをつなげて、２つの情報（画素値情報ａ、輪郭情報ｂ）を連結した１つの列ベクトルを生成する。すなわち、学習モデル取得部４３は、一つのサンプルについて、画素値情報ａに対応する要素と対象物の輪郭情報ｂに対応する要素とを含む一つの列ベクトルを生成する。すなわち、学習モデル取得部４３は、次の数３式のようなデータｃを生成する。

【0077】

【数3】

【0078】

ここで、画像の画素値情報と、対象物の輪郭情報とでは、分散の大きさが異なるため、学習モデル取得部４３は、画像の画素値情報および対象物の輪郭情報のうち、少なくともいずれか一方のデータに対して重みづけを行ってもよい。このとき、学習モデル取得部４３は、学習データの画素値情報と輪郭情報の夫々の分散の大きさに応じて、画素値情報および輪郭情報における夫々の分散が同等、あるいは既定のバランスになるように、画素値情報および輪郭情報に対してデータの重みづけしてもよい。あるいは、学習モデル取得部４３は、操作部３５を介してユーザーが設定する重みを用いて、画素値情報および輪郭情報に対してデータの重みづけを行ってもよい。

【0079】

学習モデル取得部４３は、（水増し後の）学習データに含まれる各サンプル（画像と輪郭情報の組）について、上記の流れで画素値情報と輪郭情報とを連結したデータｃを生成する。そして、学習モデル取得部４３は、学習データに含まれる全てのサンプルのデータｃにより構成されるデータ群に対して統計解析を行い、部分空間を求める。学習モデル取得部４３は、統計解析として、例えば、主成分分析（ＰＣＡ，Principle Component Analysis）などの既知の手法を用いることが可能であり、その他、Ｋｅｒｎｅｌ ＰＣＡやＷｅｉｇｈｔｅｄ ＰＣＡなどの手法を用いることも可能である。学習モデル取得部４３は、所定の対象物を撮像した画像及び対象物の輪郭を入力データとしたＰＣＡ（Principle Component Analysis）法に基づいた主成分分析により学習済モデルを取得する。学習モデル取得部４３は、主成分分析を行うことで、画素値情報と輪郭情報とを統合したデータｃに関する平均ベクトルと固有ベクトル、更に、各固有ベクトルに対応する固有値を計算する。ここで、画素値情報と輪郭情報とを連結したデータｃの平均ベクトル（ｃバー）と固有ベクトルｅ、各固有ベクトルｅに対する係数ｇを用いることで、以下の数４式により、学習データに関する部分空間に存在する点ｄを表現できる。

【0080】

【数4】

【0081】

ここで、ｃバーがデータｃの平均ベクトルを示し、ｅ_ｉがｉ番目の基底における固有ベクトル、ｇ_ｉが固有ベクトルに対応する係数である。また、Ｌは計算に用いる固有ベクトルの本数を表している。固有ベクトルの本数Ｌの具体的な値は、固有値から計算できる累積寄与率に基づいて決定することができる。例えば、累積寄与率（例えば、９５％）を閾値として予め設定しておき、学習モデル取得部４３は、累積寄与率が９５％以上となる固有ベクトルの本数を計算し、Ｌとして設定すればよい。あるいは、学習モデル取得部４３は、ユーザーが設定した固有ベクトルの本数をＬとして設定してもよい。

【0082】

学習モデル取得部４３は、ステップＳ３０５の最後の処理として、上記の統計解析の結果として得られる学習データの部分空間情報を、学習済モデルとしてＲＡＭ３３に格納する。ここで、部分空間情報とは、部分空間を定義する情報であり、例えば、部分空間を構成する固有ベクトルと平均ベクトルの情報とを含む。

【0083】

ステップＳ２０３で、学習モデル取得部４３が実行する上記の学習済モデルの取得処理は、入力画像に対して本装置（画像処理装置１０）が実行する輪郭推定とは独立した処理である。そのため、ステップＳ２０３の処理を事前に実施し、生成された学習済モデルを記憶装置（例えば、データベース２２又は記憶部３４）に保存しておいてもよい。この場合、ステップＳ２０３において、学習モデル取得部４３は、事前に生成された学習済モデルを記憶装置から読み込んで、ＲＡＭ３３に格納する処理を行う。予め学習済モデルを生成しておくことで、入力画像における対象物の輪郭推定処理を行う際の処理時間を短縮することができる。なお、学習済モデルの生成処理は、ステップＳ２０３に示した手順によって、画像処理装置１０とは異なる他の装置で行ってもよい。

【0084】

また、本実施形態では、画素値情報として、画像全体の画素値をラスタスキャン順に並べたデータを用いる例を示したが、画素値に関するその他の特徴量（画像のテクスチャに関する特徴量など）を画素値情報として利用してもよい。さらに、学習データの各サンプルにおいて、画像の一部を表す部分画像の画素値を並べたデータを画素値情報として用いてもよく、画像の対象物の輪郭の周辺の画素値のみを並べたデータを画素値情報として用いても構わない。

【0085】

あるいは、学習データに含まれるサンプルの画像を主成分分析して得られた主成分空間に対し、画像を投影することにより得られる主成分得点を並べたデータ（ベクトル）を、当該画像の画素値情報として用いてもよい。

【0086】

例えば、学習モデル取得部４３は、学習データに含まれるサンプルのそれぞれについて画素値情報ａを計算した後、画素値情報ａのデータ群について主成分分析を実施する。そして、学習モデル取得部４３は、主成分分析により得られる各サンプルの画像の主成分得点のベクトルを当該サンプルの新たな画素値情報ａ′として、画素値情報ａの代わりに用いてもよい。画像を構成する画素数よりも、学習データ中のサンプル数が少ない場合には、画素値情報ａの次元数よりも画素値情報ａ′の次元数の方が小さくなる。そのため、各サンプルの画像の主成分得点のベクトルをサンプルの新たな画素値情報ａ′として用いることにより、画素値情報と輪郭情報を連結したデータに対する統計解析の計算コストを削減することが可能になる。

【0087】

また、累積寄与率に対する閾値を設けて、主成分得点の次元数（すなわち、固有ベクトルの本数）を減らすことで、さらに計算コストを削減することが可能である。

【0088】

他方、対象物の輪郭情報としては、対象物の輪郭を表す点群（輪郭点群）の座標値を用いたが、その他の値を用いてもよい。一例として、対象物を表すレベルセット関数（例えば、対象物の内側を負、外側を正とする輪郭からの符号付距離値）を画像の各画素について算出した結果をラスタスキャン順に並べた情報を輪郭情報として用いてもよい。

【0089】

あるいは、対象物と、それ以外を区別して表すラベル画像やマスク画像を輪郭情報として用いてもよい。また、上述のように、画素値情報ａから画素値情報ａ′を算出した方法と同様に、学習モデル取得部４３は、輪郭情報ｂのデータ群について主成分分析を実施し、主成分分析により得られる値を新たな輪郭情報ｂ′として、輪郭情報ｂの代わりに用いてもよい。すなわち、学習データに含まれるサンプルの輪郭情報ｂのデータ群に対して主成分分析を実施し、各サンプルの画像の主成分得点のベクトルをサンプルの新たな輪郭情報ｂ′として設定することで、画素値情報と輪郭情報を連結したデータに対する統計解析の計算コストのさらなる削減が可能となる。以上の処理により学習済モデルの構築処理が終了し、処理は図２のステップＳ２０４に戻される。

【0090】

（ステップＳ２０４：正規化空間への座標変換）
ステップＳ２０４において、輪郭推定部４４は、入力点の位置を学習済モデルの特徴点の位置に合わせるように、入力画像を正規化空間に座標変換した正規化画像を取得する。すなわち、輪郭推定部４４は、ステップＳ２０２で位置取得部４２により取得された特徴点の情報を用いて、ステップＳ２０１で画像取得部４１により取得された入力画像を、学習済モデルが生成された正規化空間と同一の空間（すなわち、正規化空間）に座標変換する。そして、輪郭推定部４４は、正規化空間における入力画像の画素値情報を算出する。

【0091】

図５は輪郭推定処理の流れを示す図であり、図５を用いて、本ステップの処理を具体的に説明する。図５（ａ）は、正規化空間に座標変換する前の状態の入力画像および特徴点（心尖と左右弁輪中点の２点）の関係を示す図である。本ステップにおいて、輪郭推定部４４は、入力画像上におけるこれら特徴点の座標値が、学習済モデルが定義されている正規化空間における特徴点の座標と同一となるように、入力画像に対して平行移動、回転移動、スケール変換により座標変換を実行する。

【0092】

輪郭推定部４４は、位置取得部４２が取得した特徴点の数が２点の場合に、当該２点の特徴点を平行移動・回転する剛体変換、そして特徴点の間の距離を拡大、または縮小するスケール変換により正規化空間で位置を合わせた正規化画像を取得する。例えば、座標変換後における心尖を示す位置（図５（ｂ）の５０４）は学習データにおける心尖を示す位置（図４の４０１）と同一座標（３００，１００）となる。そして、座標変換後における左右弁輪中点を示す位置（図５（ｂ）の５０６）は、学習データにおける左右弁輪中点（図４の４０２）と同一座標（３００，４００）となる。座標変換の方法は、ステップＳ３０３で前述した方法と同一である。そして、輪郭推定部４４は、座標変換後の入力画像の画素数がＮｘ×Ｎｙとなるように入力画像をクロップする。

【0093】

なお、本実施形態では、特徴点が心尖と左右弁輪中点の２点である場合を例に挙げて入力画像の正規化処理について説明したが、特徴点の種類、特徴点の数、そして、それらを用いた正規化方法は、学習済モデルが採用する正規化処理の方法に合わせる必要がある。いずれの場合も、輪郭推定部４４による座標変換では、ステップＳ３０３と同一の方法を用いて、正規化空間への入力画像の座標変換を実施すればよい。例えば、輪郭推定部４４は、位置取得部４２が取得した特徴点の数が３点の場合に、アフィン変換を行って、入力画像を正規化空間に変換した正規化画像を取得する。あるいは、位置取得部４２が取得した特徴点の数が４点の場合に（４点以上の場合も含む）、輪郭推定部４４は、各特徴点の平行移動または回転移動により、取得した特徴点の位置を一致させる非剛体変換を行って、入力画像を正規化空間に変換した正規化画像を取得する。ここで、輪郭推定部４４は、非剛体変換として、スプライン変形やＦＦＤ（Free form deformation）といった公知の手法を用いることが可能である。

【0094】

（ステップＳ２０５：輪郭線情報の推定）
ステップＳ２０５において、輪郭推定部４４は、ステップＳ２０４で正規化空間に座標変換された入力画像と、ステップＳ２０３で取得した学習済モデルから、入力画像中に写る対象物の輪郭情報を推定する。より具体的には、輪郭推定部４４は、未知の画像の画素値の情報から該画像に写る物体の姿勢を表す情報を推定する推定処理（例えば、ＢＰＬＰ法）に基づいて画像中に写る対象物（右心室領域）の輪郭情報を推定し、その結果をＲＡＭ３３に格納する。

【0095】

推定処理の一例として、ＢＰＬＰ法は、例えば、下記の非特許文献で開示されている技術である。下記の非特許文献では、複数の画像の画素値の情報と、該画像に写る物体の姿勢を表す情報を連結したデータに関する部分空間情報とを利用して、未知の画像の画素値の情報から該画像に写る物体の姿勢を表す情報を推定する技術（ＢＰＬＰ法）が開示されている。換言すると、この技術は、ある欠損が生じているデータについて、欠損のない学習データを統計解析した結果から、欠損部分のデータを補間する技術である
［非特許文献］ Toshiyuki Amano, et．Al．"An appearance based fast linear pose estimation" MVA 2009 IAPR Conference on Machine Vision Applications．2009 May 20-22．
ＢＰＬＰ法を適用するために、入力データについて、どの部分が既知の情報であり、どの部分が未知の情報（欠損部分）であるかを、推定処理を実行する際に特定しておく必要がある。

【0096】

本実施形態においては、輪郭推定部４４は、正規化空間に座標変換された入力画像の画素値情報を既知の情報として設定し、入力画像における対象物の輪郭を未知の情報として設定したデータに対して、ＢＰＬＰ（Back projection for lost pixels）法に基づいた推定処理により、入力画像における対象物の輪郭を推定する。具体的には、輪郭推定部４４は、ステップＳ２０４で正規化空間に座標変換された入力画像の画素値情報を既知の情報として設定し、座標変換された入力画像中の対象物の輪郭情報を未知の情報として設定する。すなわち、輪郭推定部４４は、上記の非特許文献における、「画像の画素値の情報」を画素値情報ａに設定し、「物体の姿勢を表す情報」を輪郭情報ｂに設定するように情報の設定を置き換えて、輪郭情報を推定する。

【0097】

輪郭推定部４４は、推定処理の結果として、既知の情報である画素値情報ａに対応する要素と、未知の情報である対象物の輪郭情報ｂに対応する要素と、を含んで構成されるベクトルｆを、以下の数５式により求める。

【0098】

【数5】

【0099】

ここで、数５式の右辺のｆハットは、ある欠損が生じている入力データの列ベクトルを表しており、右辺のｆハットの列ベクトルは、数３式に示したような画素値情報ａと輪郭情報ｂを連結したデータにおいて、輪郭情報ｂの部分を０とした下記の数６式に示すようなデータの列ベクトルとなる。

【0100】

【数6】

【0101】

数５式におけるＥは、ステップＳ２０３で取得した学習済モデルにより定義される部分空間を表す行列である。Ｌ個の固有ベクトルをｅ１、ｅ２、・・・、ｅＬとしたときに、例えば、部分空間を表す行列Ｅは、Ｅ＝［ｅ１，ｅ２，・・・，ｅＬ］で与えられる。

【0102】

数５式におけるΣは、既知の情報である画素値情報に対応する対角要素を１とし、それ以外の要素を０とした正方行列である。言い換えると、正方行列Σは、単位行列のうち未知の情報である輪郭情報に対応する要素を０にした行列である。本実施形態において、正方行列Σは、一辺がＮｘ×Ｎｙ＋Ｎｐ×２（画素値情報ａの次元数＋輪郭情報ｂの次元数）の大きさの正方行列であり、輪郭情報ｂの次元数に対応するＮｐ×２個の対角要素が０であり、それ以外の対角要素が１となる行列である。正方行列Σは以下の数７式で示すような形式で与えられる。

【0103】

【数7】

【0104】

なお、本実施形態において、入力画像が任意の場合であっても、未知の情報として設定する部分は変わらない（常に輪郭情報ｂの部分に対応して「０」になる）。そのため、ステップＳ２０３の学習済モデルの取得処理において、学習モデル取得部４３が部分空間情報を算出した時点で、輪郭推定部４４は、推定処理で求める数５式の一部である以下の数８式の行列Ａを事前に計算することが可能である。

【0105】

【数8】

【0106】

したがって、前述したステップＳ２０３の処理において、輪郭推定部４４は、数８式に基づき予め行列Ａを算出し、学習モデル取得部４３は、その算出結果を学習済モデルとして用いてもよい。この場合、本ステップでは、輪郭推定部４４は、以下の数９式を用いてベクトルｆを算出すればよい。

【0107】

【数9】

【0108】

なお、事前に算出した行列Ａを記憶装置（例えば、データベース２２又は記憶部３４）に保存しておき、ステップＳ２０３の処理において、学習モデル取得部４３は、学習済モデルとして行列Ａの算出結果を記憶装置から読み出す構成にしてもよい。これにより、推定処理のための計算に関わる計算コストを削減することが可能になる。なお、行列Ａのうちの一部（例えば、（Ｅ^ＴΣＥ）^－１の部分）の算出結果を学習済モデルとして記憶装置（例えば、データベース２２又は記憶部３４）に保存しておき、学習モデル取得部４３が学習済モデルの取得処理における残りの演算処理を行ったり、輪郭推定部４４が推論処理における残りの演算処理を行うように構成してもよい。

【0109】

最後に、輪郭推定部４４は、推定処理の結果を示すベクトルｆから輪郭情報に該当する部分の情報（本実施形態においては、輪郭情報ｂの次元数に対応するＮｐ×２個の要素）を取得して、ＲＡＭ３３に格納する。

【0110】

図５（ｃ）は、輪郭線情報の推定結果を模式的に示す図である。前ステップ（ステップＳ２０４）の処理によって座標変換された正規化空間の中で、本ステップの処理によって、輪郭線情報５０７が推定されている。

【0111】

なお、学習済モデルを生成する際に画素値情報ａの代わりに、各サンプルの画像の主成分得点のベクトルをサンプルの新たな画素値情報ａ′として用いた場合には、数６式の列ベクトルのうち、Ｉ（０，０）～Ｉ（Ｎｘ，Ｎｙ）の部分を画素値情報ａ′の計算方法と同じ方法により計算した値に置き換えればよい。具体的には、画素値情報ａ′が学習用画像の画素値情報ａに関する主成分得点である場合に、輪郭推定部４４は、入力画像と、学習データの画素値情報ａのみを用いて構築した部分空間の情報とに基づいて、主成分空間に対する投影の処理をして、入力画像の主成分得点を算出すればよい。

【0112】

また、学習済モデルを生成する際に、輪郭情報ｂの代わりに、各サンプルの画像の主成分得点のベクトルをサンプルの新たな輪郭情報ｂ′として用いた場合には、輪郭推定部４４は、入力画像における輪郭点座標の主成分得点を未知の情報として上記の方法で推定すればよい。この場合、推定結果の輪郭情報は輪郭線上のｘｙ座標にはなっていないので、輪郭推定部４４は、推定した主成分空間における値から座標値への変換を行って、ＲＡＭ３３に格納すればよい。

【0113】

具体的には、輪郭情報ｂ′が学習データの輪郭情報に関する主成分得点である場合に、輪郭推定部４４は、主成分得点と、学習データの輪郭情報のみを用いて構築した部分空間情報に基づいて、逆投影の処理をすればよい。

【0114】

なお、主成分空間における欠損情報を復元する手法であれば、その計算方法は何れの方法を用いてもよく、先に説明したＢＰＬＰ法に限られず、他の計算方法を対象物の輪郭情報を推定する処理に適用することは可能である。

【0115】

（ステップＳ２０６：元空間への座標変換）
ステップＳ２０６において、輪郭推定部４４は、ステップＳ２０４で実行した正規化空間への座標変換とは逆の変換をステップＳ２０５の輪郭推定の結果に適用することで、輪郭推定の結果を元の（入力画像の）空間へと戻す。座標変換前の元空間に戻す座標変換を行うことで、ステップＳ２０５において正規化空間で推定された輪郭線情報（図５（ｃ）の５０７）が、図５（ｄ）に示すように元の空間の輪郭線情報（図５（ｄ）の５０８）に座標変換される。

【0116】

（ステップＳ２０７：輪郭線推定結果の表示）
ステップＳ２０７において、表示処理部４５は、入力画像と輪郭推定部４４により推定した対象物の輪郭情報とを表示部３６の画像表示領域に表示させる。このとき、表示処理部４５は、推定した輪郭情報と入力画像を重畳して表示するように表示制御を行うことも可能である。推定した輪郭情報と入力画像との重畳表示を行うことで、入力画像に対して、推定した輪郭情報がどの程度合っているのかをユーザーが容易に視認することができる。本実施形態においては、対象物の輪郭情報は、対象物の輪郭をサンプリングした離散的な点群であるため、表示処理部４５は、スプライン補間などの既知の技術を用いて隣接点の間を補間した後に輪郭情報を表示部３６に表示してもよい。

【0117】

対象物の解析や計測を目的とする場合には、ステップＳ２０７の処理は必ずしも必要でなく、推定した輪郭情報を記憶装置に保存するだけの構成であってもよい。

【0118】

なお、本実施形態では、対象物の輪郭情報として、右心室を表す輪郭点群の座標値を用いた例を示したが、右心室に加えて、左心室や左心房、右心房など、２つ以上の複数の対象物を表す輪郭点群の座標値を合わせたものを輪郭情報としてもよい。この場合は、ステップＳ２０３において、右心室領域を表す点群の座標値だけではなく、２つ以上の複数の対象物の全ての点群の座標値に関する統計解析を実施することで、ステップＳ２０５で２つ以上の複数の対象物の全ての点群の座標値を同時に推定できる。

【0119】

本実施形態によれば、所定の特徴点の座標を用いて座標変換された正規化空間で統計解析した学習済モデルを用いることで、ユーザーによって手動入力された特徴点は正規化空間で固定された状態で、精度の高い輪郭推定結果をユーザーに提供できるという効果がある。

【0120】

（変形例）
第１の実施形態では、入力画像や学習データとして扱う画像が、心臓領域を撮像した２次元の超音波画像である例を示したが、本発明は、心臓以外の他の臓器を撮像した画像や、超音波画像以外の画像を用いる場合でも実施可能である。

【0121】

心臓以外の画像や超音波画像以外の画像に適用する例としては、例えば、股関節領域を撮像した２次元Ｘ線画像から、大腿骨の輪郭線を推定する処理が挙げられる。変形性股関節症の患者を撮像した画像の場合、骨盤と大腿骨との間が近接して、閾値処理のような単純な画像処理では境界線を算出できない場合が生じ得る。この場合、大腿骨頭と骨盤の接合開始位置・中間位置・終点位置の３点を手動で入力し、学習済モデルの構築および輪郭推定を行う。このようにすることで、これら入力点の特徴を生かして、大腿骨形状の統計的傾向に基づき、輪郭線を推定することが可能になる。

【0122】

また、上記の実施形態では、１枚の（単一時相の）２次元画像を用いる場合を例に説明したが、複数枚の（複数時相の）２次元画像を用いる場合にも本実施形態の処理を適用することができる。

【0123】

例えば、ステップＳ２０１では、入力画像として心臓の拡張末期時相の画像と収縮末期時相の画像を取得し、夫々の画像における心腔の輪郭推定を行う処理に上記の実施形態の処理を適用できる。

【0124】

この場合、学習データの各サンプルにおいても、拡張末期時相の画像とその正解輪郭情報、収縮末期時相の画像とその正解輪郭情報、及び、いずれかの代表時相（例えば拡張末期時相）の画像上における所定の特徴点の座標を用意する。

【0125】

そして、ステップＳ２０２では、位置取得部４２は、入力画像のうちの代表時相の画像上における所定の特徴点（入力点）の座標を取得する。そして、ステップＳ２０３で、学習済モデルを生成する際に、学習モデル取得部４３は、代表時相の画像を上記と同様に特徴点の座標を用いて正規化空間に座標変換するとともに、他の時相の画像も同様に（代表時相の画像の特徴点の座標を用いて）同じ正規化空間に座標変換する。そして、学習モデル取得部４３は、両画像の画素値をラスタスキャン順に並べたものを画素値情報ａ（Ｎｘ×Ｎｙ×２）、両画像の輪郭点座標を順に並べたものを輪郭情報ｂ（Ｎｐ×２×２）として、上記と同様の統計解析処理を行って学習済モデルを生成すればよい。

【0126】

また、ステップＳ２０４では、輪郭推定部４４は、入力画像の夫々の画像を、ステップＳ２０２で得た代表時相の画像の特徴点（入力点）の情報を用いた共通の座標変換で正規化する。また、輪郭推定部４４は、ステップＳ２０５の処理を、数６式を入力画像が２枚の場合に拡張して実行する。なお、推定に用いる時相数（画像数）は２時相（２枚）に限らず、他の任意の時相数（画像数）であっても同様に拡張できる。また、輪郭推定部４４による輪郭の推定は全ての時相で行わなくてもよく、例えば、代表時相の輪郭だけを推定してもよい。この場合、ステップＳ２０３では、上記の輪郭情報ｂとして、代表時相の輪郭点座標だけを用いればよい。また、ステップＳ２０５では、輪郭推定部４４は、代表時相の輪郭点座標だけを欠損データとして推定すればよい。

【0127】

上記の実施形態では、２次元画像を用いる場合を例に説明したが、２次元画像よりも次元の大きな画像、例えば、３次元画像を用いる場合にも、上記の実施形態の処理を適用することができる。例えば、経食道３次元プローブを用いて撮像された、３次元の心臓超音波画像（３Ｄ－ＴＴＥ画像）に対しても、上記の実施形態の処理を適用して、同様に心腔の輪郭推定を行うことが可能である。この場合、数１式における画像の画素値情報ａを表す列ベクトルのサイズは、Ｚ方向の画素値をＮｚとするとＮｘ×Ｎｙ×Ｎｚとなる。また、輪郭はメッシュ状の輪郭点群で表記し、数２式における輪郭情報を表すベクトルの要素数は、輪郭点の数Ｎｐ×３の列ベクトルとして構成される。

【0128】

なお、３Ｄ－ＴＴＥ画像を対象とした輪郭推定を行う場合、上述の方法以外にも、他の方法を用いることも可能である。例えば、３次元画像から切り出された所定の断面を基準断面とし、基準断面上で、第１の実施形態の処理を適用して２次元画像の輪郭推定を行い、その後、２次元画像上の輪郭線を初期輪郭として、３次元画像上の領域の輪郭を算出してもよい。この場合、例えば、初期輪郭から右心室領域の長軸を算出し、長軸を中心軸として１８０度分回転させることで、３次元画像上での右心室領域の初期輪郭を得る。そして、初期輪郭を、Active－contour modelやsnakesといった公知の手法で変形させることで、最終的な輪郭を得る。この時、基準断面（すなわちユーザーが入力点を入力した断面）上の初期輪郭のみ、初期輪郭から変動させないようにする。このようにすることで、ユーザーが入力した入力点で固定しつつ、３次元領域の輪郭を推定することが可能になる。

【0129】

これにより、ユーザーの意図を反映した精度の高い輪郭推定を行うことが可能になる。

【0130】

＜第２の実施形態＞
第２の実施形態に係る画像処理装置は、第１の実施形態と同様に、画像から所定の対象物の輪郭を推定する装置である。第１の実施形態では統計解析に基づくＢＰＬＰ法を用いて輪郭推定を行う構成を説明したが、本実施形態では、例えば、ＣＮＮ（Convolutional Neural Network）法に代表される機械学習を用いて輪郭推定を行う構成を説明する。

【0131】

本実施形態に係る画像処理装置の装置構成および処理のフローチャートは、第１の実施形態と同様である。ただし、学習済モデルの構築処理（ステップＳ３０５）、および、輪郭線の推定処理（ステップＳ２０５）が異なる。以下、第１の実施形態との相違点を説明する。

【0132】

（ステップＳ３０５：学習済モデルの構築）
本実施形態では、学習モデル取得部４３は、ＣＮＮ法のベースとして、公知のＣＮＮモデルであるＶＧＧ１６を用いて学習済モデルを構築する。このＶＧＧ１６は、計１６層から成る畳み込みニューラルネットワーク（ＣＮＮ法）である。ＶＧＧ１６では入力画像のチャネル数が３と規定されているため、学習モデル取得部４３は、３つのチャネルに同一の画像情報を格納する。

【0133】

また、輪郭推定のタスクに適合させるため、本実施形態では、ＶＧＧ１６に変更を加える。オリジナルのＶＧＧ１６は１０００クラスの画像認識を行うネットワークであり、そのため、全結合層の出力パラメータ数は１０００である。これを、推定すべき要素の数、すなわち、第１の実施形態における数２式のように、対象物の輪郭上に配置された各点のｘ座標値とｙ座標値を並べた要素数と同じＮｐ×２へと変更する。学習済モデルの構築方法は、公知のＣＮＮ法の学習方法と同じ手法を利用することが可能である。このようにすることで、ステップＳ３０４で座標変換された正規化空間において、画像情報を入力し、輪郭線の座標情報を出力とするＣＮＮ法を用いた機械学習が実施される。学習モデル取得部４３は、所定の対象物を撮像した画像（画像情報）を入力し、撮像した画像における対象物の輪郭情報（輪郭線の位置）を出力するＣＮＮ法を用いた学習データに基づいて、学習済モデルを取得する。

【0134】

（ステップＳ２０５：輪郭線情報の推定）
輪郭線情報の推定手法において、輪郭推定部４４は、公知のＣＮＮの推定方法と同じ手法を利用可能である。輪郭推定部４４は、正規化空間に座標変換された入力画像の画素値情報を入力し、入力画像における対象物の輪郭を出力するＣＮＮ法による学習に基づいて、入力画像における対象物の輪郭を推定する。すなわち、ステップＳ２０４で正規化空間に座標変換された入力画像の画素値情報を入力として、対象物の輪郭線を構成するＮｐ個の点群の座標値を推定する。推定では、ステップＳ３０５で学習されたＣＮＮ法の重み情報が用いられる。

【0135】

本実施形態によれば、ユーザーが入力した入力点に従い、ＣＮＮ法を用いて対象物の輪郭推定を行うことが可能である。これにより、例えば、対象物の輪郭線のバリエーションが多様であり、統計解析に基づく学習済モデルでは表現能力が不足する場合であっても、精度の高い輪郭推定を行うことが可能になる。

【0136】

なお、本実施形態では、ＣＮＮモデルとしてＶＧＧ１６をベースとする場合を例に挙げて説明したが、ＣＮＮモデルはＶＧＧ１６に限られず、他のモデルを用いることも可能である。例えば、ＶＧＧ１６から、畳み込み結果が画像全体をカバーできる程度に層の数を削減したネットワークを用いてもよいし、新規のモデルを構築し、機械学習をしてもよい。ネットワークのサイズを削減する場合、例えば、超音波診断装置に搭載する場合において、計算リソースに制約がある場合であっても、ＣＮＮ法による輪郭推定を実施することが可能となる。

【0137】

＜第３の実施形態＞
第３の実施形態に係る画像処理装置は、第１および第２の実施形態と同様に、画像から所定の対象物の輪郭を推定する装置である。本実施形態では、学習データ中の各サンプルにおいて、正規化に用いる特徴点の座標に人工的な変動を付与することで、学習データの水増しを行う構成を説明する。本実施形態において、学習モデル取得部４３は、正規化部として機能して、特徴点の位置に変動値を付加した新たな特徴点に対して、複数の症例の画像における変動値を付加した新たな特徴点が同じ位置になるように、学習データの画像と輪郭とを正規化空間に座標変換する正規化処理により、正規化画像と正規化輪郭とを生成する。そして、学習モデル取得部４３は、正規化画像及び正規化輪郭に基づいて、学習済モデルを取得する。

【0138】

本実施形態に係る画像処理装置の装置構成および処理のフローチャートは、第１の実施形態と同様である。ただし、学習データの水増し処理（ステップＳ３０４）が異なる。以下、第１の実施形態との相違点を説明する。

【0139】

（ステップＳ３０４：学習データの水増し）
ステップＳ３０４において、学習モデル取得部４３は、ステップＳ３０３で座標変換された正規化空間において、学習データの水増し処理（データオーグメンテーション）を行う。

【0140】

まず、第１に、学習モデル取得部４３は、正規化後の学習データの各サンプルに対して、夫々の特徴点の座標値を上下左右に所定量変動させ（変動値（Δｘ、Δｙ）を付与して）、変動後の座標値（位置）をそれぞれ記録する。例えば、学習モデル取得部４３は、２つの特徴点の夫々にＮ通りの変動を与えることで、変動前の位置も含めて、（Ｎ＋１）×２通りの特徴点座標の組を得る。ここで、変動値は、例えば、十分な数のサンプルに対して十分な人数のユーザーに特徴点の座標を手動入力させることで事前に求めた、特徴点の座標のばらつきに基づいて、学習データの水増し処理における変動値を決定することができる。例えば、手動入力された特徴点の座標のばらつきを標準偏差によって事前にモデル化して、このモデルに基づいて変動値を生成すればよい。

【0141】

また、特徴点の座標のばらつきのモデルは人手によって設定してもよい。この時、特徴点の座標のばらつきは特徴点の種別ごとにモデル化してもよいし、複数の特徴点に共通するモデルを求めてもよい。ユーザーの手動入力による座標の精度が高い場合（高い精度が期待できる場合）には、特徴点の変動値を小さく設定し、ユーザーの手動入力による座標の精度が低い場合（高い精度が期待できない場合）には、特徴点の変動値を大きく設定することができる。

【0142】

学習モデル取得部４３は、変動を許容する特徴点の位置に基づいて異なる変動値を付加する。例えば、心尖は画像上でも特徴的な位置であり高い精度が期待されるため変動値が小さく設定され、左右弁輪中点は画像上で特段の特徴が存在せず高い精度が期待できないため、変動値が大きく設定される。

【0143】

また、特徴点の座標のばらつきのモデルを、各サンプルにおける特徴点の周辺の画素値の分布に基づいて決定してもよい。すなわち、学習モデル取得部４３は、変動を許容する特徴点の周辺の領域における画素値の分散値に基づいて、変動値を設定する。例えば、特徴点の周辺の小領域において、各軸方向における画素値の分散を求め、分散に応じてモデルを設定することができる。例えば、分散が大きければばらつきが小さくなるようなモデルを設定し、分散が小さければばらつきが大きくなるようなモデルを設定することができる。これによると、心尖のように、画像上で線や角のような目立った特徴が存在する特徴点については、ばらつきが小さい（分散が小さい）場合のモデルを適用し、左右弁輪中点のように画像上で特段の特徴が存在しない特徴点については、ばらつきが大きい（分散が大きい）場合のモデルを適用できる。

【0144】

なお、このモデルは、正規化後の学習データ中のサンプルごとに個別に求めてもよいし、複数のサンプルに基づいて、代表値を求めて共通モデルを用いてもよい。そして、生成する変動値の分布が共通モデルに従うように、変動値（Δｘ、Δｙ）を乱数により生成すればよい。

【0145】

あるいは、夫々の特徴点から輪郭点までの距離に応じて特徴点ごとの変動値の基準値を設定してもよい。すなわち、輪郭点までの距離が遠い特徴点ほど変動値を大きく設定するようにしてもよい。また、変動後の座標を生成する数（Ｎ）は、特徴点ごとに異なる値としてもよい。例えば、高い精度が期待できる特徴点の数（Ｎ）を小さく設定し、高い精度が期待できない特徴点の数（Ｎ）を大きく設定するようにしてもよい。

【0146】

特徴点の数（Ｎ）は、人手で設定してもよいし、上述した画素値の分散に基づいて、ばらつきのモデルに応じた値を算出して設定してもよい。例えば、画素値のばらつきが小さければ特徴点の数（Ｎ）が小さくなるような値を算出して設定し、画素値のばらつきが大きければ特徴点の数（Ｎ）が大きくなるような値を算出して設定してもよい。

【0147】

また、変動値は、例えば、学習データにおける、心尖の位置と左右弁輪位置の中点との相対的な位置関係を考慮して決定してもよい。例えば、全ての学習データにおいて、心尖位置に対する左右弁輪位置の中点の上下方向の相対位置が、平均１００ピクセルであり、標準偏差σが±５ピクセルの場合、標準偏差値の２倍（すなわち２σ）である±１０ピクセルを変動値とすればよい。

【0148】

心尖位置に対する左右弁輪位置の中点の左右方向の相対位置についても同様にして、変動値を決めればよい。変動値に応じた特徴点の数（Ｎ）は任意に設定することが可能であり、ここでは、上下方向に１点ずつ、左右方向に１点ずつ、計４点（すなわちＮ＝４）の変動後の特徴点の座標が得られるものとする。なお、変動後の座標を生成する数（Ｎ）や変動値の設定方法は、上記の例に限られず、これ以外の何れの方法を用いることも可能である。

【0149】

第２に、学習モデル取得部４３は、（Ｎ＋１）×２通りの特徴点座標の組の夫々を新たな特徴点の位置として、ステップＳ３０３で行う正規化空間への座標変換と同様の座標変換を、正規化後の学習データの各サンプルに対して改めて施す。これにより、学習モデル取得部４３は、新たな特徴点の位置（変動値）が追加された学習データを（Ｎ＋１）×２倍に水増しする。

【0150】

なお、正規化後の学習データの各サンプルに対して改めてステップＳ３０３の正規化処理を行わず、正規化前の学習データのサンプルに対して、上述した特徴点の変動処理及び正規化処理を施すことにより、同様に学習データの水増しを行うことができる。

【0151】

ここで、位置を変動させるのは特徴点の座標値のみであり、学習データの画像情報は変動させないものとする。このようにすることで、画像が同一であってもその画像に対して手動入力される特徴点の座標は、複数のユーザー間や各ユーザーの操作内でわずかに変動し得るという状況を、学習データで表現することができる。

【0152】

また、図４（ａ）に例示した心尖４０１のように、輪郭上の点（輪郭点）と特徴点の位置が重なる場合、すなわち、特徴点と輪郭点が同一の点である場合でも、正解の輪郭点の位置は変動させないものとする。このようにすることで、ユーザーが手動入力する心尖の位置と、推定される輪郭点としての心尖の位置が（第１の実施形態では必ず一致していたものが）必ずしも一致しなくなる。これにより、ユーザーが手動入力する心尖の位置に誤差が含まれている場合に、第１の実施形態で生じていた、推定される輪郭点としての心尖の位置がその誤った位置に固定されてしまうことを抑制することができる。

【0153】

また、本実施形態において、正規化部として機能する学習モデル取得部４３は、変動を許容する特徴点に付加する変動値が、統計的にあり得ない値にならないように制約をかけることが可能である。学習モデル取得部４３は、変動値が所定の許容範囲を超える場合に、当該変動値の付加を制限する。学習モデル取得部４３は、正規化空間に座標変換した後の学習データの平均値と標準偏差に基づいて許容範囲を設定する。例えば、固定する特徴点（心尖位置）に対する変動を許容する特徴点（左右弁輪中点）の相対位置の平均値と標準偏差値（σ）を、正規化空間に座標変換した後の学習データから算出し、平均±２σの範囲内で変動値を付加するようにする。このように変動を許容する特徴点に付加する変動値を制限することで、統計的にあり得ない変動値が使われ、学習済モデルの質（精度）が低下することの可能性を低減することができる。

【0154】

本実施形態では、夫々の特徴点の位置を変動させる場合を例に挙げて説明したが、学習データの各サンプルにおける特徴点を、正規化空間において、位置を固定する特徴点と位置の変動を許容する特徴点とに分類し、位置の変動を許容する特徴点に対してのみ変動を加えるようにしてもよい。例えば、入力点の精度が高い特徴点は固定する特徴点としてもよい。この場合、例えば、対象物は心臓の心腔であり、心腔の心尖を固定する特徴点としてもよい。また、心腔に係る三尖弁の左右弁輪位置の中点の位置を、変動を許容する特徴点としてもよい。また、特徴点と輪郭点が同一の点である場合、すなわち、輪郭点と位置が重なる特徴点を、固定する特徴点に設定してもよい。また、学習済モデルの生成時に固定する特徴点をユーザーが選択できる構成としてもよい。

【0155】

また、本実施形態では、特徴点が２点である場合を例に挙げて説明したが、特徴点の数が１点または３点以上である場合についても同様に、本ステップの処理を適用可能である。この場合、ユーザーが入力する入力点の数や、固定特徴点と変動を許容する特徴点に選択に対するニーズに柔軟に対応した学習済モデルの構築を行うことができる。

【0156】

本実施形態によると、変動を許容する特徴点については、かならずしもユーザーによる入力点の座標値で固定されるわけではなく、学習済モデルを構築する際に付加された変動値を反映して、座標値が変化するようにしてもよい。そのため、入力点の入力において、位置指定を厳密に行わなくても輪郭線情報の推定を行うことができ、ユーザーにとっての利便性を向上させることが可能になる。

【0157】

一方で、第１の実施形態によれば、ユーザーが入力した特徴点位置が必ず固定されるため、（例えば、入力点に自信があるユーザーにとって）ユーザーの意図に合った輪郭推定の結果が得られるという効果がある。これらはトレードオフの関係にあるため、第１の実施形態による学習済モデルと、本実施形態による学習済モデルの両方を生成し、ユーザーの好みや種々の症例適用に応じて学習済モデルを選択できる構成としてもよい。

【0158】

なお、本実施形態で説明した学習データの水増しの処理は、第１の実施形態のようにＢＰＬＰ法を使う場合であっても、第２の実施形態のようにＣＮＮ法を用いる場合であっても、本実施形態の処理を適用することが可能である。

【0159】

＜第４の実施形態＞
第４の実施形態に係る画像処理装置は、第１乃至第３の実施形態と同様に、画像から所定の対象物の輪郭を推定する装置である。第１乃至第３の実施形態では、輪郭の推定を行う際、ユーザーの手動により入力された入力点の取得を行い、対象物の輪郭推定を、入力点を用いた半自動推定により行う構成を説明した。ここで、対象物の輪郭推定は入力点を用いた処理に限られず、入力点に依存しない全自動輪郭推定と半自動輪郭推定とを、状況に応じて適応的に切り替えて動作させることも可能である。

【0160】

本実施形態で説明する複数の学習済モデルには、ユーザーによる入力点を輪郭推定で使用しない第１の学習済モデルと、入力点を輪郭推定で使用する第２の学習済モデルと、が含まれ、ユーザーによる入力点を輪郭推定で使用しない輪郭推定を、本実施形態では全自動輪郭推定といい、入力点を輪郭推定で使用する輪郭推定を半自動輪郭推定という。

【0161】

本実施形態では、全自動輪郭推定と半自動輪郭推定とを、状況に応じて適応的に切り替えて輪郭推定を行う構成について説明する。輪郭推定を行う際、まず、全自動輪郭推定を行い、ユーザーによって半自動輪郭推定が必要であると判断された場合は、入力点の入力を受け付けて半自動輪郭推定を行う例を説明する。半自動輪郭推定が必要であると判断される場合は、以下に説明する図６のステップＳ６０８で、特徴点（入力点）の座標情報（特徴点座標）が取得される場合である。

【0162】

本実施形態に係る画像処理装置の装置構成は、第１乃至第３の実施形態の装置構成（図１）と同様である。ただし、学習モデル取得部４３および輪郭推定部４４の機能が第１乃至第３の実施形態とは異なっている。

【0163】

学習モデル取得部４３は、学習データをデータベース２２から取得し、この学習データに対して統計解析を行うことで学習済モデルを取得する。学習モデル取得部４３は、所定の対象物を撮像した画像と、当該画像における対象物の輪郭との関係を学習した複数の学習済モデルを取得する。

【0164】

第１乃至第３の実施形態では、学習済モデルは、特徴点の座標情報を用いて、各サンプルにおける特徴点の座標がそれぞれ同一座標となるように座標変換された正規化空間上で定義されていた。すなわち、輪郭推定時には画像とともに特徴点（入力点）の座標が入力されることを前提とした、半自動輪郭推定用の学習済モデルのみが取得されていた。

【0165】

一方、本実施形態に係る学習モデル取得部４３は、特徴点の組み合わせ（例えば、対象物における位置や数の組み合わせ）が異なる正規化空間で生成された複数の学習済モデルを取得する。すなわち、本実施形態では、半自動輪郭推定用の学習済モデルだけでなく、特徴点の座標入力を前提としない全自動輪郭推定用の学習済モデルも取得する。このように、本実施形態における学習モデル取得部４３は、半自動輪郭推定用の学習済モデルと全自動輪郭推定用の学習済モデルという２種類の学習済モデルを取得する。

【0166】

輪郭推定部４４は、ユーザーが入力する入力点の有無により複数の学習済モデルから選択（学習済モデルの種別を変更）した学習済モデルと、当該学習済モデルの正規化空間に座標変換した正規化画像とを用いて、入力画像における対象物の輪郭を推定する。輪郭推定部４４は、入力点が入力されていない場合、ユーザーによる入力点を輪郭推定で使用しない第１の学習済モデルを用いて、入力画像における対象物の輪郭を推定し、入力点が入力されている場合、入力点を輪郭推定で使用する第２の学習済モデルを用いて、入力画像における対象物の輪郭を推定する。

【0167】

輪郭推定部４４は、全自動輪郭推定用の学習済モデルを用いた輪郭推定を行う場合に、全自動輪郭推定用の学習済モデルが生成された正規化空間と同一の正規化空間に入力画像を座標変換した正規化画像を取得する。そして、輪郭推定部４４は、選択した学習済モデルと、正規化画像とを用いて、入力画像における対象物の輪郭を推定する。

【0168】

また、輪郭推定部４４は、半自動輪郭推定用の学習済モデルを用いた輪郭推定を行う場合に、入力点（Ｓ６０８で入力される入力点）の組み合わせに対応する学習済モデルを複数の学習済モデル（Ｓ６０２で生成される複数の学習済モデル）から選択し、選択した学習済モデルの正規化空間と同一の正規化空間に入力画像を座標変換した正規化画像を取得する。そして、輪郭推定部４４は、選択した学習済モデルと正規化画像とを用いて、入力画像における対象物の輪郭を推定する。

【0169】

輪郭推定部４４は、第１乃至第３の実施形態と同様に、学習モデル取得部４３で取得した学習済モデルを用いた行列演算によって、画像取得部４１で取得した入力画像中の対象物の輪郭（例えば、輪郭情報として輪郭線の位置）を推定する。第１乃至第３の実施形態では半自動輪郭推定のみを行っていたのに対し、本実施形態では入力点の有無により、全自動輪郭推定と半自動輪郭推定を状況に応じて切り替えて実行する。すなわち、全自動輪郭推定を行うと判定される状況では、輪郭推定部４４は、全自動輪郭推定用の学習済モデルを用いて、画像取得部４１で取得した入力画像のみを入力として（特徴点の座標は使わずに）、入力画像中の対象物の輪郭を推定する。

【0170】

一方、半自動輪郭推定を行うと判定される状況では、輪郭推定部４４は、半自動輪郭推定用の学習済モデルを用いて、画像取得部４１で取得した入力画像と位置取得部４２で取得した特徴点の座標を用いて、入力画像における対象物の輪郭を推定する。

【0171】

次に、図６のフローチャートを用いて、図１の画像処理装置１０の処理手順の例について説明する。ここで、図６におけるステップＳ６０１、Ｓ６０５、Ｓ６０６は、図２におけるステップＳ２０１、Ｓ２０６、Ｓ２０７とそれぞれ同一の処理であるため、説明を省略し、以下、図２の処理との相違点を説明する。

【0172】

（ステップＳ６０２：学習済モデルの取得）
ステップＳ６０２において、学習モデル取得部４３は、データベース２２から取得した学習データから、全自動輪郭推定用の学習済モデルと半自動輪郭推定用の学習済モデルを構築する。図７は第４の実施形態に係る学習済モデルの取得処理の手順の例を示すフローチャートであり、以下、図７のフローチャートを用いて、学習モデル取得部４３が行う処理の詳細を説明する。

【0173】

ここで、図７におけるステップＳ７１１及びＳ７２１からＳ７２４の処理は、図３におけるステップＳ３０１からＳ３０５の処理とそれぞれ同一である。ただし、特徴点の種類と数が異なる複数の学習済モデルを取得する点が、第１の実施形態とは異なっている。

【0174】

（Ｓ７１２：正規化空間（全自動輪郭推定用）への座標変換）
ステップＳ７１２において、学習モデル取得部４３は、次のステップにおける学習済モデルの構築に先立って、学習データの各サンプルの画像の画素値情報等の画像情報を、全自動輪郭推定用の学習済モデルを定義する正規化空間へと座標変換する。このとき、学習モデル取得部４３は、学習データの各サンプル画像におけるプローブ位置（例えば、図５（ａ）の５０９）の座標値が互いに一致するように座標変換を行う。すなわち、学習モデル取得部４３は、学習データの各サンプルの画像を、画像中における所定の位置（例えば、プローブ位置）が所定の座標値になるように平行移動させることにより座標変換を行う。

【0175】

なお、本実施形態では、プローブ位置という１点の座標情報（位置情報）を用いて、全自動輪郭推定用の正規化空間への座標変換を行う場合を例として説明したが、各サンプルの画像における画素値情報等の画像情報のみから同定可能な位置であれば、プローブの位置に限られず、他の点を用いて正規化空間へ座標変換を行ってもよい。また、座標変換の基準となる点（位置）は１点に限られず、複数の点（位置）を座標変換の基準とすることが可能である。例えば、プローブ位置と中隔中心点という２点を画像情報から同定して座標変換を行ってもよい。この場合、第１の実施形態におけるステップＳ３０３と同様に、これら２点が一致するような平行移動、回転移動、スケール変換により座標変換行列が算出され、適用される。また、公知の手法を用いて３点以上の点を自動的に検出し、ステップＳ３０３と同様に座標変換を行ってもよい。

【0176】

（Ｓ７１３：学習データの水増し（全自動輪郭推定用））
ステップＳ７１３において、学習モデル取得部４３は、ステップＳ７１２で座標変換された正規化空間において、学習データの水増し処理（データオーグメンテーション）を行う。学習モデル取得部４３は、各サンプルの画像に対する水増し処理を、公知の一般的な手法を適用することで行うことが可能である。例えば、学習モデル取得部４３は、平行移動や回転、拡大または縮小などの複数通りの操作を各サンプル画像の画素値情報に対して実行する。なお、学習モデル取得部４３は、輝度コントラストの変換など、画素値に対して変更を加える水増しを行うことも可能である。

【0177】

（Ｓ７１４：学習済モデル（全自動輪郭推定用）の構築）
ステップＳ７１４において、学習モデル取得部４３は、ステップＳ７１１で取得され、ステップＳ７１２で座標変換された学習データと、ステップＳ７１３で水増しされた学習データの全てを統計解析して、全自動輪郭推定用の学習済モデルを構築する。

【0178】

本ステップの処理で生成される正規化空間は、心尖や左右弁輪位置中点といった特徴点座標が一致するように座標変換された正規化空間ではなく、各サンプルの画像における位置（例えば、プローブ位置）が一致するように、平行移動、回転移動、スケール変換等により座標変換された正規化空間である。

【0179】

本ステップにおける処理は、上記のように正規化空間の生成処理において第１の実施形態と相違するが、本ステップにおけるその他の処理は第１の実施形態におけるステップＳ３０５の処理と同一である。以上の処理により全自動抽出用の学習済モデルの構築処理が終了する。

【0180】

次のステップＳ７２１～Ｓ７２４の処理は、半自動推定用の学習済モデルを構築するための処理であり、図３のステップＳ３０２～Ｓ３０５と同様の処理である。ただし、ステップＳ７２１～Ｓ７２４の処理は、入力点に対応した学習済モデルの限られない点で第１の実施形態の処理を相違しており、学習モデル取得部４３は、ステップＳ７２１～Ｓ７２４の処理を実行して、特徴点の種類と数が異なる複数の学習済モデルを取得する。以上の処理により半自動抽出用の学習済モデルの構築処理が終了し、処理は図６のステップＳ６０３に戻される。

【0181】

（ステップＳ６０３：正規化空間への座標変換）
ステップＳ６０３において、輪郭推定部４４は、選択部として機能して、ユーザーが入力する入力点の有無により複数の学習済モデル（Ｓ６０２）から学習済モデルを選択する。また、輪郭推定部４４は、正規化部として機能して、ステップＳ６０１で取得された入力画像を、選択した学習済モデルが生成された正規化空間と同一の正規化空間に座標変換した正規化画像を取得する。そして、輪郭推定部４４は、正規化空間における入力画像の画素値情報を算出する。

【0182】

全自動輪郭推定用の学習済モデルを用いた輪郭推定では、入力点を用いた座標変換を正規化空間で行うことができないため、ステップＳ７１２と同一の処理を用いて、正規化空間への座標変換を行う。すなわち、ステップＳ７１２において、各サンプルの画像における既知の位置（例えば、プローブ位置）が一致するように座標変換を行った場合、同様にプローブ位置を用いる。輪郭推定部４４は、選択された学習済モデルと、正規化画像とを用いて、入力画像における対象物の輪郭を推定する。

【0183】

一方、半自動輪郭推定用の学習済モデルを用いた輪郭推定では、入力点を用いた座標変換を正規化空間で行うことが可能である。輪郭推定部４４は、入力点が入力されている場合に、入力点の位置を学習済モデル（半自動輪郭推定用の学習済モデル）の特徴点の位置に合わせるように、入力画像を正規化空間に座標変換した正規化画像を取得する。ここで、半自動輪郭推定用の学習済モデルを用いた輪郭推定は、第１乃至第３の実施形態で説明した処理と同様のものとなる。

【0184】

輪郭推定部４４は、本ステップの処理を、特徴点座標取得の有無によって変更する。図６のステップＳ６０８で、特徴点（入力点）の座標情報（特徴点座標）が取得されていないとき、ステップＳ６０１、Ｓ６０２、Ｓ６０３という順番で本ステップの処理が実行される場合に、輪郭推定部４４は、入力画像を、全自動輪郭推定用の学習済モデルが生成された正規化空間と同一の正規化空間に座標変換する。この場合の座標変換処理は、図７のステップＳ７１２の処理と同一である。

【0185】

一方、ステップＳ６０８で、特徴点（入力点）の座標情報（特徴点座標）が取得されているとき、すなわち、ステップＳ６０８を経て本ステップの処理が実行される場合に、輪郭推定部４４は、入力画像を、半自動輪郭推定用の学習済モデルが生成された正規化空間と同一の正規化空間へ座標変換する。この場合の座標変換処理は、ステップＳ７２２（図３のＳ３０３）の処理と同一である。

【0186】

上記のように、輪郭推定部４４がステップＳ７１２あるいはＳ７２２（図３のＳ３０３）の処理によって入力画像を座標変換した後、輪郭推定部４４は、ステップＳ２０４と同様に座標変換後の入力画像の画素数がＮｘ×Ｎｙとなるように入力画像をクロップする。

【0187】

（ステップＳ６０４：輪郭線情報の推定）
ステップＳ６０４において、輪郭推定部４４は、ステップＳ６０３で座標変換された入力画像と、ステップＳ６０２で取得した学習済モデルから、入力画像中に写る対象物の輪郭情報を推定する。より具体的には、輪郭推定部４４は、ＢＰＬＰ法に基づいて画像中に写る対象物（右心室領域）の輪郭情報を推定し、その結果をＲＡＭ３３に格納する。

【0188】

輪郭推定部４４は、図６のステップＳ６０８で特徴点（入力点）の座標情報（特徴点座標）が取得されているか否かにより、輪郭情報推定に使用する学習済モデルを選択（変更）する。すなわち、図６のステップＳ６０８で、特徴点（入力点）の座標情報（特徴点座標）が取得されていない場合、輪郭推定部４４は、輪郭情報推定において全自動輪郭推定用の学習済モデル（Ｓ７１４）を選択する。一方、ステップＳ６０８で、特徴点（入力点）の座標情報（特徴点座標）が取得されている（ステップＳ６０８を経由している）場合、輪郭推定部４４は、輪郭情報推定において半自動輪郭推定用の学習済モデル（Ｓ７２４）を選択する。

【0189】

この際、半自動輪郭推定用の学習済モデルは、ステップＳ６０８で取得されている特徴点の組み合わせ（種類と数）に応じたものが使用される。例えば、特徴点として心尖位置が入力（取得）されている場合、使用する学習済モデルは心尖位置の１点で正規化された学習済モデルである。なお、このように学習済モデルが切り替わること以外は、本ステップの処理は、第１の実施形態におけるステップＳ２０５の処理と同一である。

【0190】

（ステップＳ６０７：輪郭線推定を終了するか否かの指示取得）
ステップＳ６０７において、表示処理部４５は、ユーザーによる輪郭線推定を終了するか否かの指示を取得するための確認画面を、表示部３６の画像表示領域に表示させる。例えば、表示処理部４５は、ユーザーからの指示を入力するための指示入力部として、「終了する」「終了しない」という２つのボタンを有するダイアログボックスを表示部３６に表示させる。この他、ユーザーによる指示を取得するための構成は、所定のキーボード入力を受け付けるなど、任意の方法を用いることが可能である。輪郭線の推定処理を「終了する」という指示が入力された場合（Ｓ６０７－Ｙｅｓ）、本実施形態の画像処理装置１０による輪郭線の推定処理は終了する。一方、ステップＳ６０７の判定処理で、輪郭線の推定処理を「終了しない」という指示が入力された場合（Ｓ６０７－Ｎｏ）、処理はステップＳ６０８へと進められる。

【0191】

（ステップＳ６０８：特徴点座標の取得）
ステップＳ６０８において、位置取得部４２は、ユーザーによる特徴点（入力点）の座標情報の入力を受け付ける。位置取得部４２は、所定の特徴点の座標情報を取得し、ＲＡＭ３３に格納する。

【0192】

ステップＳ６０８では、表示処理部４５は、ステップＳ６０６で推定された推定の結果を入力画像に重畳した重畳画像を表示部３６に表示させる。そして、位置取得部４２は、重畳画像に対してユーザーが入力した特徴点の位置を入力点として取得する。

【0193】

ユーザーが入力する特徴点は、ステップＳ６０２の処理によって、どの半自動輪郭推定用の学習済モデルが取得されているかによって決まる。例えば、未だ特徴点が入力されていない場合、すなわち、初めて本ステップ（Ｓ６０８）が実行される場合は、本ステップで入力される特徴点は「１点目」の特徴となる。そして、半自動輪郭推定用の学習済モデルのうち、特徴点の数が１点の場合の学習済モデルが、心尖位置で正規化されている場合、この学習済モデルが選択され、ユーザーが入力する「所定の特徴点」は、心尖位置として決まる。

【0194】

次に、特徴点が既に１点、心尖位置に入力された状態で、本ステップ（Ｓ６０８）が実行される場合、本ステップで入力される特徴点は「２点目」の特徴となる。そして、半自動輪郭推定用の学習済モデルのうち、特徴点の数が２点の場合の学習済モデルが、心尖位置と左右弁輪位置中点の２点で正規化されている場合、この学習済モデルが選択され、ユーザーが入力する２点目の「所定の特徴点」は、左右弁輪位置中点として決まる。

【0195】

このように、本ステップ（Ｓ６０８）が実行されるたびに１点ずつ特徴点が追加され、以降のステップでは、入力されている１点以上の特徴点に対応する半自動輪郭推定用の学習済モデルが選択され、選択された半自動輪郭推定用の学習済モデルに基づいて、半自動輪郭推定が実行される。

【0196】

なお、図６のステップＳ６０８において、特徴点の入力は１点ずつに追加してもよいし、複数の特徴点をまとめて追加してもよい。この場合、選択される半自動輪郭推定用の学習済モデルは、入力された特徴点の数に対応したものとなる。例えば、複数の特徴点（Ｎ点）が入力された場合、Ｎ点に対応する半自動輪郭推定用の学習済モデルが選択され、選択された学習済モデルに基づいて、半自動輪郭推定が実行される。

【0197】

なお、入力される特徴点の数に対応する半自動輪郭推定用の学習済モデルがステップＳ６０２の処理で取得されていない場合、輪郭推定部４４は、学習済モデルを用いた輪郭推定を行わず、入力される特徴点を補間した曲線を輪郭として出力する。例えば、ステップＳ６０２の処理で、３種類の半自動輪郭推定用の学習済モデルが、３種類の特徴点（１点、２点、３点）に対応して取得されているときに、特徴点Ｎ＝４点目の特徴点が入力された場合、輪郭推定部４４は、これら４点をスプライン補間で滑らかに補間した曲線を輪郭として出力する。

【0198】

なお、本実施形態では、まず全自動輪郭推定を行い、ユーザーが必要であると判断した場合に半自動輪郭推定を行う場合を例に挙げて説明したが、例えば、ステップＳ６０１において入力される入力画像の画質の評価結果に基づいて、全自動輪郭推定をスキップする処理を行うことも可能である。

【0199】

この場合、画像取得部４１は、入力画像を取得し、入力画像の画質を評価する。そして、輪郭推定部４４は、選択部として機能して、画質の評価結果に基づいて複数の学習済モデルから学習済モデルを選択する。また、輪郭推定部４４は、ステップＳ６０１で取得された入力画像を、選択した学習済モデルが生成された正規化空間と同一の正規化空間に座標変換した正規化画像を取得する。そして、輪郭推定部４４は、選択された学習済モデルと、正規化画像とを用いて、入力画像における対象物の輪郭を推定する。

【0200】

輪郭推定部４４は、入力画像の画質が閾値を満たさないと評価された場合に、入力点を輪郭推定で使用しない第１の学習済モデルを用いず、入力点を輪郭推定で使用する第２の学習済モデルを用いて、入力画像における対象物の輪郭を推定する。

【0201】

表示処理部４５は、画像取得部４１（評価部）により入力画像の画質が閾値を満たさないと評価された場合に、特徴点の入力を促すユーザインタフェースを表示部３６に表示させ、位置取得部４２は、ユーザインタフェースから入力された特徴点の位置を入力点として取得する。輪郭推定部４４は入力された所定の特徴点の座標を用いて、第２の学習済モデルを用いた半自動輪郭推定を行う。

【0202】

画質の評価の例として、画像取得部４１（評価部）は、ステップＳ６０１で入力画像を取得した後、入力画像にフーリエ変換を適用して周波数領域に変換し、高周波成分が一定以上である場合に、入力画像の画質はノイズの閾値を満たさないと評価する。あるいは、画像取得部４１（評価部）は、入力画像のコントラストを算出し、コントラストが一定のコントラストの閾値以下である場合、入力画像の画質はコントラストの閾値を満たさないと評価する。入力画像の画質が閾値（例えば、ノイズの閾値、またはコントラストの閾値）を満たさないと評価された場合に、全自動輪郭推定をスキップして、輪郭推定部４４は半自動輪郭推定を行う。

【0203】

（変形例）
図６及び図７の処理では、複数の学習済モデルをステップＳ６０２で取得しておき、ステップＳ６０８で取得された特徴点に対応する半自動輪郭推定用の学習済モデルを選択して、半自動輪郭推定を行う処理を説明した。

【0204】

なお、学習済モデルの取得処理は、この例に限られず、例えば、図８に示すように、特徴点（入力点）の有無により、全自動推定用の学習済モデルの構築処理（Ｓ７１１～Ｓ７１４）と、半動推定用の学習済モデルの構築処理（Ｓ７２１～Ｓ７２４）とに分けることも可能である。

【0205】

図８は第４の実施形態に係る学習済モデルの取得処理の変形例を示すフローチャートである。本フローチャートでは、ステップＳ６０８（図６）に対応する処理が学習済モデルの取得処理の前に実行される。すなわち、学習モデル取得部４３が、複数の学習済モデルを生成する前に、ステップＳ８００において特徴点の有無が判定される。

【0206】

例えば、特徴点（入力点）が入力されておらず、特徴点（入力点）の座標情報が取得されていない場合（Ｓ８００－Ｎｏ）、学習モデル取得部４３は、処理をＳ７１１に進め、全自動輪郭推定用の学習済モデルの構築処理（Ｓ７１１～Ｓ７１４）を実行する。

【0207】

一方、ステップＳ８００の判定で、特徴点（入力点）が入力されており、特徴点（入力点）の座標情報が取得されている場合（Ｓ８００－Ｙｅｓ）、学習モデル取得部４３は、処理をＳ７２１に進め、取得された特徴点の組み合わせ（対象物における位置や数の組み合わせ）に対応した半自動輪郭推定用の学習済モデルの構築処理（Ｓ７２１～Ｓ７２４）を実行する。

【0208】

本実施形態によれば、まず、全自動の輪郭推定結果を表示し、特徴点座標のインタラクティブな入力に応じて学習済モデルを切り替えて、入力された特徴点に基づく半自動輪郭推定を行うことが可能になる。そのため、ユーザーの意図を反映した精度の高い輪郭推定を行うことが可能になる。

【0209】

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0210】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0211】

１０ 画像処理装置
２１ ネットワーク
２２ データベース
３１ 通信ＩＦ
３２ ＲＯＭ
３３ ＲＡＭ
３４ 記憶部
３５ 操作部
３６ 表示部
３７ 制御部
４１ 画像取得部
４２ 位置取得部
４３ 学習モデル取得部
４４ 輪郭推定部
４５ 表示処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】