特開 2024-150029 画像処理装置、画像処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024150029

(43)【公開日】2024-10-23

(54)【発明の名称】画像処理装置、画像処理方法、およびプログラム

(51)【国際特許分類】

   A61B 5/00 20060101AFI20241016BHJP

【ＦＩ】

A61B5/00 G

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2023063242

(22)【出願日】2023-04-10

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(71)【出願人】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】音丸 格

【テーマコード（参考）】

4C117

【Ｆターム（参考）】

4C117XB09

4C117XE44

4C117XE45

4C117XE46

4C117XK05

4C117XR07

4C117XR08

4C117XR09

(57)【要約】

【課題】画像中の所定の領域を推定する処理における推定精度を向上させる。
【解決手段】画像処理装置は、被検体を撮像した被検体画像を取得する画像取得部と、前記被検体画像において、撮像範囲外又は前記被検体が存在しない領域である無効領域に関する情報を取得する無効領域取得部と、前記被検体画像に基づいて、所定の領域を推定した推定結果を取得する取得部と、前記無効領域に関する情報を用いて、前記所定の領域の推定の成否を判定する判定部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

被検体を撮像した被検体画像を取得する画像取得部と、
前記被検体画像において、撮像範囲外又は前記被検体が存在しない領域である無効領域に関する情報を取得する無効領域取得部と、
前記被検体画像に基づいて、所定の領域を推定した推定結果を取得する取得部と、
前記無効領域に関する情報を用いて、前記所定の領域の推定の成否を判定する判定部とを備えることを特徴とする画像処理装置。

【請求項2】

前記取得部は、前記所定の領域の複数の輪郭点を取得し、
前記判定部は、前記複数の輪郭点のうち少なくとも１つが前記無効領域に存在する場合に、前記所定の領域の推定が失敗したと判定する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記判定部は、前記所定の領域の一部が前記無効領域に存在する場合に、前記所定の領域の推定が失敗したと判定する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項4】

前記取得部は２種類以上の推定手法による前記所定の領域の推定結果を取得することができ、前記判定部によって第１の推定手法による前記所定の領域の推定が失敗したと判定された場合、前記第１の推定手法とは異なる第２の推定手法による前記所定の領域の推定結果を取得する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項5】

前記取得部は、前記被検体画像と前記所定の領域との関係を学習させた学習モデルを用いて推定した前記所定の領域の推定結果を取得する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項6】

前記被検体画像は、３次元画像であり、
前記無効領域は、３次元領域である
ことを特徴とする請求項１に記載の画像処理装置。

【請求項7】

前記画像取得部は、前記被検体を撮像した撮像画像から前記被検体が描出された領域を切り出すことで前記被検体画像を取得し、
前記無効領域取得部は、前記撮像画像に基づいて前記無効領域に関する情報を取得することを特徴とする請求項１に記載の画像処理装置。

【請求項8】

前記撮像画像は、超音波診断装置によって得られる超音波画像、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置によって得られるＸ線ＣＴ画像、およびＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置によって得られるＭＲＩ画像のいずれかである
ことを特徴とする請求項７に記載の画像処理装置。

【請求項9】

前記撮像画像は３次元画像であり、前記被検体画像は前記撮像画像から切り出された２次元断面画像である
ことを特徴とする請求項７に記載の画像処理装置。

【請求項10】

前記画像取得部は、前記３次元画像を入力として、前記３次元画像中における前記２次元断面画像の位置と姿勢を特定するパラメータを出力するように学習させた学習モデルを用いて、前記２次元断面画像を取得する
ことを特徴とする請求項９に記載の画像処理装置。

【請求項11】

前記画像取得部は、前記３次元画像の解像度を低減させた画像を用いて、前記２次元断面画像を取得する
ことを特徴とする請求項９に記載の画像処理装置。

【請求項12】

前記撮像画像に基づいて、前記撮像画像における前記所定の領域の初期領域を推定した推定結果を取得する初期領域取得部をさらに備え、
前記取得部は、前記判定部によって前記所定の領域の推定が失敗したと判定された場合、前記初期領域取得部が取得した前記初期領域の推定結果を、前記所定の領域の推定結果として取得する
ことを特徴とする請求項７に記載の画像処理装置。

【請求項13】

前記初期領域取得部は、前記無効領域を含まないように推定された前記初期領域の推定結果を取得する
ことを特徴とする請求項１２に記載の画像処理装置。

【請求項14】

前記所定の領域の推定結果および前記判定部による判定結果を表示する表示部をさらに備える
ことを特徴とする請求項１に記載の画像処理装置。

【請求項15】

前記取得部は、前記判定部によって前記所定の領域の推定が失敗であると判定された場合、ユーザーの指示に基づいて修正した前記所定の領域を推定結果として取得する
ことを特徴とする請求項１に記載の画像処理装置。

【請求項16】

被検体を撮像した被検体画像を取得する画像取得ステップと、
前記被検体画像において、撮像範囲外又は前記被検体が存在しない領域である無効領域に関する情報を取得する無効領域取得ステップと、
前記被検体画像に基づいて、所定の領域を推定した推定結果を取得する取得ステップと、
前記無効領域に関する情報を用いて、前記所定の領域の推定の成否を判定する判定ステップと
を有することを特徴とする画像処理方法。

【請求項17】

コンピュータを、請求項１～１５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、およびプログラムに関する。

【背景技術】

【0002】

医用画像を用いた診断では、領域抽出（セグメンテーション）または輪郭抽出によって画像中の所定の被検体の形状を抽出し、抽出した形状に基づく種々の機能解析が行われる。被検体形状の手動抽出は熟練を要し、作業者（医師等）の負担となる作業であるため、被検体形状の抽出の自動化は、医用画像処理における主要な関心事の一つである。これまでに、非特許文献１に示すＵ－Ｎｅｔを代表的な例として、種々の深層学習に基づく技術が提案されている。

【0003】

被検体形状の自動抽出（推定）で課題となるのは、推定に失敗するリスクをいかに低減するかである。診断では、学習データとは撮像設定が異なる画像、学習データよりも画質が低い画像等、学習データには含まれない特徴を有する画像が入力され得る。学習データに含まれない特徴を有する画像が入力されると、被検体形状の抽出結果に誤差が生じる場合がある。この課題を解決するため、学習データを水増しし、限られた学習データから多くのバリエーションを生成することで、性能向上を図る技術が知られている。また、特許文献１は、画像の撮像および画像処理の失敗を検知し、別の手法に切り替えるなど、回復処理を行う技術を開示している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３－５１２１７号公報

【非特許文献】

【0005】

【非特許文献1】Ｏｌａｆ Ｒｏｎｎｅｂｅｒｇｅｒ ｅｔ ａｌ．，Ｕ－Ｎｅｔ： Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｂｉｏｍｅｄｉｃａｌ Ｉｍａｇｅ Ｓｅｇｍｅｎｔａｔｉｏｎ，Ｍｅｄｉｃａｌ Ｉｍａｇｅ Ｃｏｍｐｕｔｉｎｇ ａｎｄ Ｃｏｍｐｕｔｅｒ－Ａｓｓｉｓｔｅｄ Ｉｎｔｅｒｖｅｎｔｉｏｎ－ＭＩＣＣＡＩ ２０１５， Ｌｅｃｔｕｒｅ Ｎｏｔｅｓ ｉｎ Ｃｏｍｕｔｅｒ Ｓｃｉｅｎｃｅ， ｖｏｌ．９３５１，ｐｐ．２３４－２４１．

【非特許文献2】Ｔｏｓｈｉｙｕｋｉ Ａｍａｎｏ ｅｔ．ａｌ．，Ａｎ ａｐｐｅａｒａｎｃｅ ｂａｓｅｄ ｆａｓｔ ｌｉｎｅａｒ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ，ＭＶＡ ２００９ ＩＡＰＲ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ．

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、これら先行技術に記載の方法では、例えば体外領域などの被検体が存在しない領域（無効領域）が被検体領域として推定されてしまう場合があった。

【0007】

本開示は、上記に鑑みてなされたものであり、画像中の所定の領域を推定する処理における推定精度を向上させる技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

本開示に係る画像処理装置は、被検体を撮像した被検体画像を取得する画像取得部と、前記被検体画像において、撮像範囲外又は前記被検体が存在しない領域である無効領域に
関する情報を取得する無効領域取得部と、前記被検体画像に基づいて、所定の領域を推定した推定結果を取得する取得部と、前記無効領域に関する情報を用いて、前記所定の領域の推定の成否を判定する判定部とを備えることを特徴とする画像処理装置を含む。

【0009】

また、本開示に係る画像処理方法は、被検体を撮像した被検体画像を取得する画像取得ステップと、前記被検体画像において、撮像範囲外又は前記被検体が存在しない領域である無効領域に関する情報を取得する無効領域取得ステップと、前記被検体画像に基づいて、所定の領域を推定した推定結果を取得する取得ステップと、前記無効領域に関する情報を用いて、前記所定の領域の推定の成否を判定する判定ステップとを有することを特徴とする画像処理方法を含む。

【発明の効果】

【0010】

本開示の技術によれば、画像中の所定の領域を推定する処理における推定精度を向上させることができる。

【図面の簡単な説明】

【0011】

【図1】第１実施形態に係る画像処理システムの構成例を示す図である。

【図2】第１実施形態の画像処理装置の処理を例示するフローチャートである。

【図3】基準断面および基準断面上の内膜輪郭を模式的に示す図である。

【図4】無効領域を説明する図である。

【図5】無効領域を用いた内膜輪郭の推定成否の判定について説明する図である。

【図6】無効領域の別の例を説明する図である。

【図7】第２実施形態に係る画像処理システムの構成例を示す図である。

【図8】第２実施形態の画像処理装置の処理を例示するフローチャートである。

【図9】第３実施形態に係る画像処理システムの構成例を示す図である。

【図10】第３実施形態の画像処理装置の処理を例示するフローチャートである。

【発明を実施するための形態】

【0012】

以下、本開示の実施形態について図面を用いて説明する。なお、本開示は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。また、以下で説明する図面において、同じ機能を有する構成には、同一の符号が付され、その説明は省略または簡略化される場合がある。

【0013】

以下に説明する各実施形態に係る画像処理装置は、入力３次元画像を医師等が観察および診断するための所定の基準断面と、該基準断面上に写る所定の領域（被検体）の輪郭とを推定する機能を提供する。処理対象となる入力画像は、医用画像、すなわち、医学的な診断、検査、研究などの目的で撮影ないし生成された被検体（人体など）の画像であり、典型的には、モダリティと呼ばれる撮像システムによって取得された画像である。入力画像としては、例えば、超音波診断装置によって得られる超音波画像が挙げられる。また、入力画像はＸ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置によって得られるＸ線ＣＴ画像、ＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置によって得られるＭＲＩ画像などであってもよい。

【0014】

以下の説明では、画像処理装置は、入力３次元画像として、心臓の右心室領域を撮像した経胸骨３次元超音波画像を取得する。画像処理装置は、観察対象である右心室領域の基準断面を推定し、所定の領域として内膜輪郭を推定する。

【0015】

＜第１実施形態＞
第１実施形態に係る画像処理装置は、３次元画像を入力画像として、右心室を観察するための基準断面の位置および姿勢を表すパラメータ（以下、基準断面パラメータという）
を推定し、基準断面における右心室内膜輪郭を表す点群の各点の座標を推定する。その際、画像処理装置は、基準断面において、内膜輪郭が位置するべきではない領域を無効領域として取得する。画像処理装置は、推定した内膜輪郭点が無効領域に存在するか否かにより内膜輪郭の推定処理の成否を判定する。画像処理装置は、推定処理に失敗と判定した場合、輪郭推定アルゴリズムを別のアルゴリズムに切り替えて、推定処理を再実行する。いずれのアルゴリズムを用いても失敗状態が解消しない場合、画像処理装置は処理が失敗したことを出力する。

【0016】

図３（Ａ），３（Ｂ）は、基準断面および基準断面上の右心室内膜輪郭を模式的に示す図である。基準断面画像３１０は、図３（Ａ）に示す通り、入力３次元画像３０１を所定の位置および姿勢で切断した２次元断面画像である。図３（Ｂ）の例では、基準断面画像３１０は、左心室３１１、左心房３１２、右心室３１３、右心房３１４の四腔を観察できるように切り出され、右心室弁輪の中心を中心位置３１５とする断面画像である。また、基準断面画像３１０の横軸３１７は左右弁輪を結んだ軸であり、縦軸３１６は横軸３１７と直交する軸である。基準断面画像３１０は、３次元画像に対して、中心位置（ｃｘ，ｃｙ，ｃｚ）、縦軸ベクトル（ｌｘ，ｌｙ，ｌｚ）、横軸ベクトル（ｓｘ，ｓｙ，ｓｚ）という９個のパラメータで表現することができる。内膜輪郭点群は、基準断面画像３１０上の右心室の内膜輪郭を示す点群であり、右心室３１３を取り囲む離散的な点群を指す。

【0017】

基準断面画像３１０の定義において注意すべき点は、症例にかかわらず基準断面画像の画像サイズ（ピクセル数）を不変（例えば２５６×２５６ピクセル）としている点、およびスケーリングを行っていない点が挙げられる。このため、右心室弁輪中心点の位置によっては、２５６×２５６ピクセルの基準断面画像３１０は、入力３次元画像３０１の画像定義範囲外の領域を含む場合がある。入力３次元画像３０１の画像定義範囲外の領域は、入力３次元画像３０１では撮像範囲外となる領域であり、無効領域と定義される。無効領域は３次元領域である。基準断面画像３１０の画像範囲は無効領域を含む場合がある。

【0018】

図４（Ａ），４（Ｂ）は、無効領域を説明する図である。図４（Ａ）は、入力３次元画像４０１に対する基準断面画像４０２の位置関係を示す。基準断面画像４０２の一部の領域は入力３次元画像の撮像範囲内にあり、それ以外の領域は入力３次元画像の撮像範囲外にある。図４（Ｂ）は、基準断面画像４０２において、入力３次元画像の撮像範囲内および撮像範囲外の領域を図示する。斜線部の領域４１１および領域４１２は、入力３次元画像４０１において画像定義範囲外となる領域、すなわち無効領域である。無効領域以外の領域、すなわち黒く塗りつぶされた領域４１３は、有効領域である。

【0019】

図５（Ａ），５（Ｂ）は、無効領域を用いた内膜輪郭の推定成否の判定について説明する図である。図５（Ａ）は、内膜輪郭推定が成功と判定される場合の例である。基準断面画像５０１において右心室領域は、視認性良く描出されており、内膜輪郭点群５２０～５２８の各点は有効領域に含まれる。一方、図５（Ｂ）は、内膜輪郭推定が失敗と判定される場合の例である。基準断面画像５０２の画質が悪く、右心房および左心室と接するわずかな領域以外で右心室領域を視認することは困難である。図５（Ｂ）の例では、推定された内膜輪郭点群５３０～５３８のうち、点５３６～５３８は無効領域に含まれている。画像処理装置は、例えば、推定した内膜輪郭点のうち少なくとも１つが、有効領域をはみ出して無効領域に存在する場合に、内膜輪郭推定に失敗したと判定することができる。

【0020】

図１を参照して、第１実施形態に係る画像処理装置の構成および処理について説明する。図１は、第１実施形態に係る画像処理システム（医用画像処理システムともいう）１の構成例を示す図である。画像処理システム１は、画像処理装置１０およびデータベース２２を備える。画像処理装置１０は、ネットワーク２１を介してデータベース２２に通信可能な状態で接続されている。ネットワーク２１は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅ
ａ Ｎｅｔｗｏｒｋ）またはＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。

【0021】

データベース２２は、複数の画像および画像処理装置１０の処理に使用される情報を、保持および管理する。データベース２２で管理される情報は、例えば、画像処理装置１０における基準断面パラメータ推定処理の対象となる入力３次元画像の情報を含む。画像処理装置１０は、ネットワーク２１を介してデータベース２２で保持されているデータを取得することが可能である。画像処理装置１０における基準断面パラメータ推定処理および内膜輪郭推定処理が機械学習による学習モデルに基づいて行われる場合、データベース２２は、学習モデルの情報を保持および管理する。なお、学習モデルの情報は、データベース２２ではなく、画像処理装置１０の内部記憶（ＲＯＭ３２または記憶部３４）に記憶されていてもよい。

【0022】

画像処理装置１０は、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）３１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３、記憶部３４、操作部３５、表示部３６、および制御部３７を備える。

【0023】

通信ＩＦ３１は、例えば、ＬＡＮカードなどであり、外部装置（例えば、データベース２２など）と画像処理装置１０との通信を実現する通信部である。ＲＯＭ３２は、不揮発性のメモリであり、各種プログラムおよび各種データを記憶する。ＲＡＭ３３は、揮発性のメモリであり、実行中のプログラムおよびデータを一時的に記憶するワークメモリとして用いられる。記憶部３４は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）であり、各種プログラムおよび各種データを記憶する。操作部３５は、キーボード、マウス、タッチパネルなどを含み、ユーザー（例えば、医師、検査技師など）からの指示を各種装置に入力する。表示部３６は、ディスプレイなどを含み、各種情報をユーザーに表示する。

【0024】

制御部３７は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などを含み、画像処理装置１０における処理を統括制御する。制御部３７は、機能的な構成として、画像取得部４１、基準断面推定部４２、断面画像取得部４３、無効領域取得部４４、取得部４５、判定部４６、基準断面更新部４７、表示処理部５１を備える。制御部３７は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などを含んでもよい。

【0025】

画像取得部４１は、画像処理装置１０に入力される被検体の３次元画像である入力３次元画像を、データベース２２から取得する。入力３次元画像を取得する処理の詳細は、図２のステップＳ２０１の説明で詳述する。入力３次元画像は、モダリティ（被検体を撮影する撮像システム）から直接取得されてもよい。この場合、画像処理装置１０はモダリティのコンソール内に実装されていてもよい。

【0026】

基準断面推定部４２は、画像取得部４１が取得した入力３次元画像から、基準断面を得るためのパラメータ（基準断面パラメータ）を推定する。基準断面パラメータを推定する処理の詳細は、図２のステップＳ２０２の説明で詳述する。

【0027】

断面画像取得部４３は、画像取得部４１が取得した入力３次元画像と基準断面推定部４２が推定した基準断面パラメータを用いて、入力３次元画像から、基準断面を表す２次元の基準断面画像を取得する。２次元の基準断面画像を取得する処理の詳細は、図２のステップＳ２０３の説明で詳述する。

【0028】

無効領域取得部４４は、画像取得部４１が取得した入力３次元画像と、断面画像取得部
４３が取得した２次元の基準断面画像とを用いて、２次元の基準断面画像において右心室内膜輪郭が位置するべきではない無効領域を取得する。無効領域を取得する処理の詳細は、図２のステップＳ２０４の説明で詳述する。

【0029】

取得部４５は、断面画像取得部４３が取得した２次元の基準断面画像を用いて、所定の領域として、右心室の内膜輪郭を推定する。取得部４５は、２以上の輪郭推定アルゴリズムを有するものとする。取得部４５は、第１のアルゴリズムによる推定を実施し、判定部４６によって「推定失敗」と判定された場合は、第１のアルゴリズムとは異なる第２のアルゴリズムを用いて内膜輪郭を推定する。内膜輪郭を推定する処理の詳細は、図２のステップＳ２０５の説明で詳述する。なお、以下の例では、取得部４５が内膜輪郭（所定の領域）を推定する形態について説明するが、取得部４５は、外部装置によって推定された内膜輪郭の推定結果を取得してもよい。

【0030】

判定部４６は、無効領域取得部４４が取得した無効領域の情報と、取得部４５が推定した内膜輪郭情報とを用いて、内膜輪郭の推定が成功したか失敗したかを判定する。判定部４６は、内膜輪郭推定が失敗したと判定した場合、取得部４５が有するアルゴリズムのうち、内膜輪郭推定に用いられていないアルゴリズムがあるかどうかを判定する。内膜輪郭推定の成否を判定する処理の詳細は、図２のステップＳ２０６およびＳ２０７の説明で詳述する。

【0031】

基準断面更新部４７は、取得部４５が推定した内膜輪郭の情報に基づいて、基準断面の位置および姿勢を表す基準断面パラメータを更新する。基準断面パラメータの更新処理の詳細は、図２のステップＳ２０８で詳述する。

【0032】

表示処理部５１は、入力３次元画像、基準断面パラメータ、基準断面画像、内膜輪郭推定結果など、画像処理装置１０が処理した情報（処理結果）を、ユーザーが容易に視認できるような表示形態で、表示部３６の画像表示領域に表示する。処理結果の表示処理の詳細は、図２のステップＳ２０９の説明で詳述する。

【0033】

画像処理装置１０の各構成要素は、コンピュータプログラムに従って機能する。各構成要素の機能は、例えば、制御部３７（ＣＰＵ）がＲＡＭ３３をワーク領域としてＲＯＭ３２または記憶部３４などに記憶されたコンピュータプログラムを読み込み、実行することで実現される。なお、画像処理装置１０の構成要素の一部またはすべての機能は、専用の回路を用いることで実現されてもよい。また、制御部３７の構成要素の一部の機能は、クラウドコンピューティング技術を用いて実現されてもよい。この場合、画像処理装置１０は、ネットワーク２１を介して、画像処理装置１０とは異なる場所にある演算装置と通信可能に接続される。そして、画像処理装置１０が演算装置とデータの送受信を行うことで、画像処理装置１０および制御部３７の構成要素の機能は実現される。

【0034】

図２は、第１実施形態に係る画像処理装置１０の処理を例示するフローチャートである。

【0035】

（ステップＳ２０１：入力画像の取得）
ステップＳ２０１において、画像処理装置１０は、操作部３５を介してユーザーから画像取得の指示を取得する。画像取得部４１は、ユーザーが指定した入力３次元画像をデータベース２２から取得し、ＲＡＭ３３に格納する。入力３次元画像は、被検体である心臓または心臓の一部等を撮像した撮像画像である。なお、画像取得部４１は、入力３次元画像をデータベース２２から取得する場合に限られず、画像処理装置１０としての超音波診断装置が時々刻々と撮像する超音波画像の中から入力画像を取得してもよい。また、画像取得部４１は、画像処理装置１０と通信可能な外部装置としての超音波診断装置から、超
音波画像を入力画像として取得してもよい。

【0036】

（ステップＳ２０２：基準断面パラメータの推定）
ステップＳ２０２において、基準断面推定部４２は、入力３次元画像のボリュームデータを入力として、基準断面の中心位置および姿勢を定義する基準断面パラメータを推定する。基準断面パラメータは、例えば、中心位置、縦軸ベクトル、横軸ベクトル（各３パラメータずつ、合計９パラメータ）の組である。

【0037】

基準断面推定部４２は、例えば、畳み込みニューラルネットワーク（ＣＮＮ）に基づく手法を用いて、基準断面パラメータを推定することができる。すなわち、基準断面推定部４２は、右心室領域を撮像した３次元超音波画像に対する基準断面パラメータの関係を、ＣＮＮを用いてあらかじめ学習させた学習モデルを用いて、基準断面パラメータを推定する。ステップＳ２０２の処理では、基準断面推定部４２は、ＣＮＮにより学習させた学習モデルを用いて、入力３次元画像から基準断面パラメータを推定する。

【0038】

具体的には、基準断面推定部４２は、入力３次元画像に対する基準断面パラメータの関係を学習させた学習モデルをデータベース２２から取得し、ＲＡＭ３３に格納する。基準断面推定部４２は、ステップＳ２０１でＲＡＭ３３に格納された入力３次元画像を学習モデルに入力することにより、基準断面パラメータを取得することができる。基準断面推定部４２は、取得した基準断面パラメータをＲＡＭ３３に格納する。

【0039】

ＣＮＮを用いた学習モデルに入力される３次元画像は、ステップＳ２０１で取得した入力３次元画像と同一ではなく、入力３次元画像の解像度を低減させた「粗い」画像であってもよい。例えば、入力３次元画像は、１ボクセルあたりの長さが０．６ｍｍで２５６×２５６×２５６ボクセル、すなわち各辺１５３．６ｍｍの範囲が表現されたボリューム画像とする。ステップＳ２０２では、基準断面推定部４２は、入力３次元画像の各辺のボクセル数を１／４に縮小し、６４×６４×６４ボクセルとする。すなわち、表現される範囲は各辺１５３．６ｍｍで変わらないまま、１ボクセルあたりの長さは２．４ｍｍの画像へと変換される。

【0040】

入力３次元画像の解像度を低減させることで、基準断面推定部４２は、入力３次元画像をそのまま用いる場合と比較して、ＣＮＮを用いた推論のための計算時間および使用メモリ量を削減することができる。また、基準断面推定部４２は、学習モデルに入力される入力３次元画像に対し、画素値の平均と分散とを用いた画素値正規化、およびコントラスト補正など、公知の画像処理を前処理としてさらに適用してもよい。

【0041】

基準断面推定部４２は、公知の任意の手法を用いて、解像度変換処理を実行することができる。例えば、基準断面推定部４２は、縮小幅に応じたステップでボクセル値をサンプリングしたり、縮小幅に応じた範囲のボクセルの画素値の平均値を用いたりすることができる。また、解像度変換処理および画素値正規化といった画像処理は、任意の順番で実行することが可能である。また、基準断面推定部４２は、上記の解像度変換処理および画像処理を行わずに、基準断面パラメータを推定してもよい。

【0042】

ＣＮＮを用いた学習モデルによる推定の出力は、例えば、基準断面を表現する９個のパラメータであるが、基準断面の位置および姿勢を表す（すなわち、剛体変換を表す）ことができれば、いずれの表現形式であってもよい。ＣＮＮによる推定の出力は、９個のパラメータに限られず、例えば、基準断面を表現する７個のパラメータ（中心位置３パラメータ、回転軸ベクトル３パラメータ、回転角度１パラメータ）であってもよい。基準断面推定部４２は、ＣＮＮによる推定で出力された７個のパラメータを、中心位置、縦軸ベクトル、横軸ベクトル（各３パラメータずつ）の９個のパラメータによる表現形式に変換して
もよい。

【0043】

また、ＣＮＮによる推定の出力は、４×４の剛体変換行列であってもよい。ＣＮＮを用いた学習モデルは、位置を固定して姿勢を推定する構成、姿勢を固定して位置を推定する構成であってもよい。また、ＣＮＮを用いた学習モデルは、位置および姿勢の他、スケール変換を含むパラメータを推定する構成でもよいし、アフィン変換パラメータを推定する構成でもよい。このように、ＣＮＮを用いた学習モデルは、入力３次元画像を入力として、入力３次元画像中における２次元の基準断面画像の位置と姿勢を特定するパラメータを出力する学習モデルであればよい。

【0044】

また、基準断面パラメータを推定するための学習モデルは、あらかじめ構築されデータベース２２に記憶されている学習モデルに限られず、画像処理装置１０の制御部３７によって構築された学習モデルであってもよい。制御部３７は、不図示の学習部を備え、学習部は、教師データとして入力された入力３次元画像と基準断面パラメータとを用いて学習モデルを構築してもよい。学習部は、ステップＳ２０１で取得した入力３次元画像と、ステップＳ２０８で更新された基準断面パラメータとを教師データとして、学習モデルに学習させてもよい。学習部は、更新された基準断面パラメータを用いて学習モデルに学習させることで、学習モデルによる基準断面パラメータの推定精度を、継続して改善することができる。

【0045】

なお、基準断面パラメータを取得できるのであれば、基準断面推定部４２は、ＣＮＮを用いた学習モデルにより推定する方法以外のいずれの方法で基準断面パラメータを取得してもよい。例えば、基準断面推定部４２は、操作部３５を介してユーザーが手作業で設定した基準断面パラメータを取得してもよく、データベース２２があらかじめ保持している基準断面パラメータを読み出して取得してもよい。

【0046】

（ステップＳ２０３：基準断面画像の取得）
ステップＳ２０３において、断面画像取得部４３は、ステップＳ２０１で取得した入力３次元画像とステップＳ２０２で推定された基準断面パラメータとを用いて、２次元の基準断面画像（２次元断面画像）を取得する。断面画像取得部４３は、入力３次元画像から、被検体である右心室等が描出された領域（断面）を切り出すことで、２次元の基準断面画像を取得する。第１実施形態における２次元の基準断面画像は、被検体画像に相当する。断面画像取得部４３は、基準断面パラメータの中心位置が基準断面画像の中心となるように、入力３次元画像から基準断面画像を切り出す。例えば、右心室の弁輪中心を基準断面の中心位置とすることで、断面画像取得部４３は、入力３次元画像において被検体の一部である右心室を含む２次元の基準断面画像を切り出すことができる。

【0047】

図３（Ａ）を用いて、基準断面画像３１０の取得処理を具体的に説明する。断面画像取得部４３は、右心室弁輪の中心位置３１５、縦軸３１６、横軸３１７に基づいて、入力３次元画像３０１をサンプリングすることにより、２次元の基準断面画像３１０を取得することができる。断面画像取得部４３は、１ピクセル当たりの長さは入力３次元画像と同じ（例えば０．６ｍｍ）とし、２５６×２５６ピクセル（１ピクセル当たりの長さが０．６ｍｍの場合は１５３．６ｍｍ×１５３．６ｍｍ）の範囲をサンプリングする。断面画像取得部４３は、取得した２次元の基準断面画像をＲＡＭ３３に格納する。なお、２次元断面画像の画素サイズは、入力３次元画像のボクセルサイズと同じでなくてもよい。

【0048】

（ステップＳ２０４：無効領域の取得）
ステップＳ２０４において、無効領域取得部４４は、ステップＳ２０１で取得した入力３次元画像とステップＳ２０３で取得した２次元の基準断面画像とを用いて、無効領域に関する情報を取得する。無効領域は、推定対象である右心室内膜輪郭が位置するべきでは
ない３次元領域であって、具体的には、入力３次元画像の画像定義範囲外（撮像範囲外）の領域である。無効領域取得部４４は、２次元の基準断面画像において、無効領域である領域を特定する。

【0049】

無効領域の取得方法について具体的に説明する。無効領域取得部４４は、２５６×２５６ピクセルで構成される２次元の基準断面画像の各ピクセルを座標変換し、各ピクセルの入力３次元画像におけるボクセル位置をそれぞれ算出する。算出した３次元画像におけるボクセル位置が入力３次元画像の画像定義範囲外を示す場合、該ピクセルは「無効ピクセル」と定義される。

【0050】

「入力３次元画像の画像定義範囲外」を示すボクセル位置は、具体的には、例えば入力３次元画像が２５６×２５６×２５６ボクセルの画像である場合、各成分に０よりも小さい値または２５５よりも大きい値が１つでも存在するボクセル位置である。無効領域取得部４４は、２次元の基準断面画像と同サイズ（２５６×２５６ピクセル）の画像領域を用意し、無効ピクセルの位置には無効であることを識別する値を格納する。無効領域取得部４４は、２次元の基準断面画像の各ピクセルについて、無効ピクセルであるか否かを判定することで、無効領域を取得（定義）することができる。

【0051】

図４（Ｂ）は、入力３次元画像の画像定義範囲外となる斜線部の領域４１１および領域４１２を無効領域とする例を示すが、無効領域は、入力３次元画像内に設定されてもよい。図６（Ａ），６（Ｂ）は、無効領域の別の例を説明する図である。図６（Ａ）は、３次元超音波画像における画像再構成領域（すなわち、撮影可能領域）である領域６０２を示す。領域６０２は、入力３次元画像６０１の部分領域である。超音波プローブによる撮影可能領域の形状は直方体とは限らない。この場合、無効領域取得部４４は画像再構成領域である領域６０２を有効領域、領域６０２の外側を無効領域と判定する。

【0052】

図６（Ｂ）は、２次元の基準断面画像６０３で取得された有効領域６０２および無効領域６０４を図示する。なお、有効領域６０２は、画像再構成領域と一致させるのではなく、画像再構成領域よりも数ピクセル程度拡張してマージンを持たせてもよい。有効領域６０２にマージンを持たせることで、実際の右心室領域の一部が画像再構成領域の外側に見切れた状態で撮影されている場合に、正しく内膜輪郭が推定されているにもかかわらず推定失敗と判定される可能性を低減させることが可能である。

【0053】

（ステップＳ２０５：内膜輪郭の推定）
ステップＳ２０５において、取得部４５は、ステップＳ２０３で取得された基準断面画像を用いて、内膜輪郭を推定する。内膜輪郭は、所定の領域の一例であり、例えば、複数の輪郭点から形成される。取得部４５は、具体的には、右心室の内膜輪郭を表す点群の各点の２次元座標（Ｘ，Ｙ）を推定する。右心室内膜輪郭は、あらかじめ定めた所定の数の点により表される。右心室内膜輪郭が、例えば１７点の点群で表される場合、取得部４５は、各点のＸ座標およびＹ座標として３４個の数値データを推定する。

【0054】

取得部４５は、所定の領域を推定するためのアルゴリズム（推定手法）を少なくとも２個有する。図２の説明では、所定の領域を推定するアルゴリズムは、ＣＮＮを用いる手法、および非特許文献２に記載されている主成分分析（ＰＣＡ）を用いる手法の２つの公知の手法とする。いずれの手法も学習データに基づく手法であり、内膜輪郭点群といった所定の領域を推定する学習モデルは、２次元の基準断面画像と該基準断面画像における内膜輪郭点群の各点の座標との関係を学習させることにより構築される。すなわち、取得部４５は、２次元の基準断面画像（被検体画像）と、対応する所定の領域との関係を学習させた学習モデルを用いて、学習モデルに入力された被検体画像における所定の領域を推定する。

【0055】

ステップＳ２０５の具体的な処理として、取得部４５は、内膜輪郭の推定に使用するアルゴリズムを選択する。ステップＳ２０５に到達し、いずれのアルゴリズムでも内膜輪郭の推定が行われていない場合、取得部４５は、ＣＮＮを用いるアルゴリズムを選択し、ＣＮＮに対応する学習モデルをデータベース２２から取得する。

【0056】

一方、後述のステップＳ２０６の処理で、判定部４６により「ＣＮＮを用いるアルゴリズムは実行済みで失敗である」という判定がなされている場合、取得部４５は、ＰＣＡを用いるアルゴリズムを選択し、ＰＣＡに対応する学習モデルを取得する。

【0057】

取得部４５は、ステップＳ２０３で取得された基準断面画像と、読み込んだ学習モデルとを用いて、内膜輪郭点群の各点の座標を推定する。取得部４５は、推定して得られた内膜輪郭点群の各点の座標をＲＡＭに格納する。

【0058】

（ステップＳ２０６：内膜輪郭推定の成否を判定）
ステップＳ２０６において、判定部４６は、内膜輪郭推定の成否を判定する。判定部４６は、ステップＳ２０５で推定された内膜輪郭点群の各点がいずれも有効領域内にある場合に、内膜輪郭の推定が成功したと判定する。すなわち、判定部４６は、内膜輪郭点群（複数の輪郭点）のうち少なくとも１つが、ステップＳ２０４で取得された無効領域に存在する場合に、内膜輪郭の推定が失敗したと判定する。なお、判定部４６は、１つに限られず、所定の個数より多くの内膜輪郭点（例えば、３つ以上の輪郭点）が、無効領域に存在する場合に、内膜輪郭推定に失敗したと判定してもよい。

【0059】

図５（Ａ），５（Ｂ）を用いて、内膜輪郭推定の成否の判定手順を具体的に説明する。判定部４６は、ＲＡＭ３３から、ステップＳ２０４で取得された無効領域を表す２次元画像を読み込む。判定部４６は、内膜輪郭点群の各点が無効領域の範囲内に存在するか否かを判定する。図５（Ａ）は、内膜輪郭点群５２０～５２８の各点は有効領域内に位置し、「推定成功」と判定される場合の例を示す。一方、図５（Ｂ）は、一部の点５３６～５３８が無効領域に位置し、「推定失敗」と判定される場合の例を示す。内膜輪郭推定に成功したと判定された場合（ステップＳ２０６：ＹＥＳ）、処理はステップＳ２０８へ進む。内膜輪郭推定に失敗したと判定された場合（ステップＳ２０６：ＮＯ）、処理はステップＳ２０７へ進む。

【0060】

（ステップＳ２０７：全推定手法を実行済みか否か判定）
ステップＳ２０７において、判定部４６は、取得部４５が有するすべての内膜輪郭の推定手法（アルゴリズム）が実行済みか否かを判定する。すべてのアルゴリズムが実行済みと判定された場合（ステップＳ２０７：ＹＥＳ）、いずれの手法による内膜輪郭の推定も失敗しており、処理はステップＳ２０９へ進む。ステップＳ２０９では、内膜輪郭の推定に失敗したことがユーザーに通知される。一方、まだ実行されていないアルゴリズムが存在する場合（ステップＳ２０７：ＮＯ）、処理はステップＳ２０５へ戻る。ステップＳ２０５では、取得部４５は、実行されていないアルゴリズムにより内膜輪郭を再実行する。

【0061】

（ステップＳ２０８：基準断面パラメータの更新）
ステップＳ２０８において、基準断面更新部４７は、ステップＳ２０５で推定され、ステップＳ２０６で推定成功と判定された右心室内膜輪郭の推定結果に基づいて、基準断面パラメータを更新する。ステップＳ２０８の処理は、基準断面パラメータと右心室内膜輪郭との整合性を維持するために実行される処理である。

【0062】

基準断面パラメータの更新処理が行われる理由について、図３（Ｂ）を用いて説明する。基準断面は、４つの腔を視認可能な断面であり、右心室弁輪の中心を中心位置３１５と
し、左右弁輪を結んだベクトルを横軸３１７とする断面として定義される。ステップＳ２０２では、内膜輪郭点群の各点の座標を推定するわけではないものの、基準断面推定部４２は、上記の通り定義された基準断面に対する基準断面パラメータの学習データを用いて、基準断面パラメータを推定する。一方、ステップＳ２０５では、取得部４５は、基準断面パラメータの中心位置３１５、縦軸３１６、横軸３１７を考慮せず、２次元の基準断面画像に基づいて内膜輪郭を推定する。このため、左右弁輪を結んだベクトルは、基準断面画像の横軸３１７とは一致せず、左右弁輪の中心は、基準断面画像の中心位置３１５とは一致しない場合がある。したがって、更新処理を実行しない場合、基準断面パラメータは、基準断面の定義に整合しない場合が生じ得る。

【0063】

基準断面の定義に対する不整合を解消するため、ステップＳ２０８では、基準断面更新部４７は、ステップＳ２０６で推定成功と判定された右心室内膜輪郭に基づいて、基準断面パラメータの平行移動および回転を行う。まず、基準断面更新部４７は、ステップＳ２０２で推定された断面パラメータを用いて、２次元座標で表現されている内膜輪郭点群の各点の座標値を、入力３次元画像の空間における３次元座標値へと座標変換する。

【0064】

次に、基準断面更新部４７は、基準断面パラメータを更新する。すなわち、基準断面更新部４７は、基準断面パラメータの中心位置（ｃｘ，ｃｙ，ｃｚ）が、右心室内膜輪郭の左右弁輪中心と一致するように面内平行移動させる。また、基準断面更新部４７は、基準断面パラメータの横軸ベクトル（ｓｘ，ｓｙ，ｓｚ）が、左右弁輪を結んだベクトルと一致するように、基準断面画像内で面内回転させる。基準断面更新部４７は、更新した基準断面パラメータを、新たな基準断面パラメータとして、ＲＡＭ３３に格納する。

【0065】

ステップＳ２０８の基準断面パラメータ更新処理が実行されることにより、基準断面パラメータと右心室内膜輪郭との整合性が維持される。なお、基準断面更新部４７は、ステップＳ２０８の処理を実行しなくてもよい。

【0066】

（ステップＳ２０９：処理結果の表示）
ステップＳ２０９において、表示処理部５１は、図２に示す画像処理装置１０の処理結果の情報を、ユーザーが容易に視認できるような表示形態で、表示部３６の画像表示領域に表示する。ステップＳ２０９で表示部３６に表示される処理結果の情報は、例えば、ステップＳ２０２で推定されステップＳ２０８で更新された基準断面パラメータに基づく２次元の基準断面画像を含む。また、処理結果の情報は、ステップＳ２０５で推定された右心室内膜輪郭（所定の領域）およびステップ２０６での右心室内膜輪郭の推定成否の判定結果を含む。ステップＳ２０７で「ＹＥＳ」と判定され、いずれのアルゴリズムを適用しても内膜輪郭の推定に成功しなかった場合、表示処理部５１は、右心室内膜輪郭の情報の代わりに、推定に失敗した旨をユーザーに通知する情報を表示する。

【0067】

なお、基準断面および推定された右心室内膜輪郭等の被検体形状に基づく解析または計測を目的とする場合には、表示処理部５１は、ステップＳ２０９の表示処理を実行しなくてもよい。この場合、ステップＳ２０５、Ｓ２０６、Ｓ２０８で得られる右心室内膜輪郭、推定成否の判定結果、基準断面パラメータの情報は、表示部３６に表示されるのではなく、ＲＡＭ３３または記憶部３４等に保存されたり、外部装置に出力されたりしてもよい。また、画像処理装置１０の制御部３７は、基準断面および被検体形状を用いた解析および計測を行う不図示の解析部を備え、基準断面パラメータ、右心室内膜輪郭、推定成否の判定結果は、解析部に送信されるようにしてもよい。

【0068】

上記の第１実施形態によれば、画像処理装置１０は、３次元画像から切り出した基準断面画像上で、被検体の輪郭といった所定の領域を推定し、基準断面画像における無効領域を用いて推定成否を判定する。所定の領域の推定に失敗したと判定した場合、画像処理装
置１０は、別のアルゴリズムを用いて再度所定の領域を推定する。推定に失敗した場合に別のアルゴリズムを用いることにより、画像処理装置１０は、所定の領域を推定する推定精度を向上させることが可能となる。

【0069】

なお、第１実施形態では、取得部４５は、基準断面パラメータの推定結果に基づいて切り出された２次元の基準断面画像を用いて内膜輪郭を推定するが、例えば、基準断面に対して一定の厚みを持たせた３次元画像を用いて推定してもよい。３次元画像を用いる場合であっても、学習および推定の方法は、２次元の基準断面画像を用いた場合と同様である。取得部４５は、奥行き方向の情報も考慮して内膜輪郭を推定するため、推定精度をさらに向上させることができる。

【0070】

また、ステップＳ２０６で内膜輪郭の推定が失敗したと判定された場合、取得部４５は、別のアルゴリズムに切り替えて内膜輪郭の推定を再実行するが、アルゴリズムを切り替えずに、ユーザーから手動の修正指示を受け付けてもよい。この場合、画像処理装置１０は、表示部３６を介して推定に失敗した旨をユーザーに通知し、操作部３５を介して、ユーザーからの修正指示を受け付ける。取得部４５は、ユーザーの指示に基づいて修正した内膜輪郭を推定結果として取得することができる。取得部４５は、ユーザーからの指示に基づいて、ステップＳ２０５で推定した内膜輪郭（所定の領域）を修正することにより、取得部４５による内膜輪郭推定が失敗した場合でも、ユーザーの意図をより正確に反映した内膜輪郭の設定が可能となる。ユーザーからの修正指示を受け付け可能とする場合、取得部４５は、内膜輪郭を推定するアルゴリズムを少なくとも１つ有していればよい。

【0071】

上記の第１実施形態によれば、画像処理装置１０は、基準断面画像における撮像範囲外の無効領域に関する情報を用いて、右心室の内膜輪郭といった所定の領域の推定成否を判定する。画像処理装置１０は、無効領域に関する情報を用いることで、基準断面画像中の所定の領域を推定する処理における推定精度を向上させることができる。

【0072】

＜第１実施形態の変形例１＞
第１実施形態の変形例１について説明する。第１実施形態は、処理対象の入力３次元画像が心臓の右心室領域を撮像した３次元超音波画像である例を示す。これに対し、変形例１は、右心室以外の心臓の領域または心臓以外の他の臓器を撮像した画像、および他のモダリティによる画像を処理対象とし、所定の領域を推定する例である。

【0073】

心臓右心室領域以外の領域を、超音波装置以外のモダリティで撮影した画像から所定の領域を推定する例としては、ＣＴ画像から肺および大腸といった所定の構造を検出する場合が挙げられる。画像処理装置１０は、ＣＴ画像の各画素値が無効領域を表す所定の画素値であるか否かによって再構成範囲の内外を判定し、再構成範囲外を無効領域とすることができる。また、画像処理装置１０は、空気領域を無効領域としたり、胸郭外領域および隣接臓器領域などを別の公知のセグメンテーション手法で抽出したりすることで無効領域を定義してもよい。

【0074】

変形例１によれば、画像処理装置１０は、３次元超音波画像以外のモダリティの画像に対しても、また心臓の右心室以外の領域を推定対象とする場合でも、無効領域を取得して所定の領域の推定成否を精度よく判定することができる。

【0075】

＜第１実施形態の変形例２＞
第１実施形態の変形例２について説明する。第１実施形態は、２次元の基準断面画像上で、ＣＮＮおよびＰＣＡを用いた２種類のアルゴリズムにより、右心室の内膜輪郭点群の各点の座標を推定する例を示す。これに対し、変形例２は、これらの２種類以外の別のアルゴリズムにより推定する例、および内膜輪郭点群以外の別の推定対象（所定の領域）を
推定する例である。

【0076】

内膜輪郭点群以外の所定の領域の例としては、被検体の領域（所定の領域）を表すセグメンテーションマスク画像が挙げられる。取得部４５は、非特許文献１に記載されたＵ－Ｎｅｔを用いて被検体の領域を推定することが可能である。また、非特許文献２に記載されたＰＣＡに基づくアルゴリズムによって所定の領域を推定する場合、取得部４５は、推定対象をセグメンテーションマスク画像に置き換えることが可能である。

【0077】

ＣＮＮおよびＰＣＡ以外のアルゴリズムとしては、例えば、ビジョントランスフォーマーのようなＣＮＮ以外の深層学習手法、サポートベクターマシンなどの深層学習以外の機械学習手法が挙げられる。また、所定の領域を推定するアルゴリズムとしては、被検体の平均形状テンプレートを当てはめるテンプレートマッチング等の手法が挙げられる。また、所定の領域を推定するアルゴリズムは、画像中の輝度勾配が高い位置を輪郭として取得するといった、学習データに基づかない手法であってもよい。

【0078】

このように、取得部４５は、所定の領域の複数の輪郭点を推定する場合に限られず、所定の領域を表すマスク画像等として推定することが可能である。この場合、判定部４６は、所定の領域の一部が無効領域に存在する場合に、所定の領域の推定に失敗したと判定することができる。

【0079】

また、取得部４５は、３種類以上のアルゴリズムに基づいて、右心室の内膜輪郭点群の各点の座標を推定してもよい。すなわち、ＣＮＮ・ＰＣＡによる２種類の手法だけでなく、上で述べた種々の手法を組み合わせてもよい。取得部４５は、学習モデルに基づく手法であるＣＮＮ・ＰＣＡがいずれも失敗した場合には、例えば、画像中の輝度勾配の高い位置を検出し輪郭として出力する、という学習モデルに基づかない手法を用いて輪郭を算出することも可能である。取得部４５は、２種類以上のアルゴリズム（推定手法）を有することで、内膜輪郭推定に失敗するリスクを低下させることができる。

【0080】

変形例２によれば、画像処理装置１０は、ＣＮＮおよびＰＣＡに限らず、また推定対象を内膜輪郭点群に限定することなく、多様な推定対象およびアルゴリズムを用いて、所定の領域の推定処理を実行することが可能である。

【0081】

＜第１実施形態の変形例３＞
第１実施形態の変形例３について説明する。第１実施形態は、無効領域が、入力３次元画像の撮像範囲外領域または画像再構成領域の外側といった、被検体の状態および撮像タイミングなどによって変化しない領域である例を示す。これに対し、変形例３は、時々刻々と変化する３次元超音波画像を取得しながら、所定の領域を推定する場合に、無効領域が撮像タイミングに応じて変化する例である。

【0082】

撮像タイミングに応じて変化する無効領域としては、例えば、超音波ガイド下の術中ナビゲーションを行う場合において、体内に挿入された手術器具の領域が挙げられる。また、変化する無効領域の別の例としては、３次元超音波が動画像の複数のフレームにおいて輪郭抽出をする際に、１つ前のフレームなど、過去のフレームで抽出された輪郭の周辺以外の領域が挙げられる。無効領域が撮像タイミングに応じて変化する場合であっても、画像処理装置１０は、無効領域を取得し、所定の領域の推定成否を精度よく判定することができる。

【0083】

＜第２実施形態＞
第２実施形態について説明する。第２実施形態に係る画像処理装置７０は、第１実施形態と同様に、３次元画像を入力画像として、右心室を観察するための基準断面の位置およ
び姿勢を表す基準断面パラメータ、および基準断面画像上の右心室の内膜輪郭点群の各点の座標を推定する。

【0084】

第１実施形態は、ステップＳ２０６で内膜輪郭推定に失敗したと判定された場合、２次元の基準断面画像に基づいて内膜輪郭を推定する別のアルゴリズムを用いて内膜輪郭を再推定する例を示す。これに対し、第２実施形態は、ステップＳ２０６で推定成功と判定されるように内膜輪郭の初期領域をあらかじめ推定しておき、２次元の基準断面画像に基づく内膜輪郭の推定に失敗したと判定された場合には、内膜輪郭の初期領域を採用する例である。これにより、ステップＳ２０６で内膜輪郭推定に失敗したと判定された場合に、画像処理装置７０は、内膜輪郭の推定を再度実行することがなくなるため、推定処理の時間を低減し、安定して所定の領域を推定することが可能になる。

【0085】

図７を参照して、第２実施形態に係る画像処理装置７０の構成および処理について説明する。図７は、第２実施形態に係る画像処理システム１の構成例を示す図である。なお、第１実施形態と同様の構成および処理については、詳細な説明は省略する。

【0086】

図１と同じ参照符号が付されている構成は、第１実施形態と同じ機能を有する。図７の画像取得部７１、断面画像取得部７４、無効領域取得部７５、取得部７６、基準断面更新部７８の機能は、図１の画像取得部４１、断面画像取得部４３、無効領域取得部４４、取得部４５、基準断面更新部４７の機能とそれぞれ同一である。なお、以下の例では、取得部７６が内膜輪郭（所定の領域）を推定する形態について説明するが、取得部７６は、第１実施形態の取得部４５と同様に、外部装置によって推定された内膜輪郭の推定結果を取得してもよい。

【0087】

初期領域取得部７２は、画像取得部７１が取得した入力３次元画像を用いて、右心室内膜輪郭を表す初期領域を推定する。取得部７６が２次元の基準断面画像に基づいて内膜輪郭点群の各点の２次元座標を出力するのとは異なり、初期領域取得部７２は、３次元画像を入力とし、内膜輪郭点群の各点の３次元座標を出力する。初期領域取得部７２が出力する３次元座標は、内膜輪郭の初期領域を表す情報として用いられる。初期領域取得部７２が初期内膜輪郭を出力（推定）する処理の詳細は、図８のステップＳ８０２の説明で詳述する。なお、以下の例では、初期領域取得部７２が内膜輪郭（所定の領域）の初期領域を推定する形態について説明するが、初期領域取得部７２は、外部装置によって推定された内膜輪郭の初期領域の推定結果を取得してもよい。

【0088】

基準断面取得部７３は、初期領域取得部７２が推定した右心室内膜輪郭点群の各点の３次元座標を用いて、基準断面パラメータを取得する。基準断面パラメータを取得する処理の詳細は、図８のステップＳ８０３の説明で詳述する。

【0089】

判定部７７は、第１実施形態における判定部４６と同様に、無効領域取得部７５が取得した無効領域の情報と、取得部７６が推定した内膜輪郭情報とを用いて、内膜輪郭の推定が失敗していないかどうかを判定する。内膜輪郭推定が失敗と判定された場合には、判定部７７は、失敗と判定された内膜輪郭の情報を、初期領域取得部７２が推定した内膜輪郭の初期領域に置き換える。内膜輪郭推定の成否を判定する処理の詳細は、図８のステップＳ８０７およびＳ８０８の説明で詳述する。

【0090】

図８は、第２実施形態に係る画像処理装置７０の処理を例示するフローチャートである。図８のステップＳ８０１、Ｓ８０４からＳ８０７、Ｓ８０９の処理は、第１実施形態に係る図２のフローチャートのステップＳ２０１、ステップＳ２０３からＳ２０６、Ｓ２０８の処理と同一である。なお、第２実施形態においてステップＳ８０４で取得される２次元の基準断面画像は、被検体画像に相当する。以下、第１実施形態と異なる処理について
説明する。

【0091】

（ステップＳ８０２：内膜輪郭の初期領域推定）
ステップＳ８０２において、初期領域取得部７２は、ステップＳ８０１で取得された入力３次元画像から、３次元空間における内膜輪郭点群の各点の３次元座標を内膜輪郭の初期領域として推定する。初期領域取得部７２は、内膜輪郭点群の各点が無効領域に含まれないように、各点の３次元座標を推定する。すなわち、初期領域取得部７２は、推定対象の所定の領域が無効領域を含まないように、当該所定の領域の初期領域を推定する。

【0092】

第２実施形態では、初期領域取得部７２は、ＣＮＮを用いて学習させた学習モデルにより、内膜輪郭の初期領域を推定する。内膜輪郭の初期領域を推定するための学習モデルは、右心室領域を撮像した３次元超音波画像と、対応する内膜輪郭点群の各点の３次元座標との関係を、ＣＮＮを用いて学習させて構築したモデルである。初期領域取得部７２は、構築された学習モデルを用いて、入力３次元画像から内膜輪郭点群の各点の３次元座標を推定する。

【0093】

初期領域取得部７２は、ＣＮＮの学習モデルの推定結果として、入力３次元画像の画像定義範囲外の座標値が出力された場合、画像定義範囲内に収まるように座標値を制御する。具体的には、ＣＮＮの学習モデルに入力される３次元画像が６４×６４×６４ボクセルである場合、初期領域取得部７２は、推定された座標値の各成分のいずれかが０未満だった場合は０に、６３よりも大きかった場合は６３に書き換える。

【0094】

なお、ステップＳ８０２では、内膜輪郭の初期領域は、３次元画像を入力として推定される。ただし、初期領域取得部７２は、右心室の３次元形状を表す点群ではなく、３次元空間に置かれた平面（基準断面）上の２次元の輪郭を表す点群である。

【0095】

ステップＳ８０２で推定される内膜輪郭の初期領域は、ステップＳ８０６で推定される内膜輪郭と比較して推定精度が低い可能性があるが、ステップＳ８０７の判定では推定成功と判定されるように制御される。図４を参照して、内膜輪郭の初期領域の推定が推定成功と判定されるように制御する具体例を説明する。

【0096】

図４では、無効領域は、入力３次元画像の定義範囲外（撮像範囲外）の３次元領域である。第１実施形態におけるステップＳ２０５のように、２次元の基準断面画像に基づいて内膜輪郭を推定する場合、図４（Ｂ）に示す２次元の基準断面画像領域内には無効領域（領域４１１および領域４１２）が存在する。このため、取得部７６による推定結果は、無効領域内に位置することが起こりうる。

【0097】

一方、ステップＳ８０２で推定される初期領域としての内膜輪郭の範囲は、入力３次元画像の定義範囲内、すなわち有効領域内に位置するように制御される。なお、初期領域取得部７２は、第１実施形態におけるステップＳ２０２と同様に、入力３次元画像の解像度を削減してステップＳ８０２の推定処理を実行してもよい。解像度を削減した（解像度の粗い）３次元画像を用いる場合、第１実施形態のステップＳ２０５で高解像度の２次元の基準断面画像を用いる場合と比べると、内膜輪郭の初期領域の推定精度は、低くなる可能性がある。しかし、内膜輪郭の初期領域は、有効領域内に位置するように制御することができる。

【0098】

（ステップＳ８０３：基準断面パラメータの取得）
ステップＳ８０３において、基準断面取得部７３は、ステップＳ８０２で推定された内膜輪郭の初期領域から基準断面パラメータを取得する。内膜輪郭の初期領域は、例えば、初期領域取得部７２が推定した内膜輪郭点群の各点の３次元座標で表される。第１実施形
態におけるステップＳ２０２とは異なり、ステップＳ８０３の処理では未知パラメータを推定することはなく、基準断面取得部７３は、内膜輪郭点群の各点の３次元座標から一意に基準断面パラメータを算出することができる。

【0099】

ステップＳ８０３の処理について具体的に説明する。まず、基準断面取得部７３は、公知手法である最小二乗断面のフィッティングを用いて、初期領域の内膜輪郭点群の各点との距離差を最小とする断面である最小二乗断面を求め、最小二乗断面の法線ベクトル（ｎｘ，ｎｙ，ｎｚ）を算出する。次に、基準断面取得部７３は、初期領域の内膜輪郭点群の各点を最小二乗断面に投影する。基準断面取得部７３は最小二乗断面に投影された内膜輪郭点群を、新たな初期領域としての内膜輪郭点群として扱う。基準断面取得部７３は、投影された内膜輪郭点群における左右弁輪の中点を中心位置（ｃｘ，ｃｙ，ｃｚ）に、左右弁輪を結んだベクトルを横軸ベクトル（ｓｘ，ｓｙ，ｓｚ）とする。縦軸ベクトル（ｌｘ，ｌｙ，ｌｚ）は、横軸ベクトルと法線ベクトルとの内積を求めることで算出される。

【0100】

上記のような処理によって、基準断面取得部７３は、図３（Ｂ）に例示する右心室内膜輪郭および右心室基準断面の基準断面パラメータを算出することができる。すなわち、基準断面の中心位置は左右弁輪中心と一致し、左右弁輪を結んだ軸は横軸ベクトルと一致し、内膜輪郭のすべての点は断面上に配置される。

【0101】

（ステップＳ８０８：内膜輪郭の更新）
ステップＳ８０８において、判定部７７は、ステップＳ８０７で内膜輪郭の推定に失敗したと判定された場合、内膜輪郭を更新する。判定部７７は、ステップＳ８０２で推定された内膜輪郭の初期領域を、画像処理装置７０が出力する最終的な内膜輪郭の推定結果として採用する。

【0102】

（ステップＳ８１０：処理結果の表示）
ステップＳ８１０において、表示処理部５１は、画像処理装置７０の処理結果の情報を、ユーザーが容易に視認できる表示形態で、表示部３６の画像表示領域内に表示する。処理結果の情報は、例えば、ステップＳ８０３で取得された基準断面パラメータに基づく２次元の基準断面画像、およびステップＳ８０２またはステップＳ８０６で推定された右心室内膜輪郭である。

【0103】

なお、基準断面および推定された右心室内膜輪郭等の被検体形状に基づく解析および計測を目的とする場合には、図２のステップＳ２０９と同様に、表示処理部５１は、ステップＳ８１０の表示処理を実行しなくてもよい。この場合、ステップＳ８０２、Ｓ８０３、Ｓ８０６、Ｓ８０７、Ｓ８０９で得られた右心室内膜輪郭、基準断面パラメータ、推定成否の判定結果は、ＲＡＭ３３または記憶部３４に保存されたり、外部装置に出力されたりしてもよい。

【0104】

上記の第２実施形態によれば、画像処理装置７０は、判定部７７により判定成功と判定されるように、内膜輪郭の初期領域を推定しておく。したがって、画像処理装置７０は、全てのアルゴリズムで内膜輪郭の推定に失敗した場合でも、内膜輪郭の初期領域を推定結果として出力することができる。

【0105】

＜第３実施形態＞
第３実施形態について説明する。第３実施形態に係る画像処理装置９０は、第１実施形態および第２実施形態と同様に、３次元画像を入力画像として、基準断面パラメータおよび右心室の内膜輪郭点群の各点の座標を推定する。

【0106】

第１実施形態および第２実施形態では、２次元の基準断面画像から内膜輪郭を推定する
処理が実行される。一方、第３実施形態では、画像処理装置９０は、２次元の基準断面画像は用いずに、入力３次元画像のみに基づいて内膜輪郭を推定し、無効領域の情報を取得し、内膜輪郭の推定成否を判定する。すなわち、第３実施形態では、画像処理装置９０は、２次元の基準断面画像での内膜輪郭の推定は行わず、３次元空間において内膜輪郭を推定する。第３実施形態における入力３次元画像は、被検体画像に相当する。

【0107】

画像処理装置９０は、入力３次元画像全体を考慮して内膜輪郭推定を行うため、第１実施形態および第２実施形態のように、２次元の基準断面画像内で内膜輪郭を推定する場合と比べて、不適切な局所最適解に陥るリスクを低減することが可能となる。

【0108】

図９を参照して、第３実施形態に係る画像処理装置９０の構成および処理について説明する。図９は、第３実施形態に係る画像処理システム１の構成例を示す図である。なお、第１実施形態および第２の実施形態と同様の構成および処理については、詳細な説明は省略する。

【0109】

図１と同じ参照符号が付されている構成は、第１実施形態と同じ機能を有する。図９の画像取得部９１、取得部９２、基準断面取得部９４の機能は、図７の画像取得部７１、取得部７６、基準断面取得部７３の機能とそれぞれ同一である。なお、以下の例では、取得部９２が内膜輪郭（所定の領域）を推定する形態について説明するが、取得部９２は、第１実施形態の取得部４５と同様に、外部装置によって推定された内膜輪郭の推定結果を取得してもよい。

【0110】

無効領域取得部９３は、第１実施形態における無効領域取得部４４と同様に、入力３次元画像から内膜輪郭が位置するべきではない無効領域を取得する。ただし、無効領域取得部９３は、第１実施形態および第２実施形態とは異なり、無効領域を２次元の基準断面画像の空間に座標変換する処理は行わない。無効領域取得部９３が無効領域を取得する処理の詳細は、図１０のステップＳ１００２の説明で詳述する。

【0111】

判定部９５は、第１実施形態における判定部４６と同様に、推定された内膜輪郭が無効領域内に位置しているか否かに基づいて、内膜輪郭推定の成否を判定する。ただし、判定部９５は、第１実施形態および第２実施形態とは異なり、２次元の基準断面画像の定義範囲ではなく、入力３次元画像が定義される３次元空間で判定する。内膜輪郭推定の成否を判定する処理の詳細は、図１０のステップＳ１００４の説明で詳述する。

【0112】

断面画像取得部９６は、第２実施形態における断面画像取得部７４と同様に、取得された基準断面パラメータに基づき、２次元の基準断面画像を取得する。ただし、第３実施形態では２次元の基準断面画像に基づく内膜輪郭推定を行わないため、断面画像取得部９６が取得した２次元の基準断面画像は表示のために使用される。基準断面画像を取得する処理の詳細は、図１０のステップＳ１００７の説明で詳述する。

【0113】

図１０のフローチャートは、第３実施形態に係る画像処理装置９０の処理を例示するフローチャートである。図１０のステップＳ１００１、Ｓ１００５の処理は、第１実施形態に係る図２のフローチャートのステップＳ２０１、Ｓ２０７の処理とそれぞれ同一である。また、ステップＳ１００６、Ｓ１００７の処理は、第２実施形態に係る図８のフローチャートのステップＳ８０３、Ｓ８０４の処理とそれぞれ同一である。

【0114】

（ステップＳ１００２：無効領域の取得）
ステップＳ１００２において、無効領域取得部９３は、ステップＳ１００１で取得される入力３次元画像を用いて、内膜輪郭が位置すべきではない無効領域を取得する。第３実施形態では、無効領域取得部９３は、無効領域として、図６（Ａ）に示す３次元超音波画
像の画像再構成領域（領域６０２）の外側の領域を用いる。無効領域取得部９３は、入力３次元画像と同一のボクセル数（例えば２５６×２５６×２５６ボクセル）の無効領域画像を用意し、画像再構成領域の外側に、無効領域であることを識別する画素値を格納する。

【0115】

（ステップＳ１００３：内膜輪郭の推定）
ステップＳ１００３において、取得部９２は、ステップＳ１００１で取得される入力３次元画像に基づき、右心室内膜輪郭点群の各点の３次元座標を推定する。ステップＳ１００３の処理は、第２実施形態に係る図８のステップＳ８０２と同様に、入力３次元画像に基づいて右心室内膜輪郭点群の各点の３次元座標を推定する処理である。

【0116】

ステップＳ１００４において「推定失敗」と判定された場合に、内膜輪郭の推定処理を再実行するために、取得部９２は少なくとも２つの推定アルゴリズムを備える。第３実施形態では、取得部９２は、ＣＮＮに基づくアルゴリズムおよびＰＣＡに基づくアルゴリズムの２種類のアルゴリズムを備える。取得部９２が備えるアルゴリズムは、学習モデルへの入力画像および内膜輪郭の定義空間が２次元であるか３次元であるかの違いを除けば、第１実施形態で取得部４５が備えるアルゴリズムと同様である。

【0117】

なお、取得部９２は、入力３次元画像の解像度を低減することによる推定精度の低下の影響を抑制するため、粗密探索のアプローチを採用してもよい。取得部９２は、解像度を低減した３次元画像において、例えば、最初の段階で右心室の中心（右心室先端と左右弁輪中心の間の中点）をＣＮＮ等に基づくモデルで推定する。その後、取得部９２は、解像度を入力３次元画像と同じ解像度に高めたうえで、大まかな位置の周辺の輝度プロファイルに基づき、内膜輪郭を推定してもよい。このような粗密探索により、取得部９２は、処理時間を増大させることなく推定精度を高めることが可能となる。

【0118】

（ステップＳ１００４：内膜輪郭推定の成否を判定）
ステップＳ１００４において、判定部９５は、ステップＳ１００２で取得される無効領域と、ステップＳ１００３で推定される内膜輪郭に基づいて、内膜輪郭推定の成否を判定する。

【0119】

内膜輪郭推定の成否は、第１実施形態および第２実施形態と同様に、内膜輪郭点群のうち無効領域内に位置する点が１つでも存在するか否かにより判定される。ただし、第１実施形態および第２実施形態とは異なり、判定部９５は、２次元の基準断面画像での無効領域ではなく、入力３次元画像が定義された３次元空間における無効領域に基づいて、内膜輪郭推定の成否を判定する。内膜輪郭推定に成功したと判定された場合（ステップＳ１００４：ＹＥＳ）、処理はステップＳ１００６へ進む。内膜輪郭推定に失敗したと判定された場合（ステップＳ１００４：ＮＯ）、処理はステップＳ１００５へ進む。

【0120】

（ステップＳ１００８：処理結果の表示）
ステップＳ１００８において、表示処理部５１は、図９に示す画像処理装置９０の処理結果の情報を、ユーザーが容易に視認できるような表示形態で、表示部３６の画像表示領域に表示する。ステップＳ１００８で表示部３６に表示される処理結果の情報は、例えば、右心室内膜輪郭、基準断面パラメータに基づく２次元の基準断面画像および内膜輪郭の推定成否の判定結果である。

【0121】

なお、基準断面および推定された右心室内膜輪郭等の被検体形状に基づく解析または計測を目的とする場合には、表示処理部５１は、ステップＳ１００８の表示処理を実行しなくてもよい。この場合、ステップＳ１００３、Ｓ１００４、Ｓ１００６で得られる右心室内膜輪郭、推定成否の判定結果、基準断面パラメータは、表示部３６に表示されるのでは
なく、ＲＡＭ３３または記憶部３４等に保存されたり、外部装置に出力されたりしてもよい。

【0122】

上記の第３実施形態によれば、画像処理装置９０は、２次元の基準断面画像を用いずに、入力３次元画像に基づいて内膜輪郭を推定し、無効領域を取得し、内膜輪郭推定の成否を判定する。画像処理装置９０は、入力３次元画像全体を考慮して内膜輪郭の情報を推定するため、第１実施形態および第２実施形態のように２次元の基準断面画像内で内膜輪郭を推定する場合と比べて、不適切な局所最適解に陥るリスクを低減することが可能となる。

【0123】

なお、第３実施形態では、ステップＳ１００４で内膜輪郭推定が失敗と判定され、実行していないアルゴリズムが存在する場合（ステップＳ１００５：ＮＯ）、処理はステップＳ１００３に戻る。そして、取得部９２は、別のアルゴリズムに切り替えて内膜輪郭を再び推定するが、内膜輪郭の推定に失敗した旨をユーザーに通知してもよい。または、取得部９２は、内膜輪郭点群が無効領域に含まれる状態を、推定を伴うことなく解消してもよい。例えば、取得部９２は、無効領域に含まれる点を除外した残りの点を内膜輪郭点群とすることができる。取得部９２は、内膜輪郭点群が無効領域に含まれる状態を解消することで、再推定による追加の処理時間を削減し、処理結果を出力することが可能となる。

【0124】

第３実施形態は、２次元画像を入力画像とする場合にも適用可能である。例えば、画像処理装置９０は、内視鏡画像を入力画像として、所定の領域（被検体形状）の情報を推定してもよい。内視鏡画像で実際に被検体が写っている撮像範囲は、円状の領域であり、正方形または長方形である２次元画像領域とは一致しない。画像処理装置９０は、円状領域（撮像範囲）の外側の領域を無効領域として定義することで、内視鏡画像から所定の領域を検出する場合に、所定の領域の推定成否を精度よく判定することが可能となる。

【0125】

＜その他の実施形態＞
また、本開示の技術は、例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、本開示の技術は、複数の機器（例えば、ホストコンピュータ、インターフース機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、また１つの機器からなる装置に適用してもよい。

【0126】

また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。すなわち、上記の各実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）は、システムまたは装置に供給される。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。システムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵなど）は、記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が上記の各実施形態の機能を実現し、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

【0127】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0128】

本実施形態の開示は、以下の構成、方法およびプログラムを含む。
（構成１）
被検体を撮像した被検体画像を取得する画像取得部と、
前記被検体画像において、撮像範囲外又は前記被検体が存在しない領域である無効領域に関する情報を取得する無効領域取得部と、
前記被検体画像に基づいて、所定の領域を推定した推定結果を取得する取得部と、
前記無効領域に関する情報を用いて、前記所定の領域の推定の成否を判定する判定部とを備えることを特徴とする画像処理装置。
（構成２）
前記取得部は、前記所定の領域の複数の輪郭点を取得し、
前記判定部は、前記複数の輪郭点のうち少なくとも１つが前記無効領域に存在する場合に、前記所定の領域の推定が失敗したと判定する
ことを特徴とする構成１に記載の画像処理装置。
（構成３）
前記判定部は、前記所定の領域の一部が前記無効領域に存在する場合に、前記所定の領域の推定が失敗したと判定する
ことを特徴とする構成１に記載の画像処理装置。
（構成４）
前記取得部は２種類以上の推定手法による前記所定の領域の推定結果を取得することができ、前記判定部によって第１の推定手法による前記所定の領域の推定が失敗したと判定された場合、前記第１の推定手法とは異なる第２の推定手法による前記所定の領域の推定結果を取得する
ことを特徴とする構成１～３のいずれかに記載の画像処理装置。
（構成５）
前記取得部は、前記被検体画像と前記所定の領域との関係を学習させた学習モデルを用いて推定した前記所定の領域の推定結果を取得する
ことを特徴とする構成１～４のいずれかに記載の画像処理装置。
（構成６）
前記被検体画像は、３次元画像であり、
前記無効領域は、３次元領域である
ことを特徴とする構成１～５のいずれかに記載の画像処理装置。
（構成７）
前記画像取得部は、前記被検体を撮像した撮像画像から前記被検体が描出された領域を切り出すことで前記被検体画像を取得し、
前記無効領域取得部は、前記撮像画像に基づいて前記無効領域に関する情報を取得することを特徴とする構成１～６のいずれかに記載の画像処理装置。
（構成８）
前記撮像画像は、超音波診断装置によって得られる超音波画像、Ｘ線ＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）装置によって得られるＸ線ＣＴ画像、およびＭＲＩ（Ｍａｇｎｅｔｉｃ Ｒｅｓｏｎａｎｃｅ Ｉｍａｇｉｎｇ）装置によって得られるＭＲＩ画像のいずれかである
ことを特徴とする構成７に記載の画像処理装置。
（構成９）
前記撮像画像は３次元画像であり、前記被検体画像は前記撮像画像から切り出された２次元断面画像である
ことを特徴とする構成７または８に記載の画像処理装置。
（構成１０）
前記画像取得部は、前記３次元画像を入力として、前記３次元画像中における前記２次元断面画像の位置と姿勢を特定するパラメータを出力するように学習させた学習モデルを用いて、前記２次元断面画像を取得する
ことを特徴とする構成９に記載の画像処理装置。
（構成１１）
前記画像取得部は、前記３次元画像の解像度を低減させた画像を用いて、前記２次元断
面画像を取得する
ことを特徴とする構成９または１０に記載の画像処理装置。
（構成１２）
前記撮像画像に基づいて、前記撮像画像における前記所定の領域の初期領域を推定した推定結果を取得する初期領域取得部をさらに備え、
前記取得部は、前記判定部によって前記所定の領域の推定が失敗したと判定された場合、前記初期領域取得部が取得した前記初期領域の推定結果を、前記所定の領域の推定結果として取得する
ことを特徴とする構成７～１１のいずれかに記載の画像処理装置。
（構成１３）
前記初期領域取得部は、前記無効領域を含まないように推定された前記初期領域の推定結果を取得する
ことを特徴とする構成１２に記載の画像処理装置。
（構成１４）
前記所定の領域の推定結果および前記判定部による判定結果を表示する表示部をさらに備える
ことを特徴とする構成１～１３のいずれかに記載の画像処理装置。
（構成１５）
前記取得部は、前記判定部によって前記所定の領域の推定が失敗であると判定された場合、ユーザーの指示に基づいて修正した前記所定の領域を推定結果として取得する
ことを特徴とする構成１～１４のいずれかに記載の画像処理装置。
（方法）
被検体を撮像した被検体画像を取得する画像取得ステップと、
前記被検体画像において、撮像範囲外又は前記被検体が存在しない領域である無効領域に関する情報を取得する無効領域取得ステップと、
前記被検体画像に基づいて、所定の領域を推定した推定結果を取得する取得ステップと、
前記無効領域に関する情報を用いて、前記所定の領域の推定の成否を判定する判定ステップと
を有することを特徴とする画像処理方法。
（プログラム）
コンピュータを、構成１～１５のいずれかに記載の画像処理装置の各手段として機能させるためのプログラム。

【符号の説明】

【0129】

１０：画像処理装置、３７：制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】