▶ キヤノン株式会社の特許一覧 ▶ 東芝メディカルシステムズ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022175787
(43)【公開日】2022-11-25
(54)【発明の名称】画像処理装置、画像処理方法、およびプログラム
(51)【国際特許分類】
A61B 8/12 20060101AFI20221117BHJP
G06T 7/00 20170101ALI20221117BHJP
A61B 6/03 20060101ALI20221117BHJP
【ＦＩ】
A61B8/12
G06T7/00 350B
A61B6/03 360H
A61B6/03 360T
【審査請求】未請求
【請求項の数】27
【出願形態】ＯＬ
(21)【出願番号】P 2021082479
(22)【出願日】2021-05-14
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】音丸 格
【テーマコード（参考）】
4C093
4C601
5L096
【Ｆターム（参考）】
4C093AA22
4C093AA26
4C093CA35
4C093DA02
4C093FD07
4C093FD11
4C093FF12
4C093FF42
4C093FF46
4C093FG04
4C093FH02
4C093FH06
4C093FH07
4C601BB03
4C601DD15
4C601FE01
4C601JB34
4C601JC25
5L096AA09
5L096CA21
5L096DA04
5L096EA05
5L096EA07
5L096EA39
5L096KA04
(57)【要約】
【課題】３次元画像の観察および画像処理に用いる基準断面群を、より高速により高精度で取得する画像処理装置を提供する。
【解決手段】画像処理装置は、対象物の３次元画像である入力画像を取得する画像取得部と、前記入力画像で前記対象物を観察するために設定され、互いに所定の角度関係にある複数の第一の断面からなる第一の断面群と、前記所定の角度関係に基づく制約条件とに基づいて、複数の第二の断面からなる第二の断面群を取得する断面取得部とを備える。
【選択図】図２
【解決手段】画像処理装置は、対象物の３次元画像である入力画像を取得する画像取得部と、前記入力画像で前記対象物を観察するために設定され、互いに所定の角度関係にある複数の第一の断面からなる第一の断面群と、前記所定の角度関係に基づく制約条件とに基づいて、複数の第二の断面からなる第二の断面群を取得する断面取得部とを備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
対象物の３次元画像である入力画像を取得する画像取得部と、
前記入力画像で前記対象物を観察するために設定され、互いに所定の角度関係にある複数の第一の断面からなる第一の断面群と、前記所定の角度関係に基づく制約条件とに基づいて、複数の第二の断面からなる第二の断面群を取得する断面取得部と、
を備えることを特徴とする画像処理装置。
前記入力画像で前記対象物を観察するために設定され、互いに所定の角度関係にある複数の第一の断面からなる第一の断面群と、前記所定の角度関係に基づく制約条件とに基づいて、複数の第二の断面からなる第二の断面群を取得する断面取得部と、
を備えることを特徴とする画像処理装置。
【請求項2】
前記第二の断面は、前記第一の断面を変動させることにより取得される断面である
ことを特徴とする請求項１に記載の画像処理装置。
ことを特徴とする請求項１に記載の画像処理装置。
【請求項3】
前記断面取得部は、
前記入力画像の一部を切り出した部分３次元画像を入力として、前記部分３次元画像が前記第一の断面群を特定する３次元画像として適切であるか否かを出力する第一学習モデルを有し、前記入力画像から切り出された前記部分３次元画像を前記第一学習モデルに入力することにより、前記第一の断面群を取得し、
断面画像を入力として、前記断面画像が前記第二の断面として適切であるか否かを出力する断面毎の第二学習モデルを有し、前記第一の断面群に基づいて前記入力画像から切り出された断面画像を前記第二学習モデルに入力することにより、前記第二の断面群を取得する、
ことを特徴とする請求項１または２に記載の画像処理装置。
前記入力画像の一部を切り出した部分３次元画像を入力として、前記部分３次元画像が前記第一の断面群を特定する３次元画像として適切であるか否かを出力する第一学習モデルを有し、前記入力画像から切り出された前記部分３次元画像を前記第一学習モデルに入力することにより、前記第一の断面群を取得し、
断面画像を入力として、前記断面画像が前記第二の断面として適切であるか否かを出力する断面毎の第二学習モデルを有し、前記第一の断面群に基づいて前記入力画像から切り出された断面画像を前記第二学習モデルに入力することにより、前記第二の断面群を取得する、
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項4】
前記断面取得部は、前記第一学習モデルにより適切であると判定された複数の第一の断面群の候補が得られた場合、前記複数の第一の断面群の候補の平均をとることにより、前記第一の断面群を取得する
ことを特徴とする請求項３に記載の画像処理装置。
ことを特徴とする請求項３に記載の画像処理装置。
【請求項5】
前記断面取得部は、断面毎の前記第二学習モデルにおいて、適切であると判定された複数の第二の断面の候補が得られた場合、前記複数の第二の断面の候補の平均をとることにより、それぞれの断面に対応する前記第二の断面を取得する
ことを特徴とする請求項３または４に記載の画像処理装置。
ことを特徴とする請求項３または４に記載の画像処理装置。
【請求項6】
前記断面取得部は、前記第一の断面群のそれぞれの第一の断面の法線ベクトルを中心とした所定角度の範囲内で切り出した断面を、前記第二学習モデルに入力する
ことを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
ことを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
【請求項7】
前記断面取得部は、
前記入力画像の一部を切り出した部分３次元画像を入力として、前記部分３次元画像が前記複数の第一の断面を特定する３次元画像として適切であるか否かを出力する第一学習モデルを有し、前記入力画像から切り出された部分３次元画像を前記第一学習モデルに入力することにより、前記第一の断面群を取得し、
前記入力画像の一部を切り出した部分３次元画像を入力として、前記部分３次元画像が前記第二の断面を特定する３次元画像として適切であるか否かを出力する第二学習モデルを有し、前記第一の断面群に基づき前記入力画像の一部を切り出した部分３次元画像を前記第二学習モデルに入力することにより、前記第二の断面群を取得する、
ことを特徴とする請求項１に記載の画像処理装置。
前記入力画像の一部を切り出した部分３次元画像を入力として、前記部分３次元画像が前記複数の第一の断面を特定する３次元画像として適切であるか否かを出力する第一学習モデルを有し、前記入力画像から切り出された部分３次元画像を前記第一学習モデルに入力することにより、前記第一の断面群を取得し、
前記入力画像の一部を切り出した部分３次元画像を入力として、前記部分３次元画像が前記第二の断面を特定する３次元画像として適切であるか否かを出力する第二学習モデルを有し、前記第一の断面群に基づき前記入力画像の一部を切り出した部分３次元画像を前記第二学習モデルに入力することにより、前記第二の断面群を取得する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項8】
前記第一学習モデルおよび前記第二学習モデルは、微分処理、ノイズ低減、先鋭化のうち少なくともいずれかの画像処理を適用した画像を用いて生成される
ことを特徴とする請求項３乃至７のいずれか１項に記載の画像処理装置。
ことを特徴とする請求項３乃至７のいずれか１項に記載の画像処理装置。
【請求項9】
前記断面取得部は、
前記入力画像に対し、前記第一学習モデルの生成に用いた画像に適用した前記画像処理を適用して、前記第一の断面群を取得し、
前記入力画像に対し、前記第二学習モデルの生成に用いた画像に適用した前記画像処理を適用して、前記第二の断面群を取得する
ことを特徴とする請求項８に記載の画像処理装置。
前記入力画像に対し、前記第一学習モデルの生成に用いた画像に適用した前記画像処理を適用して、前記第一の断面群を取得し、
前記入力画像に対し、前記第二学習モデルの生成に用いた画像に適用した前記画像処理を適用して、前記第二の断面群を取得する
ことを特徴とする請求項８に記載の画像処理装置。
【請求項10】
前記断面取得部は、前記複数の第一の断面を夫々の前記第二の断面の初期値として、前記第二の断面同士が前記所定の角度関係から乖離しすぎないという制約の下で、複数の前記第二の断面からなる第二の断面群を取得する
ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項11】
前記断面取得部は、前記第二の断面群に含まれる前記第二の断面の角度関係の、前記所定の角度関係からの乖離が、所定角度の範囲内となるように、前記第二の断面群を取得する
ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
ことを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。
【請求項12】
前記断面取得部が前記第二の断面群を取得するために用いられる評価関数は、前記第二の断面群に含まれる前記第二の断面の角度関係と前記所定の角度関係との乖離の度合いを評価する
ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項13】
前記入力画像を前記第二の断面群に含まれる前記第二の断面で切断した断面画像、および前記第二の断面群に含まれる前記第二の断面の角度関係と前記所定の角度関係との乖離の度合いを示す情報を、表示部に表示する表示制御部をさらに備える
ことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
ことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
【請求項14】
前記第一の断面群が前記第二の断面群として用いられるための所定の条件を満たすか否かを判定する判定部をさらに備え、
前記断面取得部は、前記第一の断面群が前記所定の条件を満たす場合は、前記第一の断面群を前記第二の断面群とする
ことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
前記断面取得部は、前記第一の断面群が前記所定の条件を満たす場合は、前記第一の断面群を前記第二の断面群とする
ことを特徴とする請求項１乃至１３のいずれか１項に記載の画像処理装置。
【請求項15】
前記第一の断面群に含まれるそれぞれの前記第一の断面が前記第二の断面として用いられるための所定の条件を満たすか否かを判定する判定部をさらに備え、
前記断面取得部は、前記所定の条件を満たす前記第一の断面を変動させずに前記第二の断面群を取得する
ことを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
前記断面取得部は、前記所定の条件を満たす前記第一の断面を変動させずに前記第二の断面群を取得する
ことを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理装置。
【請求項16】
前記断面取得部は、前記第二の断面群を取得するために用いられる評価関数において、前記所定の条件を満たす前記第一の断面に対する正則化項の重みを、前記所定の条件を満たさない前記第一の断面に対する正則化項よりも大きい重みに設定することにより、前記第二の断面が前記所定の条件を満たす前記第一の断面から乖離しないようにする、
ことを特徴とする請求項１５に記載の画像処理装置。
ことを特徴とする請求項１５に記載の画像処理装置。
【請求項17】
前記断面取得部が取得した前記第二の断面群の情報を表示部に表示する表示制御部を、さらに有する
ことを特徴とする請求項１乃至１６のいずれか１項に記載の画像処理装置。
ことを特徴とする請求項１乃至１６のいずれか１項に記載の画像処理装置。
【請求項18】
前記表示制御部は、前記第二の断面群に含まれる１の第二の断面を表示部に表示し、前記１の第二の断面に交差する他の第二の断面を表す直線を、前記１の第二の断面に重畳して表示する
ことを特徴とする請求項１７に記載の画像処理装置。
ことを特徴とする請求項１７に記載の画像処理装置。
【請求項19】
前記表示制御部は、前記第二の断面群に含まれる１の第二の断面を表示部に表示し、前記１の第二の断面に交差する他の第二の断面が、前記１の第二の断面と直交する角度から、どの程度乖離しているかを示す乖離の度合いの情報を、前記１の第二の断面に重畳して表示する
ことを特徴とする請求項１７または１８に記載の画像処理装置。
ことを特徴とする請求項１７または１８に記載の画像処理装置。
【請求項20】
前記表示制御部は、前記乖離の度合いの情報を、文字情報、または前記他の第二の断面を表す直線の色もしくは太さの表示態様により表示する
ことを特徴とする請求項１９に記載の画像処理装置。
ことを特徴とする請求項１９に記載の画像処理装置。
【請求項21】
前記断面取得部は、ユーザーの操作により入力された画像を、前記第一の断面群として取得する
ことを特徴とする請求項１乃至２０のいずれか１項に記載の画像処理装置。
ことを特徴とする請求項１乃至２０のいずれか１項に記載の画像処理装置。
【請求項22】
前記画像取得部は、ユーザーの操作により指定された画像または所定の基準に基づいて自動で選択された画像を、前記入力画像として取得する
ことを特徴とする請求項１乃至２１のいずれか１項に記載の画像処理装置。
ことを特徴とする請求項１乃至２１のいずれか１項に記載の画像処理装置。
【請求項23】
３次元画像を入力として、前記３次元画像の一部を切り出した部分３次元画像が、互いに所定の角度関係にある複数の第一の断面を含む第一の断面群を特定する３次元画像として適切であるか否か、を出力する第一の断面取得用の第一学習モデルを生成する第一生成部と、
断面画像を入力として、前記断面画像が、対象物を観察するための第二の断面として適切であるか否か、を出力する断面毎の第二の断面取得用の第二学習モデルを生成する第二生成部と、
を有することを特徴とする画像処理装置。
断面画像を入力として、前記断面画像が、対象物を観察するための第二の断面として適切であるか否か、を出力する断面毎の第二の断面取得用の第二学習モデルを生成する第二生成部と、
を有することを特徴とする画像処理装置。
【請求項24】
前記第一生成部は、３次元画像および正解の第二の断面の情報を入力として、前記正解の第二の断面が前記所定の角度関係となるように補正した正解位置の情報に基づいて、正解サンプルおよび非正解サンプルを生成し、前記正解サンプルおよび前記非正解サンプルを学習させることにより、前記第一学習モデルを生成する
ことを特徴とする請求項２３に記載の画像処理装置。
ことを特徴とする請求項２３に記載の画像処理装置。
【請求項25】
前記第二生成部は、３次元画像および正解の第二の断面情報を入力として、断面毎に２次元画像の正解サンプルおよび非正解サンプルを生成し、前記正解サンプルおよび前記非正解サンプルを学習させることにより、断面毎の前記第二学習モデルを生成する
ことを特徴とする請求項２３または２４に記載の画像処理装置。
ことを特徴とする請求項２３または２４に記載の画像処理装置。
【請求項26】
コンピュータが、
対象物の３次元画像である入力画像を取得し、
前記入力画像で前記対象物を観察するために設定され、互いに所定の角度関係にある複数の第一の断面からなる第一の断面群と、前記所定の角度関係に基づく制約条件とに基づいて、複数の第二の断面からなる第二の断面群を取得する
ことを特徴とする画像処理方法。
対象物の３次元画像である入力画像を取得し、
前記入力画像で前記対象物を観察するために設定され、互いに所定の角度関係にある複数の第一の断面からなる第一の断面群と、前記所定の角度関係に基づく制約条件とに基づいて、複数の第二の断面からなる第二の断面群を取得する
ことを特徴とする画像処理方法。
【請求項27】
請求項２６に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【0002】
医用の分野では、超音波画像診断装置など種々の画像診断装置（モダリティ）によって取得される３次元画像が診断に用いられている。３次元画像を用いた診断では、医師は、３次元画像に対して観察対象となる断面（以下、基準断面とも称される）を複数設定し、基準断面上で診断をしたり、計測または機能評価といった種々の画像処理を適用したりする。複数の基準断面（以下、基準断面群とも称する）は、互いに所定の位置関係および角度関係を持つ。例えば、３次元経食道心エコーの観察では、互いに凡そ直交する３つの基準断面が用いられる。
【0003】
３次元画像の断面を取得する技術として、例えば、特許文献１は、候補断面から探索部位の特徴点を検出し、検出した複数の特徴点の情報を用いて観測用断面を取得する技術を開示する。また、特許文献２は、互いに非直交な２つの断面画像に、互いに異なる断面画像をそれぞれ重畳して表示し、瘤のネック面を調整する技術を開示する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第２０１６／１９５１１０号
【特許文献2】特開２０１７－３５３７９号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
３次元画像の観察および計測をするための基準断面群は、例えば、人手により設定することができる。即ち、医師などの作業者は、３次元画像上で、いずれの断面が基準断面であるかを特定する。人手による基準断面の設定は、作業者の作業負担を増加させる。また、人手により設定された基準断面は、一貫性および再現性に乏しい場合がある。さらに、探索部位の特徴点の情報を用いて観測用断面を取得しても、基準断面を効率的に探索できない場合がある。
【0006】
本発明は、３次元画像の観察および画像処理に用いる基準断面群を、より高速により高精度で取得する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するため、本発明に係る画像処理装置は、
対象物の３次元画像である入力画像を取得する画像取得部と、
前記入力画像で前記対象物を観察するために設定され、互いに所定の角度関係にある複数の第一の断面からなる第一の断面群と、前記所定の角度関係に基づく制約条件とに基づいて、複数の第二の断面からなる第二の断面群を取得する断面取得部と、
を備えることを特徴とする。
対象物の３次元画像である入力画像を取得する画像取得部と、
前記入力画像で前記対象物を観察するために設定され、互いに所定の角度関係にある複数の第一の断面からなる第一の断面群と、前記所定の角度関係に基づく制約条件とに基づいて、複数の第二の断面からなる第二の断面群を取得する断面取得部と、
を備えることを特徴とする。
【発明の効果】
【0008】
本発明によれば、３次元画像の観察および画像処理に用いる基準断面群を、より高速により高精度で取得することができる。
【図面の簡単な説明】
【0009】
【図1】基準断面について説明する図である。
【図2】第１実施形態に係る画像処理システムの構成を例示する図である。
【図3】第１実施形態に係る基準断面取得処理を例示するフローチャートである。
【図4】学習モデル生成処理を例示するフローチャートである。
【図5】第一の断面取得処理を例示するフローチャートである。
【図6】第二の断面取得処理を例示するフローチャートである。
【図7】第２実施形態に係る画像処理システムの構成を例示する図である。
【図8】第２実施形態に係る基準断面取得処理を例示するフローチャートである。
【発明を実施するための形態】
【0010】
以下、図面を参照して、本発明の実施形態を例示的に詳しく説明する。ただし、以下の実施形態に記載されている構成要素はあくまで例示であり、本発明の技術的範囲は、個別の実施形態によって限定されるわけではない。
【0011】
実施形態に係る画像処理装置は、被検体（対象物）を撮像した３次元画像（３次元ボリューム）を入力し、２種類以上の基準断面を取得（推定）する機能を提供する。処理対象となる入力画像は、医用画像、すなわち、医学的な診断、検査、研究などの目的で撮影または生成された被検体（人体など）の画像であり、典型的には、モダリティと呼ばれる撮像システムによって取得された画像である。例えば、処理対象になり得る入力画像は、超音波診断装置によって得られる超音波画像、Ｘ線ＣＴ装置によって得られるＸ線ＣＴ画像、ＭＲＩ装置によって得られるＭＲＩ画像などである。
【0012】
以下の実施形態は、３次元経食道超音波プローブで撮像された心臓領域の３次元画像（３次元経食道心エコー）を対象とする例を用いて、画像処理装置が基準断面群を取得する処理の具体例を詳しく説明する。
【0013】
＜第１実施形態＞
第１実施形態に係る画像処理装置は、３次元経食道プローブで撮像された３次元画像から、３次元画像に撮影された僧帽弁を観察するために好適な３つの基準断面を取得する。３つの基準断面は互いに凡そ直交であるものとする。
第１実施形態に係る画像処理装置は、３次元経食道プローブで撮像された３次元画像から、３次元画像に撮影された僧帽弁を観察するために好適な３つの基準断面を取得する。３つの基準断面は互いに凡そ直交であるものとする。
【0014】
本実施形態は、基準断面が互いに凡そ直交であるという性質を利用する。すなわち、画像処理装置は、まず、３つの断面が互いに直交であるという制約のもとに、第一の断面（暫定基準断面）を取得する。次に、画像処理装置は、第一の断面群（暫定基準断面群）の各第一の断面が相互に直交性を有する状態から乖離しすぎないように各第一の断面を変動させることで、それぞれの第一の断面に対応する第二の断面（基準断面）を取得する。
【0015】
図１を用いて、３つの第二の断面の例を説明する。図１は、経食道プローブを用いて僧帽弁を撮像した３次元画像を、左心室と左心房の接続部で輪切りにした断面画像を模式的に表している。図１は、大動脈弁１０１および僧帽弁１０２を示す。僧帽弁１０２は、前尖１０３および後尖１０４という２つの膜からなる。
【0016】
図１において直線で表される断面１１１は、大動脈弁１０１の中央と僧帽弁１０２の中央とを貫く第二の断面であり、Ａ面（ＹＺ平面）と呼ばれる。断面１１１を表す直線に垂直な直線で表される断面１１２は、前尖と後尖との接続位置の２か所を貫く第二の断面であり、Ｂ面（ＸＺ平面）と呼ばれる。断面１１３は、左心室と左心房の接続部を輪切りにした第二の断面であり、Ｃ面（ＸＹ平面）と呼ばれる。Ａ面、Ｂ面、Ｃ面は、互いに凡そ直交の関係にある第二の断面群である。
【0017】
医師が手動で第二の断面を設定する場合、各第二の断面は、見え方を考慮して、直交関
係からある程度乖離した（角度がずれた）断面に設定される場合がある。本実施形態では、画像処理装置は、互いに直交関係にある複数の第一の断面を取得し、取得した第一の断面の角度を補正することにより、それぞれに対応する第二の断面を取得する。
係からある程度乖離した（角度がずれた）断面に設定される場合がある。本実施形態では、画像処理装置は、互いに直交関係にある複数の第一の断面を取得し、取得した第一の断面の角度を補正することにより、それぞれに対応する第二の断面を取得する。
【0018】
［装置構成］
図２を用いて、本実施形態の画像処理装置の構成および処理を説明する。図２は、第１実施形態に係る画像処理システム（医用画像処理システムとも称する）の構成を例示するブロック図である。画像処理システムは、画像処理装置１０およびデータベース２２を備える。
図２を用いて、本実施形態の画像処理装置の構成および処理を説明する。図２は、第１実施形態に係る画像処理システム（医用画像処理システムとも称する）の構成を例示するブロック図である。画像処理システムは、画像処理装置１０およびデータベース２２を備える。
【0019】
画像処理装置１０は、ネットワーク２１を介して、データベース２２に通信可能な状態で接続されている。ネットワーク２１は、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）およびＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。なお、画像処理装置１０は、データベース２２と一体に構成されてもよい。
【0020】
データベース２２は、複数の画像および情報を保持し、管理する。データベース２２で管理される情報は、画像処理装置１０の処理対象となる３次元画像、および学習モデル（学習済モデル）を生成するための学習データ（教師データとも称する）を含む。学習データは、学習用に用意された複数の症例（学習用症例）のデータで構成される。以下では、学習データに含まれる個々の症例のデータを学習用症例データと呼ぶ。夫々の学習用症例データは、各症例の３次元画像、および各画像における正解の第二の断面の情報を含む。データベース２２で管理される情報は、学習データの代わりに、学習データから生成された学習モデルの情報を含んでもよい。
【0021】
画像処理装置１０は、ネットワーク２１を介してデータベース２２で保持されているデータを取得することが可能である。なお、データベース２２に記憶される情報またはデータベース２２に記憶される情報の一部は、画像処理装置１０の内部記憶（ＲＯＭ３２または記憶部３４）に記憶されてもよい。
【0022】
画像処理装置１０は、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）３１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３、記憶部３４、操作部３５、表示部３６、および制御部３７を備える。
【0023】
通信ＩＦ３１（通信部）は、例えば、ＬＡＮカードである。通信ＩＦ３１は、例えば、データベース２２などの外部装置と画像処理装置１０との間の通信を実現する。ＲＯＭ３２は、不揮発性のメモリであり、各種プログラムおよび各種データを記憶する。ＲＡＭ３３は、揮発性のメモリであり、実行中のプログラムおよびデータを一時的に記憶するワークメモリとして用いられる。
【0024】
記憶部３４は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）であり、各種プログラムおよび各種データを記憶する。操作部３５は、キーボード、マウス、タッチパネルなどであり、医師または検査技師といったユーザーから、画像処理装置１０の各ブロックに対する指示の入力を受け付ける。
【0025】
表示部３６は、ディスプレイなどであって、各種情報をユーザーに表示する。制御部３７は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの１以上のプロセッサを含み、画像処理装置１０の処理を統括的に制御する。制御部３７は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ
Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などを含んでもよい。制御部３７は、機能的な構成として
、画像取得部４１、学習モデル生成部４２、第一の断面取得部４３、第二の断面取得部４４、および表示制御部４５を備える。
Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などを含んでもよい。制御部３７は、機能的な構成として
、画像取得部４１、学習モデル生成部４２、第一の断面取得部４３、第二の断面取得部４４、および表示制御部４５を備える。
【0026】
画像取得部４１は、処理対象となる入力画像（第二の断面が未設定の３次元画像）をデータベース２２から取得する。処理対象となる入力画像は、各種モダリティ（撮像システム）により取得された被検体の画像である。本実施形態での入力画像は、心臓を撮像した３次元超音波画像であるものとする。画像取得部４１は、入力画像をモダリティから直接取得してもよい。この場合、画像処理装置１０は、モダリティのコンソールとして実装されてもよい。本実施形態では、入力画像が３次元超音波画像である例を説明するが、入力画像は他の種類の画像であってもよい。
【0027】
学習モデル生成部４２（第一生成部、第二生成部）は、データベース２２から学習データを取得し、学習モデルを構築する。学習データを構成する学習用症例データは、それぞれ、各症例の３次元画像の画素値情報および正解の第二の断面の情報（以下、正解第二断面情報と称する）を含む。学習モデル生成部４２は、データベース２２から取得した学習データを用いて、第一の断面取得用の学習モデル（第一学習モデル）および第二の断面取得用の学習モデル（第二学習モデル）という２種類の学習モデルを構築する。
【0028】
第一の断面取得部４３は、第一の断面取得用の学習モデルを用いて、第一の断面群を取得する。第一の断面群は、互いに直交する複数の第一の断面を含む。第一の断面取得用の学習モデルは、断面同士が直交するという制約条件の下で３次元画像から断面を取得する学習モデルである。詳しくは、ステップＳ３０３の説明で後述する。
【0029】
第二の断面取得部４４は、第二の断面取得用の学習モデルを用いて、第一の断面群の各第一の断面に対応する第二の断面を含む第二の断面群を取得する。第二の断面取得部４４は、第一の断面取得部４３が取得した第一の断面群を初期値として第二の断面を取得する。第二の断面取得用の学習モデルは、各第一の断面を初期値として、第二の断面同士の位置関係が直交関係から乖離しすぎないという制約の下で、各第一の断面に対応する第二の断面を取得する学習モデルである。詳しくは、ステップＳ３０４の説明で後述する。
【0030】
表示制御部４５は、第二の断面取得部４４が取得した結果を、表示部３６の画像表示領域内に表示する。表示制御部４５は、入力画像および取得（推定）した第二の断面の情報を、ユーザーが容易に視認できるような表示形態で、表示部３６の画像表示領域内に表示させる。
【0031】
画像処理装置１０の各構成要素は、コンピュータプログラムに従って機能する。例えば、制御部３７（ＣＰＵ）は、ＲＡＭ３３をワーク領域としてＲＯＭ３２または記憶部３４などに記憶されたコンピュータプログラムを読み込み、実行することで、各構成要素の機能を実現する。
【0032】
なお、画像処理装置１０の構成要素の一部またはすべての機能が専用の回路を用いることで実現されてもよい。また、制御部３７の構成要素の一部の機能が、クラウドコンピュータを用いることで実現されてもよい。例えば、画像処理装置１０は、ネットワーク２１を介して異なる場所にある演算装置に通信可能に接続され、画像処理装置１０と演算装置とがデータの送受信を行うことで、画像処理装置１０の各構成要素の機能が実現されてもよい。
【0033】
【0034】
（ステップＳ３０１：画像の取得／表示）
ステップＳ３０１において、ユーザーが操作部３５を介して画像の取得を指示すると、画像取得部４１は、ユーザーが指定した入力画像をデータベース２２から取得し、ＲＡＭ３３に格納する。また、表示制御部４５は、データベース２２から取得した入力画像を表示部３６の画像表示領域内に表示する。
ステップＳ３０１において、ユーザーが操作部３５を介して画像の取得を指示すると、画像取得部４１は、ユーザーが指定した入力画像をデータベース２２から取得し、ＲＡＭ３３に格納する。また、表示制御部４５は、データベース２２から取得した入力画像を表示部３６の画像表示領域内に表示する。
【0035】
なお、入力画像の指定方法は、公知のいずれの方法を用いてもよい。例えば、入力画像は、ユーザーにより直接指定されてもよい。また、入力画像は、撮影日時といった所定の基準に基づいて自動で選択されてもよい。例えば、画像取得部４１は、未観察の画像のうち直近の撮影日時の画像を、入力画像として選択することができる。
【0036】
（ステップＳ３０２：学習モデルの生成）
ステップＳ３０２において、学習モデル生成部４２は、学習データをデータベース２２から取得し、取得した学習データを用いて学習処理を実行することにより、学習装置としての学習モデルを構築する。学習データは、学習用症例として、学習モデルのロバスト性を高めるために、異なる複数の患者を撮影した症例データを含むことが望ましい。また、学習データは、同一患者を撮像した一連の動画像データにおける各フレーム画像、および同一患者を異なる時期に撮影した画像を含んでもよい。
ステップＳ３０２において、学習モデル生成部４２は、学習データをデータベース２２から取得し、取得した学習データを用いて学習処理を実行することにより、学習装置としての学習モデルを構築する。学習データは、学習用症例として、学習モデルのロバスト性を高めるために、異なる複数の患者を撮影した症例データを含むことが望ましい。また、学習データは、同一患者を撮像した一連の動画像データにおける各フレーム画像、および同一患者を異なる時期に撮影した画像を含んでもよい。
【0037】
【0038】
（ステップＳ３０２１：学習データの画像および正解第二断面情報の取得）
ステップＳ３０２１において、学習モデル生成部４２は、学習データを、データベース２２から取得する。学習データは、各学習用症例の３次元画像および正解第二断面情報を含む。
ステップＳ３０２１において、学習モデル生成部４２は、学習データを、データベース２２から取得する。学習データは、各学習用症例の３次元画像および正解第二断面情報を含む。
【0039】
学習データに含まれる各学習用症例の３次元画像は、各軸方向（幅、高さ、奥行）のボクセル数、１ボクセルあたりの物理サイズ、および各ボクセルの画素値を格納する配列という３種類の情報で構成される。
【0040】
学習データに含まれる各学習用症例の正解第二断面情報は、当該学習用症例の各第二の断面を定義する情報である。図１で説明したように、学習データの各学習用症例では、Ａ面、Ｂ面、Ｃ面の３種類の断面が第二の断面として定義されている。３種類の第二の断面は、例えば、以下の式（１）に示す通り、３つのパラメータを有する４本のベクトルで定義される。すなわち３種類の第二の断面は、合計１２のパラメータにより定義される。
【数1】
【0041】
式（１）で、Ｃは、３つの第二の断面の交点、すなわち３つの第二の断面が互いに交わる空間中の１点の座標を表す位置ベクトルである。また、ＮＡ～ＮＣは、それぞれＡ面、Ｂ面、Ｃ面の法線ベクトルを表す。
【0042】
（ステップＳ３０２２：正解第二断面情報の直交化）
ステップＳ３０２２において、学習モデル生成部４２は、ステップＳ３０２１で取得した学習データの各学習用症例に対し、正解第二断面情報を直交化（補正）する。具体的には、学習モデル生成部４２は、夫々の学習用症例の各第二の断面を定義する情報（正解第二断面情報）を、互いに直交する断面を表すパラメータに近似して変換する。断面同士が
互いに直交する場合、各第二の断面を定義する情報は、以下の式（２）に示す合計６のパラメータにより表現することができる。
ステップＳ３０２２において、学習モデル生成部４２は、ステップＳ３０２１で取得した学習データの各学習用症例に対し、正解第二断面情報を直交化（補正）する。具体的には、学習モデル生成部４２は、夫々の学習用症例の各第二の断面を定義する情報（正解第二断面情報）を、互いに直交する断面を表すパラメータに近似して変換する。断面同士が
互いに直交する場合、各第二の断面を定義する情報は、以下の式（２）に示す合計６のパラメータにより表現することができる。
【数2】
【0043】
式（２）で、Ｃは、式（１）のＣと同じく、３つの第二の断面の交点の座標を表す位置ベクトルである。また、Ｒは、Ｘ軸、Ｙ軸、Ｚ軸から対応する各第二の断面の法線ベクトルへの各軸方向の回転角度を表す。Ｓ３０２１で取得した正解第二断面は、第二の断面（の法線ベクトル）同士が互いに直交するように近似することにより、式（１）の場合よりも少ないパラメータで、互いに直交する３つの第二の断面として式（２）のように表すことができる。
【0044】
本ステップで正解第二断面情報を直交化するための変換処理について、具体的に説明する。学習モデル生成部４２は、式（２）のパラメータＲを求めることにより、正解第二断面情報を直交化することができる。
【0045】
ここでは、Ｃ面を優先し、変換の前後でＣ面の向きが変化しない例について説明する。まず、学習モデル生成部４２は、Ｃ面の法線ベクトルＮＣとＢ面の法線ベクトルＮＢとの外積を計算し、ベクトルＮＡ’を取得する。公知の定理である外積の直交性により、ベクトルＮＡ’は、ベクトルＮＣおよびベクトルＮＢの両方と直交する。
【0046】
次に、学習モデル生成部４２は、ベクトルＮＣとベクトルＮＡ’との外積を計算し、ベクトルＮＢ’を取得する。外積の直交性により、ベクトルＮＢ’は、ベクトルＮＡ’およびベクトルＮＣの両方と直交する。このように、学習モデル生成部４２は、ベクトルＮＡ’、ベクトルＮＢ’、ベクトルＮＣという互いに直交する３本のベクトルを取得する。
【0047】
なお、学習モデル生成部４２は、Ｃ面を優先する場合に限られず、Ａ面またはＢ面を優先して、互いに直交する３本のベクトルを取得してもよい。Ａ面を優先する場合、学習モデル生成部４２は、まずＮＡおよびＮＣに直交するＮＢ’を取得し、次にＮＡおよびＮＢ’に直交するＮＣ’を取得する。同様に、Ｂ面を優先する場合、学習モデル生成部４２は、まずＮＢおよびＮＡに直交するＮＣ’を取得し、次にＮＢおよびＮＣ’に直交するＮＡ’を取得する。
【0048】
学習モデル生成部４２は、ベクトルＮＣがＸＺ平面上およびＹＺ平面上でＺ軸となす角度をそれぞれｒｘおよびｒｙとして取得する。また、学習モデル生成部４２は、ベクトルＮＣで定義される平面においてベクトルＮＢ’がＸ軸となす角度をｒｚとして取得する。学習モデル生成部４２は、変換前の３つの第二の断面の交点の座標を位置ベクトルＣとすることで、互いに直交する３つの断面を表す６個のパラメータを取得することができる。
【0049】
なお、正解第二断面情報を直交化するためのパラメータは、ベクトルＮＡ’、ベクトルＮＢ’、ベクトルＮＣという互いに直交する３本のベクトルが空間中でなす姿勢を表現できればよく、上述したＲに限られない。互いに直交する第二の断面群の向き（姿勢）は、Ｒ以外のパラメータによって表されてもよい。例えば、互いに直交する第二の断面群の向きは、回転軸および回転角による表現、四元数による表現など、一般的な手法を用いて表現することができる。
【0050】
また、学習モデル生成部４２は、Ｃ面を優先して正解第二断面情報を直交化する場合に限られず、他の断面を優先して直交化をしてもよい。さらに、学習モデル生成部４２は、特定の断面を優先するのではなく、変換処理の前後で全体的な軸の向きの変化が最小とな
るようなパラメータを探索してもよい。例えば、学習モデル生成部４２は、式（２）において適当な６パラメータを初期値とし、第二の断面群の各軸ベクトルとなす角度の誤差を求める。そして、学習モデル生成部４２は、勾配法といった公知のパラメータ探索手法を用いて、各軸角度誤差の合計値が最小となるパラメータの組を探索する。
るようなパラメータを探索してもよい。例えば、学習モデル生成部４２は、式（２）において適当な６パラメータを初期値とし、第二の断面群の各軸ベクトルとなす角度の誤差を求める。そして、学習モデル生成部４２は、勾配法といった公知のパラメータ探索手法を用いて、各軸角度誤差の合計値が最小となるパラメータの組を探索する。
【0051】
（ステップＳ３０２３：第一の断面取得用学習モデルの構築）
ステップＳ３０２３において、学習モデル生成部４２（第１生成部）は、ステップＳ３０２２で得られた、正解第二断面情報が直交化された学習データを用いて、学習モデルを構築する。第一の断面取得用の学習モデルは、処理対象となる３次元画像から一部を切り出した部分３次元画像（サンプル）を入力として、入力された前記サンプルが第一の断面群を特定するサンプルとして適切であるか否かを出力する学習装置である。
ステップＳ３０２３において、学習モデル生成部４２（第１生成部）は、ステップＳ３０２２で得られた、正解第二断面情報が直交化された学習データを用いて、学習モデルを構築する。第一の断面取得用の学習モデルは、処理対象となる３次元画像から一部を切り出した部分３次元画像（サンプル）を入力として、入力された前記サンプルが第一の断面群を特定するサンプルとして適切であるか否かを出力する学習装置である。
【0052】
学習モデル生成部４２は、例えば、Ｒａｎｄｏｍ Ｆｏｒｅｓｔのアルゴリズムから派生した公知の手法であるＥｘｔｒｅｍｅｌｙ Ｒａｎｄｏｍｉｚｅｄ Ｔｒｅｅ（ＥＲＴ）を用いて、学習モデルを構築する。ＥＲＴは、例えば、非特許文献：Ｇｅｕｒｔｓ ｅｔ ａｌ．， “Ｅｘｔｒｅｍｅｌｙ Ｒａｎｄｏｍｉｚｅｄ Ｔｒｅｅｓ”，Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ， ｖｏｌ．３６，ｎｕｍｂｅｒ １，ｐｐ．３－４２，２００６．に開示される手法である。
【0053】
以下、学習モデルを構築する具体的な手順を示す。まず、学習モデル生成部４２は、学習データに含まれる夫々の学習用症例データの３次元画像および直交化された第二の断面パラメータ（以下、正解位置と称する）の情報を用いて、学習用症例データの３次元画像から一部を切り出したサンプルを生成する。具体的には、学習モデル生成部４２は、位置ベクトルＣの位置を中心として、パラメータＲが示す姿勢に従い、３次元画像から所定の大きさの領域（部分３次元画像）を切り出す。３次元画像から切り出す領域は、例えば５０×５０×５０ボクセルである。
【0054】
切り出すサンプル（部分３次元画像）の大きさは、第二の断面を取得する際に観察対象となる被検体（図１の例では、僧帽弁領域）を充分に含む大きさであることが望ましい。切り出されたサンプルは、例えば１０×１０×１０の大きさにリサイズされる。学習モデル生成部４２は、１０×１０×１０＝１０００ボクセル分の画素値を１列に並べたベクトルを求めて、求めたベクトルを正解サンプルとする。一方、非正解サンプルは、正解位置から大きくずれた位置または姿勢で切り出されたサンプルである。
【0055】
学習モデル生成部４２は、１つの学習用症例データから複数（例えば５００個ずつ）の正解サンプルおよび非正解サンプルを切り出す。非正解サンプルはほぼ無限に生成可能であるのに対し、１つの学習用症例データから得られる真の正解サンプルは１つである。
【0056】
複数の正解サンプルを取得するため、学習モデル生成部４２は、正解位置（第二の断面パラメータ）に対して、多少の位置ずれ、姿勢のずれ、スケールの変更などを加えたサンプルも、正解サンプルとする。例えば、正解サンプルの許容範囲は、正解位置を基準として、位置は±５ピクセル、角度は±５度、スケールは０．９５倍から１．０５倍の間の範囲とする。すなわち、正解サンプルは、許容範囲内で正解位置の位置、姿勢、スケールをランダムに変更して切り出したサンプルとし、非正解サンプルは、許容範囲外で切り出されたサンプルとする。
【0057】
学習モデル生成部４２は、Ｓ３０２２で直交化されたそれぞれの学習データに対して、正解サンプルおよび非正解サンプルを切り出す。学習モデル生成部４２は、学習データ１症例につき、例えば、５００個ずつの正解サンプルおよび非正解サンプルを生成する。
【0058】
学習モデル生成部４２は、生成した正解サンプルおよび非正解サンプルを用いて、識別器（学習モデル）を構築する。学習モデル生成部４２は、例えば、ＥＲＴを用いて、入力された未知のサンプルが、正解サンプルか非正解サンプルかを識別する識別器を構築することができる。
【0059】
なお、識別器の構築は、ＥＲＴを用いる場合に限られず、学習データに基づいてパラメータを推定する手法であれば、任意の手法を適用可能である。例えば、識別器は、決定木、ニューラルネットワーク、深層学習、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いた機械学習により構築されてもよい。
【0060】
また、学習モデルは、学習用症例データの３次元画像の画素値を用いて構築する例で説明したが、３次元画像に所定の画像処理を適用したデータを用いて構築することも可能である。例えば、学習モデル生成部４２は、所定の方向に画素値を微分した微分画像を生成し、該微分画像からサンプルを切り出してもよい。また、学習モデル生成部４２は、ノイズ低減または先鋭化といった画質改善処理を適用した画像からサンプルを切り出してもよい。
【0061】
（ステップＳ３０２４：第二の断面取得用学習モデルの構築）
ステップ２０２４において、学習モデル生成部４２（第２生成部）は、ステップＳ３０２１で得られた（直交化される前の）学習データを用いて、学習モデルを構築する。ステップＳ３０２３と同様に、学習モデル生成部４２は、ＥＲＴにより学習モデルを構築することができる。基準断面取得用の学習モデルは、断面画像を入力として、入力された断面画像が基準断面として適切であるか否かを出力する学習装置であり、断面毎に生成される。
ステップ２０２４において、学習モデル生成部４２（第２生成部）は、ステップＳ３０２１で得られた（直交化される前の）学習データを用いて、学習モデルを構築する。ステップＳ３０２３と同様に、学習モデル生成部４２は、ＥＲＴにより学習モデルを構築することができる。基準断面取得用の学習モデルは、断面画像を入力として、入力された断面画像が基準断面として適切であるか否かを出力する学習装置であり、断面毎に生成される。
【0062】
ステップＳ３０２３で構築する第一の断面取得用学習モデルとステップ２０２４で構築する第二の断面取得用学習モデルとの違いについて説明する。第一の断面取得用学習モデルは、式（２）における位置ベクトルＣおよびパラメータＲに含まれる合計６個のパラメータを推定するための学習モデルである。
【0063】
一方、第二の断面取得用学習モデルでは、第一の断面の取得により、式（２）における位置ベクトルＣおよびパラメータＲは、分かっていると仮定される。第二の断面取得用学習モデルは、式（１）における位置ベクトルＣおよび法線ベクトルＮＡ～法線ベクトルＮＣという合計１２個のパラメータを求めるための学習モデルである。
【0064】
学習モデル生成部４２は、第二の断面取得用学習モデルの構築では、まず、交点座標の位置ベクトルＣとして、第一の断面取得で得られる値をそのまま採用する。次に、学習モデル生成部４２は、ベクトルＮＡ～ベクトルＮＣという３つの法線ベクトルを推定（取得）するために、それぞれＡ面取得用、Ｂ面取得用、Ｃ面取得用の第二の断面毎の３つの学習モデルを用いる。第一の断面取得用のモデルは、３次元画像（部分３次元画像）をサンプルとして構築されるのに対して、Ａ面、Ｂ面、Ｃ面の第二の断面取得用の３つの学習モデルは、２次元画像（断面画像）をサンプルとして用いる。
【0065】
以下、３つの第二の断面の学習モデル構築手順について説明する。まず、学習モデル生成部４２は、学習データに含まれる夫々の学習用症例データの３次元画像および第二の断面パラメータ（正解位置）を用いて、学習用症例データの３次元画像からＡ面、Ｂ面、Ｃ面の断面画像を切り出したサンプルを生成する。
【0066】
具体的には、学習モデル生成部４２は、Ａ面の断面画像サンプルを生成する場合、位置ベクトルＣの位置を中心として法線ベクトルＮＡの姿勢に従い、断面画像を所定の大きさ
（例えば５０×５０ピクセル）で切り出す。学習モデル生成部４２は、切り出したサンプルを、例えば１０×１０ピクセルの大きさにリサイズする。学習モデル生成部４２は、１０×１０＝１００ピクセル分の画素値を１列に並べたベクトルを、正解サンプルとして取得する。
（例えば５０×５０ピクセル）で切り出す。学習モデル生成部４２は、切り出したサンプルを、例えば１０×１０ピクセルの大きさにリサイズする。学習モデル生成部４２は、１０×１０＝１００ピクセル分の画素値を１列に並べたベクトルを、正解サンプルとして取得する。
【0067】
学習モデル生成部４２は、Ｂ面およびＣ面に対しても同様に、正解サンプルのベクトルを取得する。また、学習モデル生成部４２は、ステップＳ３０２３と同様の手順を用いて、１つの学習用症例データから所定数（例えば５００個ずつ）の正解サンプルおよび非正解サンプルを生成する。
【0068】
識別器の構築方法は、ステップＳ３０２３と同様である。ただし、学習モデル生成部４２は、ステップＳ３０２３では１つの学習モデルを生成するのに対し、ステップＳ３０２４では、Ａ面、Ｂ面、Ｃ面の第二の断面取得用の３つの学習モデルを生成する。
【0069】
なお、ステップＳ３０２３の場合と同様に、学習モデルの生成は、ＥＲＴを用いる場合に限られず、学習データに基づいてパラメータを推定する手法であれば、任意の方法を適用可能である。
【0070】
また、学習モデル生成部４２は、ステップＳ３０２３とステップＳ３０２４とで、異なる手法で学習モデルを構築してもよい。例えば、学習モデル生成部４２は、ステップＳ３０２３ではＥＲＴに基づく学習モデルを構築し、ステップＳ３０２４では深層学習に基づく学習モデルを構築してもよい。
【0071】
また、ステップＳ３０２３の場合と同様、学習モデル生成部４２は、学習用症例データの３次元画像の画素値ではなく、画素値を微分する微分処理、ノイズ低減、先鋭化といった任意の画像処理を適用した画像からサンプルを切り出してもよい。学習モデル生成部４２は、ステップＳ３０２３とステップＳ３０２４とでは、異なる画像処理を適用した画像を用いてもよい。例えば、学習モデル生成部４２は、ステップＳ３０２３では微分画像を用いて学習モデルを構築し、ステップＳ３０２４では、先鋭化を施した画像を用いて学習モデルを構築してもよい。
【0072】
学習モデル生成部４２は、以上により、ステップＳ３０２の学習モデルの生成処理を実行する。なお、ステップＳ３０２の学習モデルの生成処理は、入力画像に対して画像処理装置１０が実行する第二の断面取得処理とは独立した処理である。したがって、ステップＳ３０２の処理は、事前に実施しておくことができる。生成された学習モデルは、例えば、データベース２２または記憶部３４などの記憶装置に保存される。
【0073】
あらかじめ学習モデルを生成しておいた場合、ステップＳ３０２において、学習モデル生成部４２は、記憶装置から学習モデルを読み込んでＲＡＭ３３に格納する。あらかじめ学習モデルを生成しておくことで、入力画像に対する第二の断面取得処理の処理時間は短縮される。なお、学習モデルの生成処理は、ステップＳ３０２に示した手順によって、画像処理装置１０とは異なる他の装置で実行されてもよい。
【0074】
（ステップＳ３０３：第一の断面群の取得）
ステップＳ３０３において、第一の断面取得部４３は、ステップＳ３０１で取得される入力画像と、ステップＳ３０２３で生成される第一の断面取得用学習モデルを用いて、第一の断面群を取得する。第一の断面取得部４３は、互いに直交する３つの第一の断面の位置および姿勢を算出する。すなわち、第一の断面取得部４３は、入力画像に対して、式（２）で示す合計６個のパラメータを算出する。
ステップＳ３０３において、第一の断面取得部４３は、ステップＳ３０１で取得される入力画像と、ステップＳ３０２３で生成される第一の断面取得用学習モデルを用いて、第一の断面群を取得する。第一の断面取得部４３は、互いに直交する３つの第一の断面の位置および姿勢を算出する。すなわち、第一の断面取得部４３は、入力画像に対して、式（２）で示す合計６個のパラメータを算出する。
【0075】
第一の断面取得部４３は、公知の識別器であるＥＲＴを用いて第一の断面群を取得する。識別器は、入力画像から切り出した未知のサンプル（部分３次元画像）が入力されると、入力されたサンプルが第一の断面群として適切なサンプル（正解サンプル）か、第一の断面群として適切でないサンプル（非正解サンプル）かを識別する。第一の断面取得部４３は、識別器により正解と判定されたサンプルに基づいて第一の断面群を取得する。
【0076】
【0077】
ステップＳ３０３１において、第一の断面取得部４３は、学習モデル構築の際、画像処理が適用されたか否かを判定する。学習モデル構築の際、画像処理が適用された場合、処理はＳ３０３２に進む。学習モデル構築の際、画像処理が適用されなかった場合、処理はＳ３０３３に進む。
【0078】
ステップＳ３０３２において、第一の断面取得部４３は、入力画像に、学習モデルを構築した際に適用した画像処理と同一の画像処理を適用する。例えば、学習モデルが微分画像を用いて構築されている場合、第一の断面取得部４３は、入力画像に対しても微分処理を施す。学習モデルを構築した際に適用した画像処理と同一の画像処理を施した画像は、前処理済み画像と称する。
【0079】
ステップＳ３０３３において、第一の断面取得部４３は、入力画像または前処理済み画像から事前に定められた範囲の中でランダムにパラメータを変動させてサンプル（部分３次元画像）を切り出す。事前に定められた範囲は、例えば、入力画像（前処理済み画像）の中心を基準として各軸方向±１００ボクセル、および各軸方向±４５度の範囲とすることができる。サンプルの切り出しは、具体的には、第一の断面取得用学習モデルの構築（ステップＳ３０２３）と同様で方法で行う。ここで切り出されるサンプルの一つ一つが、切り出しに用いたパラメータ（位置と姿勢）で定義される第一の断面群の候補（仮説）を表す。第一の断面取得部４３は、切り出したサンプルを第一の断面取得用識別器に入力し、入力したサンプルが正解サンプルか不正解サンプルかを判定する。サンプルの切り出しと識別という一連のプロセスは、所定回数（例えば１０，０００回）実行される。
【0080】
ステップＳ３０３４において、第一の断面取得部４３は、正解と判定されたサンプル（第一の断面群の候補）から第一の断面群を取得する。正解と判定されたサンプルが一つの場合、第一の断面取得部４３は、当該サンプルの位置と姿勢を、第一の断面群のパラメータ（以下、第一の断面パラメータとも称する）として出力する。一方、正解と判定されたサンプルが複数存在する場合、第一の断面取得部４３は、正解と判定されたサンプルの平均位置および平均角度を、第一の断面群のパラメータとして出力する。取得した第一の断面パラメータは、位置ベクトルＣｃおよびパラメータＲｃとする。
【0081】
なお、正解と判定されるサンプルが見つからなかった場合、第一の断面取得部４３は、第一の断面群が見つからなかった旨をユーザーに通知するダイアログボックスを、表示部３６に表示してもよい。
【0082】
また、第一の断面取得部４３は、正解と判定されたサンプルが複数存在する場合、平均位置および平均角度を本ステップの出力とすることができるが、これに限られない。例えば、第一の断面取得部４３は、正解と判定されたサンプル群にＫ近傍法といった公知のクラスタリングを適用し、サンプル数が多いクラスタに含まれるサンプルを用いて平均位置および平均角度を算出してもよい。
【0083】
また、第一の断面取得部４３は、正解と判定されたサンプルのうち画素値のコントラス
トが閾値よりも高いサンプルを選択し、平均位置および平均角度を算出してもよい。このように、第一の断面取得部４３は、正解と判定されたサンプルのうち所定の基準を満たすサンプルを選択して、平均位置および平均角度を算出することができる。
トが閾値よりも高いサンプルを選択し、平均位置および平均角度を算出してもよい。このように、第一の断面取得部４３は、正解と判定されたサンプルのうち所定の基準を満たすサンプルを選択して、平均位置および平均角度を算出することができる。
【0084】
また、正解と判定されたサンプルが見つからなかった場合、第一の断面取得部４３は、第一の断面が見つからなかった旨をユーザーに通知するのではなく、適切なパラメータを本ステップの出力（第一の断面）として、処理を続行してもよい。適切なパラメータは、例えば、第一の断面取得用学習モデルの構築で用いられた正解サンプルの学習データにおける平均位置および平均角度とすることができる。
【0085】
また、第一の断面取得部４３は、例えば位置の３パラメータを算出し、算出済みの位置のパラメータを固定して、角度の３パラメータを算出してもよい。反対に、第一の断面取得部４３は、角度の３パラメータを算出し、算出済みの角度のパラメータを固定して、位置の３パラメータを算出してもよい。
【0086】
さらに、本ステップの第一の断面群の取得処理は、観察対象である僧帽弁の位置と姿勢を定義する直交座標系を求める問題と捉えて、３次元画像中における対象物の位置および姿勢を推定する公知の手法により実行されてもよい。例えば、僧帽弁の３次元画像テンプレートを作成し、テンプレートマッチング手法により僧帽弁の位置と姿勢を推定してもよい。
【0087】
（ステップＳ３０４：第二の断面群の取得）
ステップＳ３０４において、第二の断面取得部４４は、各第二の断面を取得する。第二の断面取得部４４は、ステップＳ３０１で取得される入力画像と、ステップＳ３０３で算出される第一の断面パラメータＣｃおよびＲｃと、ステップＳ３０２４で生成される第二の断面取得用学習モデルと、を用いて各第二の断面を取得する。
ステップＳ３０４において、第二の断面取得部４４は、各第二の断面を取得する。第二の断面取得部４４は、ステップＳ３０１で取得される入力画像と、ステップＳ３０３で算出される第一の断面パラメータＣｃおよびＲｃと、ステップＳ３０２４で生成される第二の断面取得用学習モデルと、を用いて各第二の断面を取得する。
【0088】
例えば、第二の断面取得部４４は、入力画像に対して、式（１）で示す合計１２個のパラメータで表される各第二の断面の向きを算出（補正）することにより、第二の断面を取得することができる。第二の断面取得部４４は、ステップＳ３０３と同様、ＥＲＴ識別器を用いて第二の断面群を取得する。
【0089】
【0090】
Ｓ３０４１において、第二の断面取得部４４は、第一の断面パラメータのうち角度パラメータＲｃを、それぞれの第一の断面の法線ベクトルＮＡｃ、ＮＢｃ、ＮＣｃへと変換する。第二の断面取得部４４は、入力画像におけるＸ軸、Ｙ軸、Ｚ軸ベクトルを、角度パラメータＲｃの各パラメータに基づいて回転させることでそれぞれの第一の断面の法線ベクトルを取得することができる。
【0091】
ステップＳ３０４２において、第二の断面取得部４４は、学習モデル構築の際、画像処理が適用されたか否かを判定する。学習モデル構築の際、画像処理が適用された場合、処理はＳ３０４３に進む。学習モデル構築の際、画像処理が適用されなかった場合、処理はＳ３０４４に進む。
【0092】
ステップＳ３０４３において、第二の断面取得部４４は、入力画像に対して、学習モデルを構築した際に適用した画像処理と同一の画像処理を適用する。例えば、学習モデルが微分画像を用いて構築されている場合、第二の断面取得部４４は、入力画像に対しても微分処理を施す。学習モデルを構築した際に適用した画像処理と同一の画像処理を施した画
像は、前処理済み画像と称する。
像は、前処理済み画像と称する。
【0093】
ステップＳ３０４４において第二の断面取得部４４は、それぞれの第一の断面に基づいて、入力画像または前処理済み画像から各第二の断面のサンプルを切り出す。ステップＳ３０３３とは異なり、本ステップで切り出すサンプルは２次元断面画像である。第二の断面取得部４４は、位置ベクトルＣｃを固定した状態で、Ａ面、Ｂ面、Ｃ面のそれぞれのサンプルを切り出す。
【0094】
第二の断面取得部４４は、法線ベクトルＮＡｃを中心とした所定角度の範囲内で（すなわち、第一の断面である法線ベクトルＮＡｃを初期値として）ランダムにサンプルを切り出し、Ａ面のサンプルとする。同様に、第二の断面取得部４４は、Ｂ面およびＣ面のサンプルを切り出す。ここで切り出されるサンプルの一つ一つが、切り出しに用いたパラメータ（姿勢）で定義される各第二の断面の候補（仮説）を表す。なお、Ａ面のサンプルは、位置Ｃおよび法線ベクトルＮＡｃに基づいて切り出されたものであれば、必ずしもＮＡｃを中心として（すなわち、初期値として）切り出されたものでなくてもよい。例えば、あるＡ面のサンプルが与えられたときに、位置Ｃおよび法線ベクトルＮＡｃに対する差異と画質評価指標（例えば輝度コントラスト）との重みづけ和によって計算されるコスト関数を定義する。そして、入力画像からランダムにＡ面のサンプルを切り出して、前記コスト関数値が一定以下となるＡ面のサンプルを採用するようにすることができる。
【0095】
第二の断面取得部４４は、Ａ面、Ｂ面、Ｃ面のサンプルを切り出す際、それぞれの２次元断面サンプルが、互いに直交する関係から乖離しすぎないように切り出す。例えば、第二の断面取得部４４は、サンプルを切り出す所定角度の範囲を、各法線ベクトルを中心とした±５度とすることで、直交関係から乖離しすぎないように、サンプルを切り出すことができる。
【0096】
また、各面の２次元断面サンプルが、互いに直交する関係から乖離しすぎないように切り出す方法の他の具体例について説明する。まず、第二の断面取得部４４は、Ａ面のサンプルを切り出したあと、Ａ面の各サンプルの法線ベクトルの平均値から所定の角度（例えば±１０度）以上乖離しているサンプルを棄却する。なお、第二の断面取得部４４は、Ａ面の各サンプルの法線ベクトルの平均値ではなく、法線ベクトルＮＡから所定の角度以上乖離しているサンプルを棄却するようにしてもよい。
【0097】
次に、第二の断面取得部４４は、Ｂ面のサンプルを切り出し、Ａ面の法線ベクトルの平均値と、切り出したＢ面のサンプルの法線ベクトルとの角度を算出する。第二の断面取得部４４は、切り出したＢ面の法線ベクトルが、Ａ面の法線ベクトルの平均値と、直交（９０度）関係から所定の角度（例えば±１０度）以上乖離している場合、当該Ｂ面のサンプルは棄却する。
【0098】
同様に、第二の断面取得部４４は、Ｃ面のサンプルを切り出し、Ａ面の法線ベクトルの平均値およびＢ面の法線ベクトルの平均値と、切り出したＣ面のサンプルの法線ベクトルとの角度を算出する。第二の断面取得部４４は、切り出したＣ面の法線ベクトルが、Ａ面の法線ベクトルの平均値またはＢ面の法線ベクトルの平均値と、直交（９０度）関係から所定角度（例えば±１０度）以上乖離している場合、当該Ｃ面のサンプルは棄却する。
【0099】
このように、第二の断面取得部４４は、Ａ面、Ｂ面、Ｃ面が、互いに直交関係からの乖離が、所定角度の範囲内となるサンプルの組を第二の断面群の候補として取得する。なお、上述の例では、第二の断面取得部４４は、Ａ面を基準としてＢ面およびＣ面が直交関係から乖離しているか否かを判定するが、Ｂ面またはＣ面を基準として他の２つの面が直交関係から乖離しているか否かを判定してもよい。
【0100】
第二の断面取得部４４は、第二の断面群の候補として取得したサンプルの組を、第二の断面取得用識別器に入力する。入力されたサンプルの組は、第二の断面群として適切なサンプルの組（正解サンプル組）か、第二の断面群として適切でないサンプルの組（不正解サンプル組）かを判定される。そのために、第二の断面取得部４４は、まず、Ａ面、Ｂ面、Ｃ面のサンプルを、それぞれ、Ａ面用、Ｂ面用、Ｃ面用の第二の断面識別器に入力し、正解サンプルか非正解サンプルかを判定する。そして、第二の断面取得部４４は、Ａ面、Ｂ面、Ｃ面の各サンプルが夫々の識別器でいずれも正解サンプルと判定されたサンプルの組（第二の断面群の候補）を、正解サンプル組として取得する。ステップＳ３０３３と同様、Ｓ３０４４の処理（正解サンプル組か不正解サンプル組かの判定処理）は、所定回数（例えば１０，０００回）実行される。
【0101】
ステップＳ３０４５において、第二の断面取得部４４は、正解と判定されたサンプルの組（第二の断面群の候補）から、出力する第二の断面群を取得する。正解と判定されたサンプルの組が一つの場合、第二の断面取得部４４は、当該サンプルの組が表す第二の断面のパラメータ（以下、第二の断面パラメータとも称する）を出力する。一方、正解と判定されたサンプルの組が複数存在する場合、第二の断面取得部４４は、複数の正解サンプル組における各断面のサンプルの平均法線ベクトルを夫々の第二の断面パラメータとして出力する。
【0102】
なお、正解と判定されるサンプルが見つからなかった場合、第二の断面取得部４４は、第二の断面が見つからなかった旨をユーザーに通知するダイアログボックスを、表示部３６に表示してもよい。
【0103】
また、ステップＳ３０３と同様に、第二の断面取得部４４は、クラスタリングの結果でサンプル数が多いクラスタに含まれるサンプルの平均法線ベクトルを用いてもよい。また、第二の断面取得部４４は、画像の輝度コントラストなどの基準に基づいて選択されたサンプルを用いてもよい。さらに、正解と判定されたサンプルが見つからなかった場合、第二の断面取得部４４は、第一の断面（すなわち、位置ベクトルＣｃ、および法線ベクトルＮＡｃ、ＮＢｃ、ＮＣｃ）をそのまま出力してもよい。
【0104】
（ステップＳ３０５：第二の断面取得結果の表示）
ステップＳ３０５において、表示制御部４５は、入力画像をステップＳ３０４で得られる各第二の断面で切り出した断面画像を、表示部３６の画像表示領域内に表示する。表示制御部４５は、断面画像に加えて、入力画像である３次元画像をサーフェイスレンダリングまたはボリュームレンダリングといった公知の表示手法を用いて２次元画像とした画像を表示してもよい。
ステップＳ３０５において、表示制御部４５は、入力画像をステップＳ３０４で得られる各第二の断面で切り出した断面画像を、表示部３６の画像表示領域内に表示する。表示制御部４５は、断面画像に加えて、入力画像である３次元画像をサーフェイスレンダリングまたはボリュームレンダリングといった公知の表示手法を用いて２次元画像とした画像を表示してもよい。
【0105】
表示制御部４５は、図１に例示するように、ある第二の断面の断面画像を表示する際、当該第二の断面に交差する他の第二の断面を表す直線を、当該断面画像上に重畳して描画してもよい。図１は、Ｃ面（断面１１３）の画像上に、Ａ面（断面１１１）およびＢ面（断面１１２）を表す直線が描画されている例を示す。
【0106】
また、表示制御部４５は、直線で表された第二の断面が、表示されている断面と直交する角度から、どの程度乖離しているかを示す乖離の度合いの情報を、さらに表示してもよい。例えば、表示制御部４５は、第二の断面を表す直線の近傍に「直交から１０度乖離」といった文字情報を表示してもよく、乖離の度合いを直線の色または太さなどの表示態様によって表現してもよい。第二の断面の乖離の度合いが表示されることで、ユーザーは、第二の断面取得結果において、各第二の断面が相互にどの程度の直交性を保っているかを、容易に観察することが可能である。
【0107】
なお、３次元画像の解析や計測を目的とする場合には、ステップＳ３０５の処理は省略することができる。この場合、画像処理装置１０は、取得した第二の断面情報を記憶装置に保存し、図３に示す処理を終了する。
【0108】
なお、第一の断面取得部４３は、ステップＳ３０３において複数の正解サンプルが得られた場合に、平均をとることで１組の第一の断面群のパラメータに限定するが、これに限られない。第一の断面取得部４３は、複数組の正解サンプル（第一の断面群）のパラメータをそのまま第二の断面取得部４４に受け渡してもよい。第二の断面取得部４４は、受け渡された第一の断面群の数だけステップＳ３０４の処理を実行する。第二の断面取得部４４は、各第一の断面群に基づいて取得した複数の第二の断面の平均をとることで、１組の第二の断面群を取得することができる。複数組の第一の断面群に基づいて第二の断面群を取得することで、不適切な局所解に陥るリスクは軽減される。
【0109】
第１実施形態では、第二の断面群は、第二の断面同士が直交であるという角度関係から乖離しすぎないように取得される。すなわち、画像処理装置１０は、第二の断面同士の角度関係が、直交関係からの乖離が所定角度の範囲内となるように、解の探索範囲を制約する。これにより、画像処理装置１０は、３次元画像の観察または画像処理に用いる第二の断面群を、高速でより高精度に取得することができる。
【0110】
（変形例１）
第１実施形態は、第二の断面同士が凡そ直交の角度関係の状態である第二の断面群を取得する例を示す。これに対し、変形例１では、取得する第二の断面同士の角度関係は、直交関係でなくてもよい。変形例１では、第二の断面同士の角度関係は、あらかじめ設定された所定の角度関係とすることができる。以下では、図３の第二の断面取得処理および図３の学習モデル生成処理の各ステップの処理のうち、第１実施形態と異なる処理について説明する。
第１実施形態は、第二の断面同士が凡そ直交の角度関係の状態である第二の断面群を取得する例を示す。これに対し、変形例１では、取得する第二の断面同士の角度関係は、直交関係でなくてもよい。変形例１では、第二の断面同士の角度関係は、あらかじめ設定された所定の角度関係とすることができる。以下では、図３の第二の断面取得処理および図３の学習モデル生成処理の各ステップの処理のうち、第１実施形態と異なる処理について説明する。
【0111】
第二の断面同士が直交以外の角度関係である例として、３次元経胸骨心エコーの３次元画像から、四腔像（Ａ４Ｃ）、二腔像（Ａ２Ｃ）、三腔像（Ａ３Ｃ）の３種類の第二の断面を取得する例が挙げられる。四腔像（Ａ４Ｃ）と二腔像（Ａ２Ｃ）とは、凡そ直交の関係である。しかしながら、三腔像（Ａ３Ｃ）は、四腔像（Ａ４Ｃ）に対して約５０度回転した断面であり、四腔像（Ａ４Ｃ）との角度関係は直交ではない。
【0112】
変形例１では、ステップＳ３０２２の正解第二断面情報の直交化において、三腔像（Ａ３Ｃ）を定義する断面は、他の２断面と直交するのではなく、四腔像（Ａ４Ｃ）の断面に対して５０度の角度を保つように揃えられる。三腔像（Ａ３Ｃ）の断面は、四腔像（Ａ４Ｃ）の断面との角度関係が直交関係でない場合であっても、式（２）に示す６パラメータにより、一意に表すことができる。
【0113】
ステップＳ３０２３、Ｓ３０３で、パラメータをランダムに変動させてサンプルを生成する際、三腔像（Ａ３Ｃ）の断面が四腔像（Ａ４Ｃ）の断面に対して５０度から所定の角度以上乖離しているサンプルは、正解サンプルからも非正解サンプルからも棄却する。
【0114】
ステップＳ３０４で、各断面のサンプルを切り出す際、四腔像（Ａ４Ｃ）の断面に対して直交から所定の角度以上乖離している二腔像（Ａ２Ｃ）のサンプルは、第二の断面の候補から棄却する。また、四腔像（Ａ４Ｃ）の断面に対して５０度から所定の角度以上乖離している三腔像（Ａ３Ｃ）のサンプルは、第二の断面の候補から棄却する。
【0115】
変形例１では、第二の断面同士が凡そ直交する角度関係でない場合でも、画像処理装置
１０は、３次元画像の観察または画像処理に用いる第二の断面群を、高速でより高精度に取得することができる。
１０は、３次元画像の観察または画像処理に用いる第二の断面群を、高速でより高精度に取得することができる。
【0116】
（変形例２）
第１実施形態は、第一の断面群および第二の断面群を画像処理装置１０が自動で取得する例を示す。これに対し変形例２では、画像処理装置１０は、医師などのユーザーから第一の断面群の入力を受け付け、入力された第一の断面群に基づいて、第二の断面群を取得する。以下では、図３の第二の断面取得処理および図３の学習モデル生成処理の各ステップの処理のうち、第１実施形態と異なる処理について説明する。
第１実施形態は、第一の断面群および第二の断面群を画像処理装置１０が自動で取得する例を示す。これに対し変形例２では、画像処理装置１０は、医師などのユーザーから第一の断面群の入力を受け付け、入力された第一の断面群に基づいて、第二の断面群を取得する。以下では、図３の第二の断面取得処理および図３の学習モデル生成処理の各ステップの処理のうち、第１実施形態と異なる処理について説明する。
【0117】
変形例２では、第一の断面群は、ユーザーにより手動で入力される。ステップＳ３０３の第一の断面群の取得処理では、表示制御部４５は、表示部３６に第一の断面を手動で入力するためのユーザーインタフェース（ＵＩ）を表示する。ユーザーは、第一の断面を入力するためのＵＩに対し、操作部３５を介して第一の断面を入力する。
【0118】
第一の断面を入力するためのＵＩは、互いに直交な３つの第一の断面を指定できるものであればよい。例えば、表示制御部４５は、３次元画像をＹＺ平面、ＸＺ平面、ＸＹ平面という３つの面で切断した断面画像をタイル状に並べて表示する。表示制御部４５は、それぞれの断面画像上に、マウス操作で移動または回転可能な十字図形を表示する。
【0119】
例えば、図１において、ＹＺ平面上に表示される十字図形は、Ｂ面およびＣ面がＹＺ平面と交差する交線を表す。同様に、ＸＺ平面上に表示される十字図形は、Ａ面およびＣ面がＸＺ平面と交差する交線を表し、ＸＹ平面上に表示される十字図形は、Ａ面およびＢ面がＸＹ平面と交差する交線を表す。
【0120】
ユーザーは、それぞれの断面画像において、マウスによって十字図形を移動または回転させることで第一の断面を入力することができる。いずれかの断面画像の十字図形の位置および角度が変更されると、表示制御部４５は、他の２つの断面画像に変更結果を反映する。表示制御部４５が第一の断面の入力を受け付けることで、ユーザーは、直交性の制約を保ったまま、直感的に第一の断面群を手動で入力することができる。
【0121】
（変形例３）
第１実施形態では、ステップＳ３０２４で第二の断面取得用の学習モデルを構築し、ステップＳ３０４で第二の断面群を取得する際、第二の断面取得部４４は、入力画像から２次元断面画像を切り出して用いる。これに対し、変形例３では、第二の断面取得部４４は、３次元画像（部分３次元画像）を切り出して用いてもよい。以下では、図３の第二の断面取得処理および図３の学習モデル生成処理の各ステップの処理のうち、第１実施形態と異なる処理について説明する。
第１実施形態では、ステップＳ３０２４で第二の断面取得用の学習モデルを構築し、ステップＳ３０４で第二の断面群を取得する際、第二の断面取得部４４は、入力画像から２次元断面画像を切り出して用いる。これに対し、変形例３では、第二の断面取得部４４は、３次元画像（部分３次元画像）を切り出して用いてもよい。以下では、図３の第二の断面取得処理および図３の学習モデル生成処理の各ステップの処理のうち、第１実施形態と異なる処理について説明する。
【0122】
ステップＳ３０２４およびステップＳ３０４で、第二の断面取得部４４が切り出すサンプルは、２次元画像（例えば１０×１０ピクセル）ではなく、３次元画像（例えば１０×１０×１０ピクセル）となる。また、ステップＳ３０４において、Ａ面、Ｂ面、Ｃ面が互いに凡そ直交であることを判定する処理は、各３次元画像サンプルを切り出す際に用いる法線ベクトル同士の角度を算出して判定する処理となる。すなわち、第二の断面取得部４４は、法線ベクトル同士の角度が互いに直交する関係から所定の角度以上乖離しているサンプルを棄却する。
【0123】
変形例３で、部分３次元画像のサンプルを用いて第二の断面群を取得する場合でも、画像処理装置１０は、２次元画像のサンプルを用いた場合と同様に、第二の断面群を高速でより高精度に取得することができる。
【0124】
＜第２実施形態＞
第２実施形態に係る画像処理装置１０は、第１実施形態と同様に、処理対象である３次元画像（入力画像）から所定の第二の断面を取得（推定）する。第１実施形態は、第一の断面群を取得したあと、取得した第一の断面群を初期位置として第二の断面を取得する実施形態である。これに対し、第２実施形態は、第一の断面群の質を評価して、所定の条件を満たす場合には第二の断面取得処理を実行することなく、取得した第一の断面をそのまま第二の断面として出力する実施形態である。
第２実施形態に係る画像処理装置１０は、第１実施形態と同様に、処理対象である３次元画像（入力画像）から所定の第二の断面を取得（推定）する。第１実施形態は、第一の断面群を取得したあと、取得した第一の断面群を初期位置として第二の断面を取得する実施形態である。これに対し、第２実施形態は、第一の断面群の質を評価して、所定の条件を満たす場合には第二の断面取得処理を実行することなく、取得した第一の断面をそのまま第二の断面として出力する実施形態である。
【0125】
［装置構成］
図７を用いて、本実施形態の画像処理装置の構成および処理を説明する。図７は、第２実施形態に係る画像処理システムの構成を例示するブロック図である。第１実施形態と同様の構成については、図２と同一の符号を付して説明は省略する。以下、第１実施形態との相違点について説明する。
図７を用いて、本実施形態の画像処理装置の構成および処理を説明する。図７は、第２実施形態に係る画像処理システムの構成を例示するブロック図である。第１実施形態と同様の構成については、図２と同一の符号を付して説明は省略する。以下、第１実施形態との相違点について説明する。
【0126】
画像処理装置１０は、図２に示す構成に加えて判定部５１を備える。判定部５１は、第一の断面取得部４３によって取得された第一の断面群が、第二の断面群として妥当か否かを判定する。判定方法の詳細は、図８のステップＳ８０４の説明で後述する。
【0127】
取得された第一の断面群が第二の断面群として妥当と判定された場合、第二の断面取得処理は実行されない。表示制御部４５は、第一の断面群を第二の断面群であるとみなして、第１実施形態と同様に、表示部３６の画像表示領域内に表示する。
【0128】
［第二の断面取得処理］
図８を用いて、第二の断面取得処理について説明する。図８は、第２実施形態に係る第二の断面取得処理を例示するフローチャートである。図８におけるステップＳ８０１からＳ８０３、およびＳ８０５の各処理は、図３におけるＳ３０１からＳ３０３、およびＳ３０４の処理と同一であるため説明を省略する。以下、第１実施形態との相違点について説明する。
図８を用いて、第二の断面取得処理について説明する。図８は、第２実施形態に係る第二の断面取得処理を例示するフローチャートである。図８におけるステップＳ８０１からＳ８０３、およびＳ８０５の各処理は、図３におけるＳ３０１からＳ３０３、およびＳ３０４の処理と同一であるため説明を省略する。以下、第１実施形態との相違点について説明する。
【0129】
（ステップＳ８０４：第二の断面取得を実行するか否かを判定）
ステップＳ８０４において、判定部５１は、ステップＳ８０３で算出された第一の断面群を評価し、第二の断面取得を実行するか否かを判定する。判定部５１は、ステップＳ８０３で取得された第一の断面群が所定の条件を満たす場合に、第二の断面取得を実行すると判定し、第一の断面群が所定の条件を満たさない場合に、第二の断面取得を実行しないと判定することができる。第一の断面群が所定の条件を満たすのは、第一の断面群が第二の断面群として妥当である場合である。画像処理装置１０は、第二の断面取得を実行する場合は、処理をステップＳ８０５に進め、第二の断面取得を実行しない場合は、処理をステップＳ８０６に進める。
ステップＳ８０４において、判定部５１は、ステップＳ８０３で算出された第一の断面群を評価し、第二の断面取得を実行するか否かを判定する。判定部５１は、ステップＳ８０３で取得された第一の断面群が所定の条件を満たす場合に、第二の断面取得を実行すると判定し、第一の断面群が所定の条件を満たさない場合に、第二の断面取得を実行しないと判定することができる。第一の断面群が所定の条件を満たすのは、第一の断面群が第二の断面群として妥当である場合である。画像処理装置１０は、第二の断面取得を実行する場合は、処理をステップＳ８０５に進め、第二の断面取得を実行しない場合は、処理をステップＳ８０６に進める。
【0130】
基準断面取得を実行するか否か、すなわち第一の断面群が所定の条件を満たすか否かの判定方法について説明する。判定部５１は、公知の統計的処理である主成分分析（ＰＣＡ；Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）を用いて、Ａ面、Ｂ面、Ｃ面それぞれの断面画像の画素値の統計的傾向を獲得したモデル（部分空間）を構築する。当該モデルは、すべての学習用症例データに対して３次元画像を正解第二断面情報で切断した各断面画像を生成し、生成した断面画像の主成分分析により構築される。
【0131】
判定部５１は、ステップＳ８０３で得られる第一の断面を、対応するモデルを用いて再表現する。例えばＡ面の第一の断面は、Ａ面のモデルを使って再表現される。判定部５１は、第一の断面画像と再表現された画像との誤差（再構築誤差）を算出する。第一の断面
が対応する断面（たとえばＡ面）の平均的傾向に近い場合、モデルによる再構築誤差は小さくなる。反対に第一の断面が対応する断面の平均的傾向からかけ離れている場合、再構築誤差は大きくなる。判定部５１は、再構築誤差を算出することで、第一の断面が「どの程度、対応する断面らしいか」を定量化することができる。
が対応する断面（たとえばＡ面）の平均的傾向に近い場合、モデルによる再構築誤差は小さくなる。反対に第一の断面が対応する断面の平均的傾向からかけ離れている場合、再構築誤差は大きくなる。判定部５１は、再構築誤差を算出することで、第一の断面が「どの程度、対応する断面らしいか」を定量化することができる。
【0132】
３つの各断面で、再構築誤差が所定の閾値よりも小さい場合は、「第二の断面取得を実行しない」と判定する。反対に、再構築誤差が所定の値以上である場合は、「第二の断面取得を実行する」と判定する。この場合、第一の断面群が所定の条件を満たすのは、再構築誤差が所定の閾値よりも小さくなる場合とすることができる。再構築誤差を評価するための所定の閾値は、例えば、学習データに対して同様の再構築誤差を算出したときの平均値＋標準偏差値、とすることができる。
【0133】
なお、断面画像の画素値の統計的傾向を獲得したモデルを構築する手法は、ＰＣＡを用いる方法に限られない。判定部５１は、「入力画像が所定の種類の画像である蓋然性」を定量化するモデルであれば、任意のモデルを用いることができる。例えば、判定部５１は、深層学習によって、入力画像が所定のクラスに属する確率を判定するモデルを構築して用いてもよい。この場合、第一の断面群が所定の条件を満たすのは、第一の断面群が所定のクラスに属する確率が閾値よりも大きくなる場合とすることができる。
【0134】
また、判定部５１は、断面画像の輝度コントラストが所定の閾値以上である場合に「第二の断面取得を実行しない」と判定するなど、モデルに基づかない簡便な方法で判定してもよい。所定の閾値は、例えば、学習データの断面画像における輝度コントラストの平均値とすることができる。この場合、第一の断面群が所定の条件を満たすのは、第一の断面群の輝度コントラストが所定の閾値以上である場合とすることができる。
【0135】
また、第二の断面取得を実行するか否かを判定するためのモデルは、あらかじめ構築しておくことができる。当該モデルは、画像処理装置１０以外の他の装置で構築されてもよい。構築されたモデルは、データベース２２または記憶部３４に格納される。ステップＳ８０４では、判定部５１は、構築されたモデルをＲＡＭ３３に読み込み、第二の断面取得を実行するか否かを判定する。
【0136】
また、ステップＳ８０４の判定では、断面画像の画素値を用いる例で説明したが、判定部５１は、断面画像に所定の画像処理を適用したデータを用いて判定してもよい。例えば、判定部５１は、所定の方向に画素値を微分した微分画像、または、ノイズ低減および先鋭化といった画質改善処理を適用した画像からサンプルを切り出してもよい。
【0137】
断面画像に所定の画像処理を適用することで、判定部５１は、画素値を用いて判定する場合よりも精度の高い判定が可能となる。また、判定部５１は、断面画像のみを用いる例に限られず、断面の前後の領域を含む３次元画像に対して同様の判定処理、すなわち蓋然性の定量化による判定処理を行ってもよい。
【0138】
（ステップＳ８０６：第二の断面取得結果の表示）
ステップＳ８０６において、表示制御部４５は、入力画像をステップＳ８０５で得られる第二の断面群で切り出した断面画像を、画像表示領域内に表示させる。第二の断面の取得が実行された場合（ステップＳ８０５を実行した場合）、表示制御部４５は、第１実施形態と同様に、第二の断面の取得結果を用いて表示が行われる。
ステップＳ８０６において、表示制御部４５は、入力画像をステップＳ８０５で得られる第二の断面群で切り出した断面画像を、画像表示領域内に表示させる。第二の断面の取得が実行された場合（ステップＳ８０５を実行した場合）、表示制御部４５は、第１実施形態と同様に、第二の断面の取得結果を用いて表示が行われる。
【0139】
ステップＳ８０４で「第二の断面取得を実行しない」と判定された場合、表示制御部４５は、互いに直交する断面である第一の断面を、第二の断面とみなして表示する。表示処理については、第１実施形態のステップＳ３０５と同様である。
【0140】
なお、ステップＳ８０３で取得した第一の断面群を第二の断面として表示する場合、表示制御部４５は、第二の断面取得処理を実行しなかったことをユーザーに通知してもよい。例えば、表示制御部４５は、第二の断面取得処理を実行していないという趣旨の文字情報を表示部に表示してもよい。また、表示制御部４５は、表示領域上で、断面を表す直線同士が交わる交点付近に、直角を表す数学記号を表示することで、互いに直交する第一の断面が、第二の断面として表示されていることを示してもよい。
【0141】
上述の第２実施形態によれば、ステップＳ８０３で取得された第一の断面群が第二の断面として採用することができると判定された場合、第二の断面取得の実行が省略されるため、画像処理装置１０は、処理時間を短縮することができる。
【0142】
＜第３実施形態＞
第３実施形態に係る画像処理装置１０は、第１および第２実施形態と同様に、３次元画像から所定の２つ以上の第二の断面を取得（推定）する。第２実施形態では、取得した第一の断面群に対して、第二の断面算出を実行するか否かを判定する実施形態である。これに対し、第３実施形態は、断面毎に、第二の断面取得を実行するか否かを判定する実施形態である。例えば、第３実施形態に係る画像処理装置１０は、Ａ面については第二の断面取得を実行せずに第一の断面を第二の断面として用いるが、Ｂ面およびＣ面については第二の断面取得を実行するといった判定をすることができる。
第３実施形態に係る画像処理装置１０は、第１および第２実施形態と同様に、３次元画像から所定の２つ以上の第二の断面を取得（推定）する。第２実施形態では、取得した第一の断面群に対して、第二の断面算出を実行するか否かを判定する実施形態である。これに対し、第３実施形態は、断面毎に、第二の断面取得を実行するか否かを判定する実施形態である。例えば、第３実施形態に係る画像処理装置１０は、Ａ面については第二の断面取得を実行せずに第一の断面を第二の断面として用いるが、Ｂ面およびＣ面については第二の断面取得を実行するといった判定をすることができる。
【0143】
第３実施形態に係る画像処理装置１０の構成は、図７に示す第２実施形態の構成と同様である。ただし、判定部５１による処理は、断面毎に第二の断面取得を実行するか否かを判定する点で、第２実施形態と相違する。
【0144】
第３実施形態に係る第二の断面取得処理は、図８に示す第２実施形態のフローチャートと同様である。ただし、ステップＳ８０４およびＳ８０５の処理は、第２実施形態での処理と相違する。以下、相違点について説明する。
【0145】
（ステップＳ８０４：第二の断面取得を実行するか否かを判定）
ステップＳ８０４において、判定部５１は、ステップＳ８０３で算出された第一の断面群を評価する。判定部５１は、Ａ面、Ｂ面、Ｃ面の断面毎に、第二の断面取得を実行するか否かを判定する。
ステップＳ８０４において、判定部５１は、ステップＳ８０３で算出された第一の断面群を評価する。判定部５１は、Ａ面、Ｂ面、Ｃ面の断面毎に、第二の断面取得を実行するか否かを判定する。
【0146】
いずれの断面でも「第二の断面取得を実行しない」と判定された場合、画像処理装置１０は、処理をステップＳ８０６に進める。いずれかの断面で「第二の断面取得を実行する」と判定された場合、画像処理装置１０は、処理をステップＳ８０５に進める。
【0147】
断面毎の判定方法について説明する。判定部５１は、ステップＳ８０４と同じ手順で、断面毎に再構築誤差を算出する。判定部５１は、再構築誤差が所定の閾値を下回った断面については「第二の断面取得を実行しない」と判定する。反対に、判定部５１は、再構築誤差が所定の閾値以上である断面については、第１実施形態と同様に、「第二の断面取得を実行する」と判定する。
【0148】
再構築誤差を評価するための所定の閾値は、例えば、学習データに対して同様の再構築誤差を算出したときの平均値＋標準偏差値とすることができる。ステップＳ８０４での判定結果の情報は、ステップＳ８０５での処理に使用される。
【0149】
（ステップＳ８０５：第二の断面群の取得）
ステップＳ８０５において、第二の断面取得部４４は、「第二の断面取得を実行する」
と判定された断面について、第二の断面を取得する。第二の断面取得部４４は、入力画像と、第一の断面パラメータＣｃおよびＲｃと、第二の断面取得用学習モデルと、ステップＳ８０４で算出される判定情報と、を用いて、各第二の断面を取得する。
ステップＳ８０５において、第二の断面取得部４４は、「第二の断面取得を実行する」
と判定された断面について、第二の断面を取得する。第二の断面取得部４４は、入力画像と、第一の断面パラメータＣｃおよびＲｃと、第二の断面取得用学習モデルと、ステップＳ８０４で算出される判定情報と、を用いて、各第二の断面を取得する。
【0150】
ステップＳ８０４の処理は、第１実施形態のステップＳ３０４と一部の処理が共通する。以下、ステップＳ８０４の処理について、ステップＳ３０４との共通点および相違点を明らかにしながら説明する。
【0151】
第１に、第二の断面取得部４４は、第一の断面パラメータのうち角度パラメータＲｃを、それぞれの第一の断面の法線ベクトルＮＡｃ、ＮＢｃ、ＮＣｃへと変換する。ステップＳ８０４の第１の処理は、ステップＳ３０４での第１の処理と同様である。
【0152】
第２に、第二の断面取得部４４は、入力画像から各第二の断面のサンプルを切り出す。Ａ面、Ｂ面、Ｃ面という３つの断面の中に、ステップＳ８０４で「第二の断面取得を実行しない」と判定された断面がある場合、第二の断面取得部４４は、第二の断面取得を実行しない断面に対応する法線ベクトルは変動させない。それ以外の断面に対応する法線ベクトルは、ステップＳ３０４における第２の処理と同様に、各断面の法線ベクトルが互いに直交関係から所定の角度の範囲内の角度関係を保つように算出される。第二の断面取得部４４は、各断面の法線ベクトルに基づいて切り出したサンプルを、第二の断面の候補として取得する。
【0153】
第３に、第二の断面取得部４４は、前段の処理によって第二の断面の候補として取得したサンプルを、第二の断面取得用識別器に入力し、入力したサンプルが正解サンプルか不正解サンプルかを判定する。ステップＳ８０４の第３の処理は、ステップＳ３０４における第３の処理と同様である。
【0154】
ステップＳ３０４と同様に、第２の処理および第３の処理は所定回数（例えば１０，０００回）実行される。正解と判定されたサンプルが複数存在する場合、第二の断面取得部４４は、平均位置および各断面の平均法線ベクトルを本ステップの出力とする。なお、正解と判定されるサンプルが見つからなかった場合、第二の断面取得部４４は、第二の断面が見つからなかった旨をユーザーに通知するダイアログボックスを、表示部３６に表示する。
【0155】
なお、再構築誤差が所定の閾値よりも小さく、第二の断面取得を実行しないと判定された断面については、第二の断面は、ステップＳ８０３で取得された第一の断面に固定されるが、これに限られない。第二の断面取得部４４は、第一の断面を第二の断面としてそのまま用いるのではなく、ステップＳ８０５でサンプルを切り出す際に、微小な変動を与えることも可能である。すなわち、第二の断面取得部４４は、ステップＳ８０５でサンプルを切り出す際、再構築誤差が所定の閾値以上の断面が取り得る範囲（例えば±１０度）よりも小さい範囲（例えば±３度）で、第一の断面を変動させてもよい。第二の断面取得部４４は、断面毎に異なる変動幅を設定することで、より柔軟な第二の断面の推定が可能となる。
【0156】
また、ステップＳ３０２４およびＳ８０５では、第二の断面取得部４４は、ＥＲＴを用いて、すなわち、サンプルをランダムに切り出して正解または非正解を判定することで、第二の断面を取得するが、これに限られない。第二の断面取得部４４は、所定の評価関数を最適化する方法で第二の断面を取得してもよい。
【0157】
所定の評価関数を最適化する方法では、第二の断面取得部４４は、ステップＳ３０２４で、正解サンプルに主成分分析（ＰＣＡ）を適用することで、Ａ面、Ｂ面、Ｃ面の各断面
の画像特徴の統計的傾向を獲得したモデルを構築する。
の画像特徴の統計的傾向を獲得したモデルを構築する。
【0158】
ステップＳ８０４では、第二の断面取得部４４は、それぞれのモデルで入力断面画像を再表現したときの誤差と、正則化項（第一の断面との角度差）という２つの項をコストとする評価関数を用いる。第二の断面取得部４４は、ステップＳ８０４で「第二の断面取得を実行しない」と判定された症例の断面については、正則化項の重みを大きくし、第一の断面からなるべく乖離しないようにする。第二の断面取得部４４は、コスト値が最小となるパラメータを勾配法やＬｅｖｅｎｂｕｒｇ－Ｍａｒｑｕａｒｄｔ法といった公知の最適化手法で探索する。
【0159】
上述の第３実施形態によれば、断面毎に第二の断面取得を実行するか否かを判定するため、より高精度な第二の断面群を取得することができる。
【0160】
＜第４実施形態＞
第４実施形態に係る画像処理装置１０は、第１乃至第３実施形態と同様に、３次元画像から所定の２つ以上の第二の断面を取得（推定）する。第１実施形態では、第二の断面を取得する際、第二の断面同士が凡そ直交であるという角度関係から乖離しすぎないようにするため、第二の断面取得部４４は、断面同士の角度関係からの乖離が所定の範囲内になるように、解の探索範囲を制約する。
第４実施形態に係る画像処理装置１０は、第１乃至第３実施形態と同様に、３次元画像から所定の２つ以上の第二の断面を取得（推定）する。第１実施形態では、第二の断面を取得する際、第二の断面同士が凡そ直交であるという角度関係から乖離しすぎないようにするため、第二の断面取得部４４は、断面同士の角度関係からの乖離が所定の範囲内になるように、解の探索範囲を制約する。
【0161】
これに対し、第４実施形態では、第二の断面同士が直交という角度関係から乖離しすぎないようにするため、画像処理装置１０は、第二の断面群を取得するための評価関数を用いて、少なくとも断面同士の直交関係からの乖離の度合いを評価する。すなわち、第二の断面取得部４４は、直交関係からの乖離の度合いを定量化する項を含む評価関数を用いて、評価関数の値を最適化（最小化または最大化）することで、第一の断面および第二の断面を取得する。
【0162】
第４実施形態に係る画像処理装置１０の構成は、図２に示す第１実施形態の構成と同様である。また、第４実施形態に係る第二の断面取得処理は、図３および図３に示す第１実施形態のフローチャートと同様である。ただし、ステップＳ３０２３、Ｓ３０２４に示す各学習モデルの構築処理、およびステップＳ３０３、Ｓ３０４に示す各断面の取得処理の一部は、第１実施形態と相違する。以下、各処理について、第１実施形態との相違点を明らかにしながら説明する。
【0163】
（ステップＳ３０２３：第一の断面取得用学習モデルの構築）
ステップＳ３０２３において、学習モデル生成部４２は、ステップＳ３０２２で得られた、第二の断面情報が直交化された学習データを用いて、学習モデルを構築する。学習モデル生成部４２は、公知の統計的処理である主成分分析（ＰＣＡ）を用いて、第一の断面画像の統計的傾向を獲得した学習モデルを構築する。
ステップＳ３０２３において、学習モデル生成部４２は、ステップＳ３０２２で得られた、第二の断面情報が直交化された学習データを用いて、学習モデルを構築する。学習モデル生成部４２は、公知の統計的処理である主成分分析（ＰＣＡ）を用いて、第一の断面画像の統計的傾向を獲得した学習モデルを構築する。
【0164】
以下、学習モデルを構築する具体的な手順を示す。まず、第１実施形態のステップＳ３０２３と同様に、学習モデル生成部４２は、学習用症例データの３次元画像と直交化された第二の断面パラメータ（正解位置）を用いて３次元画像から１部を切り出したサンプルを生成する。学習モデル生成部４２は、第１の実施形態と同様に、正解位置から多少の位置ずれ、姿勢のずれ、スケールの変更などを加えたサンプルも、正解サンプルとみなして、学習データを水増しする。
【0165】
ただし、学習モデル生成部４２は、第１実施形態のステップＳ３０２３とは異なり、非正解サンプルは生成しない。学習モデル生成部４２は、すべての学習用症例データから正解サンプルを切り出すことで、学習サンプルを生成する。学習モデル生成部４２は、生成
した学習サンプルを主成分分析することで、第一の断面画像が持つ統計的傾向が表現された学習モデルを構築する。
した学習サンプルを主成分分析することで、第一の断面画像が持つ統計的傾向が表現された学習モデルを構築する。
【0166】
（ステップＳ３０２４：第二の断面取得用学習モデルの構築）
ステップＳ３０２４において、学習モデル生成部４２は、ステップＳ３０２１で得られた（直交化される前の）学習データを用いて、学習モデルを構築する。学習モデル生成部４２は、第４実施形態のステップＳ３０２３と同様に主成分分析（ＰＣＡ）により学習モデルを構築する。
ステップＳ３０２４において、学習モデル生成部４２は、ステップＳ３０２１で得られた（直交化される前の）学習データを用いて、学習モデルを構築する。学習モデル生成部４２は、第４実施形態のステップＳ３０２３と同様に主成分分析（ＰＣＡ）により学習モデルを構築する。
【0167】
入力画像からサンプル画像を切り出す処理は、第１実施形態におけるステップＳ３０２４と同様である。ただし、学習モデル生成部４２は、非正解サンプルは生成せず、第４実施形態のステップＳ３０２３と同様に、正解サンプルのみを用いて学習モデルを構築する。学習モデル生成部４２は、生成した学習サンプルを主成分分析することで、Ａ面、Ｂ面、Ｃ面それぞれの第二の断面の統計的傾向が表現された学習モデルを構築する。
【0168】
（ステップＳ３０３：第一の断面群の算出）
ステップＳ３０３において、第一の断面取得部４３は、ステップＳ３０１で取得される入力画像と、ステップＳ３０２３で生成される第一の断面取得用学習モデルを用いて、第一の断面群を取得する。第１実施形態と同様に、第一の断面取得部４３は、式（２）で示す合計６個のパラメータを算出する。
ステップＳ３０３において、第一の断面取得部４３は、ステップＳ３０１で取得される入力画像と、ステップＳ３０２３で生成される第一の断面取得用学習モデルを用いて、第一の断面群を取得する。第１実施形態と同様に、第一の断面取得部４３は、式（２）で示す合計６個のパラメータを算出する。
【0169】
第一の断面取得部４３は、生成された学習モデルを用いたコスト関数が最小となるパラメータ（式（２）で示す６個のパラメータ）を探索することにより第一の断面を取得する。コスト関数は、入力画像から切り出したサンプルを、モデルを使って再表現したときの差異（再構築誤差）である。すなわち、コスト関数は、「入力画像から切り出したサンプルが、学習モデルの統計的傾向に基づいてどの程度第一の断面らしいか」を定量化する指標である。以下に第一の断面を取得する処理手順を示す。
【0170】
まず、第一の断面取得部４３は、学習モデルを構築した際に画像処理が適用された場合、入力画像に同一の画像処理を適用する。例えば、学習モデルが微分画像を用いて構築されている場合、第一の断面取得部４３は、入力画像に対しても微分処理を施す。
【0171】
次に、第一の断面取得部４３は、式（２）で示す６個のパラメータの初期値（以下、初期パラメータと称する）を定める。例えば、位置ベクトルＣの初期値は画像の中心とし、姿勢を示すパラメータＲの初期値は入力画像の各軸と平行な向きとする。第一の断面取得部４３は、コスト値が最小となるパラメータを勾配法やＬｅｖｅｎｂｕｒｇ－Ｍａｒｑｕａｒｄｔ法といった公知の最適化手法を用いて探索する。探索された第一の断面のパラメータは、位置ベクトルＣｃおよびパラメータＲｃとする。
【0172】
なお、第一の断面取得部４３は、例えば、位置の３パラメータを算出し、算出済みの位置のパラメータを固定して、角度（姿勢）の３パラメータを算出するようにしてもよい。反対に、第一の断面取得部４３は、角度の３パラメータを算出し、算出済みの角度のパラメータを固定して、位置の３パラメータを算出してもよい。
【0173】
（ステップＳ３０４：第二の断面群の取得）
ステップＳ３０４において、第二の断面取得部４４は、各第二の断面を取得する。第二の断面取得部４４は、ステップＳ３０１で取得される入力画像と、ステップＳ３０３で算出された第一の断面パラメータＣｃおよびＲｃと、ステップＳ３０２４で生成される第二の断面取得用学習モデルと、を用いて、各第二の断面を取得する。
ステップＳ３０４において、第二の断面取得部４４は、各第二の断面を取得する。第二の断面取得部４４は、ステップＳ３０１で取得される入力画像と、ステップＳ３０３で算出された第一の断面パラメータＣｃおよびＲｃと、ステップＳ３０２４で生成される第二の断面取得用学習モデルと、を用いて、各第二の断面を取得する。
【0174】
例えば、第二の断面取得部４４は、コスト関数を最小化し、第１実施形態における式（１）で示す合計１２個のパラメータで表される各第二の断面の向きを算出（補正）することにより、第二の断面を取得することができる。コスト関数は、第４実施形態のステップＳ３０３で述べた再構築誤差、および断面同士の位置関係が直交関係から乖離した場合にペナルティを与える制約項の２種類の項を含む。
【0175】
再構築誤差は、第４実施形態のステップＳ３０３で述べたものと同様である。制約項は、断面を表す法線ベクトル同士の内積の絶対値とすることができる。断面同士が直交する場合、法線ベクトルの内積は０となるため、直交関係からの乖離の度合いは、内積の絶対値をとることで定量化することが可能である。Ａ面、Ｂ面、Ｃ面という３つの断面がある場合、制約項は、Ａ面法線ベクトルとＢ面法線ベクトル、Ｂ面法線ベクトルとＣ面法線ベクトル、Ｃ面法線ベクトルとＡ面法線ベクトルという３つの組み合わせにおける内積の合計で表される。以下に処理手順を示す。
【0176】
第１に、第二の断面取得部４４は、第一の断面パラメータのうち角度パラメータＲｃを、それぞれの断面の法線ベクトルＮＡｃ、ＮＢｃ、ＮＣｃへと変換する。この処理は、第１実施形態のステップＳ３０４１の処理と同様である。
【0177】
第２に、第二の断面取得部４４は、学習モデルを構築した際に画像処理が適用された場合、入力画像に同一の画像処理を適用する。例えば、学習モデルが微分画像を用いて構築されている場合、第二の断面取得部４４は、入力画像に対しても微分処理を施す。
【0178】
次に、第二の断面取得部４４は、Ａ面、Ｂ面、Ｃ面それぞれを取得するための出発点となる初期パラメータを定める。第二の断面取得部４４は、位置ベクトルＣｃを固定し、法線ベクトルＮＡｃをＡ面の初期パラメータ、法線ベクトルＮＢｃをＢ面の初期パラメータ、法線ベクトルＮＣｃをＣ面の初期パラメータとする。
【0179】
第３に、第二の断面取得部４４は、Ａ面、Ｂ面、Ｃ面それぞれのパラメータ（法線ベクトル）を、コスト関数を最小化することで探索する。コスト関数は、（Ａ面の再構築誤差＋Ｂ面の再構築誤差＋Ｃ面の再構築誤差）＋制約項で定義される。コスト関数において、再構築誤差の項と制約項とは、あらかじめ設定される重みパラメータによって調整される。第二の断面取得部４４は、勾配法およびＬｅｖｅｎｂｕｒｇ－Ｍａｒｑｕａｒｄｔ法といった公知の最適化手法によって、Ａ面、Ｂ面、Ｃ面それぞれのパラメータを探索する。
【0180】
なお、ステップＳ３０４では、断面同士が直交関係から乖離するほどコストが大きくなる制約項を導入したが、断面同士が満たすべき角度関係が直交関係ではない場合、制約項は、断面同士が満たすべき角度関係に応じて定義される。例えば、Ａ面とＢ面とが８０度の角度関係を満たすべき場合、制約項の値は、Ａ面とＢ面の間の角度差から８０度を減じた値の絶対値とすることができる。
【0181】
以上によって、画像処理装置１０は、Ａ面、Ｂ面、Ｃ面それぞれのパラメータを算出し、第二の断面群を取得することができる。
【0182】
なお、第一の断面群および第二の断面群ともに、主成分分析（ＰＣＡ）に基づく学習モデルを用いて取得したが、いずれか一方は、ＥＲＴに基づく手法で生成した学習モデルを用いてもよい。例えば、第二の断面群はＰＣＡに基づく学習モデルを使用して取得し、第一の断面群はＥＲＴに基づく学習モデルを使用して取得してもよい。第一の断面の存在範囲がある程度絞られている場合には、ＰＣＡよりも少ない症例数で学習モデルを構築できるＥＲＴを用いることで、第一の断面をより高速に取得することが可能となる。
【0183】
上述の第４実施形態によれば、第二の断面同士が直交という角度関係から乖離しすぎないようにするため、第二の断面群を算出する評価関数は、直交関係からの乖離の度合いを評価する制約項を含む。第二の断面の取得では、断面同士が直交から乖離するほどコスト（制約項）が大きくなるため、画像処理装置１０は、学習モデルから得られる統計的な蓋然性と断面同士の直交性とをバランスさせた第二の断面を取得することができる。
【0184】
上述の各実施形態は、本発明の構成を例示的に説明するものに過ぎない。本発明は上述の具体的な形態に限定されることはなく、その技術的思想の範囲内で種々の組み合わせまたは変形が可能である。
【0185】
＜その他の実施形態＞
また、開示の技術は、例えば、システム、装置、方法、プログラムまたは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、開示の技術は、複数の機器（例えば、ホストコンピュータ、インターフェイス機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。
また、開示の技術は、例えば、システム、装置、方法、プログラムまたは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、開示の技術は、複数の機器（例えば、ホストコンピュータ、インターフェイス機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。
【0186】
また、本発明の目的は、以下のように達成される。すなわち、上述の各実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体が、システムまたは装置に供給される。係る記録媒体は、コンピュータによって読み取り可能である。システムまたは装置のコンピュータ（またはＣＰＵやＭＰＵ）は、記録媒体に格納されたプログラムコードを読み出して実行する。この場合、記録媒体から読み出されたプログラムコード自体は、上述の各実施形態の機能を実現する。当該プログラムコードを記録した記録媒体は、本発明を構成する。
【0187】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【0188】
１０ 画像処理装置
３２ ＲＯＭ
３３ ＲＡＭ
３７ 制御部
４１ 画像取得部
４３ 第一の断面取得部
４４ 第二の断面取得部
３２ ＲＯＭ
３３ ＲＡＭ
３７ 制御部
４１ 画像取得部
４３ 第一の断面取得部
４４ 第二の断面取得部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】