特開 2022-175748 画像処理装置、画像処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022175748

(43)【公開日】2022-11-25

(54)【発明の名称】画像処理装置、画像処理方法、およびプログラム

(51)【国際特許分類】

   A61B 8/12 20060101AFI20221117BHJP

【ＦＩ】

A61B8/12

【審査請求】未請求

【請求項の数】17

【出願形態】ＯＬ

(21)【出願番号】P 2021082419

(22)【出願日】2021-05-14

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(71)【出願人】

【識別番号】594164542

【氏名又は名称】キヤノンメディカルシステムズ株式会社

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】生清 雄太

(72)【発明者】

【氏名】音丸 格

【テーマコード（参考）】

4C601

【Ｆターム（参考）】

4C601BB03

4C601BB16

4C601DD15

4C601EE11

4C601FE10

4C601KK09

4C601LL38

(57)【要約】

【課題】対象物の種別に応じて画像中の対象物の向きを判別して画像を補正する技術を提供する。
【解決手段】本開示の画像処理装置は、対象物の画像を取得する画像取得部と、前記画像中における前記対象物の向きが、前記対象物の種別ごとに決まる代表方向に揃うように、前記画像を回転する補正を行う補正部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象物の画像を取得する画像取得部と、
前記画像中における前記対象物の向きが、前記対象物の種別ごとに決まる代表方向に揃うように、前記画像を回転する補正を行う補正部と、を備える画像処理装置。

【請求項2】

前記画像中における前記対象物の向きが、前記対象物の種別ごとに決まる代表方向と非代表方向のいずれの向きであるかを判別する判別部を備え、
前記補正部は、前記判別部が判別した前記対象物の向きが前記非代表方向である場合に、前記画像中における前記対象物の向きが前記代表方向に揃うように、前記画像を回転する補正を行う請求項１に記載の画像処理装置。

【請求項3】

前記判別部は、前記対象物の種別と前記対象物の画像の撮像時のプローブ角度とに基づいて、前記対象物の向きが前記代表方向と前記非代表方向のいずれの向きであるかを判別する請求項２に記載の画像処理装置。

【請求項4】

前記判別部は、前記プローブ角度と、前記対象物の種別によって定まる所定角度との比較により、前記対象物の向きが前記代表方向と前記非代表方向のいずれの向きであるかを判別する請求項３に記載の画像処理装置。

【請求項5】

前記判別部は、前記対象物の断面像を入力として、前記対象物の向きが前記代表方向であるか前記非代表方向であるかを示す情報を出力する学習済モデルを有し、前記画像取得部が取得した前記画像中の断面像を前記学習済モデルに入力することで、前記対象物の向きが前記代表方向と前記非代表方向のいずれの向きであるかを判別する請求項２に記載の画像処理装置。

【請求項6】

前記画像は経食道心エコー検査用のプローブにより撮像される画像であり、前記対象物の種別に僧帽弁と大動脈弁とが含まれる請求項１から５のいずれか１項に記載の画像処理装置。

【請求項7】

前記対象物の種別ごとに決まる代表方向は、前記画像中の観察面において、僧帽弁と大動脈弁の中心を含む代表断面が描出されるように前記対象物が配置される向きである請求項６に記載の画像処理装置。

【請求項8】

前記対象物の種別が僧帽弁である場合、前記対象物の種別ごとに決まる非代表方向は、前記観察面が前記代表断面と概ね直交し、かつ前記観察面において前記僧帽弁の前尖と後尖との２つの接続位置を通る直線を含む断面が描出されるように前記対象物が配置される向きである請求項７に記載の画像処理装置。

【請求項9】

前記対象物の種別が大動脈弁である場合、前記対象物の種別ごとに決まる非代表方向は、前記観察面が前記代表断面と概ね直交し、かつ前記観察面において前記大動脈弁の中心を含む断面が描出されるように前記対象物が配置される向きである請求項７に記載の画像処理装置。

【請求項10】

前記補正部が前記画像を回転する補正を行う際の回転角度が９０°である請求項１から９のいずれか１項に記載の画像処理装置。

【請求項11】

前記補正後の画像に、解析に係る所定の処理を行う処理部を備える請求項１から１０のいずれか１項に記載の画像処理装置。

【請求項12】

前記所定の処理は、前記補正後の画像から基準断面を推定する処理である請求項１１に記載の画像処理装置。

【請求項13】

対象物の画像を取得する画像取得部と、
前記画像中における前記対象物の向きに応じて設定された探索範囲において、前記画像から基準断面を推定する基準断面推定部と、を備える画像処理装置。

【請求項14】

前記画像中における前記対象物の向きが、前記対象物の種別ごとに決まる代表方向と非代表方向を含む向きのいずれであるかを判別する判別部を備え、
前記基準断面推定部は、前記判別部が前記対象物の向きが前記非代表方向であると判別した場合に、前記探索範囲を変更する請求項１３に記載の画像処理装置。

【請求項15】

対象物の画像を取得することと、
前記画像中における前記対象物の向きが、前記対象物の種別ごとに決まる代表方向に揃うように、前記画像を回転する補正を行うことと、
を含む画像処理方法。

【請求項16】

対象物の画像を取得することと、
前記画像中における前記対象物の向きに応じて設定された探索範囲において、前記画像から基準断面を推定することと、
を含む画像処理方法。

【請求項17】

コンピュータに請求項１５または１６に記載の画像処理方法を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理装置、画像処理方法、およびプログラムに関する

【背景技術】

【0002】

医用の分野では、超音波画像診断装置などの種々の画像診断装置（モダリティ）によって取得される医用画像を用いた診断が行われている。この診断の中では、３次元超音波プローブを用いた対象空間を一度に撮像する手法が行われており、撮像した３次元画像から対象物を解析し、対象物の動きや機能を観察することができる。

【0003】

３次元画像から対象物を解析する上で、解析に用いられる特徴的な断面（基準断面と称する）を推定（同定）する必要があるが、３次元画像から基準断面を推定する作業は作業者への負担が大きい。そこで、画像における基準断面の推定に伴う作業者の負担を軽減するために、画像から自動で断面を推定する種々の技術が提案されている。

【0004】

特許文献１では、経食道心エコー検査において撮像した３次元画像における対象物の向きを、撮像に用いるプローブのプローブ角度に基づいて推定して補正する技術が開示されている。特許文献１では、プローブ角度と観察面に描出される断面の種別の関係性を用いて、プローブ角度に基づいて、４腔断面と２腔断面のどちらが観察面に描出されているかを推定する。４腔断面と２腔断面の場合で軸の反転パターンを異ならせることで、軸反転後の３次元画像中における対象物の向きを揃えることができる。すなわち、プローブ角度に基づいて３次元画像中における対象物の向き（観察面に描出される断面の種別）を判別して、対象物の向きを揃える処理を行っている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１８－１４００７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上記の従来技術を用いても、プローブで複数種類の対象物を撮像する場合に対象物ごとに適切な基準断面を推定することができない可能性がある。

【0007】

そこで、本開示は、上記課題に鑑みて、対象物の種別に応じて画像中の対象物の向きを判別して画像を補正する技術を提供することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本開示に係る画像処理装置は、
対象物の画像を取得する画像取得部と、
前記画像中における前記対象物の向きが、前記対象物の種別ごとに決まる代表方向に揃うように、前記画像を回転する補正を行う補正部と、
を備える画像処理装置を含む。

【0009】

また、本開示に係る画像処理装置は、
対象物の画像を取得する画像取得部と、
前記画像中における前記対象物の向きに応じて設定された探索範囲において、前記画像から基準断面を推定する基準断面推定部と、
を備える画像処理装置を含む。

【0010】

さらに、本開示は、上記処理の少なくとも一部を含む、画像処理方法や、これらの方法をコンピュータに実行させるためのプログラム、又は、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体として捉えることもできる。上記構成および処理の各々は技術的な矛盾が生じない限り互いに組み合わせて本発明を構成することができる。

【発明の効果】

【0011】

本開示によれば、画像に対する基準断面の推定処理における演算量が削減され、基準断面の推定精度を高めることができる。

【図面の簡単な説明】

【0012】

【図1】一実施形態における画像処理システムの構成例を示すブロック図

【図2】一実施形態における経食道心エコー検査による僧帽弁解析を示す模式図

【図3】一実施形態における経食道心エコー検査による大動脈弁解析を示す模式図

【図4】一実施形態における経食道心エコー検査の概要を示す図

【図5】一実施形態における画像処理装置が実行する処理のフローチャート

【図6】一実施形態における基準断面の判別処理のフローチャート

【図7】経食道心エコー検査におけるプローブ角度と解剖学的構造の関係を示す図

【図8】一実施形態における画像処理システムの別の構成例を示すブロック図

【図9】一実施形態における画像処理装置が実行する処理のフローチャート

【図10】一実施形態における画像処理装置が実行する処理のフローチャート

【図11】一実施形態における回転による座標変化の影響を示す図

【発明を実施するための形態】

【0013】

以下、本開示の実施形態について図面を用いて説明する。なお、本開示は以下の実施形態に限定されるものではなく、その要旨を逸脱しない範囲において適宜変更可能である。また、以下で説明する図面において、同じ機能を有するものは同一の符号を付し、その説明を省略又は簡潔にすることもある。

【0014】

プローブの撮像により得られる３次元画像で基準断面を推定する作業においては、制約のない条件下（すなわち、３次元画像における対象物の向きが不明な状態）では、探索範囲を広範囲に広げる必要がある。例えば、この場合の探索範囲は、ある軸を中心として円周方向に３６０°とされる。一方、３次元画像における対象物の向きに制約があれば、基準断面の探索にも制約条件を設定（すなわち、探索範囲を限定）することができる。

【0015】

食道からプローブによって対象物を撮像する経食道心エコー検査画像と、体表側から撮像する経胸骨心エコー検査画像とでは、撮像方向の違いにより同一の対象物であっても上下左右の位置関係が反転した状態で撮像される。撮像された画像に対するこの反転状態の補正において、２次元画像であれば補正方向は一意に特定できる。しかしながら、３次元画像の場合、上下方向の補正に加え、左右方向と奥行き方向のどちらを反転して補正するかを、３次元画像内の対象物の向き（３次元画像内の観察面に描出されている断面の種別で決まる向き）に応じて変更する必要がある。

【0016】

上記の従来技術では、３次元画像内に複数の対象物が含まれる場合に、各対象物に適切な補正方向を特定することができない可能性がある。そこで、本開示の技術によれば、３次元画像において、対象物の種別に応じて対象物の向きを適切に判別することができる。

【0017】

以下に説明する実施形態に係る画像処理装置では、３次元超音波画像を用いて心臓の僧帽弁または大動脈弁を観察する場合を想定する。

【0018】

（第１の実施形態）
第１の実施形態に係る画像処理装置は、医師や技師などのユーザが経食道心エコー検査用の超音波プローブを用いて撮像した３次元超音波画像を入力画像として取得する。また、画像処理装置は、入力画像の撮像時における超音波プローブのスキャン面の回転角度の情報と、ユーザによって指定された対象物の種別情報（検査対象が僧帽弁と大動脈弁のいずれであるかを表す情報）を取得する。そして、画像処理装置は、取得した入力画像および情報を基に、入力画像中における対象物の向きを判別する。

【0019】

ここで、入力画像中における対象物の向きは、超音波プローブを用いた撮像時における撮像方向と対象物の相対的な位置関係であり、入力画像内の観察面に描出される対象物の基準断面の種別によって決まる。したがって、対象物の向きと観察面に描出される基準断面の種別は同一視できる。対象物の基準断面の種別には、対象物の観察に用いる「代表断面」（代表基準断面とも呼ぶ）と、代表断面とは異なる「非代表断面」（非代表基準断面とも呼ぶ）が含まれる。また、対象物の向きの種別には、入力画像の観察面に対象物の代表断面が描出されるように対象物が配置される向きである「代表方向」と、入力画像の観察面に非代表断面が描出されるように対象物が配置される向きである「非代表方向」が含まれる。

【0020】

また、画像処理装置は、判別された対象物の向きの種別を用いて、入力画像の対象物の向きが代表方向に揃うように、入力画像に対して回転補正を行う。すなわち、画像処理装置は、非代表断面が観察面として撮像された入力画像に対して、代表断面が観察面となるように回転処理を行う。さらに、画像処理装置は、入力画像から基準断面を推定する識別器を学習するために、判別された対象物の向きの種別を用いて学習に必要なデータを生成する。また、画像処理装置は、対象物の向きが代表方向に揃えられた入力画像から識別器を用いて基準断面を推定し、ユーザが視認可能な推定結果の画像を表示する。なお、画像処理装置が実行する処理の詳細については後述する。

【0021】

本実施形態に係る画像処理装置の構成および処理について、図１を参照しながら説明する。図１は、本実施形態に係る画像処理装置１０１を含む画像処理システムの全体構成例を示すブロック図である。図１に示すように、画像処理装置１０１は、制御部１１１、通信部１２１、記憶部１３１、操作部１４１、表示処理部１５１、表示部１６１を備える。画像処理装置１０１は、通信部１２１を介して外部のデータベース１０２と接続されている。

【0022】

制御部１１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や専用または汎用のプロセッサから構成される。制御部１１１は、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などから構成されていてもよい。また、制御部１１１は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などから構成されていてもよい。

【0023】

画像取得部１１２は、データベース１０２や記憶部１３１から入力画像を取得する。入力画像は、例えば超音波診断装置によって取得された被検体（患者）の対象物の画像であり、本実施形態では、一例として、対象物として僧帽弁または大動脈弁を撮像した３次元画像を入力画像とする。画像取得部１１２は、入力画像を診断装置から直接取得してもよく、この場合、画像処理装置１０１は診断装置の機能の一部として診断装置に実装されていてもよい。本実施形態においては、入力画像は１時相における３次元画像とするが、入力画像は、複数時相による動画像であってもよいし、複数の３次元画像あるいは３次元動画像であってもよい。

【0024】

種別情報取得部１１３は、入力画像中の解析対象である対象物の種別情報をデータベース１０２または記憶部１３１または操作部１４１から取得する。本実施形態において、種別情報取得部１１３が取得する種別情報は、対象物が僧帽弁と大動脈弁のいずれであるかを識別できる情報である。なお、この種別情報は、画像取得部１１２が取得する入力画像のメタ情報として付加されていてもよい。

【0025】

プローブ角度取得部１１４は、入力画像を撮像した時の超音波プローブのスキャン面の回転角度（以下「プローブ角度」と称する。「探触子角度」とも呼ばれる）の情報を、データベース１０２または記憶部１３１または操作部１４１から取得する。なお、プローブ角度の情報は、画像取得部１１２が取得する入力画像のメタ情報として付加されていてもよい。

【0026】

判別部１１５は、種別情報取得部１１３によって取得される対象物の種別の情報およびプローブ角度取得部１１４によって取得されるプローブ角度の情報を基に、入力画像中における対象物の向きの種別を判別する。本実施形態では、判別部１１５は、対象物の向きの種別として、対象物の向きが「代表方向」と１つ以上の「非代表方向」のいずれの向きに対応するかを判別する。対象物の向きの種別は、対象物の向きが大まかに「代表方向」と「非代表方向」のいずれを向いているかを表す概念である。「非代表方向」が複数存在する場合、「非代表方向」の向きの種別についても判別する。なお、対象物の向きの種別の判別方法の詳細については後述する。

【0027】

補正部１１６は、判別部１１５によって判別された対象物の向きの種別に基づいて、入力画像中における対象物の向きが代表方向に揃うように、入力画像に対して回転補正を行う。すなわち、補正部１１６は、判別部１１５によって判別された対象物の向きの種別が非代表方向である場合は補正を行い、対象物の向きの種別が代表方向である場合は補正を行わない。なお、入力画像に対する回転補正は、対象物の向きが非代表方向に揃うようにする補正であってもよい。この場合、補正部１１６は、判別部１１５によって対象物の向きの種別が代表方向と判別された入力画像に対して、対象物の向きが非代表方向に一致するように回転補正を行う。非代表方向が複数存在する場合、判別部１１５が判別した非代表方向の向きの種別に応じて回転補正を実施する。なお、入力画像の回転補正の詳細については後述する。

【0028】

基準断面推定部１１７は、補正部１１６によって回転補正が行われた画像を取得し、取得した画像から基準断面を推定する。なお、基準端面の推定の詳細については後述する。

【0029】

通信部１２１は、外部装置およびネットワークに接続可能であり、所定の通信手段により外部装置およびネットワークとの通信を実現する。通信部１２１は、Ｗｉ－ＦｉやＢｌｕｅｔｏｏｔｈなどの無線装置で構成されてもよいし、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などの有線装置で構成されてもよい。通信部１２１は、外部のデータベースと通信して、画像データや学習データなど各種データを取得する。

【0030】

記憶部１３１は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＲＡＭ（Ｒａｎｄｏｍ
Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などのデータを記録する１つ以上の媒体から構成され、各種データの保存や各種計算結果の一次記憶などに用いられる。記憶部１３１は、読み込みデータなどを一時的に記憶する揮発性メモリからなる主記憶と、データを長期的に保存する補助記憶部とが分離されて構成されていてもよい。

【0031】

操作部１４１は、キーボード、マウス、タッチパネル、リモコンなどの入力装置から構
成され、ユーザからの指示を受け付け、受け付けた指示を各種装置に出力する。

【0032】

表示処理部１５１は、制御部１１１から受け取った画像や計算結果を、表示部１６１が表示できる形式で処理し、処理結果を表示部１６１に出力する。

【0033】

表示部１６１は、ディスプレイなどの出力装置から構成され、表示処理部１５１が処理した計算結果や各種画像などの表示データを表示する。

【0034】

データベース１０２は、画像処理装置１０１の処理に用いられる各種データを格納する。データベース１０２は、画像処理装置１０１が処理する画像を格納してもよいし、基準断面推定部１１７が使用する学習モデルを格納してもよいし、画像処理装置１０１による計算結果や出力画像を格納してもよい。また、データベース１０２は、画像処理装置１０１の外部のネットワーク上に存在してもよいし、画像処理装置１０１と物理的に接続される装置として構成されていてもよい。

【0035】

ここで、本実施形態において経食道心エコー検査で撮像される３次元画像について説明する。図２は、経食道心エコー検査による僧帽弁解析を模式的に示す図である。僧帽弁３０１は、前尖３０１ａと後尖３０１ｂとに分かれている。大動脈弁３０２は、僧帽弁３０１の近傍に存在するが、必ずしも図に示すように両弁が紙面方向に平行に並んでいるわけではなく、両弁の開口の向きが同じ方向というわけではない。したがって、各弁の観察において複数の基準断面が存在することになる。

【0036】

まず、僧帽弁を観察する僧帽弁解析における基準断面について説明する。僧帽弁解析における１つ目の基準断面は、僧帽弁３０１と大動脈弁３０２の概ね中心を含む長軸面である基準断面３０３である。また、僧帽弁解析における２つ目の基準断面は、僧帽弁３０１の前尖３０１ａと後尖３０１ｂとの２つの接続位置３０１ｃ、３０１ｄを通る直線を含み、基準断面３０３と概ね直交する長軸面である基準断面３０４である。一般に、基準断面３０４によれば、前尖３０１ａの中央部と、後尖３０１ｂの両端とが撮像される。そして、僧帽弁解析における３つ目の基準断面は、僧帽弁３０１の中心を含み、基準断面３０３と基準断面３０４とに概ね直交する短軸面である基準断面３０５である。

【0037】

次に、大動脈弁を観察する大動脈弁解析における基準断面について説明する。図３は、経食道心エコー検査による大動脈弁解析を模式的に示す図である。大動脈弁解析における１つ目の基準断面は、僧帽弁４０１と大動脈弁４０２の概ね中心を含む長軸面である基準断面４０３である。基準断面４０３は、僧帽弁解析における基準断面３０３と同じ面であってもよい。大動脈弁解析における２つ目の基準断面は、大動脈弁４０２の中心を含み基準断面４０３と概ね直交する長軸面である基準断面４０４である。そして、大動脈弁解析における３つ目の基準断面は、大動脈弁４０２の中心を含み基準断面４０３と基準断面４０４とに概ね直交する短軸面である基準断面４０５である。

【0038】

僧帽弁解析および大動脈弁解析においては、上記の基準断面を用いて画像を観察することで、各弁の機能を確認するための情報を取得することが可能となる。大動脈弁解析における３次元画像の撮像位置は、上記の僧帽弁解析における撮像位置と異なることが多い。ただし、画像中に解析対象となるすべての対象物が解析可能な状態で撮像される場合であれば、僧帽弁解析における撮像位置と同じ撮像位置が採用されてもよい。

【0039】

次に、本実施形態における経食道心エコー検査について説明する。図４は、本実施形態における経食道心エコー検査の１例を模式的に示す概要図である。図に示すように、医師または技師などのユーザ５０１は、被検体（患者）５０２に対して、口または鼻からプローブ５０３を挿入し、食道からプローブ５０３によって撮像される画像を基に心臓を観察
する。ここで、被検体５０２は、訓練用の人体構造を模して作成された人形などでもよい。なお、プローブ５０３は、一例として３次元画像を撮像できる超音波プローブ（３次元プローブ）を想定する。ただし、プローブ５０３は、２次元画像を撮像できる超音波プローブ（２次元プローブ）でもよく、この場合は、食道内でプローブを回転させて３次元画像を取得することができる。

【0040】

ユーザ５０１は、検査装置のディスプレイ５０４に表示される映像を観察しながら、プローブ５０３のプローブ先端部を対象物が好適に撮像される位置まで操作する。このとき、ユーザ５０１は、ディスプレイ５０４に表示される３次元画像中のある１断面（観察面）の映像を観察しながらプローブ５０３を操作する。より具体的には、ユーザ５０１は、観察面に対象物の所望の基準断面が現れるように、食道内におけるプローブ５０３のプローブ先端部の位置とプローブ角度の操作を行う。ここで、プローブ角度とは、プローブ５０３のスキャン面の回転角度である。一般にスキャン面は０°～１８０°の範囲内で回転される。２次元プローブでは、回転角度によって撮像画像が変わる。また、３次元プローブでは、回転角度に依らず撮像画像は変わらないが、検査時の観察面が２次元プローブの場合と同様に回転角度によって変更される。

【0041】

図２、３を参照しながら説明したように、３次元超音波画像を用いた僧帽弁解析と大動脈弁解析では、観察面となり得る基準断面がそれぞれ主に３つ存在する。一例として、本実施形態における僧帽弁解析では、一般に観察面が基準断面３０３となるように撮像されることが多いが、被検体５０２の個人差や手技等により基準断面３０４が観察面として撮像される場合もある。すなわち、基準断面３０３が、対象物が僧帽弁の場合の「代表断面」であり、基準断面３０４が「非代表断面」である。

【0042】

一方、大動脈弁解析では、一般に観察面が基準断面４０３となるように撮像されることが多いが、被検体５０２の個人差や手技等により基準断面４０５を観察面として撮像される場合もある。僧帽弁と大動脈弁とは平行でなく、それぞれ位置や向きが異なるため、ユーザ５０１は、ディスプレイ５０４に表示される画像において大動脈弁が観察面の中心に映るように、プローブ５０３の位置を調整する。このため、プローブ５０３のプローブ角度を２５°～４５°付近に設定すると、基準断面４０４ではなく短軸面である基準断面４０５が観察される。すなわち、本実施形態における大動脈弁解析においては、基準断面４０３が、対象物が大動脈弁の場合の「代表断面」であり、基準断面４０５が「非代表断面」である。

【0043】

次に、図５のフローチャートを参照しながら、画像処理装置１０１が実行する処理の一例について説明する。一例として、画像処理装置１０１の電源がオンにされると、画像処理装置１０１のＣＰＵが図５のフローチャートの処理を開始する。ここでは、画像処理装置１０１が以下に説明する処理を実行する前に、図４に示すように、ユーザ５０１が、被検体５０２の食道内にプローブ５０３を移動させ、プローブ５０３を操作して経食道心エコー検査のための撮像を行う。これにより、被検体５０２の経食道心エコー検査に基づく３次元画像（入力画像）が取得され、入力画像が画像処理装置１０１の記憶部１３１および／またはデータベース１０２に記憶されている。以下の説明では、入力画像が画像処理装置１０１の記憶部１３１に記憶されているものとする。

【0044】

（ステップＳ２０１：画像を取得および表示）
ステップＳ２０１において、ユーザ５０１が画像処理装置１０１の操作部１４１を操作して、解析に使用する入力画像を指定する。画像取得部１１２は、操作部１４１によってユーザが指定した入力画像を記憶部１３１から取得する。ここで、表示処理部１５１は、取得した入力画像を表示部１６１に表示してもよい。また、表示する入力画像としては、１時相の３次元画像である場合は、観察面などのある１つ以上の断面を表示してもよいし
、任意の時相の断面、例えば初期断面を表示してもよい。例えば、僧帽弁解析の場合であれば、表示処理部１５１は、観察面に対して各軸方向に直交する断面を表示部１６１に表示してもよい。また、２時相以上の３次元画像を表示する場合は、表示処理部１５１は、同じ座標における複数時相の断面を同時に表示部１６１に表示してもよい。

【0045】

（ステップＳ２０２：対象物の種別情報を取得）
ステップＳ２０２において、種別情報取得部１１３は、画像取得部１１２が取得した画像中における対象物の種別情報を取得する。本実施形態においては、種別情報取得部１１３は、対象物が僧帽弁または大動脈弁のいずれかであるかを判別できる情報を種別情報として、例えば記憶部１３１に記憶されている入力画像のメタ情報から取得する。あるいは、ユーザ５０１が操作部１４１によって対象物の種別情報を指定し、種別情報取得部１１３は指定された種別情報を取得する。

【0046】

（ステップＳ２０３：プローブ角度情報を取得）
ステップＳ２０３において、プローブ角度取得部１１４は、画像取得部１１２が取得した入力画像を撮像した時のプローブのプローブ角度の情報を取得する。本実施形態においては、プローブ角度取得部１１４は、入力画像の撮像時のプローブ角度の情報を、例えば記憶部１３１に記憶されている入力画像のメタ情報から取得する。あるいは、ユーザ５０１が操作部１４１によってプローブ角度の情報を指定し、プローブ角度取得部１１４は指定されたプローブ角度の情報を取得する。

【0047】

（ステップＳ２０４：対象物の向きの種別を判別）
ステップＳ２０４において、判別部１１５は、入力画像における観察面がいずれの基準断面に該当するかを判定することにより、入力画像における対象物の向きの種別を判別する。すなわち、判別部１１５は、対象物の向きの種別が、「代表方向」と１つ以上の「非代表方向」を少なくとも含む向きのいずれであるかを判別する。以下に、図６のフローチャートを参照しながら、判別部１１５が実行する入力画像の基準断面を判別する処理について説明する。図６は、図５のステップＳ２０４のサブルーチンの処理の一例を示す。

【0048】

（ステップＳ２０４１：対象物の種別を判別）
ステップＳ２０４１において、判別部１１５は、種別情報取得部１１３がステップＳ２０２で取得した対象物の種別情報を用いて、対象物が大動脈弁であるか僧帽弁であるかを判別する。判別部１１５は、対象物が僧帽弁である場合は処理をステップＳ２０４２に進め、対象物が大動脈弁である場合は処理をステップＳ２０４３に進める。

【0049】

（ステップＳ２０４２：プローブ角度を判別）
ステップＳ２０４２において、判別部１１５は、対象物が僧房弁であるとして、プローブ角度取得部１１４がステップＳ２０３で取得したプローブ角度情報に従って、観察面の判別を行う。

【0050】

ここで、図７Ａ～図７Ｃを参照しながら、経食道心エコー検査におけるプローブのプローブ角度と解剖学的構造との関係について説明する。経食道心エコー検査では、プローブが食道を通るため、プローブの可動範囲が経胸骨心エコー検査の場合と比べて狭い。したがって、経食道心エコー検査においてプローブによって身体内の対象物を撮像する場合は、プローブ位置やプローブ角度が、経胸骨心エコー検査の場合に比べてより制限されることになる。

【0051】

図７Ａおよび図７Ｂは、プローブ先端部７０１のスキャン面の回転角度（プローブ角度）と観察面となる基準断面を示すスキャン範囲７０２、７０５との関係を模式的に示す図である。図７Ａはプローブ角度が０°である場合を示し、図７Ｂはプローブ角度が９０°
である場合を示す。図７Ａおよび図７Ｂでは、プローブ先端部７０１を含む仮想の平面７０３と平面７０３に直交する仮想の平面７０４を想定する。図７Ａに示すように、プローブ角度が０°である場合、プローブのスキャン範囲７０２は、平面７０４内に設定される。また、図７Ｂに示すように、プローブ角度が９０°である場合、プローブのスキャン範囲７０５は、平面７０３内に設定される。

【0052】

図７Ｃは、経食道心エコー検査の僧帽弁解析におけるプローブ角度と観察面となる基準断面との関係を模式的に示す図である。なお、プローブ先端部７０１は左心房側に位置するため、図７Ｃは、プローブ先端部７０１側（左心房側）から見た僧帽弁を模式的に示す。したがって、図７Ｃでは、プローブ先端部７０１の延伸方向と、紙面方向とが互いに平行となる。図７Ｃでは、僧帽弁の左上部に左心耳が存在する。この視野は、外科医が手術中に観察する僧帽弁と同一であることから「ｓｕｒｇｅｏｎ’ｓ ｖｉｅｗ」とも呼ばれる。

【0053】

図７Ａおよび図７Ｂにおけるプローブ先端部７０１のスキャン範囲７０２、７０５が示すように、対象物の一断面が基準断面として撮像されるため、プローブ角度が概ね０°である場合は、基準断面７１１が観察面となる。また、プローブ角度が概ね４５°～６０°である場合は、基準断面７１２が観察面となる。また、プローブ角度が概ね１３５°である場合は、基準断面７１３が観察面となる。なお、基準断面７１２、７１３は、それぞれ図２に示す基準断面３０３、３０４に対応する。また、プローブ角度と基準断面との関係は被検体によって異なるため、プローブ角度と基準断面との関係は上記関係に限定されるものではない。

【0054】

以上より、それぞれの基準断面が概ね直交する関係にあることを利用して、プローブ角度が９０°以上か、９０°未満かによって観察面を判別することができる。本実施形態では、判別部１１５は、プローブ角度が９０°以上の場合は、観察面が基準断面３０３（代表断面）に対応すると判別する（Ｓ２０４５）。また、判別部１１５は、プローブ角度が９０°未満の場合は、観察面が基準断面３０４（非代表断面）に対応すると判別する（Ｓ２０４４）。このように、判別部１１５は、プローブ角度に基づいて、観察面、すなわち対象物の向きの種別を判別する。ただし、観察面の判別に用いられるプローブ角度の閾値となる所定角度（９０°）は、上記のように観察面が判別可能であれば、別の角度が採用されてよい。

【0055】

（ステップＳ２０４３：プローブ角度を判別）
ステップＳ２０４３において、判別部１１５は、対象物が大動脈弁であるとして、プローブ角度を基に観察面を判別する。一般に、プローブ角度が概ね１３５°である場合は、基準断面４０３が観察面となり、プローブ角度が概ね２５°～４５°である場合は、基準断面４０５が観察面となる。本実施形態においては、判別部１１５は、プローブ角度が９０°以上の場合は、観察面が基準断面４０３（代表断面）に対応すると判別する（Ｓ２０４７）。また、判別部１１５は、プローブ角度が９０°未満の場合は、観察面が基準断面４０５（非代表断面）に対応すると判別する（Ｓ２０４６）。このように、判別部１１５は、プローブ角度に基づいて、観察面、すなわち対象物の向きの種別を判別する。ただし、僧帽弁の観察と同様に、観察面の判別に用いられるプローブ角度の閾値（９０°）は、上記のように観察面が判別可能であれば、別の角度が採用されてよい。Ｓ２０４２～Ｓ２０４７の一連の処理により、判別部１１５は、観察面、すなわち対象物の向きの種別が代表方向と１つ以上の非代表方向を含む向きのいずれの向きであるかを判別することができる。

【0056】

（ステップＳ２０４８：判別結果を表示）
ステップＳ２０４８において、表示処理部１５１は、対象物の向き、あるいは観察面と
して判別した基準断面に関する情報を表示部１６１に表示する。また、制御部１１１が、観察面として判別した基準断面に関する情報を入力画像のメタ情報として記憶したり、記憶部１３１などに記憶したりしてもよい。なお、ステップＳ２０４８における基準断面に関する情報の表示処理は必須ではない。したがって、ステップＳ２０４８では、制御部１１１が、観察面として判別した基準断面に関する情報を記憶部１３１やデータベース１０２、不図示のＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に記憶するだけでもよい。

【0057】

（ステップＳ２０５：画像を補正）
図５に戻り、ステップＳ２０５において、補正部１１６は、判別部１１５が判別した基準断面を基に、入力画像中の対象物の向きを代表方向に揃える、入力画像の補正処理を実行する。具体的には、対象物ごとに代表断面が定義されているため、補正部１１６は、判別した基準断面に基づいて、入力画像中の観察面に代表断面が位置するように入力画像を回転する。

【0058】

本実施形態では、僧帽弁解析に用いられる基準断面３０３と、大動脈弁解析に用いられる基準断面４０３とが、それぞれの解析における代表断面と定義される。一例として、対象物の種別が僧帽弁であって、判別部１１５が判別した観察面が基準断面３０４であるとする。この場合、補正部１１６は、代表断面である基準断面３０３が観察面に位置するように、入力画像を回転する処理を実行する。

【0059】

より具体的には、観察面をＸ－Ｙ平面とし、Ｙ軸が上下方向を基準とするとき、補正部１１６は、入力画像を、Ｙ軸を回転軸として回転する。僧帽弁解析においては、反時計回りに９０°回転させることで、入力画像中の対象物の向きを代表方向に揃えることができる。

【0060】

同様に、対象物の種別が大動脈弁であって、判別部１１５が判別した観察面が基準断面４０５であるとする。この場合、補正部１１６は、代表断面である基準断面４０３が観察面に位置するように、入力画像を回転する処理を実行する。大動脈弁解析においては、観察面における大動脈弁が僧帽弁の右側になるように座標軸が設定されて表示や保存されることが多い。そのため、補正部１１６は、入力画像を時計回りに９０°回転させることで、入力画像中の対象物の向きを代表方向に揃えることができる。なお、回転角度は９０°に限らず、反時計回りに２７０°であってもよいし、例えば、プローブ角度を基に決まる回転角度であってもよい。

【0061】

（ステップＳ２０６：基準断面を推定）
次に、ステップＳ２０６において、基準断面推定部１１７は、補正部１１６による補正後の入力画像に対し、基準断面の推定処理を行う。なお、基準断面の推定処理が、解析に係る所定の処理の一例である。判別部１１５によって判別された観察面は、対象物の大まかな向きを決定するものであり、解析における種々の計測に必ずしも好適な観察面であるとは限らない。例えば、僧帽弁解析においては、入力画像の中心と３つの基準断面の中心とが一致し、かつ、それぞれの基準断面が、互いに直交するＸ、Ｙ、Ｚ軸のそれぞれ異なる軸と平行であることで、僧帽弁の各特徴量の探索が容易になる。また、補正部１１６によって上記の入力画像の補正処理が行われただけでは、入力画像の中心と基準断面の中心のずれや軸に対する基準断面の傾きが生じている可能性がある。この結果、入力画像における僧帽弁の各特徴量の探索が正しくできない可能性がある。そこで本実施形態では、基準断面推定部１１７による好適な基準断面の推定処理を実行する。なお、判別部１１５によって判別された観察面である基準断面以外の残りの基準断面についても、残りの基準断面それぞれが観察面に直交であるとは限らないため、同様の推定処理を行ってもよい。

【0062】

本実施形態では、ステップＳ２０５の入力画像の補正によって入力画像中の対象物の向きが代表方向に揃えられる。これにより、本ステップの基準断面の推定処理における探索範囲を、対象物の向きが代表方向に揃っていない場合と比べて狭めることができる。そして、入力画像における対象物の探索に用いるパラメータ、例えば中心座標の探索範囲や、軸の回転範囲などを狭めることができる。なお、探索に用いるパラメータは、記憶部１３１やデータベース１０２から読み込んでもよいし、ユーザによる操作部１４１を介した入力として受け付けてもよい。

【0063】

推定部１１７の推定処理には、例えばランダムフォレストに代表されるような決定木を用いてもよいし、ニューラルネットワークの一形態であるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いてもよい。

【0064】

一例として、ランダムフォレストを用いた推定処理について説明する。学習済みの決定木を複数用意し、入力画像の全部または一部を抽出し、抽出した画像を決定木に入力する。決定木では、事前に学習によって決定された分岐条件に従って、入力元である親ノードから、分類先である子ノードに分類される。最終的にこれ以上分類ができない状態まで分類した子ノードを「葉」と呼ぶ。葉のスコア値（クラス値）から、推定結果が決定される。複数の決定木を使用する推定処理は、一般にアンサンブル学習と呼ばれ、個々に学習した決定木の出力結果について、多数決を取ることにより最終的な分類結果を決定する。１つの高性能な分類器（識別器）を使用する場合に比べて、複数の平均的な性能の分類器（弱分類器）による多数決の方が、分類対象のバリエーションに対する対応力（汎化性能）が向上する。

【0065】

本実施形態の学習部に対応する推定部１１７の学習においては、補正部１１６によって入力画像の対象物の向きを代表方向に揃える。この学習では、一般に学習サンプルは多い方が様々な画像に対応できる汎化性能が向上する。学習時に学習サンプルを多数用意するために、対象物の断面像の画像データの水増し作業においてランダムな回転角度を用いて画像の回転処理を行ってもよい。例えば、正解サンプルについての水増しの場合は、対象物の向きが代表方向に揃っていると許容できる範囲内の回転角度で、対象物の断面像の画像に回転処理を行った画像データを生成する。また、不正解サンプルについての水増しの場合は、対象物の向きが代表方向に揃っていると許容できる上記範囲を除く回転角度で、対象物の断面像の画像に回転処理を行った画像データを生成する。

【0066】

（ステップＳ２０７：推定結果を表示）
ステップＳ２０７において、表示処理部１５１は、推定部１１７によって推定された基準断面を表示部１５１に表示する。なお、表示処理部１５１による基準断面の表示の代わりにあるいは加えて、推定した基準断面の情報を記憶部１３１などに記憶してもよい。

【0067】

本実施形態では、画像処理装置１０１が上記の処理を実行することで、対象物の種別と画像撮像時のプローブ角度とに基づいて、入力画像の観察面となる基準断面を判別することで、入力画像において対象物の向きが概ねどの方向を向いているかを判別する。そして、画像処理装置１０１は、入力画像における対象物の種別を基に対象物の向きが代表方向に揃うように入力画像を補正し、補正した入力画像に対して基準断面の推定処理を行う。したがって、本実施形態によれば、対象物の向きが代表方向に揃えられることで、基準断面の推定処理における探索範囲をより狭い範囲に絞り込んで行えるため演算量が削減され、推定解の精度が高まることが期待できる。

【0068】

＜第２の実施形態＞
次に、本開示の第２の実施形態について説明する。第２の実施形態に係る画像処理装置は、第１の実施形態と同様に、入力画像における対象物の向きの種別を判別する。第１の
実施形態では、プローブ角度と対象物の種別情報を用いて対象物の向きの種別を判別する。しかし、対象物の向きの種別を判別する方法として、例えば画像のある断面に機械学習による対象物の向きの種別の推定を施すことで判別する方法も採用できる。

【0069】

本実施形態では、画像処理装置の制御部、判別部および補正部が、第１の実施形態の制御部１１１、判別部１１５および補正部１１６と異なる。また、画像処理装置が実行する対象物の向きの種別の判別処理、すなわち観察面の判別処理が、第１の実施形態のステップＳ２０４の処理と異なる。以下の説明では、第１の実施形態とは異なる点を中心に説明し、第１の実施形態と同様の構成や処理については、同一の符号を付して詳細な説明は省略する。

【0070】

図８は、本実施形態に係る画像処理装置８０１の概略構成を示すブロック図である。図８に示すように、画像処理装置８０１の制御部８１１は、入力画像を取得する画像取得部１１２と、入力画像の対象物の向きの種別を判別する判別部８１５を備える。さらに、制御部８１１は、対象物の向きが代表方向に揃うように入力画像の補正処理を行う補正部１１６と、補正部１１６によって補正された入力画像から基準断面を推定する基準断面推定部１１７とを備える。

【0071】

（ステップＳ２０４：対象物の向きの種別を判別）
画像処理装置８０１が図５に示すステップＳ２０１～Ｓ２０３の処理を実行した後、ステップＳ２０４において、判別部８１５は、画像取得部１１２が取得した入力画像の対象物の向きの種別を、学習済みの判別器を用いて判別する。本実施形態では、判別器の一例としてＣＮＮを用いる。

【0072】

以下、図９のフローチャートを用いて、判別部８１５による入力画像の対象物の向きの種別を判別する処理について説明する。本実施形態では、画像処理装置８０１は、図６に示すサブルーチンの代わりに図９に示すサブルーチンの処理を実行する。

【0073】

（ステップＳ９０１：前処理を実行）
ステップＳ９０１において、判別部８１５は、入力画像を判別器に入力するための画像の前処理を実行する。具体的には、判別部８１５は、画像取得部１１２が取得した入力画像から、対象物の向きの種別を判別する断面を切り出す。ここでは、切り出される断面を観察面とする。

【0074】

（ステップＳ９０２：判別処理を実行）
ステップＳ９０２において、判別部８１５は、画像取得部１１２が取得した入力画像における対象物の向きの種別を判別する。まず、判別部８１５は、ステップＳ９０１において前処理が実行された入力画像を、対象物の向きの種別について学習済みの判別器であるＣＮＮに入力する。学習済みのＣＮＮにより、入力画像に対して畳み込みや縮小、拡大、結合など、モデルとして規定されている種々の処理を施し、入力画像から特徴を抽出する。そして、抽出された特徴から全結合層により多数決投票が行われ、対象物がどの向きであるかの確率を示す値が出力される。

【0075】

（ステップＳ９０３：判別結果を表示）
ステップＳ９０３において、表示処理部１５１は、判別部８１５によって判別された対象物の向きの種別を示す情報を表示部１５１に表示する。なお、表示処理部１５１による判別結果の表示の代わりにあるいは加えて、判別された対象物の向きの種別を示す情報を記憶部１３１などに記憶してもよい。ステップＳ９０３の処理が完了すると、画像処理装置８０１は、図５に示すステップＳ２０５～Ｓ２０７の処理を実行する。

【0076】

本実施形態では、僧帽弁と大動脈弁の基準断面は合計６つの基準断面が存在するため、６クラスの確率をそれぞれ出力し、最も高い値のクラスを対象物の向きの種別として採用することができる。なお、この時、対象種別（すなわち、僧帽弁または大動脈弁）の夫々に関して向きの種別を識別する識別器を個別に構成しておいて、対象種別取得部１１３で取得した対象種別情報に応じた識別器を用いて向きの識別を行ってもよい。この場合、基準断面３断面の確率を出力することで対象物の向きの種別を採用してもよい。ここで使用するＣＮＮのモデルは任意のモデルが採用でき、例えば公知のモデルであるＶＧＧ１６でもよいし、入力画像から特徴を抽出するモデルと全結合層に用いるモデルとを分けてもよいし、公知のモデルを任意に組み合わせてもよい。ＶＧＧ１６を用いる場合は、入力画像のチャネル数が３と規定されているが、モデルを変更してもよい。あるいは、ＶＧＧ１６を用いる場合は、同一画像をチャネル方向に結合して入力してもよいし、同一画像ではなく入力画像の切り出し位置を変更して得られる異なる３つの画像を入力してもよい。

【0077】

ＣＮＮの学習においては、対象物の断面像の画像として、入力画像の上記のいずれかの基準断面の画像と、その基準断面を区別可能な付帯情報（ラベル）とを用いて実施する。ラベルについては、例えば、６クラス分類であれば、ある行列にクラスとの関係性を設定する。例えば、１行６列の行列であれば、１列目に基準断面３０３、２列目に基準断面３０４、そして３列目に基準断面３０５をそれぞれ割り振る。同様に、４～６列目に基準断面４０３～４０５をそれぞれ割り振る。例えば、学習症例の１つが基準断面３０３である画像があれば、ラベルは［１、０、０、０、０、０］となる。そして、対象物の断面像の画像をＣＮＮに入力し、出力された各クラスの確率とラベルの値とを比較し、誤差が小さくなるようにＣＮＮのパラメータを調整する。これにより、対象物の断面像を入力として、対象物の向きの種別が代表方向であるか非代表方向であるかを示す情報を出力する学習済モデルが得られる。本実施形態においては、非代表方向である基準断面が２断面発生する。従って、非代表方向であると判定された場合、どちらの非代表方向であるかを示す情報を保持する。補正部１１６においては、公知の手法により、非代表方向を示す情報に従って、代表方向へ補正する回転処理を画像に施す。

【0078】

上記の例では３次元画像から２次元画像を切り出したが、３次元画像のままＣＮＮに入力してもよい。ＣＮＮで実施される畳み込み処理としては、１次元畳み込みや、２次元畳み込み、そして奥行き方向を考慮した３次元畳み込みが一般に知られる。よって、ＣＮＮに入力される画像は２次元画像に限定される必要はない。この場合に対象物の向きの種別を判別する場合は、例えばＸ－Ｙ平面で観察される観察面について判別を行うことができる。

【0079】

また、ＣＮＮを用いて説明したが、対象物の向きの種別を判別できる手法であれば任意の手法が採用できる。例えば、ＣＮＮの代わりに第１の実施形態で説明したランダムフォレストを用いてもよいし、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）等に代表される分類器を用いてもよい。また、統計解析による手法であれば、下記非特許文献で公知の技術であるＢＰＬＰ（Ｂａｃｋ Ｐｒｏｊｅｃｔｉｏｎ ｆｏｒ Ｌｏｓｔ Ｐｉｘｅｌｓ）法を用いてもよい。
［非特許文献］Ｔｏｓｈｉｙｕｋｉ Ａｍａｎｏ，ｅｔ．ａｌ．“Ａｎ ａｐｐｅａｒａｎｃｅ ｂａｓｅｄ ｆａｓｔ ｌｉｎｅａｒ ｐｏｓｅ ｅｓｔｉｍａｔｉｏｎ” ＭＶＡ ２００９ ＩＡＰＲ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ．２００９ Ｍａｙ ２０－２２．

【0080】

本実施形態に係る画像処理装置８０１によれば、対象物の断面像を入力として、対象物の向きの種別が代表方向であるか非代表方向であるかを示す情報を出力する学習済モデルを用いて機械学習による対象物の向きの種別の推定を行う。これにより、入力画像に対して基準断面の推定を精度よく行うことができる。

【0081】

＜第３の実施形態＞
次に、本開示の第３の実施形態について説明する。第３の実施形態に係る画像処理装置は、第１および第２の実施形態と同様に、対象物の向きの種別を基に、入力画像の補正を行う。第１の実施形態では、補正部１１６によって対象物の向きの種別が異なると判別された画像に対して回転処理を施すことで、基準断面推定部１１７における基準断面の推定処理における探索範囲を狭めることができる。しかしながら、画像に対して回転処理を施すだけではなく、基準断面の推定処理において対象物の向きの種別情報を用いて、基準断面と画像とを相対的に回転させることで探索範囲を狭めることも可能である。以下の説明では、第１の実施形態とは異なる点を中心に説明し、第１の実施形態と同様の構成や処理については、同一の符号を付して詳細な説明は省略する。

【0082】

以下、図１０のフローチャートを参照しながら、本実施形態に係る画像処理装置１０１が実行する処理の一例について説明する。本実施形態では、画像処理装置１０１が図５に示すフローチャートの処理の代わりに図１０に示すフローチャートの処理を実行する。なお、図１０のフローチャートにおいてステップＳ２０１～ステップＳ２０５、ステップＳ２０６、ステップＳ２０７の処理は図５、６の対応するステップの処理と同じであるため、ここでは詳細な説明は省略する。

【0083】

（ステップＳ１００５：探索範囲を設定）
ステップＳ１００５において、補正部１１６は、基準断面推定部１１７による基準断面の推定処理に使用される探索範囲を設定する。第１の実施形態とは異なり、補正部１１６は入力画像に対する回転補正を行わない。補正部１１６は、探索範囲を狭めるために、対象物の向きの種別情報を基に探索範囲を決定する。

【0084】

第１の実施形態では、基準断面の法線ベクトルと各基準軸との成す角度の分布等から決定される既定の探索範囲を用いる。ただし、探索範囲は、解析の目的に応じて基準断面の向きに合わせて動的に変更することも可能である。例えば、対象物の向きの種別が代表方向であると判別された場合は、既定の探索範囲を用いて、対象物の向きの種別が非代表方向であると判別された場合は、探索範囲を規定する座標系を動的に変更することで探索範囲を変更することができる。

【0085】

例えば、対象物の向きの種別が非代表方向であると判別された場合、僧帽弁解析においては、既定の探索範囲のＸ軸成分とＺ軸成分を入れ替え、基準軸の向きに従って各成分の符号を調整する。画像の回転処理とは異なり、軸が規定されている探索範囲の変更では符号の変化を考慮する必要がある。

【0086】

ここで、図１１を用いて探索範囲の軸成分の符号調整について説明する。図の左に描かれている座標系１１０１を一例として説明する。僧帽弁解析におけるＹ軸を回転軸とした反時計回り（図中矢印方向）の回転では、座標系１１０１が回転により座標系１１０２となる。ここで、座標系１１０１、１１０２においては、Ｙ軸が回転軸と同一であるため、Ｙ軸成分の符号は変化しない。また、座標系１１０１のＸ軸は回転により座標系１１０２のＺ軸として扱われることになるが、回転の前後で互いの軸の向きが同じであるため、軸成分の符号は反転しない。しかしながら、座標系１１０１のＺ軸は回転により座標系１１０２のＸ軸として扱われることになるが、Ｚ軸の正の向きが回転前のＸ軸の負の向きに対応するため、軸成分の符号を反転させる必要がある。

【0087】

そして、ステップＳ２０６において、基準断面推定部１１７は、ステップＳ１００５の処理によって上記の軸成分の符号調整がなされた探索範囲を用いて入力画像に対して基準断面の推定処理を行う。

【0088】

本実施形態によれば、画像処理装置１０１が上記の処理を実行することで、入力画像の回転補正を行わずに、探索範囲の座標系における各軸成分の符号を調整することで、対象物の種別を基に入力画像における対象物の向きが代表方向に揃えられる。そして、基準断面推定部１１７は、入力画像中における対象物の向きに応じて設定された探索範囲において、入力画像から基準断面を推定する。これにより、第１および第２の実施形態と同様に、基準断面の推定処理における演算量が削減され、推定解の精度が高まることが期待できる。

【0089】

以上、本開示の実施形態について説明したが、本開示の技術は上記の実施形態に限定されるものではなく、請求項に記載された技術範囲内において種々の変更および／または変形することが可能である。以下に上記の実施形態の変形例について説明する。なお、以下の説明において、上記の実施形態と同様の構成および処理については、同一の符号を付し、詳細な説明は省略する。

【0090】

（変形例１）
第１の実施形態では、画像処理装置１０１において、僧帽弁と大動脈弁のいずれかの入力画像を処理することを想定している。ただし、画像処理装置１０１において僧帽弁のみまたは大動脈弁のみを対象として画像処理を行う場合でも、上記の構成および処理を適用することができる。

【0091】

僧帽弁のみまたは大動脈弁のみを解析する場合、プローブ角度を基に対象物の向きの種別を判別することができる。また、対象物の向きの種別を代表方向に揃える補正部１１６による回転角度は９０°である。ただし、ステップＳ２０５と同様に、回転角度はこれに限定されるものではない。

【0092】

また、画像処理装置１０１において、僧帽弁および大動脈弁以外の経食道心エコー検査の対象物について画像処理を行う場合でも、上記の構成および処理を適用して基準断面の推定処理を行うことができる。

【0093】

（変形例２）
第１の実施形態では、画像処理装置１０１が、ステップＳ２０６の処理を実行して基準断面を推定するが、ステップＳ２０６において実行する処理は基準断面の推定に限られず、他の処理を実行してもよい。

【0094】

例えば、対象物の向きを代表方向に揃えた入力画像に対して、任意の解析処理を行ってもよい。一例として、僧帽弁における弁膜症である閉鎖不全によって、血液が逆流する様子や、弁の開きが悪くなる狭窄の様子を解析する処理を適用してもよい。このような症例の解析には、経食道心エコー検査が一般的に行われており、入力画像の基準断面を解析して問題のある部位を特定する。

【0095】

例えば、基準断面３０４を解析することによって、後尖の両端部と、前尖の中央部を解析することが可能である。基準断面３０３を解析することによって、前尖と後尖の中央部を解析することが可能である。このように、問題部位の特定のためにはどの基準断面を解析しているかが重要となるため、入力画像に対して対象物の向きを代表方向に揃える処理が有効であることがわかる。他にも、心機能の解析処理などを行ってもよい。

【0096】

この他に、対象物の向きを代表方向に揃えた入力画像に対する解析処理を行わずに、当該入力画像を記憶部１３１やデータベース１０２に記憶してもよいし、表示処理部１５１によって表示部１６１に表示してもよい。また、補正部１１６による回転補正を行わずに
、対象物の向きの種別を示す情報を画像のメタ情報やヘッダファイルなどに付加して記憶部１３１やデータベース１０２に記憶したり、表示部１６１に表示したりしてもよい。

【0097】

（変形例３）
本変形例では、画像処理装置１０１を検査装置に直接組み込むか、または画像処理装置１０１を検査装置に接続することにより、撮像した入力画像をリアルタイムに処理して対象物の向きの種別を判別する。この場合、判別結果を表示部１６１に表示してユーザに対象物の向きの種別を通知してもよいし、解析結果を記憶部１３１やデータベース１０２に記録する際に、対象物の向きの種別を付帯情報として解析結果に付加してもよい。

【0098】

＜その他の実施形態＞
また、本開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施態様をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェイス機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。

【0099】

また、本開示の目的は、以下のようにすることによって達成されることはいうまでもない。すなわち、上記の実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本開示の技術を構成することになる。

【0100】

また、本開示の技術は、上記実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、システム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0101】

１０１ 画像処理装置、１１２ 画像取得部、１１３ 種別情報取得部、１１５ 判別部、１１６ 補正部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】