知財求人 - 知財ポータルサイト「IP Force」
▶ キヤノン株式会社の特許一覧 ▶ 東芝メディカルシステムズ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023149834
(43)【公開日】2023-10-16
(54)【発明の名称】医用画像処理装置、方法及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20231005BHJP
G06T 7/70 20170101ALI20231005BHJP
【ＦＩ】
G06T7/00 350C
G06T7/70 Z
【審査請求】未請求
【請求項の数】19
【出願形態】ＯＬ
(21)【出願番号】P 2022058611
(22)【出願日】2022-03-31
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】益田 幸輝
(72)【発明者】
【氏名】石川 亮
(72)【発明者】
【氏名】田中 享
(72)【発明者】
【氏名】青山 岳人
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA06
5L096AA09
5L096BA06
5L096BA13
5L096CA21
5L096DA01
5L096EA05
5L096EA35
5L096EA39
5L096EA43
5L096FA09
5L096FA32
5L096FA33
5L096FA67
5L096FA69
5L096GA55
5L096HA11
5L096KA04
5L096MA07
(57)【要約】
【課題】注目部位の形状を高精度に推定すること。
【解決手段】実施形態に係る医用画像処理装置は、取得部と、第１算出部と、第２算出部とを備える。取得部は、被検体の注目部位を含む入力画像を取得する。第１算出部は、入力画像に基づいて注目部位の存在尤度に関する情報を算出する。第２算出部は、入力画像と存在尤度に関する情報とに基づいて、注目部位の形状の推定値を算出する。
【選択図】図１
【解決手段】実施形態に係る医用画像処理装置は、取得部と、第１算出部と、第２算出部とを備える。取得部は、被検体の注目部位を含む入力画像を取得する。第１算出部は、入力画像に基づいて注目部位の存在尤度に関する情報を算出する。第２算出部は、入力画像と存在尤度に関する情報とに基づいて、注目部位の形状の推定値を算出する。
【選択図】図１
【特許請求の範囲】
【請求項1】
被検体の注目部位を含む入力画像を取得する取得部と、
前記入力画像に基づいて注目部位の存在尤度に関する情報を算出する第１算出部と、
前記入力画像と前記存在尤度に関する情報とに基づいて、前記注目部位の形状の推定値を算出する第２算出部と、
を備える、医用画像処理装置。
前記入力画像に基づいて注目部位の存在尤度に関する情報を算出する第１算出部と、
前記入力画像と前記存在尤度に関する情報とに基づいて、前記注目部位の形状の推定値を算出する第２算出部と、
を備える、医用画像処理装置。
【請求項2】
前記注目部位は、複数の部位により構成され、
前記第１算出部は、前記複数の部位の夫々に関する存在尤度を算出し、
前記第２算出部は、前記複数の部位の夫々に関する存在尤度に基づいて、前記注目部位の形状の推定値を算出する、請求項１に記載の医用画像処理装置。
前記第１算出部は、前記複数の部位の夫々に関する存在尤度を算出し、
前記第２算出部は、前記複数の部位の夫々に関する存在尤度に基づいて、前記注目部位の形状の推定値を算出する、請求項１に記載の医用画像処理装置。
【請求項3】
前記注目部位は、僧帽弁である、請求項２に記載の医用画像処理装置。
【請求項4】
前記複数の部位は、前尖、後尖、弁輪、弁口、及び、交連部のいずれかを含む、請求項３に記載の医用画像処理装置。
【請求項5】
前記取得部は、前記入力画像として、３次元のＣＴ画像を取得する、請求項１乃至４のいずれか１つに記載の医用画像処理装置。
【請求項6】
前記第２算出部は、前記形状の推定値として、前記注目部位に対応する複数の位置の座標値を算出する、請求項１乃至５のいずれか１つに記載の医用画像処理装置。
【請求項7】
前記第２算出部は、前記注目部位のメッシュ情報を算出する、請求項６に記載の医用画像処理装置。
【請求項8】
前記第２算出部は、前記形状の推定値として、前記注目部位の曲面に対する法線方向を示す情報を算出する、請求項１乃至５のいずれか１つに記載の医用画像処理装置。
【請求項9】
前記入力画像から前記注目部位を含む部分領域を取得する領域取得部をさらに備え、
前記第１算出部は、前記領域取得部によって取得された部分領域に基づいて前記注目部位の存在尤度に関する情報を算出し、
前記第２算出部は、前記領域取得部によって取得された部分領域と前記存在尤度とに基づいて、前記注目部位の形状の推定値を算出する、請求項１乃至８のいずれか１つに記載の医用画像処理装置。
前記第１算出部は、前記領域取得部によって取得された部分領域に基づいて前記注目部位の存在尤度に関する情報を算出し、
前記第２算出部は、前記領域取得部によって取得された部分領域と前記存在尤度とに基づいて、前記注目部位の形状の推定値を算出する、請求項１乃至８のいずれか１つに記載の医用画像処理装置。
【請求項10】
前記領域取得部は、第１部分領域と、前記第１部分領域とは異なる第２部分領域とを取得し、
前記第１算出部は、前記第１部分領域に基づいて前記注目部位の存在尤度に関する情報を算出し、
前記第２算出部は、前記第２部分領域と前記存在尤度とに基づいて、前記注目部位の形状の推定値を算出する、請求項９に記載の医用画像処理装置。
前記第１算出部は、前記第１部分領域に基づいて前記注目部位の存在尤度に関する情報を算出し、
前記第２算出部は、前記第２部分領域と前記存在尤度とに基づいて、前記注目部位の形状の推定値を算出する、請求項９に記載の医用画像処理装置。
【請求項11】
前記領域取得部は、前記第１算出部によって算出された前記注目部位の存在尤度に関する情報に基づいて前記第２部分領域を取得する、請求項１０に記載の医用画像処理装置。
【請求項12】
前記第１算出部は、機械学習に基づく処理により、前記注目部位の存在尤度に関する情報を算出する、請求項１乃至１１のいずれか１つに記載の医用画像処理装置。
【請求項13】
前記第２算出部は、機械学習に基づく処理により、前記注目部位の形状の推定値を算出する、請求項１乃至１２のいずれか１つに記載の医用画像処理装置。
【請求項14】
前記機械学習は、畳み込みニューラルネットワークである、請求項１２又は１３に記載の医用画像処理装置。
【請求項15】
被検体の注目部位を含む入力画像を入力として、前記注目部位の存在尤度に関する情報を出力する第１学習済みモデル、及び、前記入力画像と前記存在尤度に関する情報とを入力として、前記注目部位の形状の推定値を出力する第２学習済みモデルのうち少なくとも一方を機械学習によって構築する学習部、
を備える、医用画像処理装置。
を備える、医用画像処理装置。
【請求項16】
被検体の注目部位を含む入力画像を取得し、
前記入力画像に基づいて注目部位の存在尤度に関する情報を算出し、
前記入力画像と前記存在尤度に関する情報とに基づいて、前記注目部位の形状の推定値を算出する、
ことを含む、医用画像処理方法。
前記入力画像に基づいて注目部位の存在尤度に関する情報を算出し、
前記入力画像と前記存在尤度に関する情報とに基づいて、前記注目部位の形状の推定値を算出する、
ことを含む、医用画像処理方法。
【請求項17】
被検体の注目部位を含む入力画像を入力として、前記注目部位の存在尤度に関する情報を出力する第１学習済みモデル、及び、前記入力画像と前記存在尤度に関する情報とを入力として、前記注目部位の形状の推定値を出力する第２学習済みモデルのうち少なくとも一方を機械学習によって構築する、
ことを含む、医用画像処理方法。
ことを含む、医用画像処理方法。
【請求項18】
被検体の注目部位を含む入力画像を取得する取得機能と、
前記入力画像に基づいて注目部位の存在尤度に関する情報を算出する第１算出機能と、
前記入力画像と前記存在尤度に関する情報とに基づいて、前記注目部位の形状の推定値を算出する第２算出機能と、
をコンピュータに実行させる、医用画像処理プログラム。
前記入力画像に基づいて注目部位の存在尤度に関する情報を算出する第１算出機能と、
前記入力画像と前記存在尤度に関する情報とに基づいて、前記注目部位の形状の推定値を算出する第２算出機能と、
をコンピュータに実行させる、医用画像処理プログラム。
【請求項19】
被検体の注目部位を含む入力画像を入力として、前記注目部位の存在尤度に関する情報を出力する第１学習済みモデル、及び、前記入力画像と前記存在尤度に関する情報とを入力として、前記注目部位の形状の推定値を出力する第２学習済みモデルのうち少なくとも一方を機械学習によって構築する学習機能、
をコンピュータに実行させる、医用画像処理プログラム。
をコンピュータに実行させる、医用画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、医用画像処理装置、方法及びプログラムに関する。
【背景技術】
【0002】
従来、画像における注目部位の領域推定は、種々の解析に用いられている。例えば、２次元画像における人体の各関節の位置の尤度を算出し、２次元画像と関節の位置の尤度に基づいて２次元画像に写る人体の３次元の姿勢を算出する手法が知られている。また、例えば、画像における肝臓、心臓、その他について、尤度をそれぞれ算出する分類器と、心臓と肝臓の両方が含まれるスライスの肝臓と心臓とを分類する分類器とを用いて、肝臓を高精度で抽出する手法が知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－６９７９３号公報
【非特許文献】
【0004】
【非特許文献1】G. Moon, et. al, “I2L-MeshNet: Image-to-Lixel Prediction Network for Accurate 3D Human Pose and Mesh Estimation from a Single RGB Image,” ECCV 2020
【発明の概要】
【発明が解決しようとする課題】
【0005】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、注目部位の形状を高精度に推定することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。
【課題を解決するための手段】
【0006】
実施形態に係る医用画像処理装置は、取得部と、第１算出部と、第２算出部とを備える。取得部は、被検体の注目部位を含む入力画像を取得する。第１算出部は、前記入力画像に基づいて注目部位の存在尤度に関する情報を算出する。第２算出部は、前記入力画像と前記存在尤度に関する情報とに基づいて、前記注目部位の形状の推定値を算出する。
【図面の簡単な説明】
【0007】
【発明を実施するための形態】
【0008】
以下、図面を参照しながら、医用画像処理装置、方法及びプログラムの実施形態について詳細に説明する。なお、本願に係る医用画像処理装置、方法及びプログラムは、以下に示す実施形態によって限定されるものではない。
【0009】
（第１の実施形態）
本実施形態に係る医用画像処理装置は、３次元の医用画像を取得し、医用画像に含まれる注目部位（例えば、僧帽弁）の形状を算出する装置である。本実施形態において算出した注目部位の形状を表示することで、ユーザは医用画像中における注目部位の形状を明瞭に把握することが可能となる。
本実施形態に係る医用画像処理装置は、３次元の医用画像を取得し、医用画像に含まれる注目部位（例えば、僧帽弁）の形状を算出する装置である。本実施形態において算出した注目部位の形状を表示することで、ユーザは医用画像中における注目部位の形状を明瞭に把握することが可能となる。
【0010】
図１は、第１の実施形態に係る医用画像処理装置の構成例を示す図である。例えば、図１に示すように、本実施形態に係る医用画像処理装置３は、医用画像診断装置１及びデータサーバ２と、ネットワーク４を介して通信可能に接続されている。ここで、ネットワーク４は、例えば、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）を含む。なお、図１に示すネットワーク４には、その他種々の装置及びシステムが接続される場合でもよい。
【0011】
医用画像診断装置１は、被検体を撮像して３次元の医用画像を生成する。また、医用画像診断装置１は、生成した医用画像をネットワーク上の各種装置に送信する。例えば、医用画像診断装置１は、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、Ｘ線診断装置、超音波診断装置、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置、ＰＥＴ（Positron Emission computed Tomography）装置等である。
【0012】
データサーバ２は、被検体に関する各種の医用画像を保管する。具体的には、データサーバ２は、ネットワーク４を介して医用画像診断装置１から医用画像を受信し、当該医用画像を自装置内の記憶回路に記憶させて保管する。例えば、データサーバ２は、ＰＡＣＳ（Picture Archiving and Communication System）等によって実現され、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）に準拠した形式で医用画像を保管する。
【0013】
医用画像処理装置３は、３次元の医用画像に関する各種の画像処理を行う。具体的には、医用画像処理装置３は、ネットワーク４を介して医用画像診断装置１又はデータサーバ２から医用画像を受信し、当該医用画像を用いて各種の画像処理を行う。例えば、医用画像処理装置３は、サーバやワークステーション等のコンピュータ機器によって実現される。
【0014】
例えば、医用画像処理装置３は、３次元の医用画像や、下記処理回路３５により生成される処理結果をディスプレイ３３に表示させる装置であり、医師等のユーザが操作する読影用の端末装置として機能する。医用画像処理装置３は、通信インターフェース３１と、入力インターフェース３２と、ディスプレイ３３と、記憶回路３４と、処理回路３５とを備える。
【0015】
通信インターフェース３１は、医用画像処理装置３と、ネットワークを介して接続された外部装置（医用画像診断装置１やデータサーバ２など）との間で送受信される各種データの伝送及び通信を制御する。具体的には、通信インターフェース３１は、処理回路３５に接続されており、外部装置から受信したデータを処理回路３５に送信、又は、処理回路３５から受信したデータを外部装置に送信する。例えば、通信インターフェース３１は、ネットワークカードやネットワークアダプタ、ＮＩＣ（Network Interface Controller）等によって実現される。
【0016】
入力インターフェース３２は、利用者から各種指示及び各種情報の入力操作を受け付ける。具体的には、入力インターフェース３２は、処理回路３５に接続されており、利用者から受け取った入力操作を電気信号へ変換して処理回路３５に送信する。例えば、入力インターフェース３２は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力インターフェース、及び音声入力インターフェース等によって実現される。なお、本明細書において、入力インターフェース３２は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ送信する電気信号の処理回路も入力インターフェース３２の例に含まれる。
【0017】
ディスプレイ３３は、各種情報及び各種データを表示する。具体的には、ディスプレイ３３は、処理回路３５に接続されており、処理回路３５から受信した各種情報及び各種データを表示する。例えば、ディスプレイ３３は、３次元の医用画像や、注目部位の形状に関する情報を表示する。ディスプレイ３３は、例えば、液晶ディスプレイやＣＲＴ（Cathode Ray Tube）ディスプレイ、タッチパネル等によって実現される。
【0018】
記憶回路３４は、各種データ及び各種プログラムを記憶する。具体的には、記憶回路３４は、処理回路３５に接続されており、処理回路３５から受信したデータを記憶、又は、記憶しているデータを読み出して処理回路３５に送信する。例えば、記憶回路３４は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。なお、記憶回路３４は、医用画像処理装置３とネットワーク４を介して接続されたクラウドコンピュータにより実現されることとしてもよい。
【0019】
処理回路３５は、医用画像処理装置３の全体を制御する。例えば、処理回路３５は、入力インターフェース３２を介して利用者から受け付けた入力操作に応じて、各種処理を行う。例えば、処理回路３５は、外部装置から送信されたデータを通信インターフェース３１を介して受信し、受信したデータを記憶回路３４に格納する。また、例えば、処理回路３５は、記憶回路３４から受信したデータを通信インターフェース３１に送信することで、当該データを外部装置に送信する。また、例えば、処理回路３５は、記憶回路３４から受信したデータをディスプレイ３３に表示する。
【0020】
以上、本実施形態に係る医用画像処理装置３の構成例について説明した。例えば、本実施形態に係る医用画像処理装置３は、病院や診療所等の医療施設に設置され、医師等のユーザによって行われる各種診断や治療計画の策定等を支援する。例えば、医用画像処理装置３は、注目部位の形状を高精度に推定するための各種処理を実行する。なお、以下では、３次元の医用画像として、Ｘ線ＣＴ装置によって撮像されたＣＴ画像を取得し、ＣＴ画像に含まれる僧帽弁の形状を推定する場合を例として説明する。
【0021】
例えば、図１に示すように、本実施形態では、医用画像処理装置３の処理回路３５が、制御機能３５１と、入力画像取得機能３５２と、領域取得機能３５３と、存在尤度算出機能３５４と、形状推定機能３５５と、学習機能３５６とを実行する。ここで、入力画像取得機能３５２は、取得部の一例である。また、領域取得機能３５３は、領域取得部の一例である。また、存在尤度算出機能３５４は、第１算出部の一例である。また、形状推定機能３５５は、第２算出部の一例である。また、学習機能３５６は、学習部の一例である。
【0022】
制御機能３５１は、入力インターフェース３２を介した操作に応じて、種々のＧＵＩ（Graphical User Interface）や、種々の表示情報を生成して、ディスプレイ３３に表示するように制御する。例えば、制御機能３５１は、形状推定機能３５５によって推定された僧帽弁の形状を示す情報をディスプレイ３３に表示させる。
【0023】
入力画像取得機能３５２は、被検体の注目部位を含む入力画像を取得する。ここで、本実施形態では、入力画像が３次元のＣＴ画像であり、注目部位が僧帽弁である。すなわち、入力画像取得機能３５２は、通信インターフェース３１を介して、医用画像診断装置１又はデータサーバ２から僧帽弁を含む３次元のＣＴ画像（ボリュームデータ）を取得する。なお、入力画像取得機能３５２は、３次元で時間方向に複数撮像することで得られる複数のボリュームデータを取得することもできる。処理回路３５は、上記した入力画像取得機能３５２を実行することで、医用画像診断装置１又はデータサーバ２から被検体のＣＴ画像を受信し、受信したＣＴ画像を記憶回路３４に記憶させる。なお、入力画像取得機能３５２による処理については、後に詳述する。
【0024】
領域取得機能３５３は、入力画像から注目部位を含む部分領域を取得する。具体的には、領域取得機能３５３は、僧帽弁を含む３次元の部分領域を、ボリュームデータから取得する。なお、領域取得機能３５３による処理については、後に詳述する。
【0025】
存在尤度算出機能３５４は、入力画像に基づいて注目部位の存在尤度に関する情報を算出する。具体的には、存在尤度算出機能３５４は、領域取得機能３５３によって取得された部分領域に基づいて注目部位の存在尤度に関する情報を算出する。例えば、存在尤度算出機能３５４は、ボリュームデータにおける僧帽弁の尤度マップを算出する。なお、存在尤度算出機能３５４による処理については、後に詳述する。
【0026】
形状推定機能３５５は、入力画像と存在尤度とに基づいて、注目部位の形状の推定値を算出する。具体的には、形状推定機能３５５は、領域取得機能３５３によって取得された部分領域と、存在尤度とに基づいて、注目部位の形状の推定値を算出する。例えば、形状推定機能３５５は、ボリュームデータと僧帽弁の尤度マップとに基づいて、僧帽弁の形状を示す情報を算出する。なお、形状推定機能３５５による処理については、後に詳述する。
【0027】
学習機能３５６は、存在尤度算出機能３５４及び形状推定機能３５５に用いられる学習済みモデルを生成する。具体的には、学習機能３５６は、被検体の注目部位を含む入力画像を入力として、注目部位の存在尤度に関する情報を出力する学習済みモデルを構築する。また、学習機能３５６は、入力画像と存在尤度に関する情報とを入力として、注目部位の形状の推定値を出力する学習済みモデルを構築する。なお、学習機能３５６による処理については、後に詳述する。
【0028】
上述した処理回路３５は、例えば、プロセッサによって実現される。その場合に、上述した各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路３４に記憶される。そして、処理回路３５は、記憶回路３４に記憶された各プログラムを読み出して実行することで、各プログラムに対応する機能を実現する。換言すると、処理回路３５は、各プログラムを読み出した状態で、図１に示した各処理機能を有することとなる。
【0029】
なお、処理回路３５は、複数の独立したプロセッサを組み合わせて構成され、各プロセッサがプログラムを実行することによって各処理機能を実現するものとしてもよい。また、処理回路３５が有する各処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、処理回路３５が有する各処理機能は、回路等のハードウェアとソフトウェアとの混合によって実現されても構わない。また、ここでは、各処理機能に対応するプログラムが単一の記憶回路３４に記憶される場合の例を説明したが、実施形態はこれに限られない。例えば、各処理機能に対応するプログラムが複数の記憶回路が分散して記憶され、処理回路３５が、各記憶回路から各プログラムを読み出して実行する構成としても構わない。なお、処理回路３５が有する各処理機能の一部は、医用画像処理装置３とネットワーク４を介して接続されたクラウドコンピュータにより実現されることとしてもよい。
【0030】
【0031】
例えば、図２に示すように、本実施形態では、入力画像取得機能３５２が、医用画像診断装置１又はデータサーバ２から被検体の入力画像（３次元のＣＴ画像）を取得する（ステップＳ１０１）。例えば、入力画像取得機能３５２は、入力インターフェース３２を介した３次元のＣＴ画像の取得操作に応じて、僧帽弁の解剖構造の形態情報を含む３次元のＣＴ画像を取得する。この処理は、例えば、処理回路３５が、入力画像取得機能３５２に対応するプログラムを記憶回路３４から呼び出して実行することにより実現される。
【0032】
続いて、領域取得機能３５３が、取得された３次元のＣＴ画像において、注目部位（僧帽弁）を含む３次元の部分領域を抽出する（ステップＳ１０２）。この処理は、例えば、処理回路３５が、領域取得機能３５３に対応するプログラムを記憶回路３４から呼び出して実行することにより実現される。
【0033】
続いて、存在尤度算出機能３５４が、部分領域に含まれる各ボクセルについて、僧帽弁の存在尤度を算出する（ステップＳ１０３）。この処理は、例えば、処理回路３５が、存在尤度算出機能３５４に対応するプログラムを記憶回路３４から呼び出して実行することにより実現される。
【0034】
続いて、形状推定機能３５５が、部分領域と僧帽弁の存在尤度に基づいて、部分領域に含まれる僧帽弁の形状を推定する（ステップＳ１０４）。この処理は、例えば、処理回路３５が、形状推定機能３５５に対応するプログラムを記憶回路３４から呼び出して実行することにより実現される。
【0035】
続いて、制御機能３５１が、推定された僧帽弁の形状を示す結果をディスプレイ３３に表示させる（ステップＳ１０５）。この処理は、例えば、処理回路３５が、制御機能３５１に対応するプログラムを記憶回路３４から呼び出して実行することにより実現される。
【0036】
以下、医用画像処理装置３によって実行される各処理の詳細について、説明する。
【0037】
（入力画像の取得処理）
図２のステップＳ１０１で説明したように、入力画像取得機能３５２は、入力インターフェース３２を介したボリュームデータの取得操作に応じて、観察対象とする僧帽弁の３次元の形態情報を含むボリュームデータを取得する。例えば、入力画像取得機能３５２は、僧帽弁を３次元で撮像したＣＴ画像を取得する。
図２のステップＳ１０１で説明したように、入力画像取得機能３５２は、入力インターフェース３２を介したボリュームデータの取得操作に応じて、観察対象とする僧帽弁の３次元の形態情報を含むボリュームデータを取得する。例えば、入力画像取得機能３５２は、僧帽弁を３次元で撮像したＣＴ画像を取得する。
【0038】
なお、ステップＳ１０１における入力画像の取得処理は、上記したように、入力インターフェース３２を介したユーザの指示により動作が開始される場合でもよいが、自動的に処理が開始される場合でもよい。かかる場合には、例えば、入力画像取得機能３５２は、データサーバ２を監視しておき、新しいボリュームデータが保管されるごとに自動的にボリュームデータを取得する。
【0039】
ここで、入力画像取得機能３５２は、予め設定された取得条件に基づいて新しく保管されたボリュームデータを判定し、ボリュームデータが取得条件を満たした場合に取得処理を実行するようにしてもよい。例えば、ボリュームデータの状態を判定することができる取得条件が記憶回路３４に記憶され、入力画像取得機能３５２は、記憶回路３４に記憶された取得条件に基づいて、新しく保管されたボリュームデータを判定する。
【0040】
一例を挙げると、記憶回路３４は、取得条件として、「心臓弁を対象とする撮像プロトコルで撮像されたボリュームデータを取得」や、「拡大再構成された医用画像を取得」、或いは、それらの組み合わせを記憶する。入力画像取得機能３５２は、上記した取得条件を満たすボリュームデータを取得する。
【0041】
（部分領域の取得処理）
図２のステップＳ１０２で説明したように、領域取得機能３５３は、入力画像（ボリュームデータ）から注目部位を含む部分領域を取得する。具体的には、領域取得機能３５３は、まず、入力画像内で観察対象の僧帽弁が存在する部分領域を粗く特定する。そして、領域取得機能３５３は、特定した部分領域を入力画像からクロップ（切り出し処理）し、ＶＯＩ（Volume of interest）画像を取得する。領域取得機能３５３は、取得したＶＯＩ画像を存在尤度算出機能３５４に送信する。以下では、ＶＯＩ画像は僧帽弁の全体を包含する直方体領域を入力画像から切り出した３次元画像として説明するが、その形状やサイズは僧帽弁を含有していればどのような形状やサイズであってもよい。
図２のステップＳ１０２で説明したように、領域取得機能３５３は、入力画像（ボリュームデータ）から注目部位を含む部分領域を取得する。具体的には、領域取得機能３５３は、まず、入力画像内で観察対象の僧帽弁が存在する部分領域を粗く特定する。そして、領域取得機能３５３は、特定した部分領域を入力画像からクロップ（切り出し処理）し、ＶＯＩ（Volume of interest）画像を取得する。領域取得機能３５３は、取得したＶＯＩ画像を存在尤度算出機能３５４に送信する。以下では、ＶＯＩ画像は僧帽弁の全体を包含する直方体領域を入力画像から切り出した３次元画像として説明するが、その形状やサイズは僧帽弁を含有していればどのような形状やサイズであってもよい。
【0042】
ここで、僧帽弁が存在する部分領域を粗く特定する方法は、種々の方法を用いることができる。例えば、入力画像に対する画像処理により、僧帽弁周辺の解剖学的に特徴のある位置を検出し、その位置に基づいて特定する方法を用いることができる。より具体的には、僧帽弁は左心房と左心室との間にある構造であるので、入力画像から被検体の心臓の左心房と左心室の領域を公知技術によるセグメンテーション処理により取得し、それらの領域が互いに隣接する領域に基づいて僧帽弁が存在する領域を粗く特定できる。
【0043】
上記セグメンテーション処理としては、例えば、ＣＴ値に基づく大津の二値化法、領域拡張法、スネーク法、グラフカット法、ミーンシフト法などがある。なお、本処理は入力画像から左心房や左心室の領域を特定できればどのような手法でもよく、本実施形態は領域を特定する手法に限定されない。例えば、機械学習技術（深層学習含）を用いて事前に準備された学習用データに基づいて構築される左心房や左心室の領域の学習済みモデルを用いて特定してもよい。また、領域を手動で設定してもよい。
【0044】
別の例では、入力画像に対して左心房と大動脈との間に存在する解剖学的部位の一種である線維三角（Ｔｒｉｇｏｎｅ）の位置を検出する処理を実行し、その位置に基づいて僧帽弁が存在する部分領域を特定することができる。繊維三角の位置検出は、既知の特徴点検出処理を用いてもよいし、手動で特徴点を設定してもよい。なお、繊維三角ではなく僧帽弁の位置に関連する特徴点であればどのような特徴点を用いてもよい。
【0045】
また別の例では、被検体の心臓に隣接する他の臓器（肺や肝臓など）の位置を検出し、その位置に基づいて僧帽弁が存在する部分領域を特定することもできる。僧帽弁が存在する領域は、僧帽弁に外接する直方体領域でも良いし、それを包含するより広い領域であっても良い。領域の検出処理については上述した左心房・左心室の抽出処理と同様に既知のセグメンテーション処理や機械学習処理により実現できる。もちろん手動で設定してもよい。
【0046】
上述したように、領域取得機能３５３は、種々の手法により部分領域を取得する。ここで、領域取得機能３５３は、複数の手法を組み合わせて段階的に僧帽弁が存在する部分領域を特定することもできる。図３は、第１の実施形態に係る領域取得機能３５３による処理の一例を説明するための図である。なお、図３では画像を２次元で示しているが、実際には、領域取得機能３５３は、３次元画像に対して以下の処理を行う。
【0047】
例えば、図３に示すように、領域取得機能３５３は、まず、ＣＴ画像に含まれる心臓の４つのチャンバー（Left Ventricle：ＬＶ、Right Ventricle：ＲＶ、Left Atrium：ＬＡ、Right Atrium：ＲＡ）のセグメンテーション処理を実行する。そして、領域取得機能３５３は、僧帽弁周辺の粗い特徴点を検出した後、Ｔｒｉｇｏｎｅの位置を検出する精密な特徴点検出処理を実行する。その後、領域取得機能３５３は、検出したＴｒｉｇｏｎｅの位置に基づいて僧帽弁を含む部分領域を特定し、特定した部分領域を入力画像から切り出すことでＶＯＩ画像を取得する。これにより、領域取得機能３５３は、僧帽弁が含まれる部分領域を精度よく取得することができる。
【0048】
なお、部分領域の特定は、画像処理等による自動処理によるものに限らず、例えば、ユーザが入力インターフェース３２を介して指定（ＶＯＩ画像の辺縁の位置を指定）できるようにし、指定した位置に基づいて取得するようにしても良い。または、入力画像における僧帽弁が存在する領域に関する情報をデータサーバ２から取得する構成であってもよい。
【0049】
ここで、領域取得機能３５３は、上記したＶＯＩ画像の切り出し処理を、僧帽弁の存在する位置や姿勢に基づいて実行し、入力画像において僧帽弁がいかなる位置、姿勢、サイズで描出されていようとも、僧帽弁がＶＯＩ画像の略中心に、所定の姿勢、サイズで描出されるように制御することができる。例えば、領域取得機能３５３は、入力画像における僧帽弁周辺の解剖学的特徴の位置や、ユーザによる指示の情報に基づいて入力画像内の僧帽弁の位置、姿勢、サイズを特定する。そして、領域取得機能３５３は、僧帽弁がＶＯＩ画像の略中心に、予め定められた姿勢、サイズで描出されるように、入力画像からＶＯＩ画像を切り出す。すなわち、領域取得機能３５３は、入力画像に対して任意の方向で切り出し処理を実行し、ＶＯＩ画像を取得することができる。
【0050】
一例を挙げると、領域取得機能３５３は、入力画像における僧帽弁周辺の解剖学的特徴の位置に基づいて僧帽弁の弁輪を推定し、弁輪の重心が６４×６４×６４画素のＶＯＩ画像における中心に配置され、弁輪全体を含むように、入力画像からＶＯＩ画像を切り出す。なお、本処理ステップにおいて、領域取得機能３５３は、切り出し処理で取得したＶＯＩ画像に対して、画素値の平均値や分散値が所定の値となるような正規化処理を施してもよい。また、領域取得機能３５３は、ノイズ低減を目的として任意のフィルタリング処理をＶＯＩ画像に施してもよい。
【0051】
なお、図２では、入力画像を取得した後にＶＯＩ画像（部分領域）を取得する例を示しているが、実施形態はこれに限定されるものではなく、僧帽弁が存在する領域を切り出した画像を入力画像として取得する場合でもよい。かかる場合には、入力画像取得後の切り出し処理は実行されず、入力画像自体をＶＯＩ画像として以降の処理が実行される。
【0052】
また、ＶＯＩ画像の切り出し処理は、以降の処理をより正確又は効率的に実施するための処理であり、本処理を省略し、入力画像全体に対してＳ１０３以降の処理が実施される場合でもよい。すなわち、本ステップの処理の有無に、本実施形態は限定されない。
【0053】
（存在尤度の算出処理）
図２のステップＳ１０３で説明したように、存在尤度算出機能３５４は、ＶＯＩ画像に含まれる各ボクセルについて僧帽弁の存在尤度を算出する。ここで、存在尤度算出機能３５４は、ＶＯＩ画像から僧帽弁の存在尤度を算出する処理として、種々の手法を用いることができる。例えば、存在尤度算出機能３５４は、機械学習に基づく処理により、注目部位の存在尤度に関する情報を算出する。すなわち、存在尤度算出機能３５４は、機械学習に基づく手法により、ＶＯＩ画像から僧帽弁の存在尤度を算出する。
図２のステップＳ１０３で説明したように、存在尤度算出機能３５４は、ＶＯＩ画像に含まれる各ボクセルについて僧帽弁の存在尤度を算出する。ここで、存在尤度算出機能３５４は、ＶＯＩ画像から僧帽弁の存在尤度を算出する処理として、種々の手法を用いることができる。例えば、存在尤度算出機能３５４は、機械学習に基づく処理により、注目部位の存在尤度に関する情報を算出する。すなわち、存在尤度算出機能３５４は、機械学習に基づく手法により、ＶＯＩ画像から僧帽弁の存在尤度を算出する。
【0054】
なお、存在尤度を算出する処理として機械学習に基づく手法が用いられる場合、存在尤度の算出処理に先立って、学習機能３５６が、学習済みモデルを取得するための学習処理を実行する。以下、図４Ａ及び図４Ｂを用いて、存在尤度の算出処理に係る学習済みモデルについて説明する。
【0055】
図４Ａは、第１の実施形態に係る存在尤度の算出処理に係る学習済みモデルの構築例を説明するための図である。例えば、学習機能３５６は、図４Ａに示すように、僧帽弁が描出された収集画像と、当該画像の各画素が僧帽弁であるか否かを示す領域マスクとのセットのデータ（学習データ）を複数セット用いて機械学習させることで、学習済みモデルを生成する。例えば、学習機能３５６は、僧帽弁が含まれる６４×６４×６４画素の画像と当該画像の各画素が僧帽弁であるか否かを示す領域マスクとの学習データを機械学習させることで学習済みモデルを生成する。そして、学習機能３５６は、生成した学習済みモデルを、データサーバ２や、記憶回路３４に保存する。
【0056】
存在尤度算出機能３５４は、データサーバ２、或いは、記憶回路３４に保存された上記学習済みモデルを読み出し、読み出した学習済みモデルに対して入力画像を入力することで、僧帽弁の存在尤度を算出する。例えば、存在尤度算出機能３５４は、図４Ｂに示すように、領域取得機能３５３によって取得されたＶＯＩ画像を学習済みモデルに入力することで、ＶＯＩ画像における各ボクセルが僧帽弁であるか否かを示す尤度マップを取得する。なお、図４Ｂは、第１の実施形態に係る存在尤度の算出処理に係る学習済みモデルの一例を示す図である。
【0057】
ここで、存在尤度の算出処理は、対象とする構造が複数であってもよい。すなわち、注目部位が複数の部位により構成され、存在尤度算出機能３５４は、複数の部位の夫々に関する存在尤度を算出することができる。例えば、僧帽弁は、前尖と後尖との二つの構造から成る。したがって、存在尤度算出機能３５４は、僧帽弁の存在尤度として、僧帽弁全体を表す一つの存在尤度を算出してもよいし、僧帽弁の前尖と後尖の夫々の存在尤度を夫々算出してもよい。なお、僧帽弁の前尖と後尖の存在尤度を夫々算出する場合、前尖の尤度と後尖の尤度との両方を含む存在尤度（２チャンネルの存在尤度）を算出してもよいし、前尖と後尖の存在尤度を夫々算出する学習済みモデルを個別に生成しておき、学習済みモデルを用いて前尖と後尖の存在尤度を夫々算出してもよい。
【0058】
本実施形態では、上記機械学習に基づく手法の具体例として、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）の一種であるＵ－Ｎｅｔを用いて存在尤度の算出処理を実行する場合について説明する。Ｕ－Ｎｅｔは、エンコーダとデコーダからなる学習モデルであり、エンコーダは入力画像を何度か畳み込むことでその画像の特徴を抽出し、デコーダはエンコーダにより抽出された特徴を受け取り逆畳み込み処理を実施することで入力画像と同じサイズの特徴マップを算出することができる。
【0059】
本実施形態の場合は、上記した学習データを複数セット用意し、当該学習データを３Ｄ Ｕ－Ｎｅｔに学習させることで、エンコーダにより僧帽弁領域に対する特徴が抽出されデコーダにより当該特徴の特徴マップを算出できる。この特徴マップが僧帽弁の存在尤度として活用される。
【0060】
図５は、第１の実施形態に係る３Ｄ Ｕ－Ｎｅｔの層構造の一例を示す図である。例えば、３Ｄ Ｕ－Ｎｅｔは、畳み込み層と、プーリング層と、アップサンプリング層とで構成され、６４×６４×６４画素のＶＯＩ画像の入力に応じて、僧帽弁の尤度マップを出力する。ここで、図５における３Ｄ Ｕ－Ｎｅｔは、前尖、後尖及び背景の３チャンネルの尤度マップを出力する。
【0061】
なお、ＣＮＮの学習に用いる損失関数としてＣｒｏｓｓ Ｅｎｔｒｏｐｙや、Ｄｉｃｅ損失関数、Ｔｖｅｒｓｋｙ損失関数などを用いることで、僧帽弁の存在有無の情報を精度よく表す存在尤度を算出することができる。
【0062】
例えば、前尖、後尖及び背景の各クラスの存在尤度を出力する上記３Ｄ Ｕ－Ｎｅｔの学習において、以下の式（１）に示すＴｖｅｒｓｋｙ損失関数に対してクラスごとに正解値と予測値を代入することで、前尖、後尖及び背景の各クラスにおける損失を夫々算出する。そして、以下の式（２）により、夫々に係数を乗じた各クラスの損失の総和を算出し、算出した損失を用いて３Ｄ Ｕ－Ｎｅｔのパラメータを調整することで、僧帽弁の存在尤度を精度よく算出することができる。
【0063】
【数1】
【0064】
【数2】
【0065】
【数3】
【0066】
【数4】
【0067】
【数5】
【0068】
存在尤度算出機能３５４は、上記したように生成された３Ｄ Ｕ－Ｎｅｔに対して、ＶＯＩ画像を入力することで、ＶＯＩ画像における僧帽弁の存在尤度を示す尤度マップを算出する。図６は、第１の実施形態に係る尤度マップの一例を示す図である。例えば、存在尤度算出機能３５４は、図６に示すように、算出した存在尤度（前尖の尤度、後尖の尤度、背景の尤度）において、ＶＯＩ画像における前尖の存在尤度が高い画素と、後尖の存在尤度が高い画素とを示した尤度マップを算出する。
【0069】
なお、図６では、直交３断面の尤度マップのみを示しているが、実際には、存在尤度算出機能３５４は、ＶＯＩ画像における全てのボクセルについて存在尤度を算出する。すなわち、本実施形態において算出される前尖の存在尤度、後尖の存在尤度の夫々は、ＶＯＩ画像と同じ数の画素を持つ画像形式のデータとし、各画素の画素値は、対応する位置の前尖又は後尖の存在尤度の値が［０，１］の範囲の連続値として格納される。ここで、画素値０は存在尤度が最も低く、当該画素が前尖又は後尖である可能性が低いことを表し、画素値１は存在尤度が最も高く、当該画素が前尖又は後尖である可能性が高いことを表す。
【0070】
なお、上記の説明では存在尤度を［０，１］の連続値として算出する場合を例として説明したが、実施形態はこれに限られない。例えば、［０，１］の連続値として算出した値に対して所定の閾値処理を施し、０または１に二値化した値を、弁の存在尤度として算出するようにしても良い。このとき、二値化後の値が１となる画素数が所定の画素数となるように閾値を調整するようにしても良い。例えば、ＶＯＩ画像に描出されている僧帽弁の体積が予め既知である場合や、体積のおおよその推定が可能な場合には、二値化後の値が１となる画素数をその体積に応じて調整するようにできる。これ以外にも、例えば、所定の閾値で存在尤度を二値化した際に１となる画素が空間的に孤立した領域、すなわち画素値が１となる連続領域が小さい領域の画素値を０とするといった、いわゆるノイズ除去処理を行うよういしても良い。これらの方法によれば、本来の僧帽弁以外の領域の存在尤度を抑制し、僧帽弁の存在尤度をより正確に算出できる効果がある。
【0071】
また、上記の説明では、ＶＯＩ画像から僧帽弁の存在尤度を算出する方法として、３Ｄ Ｕ－Ｎｅｔを用いる場合を例として説明したが、実施形態はこれに限定されず、３Ｄ Ｕ－Ｎｅｔ以外の公知のＣＮＮを用いても良い。例えば、ＦＣＮ（ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）やＰＳＰＮｅｔ（Ｐｙｒａｍｉｄ Ｓｃｅｎｅ Ｐａｒｓｉｎｇ Ｎｅｔｗｏｒｋ）などを用いても良い。また、ＣＮＮ以外の機械学習に基づく手法を用いても良いし、機械学習に基づく手法以外にも画像特徴を検出するフィルタリング処理など、任意の画像処理の手法を用いて僧帽弁の存在尤度を算出するようにしてもよい。例えば、ヘッセ行列を利用した線強調フィルタを用いて入力画像から線構造を抽出し、当該線構造の周囲を高い尤度に設定した存在尤度を算出するようにしてもよい。
【0072】
また、存在尤度を算出する手法として、同一検査における複数の画像を用いてもよい。例えば、心臓を対象とするＣＴ画像では、心臓の拍動に合わせて複数時相の画像を撮像する場合がある。この場合、心臓内における複数時相間で画素値の変化量の大きい位置に高い尤度を設定した存在尤度を算出するようにしてもよい。これは弁が心臓の内部における動きのある構造物であることに基づく。ただし、複数時相の画像間では弁だけでなく心臓全体も大きく変動する場合があるため、心臓全体のおおまかな変動を補正したうえで、上記の処理を行うのが望ましい。具体的には、存在尤度算出機能３５４は、まず複数時相の画像における心臓全体のおおまかな変位を位置合わせする。そして、存在尤度算出機能３５４は、この位置合わせの結果に基づいて複数時相の間で対応する位置の画素の変化量を算出する。
【0073】
ここで、存在尤度算出機能３５４は、心臓内部の各画素における経時的な画素値の変化を算出し、算出した画素値の変化が大きい位置ほど高い尤度とする存在尤度を算出する。すなわち、心臓弁（僧帽弁）は、拍動による動きとは異なる動きをすることから、存在尤度算出機能３５４は、心臓の変形位置合わせにおいて、心臓内部で変形の程度が大きい部分を心臓弁（僧帽弁）として特定する。
【0074】
なお、位置合わせには既知の非線形変形位置合わせ処理を用いることができる。非線形変形位置合わせ処理の例としては、ＦＦＤ（Ｆｒｅｅ－Ｆｏｒｍ Ｄｅｆｏｒｍａｔｉｏｎ）手法やＬＤＤＭＭ（Ｌａｒｇｅ Ｄｅｆｏｒｍａｔｉｏｎ Ｄｉｆｆｅｏｍｏｒｐｈｉｃ Ｍｅｔｒｉｃ Ｍａｐｐｉｎｇ）手法などがある。
【0075】
（形状の推定処理）
図２のステップＳ１０４で説明したように、形状推定機能３５５は、ステップＳ１０２で取得されたＶＯＩ画像と、ステップＳ１０３で算出された僧帽弁の存在尤度とに基づいて、ＶＯＩ画像に含まれる僧帽弁の形状の推定値を算出する。具体的には、形状推定機能３５５は、形状の推定値として、注目部位に対応する複数の位置の座標値を算出する。より具体的には、形状推定機能３５５は、注目部位の輪郭上にある複数の位置の座標値を算出する。例えば、形状推定機能３５５は、注目部位のメッシュ情報を算出する。ここで、形状推定機能３５５は、僧帽弁の形状を推定する処理として、種々の手法を用いることができる。例えば、形状推定機能３５５は、機械学習に基づく処理により、注目部位の形状の推定値を算出する。すなわち、形状推定機能３５５は、機械学習に基づく手法により、僧帽弁の形状を推定する。
図２のステップＳ１０４で説明したように、形状推定機能３５５は、ステップＳ１０２で取得されたＶＯＩ画像と、ステップＳ１０３で算出された僧帽弁の存在尤度とに基づいて、ＶＯＩ画像に含まれる僧帽弁の形状の推定値を算出する。具体的には、形状推定機能３５５は、形状の推定値として、注目部位に対応する複数の位置の座標値を算出する。より具体的には、形状推定機能３５５は、注目部位の輪郭上にある複数の位置の座標値を算出する。例えば、形状推定機能３５５は、注目部位のメッシュ情報を算出する。ここで、形状推定機能３５５は、僧帽弁の形状を推定する処理として、種々の手法を用いることができる。例えば、形状推定機能３５５は、機械学習に基づく処理により、注目部位の形状の推定値を算出する。すなわち、形状推定機能３５５は、機械学習に基づく手法により、僧帽弁の形状を推定する。
【0076】
なお、僧帽弁の形状を推定する処理として機械学習に基づく手法が用いられる場合、形状の推定処理に先立って、学習機能３５６が、学習済みモデルを取得するための学習処理を実行する。以下、図７Ａ及び図７Ｂを用いて、形状の推定処理に係る学習済みモデルについて説明する。
【0077】
図７Ａは、第１の実施形態に係る形状の推定処理に係る学習済みモデルの構築例を説明するための図である。例えば、学習機能３５６は、図７Ａに示すように、僧帽弁が描出された収集画像と、当該収集画像における僧帽弁の尤度マップと、当該収集画像における僧帽弁の位置を示す座標値（３次元形状情報）とのセットのデータ（学習データ）を複数セット用いて機械学習させることで、学習済みモデルを生成する。例えば、学習機能３５６は、僧帽弁が含まれる６４×６４×６４画素の画像と、当該画像における尤度マップと、当該画像に含まれる僧帽弁の前尖と後尖の座標値が定義された３次元形状情報との学習データを機械学習させることで学習済みモデルを生成する。そして、学習機能３５６は、生成した学習済みモデルを、データサーバ２や、記憶回路３４に保存する。
【0078】
形状推定機能３５５は、データサーバ２、或いは、記憶回路３４に保存された上記学習済みモデルを読み出し、読み出した学習済みモデルに対して入力画像及び尤度マップを入力することで、僧帽弁の形状の推定値を算出する。例えば、形状推定機能３５５は、図７Ｂに示すように、領域取得機能３５３によって取得されたＶＯＩ画像と、存在尤度算出機能３５４によって算出された当該ＶＯＩ画像における僧帽弁の尤度マップとを学習済みモデルに入力することで、ＶＯＩ画像に含まれる僧帽弁の形状を示す３次元形状情報を取得する。ここで、形状推定機能３５５は、複数の部位の夫々に関する存在尤度に基づいて、注目部位の形状の推定値を算出することもできる。すなわち、形状推定機能３５５は、ＶＯＩ画像と、僧帽弁の前尖の存在尤度と、僧帽弁の後尖の存在尤度とに基づいて、僧帽弁の形状を示す３次元形状情報を取得することができる。なお、図７Ｂは、第１の実施形態に係る形状の推定処理に係る学習済みモデルの一例を示す図である。
【0079】
本実施形態では、上記機械学習に基づく手法の具体例として、ＣＮＮの一種であるＤｅｎｓｅＮｅｔを用いて形状の推定処理を実行する場合について説明する。図８は、第１の実施形態に係るＤｅｎｓｅＮｅｔの層構造の一例を示す図である。例えば、ＤｅｎｓｅＮｅｔは、図８に示す各層で構成され、６４×６４×６４画素のＶＯＩ画像、及び、僧帽弁の前尖、後尖及び背景の３チャンネルの尤度マップの入力に応じて、前尖の形状を示す複数の３次元座標、及び、後尖の形状を示す３次元座標を出力する。ここで、図８におけるＤｅｎｓｅＮｅｔは、例えば、前尖の形状を示す複数の３次元座標として１９×９点の座標で構成されたメッシュ情報を出力し、後尖の形状を示す３次元座標として２５×９点の座標で構成されたメッシュ情報を出力する。
【0080】
図９は、第１の実施形態に係るメッシュ情報の一例を示す図である。例えば、形状推定機能３５５は、図９に示すように、ＶＯＩ画像と尤度マップとをＤｅｎｓｅＮｅｔに入力することで、僧帽弁の形状を表すメッシュ情報を取得する。ここで、メッシュ情報は、図９に示すように、弁口５３０及び弁輪５４０を外郭として囲まれた曲面を表す情報であり、僧帽弁のコミッシャ（Commissure：交連部）を境にして、前尖５１０、後尖５２０の２つに分けて構成される。また、前尖５１０、後尖５２０の夫々は、グリッド状に並ぶ複数の格子点により構成される。形状推定機能３５５は、これら格子点の夫々の３次元位置の座標値を、ＤｅｎｓｅＮｅｔを用いて推定する。
【0081】
上述したように、本実施形態に係る形状推定機能３５５は、ＶＯＩ画像と僧帽弁の前尖の存在尤度と後尖の存在尤度とに基づいてＶＯＩ画像における僧帽弁の形状の推定値を算出する。この時、入力となるＶＯＩ画像、前尖の存在尤度、後尖の存在尤度の夫々は、同一の画素数を持つ画像データとしての形態を有しており、本実施形態では、ＤｅｎｓｅＮｅｔに対して、上記３つ情報を統合した３チャンネルの画像データとして入力する。ＤｅｎｓｅＮｅｔに対する事前の学習も、それに対応するように、画像データと、存在尤度に関する多数のデータに基づいて行われるものとする。
【0082】
上記の例では、ＶＯＩ画像、僧帽弁の前尖の存在尤度、後尖の存在尤度を統合した３チャンネルの画像データとしてＣＮＮに入力する方法について説明したが、実施形態はこれに限らない。例えば、前尖と後尖の存在尤度については、ＣＮＮの入力層ではなく中間層へ入力する方法が考えられる。具体的には、ＶＯＩ画像の畳み込み演算の結果として得られる特徴マップが現れる中間層に、前尖および後尖の存在尤度を入力するようにできる。より具体的には、前記中間層において、特徴マップと存在尤度のアダマール積を演算するＡｔｔｅｎｔｉｏｎ機構を設ける方法が考えられる。これによれば、存在尤度の高い位置の特徴マップに高い重みづけが行われるため、画像における「僧帽弁らしさ」をより的確に捉えた形状の推定値が算出できる効果がある。
【0083】
なお、上記の説明ではＣＮＮの一種であるＤｅｎｓｅＮｅｔを用いて僧帽弁の形状の推定値を算出する場合を例として説明したが、実施形態はこれに限定されず、ＤｅｎｓｅＮｅｔ以外の公知のＣＮＮを用いてもよい。例えば、ＣＮＮの一種であるＲｅｓＮｅｔやＶＧＧ１６などにより算出するようにしてもよい。また、ＣＮＮ以外の機械学習に基づく手法を用いてもよいし、機械学習以外の情報処理手段により算出するようにしてもよい。例えば、あらかじめ僧帽弁の形状に関する統計形状モデルを構築し、ＶＯＩ画像や存在尤度に基づいて統計形状モデルのパラメータを調整することで、ＶＯＩ画像の描出されている僧帽弁の形状の推定値を算出するようにしてもよい。
【0084】
また、上記の説明では、形状推定機能３５５が、ステップＳ１０２で取得したＶＯＩ画像と、ステップＳ１０３で取得した存在尤度とを統合した情報を入力とする場合を例として説明したが、実施形態はこれに限らない。例えば、ステップＳ１０３で取得した存在尤度に基づき、ＶＯＩ画像や存在尤度に対して切り出し処理を行った情報を、形状の推定処理での入力情報とするようにしても良い。ここで、上記切り出し処理は、ステップＳ１０３で取得した存在尤度における尤度の重心位置や広がりの情報に基づいて行うようにしても良い。
【0085】
具体的には、領域取得機能３５３は、第１部分領域（ＶＯＩ画像）と、第１部分領域とは異なる第２部分領域とを取得する。存在尤度算出機能３５４は、第１部分領域に基づいて注目部位の存在尤度に関する情報を算出する。形状推定機能３５５は、第２部分領域と存在尤度とに基づいて、注目部位の形状の推定値を算出する。ここで、領域取得機能３５３は、存在尤度算出機能３５４によって算出された僧帽弁の存在尤度に基づいて第２部分領域を取得する。
【0086】
例えば、領域取得機能３５３は、ステップＳ１０３にて算出された僧帽弁の存在尤度に基づいて僧帽弁が存在する領域をさらに絞り込み、当該領域についてＶＯＩ画像および存在尤度から切り出した情報を取得する。そして、形状推定機能３５５は、取得された情報に基づいて、前述したＣＮＮ等による形状の推定値の算出を行う。これによれば、僧帽弁が存在する可能性の高い領域に絞り込んだうえで形状の推定値を算出することできるため、より精度の高い結果が得られる効果が期待できる。
【0087】
（結果の表示処理）
図２のステップＳ１０５で説明したように、制御機能３５１は、注目部位の形状の推定値をディスプレイ３３に表示させる。具体的には、制御機能３５１は、ステップＳ１０４で算出した僧帽弁の形状の推定値をディスプレイ３３に表示する画像を生成し、生成した画像をディスプレイ３３に表示する制御を行う。例えば、制御機能３５１は、僧帽弁の形状の推定値である、メッシュ情報をＣＧレンダリングした画像を生成してディスプレイ３３に表示させる制御を行う。
図２のステップＳ１０５で説明したように、制御機能３５１は、注目部位の形状の推定値をディスプレイ３３に表示させる。具体的には、制御機能３５１は、ステップＳ１０４で算出した僧帽弁の形状の推定値をディスプレイ３３に表示する画像を生成し、生成した画像をディスプレイ３３に表示する制御を行う。例えば、制御機能３５１は、僧帽弁の形状の推定値である、メッシュ情報をＣＧレンダリングした画像を生成してディスプレイ３３に表示させる制御を行う。
【0088】
また、制御機能３５１は、一般的な医用画像ビューアと同様の機能を持ち、ユーザ入力に応じて、入力画像から２Ｄのスライス画像を選択し、選択したスライス画像に対して、当該スライス画像に対応する位置の僧帽弁の形状の推定値を重畳した画像を生成してディスプレイ３３に表示する制御を行うようにしてもよい。この時、ステップＳ１０２においてＶＯＩ画像を切り出した入力画像上の部分領域に基づいて、ステップＳ１０４で算出した形状の推定値を入力画像の座標系に変換した上で重畳するのが望ましい。
【0089】
なお、制御機能３５１は、ステップＳ１０４の処理で算出した僧帽弁の形状の推定値を医用画像処理装置３の記憶回路３４やネットワーク４を介してデータサーバ２に保存する制御を行っても良い。この場合、僧帽弁の形状の推定値をディスプレイ３３へ表示する処理は必ずしも行わなくてもよい。
【0090】
本実施形態によれば、入力画像における僧帽弁の存在尤度を算出し、その存在尤度に基づいて僧帽弁の形状の推定値を算出する処理が実行される。層状の構造である僧帽弁の局所的な画像特徴を捉えた存在尤度を算出する処理と、僧帽弁の全体的な構造を捉えた僧帽弁の形状の推定値の算出処理とを組み合わせることで、精度と頑健性に優れた僧帽弁の形状の推定値の算出処理が行える効果がある。
【0091】
（変形例１：ＶＯＩ画像の切り出し処理に関するバリエーション）
上述した実施形態では、ステップＳ１０２において、領域取得機能３５３が、僧帽弁を含むＶＯＩ画像を切り出す処理を実行し、切り出されたＶＯＩ画像に対して僧帽弁の存在尤度を算出する場合を例として説明した。しかしながら、実施形態はこれに限らない。
上述した実施形態では、ステップＳ１０２において、領域取得機能３５３が、僧帽弁を含むＶＯＩ画像を切り出す処理を実行し、切り出されたＶＯＩ画像に対して僧帽弁の存在尤度を算出する場合を例として説明した。しかしながら、実施形態はこれに限らない。
【0092】
例えば、ステップＳ１０１で取得した入力画像の複数の領域に対して画像の切り出し処理を行うことで複数のＶＯＩ画像を取得し、夫々のＶＯＩ画像に対する僧帽弁の存在尤度を算出する。そして、算出した結果を統合した存在尤度（統合存在尤度）を取得し、統合存在尤度に基づいて僧帽弁の存在尤度が高い領域を特定するようにしてもよい。この場合、統合存在尤度において存在尤度が高い領域に対応する領域について、入力画像と統合存在尤度の夫々を切り出し、それらを入力情報としてステップＳ１０４を実行するようにできる。
【0093】
具体的には、領域取得機能３５３は、入力画像から複数の部分領域（ＶＯＩ画像）を取得する。存在尤度算出機能３５４は、各部分領域（ＶＯＩ画像）における注目部位（僧帽弁）の存在尤度を算出する。領域取得機能３５３は、存在尤度算出機能３５４によって算出された各部分領域における存在尤度に基づいて、部分領域全体で僧帽弁の存在尤度が高い領域を特定し、特定した領域に対応する領域を、入力画像及び部分領域全体の存在尤度（尤度マップ）から切り出す。形状推定機能３５５は、切り出された画像及び存在尤度に基づいて、僧帽弁の形状の推定値を算出する。
【0094】
上記処理を用いることで、例えば、スライディングウィンドウ方式により入力画像全体に渡って僧帽弁の存在尤度の算出を行い、存在尤度の高い領域の特定を行うようにできる。これによれば、僧帽弁の存在尤度に基づいてＶＯＩ画像の切り出しが行えるため、より高い精度で僧帽弁の形状に推定値を算出できる効果がある。
【0095】
（変形例２：入力画像のバリエーション）
上述した実施形態では、３ＤのＣＴ画像を入力画像とする例について説明したが、実施形態はこれに限らない。例えば、入力画像は３Ｄの超音波画像（経皮超音波、経食道超音波など）でもよいし、ＭＲＩやＰＥＴ、ＳＰＥＣＴなどであってもよい。また、時系列画像を入力画像としてもよく、例えば、時系列の３ＤＣＴ画像（４ＤＣＴ画像）であってもよい。この場合、時系列の３ＤＣＴ画像の各時相の画像に対して上述した各処理を実行して、各時相に対応する僧帽弁の形状の推定値を算出するようにできる。
上述した実施形態では、３ＤのＣＴ画像を入力画像とする例について説明したが、実施形態はこれに限らない。例えば、入力画像は３Ｄの超音波画像（経皮超音波、経食道超音波など）でもよいし、ＭＲＩやＰＥＴ、ＳＰＥＣＴなどであってもよい。また、時系列画像を入力画像としてもよく、例えば、時系列の３ＤＣＴ画像（４ＤＣＴ画像）であってもよい。この場合、時系列の３ＤＣＴ画像の各時相の画像に対して上述した各処理を実行して、各時相に対応する僧帽弁の形状の推定値を算出するようにできる。
【0096】
ここで、各時相に対応する僧帽弁の形状の推定値を算出した場合、制御機能３５１は、各時相に対応する僧帽弁の形状の推定値に関する種々の表示を行うことができる。図１０は、変形例２に係る僧帽弁の形状の推定値の表示例を示す図である。ここで、図１０では、心周期における１０の時相に対応するＣＴ画像について、僧帽弁の形状の推定値を算出した場合について示す。
【0097】
例えば、制御機能３５１は、図１０に示すように、時相０％、時相１０％、時相２０％、時相３０％、時相４０％、時相５０％、時相６０％、時相７０％、時相８０％、及び、時相９０％の夫々における僧帽弁の形状を示すメッシュ情報をディスプレイ３３に表示させることができる。
【0098】
また、制御機能３５１は、時系列の３ＤＣＴ画像の中からユーザが選択した時相の画像を表示するとともに、当該時相に対応する僧帽弁の形状を表示することもできる。また、制御機能３５１は、時系列の３ＤＣＴ画像の各時相に対応する僧帽弁の形状の算出結果を、時相を送りながら動画として表示することで、僧帽弁の動きをユーザが把握できるようにすることも可能である。
【0099】
また、入力画像は必ずしも３Ｄ画像である必要はなく、例えば、僧帽弁の長軸画像や短軸画像などの２Ｄ画像であってもよい。例えば、医用画像処理装置３は、２次元画像上の僧帽弁の形状（クロスセクションの形状）である２Ｄの僧帽弁の形状の推定値を算出することもできる。すなわち、入力画像取得機能３５２によって取得された２次元画像に対して、領域取得機能３５３は、僧帽弁を含む２次元領域の画像を取得する処理を実行する。存在尤度算出機能３５４は、取得された２次元領域の画像における僧帽弁の存在尤度を算出し、形状推定機能３５５は、２次元領域の画像と、算出された存在尤度とに基づいて、２Ｄの僧帽弁の形状の推定値を算出する。
【0100】
また、医用画像処理装置３は、例えば、２次元画像から推定される３Ｄの形状の推定値を算出することもできる。かかる場合には、例えば、入力画像取得機能３５２は、僧帽弁が異なる角度で描出された同一時相の複数の画像を取得する。領域取得機能３５３は、各画像に対して僧帽弁を含む２次元領域の画像を取得する処理をそれぞれ実行する。存在尤度算出機能３５４は、取得された各画像における僧帽弁の存在尤度をそれぞれ算出する。形状推定機能３５５は、各画像について、存在尤度に基づいて２Ｄの僧帽弁の形状の推定値をそれぞれ算出する。さらに、形状推定機能３５５は、異なる角度から推定した２Ｄの僧帽弁の形状値と、標準的な僧帽弁の形状とから、僧帽弁の３次元の形状の推定値を算出する。
【0101】
なお、医用画像処理装置３は、２次元画像を入力とする処理系と、３次元画像を入力とする処理系の両方を兼備し、実際に入力された画像の次元に応じて、駆動する処理系を切り替えて実行することもできる。
【0102】
（変形例３：存在尤度の算出処理に関するバリエーション）
上述した実施形態では、存在尤度算出機能３５４が、僧帽弁の前尖と後尖、及び、背景（前尖も後尖も存在しない）の存在尤度を算出する場合について説明したが、実施形態はこれに限らない。例えば、前尖と後尖を区別せず、前尖か後尖のいずれかが存在する尤度を算出するようにしても良い。この場合、存在尤度は、１チャンネルの情報として算出される。また、前尖と後尖の存在尤度を含む２チャンネルの存在尤度の情報を算出するようにしてもよい。また、僧帽弁の弁口位置の存在尤度や、弁輪の存在尤度などを算出するようにしても良い。すなわち、前尖、後尖、弁口の３チャンネルの存在尤度の情報や、前尖、後尖、弁輪の３チャンネルの存在尤度の情報を算出するようしても良い。また、僧帽弁の前尖と後尖のつなぎ目であるコミッシャの位置の存在尤度を算出するようにしても良い。すなわち、僧帽弁を構成する複数の部位は、前尖、後尖、弁輪、弁口、及び、交連部のいずれかを含む。
上述した実施形態では、存在尤度算出機能３５４が、僧帽弁の前尖と後尖、及び、背景（前尖も後尖も存在しない）の存在尤度を算出する場合について説明したが、実施形態はこれに限らない。例えば、前尖と後尖を区別せず、前尖か後尖のいずれかが存在する尤度を算出するようにしても良い。この場合、存在尤度は、１チャンネルの情報として算出される。また、前尖と後尖の存在尤度を含む２チャンネルの存在尤度の情報を算出するようにしてもよい。また、僧帽弁の弁口位置の存在尤度や、弁輪の存在尤度などを算出するようにしても良い。すなわち、前尖、後尖、弁口の３チャンネルの存在尤度の情報や、前尖、後尖、弁輪の３チャンネルの存在尤度の情報を算出するようしても良い。また、僧帽弁の前尖と後尖のつなぎ目であるコミッシャの位置の存在尤度を算出するようにしても良い。すなわち、僧帽弁を構成する複数の部位は、前尖、後尖、弁輪、弁口、及び、交連部のいずれかを含む。
【0103】
また、本処理ステップで算出する存在尤度は僧帽弁を構成する部位に関する存在尤度に限らず、僧帽弁以外の部位の存在尤度を算出するようにしても良い。例えば、僧帽弁に近接する左心室や左心房、大動脈弁の位置などの存在尤度を算出するようにしても良い。ここで、僧帽弁以外の部位の存在尤度を算出する場合、僧帽弁を構成する部位に加えて、僧帽弁以外の部位の存在尤度が算出されてもよく、或いは、僧帽弁を構成する部位を用いず、僧帽弁以外の部位のみの存在尤度が算出されてもよい。なお、僧帽弁を構成する部位を用いず、僧帽弁以外の部位のみの存在尤度が算出される場合、形状推定機能３５５は、僧帽弁以外の部位の形状の推定値を算出し、算出した推定値と、僧帽弁周辺の標準的な解剖学的構造に基づいて僧帽弁の形状を推定する。
【0104】
なお、上記いずれの存在尤度を算出する場合においても、当該存在尤度を算出するＣＮＮは、当該存在尤度が算出されるように、あらかじめ適切に学習が行われるものとする。また、形状推定機能３５５は、存在尤度算出機能３５４が算出した存在尤度とＶＯＩ画像とをチャンネル統合した情報を入力として、僧帽弁の形状の推定値を算出する処理を実行する。このとき、形状推定機能３５５が形状の推定値の算出に用いるＣＮＮは、上記入力に基づいて僧帽弁の形状の推定値が算出されるように適切に学習が行われるものとする。
【0105】
（変形例４：形状の推定処理に関するバリエーション）
上述した実施形態では、形状推定機能３５５が、ＶＯＩ画像および存在尤度を入力として僧帽弁の形状を算出する場合について説明したが、実施形態はこれに限らない。例えば、形状推定機能３５５は、ＶＯＩ画像を入力とせず、存在尤度だけを入力として僧帽弁の形状を算出するようにしてもよい。これによれば、ステップＳ１０４の処理の簡素化が図れるため、処理の効率化、高速化が行える効果がある。なお、ＶＯＩ画像を入力とせず存在尤度のみに基づいて僧帽弁の形状を算出する場合には、形状推定機能３５５が処理を実行するＣＮＮは、それに応じて適切な学習が行われているものとする。
上述した実施形態では、形状推定機能３５５が、ＶＯＩ画像および存在尤度を入力として僧帽弁の形状を算出する場合について説明したが、実施形態はこれに限らない。例えば、形状推定機能３５５は、ＶＯＩ画像を入力とせず、存在尤度だけを入力として僧帽弁の形状を算出するようにしてもよい。これによれば、ステップＳ１０４の処理の簡素化が図れるため、処理の効率化、高速化が行える効果がある。なお、ＶＯＩ画像を入力とせず存在尤度のみに基づいて僧帽弁の形状を算出する場合には、形状推定機能３５５が処理を実行するＣＮＮは、それに応じて適切な学習が行われているものとする。
【0106】
また、上述した実施形態では、形状推定機能３５５が、僧帽弁の前尖の形状と後尖の形状の推定値を算出する場合を例として説明したが、実施形態はこれに限らない。例えば、形状推定機能３５５は、僧帽弁の前尖と後尖を一体とした形状の推定値を出力するようにしてもよい。また、形状の推定値の形態は必ずしもグリッド状に並ぶメッシュ情報である必要はなく、任意の配置の点群の情報などであってもよい。
【0107】
また、形状推定機能３５５によって算出される形状の推定値は、注目部位（僧帽弁）の形状を示すメッシュ情報に限らず、メッシュ情報に基づいて算出されるものでもよい。例えば、標準的な僧帽弁の形状を表すメッシュデータ（標準モデル）を予め定義する。形状推定機能３５５は、算出した僧帽弁の形状の推定値と標準モデルとの差異（変位、変形）の情報を算出し、算出した際の情報を形状の推定値とすることもできる。また、形状の推定値は必ずしも３次元位置の座標値を含む形態である必要はなく、例えば、形状推定機能３５５は、曲面である弁の法線方向を表す情報や、僧帽弁の形状を表すマスク画像等の形態で僧帽弁の形状の推定値を算出することができる。
【0108】
また、形状推定機能３５５は、僧帽弁自体の形状ではなく、僧帽弁よりも左心房側の領域のマスクや左心室側の領域のマスクを算出するようにしてもよい。例えば、形状推定機能３５５は、僧帽弁周辺における僧帽弁以外の部位の存在尤度に基づいて、当該僧帽弁以外の部位の形状の推定値を算出する。このように、僧帽弁（注目部位）の周辺の形状を推定し、形状を表す情報を表示させることで、僧帽弁（注目部位）の形状を可視化する場合でもよい。
【0109】
また、形状推定機能３５５が算出する僧帽弁の形状の推定値は、必ずしも僧帽弁全体の形状を表す情報である場合に限らず、僧帽弁の弁口や弁輪、コミッシャ位置などの一部の部位の形状や位置の推定値を算出するようにしてもよい。
【0110】
（変形例５：存在尤度の算出と形状の推定値の算出とで異なる画像を用いる例）
上述した実施形態では、ステップＳ１０１で取得した入力画像に基づいて取得したＶＯＩ画像を、ステップＳ１０３およびＳ１０４の処理で共通して利用して、夫々の処理が実行される場合について説明したが、実施形態はこれに限らない。例えば、ステップＳ１０３の存在尤度算出処理には、低ノイズで僧帽弁の概略形状が描出される画像を入力とし、ステップＳ１０４は、それとは異なり、高感度で僧帽弁の精細な形状が描出される画像を入力とするようにしてもよい。
上述した実施形態では、ステップＳ１０１で取得した入力画像に基づいて取得したＶＯＩ画像を、ステップＳ１０３およびＳ１０４の処理で共通して利用して、夫々の処理が実行される場合について説明したが、実施形態はこれに限らない。例えば、ステップＳ１０３の存在尤度算出処理には、低ノイズで僧帽弁の概略形状が描出される画像を入力とし、ステップＳ１０４は、それとは異なり、高感度で僧帽弁の精細な形状が描出される画像を入力とするようにしてもよい。
【0111】
より具体的には、ステップＳ１０１において、入力画像取得機能３５２は、互いに異なる２種類の再構成関数で生成した２つのＣＴ画像を取得する。ステップＳ１０２では、領域取得機能３５３は、２つのＣＴ画像を共通の領域で切り出した２種類のＶＯＩ画像を生成する。そして、ステップＳ１０３において、存在尤度算出機能３５４は、２種類のＶＯＩ画像のうちの一方のＶＯＩ画像を用いて存在尤度を算出する。さらに、ステップＳ１０４において、形状推定機能３５５は、他方のＶＯＩ画像を用いて形状の推定処理を実行する。
【0112】
なお、ステップＳ１０３とステップＳ１０４で用いるＶＯＩ画像は、再構成関数を異にする場合に限らず、例えば、画素数や画素サイズ、入力画像に対する切り出し位置や切り出し範囲、切り出しの向きなどが異なるようにしてもよい。例えば、ステップＳ１０３で用いるＶＯＩ画像は、ステップＳ１０４で用いるＶＯＩ画像に対して、入力画像のより広い範囲を切り出した画像にするなどの方法が考えられる。この時、存在尤度算出を行うＣＮＮと、形状推定を行うＣＮＮは、それぞれの入力画像の特性に応じて適切に学習がなされることが望ましい。これによれば、ステップＳ１０３とステップＳ１０４の各処理ステップでの算出処理を、各々の処理に適した特性の画像に基づいて実行することができるため、より高い精度で各処理ステップの算出処理が実行できる効果がある。
【0113】
また、ステップＳ１０５において表示する画像は、必ずしもステップＳ１０３やステップＳ１０４で用いる画像と同じである必要はなく、ステップＳ１０５で実行する表示処理用に別途画像を取得するようにしてもよい。例えば、ステップＳ１０３およびステップＳ１０４で用いる画像は、僧帽弁が明瞭に描出される特性の画像とし、ステップＳ１０５で表示に用いる画像は心臓全体の構造が明瞭に描出される特性の画像を用いるようにしてもよい。これによれば、ユーザが僧帽弁と心臓全体の両方の構造を同時に把握できる表示を提供できる効果がある。
【0114】
（変形例６：形状の推定値に対する補正処理）
上述した実施形態では、ステップＳ１０５において、形状推定機能３５５が算出した僧帽弁の形状の推定値を、制御機能３５１が表示や保存する場合について説明したが、実施形態はこれに限らない。例えば、ステップＳ１０４で算出した僧帽弁の形状の推定値に対して、任意の形状補正処理を施して表示や保存を行う場合であってもよい。例えば、制御機能３５１は、算出された僧帽弁の形状に対して平滑化を施したり、局所的な歪みを除去したり、形状の対称性を補正したりすることができる。これによれば、形状に関するノイズを除去し、より品質の高い弁形状を算出できる効果がある。
上述した実施形態では、ステップＳ１０５において、形状推定機能３５５が算出した僧帽弁の形状の推定値を、制御機能３５１が表示や保存する場合について説明したが、実施形態はこれに限らない。例えば、ステップＳ１０４で算出した僧帽弁の形状の推定値に対して、任意の形状補正処理を施して表示や保存を行う場合であってもよい。例えば、制御機能３５１は、算出された僧帽弁の形状に対して平滑化を施したり、局所的な歪みを除去したり、形状の対称性を補正したりすることができる。これによれば、形状に関するノイズを除去し、より品質の高い弁形状を算出できる効果がある。
【0115】
（変形例７：尤度算出のバリエーション）
上述した実施形態では、入力画像における画素値の関係性と注目部位（僧帽弁）に関する形態的な特徴とから存在尤度を算出する場合について説明したが、尤度の算出方法はこれに限らない。例えば、注目部位に関係する血流などの流体の情報に基づいて存在尤度を算出してもよい。かかる場合には、例えば、超音波画像を用いて流体の向きや速度を取得し、注目部位に対する当該流体の特徴から存在尤度を算出する。例えば、僧帽弁は左心房と左心室との間における血流を制御するので、一定の間隔で血流が流れたり止まったりする。また、僧帽弁閉鎖不全の患者では、一定の間隔で血流の方向が順方向と逆方向とに変化する。
上述した実施形態では、入力画像における画素値の関係性と注目部位（僧帽弁）に関する形態的な特徴とから存在尤度を算出する場合について説明したが、尤度の算出方法はこれに限らない。例えば、注目部位に関係する血流などの流体の情報に基づいて存在尤度を算出してもよい。かかる場合には、例えば、超音波画像を用いて流体の向きや速度を取得し、注目部位に対する当該流体の特徴から存在尤度を算出する。例えば、僧帽弁は左心房と左心室との間における血流を制御するので、一定の間隔で血流が流れたり止まったりする。また、僧帽弁閉鎖不全の患者では、一定の間隔で血流の方向が順方向と逆方向とに変化する。
【0116】
そこで、存在尤度算出機能３５４は、このような特徴を用いて超音波画像における僧帽弁の存在尤度を算出することができる。すなわち、存在尤度算出機能３５４は、ドプラ画像における特定の画素の画素値の変化量を抽出することで、血流の流量又は流方向の変化を取得する。そして、存在尤度算出機能３５４は、取得した流量又は流方向が、上記した血流の特徴と合致するか否かに基づいて存在尤度を算出する。ここで、超音波画像は血流速を得ることも可能であるので、血流速に基づいて存在尤度を算出してもよい。
【0117】
なお、血流情報を得ることが困難な画像（例えばＣＴ画像）上で、存在尤度を得たい場合には、存在尤度算出機能３５４は、当該画像（ＣＴ画像等）と超音波画像とを位置合わせすることで当該画像上における血流情報に基づく存在尤度を算出することができる。また、超音波画像における画素値の変化から直接存在尤度を算出するだけでなく、既知の流体構造連成技術に基づいて血流情報の変化から形態情報を推定し、当該推定結果に基づいて存在尤度を算出してもよい。勿論、機械学習技術を用いて事前に準備された学習データに基づいて流体情報と注目部位の存在尤度との関係性を表す学習済みモデルを構築し、当該学習済みモデルに基づいて存在尤度を算出してもよい。流体の活用は血流のような液体に関する臓器（腎臓、輸尿管、膀胱等の尿に関するもの、側脳室、第三脳室、中脳水道、第四脳室等の脳脊髄液に関するもの、胃、消化管などの消化液に関するもの）や、気体に関する臓器（肺、気管、声帯、横隔膜等の呼吸に関するもの）や、個体が流れる臓器（食道、腸等）に適用することができる。
【0118】
また、別の例では注目部位に関係する電気的な情報に基づいて存在尤度を算出してもよい。具体的には、存在尤度算出機能３５４は、カルトシステムや心電図を用いて心臓内における電気情報を取得し、心臓内の注目部位に対する当該電気情報の特徴から存在尤度を算出する。ここで、電気情報の活用は、心臓の他に、脳に対しても適用できる。かかる場合には、存在尤度算出機能３５４は、ＥＣＧやＭＥＧを用いて脳活動における電気情報を取得し、当該脳活動の電気的情報から対象とする脳領域の存在尤度を算出することができる。
【0119】
また、別の例では注目部位に関係する硬さの情報に基づいて存在尤度を算出してもよい。具体的には、存在尤度算出機能３５４は、超音波エラストグラフィを用いて肝臓における硬さ情報を取得し、肝臓内の対象構造に対する当該硬さ情報の特徴から存在尤度を算出する。
【0120】
また、別の例では注目部位に関係する機能情報や生理学的情報に基づいて存在尤度を算出してもよい。具体的には、存在尤度算出機能３５４は、放射線医薬品とＳＰＥＣＴ装置を用いて、体内の各位置における特定の機能情報や生理学的情報を表す画像を取得し、当該機能情報や生理学的情報から存在尤度を算出する。
【0121】
（変形例８：推定値算出のバリエーション）
上述した実施形態では、ステップＳ１０４において、形状の推定処理に関する学習済みモデルの層構造における同一の位置の層に存在尤度を入力する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、複数の存在尤度を、複数の層構造からなる学習モデルにおける異なる位置の層に入力してもよい。例えば、形状推定機能３５５は、前尖の存在尤度を入力層に入力し、後尖の存在尤度を中間層に入力するように制御してもよい。
上述した実施形態では、ステップＳ１０４において、形状の推定処理に関する学習済みモデルの層構造における同一の位置の層に存在尤度を入力する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、複数の存在尤度を、複数の層構造からなる学習モデルにおける異なる位置の層に入力してもよい。例えば、形状推定機能３５５は、前尖の存在尤度を入力層に入力し、後尖の存在尤度を中間層に入力するように制御してもよい。
【0122】
（変形例９：推定値算出に用いる尤度のバリエーション）
上述した実施形態又は変形例８では、１つの種類の存在尤度（形状に基づくもの）を形状の推定処理に関する学習済みモデルに入力する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、変形例７で説明したとおり複数の種類で算出される複数の存在尤度を形状の推定処理に関する学習済みモデルに入力してもよい。この場合、複数の存在尤度は同一の位置の層（入力層、中間層など）に入力してもよいし、異なる位置の層に入力してもよい。異なる種類の方法で算出された存在尤度を入力することで、情報が増えより正確な形状推定が可能となることが期待できる。
上述した実施形態又は変形例８では、１つの種類の存在尤度（形状に基づくもの）を形状の推定処理に関する学習済みモデルに入力する場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、変形例７で説明したとおり複数の種類で算出される複数の存在尤度を形状の推定処理に関する学習済みモデルに入力してもよい。この場合、複数の存在尤度は同一の位置の層（入力層、中間層など）に入力してもよいし、異なる位置の層に入力してもよい。異なる種類の方法で算出された存在尤度を入力することで、情報が増えより正確な形状推定が可能となることが期待できる。
【0123】
上述したように、第１の実施形態によれば、入力画像取得機能３５２は、被検体の注目部位を含む入力画像を取得する。存在尤度算出機能３５４は、入力画像に基づいて注目部位の存在尤度に関する情報を算出する。形状推定機能３５５は、入力画像と存在尤度に関する情報とに基づいて、注目部位の形状の推定値を算出する。したがって、第１の実施形態に係る医用画像処理装置３は、注目部位の局所的な特徴を捉える処理と、注目部位の全体の形状を捉える処理とを組み合わせることで、注目部位の形状を高精度に推定することを可能にする。
【0124】
また、第１の実施形態によれば、注目部位は、複数の部位により構成される。存在尤度算出機能３５４は、複数の部位の夫々に関する存在尤度を算出する。形状推定機能３５５は、複数の部位の夫々に関する存在尤度に基づいて、注目部位の形状の推定値を算出する。したがって、第１の実施形態に係る医用画像処理装置３は、注目部位の局所的な特徴をより細かく捉えることができ、注目部位の形状をより高精度に推定することを可能にする。
【0125】
また、第１の実施形態によれば、注目部位は、僧帽弁であり、複数の部位は、前尖、後尖、弁輪、弁口、及び、交連部のいずれかを含む。したがって、第１の実施形態に係る医用画像処理装置３は、僧帽弁の形状をより高精度に推定することを可能にする。
【0126】
また、第１の実施形態によれば、入力画像取得機能３５２は、入力画像として、３次元のＣＴ画像を取得する。したがって、第１の実施形態に係る医用画像処理装置３は、注目部位の３次元形状を高精度に推定することを可能にする。
【0127】
また、第１の実施形態によれば、形状推定機能３５５は、形状の推定値として、注目部位に対応する複数の位置の座標値（メッシュ情報）を算出する。また、形状推定機能３５５は、形状の推定値として、注目部位の曲面に対する法線方向を示す情報を算出する。したがって、第１の実施形態に係る医用画像処理装置３は、入力画像における注目部位のより正確な形状を推定することを可能にする。
【0128】
また、第１の実施形態によれば、領域取得機能３５３は、入力画像から注目部位を含む部分領域を取得する。存在尤度算出機能３５４は、領域取得機能３５３によって取得された部分領域に基づいて注目部位の存在尤度に関する情報を算出する。形状推定機能３５５は、領域取得機能３５３によって取得された部分領域と存在尤度とに基づいて、注目部位の形状の推定値を算出する。したがって、第１の実施形態に係る医用画像処理装置３は、存在尤度の算出処理と形状の推定処理とを正確かつ効率的に実行することを可能にする。
【0129】
また、第１の実施形態によれば、領域取得機能３５３は、第１部分領域と、第１部分領域とは異なる第２部分領域とを取得する。存在尤度算出機能３５４は、第１部分領域に基づいて注目部位の存在尤度に関する情報を算出する。形状推定機能３５５は、第２部分領域と存在尤度とに基づいて、注目部位の形状の推定値を算出する。したがって、第１の実施形態に係る医用画像処理装置３は、存在尤度を算出する領域と、形状の推定処理に用いる領域とで異なる領域を用いることができ、各処理において適切な領域を用いることを可能にする。
【0130】
また、第１の実施形態によれば、領域取得機能３５３は、存在尤度算出機能３５４によって算出された注目部位の存在尤度に関する情報に基づいて第２部分領域を取得する。したがって、第１の実施形態に係る医用画像処理装置３は、存在尤度に応じた領域を対象として形状の推定値を算出することができ、注目部位の形状をより高精度に推定することを可能にする。
【0131】
また、第１の実施形態によれば、存在尤度算出機能３５４は、機械学習に基づく処理により、注目部位の存在尤度に関する情報を算出する。また、形状推定機能３５５は、機械学習に基づく処理により、注目部位の形状の推定値を算出する。また、機械学習は、畳み込みニューラルネットワークである。したがって、第１の実施形態に係る医用画像処理装置３は、注目部位に応じた処理を実現することを可能にする。
【0132】
（その他の実施形態）
また、上述した実施形態では、注目部位が僧帽弁である場合ついて説明した。しかしながら、実施形態はこれに限られず、注目部位が、僧帽弁以外の心臓弁（大動脈弁、三尖弁など）であってもよく、或いは、心臓弁以外の部位であってもよい。
また、上述した実施形態では、注目部位が僧帽弁である場合ついて説明した。しかしながら、実施形態はこれに限られず、注目部位が、僧帽弁以外の心臓弁（大動脈弁、三尖弁など）であってもよく、或いは、心臓弁以外の部位であってもよい。
【0133】
また、上述した実施形態では、医用画像処理装置３が、学習機能３５６を実行して学習済みモデルを構築する場合について説明した。しかしながら、実施形態はこれに限られず、医用画像処理装置３とは異なる医用画像処理装置が、学習機能３５６を実行して学習済みモデルを構築する場合でもよい。すなわち、学習済みモデルを構築する装置と、注目部位の形状を推定する各処理を実行する装置が、異なる装置であってもよい。
【0134】
なお、上述した実施形態では、本明細書における取得部、領域取得部、第１算出部、第２の算出部、及び、学習部を、それぞれ、処理回路の入力画像取得機能、領域取得機能、存在尤度算出機能、形状推定機能、及び、学習機能によって実現する場合の例を説明したが、実施形態はこれに限られない。例えば、本明細書における取得部、領域取得部、第１算出部、第２の算出部、及び、学習部は、実施形態で述べた入力画像取得機能、領域取得機能、存在尤度算出機能、形状推定機能、及び、学習機能によって実現する他にも、ハードウェアのみ、ソフトウェアのみ、又は、ハードウェアとソフトウェアとの混合によって同機能を実現するものであっても構わない。
【0135】
また、上述した実施形態の説明で用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ(Graphics Processing Unit)、又は、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。ここで、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合には、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて一つのプロセッサとして構成され、その機能を実現するようにしてもよい。
【0136】
ここで、プロセッサによって実行される医用画像処理プログラムは、ＲＯＭ（Read Only Memory）や記憶回路等に予め組み込まれて提供される。なお、この医用画像処理プログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでＣＤ（Compact Disk）－ＲＯＭ、ＦＤ（Flexible Disk）、ＣＤ－Ｒ（Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な非一過性の記憶媒体に記録されて提供されてもよい。また、この医用画像処理プログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることによって提供又は配布されてもよい。例えば、この医用画像処理プログラムは、上述した各処理機能を含むモジュールで構成される。実際のハードウェアとしては、ＣＰＵが、ＲＯＭ等の記憶媒体から医用画像処理プログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。
【0137】
また、上述した実施形態及び変形例において、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散又は統合の具体的形態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的又は物理的に分散又は統合して構成することができる。更に、各装置にて行なわれる各処理機能は、その全部又は任意の一部が、ＣＰＵ及び当該ＣＰＵにて解析実行されるプログラムにて実現され、或いは、ワイヤードロジックによるハードウェアとして実現され得る。
【0138】
また、上述した実施形態及び変形例において説明した各処理のうち、自動的に行なわれるものとして説明した処理の全部又は一部を手動的に行なうこともでき、或いは、手動的に行なわれるものとして説明した処理の全部又は一部を公知の方法で自動的に行なうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【0139】
以上説明した少なくとも一つの実施形態によれば、注目部位の形状を高精度に推定することができる。
【0140】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0141】
３ 医用画像処理装置
３５ 処理回路
３５１ 制御機能
３５２ 入力画像取得機能
３５３ 領域取得機能
３５４ 存在尤度算出機能
３５５ 形状推定機能
３５６ 学習機能
３５ 処理回路
３５１ 制御機能
３５２ 入力画像取得機能
３５３ 領域取得機能
３５４ 存在尤度算出機能
３５５ 形状推定機能
３５６ 学習機能
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10】