知財求人 - 知財ポータルサイト「IP Force」
▶ キヤノン株式会社の特許一覧 ▶ 東芝メディカルシステムズ株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024151459
(43)【公開日】2024-10-25
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
G06V 10/82 20220101AFI20241018BHJP
G06T 7/00 20170101ALI20241018BHJP
G06V 10/774 20220101ALI20241018BHJP
G06V 10/778 20220101ALI20241018BHJP
【ＦＩ】
G06V10/82
G06T7/00 350C
G06V10/774
G06V10/778
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2023064794
(22)【出願日】2023-04-12
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】黒山 貴裕
(72)【発明者】
【氏名】石川 亮
(72)【発明者】
【氏名】音丸 格
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096DA02
5L096FA06
5L096FA68
5L096FA69
5L096FA72
5L096GA04
5L096HA11
5L096KA04
5L096KA15
(57)【要約】
【課題】画像内の対象物に対する推定精度を向上させる技術を提供する。
【解決手段】本開示に係る情報処理装置は、対象物を撮像した画像データを入力として、前記画像データに描出される前記対象物に関する推定を行う学習モデルを生成する情報処理装置であって、前記対象物を撮像した学習画像データと該学習画像データにおける前記対象物の情報である正解データとを、前記学習モデルの生成に用いる教師データとして取得する教師データ取得部と、前記正解データに関する適合度を取得する適合度取得部と、前記教師データおよび前記適合度に基づいて前記学習モデルの学習を行う学習部と、を有する。
【選択図】図１
【解決手段】本開示に係る情報処理装置は、対象物を撮像した画像データを入力として、前記画像データに描出される前記対象物に関する推定を行う学習モデルを生成する情報処理装置であって、前記対象物を撮像した学習画像データと該学習画像データにおける前記対象物の情報である正解データとを、前記学習モデルの生成に用いる教師データとして取得する教師データ取得部と、前記正解データに関する適合度を取得する適合度取得部と、前記教師データおよび前記適合度に基づいて前記学習モデルの学習を行う学習部と、を有する。
【選択図】図１
【特許請求の範囲】
【請求項1】
対象物を撮像した画像データを入力として、前記画像データに描出される前記対象物に関する推定を行う学習モデルを生成する情報処理装置であって、
前記対象物を撮像した学習画像データと該学習画像データにおける前記対象物の情報である正解データとを、前記学習モデルの生成に用いる教師データとして取得する教師データ取得部と、
前記正解データに関する適合度を取得する適合度取得部と、
前記教師データおよび前記適合度に基づいて前記学習モデルの学習を行う学習部と、
を有することを特徴とする情報処理装置。
前記対象物を撮像した学習画像データと該学習画像データにおける前記対象物の情報である正解データとを、前記学習モデルの生成に用いる教師データとして取得する教師データ取得部と、
前記正解データに関する適合度を取得する適合度取得部と、
前記教師データおよび前記適合度に基づいて前記学習モデルの学習を行う学習部と、
を有することを特徴とする情報処理装置。
【請求項2】
前記学習モデルは、前記画像データにおける前記対象物の空間的な情報を推定するための学習モデルであり、
前記教師データ取得部は、前記教師データにおける正解データとして、前記対象物の領域に関する情報を取得する、
ことを特徴とする請求項１に記載の情報処理装置。
前記教師データ取得部は、前記教師データにおける正解データとして、前記対象物の領域に関する情報を取得する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記学習モデルは、前記画像データにおける前記対象物の特徴点の位置を推定するための学習モデルであり、
前記教師データ取得部は、前記教師データにおける正解データとして、前記対象物の特徴点の位置に関する情報を取得する、
ことを特徴とする請求項１に記載の情報処理装置。
前記教師データ取得部は、前記教師データにおける正解データとして、前記対象物の特徴点の位置に関する情報を取得する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項4】
前記学習モデルは、前記画像データにおける前記対象物の輪郭を推定するための学習モデルであり、
前記教師データ取得部は、前記教師データにおける正解データとして、前記対象物の輪郭に関する情報を取得する、
ことを特徴とする請求項１に記載の情報処理装置。
前記教師データ取得部は、前記教師データにおける正解データとして、前記対象物の輪郭に関する情報を取得する、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項5】
前記適合度取得部は、前記教師データにおける前記正解データが示す前記学習画像データにおける前記対象物の位置周辺の画素値に基づいて前記適合度を算出することを特徴とする請求項１に記載の情報処理装置。
【請求項6】
前記適合度取得部は、前記画素値が示す輝度勾配に基づいて前記適合度を算出することを特徴とする請求項５に記載の情報処理装置。
【請求項7】
前記適合度取得部は、前記教師データにおける前記正解データの各特徴点について、該特徴点自身以外の特徴点との位置関係に基づいて前記適合度を算出することを特徴とする請求項３に記載の情報処理装置。
【請求項8】
前記位置関係は、各特徴点に基づく前記対象物の輪郭線の曲率であることを特徴とする請求項７に記載の情報処理装置。
【請求項9】
前記適合度取得部は、前記対象物に関する前記教師データ以外の情報に基づいて前記適合度を算出することを特徴とする請求項１に記載の情報処理装置。
【請求項10】
前記学習部は、前記学習モデルによって推定される前記対象物に関する推定値と、前記正解データが示す前記対象物に関する正解値との差異に、前記適合度を適用することで、前記学習モデルの学習を行うことを特徴とする請求項１に記載の情報処理装置。
【請求項11】
前記推定値および前記正解値は、前記対象物に対応する画素の画素値であることを特徴とする請求項１０に記載の情報処理装置。
【請求項12】
対象物を撮像した入力画像データを取得するデータ取得部と、
前記対象物を撮像した学習画像データと、該学習画像データにおける前記対象物の情報である正解データと、前記正解データに関する適合度と、に基づく学習により生成された学習モデルを取得する学習モデル取得部と、
前記入力画像データと前記学習モデルとを用いて、前記入力画像データに描出される前記対象物に関する推定処理を行う推定部と、
を有することを特徴とする情報処理装置。
前記対象物を撮像した学習画像データと、該学習画像データにおける前記対象物の情報である正解データと、前記正解データに関する適合度と、に基づく学習により生成された学習モデルを取得する学習モデル取得部と、
前記入力画像データと前記学習モデルとを用いて、前記入力画像データに描出される前記対象物に関する推定処理を行う推定部と、
を有することを特徴とする情報処理装置。
【請求項13】
前記推定部の推定結果を表示する表示処理部をさらに有することを特徴とする請求項１２に記載の情報処理装置。
【請求項14】
前記入力画像データに関する適合度を取得する適合度取得部を有し、
前記表示処理部は、前記入力画像データに関する適合度を表示する、
ことを特徴とする請求項１３に記載の情報処理装置。
前記表示処理部は、前記入力画像データに関する適合度を表示する、
ことを特徴とする請求項１３に記載の情報処理装置。
【請求項15】
前記学習モデルは、前記推定部の推定結果と前記正解データとの差異に、前記適合度を適用して得られる結果に基づく学習により生成された学習モデルであることを特徴とする請求項１２に記載の情報処理装置。
【請求項16】
対象物を撮像した画像データを入力として、前記画像データに描出される前記対象物に関する推定を行う学習モデルを生成する情報処理方法であって、
前記対象物を撮像した学習画像データと該学習画像データにおける前記対象物の情報である正解データとを、前記学習モデルの生成に用いる教師データとして取得する教師データ取得ステップと、
前記正解データに関する適合度を取得する適合度取得ステップと、
前記教師データおよび前記適合度に基づいて前記学習モデルを学習する学習ステップと、
を有することを特徴とする情報処理方法。
前記対象物を撮像した学習画像データと該学習画像データにおける前記対象物の情報である正解データとを、前記学習モデルの生成に用いる教師データとして取得する教師データ取得ステップと、
前記正解データに関する適合度を取得する適合度取得ステップと、
前記教師データおよび前記適合度に基づいて前記学習モデルを学習する学習ステップと、
を有することを特徴とする情報処理方法。
【請求項17】
対象物を撮像した入力画像データを取得するデータ取得ステップと、
前記対象物を撮像した学習画像データと、該学習画像データにおける前記対象物の情報である正解データと、前記正解データに関する適合度と、に基づく学習により生成された学習モデルを取得する学習モデル取得ステップと、
前記入力画像データと前記学習モデルとを用いて、前記入力画像データに描出される前記対象物に関する推定処理を行う推定ステップと、
を有することを特徴とする情報処理方法。
前記対象物を撮像した学習画像データと、該学習画像データにおける前記対象物の情報である正解データと、前記正解データに関する適合度と、に基づく学習により生成された学習モデルを取得する学習モデル取得ステップと、
前記入力画像データと前記学習モデルとを用いて、前記入力画像データに描出される前記対象物に関する推定処理を行う推定ステップと、
を有することを特徴とする情報処理方法。
【請求項18】
コンピュータを、請求項１から１５のいずれか１項に記載の情報処理装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、情報処理装置、情報処理方法、およびプログラムに関する。
【背景技術】
【0002】
近年、画像処理分野において、深層学習に基づく識別器が注目を集めている。教師あり学習と呼ばれる手法では、学習画像データと学習画像データに対応する正解データで構成される教師データ（教師データペアとも呼ぶ）を集めた教師データセットを用いて、推定器（推論器、学習モデル、推論モデルなどとも呼ぶ）の学習が行われる。そして、推定器による推定精度を高めるための種々の技術が提案されている。
【0003】
そのような技術の一例として、信頼度が低いと思われる正解データを含む教師データを教師データセットから取り除くデータクレンジングなどの処理が挙げられる。また、教師データセットに含まれる正解データの数がクラス間で不均衡な場合や、正解データの座標が不正確で一貫性のない場合に、あらかじめ設定した重みを損失関数にかけてその不均衡や一貫性のなさを解消する処理が行われる技術も提案されている。
【0004】
また、例えば、特許文献１には、学習画像と、注目物体を表すラベルに対応する正解情報とで構成される教師情報に対して、ラベルごとに異なる重みをかけた活性化関数を用いて推定器を生成する技術が開示されている。また、特許文献２には、２枚の画像データについて、特徴点の画像データ上のそれぞれの位置に応じた離散度を重みとして画像の位置合わせを行う技術が開示されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１９－１０６１４０号公報
【特許文献2】特開２０１９－２８５３２号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上記の従来技術によれば、活性化関数を用いた計算時に、特徴点によって異なる重みが適用されるが、教師データセットを構成する個々の教師データに対しては共通の重みが適用される。このため、教師データセットに含まれる一部の教師データの信頼度が低い場合に、信頼度の低い教師データの影響によって推定器による推定精度が下がってしまう可能性がある。
【0007】
本開示の技術は上記課題に鑑みてなされたものであり、その目的は、画像内の対象物に対する推定精度を向上させる技術を提供することである。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本開示に係る情報処理装置は、対象物を撮像した画像データを入力として、前記画像データに描出される前記対象物に関する推定を行う学習モデルを生成する情報処理装置であって、前記対象物を撮像した学習画像データと該学習画像データにおける前記対象物の情報である正解データとを、前記学習モデルの生成に用いる教師データとして取得する教師データ取得部と、前記正解データに関する適合度を取得する適合度取得部と、前記教師データおよび前記適合度に基づいて前記学習モデルの学習を行う学習部と、を有することを特徴とする情報処理装置を含む。
また、上記目的を達成するために、本開示に係る情報処理装置は、対象物を撮像した入
力画像データを取得するデータ取得部と、前記対象物を撮像した学習画像データと、該学習画像データにおける前記対象物の情報である正解データと、前記正解データに関する適合度と、に基づく学習により生成された学習モデルを取得する学習モデル取得部と、前記入力画像データと前記学習モデルとを用いて、前記入力画像データに描出される前記対象物に関する推定処理を行う推定部と、を有することを特徴とする情報処理装置を含む。
また、上記目的を達成するために、本開示に係る情報処理装置は、対象物を撮像した入
力画像データを取得するデータ取得部と、前記対象物を撮像した学習画像データと、該学習画像データにおける前記対象物の情報である正解データと、前記正解データに関する適合度と、に基づく学習により生成された学習モデルを取得する学習モデル取得部と、前記入力画像データと前記学習モデルとを用いて、前記入力画像データに描出される前記対象物に関する推定処理を行う推定部と、を有することを特徴とする情報処理装置を含む。
【0009】
また、上記目的を達成するために、本開示に係る情報処理方法は、対象物を撮像した画像データを入力として、前記画像データに描出される前記対象物に関する推定を行う学習モデルを生成する情報処理方法であって、前記対象物を撮像した学習画像データと該学習画像データにおける前記対象物の情報である正解データとを、前記学習モデルの生成に用いる教師データとして取得する教師データ取得ステップと、前記正解データに関する適合度を取得する適合度取得ステップと、前記教師データおよび前記適合度に基づいて前記学習モデルを学習する学習ステップと、を有することを特徴とする情報処理方法を含む。
また、上記目的を達成するために、本開示に係る情報処理方法は、対象物を撮像した入力画像データを取得するデータ取得ステップと、前記対象物を撮像した学習画像データと、該学習画像データにおける前記対象物の情報である正解データと、前記正解データに関する適合度と、に基づく学習により生成された学習モデルを取得する学習モデル取得ステップと、前記入力画像データと前記学習モデルとを用いて、前記入力画像データに描出される前記対象物に関する推定処理を行う推定ステップと、を有することを特徴とする情報処理方法を含む。
また、上記目的を達成するために、本開示に係る情報処理方法は、対象物を撮像した入力画像データを取得するデータ取得ステップと、前記対象物を撮像した学習画像データと、該学習画像データにおける前記対象物の情報である正解データと、前記正解データに関する適合度と、に基づく学習により生成された学習モデルを取得する学習モデル取得ステップと、前記入力画像データと前記学習モデルとを用いて、前記入力画像データに描出される前記対象物に関する推定処理を行う推定ステップと、を有することを特徴とする情報処理方法を含む。
【発明の効果】
【0010】
本開示の技術によれば、画像内の対象物に対する推定精度を向上させることができる。
【図面の簡単な説明】
【0011】
【図1】第１から３実施形態に係る情報処理装置の構成を示す概略構成図
【図2】第１および２実施形態に係る情報処理装置の処理を示すフローチャート
【図3】第１および２実施形態に係る情報処理装置の処理を示すサブフローチャート
【図4】一実施形態に係る学習画像データにおける特徴点と適合度を示す図
【図5】第３実施形態に係る情報処理装置の処理を示すフローチャート
【図6】第３実施形態に係る情報処理装置の処理を示すサブフローチャート
【発明を実施するための形態】
【0012】
以下、図面に基づいて本開示の技術の実施形態を詳細に説明する。ただし、以下の実施形態に記載されている構成要素はあくまで例示であり、本開示の技術の技術的範囲は、特許請求の範囲によって確定されるものであって、以下の個別の実施形態に限定されるわけではない。
【0013】
＜第１実施形態＞
以下に、第１実施形態に係る情報処理装置について説明する。本実施形態では、機械学習の１つであり、深層学習に基づく推定器の１つであるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いる情報処理装置を例に挙げて説明する。
以下に、第１実施形態に係る情報処理装置について説明する。本実施形態では、機械学習の１つであり、深層学習に基づく推定器の１つであるＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いる情報処理装置を例に挙げて説明する。
【0014】
本実施形態の情報処理装置が使用する学習画像データは、実空間中に存在する対象物である注目物体を撮像装置で撮像することで得られる画像データであり、学習画像データには注目物体が描出されている。また、正解データは、学習画像データに対応し、推定器が出力する推論結果の正解を定義するデータである。例えば、画像データ内の注目物体の輪郭を推定器により推定する場合、正解データの輪郭は、学習画像データ内の注目物体の輪郭線を形成する点群位置の座標値として定義される。このような輪郭の正解データの作成は、一般的には医師や技師などの人による座標データの作成（以下、アノテーションと称
する）により行われる。その際、学習画像データの画質や正解データの作成者の技量などに起因して、正解データの信頼度が低くなることがある。
する）により行われる。その際、学習画像データの画質や正解データの作成者の技量などに起因して、正解データの信頼度が低くなることがある。
【0015】
ここで、信頼度の低いデータとは、学習画像データの画質が低いデータや、正解データが不正確で一貫性のないデータを意味する。このような信頼度が低いと思われる正解データを用いて学習を行うと効果的に学習が行えず、学習の結果として得た推定器による推定精度が低くなってしまう可能性がある。
【0016】
これに対して、本実施形態の情報処理装置では、以下に説明するように、教師データセットに信頼度の低い正解データが含まれる場合にも、信頼度の低い正解データが学習に及ぼす影響を小さくし、推定器による推定精度の低下を抑制することができる。
【0017】
本実施形態における情報処理装置は、対象物が描出されている画像データである入力画像から対象物の輪郭を推定する装置であり、推定器（学習モデル）を生成する機能と、未知の画像に対し推定する機能を有している。
【0018】
具体的には、まず、学習過程において、情報処理装置は、画像データで構成される教師データセットを用いて、画像に含まれる対象物の輪郭を表す点群位置の座標値を推定する推定器を生成する。そして、推定過程において、情報処理装置は、生成した推定器を用いて、未知の入力画像（処理対象画像）に含まれる対象物の輪郭点群の座標値を推定する。本実施形態では、心臓超音波検査で撮像された３次元心臓超音波画像を入力とする場合を例とし、入力画像中の右心室を対象物として、右心室の内膜輪郭点群の座標値の推定について説明する。
【0019】
また、本実施形態の学習過程では、推定器の入出力の関係が教師データセットに対応しており、情報処理装置は、入力が３次元心臓超音波画像であり、出力が右心室の内膜輪郭の点群位置の座標値となるように推定器を構成する。そして、情報処理装置は、推定器の出力である座標値と正解データが示す座標値との差異を損失値として算出し、算出された損失値を最小化するように推定器（学習モデル）の最適化を実施する。次に、本実施形態の推定過程では、情報処理装置は、生成した推定器を用いて、未知の３次元心臓超音波画像を入力として、推定対象である右心室の内膜輪郭点群の座標値を推定する。
【0020】
本実施形態に係る情報処理装置は、医師や技師などのユーザーが超音波プローブを用いて撮像した３次元心臓超音波画像データを入力画像（処理対象画像）として取得する。次に、上記で生成した学習モデルを取得し、入力画像データに対する推定処理を実施する。
【0021】
本実施形態の推定器（学習モデル）の取得は以下のように行われる。まず、学習の対象となる教師データセットを取得する。本実施形態では、ある１つの３次元心臓超音波画像と、その画像に描出される右心室の内膜輪郭の形状を表す正解データの組（ペア）を１つの教師データ（教師データペアとも呼ぶ）とする。そして、複数の教師データペアを集めたものを教師データセットとする。
【0022】
より具体的には、本実施形態における正解データは、右心室の内膜輪郭上に離散的に配置した点群の位置座標のデータである。本実施形態では、正解データに含まれる内膜輪郭上の点群を構成する各点の位置座標を、正解内膜輪郭点と称する。なお、内膜輪郭の点群の各点が特徴点の一例であり、右心室領域、内膜、内膜輪郭および特徴点が対象物の空間的な情報の一例として含まれる。そして、正解データの内膜輪郭の点群のそれぞれについて、どの程度信頼できるかを示す適合度を算出する。ここで、正解データに関する適合度は、それぞれの教師データに対して、正解データが示す正解（内膜輪郭点）が実際の対象物の領域を示すものとしてどの程度信頼できるかを示す指標（信頼度）である。続いて、
各正解内膜輪郭点の適合度に基づいて誤差値を重みづけした、各正解内膜輪郭点の位置座標に関する損失値を算出する。そして、情報処理装置は、算出した損失値を最小化するように、推定器を最適化する。なお、推定器（学習モデル）の取得における上記の３次元心臓超音波画像と右心室の正解内膜輪郭点の点群の位置座標とは、学習画像データと正解データの一例である。本実施形態における推定器はＣＮＮによって構成し、その具体例としてはＶＧＧ１６やＤｅｎｓｅ Ｎｅｔのような公知のネットワークを使用することができる。
各正解内膜輪郭点の適合度に基づいて誤差値を重みづけした、各正解内膜輪郭点の位置座標に関する損失値を算出する。そして、情報処理装置は、算出した損失値を最小化するように、推定器を最適化する。なお、推定器（学習モデル）の取得における上記の３次元心臓超音波画像と右心室の正解内膜輪郭点の点群の位置座標とは、学習画像データと正解データの一例である。本実施形態における推定器はＣＮＮによって構成し、その具体例としてはＶＧＧ１６やＤｅｎｓｅ Ｎｅｔのような公知のネットワークを使用することができる。
【0023】
以下、図１を用いて本実施形態の情報処理装置の構成および処理を説明する。図１は、本実施形態の情報処理装置１０を含む情報処理システム１（医用情報処理システムともいう）の構成例を示すブロック図である。情報処理システム１は、情報処理装置１０およびデータベース２２を備える。情報処理装置１０は、ネットワーク２１を介してデータベース２２に通信可能に接続されている。ネットワーク２１は、例えば、ＬＡＮ（Ｌｏｃａｌ
Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。
Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）を含む。
【0024】
データベース２２は、以下に説明する処理に使用される画像や情報を保持および管理する。データベース２２で管理される情報には、ネットワークに入力される画像（入力画像、処理対象画像）と、推定器（学習モデル）を生成するための教師データセットが含まれる。また、学習モデル取得部４２が教師データセットを用いて生成した推定器の情報（モデルの構造やパラメータ。詳細については後述する）が含まれてもよい。推定器の情報は、データベース２２の代わりに、情報処理装置１０の内部記憶（ＲＯＭ３２または記憶部３４）に記憶されてもよい。情報処理装置１０は、ネットワーク２１を介してデータベース２２に保持されているデータを取得することが可能である。
【0025】
情報処理装置１０は、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）３１（通信部）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３、記憶部３４、操作部３５、表示部３６、および制御部４０を備える。
【0026】
通信ＩＦ３１（通信部）は、ＬＡＮカードなどにより構成され、外部装置（例えば、データベース２２など）と情報処理装置１０との通信を実現する。ＲＯＭ３２は、不揮発性のメモリなどにより構成され、各種プログラムや各種データを記憶する。ＲＡＭ３３は、揮発性のメモリなどにより構成され、実行中のプログラムやデータを一時的に記憶するワークメモリとして用いられる。記憶部３４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などにより構成され、各種プログラムや各種データを記憶する。操作部３５は、キーボードやマウス、タッチパネルなどにより構成され、ユーザー（例えば、医師や技師）からの指示を情報処理装置１０の各部に入力する。
【0027】
表示部３６は、ディスプレイなどにより構成され、各種情報をユーザーに表示する。制御部４０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や専用または汎用のプロセッサから構成される。制御部４０は、ＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ
Ａｒｒａｙ）などで構成されてもよい。あるいは、制御部４０は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）で構成されてもよい。制御部４０は、後述する推論部４１、学習モデル取得部４２を含む。また、推論部４１は、入力データ取得部４３、推定部４４から構成され、学習モデル取得部４２は、教師データ取得部４５、適合度取得部４６、学習部４７から構成される。
Ａｒｒａｙ）などで構成されてもよい。あるいは、制御部４０は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）で構成されてもよい。制御部４０は、後述する推論部４１、学習モデル取得部４２を含む。また、推論部４１は、入力データ取得部４３、推定部４４から構成され、学習モデル取得部４２は、教師データ取得部４５、適合度取得部４６、学習部４７から構成される。
【0028】
入力データ取得部４３は、処理対象の入力画像（処理対象画像）データをデータベース２２や記憶部３４から取得する。入力画像データは、例えば不図示の超音波診断装置によ
って取得された被検体（患者）の対象物の画像データである。本実施形態では一例として、被検体の体表から心臓（対象物）を撮像した３次元心臓超音波画像データとする。なお、入力データ取得部４３は、入力画像データを超音波診断装置から直接取得してもよく、この場合は、情報処理装置１０は超音波診断装置の機能の一部として超音波診断装置に実装されていてもよい。本実施形態では、入力画像データは３次元の医用画像とするが、入力画像データは２次元の画像であってもよいし、医用画像ではない画像であってもよい。
って取得された被検体（患者）の対象物の画像データである。本実施形態では一例として、被検体の体表から心臓（対象物）を撮像した３次元心臓超音波画像データとする。なお、入力データ取得部４３は、入力画像データを超音波診断装置から直接取得してもよく、この場合は、情報処理装置１０は超音波診断装置の機能の一部として超音波診断装置に実装されていてもよい。本実施形態では、入力画像データは３次元の医用画像とするが、入力画像データは２次元の画像であってもよいし、医用画像ではない画像であってもよい。
【0029】
推定部４４は、学習モデル取得部４２が取得した学習モデルを用いて、入力データ取得部４３が取得した入力画像データから、推定対象である対象物の輪郭点群の座標値を推定する。本実施形態における推定部４４は、３次元心臓超音波画像データを当該学習モデルの入力として用い、右心室領域の内膜輪郭点群位置の座標値を処理結果として得る。
【0030】
教師データ取得部４５は、データベース２２や記憶部３４から教師データセットを取得する。教師データセットは、学習画像データと該学習画像データに対する正解データとから構成される教師データペアを複数ペア含む。学習画像データは、入力画像データと同一の形式で表現された対象物の画像データであり、本実施形態では、一例として、心臓を撮像した３次元心臓超音波画像データとする。また、正解データは、推定部４４の処理結果と同一の形式で表現された推定対象を示すデータであり、本実施形態では、一例として、３次元心臓超音波画像データに含まれる右心室領域における内膜輪郭点群位置を示す３次元の座標値とする。なお、本実施形態では、内膜輪郭点群位置の座標値を推定対象とするが、輪郭点群の代わりにランドマーク位置の座標値を推定対象とする場合であっても本実施形態を適用することができる。
【0031】
適合度取得部４６は、教師データセットに含まれる各ペアの教師データについて、正解データの座標値それぞれの適合度を算出する。本実施形態における適合度取得部４６は、３次元心臓超音波画像データ内に含まれる右心室領域の内膜輪郭点群位置の画素値に基づいて適合度を算出して取得する。
【0032】
学習部４７は、教師データセットの各教師データペアについて、現在の推定器によって推定される学習画像データの内膜輪郭点群位置の座標値（推定データ、推定座標）と、正解データの内膜輪郭点群位置の座標値（正解座標）との差異（誤差値）を算出する。学習部４７は、誤差評価関数に基づいてこの誤差値を算出する。そして、学習部４７は、算出した誤差値に、適合度取得部４６が取得した適合度を重みとして乗算することにより、損失値を算出する。次に、学習部４７は、算出された損失値を最小化するように推定器を更新する。そして、学習部４７は、あらかじめ設定された回数の推定器の更新が完了するまで、損失値の算出と推定器の更新を繰り返す。
【0033】
なお、本実施形態における学習部４７は、学習パラメータから推定される右心室領域の推定内膜輪郭点群位置の座標値と正解データの誤差値を誤差評価関数により算出する。また、算出された誤差値に適合度取得部４６で算出された適合度を乗算することで損失値を算出する。
【0034】
また、本実施形態では、設定された回数分の推定器が更新されるまで損失値の算出と推定器の更新を繰り返すが、推定器に含まれるパラメータの更新幅が規定値より小さい場合には繰り返し処理を終了してもよい。表示処理部４８は、入力データ取得部４３で取得した入力画像データと、推定部４４で推定した座標を表示部３６に出力する。
【0035】
【0036】
（ステップＳ１１０：入力データを取得）
ステップＳ１１０において、入力データ取得部４３は、操作部３５によってユーザーが指定した入力画像データをデータベース２２から取得して、記憶部３４に格納する。なお、入力データ取得部４３は、これ以外の方法で入力画像データを取得してもよい。例えば、入力データ取得部４３は、撮像装置が時々刻々と撮像する画像データを入力画像データとして順次取得してもよい。また、表示処理部４８が、取得した入力画像データを表示部３６に表示してもよい。また、本ステップの処理は、ステップＳ１２０の処理の後に行ってもよい。
ステップＳ１１０において、入力データ取得部４３は、操作部３５によってユーザーが指定した入力画像データをデータベース２２から取得して、記憶部３４に格納する。なお、入力データ取得部４３は、これ以外の方法で入力画像データを取得してもよい。例えば、入力データ取得部４３は、撮像装置が時々刻々と撮像する画像データを入力画像データとして順次取得してもよい。また、表示処理部４８が、取得した入力画像データを表示部３６に表示してもよい。また、本ステップの処理は、ステップＳ１２０の処理の後に行ってもよい。
【0037】
（ステップＳ１２０：学習モデルを取得）
ステップＳ１２０において、学習モデル取得部５２は、推定器（学習モデル）を取得する。本実施形態では、推定器としてＣＮＮ（以下、輪郭推定ＣＮＮと称する）を用いるものとする。そして、学習モデル取得部５２は、上記の処理により得られる輪郭推定ＣＮＮを、データベース２２あるいは記憶部３４に格納する。以下では、図３のサブフローチャートを用いて、ステップＳ１２０の処理の詳細について説明する。
ステップＳ１２０において、学習モデル取得部５２は、推定器（学習モデル）を取得する。本実施形態では、推定器としてＣＮＮ（以下、輪郭推定ＣＮＮと称する）を用いるものとする。そして、学習モデル取得部５２は、上記の処理により得られる輪郭推定ＣＮＮを、データベース２２あるいは記憶部３４に格納する。以下では、図３のサブフローチャートを用いて、ステップＳ１２０の処理の詳細について説明する。
【0038】
（ステップＳ１２１：教師データセットを取得）
ステップＳ１２１において、教師データ取得部４５は、操作部３５によってユーザーが指定した教師データセットをデータベース２２から取得して、記憶部３４に格納する。なお、教師データ取得部４５は、これ以外の方法で教師データセットを取得してもよい。例えば、教師データ取得部４５が、撮像装置が時々刻々と撮像する画像を順次取得し、ユーザーが、取得された各画像に対して正解データを作成してもよい。
ステップＳ１２１において、教師データ取得部４５は、操作部３５によってユーザーが指定した教師データセットをデータベース２２から取得して、記憶部３４に格納する。なお、教師データ取得部４５は、これ以外の方法で教師データセットを取得してもよい。例えば、教師データ取得部４５が、撮像装置が時々刻々と撮像する画像を順次取得し、ユーザーが、取得された各画像に対して正解データを作成してもよい。
【0039】
なお、本実施形態では、推定器によって、右心室領域の内膜輪郭の点群位置の座標値を推定するが、推定器は、他の心室や心房の輪郭の点群位置の座標値を学習するものであってもよい。また、推定器は、輪郭上の点群位置の座標値を推定するものに限らず、心臓領域に含まれる弁などのランドマーク位置の座標値を学習および推定するものであってもよい。
【0040】
（ステップＳ１２２：正解データの適合度を取得）
ステップＳ１２２において、適合度取得部４６は、ステップＳ１２１で取得した教師データセットを用いて、教師データセットに含まれる各教師データペアについて適合度を算出する。具体的には、適合度取得部４６は、学習画像データ内の正解データに該当する輪郭点の位置における画素値に基づいて、各輪郭点に関する正解データの適合度を算出して取得する。
ステップＳ１２２において、適合度取得部４６は、ステップＳ１２１で取得した教師データセットを用いて、教師データセットに含まれる各教師データペアについて適合度を算出する。具体的には、適合度取得部４６は、学習画像データ内の正解データに該当する輪郭点の位置における画素値に基づいて、各輪郭点に関する正解データの適合度を算出して取得する。
【0041】
本実施形態では、適合度取得部４６は、各教師データペアについて、輪郭点に関する正解データの適合度を算出する。右心室領域は、隣接する他の領域と壁により隔てられた腔の領域である。一般に超音波画像では壁は画素値が高く、腔は画素値が低く描出される。すなわち、右心室の内膜輪郭点群の推定は、画素値の高い領域と低い領域の境界を抽出する。そのため、適合度は、正解データが示すそれぞれの輪郭点の位置の３次元心臓超音波画像の画素値に基づいて、画素値が高い正解データに対しては適合度が高く、画素値が低い正解データに対しては適合度が低くなるように算出する。より具体的には、３次元心臓超音波画像の画素値を符号なし８ｂｉｔの整数で表す場合、画素値が、取り得る最小値（「０」）である輪郭点の正解データの適合度を０．０とし、取り得る最大値（「２５５」）である輪郭点の正解データの適合度を１．０とする。そして、適合度取得部４６は、教師データセットに含まれるすべての教師データペアについて適合度（０．０～１．０の値）を算出する。
【0042】
図４Ａおよび図４Ｂに、右心室領域の学習画像データにおける適合度の例を示す。図４
Ａに示す画像では、右心室の内膜輪郭点群に含まれる輪郭点４０１については、周辺の超音波画像が不明瞭であり、画素値が取り得る最小値となるため適合度は０．０となる。また、右心室の内膜輪郭点群に含まれる別の輪郭点４０２については、画素値が中程度（例えば１２０）であるため適合度は０．４となる。また、図４Ｂに示す画像では、右心室の内膜輪郭点群に含まれる輪郭点４０３については、周辺の超音波画像がやや明瞭であり、画素値が取り得る最大値に近い（例えば２００）ため適合度は０．８となる。また、右心室の内膜輪郭点群に含まれる別の輪郭点４０４については、周辺の超音波画像が明瞭であり、画素値が輪郭点４０３の画素値よりもさらに大きい（例えば２４０）ため適合度は０．９となる。そして、図４Ａおよび図４Ｂにおいて、他の輪郭点についても同様に適合度が算出され、各輪郭点について輪郭点と適合度とがペアとなる。図の矢印に示すように、輪郭点と内膜の輪郭との距離が近いほど適合度が大きくなる。また、図４Ａおよび図４Ｂに例示するように、学習画像データごとに輪郭点とペアとなる適合度は異なる場合がある。
Ａに示す画像では、右心室の内膜輪郭点群に含まれる輪郭点４０１については、周辺の超音波画像が不明瞭であり、画素値が取り得る最小値となるため適合度は０．０となる。また、右心室の内膜輪郭点群に含まれる別の輪郭点４０２については、画素値が中程度（例えば１２０）であるため適合度は０．４となる。また、図４Ｂに示す画像では、右心室の内膜輪郭点群に含まれる輪郭点４０３については、周辺の超音波画像がやや明瞭であり、画素値が取り得る最大値に近い（例えば２００）ため適合度は０．８となる。また、右心室の内膜輪郭点群に含まれる別の輪郭点４０４については、周辺の超音波画像が明瞭であり、画素値が輪郭点４０３の画素値よりもさらに大きい（例えば２４０）ため適合度は０．９となる。そして、図４Ａおよび図４Ｂにおいて、他の輪郭点についても同様に適合度が算出され、各輪郭点について輪郭点と適合度とがペアとなる。図の矢印に示すように、輪郭点と内膜の輪郭との距離が近いほど適合度が大きくなる。また、図４Ａおよび図４Ｂに例示するように、学習画像データごとに輪郭点とペアとなる適合度は異なる場合がある。
【0043】
なお、上記の実施形態では、正解データが示す輪郭点の位置における画素値に基づいて、当該輪郭点の正解データの適合度を算出する場合を例として説明したが、適合度の算出はこれに限らない。例えば、正解データが示す輪郭点の位置の周辺の画素値に基づいて算出するようにしてもよい。例えば、適合度取得部４６は、正解データの座標値に該当する位置周辺の画素値から、当該位置のエッジ強度を算出し、算出したエッジ強度に基づいて適合度を算出してもよい。
【0044】
この場合、適合度取得部４６は、画素値の空間勾配、例えば輝度勾配、に基づいてエッジ強度を算出することができる。具体的には、適合度取得部４６は、内膜輪郭点群から算出される内膜輪郭線（隣接する内膜輪郭点同士を結んだ線）と直交する方向における画素値の空間勾配に基づいてエッジ強度を算出することができる。なお、この算出方法以外の算出方法が採用されてもよい。例えば、適合度取得部４６は、内膜輪郭線と直交する方向における複数の位置でエッジ強度を算出する。そして、適合度取得部４６は、算出したエッジ強度のうち閾値としての所定のエッジ強度以上である位置が内膜輪郭線から近いほど適合度を高く算出し、内膜輪郭線から遠いほど適合度を低く算出する。また、算出したエッジ強度が閾値以上となる位置が、内膜輪郭線から一定距離を超えて離れている場合には、適合度取得部４６は、適合度を０としてもよい。
【0045】
また、適合度取得部４６による適合度の算出方法は、内膜輪郭の点群位置に基づいて算出される内膜輪郭線の曲率など、正解内膜輪郭点の相互の位置関係に基づいて適合度を算出する方法であってもよい。具体的には、適合度取得部４６は、内膜輪郭線において、適合度を算出したい内膜輪郭点と隣接する両隣の内膜輪郭点との位置の関係に基づいて曲率を算出する。これにより、適合度取得部４６は、教師データにおける正解データの各特徴点について、該特徴点自身と該特徴点自身以外の特徴点との位置関係に基づいて適合度を算出する。また、この位置関係は、各特徴点に基づく対象物の輪郭線の曲率と捉えられる。
【0046】
また、適合度の算出方法はすべての正解内膜輪郭点に対して同一の方法を用いる必要はなく、内膜輪郭線を構成する点群の点ごとに異なる算出方法を用いてもよい。具体的には、右心室の内膜輪郭の点群のうち、三尖弁輪の位置に該当する点とそれ以外の点で異なる算出方法を用いてもよい。例えば、適合度取得部４６は、三尖弁輪に位置する点は当該位置の画像データの画素値に応じて適合度を算出し、それ以外の点については、内膜輪郭点の相互の位置関係に基づいて適合度を算出してもよい。
【0047】
（ステップＳ１２３：教師データセットを用いて座標値を推定）
ステップＳ１２３において、学習部４７は、ステップＳ１２１で取得した学習画像デー
タに対して、現在（学習中）における輪郭推定ＣＮＮが有するパラメータによって生成された推定器（学習モデル）を用いて推定を実行する。そして、学習部４７は、推定結果として、右心室領域の内膜輪郭の点群位置の座標値（推定データ、推定座標）を算出する。ここで、輪郭推定ＣＮＮが有する学習パラメータとは、典型的には、複数のＣｏｎｖｏｌｕｔｉｏｎ層のカーネルの重みやバイアス、学習に使用する層のオフセットやスケール係数などである。なお、本ステップにおける画像データと学習パラメータに基づく推定方法は、ＣＮＮを用いた公知の方法が採用できる。
ステップＳ１２３において、学習部４７は、ステップＳ１２１で取得した学習画像デー
タに対して、現在（学習中）における輪郭推定ＣＮＮが有するパラメータによって生成された推定器（学習モデル）を用いて推定を実行する。そして、学習部４７は、推定結果として、右心室領域の内膜輪郭の点群位置の座標値（推定データ、推定座標）を算出する。ここで、輪郭推定ＣＮＮが有する学習パラメータとは、典型的には、複数のＣｏｎｖｏｌｕｔｉｏｎ層のカーネルの重みやバイアス、学習に使用する層のオフセットやスケール係数などである。なお、本ステップにおける画像データと学習パラメータに基づく推定方法は、ＣＮＮを用いた公知の方法が採用できる。
【0048】
（ステップＳ１２４：適合度を用いて損失値を算出）
ステップＳ１２４において、学習部４７は、各教師データペアに関する損失値を算出する。具体的には、学習部４７は、ステップＳ１３１で算出した推定データと、ステップＳ１２１で取得した正解データから、あらかじめ設定された誤差評価関数を用いて輪郭点ごとに誤差評価を行い、誤差値を算出する。次いで、学習部４７は、ステップＳ１２２で算出した各輪郭点の正解データの適合度を、各輪郭点の推定データの誤差値にそれぞれ乗算し、それらを合算することで損失値を算出する。なお、内膜輪郭を複数の輪郭に分割し、複数に分割された輪郭毎に、各輪郭点の正解データの適合度を、各輪郭点の推定データの誤差値にそれぞれ乗算し、それらを合算して、損失値を求めてもよい。学習部４７は、複数に分割された輪郭毎に、損失値を算出することができる。
ステップＳ１２４において、学習部４７は、各教師データペアに関する損失値を算出する。具体的には、学習部４７は、ステップＳ１３１で算出した推定データと、ステップＳ１２１で取得した正解データから、あらかじめ設定された誤差評価関数を用いて輪郭点ごとに誤差評価を行い、誤差値を算出する。次いで、学習部４７は、ステップＳ１２２で算出した各輪郭点の正解データの適合度を、各輪郭点の推定データの誤差値にそれぞれ乗算し、それらを合算することで損失値を算出する。なお、内膜輪郭を複数の輪郭に分割し、複数に分割された輪郭毎に、各輪郭点の正解データの適合度を、各輪郭点の推定データの誤差値にそれぞれ乗算し、それらを合算して、損失値を求めてもよい。学習部４７は、複数に分割された輪郭毎に、損失値を算出することができる。
【0049】
具体的には、学習部４７は、各輪郭点について、あらかじめ設定された誤差評価関数、例えばＭｅａｎ Ｓｑｕａｒｅｄ Ｅｒｒｏｒ（ＭＳＥ）などの公知の方法により輪郭点ごとに誤差値を算出する。そして、学習部４７は、算出された各輪郭点の誤差値に対して、それぞれの正解データの適合度を乗算することにより輪郭点ごとの損失値を算出する。さらに、学習部４７は、各輪郭点の損失値を合算することにより、教師データペアに対しての損失値を算出する。
【0050】
学習部４７は、上記の教師データペアに関する損失値を算出する処理を、すべての教師データペアに対して実行し、すべての教師データペアの損失値の平均値を求めることで、教師データセットに対する損失値を算出する。なお、この一連の損失値の算出処理を行う関数を損失関数と称する。本実施形態では、学習部４７は、誤差評価関数としてＭＳＥを用いて、輪郭点ごとに推定データの誤差値を算出する。そして、学習部４７は、算出された輪郭点ごとの推定データの誤差値に輪郭点の正解データの適合度をそれぞれ乗算し、乗算して得られる値を平均することにより損失値を算出する。
【0051】
なお、本ステップにおける学習部４７による損失値の算出方法は、上記の方法に限らず、推定点ごとの誤差値として、推定データ（推定座標）と正解データ（正解座標）の点間の３次元距離を用いる方法が採用されてもよい。あるいは、本ステップにおける誤差評価関数として、輪郭点ごとにＭＳＥを用いて算出した推定データの誤差値と３次元距離から算出される誤差値を加算して誤差値を算出する誤差評価関数が用いられてもよい。
【0052】
（ステップＳ１２５：学習処理を実行）
ステップＳ１２５において、学習部４７は、誤差逆伝播法などの公知の方法を用いて、ステップＳ１２４で算出した損失値を小さくするように、推定器である輪郭推定ＣＮＮが有するパラメータを更新する。ここで、輪郭推定ＣＮＮが有するパラメータの更新は、最適化手法を用いて行う。なお、最適化手法は、Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ
Ｄｅｓｃｅｎｔ（ＳＧＤ）法やＡｄａｍ法のような公知の方法を利用することができる。これらの手法を適用する際に設定する学習率やバッチサイズなどのハイパーパラメータは公知の方法により適切に設定すればよい。
ステップＳ１２５において、学習部４７は、誤差逆伝播法などの公知の方法を用いて、ステップＳ１２４で算出した損失値を小さくするように、推定器である輪郭推定ＣＮＮが有するパラメータを更新する。ここで、輪郭推定ＣＮＮが有するパラメータの更新は、最適化手法を用いて行う。なお、最適化手法は、Ｓｔｏｃｈａｓｔｉｃ Ｇｒａｄｉｅｎｔ
Ｄｅｓｃｅｎｔ（ＳＧＤ）法やＡｄａｍ法のような公知の方法を利用することができる。これらの手法を適用する際に設定する学習率やバッチサイズなどのハイパーパラメータは公知の方法により適切に設定すればよい。
【0053】
（ステップＳ１２６：学習処理の終了判定）
ステップＳ１２６において、学習部４７は、学習処理を終了するか否かを判定し、終了する場合にはステップＳ１２０の処理を終了し、そうでない場合には処理をステップＳ１２３に戻す。ここで、学習処理の終了判定は、あらかじめ設定する終了条件を満たしているか否かの判定である。学習の終了条件は、一例として、学習開始からの経過エポック数（これまでの累計の繰り返し回数）や損失値が所定の条件を満たすか否かに基づく条件が挙げられるが、これらの条件に限定されない。例えば、学習部４７は、教師データセットとは別に検証データセットを用意し、検証データセットに対する推定精度が所定の条件に達する場合に学習処理を終了してもよい。また、上記の学習の終了条件は、複数の学習の終了条件が組み合わされたものであってもよい。なお、ここでは、学習開始からの経過エポック数の上限値（最大エポック数）に達することを学習の終了条件とする。これにより、最大エポック数の回数分だけステップＳ１２３からステップＳ１２６の処理が繰り返して実行される。
ステップＳ１２６において、学習部４７は、学習処理を終了するか否かを判定し、終了する場合にはステップＳ１２０の処理を終了し、そうでない場合には処理をステップＳ１２３に戻す。ここで、学習処理の終了判定は、あらかじめ設定する終了条件を満たしているか否かの判定である。学習の終了条件は、一例として、学習開始からの経過エポック数（これまでの累計の繰り返し回数）や損失値が所定の条件を満たすか否かに基づく条件が挙げられるが、これらの条件に限定されない。例えば、学習部４７は、教師データセットとは別に検証データセットを用意し、検証データセットに対する推定精度が所定の条件に達する場合に学習処理を終了してもよい。また、上記の学習の終了条件は、複数の学習の終了条件が組み合わされたものであってもよい。なお、ここでは、学習開始からの経過エポック数の上限値（最大エポック数）に達することを学習の終了条件とする。これにより、最大エポック数の回数分だけステップＳ１２３からステップＳ１２６の処理が繰り返して実行される。
【0054】
以上の処理により、学習モデル取得部４２が学習モデルを取得するステップＳ１２０の処理が行われる。すなわち、学習モデル取得部４２は、輪郭推定ＣＮＮの学習を行い、輪郭推定ＣＮＮの推定器（学習モデル）を生成し、生成した推定器をデータベース２２または記憶部３４に格納する。
【0055】
（ステップＳ１３０：学習モデルを用いて座標値を推定）
ステップＳ１３０において、推定部４４は、ステップＳ１２０で学習された推定器（学習モデル）を記憶部３４から取得する。そして、推定部４４は、ステップＳ１１０で取得した３次元心臓超音波画像データを推定器に入力し、３次元心臓超音波画像データに描出されている右心室領域の内膜輪郭の点群位置の座標値を推定する。
ステップＳ１３０において、推定部４４は、ステップＳ１２０で学習された推定器（学習モデル）を記憶部３４から取得する。そして、推定部４４は、ステップＳ１１０で取得した３次元心臓超音波画像データを推定器に入力し、３次元心臓超音波画像データに描出されている右心室領域の内膜輪郭の点群位置の座標値を推定する。
【0056】
（ステップＳ１４０：推定結果を表示）
ステップＳ１４０において、表示処理部４８は、ステップＳ１３０で推定された結果に基づいて、入力画像データおよび座標位置を出力する。例えば、表示処理部４８は、出力するデータをデータベース２２や記憶部３４に格納してもよいし、表示部３６に表示してもよい。本実施形態では、表示処理部４８は、入力画像データの３次元心臓超音波画像を表示部３６に表示し、ステップＳ１３０で推定された右心室の内膜輪郭の点群位置の座標値に対応する点を画像に重畳して表示する。
ステップＳ１４０において、表示処理部４８は、ステップＳ１３０で推定された結果に基づいて、入力画像データおよび座標位置を出力する。例えば、表示処理部４８は、出力するデータをデータベース２２や記憶部３４に格納してもよいし、表示部３６に表示してもよい。本実施形態では、表示処理部４８は、入力画像データの３次元心臓超音波画像を表示部３６に表示し、ステップＳ１３０で推定された右心室の内膜輪郭の点群位置の座標値に対応する点を画像に重畳して表示する。
【0057】
以上に説明した処理により、第１実施形態における情報処理装置１０の処理が実行される。これにより、３次元心臓超音波画像データと、右心室領域の正解内膜輪郭点の点群位置の座標値とから構成される教師データセットを用いた学習処理によって推定器が生成される。本実施形態では、推定器の生成過程において、正解データごとの適合度を用いることで、教師データセットに信頼度の低い正解データが含まれる場合にも、信頼度の低い正解データが学習に及ぼす影響を小さくすることできる効果が得られる。また、この効果は、信頼度が低い教師データを教師データセットから除外することなく得られるため、学習に使用する教師データを減少させることがない、すなわち学習に使用するデータのバリエーションの低下を抑えることができる。これにより、本実施形態の情報処理装置１０では、推定器の精度低下を抑制することが期待できる。
【0058】
（変形例１－１）
以下に、第１実施形態の複数の変形例（変形例１－１～１－６）について説明する。なお、以下の変形例の説明において、第１実施形態と共通の構成については同一の符号を付し、詳細な説明を省略する。
以下に、第１実施形態の複数の変形例（変形例１－１～１－６）について説明する。なお、以下の変形例の説明において、第１実施形態と共通の構成については同一の符号を付し、詳細な説明を省略する。
【0059】
まず、変形例１－１について説明する。第１実施形態に係る情報処理装置１０では、ステップＳ１２０において、教師データセットを用いた学習処理を実行し、その結果として
得られる推定器を用いてステップＳ１３０の推定処理を実行する。一方、本変形例に係る情報処理装置１０では、例えば、ステップＳ１２０の処理として、教師データセットを用いた学習処理を行う代わりに、あらかじめ学習処理によって生成した推定器をデータベース２２や記憶部３４などから取得する。なお、データベース２２や記憶部３４に格納される推定器は、例えば第１実施形態で説明したステップＳ１２０と同様の処理により生成することができる。すなわち、教師データセットを用いた学習処理により生成した推定器を、あらかじめデータベース２２や記憶部３４に格納しておき、情報処理装置１０が推定器を取得してステップＳ１３０以降の処理を実行する。
得られる推定器を用いてステップＳ１３０の推定処理を実行する。一方、本変形例に係る情報処理装置１０では、例えば、ステップＳ１２０の処理として、教師データセットを用いた学習処理を行う代わりに、あらかじめ学習処理によって生成した推定器をデータベース２２や記憶部３４などから取得する。なお、データベース２２や記憶部３４に格納される推定器は、例えば第１実施形態で説明したステップＳ１２０と同様の処理により生成することができる。すなわち、教師データセットを用いた学習処理により生成した推定器を、あらかじめデータベース２２や記憶部３４に格納しておき、情報処理装置１０が推定器を取得してステップＳ１３０以降の処理を実行する。
【0060】
したがって、第１実施形態で説明したステップＳ１２０の処理は、ステップＳ１１０、Ｓ１３０、Ｓ１４０を実行する情報処理装置１０と同一の情報処理装置で実行される必要はない。すなわち、情報処理装置１０は、上記の推定器の学習過程の処理のみを行う構成、あるいは、上記の推定器を用いた推定過程の処理のみを行うように構成されていてもよい。前者の場合、情報処理装置１０は、推論部４１の機能を備えず、ステップＳ１２０の処理のみを行う各部を備えるように構成することができる。後者の場合、情報処理装置１０は、学習モデル取得部４２として、教師データ取得部４５、適合度取得部４６、学習部４７の機能を備えず、代わりに、データベース２２や記憶部３４に格納された推定器を取得する機能を備えるように構成することができる。
【0061】
また、本変形例では、ステップＳ１２０の処理は、必ずしもステップＳ１１０の処理の後、あるいはステップＳ１３０の処理の前に実行される必要はない。また、ステップＳ１４０の処理は省略されてもよく、情報処理装置１０は、推定データの情報をデータベース２２や記憶部３４に格納するように構成されてもよい。また、情報処理装置１０は、推定データの表示や保存は行わずに、推定データに基づく対象物に関する診断支援情報の導出を行い、診断支援情報をデータベース２２や記憶部３４に格納するように構成されてもよい。ここで、診断支援情報の導出として、例えば、対象物の形状（体積等）や対象物に関する機能（駆出率等）の計測や、対象物の状態（心機能の正常からの逸脱等）の判定などが挙げられる。
【0062】
（変形例１－２）
次に、変形例１－２について説明する。第１実施形態に係る情報処理装置１０では、心臓超音波検査において撮像された３次元心臓超音波画像データを用いて右心室領域の内膜輪郭の点群位置の座標値を推定する。ただし、以下に説明するように、情報処理装置１０において、医用画像データ以外の画像データ、すなわち対象物に関する教師データ以外の情報を用いて推定処理を行うことも可能である。
次に、変形例１－２について説明する。第１実施形態に係る情報処理装置１０では、心臓超音波検査において撮像された３次元心臓超音波画像データを用いて右心室領域の内膜輪郭の点群位置の座標値を推定する。ただし、以下に説明するように、情報処理装置１０において、医用画像データ以外の画像データ、すなわち対象物に関する教師データ以外の情報を用いて推定処理を行うことも可能である。
【0063】
本変形例において、医用画像データ以外の画像データの一例として、ヒトの顔の画像データが挙げられる。ここでは、ヒトの顔領域が対象物の領域である。具体的には、情報処理装置１０によって、ヒトの顔の画像データから、ヒトの顔のランドマーク（顔の輪郭点群等）の位置を推定する。この場合、例えば、教師データセットに含まれる学習画像データの画像内で、ヒトの顔領域の一部が、手や体やマスクなどによって遮られるなどが原因で、顔の一部の輪郭が不明あるいは不正確であるか否かの判定に基づいて適合度が算出される。より具体的には、教師データセットに含まれる学習画像データにおいて顔の輪郭が遮られる現象が生じている場合は、当該学習画像データに対応する正解データの適合度をより低く算出する。また、学習画像データにおいて顔の輪郭が遮られていない場合は、当該学習画像データに対応する正解データの適合度をより高く算出する。
【0064】
そして、情報処理装置１０は、第１実施形態と同様に、算出した適合度に基づいて損失値を算出し、損失値を最小化するように推定器を生成する。これにより、本変形例の情報処理装置１０によれば、顔の輪郭における遮蔽の有無による教師データセットの信頼度の
高低に基づいて、学習モデルを生成することができる。この結果、当該推定器を用いた顔ランドマークの推定精度の低下の抑制が期待できる。
高低に基づいて、学習モデルを生成することができる。この結果、当該推定器を用いた顔ランドマークの推定精度の低下の抑制が期待できる。
【0065】
（変形例１－３）
次に、変形例１－３について説明する。本変形例では、以下に説明するように、情報処理装置１０において、心臓以外の部位を撮像した画像データを用いて推定処理を行うことも可能である。
次に、変形例１－３について説明する。本変形例では、以下に説明するように、情報処理装置１０において、心臓以外の部位を撮像した画像データを用いて推定処理を行うことも可能である。
【0066】
本変形例において、心臓以外の部位を撮像した画像データの一例として、３次元心臓超音波画像データにおける右心室領域および左心室領域の内膜輪郭を示す画像データが挙げられる。この場合、学習画像データとして、心臓領域を撮像した３次元心臓超音波画像データを用い、正解データとして、右心室領域および左心室領域の内膜輪郭の点群位置の座標値を用いた教師データセットを使用する。本変形例では、例えば、心臓超音波検査時の撮像範囲や撮像角度によっては、右心室領域は明瞭に映っている一方で、左心室領域は不明瞭な場合や、画像の範囲外に領域の一部が存在する場合が考えられる。このような場合に、情報処理装置１０は、明瞭に映っている右心室領域に関する適合度はより高く、不明瞭な左心室領域に関する適合度はより低くすることによって適合度を算出する。そして、情報処理装置１０は、算出した適合度に基づいて損失値を算出し、損失値を最小化するように推定器を生成する。これにより、本変形例の情報処理装置１０によれば、心臓以外の部位を撮像した画像データを含む教師データセットの信頼度に基づいて、学習モデルを生成することができる。
【0067】
（変形例１－４）
次に、変形例１－４について説明する。本変形例では、以下に説明するように、情報処理装置１０において、心臓以外の臓器を撮像した画像データや、他のモダリティによる画像データを用いて推定処理を行うことも可能である。
次に、変形例１－４について説明する。本変形例では、以下に説明するように、情報処理装置１０において、心臓以外の臓器を撮像した画像データや、他のモダリティによる画像データを用いて推定処理を行うことも可能である。
【0068】
本変形例において、他のモダリティによる画像データの一例として、肺などの臓器を撮像したＣＴ（Computed Tomography）画像データが挙げられる。そして、情報処理装置１
０は、例えばＣＴ画像データ内の臓器の輪郭の点群位置の座標値を推定する推定器を生成する。この場合、学習画像データとして、対象物となる臓器を撮像した２次元ＣＴ画像データを用い、正解データとして、対象臓器の輪郭を示す点群位置の２次元座標値を用いた教師データセットを使用する。本変形例では、情報処理装置１０は、取得した教師データセットの正解データに含まれる正解輪郭点群の座標値に該当する位置の画素値が、対象臓器の空間的なＸ線の吸収値を示すＣＴ値の理論値に近いほど適合度をより高く算出する。また、情報処理装置１０は、正解データに含まれる正解輪郭点群の座標値に該当する位置の画素値が、ＣＴ値の理論値から乖離するほど適合度をより低く算出する。そして、情報処理装置１０は、算出した適合度に基づいて損失値を算出し、損失値を最小化するように推定器を生成する。
０は、例えばＣＴ画像データ内の臓器の輪郭の点群位置の座標値を推定する推定器を生成する。この場合、学習画像データとして、対象物となる臓器を撮像した２次元ＣＴ画像データを用い、正解データとして、対象臓器の輪郭を示す点群位置の２次元座標値を用いた教師データセットを使用する。本変形例では、情報処理装置１０は、取得した教師データセットの正解データに含まれる正解輪郭点群の座標値に該当する位置の画素値が、対象臓器の空間的なＸ線の吸収値を示すＣＴ値の理論値に近いほど適合度をより高く算出する。また、情報処理装置１０は、正解データに含まれる正解輪郭点群の座標値に該当する位置の画素値が、ＣＴ値の理論値から乖離するほど適合度をより低く算出する。そして、情報処理装置１０は、算出した適合度に基づいて損失値を算出し、損失値を最小化するように推定器を生成する。
【0069】
本変形例において、適合度の算出方法の一例として、画像内において金属アーチファクトが生じることで輪郭の一部のＣＴ値が本来のＣＴ値よりも高くなっている位置の正解データに対する適合度を低くすることができる。ただし、対象となるモダリティ、部位、疾患は上記に限定されるものではない。
【0070】
このように、本変形例の情報処理装置１０によれば、３次元心臓超音波画像データ以外のモダリティから得られる画像データを用いて推定処理を行うことができる。
【0071】
（変形例１－５）
次に、変形例１－５について説明する。第１実施形態に係る情報処理装置１０では、ス
テップＳ１２０において、ステップＳ１２３からステップＳ１２６の処理を繰り返す度に、ステップＳ１２２で算出した各輪郭点の適合度を誤差に乗算する。一方、本変形例に係る情報処理装置１０では、ステップＳ１２３からステップＳ１２６の繰り返しのうち一部の繰り返しの処理において、推定データと正解データとの誤差に適合度を乗算する。例えば、情報処理装置１０は、学習開始からの経過エポック数が最大エポック数の半分に到達するまでは誤差に適合度を乗算する処理を省略する。そして、情報処理装置１０は、学習開始からの経過エポック数が最大エポック数の半分に到達した後のエポックでは、誤差に適合度を乗算する処理を行う。これにより、一部のエポックではすべての教師データセットを用いることで、適合度の高い一定領域に偏った推定を抑制することが可能となる。
次に、変形例１－５について説明する。第１実施形態に係る情報処理装置１０では、ス
テップＳ１２０において、ステップＳ１２３からステップＳ１２６の処理を繰り返す度に、ステップＳ１２２で算出した各輪郭点の適合度を誤差に乗算する。一方、本変形例に係る情報処理装置１０では、ステップＳ１２３からステップＳ１２６の繰り返しのうち一部の繰り返しの処理において、推定データと正解データとの誤差に適合度を乗算する。例えば、情報処理装置１０は、学習開始からの経過エポック数が最大エポック数の半分に到達するまでは誤差に適合度を乗算する処理を省略する。そして、情報処理装置１０は、学習開始からの経過エポック数が最大エポック数の半分に到達した後のエポックでは、誤差に適合度を乗算する処理を行う。これにより、一部のエポックではすべての教師データセットを用いることで、適合度の高い一定領域に偏った推定を抑制することが可能となる。
【0072】
また、第１実施形態では、推定器の生成方法として、ＣＮＮのような深層学習に基づく推定器の生成方法を例として挙げたが、推定器の生成方法はこれに限らない。本変形例において、例えば、ビジョントランスフォーマー等の、深層学習に基づくＣＮＮ以外の推定器を用いることもできる。この場合でも、情報処理装置１０は、算出した適合度を、第１実施形態で説明した上記と同じ方法を用いて、推定器の学習に利用することができる。
【0073】
さらに、本変形例では、上記の推定器の代わりに、Ｒａｎｄｏｍ ＦｏｒｅｓｔやＡｄａｂｏｏｓｔなどのアンサンブル学習を含む、深層学習以外の公知の手法に基づく識別器を用いてもよい。この場合でも、当該識別器の学習に第１実施形態における適合度を適用することができる。この場合、識別器は、入力される輪郭の点群位置の座標値が「輪郭の点群位置の座標値として適切であるか否か（すなわち、ＰｏｓｔｉｖｅかＮｅｇａｔｉｖｅか）」を判定する。そして、情報処理装置１０は、第１実施形態の上記の推定処理において、多数のパラメータを識別器に入力し、「輪郭の点群位置の座標値として適切である」と判定された候補を採用する。
【0074】
また、情報処理装置１０による識別器の学習においては、学習データをＰｏｓｉｔｉｖｅとＮｅｇａｔｉｖｅとに分割する関数が算出される。その際、この関数に対するコストを算出する際に、適合度がより高い座標値は重みがより大きくなり、適合度がより低い座標値は重みがより小さくなるように算出する。これにより、情報処理装置１０において輪郭推定に深層学習以外の手法に基づく識別器を用いる場合においても、識別器の学習に上記の適合度を用いることができる。
【0075】
また、第１実施形態の情報処理装置１０では、正解輪郭点群の座標値として、医師や技師によるアノテーションにより作成された座標値を用いて正解データが構成される。一方本変形例では、例えば、アノテーションにより作成された座標値に基づく正解データがない画像データについては、別の推定器を用いて推定された座標値を用いて構成されたデータが、正解データとして教師データセットの一部に含まれていてもよい。
【0076】
例えば、情報処理装置１０は、半教師あり学習において、アノテーションにより作成された正解データを用いて通常の学習を実施し、これにより作成された推定器を用いて正解データのない画像データを入力とした推定を行う。そして、情報処理装置１０は、推定データを擬似正解データとして、画像データと擬似正解データを教師データペアとして教師データセットに追加する。そして、情報処理装置１０は、擬似正解データに基づく教師データペアを含む教師データセットを用いて第１実施形態と同様の推定処理を実施する。
【0077】
擬似正解データに基づく教師データペアは、推定器を用いて推定された座標値を使用するため、アノテーションにより作成された正解データに基づく教師データペアよりも信頼度は低いと考えられる。そこで、本変形例では、情報処理装置１０は、擬似正解データに基づく教師データペアの適合度を、正解データに基づく教師データペアの適合度よりも低く算出してもよい。例えば、情報処理装置１０は、第１実施形態におけるステップＳ１２
２の処理と同様に適合度を算出し、擬似正解データに対する適合度については、算出された適合度を一定割合で減少させて得られる適合度を用いる。これによれば、医師や技師によってアノテーションされた正解データ数が少ない場合でも、情報処理装置１０において、アノテーションされていない正解データと組み合わせて教師データセットを構成し、第１実施形態と同様の推定処理を実現することができる。
２の処理と同様に適合度を算出し、擬似正解データに対する適合度については、算出された適合度を一定割合で減少させて得られる適合度を用いる。これによれば、医師や技師によってアノテーションされた正解データ数が少ない場合でも、情報処理装置１０において、アノテーションされていない正解データと組み合わせて教師データセットを構成し、第１実施形態と同様の推定処理を実現することができる。
【0078】
（変形例１－６）
次に、変形例１－６について説明する。第１実施形態に係る情報処理装置１０では、ステップＳ１１０からステップＳ１３０の処理を実行することで右心室領域の内膜輪郭の点群位置の座標値を推定し、ステップＳ１４０で推定データを入力画像データの画像に重畳して表示する。一方、本変形例に係る情報処理装置１０では、ステップＳ１４０の処理として、推定データとして得られるすべての座標値を同一の方法で表示するのではなく、各座標値について適合度を算出し、算出した適合度に応じた異なる方法で各座標位置の表示を行う。
次に、変形例１－６について説明する。第１実施形態に係る情報処理装置１０では、ステップＳ１１０からステップＳ１３０の処理を実行することで右心室領域の内膜輪郭の点群位置の座標値を推定し、ステップＳ１４０で推定データを入力画像データの画像に重畳して表示する。一方、本変形例に係る情報処理装置１０では、ステップＳ１４０の処理として、推定データとして得られるすべての座標値を同一の方法で表示するのではなく、各座標値について適合度を算出し、算出した適合度に応じた異なる方法で各座標位置の表示を行う。
【0079】
情報処理装置１０は、第１実施形態のステップＳ１２２で学習画像データの各輪郭点の正解データに関して学習画像データに基づいて算出する方法と同様の方法で、入力画像データの各輪郭点についての推定データの適合度を入力画像データに基づいて算出する。すなわち、情報処理装置１０は、ステップＳ１２２において正解データを推定データに置き換え、学習画像データを入力画像データに置き換えて、それぞれの推定データ（推定座標）の適合度を算出して取得する。
【0080】
そして、情報処理装置１０は、それぞれの推定データが示す各座標値の適合度に応じた異なる方法で、座標値に対応する点を表示する。一例として、情報処理装置１０は、適合度の高い推定データが示す座標値の点を明瞭な点として表示部３６に表示し、適合度の低い推定データが示す座標値の点を、ガウス分布などを適用して不明瞭な点として表示部３６に表示する。また、別の表示方法として、情報処理装置１０は、適合度に応じて推定データが示す座標値の点の濃淡や点の大きさを変化させてもよい。推定データが示す座標値の各点について適合度に応じて表示が異なることで、ユーザーは、推定データをどの程度信頼してよいかを判断でき、この判断を推定データの修正などの作業に役立てることができる。
【0081】
＜第２実施形態＞
次に、第２実施形態に係る情報処理装置について説明する。なお、以下の説明において、第１実施形態と共通の構成については同一の符号を付し、詳細な説明を省略する。
次に、第２実施形態に係る情報処理装置について説明する。なお、以下の説明において、第１実施形態と共通の構成については同一の符号を付し、詳細な説明を省略する。
【0082】
第２実施形態に係る情報処理装置１０は、第１実施形態と同様に、対象物が描出されている画像である入力画像データから、対象物の輪郭の点群位置の座標値を推定する機能を有する。第１実施形態では、情報処理装置１０は、教師データセットに含まれる学習画像データと正解データとに基づいて適合度を算出して取得する。一方、本実施形態に係る情報処理装置１０は、教師データセット以外の情報から適合度を取得する。以下の説明では、本実施形態の一例として、情報処理装置１０が、教師データセット以外の情報から適合度を取得し、３次元心臓超音波画像データを入力として右心室領域の内膜輪郭の点群位置の座標値を推定する場合を想定する。
【0083】
本実施形態に係る情報処理装置１０の装置構成は、図１で説明した第１実施形態と同様である。ただし、以下に説明するように、本実施形態に係る情報処理装置１０の適合度取得部４６の処理が、第１実施形態における処理と異なる。
【0084】
本実施形態において、データベース２２や記憶部３４には、正解データと正解データそ
れぞれについての適合度とが、互いに対応付けられて格納されているものとする。適合度取得部４６は、教師データセットに含まれる学習画像データおよび正解データ以外の情報から取得した、正解データについての適合度を、データベース２２や記憶部３４から取得する。
れぞれについての適合度とが、互いに対応付けられて格納されているものとする。適合度取得部４６は、教師データセットに含まれる学習画像データおよび正解データ以外の情報から取得した、正解データについての適合度を、データベース２２や記憶部３４から取得する。
【0085】
次に、本実施形態に係る情報処理装置１０が実行する処理について説明する。なお、本実施形態に係る情報処理装置１０が実行する処理のフローチャートおよびサブフローチャートは、第１実施形態と同様である。ただし、本実施形態に係る情報処理装置１０のステップＳ１２２の処理が、第１実施形態における処理と異なる。
【0086】
（ステップＳ１２２：正解データの適合度を取得）
ステップＳ１２２において、適合度取得部４６は、ステップＳ１２１で取得した学習画像データと正解データに対して、教師データセット以外の情報から算出された適合度を取得する。
ステップＳ１２２において、適合度取得部４６は、ステップＳ１２１で取得した学習画像データと正解データに対して、教師データセット以外の情報から算出された適合度を取得する。
【0087】
本実施形態では、一例として、患者の疾患情報を用いて算出した適合度を取得する場合について説明する。具体的には、情報処理装置１０は、患者の疾患情報として、心室の収縮機能を示すＥＦ値（Ｅｊｅｃｔｉｏｎ Ｆｒａｃｔｉｏｎ）を用いて算出された適合度を取得する。例えば、ＥＦ値が低い患者に関する教師データの場合、当該患者の心臓は、ＥＦ値が正常である心臓に比べて、血液の拍出量が少なく、三尖弁の開きが小さい。そのため、当該患者の画像データでは、三尖弁付近の輪郭点は、正常な心臓における三尖弁位置と異なる位置に描出される。この結果、正解データの信頼度が低下する可能性がある。そこで、それぞれの正解データについて、ＥＦ値の正常値からの差異に応じて、三尖弁付近の輪郭点に対する適合度が算出され、正解データと適合度とが互いに対応付けられてデータベース２２や記憶部３４に格納される。情報処理装置１０は、算出された適合度をデータベース２２や記憶部３４から取得する。これにより、情報処理装置１０では、疾患がある患者の教師データを処理する場合に、疾患があることによる正常な教師データと正解データの位置がずれて正解データの信頼度が低くなりやすいことによる影響を低減することができる。
【0088】
なお、これ以外にも、情報処理装置１０は、心位相の情報を用いて算出した適合度を取得してもよい。具体的には、心位相が拡張末期時相（ＥＤ時相）の場合は、三尖弁輪付近は動きが大きく教師データにより位置が分散しやすいため、正解データに対する適合度がより低くなるように適合度が算出される。一方で、収縮末期時相（ＥＳ時相）の場合は、三尖弁輪付近は動きが小さく教師データにより位置が分散しにくいため、正解データに対する適合度がより高くなるように適合度が算出される。そして、正解データと適合度とが互いに対応付けられてデータベース２２や記憶部３４に格納される。情報処理装置１０は、算出された適合度をデータベース２２や記憶部３４から取得する。これにより、情報処理装置１０では、画像データ内において特定位置の動きが大きいことにより信頼度が低いとみなされることで正解データの学習に及ぼす影響を低減することができ、推定精度の低下を抑制することができる。
【0089】
したがって、本実施形態に係る情報処理装置１０によれば、教師データセットに含まれるそれぞれの正解データの信頼度を考慮した学習ができるため、輪郭推定ＣＮＮの精度低下の抑制が期待できる。
【0090】
＜第３実施形態＞
次に、第３実施形態に係る情報処理装置について説明する。なお、以下の説明において、上記の実施形態と共通の構成については同一の符号を付し、詳細な説明を省略する。
次に、第３実施形態に係る情報処理装置について説明する。なお、以下の説明において、上記の実施形態と共通の構成については同一の符号を付し、詳細な説明を省略する。
【0091】
第３実施形態に係る情報処理装置１０は、対象物が描出されている画像である入力画像データから、対象物の領域のセグメンテーションを行う機能を有する。以下の説明では、本実施形態の一例として、心臓超音波検査において撮像された２次元心臓超音波画像データを入力画像データとして、対象物の右心室領域を推定し、推定された領域をセグメントする場合を想定する。
【0092】
本実施形態の学習過程では、情報処理装置１０は、２次元心臓超音波画像データと右心室領域の正解データの組（ペア）を教師データペアとして、複数の教師データペアからなる教師データセットを用いて、右心室領域をセグメントする推定器を生成する。そして、本実施形態の推定過程では、未知の２次元心臓超音波画像データを入力画像データとして、生成した推定器を用いて推定対象である右心室領域を推定する。
【0093】
以下、本実施形態に係る情報処理装置１０が実行する処理の詳細について説明する。情報処理装置１０は、第１実施形態および第２実施形態と同様に、医師や技師などのユーザーが超音波プローブを用いて撮像した２次元心臓超音波画像データを入力画像データとして取得する。次に、情報処理装置１０は、上記の通り生成された推定器を取得し、入力画像データに対する推定処理を実行する。
【0094】
情報処理装置１０による推定器の取得は、以下のように行われる。まず、情報処理装置１０は、２次元心臓超音波画像データと、当該２次元心臓超音波画像データ内の右心室領域の正解（正解領域）を表す画像データ（正解データ）によって構成される教師データペアを複数集めた教師データセットを取得する。次に、情報処理装置１０は、教師データセットについて、２次元心臓超音波画像データ内の正解領域に該当する位置の画素値に基づいて、その位置が画像上で正解としてどの程度信頼できるかを示す適合度を算出する。そして、情報処理装置１０は、正解領域に該当する位置の適合度に基づいて、正解データに関する損失値を算出する。そして、情報処理装置１０は、算出した損失値を最小化するようにＣＮＮの学習パラメータの学習を行う。ここで、２次元心臓超音波画像データと右心室領域の正解データは、それぞれ学習画像データと正解データの一例である。また、本実施形態におけるＣＮＮは、例えば、Ｕ－Ｎｅｔのような画像データから対象物の領域のセグメンテーションを行う推定器である。
【0095】
本実施形態に係る情報処理装置１０の装置構成は、図１で説明した第１実施形態と同様である。ただし、以下に説明するように、本実施形態に係る情報処理装置１０の適合度取得部４６および学習部４７の処理が、第１実施形態における処理と異なる。
【0096】
適合度取得部４６は、教師データセットに含まれる各教師データペアを用いて、正解データの正解領域に含まれる各画素について、各画素の位置における学習画像データの画素値に基づいて、正解データの適合度を算出する。具体的には、適合度取得部４６は、正解データが示す右心室領域内の位置における、２次元心臓超音波画像データの画素値に基づいて適合度を算出する。
【0097】
学習部４７は、教師データセットに含まれる各教師データペアを用いて、現在のＣＮＮが有するパラメータによって定まる推定器から、学習画像データに関する右心室領域（推定データ、推定領域画像データ）を推定する。そして、学習部４７は、推定データと正解データとの誤差値を、あらかじめ設定された誤差評価関数を用いて算出する。そして、学習部４７は、算出した誤差値に対して、適合度取得部４６が取得した適合度を重みとして乗算することにより、損失値を算出する。そして、学習部４７は、第１実施形態における学習部４７と同様の処理を行って、算出された損失値を最小化するように、ＣＮＮが有するパラメータを最適化することで推定器を生成する。
【0098】
以下、図５のフローチャートと図６のサブフローチャートを用いて、本実施形態に係る情報処理装置１０が実行する処理の一例の詳細について説明する。図５において、ステップＳ３１０の処理は、第１実施形態におけるステップＳ１１０の処理と同様である。また、ステップＳ３２０の処理について、図６を参照しながら説明する。図６において、ステップＳ３２１、ステップＳ３２５、ステップＳ３２６の処理は、それぞれ第１実施形態におけるステップＳ１２１、ステップＳ１２５、ステップＳ１２６の処理と同様である。
【0099】
（ステップＳ３２２：各画素に関する正解データの適合度を取得）
ステップＳ３２２において、適合度取得部４６は、ステップＳ３２１で取得した教師データセットに含まれる各教師データペアについて、学習画像データの各画素の画素値に基づいて、各画素における正解データの適合度を算出して取得する。具体的には、適合度取得部４６は、教師データペアに含まれる２次元心臓超音波画像データの各画素について、画素値に基づいて適合度を算出して取得する。右心室領域は、隣接する他の領域と壁により隔てられた腔の領域である。一般に、超音波画像では壁は画素値が高く、腔は画素値が低く描出される。すなわち、本実施形態における右心室領域の推定処理によって、画素値の低い領域が腔の領域として抽出される。したがって、適合度取得部４６は、正解データにおける右心室領域の各画素について、２次元心臓超音波画像データの画素値が低い画素に対しては適合度がより高くなるように適合度を算出する。また、適合度取得部４６は、正解データにおける右心室領域の各画素について、２次元心臓超音波画像データの画素値が高い画素に対しては適合度がより低くなるように適合度を算出する。
ステップＳ３２２において、適合度取得部４６は、ステップＳ３２１で取得した教師データセットに含まれる各教師データペアについて、学習画像データの各画素の画素値に基づいて、各画素における正解データの適合度を算出して取得する。具体的には、適合度取得部４６は、教師データペアに含まれる２次元心臓超音波画像データの各画素について、画素値に基づいて適合度を算出して取得する。右心室領域は、隣接する他の領域と壁により隔てられた腔の領域である。一般に、超音波画像では壁は画素値が高く、腔は画素値が低く描出される。すなわち、本実施形態における右心室領域の推定処理によって、画素値の低い領域が腔の領域として抽出される。したがって、適合度取得部４６は、正解データにおける右心室領域の各画素について、２次元心臓超音波画像データの画素値が低い画素に対しては適合度がより高くなるように適合度を算出する。また、適合度取得部４６は、正解データにおける右心室領域の各画素について、２次元心臓超音波画像データの画素値が高い画素に対しては適合度がより低くなるように適合度を算出する。
【0100】
なお、適合度取得部４６は、上記の適合度の算出方法の代わりに、正解データの作成時に誤差が生じやすい壁と腔の境界付近の領域、すなわち右心室領域の輪郭周辺の領域における画素に対しては適合度がより低くなるように適合度を算出してもよい。また、適合度取得部４６は、腔の内部の領域における画素に対しては適合度を高くするように適合度を算出してもよい。
【0101】
また、適合度取得部４６は、学習画像データにおいてノイズが大きい画素は適合度がより低くなるように適合度を算出し、ノイズの小さい画素は適合度がより高くなるように適合度を算出してもよい。学習画像データにおけるノイズの大きさは周知の方法を用いて求めることができる。また、例えば、適合度取得部４６は、心臓超音波検査において撮像された動画像データを学習画像データとして取得し、動画像データにおいて前後のフレームと比較して動きが大きい領域の画素は適合度がより低くなるように適合度を算出してもよい。ここで、前後のフレームと比較して動きが大きい領域の一例として、弁輪部などの領域が挙げられ、このような領域では、正解データに誤差が生じやすいといえる。
【0102】
（ステップＳ３２３：教師データセットを用いて領域を推定）
ステップＳ３２３において、学習部４７は、ステップＳ３２１で取得した学習画像データに対して、現在（学習中）におけるＣＮＮが有するパラメータによって生成された推定器（学習モデル）を用いて推定を実行する。そして、学習部４７は、推定結果として、右心室領域の画像データ（推定データ、推定領域）を取得する。
ステップＳ３２３において、学習部４７は、ステップＳ３２１で取得した学習画像データに対して、現在（学習中）におけるＣＮＮが有するパラメータによって生成された推定器（学習モデル）を用いて推定を実行する。そして、学習部４７は、推定結果として、右心室領域の画像データ（推定データ、推定領域）を取得する。
【0103】
（ステップＳ３２４：適合度を用いて損失値を算出）
ステップＳ３２４において、学習部６７は、ステップＳ３２３で算出した推定領域と、ステップＳ３２１で取得した教師データセットにおける正解データ（正解領域）から、各画素の正解値と推定値の差異に基づく誤差値を算出する。そして、学習部６７は、算出した誤差値に対してステップＳ３２２で算出した該当画素の適合度を乗算する。さらに、学習部６７は、例えば乗算結果を全画素について合算することで損失値を算出する。
ステップＳ３２４において、学習部６７は、ステップＳ３２３で算出した推定領域と、ステップＳ３２１で取得した教師データセットにおける正解データ（正解領域）から、各画素の正解値と推定値の差異に基づく誤差値を算出する。そして、学習部６７は、算出した誤差値に対してステップＳ３２２で算出した該当画素の適合度を乗算する。さらに、学習部６７は、例えば乗算結果を全画素について合算することで損失値を算出する。
【0104】
本実施形態では、右心室領域の推定領域と正解領域とに基づいて、以下の式（１）によ
り損失値を算出する。式（１）において、ｉ、ｊは学習画像データにおける画素の位置を表すインデックスであり、学習画像データのｉ行目ｊ列目の画素の位置を表す。また、ｗはステップＳ３２２で取得した当該画素の適合度であり、ｙｔｒｕｅは各画素の画素値の正解値であり、ｙｐｒｅｄは各画素の画素値の推定値である。ここで正解値は、正解領域に含まれる画素である場合は１であり、それ以外の画素である場合は０である。
り損失値を算出する。式（１）において、ｉ、ｊは学習画像データにおける画素の位置を表すインデックスであり、学習画像データのｉ行目ｊ列目の画素の位置を表す。また、ｗはステップＳ３２２で取得した当該画素の適合度であり、ｙｔｒｕｅは各画素の画素値の正解値であり、ｙｐｒｅｄは各画素の画素値の推定値である。ここで正解値は、正解領域に含まれる画素である場合は１であり、それ以外の画素である場合は０である。
【数1】
【0105】
（ステップＳ３３０：学習モデルを用いて領域を推定）
ステップＳ３３０において、推定部４４は、ステップＳ３２０で学習された推定器（学習モデル）を記憶部３４から取得する。そして、推定部４４は、ステップＳ３１０で取得した２次元心臓超音波画像データを推定器に入力し、２次元心臓超音波画像データに描出されている右心室領域を推定する。
ステップＳ３３０において、推定部４４は、ステップＳ３２０で学習された推定器（学習モデル）を記憶部３４から取得する。そして、推定部４４は、ステップＳ３１０で取得した２次元心臓超音波画像データを推定器に入力し、２次元心臓超音波画像データに描出されている右心室領域を推定する。
【0106】
（ステップＳ３４０：推定結果を表示）
ステップＳ３４０において、表示処理部４８は、ステップＳ３３０で推定された結果に基づいて入力画像データおよび推定領域を出力する。表示部３６には、入力画像データの２次元心臓超音波画像データが表示され、ステップＳ３３０で推定した右心室領域に該当する画素の位置が、２次元心臓超音波画像データに重畳されて表示される。
ステップＳ３４０において、表示処理部４８は、ステップＳ３３０で推定された結果に基づいて入力画像データおよび推定領域を出力する。表示部３６には、入力画像データの２次元心臓超音波画像データが表示され、ステップＳ３３０で推定した右心室領域に該当する画素の位置が、２次元心臓超音波画像データに重畳されて表示される。
【0107】
したがって、本実施形態に係る情報処理装置１０によれば、入力画像データにおける対象物の領域を推定する推定器の生成において、教師データセットの適合度に基づいた学習を行うことができる。このように生成された推定器を用いて入力画像データにおける対象物の領域を推定することで、情報処理装置１０において、教師データセットに信頼度の低い教師データが含まれる場合でも、推定精度を低下させることなく対象物の領域を推定することができる。
【0108】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【0109】
本開示の技術は例えば、システム、装置、方法、プログラム若しくは記録媒体（記憶媒体）等としての実施形態をとることが可能である。具体的には、複数の機器（例えば、ホストコンピュータ、インターフェイス機器、撮像装置、ｗｅｂアプリケーション等）から構成されるシステムに適用してもよいし、また、１つの機器からなる装置に適用してもよい。
【0110】
また、本開示の技術の目的は、以下のようにすることによって達成されることはいうまでもない。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコード（コンピュータプログラム）を記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読みだされたプログラムコードを記録した記録媒体は本開示の技術を構成することになる。
【0111】
本実施形態の開示は、以下の構成、方法およびプログラムを含む。
（構成１）
対象物を撮像した画像データを入力として、前記画像データに描出される前記対象物に関する推定を行う学習モデルを生成する情報処理装置であって、
前記対象物を撮像した学習画像データと該学習画像データにおける前記対象物の情報である正解データとを、前記学習モデルの生成に用いる教師データとして取得する教師データ取得部と、
前記正解データに関する適合度を取得する適合度取得部と、
前記教師データおよび前記適合度に基づいて前記学習モデルの学習を行う学習部と、
を有することを特徴とする情報処理装置。
（構成２）
前記学習モデルは、前記画像データにおける前記対象物の空間的な情報を推定するための学習モデルであり、
前記教師データ取得部は、前記教師データにおける正解データとして、前記対象物の領域に関する情報を取得する、
ことを特徴とする構成１に記載の情報処理装置。
（構成３）
前記学習モデルは、前記画像データにおける前記対象物の特徴点の位置を推定するための学習モデルであり、
前記教師データ取得部は、前記教師データにおける正解データとして、前記対象物の特徴点の位置に関する情報を取得する、
ことを特徴とする構成２に記載の情報処理装置。
（構成４）
前記学習モデルは、前記画像データにおける前記対象物の輪郭を推定するための学習モデルであり、
前記教師データ取得部は、前記教師データにおける正解データとして、前記対象物の輪郭に関する情報を取得する、
ことを特徴とする構成２に記載の情報処理装置。
（構成５）
前記適合度取得部は、前記教師データにおける前記正解データが示す前記学習画像データにおける前記対象物の位置周辺の画素値に基づいて前記適合度を算出することを特徴とする構成２から４のいずれかに記載の情報処理装置。
（構成６）
前記適合度取得部は、前記画素値が示す輝度勾配に基づいて前記適合度を算出することを特徴とする構成５に記載の情報処理装置。
（構成７）
前記適合度取得部は、前記教師データにおける前記正解データの各特徴点について、該特徴点自身以外の特徴点との位置関係に基づいて前記適合度を算出することを特徴とする構成３に記載の情報処理装置。
（構成８）
前記位置関係は、各特徴点に基づく前記対象物の輪郭線の曲率であることを特徴とする構成７に記載の情報処理装置。
（構成９）
前記適合度取得部は、前記対象物に関する前記教師データ以外の情報に基づいて前記適合度を算出することを特徴とする構成１から８のいずれかに記載の情報処理装置。
（構成１０）
前記学習部は、前記学習モデルによって推定される前記対象物に関する推定値と、前記正解データが示す前記対象物に関する正解値との差異に、前記適合度を適用することで、前記学習モデルの学習を行うことを特徴とする構成１から９のいずれかに記載の情報処理
装置。
（構成１１）
前記推定値および前記正解値は、前記対象物に対応する画素の画素値であることを特徴とする構成１０に記載の情報処理装置。
（構成１２）
対象物を撮像した入力画像データを取得するデータ取得部と、
前記対象物を撮像した学習画像データと、該学習画像データにおける前記対象物の情報である正解データと、前記正解データに関する適合度と、に基づく学習により生成された学習モデルを取得する学習モデル取得部と、
前記入力画像データと前記学習モデルとを用いて、前記入力画像データに描出される前記対象物に関する推定処理を行う推定部と、
を有することを特徴とする情報処理装置。
（構成１３）
前記推定部の推定結果を表示する表示処理部をさらに有することを特徴とする構成１２に記載の情報処理装置。
（構成１４）
前記入力画像データに関する適合度を取得する適合度取得部を有し、
前記表示処理部は、前記入力画像データに関する適合度を表示する、
ことを特徴とする構成１３に記載の情報処理装置。
（構成１５）
前記学習モデルは、前記推定部の推定結果と前記正解データとの差異に、前記適合度を適用して得られる結果に基づく学習により生成された学習モデルであることを特徴とする構成１２から１４のいずれかに記載の情報処理装置。
（方法１）
対象物を撮像した画像データを入力として、前記画像データに描出される前記対象物に関する推定を行う学習モデルを生成する情報処理方法であって、
前記対象物を撮像した学習画像データと該学習画像データにおける前記対象物の情報である正解データとを、前記学習モデルの生成に用いる教師データとして取得する教師データ取得ステップと、
前記正解データに関する適合度を取得する適合度取得ステップと、
前記教師データおよび前記適合度に基づいて前記学習モデルを学習する学習ステップと、
を有することを特徴とする情報処理方法。
（方法２）
対象物を撮像した入力画像データを取得するデータ取得ステップと、
前記対象物を撮像した学習画像データと、該学習画像データにおける前記対象物の情報である正解データと、前記正解データに関する適合度と、に基づく学習により生成された学習モデルを取得する学習モデル取得ステップと、
前記入力画像データと前記学習モデルとを用いて、前記入力画像データに描出される前記対象物に関する推定処理を行う推定ステップと、
を有することを特徴とする情報処理方法。
（プログラム１）
コンピュータを、構成１から１５のいずれかに記載の情報処理装置の各部として機能させるためのプログラム。
（構成１）
対象物を撮像した画像データを入力として、前記画像データに描出される前記対象物に関する推定を行う学習モデルを生成する情報処理装置であって、
前記対象物を撮像した学習画像データと該学習画像データにおける前記対象物の情報である正解データとを、前記学習モデルの生成に用いる教師データとして取得する教師データ取得部と、
前記正解データに関する適合度を取得する適合度取得部と、
前記教師データおよび前記適合度に基づいて前記学習モデルの学習を行う学習部と、
を有することを特徴とする情報処理装置。
（構成２）
前記学習モデルは、前記画像データにおける前記対象物の空間的な情報を推定するための学習モデルであり、
前記教師データ取得部は、前記教師データにおける正解データとして、前記対象物の領域に関する情報を取得する、
ことを特徴とする構成１に記載の情報処理装置。
（構成３）
前記学習モデルは、前記画像データにおける前記対象物の特徴点の位置を推定するための学習モデルであり、
前記教師データ取得部は、前記教師データにおける正解データとして、前記対象物の特徴点の位置に関する情報を取得する、
ことを特徴とする構成２に記載の情報処理装置。
（構成４）
前記学習モデルは、前記画像データにおける前記対象物の輪郭を推定するための学習モデルであり、
前記教師データ取得部は、前記教師データにおける正解データとして、前記対象物の輪郭に関する情報を取得する、
ことを特徴とする構成２に記載の情報処理装置。
（構成５）
前記適合度取得部は、前記教師データにおける前記正解データが示す前記学習画像データにおける前記対象物の位置周辺の画素値に基づいて前記適合度を算出することを特徴とする構成２から４のいずれかに記載の情報処理装置。
（構成６）
前記適合度取得部は、前記画素値が示す輝度勾配に基づいて前記適合度を算出することを特徴とする構成５に記載の情報処理装置。
（構成７）
前記適合度取得部は、前記教師データにおける前記正解データの各特徴点について、該特徴点自身以外の特徴点との位置関係に基づいて前記適合度を算出することを特徴とする構成３に記載の情報処理装置。
（構成８）
前記位置関係は、各特徴点に基づく前記対象物の輪郭線の曲率であることを特徴とする構成７に記載の情報処理装置。
（構成９）
前記適合度取得部は、前記対象物に関する前記教師データ以外の情報に基づいて前記適合度を算出することを特徴とする構成１から８のいずれかに記載の情報処理装置。
（構成１０）
前記学習部は、前記学習モデルによって推定される前記対象物に関する推定値と、前記正解データが示す前記対象物に関する正解値との差異に、前記適合度を適用することで、前記学習モデルの学習を行うことを特徴とする構成１から９のいずれかに記載の情報処理
装置。
（構成１１）
前記推定値および前記正解値は、前記対象物に対応する画素の画素値であることを特徴とする構成１０に記載の情報処理装置。
（構成１２）
対象物を撮像した入力画像データを取得するデータ取得部と、
前記対象物を撮像した学習画像データと、該学習画像データにおける前記対象物の情報である正解データと、前記正解データに関する適合度と、に基づく学習により生成された学習モデルを取得する学習モデル取得部と、
前記入力画像データと前記学習モデルとを用いて、前記入力画像データに描出される前記対象物に関する推定処理を行う推定部と、
を有することを特徴とする情報処理装置。
（構成１３）
前記推定部の推定結果を表示する表示処理部をさらに有することを特徴とする構成１２に記載の情報処理装置。
（構成１４）
前記入力画像データに関する適合度を取得する適合度取得部を有し、
前記表示処理部は、前記入力画像データに関する適合度を表示する、
ことを特徴とする構成１３に記載の情報処理装置。
（構成１５）
前記学習モデルは、前記推定部の推定結果と前記正解データとの差異に、前記適合度を適用して得られる結果に基づく学習により生成された学習モデルであることを特徴とする構成１２から１４のいずれかに記載の情報処理装置。
（方法１）
対象物を撮像した画像データを入力として、前記画像データに描出される前記対象物に関する推定を行う学習モデルを生成する情報処理方法であって、
前記対象物を撮像した学習画像データと該学習画像データにおける前記対象物の情報である正解データとを、前記学習モデルの生成に用いる教師データとして取得する教師データ取得ステップと、
前記正解データに関する適合度を取得する適合度取得ステップと、
前記教師データおよび前記適合度に基づいて前記学習モデルを学習する学習ステップと、
を有することを特徴とする情報処理方法。
（方法２）
対象物を撮像した入力画像データを取得するデータ取得ステップと、
前記対象物を撮像した学習画像データと、該学習画像データにおける前記対象物の情報である正解データと、前記正解データに関する適合度と、に基づく学習により生成された学習モデルを取得する学習モデル取得ステップと、
前記入力画像データと前記学習モデルとを用いて、前記入力画像データに描出される前記対象物に関する推定処理を行う推定ステップと、
を有することを特徴とする情報処理方法。
（プログラム１）
コンピュータを、構成１から１５のいずれかに記載の情報処理装置の各部として機能させるためのプログラム。
【符号の説明】
【0112】
１０ 情報処理装置、４５ 教師データ取得部、４６ 適合度取得部、４７ 学習部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】