知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025003425
(43)【公開日】2025-01-09
(54)【発明の名称】画像処理装置、画像処理方法及びプログラム
(51)【国際特許分類】
A61B 6/03 20060101AFI20241226BHJP
G06T 7/00 20170101ALI20241226BHJP
G06T 7/10 20170101ALI20241226BHJP
A61B 6/50 20240101ALI20241226BHJP
【ＦＩ】
A61B6/03 560J
G06T7/00 612
G06T7/10
G06T7/00 350C
A61B6/50 500B
A61B6/03 560T
【審査請求】未請求
【請求項の数】27
【出願形態】ＯＬ
(21)【出願番号】P 2024100869
(22)【出願日】2024-06-21
(31)【優先権主張番号】202310746732.4
(32)【優先日】2023-06-21
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110001771
【氏名又は名称】弁理士法人虎ノ門知的財産事務所
(72)【発明者】
【氏名】ジョン ユンシン
(72)【発明者】
【氏名】ザォウ ロンフェイ
(72)【発明者】
【氏名】シュエ シャオ
(72)【発明者】
【氏名】ザォウ スゥン
(72)【発明者】
【氏名】青山 岳人
【テーマコード（参考）】
4C093
5L096
【Ｆターム（参考）】
4C093AA22
4C093AA26
4C093CA23
4C093DA02
4C093FA35
4C093FD03
4C093FF13
4C093FF16
4C093FF21
4C093FF35
5L096BA06
5L096BA13
5L096FA02
5L096HA11
5L096KA04
(57)【要約】
【課題】弁全体と局所のセグメンテーション精度を向上させること。
【解決手段】実施形態の画像処理装置は、取得部と、訓練部と、画像処理部とを備える。取得部は、弁を含む医用画像から、弁の特徴点領域マスク、弁の幾何学的形態情報、弁の輪郭情報、及び、弁の領域情報のうちの少なくとも１つを含む弁の解剖学的構造情報を取得する。訓練部は、解剖学的構造情報に基づいて、解剖学的構造情報の重みを含む損失関数及びこの損失関数における解剖学的構造情報の重みを設定し、この損失関数によって、弁をセグメンテーションするためのセグメンテーションネットワークを訓練する。画像処理部は、訓練済みのセグメンテーションネットワークを用いて、弁を含む医用画像を処理し、セグメンテーション結果としての予測された弁の領域を生成する。
【選択図】図１４
【解決手段】実施形態の画像処理装置は、取得部と、訓練部と、画像処理部とを備える。取得部は、弁を含む医用画像から、弁の特徴点領域マスク、弁の幾何学的形態情報、弁の輪郭情報、及び、弁の領域情報のうちの少なくとも１つを含む弁の解剖学的構造情報を取得する。訓練部は、解剖学的構造情報に基づいて、解剖学的構造情報の重みを含む損失関数及びこの損失関数における解剖学的構造情報の重みを設定し、この損失関数によって、弁をセグメンテーションするためのセグメンテーションネットワークを訓練する。画像処理部は、訓練済みのセグメンテーションネットワークを用いて、弁を含む医用画像を処理し、セグメンテーション結果としての予測された弁の領域を生成する。
【選択図】図１４
【特許請求の範囲】
【請求項1】
弁を含む医用画像から、前記弁の特徴点領域マスク、幾何学的形態情報、輪郭情報及び領域情報のうちの少なくとも１つを含む前記弁の解剖学的構造情報を取得する取得部と、
前記解剖学的構造情報に基づいて、前記解剖学的構造情報の重みを含む損失関数及び前記損失関数における解剖学的構造情報の重みを設定し、前記損失関数によって、前記弁をセグメンテーションするためのセグメンテーションネットワークを訓練する訓練部と、
訓練済みのセグメンテーションネットワークを用いて、前記弁を含む医用画像を処理し、セグメンテーション結果としての予測された弁の領域を生成する画像処理部と、
を備える、画像処理装置。
前記解剖学的構造情報に基づいて、前記解剖学的構造情報の重みを含む損失関数及び前記損失関数における解剖学的構造情報の重みを設定し、前記損失関数によって、前記弁をセグメンテーションするためのセグメンテーションネットワークを訓練する訓練部と、
訓練済みのセグメンテーションネットワークを用いて、前記弁を含む医用画像を処理し、セグメンテーション結果としての予測された弁の領域を生成する画像処理部と、
を備える、画像処理装置。
【請求項2】
前記取得部は、利用者が前記医用画像に付した特徴点ラベル、弁ラベル及び血管ラベルのうちの少なくとも１つのラベルを前処理することにより、前記解剖学的構造情報を取得する、請求項１に記載の画像処理装置。
【請求項3】
前記解剖学的構造情報に対応する損失関数は、ＣＥ損失関数とＤＩＣＥ損失関数である、請求項１に記載の画像処理装置。
【請求項4】
前記解剖学的構造情報において、前記特徴点領域マスクは、前記弁における特徴点座標から生成され、前記幾何学的形態情報は、前記弁の中心面を抽出することにより生成され、前記輪郭情報は、前記弁ラベルと前記血管ラベルとの交線を抽出することにより生成されるか、又は前記弁における特徴点座標と前記血管ラベルとのフィッティングにより生成され、前記領域情報は、前記弁ラベルと前記血管ラベルとから生成される、請求項２に記載の画像処理装置。
【請求項5】
弁を含む医用画像から、前記弁の特徴点ヒートマップ、幾何学的形態情報、輪郭情報及び領域情報のうちの少なくとも１つを含む前記弁の解剖学的構造情報を取得する取得部と、
前記解剖学的構造情報に基づいて、前記解剖学的構造情報に含まれる前記弁の特徴点ヒートマップ、前記幾何学的形態情報、前記輪郭情報及び前記領域情報のうちの少なくとも１つと前記弁の領域とを含む損失関数を設定し、前記損失関数によって、予測された前記解剖学的構造情報に含まれる前記弁の特徴点ヒートマップ、前記幾何学的形態情報、前記輪郭情報及び前記領域情報のうちの少なくとも１つと前記弁の領域とを出力する複数の出力ブランチを有するセグメンテーションネットワークを訓練する訓練部と、
訓練済みのセグメンテーションネットワークを用いて、前記弁を含む医用画像を処理し、予測された弁の領域と解剖学的構造情報とを生成する画像処理部と、
を備える、画像処理装置。
前記解剖学的構造情報に基づいて、前記解剖学的構造情報に含まれる前記弁の特徴点ヒートマップ、前記幾何学的形態情報、前記輪郭情報及び前記領域情報のうちの少なくとも１つと前記弁の領域とを含む損失関数を設定し、前記損失関数によって、予測された前記解剖学的構造情報に含まれる前記弁の特徴点ヒートマップ、前記幾何学的形態情報、前記輪郭情報及び前記領域情報のうちの少なくとも１つと前記弁の領域とを出力する複数の出力ブランチを有するセグメンテーションネットワークを訓練する訓練部と、
訓練済みのセグメンテーションネットワークを用いて、前記弁を含む医用画像を処理し、予測された弁の領域と解剖学的構造情報とを生成する画像処理部と、
を備える、画像処理装置。
【請求項6】
前記画像処理部は、前記セグメンテーションネットワークが出力した弁の領域及び解剖学的構造情報を用いて、弁のセグメンテーション結果に関する後処理を最適化する、請求項５に記載の画像処理装置。
【請求項7】
前記損失関数は、前記解剖学的構造情報の重みをさらに含み、
前記訓練部は、前記損失関数における前記解剖学的構造情報の重みをさらに設定する、請求項５に記載の画像処理装置。
前記訓練部は、前記損失関数における前記解剖学的構造情報の重みをさらに設定する、請求項５に記載の画像処理装置。
【請求項8】
前記訓練部は、回帰損失関数としてのＭＳＥを用いて、前記セグメンテーションネットワークの前記特徴点ヒートマップを出力するためのブランチを訓練する、請求項５に記載の画像処理装置。
【請求項9】
前記幾何学的形態情報、前記輪郭情報、前記領域情報及び前記弁の領域に対応する損失関数は、ＣＥ損失関数とＤＩＣＥ損失関数であり、
前記訓練部は、前記ＣＥ損失関数と前記ＤＩＣＥ損失関数とを用いて、前記セグメンテーションネットワークの前記幾何学的形態情報、前記輪郭情報、前記領域情報及び前記弁の領域を出力するためのブランチを訓練する、請求項５に記載の画像処理装置。
前記訓練部は、前記ＣＥ損失関数と前記ＤＩＣＥ損失関数とを用いて、前記セグメンテーションネットワークの前記幾何学的形態情報、前記輪郭情報、前記領域情報及び前記弁の領域を出力するためのブランチを訓練する、請求項５に記載の画像処理装置。
【請求項10】
前記取得部は、利用者が前記医用画像に付した特徴点ラベル、弁ラベル及び血管ラベルのうちの少なくとも１つのラベルを前処理することにより、前記解剖学的構造情報を取得する、請求項５に記載の画像処理装置。
【請求項11】
前記特徴点ヒートマップは、分布関数と特徴点座標とから生成され、前記幾何学的形態情報は、前記弁の中心面を抽出することにより生成され、前記輪郭情報は、前記弁ラベルと前記血管ラベルとの交線を抽出することにより生成されるか、又は前記弁における特徴点座標と前記血管ラベルとのフィッティングにより生成され、前記領域情報は、前記弁ラベルと前記血管ラベルとから生成される、請求項１０に記載の画像処理装置。
【請求項12】
弁を含む医用画像から、前記弁の特徴点領域マスク又は特徴点ヒートマップである特徴点情報、幾何学的形態情報、輪郭情報及び領域情報のうちの少なくとも１つを含む前記弁の解剖学的構造情報を取得する取得部と、
前記解剖学的構造情報に基づいて、前記弁をセグメンテーションするためのセグメンテーションネットワークを訓練する損失関数を設定し、前記セグメンテーションネットワークに対して分類ネットワークを設けて前記セグメンテーションネットワークを訓練し、前記解剖学的構造情報に基づいて、前記分類ネットワークを訓練するための損失関数及び前記分類ネットワークを訓練するための損失関数の重みを設定する訓練部と、
訓練済みの前記セグメンテーションネットワークを用いて、前記弁を含む医用画像を処理し、セグメンテーション結果としての予測された弁の領域を生成する画像処理部と、
を備える、画像処理装置。
前記解剖学的構造情報に基づいて、前記弁をセグメンテーションするためのセグメンテーションネットワークを訓練する損失関数を設定し、前記セグメンテーションネットワークに対して分類ネットワークを設けて前記セグメンテーションネットワークを訓練し、前記解剖学的構造情報に基づいて、前記分類ネットワークを訓練するための損失関数及び前記分類ネットワークを訓練するための損失関数の重みを設定する訓練部と、
訓練済みの前記セグメンテーションネットワークを用いて、前記弁を含む医用画像を処理し、セグメンテーション結果としての予測された弁の領域を生成する画像処理部と、
を備える、画像処理装置。
【請求項13】
前記セグメンテーションネットワークの前記損失関数は、前記解剖学的構造情報の重みをさらに含み、
前記訓練部は、前記セグメンテーションネットワークの前記損失関数における前記解剖学的構造情報の重みをさらに設定する、請求項１２に記載の画像処理装置。
前記訓練部は、前記セグメンテーションネットワークの前記損失関数における前記解剖学的構造情報の重みをさらに設定する、請求項１２に記載の画像処理装置。
【請求項14】
前記分類ネットワークを訓練するための損失関数は、ＣＥ損失関数である、請求項１２に記載の画像処理装置。
【請求項15】
前記分類ネットワークは、ＲｅｓＮｅｔ１８である、請求項１２に記載の画像処理装置。
【請求項16】
前記解剖学的構造情報に対応する損失関数は、ＣＥ損失関数とＤＩＣＥ損失関数である、請求項１２に記載の画像処理装置。
【請求項17】
前記取得部は、利用者が前記医用画像に付した特徴点ラベル、弁ラベル及び血管ラベルのうちの少なくとも１つのラベルを前処理することにより、前記解剖学的構造情報を取得する、請求項１２に記載の画像処理装置。
【請求項18】
前記特徴点領域マスクは、前記弁における特徴点座標から生成され、前記特徴点ヒートマップは、分布関数と特徴点座標とから生成され、前記幾何学的形態情報は、前記弁の中心面を抽出することにより生成され、前記輪郭情報は、前記弁ラベルと前記血管ラベルとの交線を抽出することにより生成されるか、又は前記弁における特徴点座標と前記血管ラベルとのフィッティングにより生成され、前記領域情報は、前記弁ラベルと前記血管ラベルとから生成される、請求項１７に記載の画像処理装置。
【請求項19】
前記セグメンテーションネットワークは、Ｕ－ｎｅｔネットワークである、請求項１、５、１２のいずれか一項に記載の画像処理装置。
【請求項20】
前記弁は、大動脈弁、肺動脈弁又は上下肢静脈弁である、請求項１、５、１２のいずれか一項に記載の画像処理装置。
【請求項21】
前記取得部は、前記医用画像に対して弁の粗セグメンテーションを自動的に行い、粗セグメンテーション結果に基づいて前記解剖学的構造情報を決定する、請求項１、５、１２のいずれか一項に記載の画像処理装置。
【請求項22】
弁を含む医用画像から、前記弁の特徴点領域マスク、幾何学的形態情報、輪郭情報及び領域情報のうちの少なくとも１つを含む前記弁の解剖学的構造情報を取得することと、
前記解剖学的構造情報に基づいて、前記解剖学的構造情報の重みを含む損失関数及び前記損失関数における解剖学的構造情報の重みを設定し、前記損失関数によって、前記弁をセグメンテーションするためのセグメンテーションネットワークを訓練することと、
訓練済みのセグメンテーションネットワークを用いて、前記弁を含む医画像を処理し、セグメンテーション結果としての予測された弁の領域を生成することと、
を含む、画像処理方法。
前記解剖学的構造情報に基づいて、前記解剖学的構造情報の重みを含む損失関数及び前記損失関数における解剖学的構造情報の重みを設定し、前記損失関数によって、前記弁をセグメンテーションするためのセグメンテーションネットワークを訓練することと、
訓練済みのセグメンテーションネットワークを用いて、前記弁を含む医画像を処理し、セグメンテーション結果としての予測された弁の領域を生成することと、
を含む、画像処理方法。
【請求項23】
弁を含む医用画像から、前記弁の特徴点ヒートマップ、幾何学的形態情報、輪郭情報及び領域情報のうちの少なくとも１つを含む前記弁の解剖学的構造情報を取得することと、
前記解剖学的構造情報に基づいて、前記解剖学的構造情報に含まれる前記弁の特徴点ヒートマップ、前記幾何学的形態情報、前記輪郭情報及び前記領域情報のうちの少なくとも１つと前記弁の領域とを含む損失関数を設定し、前記損失関数によって、予測された前記解剖学的構造情報に含まれる前記弁の特徴点ヒートマップ、前記幾何学的形態情報、前記輪郭情報及び前記領域情報のうちの少なくとも１つと前記弁の領域とを出力する複数の出力ブランチを有するセグメンテーションネットワークを訓練することと、
訓練済みのセグメンテーションネットワークを用いて、前記弁を含む医用画像を処理し、予測された弁の領域と解剖学的構造情報とを生成することと、
を含む、画像処理方法。
前記解剖学的構造情報に基づいて、前記解剖学的構造情報に含まれる前記弁の特徴点ヒートマップ、前記幾何学的形態情報、前記輪郭情報及び前記領域情報のうちの少なくとも１つと前記弁の領域とを含む損失関数を設定し、前記損失関数によって、予測された前記解剖学的構造情報に含まれる前記弁の特徴点ヒートマップ、前記幾何学的形態情報、前記輪郭情報及び前記領域情報のうちの少なくとも１つと前記弁の領域とを出力する複数の出力ブランチを有するセグメンテーションネットワークを訓練することと、
訓練済みのセグメンテーションネットワークを用いて、前記弁を含む医用画像を処理し、予測された弁の領域と解剖学的構造情報とを生成することと、
を含む、画像処理方法。
【請求項24】
弁を含む医用画像から、前記弁の特徴点領域マスク又は特徴点ヒートマップである特徴点情報、幾何学的形態情報、輪郭情報及び領域情報のうちの少なくとも１つを含む前記弁の解剖学的構造情報を取得することと、
前記解剖学的構造情報に基づいて、前記弁をセグメンテーションするためのセグメンテーションネットワークを訓練する損失関数を設定し、前記セグメンテーションネットワークに対して分類ネットワークを設けて前記セグメンテーションネットワークを訓練し、前記解剖学的構造情報に基づいて、前記分類ネットワークを訓練するための損失関数及び前記分類ネットワークを訓練するための損失関数の重みを設定することと、
訓練済みの前記セグメンテーションネットワークを用いて、前記弁を含む医用画像を処理し、セグメンテーション結果としての予測された弁の領域を生成することと、
を含む、画像処理方法。
前記解剖学的構造情報に基づいて、前記弁をセグメンテーションするためのセグメンテーションネットワークを訓練する損失関数を設定し、前記セグメンテーションネットワークに対して分類ネットワークを設けて前記セグメンテーションネットワークを訓練し、前記解剖学的構造情報に基づいて、前記分類ネットワークを訓練するための損失関数及び前記分類ネットワークを訓練するための損失関数の重みを設定することと、
訓練済みの前記セグメンテーションネットワークを用いて、前記弁を含む医用画像を処理し、セグメンテーション結果としての予測された弁の領域を生成することと、
を含む、画像処理方法。
【請求項25】
コンピュータに、
弁を含む医用画像から、前記弁の特徴点領域マスク、幾何学的形態情報、輪郭情報及び領域情報のうちの少なくとも１つを含む前記弁の解剖学的構造情報を取得する処理と、
前記解剖学的構造情報に基づいて、前記解剖学的構造情報の重みを含む損失関数及び前記損失関数における解剖学的構造情報の重みを設定し、前記損失関数によって、前記弁をセグメンテーションするためのセグメンテーションネットワークを訓練する処理と、
訓練済みのセグメンテーションネットワークを用いて、前記弁を含む医画像を処理し、セグメンテーション結果としての予測された弁の領域を生成する処理と、
を実行させるためのプログラム。
弁を含む医用画像から、前記弁の特徴点領域マスク、幾何学的形態情報、輪郭情報及び領域情報のうちの少なくとも１つを含む前記弁の解剖学的構造情報を取得する処理と、
前記解剖学的構造情報に基づいて、前記解剖学的構造情報の重みを含む損失関数及び前記損失関数における解剖学的構造情報の重みを設定し、前記損失関数によって、前記弁をセグメンテーションするためのセグメンテーションネットワークを訓練する処理と、
訓練済みのセグメンテーションネットワークを用いて、前記弁を含む医画像を処理し、セグメンテーション結果としての予測された弁の領域を生成する処理と、
を実行させるためのプログラム。
【請求項26】
コンピュータに、
弁を含む医用画像から、前記弁の特徴点ヒートマップ、幾何学的形態情報、輪郭情報及び領域情報のうちの少なくとも１つを含む前記弁の解剖学的構造情報を取得する処理と、
前記解剖学的構造情報に基づいて、前記解剖学的構造情報に含まれる前記弁の特徴点ヒートマップ、前記幾何学的形態情報、前記輪郭情報及び前記領域情報のうちの少なくとも１つと前記弁の領域とを含む損失関数を設定し、前記損失関数によって、予測された前記解剖学的構造情報に含まれる前記弁の特徴点ヒートマップ、前記幾何学的形態情報、前記輪郭情報及び前記領域情報のうちの少なくとも１つと前記弁の領域とを出力する複数の出力ブランチを有するセグメンテーションネットワークを訓練する処理と、
訓練済みのセグメンテーションネットワークを用いて、前記弁を含む医用画像を処理し、予測された弁の領域と解剖学的構造情報とを生成する処理と、
を実行させるためのプログラム。
弁を含む医用画像から、前記弁の特徴点ヒートマップ、幾何学的形態情報、輪郭情報及び領域情報のうちの少なくとも１つを含む前記弁の解剖学的構造情報を取得する処理と、
前記解剖学的構造情報に基づいて、前記解剖学的構造情報に含まれる前記弁の特徴点ヒートマップ、前記幾何学的形態情報、前記輪郭情報及び前記領域情報のうちの少なくとも１つと前記弁の領域とを含む損失関数を設定し、前記損失関数によって、予測された前記解剖学的構造情報に含まれる前記弁の特徴点ヒートマップ、前記幾何学的形態情報、前記輪郭情報及び前記領域情報のうちの少なくとも１つと前記弁の領域とを出力する複数の出力ブランチを有するセグメンテーションネットワークを訓練する処理と、
訓練済みのセグメンテーションネットワークを用いて、前記弁を含む医用画像を処理し、予測された弁の領域と解剖学的構造情報とを生成する処理と、
を実行させるためのプログラム。
【請求項27】
コンピュータに、
弁を含む医用画像から、前記弁の特徴点領域マスク又は特徴点ヒートマップである特徴点情報、幾何学的形態情報、輪郭情報及び領域情報のうちの少なくとも１つを含む前記弁の解剖学的構造情報を取得する処理と、
前記解剖学的構造情報に基づいて、前記弁をセグメンテーションするためのセグメンテーションネットワークを訓練する損失関数を設定し、前記セグメンテーションネットワークに対して分類ネットワークを設けて前記セグメンテーションネットワークを訓練し、前記解剖学的構造情報に基づいて、前記分類ネットワークを訓練するための損失関数及び前記分類ネットワークを訓練するための損失関数の重みを設定する処理と、
訓練済みの前記セグメンテーションネットワークを用いて、前記弁を含む医用画像を処理し、セグメンテーション結果としての予測された弁の領域を生成する処理と、
を実行させるためのプログラム。
弁を含む医用画像から、前記弁の特徴点領域マスク又は特徴点ヒートマップである特徴点情報、幾何学的形態情報、輪郭情報及び領域情報のうちの少なくとも１つを含む前記弁の解剖学的構造情報を取得する処理と、
前記解剖学的構造情報に基づいて、前記弁をセグメンテーションするためのセグメンテーションネットワークを訓練する損失関数を設定し、前記セグメンテーションネットワークに対して分類ネットワークを設けて前記セグメンテーションネットワークを訓練し、前記解剖学的構造情報に基づいて、前記分類ネットワークを訓練するための損失関数及び前記分類ネットワークを訓練するための損失関数の重みを設定する処理と、
訓練済みの前記セグメンテーションネットワークを用いて、前記弁を含む医用画像を処理し、セグメンテーション結果としての予測された弁の領域を生成する処理と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【0002】
従来から、術前ＣＴスキャンの画像における大動脈弁などの弁の領域を特定する画像セグメンテーション処理の技術が知られている。画像セグメンテーション処理を用いることにより、弁の形態をよりよく分析し、より正確な定量指標を取得し、手術の計画や治療効果の評価をよりよく行うことができる。例えば、経カテーテル大動脈弁留置術（ＴＡＶＩ）に対する治療計画では、治療対象の患者の術前ＣＴ画像に対して画像セグメンテーション技術を適用することにより大動脈弁の領域を特定し、当該大動脈弁の領域から大動脈弁の形態に関する情報に基づいて治療対象の患者に適したサイズ等の形態の人工弁を提供することができる。
【0003】
また、医用画像に対するセグメンテーション処理において、深層学習等の機械学習技術は最も有効な手段の１つであり、その優れた性能のため、広く使用されている。
【0004】
従来の深層学習に基づくセグメンテーション処理においては、医用画像における弁の領域に関して直接学習するものの、弁自体の固有の情報や、弁と弁の間及び／又は弁と血管の間の解剖学的関係の情報等の学習は困難であるため、セグメンテーション処理の結果と解剖学的知識に基づく解剖学的構造情報（以下、「解剖学的構造アプリオリ」という場合がある）とは一致しない場合がある。大動脈弁における解剖学的構造情報の例としては、（１）各弁のNadir点やCommissure点は弁上に位置する；（２）弁は薄膜状構造であり、通常は穴がない；（３）弁は血管壁に接しており、かつ交差箇所は連続的な曲線である；（４）各弁は血管内部の領域を分割し、これらの領域は相互に排他的な関係を持つ、等がある。しかしながら、従来の深層学習に基づくセグメンテーション処理により取得される弁領域の予測結果は、上記の臨床解剖学的構造情報と一致せず、例えば、図１Ａに示すように、予測された弁と弁の特徴点とが一致せず、また、予測された弁に穴があり、形態が間違っている場合がある。また、図１Ｂに示すように、予測された弁と実際の血管との交差箇所が離散的となる又は接していない場合がある。また、図１Ｃに示すように、予測された１つの弁の領域が別の弁の領域に侵入している場合がある。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】中国特許第１０７２９２８８７号明細書
【特許文献2】米国特許第１０６００１８５号明細書
【非特許文献】
【0006】
【非特許文献1】Attention-Guided Decoder in Dilated Residual Network for Accurate Aortic Valve Segmentation in 3D CT Scans（Author: Fan, B., Tomii, N., Tsukihara, H., Maeda, E., Yamauchi, H., Nawata, K., ... & Ono, M. Published on Machine Learning and Medical Engineering for Cardiovascular Health and Intravascular Imaging and Computer Assisted Stenting: First International Workshop, MLMECH 2019, and 8th Joint International Workshop, CVII-STENT 2019, Held in Conjunction with MICCAI 2019, Shenzhen, China, October 13, 2019, Proceedings 1 (pp. 121-129). Springer International Publishing.）
【非特許文献2】Semi-supervised Segmentation of Liver Using Adversarial Learning with Deep Atlas Prior（Author: Zheng, H., Lin, L., Hu, H., Zhang, Q., Chen, Q., Iwamoto, Y., ... & Wu, J. Published on Medical Image Computing and Computer Assisted Intervention-MICCAI 2019: 22nd International Conference, Shenzhen, China, October 13-17, 2019, Proceedings, Part VI 22 (pp. 148-156). Springer International Publishing.）
【発明の概要】
【発明が解決しようとする課題】
【0007】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、弁全体と局所のセグメンテーション精度を向上させることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。
【課題を解決するための手段】
【0008】
実施形態の画像処理装置は、取得部と、訓練部と、画像処理部とを備える。取得部は、弁を含む医用画像から、弁の特徴点領域マスク、弁の幾何学的形態情報、弁の輪郭情報、及び、弁の領域情報のうちの少なくとも１つを含む弁の解剖学的構造情報を取得する。訓練部は、解剖学的構造情報に基づいて、解剖学的構造情報の重みを含む損失関数及びこの損失関数における解剖学的構造情報の重みを設定し、この損失関数によって、弁をセグメンテーションするためのセグメンテーションネットワークを訓練する。画像処理部は、訓練済みのセグメンテーションネットワークを用いて、弁を含む医画像を処理し、セグメンテーション結果としての予測された弁の領域を生成する。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
以下に説明する実施形態は、解剖学的構造情報選別ステップと、抽出ステップと、応用ステップとを含むことにより、弁のセグメンテーション処理におけるセグメンテーション結果（セグメンテーション処理により特定された弁の領域）と弁の解剖学的構造情報とが一致しない問題を効果的に解決することができる解剖学的構造情報に基づく弁の精細なセグメンテーション方法を提供する。解剖学的構造情報選別ステップは、弁の固有の解剖学的構造情報（解剖学的構造アプリオリ）を選択し、解剖学的構造情報抽出ステップは、ラベルの前処理を行い、上記解剖学的構造情報を取得する。解剖学的構造情報応用ステップは、訓練時に、ネットワーク設計、損失設計又は後処理などの手段によって解剖学的構造情報を導入することで、弁全体と局所のセグメンテーション精度を向上させる。
【0011】
具体的には、本実施形態の一様態は、弁を含む医用画像から、弁の特徴点領域マスク、弁の幾何学的形態情報、弁の輪郭情報、及び、弁の領域情報のうちの少なくとも１つを含む弁の解剖学的構造情報を取得することと、解剖学的構造情報に基づいて、解剖学的構造情報の重みを含む損失関数及びこの損失関数における解剖学的構造情報の重みを設定し、この損失関数によって、弁をセグメンテーションするためのセグメンテーションネットワークを訓練することと、訓練済みのセグメンテーションネットワークを用いて、弁を含む医用画像を処理し、セグメンテーション結果としての予測された弁の領域を生成することと、を含む画像処理方法である。
【0012】
本実施形態の他の態様は、弁を含む医用画像から、弁の特徴点ヒートマップ、弁の幾何学的形態情報、弁の輪郭情報、及び、弁の領域情報のうちの少なくとも１つを含む弁の解剖学的構造情報を取得することと、解剖学的構造情報に基づいて、解剖学的構造情報に含まれる弁の特徴点ヒートマップ、弁の幾何学的形態情報、弁の輪郭情報及び、弁の領域情報のうちの少なくとも１つと弁の領域とを含む損失関数を設定し、この損失関数によって、予測した解剖学的構造情報に含まれる弁の特徴点ヒートマップ、弁の幾何学的形態情報、弁の輪郭情報及び、弁の領域情報のうちの少なくとも１つと弁の領域とを出力する複数の出力ブランチを有するセグメンテーションネットワークを訓練することと、訓練済みのセグメンテーションネットワークを用いて、弁を含む医用画像を処理し、予測された弁の領域と解剖学的構造情報とを生成することと、を含む画像処理方法である。
【0013】
本実施形態の他の態様は、弁を含む医用画像から、弁の特徴点領域マスク又は弁の特徴点ヒートマップである弁の特徴点情報、弁の幾何学的形態情報、弁の輪郭情報、及び、弁の領域情報のうちの少なくとも１つを含む弁の解剖学的構造情報を取得することと、解剖学的構造情報に基づいて、弁をセグメンテーションするためのセグメンテーションネットワークを訓練する損失関数を設定し、セグメンテーションネットワークに対して分類ネットワークを設けてセグメンテーションネットワークを訓練し、解剖学的構造情報に基づいて、この分類ネットワークを訓練するための損失関数、及び、この分類ネットワークを訓練するための損失関数の重みを設定することと、訓練済みのセグメンテーションネットワークを用いて、弁を含む医用画像を処理し、セグメンテーション結果としての予測された弁の領域を生成することとを含む画像処理方法である。
【0014】
本実施形態の他の態様は、弁を含む医用画像から、弁の特徴点領域マスク、弁の幾何学的形態情報、弁の輪郭情報、及び、弁の領域情報のうちの少なくとも１つを含む弁の解剖学的構造情報を取得する取得部と、解剖学的構造情報に基づいて、解剖学的構造情報の重みを含む損失関数及びこの損失関数における解剖学的構造情報の重みを設定し、この損失関数によって、弁をセグメンテーションするためのセグメンテーションネットワークを訓練する訓練部と、訓練済みのセグメンテーションネットワークを用いて、弁を含む医画像を処理し、セグメンテーション結果としての予測された弁の領域を生成する画像処理部と、を備える画像処理装置である。
【0015】
本実施形態の他の態様は、弁を含む医用画像から、弁の特徴点ヒートマップ、弁の幾何学的形態情報、弁の輪郭情報、及び、弁の領域情報のうちの少なくとも１つを含む弁の解剖学的構造情報を取得する取得部と、解剖学的構造情報に基づいて、解剖学的構造情報に含まれる弁の特徴点ヒートマップ、弁の幾何学的形態情報、弁の輪郭情報及び弁の領域情報のうちの少なくとも１つと弁の領域とを含む損失関数を設定し、この損失関数によって、予測された解剖学的構造情報に含まれる弁の特徴点ヒートマップ、弁の幾何学的形態情報、弁の輪郭情報及び弁の領域情報のうちの少なくとも１つと弁の領域とを出力する複数の出力ブランチを有するセグメンテーションネットワークを訓練する訓練部と、訓練済みのセグメンテーションネットワークを用いて、弁を含む医用画像を処理し、予測された弁の領域と解剖学的構造情報とを生成する画像処理部と、を備える画像処理装置である。
【0016】
本実施形態の他の態様は、弁を含む医用画像から、弁の特徴点領域マスク又は弁の特徴点ヒートマップである弁の特徴点情報、弁の幾何学的形態情報、弁の輪郭情報、及び、弁の領域情報のうちの少なくとも１つを含む弁の解剖学的構造情報を取得する取得部と、解剖学的構造情報に基づいて、弁をセグメンテーションするためのセグメンテーションネットワークを訓練する損失関数を設定し、セグメンテーションネットワークに対して分類ネットワークを設けてセグメンテーションネットワークを訓練し、解剖学的構造情報に基づいて、この分類ネットワークを訓練するための損失関数、及び、この分類ネットワークを訓練するための損失関数の重みを設定する訓練部と、訓練済みのセグメンテーションネットワークを用いて、弁を含む医用画像を処理し、セグメンテーション結果としての予測された弁の領域を生成する画像処理部と、を備える画像処理装置である。
【0017】
本実施形態の他の態様は、上記の画像処理方法をコンピュータに実行させるためのプログラムである。
【0018】
本実施形態によれば、弁全体と局所のセグメンテーション精度を向上させた画像処理方法、画像処理装置及びプログラムを提供することができる。
【0019】
以下、実施形態を図面に基づいて説明する。
【0020】
図２Ａは、実施形態に係る弁のセグメンテーションネットワークの訓練（学習）処理を説明するためのフローチャートであり、図２Ｂは、実施形態に係る弁のセグメンテーションネットワークの推論処理を説明するためのフローチャートである。なお、セグメンテーションネットワークは、医用画像から弁をセグメンテーションするためのネットワークであり、セグメンテーションモデルとも呼ばれる。図２Ａに示すように、本実施形態に係る弁のセグメンテーションネットワークの訓練処理は、大まかには、弁を含む医用画像（図２Ａの例ではＣＴ画像）とラベルを取得するステップ（Ｓ１００）と、医用画像の前処理を行うステップ（Ｓ２００）と、具体的な解剖学的構造情報（解剖学的構造アプリオリ）を選別（決定）する解剖学的構造情報選別ステップ（Ｓ３００）と、ラベルを前処理することにより、解剖学的構造情報を抽出する解剖学的構造情報抽出ステップ（Ｓ４００）と、ネットワーク設計、損失設計により、解剖学的構造情報を導入し、弁のセグメンテーションネットワークを訓練する解剖学的構造情報応用ステップ（Ｓ５００）と、弁のセグメンテーションネットワークを出力するステップ（Ｓ６００）と、を含む。
【0021】
図２Ｂに示すように、本実施形態に係る弁のセグメンテーションネットワークの推論処理は、大まかには、弁を含む医用画像（図２Ｂの例ではＣＴ画像）を入力するステップ（Ｓ１００’）と、医用画像の前処理を行うステップ（Ｓ２００’）と、訓練済みの解剖学的構造情報に基づくセグメンテーションネットワークを用いて弁の領域を予測し特定するステップ（Ｓ３００’）と、最終的なセグメンテーション結果を出力するステップ（Ｓ４００’）と、を含む。なお、「弁の領域」は「弁マスク」とも呼ばれる。
【0022】
以下、上記要旨に基づくいくつかの実施例を詳細に説明する。
【0023】
（実施例１）
以下、図３Ａ及び図３Ｂを参照して、本実施形態の実施例１について説明する。図３Ａは、実施例１に係る弁のセグメンテーションネットワークの訓練処理を説明するためのフローチャートであり、図３Ｂは、実施例１に係る弁のセグメンテーションネットワークの推論処理を説明するためのフローチャートである。この実施例１は、知覚損失関数（知覚的損失関数）を設計することにより解剖学的構造情報を導入し、大動脈弁の領域をセグメンテーションする。言い換えれば、この実施例１は、解剖学的構造情報に基づく弁のセグメンテーションネットワークを用いた弁のセグメンテーション処理により、弁の領域を予測する。
以下、図３Ａ及び図３Ｂを参照して、本実施形態の実施例１について説明する。図３Ａは、実施例１に係る弁のセグメンテーションネットワークの訓練処理を説明するためのフローチャートであり、図３Ｂは、実施例１に係る弁のセグメンテーションネットワークの推論処理を説明するためのフローチャートである。この実施例１は、知覚損失関数（知覚的損失関数）を設計することにより解剖学的構造情報を導入し、大動脈弁の領域をセグメンテーションする。言い換えれば、この実施例１は、解剖学的構造情報に基づく弁のセグメンテーションネットワークを用いた弁のセグメンテーション処理により、弁の領域を予測する。
【0024】
実施例１に係る弁のセグメンテーションネットワークの訓練処理は、以下のステップを含む。
【0025】
まず、弁を含む医用画像（図３Ａの例ではＣＴ画像）と、特徴点ラベル、弁（大動脈弁）ラベル及び血管ラベル（大動脈起始部ラベル）などのラベルとを取得する（Ｓ１００）。これらの医用画像及び各種のラベルは、利用者（使用者）によって入力される。その後、ＣＴ画像に対して解像度の調整、諧調範囲の調整などの必要な前処理を行う（Ｓ２００）。これらの２つのステップは、本分野の一般的なやり方であるので、詳細な説明は省略する。
【0026】
次に、解剖学的構造情報を選別する（Ｓ３００）。例えば、解剖学的構造情報の種類を選別する。ここで、弁の解剖学的構造情報は、利用者によって選択することができ、本実施例では、大動脈弁の解剖学的構造情報を、特徴点領域マスク（特徴点情報）、幾何学的形態情報、輪郭情報、領域情報のうちの少なくとも１つに選別（決定）する。
【0027】
次に、解剖学的構造情報を抽出する（Ｓ４００）。本実施例１では、特徴点ラベル、弁ラベル及び血管ラベルに対して前処理を行うことにより、選別された解剖学的構造情報である特徴点領域マスク、幾何学的形態情報、輪郭情報及び領域情報のうちの少なくとも１つを抽出する。
【0028】
より詳細には、特徴点（キーポイントともいう）とは、弁において明確な解剖学的特徴（例えば、医用画像において他の部分とは区別されやすい特徴）を有し、かつ、セグメンテーション対象との相対位置関係が比較的安定する（すなわち、特徴点とセグメンテーション対象の位置関係が被走査体の個体差によって大きく変化しない）ポイントである。特徴点は、臨床的に意味があり、弁のNadir点や弁間のCommissure点などを含む。特徴点の座標から特徴点領域マスクを生成することができ、得られた特徴点領域マスクは、図４Ａの３Ｄ模式図に示すようなものである。例えば、特徴点領域マスクは、特徴点の位置を示す情報である。幾何学的形態情報とは、穴がなく、上部が広く、下部が狭いなど、弁の形態特徴を表し、弁の中心面を抽出することにより生成される（図４Ｂに示す）。得られた幾何学的形態情報は、例えば、弁の形状である。輪郭情報は、弁ラベルと血管ラベルとの交線を抽出することにより生成されてもよいし、弁における特徴点の座標と血管ラベルとのフィッティングにより生成されてもよいし（図４Ｃに示す）、弁における特徴点の座標と血管ラベルとのフィッティングなどの他の関連アルゴリズムにより生成されてもよい。領域情報は、弁ラベルと血管ラベルとから生成される（図４Ｄに示す）。
【0029】
次に、解剖学的構造情報を応用し（Ｓ５００）、本実施例１では、上記解剖学的構造情報に基づいて知覚損失関数を設計し、生成器としての、弁をセグメンテーションするためのセグメンテーションネットワークを訓練する。ここでの知覚損失関数は、解剖学的構造情報に基づく関数である。
【0030】
弁のセグメンテーションネットワークには、例えばＵ－ｎｅｔモデルのような一般的な畳み込みニューラルネットワークを用いる。また、例えばＣＥ（Cross Entropy）損失（Loss）とＤＩＣＥ損失のような従来のセグメンテーション損失を用いてネットワークを訓練する。訓練時には、図５に示すように、医用画像をセグメンテーションネットワークに入力し、セグメンテーションネットワークの出力部分は、セグメンテーション結果、すなわち予測された弁の領域である。
【0031】
ここで、解剖学的構造情報の１つ又は複数の組み合わせを用いて、ＣＥ損失とＤＩＣＥ損失におけるその重みを修正することによって、以下の式（１）のように知覚損失関数を設計する。
【0032】
【数1】
【0033】
より詳細には、特徴点損失を設計することができ、特徴点領域マスクには弁の一部及び背景の一部が含まれており、それに大きな重みを与えて、ネットワークにこの領域の特徴を重点的に学習させることにより、臨床的に意味のあるポイントを弁に含めるようにすることができる。弁の幾何学的形態損失を設計することもでき、弁の中心面は弁の内部に位置し、それに大きな重みを与えることにより、ネットワークの注目度（アテンション）を最適化することができ、これにより、誤った形態の弁構造を防ぎ、セグメンテーション精度を向上させることができる。弁の輪郭損失を設計することもでき、交線は弁の端に位置し、交線の重みを設定することで、端情報の抽出が強化され、弁と血管の正しい構造関係が保証される。弁の領域損失を設計することもでき、例えば大動脈弁については大動脈起始部を３つの領域に分割し、弁領域情報を提供でき、領域内のミスセグメンテーションの重みを増やすことで、弁間の領域侵入の問題を改善することができる。
【0034】
一例を挙げると、例えば、ネットワークに幾何学的形態の特徴を重点的に学習させたい、すなわちネットワークに誤った形態の弁構造の発生（例えば穴の発生）を重点的に回避させたい場合、解剖学的構造情報を幾何学的形態情報に選別し、このとき、上記式におけるｉは２になり、すると、上記式（１）は以下の式（２）に示すようになる。
【0035】
【数2】
【0036】
この場合、訓練処理では、まず、医用画像をセグメンテーションネットワークに入力し、それに弁のセグメンテーション結果（弁の領域）を予測させ、そして予測させた結果と実際の結果との差分を算出する。このとき、抽出された幾何学的形態情報に多くの穴が見られる場合には重みを大きく設計し、逆に幾何学的形態情報にほとんど穴が見られない場合には重みを小さく設計する。次に、この差分に重みを乗算し、この乗算の結果を損失関数値とする。その後、この損失関数値を用いてネットワークパラメータの勾配を算出して、ネットワークパラメータの次の最適化方向を決定する。その後、学習率によりネットワークパラメータの最適化のステップサイズを調整することにより、セグメンテーションネットワークを更新する。次に、次回の予測訓練を行う。上記の訓練は、訓練の繰り返し回数が所定の条件を満たすか、又は損失関数値が大きく低下しなくなるまで繰り返される。
また、上記の例は、解剖学的構造情報を幾何学的形態情報のみに選別するケースであるが、１つを超える解剖学的構造情報を選別した場合、例えば、幾何学的形態情報と領域情報に選別する場合を例にとると、ｉは、２及び４となり、すると、上記式（１）は以下の式（３）に示すようになる。
また、上記の例は、解剖学的構造情報を幾何学的形態情報のみに選別するケースであるが、１つを超える解剖学的構造情報を選別した場合、例えば、幾何学的形態情報と領域情報に選別する場合を例にとると、ｉは、２及び４となり、すると、上記式（１）は以下の式（３）に示すようになる。
【0037】
【数3】
【0038】
最後に、弁のセグメンテーションネットワークを出力することにより、ネットワーク（モデル）の訓練が完了する（Ｓ６００）。
【0039】
実施例１に係る弁のセグメンテーションネットワークの推論処理は、以下のステップを含む。
【0040】
まず、弁を含む医用画像（図３Ｂの例では、ＣＴ画像）を入力し（Ｓ１００’）、その後、医用画像に対して解像度の調整、諧調範囲の調整などの必要な前処理を行う（Ｓ２００’）。これらの２つのステップは、本分野の一般的なやり方であるので、詳細な説明は省略する。
【0041】
次に、Ｓ６００において出力された、訓練済みの解剖学的構造情報に基づくセグメンテーションネットワークを用いて弁の領域を予測する（Ｓ３００’）。
【0042】
最後に、最終的なセグメンテーション結果としての予測された弁の領域を出力する（Ｓ４００’）。予測された弁の領域は、例えば、図１２の右側に示すようなものである。
【0043】
（実施例２）
以下、図６Ａ及び図６Ｂを参照して、本実施形態の実施例２について説明する。図６Ａは、実施例２に係る弁のセグメンテーションネットワークの訓練処理を説明するためのフローチャートであり、図６Ｂは、実施例２に係る弁のセグメンテーションネットワークの推論処理を説明するためのフローチャートである。この実施例２は、ネットワーク出力を設計し、ネットワーク出力に基づいて弁のセグメンテーション結果を最適化することで、解剖学的構造情報を導入し、大動脈弁の領域をセグメンテーションする。これは、実施例１に比べて、解剖学的構造情報を予測することも可能となる。
以下、図６Ａ及び図６Ｂを参照して、本実施形態の実施例２について説明する。図６Ａは、実施例２に係る弁のセグメンテーションネットワークの訓練処理を説明するためのフローチャートであり、図６Ｂは、実施例２に係る弁のセグメンテーションネットワークの推論処理を説明するためのフローチャートである。この実施例２は、ネットワーク出力を設計し、ネットワーク出力に基づいて弁のセグメンテーション結果を最適化することで、解剖学的構造情報を導入し、大動脈弁の領域をセグメンテーションする。これは、実施例１に比べて、解剖学的構造情報を予測することも可能となる。
【0044】
実施例２に係る弁のセグメンテーションネットワークの訓練処理は、以下のステップを含む。
【0045】
まず、実施例１と同様に、弁を含む医用画像（図６Ａの例では、ＣＴ画像）及びラベル（図６Ａの例では、特徴点ラベル、弁（大動脈弁）ラベル及び血管ラベル（大動脈起始部ラベル））を取得し（Ｓ１００）、ＣＴ画像の前処理を行い（Ｓ２００）、解剖学的構造情報を選別し（Ｓ３００）、解剖学的構造情報を抽出する（Ｓ４００）。解剖学的構造情報として、実施例１は特徴点領域マスクを用いるのに対して、実施例２は分布関数と特徴点座標とから生成された特徴点ヒートマップ（図７に示す）を用いる点で、実施例１と実施例２とは相違する。
【0046】
次に、解剖学的構造情報を応用する（Ｓ５００）。実施例１と異なり、本実施例２では、セグメンテーションの損失関数、解剖学的構造情報の損失関数も設計し、これにより、セグメンテーションネットワークを訓練する。
【0047】
ここで、基礎セグメンテーションモデルとしては、図８に示すように、Ｕ－ｎｅｔなどの一般的な畳み込みニューラルネットワークを用いる。実施例１に比べると、入力の部分は同じで、いずれも医用画像であるが、出力の部分は、セグメンテーションネットワークのデコードブランチ又は出力ブランチを追加しており、これにより、実施例２に係るセグメンテーションネットワークは、実施例１のように予測された弁の領域を出力させることに加えて、特徴点ヒートマップ、幾何学的形態情報、輪郭情報及び領域情報のうちの少なくとも１つを出力させることもできる。
【0048】
また、セグメンテーションネットワークを訓練する際には、例えばＣＥ損失及びＤＩＣＥ損失のような一般的なセグメンテーション損失を用いて、弁の領域、幾何学的形態情報、輪郭情報及び領域情報のセグメンテーションブランチを訓練し、また、一般的な回帰損失（例えばＭＳＥ（Mean Squared Error））を用いて特徴点ヒートマップのブランチを訓練する。このような訓練を示す式（４）、式（５）及び式（６）を以下に示す。
【0049】
【数4】
【数5】
【数6】
【0050】
例えば、セグメンテーションネットワークに領域情報のみを使用させて弁のセグメンテーション結果を最適化する場合、上記の式（４）は以下に示す式（７）のようになる。
【0051】
【数7】
【0052】
また、例えば、セグメンテーションネットワークに特徴点ヒートマップのみを出力させる場合、上記の式（４）は以下に示す式（８）のようになる。
【0053】
【数8】
【0054】
また、例えば、セグメンテーションネットワークに領域情報と特徴点ヒートマップを出力させる場合、上記の式（４）は以下に示す式（９）のようになる。
【0055】
【数9】
【0056】
最後に、弁のセグメンテーションネットワークを出力することにより、ネットワークの訓練が完了する（Ｓ６００）。
【0057】
実施例２に係る弁のセグメンテーションネットワークの推論処理は、以下のステップを含む。
【0058】
まず、実施例１と同様に、弁を含む医用画像を入力し（Ｓ１００’）、その後、医用画像の前処理を行う（Ｓ２００’）。
【0059】
次に、Ｓ６００において出力された、訓練済みのセグメンテーションネットワークを用いて、弁の領域と解剖学的構造情報を予測する（Ｓ３００’）。
【0060】
最後に、最終的なセグメンテーション結果を出力する（Ｓ４００’）。ここで、実施例１と同様に予測された弁の領域を出力することに加えて、解剖学的構造情報を出力し、さらに、セグメンテーションネットワークによって出力された解剖学的構造情報情報を用いて、大動脈弁のセグメンテーション結果を最適化して出力することもできる。例えば、セグメンテーションネットワークによって出力された幾何学的形態情報に基づいて、フュージョン（融合）又は他の方法によって、弁のセグメンテーション結果の幾何学的形態を最適化するようにしてもよい。あるいは、セグメンテーションネットワークによって出力された輪郭情報に基づいて、フュージョンや拡張などの方法によって、弁と血管との間の交線の不連続問題を最適化するようにしてもよい。あるいは、セグメンテーションネットワークによって出力された領域情報に基づいて、連続領域を除去するなどの方法によって弁間の領域侵入問題を最適化するようにしてもよい。あるいは、セグメンテーションネットワークによって出力された特徴点ヒートマップから得られた特徴点座標に基づいて特徴点が弁上（予測された弁の領域上）にあるか否かを判定し、弁上になければ、弁上に特徴点が含まれるように弁の領域を延長してセグメンテーション結果を最適化するようにしてもよい。
【0061】
これにより、この実施例２によれば、ネットワークには、従来技術より、特徴点、幾何学的形態情報、輪郭情報及び領域情報の特徴をさらに学習させることで、セグメンテーションネットワークが学習した特徴をよりロバスト化することができる。
【0062】
この実施例２によれば、セグメンテーションネットワークを設計する際に、解剖学的構造情報の損失関数も設計する。これにより、解剖学的構造情報を導入することができ、訓練により精細な弁のセグメンテーションネットワークを得ることができる。また、この実施例２は、実施例１が弁の領域を示す情報のみを出力することに比べて、弁の領域を示す情報と解剖学的構造情報を出力して、セグメンテーションネットワークによって出力された解剖学的構造情報情報を用いて弁のセグメンテーション結果を最適化することができ、より実用性の高い最終的な出力が得られる。
【0063】
（実施例３）
以下、図９Ａ及び図９Ｂを参照して、本実施形態の実施例３について説明する。図９Ａは、実施例３に係る弁のセグメンテーションネットワークの訓練処理を説明するためのフローチャートであり、図９Ｂは、実施例３に係る弁のセグメンテーションネットワークの推論処理を説明するためのフローチャートである。この実施例３は実施例１の補足として、敵対的損失関数を設計することにより、解剖学的構造情報を導入し、大動脈弁の領域をセグメンテーションする。
以下、図９Ａ及び図９Ｂを参照して、本実施形態の実施例３について説明する。図９Ａは、実施例３に係る弁のセグメンテーションネットワークの訓練処理を説明するためのフローチャートであり、図９Ｂは、実施例３に係る弁のセグメンテーションネットワークの推論処理を説明するためのフローチャートである。この実施例３は実施例１の補足として、敵対的損失関数を設計することにより、解剖学的構造情報を導入し、大動脈弁の領域をセグメンテーションする。
【0064】
実施例３に係る弁のセグメンテーションネットワークの訓練処理は、以下のステップを含む。
【0065】
まず、実施例１と同様に、弁を含む医用画像（図９Ａの例では、ＣＴ画像）とラベル（図９Ａの例では、特徴点ラベル、弁（大動脈弁）ラベル及び血管ラベル（大動脈起始部ラベル））を取得し（Ｓ１００）、ＣＴ画像の前処理を行い（Ｓ２００）、解剖学的構造情報を選別し（Ｓ３００）、解剖学的構造情報を抽出する（Ｓ４００）。解剖学的構造情報として、実施例１は特徴点領域マスクを用いるのに対して、実施例３は特徴点ヒートマップ又は特徴点領域マスクを用いる点で実施例１と実施例３とは相違する。
【0066】
次に、解剖学的構造情報を応用する（Ｓ５００）。Ｓ５００において、本実施例３では、さらに、敵対的損失関数を用いて解剖学的構造情報情報を導入し、解剖学的知識に一致するセグメンテーションネットワークを訓練する点で実施例３と実施例１とは相違する。
【0067】
ここで、実施例１と同様に、弁の基礎セグメンテーションモデルとして、Ｕ－ｎｅｔなどの一般的な畳み込みニューラルネットワークを用い、また、セグメンテーションネットワークを訓練する際に、ＣＥ損失及びＤＩＣＥ損失のような一般的なセグメンテーション損失を用いる。図１０に示すように、実施例３では、分類ネットワーク（いわゆる判別器、分類モデル）も導入されている点で実施例１と実施例３とは相違する。すなわち、セグメンテーション損失に加え、解剖学的構造情報に基づいて分類ネットワーク(Ｄｉｓｃｒｉｍｉｎａｔｏｒ)の損失を設計し、セグメンテーションネットワークの訓練に追加する。すると、セグメンテーションネットワークの損失は、以下の式（１０）のように３つの項を含む。
【0068】
【数10】
【0069】
分類ネットワークは、例えばＲｅｓＮｅｔ１８のような単純な畳み込みニューラルネットワークであり、抽出された解剖学的構造情報と弁の領域とからなる１組のデータが入力され、ここで、セグメンテーション結果（弁の領域）は真のもの、又はセグメンテーションネットワークによって予測されたものであり、出力されたのは弁の領域が真である可能性を示すものである。分類ネットワークの目標は、可能な限り、真のセグメンテーションを１、予測されたセグメンテーションを０と予測することである。言い換えれば、分類ネットワークに、抽出された解剖学的構造情報と予測されたセグメンテーション結果とを１組のデータとして入力した場合には、分類ネットワークができるだけ「偽」を示す「０」を出力するように、分類ネットワークを訓練する。また、分類ネットワークに、抽出された解剖学的構造情報と真のセグメンテーション結果とを１組のデータとして入力した場合には、分類ネットワークができるだけ「真」を示す「１」を出力するように、分類ネットワークを訓練する。さらに、以下の式（１１）のように、ＣＥ損失のみを用いて分類ネットワークを訓練する。
【0070】
【数11】
【0071】
ここで、Ｄは、分類ネットワーク（すなわち、判別器）を表す。
【0072】
セグメンテーションネットワークの目標は、分類ネットワークに「予測された弁の領域対」が入力されるときに、分類ネットワークの出力を真とするようにすることであり、すなわち、真の弁の領域に近い結果を可能な限り出力することであるため、解剖学的構造情報により一致するようになる。
【0073】
最後に、弁のセグメンテーションネットワークを出力することにより、モデルの訓練が完了する（Ｓ６００）。
【0074】
実施例３に係る弁のセグメンテーションネットワークの推論処理は、以下のステップを含む。
【0075】
まず、実施例１と同様に、弁を含む医用画像（図９Ｂの例では、ＣＴ画像）を入力し（Ｓ１００’）、その後、画像の前処理を行う（Ｓ２００’）。
【0076】
次に、Ｓ６００において出力された、訓練済みの解剖学的構造情報に基づくセグメンテーションネットワークを用いて弁の領域を予測する（Ｓ３００’）。
【0077】
最後に、最終的なセグメンテーション結果を出力する（Ｓ４００’）。
【0078】
この実施例３は、実施例１に比べて、解剖学的構造情報応用ステップにおいて、敵対的損失を用いて解剖学的構造情報を導入し、より解剖学的知識を満足するセグメンテーションネットワークを得ることができる。
【0079】
（実施例４）
以下、図１１Ａ及び図１１Ｂを参照して、本実施形態の実施例４について説明する。図１１Ａは、実施例４に係る弁のセグメンテーションネットワークの訓練処理を説明するためのフローチャートであり、図１１Ｂは、実施例４に係る弁のセグメンテーションネットワークの推論処理を説明するためのフローチャートである。この実施例４は、実施例１の補足として、実施例１に比べ、解剖学的構造情報選別ステップ（Ｓ３００）において、まず、従来の方法、機械学習又は従来技術を利用して、弁を自動的に粗セグメンテーションし、粗セグメンテーション結果を得て、続いて、弁の粗セグメンテーション結果に基づいて画像特徴を算出し、その後、算出された画像特徴に基づいて、従来技術によるセグメンテーション結果に対する視覚評価を行い、評価の結果に基づいて、解剖学的構造情報を特徴点領域マスク、幾何学的形態情報、輪郭情報、領域情報のうちの少なくとも１つに選別（決定）するという点のみで相違する。なお、粗セグメンテーションとは、例えば、訓練済みのセグメンテーションネットワークを用いて行う弁のセグメンテーションよりも、大まかに又は粗く弁をセグメンテーションするセグメンテーションを意味する。すなわち、粗セグメンテーションとは、例えば、訓練済みのセグメンテーションネットワークを用いて行う弁のセグメンテーションよりも、精度が低い弁のセグメンテーションである。
以下、図１１Ａ及び図１１Ｂを参照して、本実施形態の実施例４について説明する。図１１Ａは、実施例４に係る弁のセグメンテーションネットワークの訓練処理を説明するためのフローチャートであり、図１１Ｂは、実施例４に係る弁のセグメンテーションネットワークの推論処理を説明するためのフローチャートである。この実施例４は、実施例１の補足として、実施例１に比べ、解剖学的構造情報選別ステップ（Ｓ３００）において、まず、従来の方法、機械学習又は従来技術を利用して、弁を自動的に粗セグメンテーションし、粗セグメンテーション結果を得て、続いて、弁の粗セグメンテーション結果に基づいて画像特徴を算出し、その後、算出された画像特徴に基づいて、従来技術によるセグメンテーション結果に対する視覚評価を行い、評価の結果に基づいて、解剖学的構造情報を特徴点領域マスク、幾何学的形態情報、輪郭情報、領域情報のうちの少なくとも１つに選別（決定）するという点のみで相違する。なお、粗セグメンテーションとは、例えば、訓練済みのセグメンテーションネットワークを用いて行う弁のセグメンテーションよりも、大まかに又は粗く弁をセグメンテーションするセグメンテーションを意味する。すなわち、粗セグメンテーションとは、例えば、訓練済みのセグメンテーションネットワークを用いて行う弁のセグメンテーションよりも、精度が低い弁のセグメンテーションである。
【0080】
ここで、一例を挙げると、例えば、まず、従来技術を利用して弁を粗セグメンテーションし、図１２中の左側に示す粗セグメンテーション結果を得て、そして、この粗セグメンテーション結果に基づいて画像特徴としてのいわゆる距離図（ｄｉｓｔａｎｃｅ ｍａｐ）を算出し、利用者は、この距離図上で、弁に穴がある（又は穴の数が所定の閾値より大きい）ことを発見すると、解剖学的構造情報を意図的に幾何学的形態情報に決定してネットワークの注目度を最適化し、ネットワークに幾何学的形態の特徴を重点的に学習させることにより、誤った形態の弁構造の発生を防止し、セグメンテーション精度を向上させることができる。又は、例えば、利用者は、粗セグメンテーション結果が、特徴点が真の弁上に位置する数が所定の閾値より小さいことであることを発見すると、解剖学的構造情報を特徴点領域マスクに決定することで、ネットワークに特徴点領域マスクの特徴を重点に学習させ、臨床的に意味のあるのポイントを弁上に含めるようにすることができる。この実施例４によれば、より適切な解剖学的構造情報を選択してより大きな重みを与えることができ、これにより、弁のセグメンテーションの正確性をさらに高めることができる。
【0081】
上述した実施形態は次のような利点を有する。
【0082】
まず、実施例１によれば、特徴点情報（特徴点領域マスク）に基づいて損失関数を設計するため、予測された弁の領域の肝心な部位の正確性（精度）を向上させることができ、特に、特徴点情報に重み付けされた後、モデルによって予測された弁の領域には、より多くの特徴点を含めることができる。
【0083】
特徴点情報に重み付けされていない従来技術と比較するために、本実施形態の実施例１で訓練されたセグメンテーションネットワークを用いて４８回の試験を行い、具体的には、各試験において、予測された３つの弁に計６つの特徴点を付け、これらの特徴点が真の弁上に位置する個数を統計したところ、下記の表１の１列目のデータに示すように、従来よりも４.１％の正確率向上が見られ、また、予測された弁上にNadir点を算出し、この最Nadir点と実際のNadir点との間の距離を測定したところ、下記の表１の２列目のデータに示すように、従来よりも平均０.０１ｍｍの誤差減少が見られた。
【0084】
【表1】
【0085】
また、図１２に示すように、弁の幾何学的形態情報に基づいて損失関数を設計するため、従来技術における穴を含む弁などの誤った形態の弁のセグメンテーション結果の発生を効果的に減少させることができ、１心周期内の様々な形態の弁の領域をより正確に予測することができ、予測された弁の領域全体の精度を向上させることができる。
【0086】
また、弁の輪郭情報に基づいて損失関数を設計するため、弁と血管の間の接続が正しくなり、弁と血管の間の接続が切断されたセグメンテーション結果や解剖学的構造に一致しないセグメンテーション結果を減少させることができる。また、図１３に示すように、弁間の領域特徴に基づいて損失関数を設計するため、従来技術における弁が互いに領域を侵入する問題を低減することができる。
【0087】
また、実施例２によれば、弁の解剖学的構造情報を出力できるようにネットワークを設計しているため、推論段階でネットワーク出力を用いて弁のセグメンテーション結果を最適化して、予測された弁の領域をより正確にし、真の弁（結果）により近づけることができる。例えば、予測された弁の領域の形態はより正確で、穴がない。それに加えて、実施例３によれば、敵対的損失関数を用いて解剖学的構造情報を導入し、セグメンテーションネットワークを訓練するため、セグメンテーションネットワークに、余計なモデル実行時間を増やすことなく、弁の解剖学的構造に一致する弁の領域を生成することができる。さらに、実施例４によれば、この粗セグメンテーション結果に基づいてより適切な解剖学的構造情報を選択することができ、かつ、より大きな重みを与えることができるため、弁のセグメンテーションの正確性をさらに向上させることができる。
【0088】
なお、本実施形態は、上記画像処理方法を実行する装置として実現されてもよいし、上記方法をコンピュータに実行させるためのプログラムとして実現されてもよいし、そのプログラムが格納されている記憶媒体として実現されてもよい。
【0089】
図１４を参照して、上述した画像処理方法を実行する画像処理装置の構成の一例について説明する。図１４は、実施形態に係る画像処理装置の構成の一例を示す図である。図１４に示すように、画像処理装置１０は、処理回路１１と、メモリ１２とを備える。
【0090】
処理回路１１は、例えば、プロセッサにより実現される。プロセッサは、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ(Graphics Processing Unit)、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路である。プロセッサはメモリ１２に保存されたプログラムを読み出し実行することで機能を実現する。なお、メモリ１２にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。なお、本実施形態のプロセッサは、単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。
【0091】
処理回路１１は、取得機能１１ａ、訓練機能１１ｂ及び画像処理機能１１ｃを有する。ここで、例えば、図１４に示す処理回路１１の構成要素である取得機能１１ａ、訓練機能１１ｂ及び画像処理機能１１ｃの各処理機能は、コンピュータによって実行可能なプログラムの形態でメモリ１２内に記録されている。処理回路１１は、例えば、プロセッサにより実現される。処理回路１１は、メモリ１２から各プログラムを読み出し、読み出した各プログラムを実行することで各プログラムに対応する機能を実現する。換言すると、各プログラムを読み出した状態の処理回路１１は、図１４の処理回路１１内に示された各機能を有することとなる。
【0092】
取得機能１１ａは、例えば、取得部の一例である。訓練機能１１ｂは、例えば、訓練部の一例である。画像処理機能１１ｃは、例えば、画像処理部の一例である。
【0093】
画像処理装置１０は、上述した実施例１～４のいずれかの実施例で説明した画像処理方法を実行する。まず、画像処理装置１０が実施例１で説明した画像処理方法を実行する場合について説明する。この場合、取得機能１１ａは、弁を含む医用画像から、弁の特徴点領域マスク、幾何学的形態情報、輪郭情報及び領域情報のうちの少なくとも１つを含む弁の解剖学的構造情報を取得する。訓練機能１１ｂは、解剖学的構造情報に基づいて、解剖学的構造情報の重みを含む損失関数及び損失関数における解剖学的構造情報の重みを設定し、損失関数によって、弁をセグメンテーションするためのセグメンテーションネットワークを訓練する。画像処理機能１１ｃは、訓練済みのセグメンテーションネットワークを用いて、弁を含む医用画像を処理し、セグメンテーション結果としての予測された弁の領域を生成する。なお、画像処理機能１１ｃは、画像処理装置１０が備えるディスプレイにセグメンテーション結果（予測された弁の領域）を表示させてもよい。
【0094】
また、取得機能１１ａは、利用者が医用画像に付した特徴点ラベル、弁ラベル及び血管ラベルのうちの少なくとも１つのラベルを前処理することにより、解剖学的構造情報を取得する。
【0095】
また、実施例１において、解剖学的構造情報に対応する損失関数は、ＣＥ損失関数とＤＩＣＥ損失関数である。
【0096】
また、実施例１において、解剖学的構造情報において、特徴点領域マスクは、弁における特徴点座標から生成され、幾何学的形態情報は、弁の中心面を抽出することにより生成され、輪郭情報は、弁ラベルと血管ラベルとの交線を抽出することにより生成されるか、又は弁における特徴点座標と血管ラベルとのフィッティングにより生成され、領域情報は、弁ラベルと血管ラベルとから生成される。
【0097】
次に、画像処理装置１０が実施例２で説明した画像処理方法を実行する場合について説明する。この場合、取得機能１１ａは、弁を含む医用画像から、弁の特徴点ヒートマップ、幾何学的形態情報、輪郭情報及び領域情報のうちの少なくとも１つを含む弁の解剖学的構造情報を取得する。訓練機能１１ｂは、解剖学的構造情報に基づいて、解剖学的構造情報に含まれる弁の特徴点ヒートマップ、幾何学的形態情報、輪郭情報及び領域情報のうちの少なくとも１つと弁の領域とを含む損失関数を設定し、損失関数によって、予測された解剖学的構造情報に含まれる弁の特徴点ヒートマップ、幾何学的形態情報、輪郭情報及び領域情報のうちの少なくとも１つと弁の領域とを出力する複数の出力ブランチを有するセグメンテーションネットワークを訓練する。画像処理機能１１ｃは、訓練済みのセグメンテーションネットワークを用いて、弁を含む医用画像を処理し、予測された弁の領域と解剖学的構造情報とを生成する。なお、画像処理機能１１ｃは、画像処理装置１０が備えるディスプレイに予測された弁の領域及び解剖学的構造情報を表示させてもよい。
【0098】
また、画像処理機能１１ｃは、セグメンテーションネットワークが出力した弁の領域及び解剖学的構造情報を用いて、弁のセグメンテーション結果に関する後処理を最適化する。
【0099】
また、実施例２において、損失関数は、解剖学的構造情報の重みをさらに含み、訓練機能１１ｂは、損失関数における解剖学的構造情報の重みをさらに設定する。
【0100】
また、訓練機能１１ｂは、回帰損失関数としてのＭＳＥを用いて、セグメンテーションネットワークの特徴点ヒートマップを出力するためのブランチを訓練する。
【0101】
また、実施例２において、弁の幾何学的形態情報、弁の輪郭情報、弁の領域情報及び弁の領域に対応する損失関数は、ＣＥ損失関数とＤＩＣＥ損失関数であり、訓練機能１１ｂは、ＣＥ損失関数とＤＩＣＥ損失関数とを用いて、セグメンテーションネットワークの上述した幾何学的形態情報、輪郭情報、領域情報及び弁の領域を出力するためのブランチを訓練する。
【0102】
また、取得機能１１ａは、利用者が医用画像に付した特徴点ラベル、弁ラベル及び血管ラベルのうちの少なくとも１つのラベルを前処理することにより、解剖学的構造情報を取得する。
【0103】
また、実施例２では、解特徴点ヒートマップは、分布関数と特徴点座標とから生成され、幾何学的形態情報は、弁の中心面を抽出することにより生成され、輪郭情報は、弁ラベルと血管ラベルとの交線を抽出することにより生成されるか、又は弁における特徴点座標と血管ラベルとのフィッティングにより生成され、領域情報は、弁ラベルと血管ラベルとから生成される。
【0104】
次に、画像処理装置１０が実施例３で説明した画像処理方法を実行する場合について説明する。この場合、取得機能１１ａは、弁を含む医用画像から、弁の特徴点領域マスク又は特徴点ヒートマップである特徴点情報、幾何学的形態情報、輪郭情報及び領域情報のうちの少なくとも１つを含む弁の解剖学的構造情報を取得する。訓練機能１１ｂは、解剖学的構造情報に基づいて、弁をセグメンテーションするためのセグメンテーションネットワークを訓練する損失関数を設定し、セグメンテーションネットワークに対して分類ネットワークを設けてセグメンテーションネットワークを訓練し、解剖学的構造情報に基づいて、分類ネットワークを訓練するための損失関数及び分類ネットワークを訓練するための損失関数の重みを設定する。画像処理機能１１ｃは、訓練済みのセグメンテーションネットワークを用いて、弁を含む医用画像を処理し、セグメンテーション結果としての予測された弁の領域を生成する。なお、画像処理機能１１ｃは、画像処理装置１０が備えるディスプレイに予測された弁の領域を表示させてもよい。
【0105】
また、実施例３において、セグメンテーションネットワークの損失関数は、解剖学的構造情報の重みをさらに含み、訓練機能１１ｂは、セグメンテーションネットワークの損失関数における解剖学的構造情報の重みをさらに設定する。
【0106】
また、実施例３において、分類ネットワークを訓練するための損失関数は、ＣＥ損失関数である。
【0107】
また、実施例３において、分類ネットワークは、例えば、ＲｅｓＮｅｔ１８である。
【0108】
また、実施例３において、解剖学的構造情報に対応する損失関数は、ＣＥ損失関数とＤＩＣＥ損失関数である。
【0109】
また、取得機能１１ａは、利用者が医用画像に付した特徴点ラベル、弁ラベル及び血管ラベルのうちの少なくとも１つのラベルを前処理することにより、解剖学的構造情報を取得する。
【0110】
また、実施例３において、特徴点領域マスクは、弁における特徴点座標から生成され、特徴点ヒートマップは、分布関数と特徴点座標とから生成され、幾何学的形態情報は、弁の中心面を抽出することにより生成され、輪郭情報は、弁ラベルと血管ラベルとの交線を抽出することにより生成されるか、又は弁における特徴点座標と血管ラベルとのフィッティングにより生成され、領域情報は、弁ラベルと血管ラベルとから生成される。
【0111】
次に、画像処理装置１０が実施例４で説明した画像処理方法を実行する場合について説明する。この場合、取得機能１１ａは、弁を含む医用画像に対して弁の粗セグメンテーションを自動的に行い、粗セグメンテーション結果に基づいて解剖学的構造情報を決定する。
【0112】
なお、上述したセグメンテーションネットワークは、例えば、Ｕ－ｎｅｔネットワークである。
【0113】
メモリ１２は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等により実現される。メモリ１２は、例えば、上述したプログラムを記憶する。また、メモリ１２は、処理回路１１が各種の処理を実行する際に用いられる各種のデータを一時的に記憶する。メモリ１２は、記憶部の一例である。
【0114】
上記実施例は、互いに組み合わせて使用してもよい。例えば、実施例１におけるＣＥ損失とＤＩＣＥ損失の重みを修正することにより知覚損失関数を設計する特徴を他の実施例に適用してもよいし、実施例４における予め粗セグメンテーションを行うことにより解剖学的構造情報を選別する特徴を他の実施例（実施例１～３のいずれかの実施例）に適用してもよい。
【0115】
また、本実施形態の弁は、大動脈弁のほか、肺動脈弁又は上下肢静脈弁などにも適用できるが、これら以外の弁であってもよい。
【0116】
以上説明した少なくとも一つの実施形態によれば、弁全体と局所のセグメンテーション精度を向上させることができる。
【0117】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0118】
１０ 画像処理装置
１１ 処理回路
１１ａ 取得機能
１１ｂ 訓練機能
１１ｃ 画像処理機能
１１ 処理回路
１１ａ 取得機能
１１ｂ 訓練機能
１１ｃ 画像処理機能
【図1A】
【図1B】
【図1C】
【図2A】
【図2B】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図4D】
【図5】
【図6A】
【図6B】
【図7】
【図8】
【図9A】
【図9B】
【図10】
【図11A】
【図11B】
【図12】
【図13】
【図14】