特開2023-153576血管区分判別システム、血管区分判別方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023153576
(43)【公開日】2023-10-18
(54)【発明の名称】血管区分判別システム、血管区分判別方法およびプログラム
(51)【国際特許分類】
A61B 6/03 20060101AFI20231011BHJP
A61B 5/055 20060101ALI20231011BHJP
A61B 34/10 20160101ALI20231011BHJP
【ＦＩ】
A61B6/03 377
A61B6/03 360G
A61B6/03 360J
A61B5/055 390
A61B34/10
【審査請求】未請求
【請求項の数】14
【出願形態】ＯＬ
(21)【出願番号】P 2022062934
(22)【出願日】2022-04-05
(71)【出願人】
【識別番号】399086263
【氏名又は名称】学校法人帝京大学
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100188558
【弁理士】
【氏名又は名称】飯田 雅人
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100152272
【弁理士】
【氏名又は名称】川越 雄一郎
(74)【代理人】
【識別番号】100181722
【弁理士】
【氏名又は名称】春田 洋孝
(72)【発明者】
【氏名】高田 剛志
【テーマコード（参考）】
4C093
4C096
【Ｆターム（参考）】
4C093AA22
4C093AA25
4C093AA26
4C093CA23
4C093DA02
4C093FD03
4C093FF16
4C093FF22
4C093FF42
4C096AA10
4C096AA18
4C096AB36
4C096AC05
4C096AD14
4C096DC19
4C096DC40
(57)【要約】
【課題】Ｘ線透視や超音波装置が使用できない状況下でも患者の大動脈のＺｏｎｅ１、Ｚｏｎｅ２、Ｚｏｎｅ３を容易に識別できるようにする。
【解決手段】血管区分判別システムは、患者の腹部表面の３次元構造を認識し、患者の腹部表面の３次元構造から患者の腹部表面のデプス画像を生成し、深層学習モデルの学習に使用される学習用データセットを生成し、学習済み深層学習モデルを用いることにより患者の大動脈区分を判別する。学習用データセット生成部は、血管区分判別装置による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ画像などから学習用の腹部表面の３次元構造を生成し、学習用の腹部表面の３次元構造から学習用のデプス画像を生成し、腹部ＣＴ画像に基づいて、学習用のデプス画像中の各ピクセルと、大動脈Ｚｏｎｅ１、大動脈Ｚｏｎｅ２、大動脈Ｚｏｎｅ３およびそれら以外のいずれかとの対応関係を示す学習用データセットを生成する。
【選択図】図１
【解決手段】血管区分判別システムは、患者の腹部表面の３次元構造を認識し、患者の腹部表面の３次元構造から患者の腹部表面のデプス画像を生成し、深層学習モデルの学習に使用される学習用データセットを生成し、学習済み深層学習モデルを用いることにより患者の大動脈区分を判別する。学習用データセット生成部は、血管区分判別装置による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ画像などから学習用の腹部表面の３次元構造を生成し、学習用の腹部表面の３次元構造から学習用のデプス画像を生成し、腹部ＣＴ画像に基づいて、学習用のデプス画像中の各ピクセルと、大動脈Ｚｏｎｅ１、大動脈Ｚｏｎｅ２、大動脈Ｚｏｎｅ３およびそれら以外のいずれかとの対応関係を示す学習用データセットを生成する。
【選択図】図１
【特許請求の範囲】
【請求項1】
患者の腹部表面の３次元構造を認識する３次元構造認識装置と、
前記３次元構造認識装置によって認識された患者の腹部表面の３次元構造から患者の腹部表面のデプス画像を生成するデプス画像生成部と、
深層学習モデルを用いることにより、前記３次元構造認識装置によって腹部表面の３次元構造が認識された患者の大動脈区分を判別する血管区分判別装置と、
前記深層学習モデルの学習に使用される学習用データセットを生成する学習用データセット生成部とを備え、
前記深層学習モデルの学習が行われる前に、前記学習用データセット生成部は、
前記血管区分判別装置による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ（Computed Tomography）画像、腹部ＭＲＩ（Magnetic Resonance Imaging）画像および腹部ＭＲＡ（magnetic resonance angiography）画像のいずれかから学習用の腹部表面の３次元構造を生成し、
前記学習用の腹部表面の３次元構造から学習用のデプス画像を生成し、
前記腹部ＣＴ画像、前記腹部ＭＲＩ画像および前記腹部ＭＲＡ画像のいずれかに基づいて、前記学習用のデプス画像中の各ピクセルと、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分のいずれかとの対応関係を示す学習用データセットを生成し、
前記学習用データセット生成部によって生成された前記学習用データセットを使用して前記深層学習モデルの学習が行われた後に、
前記３次元構造認識装置が、患者の腹部表面の３次元構造を認識し、
前記デプス画像生成部が、前記３次元構造認識装置によって認識された患者の腹部表面の３次元構造から患者の腹部表面のデプス画像を生成し、
前記血管区分判別装置が、学習済みの前記深層学習モデルを用いることにより、前記デプス画像生成部によって生成された患者の腹部表面のデプス画像中の各ピクセルが、前記第１血管区分、前記第２血管区分、前記第３血管区分および前記他の区分のいずれかに該当するかを推定する、
血管区分判別システム。
前記３次元構造認識装置によって認識された患者の腹部表面の３次元構造から患者の腹部表面のデプス画像を生成するデプス画像生成部と、
深層学習モデルを用いることにより、前記３次元構造認識装置によって腹部表面の３次元構造が認識された患者の大動脈区分を判別する血管区分判別装置と、
前記深層学習モデルの学習に使用される学習用データセットを生成する学習用データセット生成部とを備え、
前記深層学習モデルの学習が行われる前に、前記学習用データセット生成部は、
前記血管区分判別装置による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ（Computed Tomography）画像、腹部ＭＲＩ（Magnetic Resonance Imaging）画像および腹部ＭＲＡ（magnetic resonance angiography）画像のいずれかから学習用の腹部表面の３次元構造を生成し、
前記学習用の腹部表面の３次元構造から学習用のデプス画像を生成し、
前記腹部ＣＴ画像、前記腹部ＭＲＩ画像および前記腹部ＭＲＡ画像のいずれかに基づいて、前記学習用のデプス画像中の各ピクセルと、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分のいずれかとの対応関係を示す学習用データセットを生成し、
前記学習用データセット生成部によって生成された前記学習用データセットを使用して前記深層学習モデルの学習が行われた後に、
前記３次元構造認識装置が、患者の腹部表面の３次元構造を認識し、
前記デプス画像生成部が、前記３次元構造認識装置によって認識された患者の腹部表面の３次元構造から患者の腹部表面のデプス画像を生成し、
前記血管区分判別装置が、学習済みの前記深層学習モデルを用いることにより、前記デプス画像生成部によって生成された患者の腹部表面のデプス画像中の各ピクセルが、前記第１血管区分、前記第２血管区分、前記第３血管区分および前記他の区分のいずれかに該当するかを推定する、
血管区分判別システム。
【請求項2】
前記血管区分判別装置による患者の大動脈区分の推定結果を患者の腹部表面に投影したバーチャル画像を生成する可視化装置を備える、
請求項１に記載の血管区分判別システム。
請求項１に記載の血管区分判別システム。
【請求項3】
前記血管区分判別装置は、
前記学習用データセット生成部によって生成された前記学習用データセットを使用して前記深層学習モデルの学習を行う学習部と、
学習済みの前記深層学習モデルを用いることにより、前記デプス画像生成部によって生成された患者の腹部表面のデプス画像中の各ピクセルが、前記第１血管区分、前記第２血管区分、前記第３血管区分および前記他の区分のいずれかに該当するかを推定する推定部とを備え、
前記学習部は、学習済みの前記深層学習モデルを用いた前記第２血管区分の推定精度が所定の閾値以上になるように、前記深層学習モデルの学習を行う、
請求項１に記載の血管区分判別システム。
前記学習用データセット生成部によって生成された前記学習用データセットを使用して前記深層学習モデルの学習を行う学習部と、
学習済みの前記深層学習モデルを用いることにより、前記デプス画像生成部によって生成された患者の腹部表面のデプス画像中の各ピクセルが、前記第１血管区分、前記第２血管区分、前記第３血管区分および前記他の区分のいずれかに該当するかを推定する推定部とを備え、
前記学習部は、学習済みの前記深層学習モデルを用いた前記第２血管区分の推定精度が所定の閾値以上になるように、前記深層学習モデルの学習を行う、
請求項１に記載の血管区分判別システム。
【請求項4】
前記３次元構造認識装置は、患者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから患者の腹部表面の３次元構造を生成する機能を有する、
請求項１に記載の血管区分判別システム。
請求項１に記載の血管区分判別システム。
【請求項5】
前記血管区分判別装置は、患者の大動脈区分の推定結果として、
患者のランドマーク部から患者の前記第１血管区分までの長さ、患者のランドマーク部から患者の前記第２血管区分までの長さ、および、患者のランドマーク部から患者の前記第３血管区分までの長さを出力する、
請求項１に記載の血管区分判別システム。
患者のランドマーク部から患者の前記第１血管区分までの長さ、患者のランドマーク部から患者の前記第２血管区分までの長さ、および、患者のランドマーク部から患者の前記第３血管区分までの長さを出力する、
請求項１に記載の血管区分判別システム。
【請求項6】
患者の腹部表面の３次元構造を認識する３次元構造認識装置と、
前記３次元構造認識装置によって認識された患者の腹部表面の３次元構造から患者の腹部表面のデプス画像を生成するデプス画像生成部と、
深層学習モデルを用いることにより、前記３次元構造認識装置によって腹部表面の３次元構造が認識された患者の大動脈区分を判別する血管区分判別装置と、
前記深層学習モデルの学習に使用される学習用データセットを生成する学習用データセット生成部とを備える血管区分判別システムの血管区分判別方法であって、
前記深層学習モデルの学習が行われる前に、前記学習用データセット生成部が、
前記血管区分判別装置による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから学習用の腹部表面の３次元構造を生成し、
前記学習用の腹部表面の３次元構造から学習用のデプス画像を生成し、
前記腹部ＣＴ画像、前記腹部ＭＲＩ画像および前記腹部ＭＲＡ画像のいずれかに基づいて、前記学習用のデプス画像中の各ピクセルと、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分のいずれかとの対応関係を示す学習用データセットを生成する学習用データセット生成ステップと、
前記学習用データセット生成ステップにおいて生成された前記学習用データセットを使用して前記深層学習モデルの学習が行われた後に、前記３次元構造認識装置が、患者の腹部表面の３次元構造を認識する３次元構造認識ステップと、
前記デプス画像生成部が、前記３次元構造認識ステップにおいて認識された患者の腹部表面の３次元構造から患者の腹部表面のデプス画像を生成するデプス画像生成ステップと、
前記血管区分判別装置が、学習済みの前記深層学習モデルを用いることにより、前記デプス画像生成ステップにおいて生成された患者の腹部表面のデプス画像中の各ピクセルが、前記第１血管区分、前記第２血管区分、前記第３血管区分および前記他の区分のいずれかに該当するかを推定する血管区分判別ステップとを備える、
血管区分判別方法。
前記３次元構造認識装置によって認識された患者の腹部表面の３次元構造から患者の腹部表面のデプス画像を生成するデプス画像生成部と、
深層学習モデルを用いることにより、前記３次元構造認識装置によって腹部表面の３次元構造が認識された患者の大動脈区分を判別する血管区分判別装置と、
前記深層学習モデルの学習に使用される学習用データセットを生成する学習用データセット生成部とを備える血管区分判別システムの血管区分判別方法であって、
前記深層学習モデルの学習が行われる前に、前記学習用データセット生成部が、
前記血管区分判別装置による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから学習用の腹部表面の３次元構造を生成し、
前記学習用の腹部表面の３次元構造から学習用のデプス画像を生成し、
前記腹部ＣＴ画像、前記腹部ＭＲＩ画像および前記腹部ＭＲＡ画像のいずれかに基づいて、前記学習用のデプス画像中の各ピクセルと、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分のいずれかとの対応関係を示す学習用データセットを生成する学習用データセット生成ステップと、
前記学習用データセット生成ステップにおいて生成された前記学習用データセットを使用して前記深層学習モデルの学習が行われた後に、前記３次元構造認識装置が、患者の腹部表面の３次元構造を認識する３次元構造認識ステップと、
前記デプス画像生成部が、前記３次元構造認識ステップにおいて認識された患者の腹部表面の３次元構造から患者の腹部表面のデプス画像を生成するデプス画像生成ステップと、
前記血管区分判別装置が、学習済みの前記深層学習モデルを用いることにより、前記デプス画像生成ステップにおいて生成された患者の腹部表面のデプス画像中の各ピクセルが、前記第１血管区分、前記第２血管区分、前記第３血管区分および前記他の区分のいずれかに該当するかを推定する血管区分判別ステップとを備える、
血管区分判別方法。
【請求項7】
患者の腹部表面の３次元構造を認識する３次元構造認識装置と、
前記３次元構造認識装置によって認識された患者の腹部表面の３次元構造から患者の腹部表面のデプス画像を生成するデプス画像生成部と、
深層学習モデルの学習に使用される学習用データセットを生成する学習用データセット生成部とを備える血管区分判別システムに備えられる血管区分判別装置を構成するコンピュータに、
前記学習用データセット生成部によって生成された前記学習用データセットを使用して深層学習モデルの学習を行う学習ステップと、
血管区分判別ステップとを実行させるためのプログラムであって、
前記学習用データセット生成部は、
前記血管区分判別装置による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから学習用の腹部表面の３次元構造を生成し、
前記学習用の腹部表面の３次元構造から学習用のデプス画像を生成し、
前記腹部ＣＴ画像、前記腹部ＭＲＩ画像および前記腹部ＭＲＡ画像のいずれかに基づいて、前記学習用のデプス画像中の各ピクセルと、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分のいずれかとの対応関係を示す前記学習用データセットを生成し、
前記学習ステップの実行後に、前記３次元構造認識装置が、患者の腹部表面の３次元構造を認識し、前記デプス画像生成部が、前記３次元構造認識装置によって認識された患者の腹部表面の３次元構造から患者の腹部表面のデプス画像を生成し、
前記血管区分判別ステップでは、学習済みの前記深層学習モデルを用いることにより、前記デプス画像生成部によって生成された患者の腹部表面のデプス画像中の各ピクセルが、前記第１血管区分、前記第２血管区分、前記第３血管区分および前記他の区分のいずれかに該当するかが推定される、
プログラム。
前記３次元構造認識装置によって認識された患者の腹部表面の３次元構造から患者の腹部表面のデプス画像を生成するデプス画像生成部と、
深層学習モデルの学習に使用される学習用データセットを生成する学習用データセット生成部とを備える血管区分判別システムに備えられる血管区分判別装置を構成するコンピュータに、
前記学習用データセット生成部によって生成された前記学習用データセットを使用して深層学習モデルの学習を行う学習ステップと、
血管区分判別ステップとを実行させるためのプログラムであって、
前記学習用データセット生成部は、
前記血管区分判別装置による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから学習用の腹部表面の３次元構造を生成し、
前記学習用の腹部表面の３次元構造から学習用のデプス画像を生成し、
前記腹部ＣＴ画像、前記腹部ＭＲＩ画像および前記腹部ＭＲＡ画像のいずれかに基づいて、前記学習用のデプス画像中の各ピクセルと、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分のいずれかとの対応関係を示す前記学習用データセットを生成し、
前記学習ステップの実行後に、前記３次元構造認識装置が、患者の腹部表面の３次元構造を認識し、前記デプス画像生成部が、前記３次元構造認識装置によって認識された患者の腹部表面の３次元構造から患者の腹部表面のデプス画像を生成し、
前記血管区分判別ステップでは、学習済みの前記深層学習モデルを用いることにより、前記デプス画像生成部によって生成された患者の腹部表面のデプス画像中の各ピクセルが、前記第１血管区分、前記第２血管区分、前記第３血管区分および前記他の区分のいずれかに該当するかが推定される、
プログラム。
【請求項8】
患者の腹部表面の３次元構造を認識する３次元構造認識装置と、
深層学習モデルを用いることにより、前記３次元構造認識装置によって腹部表面の３次元構造が認識された患者の大動脈区分を判別する血管区分判別装置と、
前記深層学習モデルの学習に使用される学習用データセットを生成する学習用データセット生成部とを備え、
前記深層学習モデルの学習が行われる前に、前記学習用データセット生成部は、
前記血管区分判別装置による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから学習用の腹部表面の３次元構造を生成し、
前記腹部ＣＴ画像、前記腹部ＭＲＩ画像および前記腹部ＭＲＡ画像のいずれかに基づいて、前記学習用の腹部表面の３次元構造上の各点と、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分のいずれかとの対応関係を示す学習用データセットを生成し、
前記学習用データセット生成部によって生成された前記学習用データセットを使用して前記深層学習モデルの学習が行われた後に、
前記３次元構造認識装置が、患者の腹部表面の３次元構造を認識し、
前記血管区分判別装置が、学習済みの前記深層学習モデルを用いることにより、前記３次元構造認識装置によって認識された患者の腹部表面の３次元構造上の各点が、前記第１血管区分、前記第２血管区分、前記第３血管区分および前記他の区分のいずれかに該当するかを推定する、
血管区分判別システム。
深層学習モデルを用いることにより、前記３次元構造認識装置によって腹部表面の３次元構造が認識された患者の大動脈区分を判別する血管区分判別装置と、
前記深層学習モデルの学習に使用される学習用データセットを生成する学習用データセット生成部とを備え、
前記深層学習モデルの学習が行われる前に、前記学習用データセット生成部は、
前記血管区分判別装置による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから学習用の腹部表面の３次元構造を生成し、
前記腹部ＣＴ画像、前記腹部ＭＲＩ画像および前記腹部ＭＲＡ画像のいずれかに基づいて、前記学習用の腹部表面の３次元構造上の各点と、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分のいずれかとの対応関係を示す学習用データセットを生成し、
前記学習用データセット生成部によって生成された前記学習用データセットを使用して前記深層学習モデルの学習が行われた後に、
前記３次元構造認識装置が、患者の腹部表面の３次元構造を認識し、
前記血管区分判別装置が、学習済みの前記深層学習モデルを用いることにより、前記３次元構造認識装置によって認識された患者の腹部表面の３次元構造上の各点が、前記第１血管区分、前記第２血管区分、前記第３血管区分および前記他の区分のいずれかに該当するかを推定する、
血管区分判別システム。
【請求項9】
前記血管区分判別装置による患者の大動脈区分の推定結果を患者の腹部表面に投影したバーチャル画像を生成する可視化装置を備える、
請求項８に記載の血管区分判別システム。
請求項８に記載の血管区分判別システム。
【請求項10】
前記血管区分判別装置は、
前記学習用データセット生成部によって生成された前記学習用データセットを使用して前記深層学習モデルの学習を行う学習部と、
学習済みの前記深層学習モデルを用いることにより、前記３次元構造認識装置によって認識された患者の腹部表面の３次元構造上の各点が、前記第１血管区分、前記第２血管区分、前記第３血管区分および前記他の区分のいずれかに該当するかを推定する推定部とを備え、
前記学習部は、学習済みの前記深層学習モデルを用いた前記第２血管区分の推定精度が所定の閾値以上になるように、前記深層学習モデルの学習を行う、
請求項８に記載の血管区分判別システム。
前記学習用データセット生成部によって生成された前記学習用データセットを使用して前記深層学習モデルの学習を行う学習部と、
学習済みの前記深層学習モデルを用いることにより、前記３次元構造認識装置によって認識された患者の腹部表面の３次元構造上の各点が、前記第１血管区分、前記第２血管区分、前記第３血管区分および前記他の区分のいずれかに該当するかを推定する推定部とを備え、
前記学習部は、学習済みの前記深層学習モデルを用いた前記第２血管区分の推定精度が所定の閾値以上になるように、前記深層学習モデルの学習を行う、
請求項８に記載の血管区分判別システム。
【請求項11】
前記３次元構造認識装置は、患者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから患者の腹部表面の３次元構造を生成する機能を有する、
請求項８に記載の血管区分判別システム。
請求項８に記載の血管区分判別システム。
【請求項12】
前記血管区分判別装置は、患者の大動脈区分の推定結果として、
患者のランドマーク部から患者の前記第１血管区分までの長さ、患者のランドマーク部から患者の前記第２血管区分までの長さ、および、患者のランドマーク部から患者の前記第３血管区分までの長さを出力する、
請求項８に記載の血管区分判別システム。
患者のランドマーク部から患者の前記第１血管区分までの長さ、患者のランドマーク部から患者の前記第２血管区分までの長さ、および、患者のランドマーク部から患者の前記第３血管区分までの長さを出力する、
請求項８に記載の血管区分判別システム。
【請求項13】
患者の腹部表面の３次元構造を認識する３次元構造認識装置と、
深層学習モデルを用いることにより、前記３次元構造認識装置によって腹部表面の３次元構造が認識された患者の大動脈区分を判別する血管区分判別装置と、
前記深層学習モデルの学習に使用される学習用データセットを生成する学習用データセット生成部とを備える血管区分判別システムの血管区分判別方法であって、
前記深層学習モデルの学習が行われる前に、前記学習用データセット生成部が、
前記血管区分判別装置による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから学習用の腹部表面の３次元構造を生成し、
前記腹部ＣＴ画像、前記腹部ＭＲＩ画像および前記腹部ＭＲＡ画像のいずれかに基づいて、前記学習用の腹部表面の３次元構造上の各点と、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分のいずれかとの対応関係を示す学習用データセットを生成する学習用データセット生成ステップと、
前記学習用データセット生成ステップにおいて生成された前記学習用データセットを使用して前記深層学習モデルの学習が行われた後に、前記３次元構造認識装置が、患者の腹部表面の３次元構造を認識する３次元構造認識ステップと、
前記血管区分判別装置が、学習済みの前記深層学習モデルを用いることにより、前記３次元構造認識ステップにおいて認識された患者の腹部表面の３次元構造上の各点が、前記第１血管区分、前記第２血管区分、前記第３血管区分および前記他の区分のいずれかに該当するかを推定する血管区分判別ステップとを備える、
血管区分判別方法。
深層学習モデルを用いることにより、前記３次元構造認識装置によって腹部表面の３次元構造が認識された患者の大動脈区分を判別する血管区分判別装置と、
前記深層学習モデルの学習に使用される学習用データセットを生成する学習用データセット生成部とを備える血管区分判別システムの血管区分判別方法であって、
前記深層学習モデルの学習が行われる前に、前記学習用データセット生成部が、
前記血管区分判別装置による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから学習用の腹部表面の３次元構造を生成し、
前記腹部ＣＴ画像、前記腹部ＭＲＩ画像および前記腹部ＭＲＡ画像のいずれかに基づいて、前記学習用の腹部表面の３次元構造上の各点と、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分のいずれかとの対応関係を示す学習用データセットを生成する学習用データセット生成ステップと、
前記学習用データセット生成ステップにおいて生成された前記学習用データセットを使用して前記深層学習モデルの学習が行われた後に、前記３次元構造認識装置が、患者の腹部表面の３次元構造を認識する３次元構造認識ステップと、
前記血管区分判別装置が、学習済みの前記深層学習モデルを用いることにより、前記３次元構造認識ステップにおいて認識された患者の腹部表面の３次元構造上の各点が、前記第１血管区分、前記第２血管区分、前記第３血管区分および前記他の区分のいずれかに該当するかを推定する血管区分判別ステップとを備える、
血管区分判別方法。
【請求項14】
患者の腹部表面の３次元構造を認識する３次元構造認識装置と、
深層学習モデルの学習に使用される学習用データセットを生成する学習用データセット生成部とを備える血管区分判別システムに備えられる血管区分判別装置を構成するコンピュータに、
前記学習用データセット生成部によって生成された前記学習用データセットを使用して深層学習モデルの学習を行う学習ステップと、
血管区分判別ステップとを実行させるためのプログラムであって、
前記学習用データセット生成部は、
前記血管区分判別装置による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから学習用の腹部表面の３次元構造を生成し、
前記腹部ＣＴ画像、前記腹部ＭＲＩ画像および前記腹部ＭＲＡ画像のいずれかに基づいて、前記学習用の腹部表面の３次元構造上の各点と、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分のいずれかとの対応関係を示す前記学習用データセットを生成し、
前記学習ステップの実行後に、前記３次元構造認識装置が、患者の腹部表面の３次元構造を認識し、
前記血管区分判別ステップでは、学習済みの前記深層学習モデルを用いることにより、前記３次元構造認識装置によって認識された患者の腹部表面の３次元構造上の各点が、前記第１血管区分、前記第２血管区分、前記第３血管区分および前記他の区分のいずれかに該当するかが推定される、
プログラム。
深層学習モデルの学習に使用される学習用データセットを生成する学習用データセット生成部とを備える血管区分判別システムに備えられる血管区分判別装置を構成するコンピュータに、
前記学習用データセット生成部によって生成された前記学習用データセットを使用して深層学習モデルの学習を行う学習ステップと、
血管区分判別ステップとを実行させるためのプログラムであって、
前記学習用データセット生成部は、
前記血管区分判別装置による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから学習用の腹部表面の３次元構造を生成し、
前記腹部ＣＴ画像、前記腹部ＭＲＩ画像および前記腹部ＭＲＡ画像のいずれかに基づいて、前記学習用の腹部表面の３次元構造上の各点と、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分のいずれかとの対応関係を示す前記学習用データセットを生成し、
前記学習ステップの実行後に、前記３次元構造認識装置が、患者の腹部表面の３次元構造を認識し、
前記血管区分判別ステップでは、学習済みの前記深層学習モデルを用いることにより、前記３次元構造認識装置によって認識された患者の腹部表面の３次元構造上の各点が、前記第１血管区分、前記第２血管区分、前記第３血管区分および前記他の区分のいずれかに該当するかが推定される、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、血管区分判別システム、血管区分判別方法およびプログラムに関する。
【背景技術】
【0002】
大動脈内バルーン遮断（ＲＥＢＯＡ：Resuscitative Endovascular Balloon Occlusion of the Aorta）とは、循環動態不安定な外傷性出血などに対してバルーンカテーテルを使って止血や出血量のコントロールを行う救命救急の手法である。ＲＥＢＯＡでは、カテーテルを使用して大動脈内にバルーンが留置される。ＲＥＢＯＡは、通常のカテーテル治療とは異なり、Ｘ線透視装置、超音波装置等が使用できない状況下においても行われる。近年においては、ＲＥＢＯＡが、外傷性出血のみでなく非外傷性出血にも有効な手法としても注目を集めている。
ＲＥＢＯＡでは、バルーンを留置する大動脈のＺｏｎｅ１～Ｚｏｎｅ３（大動脈のＺｏｎｅ１～Ｚｏｎｅ３は大動脈の分枝位置に応じて区分されたもの）を調整することで非出血部の灌流を選択的に温存することができる。大動脈のＺｏｎｅ１～Ｚｏｎｅ３については、例えば非特許文献１に記載されている。
ＲＥＢＯＡでは、バルーンを留置する大動脈のＺｏｎｅ１～Ｚｏｎｅ３（大動脈のＺｏｎｅ１～Ｚｏｎｅ３は大動脈の分枝位置に応じて区分されたもの）を調整することで非出血部の灌流を選択的に温存することができる。大動脈のＺｏｎｅ１～Ｚｏｎｅ３については、例えば非特許文献１に記載されている。
【0003】
Ｘ線透視装置、超音波装置等が使用可能であり、Ｘ線透視装置、超音波装置等によってカテーテルおよび大動脈のＺｏｎｅ１～Ｚｏｎｅ３を透視可能な状況下においては、カテーテルの位置および大動脈のＺｏｎｅ１～Ｚｏｎｅ３の位置を確認しながら、大動脈のＺｏｎｅ１～Ｚｏｎｅ３に対するカテーテルの位置の調整が行われる。
例えば緊急時などのような、Ｘ線透視装置、超音波装置等が使用不可能であり、Ｘ線透視装置、超音波装置等によって大動脈のＺｏｎｅ１～Ｚｏｎｅ３を透視不可能な状況下においても、ＲＥＢＯＡが行われる場合がある。
そのような場合に、従来においては、術者は、患者の大動脈のＺｏｎｅ１～Ｚｏｎｅ３を把握できない状態でＲＥＢＯＡを行う必要があった。
例えば緊急時などのような、Ｘ線透視装置、超音波装置等が使用不可能であり、Ｘ線透視装置、超音波装置等によって大動脈のＺｏｎｅ１～Ｚｏｎｅ３を透視不可能な状況下においても、ＲＥＢＯＡが行われる場合がある。
そのような場合に、従来においては、術者は、患者の大動脈のＺｏｎｅ１～Ｚｏｎｅ３を把握できない状態でＲＥＢＯＡを行う必要があった。
【先行技術文献】
【非特許文献】
【0004】
【非特許文献1】Markus Harboe Olsen他 “Standardized distances for placement of REBOA in patients with aortic stenosis” Scientific Reports volume 10 Article number: 13410 (2020)
【非特許文献2】Takeshi Takata, Susumu Nakabayashi, Hiroshi Kondo, Masayoshi Yamamoto, Shigeru Furui, Kenshiro Shiraishi, Takenori Kobayashi, Hiroshi Oba, Takahide Okamoto & Jun’ichi Kotoku “Mixed Reality Visualization of Radiation Dose for Health Professionals and Patients in Interventional Radiology” Journal of Medical Systems 45:38 (2021)
【非特許文献3】Emily Rae, Andras Lasso, Matthew S. Holden, Evelyn Morin, Ron Levy & Gabor Fichtinger “Neurosurgical burr hole placement using the Microsoft HoloLens” Medical Imaging 2018: Image-Guided Procedures, Robotic Interventions, and Modeling
【発明の概要】
【発明が解決しようとする課題】
【0005】
上述した点に鑑み、本発明は、Ｘ線透視や超音波装置が使用できない状況下においても患者の大動脈のＺｏｎｅ１、Ｚｏｎｅ２、Ｚｏｎｅ３を容易に識別できるようにし、ＲＥＢＯＡの実現を支援することができる血管区分判別システム、血管区分判別方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の一態様は、患者の腹部表面の３次元構造を認識する３次元構造認識装置と、前記３次元構造認識装置によって認識された患者の腹部表面の３次元構造から患者の腹部表面のデプス画像を生成するデプス画像生成部と、深層学習モデルを用いることにより、前記３次元構造認識装置によって腹部表面の３次元構造が認識された患者の大動脈区分を判別する血管区分判別装置と、前記深層学習モデルの学習に使用される学習用データセットを生成する学習用データセット生成部とを備え、前記深層学習モデルの学習が行われる前に、前記学習用データセット生成部は、前記血管区分判別装置による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ（Computed Tomography）画像、腹部ＭＲＩ（Magnetic Resonance Imaging）画像および腹部ＭＲＡ（magnetic resonance angiography）画像のいずれかから学習用の腹部表面の３次元構造を生成し、前記学習用の腹部表面の３次元構造から学習用のデプス画像を生成し、前記腹部ＣＴ画像、前記腹部ＭＲＩ画像および前記腹部ＭＲＡ画像のいずれかに基づいて、前記学習用のデプス画像中の各ピクセルと、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分のいずれかとの対応関係を示す学習用データセットを生成し、前記学習用データセット生成部によって生成された前記学習用データセットを使用して前記深層学習モデルの学習が行われた後に、前記３次元構造認識装置が、患者の腹部表面の３次元構造を認識し、前記デプス画像生成部が、前記３次元構造認識装置によって認識された患者の腹部表面の３次元構造から患者の腹部表面のデプス画像を生成し、前記血管区分判別装置が、学習済みの前記深層学習モデルを用いることにより、前記デプス画像生成部によって生成された患者の腹部表面のデプス画像中の各ピクセルが、前記第１血管区分、前記第２血管区分、前記第３血管区分および前記他の区分のいずれかに該当するかを推定する、血管区分判別システムである。
【0007】
本発明の一態様は、患者の腹部表面の３次元構造を認識する３次元構造認識装置と、前記３次元構造認識装置によって認識された患者の腹部表面の３次元構造から患者の腹部表面のデプス画像を生成するデプス画像生成部と、深層学習モデルを用いることにより、前記３次元構造認識装置によって腹部表面の３次元構造が認識された患者の大動脈区分を判別する血管区分判別装置と、前記深層学習モデルの学習に使用される学習用データセットを生成する学習用データセット生成部とを備える血管区分判別システムの血管区分判別方法であって、前記深層学習モデルの学習が行われる前に、前記学習用データセット生成部が、前記血管区分判別装置による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから学習用の腹部表面の３次元構造を生成し、前記学習用の腹部表面の３次元構造から学習用のデプス画像を生成し、前記腹部ＣＴ画像、前記腹部ＭＲＩ画像および前記腹部ＭＲＡ画像のいずれかに基づいて、前記学習用のデプス画像中の各ピクセルと、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分のいずれかとの対応関係を示す学習用データセットを生成する学習用データセット生成ステップと、前記学習用データセット生成ステップにおいて生成された前記学習用データセットを使用して前記深層学習モデルの学習が行われた後に、前記３次元構造認識装置が、患者の腹部表面の３次元構造を認識する３次元構造認識ステップと、前記デプス画像生成部が、前記３次元構造認識ステップにおいて認識された患者の腹部表面の３次元構造から患者の腹部表面のデプス画像を生成するデプス画像生成ステップと、前記血管区分判別装置が、学習済みの前記深層学習モデルを用いることにより、前記デプス画像生成ステップにおいて生成された患者の腹部表面のデプス画像中の各ピクセルが、前記第１血管区分、前記第２血管区分、前記第３血管区分および前記他の区分のいずれかに該当するかを推定する血管区分判別ステップとを備える、血管区分判別方法である。
【0008】
本発明の一態様は、患者の腹部表面の３次元構造を認識する３次元構造認識装置と、前記３次元構造認識装置によって認識された患者の腹部表面の３次元構造から患者の腹部表面のデプス画像を生成するデプス画像生成部と、深層学習モデルの学習に使用される学習用データセットを生成する学習用データセット生成部とを備える血管区分判別システムに備えられる血管区分判別装置を構成するコンピュータに、前記学習用データセット生成部によって生成された前記学習用データセットを使用して深層学習モデルの学習を行う学習ステップと、血管区分判別ステップとを実行させるためのプログラムであって、前記学習用データセット生成部は、前記血管区分判別装置による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから学習用の腹部表面の３次元構造を生成し、前記学習用の腹部表面の３次元構造から学習用のデプス画像を生成し、前記腹部ＣＴ画像、前記腹部ＭＲＩ画像および前記腹部ＭＲＡ画像のいずれかに基づいて、前記学習用のデプス画像中の各ピクセルと、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分のいずれかとの対応関係を示す前記学習用データセットを生成し、前記学習ステップの実行後に、前記３次元構造認識装置が、患者の腹部表面の３次元構造を認識し、前記デプス画像生成部が、前記３次元構造認識装置によって認識された患者の腹部表面の３次元構造から患者の腹部表面のデプス画像を生成し、前記血管区分判別ステップでは、学習済みの前記深層学習モデルを用いることにより、前記デプス画像生成部によって生成された患者の腹部表面のデプス画像中の各ピクセルが、前記第１血管区分、前記第２血管区分、前記第３血管区分および前記他の区分のいずれかに該当するかが推定される、プログラムである。
【0009】
本発明の一態様は、患者の腹部表面の３次元構造を認識する３次元構造認識装置と、深層学習モデルを用いることにより、前記３次元構造認識装置によって腹部表面の３次元構造が認識された患者の大動脈区分を判別する血管区分判別装置と、前記深層学習モデルの学習に使用される学習用データセットを生成する学習用データセット生成部とを備え、前記深層学習モデルの学習が行われる前に、前記学習用データセット生成部は、前記血管区分判別装置による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから学習用の腹部表面の３次元構造を生成し、前記腹部ＣＴ画像、前記腹部ＭＲＩ画像および前記腹部ＭＲＡ画像のいずれかに基づいて、前記学習用の腹部表面の３次元構造上の各点と、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分のいずれかとの対応関係を示す学習用データセットを生成し、前記学習用データセット生成部によって生成された前記学習用データセットを使用して前記深層学習モデルの学習が行われた後に、前記３次元構造認識装置が、患者の腹部表面の３次元構造を認識し、前記血管区分判別装置が、学習済みの前記深層学習モデルを用いることにより、前記３次元構造認識装置によって認識された患者の腹部表面の３次元構造上の各点が、前記第１血管区分、前記第２血管区分、前記第３血管区分および前記他の区分のいずれかに該当するかを推定する、血管区分判別システムである。
【0010】
本発明の一態様は、患者の腹部表面の３次元構造を認識する３次元構造認識装置と、深層学習モデルを用いることにより、前記３次元構造認識装置によって腹部表面の３次元構造が認識された患者の大動脈区分を判別する血管区分判別装置と、前記深層学習モデルの学習に使用される学習用データセットを生成する学習用データセット生成部とを備える血管区分判別システムの血管区分判別方法であって、前記深層学習モデルの学習が行われる前に、前記学習用データセット生成部が、前記血管区分判別装置による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから学習用の腹部表面の３次元構造を生成し、前記腹部ＣＴ画像、前記腹部ＭＲＩ画像および前記腹部ＭＲＡ画像のいずれかに基づいて、前記学習用の腹部表面の３次元構造上の各点と、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分のいずれかとの対応関係を示す学習用データセットを生成する学習用データセット生成ステップと、前記学習用データセット生成ステップにおいて生成された前記学習用データセットを使用して前記深層学習モデルの学習が行われた後に、前記３次元構造認識装置が、患者の腹部表面の３次元構造を認識する３次元構造認識ステップと、前記血管区分判別装置が、学習済みの前記深層学習モデルを用いることにより、前記３次元構造認識ステップにおいて認識された患者の腹部表面の３次元構造上の各点が、前記第１血管区分、前記第２血管区分、前記第３血管区分および前記他の区分のいずれかに該当するかを推定する血管区分判別ステップとを備える、血管区分判別方法である。
【0011】
本発明の一態様は、患者の腹部表面の３次元構造を認識する３次元構造認識装置と、深層学習モデルの学習に使用される学習用データセットを生成する学習用データセット生成部とを備える血管区分判別システムに備えられる血管区分判別装置を構成するコンピュータに、前記学習用データセット生成部によって生成された前記学習用データセットを使用して深層学習モデルの学習を行う学習ステップと、血管区分判別ステップとを実行させるためのプログラムであって、前記学習用データセット生成部は、前記血管区分判別装置による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから学習用の腹部表面の３次元構造を生成し、前記腹部ＣＴ画像、前記腹部ＭＲＩ画像および前記腹部ＭＲＡ画像のいずれかに基づいて、前記学習用の腹部表面の３次元構造上の各点と、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分のいずれかとの対応関係を示す前記学習用データセットを生成し、前記学習ステップの実行後に、前記３次元構造認識装置が、患者の腹部表面の３次元構造を認識し、前記血管区分判別ステップでは、学習済みの前記深層学習モデルを用いることにより、前記３次元構造認識装置によって認識された患者の腹部表面の３次元構造上の各点が、前記第１血管区分、前記第２血管区分、前記第３血管区分および前記他の区分のいずれかに該当するかが推定される、プログラムである。
【発明の効果】
【0012】
本発明によれば、Ｘ線透視や超音波装置が使用できない状況下においても患者の大動脈のＺｏｎｅ１、Ｚｏｎｅ２、Ｚｏｎｅ３を容易に識別できるようにし、ＲＥＢＯＡの実現を支援することができる血管区分判別システム、血管区分判別方法およびプログラムを提供することができる。
【図面の簡単な説明】
【0013】
【図1】第１実施形態の血管区分判別システム１の一例を示す図である。
【図2】学習用データセット生成部１３によって実行される処理の一例を説明するための図である。
【図3】第１実施形態の血管区分判別システム１において実行される処理の一例を説明するためのフローチャートである。
【図4】本発明者の研究における学習用データセットを使用したセマンティックセグメンテーションモデルの学習を概念的に示す図である。
【図5】本発明者の研究における学習済みのセマンティックセグメンテーションモデルの検証（Test）を概念的に示す図である。
【図6】本発明者の研究において学習済みのセマンティックセグメンテーションモデルを用いて推定したＺｏｎｅ１、Ｚｏｎｅ２、Ｚｏｎｅ３の類似度（similarity）を、ダイス係数およびＪａｃｃａｒｄ係数を用いて評価した結果を示す図である。
【図7】本発明者の研究において学習済みのセマンティックセグメンテーションモデルを用いて推定されたＺｏｎｅ１とＺｏｎｅ２との境界線の位置誤差（Position Error）、Ｚｏｎｅ２とＺｏｎｅ３との境界線の位置誤差などを示す図である。
【図8】本発明者の研究において学習済みのセマンティックセグメンテーションモデルを用いて推定された大動脈区分の位置誤差が１０ｍｍ未満になった４つの例を示す図である。
【図9】本発明者の研究において学習済みのセマンティックセグメンテーションモデルを用いて推定された大動脈区分の位置誤差が２０ｍｍより大きくなった４つの例を示す図である。
【図10】HoloLens2を使用してＺｏｎｅの推定結果を患者の体表へリアルタイムに投影する技術を概念的に説明するための図である。
【図11】第３実施形態の血管区分判別システム２の一例を示す図である。
【図12】第３実施形態の血管区分判別システム２において実行される処理の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【0014】
以下、図面を参照し、本発明の血管区分判別システム、血管区分判別方法およびプログラムの実施形態について説明する。
【0015】
［第１実施形態］
図１は第１実施形態の血管区分判別システム１の一例を示す図である。
図１に示す例では、第１実施形態の血管区分判別システム１が、例えば緊急時などのＸ線透視や超音波装置が使用できない状況下における術者による患者に対するＲＥＢＯＡの実現を支援する。血管区分判別システム１は、３次元構造認識装置１１と、デプス画像生成部１２と、学習用データセット生成部１３と、血管区分判別装置１４と、可視化装置１５とを備えている。
３次元構造認識装置１１は、患者の腹部表面の３次元構造を認識する。３次元構造認識装置１１は、例えば下記のＵＲＬが示すｗｅｂサイトに記載された「ＬｉＤＡＲスキャナ」と同様の技術を用いることによって、患者の腹部表面の３次元構造を認識し、患者の腹部表面の３次元データを生成する。
https://bablishe.com/about-lidar-scanner-of-ipad-pro-2020/
図１は第１実施形態の血管区分判別システム１の一例を示す図である。
図１に示す例では、第１実施形態の血管区分判別システム１が、例えば緊急時などのＸ線透視や超音波装置が使用できない状況下における術者による患者に対するＲＥＢＯＡの実現を支援する。血管区分判別システム１は、３次元構造認識装置１１と、デプス画像生成部１２と、学習用データセット生成部１３と、血管区分判別装置１４と、可視化装置１５とを備えている。
３次元構造認識装置１１は、患者の腹部表面の３次元構造を認識する。３次元構造認識装置１１は、例えば下記のＵＲＬが示すｗｅｂサイトに記載された「ＬｉＤＡＲスキャナ」と同様の技術を用いることによって、患者の腹部表面の３次元構造を認識し、患者の腹部表面の３次元データを生成する。
https://bablishe.com/about-lidar-scanner-of-ipad-pro-2020/
【0016】
３次元構造認識装置１１としては、例えば下記のＵＲＬが示すｗｅｂサイトに記載された製品などを用いることができる。
https://www.apple.com/jp/ipad-pro/specs/
https://www.microsoft.com/ja-jp/hololens/hardware
https://www.apple.com/jp/ipad-pro/specs/
https://www.microsoft.com/ja-jp/hololens/hardware
【0017】
前者の製品は、例えば下記のＵＲＬが示すｗｅｂサイトに記載された手順で使用され、外界の３次元構造を認識する。
https://prono82.com/2020/09/28/apple%E7%A4%BElidar%E6%90%AD%E8%BC%89ipad-pro%E3%81%AB%E3%82%88%E3%82%8B3d%E7%82%B9%E7%BE%A4%E3%82%B9%E3%82%AD%E3%83%A3%E3%83%B3%E3%82%A2%E3%83%97%E3%83%AA%E3%81%AE%E3%83%AA%E3%83%AA%E3%83%BC%E3%82%B9/
https://prono82.com/2020/09/28/apple%E7%A4%BElidar%E6%90%AD%E8%BC%89ipad-pro%E3%81%AB%E3%82%88%E3%82%8B3d%E7%82%B9%E7%BE%A4%E3%82%B9%E3%82%AD%E3%83%A3%E3%83%B3%E3%82%A2%E3%83%97%E3%83%AA%E3%81%AE%E3%83%AA%E3%83%AA%E3%83%BC%E3%82%B9/
【0018】
また、後者の製品は、例えば下記のＵＲＬが示すｗｅｂサイトに記載された手順で使用され、外界の３次元構造を認識する。
https://docs.microsoft.com/ja-jp/windows/mixed-reality/design/spatial-mapping
https://zenn.dev/hiromu/articles/20210421-scene-understanding
https://docs.microsoft.com/ja-jp/windows/mixed-reality/design/spatial-mapping
https://zenn.dev/hiromu/articles/20210421-scene-understanding
【0019】
デプス画像生成部１２は、３次元構造認識装置１１によって認識された患者の腹部表面の３次元構造から患者の腹部表面のデプス画像を生成する。デプス画像とは、例えば下記のＵＲＬが示すｗｅｂサイトに記載されているように、距離に応じて色付けを行った画像である。つまり、デプス画像生成部１２は、３次元構造認識装置１１からの距離に応じて患者の腹部表面に色付けを行った患者の腹部表面の２次元画像を生成する。デプス画像生成部１２は、例えば下記のＵＲＬが示すｗｅｂサイトに記載された技術を用いることによって患者の腹部表面のデプス画像を生成する。
https://www.cit.nihon-u.ac.jp/laboratorydata/kenkyu/kouennkai/reference/No.47/pdf/2-53.pdf
https://www.cit.nihon-u.ac.jp/laboratorydata/kenkyu/kouennkai/reference/No.47/pdf/2-53.pdf
【0020】
学習用データセット生成部１３は、学習用データセットを生成する。
血管区分判別装置１４は、深層学習モデル１４Ａを用いることにより、３次元構造認識装置１１によって腹部表面の３次元構造が認識された患者の大動脈区分を判別する。
血管区分判別装置１４は、深層学習モデル１４Ａを用いることにより、３次元構造認識装置１１によって腹部表面の３次元構造が認識された患者の大動脈区分を判別する。
【0021】
図２は学習用データセット生成部１３によって実行される処理の一例を説明するための図である。
図２に示す例では、学習用データセット生成部１３が、血管区分判別装置１４による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ（Computed Tomography）画像（図２の左側に示す画像）から学習用の腹部表面の３次元構造（図２の中央上側に示す構造）を生成する。つまり、学習用データセット生成部１３が、図２に「Ｒｅｎｄｅｒ」で示す処理を実行する。この処理において生成される学習用の腹部表面の３次元構造は、仮に３次元構造認識装置１１がその者（つまり、腹部ＣＴ画像の対象者）の腹部表面の３次元構造を認識した場合に得られる認識結果（３次元構造）と同様になる。
また、学習用データセット生成部１３は、図２に「Ｒｅｎｄｅｒ」で示す処理によって生成された学習用の腹部表面の３次元構造から、学習用のデプス画像（図２の右上側に示す画像）を生成する。つまり、学習用データセット生成部１３が、図２に「Ｐｒｏｊｅｃｔ」で示す処理を実行する。
図２に示す例では、学習用データセット生成部１３が、血管区分判別装置１４による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ（Computed Tomography）画像（図２の左側に示す画像）から学習用の腹部表面の３次元構造（図２の中央上側に示す構造）を生成する。つまり、学習用データセット生成部１３が、図２に「Ｒｅｎｄｅｒ」で示す処理を実行する。この処理において生成される学習用の腹部表面の３次元構造は、仮に３次元構造認識装置１１がその者（つまり、腹部ＣＴ画像の対象者）の腹部表面の３次元構造を認識した場合に得られる認識結果（３次元構造）と同様になる。
また、学習用データセット生成部１３は、図２に「Ｒｅｎｄｅｒ」で示す処理によって生成された学習用の腹部表面の３次元構造から、学習用のデプス画像（図２の右上側に示す画像）を生成する。つまり、学習用データセット生成部１３が、図２に「Ｐｒｏｊｅｃｔ」で示す処理を実行する。
【0022】
更に、学習用データセット生成部１３は、腹部ＣＴ画像（図２の左側に示す画像）に基づいて、学習用のデプス画像（図２の右上側に示す画像）中の各ピクセルと、大動脈のＺｏｎｅ１に対応する第１血管区、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分（図２に「Ｏｕｔ ｏｆ Ｚｏｎｅｓ」で示す区分）のいずれかとの対応関係を示す情報（図２の中央下側に示す情報）を生成する。つまり、学習用データセット生成部１３が、図２に「Ｌａｂｅｌ」で示す処理を実行する。
また、学習用データセット生成部１３は、図２に「Ｐｒｏｊｅｃｔ」で示す処理によって生成された学習用のデプス画像（図２の右上側に示す画像）と、図２に「Ｌａｂｅｌ」で示す処理によって生成された情報（図２の中央下側に示す情報）との組である学習用データセットを、深層学習モデル１４Ａの学習に使用される教師データとして生成する。
図２に示す例では、学習用データセットを生成するために血管区分判別装置１４による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ画像が用いられるが、他の例では、学習用データセットを生成するために血管区分判別装置１４による大動脈区分の判別対象の患者とは異なる者の腹部ＭＲＩ（Magnetic Resonance Imaging）画像を用いてもよく、更に他の例では、学習用データセットを生成するために血管区分判別装置１４による大動脈区分の判別対象の患者とは異なる者の腹部ＭＲＡ（magnetic resonance angiography）画像を用いてもよい。
また、学習用データセット生成部１３は、図２に「Ｐｒｏｊｅｃｔ」で示す処理によって生成された学習用のデプス画像（図２の右上側に示す画像）と、図２に「Ｌａｂｅｌ」で示す処理によって生成された情報（図２の中央下側に示す情報）との組である学習用データセットを、深層学習モデル１４Ａの学習に使用される教師データとして生成する。
図２に示す例では、学習用データセットを生成するために血管区分判別装置１４による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ画像が用いられるが、他の例では、学習用データセットを生成するために血管区分判別装置１４による大動脈区分の判別対象の患者とは異なる者の腹部ＭＲＩ（Magnetic Resonance Imaging）画像を用いてもよく、更に他の例では、学習用データセットを生成するために血管区分判別装置１４による大動脈区分の判別対象の患者とは異なる者の腹部ＭＲＡ（magnetic resonance angiography）画像を用いてもよい。
【0023】
図１に示す例では、血管区分判別装置１４が、学習部１４１と、推定部１４２とを備えている。学習部１４１は、学習用データセット生成部１３によって生成された学習用データセット（例えば図２の右上側に示す画像および図２の中央下側に示す情報）を使用して深層学習モデル１４Ａの学習を行う。
詳細には、ＲＥＢＯＡが行われる場合に大動脈のＺｏｎｅ２に対応する第２血管区分の推定精度が低いと臓器虚血リスクが高くなる点に鑑み、学習部１４１は、学習済みの深層学習モデル１４Ａを用いた大動脈のＺｏｎｅ２に対応する第２血管区分の推定精度が所定の閾値以上になるように、深層学習モデル１４Ａの学習を行う。
第１実施形態の血管区分判別システム１では、深層学習モデル１４Ａとして、セグメンテーションモデルが用いられる。
詳細には、第１実施形態の血管区分判別システム１の第１例では、深層学習モデル１４Ａとして、例えば下記のＵＲＬが示すｗｅｂサイト等に記載されているセマンティックセグメンテーションのモデルが用いられる。
https://jp.mathworks.com/content/dam/mathworks/mathworks-dot-com/company/events/webinar-cta/2459280_Basics_of_semantic_segmentation.pdf
https://qiita.com/fujiya228/items/ea30dac6ef827d608a56
詳細には、ＲＥＢＯＡが行われる場合に大動脈のＺｏｎｅ２に対応する第２血管区分の推定精度が低いと臓器虚血リスクが高くなる点に鑑み、学習部１４１は、学習済みの深層学習モデル１４Ａを用いた大動脈のＺｏｎｅ２に対応する第２血管区分の推定精度が所定の閾値以上になるように、深層学習モデル１４Ａの学習を行う。
第１実施形態の血管区分判別システム１では、深層学習モデル１４Ａとして、セグメンテーションモデルが用いられる。
詳細には、第１実施形態の血管区分判別システム１の第１例では、深層学習モデル１４Ａとして、例えば下記のＵＲＬが示すｗｅｂサイト等に記載されているセマンティックセグメンテーションのモデルが用いられる。
https://jp.mathworks.com/content/dam/mathworks/mathworks-dot-com/company/events/webinar-cta/2459280_Basics_of_semantic_segmentation.pdf
https://qiita.com/fujiya228/items/ea30dac6ef827d608a56
【0024】
第１実施形態の血管区分判別システム１の第２例では、深層学習モデル１４Ａとして、例えば下記のＵＲＬが示すｗｅｂサイトに記載されているインスタンスセグメンテーション、パノプティックセグメンテーション等のようなセマンティックセグメンテーション以外のセグメンテーションのモデルが用いられてもよい。
https://www.skillupai.com/blog/tech/segmentation1/
https://www.skillupai.com/blog/tech/segmentation1/
【0025】
図１に示す例では、推定部１４２が、学習済みの深層学習モデル１４Ａを用いることにより、デプス画像生成部１２によって生成された患者の腹部表面のデプス画像中の各ピクセルが、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分（つまり、第１血管区分、第２血管区分および第３血管区分のいずれにも該当しない区分）のいずれかに該当するかを推定する。
つまり、図１に示す例では、学習用データセット生成部１３によって生成された学習用データセットを使用して深層学習モデル１４Ａの学習が行われた後に、３次元構造認識装置１１が、患者の腹部表面の３次元構造を認識する。また、デプス画像生成部１２が、３次元構造認識装置１１によって認識された患者の腹部表面の３次元構造から患者の腹部表面のデプス画像を生成する。更に、血管区分判別装置１４の推定部１４２が、学習済みの深層学習モデル１４Ａを用いることにより、デプス画像生成部１２によって生成された患者の腹部表面のデプス画像中の各ピクセルが、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分（図２に「Ｏｕｔ ｏｆ Ｚｏｎｅｓ」で示す区分）のいずれかに該当するかを推定する。
つまり、図１に示す例では、学習用データセット生成部１３によって生成された学習用データセットを使用して深層学習モデル１４Ａの学習が行われた後に、３次元構造認識装置１１が、患者の腹部表面の３次元構造を認識する。また、デプス画像生成部１２が、３次元構造認識装置１１によって認識された患者の腹部表面の３次元構造から患者の腹部表面のデプス画像を生成する。更に、血管区分判別装置１４の推定部１４２が、学習済みの深層学習モデル１４Ａを用いることにより、デプス画像生成部１２によって生成された患者の腹部表面のデプス画像中の各ピクセルが、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分（図２に「Ｏｕｔ ｏｆ Ｚｏｎｅｓ」で示す区分）のいずれかに該当するかを推定する。
【0026】
可視化装置１５は、血管区分判別装置１４による患者の大動脈区分の推定結果を患者の腹部表面に投影したバーチャル画像を生成する。可視化装置１５は、バーチャル画像生成部１５Ａと、バーチャル画像提示部１５Ｂとを備えている。
バーチャル画像生成部１５Ａは、患者の第１血管区分（Ｚｏｎｅ１）と第２血管区分（Ｚｏｎｅ２）と第３血管区分（Ｚｏｎｅ３）とを患者の腹部表面に投影したバーチャル画像を生成する。バーチャル画像提示部１５Ｂは、バーチャル画像生成部１５Ａによって生成されたバーチャル画像を血管区分判別システム１の利用者（例えば術者など）に提示する。
バーチャル画像生成部１５Ａは、患者の第１血管区分（Ｚｏｎｅ１）と第２血管区分（Ｚｏｎｅ２）と第３血管区分（Ｚｏｎｅ３）とを患者の腹部表面に投影したバーチャル画像を生成する。バーチャル画像提示部１５Ｂは、バーチャル画像生成部１５Ａによって生成されたバーチャル画像を血管区分判別システム１の利用者（例えば術者など）に提示する。
【0027】
第１実施形態の血管区分判別システム１の第１例では、可視化装置１５が、例えば非特許文献２、非特許文献３、下記のＵＲＬが示すｗｅｂサイトに記載された技術などを用いることによって、患者の第１血管区分（Ｚｏｎｅ１）と第２血管区分（Ｚｏｎｅ２）と第３血管区分（Ｚｏｎｅ３）とを患者の腹部表面に投影する。
https://prtimes.jp/main/html/rd/p/000000073.000004318.html
第１実施形態の血管区分判別システム１の第１例の投影手法は、例えば、基準となる外部マーカーを用いる手法、手動で位置合わせを行うことによって人体に情報を重ね合わせる手法などである。
https://prtimes.jp/main/html/rd/p/000000073.000004318.html
第１実施形態の血管区分判別システム１の第１例の投影手法は、例えば、基準となる外部マーカーを用いる手法、手動で位置合わせを行うことによって人体に情報を重ね合わせる手法などである。
【0028】
第１実施形態の血管区分判別システム１の第２例では、可視化装置１５として、例えば下記のＵＲＬが示すｗｅｂサイトに記載された製品が用いられる。
https://www.apple.com/jp/ipad-pro/specs/
第１実施形態の血管区分判別システム１の第２例では、可視化装置１５が、例えば下記のＵＲＬが示すｗｅｂサイトに記載されている技術と同様の技術を用いることによって、現実の３次元オブジェクト（つまり、患者の腹部表面）を直接マーカーにする、すなわち、外部から手を加えることなく、患者の第１血管区分（Ｚｏｎｅ１）と第２血管区分（Ｚｏｎｅ２）と第３血管区分（Ｚｏｎｅ３）とを患者の腹部表面に直接投影する。
https://library.vuforia.com/features/objects/object-reco.html
https://www.youtube.com/watch?v=jbaUDMvv2Zw
https://www.apple.com/jp/ipad-pro/specs/
第１実施形態の血管区分判別システム１の第２例では、可視化装置１５が、例えば下記のＵＲＬが示すｗｅｂサイトに記載されている技術と同様の技術を用いることによって、現実の３次元オブジェクト（つまり、患者の腹部表面）を直接マーカーにする、すなわち、外部から手を加えることなく、患者の第１血管区分（Ｚｏｎｅ１）と第２血管区分（Ｚｏｎｅ２）と第３血管区分（Ｚｏｎｅ３）とを患者の腹部表面に直接投影する。
https://library.vuforia.com/features/objects/object-reco.html
https://www.youtube.com/watch?v=jbaUDMvv2Zw
【0029】
第１実施形態の血管区分判別システム１の第３例では、可視化装置１５として、例えば下記のＵＲＬが示すｗｅｂサイトに記載された製品が用いられる。
https://www.microsoft.com/ja-jp/hololens/hardware
第１実施形態の血管区分判別システム１の第３例では、可視化装置１５が、例えば下記のＵＲＬが示すｗｅｂサイトに記載されている技術と同様の技術を用いることによって、現実の３次元オブジェクト（つまり、患者の腹部表面）を直接マーカーにする、すなわち、外部から手を加えることなく、患者の第１血管区分（Ｚｏｎｅ１）と第２血管区分（Ｚｏｎｅ２）と第３血管区分（Ｚｏｎｅ３）とを患者の腹部表面に直接投影する。
https://docs.microsoft.com/ja-jp/azure/object-anchors/overview
https://car.watch.impress.co.jp/docs/news/1278295.html
https://library.vuforia.com/features/objects/object-reco.html
https://www.youtube.com/watch?v=jbaUDMvv2Zw
https://www.microsoft.com/ja-jp/hololens/hardware
第１実施形態の血管区分判別システム１の第３例では、可視化装置１５が、例えば下記のＵＲＬが示すｗｅｂサイトに記載されている技術と同様の技術を用いることによって、現実の３次元オブジェクト（つまり、患者の腹部表面）を直接マーカーにする、すなわち、外部から手を加えることなく、患者の第１血管区分（Ｚｏｎｅ１）と第２血管区分（Ｚｏｎｅ２）と第３血管区分（Ｚｏｎｅ３）とを患者の腹部表面に直接投影する。
https://docs.microsoft.com/ja-jp/azure/object-anchors/overview
https://car.watch.impress.co.jp/docs/news/1278295.html
https://library.vuforia.com/features/objects/object-reco.html
https://www.youtube.com/watch?v=jbaUDMvv2Zw
【0030】
第１実施形態の血管区分判別システム１の第３例では、可視化装置１５が、例えば下記のＵＲＬが示すｗｅｂサイトに記載されている技術と同様の技術を用いることによって、患者の第１血管区分（Ｚｏｎｅ１）と第２血管区分（Ｚｏｎｅ２）と第３血管区分（Ｚｏｎｅ３）とを患者の腹部表面に投影したバーチャル画像を生成し、そのバーチャル画像を血管区分判別システム１の利用者（例えば術者など）に提示する。
https://www.ogis-ri.co.jp/otc/hiroba/technical/point-DX/part6.html
https://www.tattichan.work/entry/2019/12/06/Reprojection%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6%E6%95%B4%E7%90%86%E3%81%99%E3%82%8B
https://www.businessinsider.jp/post-185961
https://hanada-sekkei.co.jp/armrvr
https://www.youtube.com/watch?v=QZiQ71EDF-o
https://www.ogis-ri.co.jp/otc/hiroba/technical/point-DX/part6.html
https://www.tattichan.work/entry/2019/12/06/Reprojection%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6%E6%95%B4%E7%90%86%E3%81%99%E3%82%8B
https://www.businessinsider.jp/post-185961
https://hanada-sekkei.co.jp/armrvr
https://www.youtube.com/watch?v=QZiQ71EDF-o
【0031】
図３は第１実施形態の血管区分判別システム１において実行される処理の一例を説明するためのフローチャートである。
図３に示す例では、ステップＳ１１において、学習用データセット生成部１３が、深層学習モデル１４Ａの学習に使用される学習用データセットを生成する。
詳細には、ステップＳ１１Ａにおいて、学習用データセット生成部１３が、血管区分判別装置１４による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから学習用の腹部表面の３次元構造を生成する。
次いで、ステップＳ１１Ｂでは、学習用データセット生成部１３が、ステップＳ１１Ａにおいて生成された学習用の腹部表面の３次元構造から、学習用のデプス画像を生成する。
次いで、ステップＳ１１Ｃでは、学習用データセット生成部１３が、腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかに基づいて、学習用のデプス画像中の各ピクセルと、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分（つまり、第１血管区分、第２血管区分および第３血管区分のいずれにも該当しない区分）のいずれかとの対応関係を示す学習用データセットを生成する。
図３に示す例では、ステップＳ１１において、学習用データセット生成部１３が、深層学習モデル１４Ａの学習に使用される学習用データセットを生成する。
詳細には、ステップＳ１１Ａにおいて、学習用データセット生成部１３が、血管区分判別装置１４による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから学習用の腹部表面の３次元構造を生成する。
次いで、ステップＳ１１Ｂでは、学習用データセット生成部１３が、ステップＳ１１Ａにおいて生成された学習用の腹部表面の３次元構造から、学習用のデプス画像を生成する。
次いで、ステップＳ１１Ｃでは、学習用データセット生成部１３が、腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかに基づいて、学習用のデプス画像中の各ピクセルと、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分（つまり、第１血管区分、第２血管区分および第３血管区分のいずれにも該当しない区分）のいずれかとの対応関係を示す学習用データセットを生成する。
【0032】
次いで、ステップＳ１２では、血管区分判別装置１４の学習部１４１が、ステップＳ１１において生成された学習用データセットを使用して深層学習モデル１４Ａの学習を行う。
次いで、ステップＳ１３では、３次元構造認識装置１１が、血管区分判別装置１４による大動脈区分の判別対象の患者の腹部表面の３次元構造を認識する。
次いで、ステップＳ１４では、デプス画像生成部１２が、ステップＳ１３において認識された患者の腹部表面の３次元構造から患者の腹部表面のデプス画像を生成する。
次いで、ステップＳ１５では、血管区分判別装置１４が、ステップＳ１２において学習が行われた学習済みの深層学習モデル１４Ａを用いることにより、ステップＳ１３において腹部表面の３次元構造が認識された患者の大動脈区分を判別する。
詳細には、ステップＳ１５では、血管区分判別装置１４の推定部１４２が、学習済みの深層学習モデル１４Ａを用いることにより、ステップＳ１４において生成された患者の腹部表面のデプス画像中の各ピクセルが、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分（つまり、第１血管区分、第２血管区分および第３血管区分のいずれにも該当しない区分）のいずれかに該当するかを推定する。
次いで、ステップＳ１６では、可視化装置１５のバーチャル画像生成部１５Ａが、患者の第１血管区分（Ｚｏｎｅ１）と第２血管区分（Ｚｏｎｅ２）と第３血管区分（Ｚｏｎｅ３）とを患者の腹部表面に投影したバーチャル画像を生成する。また、可視化装置１５のバーチャル画像提示部１５Ｂは、バーチャル画像生成部１５Ａによって生成されたバーチャル画像を血管区分判別システム１の利用者（例えば術者など）に提示する。
次いで、ステップＳ１３では、３次元構造認識装置１１が、血管区分判別装置１４による大動脈区分の判別対象の患者の腹部表面の３次元構造を認識する。
次いで、ステップＳ１４では、デプス画像生成部１２が、ステップＳ１３において認識された患者の腹部表面の３次元構造から患者の腹部表面のデプス画像を生成する。
次いで、ステップＳ１５では、血管区分判別装置１４が、ステップＳ１２において学習が行われた学習済みの深層学習モデル１４Ａを用いることにより、ステップＳ１３において腹部表面の３次元構造が認識された患者の大動脈区分を判別する。
詳細には、ステップＳ１５では、血管区分判別装置１４の推定部１４２が、学習済みの深層学習モデル１４Ａを用いることにより、ステップＳ１４において生成された患者の腹部表面のデプス画像中の各ピクセルが、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分（つまり、第１血管区分、第２血管区分および第３血管区分のいずれにも該当しない区分）のいずれかに該当するかを推定する。
次いで、ステップＳ１６では、可視化装置１５のバーチャル画像生成部１５Ａが、患者の第１血管区分（Ｚｏｎｅ１）と第２血管区分（Ｚｏｎｅ２）と第３血管区分（Ｚｏｎｅ３）とを患者の腹部表面に投影したバーチャル画像を生成する。また、可視化装置１５のバーチャル画像提示部１５Ｂは、バーチャル画像生成部１５Ａによって生成されたバーチャル画像を血管区分判別システム１の利用者（例えば術者など）に提示する。
【0033】
そのため、第１実施形態の血管区分判別システム１によれば、血管区分判別システム１の利用者（例えば術者など）は、Ｘ線透視や超音波装置が使用できない状況下においても患者の大動脈のＺｏｎｅ１、Ｚｏｎｅ２、Ｚｏｎｅ３を容易に識別することができる。その結果、Ｘ線透視や超音波装置が使用できない状況下におけるＲＥＢＯＡの実現可能性を向上させることができる。
【0034】
上述したように、図１に示す例では、３次元構造認識装置１１が、ＬｉＤＡＲスキャナと同様の技術を用いることによって、血管区分判別装置１４による大動脈区分の判別対象の患者の腹部表面の３次元構造を認識し、患者の腹部表面の３次元データを生成する。
他の例では、３次元構造認識装置１１が、図２に示す例のように、血管区分判別装置１４による大動脈区分の判別対象の患者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから患者の腹部表面の３次元構造を生成する機能を有していてもよい。
他の例では、３次元構造認識装置１１が、図２に示す例のように、血管区分判別装置１４による大動脈区分の判別対象の患者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから患者の腹部表面の３次元構造を生成する機能を有していてもよい。
【0035】
上述したように、図１に示す例では、血管区分判別装置１４が、患者の大動脈区分の推定結果として、第１血管区分（Ｚｏｎｅ１）、第２血管区分（Ｚｏｎｅ２）および第３血管区分（Ｚｏｎｅ３）を患者の腹部表面に投影したバーチャル画像を生成するために可視化装置１５によって用いられる情報を出力する。
他の例では、血管区分判別装置１４が、患者の大動脈区分の推定結果として、患者のランドマーク部（つまり、穿刺に適した部位（すなわち、カテーテル挿入部位））から患者の第１血管区分（Ｚｏｎｅ１）までの長さ、患者のランドマーク部から患者の第２血管区分（Ｚｏｎｅ２）までの長さ、および、患者のランドマーク部から患者の第３血管区分（Ｚｏｎｅ３）までの長さを例えば数値などで出力してもよい。
他の例では、血管区分判別装置１４が、患者の大動脈区分の推定結果として、患者のランドマーク部（つまり、穿刺に適した部位（すなわち、カテーテル挿入部位））から患者の第１血管区分（Ｚｏｎｅ１）までの長さ、患者のランドマーク部から患者の第２血管区分（Ｚｏｎｅ２）までの長さ、および、患者のランドマーク部から患者の第３血管区分（Ｚｏｎｅ３）までの長さを例えば数値などで出力してもよい。
【0036】
更に、他の例では、可視化装置１５として、例えば下記のＵＲＬが示すｗｅｂサイトに記載された製品が用いられる。
https://www.apple.com/jp/ipad-pro/specs/
更に、この例では、その製品の下記のＵＲＬが示すｗｅｂサイトに記載された技術を用いることによって、患者のランドマーク部（カテーテル挿入部位）から患者の第１血管区分（Ｚｏｎｅ１）までの長さ、患者のランドマーク部から患者の第２血管区分（Ｚｏｎｅ２）までの長さ、および、患者のランドマーク部から患者の第３血管区分（Ｚｏｎｅ３）までの長さが計測される。
https://support.apple.com/ja-jp/guide/ipad/ipad8ac2cfea/ipados
具体的には、この例では、血管区分判別システム１の利用者（例えば術者など）が、血管区分判別システム１の利用者に提示されたバーチャル画像上で、患者のランドマーク部（カテーテル挿入部位）に相当するポイントと、患者の例えば第１血管区分（Ｚｏｎｅ１）に相当するポイントとを指定することによって、それらの２つのポイント間の長さが計測され、血管区分判別システム１の利用者に提示される。そのため、血管区分判別システム１の利用者は、提示された結果を用いることによって、患者に挿入されるカテーテル長を決定することができる。
https://www.apple.com/jp/ipad-pro/specs/
更に、この例では、その製品の下記のＵＲＬが示すｗｅｂサイトに記載された技術を用いることによって、患者のランドマーク部（カテーテル挿入部位）から患者の第１血管区分（Ｚｏｎｅ１）までの長さ、患者のランドマーク部から患者の第２血管区分（Ｚｏｎｅ２）までの長さ、および、患者のランドマーク部から患者の第３血管区分（Ｚｏｎｅ３）までの長さが計測される。
https://support.apple.com/ja-jp/guide/ipad/ipad8ac2cfea/ipados
具体的には、この例では、血管区分判別システム１の利用者（例えば術者など）が、血管区分判別システム１の利用者に提示されたバーチャル画像上で、患者のランドマーク部（カテーテル挿入部位）に相当するポイントと、患者の例えば第１血管区分（Ｚｏｎｅ１）に相当するポイントとを指定することによって、それらの２つのポイント間の長さが計測され、血管区分判別システム１の利用者に提示される。そのため、血管区分判別システム１の利用者は、提示された結果を用いることによって、患者に挿入されるカテーテル長を決定することができる。
【0037】
また、他の例では、可視化装置１５として、例えば下記のＵＲＬが示すｗｅｂサイトに記載された製品が用いられる。
https://www.microsoft.com/ja-jp/hololens/hardware
更に、この例では、その製品の下記のＵＲＬが示すｗｅｂサイトに記載された技術を用いることによって、患者のランドマーク部（カテーテル挿入部位）から患者の第１血管区分（Ｚｏｎｅ１）までの長さ、患者のランドマーク部から患者の第２血管区分（Ｚｏｎｅ２）までの長さ、および、患者のランドマーク部から患者の第３血管区分（Ｚｏｎｅ３）までの長さが計測される。
https://www.windowscentral.com/hololens-gets-virtual-tape-measure
この例においても、血管区分判別システム１の利用者（例えば術者など）が、血管区分判別システム１の利用者に提示されたバーチャル画像上で、患者のランドマーク部（カテーテル挿入部位）に相当するポイントと、患者の例えば第１血管区分（Ｚｏｎｅ１）に相当するポイントとを指定することによって、それらの２つのポイント間の長さが計測され、血管区分判別システム１の利用者に提示される。そのため、血管区分判別システム１の利用者は、提示された結果を用いることによって、患者に挿入されるカテーテル長を決定することができる。
https://www.microsoft.com/ja-jp/hololens/hardware
更に、この例では、その製品の下記のＵＲＬが示すｗｅｂサイトに記載された技術を用いることによって、患者のランドマーク部（カテーテル挿入部位）から患者の第１血管区分（Ｚｏｎｅ１）までの長さ、患者のランドマーク部から患者の第２血管区分（Ｚｏｎｅ２）までの長さ、および、患者のランドマーク部から患者の第３血管区分（Ｚｏｎｅ３）までの長さが計測される。
https://www.windowscentral.com/hololens-gets-virtual-tape-measure
この例においても、血管区分判別システム１の利用者（例えば術者など）が、血管区分判別システム１の利用者に提示されたバーチャル画像上で、患者のランドマーク部（カテーテル挿入部位）に相当するポイントと、患者の例えば第１血管区分（Ｚｏｎｅ１）に相当するポイントとを指定することによって、それらの２つのポイント間の長さが計測され、血管区分判別システム１の利用者に提示される。そのため、血管区分判別システム１の利用者は、提示された結果を用いることによって、患者に挿入されるカテーテル長を決定することができる。
【0038】
上述した２つの例では、患者に挿入されるバルーンカテーテルとして、例えば下記のＵＲＬが示すｗｅｂサイトに記載されているようなレングスマーク（length marks）が施されているバルーンカテーテルが用いられる。
https://prytimemedical.com/product/er-reboa-plus-catheter/
https://prytimemedical.com/product/er-reboa-plus-catheter/
【0039】
更に他の例では、学習用データセット生成部１３が、腹部ＣＴ画像（図２の左側に示す画像）、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかに基づいて、バルーンカテーテルが挿入される血管の走行状態（蛇行状態）を学習するための学習用データセットを生成してもよい。
この例では、血管区分判別装置１４の学習部１４１が、その学習用データセットを使用して深層学習モデル１４Ａの学習を行う。血管区分判別装置１４の推定部１４２は、学習済みの深層学習モデル１４Ａを用いることにより、バルーンカテーテルが挿入される患者の血管の走行状態（蛇行状態）を推定する。更に、血管区分判別システム１の利用者（例えば術者など）が、血管区分判別システム１の利用者に提示されたバーチャル画像上で、患者のランドマーク部（カテーテル挿入部位）に相当するポイントと、患者の例えば第１血管区分（Ｚｏｎｅ１）に相当するポイントとを指定する場合には、それらの２つのポイント間の直線距離と、血管区分判別装置１４の推定部１４２の推定結果とに基づいて、それらの２つのポイント間の血管に沿った長さが推定されて出力される。
この例の変形例では、学習用データセット生成部１３が、腹部ＣＴ画像（図２の左側に示す画像）、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかに基づいて、患者のランドマーク部（カテーテル挿入部位）に相当するポイントと、患者の例えば第１血管区分（Ｚｏｎｅ１）に相当するポイントとの間の血管に沿った長さを学習するための学習用データセットを生成してもよい。
この例では、血管区分判別装置１４の学習部１４１が、その学習用データセットを使用して深層学習モデル１４Ａの学習を行う。血管区分判別装置１４の推定部１４２は、学習済みの深層学習モデル１４Ａを用いることにより、バルーンカテーテルが挿入される患者の血管の走行状態（蛇行状態）を推定する。更に、血管区分判別システム１の利用者（例えば術者など）が、血管区分判別システム１の利用者に提示されたバーチャル画像上で、患者のランドマーク部（カテーテル挿入部位）に相当するポイントと、患者の例えば第１血管区分（Ｚｏｎｅ１）に相当するポイントとを指定する場合には、それらの２つのポイント間の直線距離と、血管区分判別装置１４の推定部１４２の推定結果とに基づいて、それらの２つのポイント間の血管に沿った長さが推定されて出力される。
この例の変形例では、学習用データセット生成部１３が、腹部ＣＴ画像（図２の左側に示す画像）、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかに基づいて、患者のランドマーク部（カテーテル挿入部位）に相当するポイントと、患者の例えば第１血管区分（Ｚｏｎｅ１）に相当するポイントとの間の血管に沿った長さを学習するための学習用データセットを生成してもよい。
【0040】
更に他の例では、可視化装置１５が、患者の血管内に挿入されたバルーンカテーテルのバルーンが患者の第１血管区分（Ｚｏｎｅ１）、第２血管区分（Ｚｏｎｅ２）および第３血管区分（Ｚｏｎｅ３）のいずれかに留置された状態（すなわち、バルーンが拡張した状態）のバーチャル画像を生成し、血管区分判別システム１の利用者（例えば術者など）に提示してもよい。この例では、バルーンが患者の第１血管区分（Ｚｏｎｅ１）、第２血管区分（Ｚｏｎｅ２）および第３血管区分（Ｚｏｎｅ３）のいずれかに実際に留置された状態を、血管区分判別システム１の利用者が容易に想像することができる。
【0041】
＜実施例＞
本発明者は、第１実施形態の血管区分判別システム１を検証する研究において、患者体表から大動脈区分を瞬時に判別する深層学習モデル１４Ａの開発を行った。具体的には、本発明者は、高度な深層学習の基盤に基づいたセグメンテーション技術と、３次元構造認識装置１１に相当するカメラから照射される赤外光の反射から得られる患者の深度情報を融合して患者体表の３次元情報から大動脈区分の推定を行った。
本発明者は、第１実施形態の血管区分判別システム１を検証する研究において、患者体表から大動脈区分を瞬時に判別する深層学習モデル１４Ａの開発を行った。具体的には、本発明者は、高度な深層学習の基盤に基づいたセグメンテーション技術と、３次元構造認識装置１１に相当するカメラから照射される赤外光の反射から得られる患者の深度情報を融合して患者体表の３次元情報から大動脈区分の推定を行った。
【0042】
本発明者の専門は診療放射線技術や機械学習、複合現実であり、これまでは目に見えない放射線被ばくを複合現実により可視化する研究などを行ってきた。複合現実の医療応用は進んでおり、臓器の三次元可視化や遠隔医療で活躍を始めている。本発明者は、他の未知な情報も直感的なかたちで可視化することで医療の支援に繋がると考え、Ｘ線透視装置が物理的に使用不可能な状況下でも行われる救命医療のＲＥＢＯＡに注目した。可視化するＺｏｎｅ区分を深層学習の技術を用いて高精度に推定することで、従来とは一線を画する精度と没入感での可視化を可能とし、救命医療の質が大幅に向上すると考えて本研究を立案した。
【0043】
本発明者は、深層学習によるセグメンテーションの技術を用いてＺｏｎｅ推定を可能とするモデルを構築し、高精度な推定を可能とする学習済みモデルを確立するために、以下を行った。
学習用データセットは、深層学習を行う上で極めて重要な役割を担っており、この完成度によって研究全体の成果が左右される。したがって、本発明者は、まず、学習用データセットの準備に注力した。学習には腹部ＣＴ画像から作成する体表面３次元画像を用いた。本発明者は、ＣＴ画像として、帝京大学附属病院が保有するデータを主に使用した。更に、本発明者は、学習データの偏りを避けるためにオープンアクセスのＣＴ画像データベースも活用した。診療放射線技師でもある本発明者が学習データのセグメンテーションを行い、学習ラベルとして用いた。さらに、本発明者は、体表画像のみでは予測精度が不十分だった場合に備え、年齢や体重の情報も収集し、必要に応じて学習に加えた。
学習用データセットは、深層学習を行う上で極めて重要な役割を担っており、この完成度によって研究全体の成果が左右される。したがって、本発明者は、まず、学習用データセットの準備に注力した。学習には腹部ＣＴ画像から作成する体表面３次元画像を用いた。本発明者は、ＣＴ画像として、帝京大学附属病院が保有するデータを主に使用した。更に、本発明者は、学習データの偏りを避けるためにオープンアクセスのＣＴ画像データベースも活用した。診療放射線技師でもある本発明者が学習データのセグメンテーションを行い、学習ラベルとして用いた。さらに、本発明者は、体表画像のみでは予測精度が不十分だった場合に備え、年齢や体重の情報も収集し、必要に応じて学習に加えた。
【0044】
本発明者は、学習用データセットを使用してセマンティックセグメンテーションモデルの学習を行った。本発明者は、学習に際してハイパーパラメータの探索やネットワーク構造の修正を適宜行って最適な学習モデルを構築した。本発明者は、学習したモデルについて、再現性や適合率、ダイス係数などを用いて総合的に評価した。中でも特に、臓器虚血リスクの高いＺｏｎｅ２の再現性に注目し、高リスクの領域を高精度で判別できるモデルを生み出すことを目指した。
【0045】
図４は本発明者の研究における学習用データセットを使用したセマンティックセグメンテーションモデルの学習を概念的に示す図である。図５は本発明者の研究における学習済みのセマンティックセグメンテーションモデルの検証（Test）を概念的に示す図である。図６は本発明者の研究において学習済みのセマンティックセグメンテーションモデルを用いて推定したＺｏｎｅ１、Ｚｏｎｅ２、Ｚｏｎｅ３の類似度（similarity）を、ダイス係数およびＪａｃｃａｒｄ係数を用いて評価した結果を示す図である。図７は本発明者の研究において学習済みのセマンティックセグメンテーションモデルを用いて推定されたＺｏｎｅ１とＺｏｎｅ２との境界線の位置誤差（Position Error）、Ｚｏｎｅ２とＺｏｎｅ３との境界線の位置誤差などを示す図である。図８は本発明者の研究において学習済みのセマンティックセグメンテーションモデルを用いて推定された大動脈区分の位置誤差が１０ｍｍ未満になった４つの例を示す図である。図９は本発明者の研究において学習済みのセマンティックセグメンテーションモデルを用いて推定された大動脈区分の位置誤差が２０ｍｍより大きくなった４つの例を示す図である。
【0046】
更に、本発明者は、現実とバーチャルをシームレスに融合する複合現実を用いて、学習済みモデルを用いて推定されたＺｏｎｅを直感的に可視化できるアプリケーションを開発するために、以下を行った。
本発明者は、研究において、タブレット型端末であるiPad Pro（「iPad」は登録商標）（Apple社製）上で動作し、学習済みモデルからＺｏｎｅを推定して可視化するアプリケーションを開発した。iPad Proは赤外線カメラを備えており、現実空間の三次計測が可能である。この赤外線カメラで撮影される患者体表の三次元情報を学習済みモデルへ入力し、Ｚｏｎｅの推定結果を通常のカメラで撮影される体表へリアルタイムに投影する。これにより、血管区分判別システム１の利用者（例えば術者）が、iPad Proを人体にかざすだけでＺｏｎｅ区分が可視化される。この研究では、iPad Proが、３次元構造認識装置１１としての機能と、可視化装置１５としての機能とを有する。
本発明者は、研究において、タブレット型端末であるiPad Pro（「iPad」は登録商標）（Apple社製）上で動作し、学習済みモデルからＺｏｎｅを推定して可視化するアプリケーションを開発した。iPad Proは赤外線カメラを備えており、現実空間の三次計測が可能である。この赤外線カメラで撮影される患者体表の三次元情報を学習済みモデルへ入力し、Ｚｏｎｅの推定結果を通常のカメラで撮影される体表へリアルタイムに投影する。これにより、血管区分判別システム１の利用者（例えば術者）が、iPad Proを人体にかざすだけでＺｏｎｅ区分が可視化される。この研究では、iPad Proが、３次元構造認識装置１１としての機能と、可視化装置１５としての機能とを有する。
【0047】
また、本発明者は、研究において、ヘッドセット型端末であるHoloLens2（「HOLOLENS」は国際登録商標）（Microsoft社製）上で動作し、学習済みモデルからＺｏｎｅを推定して可視化するアプリケーションを開発した。HoloLens2もiPad Proと同様、赤外線カメラを備えており、現実空間の三次的計測が可能である。体表の三次元情報を学習済みモデルへの入力とし、Ｚｏｎｅの推定結果をシースルーのHoloLens2を通して見える体表へリアルタイムに投影する。これにより、血管区分判別システム１の利用者（例えば術者）が、HoloLens2をつけて患者を覗き込むだけでＺｏｎｅ区分が可視化される。この研究では、HoloLens2が、３次元構造認識装置１１としての機能と、可視化装置１５としての機能とを有する。
HoloLens2は、iPad Proとはオペレーションシステムやハードウェア構成が異なるためアプリケーションの表層部分の変更は必須だが、システムの根幹をなすＺｏｎｅ区分推定に関する部分は共用できる（つまり、可視化装置１５として、iPad Proを用いることも、HoloLens2を用いることも可能である）。
HoloLens2は、iPad Proとはオペレーションシステムやハードウェア構成が異なるためアプリケーションの表層部分の変更は必須だが、システムの根幹をなすＺｏｎｅ区分推定に関する部分は共用できる（つまり、可視化装置１５として、iPad Proを用いることも、HoloLens2を用いることも可能である）。
【0048】
図１０はHoloLens2を使用してＺｏｎｅの推定結果を患者の体表へリアルタイムに投影する技術を概念的に説明するための図である。
【0049】
本発明者は、上述した研究の結果、患者の体表面の３次元画像からＺｏｎｅ区分を十分に高精度に推定可能であることを見い出した。具体的には、本発明者が、使用予定のＣＴ画像の極一部からデータセットを構築し、深層学習によるセグメンテーションのテストを行った結果、Ｚｏｎｅ１の再現性が最大で０．９９になり、Ｚｏｎｅ２の再現性が最大で０．９５になり、Ｚｏｎｅ３の再現性が最大で０．９８になった。
本発明者は、複合現実を用いた可視化について、これまでの研究で培った知識や経験から実装方法の検討を進めており、Ｚｏｎｅを患者体表に投影する技術を実現する（つまり、実機において血管区分判別システム１として動作させる）目処が立っている。
本発明者は、複合現実を用いた可視化について、これまでの研究で培った知識や経験から実装方法の検討を進めており、Ｚｏｎｅを患者体表に投影する技術を実現する（つまり、実機において血管区分判別システム１として動作させる）目処が立っている。
【0050】
［第２実施形態］
以下、本発明の血管区分判別システム、血管区分判別方法およびプログラムの第２実施形態について説明する。
第２実施形態の血管区分判別システム１は、後述する点を除き、上述した第１実施形態の血管区分判別システム１と同様に構成されている。従って、第２実施形態の血管区分判別システム１によれば、後述する点を除き、上述した第１実施形態の血管区分判別システム１と同様の効果を奏することができる。
以下、本発明の血管区分判別システム、血管区分判別方法およびプログラムの第２実施形態について説明する。
第２実施形態の血管区分判別システム１は、後述する点を除き、上述した第１実施形態の血管区分判別システム１と同様に構成されている。従って、第２実施形態の血管区分判別システム１によれば、後述する点を除き、上述した第１実施形態の血管区分判別システム１と同様の効果を奏することができる。
【0051】
上述したように、第１実施形態の血管区分判別システム１では、深層学習モデル１４Ａとして、セグメンテーションモデルが用いられる。
一方、第２実施形態の血管区分判別システム１では、深層学習モデル１４Ａとして、例えば下記のＵＲＬが示すｗｅｂサイトに記載されているＧＡＮ（Generative Adversarial Network）等の疑似画像生成技術が用いられる。
https://ledge.ai/gan/
https://www.nedo.go.jp/news/press/AA5_101472.html
一方、第２実施形態の血管区分判別システム１では、深層学習モデル１４Ａとして、例えば下記のＵＲＬが示すｗｅｂサイトに記載されているＧＡＮ（Generative Adversarial Network）等の疑似画像生成技術が用いられる。
https://ledge.ai/gan/
https://www.nedo.go.jp/news/press/AA5_101472.html
【0052】
［第３実施形態］
以下、本発明の血管区分判別システム、血管区分判別方法およびプログラムの第３実施形態について説明する。
第３実施形態の血管区分判別システム２は、後述する点を除き、上述した第１実施形態の血管区分判別システム１と同様に構成されている。従って、第３実施形態の血管区分判別システム２によれば、後述する点を除き、上述した第１実施形態の血管区分判別システム１と同様の効果を奏することができる。
以下、本発明の血管区分判別システム、血管区分判別方法およびプログラムの第３実施形態について説明する。
第３実施形態の血管区分判別システム２は、後述する点を除き、上述した第１実施形態の血管区分判別システム１と同様に構成されている。従って、第３実施形態の血管区分判別システム２によれば、後述する点を除き、上述した第１実施形態の血管区分判別システム１と同様の効果を奏することができる。
【0053】
図１１は第３実施形態の血管区分判別システム２の一例を示す図である。
図１１に示す例では、第３実施形態の血管区分判別システム２が、第１実施形態の血管区分判別システム１と同様に、例えば緊急時などのＸ線透視や超音波装置が使用できない状況下における術者による患者に対するＲＥＢＯＡの実現を支援する。血管区分判別システム２は、３次元構造認識装置２１と、学習用データセット生成部２３と、血管区分判別装置２４と、可視化装置２５とを備えている。
３次元構造認識装置２１は、図１に示す３次元構造認識装置１１と同様に、患者の腹部表面の３次元構造を認識する。
図１１に示す例では、第３実施形態の血管区分判別システム２が、第１実施形態の血管区分判別システム１と同様に、例えば緊急時などのＸ線透視や超音波装置が使用できない状況下における術者による患者に対するＲＥＢＯＡの実現を支援する。血管区分判別システム２は、３次元構造認識装置２１と、学習用データセット生成部２３と、血管区分判別装置２４と、可視化装置２５とを備えている。
３次元構造認識装置２１は、図１に示す３次元構造認識装置１１と同様に、患者の腹部表面の３次元構造を認識する。
【0054】
学習用データセット生成部２３は、学習用データセットを生成する。
血管区分判別装置２４は、深層学習モデル２４Ａを用いることにより、３次元構造認識装置２１によって腹部表面の３次元構造が認識された患者の大動脈区分を判別する。
血管区分判別装置２４は、深層学習モデル２４Ａを用いることにより、３次元構造認識装置２１によって腹部表面の３次元構造が認識された患者の大動脈区分を判別する。
【0055】
第３実施形態の血管区分判別システム２の一例では、学習用データセット生成部２３が、血管区分判別装置２４による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから学習用の腹部表面の３次元構造を生成する。
【0056】
更に、学習用データセット生成部２３は、腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかに基づいて、学習用の腹部表面の３次元構造上の各点と、大動脈のＺｏｎｅ１に対応する第１血管区、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分のいずれかとの対応関係を示す情報を生成する。
また、学習用データセット生成部２３は、学習用の腹部表面の３次元構造と、上述した情報との組である学習用データセットを、深層学習モデル２４Ａの学習に使用される教師データとして生成する。
また、学習用データセット生成部２３は、学習用の腹部表面の３次元構造と、上述した情報との組である学習用データセットを、深層学習モデル２４Ａの学習に使用される教師データとして生成する。
【0057】
図１１に示す例では、血管区分判別装置２４が、学習部２４１と、推定部２４２とを備えている。学習部２４１は、学習用データセット生成部２３によって生成された学習用データセットを使用して深層学習モデル２４Ａの学習を行う。
詳細には、ＲＥＢＯＡが行われる場合に大動脈のＺｏｎｅ２に対応する第２血管区分の推定精度が低いと臓器虚血リスクが高くなる点に鑑み、学習部２４１は、学習済みの深層学習モデル２４Ａを用いた大動脈のＺｏｎｅ２に対応する第２血管区分の推定精度が所定の閾値以上になるように、深層学習モデル２４Ａの学習を行う。
第３実施形態の血管区分判別システム２では、深層学習モデル２４Ａとして、第１実施形態の血管区分判別システム１と同様に、セグメンテーションモデルが用いられる。
詳細には、第３実施形態の血管区分判別システム１の第１例では、深層学習モデル２４Ａとして、上述したセマンティックセグメンテーションのモデルが用いられる。
詳細には、ＲＥＢＯＡが行われる場合に大動脈のＺｏｎｅ２に対応する第２血管区分の推定精度が低いと臓器虚血リスクが高くなる点に鑑み、学習部２４１は、学習済みの深層学習モデル２４Ａを用いた大動脈のＺｏｎｅ２に対応する第２血管区分の推定精度が所定の閾値以上になるように、深層学習モデル２４Ａの学習を行う。
第３実施形態の血管区分判別システム２では、深層学習モデル２４Ａとして、第１実施形態の血管区分判別システム１と同様に、セグメンテーションモデルが用いられる。
詳細には、第３実施形態の血管区分判別システム１の第１例では、深層学習モデル２４Ａとして、上述したセマンティックセグメンテーションのモデルが用いられる。
【0058】
第３実施形態の血管区分判別システム２の第２例では、深層学習モデル２４Ａとして、上述したインスタンスセグメンテーション、パノプティックセグメンテーション等のようなセマンティックセグメンテーション以外のセグメンテーションのモデルが用いられてもよい。
【0059】
図１１に示す例では、推定部２４２が、学習済みの深層学習モデル２４Ａを用いることにより、３次元構造認識装置２１によって認識された患者の３次元構造上の各点が、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分（つまり、第１血管区分、第２血管区分および第３血管区分のいずれにも該当しない区分）のいずれかに該当するかを推定する。
つまり、図１１に示す例では、学習用データセット生成部２３によって生成された学習用データセットを使用して深層学習モデル２４Ａの学習が行われた後に、３次元構造認識装置２１が、患者の腹部表面の３次元構造を認識する。また、血管区分判別装置２４の推定部２４２が、学習済みの深層学習モデル２４Ａを用いることにより、３次元構造認識装置２１によって認識された患者の３次元構造上の各点が、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分のいずれかに該当するかを推定する。
つまり、図１１に示す例では、学習用データセット生成部２３によって生成された学習用データセットを使用して深層学習モデル２４Ａの学習が行われた後に、３次元構造認識装置２１が、患者の腹部表面の３次元構造を認識する。また、血管区分判別装置２４の推定部２４２が、学習済みの深層学習モデル２４Ａを用いることにより、３次元構造認識装置２１によって認識された患者の３次元構造上の各点が、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分のいずれかに該当するかを推定する。
【0060】
可視化装置２５は、血管区分判別装置２４による患者の大動脈区分の推定結果を患者の腹部表面に投影したバーチャル画像を生成する。可視化装置２５は、バーチャル画像生成部２５Ａと、バーチャル画像提示部２５Ｂとを備えている。
バーチャル画像生成部２５Ａは、患者の第１血管区分（Ｚｏｎｅ１）と第２血管区分（Ｚｏｎｅ２）と第３血管区分（Ｚｏｎｅ３）とを患者の腹部表面に投影したバーチャル画像を生成する。バーチャル画像提示部２５Ｂは、バーチャル画像生成部２５Ａによって生成されたバーチャル画像を血管区分判別システム２の利用者（例えば術者など）に提示する。
バーチャル画像生成部２５Ａは、患者の第１血管区分（Ｚｏｎｅ１）と第２血管区分（Ｚｏｎｅ２）と第３血管区分（Ｚｏｎｅ３）とを患者の腹部表面に投影したバーチャル画像を生成する。バーチャル画像提示部２５Ｂは、バーチャル画像生成部２５Ａによって生成されたバーチャル画像を血管区分判別システム２の利用者（例えば術者など）に提示する。
【0061】
第３実施形態の血管区分判別システム２の第１例では、可視化装置２５が、第１実施形態の血管区分判別システム１の第１例と同様に、患者の第１血管区分（Ｚｏｎｅ１）と第２血管区分（Ｚｏｎｅ２）と第３血管区分（Ｚｏｎｅ３）とを患者の腹部表面に投影する。
【0062】
第３実施形態の血管区分判別システム２の第２例では、可視化装置２５が、第１実施形態の血管区分判別システム１の第２例と同様に、現実の３次元オブジェクト（つまり、患者の腹部表面）を直接マーカーにする、すなわち、外部から手を加えることなく、患者の第１血管区分（Ｚｏｎｅ１）と第２血管区分（Ｚｏｎｅ２）と第３血管区分（Ｚｏｎｅ３）とを患者の腹部表面に直接投影する。
【0063】
第３実施形態の血管区分判別システム２の第３例では、可視化装置２５が、第１実施形態の血管区分判別システム１の第３例と同様に、現実の３次元オブジェクト（つまり、患者の腹部表面）を直接マーカーにする、すなわち、外部から手を加えることなく、患者の第１血管区分（Ｚｏｎｅ１）と第２血管区分（Ｚｏｎｅ２）と第３血管区分（Ｚｏｎｅ３）とを患者の腹部表面に直接投影する。
【0064】
第３実施形態の血管区分判別システム２の第３例では、可視化装置２５が、第１実施形態の血管区分判別システム１の第３例と同様に、患者の第１血管区分（Ｚｏｎｅ１）と第２血管区分（Ｚｏｎｅ２）と第３血管区分（Ｚｏｎｅ３）とを患者の腹部表面に投影したバーチャル画像を生成し、そのバーチャル画像を血管区分判別システム２の利用者（例えば術者など）に提示する。
【0065】
図１２は第３実施形態の血管区分判別システム２において実行される処理の一例を説明するためのフローチャートである。
図１２に示す例では、ステップＳ２１において、学習用データセット生成部２３が、深層学習モデル２４Ａの学習に使用される学習用データセットを生成する。
詳細には、ステップＳ２１Ａにおいて、学習用データセット生成部２３が、血管区分判別装置１４による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから学習用の腹部表面の３次元構造を生成する。
次いで、ステップＳ２１Ｃでは、学習用データセット生成部１３が、腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかに基づいて、学習用の腹部表面の３次元構造上の各点と、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分（つまり、第１血管区分、第２血管区分および第３血管区分のいずれにも該当しない区分）のいずれかとの対応関係を示す学習用データセットを生成する。
図１２に示す例では、ステップＳ２１において、学習用データセット生成部２３が、深層学習モデル２４Ａの学習に使用される学習用データセットを生成する。
詳細には、ステップＳ２１Ａにおいて、学習用データセット生成部２３が、血管区分判別装置１４による大動脈区分の判別対象の患者とは異なる者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから学習用の腹部表面の３次元構造を生成する。
次いで、ステップＳ２１Ｃでは、学習用データセット生成部１３が、腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかに基づいて、学習用の腹部表面の３次元構造上の各点と、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分（つまり、第１血管区分、第２血管区分および第３血管区分のいずれにも該当しない区分）のいずれかとの対応関係を示す学習用データセットを生成する。
【0066】
次いで、ステップＳ２２では、血管区分判別装置２４の学習部２４１が、ステップＳ２１において生成された学習用データセットを使用して深層学習モデル２４Ａの学習を行う。
次いで、ステップＳ２３では、３次元構造認識装置２１が、血管区分判別装置２４による大動脈区分の判別対象の患者の腹部表面の３次元構造を認識する。
次いで、ステップＳ２５では、血管区分判別装置１４が、ステップＳ２２において学習が行われた学習済みの深層学習モデル２４Ａを用いることにより、ステップＳ２３において腹部表面の３次元構造が認識された患者の大動脈区分を判別する。
詳細には、ステップＳ２５では、血管区分判別装置２４の推定部２４２が、学習済みの深層学習モデル２４Ａを用いることにより、ステップＳ２３において認識された患者の腹部表面の３次元構造上の各点が、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分（つまり、第１血管区分、第２血管区分および第３血管区分のいずれにも該当しない区分）のいずれかに該当するかを推定する。
次いで、ステップＳ２６では、可視化装置２５のバーチャル画像生成部２５Ａが、患者の第１血管区分（Ｚｏｎｅ１）と第２血管区分（Ｚｏｎｅ２）と第３血管区分（Ｚｏｎｅ３）とを患者の腹部表面に投影したバーチャル画像を生成する。また、可視化装置２５のバーチャル画像提示部２５Ｂは、バーチャル画像生成部２５Ａによって生成されたバーチャル画像を血管区分判別システム２の利用者（例えば術者など）に提示する。
次いで、ステップＳ２３では、３次元構造認識装置２１が、血管区分判別装置２４による大動脈区分の判別対象の患者の腹部表面の３次元構造を認識する。
次いで、ステップＳ２５では、血管区分判別装置１４が、ステップＳ２２において学習が行われた学習済みの深層学習モデル２４Ａを用いることにより、ステップＳ２３において腹部表面の３次元構造が認識された患者の大動脈区分を判別する。
詳細には、ステップＳ２５では、血管区分判別装置２４の推定部２４２が、学習済みの深層学習モデル２４Ａを用いることにより、ステップＳ２３において認識された患者の腹部表面の３次元構造上の各点が、大動脈のＺｏｎｅ１に対応する第１血管区分、大動脈のＺｏｎｅ２に対応する第２血管区分、大動脈のＺｏｎｅ３に対応する第３血管区分および他の区分（つまり、第１血管区分、第２血管区分および第３血管区分のいずれにも該当しない区分）のいずれかに該当するかを推定する。
次いで、ステップＳ２６では、可視化装置２５のバーチャル画像生成部２５Ａが、患者の第１血管区分（Ｚｏｎｅ１）と第２血管区分（Ｚｏｎｅ２）と第３血管区分（Ｚｏｎｅ３）とを患者の腹部表面に投影したバーチャル画像を生成する。また、可視化装置２５のバーチャル画像提示部２５Ｂは、バーチャル画像生成部２５Ａによって生成されたバーチャル画像を血管区分判別システム２の利用者（例えば術者など）に提示する。
【0067】
そのため、第３実施形態の血管区分判別システム２によれば、血管区分判別システム２の利用者（例えば術者など）は、Ｘ線透視や超音波装置が使用できない状況下においても患者の大動脈のＺｏｎｅ１、Ｚｏｎｅ２、Ｚｏｎｅ３を容易に識別することができる。その結果、Ｘ線透視や超音波装置が使用できない状況下におけるＲＥＢＯＡの実現可能性を向上させることができる。
【0068】
上述したように、図１１に示す例では、３次元構造認識装置２１が、ＬｉＤＡＲスキャナと同様の技術を用いることによって、血管区分判別装置２４による大動脈区分の判別対象の患者の腹部表面の３次元構造を認識し、患者の腹部表面の３次元データを生成する。
他の例では、３次元構造認識装置２１が、図２に示す例のように、血管区分判別装置２４による大動脈区分の判別対象の患者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから患者の腹部表面の３次元構造を生成する機能を有していてもよい。
他の例では、３次元構造認識装置２１が、図２に示す例のように、血管区分判別装置２４による大動脈区分の判別対象の患者の腹部ＣＴ画像、腹部ＭＲＩ画像および腹部ＭＲＡ画像のいずれかから患者の腹部表面の３次元構造を生成する機能を有していてもよい。
【0069】
上述したように、図１１に示す例では、血管区分判別装置２４が、患者の大動脈区分の推定結果として、第１血管区分（Ｚｏｎｅ１）、第２血管区分（Ｚｏｎｅ２）および第３血管区分（Ｚｏｎｅ３）を患者の腹部表面に投影したバーチャル画像を生成するために可視化装置２５によって用いられる情報を出力する。
他の例では、血管区分判別装置２４が、患者の大動脈区分の推定結果として、患者のランドマーク部（つまり、穿刺に適した部位（すなわち、カテーテル挿入部位））から患者の第１血管区分（Ｚｏｎｅ１）までの長さ、患者のランドマーク部から患者の第２血管区分（Ｚｏｎｅ２）までの長さ、および、患者のランドマーク部から患者の第３血管区分（Ｚｏｎｅ３）までの長さを例えば数値などで出力してもよい。
他の例では、血管区分判別装置２４が、患者の大動脈区分の推定結果として、患者のランドマーク部（つまり、穿刺に適した部位（すなわち、カテーテル挿入部位））から患者の第１血管区分（Ｚｏｎｅ１）までの長さ、患者のランドマーク部から患者の第２血管区分（Ｚｏｎｅ２）までの長さ、および、患者のランドマーク部から患者の第３血管区分（Ｚｏｎｅ３）までの長さを例えば数値などで出力してもよい。
【0070】
［第４実施形態］
以下、本発明の血管区分判別システム、血管区分判別方法およびプログラムの第４実施形態について説明する。
第４実施形態の血管区分判別システム２は、後述する点を除き、上述した第３実施形態の血管区分判別システム２と同様に構成されている。従って、第４実施形態の血管区分判別システム２によれば、後述する点を除き、上述した第３実施形態の血管区分判別システム２と同様の効果を奏することができる。
以下、本発明の血管区分判別システム、血管区分判別方法およびプログラムの第４実施形態について説明する。
第４実施形態の血管区分判別システム２は、後述する点を除き、上述した第３実施形態の血管区分判別システム２と同様に構成されている。従って、第４実施形態の血管区分判別システム２によれば、後述する点を除き、上述した第３実施形態の血管区分判別システム２と同様の効果を奏することができる。
【0071】
上述したように、第３実施形態の血管区分判別システム２では、深層学習モデル２４Ａとして、セグメンテーションモデルが用いられる。
一方、第４実施形態の血管区分判別システム２では、深層学習モデル２４Ａとして、上述したＧＡＮ等の疑似画像生成技術が用いられる。
一方、第４実施形態の血管区分判別システム２では、深層学習モデル２４Ａとして、上述したＧＡＮ等の疑似画像生成技術が用いられる。
【0072】
以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した各実施形態および各例に記載の構成を組み合わせてもよい。
【0073】
なお、上記の実施形態における血管区分判別システム１、２の全部または一部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
なお、血管区分判別システム１の全部または一部は、メモリおよびＣＰＵ（中央演算装置）により構成され、各システムが備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
なお、血管区分判別システム１の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
なお、血管区分判別システム１の全部または一部は、メモリおよびＣＰＵ（中央演算装置）により構成され、各システムが備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
なお、血管区分判別システム１の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【符号の説明】
【0074】
１…血管区分判別システム、１１…３次元構造認識装置、１２…デプス画像生成部、１３…学習用データセット生成部、１４…血管区分判別装置、１４Ａ…深層学習モデル、１４１…学習部、１４２…推定部、１５…可視化装置、１５Ａ…バーチャル画像生成部、１５Ｂ…バーチャル画像提示部、２…血管区分判別システム、２１…３次元構造認識装置、２３…学習用データセット生成部、２４…血管区分判別装置、２４Ａ…深層学習モデル、２４１…学習部、２４２…推定部、２５…可視化装置、２５Ａ…バーチャル画像生成部、２５Ｂ…バーチャル画像提示部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】