ホーム > 特許ランキング > 株式会社アールテック
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023183004
(43)【公開日】2023-12-27
(54)【発明の名称】医用画像処理装置及び医用画像処理方法
(51)【国際特許分類】
A61B 6/00 20060101AFI20231220BHJP
【ＦＩ】
A61B6/00 360B
A61B6/00 350A
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022096348
(22)【出願日】2022-06-15
(71)【出願人】
【識別番号】502094572
【氏名又は名称】株式会社アールテック
(74)【代理人】
【識別番号】100117857
【弁理士】
【氏名又は名称】南林 薫
(72)【発明者】
【氏名】小杉 隆司
(72)【発明者】
【氏名】小杉 崇文
【テーマコード（参考）】
4C093
【Ｆターム（参考）】
4C093AA04
4C093AA08
4C093CA33
4C093DA02
4C093FF18
4C093FF24
4C093FF27
4C093FF35
4C093FF37
4C093FF42
(57)【要約】
【課題】術者が医用画像を視認しながら医療デバイスを用いて被検体の血管を手術する際に、安全に手術を行える仕組みを提供する。
【解決手段】術者２０が医療デバイス１００を用いて被検体の血管を手術する際に視認する表示部３８０を有する医用画像処理装置３００において、表示処理部３７０は、透過度推定部３５０で推定された血管の透過度３０５に基づいて３次元の血管像３７１を生成するとともに、実像虚像判定部３６０で実像と判定されたグループに属する点群の３次元デバイス形状点群情報３０７に基づいて３次元の医療デバイス像３７２を生成し、３次元の血管像３７１と３次元の医療デバイス像３７２とを重ね合わせて生成した３次元の医用画像３０９を表示部３８０に表示する処理を行う。
【選択図】図１
【解決手段】術者２０が医療デバイス１００を用いて被検体の血管を手術する際に視認する表示部３８０を有する医用画像処理装置３００において、表示処理部３７０は、透過度推定部３５０で推定された血管の透過度３０５に基づいて３次元の血管像３７１を生成するとともに、実像虚像判定部３６０で実像と判定されたグループに属する点群の３次元デバイス形状点群情報３０７に基づいて３次元の医療デバイス像３７２を生成し、３次元の血管像３７１と３次元の医療デバイス像３７２とを重ね合わせて生成した３次元の医用画像３０９を表示部３８０に表示する処理を行う。
【選択図】図１
【特許請求の範囲】
【請求項1】
術者が医療デバイスを用いて被検体の血管を手術する際に視認する表示部を有する医用画像処理装置であって、
前記医療デバイスが挿入された前記血管を含む前記被検体を第１面の方向においてＸ線透視撮影することによって得られた第１面Ｘ線透視画像と前記第１面Ｘ線透視画像に対応する第１面ロードマップ画像とを含む第１面２次元画像、前記第１面の方向におけるＸ線透視撮影に係る第１面撮影情報、前記医療デバイスが挿入された前記血管を含む前記被検体を前記第１面とは異なる第２面の方向においてＸ線透視撮影することによって得られた第２面Ｘ線透視画像と前記第２面Ｘ線透視画像に対応する第２面ロードマップ画像とを含む第２面２次元画像、および、前記第２面の方向におけるＸ線透視撮影に係る第２面撮影情報に基づいて、前記血管と前記医療デバイスにおける３次元の特徴量を算出する特徴量算出部と、
前記第１面２次元画像に基づいて前記第１面の方向における前記医療デバイスの形状を表す第１面２次元デバイス形状画像を生成するとともに、前記第２面２次元画像に基づいて前記第２面の方向における前記医療デバイスの形状を表す第２面２次元デバイス形状画像を生成する２次元デバイス形状画像生成部と、
前記第１面２次元デバイス形状画像および前記第２面２次元デバイス形状画像と、前記第１面撮影情報および前記第２面撮影情報とに基づいて、前記医療デバイスにおける３次元形状の点群情報である３次元デバイス形状点群情報を算出する３次元デバイス形状点群情報算出部と、
前記特徴量算出部で算出された前記３次元の特徴量と、前記被検体に対して設定された複数の格子点の情報である被検体格子点群情報とに基づいて、前記血管の透過度を推定するとともに、前記特徴量算出部で算出された前記３次元の特徴量と、前記３次元デバイス形状点群情報とに基づいて、前記医療デバイスの透過度を推定する透過度推定部と、
前記透過度推定部で推定された前記医療デバイスの透過度に基づいて、前記３次元デバイス形状点群情報における点群を含む近傍領域を複数のグループに分けた際の前記グループごとに、実像か虚像かを判定する実像虚像判定部と、
前記透過度推定部で推定された前記血管の透過度に基づいて３次元の血管像を生成するとともに、前記実像虚像判定部で前記実像と判定された前記グループに属する前記点群の前記３次元デバイス形状点群情報に基づいて３次元の医療デバイス像を生成し、前記３次元の血管像と前記３次元の医療デバイス像とを重ね合わせて生成した３次元の医用画像を前記表示部に表示する処理を行う表示処理部と、
を有することを特徴とする医用画像処理装置。
前記医療デバイスが挿入された前記血管を含む前記被検体を第１面の方向においてＸ線透視撮影することによって得られた第１面Ｘ線透視画像と前記第１面Ｘ線透視画像に対応する第１面ロードマップ画像とを含む第１面２次元画像、前記第１面の方向におけるＸ線透視撮影に係る第１面撮影情報、前記医療デバイスが挿入された前記血管を含む前記被検体を前記第１面とは異なる第２面の方向においてＸ線透視撮影することによって得られた第２面Ｘ線透視画像と前記第２面Ｘ線透視画像に対応する第２面ロードマップ画像とを含む第２面２次元画像、および、前記第２面の方向におけるＸ線透視撮影に係る第２面撮影情報に基づいて、前記血管と前記医療デバイスにおける３次元の特徴量を算出する特徴量算出部と、
前記第１面２次元画像に基づいて前記第１面の方向における前記医療デバイスの形状を表す第１面２次元デバイス形状画像を生成するとともに、前記第２面２次元画像に基づいて前記第２面の方向における前記医療デバイスの形状を表す第２面２次元デバイス形状画像を生成する２次元デバイス形状画像生成部と、
前記第１面２次元デバイス形状画像および前記第２面２次元デバイス形状画像と、前記第１面撮影情報および前記第２面撮影情報とに基づいて、前記医療デバイスにおける３次元形状の点群情報である３次元デバイス形状点群情報を算出する３次元デバイス形状点群情報算出部と、
前記特徴量算出部で算出された前記３次元の特徴量と、前記被検体に対して設定された複数の格子点の情報である被検体格子点群情報とに基づいて、前記血管の透過度を推定するとともに、前記特徴量算出部で算出された前記３次元の特徴量と、前記３次元デバイス形状点群情報とに基づいて、前記医療デバイスの透過度を推定する透過度推定部と、
前記透過度推定部で推定された前記医療デバイスの透過度に基づいて、前記３次元デバイス形状点群情報における点群を含む近傍領域を複数のグループに分けた際の前記グループごとに、実像か虚像かを判定する実像虚像判定部と、
前記透過度推定部で推定された前記血管の透過度に基づいて３次元の血管像を生成するとともに、前記実像虚像判定部で前記実像と判定された前記グループに属する前記点群の前記３次元デバイス形状点群情報に基づいて３次元の医療デバイス像を生成し、前記３次元の血管像と前記３次元の医療デバイス像とを重ね合わせて生成した３次元の医用画像を前記表示部に表示する処理を行う表示処理部と、
を有することを特徴とする医用画像処理装置。
【請求項2】
前記実像虚像判定部は、前記グループごとに、前記医療デバイスの透過度における平均値を算出し、前記平均値が所定の閾値以下の前記グループを前記実像と判定し、前記平均値が前記所定の閾値よりも大きい前記グループを前記虚像と判定することを特徴とする請求項１に記載の医用画像処理装置。
【請求項3】
前記被検体は、被検者の頭部であり、
前記第１面Ｘ線透視画像は、前記医療デバイスが挿入された前記頭部の前記血管および前記頭部の頭蓋骨を前記第１面の方向においてＸ線透視撮影することによって得られた画像であり、
前記第２面Ｘ線透視画像は、前記医療デバイスが挿入された前記頭部の前記血管および前記頭蓋骨を前記第２面の方向においてＸ線透視撮影することによって得られた画像であり、
前記特徴量算出部は、前記頭蓋骨と前記血管と前記医療デバイスにおける３次元の特徴量を算出し、
前記透過度推定部は、前記特徴量算出部で算出された前記３次元の特徴量と、前記被検体格子点群情報とに基づいて、前記頭蓋骨および前記血管の透過度を推定し、
前記表示処理部は、前記透過度推定部で推定された前記頭蓋骨および前記血管の透過度に基づいて３次元の頭蓋骨像および前記３次元の血管像を生成し、前記３次元の頭蓋骨像および前記３次元の血管像と前記３次元の医療デバイス像とを重ね合わせて生成した３次元の医用画像を前記表示部に表示する処理を行う
ことを特徴とする請求項１に記載の医用画像処理装置。
前記第１面Ｘ線透視画像は、前記医療デバイスが挿入された前記頭部の前記血管および前記頭部の頭蓋骨を前記第１面の方向においてＸ線透視撮影することによって得られた画像であり、
前記第２面Ｘ線透視画像は、前記医療デバイスが挿入された前記頭部の前記血管および前記頭蓋骨を前記第２面の方向においてＸ線透視撮影することによって得られた画像であり、
前記特徴量算出部は、前記頭蓋骨と前記血管と前記医療デバイスにおける３次元の特徴量を算出し、
前記透過度推定部は、前記特徴量算出部で算出された前記３次元の特徴量と、前記被検体格子点群情報とに基づいて、前記頭蓋骨および前記血管の透過度を推定し、
前記表示処理部は、前記透過度推定部で推定された前記頭蓋骨および前記血管の透過度に基づいて３次元の頭蓋骨像および前記３次元の血管像を生成し、前記３次元の頭蓋骨像および前記３次元の血管像と前記３次元の医療デバイス像とを重ね合わせて生成した３次元の医用画像を前記表示部に表示する処理を行う
ことを特徴とする請求項１に記載の医用画像処理装置。
【請求項4】
前記被検体は、被検者の胸部または腹部であることを特徴とする請求項１に記載の医用画像処理装置。
【請求項5】
前記特徴量算出部は、前記第１面２次元画像、前記第１面撮影情報、前記第２面２次元画像、および、前記第２面撮影情報が入力された場合に、前記血管と前記医療デバイスにおける３次元の特徴量を出力するように機械学習された学習済モデルを用いて、前記３次元の特徴量を算出することを特徴とする請求項１に記載の医用画像処理装置。
【請求項6】
前記２次元デバイス形状画像生成部は、前記第１面２次元画像および前記第２面２次元画像が入力された場合に、前記第１面２次元デバイス形状画像および前記第２面２次元デバイス形状画像を出力するように機械学習された学習済モデルを用いて、前記第１面２次元デバイス形状画像および前記第２面２次元デバイス形状画像を生成することを特徴とする請求項１に記載の医用画像処理装置。
【請求項7】
前記透過度推定部は、前記特徴量算出部で算出された前記３次元の特徴量および前記被検体格子点群情報が入力された場合に前記血管の透過度を出力するように機械学習され、且つ、前記特徴量算出部で算出された前記３次元の特徴量および前記３次元デバイス形状点群情報が入力された場合に前記医療デバイスの透過度を出力するように機械学習された学習済モデルを用いて、前記血管の透過度および前記医療デバイスの透過度を推定することを特徴とする請求項１に記載の医用画像処理装置。
【請求項8】
術者が医療デバイスを用いて被検体の血管を手術する際に視認する表示部を有する医用画像処理装置による医用画像処理方法であって、
前記医療デバイスが挿入された前記血管を含む前記被検体を第１面の方向においてＸ線透視撮影することによって得られた第１面Ｘ線透視画像と前記第１面Ｘ線透視画像に対応する第１面ロードマップ画像とを含む第１面２次元画像、前記第１面の方向におけるＸ線透視撮影に係る第１面撮影情報、前記医療デバイスが挿入された前記血管を含む前記被検体を前記第１面とは異なる第２面の方向においてＸ線透視撮影することによって得られた第２面Ｘ線透視画像と前記第２面Ｘ線透視画像に対応する第２面ロードマップ画像とを含む第２面２次元画像、および、前記第２面の方向におけるＸ線透視撮影に係る第２面撮影情報に基づいて、前記血管と前記医療デバイスにおける３次元の特徴量を算出する特徴量算出ステップと、
前記第１面２次元画像に基づいて前記第１面の方向における前記医療デバイスの形状を表す第１面２次元デバイス形状画像を生成するとともに、前記第２面２次元画像に基づいて前記第２面の方向における前記医療デバイスの形状を表す第２面２次元デバイス形状画像を生成する２次元デバイス形状画像生成ステップと、
前記第１面２次元デバイス形状画像および前記第２面２次元デバイス形状画像と、前記第１面撮影情報および前記第２面撮影情報とに基づいて、前記医療デバイスにおける３次元形状の点群情報である３次元デバイス形状点群情報を算出する３次元デバイス形状点群情報算出ステップと、
前記特徴量算出ステップで算出された前記３次元の特徴量と、前記被検体に対して設定された複数の格子点の情報である被検体格子点群情報とに基づいて、前記血管の透過度を推定するとともに、前記特徴量算出ステップで算出された前記３次元の特徴量と、前記３次元デバイス形状点群情報とに基づいて、前記医療デバイスの透過度を推定する透過度推定ステップと、
前記透過度推定ステップで推定された前記医療デバイスの透過度に基づいて、前記３次元デバイス形状点群情報における点群を含む近傍領域を複数のグループに分けた際の前記グループごとに、実像か虚像かを判定する実像虚像判定ステップと、
前記透過度推定ステップで推定された前記血管の透過度に基づいて３次元の血管像を生成するとともに、前記実像虚像判定ステップで前記実像と判定された前記グループに属する前記点群の前記３次元デバイス形状点群情報に基づいて３次元の医療デバイス像を生成し、前記３次元の血管像と前記３次元の医療デバイス像とを重ね合わせて生成した３次元の医用画像を前記表示部に表示する処理を行う表示処理ステップと、
を有することを特徴とする医用画像処理方法。
前記医療デバイスが挿入された前記血管を含む前記被検体を第１面の方向においてＸ線透視撮影することによって得られた第１面Ｘ線透視画像と前記第１面Ｘ線透視画像に対応する第１面ロードマップ画像とを含む第１面２次元画像、前記第１面の方向におけるＸ線透視撮影に係る第１面撮影情報、前記医療デバイスが挿入された前記血管を含む前記被検体を前記第１面とは異なる第２面の方向においてＸ線透視撮影することによって得られた第２面Ｘ線透視画像と前記第２面Ｘ線透視画像に対応する第２面ロードマップ画像とを含む第２面２次元画像、および、前記第２面の方向におけるＸ線透視撮影に係る第２面撮影情報に基づいて、前記血管と前記医療デバイスにおける３次元の特徴量を算出する特徴量算出ステップと、
前記第１面２次元画像に基づいて前記第１面の方向における前記医療デバイスの形状を表す第１面２次元デバイス形状画像を生成するとともに、前記第２面２次元画像に基づいて前記第２面の方向における前記医療デバイスの形状を表す第２面２次元デバイス形状画像を生成する２次元デバイス形状画像生成ステップと、
前記第１面２次元デバイス形状画像および前記第２面２次元デバイス形状画像と、前記第１面撮影情報および前記第２面撮影情報とに基づいて、前記医療デバイスにおける３次元形状の点群情報である３次元デバイス形状点群情報を算出する３次元デバイス形状点群情報算出ステップと、
前記特徴量算出ステップで算出された前記３次元の特徴量と、前記被検体に対して設定された複数の格子点の情報である被検体格子点群情報とに基づいて、前記血管の透過度を推定するとともに、前記特徴量算出ステップで算出された前記３次元の特徴量と、前記３次元デバイス形状点群情報とに基づいて、前記医療デバイスの透過度を推定する透過度推定ステップと、
前記透過度推定ステップで推定された前記医療デバイスの透過度に基づいて、前記３次元デバイス形状点群情報における点群を含む近傍領域を複数のグループに分けた際の前記グループごとに、実像か虚像かを判定する実像虚像判定ステップと、
前記透過度推定ステップで推定された前記血管の透過度に基づいて３次元の血管像を生成するとともに、前記実像虚像判定ステップで前記実像と判定された前記グループに属する前記点群の前記３次元デバイス形状点群情報に基づいて３次元の医療デバイス像を生成し、前記３次元の血管像と前記３次元の医療デバイス像とを重ね合わせて生成した３次元の医用画像を前記表示部に表示する処理を行う表示処理ステップと、
を有することを特徴とする医用画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、術者が医療デバイスを用いて被検体の血管を手術する際に視認する表示部を有する医用画像処理装置、及び、医用画像処理装置による医用画像処理方法に関するものである。
【背景技術】
【0002】
術者が医療デバイスを用いて被検体の血管を手術する際に、当該血管及び当該医療デバイスを含む被検体の領域をＸ線透視撮影することによって得られる医用画像の一種であるＸ線透視画像を表示部に動画表示して、術者が表示部に表示されたＸ線透視画像を視認しながら当該手術を進めることが行われている。例えば、特許文献１には、血管内に医療デバイス（具体的には、ステント）を設置する手術を行う際に、当該血管及び当該医療デバイスを含む被検体の領域をＸ線透視撮影して、Ｘ線透視画像を表示部に動画表示する技術が記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１８－１１４２０３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
一般的に、Ｘ線透視画像は２次元画像であるため、特許文献１に記載の技術では、術者は、この２次元画像から血管や医療デバイスにおける３次元の位置関係を認識しながら手術を進めることになる。この際、２次元の情報は、３次元の情報と比べて情報の欠落があるため、特許文献１に記載の技術では、術者が安全に血管の手術を進めるという観点においては不十分である。
【0005】
本発明は、このような問題点に鑑みてなされたものであり、術者が医用画像を視認しながら医療デバイスを用いて被検体の血管を手術する際に、血管や医療デバイスにおける３次元の位置関係をより容易に認識させることで、安全に手術を行える仕組みを提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明の医用画像処理装置は、術者が医療デバイスを用いて被検体の血管を手術する際に視認する表示部を有する医用画像処理装置であって、前記医療デバイスが挿入された前記血管を含む前記被検体を第１面の方向においてＸ線透視撮影することによって得られた第１面Ｘ線透視画像と前記第１面Ｘ線透視画像に対応する第１面ロードマップ画像とを含む第１面２次元画像、前記第１面の方向におけるＸ線透視撮影に係る第１面撮影情報、前記医療デバイスが挿入された前記血管を含む前記被検体を前記第１面とは異なる第２面の方向においてＸ線透視撮影することによって得られた第２面Ｘ線透視画像と前記第２面Ｘ線透視画像に対応する第２面ロードマップ画像とを含む第２面２次元画像、および、前記第２面の方向におけるＸ線透視撮影に係る第２面撮影情報に基づいて、前記血管と前記医療デバイスにおける３次元の特徴量を算出する特徴量算出部と、前記第１面２次元画像に基づいて前記第１面の方向における前記医療デバイスの形状を表す第１面２次元デバイス形状画像を生成するとともに、前記第２面２次元画像に基づいて前記第２面の方向における前記医療デバイスの形状を表す第２面２次元デバイス形状画像を生成する２次元デバイス形状画像生成部と、前記第１面２次元デバイス形状画像および前記第２面２次元デバイス形状画像と、前記第１面撮影情報および前記第２面撮影情報とに基づいて、前記医療デバイスにおける３次元形状の点群情報である３次元デバイス形状点群情報を算出する３次元デバイス形状点群情報算出部と、前記特徴量算出部で算出された前記３次元の特徴量と、前記被検体に対して設定された複数の格子点の情報である被検体格子点群情報とに基づいて、前記血管の透過度を推定するとともに、前記特徴量算出部で算出された前記３次元の特徴量と、前記３次元デバイス形状点群情報とに基づいて、前記医療デバイスの透過度を推定する透過度推定部と、前記透過度推定部で推定された前記医療デバイスの透過度に基づいて、前記３次元デバイス形状点群情報における点群を含む近傍領域を複数のグループに分けた際の前記グループごとに、実像か虚像かを判定する実像虚像判定部と、前記透過度推定部で推定された前記血管の透過度に基づいて３次元の血管像を生成するとともに、前記実像虚像判定部で前記実像と判定された前記グループに属する前記点群の前記３次元デバイス形状点群情報に基づいて３次元の医療デバイス像を生成し、前記３次元の血管像と前記３次元の医療デバイス像とを重ね合わせて生成した３次元の医用画像を前記表示部に表示する処理を行う表示処理部と、を有する。
また、本発明は、上述した医用画像処理装置による医用画像処理方法を含む。
また、本発明は、上述した医用画像処理装置による医用画像処理方法を含む。
【発明の効果】
【0007】
本発明によれば、術者が医用画像を視認しながら医療デバイスを用いて被検体の血管を手術する際に、安全に手術を行うことができる。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。なお、以下に記載する本発明の実施形態では、Ｘ線透視撮影を行う被検体として被検者の頭部を適用した例について説明する。
【0010】
図１は、本発明の実施形態に係る医用画像処理システム１０の概略構成の一例を示す図である。図１に示すように、医用画像処理システム１０は、医療デバイス１００、天板２００、第１のＸ線撮影装置２１０、第２のＸ線撮影装置２２０、医用画像処理装置３００、制御装置４００、及び、入力装置５００を有して構成されている。
【0011】
医療デバイス１００は、術者２０が、被検体である被検者３０の頭部３１における血管を手術する際に用いる医療デバイスである。本実施形態では、医療デバイス１００は、例えば、被検者３０の頭部３１の内部における脳動脈の動脈瘤に対してコイル塞栓術を行うためのカテーテル器具（各種のカテーテルやコイルを含む）である。
【0012】
天板２００は、被検者３０を載置するための部材であり、Ｘ線を透過させる材質で形成されている。
【0013】
第１のＸ線撮影装置２１０は、Ｘ線発生部２１１、Ｘ線検出部２１３、及び、Ｃアーム２１４を有して構成されている。この第１のＸ線撮影装置２１０は、Ｘ線２１２を用いて、被検者３０の頭部３１の内部（医療デバイス１００が挿入された血管を含む領域）を第１面の方向であるＸ線検出部２１３のＸ線検出面２１３ａにおいて撮影する装置である。Ｘ線発生部２１１は、制御装置４００の制御に基づいて、被検者３０の頭部３１及びＸ線検出部２１３に向けてＸ線２１２を発生させる。Ｘ線検出部２１３は、制御装置４００の制御に基づいて、被検者３０の頭部３１を透過したＸ線２１２を画像信号として検出する。Ｃアーム２１４は、一方の端にＸ線発生部２１１を固定し、他方の端にＸ線検出部２１３を固定して、被検体である被検者３０の頭部３１を間に挟んでＸ線発生部２１１とＸ線検出部２１３とを対向させて配置するための支持部材である。このＣアーム２１４は、例えば制御装置４００の制御によって、移動可能に構成されている。
【0014】
第２のＸ線撮影装置２２０は、Ｘ線発生部２２１、Ｘ線検出部２２３、及び、Ｃアーム２２４を有して構成されている。この第２のＸ線撮影装置２２０は、Ｘ線２２２を用いて、被検者３０の頭部３１の内部（医療デバイス１００が挿入された血管を含む領域）を第２面の方向であるＸ線検出部２２３のＸ線検出面２２３ａにおいて撮影する装置である。Ｘ線発生部２２１は、制御装置４００の制御に基づいて、被検者３０の頭部３１及びＸ線検出部２２３に向けてＸ線２２２を発生させる。Ｘ線検出部２２３は、制御装置４００の制御に基づいて、被検者３０の頭部３１を透過したＸ線２２２を画像信号として検出する。Ｃアーム２２４は、一方の端にＸ線発生部２２１を固定し、他方の端にＸ線検出部２２３を固定して、被検体である被検者３０の頭部３１を間に挟んでＸ線発生部２２１とＸ線検出部２２３とを対向させて配置するための支持部材である。このＣアーム２２４は、例えば制御装置４００の制御によって、移動可能に構成されている。
【0015】
医用画像処理装置３００は、術者２０が医療デバイス１００を用いて被検体である被検者３０の頭部３１における血管を手術する際に視認する３次元の医用画像を生成する処理を行う。この医用画像処理装置３００の内部の各構成部の説明については後述する。
【0016】
制御装置４００は、例えば入力装置５００から入力された情報に基づいて、医用画像処理システム１０の動作を統括的に制御するとともに、各種の処理を行う。
【0017】
入力装置５００は、制御装置４００に対して各種の情報を入力する。
【0018】
次に、医用画像処理装置３００の内部の各構成部について説明する。
図１に示すように、医用画像処理装置３００は、画像・情報取得部３１０、特徴量算出部３２０、２次元デバイス形状画像生成部３３０、３次元デバイス形状点群情報算出部３４０、透過度推定部３５０、実像虚像判定部３６０、表示処理部３７０、及び、表示部３８０を有して構成されている。
図１に示すように、医用画像処理装置３００は、画像・情報取得部３１０、特徴量算出部３２０、２次元デバイス形状画像生成部３３０、３次元デバイス形状点群情報算出部３４０、透過度推定部３５０、実像虚像判定部３６０、表示処理部３７０、及び、表示部３８０を有して構成されている。
【0019】
画像・情報取得部３１０は、第１のＸ線撮影装置２１０のＸ線検出部２１３から、被検体である被検者３０の頭部３１を第１面の方向であるＸ線検出部２１３のＸ線検出面２１３ａにおいてＸ線透視撮影することによって得られた第１面Ｘ線透視画像３１１１と、第１面Ｘ線透視画像３１１１に対応する第１面ロードマップ画像３１１２と、を含む第１面２次元画像３１１を取得する。図２は、本発明の実施形態を示し、図１の第１面Ｘ線透視画像３１１１及び第１面ロードマップ画像３１１２の具体例を示す画像図である。図２（ａ）に示す第１面Ｘ線透視画像３１１１は、被検体である被検者３０の頭部３１を第１面の方向であるＸ線検出部２１３のＸ線検出面２１３ａにおいてＸ線透視撮影することによって得られたＸ線透視画像の生データである。この図２（ａ）に示す第１面Ｘ線透視画像３１１１には、被検者３０の頭部３１における頭蓋骨や医療デバイス１００が挿入された血管を含む領域が描画されている。また、図２（ｂ）に示す第１面ロードマップ画像３１１２は、直前に撮影した第１面の方向における血管造影画像と第１面Ｘ線透視画像３１１１とを重ね合わせた画像である。本実施形態においては、第１面ロードマップ画像３１１２は、血管が造影剤により染まった画像や、図２（ｂ）に示すように当該画像を白抜きした画像である。
【0020】
ここで再び、図１の説明に戻る。
画像・情報取得部３１０は、第２のＸ線撮影装置２２０のＸ線検出部２２３から、被検体である被検者３０の頭部３１を第２面の方向であるＸ線検出部２２３のＸ線検出面２２３ａにおいてＸ線透視撮影することによって得られた第２面Ｘ線透視画像３１２１と、第２面Ｘ線透視画像３１２１に対応する第２面ロードマップ画像３１２２と、を含む第２面２次元画像３１２を取得する。第２面Ｘ線透視画像３１２１は、図２（ａ）に示す第１面Ｘ線透視画像３１１１における第１面の方向とは異なる第２面の方向においてＸ線透視撮影することによって得られたＸ線透視画像の生データである。また、第２面ロードマップ画像３１２２は、直前に撮影した第２面の方向における血管造影画像と第２面Ｘ線透視画像３１２１とを重ね合わせた画像である。本実施形態においては、第２面ロードマップ画像３１２２は、血管が造影剤により染まった画像や、図２（ｂ）に示す第１面ロードマップ画像３１１２のように当該画像を白抜きした画像である。
画像・情報取得部３１０は、第２のＸ線撮影装置２２０のＸ線検出部２２３から、被検体である被検者３０の頭部３１を第２面の方向であるＸ線検出部２２３のＸ線検出面２２３ａにおいてＸ線透視撮影することによって得られた第２面Ｘ線透視画像３１２１と、第２面Ｘ線透視画像３１２１に対応する第２面ロードマップ画像３１２２と、を含む第２面２次元画像３１２を取得する。第２面Ｘ線透視画像３１２１は、図２（ａ）に示す第１面Ｘ線透視画像３１１１における第１面の方向とは異なる第２面の方向においてＸ線透視撮影することによって得られたＸ線透視画像の生データである。また、第２面ロードマップ画像３１２２は、直前に撮影した第２面の方向における血管造影画像と第２面Ｘ線透視画像３１２１とを重ね合わせた画像である。本実施形態においては、第２面ロードマップ画像３１２２は、血管が造影剤により染まった画像や、図２（ｂ）に示す第１面ロードマップ画像３１１２のように当該画像を白抜きした画像である。
【0021】
また、画像・情報取得部３１０は、第１のＸ線撮影装置２１０及び第２のＸ線撮影装置２２０の動作を制御する制御装置４００から、第１面撮影情報３１３及び第２面撮影情報３１４を取得する。第１面撮影情報３１３は、第１面の方向におけるＸ線透視撮影に係る撮影情報であり、第１面Ｘ線透視画像３１１１を撮影する際の撮影情報である。第２面撮影情報３１４は、第２面の方向におけるＸ線透視撮影に係る撮影情報であり、第２面Ｘ線透視画像３１２１を撮影する際の撮影情報である。図３は、本発明の実施形態を示し、図１の第１面撮影情報３１３及び第２面撮影情報３１４の具体例を示す図である。本実施形態では、第１面撮影情報３１３及び第２面撮影情報３１４は、図３（ａ）に示すように、Ｘ線発生部からＸ線検出部までの距離情報（ＳＩＤ：Ｓｏｕｒｃｅ Ｉｍａｇｅ Ｒｅｃｅｐｔｏｒ Ｄｉｓｔａｎｃｅ）、Ｘ線撮影装置の傾きを緯度及び経度で表した数値情報（ＣＲＡ：Ｃｒａｎｉａｌ ｄｉｒｅｃｔｉｏｎ（被検者３０の上側）またはＣＡＵ：Ｃａｕｄａｌ ｄｉｒｅｃｔｉｏｎ（被検者３０の下側），ＬＡＯ：Ｌｅｆｔ Ａｎｔｅｒｉｏｒ Ｏｂｌｉｑｕｅ ｖｉｅｗ（被検者３０の左側）またはＲＡＯ：Ｒｉｇｈｔ Ａｎｔｅｒｉｏｒ Ｏｂｌｉｑｕｅ ｖｉｅｗ（被検者３０の右側））、及び、２次元画像の実寸サイズ情報（ＦＤ：Ｆｌａｔ Ｄｅｔｅｃｔｏｒ）を含む。図３（ｂ）～図３（ｇ）は、図３（ａ）に示す第１面撮影情報３１３及び第２面撮影情報３１４に含まれる各種の情報を説明するための図であり、図１及び図２に示す構成と同様の構成については同じ符号を付している。図３（ｂ）に示すように、第１面撮影情報３１３の距離情報（ＳＩＤ）は、Ｘ線発生部２１１からＸ線検出部２１３までの距離情報であり、また、第２面撮影情報３１４の距離情報（ＳＩＤ）は、Ｘ線発生部２２１からＸ線検出部２２３までの距離情報である。第１面撮影情報３１３の数値情報（ＣＲＡまたはＣＡＵ，ＬＡＯまたはＲＡＯ）は、図３（ｃ）及び図３（ｄ）に示すように、天板２００に横たわった被検者３０を水平方向に配置した際に、被検者３０の頭部３１を通る鉛直線とＸ線発生部２１１からＸ線検出部２１３までを結ぶ直線とのなす角度を示すＣＲＡまたはＣＡＵ、及び、図３（ｅ）及び図３（ｆ）に示すように、天板２００に横たわった被検者３０を奥行方向に配置した際に、被検者３０の頭部３１を通る鉛直線とＸ線発生部２１１からＸ線検出部２１３までを結ぶ直線とのなす角度を示すＬＡＯまたはＲＡＯを含む。また、第２面撮影情報３１４の数値情報（ＣＲＡまたはＣＡＵ，ＬＡＯまたはＲＡＯ）は、図３（ｃ）及び図３（ｄ）に示すように、天板２００に横たわった被検者３０を水平方向に配置した際に、被検者３０の頭部３１を通る鉛直線とＸ線発生部２２１からＸ線検出部２２３までを結ぶ直線とのなす角度を示すＣＲＡまたはＣＡＵ、及び、図３（ｅ）及び図３（ｆ）に示すように、天板２００に横たわった被検者３０を奥行方向に配置した際に、被検者３０の頭部３１を通る鉛直線とＸ線発生部２２１からＸ線検出部２２３までを結ぶ直線とのなす角度を示すＬＡＯまたはＲＡＯを含む。第１面撮影情報３１３の２次元画像の実寸サイズ情報（ＦＤ）は、図３（ｇ）に示すように第１面Ｘ線透視画像３１１１の対角線の長さに相当する情報であり、また、第２面撮影情報３１４の２次元画像の実寸サイズ情報（ＦＤ）は、第２面Ｘ線透視画像３１２１の対角線の長さに相当する情報である。なお、本実施形態では、画像・情報取得部３１０は、第１のＸ線撮影装置２１０及び第２のＸ線撮影装置２２０の動作を制御する制御装置４００から、第１面撮影情報３１３及び第２面撮影情報３１４を取得する形態としているが、本発明においてはこの形態に限定されるものではない。例えば、画像・情報取得部３１０は、取得した第１面ロードマップ画像３１１２及び第２面ロードマップ画像３１２２を画像解析することにより、それぞれ第１面撮影情報３１３及び第２面撮影情報３１４を取得し、また、ここで取得した撮影情報に誤りがある場合に入力装置５００から正しい撮影情報を取得するようにした形態も、本発明に適用可能である。
【0022】
ここで再び、図１の説明に戻る。
さらに、画像・情報取得部３１０は、制御装置４００を介して、入力装置５００から入力された被検体格子点群情報３１５を取得する。図４は、本発明の実施形態を示し、図１の被検体格子点群情報３１５の具体例を示す図である。図４には、被検体である被検者３０の頭部３１における領域を直方体で指定し、指定した直方体内に設定された複数の格子点３１５１の情報である被検体格子点群情報３１５が示されている。また、図４には、第１のＸ線撮影装置２１０におけるＸ線発生部２１１とＸ線検出部２１３との間の面であってＸ線検出部２１３のＸ線検出面２１３ａと平行な第１面４０１と、第２のＸ線撮影装置２２０におけるＸ線発生部２２１とＸ線検出部２２３との間の面であってＸ線検出部２２３のＸ線検出面２２３ａと平行な第２面４０２も、図示している。この場合、Ｘ線検出部２１３のＸ線検出面２１３ａは、被検体である被検者３０の頭部３１に対して第１面の方向に位置し、また、Ｘ線検出部２２３のＸ線検出面２２３ａは、被検体である被検者３０の頭部３１に対して第２面の方向に位置することになる。
さらに、画像・情報取得部３１０は、制御装置４００を介して、入力装置５００から入力された被検体格子点群情報３１５を取得する。図４は、本発明の実施形態を示し、図１の被検体格子点群情報３１５の具体例を示す図である。図４には、被検体である被検者３０の頭部３１における領域を直方体で指定し、指定した直方体内に設定された複数の格子点３１５１の情報である被検体格子点群情報３１５が示されている。また、図４には、第１のＸ線撮影装置２１０におけるＸ線発生部２１１とＸ線検出部２１３との間の面であってＸ線検出部２１３のＸ線検出面２１３ａと平行な第１面４０１と、第２のＸ線撮影装置２２０におけるＸ線発生部２２１とＸ線検出部２２３との間の面であってＸ線検出部２２３のＸ線検出面２２３ａと平行な第２面４０２も、図示している。この場合、Ｘ線検出部２１３のＸ線検出面２１３ａは、被検体である被検者３０の頭部３１に対して第１面の方向に位置し、また、Ｘ線検出部２２３のＸ線検出面２２３ａは、被検体である被検者３０の頭部３１に対して第２面の方向に位置することになる。
【0023】
ここで再び、図１の説明に戻る。
特徴量算出部３２０は、機械学習により３次元の特徴量３０１を算出する。具体的に、特徴量算出部３２０は、画像・情報取得部３１０で取得された第１面２次元画像３１１、第２面２次元画像３１２、第１面撮影情報３１３及び第２面撮影情報３１４に基づいて、被検者３０の頭部３１の頭蓋骨と血管と医療デバイスにおける３次元の特徴量３０１を算出する。本実施形態においては、特徴量算出部３２０は、第１面２次元画像３１１、第２面２次元画像３１２、第１面撮影情報３１３及び第２面撮影情報３１４が入力された場合に、頭蓋骨と血管と医療デバイスにおける３次元の特徴量を出力するように機械学習された第１の学習済モデル３２１を用いて、被検者３０の頭部３１の頭蓋骨と血管と医療デバイスにおける３次元の特徴量３０１を算出する。この際、第１の学習済モデル３２１における機械学習では、例えばニューラルネットワークモデル（ＮＮモデル）による機械学習を行う。図５は、本発明の実施形態を示し、図１の特徴量算出部３２０による処理例を示す図である。この図５において、図１に示す構成と同様の構成については同じ符号を付している。図５に示すように、特徴量算出部３２０は、まず、第１面２次元画像３１１及び第１面撮影情報３１３を用いて頭蓋骨と血管と医療デバイスにおける２次元の特徴量３２２を算出し、第２面２次元画像３１２及び第２面撮影情報３１４を用いて頭蓋骨と血管と医療デバイスにおける２次元の特徴量３２３を算出する。そして、特徴量算出部３２０は、第１面における２次元の特徴量３２２と第２面における２次元の特徴量３２３から、自由視点画像を生成するＮｅＲＦ（Ｎｅｕｒａｌ Ｒａｄｉａｎｃｅ Ｆｉｅｌｄｓ）を用いた機械学習により、被検者３０の頭部３１の頭蓋骨と血管と医療デバイスにおける３次元の特徴量３０１を算出する。
特徴量算出部３２０は、機械学習により３次元の特徴量３０１を算出する。具体的に、特徴量算出部３２０は、画像・情報取得部３１０で取得された第１面２次元画像３１１、第２面２次元画像３１２、第１面撮影情報３１３及び第２面撮影情報３１４に基づいて、被検者３０の頭部３１の頭蓋骨と血管と医療デバイスにおける３次元の特徴量３０１を算出する。本実施形態においては、特徴量算出部３２０は、第１面２次元画像３１１、第２面２次元画像３１２、第１面撮影情報３１３及び第２面撮影情報３１４が入力された場合に、頭蓋骨と血管と医療デバイスにおける３次元の特徴量を出力するように機械学習された第１の学習済モデル３２１を用いて、被検者３０の頭部３１の頭蓋骨と血管と医療デバイスにおける３次元の特徴量３０１を算出する。この際、第１の学習済モデル３２１における機械学習では、例えばニューラルネットワークモデル（ＮＮモデル）による機械学習を行う。図５は、本発明の実施形態を示し、図１の特徴量算出部３２０による処理例を示す図である。この図５において、図１に示す構成と同様の構成については同じ符号を付している。図５に示すように、特徴量算出部３２０は、まず、第１面２次元画像３１１及び第１面撮影情報３１３を用いて頭蓋骨と血管と医療デバイスにおける２次元の特徴量３２２を算出し、第２面２次元画像３１２及び第２面撮影情報３１４を用いて頭蓋骨と血管と医療デバイスにおける２次元の特徴量３２３を算出する。そして、特徴量算出部３２０は、第１面における２次元の特徴量３２２と第２面における２次元の特徴量３２３から、自由視点画像を生成するＮｅＲＦ（Ｎｅｕｒａｌ Ｒａｄｉａｎｃｅ Ｆｉｅｌｄｓ）を用いた機械学習により、被検者３０の頭部３１の頭蓋骨と血管と医療デバイスにおける３次元の特徴量３０１を算出する。
【0024】
ここで再び、図１の説明に戻る。
２次元デバイス形状画像生成部３３０は、画像・情報取得部３１０で取得された第１面２次元画像３１１に基づいて第１面の方向における医療デバイス１００の形状を表す第１面２次元デバイス形状画像３０２を生成するとともに、画像・情報取得部３１０で取得された第２面２次元画像３１２に基づいて第２面の方向における医療デバイス１００の形状を表す第２面２次元デバイス形状画像３０３を生成する。本実施形態においては、２次元デバイス形状画像生成部３３０は、第１面２次元画像３１１及び第２面２次元画像３１２が入力された場合に、第１面の方向における医療デバイス１００の形状を表す第１面２次元デバイス形状画像及び第２面の方向における医療デバイス１００の形状を表す第２面２次元デバイス形状画像を出力するように機械学習された第２の学習済モデル３３１を用いて、第１面２次元デバイス形状画像３０２及び第２面２次元デバイス形状画像３０３を生成する。この際、第２の学習済モデル３３１における機械学習では、例えばＮＮモデルによる機械学習を行う。図６は、本発明の実施形態を示し、図１の２次元デバイス形状画像生成部３３０による処理例を示す図である。この図６において、図１に示す構成と同様の構成については同じ符号を付している。図６に示すように、２次元デバイス形状画像生成部３３０は、第１面２次元画像３１１を用いてＮＮモデルでセグメンテーションする（画像をオブジェクトごとに色分けする）ことで第１面２次元デバイス形状画像３０２を生成し、また、第２面２次元画像３１２を用いてＮＮモデルでセグメンテーションすることで第２面２次元デバイス形状画像３０３を生成する。なお、図６に示す第１面２次元デバイス形状画像３０２及び第２面２次元デバイス形状画像３０３では、医療デバイス１００に相当する部分を白色で描画している。
２次元デバイス形状画像生成部３３０は、画像・情報取得部３１０で取得された第１面２次元画像３１１に基づいて第１面の方向における医療デバイス１００の形状を表す第１面２次元デバイス形状画像３０２を生成するとともに、画像・情報取得部３１０で取得された第２面２次元画像３１２に基づいて第２面の方向における医療デバイス１００の形状を表す第２面２次元デバイス形状画像３０３を生成する。本実施形態においては、２次元デバイス形状画像生成部３３０は、第１面２次元画像３１１及び第２面２次元画像３１２が入力された場合に、第１面の方向における医療デバイス１００の形状を表す第１面２次元デバイス形状画像及び第２面の方向における医療デバイス１００の形状を表す第２面２次元デバイス形状画像を出力するように機械学習された第２の学習済モデル３３１を用いて、第１面２次元デバイス形状画像３０２及び第２面２次元デバイス形状画像３０３を生成する。この際、第２の学習済モデル３３１における機械学習では、例えばＮＮモデルによる機械学習を行う。図６は、本発明の実施形態を示し、図１の２次元デバイス形状画像生成部３３０による処理例を示す図である。この図６において、図１に示す構成と同様の構成については同じ符号を付している。図６に示すように、２次元デバイス形状画像生成部３３０は、第１面２次元画像３１１を用いてＮＮモデルでセグメンテーションする（画像をオブジェクトごとに色分けする）ことで第１面２次元デバイス形状画像３０２を生成し、また、第２面２次元画像３１２を用いてＮＮモデルでセグメンテーションすることで第２面２次元デバイス形状画像３０３を生成する。なお、図６に示す第１面２次元デバイス形状画像３０２及び第２面２次元デバイス形状画像３０３では、医療デバイス１００に相当する部分を白色で描画している。
【0025】
ここで再び、図１の説明に戻る。
３次元デバイス形状点群情報算出部３４０は、２次元デバイス形状画像生成部３３０で生成された第１面２次元デバイス形状画像３０２及び第２面２次元デバイス形状画像３０３と、画像・情報取得部３１０で取得された第１面撮影情報３１３及び第２面撮影情報３１４とに基づいて、医療デバイス１００における３次元形状の点群情報である３次元デバイス形状点群情報３０４を算出する。図７は、本発明の実施形態を示し、図１の３次元デバイス形状点群情報算出部３４０による処理例を示す図である。この図７において、図１に示す構成と同様の構成については同じ符号を付している。図７に示すように、３次元デバイス形状点群情報算出部３４０は、第１面２次元デバイス形状画像３０２、第２面２次元デバイス形状画像３０３、第１面撮影情報３１３及び第２面撮影情報３１４に基づいて、３次元デバイス形状点群情報３０４を算出する。この際、図７に示す３次元デバイス形状点群情報３０４には、医療デバイス１００における実像のみならず虚像も含みうる。また、図７には、図４と同様に定義される第１面４０１及び第２面４０２も、図示している。
３次元デバイス形状点群情報算出部３４０は、２次元デバイス形状画像生成部３３０で生成された第１面２次元デバイス形状画像３０２及び第２面２次元デバイス形状画像３０３と、画像・情報取得部３１０で取得された第１面撮影情報３１３及び第２面撮影情報３１４とに基づいて、医療デバイス１００における３次元形状の点群情報である３次元デバイス形状点群情報３０４を算出する。図７は、本発明の実施形態を示し、図１の３次元デバイス形状点群情報算出部３４０による処理例を示す図である。この図７において、図１に示す構成と同様の構成については同じ符号を付している。図７に示すように、３次元デバイス形状点群情報算出部３４０は、第１面２次元デバイス形状画像３０２、第２面２次元デバイス形状画像３０３、第１面撮影情報３１３及び第２面撮影情報３１４に基づいて、３次元デバイス形状点群情報３０４を算出する。この際、図７に示す３次元デバイス形状点群情報３０４には、医療デバイス１００における実像のみならず虚像も含みうる。また、図７には、図４と同様に定義される第１面４０１及び第２面４０２も、図示している。
【0026】
ここで再び、図１の説明に戻る。
透過度推定部３５０は、特徴量算出部３２０で算出された頭蓋骨と血管と医療デバイスにおける３次元の特徴量３０１と、画像・情報取得部３１０で取得された被検体格子点群情報３１５とに基づいて、頭蓋骨及び血管の透過度３０５を推定するとともに、特徴量算出部３２０で算出された頭蓋骨と血管と医療デバイスにおける３次元の特徴量３０１と、３次元デバイス形状点群情報算出部３４０で算出された３次元デバイス形状点群情報３０４とに基づいて、医療デバイス１００の透過度３０６を推定する。本実施形態においては、透過度推定部３５０は、頭蓋骨と血管と医療デバイスにおける３次元の特徴量３０１及び被検体格子点群情報３１５が入力された場合に頭蓋骨及び血管の透過度を出力するように機械学習され、且つ、頭蓋骨と血管と医療デバイスにおける３次元の特徴量３０１及び３次元デバイス形状点群情報３０４が入力された場合に医療デバイス１００の透過度を出力するように機械学習された第３の学習済モデル３５１を用いて、頭蓋骨及び血管の透過度３０５と医療デバイス１００の透過度３０６を推定する。この際、第３の学習済モデル３５１における機械学習では、例えばＮＮモデルによる機械学習を行う。図８は、本発明の実施形態を示し、図１の透過度推定部３５０による処理例を示す図である。この図８において、図１に示す構成と同様の構成については同じ符号を付している。図８に示すように、透過度推定部３５０は、特徴量算出部３２０で算出された頭蓋骨と血管と医療デバイスにおける３次元の特徴量３０１をもとにして、ＮＮモデルにより被検体格子点群情報３１５における複数の格子点３１５１上のそれぞれ頭蓋骨及び血管の透過度（画像が透き通って背後の色を透過させる度合い）３０５を推定する。また、図８に示すように、透過度推定部３５０は、特徴量算出部３２０で算出された頭蓋骨と血管と医療デバイスにおける３次元の特徴量３０１をもとにして、ＮＮモデルにより３次元デバイス形状点群情報３０４における点群上の医療デバイス１００の透過度３０６を推定する。
透過度推定部３５０は、特徴量算出部３２０で算出された頭蓋骨と血管と医療デバイスにおける３次元の特徴量３０１と、画像・情報取得部３１０で取得された被検体格子点群情報３１５とに基づいて、頭蓋骨及び血管の透過度３０５を推定するとともに、特徴量算出部３２０で算出された頭蓋骨と血管と医療デバイスにおける３次元の特徴量３０１と、３次元デバイス形状点群情報算出部３４０で算出された３次元デバイス形状点群情報３０４とに基づいて、医療デバイス１００の透過度３０６を推定する。本実施形態においては、透過度推定部３５０は、頭蓋骨と血管と医療デバイスにおける３次元の特徴量３０１及び被検体格子点群情報３１５が入力された場合に頭蓋骨及び血管の透過度を出力するように機械学習され、且つ、頭蓋骨と血管と医療デバイスにおける３次元の特徴量３０１及び３次元デバイス形状点群情報３０４が入力された場合に医療デバイス１００の透過度を出力するように機械学習された第３の学習済モデル３５１を用いて、頭蓋骨及び血管の透過度３０５と医療デバイス１００の透過度３０６を推定する。この際、第３の学習済モデル３５１における機械学習では、例えばＮＮモデルによる機械学習を行う。図８は、本発明の実施形態を示し、図１の透過度推定部３５０による処理例を示す図である。この図８において、図１に示す構成と同様の構成については同じ符号を付している。図８に示すように、透過度推定部３５０は、特徴量算出部３２０で算出された頭蓋骨と血管と医療デバイスにおける３次元の特徴量３０１をもとにして、ＮＮモデルにより被検体格子点群情報３１５における複数の格子点３１５１上のそれぞれ頭蓋骨及び血管の透過度（画像が透き通って背後の色を透過させる度合い）３０５を推定する。また、図８に示すように、透過度推定部３５０は、特徴量算出部３２０で算出された頭蓋骨と血管と医療デバイスにおける３次元の特徴量３０１をもとにして、ＮＮモデルにより３次元デバイス形状点群情報３０４における点群上の医療デバイス１００の透過度３０６を推定する。
【0027】
ここで再び、図１の説明に戻る。
実像虚像判定部３６０は、透過度推定部３５０で推定された医療デバイス１００の透過度３０６に基づいて、３次元デバイス形状点群情報３０４における点群を含む近傍領域を複数のグループに分けた際のグループごとに、実像か虚像かを判定する。具体的に、実像虚像判定部３６０は、グループごとに、医療デバイス１００の透過度３０６における平均値を算出し、当該平均値が所定の閾値以下のグループを実像と判定し、当該平均値が所定の閾値よりも大きいグループを虚像と判定する。ここで、３次元デバイス形状点群情報３０４における点群のみならず、３次元デバイス形状点群情報３０４における点群を含む近傍領域を考慮して、実像か虚像かを判定しているのは、判定誤差を小さくするためである。また、医療デバイス１００の透過度３０６における平均値が所定の閾値以下のグループを実像と判定しているのは、医療デバイス１００は、Ｘ線透視画像などにおいて透過度が小さく表示されるためである。図９は、本発明の実施形態を示し、図１の実像虚像判定部３６０による処理例を示す図である。この図９において、図１及び図７に示す構成と同様の構成については同じ符号を付している。図９に示すように、実像虚像判定部３６０は、透過度推定部３５０で推定された医療デバイス１００の透過度３０６をもとにして、３次元デバイス形状点群情報３０４における点群を含む近傍領域を複数のグループに分けた際のグループごとに、実像か虚像かを判定する。具体的に、図９では、図７に示す３次元デバイス形状点群情報３０４において、実像と判定されたグループに属する点群の３次元デバイス形状点群情報３０７、及び、虚像と判定されたグループに属する点群の３次元デバイス形状点群情報３０８のイメージの一例を図示している。
実像虚像判定部３６０は、透過度推定部３５０で推定された医療デバイス１００の透過度３０６に基づいて、３次元デバイス形状点群情報３０４における点群を含む近傍領域を複数のグループに分けた際のグループごとに、実像か虚像かを判定する。具体的に、実像虚像判定部３６０は、グループごとに、医療デバイス１００の透過度３０６における平均値を算出し、当該平均値が所定の閾値以下のグループを実像と判定し、当該平均値が所定の閾値よりも大きいグループを虚像と判定する。ここで、３次元デバイス形状点群情報３０４における点群のみならず、３次元デバイス形状点群情報３０４における点群を含む近傍領域を考慮して、実像か虚像かを判定しているのは、判定誤差を小さくするためである。また、医療デバイス１００の透過度３０６における平均値が所定の閾値以下のグループを実像と判定しているのは、医療デバイス１００は、Ｘ線透視画像などにおいて透過度が小さく表示されるためである。図９は、本発明の実施形態を示し、図１の実像虚像判定部３６０による処理例を示す図である。この図９において、図１及び図７に示す構成と同様の構成については同じ符号を付している。図９に示すように、実像虚像判定部３６０は、透過度推定部３５０で推定された医療デバイス１００の透過度３０６をもとにして、３次元デバイス形状点群情報３０４における点群を含む近傍領域を複数のグループに分けた際のグループごとに、実像か虚像かを判定する。具体的に、図９では、図７に示す３次元デバイス形状点群情報３０４において、実像と判定されたグループに属する点群の３次元デバイス形状点群情報３０７、及び、虚像と判定されたグループに属する点群の３次元デバイス形状点群情報３０８のイメージの一例を図示している。
【0028】
ここで再び、図１の説明に戻る。
表示処理部３７０は、透過度推定部３５０で推定された頭蓋骨及び血管の透過度３０５に基づいて３次元の頭蓋骨像及び３次元の血管像３７１を生成するとともに、実像虚像判定部３６０で実像と判定されたグループに属する点群の３次元デバイス形状点群情報３０７に基づいて３次元の医療デバイス像３７２を生成する。そして、表示処理部３７０は、３次元の頭蓋骨像及び３次元の血管像３７１と３次元の医療デバイス像３７２とを重ね合わせて３次元の医用画像３０９を生成し、生成した３次元の医用画像３０９を表示部３８０に表示する処理を行う。図１０は、本発明の実施形態を示し、図１の表示処理部３７０による処理例を示す図である。この図１０において、図１、図４、図８及び図９に示す構成と同様の構成については同じ符号を付している。図１０に示すように、表示処理部３７０は、透過度推定部３５０で推定された頭蓋骨及び血管の透過度３０５を用いて、例えばボリュームレンダリングにより３次元の頭蓋骨像及び３次元の血管像３７１を生成する。この際、図１０に示す３次元の頭蓋骨像及び３次元の血管像３７１には、３次元の頭蓋骨像３７１１と３次元の血管像３７１２が含まれている。また、図１０に示すように、表示処理部３７０は、実像虚像判定部３６０で実像と判定されたグループに属する点群の３次元デバイス形状点群情報３０７を用いて、３次元の医療デバイス像３７２を生成する。さらに、表示処理部３７０は、図１０に示すように、３次元の頭蓋骨像及び３次元の血管像３７１と３次元の医療デバイス像３７２とを重ね合わせて３次元の医用画像３０９を生成する。そして、表示処理部３７０は、生成した図１０に示す３次元の医用画像３０９を表示部３８０に表示する処理を行う。
表示処理部３７０は、透過度推定部３５０で推定された頭蓋骨及び血管の透過度３０５に基づいて３次元の頭蓋骨像及び３次元の血管像３７１を生成するとともに、実像虚像判定部３６０で実像と判定されたグループに属する点群の３次元デバイス形状点群情報３０７に基づいて３次元の医療デバイス像３７２を生成する。そして、表示処理部３７０は、３次元の頭蓋骨像及び３次元の血管像３７１と３次元の医療デバイス像３７２とを重ね合わせて３次元の医用画像３０９を生成し、生成した３次元の医用画像３０９を表示部３８０に表示する処理を行う。図１０は、本発明の実施形態を示し、図１の表示処理部３７０による処理例を示す図である。この図１０において、図１、図４、図８及び図９に示す構成と同様の構成については同じ符号を付している。図１０に示すように、表示処理部３７０は、透過度推定部３５０で推定された頭蓋骨及び血管の透過度３０５を用いて、例えばボリュームレンダリングにより３次元の頭蓋骨像及び３次元の血管像３７１を生成する。この際、図１０に示す３次元の頭蓋骨像及び３次元の血管像３７１には、３次元の頭蓋骨像３７１１と３次元の血管像３７１２が含まれている。また、図１０に示すように、表示処理部３７０は、実像虚像判定部３６０で実像と判定されたグループに属する点群の３次元デバイス形状点群情報３０７を用いて、３次元の医療デバイス像３７２を生成する。さらに、表示処理部３７０は、図１０に示すように、３次元の頭蓋骨像及び３次元の血管像３７１と３次元の医療デバイス像３７２とを重ね合わせて３次元の医用画像３０９を生成する。そして、表示処理部３７０は、生成した図１０に示す３次元の医用画像３０９を表示部３８０に表示する処理を行う。
【0029】
ここで再び、図１の説明に戻る。
表示部３８０は、術者２０が医療デバイス１００を用いて被検体である被検者３０の頭部３１における血管を手術する際に視認する表示部である。表示部３８０は、制御装置４００の制御に基づいて、各種の画像や各種の情報を表示する。本実施形態においては、表示部３８０は、表示処理部３７０で生成された３次元の医用画像３０９を表示する。
表示部３８０は、術者２０が医療デバイス１００を用いて被検体である被検者３０の頭部３１における血管を手術する際に視認する表示部である。表示部３８０は、制御装置４００の制御に基づいて、各種の画像や各種の情報を表示する。本実施形態においては、表示部３８０は、表示処理部３７０で生成された３次元の医用画像３０９を表示する。
【0030】
次に、図１の医用画像処理装置３００による医用画像処理方法の処理手順について説明する。図１１は、本発明の実施形態に係る医用画像処理装置３００による医用画像処理方法の処理手順の一例を示すフローチャートである。
【0031】
まず、図１１のステップＳ１０１において、画像・情報取得部３１０は、制御装置４００を介して、入力装置５００から入力された被検体格子点群情報３１５を取得する。
【0032】
続いて、ステップＳ１０２において、画像・情報取得部３１０は、第１のＸ線撮影装置２１０のＸ線検出部２１３から第１面２次元画像３１１を取得し、第２のＸ線撮影装置２２０のＸ線検出部２２３から第２面２次元画像３１２を取得し、さらに、制御装置４００から第１面撮影情報３１３及び第２面撮影情報３１４を取得する。
【0033】
続いて、ステップＳ１０３において、特徴量算出部３２０は、ステップＳ１０２で取得された第１面２次元画像３１１、第２面２次元画像３１２、第１面撮影情報３１３及び第２面撮影情報３１４に基づいて、被検者３０の頭部３１の頭蓋骨と血管と医療デバイスにおける３次元の特徴量３０１を算出する。
【0034】
続いて、ステップＳ１０４において、ステップＳ１０３で算出された頭蓋骨と血管と医療デバイスにおける３次元の特徴量３０１と、ステップＳ１０１で取得された被検体格子点群情報３１５とに基づいて、頭蓋骨及び血管の透過度３０５を推定する。
【0035】
本実施形態においては、ステップＳ１０４の処理と並列して、以下のステップＳ１０５～ステップＳ１０８の処理が行われる。
【0036】
ステップＳ１０５において、２次元デバイス形状画像生成部３３０は、ステップＳ１０２で取得された第１面２次元画像３１１に基づいて第１面２次元デバイス形状画像３０２を生成するとともに、ステップＳ１０２で取得された第２面２次元画像３１２に基づいて第２面２次元デバイス形状画像３０３を生成する。
【0037】
続いて、ステップＳ１０６において、３次元デバイス形状点群情報算出部３４０は、ステップＳ１０５で生成された第１面２次元デバイス形状画像３０２及び第２面２次元デバイス形状画像３０３と、ステップＳ１０２で取得された第１面撮影情報３１３及び第２面撮影情報３１４とに基づいて、医療デバイス１００における３次元形状の点群情報である３次元デバイス形状点群情報３０４を算出する。
【0038】
続いて、ステップＳ１０７において、透過度推定部３５０は、ステップＳ１０３で算出された頭蓋骨と血管と医療デバイスにおける３次元の特徴量３０１と、ステップＳ１０６で算出された３次元デバイス形状点群情報３０４とに基づいて、医療デバイス１００の透過度３０６を推定する。
【0039】
続いて、ステップＳ１０８において、実像虚像判定部３６０は、ステップＳ１０７で推定された医療デバイス１００の透過度３０６に基づいて、３次元デバイス形状点群情報３０４における点群を含む近傍領域を複数のグループに分けた際のグループごとに、実像か虚像かを判定する。
【0040】
ステップＳ１０４及びステップＳ１０８の処理が終了すると、ステップＳ１０９に進む。ステップＳ１０９に進むと、表示処理部３７０は、まず、ステップＳ１０４で推定された頭蓋骨及び血管の透過度３０５に基づいて３次元の頭蓋骨像及び３次元の血管像３７１を生成するとともに、ステップＳ１０８で実像と判定されたグループに属する点群の３次元デバイス形状点群情報３０７に基づいて３次元の医療デバイス像３７２を生成する。次いで、表示処理部３７０は、３次元の頭蓋骨像及び３次元の血管像３７１と３次元の医療デバイス像３７２とを重ね合わせて３次元の医用画像３０９を生成し、生成した３次元の医用画像３０９を表示部３８０に表示する処理を行う。
【0041】
続いて、ステップＳ１１０において、医用画像処理装置３００（例えば画像・情報取得部３１０）は、制御装置４００を介して入力装置５００から入力された情報に基づいて、医療デバイス１００を用いた被検体（本実施形態では被検者３０の頭部３１）における血管の手術を終了するか否かを判断する。
【0042】
ステップＳ１１０の判断の結果、医療デバイス１００を用いた被検体における血管の手術を終了しない場合には（Ｓ１１０／ＮＯ）、ステップＳ１０２に戻り、ステップＳ１０２以降の処理を再度行う。
【0043】
一方、ステップＳ１１０の判断の結果、医療デバイス１００を用いた被検体における血管の手術を終了する場合には（Ｓ１１０／ＹＥＳ）、図１１に示すフローチャートの処理を終了する。
【0044】
以上説明した本発明の実施形態に係る医用画像処理装置３００では、以下の処理を行っている。特徴量算出部３２０は、第１面２次元画像３１１、第１面撮影情報３１３、第２面２次元画像３１２及び第２面撮影情報３１４に基づいて、被検体（被検者３０の頭部３１）の頭蓋骨と血管と医療デバイス１００における３次元の特徴量３０１を算出する。また、２次元デバイス形状画像生成部３３０は、第１面２次元画像３１１に基づいて第１面２次元デバイス形状画像３０２を生成するとともに、第２面２次元画像３１２に基づいて第２面２次元デバイス形状画像３０３を生成する。３次元デバイス形状点群情報算出部３４０は、第１面２次元デバイス形状画像３０２及び第２面２次元デバイス形状画像３０３と、第１面撮影情報３１３及び第２面撮影情報３１４とに基づいて、３次元デバイス形状点群情報３０４を算出する。透過度推定部３５０は、特徴量算出部３２０で算出された３次元の特徴量３０１と、被検体格子点群情報３１５とに基づいて、頭蓋骨及び血管の透過度３０５を推定するとともに、特徴量算出部３２０で算出された３次元の特徴量３０１と、３次元デバイス形状点群情報３０４とに基づいて、医療デバイス１００の透過度３０６を推定する。実像虚像判定部３６０は、透過度推定部３５０で推定された医療デバイス１００の透過度３０６に基づいて、３次元デバイス形状点群情報３０４における点群を含む近傍領域を複数のグループに分けた際の前記グループごとに、実像か虚像かを判定する。そして、表示処理部３７０は、透過度推定部３５０で推定された頭蓋骨及び血管の透過度３０５に基づいて３次元の頭蓋骨像及び３次元の血管像３７１を生成するとともに、実像虚像判定部３６０で実像と判定されたグループに属する点群の３次元デバイス形状点群情報３０７に基づいて３次元の医療デバイス像３７２を生成し、３次元の頭蓋骨像及び３次元の血管像３７１と３次元の医療デバイス像３７２とを重ね合わせて生成した３次元の医用画像３０９を表示部３８０に表示する処理を行う。
かかる構成によれば、術者２０が医用画像を視認しながら医療デバイス１００を用いて被検体の血管を手術する際に、頭蓋骨や血管や医療デバイスにおける３次元の位置関係をより容易に認識させることができるため、安全に手術を行うことができる。
かかる構成によれば、術者２０が医用画像を視認しながら医療デバイス１００を用いて被検体の血管を手術する際に、頭蓋骨や血管や医療デバイスにおける３次元の位置関係をより容易に認識させることができるため、安全に手術を行うことができる。
【0045】
なお、本願の発明者は、透過度推定部３５０において、特徴量算出部３２０で算出された３次元の特徴量３０１及び被検体格子点群情報３１５に基づいて、医療デバイス１００の透過度を推定する場合の推定精度が良くないとの知見を得ている。このため、本発明の実施形態に係る医用画像処理装置３００では、医療デバイス１００に関しては、透過度推定部３５０において、特徴量算出部３２０で算出された３次元の特徴量３０１に加えて、２次元デバイス形状画像生成部３３０の処理及び３次元デバイス形状点群情報算出部３４０の処理の結果得られた３次元デバイス形状点群情報３０４に基づいて、医療デバイス１００の透過度３０６を推定し、さらに、実像虚像判定部３６０において、医療デバイス１００の透過度３０６に基づいて、３次元デバイス形状点群情報３０４における点群を含む近傍領域を複数のグループに分けた際のグループごとに実像か虚像かを判定し、さらに、表示処理部３７０において、実像虚像判定部３６０で実像と判定されたグループに属する点群の３次元デバイス形状点群情報３０７に基づいて３次元の医療デバイス像３７２を生成するようにしている。
【0046】
（その他の実施形態）
上述した本発明の実施形態では、Ｘ線透視撮影を行う被検体として被検者３０の頭部３１を適用した例について説明したが、本発明においては、これに限定されるものではない。例えば、Ｘ線透視撮影を行う被検体として被検者３０の胸部または腹部を適用した形態も、本発明に適用可能である。Ｘ線透視撮影を行う被検体として被検者３０の胸部または腹部を適用するその他の実施形態の場合、医療デバイス１００は、例えば、被検者３０の胸部の内部における胸部大動脈の動脈瘤または被検者３０の腹部の内部における腹部大動脈の動脈瘤に対してステントグラフト内挿術を行うためのステントグラフト器具である。また、Ｘ線透視撮影を行う被検体として被検者３０の胸部または腹部を適用するその他の実施形態の場合、医用画像処理装置３００は、上述した本発明の実施形態における「頭蓋骨」及び「血管」に係る処理に替えて、胸部大動脈または腹部大動脈を想定した「血管」のみに係る処理を行う。即ち、Ｘ線透視撮影を行う被検体として被検者３０の胸部または腹部を適用するその他の実施形態の場合、医用画像処理装置３００では、以下の処理を行う。
特徴量算出部３２０は、医療デバイス１００が挿入された血管（胸部大動脈または腹部大動脈）を含む被検体（被検者３０の胸部または腹部）を第１面の方向においてＸ線透視撮影することによって得られた第１面２次元画像３１１、第１面撮影情報３１３、被検体を第１面とは異なる第２面の方向においてＸ線透視撮影することによって得られた第２面２次元画像３１２、及び、第２面撮影情報３１４に基づいて、血管と医療デバイス１００における３次元の特徴量３０１を算出する。２次元デバイス形状画像生成部３３０は、第１面２次元画像３１１に基づいて第１面２次元デバイス形状画像３０２を生成するとともに、第２面２次元画像３１２に基づいて第２面２次元デバイス形状画像３０３を生成する。３次元デバイス形状点群情報算出部３４０は、第１面２次元デバイス形状画像３０２及び第２面２次元デバイス形状画像３０３と、第１面撮影情報３１３及び第２面撮影情報３１４とに基づいて、医療デバイス１００における３次元形状の点群情報である３次元デバイス形状点群情報３０４を算出する。透過度推定部３５０は、特徴量算出部３２０で算出された３次元の特徴量３０１と被検体格子点群情報３１５とに基づいて血管の透過度３０５を推定するとともに、特徴量算出部３２０で算出された３次元の特徴量３０１と３次元デバイス形状点群情報３０４とに基づいて医療デバイス１００の透過度３０６を推定する。実像虚像判定部３６０は、透過度推定部３５０で推定された医療デバイス１００の透過度３０６に基づいて、３次元デバイス形状点群情報３０４における点群を含む近傍領域を複数のグループに分けた際のグループごとに、実像か虚像かを判定する。表示処理部３７０は、透過度推定部３５０で推定された血管の透過度３０５に基づいて３次元の血管像３７１を生成するとともに、実像虚像判定部３６０で実像と判定されたグループに属する点群の３次元デバイス形状点群情報３０７に基づいて３次元の医療デバイス像３７２を生成し、３次元の血管像３７１と３次元の医療デバイス像３７２とを重ね合わせて生成した３次元の医用画像３０９を表示部３８０に表示する処理を行う。
かかる構成によれば、術者２０が医用画像を視認しながら医療デバイス１００を用いて被検体の血管を手術する際に、血管や医療デバイスにおける３次元の位置関係をより容易に認識させることができるため、安全に手術を行うことができる。
上述した本発明の実施形態では、Ｘ線透視撮影を行う被検体として被検者３０の頭部３１を適用した例について説明したが、本発明においては、これに限定されるものではない。例えば、Ｘ線透視撮影を行う被検体として被検者３０の胸部または腹部を適用した形態も、本発明に適用可能である。Ｘ線透視撮影を行う被検体として被検者３０の胸部または腹部を適用するその他の実施形態の場合、医療デバイス１００は、例えば、被検者３０の胸部の内部における胸部大動脈の動脈瘤または被検者３０の腹部の内部における腹部大動脈の動脈瘤に対してステントグラフト内挿術を行うためのステントグラフト器具である。また、Ｘ線透視撮影を行う被検体として被検者３０の胸部または腹部を適用するその他の実施形態の場合、医用画像処理装置３００は、上述した本発明の実施形態における「頭蓋骨」及び「血管」に係る処理に替えて、胸部大動脈または腹部大動脈を想定した「血管」のみに係る処理を行う。即ち、Ｘ線透視撮影を行う被検体として被検者３０の胸部または腹部を適用するその他の実施形態の場合、医用画像処理装置３００では、以下の処理を行う。
特徴量算出部３２０は、医療デバイス１００が挿入された血管（胸部大動脈または腹部大動脈）を含む被検体（被検者３０の胸部または腹部）を第１面の方向においてＸ線透視撮影することによって得られた第１面２次元画像３１１、第１面撮影情報３１３、被検体を第１面とは異なる第２面の方向においてＸ線透視撮影することによって得られた第２面２次元画像３１２、及び、第２面撮影情報３１４に基づいて、血管と医療デバイス１００における３次元の特徴量３０１を算出する。２次元デバイス形状画像生成部３３０は、第１面２次元画像３１１に基づいて第１面２次元デバイス形状画像３０２を生成するとともに、第２面２次元画像３１２に基づいて第２面２次元デバイス形状画像３０３を生成する。３次元デバイス形状点群情報算出部３４０は、第１面２次元デバイス形状画像３０２及び第２面２次元デバイス形状画像３０３と、第１面撮影情報３１３及び第２面撮影情報３１４とに基づいて、医療デバイス１００における３次元形状の点群情報である３次元デバイス形状点群情報３０４を算出する。透過度推定部３５０は、特徴量算出部３２０で算出された３次元の特徴量３０１と被検体格子点群情報３１５とに基づいて血管の透過度３０５を推定するとともに、特徴量算出部３２０で算出された３次元の特徴量３０１と３次元デバイス形状点群情報３０４とに基づいて医療デバイス１００の透過度３０６を推定する。実像虚像判定部３６０は、透過度推定部３５０で推定された医療デバイス１００の透過度３０６に基づいて、３次元デバイス形状点群情報３０４における点群を含む近傍領域を複数のグループに分けた際のグループごとに、実像か虚像かを判定する。表示処理部３７０は、透過度推定部３５０で推定された血管の透過度３０５に基づいて３次元の血管像３７１を生成するとともに、実像虚像判定部３６０で実像と判定されたグループに属する点群の３次元デバイス形状点群情報３０７に基づいて３次元の医療デバイス像３７２を生成し、３次元の血管像３７１と３次元の医療デバイス像３７２とを重ね合わせて生成した３次元の医用画像３０９を表示部３８０に表示する処理を行う。
かかる構成によれば、術者２０が医用画像を視認しながら医療デバイス１００を用いて被検体の血管を手術する際に、血管や医療デバイスにおける３次元の位置関係をより容易に認識させることができるため、安全に手術を行うことができる。
【0047】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。
【0048】
なお、上述した本発明の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【0049】
１０：医用画像処理システム、２０：術者、３０：被検者、３１：被検者の頭部、１００：医療デバイス、２００：天板、２１０：第１のＸ線撮影装置、２１１：Ｘ線発生部、２１２：Ｘ線、２１３：Ｘ線検出部、２１３ａ：Ｘ線検出面、２１４：Ｃアーム、２２０：第２のＸ線撮影装置、２２１：Ｘ線発生部、２２２：Ｘ線、２２３：Ｘ線検出部、２２３ａ：Ｘ線検出面、２２４：Ｃアーム、３００：医用画像処理装置、３１０：画像・情報取得部、３１１：第１面２次元画像、３１１１：第１面Ｘ線透視画像、３１１２：第１面ロードマップ画像、３１２：第２面２次元画像、３１２１：第２面Ｘ線透視画像、３１２２：第２面ロードマップ画像、３１３：第１面撮影情報、３１４：第２面撮影情報、３１５、被検体格子点群情報、３２０：特徴量算出部、３２１：第１の学習済モデル、３３０：２次元デバイス形状画像生成部、３３１：第２の学習済モデル、３４０：３次元デバイス形状点群情報算出部、３５０：透過度推定部、３５１：第３の学習済モデル、３６０：実像虚像判定部、３７０：表示処理部、３７１：３次元の頭蓋骨像及び３次元の血管像、３７２：３次元の医療デバイス像、３８０：表示部、４００：制御装置、５００：入力装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】