ホーム > 特許ランキング > 富士フイルム株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2025-16308医療支援装置、医療支援装置の作動方法及び作動プログラム、並びに医療支援システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2025016308
(43)【公開日】2025-01-31
(54)【発明の名称】医療支援装置、医療支援装置の作動方法及び作動プログラム、並びに医療支援システム
(51)【国際特許分類】
A61B 1/045 20060101AFI20250124BHJP
A61B 8/12 20060101ALI20250124BHJP
A61B 1/00 20060101ALI20250124BHJP
【ＦＩ】
A61B1/045 622
A61B8/12
A61B1/045 618
A61B1/00 551
A61B1/045 614
【審査請求】未請求
【請求項の数】25
【出願形態】ＯＬ
(21)【出願番号】P 2023119508
(22)【出願日】2023-07-21
(71)【出願人】
【識別番号】306037311
【氏名又は名称】富士フイルム株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】流石 朗子
(72)【発明者】
【氏名】石田 耕一
【テーマコード（参考）】
4C161
4C601
【Ｆターム（参考）】
4C161AA24
4C161CC06
4C161DD01
4C161HH51
4C161HH52
4C161LL02
4C161QQ06
4C161SS21
4C161WW02
4C161WW04
4C161WW13
4C601FE01
4C601FE03
4C601FF05
4C601GA19
4C601JC06
4C601JC20
4C601KK31
4C601LL33
(57)【要約】
【課題】簡便な構成で、医療機器の位置又は姿勢に応じた適切な位置に穿刺経路の表示が可能な医療支援装置、作動方法及び作動プログラム、並びに医療支援システムを提供する。
【解決手段】医療支援装置のプロセッサは、被検体の体内を撮影する体内カメラによって撮影された体内画像であって、穿刺針によって穿刺される臓器と、体内に挿入される医療機器の挿入部と、挿入部に設けられた画像認識可能なマーカとが撮影範囲に含まれる体内画像を取得し、マーカに基づいて、挿入部の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出し、位置姿勢情報に基づいて体内画像において特定される位置に、穿刺針の穿刺経路を重畳表示させる表示制御を実行する。
【選択図】図９
【解決手段】医療支援装置のプロセッサは、被検体の体内を撮影する体内カメラによって撮影された体内画像であって、穿刺針によって穿刺される臓器と、体内に挿入される医療機器の挿入部と、挿入部に設けられた画像認識可能なマーカとが撮影範囲に含まれる体内画像を取得し、マーカに基づいて、挿入部の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出し、位置姿勢情報に基づいて体内画像において特定される位置に、穿刺針の穿刺経路を重畳表示させる表示制御を実行する。
【選択図】図９
【特許請求の範囲】
【請求項1】
プロセッサを備え、
前記プロセッサは、
被検体の体内を撮影する体内カメラによって撮影された体内画像であって、穿刺針によって穿刺される臓器と、前記体内に挿入される医療機器の挿入部と、前記挿入部に設けられた画像認識可能なマーカとが撮影範囲に含まれる体内画像を取得し、
前記マーカに基づいて、前記挿入部の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出し、
前記位置姿勢情報に基づいて前記体内画像において特定される位置に、前記穿刺針の穿刺経路を重畳表示させる表示制御を実行する、
医療支援装置。
前記プロセッサは、
被検体の体内を撮影する体内カメラによって撮影された体内画像であって、穿刺針によって穿刺される臓器と、前記体内に挿入される医療機器の挿入部と、前記挿入部に設けられた画像認識可能なマーカとが撮影範囲に含まれる体内画像を取得し、
前記マーカに基づいて、前記挿入部の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出し、
前記位置姿勢情報に基づいて前記体内画像において特定される位置に、前記穿刺針の穿刺経路を重畳表示させる表示制御を実行する、
医療支援装置。
【請求項2】
前記プロセッサは、
前記体内の内壁に変化を生じさせる操作が体外から行われ、かつ前記穿刺経路が重畳表示されている状態の前記体内画像であって、少なくとも２つの異なる視点で撮影された２つの体内画像に基づいて、前記内壁が変化する変化位置と前記穿刺経路とが前記体内の三次元空間において交差するか否かを判定し、判定結果を報知する、
請求項１に記載の医療支援装置。
前記体内の内壁に変化を生じさせる操作が体外から行われ、かつ前記穿刺経路が重畳表示されている状態の前記体内画像であって、少なくとも２つの異なる視点で撮影された２つの体内画像に基づいて、前記内壁が変化する変化位置と前記穿刺経路とが前記体内の三次元空間において交差するか否かを判定し、判定結果を報知する、
請求項１に記載の医療支援装置。
【請求項3】
２つの前記体内画像の両方において、前記変化が生じた変化位置と重畳表示された前記穿刺経路とが二次元的に交差する場合に、前記変化位置と前記穿刺経路とが前記三次元空間において交差していると判定する、
請求項２に記載の医療支援装置。
請求項２に記載の医療支援装置。
【請求項4】
前記操作が複数回行われる場合において、
前記プロセッサは、
複数回の前記操作のそれぞれの前記変化位置の履歴を前記体内画像に重畳表示する、
請求項２に記載の医療支援装置。
前記プロセッサは、
複数回の前記操作のそれぞれの前記変化位置の履歴を前記体内画像に重畳表示する、
請求項２に記載の医療支援装置。
【請求項5】
前記プロセッサは、
複数回の前記操作の間に前記体内カメラの前記視点が移動した場合において、前記視点の移動量を反映して前記変化位置の履歴を表示する、
請求項４に記載の医療支援装置。
複数回の前記操作の間に前記体内カメラの前記視点が移動した場合において、前記視点の移動量を反映して前記変化位置の履歴を表示する、
請求項４に記載の医療支援装置。
【請求項6】
前記操作は、前記被検体の体表を体外から押圧する押圧操作であり、
前記変化位置は、前記押圧操作によって体内方向に向けて前記内壁が隆起した隆起部である、
請求項２に記載の医療支援装置。
前記変化位置は、前記押圧操作によって体内方向に向けて前記内壁が隆起した隆起部である、
請求項２に記載の医療支援装置。
【請求項7】
前記プロセッサは、前記体内カメラの視点からの奥行方向の距離である深度の分布を表す前記体内の深度情報に基づいて、前記体内の内壁と前記穿刺経路との三次元空間における交点を導出する、
請求項１に記載の医療支援装置。
請求項１に記載の医療支援装置。
【請求項8】
前記体内カメラとして、前記深度の推定が可能なカメラを利用し、
前記プロセッサは、前記深度情報を取得する、
請求項７に記載の医療支援装置。
前記プロセッサは、前記深度情報を取得する、
請求項７に記載の医療支援装置。
【請求項9】
前記プロセッサは、異なる視点で撮影された２つの前記体内画像に基づいて、前記深度情報を取得する、
請求項７に記載の医療支援装置。
請求項７に記載の医療支援装置。
【請求項10】
前記プロセッサは、前記体内画像を入力として前記深度情報を出力する機械学習モデルを用いて、前記深度情報を取得する、
請求項７に記載の医療支援装置。
請求項７に記載の医療支援装置。
【請求項11】
前記プロセッサは、
前記被検体の体腔内の内壁に変化を生じさせる操作が体外から行われている状態の前記体内画像を取得した場合において、
前記深度情報に基づいて、前記体内の三次元空間上において前記内壁が変化する変化位置と前記穿刺経路とが交差するか否かを判定し、判定結果を報知する、
請求項７に記載の医療支援装置。
前記被検体の体腔内の内壁に変化を生じさせる操作が体外から行われている状態の前記体内画像を取得した場合において、
前記深度情報に基づいて、前記体内の三次元空間上において前記内壁が変化する変化位置と前記穿刺経路とが交差するか否かを判定し、判定結果を報知する、
請求項７に記載の医療支援装置。
【請求項12】
前記医療機器は、前記臓器の内部構造を観察可能な医用プローブである、
請求項１に記載の医療支援装置。
請求項１に記載の医療支援装置。
【請求項13】
前記医用プローブは、超音波プローブである、
請求項１２に記載の医療支援装置。
請求項１２に記載の医療支援装置。
【請求項14】
前記医用プローブは、前記挿入部に設けられ、前記穿刺針との係合により、前記穿刺針を前記臓器の内部の目標位置への挿入をガイドするためのガイド溝を有しており、
前記プロセッサは、前記マーカと前記ガイド溝の相対的な位置関係に基づいて、前記体内画像に前記穿刺経路を重畳する位置を特定する、
請求項１２に記載の医療支援装置。
前記プロセッサは、前記マーカと前記ガイド溝の相対的な位置関係に基づいて、前記体内画像に前記穿刺経路を重畳する位置を特定する、
請求項１２に記載の医療支援装置。
【請求項15】
前記プロセッサは、前記医用プローブによって取得される前記臓器の内部画像において特定される前記臓器の内部の目標位置と、前記位置姿勢情報に基づいて導出される、前記内部画像の座標系と前記体内画像の座標系との相関関係とに基づいて、前記体内画像に前記穿刺経路を重畳する位置を特定する、
請求項１２に記載の医療支援装置。
請求項１２に記載の医療支援装置。
【請求項16】
手術前に予め取得された前記臓器の三次元画像に、手術前のシミュレーションによって前記穿刺経路が設定されている場合において、
前記プロセッサは、前記医用プローブによって取得される前記臓器の内部画像の座標系と前記三次元画像の座標系との相関関係と、前記位置姿勢情報に基づいて導出される、前記内部画像の座標系と前記体内画像の座標系との相関関係とを利用して、前記穿刺経路を前記体内画像に重畳する位置を特定する、
請求項１２に記載の医療支援装置。
前記プロセッサは、前記医用プローブによって取得される前記臓器の内部画像の座標系と前記三次元画像の座標系との相関関係と、前記位置姿勢情報に基づいて導出される、前記内部画像の座標系と前記体内画像の座標系との相関関係とを利用して、前記穿刺経路を前記体内画像に重畳する位置を特定する、
請求項１２に記載の医療支援装置。
【請求項17】
前記プロセッサは、前記穿刺経路の一部の表示を変更する、
請求項１に記載の医療支援装置。
請求項１に記載の医療支援装置。
【請求項18】
前記穿刺経路の一部は、前記体内の内壁側の一部であり、
前記プロセッサは、前記内壁側の一部を強調表示する、
請求項１７に記載の医療支援装置。
前記プロセッサは、前記内壁側の一部を強調表示する、
請求項１７に記載の医療支援装置。
【請求項19】
前記穿刺経路の一部は、前記臓器側の一部であり、
前記プロセッサは、前記臓器側の一部の視認性を内壁側よりも低下させる、
請求項１７に記載の医療支援装置。
前記プロセッサは、前記臓器側の一部の視認性を内壁側よりも低下させる、
請求項１７に記載の医療支援装置。
【請求項20】
前記プロセッサは、前記医療機器の前記挿入部の挿入長を検出し、検出した前記挿入長に基づいて、前記表示を変更する範囲を決定する、
請求項１７に記載の医療支援装置。
請求項１７に記載の医療支援装置。
【請求項21】
前記プロセッサは、ユーザの指定に基づいて前記表示を変更する範囲を決定する、
請求項１７に記載の医療支援装置。
請求項１７に記載の医療支援装置。
【請求項22】
前記プロセッサは、異なる複数の前記穿刺経路を表示可能である、
請求項１に記載の医療支援装置。
請求項１に記載の医療支援装置。
【請求項23】
プロセッサを備えた医療支援装置の作動方法であって、
前記プロセッサは、
被検体の体内を撮影する体内カメラによって撮影された体内画像であって、穿刺針によって穿刺される臓器と、前記体内に挿入される医療機器の挿入部と、前記挿入部に設けられた画像認識可能なマーカとが撮影範囲に含まれる体内画像を取得し、
前記マーカに基づいて、前記挿入部の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出し、
前記位置姿勢情報に基づいて前記体内画像において特定される位置に、前記穿刺針の穿刺経路を重畳表示させる表示制御を実行する、
医療支援装置の作動方法。
前記プロセッサは、
被検体の体内を撮影する体内カメラによって撮影された体内画像であって、穿刺針によって穿刺される臓器と、前記体内に挿入される医療機器の挿入部と、前記挿入部に設けられた画像認識可能なマーカとが撮影範囲に含まれる体内画像を取得し、
前記マーカに基づいて、前記挿入部の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出し、
前記位置姿勢情報に基づいて前記体内画像において特定される位置に、前記穿刺針の穿刺経路を重畳表示させる表示制御を実行する、
医療支援装置の作動方法。
【請求項24】
コンピュータを医療支援装置として機能させる作動プログラムであって、
被検体の体内を撮影する体内カメラによって撮影された体内画像であって、穿刺針によって穿刺される臓器と、前記体内に挿入される医療機器の挿入部と、前記挿入部に設けられた画像認識可能なマーカとが撮影範囲に含まれる体内画像を取得するステップと、
前記マーカに基づいて、前記挿入部の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出するステップと、
前記位置姿勢情報に基づいて前記体内画像において特定される位置に、前記穿刺針の穿刺経路を重畳表示させる表示制御をするステップと、
をコンピュータに実行させる医療支援装置の作動プログラム。
被検体の体内を撮影する体内カメラによって撮影された体内画像であって、穿刺針によって穿刺される臓器と、前記体内に挿入される医療機器の挿入部と、前記挿入部に設けられた画像認識可能なマーカとが撮影範囲に含まれる体内画像を取得するステップと、
前記マーカに基づいて、前記挿入部の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出するステップと、
前記位置姿勢情報に基づいて前記体内画像において特定される位置に、前記穿刺針の穿刺経路を重畳表示させる表示制御をするステップと、
をコンピュータに実行させる医療支援装置の作動プログラム。
【請求項25】
被検体の体内に挿入される挿入部を有し、前記挿入部に画像認識可能なマーカが設けられた医療機器と、
前記挿入部と、前記マーカと、穿刺針によって穿刺される臓器とが撮影範囲に含まれる体内画像を撮影する体内カメラと、
プロセッサを備えた医療支援装置と、を備えた医療支援システムであって、
前記プロセッサは、
前記体内画像を取得し、
前記マーカに基づいて、前記挿入部の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出し、
前記位置姿勢情報に基づいて前記体内画像において特定される位置に、前記穿刺針の穿刺経路を重畳表示させる表示制御を実行する、
医療支援システム。
前記挿入部と、前記マーカと、穿刺針によって穿刺される臓器とが撮影範囲に含まれる体内画像を撮影する体内カメラと、
プロセッサを備えた医療支援装置と、を備えた医療支援システムであって、
前記プロセッサは、
前記体内画像を取得し、
前記マーカに基づいて、前記挿入部の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出し、
前記位置姿勢情報に基づいて前記体内画像において特定される位置に、前記穿刺針の穿刺経路を重畳表示させる表示制御を実行する、
医療支援システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の技術は、医療支援装置、医療支援装置の作動方法及び作動プログラム、並びに医療支援システムに関する。
【背景技術】
【0002】
鏡視下手術では、超音波プローブを用いて肝臓内部の超音波画像を取得し、超音波画像で腫瘍の位置である穿刺目標を把握する。しかし、超音波画像において穿刺目標が表示されていても、超音波画像は、体内にある臓器内部を示す画像であるため、体表のどの位置からどの方向で穿刺針を挿入してよいかがわかりにくい。
【0003】
こうした問題を解決するために、穿刺を支援する技術が用いられる。例えば、特許文献１には、先端に磁気ポジションセンサを設けた穿刺針を用いた磁気ナビゲーションシステムを用いて、体内に挿入された穿刺針の先端の位置及び姿勢をリアルタイムで表示する技術が開示されている。特許文献２には、穿刺針の挿入をガイドするガイド溝が設けられた超音波プローブの先端に、ガイド溝の傾斜に沿って体表側に向けてレーザ光を照射するレーザポインタを用いる技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許公報第８６８８１９６号
【特許文献2】欧州特許公報第３１３６９４０号
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１は、磁気ナビゲーションシステムといった大掛かりな装置が必要になるという問題がある。特許文献２は、超音波プローブなどの医療機器の先端にレーザ光を発する光源を内蔵する必要がある。光源を内蔵するためには、超音波プローブの内部構造に手を加える必要があり、外装を改変する場合と比較して、改変の手間が掛かるという問題があった。
【0006】
本開示に係る技術は、簡便な構成で、医療機器の位置又は姿勢に応じた適切な位置に穿刺経路の表示が可能な医療支援装置、作動方法及び作動プログラム、並びに医療支援システムを提供する。
【課題を解決するための手段】
【0007】
本開示の技術に係る医療支援装置は、プロセッサを備え、プロセッサは、被検体の体内を撮影する体内カメラによって撮影された体内画像であって、穿刺針によって穿刺される臓器と、体内に挿入される医療機器の挿入部と、挿入部に設けられた画像認識可能なマーカとが撮影範囲に含まれる体内画像を取得し、マーカに基づいて、挿入部の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出し、位置姿勢情報に基づいて体内画像において特定される位置に、穿刺針の穿刺経路を重畳表示させる表示制御を実行する。
【0008】
プロセッサは、体内の内壁に変化を生じさせる操作が体外から行われ、かつ穿刺経路が重畳表示されている状態の体内画像であって、少なくとも２つの異なる視点で撮影された２つの体内画像に基づいて、内壁が変化する変化位置と穿刺経路とが体内の三次元空間において交差するか否かを判定し、判定結果を報知することが好ましい。
【0009】
２つの体内画像の両方において、変化が生じた変化位置と重畳表示された穿刺経路とが二次元的に交差する場合に、変化位置と穿刺経路とが三次元空間において交差していると判定することが好ましい。
【0010】
操作が複数回行われる場合において、プロセッサは、複数回の操作のそれぞれの変化位置の履歴を体内画像に重畳表示することが好ましい。
【0011】
プロセッサは、複数回の操作の間に体内カメラの視点が移動した場合において、視点の移動量を反映して変化位置の履歴を表示することが好ましい。
【0012】
操作は、被検体の体表を体外から押圧する押圧操作であり、変化位置は、押圧操作によって体内方向に向けて内壁が隆起した隆起部であることが好ましい。
【0013】
プロセッサは、体内カメラの視点からの奥行方向の距離である深度の分布を表す体内の深度情報に基づいて、体内の内壁と穿刺経路との三次元空間における交点を導出することが好ましい。
【0014】
体内カメラとして、深度の推定が可能なカメラを利用し、プロセッサは、深度情報を取得することが好ましい。
【0015】
プロセッサは、異なる視点で撮影された２つの体内画像に基づいて、深度情報を取得することが好ましい。
【0016】
プロセッサは、体内画像を入力として深度情報を出力する機械学習モデルを用いて、深度情報を取得することが好ましい。
【0017】
プロセッサは、被検体の体腔内の内壁に変化を生じさせる操作が体外から行われている状態の体内画像を取得した場合において、深度情報に基づいて、体内の三次元空間上において内壁が変化する変化位置と穿刺経路とが交差するか否かを判定し、判定結果を報知することが好ましい。
【0018】
医療機器は、臓器の内部構造を観察可能な医用プローブであることが好ましい。
【0019】
医用プローブは、超音波プローブであることが好ましい。
【0020】
医用プローブは、挿入部に設けられ、穿刺針との係合により、穿刺針を臓器の内部の目標位置への挿入をガイドするためのガイド溝を有しており、プロセッサは、マーカとガイド溝の相対的な位置関係に基づいて、体内画像に穿刺経路を重畳する位置を特定することが好ましい。
【0021】
プロセッサは、医用プローブによって取得される臓器の内部画像において特定される臓器の内部の目標位置と、位置姿勢情報に基づいて導出される、内部画像の座標系と体内画像の座標系との相関関係とに基づいて、体内画像に穿刺経路を重畳する位置を特定することが好ましい。
【0022】
手術前に予め取得された臓器の三次元画像に、手術前のシミュレーションによって穿刺経路が設定されている場合において、プロセッサは、医用プローブによって取得される臓器の内部画像の座標系と三次元画像の座標系との相関関係と、位置姿勢情報に基づいて導出される、内部画像の座標系と体内画像の座標系との相関関係とを利用して、穿刺経路を体内画像に重畳する位置を特定することが好ましい。
【0023】
プロセッサは、穿刺経路の一部の表示を変更することが好ましい。
【0024】
穿刺経路の一部は、体内の内壁側の一部であり、プロセッサは、内壁側の一部を強調表示することが好ましい。
【0025】
穿刺経路の一部は、臓器側の一部であり、プロセッサは、臓器側の一部の視認性を内壁側よりも低下させることが好ましい。
【0026】
プロセッサは、医療機器の挿入部の挿入長を検出し、検出した挿入長に基づいて、表示を変更する範囲を決定することが好ましい。
【0027】
プロセッサは、ユーザの指定に基づいて表示を変更する範囲を決定することが好ましい。
【0028】
プロセッサは、異なる複数の穿刺経路を表示可能であることが好ましい。
【0029】
本開示の技術に係る医療支援装置の作動方法は、プロセッサを備えた医療支援装置の作動方法であって、プロセッサは、被検体の体内を撮影する体内カメラによって撮影された体内画像であって、穿刺針によって穿刺される臓器と、体内に挿入される医療機器の挿入部と、挿入部に設けられた画像認識可能なマーカとが撮影範囲に含まれる体内画像を取得し、マーカに基づいて、挿入部の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出し、位置姿勢情報に基づいて体内画像において特定される位置に、穿刺針の穿刺経路を重畳表示させる表示制御を実行する。
【0030】
本開示の技術に係る医療支援装置の作動プログラムは、コンピュータを医療支援装置として機能させる作動プログラムであって、被検体の体内を撮影する体内カメラによって撮影された体内画像であって、穿刺針によって穿刺される臓器と、体内に挿入される医療機器の挿入部と、挿入部に設けられた画像認識可能なマーカとが撮影範囲に含まれる体内画像を取得するステップと、マーカに基づいて、挿入部の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出するステップと、位置姿勢情報に基づいて体内画像において特定される位置に、穿刺針の穿刺経路を重畳表示させる表示制御をするステップと、をコンピュータに実行させる。
【0031】
本開示の技術に係る医療支援システムは、被検体の体内に挿入される挿入部を有し、挿入部に画像認識可能なマーカが設けられた医療機器と、挿入部と、マーカと、穿刺針によって穿刺される臓器とが撮影範囲に含まれる体内画像を撮影する体内カメラと、プロセッサを備えた医療支援装置と、を備えた医療支援システムであって、プロセッサは、体内画像を取得し、マーカに基づいて、挿入部の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出し、位置姿勢情報に基づいて体内画像において特定される位置に、穿刺針の穿刺経路を重畳表示させる表示制御を実行する。
【発明の効果】
【0032】
本開示の技術によれば、簡便な構成で、医療機器の位置又は姿勢に応じた適切な位置に穿刺経路の表示が可能になる。
【図面の簡単な説明】
【0033】
【図1】医療支援装置を含む医療支援システムの概略を示す図ある。
【図2】鏡視下手術における体内の様子を示す図である。
【図3】超音波プローブの第１ガイド溝の説明図である。
【図4】超音波プローブの第２ガイド溝の説明図である。
【図5】第１ガイド溝にガイドされた穿刺針の挿入状態を示す図である。
【図6】第２ガイド溝にガイドされた穿刺針の挿入状態を示す図である。
【図7】医療支援装置のハードウェア構成を示す図である。
【図8】医療支援処理の全体の手順を示すフローチャートである。
【図9】マーカに基づく超音波プローブの位置姿勢情報の導出方法を示す図である。
【図10】マーカと超音波プローブの位置及び姿勢の関係を示す図である。
【図11】マーカと超音波プローブの位置及び姿勢の関係を示す別の図である。
【図12】位置姿勢情報に基づいて穿刺経路を重畳表示する方法を示す図である。
【図13】第２実施形態の指ＦＧによる押圧操作を示す図である。
【図14】押圧操作によって挿入位置ＮＰを探索する様子を示す図である。
【図15】第２実施形態の医療支援処理の全体的な手順を示すフローチャートである。
【図16】三次元交差判定の手順の一例を示すフローチャートである。
【図17】２つの術野画像の両方で隆起部と第１穿刺ラインが交差している状態を示す図である。
【図18】２つの術野画像の一方のみで隆起部と第１穿刺ラインが交差している状態を示す図である。
【図19】三次元交差判定の手順の別の例を示すフローチャートである。
【図20】押圧操作の操作履歴を表示する例を示す図である。
【図21】カメラの視点の変化に操作履歴を追従させる例を示す図である。
【図23】画像解析によらずに三次元的な交差判定が可能な例を示す図である。
【図24】第３実施形態の医療支援処理の全体的な手順を示すフローチャートである。
【図25】深度マップの取得方法の一例を示す図である。
【図26】深度マップから交点を導出する例を示す図である。
【図27】深度マップの取得方法の変形例を示す図である。
【図28】深度マップの取得方法の別の変形例を示す図である。
【図29】深度マップに基づいて第１穿刺ラインと隆起部の三次元的な交差判定を行う例の処理手順を示すフローチャートである。
【図30】深度マップに基づく第１穿刺ラインと隆起部の三次元的な交差判定の処理の一例を示す図である。
【図31】第１穿刺ラインの内壁側の一部を強調表示する例を示す図である。
【図32】第１穿刺ラインの臓器側の一部の視認性を低下させる例を示す図である。
【図33】第１穿刺ラインの一部に目盛りを表示させる例を示す図である。
【図34】第１穿刺ラインの表示を変更する範囲を、超音波プローブの挿入長に基づいて決定する例を示す図である。
【図35】複数の第１穿刺ラインを表示する例を示す図である。
【図36】第４実施形態を示す図である。
【図38】術前３Ｄ画像の作成方法を示す図である。
【図39】術前準備情報の作成方法を示す図である。
【図40】超音波３Ｄ画像の作成方法を示す図である。
【図41】超音波３Ｄ画像と術前３Ｄ画像の相関関係を利用する方法を示す図である。
【発明を実施するための形態】
【0034】
［第１実施形態］
図１及び図２に示すように、医療支援システム１０は、一例として、患者ＰＴに対して、内視鏡１３を用いた鏡視下手術を施す際に用いられる。鏡視下手術は、開腹手術と異なり、患者ＰＴの体に小さな穴を開けて、そこから内視鏡１３等の医療機器を入れて行う手術をいう。医療支援システム１０は、医師を含む医療スタッフＳＴに対して、患者ＰＴの体内の術野の視野を提供することに加え、手術及び検査等の診療を支援する支援情報を提供する。支援情報は、後述するとおり、具体的には、穿刺針１８の穿刺経路である。このような医療支援システム１０は、手術中にリアルタイムで支援情報を提供する機能を有することから、手術ナビゲーションシステムなどとも呼ばれる。医療支援システム１０は、一例として、医療支援装置１１と、内視鏡１３、超音波プローブ１４及びディスプレイ１６を備えている。医療支援装置１１は、本開示の技術に係る「医療支援装置」の一例であり、患者ＰＴは、「被検体」の一例である。
図１及び図２に示すように、医療支援システム１０は、一例として、患者ＰＴに対して、内視鏡１３を用いた鏡視下手術を施す際に用いられる。鏡視下手術は、開腹手術と異なり、患者ＰＴの体に小さな穴を開けて、そこから内視鏡１３等の医療機器を入れて行う手術をいう。医療支援システム１０は、医師を含む医療スタッフＳＴに対して、患者ＰＴの体内の術野の視野を提供することに加え、手術及び検査等の診療を支援する支援情報を提供する。支援情報は、後述するとおり、具体的には、穿刺針１８の穿刺経路である。このような医療支援システム１０は、手術中にリアルタイムで支援情報を提供する機能を有することから、手術ナビゲーションシステムなどとも呼ばれる。医療支援システム１０は、一例として、医療支援装置１１と、内視鏡１３、超音波プローブ１４及びディスプレイ１６を備えている。医療支援装置１１は、本開示の技術に係る「医療支援装置」の一例であり、患者ＰＴは、「被検体」の一例である。
【0035】
医療支援装置１１は、内視鏡１３、超音波プローブ１４及びディスプレイ１６と通信可能に接続されている。鏡視下手術においては、内視鏡１３及び超音波プローブ１４は、それぞれの先端部を含む一部が、トロカール１７を介して体内に挿入される。トロカール１７は、内視鏡１３等を挿通する挿通孔と挿通孔内に設けられガス漏れを防止するバルブとが設けられた挿通具である。鏡視下手術においては、腹腔内には炭酸ガスの注入によって気腹が行われるため、内視鏡１３及び超音波プローブ１４等の体内への挿入にトロカール１７が用いられる。
【0036】
また、本例では、手術の対象部位は肝臓ＬＶであり、図２は、患者ＰＴの腹部に内視鏡１３及び超音波プローブ１４を挿入している様子を示している。穿刺針１８は、臓器に含まれる腫瘍等の病変を穿刺対象として穿刺する処置具である。穿刺針１８は、一例として、病変の焼灼に用いられる焼灼用穿刺針である。焼灼用穿刺針は、先端に高周波電圧が印加される電極が設けられており、電極が病変に穿刺された状態で高周波電圧が印加されると、電極が発生する熱により病変を壊死させる。本例では、手術として、超音波画像２２によって肝臓ＬＶの腫瘍２７を可視化し、可視化された腫瘍２７（図５及び図６も参照）を穿刺針１８で焼灼することにより、腫瘍２７を壊死させる治療を行う例で説明する。穿刺針１８は、針部１８Ａと針部１８Ａの基端側に設けられた把持部１８Ｂとを有する。
【0037】
内視鏡１３は、患者ＰＴの体内に挿入される挿入部１３Ａを有しており、挿入部１３Ａの先端部には、カメラ１３Ｂと、照明用の光源（ＬＥＤ（Light Emitting Diode）など）とが内蔵されている。内視鏡１３は、一例として、挿入部１３Ａが硬質な硬性内視鏡であり、腹腔観察に多く用いられることから腹腔鏡などとも呼ばれる。カメラ１３Ｂは、ＣＣＤ(Charge Coupled Device)イメージセンサ及びＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサなどのイメージセンサと、被写体像をイメージセンサの撮像面に結像するレンズを含む結像光学系とを有する。イメージセンサは例えばカラー画像を撮像可能なイメージセンサである。カメラ１３Ｂは、本開示の技術に係る「体内カメラ」の一例である。
【0038】
内視鏡１３は、患者ＰＴの体内の対象部位（本例では肝臓ＬＶ）を含む術野ＳＦをカメラ１３Ｂによって光学的に撮影する。術野ＳＦは、体内において臓器と体壁とによって画定される体腔内に広がる空間である。内視鏡１３は、図示しない内視鏡用の画像処理プロセッサに接続されており、画像処理プロセッサは、イメージセンサが出力する撮像信号に対して信号処理を行って、体内の術野ＳＦの術野画像２１を生成する。術野画像２１は、本開示の技術に係る「体内カメラによって撮影された体内画像」の一例である。
【0039】
内視鏡１３の照明光としては、紫外線及び赤外光などの特殊光が用いられる場合もあるが、白色光などの可視光が用いられる。なお、内視鏡１３の照明光は、紫外線及び赤外光などの特殊光を用いてもよい。特殊光としては、紫外線領域などの短波長域の光を狭帯域化した短波長狭帯域光などの特定波長に制限された光を用いてもよい。内視鏡１３によって撮影された術野画像２１は、内視鏡用の画像処理プロセッサを介してリアルタイムで医療支援装置１１に送信される。図２において、符号Ｘｉｎ及びＹｉｎは、術野画像２１の座標系を示す。
【0040】
術野画像２１には、穿刺針１８の挿入をガイドするための支援情報として、穿刺針１８の穿刺経路を示す第１穿刺ラインＮＲ１が重畳表示される。第１穿刺ラインＮＲ１については後述する。
【0041】
超音波プローブ１４は、内視鏡１３と同様に患者ＰＴの体内に挿入される挿入部１４Ａと、挿入部１４Ａの基端側に操作部１４Ｄとを有している。挿入部１４Ａの先端部１４Ｂには、超音波トランスデューサ１４Ｃが内蔵されている。超音波トランスデューサ１４Ｃは、対象部位に対して超音波を送信し、対象部位で反射した反射波を受信する。超音波プローブ１４は、図示しない超音波プローブ用の画像処理プロセッサに接続されている。超音波プローブ用の画像処理プロセッサは、超音波プローブ１４が受信した反射波に応じた信号に基づいて、反射波に基づいて画像再構成処理を行う。画像再構成処理により、超音波プローブ１４によって走査された対象部位の内部構造を示す超音波画像２２を生成する。超音波画像２２は、対象部位において超音波が到達する表層から深層までの内部構造を輝度情報として可視化した、いわゆるＢ（Brightness）モード画像である。超音波画像２２は、光学的な撮影によって得られる術野画像２１では観察が不可能な対象部位の内部構造を可視化する。超音波プローブ１４は、本開示の技術に係る「医療機器」及び「医用プローブ」の一例である。
【0042】
超音波画像２２には、穿刺針１８の挿入をガイドするための支援情報として、穿刺針１８の穿刺経路を示す第２穿刺ラインＮＲ２が重畳表示される。第２穿刺ラインＮＲ２については後述する。
【0043】
超音波プローブ１４は、一例として、放射状に超音波を送信するコンベックスタイプであり、超音波トランスデューサ１４Ｃを基点にした扇形の画像が取得される。超音波プローブ１４を走査することにより、走査方向に沿って複数枚の超音波画像２２が撮影される。超音波画像２２は、超音波プローブ用の画像処理プロセッサを介してリアルタイムで医療支援装置１１に送信される。図２において、符号Ｘｐｂ及びＹｐｂは、超音波画像２２の座標系を示す。
【0044】
超音波プローブ１４において、挿入部１４Ａの先端部１４Ｂには、ガイド溝２９が設けられている。ガイド溝２９は、穿刺針１８との係合により、臓器の内部の目標位置への穿刺針１８の挿入をガイドするためのガイド溝である。ガイド溝２９は、第１ガイド溝２９Ａと第２ガイド溝２９Ｂの２つのガイド溝がある。第１ガイド溝２９Ａは、先端部１４Ｂにおいて超音波トランスデューサ１４Ｃよりも基端側に設けられたガイド溝２９である。第１ガイド溝２９Ｂは、先端部１４Ｂの最先端に形成され、超音波トランスデューサ１４Ｃよりも先端側に設けられたガイド溝２９である。以下において、第１ガイド溝２９Ａと第２ガイド溝２９Ｂを区別する必要が無い場合は、両者を包括的にガイド溝２９という。
【0045】
図３は、第１ガイド溝２９Ａにガイドされた穿刺針１８の状態を示しており、図４は、第２ガイド溝２９Ｂにガイドされた穿刺針１８の状態を示している。図５は、体内に挿入された穿刺針１８が第１ガイド溝２９Ａにガイドされ、穿刺針１８が肝臓ＬＶ内の腫瘍２７を穿刺している様子を模式的に示している。図６は、体内に挿入された穿刺針１８が第１ガイド溝２９Ａにガイドされ、穿刺針１８が肝臓ＬＶ内の腫瘍２７を穿刺している様子を模式的に示している。
【0046】
第１ガイド溝２９Ａは、先端部１４Ｂの軸ＡＸの方向に対してθ１の角度をつけて傾斜している。第１ガイド溝２９Ａは、先端部１４Ｂの基端側から挿入される穿刺針１８の針先が先端部１４Ｂの先端側に向くように後傾している。反対に、第２ガイド溝２９Ｂは、先端部１４Ｂの先端側から挿入される穿刺針１８の針先が先端部１４Ｂの基端側に向くように前傾している。
【0047】
穿刺針１８の挿入は、超音波画像２２によって腫瘍２７を確認しながら行われる。第１ガイド溝２９Ａも第２ガイド溝２９Ｂも超音波トランスデューサ１４Ｃに向かって傾斜していることにより、穿刺針１８の針先を超音波画像２２によって可視化される領域に向けることが可能となっている。
【0048】
先端部１４Ｂには、マーカＭが設けられている。マーカＭは、光学的に撮影された画像において認識可能なマーカであり、すなわち、光学的に検出可能なマーカである。マーカＭは、内視鏡１３のカメラ１３Ｂによって撮影可能である。医療支援装置１１は、マーカＭを利用することにより、先端部１４Ｂに設けられたガイド溝２９の位置及び姿勢を推定する。後述するように、具体的には、マーカＭによって挿入部１４Ａの先端部１４Ｂの位置及び姿勢が推定される。先端部１４Ｂの姿勢は、例えば先端部１４Ｂの軸ＡＸの方向で表される。そして、推定された先端部１４Ｂの軸ＡＸの方向に基づいて、先端部１４Ｂとの相対的な位置関係が既知のガイド溝２９の位置及び姿勢が推定される。
【0049】
マーカＭは、一例として、格子パターンまたはドットパターンなどの形態的な特徴を有するパターンによって構成されている。マーカＭを用いた位置及び姿勢の推定方法については、後述する。マーカＭは、本開示の技術に係る「画像認識可能なマーカ」の一例である。挿入部１４Ａは、本開示の技術に係る「医療機器の挿入部」の一例である。
【0050】
医療支援装置１１は、内視鏡１３から術野画像２１を取得し、かつ、超音波プローブ１４から超音波画像２２を取得する。図１に示すように、ディスプレイ１６は、一例として、２つ用意されており、術野画像２１と超音波画像２２の２つの画像がそれぞれのディスプレイ１６に表示される。術野画像２１と超音波画像２２は、それぞれ動画として出力され、ディスプレイ１６にライブビュー表示される。
【0051】
超音波プローブ１４が術野ＳＦに挿入されている場合は、術野画像２１には、超音波プローブ１４が写り込む。医療支援装置１１は、超音波プローブ１４の挿入部１４Ａ（先端部１４Ｂ及びマーカＭを含む）が写り込んだ術野画像２１を、ディスプレイ１６に出力する。ディスプレイ１６の画面を通じて、患者ＰＴの体内の術野ＳＦの視野が医療スタッフＳＴに提供される。
【0052】
超音波画像２２には、図５及び図６に示すように、第１ガイド溝２９Ａの傾斜角θ１に沿った穿刺経路と、第２ガイド溝２９Ｂ傾斜角θ２に沿った穿刺経路とをそれぞれ示す２種類の第２穿刺ラインＮＲ２を重畳表示することが可能である。第２穿刺ラインＮＲ２は、超音波画像２２において、穿刺針１８の臓器の内部の目標位置への穿刺をガイドする支援情報である。
【0053】
第２穿刺ラインＮＲ２は、穿刺針１８をガイドする第１ガイド溝２９Ａ又は第２ガイド溝２９Ｂを通過する経路を示す情報である。第２穿刺ラインＮＲ２は、超音波トランスデューサ１４Ｃとガイド溝２９との既知の位置関係に基づいて、ガイド溝２９の延長線として生成される。第２穿刺ラインＮＲ２は、穿刺針１８を目標位置に穿刺する際の目安として用いられる。例えば、穿刺針１８を穿刺する目標位置が肝臓ＬＶ内の腫瘍２７の場合は、超音波画像２２内において第２穿刺ラインＮＲ２と腫瘍２７とが重なるように、超音波プローブ１４の位置決めが医療スタッフＳＴによって行われる。この状態で第２穿刺ラインＮＲ２を目安として、腫瘍２７に対する穿刺針１８の穿刺が行われる。このように、第２穿刺ラインＮＲ２が目標位置を通過するように超音波プローブ１４の位置を合わせた状態で、ガイド溝２９に穿刺針１８を通すことで、穿刺針１８を目標位置に到達させることができる。
【0054】
しかし、超音波画像２２は臓器の内部画像であるため、第２穿刺ラインＮＲ２を超音波画像２２に重畳表示するだけでは、体外から穿刺針１８を体内に挿入する際に、体表ＢＳ上のどの位置にどういう姿勢で挿入すればよいかがわかりにくい。具体的には、図５及び図６に示すように、体表ＢＳから臓器に向けての穿刺針１８の挿入角度、及び患者ＰＴの体表ＢＳ上の挿入位置ＮＰがわかりにくい。そこで、医療支援装置１１は、術野画像２１内に、穿刺針１８の第１穿刺ラインＮＲ１を重畳表示する。これにより、医療スタッフＳＴに、穿刺針１８の挿入角度及び挿入位置ＮＰの目安となる支援情報を提供する。第１穿刺ラインＮＲ１は、本開示の技術に係る「穿刺針の穿刺経路」の一例である。
【0055】
このように、医療支援装置１１は、穿刺針１８の目標位置への穿刺を支援する支援情報として、超音波画像２２に第２穿刺ラインＮＲ２を重畳表示することに加えて、術野画像２１に第１穿刺ラインＮＲ１を重畳表示する。第１穿刺ラインＮＲ１は、術野画像２１において、体表ＢＳから超音波プローブ１４のガイド溝２９までの穿刺経路を示し、第２穿刺ラインＮＲ２は、超音波画像２２において、ガイド溝２９から肝臓ＬＶの腫瘍２７といった臓器内の目標位置までの穿刺経路を示す。
【0056】
図７において、医療支援装置１１のハードウェア構成の一例を示す。医療支援装置１１は、本開示の技術に係る「医療支援装置」及び「コンピュータ」の一例であり、プロセッサ４１、受付デバイス４２、ディスプレイ１６、ＲＡＭ（Random access memory）４３、ストレージ４４、通信Ｉ／Ｆ４５、及び外部Ｉ／Ｆ４６を備えている。これらの各部は、バス４８に接続されており、相互に通信可能である。
【0057】
医療支援装置１１は、受付デバイス４２を通じて医療スタッフＳＴなどの操作者によって操作される。受付デバイス４２は、図示しないキーボード及びマウス等を有しており、操作者からの指示を受け付ける。受付デバイス４２としては、タッチパネル等のタッチ入力を受け付けるデバイス、マイク等の音声入力を受け付けるデバイス、及びカメラ等のジェスチャ入力を受け付けるデバイス等でもよい。
【0058】
ディスプレイ１６としては、例えば、ＥＬ（Electro-Luminescence）ディスプレイ又は液晶ディスプレイ等が挙げられる。上述のとおり、ディスプレイ１６は２台あり、各ディスプレイ１６に、術野画像２１及び超音波画像２２の他、各種の情報が表示される。
【0059】
プロセッサ４１は、例えば、ＣＰＵ（Central Processing Unit）であり、制御プログラムに従って医療支援装置１１の各部を統括的に制御し、かつ各種のアプリケーションプログラムに従って各種の処理を実行する。
【0060】
ストレージ４４は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ストレージ４４としては、例えば、ＨＤＤ（Hard Disk Drive）及びＳＳＤ（Solid State Drive）が挙げられる。また、ストレージ４４には、コンピュータを医療支援装置１１として機能させるための医療支援プログラム４９が格納されている。
【0061】
ＲＡＭ４３は、一時的に情報が記憶されるメモリであり、プロセッサ４１によってワークメモリとして用いられる。ＲＡＭ４３としては、例えば、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＲＡＭ（Static Random Access Memory）等が挙げられる。
【0062】
通信Ｉ／Ｆ４５は、ＬＡＮ（Local Area Network）及び／又はＷＡＮ（Wide Area Network）等のネットワーク（図示省略）に接続されており、有線又は無線の各種の通信規格で規定された通信プロトコルに従って伝送制御を行う。
【0063】
外部Ｉ／Ｆ４６は、例えばＵＳＢ（Universal Serial Bus）インタフェースであり、プリンタ及びメモリカードなどの周辺機器との接続に用いられる。
【0064】
プロセッサ４１は、ストレージ４４から医療支援プログラム４９を読み出し、医療支援プログラム４９をＲＡＭ４３上で実行することにより医療支援処理を行う。医療支援処理は、プロセッサ４１が画像取得部４１Ａ、位置姿勢情報導出部４１Ｂ、画像合成部４１Ｃ、及び表示制御部４１Ｄとして動作することによって実現される。医療支援プログラム４９は、本開示の技術に係る「医療支援装置の作動プログラム」の一例である。
【0065】
寸法情報５０は、超音波プローブ１４の寸法情報を含む。超音波プローブ１４の寸法情報は、具体的には、超音波プローブ１４の先端部１４ＢにおけるマーカＭの位置関係と、先端部１４Ｂにおけるガイド溝２９の位置関係とをそれぞれ表す情報を含む。先端部１４ＢにおけるマーカＭの位置関係は、例えば、マーカＭの格子パターンの格子が先端部１４Ｂの軸方向及び周方向に対してどのような位置及び姿勢で設けられているかといった情報である。先端部１４Ｂにおけるガイド溝２９の位置関係は、先端部１４Ｂの基準点とガイド溝２９（第１ガイド溝２９Ａおよび第２ガイド溝２９Ｂを含む）との間の先端部１４Ｂの軸ＡＸに沿った軸方向における直線距離、先端部１４Ｂの軸方向に対するガイド溝２９の傾斜角θ（θ１およびθ２を含む）などである。
【0066】
画像取得部４１Ａは、術野画像２１及び超音波画像２２を取得する画像取得処理を実行する。例えば、画像取得部４１Ａは、内視鏡１３のプロセッサ又は／及び超音波プローブ１４のプロセッサを含む装置から、外部Ｉ／Ｆ４６又は通信Ｉ／Ｆ４５を介して術野画像２１又は／及び超音波画像２２を取得する。なお、内視鏡１３のプロセッサ又は／及び超音波プローブ１４のプロセッサを医療支援装置１１が有してもよい。
【0067】
位置姿勢情報導出部４１Ｂは、マーカＭに基づいて超音波プローブ１４のガイド溝２９の位置及び姿勢を含む位置姿勢情報を導出する処理を実行する。
【0068】
画像合成部４１Ｃは、導出された位置姿勢情報に基づいて、術野画像２１内において第１穿刺ラインＮＲ１を重畳する位置を特定し、特定した位置に第１穿刺ラインＮＲ１を重畳する。ここで、位置姿勢情報は、本開示の技術に係る「挿入部の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報」の一例である。本例では、位置姿勢情報は、位置及び姿勢を含むものとしているが、いずれか一方でも第１穿刺ラインＮＲ１を重畳する位置を特定できる場合は、位置及び姿勢の一方を含む情報でもよい。
【0069】
表示制御部４１Ｄは、術野画像２１及び超音波画像２２をディスプレイ１６に表示する制御を実行する。また、術野画像２１に第１穿刺ラインＮＲ１を重畳表示させる表示制御を実行する。第１穿刺ラインＮＲ１を重畳表示させる表示制御は、具体的には、術野画像２１に第１穿刺ラインＮＲ１を重畳した合成画像を生成し、生成した合成画像をディスプレイ１６に表示する制御である。以下、このような表示制御を、単に重畳表示するともいう。
【0070】
【0071】
図８に示すように、医療支援処理において、プロセッサ４１は、ステップＳ１１００において、内視鏡１３のカメラ１３Ｂが撮影した術野画像２１を取得する。そして、ステップＳ１２００において、プロセッサ４１は、術野画像２１から超音波プローブ１４のマーカＭを検出する。ステップＳ１３００において、プロセッサ４１は、マーカＭに基づいて、超音波プローブ１４のガイド溝２９の位置姿勢情報を導出する。ステップＳ１４００において、プロセッサ４１は、ガイド溝２９の位置姿勢情報に基づいて、術野画像２１における穿刺針１８の第１穿刺ラインＮＲ１を導出する。そして、ステップＳ１５００において、プロセッサ４１は、第１穿刺ラインＮＲ１を術野画像２１に重畳表示する。プロセッサ４１は、こうした処理を表示終了指示が入力されるまで繰り返す（ステップＳ１６００）。
【0072】
以下、個別の処理ステップをより具体的に説明する。まず、図９は、図８に示すステップＳ１２００のマーカＭの検出と、ステップＳ１３００の超音波プローブ１４のガイド溝２９の位置姿勢情報の導出とを概念的に示す図である。図９の補足説明として、図１０及び図１１を適宜参照しながら説明する。
【0073】
図９に示すように、プロセッサ４１は、ステップＳ１２００において、術野画像２１に基づいて、例えば、パターンマッチング等の画像処理手法を用いて、マーカＭを検出する。マーカＭは、一例として、超音波プローブ１４の先端部１４Ｂの軸ＡＸの方向に延びる第１ラインと、先端部１４Ｂの軸方向と直交し、先端部１４Ｂの外周面に沿って周方向に形成される第２ラインとによって構成される格子パターン５６のマーカである。格子パターン５６の格子間隔は一定である。符号５６Ａは、第１ラインと第２ラインとの複数の交点を示す。プロセッサ４１は、術野画像２１の中から、格子パターン５６のようなマーカＭの形態的な特徴を探索することにより、マーカＭを検出する。もちろん、パターンマッチングなどのルールベースの手法に代えて、機械学習モデルを用いたＡＩ（Artificial Intelligence）技術を用いてマーカＭを検出してもよい。
【0074】
プロセッサ４１は、マーカＭを検出することにより、術野画像２１内のマーカＭが存在する領域を特定する。そして、ステップＳ１３００において、まず、マーカＭの格子パターン５６などの形態的な特徴に基づいて、先端部１４Ｂの位置及び姿勢を推定し、最終的にガイド溝２９の位置及び姿勢を表す位置姿勢情報を導出する。具体的には次のとおりである。
【0075】
図１０及び図１１は、術野画像２１内のマーカＭを有する超音波プローブ１４の先端部１４Ｂの位置及び姿勢と、三次元空間として定義した術野ＳＦ内の先端部１４Ｂの位置及び姿勢との対応関係を概念的に示す。三次元空間である術野ＳＦのＺｉｎ軸は、カメラ１３Ｂの撮影光軸と平行な方向であり、Ｘｉｎ－Ｙｉｎ平面（以下、単にＸＹ平面という）はカメラ１３Ｂの撮像面と平行な面であり、撮影光軸と直交する。図１０及び図１１において、ＸＹ平面は術野画像２１の画面と平行である。術野画像２１は、術野ＳＦを１つの視点から投影した投影画像である。そのため、プロセッサ４１は、以下に示すように、術野画像２１内から検出されるマーカＭに基づいて、術野ＳＦにおける先端部１４Ｂの位置及び姿勢を推定することができる。
【0076】
図１０においては、三次元空間の術野ＳＦ内で超音波プローブ１４の先端部１４Ｂの軸方向がカメラ１３Ｂの撮影光軸と直交している状態（より具体的には先端部１４Ｂの軸ＡＸがＸｉｎ軸と平行な状態）を示す。超音波プローブ１４の先端部１４Ｂがこうした姿勢の場合は、術野画像２１においてマーカＭの格子パターン５６の直交するラインはそれぞれＸｉｎ軸及びＹｉｎ軸に平行な状態であり、隣接する交点５６Ａ同士の間隔も同じになる。
【0077】
一方、図１１においては、三次元空間の術野ＳＦ内で超音波プローブ１４の先端部１４Ｂの軸方向がカメラ１３Ｂの撮影光軸と直交しておらず、撮影光軸と平行な奥行き方向に傾斜している状態を示す。図１１に示す姿勢は、先端部１４Ｂの軸ＡＸが図１０に示す姿勢からＹｉｎ軸回りに－１５°程度回転している状態である。先端部１４Ｂがこうした姿勢の場合は、術野画像２１において、マーカＭの格子パターン５６のラインのうち周方向に延びるラインは、奥行方向においてカメラ１３Ｂから遠いほど短くなる。さらに、隣接する交点５６Ａ同士の間隔もカメラ１３Ｂから遠い位置にある交点５６Ａ同士の間隔ほど短くなる。
【0078】
このように、先端部１４Ｂの姿勢によって術野画像２１に写り込むマーカＭの形態が変化する。プロセッサ４１は、このような術野画像２１内のマーカＭの形態に基づいて、術野ＳＦにおける超音波プローブ１４の先端部１４Ｂの姿勢を推定する。具体的には、術野ＳＦ内における先端部１４Ｂの軸ＡＸの向き、すなわち、先端部１４Ｂの軸方向を、先端部１４Ｂの姿勢として検出する。
【0079】
また、術野ＳＦ内において先端部１４Ｂの位置が変化すれば、術野画像２１に写り込むマーカＭの位置も変化する。プロセッサ４１は、マーカＭの位置に基づいて術野ＳＦ内の先端部１４Ｂの位置を推定する。先端部１４Ｂの位置は、例えば、先端部１４Ｂの先端位置などの先端部１４Ｂの基準点の位置である。さらに、術野ＳＦ内におけるカメラ１３ＢからマーカＭまでの撮影距離（すなわち撮影光軸と平行なＺｉｎ軸方向の距離）は、カメラ１３Ｂの焦点距離と、術野画像２１に写るマーカＭの大きさとに基づいて算出することが可能である。プロセッサ４１は、こうした撮影距離及び既知のマーカＭの寸法を含む先端部１４Ｂの寸法情報に基づいて、術野ＳＦ内の先端部１４Ｂの基準点の位置座標を導出することが可能である。
【0080】
プロセッサ４１は、このように導出した先端部１４Ｂの位置及び姿勢と、超音波プローブ１４の寸法情報に含まれる先端部１４Ｂにおけるガイド溝２９の位置関係とに基づいて、術野ＳＦ内における超音波プローブ１４のガイド溝２９の位置及び姿勢を推定する。
【0081】
図１０の例の位置姿勢情報では、例えば、超音波プローブ１４の先端部１４Ｂの位置は、術野ＳＦ内における先端部１４Ｂの基準点の位置座標であるＸ０１、Ｙ０１、Ｚ０１といった情報となる。先端部１４Ｂの姿勢は、術野ＳＦ内における先端部１４Ｂの軸方向として規定されており、例えば、先端部１４Ｂの軸ＡＸは、ＸＹ平面及びＸＺ平面と平行で、かつＹＺ平面と直交するといった情報となる。
【0082】
また、第１ガイド溝２９Ａの位置については、術野ＳＦ内における基準点の位置座標であるＸ１１、Ｙ１１、Ｚ１１といった情報となる。第２ガイド溝２９Ｂの位置については、術野ＳＦ内における基準点の位置座標であるＸ２１、Ｙ２１、Ｚ２１といった情報となる。第１ガイド溝２９Ａ及び第２ガイド溝２９Ｂのそれぞれの姿勢は、軸ＡＸに対する姿勢として規定されており、これは寸法情報として既知の傾斜角θ１および傾斜角θ２となる。
【0083】
図１１の例の位置姿勢情報では、例えば、超音波プローブ１４の先端部１４Ｂの位置は、術野ＳＦ内における先端部１４Ｂの基準点の位置座標であるＸ０２、Ｙ０２、Ｚ０２といった情報となる。先端部１４Ｂの姿勢は、術野ＳＦ内における先端部１４Ｂの軸方向として規定されており、例えば、先端部１４Ｂの軸ＡＸは、ＸＹ平面に対して－１５°、ＸＺ平面と平行、かつＹＺ平面に対して７５°といった情報となる。
【0084】
また、第１ガイド溝２９Ａの位置については、術野ＳＦ内における基準点の位置座標であるＸ１２、Ｙ１２、Ｚ１２といった情報となる。第２ガイド溝２９Ｂの位置については、術野ＳＦ内における基準点の位置座標であるＸ２２、Ｙ２２、Ｚ２２といった情報となる。第１ガイド溝２９Ａ及び第２ガイド溝２９Ｂのそれぞれの姿勢は、軸ＡＸに対する姿勢として規定されており、これは寸法情報として既知の傾斜角θ１および傾斜角θ２となる。
【0085】
そして、図１２に示すように、ステップＳ１４００において、プロセッサ４１は、ガイド溝２９の位置及び姿勢に基づいて、術野画像２１内の穿刺針１８の第１穿刺ラインＮＲ１を導出する。プロセッサ４１は、例えば、三次元空間として規定される術野ＳＦ内の第１ガイド溝２９Ａの位置座標と、先端部１４Ｂの軸ＡＸに対する傾斜角θ１に基づいて、術野ＳＦ内において、第１ガイド溝２９Ａの傾斜角θ１に沿う直線となる第１穿刺ラインＮＲ１を導出する。例えば、第１ガイド溝２９Ａの位置を基点として、そこから第１ガイド溝２９Ａの傾斜角θ１の角度をつけた線分を第１穿刺ラインＮＲ１とする。そして、プロセッサ４１は、この第１穿刺ラインＮＲ１を術野画像２１の二次元座標系に変換することにより、術野画像２１内の第１穿刺ラインＮＲ１を導出する。第２ガイド溝２９Ｂについても同様である。
【0086】
また、第１ガイド溝２９Ａに対する第１穿刺ラインＮＲ１を表示するか、第２ガイド溝２９Ｂに対する第１穿刺ラインＮＲ１を表示するかは、医療スタッフＳＴが操作または設定によって選択できるようになっている。第１穿刺ラインＮＲ１は、選択されたガイド溝２９に応じて導出される。図１２に示す例は、第１ガイド溝２９Ａに対する第１穿刺ラインＮＲ１が表示される例である。
【0087】
ステップＳ１５００において、プロセッサ４１は、導出した第１穿刺ラインＮＲ１を、術野画像２１に重畳表示する。このように、プロセッサ４１は、先端部１４Ｂの位置及び姿勢を表す位置姿勢情報に基づいて、術野画像２１において特定される位置に、穿刺針１８の第１穿刺ラインＮＲ１を重畳表示させる表示制御を実行する。これにより、第１穿刺ラインＮＲ１が重畳表示された術野画像２１はディスプレイ１６に表示される。プロセッサ４１は、医療支援装置１１の起動終了など、表示終了指示が入力されるまで、上記の処理を繰り返し実行する。
【0088】
術野画像２１は、動画としてディスプレイ１６に出力されるため、カメラ１３Ｂによって撮影される実空間の内視鏡１３及び超音波プローブ１４等の位置を反映して、ディスプレイ１６に表示される術野画像２１内の第１穿刺ラインＮＲ１の位置及び姿勢も更新される。
【0089】
穿刺対象の臓器である肝臓ＬＶ内の腫瘍２７を目標位置として、肝臓ＬＶに穿刺針１８を穿刺する場合を例に、本開示の技術の作用効果を説明する。医療スタッフＳＴは、例えば図１及び図５に示すように、第２穿刺ラインＮＲ２が重畳表示された超音波画像２２を観察しながら、超音波プローブ１４の先端部１４Ｂに設けられている超音波トランスデューサ１４Ｃの位置及び姿勢を調整する。具体的には、ガイド溝２９の延長線となる第２穿刺ラインＮＲ２が腫瘍２７を通過する位置に超音波トランスデューサ１４Ｃの位置及び姿勢を調整する。術野画像２１に重畳表示される第１穿刺ラインＮＲ１の位置及び姿勢は、こうした超音波プローブ１４の位置及び姿勢の変化に応じて変化する。超音波画像２２において腫瘍２７を通過するように第２穿刺ラインＮＲ２が表示されている場合、第２穿刺ラインＮＲ２は、肝臓ＬＶ内における穿刺針１８の理想的な穿刺経路を示している。この状態で、超音波プローブ１４の位置及び姿勢は、穿刺が行われる間、固定される。
【0090】
そして、この状態における術野画像２１内の第１穿刺ラインＮＲ１は、例えば、一例として図１２に示すように、患者ＰＴの体表ＢＳから穿刺対象の肝臓ＬＶの表面に至る体腔内における穿刺針１８の理想的な穿刺経路を示していることになる。
【0091】
図１２に示すような理想的な第１穿刺ラインＮＲ１が重畳表示されている術野画像２１を観察しながら、医療スタッフＳＴは、まずは、体外において、穿刺針１８が、理想的な第１穿刺ラインＮＲ１に沿って挿入されるように穿刺針１８の位置及び姿勢を調整する。具体的には、第１穿刺ラインＮＲ１に対応するおおよその挿入位置ＮＰを探し、その挿入位置ＮＰから穿刺針１８を患者ＰＴの体表ＢＳに穿刺する。そして、第１穿刺ラインＮＲ１の表示を見ながら、穿刺針１８の位置及び姿勢を調整しながら、体腔内において超音波プローブ１４の第１ガイド溝２９Ａに向けて穿刺針１８を挿入する。第１穿刺ラインＮＲ１は、第１ガイド溝２９Ａを基点として表示されているから、第１穿刺ラインＮＲ１に沿って穿刺針１８を挿入することにより、簡単に第１ガイド溝２９Ａに到達させることができる。
【0092】
穿刺針１８が第１ガイド溝２９Ａに到達した後は、図１、図２及び図５に示すような超音波画像２２の第２穿刺ラインＮＲ２を確認しながら、第２穿刺ラインＮＲ２に沿って穿刺針１８を肝臓ＬＶに穿刺することで、目標位置である腫瘍２７に対して穿刺針１８を穿刺することができる。穿刺針１８が腫瘍２７に穿刺された状態で、一例として腫瘍２７の焼灼が行われる。
【0093】
以上説明したとおり、本開示の技術に係る医療支援装置１１は、プロセッサ４１を備え、プロセッサ４１は、患者ＰＴ（被検体の一例）の体内を撮影する内視鏡１３のカメラ１３Ｂ（体内カメラの一例）によって撮影された術野画像２１（体内画像の一例）であって、穿刺針１８によって穿刺される肝臓ＬＶ（臓器の一例）と、体内に挿入される超音波プローブ１４（医療機器の一例）の挿入部１４Ａと、挿入部１４Ａに設けられた画像認識可能なマーカＭとが撮影範囲に含まれる術野画像２１を取得する。そして、プロセッサ４１は、マーカＭに基づいて、術野画像２１内における挿入部１４Ａの位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出する。さらに、プロセッサ４１は、位置姿勢情報に基づいて術野画像２１内において特定される位置に、穿刺針１８の第１穿刺ラインＮＲ１を重畳表示させる表示制御を実行する。
【0094】
本開示の技術において、第１穿刺ラインＮＲ１を重畳表示するハードウェア的な構成は、単に超音波プローブ１４などの医療機器の挿入部にマーカを設けるだけ済む。そのため、磁気システムといった大掛かりな装置も不要である。加えて、従来の医療機器を流用する場合でも、挿入部の外装の改変だけで済むため、マーカ用の光源を内蔵する構成と比較しても簡便である。そのため、医療支援装置１１は、簡便な構成で、超音波プローブ１４を一例とする医療機器の位置又は姿勢に応じた適切な位置に穿刺針１８の第１穿刺ラインＮＲ１の表示が可能になる。
【0095】
上記実施形態では、患者ＰＴの体内に挿入される医療機器は、肝臓ＬＶ等の臓器の内部構造を観察可能な超音波プローブ１４（医用プローブの一例）である。体内の臓器に対して穿刺針１８による穿刺を施す処置は、臓器の内部構造を観察可能な医用プローブを用いて行われることが多い。そのため、上記実施形態のように、医療機器として医用プローブを使用する場合には、本開示の技術は特に有効である。さらに、超音波プローブ１４は、穿刺針１８と組み合わされて使用されることが比較的多い。そのため、医用プローブとして超音波プローブ１４を用いる場合は、本開示の技術はさらに有効である。なお、臓器の内部構造を観察可能な医用プローブとしては、超音波プローブ１４以外でもよく、例えば、光干渉断層撮影（ＯＣＴ：Optical Coherence Tomography）プローブ等でもよい。
【0096】
なお、医療機器としては、臓器の内部構造を観察可能な医用プローブでなくてもよい。例えば、医療機器としては、内部構造の観察機能を持たず、先端部に穿刺針１８のガイド溝２９のみを有する処置具でもよい。例えば、臓器の表面に腫瘍がある場合において、表面の腫瘍に対して穿刺針１８を穿刺する処置を施す場合は、このような内部構造の観察機能を持たない処置具であっても、ガイド溝２９さえあれば、穿刺針１８を適切にガイドすることができる。この場合は、例えば、医療スタッフＳＴは、処置具のガイド溝２９を、臓器の表面の腫瘍に対応する位置に位置合わせし、その状態で、ガイド溝２９を通じて穿刺針１８を腫瘍に穿刺する。
【0097】
また、上記実施形態では、医療機器として、ガイド溝２９を有する超音波プローブ１４等の医用プローブを用いている。そして、プロセッサ４１は、マーカＭとガイド溝２９との相対的な位置関係（一例として超音波プローブ１４の寸法情報）に基づいて、術野画像２１において第１穿刺ラインＮＲ１を重畳する位置を特定している。穿刺針１８は、穿刺針１８をガイドするガイド溝２９を有する医用プローブと組み合わせて使用されることが多い。そのため、本開示の技術は、医療機器として、ガイド溝２９を有する医用プローブを用いる場合に特に有効である。
【0098】
さらに、医療機器としては、ガイド溝２９を持たない単なる棒のような処置具でもよい。臓器の表面に腫瘍があるような場合は、このような処置具であっても、腫瘍を指し示すことが可能である。処置具で臓器の表面の腫瘍を指し示した術野画像２１に第１穿刺ラインＮＲ１を重畳表示するだけでも、穿刺針１８の穿刺方向等を確認するための目安となる。そのため、医療機器がガイド溝２９を持たない処置具であっても、本開示の技術は有効である。
【0099】
［第２実施形態］
第１実施形態の図１２に示したように術野画像２１内に第１穿刺ラインＮＲ１を重畳表示されたとしても、術野画像２１においては術野ＳＦの奥行の情報が不足しているため、図５及び図６において示した第１穿刺ラインＮＲ１と体表ＢＳの交点である挿入位置ＮＰを正確に把握することができない場合がある。図１３～図１９に示す第２実施形態は、このような第１実施形態の課題を解決することを目的として、術野画像２１に重畳表示する第１穿刺ラインＮＲ１に対応する挿入位置ＮＰを把握するための情報を、ユーザに提供する形態である。
第１実施形態の図１２に示したように術野画像２１内に第１穿刺ラインＮＲ１を重畳表示されたとしても、術野画像２１においては術野ＳＦの奥行の情報が不足しているため、図５及び図６において示した第１穿刺ラインＮＲ１と体表ＢＳの交点である挿入位置ＮＰを正確に把握することができない場合がある。図１３～図１９に示す第２実施形態は、このような第１実施形態の課題を解決することを目的として、術野画像２１に重畳表示する第１穿刺ラインＮＲ１に対応する挿入位置ＮＰを把握するための情報を、ユーザに提供する形態である。
【0100】
一例として、図１３に示すように、患者ＰＴの体表ＢＳを指ＦＧで押圧する押圧操作を体外から行うことを考える。図５及び図６にも示したように、鏡視下手術においては、体腔内が気腹されているため、体表ＢＳは体腔から体外方向に向けて凸型に膨出している。このような体表ＢＳへの押圧操作が行われると、体表ＢＳの内側の体腔の内壁Ｗにおいて、押圧位置に対応する部分が体内方向に向けて隆起し、隆起部ＰＲが生じる。
【0101】
そして、図１４に示すように、例えば、第１穿刺ラインＮＲ１が重畳表示された状態の術野画像２１をディスプレイ１６に表示中に、医療スタッフＳＴは、指ＦＧによる押圧位置をディスプレイ１６で確認しながら、体表ＢＳの押圧操作を複数回行う。そうすると、図１４の下段の術野画像２１に示すように、医療スタッフＳＴは、第１穿刺ラインＮＲ１と隆起部ＰＲとが交差する押圧位置を探し当てることができる。しかし、上述のとおり、術野画像２１には奥行の情報が不足している。そのため、１つの視点の術野画像２１において第１穿刺ラインＮＲ１と隆起部ＰＲとが交差していることを確認するだけでは、三次元空間の術野ＳＦ内において、第１穿刺ラインＮＲ１と隆起部ＰＲとが三次元的に交差しているか否かを確定することができない。そこで、第２実施形態では、第１穿刺ラインＮＲ１と隆起部ＰＲとが三次元空間上で交差しているか否かを判定する三次元的な交差判定を実行する。図１５～図１９を参照しながら具体的に説明する。
【0102】
図１５は、三次元的な交差判定を行う場合の医療支援処理の全体的な処理手順を示すフローチャートの一例である。図１５に示すフローチャートは、ステップＳ１１００～Ｓ１５００までのステップ、及びステップＳ１６００は、図８に示す第１実施形態のフローチャートと同様である。以下、相違点を中心に説明する。相違点は、破線で示すステップＳ１５１０～Ｓ１５３０のステップである。
【0103】
図１５に一例として示すように、三次元的な交差判定は、ステップＳ１５００において第１穿刺ラインＮＲ１が重畳表示された状態で、医療スタッフＳＴの操作指示が入力された場合に開始される。医療スタッフＳＴは、指ＦＧによる体表ＢＳへの押圧操作を行った状態で、三次元的な交差判定を開始させるための操作指示を入力する。プロセッサ４１は、ステップＳ１５１０において、操作指示が入力されることを待機し、操作指示が入力された場合に（ステップＳ１５１０でＹ）、ステップＳ１５２０に移行し、三次元的な交差判定を実行する。
【0104】
ステップＳ１５２０の三次元的な交差判定は、異なる２つの視点の術野画像２１に基づく第１穿刺ラインＮＲ１と隆起部ＰＲとの三次元的な交差判定である。
【0105】
図１６に示すように、まず、プロセッサ４１は、ステップＳ１５２１において、２つの視点の術野画像２１に基づく二次元的な交差判定を実行する。
【0106】
まず、ステップＳ１５２１Ａ１において、プロセッサ４１は、押圧操作が行われ、かつ第１穿刺ラインＮＲ１が重畳表示されている状態の異なる２つの第１視点ＶＰ１及び第２視点ＶＰ２の術野画像２１を取得する。
【0107】
図１７及び図１８に模式的に示すように、指ＦＧによる体表ＢＳの押圧操作を行っている状態で、医療スタッフＳＴは、内視鏡１３を操作することにより、カメラ１３Ｂの視点を変更する。そして、一例として、第１視点ＶＰ１から第２視点ＶＰ２へ変更する前後において、医療スタッフＳＴは、現在の視点位置が変更前の視点位置か変更後の視点位置かをプロセッサ４１に対して入力する。これにより、プロセッサ４１は変更前の第１視点ＶＰ１と第２視点ＶＰ２の２つの術野画像２１を取得することができる。
【0108】
なお、カメラ１３Ｂの視点変化をマニュアル操作によって検出する方法に代えて、プロセッサ４１が画像解析によりカメラ１３Ｂの移動による視点変化を検出してもよい。この場合は、例えば、プロセッサ４１は、動画として取得した過去のフレームを一定数記憶しておき、視点変化を検出した場合に、その前後のフレームをそれぞれ、第１視点ＶＰ１と第２視点ＶＰ２の２つの術野画像２１として取得する。
【0109】
プロセッサ４１は、次に、ステップＳ１５２１Ａ２に移行し、第１視点ＶＰ１及び第２視点ＶＰ２のそれぞれの術野画像２１内の交差を判定する。
【0110】
ステップＳ１５２１Ａ２において、プロセッサ４１は、まず、各術野画像２１において隆起部ＰＲを検出する。隆起部ＰＲの検出は、例えば、パターンマッチングまたは機械学習モデルを用いた画像解析手法により行われる。内壁Ｗは、指ＦＧによる押圧操作が行われていない状態でも起伏を有するが、上述のとおり、鏡視下手術においては体腔内が気腹されているため、内壁Ｗは全体としては体外方向に向けて凸型に膨出している。このような状態で指ＦＧによって押圧操作が行われるので、押圧操作で生じる隆起部ＰＲは、気腹による膨出方向とは逆向きに突出することになる。そのため、隆起部ＰＲは、サイズ及び形状において自然な起伏とは異なる特徴が認められるので、隆起部ＰＲを画像解析手法によって検出することが可能となる。
【0111】
もちろん、このような画像解析を利用して隆起部ＰＲを検出する方法以外でも、医療スタッフＳＴの目視による確認作業を利用して、隆起部ＰＲを検出してもよい。例えば、ディスプレイ１６をタッチパネルで構成し、医療スタッフＳＴがタッチパネルに表示されている術野画像２１内の隆起部ＰＲの位置を目視で確認する。そして、医療スタッフＳＴが隆起部ＰＲの位置をタッチパネルから指定する操作の入力に基づいて、プロセッサ４１が隆起部ＰＲを検出してもよい。
【0112】
隆起部ＰＲを検出した場合は、プロセッサ４１は、異なる第１視点ＶＰ１及び第２視点ＶＰ２のそれぞれの術野画像２１において、隆起部ＰＲと第１穿刺ラインＮＲ１との交点ＸＰを検出する。プロセッサ４１は、術野画像２１における第１穿刺ラインＮＲ１の位置は、既知の情報として保持しているので、検出した隆起部ＰＲの術野画像２１における位置と第１穿刺ラインＮＲ１の位置とを照合することにより、交点ＸＰを検出する。
【0113】
プロセッサ４１は、このようなステップＳ１５２１における二次元的な交差判定を行い、二次元的な交差判定の判定結果に基づいて、ステップＳ１５２２以降において、三次元的な交差を判定する。
【0114】
図１７に示すように、異なる第１視点ＶＰ１及び第２視点ＶＰ２の術野画像２１の両方において交点ＸＰが検出された場合は、体内の三次元空間である術野ＳＦにおいて隆起部ＰＲと第１穿刺ラインＮＲ１とが交差していると考えられる。この場合は、第１穿刺ラインＮＲ１と内壁Ｗ側の交点が適切な挿入位置ＮＰとなる。
【0115】
ステップＳ１５２２において、プロセッサ４１は、異なる第１視点ＶＰ１及び第２視点ＶＰ２の両方の術野画像２１において、隆起部ＰＲと第１穿刺ラインＮＲ１とが交差しているか否かを判定する。そして、ステップＳ１５２２の判定が肯定された場合（ステップＳ１５２２でＹ）は、プロセッサ４１は、ステップＳ１５２３に移行し、隆起部ＰＲと第１穿刺ラインＮＲ１とが三次元的に交差していると判定する。すなわち、プロセッサ４１は、体内の三次元空間である術野ＳＦにおいて隆起部ＰＲと第１穿刺ラインＮＲ１とが交差していると判定する。
【0116】
一方、図１８に示す例では、第１視点ＶＰ１の術野画像２１では交点ＸＰが検出されるが、第２視点ＶＰ２の術野画像２１では交点ＸＰが検出されていない。このように、異なる第１視点ＶＰ１及び第２視点ＶＰ２の両方において交点ＸＰが検出されない場合は、体内の三次元空間である術野ＳＦにおいて隆起部ＰＲと第１穿刺ラインＮＲ１とが交差していないと考えられる。この場合は、第１穿刺ラインＮＲ１と内壁Ｗ側の交点は適切な挿入位置ＮＰとはならない。
【0117】
ステップＳ１５２２の判定が否定された場合（ステップＳ１５２２でＮ）は、プロセッサ４１は、ステップＳ１５２４に移行し、隆起部ＰＲと第１穿刺ラインＮＲ１とが三次元的に交差していないと判定する。すなわち、プロセッサ４１は、体内の三次元空間である術野ＳＦにおいて隆起部ＰＲと第１穿刺ラインＮＲ１とが交差していないと判定する。
【0118】
ここで、交点ＸＰは、一例として、隆起部ＰＲの頂点から裾野までの領域の範囲内のどこかで隆起部ＰＲと第１穿刺ラインＮＲ１とが交差している点である。交点ＸＰは、例えば、隆起部ＸＰの頂点部分と第１穿刺ラインＮＲ１とが交差している点でもよい。しかし、本例では、隆起部ＰＲの裾野までの幅を持った領域での第１穿刺ラインＮＲ１との交差も交点ＸＰとして検出している。このように交点ＸＰを検出する範囲に幅を持たせると、決定する挿入位置ＮＰにも幅が生じることになるが、実際上は、問題はない。というのも、体表ＢＳ及び内壁Ｗは柔軟性を持っているため、多少、穿刺針１８の挿入位置ＮＰがずれていても、穿刺針１８の穿刺方向を修正することが可能であるからである。
【0119】
プロセッサ４１は、ステップＳ１５２０の三次元的な交差判定を終了した後、図１５に示すステップＳ１５３０において、判定結果を報知する。判定結果の報知の方法としては、例えば、術野画像２１上において第１穿刺ラインＮＲ１を点滅させたり、色を変えたり、線を太くしたり、輝度を上げたりといった方法が考えられる。また、三次元的に交差している旨のメッセージを表示してもよい。また、このような視覚的な方法以外でもよく、例えば、三次元的に交差している旨のメッセージを音声で報知してもよいし、警告音を発してもよい。
【0120】
医療スタッフＳＴは、ステップＳ１５３０の判定結果を確認することにより、第１穿刺ラインＮＲ１と隆起部ＰＲとが三次元的に交差する、体表ＢＳ上の押圧位置を把握し、その結果、穿刺針１８の適切な挿入位置ＮＰを把握することが可能となる。
【0121】
なお、ステップＳ１５２１の二次元的な交差判定の手順としては、図１６に示す手順以外でもよく、例えば図１９に示す手順でもよい。図１６に示す手順では、指ＦＧによる押圧操作が継続されている状態でで、プロセッサ４１は、異なる第１視点ＶＰ１及び第２視点ＶＰ２の２つの術野画像２１を取得した後に、取得した２つの術野画像２１のそれぞれについて二次元的な交差判定を行っている。第１視点ＶＰ１の術野画像２１と第２視点ＶＰ２の術野画像２１は、押圧操作などの操作が継続されている状態で取得される第１体内画像と第２体内画像の一例である。
【0122】
これに対して、図１９に示す手順では、操作は、同じ位置に対して異なるタイミングで行われる第１操作と第２操作の２回の操作を含んでおり、それぞれのタイミングで異なる視点の術野画像２１が取得される。すなわち、プロセッサ４１は、まず、ステップＳ１５２１Ｂ１において、１回目の押圧操作である第１操作が行われ、かつ第１穿刺ラインＮＲ１が重畳表示されている状態の第１視点ＶＰ１の第１の術野画像２１（第１体内画像の一例）を取得する。そして、ステップＳ１５２１Ｂ２において、プロセッサ４１は、第１の術野画像２１内の隆起部ＰＲと第１穿刺ラインＮＲ１との二次元的な交差を判定する。この判定は第１判定の一例である。
【0123】
次に、プロセッサ４１は、ステップＳ１５２１Ｂ３において、２回目の押圧操作である第２操作が行われ、かつ第１穿刺ラインＮＲ１が重畳表示されている状態の第２視点ＶＰ２の第２の術野画像２１（第２体内画像の一例）を取得する。ここで、２回目の押圧操作が行われる押圧位置は、１回目の押圧位置と同じ位置である。そして、ステップＳ１５２１Ｂ４において、第２の術野画像２１内の隆起部ＰＲと第１穿刺ラインＮＲ１との二次元的な交差を判定する。この判定は第２判定の一例である。ステップＳ１５２３以降の処理は、図１６の手順と同様である。
【0124】
【0125】
以上説明したとおり、第２実施形態においては、プロセッサ４１は、体内の内壁Ｗに変化を生じさせる操作の一例である押圧操作が体外から行われ、かつ穿刺経路を示す第１穿刺ラインＮＲ１が重畳表示されている状態の体内画像の一例である術野画像２１であって、少なくとも２つの異なる第１視点ＶＰ１及び第２視点ＶＰ２で撮影された２つの術野画像２１を取得する。そして、プロセッサ４１は、２つの術野画像２１に基づいて、体内の三次元空間において内壁Ｗが変化する変化位置の一例である隆起部ＰＲと第１穿刺ラインＮＲ１が交差するか否かを判定し、判定結果を報知する。そのため、第２実施形態では、第１実施形態において不足する奥行の情報を考慮した第１穿刺ラインＮＲ１の情報を提供することができる。その結果、医療スタッフＳＴは、第１穿刺ラインＮＲ１と内壁Ｗとが三次元的に交差する適切な挿入位置ＮＰを把握することができる。
【0126】
また、上記例において、プロセッサ４１は、２つの術野画像２１の両方において、内壁Ｗに変化が生じた変化位置の一例である隆起部ＰＲと重畳表示された穿刺経路である第１穿刺ラインＮＲ１とが二次元的に交差する場合に、隆起部ＰＲと第１穿刺ラインＮＲ１とが三次元空間において交差していると判定する。このように、２つの術野画像２１における二次元的な交差の判定によって三次元的な交差を判定するため、簡便な処理で三次元的な交差を判定することができる。
【0127】
上記第２実施形態において、押圧操作は、「体内の内壁Ｗに変化を生じさせる操作」の一例であり、隆起部ＰＲは、内壁Ｗが変化する「変化位置」の一例である。内壁Ｗに変化を生じさせる操作は、押圧操作以外でもよく、例えば、体外からの光照射、あるいは色素注入といった操作でもよい。押圧操作は、内壁Ｗに形状的な変化を生じさせる操作である。光照射は、例えば、レーザポインタなどを用いて体表ＢＳに光を照射することにより、照射位置に対応する内壁Ｗ部分に輝度変化を生じさせる操作である。この場合は、輝度変化を生じる位置が「変化位置」となる。色素注入は、体表ＢＳに色素を注入することにより、内壁Ｗに色変化を生じさせる操作である。この場合は、色変化を生じる位置が「変化位置」となる。例えば、プロセッサ４１は、術野画像２１の画素値（輝度情報及び色情報を含む）に基づいて、輝度変化又は色変化が生じる変化位置を検出することが可能である。このように、体内の内壁Ｗに変化を生じさせる操作は、体外から行われ、内壁Ｗに何らかの変化を生じさせる操作であればよい。
【0128】
なお、内壁Ｗに変化を生じさせる操作を、押圧操作とすることで、道具を用いることなく、簡便な操作で内壁Ｗに変化を生じさせることができる。また、隆起部ＰＲは形状変化であるため、輝度変化又は色変化と比較して画像認識を行いやすい場合がある。
【0129】
また、２つの視点の術野画像２１を用いて三次元的な交差判定を行う例で説明したが、３つ以上の視点の術野画像２１を用いてもよい。
【0130】
（第２実施形態の変形例１：操作履歴）
一例として図２０に示すように、例えば指ＦＧによる押圧操作等、内壁Ｗに変化を生じさせる操作が複数行われる場合において、プロセッサ４１は、複数回の操作のそれぞれの変化位置の履歴である操作履歴を術野画像２１に重畳表示してもよい。図２０においては、変化位置の履歴の一例として、押圧操作の操作履歴を示している。
一例として図２０に示すように、例えば指ＦＧによる押圧操作等、内壁Ｗに変化を生じさせる操作が複数行われる場合において、プロセッサ４１は、複数回の操作のそれぞれの変化位置の履歴である操作履歴を術野画像２１に重畳表示してもよい。図２０においては、変化位置の履歴の一例として、押圧操作の操作履歴を示している。
【0131】
プロセッサ４１は、隆起部ＰＲを検出した場合に、検出した隆起部ＰＲの検出位置を一時的に記録し、過去に行われた複数回の操作によって生じた隆起部ＰＲ（図２０においてＰＲ１、ＰＲ２、及びＰＲ３として例示）を、術野画像２１のそれぞれの検出位置に重畳表示する。これにより、医療スタッフＳＴは、自分が押圧した過去の押圧位置と第１穿刺ラインＮＲ１との相対的な位置関係を確認することができる。そのため、同じ押圧位置を繰り返し押圧するといったことが抑制されるため、挿入位置ＮＰの探索効率が向上する。
【0132】
（第２実施形態の変形例２：カメラの視点変化に追従）
また、一例として図２１に示すように、図２０に示した操作履歴をカメラ１３Ｂの視点変化に追従させてもよい。すなわち、プロセッサ４１は、複数回の押圧操作等の複数回の操作の間に体内カメラの視点が移動した場合において、視点の移動量を反映して変化位置の履歴の一例である隆起部ＰＲの履歴を表示する。
また、一例として図２１に示すように、図２０に示した操作履歴をカメラ１３Ｂの視点変化に追従させてもよい。すなわち、プロセッサ４１は、複数回の押圧操作等の複数回の操作の間に体内カメラの視点が移動した場合において、視点の移動量を反映して変化位置の履歴の一例である隆起部ＰＲの履歴を表示する。
【0133】
一例として図２１に示すように、操作履歴として隆起部ＰＲ１と隆起部ＰＲ２を表示する場合において、経時的にカメラ１３Ｂの視点が第１視点ＶＰ１から第２視点ＶＰ２に変化した場合を考える。この場合は、時刻Ｔ１において取得した第１視点ＶＰ１の術野画像２１に重畳表示された隆起部ＰＲ１と隆起部ＰＲ２の表示位置と、時刻Ｔ２において取得した第２視点ＶＰ２の術野画像２１に重畳表示された隆起部ＰＲ１と隆起部ＰＲ２の表示位置は、当然ながら変化する。プロセッサ４１は、カメラ１３Ｂの視点の移動量を検出することにより、移動量に応じて過去の操作履歴である隆起部ＰＲ１と隆起部ＰＲ２の表示位置を補正する。
【0134】
一例として図２２に示すように、プロセッサ４１は、マーカＭに基づいてカメラ１３Ｂの視点の移動量を検出する。例えば、図５及び図６で示したように、穿刺針１８を腫瘍２７に穿刺する場合は、一例として、超音波画像２２において腫瘍２７と第２穿刺ラインＮＲ２とが重なった位置で、超音波プローブ１４は固定される。このように超音波プローブ１４の位置が固定された状態で、カメラ１３Ｂの視点を第１視点ＶＰ１から第２視点ＶＰ２に移動した場合は、第１視点ＶＰ１の術野画像２１と第２視点ＶＰ２の術野画像２１のそれぞれにおいて、先端部１４Ｂに設けられたマーカＭの写り方が変化する。プロセッサ４１は、図１０及び図１１を用いて説明した要領で超音波プローブ１４の先端部１４Ｂの位置姿勢情報を導出する。ここで、先端部１４Ｂの位置は固定されているため、第１視点ＶＰ１の術野画像２１から導出した位置姿勢情報と、第２視点ＶＰ２の術野画像２１から導出した位置姿勢情報の変化量は、カメラ１３Ｂの視点の移動量に対応する。そのため、プロセッサ４１は、異なる第１視点ＶＰ１及び第２視点ＶＰ２の２つの術野画像２１に写るマーカＭの位置姿勢情報に基づいて、カメラ１３Ｂの視点の移動量を検出することができる。そして、プロセッサ４１は、検出した移動量に応じて、操作履歴の表示位置を補正する。操作履歴は、隆起部ＰＲの表示位置として示したとおり、内壁Ｗの変化位置の履歴の一例である。
【0135】
このように、カメラ１３Ｂの視点の移動量を反映して、内壁Ｗの変化位置の履歴を表示することにより、カメラ１３Ｂの視点が変化しても、内壁Ｗの変化位置の履歴を適切な位置に表示することができる。
【0136】
（第２実施形態の変形例３）
第２実施形態において、上記例では、隆起部ＰＲ等の内壁Ｗの変化位置と第１穿刺ラインＮＲ１との交点ＸＰに対応する挿入位置ＮＰの正確な情報を画像解析により提示する例で説明したが、画像解析を用いることなく、提示できる場合もある。
第２実施形態において、上記例では、隆起部ＰＲ等の内壁Ｗの変化位置と第１穿刺ラインＮＲ１との交点ＸＰに対応する挿入位置ＮＰの正確な情報を画像解析により提示する例で説明したが、画像解析を用いることなく、提示できる場合もある。
【0137】
一例として図２３に示すように、超音波プローブ１４の先端部１４Ｂの軸ＡＸと、内視鏡１３のカメラ１３Ｂの撮影光軸ＡＸＯとが略直交しているような場合を考える。この場合は、軸ＡＸの方向に沿って押圧位置を変化させても、奥行方向の位置は変化しない。そのため、軸ＡＸの方向に沿って押圧位置を変化させることにより、術野画像２１において、隆起部ＰＲと第１穿刺ラインＮＲ１とが二次元的に交差している交点ＸＰを探し出せれば、その交点ＸＰは、三次元的にも交差している点であると確定することができる。このように、超音波プローブ１４の先端部１４Ｂの軸ＡＸと、内視鏡１３のカメラ１３Ｂの撮影光軸ＡＸＯとが略直交しているような限定的な場合には、画像解析によらずに三次元的な交差を判定することが可能となる。
【0138】
［第３実施形態］
一例として図２４～図２６に示す第３実施形態において、プロセッサ４１は、カメラ１３Ｂの視点からの奥行方向の距離である深度の分布を表す体内の深度マップＤＭＰに基づいて、体内の内壁Ｗと第１穿刺ラインＮＲ１との三次元空間における交点を導出する。深度マップＤＭＰは、本開示の技術に係る「深度情報」の一例である。
一例として図２４～図２６に示す第３実施形態において、プロセッサ４１は、カメラ１３Ｂの視点からの奥行方向の距離である深度の分布を表す体内の深度マップＤＭＰに基づいて、体内の内壁Ｗと第１穿刺ラインＮＲ１との三次元空間における交点を導出する。深度マップＤＭＰは、本開示の技術に係る「深度情報」の一例である。
【0139】
図２４は、第３実施形態の医療支援処理の全体的な手順の一例を示すフローチャートである。図２４に示すフローチャートにおいて、第２実施形態の図１５に示すフローチャートと異なる点は、ステップＳ１５１０～ステップＳ１５３０に代えて、ステップＳ１５６０～ステップＳ１５８０が加わった点である。すなわち、第３実施形態の一例を示す図２４においては、第２実施形態で行われる第１穿刺ラインＮＲ１と内壁Ｗの変化位置（一例として隆起部ＰＲ）との三次元的な交差判定を行う代わりに、深度マップＤＭＰに基づいて第１穿刺ラインＮＲ１と内壁Ｗとの三次元的な交点ＸＰを表示する。以下、第３実施形態について、第２実施形態との相違点を中心に説明する。
【0140】
ステップＳ１５６０において、プロセッサ４１は、第１穿刺ラインＮＲ１と内壁Ｗとの三次元的な交点表示の指示を受け付ける。交点表示の操作指示が入力された場合は（ステップＳ１５６０でＹ）、プロセッサ４１は、深度マップＤＭＰに基づいて第１穿刺ラインＮＲ１と内壁Ｗとの三次元的な交点ＸＰを導出する。そして、ステップＳ１５６０において、三次元的な交点ＸＰを術野画像２１に重畳表示する。
【0141】
図２５は、深度マップＤＭＰの取得方法の一例を示す。図２５に示す例では、カメラ１３Ｂとして、ステレオカメラを用いる例である。図２５に示すステレオカメラとしてのカメラ１３Ｂは、複数のカメラ１３Ｂ１とカメラ１３Ｂ２とを有する。カメラ１３Ｂ１とカメラ１３Ｂ２とは間隔を空けて配置されており、この間隔は基線長Ｌとなる。また、カメラ１３Ｂ１とカメラ１３Ｂ２の焦点距離は同じである。プロセッサ４１は、カメラ１３Ｂ１の第１視点ＶＰ１によって撮影される術野画像２１と、カメラ１３Ｂ２の第２視点ＶＰ２によって撮影される術野画像２１とを取得する。そして、異なる第１視点ＶＰ１及び第２視点ＶＰ２のそれぞれの術野画像２１に基づいて深度マップＤＭＰを生成する。プロセッサ４１は、カメラ１３Ｂの焦点距離と、基線長Ｌと、異なる２つの視点の術野画像２１の両方に写る同じ被写体の視差とに基づいて、三角測量の原理により、深度マップＤＭＰを生成する。深度マップＤＭＰでは、術野ＳＦ内の各位置の奥行方向の距離が示されている。また、第１穿刺ラインＮＲ１の術野ＳＦ内の座標は、図１０及び図１１等を用いて説明したマーカＭを利用する方法で取得することができる。そのため、図２６に示すように、プロセッサ４１は、深度マップＤＭＰに基づいて、内壁Ｗと第１穿刺ラインＮＲ１との交点ＸＰを導出することができる。
【0142】
このように、第３実施形態においては、プロセッサ４１は、深度情報の一例である深度マップＤＭＰに基づいて、内壁Ｗと穿刺経路の一例である第１穿刺ラインＮＲ１との三次元空間における交点ＸＰを導出する。このため、第２実施形態のように押圧操作などの内壁Ｗに変化を生じさせる操作を行うことなく、第１穿刺ラインＮＲ１と内壁Ｗとの三次元的な交点ＸＰを導出することができる。
【0143】
図２５に示す例のステレオカメラは、術野ＳＦについての「深度の推定が可能なカメラ」の一例である。深度の推定が可能なカメラとしては、ステレオカメラの他にも、カメラ１３Ｂとして距離センサを有するカメラを用いてもよい。距離センサは例えば赤外線を利用するセンサである。赤外線を利用する距離センサは、被写体に向けて赤外線を照射して、被写体において反射した赤外線を受光する。被写体で反射した赤外線は、被写体までの距離に応じて強度が変化する。距離センサは、強度に応じた電圧を検出することにより距離を測定する。プロセッサ４１は、このような距離センサによって術野ＳＦ内を全体的に走査することにより得た情報に基づいて、深度マップＤＭＰを生成することができる。
【0144】
（深度マップの取得方法の変形例１）
深度マップＤＭＰは、ステレオカメラのような深度の推定がカメラを用いる方法以外でも、取得することができる。例えば、図２７に示すように、プロセッサ４１は、１つのカメラ１３Ｂで取得した、第１視点ＶＰ１及び第２視点ＶＰ２の異なる２つの視点の術野画像２１に基づいて、深度マップＤＭＰを生成してもよい。つまり、図２７に示す方法は、ステレオカメラを用いる代わりに１つカメラ１３Ｂを移動させることにより、異なる２つの視点の術野画像２１を取得する方法である。この場合は、カメラ１３Ｂを移動させて視点を変化させる。基線長Ｌはカメラ１３Ｂの移動量に対応する。カメラ１３Ｂの移動量は、図２１を用いて説明したように、先端部１４Ｂが１つの位置に固定された状態のマーカＭに基づいて検出することが可能である。
深度マップＤＭＰは、ステレオカメラのような深度の推定がカメラを用いる方法以外でも、取得することができる。例えば、図２７に示すように、プロセッサ４１は、１つのカメラ１３Ｂで取得した、第１視点ＶＰ１及び第２視点ＶＰ２の異なる２つの視点の術野画像２１に基づいて、深度マップＤＭＰを生成してもよい。つまり、図２７に示す方法は、ステレオカメラを用いる代わりに１つカメラ１３Ｂを移動させることにより、異なる２つの視点の術野画像２１を取得する方法である。この場合は、カメラ１３Ｂを移動させて視点を変化させる。基線長Ｌはカメラ１３Ｂの移動量に対応する。カメラ１３Ｂの移動量は、図２１を用いて説明したように、先端部１４Ｂが１つの位置に固定された状態のマーカＭに基づいて検出することが可能である。
【0145】
なお、カメラ１３Ｂの視点の移動量及び異なる視点の２つの術野画像２１の両方に写っている被写体の視差を検出するために、超音波プローブ１４のマーカＭに加えて、またはそれに代えて別のマーカを用いてもよい。別のマーカは、例えば、術野ＳＦの１つの位置に固定され、この状態で異なる視点の２つの術野画像２１が取得される。超音波プローブ１４は、移動するおそれもあるので、超音波プローブ１４よりも移動するおそれの少ないマーカを用いれば、視点の移動量及び視差を正確に検出することが可能となり、最終的に取得する深度の精度も向上すると考えられる。
【0146】
２つの視点の術野画像２１から深度マップＤＭＰを生成する方法は、図２５に示したステレオカメラの場合と同様である。本例によれば、ステレオカメラを用いずに深度マップＤＭＰを生成することができる。
【0147】
（深度マップの取得方法の変形例２）
また、深度マップＤＭＰの取得方法としては、２つの視点の術野画像２１に基づいて三角測量の原理で生成することにより取得する方法に限らず、一例として図２８に示すように、１つの術野画像２１から生成することにより取得することも可能である。
また、深度マップＤＭＰの取得方法としては、２つの視点の術野画像２１に基づいて三角測量の原理で生成することにより取得する方法に限らず、一例として図２８に示すように、１つの術野画像２１から生成することにより取得することも可能である。
【0148】
図２８に示す例では、プロセッサ４１は、機械学習モデルＬＭを用いて深度マップＤＭＰを生成する。機械学習モデルＬＭは、例えば、術野画像２１を入力データとして、深度マップＤＭＰを出力する。機械学習モデルＬＭは、術野画像２１と正解データとなる深度マップＤＭＰとの組み合わせによって構成される教師データを用いて学習が行われる。機械学習モデルＬＭとしては、例えば、畳み込みニューラルネットワークが用いられる。畳み込みニューラルネットワークは、画像の特徴量を抽出するエンコーダを有し、エンコーダによって抽出した特徴量に応じて画像の形態で出力データを出力することが可能である。教師データの正解データとして用いる深度マップＤＭＰとしては、例えばステレオカメラを利用して取得した深度マップＤＭＰが用いられる。
【0149】
（第３実施形態の変形例）
また、第２実施形態において図１５を用いて説明した第１穿刺ラインＮＲ１と隆起部ＰＲとの三次元的な交差判定を、深度マップＤＭＰを用いて行ってもよい。図２９に示すフローチャートは、図１５に示すステップＳ１５２０の代わりに、ステップＳ１５２０Ｃが追加されたことを除いて、他のステップはすべて図１５に示すフローチャートと同様である。以下、相違点を中心に説明する。
また、第２実施形態において図１５を用いて説明した第１穿刺ラインＮＲ１と隆起部ＰＲとの三次元的な交差判定を、深度マップＤＭＰを用いて行ってもよい。図２９に示すフローチャートは、図１５に示すステップＳ１５２０の代わりに、ステップＳ１５２０Ｃが追加されたことを除いて、他のステップはすべて図１５に示すフローチャートと同様である。以下、相違点を中心に説明する。
【0150】
上述のとおり、隆起部ＰＲは、押圧操作によって内壁Ｗに生じる。押圧操作は、内壁Ｗに変化を生じさせる操作の一例であり、隆起部ＰＲは、内壁Ｗの変化位置の一例である。押圧操作により内壁Ｗには形状的な変化が生じる。プロセッサ４１は、深度マップＤＭＰによって、術野ＳＦの奥行の情報を把握できる。そして、図１０及び図１１を用いて説明したとおり、術野ＳＦにおける第１穿刺ラインＮＲ１の三次元的な座標は、マーカＭに基づいて導出することが可能である。ステップＳ１５２０Ｃにおいて、プロセッサ４１は、深度マップＤＭＰに基づく第１穿刺ラインＮＲ１と隆起部ＰＲの三次元的な交差判定を行う。
【0151】
図３０に示すように、ステップＳ１５２０Ｃにおいては、プロセッサ４１は、まず、図２６等で示した方法により深度マップＤＭＰを取得する。そして、プロセッサ４１は、第１穿刺ラインＮＲ１と深度マップＤＭＰにおける隆起部ＰＲの三次元座標を照合することにより、第１穿刺ラインＮＲ１と隆起部ＰＲとの三次元的な交差判定を行う。このように、深度マップＤＭＰを用いることにより、第１穿刺ラインＮＲ１と内壁Ｗの形状的な変化位置の三次元的な交差判定を行うことができる。
【0152】
なお、図３０の例では、内壁Ｗに変化を生じさせる操作として、内壁Ｗに形状的な変化を生じさせる押圧操作を例に説明したが、内壁Ｗに変化を生じさせる操作としては、形状的な変化を生じさせる操作でなくてもよい。例えば、第２実施形態で説明したように、内壁Ｗに輝度変化または色変化を生じさせる光照射または色素注入といった操作でもよい。この場合は、例えば、プロセッサ４１は、輝度変化または色変化が生じる変化位置を術野画像２１から検出する。これにより、プロセッサ４１は、術野画像２１内の変化位置の二次元座標を導出することができる。そして、プロセッサ４１は、変化位置の二次元座標に対応する奥行情報を深度マップＤＭＰから抽出することにより、変化位置の三次元座標を導出する。プロセッサ４１は、第１穿刺ラインＮＲ１の三次元座標と、導出した変化位置の三次元座標とを照合することにより、第１穿刺ラインＮＲ１と、輝度または色の変化位置との三次元的な交差判定を行うことができる。
【0153】
［第１穿刺ラインの表示方法の変形例」
図３１及び図３２に示すように、プロセッサ４１は、第１穿刺ラインＮＲ１の一部の表示を変更してもよい。つまり、第１穿刺ラインＮＲ１の一端から他端までの全域において表示の仕方を一様にするのではなく、一部の表示の仕方を変更してもよい。
図３１及び図３２に示すように、プロセッサ４１は、第１穿刺ラインＮＲ１の一部の表示を変更してもよい。つまり、第１穿刺ラインＮＲ１の一端から他端までの全域において表示の仕方を一様にするのではなく、一部の表示の仕方を変更してもよい。
【0154】
一例として図３１に示すように、プロセッサ４１は、第１穿刺ラインＮＲ１の内壁Ｗ側の一部を強調表示してもよい。図３１において、範囲ＲＧ１は、強調表示される範囲である。第１穿刺ラインＮＲ１について、表示の必要性が相対的に高いのは体表ＢＳに穿刺した直後である場合が多い。というのも、穿刺針１８の針先が、超音波プローブ１４のガイド溝２９に近づいている状態は、穿刺針１８を超音波プローブ１４のガイド溝２９に向かって挿入できている状態であるから、その時点においては穿刺針１８の挿入をガイドする必要性は相対的に低い。一方、体表ＢＳに穿刺針１８を穿刺した直後は、超音波プローブ１４のガイド溝２９までの距離が遠い。そのため、穿刺針１８とガイド溝２９との相対的な位置関係を把握しにくく、第１穿刺ラインＮＲ１によって穿刺針１８の挿入をガイドする必要性が相対的に高い。第１穿刺ラインＮＲ１の内壁Ｗ側の一部を強調表示することにより、必要性の高い範囲ＲＧ１において第１穿刺ラインＮＲ１を目立たせることができる。
【0155】
範囲ＲＧ１は、例えば、内壁Ｗ側から約５ｃｍ程度の範囲である。超音波プローブ１４で臓器の内部を観察する場合は、医療スタッフＳＴは、超音波プローブ１４が挿入される体腔内において、内壁Ｗから臓器までのおおよその距離を把握している。おおよその距離は例えば約１０ｃｍだとする。この場合、範囲ＲＧ１の距離が約５ｃｍだとすると、穿刺針１８の針先が範囲ＲＧ１の臓器側の端部に到達している状態では、穿刺針１８の針先は体表ＢＳから臓器に向かって約５ｃｍ程度進んだ位置にあることを、医療スタッフＳＴは把握することができる。
【0156】
また、一例として図３２に示すように、第１穿刺ラインＮＲ１の臓器側の一部の視認性を内壁Ｗ側よりも低下させる。図３２に示す例では、第１穿刺ラインＮＲ１の臓器側の一端であるガイド溝２９の位置から予め設定された距離の範囲ＲＧ２について、第１穿刺ラインＮＲ１を非表示としている。医療スタッフＳＴは、穿刺針１８の針先がガイド溝２９に近づいている状態では、針先とガイド溝２９の両方を確認しながら、針先をガイド溝２９に挿入する。この場合において、針先とガイド溝２９との位置関係を把握する際に、第１穿刺ラインＮＲ１が却って邪魔になることもある。そのため、図３２に示すように臓器側の一部の範囲ＲＧ２において第１穿刺ラインＮＲ１を表示することにより、穿刺針１８の針先とガイド溝２９との位置関係を把握しやすくなる場合がある。
【0157】
なお、図３２に示す例では、範囲ＲＧ２において第１穿刺ラインＮＲ１を非表示にしているが、非表示にしなくてもよい。例えば、他の領域と比較して輝度を下げるといった方法により視認性を低下させてもよい。
【0158】
また、第１穿刺ラインＮＲ１を表示する際に、範囲ＲＧ２について常時視認性を低下させなくてもよく、例えば、穿刺針１８が体表ＢＳに穿刺された後、穿刺針１８の針先が臓器に近づいた場合に視認性を低下させるようにしてもよい。視認性を低下させるタイミングはマニュアルで指定してもよいし、プロセッサ４１が術野画像２１を画像解析することにより、穿刺針１８が臓器又は超音波プローブ１４の先端部１４Ｂに近づいたことを検知してもよい。
【0159】
また、図３３に示すように、第１穿刺ラインＮＲ１の臓器側の一部の範囲ＲＧ２において、目盛りＳＣ１を表示してもよい。目盛りＳＣ１が表示される範囲ＲＧ２は、例えば、ガイド溝２９から約３ｃｍの範囲であり、範囲ＲＧ２には、１ｃｍ刻みで目盛りＳＣ１が表示される。目盛りＳＣ１を表示することにより、穿刺針１８がガイド溝２９に近づいたところで、穿刺針１８の針先とガイド溝２９との間の間隔がどの程度なのかを明確に示すことができる。プロセッサ４１は、術野ＳＦにおけるガイド溝２９の三次元座標については、図１０及び図１１を用いて説明した方法により把握できるため、ガイド溝２９の三次元座標に基づいて目盛りＳＣ１を導出することができる。
【0160】
図３４に示すように、プロセッサ４１は、医療機器の一例である超音波プローブ１４の挿入部１４Ａの挿入長を検出し、検出した挿入長に基づいて、範囲ＲＧ１等の表示を変更する範囲を決定してもよい。挿入部１４Ａには、例えば、挿入部１４Ａの挿入長の目安とするために、目盛りＳＣ２が設けられている。挿入部１４Ａには、先端部１４Ｂに湾曲部が設けられている。目盛りＳＣ２は、挿入部１４Ａにおいて、湾曲部から基端側に向かって予め設定された間隔（例えば１ｃｍ間隔）で設けられている。プロセッサ４１は、例えば、術野画像２１から目盛りＳＣ２を画像認識し、挿入長を検出する。超音波プローブ１４のような医用プローブは、臓器の表面に先端部１４Ｂが配置される。そのため、挿入部１４Ａの挿入長は、内壁Ｗから臓器の表面までの距離を把握するための有効な手がかりとなる。これにより、プロセッサ４１は、範囲ＲＧ１を表示する範囲を適切に導出できたり、範囲ＲＧ１等の表示を変更する範囲を挿入長に応じた適切な範囲とすることができる。
【0161】
また、プロセッサ４１は、医療スタッフＳＴ等のユーザの指定に基づいて第１穿刺ラインＮＲ１の表示を変更する範囲を決定してもよい。これにより、第１穿刺ラインＮＲ１において表示を変更する範囲を、ユーザの希望に応じた適切な範囲とすることができる。
【0162】
また、図３５に示すように、プロセッサ４１は、異なる複数の第１穿刺ラインＮＲ１を表示可能であることが好ましい。これにより、目的に応じた様々な第１穿刺ラインＮＲ１を表示することができる。図３５に示す例では、超音波プローブ１４が有する２種類の第１ガイド溝２９Ａ及び第２ガイド溝２９Ｂのそれぞれに対応する複数の第１穿刺ラインＮＲ１を表示している。
【0163】
なお、プロセッサ４１は、複数の第１穿刺ラインＮＲ１を候補として表示し、そのうちの１つをユーザである医療スタッフＳＴに選択させ、残りの候補を非表示としてもよい。あるいは、複数の第１穿刺ラインＮＲ１を表示し、実際の穿刺針１８が挿入された場合に、穿刺針１８の位置に近い方の第１穿刺ラインＮＲ１のみを表示し、残りを非表示にしてもよい。プロセッサ４１は、術野画像２１を画像解析することにより、穿刺針１８と複数の第１穿刺ラインＮＲ１のそれぞれとの距離を導出することができる。
【0164】
［第４実施形態］
一例として図３６及び図３７に示す第４実施形態では、プロセッサ４１は、超音波画像２２において特定される腫瘍２７と、超音波画像２２の座標系と術野画像２１の座標系との相関関係とに基づいて、術野画像２１に第４穿刺ラインＮＲ４を重畳する位置を特定する。腫瘍２７は、医用プローブによって取得される臓器の内部画像において特定される目標位置の一例である。相関関係は、マーカＭに基づいて導出される、内部画像の座標系と体内画像の座標系との相関関係の一例である。第４穿刺ラインＮＲ４は、本開示の技術に係る「穿刺経路」の一例である。
一例として図３６及び図３７に示す第４実施形態では、プロセッサ４１は、超音波画像２２において特定される腫瘍２７と、超音波画像２２の座標系と術野画像２１の座標系との相関関係とに基づいて、術野画像２１に第４穿刺ラインＮＲ４を重畳する位置を特定する。腫瘍２７は、医用プローブによって取得される臓器の内部画像において特定される目標位置の一例である。相関関係は、マーカＭに基づいて導出される、内部画像の座標系と体内画像の座標系との相関関係の一例である。第４穿刺ラインＮＲ４は、本開示の技術に係る「穿刺経路」の一例である。
【0165】
図１０及び図１１を用いて説明したとおり、マーカＭを用いることにより、超音波プローブ１４の先端部１４Ｂの位置及び姿勢を推定することが可能である。先端部１４Ｂにおける超音波トランスデューサ１４Ｃの位置関係は、寸法情報によって既知である。そのため、先端部１４Ｂの位置姿勢情報を推定することができれば、超音波トランスデューサ１４Ｃの位置及び姿勢を推定することも可能である。そうすると、プロセッサ４１は、超音波プローブ１４の先端部１４Ｂが写る術野画像２１の座標系と、超音波プローブ１４が取得する超音波画像２２の座標系との相関関係を導出することが可能である。
【0166】
第４実施形態では、まず、図３５に示すように、超音波プローブ１４によって取得される超音波画像２２においては、目標位置となる腫瘍２７が含まれている場合を考える。第２穿刺ラインＮＲ２は、超音波プローブ１４のガイド溝２９を基点として設定されるラインである。第４実施形態では、プロセッサ４１は、第２穿刺ラインＮＲ２とは別に、超音波画像２２から検出される腫瘍２７を通る第３穿刺ラインＮＲ３を導出する。第３穿刺ラインＮＲ３は、ガイド溝２９とは無関係に、腫瘍２７を基準に導出される。
【0167】
プロセッサ４１は、超音波画像２２の座標系と術野画像２１の座標系との相関関係に基づいて、第３穿刺ラインＮＲ３の座標系を、術野画像２１の座標系に変換し、第３穿刺ラインＮＲ３の延長線となる第４穿刺ラインＮＲ４を導出する。そして、図３７に示すように、プロセッサ４１は、導出した第４穿刺ラインＮＲ４を、術野画像２１に重畳表示する。第４穿刺ラインＮＲ４は、本開示の技術に係る「穿刺経路」の一例である。
【0168】
医療スタッフＳＴは、術野画像２１を見ながら、第４穿刺ラインＮＲ４の位置に合わせて、すなわち、超音波プローブ１４のガイド溝２９を基点に延びる第１穿刺ラインＮＲ１と、第４穿刺ラインＮＲ４とが一致するように超音波プローブ１４を移動する。第４穿刺ラインＮＲ４は、穿刺針１８を穿刺する目標位置である腫瘍２７を通るラインであるため、第４穿刺ラインＮＲ４に第１穿刺ラインＮＲ１を合わせれば、超音波プローブ１４のガイド溝２９を適切な位置に合わせることができる。医療スタッフＳＴは、この状態で、第４穿刺ラインＮＲ４（第１穿刺ラインＮＲ１でもある）に沿って穿刺針１８を挿入することにより、目標位置である腫瘍２７に穿刺することができる。
【0169】
第４実施形態によれば、超音波プローブ１４のような医用プローブで取得した内部画像を、穿刺針１８の穿刺対象である目標位置に応じた超音波プローブ１４の位置合わせに有効活用することができる。
【0170】
［第５実施形態］
一例として図３８～図４１に示す第５実施形態に示すように、手術前に予め準備した目標穿刺ラインＮＲＴを術野画像２１に重畳表示してもよい。目標穿刺ラインＮＲＴは、本開示の技術に係る「穿刺経路」の一例である。
一例として図３８～図４１に示す第５実施形態に示すように、手術前に予め準備した目標穿刺ラインＮＲＴを術野画像２１に重畳表示してもよい。目標穿刺ラインＮＲＴは、本開示の技術に係る「穿刺経路」の一例である。
【0171】
（術前準備情報の作成）
第５実施形態では、例えば、手術前に、仮想内視鏡の３Ｄ（三次元：３Dimension）データを用いて術前シミュレーションを行い、術前シミュレーションにおいて、穿刺針１８の目標穿刺ラインＮＲＴを準備する。目標穿刺ラインＮＲＴは、穿刺針１８を穿刺する場合に、例えば、臓器内において傷をつけてはいけない血管等の部位を避けたり、穿刺針１８を通しやすい部位を通るように選択された理想的な穿刺経路である。また、第５実施形態は、医療機器として臓器の内部構造を観察可能な超音波プローブ１４を用いる例である。以下、図３８～図４１を参照しながら説明する。
第５実施形態では、例えば、手術前に、仮想内視鏡の３Ｄ（三次元：３Dimension）データを用いて術前シミュレーションを行い、術前シミュレーションにおいて、穿刺針１８の目標穿刺ラインＮＲＴを準備する。目標穿刺ラインＮＲＴは、穿刺針１８を穿刺する場合に、例えば、臓器内において傷をつけてはいけない血管等の部位を避けたり、穿刺針１８を通しやすい部位を通るように選択された理想的な穿刺経路である。また、第５実施形態は、医療機器として臓器の内部構造を観察可能な超音波プローブ１４を用いる例である。以下、図３８～図４１を参照しながら説明する。
【0172】
まず、図３８及び図３９を参照しながら、仮想内視鏡の３Ｄデータを用いた術前シミュレーションにおいて、肝臓ＬＶに穿刺する穿刺針１８の目標穿刺ラインＮＲＴを作成する作成方法を説明する。また、仮想内視鏡の３Ｄデータは、ＣＴ（Computed Tomography）装置及びＭＲＩ（Magnetic Resonance Imaging）装置などの断層撮影装置１３１によって予め撮影された断層画像群１３２に基づいて生成される。断層撮影装置１３１がＣＴ装置の場合は、放射線源と放射線検出器とを患者ＰＴの体軸回りに回転させながらＣＴ値が取得される。ＣＴ値の取得は、放射線源と放射線検出器とを患者ＰＴの体軸方向に走査することにより体軸方向の各位置で行われる。ＣＴ値は、患者ＰＴの体内の放射線吸収値である。断層撮影装置１３１は、体軸回りの各方向で取得したＣＴ値に基づいて画像再構成処理を行うことにより断層画像１３２Ａを生成する。各断層画像１３２Ａは体軸方向のスライス厚に応じて生成された二次元の画像であり、断層画像群１３２は、体軸方向の各位置に対応する複数の断層画像１３２Ａの集合である。断層画像群１３２は、ＰＡＣＳ(Picture Archiving and Communication System）などの画像データベース１３３に出力される。
【0173】
図示しない情報処理装置は、断層撮影装置１３１によって得られた断層画像群１３２に基づいて、患者ＰＴの体の三次元的な形状を数値的に記述する３Ｄモデリングを行うことにより、ボクセルデータ１３４Ａの集合である三次元画像１３４を生成する。ボクセルデータ１３４Ａは、三次元空間内の画素の単位であり、三次元座標情報及び画素値を有する。３Ｄモデリングによって生成される三次元画像１３４は三次元ボリュームデータなどとも呼ばれる。断層画像群１３２において、各断層画像１３２Ａの画素間隔と各断層画像１３２Ａのスライス厚が異なる場合がある。この場合は、一例として、３Ｄモデリングにおいて、隣接する断層画像１３２Ａ間で補間処理を行うことにより、三次元の各方向の長さが等しい等方的なボクセルデータ１３４Ａを持つ三次元画像１３４が生成される。ここで、断層画像群１３２に基づいて生成される三次元画像１３４は、術前に作成される情報であるため、ここでは、便宜上、術前３Ｄ画像１３４と呼ぶ。術前３Ｄ画像１３４は、仮想内視鏡の３Ｄデータの一例であり、さらに、本開示の技術に係る「手術前に予め取得された臓器の三次元画像」の一例である。
【0174】
術前３Ｄ画像１３４は、患者ＰＴの体の外形、体内の臓器等の解剖学的部位及びそれらの内部構造を再現可能な画像である。図３８及び図３９に示す術前３Ｄ画像１３４は、解剖学的部位の一例として肝臓ＬＶのデータを示している。術前３Ｄ画像１３４には、肝臓ＬＶの内部構造の一例である血管構造を再現可能なデータも含まれている。
【0175】
また、本例の術前３Ｄ画像１３４はカラー画像であり、ボクセルデータ１３４Ａの画素値として、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各画素値が与えられる。なお、術前３Ｄ画像１３４はモノクロ画像であってもよい。例えば、ボクセルデータ１３４Ａの画素値は、ＣＴ値に基づく輝度（Ｙ）のみで表されてもよい。また、ボクセルデータ１３４Ａの画素値は、予め設定されたＬＵＴ(Look Up Table)や演算式を利用してＣＴ値を変換した値を用いてもよい。また、ボクセルデータ１３４Ａの画素値は、術前３Ｄ画像１３４において特定された臓器又は病変等の特定の部位毎に対応付けられた色が設定されてもよい。また、ボクセルデータ１３４Ａには不透明度も設定されている。不透明度は、ボリュームレンダリングに用いられるデータである。レンダリングは、術前３Ｄ画像１３４の一部を二次元の投影像に変換する処理であり、ボリュームレンダリングは、術前３Ｄ画像１３４に含まれる物体の内部情報も投影像に投影するレンダリング手法である。各ボクセルデータ１３４Ａに不透明度を設定することにより、ボリュームレンダリングを行う場合において、内部情報のうち、投影像に不透明で投影する、半透明で投影する、及び透明にする等の表現の使い分けが可能になる。
【0176】
図３９に示すように、目標穿刺ラインＮＲＴを含む情報１２３は、術前に予め準備される情報であるため、以下において術前準備情報と呼ぶ。術前準備情報１２３は、術前３Ｄ画像１３４に基づいて生成される。目標穿刺ラインＮＲＴは、術前に術前３Ｄ画像１３４を用いて行われる手術シミュレーションにおいて、術前３Ｄ画像１３４に付与される。術前準備情報１２３は、目標穿刺ラインＮＲＴ以外に、穿刺対象の肝臓ＬＶの内部構造として、血管構造１３７及び腫瘍２７を含んでいる。こうした目標穿刺ラインＮＲＴと、血管構造１３７及び腫瘍２７といった内部構造とを含む術前準備情報１２３が、術前３Ｄ画像１３４から抽出される。
【0177】
このように、術前準備情報１２３は、術前３Ｄ画像１３４内の三次元位置が規定された情報である。術前準備情報１２３に含まれる血管構造１３７は、超音波プローブ１４によって取得される超音波画像２２との位置合わせに利用される。
【0178】
（超音波３Ｄ画像の取得）
図４０に示すように、プロセッサ４１は、超音波プローブ１４によって撮影された超音波画像２２の集合である超音波画像群２２Ｇに基づく超音波３Ｄ（三次元）画像１５１を取得する。プロセッサ４１は、手術中に取得した超音波３Ｄ画像１５１を位置合わせに利用する。超音波３Ｄ画像１５１は、本開示の技術に係る「医用プローブによって取得される臓器の内部画像」の一例である。
図４０に示すように、プロセッサ４１は、超音波プローブ１４によって撮影された超音波画像２２の集合である超音波画像群２２Ｇに基づく超音波３Ｄ（三次元）画像１５１を取得する。プロセッサ４１は、手術中に取得した超音波３Ｄ画像１５１を位置合わせに利用する。超音波３Ｄ画像１５１は、本開示の技術に係る「医用プローブによって取得される臓器の内部画像」の一例である。
【0179】
図４０に示すように、まず、肝臓ＬＶ等の対象部位の表面に沿って超音波プローブ１４を走査させると、走査軌跡Ｓ上の各位置における複数の超音波画像２２を取得することができる。プロセッサ４１は、超音波画像群２２Ｇを取得し、取得した超音波画像群２２Ｇに基づいて３Ｄモデリングを行うことにより、超音波３Ｄ画像１５１を生成する。超音波画像２２は、図３８に示した断層画像１３２Ａと同様に断層画像であり、超音波画像群２２Ｇは、断層画像群１３２と同様である。超音波画像群２２Ｇにおいても、肝臓ＬＶの血管構造１３７などの対象部位の内部構造が描出される。
【0180】
プロセッサ４１は、図３８において説明した３Ｄモデリングと同様の処理を実行することにより、超音波３Ｄ画像１５１を生成する。超音波３Ｄ画像１５１は、術前３Ｄ画像１３４と同様に、三次元空間内の画素であるボクセルデータ１５１Ａの集合である。ボクセルデータ１５１Ａも、図３８で示したボクセルデータ１３４Ａと同様であり、三次元座標、画素値及び不透明度が設定される。
【0181】
図４１に示すように、プロセッサ４１は、内視鏡１３を通じて取得した術野画像２１の座標系と、超音波３Ｄ画像１５１の座標系との相関関係である第１位置関係情報１５８と、超音波３Ｄ画像１５１の座標系と、術前３Ｄ画像１３４の座標系との相関関係である第２位置関係情報１５９とを導出する。
【0182】
まず、第１位置関係情報１５８の導出方法について説明する。プロセッサ４１は、第４実施形態で示したのと同じ要領で、術野画像２１に写る超音波プローブ１４のマーカＭに基づいて、超音波トランスデューサ１４Ｃの位置及び姿勢を推定する。そして、プロセッサ４１は、推定した超音波トランスデューサ１４Ｃの位置及び姿勢に基づいて、術野画像２１内における超音波３Ｄ画像１５１の位置及び姿勢を推定する。術野画像２１内における超音波３Ｄ画像１５１の位置及び姿勢が、第１位置関係情報１５８となる。第１位置関係情報１５８は、本開示の技術に係る「位置姿勢情報に基づいて導出される、内部画像の座標系と体内画像の座標系との相関関係」の一例である。
【0183】
次に、第２位置関係情報１５９の導出方法について説明する。プロセッサ４１は、超音波３Ｄ画像１５１と、術前３Ｄ画像１３４とのそれぞれに描出されている血管構造１３７を比較する。具体的には、両者の血管構造１３７の類似構造を探索し、両者の類似構造が一致するように超音波３Ｄ画像１５１と術前３Ｄ画像１３４との位置合わせを行う。血管構造１３７の類似構造の探索は、パターンマッチング等のルールベースの画像解析手法を用いてもよいし、セマンティックセグメンテーションといったＡＩ技術を利用した手法を用いてもよい。プロセッサ４１は、このような血管構造１３７を用いた位置合わせを行うことで、第２位置関係情報１５９を導出することができる。
【0184】
そして、プロセッサ４１は、第１位置関係情報１５８と第２位置関係情報１５９とに基づいて、術前３Ｄ画像１３４に基づいて生成された、目標穿刺ラインＮＲＴを含む術前準備情報１２３と、術野画像２１とを合成する。肝臓ＬＶの血管構造１３７によって位置合わせがおこなわれているため、目標穿刺ラインＮＲＴは腫瘍２７に対して適切な位置に重畳される。術野画像２１にはガイド溝２９を基点とした第１穿刺ラインＮＲ１が表示されている。第４実施形態において図３７で示したように、医療スタッフＳＴは、第１穿刺ラインＮＲ１と目標穿刺ラインＮＲＴとが一致するように超音波プローブ１４を移動させる。これにより、腫瘍２７を穿刺するための適切な位置に超音波プローブ１４の位置を合わせることができる。
【0185】
このように、手術前に予め取得された術前３Ｄ画像１３４（臓器の三次元画像の一例）に、手術前のシミュレーションによって目標穿刺ラインＮＲＴ（穿刺経路の一例）が設定されている場合において、プロセッサ４１は、第２位置関係情報１５９と第１位置関係情報１５８とを利用して、目標穿刺ラインＮＲＴを術野画像２１に重ね合わせる。これにより、医用プローブの内部画像及び術前シミュレーションの結果を有効利用することができる。術前シミュレーションにおいては、例えば、血管構造１３７を傷つけないような適切な目標穿刺ラインＮＲＴを設定することが可能である。このような目標穿刺ラインＮＲＴを術野画像２１において提供することにより、より適切な医療支援を行うことが可能となる。
【0186】
マーカＭの形態としては、本例のような格子状のマーカでなくてもよく、単なる多角形又は円等の単一の図形でもよいし、これらの図形を複数組み合わせたものでもよい。さらに、等間隔でマトリックス状に配列されるドットパターンでもよい。
【0187】
また、上記各実施形態では、穿刺針の機能として、焼灼を例に説明したが、穿刺針の機能としては、焼灼以外でもよい。また、処置具として穿刺針を例に説明したが、穿刺針以外でも、ＩＣＧ(Indocyanine Green)などの蛍光剤を注入する処置具、バイオプシーを行うための組織収集用に用いられる生検針及び鉗子等でもよい。
【0188】
また、上記各実施形態では、体内として腹腔及び胸腔などの体腔を例に説明したが、体内としては、食道などの上部消化管、腸などの下部消化管、及び気管支などの管道内でもよい。管道内の術野に対して本開示の技術を適用する場合は、例えば、管道内に挿入される軟性内視鏡の基端部にマーカＭを設ける。
【0189】
また、上記各実施形態では、挿入部を有する医療機器としては、内視鏡１３及び医用プローブ（超音波プローブ１４又はＯＣＴプローブ）の他、トロカール１７でもよい。
【0190】
また、上述した記載から、以下の付記項に記載の技術を把握することできる。
【0191】
［付記項１］
プロセッサを備え、
プロセッサは、
被検体の体内を撮影する体内カメラによって撮影された体内画像であって、穿刺針によって穿刺される臓器と、体内に挿入される医療機器の挿入部と、挿入部に設けられた画像認識可能なマーカとが撮影範囲に含まれる体内画像を取得し、
マーカに基づいて、挿入部の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出し、
位置姿勢情報に基づいて体内画像において特定される位置に、穿刺針の穿刺経路を重畳表示させる表示制御を実行する、
医療支援装置。
［付記項２］
プロセッサは、
体内の内壁に変化を生じさせる操作が体外から行われ、かつ穿刺経路が重畳表示されている状態の体内画像であって、少なくとも２つの異なる視点で撮影された２つの体内画像に基づいて、内壁が変化する変化位置と穿刺経路とが体内の三次元空間において交差するか否かを判定し、判定結果を報知する、
付記項１に記載の医療支援装置。
［付記項３］
２つの体内画像の両方において、変化が生じた変化位置と重畳表示された穿刺経路とが二次元的に交差する場合に、変化位置と穿刺経路とが三次元空間において交差していると判定する、
付記項２に記載の医療支援装置。
［付記項４］
操作が複数回行われる場合において、
プロセッサは、
複数回の操作のそれぞれの変化位置の履歴を体内画像に重畳表示する、
付記項２又は付記項３に記載の医療支援装置。
［付記項５］
プロセッサは、
複数回の操作の間に体内カメラの視点が移動した場合において、視点の移動量を反映して変化位置の履歴を表示する、
付記項４に記載の医療支援装置。
［付記項６］
操作は、被検体の体表を体外から押圧する押圧操作であり、
変化位置は、押圧操作によって体内方向に向けて内壁が隆起した隆起部である、
付記項２～付記項５のうちのいずれか１項に記載の医療支援装置。
［付記項７］
プロセッサは、体内カメラの視点からの奥行方向の距離である深度の分布を表す体内の深度情報に基づいて、体内の内壁と穿刺経路との三次元空間における交点を導出する、
付記項１に記載の医療支援装置。
［付記項８］
体内カメラとして、深度の推定が可能なカメラを利用し、
プロセッサは、深度情報を取得する、
付記項７に記載の医療支援装置。
［付記項９］
プロセッサは、異なる視点で撮影された２つの体内画像に基づいて、深度情報を取得する、
付記項７に記載の医療支援装置。
［付記項１０］
プロセッサは、体内画像を入力として深度情報を出力する機械学習モデルを用いて、深度情報を取得する、
付記項７に記載の医療支援装置。
［付記項１１］
プロセッサは、
被検体の体腔内の内壁に変化を生じさせる操作が体外から行われている状態の体内画像を取得した場合において、
深度情報に基づいて、体内の三次元空間上において内壁が変化する変化位置と穿刺経路とが交差するか否かを判定し、判定結果を報知する、
付記項７～付記項１０のうちのいずれか１項に記載の医療支援装置。
［付記項１２］
医療機器は、臓器の内部構造を観察可能な医用プローブである、
付記項１～付記項１１のうちのいずれか１項に記載の医療支援装置。
［付記項１３］
医用プローブは、超音波プローブである、
付記項１２に記載の医療支援装置。
［付記項１４］
医用プローブは、挿入部に設けられ、穿刺針との係合により、穿刺針を臓器の内部の目標位置への挿入をガイドするためのガイド溝を有しており、
プロセッサは、マーカとガイド溝の相対的な位置関係に基づいて、体内画像に穿刺経路を重畳する位置を特定する、
付記項１２又は付記項１３に記載の医療支援装置。
［付記項１５］
プロセッサは、医用プローブによって取得される臓器の内部画像において特定される臓器の内部の目標位置と、位置姿勢情報に基づいて導出される、内部画像の座標系と体内画像の座標系との相関関係とに基づいて、体内画像に穿刺経路を重畳する位置を特定する、
付記項１２～付記項１４のうちのいずれか１項に記載の医療支援装置。
［付記項１６］
手術前に予め取得された臓器の三次元画像に、手術前のシミュレーションによって穿刺経路が設定されている場合において、
プロセッサは、医用プローブによって取得される臓器の内部画像の座標系と三次元画像の座標系との相関関係と、位置姿勢情報に基づいて導出される、内部画像の座標系と体内画像の座標系との相関関係とを利用して、穿刺経路を体内画像に重畳する位置を特定する、
付記項１２～付記項１５のうちのいずれか１項に記載の医療支援装置。
［付記項１７］
プロセッサは、穿刺経路の一部の表示を変更する、
付記項１～付記項１６のうちのいずれか１項に記載の医療支援装置。
［付記項１８］
穿刺経路の一部は、体内の内壁側の一部であり、
プロセッサは、内壁側の一部を強調表示する、
付記項１７に記載の医療支援装置。
［付記項１９］
穿刺経路の一部は、臓器側の一部であり、
プロセッサは、臓器側の一部の視認性を内壁側よりも低下させる、
付記項１７又は付記項１８に記載の医療支援装置。
［付記項２０］
プロセッサは、医療機器の挿入部の挿入長を検出し、検出した挿入長に基づいて、表示を変更する範囲を決定する、
付記項１７～付記項１９のうちのいずれか１項に記載の医療支援装置。
［付記項２１］
プロセッサは、ユーザの指定に基づいて表示を変更する範囲を決定する、
付記項１７～付記項２０のうちのいずれか１項に記載の医療支援装置。
［付記項２２］
プロセッサは、異なる複数の穿刺経路を表示可能である、
付記項１～付記項２１のうちのいずれか１項に記載の医療支援装置。
［付記項２３］
プロセッサを備えた医療支援装置の作動方法であって、
プロセッサは、
被検体の体内を撮影する体内カメラによって撮影された体内画像であって、穿刺針によって穿刺される臓器と、体内に挿入される医療機器の挿入部と、挿入部に設けられた画像認識可能なマーカとが撮影範囲に含まれる体内画像を取得し、
マーカに基づいて、挿入部の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出し、
位置姿勢情報に基づいて体内画像において特定される位置に、穿刺針の穿刺経路を重畳表示させる表示制御を実行する、
医療支援装置の作動方法。
［付記項２４］
コンピュータを医療支援装置として機能させる作動プログラムであって、
被検体の体内を撮影する体内カメラによって撮影された体内画像であって、穿刺針によって穿刺される臓器と、体内に挿入される医療機器の挿入部と、挿入部に設けられた画像認識可能なマーカとが撮影範囲に含まれる体内画像を取得するステップと、
マーカに基づいて、挿入部の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出するステップと、
位置姿勢情報に基づいて体内画像において特定される位置に、穿刺針の穿刺経路を重畳表示させる表示制御をするステップと、
をコンピュータに実行させる医療支援装置の作動プログラム。
［付記項２５］
被検体の体内に挿入される挿入部を有し、挿入部に画像認識可能なマーカが設けられた医療機器と、
挿入部と、マーカと、穿刺針によって穿刺される臓器とが撮影範囲に含まれる体内画像を撮影する体内カメラと、
プロセッサを備えた医療支援装置と、を備えた医療支援システムであって、
プロセッサは、
体内画像を取得し、
マーカに基づいて、挿入部の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出し、
位置姿勢情報に基づいて体内画像において特定される位置に、穿刺針の穿刺経路を重畳表示させる表示制御を実行する、
医療支援システム。
プロセッサを備え、
プロセッサは、
被検体の体内を撮影する体内カメラによって撮影された体内画像であって、穿刺針によって穿刺される臓器と、体内に挿入される医療機器の挿入部と、挿入部に設けられた画像認識可能なマーカとが撮影範囲に含まれる体内画像を取得し、
マーカに基づいて、挿入部の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出し、
位置姿勢情報に基づいて体内画像において特定される位置に、穿刺針の穿刺経路を重畳表示させる表示制御を実行する、
医療支援装置。
［付記項２］
プロセッサは、
体内の内壁に変化を生じさせる操作が体外から行われ、かつ穿刺経路が重畳表示されている状態の体内画像であって、少なくとも２つの異なる視点で撮影された２つの体内画像に基づいて、内壁が変化する変化位置と穿刺経路とが体内の三次元空間において交差するか否かを判定し、判定結果を報知する、
付記項１に記載の医療支援装置。
［付記項３］
２つの体内画像の両方において、変化が生じた変化位置と重畳表示された穿刺経路とが二次元的に交差する場合に、変化位置と穿刺経路とが三次元空間において交差していると判定する、
付記項２に記載の医療支援装置。
［付記項４］
操作が複数回行われる場合において、
プロセッサは、
複数回の操作のそれぞれの変化位置の履歴を体内画像に重畳表示する、
付記項２又は付記項３に記載の医療支援装置。
［付記項５］
プロセッサは、
複数回の操作の間に体内カメラの視点が移動した場合において、視点の移動量を反映して変化位置の履歴を表示する、
付記項４に記載の医療支援装置。
［付記項６］
操作は、被検体の体表を体外から押圧する押圧操作であり、
変化位置は、押圧操作によって体内方向に向けて内壁が隆起した隆起部である、
付記項２～付記項５のうちのいずれか１項に記載の医療支援装置。
［付記項７］
プロセッサは、体内カメラの視点からの奥行方向の距離である深度の分布を表す体内の深度情報に基づいて、体内の内壁と穿刺経路との三次元空間における交点を導出する、
付記項１に記載の医療支援装置。
［付記項８］
体内カメラとして、深度の推定が可能なカメラを利用し、
プロセッサは、深度情報を取得する、
付記項７に記載の医療支援装置。
［付記項９］
プロセッサは、異なる視点で撮影された２つの体内画像に基づいて、深度情報を取得する、
付記項７に記載の医療支援装置。
［付記項１０］
プロセッサは、体内画像を入力として深度情報を出力する機械学習モデルを用いて、深度情報を取得する、
付記項７に記載の医療支援装置。
［付記項１１］
プロセッサは、
被検体の体腔内の内壁に変化を生じさせる操作が体外から行われている状態の体内画像を取得した場合において、
深度情報に基づいて、体内の三次元空間上において内壁が変化する変化位置と穿刺経路とが交差するか否かを判定し、判定結果を報知する、
付記項７～付記項１０のうちのいずれか１項に記載の医療支援装置。
［付記項１２］
医療機器は、臓器の内部構造を観察可能な医用プローブである、
付記項１～付記項１１のうちのいずれか１項に記載の医療支援装置。
［付記項１３］
医用プローブは、超音波プローブである、
付記項１２に記載の医療支援装置。
［付記項１４］
医用プローブは、挿入部に設けられ、穿刺針との係合により、穿刺針を臓器の内部の目標位置への挿入をガイドするためのガイド溝を有しており、
プロセッサは、マーカとガイド溝の相対的な位置関係に基づいて、体内画像に穿刺経路を重畳する位置を特定する、
付記項１２又は付記項１３に記載の医療支援装置。
［付記項１５］
プロセッサは、医用プローブによって取得される臓器の内部画像において特定される臓器の内部の目標位置と、位置姿勢情報に基づいて導出される、内部画像の座標系と体内画像の座標系との相関関係とに基づいて、体内画像に穿刺経路を重畳する位置を特定する、
付記項１２～付記項１４のうちのいずれか１項に記載の医療支援装置。
［付記項１６］
手術前に予め取得された臓器の三次元画像に、手術前のシミュレーションによって穿刺経路が設定されている場合において、
プロセッサは、医用プローブによって取得される臓器の内部画像の座標系と三次元画像の座標系との相関関係と、位置姿勢情報に基づいて導出される、内部画像の座標系と体内画像の座標系との相関関係とを利用して、穿刺経路を体内画像に重畳する位置を特定する、
付記項１２～付記項１５のうちのいずれか１項に記載の医療支援装置。
［付記項１７］
プロセッサは、穿刺経路の一部の表示を変更する、
付記項１～付記項１６のうちのいずれか１項に記載の医療支援装置。
［付記項１８］
穿刺経路の一部は、体内の内壁側の一部であり、
プロセッサは、内壁側の一部を強調表示する、
付記項１７に記載の医療支援装置。
［付記項１９］
穿刺経路の一部は、臓器側の一部であり、
プロセッサは、臓器側の一部の視認性を内壁側よりも低下させる、
付記項１７又は付記項１８に記載の医療支援装置。
［付記項２０］
プロセッサは、医療機器の挿入部の挿入長を検出し、検出した挿入長に基づいて、表示を変更する範囲を決定する、
付記項１７～付記項１９のうちのいずれか１項に記載の医療支援装置。
［付記項２１］
プロセッサは、ユーザの指定に基づいて表示を変更する範囲を決定する、
付記項１７～付記項２０のうちのいずれか１項に記載の医療支援装置。
［付記項２２］
プロセッサは、異なる複数の穿刺経路を表示可能である、
付記項１～付記項２１のうちのいずれか１項に記載の医療支援装置。
［付記項２３］
プロセッサを備えた医療支援装置の作動方法であって、
プロセッサは、
被検体の体内を撮影する体内カメラによって撮影された体内画像であって、穿刺針によって穿刺される臓器と、体内に挿入される医療機器の挿入部と、挿入部に設けられた画像認識可能なマーカとが撮影範囲に含まれる体内画像を取得し、
マーカに基づいて、挿入部の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出し、
位置姿勢情報に基づいて体内画像において特定される位置に、穿刺針の穿刺経路を重畳表示させる表示制御を実行する、
医療支援装置の作動方法。
［付記項２４］
コンピュータを医療支援装置として機能させる作動プログラムであって、
被検体の体内を撮影する体内カメラによって撮影された体内画像であって、穿刺針によって穿刺される臓器と、体内に挿入される医療機器の挿入部と、挿入部に設けられた画像認識可能なマーカとが撮影範囲に含まれる体内画像を取得するステップと、
マーカに基づいて、挿入部の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出するステップと、
位置姿勢情報に基づいて体内画像において特定される位置に、穿刺針の穿刺経路を重畳表示させる表示制御をするステップと、
をコンピュータに実行させる医療支援装置の作動プログラム。
［付記項２５］
被検体の体内に挿入される挿入部を有し、挿入部に画像認識可能なマーカが設けられた医療機器と、
挿入部と、マーカと、穿刺針によって穿刺される臓器とが撮影範囲に含まれる体内画像を撮影する体内カメラと、
プロセッサを備えた医療支援装置と、を備えた医療支援システムであって、
プロセッサは、
体内画像を取得し、
マーカに基づいて、挿入部の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出し、
位置姿勢情報に基づいて体内画像において特定される位置に、穿刺針の穿刺経路を重畳表示させる表示制御を実行する、
医療支援システム。
【0192】
また、上述した記載から、以下の第２付記項に記載の技術を把握することできる。第２付記項に記載の技術は、上記第２実施形態に示した第１視点ＶＰ１の術野画像２１と第２視点ＶＰ２の術野画像２１を視認しながら医療スタッフＳＴが行う穿刺方法に係る技術である。
【0193】
［第２付記項１］
被検体の体内を撮影する体内カメラによって撮影された体内画像であって、穿刺針によって穿刺される臓器と、体内に挿入される医療機器の挿入部と、挿入部に設けられた画像認識可能なマーカとが撮影範囲に含まれており、かつマーカに基づいて導出された挿入部の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報に基づいて特定される位置に、穿刺針の穿刺経路が重畳表示された体内画像を視認しながら、
体内の内壁に変化を生じさせる操作を体外から行い、
操作が行われている状態において、第１視点で撮影された第１体内画像と、第１視点とは異なる第２視点で撮影された第２体内画像に基づいて、体内の三次元空間上において内壁が変化する変化位置と穿刺経路とが交差するか否かを判定し、
判定結果において交差していると判定された場合に、変化位置と穿刺経路との交点に穿刺針を穿刺する、
穿刺方法。
［第２付記項２］
操作は、同じ位置に対して異なるタイミングで行われる第１操作と第２操作の２回の操作を含み、
第１操作を行っている状態で第１体内画像を視認し、第１体内画像内の変化位置と穿刺経路との交差を判定する第１判定を行い、
その後、第２操作を行っている状態で第２体内画像を視認し、第２体内画像内の変化位置と穿刺経路との交差を判定する第２判定を行い、
第１判定と第２判定の両方で交差していると判定された場合に、三次元空間上において交差していると判定する、
第２付記項１に記載の穿刺方法。
［第２付記項３］
操作を行っている状態で第１体内画像を視認し、第１体内画像内の変化位置と穿刺経路との交差を判定する第１判定と、操作が継続されている状態で第２体内画像を視認し、第２体内画像内の変化位置と穿刺経路との交差を判定する第２判定とを行い、
第１判定と第２判定の両方で交差していると判定された場合に、三次元空間上において交差していると判定する、
第２付記項１に記載の穿刺方法。
被検体の体内を撮影する体内カメラによって撮影された体内画像であって、穿刺針によって穿刺される臓器と、体内に挿入される医療機器の挿入部と、挿入部に設けられた画像認識可能なマーカとが撮影範囲に含まれており、かつマーカに基づいて導出された挿入部の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報に基づいて特定される位置に、穿刺針の穿刺経路が重畳表示された体内画像を視認しながら、
体内の内壁に変化を生じさせる操作を体外から行い、
操作が行われている状態において、第１視点で撮影された第１体内画像と、第１視点とは異なる第２視点で撮影された第２体内画像に基づいて、体内の三次元空間上において内壁が変化する変化位置と穿刺経路とが交差するか否かを判定し、
判定結果において交差していると判定された場合に、変化位置と穿刺経路との交点に穿刺針を穿刺する、
穿刺方法。
［第２付記項２］
操作は、同じ位置に対して異なるタイミングで行われる第１操作と第２操作の２回の操作を含み、
第１操作を行っている状態で第１体内画像を視認し、第１体内画像内の変化位置と穿刺経路との交差を判定する第１判定を行い、
その後、第２操作を行っている状態で第２体内画像を視認し、第２体内画像内の変化位置と穿刺経路との交差を判定する第２判定を行い、
第１判定と第２判定の両方で交差していると判定された場合に、三次元空間上において交差していると判定する、
第２付記項１に記載の穿刺方法。
［第２付記項３］
操作を行っている状態で第１体内画像を視認し、第１体内画像内の変化位置と穿刺経路との交差を判定する第１判定と、操作が継続されている状態で第２体内画像を視認し、第２体内画像内の変化位置と穿刺経路との交差を判定する第２判定とを行い、
第１判定と第２判定の両方で交差していると判定された場合に、三次元空間上において交差していると判定する、
第２付記項１に記載の穿刺方法。
【0194】
また、上記実施形態において、例えば、画像取得、位置姿勢情報導出、画像合成及び表示制御といった各種の処理を実行するプロセッサ４１のハードウェア的な構造としては、下記に示す各種のプロセッサ（Processer）を用いることができる。各種プロセッサとしては、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field‐Programmable Gate Array）などの製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
【0195】
また、上記各種処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせなど）で実行してもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、システムオンチップ（System On Chip：ＳＯＣ）などのように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。
【0196】
このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
【0197】
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（Circuitry）を用いることができ
る。
る。
【0198】
また、本開示の技術は、医療支援装置の作動プログラムに加えて、医療支援装置の作動プログラムを非一時的に記憶するコンピュータで読み取り可能な記憶媒体（ＵＳＢメモリ又はＤＶＤ（Digital Versatile Disc）－ＲＯＭ（Read Only Memory）など）にもおよぶ。
【0199】
以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
【0200】
本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
【0201】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【符号の説明】
【0202】
１１ 医療支援装置
１３ 内視鏡
１３Ａ 挿入部
１３Ｂ、１３Ｂ１、１３Ｂ２ カメラ
１４ 超音波プローブ
１４Ａ 挿入部
１４Ｂ 先端部
１４Ｃ 超音波トランスデューサ
１４Ｄ 操作部
１６ ディスプレイ
１７ トロカール
１８ 穿刺針
１８Ａ 針部
１８Ｂ 把持部
２１ 術野画像
２２ 超音波画像
２２Ｇ 超音波画像群
２７ 腫瘍
２９ ガイド溝
２９Ａ ガイド溝
２９Ｂ ガイド溝
４１ プロセッサ
４１Ａ 画像取得部
４１Ｂ 位置姿勢情報導出部
４１Ｃ 画像合成部
４１Ｄ 表示制御部
４２ 受付デバイス
４４ ストレージ
４５ 通信Ｉ／Ｆ
４６ 外部Ｉ／Ｆ
４８ バス
４９ 医療支援プログラム
５０ 寸法情報
５６ 格子パターン
５６Ａ 交点
５６Ａ 符号
１２３ 術前準備情報
１３１ 断層撮影装置
１３２ 断層画像群
１３２Ａ 断層画像
１３３ 画像データベース
１３４ 術前３Ｄ画像（三次元画像）
１３４Ａ ボクセルデータ
１３７ 血管構造
１５１ 超音波３Ｄ画像
１５１Ａ ボクセルデータ
１５８ 第１位置関係情報
１５９ 第２位置関係情報
θ 傾斜角
θ１ 傾斜角
θ２ 傾斜角
ＡＸ 軸
ＡＸＯ 撮影光軸
ＢＳ 体表
ＤＭＰ 深度マップ
ＦＧ 指
Ｌ 基線長
ＬＭ 機械学習モデル
ＬＶ 肝臓
Ｍ マーカ
ＮＰ 挿入位置
ＮＲ１ 第１穿刺ライン
ＮＲ２ 第２穿刺ライン
ＮＲ３ 第３穿刺ライン
ＮＲ４ 第４穿刺ライン
ＮＲＴ 目標穿刺ライン
ＰＲ、ＰＲ１、ＰＲ２ 隆起部
ＰＴ 患者
ＲＧ１、ＲＧ２ 範囲
Ｓ 走査軌跡
ＳＦ 術野
ＳＴ 医療スタッフ
Ｔ１、Ｔ２ 時刻
ＶＰ１、ＶＰ２ 視点
Ｗ 内壁
ＸＰ 交点
Ｘｉｎ、Ｙｉｎ、Ｘｐｂ、Ｙｐｂ 座標
１３ 内視鏡
１３Ａ 挿入部
１３Ｂ、１３Ｂ１、１３Ｂ２ カメラ
１４ 超音波プローブ
１４Ａ 挿入部
１４Ｂ 先端部
１４Ｃ 超音波トランスデューサ
１４Ｄ 操作部
１６ ディスプレイ
１７ トロカール
１８ 穿刺針
１８Ａ 針部
１８Ｂ 把持部
２１ 術野画像
２２ 超音波画像
２２Ｇ 超音波画像群
２７ 腫瘍
２９ ガイド溝
２９Ａ ガイド溝
２９Ｂ ガイド溝
４１ プロセッサ
４１Ａ 画像取得部
４１Ｂ 位置姿勢情報導出部
４１Ｃ 画像合成部
４１Ｄ 表示制御部
４２ 受付デバイス
４４ ストレージ
４５ 通信Ｉ／Ｆ
４６ 外部Ｉ／Ｆ
４８ バス
４９ 医療支援プログラム
５０ 寸法情報
５６ 格子パターン
５６Ａ 交点
５６Ａ 符号
１２３ 術前準備情報
１３１ 断層撮影装置
１３２ 断層画像群
１３２Ａ 断層画像
１３３ 画像データベース
１３４ 術前３Ｄ画像（三次元画像）
１３４Ａ ボクセルデータ
１３７ 血管構造
１５１ 超音波３Ｄ画像
１５１Ａ ボクセルデータ
１５８ 第１位置関係情報
１５９ 第２位置関係情報
θ 傾斜角
θ１ 傾斜角
θ２ 傾斜角
ＡＸ 軸
ＡＸＯ 撮影光軸
ＢＳ 体表
ＤＭＰ 深度マップ
ＦＧ 指
Ｌ 基線長
ＬＭ 機械学習モデル
ＬＶ 肝臓
Ｍ マーカ
ＮＰ 挿入位置
ＮＲ１ 第１穿刺ライン
ＮＲ２ 第２穿刺ライン
ＮＲ３ 第３穿刺ライン
ＮＲ４ 第４穿刺ライン
ＮＲＴ 目標穿刺ライン
ＰＲ、ＰＲ１、ＰＲ２ 隆起部
ＰＴ 患者
ＲＧ１、ＲＧ２ 範囲
Ｓ 走査軌跡
ＳＦ 術野
ＳＴ 医療スタッフ
Ｔ１、Ｔ２ 時刻
ＶＰ１、ＶＰ２ 視点
Ｗ 内壁
ＸＰ 交点
Ｘｉｎ、Ｙｉｎ、Ｘｐｂ、Ｙｐｂ 座標
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
