特開 2024-131034 医療支援装置、医療支援装置の作動方法及び作動プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024131034

(43)【公開日】2024-09-30

(54)【発明の名称】医療支援装置、医療支援装置の作動方法及び作動プログラム

(51)【国際特許分類】

   A61B 8/14 20060101AFI20240920BHJP

【ＦＩ】

A61B8/14

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2023041051

(22)【出願日】2023-03-15

(71)【出願人】

【識別番号】306037311

【氏名又は名称】富士フイルム株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】桝本 潤

(72)【発明者】

【氏名】流石 朗子

【テーマコード（参考）】

4C601

【Ｆターム（参考）】

4C601BB03

4C601DD14

4C601EE11

4C601FF02

4C601FF03

4C601KK31

(57)【要約】

【課題】簡便な構成で、かつ、より表示の自由度が高い態様で、医療機器の位置又は姿勢に応じた適切な位置に医療支援情報の表示が可能な医療支援装置、作動方法及び作動プログラムを提供する。
【解決手段】医療支援装置のプロセッサは、被検体の体外にある体外カメラによって撮影された撮影画像であって、挿入部が被検体の体内に挿入された医療機器と、医療機器の挿入部を除く部分に設けられた画像認識可能なマーカとが撮影範囲に含まれる撮影画像を取得し、マーカに基づいて、撮影画像内における医療機器の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出し、位置姿勢情報に基づいて撮影画像内において特定される位置に医療支援情報を重ね合わせた合成画像を表示部に表示する制御を実行する。
【選択図】図２

【特許請求の範囲】

【請求項1】

プロセッサを備え、
前記プロセッサは、
被検体の体外にある体外カメラによって撮影された撮影画像であって、挿入部が前記被検体の体内に挿入された医療機器と、前記医療機器の前記挿入部を除く部分に設けられた画像認識可能なマーカとが撮影範囲に含まれる撮影画像を取得し、
前記マーカに基づいて、前記撮影画像内における前記医療機器の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出し、
前記位置姿勢情報に基づいて前記撮影画像内において特定される位置に医療支援情報を重ね合わせた合成画像を表示部に表示する制御を実行する
医療支援装置。

【請求項2】

前記医療機器は、鏡視下手術に用いられる医療機器であって、前記被検体の体表に形成された穴から体内に挿入される挿入部を先端側に有し、前記マーカは体外に挿入されない基端側に設けられており、
前記プロセッサは、前記マーカに基づいて、前記医療機器の前記挿入部の前記位置姿勢情報を導出する
請求項１に記載の医療支援装置。

【請求項3】

前記プロセッサは、前記マーカと前記医療機器の寸法情報に基づいて、前記挿入部の前記位置姿勢情報を導出する
請求項２に記載の医療支援装置。

【請求項4】

前記医療機器は、体外にある操作部の操作によって前記挿入部の位置及び姿勢を変化させることが可能である場合において、
前記プロセッサは、前記寸法情報に加えて、前記操作部の操作量を取得し、
取得した前記操作量を、前記挿入部の前記位置姿勢情報の導出に用いる
請求項３に記載の医療支援装置。

【請求項5】

前記医療機器は、前記体内を撮影する体内カメラを有する第１医療機器であり、
前記第１医療機器の前記挿入部を第１挿入部、前記第１医療機器の前記マーカを第１マーカ、前記撮影画像を第１撮影画像、及び前記位置姿勢情報を第１位置姿勢情報とし、
さらに、前記第１医療機器とは別の第２医療機器であって、前記体内に挿入される第２挿入部と、前記第２挿入部に画像認識可能な第２マーカとが設けられた第２医療機器が、前記第１医療機器とともに手術に用いられる場合において、
前記プロセッサは、
前記体内カメラによって撮影された第２撮影画像であって、前記第２挿入部と、前記第２マーカとが撮影範囲に含まれる第２撮影画像を取得し、
前記第２マーカに基づいて、前記第２撮影画像内における前記第２挿入部の位置及び姿勢のうちの少なくとも１つを含む第２位置姿勢情報を導出し、
前記第１位置姿勢情報及び前記第２位置姿勢情報に基づいて前記第１撮影画像内において特定される位置に、前記医療支援情報を前記第１撮影画像に重ね合わせた合成画像を表示部に表示する制御を実行する
請求項２に記載の医療支援装置。

【請求項6】

前記医療機器は、臓器の内部構造を観察可能な医用プローブである
請求項２に記載の医療支援装置。

【請求項7】

前記第１医療機器は、内視鏡であり、
前記第２医療機器は、臓器の内部構造を観察可能な医用プローブである
請求項５に記載の医療支援装置。

【請求項8】

前記医療支援情報は、前記医用プローブを通じて観察される前記臓器内の目標位置に向けて体外から挿入される処置具の挿入支援情報であって、挿入位置及び挿入経路の少なくとも１つを含む挿入支援情報である
請求項６または請求項７に記載の医療支援装置。

【請求項9】

前記医用プローブは、超音波プローブである
請求項８に記載の医療支援装置。

【請求項10】

前記処置具は、穿刺針である
請求項８に記載の医療支援装置。

【請求項11】

前記挿入位置は、前記穿刺針が挿入される前記被検体の体表上の位置を示すマークで表示される
請求項１０に記載の医療支援装置。

【請求項12】

前記挿入経路は線で示される
請求項１０に記載の医療支援装置。

【請求項13】

前記医用プローブは、前記挿入部に設けられ、前記処置具との係合により、前記処置具の前記目標位置への挿入をガイドするためのガイド溝を有しており、
前記プロセッサは、前記第２マーカと前記ガイド溝の相対的な位置関係に基づいて、前記撮影画像に前記挿入支援情報を重ね合わせる位置を特定する
請求項７を引用する請求項８に記載の医療支援装置。

【請求項14】

前記プロセッサは、前記医用プローブによって取得される前記臓器の内部画像において特定される前記目標位置と、前記位置姿勢情報に基づいて導出される、前記内部画像の座標系と前記撮影画像の座標系との相関関係とに基づいて、前記撮影画像に前記挿入支援情報を重ね合わせる位置を特定する
請求項８に記載の医療支援装置。

【請求項15】

手術前に予め取得された前記臓器の三次元画像に、手術前のシミュレーションによって前記挿入支援情報が設定されている場合において、
前記プロセッサは、前記医用プローブによって取得される前記臓器の内部画像の座標系と前記三次元画像の座標系との相関関係と、前記第２位置姿勢情報に基づいて導出される、前記内部画像の座標系と前記第２撮影画像内の座標系との相関関係とを利用して、前記挿入支援情報を前記第１撮影画像に重ね合わせる
請求項７を引用する請求項８に記載の医療支援装置。

【請求項16】

前記体外カメラは前記処置具の基端側に設けられ、前記撮影画像を動画で出力することが可能であり、
前記プロセッサは、前記挿入支援情報として、前記動画に前記挿入経路を示す線を表示する
請求項８に記載の医療支援装置。

【請求項17】

前記処置具は穿刺針であり、体外カメラの撮影光軸は前記穿刺針の軸方向に沿って配置されている
請求項１６に記載の医療支援装置。

【請求項18】

前記撮影画像は、異なる視点から撮影された少なくとも２枚の撮影画像であり、
前記プロセッサは、前記２枚の前記撮影画像に写る前記挿入経路の交点を求めることにより、前記被検体の体表上の前記挿入位置を導出する
請求項８に記載の医療支援装置。

【請求項19】

プロセッサを備えた医療支援装置の作動方法であって、
前記プロセッサは、
被検体の体外にある体外カメラによって撮影された撮影画像であって、挿入部が前記被検体の体内に挿入された状態の医療機器と、前記医療機器の前記挿入部を除く部分に設けられた画像認識可能なマーカとが撮影範囲に含まれる撮影画像を取得し、
前記マーカに基づいて、前記撮影画像内における前記医療機器の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出し、
前記位置姿勢情報に基づいて前記撮影画像内において特定される位置に医療支援情報を重ね合わせた合成画像を表示部に表示する制御を実行する
医療支援装置の作動方法。

【請求項20】

コンピュータを医療支援装置として機能させる作動プログラムであって、
被検体の体外にある体外カメラによって撮影された撮影画像であって、挿入部が前記被検体の体内に挿入された状態の医療機器と、前記医療機器の前記挿入部を除く部分に設けられた画像認識可能なマーカとが撮影範囲に含まれる撮影画像を取得し、
前記マーカに基づいて、前記撮影画像内における前記医療機器の位置および姿勢のうちの少なくとも１つを含む位置姿勢情報を導出し、
前記位置姿勢情報に基づいて前記撮影画像内において特定される位置に医療支援情報を重ね合わせた合成画像を表示部に表示する制御を、
コンピュータに実行させる医療支援装置の作動プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示の技術は、医療支援装置、医療支援装置の作動方法及び作動プログラムに関する。

【背景技術】

【0002】

鏡視下手術では、超音波プローブを用いて肝臓内部の超音波画像を取得し、超音波画像で腫瘍の位置である穿刺目標を把握する。しかし、超音波画像において穿刺目標が表示されていても、超音波画像は、体内にある臓器内部を示す画像であるため、体表のどの位置からどの方向で穿刺針を挿入してよいかがわかりにくい。

【0003】

こうした問題を解決するために、穿刺を支援する技術が用いられる。例えば、特許文献１には、先端に磁気ポジションセンサを設けた穿刺針を用いた磁気ナビゲーションシステムを用いて、体内に挿入された穿刺針の先端の位置及び姿勢をリアルタイムで表示する技術が開示されている。特許文献２には、穿刺針の挿入をガイドするガイド溝が設けられた超音波プローブの先端に、ガイド溝の傾斜に沿って体表側に向けてレーザ光を照射するレーザポインタを用いる技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】米国特許公報第８６８８１９６号

【特許文献2】欧州特許公報第３１３６９４０号

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１は、磁気ナビゲーションシステムといった大掛かりな装置が必要になるという問題がある。特許文献２は、ガイド溝の傾斜に合わせた方向にレーザ光を照射するのみであるため、支援情報の表示内容及び表示位置に関して表示の自由度が低いという問題がある。このように、従来技術では、体内への挿入部を有する医療機器を用いる場合において、簡便な構成で、かつ、より表示の自由度が高い態様で、医療機器の位置又は姿勢に応じた適切な位置に医療支援情報を表示することができないという問題があった。

【0006】

本開示に係る技術は、簡便な構成で、かつ、より表示の自由度が高い態様で、医療機器の位置又は姿勢に応じた適切な位置に医療支援情報の表示が可能な医療支援装置、作動方法及び作動プログラムを提供する。

【課題を解決するための手段】

【0007】

本開示の技術に係る医療支援装置は、プロセッサを備え、プロセッサは、被検体の体外にある体外カメラによって撮影された撮影画像であって、挿入部が被検体の体内に挿入された医療機器と、医療機器の挿入部を除く部分に設けられた画像認識可能なマーカとが撮影範囲に含まれる撮影画像を取得し、マーカに基づいて、撮影画像内における医療機器の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出し、位置姿勢情報に基づいて撮影画像内において特定される位置に医療支援情報を重ね合わせた合成画像を表示部に表示する制御を実行する。

【0008】

医療機器は、鏡視下手術に用いられる医療機器であって、被検体の体表に形成された穴から体内に挿入される挿入部を先端側に有し、マーカは体外に挿入されない基端側に設けられており、プロセッサは、マーカに基づいて、医療機器の挿入部の位置姿勢情報を導出することが好ましい。

【0009】

プロセッサは、マーカと医療機器の寸法情報に基づいて、挿入部の位置姿勢情報を導出することが好ましい。

【0010】

医療機器は、体外にある操作部の操作によって挿入部の位置及び姿勢を変化させることが可能である場合において、プロセッサは、寸法情報に加えて、操作部の操作量を取得し、取得した操作量を、挿入部の位置姿勢情報の導出に用いることが好ましい。

【0011】

医療機器は、体内を撮影する体内カメラを有する第１医療機器であり、第１医療機器の挿入部を第１挿入部、第１医療機器のマーカを第１マーカ、撮影画像を第１撮影画像、及び位置姿勢情報を第１位置姿勢情報とし、さらに、第１医療機器とは別の第２医療機器であって、体内に挿入される第２挿入部と、第２挿入部に画像認識可能な第２マーカとが設けられた第２医療機器が、第１医療機器とともに手術に用いられる場合において、プロセッサは、体内カメラによって撮影された第２撮影画像であって、第２挿入部と、第２マーカとが撮影範囲に含まれる第２撮影画像を取得し、第２マーカに基づいて、第２撮影画像内における第２挿入部の位置及び姿勢のうちの少なくとも１つを含む第２位置姿勢情報を導出し、第１位置姿勢情報及び第２位置姿勢情報に基づいて第１撮影画像内において特定される位置に、医療支援情報を第１撮影画像に重ね合わせた合成画像を表示部に表示する制御を実行することが好ましい。

【0012】

医療機器は、臓器の内部構造を観察可能な医用プローブであることが好ましい。

【0013】

第１医療機器は、内視鏡であり、第２医療機器は、臓器の内部構造を観察可能な医用プローブであることが好ましい。

【0014】

医療支援情報は、医用プローブを通じて観察される臓器内の目標位置に向けて体外から挿入される処置具の挿入支援情報であって、挿入位置及び挿入経路の少なくとも１つを含む挿入支援情報であることが好ましい。

【0015】

医用プローブは、超音波プローブであることが好ましい。

【0016】

処置具は、穿刺針であることが好ましい。

【0017】

挿入位置は、穿刺針が挿入される被検体の体表上の位置を示すマークで表示されることが好ましい。

【0018】

挿入経路は線で示されることが好ましい。

【0019】

医用プローブは、挿入部に設けられ、処置具との係合により、処置具の目標位置への挿入をガイドするためのガイド溝を有しており、プロセッサは、第２マーカとガイド溝の相対的な位置関係に基づいて、撮影画像に挿入支援情報を重ね合わせる位置を特定することが好ましい。

【0020】

プロセッサは、医用プローブによって取得される臓器の内部画像において特定される目標位置と、位置姿勢情報に基づいて導出される、内部画像の座標系と撮影画像の座標系との相関関係とに基づいて、撮影画像に挿入支援情報を重ね合わせる位置を特定することが好ましい。

【0021】

手術前に予め取得された臓器の三次元画像に、手術前のシミュレーションによって挿入支援情報が設定されている場合において、プロセッサは、医用プローブによって取得される臓器の内部画像の座標系と三次元画像の座標系との相関関係と、第２位置姿勢情報に基づいて導出される、内部画像の座標系と第２撮影画像内の座標系との相関関係とを利用して、挿入支援情報を第１撮影画像に重ね合わせることが好ましい。

【0022】

体外カメラは処置具の基端側に設けられ、撮影画像を動画で出力することが可能であり、プロセッサは、挿入支援情報として、動画に挿入経路を示す線を表示することが好ましい。

【0023】

処置具は穿刺針であり、体外カメラの撮影光軸は穿刺針の軸方向に沿って配置されていることが好ましい。

【0024】

撮影画像は、異なる視点から撮影された少なくとも２枚の撮影画像であり、プロセッサは、２枚の撮影画像に写る挿入経路の交点を求めることにより、被検体の体表上の挿入位置を導出することが好ましい。

【0025】

本開示の技術に係る医療支援装置の作動方法は、プロセッサを備えた医療支援装置の作動方法であって、プロセッサは、被検体の体外にある体外カメラによって撮影された撮影画像であって、挿入部が被検体の体内に挿入された状態の医療機器と、医療機器の挿入部を除く部分に設けられた画像認識可能なマーカとが撮影範囲に含まれる撮影画像を取得し、マーカに基づいて、撮影画像内における医療機器の位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出し、位置姿勢情報に基づいて撮影画像内において特定される位置に医療支援情報を重ね合わせた合成画像を表示部に表示する制御を実行する。

【0026】

本開示の技術に係る医療支援装置の作動プログラムは、コンピュータを医療支援装置として機能させる作動プログラムであって、被検体の体外にある体外カメラによって撮影された撮影画像であって、挿入部が被検体の体内に挿入された状態の医療機器と、医療機器の挿入部を除く部分に設けられた画像認識可能なマーカとが撮影範囲に含まれる撮影画像を取得し、マーカに基づいて、撮影画像内における医療機器の位置および姿勢のうちの少なくとも１つを含む位置姿勢情報を導出し、位置姿勢情報に基づいて撮影画像内において特定される位置に医療支援情報を重ね合わせた合成画像を表示部に表示する制御を、コンピュータに実行させる。

【図面の簡単な説明】

【0027】

【図1】医療支援装置を含む医療支援システムの概略を示す図ある。

【図2】鏡視下手術における体内の様子を示す図である。

【図3】術超音波プローブと超音波画像を示す図である。

【図4】医療支援装置のハードウェア構成を示す図である。

【図5】医療支援処理の全体の手順を示すフローチャートである。

【図6】体外の第１マーカに基づく位置姿勢情報の導出方法を示す図である。

【図7】第１マーカと医療機器の位置及び姿勢の関係を示す図である。

【図8】第１マーカと医療機器の位置及び姿勢の関係を示す別の図である。

【図9】体内の第２マーカに基づく位置姿勢情報の導出方法を示す図である。

【図10】体内術野画像と体外術野画像の座標変換を示す図である。

【図11】体外カメラの視点移動による表示の変化を示す図である。

【図12】ステレオ撮影を示す図である。

【図13】超音波画像と体外術野画像の相関関係を利用する方法を示す図である。

【図14】第２実施形態を示す図である。

【図15】開腹手術の例を示す図である。

【図16】体外カメラをロボットに設ける例を示す図である。

【図17】術前３Ｄ画像の作成方法を示す図である。

【図18】術前準備情報の作成方法を示す図である。

【図19】超音波３Ｄ画像の作成方法を示す図である。

【図20】超音波３Ｄ画像と術前３Ｄ画像の相関関係を利用する方法を示す図である。

【発明を実施するための形態】

【0028】

［第１実施形態］
図１及び図２に示すように、医療支援システム１０は、一例として、患者ＰＴに対して、内視鏡１３等を用いた鏡視下手術を施す際に用いられる。鏡視下手術は、開腹手術と異なり、患者ＰＴの体に小さな穴を開けて、そこから内視鏡１３等の医療機器を入れて行う手術をいう。医療支援システム１０は、医師を含む医療スタッフＳＴに対して、術野の視野を提供する。ここでは、術野として、患者ＰＴの体内の体内術野ＳＦｉｎと、体内術野ＳＦｉｎに対応する体外の領域である体外術野ＳＦｅｘとを区別して説明する。後述するとおり、医療スタッフＳＴに対しては体内及び体外のどちらの視野も提供される。さらに、医療支援システム１０は、術野の視野に加えて、手術及び検査等の診療を支援する支援情報を提供する。このような医療支援システム１０は、手術中にリアルタイムで支援情報を提供する機能を有することから、手術ナビゲーションシステムなどとも呼ばれる。医療支援システム１０は、一例として、医療支援装置１１と、内視鏡１３、超音波プローブ１４、体外カメラ１５及びディスプレイ１６を備えている。医療支援装置１１は、本開示の技術に係る「医療支援装置」の一例であり、患者ＰＴは、「被検体」の一例である。

【0029】

医療支援装置１１は、内視鏡１３、超音波プローブ１４、体外カメラ１５及びディスプレイ１６と通信可能に接続されている。鏡視下手術においては、内視鏡１３及び超音波プローブ１４は、それぞれの先端部を含む一部が、トラカール１７を介して体内に挿入される。トラカール１７は、内視鏡１３等を挿通する挿通孔と挿通孔内に設けられガス漏れを防止するバルブとが設けられた挿通具である。鏡視下手術においては、腹腔内には炭酸ガスの注入によって気腹が行われるため、内視鏡１３及び超音波プローブ１４等の体内への挿入にトラカール１７が用いられる。

【0030】

また、本例では、手術の対象部位は肝臓ＬＶであり、図２は、患者ＰＴの腹部に内視鏡１３及び超音波プローブ１４を挿入している様子を示している。符号１８は、穿刺針である。穿刺針１８は、一例として、臓器に含まれる腫瘍２７等の病変を穿刺対象として穿刺し、病変を焼灼する処置具である。後述するように、本例では、手術として、超音波画像２２によって肝臓ＬＶの腫瘍２７を可視化し、可視化された腫瘍２７を穿刺針１８で焼灼することにより、腫瘍２７を壊死させる治療を行う例で説明する。穿刺針１８は、針部１８Ａと針部１８Ａの基端側に設けられた把持部１８Ｂとを有する。把持部１８Ｂには、体外カメラ１５が設けられている。体外カメラ１５の撮影光軸は、穿刺針１８の軸方向に沿って配置されている。これにより、体外カメラ１５の視点の方向と、穿刺針１８の針先の方向がほぼ一致する。

【0031】

内視鏡１３は、患者ＰＴの体内に挿入される挿入部１３Ａを有しており、挿入部１３Ａの先端部１３Ｂには、カメラ１３Ｃと、照明用の光源（ＬＥＤ（Light Emitting Diode）など）とが内蔵されている。内視鏡１３は、一例として、挿入部１３Ａが硬質な硬性内視鏡であり、腹腔観察に多く用いられることから腹腔鏡などとも呼ばれる。カメラ１３Ｃは、ＣＣＤ(Charge Coupled Device)イメージセンサ及びＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサなどのイメージセンサと、被写体像をイメージセンサの撮像面に結像するレンズを含む結像光学系とを有する。イメージセンサは例えばカラー画像を撮像可能なイメージセンサである。内視鏡１３は、本開示の技術に係る「医療機器」及び「第１医療機器」の一例であり、挿入部１３Ａは「第１挿入部」の一例である。カメラ１３Ｃは、本開示の技術に係る「体内カメラ」の一例である。

【0032】

内視鏡１３は、患者ＰＴの体内の対象部位（本例では肝臓ＬＶ）を含む体内術野ＳＦｉｎをカメラ１３Ｃによって光学的に撮影する。内視鏡１３は、図示しない内視鏡用の画像処理プロセッサに接続されており、画像処理プロセッサは、イメージセンサが出力する撮像信号に対して信号処理を行って、体内術野ＳＦｉｎの体内術野画像２１を生成する。体内術野画像２１は、本開示の技術に係る「体内カメラによって撮影された第２撮影画像」の一例である。

【0033】

内視鏡１３の照明光としては、紫外線及び赤外光などの特殊光が用いられる場合もあるが、白色光などの可視光が用いられる。なお、内視鏡１３の照明光は、紫外線及び赤外光などの特殊光を用いてもよい。特殊光としては、紫外線領域などの短波長域の光を狭帯域化した短波長狭帯域光などの特定波長に制限された光を用いてもよい。体内術野画像内視鏡１３によって撮影された体内術野画像２１は、内視鏡用の画像処理プロセッサを介してリアルタイムで医療支援装置１１に送信される。体内術野画像２１は、ディスプレイ１６に動画として表示される。図２において、符号Ｘｉｎ及びＹｉｎは、体内術野画像２１の座標系を示す。

【0034】

また、内視鏡１３の基端側には把持部１３Ｄが設けられている。把持部１３Ｄには、画像認識可能なマーカＭ１が設けられている。マーカＭ１は、光学的に撮影された画像において認識可能なマーカであり、すなわち、光学的に検出可能なマーカである。マーカＭ１は、体内に挿入される挿入部１３Ａを除く部分に設けられている。把持部１３Ｄは、本開示の技術に係る「挿入部を除く部分」の一例である。すなわち、マーカＭ１は、体外から視認可能な位置に設けられており、本例においては体外カメラ１５によって撮影される。医療支援装置１１は、マーカＭ１を利用することにより、体内に挿入される挿入部１３Ａの位置及び姿勢を推定する。

【0035】

マーカＭ１は、一例として、格子パターンまたはドットパターンなどの形態的な特徴を有するパターンによって構成されている。マーカＭ１を用いた位置及び姿勢の推定については、後述する。マーカＭ１は、本開示の技術に係る「マーカ」及び「第１マーカ」の一例である。

【0036】

超音波プローブ１４は、内視鏡１３と同様に患者ＰＴの体内に挿入される挿入部１４Ａと、挿入部１４Ａの基端側に操作部１４Ｄとを有している。挿入部１４Ａの先端部１４Ｂには、超音波トランスデューサ１４Ｃが内蔵されている。超音波トランスデューサ１４Ｃは、対象部位に対して超音波を送信し、対象部位で反射した反射波を受信する。超音波プローブ１４は、図示しない超音波プローブ用の画像処理プロセッサに接続されている。超音波プローブ用の画像処理プロセッサは、超音波プローブ１４が受信した反射波に応じた信号に基づいて、反射波に基づいて画像再構成処理を行う。画像再構成処理により、超音波プローブ１４によって走査された対象部位の内部構造を示す超音波画像２２（図６参照）を生成する。超音波画像２２は、対象部位において超音波が到達する表層から深層までの内部構造を輝度情報として可視化した、いわゆるＢ（Brightness）モード画像である。超音波画像２２は、光学的な撮影によって得られる体内術野画像２１では観察が不可能な対象部位の内部構造を可視化する。

【0037】

超音波プローブ１４は、一例として、放射状に超音波を送信するコンベックスタイプであり、超音波トランスデューサ１４Ｃを基点にした扇形の画像が取得される。超音波プローブ１４を走査することにより、走査方向に沿って操作位置に応じた超音波画像２２が撮影される。超音波画像２２は、超音波プローブ用の画像処理プロセッサを介してリアルタイムで医療支援装置１１に送信される。超音波画像２２は、ディスプレイ１６に動画として表示される。図２において、符号Ｘｐｂ及びＹｐｂは、超音波画像２２の座標系を示す。

【0038】

超音波プローブ１４において、挿入部１４Ａの先端部１４Ｂには、穿刺針１８の挿入をガイドするガイド溝２９が設けられている。

【0039】

図３に示すように、ガイド溝２９は、先端部１４Ｂにおいて、超音波トランスデューサ１４Ｃよりも基端側に設けられている。ガイド溝２９は、先端部１４Ｂの軸方向ＡＸｐｂに対してθの角度をつけて傾斜している。ガイド溝２９は、患者ＰＴの体表側から挿入された穿刺針１８の針先が、超音波トランスデューサ１４Ｃが配置される先端側に向くように基端側に後傾している。穿刺針１８の挿入は、超音波画像２２によって腫瘍２７を確認しながら行われる。超音波画像２２によって可視化される領域は、超音波トランスデューサ１４Ｃを基点とする放射状の領域であるため、ガイド溝２９が傾斜していることにより、穿刺針１８の針先を超音波画像２２によって可視化される腫瘍２７に向けることが可能となっている。

【0040】

先端部１４Ｂには、マーカＭ２が設けられている。マーカＭ２は、マーカＭ１と同様に画像認識可能なマーカである。マーカＭ２は、内視鏡１３のカメラ１３Ｃによって撮影可能である。医療支援装置１１は、マーカＭ２を利用することにより、挿入部１４Ａの先端部１４Ｂの位置及び姿勢を推定する。本例においては、マーカＭ２によって先端部１４Ｂに設けられたガイド溝２９の位置及び姿勢を推定する情報として利用される。

【0041】

マーカＭ２は、一例として、マーカＭ１と同様に、格子パターンまたはドットパターンなどの形態的な特徴を有するパターンによって構成されている。マーカＭ２を用いた位置及び姿勢の推定については、後述する。マーカＭ２は、本開示の技術に係る「第２マーカ」の一例である。超音波プローブ１４は、本開示の技術に係る「第２医療機器」の一例であり、挿入部１４Ａは「第２挿入部」の一例である。

【0042】

体外カメラ１５は、内視鏡１３のカメラ１３Ｃと同様に、光学的な撮影が可能な光学カメラであり、ＣＣＤ(Charge Coupled Device)イメージセンサ及びＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサなどのイメージセンサと、被写体像をイメージセンサの撮像面に結像するレンズを含む結像光学系とを有する。イメージセンサは例えばカラー画像を撮像可能なイメージセンサである。体外カメラ１５は、本開示の技術に係る「体外カメラ」の一例である。

【0043】

体外カメラ１５は、内視鏡１３及び超音波プローブ１４を含む体外術野ＳＦｅｘを光学的に撮影する。体外カメラ１５は、図示しない画像処理プロセッサに接続されており、画像処理プロセッサは、イメージセンサが出力する撮像信号に対して信号処理を行って、体外術野ＳＦｅｘの体外術野画像２３を生成する。体外術野画像２３は、画像処理プロセッサを介してリアルタイムで医療支援装置１１に送信される。体外術野画像２３は、ディスプレイ１６に動画として表示される。図２において、符号Ｘｅｘ及びＹｅｘは、体外術野画像２３の座標系を示す。体外術野画像２３は、本開示の技術に係る「体外カメラによって撮影された撮影画像」及び「第１撮影画像」の一例である。

【0044】

医療支援装置１１は、内視鏡１３から体内術野画像２１を取得し、超音波プローブ１４から超音波画像２２を取得し、体外カメラ１５から体外術野画像２３を取得する。図１に示すように、ディスプレイ１６は、一例として、３つ用意されており、体内術野画像２１、超音波画像２２、及び体外術野画像２３の３つの画像がそれぞれのディスプレイ１６に表示される。

【0045】

超音波プローブ１４が体内術野ＳＦｉｎに挿入されている場合は、体内術野画像２１には、超音波プローブ１４が写り込む。医療支援装置１１は、超音波プローブ１４の挿入部１４Ａ（先端部１４Ｂ及びマーカＭ２を含む）が写り込んだ体内術野画像２１を、ディスプレイ１６に出力する。ディスプレイ１６の画面を通じて、患者ＰＴの体内術野ＳＦｉｎの視野が医療スタッフＳＴに提供される。

【0046】

超音波画像２２には、図３に示すように、穿刺針１８の挿入経路を示す情報として、ガイド溝２９の傾斜角θに沿った穿刺ライン３０を重畳表示することが可能である。穿刺ライン３０は、いわば、ガイド溝２９の延長線である。穿刺ライン３０は、穿刺針１８を挿入する際の目安として用いられ、例えば、超音波画像２２内において穿刺ライン３０と腫瘍２７とが重なるように、超音波プローブ１４の位置決めが行われる。

【0047】

また、体外カメラ１５の視野内に、超音波プローブ１４の操作部１４Ｄ、内視鏡１３の把持部１３Ｄ及びマーカＭ１が入ると、これらを撮影範囲に含んだ体外術野画像２３が撮影される。医療支援装置１１は、このような体外術野画像２３をディスプレイ１６に出力する。ディスプレイ１６の画面を通じて、患者ＰＴの体外術野ＳＦｅｘの視野が医療スタッフＳＴに提供される。

【0048】

上述のとおり、超音波画像２２に穿刺ライン３０が表示されても、超音波画像２２は臓器の内部画像であるため、体外から穿刺針１８をどの位置にどういう姿勢で挿入すればよいかがわかりにくい。具体的には、図３に示すように、患者ＰＴの体表上の挿入位置ＮＰ及び挿入角度を含む挿入経路がわかりにくい。そこで、医療支援装置１１は、体外術野ＳＦｅｘにおいて、穿刺針１８の挿入経路ＮＲ及び挿入位置ＮＰの少なくとも１つを重畳表示する。これにより、医療スタッフＳＴに、挿入経路ＮＲ及び挿入位置ＮＰといった挿入支援情報を提供する。このような挿入支援情報は、本開示の技術に係る「挿入支援情報」及び「医療支援情報」の一例である。

【0049】

このような医療支援装置１１の機能は、概念的には次のとおりである。すなわち、図２に示すように、医療支援装置１１は、体外カメラ１５によって撮影され、撮影範囲に内視鏡１３のマーカＭ１を含む体外術野画像２３から、体外カメラ１５と把持部１３Ｄとの相対的な位置関係ＲＰ１－１を把握する。具体的には、体外カメラ１５によって撮影した体外術野画像２３内におけるマーカＭ１の位置及び姿勢を把握する。そして、内視鏡１３の寸法情報は既知であるため、マーカＭ１と、内視鏡１３の先端部１３Ｂに設けられたカメラ１３Ｃとの距離等の相対的な位置関係ＲＰ１－２は既知である。医療支援装置１１は、位置関係ＲＰ１－２に基づいて、マーカＭ１の位置及び姿勢から、カメラ１３Ｃの位置及び姿勢を把握する。医療支援装置１１は、カメラ１３Ｃの位置及び姿勢を把握することにより、カメラ１３Ｃの撮影方向（より具体的には撮影光軸の向き）を把握する。

【0050】

そして、医療支援装置１１は、カメラ１３Ｃによって撮影され、撮影範囲に超音波プローブ１４のマーカＭ２を含む体内術野画像２１から、カメラ１３ＣとマーカＭ２との相対的な位置関係ＲＰ２を把握する。超音波プローブ１４の寸法情報は既知であるため、マーカＭ２とガイド溝２９との相対的な位置関係も既知である。これらの相対的な位置関係ＲＰ１－１、ＲＰ１－２、及びＲＰ２等を用いることにより、体外カメラ１５とガイド溝２９との相対的な位置関係ＲＰ１－３を把握することが可能である。医療支援装置１１は、このようにマーカＭ１に基づいて、体外術野画像２３内における内視鏡１３の挿入部１３Ａの先端部１３Ｂの位置姿勢情報を導出し、マーカＭ２に基づいて、体内術野画像２１内におけるガイド溝２９の位置姿勢情報を導出する。そして、医療支援装置１１は、内視鏡１３の先端部１３Ｂのカメラ１３Ｃの位置姿勢情報、及びガイド溝２９の位置姿勢情報に基づいて、体外術野画像２３において特定される位置に、穿刺針１８の挿入経路ＮＲ及び挿入位置ＮＰのうちのいずれかを含む挿入支援情報を重ね合わせる。これにより、体外術野画像２３が表示されるディスプレイ１６を通じて挿入支援情報が医療スタッフＳＴに提供される。以下において、詳細に説明する。

【0051】

図４において、医療支援装置１１のハードウェア構成の一例を示す。医療支援装置１１は、本開示の技術に係る「医療支援装置」及び「コンピュータ」の一例であり、プロセッサ４１、受付デバイス４２、ディスプレイ１６、ＲＡＭ（Random access memory）４３、ストレージ４４、通信Ｉ／Ｆ４５、及び外部Ｉ／Ｆ４６を備えている。これらの各部は、バス４８に接続されており、相互に通信可能である。

【0052】

医療支援装置１１は、受付デバイス４２を通じて医療スタッフＳＴなどの操作者によって操作される。受付デバイス４２は、図示しないキーボード及びマウス等を有しており、操作者からの指示を受け付ける。受付デバイス４２としては、タッチパネル等のタッチ入力を受け付けるデバイス、マイク等の音声入力を受け付けるデバイス、及びカメラ等のジェスチャ入力を受け付けるデバイス等でもよい。

【0053】

ディスプレイ１６としては、例えば、ＥＬ（Electro-Luminescence）ディスプレイ又は液晶ディスプレイ等が挙げられる。上述のとおり、ディスプレイ１６は３台あり、各ディスプレイ１６に、体内術野画像２１、超音波画像２２及び体外術野画像２３の他、各種の情報が表示される。

【0054】

プロセッサ４１は、例えば、ＣＰＵ（Central Processing Unit）であり、制御プログラムに従って医療支援装置１１の各部を統括的に制御し、かつ各種のアプリケーションプログラムに従って各種の処理を実行する。

【0055】

ストレージ４４は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ストレージ４４としては、例えば、ＨＤＤ（Hard Disk Drive）及びＳＳＤ（Solid State Drive）が挙げられる。また、ストレージ４４には、コンピュータを医療支援装置１１として機能させるための医療支援プログラム４９が格納されている。

【0056】

ＲＡＭ４３は、一時的に情報が記憶されるメモリであり、プロセッサ４１によってワークメモリとして用いられる。ＲＡＭ４３としては、例えば、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＲＡＭ（Static Random Access Memory）等が挙げられる。

【0057】

通信Ｉ／Ｆ４５は、ＬＡＮ（Local Area Network）及び／又はＷＡＮ（Wide Area Network）等のネットワーク（図示省略）に接続されており、有線又は無線の各種の通信規格で規定された通信プロトコルに従って伝送制御を行う。

【0058】

外部Ｉ／Ｆ４６は、例えばＵＳＢ（Universal Serial Bus）インタフェースであり、プリンタ及びメモリカードなどの周辺機器との接続に用いられる。

【0059】

プロセッサ４１は、ストレージ４４から医療支援プログラム４９を読み出し、医療支援
プログラム４９をＲＡＭ４３上で実行することにより医療支援処理を行う。医療支援処理は、プロセッサ４１が画像取得部４１Ａ、位置姿勢情報導出部４１Ｂ、合成画像生成部４１Ｃ、及び表示制御部４１Ｄとして動作することによって実現される。医療支援プログラム４９は、本開示の技術に係る「医療支援装置の作動プログラム」の一例である。

【0060】

寸法情報５０は、内視鏡１３及び超音波プローブ１４の寸法情報を含む。内視鏡１３の寸法情報は、具体的には、内視鏡１３のマーカＭ１とカメラ１３Ｃの間隔を示す直線距離、相対的な姿勢の関係等、マーカＭ１とカメラ１３Ｃとの相対的な位置関係を表す情報である。超音波プローブ１４の寸法情報は、具体的には、超音波プローブ１４のマーカＭ２とガイド溝２９の間隔を示す直線距離、相対的な姿勢の関係等、マーカＭ２とガイド溝２９との相対的な位置関係を表す情報である。さらに、超音波プローブ１４の寸法情報には、ガイド溝２９の軸方向に対する傾斜角θなども含まれる。

【0061】

画像取得部４１Ａは、体内術野画像２１、超音波画像群２２Ｇ及び体外術野画像２３を取得する画像取得処理を実行する。例えば、画像取得部４１Ａは、内視鏡１３のプロセッサ又は／及び超音波プローブ１４のプロセッサを含む装置から外部Ｉ／Ｆ４６又は通信Ｉ／Ｆ４５を介して体内術野画像２１又は／及び超音波画像群２２Ｇを取得する。なお、内視鏡１３のプロセッサ又は／及び超音波プローブ１４のプロセッサを医療支援装置１１が有してもよい。また、同様に、画像取得部４１Ａは、体外カメラ１５のプロセッサを含む装置から外部Ｉ／Ｆ４６又は通信Ｉ／Ｆ４５を介して体外術野画像２３を取得する。体外カメラ１５のプロセッサを医療支援装置１１が有してもよい。

【0062】

位置姿勢情報導出部４１Ｂは、マーカＭ１に基づいて内視鏡１３のカメラ１３Ｃの位置及び姿勢を含む位置姿勢情報を導出する処理と、マーカＭ２に基づいて超音波プローブ１４のガイド溝２９の位置及び姿勢を含む位置姿勢情報を導出する処理とを実行する。

【0063】

合成画像生成部４１Ｃは、導出された位置姿勢情報に基づいて、体外術野画像２３内において挿入支援情報を重ね合わせる位置を特定し、特定した位置に挿入支援情報を重ね合わせた合成画像を生成する。挿入経路ＮＲなどの情報を重ね合わせた体外術野画像２３は、本開示の技術に係る「合成画像」の一例である。

【0064】

表示制御部４１Ｄは、体内術野画像２１、超音波画像２２、及び体外術野画像２３をディスプレイ１６に表示する制御を実行する。体外術野画像２３に挿入経路ＮＲを重ね合わせた合成画像を生成し、生成した合成画像を表示することを、以下において重畳表示と呼ぶ場合もある。

【0065】

図５～図１２を用いて、本開示の医療支援装置１１のプロセッサ４１が実行する処理を具体的に説明する。図５は、全体的な処理手順を示すフローチャートであり、図６～図１２において個々の処理を説明している。

【0066】

図５に示すように、医療支援処理において、プロセッサ４１は、ステップＳ１１００において体外カメラ１５が撮影した体外術野画像２３を取得する。そして、ステップＳ１２００において、プロセッサ４１は、体外術野画像２３から内視鏡１３のマーカＭ１を検出する。ステップＳ１３００において、プロセッサ４１は、マーカＭ１に基づいて、カメラ１３Ｃが設けられている内視鏡１３の先端部１３Ｂの位置姿勢情報を導出する。

【0067】

一方、プロセッサ４１は、ステップＳ１４００において、内視鏡１３のカメラ１３Ｃが撮影した体内術野画像２１を取得する。そして、ステップＳ１５００において、プロセッサ４１は、体内術野画像２１から、超音波プローブ１４のマーカＭ２を検出する。ステップＳ１６００において、プロセッサ４１は、マーカＭ２に基づいて、超音波プローブ１４のガイド溝２９の位置姿勢情報を導出する。ステップＳ１７００において、プロセッサ４１は、ガイド溝２９の位置姿勢情報に基づいて、体内術野画像２１における穿刺針１８の挿入経路ＮＲを導出する。

【0068】

ここで、体外術野画像２３の座標系（以下、第１座標系という）と、体内術野画像２１の座標系（以下、第２座標系という）は異なる。ステップＳ１８００において、プロセッサ４１は、第２座標系の体内術野画像２１における穿刺針１８の挿入経路ＮＲを、体外術野画像２３の第１座標系に変換する。そして、ステップＳ１９００において、プロセッサ４１は、第１座標系に変換した挿入経路ＮＲを体外術野画像２３に重畳表示する。プロセッサ４１は、こうした処理を表示終了まで繰り返す（ステップＳ２０００）。

【0069】

以下、個別の処理ステップをより具体的に説明する。まず、図６は、図５に示すステップＳ１２００のマーカＭ１の検出と、ステップＳ１３００の内視鏡１３の先端部１３Ｂの位置情報導出とを概念的に示す図である。図６の補足説明として、図８及び図９を適宜参照しながら説明する。

【0070】

図６に示すように、プロセッサ４１は、ステップＳ１２００において、第１座標系の体外術野画像２３に基づいて、例えば、パターンマッチング等の画像処理手法を用いて、マーカＭ１を検出する。マーカＭ１は、一例として、内視鏡１３の把持部１３Ｄの軸方向に延びる第１ラインと、軸方向と直交し、把持部１３Ｄの外周面に沿って周方向に形成される第２ラインとによって構成される格子パターン５６のマーカである。格子パターン５６の格子間隔は一定である。符号５６Ａは、第１ラインと第２ラインとの複数の交点を示す。プロセッサ４１は、体外術野画像２３の中から、格子パターン５６のようなマーカＭ１の形態的な特徴を探索することにより、マーカＭ１を検出する。もちろん、パターンマッチングなどのルールベースの手法に代えて、人工知能技術を用いてマーカＭ１を検出してもよい。

【0071】

プロセッサ４１は、マーカＭ１の検出により、体外術野画像２３内のマーカＭ１が存在する領域を特定する。そして、ステップＳ１３００において、まず、マーカＭ１の格子パターン５６などの形態的な特徴に基づいて、把持部１３Ｄの位置及び姿勢を推定する。次に、プロセッサ４１は、推定した把持部１３Ｄの位置及び姿勢と内視鏡１３の寸法情報とに基づいて、先端部１３Ｂの位置及び姿勢を推定する。具体的には次のとおりである。

【0072】

図７及び図８は、体外術野画像２３内のマーカＭ１を有する把持部１３Ｄの位置及び姿勢と、三次元空間として定義した体外術野ＳＦｅｘ内の把持部１３Ｄの位置及び姿勢との対応関係を示す。三次元空間である体外術野ＳＦｅｘのＺｅｘ軸は、体外カメラ１５の撮影光軸と平行な方向であり、Ｘｅｘ－Ｙｅｘ平面（以下、単にＸＹ平面という）は体外カメラ１５の撮像面と平行な面であり、撮影光軸と直交する。ＸＹ平面は体外術野画像２３の画面と平行である。なお、図７及び図８は概念図であり、体外術野ＳＦｅｘにおいて、体内に存在する先端部１３Ｂも示している。

【0073】

図７においては、三次元空間の体外術野ＳＦｅｘ内で内視鏡１３の把持部１３Ｄの軸方向が体外カメラ１５の撮影光軸と直交している状態（より具体的には軸方向がＸｅｘ軸と平行な状態）を示す。内視鏡１３の把持部Ｄがこうした姿勢の場合は、体外術野画像２３においてマーカＭ１の格子パターン５６の直交するラインはそれぞれＸｅｘ軸及びＹｅｘ軸に平行な状態であり、隣接する交点５６Ａ同士の間隔も同じになる。

【0074】

一方、図８においては、三次元空間の体外術野ＳＦｅｘ内で内視鏡１３の把持部１３Ｄの軸方向が撮影光軸と直交しておらず、撮影光軸と平行な奥行き方向に傾斜している状態を示す。図８に示す姿勢は、把持部１３Ｄが図７に示す姿勢からＹ軸回りに－１５°程度回転している状態である。把持部１３Ｄがこうした姿勢の場合は、体外術野画像２３において、マーカＭ１の格子パターン５６のラインのうち周方向に延びるラインは、奥行方向において体外カメラ１５から遠いほど短くなる。さらに、隣接する交点５６Ａ同士の間隔も体外カメラ１５から遠い位置にある交点５６Ａ同士の間隔ほど短くなる。

【0075】

このように、把持部１３Ｄの姿勢によって体外術野画像２３に写り込むマーカＭ１の形態が変化する。プロセッサ４１は、このような体外術野画像２３内のマーカＭ１の形態に基づいて、内視鏡１３の把持部１３Ｄの姿勢を検出する。さらに、マーカＭ１と内視鏡１３の先端部１３Ｂとの相対的な位置関係は既知である。プロセッサ４１は、把持部１３Ｄの位置及び姿勢と内視鏡１３の寸法情報とに基づいて、体外術野ＳＦｅｘ内における内視鏡１３の先端部１３Ｂを位置及び姿勢を推定する。体外術野画像２３は、体外術野ＳＦｅｘを１つの視点から投影した投影画像である。そのため、体外術野ＳＦｅｘにおける先端部１３Ｂの位置及び姿勢を推定することにより、体外術野画像２３内における先端部１３Ｂの位置及び姿勢を推定することができる。先端部１３Ｂの位置及び姿勢を把握できれば、内視鏡１３の寸法情報に基づいて、先端部１３Ｂ内のカメラ１３Ｃの撮影方向も推定することができる。

【0076】

図７の例の位置姿勢情報では、例えば、内視鏡１３の先端部１３Ｂの軸方向の向きは、ＸＹ平面及びＸＺ平面と平行で、かつＹＺ平面と直交するといった情報となる。そして、先端部１３Ｂの基準点の位置の座標は、Ｘ１、Ｙ１、Ｚ１といった情報となる。図８の例の位置姿勢情報では、例えば、先端部１３Ｂの軸方向の向きは、ＸＹ平面に対して７５°、ＸＺ平面と平行、かつＹＺ平面に対して－１５°といった情報となる。そして、先端部１３Ｂの基準点の位置の座標は、Ｘ２、Ｙ２、Ｚ２といった情報となる。

【0077】

図９に示すように、プロセッサ４１は、ステップＳ１５００において、第２座標系の体内術野画像２１に基づいて、例えば、マーカＭ１の検出方法と同様にパターンマッチング等の画像処理手法を用いて、マーカＭ２を検出する。マーカＭ２のパターンも、一例として、マーカＭ１と同様の格子パターン５６である。

【0078】

プロセッサ４１は、マーカＭ２の検出により、体内術野画像２１内のマーカＭ２が存在する領域を特定すると、ステップＳ１６００において、まず、マーカＭ２の格子パターン５６などの形態的な特徴に基づいて、超音波プローブ１４の先端部１４Ｂの位置及び姿勢を推定する。そして、プロセッサ４１は、推定した先端部１４Ｂの位置及び姿勢と超音波プローブ１４の寸法情報とに基づいて、ガイド溝２９の位置及び姿勢を推定する。マーカＭ２に基づくガイド溝２９の位置及び姿勢の推定方法は、マーカＭ１を例に図７及び図８で示した方法と同様である。

【0079】

そして、ステップＳ１７００において、プロセッサ４１は、ガイド溝２９の位置及び姿勢に基づいて、体内術野画像２１における穿刺針１８の挿入経路ＮＲを導出する。プロセッサ４１は、ガイド溝２９の傾斜角θといった寸法情報に応じて、体内術野画像２１において、ガイド溝２９の延長線となる挿入経路ＮＲを導出する。例えば、ガイド溝２９の位置を基点として、そこからガイド溝２９の傾斜角θの角度をつけた線分を挿入経路ＮＲとする。

【0080】

図１０に示すように、ステップＳ１８００において、プロセッサ４１は、挿入経路ＮＲの座標変換を行う。プロセッサ４１は、体外術野画像２３の第１座標系における内視鏡１３の先端部１３Ｂ内のカメラ１３Ｃの撮影方向に基づいて、体外術野画像２３の第１座標系と、カメラ１３Ｃによって撮影した体内術野画像２１の第２座標系との相関関係を導出する。プロセッサ４１は、第１座標系と第２座標系との相関関係に基づいて、第２座標系の体内術野画像２１内の挿入経路ＮＲの位置及び姿勢を、第１座標系に変換する。これにより、第１座標系の体外術野画像２３内における挿入経路ＮＲの位置及び姿勢が特定される。そして、ステップＳ１９００において、プロセッサ４１は、第１座標系に変換した挿入経路ＮＲを、第１座標系の体外術野画像２３に重畳表示する。すなわち、プロセッサ４１は、先端部１３Ｂの位置姿勢情報及びガイド溝２９の位置姿勢情報に基づいて体外術野画像２３内において特定される位置に挿入経路ＮＲを重ね合わせた合成画像をディスプレイ１６に表示する制御を実行する。プロセッサ４１は、医療支援装置１１の起動終了など、表示終了指示が入力されるまで、上記の処理を繰り返し実行する。

【0081】

体外術野画像２３は、動画として出力されるから、三次元の実空間である体外術野ＳＦｅｘにおける、内視鏡１３、超音波プローブ１４及び体外カメラ１５等の位置を反映して、ディスプレイ１６に表示される体外術野画像２３内の挿入経路ＮＲの位置及び姿勢も更新される。

【0082】

医療スタッフＳＴは、穿刺針１８を腫瘍２７に穿刺する場合は、図３に示すように、超音波画像２２を観察しながら、超音波プローブ１４の先端部１４Ｂに設けられている超音波トランスデューサ１４Ｃの位置及び姿勢を調整する。具体的には、ガイド溝２９の延長線となる穿刺ライン３０が腫瘍２７を通過する位置に超音波トランスデューサ１４Ｃの位置及び姿勢を調整する。体外術野画像２３に重畳表示される挿入経路ＮＲの位置及び姿勢は、こうした超音波プローブ１４の位置及び姿勢の変化に応じて変化する。超音波画像２２において腫瘍２７を通過するように穿刺ライン３０が表示されている場合、穿刺ライン３０は、穿刺針１８の理想的な挿入経路を示している。この状態で、超音波プローブ１４の位置及び姿勢が固定される。そして、この状態における体外術野画像２３内の挿入経路ＮＲも穿刺針１８の理想的な挿入経路を示していることになる。

【0083】

図１１に示すように、理想的な挿入経路ＮＲが重畳表示されている体外術野画像２３を観察しながら、医療スタッフＳＴは、体外術野ＳＦｅｘにある穿刺針１８が、理想的な挿入経路ＮＲに沿うように穿刺針１８の位置及び姿勢を調整する。

【0084】

本例において、体外カメラ１５は、穿刺針１８の基端部に設けられている。そのため、穿刺針１８の位置及び姿勢に応じて体外カメラ１５の視点も変化するので、体外術野画像２３に表示される挿入経路ＮＲに合わせて穿刺針１８の位置及び姿勢を調整しやすい。

【0085】

さらに、本例では、体外カメラ１５の撮影光軸は穿刺針１８の軸方向に沿って配置されている。この場合、挿入経路ＮＲと穿刺針１８の軸方向を一致させるように穿刺針１８の位置及び姿勢を調整すると、穿刺針１８の基端の体外カメラ１５の視点も変化する。その結果、穿刺針１８の位置及び姿勢によって、図１１の下段左側の体外術野画像２３において線として表示されていた挿入経路ＮＲが、図１１の下段右側の体外術野画像２３に示すように点として表示される場合が生じる。挿入経路ＮＲが点として表示される場合、その点は患者ＰＴの体表上の挿入位置ＮＰを示す。プロセッサ４１は、挿入経路ＮＲが点として表示される場合は、挿入位置ＮＰを、図１１に一例として示すように、円形と十字形状を組み合わせたマーク５７で表示する。挿入位置ＮＰが表示されている場合は、穿刺針１８の位置及び姿勢を保った状態で、マーク５７で示される挿入位置ＮＰに向けて穿刺針１８を挿入すれば、医療スタッフＳＴは、超音波プローブ１４のガイド溝２９を介して、穿刺針１８の針先を、目標位置である腫瘍２７に穿刺することができる。なお、マーク５７の形態は一例であり、もちろん、他の形態でもよい。

【0086】

以上説明したように、本開示の技術に係る医療支援装置１１は、プロセッサ４１を備え、プロセッサ４１は、患者ＰＴ（被検体の一例）の体外にある体外カメラ１５によって撮影された体外術野画像２３（撮影画像の一例）であって、挿入部１３Ａが患者ＰＴの体内に挿入された内視鏡１３（医療機器の一例）と、内視鏡１３の把持部１３Ｄ（挿入部１３Ａを除く部分の一例）に設けられた画像認識可能なマーカＭ１とが撮影範囲に含まれる体外術野画像２３を取得する。そして、プロセッサ４１は、マーカＭ１に基づいて、体外術野画像２３内における内視鏡１３の先端部１３Ｂの位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出する。さらに、プロセッサ４１は、位置姿勢情報に基づいて体外術野画像２３内において特定される位置に挿入支援情報（医療支援情報の一例）を重ね合わせた体外術野画像２３（合成画像の一例）をディスプレイ１６（表示部の一例）に表示する制御を実行する。そのため、医療支援装置１１は、簡便な構成で、かつより表示の自由度が高い態様で、医療機器の位置又は姿勢に応じた適切な位置に医療支援情報の表示が可能となる。

【0087】

より具体的には、本開示の技術に係る医療支援装置１１は、マーカＭ１を用いることにより、従来の磁気ナビゲーション装置といった大掛かりな装置を用いる必要がなく、簡便な構成で医療支援情報の提供が可能となる。また、レーザポインタのように医療支援情報の種類が限定的ではなく、より自由度の高い情報を提供することができる。

【0088】

また、上記実施形態では、医療機器は、鏡視下手術に用いられる内視鏡１３を一例として示した。内視鏡１３は、患者ＰＴの体表に形成された穴から体内に挿入される挿入部１３Ａを先端側に有し、マーカＭ１は体外に挿入されない基端側に設けられている。プロセッサ４１は、マーカＭ１に基づいて、体内にある挿入部１３Ａの位置姿勢情報を導出する。内視鏡１３のように医療機器が鏡視下手術に用いられる場合は、体内に挿入される挿入部１３Ａの位置は体外から認識しづらいため、本開示の技術は特に有効である。鏡視下手術に用いられる医療機器としては、上記実施形態で示した硬性内視鏡の他、挿入部１３Ａが可撓性を有する軟性内視鏡でもよい。内視鏡は、観察する部位に基づく分類として、腹腔鏡の他、胸腔鏡及び関節鏡等もあり、本開示の技術はこうした医療機器にも適用することができる。

【0089】

また、上記実施形態では、プロセッサ４１は、マーカＭ１と内視鏡１３（医療機器の一例）の寸法情報に基づいて、挿入部１３Ａの位置姿勢情報を導出する。寸法情報を用いることで、体外にあるマーカＭ１から、体内の挿入部１３Ａの位置及び姿勢の推定が容易になる。

【0090】

また、上記実施形態では、内視鏡１３には、マーカＭ１（第１マーカの一例）、挿入部１３Ａ（第１挿入部の一例）、及びカメラ１３Ｃ（体内カメラの一例）が設けられており、このような内視鏡１３が第１医療機器の一例として用いられる。さらに、内視鏡１３とは別の第２医療機器の一例として、体内に挿入される挿入部１４Ａ（第２挿入部の一例）と、マーカＭ２（第２マーカの一例）とが設けられた超音波プローブ１４が、内視鏡１３とともに手術に用いられる。この場合において、プロセッサ４１は、以下の処理を実行する。すなわち、プロセッサ４１は、カメラ１３Ｃによって撮影された体内術野画像２１（第２撮影画像の一例）であって、挿入部１４Ａと、マーカＭ２とが撮影範囲に含まれる体内術野画像２１を取得する。そして、マーカＭ２に基づいて、体内術野画像２１内における挿入部１４Ａの位置及び姿勢のうちの少なくとも１つを含む位置姿勢情報を導出する。さらに、プロセッサ４１は、挿入部１３Ａの先端部１３Ｂの位置姿勢情報（第１位置姿勢情報の一例）及び挿入部１４Ａのガイド溝２９の位置姿勢情報（第２位置姿勢情報の一例）に基づいて体外術野画像２３内において特定される位置に、挿入支援情報（医療支援情報の一例）を体外術野画像２３に重ね合わせた合成画像を表示部に表示する制御を実行する。

【0091】

このように、内視鏡１３と超音波プローブ１４といった第１医療機器と第２医療機器の２つの医療機器を用いる場合でも、マーカＭ１とマーカＭ２の２つのマーカを用いることにより、複数の医療機器間の相対的な位置関係（図３の相対的な位置関係ＲＰ１－１、ＲＰ１－２、ＲＰ１－３、及びＲＰ２を参照）を把握することが可能となる。これにより、各医療機器の位置及び姿勢に応じた適切な位置に、医療支援情報を表示することができる。

【0092】

上記実施形態では、第１医療機器は内視鏡１３であり、第２医療機器は、肝臓ＬＶ等の臓器の内部構造を観察可能な超音波プローブ１４（医用プローブの一例）である。内視鏡１３と超音波プローブ１４とはどちらも体内に挿入される挿入部を有するため、体外の情報から体内の情報を推定する本開示の技術は特に有効である。なお、医用プローブとしては、超音波プローブ１４の代わりに、光干渉断層撮影（ＯＣＴ：Optical Coherence Tomography）等でもよい。

【0093】

上記実施形態では、医療支援情報は、超音波プローブ１４（医用プローブの一例）を通じて観察される肝臓ＬＶ（臓器の一例）内の腫瘍２７の位置（目標位置の一例）に向けて体外から挿入される穿刺針１８（処置具の一例）の挿入支援情報であって、挿入位置ＮＰ及び挿入経路ＮＲの少なくとも１つを含む挿入支援情報である。これにより、処置具の挿入をより正確に行うことができる。

【0094】

また、超音波プローブ１４は、穿刺針１８等の処置具と組み合わされて使用されることが比較的多い。そのため、上記実施形態のように、医用プローブとして超音波プローブ１４を使用する場合には、本開示の技術は特に有効である。また、穿刺針１８は、目標位置への正確な穿刺が求められることが多い。そのため、挿入支援情報のような医療支援情報を提供する本開示の技術は、処置具として穿刺針１８を使用する場合に特に有効である。

【0095】

また、上記実施形態では、図１１に示したように、挿入位置ＮＰは、穿刺針１８が挿入される患者ＰＴの体表上の位置を示すマーク５７で表示される。そのため、体外からでも、穿刺針１８の挿入位置の確認が容易であり、マーク５７で表示しない場合と比べて、穿刺針１８の挿入を正確に行うことができる。また、上記実施形態では、挿入経路ＮＲが線で示されるため、挿入経路ＮＲを線で表示しない場合と比べて、穿刺針１８の挿入を正確に行うことができる。

【0096】

また、上記実施形態では、医用プローブの一例である超音波プローブ１４は、挿入部１４Ａに設けられ、穿刺針１８（処置具の一例）との係合により、穿刺針１８の目標位置への挿入をガイドするためのガイド溝２９を有している。プロセッサ４１は、マーカＭ２とガイド溝２９の相対的な位置関係に基づいて、体外術野画像２３に挿入支援情報を重ね合わせる位置を特定する。相対的な位置関係は、一例として超音波プローブ１４の寸法情報が使用される。そのため、相対的な位置関係を用いない場合と比べて、比較的簡単な処理で挿入支援情報を重ね合わせる位置を特定することができる。

【0097】

また、上記実施形態では、体外カメラ１５は穿刺針１８（処置具の一例）の基端側に設けられ、体外術野画像２３を動画で出力することが可能であり、プロセッサ４１は、挿入支援情報として、動画に挿入経路ＮＲを示す線を表示する。そのため、穿刺針１８の位置及び姿勢に応じて体外カメラ１５の視点も変化するので、体外術野画像２３に表示される挿入経路ＮＲに合わせて穿刺針１８の位置及び姿勢を調整しやすい。

【0098】

さらに、穿刺針１８の軸方向と体外カメラ１５の撮影光軸は一致している。そのため、図１１で示したように、体外カメラ１５が撮影する体外術野画像２３に表示される挿入経路ＮＲと、穿刺針１８の軸方向が一致するように穿刺針１８の位置及び姿勢を調整することにより、挿入経路ＮＲの線が挿入位置ＮＰを示す点として表示される。このため、簡単な構成で、穿刺針１８の体表上の挿入位置ＮＰを的確に表示することができる。

【0099】

また、図１１に示すような患者ＰＴの体表上の挿入位置ＮＰを導出する効果は、図１２に示す方法によっても得ることが可能である。すなわち、図１２に示すように、体外カメラ１５の視点を変えて、異なる視点の２枚以上の体外術野画像２３を取得し、それぞれに挿入経路ＮＲを表示する。一方の視点の体外術野画像２３の挿入経路ＮＲをＮＲ１、他方の視点の挿入経路ＮＲをＮＲ２とする。プロセッサ４１は、２枚の体外術野画像２３に写る２つの挿入経路ＮＲ１及びＮＲ２の交点を求めることにより、この交点を、患者ＰＴの体表上の挿入位置ＮＰとして導出する。図１２に示す方法は、要するに、視差を利用したステレオ撮影の要領で挿入位置ＮＰを導出する方法である。

【0100】

図１２に示す例では、１台の体外カメラ１５を移動させることにより、異なる視点の体外術野画像２３を取得しているが、視点が異なる２台以上の体外カメラ１５を用いてもよい。

【0101】

また、上記実施形態では、体外術野画像２３内において挿入経路ＮＲ等の挿入支援情報を重ね合わせる位置の特定方法としては、図１０に示す方法を用いた。すなわち、内視鏡１３のカメラ１３Ｃが撮影した第２座標系の体内術野画像２１内の挿入経路ＮＲを、体外術野画像２３の第１座標系に変換することにより、体外術野画像２３に重ね合わせる位置を特定する方法である。

【0102】

こうした特定方法の他に、図１３に示す方法を用いてもよい。まず、図３にも示したように、超音波プローブ１４によって取得される超音波画像２２においては、目標位置となる腫瘍２７が検出されており、かつ、超音波プローブ１４の位置及び姿勢は、穿刺ライン３０が腫瘍２７を通過する理想的な状態になっている場合を考える。図１３に示す方法は、超音波画像２２の座標系を第３座標系とした場合、超音波画像２２内の第３座標系の穿刺ライン３０を、体外術野画像２３の第１座標系に変換する方法である。図１０に示したとおり、マーカＭ２を用いることにより、体外術野画像２３の第１座標系と、超音波プローブ１４の先端部１４Ｂが写る体内術野画像２１の第２座標系との相関関係を把握することが可能である。そして、先端部１４Ｂの位置及び姿勢を推定できれば、寸法情報から、先端部１４Ｂの超音波トランスデューサ１４Ｃの位置及び姿勢を推定することも可能である。そうすると、超音波プローブ１４の先端部１４Ｂが写る体内術野画像２１の第２座標系と、超音波プローブ１４が取得する超音波画像２２の第３座標系との相関関係も把握することが可能である。

【0103】

すなわち、プロセッサ４１は、超音波プローブ１４（医用プローブの一例）によって取得される肝臓ＬＶ（臓器の一例）の超音波画像２２（内部画像の一例）において特定される腫瘍２７（目標位置の一例）と、先端部１４Ｂの位置姿勢情報に基づいて導出される、超音波画像２２の第３座標系と体外術野画像２３の第１座標系との相関関係とに基づいて、体外術野画像２３に挿入支援情報を重ね合わせる位置を特定する。こうした方法によれば、超音波プローブ１４のような医用プローブで取得した内部画像を、挿入支援情報を重ね合わせる位置の特定に有効活用することができる。

【0104】

［第２実施形態］
上記実施形態は、第１マーカであるマーカＭ１を有する第１医療機器として内視鏡１３を用い、第２マーカであるマーカＭ２を有する第２医療機器として超音波プローブ１４を用いる例で説明したが、マーカを有する医療機器は１つだけでもよい。図１４に示す第２実施形態は、マーカを有する医療機器が１つの例である。図１４において、マーカを有する医療機器は、臓器の内部構造を観察可能な超音波プローブ１４である。超音波プローブ１４には、マーカＭ１が設けられている。マーカＭ１は、超音波プローブ１４において、挿入部１４Ａを除く部分である基端側の操作部１４Ｄに設けられている。

【0105】

体外カメラ１５は、超音波プローブ１４の挿入部１４Ａが患者ＰＴの体内に挿入されている状態で、操作部１４ＤのマーカＭ１が撮影範囲に含まれるように体外術野ＳＦｅｘを撮影する。プロセッサ４１は、体外カメラ１５が撮影した体外術野画像２３を取得する。プロセッサ４１は、第１実施形態において内視鏡１３の先端部１３Ｂの位置姿勢情報の導出と同じ要領で、体内に挿入されている超音波プローブ１４の先端部１４Ｂにあるガイド溝２９の位置及び姿勢を導出する。

【0106】

すなわち、プロセッサ４１は、体外術野画像２３から検出したマーカＭ１と、超音波プローブ１４の寸法情報とに基づいて超音波プローブ１４のガイド溝２９の位置及び姿勢を推定し、先端部１４Ｂの位置姿勢情報を導出する。そして、プロセッサ４１は、寸法情報に基づいて、先端部１４Ｂのガイド溝２９の位置及び姿勢を推定する。プロセッサ４１は、体外術野画像２３におけるガイド溝２９の位置及び姿勢に応じて、挿入経路ＮＲを重ね合わせる位置を特定し、特定した位置に挿入経路ＮＲを重ね合わせた合成画像を生成する。

【0107】

このように第２実施形態は、概念的には、体外カメラ１５と超音波プローブ１４のマーカＭ１との相対的な位置関係ＲＰ１－４と、既知の寸法情報によって規定されるマーカＭ１と先端部１４Ｂとの位置関係ＲＰ１－５とに基づいて、体外カメラ１５と先端部１４Ｂとの相対的な位置関係ＲＰ１－３を把握する方法である。

【0108】

また、超音波プローブ１４のように体内に挿入される先端部１４Ｂが湾曲可能な場合は、先端部１４Ｂの湾曲操作の操作量を考慮することが好ましい。図１４に示すように、体外カメラ１５は、マーカＭ１とともに、超音波プローブ１４の操作部１４Ｄに設けられたアングルノブ１４Ｅが撮影範囲に含まれるように体外術野画像２３を撮影する。アングルノブ１４Ｅは、例えば回転操作によって先端部１４Ｂを湾曲させることにより、先端部１４Ｂの位置及び姿勢を変化させる操作部である。

【0109】

プロセッサ４１は、体外術野画像２３を画像解析することにより、アングルノブ１４Ｅの操作量として回転量を検出する。例えば、アングルノブ１４Ｅには、回転量を検出するための検出マーカが設けられており、プロセッサ４１は、検出マーカの位置及び姿勢の変化及び変化量を画像認識することにより、操作量を検出する。回転量には回転方向も含まれる。

【0110】

プロセッサ４１は、寸法情報で推定した先端部１４Ｂの位置及び姿勢を、操作量に基づいて補正することにより、操作量に応じた先端部１４Ｂの位置及び姿勢を推定する。

【0111】

このように、第２実施形態の超音波プローブ１４のように、マーカＭ１を有する医療機器が、体外にある操作部（アングルノブ１４Ｅ等）の操作によって挿入部の位置及び姿勢を変化させることが可能である場合において、プロセッサ４１は、寸法情報に加えて、操作部の操作量を取得し、取得した操作量を、挿入部の位置姿勢情報の導出に用いる。これによれば、挿入部の位置及び姿勢についてより正確な推定が可能となる。

【0112】

なお、操作部の操作量の検出は、検出マーカの代わりに、電気的な信号を用いてもよい。例えば、アングルノブ１４Ｅの回転操作に応じて、回転量に応じたパルス数のパルス信号が超音波プローブ１４からプロセッサ４１に送信されるようにしておく。プロセッサ４１は、パルス信号に基づいてアングルノブ１４Ｅの回転量を検出することができる。パルス信号の送信は、無線でも有線でもよい。

【0113】

＜その他の変形例＞
上記の各実施形態は一例であり、本開示の技術は各種の変形が可能である。上記実施形態では、鏡視下手術を例に説明したが、開腹手術に適用することも可能である。

【0114】

（開腹手術の例）
図１５に示す例は、開腹手術に適用する例である。開腹手術か鏡視下手術かといった違いはあるものの、図１５に示す例でも、基本的な構成は図１４と同様であるので、相違点のみ説明する。開腹手術の場合は、術野は体外と体内の境界が不分明であるため、体外カメラ１５は、体内と体外が混在した術野ＳＦの術野画像２５を撮影する。術野画像２５の撮影範囲には、マーカＭ１が含まれる。プロセッサ４１は、術野画像２５に基づいて超音波プローブ１４の先端部１４Ｂの位置姿勢情報を導出する。そして、術野画像２５内において、導出した位置姿勢情報に基づいて特定される位置に、挿入経路ＮＲといった挿入支援情報を重ね合わせた合成画像を生成する。

【0115】

（ロボット手術に用いる例）
また、図１６に示すように、本開示の技術を、ロボットＲＢを用いた手術に適用することも可能である。ロボットＲＢは、例えば、変位自在なアームを有しており、アームの先端部には体外カメラ１５が設けられている。体外カメラ１５は、超音波プローブ１４のマーカＭ１を撮影する。プロセッサ４１は、超音波プローブ１４のマーカＭ１に基づいて、先端部１４Ｂの位置姿勢情報を導出し、術野画像２５内において、位置姿勢情報に基づいて特定される位置に、挿入経路ＮＲといった挿入支援情報を重ね合わせた合成画像を生成する。

【0116】

図１６に示す例では、ロボットＲＢに体外カメラ１５を設けた例で説明したが、これに限らず、各種の利用の仕方が可能である。例えば、超音波プローブ１４のように、ロボットＲＢがマーカＭ１を有する医療機器であってもよい。この場合、ロボットＲＢのアームの一部が体内に挿入される挿入部となっていて、挿入部を除く部分にマーカＭ１が設けられる。そして、ロボットＲＢとは独立して設けられた体外カメラ１５によってマーカＭ１を撮影する。プロセッサ４１は、術野画像２５からマーカＭ１を検出し、検出したマーカＭ１に基づいてロボットＲＢの挿入部の位置及び姿勢を推定する。プロセッサ４１は、術野画像２５に対して、位置姿勢情報に基づいて特定される位置に挿入支援情報を重ね合わせた合成画像を生成する。

【0117】

［第３実施形態］
上記実施形態では、体外術野画像２３に重ね合わせる挿入経路ＮＲといった挿入支援情報を、超音波画像２２又は体内術野画像２１において生成し、これを体外術野画像２３の座標系に変換する例で説明した。しかし、図１７～図２０に示す第３実施形態に示すように、挿入支援情報の生成方法は、それ以外でもよく、挿入支援情報を手術前に予め準備しておき、準備した挿入支援情報を体外術野画像２３に重ね合わせてもよい。

【0118】

（術前準備情報の作成）
第３実施形態では、例えば、手術前に、仮想内視鏡の３Ｄ（三次元：３Dimension）データを用いて術前シミュレーションを行い、術前シミュレーションにおいて、穿刺針１８の挿入経路ＮＲといった挿入支援情報を準備する。また、第３実施形態は、第１実施形態と同様に、第１医療機器として内視鏡１３を用い、第２医療機器として超音波プローブ１４を用いる例である。以下、図１７～図２０を参照しながら説明する。

【0119】

まず、図１７及び図１８を参照しながら、仮想内視鏡の３Ｄデータを用いた術前シミュレーションにおいて、肝臓ＬＶに穿刺する穿刺針１８の挿入経路ＮＲを挿入支援情報として作成する作成方法を説明する。また、仮想内視鏡の３Ｄデータは、ＣＴ（Computed Tomography）装置及びＭＲＩ（Magnetic Resonance Imaging）装置などの断層撮影装置１３１によって予め撮影された断層画像群１３２に基づいて生成される。断層撮影装置１３１がＣＴ装置の場合は、放射線源と放射線検出器とを患者ＰＴの体軸回りに回転させながらＣＴ値が取得される。ＣＴ値の取得は、放射線源と放射線検出器とを患者ＰＴの体軸方向に走査することにより体軸方向の各位置で行われる。ＣＴ値は、患者ＰＴの体内の放射線吸収値である。断層撮影装置１３１は、体軸回りの各方向で取得したＣＴ値に基づいて画像再構成処理を行うことにより断層画像１３２Ａを生成する。各断層画像１３２Ａは体軸方向のスライス厚に応じて生成された二次元の画像であり、断層画像群１３２は、体軸方向の各位置に対応する複数の断層画像１３２Ａの集合である。断層画像群１３２は、ＰＡＣＳ(Picture Archiving and Communication System）などの画像データベース１３３に出力される。

【0120】

図示しない情報処理装置は、断層撮影装置１３１によって得られた断層画像群１３２に基づいて、患者ＰＴの体の三次元的な形状を数値的に記述する３Ｄモデリングを行うことにより、ボクセルデータ１３４Ａの集合である三次元画像１３４を生成する。ボクセルデータ１３４Ａは、三次元空間内の画素の単位であり、三次元座標情報及び画素値を有する。３Ｄモデリングによって生成される三次元画像１３４は三次元ボリュームデータなどとも呼ばれる。断層画像群１３２において、各断層画像１３２Ａの画素間隔と各断層画像１３２Ａのスライス厚が異なる場合がある。この場合は、一例として、３Ｄモデリングにおいて、隣接する断層画像１３２Ａ間で補間処理を行うことにより、三次元の各方向の長さが等しい等方的なボクセルデータ１３４Ａを持つ三次元画像１３４が生成される。ここで、断層画像群１３２に基づいて生成される三次元画像１３４は、術前に作成される情報であるため、ここでは、便宜上、術前３Ｄ画像１３４と呼ぶ。術前３Ｄ画像１３４は、仮想内視鏡の３Ｄデータの一例であり、さらに、本開示の技術に係る「手術前に予め取得された臓器の三次元画像」の一例である。

【0121】

術前３Ｄ画像１３４は、患者ＰＴの体の外形、体内の臓器等の解剖学的部位及びそれらの内部構造を再現可能な画像である。図１７及び図１８に示す術前３Ｄ画像１３４は、解剖学的部位の一例として肝臓ＬＶのデータを示している。術前３Ｄ画像１３４には、肝臓ＬＶの内部構造の一例である血管構造を再現可能なデータも含まれている。

【0122】

また、本例の術前３Ｄ画像１３４はカラー画像であり、ボクセルデータ１３４Ａの画素値として、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各画素値が与えられる。なお、術前３Ｄ画像１３４はモノクロ画像であってもよい。例えば、ボクセルデータ１３４Ａの画素値は、ＣＴ値に基づく輝度（Ｙ）のみで表されてもよい。また、ボクセルデータ１３４Ａの画素値は、予め設定されたＬＵＴ(Look Up Table)や演算式を利用してＣＴ値を変換した値を用いてもよい。また、ボクセルデータ１３４Ａの画素値は、術前３Ｄ画像１３４において特定された臓器又は病変等の特定の部位毎に対応付けられた色が設定されてもよい。また、ボクセルデータ１３４Ａには不透明度も設定されている。不透明度は、ボリュームレンダリングに用いられるデータである。レンダリングは、術前３Ｄ画像１３４の一部を二次元の投影像に変換する処理であり、ボリュームレンダリングは、術前３Ｄ画像１３４に含まれる物体の内部情報も投影像に投影するレンダリング手法である。各ボクセルデータ１３４Ａに不透明度を設定することにより、ボリュームレンダリングを行う場合において、内部情報のうち、投影像に不透明で投影する、半透明で投影する、及び透明にする等の表現の使い分けが可能になる。

【0123】

図１８に示すように、挿入経路ＮＲを含む情報１２３は、術前に予め準備される情報であるため、以下において術前準備情報と呼ぶ。術前準備情報１２３は、術前３Ｄ画像１３４に基づいて生成される。挿入経路ＮＲは、術前に術前３Ｄ画像１３４を用いて行われる手術シミュレーションにおいて、術前３Ｄ画像１３４に付与される。術前準備情報１２３は、挿入経路ＮＲ以外に、挿入対象の肝臓ＬＶの内部構造として、血管構造１３７及び腫瘍２７を含んでいる。こうした挿入経路ＮＲと、血管構造１３７及び腫瘍２７といった内部構造とを含む術前準備情報１２３が、術前３Ｄ画像１３４から抽出される。

【0124】

このように、術前準備情報１２３は、術前３Ｄ画像１３４内の三次元位置が規定された情報である。術前準備情報１２３に含まれる血管構造１３７は、超音波プローブ１４によって取得される超音波画像２２との位置合わせに利用される。

【0125】

（超音波３Ｄ画像の取得）
図１９に示すように、プロセッサ４１は、超音波プローブ１４によって撮影された超音波画像２２の集合である超音波画像群２２Ｇに基づく超音波３Ｄ（三次元）画像１５１を取得する。プロセッサ４１は、手術中に取得した超音波３Ｄ画像１５１を位置合わせに利用する。超音波３Ｄ画像１５１は、本開示の技術に係る「医用プローブによって取得される臓器の内部画像」の一例である。

【0126】

図１９に示すように、まず、肝臓ＬＶ等の対象部位の表面に沿って超音波プローブ１４を走査させると、走査軌跡Ｓ上の各位置における複数の超音波画像２２を取得することができる。プロセッサ４１は、超音波画像群２２Ｇを取得し、取得した超音波画像群２２Ｇに基づいて３Ｄモデリングを行うことにより、超音波３Ｄ画像１５１を生成する。超音波画像２２は、図１７に示した断層画像１３２Ａと同様に断層画像であり、超音波画像群２２Ｇは、断層画像群１３２と同様である。超音波画像群２２Ｇにおいても、肝臓ＬＶの血管構造１３７などの対象部位の内部構造が描出される。

【0127】

プロセッサ４１は、図１７において説明した３Ｄモデリングと同様の処理を実行することにより、超音波３Ｄ画像１５１を生成する。超音波３Ｄ画像１５１は、術前３Ｄ画像１３４と同様に、三次元空間内の画素であるボクセルデータ１５１Ａの集合である。ボクセルデータ１５１Ａも、図１７で示したボクセルデータ１３４Ａと同様であり、三次元座標、画素値及び不透明度が設定される。

【0128】

図２０に示すように、プロセッサ４１は、内視鏡１３を通じて取得した体内術野画像２１の座標系と、超音波３Ｄ画像１５１の座標系との相関関係である第１位置関係情報１５９と、超音波３Ｄ画像１５１の座標系と、術前３Ｄ画像１３４の座標系との相関関係である第２位置関係情報１５９とを導出する。

【0129】

まず、第１位置関係情報１５８の導出方法について説明する。プロセッサ４１は、第１実施形態で示したのと同じ要領で、体内術野画像２１に写る超音波プローブ１４のマーカＭ２に基づいて、超音波トランスデューサ１４Ｃの位置及び姿勢を推定する。そして、プロセッサ４１は、推定した超音波トランスデューサ１４Ｃの位置及び姿勢に基づいて、体内術野画像２１内における超音波３Ｄ画像１５１の位置及び姿勢を推定する。体内術野画像２１内における超音波３Ｄ画像１５１の位置及び姿勢が、第１位置関係情報１５８となる。第１位置関係情報１５８は、本開示の技術に係る「第２位置姿勢情報に基づいて導出される、内部画像の座標系と第２撮影画像の座標系との相関関係」の一例である。

【0130】

次に、第２位置関係情報１５９の導出方法について説明する。プロセッサ４１は、超音波３Ｄ画像１５１と、術前３Ｄ画像１３４とのそれぞれに描出されている血管構造１３７を比較する。具体的には、両者の血管構造１３７の類似構造を探索し、両者の類似構造が一致するように超音波３Ｄ画像１５１と術前３Ｄ画像１３４との位置合わせを行う。血管構造１３７の類似構造の探索は、パターンマッチング等のルールベースの画像解析手法を用いてもよいし、セマンティックセグメンテーションといった人工知能技術を利用した手法を用いてもよい。プロセッサ４１は、このような血管構造１３７を用いた位置合わせを行うことで、第２位置関係情報１５９を導出することができる。

【0131】

そして、プロセッサ４１は、第１位置関係情報１５８と第２位置関係情報１５９とに基づいて、術前３Ｄ画像１３４に基づいて生成された、挿入経路ＮＲを含む術前準備情報１２３と、体内術野画像２１とを合成する。肝臓ＬＶの血管構造１３７によって位置合わせがおこなわれているため、挿入経路ＮＲは腫瘍２７に対して適切な位置に重ね合わされる。プロセッサ４１は、第１実施形態のステップＳ１８００（図５及び図１０参照）で説明した座標変換を行うことにより、第２座標系の体内術野画像２１内の挿入経路ＮＲを第１座標系の体外術野画像２３に重ね合わせた合成画像を生成する。第２位置関係情報１５９は、本開示の技術に係る「医用プローブによって取得される臓器の内部画像の座標系と三次元画像の座標系との相関関係」の一例である。

【0132】

このように、手術前に予め取得された術前３Ｄ画像１３４（臓器の三次元画像の一例）に、手術前のシミュレーションによって挿入経路ＮＲ（挿入支援情報の一例）が設定されている場合において、プロセッサ４１は、第２位置関係情報１５９と第１位置関係情報１５８とを利用して、挿入経路ＮＲを体外術野画像２３に重ね合わせる。これにより、医用プローブの内部画像及び術前シミュレーションの結果を有効利用することができる。術前シミュレーションにおいては、例えば、血管構造１３７を傷つけないような適切な挿入経路ＮＲを設定することが可能である。このような挿入経路ＮＲを体外術野画像２３において提供することにより、より適切な医療支援を行うことが可能となる。

【0133】

図２０の例では、挿入経路ＮＲに加えて、血管構造１３７及び腫瘍２７の情報も、体内術野画像２１内に重畳表示されている。図２０においては、血管構造１３７等の情報は、体内術野画像２１に重畳表示されているが、これらを体外術野画像２３に重畳表示してもよい。

【0134】

また、上記各実施形態では、穿刺針の機能として、焼灼を例に説明したが、穿刺針の機能としては、焼灼以外でもよい。また、処置具として穿刺針を例に説明したが、穿刺針以外でも、ＩＣＧ(Indocyanine Green)などの蛍光剤を注入する処置具、バイオプシーを行うための組織収集用に用いられる生検針及び鉗子等でもよい。

【0135】

また、上記各実施形態では、医療支援情報として、穿刺針の挿入位置ＮＰ及び挿入経路ＮＲといった挿入支援情報を例示したが、医療支援情報としては、体内に挿入している医療機器の先端位置や形状、姿勢情報などを表す情報でもよい。

【0136】

また、上記各実施形態では、体外カメラ１５を穿刺針１８又はロボットＲＢに設けた例で説明したが、体外カメラ１５の設置位置は上記に限定されない。例えば、手術室の天井等、体外術野ＳＦｅｘを撮影できる位置に設定されていればよい。

【0137】

また、上記各実施形態では、体内として腹腔内を例に説明したが、体内は、腹腔内に限らず、胸腔などの腹腔以外の体腔でもよいし、食道などの上部消化管、腸などの下部消化管、及び気管支などの管道内でもよい。管道内の術野に対して本開示の技術を適用する場合は、例えば、管道内に挿入される軟性内視鏡の基端部にマーカＭ１を設ける。

【0138】

また、上記各実施形態では、挿入部を有する医療機器としては、内視鏡１３及び医用プローブ（超音波プローブ１４又はＯＣＴプローブ）の他、トラカール１７でもよい。

【0139】

また、上記実施形態において、例えば、画像取得、位置姿勢情報導出、合成画像生成及び表示制御といった各種の処理を実行するプロセッサ４１のハードウェア的な構造としては、下記に示す各種のプロセッサ（Processer）を用いることができる。各種プロセッサとしては、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field‐Programmable Gate Array）などの製造後に回路構成を変更可能なＰＬＤ（Programmable Logic Device）、及びＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

【0140】

また、上記各種処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせなど）で実行してもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、システムオンチップ（System On Chip：ＳＯＣ）などのように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。

【0141】

このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

【0142】

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（Circuitry）を用いることができ
る。

【0143】

また、本開示の技術は、医療支援装置の作動プログラムに加えて、医療支援装置の作動プログラムを非一時的に記憶するコンピュータで読み取り可能な記憶媒体（ＵＳＢメモリ又はＤＶＤ（Digital Versatile Disc）－ＲＯＭ（Read Only Memory）など）にもおよぶ。

【0144】

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

【0145】

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

【0146】

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【符号の説明】

【0147】

１０ 医療支援システム
１１ 医療支援装置
１３ 挿入部
１３ 内視鏡
１３Ａ 挿入部
１３Ｂ 先端部
１３Ｃ カメラ
１３Ｄ 把持部
１４ 超音波プローブ
１４Ａ 挿入部
１４Ｂ 先端部
１４Ｃ 超音波トランスデューサ
１４Ｄ 操作部
１４Ｅ アングルノブ
１５ 体外カメラ
１６ ディスプレイ
１７ トラカール
１８ 穿刺針
１８Ａ 針部
１８Ｂ 把持部
２１ 体内術野画像
２２ 超音波画像
２２Ｇ 超音波画像群
２３ 体外術野画像
２５ 術野画像
２７ 腫瘍
２９ ガイド溝
３０ 穿刺ライン
４１ プロセッサ
４１Ａ 画像取得部
４１Ｂ 位置姿勢情報導出部
４１Ｃ 合成画像生成部
４１Ｄ 表示制御部
４２ 受付デバイス
４４ ストレージ
４５ 通信Ｉ／Ｆ
４６ 外部Ｉ／Ｆ
４８ バス
４９ 医療支援プログラム
５０ 寸法情報
５６ 格子パターン
５６Ａ 交点
５７ マーク
１２３ 術前準備情報
１３１ 断層撮影装置
１３２ 断層画像群
１３２Ａ 断層画像
１３３ 画像データベース
１３４ 術前３Ｄ画像
１３４Ａ ボクセルデータ
１３７ 血管構造
１５１ 超音波３Ｄ画像
１５１Ａ ボクセルデータ
１５８ 第１位置関係情報
１５９ 第２位置関係情報
θ 傾斜角
ＡＸｐｂ 軸方向
ＬＶ 肝臓
Ｍ１ マーカ（第１マーカ）
Ｍ２ マーカ（第２マーカ）
ＮＰ 挿入位置
ＮＲ、ＮＲ１、ＮＲ２ 挿入経路
ＰＴ 患者
ＲＰ１－１、ＲＰ１－２、ＲＰ１－３、ＲＰ１－４、ＲＰ１－５、ＲＰ２ 位置関係
ＲＢ ロボット
Ｓ 走査軌跡
ＳＦ 術野
ＳＦｅｘ 体外術野
ＳＦｉｎ 体内術野
ＳＴ 医療スタッフ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】