特開 2024-23038 穿刺手技補助システム、穿刺補助画像生成装置及び穿刺補助画像生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024023038

(43)【公開日】2024-02-21

(54)【発明の名称】穿刺手技補助システム、穿刺補助画像生成装置及び穿刺補助画像生成方法

(51)【国際特許分類】

   A61B 8/14 20060101AFI20240214BHJP

【ＦＩ】

A61B8/14

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022126576

(22)【出願日】2022-08-08

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】593006630

【氏名又は名称】学校法人立命館

(71)【出願人】

【識別番号】500409219

【氏名又は名称】学校法人関西医科大学

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100135703

【弁理士】

【氏名又は名称】岡部 英隆

(74)【代理人】

【識別番号】100163902

【弁理士】

【氏名又は名称】市川 奈月

(72)【発明者】

【氏名】大島 登志一

(72)【発明者】

【氏名】中本 達夫

【テーマコード（参考）】

4C601

【Ｆターム（参考）】

4C601EE11

4C601FF03

4C601GA18

4C601GA20

4C601GA21

4C601KK24

4C601KK31

4C601KK42

(57)【要約】

【課題】穿刺手技を容易にする。
【解決手段】穿刺手技の補助に利用される穿刺手技補助システムであって、患者の超音波断層像を取得する超音波プローブ５１と、穿刺手技に利用される穿刺器具４０の位置及び姿勢を計測する計測装置２０と、超音波断層像及び計測装置２０による計測データに基づいて、穿刺の状態を示す補助画像データを生成し、当該補助画像データをディスプレイ３２に表示させる穿刺補助画像生成装置１０と、を備え、穿刺補助画像生成装置１０は、計測データを用いて、穿刺器具４０、超音波プローブ５１の断層面、及び、患者体内の穿刺目標点の位置合わせし、位置合わせによって得られた穿刺器具４０の穿刺針４１、断層面、及び、穿刺目標点の位置関係を示し、超音波断層像に重畳する補助画像データを生成する。
【選択図】図３

【特許請求の範囲】

【請求項1】

穿刺手技の補助に利用される穿刺手技補助システムであって、
患者の超音波断層像を取得する超音波プローブと、
穿刺手技に利用される穿刺器具の位置及び姿勢を計測する計測装置と、
前記超音波断層像及び前記計測装置による計測データに基づいて、穿刺の状態を示す補助画像データを生成し、当該補助画像データをディスプレイに表示させる穿刺補助画像生成装置と、
を備え、
前記穿刺補助画像生成装置は、
前記計測データを用いて、前記穿刺器具、前記超音波プローブの断層面、及び、患者体内の穿刺目標点の位置合わせし、
前記位置合わせによって得られた前記穿刺器具の穿刺針、前記断層面、及び、前記穿刺目標点の位置関係を示し、前記超音波断層像に重畳する前記補助画像データを生成する、
穿刺手技補助システム。

【請求項2】

前記ディスプレイ及び周囲環境を撮像するカメラを有し、穿刺手技を行うユーザに装着される装着装置をさらに備え、
前記計測装置は、
前記超音波プローブ及び前記穿刺器具とともに、前記装着装置の位置及び姿勢を計測し、
前記穿刺補助画像生成装置は、
前記カメラで撮影した前記患者、前記穿刺器具及び前記超音波プローブを含む現実環境画像上の、前記計測装置における計測結果を考慮した位置に、前記補助画像データを重ねて表示する
請求項１に記載の穿刺手技補助システム。

【請求項3】

演算装置を備え、穿刺手技の補助に利用される補助画像データを生成する穿刺補助画像生成装置であって、
前記演算装置は、
計測装置から、患者の超音波断層像を取得する超音波プローブと、穿刺手技に利用される穿刺器具の位置及び姿勢を計測した計測データを受け付け、
前記計測データを用いて、前記穿刺器具、前記超音波プローブの断層面、及び、患者体内の穿刺目標点の位置合わせを実行し、
前記超音波プローブから超音波断層像を受け付け、
前記位置合わせによって得られた前記穿刺器具の穿刺針、前記断層面、及び、前記穿刺目標点の位置関係を示し、前記超音波断層像に重畳する前記補助画像データを生成するステップと、
前記超音波断層像が表示される表示装置に前記補助画像データを表示させるステップと、
を実行する穿刺補助画像生成装置。

【請求項4】

前記位置関係を表す情報は、前記穿刺針の先端、及び、前記断層面に位置する前記穿刺目標点との距離を示すガイド図形を含む
請求項３に記載の穿刺補助画像生成装置。

【請求項5】

前記ガイド図形は、前記穿刺針を軸として設けられる複数の錐体の、前記断層面を基準とする断面で表される
請求項４に記載の穿刺補助画像生成装置。

【請求項6】

前記複数の錐体は、
前記穿刺針の中心軸を中心軸とし、前記穿刺針の先端から第１の所定距離後方に頂点が位置し、前記穿刺針の先端が前記穿刺目標点に近接すると、前記断層面での断面が小さくなる第１の錐体と、
前記穿刺針の中心軸を中心軸とし、前記穿刺針の先端から第２の所定距離前方に頂点が位置し、前記穿刺針の先端が前記穿刺目標点に近接すると、前記断層面での断面が大きくなる第２の錐体と、
前記穿刺針の中心軸を中心軸とし、前記穿刺針の先端を頂点とし、前記第２の錐体よりも錐体側面の傾斜が緩やかで、前記穿刺針の先端が前記穿刺目標点を通過すると、前記断層面での断面が大きくなる第３の錐体とを含み、
前記位置関係を表す情報は、
前記穿刺針の先端と前記穿刺目標点との間が前記第２の所定距離以上であるとき、前記第１の錐体の第１の断面のみを含み、
前記穿刺針の先端と前記穿刺目標点との間が前記第２の所定距離未満であるとき、前記第１の断面内に、前記第２の錐体の第２の断面が含まれ、
前記穿刺針の先端が前記穿刺目標点に接触すると、前記第１の断面と前記第２の断面とを重なった状態で含み、
前記穿刺針の先端が前記穿刺目標点を通過すると、前記第２の断面内に、前記第１の断面が含まれるとともに、前記穿刺針の先端の挿入深さに応じて、前記第３の錐体の第３の断面が大きく表される
請求項５に記載の穿刺補助画像生成装置。

【請求項7】

前記複数の錐体は、円錐又は正角錐である
請求項６に記載の穿刺補助画像生成装置。

【請求項8】

前記ガイド図形は、前記穿刺目標点を頂点とし、穿刺針の先端を底面の中心とする底面とする錐体である
請求項４に記載の穿刺補助画像生成装置。

【請求項9】

前記錐体は、円錐又は正角錐である
請求項８に記載の穿刺補助画像生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、穿刺手技補助システム、穿刺補助画像生成装置及び穿刺補助画像生成方法に関する。

【背景技術】

【0002】

従来から、例えば、静脈注射や胸腔穿刺等の穿刺手技は、医師の熟練した技術が要求されてきた。例えば、穿刺手技において、穿刺の目標である血管及び穿刺針の先端の双方のサイズが小さく、加えて、血管及び体内に侵入した穿刺針も目視では視認することができないこともあり、非常に困難である。また、体内での穿刺針の状況等は、目視で容易に把握することができないため、若い医師による技術の習得も困難であった。より多くの医師によって容易かつ短時間で穿刺手技が可能となれば、患者の負担も軽減され、また、迅速に必要な処置を受けることができる。

【0003】

非特許文献１には、事前に複数の超音波断層像から構築したポリゴンモデルを用いて、超音波プローブの位置及び姿勢を計測して、超音波断層像を重畳表示する手法が提案されている。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Technologies for Augmented Reality Systems: Realizing Ultrasound-Guided Needle Biopsies、Andrei State他6名、SIGGRAPH '96: Proceedings of the 23rd annual conference on Computer graphics and interactive techniques、1996年8月、439－446頁

【発明の概要】

【発明が解決しようとする課題】

【0005】

本開示は、穿刺手技の補助を実現する穿刺手技補助システム、穿刺補助画像生成装置及び穿刺補助画像生成方法を提供する。

【課題を解決するための手段】

【0006】

本開示の穿刺手技補助システムは、穿刺手技の補助に利用される穿刺手技補助システムであって、患者の超音波断層像を取得する超音波プローブと、穿刺手技に利用される穿刺器具の位置及び姿勢を計測する計測装置と、前記超音波断層像及び前記計測装置による計測データに基づいて、穿刺の状態を示す補助画像データを生成し、当該補助画像データをディスプレイに表示させる穿刺補助画像生成装置と、を備え、前記穿刺補助画像生成装置は、前記計測データを用いて、前記穿刺器具、前記超音波プローブの断層面、及び、患者体内の穿刺目標点の位置合わせを実行するステップと、前記位置合わせによって得られた前記穿刺器具の穿刺針、前記断層面、及び、前記穿刺目標点の位置関係を示し、前記超音波断層像に重畳する前記補助画像データを生成するステップと、を実行する。

【0007】

本開示の穿刺手技補助システム、穿刺補助画像生成装置及び穿刺補助画像生成方法を使用することにより、容易かつ短時間での穿刺手技を実現することができる。

【発明の効果】

【0008】

本開示の穿刺手技補助システム、穿刺補助画像生成装置及び穿刺補助画像生成方法によれば、容易かつ短時間での穿刺手技を可能とする。

【図面の簡単な説明】

【0009】

【図1】穿刺手技補助システムを示すブロック図である。

【図2】穿刺器具及び超音波プローブを利用する穿刺について説明する概略図である。

【図3】計測装置、装着装置、穿刺器具及び超音波プローブの位置関係を示す概略図である。

【図4A】穿刺補助画像生成装置を示すブロック図である。

【図4B】穿刺補助画像生成装置の入力装置について説明する概略図である。

【図5A】穿刺器具と第１のデータを示す円錐について説明する概略図である。

【図5B】穿刺器具と第１のデータについて説明する他の概略図である。

【図6A】穿刺器具と第２のデータの生成に利用される第１の円錐について説明する概略図である。

【図6B】穿刺器具と第２のデータの生成に利用される第２の円錐について説明する概略図である。

【図6C】穿刺器具と第２のデータの生成に利用される第３の円錐について説明する概略図である。

【図7】穿刺針の先端と穿刺目標点との位置関係を説明する概略図である。

【図8A】穿刺針の先端が穿刺目標点から遠い場合の超音波プローブ、穿刺針及び穿刺目標点の位置関係の一例を説明する概略図である。

【図8B】図８Ａの場合の断層面、穿刺目標点及び第１の円錐の位置関係を説明する概略図である。

【図8C】図８Ａの場合の補助画像データの一例である。

【図9A】穿刺針の先端が穿刺目標点に近づいた場合の超音波プローブ、穿刺針及び穿刺目標点の位置関係の他の例を説明する概略図である。

【図9B】図９Ａの場合の断層面、穿刺目標点、第１の円錐及び第２の円錐の位置関係を説明する概略図である。

【図9C】図９Ａの場合の補助画像データの一例である。

【図9D】穿刺針が断層面に垂直でない場合の補助画像データの一例である。

【図10A】穿刺針の先端が穿刺目標点である場合の超音波プローブ、穿刺針及び穿刺目標点の位置関係の他の例を説明する概略図である。

【図10B】図１０Ａの場合の断層面、穿刺目標点、第１の円錐及び第２の円錐の位置関係を説明する概略図である。

【図10C】図１０Ａの場合の補助画像データの一例である。

【図11A】穿刺針の先端が穿刺目標点を通過した後の超音波プローブ、穿刺針及び穿刺目標点の位置関係の他の例を説明する概略図である。

【図11B】図１１Ａの場合の断層面、穿刺目標点、第１の円錐及び第２の円錐の位置関係を説明する概略図である。

【図11C】図１１Ａの場合の補助画像データの一例である。

【図12A】穿刺手技の補助画像の生成の処理を説明するフローチャートである。

【図12B】図１２Ａの処理の一部を詳細に説明するフローチャートである。

【図13】位置姿勢データの生成の処理を説明するフローチャートである。

【発明を実施するための形態】

【0010】

以下に、図面を参照して本開示に係る穿刺手技補助システム、穿刺補助画像生成装置及び穿刺補助画像生成方法について説明する。ここでは、穿刺手技補助システムは、医師による患者への穿刺手技の補助に利用することができる。

【0011】

「穿刺手技」は、治療や診断のため、医師が患者の体内に穿刺器具の穿刺針を挿入する行為である。以下では、穿刺手技補助システムを、医師が患者の血管へ薬液の注入のため、超音波装置を用いて超音波断層像を確認しながら、穿刺器具により血管に穿刺針を刺す例で説明する。しかしながら、穿刺手技には、血管への穿刺の他、腰椎穿刺、胸腔穿刺、腹水穿刺等がある。本開示の穿刺手技補助システムは、これらの場合であっても、利用することができる。なお、以下の説明では、同一の構成について、同一の符号を付して説明を省略する。

【0012】

「断層面」は、超音波装置によって超音波が送信され、超音波断層像の生成の対象となる人体内部の面をいう。

【0013】

図１に、実施形態に係る穿刺手技補助システムの一例を示す。本開示に係る穿刺手技補助システム１は、穿刺補助画像生成装置１０、穿刺手技を行う医師であるユーザに装着される装着装置３０及び穿刺手技に利用される特定の物体の位置及び姿勢を計測する計測装置２０を備える。この穿刺手技補助システム１は、図２に一例を示すように、ユーザである医師が、超音波装置５０及び穿刺器具４０を用いて、患者に穿刺する際に利用される。図２に示す例では、超音波装置５０の超音波プローブ５１、穿刺器具４０及び患者の身体の一部の位置関係を示す。ここで、少なくとも、装着装置３０、計測装置２０、超音波装置５０及び穿刺器具４０は、同一空間内に存在するが、穿刺補助画像生成装置１０は、他の装置２０～４０とネットワークを介して通信可能であれば、他の空間に存在してもよい。

【0014】

穿刺器具４０は、患者の体内に挿入される穿刺針４１を有する。例えば、穿刺器具４０は、患者の体内に穿刺針４１を挿入し、薬液を患者の体内に注入する目的で利用される。

【0015】

超音波装置５０は、患者の超音波断層像の取得に利用する。具体的には、超音波装置５０は、超音波を生成して患者の体内に送信するとともに、体内で反射した超音波を受信する超音波プローブ５１と、超音波プローブ５１で受信した超音波を用いて超音波断層像を生成する処理装置５２とを有する。また、超音波装置５０は、超音波断層像を表示するディスプレイを有してもよい。ユーザは、超音波装置５０で生成される超音波断層像から、患者の体内の状態や、穿刺器具４０の穿刺針の位置等を把握することができる。超音波装置５０は、穿刺補助画像生成装置１０に処理装置５２で生成した超音波断層像を送信する。

【0016】

計測装置２０は、装着装置３０と、穿刺器具４０と、超音波プローブ５１との位置及び姿勢を計測する。例えば、計測装置２０は、装着装置３０と、穿刺器具４０と、超音波プローブ５１とに設けたマーカとして取り付けられたリフレクタに対して赤外光を投光する投光手段２１と、装着装置３０、穿刺器具４０及び超音波プローブ５１にマーカとして取り付けられたリフレクタで反射された赤外光を受光する受光手段２２と、受光手段２２で受光した赤外光を処理して装着装置３０、穿刺器具４０及び超音波プローブ５１の位置及び姿勢を計測する処理装置２３とを有する光学式トラッカーである。計測装置２０は、装着装置３０、穿刺器具４０及び超音波プローブ５１の各形状と、それぞれにターゲットとして取り付けた複数のリフレクタの取り付け位置との関係を予め登録する。そして、計測装置２０は、受光手段２２で受光する赤外光から、計測装置２０は、穿刺補助画像生成装置１０に処理装置２３で計測された装着装置３０、穿刺器具４０及び超音波プローブ５１それぞれの位置及び姿勢を、計測データとして送信する。なお、ここでは、計測装置２０が投光手段２１及び受光手段２２を有し、マーカがリフレクタであるパッシブ形式の一例を示すが、これに限定されない。例えば、計測装置２０は、アクティブ形式を採用してもよい。具体的には、マーカが発光手段である場合、計測装置は、受光手段のみを備え、投光手段を備えず、マーカから発光された光を受光手段で受光して各マーカの位置を計測することで、対象物の位置及び姿勢を計測する。

【0017】

投光手段２１及び受光手段２２は、例えば、一体となるカメラとして構成される。ここで、複数の方向からの信号を取得することで、装着装置３０、穿刺器具４０及び超音波プローブ５１の位置及び姿勢を計測することができる。また、装着装置３０、穿刺器具４０及び超音波プローブ５１の位置及び姿勢は固定でなく変動するため、同時に複数方向から画像を取得する必要があるため、計測装置２０は、複数のカメラを利用する。したがって、計測装置２０は、複数組の投光手段２１及び受光手段２２を有する。具体的には、位置及び姿勢の計測対象とする装着装置３０、穿刺器具４０及び超音波プローブ５１にはそれぞれ予め複数のリフレクタが備えられている。受光手段２２は、投光手段２１から発光され、リフレクタで反射した信号を受光してそれらの位置及び姿勢を計測する。

【0018】

ここで、図３に一例を示すように、複数組の投光手段２１及び受光手段２２は、ユーザの上前方、具体的には、ユーザの頭上前方に設置されることが好ましい。換言すると、ユーザの背面側ではなくて手元側の上方に設置されることが好ましい。また、複数のリフレクタ６０は、超音波プローブ５１において、上方、具体的には、超音波の送受信側とは反対側に取り付けられることが好ましい。このように、投光手段２１及び受光手段２２をユーザの上方に設置し、リフレクタ６０を超音波プローブ５１の上方に取り付けることで、穿刺手技におけるユーザへの妨げを防止することができるばかりではなく、ユーザの身体等によって投光手段２１からの投光及び受光手段２２での受光が妨げられるのを防止することができる。加えて、このような配置によって信号の送受信を確実にすることも可能となるため、計測装置２０によって、位置及び姿勢の計測の精度の低下を防ぐことができる。また、同様の効果を得るため、装着装置３０についても、複数のリフレクタ６０は、上方、具体的には、装着時のユーザの頭頂側に取り付けられることが好ましい。さらに、穿刺器具４０についても、複数のリフレクタ６０は、上方、具体的には、穿刺器具４０における穿刺針４１の遠位側に取り付けられることが好ましい。

【0019】

このとき、装着装置３０、穿刺器具４０及び超音波プローブ５１の位置及び姿勢は、それぞれ、X軸、Y軸及びZ軸で表す世界座標系を用いて表される。これにより、各装置同士の位置関係も特定することができる。後述する各種の位置及び姿勢についても、この世界座標系を基準とするが、装着装置３０のディスプレイ３２に表示してユーザに視認させるため、それぞれの位置及び姿勢は、装着装置３０のユーザの視点に合わせて相対的に変換され、変換された位置及び姿勢で描画する。

【0020】

穿刺補助画像生成装置１０は、超音波装置５０から受信した超音波断層像及び計測装置２０から受信した計測データに基づいて、穿刺器具４０による穿刺の状態を示す補助画像データを生成する。また、穿刺補助画像生成装置１０は、生成した補助画像データを装着装置３０に送信し、ディスプレイ３２に表示させる。穿刺補助画像生成装置１０の構成は、図４Ａを用いて後述する。ここで、補助画像データは、後述する装着装置３０のカメラ３１で撮影された周辺環境画像中で、穿刺器具４０の状況を３次元的に示す第１のデータと、超音波画像中で、穿刺器具４０の状況を２次元的に示す第２のデータとを含む。

【0021】

装着装置３０は、周囲環境を撮影するカメラ３１と、カメラ３１で撮影された周辺環境画像及び穿刺補助画像生成装置１０から受信した補助画像データを表示するディスプレイ３２を表示する。例えば、装着装置３０は、ユーザの頭部に装着可能な装置であって、頭部の方向に連動して穿刺補助のための画像を表示可能なディスプレイを有する、例えば、ヘッドマウントディスプレイやスマートグラスである。スマートグラスを利用する場合、不安定であると穿刺手技の妨げになるため、装着時にヘッドマウントディスプレイと同程度に装着時にユーザの頭部で安定感があることが好ましい。カメラ３１は、ユーザの視線に合わせて取り付けられている。したがって、カメラ３１が撮影する周囲環境は、ユーザの視線に合わせた画像であって、具体的には、装着装置３０を装着していない場合に、ユーザが視認することのできる周囲環境である。仮に、ユーザが前方を向いている場合には、カメラ３１はユーザ前方を撮影し、ユーザが手元を向いている場合には、ユーザの手元を撮影する。

【0022】

また、装着装置３０は、右目用と左目用とで別々のディスプレイ３２を備え、各ディスプレイ３２に実際の視差を考慮した立体画像を表示させることが好ましい。この場合、装着装置３０は右目用のディスプレイ３２に表示させる左目用の画像を撮影するカメラ３１と、左目用のディスプレイ３２に表示させる左目用の画像を撮影するカメラ３１とを別々に備えることが好ましい。

【0023】

図４Ａに示すように、穿刺補助画像生成装置１０は、制御装置１１、記憶装置１２及び通信装置１３を備えるパーソナルコンピュータ等の情報処理装置である。また、穿刺補助画像生成装置１０は、信号の入出力に利用される入力装置１４及び出力装置１５を備えることができる。

【0024】

制御装置１１は、穿刺補助画像生成装置１０全体の制御を司るコントローラである。例えば、制御装置１１は、記憶装置１２に記憶されるコンピュータプログラムを読み出して実行することにより、補助画像データの生成を実行するための各種処理を実現する。また、制御装置１１は、ハードウェアとソフトウェアの協働により所定の機能を実現するものに限定されず、所定の機能を実現する専用に設計されたハードウェア回路でもよい。すなわち、制御装置１１は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサで実現することができる。

【0025】

記憶装置１２は、種々の情報を記録する記録媒体である。記憶装置１２は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＳＳＤ（Solid State Drive）、ハードディスクドライブ、その他の記憶デバイス又はそれらを適宜組み合わせて実現される。記憶装置１２は、制御装置１１が実行するコンピュータプログラムと、補助画像データの生成に使用する種々のデータ等を格納する。

【0026】

通信装置１３は、外部の装置（例えば、計測装置２０、装着装置３０、超音波装置５０等）とのデータ通信を可能とするための、外部装置の仕様による通信手段である。上述したデータ通信は、有線および／または無線によるデータ通信であり、装置固有に設計された通信仕様、もしくは公知の通信規格にしたがって行われ得る。例えば、有線によるデータ通信は、HDMI（登録商標）などの映像信号規格、イーサネット（登録商標）規格、および／またはＵＳＢ（登録商標）規格等に準拠して動作する半導体集積回路の通信コントローラを通信装置１３として用いることによって行われる。また無線によるデータ通信は、デジタル機器用の近距離無線通信規格であるBluetooth、ＬＡＮ（Local Area Network）に関するＩＥＥＥ８０２．１１規格、および／または移動体通信に関する、いわゆる４Ｇ／５Ｇと呼ばれる、第４世代／第５世代移動通信システム等に準拠して動作する半導体集積回路の通信コントローラを通信装置１３として用いることによって行われる。

【0027】

入力装置１４は、補助画像データの生成及び表示のための操作やデータの入力に利用される、操作ボタン、キーボード、タッチパネル、マイクロフォン等の入力手段である。穿刺補助画像生成装置１０は、穿刺手技の際に利用されるため、ユーザの手はキーボード等の手を用いる入力手段の利用は好ましくない。したがって、ユーザが穿刺手技で利用することのないペダルも入力装置１４として利用することができる。具体的には、入力装置１４として、予め、図４Ｂに示すようなペダル１４１～１４３を、ユーザの足元に設置してもよい。ユーザは、穿刺手技を行いながら、足でペダルを押下して所望の操作入力を実行することで、手を用いることなく、穿刺手技を継続しながら足によって補助画像データの生成及び表示のために必要な操作をすることができる。なお、図４Ｂに示す例では、扇形状の基台上に、３つのペダル１４１～１４３が設けられる一例であるが、入力装置１４として用いるペダルの形状、数、設置方法等についてはこれに限定されない。

【0028】

出力装置１５は、補助画像データの生成及び表示のための信号やデータの出力に利用される、ディスプレイ、スピーカ等の出力手段である。穿刺補助画像生成装置１０で生成される補助画像データは、装着装置３０のディスプレイ３２で表示されるが、ディスプレイ３２に表示される画像を、装着装置３０を装着するユーザ以外も視認可能とするため、出力装置１５であるディスプレイに表示してもよい。これにより、例えば、装着装置３０を装着しない研修中の医師等に対し、装着装置３０のディスプレイ３２で表示される映像を参考にして穿刺手技を把握しやすくさせることができる。

【0029】

例えば、穿刺補助画像生成装置１０は、補助画像データの生成及び表示のリクエストの信号を受け付けると、補助画像データの生成の一連の処理を実行する。具体的には、穿刺補助画像生成装置１０は、補助画像データの生成の処理として、制御装置１１において、各処理を実行する。この補助画像データの生成及び表示のリクエストは、例えば、図４Ｂを用いて説明したペダル１４１の押下により操作される。例えば、ペダル１４１の押下により、補助画像データの生成及び表示が有効なモードとなり、本モードを解除するまで継続的に、補助画像データが毎フレーム生成及び表示される。再度ペダル１４１が押下されることにより、補助画像データの生成及び表示のモードが解除され補助画像データが表示されないこととなる。

【0030】

制御装置１１は、計測装置２０から、装着装置３０、穿刺器具４０及び超音波プローブ５１のそれぞれの位置及び姿勢を示す計測データを取得する。また、制御装置１１は、超音波装置５０から超音波断層像を生成する。制御装置１１は、取得した計測データと、超音波断層像を用いて、穿刺目標点、及び、穿刺針４１の位置関係を３次元的に示し、周辺環境画像に重畳する情報である第１のデータと、穿刺目標点、穿刺針４１、及び、断層面の位置関係を示し、超音波断層像に重畳する情報である第２のデータとを含む補助画像データを生成する。

【0031】

制御装置１１は、生成した補助画像データを、装着装置３０に送信し、ディスプレイ３２に表示させる。このとき、制御装置１１は、カメラ３１で撮影された患者の身体の少なくとも一部と、穿刺器具４０と、超音波プローブ５１とを含む現実環境画像に超音波断層像を重畳させるとともに、その超音波断層像に補助画像データを重畳させて、各画像をディスプレイ３２に表示させることが好ましい。

【0032】

なお、右目用と左目用とで別々のディスプレイ３２を備える場合、制御装置１１は、補助画像データの生成及び各画像データの表示等の処理を、視差のある立体映像を生成するため、右目用と左目用とでそれぞれ別々に実行することが好ましい。

【0033】

補助画像データが含む「位置関係を示す情報」は、穿刺針４１の先端と穿刺目標点との位置関係を示す「ガイド図形」を含む。ここで、第１のデータに含まれる「ガイド図形」は、穿刺目標点を頂点とし、穿刺対象の皮膚に穿刺針４１の先端が接したときにユーザからの指示によって設定される、穿刺針４１の先端を中心として穿刺針４１に垂直な面を底面とする錐体である。本実施形態では、第１のデータとして利用される錐体は、円錐である一例で説明する。また、この円錐の底面の直径は限定されず、例えば、円錐の高さとの比によって定めることができる。また、第２のデータに含まれる「ガイド図形」は、穿刺針４１を軸として設けられる複数の錐体の、断層面を基準とする断面で表される。本実施形態では、第２のデータの生成に利用される複数の錐体も円錐である一例で説明する。したがって、錐体の断面は、円形である。しかしながら、錐体は円錐に限られず、四角錐等の角錐であってもよい。なお、断層面は、複数の円錐の中心軸に垂直に得られるとは限られないため、正円ではなく、楕円となる場合もあり得る。また、後述する例では、第１の円錐の断面を破線、第２の円錐の断面を一点鎖線、第３の円錐の断面を二点鎖線で示す。

【0034】

図５Ａ及び図５Ｂに、第１のデータとして利用される円錐を示す。第１のデータとなる円錐は、穿刺目標点Ｔを頂点とし、穿刺目標点を頂点とし、穿刺針４１の先端４１１を中心として穿刺針４１に垂直な面を底面として設定される。この円錐自体が、第１のデータとして、周辺環境画像に三次元的に重畳される。図５Ａ及び図５Ｂに示す例では、穿刺針４１の位置を実線Ｌｎで示し、穿刺針の延長線を破線Ｌｅで示す。第１データは、これらの線Ｌｎ、Ｌｅを含んでもよい。このように第１のデータとして示される円錐の頂点に向けて穿刺針を進めることで、穿刺目標点に穿刺針４１の先端を到達させることができる。

【0035】

図６Ａに、第２のデータの生成に利用される第１の円錐の断面、具体的には、第１の円錐の中心軸に沿った縦断面の一例を破線で示す。第１の円錐は、穿刺針４１の中心軸Ｌを中心軸とし、穿刺針４１の先端から第１の所定距離Ｌ１後方に頂点Ｐ１が位置し、穿刺針４１の先端が穿刺目標点に近接すると、断層面での第１の円錐の断面が小さくなるように形成される。換言すると、第１の円錐の頂点Ｐ１は、穿刺針４１の先端を基準として所定距離Ｌ１、穿刺器具４０の本体側に存在し、第１の円錐の底面は、穿刺方向に存在する。以下では、第１の円錐の超音波プローブ５１で送受信される超音波による断層面での断面を第１の断面とする。例えば、各円錐の高さは、使用時の穿刺動作に応じて適宜調整される。より具体的には、穿刺において、穿刺器具４０が動く距離や穿刺針４１の先端が動く距離よりも大きい長さが好ましい。

【0036】

図６Ｂに、第２の円錐の断面、具体的には、第２の円錐の中心軸に沿った縦断面（一点鎖線）の一例を示す。なお、図６Ｂにおいて、参考のため、第１の円錐の縦断面（破線）も示す。第２の円錐は、穿刺針４１の中心軸Ｌを中心軸とし、穿刺針４１の先端から第２の所定距離Ｌ２前方に頂点Ｐ２が位置し、穿刺針４１の先端が穿刺目標点に近接すると断層面での第２の円錐の断面が大きくなるように形成される。換言すると、第２の円錐の頂点Ｐ２は、穿刺針４１の中心軸Ｌ上で、穿刺針４１の先端から所定距離Ｌ２、穿刺器具４０の本体とは逆方向に存在し、第２の円錐の底面は、穿刺器具４０の本体側に存在する。以下では、第２の円錐の超音波プローブ５１で送受信される超音波による断層面での断面を第２の断面とする。なお、第１の円錐と第２の円錐とは、穿刺針４１の先端において中心軸と垂直な位置で、それぞれの錐体側面（図では斜辺）が交差する。

【0037】

図６Ｃに、第３の円錐の断面、具体的には、第３の円錐の中心軸に沿った縦断面（二点鎖線）の一例を示す。図３Ｃにおいて、参考のため、第２の円錐の縦断面（一点鎖線）も示す。第３の円錐は、穿刺針４１の中心軸Ｌを中心軸とし、穿刺針４１の先端を頂点Ｐ３とし、穿刺針４１の先端が穿刺目標点を通過後に、穿刺針４１が穿刺目標点から遠ざかると断面が大きくなるように形成される。また、第３の円錐は、第２の円錐よりも錐体側面の傾斜が緩やかに形成される。換言すると、第３の円錐の頂点Ｐ３は、穿刺針４１の先端に存在し、第３の円錐の底面は、穿刺器具４０の本体側に存在する。また、第３の円錐は、第２の円錐よりも斜辺が緩やかであるため、第２の円錐の斜辺と、第３の円錐の斜辺とは、穿刺針４１の先端よりも穿刺器具４０の本体側において、交差する。また、穿刺針４１の先端と、第２の円錐の斜辺と第３の円錐の斜辺とが交差する位置で特定される長さを第３の所定距離Ｌ３とする。具体的には、第２の円錐と第３の円錐とは、穿刺針４１の先端から穿刺器具４０の本体側へ第３の所定距離後退した位置において中心軸Ｌと垂直な位置で、それぞれの錐体側面（図では斜辺）が交差する。ここでは、第３の円錐の超音波プローブ５１で送受信される超音波による断層面での断面を第３の断面とする。

【0038】

穿刺補助画像生成装置１０では、穿刺目標点の位置と、上述した第１乃至第３の断面をガイド図形として含む、補助画像データの第２データを生成する。図７において、「Ｃ」は患者の皮膚表面を示し、「Ｕ」は超音波プローブ５１で送受信される超音波Ｕ（断層面の位置）を示し、「Ｔ」は穿刺目標点を示す。このとき、（１）乃至（５）は、それぞれ、（１）穿刺前の状態、（２）穿刺後の穿刺針４１の先端が穿刺目標点Ｔから離れた状態、（３）穿刺針４１の先端が穿刺目標点Ｔに近接した状態、（４）穿刺針４１の先端が穿刺目標点Ｔに達した状態、（５）穿刺針４１の先端が穿刺目標点Ｔと通過した状態を示す。これら各状態にある場合の補助画像データの一例を、図８Ａ乃至図１１Ｃを用いて説明する。

【0039】

図８Ａは、医師が超音波プローブ５１で取得する超音波断層像を参考にしながら、患者の血管Ｂに穿刺した様子を説明する概略図である。なお、図８Ａにおいて、患者に穿刺した穿刺針４１を、破線で示す。図８Ａは、穿刺を開始した状態（図７の（２））であって、穿刺針４１の先端が患者の血管Ｂの穿刺目標点Ｔとの距離が第２の所定距離Ｌ２となる前の様子を示す。ここで、穿刺目標点Ｔは、超音波プローブ５１で送受信される超音波Ｕの経路によって定義される断層面と、穿刺針４１の延長線が交わる血管Ｂ上に位置する。図８Ａに示すように超音波プローブ５１の傾きを変更させることで、患者の皮膚表面に対する送受信される超音波の角度を変化させることができ、これに応じて、超音波断層像の範囲を変化させることができる。したがって、医師は、穿刺針４１を患者に穿刺する前の針先が皮膚に当たった状態で、図８Ａの矢印で示すように、超音波プローブ５１の傾きを変更させるとともに、穿刺器具４０の傾きも動かすことで、超音波Ｕの経路によって定義される断層面上に、穿刺針４１の延長線と血管Ｂとが交わる穿刺目標点Ｔを見つけ出すことができる。

【0040】

図８Ａに示す穿刺を開始した状態では、穿刺針４１の先端は、穿刺目標点Ｔから遠位、具体的には、所定距離Ｌ２よりも遠い位置にある。図６Ａ乃至６Ｃを用いて上述したように、第１の円錐は、穿刺針４１の先端から所定距離Ｌ１後方の頂点Ｐ１を基準として、穿刺の前方側に広がる錐形であるが、第２の円錐は、穿刺針４１の先端から所定距離Ｌ２前方の頂点Ｐ２を基準として、穿刺の後方側に広がる錐形であり、第３の円錐は、穿刺針４１の先端を基準として、穿刺針４１の後方側に広がる錐形である。したがって、図８Ｂに示すように、超音波プローブ５１で送受信される超音波Ｕで定義される断層面で、第１乃至第３の円錐によって得られる断面は、第１の断面のみとなる。この場合、図８Ｃに示すように、補助画像データの第２のデータは、第１の断面の外周と、穿刺目標点Ｔとのみを含む。したがって、穿刺針４１の先端と穿刺目標点Ｔとの間が、第２の円錐の頂点Ｐ２と、第１の円錐及び第２の円錐の斜辺の交点とで規定される所定距離Ｌ２以上であるとき、第２のデータは、穿刺目標点Ｔと、第１の断面のみを含む。そして、穿刺目標点Ｔと、穿刺針４１の先端との距離が近づくにつれて、第１の断面のサイズが小さくなる。このため、ガイド図形である第２のデータを確認するユーザは、第１の断面のサイズに応じて、穿刺針４１の挿入の程度を把握することができる。

【0041】

図９Ａは、穿刺が進み、穿刺針４１の先端が穿刺目標点Ｔに第２の所定距離Ｌ２の範囲内に近づいた状態を示す（図７の（３））。ここで、図６Ｂを用いて上述したように、第２の円錐は、穿刺針の先端から所定位置前方の頂点Ｐ２を基準として、穿刺針４１の後方側に広がる錐形である。したがって、図９Ｂに示すように、超音波Ｕを基準とする断層面で、複数の円錐によって得られる断面は、第１の断面と、第２の断面となる。このように穿刺針４１の先端が穿刺目標点Ｔから所定距離Ｌ２の範囲内に近づいた場合、図９Ｂに示すように、第１の円錐内に、第２の円錐が存在する。したがって、図９Ｃに示すように、補助画像データの第２のデータは、第１の断面の外周と、その内部に存在する第２の断面の外周と、穿刺目標点Ｔとを含む。したがって、穿刺針４１の先端と穿刺目標点Ｔとの間が、第２の円錐の頂点Ｐ２と、第１の円錐及び第２の円錐の斜辺の交点とで規定される所定距離Ｌ２の範囲内であるとき、第２のデータは、穿刺目標点Ｔと、第１の断面と、第１の断面内に位置する第２の断面を含む。そして、穿刺目標点Ｔと、穿刺針４１の先端との距離が近づくにつれて、第１の断面のサイズが小さくなり、第２の断面のサイズは大きくなる。したがって、ガイド図形である第２のデータを確認するユーザは、第１の断面及び第２の断面のサイズに応じて、穿刺針４１の挿入の程度を把握することができる。なお、超音波プローブ５１の傾きが変化したことにより、穿刺針４１が断層面に対して垂直でなくなった場合、図９Ｄに示すように第１の断面及び第２の断面は、正円ではなく楕円となる。したがって、ユーザは、第２のデータを確認することで、穿刺針４１の穿刺目標点Ｔへの到達の度合いとともに、穿刺針４１の傾きの度合いも把握することができる。

【0042】

図１０Ａは、さらに穿刺が進み、穿刺針４１の先端が穿刺目標点Ｔに達した状態を示す（図７の（４））。ここで、図６Ｂを用いて上述したように、第１の円錐と第２の円錐とは、穿刺針４１の先端において中心軸と垂直な位置で、斜辺が重なるように配置される。したがって、超音波Ｕを基準とする断層面に対して穿刺針４１が垂直に挿入され、図１０Ｂに示すように、穿刺針４１の先端が穿刺目標点Ｔに達したとき、複数の円錐によって得られる断面は、第１の断面と第２の断面とが重なった状態である。したがって、図１０Ｃに示すように、穿刺針４１の先端が穿刺目標点Ｔに達したとき、第２のデータは、穿刺目標点Ｔと、重なった状態の第１の断面及び第２の断面を含む。図１０Ｃの第２のデータにおいて、第１の断面と第２の断面が重なった状態を実線で示すが、重なったことが把握することができれば、表示方法は限定されない。補助画像データの第２のデータを確認するユーザは、第１の断面及び第２の断面が重なった状態を把握することで、穿刺針４１の先端が穿刺目標点Ｔに到達したことを把握することができる。

【0043】

また、穿刺針４１の先端が穿刺目標点Ｔを通過する場合もある。図１１Ａは、穿刺針４１の先端が血管Ｂ上の穿刺目標点Ｔを通過した状態を示す（図７の（５））。このような場合、図１１Ｂに示すように、超音波Ｕを基準とする断層面で、複数の円錐によって得られる断面は、第１の断面、第２の断面、第３の断面となる。この場合、図１１Ｃに示すように、補助画像データの第２のデータは、穿刺目標点Ｔと、第１の断面の外周と、第１の断面の外周にある第３の断面の外周及び第２の断面の外周とを含む。ここで、図１１Ｃを用いて上述したように、第２の円錐と第３の円錐とは、頂点の位置が異なるとともに、錐体側面の傾斜の傾きが異なるため、斜辺が交差する部分があり、交差部分までは第２の外周が外側であるが、交差部分からは第３の外周が外側となる。したがって、穿刺針４１の先端が穿刺目標点Ｔを通過すると、第２のデータは、第２の断面内に、第１の断面を含むとともに、穿刺針４１の先端の挿入深さの程度に応じて、具体的には、穿刺針４１の先端の穿刺目標点Ｔの通過が所定距離Ｌ３より短いとき、第３の断面が第２の断面の内側であって、通過が所定距離Ｌ３より長いとき、第２の断面が第３の断面の内側となる。

【0044】

なお、図８Ｃ、図９Ｃ、図１０Ｃ及び図１１Ｃに示す例では、穿刺目標点Ｔをクロス、第１の断面を破線、第２の断面を一点鎖線、第３の断面を二点鎖線で示し、第１の断面と第２の断面の重なりを実線で示したが、これに限定されない。例えば、穿刺目標点Ｔは、仮に、クロスではなく点や円等で示す方が分かりやすい場合、点や円で示してもよい。例えば、全ての線を異なる色の実線で示す方が分かりやすい場合、各断面を異なる色の実線で示してもよい。

【0045】

〈穿刺手技の補助画像の生成方法〉
図１２Ａ及び１２Ｂに示すフローチャートを用いて、本開示に係る穿刺補助画像生成装置１０における穿刺手技の補助画像の生成方法について説明する。

【0046】

まず、穿刺補助画像生成装置１０は、計測装置２０から、計測装置２０で取得された位置姿勢データを受信する（Ｓ００１）。位置姿勢データは、穿刺器具４０、超音波プローブ５１及び装着装置３０の位置及び姿勢を示す情報を含む。なお、計測装置２０における位置姿勢データの取得については、図１３に示すフローチャートを用いて後述する。

【0047】

次に穿刺補助画像生成装置１０は、例えば、装着装置３０のカメラ３１で撮影された映像データを取得し出力装置１５に表示する（Ｓ００２）。

【0048】

穿刺補助画像生成装置１０は、ステップＳ００２において取得された映像データに対して、後に、穿刺器具４０において穿刺針４１の先端を特定する校正処理のために、校正処理用のデータとして、穿刺針４１の先端の位置及び姿勢とステップＳ００１で受信した穿刺器具４０の位置姿勢との「差分補正データ」を受け付ける。また同時に、超音波プローブ５１において先端の位置を特定する校正処理のために、超音波プローブ５１の先端の位置・姿勢とステップＳ００１で受信した超音波プローブ５１の計測された位置姿勢との「差分補正データ」を受け付ける（Ｓ００３）。ステップＳ００３の校正処理用データとしては、校正処理、すなわち穿刺針４１および超音波プローブ５１の先端の位置と計測された位置とのずれを補正するための前述の差分補正データを初回のみユーザが設定し保存する。２回目以降は、初回に保存された校正処理用データを受け付ける。

【0049】

続いて、穿刺補助画像生成装置１０は、ステップＳ００１で計測装置２０から受信した位置姿勢データに含まれる穿刺器具４０および超音波プローブ５１の位置姿勢と、ステップＳ００３で受け付けた穿刺針４１の先端の位置及び超音波プローブ５１の先端の位置と、により、穿刺器具４０において穿刺針４１の先端の位置を特定する校正処理と、超音波プローブ５１において先端の位置を特定する校正処理を行う（Ｓ００４）。これにより、穿刺針４１の先端及び超音波プローブ５１の先端が特定された上でその後の処理が実行される。

【0050】

また、穿刺補助画像生成装置１０は、超音波プローブ５１によって得られた超音波断層像を取得する（Ｓ００５）。

【0051】

その後、穿刺補助画像生成装置１０は、装着装置３０に搭載されるカメラ３１によって撮影された現実環境の映像データを取得する（Ｓ００６）。ここで取得する現実環境の映像データは、仮に、ユーザが装着装置３０を装着していない場合に視認可能な現実環境の状態を含む。具体的には、現実環境の映像データは、患者の患部近傍の皮膚とともに、穿刺器具４０及び超音波プローブ５１を含む。

【0052】

その後、穿刺補助画像生成装置１０は、装着装置３０のディスプレイ３２に、ステップＳ００６で取得した映像データを、現実環境映像として表示させる（Ｓ００７）。ここで、仮に、カメラ３１で撮影される映像データが、装着装置３０を装着するユーザの実際の視野より広い場合、穿刺補助画像生成装置１０は、例えば、ステップＳ００６で取得した映像データをトリミングする等の処理を施してもよい。

【0053】

また、穿刺補助画像生成装置１０は、装着装置３０のディスプレイ３２に、ステップＳ００５で取得した超音波断層像を表示させる（Ｓ００８）。このとき、穿刺補助画像生成装置１０は、ステップＳ００７で表示させた現実環境映像上の対応する位置に、超音波断層像を重畳させる。具体的には、穿刺補助画像生成装置１０は、ステップＳ００１で受信した位置姿勢データで示される超音波プローブ５１の位置及び装着装置３０の位置を用いて、現実環境映像上の超音波断層像の位置を決定する。

【0054】

穿刺補助画像生成装置１０は、補助画像データを生成する（Ｓ００９）。補助画像データの生成の詳細については、図１２Ｂに示すフローチャートを用いて説明する。

【0055】

穿刺補助画像生成装置１０は、装着装置３０のディスプレイ３２に、ステップＳ００９で生成した補助画像データを表示させる（Ｓ０１０）。このとき、穿刺補助画像生成装置１０は、ステップＳ００７で表示させた現実環境映像の上に、補助画像データの第１のデータを重畳させる。また、穿刺補助画像生成装置１０は、ステップＳ００８で表示させた超音波断層像上の対応する位置に、補助画像データの第２のデータを重畳させる。ここでは、穿刺補助画像生成装置１０は、ステップＳ００１で受信した位置姿勢データで示される超音波プローブ５１の位置、装着装置３０の位置と、ステップＳ０１０で決定した超音波断層像の位置を用いて、現実環境映像上及び超音波断層像上の補助画像データの位置を決定する。

【0056】

その後も穿刺手技が継続する間（Ｓ０１１でＹＥＳ）、ステップＳ００１～Ｓ０１１の処理を繰り返す。

【0057】

なお、穿刺手技の補助の方法の各手順は、図１２Ａに示す処理の順序に限定されない。例えば、穿刺器具４０、超音波プローブ５１、及び装着装置３０等の位置及び姿勢の取得は同時に実行されてもよい。また例えば、装着装置３０のディスプレイへの現実環境映像、超音波断層像、及び補助画像データの表示も同時に実行されてもよい。

【0058】

次に、図１２Ｂに示すフローチャートを用いて、図１２ＡのフローチャートのステップＳ００９に示す補助画像データの生成の処理の詳細について説明する。

【0059】

穿刺補助画像生成装置１０は、穿刺目標登録のリクエストを受け付けると（Ｓ１０１でＹＥＳ）、断層面と、穿刺針４１の中心軸との交点を「穿刺目標点」として登録する（Ｓ１０２）。ここで、「穿刺目標登録」のリクエストは、穿刺手技の実施開始時、穿刺手技を行う医師等のユーザが、穿刺針を皮膚に正に穿刺する時点で設定することが一般的であり、一度、穿刺目標点が登録されると、その後に続いて取得される映像データのフレームについては、既に登録された穿刺目標点が利用される。具体的には、穿刺目標の登録は、穿刺針４１の針先が患者の皮膚に接し、穿刺針４１の針先が穿刺の目標となる血管に向けられた状態で行われる。穿刺補助画像生成装置１０は、ステップＳ００１で取得した超音波プローブ５１の位置及び姿勢に基づいて、超音波が送受信される「断層面」の位置を導く。この断層面を表す画像が、ステップＳ００５で取得される超音波断層像である。また、穿刺補助画像生成装置１０は、ステップＳ００１で取得した穿刺器具４０の位置及び姿勢に基づいて、三次元空間上の「穿刺針の中心軸」を導く。さらに、穿刺補助画像生成装置１０は、このようにして導いた「断層面」と「穿刺針の中心軸」との交点を、「穿刺目標点」として登録する。例えば、ユーザは、図４Ｂに示したペダル１４３を押下することにより、穿刺目標点の登録をリクエストすることができる。

【0060】

また、穿刺補助画像生成装置１０は、穿刺目標登録の指示を受け付けたとき、穿刺針４１の先端位置を、「穿刺開始点」として登録する（Ｓ１０３）。穿刺補助画像生成装置１０は、ステップＳ００１で取得した穿刺器具４０の位置及び姿勢と、予め記憶装置１２に記憶される穿刺器具４０のサイズとに基づいて、三次元空間上の「穿刺針先端位置」を導く。

【0061】

穿刺補助画像生成装置１０は、ステップＳ１０２で登録された穿刺目標点の印を描画する（Ｓ１０４）。なお、仮に穿刺目標登録の指示がなかった場合（Ｓ１０１でＮＯ）、以前のフレームで穿刺目標点が登録されているため、以前のフレームで登録された穿刺目標点に基づいて、穿刺目標点の印を描画する。

【0062】

穿刺補助画像生成装置１０は、ステップＳ１０３で登録した穿刺開始点から、ステップＳ１０２で登録した穿刺目標点を結ぶ線を軸とし、穿刺目標点を頂点とする第１のデータの一部である円錐を描画する（Ｓ１０５）。この円錐により、穿刺針４１の方向を示すことができる。

【0063】

穿刺補助画像生成装置１０は、第１のデータの一部として、穿刺針４１の位置を示す線分を描画する（Ｓ１０６）。例えば、穿刺補助画像生成装置１０は、図５Ｂの線Ｌｎに示すように、穿刺針４１の位置を示す線分を描画する。本線分の描画に関わり、穿刺針４１の状態を視認できるようにするために、断層像上の交わりとしてではなく、３次元的な穿刺針４１の位置を把握するための線分として描画する。本線分の方向は、穿刺針４１を軸とする方向に一致させる。穿刺針４１の位置は、ステップＳ００１で取得した穿刺器具４０の位置及び姿勢に基づいて導く。

【0064】

穿刺補助画像生成装置１０は、第１データの一部として、穿刺針４１の延長線を示す線分を描画する（Ｓ１０７）。例えば、穿刺補助画像生成装置１０は、図５Ｂの線Ｌｅに示すように、穿刺針４１の延長線の位置を３次元的に示す線分を描画する。このとき、穿刺補助画像生成装置１０は、少なくとも、穿刺針４１の先端から、断層面までの穿刺針４１の延長線を描画する。またこのとき、穿刺補助画像生成装置１０は、ステップＳ１０６で描画した穿刺針４１と少なくとも色又は線種のいずれかが異なる状態で、穿刺針４１の延長線を描画する。穿刺針４１の延長線は、ステップＳ００１で取得した穿刺器具４０の位置及び姿勢に基づいて導く。

【0065】

穿刺補助画像生成装置１０は、第１のデータの一部として、穿刺針４１の中心軸と、断層面との交点に交点の印を描画する（Ｓ１０８）。穿刺針４１の中心軸は、ステップＳ００１で取得した穿刺器具４０の位置及び姿勢に基づいて導き、断層面は、ステップＳ００１で取得した超音波プローブ５１の位置及び姿勢に基づく。断層面は、超音波プローブ５１の傾きに合わせて変化するので、断層面の変化に合わせて穿刺針４１の中心軸と断層面との交点の位置も変化する。このように、ステップＳ１０５～Ｓ１０８の処理によって、第１のデータが生成される。

【0066】

穿刺補助画像生成装置１０は、第２のデータの一部として、穿刺針４１の先端から所定距離Ｌ１後方の位置を頂点とし、穿刺方向側に開く第１の円錐の、断層面での断面である第１の断面を描画する（Ｓ１０９）。この第１の断面は、穿刺針４１の深さを示す。具体的には、第１の断面が小さくなると、穿刺針４１の穿刺深さが深くなる。

【0067】

穿刺補助画像生成装置１０は、第２のデータの一部として、穿刺針４１の先端から所定距離Ｌ２前方の位置を頂点とし、穿刺方向側から後方に開く第２の円錐の、断層面での断面である第２の断面を描画する（Ｓ１１０）。この第２の断面は、穿刺針４１の先端が断層面に接近する度合いを示す。具体的には、穿刺針４１の先端が、穿刺目標点Ｔと第２の所定距離Ｌ２の範囲内に近接したときに第２の断面が描画され、穿刺針４１の穿刺深さが深くなると、第２の断面が大きくなる。

【0068】

穿刺補助画像生成装置１０は、第２のデータの一部として、穿刺針４１の先端を頂点とし、穿刺方向側から後方に開く第３の円錐の、断層面での断面である第３の断面を描画する（Ｓ１１１）。この第３の断面は、穿刺針４１の先端が断層面を通過した度合いを示す。具体的には、穿刺針４１の先端が、穿刺目標点Ｔを通過すると第３の断面が描画され、その通過距離が大きくなると、第３の断面が大きくなる。このように、ステップＳ１０９～Ｓ１１１の処理によって、第２のデータが生成される。

【0069】

〈位置姿勢データの生成方法〉
続いて、図１３に示すフローチャートを用いて、計測装置２０における位置姿勢データの生成方法の一例を説明する。

【0070】

まず、計測装置２０は、複数の投光手段２１及び受光手段２２を用いて画像データを取得する（Ｓ２０１）。ここで、穿刺器具４０、超音波プローブ５１及び装着装置３０には、予め、穿刺器具４０、超音波プローブ５１及び装着装置３０の位置及び姿勢の特定に利用されるマーカが取り付けられる。また、受光手段２２で観測される画像データには、穿刺器具４０、超音波プローブ５１及び装着装置３０に取り付けられたマーカを含む。

【0071】

計測装置２０は、処理装置２３において、ステップＳ２０１において取得した画像データを用いて、位置姿勢データを生成する（Ｓ２０２）。具体的には、処理装置２３は、複数の画像データの対応するフレーム毎、すなわち、同一タイミングで取得されたフレーム毎に、穿刺器具４０、超音波プローブ５１及び装着装置３０に取り付けられたマーカの位置及び姿勢を検出し、穿刺器具４０、超音波プローブ５１及び装着装置３０の位置及び姿勢を、上述したような統一した座標系を用いて示す位置姿勢データを生成する。例えば、装着装置３０がヘッドマウントディスプレイであるとき、穿刺補助画像生成装置１０は、装着装置３０を装着するユーザの頭部の位置及び姿勢を求めることができるため、ユーザの頭部の位置と、ユーザの頭部がどの方向を向いているかを求めることができる。

【0072】

計測装置２０は、ステップＳ２０２において生成した位置姿勢データを、穿刺補助画像生成装置１０に送信する（Ｓ００５）。ステップＳ２０２で計測装置２０によって送信された位置姿勢データは、穿刺補助画像生成装置１０においてステップＳ００１で受信される。

【0073】

なお、図１３に示す計測装置２０での位置姿勢データの生成及び送信は、例えば、穿刺補助画像生成装置１０で穿刺手技を補助する間、繰り返し継続して実行される。具体的には、図１３に示すフローチャートの処理は、図１２Ａに示すフローチャートの処理が実行される間、図１２Ａに示すフローチャートの処理と非同期で、継続して稼働する。したがって、穿刺補助画像生成装置１０は、計測装置２０から継続して受信する位置姿勢データを利用して、穿刺器具４０、超音波プローブ５１及び装着装置３０の位置及び姿勢をリアルタイムで取得し、穿刺手技の補助画像の生成に利用することができる。

【0074】

穿刺補助画像生成装置１０は、上述したように、穿刺目標点Ｔと穿刺開始点とに応じて生成された穿刺目標点Ｔと穿刺針４１との位置関係を３次元的に示す第１のデータを生成する。また、穿刺補助画像生成装置１０は、穿刺目標点Ｔとともに、穿刺針４１と穿刺目標点Ｔとの距離や、穿刺針４１の深さに応じて表示状態が異なる第１乃至第３の断面を含む第２のデータを生成する。また、穿刺補助画像生成装置１０は、第１のデータを周辺環境画像中に重畳させて表示し、第１のデータを超音波断層像上に重畳させて表示させる。換言すると、穿刺手技補助システム１は、ユーザの環境映像に、超音波断層像に加えて、穿刺の状況を表す第１のデータ及び第２のデータを含む補助画像データを重ねて表示することで、複合現実（ＭＲ）を実現する。これにより、穿刺手技補助システム１のユーザは、超音波断層像だけでは十分に把握することのできない穿刺目標点Ｔと穿刺針４１との距離を示すガイド図形である補助画像データを確認しながら、穿刺針４１の穿刺状況を把握することができる。

【産業上の利用可能性】

【0075】

本開示の穿刺手技補助システム、穿刺補助画像生成装置及び穿刺補助画像生成方法は、穿刺手技の補助に有用である。

【符号の説明】

【0076】

１ 穿刺手技補助システム
１０ 穿刺補助画像生成装置
１１ 制御装置
１２ 記憶装置
１３ 通信装置
１４ 入力装置
１５ 出力装置
２０ 計測装置
２１ 投光手段
２２ 受光手段
２３ 処理装置
３０ 装着装置
３１ カメラ
３２ ディスプレイ
４０ 穿刺器具
４１ 穿刺針
５０ 超音波装置
５１ 超音波プローブ
５２ 処理装置

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図6A】

【図6B】

【図6C】

【図7】

【図8A】

【図8B】

【図8C】

【図9A】

【図9B】

【図9C】

【図9D】

【図10A】

【図10B】

【図10C】

【図11A】

【図11B】

【図11C】

【図12A】

【図12B】

【図13】