特許 7267160 鍼刺用エコーガイドシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-21

(45)【発行日】2023-05-01

(54)【発明の名称】鍼刺用エコーガイドシステム

(51)【国際特許分類】

   A61B 8/14 20060101AFI20230424BHJP

【ＦＩ】

A61B8/14

【請求項の数】 4

(21)【出願番号】P 2019168517

(22)【出願日】2019-09-17

(65)【公開番号】P2021045272

(43)【公開日】2021-03-25

【審査請求日】2022-07-15

(73)【特許権者】

【識別番号】591117413

【氏名又は名称】株式会社菊池製作所

(74)【代理人】

【識別番号】100180080

【弁理士】

【氏名又は名称】坂本 幸男

(72)【発明者】

【氏名】張 博

【審査官】下村 一石

(56)【参考文献】

【文献】特開２０１５－１３６５６３（ＪＰ，Ａ）

【文献】特開２０１４－２２１１７５（ＪＰ，Ａ）

【文献】特開２０１９－０６９１０９（ＪＰ，Ａ）

【文献】特開２０１５－１９２７７６（ＪＰ，Ａ）

【文献】特開２００８－０１８０１５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ８／００－８／１５

(57)【特許請求の範囲】

【請求項1】

超音波画像診断装置のプローブが探触する皮下組織断層面のエコー画像により鍼刺状態を可視化するよう構成されたエコーガイドシステムであって、
施術者の頭部に装着され、透過ディスプレイを有するヘッドマウントディスプレイと、
前記透過ディスプレイに表示するための、前記エコー画像を含む重畳画像を生成する重畳画像生成部と、
前記ヘッドマウントディスプレイに搭載されたカメラと、
前記カメラにより撮影された画像から前記プローブを画像認識して、前記施術者側から見た前記透過ディスプレイの画面上における前記プローブの位置を判定するプローブ位置判定部とを備え、
ここで、前記カメラが、その撮像エリアと施術者が前記ヘッドマウントディスプレイを透して見る実像面とが一致するように配置されており、
前記重畳画像生成部が、前記透過ディスプレイの画面上において判定された前記プローブの前記位置に前記エコー画像を配置した重畳画像を生成する処理を行う、エコーガイドシステム。

【請求項2】

前記カメラにより撮影された画像から、前記施術者側から見た前記プローブの向きを判定するプローブ向き判定部とを更に備え、
前記重畳画像生成部が、判定された前記プローブの向きの情報に基づいて、前記施術者側から見たときの皮下組織断層面の左右の向きと前記エコー画像の左右の向きとを合致させた重畳画像を生成する処理を行う、請求項１に記載のエコーガイドシステム。

【請求項3】

前記カメラにより撮影された画像から、前記施術者側から見た前記プローブの傾きを判定するプローブ傾き判定部を更に備え、
前記重畳画像生成部が、判定された前記プローブの傾きと前記エコー画像の傾きとを合致させた重畳画像を生成する処理を行う、請求項１又は２に記載のエコーガイドシステム。

【請求項4】

前記カメラにより撮影された画像から前記プローブを認識できないときには前記重畳画像を前記透過ディスプレイに表示しないよう制御する、請求項１～３の何れか１項に記載のエコーガイドシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は超音波画像診断装置を用いた、鍼刺用のエコーガイドシステムに関する。

【背景技術】

【0002】

医療の分野では、深く狭い治療部位への穿刺にエコー下穿刺法が用いられることがある。エコー下穿刺とは、穿刺部位に皮膚の上から超音波を当てて、血管の状態をエコー画像で確認しながら穿刺を行う方法である。近年、鍼施術を行う一部の治療院においても、エコーガイドシステムが導入され話題となっている。特に鍼治療では、鍼で筋膜を刺激し、それにより筋膜の萎縮、癒着等を開放することで、こりや痛みの解消の効果があるとされている。

【0003】

鍼施術では、通常、一方の手の指先で皮下組織の状態やツボ（トリガーポイント又は反応点）の位置を確認しながら他方の手で刺鍼するといった、両手での施術が行われる。しかし、エコーガイドを使用する場合、施術者は、一方の手で超音波プローブを把持し、他方の片手のみでの手技を強いられる。そこで、例えば特許文献１には、超音波プローブを把持した側の手の指を使って両手で手技を行うことができるようにするため、把持部の形状を工夫した超音波プローブが提案されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－６９１０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来のエコーガイドにおいては、ベッドサイドにエコー画像を表示するためのモニターが設置される。つまり、施術者が鍼刺部位を見る視界の外にモニターがあることが多く、そのため、施術者は、エコー画像を確認する度に鍼刺部位から視線を外さなければならず、煩雑であった。

【0006】

本発明は、このような従来の課題に鑑みてなされたものであり、施術者が鍼刺部位を見ながら同時にエコー画像も確認できる等の利便性の高いエコーガイドシステムを提供することを目的としている。

【課題を解決するための手段】

【0007】

上述した課題を解決するため、本発明は、超音波画像診断装置のプローブが探触する皮下組織断層面のエコー画像により鍼刺状態を可視化するよう構成されたエコーガイドシステムであって、施術者の頭部に装着され、透過ディスプレイを有するヘッドマウントディスプレイと、前記透過ディスプレイに表示するための、前記エコー画像を含む重畳画像を生成する重畳画像生成部とを備える、エコーガイドシステムである。

【0008】

エコーガイドシステムは、前記ヘッドマウントディスプレイに搭載されたカメラと、前記カメラにより撮影された画像から、前記施術者側から見た前記プローブの向きを判定するプローブ向き判定部とを更に備え、前記重畳画像生成部が、判定された前記プローブの向きの情報に基づいて、前記施術者側から見たときの皮下組織断層面の左右の向きと前記エコー画像の左右の向きとを合致させた重畳画像を生成する処理を行うことが好ましい。

【0009】

また、エコーガイドシステムは、前記ヘッドマウントディスプレイに搭載されたカメラと、前記カメラにより撮影された画像から、前記施術者側から見た前記透過ディスプレイの画面上における前記プローブの位置を判定するプローブ位置判定部とを更に備え、前記重畳画像生成部が、前記透過ディスプレイの画面上において判定された前記プローブの前記位置に前記エコー画像を配置した重畳画像を生成する処理を行うものでもよい。

【0010】

また、エコーガイドシステムは、前記カメラにより撮影された画像から、前記施術者側から見た前記プローブの傾きを判定するプローブ傾き判定部を更に備え、前記重畳画像生成部が、判定された前記プローブの傾きと前記エコー画像の傾きとを合致させた重畳画像を生成する処理を行うことが好ましい。

【0011】

また、エコーガイドシステムは、前記カメラにより撮影された画像から前記プローブを認識できないときには前記重畳画像を前記透過ディスプレイに表示しないよう制御することが好ましい。

【発明の効果】

【0012】

本発明によれば、施術者が鍼刺部位を見ながら同時にエコー画像を確認でき、利便性の高いエコーガイドシステムを提供することができる。

【図面の簡単な説明】

【0013】

【図1】本発明の一実施形態による、鍼刺用のエコーガイドシステムの構成図である。

【図2】図１のエコーガイドシステムの機能ブロック図である。

【図3】ヘッドマウントディスプレイにおける、透過ディスプレイ、ＣＣＤカメラ、撮像エリア及び施術者の目についての光学的な位置関係を説明するための略図である。

【図4】ＨＭＤの透過ディスプレイを透して目視される実空間像及び重畳画像の一例である。

【図5】ＨＭＤ制御ユニットが行う重畳画像の表示制御処理を例示するフローチャートである。

【図6】超音波プローブが画像認識されたカメラ画像を例示する図である。

【図7】超音波プローブとビーム走査面との方向性を説明するための図である。

【図8】図７とは反対側から見た超音波プローブの側面図である。

【図9】超音波プローブとエコー画像とを重畳表示した透過ディスプレイ画面を例示する図である。

【図10】超音波プローブの傾きとエコー画像の傾きとを連動して表示した透過ディスプレイ画面を例示する図である。

【発明を実施するための形態】

【0014】

図１は、本発明の一実施形態による、鍼刺用のエコーガイドシステム１の構成図である。図２は、エコーガイドシステム１の機能ブロック図である。エコーガイドシステム１は、超音波画像診断装置１０と、施術者の頭部に装着される透過型（シースルー型）のヘッドマウントディスプレイ１３とを備え構成される。エコーガイドシステム１は、超音波画像診断装置１０の超音波プローブ１２が探触する、患者の皮下組織断層面のエコー画像により鍼刺状態を可視化するシステムである。

【0015】

ヘッドマウントディスプレイ（以下「ＨＭＤ」と略称する。）１３は、例えば図１に示すようなメガネ型のフレームを有している。メガネのレンズに相当する部分が透過ディスプレイ１３０として構成され、レンズとフレームとの接続部にディスプレイ制御部１３１が組み込まれている。ディスプレイ制御部１３１は、ＨＭＤ制御ユニット１５からの指令に従い透過ディスプレイ１３０に重畳画像を表示する制御を行う。

【0016】

なお、本発明の実施において、ＨＭＤ１３は、双眼型に限らず単眼型であってもよいし、必要に応じて表示ユニットを装着者の目から外側に移動できる跳ね上げ式のものであってもよい。また、眼鏡に装着可能なＨＭＤであってもよい。

【0017】

また、本実施形態によるＨＭＤ１３は、フレームの中央にＣＣＤカメラ１４を搭載している。ここで、図３に、透過ディスプレイ１３０、ＣＣＤカメラ１４、その撮像エリア１４０、施術者の目ＥＹＥについての光学的な位置関係の略図を示す。

【0018】

ＣＣＤカメラ１４は、透過ディスプレイ１３０よりも前方の実空間における動画像を撮影可能なカメラである。ＣＣＤカメラ１４は、図３示すように、その撮像エリア１４０と、施術者（ＥＹＥ）が透過ディスプレイ１３０を透して見る実像面とが一致するように、レンズの光軸及び開口が調整されている。透過ディスプレイ１３０と撮像エリア１４０との設計上の距離は、実際に鍼施術を行う際に想定される超音波プローブ１２の位置と、施術者の目ＥＹＥの位置との間の距離（約４０～４５ｃｍ程度）となる。

【0019】

なお、ＣＣＤカメラ１４が撮影した画像から、施術者側から見た透過ディスプレイ１３０の画面上における超音波プローブ１２の位置を正確に判定するために、ＣＣＤカメラ１４をステレオ（つまりカメラ２台の構成）とし、撮影した画像同士の視差角を用いて上記距離を補正してもよい。

【0020】

ＨＭＤ１３を表示制御するＨＭＤ制御ユニット１５は、超音波画像診断装置１０の装置制御部１１と通信可能に接続している。通信手段として、例えば、Ｗｉ－Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＵＳＢ（Universal Serial Bus）等の汎用通信デバイス又はこれらを併用することができる。装置制御部１１はアドバタイズ信号を常時出力し、ＨＭＤ１３が通信有効範囲に入ると自動的にペアリング（デバイスの認識及び通信接続）が行われることが好ましい。

【0021】

図２に示すように、ＨＭＤ制御ユニット１５は、ＣＰＵが演算処理を実行すること実現されるプローブ認識部１５０と重畳画像生成部１６０とを備えている。
詳細は後述するが、プローブ認識部１５０は、ＣＣＤカメラ１４が撮影した動画像を入力し、ＡＩ（Artificial intelligence）画像認識処理により超音波プローブ１２を認識し様々な情報を判定する処理手段である。重畳画像生成部１６０は、ＨＭＤ１３の透過ディスプレイ１３０に表示するための重畳画像を生成する処理手段である。

【0022】

超音波画像診断装置１０は、装置制御部１１と、装置制御部１１に接続される超音波プローブ１２とを備えている。装置制御部１１は、キーボード及び画像モニター等であるユーザインタフェース１１３と、ビーム形成走査部１１１と、エコー画像描出部１１２とを備えている。ビーム形成走査部１１１は、ビーム走査信号を出力して超音波プローブ１２の振動子を励起し、扇状の超音波ビームを患者の皮下組織内部に向けて放射させる。超音波プローブ１２は、皮下組織から反射した超音波エコーを受信し電気信号（エコー電気信号）に変換し、ビーム形成走査部１１１に送信する。ビーム形成走査部１１１は、受信したエコー電気信号と、形成した上述のビーム走査信号とをパラレルでエコー画像描出部１１２に送信する。エコー画像描出部１１２は、エコー電気信号の振幅、時間、位相差等を解析し、それらの情報に基づいて皮下組織内部の断層構造をエコー画像５２として描出する処理を行う。

【0023】

超音波画像診断装置１０によって演算生成されたエコー画像信号は、ＨＭＤ制御ユニット１５に送信される。ＨＭＤ制御ユニット１５の重畳画像生成部１６０は、受信したエコー画像５２を動画として含む重畳画像５１を生成する。ここで「重畳画像」とは、ＨＭＤ１３の透過ディスプレイ１３０に表示される画像であって、ＨＭＤ１３を透して実空間像５０の一部に重なった状態で目視される画像を意味する。ＨＭＤ１３の視界をなるべく広く確保するために、重畳画像５１を、例えば図４に示すように、透過ディスプレイ１３０の隅部に配置することができる。

【0024】

重畳画像生成部１６０は、超音波画像診断装置１０から送信されるエコー画像の有効性を示すバリッド信号がオフのとき又はバリッド信号を受信できないときには、エコー画像５２を含む重畳画像５１を生成しなくてもよい。例えば鍼施術の前準備などエコーガイドを使わないときなどに重畳画像５１を自動的に表示しないようにすることで、施術者の視界を最大限広くとることができる。また、エコーガイドの使用の際に、患者の表皮と超音波プローブ１２との間に空気の層（隙間）があるような場合には正確なエコー画像が得られない。ＨＭＤ制御ユニット１５は、有効かつ正確なエコー画像５２のみを重畳画像５１として透過ディスプレイ１３０に自動的に表示することが好ましい。また、施術者が、超音波プローブ１２とは違う方向を向いて作業するような場合、つまりカメラ画像１４０から超音波プローブ１２を画像認識できないときにも、エコー画像５２を含む重畳画像５１を透過ディスプレイ１３０に表示しないことが好ましい。

【0025】

ＨＭＤ１３における重畳画像の表示制御について、更に具体的な例を、図５のフローチャートを参照して詳細に説明する。

【0026】

プローブ認識部１５０は、ＣＣＤカメラ１４により撮影された動画像に対しセグメンテーション処理を行うことで超音波プローブ１２を検出する処理を行う（ステップＳ１）。セグメンテーション処理には、対象の超音波プローブ１２の外形形状及び／又は超音波プローブ１２の側面に付した特有のマークを教師データとして学習したニューラルネットワークモデルを使用することができる。ここで、図６に、超音波プローブ１２が画像認識されたカメラ画像１４０の一例を示す。図６において、超音波プローブ１２として画像認識されたエリアがセグメント枠１５１により囲まれて表示されている。

【0027】

上述したプローブ認識部１５０は、詳細には、プローブ向き判定部１５２と、プローブ位置判定部１５３と、プローブ傾き判定部１５４とを更に含む。

【0028】

超音波プローブ１２とビーム走査面とには方向性がある。例えば図７に示すように、超音波プローブ１２直下の皮下組織断層面を表示するエコー画像５２において、超音波プローブ１２のＦＲＯＮＴ側が断層像の右側に対応し、超音波プローブ１２のＲＥＡＲ側が断層像の左側に対応する。施術者側から見える超音波プローブ１２の側面が、例えば図７に示す面Ａの場合であれば、皮下組織断層面の左右の向きとエコー画像５２の左右の向きとが一致している。しかし、図８に示すように、超音波プローブ１２の側面が面Ｂを向く場合には、皮下組織断層面の実際の左右の向きとエコー画像５２の左右の向きとが逆になる。そのため、施術者は、混乱して鍼を刺す方向などを間違えてしまうおそれもある。

【0029】

そこで、本実施形態では、プローブ向き判定部１５２が、ＣＣＤカメラ１４により撮影された動画像から、超音波プローブ１２の向きを判定する処理を行う（ステップＳ２）。例えば、図７及び８に示したようなマークの違いに基づいて、超音波プローブ１２がどちらを向いているか判定することができる。そして、重畳画像生成部１６０は、判定された超音波プローブ１２の向きの情報に基づいて、施術者側から見たときの皮下組織断層面の左右の向きとエコー画像５２の左右の向きとを合致させた重畳画像５１を生成する処理を行う（ステップＳ３）。
これにより、ＨＭＤ１３には、超音波プローブ１２の向きにかかわらず、常に実際の皮下組織断層面と左右が同じ向きのエコー画像５２が表示される。そのため、施術者は、超音波プローブ１２の持ち方に気を遣わずに手技を行うことができ、またエコー画像の反転表示による混乱もなくなる。

【0030】

また、プローブ位置判定部１５３は、ＣＣＤカメラ１４により撮影された動画像から、施術者側から見た透過ディスプレイ１３０の画面上における超音波プローブ１２の位置を判定する処理を行う（ステップＳ４）。例えばステップＳ１の人工知能を用いたセグメンテーション処理により検出されたエリア１５１の位置を超音波プローブ１２の位置として判定することができる（図６参照）。そして、重畳画像生成部１６０は、図９に示すように、判定された超音波プローブ１２の位置にエコー画像５２を配置した重畳画像５１を生成する処理を行う（ステップＳ５）。
これにより、施術者には、ＨＭＤ１３を透して、超音波プローブ１２に重なる位置にエコー画像５２が追従して見える。つまり、超音波プローブ１２の動きに合わせてエコー画像５２の表示位置を変えることで、施術中に鍼とエコー画像５２が重なってしまい視認性が悪化するのを防ぐことができる。したがって、施術者は、エコー画像５２で常に鍼刺状態を確認しながら鍼施術を行うことができる。

【0031】

また、プローブ傾き判定部１５４は、ＣＣＤカメラ１４により撮影された動画像から、施術者側から見た超音波プローブ１２の傾きを判定する処理を行う（ステップＳ６）。例えばメンテーション処理により検出されたセグメント枠１５１の傾きを超音波プローブ１２の傾きとして判定することができる。そして、重畳画像生成部１６０は、図１０に示すように、判定された超音波プローブ１２の傾きとエコー画像５２の傾きとを合致させた重畳画像５１を生成する処理を行う（ステップＳ７）。
超音波プローブ１２の傾きに合わせてエコー画像５２の傾きも連動させることで、施術者が超音波プローブ１２を前後に動かすような操作をした場合でも、エコー画像５２における断層像自体の縦軸は垂直のままとなる。つまり、エコー断層像と実際の皮下組織の水平方向の一致性は維持されるので、施術者は鍼刺状態を直観的に正しく確認することができる。

【符号の説明】

【0032】

１ エコーガイドシステム
１０ 超音波画像診断装置
１１ 装置制御部
１２ 超音波プローブ
１３ ヘッドマウントディスプレイ（ＨＭＤ）
１４ ＣＣＤカメラ
１５ ＨＭＤ制御ユニット
５０ 実空間像
５１ 重畳画像
５２ エコー画像
１１１ ビーム形成走査部
１１２ エコー画像描出部
１１３ ユーザインタフェース
１３０ 透過ディスプレイ
１３１ ディスプレイ制御部
１４０ 撮像エリア
１５０ プローブ認識部
１５１ セグメント枠
１５２ プローブ向き判定部
１５３ プローブ位置判定部
１５４ プローブ傾き判定部
１６０ 重畳画像生成部
ＥＹＥ 施術者の目

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】