(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024171531
(43)【公開日】2024-12-12
(54)【発明の名称】超音波診断システム、医用画像処理装置、及び、超音波診断システムの制御方法
(51)【国際特許分類】
A61B 8/14 20060101AFI20241205BHJP
【FI】
A61B8/14
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2023088589
(22)【出願日】2023-05-30
(71)【出願人】
【識別番号】594164542
【氏名又は名称】キヤノンメディカルシステムズ株式会社
(74)【代理人】
【識別番号】110001380
【氏名又は名称】弁理士法人東京国際特許事務所
(72)【発明者】
【氏名】藤田 文理
(72)【発明者】
【氏名】丹羽 慎太朗
【テーマコード(参考)】
4C601
【Fターム(参考)】
4C601DD02
4C601DD19
4C601DD23
4C601EE11
4C601GA18
4C601GA26
4C601JC11
4C601KK02
4C601KK12
4C601KK24
4C601KK31
4C601KK35
4C601KK38
4C601LL23
4C601LL33
(57)【要約】 (修正有)
【課題】超音波プローブの遠隔操作において、撮像領域に応じた適切な圧迫力を被検体に印加できるようにする。
【解決手段】超音波プローブは、被検体の体内をスキャンする。ロボットアームは、超音波プローブを把持し、被検体に圧力を印加しつつ移動させることができる。操作デバイスは、被検体と異なる場所にいるユーザが、超音波プローブを遠隔操作することができる。特定部は、被検体の撮像領域を特定する。表示部は、ユーザに、超音波プローブを遠隔操作するための支援画像を提供する。算出部は、撮像領域に基づいて、超音波プローブを被検体の体内方向に押し付けるための変位量を算出する。表示制御部は、表示部において、支援画像として、超音波プローブを模擬した第1の模擬画像を、超音波プローブの現在位置に表示させると共に、超音波プローブを模擬した第2の模擬画像を、現在位置から変位量だけ体内方向に変位させた目標位置に表示させる。
【選択図】
図1
【特許請求の範囲】
【請求項1】
遠隔にて超音波診断を行う超音波診断システムであって、
被検体の体内をスキャンする超音波プローブと、
前記超音波プローブを把持し、前記被検体に圧力を印加しつつ移動させることができるロボットアームと、
前記被検体と異なる場所にいるユーザが、前記超音波プローブを遠隔操作することができる操作デバイスと、
前記ユーザに、前記超音波プローブを遠隔操作するための支援画像を提供する表示部と、
前記被検体の撮像領域を特定する特定部と、
前記撮像領域に基づいて、前記超音波プローブを前記被検体の体内方向に押し付けるための変位量を算出する算出部と、
前記表示部において、前記支援画像として、前記超音波プローブを模擬した第1の模擬画像を、前記超音波プローブの現在位置に表示させると共に、前記超音波プローブを模擬した第2の模擬画像を、前記現在位置から前記変位量だけ前記体内方向に変位させた目標位置に表示させる表示制御部と、
を備える超音波診断システム。
【請求項2】
前記被検体に関する情報である被検体情報を取得する情報取得部をさらに備え、
前記算出部は、
前記撮像領域及び前記被検体情報に基づいて、前記超音波プローブが前記被検体の体表面を押す圧力であって、前記撮像領域の撮像に適した圧力を算出し、
当該圧力に基づいて、前記変位量を算出する、
請求項1に記載の超音波診断システム。
【請求項3】
前記表示制御部は、前記表示部において、前記支援画像として、
前記被検体の虚像、又は、実像を表示させ、
当該被検体の虚像、又は、実像に重ねて、前記第1の模擬画像及び前記第2の模擬画像を表示させる、
請求項1に記載の超音波診断システム。
【請求項4】
前記表示制御部は、
前記第1の模擬画像と、前記第2の模擬画像とを互いに異なる表示態様で表示させる、
請求項1に記載の超音波診断システム。
【請求項5】
前記表示制御部は、
前記超音波プローブの前記現在位置が前記目標位置に合致するように前記操作デバイスを操作したにもかかわらず、前記現在位置と前記目標位置とが所定の閾値以上に異なる場合には、前記第1の模擬画像、及び、前記第2の模擬画像の少なくとも一方を、前記ユーザの注意喚起が可能な態様で表示させる、
請求項1に記載の超音波診断システム。
【請求項6】
前記超音波プローブから反射波情報を取得し、当該反射波情報に基づいて前記撮像領域の画像を生成する画像生成部と、
前記超音波プローブと、前記被検体の体表面との間の角度を変えながら生成した前記画像において、前記撮像領域の撮像に適した角度である目標角度を特定する角度特定部と、
をさらに備える、
請求項1に記載の超音波診断システム。
【請求項7】
前記超音波プローブから反射波情報を取得し、当該反射波情報に基づいて前記撮像領域の画像を生成する画像生成部と、
前記被検体の体形を撮影する体形撮影部と、
撮影した前記被検体の体形と、人体モデルとに基づいて、前記被検体における前記撮像領域の位置を特定し、当該撮像領域の位置に基づいて、前記超音波プローブと、前記被検体の体表面との間の角度であって、生成した前記画像において前記撮像領域の撮像に適した角度である目標角度を特定する角度特定部と、
をさらに備える、
請求項1に記載の超音波診断システム。
【請求項8】
前記表示制御部は、前記表示部において、前記支援画像として、
前記超音波プローブと、前記被検体の体表面との間の現在角度に前記第1の模擬画像を表示させ、
特定した前記目標角度に前記第2の模擬画像を表示させる、
請求項6又は7に記載の超音波診断システム。
【請求項9】
前記ユーザの指示を受け付ける受付部をさらに備え、
前記受付部が前記指示を受け付けた場合に、前記ロボットアームは、前記操作デバイスを用いた前記ユーザによる指示位置よりも、前記変位量だけ前記超音波プローブを前記被検体に押し込んだ状態で前記超音波プローブを移動させる、
請求項1に記載の超音波診断システム。
【請求項10】
カメラをさらに備え、
前記特定部は、前記カメラが撮影した画像における前記超音波プローブと、前記被検体の体表面との接触部位に基づいて前記撮像領域を特定する、
請求項1に記載の超音波診断システム。
【請求項11】
前記ユーザから入力を受け付ける入力部をさらに備え、
前記特定部は、前記入力に基づいて前記撮像領域を特定する、
請求項1に記載の超音波診断システム。
【請求項12】
前記操作デバイスは、前記超音波プローブを模した模擬プローブであり、
前記表示部は、XR(Cross Reality)ゴーグルであり、
前記表示制御部は、前記表示部において、前記第1の模擬画像として、前記ユーザが把持する前記模擬プローブの実像を表示させる、
請求項1に記載の超音波診断システム。
【請求項13】
被検体の体内をスキャンする超音波プローブを把持するロボットアームを遠隔操作する医用画像処理装置であって、
前記被検体と異なる場所にいるユーザが、前記超音波プローブを遠隔操作することができる操作デバイスと、
前記ユーザに、前記超音波プローブを遠隔操作するための支援画像を提供する表示部と、
前記被検体の撮像領域を特定する特定部と、
前記撮像領域に基づいて、前記超音波プローブを前記被検体の体内方向に押し付けるための変位量を算出する算出部と、
前記表示部において、前記支援画像として、前記超音波プローブを模擬した第1の模擬画像を、前記超音波プローブの現在位置に表示させると共に、前記超音波プローブを模擬した第2の模擬画像を、前記現在位置から前記変位量だけ前記体内方向に変位させた目標位置に表示させる表示制御部と
を備える医用画像処理装置。
【請求項14】
遠隔にて被検体の超音波診断を行う超音波診断システムの制御方法であって、
前記被検体の撮像領域を特定し、
前記撮像領域に基づいて、前記超音波プローブを前記被検体の体内方向に押し付けるための変位量を算出し、
被検体と異なる場所にいるユーザに、ロボットアームに把持された超音波プローブを遠隔操作するための支援画像として、前記超音波プローブを模擬した第1の模擬画像を、前記超音波プローブの現在位置に表示させると共に、前記超音波プローブを模擬した第2の模擬画像を、前記現在位置から前記変位量だけ前記体内方向に変位させた目標位置に表示させる、
超音波診断システムの制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書及び図面に開示の実施形態は、超音波診断システム、医用画像処理システム、及び、超音波診断システムの制御方法に関する。
【背景技術】
【0002】
我が国では超高齢化社会の到来により医師の負担が増加していることや、5G(第5世代移動通信システム)により低遅延通信が可能になったことを背景にして、遠隔にて患者を診断する遠隔診断システムが開発されている。その中で、遠隔操作で超音波診断を行う超音波診断装置にXR(Cross Reality)技術を用いることが検討されている。例えば、術者は、XRゴーグルを着用して、遠隔地にいる被検体の画像(虚像)を確認しながら、模擬プローブ(コントローラ)を走査することにより、遠隔地にある超音波プローブを走査することができる。
【0003】
腹部エコーにおいて、超音波プローブを被検体に圧迫させることは、鮮明な超音波画像を得るために重要なプローブ走査方法の一つである。ただし、遠隔操作において超音波検査の触覚(反力)が得られない中では、適切に圧迫走査を行うことが難しい。また、反力を得るために模擬プローブにハプティクス技術を搭載するには、コストの問題がある。
【0004】
一方、圧電センサや加速度センサにて、人体へかかる皮膚表面圧力を計測する技術がある。さらに、これらのセンサ情報を使って、所望の圧力をインジケータで術者に提示する技術がある(例えば、特許文献1参照)。そのような技術を利用する場合、術者がインジケータに表示される圧力を見ながらプローブ走査を行うのは、煩雑であり、また、直感的な走査が難しい等の問題がある。
【先行技術文献】
【特許文献】
【0005】
【発明の概要】
【発明が解決しようとする課題】
【0006】
本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、超音波プローブの遠隔操作において、撮像領域に応じた適切な圧迫力を被検体に印加できるようにすることである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限らない。後述する各実施形態に示す各構成による各効果に対応する課題を他の課題として位置付けることもできる。
【課題を解決するための手段】
【0007】
実施形態に係る超音波診断システムは、遠隔にて超音波診断を行う超音波診断システムであって、超音波プローブと、ロボットアームと、操作デバイスと、表示部と、特定部と、算出部と、表示制御部と、を備える。超音波プローブは、被検体の体内をスキャンする。ロボットアームは、超音波プローブを把持し、被検体に圧力を印加しつつ移動させることができる。操作デバイスは、被検体と異なる場所にいるユーザが、超音波プローブを遠隔操作することができる。特定部は、被検体の撮像領域を特定する。表示部は、ユーザに、超音波プローブを遠隔操作するための支援画像を提供する。算出部は、撮像領域に基づいて、超音波プローブを被検体の体内方向に押し付けるための変位量を算出する。表示制御部は、表示部において、支援画像として、超音波プローブを模擬した第1の模擬画像を、超音波プローブの現在位置に表示させると共に、超音波プローブを模擬した第2の模擬画像を、現在位置から変位量だけ体内方向に変位させた目標位置に表示させる。
【図面の簡単な説明】
【0008】
【
図1】
図1は、第1実施形態に係る遠隔超音波診断システムの構成例を示すブロック図。
【
図2】
図2は、第1実施形態に係る術者の操作イメージを示す図。
【
図3】
図3は、第1実施形態に係る遠隔超音波診断システムの処理例を示すフローチャート。
【
図4】
図4は、
図3のステップS8及びステップS9の処理概念を説明する図。
【
図5】
図5は、第1実施形態に係る超音波プローブを患者に押し付ける圧力を算出する処理例を示すフローチャート。
【
図6】
図6は、第1実施形態に係る患者のBモード画像の例を示す図。
【
図7】
図7は、第2実施形態に係る遠隔超音波診断システムの構成例を示すブロック図。
【
図8】
図8は、第2実施形態に係る術者の操作イメージを示す図。
【
図9】
図9は、第2実施形態に係る遠隔超音波診断システムの処理例を示すフローチャート。
【発明を実施するための形態】
【0009】
以下、図面を参照しながら、超音波診断システム、医用画像処理装置、及び、超音波診断システムの制御方法の実施形態について詳細に説明する。
【0010】
〔第1実施形態〕
図1は、第1実施形態に係る遠隔超音波診断システム1の構成例を示すブロック図である。遠隔超音波診断システム1は、超音波診断システムの一例であり、遠隔にて超音波診断を行うためのシステムである。
図2は、第1実施形態に係る術者Uの操作イメージを示す図である。検査室にいる術者Uは、ディスプレイ31を見て操作デバイス36を操作しながら、病院にいる患者Pに対する超音波診断を行う。術者Uは、ユーザの一例である。
【0011】
図1に示すように、遠隔超音波診断システム1は、病院装置2、及び、検査室装置3を備えている。病院装置2、及び、検査室装置3は、ネットワーク4を介して相互に通信可能に構成される。以下、病院装置2と、検査室装置3との間におけるデータの送受信はネットワーク4を介することを前提とし、データの送受信の説明時に「ネットワーク4を介して」は省略する。
【0012】
病院装置2は、患者Pがいる病院内に設置され、実際に患者Pに対する超音波診断を行う装置である。患者Pは、被検体の一例である。
図1に示すように、病院装置2は、例えば、ディスプレイ21、入力インタフェース22、ネットワークインタフェース23、処理回路24、記憶回路25、超音波プローブ26、ロボットアーム27、駆動モータ28、及び、ネットワークカメラ29を備えている。
【0013】
病院装置2のディスプレイ21は、例えば、液晶ディスプレイ、OLED(Organic Light Emitting Diode)ディスプレイ等の一般的な表示出力装置により構成される。入力インタフェース22は、例えば、トラックボール、スイッチボタン、マウス、キーボード、テンキー等の一般的な入力装置により構成される。ネットワークインタフェース23は、ネットワーク4の形態に応じた種々の情報通信用プロトコルを実装する。ネットワークインタフェース23は、この各種プロトコルに従って検査室装置3と接続する。
【0014】
処理回路24は、病院装置2を統括制御する機能を実現する。また、処理回路24は、記憶回路25に記憶されたプログラムを読み出して実行することにより、検査室装置3と同期した処理等を実行するプロセッサである。
【0015】
記憶回路25は、処理回路24が利用するプログラム、パラメータデータ等を記憶する。記憶回路25は、例えば、電子カルテ等のデータを記憶する。記憶回路25は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等の、プロセッサにより読み取り可能な記録媒体を含んだ構成を有する。
【0016】
超音波プローブ26は、患者Pの体内をスキャンする。詳細には、超音波プローブ26は、超音波を患者Pに送信し、患者Pの体内で反射した反射波に応じた情報を反射波情報として処理回路24に出力する。ロボットアーム27は、超音波プローブ26を把持し、当該超音波プローブ26を患者Pの体表面に沿って移動させる。また、ロボットアーム27は、当該超音波プローブ26を患者Pの体表面から体内側に押し込むことにより、患者Pに圧力を印加しつつ、当該超音波プローブ26を移動させる。駆動モータ28は、処理回路24からの制御指示に応じてロボットアーム27を駆動する。なお、処理回路24からの制御指示は、検査室装置3からの指示情報に基づく。
【0017】
ネットワークカメラ29は、患者P及び超音波プローブ26を撮影するカメラであり、撮影した画像を検査室装置3に送信する。そのとき、ネットワークカメラ29がネットワーク4に直接画像データを送出してもよいし、処理回路24がネットワークカメラ29から画像データを取得し、当該画像データをネットワークインタフェース23経由でネットワーク4に送出してもよい。ネットワークカメラ29は、患者Pの体形を撮影してもよい。ネットワークカメラ29は、体形撮影部の一例である。
【0018】
図1に示すように、処理回路24のプロセッサは、撮像領域特定機能241、変位量算出機能242、情報取得機能243、画像生成機能244、角度特定機能245,及び、駆動制御機能246を実現する。これらの機能は、例えば、プログラムの形態で記憶回路25に記憶されている。
【0019】
撮像領域特定機能241は、患者Pの撮像領域を特定する機能を含む。変位量算出機能242は、撮像領域特定機能241が特定した撮像領域に基づいて、超音波プローブ26を患者Pの体内方向に押し付けるための変位量を算出する機能を含む。情報取得機能243は、患者Pに関する情報である患者情報を取得する機能を含む。画像生成機能244は、超音波プローブ26から反射波情報を取得し、当該反射波情報に基づいて患者Pの撮像領域の画像を生成する機能を含む。
【0020】
角度特定機能245は、超音波プローブ26と、患者Pの体表面との間の角度(所謂、あおり角)を変えながら生成した撮像領域の画像において、当該撮像領域の撮像に適した角度である目標角度を特定する機能を含む。あるいは、角度特定機能245は、ネットワークカメラ29が撮影した患者Pの体形と、人体モデルとに基づいて、患者Pにおける撮像領域の位置を特定し、当該撮像領域の位置に基づいて、超音波プローブ26と、患者Pの体表面との間の角度であって、生成した撮像領域の画像において撮像領域の撮像に適した角度である目標角度を特定する機能を含む。
【0021】
駆動制御機能246は、ロボットアーム27を駆動する駆動モータ28を制御する。駆動制御機能246は、例えば、検査室装置3の指示受付機能343が術者Uの指示を受け付けた場合に、駆動モータ28を制御して、検査室装置3の操作デバイス36を用いた術者Uによる指示位置よりも、変位量だけ超音波プローブ26を患者Pに押し込んだ状態で超音波プローブ26を移動させるように、ロボットアーム27を駆動する。換言すれば、ロボットアーム27は、操作デバイス36を用いた術者Uによる指示位置よりも、変位量だけ超音波プローブ26を患者Pに押し込んだ状態で超音波プローブ26を移動させる。
【0022】
検査室装置3は、術者Uがいる検査室内に設置され、術者Uが超音波プローブ26を遠隔操作するための装置である。検査室装置3は、例えば、パーソナルコンピュータやワークステーション等の一般的な情報処理装置より構成される。
図1に示すように、検査室装置3は、ディスプレイ31、入力インタフェース32、ネットワークインタフェース33、処理回路34、記憶回路35、及び、操作デバイス36を備えている。
【0023】
検査室装置3のディスプレイ31は、術者Uに、超音波プローブ26を遠隔操作するための支援画像を提供する。ディスプレイ31は、例えば、液晶ディスプレイ、OLEDディスプレイ等の一般的な表示出力装置により構成される。ディスプレイ31は、表示部の一例である。入力インタフェース32は、術者Uから入力を受け付ける。入力インタフェース32は、例えば、トラックボール、スイッチボタン、マウス、キーボード、テンキー等の一般的な入力装置により構成される。入力インタフェース32は、入力部の一例である。
【0024】
ネットワークインタフェース33は、ネットワーク4の形態に応じた種々の情報通信用プロトコルを実装する。ネットワークインタフェース33は、この各種プロトコルに従ってネットワーク4を介して病院装置2と接続する。
【0025】
処理回路34は、検査室装置3を統括制御する機能を実現する。また、処理回路34は、記憶回路35に記憶されたプログラムを読み出して実行することにより、病院装置2と同期した処理等を実行するプロセッサである。
【0026】
記憶回路35は、処理回路34が利用するプログラム、パラメータデータ等を記憶する。記憶回路35は、例えば、RAM(Random Access Memory)、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等の、プロセッサにより読み取り可能な記録媒体を含んだ構成を有する。
【0027】
操作デバイス36は、患者Pと異なる場所にいる術者Uが病院装置2の超音波プローブ26を遠隔操作することを可能とする。操作デバイス36は、例えば、マウス、タッチパネル、タブレットペン、タッチパッド、トラックボール、ジョイスティック等のポインティングデバイスにより構成される。
【0028】
図1に示すように、処理回路34のプロセッサは、撮像領域特定機能341、表示制御機能342、及び、指示受付機能343を実現する。これらの機能は、例えば、プログラムの形態で記憶回路35に記憶されている。
【0029】
撮像領域特定機能341は、患者Pの撮像領域を特定する機能を含む。表示制御機能342は、ディスプレイ31において、超音波プローブ26を遠隔操作するための支援画像として、超音波プローブ26を模擬した模擬画像を、超音波プローブ26の現在位置に表示させる機能を含む。さらに、表示制御機能342は、超音波プローブ26を模擬したゴーストを、超音波プローブ26の現在位置から所定の変位量だけ患者Pの体内方向に変位させた目標位置に表示させる機能を含む。
【0030】
ゴーストは、例えば、仮想的な半透明の画像であり、超音波プローブ26の模擬画像を覆うように表示される。模擬画像は、第1の模擬画像の一例である。ゴーストは、第2の模擬画像の一例である。所定の変位量とは、超音波プローブ26を患者Pの体内方向に押し付けるための変位量であり、病院装置2の変位量算出機能242によって算出される。指示受付機能343は、入力インタフェース32を介して、術者Uの指示を受け付ける。
【0031】
図3は、第1実施形態に係る遠隔超音波診断システム1の処理例を示すフローチャートである。本処理例は、病院内の超音波プローブ26を検査室内の操作デバイス36で遠隔操作するための処理例である。本処理例は、病院装置2の処理、検査室装置3の処理、及び、病院装置2と検査室装置3との間の送受信処理を含む。
【0032】
ステップS1で、遠隔超音波診断システム1は、病院内における患者P及び超音波プローブ26の位置関係と、検査室装置3のディスプレイ31における患者Pの画像及び超音波プローブ26の模擬画像の位置関係を同期させる。
【0033】
例えば、病院装置2のネットワークカメラ29は、患者P及び超音波プローブ26を撮影し、撮影した画像を含む画像データを検査室装置3に送信する。検査室装置3のネットワークインタフェース33は、ネットワークカメラ29から当該画像データを受信する。処理回路34は、受信した画像データに含まれる患者P及び超音波プローブ26の位置関係に合致するように、患者Pの画像及び超音波プローブ26の模擬画像を生成させる。そして、検査室内の操作デバイス36の操作に応じて、検査室内のディスプレイ31における超音波プローブ26の模擬画像と、病院内における超音波プローブ26とが連動するように、病院装置2と、検査室装置3との間で初期設定が行われる。
【0034】
ステップS2で、病院装置2の情報取得機能243は、記憶回路25に記憶された電子カルテ等に含まれる患者情報を取得する。患者情報は、例えば、患者Pの年齢、性別、身長、体重等を含む。なお、情報取得機能243は、ネットワーク4を介して病院装置2と接続されたサーバ等から患者情報を取得してもよい。
【0035】
ステップS3で、病院装置2のネットワークカメラ29は、患者Pの全身を撮影し、撮影した画像を含む画像データを処理回路24に出力する。処理回路24は、ネットワークカメラ29から当該画像データを取得し、例えば、機械学習モデルを用いて、当該画像データから患者Pの身体に関する計測情報を取得する。計測情報は、例えば、患者Pの腹囲等を含む。
【0036】
ステップS4で、病院装置2の情報取得機能243は、患者PのBモード画像及びエラストグラフィーを用いて、患者Pの体内情報を取得する。体内情報は、例えば、患者Pの体脂肪の厚さ、組織の硬さ等を含む。
【0037】
Bモード画像は、超音波プローブ26から取得された反射波情報から、反射波の信号強度が輝度の明るさで表現される2次元のBモードデータが生成され、当該Bモードデータから反射波の強度を輝度にて表したものである。
【0038】
エラストグラフィーは、超音波を用いて組織の硬さ分布を非侵襲的に画像化する技術であり,大きく分けて、組織を加圧した際のひずみ分布を計測して相対的な硬さ分布を画像化する方法と、組織を加振した際のせん断波の伝搬速度分布を計測して定量的な硬さ分布を画像化する方法がある。本実施形態では、どちらの方法で組織の硬さを取得してもよい。
【0039】
ステップS5で、病院装置2の撮像領域特定機能241は、例えば、機械学習モデルを用いて、ネットワークカメラ29が撮影した画像における超音波プローブ26と患者Pとの接触部位に基づいて、患者Pの撮像領域を特定する。例えば、撮像領域特定機能241は、ネットワークカメラ29が撮影した患者Pの身体における超音波プローブ26の位置から撮像対象の臓器(例えば、膵臓、肝臓、胃、血管等の臓器)を推定する。そのときに、撮像領域特定機能241は、さらに患者Pの姿勢やBモード画像に基づいて、撮像領域を詳細に特定してもよい。これにより、リアルタイムに患者Pの撮像領域を特定することができる。
【0040】
ネットワークカメラ29が撮影した画像からは患者Pの撮像領域が特定できない場合に、検査室装置3の撮像領域特定機能341は、入力インタフェース32が受け付けた、術者Uからの入力(例えば、臓器の名称の指定等)に基づいて、患者Pの撮像領域を特定する。なお、術者Uからの入力は、テキストデータであってもよいし、音声データであってもよい。後者の場合、処理回路34は、音声認識機能を含む。
【0041】
ステップS6で、病院装置2の変位量算出機能242は、ステップS2~S5の情報(撮像領域、患者情報等)に基づいて、超音波プローブ26が患者Pの体表面を押す圧力であって、患者Pの撮像領域の撮像に適した圧力を算出する。圧力算出の詳細は、後述する。
【0042】
ステップS7で、病院装置2の変位量算出機能242は、ステップS6で算出した圧力に基づいて、超音波プローブ26の変位量を算出する。ネットワークインタフェース23は、算出した変位量を検査室装置3に送信する。
【0043】
ステップS8で、検査室装置3のネットワークインタフェース33は、病院装置2から超音波プローブ26の変位量を受信する。そして、表示制御機能342は、患者Pの画像と、超音波プローブ26の模擬画像と、超音波プローブ26の変位量だけ変位させたゴーストとを表示させる。例えば、表示制御機能342は、ディスプレイ31において、超音波プローブ26を遠隔操作するための支援画像として、患者Pの虚像、又は、実像を表示させ、当該患者Pの虚像、又は、実像に重ねて、上記模擬画像及び上記ゴーストを表示させる。
ステップS9では、術者Uは、ディスプレイ31において、超音波プローブ26の模擬画像の位置がゴーストの位置と同じになるように、操作デバイス36を操作する。
【0044】
図4は、
図3のステップS8及びステップS9の処理概念を説明する図である。ステップS8で、術者Uは、
図4の左図に示すように、ディスプレイ31に表示された、超音波プローブ26の模擬画像及びゴーストを見る。ここで、超音波プローブ26の模擬画像の位置は、病院においてロボットアーム27が把持している実際の超音波プローブ26の現在の位置であり、例えば、ネットワークカメラ29で撮影された画像から算出される。また、ゴーストは、当該模擬画像を、ステップS7で算出された変位量だけ患者Pの体内方向に変位させた位置に表示される。そして、ステップS9において、術者Uは、ディスプレイ31において、超音波プローブ26の模擬画像の位置がゴーストの位置と同じになるように、操作デバイス36を操作する。
【0045】
そのとき、検査室装置3の処理回路34は、操作デバイス36の操作方向及び指示変位量を当該操作デバイス36から取得する。ネットワークインタフェース33は、取得した操作方向及び指示変位量を病院装置2に送信する。病院装置2のネットワークインタフェース23は、検査室装置3から操作デバイス36の操作方向及び指示変位量を受信する。駆動制御機能246は、受信した操作方向及び指示変位量に基づいて、ロボットアーム27が超音波プローブ26を変位させるように駆動モータ28を制御する。
【0046】
その結果、
図4の右図に示すように、病院において、ロボットアーム27は、実際の超音波プローブ26を患者Pの体内方向に押し付ける。操作デバイス36の操作に応じて、超音波プローブ26は、患者Pに押し付けられた状態で患者Pの体表面に平行に移動する。
【0047】
図5は、第1実施形態に係る超音波プローブ26を患者Pに押し付ける圧力を算出する処理例を示すフローチャートである。
【0048】
ステップS11で、病院装置2の処理回路24は、患者Pが痩せ型であるか否かを判定する。処理回路24は、例えば、情報取得機能243が取得した患者情報に含まれるBMI(Body Mass Index)の数値を抽出し、BMIの数値が所定値よりも小さい場合に、患者Pは痩せ型であると判定する。BMIは、体重と身長とから算出される肥満度を表す体格指数である。また、AIカメラ(図示せず)が患者Pの体を撮影して、当該患者Pの腹囲を算出する。処理回路24は、当該腹囲が所定値よりも小さい場合に、患者Pは痩せ型であると判定する。
【0049】
患者Pが痩せ型である場合(ステップS11のYES)、処理回路24は、ステップS17に進む。患者Pが痩せ型でない場合(ステップS11のNO)、処理回路24は、ステップS12に進む。
【0050】
ステップS12で、処理回路24は、Bモード画像に基づいて、患者Pの体表面から撮像領域までの距離を算出する。
図6は、第1実施形態に係る患者PのBモード画像の例を示す図である。なお、以下では、撮像領域が膵臓である場合を例にとって説明する。
図6に示すように、処理回路24は、Bモード画像における撮像領域である膵臓を特定して、患者Pの体表から膵臓までの距離を算出する。
【0051】
ステップS13で、処理回路24は、エラストグラフィーに基づいて、患者Pの組織の硬さ(弾性率)を算出する。
【0052】
ステップS14で、変位量算出機能242は、ステップS12で算出した距離と、ステップS13で算出した硬さに基づいて、超音波プローブ26が患者Pの腹部を押す圧力を計算する。
【0053】
ステップS15で、変位量算出機能242は、ステップS14で計算した圧力が閾値よりも大きいか否かを判定する。閾値は、例えば、患者Pが不快にならない程度の圧力、又は、患者Pの腹部が痛まない適度な圧力である。
【0054】
上記圧力が閾値よりも大きい場合(ステップS15のYES)、変位量算出機能242は、ステップS16に進む。上記圧力が閾値よりも大きくない場合(ステップS15のNO)、変位量算出機能242は、ステップS16をスキップして本処理を終了する。この場合、ステップS14で計算した圧力がそのまま用いられる。
【0055】
ステップS16で、変位量算出機能242は、圧力を、ステップS14で計算した値からステップS15で使用した閾値に変更する。
【0056】
ステップS17で、変位量算出機能242は、圧力を0に設定する。痩せ型の患者Pに対しては、超音波プローブ26を圧迫すると却って撮像できなくなる臓器があるので、ほとんど圧力を加えずに撮像することになる。
【0057】
なお、変位量算出機能242は、上記一連の処理により算出した圧力に基づいて患者Pの体表から撮像領域までの推奨距離を計算し、一方、患者Pの体表から超音波プローブ26の現在位置までの現状距離を計測する。そして、変位量算出機能242は、当該推奨距離と、当該現状距離との差分を、超音波プローブ26を患者Pの体内方向に押し付けるための変位量として算出する。
【0058】
〔第1実施形態の効果〕
第1実施形態によれば、患者Pの撮像領域と、当該患者Pの年齢、性別、体型等の患者情報とに基づいて、超音波プローブ26が当該患者Pの体表面を押し付けるときの圧力であって、当該患者Pに適した圧力を算出することができる。そして、術者Uは、当該圧力に応じた超音波プローブ26の変位量に基づいて、ディスプレイ31にて超音波プローブ26の模擬画像及びゴーストを見ながら、操作デバイス36を用いることによって、超音波プローブ26の遠隔操作が可能になる。このような方法であれば、ハプティクス技術を使って、超音波プローブ26を押すときの触覚(反力)を得る必要がないため、低コストに、患者P個別の適切な圧迫力でプローブ走査を行うことができる。
【0059】
〔第2実施形態〕
図7は、第2実施形態に係る遠隔超音波診断システム1aの構成例を示すブロック図である。遠隔超音波診断システム1aは、超音波診断システムの一例であり、遠隔にて超音波診断を行うためのシステムである。
図8は、第2実施形態に係る術者Uの操作イメージを示す図である。検査室にいる術者Uは、XRゴーグル311を装着して模擬プローブ361を操作しながら、病院にいる患者Pに対する超音波診断を行う。
【0060】
図7に示すように、遠隔超音波診断システム1aは、病院装置2、及び、検査室装置3aを備えている。病院装置2、及び、検査室装置3aは、ネットワーク4を介して相互に通信可能に構成される。
【0061】
病院装置2は、患者Pがいる病院内に設置され、実際に患者Pに対する超音波診断を行う装置である。病院装置2の構成は、第1実施形態と同様である。
【0062】
検査室装置3aは、術者Uがいる検査室内に設置され、術者Uが超音波プローブ26を遠隔操作するための装置である。検査室装置3は、例えば、パーソナルコンピュータやワークステーション等の一般的な情報処理装置より構成される。
図1に示すように、検査室装置3aは、XRゴーグル311、入力インタフェース32、ネットワークインタフェース33、処理回路34、記憶回路35、及び、模擬プローブ361を備えている。
【0063】
XRゴーグル311は、術者Uに装着され、遠隔地にいる患者Pの虚像を確認しながら、模擬プローブ361を操作することにより、実際の超音波プローブ26を遠隔操作するための機器である。XRゴーグル311は、表示部の一例である。XRゴーグル311は、ディスプレイ312と、カメラ313とを備えている。ディスプレイ312は、カメラ313で撮影された現実の画像と、仮想的な画像とを表示する表示装置である。ディスプレイ312は、例えば、横長の表示装置により構成される。カメラ313は、XRゴーグル311の外部(例えば、術者Uの前方、手元等)を撮影する撮影装置である。カメラ313は、XRゴーグル311の外側に付設されていてもよいし、XRゴーグル311から離れた場所に設置されていてもよい。
【0064】
入力インタフェース32、ネットワークインタフェース33、処理回路34、及び、記憶回路35は、第1実施形態と同様である。模擬プローブ361は、第1実施形態の操作デバイス36の変形例であり、例えば、病院装置2の超音波プローブ26の形状を模したものである。なお、処理回路34の表示制御機能342は、超音波プローブ26の模擬画像として、カメラ313が撮影した、術者Uが把持する模擬プローブ361の実像をXRゴーグル311のディスプレイ312に表示させる。
【0065】
なお、模擬プローブ361の位置や角度は、カメラ313が撮影した画像から、或いは、模擬プローブ361が内蔵するセンサによって検出される。検出された模擬プローブ361の位置、角度は、病院のロボットアーム27に対する指示情報として用いられる。模擬ブローブ361の位置、角度と、ロボットアーム27に把持されている超音波プローブ26の位置、角度とは、事前に位置合わせされており、超音波プローブ26は、模擬プローブ361の動きに連動して動くように構成されている。
【0066】
図9は、第2実施形態に係る遠隔超音波診断システム1aの処理例を示すフローチャートである。本処理例は、病院内の超音波プローブ26を検査室内の模擬プローブ361で遠隔操作するための処理例である。本処理例は、病院装置2の処理、検査室装置3aの処理、及び、病院装置2と検査室装置3aとの間の送受信処理を含む。
【0067】
ステップS21で、遠隔超音波診断システム1aは、病院内における患者P及び超音波プローブ26の位置関係と、XRゴーグル311のディスプレイ312における患者Pの画像及び模擬プローブ361の画像の位置関係とを同期させる。
【0068】
例えば、病院装置2のネットワークカメラ29は、患者P及び超音波プローブ26を撮影し、撮影した画像を含む画像データを検査室装置3aに送信する。検査室装置3aのネットワークインタフェース33は、ネットワークカメラ29から当該画像データを受信する。処理回路34は、受信した画像データに含まれる患者P及び超音波プローブ26の位置関係に合致するように、模擬プローブ361の実像に患者Pの虚像を位置付けた画像を生成させる。そして、検査室内における模擬プローブ361の操作に応じて、病院内における超音波プローブ26が移動するように、病院装置2と、検査室装置3との間で初期設定が行われる。
【0069】
また、病院装置2と検査室装置3aとの間における同期の方法として、以下の4つの座標系の位置合わせを行う方法がある。
(1)ロボットアーム27及び患者Pが置かれた病院の空間の座標系
(2)ネットワークカメラ29から見える病院の視界の座標系
(3)XRゴーグル311のカメラ313から見える検査室の視界の座標系
(4)模擬プローブ361が置かれる検査室の空間の座標系
【0070】
ステップS22~S27の処理は、
図3のステップS2~S7の処理と同様である。
【0071】
ステップS28で、検査室装置3のネットワークインタフェース33は、病院装置2から超音波プローブ26の変位量を受信する。そして、表示制御機能342は、患者Pの画像と、模擬プローブ361の実像と、超音波プローブ26の変位量だけ変位させたゴーストとを表示させる。例えば、表示制御機能342は、XRゴーグル311のディスプレイ312において、超音波プローブ26を遠隔操作するための支援画像として、患者Pの虚像、又は、実像を表示させ、当該患者Pの虚像、又は、実像に重ねて、模擬プローブ361の実像及び上記ゴーストを表示させる。
【0072】
術者Uは、超音波プローブ26を遠隔操作ではなく自動で変位させたいときには、入力インタフェース32を介して、その旨を指示する。ステップS29で、指示受付機能343は、入力インタフェース32を介して、術者Uの指示を受け付けたか否かを判定する。術者Uの指示を受け付けた場合(ステップS29のYES)、処理回路34は、ステップS31に進む。術者Uの指示を受け付けていない場合(ステップS29のNO)、処理回路34は、ステップS30に進む。
【0073】
図10は、
図9のステップS30の処理概念を説明する図である。ステップS30で、術者Uは、
図10の左図に示すように、XRゴーグル311のディスプレイ312に表示された、模擬プローブ361の実像及びゴーストを見る。そして、術者Uは、ディスプレイ312において、模擬プローブ361の実像の位置がゴーストの位置と同じになるように、模擬プローブ361を操作する。
【0074】
そのとき、検査室装置3aの処理回路34は、模擬プローブ361の操作方向及び指示変位量をXRゴーグル311のカメラ313が撮影した画像から認識する。ネットワークインタフェース33は、認識した操作方向及び指示変位量を病院装置2に送信する。
【0075】
病院装置2のネットワークインタフェース23は、検査室装置3aから模擬プローブ361の操作方向及び指示変位量を受信する。駆動制御機能246は、受信した操作方向及び指示変位量に基づいて、ロボットアーム27が超音波プローブ26を変位させるように駆動モータ28を制御する。
【0076】
その結果、
図10の右図に示すように、病院において、ロボットアーム27は、実際の超音波プローブ26を患者Pの体内方向に押し付ける。模擬プローブ361の操作に応じて、超音波プローブ26は、患者Pに押し付けられた状態で患者Pの体表面に平行に移動する。
【0077】
図11は、
図9のステップS31の処理概念を説明する図である。ステップS31では、術者Uは、模擬プローブ361を患者Pの体表面に沿うように移動させ、模擬プローブ361を患者Pの体内方向に押し込む動作は行わない。
図11の左図に示すように、検査室内のXRゴーグル311のディスプレイ312には、あたかも患者Pの体表面をプローブ走査しているかのように表示される。
【0078】
一方、検査室装置3aの指示受付機能343は、ステップS29において入力インタフェース32を介して術者Uの上記指示を受け付けた場合、その旨を示すメッセージを、病院装置2に送信する。病院装置2のネットワークインタフェース23が上記メッセージを受信した場合、駆動制御機能246は、ステップS27で算出された変位量に基づいて、ロボットアーム27が超音波プローブ26を変位させるように駆動モータ28を制御する。
【0079】
図11の右図に示すように、病院内では、ロボットアーム27は、患者Pの体表面を超音波プローブ26が適度に圧迫した状態で、当該超音波プローブ26を走査させる。換言すれば、超音波プローブ26が算出された変位量だけ体内方向に押し込まれた状態で移動するように、ロボットアーム27の体内方向の設定にオフセットをかけて、プローブ走査を行う。なお、術者Uが、例えば、肝臓の浅い位置又は深い位置を指定することにより、超音波プローブ26を押し込む変位量を調整してもよい。
【0080】
〔第2実施形態の効果〕
第2実施形態によれば、患者Pの撮像領域と、当該患者Pの年齢、性別、体型等の患者情報とを基にすることによって、超音波プローブ26が当該患者Pの体表面を押し付けるときの圧力であって、当該患者Pに適した圧力を算出することができる。そして、術者Uは、当該圧力に応じた超音波プローブ26の変位量に基づいて、XRゴーグル311のディスプレイ312にて模擬プローブ361の実像及びゴーストを見ながら、当該模擬プローブ361を用いることによって、超音波プローブ26の遠隔操作が可能になる。従って、ハプティクス技術を使わないため、超音波プローブ26を押すときの触覚(反力)が得られなくても、低コストに、患者P個別の適切な圧迫力で、超音波プローブ26を模した模擬プローブ361を用いることによって、直感的なプローブ走査を行うことができる。
【0081】
さらに、実際の超音波プローブ26を自動で患者Pの体内方向に変位させることによって、超音波プローブ26を患者Pの体表面に適度に圧迫しながら、術者Uによる模擬プローブ361の操作を患者Pの体表面方向に限定できるので、模擬プローブ361の操作を簡素化することができる。
【0082】
〔第3実施形態〕
第1実施形態及び第2実施形態で説明した以外の実施形態について、以下に説明する。
【0083】
(1)第1実施形態における検査室装置3の表示制御機能342は、超音波プローブ26を模擬した模擬画像と、超音波プローブ26を模擬したゴーストとを互いに異なる表示態様で表示させてもよい。また、第2実施形態における検査室装置3aの表示制御機能342は、模擬プローブ361の実像と、超音波プローブ26を模擬したゴーストとを互いに異なる表示態様で表示させてもよい。なお、表示態様とは、色、濃淡、デザイン、模様等である。表示制御機能342は、例えば、超音波プローブ26の模擬画像と、超音波プローブ26を模擬したゴーストとの位置の差分が一目で分かるように、それぞれを異なる色で表示させてもよい。
【0084】
(2)第1実施形態における表示制御機能342は、超音波プローブ26の現在位置が目標位置に合致するように操作デバイス36を操作したにもかかわらず、現在位置と目標位置とが所定の閾値以上に異なる場合には、超音波プローブ26の模擬画像、及び、超音波プローブ26のゴーストの少なくとも一方を、術者Uの注意喚起が可能な態様で表示させてもよい。また、第2実施形態における表示制御機能342は、超音波プローブ26の現在位置が目標位置に合致するように模擬プローブ361を操作したにもかかわらず、現在位置と目標位置とが所定の閾値以上に異なる場合には、模擬プローブ361の実像、及び、超音波プローブ26のゴーストの少なくとも一方を、術者Uの注意喚起が可能な態様で表示させてもよい。表示制御機能342は、例えば、超音波プローブ26の模擬画像の位置と、ゴーストの位置とが一致している状態は緑色に表示させ、両方の位置が一致していない状態は赤色に表示させてもよい。
【0085】
(3)第1実施形態における表示制御機能342は、ディスプレイ31において、超音波プローブ26を遠隔操作するための支援画像として、超音波プローブ26と、患者Pの体表面との間の現在角度に当該超音波プローブ26の模擬画像を表示させ、撮像領域の撮像に適した角度である目標角度に超音波プローブ26のゴーストを表示させてもよい。なお、現在角度は、例えば、ネットワークカメラ29が撮影した画像データから取得してもよい。
【0086】
また、第2実施形態における表示制御機能342は、ディスプレイ312において、超音波プローブ26を遠隔操作するための支援画像として、超音波プローブ26と、患者Pの体表面との間の現在角度に模擬プローブ361の実像を表示させ、上記目標角度に超音波プローブ26のゴーストを表示させてもよい。さらに、表示制御機能342は、超音波プローブ26を上記目標角度で患者Pの体表面を押し付けるときの圧力を表示させてもよい。
【0087】
角度特定機能245は、超音波プローブ26と、患者Pの体表面との間の角度を変えながら撮影されたBモード画像内に写り込む撮像対象臓器が最も大きく又は近くに写るような角度を目標角度として特定する。また、角度特定機能245は、ネットワークカメラ29から患者Pの体形を取得して、取得した当該患者Pの体形と既知の人体モデルとを比較することにより、当該患者Pの体内のどの位置に撮影対象臓器がありそうかを推測する。そして、角度特定機能245は、推測した体内の撮像対象臓器が最も大きく又は近くなるような角度を目標角度として特定する。
【0088】
例えば、撮像対象臓器が膵臓である場合、膵尾部が見える角度が目標角度として望ましい。超音波プローブ26を傾けながら撮影しているときに、Bモード画像内に膵尾部が映っていれば、そのときの上記角度を目標角度とすることにより、当該角度が維持される。
【0089】
なお、最初にBモード画像内に撮像対象臓器が写るように上記角度を合わせた後で、超音波プローブ26を患者Pの体表面に平行に移動させながら、最初のBモード画像に追従するように上記角度を逐次調整してもよい。
【0090】
(4)CT(Computed Tomography)画像、MRI(Magnetic Resonance Imaging)画像等、他の画像が取得可能な場合には、病院装置2の処理回路24は、それらの画像情報や画像レポートを加味して、撮像領域の特定や超音波プローブ26の変位量の算出を行ってもよい。
なお、
図1及び
図7に示した構成のうち、超音波プローブ26、画像生成機能244、ロボットアーム27、駆動モータ28、及び、駆動制御機能246、を除いた構成を、医用画像処理装置とすることができる。
【0091】
以上説明した少なくとも1つの実施形態によれば、超音波プローブの遠隔操作において、撮像領域に応じた適切な圧迫力を被検体に印加できるようにすることができる。
【0092】
なお、撮像領域特定機能241は、特定部の一例である。変位量算出機能242は、の一例である。情報取得機能243は、情報取得部の一例である。画像生成機能244は、画像生成部の一例である。角度特定機能245は、角度特定部の一例である。撮像領域特定機能341は、特定部の一例である。表示制御機能342は、表示制御部の一例である。指示受付機能343は、受付部の一例である。
【0093】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0094】
1、1a…遠隔超音波診断システム
2…病院装置
3…検査室装置
27…ロボットアーム
29…ネットワークカメラ
31、312…ディスプレイ
36…操作デバイス
361…模擬プローブ
241…撮像領域特定機能
242…変位量算出機能
243…情報取得機能
244…画像生成機能
245…角度特定機能
246…駆動制御機能
341…撮像領域特定機能
342…表示制御機能
343…指示受付機能