特許 6987893 診断試験をリアルタイムの治療に統合する汎用デバイスおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6987893

(24)【登録日】2021年12月3日

(45)【発行日】2022年1月5日

(54)【発明の名称】診断試験をリアルタイムの治療に統合する汎用デバイスおよび方法

(51)【国際特許分類】

   A61B 8/00 20060101AFI20211220BHJP

【ＦＩ】

   A61B8/00

【請求項の数】17

【全頁数】20

(21)【出願番号】特願2019-569660(P2019-569660)

(86)(22)【出願日】2018年3月3日

(65)【公表番号】特表2020-510511(P2020-510511A)

(43)【公表日】2020年4月9日

(86)【国際出願番号】US2018020800

(87)【国際公開番号】WO2018161057

(87)【国際公開日】20180907

【審査請求日】2021年1月8日

(31)【優先権主張番号】62/466,689

(32)【優先日】2017年3月3日

(33)【優先権主張国】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】519319196

【氏名又は名称】ユニバーシティ オブ メリーランド メディカル センター

【氏名又は名称原語表記】Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｍａｒｙｌａｎｄ Ｍｅｄｉｃａｌ Ｃｅｎｔｅｒ

(74)【代理人】

【識別番号】110000110

【氏名又は名称】特許業務法人快友国際特許事務所

(72)【発明者】

【氏名】アラー ベイドゥン

(72)【発明者】

【氏名】ヴィカシュ グプタ

【審査官】 門田 宏

(56)【参考文献】

【文献】 特開２０１５−１３６５６３（ＪＰ，Ａ）

【文献】 特開２０１２−１７０７４７（ＪＰ，Ａ）

【文献】 特開２０１１−２０６２８１（ＪＰ，Ａ）

【文献】 特開２０１１−２００５３３（ＪＰ，Ａ）

【文献】 特開２００８−０１８０１５（ＪＰ，Ａ）

【文献】 特開２００９−０１８１８４（ＪＰ，Ａ）

【文献】 特開２００３−３１０６１１（ＪＰ，Ａ）

【文献】 特表２００４−５３０４８５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ８／００ − ８／１５

Ａ６１Ｂ ６／００ − ６／１４

(57)【特許請求の範囲】

【請求項1】

統合された診断試験およびリアルタイム治療のシステムであって、
少なくとも１つのソース画像が基準マーカを含む複数のソース画像を取得するように構成された、医療データ蓄積デバイスと、
前記医療データ蓄積デバイスによって取得された複数の前記ソース画像をデータ・ストリームに符号化するように構成された、低レイテンシ・エンコーダと、
前記基準マーカを追跡するセンサ・データを取得するように構成された、環境センサ・デバイスと、
前記環境センサ・デバイスによって取得された前記センサ・データおよび前記ソース画像に含まれる前記基準マーカに基づいて、前記低レイテンシ・エンコーダによって符号化された前記ソース画像の少なくとも１つをコンテキスト修正するように構成された、プロセッサと、
前記プロセッサによってコンテキスト修正された前記ソース画像を、前記プロセッサによってコンテキスト修正された前記ソース画像を生検デバイス用の経路を描くように患者の解剖学的に適正な場所に表示するウェアラブル表示デバイスに送信するように構成された、送信デバイス、
を備えるシステム。

【請求項2】

前記データ・ストリームが、ＷＰＡまたはＷＰＡ２のために構成されている、請求項１に記載のシステム。

【請求項3】

前記医療データ蓄積デバイスが、超音波撮像デバイスを有する、請求項１または２に記載のシステム。

【請求項4】

前記医療データ蓄積デバイスが、患者の体内からの非侵襲的映像を提供するように構成された撮像デバイスを含む、請求項１に記載のシステム。

【請求項5】

前記プロセッサが、前記ウェアラブル表示デバイスからの入力に基づいてソース画像を更に修正する、請求項１〜４のいずれか一項に記載のシステム。

【請求項6】

前記環境センサ・デバイスが、ユーザの視線方向を追跡するように構成されている、請求項１〜５のいずれか一項に記載のシステム。

【請求項7】

統合された診断試験およびリアルタイム治療のシステムの制御方法であって、
前記システムが、
医療データ蓄積デバイスと、
低レイテンシ・エンコーダと、
環境センサ・デバイスと、
プロセッサと、
送信デバイスと、
を有し、
前記制御方法が、
前記医療データ蓄積デバイスが、少なくとも１つの医療ソース画像が基準マーカを含む複数の医療ソース画像を取得するステップと、
前記低レイテンシ・エンコーダが、前記医療データ蓄積デバイスによって取得された複数の前記医療ソース画像を、データ・ストリームに符号化するステップと、
前記環境センサ・デバイスが、前記基準マーカを追跡する環境センサ・データを取得するステップと、
前記プロセッサが、前記環境センサ・デバイスによって取得された前記環境センサ・データおよび前記ソース画像に含まれる前記基準マーカに基づいて、前記低レイテンシ・エンコーダによって符号化された前記医療ソース画像の少なくとも１つをコンテキスト修正するステップと、
前記送信デバイスが、前記プロセッサによってコンテキスト修正された前記医療ソース画像の少なくとも１つを、前記プロセッサによってコンテキスト修正された前記医療ソース画像を生検デバイス用の経路を描くように患者の解剖学的に適正な場所に表示するウェアラブル表示デバイスに送信するステップ、
を含む方法。

【請求項8】

前記データ・ストリームが、ＷＰＡまたはＷＰＡ２のために構成されている、請求項７に記載の制御方法。

【請求項9】

複数の前記医療ソース画像を取得する前記ステップが、超音波撮像デバイスを用いて実施される、請求項７または８に記載の制御方法。

【請求項10】

複数の前記医療ソース画像を取得する前記ステップが、非侵襲的医療データ蓄積デバイスを用いて実施される、請求項７または８に記載の制御方法。

【請求項11】

前記プロセッサが、前記ウェアラブル表示デバイスからの入力に基づいて、前記医療ソース画像の少なくとも１つを修正するステップを更に含む、請求項７〜１０のいずれか一項に記載の制御方法。

【請求項12】

前記環境センサ・デバイスが、ユーザの視線方向を追跡するように構成されている、請求項７〜１１のいずれか一項に記載の制御方法。

【請求項13】

統合された診断試験およびリアルタイム治療のための、命令が記憶された非一時的コンピュータ可読媒体であって、前記試験および治療が、
超音波撮像デバイスが、少なくとも１つの医療ソース画像が基準マーカを含む複数の医療ソース画像を取得するステップと、
低レイテンシ・エンコーダが、前記超音波撮像デバイスによって取得された複数の前記医療ソース画像を、データ・ストリームに符号化するステップと、
環境センサ・デバイスが、前記基準マーカを追跡する環境センサ・データを取得するステップと、
プロセッサが、前記環境センサ・デバイスによって取得された前記環境センサ・データおよび前記医療ソース画像に含まれる前記基準マーカに基づいて、前記低レイテンシ・エンコーダによって符号化された前記医療ソース画像の少なくとも１つをコンテキスト修正するステップと、
送信デバイスが、前記プロセッサによってコンテキスト修正された前記医療ソース画像の少なくとも１つを、前記プロセッサによってコンテキスト修正された前記医療ソース画像を生検デバイス用の経路を描くように患者の解剖学的に適正な場所に表示するウェアラブル表示デバイスに送信するステップ、
を含む、非一時的コンピュータ可読媒体。

【請求項14】

前記データ・ストリームが、ＷＰＡまたはＷＰＡ２のために構成されている、請求項１３に記載の非一時的コンピュータ可読媒体。

【請求項15】

複数の前記医療ソース画像を取得する前記ステップが、患者の体内からの非侵襲的映像を提供する医療ツールを用いて実施される、請求項１３または１４に記載の非一時的コンピュータ可読媒体。

【請求項16】

前記プロセッサが、前記ウェアラブル表示デバイスからの入力に基づいて、前記医療ソース画像の少なくとも１つを修正するステップを更に含む、請求項１３〜１５のいずれか一項に記載の非一時的コンピュータ可読媒体。

【請求項17】

前記環境センサ・デバイスが、ユーザの視線方向を追跡するように構成されている、請求項１３〜１６のいずれか一項に記載の非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）本出願は、全体の内容を参照により本明細書に援用する、２０１７年３月３日付けの米国仮出願第６２／４６６，６８９号の利益を主張する、非仮出願である。

【0002】

本発明の実施形態は、全体として、医療診断および治療に関する技術の改善に関し、より詳細には、医療撮像デバイスに関する。

【背景技術】

【0003】

患者を支援する過程において、医療専門家は、患者に影響を及ぼす様々な病気および疾患の診断と治療を支援するための様々なデバイスに依存する。医療機器としては、現在のヘルスケア環境では、患者ケアを指示するのに医療従事者が解釈することができる生体パラメータの測定を可能にするデバイスが挙げられる。そのような生体パラメータとしては、血圧および心拍数などのバイタルサイン、身体およびその構造の画像、ならびに、電子カルテ（ＥＭＲ）として知られる集中データベースに記憶され得る他の様々な生体パラメータを挙げることができる。

【0004】

一般的に、診察を受ける患者は、最初に、様々な生体パラメータに関する情報を蓄積するか、または、患者の画像を生成するために診断試験を受け、それらの画像は次に、何らかの治療の前に調べるため、看護師、技術者、または医師に渡される。診断試験の間に生成される画像は、患者を悩ませているあらゆる痛みもしくは怪我を軽減または修復するのを助ける特定の処置を含む一連の治療を医療専門家が決定するのを支援するのに使用される。診断試験の例としては、放射線医学、核医学、超音波、および他の画像生成技術を挙げることができる。それに加えて、生体パラメータおよび画像は、直接接続された表示モニタおよび物理的プリントアウトを介した治療の間に提供されるサービスと同時に提供されてもよい。

【発明の概要】

【発明が解決しようとする課題】

【0005】

したがって、本発明の実施形態は、診断試験をリアルタイム治療に統合するシステムおよび方法（すなわち、関連技術の制限および不利な点による１つまたは複数の問題を実質的に回避するリアルタイムの治療）を対象とする。

【課題を解決するための手段】

【0006】

システムおよび方法は、医療専門家などのユーザに対して、コンテキスト的に適切なデータの表示をリアルタイムで提供するのを支援するために提供される。コンテキスト的に適切なデータの表示は、生体計測情報ならびに診断画像および他の画像として提示されてもよい。データが収集されている特定の設定にとってデータの表示が適切であるように医療専門家に対するデータの提示において環境情報が考慮されるように、データは収集され処理される。

【0007】

本発明の更なる特徴および利点は、以下の記載において説明されるか、記載によって部分的に明白となるか、または本発明の実施によって学習されるであろう。本発明の目的および他の利点は、明細書および特許請求の範囲ならびに添付図面において特定して指摘される構造によって、実現され達成されるであろう。

【0008】

これらおよび他の利点を達成するため、また具体化され概括的に記載されるような本発明の目的にしたがって、統合された診断試験およびリアルタイムの治療（すなわち、リアルタイム治療）は、データを収集すること、データをデータ変換デバイスに送信すること、データが収集された第１の環境を感知すること、データが表示される第２の環境を感知すること、少なくとも第２の環境に基づいてデータをコンテキスト変換すること、コンテキスト修正されたデータをデータ表示デバイスに送信すること、およびコンテキスト修正されたデータを表示することを含む、リアルタイムでデータを可視化するように構成された方法、システム、デバイス、およびコンピュータ可読媒体それぞれを含む。

【0009】

更に、環境をデジタル的にマッピングし、解剖学的に正確なオーバーレイの形でコンテキスト修正されたデータを表示しながら領域を追跡することによって、更なる利点が提供されてもよい。この場合、オーバーレイは、無菌手術および処置野にあってもよい基準マーカおよび他の追跡可能なマーカを介して生成されるものとして具体化されてもよい。

【0010】

本発明の更なる理解を提供するために含まれ、本明細書に組み込まれるとともに本明細書の一部を構成する添付図面は、本発明の実施形態を例示し、説明と併せて本発明の原理を説明するのに役立つ。

【図面の簡単な説明】

【0011】

【図1】例示の実施形態による、汎用ストリーミング・デバイスに対する接続を示すフローチャートである。

【図2】例示の実施形態による、デバイスの構成要素を示すフローチャートである。

【図3】例示の実施形態による、様々なデータ点を含む例示の取得された画像フレームを示す図である。

【図4】例示の実施形態による、センサ・データ入力および取得データの修正を示す図である。

【図5】例示の実施形態による、基準マーカを使用する環境追跡を示す図である。

【図6】例示の実施形態による、専門家がシステムの一実施形態を使用しているところを示す図である。

【図7】例示の実施形態による、磁気ベースの自己整列基準マーカ・システムを示す図である。

【図8】例示の実施形態による、専門家が自己整列基準マーカを含むシステムの一実施形態を使用しているところを示す図である。

【発明を実施するための形態】

【0012】

本発明の実施形態は、全体として、デバイスが、アナログもしくはデジタルの、任意の医療データ蓄積デバイスまたは撮像デバイスに接続できるようにし、低レイテンシ・エンコーダを使用したほぼリアルタイムの符号化ならびに取得されたデータおよび画像のストリーミング（例えば、画像のデータ・ストリーム）を可能にする、システムおよび方法を対象とする。医療蓄積デバイスは、任意のタイプの医療機器または医療ツールもしくはデバイスであることができる。実施形態は、医療撮像デバイスの任意のビデオ出力ポートまたは別の接続ポートに接続する、デバイスを含んでもよい。実施形態は、コンテキスト的に適切な画像を医療撮像デバイスから医療専門家に対してリアルタイムで（好ましくは医療処置の間に）提供するコーディングおよびプロセスを含んでもよい。

【0013】

本発明は、標準的なポート、無線接続、または光学センサを通して、現代の医療で使用される標準的なデータ取得機器にリンクされ得るデバイスを具体化してもよい。デバイスは、かかる機器から関連データを取得し、低レイテンシ・プロセスで、様々なプロトコル（プロトコルは、Ｗｉ−Ｆｉ規格、Ｂｌｕｅｔｏｏｔｈ、４Ｇ、または５Ｇを含むが、それらに限定されない）を通じて、この修正済みまたは未修正のデータを無線で送信する能力を有してもよい。低レイテンシとは、データ取得と標的の表示デバイス上での表示との間で測定して、２５０ｍｓ未満を意味する。例えば、実施形態は、全体として、閉じたローカル・ネットワーク（例えば、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈなど）を通じて無線で、または遠隔で、画像等のデータをストリーミングし得るシステムおよび方法を対象とする。デバイスは、少なくとも様々な医療撮像デバイスに対して汎用であって、使用される撮像デバイスの近傍でもそこから離れてでも画像を解釈できるように設計される。

【0014】

それに加えて、デバイスは、ウェアラブル・ディスプレイ、例えばＧｏｏｇｌｅ ＧｌａｓｓまたはＭｉｃｒｏｓｏｆｔ Ｈｏｌｏｌｅｎｓに対して画像をストリーミングして、従来のディスプレイを要することなく任意の医療画像または他のデータをストリーミングできるようにすることができる。

【0015】

このデバイスは、ＣＰＵ（中央処理装置）、ＧＰＵ（画像処理装置）、および／またはカスタムＡＳＩＣ（特定用途向け集積回路）を含む、様々なマイクロプロセッサを用いてデータを処理する能力を含む。処理能力によって、低レイテンシ・ハードウェアに基づいたビデオ符号化（すなわち、低レイテンシ・エンコーダ、ファイル・トランスコーディング、暗号エンコーディング、および、三次元修正）が可能になる。デバイスはまた、無線アクセス・ポイントを含み、それによってこのデータを、ＷＰＡ２、ＷＰＡ、または他の符号化アルゴリズムなどの安全な接続を通じて送信することができる。

【0016】

更に、デバイスは、接続される撮像機器を制御する中継器として構成されてもよい。デバイスは、例えば、ウェアラブル・ディスプレイに提供される音声および他のコマンドに応答するように構成されてもよく、アプリケーション・プログラム・インターフェース（ＡＰＩ）は汎用デバイス上で動作し、ＡＰＩは、デバイスが接続される撮像機器におけるデータ収集または撮像の設定を制御する。換言すれば、デバイスまたはシステムは、データが取得される医療デバイス（即ち診断ツールまたは撮像デバイス）に送信され得るコマンドの更新可能なライブラリを含んでもよい。これらのコマンドは、利用可能なＡＰＩを通して、接続された機器の無線制御を可能にするように構成されてもよい。

【0017】

システムの別の実施形態は、接続された機器をＡＰＩを通して制御すること、ならびに、ウェアラブル・ユニットに送信する前に取得データを修正することの両方に利用することが可能なウェアラブル・デバイスまたは他の様々なセンサ・システムから、コマンドおよび／または他のデータ点を受信する能力を有してもよい。例えば、これによって、超音波またはコンピュータ断層撮影（ＣＴ）画像などのように、取得した画像データの三次元操作が可能になってもよく、これは、画像獲得中に直接患者の上で解剖学的に適正な場所に表示されることができ、患者の「体内」を見るような印象（例えば非侵襲的映像）を与えることが可能である。システムはまた、生理学的または画像データと、診察、治療、または処置中の患者のリアルタイム視界とのオーバーレイを可能にし、それにより、リアルタイムで実施されるソース画像（医療ソース画像としても知られる）のコンテキスト的な修正を提供してもよい。

【0018】

基準マーカは、作成される画像に表れる、撮像システムの視野内に配置されるオブジェクトである。このマーカは、基準点または指標として使用されてもよい。一実施形態では、基準マーカは、患者上の特定の領域を追跡して、基準マーカと光学センサなどの外部センサ・データとの相関に基づいて、ソース機器データをコンテキスト修正することを可能にするのに使用されてもよい。

【0019】

一実施形態では、診断のイメージングスキャンを受けている患者は、適所に設けられた基準マーカと共にスキャンを受けてもよく、そのため、これらの基準マーカは画像データに表れてもよい。一実施形態では、これらのマーカはまた、外部センサによって検出され、光学、レーザ、赤外線、磁気、または他の性質を含む１つもしくは複数の方法を使用して追跡されてもよい。外部センサ・データおよびソース機器データは、次に、プロセスによって実行される画像修正アルゴリズムを使用して互いに相関され、それにより、ソース画像のコンテキスト修正が可能にされてもよい。それに加えて、環境センサ・デバイスによって取得される環境センサ・データが、基準マーカをリアルタイムで追跡して、環境センサ・デバイスから取得したセンサ・データ（例えば、取得した環境センサ・データ）に基づいた、ソース画像のリアルタイムのコンテキスト修正を可能にしてもよい。

【0020】

一実施形態では、基準マーカは、輪郭もしくはランドマーク、衣服もしくはドレープなどの固有のオーバーレイ・テクスチャ、光学パターンなどの固有の形状もしくはパターン、光源、磁界源、または他の検出可能なオブジェクトなど、スキャンされるオブジェクトの固有の特徴であってもよい。そのような場合、基準マーカの構造および／または機能は受動的もしくは能動的であってもよい。一実施形態では、基準マーカは単一の追跡可能な点を表してもよく、別の実施形態では、基準マーカは、複数の次元で追跡可能な１つまたは複数のベクトルを伝達してもよい。それに加えて、一実施形態では、基準マーカは最初のマーカ源を表してもよく、それにより、環境センサ・デバイスは、隣接した環境的特徴、構造、およびテクスチャをマッピングして、追跡した基準マーカの特性、サイズ、および精度を拡張してもよい。

【0021】

画像誘導医療処置の状況によっては、基準マーカは、術野殺菌前のソース・データに含められ、術野殺菌後も視認可能であり環境追跡機器にとってアクセス可能である必要がある。それに加えて、基準マーカは、無菌術野／ドレープ上にオーバーレイされ、追跡されている間の対象に対して位置が固定のままであることが必要であり得る。このように、基準マーカは、術野の殺菌前後の両方において存在し、無菌性を損なうことなく無菌術野に含まれ、術野殺菌プロセスの前後でその位置が変化しないことが必要であり得る。

【0022】

一実施形態では、自己整列性であって相補的に引き合う基準マーカが、画像誘導処置中における正確な環境追跡のこれらの必須構成要素を扱うのに使用されてもよい。かかる実施形態では、接着剤または非接着剤ベースの基準マーカが、最初のデータ獲得中に、撮像される対象の特定の部位に固着されてもよい。この基準マーカは、部位殺菌の間変化しない位置に留まり、無菌手術用ドレープを配置する間に覆われていてもよい。それに続いて、相補的な無菌基準マーカが、磁気的引力または電子的引力などの引力を使用して、ドレープを通して最初のマーカに付着されてもよい。これら２つの基準マーカは、互いに近付けると、それらの本質的な性質に基づいて自己整列してもよく、ドレープ上の基準マーカは、環境センサ機器によって追跡されて、非無菌マーカの正確な代理として作用してもよい。一実施形態では、周囲のドレープの構成およびテクスチャもマッピングされて、追跡可能な領域を拡張してもよい。他の実施形態では、複数の基準マーカが使用されてもよく、非無菌マーカが殺菌されてもよく、環境センサ機器は覆われたマーカを追跡することができてもよく、またはマーカ部位は殺菌後に正確に規定されてもよい。

【0023】

別の実施形態では、追加の追跡可能なマーカが配置されて、追跡可能な領域を拡張してもよい。これら追加のマーカと最初に配置されたマーカとの関係は、追跡可能な術野を拡張するため、および／または、コンテキスト的な画像修正のための追加の基準点を提供するため、外挿されてもよい。このように、追加の追跡可能な点は、元々配置された１つまたは複数の基準マーカが環境センサによって十分に追跡可能でない場合に使用されてもよい。

【0024】

データ取得デバイスから、取得データ符号化は、レイテンシを最小限に抑えるためにハードウェアで加速されてもよい。低レイテンシは、データ・ソース機器で取られた画像（例えば、ソース画像）のリアルタイムの解釈を提供するために重要である。デバイスは、特に無線ネットワークを通じて、任意の超低レイテンシのストリーミング・アプリケーションで利用するようにデバイスを適合されるように、堅牢に設計される。

【0025】

実施形態は、例えば、放射線診断、画像下治療、画像誘導手術、核医学、超音波、超音波検査などを含む、様々な医療技術に適用されてもよい。放射線診断は、疾病の診断を支援するのに様々なイメージングモダリティを使用することと関係がある。放射線診断は、Ｘ線医学、他の放射線デバイス、ならびに放射線が関与しなくてもよい磁気共鳴画像法（ＭＲＩ）および超音波などの技術を使用してもよい。画像下治療は、カテーテル、ワイヤ、コイル、プローブ、または他の適切な機器などのツールを使用する医療介入および処置を誘導するのに、医療画像データを使用することと関係がある。

【0026】

核医学は、疾病の診断および治療において放射性物質の適用が関与する医学専門分野である。放射性物質は、様々な疾病の診断および治療を助けるトレーサーとして機能する。核医学には、外部ソースによって生成される放射線ではなく、体内から放出される放射線を記録することが関与する。核医学によって、器官、組織、または骨の機能に基づいて、医学的問題の原因を決定することが可能になるが、Ｘ線、超音波、または他の診断試験は、構造的な見た目に基づいて疾病の存在を判断する。

【0027】

超音波、または超音波検査には、体内構造を含む身体の内部を見るのに、音波を使用することが関与する。超音波は、身体内部の器官の腫脹および感染を観察すること、妊婦の体内の胎児を検査すること、ならびに誘導下生検、心臓の状態の診断、および心臓発作後の損傷の評価を助けることに、最も多く使用される。

【0028】

医療専門家が専門の作業を行うのを支援するのに使用されるデバイスの中で、撮像デバイスはより重要になってきており、患者の外表皮膚の深部の解剖学的構造および生理機能に関する情報を提供するのに使用される。換言すれば、撮像デバイスによって、医師および他の医療専門家は、侵襲的外科手術を要することなく、患者の体内を見ることが可能になる。

【0029】

上述したように、患者から収集したヘルスケア情報は、ＥＭＲとして記憶されることに加えて、印刷されるか、またはこれらのデータ収集デバイスに配線され直接接続されたモニタ上に表示されてもよい。情報が医療専門家にとって有用であるためには、即ちこの情報を解釈するには、医療従事者とプリントアウトまたは表示モニタとの間に直接の見通し線がなければならない。かかる要件は、情報の有用性と、診断または治療に役立つためのデバイスの配置とを限定することがある。多くのヘルスケア環境では、医療従事者は、直接注意を払う必要がある全ての関連情報を見るために、自身の焦点範囲を常に変化させ、自身の見通し線を調節するのが必要であり得る。かかる要件は、進行中の外科処置中に収集される情報の場合など、厄介であるかまたは場合によっては安全でないことがある。

【0030】

場合によっては、医療機器は、収集されたデータがすぐに利用可能である場合にのみ有用である。例えば、超音波誘導処置を実施し、それによって施術者が患者の体内における病変の生検を標的とする場合、施術者は、生体構造が損傷していないことを確認するため、自身の針または生検デバイスの先端の位置を常に知っていなければならない。そのため、このデータのリアルタイム解釈に必須の要素は、施術者にとってのリアルタイムの利用可能性である。

【0031】

本発明の実施形態は、全体として、標準的なデータ・ソース機器にリンクされたデバイス、方法、およびシステムを対象とする。標準的なデータ・ソース機器としては、超音波、血管造影、Ｘ線透視、光ファイバ、コンピュータ断層撮影、および磁気共鳴画像法の機械などの医療機器が挙げられるが、それらに限定されない。本発明の実施形態は、標準的なポートを通してソース機器に物理的に取り付けられた医療機器、無線接続、および光学センサなど、データ・ソース機器と相互作用するように構成されたデバイスが挙げられる。標準的なポートとしては、ＵＳＢ、ＨＤＭＩ、ＤＶＩ、ディスプレイ・ポート、ＶＧＡ、コンポーネント、コンポジット、およびＳ−ビデオ・ポートなどを挙げることができるが、それらに限定されない。データ・ソース機器の標準的なデータ出力ポートは、一実施形態に直接接続されてもよく、その実施形態は、アナログおよびデジタル・ソースからデータを取得し、低レイテンシ（即ち、＜２５０ｍｓ）で、元の形態もしくは修正された形態（例えば暗号化された形態）のどちらかで、データを無線で送信するように構成される。データの送信は、８０２．１１ａ、８０２．１１ｂ、８０２．１１ｎ、８０２．１１ａｃ、および８０２．１１ａｄなどのＷｉ−Ｆｉ規格、Ｂｌｕｅｔｏｏｔｈ、ならびに４Ｇまたは５Ｇネットワークを含む、無線プロトコルを通じて行ってもよい。データの送信は、パケット交換プロトコル、例えばユーザ・データ・プロトコル（ＵＤＰ）または送信制御プロトコル（ＴＣＰ）を使用して、実施されてもよい。

【0032】

一実施形態では、システムは、ソース機器から取得したデータのデータ・マイニングを可能にするコンピュータ視覚および／または光学文字認識（ＯＣＲ）アルゴリズムを含んでもよい。例えば、超音波機械から取得するとき、システムは、患者の名前、他の識別情報、画像獲得パラメータ、および／または他のテキスト・オーバーレイ情報など、取得したソース画像中に埋め込まれたデータ点を抽出してもよい。

【0033】

デバイスの一実施形態は、低レイテンシでのデータの送信を提供する。低レイテンシは、データ取得から標的の表示デバイス上での表示までで測定して、２５０ｍｓ未満であると近似的に見なされる。医療専門家は、ほぼリアルタイムのデータが安全で有効な治療を提供できることを必要とすることがあるので、低レイテンシは適用の重要な態様である。このデータの低レイテンシの取得および送信を確保するため、このデバイス／システムは、少なくともＣＰＵ（中央処理装置）、ＧＰＵ（画像処理装置）、および／または様々なＡＳＩＣ（特定用途向け集積回路）の構成要素を使用することによるマイクロプロセシング能力を含む。これらの構成要素は、共に働いて、安全な無線接続を通じた送信の前に、データの低レイテンシのハードウェア符号化および／またはトランスコーディングを提供するように構成される。それに加えて、ＧＰＵおよび／またはＡＳＩＣシステムを使用することによって、獲得したデータは、様々な環境センサからの入力に基づいて、様々な形式で表示されるように修正されてもよい。

【0034】

このデータを送信するため、システムは、ＷＰＡ、ＷＰＡ２、または他の符号化アルゴリズムなどのプロトコルを使用して、安全な接続を通じて無線でデータを送信するのを容易にする、無線アクセス・ポイントを含んでもよい。データは、デバイスがローカル・エリア・ネットワーク（ＬＡＮ）上または広域ネットワーク（ＷＡＮ）上にある状態で、送信されてもよい。ＬＡＮシステムは、符号化データがアクセス・ポイントの範囲を超えて送信されないので、機密情報、例えば個人の健康情報（ＰＨＩ）の送信にとって好ましいことがある。それに加えて、ＷＡＮシステムは、インターネットを介したデータの遠隔送信に利用されてもよく、広範囲のテレプレゼンスまたは遠隔医療の能力を促進してもよい。ＷｉＦｉプロトコルとは別に、更なる無線ストリーミングの解決策は、Ｂｌｕｅｔｏｏｔｈ規格または他の潜在的な規格によって規定されるような、他の高周波ベースの無線送信プロトコルを含んでもよい。

【0035】

それに加えて、一実施形態では、システムは、データが取得される機器に送信されてもよいコマンドのライブラリを含んでもよい。ライブラリは、インターネットへの無線接続を介して、またはデバイス上で局所的に実行されるパッチを使用して更新されてもよい。システムは、転送されるソース・データ・ソースのタイプを自動的に検出するように構成されてもよい。システムはまた、転送されるソース・データのタイプに基づいて、ライブラリから適切なＡＰＩを選択するように構成されてもよい。一実施形態では、自動選択の代わりに、またはそれに加えて、適切なＡＰＩの手動選択が実施されてもよい。

【0036】

ライブラリは、利用可能な特定のアプリケーション・プログラミング・インテグレーション（ＡＰＩ）を通して、接続された機器の無線制御を可能にするように構成される。例えば、例示の一実施形態では、ユーザは、音声コマンド、物理的ジェスチャ、または他の適切な方法を使用して、任意の数のコマンドをシステムに提示してもよい。次いで、コマンドは、システムによって解釈され、データが取得されるデバイスに中継されてもよい。次いで、コマンドによって、システムは、ユーザが意図するようにデータ獲得パラメータを変更する。

【0037】

一実施形態では、ＡＰＩシステムを使用して、第三者デバイスがシステムと通信する。ＡＰＩシステムは、デバイスのタイプ、ブランド、ファイル・タイプもしくは他のパラメータに基づいて第三者デバイスに合わせてカスタマイズ可能であってもよく、入力コマンド（音声、ジェスチャ、アイ・トラッキング、キーボード、マウス、もしくはトラックパッドなど）および環境センサ・データ（例えば取得したセンサ・データ（ジャイロセンサ、加速度計、レーザ測位システム、磁力計、および／もしくは光学カメラによって獲得されるものなど））を含む（但し、それらに限定されない）様々なコマンドおよび／または環境パラメータの送信および利用を可能にする。コマンドは、システムおよび／またはデータ・ソース機器の制御を可能にするように構成されてもよい。それに加えて、環境センサ・データは、ソース・データをコンテキスト修正するために、システムによって統合され解釈されてもよい。コンテキスト修正は、送信の前にシステムによって行われてもよい。送信デバイスによって送られた送信データは、次に、ウェアラブル・ユニットに送られるか、または別の方法で医療専門家などのユーザに対して表示されてもよい。

【0038】

例えば、一実現例では、ユーザは、針生検デバイスを使用して患者の肝臓内の部分の生検を標的とするために、超音波ソース・デバイスを使用しながら、カメラ、アイ・トラッカ、および／または測位センサなどのセンサを含むウェアラブル表示デバイスを利用する。この例では、超音波ソース機械は、システムが超音波機械からの画像を取得できるように、有線接続を通じてシステムに接続される。システムは、ＨＩＰＡＡ（医療保険の携行と責任に関する法律）に準拠して取得した超音波画像をウェアラブル・デバイスへと低レイテンシで送信することを可能にするように、安全な接続を通じてウェアラブル表示デバイスに無線で接続される。それに加えて、システムは、ウェアラブル・デバイスからの環境センサ・データに基づいて、取得した超音波ソース・データを三次元的に修正してもよい。次に、ソース・データの三次元的修正は、生検デバイスの経路も投影しながら、解剖学的精度を伴って患者の上に直接低レイテンシの投影を作成する。代替例では、低レイテンシの送信は、患者の上に投影するのではなく、ウェアラブル・デバイスを使用して視認可能とされてもよい。それに加えて、音声コマンドおよびジェスチャ制御によって、システムは、ユーザが、コンソール上のボタンを物理的に押す必要なしに、超音波ソース・デバイスの獲得パラメータを無線で変更することを可能にするように構成されてもよい。

【0039】

図１は、例示の実施形態による、汎用ストリーミング・デバイスに対する接続のフローチャートを示している。

【0040】

図１に示されるように、例示の実施形態によるシステム１００のフロー図が示されている。システム１００は、プロセッサおよびメモリなどのシステム１００の様々な構成要素間での情報を通信するように構成されたバスおよび／または他の通信メカニズムを含むコンピュータ・コンポーネントを含んでもよい。それに加えて、通信デバイスは、ネットワーク（図示なし）を通じてプロセッサから別のデバイスに送られるデータを符号化し、ネットワークを通じて別のシステムからプロセッサに受信したデータを復号することによって、プロセッサと他のデバイスとの間の接続性を可能にしてもよい。

【0041】

システム１００は、一実施形態による汎用ストリーミング・デバイス１０１への接続を含んでもよい。データ・ソース機器１０２は、例えば患者から、データを蓄積するように構成される。データ・ソース機器１０２はポート１０５を含んでもよく、ポート１０５を介して、一実施形態による汎用ストリーミング・デバイス１０１が、データ・ソース機器１０２に接続されてもよい。ポート１０５は、ＵＳＢ、ＨＤＭＩ、ＤＶＩ、Ｄｉｓｐｌａｙｐｏｒｔ、ＶＧＡ、コンポーネント、コンポジット、Ｓ−ビデオ、または他の入出力ポートであってもよい。

【0042】

一実施形態では、データ・ソース機器１０２は、汎用ストリーミング・デバイス１０１に物理的に接続されてもよい。代替実施形態では、データ・ソース機器１０２は、汎用ストリーミング・デバイス１０１に無線で接続されてもよい。システム１００はまた、表示デバイス１０３を含んでもよく、データ・ソース機器１０２によって収集されたデータが表示デバイス１０３に表示されてもよい。表示デバイス１０３は、一実施形態では、汎用ストリーミング・デバイス１０１に物理的に接続されてもよい。別の実施形態では、表示デバイス１０３は、汎用ストリーミング・デバイス１０１に無線で接続されてもよい。汎用ストリーミング・デバイス１０１とウェアラブルであってもよい表示デバイス１０３との間の接続１０７は、有線または無線であってもよい。

【0043】

表示デバイス１０３は、生体計測もしくは他のデータ、または収集したデータからアセンブルされた画像を表示するように構成された、表示モニタであってもよい。一実施形態では、表示デバイスは、データまたはデータから生成された画像を表示するウェアラブル・デバイスであってもよい。表示デバイスはまた、データまたはデータからアセンブルされた画像を提示する複数のデバイスであってもよい。表示デバイス１０３は、データまたはデータからアセンブルされた画像を二次元で、三次元で、ワイヤ・フレームとして、または患者の上のオーバーレイとして表示するように構成されてもよい。表示デバイス１０３は、患者の記録からなど、既存のデータまたは画像を統合するように構成されてもよい。

【0044】

一実施形態では、表示デバイス１０３はまた、少なくとも環境センサ１０４からの情報を統合してもよい。環境センサ１０４は、ジャイロセンサ、加速度計、レーザ測位システム、磁力計、光学センサ、または、データ蓄積もしくは撮像の対象の周りの環境を調査し測定するように構成された他のデバイスであってもよく、対象は、例えば、環境中で追跡されている患者または別のオブジェクトである。環境センサ１０４は、有線または無線である接続１０８を有してもよい。一実施形態では、表示デバイス１０３は、統合された環境センサ１０４と共に構成されてもよい。

【0045】

一実施形態では、汎用ストリーミング・デバイス１０１および表示デバイス１０３は、ウェアラブル・デバイスを使用して、ユーザが見ている環境を、データ・ソース機器１０２によって収集されているデータと統合するように構成される。表示デバイス１０３は、データおよび画像がウェアラブル・デバイスを介してユーザに対して表示されている状態で、ユーザが対象（即ち患者）をはっきり見ることを可能にするように構成される。したがって、ユーザは、患者を同時に外部から見ながら、対象の内部にあるかまたは対象内へと進入しているかのように重ね合わされた生態計測データおよび画像を見ることができる。

【0046】

一実施形態では、表示デバイス１０３は画像を投影するように構成されてもよい。表示デバイス１０３は、画像をユーザの視野内の表面上に投影するように構成されてもよい。例えば、表示デバイスは、データ・ソース機器１０２および環境センサ１０４からデータを受信して、ユーザの視線方向を認識し、データまたは画像を視線方向で表面上に投影してもよい。例えば、表示デバイス１０３は、壁、床、または適切な別の場所の上に投影を方向付けるように構成されてもよい。一実施形態では、表示デバイス１０３は、検査されている対象、または、それに関するデータが蓄積されている対象の身体上に、画像を投影するように構成されてもよい。

【0047】

一実施形態では、表示デバイス１０３は、ウェアラブル・デバイスの着用者のみに見えるようにデータおよび画像を表示するように構成されてもよい。そのようなウェアラブル・デバイスは、一対の透明レンズまたは他の光学デバイスとして具体化されてもよい。例えば、一実施形態では、表示デバイス１０３は、ウェアラブル・デバイスのユーザが、周囲環境を、ウェアラブル・デバイスを通して見える周囲環境上に重ね合わされたデータまたは画像と共に見ることができるように、データもしくは画像（または両方）をウェアラブル・デバイスの内表面上に重畳するように構成される。

【0048】

一実施形態では、システム１００は、ヒューマン・コンピュータ・インターフェース（ＨＣＩ）から、有線または無線でＨＣＩ入力ポート１０９を通して、入力を受信するように構成されてもよい。かかるＨＣＩは、キーボードおよびマウス、タッチパッド、または他の任意のタイプのＨＣＩを含んでもよい。一実施形態では、表示デバイス１０３は、様々なユーザ・コマンドの解釈を可能にするＨＣＩと共に構成されてもよい。これらのコマンドとしては、手のジェスチャ、音声コマンド、および／またはアイ・トラッキングを挙げることができるがそれらに限定されない。かかる実施形態では、ユーザは、表示デバイス１０３を通して提示されるコマンドを使用して、システム１００の様々なパラメータを直接制御することができてもよい。

【0049】

それに加えて、一実施形態では、データ・ソース機器１０２は、データ・ソース機器１０２へのデータ入力を受容するように構成されたポート１０６を有してもよい。ポート１０６は、ポート１０５とは別個の分離されたポートであってもよい。一実施形態では、ポート１０６はポート１０５と共通のポートであってもよい。ポート１０６は、データ・ソース機器１０２に対する制御コマンドを含んでもよい、データを受容するように構成されてもよい。一実施形態では、ＨＣＩ入力は、ＨＣＩの入力ポート１０９およびポート１０６を利用して、汎用ストリーミング・デバイス１０１を介してデータ・ソース機器１０２に渡されてもよい。かかる実施形態では、表示デバイス１０３は、データ・ソース機器１０２内の様々なデータ獲得パラメータを制御するのに、ＨＣＩとして使用されてもよい。

【0050】

図２は、例示の実施形態による、汎用ストリーミング・デバイス１０１の構成要素のフローチャートを示している。

【0051】

図２に示されるように、ストリーミング・デバイス２０１を含むシステム２００が示される。ストリーミング・デバイス２０１は、デバイス・メモリ２０２を含むように構成されてもよい。一実施形態では、デバイス・メモリ２０２は、上述したようなデータ・ソース機器１０２を制御するように構成されて得るＡＰＩのライブラリ２０３を含んでもよい。ストリーミング・デバイス２０１のデバイス・メモリ２０２はまた、様々なセンサ・データの入力を可能にするように構成されたＡＰＩ２０４を含んでもよい。ＡＰＩ２０４は、様々なＨＣＩコマンドの入力を可能にするように構成されてもよい。一実施形態では、ストリーミング・デバイス２０１は送信コンポーネント２０５を含んでもよい。一実施形態では、送信コンポーネント２０５は有線送信コンポーネントとして構成されてもよい。一実施形態では、送信コンポーネント２０５は無線送信コンポーネントとして構成されてもよい。

【0052】

一実施形態では、ストリーミング・デバイス２０１は、マイクロプロセッサ・システムであってもよいプロセッサ・システム２０６を含んでもよい。プロセッサ・システム２０６は、ＣＰＵ、ＧＰＵ、ＡＳＩＣＳを含む構成要素、および適切であれば他の構成要素を含んでもよい。一実施形態では、デバイス・メモリ２０２は、接続２０７を介してデータ・ソース機器１０２からデータを受信するように構成されてもよい。一実施形態では、デバイス・メモリ２０２は、接続２０８を介してデータ・ソース機器１０２にデータを送信するように構成されてもよい。

【0053】

一実施形態では、送信コンポーネント２０５は、接続２０９を介して環境センサ１０４からデータを受信するように構成されてもよい。一実施形態では、送信コンポーネント２０５は、接続２１０を介して表示デバイス１０３にデータを送信するように構成されてもよい。一実施形態では、送信コンポーネント２０５は、接続２１５を介してＨＣＩ入力データを受信するように構成されてもよい。それに加えて、送信コンポーネント２０５は、入力および出力接続２１１、２１２によってデバイス・メモリ２０２に接続されてもよい。プロセッサ・システム２０６は、入力および出力接続２１３、２１４によってデバイス・メモリ２０２に接続されてもよい。

【0054】

図３は、例示の実施形態による、様々なデータ点を含む例示の取得画像フレーム３００の図である。

【0055】

図３に示されるように、例示の取得画像フレームは、汎用ストリーミング・デバイス１０１が抽出するように構成され得る様々なデータ点を含んでもよい。ＯＣＲまたはコンピュータ・ビジョン・アルゴリズムは、患者識別情報３０１、画像獲得パラメータ３０２、測定情報３０４、または他のテキスト・オーバーレイ情報３０５を特定し抽出してもよい。一実施形態では、汎用ストリーミング・デバイス１０１はまた、医療画像３０３のコンピュータ支援検出（ＣＡＤ）を可能にするコンピュータ・ビジョン・アルゴリズムを有して構成されてもよい。

【0056】

図４は、例示の実施形態によるセンサ・データ入力および取得データの修正の図である。

【0057】

図４に示されるように、データ取得のシステム４００が示される。一実施形態では、メモリ・コンポーネント４０２は、入力４０５を介してメモリ・コンポーネント４０２に提供されるソース・データを記憶するように構成されてもよい。一実施形態では、メモリ・コンポーネント４０２は、接続４０６を介してメモリ・コンポーネント４０２に提供される環境データを記憶するように構成されてもよい。メモリ・コンポーネント４０２はまた、未加工または修正済みのデータをエクスポートするように構成された出力４０７を有してもよい。メモリ・コンポーネント４０２は出力４０７を含んでもよく、出力４０７を通してデータが出力デバイスに送られて、データおよび画像がシステム４００のユーザに利用可能にされてもよい。

【0058】

一実施形態では、メモリ・コンポーネント４０２は更に、出力４０８および入力４０９を通してデータが適切に低レイテンシで送信されることを確実にするように構成された構成要素を含むマイクロプロセシング・アレイ４０４に接続されてもよい。一実施形態では、マイクロプロセシング・アレイ４０４は、入力４０５および接続４０６からメモリ・コンポーネント４０２に入ってくるデータを分析する構成要素を含んでもよい。マイクロプロセシング・アレイ４０４は、デバイス４０１がコンテキスト化された出力を出力４０７を通してユーザに提供し得るように、メモリ・コンポーネント４０２に入力されるデータを分析し解釈してもよい。マイクロプロセシング・アレイは、出力４０７を介してユーザに出力されるデータがデバイス４０１を使用するユーザが面する環境および状況に対して適切にコンテキスト化されるように、デバイス４０１に入力されるデータを修正する少なくとも第１のＡＰＩを含んでもよい。図５は、例示の実施形態による、環境および要素の追跡を実証する例示の図である。図５に示されるように、追跡要素５０１は、データ・ソース機器５０３の追跡可能なコンポーネント５０２に固定されてもよい。この追跡要素、即ち基準マーカは、外部の環境センサ５０４を用いて、または、専門家５０６が着用し得る表示デバイス５０５に埋め込まれたセンサを用いて、追跡されてもよい。

【0059】

図６は、例示の実施形態による、専門家がシステムの一実施形態を使用しているところの図である。

【0060】

図６に示されるようにシステム６００が示され、医療専門家または他のユーザ６１０が、追跡可能な要素６１６（ここでは、超音波デバイスとして具体化されている）を用いて一個のデータ・ソース機器６０２を扱うのにシステム６００は用いられる。データ・ソース機器６０２はコンピュータ・コンポーネント６０３に接続され、コンピュータ・コンポーネント６０３はプロセッサ、バス、メモリ、およびＡＰＩなどのアルゴリズムを含んでもよい。コンピュータ・コンポーネント６０３は、コンピュータ・モニタなどのディスプレイに接続されてもよい。ユーザ６１０はまた、ウェアラブル・デバイス６１１を使用してもよい。デバイス６０１によってコンピュータ・コンポーネント６０３から取得されたデータは、修正済みまたは未修正のデータとして、表示デバイス６１１に送信されてもよい。データは、環境センサ６１４のデータ、ならびに、例えば図３によって概説したような取得したデータから抽出されたデータ点を利用して、コンテキスト的に適切な形で表示されるものとして修正されてもよい。一実施形態では、追跡可能な要素６０５は、コンピュータ・コンポーネント６０３によって組み込まれ得るとともにユーザ６１０に対して表示され得るデータを提供してもよい。追跡可能な要素６０５は、ウェアラブル要素（図示されるような）として、または、センサとして具体化されてもよく、あるいは、データ・ソース機器６０２の一部として組み込まれてもよい。このように、ユーザ６１０は、本発明の一実施形態にしたがってデバイス６０１によって提供されるコンテキスト化されるかまたはコンテキスト修正されたソース画像を見てもよい。コンテキスト修正された画像およびコンテキスト修正されたソース画像は、テキスト、アイコン、図形、または他の任意の画像タイプを含むことができる。画像はいかなる形でも限定的であることを意味しない。

【0061】

一実施形態では、ウェアラブル・デバイス６１１は、ウェアラブル・デバイス６１１内で、ユーザ６１０が見るためのコンテキスト化された画像を表示する。別の実施形態では、ウェアラブル・デバイス６１１は、画像６１３として示されるコンテキスト化された画像を、患者６１２を含む表面上にブロードキャストまたは投影してもよい。

【0062】

代替実施形態では、ユーザ６１０は、手持ち式またはウェアラブルの画像投影デバイスを制御してもよく、それによって、視野の近傍にいる誰もが画像６１３を見ることができるように、画像が表面または患者６１２上に投影される。

【0063】

図７は、例示の実施形態による、磁気ベースの自己整列基準マーカ・システムの図である。

【0064】

図７に示されるように、画像誘導処置中における術野の殺菌前後の追跡可能な基準マーカを相関させるシステム７００が、利用されてもよい。一実施形態では、非無菌磁石７０３は、非無菌磁石を患者７０１に固着することを可能にする接着性の裏材７０２を有する。非無菌磁石は、相補的な磁気表面に固着される非無菌の追跡可能な識別子７０５を有してもよい。そのため、非無菌基準アセンブリ７０９は、接着性の裏材７０２、非無菌磁石７０３、およびドレープ７０４など、コンポーネントのアセンブリを包含してもよい。患者の殺菌前に、環境センサ７０８が非無菌基準アセンブリ７０９を追跡してもよい。患者の殺菌に続いて、ドレープ７０４が、患者の上に重ねられてもよく、非無菌基準アセンブリ７０９を覆って環境センサ７０８による直接追跡を防いでもよい。

【0065】

無菌基準アセンブリ７１０は、非無菌磁石７０３に対する正確なアライメントを可能にする相補的な引力および性質を有する無菌磁石７０６のアセンブリを含む。無菌磁石７０６は、環境センサ７０８が追跡することができる非相補的な磁気表面上に無菌の追跡可能なマーカ７０７を有してもよい。ドレープが非無菌基準アセンブリ７０９を覆った状態で、無菌基準アセンブリ７１０を、固有の磁気特性を使用して７０９に対して重ね合わせ正確に位置決めすることができる。

【0066】

図８は、専門家が、例示の実施形態による自己整列基準マーカ・システムを含むシステムの一実施形態を使用しているところの図である。

【0067】

図８に示されるように、システム８００によって、医療専門家または他のユーザ８０３が、データ・ソース機器８０１（一実施形態ではＣＴスキャンによって示される）を使用しており、患者８０２に対する画像誘導処置を実施する。この例では、ユーザ８０３は、無菌ドレープ８０５が患者８０２の上に重なっている状態で、患者構造８０８に関係する患者無菌領域８０６で作業している。追跡可能であって図７に示されるものに類似した、２つの基準マーカ８０７ａおよび８０７ｂは、無菌領域内の適所にある。外部センサ８０９は基準マーカ８０７ａおよび８０７ｂを追跡してもよい。一実施形態では、ウェアラブル表示デバイス８０４はまた、少なくとも第１の外部センサを含んでもよく、この追加のセンサは基準マーカ８０７ａおよび８０７ｂを追跡するのを可能にする。一実施形態では、基準マーカ８０７ａおよび８０７ｂに隣接した領域局所解剖学的およびテクスチャの特徴は、外部センサ８０９によって感知されるような追跡可能領域を拡張してもよい。

【0068】

データ・ソース機器８０１は、プロセッサ、バス、メモリ、およびＡＰＩなどのアルゴリズムを含み得るコンピュータ・コンポーネント８１０に接続されてもよい。コンピュータ・コンポーネント８１０は、コンピュータ・モニタなどのディスプレイに接続されてもよい。ユーザ８０３はまた、ウェアラブル表示デバイス８０４を使用してもよい。コンピュータ・コンポーネント８１０によってデータ・ソース機器８０１から取得したデータは、修正済みまたは未修正のデータとして、表示デバイス８１１またはウェアラブル・デバイス８０４に送信されてもよい。データは、８０７ａ、８０７ｂ、これらの両方、または更なる追加のマーカなどの任意の数の基準マーカを追跡しながら、外部センサ８０９を利用して、コンテキスト的に適切な形で表示されるように修正されてもよい。一実施形態では、データは、例えば図３によって概説したようなコンピュータ・コンポーネント８１０によって取得されたデータから、または、８０１から導き出されたソース画像データ（例えばソース画像）内に埋め込まれたメタデータから、修正されてもよい。このように、ユーザ８０３は、本発明の一実施形態にしたがってデータ・ソース機器８０１によって提供されるコンテキスト化されるかまたはコンテキスト修正された画像を見てもよい。

【0069】

本明細書で考察する様々な実施形態は、中でも特に、ＣＴ、超音波、ＭＲＩ、Ｘ線透視、血管造影、ならびに腹腔鏡検査、結腸鏡検査、内視鏡下十二指腸鏡検査（ＥＧＤ）、および膀胱鏡検査の間に撮像されるような光学ファイバスコープ画像などの医療画像を含む様々なデータを取得し表示するのに使用されてもよい。データは、画像、ならびに血圧、心拍数、呼吸数、パルス酸素化、温度、および他の生体計測読取り値などの生命徴候を含んでもよい。データはまた、心電図記録（ＥＫＧ）、脳波記録（ＥＥＧ）、筋電図記録、および他のかかるデータを含んでもよい。更に、一実施形態は、人工呼吸器、透析機械、体外式膜型人口肺（ＥＣＭＯ）機械、およびその他など、様々な生命維持システムの設定およびデータ・パラメータを含んでもよい。一実施形態では、データはまた、別の方法では電子カルテに記憶されて得る実験室データ、病理学データ、および微生物学データを含み、組み込んでもよい。

【0070】

本明細書に記載するシステムは、外科処置の間、医療処置中の生体情報および画像のリアルタイムまたはほぼリアルタイムの読出しを医療専門家に提供するのに有用であってもよい。一部のかかる外科処置は、中でも特に、腹腔鏡検査、膀胱鏡検査、気管支鏡検査、結腸鏡検査、内視鏡検査、および喉頭鏡検査を含む、ファイバスコープ支援の処置を含んでもよい。他の一部の外科処置は、肝臓、腎臓、骨、または他の生検、静脈もしくは動脈カテーテル配置、血管造影、尿生殖器介入、整形外科、眼科的介入、肝胆嚢介入、神経学的介入、および他の処置など、超音波または他のＸ線透視介入を含んでもよい。

【0071】

ウェアラブル・デバイスは、システムのユーザが、データおよび画像両方を見ること、ならびにデータを収集するデバイスを制御することを可能にする複数のウェアラブル・コンポーネントを含んでもよい、ウェアラブル・デバイスのシステムとして具体化されてもよい。複数のウェアラブル・コンポーネントは、ジェスチャを解釈してどのデータおよび画像を表示するかを制御する構成要素を含んでもよい。一実施形態では、ウェアラブル・コンポーネントは、ジェスチャを解釈してデータ収集デバイスを制御するように構成されてもよい。

【0072】

当業者であれば、上述したような本発明は、異なる順序のステップで、ならびに／あるいは開示したのとは異なる構成の要素を用いて実施されてもよいことを、容易に理解するであろう。したがって、これらの好ましい実施形態に基づいて本発明について記載してきたが、本発明の趣旨および範囲内にありながら、特定の修正、変形、および代替構造が明らかであろうことが、当業者には明白であろう。
以下の項目は、国際出願時の特許請求の範囲に記載の要素である。
（項目１）
統合された診断試験およびリアルタイム治療のシステムであって、
少なくとも１つのソース画像が基準マーカを含む複数のソース画像を取得するように構成された、医療データ蓄積デバイスと、
取得された複数のソース画像をデータ・ストリームに符号化するように構成された、低レイテンシ・エンコーダと、
センサ・データを取得するように構成された、環境センサ・デバイスと、
取得されたセンサ・データおよび前記基準マーカに基づいて、ソース画像をコンテキスト修正するように構成された、プロセッサと、
コンテキスト修正されたソース画像を表示デバイスに送信するように構成された、送信デバイス、
を備えるシステム。
（項目２）
前記表示デバイスがウェアラブルである、項目１に記載のシステム。
（項目３）
前記医療データ蓄積デバイスが医療ツールである、項目１に記載のシステム。
（項目４）
前記医療ツールが、患者の体内からの非侵襲的映像を提供するように構成された撮像デバイスを含む、項目３に記載のシステム。
（項目５）
前記プロセッサが、ウェアラブル・デバイスからの入力に基づいてソース画像を更に修正する、項目１に記載のシステム。
（項目６）
前記ソース画像のコンテキスト修正がリアルタイムで実施される、項目１に記載のシステム。
（項目７）
コンテキスト修正された前記ソース画像が患者の上のオーバーレイを含む、項目１に記載のシステム。
（項目８）
統合された診断試験およびリアルタイム治療の方法であって、
少なくとも１つの医療ソース画像が基準マーカを含む複数の医療ソース画像を取得するステップと、
取得された複数の前記医療ソース画像を、低レイテンシ・エンコーダを使用して、データ・ストリームに符号化するステップと、
環境センサ・データを取得するステップと、
取得された前記環境センサ・データおよび前記基準マーカに基づいて、前記医療ソース画像の少なくとも１つをコンテキスト修正するステップと、
コンテキスト修正された前記医療ソース画像の少なくとも１つを表示デバイスに送信するステップ、
を含む方法。
（項目９）
前記表示デバイスがウェアラブルである、項目８に記載の方法。
（項目１０）
複数の前記医療ソース画像を取得する前記ステップが、医療ツールを用いて実施される、項目８に記載の方法。
（項目１１）
前記医療ツールが患者の体内からの非侵襲的映像を提供する、項目１０に記載の方法。
（項目１２）
ウェアラブル・デバイスからの入力に基づいて、前記医療ソース画像の少なくとも１つを修正するステップを更に含む、項目８に記載の方法。
（項目１３）
前記医療ソース画像の少なくとも１つのコンテキスト修正がリアルタイムで実施される、項目８に記載の方法。
（項目１４）
前記医療ソース画像の少なくとも１つの前記コンテキスト修正が患者の上のオーバーレイを含む、項目８に記載の方法。
（項目１５）
統合された診断試験およびリアルタイム治療のための、命令が記憶された非一時的コンピュータ可読媒体であって、前記試験および治療が、
少なくとも１つの医療ソース画像が基準マーカを含む複数の医療ソース画像を取得するステップと、
取得された複数の前記医療ソース画像を、低レイテンシ・エンコーダを使用して、データ・ストリームに符号化するステップと、
環境センサ・データを取得するステップと、
取得された前記環境センサ・データおよび前記基準マーカに基づいて、前記医療ソース画像の少なくとも１つをコンテキスト修正するステップと、
コンテキスト修正された前記医療ソース画像の少なくとも１つを表示デバイスに送信するステップ、
を含む、非一時的コンピュータ可読媒体。
（項目１６）
前記表示デバイスがウェアラブルである、項目１５に記載の非一時的コンピュータ可読媒体。
（項目１７）
複数の前記医療ソース画像を取得する前記ステップが、患者の体内からの非侵襲的映像を提供する医療ツールを用いて実施される、項目１５に記載の非一時的コンピュータ可読媒体。
（項目１８）
ウェアラブル・デバイスからの入力に基づいて、前記医療ソース画像の少なくとも１つを修正するステップを更に含む、項目１５に記載の非一時的コンピュータ可読媒体。
（項目１９）
前記医療ソース画像の少なくとも１つのコンテキスト修正がリアルタイムで実施される、項目１５に記載の非一時的コンピュータ可読媒体。
（項目２０）
前記医療ソース画像の少なくとも１つの前記コンテキスト修正が患者の上のオーバーレイを含む、項目１５に記載の非一時的コンピュータ可読媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】