知財求人 - 知財ポータルサイト「IP Force」
▶ インテュイティブ サージカル オペレーションズ， インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024052761
(43)【公開日】2024-04-12
(54)【発明の名称】マルチモダリティ画像表示を備えた手術システム
(51)【国際特許分類】
A61B 34/00 20160101AFI20240405BHJP
【ＦＩ】
A61B34/00
【審査請求】有
【請求項の数】18
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024017572
(22)【出願日】2024-02-08
(62)【分割の表示】P 2022209744の分割
【原出願日】2017-11-10
(31)【優先権主張番号】62/421,095
(32)【優先日】2016-11-11
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】510253996
【氏名又は名称】インテュイティブ サージカル オペレーションズ， インコーポレイテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ソージャー，ジョナサン，エム．
(72)【発明者】
【氏名】アズィズィアン，マーディ
(72)【発明者】
【氏名】ブランダオ，カレン，シー．
(72)【発明者】
【氏名】ディマイオ，サイモン，ピー．
(72)【発明者】
【氏名】ホフマン，ブライアン，ディー．
(57)【要約】
【課題】手術シーンのマルチモダリティ画像を生成するための方法を提供する。
【解決手段】
方法は：手術シーンから反射された光を取り込むステップと；第１のモダリティ画像に対応する第１の画像情報を生成するステップと；第２のモダリティ画像に対応する第２の画像情報を生成するステップと；第２のモダリティ画像の部分を選択するステップであって、選択された前記部分内に含まれる解剖学的構造情報に少なくとも部分的に基づいて、第２のモダリティ画像の部分を選択するステップと；手術シーンの第１のモダリティ画像の少なくとも一部および第２のモダリティ画像の選択された部分を表示内に同時に生成するステップと；を含む、方法が提供される。
【選択図】図２１Ａ
【解決手段】
方法は：手術シーンから反射された光を取り込むステップと；第１のモダリティ画像に対応する第１の画像情報を生成するステップと；第２のモダリティ画像に対応する第２の画像情報を生成するステップと；第２のモダリティ画像の部分を選択するステップであって、選択された前記部分内に含まれる解剖学的構造情報に少なくとも部分的に基づいて、第２のモダリティ画像の部分を選択するステップと；手術シーンの第１のモダリティ画像の少なくとも一部および第２のモダリティ画像の選択された部分を表示内に同時に生成するステップと；を含む、方法が提供される。
【選択図】図２１Ａ
【特許請求の範囲】
【請求項1】
メモリに結合された１つ又は複数のプロセッサであって：
手術シーンの第１のモダリティ画像及び前記手術シーンの第２のモダリティ画像を受信し；
前記手術シーンに関連付けられた手術ステージ情報を受信し；
前記手術ステージ情報に基づいて表示モダリティを選択し；
ディスプレイに、選択された前記表示モダリティに基づいて、前記手術シーンの前記第１のモダリティ画像の少なくとも一部及び前記手術シーンの前記第２のモダリティ画像の少なくとも一部を同時に提示する；
ように構成された１つ又は複数のプロセッサ、を有する、
手術システム。
手術シーンの第１のモダリティ画像及び前記手術シーンの第２のモダリティ画像を受信し；
前記手術シーンに関連付けられた手術ステージ情報を受信し；
前記手術ステージ情報に基づいて表示モダリティを選択し；
ディスプレイに、選択された前記表示モダリティに基づいて、前記手術シーンの前記第１のモダリティ画像の少なくとも一部及び前記手術シーンの前記第２のモダリティ画像の少なくとも一部を同時に提示する；
ように構成された１つ又は複数のプロセッサ、を有する、
手術システム。
【請求項2】
前記手術ステージ情報は、システム作動状態を含む、
請求項１に記載の手術システム。
請求項１に記載の手術システム。
【請求項3】
前記手術ステージ情報は、手術器具の運動学的情報を含む、
請求項１に記載の手術システム。
請求項１に記載の手術システム。
【請求項4】
前記１つ又は複数のプロセッサはさらに、前記第２のモダリティ画像内に含まれる解剖学的構造の情報に少なくとも部分的に基づいて前記第２のモダリティ画像の前記少なくとも一部を選択するように構成される、
請求項１に記載の手術システム。
請求項１に記載の手術システム。
【請求項5】
前記１つ又は複数のプロセッサはさらに、前記手術ステージ情報が画像選択ルールに一致することに応答して前記第２のモダリティ画像の前記少なくとも一部を選択するように構成される、
請求項１に記載の手術システム。
請求項１に記載の手術システム。
【請求項6】
前記１つ又は複数のプロセッサはさらに、前記手術ステージ情報が手術ステージルールに一致することに応答して前記表示モダリティを選択するように構成される、
請求項１に記載の手術システム。
請求項１に記載の手術システム。
【請求項7】
前記１つ又は複数のプロセッサはさらに、前記手術ステージ情報に少なくとも部分的に基づいて手術ステージ識別特性を生成するために機械学習を使用するように構成される、
請求項１に記載の手術システム。
請求項１に記載の手術システム。
【請求項8】
前記１つ又は複数のプロセッサはさらに、前記手術ステージ識別特性に対応する前記表示モダリティを選択するように構成される、
請求項７に記載の手術システム。
請求項７に記載の手術システム。
【請求項9】
メモリに結合された１つ又は複数のプロセッサであって：
１つ又は複数の以前の手術処置中の１つ又は複数の手術シーンの１つ又は複数の画像についての１つ又は複数の画像識別特性を識別し；
手術シーンの第１のモダリティ画像及び前記手術シーンの第２のモダリティ画像を受信し；
前記１つ又は複数の画像識別特性のうちの画像識別特性と前記第１のモダリティ画像又は前記第２のモダリティ画像との間の一致を識別し；
少なくとも前記画像識別特性によって表される１つ又は複数のルールに基づいて前記第１のモダリティ画像の一部又は前記第２のモダリティ画像の一部を選択し；
ディスプレイに、前記手術シーンの前記第１のモダリティ画像の前記一部及び前記手術シーンの前記第２のモダリティ画像の前記一部を同時に提示する；
ように構成された１つ又は複数のプロセッサ、を有する、
手術システム。
１つ又は複数の以前の手術処置中の１つ又は複数の手術シーンの１つ又は複数の画像についての１つ又は複数の画像識別特性を識別し；
手術シーンの第１のモダリティ画像及び前記手術シーンの第２のモダリティ画像を受信し；
前記１つ又は複数の画像識別特性のうちの画像識別特性と前記第１のモダリティ画像又は前記第２のモダリティ画像との間の一致を識別し；
少なくとも前記画像識別特性によって表される１つ又は複数のルールに基づいて前記第１のモダリティ画像の一部又は前記第２のモダリティ画像の一部を選択し；
ディスプレイに、前記手術シーンの前記第１のモダリティ画像の前記一部及び前記手術シーンの前記第２のモダリティ画像の前記一部を同時に提示する；
ように構成された１つ又は複数のプロセッサ、を有する、
手術システム。
【請求項10】
前記１つ又は複数のプロセッサはさらに、少なくとも前記１つ又は複数の画像に基づいて前記１つ又は複数の画像識別特性を生成するために機械学習を使用するように構成される、
請求項９に記載の手術システム。
請求項９に記載の手術システム。
【請求項11】
前記１つ又は複数のプロセッサはさらに、前記１つ又は複数の画像識別特性のうちの前記画像識別特性と前記第１のモダリティ画像又は前記第２のモダリティ画像の少なくとも１つとの間の前記一致を識別するために機械学習を使用するように構成される、
請求項９に記載の手術システム。
請求項９に記載の手術システム。
【請求項12】
前記１つ又は複数のプロセッサはさらに、手術ステージ情報を受信し、前記手術ステージ情報に対応する表示モダリティを選択するように構成される、
請求項９に記載の手術システム。
請求項９に記載の手術システム。
【請求項13】
手術システムの１つ又は複数のプロセッサが、手術シーンの第１のモダリティ画像及び前記手術シーンの第２のモダリティ画像を受信するステップと；
前記１つ又は複数のプロセッサが、前記手術シーンに関連付けられた手術ステージ情報を受信するステップと；
前記１つ又は複数のプロセッサが、前記手術ステージ情報に基づいて表示モダリティを選択するステップと；
ディスプレイに、選択された前記表示モダリティに基づいて、前記手術シーンの前記第１のモダリティ画像の少なくとも一部及び前記手術シーンの前記第２のモダリティ画像の少なくとも一部を提示するステップと；
を含む、コンピュータに実装される方法。
前記１つ又は複数のプロセッサが、前記手術シーンに関連付けられた手術ステージ情報を受信するステップと；
前記１つ又は複数のプロセッサが、前記手術ステージ情報に基づいて表示モダリティを選択するステップと；
ディスプレイに、選択された前記表示モダリティに基づいて、前記手術シーンの前記第１のモダリティ画像の少なくとも一部及び前記手術シーンの前記第２のモダリティ画像の少なくとも一部を提示するステップと；
を含む、コンピュータに実装される方法。
【請求項14】
前記手術ステージ情報は、システム作動状態又は手術器具の運動学的情報を含む、
請求項１３に記載のコンピュータに実装される方法。
請求項１３に記載のコンピュータに実装される方法。
【請求項15】
前記第１のモダリティ画像又は前記第２のモダリティ画像の少なくとも１つと、１つ又は複数の以前の手術処置の１つ又は複数の手術シーンについての１つ又は複数の画像識別特性のうちの画像識別特的との間の一致を識別するステップをさらに含む、
請求項１３に記載のコンピュータに実装される方法。
請求項１３に記載のコンピュータに実装される方法。
【請求項16】
前記１つ又は複数の画像識別特性のうちの前記画像識別特性と前記第１のモダリティ画像又は前記第２のモダリティ画像の少なくとも１つとの間の前記一致を識別するために機械学習を使用するステップをさらに含む、
請求項１５に記載のコンピュータに実装される方法。
請求項１５に記載のコンピュータに実装される方法。
【請求項17】
機械学習を使用して前記１つ又は複数の画像識別特性を生成するステップをさらに含む、
請求項１５に記載のコンピュータに実装される方法。
請求項１５に記載のコンピュータに実装される方法。
【請求項18】
少なくとも前記画像識別特性によって表される１つ又は複数のルールに基づいて少なくとも前記第１のモダリティ画像の前記一部又は前記第２のモダリティ画像の前記一部を選択するステップをさらに含む、
請求項１５に記載のコンピュータに実装される方法。
請求項１５に記載のコンピュータに実装される方法。
【発明の詳細な説明】
【技術分野】
【0001】
（優先権の主張）
本出願は、２０１６年１１月１１日に出願された米国特許出願第６２／４２１，０９５号の優先権の利益を主張し、この米国特許出願はその全体が参照により本出願に援用される。
本出願は、２０１６年１１月１１日に出願された米国特許出願第６２／４２１，０９５号の優先権の利益を主張し、この米国特許出願はその全体が参照により本出願に援用される。
【0002】
本出願は、マルチモダリティ画像表示を備えた手術システムに関する。
【背景技術】
【0003】
画像誘導手術技術は、手術シーン内の解剖学的対象物（anatomical object）の内部構造を可視化する能力を外科医に提供する。向上した可視化能力は、外科医が、手術器具の実際の位置と、解剖学的対象物内の重要または隠れた解剖学的構造との物理的関係をより良く知覚することを可能にし、これはより安全かつより効果的な低侵襲手術処置をもたらすことができる。
【発明の概要】
【0004】
以下の概要は、基本的な理解を提供するために、発明の主題事項の特定の態様を紹介する。この概要は、本発明の主題の広範な概観ではなく、重要な要素若しくは重要な要素を特定すること又は発明の主題の範囲を線引きすることを意図するものではない。本概要は、本発明の主題の様々な態様および実施形態に関連する情報を含むが、その唯一の目的は、下記のより詳細な説明の前文として、いくつかの態様および実施形態を一般的な形態で提示することである。
【0005】
一態様では、手術シーンのマルチモダリティ画像を生成するための方法が提供される。カメラが、手術シーンから反射された光を取り込む。手術シーンの第１のモダリティ画像に対応する第１の画像情報が生成される。手術シーンに対応する第２のモダリティ画像情報が生成される。第２のモダリティ画像の部分は、それが含む解剖学的構造情報に少なくとも部分的に基づいて選択される。コンピュータが、第１の画像情報および第２の画像情報を使用して、手術シーンの第１のモダリティ画像の少なくとも一部および手術シーンの第２のモダリティ画像の選択された部分を表示内に同時に生成するように構成される。
【0006】
別の態様では、手術シーンのマルチモダリティ画像を生成する方法が提供される。カメラが、手術シーンから反射された光を取り込む。手術シーンの第１のモダリティ画像に対応する第１の画像情報が生成される。手術シーンの第２のモダリティ画像に対応する第２の画像情報が生成される。ユーザの眼の焦点位置が、表示内で追跡される。第２のモダリティ画像の一部が、少なくとも部分的に追跡されたユーザの眼の焦点に基づいて選択される。コンピュータが、第１の画像情報および第２の画像情報を使用して、手術シーンの第１のモダリティ画像の少なくとも一部および手術シーンの第２のモダリティ画像の選択された部分を表示内に同時に生成するように構成される。
【0007】
さらに別の態様では、手術シーンのマルチモダリティ画像を生成する方法が提供される。カメラが、手術シーンから反射された光を取り込む。手術シーンの第１のモダリティ画像に対応する第１の画像情報が生成される。手術シーンの第２のモダリティ画像に対応する第２の画像情報が生成される。手術処置の過程で手術ステージ（Surgical stage）が追跡される。モダリティ画像フォーマットが、少なくとも部分的に追跡された手術段階に基づいて選択される。コンピュータが、第１の画像情報および第２の画像情報を使用して、選択されたフォーマットで表示内に第１のモダリティ画像の少なくとも一部および第２のモダリティ画像の少なくとも一部を生成するように構成される。
【図面の簡単な説明】
【0008】
【図1】低侵襲遠隔操作手術システムの平面図である。
【図2】外科医のコンソールの斜視図である。
【図3】エレクトロニクスカートの斜視図である。
【図4】遠隔操作手術システムの図式図である。
【図5A】遠隔操作手術システムの例示的な図である。
【図5B】手術システムの患者側カートの斜視図である。
【図5C】手術シーンを表し、いくつかの実施形態に従って、シーンを記録するために使用されるカメラおよび光波長をフィルタするための光フィルタを取り付ける内視鏡も示す説明図である。
【図6】手術器具の立面図である。
【図7】器具マニピュレータの斜視図である。
【図8】手術計画ツールのダイアグラム図である。
【図9】いくつかの実施形態に従う、非一時的記憶デバイス内に記憶された手術情報アトラス（surgical information atlas）を示す、例示的な図である。
【図10】いくつかの実施形態による、手術情報アトラス内に記憶された例示的な手術記録情報構造の特定の詳細を示す例示的な図である。
【図11】いくつかの実施形態による、手術シーンの例示の明確な画像を示す例示的な図である。
【図12】第１の解剖学的対象物内の解剖学的構造の画像が狭帯域イメージング（ＮＢＩ）表示モダリティを通してハイライトされている図１１の例示的な手術シーンの例示的な狭帯域画像モダリティ画像を表す例示的な図である。
【図21A】いくつかの実施形態によるマルチモダリティ手術画像を動的に提示する第１のプロセスを表す例示的なフロー図である。
【図21B】異なる画像モダリティ画像を生成するために使用することができる非一時的記憶装置に記憶されたそれぞれの第１の画像情報を表す例示的な図である。
【図21C】異なる画像モダリティ画像部分を生成するために使用することができる非一時的記憶装置に記憶されたそれぞれの第２の画像部分情報を表す例示的な図である。
【図22】いくつかの実施形態による表示モダリティおよび選択された表示モダリティの部分を選択するためのサブプロセスの詳細を表す例示的なフロー図である。
【図23】いくつかの実施形態による画像モダリティのユーザ選択を受け取るためのサブプロセスの詳細を表す例示的なフロー図である。
【図24】いくつかの実施形態による手術システムのビューア内に表示される例示のモダリティ選択ユーザインタフェースＵＩを示す例示的な図である。
【図25A】いくつかの実施形態による二次元アイトラッキングを示す例示的な図である。
【図25B】いくつかの実施形態による二次元アイトラッキングを示す例示的な図である。
【図25C】いくつかの実施形態による深さアイトラッキングを示す例示的な図である。
【図26】いくつかの実施形態によるマルチモダリティ表示フォーマットを選択するためのサブプロセスの詳細を表す例示的なフロー図である。
【図27】いくつかの実施形態による手術システムのビューア内に表示される例示的なフォーマット選択ユーザインタフェースＵＩを示す、例示的な図である。
【図28】いくつかの実施形態による手術ステージ情報および対応する手術ステージルール（surgical stage rules）が一緒に表示モダリティを示すかどうかを決定するためのサブプロセスの特定の詳細を表す例示的なフロー図である。
【図29】いくつかの実施形態による例示的な手術ステージ識別特性（surgical stage signatures）および対応するモダリティを表す例示的な図である。
【図30】いくつかの実施形態による画像モダリティ部分を生成するためのサブプロセスの特定の詳細を表す例示的なフロー図である。
【図31】いくつかの実施形態による、例示的な画像識別特性および対応する注釈を表す例示的な図である。
【発明を実施するための形態】
【0009】
本発明の態様、実施形態、実装、または用途を示すこの説明および添付の図面は、限定として解釈されるべきではなく、特許請求の範囲が保護される発明を定義する。この説明および特許請求の範囲の精神および範囲から逸脱することなく、様々な機械的、組成的、構造的、電気的、および動作上の変更を加えることができる。いくつかの例では、本発明を曖昧にしないために、よく知られている回路、構造、または技法は詳細に示されていないかまたは説明されていない。２つ以上の図中の類似の番号は、同一または類似の要素を表す。
【0010】
以下の説明は、当業者が手術システムにおいてマルチモダリティ画像を作成し且つ使用することを可能にするために提示される。本実施形態に対する種々の修正は、当業者には容易に明らかであり、本明細書で定義される一般的な原理は、本発明の主題の精神および範囲から逸脱することなく、他の実施形態および用途に適用され得る。さらに、以下の説明では、説明目的で多くの詳細が記載されている。しかし、当業者は、本発明の主題がこれらの特定の詳細を使用することなく実施され得ることを理解するであろう。他の例において、よく知られた機械構成要素、プロセス及びデータ構造は、不必要な詳細で本開示を不明瞭にしないために、ブロック図の形式で示される。同一の参照番号は、異なる図面において同一のアイテムの異なる図を表すために使用することができる。下記に参照される図面のフロー図は、プロセスを表すために使用される。コンピュータシステムが、これらのプロセスのいくつかを実行するように構成され得る。コンピュータ実施プロセスを表すフロー図内のブロックは、これらのモジュールを参照して説明した動作を実行するコンピュータプログラムコードによるコンピュータシステムの構成を表す。従って、本発明の主題は、示された実施形態に限定されることを意図するものではなく、本明細書に開示された原理および特徴と一致する最も広い範囲を与えられるべきである。
【0011】
低侵襲遠隔操作手術システム
遠隔操作は、離れた機械の操作をいう。低侵襲遠隔操作医療システムにおいて、外科医は、患者の体内の手術部位を見るためのカメラを含む内視鏡を使用することができる。いくつかの実施形態では、立体画像が取り込まれることができ、これは、手術処置の間の深さの認識を可能にする。
遠隔操作は、離れた機械の操作をいう。低侵襲遠隔操作医療システムにおいて、外科医は、患者の体内の手術部位を見るためのカメラを含む内視鏡を使用することができる。いくつかの実施形態では、立体画像が取り込まれることができ、これは、手術処置の間の深さの認識を可能にする。
【0012】
図１は、手術台１４上に横たわっている患者１２への低侵襲の診断または手術処置を実施するために典型的に使用される、低侵襲遠隔操作手術システム１０の例示的な平面図である。このシステムは、外科医１８が処置中に使用するための外科医のコンソール１６を含む。１または複数の助手２０もまた、この処置に参加することができる。低侵襲遠隔操作手術システム１０は、患者側カート（複数可）２２およびエレクトロニクスカート２４をさらに含む。患者側カート２２は、外科医１８が外科医のコンソール１６を通して手術部位を見ている間に、患者１２の身体における低侵襲切開部を通して少なくとも１つの手術器具２６を操作することができる。手術部位の画像は、立体内視鏡などの内視鏡２８によって取得されることができ、これは患者側カート２２によって操作されて内視鏡２８を配向させることができる。エレクトロニクスカート２４上に位置するコンピュータプロセッサが、外科医のコンソール１６を通して外科医１８への後の表示のために、手術部位の画像を処理するために使用されることができる。個別のシステム構成要素（すなわち、患者側カート２２、エレクトロニクスカート２４、および外科医のコンソール１６）は、例示的な目的のために図示され、説明されているが、種々の実施形態において、そこに含まれる構成要素は、組み合わされ、および／または分離され得ることに留意されたい。例えば、いくつかの実施形態では、エレクトロニクスカート２４のコンピュータプロセッサは、外科医のコンソール１６および／または患者側カート２２に組み込まれることができる。一度に使用される手術器具２６の数は、一般に、他の要因の中でも診断または手術処置および手術部位内の空間的制約に依存する。処置中に使用される手術器具２６の１つまたは複数を交換する必要がある場合、助手２０が、手術器具２６を患者側カート２２から取り外し、それを手術室のトレイ３０からの別の手術器具２６と交換することができる。
【0013】
図２は、外科医のコンソール１６の斜視図である。外科医のコンソール１６は、外科医１８に深さ知覚を可能にする手術部位の協調立体視図を提示するための左目ディスプレイ３２および右目ディスプレイ３４を含むビューアディスプレイ３１を含む。コンソール１６は、さらに、１つまたは複数の制御入力部３６を含む。患者側カート２２（図１に示す）で使用するために設置された１つまたは複数の手術器具は、外科医１８による１つまたは複数の制御入力部３６の操作に応じて動く。制御入力部３６は、外科医１８にテレプレゼンス、または外科医が器具２６を直接制御する強い感覚を有するように制御入力部３６が器具２６と一体であるという知覚を与えるために、関連する手術器具２６（図１に示される）と同じ機械的自由度を提供することができる。この目的のために、位置、力、および触覚フィードバックセンサ（図示せず）が、位置、力、および触覚知覚を手術器具２６から制御入力部３６を通して外科医の手に戻って伝えるために用いられてもよく、通信遅延の制約を受ける。固定ビューア３１および機械的に結合された制御入力部３６を備えた物理コンソール１６が例示の目的のために図示され説明されているが、種々の他の実施形態では、「接地されていない」制御入力部および／またはディスプレイ構造が使用されることができるに留意されたい。例えば、いくつかの実施形態では、ビューア３１は、ヘッドマウントディスプレイであることができ、および／または制御入力部３６は、任意のベース構造から機械的に独立していることができる（例えば、有線、無線、またはMicrosoftからのKinectなどのジェスチャベース）。
【0014】
外科医のコンソール１６は、外科医が手術を直接監視し、必要に応じて物理的に存在し、電話または他の通信媒体よりもむしろ直接患者側の助手に話すことができるように、通常は患者と同じ部屋に位置する。しかし、外科医は、別の部屋、全く異なる建物、または遠隔手術処置を可能にする患者から離れた場所に位置することができる。
【0015】
図３は、エレクトロニクスカート２４の斜視図である。エレクトロニクスカート２４は、内視鏡２８に結合されることができ、外科医のコンソールの外科医への、またはローカルおよび／またはリモートに配置された別の適切なディスプレイへの等、その後の表示のために取り込まれた画像を処理するためのコンピュータプロセッサを含む。例えば、立体内視鏡が使用される場合、エレクトロニクスカート２４上のコンピュータプロセッサは、取り込まれた画像を処理して、外科医に手術部位の協調立体画像を提示することができる。このような調整は、対向する画像間のアライメントを含むことができ、立体内視鏡のステレオ作動距離を調整することを含むことができる。別の例として、画像処理は、光学収差などの画像取り込み装置の結像誤差を補償するための既に決定されたカメラ較正パラメータの使用を含むことができる。オプションで、エレクトロニクスカート内の装置は、外科医のコンソールまたは患者側カートに一体化されてもよく、または手術室内の様々な他の場所に分散されてもよい。
【0016】
図４は、遠隔操作手術システム５０（図１の低侵襲遠隔操作手術システム１０など）を概略的に示す。外科医のコンソール５２（図１における外科医のコンソール１６のような）は、低侵襲処置の間、患者側カート５４（図１における患者側カート２２など）を制御するために外科医によって使用されることができる。患者側カート５４は、手術部位の画像を取り込み、取り込まれた画像をエレクトロニクスカート５６（図１のエレクトロニクスカート２４など）上に位置するコンピュータプロセッサに出力するために、立体内視鏡などのイメージング装置を使用することができる。コンピュータプロセッサは、典型的には、コンピュータプロセッサの不揮発性メモリデバイスに記憶されたコンピュータ可読コードを実行することを目的とする１つまたは複数のデータ処理ボードを含む。１つの態様において、コンピュータプロセッサは、後の表示に先立って、様々な方法で取り込まれた画像を処理することができる。例えば、コンピュータプロセッサは、外科医のコンソール５２を介して外科医に合成画像を表示する前に、取り込まれた画像を仮想制御インターフェースでオーバーレイすることができる。
【0017】
加えて、または代替的に、取り込まれた画像は、エレクトロニクスカート５６の外側に配置されたコンピュータプロセッサによって画像処理を受けることができる。一態様では、遠隔操作手術システム５０は、エレクトロニクスカート５６に配置されたコンピュータプロセッサと同様のオプションのコンピュータプロセッサ（ＣＰＵ）５８を含み、患者側カート５４は、外科医のコンソール５２に表示する前に画像処理のために取り込んだ画像をコンピュータプロセッサ（ＣＰＵ）５８に出力する。別の態様では、取り込まれた画像は、最初に、エレクトロニクスカート５６のコンピュータプロセッサによる画像処理を受け、次に、外科医のコンソール５２に表示する前に、コンピュータプロセッサ５８による追加の画像処理を受ける。遠隔操作手術システム５０は、破線で示されるように、オプションのディスプレイ６０を含むことができる。ディスプレイ６０は、エレクトロニクスカート５６に位置するコンピュータおよびコンピュータプロセッサ（ＣＰＵ）５８に結合され、これらのコンピュータプロセッサによって処理された取り込まれた画像は、外科医のコンソール５２のディスプレイに表示されることに加えて、ディスプレイ６０に表示されることができる。
【0018】
図５Ａは、幾つかの実施形態に従って、１つまたは複数の機械的支持アーム５１０を用いて手術処置を実施するための遠隔操作手術システム１０の構成要素の配置を示す例示的な単純化されたブロック図である。システム１０の態様は、ロボット支援および自律的に動作する機能を含む。これらの機械的支持アーム５１０は、しばしば手術器具を支持する。例えば、機械的手術アーム（例えば、中央機械的手術アーム５１０Ｃ）が、ステレオまたは三次元手術画像取り込み装置１０１Ｃを備える内視鏡を支持するために使用され得る。機械的手術アーム５１０Ｃは、滅菌アダプタ、あるいはクランプ、クリップ、ねじ、スロット／溝、または画像取り込み装置１０１Ｃを含む内視鏡を機械的アームに機械的に固定するための他の締結機構を含み得る。
【0019】
ユーザまたはオペレータＯ（一般に外科医）は、マスタ制御コンソール１６のハンドグリップおよびフットペダルなどの制御入力装置３６を操作することにより患者Ｐに対して手術処置を行う。オペレータは、立体表示ビューア３１を通して、患者の体内の手術部位の画像のビデオフレームを見ることができる。コンソール１６のコンピュータプロセッサ（ＣＰＵ）５８は、制御ライン１５９を介して遠隔操作式に制御された内視鏡手術器具１０１Ａ－１０１Ｃの動きを指示し、患者側システム２４（患者側カートとも呼ばれる）を用いて器具の運動を生じさせる。
【0020】
患者側システム２４は、１つまたは複数の機械的支持アーム５１０を含む。典型的には、患者側システム２４は、対応する位置決めセットアップアーム１５６によって支持される少なくとも３つの機械的手術アーム５１０Ａ－５１０Ｃ（一般に、機械的手術支持アーム５１０と呼ばれる）を含む。中央機械的手術アーム５１０Ｃは、カメラの視野内の画像の取り込みに適した内視鏡カメラ１０１Ｃを支持し得る。中央の左右の機械的手術支持アーム５１０Ａおよび５１０Ｂは、組織を操作することができる器具１０１Ａおよび１０１Ｂをそれぞれ支持し得る。
【0021】
図５Ｂは、実施形態による、低侵襲遠隔操作手術システム１０の患者側カート５００の斜視図である。患者側カート５００は、１つまたは複数の支持アームアセンブリ５１０を含む。手術器具マニピュレータ５１２が、各支持アームアセンブリ５１０の端部に取り付けられる。追加的に、各支持アームアセンブリ５１０は、オプションで、手術のための患者を基準に取り付けられた手術器具マニピュレータ５１２を位置決めするために使用される１つまたは複数のセットアップジョイント（例えば、電力供給されていない且つ／またはロック可能）を含むことができる。図示のように、患者側カート５００は床上にある。他の実施形態では、患者側カートの動作部分は、壁、天井、患者の身体５２２も支持する手術台５２６、または他の手術室装置に取り付けられることができる。さらに、患者側カート５００は、４つの手術器具マニピュレータ５１２を含むように示されているが、より多くの、またはより少ない手術器具マニピュレータ５１２が使用されてもよい。
【0022】
機能的な遠隔操作手術システムは、一般に、遠隔操作手術システムのユーザが患者の身体５２２の外側から手術部位を見ることを可能にする視覚システム部分を含む。視覚システムは、典型的には、ビデオ画像を取り込むためのカメラ器具５２８と、取り込まれたビデオ画像を表示するための１つまたは複数のビデオディスプレイとを含む。いくつかの手術システム構成では、カメラ器具５２８は、カメラ器具５２８の遠位端部からの画像を、患者の身体５２２の外側でデジタル画像情報を生成する１つまたは複数の画像センサ（例えば、ＣＣＤまたはＣＭＯＳセンサ）に伝える光学系を含む。代替的に、イメージングセンサ（複数可）は、カメラ器具５２８の遠位端部に配置されることができ、センサ（複数可）によって生成されたデジタル画像情報信号は、１つまたは複数のビデオディスプレイ上で処理および表示するために、リード線に沿って、または無線で送信されることができる。ビデオディスプレイの一例は、カリフォルニア州サニーベールのIntuitive Surgical, Inc.によって商業化された手術システム内の外科医のコンソールの立体ディスプレイである。
【0023】
図５Ａ－５Ｂを参照すると、各手術器具マニピュレータ５１２に取り付けられるのは、患者の身体５２２の中の手術部位で動作する手術器具５２０である。各手術器具マニピュレータ５１２は、関連する手術器具が１つまたは複数の機械的自由度（例えば、６デカルト自由度、５以下のデカルト自由度など）で動くことを可能にする種々の形態で提供されることができる。典型的には、機械的または制御的拘束が、各マニピュレータ５１２を、患者を基準に静止したままである器具の動作の中心の周りにその関連する手術器具を動かすように拘束し、この動作の中心は、典型的には器具が体内に入る位置に位置する。
【0024】
一態様では、手術器具５２０は、コンピュータ支援遠隔操作によって制御される。機能的な低侵襲遠隔操作手術システムは、遠隔操作手術システムのユーザ（例えば、外科医または他の医療者）から入力を受け取る制御入力部を含む。制御入力部は、１つまたは複数のコンピュータ制御遠隔操作アクチュエータ、例えば、手術器具５２０が結合される１つまたは複数のモータと通信している。このようにして、手術器具５２０は、医療者の制御入力部の動きに応答して動く。一態様では、１つまたは複数の制御入力部は、図２に示す外科医のコンソール１６のような外科医のコンソールに含まれる。外科医は、外科医のコンソール１６の制御入力装置３６を操作して、患者側カート５００の遠隔操作アクチュエータを操作することができる。遠隔操作アクチュエータによって生成される力は、遠隔操作アクチュエータからの力を手術器具５２０に伝達するドライブトレーン機構を介して伝達される。
【0025】
図５Ａ－５Ｂを参照すると、一態様では、手術器具５２０およびカニューレ５２４は、マニピュレータ５１２に取り外し可能に結合され、手術器具５２０は、カニューレ５２４を通って挿入される。マニピュレータ５１２の１つまたは複数の遠隔操作アクチュエータは、手術器具５１２全体を動かす。マニピュレータ５１２は、器具キャリッジ５３０をさらに含む。手術器具５２０は、器具キャリッジ５３０に着脱可能に接続される。一態様では、器具キャリッジ５３０は、手術器具５２０が手術器具５２０のエンドエフェクタの種々の動きに変換するいくつかのコントローラ動作を提供する１つまたは複数の遠隔操作アクチュエータを内部に収容する。従って、器具キャリッジ５３０内の遠隔操作アクチュエータは、器具全体ではなく、手術器具５２０の１つまたは複数の構成要素のみを動かす。器具全体または器具の構成要素のいずれかを制御するための入力は、外科医または他の医療者によって制御入力部（「マスタ」コマンド）に提供される入力が手術器具による対応する動作（「スレーブ」応答）に変換されるようなものである。
【0026】
いくつかの実施形態によれば、手術システム１０は、ドッキングされる、追従する、器具の種類およびヘッドインを含む複数のシステム作動状態を有することができる。ドッキングされたシステム状態の間、１つまたは複数のマニピュレータ５１２はカニューレ５２４に結合されている。追従するシステム状態の間、手術器具（「スレーブ」）は制御入力（「マスタ」コマンド）を追跡している。器具タイプのシステム状態の間、システムは、特定の手術処置の実行に適したまたは手術処置の間の特定の手術作業の実行に適した、一組の器具をその中に設置した。ヘッドインシステム状態の間、システムは、外科医が「マスタ」制御入力デバイスを保持したことを示すのを待っている。
【0027】
代替の実施形態では、器具キャリッジ５３０は、遠隔操作アクチュエータを収容しない。手術器具５２０のエンドエフェクタの種々の動きを可能にする遠隔操作アクチュエータは、器具キャリッジ５３０から離れた位置、例えば患者側カート５００の他の場所に収容される。ケーブルベースの力伝達機構等が、遠隔に配置された遠隔操作アクチュエータの各々の動作を、器具キャリッジ５３０に配置された対応する器具インタフェースアクチュエータ出力に伝えるために使用される。いくつかの実施形態では、手術器具５２０は、長手方向の（longitudinal）（ｚ軸）回転などの手術器具の第１の動きを制御する第１のアクチュエータに機械的に結合される。手術器具５２０は、二次元（ｘ，ｙ）運動などの手術器具の第２の動きを制御する第２のアクチュエータに機械的に結合される。手術器具５２０は、ジョーエンドエフェクタの開閉などの手術器具の第３の動きを制御する第３のアクチュエータに機械的に結合される。
【0028】
図５Ｃは、手術シーン５５０を表し、いくつかの実施形態に従ってシーンを記録するために使用されるカメラ５２８を取り付けた内視鏡１０１Ｃも示す例示的な図である。シーン５５０は、患者の体腔内に配置される。シーン５５０は、幾何学的輪郭５５４を含む例示的な仮想の球状解剖学的構造５５２を含む。シーン５５０は、手術器具５５６を包含する。第１および第２のカメラ５２８および５３３は、内視鏡１０１Ｃに取り付けられて、ビューア３１内に表示され且つ後の再生のために記録されるシーンを取り込む。選択可能な第１の光フィルタ５２８は、第１のカメラに関連付けられる。第１及び第２の光源５３１が設けられる。選択可能な第２のフィルタ５２９は、少なくとも１つの光源５３１に関連付けられる。
【0029】
図６は、遠位部分６５０と、細長いチューブ中心軸６１１を有する細長いチューブ６１０によって結合された近位制御機構６４０とを含む手術器具５２０の側面図である。手術器具５２０は、患者の体内に挿入されるように構成され、手術または診断的処置を実施するために使用される。手術器具５２０の遠位部分６５０は、示された鉗子、針駆動装置、焼灼装置、切断ツール、イメージング装置（例えば、内視鏡または超音波プローブ）などのような種々のエンドエフェクタ６５４のいずれかを提供することができる。手術エンドエフェクタ６５４は、開閉するジョー、または経路に沿って移動するナイフなどの機能的機械的自由度を含むことができる。図示の実施形態では、エンドエフェクタ６５４は、細長いチューブの中心軸６１１に対してエンドエフェクタが配向されることを可能にする手首部６５２によって細長いチューブ６１０に結合される。手術器具５２０はまた、永久的であり得る又は手術器具５２０を動作させるように構成された手術システムによって更新可能であり得る（例えば、器具に関連付けられた半導体メモリ上に）記憶された情報を含むことができる。従って、手術システムは、手術器具５２０と手術システムの１つまたは複数の構成要素との間の一方向または双方向の情報通信を提供し得る。
【0030】
図７は、手術器具マニピュレータ５１２の斜視図である。器具マニピュレータ５１２は、手術器具が取り付けられていない状態で示されている。器具マニピュレータ５１２は、器具キャリッジ５３０を含み、器具キャリッジ５３０には、手術器具（例えば、外科器具５２０）が着脱可能に接続されることができる。器具キャリッジ５３０は、複数の遠隔操作アクチュエータを収容する。各遠隔操作アクチュエータは、アクチュエータ出力部７０５を含む。手術器具が器具マニピュレータ５１２に設置されるとき、器具近位制御機構（例えば、図６における近位制御機構６４０）の１つまたは複数の器具入力部（図示せず）は、対応するアクチュエータ出力部７０５と機械的に結合される。一態様では、この機械的結合は直接的であり、アクチュエータ出力部７０５は、対応する器具入力部と直接接触する。別の態様では、この機械的結合は、器具マニピュレータ５１２と関連する手術器具との間に滅菌バリアを提供するように構成されたドレープの構成要素などの中間インターフェースを介して生じる。
【0031】
一態様では、対応する遠隔操作アクチュエータによる１つまたは複数の器具入力部の動作は、手術器具の機械的自由度の動きをもたらす。例えば、一態様では、器具マニピュレータ５１２に取り付けられた手術器具は、図６に示された外科器具５２０である。図６を参照すると、一態様では、対応する遠隔操作アクチュエータによる近位制御機構６４０の１つまたは複数の器具入力部の動きが、細長いチューブの中心線６１１周りに近位制御機構６４０に対して細長いチューブ６１０（ならびに取り付けられた手首部６５２およびエンドエフェクタ６５４）を回転させる。別の態様では、対応する遠隔操作アクチュエータによる１つまたは複数の器具入力部の動きは、手首部６５２の動きをもたらし、細長いチューブ中心軸６１１に対してエンドエフェクタ６５４を方向付ける。別の態様では、対応する遠隔操作アクチュエータによる１つまたは複数の器具入力部の動きは、エンドエフェクタ６５４の１つまたは複数の可動要素（例えば、ジョー部材、ナイフ部材など）の動きをもたらす。従って、器具マニピュレータ５１２に設置された種々の機械的自由度の手術器具は、器具キャリッジ５３０の遠隔操作アクチュエータの操作によって動かされることができる。
【0032】
録画したビデオに注釈を付ける
図８は、例示的な手術計画ツール８００の概略図を示す。一態様では、手術計画ツール８００は、電子医療デバイス記録データベース８３０とデータ通信する遠隔操作手術システム８５０を含む。ここに示される遠隔操作手術システム８５０は、図４に示される遠隔操作手術システム８５０と同様である。一態様では、電子医療記録データベース８３０は、特定の病院または複数の病院で治療を受けた患者の医療記録を含む。データベース８３０は、病院のオンサイトにあるサーバに実装されることができる。データベース８３０に含まれる医療記録エントリは、イントラネットネットワークを通じて病院のコンピュータからアクセスすることができる。代替的には、データベース８３０は、例えば、いくつかのクラウドデータストレージサービスのうちの１つを使用して、病院からオフサイトに位置するリモートサーバに実装されることもできる。この場合、データベース８３０の医療記録エントリは、クラウドサーバに格納され、インターネットアクセスを有するコンピュータによってアクセスすることができる。
図８は、例示的な手術計画ツール８００の概略図を示す。一態様では、手術計画ツール８００は、電子医療デバイス記録データベース８３０とデータ通信する遠隔操作手術システム８５０を含む。ここに示される遠隔操作手術システム８５０は、図４に示される遠隔操作手術システム８５０と同様である。一態様では、電子医療記録データベース８３０は、特定の病院または複数の病院で治療を受けた患者の医療記録を含む。データベース８３０は、病院のオンサイトにあるサーバに実装されることができる。データベース８３０に含まれる医療記録エントリは、イントラネットネットワークを通じて病院のコンピュータからアクセスすることができる。代替的には、データベース８３０は、例えば、いくつかのクラウドデータストレージサービスのうちの１つを使用して、病院からオフサイトに位置するリモートサーバに実装されることもできる。この場合、データベース８３０の医療記録エントリは、クラウドサーバに格納され、インターネットアクセスを有するコンピュータによってアクセスすることができる。
【0033】
一態様では、手術処置は、遠隔操作手術システム８５０を使用して第１の患者に対して行われる。遠隔操作手術システム８５０に関連するイメージング装置は、手術部位の画像を取り込み、取り込まれた画像を外科医のコンソール５２のディスプレイ上のビデオのフレームとして表示する。一態様では、外科医のコンソール５２の医療者は、外科医のコンソール５２の入力装置を使用して、表示されたビデオに示された特定の患者の解剖学的構造をハイライトするまたはそれに注釈をつける。このような入力装置の一例は、図２に示される制御入力部３６であり、これは、表示されたビデオ上にオーバーレイされたグラフィックユーザインタフェースと共に動作するカーソルに結合される。グラフィックユーザインタフェースは、ＱＷＥＲＴＹキーボード、マウスおよび対話型スクリーンディスプレイのようなポインティングデバイス、タッチスクリーンディスプレイ、あるいはデータ若しくはテキスト入力または音声注釈／またはマイクロホンおよびプロセッサを介したテキスト変換のための他の手段を含むことができる。従って、医療者は、表示された画像の中の特定の関心組織をハイライトするか、またはテキスト注釈を入力することができる。
【0034】
一態様では、手術部位ビデオは、エレクトロニクスカート５６に位置するディスプレイに追加的に表示される。一態様では、エレクトロニクスカートのディスプレイは、エレクトロニクスカートのディスプレイに表示するために表示される画像上に示される患者の解剖学的構造の特定部分をハイライトするとともにそれに注釈をつけるために医療者によって使用可能なタッチスクリーンのユーザインタフェースである。ユーザは、タッチスクリーンユーザインタフェース上に表示される患者の解剖学的構造の部分にタッチすることにより、表示画像の部分をハイライトすることができる。加えて、ＱＷＥＲＴＹキーボードを含むグラフィックインターフェイスが、表示画像上にオーバーレイされることができる。ユーザは、テキスト注釈を入力するためにＱＷＥＲＴＹキーボードを使用することができる。
【0035】
一態様では、遠隔操作手術システム８５０に関連するイメージング装置によって取り込まれた手術部位ビデオは、遠隔操作手術システム８５０によって記録され、ユーザに対してリアルタイムまたはほぼリアルタイムで表示されることに加えて、データベース８３０に記憶される。ユーザによって作成された記録されたビデオに関連するハイライトおよび／または注釈も、データベース８３０に記憶することができる。一態様では、ユーザによってなされたハイライトは、データベース８３０に記憶する前に、記録されたビデオに埋め込まれる。その後、記録されたビデオは見るために検索されることができる。一態様では、記録されたビデオを見る人は、ハイライトが表示されるかまたは表示から隠されるかを選択することができる。同様に、記録されたビデオに関連する注釈も、データベース８３０に記憶することができる。一態様では、ユーザによってなされた注釈は、記録されたビデオにタグを付けるために使用され、記録されたビデオに含まれる主題を識別する手段として提供するために使用することができる。例えば、１つの注釈は、特定の疾患状態の条件を記述してもよい。この注釈は、記録されたビデオにタグを付けるために使用される。後に、この病態に関する記録された処置を見たい人は、キーワード検索を用いてビデオを探し出すことができる。
【0036】
保存したビデオの検索
場合によっては、医療者が、所与の患者に行われた過去の手術処置のビデオ記録を見ることができることが望ましい。一態様では、医学的状態を治療するための第１の手術処置を以前に受けた患者は、その後、同一の医学的状態の再発を治療するためまたは第１の手術処置の手術部位の近くに位置する解剖学的構造を治療するために、第２の手術処置を必要とする。一態様では、第１の手術処置の手術部位事象が手術部位ビデオ記録に取り込まれ、ビデオ記録が患者の電子医療記録の一部としてデータベース８３０にアーカイブされた。患者に第２の手術処置を実施する前に、医療者は、患者の以前の手術処置のビデオ記録を見つけるためにデータベース８３０の検索を行うことができる。
場合によっては、医療者が、所与の患者に行われた過去の手術処置のビデオ記録を見ることができることが望ましい。一態様では、医学的状態を治療するための第１の手術処置を以前に受けた患者は、その後、同一の医学的状態の再発を治療するためまたは第１の手術処置の手術部位の近くに位置する解剖学的構造を治療するために、第２の手術処置を必要とする。一態様では、第１の手術処置の手術部位事象が手術部位ビデオ記録に取り込まれ、ビデオ記録が患者の電子医療記録の一部としてデータベース８３０にアーカイブされた。患者に第２の手術処置を実施する前に、医療者は、患者の以前の手術処置のビデオ記録を見つけるためにデータベース８３０の検索を行うことができる。
【0037】
場合によっては、患者に対して手術処置を実施することを計画している医療者が、患者に類似した特定の特徴を有する人に対して行われた同様の手術処置のビデオ記録を見ることができることが望ましい。一態様では、手術処置の手術部位ビデオ記録は、各ビデオ記録がデータベース８３０にアーカイブされる前に、患者の年齢、性別、ボディマスインデックス、遺伝情報、患者が受けた処置の種類などのメタデータ情報でタグ付けすることができる。一態様では、ビデオ記録にタグ付けするために使用されるメタデータ情報は、患者のその時点で存在する医療記録から自動的に検索され、その後、ビデオ記録がデータベース８３０にアーカイブされる前にビデオ記録にタグ付けするために使用される。従って、患者に対して医療処置を実施する前に、医療者は、患者と共通の特定の特徴を共有する患者に対して行われた同様の処置のビデオ記録についてデータベース８３０を検索することができる。例えば、医療者が、ボディマスインデックスが高い６５歳の男性患者に前立腺摘除術を実施するために遠隔操作手術システム８５０を使用することを計画している場合、医療者は、同様の年齢で同様にボディマスインデックスが高い他の男性に対して遠隔操作手術システム８５０を使用して実施された前立腺摘除術の手術部位ビデオ記録についてデータベース８３０を検索することができる。
【0038】
一態様では、手術処置のビデオ記録は、データベース８３０によってオプションのパーソナルコンピュータ８２０（破線で示される）に伝達され、手術処置を実行する予定の医療者による閲覧に利用可能にされる。追加的にまたは代替的に、以前の手術処置のビデオ記録が、データベース８３０によって遠隔操作手術システム８５０に伝達され、術前または術中の閲覧に利用可能にされることができる。一態様では、ビデオ記録は、外科医のコンソール５２に位置するディスプレイに遠隔操作手術システム８５０によって表示される。別の態様では、第１の手術処置のビデオ記録は、エレクトロニクスカート５６に位置するディスプレイに表示される。
【0039】
クラウドベースのビデオデータベース
一態様では、データベース８３０は、クラウドデータストレージサービスを使用してリモートサーバ上に実装され、複数のヘルスケアプロバイダによってアクセス可能である。図８を参照すると、破線で示されるように、手術計画ツール８００は、オプションで、（破線で示される）遠隔操作手術システム８５０および（破線で示される）パーソナルコンピュータ８４０を含む。一態様では、遠隔操作手術システム８５０は、遠隔操作手術システム８５０と同様であり、パーソナルコンピュータ８４０は、パーソナルコンピュータ８２０と同様であるが、ただし、遠隔操作手術システム８５０およびパーソナルコンピュータ８２０は、第１のヘルスケアプロバイダに位置し、遠隔操作手術システム８５０およびパーソナルコンピュータ８４０は、第２の場所または第２のヘルスケアプロバイダに位置する。一態様では、第１の患者は、医学的状態の手術治療を必要とし、第１のヘルスケアプロバイダにおいて、遠隔操作手術システム８５０を使用する手術処置を受ける。手術処置のビデオ記録は、データベース８３０にアーカイブされる。その後、第２の患者は、同じ医学的状態の手術治療を必要とし、第２のヘルスケアプロバイダにおいて、遠隔操作手術システム８５０を使用する手術治療を受けることを計画する。第２の患者に手術処置を実施する前に、医療者は安全なインターネット接続を介してデータベース８３０にアクセスし、同様な処置の手術部位ビデオ記録についてデータベース８３０を検索する。一態様では、第２の患者を治療する医療者は、第１の患者のアイデンティティの知識を取得することなしに、第１の患者の手術処置のビデオ記録をデータベース８３０から取り出すことができる。このようにして、第１の患者のプライバシーは保たれる。一態様では、第１の患者の手術処置のビデオ記録は、第１の患者を治療した医療者によってなされたハイライトおよび／または注釈を含む。
一態様では、データベース８３０は、クラウドデータストレージサービスを使用してリモートサーバ上に実装され、複数のヘルスケアプロバイダによってアクセス可能である。図８を参照すると、破線で示されるように、手術計画ツール８００は、オプションで、（破線で示される）遠隔操作手術システム８５０および（破線で示される）パーソナルコンピュータ８４０を含む。一態様では、遠隔操作手術システム８５０は、遠隔操作手術システム８５０と同様であり、パーソナルコンピュータ８４０は、パーソナルコンピュータ８２０と同様であるが、ただし、遠隔操作手術システム８５０およびパーソナルコンピュータ８２０は、第１のヘルスケアプロバイダに位置し、遠隔操作手術システム８５０およびパーソナルコンピュータ８４０は、第２の場所または第２のヘルスケアプロバイダに位置する。一態様では、第１の患者は、医学的状態の手術治療を必要とし、第１のヘルスケアプロバイダにおいて、遠隔操作手術システム８５０を使用する手術処置を受ける。手術処置のビデオ記録は、データベース８３０にアーカイブされる。その後、第２の患者は、同じ医学的状態の手術治療を必要とし、第２のヘルスケアプロバイダにおいて、遠隔操作手術システム８５０を使用する手術治療を受けることを計画する。第２の患者に手術処置を実施する前に、医療者は安全なインターネット接続を介してデータベース８３０にアクセスし、同様な処置の手術部位ビデオ記録についてデータベース８３０を検索する。一態様では、第２の患者を治療する医療者は、第１の患者のアイデンティティの知識を取得することなしに、第１の患者の手術処置のビデオ記録をデータベース８３０から取り出すことができる。このようにして、第１の患者のプライバシーは保たれる。一態様では、第１の患者の手術処置のビデオ記録は、第１の患者を治療した医療者によってなされたハイライトおよび／または注釈を含む。
【0040】
コンピュータベースのパターンマッチングと解析
手術計画ツール８００は、コンピュータ実行可能コードの形態で実装されるパターンマッチングおよび解析アルゴリズムを含むことができる。一態様では、パターンマッチングおよび解析アルゴリズムは、手術計画ツール８００の不揮発性メモリ装置に記憶され、データベース８３０にアーカイブされたビデオ記録を解析するように構成される。前述のように、データベース８３０にアーカイブされたビデオ記録の各々は、特定のメタデータ情報でタグ付けされるおよび／または埋め込まれることができる。このメタデータ情報は、患者の年齢、性別、および患者の健康または病歴を記述するその他の情報などの患者情報が含まれる。加えて、前述のように、メタデータ情報は、医療者によってなされたハイライトまたは注釈を含むことができる。一態様では、これらのハイライトおよび注釈は、ビデオ記録に埋め込まれ、データベース８３０内のビデオと共にアーカイブされる。
手術計画ツール８００は、コンピュータ実行可能コードの形態で実装されるパターンマッチングおよび解析アルゴリズムを含むことができる。一態様では、パターンマッチングおよび解析アルゴリズムは、手術計画ツール８００の不揮発性メモリ装置に記憶され、データベース８３０にアーカイブされたビデオ記録を解析するように構成される。前述のように、データベース８３０にアーカイブされたビデオ記録の各々は、特定のメタデータ情報でタグ付けされるおよび／または埋め込まれることができる。このメタデータ情報は、患者の年齢、性別、および患者の健康または病歴を記述するその他の情報などの患者情報が含まれる。加えて、前述のように、メタデータ情報は、医療者によってなされたハイライトまたは注釈を含むことができる。一態様では、これらのハイライトおよび注釈は、ビデオ記録に埋め込まれ、データベース８３０内のビデオと共にアーカイブされる。
【0041】
一態様では、パターンマッチングおよび解析アルゴリズムは、データベース８３０に記憶された複数のビデオ記録間で共有される形状および色のパターンを識別する画像解析コンポーネントを含む。次に、パターンマッチングおよび解析アルゴリズムは、このビデオ記録のサブセットに関連するタグ付きメタデータをレビューして、任意の単語またはフレーズがこのサブセット内のビデオに頻繁に関連付けられているかどうかを決定する。パターンマッチングおよび解析アルゴリズムによって行われるこれらの解析は、患者の解剖学的構造、好ましい手術アプローチ、病態、潜在的な合併症などについての決定を医療者が行うのを助けるために使用されることができる。
【0042】
外科情報アトラス
図９は、いくつかの実施形態による、医療記録データベース８３０内の非一時的記憶装置９０４内に記憶された手術情報アトラス９０２を表す例示的な図である。手術器具アトラスは、手術処置に関連して作成された情報を記憶する。例えば、手術処置の間に表示された画像は、情報アトラス９０２に記憶するために記録されることができる。いくつかのビデオ画像は、例えば、クリアであってよく、すなわち、強調されなくてよく、いくつかの画像は、狭帯域イメージング（ＮＢＩ）情報を含んでもよく、ある画像は、光コヒーレンストモグラフィ（ＯＣＴ）情報を含んでもよく、ある画像は、ラマン分光情報を含んでもよく、ある画像は、蛍光情報を含んでもよく、ある画像は、ハイパースペクトルイメージング情報を含んでもよく、そしてある画像はＣＴ情報を含んでもよい。さらに、手術器具の運動学的情報および手術システム作動状態および手術器具作動状態などの手術ステージ情報などの情報も、手術処置の異なる点において記録される。手術システム作動状態は、例えば、システムアームの運動学的位置、カートの位置、およびマスタ制御位置に関連する情報の１つまたは複数を含む。異なる手術器具は、異なる作動状態を有する。手術器具の作動状態は、例えば、ピッチ、ヨー、ロールおよびジョーの位置を含むが、これらに限定されない、器具の運動学を含む。手術中または手術後に、外科医または手術チームの他のメンバーなどのユーザは、ＮＢＩ画像、ラマン分光画像、ＯＣＴ画像、蛍光画像またはハイパースペクトル画像など手術シーンの記録されたビデオ画像情報を、例えば血管、腫瘍、異形成、神経または結合組織などの特定の関心のある解剖学的構造を示すメタデータで注釈をつけることができる。注釈は、例えば、記録された動画情報にタグ付けされた書き込みノート及び/又はビデオ記録内の画像の色付け又は強調（例えば、テレストレーション）のうちの１つまたは複数、あるいはそれらの組み合わせを含み得る。記録された情報は、手術画像情報、手術ステージ情報、手術処置のインスタンスに関連する情報間の関連性を提供する手術情報アトラス９０２を構築するために使用され、この情報は手術記録情報構造に記憶される。
図９は、いくつかの実施形態による、医療記録データベース８３０内の非一時的記憶装置９０４内に記憶された手術情報アトラス９０２を表す例示的な図である。手術器具アトラスは、手術処置に関連して作成された情報を記憶する。例えば、手術処置の間に表示された画像は、情報アトラス９０２に記憶するために記録されることができる。いくつかのビデオ画像は、例えば、クリアであってよく、すなわち、強調されなくてよく、いくつかの画像は、狭帯域イメージング（ＮＢＩ）情報を含んでもよく、ある画像は、光コヒーレンストモグラフィ（ＯＣＴ）情報を含んでもよく、ある画像は、ラマン分光情報を含んでもよく、ある画像は、蛍光情報を含んでもよく、ある画像は、ハイパースペクトルイメージング情報を含んでもよく、そしてある画像はＣＴ情報を含んでもよい。さらに、手術器具の運動学的情報および手術システム作動状態および手術器具作動状態などの手術ステージ情報などの情報も、手術処置の異なる点において記録される。手術システム作動状態は、例えば、システムアームの運動学的位置、カートの位置、およびマスタ制御位置に関連する情報の１つまたは複数を含む。異なる手術器具は、異なる作動状態を有する。手術器具の作動状態は、例えば、ピッチ、ヨー、ロールおよびジョーの位置を含むが、これらに限定されない、器具の運動学を含む。手術中または手術後に、外科医または手術チームの他のメンバーなどのユーザは、ＮＢＩ画像、ラマン分光画像、ＯＣＴ画像、蛍光画像またはハイパースペクトル画像など手術シーンの記録されたビデオ画像情報を、例えば血管、腫瘍、異形成、神経または結合組織などの特定の関心のある解剖学的構造を示すメタデータで注釈をつけることができる。注釈は、例えば、記録された動画情報にタグ付けされた書き込みノート及び/又はビデオ記録内の画像の色付け又は強調（例えば、テレストレーション）のうちの１つまたは複数、あるいはそれらの組み合わせを含み得る。記録された情報は、手術画像情報、手術ステージ情報、手術処置のインスタンスに関連する情報間の関連性を提供する手術情報アトラス９０２を構築するために使用され、この情報は手術記録情報構造に記憶される。
【0043】
図１０は、いくつかの実施形態による、手術情報アトラス９０２内に記憶された例示的な手術記録情報構造１００６の特定の詳細を示す例示的な図である。患者健康記録フィールド（ＨＲ）１００６－１は、例えば、年齢、体重、血液型、身長、性別、および人種などの、手術される患者に関する情報を提供する。医師情報フィールド（ＰＩ）１００６－２は、例えば、一般的な経験のレベル、及びロボット支援手術システムを操作する経験のレベルなどの、個々の手術を行う外科医に関する情報を提供する。手術システム識別子フィールド（ＳＩＤ）１００６－３は、例えば、メーカー、モデル、及びシリアル番号などの手術を行うために使用される手術システムに関する情報を提供する。動画画像フィールド（ＭＰＩ）１００６－４は、手術中に記録された動画画像のような情報を提供する。手術ステージフィールド（ＳＳＴ）１００６－５は、手術中に記録された手術システム作動状態情報および手術器具作動状態情報を提供する。ＮＢＩフィールド（ＮＢＩ）１００６－６は、手術中にＮＢＩを使用して記録された動画画像などの情報を提供する。ラマンフィールド（Ｒａｍ）１００６－７は、手術中にラマン分光法を使用して記録された動画画像のような情報を提供する。蛍光フィールド（Ｆｌｕ）１００６－８は、手術中に蛍光を使用して記録された動画画像のような情報を提供する。ＨＳＩフィールド（ＨＳＩ）１００６－９は、手術中にハイパースペクトルイメージングを用いて記録された動画画像のような情報を提供する。手術注釈フィールド（Ａｎｎ）１００６－１０は、情報構造の中に表される手術処置に関連する記述情報または専門家分析などの注釈情報を提供する。
【0044】
表示モダリティ
本明細書で使用されるとき、手術シーンの「クリア」画像は、特別な強調なしで提示される画像である。手術画像の表示を強化するために、例えば、狭帯域イメージング（ＮＢＩ）、ラマン分光法、蛍光、ハイパースペクトルイメージング（ＨＳＩ）及びコンピュータ断層撮影を含む、多くの表示モダリティが存在する。これらの強調技術の各々は、利点を有する。
本明細書で使用されるとき、手術シーンの「クリア」画像は、特別な強調なしで提示される画像である。手術画像の表示を強化するために、例えば、狭帯域イメージング（ＮＢＩ）、ラマン分光法、蛍光、ハイパースペクトルイメージング（ＨＳＩ）及びコンピュータ断層撮影を含む、多くの表示モダリティが存在する。これらの強調技術の各々は、利点を有する。
【0045】
図１１は、いくつかの実施形態による、ビューア３１内での表示のための内視鏡表示装置１０１Ｃのカメラ５２８によって取り込まれた手術シーン１１００の例示のクリア画像を示す、例示的な図である。より詳しくは、光源５３１によって生成された光は、手術シーン５５１から反射され、カメラ５２８によって取り込まれ、カメラ５２８は、手術シーン５５１のクリアな表示画像を生成するようにコンピュータ５８を構成するために使用することができる画像の第１の情報を生成する。組織領域１１０２は、第１の解剖学的物体１１０４および第２の解剖学的物体１１０６を含む。例示的な手術シーン１１００では、第１の解剖学的物体１１０４は、例えば、前立腺または子宮を含むことができる。第２の解剖学的物体１１０６は、例えば、神経、尿管、または子宮頸部を含むことができる。第１の手術器具１１０８および第２の手術器具１１００は、手術シーン１１００内に配置される。第１の手術器具１１０８は、例えば、鉗子または針ドライバを含むことができる。第２の手術器具１１１０は、例えば、ハサミまたは、単極、双極もしくはアブレーションエネルギを供給するように装備された他の器具を含むことができる。
【0046】
図１２は、第１の解剖学的物体１１０４内の血管の解剖学的構造１１１２の画像が狭帯域イメージング表示モダリティを介して強調されている、図１１の手術シーン１１００の例示のＮＢＩモダリティ画像１２００を示す例示的な図である。狭帯域イメージング（ＮＢＩ）は、組織表面下の血管１１１２および他の構造の視認性を改善する光学的イメージング技術である。ＮＢＩモダリティ画像は、手術シーン上を照らすフィルタ処理された光を通して作られる。より詳しくは、周囲光５３１は、ヘモグロビンのピーク光吸収が起こる特定の青色および緑色波長を提供するために、フィルタ５２９を用いてフィルタ処理される。反射光は、ＮＢＩモダリティ画像情報を含む対応する第２の画像情報を生成するカメラ５２８によって取り込まれる。フィルタ処理された光は、非常に暗く見える血管の細部を強調するために、解剖学的組織に照射され、それらの視認性の改善および他の表面構造の識別の改善を可能にする。より短い波長は、組織構造の最上層にのみ浸透し、より長い波長は、より深く浸透する。より短い波長は、表面近くの毛細血管によって吸収され、しばしば高度に血管新生される腫瘍の検出に特に有用である。より長い波長は、組織内のより深くに位置する血管によって吸収され、これは、より短い波長の光を吸収するより浅い血管とは異なるように見える。より深く透過するより長い波長の光は、組織表面からより遠くに位置する疑わしい病変の血管構造のより良い理解を可能にする。このように、ＮＢＩは、手術シーン内の解剖学的物体内の血管構造の視認性を高めることができる。
【0047】
図１３は、第２の解剖学的物体１１０６内の腫瘍の解剖学的構造１１１４の画像がラマン分光表示モダリティを介して強調されているカメラ５２８によって取り込まれた図１１の例示のラマン分光モダリティ画像手術シーン１１００を表す例示的な図である。手術シーンから反射された光は、カメラ５２８によって取り込まれる。コンピュータ５８は、第三の（ラマン分光）画像情報を生成するよう取り込まれた画像のラマン分光光学画像処理を実行するために使用されるように構成される。ラマン分光法は、反射光に基づいて複雑な生体試料の化学組成を測定し、ラマン分光法画像情報を生成することを含む。特定の腫瘍組織１１１４は、例えば、正常な解剖学的組織よりも高い含水量を有し、従って、それらの含水量に基づいて周囲の組織と区別可能である。ラマンスペクトルは、組織の化学構造に関する定量的な情報を提供する。特に、ラマン分光法は、分子を振動させることによって光の非弾性散乱を観察するために使用することができ、細胞、組織または生体液の化学的フィンガプリントを提供することができる技術である。ラマン分光法は分子による光の散乱に依存し、分子の振動モードに関する情報は可視または近赤外レーザを用いて得ることができる。ラマンスペクトル画像を得るための一般的な方法は、レーザスポットを通して試料をラスタ走査するか、または試料を横切ってレーザスポットを走査し、次いで、各ラマンスペクトルに一変量または多変量スペクトルモデルを適用することである。従って、ラマン分光法は、構成化学組成に基づく解剖学的物体内の解剖学的構造の可視性を高めることができる。
【0048】
蛍光は、手術処置の間に蛍光標識された構造を検出するために使用される表示モダリティである。例えば、蛍光は、蛍光を発する標識または非標識組織構造対蛍光を発しない組織構造の視覚的画像を強調するために使用することができる。蛍光ガイド下手術（ＦＧＳ）は、カラー反射率画像および蛍光発光からのリアルタイムの同時情報を提供するイメージング装置を用いて実施することができる。蛍光モダリティ画像は、手術シーンから反射された光をフィルタ処理することによって生成される。より詳しくは、１つまたは複数の光源５３１は、解剖学的組織領域を励起し、照射するために使用される。カメラ５２８は、発蛍光団の発光スペクトルに一致し、強調された蛍光画像情報を含む第４の画像情報を生成する光学フィルタ５２９でフィルタ処理された手術シーンから反射された光を受け取る。
【0049】
図１４は、ハイパースペクトルイメージング表示モダリティを使用して表示される図１１の手術シーン１１００の例示的なハイパースペクトル画像１４００を示す、例示的な図である。ハイパースペクトルイメージング（ＨＳＩ）はデジタルイメージングと分光法を組み合わせている。ハイパースペクトルカメラ５３３は、画像内の各画素に対して、多数の（典型的には、数十～数百の）隣接するスペクトルバンドの光強度（放射輝度）を含む手術シーンから反射された光を取り込む。したがって、画像内のすべてのピクセルは、（放射または反射率の）連続スペクトルを含み、シーン内の物体を非常に正確かつ詳細に特徴付けるために使用することができる。より詳しくは、画像の各画素に対して、ＨＳＩは、２空間次元および１スペクトル次元を有するハイパーキューブと呼ばれる３次元データセットを取得する。コンピュータ５８は、組織生理学、形態学、および組成に関する強化された視覚情報を提供して第５の（ＨＳＩ）画像情報を生成するために、ＨＳＩによって得られたスペクトル画像を空間的に解像する処理を実行するために使用されるように構成されている。ＨＳＩは、通常、赤、緑、および青の視覚原色に対応する３つの異なるスペクトルチャネルのみを取得する通常のカラーカメラよりも、手術シーンのより詳細な視覚画像を提供することができる。ＨＳＩはまた、センサの視野内の組織の化学組成に基づいて物体または疾患状態を識別する能力を提供する。従って、ハイパースペクトルイメージングは、それらのスペクトル特性に基づいてシーン内の物体の間を視覚的に識別する大幅に改善された能力をもたらす。
【0050】
図１５は、いくつかの実施形態による、図１１の例示的な手術シーン１１００のコンピュータ断層撮影スライス表示モダリティを表す例示的な図である。コンピュータ断層撮影（ＣＴ）スライスは、放射線源、典型的にはＸ線放射線を用いて異なる角度から撮影された画像１５００を組み合わせて、特定の解剖学的物体の仮想二次元（平坦）断面画像スライス１５０２を生成し、外科医が切断することなく物体の内部を見ることを可能にする。解剖学的物体内の異なる三次元深さにおける断面画像１５０２は、物体内の内部構造の視覚的表現を提供するために、別々に表示されることができる。
【0051】
マルチモダリティ表示フォーマット
特定の表示モダリティは、特定の種類の解剖学的構造を画像化するのに他のモダリティよりも適している場合がある。例えば、表面血管系または異形成などの解剖学的構造は、しばしばＮＢＩを用いてより目に見えるように表示することができる。しかし、癌辺縁などの病態は、例えばラマン分光法を用いてより目に見えるように表示することがしばしば可能である。さらに、蛍光マーカで標識することができる解剖学的構造、または（「内因性の」）それ自体の異なる発光で励起光に応答することができる解剖学的構造は、例えば、蛍光を使用して、しばしば、より目に見えるように表示することができる。さらに、独特のスペクトル特性を有する解剖学的構造は、例えば、ハイパースペクトルイメージングを用いて、しばしば、より目に見えるように表示することができる。
特定の表示モダリティは、特定の種類の解剖学的構造を画像化するのに他のモダリティよりも適している場合がある。例えば、表面血管系または異形成などの解剖学的構造は、しばしばＮＢＩを用いてより目に見えるように表示することができる。しかし、癌辺縁などの病態は、例えばラマン分光法を用いてより目に見えるように表示することがしばしば可能である。さらに、蛍光マーカで標識することができる解剖学的構造、または（「内因性の」）それ自体の異なる発光で励起光に応答することができる解剖学的構造は、例えば、蛍光を使用して、しばしば、より目に見えるように表示することができる。さらに、独特のスペクトル特性を有する解剖学的構造は、例えば、ハイパースペクトルイメージングを用いて、しばしば、より目に見えるように表示することができる。
【0052】
さらに、特定の表示モダリティは、手術処置の特定のステージでの使用に他の方法より適している場合がある。より詳しくは、例えば、ＮＢＩ表示は、頭頸部手術処置の初期計画ステージにおいてしばしば使用される。ラマン分光法は、しばしば切除後の処置ステージの間に用いられるが、ラマン活性粒子と組み合わせた場合、生体内で用いることができる。蛍光はしばしば、組織切除手術ステージの前後に使用される。ハイパースペクトルイメージングは、しばしば、手術処置の計画部分の間に用いられる。
【0053】
いくつかの実施形態によれば、多数の異なる表示フォーマットが提供され、そこから複数の表示モダリティを同時に使用する手術シーンを表示するように選択される。ステッチフォーマットは、異なる表示モダリティを使用して表される異なる部分を有する単一の手術シーンが生成されるように、単一シーンの２つ以上の異なる表示モダリティからのビデオ画像を一緒にステッチする（stitches）。ステッチフォーマットでは、唯一の画像モダリティが全体画像のステッチ領域内の任意の所与の点において見えるように、異なる画像モダリティが、手術シーンの全体画像の異なる部分を表すために使用される。ピクチャインピクチャ（ＰｉＰ）フォーマットは、第１の表示モダリティを使用して、手術シーンの第１のプライマリの（primary）、典型的にはフルスクリーンのビデオ画像を表示し、ディスプレイの一部内に、第２の表示モダリティを使用して、手術シーンの縮小サイズのインサートビデオ（または静止）画像を表示する。オーバーレイフォーマットは、１つの表示モダリティを使用する画像を異なる表示モダリティを使用する画像上にオーバーレイする。オーバーレイフォーマットでは、オーバーレイ画像が部分的に透明であり、オーバーレイ部分がその下を可視化するように、異なる画像モダリティが、手術シーンの全体画像の単一部分を表現するために使用されることができる。
【0054】
ステッチフォーマット
図１６は、いくつかの実施形態によるステッチフォーマットを用いて組み合わされた複数の表示モダリティを使用する図１１の手術シーン１１００の例示的なマルチモダリティ表示である。手術シーンの第１の手術画像１６００は、ＮＢＩモダリティを使用して生成される。手術シーン１１００の第２の画像１６５０は、ラマン分光モダリティを使用して生成される。第１の画像１６００では、特定の血管構造１１１２は容易に見えるが、第２の解剖学的物体１１０６内の腫瘍構造１１１４はそれほど容易には見えないことに留意されたい。逆に、第２の画像１６５０では、腫瘍構造１１１４は容易に見えるが、血管構造１１１２はそれほど容易に見えない。第３の画像１６８０は、第２の表示１６５０画像の選択された部分１６５２と第１の表示画像１６００とが一緒にステッチされて生成される。ＮＢＩモダリティおよびラマン分光モダリティを使用して生成される両方の画像は、手術処置の間に生成され得ることが理解されるであろう。いくつかの実施形態に従って、表示ルールは、１つの画像モダリティのどの部分を異なる画像モダリティにステッチするかを決定することができる。図１６の例では、第２の表示画像１６５０のラマン分光表示モダリティの腫瘍含有部分１６５２が、第１の表示画像にステッチされる。従って、図１６の例では、ラマン分光モダリティにおいてより容易に見える重要な解剖学的構造の画像が、例えば、血管構造の表示により適したＮＢＩモダリティにステッチされる。
図１６は、いくつかの実施形態によるステッチフォーマットを用いて組み合わされた複数の表示モダリティを使用する図１１の手術シーン１１００の例示的なマルチモダリティ表示である。手術シーンの第１の手術画像１６００は、ＮＢＩモダリティを使用して生成される。手術シーン１１００の第２の画像１６５０は、ラマン分光モダリティを使用して生成される。第１の画像１６００では、特定の血管構造１１１２は容易に見えるが、第２の解剖学的物体１１０６内の腫瘍構造１１１４はそれほど容易には見えないことに留意されたい。逆に、第２の画像１６５０では、腫瘍構造１１１４は容易に見えるが、血管構造１１１２はそれほど容易に見えない。第３の画像１６８０は、第２の表示１６５０画像の選択された部分１６５２と第１の表示画像１６００とが一緒にステッチされて生成される。ＮＢＩモダリティおよびラマン分光モダリティを使用して生成される両方の画像は、手術処置の間に生成され得ることが理解されるであろう。いくつかの実施形態に従って、表示ルールは、１つの画像モダリティのどの部分を異なる画像モダリティにステッチするかを決定することができる。図１６の例では、第２の表示画像１６５０のラマン分光表示モダリティの腫瘍含有部分１６５２が、第１の表示画像にステッチされる。従って、図１６の例では、ラマン分光モダリティにおいてより容易に見える重要な解剖学的構造の画像が、例えば、血管構造の表示により適したＮＢＩモダリティにステッチされる。
【0055】
図１７は、いくつかの実施形態によるステッチフォーマットを用いて組み合わされた複数の表示モダリティを使用する図１１の手術シーン１１００の代替的な例示のマルチモダリティ表示である。手術シーンの第１の画像１６００は、ＮＢＩモダリティを使用して生成される。手術シーン１１００の第２の画像１６５０は、ラマン分光モダリティを使用して生成される。図１７では、手術シーン１１００の第４の表示画像１７００が生成され、第１の表示１６００画像の選択された部分１６０２と第２のディスプレイイメージ１６５０とが一緒にステッチされる。重要な血管画像１１１２を含む第１の表示画像１６００のＮＢＩ表示モダリティの一部１６０２は、第２の表示画像にステッチされる。従って、ＮＢＩモダリティにおいてより容易に見える重要な解剖学的構造の画像は、例えば、腫瘍構造の表示により適したラマン分光モダリティにステッチされる。
【0056】
ピクチャインピクチャフォーマット
図１８は、いくつかの実施形態によるピクチャインピクチャ（ＰｉＰ）フォーマットを用いて組み合わされた複数の表示モダリティを使用する図１１の手術シーン１１００の例示的なマルチモダリティ表示である。図１８の手術画像は、図１６の画像に対応する。しかし、図１８では、ラマン分光モダリティを使用して生成された第２の画像１６５０の部分１６５２は、ＮＢＩモダリティを使用して生成されたプライマリの第１の画像１６００内の縮小サイズＰｉＰ画像１８００として含まれる。
図１８は、いくつかの実施形態によるピクチャインピクチャ（ＰｉＰ）フォーマットを用いて組み合わされた複数の表示モダリティを使用する図１１の手術シーン１１００の例示的なマルチモダリティ表示である。図１８の手術画像は、図１６の画像に対応する。しかし、図１８では、ラマン分光モダリティを使用して生成された第２の画像１６５０の部分１６５２は、ＮＢＩモダリティを使用して生成されたプライマリの第１の画像１６００内の縮小サイズＰｉＰ画像１８００として含まれる。
【0057】
図１９は、いくつかの実施形態によるピクチャインピクチャ（ＰｉＰ）フォーマットを用いて組み合わされた複数の表示モダリティを使用する図１１の手術シーン１１００の代替的な例示のマルチモダリティ表示である。図１９の手術画像は、図１７の画像に対応する。しかし、図１９では、ＮＢＩモダリティ分光モダリティを使用して生成された第１の画像１６００の部分１６０２は、ラマン分光モダリティを使用して生成されたプライマリの第２の画像１６５０内の縮小サイズＰｉＰ画像１９００として含まれる。
【0058】
注釈フォーマット
図２０は、いくつかの実施形態による注釈フォーマットを用いた複数の表示モダリティからの情報を使用する図１１の手術シーン１１００の例示的な表示である。図２０の手術画像は、図１６－１７の画像に対応する。しかし、図２０では、ラマン分光モダリティを使用して生成された第２の画像１６５０の部分２０００から決定された情報は、ＮＢＩモダリティを使用して生成されたプライマリの第１の画像１６００内の注釈２００２として含まれる。例示的な注釈は、第２の画像１６５０および対応する説明文、例えば「腫瘍」から決定されたオーバーレイ腫瘍画像２００２を提供する。
図２０は、いくつかの実施形態による注釈フォーマットを用いた複数の表示モダリティからの情報を使用する図１１の手術シーン１１００の例示的な表示である。図２０の手術画像は、図１６－１７の画像に対応する。しかし、図２０では、ラマン分光モダリティを使用して生成された第２の画像１６５０の部分２０００から決定された情報は、ＮＢＩモダリティを使用して生成されたプライマリの第１の画像１６００内の注釈２００２として含まれる。例示的な注釈は、第２の画像１６５０および対応する説明文、例えば「腫瘍」から決定されたオーバーレイ腫瘍画像２００２を提供する。
【0059】
マルチモダリティ表示の動的プレゼンテーション（動的提示）（Dynamic Presentation）
図２１Ａは、いくつかの実施形態によるマルチモダリティ手術画像を動的に提示するための第１のプロセス２１００を表す例示的なフロー図である。図２１Ｂは、カメラ５２８を使用して取り込まれ、異なる画像モダリティ画像を生成するために使用することができる非一時的記憶デバイス２１１４に記憶されるそれぞれの第１の画像情報２１１２を表す例示的な図である。図２１Ｃは、カメラ５２８を用いて取り込まれ、異なる画像モダリティ画像部分を生成するために使用することができる非一時的記憶デバイス２１１８に記憶されるそれぞれの第２の画像部分情報２１１６を表す例示的な図である。第１のプロセス２１００は、手術システム１０を参照して説明する。
図２１Ａは、いくつかの実施形態によるマルチモダリティ手術画像を動的に提示するための第１のプロセス２１００を表す例示的なフロー図である。図２１Ｂは、カメラ５２８を使用して取り込まれ、異なる画像モダリティ画像を生成するために使用することができる非一時的記憶デバイス２１１４に記憶されるそれぞれの第１の画像情報２１１２を表す例示的な図である。図２１Ｃは、カメラ５２８を用いて取り込まれ、異なる画像モダリティ画像部分を生成するために使用することができる非一時的記憶デバイス２１１８に記憶されるそれぞれの第２の画像部分情報２１１６を表す例示的な図である。第１のプロセス２１００は、手術システム１０を参照して説明する。
【0060】
モダリティ選択ブロック２１０２－１乃至２１０２－ｎは、第１乃至第ｎの表示モダリティのうちの１つまたは複数を選択および生成するようにコンピュータプロセッサ５８を構成する。画像を生成するために使用される情報は、複数の画像モダリティを表示する合成マルチモダリティ画像を生成するよう使用するために格納することができる。本明細書に記載する例示的な実施形態は、ＮＢＩ、ラマン分光法、蛍光、ＨＳＩ、ＯＣＴ、およびＣＴ表示モダリティを含む。異なる表示モダリティを生成するために異なる画像データが必要とされ得ることが理解されよう。より具体的には、異なる画像データは、光スペクトルの異なる部分の使用を必要とすることがある。例えば、ＮＢＩモダリティ画像は一般に、特定の青および緑の波長を必要とする。ラマン分光画像は一般に、関心のある組織に依存して異なる波長を必要とする。蛍光画像は一般に、可視波長および近赤外波長を必要とする。ＨＳＩは一般に、可視領域および赤外領域全体にわたる波長を必要とする。従って、異なる画像モダリティに関するデータは、時々、手術処置の過程で別々に取り込まれ、処理され得る。例えば、外科医は、最初に蛍光画像を観察し、後にＮＢＩ画像を観察し、その後、蛍光画像とＮＢＩ画像の両方からの部分を含む合成マルチモダリティ画像を観察することを選択し得る。
【0061】
図２１Ｂの記憶デバイス２１１６は、ビューア３１内に図１２の画像１２００のようなフルスクリーンＮＢＩモダリティ画像を生成するようコンピュータ５８を構成するために使用することができる例示的なＮＢＩ画像情報２１２０を記憶する。デバイス２１１６は、ビューア３１内に図１３の画像１３００のようなフルスクリーンラマンモダリティ画像を生成するようコンピュータ５８を構成するために使用することができるラマン分光情報２１３０を記憶する。デバイス２１１６は、フルスクリーン蛍光モダリティ画像（図示せず）を生成するようコンピュータ５８を構成するために使用することができる蛍光情報２１４０を記憶する。デバイス２１１６は、ビューア３１内に図１４の画像１４００のようなフルスクリーンＨＳＩモダリティ画像を生成するようコンピュータ５８を構成するために使用することができるＨＳＩ情報２１５０を記憶する。
【0062】
部分選択ブロック２１０４－１乃至２１０４－ｎは、コンピュータ５８を、選択された表示モダリティのうちの１つまたは複数のそれぞれの部分を選択するように構成する。異なる画像モダリティの異なる部分は、合成マルチモダリティ画像における表示のために選択され得る。例えば、血管を示すＮＢＩモダリティ画像の部分が選択され得る。腫瘍を示すラマン分光モダリティ画像の異なる部分が選択され得る。図２１Ｃの記憶デバイス２１１８は、図１７に示される画像部分１６０２のようなＮＢＩモダリティ画像部分を生成するようコンピュータ５８を構成するために使用することができる例示的なＮＢＩ画像部分情報２１２２を記憶する。図２１Ｃの記憶デバイス２１１８は、図１６に示す画像部分１６５２のようなラマン分光モダリティ画像部分を生成するようコンピュータ５８を構成するために使用することができる例示的なラマン分光画像部分情報２１３２を記憶する。いくつかの実施形態では、画像部分情報２１２２は、画像部分情報２１２０内に埋め込まれて記憶され、画像部分情報２１３２は、画像情報２１３０内に埋め込まれて記憶されることが理解されよう。
【0063】
フォーマット選択ブロック２１０６は、選択された表示モダリティ及び対応する選択された表示部分に基づいて、マルチモダリティ表示フォーマットを選択するようにコンピュータ５８を構成する。ブロック２１０８は、フォーマット選択ブロック２１０６を用いて選択されたマルチモダリティ表示フォーマットに従って、単一の手術シーンの複数の画像モダリティを同時に表示するようにコンピュータ５８を構成する。
【0064】
例えば、いくつかの実施形態では、モダリティ選択ブロック２１０２－１は、ＮＢＩ画像モダリティを選択および生成するようにコンピュータ５８を構成する。部分選択ブロック２１０４－１は、例えば、血管などのＮＢＩ画像内の特定の解剖学的構造を決定するようにコンピュータ５８を構成する。
【0065】
加えて、例えば、いくつかの実施形態では、モダリティ選択ブロック２１０２－ｎは、ラマン分光画像モダリティを選択するようにコンピュータ５８を構成する。部分選択ブロック２１０４－ｎは、例えば腫瘍などのラマン画像内の特定の解剖学的構造を決定するようにコンピュータ５８を構成する。
【0066】
他のモダリティ選択ブロック（図示せず）及び他の部分選択ブロック（図示せず）は、他の表示モダリティ、例えば、蛍光又はＨＳＩ、並びに各々の対応する解剖学的構造及び部分を選択する。
【0067】
フォーマット選択ブロック２１０６は、モダリティがプライマリ（例えば、フルスクリーン）として表示されるか、または挿入部分として表示されるかを決定し、一緒にステッチされるモダリティ、ＰｉＰとして表示されるモダリティを決定し、注釈を使用して示されることになるモダリティ情報を決定する。表示生成ブロック２１０８は、整形された（formatted）マルチモダリティ画像をコンピュータディスプレイスクリーン上に表示させるようにコンピュータ５８を構成する。
【0068】
図２２は、いくつかの実施形態による、表示モダリティおよび選択された表示モダリティの部分を選択するためのサブプロセス２２００の詳細を表す例示的なフロー図である。サブプロセス２２００は、手術システム１０を参照して説明する。いくつかの実施形態では、サブプロセス２２００は、図１１の破線２１１０内に示されるモダリティ選択ブロック２１０２－１乃至２１０２－ｎおよび部分選択ブロック２１０４－１乃至２１０４－ｎを実施する。判定ブロック２２０２は、ユーザが表示モダリティを選択したか否かを判定するようコンピュータ５８を構成する。ユーザが表示モダリティを選択した旨の決定に応答して、ブロック２２０４は、関心のある解剖学的構造の画像を含むユーザ選択表示モダリティの一部を選択するようコンピュータ５８を構成する。ブロック２２０４を使用した選択に続き、またはユーザが表示モダリティを選択していないと判定する判定ブロック２２０２に応答して、制御はブロック２２０６に流れ、ブロック２２０６は、手術システム１０から手術ステージ情報を受信するようコンピュータ５８を構成する。いくつかの態様において、手術ステージ情報は、例えば、手術システム作動状態情報および手術器具の運動学的情報を含む。判定ブロック２２０８は、受信された手術ステージ情報が、画像モダリティに対応する画像選択ルールに一致するかどうかを判定するようコンピュータシステム５８を構成する。受信された手術ステージ情報が画像選択ルールに一致するとの判定に応答して、ブロック２２１０は、関心のある解剖学的構造の画像を含む一致する表示モダリティの部分を選択するようにコンピュータ５８を構成する。ブロック２２０８による手術ステージの一致がないという判定に応答して、制御は判定ブロック２２０２に戻る。
【0069】
図２２から、異なるユーザ選択および異なる手術ステージ一致が、手術システム１０を使用する手術処置の実行中の異なるポイントで起こり得ることが理解されよう。従って、プロセス２２００は、手術処置の間、異なる時間に、異なる画像モダリティおよび異なる部分を選択し、生成することができる。
【0070】
図２３は、いくつかの実施形態による画像モダリティのユーザ選択を受け取るためのサブプロセス２３００の詳細を表す例示的なフロー図である。サブプロセス２３００は、手術システム１０を参照して説明される。いくつかの実施形態では、サブプロセス２３００は、図２２の判定実行ブロック２２０２を実装する。判定ブロック２３０２は、画像表示モダリティを選択するために、ユーザ入力がユーザ制御入力部３６に与えられるかどうかを決定するようにコンピュータ５８を構成する。ユーザ入力が画像モダリティを選択するよう制御入力部３６に与えられたとの決定に応答して、ブロック２３０４は、ユーザ選択モダリティをブロック２２０４に報告するようコンピュータ５８を構成する。ユーザ入力がユーザ制御入力部３６に与えられていないことを判定する判定ブロック２３０２に応答して、判定ブロック２３０６は、ユーザアイトラッキング入力が与えられるか否かを決定するようにコンピュータ５８を構成し、画像モダリティを選択する。ユーザアイトラッキング入力が画像モダリティを選択するために与えられるという決定に応答して、ブロック２３０４は、ユーザ選択モダリティをブロック２２０４に報告するようにコンピュータ５８を構成する。報告ブロック２３０４の後または判定ブロック２３０６の後、いずれの場合も、制御フローはブロック２２０６に戻る。
【0071】
図２３から、異なるユーザ選択が、手術システム１０を使用する手術処置の実行中の異なるポイントで起こり得ることが理解されよう。さらに理解されるように、サブプロセス２３００は、手術処置の間にサイクルを続け、ユーザ入力の変化を継続的にチェックする。従って、プロセス２３００は、手術処置中の異なる時間における異なる画像モダリティの中から選択することができる。
【0072】
図２４は、いくつかの実施形態による手術システムＡＡのビューア３１内に表示される例示的なモダリティ選択ユーザインタフェースＵＩ２４０２を示す、例示的な図である。例示的なモダリティ選択ＵＩディスプレイは、左欄でモダリティの選択を提供し、ユーザのモダリティ選択を示すために右欄にユーザ入力を受信する。いくつかの実施形態では、ユーザは、制御入力部３６を使用して選択を行う。例示のモダリティ選択では、ユーザはＮＢＩモダリティと蛍光モダリティを選択した。図２３の判定ブロック２３０２は、図２４のモダリティ選択ＵＩディスプレイを使用してユーザがいずれかのモダリティ選択をした場合にどうするかを決定するようにコンピュータを構成する。
【0073】
図２５Ａ－２５Ｃは、いくつかの実施形態による二次元アイトラッキング（図２５Ａ－２５Ｂ）および詳細なアイトラッキング（図２５Ｃ）を示す例示的な図である。ユーザがビューア３１をのぞき込むところの近くに配置されたアイセンサ４７は、ユーザの眼の動きを追跡する。図２５Ａを参照すると、フルスクリーン表示は、クリアなモダリティのような第１のモダリティ画像２５００を有し、解剖学的構造２５０２を表示し、ユーザの目２５０８が注視する第１の領域２５０６の近くに中心を置かれたＨＳＩのような第２のモダリティを有する第１のステッチイン（stitched-in）部分２５０４を有する。図２５Ｂを参照すると、解剖学的構造２５０２を表示する第１のモダリティ画像２５００を有するフルスクリーン表示は、ユーザの目２５０８が注視する第２の領域２５５６の近くに中心を置かれた第２のモダリティを有する第２のステッチイン部分２５５２を有する。いくつかの実施形態によれば、少なくとも２秒間持続するユーザ注視は、ユーザの注視付近の領域にステッチイン部分を生成するためのオプションをトリガするために必要とされる。
【0074】
画像のシャープネスおよび画像に含まれる詳細な情報のためにＨＳＩモダリティ画像が望ましいことが理解されよう。しかし、ＨＳＩ画像は、典型的には、生成するためにかなりの処理能力を必要とする。ユーザが注視するディスプレイのその部分のみに対してＨＳＩモダリティ画像を生成することは、処理要件を低減し、全体的な画像処理効率を高めることができる。いくつかの実施形態では、制御入力部は、平面的なアイトラッキング動作モードを選択するように作動することができる。判定ブロック２３０６は、ユーザがいずれかの平面アイトラッキング選択を行う場合にどうするかを決定するようにコンピュータを構成する。
【0075】
図２５Ｃを参照すると、スクリーンディスプレイは、ディスプレイに示される解剖学的構造のＣＴ深さスライスのスタックに隣接する解剖学的構造２５０２を示す。ユーザの注視は、第１の深さ２５８２に焦点を合わせて示される。ユーザの注視はまた、第２の深さ２５８４に焦点を合わせて示される。第１の深さ２５８２に対応する第１のＣＴスライス２５９２は、第１の深さ２５８２におけるユーザの注視に応答して解剖学的構造２５０２を示すスクリーンディスプレイ２５００上にオーバーレイされる。第２の深さ２５８４に対応する第２のＣＴスライス２５９４は、ユーザの第２の注視に応答して解剖学的構造２５０２を示すスクリーンディスプレイ２５００上にオーバーレイされる。いくつかの実施形態によれば、少なくとも２秒間持続するユーザ注視は、ユーザの注視の深さにおけるオーバーレイされたＣＴスライスの生成をトリガするために必要とされる。いくつかの実施形態では、制御入力部が、深さアイトラッキング動作モードを選択するように作動することができる。判定ブロック２３０６は、ユーザがいずれかの深さアイトラッキング選択を行う場合にどうするかを決定するようにコンピュータを構成する。
【0076】
図２６は、いくつかの実施形態によるマルチモダリティ表示フォーマットを選択するためのサブプロセス２６００の詳細を表す例示的なフロー図である。サブプロセス２３００は、手術システム１０を参照して説明される。いくつかの実施形態では、サブプロセス２３００は、図１１のフォーマット選択ブロック２１０６を実施する。判定ブロック２６０２は、複数のモダリティが選択されているかどうかを判定するようにコンピュータ５８を構成する。複数のモダリティが選択されないという判定に応答して、制御は、判定ブロック２６０２に戻る。複数のモダリティが選択されるとの判定に応答して、判定ブロック２６０４は、ユーザがユーザ選択フォーマットを指定するかどうかを判定する。ユーザがユーザ選択フォーマットを指定するとの判定に応答して、ブロック２６０６は、ユーザ選択フォーマットをブロック２１０８に報告し、制御は次に判定モジュール２６０２に戻る。ユーザがユーザ選択フォーマット優先度を指定していないという判定に応答して、ブロック２６０８は、ブロック２１０８にプリセットフォーマット優先度を報告し、制御は次に判定ブロック２０２に戻る。
【0077】
図２６から、ユーザは、手術システム１０を使用する手術処置の実行中の異なるポイントで異なるフォーマットおよびフォーマットの優先度を指定できることが理解されよう。さらに理解されるように、サブプロセス２６００は、手術処置の間にサイクルを続け、ユーザフォーマット選択における変化を継続的にチェックする。従って、プロセス２６００は、手術処置中の異なる時間に、異なるモダリティフォーマットの中から選択することができる。
【0078】
図２７は、いくつかの実施形態による手術システムＡＡのビューア３１内に表示される例示的なフォーマット選択ユーザインタフェースＵＩ２７０２を示す例示的な図である。例示的なフォーマット選択ＵＩ２７０２は、モダリティを左欄に表にし、ユーザのプレゼンテーション優先度選択を示すためにユーザ入力を中間および右欄に受信するプレゼンテーション優先度選択２７０４を提供する。例示優先度選択２７０６において、ユーザは、プライマリのプレゼンテーションのためにクリアとＮＢＩの両方を選択し、これは、いくつかの実施形態においてフルスクリーンであり、挿入プレゼンテーション（ステッチ、ＰｉＰまたは注釈）のために、ラマン、蛍光およびＨＳＩを選択した。ＮＢＩとクリアのｘ１とｘ２の指定は、それぞれ、ＮＢＩがより高い優先度を有するＮＢＩとクリアとの間のような例示の優先度付けを示している。例えば、例示の優先度付けによれば、ＮＢＩモダリティが存在する場合、ＮＢＩモダリティはプライマリであるが、ＮＢＩが存在しない場合、クリアモダリティがプライマリである。例示的なフォーマット選択ＵＩ２７０２はまた、プレゼンテーションスタイル（ステッチ、ＰｉＰまたは注釈）を左欄にリストし、ユーザのプレゼンテーションスタイル選択を示すためにユーザ入力を右欄に受信するプレゼンテーションスタイル選択２７０６を提供する。例示のスタイル選択２７０６では、ユーザはＰｉＰを選択した。従って、例示のユーザフォーマット選択では、ＮＢＩはプライマリとして提示され、ラマン、蛍光及びＨＳＩのうちの１つまたは複数はＮＢＩスクリーン内のＰｉＰに提示される。図２６の判定ブロック２６０８は、図２７のフォーマット選択ＵＩ表示を使用して、ユーザがいずれかのフォーマット優先順位選択を行う場合にどうするかを決定するようにコンピュータを構成する。
【0079】
図２８は、いくつかの実施形態による手術ステージ情報および対応する手術ステージルールが、表示モダリティを共に示しているかどうかを判定するサブプロセス２８００の詳細を表す例示的なフロー図である。サブプロセス２８００は、手術システム１０を参照して説明される。いくつかの実施形態では、サブプロセス２８００は、図２２の判定ブロック２２０８を実施する。ブロック２８０２は、システム作動状態および手術器具の運動学などの手術ステージ情報を受信するようにコンピュータ５８を構成する。いくつかの実施形態では、手術ステージ情報は、例えば、患者の健康記録情報などの追加情報および経験レベルなどの外科医情報を含むことができる。ブロック２８０４は、手術処置のための手術ステージルールを受信するようにコンピュータを構成する。ブロック２８０６は、受信された手術ステージ情報が表示モダリティに一致することをルールが示すかどうかを決定するために、受信された手術ステージ情報に受信された手術ステージルールを適用するようにコンピュータを構成する。ブロック２８０８は、表示モダリティが該当する場合、表示モダリティを報告するようにコンピュータを構成する。
【0080】
図２９は、いくつかの実施形態によるコンピュータシステム５８内の記憶デバイスに記憶された手術ステージおよび対応するモダリティを含む例示的な情報構造２９０２を表す例示的な図である。それぞれの外科ステージ識別特性はそれぞれの表示モダリティに対応する。いくつかの実施形態によれば、手術ステージ識別特性と密接に一致する手術ステージ情報の手術ステムを使用する手術中の発生は、手術システムが一致する手術ステージベクトルに対応する表示モダリティを使用するべきであることを示すことができる。いくつかの実施形態によれば、機械学習技術を、手術情報アトラス９０２内に記憶された情報に基づいて、手術ステージ識別特性を生成するために使用することができる。より具体的には、例えば、分類器（classifiers）を、手術ステージ識別特性を画像モダリティと相関させるために専門家の知識と共に使用することができる。各手術ステージ識別特性（ＳｉｇＳＳ）は、多次元ベクトルを含む。ベクトルは、画像モダリティに対応する手術ステージの属性を示すベクトル値を含む。いくつかの実施形態では、手術システム識別特性は、記録されたシステム状態情報および多数の異なる手術システムを使用する多数の手術処置について記録される記録された手術器具の運動学的情報に基づいて生成される。いくつかの実施態様では、例えば、手術器具の運動学的運動は、例えば、瞬間速度、瞬間加速度、瞬間三次元ポジション、現在の運動経路及び予測された運動経路などの運動学的特徴を表す多重ベクトル成分に分解される。さらに、いくつかの実施態様では、手術ステージ識別特性の決定に重要な器具の運動および位置だけでなく、器具に対する解剖学的構造の物理的位置、他の器具の物理的位置、患者の健康および手術の性質などのコンテキスト（context）情報も運動学的情報の解釈に関係する。さらに、以前の器具の動きは、どの画像モダリティが特定の手術ステージ識別特性に対応しているかのような、手術ステージ識別特性の決定に関係し得る。従って、いくつかの実施態様では、手術ステージ識別特性はまた、例えば、解剖学的構造の位置、他の器具の位置、患者の健康、手術の種類、医師の経験レベルおよび器具の以前の動きを示すベクトルを含むことができる。
【0081】
再び図２８を参照すると、ブロック２８０６は、受信された手術ステージ情報と、受信された手術ステージ情報に対応する表示モダリティを使用するためのレポートをトリガするための手術ステージ識別特性との間に十分な一致があるかどうかを決定するために、ルールとして作用する手術ステージ識別特性と、受信された手術ステージ情報との間に相関を実行する。機械学習の実施形態では、一致は、受信された器具の運動学とシステム状態情報等との間の類似性の範囲、および手術状態識別特性によって表されるルールに基づいて決定されることが理解されよう。従って、いくつかの実施形態では、例えば、特定のルールからある閾値距離内にある手術ステージ情報は、対応する表示モダリティの選択をトリガするそのルールに一致するように決定される。
【0082】
図３０は、いくつかの実施形態による画像モダリティ部分を生成するためのサブプロセス３０００の詳細を表す例示的なフロー図である。サブプロセス３０００は、手術システム１０を参照して説明される。いくつかの実施形態では、サブプロセス３０００は、図２２のブロック２２０４および２２１０を実施する。ブロック３００２は、手術システムを使用して実行される手術のための選択された画像モダリティのためにカメラ５２８を使用して取り込まれた画像情報を受信するようにコンピュータを構成する。受信された画像情報は、例えば、解剖学的構造位置、マージン評価および機能情報を含むことができる。いくつかの実施形態では、画像情報は、例えば、患者の健康記録情報などの追加情報および経験レベルなどの外科医情報を伴うことができる。ブロック３００４は、画像モダリティルールを受信するようにコンピュータを構成する。ブロック３００５は、受信された画像情報および受信されたルールに対応する画像モダリティを識別する情報を受信するようにコンピュータシステムを構成する。ブロック３００６は、外科医にとって最も関心が高い可能性があり、従って、重要な部分を特徴付けるのに適切な場合に、別の画像に挿入するために選択されるべきである画像モダリティの一部を識別するために、受信した画像モダリティルールを受信した画像情報に適用するようにコンピュータを構成する。ブロック３００８は、対応する部分が識別された場合、その部分を報告するようにコンピュータを構成する。
【0083】
サブプロセス３０００は、手術処置を実行する手術システム１０によって現在使用されている各画像モダリティに対して別々に実行されることが理解されるであろう。より詳しくは、例えば、ＮＢＩおよびラマン分光画像モダリティのみが現在使用されている場合、サブプロセス３０００は、ＮＢＩ画像情報およびＮＢＩルール、ならびにラマン画像情報およびラマンルールに対して別々に実行される。さらに、全体的なシーンの異なる部分が、異なる画像モダリティに対して識別され得ることが理解されるであろう。例えば、ＮＢＩモダリティは血管を識別するのに優れ得るとともに、ラマンモダリティは腫瘍の識別に優れ得る。
【0084】
図３１は、いくつかの実施形態による、コンピュータシステム５８内の記憶デバイスに記憶された画像識別特性と対応する注釈とを含む例示的な情報構造３１０２を表す例示的な図である。それぞれの画像識別特性は、例えば、手術中に外科医に特に関心がある可能性がある血管または腫瘍などのそれぞれの解剖学的構造に対応する。注釈は、注釈に関連する画像識別特性に密接に一致する手術中に生成された手術画像の潜在的関連性の説明を提供することができる。画像識別特性に一致する画像モダリティ情報の一部は、ビューア３１内に表示された全体的な手術シーンに（例えば、ステッチ、ＰｉＰまたは注釈を介して）挿入するように選択される。
【0085】
いくつかの実施形態によれば、機械学習技術を手術情報アトラス９０２内に記憶された情報に基づいて画像識別特性を生成するために使用することができる。より具体的には、例えば、分類器を、画像識別特性を画像モダリティと相関させるための専門家の知識と共に使用することができる。各画像識別特性（ＳｉｇＩＭ）は、多次元ベクトルを含む。ベクトルは、解剖学的構造を示す値を含む。いくつかの実施形態において、画像識別特性は、解剖学的構造の形状、スペクトル識別特性（spectral signature）、深さおよび画像モダリティで取り込まれた色情報の分析などの因子に基づいて生成される。異なる画像モダリティが異なる解剖学的構造の画像を取り込むのに適していることが理解されるであろう。
【0086】
再び図３０を参照すると、ブロック３００６は、受信された画像情報に対応する画像の一部を使用するためにレポートをトリガするよう受信された画像情報と画像特徴との間に十分に近い一致が存在するかどうかを判定するために、ルールとして作用する画像識別特性と受信された画像情報との間の相関を実行する。機械学習の実施形態では、一致は、受信された画像情報と画像識別特性によって表されるルールとの間の類似性の範囲に基づいて判定されることが理解されるであろう。従って、例えば、いくつかの実施形態では、特定のルールからある閾値距離内にある画像情報は、別の画像内に表示するための画像の対応する部分の選択をトリガするそのルールに一致すると判定される。
【0087】
例示的な実施形態が示され説明されているが、前述の開示では広範囲の修正、変更および置換が企図されており、いくつかの例では、実施形態のいくつかの特徴を、他の特徴の対応する使用なしに使用することができる。当業者は、多くの変形、代替、および修正を認識するであろう。従って、本開示の範囲は、以下の特許請求の範囲によってのみ限定されるべきであり、特許請求の範囲は、本明細書に開示される実施形態の範囲と一致する方法で、広く解釈されるのが適切である。
【0088】
次の付記を記す。
（付記１） 手術シーンのマルチモダリティ画像を生成するための方法であって：
前記手術シーンから反射された光を取り込むように少なくとも１つのカメラを使用するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第１のモダリティ画像に対応する第１の画像情報を非一時的記憶デバイス内に生成するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第２のモダリティ画像に対応する第２の画像情報を非一時的記憶デバイス内に生成するステップと；
前記第２のモダリティ画像の部分を選択するステップであって、前記第２のモダリティ画像の選択された前記部分内に含まれる解剖学的構造情報に少なくとも部分的に基づいて、前記第２のモダリティ画像の部分を選択するステップと；
前記手術シーンの前記第１のモダリティ画像の少なくとも一部および前記第２のモダリティ画像の前記選択された部分を表示内に同時に生成するために前記第１の画像情報および前記第２の画像情報を使用するようにコンピュータを構成するステップと；
を含む、
方法。
（付記２） 前記モダリティ画像の前記部分を選択するステップは、前記第２の画像情報を、非一時的記憶デバイス内に記憶された画像識別特性情報と比較するステップを含む、
付記１に記載の方法。
（付記３） 前記モダリティ画像の前記部分を選択するステップは、前記第２の画像情報を、非一時的記憶デバイス内に記憶された複数の画像識別特性と比較するステップを含む、
付記１に記載の方法。
（付記４） 前記構成するステップは、前記第２のモダリティ画像の前記選択された部分を前記第１のモダリティ画像の中に前記第１のモダリティ画像の対応する部分の代わりにステッチするように前記コンピュータを構成するステップを含む、
付記１に記載の方法。
（付記５） 前記構成するステップは、前記表示内に同時に、前記第２のモダリティ画像の前記選択された部分の縮小したサイズの画像および前記第１のモダリティ画像を含めるように前記コンピュータを構成するステップを含む、
付記１に記載の方法。
（付記６） 前記第１のモダリティ画像はクリア画像を含み；
前記第２のモダリティ画像は強調画像を含む；
付記１に記載の方法。
（付記７） 前記第１のモダリティ画像は強調画像を含み；
前記第２のモダリティ画像は強調画像を含む；
付記１に記載の方法。
（付記８） 前記第１のモダリティ画像はクリア画像を含み；
前記第２のモダリティ画像は狭帯域画像を含む；
付記１に記載の方法。
（付記９） 前記第１のモダリティ画像はクリア画像を含み；
前記第２のモダリティ画像はラマン分光画像を含む；
付記１に記載の方法。
（付記１０） 前記第１のモダリティ画像はクリア画像を含み；
前記第２のモダリティ画像は蛍光画像を含む；
付記１に記載の方法。
（付記１１） 前記第１のモダリティ画像はクリア画像を含み；
前記第２のモダリティ画像はハイパースペクトル画像を含む；
付記１に記載の方法。
（付記１２） 前記第１のモダリティ画像はクリア画像を含み；
前記第２のモダリティ画像は光コヒーレンストモグラフィ画像を含む；
付記１に記載の方法。
（付記１３） 前記コンピュータにおいてフォーマット選択を受信するステップをさらに含み；
前記構成するステップは、前記手術シーンの前記第１のモダリティ画像の前記少なくとも一部および前記第２のモダリティ画像の前記選択された部分を、選択された前記フォーマットで前記表示内に同時に生成するよう前記コンピュータを構成するステップを含む；
付記１に記載の方法。
（付記１４） 手術シーンのマルチモダリティ画像を生成する方法であって：
前記手術シーンから反射された光を取り込むように少なくとも１つのカメラを使用するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第１の強調モダリティ画像に対応する第１の画像情報を非一時的記憶デバイス内に生成するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第２の強調モダリティ画像に対応する第２の画像情報を非一時的記憶デバイス内に生成するステップと；
前記第１及び前記第２のモダリティ画像の一方をプライマリとして指定し且つ前記第１及び前記第２のモダリティ画像の他方をインサートとして指定するフォーマット選択をコンピュータで受信するステップと；
前記インサートとして指定される前記モダリティ画像の部分を選択するステップであって、前記インサートとして指定された前記モダリティ画像の選択された前記部分の中に含まれる解剖学的構造情報に少なくとも部分的に基づいて、前記インサートとして指定される前記モダリティ画像の部分を選択するステップと；
前記プライマリとして指定された前記モダリティ画像の少なくとも一部および前記インサートとして指定された前記モダリティ画像の前記選択された部分を表示内に同時に生成するように前記第１の画像情報および前記第２の画像情報を使用するよう前記コンピュータを構成するステップと；
を含む、
方法。
（付記１５） 前記構成するステップは、前記インサートとして指定された前記モダリティ画像の前記選択された部分を、前記プライマリとして指定された前記モダリティ画像の前記少なくとも一部の中に、前記プライマリとして指定された前記モダリティ画像の前記少なくとも一部の対応する部分の代わりにステッチするように構成するステップを含む、
付記１４に記載の方法。
（付記１６） 前記構成するステップは、前記表示内に同時に、前記インサートとして指定された前記モダリティ画像の前記選択された部分の縮小したサイズの画像および前記プライマリとして指定された前記モダリティ画像の前記少なくとも一部を含めるように構成するステップを含む、
付記１４に記載の方法。
（付記１７） 手術シーンのマルチモダリティ画像を生成する方法であって：
前記手術シーンから反射された光を取り込むように少なくとも１つのカメラを使用するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第１のモダリティ画像に対応する第１の画像情報を非一時的記憶デバイス内に生成するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第２のモダリティ画像に対応する第２の画像情報を非一時的記憶デバイス内に生成するステップと；
表示内のユーザの眼の焦点位置を追跡するステップと；
前記表示内の前記の追跡されたユーザの眼の焦点に少なくとも部分的に基づいて前記第２のモダリティ画像の部分を選択するステップと；
前記手術シーンの前記第１のモダリティ画像の少なくとも一部および前記第２のモダリティ画像の前記選択された部分を前記表示内に同時に生成するように前記第１の画像情報および前記第２の画像情報を使用するようコンピュータを構成するステップと；
を含む、
方法。
（付記１８） 前記第２のモダリティ画像はハイパースペクトル画像を含む、
付記１７に記載の方法。
（付記１９） 前記構成するステップは、前記第２のモダリティ画像の前記選択された部分を前記第１のモダリティ画像の中に前記第１のモダリティ画像の対応する部分の代わりにステッチするよう前記コンピュータを構成するステップを含む、
付記１７に記載の方法。
（付記２０） 前記構成するステップは、前記表示内に同時に、前記第２のモダリティ画像の前記選択された部分の縮小したサイズの画像および前記第１のモダリティ画像を含めるように前記コンピュータを構成するステップを含む、
付記１７に記載の方法。
（付記２１） 手術シーンのマルチモダリティ画像を生成する方法であって：
前記手術シーンから反射された光を取り込むように少なくとも１つのカメラを使用するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第１のモダリティ画像に対応する第１の画像情報を非一時的記憶デバイス内に生成するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第２のモダリティ画像に対応する第２の画像情報を非一時的記憶デバイス内に生成するステップと；
手術処置の過程で手術ステージを追跡するステップと；
前記の追跡された手術ステージに少なくとも部分的に基づいてモダリティ画像フォーマットを選択するステップと；
前記第１のモダリティ画像の少なくとも一部および前記第２のモダリティ画像の少なくとも一部を表示内に前記の選択されたフォーマットで生成するように前記第１の画像情報および前記第２の画像情報を使用するようコンピュータを構成するステップと；
を含む、
方法。
（付記２２） 前記モダリティ画像を選択するステップは、前記手術ステージ情報を、非一時的記憶デバイス内に記憶された手術ステージ識別特性情報と比較するステップを含む、
付記２１に記載の方法。
（付記２３） 前記モダリティ画像を選択するステップは、前記手術ステージ情報を、非一時的記憶デバイス内に記憶された複数の手術ステージ識別特性情報と比較するステップを含む、
付記２２に記載の方法。
（付記２４） 手術シーンのマルチモダリティ画像を生成するシステムであって：
プロセッサと；
メモリデバイスであって：
前記手術シーンから反射された光を取り込むように少なくとも１つのカメラを使用するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第１のモダリティ画像に対応する第１の画像情報を非一時的記憶デバイス内に生成するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第２のモダリティ画像に対応する第２の画像情報を非一時的記憶デバイス内に生成するステップと；
前記第２のモダリティ画像の部分を選択するステップであって、前記第２のモダリティ画像の選択された前記部分内に含まれる解剖学的構造情報に少なくとも部分的に基づいて、前記第２のモダリティ画像の部分を選択するステップと；
前記手術シーンの前記第１のモダリティ画像の少なくとも一部および前記第２のモダリティ画像の前記選択された部分を表示内に同時に生成するために前記第１の画像情報および前記第２の画像情報を使用するようにコンピュータを構成するステップと；
を含む動作を前記システムに実行させるように、前記プロセッサ上で実行可能な命令セットを保持する、メモリデバイスと；
を有する、
システム。
（付記２５） 前記モダリティ画像の前記部分を選択するステップは、前記第２の画像情報を、非一時的記憶デバイス内に記憶された画像識別特性情報と比較するステップを含む、
付記２４に記載のシステム。
（付記２６） 前記モダリティ画像の前記部分を選択するステップは、前記第２の画像情報を、非一時的記憶デバイス内に記憶された複数の画像識別特性と比較するステップを含む、
付記２４に記載のシステム。
（付記２７） 前記構成するステップは、前記第２のモダリティ画像の前記選択された部分を前記第１のモダリティ画像の中に前記第１のモダリティ画像の対応する部分の代わりにステッチするように前記コンピュータを構成するステップを含む、
付記２４に記載のシステム。
（付記２８） 前記構成するステップは、前記表示内に同時に、前記第２のモダリティ画像の前記選択された部分の縮小したサイズの画像および前記第１のモダリティ画像を含めるように前記コンピュータを構成するステップを含む、
付記２４に記載のシステム。
（付記２９） 前記第１のモダリティ画像はクリア画像を含み；
前記第２のモダリティ画像は強調画像を含む；
付記２４に記載のシステム。
（付記３０） 前記第１のモダリティ画像は強調画像を含み；
前記第２のモダリティ画像は強調画像を含む；
付記２４に記載のシステム。
（付記３１） 前記第１のモダリティ画像はクリア画像を含み；
前記第２のモダリティ画像は狭帯域画像を含む；
付記２４に記載のシステム。
（付記３２） 前記第１のモダリティ画像はクリア画像を含み；
前記第２のモダリティ画像はラマン分光画像を含む；
付記２４に記載のシステム。
（付記３３） 前記第１のモダリティ画像はクリア画像を含み；
前記第２のモダリティ画像は蛍光画像を含む；
付記２４に記載のシステム。
（付記３４） 前記第１のモダリティ画像はクリア画像を含み；
前記第２のモダリティ画像はハイパースペクトル画像を含む；
付記２４に記載のシステム。
（付記３５） 前記第１のモダリティ画像はクリア画像を含み；
前記第２のモダリティ画像は光コヒーレンストモグラフィ画像を含む；
付記２４に記載のシステム。
（付記３６） 前記コンピュータにおいてフォーマット選択を受信するステップをさらに含み；
前記構成するステップは、前記手術シーンの前記第１のモダリティ画像の前記少なくとも一部および前記第２のモダリティ画像の前記選択された部分を、選択された前記フォーマットで前記表示内に同時に生成するよう前記コンピュータを構成するステップを含む；
付記２４に記載のシステム。
（付記３７） 手術シーンのマルチモダリティ画像を生成するシステムであって：
プロセッサと；
メモリデバイスであって：
前記手術シーンから反射された光を取り込むように少なくとも１つのカメラを使用するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第１の強調モダリティ画像に対応する第１の画像情報を非一時的記憶デバイス内に生成するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第２の強調モダリティ画像に対応する第２の画像情報を非一時的記憶デバイス内に生成するステップと；
前記第１及び前記第２のモダリティ画像の一方をプライマリとして指定し且つ前記第１及び前記第２のモダリティ画像の他方をインサートとして指定するフォーマット選択を前記コンピュータで受信するステップと；
前記インサートとして指定される前記モダリティ画像の部分を選択するステップであって、前記インサートとして指定された前記モダリティ画像の選択された前記部分の中に含まれる解剖学的構造情報に少なくとも部分的に基づいて、前記インサートとして指定される前記モダリティ画像の部分を選択するステップと；
前記プライマリとして指定された前記モダリティ画像の少なくとも一部および前記インサートとして指定された前記モダリティ画像の前記選択された部分を表示内に同時に生成するように前記第１の画像情報および前記第２の画像情報を使用するよう前記コンピュータを構成するステップと；
を含む動作を前記システムに実行させるように、前記プロセッサ上で実行可能な命令セットを保持する、メモリデバイスと；
を有する、
システム。
（付記３８） 前記構成するステップは、前記インサートとして指定された前記モダリティ画像の前記選択された部分を、前記プライマリとして指定された前記モダリティ画像の前記少なくとも一部の中に、前記プライマリとして指定された前記モダリティ画像の前記少なくとも一部の対応する部分の代わりにステッチするように構成するステップを含む、
付記３７に記載のシステム。
（付記３９） 前記構成するステップは、前記表示内に同時に、前記インサートとして指定された前記モダリティ画像の前記選択された部分の縮小したサイズの画像および前記プライマリとして指定された前記モダリティ画像の前記少なくとも一部を含めるように構成するステップを含む、
付記３７に記載のシステム。
（付記４０） 手術シーンのマルチモダリティ画像を生成するシステムであって：
プロセッサと；
メモリデバイスであって：
前記手術シーンから反射された光を取り込むように少なくとも１つのカメラを使用するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第１のモダリティ画像に対応する第１の画像情報を非一時的記憶デバイス内に生成するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第２のモダリティ画像に対応する第２の画像情報を非一時的記憶デバイス内に生成するステップと；
表示内のユーザの眼の焦点位置を追跡するステップと；
前記表示内の前記の追跡されたユーザの眼の焦点に少なくとも部分的に基づいて前記第２のモダリティ画像の部分を選択するステップと；
前記手術シーンの前記第１のモダリティ画像の少なくとも一部および前記第２のモダリティ画像の前記選択された部分を前記表示内に同時に生成するように前記第１の画像情報および前記第２の画像情報を使用するようコンピュータを構成するステップと；
を含む動作を前記システムに実行させるように、前記プロセッサ上で実行可能な命令セットを保持する、メモリデバイスと；
を有する、
システム。
（付記４１） 前記第２のモダリティ画像はハイパースペクトル画像を含む、
付記４０に記載のシステム。
（付記４２） 前記構成するステップは、前記第２のモダリティ画像の前記選択された部分を前記第１のモダリティ画像の中に前記第１のモダリティ画像の対応する部分の代わりにステッチするよう前記コンピュータを構成するステップを含む、
付記４０に記載のシステム。
（付記４３） 前記構成するステップは、前記表示内に同時に、前記第２のモダリティ画像の前記選択された部分の縮小したサイズの画像および前記第１のモダリティ画像を含めるように前記コンピュータを構成するステップを含む、
付記４０に記載のシステム。
（付記４４） 手術シーンのマルチモダリティ画像を生成するシステムであって：
プロセッサと；
メモリデバイスであって：
前記手術シーンから反射された光を取り込むように少なくとも１つのカメラを使用するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第１のモダリティ画像に対応する第１の画像情報を非一時的記憶デバイス内に生成するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第２のモダリティ画像に対応する第２の画像情報を非一時的記憶デバイス内に生成するステップと；
手術処置の過程で手術ステージを追跡するステップと；
前記の追跡された手術ステージに少なくとも部分的に基づいてモダリティ画像フォーマットを選択するステップと；
前記第１のモダリティ画像の少なくとも一部および前記第２のモダリティ画像の少なくとも一部を表示内に前記の選択されたフォーマットで生成するように前記第１の画像情報および前記第２の画像情報を使用するようコンピュータを構成するステップと；
を含む動作を前記システムに実行させるように、前記プロセッサ上で実行可能な命令セットを保持する、メモリデバイスと；
を有する、
システム。
（付記４５） 前記モダリティ画像を選択するステップは、前記手術ステージ情報を、非一時的記憶デバイス内に記憶された手術ステージ識別特性情報と比較するステップを含む、
付記４４に記載のシステム。
（付記４６） 前記モダリティ画像を選択するステップは、前記手術ステージ情報を、非一時的記憶デバイス内に記憶された複数の手術ステージ識別特性情報と比較するステップを含む、
付記４４に記載のシステム。
（付記１） 手術シーンのマルチモダリティ画像を生成するための方法であって：
前記手術シーンから反射された光を取り込むように少なくとも１つのカメラを使用するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第１のモダリティ画像に対応する第１の画像情報を非一時的記憶デバイス内に生成するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第２のモダリティ画像に対応する第２の画像情報を非一時的記憶デバイス内に生成するステップと；
前記第２のモダリティ画像の部分を選択するステップであって、前記第２のモダリティ画像の選択された前記部分内に含まれる解剖学的構造情報に少なくとも部分的に基づいて、前記第２のモダリティ画像の部分を選択するステップと；
前記手術シーンの前記第１のモダリティ画像の少なくとも一部および前記第２のモダリティ画像の前記選択された部分を表示内に同時に生成するために前記第１の画像情報および前記第２の画像情報を使用するようにコンピュータを構成するステップと；
を含む、
方法。
（付記２） 前記モダリティ画像の前記部分を選択するステップは、前記第２の画像情報を、非一時的記憶デバイス内に記憶された画像識別特性情報と比較するステップを含む、
付記１に記載の方法。
（付記３） 前記モダリティ画像の前記部分を選択するステップは、前記第２の画像情報を、非一時的記憶デバイス内に記憶された複数の画像識別特性と比較するステップを含む、
付記１に記載の方法。
（付記４） 前記構成するステップは、前記第２のモダリティ画像の前記選択された部分を前記第１のモダリティ画像の中に前記第１のモダリティ画像の対応する部分の代わりにステッチするように前記コンピュータを構成するステップを含む、
付記１に記載の方法。
（付記５） 前記構成するステップは、前記表示内に同時に、前記第２のモダリティ画像の前記選択された部分の縮小したサイズの画像および前記第１のモダリティ画像を含めるように前記コンピュータを構成するステップを含む、
付記１に記載の方法。
（付記６） 前記第１のモダリティ画像はクリア画像を含み；
前記第２のモダリティ画像は強調画像を含む；
付記１に記載の方法。
（付記７） 前記第１のモダリティ画像は強調画像を含み；
前記第２のモダリティ画像は強調画像を含む；
付記１に記載の方法。
（付記８） 前記第１のモダリティ画像はクリア画像を含み；
前記第２のモダリティ画像は狭帯域画像を含む；
付記１に記載の方法。
（付記９） 前記第１のモダリティ画像はクリア画像を含み；
前記第２のモダリティ画像はラマン分光画像を含む；
付記１に記載の方法。
（付記１０） 前記第１のモダリティ画像はクリア画像を含み；
前記第２のモダリティ画像は蛍光画像を含む；
付記１に記載の方法。
（付記１１） 前記第１のモダリティ画像はクリア画像を含み；
前記第２のモダリティ画像はハイパースペクトル画像を含む；
付記１に記載の方法。
（付記１２） 前記第１のモダリティ画像はクリア画像を含み；
前記第２のモダリティ画像は光コヒーレンストモグラフィ画像を含む；
付記１に記載の方法。
（付記１３） 前記コンピュータにおいてフォーマット選択を受信するステップをさらに含み；
前記構成するステップは、前記手術シーンの前記第１のモダリティ画像の前記少なくとも一部および前記第２のモダリティ画像の前記選択された部分を、選択された前記フォーマットで前記表示内に同時に生成するよう前記コンピュータを構成するステップを含む；
付記１に記載の方法。
（付記１４） 手術シーンのマルチモダリティ画像を生成する方法であって：
前記手術シーンから反射された光を取り込むように少なくとも１つのカメラを使用するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第１の強調モダリティ画像に対応する第１の画像情報を非一時的記憶デバイス内に生成するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第２の強調モダリティ画像に対応する第２の画像情報を非一時的記憶デバイス内に生成するステップと；
前記第１及び前記第２のモダリティ画像の一方をプライマリとして指定し且つ前記第１及び前記第２のモダリティ画像の他方をインサートとして指定するフォーマット選択をコンピュータで受信するステップと；
前記インサートとして指定される前記モダリティ画像の部分を選択するステップであって、前記インサートとして指定された前記モダリティ画像の選択された前記部分の中に含まれる解剖学的構造情報に少なくとも部分的に基づいて、前記インサートとして指定される前記モダリティ画像の部分を選択するステップと；
前記プライマリとして指定された前記モダリティ画像の少なくとも一部および前記インサートとして指定された前記モダリティ画像の前記選択された部分を表示内に同時に生成するように前記第１の画像情報および前記第２の画像情報を使用するよう前記コンピュータを構成するステップと；
を含む、
方法。
（付記１５） 前記構成するステップは、前記インサートとして指定された前記モダリティ画像の前記選択された部分を、前記プライマリとして指定された前記モダリティ画像の前記少なくとも一部の中に、前記プライマリとして指定された前記モダリティ画像の前記少なくとも一部の対応する部分の代わりにステッチするように構成するステップを含む、
付記１４に記載の方法。
（付記１６） 前記構成するステップは、前記表示内に同時に、前記インサートとして指定された前記モダリティ画像の前記選択された部分の縮小したサイズの画像および前記プライマリとして指定された前記モダリティ画像の前記少なくとも一部を含めるように構成するステップを含む、
付記１４に記載の方法。
（付記１７） 手術シーンのマルチモダリティ画像を生成する方法であって：
前記手術シーンから反射された光を取り込むように少なくとも１つのカメラを使用するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第１のモダリティ画像に対応する第１の画像情報を非一時的記憶デバイス内に生成するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第２のモダリティ画像に対応する第２の画像情報を非一時的記憶デバイス内に生成するステップと；
表示内のユーザの眼の焦点位置を追跡するステップと；
前記表示内の前記の追跡されたユーザの眼の焦点に少なくとも部分的に基づいて前記第２のモダリティ画像の部分を選択するステップと；
前記手術シーンの前記第１のモダリティ画像の少なくとも一部および前記第２のモダリティ画像の前記選択された部分を前記表示内に同時に生成するように前記第１の画像情報および前記第２の画像情報を使用するようコンピュータを構成するステップと；
を含む、
方法。
（付記１８） 前記第２のモダリティ画像はハイパースペクトル画像を含む、
付記１７に記載の方法。
（付記１９） 前記構成するステップは、前記第２のモダリティ画像の前記選択された部分を前記第１のモダリティ画像の中に前記第１のモダリティ画像の対応する部分の代わりにステッチするよう前記コンピュータを構成するステップを含む、
付記１７に記載の方法。
（付記２０） 前記構成するステップは、前記表示内に同時に、前記第２のモダリティ画像の前記選択された部分の縮小したサイズの画像および前記第１のモダリティ画像を含めるように前記コンピュータを構成するステップを含む、
付記１７に記載の方法。
（付記２１） 手術シーンのマルチモダリティ画像を生成する方法であって：
前記手術シーンから反射された光を取り込むように少なくとも１つのカメラを使用するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第１のモダリティ画像に対応する第１の画像情報を非一時的記憶デバイス内に生成するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第２のモダリティ画像に対応する第２の画像情報を非一時的記憶デバイス内に生成するステップと；
手術処置の過程で手術ステージを追跡するステップと；
前記の追跡された手術ステージに少なくとも部分的に基づいてモダリティ画像フォーマットを選択するステップと；
前記第１のモダリティ画像の少なくとも一部および前記第２のモダリティ画像の少なくとも一部を表示内に前記の選択されたフォーマットで生成するように前記第１の画像情報および前記第２の画像情報を使用するようコンピュータを構成するステップと；
を含む、
方法。
（付記２２） 前記モダリティ画像を選択するステップは、前記手術ステージ情報を、非一時的記憶デバイス内に記憶された手術ステージ識別特性情報と比較するステップを含む、
付記２１に記載の方法。
（付記２３） 前記モダリティ画像を選択するステップは、前記手術ステージ情報を、非一時的記憶デバイス内に記憶された複数の手術ステージ識別特性情報と比較するステップを含む、
付記２２に記載の方法。
（付記２４） 手術シーンのマルチモダリティ画像を生成するシステムであって：
プロセッサと；
メモリデバイスであって：
前記手術シーンから反射された光を取り込むように少なくとも１つのカメラを使用するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第１のモダリティ画像に対応する第１の画像情報を非一時的記憶デバイス内に生成するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第２のモダリティ画像に対応する第２の画像情報を非一時的記憶デバイス内に生成するステップと；
前記第２のモダリティ画像の部分を選択するステップであって、前記第２のモダリティ画像の選択された前記部分内に含まれる解剖学的構造情報に少なくとも部分的に基づいて、前記第２のモダリティ画像の部分を選択するステップと；
前記手術シーンの前記第１のモダリティ画像の少なくとも一部および前記第２のモダリティ画像の前記選択された部分を表示内に同時に生成するために前記第１の画像情報および前記第２の画像情報を使用するようにコンピュータを構成するステップと；
を含む動作を前記システムに実行させるように、前記プロセッサ上で実行可能な命令セットを保持する、メモリデバイスと；
を有する、
システム。
（付記２５） 前記モダリティ画像の前記部分を選択するステップは、前記第２の画像情報を、非一時的記憶デバイス内に記憶された画像識別特性情報と比較するステップを含む、
付記２４に記載のシステム。
（付記２６） 前記モダリティ画像の前記部分を選択するステップは、前記第２の画像情報を、非一時的記憶デバイス内に記憶された複数の画像識別特性と比較するステップを含む、
付記２４に記載のシステム。
（付記２７） 前記構成するステップは、前記第２のモダリティ画像の前記選択された部分を前記第１のモダリティ画像の中に前記第１のモダリティ画像の対応する部分の代わりにステッチするように前記コンピュータを構成するステップを含む、
付記２４に記載のシステム。
（付記２８） 前記構成するステップは、前記表示内に同時に、前記第２のモダリティ画像の前記選択された部分の縮小したサイズの画像および前記第１のモダリティ画像を含めるように前記コンピュータを構成するステップを含む、
付記２４に記載のシステム。
（付記２９） 前記第１のモダリティ画像はクリア画像を含み；
前記第２のモダリティ画像は強調画像を含む；
付記２４に記載のシステム。
（付記３０） 前記第１のモダリティ画像は強調画像を含み；
前記第２のモダリティ画像は強調画像を含む；
付記２４に記載のシステム。
（付記３１） 前記第１のモダリティ画像はクリア画像を含み；
前記第２のモダリティ画像は狭帯域画像を含む；
付記２４に記載のシステム。
（付記３２） 前記第１のモダリティ画像はクリア画像を含み；
前記第２のモダリティ画像はラマン分光画像を含む；
付記２４に記載のシステム。
（付記３３） 前記第１のモダリティ画像はクリア画像を含み；
前記第２のモダリティ画像は蛍光画像を含む；
付記２４に記載のシステム。
（付記３４） 前記第１のモダリティ画像はクリア画像を含み；
前記第２のモダリティ画像はハイパースペクトル画像を含む；
付記２４に記載のシステム。
（付記３５） 前記第１のモダリティ画像はクリア画像を含み；
前記第２のモダリティ画像は光コヒーレンストモグラフィ画像を含む；
付記２４に記載のシステム。
（付記３６） 前記コンピュータにおいてフォーマット選択を受信するステップをさらに含み；
前記構成するステップは、前記手術シーンの前記第１のモダリティ画像の前記少なくとも一部および前記第２のモダリティ画像の前記選択された部分を、選択された前記フォーマットで前記表示内に同時に生成するよう前記コンピュータを構成するステップを含む；
付記２４に記載のシステム。
（付記３７） 手術シーンのマルチモダリティ画像を生成するシステムであって：
プロセッサと；
メモリデバイスであって：
前記手術シーンから反射された光を取り込むように少なくとも１つのカメラを使用するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第１の強調モダリティ画像に対応する第１の画像情報を非一時的記憶デバイス内に生成するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第２の強調モダリティ画像に対応する第２の画像情報を非一時的記憶デバイス内に生成するステップと；
前記第１及び前記第２のモダリティ画像の一方をプライマリとして指定し且つ前記第１及び前記第２のモダリティ画像の他方をインサートとして指定するフォーマット選択を前記コンピュータで受信するステップと；
前記インサートとして指定される前記モダリティ画像の部分を選択するステップであって、前記インサートとして指定された前記モダリティ画像の選択された前記部分の中に含まれる解剖学的構造情報に少なくとも部分的に基づいて、前記インサートとして指定される前記モダリティ画像の部分を選択するステップと；
前記プライマリとして指定された前記モダリティ画像の少なくとも一部および前記インサートとして指定された前記モダリティ画像の前記選択された部分を表示内に同時に生成するように前記第１の画像情報および前記第２の画像情報を使用するよう前記コンピュータを構成するステップと；
を含む動作を前記システムに実行させるように、前記プロセッサ上で実行可能な命令セットを保持する、メモリデバイスと；
を有する、
システム。
（付記３８） 前記構成するステップは、前記インサートとして指定された前記モダリティ画像の前記選択された部分を、前記プライマリとして指定された前記モダリティ画像の前記少なくとも一部の中に、前記プライマリとして指定された前記モダリティ画像の前記少なくとも一部の対応する部分の代わりにステッチするように構成するステップを含む、
付記３７に記載のシステム。
（付記３９） 前記構成するステップは、前記表示内に同時に、前記インサートとして指定された前記モダリティ画像の前記選択された部分の縮小したサイズの画像および前記プライマリとして指定された前記モダリティ画像の前記少なくとも一部を含めるように構成するステップを含む、
付記３７に記載のシステム。
（付記４０） 手術シーンのマルチモダリティ画像を生成するシステムであって：
プロセッサと；
メモリデバイスであって：
前記手術シーンから反射された光を取り込むように少なくとも１つのカメラを使用するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第１のモダリティ画像に対応する第１の画像情報を非一時的記憶デバイス内に生成するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第２のモダリティ画像に対応する第２の画像情報を非一時的記憶デバイス内に生成するステップと；
表示内のユーザの眼の焦点位置を追跡するステップと；
前記表示内の前記の追跡されたユーザの眼の焦点に少なくとも部分的に基づいて前記第２のモダリティ画像の部分を選択するステップと；
前記手術シーンの前記第１のモダリティ画像の少なくとも一部および前記第２のモダリティ画像の前記選択された部分を前記表示内に同時に生成するように前記第１の画像情報および前記第２の画像情報を使用するようコンピュータを構成するステップと；
を含む動作を前記システムに実行させるように、前記プロセッサ上で実行可能な命令セットを保持する、メモリデバイスと；
を有する、
システム。
（付記４１） 前記第２のモダリティ画像はハイパースペクトル画像を含む、
付記４０に記載のシステム。
（付記４２） 前記構成するステップは、前記第２のモダリティ画像の前記選択された部分を前記第１のモダリティ画像の中に前記第１のモダリティ画像の対応する部分の代わりにステッチするよう前記コンピュータを構成するステップを含む、
付記４０に記載のシステム。
（付記４３） 前記構成するステップは、前記表示内に同時に、前記第２のモダリティ画像の前記選択された部分の縮小したサイズの画像および前記第１のモダリティ画像を含めるように前記コンピュータを構成するステップを含む、
付記４０に記載のシステム。
（付記４４） 手術シーンのマルチモダリティ画像を生成するシステムであって：
プロセッサと；
メモリデバイスであって：
前記手術シーンから反射された光を取り込むように少なくとも１つのカメラを使用するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第１のモダリティ画像に対応する第１の画像情報を非一時的記憶デバイス内に生成するステップと；
前記少なくとも１つのカメラを使用して取り込まれた光に基づいて前記手術シーンの第２のモダリティ画像に対応する第２の画像情報を非一時的記憶デバイス内に生成するステップと；
手術処置の過程で手術ステージを追跡するステップと；
前記の追跡された手術ステージに少なくとも部分的に基づいてモダリティ画像フォーマットを選択するステップと；
前記第１のモダリティ画像の少なくとも一部および前記第２のモダリティ画像の少なくとも一部を表示内に前記の選択されたフォーマットで生成するように前記第１の画像情報および前記第２の画像情報を使用するようコンピュータを構成するステップと；
を含む動作を前記システムに実行させるように、前記プロセッサ上で実行可能な命令セットを保持する、メモリデバイスと；
を有する、
システム。
（付記４５） 前記モダリティ画像を選択するステップは、前記手術ステージ情報を、非一時的記憶デバイス内に記憶された手術ステージ識別特性情報と比較するステップを含む、
付記４４に記載のシステム。
（付記４６） 前記モダリティ画像を選択するステップは、前記手術ステージ情報を、非一時的記憶デバイス内に記憶された複数の手術ステージ識別特性情報と比較するステップを含む、
付記４４に記載のシステム。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21A】
【図21B】
【図21C】
【図22】
【図23】
【図24】
【図25A】
【図25B】
【図25C】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【外国語明細書】