ホーム > 特許ランキング > Ｅｔｈｉｃｏｎ ＬＬＣ
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-01-09
(45)【発行日】2024-01-17
(54)【発明の名称】外科用可視化プラットフォーム
(51)【国際特許分類】
A61B 1/00 20060101AFI20240110BHJP
A61B 90/30 20160101ALI20240110BHJP
A61B 34/30 20160101ALI20240110BHJP
【ＦＩ】
A61B1/00 553
A61B1/00 522
A61B90/30
A61B34/30
【請求項の数】
7
(21)【出願番号】P 2021502531
(86)(22)【出願日】2019-07-16
(65)【公表番号】
(43)【公表日】2021-11-04
(86)【国際出願番号】 IB2019056080
(87)【国際公開番号】W WO2020016786
(87)【国際公開日】2020-01-23
【審査請求日】2022-07-11
(31)【優先権主張番号】62/698,625
(32)【優先日】2018-07-16
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/128,179
(32)【優先日】2018-09-11
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/128,191
(32)【優先日】2018-09-11
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】517076008
【氏名又は名称】エシコン エルエルシー
【氏名又は名称原語表記】Ｅｔｈｉｃｏｎ ＬＬＣ
【住所又は居所原語表記】＃４７５ Ｓｔｒｅｅｔ Ｃ， Ｓｕｉｔｅ ４０１， Ｌｏｓ Ｆｒａｉｌｅｓ Ｉｎｄｕｓｔｒｉａｌ Ｐａｒｋ， Ｇｕａｙｎａｂｏ， Ｐｕｅｒｔｏ Ｒｉｃｏ ００９６９， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100088605
【弁理士】
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】シャイブ・チャールズ・ジェイ
(72)【発明者】
【氏名】リッチー・ポール・ジー
(72)【発明者】
【氏名】ムーア・サラ・エイ
(72)【発明者】
【氏名】スウェイズ・ジェフリー・エス
(72)【発明者】
【氏名】タルバート・ジョシュア・ディー
【審査官】今浦 陽恵
(56)【参考文献】
【文献】米国特許出願公開第２０１６／０２７８６７８（ＵＳ，Ａ１）
【文献】国際公開第２０１７／１３０５６７（ＷＯ，Ａ１）
【文献】特開２０１７－００６３３７（ＪＰ，Ａ）
【文献】特表２０１８－５１４７４８（ＪＰ，Ａ）
【文献】特表２００９－５３００３７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１５／０１７３８４６（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１８／００１４８５１（ＵＳ，Ａ１）
【文献】特開２０１４－２２６３４１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ１／００－１／３２
Ａ６１Ｂ１７／００－１７／９４
Ａ６１Ｂ３４／３０－３４／３７
Ａ６１Ｂ９０／３０－９０／３５
(57)【特許請求の範囲】
【請求項1】
外科用可視化システムであって、構造化光パターンを解剖学的構造の表面上に放射するように構成されている、構造化光エミッタと、
前記解剖学的構造を透過し、前記解剖学的構造の前記表面の下に位置する埋没構造に到達することが可能な複数の波長のスペクトル光を放射するように構成されている、スペクトル光エミッタと、
反射された構造化光パターン、反射されたスペクトル光、及び反射された可視光を検出するように構成されている、画像センサと、
前記画像センサと信号通信する制御回路であって、
前記画像センサによって検出された前記反射された構造化光パターンから前記解剖学的構造の三次元デジタル表示を構築し、
前記画像センサによって検出された前記反射されたスペクトル光から前記埋没構造を検出し、
前記埋没構造を前記解剖学的構造の前記三次元デジタル表示と統合し、かつ、
前記構造化光エミッタから前記構造化光エミッタと前記埋没構造を結んだ直線上に存在する前記解剖学的構造の前記表面の一部分までの距離を決定するように構成されている、制御回路と、を備える、外科用可視化システム。
【請求項2】
前記制御回路が、前記埋没構造と、前記解剖学的構造の前記三次元デジタル表示に基づく前記解剖学的構造の三次元レンダリングとを選択的にディスプレイ上に描写するように構成されている、請求項１に記載の外科用可視化システム。
【請求項3】
前記制御回路が、前記構造化光エミッタから前記構造化光エミッタと前記埋没構造を結んだ直線上に存在する前記解剖学的構造の前記表面の前記一部分までの前記距離が所定の距離まで短縮したときに警告を選択的に提供するように構成されている、請求項２に記載の外科用可視化システム。
【請求項4】
前記スペクトル光エミッタが、前記解剖学的構造を透過し、前記埋没構造に到達することが可能な複数の赤外線波長のスペクトル光を放射するように構成されている、請求項１に記載の外科用可視化システム。
【請求項5】
前記スペクトル光エミッタが第１のロボットアーム上に支持され、前記構造化光エミッタが第２のロボットアーム上に支持されている、請求項１に記載の外科用可視化システム。
【請求項6】
前記制御回路が、前記スペクトル光エミッタから前記埋没構造までの距離を決定するように構成されている飛行時間モジュールを更に含む、請求項１に記載の外科用可視化システム。
【請求項7】
前記制御回路が、前記スペクトル光エミッタから前記埋没構造までの前記距離及び前記スペクトル光エミッタから前記構造化光エミッタまでの距離に基づいて、前記構造化光エミッタから前記埋没構造までの距離を決定し、
前記構造化光エミッタから前記埋没構造までの前記距離が所定の距離まで短縮したときに警告を提供するように構成されている、請求項６に記載の外科用可視化システム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本出願は、米国特許法第１１９条（ｅ）の下で、「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＰＬＡＴＦＯＲＭ」と題する２０１８年９月１１日出願の米国特許仮出願第１６／１２８，１７９号に対する優先権を主張するものであり、「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＰＬＡＴＦＯＲＭ」と題する２０１８年９月１１日出願の米国特許仮出願第１６／１２８，１９１号を本明細書に組み込む。両出願とも、米国特許法第１１９条（ｅ）の下で、その開示全体が参照により本明細書に組み込まれる、「ＤＩＧＩＴＡＬ ＳＵＲＧＥＲＹ ＩＭＡＧＩＮＧ ／ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＳＹＳＴＥＭ」と題する２０１８年７月１６日出願の米国特許仮出願第６２／６９８，６２５号に対する優先権を主張する。
本出願は、米国特許法第１１９条（ｅ）の下で、「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＰＬＡＴＦＯＲＭ」と題する２０１８年９月１１日出願の米国特許仮出願第１６／１２８，１７９号に対する優先権を主張するものであり、「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＰＬＡＴＦＯＲＭ」と題する２０１８年９月１１日出願の米国特許仮出願第１６／１２８，１９１号を本明細書に組み込む。両出願とも、米国特許法第１１９条（ｅ）の下で、その開示全体が参照により本明細書に組み込まれる、「ＤＩＧＩＴＡＬ ＳＵＲＧＥＲＹ ＩＭＡＧＩＮＧ ／ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＳＹＳＴＥＭ」と題する２０１８年７月１６日出願の米国特許仮出願第６２／６９８，６２５号に対する優先権を主張する。
【背景技術】
【0002】
外科用システムは、例えばモニタなどの１つ以上のディスプレイ上で、臨床医による手術部位及び／又はその１つ以上の部分の観察を可能にできる撮像システムを組み込むことが多い。ディスプレイは、手術室に対してローカル及び／又はリモートであってもよい。撮像システムは、手術部位を観察しかつ臨床医によって見ることができるディスプレイに画像を送信するカメラ付きのスコープを含むことができる。スコープとしては、関節鏡スコープ、血管内視鏡、気管支鏡、胆道鏡、結腸鏡、サイトスコープ（cytoscope）、十二指腸内視鏡、腸鏡、食道十二指腸鏡（胃鏡）、内視鏡、喉頭鏡、鼻咽喉－腎盂、Ｓ状結腸鏡、胸腔鏡、尿管鏡、及び外視鏡が挙げられるが、これらに限定されない。撮像システムは、臨床医を認識し、かつ／又は臨床医に伝達できる情報によって制限され得る。例えば、三次元空間内の特定の隠れた構造体、物理的輪郭、及び／又は寸法は、特定の撮像システムでは手術中に認識不可能である場合がある。加えて、特定の撮像システムは、手術中に臨床医に特定の情報を通信し、かつ／又は伝達できない場合がある。
【発明の概要】
【課題を解決するための手段】
【0003】
外科用可視化システムは、構造光パターンを解剖学的構造の表面上に放射するように構成されている、構造光エミッタと、解剖学的構造を透過し、解剖学的構造の表面の下に位置する埋め込まれた構造に到達することが可能な複数の波長のスペクトル光を放射するように構成されている、スペクトル光エミッタと、反射された構造光パターン、反射されたスペクトル光、及び反射された可視光を検出するように構成されている、画像センサと、画像センサと信号通信する制御回路であって、制御回路が、画像センサによって検出された反射された構造光パターンから解剖学的構造の三次元デジタル表示を構築し、画像センサによって検出された反射されたスペクトル光から埋め込まれた構造を検出し、埋め込まれた構造を解剖学的構造の三次元デジタル表示と統合し、かつ、構造光エミッタから解剖学的構造までの少なくとも１つの距離を決定するように構成されている、制御回路と、を備えることができる。外科用可視化システムは、スペクトル光エミッタ、構造光エミッタ、及び画像センサに通信可能に連結されている制御回路を備えることができる。外科用可視化システムは、制御回路に通信可能に連結されているメモリを更に備えることができ、メモリは、実行されると、制御回路に、スペクトル光エミッタを制御させて、組織を透過し、組織内に埋め込まれた構造に到達するのに好適な複数の波長の光を放射させ、構造光源を制御させて、構造光パターンを組織の表面上に放射させ、画像センサを制御させて、構造から反射された複数のスペクトル光波長と組織の表面上の構造光パターンを検出させ、反射された構造光パターンに基づいて、組織の表面の三次元デジタル表示を計算させ、かつ、反射されたスペクトル光波長に基づいて、構造の位置を特定させる、命令を記憶する。
【0004】
外科用可視化システムは、複数の波長を放射するように構成されているスペクトル撮像システムを備えることができ、スペクトル撮像システムは、隠れた構造を識別するように構成されている。外科用可視化は、構造光パターンを可視組織表面上に放射するように構成されている構造光システムを更に備えることができ、構造光システムは、可視組織の三次元デジタル表示を生成するように更に構成されている。外科用可視化システムはまた、可視光、複数の波長、及び構造光パターンを検出するように構成されているセンサシステムを備えることもできる。外科用可視化システムは、可視組織表面の三次元レンダリング上の隠れた構造を選択的に描写するように構成されている撮像システムを更に備えることができる。
【0005】
外科用可視化システムは、解剖学的構造を透過し、解剖学的構造の表面の下に位置する埋め込まれた構造に到達することが可能な複数の波長のスペクトル光を放射するように構成されている線源と、埋め込まれた構造によって反射された複数の波長を検出するように構成されている受信器と、線源からの放射された信号と受信器によって検出された信号との間の遅延に基づいて、線源から埋め込まれた構造までの距離を決定するように構成されている飛行時間モジュールを含む制御回路と、を備えることができる。
【図面の簡単な説明】
【0006】
様々な態様の新規特徴は、添付の「特許請求の範囲」に具体的に記載される。しかしながら、記載される形態は、構成及び操作の方法のいずれに関しても、以下の記載を添付の図面と共に参照することにより最良に理解され得る。
【図1】本開示の少なくとも１つの態様による、撮像装置及び外科用装置を含む外科用可視化システムの概略図であり、外科用可視化システムは、組織表面下の重要構造を識別するように構成されている。
【図2】本開示の少なくとも１つの態様による、外科用可視化システムの制御システムの概略図である。
【図2A】本開示の少なくとも１つの態様による、外科用可視化システムの態様を制御するように構成されている制御回路を示す。
【図2B】本開示の少なくとも１つの態様による、外科用可視化システムの態様を制御するように構成されている組み合わせ論理回路を示す。
【図2C】本開示の少なくとも１つの態様による、外科用可視化システムの態様を制御するように構成されている順序論理回路を示す。
【図4】本開示の少なくとも１つの態様による、組織表面下の重要構造を識別するように構成されている外科用可視化システムの概略図であり、外科用可視化システムは、組織表面下の重要構造の深さｄＡを決定するためのパルス光源を含む。
【図5】本開示の少なくとも１つの態様による、撮像装置及び外科用装置を含む外科用可視化システムの概略図であり、外科用可視化システムは、組織表面下の重要構造を識別するように構成されている。
【図6】本開示の少なくとも１つの態様による、三次元カメラを含む外科用可視化システムの概略図であり、外科用可視化システムは、組織内に埋め込まれた重要構造を識別するように構成されている。
【図7A】本開示の少なくとも１つの態様による、図６の三次元カメラで撮影された重要構造の画像であり、図７Ａは、三次元カメラの左側レンズからの画像であり、図７Ｂは、三次元カメラの右側レンズからの画像である。
【図7B】本開示の少なくとも１つの態様による、図６の三次元カメラで撮影された重要構造の画像であり、図７Ａは、三次元カメラの左側レンズからの画像であり、図７Ｂは、三次元カメラの右側レンズからの画像である。
【図9】本開示の少なくとも１つの態様による、埋め込まれた重要構造の位置を決定するために２つのカメラを利用する外科用可視化システムの概略図である。
【図10A】本開示の少なくとも１つの態様による、埋め込まれた重要構造の位置を決定するために、複数の既知の位置間を軸方向に移動するカメラを利用する外科用可視化システムの概略図である。
【図11】本開示の少なくとも１つの態様による、外科用可視化システムの制御システムの概略図である。
【図12】本開示の少なくとも１つの態様による、外科用可視化システムの構造光源の概略図である。
【図13】本開示の少なくとも１つの態様による、地上の特徴又は物体を撮像するための外科用可視化システムの概略図である。
【図14】本開示の少なくとも１つの態様による、様々な地上の特徴又は物体に関する、ハイパースペクトルシグネチャのグラフ表示である。
【図15A】本開示の少なくとも１つの態様による、目玉焼きを撮像するためのハイパースペクトル可視化システムの例を示し、図１５Ａは目玉焼きの写真であり、図１５Ｂは、目玉焼きの卵黄部分及び卵白部分のハイパースペクトルシグネチャのグラフ表示であり、図１５Ｃは、目玉焼きのハイパースペクトル画像（白黒）であり、ハイパースペクトルシグネチャデータに基づいて、拡張画像により卵黄部分と卵白部分が区別されている。
【図15B】本開示の少なくとも１つの態様による、目玉焼きを撮像するためのハイパースペクトル可視化システムの例を示し、図１５Ａは目玉焼きの写真であり、図１５Ｂは、目玉焼きの卵黄部分及び卵白部分のハイパースペクトルシグネチャのグラフ表示であり、図１５Ｃは、目玉焼きのハイパースペクトル画像（白黒）であり、ハイパースペクトルシグネチャデータに基づいて、拡張画像により卵黄部分と卵白部分が区別されている。
【図15C】本開示の少なくとも１つの態様による、目玉焼きを撮像するためのハイパースペクトル可視化システムの例を示し、図１５Ａは目玉焼きの写真であり、図１５Ｂは、目玉焼きの卵黄部分及び卵白部分のハイパースペクトルシグネチャのグラフ表示であり、図１５Ｃは、目玉焼きのハイパースペクトル画像（白黒）であり、ハイパースペクトルシグネチャデータに基づいて、拡張画像により卵黄部分と卵白部分が区別されている。
【図16】本開示の少なくとも１つの態様による、解剖学的構造を覆い隠すものから区別するための例示的なハイパースペクトル識別シグネチャを示し、図１６は、尿管シグネチャ対覆い隠すもののグラフ表示であり、図１７は、動脈シグネチャ対覆い隠すもののグラフ表示であり、図１８は、神経シグネチャ対覆い隠すもののグラフ表示である。
【図17】本開示の少なくとも１つの態様による、解剖学的構造を覆い隠すものから区別するための例示的なハイパースペクトル識別シグネチャを示し、図１６は、尿管シグネチャ対覆い隠すもののグラフ表示であり、図１７は、動脈シグネチャ対覆い隠すもののグラフ表示であり、図１８は、神経シグネチャ対覆い隠すもののグラフ表示である。
【図18】本開示の少なくとも１つの態様による、解剖学的構造を覆い隠すものから区別するための例示的なハイパースペクトル識別シグネチャを示し、図１６は、尿管シグネチャ対覆い隠すもののグラフ表示であり、図１７は、動脈シグネチャ対覆い隠すもののグラフ表示であり、図１８は、神経シグネチャ対覆い隠すもののグラフ表示である。
【図19】本開示の少なくとも１つの態様による、重要な解剖学的構造までの距離を感知するように構成されている近赤外（ＮＩＲ）飛行時間測定システムの概略図であり、飛行時間測定システムは、共通の装置上に配置された送信器（エミッタ）と、受信器（センサ）とを含む。
【図21】本開示の１つの態様による、重要構造までの距離を感知するように構成されているＮＩＲ飛行時間測定システムを示し、飛行時間測定システムは、別の装置上の送信器（エミッタ）と、受信器（センサ）とを含む。
【発明を実施するための形態】
【0007】
本願の出願人は、２０１８年９月１１日に出願された以下の米国特許出願をも所有しており、これらの各々の全内容は、参照により本明細書に組み込まれる。
【0008】
本願の出願人は、２０１８年９月１１日に出願された以下の米国特許出願をも所有しており、これらの各々の全内容は、参照により本明細書に組み込まれる。
■「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＣＯＮＴＲＯＬＳ」と題する米国特許出願第１６／１２８，１９１号、代理人整理番号ＥＮＤ８６０５ＵＳＮＰ１／１８０２３０－１、
■「ＣＯＮＴＲＯＬＬＩＮＧ ＡＮ ＥＭＩＴＴＥＲ ＡＳＳＥＭＢＬＹ ＰＵＬＳＥ ＳＥＱＵＥＮＣＥ」と題する米国特許出願第１６／１２８，１８０号、代理人整理番号ＥＮＤ８６０６ＵＳＮＰ／１８０２３１、
■「ＣＯＭＢＩＮＡＴＩＯＮ ＥＭＩＴＴＥＲ ＡＮＤ ＣＡＭＥＲＡ ＡＳＳＥＭＢＬＹ」と題する米国特許出願第１６／１２８，１９８号、代理人整理番号ＥＮＤ８６０６ＵＳＮＰ１／１８０２３１－１、
■「ＳＩＮＧＵＬＡＲ ＥＭＲ ＳＯＵＲＣＥ ＷＩＴＨ ＤＵＡＬ ＯＵＴＰＵＴ ＥＭＩＴＴＥＲ ＡＳＳＥＭＢＬＹ」と題する米国特許出願第１６／１２８，２０７号、代理人整理番号ＥＮＤ８６０６ＵＳＮＰ２／１８０２３１－２、
■「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＷＩＴＨ ＰＲＯＸＩＭＩＴＹ ＴＲＡＣＫＩＮＧ ＦＥＡＴＵＲＥＳ」と題する米国特許出願第１６／１２８，１７６号、代理人整理番号ＥＮＤ８６０７ＵＳＮＰ／１８０２３２、
■「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＯＦ ＭＵＬＴＩＰＬＥ ＴＡＲＧＥＴＳ」と題する米国特許出願第１６／１２８，１８７号、代理人整理番号ＥＮＤ８６０７ＵＳＮＰ１／１８０２３２－１、
■「ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＯＦ ＳＵＲＧＩＣＡＬ ＤＥＶＩＣＥＳ」と題する米国特許出願第１６／１２８，１９２号、代理人整理番号ＥＮＤ８６０７ＵＳＮＰ２／１８０２３２－２、
■「ＯＰＥＲＡＴＩＶＥ ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＯＦ ＬＩＧＨＴ」と題する米国特許出願第１６／１２８，１６３号、代理人整理番号ＥＮＤ８６０８ＵＳＮＰ／１８０２３３、
■「ＲＯＢＯＴＩＣ ＬＩＧＨＴ ＰＲＯＪＥＣＴＩＯＮ ＴＯＯＬＳ」と題する米国特許出願第１６／１２８，１９７号、代理人整理番号ＥＮＤ８６０９ＵＳＮＰ／１８０２３４、
■「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＦＥＥＤＢＡＣＫ ＳＹＳＴＥＭ」と題する米国特許出願第１６／１２８，１６４号、代理人整理番号ＥＮＤ８６１０ＵＳＮＰ／１８０２３５、
■「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＡＮＤ ＭＯＮＩＴＯＲＩＮＧ」と題する米国特許出願第１６／１２８，１９３号、代理人整理番号ＥＮＤ８６１１ＵＳＮＰ／１８０２３６、
■「ＩＮＴＥＧＲＡＴＩＯＮ ＯＦ ＩＭＡＧＩＮＧ ＤＡＴＡ」と題する米国特許出願第１６／１２８，１９５号、代理人整理番号ＥＮＤ８６１２ＵＳＮＰ／１８０２３７、
■「ＲＯＢＯＴＩＣＡＬＬＹ－ＡＳＳＩＳＴＥＤ ＳＵＲＧＩＣＡＬ ＳＵＴＵＲＩＮＧ ＳＹＳＴＥＭＳ」と題する米国特許出願第１６／１２８，１７０号、代理人整理番号ＥＮＤ８６１３ＵＳＮＰ／１８０２３８、
■「ＳＡＦＥＴＹ ＬＯＧＩＣ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＵＴＵＲＩＮＧ ＳＹＳＴＥＭＳ」と題する米国特許出願第１６／１２８，１８３号、代理人整理番号ＥＮＤ８６１３ＵＳＮＰ１／１８０２３８－１、
■「ＲＯＢＯＴＩＣ ＳＹＳＴＥＭ ＷＩＴＨ ＳＥＰＡＲＡＴＥ ＰＨＯＴＯＡＣＯＵＳＴＩＣ ＲＥＣＥＩＶＥＲ」と題する米国特許出願第１６／１２８，１７２号、代理人整理番号ＥＮＤ８６１４ＵＳＮＰ／１８０２３９、及び
■「ＦＯＲＣＥ ＳＥＮＳＯＲ ＴＨＲＯＵＧＨ ＳＴＲＵＣＴＵＲＥＤ ＬＩＧＨＴ ＤＥＦＬＥＣＴＩＯＮ」と題する米国特許出願第１６／１２８，１８５号、代理人整理番号ＥＮＤ８６１５ＵＳＮＰ／１８０２４０。
■「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＣＯＮＴＲＯＬＳ」と題する米国特許出願第１６／１２８，１９１号、代理人整理番号ＥＮＤ８６０５ＵＳＮＰ１／１８０２３０－１、
■「ＣＯＮＴＲＯＬＬＩＮＧ ＡＮ ＥＭＩＴＴＥＲ ＡＳＳＥＭＢＬＹ ＰＵＬＳＥ ＳＥＱＵＥＮＣＥ」と題する米国特許出願第１６／１２８，１８０号、代理人整理番号ＥＮＤ８６０６ＵＳＮＰ／１８０２３１、
■「ＣＯＭＢＩＮＡＴＩＯＮ ＥＭＩＴＴＥＲ ＡＮＤ ＣＡＭＥＲＡ ＡＳＳＥＭＢＬＹ」と題する米国特許出願第１６／１２８，１９８号、代理人整理番号ＥＮＤ８６０６ＵＳＮＰ１／１８０２３１－１、
■「ＳＩＮＧＵＬＡＲ ＥＭＲ ＳＯＵＲＣＥ ＷＩＴＨ ＤＵＡＬ ＯＵＴＰＵＴ ＥＭＩＴＴＥＲ ＡＳＳＥＭＢＬＹ」と題する米国特許出願第１６／１２８，２０７号、代理人整理番号ＥＮＤ８６０６ＵＳＮＰ２／１８０２３１－２、
■「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＷＩＴＨ ＰＲＯＸＩＭＩＴＹ ＴＲＡＣＫＩＮＧ ＦＥＡＴＵＲＥＳ」と題する米国特許出願第１６／１２８，１７６号、代理人整理番号ＥＮＤ８６０７ＵＳＮＰ／１８０２３２、
■「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＯＦ ＭＵＬＴＩＰＬＥ ＴＡＲＧＥＴＳ」と題する米国特許出願第１６／１２８，１８７号、代理人整理番号ＥＮＤ８６０７ＵＳＮＰ１／１８０２３２－１、
■「ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＯＦ ＳＵＲＧＩＣＡＬ ＤＥＶＩＣＥＳ」と題する米国特許出願第１６／１２８，１９２号、代理人整理番号ＥＮＤ８６０７ＵＳＮＰ２／１８０２３２－２、
■「ＯＰＥＲＡＴＩＶＥ ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＯＦ ＬＩＧＨＴ」と題する米国特許出願第１６／１２８，１６３号、代理人整理番号ＥＮＤ８６０８ＵＳＮＰ／１８０２３３、
■「ＲＯＢＯＴＩＣ ＬＩＧＨＴ ＰＲＯＪＥＣＴＩＯＮ ＴＯＯＬＳ」と題する米国特許出願第１６／１２８，１９７号、代理人整理番号ＥＮＤ８６０９ＵＳＮＰ／１８０２３４、
■「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＦＥＥＤＢＡＣＫ ＳＹＳＴＥＭ」と題する米国特許出願第１６／１２８，１６４号、代理人整理番号ＥＮＤ８６１０ＵＳＮＰ／１８０２３５、
■「ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＡＮＤ ＭＯＮＩＴＯＲＩＮＧ」と題する米国特許出願第１６／１２８，１９３号、代理人整理番号ＥＮＤ８６１１ＵＳＮＰ／１８０２３６、
■「ＩＮＴＥＧＲＡＴＩＯＮ ＯＦ ＩＭＡＧＩＮＧ ＤＡＴＡ」と題する米国特許出願第１６／１２８，１９５号、代理人整理番号ＥＮＤ８６１２ＵＳＮＰ／１８０２３７、
■「ＲＯＢＯＴＩＣＡＬＬＹ－ＡＳＳＩＳＴＥＤ ＳＵＲＧＩＣＡＬ ＳＵＴＵＲＩＮＧ ＳＹＳＴＥＭＳ」と題する米国特許出願第１６／１２８，１７０号、代理人整理番号ＥＮＤ８６１３ＵＳＮＰ／１８０２３８、
■「ＳＡＦＥＴＹ ＬＯＧＩＣ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＵＴＵＲＩＮＧ ＳＹＳＴＥＭＳ」と題する米国特許出願第１６／１２８，１８３号、代理人整理番号ＥＮＤ８６１３ＵＳＮＰ１／１８０２３８－１、
■「ＲＯＢＯＴＩＣ ＳＹＳＴＥＭ ＷＩＴＨ ＳＥＰＡＲＡＴＥ ＰＨＯＴＯＡＣＯＵＳＴＩＣ ＲＥＣＥＩＶＥＲ」と題する米国特許出願第１６／１２８，１７２号、代理人整理番号ＥＮＤ８６１４ＵＳＮＰ／１８０２３９、及び
■「ＦＯＲＣＥ ＳＥＮＳＯＲ ＴＨＲＯＵＧＨ ＳＴＲＵＣＴＵＲＥＤ ＬＩＧＨＴ ＤＥＦＬＥＣＴＩＯＮ」と題する米国特許出願第１６／１２８，１８５号、代理人整理番号ＥＮＤ８６１５ＵＳＮＰ／１８０２４０。
【0009】
本願の出願人は、２０１５年７月７日出願の「ＳＵＲＧＩＣＡＬ ＳＴＡＰＬＩＮＧ ＩＮＳＴＲＵＭＥＮＴＳ ＷＩＴＨ ＲＯＴＡＴＡＢＬＥ ＳＴＡＰＬＥ ＤＥＰＬＯＹＭＥＮＴ ＡＲＲＡＮＧＥＭＥＮＴＳ」と題する米国特許第９，０７２，５３５号をも所有しており、その全体は参照により本明細書に組み込まれる。
【0010】
本願の出願人は、２０１７年１２月２８日出願の「ＲＯＢＯＴ ＡＳＳＩＳＴＥＤ ＳＵＲＧＩＣＡＬ ＰＬＡＴＦＯＲＭ」と題する米国特許仮出願第６２／６１１，３３９号をも所有しており、その全体は参照により本明細書に組み込まれる。
【0011】
本願の出願人は、２０１８年３月２９日に出願された以下の米国特許出願をも所有しており、これらの各々の全内容は、参照により本明細書に組み込まれる。
・「ＤＲＩＶＥ ＡＲＲＡＮＧＥＭＥＮＴＳ ＦＯＲ ＲＯＢＯＴ－ＡＳＳＩＳＴＥＤ ＳＵＲＧＩＣＡＬ ＰＬＡＴＦＯＲＭＳ」と題する米国特許出願第１５／９４０，６２７号、
・「ＡＵＴＯＭＡＴＩＣ ＴＯＯＬ ＡＤＪＵＳＴＭＥＮＴＳ ＦＯＲ ＲＯＢＯＴ－ＡＳＳＩＳＴＥＤ ＳＵＲＧＩＣＡＬ ＰＬＡＴＦＯＲＭＳ」と題する米国特許出願第１５／９４０，６７６号、
・「ＳＥＮＳＩＮＧ ＡＲＲＡＮＧＥＭＥＮＴＳ ＦＯＲ ＲＯＢＯＴ－ＡＳＳＩＳＴＥＤ ＳＵＲＧＩＣＡＬ ＰＬＡＴＦＯＲＭＳ」と題する米国特許出願第１５／９４０，７１１号、及び
・その全内容が参照により本明細書に組み込まれる、「ＣＨＡＲＡＣＴＥＲＩＺＡＴＩＯＮ ＯＦ ＴＩＳＳＵＥ ＩＲＲＥＧＵＬＡＲＩＴＩＥＳ ＴＨＲＯＵＧＨ ＴＨＥ ＵＳＥ ＯＦ ＭＯＮＯ－ＣＨＲＯＭＡＴＩＣ ＬＩＧＨＴ ＲＥＦＲＡＣＴＩＶＩＴＹ」と題する２０１８年３月２９日出願の米国特許出願第１５／９４０，７２２号。
・「ＤＲＩＶＥ ＡＲＲＡＮＧＥＭＥＮＴＳ ＦＯＲ ＲＯＢＯＴ－ＡＳＳＩＳＴＥＤ ＳＵＲＧＩＣＡＬ ＰＬＡＴＦＯＲＭＳ」と題する米国特許出願第１５／９４０，６２７号、
・「ＡＵＴＯＭＡＴＩＣ ＴＯＯＬ ＡＤＪＵＳＴＭＥＮＴＳ ＦＯＲ ＲＯＢＯＴ－ＡＳＳＩＳＴＥＤ ＳＵＲＧＩＣＡＬ ＰＬＡＴＦＯＲＭＳ」と題する米国特許出願第１５／９４０，６７６号、
・「ＳＥＮＳＩＮＧ ＡＲＲＡＮＧＥＭＥＮＴＳ ＦＯＲ ＲＯＢＯＴ－ＡＳＳＩＳＴＥＤ ＳＵＲＧＩＣＡＬ ＰＬＡＴＦＯＲＭＳ」と題する米国特許出願第１５／９４０，７１１号、及び
・その全内容が参照により本明細書に組み込まれる、「ＣＨＡＲＡＣＴＥＲＩＺＡＴＩＯＮ ＯＦ ＴＩＳＳＵＥ ＩＲＲＥＧＵＬＡＲＩＴＩＥＳ ＴＨＲＯＵＧＨ ＴＨＥ ＵＳＥ ＯＦ ＭＯＮＯ－ＣＨＲＯＭＡＴＩＣ ＬＩＧＨＴ ＲＥＦＲＡＣＴＩＶＩＴＹ」と題する２０１８年３月２９日出願の米国特許出願第１５／９４０，７２２号。
【0012】
外科用可視化プラットフォームの様々な態様を詳細に説明する前に、例示の実施例が、適用又は使用において、添付の図面及び明細書で例示される部品の構造及び配置の詳細に限定されないことに留意されたい。例示の実施例は、他の態様、変形形態、及び修正形態で実施されるか、又はそれらに組み込まれてもよく、様々な方法で実施又は実行されてもよい。更に、特に明記しない限り、本明細書で用いられる用語及び表現は、読者の便宜のために例示の実施例を説明する目的で選択されたものであり、それらを限定するためのものではない。更に、以下に記述される態様、態様の表現、及び／又は実施例のうち１つ以上を、以下に記述される他の態様、態様の表現、及び／又は実施例のうち任意の１つ以上と組み合わせることができるものと理解されたい。
【0013】
本開示は、患者の解剖学的構造及び／又は外科的処置に関する追加情報を取得するために「デジタル手術」を活用する外科用可視化プラットフォームを対象とする。外科用可視化プラットフォームは、データ及び／又は情報を、有用な方法で１人以上の臨床医に伝達するように更に構成されている。例えば、本開示の様々な態様は、患者の解剖学的構造及び／又は外科手術の改善された可視化を提供する。
【0014】
「デジタル手術」は、ロボットシステム、先進撮像、先進器具、人工知能、機械学習、性能追跡及びベンチマーキングのためのデータ分析、手術室（ＯＲ）の内外両方での接続性などを包含し得る。本明細書に記載される様々な外科用可視化プラットフォームはロボット外科用システムと組み合わせて使用することができるが、外科用可視化プラットフォームはロボット外科用システムと共に使用することに限定されない。特定の例では、ロボットなしで、並びに／又は、ロボット支援が制限されている、及び／又は任意である状態で、高度な外科的可視化を起こすことができる。同様に、ロボットなしで、並びに／又は、ロボット支援が制限されている、及び／又は任意である状態で、デジタル手術を起こすことができる。
【0015】
特定の例では、外科用可視化プラットフォームを組み込む外科用システムは、重要構造を識別し、回避するためのスマート切開を可能にし得る。重要構造としては、解剖学的構造、例えば他の解剖学的構造の中でもとりわけ、尿管、上腸間膜動脈などの動脈、門脈などの静脈、横隔神経などの神経、及び／又は腫瘍が挙げられる。他の例では、重要構造は、解剖学的分野における異物構造、例えば、外科用装置、外科用締結具、クリップ、留め金、ブジー、バンド、及び／又はプレートなどであり得る。重要構造は、患者ごと及び／又は処置ごとに決定される場合がある。例示的な重要構造は、本明細書で更に説明される。スマート切開術は、切開のために改善された術中ガイダンスを提供することができ、及び／又は、例えば、重要な解剖学的検出及び回避技術によってよりスマートな決定を可能にすることができる。
【0016】
外科用可視化プラットフォームを組み込んだ外科用システムはまた、改善されたワークフローによって最適な位置で更に確実な吻合を提供するスマート吻合術を可能にし得る。癌局在化法もまた、本明細書に記載される様々な外科用可視化プラットフォーム及び処置によって改善され得る。例えば、癌局在化法は、癌の位置、向き、及びそのマージンを特定し、追跡することができる。特定の例において、癌局在化法は、外科手術中に器具、患者、及び／又は患者の解剖学的構造の動きを補正し、臨床医を対象点に再誘導することができる。
【0017】
本開示の特定の態様では、外科用可視化プラットフォームは、改善された組織特性評価及び／又はリンパ節診断及びマッピングを提供し得る。例えば、組織特性評価技術は、特に切開時、及び／又は組織内のステープル留め装置の配置時に、物理的触覚を必要とせずに組織の種類及び健康状態を特徴付けることができる。本明細書に記載される特定の組織特性評価技術は、電離放射線及び／又は造影剤を使用せずに利用することができる。リンパ節診断及びマッピングに関して、外科用可視化プラットフォームは、例えば、癌診断及びステージ診断に関与するリンパ系及び／又はリンパ節を手術前に位置付け、マッピングし、及び理想的には診断することができる。
【0018】
これら及び他の関連する主題は、本明細書及び／又は前述の同時出願の米国特許出願において記載されており、それらの各全体が参照により本明細書に組み込まれる。
【0019】
外科手術中、「裸眼」及び／又は撮像システムを介して臨床医が利用可能な情報は、不完全な手術部位の視界を提供する場合がある。例えば、器官内に埋め込まれた又は覆われた構造などの特定の構造は、視界から少なくとも部分的に隠され、つまり見えない場合がある。加えて、特定の寸法及び／又は相対距離は、既存のセンサシステムでの確認することが難しく、及び／又は「裸眼」では把握が難しい場合がある。更に、特定の構造は、手術前（例えば、外科手術前であるが術前の走査後）、及び／又は手術中に移動することがある。そのような例では、臨床医は、手術中に重要構造の位置を正確に決定することができない場合がある。
【0020】
重要構造の位置が不確定である場合、及び／又は重要構造と外科用ツールとの間の近接度が不明である場合、臨床医の意思決定プロセスが阻害され得る。例えば、臨床医は、重要構造の不注意な切開を回避するために特定の領域を回避することができるが、回避した領域が、不必要に大きく、かつ／又は少なくとも部分的に間違った場所であるかもしれない。不確実性、及び／又は過度／過剰な用心に起因して、臨床医は特定の所望の領域に到達できない場合がある。例えば、重要構造がその特定領域にない場合、及び／又は、その特定の領域での臨床医の行為によって悪影響がない場合であっても、過剰な用心により、臨床医が、重要構造を避けようと努力して、腫瘍及び／又は他の望ましくない組織の一部を残してしまう場合がある。特定の例では、手術成績は知識及び／又は確実性が高まると共に向上される場合があり、これにより、外科医にとって、より正確で、特定の場合では特定の解剖学的領域に対してより控えめに／より積極的になることが可能になる。
【0021】
様々な態様では、本開示は、重要構造の術中識別及び回避のための外科用可視化システムを提供する。一態様では、本開示は、強化された術中意思決定の製造及び改善された手術結果を可能にする、外科用可視化システムを提供する。様々な態様では、開示された外科用可視化システムは、臨床医が「裸眼」で見るもの、及び／又は撮像システムが認識し、及び／又は臨床医に伝達できるものを超えた、高度な可視化能を提供する。様々な外科用可視化システムは、臨床医が組織処理（例えば、切開）の前に知ることができることを補強かつ強化できることによって、様々な例における結果を改善することができる。
【0022】
例えば、可視化システムは、複数のスペクトル波を放射するように構成されている第１の光エミッタと、光パターンを放射するように構成されている第２の光エミッタと、可視光、スペクトル波に対する分子応答（分光イメージング）、及び／又は光パターンを検出するように構成されている１つ以上の受信器、又はセンサと、を含むことができる。外科用可視化システムはまた、撮像システムと、受信器及び撮像システムとを信号通信する制御回路と、を含むことができる。受信器からの出力に基づいて、制御回路は、手術部位における可視表面の幾何学的表面マップ、すなわち三次元表面トポグラフィ、及び手術部位に対する１つ以上の距離を決定することができる。特定の例では、制御回路は、少なくとも部分的に隠れた構造までの１つ以上の距離を決定することができる。更に、撮像システムは、幾何学的表面マップ及び１つ以上の距離を臨床医に伝えることができる。そのような例において、臨床医に提供される手術部位の拡張図は、手術部位に関連する背景内で隠れた構造の図を提供することができる。例えば、撮像システムは、表面下のユーティリティ配管を示すために地上に描かれた線と同様に、隠している及び／又は妨害している組織の幾何学的表面マップ上に隠れた構造をバーチャルに拡張することができる。追加的に又は代替的に、撮像システムは、目に見えて妨害している組織まで、及び／若しくは少なくとも部分的に隠れた構造までの１つ以上の外科用ツールの近接度、並びに／又は、妨害している組織の目に見える表面下に隠れた構造の深さを伝達することができる。例えば、可視化システムは、可視組織の表面上の拡張線に対する距離を決定し、撮像システムにその距離を伝えることができる。
【0023】
本開示の様々な態様では、重要構造の術中識別及び回避のための外科用可視化システムが開示される。このような外科用可視化システムは、外科手術中に臨床医に有益な情報を提供することができる。結果として、外科用可視化システムが、例えば切開中に接近し得る、例えば、尿管、特定の神経、及び／又は重要な血管などの重要構造を追跡していることを知りながら、臨床医は、外科手術を通して操作を確実に維持することができる。一態様では、外科用可視化システムは、臨床医が外科手技を一時停止し、及び／又は減速させ、重要構造に対する不注意による損傷を防止するためにその構造までの近接度を評価するのに十分な時間、臨床医に対して指示を提供することができる。外科用可視化システムは、理想的で、最適化された、及び／又はカスタマイズ可能な量の情報を臨床医に提供して、健康な組織及び／又は重要構造への不注意による損傷を回避しつつ、臨床医が組織全体を確実かつ／又は迅速に操作することを可能にし、それによって、外科的処置により生じる損傷のリスクを最小限に抑えることができる。
【0024】
図１は、本開示の少なくとも１つの態様による、外科用可視化システム１００の概略図である。外科用可視化システム１００は、解剖学的分野内の重要構造１０１の視覚的表示を作り出すことができる。外科用可視化システム１００は、例えば、臨床分析及び／又は医学的介入に使用され得る。特定の例では、外科用可視化システム１００を手術中に使用し、外科手術中の近接データ、寸法、及び／又は距離に関するリアルタイム若しくはほぼリアルタイムの情報を臨床医に提供することができる。外科用可視化システム１００は、重要構造の術中識別のため、及び／又は外科用装置による重要構造１０１の回避を容易にするように構成されている。例えば、重要構造１０１を識別することによって、臨床医は、外科手術中に、重要構造１０１及び／又は重要構造１０１の所定の近位の領域の周囲で外科用装置を操作することを回避できる。臨床医は、例えば重要構造１０１として特定される、例えば静脈、動脈、神経、及び／若しくは血管、並びに／又はこれら付近の切開を回避することができる。様々な例において、重要構造１０１は、患者ごと及び／又は処置ごとに決定される場合がある。
【0025】
外科用可視化システム１００は、距離センサシステム１０４と組み合わせた組織識別及び幾何学的表面マッピングを組み込む。組み合わせた外科用可視化システム１００の特徴により、解剖学的分野内の重要構造１０１の位置、並びに／又は、可視組織の表面１０５及び／若しくは重要構造１０１への外科用装置１０２の近接度を決定することができる。更に、外科用可視化システム１００は、例えば、手術部位のリアルタイム画像を提供するように構成されているカメラなどの撮像装置１２０を含む、撮像システムを含む。様々な例において、撮像装置１２０は、反射されたスペクトル波形を検出し、異なる波長に対する分子応答に基づいて画像のスペクトルキューブを生成するように構成されているスペクトルカメラ（例えば、ハイパースペクトルカメラ、マルチスペクトルカメラ、又は選択的スペクトルカメラ）である。撮像装置１２０からの画像を臨床医に提供することができ、本開示の様々な態様では、組織識別、状況マッピング、及び距離センサシステム１０４に基づいて追加情報を追加することができる。そのような例において、外科用可視化システム１００は、複数のサブシステム、つまり、撮像サブシステム、表面マッピングサブシステム、組織識別サブシステム、及び／又は距離決定サブシステムを含む。これらのサブシステムは協働して、高度なデータ合成及び統合された情報を手術中に臨床医に対して提供することができる。
【0026】
撮像装置は、例えば、可視光、スペクトル光波（可視又は不可視）、及び構造光パターン（可視又は不可視）を検出するように構成されているカメラ又は撮像センサを含むことができる。本開示の様々な態様において、撮像システムは、例えば内視鏡などの撮像装置を含むことができる。追加的に又は代替的に、撮像システムは、例えば、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃十二指腸鏡（胃鏡）、喉頭鏡、鼻咽喉－腎盂鏡（nasopharyngo-neproscope）、Ｓ状結腸鏡、胸腔鏡、尿管鏡、又は外視鏡などの撮像装置を含むことができる。開腹手術用途などの他の例では、撮像システムはスコープを含まなくてもよい。
【0027】
本開示の様々な態様では、組織識別サブシステムは、スペクトル撮像システムで達成することができる。スペクトル撮像システムは、例えば、ハイパースペクトル撮像、マルチスペクトル撮像、又は選択的スペクトル撮像に依存することができる。組織のハイパースペクトル撮像は、参照によりその全体が本明細書に組み込まれる、２０１６年３月１日発行の「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＧＲＯＳＳ ＡＮＡＴＯＭＩＣ ＰＡＴＨＯＬＯＧＹ ＵＳＩＮＧ ＨＹＰＥＲＳＰＥＣＴＲＡＬ ＩＭＡＧＩＮＧ」と題する米国特許第９，２７４，０４７号に更に記載されている。
【0028】
本開示の様々な態様では、表面マッピングサブシステムは、本明細書で更に説明されるように、光パターンシステムで達成することができる。表面マッピングのための光パターン（又は構造光）の使用が知られている。既知の表面マッピング技術を、本明細書に記載される外科用可視化システムにおいて利用することができる。
【0029】
構造光は、表面上に既知のパターン（多くの場合、グリッド又は水平バー）を投影するプロセスである。２０１７年３月２日公開の「ＳＥＴ ＣＯＭＰＲＩＳＩＮＧ Ａ ＳＵＲＧＩＣＡＬ ＩＮＳＴＲＵＭＥＮＴ」と題する米国特許出願公開第２０１７／００５５８１９号、及び２０１７年９月７日公開の「ＤＥＰＩＣＴＩＯＮ ＳＹＳＴＥＭ」と題する米国特許出願公開第２０１７／０２５１９００号は、光源と光パターンを投影するためのプロジェクタとを備える外科用システムを開示している。２０１７年３月２日公開の「ＳＥＴ ＣＯＭＰＲＩＳＩＮＧ Ａ ＳＵＲＧＩＣＡＬ ＩＮＳＴＲＵＭＥＮＴ」と題する米国特許出願公開第２０１７／００５５８１９号、及び２０１７年９月７日公開の「ＤＥＰＩＣＴＩＯＮ ＳＹＳＴＥＭ」と題する米国特許出願公開第２０１７／０２５１９００号は、それらの各全体を参照することにより本明細書に組み込まれる。
【0030】
本開示の様々な態様では、距離決定システムは、表面マッピングシステムに組み込むことができる。例えば、構造光を利用して、可視表面の三次元仮想モデルを生成し、可視表面に対する様々な距離を決定することができる。追加的に又は代替的に、距離決定システムは飛行時間測定に依存し、手術部位における識別された組織（又は他の構造）に対する１つ以上の距離を決定することができる。
【0031】
図２は、外科用可視化システム１００と共に利用され得る制御システム１３３の概略図である。制御システム１３３は、メモリ１３４と信号通信する制御回路１３２を含む。メモリ１３４は、制御回路１３２によって実行可能な命令を記憶して、重要構造（例えば、図１の重要構造１０１）を決定及び／又は認識し、１つ以上の距離及び／又は３次元デジタル表示を決定及び／又は計算し、かつ、特定の情報を１人以上の臨床医に通信する。例えば、メモリ１３４は、表面マッピング論理１３６、撮像論理１３８、組織識別論理１４０、若しくは距離決定論理１４１、又は論理１３６、１３８、１４０、及び１４１の任意の組み合わせを記憶する。制御システム１３３はまた、１つ以上のカメラ１４４（図１の撮像装置１２０のようなもの）、１つ以上のディスプレイ１４６、又は１つ以上のコントロール１４８、又はこれらの要素の任意の組み合わせを有する撮像システム１４２を含む。カメラ１４４は、様々な可視及び不可視スペクトルで光を放射する様々な光源からの信号を受信するための１つ以上の画像センサ１３５（例えば、なかでも、可視光、スペクトル撮像装置、３次元レンズ）を含むことができる。ディスプレイ１４６は、１人以上の臨床医に対して、現実、仮想、及び／又は仮想的に拡張された画像及び／又は情報を描写するための１つ以上のスクリーン又はモニタを含むことができる。
【0032】
様々な態様では、カメラ１４４の中心部は画像センサ１３５である。一般に、最新の画像センサ１３５は、ピクセルと呼ばれる別個の光検出部位を最大で数百万個含む固体電子デバイスである。画像センサ１３５技術は、電荷結合素子（ＣＣＤ）及び相捕型金属酸化膜半導体（ＣＭＯＳ）撮像装置の２つのカテゴリーの１つに分類され、より最近では、短波赤外線（ＳＷＩＲ）が撮像における新たな技術である。別の種類の画像センサ１３５は、ハイブリッドＣＣＤ／ＣＭＯＳアーキテクチャ（「ｓＣＯＭＳ」の名称で販売）を採用し、ＣＣＤ撮像基板にバンプ接合されたＣＭＯＳ読み出し集積回路（ＲＯＩＣ）からなる。ＣＣＤ及びＣＭＯＳ画像センサ１３５は、約３５０～１０５０ｎｍの波長に対する感度を有するが、この範囲は通常４００～１０００ｎｍである。ＣＭＯＳセンサは、一般に、ＣＣＤセンサよりもＩＲ波長に対して感度が高い。固体画像センサ１３５は、光電効果に基づいており、その結果、色を区別することができない。したがって、１チップ及び３チップの２種類のカラーＣＣＤカメラが存在する。１チップカラーＣＣＤカメラは、共通の低コストの画像化ソリューションを提供し、モザイク（例えば、ベイヤー）光学フィルタを使用して、入力光を一連の色に分離し、補間アルゴリズムを用いてフルカラー画像を解像する。次いで、各色は、異なる画素セットに誘導される。３チップカラーＣＣＤカメラは、プリズムを用いることによってより高い解像度を提供し、入射スペクトルの各セクションを異なるチップに誘導する。オブジェクトの空間内の各点が、色を決定するためのアルゴリズムを使用するのではなく、別個のＲＧＢ強度値を有するため、より正確な色再現が可能である。３チップカメラは、非常に高い解像度を提供する。
【0033】
制御システム１３３はまた、スペクトル光源１５０と構造光源１５２とを含む。特定の例では、単一の光源は、スペクトル光源１５０の範囲内の光の波長及び構造光源１５２の範囲内の光の波長をパルス放射することができる。あるいは、単一の光源は、可視スペクトル内の光（例えば、赤外スペクトル光）及び可視スペクトル上の光の波長をパルス供給することができる。スペクトル光源１５０は、例えば、ハイパースペクトル光源、マルチスペクトル光源、及び／又は選択的スペクトル光源であってよい。様々な例において、組織識別論理１４０は、カメラ１４４の画像センサ１３５部分によって受信されたスペクトル光源１５０からのデータを介して、重要構造を識別することができる。表面マッピング論理１３６は、反射された構造光に基づいて可視組織の表面の輪郭を決定することができる。飛行時間測定により、距離決定論理１４１は、可視組織及び／又は重要構造１０１までの１つ以上の距離を決定することができる。表面マッピング論理１３６、組織識別論理１４０、及び距離決定論理１４１からの１つ以上の出力は、撮像論理１３８に提供され、撮像システム１４２のディスプレイ１４６を介して臨床医に伝達されるように組み合わされ、一体化され、及び／又は重ね合わせられてもよい。
【0034】
ここで簡単に図２Ａ～図２Ｃを説明し、外科用可視化システム１００の様々な態様を制御するための制御回路１３２の様々な態様を述べる。図２Ａを見ると、本開示の少なくとも１つの態様による、外科用可視化システム１００の態様を制御するように構成されている制御回路４００が示される。制御回路４００は、本明細書に説明される様々なプロセスを実施するように構成することができる。制御回路４００は、少なくとも１つのメモリ回路４０４に連結された１つ以上のプロセッサ４０２（例えば、マイクロプロセッサ、マイクロコントローラ）を備えるマイクロコントローラを備えることができる。メモリ回路４０４は、プロセッサ４０２によって実行されると、本明細書に記載される様々なプロセスを実施するための機械命令をプロセッサ４０２に実行させる、機械実行可能命令を記憶する。プロセッサ４０２は、当該技術分野で既知の多数のシングルコア又はマルチコアプロセッサのうちの任意の１つであってもよい。メモリ回路４０４は、揮発性及び不揮発性の記憶媒体を含むことができる。プロセッサ４０２は、命令処理ユニット４０６及び演算ユニット４０８を含んでもよい。命令処理ユニットは、本開示のメモリ回路４０４から命令を受信するように構成されてもよい。
【0035】
図２Ｂは、本開示の少なくとも１つの態様による、外科用可視化システム１００の態様を制御するように構成されている組み合わせ論理回路４１０を示す。組み合わせ論理回路４１０は、本明細書に説明される様々なプロセスを実施するように構成することができる。組み合わせ論理回路４１０は、入力４１４で外科用器具又はツールと関連付けられたデータを受信し、組み合わせ論理４１２によってデータを処理し、出力４１６を提供するように構成されている組み合わせ論理４１２を含む有限状態マシンを含み得る。
【0036】
図２Ｃは、本開示の少なくとも１つの態様による、外科用可視化システム１００の態様を制御するように構成されている順序論理回路４２０を示す。順序論理回路４２０又は組み合わせ論理４２２は、本明細書に記載される様々なプロセスを実施するように構成することができる。順序論理回路４２０は有限状態マシンを含んでもよい。順序論理回路４２０は、例えば、組み合わせ論理４２２、少なくとも１つのメモリ回路４２４、及びクロック４２９を含んでもよい。少なくとも１つのメモリ回路４２４は、有限状態マシンの現在の状態を記憶することができる。特定の例では、順序論理回路４２０は、同期式又は非同期式であってもよい。組み合わせ論理４２２は、入力４２６から外科用装置又はシステムと関連付けられたデータを受信し、組み合わせ論理４２２によってデータを処理し、出力４２８を提供するように構成される。他の態様では、回路は、プロセッサ（例えば、図２Ａのプロセッサ４０２）と、本明細書の様々なプロセスを実施する有限状態マシンと、の組み合わせを含んでもよい。他の態様では、有限状態マシンは、組み合わせ論理回路（例えば図２Ｂの組み合わせ論理回路４１０）と順序論理回路４２０との組み合わせを含むことができる。
【0037】
図１の外科用可視化システム１００を再び参照すると、重要構造１０１は、目的とする解剖学的構造であり得る。例えば、重要構造１０１は、他の解剖学的構造の中でもとりわけ、尿管、上腸間膜動脈などの動脈、門脈などの静脈、横隔神経などの神経、及び／又は腫瘍であり得る。他の例では、重要構造１０１は、解剖学的分野における異物構造、例えば、外科用装置、外科用締結具、クリップ、留め金、ブジー、バンド、及び／又はプレートなどであり得る。例示的な重要構造は、本明細書、及び、それぞれの全体が参照により本明細書に組み込まれる、例えば「ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＯＦ ＳＵＲＧＩＣＡＬ ＤＥＶＩＣＥＳ」と題する米国特許出願第１６／１２８，１９２号、代理人整理番号ＥＮＤ８６０７ＵＳＮＰ２／１８０２３２－２などの前述の同時出願の米国特許出願に更に記載されている。
【0038】
一態様では、重要構造１０１は、組織１０３に埋め込まれ得る。換言すれば、重要構造１０１は、組織１０３の表面１０５の下に位置付けられ得る。そのような例では、組織１０３は臨床医の視界から重要構造１０１を隠している。重要構造１０１はまた、組織１０３によって撮像装置１２０の視界からも見えない。組織１０３は、例えば、脂肪、結合組織、癒着部、及び／又は器官であり得る。他の例では、重要構造１０１は、視野から部分的に隠され得る。
【0039】
図１はまた、外科用装置１０２も示す。外科用装置１０２は、外科用装置１０２のシャフトの遠位端から延在する対向するジョーを有するエンドエフェクタを含む。外科用装置１０２は、例えば、切開器具、ステープラ、把持器具、クリップアプライヤ、並びに／又は、単極プローブ、双極プローブ、アブレーションプローブ、及び／若しくは超音波エンドエフェクタを含むエネルギー装置などの任意の好適な外科用装置であり得る。追加的に又は代替的に、外科用装置１０２は、例えば超音波装置などの別の撮像又は診断様式を含むことができる。本開示の一態様では、外科用可視化システム１００は、１つ以上の重要構造１０１の識別、及び外科用装置１０２の重要構造１０１への近接を達成するように構成され得る。
【0040】
外科用可視化システム１００の撮像装置１２０は、例えば可視光、スペクトル光波（可視又は不可視）、及び構造光パターン（可視又は不可視）などの様々な波長の光を検出するように構成されている。撮像装置１２０は、異なる信号を検出するための複数のレンズ、センサ、及び／又は受信器を含んでもよい。例えば、撮像装置１２０は、本明細書で更に説明するように、ハイパースペクトル、マルチスペクトル、又は選択的スペクトルカメラであり得る。撮像装置１２０はまた、波形センサ１２２（例えば、スペクトル画像センサ、検出器、及び／又は三次元カメラレンズ）も含むことができる。例えば、撮像装置１２０は、２つの二次元画像を同時に記録することによって、手術部位の３次元画像を生成し、手術部位の３次元画像をレンダリングし、及び／又は手術部位で１つ以上の距離を決定するための、共に使用される右側レンズ及び左側レンズを含むことができる。追加的に又は代替的に、撮像装置１２０は、本明細書に更に記載されるように、可視組織のトポグラフィ、並びに隠された重要構造の識別及び位置を示す画像を受信するように構成され得る。例えば、図１に示すように、撮像装置１２０の視野を、組織の表面１０５上の光のパターン（構造光）と重ねることができる。
【0041】
一態様では、外科用可視化システム１００はロボットシステム１１０に組み込まれてもよい。例えば、ロボットシステム１１０は、第１のロボットアーム１１２と第２のロボットアーム１１４とを含んでもよい。ロボットアーム１１２、１１４は、サーボモータ制御を含むことができる剛性構造部材１１６及び継手１１８を含む。第１のロボットアーム１１２は、外科用装置１０２を操作するように構成され、第２のロボットアーム１１４は、撮像装置１２０を操作するように構成されている。ロボット制御ユニットは、例えば、外科用装置１０２及び撮像装置１２０に作用し得るロボットアーム１１２、１１４への制御運動を発するように構成され得る。
【0042】
外科用可視化システム１００はまた、表面１０５のトポグラフィ又は状況の決定を可能にするために、縞、グリッド線、及び／又はドットなどの光のパターンを放射するように構成されているエミッタ１０６を含む。例えば、投影された光アレイ１３０は、表面１０５上の三次元走査及び位置合わせのために使用することができる。投影された光アレイ１３０は、例えば、外科用装置１０２、及び／又はロボットアーム１１２、１１４のうちの１つ、及び／又は撮像装置１２０上に位置するエミッタ１０６から放射され得る。一態様では、投影された光アレイ１３０を使用し、組織１０３の表面１０５及び／又は表面１０５の動きにより手術中に画定される形状を決定する。撮像装置１２０は、表面１０５から反射された投影された光アレイ１３０を検出して、表面１０５のトポグラフィ及び表面１０５までの様々な距離を決定するように構成されている。
【0043】
一態様では、撮像装置１２０はまた、組織１０３の表面１０５を貫通して重要構造１０１に到達することができる電磁放射線１２４（ＮＩＲ光子）を放射するように構成されている、光学波形エミッタ１２３を含んでもよい。撮像装置１２０及びその上の光学波形エミッタ１２３は、ロボットアーム１１４によって位置決め可能であり得る。撮像装置１２０上の対応する波形センサ１２２（例えば、画像センサ、分光計、又は振動センサ）は、波形センサ１２２によって受信された電磁放射線の影響を検出するように構成されている。光学波形エミッタ１２３によって放射される電磁放射線１２４の波長は、重要構造１０１などの解剖学的構造及び／又は物理的構造の種類の識別を可能にするように構成することができる。重要構造１０１の識別は、例えば、スペクトル分析、光音響、及び／又は超音波によって達成することができる。一態様では、電磁放射線１２４の波長は可変であってもよい。波形センサ１２２及び光学波形エミッタ１２３は、例えば、マルチスペクトル撮像システム及び／又は選択的スペクトル撮像システムを含むことができる。他の例では、波形センサ１２２及び光波形エミッタ１２３は、例えば光音響撮像システムを含むことができる。他の例では、光波形エミッタ１２３は、撮像装置１２０から別個の外科用装置上に配置され得る。
【0044】
外科用可視化システム１００はまた、手術部位において１つ以上の距離を決定するように構成されている距離センサシステム１０４を含んでもよい。一態様では、飛行時間距離センサシステム１０４は、エミッタ１０６などのエミッタと受信器１０８とを含む飛行時間距離センサシステムであってもよく、外科用装置１０２上に配置され得る。他の例では、飛行時間エミッタは構造光エミッタとは別個であり得る。１つの一般的な態様では、飛行時間距離センサシステム１０４のエミッタ１０６部分は、非常に小さいレーザ源を含んでもよく、飛行時間距離センサシステム１０４の受信器１０８部分は、整合センサを含んでもよい。飛行時間距離センサシステム１０４は、「飛行時間」、つまり、エミッタ１０６によって放射されたレーザ光が受信器１０８のセンサ部分に跳ね返るまでにかかる時間を検出することができる。エミッタ１０６中で非常に狭い光源を使用することで、距離センサシステム１０４が、距離センサシステム１０４のすぐ前の組織１０３の表面１０５までの距離を決定することを可能にする。更に図１を参照すると、ｄｅは、エミッタ１０６から組織１０３の表面１０５までのエミッタ－組織間距離であり、ｄｔは、外科用装置１０２の遠位端から組織の表面１０５までの装置－組織間距離である。距離センサシステム１０４を使用して、エミッタ－組織間距離ｄｅを決定することができる。装置－組織間距離ｄｔは、外科用装置１０２の遠位端に対する、外科用装置１０２のシャフト上のエミッタ１０６の既知の位置から得ることができる。換言すれば、エミッタ１０６と外科用装置１０２の遠位端との間の距離が既知である場合、装置－組織間距離ｄｔは、エミッタ－組織間距離ｄｅから決定することができる。特定の例において、外科用装置１０２のシャフトは、１つ以上の関節継手を含むことができ、エミッタ１０６及びジョーに対して関節運動可能であり得る。関節運動構成は、例えば、多関節椎骨様構造を含むことができる。特定の例では、３次元カメラを利用して、表面１０５までの１つ以上の距離を三角測量することができる。
【0045】
様々な例において、飛行時間距離センサシステム１０４のための受信器１０８は、外科用装置１０２の代わりに、別の外科用装置上に装着され得る。例えば、受信器１０８は、外科用装置１０２が通って手術部位に到達するように延在するカニューレ又はトロカール上に取り付けることができる。更に他の例では、飛行時間距離センサシステム１０４のための受信器１０８は、別のロボット制御アーム（例えばロボットアーム１１４）上、別のロボットによって操作される可動アーム上、及び／又は手術室（ＯＲ）のテーブル若しくは固定具に取り付けることができる。特定の例において、撮像装置１２０は、外科用装置１０２上のエミッタ１０６と撮像装置１２０との間の線を使用してエミッタ１０６から組織１０３の表面１０５までの距離を決定する、飛行時間受信器１０８を含む。例えば、距離ｄｅを、飛行時間距離センサシステム１０４のエミッタ１０６（外科用装置１０２上）及び受信器１０８（撮像装置１２０上）の既知の位置に基づいて三角測量することができる。受信器１０８の三次元位置は、手術中のロボット座標平面に対して既知であり、かつ／又は位置合わせされ得る。
【0046】
特定の例では、飛行時間距離センサシステム１０４のエミッタ１０６の位置は、第１のロボットアーム１１２によって制御することができ、飛行時間距離センサシステム１０４の受信器１０８の位置は、第２のロボットアーム１１４によって制御することができる。他の例では、外科用可視化システム１００は、ロボットシステムとは別に利用され得る。このような場合、距離センサシステム１０４は、ロボットシステムとは独立していてもよい。
【0047】
特定の例では、ロボットアーム１１２、１１４のうちの１つ以上は、外科手術で使用される主ロボットシステムとは別個であってもよい。ロボットアーム１１２、１１４のうちの少なくとも１つは、サーボモータ制御なしに特定の座標系に位置決めかつ位置合わせされ得る。例えば、ロボットアーム１１０のための閉ループ制御システム及び／又は複数のセンサは、特定の座標系に対するロボットアーム１１２、１１４の位置を制御及び／又は位置合わせすることができる。同様に、外科用装置１０２及び撮像装置１２０の位置は、特定の座標系に対して位置合わせされ得る。
【0048】
更に図１を参照すると、ｄｗは、撮像装置１２０上に位置する光学波形エミッタ１２３から重要構造１０１の表面までのカメラ－重要構造間距離であり、ｄＡは、組織１０３の表面１０５の下の重要構造１０１の深さ（すなわち、外科用装置１０２に最も近い表面１０５の部分と重要構造１０１との間の距離）である。様々な態様では、撮像装置１２０上に位置する光波形エミッタ１２３から放射される光波形の飛行時間は、カメラ－重要構造間距離ｄｗを決定するように構成され得る。飛行時間センサと組み合わせたスペクトル撮像の使用について、本明細書で更に説明する。更に、ここで図３を参照すると、本開示の様々な態様において、組織１０３の表面１０５に対する重要構造１０１の深さｄＡは、距離ｄｗ、並びに外科用装置１０２上のエミッタ１０６及び撮像装置１２０上の光学波形エミッタ１２３の既知の位置（及び、したがって、これらの間の距離ｄｘ）から三角測量によって決定され、距離ｄｅ及びｄＡの合計である距離ｄｙを決定することができる。
【0049】
追加的に又は代替的に、光波形エミッタ１２３からの飛行時間は、光波形エミッタ１２３から組織１０３の表面１０５までの距離を決定するように構成することができる。例えば、第１の波形（又は波形の範囲）を利用して、カメラ－重要構造間距離ｄｗを決定でき、第２の波形（又は波形の範囲）を利用して、組織１０３の表面１０５までの距離を決定できる。そのような例において、異なる波形を利用して、組織１０３の表面１０５の下の重要構造１０１の深さを決定することができる。
【0050】
追加的に又は代替的に、特定の例では、距離ｄＡは、超音波、登録磁気共鳴画像（ＭＲＩ）又はコンピュータ断層撮影（ＣＴ）スキャンから決定することができる。更に他の例では、距離ｄＡは、撮像装置によって受信された検出信号が材料の種類に基づいて変化し得るため、スペクトル撮像によって決定することができる。例えば、脂肪は、検出信号を第１の方法又は第１の量で減少させることができ、コラーゲンは、検出信号を異なる第２の方法又は第２の量で減少させることができる。
【0051】
ここで図４の外科用可視化システム１６０を参照すると、外科用装置１６２は、光学波形エミッタ１２３と、反射された波形を検出するように構成されている波形センサ１２２とを含む。光波形エミッタ１２３は、本明細書に更に記載されるように、外科用装置１６２などの共通の装置から距離ｄｔ及びｄｗを決定するための波形を放射するように構成することができる。そのような例において、組織１０３の表面１０５から重要構造１０１の表面までの距離ｄＡは、以下のように決定され得る。
ｄＡ＝ｄｗ－ｄｔ。
ｄＡ＝ｄｗ－ｄｔ。
【0052】
本明細書に開示されるように、可視組織、埋め込まれた重要構造、及び外科用装置に関する様々な情報は、スペクトル波長及び構造光アレイを検出するように構成されている画像センサと組み合わせて、１つ以上の飛行時間距離センサ、スペクトル撮像、及び／又は構造光アレイを組み込む組み合わせ法を利用することによって決定することができる。更に、画像センサは、可視光を受信することによって、手術部位の画像を撮像システムに提供するように構成することができる。論理又はアルゴリズムは、飛行時間センサ、スペクトル波長、構造光、及び可視光から受信した情報を識別し、表面組織及び下層の解剖学的構造の三次元画像をレンダリングするために使用される。様々な例において、撮像装置１２０は、複数の画像センサを含むことができる。
【0053】
カメラ－重要構造間距離ｄｗはまた、１つ以上の代替方法で検出することができる。一態様では、例えば蛍光インドシアニングリーン（indosciedine green）（ＩＣＧ）などの蛍光透視可視化技術を使用して、図６～図８に示されるような重要構造２０１を照らすことができる。カメラ２２０は、重要構造２０１の左側画像及び右側画像を同時に撮影する２つの光学波形センサ２２２、２２４を含むことができる（図７Ａ及び７Ｂ）。そのような例では、カメラ２２０は、組織２０３の表面２０５の下の重要構造２０１の光を描写することができ、距離ｄｗは、センサ２２２と２２４との間の既知の距離によって決定することができる。特定の例では、距離は、２つ以上のカメラを利用することによって、又は複数の位置間でカメラを移動させることによって、より正確に決定することができる。特定の態様では、１つのカメラは第１のロボットアームによって、第２のカメラは別のロボットアームによって制御され得る。このようなロボットシステムでは、１つのカメラは、例えば従動アーム上の従動カメラであり得る。従動アーム及びその上のカメラは、例えば、他のカメラを追跡し、特定の距離及び／又はレンズ角度を維持するようにプログラムすることができる。
【0054】
更に他の態様では、外科用可視化システム１００は、２つの別個の波形受信器（すなわち、カメラ／画像センサ）を用いてｄｗを決定してもよい。ここで図９を参照すると、重要構造３０１又はその内容物（例えば、血管又は血管の内容物）が蛍光透視法などによって信号３０２を発しし得る場合、実際の位置は、既知の位置で２つの別個のカメラ３２０ａ、３２０ｂから三角測量することができる。
【0055】
ここで図１０Ａ及び図１０Ｂを参照すると、別の態様では、外科用可視化システムは、ディザリング又は移動カメラ４４０を用いて、距離ｄｗを決定してもよい。カメラ４４０は、カメラ４４０の異なる位置における３次元座標が既知であるように、ロボット制御される。様々な例において、カメラ４４０は、カニューレ又は患者インターフェースで枢動することができる。例えば、重要構造４０１又はその内容物（例えば、血管又は容器の内容物）が、例えば蛍光透視法などによって信号を発し得る場合、実際の位置は、２つ以上の既知の位置間で急速に移動するカメラ４４０から三角測量することができる。図１０Ａでは、カメラ４４０は、軸Ａに沿って軸方向に移動する。具体的には、カメラ４４０は、ロボットアーム上で行き来することなどによって、位置４４０’として示される位置まで、軸Ａに沿って重要構造４０１に近付く距離ｄ１を並進移動する。カメラ４４０が距離ｄ１を移動し、重要構造４０１に対する画像のサイズが変化すると、重要構造４０１までの距離を計算することができる。例えば、４．２８ｍｍの軸方向並進（距離ｄ１）は、６．２８度の角度θ１及び８．１９度の角度θ２に対応し得る。追加的に又は代替的に、カメラ４４０は、異なる位置の間の弧に沿って回転又は掃引することができる。ここで図１０Ｂを参照すると、カメラ４４０は軸Ａに沿って軸方向に移動し、軸Ａを中心に角度θ３回転する。カメラ４４０の回転の枢動点４４２は、カニューレ／患者インターフェースに位置付けられる。図１０Ｂでは、カメラ４４０は並進し、位置４４０’’まで回転する。カメラ４４０が移動し、重要構造４０１に対する画像の縁部が変化すると、重要構造４０１までの距離を計算することができる。図１０Ｂにおいて、距離ｄ２は、例えば９．０１ｍｍであってもよく、角度θ３は、例えば０．９度であってもよい。
【0056】
図５は、多くの点で外科用可視化システム１００と類似している、外科用可視化システム５００を示す。様々な例において、外科用可視化システム５００は、外科用可視化システム１００の更なる例示であり得る。外科用可視化システム１００と同様に、外科用可視化システム５００は、外科用装置５０２と撮像装置５２０とを含む。撮像装置５２０は、例えば、隠れた構造のスペクトル画像を取得するために複数の波長のスペクトル光を放射するように構成されている、スペクトル光エミッタ５２３を含む。撮像装置５２０はまた、様々な例において、三次元カメラと関連する電子処理回路とを含むことができる。外科用可視化システム５００は、表面からは見えない器官５０３（この例では子宮）内の尿管５０１ａ及び血管５０１ｂなどの特定の重要構造を識別し、それらの回避を促進するために手術中に利用されているところが示されている。
【0057】
外科用可視化システム５００は、構造光を介して、外科用装置５０２上のエミッタ５０６から子宮５０３の表面５０５までのエミッタ－組織間距離ｄＥを決定するように構成されている。外科用可視化システム５００は、エミッタ－組織間距離ｄｅに基づいて、外科用装置５０２から子宮５０３の表面５０５まで装置－組織間距離ｄｔを外挿するように構成されている。また、外科用可視化システム５００は、尿管５０１ａから表面５０５までの組織－尿管間距離ｄＡ、及び撮像装置５２０から尿管５０１ａまでのカメラ－尿管間距離ｄｗを決定するように構成されている。図１に関して本明細書で説明するように、例えば、外科用可視化システム５００は、例えば、スペクトル撮像及び飛行時間センサによって距離ｄｗを決定することができる。様々な例において、外科用可視化システム５００は、本明細書に記載される他の距離及び／又は表面マッピング論理に基づいて、組織－尿管間距離ｄＡ（つまり深さ）を決定（例えば、三角測量）することができる。
【0058】
ここで図１１を参照すると、例えば、外科用可視化システム１００などの外科用可視化システムのための制御システム６００の概略図が示されている。制御システム６００は、特に、例えば脂肪、結合組織、血液、及び／又は他の器官などの他の組織によって重要構造が隠されているときに、スペクトルシグネチャ組織識別及び構造光組織位置決めを統合して、これらの構造を識別する変換システムである。このような技術はまた、器官内の健康な組織から腫瘍及び／又は病的組織を区別するなどの、組織の多様性を検出するのに有用であり得る。
【0059】
制御システム６００は、ハイパースペクトル撮像及び可視化システムを実施するように構成されており、このシステムでは、外科的視野内の解剖学的構造を検出及び識別するために分子応答が使用される。制御システム６００は、組織データを外科医が使用可能な情報に変換するための変換論理回路６４８を含む。例えば、隠れている物質に対する波長に基づく可変反射率を利用して、解剖学的構造中の重要構造を識別することができる。更に、制御システム６００は、識別されたスペクトルシグネチャと構造光データとを画像内で組み合わせる。例えば、制御システム６００を用いて、増強画像オーバーレイを有するシステムにおける外科的使用のための三次元データセットを作成することができる。技術は、追加の視覚情報を使用して、手術中及び手術前の両方で使用することができる。様々な例において、制御システム６００は、１つ以上の重要構造の近接時に、臨床医に警告を提供するように構成されている。外科手術及び重要構造への近接に基づいて、ロボット自動化及び半自動化アプローチを誘導するための様々なアルゴリズムを採用することができる。
【0060】
投影された光アレイを用いて、組織の形状及び動作を手術中に決定する。あるいは、フラッシュライダーを、組織の表面マッピングに利用してもよい。
【0061】
制御システム６００は、重要構造を検出し、重要構造の画像オーバーレイを提供し、可視組織の表面までの距離、及び埋め込まれた／覆われた重要構造までの距離を測定するように構成されている。他の例では、制御システム６００は、可視組織の表面までの距離を測定するか、又は重要構造を検出し、重要構造の画像オーバーレイを提供することができる。
【0062】
制御システム６００はスペクトル制御回路６０２を備える。スペクトル制御回路６０２は、例えば図２Ａ～図２Ｃに関連して本明細書に記載されるような、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又は別の好適な回路構成であり得る。スペクトル制御回路６０２は、ビデオ入力プロセッサ６０６からビデオ入力信号を受信するプロセッサ６０４を含む。プロセッサ６０４は、ハイパースペクトル処理を行うように構成されてよく、例えば、Ｃ／Ｃ＋＋コードを利用することができる。ビデオ入力プロセッサ６０６は、例えば、シャッター時間、波長、及びセンサ分析などの制御（メタデータ）データのビデオ入力端子を受容する。プロセッサ６０４は、ビデオ入力プロセッサ６０６からのビデオ入力信号を処理し、ビデオ出力信号を、例えばインターフェース制御（メタデータ）データのハイパースペクトルビデオ出力端子を含むビデオ出力プロセッサ６０８に提供するように構成されている。ビデオ出力プロセッサ６０８は、ビデオ出力信号を画像オーバーレイコントローラ６１０に提供する。
【0063】
ビデオ入力プロセッサ６０６は、患者隔離回路６１４を介して患者側のカメラ６１２に連結される。前述したように、カメラ６１２は、固体画像センサ６３４を含む。患者隔離回路は、患者がシステム内の他の回路から隔離されるように、複数の変圧器を含むことができる。カメラ６１２は、光学素子６３２及び画像センサ６３４を介して術中画像を受信する。画像センサ６３４は、例えば、ＣＭＯＳ画像センサを含むことができ、又は、例えば、図２に関連して本明細書で論じられる画像センサ技術のいずれかを含んでもよい。一態様では、カメラ６１２は、１４ビット／画素信号で画像を出力する。より高い又はより低いピクセル解像度が、本開示の範囲から逸脱することなく利用されてもよいことも理解されよう。分離カメラ出力信号６１３は、ハードウェアレジスタ６１８及びＮｉｏｓ２コプロセッサ６２０を使用してカメラ出力信号６１３を処理する、カラーＲＧＢ融合回路６１６に提供される。ビデオ入力プロセッサ６０６及びレーザパルス制御回路６２２には、カラーＲＧＢ融合出力信号が提供される。
【0064】
レーザパルス制御回路６２２は、レーザ光エンジン６２４を制御する。レーザ光エンジン６２４は、近赤外（ＮＩＲ）を含む複数の波長（λ１、λ２、λ３．．．λｎ）の光を出力する。レーザ光エンジン６２４は、複数のモードで動作することができる。一態様では、レーザ光エンジン６２４は、例えば、２つのモードで動作することができる。第１のモード、例えば通常動作モードでは、レーザ光エンジン６２４は照明信号を出力する。第２のモード、例えば、識別モードでは、レーザ光エンジン６２４はＲＧＢＧ光及びＮＩＲ光を出力する。様々な例において、レーザ光エンジン６２４は、偏光モードで動作することができる。
【0065】
レーザ光エンジン６２４からの光出力６２６は、手術中の手術部位６２７内の標的とする解剖学的構造を照明する。レーザパルス制御回路６２２はまた、手術部位６２７の手術組織又は器官上に所定の波長（λ２）で、ライン及び／又はドットのグリッド又はパターンなどのレーザ光パターン６３１を投影するレーザパターンプロジェクタ６３０用のレーザパルスコントローラ６２８を制御する。カメラ６１２は、カメラ光学素子６３２を通して出力されたパターン化された光及び反射光を受信する。画像センサ６３４は、受信した光をデジタル信号に変換する。
【0066】
カラーＲＧＢ融合回路６１６はまた、画像オーバーレイコントローラ６１０、並びに、レーザパターンプロジェクタ６３０によって手術部位６２７の標的とする解剖学的構造上に投影されたレーザ光パターン６３１を読み取るためのビデオ入力モジュール６３６に信号を出力する。処理モジュール６３８は、レーザ光パターン６３１を処理し、手術部位６２７での可視組織までの距離を表す第１のビデオ出力信号６４０を出力する。データは、画像オーバーレイコントローラ６１０に提供される。処理モジュール６３８はまた、手術部位の標的とする解剖学的構造の組織又は器官の三次元レンダリング形状を表す第２のビデオ信号６４２を出力する。
【0067】
第１及び第２のビデオ出力信号６４０、６４２は、集積モジュール６４３に提供される３次元表面モデル上の重要構造の位置を表すデータを含む。スペクトル制御回路６０２のビデオ出力プロセッサ６０８からのデータと組み合わせて、集積モジュール６４３は、覆われた重要構造までの距離ｄＡ（図１）を（例えば、三角測量アルゴリズム６４４を介して）決定することができ、距離ｄＡは、ビデオ出力プロセッサ６４６を介して映像オーバーレイコントローラ６１０に提供され得る。前述の変換論理は、変換論理回路６４８、中間ビデオモニタ６５２、及び手術部位６２７に位置付けられたカメラ６２４／レーザパターンプロジェクタ６３０を包含することができる。
【0068】
ＣＴ又はＭＲＩスキャンによる術前データ６５０を用いて、特定の三次元変形可能な組織を様々な例で位置合わせ又は整列させることができる。このような術前データ６５０は、集積モジュール６４３、最終的には画像オーバーレイコントローラ６１０に提供することができ、そのため、このような情報はカメラ６１２の画像と重ねられ、ビデオモニタ６５２に提供され得る。術前データの位置合わせは、本明細書、及び、それぞれの全体が参照により本明細書に組み込まれる、例えばＩＮＴＥＧＲＡＴＩＯＮ ＯＦ ＩＭＡＧＩＮＧ ＤＡＴＡ」と題する米国特許出願第１６／１２８，１９５号、代理人整理番号ＥＮＤ８６１２ＵＳＮＰ／１８０２３７などの前述の同時出願の米国特許出願に更に記載されている。
【0069】
ビデオモニタ６５２は、画像オーバーレイコントローラ６１０から統合／拡張画像を出力することができる。臨床医は、１つ以上のモニタ上の異なる画像を選択し、及び／又は切り替えることができる。第１のモニタ６５２ａ上で、臨床医は、（Ａ）可視組織の３次元レンダリングが示されている画像と、（Ｂ）１つ以上の隠れた重要構造が可視組織の三次元レンダリングの上に描かれている拡張画像とを切り替えることができる。第２のモニタ６５２ｂでは、臨床医は、例えば、１つ以上の隠れた重要構造及び／又は可視組織の表面までの距離測定値を切り替えることができる。
【0070】
制御システム６００及び／又はその様々な制御回路は、本明細書に開示される様々な外科用可視化システムに組み込むことができる。
【0071】
図１２は、本開示の少なくとも１つの態様による、構造（又はパターン）光システム７００を示す。本明細書に記載されるように、例えばストライプ又は線の形態の構造光は、光源及び／又はプロジェクタ７０６から標的とする解剖学的構造の表面７０５上に投影されて、表面７０５の形状及び輪郭を特定することができる。例えば、撮像装置１２０（図１）と様々な点で類似し得るカメラ７２０は、表面７０５上の投影された光パターンを検出するように構成することができる。投影パターンが表面７０５に衝突すると変形する方法により、視覚システムが標的とする解剖学的構造の深さ及び表面情報を計算することを可能にする。
【0072】
特定の例では、不可視（又は感知不能）構造光を利用することができ、構造光は、投影パターンが混乱し得る他のコンピュータの視覚的タスクと干渉することなく使用される。例えば、２つの正確に反対のパターンを繰り返す赤外光又は非常に速いフレームレートの可視光を利用して干渉を防止することができる。構造光は、ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｓｔｒｕｃｔｕｒｅｄ＿ｌｉｇｈｔで更に説明されている。
【0073】
ここで図１３を参照すると、ハイパースペクトル撮像の概念を例示するために、地上ハイパースペクトル撮像システム８００が示されている。地上ハイパースペクトル撮像システム８００は、例えば、土壌、水、及び／又は植生などの、地上の特徴又は物体を画像化するように構成されている。地上ハイパースペクトル撮像システム７００は、宇宙船８２０上の宇宙で操作されるハイパースペクトルセンサ８２２を含み、地球の表面８０５の一部分のハイパースペクトル撮像を行う。スペクトル寸法は、いくつかの層を含む。画像の各画素は、その反射率によって画素内に存在する物質を識別するために使用されるサンプリングされたスペクトルを含む。データは、例えば、土壌、水、及び植生の波長の関数として、反射率のグラフ表示８５０、８５２、８５４に変換することができる。地上ハイパースペクトル撮像は、ｗｗｗ．ｍａｒｋｅｌｏｗｉｔｚ．ｃｏｍ／Ｈｙｐｅｒｓｐｅｃｔｒａｌ．ｈｔｍｌで更に説明されている。
【0074】
更にハイパースペクトル撮像の概念を例示するために、図１４は、本開示の少なくとも１つの態様による、様々な地上の特徴又は物体に関する、ハイパースペクトルシグネチャのグラフ表示８５０である。反射率が縦軸に沿って示され、波長（ｎｍ）が横軸に沿って示される。図示されるように、各対象物である松林、草原、赤砂場、及びシルト質水は、対象物を識別するために使用できる固有のハイパースペクトルシグネチャを有する。
【0075】
図１３及び図１４に関連して説明されるハイパースペクトル撮像の概念は、本開示の少なくとも１つの態様によって、異なる波長及び吸収帯を有する異なる物質に用いられてもよい。以下の表は、様々な物質に対する波長及び吸収帯を示す。第１の範囲である４００ｎｍ～７００ｎｍの波長は、可視光スペクトルを表す。第２の範囲である７００ｎｍ～１４００ｎｍの波長は、近赤外（ＮＩＲ）スペクトルを表す。第３の範囲である１４００ｎｍ～３０００ｎｍの波長は、短波赤外（ＳＷＩＲ）スペクトルを表す。１２５０ｎｍを中心とする第１の帯域は、鉄吸収及び葉の水分含量を表す。１５００ｎｍ～１７５０ｎｍの第２の帯域は、プラスチック、繊維ガラス、及び石油を表す。２００ｎｍ～２４００ｎｍの第３の帯域は、鉱物ＩＤを表す。
【0076】
表１は、様々な物質に対する波長及び吸収帯を特定する。
【0077】
【表1】
【0078】
ハイパースペクトル撮像の概念の更なる例示として、ここで図１５Ａ～図１５Ｃを参照すると、スペクトル撮像を目玉焼き９５２に適用して試験を実施した。卵黄９５４及び卵黄９５４を取り囲む卵白９５６を有する目玉焼き９５２の画像を図１５Ａに示す。目玉焼き９５２のスペクトルシグネチャのグラフ表示９５０を図１５Ｂに示す。具体的には、グラフ表示９５０は、目玉焼き９５２の卵黄９５４及び卵白９５６の吸収単位対波長（ｎｍ）を示す。図１５Ｃでは、目玉焼き９５２のスペクトル画像（白黒）が示されており、その画像は、ハイパースペクトルシグネチャデータに基づいて卵黄部分と卵白部分とを区別するように拡張されている。
【0079】
様々な例において、地上の特徴及び物体並びに目玉焼きに関して例示目的のために本明細書に記載されるようなハイパースペクトル撮像技術を用いて、解剖学的構造内のシグネチャを識別して、重要構造を覆い隠すものから区別することができる。ハイパースペクトル撮像技術は、特に、重要構造が、例えば、脂肪、結合組織、血液、又は他の器官によって覆い隠されているときに、例えば、尿管及び／又は血管などの構造を識別する方法を提供することができる、可視化システムを提供できる。赤外線（ＩＲ）スペクトルにおける異なる波長の反射率の差を使用して、覆い隠すものに対する主要な構造の存在を判定することができる。ここで図１６～図１８を参照すると、例えば、脂肪、肺組織、及び血液といった覆い隠すものに対して、尿管、動脈、及び神経組織に関する例示的なハイパースペクトルシグネチャが示されている。
【0080】
図１６は、覆い隠すものに対する例示的な尿管シグネチャのグラフ表示１０５０である。プロットは、脂肪、肺組織、血液、及び尿管の波長に対する波長（ｎｍ）の関数として反射率を表す。図１７は、覆い隠すものに対する例示的な動脈シグネチャのグラフ表示１０５２である。プロットは、脂肪、肺組織、血液、及び動脈に対する波長（ｎｍ）の関数として反射率を表す。図１８は、覆い隠すものに対する例示的な神経シグネチャのグラフ表示１０５４である。プロットは、脂肪、肺組織、血液、及び神経に対する波長（ｎｍ）の関数として反射率を表す。
【0081】
様々な例において、スペクトル撮像のための選択波長は、手術部位において予想される重要構造及び／又は覆い隠すものに基づいて特定及び利用することができる（すなわち、「選択的スペクトル」撮像）。選択的スペクトル撮像を利用することにより、スペクトル画像を取得するために必要な時間量は、情報をリアルタイム又はほぼリアルタイムで取得し、術中に利用することができるように、最小化することができる。様々な例において、臨床医によって、又は臨床医による入力に基づいて制御回路によって波長を選択することができる。特定の例では、波長を、例えば、クラウドを介して制御回路にアクセス可能な機械学習及び／又はビッグデータに基づいて選択することができる。
【0082】
前述の組織へのスペクトル撮像の適用は、波形エミッタと組織によって覆い隠される重要構造との間の距離を測定するために、術中に利用することができる。本開示の一態様では、ここで図１９及び図２０を参照すると、波形１１２４、１１２５を利用した飛行時間センサシステム１１０４が示されている。飛行時間センサシステム１１０４は、特定の例において、外科用可視化システム１００（図１）に組み込むことができる。飛行時間センサシステム１１０４は、波形エミッタ１１０６と、同じ外科用装置１１０２上の波形受信器１１０８とを含む。放射された波１１２４は、エミッタ１１０６から重要構造１１０１まで延在し、受信された波１１２５は、重要構造１１０１から受信器１１０８によって反射される。外科用装置１１０２は、患者の空洞１１０７内に延在するトロカール１１１０を通って位置付けられる。
【0083】
波形１１２４、１１２５は、覆い隠している組織１１０３を透過するように構成される。例えば、波形１１２４、１１２５の波長は、ＮＩＲスペクトル又はＳＷＩＲスペクトルの波長であり得る。一態様では、スペクトル信号（例えば、ハイパースペクトル、マルチスペクトル、又は選択的スペクトル）又は光音響信号をエミッタ１１０６から放射することができ、重要構造１１０１を隠している組織１１０３を透過することができる。放射された波形１１２４は、重要構造１１０１によって反射され得る。受信された波形１１２５は、外科用装置１１０２の遠位端と重要構造１１０１との間の距離ｄに起因して遅延され得る。様々な例において、波形１１２４、１１２５は、本明細書に更に記載されるように、重要構造１１０１のスペクトルシグネチャに基づいて、組織１１０３内の重要構造１１０１を標的とするように選択され得る。様々な例において、エミッタ１１０６は、例えば図２０に示されるように、オン及びオフの二値信号を提供するように構成されており、受信器１１０８によって測定することができる。
【0084】
放射された波１１２４と受信された波１１２５との間の遅延に基づいて、飛行時間センサシステム１１０４は距離ｄを決定するように構成される（図１９）。図１９のエミッタ１１０６及び受信器１１０８の飛行時間タイミング図１１３０を図２０に示す。遅延は距離ｄの関数であり、距離ｄは、以下の式で与えられる。
【0085】
【数1】
ｃ＝光速度であり、
ｔ＝パルスの長さであり、
ｑｉ＝光が放射される間に蓄積された電荷であり、
ｑｚ＝光が放射されていない間に蓄積された電荷である。
【0086】
本明細書で提供されるように、波形１１２４、１１２５の飛行時間は、図１９の距離ｄに対応する。様々な例において、追加のエミッタ／受信器及び／又はエミッタ１１０６からのパルス信号は、非透過信号を発するように構成することができる。非透過組織は、エミッタから覆い隠している組織１１０３の表面１１０５までの距離を決定するように構成することができる。様々な例において、重要構造１１０１の深さは、以下の式によって決定することができる。
ｄＡ＝ｄｗ－ｄｔ。
式中、
ｄＡ＝重要構造１１０１の深さであり、
ｄｗ＝エミッタ１１０６から重要構造１１０１までの距離（図１９のｄ）であり、
ｄｔ＝エミッタ１１０６（外科用装置１１０２の遠位端上）から覆い隠している組織１１０３の表面１１０５までの距離である。
ｄＡ＝ｄｗ－ｄｔ。
式中、
ｄＡ＝重要構造１１０１の深さであり、
ｄｗ＝エミッタ１１０６から重要構造１１０１までの距離（図１９のｄ）であり、
ｄｔ＝エミッタ１１０６（外科用装置１１０２の遠位端上）から覆い隠している組織１１０３の表面１１０５までの距離である。
【0087】
本開示の一態様では、ここで図２１を参照すると、波１２２４ａ、１２２４ｂ、１２２４ｃ、１２２５ａ、１２２５ｂ、１２２５ｃを利用した飛行時間センサシステム１２０４が示されている。飛行時間センサシステム１２０４は、特定の例において、外科用可視化システム１００（図１）に組み込むことができる。飛行時間センサシステム１２０４は、波形エミッタ１２０６と波形受信器１２０８とを含む。波形エミッタ１２０６は、第１の外科用装置１２０２ａ上に位置付けられ、波形受信器１２０８は第２の外科用装置１２０２ｂ上に位置付けられる。外科用装置１２０２ａ、１２０２ｂは、患者の空洞１２０７内に延在するそれぞれトロカール１２１０ａ、１２１０ｂを通って位置付けられる。放射された波１２２４ａ、１２２４ｂ、１２２４ｃは、エミッタ１２０６から手術部位に向かって延在し、受信された波１２２５ａ、１２２５ｂ、１２２５ｃは、手術部位における様々な構造及び／又は表面から受信器１２０８に反射される。
【0088】
異なる放射された波１２２４ａ、１２２４ｂ、１２２４ｃは、手術部位において異なる種類の物質を標的にするように構成されている。例えば、波１２２４ａは覆い隠している組織１２０３を標的とし、波１２２４ｂは第１の重要構造１２０１ａ（例えば、血管）を標的とし、波１２２４ｃは第２の重要構造１２０１ｂ（例えば、癌性腫瘍）を標的とする。波１２２４ａ、１２２４ｂ、１２２４ｃの波長は、可視光、ＮＩＲ、又はＳＷＩＲスペクトルの波長であってよい。例えば、可視光は、組織１２０３の表面１２０５に反射することができ、ＮＩＲ波形及び／又はＳＷＩＲ波形は、組織１２０３の表面１２０５を透過するように構成することができる。様々な態様では、本明細書に記載されるように、スペクトル信号（例えば、ハイパースペクトル、マルチスペクトル、又は選択的スペクトル）又は光音響信号をエミッタ１２０６から放射することができる。様々な例において、波１２２４ｂ、１２２４ｃは、本明細書に更に記載されるように、重要構造１２０１ａ、１２０１ｂのスペクトルシグネチャに基づいて、組織１２０３内の重要構造１２０１ａ、１２０１ｂを標的とするように選択され得る。光音響撮像は、本明細書及び／又は前述の同時出願の米国特許出願において更に記載されており、それらの各全体が参照により本明細書に組み込まれる。
【0089】
放射された波１２２４ａ、１２２４ｂ、１２２４ｃは、標的物質（すなわち、それぞれ表面１２０５、第１の重要構造１２０１ａ、及び第２の構造１２０１ｂ）から反射され得る。受信された波形１２２５ａ、１２２５ｂ、１２２５ｃは、図２１に示される、距離ｄ１ａ、ｄ２ａ、ｄ３ａ、ｄ１ｂ、ｄ２ｂ、ｄ２ｃに起因して遅延しうる。
【0090】
エミッタ１２０６及び受信器１２０８が独立して位置決め可能である（例えば、別個の外科用装置１２０２ａ、１２０２ｂ上で、及び／又は別個のロボットアームによって制御される）飛行時間センサシステム１２０４では、様々な距離ｄ１ａ、ｄ２ａ、ｄ３ａ、ｄ１ｂ、ｄ２ｂ、ｄ２ｃを、エミッタ１２０６及び受信器１２０８の既知の位置から計算できる。例えば、手術装置１２０２ａ、１２０２ｂがロボット制御されているとき、位置は既知であり得る。エミッタ１２０６及び受光器１２０８の位置、並びに、特定の組織を標的とするまでの光子流の時間及びその特定の応答の受信器１２０８によって受信された情報に関する知見によって、距離ｄ１ａ、ｄ２ａ、ｄ３ａ、ｄ１ｂ、ｄ２ｂ、ｄ２ｃの決定を可能にできる。一態様では、覆い隠された重要構造１２０１ａ、１２０１ｂまでの距離は、透過波長を使用して三角測量することができる。光の速度は可視光又は不可視光の任意の波長に対して一定であるため、飛行時間センサシステム１２０４は、様々な距離を決定することができる。
【0091】
更に図２１を参照すると、様々な例において、臨床医に提供された画像では、受信器１２０８を、結果として得られる画像内の標的構造の質量中心が一定のままになるように、すなわち、選択された標的構造１２０３、１２０１ａ、又は１２０１ｂの軸に垂直な平面内で回転させることができる。そのような向きは、重要構造に対して、１つ以上の関連する距離及び／又は視点を迅速に通信することができる。例えば、図２１に示されるように、重要構造１２０１ａが視野平面に垂直である（すなわち、血管がページの内外に向いている）視点から、手術部位が表示される。様々な例において、そのような向きはデフォルト設定であり得るが、画像は臨床医によって回転されるか、ないしは別の方法で調整され得る。特定の例では、臨床医は、撮像システムによって提供される手術部位の視点を画定する、異なる表面及び／又は標的構造を切り替えることができる。
【0092】
様々な例において、受信器１２０８は、これを通じて外科用装置１２０２ｂが配置される、例えばトロカール１２１０ｂなどのトロカール又はカニューレ上に取り付けられてもよい。他の例では、受信器１２０８は、三次元位置が既知である別個のロボットアームに取り付けることができる。様々な例において、受信器１２０８は、外科用装置１２０２ａを制御するロボットとは別個の可動アーム上に取り付けることができ、又は手術中ロボット座標平面に位置合わせ可能な手術室（ＯＲ）のテーブルに取り付けることができる。そのような例では、エミッタ１２０６及び受信器１２０８の位置は、飛行時間センサシステム１２０４の出力から距離を三角測量することができるように、同じ座標平面に位置合わせすることができる。
【0093】
ナノ秒の分解能を有するＮＩＲ光の時間分解特性を測定することが可能である、ＴＯＦ－ＮＩＲＳと呼ばれる飛行時間センサシステム及び近赤外分光法（ＮＩＲＳ）の組み合わせは、その全体が参照により本明細書に組み込まれる、「ＴＩＭＥ－ＯＦ－ＦＬＩＧＨＴ ＮＥＡＲ－ＩＮＦＲＡＲＥＤ ＳＰＥＣＴＲＯＳＣＯＰＹ ＦＯＲ ＮＯＮＤＥＳＴＲＵＣＴＩＶＥ ＭＥＡＳＵＲＥＭＥＮＴ ＯＦ ＩＮＴＥＲＮＡＬ ＱＵＡＬＩＴＹ ＩＮ ＧＲＡＰＥＦＲＵＩＴ」と題するＪｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｍｅｒｉｃａｎ Ｓｏｃｉｅｔｙ ｆｏｒ Ｈｏｒｔｉｃｕｌｔｕｒａｌ Ｓｃｉｅｎｃｅ，Ｍａｙ ２０１３ ｖｏｌ．１３８ ｎｏ．３ ２２５－２２８の文献に見出すことができ、ｊｏｕｒｎａｌ．ａｓｈｓｐｕｂｌｉｃａｔｉｏｎｓ．ｏｒｇ／ｃｏｎｔｅｎｔ／１３８／３／２２５．ｆｕｌｌからアクセス可能である。
【0094】
様々な例において、飛行時間スペクトル波形は、重要構造の深さ及び／又は外科用装置の重要構造への近接度を決定するように構成されている。更に、本明細書に開示される様々な外科用可視化システムは、可視組織の表面に三次元レンダリングを作り出すように構成されている表面マッピング論理を含む。そのような例では、可視組織が重要構造を覆い隠す場合であっても、臨床医は、重要構造への外科用装置の近接度（又は近接していないこと）を認識することができる。１つの例では、手術部位のトポグラフィは、表面マッピング論理によってモニタ上に提供される。重要構造が組織の表面に近い場合、スペクトル撮像は、臨床医に重要構造の位置を伝達することができる。例えば、スペクトル撮像は、表面の５ｍｍ又は１０ｍｍ以内の構造を検出することができる。他の例では、スペクトル撮像は、組織の表面の１０又は２０ｍｍ下の構造を検出することができる。スペクトル撮像システムの既知の限界に基づいて、システムは、スペクトル撮像システムによって単純に検出されない場合、重要構造が範囲外であることを伝えるように構成される。したがって、臨床医は、外科用装置を動かし続けること、及び／又は組織を操作し続けることができる。重要構造がスペクトル撮像システムの範囲内に移動すると、システムは構造を識別することができ、したがって、構造が範囲内にあることを通信することができる。そのような例では、構造が最初に識別され、かつ／又は既定の近接ゾーン内に更に移動されたときに、警告を提供することができる。そのような例では、既知の境界／範囲を有するスペクトル撮像システムによって重要構造が識別されない場合であっても、臨床医に近接度の情報（すなわち、近接していないこと）を提供することができる。
【0095】
本明細書に開示される様々な外科用可視化システムは、術中に、重要構造の存在及び／又は近接を特定し、不注意による切開及び／又は切断によって重要構造を損傷する前に臨床医に警告するように構成され得る。様々な態様では、外科用可視化システムは、以下の重要構造、例えば、尿管、腸、直腸、神経（横隔神経、反回神経［ＲＬＮ］、突起顔面神経、迷走神経、及びそれらの分枝部を含む）、血管（肺及び肺葉の動脈及び静脈、下腸間膜動脈［ＩＭＡ］及びそれらの分枝部、上直腸動脈、Ｓ字結腸動脈、及び左結腸動脈を含む）、上腸間膜動脈（ＳＭＡ）及びそれらの分枝部（中結腸動脈、右結腸動脈、回腸結腸動脈を含む）、肝動脈及びそれらの分枝部、門脈及びそれらの分枝部、脾臓動脈／静脈及びそれらの分枝部、外腸骨血管及び内腸骨血管（下腹部）、短胃動脈、子宮動脈、正中仙骨血管、及びリンパ節のうちの１つ以上を識別するように構成されている。更に、外科用可視化システムは、外科用装置の重要構造への近接度を示し、かつ／又は、外科用装置が重要構造に接近すると臨床医に警告するように構成されている。
【0096】
本開示の様々な態様は、術中の重要構造の識別（例えば、尿管、神経、及び／又は血管の識別）及び器具接近モニタリングを提供する。例えば、本明細書に開示される様々な外科用可視化システムは、例えば、組織の表面の１．０～１．５ｃｍ下などの組織の表面下の重要構造の可視化を可能にする、スペクトル撮像及び外科用器具トラッキングを含み得る。他の例では、外科用可視化システムは、組織の表面の１．０ｃｍ未満又は１．５ｃｍ超下の構造を識別することができる。例えば、表面の０．２ｍｍ以内の構造のみを識別することができる外科用可視化システムであっても、例えば、深さによって本来は見えない場合に有用であり得る。様々な態様では、外科用可視化システムは、例えば、可視組織の表面上の可視白色光画像のオーバーレイとして重要構造をバーチャルに表示することによって、臨床医の視界を拡張することができる。外科用可視化システムは、外科用器具の遠位先端部のリアルタイムな三次元空間的トラッキングを提供することができ、外科用器具の遠位先端が重要構造のある範囲内、例えば、重要構造の１．０ｃｍ以内などに移動すると、近接警告を提供することができる。
【0097】
本明細書に開示される様々な外科用可視化システムは、重要構造に対して切開が近すぎることを識別することができる。温度（すなわち、重要構造を損傷／加熱／融解させる危険性があり得る重要構造の近くで過度に熱い）、及び／又は、張力（すなわち、重要構造を損傷させる／裂傷させる／引く危険性があり得る重要構造の近くで張力が過度に大きい）に基づくと、切開が重要構造に「近すぎる」場合がある。このような外科用可視化システムは、例えば結紮の前に血管周囲組織を剥離するときに、血管周囲の切開を容易にすることができる。様々な例において、熱画像化カメラを利用して、手術部位の熱を読み取り、検出された熱及びツールから構造までの距離に基づいて警告を臨床医に提供することができる。例えば、ツールの温度が所定の閾値（例えば１２０°Ｆなど）を超える場合、警告は、第１の距離（例えば１０ｍｍなど）で臨床医に提供され得、ツールの温度が既定の閾値以下である場合、警告は、第２の距離（例えば５ｍｍなど）で臨床医に提供され得る。既定の閾値及び／又は警告距離は、デフォルト設定及び／又は臨床医によってプログラム可能であり得る。追加的に又は代替的に、近接警告は、例えば、単極又は双極の切開器具又は血管シーラーの遠位ジョー内の熱を測定する熱電対などの、ツール自体によって行われる熱測定に連結され得る。
【0098】
本明細書に開示される様々な外科用可視化システムは、臨床医が、注意基準及び／又は装置安全データに基づいて、自信を持って迅速ではあるが安全な切開を進めることを可能にするために、重要構造に対する十分な感度と特異性を提供することができる。このシステムは、患者又は臨床医に対して最小限の電離放射線リスクで外科手術中の術中リアルタイムで機能し得、様々な例において、患者又は臨床医に対する電離放射線リスクはない。逆に、蛍光透視法において、患者及び臨床医は、例えば、解剖学的構造をリアルタイムで見るために利用されるＸ線ビームを介して電離放射線に曝露され得る。
【0099】
本明細書に開示される様々な外科用可視化システムは、例えば、外科用装置の経路がロボット制御されるときなど、外科用装置の前方経路内の１つ以上の所望の種類の重要構造を検出及び識別するように構成され得る。追加的に又は代替的に、外科用可視化システムは、例えば、外科用装置の周囲領域及び／又は複数の平面／範囲において、１つ以上の種類の重要構造を検出及び識別するように構成され得る。
【0100】
本明細書に開示される様々な外科用可視化システムは、容易に操作及び／又は解釈することができる。更に、様々な外科用可視化システムは、臨床医がデフォルト設定及び／又は操作をオーバーライドすることを可能にする「オーバーライド」特徴を組み込むことができる。例えば、臨床医は、外科用可視化システムからの警告を選択的にオフにして、かつ／又は、重要構造に対する危険性が、その領域を回避する危険性より低い場合（例えば、重要構造の周囲で癌を除去するとき、癌性組織を残すリスクは、重要構造の損傷のリスクよりも大きい場合がある）など、外科用可視化システムによって提示されるよりも重要構造に近付けることができる。
【0101】
本明細書に開示される様々な外科用可視化システムは、外科用システムに組み込むことができ、かつ／又は、ワークフローに対する限定された影響を有する外科手術中に使用することができる。換言すれば、外科用可視化システムの実施は、外科手術が実施される方法を変更しなくてよい。更に、外科用可視化システムは、不注意な切断のコストと比較して経済的であり得る。データは、重要構造への不注意による損傷の低減を示しており、償還額の増加を促進することができる。
【0102】
本明細書に開示される様々な外科用可視化システムは、臨床医が重要構造を予想することを可能にするために、リアルタイム又はほぼリアルタイム、かつ十分事前に動作することができる。例えば、外科用可視化システムは、外科手技の効率を最大化するために、「減速、評価、及び回避」のため十分な時間を提供することができる。
【0103】
本明細書に開示される様々な外科用可視化システムは、組織に注入される造影剤又は染料を必要としなくてよい。例えば、スペクトル撮像は、造影剤又は染料を使用することなく、術中に隠れた構造を視覚化するように構成される。他の例では、造影剤は、他の可視化システムよりも組織の適切な層に注入するのが容易であり得る。造影剤の注入と重要構造の可視化との間の時間は、例えば、２時間未満であり得る。
【0104】
本明細書に開示される様々な外科用可視化システムは、臨床データ及び／又は装置データと連結され得る。例えば、データは、外科医が損傷を望まない組織から、エネルギー有効化された外科用装置（又は他の損傷可能性がある装置）までの距離の境界を提供することができる。本明細書に開示される外科用可視化システムとインターフェースする任意のデータモジュールは、例えば、観血的処置又は腹腔鏡処置における独立型外科用装置との使用を可能にするために、ロボットと一体的又は別個に提供することができる。外科用可視化システムは、様々な例においてロボット外科用システムと適合することができる。例えば、視覚化画像／情報は、ロボットコンソール内に表示され得る。
【0105】
例示の臨床用途
本明細書に開示される様々な外科用可視化システムは、以下の臨床用途のうちの１つ以上で使用され得る。以下の臨床用途は非網羅的であり、本明細書に開示される様々な外科用可視化システムのうちの１つ以上に対する単に例示的な用途である。
本明細書に開示される様々な外科用可視化システムは、以下の臨床用途のうちの１つ以上で使用され得る。以下の臨床用途は非網羅的であり、本明細書に開示される様々な外科用可視化システムのうちの１つ以上に対する単に例示的な用途である。
【0106】
外科用可視化システムは、本明細書に開示されるように、例えば、泌尿器科、婦人科、腫瘍科、大腸直腸科、胸部外科、肥満／胃治療科、及び肝胆膵科（ＨＰＢ）などの異なる専門における多くの異なる種類の処置に使用することができる。例えば、前立腺切除術などの泌尿器手術では、尿路が脂肪若しくは結合組織中で検出される場合があり、及び／又は、神経が、例えば脂肪中で検出される場合がある。例えば、子宮摘出術などの婦人科腫瘍手術、及び低位前方切除術（ＬＡＲ）などの大腸直腸手術では、尿管が、例えば脂肪及び／又は結合組織内で検出される場合がある。例えば、肺葉切除術などの胸部手術では、血管が肺若しくは結合組織内で検出されル場合があり、及び／又は、神経が結合組織内で検出される場合がある（例えば、食道瘻造設術）。肥満手術では、血管が脂肪中に検出される場合がある。例えば、肝切除術又は膵切除術などのＨＰＢ手術では、血管が、脂肪（肝外）、結合組織（肝外）中に検出される場合があり、胆管が、実質組織（肝臓又は膵臓）中に検出される場合がある。
【0107】
一例では、臨床医は、子宮内膜筋腫の除去を望む場合がある。術前の磁気共鳴画像（ＭＲＩ）スキャンから、臨床医は、子宮内膜筋腫が腸の表面上に位置することを知ることができる。したがって、臨床医は、どの組織が腸の一部分を構成し、どの組織が直腸の一部を構成するかを術中に知ることを望む場合がある。そのような例において、外科用可視化システムは、本明細書に開示されるように、異なる種類の組織（腸対直腸）を示し、その情報を撮像システムを介して臨床医に伝達することができる。更に、撮像システムは、選択された組織に対する外科用装置の近接度を決定及び通信することができる。そのような例では、外科用可視化システムは、重大な合併症を伴わずに、処置効率を向上することができる。
【0108】
別の例では、臨床医（例えば、婦人科医）は、重要構造に近付きすぎることを回避するために特定の解剖学的領域から離れたまま留まることができるため、臨床医は、例えば子宮内膜症の全てを除去しない場合がある。外科用可視化システムは、本明細書に開示されるように、婦人科医が、外科用装置が全ての子宮内膜症を除去するのに十分に接近することができ、患者の転帰を改善することができる（民主化手術）ように、婦人科医が重要構造に接近しすぎるリスクを軽減することを可能にすることができる。このようなシステムは、外科医が、例えば、特に超音波又は電気手術エネルギーなどの治療用エネルギーの印加中に、避けるべき領域を特定するため停止及び再開を繰り返す代わりに、手術処置中に「移動し続ける」ことを可能にできる。婦人科用途では、子宮動脈及び尿管は大切な重要構造であり、システムは、関与する組織の提示及び／又は厚さを考慮すると、子宮摘出術及び子宮内膜手術に特に有用であり得る。
【0109】
別の例では、臨床医は、近すぎるために、標的とする葉以外の葉への血液供給に影響を及ぼし得る場所で、血管を切開するリスクがある場合がある。更に、患者間の解剖学的差異が、特定の患者に基づくと異なる葉に影響を及ぼす血管（例えば分岐血管）の切開をもたらし得る。外科用可視化システムは、本明細書に開示されるように、所望の位置で正しい血管の識別を可能にすることができ、これにより、臨床医が適切な解剖学的物を確実に切開することを可能にする。例えば、システムは、正しい血管が正しい位置にあることを確認することができ、その後臨床医が血管を安全に分割することができる。
【0110】
別の例では、臨床医は、血管の解剖学的構造が不確実であるために、最良の場所での切開前に、複数の切開を行うことがある。しかしながら、より多くの切開が出血のリスクを増大させることがあるため、最初の工程で最良の場所を切開することが望ましい。外科用可視化システムは、本明細書に開示されるように、正しい血管及び切開のための最良の位置を示すことによって、切開の数を最小化することができる。例えば、尿管及び基靱帯は密集しており、切開中に固有の課題を提供する。そのような例では、切開部の数を最小化することが特に望ましい場合がある。
【0111】
別の例では、癌組織を除去する臨床医（例えば、腫瘍外科医）は、重要構造の識別、癌の局在、癌のステージ分類、及び／又は組織の正常性の評価を知ることを望む場合がある。このような情報は、臨床医が「肉眼」で見るものを超えている。外科用可視化システムは、本明細書に開示されるように、手術中に臨床医にそのような情報を決定及び／又は伝達し、手術中の決定を強化し、外科結果を改善することができる。特定の例では、外科用可視化システムは、低侵襲手術（ＭＩＳ）、観血的手術、及び／又は、例えば内視鏡又は外視鏡のいずれかを使用するロボットアプローチと互換性があり得る。
【0112】
別の例では、臨床医（例えば、腫瘍外科医）は、外科手術中に保守的になり過ぎることを回避するために、１つ以上の重要構造への外科用ツールの近接度に関する１回以上の警告をオフにすることを望む場合がある。他の例では、臨床医は、１つ以上の重要構造から十分に遠く離れたままであるように、近接度及び／又は「飛行禁止区域」を示すための触覚フィードバック（例えば、振動／ブザー）などの特定の種類の警告の受信を望む場合がある。外科用可視化システムは、本明細書に開示されるように、例えば、臨床医の経験及び／又は処置の所望の積極性に基づいて順応性を提供することができる。そのような例では、システムは、重要構造を予測して回避するために、「知りすぎる」と「十分に知っている」との間のバランスを提供する。外科用可視化システムは、外科手術中の次工程の計画を支援することができる。
【実施例】
【0113】
本明細書に記載される主題の様々な態様は、以下の番号付けされた実施例において説明される。
実施例１－構造光パターンを解剖学的構造の表面上に放射するように構成されている構造光エミッタを備える、外科用可視化システム。外科用可視化システムは、解剖学的構造を透過し、解剖学的構造の表面の下に位置する埋め込まれた構造に到達することが可能な複数の波長のスペクトル光を放射するように構成されているスペクトル光エミッタを更に備える。外科用可視化システムは、反射された構造光パターン、反射されたスペクトル光、及び反射された可視光を検出するように構成されている画像センサを更に備える。外科用可視化システムは、画像センサと信号通信する制御回路を更に備える。制御回路は、画像センサによって検出された反射された構造光パターンから解剖学的構造の三次元デジタル表示を構築し、画像センサによって検出された反射されたスペクトル光から埋め込まれた構造を検出し、埋め込まれた構造を解剖学的構造の三次元デジタル表示と統合し、かつ、構造光エミッタから解剖学的構造までの少なくとも１つの距離を決定するように構成されている。
実施例１－構造光パターンを解剖学的構造の表面上に放射するように構成されている構造光エミッタを備える、外科用可視化システム。外科用可視化システムは、解剖学的構造を透過し、解剖学的構造の表面の下に位置する埋め込まれた構造に到達することが可能な複数の波長のスペクトル光を放射するように構成されているスペクトル光エミッタを更に備える。外科用可視化システムは、反射された構造光パターン、反射されたスペクトル光、及び反射された可視光を検出するように構成されている画像センサを更に備える。外科用可視化システムは、画像センサと信号通信する制御回路を更に備える。制御回路は、画像センサによって検出された反射された構造光パターンから解剖学的構造の三次元デジタル表示を構築し、画像センサによって検出された反射されたスペクトル光から埋め込まれた構造を検出し、埋め込まれた構造を解剖学的構造の三次元デジタル表示と統合し、かつ、構造光エミッタから解剖学的構造までの少なくとも１つの距離を決定するように構成されている。
【0114】
実施例２－埋め込まれた構造と、解剖学的構造の三次元デジタル表示に基づく解剖学的構造の三次元レンダリングとを選択的に描写するように構成されているディスプレイを更に備える、実施例１に記載の外科用可視化システム。
【0115】
実施例３－ディスプレイが、構造光エミッタと解剖学的構造との間の距離が最小距離まで短縮したときに警告を選択的に提供するように構成されている、実施例２に記載の外科用可視化システム。
【0116】
実施例４－スペクトル光エミッタが、解剖学的構造を透過し、埋め込まれた構造に到達することが可能な複数の赤外線波長のスペクトル光を放射するように構成されている、実施例１、２、又は３に記載の外科用可視化システム。
【0117】
実施例５－スペクトル光エミッタが第１のロボットアーム上に支持され、構造光エミッタが第２のロボットアーム上に支持されている、実施例１、２、３、又は４に記載の外科用可視化システム。
【0118】
実施例６－制御回路が、スペクトル光エミッタから埋め込まれた構造までの距離を決定するように構成されている飛行時間モジュールを更に含む、実施例１、２、３、４、又は５に記載の外科用可視化システム。
【0119】
実施例７－構造光エミッタから解剖学的構造までの少なくとも１つの距離が、構造光エミッタから埋め込まれた構造を覆い隠している解剖学的構造の一部分までの距離を含む、実施例１、２、３、４、５、又は６に記載の外科用可視化システム。
【0120】
実施例８－複数の波長を放射するように構成されているスペクトル撮像システムを備える、外科用可視化システム。スペクトル撮像システムは、隠れた構造を識別するように構成されている。外科用可視化システムは、構造光パターンを可視組織表面上に放射するように構成されている構造光システムを更に備える。構造光システムは、可視組織の三次元デジタル表示を生成するように更に構成されている。外科用可視化システムは、可視光、複数の波長、及び構造光パターンを検出するように構成されているセンサシステムを更に備える。外科用可視化システムは、可視組織表面の三次元レンダリング上の隠れた構造を選択的に描写するように構成されている撮像システムを更に備える。
【0121】
実施例９－構造光システムから可視組織表面までの少なくとも１つの距離を決定するように構成されている制御回路を更に備える、実施例８に記載の外科用可視化システム。
【0122】
実施例１０－可視組織表面の下の隠れた構造の深さを決定するように構成されている制御回路を更に備える、実施例８に記載の外科用可視化システム。
【0123】
実施例１１－解剖学的構造を透過し、解剖学的構造の表面の下に位置する埋め込まれた構造に到達することが可能な複数の波長のスペクトル光を放射するように構成されている線源を含む、外科用可視化システム。外科用可視化システムは、埋め込まれた構造によって反射された複数の波長を検出するように構成された受信器を更に備える。外科用可視化システムは、線源からの放射された信号と受信器によって検出された信号との間の遅延に基づいて、線源から埋め込まれた構造までの距離を決定するように構成されている飛行時間モジュールを含む制御回路を更に備える。
【0124】
実施例１２－制御回路が、距離を撮像システムに通信するように更に構成されている、実施例１１に記載の外科用可視化システム。
【0125】
実施例１３－制御回路が、埋め込まれた構造に対する外科用装置の近接度を決定し、近接度が最小量まで短縮したときに警告を提供するように更に構成されている、実施例１１又は１２に記載の外科用可視化システム。
【0126】
実施例１４－線源が、解剖学的構造を透過し、解剖学的構造の表面の下に位置する埋め込まれた構造に到達することが可能な複数の赤外線波長のスペクトル光を放射するように構成されている、実施例１１、１２、又は１３に記載の外科用可視化システム。
【0127】
実施例１５－ビデオモニタ及び制御部を含む撮像システムを更に備える、実施例１１、１２、１３、又は１４に記載の外科用可視化システム。制御部は、複数の画像間でビデオモニタ上の表示を切り替えるように構成されている。
【0128】
実施例１６－線源が、解剖学的構造の表面上に構造光パターンを放射するように更に構成されている、実施例１１、１２、１３、１４、又は１５に記載の外科用可視化システム。
【0129】
実施例１７－制御回路が、構造光パターンに基づいて、解剖学的構造の表面輪郭を認識し、解剖学的構造の三次元デジタル表示を構築し、かつ、三次元デジタル表示を撮像システムに伝達するように更に構成されている、実施例１６に記載の外科用可視化システム。
【0130】
実施例１８－解剖学的構造の三次元デジタル表示及び埋め込まれた構造を選択的に描写するように構成されている、ディスプレイを備える撮像システムを更に備える、実施例１７に記載の外科用可視化システム。
【0131】
実施例１９－制御回路が、線源から解剖学的構造の表面までの少なくとも１つの距離を決定するように更に構成されている、実施例１１、１２、１３、１４、１５、１６、１７、又は１８に記載の外科用可視化システム。
【0132】
実施例２０－制御回路が、解剖学的構造内の埋め込まれた構造の深さを決定するように更に構成されている、実施例１１、１２、１３、１４、１５、１６、１７、１８、又は１９に記載の外科用可視化システム。
【0133】
実施例２１－スペクトル光エミッタ、構造光エミッタ、及び画像センサに通信可能に連結されている制御回路を備える、外科用可視化システム。外科用可視化システムは、制御回路に通信可能に連結されたメモリを更に備える。メモリは、実行されると、制御回路に、スペクトル光エミッタを制御させて、組織を透過し、組織内に埋め込まれた構造に到達するのに好適な複数の波長の光を放射させ、構造光源を制御させて、構造光パターンを組織の表面上に放射させ、画像センサを制御させて、構造から反射された複数のスペクトル光波長と組織の表面上の構造光パターンを検出させ、反射された構造光パターンに基づいて、組織の表面の三次元デジタル表示を計算させ、かつ、反射されたスペクトル光波長に基づいて、構造の位置を特定させる、命令を記憶する。
【0134】
実施例２２－メモリが、計算された三次元デジタル表示に基づいて組織の表面の三次元レンダリングを生成し、かつ、組織の表面の三次元レンダリングをディスプレイに提供するための、制御回路によって実行可能な命令を記憶する、実施例２１に記載の外科用可視化システム。
【0135】
実施例２３－メモリが、検出された構造光パターンによって構造光源から組織の表面までの距離を決定するための、制御回路によって実行可能な命令を記憶する、実施例２１又は２２に記載の外科用可視化システム。
【0136】
実施例２４－メモリが、選択的な複数の赤外線波によって構造を検出するための、制御回路によって実行可能な命令を記憶する、実施例２１、２２、又は２３に記載の外科用可視化システム。
【0137】
実施例２５－メモリが、選択的な複数の赤外線波の放射と受信との間の遅延に基づいて、スペクトル光エミッタから構造間の距離を決定するための、制御回路によって実行可能な命令を記憶する、実施例２４に記載の外科用可視化システム。
【0138】
実施例２６－メモリが、組織の表面に対する構造の深さを決定するための、制御回路によって実行可能な命令を記憶する、実施例２１、２２、２３、２４、又は２５に記載の外科用可視化システム。
【0139】
実施例２７－メモリが、外科用装置から構造までの距離を三角測量するための、制御回路によって実行可能な命令を記憶する、実施例２１、２２、２３、２４、２５、又は２６に記載の外科用可視化システム。
【0140】
実施例２８－メモリが、ディスプレイ上に外科用装置から構造までの距離を示すための、制御回路によって実行可能な命令を記憶する、実施例２７に記載の外科用可視化システム。
【0141】
実施例２９－メモリが、外科用装置から構造までの距離が最小閾値距離未満まで短縮したときに警告を提供するための、制御回路によって実行可能な命令を記憶する、実施例２７又は２８に記載の外科用可視化システム。
【0142】
実施例３０－メモリが、外科用装置を制御しているロボットシステムに近接データを通信するための、制御回路によって実行可能な命令を記憶する、実施例２７、２８、又は２９に記載の外科用可視化システム。
【0143】
実施例３１－構造光パターン及び複数の波長のスペクトル光の反射率を検出するように構成されている画像センサを備える、外科用可視化システム。外科用可視化システムは、画像センサに通信可能に連結された制御回路を更に備える。外科用可視化システムは、制御回路に通信可能に連結されたメモリを更に備える。メモリは、実行されると、画像センサに、スペクトル光の反射率を検出させ、表面上の構造光パターンを検出させ、検出された構造光パターンに基づいて表面の三次元デジタル表示を計算させ、かつ、複数の波長のスペクトル光の反射率に基づいて、表面の下に位置付けられた構造の位置を特定させる、命令を記憶する。
【0144】
実施例３２－メモリが、構造光パターンから表面の三次元レンダリングを生成し、かつ、表面の三次元レンダリングをビデオモニタに提供するための、制御回路によって実行可能な命令を記憶する、実施例３１に記載の外科用可視化システム。
【0145】
実施例３３－制御回路が、スペクトル光の放射と受信との間の遅延に基づいて、外科用ツールから構造までの距離を表す信号を出力するように構成された飛行時間モジュールを更に含む、実施例３１又は３２に記載の外科用可視化システム。
【0146】
実施例３４－制御回路が、画像センサによって検出された構造光パターンに基づいて、外科用ツールから表面までの距離を表す信号を出力するように構成された第２の処理モジュールを更に含む、実施例３１、３２、又は３３に記載の外科用可視化システム。
【0147】
実施例３５－モニタを含む撮像システムを更に備え、制御回路が、表面の三次元デジタル表示及び構造の位置を受信するように構成された画像オーバーレイコントローラを更に含み、画像オーバーレイコントローラが、表面の三次元デジタル表示に重なった構造の拡張画像を表す信号を送信するように構成されている、実施例３１、３２、３３、又は３４に記載の外科用可視化システム。
【0148】
実施例３６－撮像システムは、表面の画像が画像センサによって検出された可視光によって照らされている現実と、構造が表面の三次元デジタル表示上に概略的に描かれている拡張現実との間で、モニタ上の画像を選択的に切り替えるように構成されている制御部を更に含む、実施例３５に記載の外科用可視化システム。
【0149】
実施例３７－ロボット制御された外科用ツールを更に備え、メモリが、ロボット制御された外科用ツールから構造までの距離を決定するための、制御回路によって実行可能な命令を記憶する、実施例３１、３２、３３、３４、３５、又は３６に記載の外科用可視化システム。
【0150】
実施例３８－制御回路は、ロボット制御された外科用ツールが構造の周囲に画定された位置範囲内を移動したときに警告を提供するように構成された通信モジュールを更に含む、実施例３７に記載の外科用可視化システム。
【0151】
実施例３９－コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体であって、コンピュータ可読命令は、実行されると、機械に、埋め込まれた構造から反射されたスペクトル波長に基づいて埋め込まれた構造の位置をリアルタイムで検出させ、埋め込まれた構造の位置を表す第１のビデオ信号をリアルタイムで出力させ、表面上の構造光パターンをリアルタイムで検出させ、検出された構造光パターンに基づいて表面の三次元デジタル表示をリアルタイムで生成させ、表面の三次元デジタル表示を表す第２のビデオ信号をリアルタイムで出力させ、第１のビデオ信号及び第２のビデオ信号を統合画像にリアルタイムで統合させ、かつ、統合画像をビデオモニタにリアルタイムで提供させる、コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体。
【0152】
実施例４０－コンピュータ可読命令は、実行されると、機械に、外科用ツールから埋め込まれた構造に重なった表面の一部分までの少なくとも１つの距離を決定させる、実施例３９に記載のコンピュータ可読命令を記憶する非一時的コンピュータ可読媒体。
【0153】
いくつかの形態が例示され説明されてきたが、添付の特許請求の範囲をそのような詳細に制限又は限定することは、本出願人が意図するところではない。多くの修正、変形、変更、置換、組み合わせ及びこれらの形態の等価物を実装することができ、本開示の範囲から逸脱することなく当業者により想到されるであろう。更に、記述する形態に関連した各要素の構造は、その要素によって行われる機能を提供するための手段として代替的に説明することができる。また、材料が特定の構成要素に関して開示されているが、他の材料が使用されてもよい。したがって、上記の説明文及び添付の特許請求の範囲は、全てのそのような修正、組み合わせ、及び変形を、開示される形態の範囲に含まれるものとして網羅することを意図としたものである点を理解されたい。添付の特許請求の範囲は、全てのそのような修正、変形、変更、置換、修正、及び等価物を網羅することを意図する。
【0154】
上記の詳細な説明は、ブロック図、フローチャート及び／又は実施例を用いて、装置及び／又はプロセスの様々な形態について記載してきた。そのようなブロック図、フローチャート及び／又は実施例が１つ以上の機能及び／又は動作を含む限り、当業者に理解されたいこととして、そのようなブロック図、フローチャート及び／又は実施例に含まれる各機能及び／又は動作は、多様なハードウェア、ソフトウェア、ファームウェア又はこれらの事実上の任意の組み合わせによって、個々にかつ／又は集合的に実装することができる。当業者には、本明細書で開示される形態のうちのいくつかの態様の全部又は一部が、１台以上のコンピュータ上で稼働する１つ以上のコンピュータプログラムとして（例えば、１台以上のコンピュータシステム上で稼働する１つ以上のプログラムとして）、１つ以上のプロセッサ上で稼働する１つ以上のプログラムとして（例えば、１つ以上のマイクロプロセッサ上で稼働する１つ以上のプログラムとして）、ファームウェアとして、又はこれらの実質的に任意の組み合わせとして集積回路上で等価に実装することができ、回路を設計すること、並びに／又はソフトウェア及び／若しくはファームウェアのコードを記述することは、本開示を鑑みれば当業者の技能の範囲内に含まれることが理解されよう。更に、当業者には理解されることとして、本明細書に記載した主題の機構は、多様な形式で１つ以上のプログラム製品として配布されることが可能であり、本明細書に記載した主題の具体的な形態は、配布を実際に行うために使用される信号搬送媒体の特定のタイプにかかわらず用いられる。
【0155】
様々な開示された態様を実施するように論理をプログラムするために使用される命令は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、キャッシュ、フラッシュメモリ又は他のストレージなどのシステム内メモリに記憶され得る。更に、命令は、ネットワークを介して、又は他のコンピュータ可読媒体によって配布され得る。したがって、機械可読媒体としては、機械（例えば、コンピュータ）によって読み出し可能な形態で情報を記憶又は送信するための任意の機構が挙げられ得るが、フロッピーディスケット、光ディスク、コンパクトディスク、読み出し専用メモリ（ＣＤ－ＲＯＭ）、並びに磁気光学ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、磁気若しくは光カード、フラッシュメモリ又は、電気的、光学的、音響的、若しくは他の形態の伝播信号（例えば、搬送波、赤外線信号、デジタル信号など）を介してインターネットを介した情報の送信に使用される有形機械可読ストレージに限定されない。したがって、非一時的コンピュータ可読媒体としては、機械（例えば、コンピュータ）によって読み出し可能な形態で電子命令又は情報を記憶又は送信するのに好適な任意のタイプの有形機械可読媒体が挙げられる。
【0156】
本明細書の任意の態様で使用されるとき、用語「制御回路」は、例えば、ハードワイヤード回路、プログラマブル回路（例えば、１つ以上の個々の命令処理コアを含むコンピュータプロセッサ、処理ユニット、プロセッサ、マイクロコントローラ、マイクロコントローラユニット、コントローラ、デジタル信号プロセッサ（ＤＳＰ）、プログラマブル論理機構（ＰＬＤ）、プログラマブル論理アレイ（ＰＬＡ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ））、状態機械回路、プログラマブル回路によって実行される命令を記憶するファームウェア、及びこれらの任意の組み合わせを指すことができる。制御回路は、集合的に又は個別に、例えば、集積回路（ＩＣ）、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、スマートフォンなどの、より大きなシステムの一部を形成する回路として具現化され得る。したがって、本明細書で使用するとき、「制御回路」は、少なくとも１つの個別の電気回路を有する電気回路、少なくとも１つの集積回路を有する電気回路、少なくとも１つの特定用途向け集積回路を有する電気回路、コンピュータプログラムによって構成された汎用コンピューティング装置（例えば、本明細書で説明したプロセス及び／若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成された汎用コンピュータ、又は本明細書で説明したプロセス及び／若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成されたマイクロプロセッサ）を形成する電気回路、メモリ装置（例えば、ランダムアクセスメモリの形態）を形成する電気回路及び／又は通信装置（例えばモデム、通信スイッチ、又は光－電気設備）を形成する電気回路を含むが、これらに限定されない。当業者は、本明細書で述べた主題が、アナログ形式若しくはデジタル形式、又はこれらのいくつかの組み合わせで実装されてもよいことを認識するであろう。
【0157】
本明細書の任意の態様で使用される場合、用語「論理」は、前述の動作のいずれかを実施するように構成されたアプリケーション、ソフトウェア、ファームウェア及び／又は回路を指し得る。ソフトウェアは、非一時的コンピュータ可読記憶媒体上に記録されたソフトウェアパッケージ、コード、命令、命令セット及び／又はデータとして具現化されてもよい。ファームウェアは、メモリ装置内のコード、命令、若しくは命令セット及び／又はハードコードされた（例えば、不揮発性の）データとして具現化されてもよい。
【0158】
本明細書の任意の態様で使用するとき、用語「構成要素」、「システム」、「モジュール」などは、ハードウェア、ハードウェアとソフトウェアとの組み合わせ、ソフトウェア、又は実行中のソフトウェアのどちらかであるコンピュータ関連エンティティを指すことができる。
【0159】
本明細書の任意の態様で使用するとき、「アルゴリズム」とは、所望の結果につながる工程の自己無撞着シーケンスを指し、「工程」とは、必ずしも必要ではないが、記憶、転送、結合、比較及び別様に操作されることが可能な電気信号又は磁気信号の形態をとることができる物理量及び／又は論理状態の操作を指す。これらの信号を、ビット、値、要素、記号、文字、用語、番号などとして言及することが一般的な扱い方である。これらの及び類似の用語は、適切な物理量と関連付けられてもよく、また単に、これらの量及び／又は状態に適用される便利なラベルである。
【0160】
ネットワークとしては、パケット交換ネットワークが挙げられ得る。通信装置は、選択されたパケット交換ネットワーク通信プロトコルを使用して、互いに通信することができる。１つの例示的な通信プロトコルとしては、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）を使用して通信を可能にすることができるイーサネット通信プロトコルを挙げることができる。イーサネットプロトコルは、Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）によって発行された２００８年１２月発行の表題「ＩＥＥＥ８０２．３Ｓｔａｎｄａｒｄ」、及び／又は本規格の後のバージョンのイーサネット規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信装置は、Ｘ．２５通信プロトコルを使用して互いに通信することができる。Ｘ．２５通信プロトコルは、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ－Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ（ＩＴＵ－Ｔ）によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信装置は、フレームリレー通信プロトコルを使用して互いに通信することができる。フレームリレー通信プロトコルは、Ｃｏｎｓｕｌｔａｔｉｖｅ Ｃｏｍｍｉｔｔｅｅ ｆｏｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｇｒａｐｈ ａｎｄ Ｔｅｌｅｐｈｏｎｅ（ＣＣＩＴＴ）及び／又はｔｈｅ Ａｍｅｒｉｃａｎ Ｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄｓ Ｉｎｓｔｉｔｕｔｅ（ＡＮＳＩ）によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、送受信機は、非同期転送モード（ＡＴＭ）通信プロトコルを使用して互いに通信することが可能であり得る。ＡＴＭ通信プロトコルは、ＡＴＭ Ｆｏｒｕｍによって「ＡＴＭ－ＭＰＬＳ Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｗｏｒｋｉｎｇ２．０」という題で２００１年８月に公開されたＡＴＭ規格及び／又は本規格の後のバージョンに準拠するか、又は互換性があり得る。当然のことながら、異なる及び／又は後に開発されたコネクション型ネットワーク通信プロトコルは、本明細書で等しく企図される。
【0161】
別段の明確な定めがない限り、前述の開示から明らかなように、前述の開示全体を通じて、「処理すること（processing）」、「計算すること（computing）」、「算出すること（calculating）」、「判定すること（determining）」、「表示すること（displaying）」などの用語を使用する議論は、コンピュータシステムのレジスタ及びメモリ内で物理（電子的）量として表現されるデータを、コンピュータシステムのメモリ若しくはレジスタ又は他のそのような情報記憶、伝送、若しくは表示装置内で物理量として同様に表現される他のデータへと操作し変換する、コンピュータシステム又は類似の電子計算装置のアクション及び処理を指していることが理解されよう。
【0162】
１つ以上の構成要素が、本明細書中で、「ように構成される（configured to）」、「ように構成可能である（configurable to）」、「動作可能である／ように動作する（operable/operative to）」、「適合される／適合可能である（adapted/adaptable）」、「ことが可能である（able to）」、「準拠可能である／準拠する（conformable/conformed to）」などと言及され得る。当業者は、「ように構成される」は、一般に、文脈上他の意味に解釈すべき場合を除き、アクティブ状態の構成要素及び／又は非アクティブ状態の構成要素及び／又はスタンドバイ状態の構成要素を包含し得ることを理解するであろう。
【0163】
「近位」及び「遠位」という用語は、本明細書では、外科用器具のハンドル部分を操作する臨床医を基準として使用される。「近位」という用語は、臨床医に最も近い部分を指し、「遠位」という用語は、臨床医から離れた位置にある部分を指す。便宜上及び明確性のために、「垂直」、「水平」、「上」、及び「下」などの空間的用語が、本明細書において図面に対して使用され得ることが更に理解されよう。しかしながら、外科用器具は、多くの配向及び位置で使用されるものであり、これらの用語は限定的及び／又は絶対的であることを意図したものではない。
【0164】
当業者は、一般に、本明細書で使用され、かつ特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本文）で使用される用語は、概して「オープンな」用語として意図されるものである（例えば、「含む（including）」という用語は、「～を含むが、それらに限定されない（including but not limited to）」と解釈されるべきであり、「有する（having）」という用語は「～を少なくとも有する（having at least）」と解釈されるべきであり、「含む（includes）」という用語は「～を含むが、それらに限定されない（includes but is not limited to）」と解釈されるべきであるなど）ことを理解するであろう。更に、導入された請求項記載（introduced claim recitation）において特定の数が意図される場合、かかる意図は当該請求項中に明確に記載され、またかかる記載がない場合は、かかる意図は存在しないことが、当業者には理解されるであろう。例えば、理解を助けるものとして、後続の添付の特許請求の範囲は、「少なくとも１つの（at least one）」及び「１つ以上の（one or more）」という導入句を、請求項記載を導入するために含むことがある。しかしながら、かかる句の使用は、「ａ」又は「ａｎ」という不定冠詞によって請求項記載を導入した場合に、たとえ同一の請求項内に「１つ以上の」又は「少なくとも１つの」といった導入句及び「ａ」又は「ａｎ」という不定冠詞が含まれる場合であっても、かかる導入された請求項記載を含むいかなる特定の請求項も、かかる記載事項を１つのみ含む請求項に限定されると示唆されるものと解釈されるべきではない（例えば、「ａ」及び／又は「ａｎ」は通常、「少なくとも１つの」又は「１つ以上の」を意味するものと解釈されるべきである）。定冠詞を使用して請求項記載を導入する場合にも、同様のことが当てはまる。
【0165】
更に、導入された請求項記載において特定の数が明示されている場合であっても、かかる記載は、典型的には、少なくとも記載された数を意味するものと解釈されるべきであることが、当業者には認識されるであろう（例えば、他に修飾語のない、単なる「２つの記載事項」という記載がある場合、一般的に、少なくとも２つの記載事項、又は２つ以上の記載事項を意味する）。更に、「Ａ、Ｂ及びＣなどのうちの少なくとも１つ」に類する表記が用いられる場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ及びＣのうちの少なくとも１つを有するシステム」は、限定するものではないが、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方及び／又はＡとＢとＣの全てなどを有するシステムを含む）。「Ａ、Ｂ又はＣなどのうちの少なくとも１つ」に類する表記が用いられる場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、又はＣのうちの少なくとも１つを有するシステム」は、限定するものではないが、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方及び／又はＡとＢとＣの全てなどを有するシステムを含む）。更に、典型的には、２つ以上の選択的な用語を表すあらゆる選言的な語及び／又は句は、文脈上他の意味に解釈すべき場合を除いて、明細書内であろうと、請求の範囲内であろうと、あるいは図面内であろうと、それら用語のうちの１つ、それらの用語のうちのいずれか、又はそれらの用語の両方を含む可能性を意図すると理解されるべきであることが、当業者には理解されよう。例えば、「Ａ又はＢ」という句は、典型的には、「Ａ」又は「Ｂ」又は「Ａ及びＢ」の可能性を含むものと理解されよう。
【0166】
添付の特許請求の範囲に関して、当業者は、本明細書における引用した動作は一般に、任意の順序で実施され得ることを理解するであろう。また、様々な動作のフロー図がシーケンス（単数又は複数）で示されているが、様々な動作は、例示されたもの以外の順序で行われてもよく、又は同時に行われてもよいことが理解されるべきである。かかる代替の順序付けの例は、文脈上他の意味に解釈すべき場合を除いて、重複、交互配置、割り込み、再順序付け、増加的、予備的、追加的、同時、逆又は他の異なる順序付けを含んでもよい。更に、「～に応答する」、「～に関連する」といった用語、又は他の過去時制の形容詞は、一般に、文脈上他の意味に解釈すべき場合を除き、かかる変化形を除外することが意図されるものではない。
【0167】
「一態様」、「態様」、「例示」、「一例示」などへの任意の参照は、その態様に関連して記載される特定の機構、構造又は特性が少なくとも１つの態様に含まれると意味することは特記に値する。したがって、本明細書の全体を通じて様々な場所に見られる語句「一態様では」、「態様では」、「例示では」及び「一例示では」は、必ずしも全てが同じ態様を指すものではない。更に、特定の特徴、構造、又は特性は、１つ以上の態様において任意の好適な様態で組み合わせることができる。
【0168】
本明細書で参照され、かつ／又は任意の出願データシートに列挙される任意の特許出願、特許、非特許刊行物、又は他の開示資料は、組み込まれる資料が本明細書と矛盾しない範囲で、参照により本明細書に組み込まれる。それ自体、また必要な範囲で、本明細書に明瞭に記載される開示は、参考により本明細書に組み込まれるあらゆる矛盾する資料に優先するものとする。参照により本明細書に組み込まれると言及されているが、現行の定義、見解、又は本明細書に記載される他の開示内容と矛盾する任意の内容、又はそれらの部分は、組み込まれた内容と現行の開示内容との間に矛盾が生じない範囲においてのみ、組み込まれるものとする。
【0169】
要約すると、本明細書に記載した構想を用いる結果として得られる多くの利益が記載されてきた。１つ以上の形態の上述の記載は、例示及び説明を目的として提示されているものである。包括的であることも、開示された厳密な形態に限定することも意図されていない。上記の教示を鑑みて、修正又は変形が可能である。１つ以上の形態は、原理及び実際の応用について例示し、それによって、様々な形態を様々な修正例と共に、想到される特定の用途に適するものとして当業者が利用できるようにするために、選択され記載されたものである。本明細書と共に提示される特許請求の範囲が全体的な範囲を定義することが意図される。
【0170】
〔実施の態様〕
（１） 外科用可視化システムであって、
構造光パターンを解剖学的構造の表面上に放射するように構成されている、構造光エミッタと、
前記解剖学的構造を透過し、前記解剖学的構造の前記表面の下に位置する埋め込まれた構造に到達することが可能な複数の波長のスペクトル光を放射するように構成されている、スペクトル光エミッタと、
反射された構造光パターン、反射されたスペクトル光、及び反射された可視光を検出するように構成されている、画像センサと、
前記画像センサと信号通信する制御回路であって、
前記画像センサによって検出された前記反射された構造光パターンから前記解剖学的構造の三次元デジタル表示を構築し、
前記画像センサによって検出された前記反射されたスペクトル光から前記埋め込まれた構造を検出し、
前記埋め込まれた構造を前記解剖学的構造の前記三次元デジタル表示と統合し、かつ、
前記構造光エミッタから前記解剖学的構造までの少なくとも１つの距離を決定するように構成されている、制御回路と、を備える、外科用可視化システム。
（２） 前記埋め込まれた構造と、前記解剖学的構造の前記三次元デジタル表示に基づく前記解剖学的構造の三次元レンダリングとを選択的に描写するように構成されているディスプレイを更に備える、実施態様１に記載の外科用可視化システム。
（３） 前記ディスプレイが、前記構造光エミッタと前記解剖学的構造との間の距離が最小距離まで短縮したときに警告を選択的に提供するように構成されている、実施態様２に記載の外科用可視化システム。
（４） 前記スペクトル光エミッタが、前記解剖学的構造を透過し、前記埋め込まれた構造に到達することが可能な複数の赤外線波長のスペクトル光を放射するように構成されている、実施態様１に記載の外科用可視化システム。
（５） 前記スペクトル光エミッタが第１のロボットアーム上に支持され、前記構造光エミッタが第２のロボットアーム上に支持されている、実施態様１に記載の外科用可視化システム。
（１） 外科用可視化システムであって、
構造光パターンを解剖学的構造の表面上に放射するように構成されている、構造光エミッタと、
前記解剖学的構造を透過し、前記解剖学的構造の前記表面の下に位置する埋め込まれた構造に到達することが可能な複数の波長のスペクトル光を放射するように構成されている、スペクトル光エミッタと、
反射された構造光パターン、反射されたスペクトル光、及び反射された可視光を検出するように構成されている、画像センサと、
前記画像センサと信号通信する制御回路であって、
前記画像センサによって検出された前記反射された構造光パターンから前記解剖学的構造の三次元デジタル表示を構築し、
前記画像センサによって検出された前記反射されたスペクトル光から前記埋め込まれた構造を検出し、
前記埋め込まれた構造を前記解剖学的構造の前記三次元デジタル表示と統合し、かつ、
前記構造光エミッタから前記解剖学的構造までの少なくとも１つの距離を決定するように構成されている、制御回路と、を備える、外科用可視化システム。
（２） 前記埋め込まれた構造と、前記解剖学的構造の前記三次元デジタル表示に基づく前記解剖学的構造の三次元レンダリングとを選択的に描写するように構成されているディスプレイを更に備える、実施態様１に記載の外科用可視化システム。
（３） 前記ディスプレイが、前記構造光エミッタと前記解剖学的構造との間の距離が最小距離まで短縮したときに警告を選択的に提供するように構成されている、実施態様２に記載の外科用可視化システム。
（４） 前記スペクトル光エミッタが、前記解剖学的構造を透過し、前記埋め込まれた構造に到達することが可能な複数の赤外線波長のスペクトル光を放射するように構成されている、実施態様１に記載の外科用可視化システム。
（５） 前記スペクトル光エミッタが第１のロボットアーム上に支持され、前記構造光エミッタが第２のロボットアーム上に支持されている、実施態様１に記載の外科用可視化システム。
【0171】
（６） 前記制御回路が、前記スペクトル光エミッタから前記埋め込まれた構造までの距離を決定するように構成されている飛行時間モジュールを更に含む、実施態様１に記載の外科用可視化システム。
（７） 前記構造光エミッタから前記解剖学的構造までの前記少なくとも１つの距離が、前記構造光エミッタから前記埋め込まれた構造を覆い隠している前記解剖学的構造の一部分までの距離を含む、実施態様１に記載の外科用可視化システム。
（８） 外科用可視化システムであって、
複数の波長を放射するように構成されているスペクトル撮像システムであって、隠れた構造を識別するように構成されている、スペクトル撮像システムと、
構造光パターンを可視組織表面上に放射するように構成されている構造光システムであって、前記可視組織の三次元デジタル表示を生成するように更に構成されている、構造光システムと、
可視光、前記複数の波長、及び前記構造光パターンを検出するように構成されている、センサシステムと、
前記可視組織表面の三次元レンダリング上の前記隠れた構造を選択的に描写するように構成されている、撮像システムと、を備える、外科用可視化システム。
（９） 前記構造光システムから前記可視組織表面までの少なくとも１つの距離を決定するように構成されている制御回路を更に備える、実施態様８に記載の外科用可視化システム。
（１０） 前記可視組織表面の下の前記隠れた構造の深さを決定するように構成されている制御回路を更に備える、実施態様８に記載の外科用可視化システム。
（７） 前記構造光エミッタから前記解剖学的構造までの前記少なくとも１つの距離が、前記構造光エミッタから前記埋め込まれた構造を覆い隠している前記解剖学的構造の一部分までの距離を含む、実施態様１に記載の外科用可視化システム。
（８） 外科用可視化システムであって、
複数の波長を放射するように構成されているスペクトル撮像システムであって、隠れた構造を識別するように構成されている、スペクトル撮像システムと、
構造光パターンを可視組織表面上に放射するように構成されている構造光システムであって、前記可視組織の三次元デジタル表示を生成するように更に構成されている、構造光システムと、
可視光、前記複数の波長、及び前記構造光パターンを検出するように構成されている、センサシステムと、
前記可視組織表面の三次元レンダリング上の前記隠れた構造を選択的に描写するように構成されている、撮像システムと、を備える、外科用可視化システム。
（９） 前記構造光システムから前記可視組織表面までの少なくとも１つの距離を決定するように構成されている制御回路を更に備える、実施態様８に記載の外科用可視化システム。
（１０） 前記可視組織表面の下の前記隠れた構造の深さを決定するように構成されている制御回路を更に備える、実施態様８に記載の外科用可視化システム。
【0172】
（１１） 外科用可視化システムであって、
解剖学的構造を透過し、前記解剖学的構造の表面の下に位置する埋め込まれた構造に到達することが可能な複数の波長のスペクトル光を放射するように構成されている、線源と、
前記埋め込まれた構造によって反射された前記複数の波長を検出するように構成されている、受信器と、
前記線源からの放射された信号と前記受信器によって検出された信号との間の遅延に基づいて、前記線源から前記埋め込まれた構造までの距離を決定するように構成されている飛行時間モジュールを含む、制御回路と、を備える、外科用可視化システム。
（１２） 前記制御回路が、前記距離を撮像システムに通信するように更に構成されている、実施態様１１に記載の外科用可視化システム。
（１３） 前記制御回路が、前記埋め込まれた構造に対する外科用装置の近接度を決定し、前記近接度が最小量まで短縮したときに警告を提供するように更に構成されている、実施態様１１に記載の外科用可視化システム。
（１４） 前記線源が、前記解剖学的構造を透過し、前記解剖学的構造の前記表面の下に位置する埋め込まれた構造に到達することが可能な複数の赤外線波長のスペクトル光を放射するように構成されている、実施態様１１に記載の外科用可視化システム。
（１５） 撮像システムを更に備え、前記撮像システムが、
ビデオモニタと、
複数の画像間で前記ビデオモニタ上の表示を切り替えるように構成されている、制御部と、を備える、実施態様１１に記載の外科用可視化システム。
解剖学的構造を透過し、前記解剖学的構造の表面の下に位置する埋め込まれた構造に到達することが可能な複数の波長のスペクトル光を放射するように構成されている、線源と、
前記埋め込まれた構造によって反射された前記複数の波長を検出するように構成されている、受信器と、
前記線源からの放射された信号と前記受信器によって検出された信号との間の遅延に基づいて、前記線源から前記埋め込まれた構造までの距離を決定するように構成されている飛行時間モジュールを含む、制御回路と、を備える、外科用可視化システム。
（１２） 前記制御回路が、前記距離を撮像システムに通信するように更に構成されている、実施態様１１に記載の外科用可視化システム。
（１３） 前記制御回路が、前記埋め込まれた構造に対する外科用装置の近接度を決定し、前記近接度が最小量まで短縮したときに警告を提供するように更に構成されている、実施態様１１に記載の外科用可視化システム。
（１４） 前記線源が、前記解剖学的構造を透過し、前記解剖学的構造の前記表面の下に位置する埋め込まれた構造に到達することが可能な複数の赤外線波長のスペクトル光を放射するように構成されている、実施態様１１に記載の外科用可視化システム。
（１５） 撮像システムを更に備え、前記撮像システムが、
ビデオモニタと、
複数の画像間で前記ビデオモニタ上の表示を切り替えるように構成されている、制御部と、を備える、実施態様１１に記載の外科用可視化システム。
【0173】
（１６） 前記線源が、前記解剖学的構造の前記表面上に構造光パターンを放射するように更に構成されている、実施態様１１に記載の外科用可視化システム。
（１７） 前記制御回路が、
前記構造光パターンに基づいて、前記解剖学的構造の表面輪郭を認識し、
前記解剖学的構造の三次元デジタル表示を構築し、かつ、
前記三次元デジタル表示を撮像システムに伝達するように更に構成されている、実施態様１６に記載の外科用可視化システム。
（１８） 前記解剖学的構造の前記三次元デジタル表示及び前記埋め込まれた構造を選択的に描写するように構成されている、ディスプレイを備える前記撮像システムを更に備える、実施態様１７に記載の外科用可視化システム。
（１９） 前記制御回路が、前記線源から前記解剖学的構造の前記表面までの少なくとも１つの距離を決定するように更に構成されている、実施態様１１に記載の外科用可視化システム。
（２０） 前記制御回路が、前記解剖学的構造内の前記埋め込まれた構造の深さを決定するように更に構成されている、実施態様１９に記載の外科用可視化システム。
（１７） 前記制御回路が、
前記構造光パターンに基づいて、前記解剖学的構造の表面輪郭を認識し、
前記解剖学的構造の三次元デジタル表示を構築し、かつ、
前記三次元デジタル表示を撮像システムに伝達するように更に構成されている、実施態様１６に記載の外科用可視化システム。
（１８） 前記解剖学的構造の前記三次元デジタル表示及び前記埋め込まれた構造を選択的に描写するように構成されている、ディスプレイを備える前記撮像システムを更に備える、実施態様１７に記載の外科用可視化システム。
（１９） 前記制御回路が、前記線源から前記解剖学的構造の前記表面までの少なくとも１つの距離を決定するように更に構成されている、実施態様１１に記載の外科用可視化システム。
（２０） 前記制御回路が、前記解剖学的構造内の前記埋め込まれた構造の深さを決定するように更に構成されている、実施態様１９に記載の外科用可視化システム。
【0174】
（２１） 外科用可視化システムであって、
スペクトル光エミッタ、構造光エミッタ、及び画像センサに通信可能に連結されている、制御回路と、
前記制御回路に通信可能に連結されているメモリであって、前記メモリは、実行されると、前記制御回路に、
前記スペクトル光エミッタを制御させて、組織を透過し、前記組織内に埋め込まれた構造に到達するのに好適な複数の波長の光を放射させ、
構造光源を制御させて、構造光パターンを前記組織の表面上に放射させ、
前記画像センサを制御させて、前記構造から反射された複数のスペクトル光波長と前記組織の前記表面上の前記構造光パターンを検出させ、
反射された前記構造光パターンに基づいて、前記組織の前記表面の三次元デジタル表示を計算させ、かつ、
反射された前記スペクトル光波長に基づいて、前記構造の位置を特定させる、命令を記憶する、メモリと、を備える、外科用可視化システム。
（２２） 前記メモリが、
計算された前記三次元デジタル表示に基づいて前記組織の前記表面の三次元レンダリングを生成し、かつ、
前記組織の前記表面の前記三次元レンダリングをディスプレイに提供するための、前記制御回路によって実行可能な命令を記憶する、実施態様１に記載の外科用可視化システム。
（２３） 前記メモリが、検出された前記構造光パターンによって前記構造光源から前記組織の前記表面までの距離を決定するための、前記制御回路によって実行可能な命令を記憶する、実施態様２に記載の外科用可視化システム。
（２４） 前記メモリが、選択的な複数の赤外線波によって前記構造を検出するための、前記制御回路によって実行可能な命令を記憶する、実施態様２に記載の外科用可視化システム。
（２５） 前記メモリが、前記選択的な複数の赤外線波の放射と受信との間の遅延に基づいて、前記スペクトル光エミッタから前記構造間の距離を決定するための、前記制御回路によって実行可能な命令を記憶する、実施態様４に記載の外科用可視化システム。
スペクトル光エミッタ、構造光エミッタ、及び画像センサに通信可能に連結されている、制御回路と、
前記制御回路に通信可能に連結されているメモリであって、前記メモリは、実行されると、前記制御回路に、
前記スペクトル光エミッタを制御させて、組織を透過し、前記組織内に埋め込まれた構造に到達するのに好適な複数の波長の光を放射させ、
構造光源を制御させて、構造光パターンを前記組織の表面上に放射させ、
前記画像センサを制御させて、前記構造から反射された複数のスペクトル光波長と前記組織の前記表面上の前記構造光パターンを検出させ、
反射された前記構造光パターンに基づいて、前記組織の前記表面の三次元デジタル表示を計算させ、かつ、
反射された前記スペクトル光波長に基づいて、前記構造の位置を特定させる、命令を記憶する、メモリと、を備える、外科用可視化システム。
（２２） 前記メモリが、
計算された前記三次元デジタル表示に基づいて前記組織の前記表面の三次元レンダリングを生成し、かつ、
前記組織の前記表面の前記三次元レンダリングをディスプレイに提供するための、前記制御回路によって実行可能な命令を記憶する、実施態様１に記載の外科用可視化システム。
（２３） 前記メモリが、検出された前記構造光パターンによって前記構造光源から前記組織の前記表面までの距離を決定するための、前記制御回路によって実行可能な命令を記憶する、実施態様２に記載の外科用可視化システム。
（２４） 前記メモリが、選択的な複数の赤外線波によって前記構造を検出するための、前記制御回路によって実行可能な命令を記憶する、実施態様２に記載の外科用可視化システム。
（２５） 前記メモリが、前記選択的な複数の赤外線波の放射と受信との間の遅延に基づいて、前記スペクトル光エミッタから前記構造間の距離を決定するための、前記制御回路によって実行可能な命令を記憶する、実施態様４に記載の外科用可視化システム。
【0175】
（２６） 前記メモリが、前記組織の前記表面に対する前記構造の深さを決定するための、前記制御回路によって実行可能な命令を記憶する、実施態様５に記載の外科用可視化システム。
（２７） 前記メモリが、外科用装置から前記構造までの距離を三角測量するための、前記制御回路によって実行可能な命令を記憶する、実施態様６に記載の外科用可視化システム。
（２８） 前記メモリが、前記ディスプレイ上に前記外科用装置から前記構造までの前記距離を示すための、前記制御回路によって実行可能な命令を記憶する、実施態様７に記載の外科用可視化システム。
（２９） 前記メモリが、前記外科用装置から前記構造までの前記距離が最小閾値距離未満まで短縮したときに警告を提供するための、前記制御回路によって実行可能な命令を記憶する、実施態様７に記載の外科用可視化システム。
（３０） 前記メモリが、前記外科用装置を制御しているロボットシステムに近接データを通信するための、前記制御回路によって実行可能な命令を記憶する、実施態様７に記載の外科用可視化システム。
（２７） 前記メモリが、外科用装置から前記構造までの距離を三角測量するための、前記制御回路によって実行可能な命令を記憶する、実施態様６に記載の外科用可視化システム。
（２８） 前記メモリが、前記ディスプレイ上に前記外科用装置から前記構造までの前記距離を示すための、前記制御回路によって実行可能な命令を記憶する、実施態様７に記載の外科用可視化システム。
（２９） 前記メモリが、前記外科用装置から前記構造までの前記距離が最小閾値距離未満まで短縮したときに警告を提供するための、前記制御回路によって実行可能な命令を記憶する、実施態様７に記載の外科用可視化システム。
（３０） 前記メモリが、前記外科用装置を制御しているロボットシステムに近接データを通信するための、前記制御回路によって実行可能な命令を記憶する、実施態様７に記載の外科用可視化システム。
【0176】
（３１） 外科用可視化システムであって、
構造光パターン及び複数の波長のスペクトル光の反射率を検出するように構成されている、画像センサと、
前記画像センサに通信可能に連結されている、制御回路と、
前記制御回路に通信可能に連結されているメモリであって、前記メモリは、実行されると、前記画像センサに、
前記スペクトル光の反射率を検出させ、
表面上の構造光パターンを検出させ、
検出された前記構造光パターンに基づいて、前記表面の三次元デジタル表示を計算させ、かつ、
前記複数の波長の前記スペクトル光の反射率に基づいて、前記表面の下に位置付けられた構造の位置を特定させる、命令を記憶する、メモリと、を備える、外科用可視化システム。
（３２） 前記メモリが、
前記構造光パターンから前記表面の三次元レンダリングを生成し、かつ、
前記表面の前記三次元レンダリングをビデオモニタに提供するための、前記制御回路によって実行可能な命令を記憶する、実施態様１１に記載の外科用可視化システム。
（３３） 前記制御回路が、前記スペクトル光の放射と受信との間の遅延に基づいて、外科用ツールから前記構造までの距離を表す信号を出力するように構成された飛行時間モジュールを更に含む、実施態様１２に記載の外科用可視化システム。
（３４） 前記制御回路が、前記画像センサによって検出された前記構造光パターンに基づいて、外科用ツールから前記表面までの距離を表す信号を出力するように構成された第２の処理モジュールを更に含む、実施態様１１に記載の外科用可視化システム。
（３５） モニタを含む撮像システムを更に備え、前記制御回路が、前記表面の前記三次元デジタル表示及び前記構造の前記位置を受信するように構成された画像オーバーレイコントローラを更に含み、前記画像オーバーレイコントローラが、前記表面の前記三次元デジタル表示に重なった前記構造の拡張画像を表す信号を送信するように構成されている、実施態様１４に記載の外科用可視化システム。
構造光パターン及び複数の波長のスペクトル光の反射率を検出するように構成されている、画像センサと、
前記画像センサに通信可能に連結されている、制御回路と、
前記制御回路に通信可能に連結されているメモリであって、前記メモリは、実行されると、前記画像センサに、
前記スペクトル光の反射率を検出させ、
表面上の構造光パターンを検出させ、
検出された前記構造光パターンに基づいて、前記表面の三次元デジタル表示を計算させ、かつ、
前記複数の波長の前記スペクトル光の反射率に基づいて、前記表面の下に位置付けられた構造の位置を特定させる、命令を記憶する、メモリと、を備える、外科用可視化システム。
（３２） 前記メモリが、
前記構造光パターンから前記表面の三次元レンダリングを生成し、かつ、
前記表面の前記三次元レンダリングをビデオモニタに提供するための、前記制御回路によって実行可能な命令を記憶する、実施態様１１に記載の外科用可視化システム。
（３３） 前記制御回路が、前記スペクトル光の放射と受信との間の遅延に基づいて、外科用ツールから前記構造までの距離を表す信号を出力するように構成された飛行時間モジュールを更に含む、実施態様１２に記載の外科用可視化システム。
（３４） 前記制御回路が、前記画像センサによって検出された前記構造光パターンに基づいて、外科用ツールから前記表面までの距離を表す信号を出力するように構成された第２の処理モジュールを更に含む、実施態様１１に記載の外科用可視化システム。
（３５） モニタを含む撮像システムを更に備え、前記制御回路が、前記表面の前記三次元デジタル表示及び前記構造の前記位置を受信するように構成された画像オーバーレイコントローラを更に含み、前記画像オーバーレイコントローラが、前記表面の前記三次元デジタル表示に重なった前記構造の拡張画像を表す信号を送信するように構成されている、実施態様１４に記載の外科用可視化システム。
【0177】
（３６） 前記撮像システムは、前記表面の画像が前記画像センサによって検出された可視光によって照らされている現実と、前記構造が前記表面の前記三次元デジタル表示上に概略的に描かれている拡張現実との間で、前記モニタ上の画像を選択的に切り替えるように構成されている制御部を更に含む、実施態様１５に記載の外科用可視化システム。
（３７） ロボット制御された外科用ツールを更に備え、前記メモリが、前記ロボット制御された外科用ツールから前記構造までの距離を決定するための、前記制御回路によって実行可能な命令を記憶する、実施態様１１に記載の外科用可視化システム。
（３８） 前記制御回路は、前記ロボット制御された外科用ツールが前記構造の周囲に画定された位置範囲内を移動したときに警告を提供するように構成された通信モジュールを更に含む、実施態様１７に記載の外科用可視化システム。
（３９） コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体であって、前記コンピュータ可読命令は、実行されると、機械に、
埋め込まれた構造から反射されたスペクトル波長に基づいて前記埋め込まれた構造の位置をリアルタイムで検出させ、
前記埋め込まれた構造の前記位置を表す第１のビデオ信号をリアルタイムで出力させ、
表面上の構造光パターンをリアルタイムで検出させ、
検出された前記構造光パターンに基づいて、前記表面の三次元デジタル表示をリアルタイムで生成させ、
前記表面の前記三次元デジタル表示を表す第２のビデオ信号をリアルタイムで出力させ、
前記第１のビデオ信号及び前記第２のビデオ信号を統合画像にリアルタイムで統合させ、かつ、
前記統合画像をビデオモニタにリアルタイムで提供させる、コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体。
（４０） 前記コンピュータ可読命令は、実行されると、前記機械に、外科用ツールから前記埋め込まれた構造に重なった前記表面の一部分までの少なくとも１つの距離を決定させる、実施態様３９に記載のコンピュータ可読命令を記憶する非一時的コンピュータ可読媒体。
（３７） ロボット制御された外科用ツールを更に備え、前記メモリが、前記ロボット制御された外科用ツールから前記構造までの距離を決定するための、前記制御回路によって実行可能な命令を記憶する、実施態様１１に記載の外科用可視化システム。
（３８） 前記制御回路は、前記ロボット制御された外科用ツールが前記構造の周囲に画定された位置範囲内を移動したときに警告を提供するように構成された通信モジュールを更に含む、実施態様１７に記載の外科用可視化システム。
（３９） コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体であって、前記コンピュータ可読命令は、実行されると、機械に、
埋め込まれた構造から反射されたスペクトル波長に基づいて前記埋め込まれた構造の位置をリアルタイムで検出させ、
前記埋め込まれた構造の前記位置を表す第１のビデオ信号をリアルタイムで出力させ、
表面上の構造光パターンをリアルタイムで検出させ、
検出された前記構造光パターンに基づいて、前記表面の三次元デジタル表示をリアルタイムで生成させ、
前記表面の前記三次元デジタル表示を表す第２のビデオ信号をリアルタイムで出力させ、
前記第１のビデオ信号及び前記第２のビデオ信号を統合画像にリアルタイムで統合させ、かつ、
前記統合画像をビデオモニタにリアルタイムで提供させる、コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体。
（４０） 前記コンピュータ可読命令は、実行されると、前記機械に、外科用ツールから前記埋め込まれた構造に重なった前記表面の一部分までの少なくとも１つの距離を決定させる、実施態様３９に記載のコンピュータ可読命令を記憶する非一時的コンピュータ可読媒体。
【図1】
【図2】
【図2A】
【図2B】
【図2C】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【図12】
【図13】
【図14】
【図15A】
【図15B】
【図15C】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】