特表 2024-516135 手術における検出可能な放射線を使用するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-12

(54)【発明の名称】手術における検出可能な放射線を使用するためのシステム及び方法

(51)【国際特許分類】

   A61B 34/20 20160101AFI20240405BHJP

   A61B 17/86 20060101ALI20240405BHJP

   A61B 1/00 20060101ALI20240405BHJP

【ＦＩ】

A61B34/20

A61B17/86

A61B1/00 511

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023563810

(86)(22)【出願日】2022-04-14

(85)【翻訳文提出日】2023-12-06

(86)【国際出願番号】 IB2022053541

(87)【国際公開番号】W WO2022219586

(87)【国際公開日】2022-10-20

(31)【優先権主張番号】63/174,966

(32)【優先日】2021-04-14

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】597117606

【氏名又は名称】アースレックス インコーポレイテッド

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100098475

【弁理士】

【氏名又は名称】倉澤 伊知郎

(74)【代理人】

【識別番号】100130937

【弁理士】

【氏名又は名称】山本 泰史

(74)【代理人】

【識別番号】100144451

【弁理士】

【氏名又は名称】鈴木 博子

(74)【代理人】

【識別番号】100123630

【弁理士】

【氏名又は名称】渡邊 誠

(72)【発明者】

【氏名】ケネディ ブルース ローレンス

(72)【発明者】

【氏名】スパイア クレッグ

(72)【発明者】

【氏名】バトラー エリック

(72)【発明者】

【氏名】ケラー ライアン

(72)【発明者】

【氏名】ドレイファス ピーター

(72)【発明者】

【氏名】ソデイカ ジョン

(72)【発明者】

【氏名】ジョリー ジェイク

(72)【発明者】

【氏名】ドゥーニー トム

(72)【発明者】

【氏名】シュミーディング ラインホルト

【テーマコード（参考）】

4C160

4C161

【Ｆターム（参考）】

4C160LL30

4C160LL59

4C161AA24

4C161CC06

4C161HH56

4C161QQ04

4C161WW08

4C161WW17

(57)【要約】

手術用カメラシステムは、第１の波長範囲及び第２の波長範囲を含む画像データを取り込むように構成された少なくとも１つのセンサを有するカメラを備える。励起光源は、励起波長で励起発光を放出する。コントローラは、カメラの少なくとも１つのセンサと通信する。コントローラは、少なくとも１つのセンサからの画像データを処理し、第２の波長範囲内の蛍光剤によって生成された蛍光発光に応答して、画像データの少なくとも１つの蛍光部を検出するように構成される。コントローラは、画像データ内で手術用器具の少なくとも１つの蛍光部を明示する強化された画像データを生成するように更に構成される。
【選択図】図１

【特許請求の範囲】

【請求項1】

蛍光剤を含む手術用器具を示す画像データを取り込むように構成された手術用カメラシステムであって、前記手術用カメラシステムが、
第１の波長範囲及び第２の波長範囲を含む画像データを取り込むように構成された少なくとも１つのセンサを含むカメラと、
励起波長で励起発光を放出する励起光源と、
前記カメラの前記少なくとも１つのセンサと通信するコントローラであって、前記コントローラが、
前記少なくとも１つのセンサからの前記画像データを処理することと、
前記第２の波長範囲内の、前記蛍光剤によって生成された蛍光発光に応答して、前記画像データの少なくとも１つの蛍光部を検出することと、
前記画像データ内の前記手術用器具の前記少なくとも１つの蛍光部を明示する強化された画像データを生成することと、を行うように構成されている、コントローラと、を備える、手術用カメラシステム。

【請求項2】

前記第１の波長範囲が、可視光範囲内の４００ｎｍ～６５０ｎｍの波長を含む、請求項１に記載の手術用カメラシステム。

【請求項3】

前記第２の波長範囲が、近赤外範囲内の６５０ｎｍ～９００ｎｍにわたる波長を含む、請求項２に記載の手術用カメラシステム。

【請求項4】

前記蛍光発光が、前記励起波長とは異なる出力波長で、前記蛍光剤から送出される、請求項１～３のいずれか一項に記載の手術用カメラシステム。

【請求項5】

前記第１の波長範囲内の光を放出する可視光源を更に備える、請求項１～４のいずれか一項に記載の手術用カメラシステム。

【請求項6】

前記励起光源、前記可視光源、及び前記カメラが、内視鏡に組み込まれている、請求項５に記載の手術用カメラシステム。

【請求項7】

前記内視鏡が、約２ｍｍ未満の直径を有する、請求項６に記載の手術用カメラシステム。

【請求項8】

前記カメラの前記少なくとも１つのセンサが、前記第１の波長範囲内の第１のデータを取り込むように構成された第１のセンサ、及び前記第２の波長範囲内の第２のデータを取り込むように構成された第２のセンサを含む、複数のセンサを含む、請求項１～７のいずれか一項に記載の手術用カメラシステム。

【請求項9】

前記コントローラが、
前記第２のセンサからの前記第２のデータによって画定されたオーバーレイを、前記第１のセンサからの前記第１のデータ上に選択的に適用することによって、前記強化された画像データを生成するように更に構成されている、請求項８に記載の手術用カメラシステム。

【請求項10】

前記コントローラが、
前記第２の波長範囲内の、前記蛍光剤によって生成された、前記少なくとも１つの蛍光部から出力された前記蛍光発光の複数の強度レベルを決定するように更に構成されている、請求項１～９のいずれか一項に記載の手術用カメラシステム。

【請求項11】

前記コントローラが、
前記複数の強度レベルの各々に特有の色又はパターンを割り当てるように更に構成されている、請求項１０に記載の手術用カメラシステム。

【請求項12】

前記画像データの前記強化が、前記強化された画像データ内で前記複数の強度レベルの各々を、前記特有の色又はパターンとして明示する前記蛍光部上に、前記特有の色又はパターンをオーバーレイすることを含む、請求項１１に記載の手術用カメラシステム。

【請求項13】

手術用器具を表示するための方法であって、前記方法が、
前記手術用器具の蛍光部を、可視光に対応する第１の波長範囲、及び励起発光を含む第２の波長範囲を含む光で照光することと、
前記第１の波長範囲を含む第１の画像データを取り込むことと、
前記励起発光に応答して、前記蛍光部から出力された蛍光発光を明示する、前記第２の波長範囲を含む第２の画像データを取り込むことと、
前記第１の画像データ上にオーバーレイされた前記第２の画像データによって画定された前記蛍光部を明示する少なくとも１つのオーバーレイ又はグラフィックを有する、前記第１の画像データを明示する強化された画像データを生成することと、
表示デバイス上に表示するために、前記強化された画像データを通信することと、を含む、方法。

【請求項14】

前記手術用器具を手術野内に配置することと、
前記励起発光で前記手術用器具を標的にすることと、
前記画像データ内で前記蛍光発光を検出することと、
前記蛍光発光を検出することに応答して、前記画像データ内で検出された前記手術用器具の指示を出力することと、を更に含む、請求項１３に記載の方法。

【請求項15】

前記検出された蛍光発光を、事前定義された疑似色で、前記オーバーレイとして表示器上に表示することを更に含む、請求項１４に記載の方法。

【請求項16】

前記蛍光部から放出された前記蛍光発光が、前記励起波長とは異なる波長で出力される、請求項１４又は１５に記載の方法。

【請求項17】

複数の強度レベルで前記蛍光剤によって生成された、前記蛍光部から出力された前記蛍光発光の強度を識別することを更に含む、請求項１４～１６のいずれか一項に記載の方法。

【請求項18】

前記複数の強度レベルの各々に、特有の色又はパターンを割り当てることを更に含む、請求項１７に記載の方法。

【請求項19】

前記画像データの前記強化が、前記強化された画像データ内で前記複数の強度レベルの各々を明示する前記蛍光部上に、前記特有の色又はパターンをオーバーレイすることを含む、請求項１８に記載の方法。

【請求項20】

前記蛍光剤から生物学的組織を通って出力された前記蛍光発光を検出することを更に含む、請求項１４～１９のいずれか一項に記載の方法。

【請求項21】

前記励起発光が、前記生物学的組織を通って送出される、請求項２０に記載の方法。

【請求項22】

蛍光剤を含む手術用器具を示す画像データを取り込むように構成された手術用カメラシステムであって、前記手術用カメラシステムが、
第１の波長範囲及び第２の波長範囲を含む画像データを取り込むように構成された少なくとも１つのセンサを含むカメラと、
励起波長で励起発光を放出する励起光源と、
前記カメラの前記センサと通信するコントローラであって、前記コントローラが、
前記第１の波長範囲及び前記第２の波長範囲を含む、前記少なくとも１つの画像センサからの画像データを処理することと、
前記第２の波長範囲内の、前記蛍光剤によって生成された、前記少なくとも１つの蛍光部から出力された少なくとも１つの蛍光発光の複数の強度レベルを識別することと、
前記複数の強度レベルの各々に、特有の色又はパターンを割り当てることと、
前記特有の色又はパターンを有する、前記蛍光発光の前記複数の強度レベルを明示する強化された画像データを生成することと、を行うように構成されている、コントローラと、を備える、手術用カメラシステム。

【請求項23】

前記画像データの前記強化が、前記強化された画像データ内で前記複数の強度レベルの各々を明示する前記蛍光部上に、前記特有の色又はパターンをオーバーレイすることを含む、請求項２２に記載の手術用カメラシステム。

【請求項24】

手術用器具であって、
近位端部及び遠位端部を含む外面を形成する本体と、
前記外面上に配設された蛍光剤を含む蛍光部であって、前記蛍光部が、前記外面上に延在する少なくとも１つのマーキングを含み、前記蛍光部が、励起発光に応答して近赤外範囲内の蛍光発光を放出するように構成されている、蛍光部と、を備える、手術用器具。

【請求項25】

前記蛍光部の前記少なくとも１つのマーキングが、前記手術用器具の同一性、前記手術用器具の配向、及び前記手術用器具の寸法からなる群の中の少なくとも１つを示す、請求項２４に記載の手術用器具。

【請求項26】

前記少なくとも１つのマーキングが、前記手術用器具の位置又は配向に関連付けられたスケールを明示する複数の目盛り付きセグメントを含む、請求項２４又は２５に記載の手術用器具。

【請求項27】

前記少なくとも１つのマーキングが、前記近位端部と前記遠位端部との間に延在する複数の横方向目盛り付きマーキングを含む、請求項２４～２６のいずれか一項に記載の手術用器具。

【請求項28】

前記少なくとも１つのマーキングが、前記近位端部と前記遠位端部との間に、長手方向軸に沿った少なくとも１つの長手方向マーキングを含む、請求項２４～２７のいずれか一項に記載の手術用器具。

【請求項29】

前記少なくとも１つのマーキングが、前記蛍光部によって前記外面上に形成された１つ以上のインジケータ記号を含み、前記インジケータ記号が、パターン、形状、及び英数字のうちの少なくとも１つを含む、請求項２４～２８のいずれか一項に記載の手術用器具。

【請求項30】

前記インジケータ記号が、前記少なくとも１つのマーキングの測定単位又はスケールを識別する、請求項２９に記載の手術用器具。

【請求項31】

前記少なくとも１つのマーキングが、前記外面に形成された溝又は刻み目内に配設されている、請求項２４～３０のいずれか一項に記載の手術用器具。

【請求項32】

前記蛍光部の配向開口部が、前記手術用器具の配向に応答して、前記溝又は刻み目内に露出されている、請求項３１に記載の手術用器具。

【請求項33】

前記配向開口部は、前記励起発光が出力される光源に対する前記手術用器具の前記配向に基づいて、前記励起発光によって照光される、請求項３２に記載の手術用器具。

【請求項34】

前記配向が、前記開口部を通って投影された前記蛍光発光の広がりに基づいて、識別可能である、請求項３３に記載の手術用器具。

【請求項35】

前記光源が、内視鏡内に組み込まれている、請求項３４に記載の手術用器具。

【請求項36】

前記蛍光剤が、約６００ｎｍ～約９００ｎｍの励起波長、及び約８３０ｎｍの発光波長を含むインドシアニングリーン色素である、請求項２４～３５のいずれか一項に記載の手術用器具。

【請求項37】

前記手術用器具が、縫合糸、ピン、ねじ、プレート、手術用ツール、及びインプラントからなる群から選択される、請求項２４～３６のいずれか一項に記載の手術用器具。

【請求項38】

前記手術用器具が、バイター、把持具、リトリーバ、ピック、パンチ、フック、プローブ、剥離子、牽引子、又は鋏からなる群から選択される、請求項２４～３７のいずれか一項に記載の手術用器具。

【請求項39】

動作領域内で少なくとも１つの手術用器具を識別するように構成された手術用検出システムであって、前記システムが、
第１の波長範囲及び第２の波長範囲を含む画像データを取り込むように構成された少なくとも１つのセンサを含むカメラと、
励起波長で励起発光を放出する励起光源と、
前記カメラの前記少なくとも１つのセンサと通信するコントローラであって、前記コントローラが、
前記少なくとも１つのセンサからの画像データを処理することと、
手術用器具の少なくとも１つの蛍光部から出力された、前記画像データ内の前記蛍光発光を識別することと、
前記蛍光発光の存在に応答して、前記手術用器具の存在を検出することと、を行うように構成されている、コントローラと、を備える、手術用検出システム。

【請求項40】

前記蛍光発光が、ほぼ６５０ｎｍ～９００ｎｍの近赤外範囲内の光の波長を含む、請求項３９に記載の手術用検出システム。

【請求項41】

前記コントローラが、
前記手術用器具の場所に対応する前記近赤外範囲内の、前記画像データ内の複数の画素を検出するように更に構成されている、請求項４０に記載の手術用検出システム。

【請求項42】

前記コントローラが、
前記複数の画素のパターン、形状、及び英数字のうちの少なくとも１つに応答して、前記手術用器械を識別するように更に構成されている、請求項４１に記載の手術用検出システム。

【請求項43】

前記コントローラが、
前記手術用器具の前記存在を識別する指示を出力するように更に構成されている、請求項４１又は４２に記載の手術用検出システム。

【請求項44】

前記指示が、前記画像データ内で前記手術用器具の前記場所を明示する通知として、表示デバイス上に出力される、請求項４３に記載の手術用検出システム。

【請求項45】

前記コントローラが、
外科手技に関連付けられた潜在的な手術用器具の外観を特徴付ける少なくとも１つのコンピュータビジョンテンプレートを含むデータベースにアクセスすることと、
前記コンピュータビジョンテンプレートに対応する前記近赤外範囲内の前記複数の画素に応答して、前記潜在的な手術用器具を前記少なくとも１つの手術用器具として識別することと、を行うように更に構成されている、請求項４１～４４のいずれか一項に記載の手術用検出システム。

【請求項46】

前記コントローラが、前記コンピュータビジョンテンプレートに関連付けられた前記識別に応答して、前記少なくとも１つの手術用器具のタイプ又はカテゴリを識別する通知を表示デバイスに出力するように更に構成されている、請求項４５に記載の手術用検出システム。

【請求項47】

前記手術用器具が、スポンジ、縫合糸、ピン、ねじ、プレート、手術用ツール、及びインプラントからなる群から選択される、請求項３９～４６のいずれか一項に記載の手術用検出システム。

【請求項48】

前記手術用器具が、バイター、把持具、リトリーバ、ピック、パンチ、フック、プローブ、剥離子、牽引子、針、又は鋏からなる群から選択される、請求項３９～４７のいずれか一項に記載の手術用器具。

【請求項49】

前記少なくとも１つの手術用器具が、複数の手術用器具を含み、前記少なくとも１つの蛍光発光が、前記複数の手術用器具から出力された複数の蛍光発光を含み、前記コントローラが、
前記複数の手術用器具から出力された前記蛍光発光の強度又はパターンのうちの少なくとも１つに応答して、前記複数の手術用器具の間を区別するように更に構成されている、請求項３９～４８のいずれか一項に記載の手術用検出システム。

【請求項50】

前記複数の手術用器具が、複数の縫合糸を含み、前記コントローラが、前記手術用器具の蛍光部の特徴的なパターンに応答して、前記複数の縫合糸の間を区別するように構成されている、請求項４９に記載の手術用検出システム。

【請求項51】

蛍光剤を含む手術用器具を示す画像データを取り込むように構成された手術用カメラシステムであって、前記手術用カメラシステムが、
第１の波長範囲及び第２の波長範囲を含む、視界内の画像データを取り込むように構成された少なくとも１つのセンサを含む内視鏡カメラと、
励起波長で励起発光を放出する励起光源と、
前記カメラの前記センサと通信するコントローラであって、前記コントローラが、
空洞を描写する、前記視界内の前記少なくとも１つのセンサからの前記画像データを処理することと、
前記画像データにおいて、手術用器具の少なくとも１つの蛍光部から出力された蛍光発光を検出することであって、前記蛍光発光が、前記空洞の少なくとも一部を形成する生物学的組織を通って送出される、検出することと、
蛍光発光に応答して、前記画像データ内に描写された前記生物学的組織上にオーバーレイされた、前記手術用器具の前記少なくとも１つの蛍光部を明示する強化された画像データを生成することと、を行うように構成されている、コントローラと、を備える、手術用カメラシステム。

【請求項52】

前記励起光源が、前記励起発光を前記空洞に出力するように構成された針状の突起を形成する細長いシャフトを含む、請求項５１に記載の手術用国家財政システム。

【請求項53】

前記励起光源が、前記細長いシャフトを形成する針の遠位貫通端から前記励起発光を出力するように構成されている、請求項５２に記載の手術用国家財政システム。

【請求項54】

前記励起光源が、前記視界の第２の起点とは別個である第１の起点を起源とする、請求項５１～５３に記載の手術用国家財政システム。

【請求項55】

前記励起光源が、前記内視鏡カメラとは別個であり、前記励起光源及び前記内視鏡カメラの各々が、独立して前記空洞にアクセスする、請求項５１～５４のいずれか一項に記載の手術用カメラシステム。

【請求項56】

前記コントローラが、
前記画像データにおいて、前記生物学的組織を通って前記空洞に送出された前記蛍光発光を検出するように更に構成されている、請求項５１～５５のいずれか一項に記載の手術用カメラシステム。

【請求項57】

前記コントローラが、
前記画像データにおいて、手術用器具の少なくとも１つの蛍光部から出力された前記蛍光発光の存在を識別する指示を出力するように更に構成されている、請求項５６に記載の手術用カメラシステム。

【請求項58】

前記指示が、前記生物学的組織内に埋め込まれた前記手術用器具の前記画像データ内の場所を明示する、前記画像データ上のオーバーレイを含む前記強化された画像データとして出力される、請求項５７に記載の手術用カメラシステム。

【請求項59】

前記コントローラが、
前記強化された画像データを、前記画像データ内に描写された前記オーバーレイとして前記生物学的組織上に重ね合わされた前記手術用器具の前記場所を明示する表示画面に出力するように更に構成されている、請求項５８に記載の手術用カメラシステム。

【請求項60】

前記励起発光が、約６００ｎｍ～約９００ｎｍの励起波長で放出され、前記蛍光発光が、約８３０ｎｍの発光波長で出力される、請求項５１～６０のいずれか一項に記載の手術用カメラシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、手術用視覚化システムに関し、より詳細には、手術における検出可能な放射線を利用するデバイス及び方法に関する。

【背景技術】

【0002】

一般的に言って、内視鏡手術中、手術野は、異なる解剖学的構造及び手術用器具、並びに関連する解剖学的構造及び手術用器具の外科医の視界を妨げる可能性がある流体で雑然としている。異なる解剖学的構造に対する手術用器具の位置を確認し、手術野において手術用器械を適切に位置決めすることは、困難である場合が多い。本開示は、手術環境において実装される手術の視覚化を改善するための様々なシステム及び方法を提供する。

【発明の概要】

【0003】

様々な実施態様では、本開示は、蛍光剤を含む手術用器具を提供する。蛍光剤は、手術ツール又は器具に組み込まれて、器具、又は器具の一部を、手術野におけるそれらの周辺部から区別することに役立つことができる。一般に、蛍光剤は、励起波長のある範囲にわたって放射線の励起発光を受信することに応答して励起され得る。この励起発光に応答して、蛍光剤は、手術用カメラによって取り込まれる画像データで検出可能である、既知の波長帯域の放射線の蛍光発光を放出する。蛍光発光の検出に応答して、カメラは、多くの方法で応答して、蛍光剤に関連付けられた手術用器具の視覚化、検出、及び／又は識別を改善することができる。場合によっては、励起発光及び／又は蛍光発光は、生物学的組織を貫通することが可能な光の波長に対応し得る。そのような場合には、蛍光発光は、カメラシステムによって検出されて、生物学的組織を通って手術用器具の位置又は存在を識別することができる。識別されると、カメラシステムの表示コントローラは、手術中の視覚化を改善するために、画像データにおける手術用器具の蛍光部の位置の視覚的指示をオーバーレイ又は提供することができる。これら及び他の特徴については、以下の詳細な説明の中で説明される。

【0004】

本開示のこれら及び他の特徴、目的、並びに利点は、添付図面を参照して本明細書の以下の説明をともに読み取るときに、明らかになるであろう。

【0005】

本開示の特徴、態様、及び利点は、以下の説明、付属の特許請求の範囲、及び添付された図面によって、より良く理解されるようになるであろう。

【図面の簡単な説明】

【0006】

【図1】手術中の視覚化を改善するためのカメラシステムを明示する手術環境の代表的な図である。

【図2A】手術野において、蛍光剤を励起して発生した蛍光発光を識別するように構成されたカメラの簡略化した図である。

【図2B】可視光を用いて照光された手術用器具を明示する簡略化した図である。

【図2C】蛍光部を強調するために強化された、図２Ｂの手術用器械を明示する簡略化した図である。

【図3】手術用縫合糸を含む手術用器具、及び蛍光剤を含むアンカーを明示する簡略化した切取図である。

【図4】カメラシステムによって強化された、図３の縫合糸及び縫合糸アンカーを明示する代表的な図である。

【図5A】配向を識別するように構成された複数の蛍光マーキングを含むシェーバーの側面図である。

【図5B】手術用プローブの寸法を識別する複数の目盛り付きマーキングを明示する手術用プローブの側面図である。

【図6】患者の空洞において、手術用カメラによって取り込まれた強化された画像データを明示する代表的な図である。

【図7】患者の肩の上で実施される関節鏡視下手術の投影図である。

【図8】患者の肩の空洞内の強化された画像データを明示する代表的な図である。

【図9】患者の肩の空洞内の強化された画像データを明示する代表的な図である。

【図10A】肩の外科手技を明示する投影図である。

【図10B】視覚化を改善するための特有の色又はパターンを用いて強化された複数の縫合糸を明示する代表的な図である。

【図11】手術野における対象物又は手術用器具の検出の方法を明示するフローチャートである。

【図12】手術用画像データの強化された表示を提供するための方法を明示するフローチャートである。

【図13】本開示による、手術用カメラシステム及び表示器を明示する修正されたブロック図である。

【発明を実施するための形態】

【0007】

好ましい実施態様に関する以下の説明では、実際に行うことができる具体的な実施態様を示す添付図面を参照する。可能な限り、同じ又は同様の部分を指すために、図面全体を通して同じ参照番号が使用されるであろう。本開示の範囲を逸脱することなく、他の実施態様を利用することができ、構造上及び機能上の変更を行うことができることを理解されたい。

【0008】

図１を参照すると、典型的な手術環境１２を明示する、カメラシステム１０の簡略化した表現が示されている。図に示すように、カメラシステム１０は、１つ以上の手術用器具１４、例えば、制御コンソール１６と関連して、手術ツール１４ａ又はシェーバーと組み合わせて実装されている。動作中、カメラシステム１０のカメラ又は内視鏡１８は、可視光範囲（例えば、４００ｎｍ～６５０ｎｍ）並びに近赤外範囲（例えば、６５０ｎｍ～９００ｎｍ）内の画像データを取り込むことができる。この画像データは、強化された画像データを生成するように構成された表示コントローラ２０と通信することができる。この強化された画像データは、手術用器具１４の１つ以上の蛍光部２２を強調するか又は目に見えるように画定して、表示デバイス２４上に提示された手術用器具１４のうちの１つ以上の視覚化を支援することができる。この構成では、カメラシステム１０は、手術用器具１４の蛍光部２２の視覚化の改善、及び強化された観視を提供して、患者２８の手術部位２６に実装されたときに、手術用器具１４の視認性、検出、及び識別を改善することができる。

【0009】

図２Ａ～２Ｃは、典型的な手術用器具１４の蛍光部から出力された蛍光発光３２を識別するためのカメラシステム１０の動作を明示する簡略化した図である。ここで、図１及び図２Ａ～２Ｃを参照すると、様々な実施態様では、手術用器具１４の蛍光部２２は、励起発光３４を受信することに応答して、励起されて蛍光発光３２を放出し得るコーティング、挿入物、又は埋め込み構造に実装された蛍光剤を含み得る。図２Ａに明示されているように、励起発光３４は、第１の光源３６から出力され、可視スペクトルの外側の光の発光に対応し得る。更に、可視光発光３８は、第２の光源４０から出力され得る。励起発光は、蛍光部２２に組み込まれた蛍光剤を活性化及び励起するように構成された波長又は班長範囲を含み得る。様々な例では、励起発光３４は、近赤外範囲内の波長を含むことができ、これは、ほぼ６００ｎｍ～９００ｎｍの範囲にわたる波長に対応し得る。第１の光源３６は、６５０ｎｍ～６８０ｎｍの範囲にわたる発光を出力するように構成されたレーザエミッタモジュールに対応し得る。場合によっては、第１の光源３６は、ほぼ７４０ｎｍ～７８０ｎｍの波長範囲で励起発光３４を出力し得る。第１の光源３６及び励起発光３４に関連付けられた特定の励起波長を選択して、蛍光部２２の蛍光剤を効果的に活性化することができ、その結果、発生した蛍光発光３２は、カメラシステム１０の１つ以上の画像センサ４２によって取り込まれ得る。このようにして、カメラシステム１０は、画像データ内の蛍光発光３２の検出に応答して、手術用器具１４の存在又は場所を検出することができる。

【0010】

前述のように、カメラシステム１０は、可視光発光３８並びに蛍光発光３２に関連付けられた画像データを取り込むように構成され得る。取り込まれると、システム１０は、１つ以上のオーバーレイ又はグラフィックを用いて可視光を表す画像データを強化して、手術用器具１４に対応する視界４４の一部を強調及び／又は識別する強化された画像データを生成することができる。強化された画像データを提供するために、カメラコントローラ４６は、第１の光源３６及び第２の光源４０の各々を選択的に制御し、並びに第１の画像センサ４２ａ及び第２の画像センサ４２ｂから受信された画像データを処理するように構成され得る。標準動作モードでは、カメラコントローラ４６は、第２の光源４０から出力された可視光発光３８を作動させて、可視範囲の光の波長（例えば、４００ｎｍ～６５０ｎｍ）で手術部位２６を照光することができる。可視光発光３８からの反射は、可視光画像センサに対応し得る第２の画像センサ４２ｂによって取り込まれ得る。そのような動作は、光の可視光波長における手術部位２６の照光を提供し得、その結果、カメラコントローラ４６は、手術部位２６の可視特性を明示する画像データを表示コントローラ２０に出力することができる。可視光発光３８によって照光され、第２の画像センサ４２ｂによって取り込まれた明示された手術用器具１４の例が図２Ｂに示されている。手術用器具１４を表すために、図２Ｂには、簡略化した代表的な本体のみが明示されているが、蛍光部２２は、可視光発光３８によって照光された描写された表面網掛け部とほぼ明らかに区別できないものとして表されている。

【0011】

強化された画像データを生成するために、カメラコントローラ４６は、第１の光源３６を作動させて、励起発光３４を出力することができる。励起発光３４に応答して、蛍光部２２の蛍光剤は、励起され、蛍光発光３２を出力するようになることができる。第１の光源３６の作動と同時に、カメラコントローラ４６はまた、第２の光源４０を作動させて、手術部位２６を可視光発光３８で照光することもできる。その結果、蛍光発光３２及び可視光発光３８は、画像センサ４２の各々の視界４４内に取り込まれ得る。第２の画像センサ４２ｂは、反射された可視光発光３８を取り込むように構成され得るが、第１の画像センサ４２ａは、近赤外範囲（例えば、６５０ｎｍ～９００ｎｍ）内の光の波長を取り込むように構成された近赤外画像センサに対応し得る。図に示すように、画像センサ４２の各々は、第１の光フィルタ５２ａ及び第２の光フィルタ５２ｂとして明示される１つ以上の光フィルタを含むことができる。動作中、光フィルタ５２ａ、５２ｂは、視界４４内の蛍光発光３２及び可視光発光３８の組み合わされた波長をフィルタリングして、画像センサ４２ａ、４２ｂの各々によって検出された対応する波長の検出の忠実度を改善することができる。このようにして、カメラコントローラ４６は、画像センサ４２ａ、４２ｂの各々によって記録された画像データを処理して、手術部位２６を表す、視界４４における蛍光発光３２と可視光発光３８との間を検出及び区別することができる。

【0012】

一般に、光フィルタ５２として説明されているが、第１のフィルタ５２ａ及び第２のフィルタ５２ｂは、画像センサ４２ａ、４２ｂの対応する検出範囲に関連付けられた範囲にわたって光を送出するように構成された１つ以上の高域通過フィルタ、低域通過フィルタ、及び／又は帯域通過フィルタに対応し得る。例えば、第１の光フィルタ５２ａは、ほぼ８００ｎｍ～８５０ｎｍの近赤外波長の範囲を通過するように構成された帯域通過フィルタに対応し得る。この構成では、第１の光フィルタ５２ａは、ほぼ８２５ｎｍの中心周波数を有するように選択され得、この光フィルタは、蛍光発光３２に関連付けられた光の波長を第１の画像センサ４２ａに効果的に通過させることができる。そのような場合、蛍光発光３２は、インドシアニングリーン（ｉｎｄｏｃｙａｎｉｎｅ ｇｒｅｅｎ、ＩＣＧ）色素の形態の蛍光剤からの発光に対応し得る。したがって、蛍光部２２から出力された蛍光発光３２は、帯域通過範囲内で第１の光フィルタ５２ａを通過することができ、その結果、蛍光発光３２からの関連付けられた光は、カメラコントローラ４６によって取り込まれて識別される。同様に、可視光発光３８、及び手術部位２６から反射された対応する光は、第２の光フィルタ５２ｂを通過することができ、その第２の光フィルタは、可視範囲（例えば、４００ｎｍ～６５０ｎｍ）の光の波長を通過するように構成され得る。このようにして、カメラシステム１０は、蛍光発光３２を能動的に検出し、オーバーレイ、グラフィック、又は他の視覚的な強化を生成して、視界４４内の可視光発光３８によって照光される画像データを増強することができる。

【0013】

第１の光フィルタ５２ａ及び第２の光フィルタ５２ｂに加えて、カメラシステム１０は、追加のフィルタを更に含むことができ、それらの追加のフィルタは、可視光発光３８から蛍光発光３２を分離するように構成された１つ以上のダイクロイックフィルタ又はミラーを含むことができる。そのようなフィルタは、一般に、光フィルタ５２と呼ばれ、内視鏡又はカメラ６０内に組み込まれ得、統合されたパッケージ内に、画像センサ４２、光源３６、４０、及びカメラコントローラ４６、並びに光フィルタ５２を含むことができる。例えば、カメラ６０は、図３、７等を参照して後で説明されるものと同様のコンパクトな内視鏡内に、光源３６、４０、画像センサ４２、フィルタ５２、及びカメラコントローラ４６の各々を含むことができる。このようにして、カメラシステム１０は、手術環境１２における動作に十分好適な簡易操作パッケージに実装することができる。ＩＣＧは、本開示の様々な例で説明されているが、メチレンブルー（ｍｅｔｈｙｌｅｎｅ ｂｌｕｅ、ＭＢ）、蛍光、及びプロトポルフィリンＩＸ［ｐｒｏｔｏｐｏｒｐｈｙｒｉｎ ＩＸ、ＰｐＩＸ］を含む他の蛍光が、カメラシステム１０とともに同様に実装することができる。

【0014】

蛍光発光３２とは独立して検出された可視光発光３８に関連付けられた画像データを用いて、カメラシステム１０は、画像データ内の蛍光部２２の強化を提供することができる。このようにして、１つ以上の色、パターン、若しくは他の視覚的強化、又はオーバーレイ６２が画像データに重ね合わされるか若しくはオーバーレイされて、表示デバイス２４上の提示のための強化された画像データを生成することができる。図２Ｃに示すように、画像データ内の蛍光部２２の場所は、オーバーレイ６２によって強調され、その結果、蛍光部２２は、手術用器具１４の残りの部分、並びに手術部位２６内の局所的環境から明確に区別可能である。本出願全体にわたって更に詳細に説明されるように、強化された画像データは、様々な方法で実装されて、手術部位２６の改善された視覚化を提供し、様々な手術用器具１４の存在、位置、配向、及び／又は寸法の識別を支援することができる。

【0015】

概して、図１、２Ａ、２Ｂ、及び２Ｃを参照すると、カメラシステム１０の実施態様及び動作態様が、更に詳細に説明される。一般に、ＩＣＧ、フルオレセイン、ＰｐＩＸ、及びメチレンブルーは、医療診断で使用される色素に対応し得る。ＩＣＧは、約６００ｎｍ～約９００ｎｍの波長範囲で非常に低い毒性、及び高い吸収率、並びに約７８０ｎｍのピーク吸収率を有する。ＩＣＧは、約８３０ｎｍの波長で蛍光を放出する。更に、近赤外放射線を放出するＩＣＧなどの蛍光剤は、生物学的組織を通って検出可能であり得る。本明細書で使用される場合、「放射線」及び「光」という用語は、区別なく使用される。蛍光剤の別の例であるＰｐＩＸは、ほぼ６３５ｎｍの対応するピーク蛍光を有する青色範囲（例えば、４０５ｎｍ）にわたって励起され得る。ＭＢは、ほぼ６５０ｎｍの対応するピーク蛍光を有する、赤色～ＮＩＲ色範囲（例えば、６００ｎｍ）にわたって励起される。フルオレセインは、ほぼ５２０ｎｍの蛍光発光を有するほぼ４９０ｎｍのピーク吸収を有する。蛍光剤の各々の吸収範囲と発光範囲との間のギャップは、ストークス偏移と呼ばれ、これを利用して、励起発光３４に関連付けられた波長と、発生した蛍光発光３２との間を区別することができる。

【0016】

様々な例では、蛍光剤は、手術用器具１４の主要部（例えば、材料又は構造内に埋め込まれた）として、コーティングされるか又は使用され得る。場合によっては、蛍光剤は、製造中に手術用器具１４の蛍光部２２に組み込まれ得る。例えば、プラスチック製の手術用器具は、製造中にプラスチックに混合された蛍光色素を有してもよい。更に、光遮断パッケージングを使用して、手術用器具１４が使用のための準備ができるまで、蛍光色素を光から保護することができる。例えば、限定されないが、スポンジ、縫合糸、ピン、ねじ、プレート、手術用ツール、又はインプラントなどの手術用器具１４は、蛍光材料で塗布されてもよい。本明細書で使用される場合、「手術用ツール」という用語は、バイター、把持具、リトリーバ、ピック、パンチ、フック、プローブ、剥離子、牽引子、又は鋏を含み得るが、これらに限定されない。手術用器具１４は、その手術用器具の場所、位置、深さ、配向、又は他の特性を示すために、一部にコーティングされた蛍光剤を有することができる。したがって、手術用器具１４の蛍光部２２は、カメラシステム１０によって提供された強化された画像データ内で容易に識別又は検出することができる。

【0017】

図５Ａ及び５Ｂを具体的に参照して後で説明されるように、蛍光剤は、パターン、形状、及び／若しくは英数字で、手術用器具１４の様々な蛍光部２２に組み込まれて、手術用器具１４を識別するか、又は、画像データ内に表された器具１４の寸法、配向、若しくは割合を示すことができる。手術用器具１４内の蛍光剤の存在はまた、外科医が迅速に点検して、手術用器具１４の一部も手術部位２６に残されていないことを確認することを可能にすることができる。場合によっては、表示コントローラ２０は、蛍光発光３２に関連付けられた画像データ（例えば、視界４４内の対応する画素）を処理して、手術部位２６内の１つ以上の手術用器具１４を識別又は分類するように構成することができる。例えば、表示コントローラ２０は、手術用器具１４の特徴的な形状、又は第１の画像センサ４２ａによって取り込まれた画像データ（例えば、ＮＩＲ範囲内）に表された１つ以上の記号を処理して、コンピュータビジョンテンプレートに基づいて器具１４のタイプ又はカテゴリを識別するように構成することができる。そのような識別は、図１２を参照して更に説明される。

【0018】

様々な実施態様では、手術用器具１４内の蛍光剤は、特定の蛍光剤の励起波長範囲内の励起光を放出する光源を使用して、励起され得る。例えば、ＩＣＧが蛍光剤として使用される場合、ＩＣＧ蛍光は、約６００ｎｍ～約９００ｎｍの波長範囲、場合によっては、約７８０ｎｍの光を使用して励起され得る。そのような場合、光源３６は、ＩＣＧの励起範囲内の中心周波数、又はその励起範囲内の中心を有する発光ダイオード又はレーザ発光ダイオードであってもよい。画像センサ４２は、例えば、相補形金属酸化膜半導体（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ、ＣＭＯＳ）センサ又は電荷結合デバイス（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ、ＣＣＤ）センサであってもよい。カメラ６０はまた、例えば、レンズ、フィルタ、ミラー、及びプリズムなどの光学素子を含んでもよく、可視光源４０及び蛍光発光３２に関連付けられた光の波長を対象にして、独立して検出してもよい。

【0019】

いくつかの実施態様では、カメラ６０は、内視鏡カメラとして実装され、画像センサ４２、光源３６、４０、並びに光フィルタ５２を含むことができる。したがって、カメラ６０は、蛍光剤を励起するための励起光源としての第１の光源３６と、可視波長範囲で手術部位２６を照光するための白色光源の形態での第２の光源４０との両方を含むことができる。カメラ６０は、蛍光発光３２を検出するための対応する画像センサ４２ａ又は検出器、並びに可視光範囲内の画像データを検出及び記録するための画像センサ４２ｂ又は検出器を更に含むことができる。場合によっては、カメラ６０は、複数の蛍光剤を励起するための、又は手術野の他の目に見えない属性を検出するための追加の光源を有することができる。手術用器具内の蛍光剤を検出するために使用可能なカメラシステムの例としては、カメラヘッド及びカメラ制御ユニットを有するＡｒｔｈｒｅｘ Ｓｙｎｅｒｇｙ ＩＤＴＭカメラシステムがある。このＡｒｔｈｒｅｘ Ｓｙｎｅｒｇｙ ＩＤＴＭカメラシステムは、ＩＣＧからの蛍光を励起するための光源を有し、ＩＣＧによって放出された光などの可視光及び近赤外（ｎｅａｒ ｉｎｆｒａ－ｒｅｄ、ＮＩＲ）光を検出することができる。

【0020】

再度、図１を参照すると、典型的な強化された画像データ７０が、表示デバイス２４上に明示されている。その例では、シェーバー１４ａの作用端又は遠位端が、方向性配向マーカー７２を含む第１の蛍光部２２ａを明示するように示されている。シェーバー１４ａの形態の手術用器具１４の同様の例が、図４Ａの改善された詳細を用いて示されている。図示されているように、配向マーカー７２は、可視画像データ上にオーバーレイされて、手術部位２６内のシェーバー１４ａの相対的な配向の明確な指示を提供することができる。配向マーカー７２は、手術用器具１４が画像データ内で明確に見える場合には、些細なことのように見えるが、強化された画像データに明示された蛍光発光３２と位置合わせされたオーバーレイ６２は、手術部位の空洞が粒子、血液、組織破片等によって視界を遮られるか又は曖昧である場合であっても、手術用器具１４の配向及び／又は位置の明確な指示を提供することができる。

【0021】

更に、図１は、アンカー１４ｂの形態で手術用器具１４の例を明示している。様々な場合において、アンカー又は様々な手術用インプラントは、可視光発光３８及び対応する第２の画像センサ４２ｂからの視認性からそれらを遮断し得る組織、カルシウム、又は他の物質によって、増殖することになり得る。図に示すように、着色されたオーバーレイ６２は、第２の蛍光部２２ｂに関連付けられた画像データの一部において、表示コントローラ２０によって生成される。オーバーレイ又は重ね合わされた色は、アンカー１４ｂの一部を強調表示することができ、その結果、ヘキサローブ又は駆動ヘッド７４の場所は、強化された画像データ内で可視である。駆動ヘッド７４が生物学的組織の背後に隠れている場合、励起発光３４及びその発生した蛍光発光３２は、その組織を貫通し、その結果、表示コントローラ２０は、蛍光部２２を検出し、強化された画像データ内のヘッド７４の場所を明示することができる。

【0022】

ここで、図３及び４を参照すると、カメラシステム１０の適用例が、典型的な肩の修復動作を参照して説明されている。図に描写されているように、カメラ６０は、画像センサ４２ａ、４２ｂの視界４４内に可視光発光３８を出力するように構成された第２の光源４０を組み込む内視鏡として実装されている。図３に示すように、励起発光３４に関連付けられた第１の光源３６は、専用の照明デバイス８０内に組み込まれ得る。この照明デバイス８０は、近位端部８２ａと遠位端部８２ｂとの間に延在する細長いシャフト８２を含むことができる。励起発光３４は、細長いシャフト８２の遠位端部８２ｂを介して、第１の光源３６から出力され得る。制御回路及び電力供給源は、近位端部８２ａと接続されたハウジング８４内に密閉され得る。この構成では、励起発光３４は、視界４４とは異なる起点を起源とし得る。専用照明デバイス８０は、カメラ６０を操縦する必要なしに、励起発光３４を、手術部位２６の様々な部分又は領域中に投影することができる。したがって、カメラ６０とは別個である専用照明デバイス８０を組み込むカメラシステム１０の実施態様は、カメラ６０を操縦することなく、又はカメラ６０の位置とは無関係に、手術部位２６内の様々な領域の独立した照光を提供することができる。

【0023】

専用照明デバイス８０から出力されている励起発光３４を参照して説明されているが、光源３６、４０のいずれか又は両方は、専用照明デバイス８０内に実装されて、様々な範囲の波長の光を出力することができる。いくつかの実施態様では、照明デバイス８０又はカメラ６０は、外科医による更なる行動のために、手術野におけるアイテムを標的にするのに十分小さい直径を有する光ビームを放出するように構成され得る。一実施態様では、ビーム直径は、約５ｍｍ未満とすることができる。場合によっては、ビーム直径は、約２ｍｍ未満又は約１ｍｍ未満であってもよい。一般に、照明デバイス８０又はカメラ６０は、手術野内で検出されるのに十分な明るさ及び密度の光ビームを放出するように構成され得る。例えば、場合によっては、高感度センサ４２が測定されて、１０ｎＷ／ｃｍ²以下の密度で光を検出している（例えば、高感度ＣＭＯＳセンサ）。光源３６、４０は、発光デバイス８０又はカメラ６０の遠位端部に対して近位側に位置決めされ得る。更に、光源３６、４０は、例えば、光ファイバなどによって、遠位端部と通信する光源から、遠位端部及び発光デバイス８０、又はカメラ６０から離れて位置決めされ得る。発光デバイス８０及び／又はカメラ６０によって放出された光は、光学素子を使用してユーザが所望の標的をより良く照光することを可能にすることなどによって調整され得る可変形状を有することができる。

【0024】

いくつかの実施態様では、光源３６、４０のうちの１つ又は両方は、内視鏡カメラシステム１０以外の手術用器械１４に、例えば、プローブ、シェーバー１４ａ、アブレーションデバイス、又は他の器械に組み込まれてもよい。いくつかの例では、ＬＥＤが、デバイス又は器械の遠位端部に配置されてもよい。一部の例では、プローブ又は他のデバイスが、ＬＥＤ、レーザ、又は本体外部の他の光源からの光を受信し、放射線を器械の遠位端部に送出することができる光パイプで少なくとも部分的に形成され得る。発光デバイス８０は、発光デバイスに結合された独立の電力供給源によって電力供給されてもよい。更に、発光デバイス８０は、バッテリーで電力供給されてもよい。バッテリー式発光デバイスは、単回使用のために構成されてもよく、又は複数回使用のために充電式バッテリーを用いて構成されてもよい。発光デバイス８０は、単回使用のための滅菌容器内にパッケージングされてもよい。更に、発光デバイス８０は、滅菌及び繰り返し使用のために構成されてもよい。発光デバイス８０は、剛性のあるデバイス、又は柔軟なデバイスであってもよい。発光デバイスは、関節屈曲可能なデバイスであってもよい。

【0025】

更に、発光デバイス８０又は光源３６、４０は、手術野又は部位２６の外側に配置されてもよく、手術野に位置決めされたカメラ６０による検出のために、生物学的組織を通って指向される光であってもよい。更に、発光デバイスは、手術野の外側に位置決めされたデバイスによる検出のために、手術野から組織を通って光を指向させることができる。場合によっては、発光デバイス８０は、本体の外側に配置されて、本体の内側に位置決めされたカメラ６０による検出のために、組織を通って光を指向させることができる。更に、発光デバイス８０は、本体の内側に配置されて、本体の外側に位置決めされたカメラ（例えば、カメラ６０）による検出のために、組織を通って光を指向させることができる。更に、発光デバイス８０は、手術部位２６の第１の部分に配置されて、手術部位２６の第２の部分における検出のために、組織を通って光を指向させることができる。

【0026】

図３に明示されているように、肩の空洞８６が、切取部８８を介して現れている。しかしながら、典型的な関節鏡視下手技では、肩の空洞８６は、密閉され、その結果、患者２８の内部の解剖学的構造は、図３に描写されているように、不可視である。図３に対応する肩の手術を正確に視覚化するために、カメラ６０及び専用光源８０の遠位端部は、後で説明されるように、図７及び１０Ａに明示される例と同様に、外側組織を通って肩の空洞８６内に突き出ることになる。したがって、図３の切取部８８は、関節鏡視下手技の簡略化した表現を提供して内部の解剖学的構造を明示することができ、同様に、カメラ６０及び専用照明デバイス８０が外側に位置決めされて肩の空洞８６への照光を提供することができる開放手術を表すことができる。

【0027】

ここで、図３及び４を参照すると、複数の縫合糸９２ａ、９２ｂ及びアンカー９４ａ、９４ｂが、患者２８の肩の腱９６及びユーモラス９８と関連して実装されるように示されている。図に示すように、縫合糸９２は、第１の縫合糸９２ａ及び第２の縫合糸９２ｂを含むことができる。第１の縫合糸９２ａは、第１の縫合糸をユーモラス９８に接続する第１のアンカー９４ａと関連している。第２の縫合糸９２ｂは、第２のアンカー９４ｂを介してユーモラス９８と関連している。図３には明確に表されているが、手術部位２６の視界は、肩の空洞８６内の血液及び粒子状物質によって不透明になり得る。したがって、手術部位２６に対するカメラ６０の視界及び相対的配向は、表示デバイス２４上で明示される画像データからは、容易には明らかでない可能性がある。

【0028】

肩の空洞４４内の視界４４における障害物に加えて、場合によっては、アンカー（図４に、第２のアンカー９４ｂとして表されている）が、組織又は異常成長の真下にマスキングされているか又は隠されている可能性がある。そのような場合、第２のアンカー９４ｂは、視界からほぼ完全に隠され得、カメラ６０によって取り込まれた画像データ内で検出することが難しい可能性がある。第２のアンカー９４ｂの視認性を改善するために、駆動ヘッド７４又はヘキサローブ内に組み込まれた第１の蛍光部１００ａ（図４を参照）として明示された第２のアンカー９４ｂの一部に、蛍光剤を組み込むことができる。第２のアンカー９４ｂに組み込まれた第１の蛍光部に加えて、第１の縫合糸９２ａ及び第２の縫合糸９２ｂの各々はまた、対応する第２の蛍光部１００ｂ及び第３の蛍光部１００ｃを含むこともできる。蛍光部１００ａ、１００ｂ、及び１００ｃの各々は、この例では、専用照明デバイス８０の第１の光源３６から出力された励起発光３４によって照光され得る。励起発光３４を受信することに応答して、蛍光部１００ａ、１００ｂ、１００ｃの各々は、対応する蛍光発光３２を出力するように励起されるようになり得る。

【0029】

場合によっては、蛍光部１００ａ、１００ｂ、１００ｃから出力された蛍光発光３２は、それらに組み込まれた蛍光剤の異なる組成又は組み合わせに起因して波長が変化し得る。他の場合では、共通の蛍光剤（例えば、ＩＣＧ色素）の濃度が、蛍光部１００ａ、１００ｂ、１００ｃの各々に異なるレベルで組み込まれ得る。したがって、励起発光３４を受信することに応答して、蛍光部１００ａ、１００ｂ、１００ｃから出力された蛍光発光３２の各々は、蛍光剤の組成、又はそれらに組み込まれた蛍光剤の濃度に基づいて、波長又は強度が変化し得る。蛍光発光３２に関連付けられた強度又は波長の変動に基づいて、表示コントローラ２０は、異なる蛍光部１００ａ、１００ｂ、１００ｃの間を区別して、異なる特徴的な色１０２を用いて蛍光部１００ａ、１００ｂ、１００ｃの各々をオーバーレイするように動作可能であり得る。したがって、カメラシステム１０は、複数の蛍光部１００ａ、１００ｂ、１００ｃを区別して、異なるそれぞれの特徴的な色１０２又はパターンを割り当てるように構成され得、その結果、表示デバイス２４上に明示された強化された画像データは、手術用器具１４の各々（例えば、９２ａ、９２ｂ、及び９４ｂ）の場所を明確に区別する。

【0030】

明確にするため、図４に明示された縫合糸９２ａ、９２ｂ、及び第２のアンカー９４ｂは、可視光発光３８を介して単独で見たときに、くすんでおり、かつそれらの周囲とほぼ区別することができないものとして画像データ内に現れ得る。しかしながら、表示コントローラ２０によって、対応する蛍光部１００ａ、１００ｂ、１００ｃ上に適用されたオーバーレイ６２に基づいて、強化された画像データは、可視光発光３８に関連付けられた画像データ上にオーバーレイされた対応する特徴的な色１０２ａ、１０２ｂ、１０２ｃ、又は疑似色に基づいて、手術用器具１４の各々を明確に区別することができる。図に示すように、特徴的な色１０２は、第１の色１０２ａ、第２の色１０２ｂ、及び第３の色１０２ｃを含むことができる。第１の色１０２ａは、駆動ヘッド７４、又は第２のアンカー９４ｂのヘキサローブをコーティングする第１の蛍光部１００ａ上に組み込まれ得る。第２の色１０２ｂ及び第３の色１０２ｃは、第１の縫合糸９２ａ及び第２の縫合糸９２ｂをそれぞれ形成する構成材料内に組み込まれ得る。特徴的な色１０２の各々は、表示コントローラ２０内に記憶された所定の表示構成に基づいて視覚的に区別可能であり得る。

【0031】

場合によっては、強化された画像データに関連付けられた特徴的な色１０２又はパターンは、特定のユーザの好みに適合するようにカスタマイズ又は修正されてもよい。例えば、一部のユーザは、様々な手術用器具１４の間を区別することを支援するために広範囲の色を好む場合があり、一方では、他のユーザは、ユーザの視界を手術部位２６内の他の態様から注意をそらすことのない微妙な色差を好む場合がある。場合によっては、表示コントローラ２０は、可視光発光３８に関連付けられた第２の画像センサ４２によって取り込まれた画像データ内に明示された局所的環境の色に基づいて、特徴的な色１０２又はパターンの色テンプレート又は色構成を調整することができる。例えば、可視光発光３８によって照光された画像データが主として暖色（例えば、赤色、黄色、橙色）で表示される場合、表示コントローラ２０は、寒色テンプレート（例えば、青色、紫色、緑色）を割り当てて、蛍光部１００ａ、１００ｂ、１００ｃを視界４４内の画像データの残りと区別することができる。同様に、画像データが暗い場合、明るい又は対比的な色又はパターンが、自動的に適用されて、画像データを際立たせることができる。したがって、カメラシステム１０は、強化された画像データに関連付けられた様々なフォーマット及び色テンプレートを提供して、手術部位２６の視覚化を支援することができる。

【0032】

図５Ａ及び５Ｂを参照すると、カメラシステム１０によって生成された強化された画像データ内に表されたときに、ユーザが手術用器具１４の配向又は位置を認識することを支援するように構成された蛍光部２２を含む、典型的な手術用器具１４が示されている。図５Ａに示すように、蛍光部２２によって形成された複数の長手方向マーキング１１０を明示するシェーバー１４ａの作用端部が示されている。長手方向マーキングは、シェーバー１４ａの長手方向軸１１２に沿って延在し得、細長い本体１１４の周りの半径方向に均等に離間され得る。シェーバーヘッド１１６は、図５Ａ内に描かれた面とは反対側に、想像線で明示されている。この構成では、蛍光部２２を含む長手方向マーキング１１０は、照光されて、励起発光３４に応答して蛍光発光３２を出力することができ、その結果、強化された画像データは、アクチュエータ方向（例えば、シェーバーヘッド１１６の方向）に対する手術用器具１４又はシェーバー１４ａの配向を明示することができる。

【0033】

図５Ｂを参照すると、手術用器具１４は、蛍光部２２に対応する複数の横方向マーキング１２０を含む、図示された典型的な針又はプローブ１４ｃとして明示されている。図に示すように、横方向マーキング１２０は、手術用器具１４又はプローブ１４ｃの位置に関連付けられた目盛りを明示する複数の目盛り付きセグメントとして実装されている。長手方向マーキング１１０と同様に、横方向マーキング１２０は、蛍光剤を蛍光部２２内に組み込み、励起発光３４を受信することに応答して蛍光発光３２を出力することができる。横方向マーキング１２０に加えて、プローブ１４ｃは、１つ以上の文字１２２又は記号を含むことができ、それらはまた、蛍光色素又は蛍光剤を組み込むことができ、その結果、文字１２２は、画像データ内にオーバーレイされて、画像データ内の関連する記号を強調することができる。長手方向マーキング１１０及び横方向マーキング１２０は、様々な組み合わせで実装されて、関連する手術用器具１４の操作者が、表示デバイス２４上の強化された画像データ内に提示されたときに、手術用器具１４の配向、位置、及び／又は相対的な測定値を識別するのを支援することができる。

【0034】

場合によっては、長手方向マーキング１１０、横方向マーキング１２０、又は、手術用器具１４上に組み込まれた様々な追加の蛍光部２２は、手術用器具１４の外面に形成された溝１２４又は刻み目内に配設され得る。配向又は位置マーキング１１０、１２０に関連付けられた溝又は刻み目に蛍光部２２を含めることによって、溝１２４又は刻み目から出力された発生した蛍光発光３２は、カメラ６０の対応する画像センサ４２ａ、４２ｂに向かうか又はそれに面する溝１２４の各々の内面に関連付けられた配向開口部を通って、カメラシステム１０の視界４４内に取り込まれ得る。この構成では、手術用器具１４上に組み込まれた寸法又は配向マーキング１１０、１２０は、蛍光発光３２の一部が、溝１２４内に配設された対応する蛍光部２２から出力されるまで、カメラ６０の視界４４から隠され得る。溝１２４内に配設された蛍光部２２の結果は、溝１２４の各々の内面が対応する配向開口部を通って可視であるときに、蛍光発光３２のみを露出する光景と同様に達成される改善された精度であり得る。このようにして、手術用器具１４の寸法及び配向の特徴（例えば、１１０、１２０）は、手術用器具１４の相対的な位置又は配向を決定する際に、改善された精度を提供することができる。

【0035】

ここで、図６を参照すると、典型的なシェーバー１４ａは、溝１２４及び蛍光部２２によって形成された長手方向マーキング１１０上に特徴的な色１０２のオーバーレイ６２を含む、強化された画像データを明示するカメラ６０の視界４４内に示されている。図に示すように、長手方向マーキング１１０は、操作者が矢印１２６によって明示されたシェーバーヘッド１１６の方向を識別するのを支援することができる。例えば、表示デバイス２４上の３つの長手方向マーキング１１０のうちの２つを見た結果、シェーバー１４ａのユーザは、オーバーレイ６２によって強化された長手方向マーキング１１０から、シェーバーヘッド１１６が長手方向マーキング１１０の反対側に向かって指向されていることを視覚的に識別することができる。図に示すように、長手方向マーキング１１０は、シェーバー１４ａの左側に面する側面に位置決めされ、その結果、操作者は、シェーバーヘッド１１６が、表示デバイス２４上に表された右側に向かって指向されていることを認識することができる。そのような手術用器具１４の配向の指示は、シェーバーヘッド１１６が視界４４内の組織１２８又は破片の後ろに隠れている場合には、特に有益であり得る。したがって、長手方向マーキング１１０は、ユーザが手術用器具１４の相対的な配向を決定するのを支援することができる。

【0036】

ここで、図７を参照すると、患者２８の肩１３０上の関節鏡視下手技の追加の典型的な例示が示されている。図８は、図７で描写されるように位置決めされたカメラ６０によって取り込まれた視界４４に関連付けられた強化された画像データを明示している。図７及び８に明示されているように、肩の空洞１３４内の生物学的組織１３２を貫通するプローブ１４ｃが明示されている。前述したように、励起発光３４は、専用照明デバイス８０に組み込まれた第１の光源３６から出力され得る。励起発光３４は、空洞１３４内に送出され、生物学的組織１３２（例えば、軟骨、筋肉、腱、骨など）を貫通して、横方向マーキング１２０によって形成された蛍光部２２に衝突し得る。励起発光３４を受信することに応答して、横方向マーキング１２０の蛍光部２２に組み込まれた蛍光剤は、蛍光発光３２を出力することができる。蛍光部２２から放出された光エネルギーはまた、生物学的組織１３２を通って空洞１３４中に送出され得、その結果、近赤外画像センサ４２ａは、視界４４内の蛍光発光３２を取り込むことができる。

【0037】

第１の画像センサ４２ａによって取り込まれた画像データ内の蛍光発光３２を検出することに応答して、カメラシステム１０の表示コントローラ２０は、蛍光発光３２に関連付けられた画像データ内の画素をオーバーレイ６２（例えば、特徴的な色１０２又はパターン）にオーバーレイして、強化された画像データを生成することができる。したがって、カメラシステム１０は、蛍光発光３２を検出することによって、生物学的組織１３２を通る、１つ以上の手術用器具１４の位置の検出及び追跡を提供することができる。検出されると、表示コントローラ２０は、画像データの対応する部分を更にオーバーレイ、マーキング、又は強化して、そうでなければ従来のカメラシステムからは完全に隠されていたであろう手術用器具１４を明示することができる。

【0038】

ここで、図９を参照すると、生物学的組織１４４を貫通して突き出し始めるプローブ又は針１４２の遠位先端を明示する典型的な手術用空洞１４０が示されている。カメラシステム１０の表示デバイス２４上に明示された強化された画像データに描写されているように、針１４２の遠位先端１４６は、特徴的なパターン又は色１０２によってオーバーレイされている。他の例と同様に、針１４２の遠位先端１４６上にオーバーレイされた特徴的なパターン又は色１０２は、組み合わされた画像センサ４２ａ、４２ｂによって取り込まれた画像データ内の蛍光発光３２の対応する存在に応答して、表示コントローラ２４によって検出され得る。提供された例では、針１４２の遠位先端１４６は、手術用空洞１４０の中に盲目的に導入することができる。したがって、外科医又は医師が、はっきりしない器械１４８及び把持具１５０の位置を正確に決定して、遠位先端１４６を効果的に誘導及び相互作用させることは非常に困難であり得る。しかしながら、遠位先端１４６上への蛍光部２２の組み込みにより、蛍光発光３２は、遠位先端１４６が生物学的組織１４４を通って突き出始める前に、生物学的組織１４４を貫通して、表示コントローラ２０によって検出することができる。例えば、視界４４内の蛍光発光３２を識別することに応答して、表示コントローラ２０は、蛍光発光３２に関連付けられた画像データの対応する部分を、オーバーレイ６２を用いて強化することができる。このようにして、外科医は、針１４２の遠位先端１４６が、遠位先端１４６が生物学的組織１４４の表面を破る前に、突き出ることになる生物学的組織１４４の場所を識別することができる。このようにして、カメラシステム１０によって提供された強化された画像データは、他の場合では第２の撮像器又は可視光画像センサ４２ｂによって取り込まれた可視光範囲では不可視である手術用器具の場所を表示することによって、動作に関連付けられた精度を改善することができる。

【0039】

いくつかの例では、励起光源又は第１の光源３６は、本明細書で説明されるように、生物学的組織を貫通するのに十分な強度で励起発光３４を出力することができる。例えば、第１の光源３６は、ほぼ１ｍＷ／ｃｍ²～１Ｗ／ｃｍ²の範囲にわたる強度で励起発光３４を出力することができる。場合によっては、光強度は、実装される特定の光エミッタ技術及びそのアプリケーションに応じて、より高くても又はより低くてもよい。アプリケーション、及び励起発光３４が作動され得る持続時間に応じて、励起発光３４の強度は、制限又はパルス化されて、過剰な発熱の発生を制御して、生物学的組織への損傷を制限することができる。前述したように、励起発光３４は、近赤外範囲内のほぼ６５０ｎｍ～９００ｎｍにわたる放射線の波長を含むことができる。参照のため、第２の光源４０に関連付けられた可視光発光３８は、４００ｎｍ～ほぼ６５０ｎｍにわたるヒトの眼の感覚の鋭敏さに関連付けられた光の可視色に対応する波長で出力することができる。生物学的組織を通る励起発光３４及び／又は蛍光発光３２の貫通は、ほぼ１ｍｍの深さから、１０ｍｍを超える生物学的組織の深さ又は厚さまで延在し得る。実験結果により、貫通した生物学的組織のほぼ３％～１０％／ｍｍの割合で、近赤外範囲内の励起発光３４及び蛍光発光３２と同様の発光の強度が喪失することが明示されている。したがって、第１の画像センサ４２ａは、対応する光エネルギーが生物学的組織の数ミリメートルを貫通した後に、蛍光発光３２又は励起発光３４を検出することができる。したがって、カメラシステム１０は、様々な手術用器具１４の相対的な場所又は配向を識別して、手術用器具１４が様々な厚さを有する生物学的組織の層の後ろに隠れている可能性がある様々な場合において、強化された画像データ内の場所を明示することができる。

【0040】

ここで、図１０Ａ及び１０Ｂを参照すると、患者２８の関節鏡視下での肩の修復を明示する、手術用カメラシステム１０の更に別の典型的なアプリケーションが示されている。図９に明示されているように、前部カニューレ１５２が、手術用空洞１５４へのアクセスを提供して、複数の縫合糸１５６ａ、１５６ｂを操作する。動作中、外科医は、スキッド１５８を介して手術用空洞１５４にアクセスすることができる。手術用空洞１５４内の縫合糸１５６に到達するために、把持具１６０が、実装されて、縫合糸１５６のうちの１つを選択的に係合することができる。図１０Ｂに明示されているように、カメラ６０の視界４４は、第１の縫合糸１５６ａ、第２の縫合糸１５６ｂ、及び、縫合糸１５６を操作及び輪にするために更に実装され得る投げ縄１６２についての、関節鏡視下の視野を明示している。外科医及び医師は、広範な手技の知識、及び縫合糸１５６に組み込まれた関連する可視色を用いる場合であっても、第１の縫合糸１５６ａを第２の縫合糸１５６ｂと区別する困難さを依然として有し得る。縫合糸１５６を区別することは、手術用空洞１５４内の流体が、縫合糸１５６の任意の画定している特徴を更に覆い隠す可能性がある破片又は血液によって妨げられたときに、特に難度が高くなる場合がある。

【0041】

図３及び４を参照して前述したように、第１の縫合糸１５６ａは、第１の濃度の蛍光剤を含むことができ、第２の縫合糸１５６ｂは、第２の濃度の蛍光剤を含むことができる。したがって、励起発光３４を受信することに応答して、縫合糸１５６ａ、１５６ｂの各々は、蛍光発光３２の異なる強度を出力することができる。蛍光発光３２のこれらの強度は、第１の画像センサ４２ａによって取り込まれた近赤外範囲内の画像データに基づいて、表示コントローラ２０によって識別及び区別することができる。蛍光発光３２の異なる強度に応答して、表示コントローラ２０は、図１０Ｂによって明示されているように、異なる特徴的なパターン１６４ａ、１６４ｂを用いて、縫合糸１５６ａ、１５６ｂの各々をオーバーレイすることができる。このようにして、表示コントローラ２０は、様々な強度の蛍光発光３２を識別して、カメラシステム１０の視界４４内で識別された複数の手術用器具１４の間を区別することができる。特徴的なパターンとして示された、縫合糸１５６ａ、１５６ｂのオーバーレイ６２は、同様に、特徴的な色又はマーカー（例えば、通知ウィンドウ、重ね合わされたグラフィック等）として実装されて、カメラシステム１０の画像データ内に描写される手術用器具１４の間を識別及び区別することを支援することができる。

【0042】

ここで、図１１を参照すると、本明細書で説明されるように、カメラシステム１０を用いて対象物を検出するための方法を明示する典型的なフローチャートが示されている。方法１７０は、カメラシステム１０の作動、又は対象物検出ルーチン１７２の開始に応答して開始することができる。様々な例で説明されているように、カメラ６０は、カメラコントローラ４６によって制御されて、画像センサ４２ａ、４２ｂのうちの１つ以上を介して、画像又はセンサデータを取り込むことができる（１７４）。画像データが画像センサ４２ａ、４２ｂによって取り込まれると、表示コントローラ２０は、蛍光部２２からの蛍光発光３２に対応する光の波長を含む、視界４４内の画像データ又は画素のうちの１つ以上の部分を検出することができる（１７６）。表示コントローラ２０によって処理された画像データに基づいて、方法１７０は、続いて、ステップ１７８において、１つ以上の手術用器具１４が蛍光発光３２の存在に応答して検出されたかどうかを判定することができる。ステップ１７８において、器具１４が検出されなかった場合、方法１７０は、ステップ１７４に戻って、ステップ１７４及び１７６において、画像又はセンサデータを取り込んで、画像データを処理して、蛍光発光３２を識別することを継続することができる。

【0043】

ステップ１７８において、蛍光発光３２に関連付けられた対象物が画像データ内で検出された場合、方法１７０は、続いて、画像データをマーキングし、オーバーレイし、又は注釈を付けて、蛍光発光３２が検出された視界４４内の領域を強調することができる（１８０）。ステップ１８０において生成されたマーキングされた又は注釈を付けられた画像データは、特徴的な色、パターン、又は他の指示特徴の形態で１つ以上のオーバーレイ６２を含む強化された画像データに対応することができ、それらのオーバーレイは、蛍光発光３２がカメラシステム１０によって放出及び検出された場所、配向、寸法、割合、又は、手術用器具１４に関連する他の情報を認識する際の閲覧者を支援することができる。手術用器具の例としては、バイター、把持具、リトリーバ、ピック、パンチ、フック、プローブ、剥離子、牽引子、又は鋏が挙げられ得る。場合によっては、手術用器具１４は、カメラシステム１０のアラート又は通知を起動して、それらの存在の検出を示すように構成されたアイテムに対応することができる。例えば、手術部位２６内のツール、インプラント、スポンジ、又は他の様々な手術用器具の部分的な構成要素は、蛍光発光３２の存在に応答して、カメラシステム１０によって検出することができる。そのような検出に応答して、方法１７０は、蛍光部２２の存在を示し、かつ対応する手術用器具１４の存在を外科医又は医療専門家に警告する指示（例えば、アラート、命令、通知等）を出力することができる（１８２）。場合によっては、カメラシステム１０のプログラミングは、蛍光発光３２に関連付けられ得る特定の手術用器具１４を定義することができる。そのような場合、ステップ１８２において出力された通知は、カメラシステム１０によって画像データ内で識別された手術用器具１４の特定のタイプ又はカテゴリを示すことができる。ステップ１８２に続いて、検出ルーチンは、ステップ１８４において明示されているように、その検出ルーチンが操作者によって作動解除されるまで、継続することができる。

【0044】

ここで、図１２を参照すると、本開示による、強化された画像データを表示するための方法１９０を明示するフローチャートが示されている。この方法１９０は、カメラシステム１０による強化された画像データ表示ルーチンの開始に応答して開始することができる（１９２）。開始されると、方法１９０は、引き続きステップ１９４に進んで、画像センサ４２ａ及び４２ｂを用いて画像又はセンサデータを取り込むことができる。取り込まれると、表示コントローラ２０は、第１の画像センサ４２ａによって検出されたときに、画像データをスキャンして、蛍光発光３２に対応する波長を用いて、画像データの一部を検出することができる（１９６）。場合によっては、方法１９０は、様々な蛍光剤の濃度を含むことができる複数の蛍光部２２に対応する複数の強度レベルで、画像データ内に描写された複数の蛍光発光３２を識別することができる（１９８）。前述したように、視界４４内で検出された手術用器具１４の蛍光部２２の各々は、蛍光剤の特有の濃度を含むことができ、その結果、発生した蛍光発光３２は、異なる強度レベルで第１の画像センサ４２ａによって出力及び検出され得る。異なる強度レベルに基づいて、表示コントローラ２０は、画像データ内の異なる特徴的な色としてオーバーレイ６２を割り当てて、表示デバイス２４上に表示するために、強化された画像データを生成することができる（２００）。

【0045】

場合によっては、表示コントローラ２０は、蛍光発光３２の異なる強度を経時的に識別することができ、その結果、強化された画像データのオーバーレイ６２に関連付けられた特徴的な色又はパターンは、対応する手術用器具１４が画像データ内に同時に提示されない場合であっても、維持することができる。例えば、表示コントローラ２０は、より低い強度の蛍光発光３２を第１の色に、中程度の強度の蛍光発光３２を第２の色に、かつ第３の強度の蛍光発光３２を第３の色に関連付けるように事前設定されてもよい。相対的な強度は、蛍光発光３２の各々に関連付けられた輝度のパーセンテージ又は相対レベルに対応し得る。例えば、３つのレベルの輝度が検出された場合、最大強度が、第３の色に関連付けられ得る。中間の強度は、第２の色に関連付けられ得、最小又は最低の強度が、第１の色に関連付けられ得る。強化された画像データが生成されると、それは、表示コントローラのインターフェースを制御することによって、表示デバイス２４上に更に選択的に表示され得る（２０２）。ステップ２０２に続いて、表示ルーチンは、作動解除されるまで、継続し得る（２０４）。

【0046】

ここで、図１３を参照すると、カメラシステム１０のブロック図が示されている。本開示全体にわたって説明されているように、システム１０は、表示コントローラ２０と通信するカメラ６０を備えることができる。このカメラ６０は、複数の光源３６、４０、少なくとも１つの画像センサ４２（例えば、４２ａ、４２ｂ）、カメラコントローラ４６、及びユーザインターフェース２１０を含むことができる。様々な実施態様では、カメラ６０は、様々な非侵襲性手術技法に適した狭い遠位端部を含む細長いスコープを有する内視鏡に対応することができる。例えば、遠位端部は、２ｍｍ未満の直径を含むことができる。明示されているように、カメラ６０は、通信インターフェースを介して、表示コントローラ２０と通信することができる。導電接続を介して接続されているように示されているが、通信インターフェースは、１つ以上の無線通信プロトコル（例えば、ＷｉＦｉ、８０２．１１ｂ／ｇ／ｎ等）を介して動作する無線通信インターフェースに対応することができる。

【0047】

光源３６、４０は、可視範囲及び／又は近赤外範囲の光を生成するように構成された様々な光エミッタに対応することができる。様々な実施態様では、光源３６、４０は、発光ダイオード（ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＬＥＤ）、レーザダイオード、又は他の照明技術を含むことができる。前述したように、第１の光源３６は、概して、ほぼ６５０ｎｍ～９００ｎｍの波長を含む近赤外範囲の発光を出力するように構成されたレーザエミッタに対応することができる。いくつかの例では、第１の光源３６は、ほぼ６７０ｎｍの中心周波数で、６５０ｎｍ～６８０ｎｍにわたる励起発光３４を出力することができる。場合によっては、第１の光源３６は、ほぼ７４０ｎｍ～７８０ｎｍの波長範囲の励起発光３４を出力し得る。より一般的には、第１の光源３６及び励起発光３４に関連付けられた波長は、蛍光部２２の蛍光剤を効果的に活性化させるように選択され得る。第２の光源４０は、ほぼ３８０ｎｍ～７００ｎｍ、又はほぼ４００ｎｍ～６５０ｎｍにわたる波長を含む、可視スペクトル内の白色光源に対応することができる。

【0048】

画像センサ４２ａ、４２ｂは、例えば、電荷結合デバイス（ＣＣＤ）センサ、相補形金属酸化膜半導体（ＣＭＯＳ）センサ、又は同様のセンサ技術を含む、様々なセンサ及び構成に対応することができる。前述したように、システム１０、特に表示コントローラ２０は、画像センサ４２の各々によって取り込まれた画像データを処理又は比較して、蛍光発光３２を識別し、画像データ内の蛍光発光３２の存在及び／若しくは場所を示す１つ以上の色（例えば、特徴的な色１０２）、パターン、マーカー、グラフィック、メッセージ、並びに／又は注釈の形態で、オーバーレイ６２を適用することができる。動作中、光フィルタ５２ａ、５２ｂ（例えば、帯域通過フィルタ）は、視界４４における、蛍光発光３２及び可視光発光３８の組み合わされた波長をフィルタリングし、かつ効果的に分離することができる。したがって、第１の画像センサ４２ａによって受信されたフィルタリングされた光は、画像データ内の蛍光発光３２の場所と、手術用器具１４の蛍光部２２の対応する場所とを識別するマップを提供することができる。

【0049】

カメラコントローラ４６は、制御回路に対応することができ、その制御回路は、画像センサ４２ａ、４２ｂ及び光源３６、４０の動作を制御して、蛍光発光３２に関連付けられた可視光スペクトル、並びに近赤外線のスペクトル又は波長における画像データの同時発生又は同時取り込みを提供するように構成される。更に、カメラコントローラ４６は、ユーザインターフェース２１０と通信することができ、それは、１つ以上の入力デバイス、インジケータ、表示器などを含む。ユーザインターフェースは、本明細書で説明されているように、１つ以上のルーチンの作動を含むカメラ６０の制御を提供することができる。カメラコントローラ４６は、コントローラ、マイクロコントローラ、特定用途向け集積コントローラ（ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｏｎｔｒｏｌｌｅｒ、ＡＳＩＣ）、及び／若しくは様々な制御回路、又はそれらの組み合わせの様々な形態によって実装することができる。

【0050】

表示コントローラ２０は、プロセッサ２１２及びメモリ２１４を含むことができる。プロセッサ２１２は、例えば、１つ以上の処理コアを有する中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）、グラフィック処理装置（ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＧＰＵ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）などを含む、１つ以上のデジタル処理デバイスを含むことができる。いくつかの構成では、複数の処理デバイスが、システムオンチップ（Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ、ＳｏＣ）構成に組み合わされ、一方、他の構成では、処理デバイスは、個別のコンポーネントに対応することができる。動作中、プロセッサ２１２は、メモリ２１４に記憶されたプログラム命令を実行して、本明細書で説明された動作を実施する。

【0051】

メモリ２１４は、例えば、デジタルデータを記憶する磁気又は半導体駆動装置、及びランダムアクセスメモリ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＲＡＭ）デバイスを含む、１つ以上のデータストレージデバイスを含むことができる。メモリ２１４には、１つ以上の記憶されたプログラム命令、対象物検出テンプレート、画像処理アルゴリズム等が含まれ得る。図に示すように、メモリ２１４は、検出モジュール２１６及び注釈モジュール２１８を含むことができる。検出モジュール２１６は、画像データを処理して第１の画像センサ４２ａからの蛍光発光３２を識別し、かつ手術用器具１４の蛍光部２２が蛍光発光３２を放出した視界４４内の場所を検出するための命令を含む。場合によっては、検出モジュール２１６は、カメラ６０によって取り込まれた画像データにおいて手術用器具１４に関連付けられたタイプ又は分類を検出又は識別するための命令を含むことができる。例えば、プロセッサ２１２は、検出モジュール２１６内の命令にアクセスして、前処理、フィルタリング、マスキング、クロッピング、及び様々な強化技法を含む、画像データに対する様々な処理タスクを実施して、検出能力及び効率を改善することができる。更に、検出モジュール２１６は、テンプレートマッチング、文字認識、特徴識別、又はマッチング等を含む様々な特徴検出タスクを処理するための命令を提供することができる。いくつかの例では、検出モジュール２１６はまた、対象物検出、及び／又は手術用器具１４若しくは関連する対象物のラベル付けのための様々な訓練モデルを含むこともできる。いくつかの実施態様では、手術用器具の検出は、同一性、存在、又は分類のいずれかによって、表示デバイス２４、制御コンソール１６、外部デバイス若しくはサーバ２２０、又は、手術用カメラシステム１０に関連付けられた様々な接続されたデバイス上に、アラート又は通知を出力するための命令を開始することができる。

【0052】

注釈モジュール２１８は、強化された画像データを生成するための様々なマーキング又はオーバーレイオプションを示す命令、並びにオーバーレイ６２を画像データに重ね合わせるか又は適用するための対応する表示フィルタを含むことができる。前述したように、強化された画像データはまた、手術用器具１４の分類若しくは識別に関連する場所、存在、同一性、又は他の情報を示す、１つ以上のグラフィック、注釈、ラベル、マーカー、及び／又は識別子を含むこともできる。注釈モジュール２１８は、更に、グラフィック、ラベル、オーバーレイ、又は他の関連したグラフィック情報を生成するための命令を提供することができ、それらの情報は、第２の画像センサ４２ｂ（例えば、可視光センサ）によって取り込まれた画像データに適用されて、表示デバイス２４上に表示するための強化された画像データを生成することができる。

【0053】

表示コントローラ２０は、より多くのフォーマッティング回路２２２のうちの１つを更に含むことができ、そのフォーマッティング回路は、カメラ６０から受信された画像データを処理し、プロセッサ２１２と通信し、強化された画像データを表示デバイス２４に出力することができる。フォーマッティング回路２２２は、１つ以上の信号処理回路、アナログデジタルコンバータ、デジタルアナログコンバータ等を含むことができる。表示コントローラは、ユーザインターフェース２２４を含むことができ、それらは、統合化されたインターフェース（例えば、タッチスクリーン、入力ボタン、電子表示器等）の形態であってもよく、又は１つ以上の接続された入力デバイス（例えば、タブレット）若しくは周辺デバイス（例えば、キーボード、マウス等）によって実装されてもよい。図に示すように、コントローラ２０はまた、外部デバイス又はサーバ２２０と通信し、それらは、ネットワーク、ローカル若しくはクラウドベースのサーバ、デバイスハブ、中央コントローラ、又は、１つ以上の有線（例えば、イーサネット）若しくは無線通信（例えば、ＷｉＦｉ、８０２．１１ｂ／ｇ／ｎ等）プロトコルを介して、表示コントローラ２０、及びより一般的にはカメラシステム１０と通信することができる様々なデバイスに対応することができる。例えば、表示コントローラ２０は、様々なモジュール及びルーチンに対する更新を受信することができ、並びに、システム１０に対する動作、診断、及び更新を改善するために、カメラ６０からリモートサーバにサンプル画像データを通信することができる。ユーザインターフェース２２４、外部サーバ２２０、及び／又は手術用制御コンソール１６は、１つ以上のＩ／Ｏ回路２２６を介して、コントローラ２０と通信することができる。このＩ／Ｏ回路は、イーサネット／ＩＰ、ＴＣＰ／ＩＰ、ユニバーサルシリアルバス、Ｐｒｏｆｉｂｕｓ、Ｐｒｏｆｉｎｅｔ、Ｍｏｄｂｕｓ、シリアル通信等を含む、様々な通信プロトコルをサポートすることができるが、これらに限定されない。

【0054】

様々な実施態様では、本開示は、蛍光剤を含む手術用器具を示す画像データを取り込むように構成された手術用カメラシステムを提供する。この手術用カメラシステムは、第１の波長範囲及び第２の波長範囲を含む画像データを取り込むように構成された少なくとも１つのセンサを含むカメラを備える。励起光源は、励起波長で励起発光を放出する。コントローラは、カメラの少なくとも１つのセンサと通信する。コントローラは、少なくとも１つのセンサからの画像データを処理することと、第２の波長範囲内の、蛍光剤によって生成された蛍光発光に応答して、画像データの少なくとも１つの蛍光部を検出することと、を行うように構成される。コントローラは、画像データ内の手術用器具の少なくとも１つの蛍光部を明示する強化された画像データを生成するように更に構成される。

【0055】

様々な実施態様では、本出願に記載されたシステム及び方法は、以下の特徴若しくはステップのうちの１つ以上のみ、又はその組み合わせを含むことができ、
－第１の波長範囲は、可視光範囲の４００ｎｍ～６５０ｎｍの波長を含み、
－第２の波長範囲は、近赤外範囲内の６５０ｎｍ～９００ｎｍにわたる波長を含み、
－蛍光発光は、励起波長とは異なる出力波長で、蛍光剤から送出され、
－可視光源は、第１の波長範囲内の光を放出し、
－励起光源、可視光源、及びカメラは、内視鏡に組み込まれ、
－内視鏡は、約２ｍｍ未満の直径を有し、
－カメラの少なくとも１つのセンサは、第１の波長範囲内の第１のデータを取り込むように構成された第１のセンサ、及び第２の波長範囲内の第２のデータを取り込むように構成された第２のセンサを含み、
－第２のセンサからの第２のデータによって画定されたオーバーレイを、第１のセンサからの第１のデータ上に選択的に適用することによって、強化された画像データを生成し、
－コントローラは、第２の波長範囲内の、蛍光剤によって生成された、少なくとも１つの蛍光部から出力された蛍光発光の複数の強度レベルを決定するように更に構成され、
－コントローラは、複数の強度レベルの各々に特有の色又はパターンを割り当てるように更に構成され、
－画像データの強化は、強化された画像データ内で複数の強度レベルの各々を、特有の色又はパターンとして明示する蛍光部上に、特有の色又はパターンをオーバーレイすることを含む。

【0056】

様々な実施態様では、本開示は、手術用器具を表示するための方法を提供し、この方法は、手術用器具の蛍光部を、可視光に対応する第１の波長範囲、及び励起発光を含む第２の波長範囲を含む光で照光することを含むことができる。方法は、第１の波長範囲を含む第１の画像データを取り込むことと、励起発光に応答して、蛍光部から出力された蛍光発光を明示する、第２の波長範囲を含む第２の画像データを取り込むことと、を更に含むことができる。方法は、第１の画像データ上にオーバーレイされた第２の画像データによって画定された蛍光部を明示する少なくとも１つのオーバーレイ又はグラフィックを有する、第１の画像データを明示する強化された画像データを生成することと、表示デバイス上に表示するために、強化された画像データを通信することと、を更に含む。

【0057】

様々な実施態様では、本出願に記載されたシステム及び方法は、以下の特徴若しくはステップのうちの１つ以上のみ、又はその組み合わせを含むことができ、
－手術用器具を手術野内に配置することと、
－励起発光で手術用器具を標的にすることと、
－画像データ内で蛍光発光を検出することと、
－蛍光発光を検出することに応答して、画像データ内で検出された手術用器具の指示を出力することと、
－検出された蛍光発光を、事前定義された疑似色で、オーバーレイとして表示器上に表示することと、
－蛍光部から放出された蛍光発光は、励起波長とは異なる波長で出力されることと、
－複数の強度レベルで蛍光剤によって生成された、蛍光部から出力された蛍光発光の強度を識別することと、
－複数の強度レベルの各々に、特有の色又はパターンを割り当てることと、
－画像データの強化は、強化された画像データ内で複数の強度レベルの各々を明示する蛍光部上に、特有の色又はパターンをオーバーレイすることを含むことと、
－蛍光剤から生物学的組織を通って出力された蛍光発光を検出することと、及び／又は
－励起発光は、生物学的組織を通って送出されることと、である。

【0058】

いくつかの実施態様では、本開示は、蛍光剤を含む手術用器具を示す画像データを取り込むように構成された手術用カメラシステムを提供する。手術用カメラシステムは、第１の波長範囲及び第２の波長範囲を含む画像データを取り込むように構成された少なくとも１つのセンサを含むカメラを備える。励起光源は、励起波長で励起発光を放出する。コントローラは、カメラのセンサと通信する。コントローラは、第１の波長範囲及び第２の波長範囲を含む、少なくとも１つの画像センサからの画像データを処理することと、第２の波長範囲内の、蛍光剤によって生成された、少なくとも１つの蛍光部から出力された少なくとも１つの蛍光発光の複数の強度レベルを識別することと、を行うように構成される。コントローラは、複数の強度レベルの各々に、特有の色又はパターンを割り当てることと、特有の色又はパターンを有する、蛍光発光の複数の強度レベルを明示する強化された画像データを生成することと、を行うように更に構成される。いくつかの実施態様では、画像データの強化は、強化された画像データ内で複数の強度レベルの各々を明示する蛍光部上に、特有の色又はパターンをオーバーレイすることを含む。

【0059】

いくつかの実施態様では、手術用器具は、近位端部及び遠位端部を含む外面を形成する本体を備えることができる。蛍光部は、外面上に配設された蛍光剤を含むことができる。蛍光部は、外面上に延在する少なくとも１つのマーキングを含むことができ、蛍光部は、励起発光に応答して近赤外範囲内の蛍光発光を放出するように構成される。

【0060】

様々な実施態様では、本出願に記載されたシステム及び方法は、以下の特徴若しくはステップのうちの１つ以上のみ、又はその組み合わせを含むことができ、
－蛍光部の少なくとも１つのマーキングは、手術用器具の同一性、手術用器具の配向、及び手術用器具の寸法からなる群の中の少なくとも１つを示し、
－少なくとも１つのマーキングは、手術用器具の位置又は配向に関連付けられたスケールを明示する複数の目盛り付きセグメントを含み、
－少なくとも１つのマーキングは、近位端部と遠位端部との間に延在する複数の横方向目盛り付きマーキングを含み、
－少なくとも１つのマーキングは、近位端部と遠位端部との間に、長手方向軸に沿った少なくとも１つの長手方向マーキングを含み、
－少なくとも１つのマーキングは、蛍光部によって外面上に形成された１つ以上のインジケータ記号を含み、インジケータ記号は、パターン、形状、及び英数字のうちの少なくとも１つを含み、
－インジケータ記号は、少なくとも１つのマーキングの測定単位又はスケールを識別し、 －少なくとも１つのマーキングは、外面に形成された溝又は刻み目内に配設され、
－蛍光部の配向開口部は、手術用器具の配向に応答して、溝又は刻み目内に露出され、
－配向開口部は、励起発光が出力される光源に対する手術用器具の配向に基づいて、励起発光によって照光され、
－配向は、開口部を通って投影された蛍光発光の広がりに基づいて、識別可能であり、
－光源は、内視鏡内に組み込まれ、
－蛍光剤は、約６００ｎｍ～約９００ｎｍの励起波長、及び約８３０ｎｍの発光波長を含むインドシアニングリーン色素であり、
－手術用器具は、縫合糸、ピン、ねじ、プレート、手術用ツール、及びインプラントからなる群から選択され、かつ／又は
－手術用器具は、バイター、把持具、リトリーバ、ピック、パンチ、フック、プローブ、剥離子、牽引子、又は鋏からなる群から選択される。

【0061】

いくつかの実施態様では、手術用検出システムは、動作領域内で少なくとも１つの手術用器具を識別するように構成され得る。システムは、第１の波長範囲及び第２の波長範囲を含む画像データを取り込むように構成された少なくとも１つのセンサを含むカメラを備えることができる。励起光源は、励起波長で励起発光を放出する。コントローラは、カメラの少なくとも１つのセンサと通信し、コントローラは、少なくとも１つのセンサからの画像データを処理することと、手術用器具の少なくとも１つの蛍光部から出力された、画像データ内の蛍光発光を識別することと、を行うように構成される。コントローラは、蛍光発光の存在に応答して、手術用器具の存在を検出するように更に構成される。

【0062】

様々な実施態様では、本出願に記載されたシステム及び方法は、以下の特徴若しくはステップのうちの１つ以上のみ、又はその組み合わせを含むことができ、
－蛍光発光は、ほぼ６５０ｎｍ～９００ｎｍの近赤外範囲内の光の波長を含み、
－コントローラは、手術用器具の場所に対応する近赤外範囲内の、画像データ内の複数の画素を検出するように更に構成され、
－コントローラは、複数の画素のパターン、形状、及び英数字のうちの少なくとも１つに応答して、手術用器械を識別するように更に構成され、
－コントローラは、手術用器具の存在を識別する指示を出力するように更に構成され、
－指示は、画像データ内で手術用器具の場所を明示する通知として、表示デバイス上に出力され、
－コントローラは、外科手技に関連付けられた潜在的な手術用器具の外観を特徴付ける少なくとも１つのコンピュータビジョンテンプレートを含むデータベースにアクセスすることと、コンピュータビジョンテンプレートに対応する近赤外範囲内の複数の画素に応答して、潜在的な手術用器具を少なくとも１つの手術用器具として識別することと、を行うように更に構成され、
－コントローラは、コンピュータビジョンテンプレートに関連付けられた識別に応答して、少なくとも１つの手術用器具のタイプ又はカテゴリを識別する通知を表示デバイスに出力するように更に構成され、
－手術用器具は、スポンジ、縫合糸、ピン、ねじ、プレート、手術用ツール、及びインプラントからなる群から選択され、
－手術用器具は、バイター、把持具、リトリーバ、ピック、パンチ、フック、プローブ、剥離子、牽引子、針、又は鋏からなる群から選択され、
－少なくとも１つの手術用器具は、複数の手術用器具を含み、少なくとも１つの蛍光発光は、複数の手術用器具から出力された複数の蛍光発光を含み、コントローラは、複数の手術用器具から出力された蛍光発光の強度又はパターンのうちの少なくとも１つに応答して、複数の手術用器具の間を区別するように更に構成され、かつ／又は
－複数の手術用器具は、複数の縫合糸を含み、コントローラは、手術用器具の蛍光部の特徴的なパターンに応答して、複数の縫合糸の間を区別するように構成される。

【0063】

いくつかの実施態様では、手術用カメラシステムは、蛍光剤を含む手術用器具を示す画像データを取り込むように構成され得る。手術用カメラシステムは、第１の波長範囲及び第２の波長範囲を含む、視界内の画像データを取り込むように構成された少なくとも１つのセンサを含む内視鏡カメラを備えることができる。励起光源は、励起波長で励起発光を放出する。コントローラは、カメラのセンサと通信する。コントローラは、空洞を描写する、視界内の少なくとも１つのセンサからの画像データを処理することと、画像データにおいて、手術用器具の少なくとも１つの蛍光部から出力された蛍光発光を検出することと、を行うように構成される。蛍光発光は、空洞の少なくとも一部を形成する生物学的組織を通って送出される。蛍光発光に応答して、コントローラは、画像データ内に描写された生物学的組織上にオーバーレイされた、手術用器具の少なくとも１つの蛍光部を明示する強化された画像データを生成する。

【0064】

様々な実施態様では、本出願に記載されたシステム及び方法は、以下の特徴若しくはステップのうちの１つ以上のみ、又はその組み合わせを含むことができ、
－励起光源は、励起発光を空洞に出力するように構成された針状の突起を形成する細長いシャフトを含み、
－励起光源は、細長いシャフトを形成する針の遠位貫通端から励起発光を出力するように構成され、
－励起光源は、視界の第２の起点とは別個である第１の起点を起源とし、
－励起光源は、内視鏡カメラとは別個であり、励起光源及び内視鏡カメラの各々は、独立して空洞にアクセスする。
－コントローラは、画像データにおいて、生物学的組織を通って空洞に送出された蛍光発光を検出するように更に構成され、
－コントローラは、画像データにおいて、手術用器具の少なくとも１つの蛍光部から出力された蛍光発光の存在を識別する指示を出力するように更に構成され、
－指示は、生物学的組織内に埋め込まれた手術用器具の画像データ内の場所を明示する、画像データ上のオーバーレイを含む強化された画像データとして出力され、
－コントローラは、強化された画像データを、画像データ内に描写されたオーバーレイとして生物学的組織上に重ね合わされた手術用器具の場所を明示する表示画面に出力するように更に構成され、
－励起光源は、約０．１ｍＷ／ｃｍ²～１Ｗ／ｃｍ²、０．５ｍＷ／ｃｍ²～５００ｍＷ／ｃｍ²、０．０１ｍＷ／ｃｍ²～２００ｍＷ／ｃｍ²などにわたる強度で光を放出し、実装されるアプリケーション及びエミッタ技術に応じて著しく変化する可能性があり、
－励起発光は、約６００ｎｍ～約９００ｎｍの励起波長で放出され、蛍光発光は、約８３０ｎｍの発光波長で出力される。

【0065】

先行技術に関連付けられた欠点を完全かつ効果的に克服する手術用カメラシステム及び方法が、上記の説明及び図面に開示されている。しかしながら、開示された実施態様の変形及び修正が、本明細書に記載された原理から逸脱することなく行われ得ることは明らかであろう。本明細書の実施態様の表現は、単なる例及び非限定のものとして提供されており、真の範囲及び趣旨は、以下の特許請求の範囲に示される。

【0066】

本明細書で使用される場合、以下に限定されない、「ほぼ」、「実質的に」、又は「約」などの近似単語は、以下の条件を指し、その条件は、そのように修正された場合、必ずしも絶対的又は完全なものではないが、その条件が存在するものとして指定することを保証するために、当業者にとってほぼ十分であるとみなされるように理解される条件である。説明が変化し得る範囲は、変更がどれだけ大きく設定され得るかに依存し、更に、修正された特徴を、修正されていない特徴の必要な特性又は潜在能力を有するものとして、当業者に依然として認識させ得る。一般に、ただし、前述の説明を対象となるが、「ほぼ」などの近似単語によって修正される本明細書における数値は、記述値から±０．５％、±１％、±２％、±３％、±４％、±５％、±１０％、±１２％、又は±１５％まで変化する可能性がある。

【0067】

任意の説明されたプロセス、又は説明されたプロセス内のステップは、他の開示されたプロセス又はステップと組み合わせられて、本デバイスの範囲内での構造を形成することができることが理解されるであろう。本明細書に開示される例示的な構造及びプロセスは、例示を目的とするものであり、限定するものと解釈されるべきではない。

【0068】

また、変形及び修正が、本デバイスの概念から逸脱することなく、前述の構造及び方法において行うことができることも理解されるべきであり、更に、そのような概念は、これらの特許請求の範囲がそれらの言語によって特段明示的に記述されていない限り、以下の特許請求の範囲によって網羅されることが意図されていることを理解されるべきである。

【0069】

上記の説明は、例示された実施形態のみの説明とみなされる。当業者、及びそのデバイスを作製又は使用する者の心には、デバイスの修正が浮かぶであろう。したがって、図面に示され、かつ上述された実施形態は、単なる例示の目的のためであり、デバイスの範囲を限定することは意図されず、それは、特許法の原則に基づいて解釈されるものとして、以下の特許請求の範囲によって定義されることを理解されたい。

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12】

【図13】

【国際調査報告】