▶ インテュイティブ サージカル オペレーションズ， インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-01-25
(54)【発明の名称】組織中の発色団濃度の決定
(51)【国際特許分類】
A61B 1/00 20060101AFI20220118BHJP
A61B 34/35 20160101ALI20220118BHJP
A61B 1/313 20060101ALI20220118BHJP
A61B 1/045 20060101ALI20220118BHJP
H04N 7/18 20060101ALI20220118BHJP
H04N 5/235 20060101ALI20220118BHJP
H04N 5/225 20060101ALI20220118BHJP
H04N 5/232 20060101ALI20220118BHJP
【ＦＩ】
A61B1/00 513
A61B34/35
A61B1/313
A61B1/045 617
A61B1/045 610
H04N7/18 M
H04N5/235 300
H04N5/225 500
H04N5/225 600
H04N5/232 290
H04N5/232 941
H04N5/225 300
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021531649
(86)(22)【出願日】2019-12-04
(85)【翻訳文提出日】2021-06-02
(86)【国際出願番号】 US2019064542
(87)【国際公開番号】W WO2020117982
(87)【国際公開日】2020-06-11
(31)【優先権主張番号】62/775,463
(32)【優先日】2018-12-05
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】510253996
【氏名又は名称】インテュイティブ サージカル オペレーションズ， インコーポレイテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ディカルロ，ジェフリー エム．
(72)【発明者】
【氏名】マクドウォール，イアン イー．
【テーマコード（参考）】
4C161
5C054
5C122
【Ｆターム（参考）】
4C161AA24
4C161BB01
4C161BB08
4C161QQ04
4C161WW08
4C161WW17
5C054CA01
5C054CA04
5C054CA05
5C054CC02
5C054CC07
5C054CF08
5C054EA01
5C054EA05
5C054FC07
5C054FE05
5C054FE18
5C054FE28
5C054FF06
5C054HA12
5C122DA26
5C122FB17
5C122FC06
5C122FF01
5C122FF11
5C122FH11
5C122FH14
5C122FK34
5C122FK37
5C122FK38
5C122FK42
5C122GG19
5C122HA88
5C122HB01
5C122HB05
5C122HB06
5C122HB10
(57)【要約】
本明細書に記載する技術は、内視鏡カメラを使用して、外科シーンの複数の画像を得ることを含む方法において具現されることができ、複数の画像内の各画像は、対応する波長範囲内の電磁放射線による照明の下で得られる。対応する波長範囲は、外科シーン内に存在する発色団のセットに従って選択され、対応する波長範囲のうちの任意の２つは、少なくとも部分的に重なり合わない。方法は、複数の画像に基づいて、外科シーンの様々な部分でセット内の１つ以上の発色団の各発色団の濃度を決定することや、１つ以上の処理デバイスによって、１つ以上の発色団の各発色団の濃度に関する情報に基づいて、外科シーンの表現を生成することも含む。方法は、外科デバイスと関連付けられる出力デバイスに外科シーンの表現を提示することを更に含む。
【特許請求の範囲】
【請求項1】
外科デバイスを使用するときに手術されている外科シーンの状態に関するフィードバックを提示する方法であって、内視鏡カメラを使用して、前記外科シーンの複数の画像を得ることであって、前記複数の画像内の各画像は、対応する波長範囲内の電磁放射線による照明の下で得られ、前記対応する波長範囲は、前記外科シーン内に存在する発色団のセットに従って選択され、前記対応する波長範囲のうちの任意の２つは、少なくとも部分的に重なり合っていない、前記外科シーンの複数の画像を得ることと、
前記複数の画像に基づいて、前記外科シーンの様々な部分で前記セット内の１つ以上の発色団の各発色団の濃度を決定することと、
１つ以上の処理デバイスによって、前記１つ以上の発色団の各発色団の前記濃度に関する情報に基づいて、前記外科シーンの表現を生成することと、
前記外科デバイスと関連付けられる出力デバイスに前記外科シーンの前記表現を提示することとを含む、
方法。
【請求項2】
前記１つ以上の発色団の各発色団の前記濃度を決定することは、前記複数の画像内の複数の画像に亘る画素値のセットを特定することであって、前記セット内の各画素値は、実質的に前記外科シーンの特定の部分を表す、特定することと、
発色団モデルに基づいて、前記複数の画像に亘る前記画素値のセットに対応する前記１つ以上の発色団の各発色団の前記濃度を決定することであって、前記発色団モデルは、発色団濃度及び画素値の組み合わせの間の関係を表す、決定することとを含む、
請求項１に記載の方法。
【請求項3】
前記発色団モデルは、事前に計算され、前記１つ以上の処理デバイスにアクセス可能な格納デバイスにルックアップテーブルの形態で格納される、請求項２に記載の方法。
【請求項4】
前記複数の画像内の複数の画像に亘る画素値のセットを特定することであって、前記セット内の各画素値は、実質的に前記外科シーンの特定の部分を表す、特定することと、前記画素値のセットが、発色団濃度及び画素値の組み合わせの間の関係を表す発色団モデルのように、前記１つ以上の発色団のうちの少なくとも１つについての有効な濃度を表さないことを決定することと、
前記画素値のセットが前記１つ以上の発色団のうちの少なくとも１つについての有効な濃度を表さないという決定に応答して、前記外科シーンに異物が存在する可能性を示す警報を生成することとを更に含む、
請求項１に記載の方法。
【請求項5】
前記対応する波長範囲は、前記発色団のセット内の前記発色団の吸収スペクトルに関する情報に基づいて選択される、請求項１に記載の方法。
【請求項6】
前記発色団のセットは、ヘモグロビン、酸素化ヘモグロビン、脂肪、及び水を含む、請求項１に記載の方法。
【請求項7】
前記外科シーンの前記表現を生成することは、前記１つ以上の発色団の各発色団の前記濃度に関する前記情報に基づいて前記外科シーンのハイパースペクトル画像を予測することを含み、前記ハイパースペクトル画像は、前記複数の画像に対応する前記波長範囲の外側の波長に対応する情報を含む、請求項１に記載の方法。
【請求項8】
前記外科シーンの前記表現を生成することは、前記1つ以上の発色団の各発色団の前記濃度に関する前記情報に基づいて前記外科シーンの着色された可視範囲画像を生成することを含み、前記着色された可視範囲画像は、可視光による照明の下での前記外科シーンの外観を表す、請求項１に記載の方法。
【請求項9】
前記内視鏡カメラは、画素当たり３つよりも少ない画像センサを含む、請求項８に記載の方法。
【請求項10】
前記外科シーンの前記表現を生成することは、前記１つ以上の発色団の各発色団の前記濃度に関する前記情報に基づいて前記外科シーンの狭帯域画像を生成することを含み、前記狭帯域画像は、前記複数の画像に対応する前記波長範囲の外側の光による照明の下での前記外科シーンの外観を表す、請求項１に記載の方法。
【請求項11】
前記複数の画像に対応する前記波長範囲のうちの１つ以上の波長範囲の下の照明についての前記外科シーンに入射する照明の量を推定することを更に含む、請求項１に記載の方法。
【請求項12】
前記外科シーンに入射する前記照明の量に関する情報に基づいて前記内視鏡カメラのための露光時間を調整することを更に含む、請求項１１に記載の方法。
【請求項13】
前記外科シーンに入射する前記照明の量に関する情報に基づいて前記複数の画像のうちの1つ以上の画像に対してトーンマッピング操作を実行することを更に含む、請求項１１に記載の方法。
【請求項14】
少なくとも前記複数の画像のサブセットに基づいて、前記外科シーンの様々な部分についての散乱の量を推定することを更に含む、請求項１に記載の方法。
【請求項15】
（ｉ）前記外科シーンの様々な部分についての前記散乱の量に関する情報、及び（ｉｉ）前記1つ以上の発色団の各発色団の前記濃度に関する前記情報に基づいて、前記外科シーンでの２つの異なる組織タイプの間の境界を決定することを更に含む、請求項１４に記載の方法。
【請求項16】
（ｉ）前記外科シーンの様々な部分についての前記散乱の量に関する情報、及び（ｉｉ）前記1つ以上の発色団の各発色団の前記濃度に関する前記情報に基づいて、前記外科シーンでの組織の疾病部分の境界を決定することを更に含む、請求項１４に記載の方法。
【請求項17】
（ｉ）前記外科シーンの様々な部分についての前記散乱の量に関する情報、及び（ｉｉ）前記1つ以上の発色団の各発色団の前記濃度に関する前記情報に基づいて、前記外科シーンに存在する1つ以上の組織タイプを識別することを更に含む、請求項１４に記載の方法。
【請求項18】
前記内視鏡カメラは、前記外科シーンとの物理的な接触を伴わないで、前記複数の画像を取り込むように構成される、請求項１に記載の方法。
【請求項19】
前記ディスプレイデバイスで前記外科シーンの前記表現を提示することに応答してユーザ入力を受信することを更に含み、前記ユーザ入力は、前記外科シーンで前記外科デバイスを作動させることに関する、請求項１に記載の方法。
【請求項20】
前記カメラは、前記外科シーンに配置される、請求項１に記載の方法。
【請求項21】
前記外科シーンの前記表現は、可視表現を含み、前記出力デバイスは、ディスプレイデバイスを含む、請求項１に記載の方法。
【請求項22】
外科デバイスを使用するときに手術されている外科シーンの状態に関するフィードバックを提示するための撮像システムであって、前記外科シーンの複数の画像を得る内視鏡カメラであって、前記複数の画像中の各画像は、対応する波長範囲内の電磁放射線による照明の下で得られ、前記対応する波長範囲は、前記外科シーンに存在する発色団のセットに従って選択され、前記対応する波長範囲のうちの任意の２つは、少なくとも部分的に重なり合っていない、内視鏡カメラと、
1つ以上の処理デバイスとを含み、該処理デバイスは、
前記複数の画像に基づいて、前記外科シーンの様々な部分における前記セット内の1つ以上の発色団の各発色団の濃度を決定し、
前記１つ以上の発色団の各発色団の前記濃度に関する情報に基づいて、前記外科シーンの表現を生成し、且つ
前記外科シーンに関連する出力デバイスで前記外科シーンの前記表現の提示をもたらす、
ように構成される、
撮像システム。
【請求項23】
前記対応する波長範囲は、前記発色団のセット内の前記発色団の吸収スペクトルに関する情報に基づいて選択される、請求項２２に記載の撮像システム。
【請求項24】
前記発色団のセットは、ヘモグロビン、酸素化ヘモグロビン、脂肪、及び水を含む、請求項２２に記載の撮像システム。
【請求項25】
前記外科シーンの前記表現を生成することは、前記１つ以上の発色団の各発色団の前記濃度に関する前記情報に基づいて前記外科シーンのハイパースペクトル画像を予測することを含み、前記ハイパースペクトル画像は、前記複数の画像に対応する前記波長範囲の外側の波長に対応する情報を含む、請求項２２に記載の撮像システム。
【請求項26】
前記外科シーンの前記表現を生成することは、前記１つ以上の発色団の各発色団の前記濃度に関する前記情報に基づいて前記外科シーンの着色された可視範囲画像を生成することを含み、前記着色された可視範囲画像は、可視光による照明の下での前記外科シーンの外観を表す、請求項２２に記載の撮像システム。
【請求項27】
前記内視鏡カメラは、画素当たり３つよりも少ない画像センサを含む、請求項２６に記載の撮像システム。
【請求項28】
前記外科シーンの前記表現を生成することは、前記１つ以上の発色団の各発色団の前記濃度に関する前記情報に基づいて前記外科シーンの狭帯域画像を生成することを含み、前記狭帯域画像は、前記複数の画像に対応する前記波長範囲の外側の光による照明の下での前記外科シーンの外観を表す、請求項２２に記載の撮像システム。
【請求項29】
前記１つ以上の処理デバイスは、前記複数の画像に対応する前記波長範囲のうちの１つ以上の波長範囲の下での照明についての前記外科シーンに入射する照明の量を推定するように構成される、請求項２２に記載の撮像システム。
【請求項30】
前記１つ以上の処理デバイスは、前記外科シーンに入射する前記照明の量に関する情報に基づいて前記内視鏡カメラのための露光時間を調整するように構成される、請求項２９に記載の撮像システム。
【請求項31】
前記１つ以上の処理デバイスは、前記外科シーンに入射する前記照明の量に関する情報に基づいて前記複数の画像のうちの１つ以上の画像に対してトーンマッピング操作を実行するように構成される、請求項２９に記載の撮像システム。
【請求項32】
前記１つ以上の処理デバイスは、少なくとも前記複数の画像のサブセットに基づいて、前記外科シーンの様々な部分についての散乱の量を推定するように構成される、請求項２９に記載の撮像システム。
【請求項33】
前記１つ以上の処理デバイスは、（ｉ）前記外科シーンの様々な部分についての前記散乱の量に関する情報、及び（ｉｉ）前記1つ以上の発色団の各発色団の前記濃度に関する前記情報に基づいて、前記外科シーンでの２つの異なる組織タイプの間の境界を決定するように構成される、請求項３２に記載の撮像システム。
【請求項34】
前記１つ以上の処理デバイスは、（ｉ）前記外科シーンの様々な部分についての前記散乱の量に関する情報、及び（ｉｉ）前記1つ以上の発色団の各発色団の前記濃度に関する前記情報に基づいて、前記外科シーンでの組織の疾病部分の境界を決定するように構成される、請求項３２に記載の撮像システム。
【請求項35】
前記１つ以上の処理デバイスは、（ｉ）前記外科シーンの様々な部分についての前記散乱の量に関する情報、及び（ｉｉ）前記1つ以上の発色団の各発色団の前記濃度に関する前記情報に基づいて、前記外科シーンに存在する1つ以上の組織タイプを識別するように構成される、請求項３２に記載の撮像システム。
【請求項36】
前記内視鏡カメラは、前記外科シーンとの物理的な接触を伴わないで、前記複数の画像を取り込むように構成される、請求項２２に記載の撮像システム。
【請求項37】
前記１つ以上の処理デバイスは、前記ディスプレイデバイスで前記外科シーンの前記表現を提示することに応答してユーザ入力を受信するように構成され、前記ユーザ入力は、前記外科シーンで前記外科デバイスを作動させることに関する、請求項２２に記載の撮像システム。
【請求項38】
前記カメラは、前記外科シーンに配置される、請求項２２に記載の撮像システム。
【請求項39】
前記外科シーンの前記表現は、可視表現を含み、前記出力デバイスは、ディスプレイデバイスを含む、請求項２２に記載の撮像システム。
【請求項40】
１つ以上の処理デバイスに動作を実行させるためのコンピュータ可読命令を符号化する1つ以上の機械可読格納デバイスであって、前記動作は、内視鏡カメラから、前記外科シーンの複数の画像を得ることであって、前記複数の画像内の各画像は、対応する波長範囲内の電磁放射線による照明の下で得られ、前記対応する波長範囲は、前記外科シーン内に存在する発色団のセットに従って選択され、前記対応する波長範囲のうちの任意の２つは、少なくとも部分的に重なり合っていない、前記外科シーンの複数の画像を得ることと、
前記複数の画像に基づいて、前記外科シーンの様々な部分で前記セット内の１つ以上の発色団の各発色団の濃度を決定することと、
前記１つ以上の発色団の各発色団の前記濃度に関する情報に基づいて、前記外科シーンの表現を生成することと、
前記外科デバイスと関連付けられる出力デバイスに前記外科シーンの前記表現を提示させることとを含む、
１つ以上の機械可読格納デバイス。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の参照）
この出願は、２０１８年１２月５日に出願された「組織中の発色団濃度の決定」という名称の米国仮出願第６２／７７５，４６３号の利益を主張する。前述の出願の開示は、その全体が参照により本明細書に援用される。
この出願は、２０１８年１２月５日に出願された「組織中の発色団濃度の決定」という名称の米国仮出願第６２／７７５，４６３号の利益を主張する。前述の出願の開示は、その全体が参照により本明細書に援用される。
【0002】
この開示は、内視鏡外科システムで使用される撮像(imaging)に関する。
【背景技術】
【0003】
外科的介入を受ける患者が経験する外傷を減少させるために、最小侵襲外科システムが開発されている。これらのシステムは、小さな切開部(incisions)のみを必要とし、外科医は、手術を行うためにカメラ及び器具のようなスティックを使用する。外傷を減少させることに加えて、このタイプの遠隔操作システムは、外科医の器用さを増加させ、且つ外科医が遠隔場所から患者を手術することを可能にする。遠隔手術は、外科医が、器具を直接手で保持して動かすよりもむしろ、外科器具の動きを操作するために、何らかの形態の遠隔制御装置、例えば、サーボ機構又は同等物を使用する、外科システムについての一般的な用語である。そのような遠隔手術システムにおいて、外科医は、ディスプレイデバイスを通じて手術部位の画像を提供される。ディスプレイデバイスを通じて受信する視覚的なフィードバックに基づいて、外科医は、マスタ制御入力デバイスを操作することによって患者に対する外科的処置を実行し、次に、マスタ制御入力デバイスは、遠隔ロボット器具の動作を制御する。
【発明の概要】
【0004】
１つの態様において、この文書は、外科デバイスを使用するときに手術されている外科シーンの状態に関するフィードバックを提示する方法を特徴とする。方法は、内視鏡カメラを使用して、外科シーンの複数の画像を得ることを含み、複数の画像内の各画像は、対応する波長範囲内の電磁放射線による照明の下で得られる。対応する波長範囲は、外科シーン内に存在する発色団のセットに従って選択され、対応する波長範囲のうちの任意の２つは、少なくとも部分的に重なり合っていない。方法は、複数の画像に基づいて、外科シーンの様々な部分でセット内の１つ以上の発色団の各発色団の濃度を決定することや、１つ以上の処理デバイスによって、１つ以上の発色団の各発色団の濃度に関する情報に基づいて、外科シーンの表現を生成することも含む。方法は、外科デバイスと関連付けられる出力デバイスに外科シーンの表現を提示することを更に含む。
【0005】
別の態様において、この文書は、外科デバイスを使用するときに手術されている外科シーンの状態に関するフィードバックを提示するための撮像システムを特徴とする。システムは、外科シーンの複数の画像を得る内視鏡カメラを含み、複数の画像中の各画像は、対応する波長範囲内の電磁放射線による照明の下で得られる。対応する波長範囲は、外科シーンに存在する発色団のセットに従って選択され、対応する波長範囲のうちの任意の２つは、少なくとも部分的に重なり合っていない。システムは、１つ以上の処理デバイスも含み、処理デバイスは、複数の画像に基づいて、外科シーンの様々な部分におけるセット内の1つ以上の発色団の各発色団の濃度を決定し、1つ以上の発色団の各発色団の濃度に関する情報に基づいて、外科シーンの表現を生成し、且つ外科シーンに関連する出力デバイスで外科シーンの表現の提示をもたらす、ように構成される。
【0006】
別の態様において、この文書は、１つ以上の処理デバイスに様々な動作を実行させるためのコンピュータ可読命令を符号化する1つ以上の機械可読格納デバイスを特徴とする。動作は、内視鏡カメラから、外科シーンの複数の画像を得ることを含み、複数の画像中の各画像は、対応する波長範囲内の電磁放射線による照明の下で得られる。対応する波長範囲は、外科シーン内に存在する発色団のセットに従って選択され、対応する波長範囲のうちの任意の２つは、少なくとも部分的に重なり合っていない。動作は、複数の画像に基づいて、外科シーンの様々な部分でセット内の１つ以上の発色団の各発色団の濃度を決定することや、１つ以上の発色団の各発色団の濃度に関する情報に基づいて、外科シーンの表現を生成することや、外科デバイスと関連付けられる出力デバイスに外科シーンの表現を提示させることも含む。
【0007】
上記態様の実装は、以下の構成のうちの１つ以上を含むことができる。
【0008】
１つ以上の発色団の各発色団の濃度を決定することは、複数の画像内の複数の画像に亘る画素値のセットを特定することであって、セット内の各画素値は、実質的に外科シーンの特定の部分を表す、特定することと、発色団モデルに基づいて、複数の画像に亘る画素値のセットに対応する１つ以上の発色団の各発色団の濃度を決定することを含むことができる。発色団モデルは、発色団濃度及び画素値の組み合わせの間の関係を表す。発色団モデルは、事前に計算されることができ、１つ以上の処理デバイスにアクセス可能な格納デバイスにルックアップテーブルの形態で格納されることができる。ある場合には、画素値のセットが、複数の画像内の複数の画像に亘って特定されることででき、セット内の各画素値は、実質的に外科シーンの特定の部分を表す。画素値のセットが、発色団濃度及び画素値の組み合わせの間の関係を表す発色団モデルのように、１つ以上の発色団のうちの少なくとも１つについての有効な濃度を表さないことの決定が行われてよく、相応して、外科シーンに異物が存在する可能性を示す警報が生成されることができる。対応する波長範囲は、発色団のセット内の発色団の吸収スペクトルに関する情報に基づいて選択されることができる。発色団のセットは、ヘモグロビン、酸素化ヘモグロビン、脂肪、及び水を含むことができる。外科シーンの表現を生成することは、１つ以上の発色団の各発色団の濃度に関する情報に基づいて外科シーンのハイパースペクトル画像を予測することを含むことができる。ハイパースペクトル画像は、複数の画像に対応する波長範囲の外側の波長に対応する情報を含む。外科シーンの表現を生成することは、1つ以上の発色団の各発色団の濃度に関する情報に基づいて外科シーンの着色された可視範囲画像を生成することを含むことができ、着色された可視範囲画像は、可視光による照明の下での外科シーンの外観を表す。内視鏡カメラは、画素当たり３つよりも少ない画像センサを含むことができる。外科シーンの表現を生成することは、１つ以上の発色団の各発色団の濃度に関する情報に基づいて外科シーンの狭帯域画像を生成することを含むことができ、狭帯域画像は、複数の画像に対応する波長範囲の外側の光による照明の下での外科シーンの外観を表す。外科シーンに入射する照明の量が、複数の画像に対応する波長範囲のうちの１つ以上の波長範囲の下での照明について推定されることができる。内視鏡カメラのための露光時間が、外科シーンに入射する照明の量に関する情報に基づいて調整されることができる。トーンマッピング操作(tone-mapping operation)が、外科シーンに入射する照明の量に関する情報に基づいて複数の画像のうちの1つ以上の画像に対して実行されることができる。外科シーンの様々な部分についての散乱の量についての推定が、少なくとも複数の画像のサブセットに基づいて行われることができる。（ｉ）外科シーンの様々な部分についての散乱の量に関する情報、及び（ｉｉ）1つ以上の発色団の各発色団の濃度に関する情報に基づいて、外科シーンでの２つの異なる組織タイプの間の境界が決定されることができる。（ｉ）外科シーンの様々な部分についての散乱の量に関する情報、及び（ｉｉ）1つ以上の発色団の各発色団の濃度に関する情報に基づいて、外科シーンでの組織の疾病部分の境界が決定されることができる。（ｉ）外科シーンの様々な部分についての散乱の量に関する情報、及び（ｉｉ）1つ以上の発色団の各発色団の濃度に関する情報に基づいて、外科シーンに存在する1つ以上の組織タイプが識別されることができる。内視鏡カメラは、外科シーンとの物理的な接触を伴わないで、複数の画像を取り込むように構成されることができる。ディスプレイデバイスで外科シーンの表現を提示することに応答して、ユーザ入力が受信されることができ、ユーザ入力は、外科シーンで外科デバイスを作動させることに関する。カメラは、外科シーンに配置されることができる。外科シーンの表現は、可視表現を含むことができ、出力デバイスは、ディスプレイデバイスを含む。
【0009】
本明細書に記載する実施形態の一部又は全部は、以下の利点の１つ以上を提供することがある。外科シーンに存在すると予想される発色団に従って照明波長範囲を選択することによって、外科シーンでの発色団の濃度は、少数の画像から推定されることができる。そのようにして得られる発色団推定値を用いて、外科シーンに関する様々なタイプのフィードバック情報を予測／推定／生成することができる。例えば、発色団濃度データは、外科シーンのハイパースペクトル可視化を正確に予測するために使用されることができる。ある場合には、発色団濃度データは、他の表現（例えば、視覚画像、狭帯域画像など）を生成するために使用されることができる。これらのモダリティにおける表現は、潜在的には、さもなければ必要とされるよりも複雑でないハードウェア（例えば、より少ない数の画素当たり画像センサ、より複雑でない回路）及び／又はより低い帯域幅を使用して、生成されることがある。ある場合には、上記モダリティ内に符号化される情報は、発色団濃度データから直接的に得られてもよい。ある場合には、発色団濃度の組み合わせにおける異常を検出することによって、異物（例えば、金属物体又は他の非組織物質）又は疾病細胞／組織の存在の検出が改良されることがある。
【図面の簡単な説明】
【0010】
【図1】コンピュータ支援遠隔操作外科システムの例示的な患者側カートの斜視図である。
【0011】
【図2】コンピュータ支援遠隔操作外科システムの例示的な外科医コンソールの正面図である。
【0012】
【図3】コンピュータ支援遠隔操作外科システムの例示的なロボットマニピュレータアームアセンブリの側面図である。
【0013】
【図4】白色光下の外科シーンの撮像に対する発色団の効果を図示する概略図である。
【0014】
【図5】外科シーンに存在すると予想される発色団に従って選択された波長範囲のセットによる照明下の発色団撮像を図示する概略図である。
【0015】
【図6】発色団のセットの吸収特性を示すプロットである。
【0016】
【図7A】選択された波長範囲のセットによる照明下で得られた画像の例である。
【図7B】選択された波長範囲のセットによる照明下で得られた画像の例である。
【図7C】選択された波長範囲のセットによる照明下で得られた画像の例である。
【図7D】選択された波長範囲のセットによる照明下で得られた画像の例である。
【図7E】選択された波長範囲のセットによる照明下で得られた画像の例である。
【図7F】選択された波長範囲のセットによる照明下で得られた画像の例である。
【0017】
【図8】外科シーンにおける例示的な発色団－酸化ヘモグロビン－の濃度の経時変化の一例を図示する画像のセットである。
【0018】
【図9】外科シーンの実際のハイパースペクトル画像に関連する反射率特性と、同じ外科シーンの発色団濃度データから予測されるハイパースペクトル画像に関連する反射率特性との間の比較を示す例示的なプロットである。
【0019】
【図10】本明細書に記載する技術に従った表現を提示するための例示的なプロセスのフローチャートである。
【発明を実施するための形態】
【0020】
この文書は、選択された波長範囲のセットの下で取り込まれる画像のセットから推定されるような、シーンにおける複数の発色団(chromophores)の濃度に基づいて外科シーンを評価することを可能にする技術を記述する。波長範囲のセットは、外科シーンに存在すると予想される発色団の吸収特性に基づいて選択される。次に、外科シーンにおける複数の発色団の各発色団の濃度は、場合によってはある期間に亘って、異なる発色団の濃度を有する画像のセットの画素値をリンクする予め計算されたモデルに基づいて計算されることができる。このようにして得られる発色団濃度データは、次に、例えば、ハイパースペクトル可視範囲又は狭帯域画像の表現を推定すること、外科シーンにおける異物及び／又は疾病細胞／組織の可能性のある存在を検出すること、異なる組織タイプ間の境界を描写すること、又は発色団濃度データ内でコード化された他の情報を取得することを含む、様々な目的のために使用されることができる。様々な実装において、本明細書に記載する技術は、例えば、ハイパースペクトル撮像のような複雑な可視化モダリティの実装を可能にする一方で、さもなければ必要とされる有意により少ない複雑さのハードウェア（例えば、より少ない画素当たりの画像センサの数、より少ない複雑さの回路）及び／又はより低い帯域幅を使用することによって、ロボット外科システムを改良することができる。幾つかの実装において、発色団濃度データによって提供される可視化及び／又は情報は、組織タイプ間の境界の検出、疾病細胞／組織の識別、及び／又は外科シーンにおける異物（例えば、外科ツール等）の識別の改良を提供することができる。
【0021】
この技術の態様は、主としてSunnyvale, CaliforniaのIntuitive Surgical, Inc.によって開発されたda Vinci（登録商標）外科システムを使用した実装に関して記載される。そのような外科システムの例は、da Vinci（登録商標）XI（ＴＭ）Surgical System（Model IS4000）がある。本明細書に開示する態様は、コンピュータ支援の実施形態及び実装、コンピュータ非支援の実施形態及び実装、並びに手動の実施形態及び実装とコンピュータ支援の実施形態及び実装とのハイブリッドの組み合わせを含む、様々な方法で具現及び実装されてよいことが理解されるべきである。da Vinci（登録商標）Surgical Systems、例えば、Model IS4000に関する実装は、図示の目的のために記載されており、本明細書に開示する発明的な態様の範囲を制限するものと考えられてならない。適用可能な場合、発明的な態様は、追加的な機械的支持を有する比較的より小さい手持ち式の手動デバイス及び比較的より大きなシステムの両方において、並びにコンピュータ支援遠隔操作医療デバイスの他の実施形態において具体及び実装されてよい。本技術は、主として覗き込みディスプレイ(peer-in display)の例を参照して記載されるが、本技術は、例えば、仮想現実又は拡張現実（ＶＲ／ＡＲ）システムで使用されるヘッドマウントディスプレイデバイスのような、他のタイプのウェアラブル又は非ウェアラブルディスプレイデバイスにも使用されてよい。取り込まれた画像は、３Ｄ ＴＶのようなデバイスのような大型ディスプレイ又は何らかの種類のスクリーンに投影される画像に表示されて、正しい画像が正しい眼に届くことを保証することによってステレオ効果を完成させるメガネを着用しているユーザによって観察されてもよい。代替的に、自動ステレオタイプのディスプレイ、例えば、視認者（ユーザ）の頭及び／又は眼トラッキングを組み込むこともあるレンズベースのＬＣＤタイプのディスプレイが使用されてよい。
【0022】
図１及び図２を参照すると、（ＭＩＳとも称する）最小侵襲コンピュータ支援遠隔手術のためのシステムが、患者側カート１００と、外科医コンソール５０とを含むことができる。遠隔手術は、外科医が、器具を手で直接保持して動かすよりもむしろ、外科器具の動きを操作するために、何らかの形態の遠隔制御装置、例えば、サーボ機構又は同等物を使用する、外科システムについての一般的な用語である。ロボット操作可能な外科器具を小さな最小侵襲性の外科的な孔を通じて挿入して、患者体内の外科部位の組織を治療することができ、開腹手術に必要とされる幾分大きな切開部に関連する外傷を回避する。これらのロボットシステムは、しばしば、最小侵襲性の孔で器具のシャフトを枢動させること、孔を通じてシャフトを軸方向にスライドさせること、孔内でシャフトを回転させること、及び／又は同等のことによって、非常に複雑な外科的タスクを実行するのに十分な器用さで、外科器具の作用端を動かすことができる。
【0023】
図示の実施形態において、患者側カート１００は、ベース１１０と、第１のロボットマニピュレータアームアセンブリ１２０と、第２のロボットマニピュレータアームアセンブリ１３０と、第３のロボットマニピュレータアームアセンブリ１４０と、第４のロボットマニピュレータアームアセンブリ１５０とを含む。各ロボットマニピュレータアームアセンブリ１２０、１３０、１４０、及び１５０は、ベース１１０に枢動可能に連結される。幾つかの実施形態では、４つよりも少ない又は４つよりも多いロボットマニピュレータアームアセンブリが、患者側カート１００の一部として含めれてよい。図示の実施形態では、ベース１１０は、移動の容易さのためのキャスタを含むが、幾つかの実施形態において、患者側カート１００は、床、天井、手術台、構造フレームワーク、又は同等物に固定的に取り付けられる。
【0024】
典型的な用途では、ロボットマニピュレータアームアセンブリ１２０、１３０、１４０、又は１５０のうちの２つが外科器具を保持し、第３のものがステレオ内視鏡を保持する。残りのロボットマニピュレータアームアセンブリは、第３の器具が作業部位で導入されてよいように利用可能である。代替的に、残りのロボットマニピュレータアームアセンブリは、第２の内視鏡又は超音波トランスデューサのような別の画像取り込みデバイスを作業部位に導入するために使用されてよい。
【0025】
ロボットマニピュレータアームアセンブリ１２０、１３０、１４０、及び１５０の各々は、従来的には、作動可能なジョイントを通じて互いに連結され且つ操作されるリンクから形成される。ロボットマニピュレータアームアセンブリ１２０、１３０、１４０、及び１５０の各々は、セットアップアームと、デバイスマニピュレータとを含む。セットアップアームは、枢動点が患者へのその入口孔で生じるように、その保持されたデバイスを位置決めする。次に、デバイスマニピュレータは、その保持されたデバイスが枢動点について枢動させられることがあり、入口孔に挿入されることがあり且つ入口孔から引っ込められることがあり、且つそのシャフト軸について回転させられることがあるように、その保持されたデバイスを操作してよい。
【0026】
図示の実施形態において、外科医コンソール５０は、ユーザが患者側カート１００と共に使用される立体視カメラ(stereoscopic camera)によって取り込まれる画像から立体視野(stereo vision)で外科作業部位を見ることがあるように、立体視覗き込みディスプレイ４５(stereoscopic peer-in display)を含む。ユーザがユーザの左右の眼でディスプレイ４５の内側の左右のディスプレイスクリーンをそれぞれ見ることがあるように、左右の接眼レンズ４６、４７が立体視覗き込みディスプレイ４５に設けられる。典型的には、適切なビューア又はディスプレイ上で外科部位の画像を観察しながら、外科医は、マスタ制御入力デバイスを操作することによって患者に対する外科処置を実行し、次に、マスタ制御入力デバイスは、ロボット器具の動きを制御する。
【0027】
外科医コンソール５０は、患者側カート１００のロボットマニピュレータアームアセンブリ１２０、１３０、１４０、及び１５０によって保持されているデバイス（例えば、外科器具）を好ましくは６以上の自由度（「ＤＯＦ」）で操作するために、ユーザが自分の左手及び右手でそれぞれ把持することがある、左右の入力デバイス４１、４２も含む。ユーザがフットペダルと関連付けられるデバイスの動き及び／又は作動を制御することがあるように、褄先及び踵制御装置を備えるフットペダル４４が外科医コンソール５０に設けられる。
【0028】
処理デバイス４３は、制御及び他の目的のために外科医コンソール５０に設けられる。処理デバイス４３は、医療ロボットシステムにおける様々な機能を実行する。処理デバイス４３によって実行される１つの機能は、外科医が外科器具のようなデバイスを効果的に操作できるように、それらの関連するロボットマニピュレータアームアセンブリ１２０、１３０、１４０、及び１５０内のそれらの対応するジョイントを作動させるために、入力デバイス４１、４２の機械的運動を並進(translate)及び移動(transfer)させることである。処理デバイス４３の別の機能は、本明細書に記載する方法、クロスカップリング制御ロジック、及びコントローラを実装することである。
【0029】
処理デバイス４３は、１つ以上のプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及び／又はマイクロコントローラを含むことができ、ハードウェア、ソフトウェア、及び／又はファームウェアの組み合わせとして実装されてよい。加えて、本明細書に記載するようなその機能は、１つのユニットによって実行されてよく、或いは、多数のサブユニットに分割されてよく、各サブユニットは、ハードウェア、ソフトウェア及びファームウェアの任意の組み合わせによって順に実装されてよい。更に、処理デバイス４３は、外科医コンソール５０の一部として示されるか或いは外科医コンソール５０に物理的に隣接しているが、遠隔手術システムを通じてサブユニットとして分散されてもよい。サブユニットのうちの１つ以上は、遠隔手術システムに対して物理的に遠隔であってよい（例えば、遠隔サーバに配置されてよい）。
【0030】
図３も参照すると、ロボットマニピュレータアームアセンブリ１２０、１３０、１４０、及び１５０は、内視鏡ステレオカメラ及び外科器具のようなデバイスを操作して、最小侵襲手術を実行することができる。例えば、図示の構成において、ロボットマニピュレータアームアセンブリ１２０は、器具ホルダ１２２に枢動可能に連結されている。次に、カニューレ１８０及び外科器具２００が、器具ホルダ１２２に解放可能に連結される。カニューレ１８０は、手術中に患者インターフェース部位に位置する中空の管状部材である。カニューレ１８０は、内視鏡カメラ（若しくは内視鏡）又は外科器具２００の細長いシャフト２２０がスライド可能に配置される管腔を画定(ルーメン)する。以下に更に記載するように、幾つかの実施形態において、カニューレ１８０は、体壁開創部材(body wall retractor member)を備える遠位端部分を含む。器具ホルダ１２２は、ロボットマニピュレータアームアセンブリ１２０の遠位端に枢動可能に連結される。幾つかの実施形態において、器具ホルダ１２２とロボットマニピュレータアームアセンブリ１２０の遠位端との間の枢動可能な連結は、処理デバイス４３を使用して外科医コンソール５０から作動可能な電動ジョイントである。
【0031】
器具ホルダ１２２は、器具ホルダフレーム１２４と、カニューレクランプ１２６と、器具ホルダキャリッジ１２８とを含む。図示の実施形態において、カニューレクランプ１２６は、器具ホルダフレーム１２４の遠位端に固定される。カニューレクランプ１２６は、カニューレ１８０と連結するように或いはカニューレ１８０から分離するように作動させられることができる。器具ホルダキャリッジ１２８は、器具ホルダフレーム１２４に移動可能に結合される。より具体的には、器具ホルダキャリッジ１２８は、器具ホルダフレーム１２４に沿って直線的に並進可能である。幾つかの実施形態において、器具ホルダフレーム１２４に沿う器具ホルダキャリッジ１２８の移動は、処理デバイス４３によって作動可能／制御可能なモータ駆動された並進移動である。手術器具２００は、伝動装置アセンブリ２１０と、細長いシャフト２２０と、エンドエフェクタ２３０とを含む。伝動装置アセンブリ２１０は、器具ホルダキャリッジ１２８と解放可能に連結されてよい。シャフト２２０は、伝動装置アセンブリ２１０から遠位に延びている。エンドエフェクタ２３０は、シャフト２２０の遠位端に配置されている。
【0032】
シャフト２２０は、カニューレ１８０の長手軸と一致する長手軸２２２を画定する。器具ホルダキャリッジ１２８が器具ホルダフレーム１２４に沿って並進すると、外科器具２００の細長いシャフト２２０は、長手軸２２２に沿って移動される。そのようにして、エンドエフェクタ２３０は、患者の体内の外科作業空間に挿入されることができ、且つ／或いはそのような作業空間から引っ込められることができる。
【0033】
腹腔鏡手術は、外科医が内視鏡を用いて外科部位を観察し、診査、解剖、縫合、及び他の外科的作業のために腹腔鏡器具を用いて精密なモータ操作を実行することを伴う。これらの作業は、しばしば、組織との精密な両手の相互作用(bi-manual interactions)を必要とする。ある場合には、そのような両手のモータ作業は、一般的には、外科医が外科シーンの３Ｄビューを提示されるときに、より容易に実行されることがある。患者の体内の外科作業空間（外科シーン）は、立体視ディスプレイ４５を介した外科医への３Ｄ視覚化として提供されることができる。本明細書に記載する技術は、主として覗き込み立体視ディスプレイの例を使用するが、他のタイプの立体視及び非立体視ディスプレイも本技術の範囲内にある。覗き込み立体視ディスプレイは、ユーザがそのディスプレイを着用することなく或いはそれを別のユーザと同時に共有することなく、ディスプレイを見ることを可能にする、ディスプレイを意味する。立体顕微鏡は、覗き込み立体視ディスプレイの一例である。図２に図示するような立体視ディスプレイ４５は、覗き込み立体視ディスプレイの別の例である。
【0034】
発色団は、有機分子の色に関与する有機分子中の（部分(moiety)とも呼ばれる）原子又は電子の群である。色は、分子が特定の波長の電磁エネルギ（例えば、可視光）を吸収し、他の波長を透過又は反射するときに明らかになる。発色団は、入射電磁放射線のエネルギが発色団の２つの異なる分子軌道間の差を克服するのに十分であるならば、所与の波長範囲内の入射電磁放射線に反応する。その波長範囲内の電磁放射線が発色団に当たると、対応するエネルギが電子をグラウンドから励起状態に励起させることができる。よって、対応する波長内の放射線は実質的に吸収され、それによって、分子から反射される光の波長範囲の組成を変化させる。
【0035】
図４は、白色光下の外科シーンの撮像に対する発色団の効果を図示する概略図である。この例では、外科シーン４０５にある組織が広帯域白色光４０８で照明されている。発色団４１０ａ、４１０ｂ、４１０ｃ等（一般的に４１０）は、白色光内の幾つかの波長範囲に対応するエネルギを吸収し、それによって、反射光４１５内の波長範囲の組成を変化させて、潜在的に反射光４１５が「着色光」として現れるようにする。反射光４１５は、撮像デバイス４２０（例えば、カメラ）によって感知され、次に、外科シーン４０５の視覚的表現が、撮像デバイスを用いて取り込まれる情報から生成されることができる。発色団は、電磁放射線が当たるときに特定の分子における構造変化を引き起こす部分(moiety)であるが、本文書で使用するとき、発色団という用語は、基礎となる分子自体を指すことに留意のこと。例えば、ヘモグロビン、酸素化ヘモグロビン、脂肪、及び水は、本文書を通じて、発色団の例として使用される。
【0036】
外科シーン４０５における各タイプの発色団は、特徴的な色シグネチャ(color signature)を有するので、入射光４０８の吸収は、結果的に、反射光４１５の波長組成は、手術シーン４０５における様々な発色団の濃度に依存する。例えば、５００～６００ｎｍの範囲内の電磁放射線は、脂肪組織によって吸収されるよりも有意に多く、（ＨｂＯ２とも略称する）酸素化ヘモグロビンによって吸収される。従って、ＨｂＯ２のより高い濃度に起因する反射光４１５の波長組成は、脂肪のより高い濃度に起因する反射光４１５の波長組成と異なる。従って、外科シーンが異なる波長範囲内の電磁放射線による照明下で撮像されるとき、シーン４０５における発色団は、画像に異なる影響を与える。この文書は、異なる照明条件の下で得られる複数の画像内の同じ領域の異なる外観に基づいて外科シーンにおける異なる発色団の濃度を推定することができる技術を記述する。異なる照明波長範囲の数（結果的に、画像の最小数）は、外科シーンに存在すると予想される発色団の数に依存し得る。例えば、典型的な外科シーンは、４つの異なる発色団、すなわち、ヘモグロビン、酸素化ヘモグロビン、脂肪、及び水に対応する発色団濃度に基づいて評価されてよく、結果的に、画像は、４つの別々の波長範囲内の電磁放射線による照明下で得られてよい。
【0037】
図５は、外科シーンに存在すると予想される発色団に従って選択された波長範囲のセットによる照明下の発色団撮像を図示する概略図である。図５に図示するシステム５００において、外科シーン４０５は、異なる波長範囲５０５ａ、５０５ｂ、５０５ｃ、及び５０５ｄ（一般的に、５０５）内の電磁放射線によって照明され、対応する反射光５１５は、撮像デバイス５２０を使用して取り込まれる。幾つかの実装において、外科シーン４０５は、異なる波長範囲５０５内の電磁放射線によって順次式に照明され、対応する画像は、次々に取り込まれる。幾つかの実装において、異なる波長範囲５０５内の電磁放射線は、外科シーンに実質的に同時に照明されてよく、対応する画像は、対応する光学フィルタを用いて撮像デバイス５２０で取り込まれてよい。例えば、撮像デバイス５２０は、画素当たり４つの画像センサを有することができ、各画像センサは、１つの照明波長範囲に対応する光を通すが他の３つの照明波長範囲に対応する光を実質的に遮断する光学フィルタの背後にある。図５に示す例は、４つの発色団、すなわち、ヘモグロビン、酸素化ヘモグロビン、脂肪、及び水に対応する、４つの異なる波長範囲を示している。しかしながら、より多い数の又はより少ない数の波長範囲も、この開示の範囲内にある。
【0038】
照明波長範囲５０５は、外科シーンに存在すると予想される発色団の光学特性に基づいて選択されることができる。幾つかの実装において、波長範囲５０５は、図６の例に図示するように、異なる発色団の吸収特性に基づいて選択されることができる。具体的には、図６は、ヘモグロビン、酸素化ヘモグロビン、脂肪、及び水を含む、発色団のセットについての吸収特性を示すプロットである。この例において、水及び脂肪は、ヘモグロビン及び酸素化ヘモグロビンと比較して、波長範囲６０５ａ内の電磁エネルギについての低い吸収（従って、高い反射率）を表すことが示されている。また、波長範囲６０５ａにおいて、脂肪は、水よりも高い吸収（従って、より低い反射率）を表している。波長範囲６０５ｂにおいて、脂肪は、水よりも低い吸収（従って、高い反射率）を表している一方で、水及び脂肪の各々は、ヘモグロビン及び酸素化ヘモグロビンよりも高い反射率を表している。従って、照明範囲６０５ａ及び６０５ｂの下で得られる画像は、それぞれ、水及び脂肪に起因する反射率を主に表すると予想されることができる。ヘモグロビン及び酸素化ヘモグロビンに対応する２つの他の波長範囲は、図６に示す吸収特性から、又は１つ以上の他の光学特性に基づいて、同様に決定されることができる。幾つかの実装において、照明波長範囲は、関心の対応する発色団に対する照明の効果が、関心の他の発色団に対する効果と実質的に異なるように選択されることができる。
【0039】
戻って図５を参照すると、撮像デバイス５２０は、異なる波長範囲５０５の各々による照明下で別個の画像を得るように構成される。図５の例では、４つの別々の波長範囲５０５ａ、５０５ｂ、５０５ｃ、及び５０５ｄが得られ、相応して、４つの別々の画像が得られる。幾つかの実装において、得られた画像の各々は、関心の別個の発色団に対応することができる。図７Ａ～図７Ｄは、そのような画像の例を示しており、これらの特定の例は、外科シーンでの酸素化ヘモグロビン（飽和とも称する、図７Ａ）、ヘモグロビン（図７Ｂ）、脂肪（図７Ｃ）、及び水（図７Ｄ）の分布を示している。幾つかの実装では、１つ以上の追加的な画像が、取り込まれた画像から導き出されてよい。例えば、図７Ｅは、組織の対応する領域に入射する電磁エネルギの量を表す強度画像を示しており、図７Ｆは、外科シーンの異なる部分に対応する散乱係数を示している。
【0040】
幾つかの実装において、外科シーンにおける個々の発色団の濃度は、異なる照明波長範囲の下で取り込まれた複数の画像及び／又はそのような取り込み画像から導き出された１つ以上の画像における画素値に基づいて決定されることができる。幾つかの実装において、これは発色団濃度及び画素値の組み合わせの間の関係を表す発色団モデルに基づいて行われることができる。例えば、関心の発色団の既知の濃度は、トレーニング画像のセットを生成するために実質的に同じ波長範囲を使用してオフラインプロセスで撮像されることができる。次に、ルックアップテーブルがトレーニング画像のセットから作成されることができ、ルックアップテーブルは、複数の画像からの画素値の組み合わせにリンクされた発色団の濃度値を格納する。例えば、図７Ａ～図７Ｆの例示的な画像がトレーニング画像であると仮定すると、６つの画像の各々における場所（ｘ１，ｙ１）にある画像は、組織の同じ場所を表している。その場所における４つの発色団、すなわち、酸素化ヘモグロビン、ヘモグロビン、脂肪、及び水の濃度が、それぞれ、Ｃ１、Ｃ２、Ｃ３、及びＣ４であることが知られているならば、６つの画像の各々からの画素値を表す６次元のｎ－タプル(n-tuple)（ｐ１、ｐ２、ｐ３、ｐ４、ｐ５、ｐ６）は、対応する発色団濃度を表す４次元のｎ－タプル（Ｃ１、Ｃ２、Ｃ３、Ｃ４）にリンクされるものとしてルックアップテーブルに格納されることができる。トレーニング画像の複数のセットに基づいて、発色団濃度の様々な組み合わせが、画素値の対応するｎ－タプルにリンクされることができる。戻って図５を参照すると、そのようなルックアップテーブルは、１つ以上の処理デバイス５２５にアクセス可能な記憶装置５３０に格納されることができる。幾つかの実装において、１つ以上の処理デバイス５２５は、図２を参照して記載する処理デバイス４３の一部として提供されることができる。
【0041】
ランタイム(runtime)の間に、１つ以上の処理デバイス５２５は、撮像デバイス５２０によって取り込まれる複数の画像を分析して、下に位置する組織内の発色団濃度を決定するように構成されることができる。例えば、１つ以上の処理デバイスは、複数の画像の各々から、組織の同じ下に位置する部分を表す画素値を抽出して、画素値の順序付けられた組み合わせを得るように構成されることができる。次に、処理デバイス５２５は、ルックアップテーブルを構文解析して、複数の画像から抽出された画素値の順序付けられた組み合わせに実質的に一致する画素値のｎ－タプルを識別し、対応するｎ－タプルの発色団濃度を抽出して、組織の下に位置する部分に存在すると推定される異なる発色団の濃度を得ることができる。本プロセスは、下に位置する組織内の発色団濃度のマップを得るために、複数の画像内の他の画素値について繰り返されることができる。
【0042】
幾つかの実装において、複数の画像からの画素値を表すｎ－タプルは、発色団濃度と対応する反射率との関係を表す分析モデルを用いて決定されることができる（それは、ひいては、画素値を示す）。例えば、使用されてよい分析モデルは以下のように表され、
ここで、Ｒ（λ，χ）は、発色団χに起因する反射率λを表し、ｌ０（χ）は、入射光強度を表し、ｕα（λ，χ）は、対応する吸収スペクトル値を表し、p（ｄ）は、発色団χが深さｄにある確率を表す。吸収スペクトル値は、以下のように決定されることができ、
ここで、ｗ（χ）は、発色団χの濃度を表す。深度確率ｐ（ｄ）は、以下のように決定され、
ここで、ｕｓ（λ，χ）は、以下のように得られることがある散乱スペクトル値であり、
ここで、ｂ（χ）は、ミー散乱係数を表す。幾つかの実装では、この分析モデルを使用して、異なる発色団についての濃度の異なる値についての画素値を生成することができる。幾つかの実装において、生成される値は、上述のようにルックアップテーブルとして格納されてよい。
【数1】
【数2】
【数3】
【数4】
【0043】
波長範囲の限定的なセットによる照明下で取り込まれる画像を分析することによって決定される発色団濃度は、様々な方法で使用されることができる。幾つかの実装において、個々の発色団に対応する濃度データは、様々な診断及び視覚化目的のために使用されることができる。例えば、（例えば、図７Ａの飽和マップを用いて図示されるような）酸素化ヘモグロビンの分布は、組織における灌流を示し得る。更に、灌流は組織の健康を示し得るので、飽和マップは、組織の死んだ部分又は比較的健康でない部分を決定するために使用されてもよい。幾つかの実装において、（例えば、図７Ｂに示すような）ヘモグロビン、（例えば、図７Ｃに示すような）脂肪、又は（例えば、図７Ｄに示すような）水と関連付けられる濃度データを使用して、異なる組織タイプ間の境界を描出することができる。幾つかの実装において、ヘモグロビンと関連付けられる濃度データは、組織における接着を決定するために使用されることができる。幾つかの実装において、導き出される画像のうちの１つ以上は、診断及び／又は視覚化目的のために使用されることもできる。例えば、（例えば、図７Ｆに示すような）散乱マップが、癌のような疾病細胞／組織の場所を識別するために使用されてよい。別の例では、（例えば、図７Ｅに示されるような）強度マップを使用して、より良好な露光及び／又は動的コントラストが画像を得る際に有用であるかどうかを知らせることができる。
【0044】
戻って図５を参照すると、発色団濃度データは、１つ以上の出力デバイス５３５のための制御信号を生成するために、１つ以上の処理デバイス５２５によって処理されることができる。幾つかの実装において、出力デバイス５３５は、ディスプレイデバイス（例えば、立体視ディスプレイ４５）を含むことができ、発色団データは、ディスプレイデバイス上に画像としてレンダリング(描画)されることができる。幾つかの実装において、発色団濃度に関連する画像データ内で符号化される情報は直接抽出されて、出力デバイス５３５に提示されてよい。例えば、１つ以上の処理デバイス５２５は、ピクセル値の抽出されたｎ－タプルが、発色団濃度の如何なる有効な組み合わせにも対応しないことを決定するために、発色団データを処理するように構成されることができる。そのような場合、１つ以上の処理デバイスは、不適合のｎ－タプルが外科シーンにおける非組織異物の存在に起因することを決定するように構成されることができる。そのような決定に応答して、１つ以上の処理デバイス５２５は、場合によってはディスプレイデバイスに任意の画像を表示することに加えて、警報（例えば、可聴又は可視アラーム）を生成するように構成されることができる。従って、本明細書に記載する技術は、外科システムの異物検出能力を向上させることによって、外科処置の安全性を向上させるために潜在的に使用されることができる。
【0045】
幾つかの実装において、発色団濃度データは、例えば、可視範囲内の光による照明の下で得られる通常の画像では利用可能でない情報の表示を可能にすることによって、外科処置中の組織の視覚化を向上させてよい。これは図８を用いて例示されており、図８は、外科シーンにおける例示的な発色団、すなわち、酸素化ヘモグロビンの濃度の経時的な変化の例を図示する画像のセットを示している。上の行８０５は、ある時間期間に亘って順次的に取り込まれたような、人間の腸の一部分の画像のセットを示している。下の行８１０は、同じ時点で得られた（酸素化ヘモグロビンに関連する濃度データから生成されたような）対応する飽和画像を示している。画像が取り込まれる時間期間の間に、クランプが、時刻８１５で腸の上方部分に配置され、次に、時刻８２０で除去された。行８１０上の２つの時点８１５及び８２０の間の画像のシーケンスは、酸素化ヘモグロビン濃度が組織の一部分で減少し（それは組織内への血流のクランプに起因すると予想される）、次に、クランプの除去後に再び増加したことを示している。（行８０５に見られるような）可視範囲画像は、この時間期間の間に実質的に不変のままであり、それは発色団データから生成された画像内の情報の価値を図示している。
【0046】
幾つかの実装では、少数の波長範囲内の電磁放射線で組織を照明することによって生成された発色団データを使用して、他の波長範囲内の照明後に利用可能となる情報を推定することができる。従って、発色団データは、ハイパースペクトル画像若しくはＲＧＢ画像のような他の広帯域画像及び／又は近赤外（ＮＩＲ）画像のような狭帯域画像を推定／生成するために使用されることができる。これは、例えば、広帯域（又は狭帯域）画像の画素値（又は反射率特性）と発色団濃度の対応する組み合わせとの間の関係を格納るルックアップテーブルを介して行われることができる。図９は、外科シーンの実際のハイパースペクトル画像に関連する反射率特性と同じ外科シーンの発色団濃度データから予測されるハイパースペクトル画像に関連する反射率特性との比較を示す例示的なプロットである。具体的には、曲線９０５は、広い周波数範囲に亘るハイパースペクトル画像について予測された反射率値を示しており、曲線９１０は、同じ組織の実際のハイパースペクトル画像の対応する測定された反射率値を示している。２つの曲線９０５及び９１０を比較すると、ハイパースペクトル画像の真の値は、スペクトルの大部分についての発色団濃度値から正確に予測され得ることが分かる。
【0047】
同じ発色団データに基づく複数の広帯域及び／又は狭帯域画像の予測を可能にすることによって、本明細書に記載する技術は、如何なる追加的なハードウェアも組み込むことなく、多目的カメラ（例えば、ハイパースペクトル画像、可視範囲画像、及びＮＩＲ画像を生成するために使用し得るカメラ）の実装を可能にすることができる。ハードウェア及び／又は帯域幅要件を低減することによって、本技術は、多目的又はハイパースペクトルカメラが内視鏡の限定的な限られた不動産(real-estate)内で実装されることを容易にし、それによって、外科医のためのリアルタイムの視覚化を有意に向上させるハイパースペクトル又は多目的内視鏡の実現を可能にし、それぞれ外科シーン又は組織と物理的に接触することなく、外科シーン又は組織の画像を取り込むことを可能にする。
【0048】
図１０は、本明細書に記載する技術に従った表現を提示する例示的なプロセス１０００のフローチャートである。プロセス１０００は、少なくとも部分的には、図５を参照して記載する１つ以上の処理デバイス５２５によって実行されることができる。プロセス１０００の動作は、内視鏡カメラを用いて、外科シーンの複数の画像を得ることを含む（１０１０）。複数の画像内の各画像は、対応する波長範囲内の電磁放射線による照明の下で得られることができ、対応する波長範囲は、外科シーンに存在する発色団のセットに従って選択される。対応する波長範囲のうちの任意の２つは、少なくとも部分的に重複していない。幾つかの実装において、対応する波長範囲は、発色団のセット中の発色団の吸収スペクトルに関する情報に基づいて選択されることができる。
【0049】
幾つかの実装では、１つ以上の追加的な画像が、内視鏡カメラを用いて取り込まれる画像から生成されることができ、複数の画像に含められることができる。例えば、外科シーンに入射する照明の量が、波長範囲のうちの１つ以上の波長範囲の下での照明について推定されることができ、微分画像(derivative image)が、相応して生成されることができる。そのような画像は、様々な方法で使用されることができる。例えば、内視鏡カメラの露光時間は、外科シーンに入射する照明の量に関する情報に基づいて調整されることができる。別の例では、トーンマッピング操作が、外科シーンに入射する照明の量に関する情報に基づいて、複数の画像のうちの１つ以上の画像に対して実行されてよい。幾つかの実装では、外科シーンの様々な部分についての散乱の量が、カメラを使用して取り込まれる画像のうちの１つ以上の画像及び相応して生成される微分画像から推定されることができる。散乱画像は、例えば、癌のような疾病に冒された細胞／組織の場所を特定するために使用されてよい。
【0050】
プロセス１０００の動作は、複数の画像に基づいて、外科シーンの様々な部分でセット内の１つ以上の発色団の各発色団の濃度を決定することも含む（１０２０）。幾つかの実装において、これは、例えば、複数の画像のうちの複数の画像に亘る画素値のセットを特定することであって、セット中の各画素値は、実質的には外科シーンの特定の部分を表す、特定することと、発色団モデルに基づいて、複数の画像に亘る画素値のセットに対応する１つ以上の発色団の各発色団の濃度を決定することとを含む。例えば、複数の画像における類似の画素に対応する画素値のｎ－タプル（又は順序付けられた組み合わせ）が抽出されてよく、発色団の対応する組み合わせが発色団モデルから決定されることができる。幾つかの実装において、発色団モデルは、発色団濃度及び画素値の組み合わせの間の関係を表し、上述のように、予め計算されたルックアップテーブルとして格納されることができる。幾つかの実装において、発色団モデルは、上記方程式（１）～（４）のような分析方程式のセットとして表されることができる。
【0051】
プロセス１０００の動作は、１つ以上の発色団の各発色団の濃度に関する情報に基づいて、外科シーンの表現を生成することを更に含む（１０３０）。これは、例えば、１つ以上の発色団の各発色団の濃度に関する情報に基づいて外科シーンの着色された可視範囲画像を生成することを含むことができ、着色された可視範囲画像は、可視光による照明の下での外科シーンの外観を表す。別の例において、外科シーンの表現を生成することは、１つ以上の発色団の各発色団の濃度に関する情報に基づいて外科シーンの狭帯域画像を生成することを含むことができる。狭帯域画像は、複数の画像に対応する波長範囲外の光による照明の下での外科シーンの外観を表すことができる。幾つかの実装において、外科シーンの表現を生成することは、１つ以上の発色団の各発色団の濃度に関する情報に基づいて外科シーンのハイパースペクトル画像を予測することを含み、ハイパースペクトル画像は、複数の画像に対応する波長範囲外の波長に対応する情報を含む。
【0052】
生成された発色団情報は、複数の他の方法で使用されてよい。例えば、発色団濃度情報は、外科シーンにおける異物（又は非組織材料）の存在を検出する際に使用されることができる。これは、例えば、最初に、複数の画像内の複数の画像に亘る画素値のセットを特定することを含むことができ、セット内の各画素値は、実質的には外科シーンの特定の部分を表す。次に、画素値のセットが、発色団濃度及び画素値の組み合わせの間の関係を表す発色団モデルのよるように、１つ以上の発色団のうちの少なくとも１つの発色団についての有効な濃度を表さないという決定が行われてよい。そのような決定に応答して、外科シーンに異物が存在する可能性を示す警告（例えば、可聴又は可視警報）を生成することができる。幾つかの実施態様では、外科シーンにおける２つの異なる組織タイプの間の境界が、例えば、外科シーンの様々な部分についての散乱の量に関する情報及び１つ以上の発色団の各発色団の濃度に関する情報に基づいて決定されることができる。幾つかの実施態様において、散乱の量に関する情報及び１つ以上の発色団の各発色団の濃度に関する情報は、外科シーンにおける組織の疾病部分の境界及び／又は外科シーンに存在する１つ以上の組織タイプを特定するために使用されることができる。
【0053】
本明細書に記載する遠隔操作外科システム又はその一部の機能性、及びその様々な修正（以下「機能」という）は、１つ以上のデータ処理装置、例えば、プログラマブルプロセッサ、ＤＳＰ、マイクロコントローラ、コンピュータ、複数のコンピュータ、及び／又はプログラマブル論理コンポーネントの動作による実行のために、又はそのような動作を制御するために、少なくとも部分的には、コンピュータプログラム製品、例えば、１つ以上の非一時的機械可読媒体又は格納デバイスのような、情報キャリア内に実体的に具現されるコンピュータプログラムを介して、実装されることができる。
【0054】
コンピュータプログラムは、コンパイルされた或いは解釈された言語を含む任意の形態のプログラミング言語で書かれることができ、コンピュータプログラムは、任意の形態で、例えば、スタンドアローンプログラムとして、又はコンピューティング環境における使用に適したモジュール、コンポーネント、サブルーチン、又は他のユニットとして、展開されることができる。コンピュータプログラムは、１つの場所にある１つ以上の処理デバイスで実行されるように或いは複数の場所に亘って分散され且つネットワークによって相互接続されるように展開されることができる。
【0055】
機能の全部又は一部を実行することに関連する行為は、本明細書に記載するプロセスの機能を実行するために、１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサ又は処理デバイスによって実行されることができる。機能の全部又は一部は、特殊目的論理回路、例えば、ＦＰＧＡ及び／又はＡＳＩＣ（特定用途向け集積回路）として実装されることができる。
【0056】
コンピュータプログラムの実行に適したプロセッサは、例えば、汎用及び専用マイクロプロセッサの両方、並びに任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサを含む。一般的に、プロセッサは、読出し専用記憶装置又はランダムアクセス記憶装置から或いはそれらの両方から命令及びデータを受信する。コンピュータのコンポーネントは、命令を実行するためのプロセッサと、命令及びデータを格納するための１つ以上のメモリデバイスとを含む。
【0057】
この明細書は、多くの特定の実装の詳細を含むが、これらは、特許請求されることがあるものみ対する限定として解釈されてならず、むしろ特定の実施形態に特有であることがある構成の記述として解釈されるべきである。他の実施形態も、本明細書に記載する技術の範囲内にあることがある。別個の実施形態の文脈においてこの明細書に記載する特定の構成は、単一の実施形態において組み合わせで実装されることもできる。逆に、単一の実施形態の文脈において記載される様々な構成は、複数の実施形態において別々に或いは任意の適切なサブコンビネーションにおいて実装されることもできる。更に、構成は、特定の組み合わせで作用するものとして本明細書に記載されることがあり、最初にそのように特許請求されることさえあるが、特許請求される組み合わせからの１つ以上の構成は、場合によっては、組み合わせから切り出されることができ、特許請求される組み合わせは、サブコンビネーション又はサブコンビネーションのバリエーションに向けられることがある。
【0058】
本明細書に記載する異なる実装の要素は、上記で具体的に記載されていない他の実施形態を形成するように組み合わされてよい。要素は、それらの動作に悪影響を与えることなく、本明細書に記載する構造から除外されることがある。更に、様々な別個の要素は、本明細書に記載する機能を実行するために、１つ以上の個々の要素に組み合わされることがある。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図7D】
【図7E】
【図7F】
【図8】
【図9】
【図10】
【手続補正書】
【提出日】2021-06-15
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
外科デバイスを使用するときに手術されている外科シーンの状態に関するフィードバックを提示する撮像システムであって、前記外科シーンの複数の画像を得る内視鏡カメラであって、前記複数の画像内の各画像は、対応する波長範囲内の電磁放射線による照明の下で得られ、前記対応する波長範囲は、前記外科シーン内に存在する発色団のセットに従って選択され、前記対応する波長範囲のうちの任意の２つは、少なくとも部分的に重なり合っていない、内視鏡カメラと、
１つ以上の処理デバイスとを含み、
該処理デバイスは、
前記複数の画像に基づいて、前記外科シーンの様々な部分で前記セット内の１つ以上の発色団の各発色団の濃度を決定するように構成され、前記濃度を決定することは、
前記複数の画像内の複数の画像に亘る画素値のセットを特定することであって、前記セット内の各画素値は、実質的に前記外科シーンの特定の部分を表す、特定することと、
発色団モデルに基づいて、前記複数の画像に亘る前記画素値のセットに対応する前記１つ以上の発色団の各発色団の前記濃度を決定することであって、前記発色団モデルは、発色団濃度及び画素値の組み合わせの間の関係を表す、決定することとを含み、
前記処理デバイスは、
前記１つ以上の発色団の各発色団の前記濃度に関する情報に基づいて、前記外科シーンの表現を生成し、
前記外科デバイスと関連付けられる出力デバイスに前記外科シーンの前記表現を提示させる、
ように構成される、
撮像システム。
【請求項2】
前記対応する波長範囲は、前記発色団のセット内の前記発色団の吸収スペクトルに関する情報に基づいて選択される、請求項１に記載の撮像システム。
【請求項3】
前記発色団のセットは、ヘモグロビン、酸素化ヘモグロビン、脂肪、及び水を含む、請求項１又は２に記載の撮像システム。
【請求項4】
前記外科シーンの前記表現を生成することは、前記１つ以上の発色団の各発色団の前記濃度に関する前記情報に基づいて前記外科シーンのハイパースペクトル画像を予測することを含み、前記ハイパースペクトル画像は、前記複数の画像に対応する前記波長範囲の外側の波長に対応する情報を含む、請求項１乃至３のうちのいずれか１項に記載の撮像システム。
【請求項5】
前記外科シーンの前記表現を生成することは、前記1つ以上の発色団の各発色団の前記濃度に関する前記情報に基づいて前記外科シーンの着色された可視範囲画像を生成することを含み、前記着色された可視範囲画像は、可視光による照明の下での前記外科シーンの外観を表す、請求項１乃至４のうちのいずれか１項に記載の撮像システム。
【請求項6】
前記内視鏡カメラは、画素当たり３つよりも少ない画像センサを含む、請求項１乃至５のうちのいずれか１項に記載の撮像システム。
【請求項7】
前記外科シーンの前記表現を生成することは、前記１つ以上の発色団の各発色団の前記濃度に関する前記情報に基づいて前記外科シーンの狭帯域画像を生成することを含み、前記狭帯域画像は、前記複数の画像に対応する前記波長範囲の外側の光による照明の下での前記外科シーンの外観を表す、請求項１乃至６のうちのいずれか１項に記載の撮像システム。
【請求項8】
前記１つ以上の処理デバイスは、前記複数の画像に対応する前記波長範囲のうちの１つ以上の波長範囲の下での照明についての前記外科シーンに入射する照明の量を推定するように構成される、請求項１乃至７のうちのいずれか１項に記載の撮像システム。
【請求項9】
前記１つ以上の処理デバイスは、前記外科シーンに入射する前記照明の量に関する情報に基づいて前記複数の画像のうちの１つ以上の画像に対してトーンマッピング操作を実行するように構成される、請求項１乃至８のうちのいずれか１項に記載の撮像システム。
【請求項10】
前記１つ以上の処理デバイスは、少なくとも前記複数の画像のサブセットに基づいて、前記外科シーンの様々な部分についての散乱の量を推定するように構成される、請求項１乃至７のうちのいずれか１項に記載の撮像システム。
【請求項11】
前記１つ以上の処理デバイスは、（ｉ）前記外科シーンの様々な部分についての前記散乱の量に関する情報、及び（ｉｉ）前記1つ以上の発色団の各発色団の前記濃度に関する前記情報に基づいて、前記外科シーンでの２つの異なる組織タイプの間の境界を決定するように構成される、請求項９に記載の撮像システム。
【請求項12】
前記１つ以上の処理デバイスは、（ｉ）前記外科シーンの様々な部分についての前記散乱の量に関する情報、及び（ｉｉ）前記1つ以上の発色団の各発色団の前記濃度に関する前記情報に基づいて、前記外科シーンでの組織の疾病部分の境界を決定するように構成される、請求項９に記載の撮像システム。
【請求項13】
前記１つ以上の処理デバイスは、（ｉ）前記外科シーンの様々な部分についての前記散乱の量に関する情報、及び（ｉｉ）前記1つ以上の発色団の各発色団の前記濃度に関する前記情報に基づいて、前記外科シーンに存在する1つ以上の組織タイプを識別するように構成される、請求項９に記載の撮像システム。
【請求項14】
前記１つ以上の処理デバイスは、前記出力デバイスに前記外科シーンの前記表現を提示することに応答してユーザ入力を受信するように構成され、前記ユーザ入力は、前記外科シーンで前記外科デバイスを作動させることに関する、請求項１乃至１３のうちのいずれか１項に記載の撮像システム。
【請求項15】
１つ以上の処理デバイスに動作を実行させるためのコンピュータ可読命令を符号化する1つ以上の機械可読格納デバイスであって、前記動作は、
内視鏡カメラから、外科シーンの複数の画像を得ることであって、前記複数の画像内の各画像は、対応する波長範囲内の電磁放射線による照明の下で得られ、前記対応する波長範囲は、前記外科シーン内に存在する発色団のセットに従って選択され、前記対応する波長範囲のうちの任意の２つは、少なくとも部分的に重なり合っていない、前記外科シーンの複数の画像を得ることと、
前記複数の画像に基づいて、前記外科シーンの様々な部分で前記セット内の１つ以上の発色団の各発色団の濃度を決定することを含み、前記濃度を決定することは、
前記複数の画像内の複数の画像に亘る画素値のセットを特定することであって、前記セット内の各画素値は、実質的に前記外科シーンの特定の部分を表す、特定することと、
発色団モデルに基づいて、前記複数の画像に亘る前記画素値のセットに対応する前記１つ以上の発色団の各発色団の前記濃度を決定することであって、前記発色団モデルは、発色団濃度及び画素値の組み合わせの間の関係を表す、決定することとを含み、
前記動作は、
前記１つ以上の発色団の各発色団の前記濃度に関する情報に基づいて、前記外科シーンの表現を生成することと、
前記外科デバイスと関連付けられる出力デバイスに前記外科シーンの前記表現を提示させることとを含む、
１つ以上の機械可読格納デバイス。
【国際調査報告】