特許 7457019 医療撮像システム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-18

(45)【発行日】2024-03-27

(54)【発明の名称】医療撮像システム及び方法

(51)【国際特許分類】

   A61B 1/04 20060101AFI20240319BHJP

【ＦＩ】

A61B1/04 531

【請求項の数】 15

(21)【出願番号】P 2021530841

(86)(22)【出願日】2019-11-26

(65)【公表番号】

(43)【公表日】2022-01-26

(86)【国際出願番号】 US2019063182

(87)【国際公開番号】W WO2020112726

(87)【国際公開日】2020-06-04

【審査請求日】2022-11-16

(31)【優先権主張番号】62/774,041

(32)【優先日】2018-11-30

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】510253996

【氏名又は名称】インテュイティブ サージカル オペレーションズ， インコーポレイテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】スティス，カーティス ダブリュ．

(72)【発明者】

【氏名】ディカルロ，ジェフリー エム．

(72)【発明者】

【氏名】リウ，チャンメン

【審査官】安田 明央

(56)【参考文献】

【文献】特開２０１１－２００５３４（ＪＰ，Ａ）

【文献】特開２００９－０６６１２１（ＪＰ，Ａ）

【文献】特開２０１６－０５８８６６（ＪＰ，Ａ）

【文献】特開２０１７－２２５７３６（ＪＰ，Ａ）

【文献】国際公開第２０１６／１９４１０１（ＷＯ，Ａ１）

【文献】特開２００７－０８９８４０（ＪＰ，Ａ）

【文献】特開２００７－０２０８８０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ １／００－１／３２

(57)【特許請求の範囲】

【請求項1】

第１のピクセルと、第２のピクセルと、第３のピクセルと、第４のピクセルとを含む、ピクセルの２×２アレイを含む、画像センサと、
前記第１のピクセルを覆う第１のカラーフィルタであって、前記第１のピクセルが可視光の第１の色成分を収集することを可能にし、前記第１のピクセルが前記可視光の第２の色成分及び第３の色成分を収集することを防止するように構成される、第１のカラーフィルタと、
前記第２及び第３のピクセルを覆う第２のカラーフィルタであって、前記第２及び第３のピクセルがそれぞれ前記可視光の前記第２の色成分を収集することを可能にし、前記第２及び第３のピクセルがそれぞれ前記可視光の前記第１及び第３の色成分を収集することを防止するように構成される、第２のカラーフィルタと、
前記第４のピクセルを覆う第３のカラーフィルタであって、前記第４のピクセルが前記可視光の前記第３の色成分を収集することを可能にし、前記第４のピクセルが前記可視光の前記第１及び第２の色成分を収集することを防止するように構成される、第３のカラーフィルタと、
前記第２のピクセルを覆うピクセルレベル広帯域赤外線カットフィルタであって、前記第２のピクセルが第１の波長範囲に含まれる波長を有する赤外光を収集することを防止するように構成される、ピクセルレベル広帯域赤外線カットフィルタと、を含む
医療撮像システム。

【請求項2】

前記ピクセルレベル広帯域赤外線カットフィルタは、前記第２のピクセルの表面に接着するように構成されるコーティングを含む、請求項１に記載の医療撮像システム。

【請求項3】

前記第１、第３、及び第４のピクセルを覆う狭帯域赤外線カットフィルタであって、前記第１、第３、及び第４のピクセルが第２の波長範囲に含まれる波長を有する赤外光を収集することを防止するように構成される、狭帯域赤外線カットフィルタを更に含み，前記第２の波長範囲は、前記第１の波長範囲に含まれ、前記第１の波長範囲よりも狭い、請求項１又は２に記載の医療撮像システム。

【請求項4】

前記第１、第３、及び第４のピクセルは、前記第１、第３、及び第４のピクセルが前記第１の波長範囲に含まれる波長を有する赤外光を収集することを防止するように構成されるピクセルレベル広帯域赤外線カットフィルタによって覆われない、請求項１、２又は３に記載の医療撮像システム。

【請求項5】

前記狭帯域赤外線カットフィルタは、前記第１、第２、第３、及び第４のピクセルを覆うガラスフィルタを含む、請求項３に記載の医療撮像システム。

【請求項6】

前記狭帯域赤外線カットフィルタは、
前記第１のピクセルを覆う第１のピクセルレベル狭帯域赤外線カットフィルタと、
前記第３のピクセルを覆う第２のピクセルレベル狭帯域赤外線カットフィルタと、
前記第４のピクセルを覆う第３のピクセルレベル狭帯域赤外線カットフィルタと、を含む、
請求項３に記載の医療撮像システム。

【請求項7】

前記可視光でシーンを照明するように構成される可視光照明源であって、前記ピクセルの２×２アレイは、前記可視光が前記シーン内の１つ以上の表面から反射した後に、前記可視光の前記色成分を収集する、可視光照明源と、
蛍光撮像剤によって蛍光照明を誘発する蛍光励起照明を放射するように構成される蛍光励起照明源と、を更に含む、
請求項３、５又は６に記載の医療撮像システム。

【請求項8】

前記ピクセルレベル広帯域赤外線カットフィルタ及び前記狭帯域赤外線カットフィルタが、前記第１、第２、第３、及び第４のピクセルが前記蛍光励起照明を収集することを防止するように、前記蛍光励起照明は、前記第２の波長範囲に含まれる波長を有し、
前記ピクセルレベル広帯域赤外線カットフィルタが、前記第２のピクセルが前記蛍光照明を収集することを防止する一方で、前記狭帯域赤外線カットフィルタが、前記第１、第３、及び第４のピクセルが前記蛍光照明を収集することを可能にするように、前記蛍光照明は、前記第１の波長範囲に含まれるが、前記第２の波長範囲に含まれない、波長を有する、
請求項７に記載の医療撮像システム。

【請求項9】

画像処理システムを更に含み、該画像処理システムは、
前記可視光照明源及び前記蛍光励起照明源をアクティブ化させて前記可視光及び前記蛍光励起照明を同時に放射させ、
前記可視光及び前記蛍光励起照明が同時に放射されている間に、
前記第１のピクセルによって収集される光を表す第１の信号であって、前記第１の色成分と前記蛍光照明との組み合わせを表すデータを含む第１の信号を受信し、
前記第２のピクセルによって収集される光を表す第２の信号であって、前記第２の色成分を表す第２の信号を受信し、
前記第３のピクセルによって収集される光を表す第３の信号であって、前記第２の色成分と前記蛍光照明との組み合わせを表す第３の信号を受信し、
前記第４のピクセルによって収集される光を表す第４の信号であって、前記第３の色成分と前記蛍光照明との組み合わせを表す第４の信号を受信する
ように構成される、
請求項８に記載の医療撮像システム。

【請求項10】

前記画像処理システムは、
前記第３の信号から前記第２の信号を減じて、前記蛍光照明を表す前記第３の信号の蛍光照明成分を識別し、
前記第１の信号から前記蛍光照明成分を減じて、前記第１の色成分のみを表す処理済みの第１の信号を生成し、
前記第４の信号から前記蛍光照明成分を減じて、前記第３の色成分のみを表す処理済みの第４の信号を生成する、
ように更に構成される、
請求項９に記載の医療撮像システム。

【請求項11】

前記画像処理システムは、
蛍光画像を含まないフルカラー画像を提示するコマンドを受信し、
前記コマンドに応答して、前記処理済みの第１の信号、前記第２の信号、及び前記処理済みの第４の信号に基づいて、前記フルカラー画像を生成する、
ように更に構成される、
請求項１０に記載の医療撮像システム。

【請求項12】

前記画像処理システムは、
フルカラー蛍光画像を提示するコマンドを受信し、
前記コマンドに応答して、前記処理済みの第１の信号、前記第２の信号、前記処理済みの第４の信号、及び前記蛍光照明成分に基づいて、前記フルカラー蛍光画像を生成する、
ように更に構成される、
請求項１０に記載の医療撮像システム。

【請求項13】

命令を格納するメモリと、
前記メモリに通信的に連結されるプロセッサと、を含み、
前記プロセッサは、前記命令を実行して、
ピクセルの２×２アレイに含まれる第１のピクセルによって収集される光を表す第１の信号であって、可視光の第１の色成分と蛍光照明との組み合わせを表すデータを含む第１の信号を受信し、
前記ピクセルの２×２アレイに含まれる第２のピクセルによって収集される光を表す第２の信号であって、前記可視光の第２の色成分を表す第２の信号を受信し、
前記ピクセルの２×２アレイに含まれる第３のピクセルによって収集される光を表す第３の信号であって、前記第２の色成分と前記蛍光照明との組み合わせを表す第３の信号を受信し、
前記ピクセルの２×２アレイに含まれる第４のピクセルによって収集される光を表す第４の信号であって、前記可視光の第３の色成分と前記蛍光照明との組み合わせを表す第４の信号を受信し、
前記第３の信号から前記第２の信号を減じて、前記蛍光照明を表す前記第３の信号の蛍光照明成分を識別し、
前記第１の信号から前記蛍光照明成分を減じて、前記第１の色成分のみを表す処理済みの第１の信号を生成し、
前記第４の信号から前記蛍光照明成分を減じて、前記第３の色成分のみを表す処理済みの第４の信号を生成する
ように構成される、
画像処理システム。

【請求項14】

前記プロセッサは、前記命令を実行して、
蛍光画像を含まないフルカラー画像を提示するコマンドを受信し、
前記コマンドに応答して、前記処理済みの第１の信号、前記第２の信号、及び前記処理済みの第４の信号に基づいて、前記フルカラー画像を生成する、
ように更に構成される、
請求項１３に記載の画像処理システム。

【請求項15】

当該画像処理システムは、
フルカラー蛍光画像を提示するコマンドを受信し、
前記コマンドに応答して、前記処理済みの第１の信号、前記第２の信号、前記処理済みの第４の信号、及び前記蛍光照明成分に基づいて、前記フルカラー蛍光画像を生成する
ように更に構成される、
請求項１３に記載の画像処理システム。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の参照）
本出願は、２０１８年１１月３０日に出願された「MEDICAL IMAGING SYSTEMS AND METHODS」という名称の米国仮特許出願第６２／７７４，０４１号に対する優先権を主張し、その全文を参照により本明細書に援用する。

【背景技術】

【0002】

撮像デバイスに含まれる従来的な画像センサは、典型的には、各ピクセルがシーン内の表面から反射する光を検出する（フォトサイト(photosites)又は光センサ(photosensors)とも呼ばれる）ピクセルのアレイを含む。次に、検出される光は、シーンの画像を表すデータに変換されることがある。

【0003】

カラー画像の生成を容易にするために、画像センサは、ピクセルを覆うカラーフィルタの構成を含むことがある。各カラーフィルタは、その対応するピクセルが、ピクセルに入射する光の特定の色成分のみを検出することを可能にするように構成される。例えば、従来的なカラーフィルタ構成（例えば、バイエルフィルタ構成(Bayer filter arrangement)）は、５０パーセントの緑色、２５パーセントの赤色、及び２５パーセントの青色である。換言すれば、画像センサに含まれる２×２ピクセルアレイ毎に、ピクセルのうちの２つは、２つのピクセルが可視光のうちの緑色成分のみを検出することを可能にするように構成された緑色フィルタによって覆われ、ピクセルのうちの１つは、ピクセルが可視光のうちの赤色成分のみを検出することを可能にするように構成された赤色フィルタによって覆われ、ピクセルのうちの１つは、ピクセルが可視光の青色成分のみを検出することを可能にするように構成された青色フィルタによって覆われる。そのようなカラーフィルタ構成は、一般的に、ＲＧＧＢ、ＢＧＧＲ、ＲＧＢＧ又はＧＲＧＢと呼ばれる。残念ながら、そのようなカラーフィルタ構成は、内部解剖学的構造の画像が患者内に位置付けられるように構成された撮像デバイス（例えば、内視鏡）を使用して取得される医療用途に余り適していない。

【発明の概要】

【0004】

添付の図面は、様々な実施形態を図示しており、本明細書の一部である。図示の実施形態は、例示に過ぎず、本開示の範囲を限定しない。図面を通じて、同一又は類似の参照番号は、同一又は類似の要素を指し示している。

【図面の簡単な説明】

【0005】

【図1】本明細書に記載する原理に従った例示的な医療撮像システムを図示している。

【0006】

【図2】本明細書に記載する原理に従った例示的な画像センサを示している。

【0007】

【図3A】本明細書に記載する原理に従った例示的なカラーフィルタ構成を示している。

【図3B】本明細書に記載する原理に従った例示的なカラーフィルタ構成を示している。

【0008】

【図4】本明細書に記載する原理に従った例示的な医療撮像システムを図示している。

【0009】

【図5】本明細書に記載する原理に従ったカラーフィルタについてのスペクトル応答曲線を示している。

【0010】

【図6A】本明細書に記載する原理に従ったフィルタ構成を示している。

【図6B】本明細書に記載する原理に従ったフィルタ構成を示している。

【0011】

【図7】本明細書に記載する原理に従ったカラーフィルタについてのスペクトル応答曲線を示している。

【0012】

【図8A】本明細書に記載する原理に従った例示的なフィルタ構成を図示している。

【図8B】本明細書に記載する原理に従った例示的なフィルタ構成を図示している。

【図9A】本明細書に記載する原理に従った例示的なフィルタ構成を図示している。

【図9B】本明細書に記載する原理に従った例示的なフィルタ構成を図示している。

【図10A】本明細書に記載する原理に従った例示的なフィルタ構成を図示している。

【図10B】本明細書に記載する原理に従った例示的なフィルタ構成を図示している。

【0013】

【図11】本明細書に記載する原理に従った画像処理システムを図示している。

【0014】

【図12】本明細書に記載する原理に従ってフルカラー画像及びフルカラー蛍光画像を選択的に生成するために撮像処理システムによって行われることがある様々な動作を示している。

【0015】

【図13】本明細書に記載する原理に従った例示的な方法を図示している。

【0016】

【図14】本明細書に記載する原理に従った例示的なコンピュータ支援外科システムを図示している。

【0017】

【図15】本明細書に記載する原理に従った例示的なコンピューティングデバイスを図示している。

【発明を実施するための形態】

【0018】

医療撮像システム及び方法が本明細書に記載される。以下により詳細に記載するように、例示的な医療撮像システムは、ピクセル(画素)の２×２アレイを含む画像センサ(イメージセンサ)を含む。２×２アレイは、第１のピクセルと、第２のピクセルと、第３のピクセルと、第４のピクセルとを含む。赤色フィルタは、第1のピクセルを覆い、第１の青色フィルタは、第２のピクセルを覆い、第２の青色フィルタは、第３のピクセルを覆い、緑色フィルタは、第４のピクセルを覆う。赤色フィルタは、第１のピクセルが可視光の赤色成分を収集することを可能にし、第１のピクセルが可視光の青色成分及び緑色成分を収集することを防止するように構成される。第１及び第２の青色フィルタは、第２及び第３のピクセルがそれぞれ可視光の青色成分を収集することを可能にし、第２及び第３のピクセルがそれぞれ可視光の赤色成分及び緑色成分を収集することを防止するように構成される。緑色フィルタは、第４のピクセルが可視光の緑色成分を収集することを可能にし、第４のピクセルが可視光の赤色成分及び青色成分を収集することを防止するように構成される。

【0019】

様々な利点及び利益が本明細書に記載する医療撮像システム及び方法に関連する。例えば、医療撮像用途では、青色にバイアスされた照明（すなわち、緑色成分又は赤色成分よりも青色成分をより多く有する光）を使用することがしばしば望ましい。これは緑色成分及び赤色成分の波長が青色成分よりも長く、従って、患者解剖学的構造により深く浸透するからである。これは、次に、緑色成分及び赤色成分を青色成分よりも多く散乱させ、撮像デバイスによって取り込まれる画像内で比較的よりぼやけた赤色成分及び緑色成分をもたらす。故に、医療画像用途において、青色にバイアスされた照明は、他の色（例えば、緑色）にバイアスされた照明よりも鮮明な画像をもたらす。光の青色成分を取り込むよう２×２ピクセルアレイ内のピクセルの５０％を構成することによって、本明細書に記載するシステム及び方法は、青色にバイアスされた光をより効果的に取り込むことがあり、従って、患者解剖学的構造のより鮮明且つより正確な画像を生成することがある。

【0020】

本明細書に記載する別の例示的な医療撮像システムは、第１のピクセルと、第２のピクセルと、第３のピクセルと、第４のピクセルとを含む、ピクセルの２×２アレイを含む、画像センサを含む。第１のカラーフィルタは、第１のピクセルを覆い、第１のピクセルが可視光の第１の色成分を収集することを可能にし、第１のピクセルが可視光の第２及び第３の成分を収集することを防止するように構成される。第２のカラーフィルタは、第２及び第３のピクセルを覆う。第２のカラーフィルタは、第２のピクセル及び第３のピクセルがそれぞれ可視光の第２の色成分を収集することを可能にし、第２及び第３のピクセルがそれぞれ可視光の第１及び第３の色成分を収集することを防止するように構成される。第３のカラーフィルタは、第４のピクセルを覆い、第４のピクセルが可視光の第３の色成分を収集することを可能にし、第４のピクセルが可視光の第１及び第２の色成分を収集することを防止するように構成される。ピクセルレベルの広帯域赤外線カットフィルタ(遮断フィルタ)は、第２のピクセルを覆い、第２のピクセルが第１の波長範囲に含まれる波長を有する赤外光を収集することを防止するように構成される。幾つかの例において、狭帯域赤外線カットフィルタは、第１、第３、及び第４のピクセルを覆い、第１、第３、及び第４のピクセルが第２の波長範囲に含まれる波長を有する赤外光を収集することを防止するように構成される。第２の波長範囲は、第１の波長範囲に含まれ、第１の波長範囲よりも狭い。以下に記載するように、この構成は、本明細書に記載するシステム及び方法がフルカラー蛍光画像を選択的に表示することを可能にすることがある、３つの色成分チャネル及び蛍光照明チャネルを有利に提供する。従来のグレースケール蛍光画像とは対照的にフルカラー蛍光画像を表示することによって、本明細書に記載するシステム及び方法は、医療従事者（例えば、外科医）が、血管、胆管、組織灌流、及び他の解剖学的構成をより正確に視覚化し且つ評価することを可能にすることがある。

【0021】

図１は、シーンの画像を取り込む(キャプチャする)ように構成された例示的な医療撮像システム１００を図示している。幾つかの例において、シーンは、患者に関連する外科領域を含んでよい。特定の例において、外科領域は、患者内に全体的に配置されてもよく、外科領域は、外科処置が行われるように計画されている、行われている、或いは行われた場所又はそれらの近傍にある、患者内の領域を含んでよい。例えば、患者の内部の組織に対して行われる最小侵襲外科処置のために、外科領域は、組織、組織の下に位置する解剖学的構造、並びに、例えば、外科処置を行うために使用される外科器具が配置される組織の周りの空間を含んでよい。他の例では、外科領域は、患者の外部に少なくとも部分的に配置されてよい。

【0022】

図示のように、医療撮像システム１００は、撮像デバイス１０２と、コントローラ１０４とを含む。医療撮像システム１００は、特定の実装に役立つことがある追加の又は代替のコンポーネント(構成要素)を含んでよい。例えば、医療撮像システム１００は、様々な光及び／又は電気信号伝送コンポーネント（例えば、ワイヤ、レンズ、光ファイバ、チョーク回路、導波管など）、電気ワイヤ及び／又は光ファイバを収容し且つ撮像デバイス１０２とコントローラ１０４とを相互接続するように構成されるケーブルなどを含んでよい。

【0023】

撮像デバイス１０２は、シーンの画像を取り込むように構成された内視鏡又は他のカメラデバイスによって実装されてよい。図示のように、撮像デバイス１０２は、カメラヘッド１０６と、カメラヘッド１０６に連結されてカメラヘッド１０６から離れて延びるシャフト１０８と、シャフト１０８の遠位端にある画像センサ１１０（すなわち、右側画像センサ１１０－Ｒ及び左側画像センサ１１０－Ｌ）と、照明チャネル１１２とを含む。図１の例において、撮像デバイス１０２は、立体視(stereoscopic)である。代替的に、他の例において、撮像デバイス１０２は、（例えば、２つの画像センサ１１０の代わりに１つの画像センサ１１０を含むことによって）平面視(monoscopic)であってよい。

【0024】

撮像デバイス１０２は、（例えば、患者に外科処置を行う外科医によって）手動で取り扱われ且つ制御されてよい。代替的に、カメラヘッド１０６は、コンピュータ支援外科システムのマニピュレータアームに連結されてよく、その一例は以下に提供される。この構成において、撮像デバイス１０２は、ロボット及び／又は遠隔操作技術を用いて制御されてよい。

【0025】

シャフト１０８の遠位端は、撮像デバイス１０８によって撮像されるべきシーンに或いはその近傍に配置されてよい。例えば、シャフト１０８の遠位端は、患者に挿入されてよい。この構成において、撮像デバイス１０２は、患者内の解剖学的構造及び／又は他の物体の画像を取り込むために用いられてよい。

【0026】

画像センサ１１０は、それぞれ、電荷結合素子（「ＣＣＤ」）画像センサ、相補型金属酸化物半導体（「ＣＭＯＳ」）画像センサ、又は同等物のような、任意の適切な画像センサによって実装されてよい。幾つかの例では、図１に示すように、画像センサ１１０は、シャフト１０８の遠位端に位置付けられ。代替的に、画像センサ１１０は、シャフト１０８の近位端、カメラヘッド１０６の内側、又は外部撮像デバイス１０２の外側（例えば、コントローラ１０４の内側）により近く位置付けられてよい。これらの代替的な構成において、シャフト１０８及び／又はカメラヘッド１０６に含まれる光学系（例えば、レンズ、光ファイバなど）は、シーンからの光を画像センサ１１０に伝えることがある。

【0027】

画像センサ１１０は、光を検出する（例えば、取り込む、収集する、感知する、或いは他の方法で取得する）ように構成される。例えば、画像センサ１１０－Ｒは、右側視野から光を検出するように構成され、画像センサ１１０－Ｌは、左側視野から光を検出するように構成される。図１の例において、画像センサ１１０によって検出される光は、シーン内に配置される物体から反射する可視光を含む。しかしながら、本明細書に記載するように、画像センサ１１０は、シーン内に配置される蛍光撮像剤によって放射される赤外線蛍光照明を追加的又は代替的に検出することがある。以下に図示するように、画像センサ１１０は、検出された光を１つ以上の画像を表すデータに変換することがある。画像センサ１１０の例示的な実装を本明細書に記載する。

【0028】

照明チャネル１１２は、１つ以上の光学コンポーネント（例えば、光ファイバ、光ガイド、レンズなど）によって実装されてよい。以下に記載するように、照明は、シーンを照らすために照明チャネル１１２を介して提供されてよい。

【0029】

コントローラ１０４は、撮像デバイス１０２を制御する且つ／或いは撮像デバイス１０２とインターフェース接続するように構成されるハードウェア及びソフトウェアの任意の適切な組み合わせによって実装されてよい。例えば、コントローラ１０４は、コンピュータ支援外科システムに含まれるコンピューティングデバイスによって少なくとも部分的に実装されてよい。

【0030】

コントローラ１０４は、カメラ制御ユニット１１４（ＣＣＵ：camera control unit）と、可視光照明源１１６とを含む。コントローラ１０４は、特定の実装に役立つことがあるような追加又は代替のコンポーネントを含んでよい。例えば、コントローラ１０４は、撮像デバイス１０２に含まれるコンポーネントに電力を提供するように構成される回路構成を含んでよい。幾つかの例において、ＣＣＵ１１４及び／又は可視光照明源１１６は、代替的に、撮像デバイス１０２（例えば、カメラヘッド１０６）に含まれる。

【0031】

ＣＣＵ１１４は、画像センサ１１０の様々なパラメータ（例えば、アクティブ化時間(起動時間)、自動露出など）を制御するように構成される。以下に記載するように、ＣＣＵ１１４は、画像センサ１１０から画像データを受信して処理するように更に構成されてよい。ＣＣＵ１１４は、単一ユニットであるように図１に示されているが、ＣＣＵ１１４は、代替的に、右側画像センサ１１０－Ｒを制御するように構成された第１のＣＣＵと、左側画像センサ１１０－Ｌを制御するように構成された第２のＣＣＵとによって実装されてよい。

【0032】

可視光照明源１１６は、可視光１１８を生成して放射するように構成されてよい。可視光１１８は、照明チャネル１１２を経由してシャフト１０８の遠位端に移動してよく、可視光１１８はシャフト１０８の遠位端で出て、シーンを照明する。

【0033】

可視光１１８は、１つ以上の色成分を含んでよい。例えば、可視光１１８は、全スペクトルの色成分（例えば、赤色成分、緑色成分、及び青色成分）を含む白色光を含んでよい。赤色成分は、約６３５～７００ナノメートル（「ｎｍ」）の間の波長を有する。緑色成分は、約５２０～５６０ｎｍの間の波長を有する。青色成分は、約４５０～４９０ｎｍの間の波長を有する。

【0034】

幾つかの例において、可視光１１８は、別の色成分よりも１つの色成分をより多く含むようにバイアスされる。例えば、可視光１１８は、赤色成分及び緑色成分よりも多くの青色成分を含むことによって青色バイアスされてよい。

【0035】

シーンの１つ以上の画像を取り込むために、コントローラ１０４（又は他の任意の適切なコンピューティングデバイス）は、可視光照明源１１６及び画像センサ１１０をアクティブ化(起動)させてよい。アクティブ化される間に、可視光照明源１１６は、可視光１１８を放射し、可視光１１８は、照射チャネル１１２を介してシーンに進む。画像センサ１１０は、シーン内の１つ以上の表面から反射される可視光１１８を検出する。可視光１１８が蛍光励起照明を含む場合、画像センサ１１０は、蛍光励起照明によって誘発される蛍光照明を追加的又は代替的に検出することがある。

【0036】

画像センサ１１０（及び／又は撮像デバイス１０２に含まれる他の回路構成）は、検出された光を、シーンの１つ以上の画像を表す画像データ１２０に変換することがある。例えば、画像センサ１１０－Ｒは、右側視野から取り込まれる画像を表す画像データ１２０－Ｒを出力し、画像センサ１１０－Ｌは、左側視野から取り込まれる画像を表す画像データ１２０－Ｌを出力する。画像データ１２０は、任意の適切なフォーマットを有してよい。

【0037】

画像データ１２０は、画像センサ１１０からＣＣＵ１１４に送信される。画像データ１２０は、画像センサ１１０とＣＣＵ１１４との間の任意の適切な通信リンクを介して送信されてよい。例えば、画像データ１２０は、撮像デバイス１０２とコントローラ１０４とを相互接続するケーブルに含まれるワイヤによって送信されてよい。

【0038】

ＣＣＵ１１４は、画像データ１２０を処理（例えば、パケット化及び／又はフォーマット化）して、処理済み画像データ１２２（例えば、画像データ１２０－Ｒに対応する処理済み画像データ１２２－Ｒ及び画像データ１２０－Ｌに対応する処理済み画像データ１２２－Ｌ）を出力してよい。処理済み画像データ１２２は、画像処理システムに送信されてよく、画像処理システムは、（例えば、ビデオコンテンツ及び／又は１つ以上の静止画像の形態において）１つ以上のディスプレイデバイス上での表示のために、処理済み画像データ１２２を準備してよい。例えば、画像処理システムは、画像データ１２２に基づいて、１つ以上のディスプレイデバイス上での表示のために、１つ以上のフルカラー及び／又はグレースケール画像を生成してよい。

【0039】

図２は、例示的な画像センサ２００を示している。画像センサ２００は、画像センサ１１０及び／又は撮像デバイスに含まれる任意の他の画像センサを実装してよい。図示のように、画像センサ２００は、複数のピクセルアレイ２０２（例えば、ピクセルアレイ２０２－１～ピクセルアレイ２０２－ｎ）を含む。各ピクセルアレイ２０２は、ピクセル２０４の２×２配置を含む。例えば、ピクセルアレイ２０２－１は、図２に示すように配置された第１のピクセル２０４－１、第２のピクセル２０４－２、第３のピクセル２０４－３、及び第４のピクセル２０４－４を含む。画像センサ２００は、特定の実装に役立つことがあるように、任意の適切な数のピクセルアレイ２０２を含んでよい。２×２アレイが図２に示されているが、各アレイは任意の数のピクセル２０４（例えば、３×３ピクセルアレイ、４×４ピクセルアレイなど）を含んでよいことが認識されるであろう。

【0040】

シーンのカラー撮像を容易にするために、画像センサ２００は、ピクセル２０４を覆うカラーフィルタの配置を含んでよい。各カラーフィルタは、その対応するピクセル２０４が、ピクセル２０４に入射する光の特定の色成分のみを検出することを可能にするように構成される。

【0041】

カラーフィルタは、ピクセル２０４の表面（例えば、光が入射することがある表面）上に被覆される或いはさもなければ接着されることによって、ピクセル２０４を覆ってよい。代替的に、カラーフィルタは、任意の他の適切な方法でピクセル２０４を覆ってよい。

【0042】

図３Ａ～図３Ｂは、ピクセル２０４を覆い、本明細書に記載するシステム及び方法に従って使用されることがある、例示的なカラーフィルタ配置を示している。図示のように、異なるカラーフィルタ３０２が、各ピクセル２０４を覆ってよい。説明を容易にするために、図３Ａは、ピクセル２０４から僅かにオフセットされたフィルタ３０２を示している一方で、図３Ｂは、ピクセル２０４を直接的に覆うフィルタ３０２を示している。

【0043】

図３Ａ～図３Ｂに示すように、赤色フィルタ３０２－Ｒは、ピクセル２０４－１を覆い、第１の青色フィルタ３０２－Ｂ１は、ピクセル２０４－２を覆い、第２の青色フィルタ３０２－Ｂ２は、ピクセル２０４－３を覆い、緑色フィルタ３０２－Ｇは、ピクセル２０４－４を覆う。カラーフィルタ３０２が配置される順序の故に、本明細書では図３Ａ～図３Ｂに示すフィルタ配置をＲＢＢＧと呼ぶ。

【0044】

２つの青色フィルタを含む他のカラーフィルタ配置が、本明細書に記載するシステム及び方法に従って使用されてもよい。例えば、代替的な実施形態において、第１の青色フィルタ３０２－Ｂ１は、ピクセル２０４－１を覆ってよく、赤色フィルタ３０２－Ｒは、ピクセル２０４－２を覆ってよく、緑色フィルタ３０２－Ｇは、ピクセル２０４－３を覆ってよく、第２の青色フィルタ３０２－Ｂ２は、ピクセル２０４－４を覆ってよい。この代替的なフィルタ構成をＢＲＢＧと呼ぶことがある。

【0045】

上述のように、図３Ａ～図３Ｂに示す構成のような、５０％青色であるカラーフィルタ構成を使用することによって、本明細書に記載するシステム及び方法は、２５％青色のみである従来的なカラーフィルタ構成と比較して、医療撮像用途において使用される青色バイアス光をより効果的に取り込むことがある。従って、５０％青色であるカラーフィルタ構成は、患者に関連する外科領域のより鮮明でより正確な画像を生成することがある。

【0046】

幾つかの例において、本明細書に記載するカラーフィルタ構成は、医療設定において有用なことがある他のタイプの撮像を容易にすることがある。例えば、本明細書に記載するカラーフィルタ構成は、フルカラー蛍光画像を生成するために使用されてよい。従来的なグレースケール蛍光画像とは対照的にフルカラー蛍光画像を表示することによって、本明細書に記載するシステム及び方法は、医療従事者（例えば、外科医）が、血管、胆管、組織灌流、及び他の解剖学的構成をより正確に視覚化し且つ評価することを可能にすることがある。

【0047】

図４は、カラー画像に加えて或いはカラー画像との組み合わせにおいて蛍光画像を取り込むように構成された例示的な医療撮像システム４００を示している。医療撮像システム４００は、医療撮像システム４００が蛍光励起照明源４０２を更に含むことを除いて、医療撮像システム１００と類似している。蛍光励起照明源４０２は、蛍光励起照明４０４を生成して放出するように構成され、蛍光励起照明４０４は、照明チャネル１１２を介してシーン（例えば、患者に関連する外科領域）に適用されてよい。

【0048】

蛍光励起照明４０４は、蛍光撮像剤による蛍光照明を誘発するように構成される。蛍光撮像剤は、患者の血流又は他の解剖学的構成に導入される（例えば、注入される）ことがある任意の適切な色素、タンパク質、又は他の物質を含んでよい。蛍光励起照明に暴露されるとき、蛍光撮像剤は、蛍光照明を放射することがある（すなわち、蛍光撮像剤は、蛍光を発することがある）。蛍光照明は、本明細書に記載する画像センサ（例えば、画像センサ１１０又は画像センサ２００）のいずれかによって検出されてよく、様々な細胞活動又は構造（例えば、リアルタイムの血液血管系）を示す蛍光画像を生成するために使用されてよい。

【0049】

幾つかの例において、蛍光励起照明及び蛍光照明の両方は赤外光である。換言すれば、蛍光励起照明及び蛍光照明の両方は、赤外光領域内の波長を有する。赤外光領域は、約７００ｎｍ（赤色可視光領域の縁）から約１ｍｍまでの波長を含む。より具体的には、蛍光励起照明及び蛍光照明の両方は、赤外光領域にあり、約７００ｎｍ～約９５０ｎｍの波長を含む、近赤外光領域に含まれる波長を有してよい。例えば、例示的な蛍光撮像剤は、８０３ｎｍの波長を有する蛍光励起照明によって励起されるときに、８３０ｎｍで蛍光を発する。本明細書の例では、蛍光励起照明及び蛍光励起照明の両方が赤外光領域内の波長を有すると仮定する。

【0050】

幾つかのシナリオにおいて（例えば、フルカラー蛍光画像を生成することが望ましいときに）、可視光照明源１１６及び蛍光励起照明源４０２は、それぞれ、可視光及び蛍光励起照明を同時に放射する。これらのシナリオにおいて、画像センサ１１０のピクセルは、２つのタイプの照明の間を区別することなく、可視光及び蛍光照明の両方を収集する。故に、画像センサ１１０によって出力される画像データ１２０は、色成分及び蛍光照明成分の両方を表すデータを含む。

【0051】

例示のために、図５は、カラーフィルタ３０２のスペクトル応答曲線５０２を示している。例えば、図５は、赤色フィルタ３０２－Ｒについてのスペクトル応答曲線５０２－１と、青色フィルタ３０２－Ｂ１及び３０２－Ｂ２についてのスペクトル応答曲線５０２－２と、緑色フィルタ３０２－Ｇについてのスペクトル応答曲線５０２－３とを示している。スペクトル応答曲線５０２は、スペクトル応答曲線５０２を互いに視覚的に区別するために、実線及び破線の異なる変化によって表されている。図示のように、スペクトル応答曲線５０２は、可視光範囲５０４及び赤外光範囲５０６に含まれる波長を表す水平軸に沿ってプロットされている。

【0052】

スペクトル応答曲線５０２は、各カラーフィルタ３０２が、どのようにして、その対応するピクセルが可視光１１８の特定の色成分を収集することを可能にする一方で、ピクセルが可視光１１８の他の色成分を収集することを防止するかを示している。例えば、スペクトル応答曲線５０２－１は、可視光線範囲５０４の赤色領域内の波長で比較的高い応答を有し、可視光線範囲５０４の他の領域内の波長で比較的低い応答を有する。故に、赤色フィルタ３０２－Ｒは、ピクセル２０４－１が可視光１１８の赤色成分を収集することを可能にする一方で、ピクセル２０４－１が可視光１１８の青色成分及び緑色成分を収集することを防止する。スペクトル応答曲線５０２－２は、可視光範囲５０４の青色領域内の波長で比較的高い応答を有し、可視光範囲５０４の他の領域内の波長で比較的低い応答を有する。故に、青色フィルタ３０２－Ｂ１及び３０２－Ｂ２は、ピクセル２０４－２及び２０４－３が可視光１１８の青色成分を収集することを可能にする一方で、ピクセル２０４－２及び２０４－３が可視光１１８の赤色成分及び緑色成分を収集することを防止する。スペクトル応答曲線５０２－３は、可視光線範囲５０４の緑色領域内の波長で比較的高い応答を有し、可視光線範囲５０４の他の領域内の波長で比較的低い応答を有する。故に、緑色フィルタ３０２－Ｇは、ピクセル２０４－４が可視光１１８の緑色成分を収集することを可能にする一方で、ピクセル２０４－４が可視光１１８の赤色成分及び青色成分を収集することを防止する。

【0053】

図５に示すように、スペクトル応答曲線５０２は、それぞれ、赤外光範囲５０６内で比較的高い応答を有する。換言すれば、スペクトル応答曲線５０２に対応する各カラーフィルタ３０２は、ピクセル２０４が少なくとも幾つかのタイプの赤外光を収集することを妨げない。例示のために、図５に示すように、カラーフィルタ３０２は、ピクセル２０４が近赤外光を収集することを妨げない。

【0054】

故に、本明細書に記載するシステム及び方法によれば、１つ以上の赤外線カットフィルタは、画像処理システムが画像データ１２２に含まれる色成分と蛍光照明成分との間を区別し、それによって、ディスプレイデバイスに命令してフルカラー蛍光画像を表示させることがあるように、ピクセル２０４のうちの１つ以上を覆ってよい。

【0055】

例示のために、図６Ａ～図６Ｂは、ピクセルレベルの広帯域赤外線カットフィルタ６０２（「カットフィルタ６０２」）がピクセル２０４～２を覆うフィルタ構成を図示している。カットフィルタ６０２は、ピクセル２０４－２の表面に接着するように構成されるコーティング(被膜)によって及び／又は任意の他の方法において実装されてよい。

【0056】

例示を容易にするために、図６Ａは、ピクセル２０４から僅かにオフセットされたフィルタ３０２及び６０２を示している一方で、図６Ｂは、ピクセル２０４を直接的に覆うフィルタ３０２及び６０２を示している。カットフィルタ６０２は、青色カラーフィルタ３０２～Ｂ１の上にあるものとして図６Ａ～図６Ｂに図示されている。しかしながら、代替的な実施形態において、青色カラーフィルタ３０２－Ｂ１は、カットフィルタ６０２の上にあってよい。

【0057】

図示のように、カットフィルタ６０２に類似するピクセルレベル広帯域赤外線カットフィルタは、ピクセル２０４－１、２０４－３、及び２０４－４を覆わない。これは、画像処理システムが、以下に記載するように、画像データ１２２に含まれる色成分と蛍光照明成分との間を有利に区別することを可能にすることがある。

【0058】

カットフィルタ６０２は、ピクセル２０４－２が、比較的広範囲の波長（例えば、近赤外線範囲全体）に含まれる波長を有する赤外光を収集することを防止するように構成される。これは図７に図示されており、図７ではカラーフィルタ３０２－２のスペクトル応答５０２－２が近赤外線範囲（例えば、７００ｎｍ～９５０ｎｍの間）で比較的平坦である点を除いて、図７は図５に類似している。これは呼出し７０２(callout)によって図７において強調されている。

【0059】

ピクセル２０４－２が赤外光を収集することを防止することによって、カットフィルタ６０２は、ピクセル２０４－２が可視光１１８の青色成分のみを収集することを効果的に可能にすることがある。対照的に、ピクセル２０４－３は、カットフィルタ６０２と同様のカットフィルタによって覆われないので、ピクセル２０４－３は、可視光照明源１１６及び蛍光励起照明源４０２の両方がアクティブ化されて同時に光を放射するときに、蛍光励起照明４０４によって誘発される青色成分及び蛍光照明の両方を収集する。以下に記載するように、画像処理システムは、ピクセル２０４－２によって収集される光を表す信号からピクセル２０４－３によって収集される光を表す信号を減じて、ピクセル２０４－２によって収集される光を表す信号に含まれる蛍光照明成分を識別(同定)することがある。

【0060】

幾つかの代替的な実施形態において、ピクセル２０４－１、２０４－３、及び２０４－４のうちの１つ以上は、カットフィルタ６０２と同様に、広帯域赤外線カットフィルタによって覆われてもよい。例えば、図８Ａ～図８Ｂは、ピクセルレベル広帯域赤外線カットフィルタ６０２がピクセル２０４－２及び２０４－３の両方を覆うフィルタ構成を図示している。例示を容易にするために、図８Ａは、ピクセル２０４－２及び２０４－３から僅かにオフセットされたカットフィルタ６０２を示している一方で、図８Ｂは、ピクセル２０４－２及び２０４－３を直接的に覆うフィルタ６０２を示している。図８Ａ～図８Ｂのフィルタ構成は、ピクセル２０４によって取り込まれる光に基づいて生成されるカラー画像及びグレースケール蛍光画像の鮮明度(sharpness)を増加させることがある。

【0061】

図９Ａ～図９Ｂは、カットフィルタ６０２がＲＧＧＢフィルタ構成と共に使用される代替的な構成を示している。図示のように、赤色フィルタ３０２－Ｒは、ピクセル２０４－１を覆い、第１の緑色フィルタ３０２－Ｇ１は、ピクセル２０４－２を覆い、第２の緑色フィルタ３０２－Ｇ２は、ピクセル２０４－３を覆い、青色フィルタ３０２－Ｂは、ピクセル２０４－４を覆う。同様に図示するように、カットフィルタ６０２は、残りのピクセル２０４－１、２０４－３、及び２０４－４を覆う類似のカットフィルタを用いないで、ピクセル２０４－２を覆う。例示を容易にするために、図９Ａは、ピクセル２０４から僅かにオフセットされたフィルタ３０２及びカットフィルタ６０２を示している一方で、図９Ｂは、ピクセル２０４を直接的に覆うフィルタ３０２及びカットフィルタ６０２を示している。図９Ａ～図９Ｂに示す構成は、例えば、照明として使用される可視光が緑色にバイアスされる撮像用途（例えば、非医療用途）において使用されてよい。

【0062】

幾つかの例では、蛍光撮像剤が、蛍光励起照明４０２とは異なる波長で蛍光を発する。例えば、上述のように、例示的な蛍光撮像剤は、８０３ｎｍの波長を有する蛍光励起照明によって励起されるときに、８３０ｎｍで蛍光を発する。ピクセル２０４が蛍光励起照明４０４を検出することを防止すると同時に、ピクセル２０４の少なくとも一部が蛍光撮像剤によって放射される蛍光照明を検出することを可能にすることが望ましいので、狭帯域赤外線カットフィルタが本明細書に記載する医療撮像システムに更に含まれてよい。

【0063】

例示のために、図１０Ａは、狭帯域赤外線カットフィルタ１００２がピクセル２０４の全てを覆う例示的なフィルタ構成を示している。狭帯域赤外線カットフィルタ１００２は、例えば、ピクセル２０４の全てを覆い、カラーフィルタ３０２及びカットフィルタ６０２の上にある、単一のガラスフィルタとして実装されてよい。狭帯域赤外線カットフィルタ１００２は、ピクセル２０４が蛍光励起照明４０４の波長を含む波長の比較的狭い範囲（例えば、２０ｎｍ以下の範囲）の波長に含まれる波長を有する赤外光を収集することを防止するように構成される。よって、狭帯域赤外線カットフィルタ１００２は、ピクセル２０４が蛍光励起照明４０４を検出することを効果的に防止する。

【0064】

図１０Ｂは、ピクセルレベル狭帯域赤外カットフィルタ１００４－１、１００４－２、及び１００４－３が、それぞれ、ピクセル２０４－１、２０４－３、及び２０４－４を覆う、代替的な構成を示している。ピクセルレベル狭帯域カットフィルタ１００４は、任意の適切な方法で実装されてよい。狭帯域赤外線カットフィルタ１００２と同様に、ピクセルレベル狭帯域カットフィルタ１００４は、ピクセル２０４－１、２０４－３、及び２０４－４が、蛍光励起照明４０４を検出することを効果的に防止することがある。蛍光励起照明４０４の波長はカットフィルタ６０２によって遮断される波長の範囲内にあるので、カットフィルタ６０２はピクセル２０４－２が蛍光励起照明４０４を検出することを同様に防止することが認識されるであろう。

【0065】

図１１は、ピクセル２０４によって収集される光を表す信号に基づいて、ディスプレイデバイス上での表示のための１つ以上の画像を生成するように構成されてよい、画像処理システム１１００を図示している。画像処理システム１１００は、本明細書に記載する医療撮像システムのいずれかに含まれてよく、或いはそれに接続されてよい。例えば、幾つかの例において、画像処理システム１１００は、コントローラ１０４と通信的に連結される。この構成において、画像処理システム１１００は、処理済み画像データ１２２を入力として受信してよい。

【0066】

図示のように、システム１１００は、限定されるものではないが、互いに選択的かつ通信的に連結された格納設備１１０２(storage facility)及び処理設備１１０４(processing facility)を含んでよい。設備１１０２及び１１０４は、それぞれ、ハードウェア及び／又はソフトウェアコンポーネント（例えば、プロセッサ、メモリ、通信インターフェース、プロセッサによる実行のためにメモリに格納された命令など）を含んでよく、或いはそれらによって実装されてよい。例えば、施設１１０２及び１１０４は、コンピュータ支援外科システム内の任意のコンポーネントによって実装されてよい。幾つかの例において、設備１１０２及び１１０４は、特定の実装に役立つことがあるような複数のデバイス及び／又は複数の場所の間に分散されてよい。

【0067】

格納設備１１０２は、本明細書に記載する動作のいずれかを行うために処理設備１１０４によって使用される実行可能データを維持（例えば、格納）してよい。例えば、格納設備１１０２は、本明細書に記載する動作のいずれかを行うために処理設備１１０４によって実行されることがある命令１１０６を格納してよい。命令１１０６は、任意の適切なアプリケーション、ソフトウェア、コード、及び／又は他の実行可能なデータインスタンスによって実装されてよい。格納設備１１０２は、処理設備１１０４によって受信され、生成され、管理され、使用され、且つ／或いは送信される任意のデータを維持してもよい。

【0068】

処理設備１１０４は、ディスプレイデバイス上に表示するための画像を生成することに関連する様々な動作を行う（例えば、そのような様々な動作を行うために格納設備１１０２に格納される命令１１０６を実行する）ように構成されてよい。

【0069】

例えば、処理設備１１０４は、可視光１１８及び蛍光励起照明４０４を同時に放射するために可視光照明源１１６及び蛍光励起照明源４０２をアクティブ化させてよい。可視光１１８及び蛍光励起照明４０４が同時に放射されている間に（或いは代替的に可視光１１８及び蛍光励起照明４０４が放射された後に）、処理設備１１０４は、ピクセル２０４－１によって収集された光を表す第１の信号Ｓ_１、ピクセル２０４－２によって収集された光を表す第２の信号Ｓ_２、ピクセル２０４－３によって収集された光を表す第３の信号Ｓ_３、及びピクセル２０４－４によって収集された光を表す第４の信号Ｓ_４を受信してよい。

【0070】

この例において、ピクセル２０４は、図１０Ａ又は図１０Ｂに示すフィルタ構成（すなわち、ピクセル２０４－２を覆うカットフィルタ６０２と、残りのピクセル２０４－１、２０４－３、及び２０４－４を覆う狭帯域赤外線カットフィルタ１００２又は狭帯域赤外線カットフィルタ１００４とを有する、ＲＢＢＧカラーフィルタ配置）によって覆われる。この例の目的のために、蛍光励起照明４０４は８０３ｎｍの波長を有し、蛍光励起照明４０４によって誘発される蛍光照明は８３０ｎｍの波長を有すると仮定する。

【0071】

故に、処理設備１１０４によって受信される信号は、以下の式によって表されることがある。

【0072】

Ｓ１＝Ｒ＋ＦＩ

【0073】

Ｓ２＝Ｂ

【0074】

Ｓ３＝Ｂ＋ＦＩ

【0075】

Ｓ４＝Ｇ＋ＦＩ

【0076】

これらの式において、Ｒは、ピクセル２０４－１によって取り込まれる光の赤色成分を表し、Ｂは、ピクセル２０４－２及び２０４－３によって取り込まれる光の青色成分を表し、Ｇは、ピクセル２０４－４によって取り込まれる光の緑色成分を表し、ＦＩは、ピクセル２０４－１、２０４－３及び２０４－４によって取り込まれる蛍光照明を表す。信号Ｓ１～Ｓ４は、いずれも、ピクセル２０４－２を覆うカットフィルタ６０２及びピクセル２０４－１、２０４－３、及び２０４－４を覆う狭帯域赤外線カットフィルタ１００２又は狭帯域赤外線カットフィルタ１００４の存在の故に、蛍光励起照明４０４を含まないことに留意されたい。

【0077】

処理設備１１０４は、信号Ｓ１～Ｓ４を処理して、（蛍光のない）フルカラー画像及びフルカラー蛍光画像を選択的に生成してよい。例えば、図１２は、フルカラー画像及びフルカラー蛍光画像を選択的に生成するために処理設備１１０４によって行われることがある様々な動作を示している。

【0078】

合計ブロック１２０２(summing block)で、処理設備１１０４は、先ず、Ｓ３からＳ２を減算して、Ｓ３に含まれる蛍光照明コンポーネントＦＩを識別(同定)する。この減算は、任意の適切な信号処理操作を使用して行われてよい。

【0079】

赤色成分Ｒ及び緑色成分Ｇを識別(同定)するために、処理設備１１０４は、合計ブロック１２０４でＳ１からＦＩを減算し、合計ブロック１２０６でＳ４からＦＩを減算する。図示のように、合計ブロック１２０４の出力は、赤色成分Ｒのみを表す処理済みの第１の信号であり、合計ブロック１２０６の出力は、緑色成分Ｇのみを表す処理済みの第４の信号である。

【0080】

図示のように、Ｒ、Ｇ、Ｂ、及びＦＩは、全て、画像生成器１２０８に入力され、画像生成器１２０８は、任意の適切な方法において処理設備１１０４によって実装されてよい。画像生成器１２０８は、受信した画像モードセレクタコマンド１２１０に基づいて、ディスプレイデバイスによる表示のための様々なタイプの画像を生成してよい。画像モードセレクタコマンド１２１０は、ユーザ（例えば、外科医）によって、コンピュータ支援外科システムに含まれる任意のコンポーネントによって、及び／又は特定の実装に役立つことがある任意の他のソースによって提供されてよい。画像モードセレクタコマンド１２１０は、可視光１１８と蛍光励起照明４０４が同時に及び／又は任意の他の適切な時に放射されている間に、画像生成器１２０８によって受信されてよい。

【0081】

例示のために、画像モードセレクタコマンド１２１０は、蛍光画像を含まないフルカラー画像を提示するコマンドを含んでよい。このコマンドを受信することに応答して、画像生成器１２０８は、任意の適切な画像処理技術を使用してＲ、Ｇ、及びＢ信号に基づいてフルカラー画像を生成してよい。

【0082】

代替的に、画像モードセレクタコマンド１２１０がフルカラー蛍光画像を提示するコマンドを含むならば、画像生成器１２０８は、Ｒ、Ｇ、Ｂ、及びＩＲ信号に基づいてフルカラー蛍光画像を生成してよい。これは任意の適切な画像処理技術を用いて行われてよい。

【0083】

図１３は、画像処理システム１１００によって行われることがある例示的な方法１３００を図示している。図１３は１つの実施形態に従った例示的な動作を図示しているが、他の実施形態は、図１３に示す動作のいずれかを省略、追加、順序変更、及び／又は修正することがある。

【0084】

動作１３０２において、画像処理システム１１００は、ピクセルの２×２アレイに含まれる第１のピクセルによって収集された光を表す第１の信号を受信し、第１の信号は、可視光の赤色成分と蛍光照明との組み合わせを表すデータを含む。動作１３０２は、本明細書に記載する方法のいずれかにおいて行われてよい。

【0085】

動作１３０４において、画像処理システム１１００は、ピクセルの２×２アレイに含まれる第２のピクセルによって収集された光を表す第２の信号を受信し、第２の信号は、可視光の青色成分を表す。動作１３０４は、本明細書に記載する方法のいずれかにおいて行われてよい。

【0086】

動作１３０６において、画像処理システム１１００は、ピクセルの２×２アレイに含まれる第３のピクセルによって収集された光を表す第３の信号を受信し、第３の信号は、青色成分と蛍光照明との組み合わせを表す。動作１３０６は、本明細書に記載する方法のいずれかにおいて行われてよい。

【0087】

動作１３０８において、画像処理システム１１００は、ピクセルの２×２アレイに含まれる第４のピクセルによって収集された光を表す第４の信号を受信し、第４の信号は、可視光の緑色成分と蛍光照明との組み合わせを表す。動作１３０８は、本明細書に記載する方法のいずれかにおいて行われてよい。

【0088】

動作１３１０において、画像処理システム１１００は、第３の信号から第２の信号を減じて、蛍光照明を表す第３の信号の蛍光照明成分を識別(同定)する。動作１３１０は、本明細書に記載する方法のいずれかにおいて行われてよい。

【0089】

動作１３１２において、画像処理システム１１００は、第１の信号から蛍光照明成分を減じて、赤色成分のみを表す処理済みの第１の信号を生成する。動作１３１２は、本明細書に記載する方法のいずれかにおいて行われてよい。

【0090】

動作１３１４において、画像処理システム１１００は、第４の信号から蛍光照明成分を減じて、緑色成分のみを表す処理済みの第４の信号を生成する。動作１３１４は、本明細書に記載する方法のいずれかにおいて行われてよい。

【0091】

本明細書に記載するシステム及び方法は、患者に対して外科処置を行うために使用されるコンピュータ支援外科システムに関連して使用されてよい。例えば、医療撮像システム１００及び４００は、コンピュータ支援外科システムに含まれてよい。

【0092】

図１４は、例示的なコンピュータ支援外科システム１４００（「外科システム１４００」）を図示している。図示のように、外科システム１４００は、操作システム１４０２と、ユーザ制御システム１４０４と、互いに通信的に連結される補助システム１４０６とを含んでよい。外科システム１４００は、患者１４０８に対してコンピュータ支援外科手術を行うために外科チームによって利用されてよい。図示のように、外科チームは、外科医１４１０－１と、助手１４１０－２と、看護師１４１０－３と、麻酔科医１４１０－４とを含んでよく、それらの全員を「外科チーム構成員１４１０」と総称することがある。特定の実装に役立つことがあるような追加の又は代替の外科チーム構成員が外科セッション中に存在してよい。

【0093】

図１４は、進行中の最小侵襲外科処置を図示しているが、外科システム１４００は、外科システム１４００の正確性及び利便性から同様に利益を受けることがある開腹外科処置又は他のタイプの外科処置を行うために同様に使用されてよいことが理解されるであろう。加えて、外科システム１４００が利用されることがある外科セッションは、図１４に示すような外科処置の手術段階を含んでよいのみならず、外科処置の術前、術後、及び／又は他の適切な段階を含んでもよいことが理解されるであろう。外科処置は、患者の身体状態を調査又は治療するために手動及び／又は器具技術が患者に対して使用される、任意の処置を含むことがある。

【0094】

図１４に示すように、操作システム１４０２は、複数の外科器具が連結されることがある複数のマニピュレータアーム１４１２（例えば、マニピュレータアーム１４１２－１～１４１２－４）を含んでよい。各外科器具は、任意の適切な外科ツール（例えば、組織相互作用機能を有するツール）、医療ツール、撮像デバイス（例えば、内視鏡）、感知器具（例えば、力感知外科器具）、診断器具、又は（例えば、患者１４０８に少なくとも部分的に挿入され、患者１４０８に対してコンピュータ支援外科処置を行うよう操作されることによる）患者１４０８に対するコンピュータ支援外科処置のために使用されることがある同等物によって実装されてよい。マニピュレータシステム１４０２は、４つのマニピュレータアーム１４１２を含むものとして描写され、本明細書に記載されているが、マニピュレータシステム１４０２は、単一のマニピュレータアーム１４１２のみ又は特定の実装に役立つことがあるような任意の他の数のマニピュレータアームを含んでよいことが認識されるであろう。

【0095】

マニピュレータアーム１４１２及び／又はマニピュレータアーム１４１２に取り付けられる外科器具は、未加工の（すなわち、補正されていない）運動学的情報を生成するために使用される１つ以上の変位変換器、配向センサ、及び／又は位置センサを含んでよい。外科システム１４００の１つ以上のコンポーネントは、外科器具をトラッキング(追跡)する（例えば、外科器具の位置を決定する）及び／又は外科器具を制御するために、運動学情報を使用するように構成されてよい。

【0096】

ユーザ制御システム１４０４は、マニピュレータアーム１４１２及びマニピュレータアーム１４１２に取り付けられた手術器具の外科医１４１０－１による制御を容易にするように構成されてよい。例えば、外科医１４１０－１は、ユーザ制御システム１４０４と相互作用(対話)してマニピュレータアーム１４１２及び外科器具を遠隔的に移動又は操作してよい。この目的を達成するために、ユーザ制御システム１４０４は、外科医１４１０－１に、撮像システム（例えば、本明細書に記載する医療撮像システムのいずれか）によって取り込まれるような患者１４０８に関連する外科領域の像(imagery)（例えば、高精細３Ｄ像）を提供してよい。特定の例において、ユーザ制御システム１４０４は、２つのディスプレイを有するステレオビューアを含んでよく、患者１４０８と関連付けられる並びに立体視撮像システムによって生成される外科領域の立体視画像は、外科医１４１０－１によって視認されることがある。外科医１４１０－１は、像を利用して、マニピュレータアーム１４１２に取り付けられた１つ以上の外科器具を用いて１つ以上の処置を行ってよい。

【0097】

手術器具の制御を容易にするために、ユーザ制御システム１４０４は、マスタ制御装置のセットを含んでよい。これらのマスタ制御装置は、（例えば、ロボット及び／又は遠隔操作技術を利用することによって）手術器具の動きを制御するために外科医１４１０－１によって操作されてよい。マスタ制御装置は、外科医１４１０－１による多種多様な手、手首、及び指の動きを検出するように構成されてよい。このようにして、外科医１４１０－１は、１つ以上の外科器具を用いて直感的に処置を行うことがある。

【0098】

補助システム１４０６は、外科システム１４００の一次処理動作を行うように構成された１つ以上のコンピューティングデバイスを含んでよい。そのような構成において、補助システム１４０６に含まれる１つ以上のコンピューティングデバイスは、外科システム１４００の様々な他のコンポーネント（例えば、操作システム１４０２及びユーザ制御システム１４０４）によって行われる動作を制御及び／又は調整することがある。例えば、ユーザ制御システム１４０４に含まれるコンピューティングデバイスが、補助システム１４０６に含まれる１つ以上のコンピューティングデバイスを介して、操作システム１４０２に命令を送信してよい。別の例として、補助システム１４０６は、マニピュレータアーム１４１２のうちの１つに取り付けられた撮像デバイスによって取り込まれた像を表す画像データを操作システム１４０２から受信し且つ処理してよい。

【0099】

幾つかの例において、補助システム１４０６は、ユーザ制御システム１４０４で外科医１４１０－１に提供される画像へのアクセスを有さないことがある外科チーム構成員１４１０に視覚的コンテンツを提示するように構成されてよい。この目的を達成するために、補助システム１４０６は、外科領域の画像（例えば、２Ｄ画像）、患者１４０８及び／又は外科処置に関連する情報、及び／又は特定の実装に役立つことがある任意の他の視覚的コンテンツのような、１つ以上のユーザインターフェースを表示するように構成される、ディスプレイモニタ１４１４を含んでよい。例えば、ディスプレイモニタ１４１４は、外科領域の画像を、画像と同時に表示される追加的なコンテンツ（例えば、グラフィカルコンテンツ、コンテキスト情報など）と共に表示してよい。幾つかの実施形態において、ディスプレイモニタ１４１４は、タッチスクリーンディスプレイによって実装されてよく、外科チーム構成員１４１０は、（例えば、接触ジェスチャによって）タッチスクリーンディスプレイと相互作用して、手術システム１４００にユーザ入力を提供してよい、。

【0100】

操作システム１４０２、ユーザ制御システム１４０４、及び補助システム１４０６は、任意の適切な方法で互いに通信的に連結されてよい。例えば、図１４に示すように、操作システム１４０２、ユーザ制御システム１４０４、及び補助システム１４０６は、制御ライン１４１６によって通信的に連結されてよく、制御ライン１４１６は、特定の実装に役立つことがある任意の有線又は無線通信リンクを表すことがある。この目的を達成するために、操作システム１４０２、ユーザ制御システム１４０４、及び補助システム１４０６は、それぞれ、１つ以上のローカルエリアネットワークインターフェース、Ｗｉ－Ｆｉネットワークインターフェース、セルラインターフェースなどのような、１つ以上の有線又は無線通信インターフェースを含んでよい。

【0101】

幾つかの例では、コンピュータ読取可能命令を格納する非一時的コンピュータ読取可能媒体が本明細書に記載する原理に従って提供されてよい。命令は、コンピューティングデバイスのプロセッサによって実行されるときに、プロセッサ及び／又はコンピューティングデバイスに指示して、本明細書に記載する１つ以上の動作を含む１つ以上の動作を行わせてよい。そのような命令は、様々な既知のコンピュータ読取可能媒体のいずれかを用いて格納及び／又は送信されてよい。

【0102】

本明細書で言及する非一時的コンピュータ読取可能媒体は、コンピューティングデバイスによって（例えば、コンピューティングデバイスのプロセッサによって）読み取られることがある且つ／或いは実行されることがあるデータ（例えば、命令）の提供に関与する任意の非一時的記憶媒体を含んでよい。例えば、非一時的コンピュータ読取可能媒体は、不揮発性記憶媒体及び／又は揮発性記憶媒体の任意の組み合わせを含んでよいが、これに限定されない。例示的な不揮発性記憶媒体は、読出し専用記憶装置、フラッシュメモリ、ソリッドステートドライブ、磁気記憶デバイス（例えば、ハードディスク、フロッピーディスク、磁気テープなど）、強誘電体ランダムアクセス記憶装置（「ＲＡＭ」）、及び光ディスク（例えば、コンパクトディスク、デジタルビデオディスク、ブルーレイディスクなど）を含むが、これらに限定されない。例示的な揮発性記憶媒体は、ＲＡＭ（例えば、ダイナミックＲＡＭ）を含むが、これに限定されない。

【0103】

図１５は、本明細書に記載するプロセスの１つ以上を行うように具体的に構成されてよい例示的なコンピューティングデバイス１５００を示している。本明細書に記載するシステム、コンピューティングデバイス、及び／又は他のコンポーネントのいずれも、コンピューティングデバイス１５００によって実装されてよい。

【0104】

図１５に示すように、コンピューティングデバイス１５００は、通信インフラストラクチャ１５１０を介して互いに通信的に接続される通信インターフェース１５０２、プロセッサ１５０４、記憶デバイス１５０６、及び入出力（「Ｉ／Ｏ」）モジュール１５０８を含んでよい。例示的なコンピューティングデバイス１５００が図１５に示されているが、図１５に図示するコンポーネントは限定的であることを意図しない。他の実施形態では、追加的な又は代替的なコンポーネントが使用されてよい。次に、図１５に示すコンピューティングデバイス１５００のコンポーネントを追加的な詳細において記載する。

【0105】

通信インターフェース１５０２は、１つ以上のコンピューティングデバイスと通信するように構成されてよい。通信インターフェース１５０２の例は、（ネットワークインターフェースカードのような）有線ネットワークインターフェース、（ワイヤレスネットワークインターフェースカードのような）無線ネットワークインターフェース、モデム、オーディオ／ビデオ接続、及び任意の他の適切なインターフェースを含むが、これらに限定されない。

【0106】

プロセッサ１５０４は、一般的に、データを処理すること、及び／又は本明細書に記載する命令、プロセス、及び／又は動作のうちの１つ以上の解釈すること、実行すること、及び／又は実行を指示することができる、任意のタイプ又は形態の処理ユニットを表す。プロセッサ１５０４は、記憶デバイス１５０６に格納されたコンピュータ実行可能命令１５１２（例えば、アプリケーション、ソフトウェア、コード、及び／又は他の実行可能なデータインスタンス）を実行することによって動作を実行してよい。

【0107】

記憶デバイス１５０６は、１つ以上のデータ記憶媒体、デバイス、又は構成を含んでよく、任意のタイプ、形態、及び組み合わせのデータ記憶媒体及び／又はデバイスを利用してよい。例えば、記憶デバイス１５０６は、本明細書に記載する不揮発性媒体及び／又は揮発性媒体の任意の組み合わせを含んでよいが、これらに限定されない。本明細書に記載するデータを含む電子データは、記憶デバイス１５０６に一時的に及び／又は永久的に記憶されてよい。例えば、プロセッサ１５０４に指示して本明細書に記載する動作のいずれかを実行させるように構成されたコンピュータ実行可能命令１５１２を表すデータが記憶デバイス１５０６内に格納されてよい。幾つかの例において、データは、記憶デバイス１５０６内に存在する１つ以上のデータベースに配置されてよい。

【0108】

Ｉ／Ｏモジュール１５０８は、ユーザ入力を受信し、ユーザ出力を提供するように構成された、１つ以上のＩ／Ｏモジュールを含んでよい。Ｉ／Ｏモジュール１５０８は、入力及び出力能力をサポートするあらゆるハードウェア、ファームウェア、ソフトウェア、又はそれらの組み合わせを含んでよい。例えば、Ｉ／Ｏモジュール１５０８は、キーボード又はキーパッド、タッチスクリーンコンポーネント（例えば、タッチスクリーンディスプレイ）、受信機（例えば、ＲＦ又は赤外線受信機）、運動センサ、及び／又は１つ以上の入力ボタンを含むが、これらに限定されない、ユーザ入力を取り込むためのハードウェア及び／又はソフトウェアを含んでよい。

【0109】

Ｉ／Ｏモジュール１５０８は、グラフィックスエンジン、ディスプレイ（例えば、ディスプレイスクリーン）、１つ以上の出力ドライバ（例えば、ディスプレイドライバ）、１つ以上のオーディオスピーカ、及び１つ以上のオーディオドライバを含むが、これらに限定されない、出力をユーザに提示するための１つ以上のデバイスを含んでよい。特定の実施形態において、Ｉ／Ｏモジュール１５０８は、ユーザに提示するためにディスプレイにグラフィカルデータを提供するように構成される。グラフィカルデータは、１つ以上のグラフィカルユーザインターフェース及び／又は特定の実装に役立つことがあるような任意の他のグラフィカルコンテンツを表してよい。

【0110】

先行する記述では、添付の図面を参照して様々な例示的な実施形態を記載した。しかしながら、後続の特許請求の範囲に記載する本発明の範囲から逸脱することなく、様々な修正及び変更がそれらに対して行われてよく、追加的な実施形態が実装されてよいことは明らかであろう。例えば、本明細書に記載する１つの実施形態の特定の構成は、本明細書に記載する別の実施形態の構成と組み合わされてもよく或いは置換されてよい。従って、本明細書及び図面は、限定的な意味において考えられるべきでなく、むしろ例示的な意味で考えられるべきである。

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8A】

【図8B】

【図9A】

【図9B】

【図10A】

【図10B】

【図11】

【図12】

【図13】

【図14】

【図15】