▶ インテュイティブ サージカル オペレーションズ， インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022009679
(43)【公開日】2022-01-14
(54)【発明の名称】非白色光の一般的な照明装置を含む手術システム
(51)【国際特許分類】
H04N 9/04 20060101AFI20220106BHJP
A61B 1/045 20060101ALI20220106BHJP
A61B 1/06 20060101ALI20220106BHJP
G02B 23/24 20060101ALI20220106BHJP
G02B 23/26 20060101ALI20220106BHJP
H04N 7/18 20060101ALI20220106BHJP
A61B 34/35 20160101ALI20220106BHJP
【ＦＩ】
H04N9/04 B
A61B1/045 610
A61B1/06 610
G02B23/24 B
G02B23/26 B
H04N7/18 M
A61B34/35
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2021176669
(22)【出願日】2021-10-28
(62)【分割の表示】P 2019218438の分割
【原出願日】2015-03-17
(31)【優先権主張番号】61/954,512
(32)【優先日】2014-03-17
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】510253996
【氏名又は名称】インテュイティブ サージカル オペレーションズ， インコーポレイテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ディカルロ，ジェフリー
(72)【発明者】
【氏名】ザオ，タオ
(72)【発明者】
【氏名】ブルメンクランツ，スティーブン ジェイ
(72)【発明者】
【氏名】ホフマン，ブライアン ディー
(72)【発明者】
【氏名】リッチモンド，ジェフ
【テーマコード（参考）】
2H040
4C161
5C054
5C065
【Ｆターム（参考）】
2H040BA11
2H040BA15
2H040GA02
2H040GA11
4C161BB06
4C161CC06
4C161GG13
4C161HH54
4C161MM05
4C161NN01
4C161QQ07
4C161QQ09
4C161RR04
4C161RR22
5C054CA04
5C054CC02
5C054ED01
5C054HA12
5C065AA04
5C065BB01
5C065CC01
5C065DD17
5C065EE05
5C065EE06
5C065FF05
5C065GG21
5C065GG22
5C065GG23
(57)【要約】 （修正有）
【課題】非白色光の照明を使用して手術部位の画像のノイズを最小限に抑えるシステム及び方法を提供する。
【解決手段】遠隔操作手術システム２００において、カメラ２２０Ｌ、２２０Ｒは、手術部位２０３のカラー画像を取得する。照明制御装置２１５は、システム処理モジュール２６２と光源２１１との間に接続される非白色光モジュール２１７を含む。非白色光モジュール２１７は、照明装置２１０が、非白色光を出力するように、照明装置２１０からの出力照明を制御する。カメラ２２０Ｌ、２２０Ｒは、手術部位の画像を取り込み、モニタ２５１上に表示させる。非白色光の照明は、白色光照明を用いる画像と比較して、モニタ上に提示される手術部位の画像のノイズを最小限に抑える。
【選択図】図２
【解決手段】遠隔操作手術システム２００において、カメラ２２０Ｌ、２２０Ｒは、手術部位２０３のカラー画像を取得する。照明制御装置２１５は、システム処理モジュール２６２と光源２１１との間に接続される非白色光モジュール２１７を含む。非白色光モジュール２１７は、照明装置２１０が、非白色光を出力するように、照明装置２１０からの出力照明を制御する。カメラ２２０Ｌ、２２０Ｒは、手術部位の画像を取り込み、モニタ２５１上に表示させる。非白色光の照明は、白色光照明を用いる画像と比較して、モニタ上に提示される手術部位の画像のノイズを最小限に抑える。
【選択図】図２
【特許請求の範囲】
【請求項1】
システムであって、当該システムは、
１つ又は複数のプロセッサと、
実行可能命令を格納するメモリと、を含み、
前記命令が前記１つ又は複数のプロセッサによって実行されると、機器に、
シーンを非白色光で照らすように照明装置を構成すること、
カメラを制御して、前記非白色光で照らされた前記シーンのフレームを前記カメラの複数のカラーチャンネルで取り込むこと、及び
前記非白色光に基づいて、前記シーンの前記フレームにおける前記カメラのカラーチャンネルを調整すること、を行わせる、
システム。
１つ又は複数のプロセッサと、
実行可能命令を格納するメモリと、を含み、
前記命令が前記１つ又は複数のプロセッサによって実行されると、機器に、
シーンを非白色光で照らすように照明装置を構成すること、
カメラを制御して、前記非白色光で照らされた前記シーンのフレームを前記カメラの複数のカラーチャンネルで取り込むこと、及び
前記非白色光に基づいて、前記シーンの前記フレームにおける前記カメラのカラーチャンネルを調整すること、を行わせる、
システム。
【請求項2】
前記シーンを前記非白色光で照らすように前記照明装置を構成することは、前記シーンの以前に取り込んだフレームにおける前記カメラの前記カラーチャンネルの信号レベルに基づいている、請求項１に記載のシステム。
【請求項3】
前記照明装置は、複数の色成分の照明源を含み、
前記シーンを前記非白色光で照らすように前記照明装置を構成することは、前記複数の色成分の照明源によって出力される光の組合せが前記非白色光となるように、色成分の照明源の出力される照明レベルに重みを付けることを含み、
前記シーンの前記フレームにおける前記カメラの前記カラーチャンネルを調整することは、前記色成分の照明源の前記出力される照明レベルを重み付けすることに基づいている、請求項１に記載のシステム。
前記シーンを前記非白色光で照らすように前記照明装置を構成することは、前記複数の色成分の照明源によって出力される光の組合せが前記非白色光となるように、色成分の照明源の出力される照明レベルに重みを付けることを含み、
前記シーンの前記フレームにおける前記カメラの前記カラーチャンネルを調整することは、前記色成分の照明源の前記出力される照明レベルを重み付けすることに基づいている、請求項１に記載のシステム。
【請求項4】
前記照明装置は、複数の色成分の照明源を含み、
前記カメラによって取り込まれたビデオストリームは、前記シーンの複数のフレームを含み、該複数のフレームは、第１セットのフレームと、該第１セットのフレームに続いて取り込まれる第２セットのフレームとを含み、
該第２セットのフレームは前記シーンの前記フレームを含み、前記第１セットのフレームは前記シーンの以前に取り込んだフレームを含み、
前記シーンを前記非白色光で照らすように前記照明装置を構成することは、
前記第１セットのフレームの１つ又は複数のフレームにおいて前記カメラによって取り込まれた光の色成分特性に基づいて、第１セットのカラーチャンネル照明制御因子を決定することであって、該第１セットのカラーチャンネル照明制御因子は、前記複数の色成分の照明源の各色成分の照明源についてのカラーチャンネル照明制御因子を含む、決定すること、及び
前記第２セットのフレームに含まれる各フレームについて、前記第１セットのカラーチャンネル照明制御因子に基づいて、前記複数の色成分の照明源の出力される照明レベルに重み付けすること、を含む、請求項１に記載のシステム。
前記カメラによって取り込まれたビデオストリームは、前記シーンの複数のフレームを含み、該複数のフレームは、第１セットのフレームと、該第１セットのフレームに続いて取り込まれる第２セットのフレームとを含み、
該第２セットのフレームは前記シーンの前記フレームを含み、前記第１セットのフレームは前記シーンの以前に取り込んだフレームを含み、
前記シーンを前記非白色光で照らすように前記照明装置を構成することは、
前記第１セットのフレームの１つ又は複数のフレームにおいて前記カメラによって取り込まれた光の色成分特性に基づいて、第１セットのカラーチャンネル照明制御因子を決定することであって、該第１セットのカラーチャンネル照明制御因子は、前記複数の色成分の照明源の各色成分の照明源についてのカラーチャンネル照明制御因子を含む、決定すること、及び
前記第２セットのフレームに含まれる各フレームについて、前記第１セットのカラーチャンネル照明制御因子に基づいて、前記複数の色成分の照明源の出力される照明レベルに重み付けすること、を含む、請求項１に記載のシステム。
【請求項5】
前記第１セットのカラーチャンネル照明制御因子は、前記シーンの前記以前に取り込んだフレームの前記複数のカラーチャンネルの信号レベル、又は前記第１セットのフレーム内の各フレームについてのカラーチャンネル照明制御因子の時間加重移動平均に基づいて決定される、請求項４に記載のシステム。
【請求項6】
前記命令が前記１つ又は複数のプロセッサによって実行されると、前記機器に、
前記カメラのカラーチャンネルの平均輝度を監視すること、及び
前記カラーチャンネルの前記平均輝度の所定の変化の検出に応答して、前記第１セットのカラーチャンネル照明制御因子を決定すること、をさらに行わせる、請求項４に記載のシステム。
前記カメラのカラーチャンネルの平均輝度を監視すること、及び
前記カラーチャンネルの前記平均輝度の所定の変化の検出に応答して、前記第１セットのカラーチャンネル照明制御因子を決定すること、をさらに行わせる、請求項４に記載のシステム。
【請求項7】
前記シーンの前記フレームにおける前記カメラの前記カラーチャンネルを調整することは、前記第１セットのカラーチャンネル照明制御因子に基づいている、請求項４に記載のシステム。
【請求項8】
前記命令が前記１つ又は複数のプロセッサによって実行されると、前記機器に、前記シーンの前記フレームにおける前記カメラの前記カラーチャンネルを調整させて、前記シーンの前記フレームにおける前記カメラの前記カラーチャンネルの信号対雑音比を増大させる、請求項１に記載のシステム。
【請求項9】
方法であって、当該方法は、
コンピュータ装置が、シーンを非白色光で照らすように照明装置を構成するステップと、
前記コンピュータ装置が、カメラを制御して、前記非白色光で照らされた前記シーンのフレームを前記カメラの複数のカラーチャンネルで取り込むステップと、
前記コンピュータ装置が、前記非白色光に基づいて、前記シーンの前記フレームにおける前記カメラのカラーチャンネルを調整するステップと、を含む、
方法。
コンピュータ装置が、シーンを非白色光で照らすように照明装置を構成するステップと、
前記コンピュータ装置が、カメラを制御して、前記非白色光で照らされた前記シーンのフレームを前記カメラの複数のカラーチャンネルで取り込むステップと、
前記コンピュータ装置が、前記非白色光に基づいて、前記シーンの前記フレームにおける前記カメラのカラーチャンネルを調整するステップと、を含む、
方法。
【請求項10】
前記シーンを前記非白色光で照らすように前記照明装置を構成するステップは、前記シーンの以前に取り込んだフレームにおける前記カメラの前記カラーチャンネルの信号レベルに基づいている、請求項９に記載の方法。
【請求項11】
前記照明装置は、複数の色成分の照明源を含み、
前記シーンを前記非白色光で照らすように前記照明装置を構成するステップは、前記複数の色成分の照明源によって出力される光の組合せが前記非白色光となるように、色成分の照明源の出力される照明レベルに重みを付けるステップを含み、
前記シーンの前記フレームにおける前記カメラの前記カラーチャンネルを調整するステップは、前記色成分の照明源の前記出力される照明レベルの重み付けに基づいている。請求項９に記載の方法。
前記シーンを前記非白色光で照らすように前記照明装置を構成するステップは、前記複数の色成分の照明源によって出力される光の組合せが前記非白色光となるように、色成分の照明源の出力される照明レベルに重みを付けるステップを含み、
前記シーンの前記フレームにおける前記カメラの前記カラーチャンネルを調整するステップは、前記色成分の照明源の前記出力される照明レベルの重み付けに基づいている。請求項９に記載の方法。
【請求項12】
前記照明装置は、複数の色成分の照明源を含み、
前記カメラによって取り込まれたビデオストリームは、前記シーンの複数のフレームを含み、該複数のフレームは、第１セットのフレームと、該第１セットのフレームに続いて取り込まれる第２セットのフレームとを含み、
前記第２セットのフレームは前記シーンの前記フレームを含み、前記第１セットのフレームは前記シーンの以前に取り込んだフレームを含み、
前記シーンを前記非白色光で照らすように前記照明装置を構成するステップは、
前記第１セットのフレームの１つ又は複数のフレームにおいて前記カメラによって取り込まれた光の色成分特性に基づいて、第１セットのカラーチャンネル照明制御因子を決定するステップであって、該第１セットのカラーチャンネル照明制御因子は、前記複数の色成分の照明源の各色成分の照明源についてのカラーチャンネル照明制御因子を含む、決定するステップと、
前記第２セットのフレームに含まれる各フレームについて、前記第１セットのカラーチャンネル照明制御因子に基づいて、前記複数の色成分の照明源の出力される照明レベルに重み付けするステップと、を含む、請求項９に記載の方法。
前記カメラによって取り込まれたビデオストリームは、前記シーンの複数のフレームを含み、該複数のフレームは、第１セットのフレームと、該第１セットのフレームに続いて取り込まれる第２セットのフレームとを含み、
前記第２セットのフレームは前記シーンの前記フレームを含み、前記第１セットのフレームは前記シーンの以前に取り込んだフレームを含み、
前記シーンを前記非白色光で照らすように前記照明装置を構成するステップは、
前記第１セットのフレームの１つ又は複数のフレームにおいて前記カメラによって取り込まれた光の色成分特性に基づいて、第１セットのカラーチャンネル照明制御因子を決定するステップであって、該第１セットのカラーチャンネル照明制御因子は、前記複数の色成分の照明源の各色成分の照明源についてのカラーチャンネル照明制御因子を含む、決定するステップと、
前記第２セットのフレームに含まれる各フレームについて、前記第１セットのカラーチャンネル照明制御因子に基づいて、前記複数の色成分の照明源の出力される照明レベルに重み付けするステップと、を含む、請求項９に記載の方法。
【請求項13】
前記第１セットのカラーチャンネル照明制御因子は、前記シーンの前記以前に取り込んだフレームの前記複数のカラーチャンネルの信号レベル、又は前記第１セットのフレーム内の各フレームについてのカラーチャンネル照明制御因子の時間加重移動平均に基づいて決定される、請求項１２に記載の方法。
【請求項14】
前記コンピュータ装置が、前記カメラのカラーチャンネルの平均輝度を監視するステップと、
前記コンピュータ装置が、前記カラーチャンネルの前記平均輝度の所定の変化の検出に応答して、前記第１セットのカラーチャンネル照明制御因子を決定するステップと、をさらに含む、請求項１２に記載の方法。
前記コンピュータ装置が、前記カラーチャンネルの前記平均輝度の所定の変化の検出に応答して、前記第１セットのカラーチャンネル照明制御因子を決定するステップと、をさらに含む、請求項１２に記載の方法。
【請求項15】
前記シーンの前記フレームにおける前記カメラの前記カラーチャンネルを調整するステップは、前記第１セットのカラーチャンネル照明制御因子に基づいている、請求項１２に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願
本願は、（２０１４年３月１７日に出願された、Jeffrey DiCarloらの”Surgical System Including a Non-White Light General Illuminator”を開示する）米国特許出願第６１／９５４，５１２号について優先権及びその利益を主張するものであり、この文献は、参照により本明細書に組み込まれる。
本願は、（２０１４年３月１７日に出願された、Jeffrey DiCarloらの”Surgical System Including a Non-White Light General Illuminator”を開示する）米国特許出願第６１／９５４，５１２号について優先権及びその利益を主張するものであり、この文献は、参照により本明細書に組み込まれる。
【0002】
本発明の態様は、内視鏡イメージングに関しており、より具体的には、遠隔操作手術システムの一般的な照明に使用される非白色光に関する。
【背景技術】
【0003】
カリフォルニア州のサニーベールのIntuitive Surgical, Inc.により商品化されているda Vinci（登録商標）手術システムは、身体への低減した外傷、より早い回復及び短い入院日数等の多くの利益を患者に提供する最小侵襲性遠隔操作手術システムである。da Vinci（登録商標）手術システムの１つの特徴は、外科医に立体視を提供するために、２チャンネル（すなわち、左右の）ビデオキャプチャを提供し且つ可視化画像を表示させる能力である。
【0004】
このような電子的な立体視撮像システムは、外科医に、高解像度ビデオ画像を出力することができ、及び、外科医が、特定の組織タイプ及び特性を特定するだけでなく、向上した精度で作業を行うことを可能にする「拡大」ビューを提供するズーム等の機能を可能にする。しかしながら、典型的な手術分野では、電子的な立体視撮像システムのカメラによって取り込まれた画質は、カメラの信号対雑音比によって制限される。
【0005】
カメラが光を収集する際に、取り込まれた光が、電子に変換され、及び画像センサのウェル（well）に蓄積される。画素毎に１つのウェルがある。図１は、赤色画素Ｒのためのウェル１０１、緑色画素Ｇのためのウェル１０２、及び青色画素Ｂのためのウェル１０３の概略図である。カメラがより多くの電子をそのウェル内に集めれば、その信号が増殖される一方ノイズが比較的一定に留まり、それによって信号対雑音比が増大する、すなわち、ウェルに取り込まれた信号が、ノイズに対して増大する。
【0006】
カメラによる光キャプチャの物理的特性は、カメラの画素がより多くの光を取り込めば、カメラは、光が取り込まれた速度をより良く推定できるということである。しかしながら、カメラ画素が非常に多くの光を収集し、ウェルに過剰に充填された場合に、その画素の信号は失われ、もはや有効ではなくなる。従って、カメラの露出時間は、その電子ウェル１０１，１０２，１０３のいずれかを過剰充填させることなく、可能な限り高くその電子ウェル１０１，１０２，１０３の全てを充填するように光の収集を試みるように設定される。
【0007】
一般的な観察のために白色光によって照明される典型的な手術部位のシーンでは、赤色は、カメラによって取り込まれたシーンにおいて支配的な色である。これは、殆どの反射光が、青色及び緑色スペクトルに比較して赤色スペクトルであるためである。
【0008】
典型的には、遠隔操作手術システムで使用されるカラービデオカメラは、カラーフィルタ・アレイを含む。カラーフィルタ・アレイは、モザイク状の異なるカラーフィルタである。理想的には、異なる各カラーフィルタは、特定の色のスペクトルに対応する可視電磁スペクトルの一部のみを通過させ、例えば、カラーフィルタ・アレイの第１セットのフィルタが主に赤色光を透過させ、第２のセットのフィルタが主に緑色光を通過させ、及び第３のセットのフィルタが主に青色光を通過させる。
【0009】
カメラは、カラーフィルタ・アレイを通過する光を取り込む画素を有する画像センサを含む。各画素は、光を取り込むと、電子で充填されるウェルである。第１セットのフィルタを通過する光を取り込むカメラの画素のセットは、カメラの第１のカラーチャンネルに含まれる。第２セットのフィルタを通過する光を取り込むカメラの画素のセットは、カメラの第２のカラーチャンネルに含まれる。第３セットのフィルタを通過する光を取り込むカメラの画素のセットは、カメラの第３のカラーチャンネルに含まれる。
【0010】
この技術分野の精通者に知られているように、一例では、白色光照明は、正常な色知覚を有する人間の目に白く見えるような、赤色スペクトルの光、緑色スペクトルの光、及び青色スペクトルの光の組合せで構成される。しかしながら、手術部位による赤色スペクトル光の支配的な反射によって、赤色画素ウェル１０１（図１）は、典型的には、緑色画素ウェル１０２、又は青色画素ウェル１０３のいずれかよりもはるかに速く充填される。赤色画素ウェル１０１がオーバーフローしないように、カメラの露出は、赤色画素ウェル１０１がオーバーフローしないように、収集する光を制限するように設定される。
【0011】
殆どの光を受光するカラーチャンネルのウェルがまさにオーバーフローするときに、光の収集を停止するとその結果は、図１に示されるように他のカラーチャンネルのウェルが十分でない可能性があるということになる。図１の例では、緑色ウェル１０２及び青色ウェル１０３は、光の収集が停止したときに、全体の５０％未満である。これらの完全ではないカラーチャンネルの信号対雑音比は、まさにオーバーフローしようとしたカラーチャンネル（複数可）の信号対雑音比よりも著しく小さい。再び、図１の例について、赤色チャンネルの信号対雑音比は、約６であるが、緑色及び青色チャンネルのそれぞれの信号対雑音比は、約３である。
【発明の概要】
【発明が解決しようとする課題】
【0012】
カメラは、カメラ・カラーチャンネルのウェル１０１，１０２，１０３の全てが充填されていないときに、より悪い信号対雑音比の性能を有する。完全ではないウェル１０２及び１０３からの信号は、表示用の画像を形成するために、手術システムの画像処理のホワイトバランス・ステージの一部として信号に適用されるゲインを有する必要がある。ホワイトバランス調整は、カメラが、白色面の画像を取り込む際に、この白色面がディスプレイ・モニタ上で白色に見えるのを保証するために必要である。ホワイトバランス調整は、完全ではないカラーチャンネル（図１の青色及び緑色カラーチャンネル）を増幅すること、例えば、カメラが白色面の画像を取り込んだときに、全てのカラーチャンネルが同じ値を有するようなデジタル・ゲインを適用することにより構成される。これらの完全ではないウェル信号の増幅は、他の色信号に対してこれら完全でないウェルの色信号のノイズを増大させ、さらに最終的な画像のノイズを増大させる。
【課題を解決するための手段】
【0013】
一態様では、遠隔操作手術システムの内視鏡からの非白色光を使用して、手術部位を照明する。カメラが、手術部位の画像を取り込み、その画像が、モニタ上に表示される。非白色光の照明は、白色光照明を用いて取り込まれ且つモニタ上に表示される画像に対して、モニタ上に提示される手術部位の画像のノイズを最小限に抑える。
【0014】
手術部位を照明するために使用される光の色は、非白色光、例えば紫色の色合いを有する光であるが、モニタ上に表示される画像は、この色合いを含んでいない。視認者にとって、手術部位を照明する光は、モニタで視た場合に、白く見える。内視鏡が患者から除去された場合にのみ、内視鏡から出射された光は、視認者が非白色光を見ているように直接的に視認される。非白色光は、一般的な照明に使用され、及び特定の解剖学的構造を強調表示するために使用される、例えば２つのみの狭スペクトル光源の組合せとは異なる。
【0015】
一態様では、機器は、カメラ及び照明装置を含む。カメラは、カメラに入射する光を画素のセットに分離するように構成される。画素のセットの各セットは、カメラの異なるカラーチャンネルにある。一態様では、カメラは、カラーフィルタ・アレイを含む。カラーフィルタ・アレイは、カメラに入射する光を画素のセットに分離するように構成される。
【0016】
照明装置は、この照明装置が非白色光を出力し、それによって各カメラ・カラーチャンネルが、完全な反射面から反射した非白色光に対して略等しい応答を有するように構成される。本明細書で使用される場合に、完全な反射面は、照明スペクトル全体に亘ってスペクトル的に均一で、等しい減衰である、照明スペクトルに対する応答を有する表面である。本明細書で使用される場合に、「略等しい」又は「実質的に等しい」とは、応答が、反射面の反射特性の差（例えば、反射面は、表面のどこでも同程度に正確に完全な反射性ではない可能性がある）によって、及び画像センサの電子ウェルの応答の通常の差によって、正確に等しくない可能性があるが、その応答は、画像センサ及び表面の組合せ許容範囲内において等しいことを意味する。
【0017】
一態様では、照明装置は、複数の色成分の照明源を含む。複数の色成分の照明源は、照明装置が非白色光を出力するように構成される。
【0018】
別の態様では、機器は、複数の色成分の照明源に結合された制御装置も含む。制御装置は、複数の色成分の照明源の出力の組合せが非白色光となるように、複数の色成分の照明源のそれぞれの出力に重み付けするように構成される。
【0019】
さらに別の態様では、機器は、カメラ、照明装置、及び制御装置を含む。カメラは、カメラに入射する光を色成分に分離するように構成される。色成分は、カメラによって画素のセットとして取り込まれる。画素のセットの各セットは、異なるカメラ・カラーチャンネルにある。一態様では、カメラは、カラーフィルタ・アレイを含む。カラーフィルタ・アレイは、カメラに入射する光を画素のセットに分離するように構成される。
【0020】
制御装置は、照明装置に結合される。制御装置は、カメラによって取り込まれたカラー画像のための１つのカメラ・カラーチャンネルの画素の信号対雑音比を増大させるために、照明装置によって出力される光の特性を調整するように構成される。
【0021】
一態様では、照明装置は、複数の色成分の照明源を有する。制御装置は、複数の色成分の照明源に結合される。制御装置は、１つのカメラ・カラーチャンネルの画素の信号対雑音比を増大させるために、複数の色成分の照明源のうちの少なくとも１つの特性を調整するように構成される。
【0022】
一態様では、複数の色成分の照明源は、複数の発光ダイオードである。別の態様では、複数の色成分の照明源は、複数のレーザダイオードである。
【0023】
一態様では、制御装置は、照明装置が非白色を出力するように照明装置の複数の色成分の照明源の出力を制御するように構成され、それによって、各カメラ・カラーチャンネルは、完全な反射面から反射した非白色光に対して略等しい応答を有する。別の態様では、制御装置は、照明装置が非白色光を出力するように、照明装置の複数の色成分の照明源のうちの少なくとも１つの照度レベルを変えるように構成される。別の態様では、固定したフィルタを使用して、照明装置が非白色光を出力するように、照明装置の複数の色成分の照明源のうちの少なくとも１つの照度レベルを変える。さらに別の態様では、非白色光を生成する照度レベルの変動は、複数の色成分の照明源の寿命によって誘起される経年劣化の不均等な電力損失を調整するように制御される。
【0024】
別の態様では、機器は、カメラによって取り込まれた単色画像から高ダイナミックレンジ画像を形成するように構成された画像処理パイプラインを含む。この態様では、制御装置は、照明装置の複数の色成分の照明源のうちの少なくとも１つの照度レベルを変えるように構成される。照度レベルを変えることは、例えば回転ホイール又は液晶装置を用いて実施することができる。
【0025】
回転ホイールは、複数のセクションを有する。複数のセクションのそれぞれは、複数のカラー照明成分のうちの１つの色を有し、複数のセクションのそれぞれは、異なる光減衰レベルを有する。
【0026】
一態様では、液晶装置は、オン／オフ・パルス幅変調シャッターモードに設定され、オン／オフ時間の可変比が、カメラの画像フレームキャプチャあたり１つ又は複数のオン／オフサイクルを含む。別の態様では、液晶装置は、調整可能な減衰器として構成される。さらに別の態様では、液晶装置は、波長可変フィルタとして構成される。
【0027】
本方法は、非白色光でシーンを照明するステップを含む。非白色光は、カメラの各カメラ・カラーチャンネルが、完全な反射面から反射された非白色光に対して略等しい応答を有するように構成される。本方法は、また、カメラでシーンの画像を取り込むステップと、取り込まれた画像のホワイトバランス調整せずに取り込まれた画像に基づいて、表示用の画像を出力するステップとを含む。
【0028】
別の方法は、カラー画像を取り込むステップを含む。取り込まれたカラー画像は、画素のセットを含む。画素のセットの各セットは、カメラの異なるカラーチャンネルにある。この方法は、画素のセットから高ダイナミックレンジ画像を構成するステップも含む。
【0029】
さらに別の方法は、非白色光で部位を照明するステップを含む。非白色光は、カメラの各カメラ・カラーチャンネルが、部位から反射した非白色光に対して略等しい応答を有するように構成される。この方法は、カメラで部位の画像を取り込むステップと、取り込まれた画像に基づいて表示用の画像を出力するステップとを含む。
【図面の簡単な説明】
【0030】
【図1】白色光によって照明されたシーンを取り込んだ画像の色成分について、画像センサの電子ウェルの従来技術の充填量を示す図である。
【図2】非白色光を出力する照明装置を含む遠隔操作手術システムの一部のブロック図である。
【図6A】ダイナミックカラーチャンネル照明制御因子を生成する時系列の概略図である。
【図6B】非白色光によって照明されたシーンを取り込んだ画像の色成分について、画像センサの電子ウェルの充填量を示す図である。
【図6C】非白色光によって照明されたシーンを取り込んだ画像の色成分について、画像センサの電子ウェルの充填量を示す図である。
【図6D】非白色光によって照明されたシーンを取り込んだ画像の色成分について、画像センサの電子ウェルの充填量を示す図である。
【発明を実施するための形態】
【0031】
図面において、参照符号の最初の桁数は、その参照符号を含む要素が最初に現れた図を示す。
【0032】
本明細書で使用される場合に、電子的な立体視イメージングは、２つの撮像チャンネル（すなわち、左右画像のためのチャンネル）の使用を含む。
【0033】
本明細書で使用される場合に、立体視の光路は、組織からの光を搬送するために内視鏡内の２つのチャンネル（例えば、左右画像のためのチャンネル）を含む。各チャンネルで搬送される光は、組織の異なるビューを表す。その光は、１つ又は複数の画像を形成することができる。一般性又は適用性を失うことなく、以下でより完全に説明する態様は、フィールド順次立体視取得システム及び／又はフィールド順次ディスプレイシステムの文脈で使用することもできる。
【0034】
本明細書で使用される場合に、照明経路は、組織に照明を提供する内視鏡内の経路を含む。
【0035】
本明細書で使用される場合に、白色光は、３つ（又はそれ以上）の可視色成分、例えば、赤色の可視色成分、緑色の可視色成分、及び青色の可視色成分で構成される可視白色光である。白色光は、人間が、例えば、加熱されたタングステンフィラメントから見ることができるような、可視スペクトル内の複数の連続スペクトルを指すこともできる。
【0036】
本明細書で使用される場合に、非白色光は、３つ（又はそれ以上）の可視色成分、例えば、白色光を形成するために使用される組合せとは異なる組合せの赤色の可視色成分、緑色の可視色成分、及び青色の可視色成分で構成された可視光である。非白色光は、可視電磁スペクトルの複数の連続スペクトル、例えば、白色光として人間の観察者には見えないが複数の色の可視スペクトルを含む、可視電磁スペクトルの広範な波長のスペクトルを指すこともできる。非白色光は、２つの異なる狭スペクトルの青色光源の組合せ等の２つの狭スペクトルのみの光源の組合せ、又は特定の組織を区別するために使用される狭スペクトルの青色光源と狭スペクトルの緑色光源との組合せを含まない。
【0037】
本明細書で使用される場合に、色成分は、可視電磁スペクトル内の波長のスペクトルを有する。
【0038】
本明細書で使用される場合に、可視電磁スペクトルは、約４００ナノメートル（ｎｍ）～７００ｎｍの波長の範囲である。
【0039】
本明細書で使用される場合に、カラー画像は、単色のカラー画像、又はカラーモデルの色成分のサブセットの組合せのみを含むカラー画像とは対照的に、カラーモデルの全ての色成分の組合せを含む。例えば、赤、緑、青色成分を含むカラーモデルについて、カラー画像は、赤、緑、及び青色成分の組合せを含む。赤色画像、緑色画像、青色画像、青及び緑色画像等は、このような画像が、カラーモデルの全ての色成分の組合せを含んでいないので、カラー画像の規定には含まれない。
【0040】
一態様では、遠隔操作手術システム２００の一部を構成する内視鏡２０１からの光を使用して、手術部位２０３を照明する。その照明は、例えば人間が直接的に視たときに光が紫がかって見える、非白色光である。非白色光の照明を使用することは、外科医コンソール２５０において、時にはディスプレイ２５１と呼ばれる立体視ディスプレイ２５１上に提示される手術部位２０３の画像のノイズを最小限に抑える。外科医コンソール２５０は、時にはコンソール２５０と呼ばれる。
【0041】
手術部位２０３を照明するために使用される光の色は、非白色光、例えば紫の色合いを有する光であるが、外科医コンソール２５０の立体視ディスプレイ２５１上に表示される画像はこの色合いを含んでいない。視認者にとって、外科医コンソール２５０を介して視た場合に、手術部位２０３を照明する光は、白く見える。
【0042】
以下でより完全に説明するように、遠隔操作手術システム２００のカメラ２２０Ｌ，２２０Ｒ及び画像処理パイプライン２４０は、立体視ディスプレイ２５１上に表示される手術用画像の紫の色合いを除去するために、取り込んだ画像を修正する。外科医が、外科医コンソール２５０にから出て、患者から内視鏡２０１を引っ張り、内視鏡２０１から放射される光を直接的に見た場合にのみ、外科医は、非白色光を見ることになる。
【0043】
本発明の態様は、非白色の照明を用いて手術部位２０３を照明するのを容易にし、且つ白色光照明を用いて手術部位２０３を取り込んだ画像と比較して改善された信号対雑音で、遠隔操作手術システム２００のカメラ２２０Ｌ，２２０Ｒ（図２）により手術部位２０３のカラー画像を取得するのを容易にする。遠隔操作手術システム２００の１つの例は、カリフォルニア州サニーベールのIntuitive Surgical, Inc.によって商品化されたda Vinci（登録商標）最小侵襲性遠隔操作手術システムである。遠隔操作手術システム２００は、単なる例示であり、画像の信号対雑音比を改善するための非白色照明をこの特定の遠隔操作手術システムに適用すること限定されるものではない。本開示に鑑みて、非白色照明は、カラーカメラ（複数可）を利用して、これらのカラーカメラによって取り込まれたカラー画像の信号対雑音比を改善するあらゆる手術システムに使用することができる。
【0044】
この例では、外科医コンソール２５０における外科医は、ロボットマニピュレータアーム（図示せず）に取り付けられた内視鏡２０１を遠隔で操作する。da Vinci（登録商標）手術システムに関連した等の他の部品、ケーブル等が存在しているが、これらは、本開示から逸脱するのを避けるために、図２に示していない。遠隔操作による最小侵襲性手術システムに関する更なる情報は、例えば、（２００７年６月１３日に出願された、”Minimally Invasive Surgical System”を開示する）米国特許出願第１１／７６２，１６５号、及び（２００１年１２月１８日に出願された、”Surgical Robotic Tools, Data Architecture, and Use”を開示する）米国特許第６，３３１，１８１号に見出すことができ、これら両文献は、参照により本明細書に組み込まれる。
【0045】
照明システム、例えば照明装置２１０は、内視鏡２０１に結合される。一態様では、照明装置２１０は、光源２１１及び照明制御装置２１５を含む。照明制御装置２１５は、光源２１１に結合されるとともに、オプションの可変非白色光機器２１８に結合される。
【0046】
照明制御装置２１５は、システム処理モジュール２６２と光源２１１との間に接続される非白色光モジュール２１７を含む。非白色光モジュールは、一態様では、照明装置２１０が、手術部位２０３の一般的な照明に使用される非白色光を出力するように、照明装置２１０からの出力照明を制御する。
【0047】
一態様では、光源２１１は、複数の色成分の照明光源２１２を含む。図２に示される態様では、複数の色成分の照明源は、Ｐ色成分の照明源を含み、ここでＰは、非ゼロの正の整数である。一態様では、数Ｐは、色成分の照明源の組合せが、従来技術の広域スペクトルの白色光を提供するように、選択される。また、非白色光を形成するために、複数の色成分の照明源２１２のうちの少なくとも１つの光パワー出力が、従来技術の広域スペクトルの白色光を生成するために使用される状態と比較して、増減するように変更される。
【0048】
一態様では、複数の色成分の照明源２１２は、複数の発光ダイオード（LEDs）を含む。ＬＥＤの使用は、単なる例示であり、これに限定されるものではない。複数の色成分の照明源２１２は、例えば、ＬＥＤの代わりに複数のレーザ光源を実装することもできる。
【0049】
この態様では、照明装置２１０は、手術部位２０３を照明するために、立体内視鏡２０１の少なくとも１つの照明経路に関連して使用される。照明装置２１０からの非白色光は、コネクタ２１６に導かれる。コネクタ２１６は、非白光を立体内視鏡２０１の照明経路に供給し、次に、その光を手術部位２０３に導く。コネクタ２１６及び立体内視鏡２０１内の照明経路のそれぞれは、例えば、光ファイバ束、単一の剛性ロッド又は可撓性ロッド、又は光ファイバで実装することができる。一態様では、内視鏡２０１は、例えば反射された非白色光等の、手術部位２０３からの光を通過させる２つの光チャンネル、すなわち立体視の光路も含む。しかしながら、立体内視鏡の使用は、単なる例示であり、これに限定されるものではない。本開示に鑑みて、手術部位２０３からの光を通過させる単一の光チャンネルを含む内視鏡を使用することができる。
【0050】
手術部位２０３（図２）からの非白色光は、内視鏡２０１の立体視光チャンネルによってカメラ２２０Ｌ，２２０Ｒに渡される。以下でより完全に説明するように、一態様では、左側カメラ２２０Ｌは、カラーフィルタ・アレイ及び左側画像センサ２２１Ｌを含む。左側画像センサ２２１Ｌは、立体内視鏡２０１の左チャンネルから受け取った光を左画像２２２Ｌとして取り込む。同様に、この態様では、右側カメラ２２０Ｒは、カラーフィルタ・アレイ及び右側画像センサ２２１Ｒを含む。右側画像センサ２２１Ｒは、立体内視鏡２０１の右チャンネルから受け取った光を右画像２２２Ｒとして取り込む。こうして、カメラ２２０Ｌ，２２０Ｒは、カラーフィルタ・アレイを使用するカラーカメラである。しかしながら、これは単なる例示であり、これに限定されるものではない。
【0051】
ここで、カメラは、カメラに入射する光をＮ色成分に分離するように構成され、色成分は、カメラによってＮセットの画素として取り込まれ、画素のセットの各セットは、異なるカメラ・カラーチャンネルにある。こうして、各カメラ２２０Ｌ，２２０Ｒは、複数のカラーチャンネルを含む。一態様では、複数のカラーチャンネルは、Ｎ色成分チャンネルであり、ここでＮは、ゼロでない正の整数である。
【0052】
カメラ２２０Ｌは、左側カメラ制御ユニット２３０Ｌ及び画像処理パイプライン２４０によって外科医コンソール２５０の立体視ディスプレイ２５１に結合される。カメラ２２０Ｒは、右側カメラ制御ユニット２３０Ｒ及び画像処理パイプライン２４０によって外科医コンソール２５０の立体視ディスプレイ２５１に結合される。カメラ制御ユニット２３０Ｌ，２３０Ｒは、システム・プロセス２６２から信号を受信する。システム・プロセス２６２は、システム２００内の各種制御装置を表す。
【0053】
表示モード選択スイッチ２５２は、ユーザインターフェイス２６１に信号を提供し、次に選択された表示モードをシステム・プロセス２６２に渡す。システム・プロセス内の２６２各種制御装置は、照明制御装置２１５内の非白色光モジュール２１７を設定し、所望の画像を取得するために、左右のカメラ制御ユニット２３０Ｌ及び２３０Ｒを設定し、及び外科医が要求する画像をディスプレイ２５０に提示するように、要求された画像を処理するために必要な画像処理パイプライン２４０内の他の要素を設定する。撮像処理パイプライン２４０は、本明細書に提供される詳細を除き、既知の画像処理パイプラインと等価である。
【0054】
ここで、カメラ２２０Ｌによって取り込まれた画像の取込み、処理、及び表示は、カメラ２２０Ｒによって取り込まれた画像の取込み、処理、及び表示と同じである。従って、以下の説明では、カメラ２２０Ｌに関連する画像のみについて、以下で検討する。その説明は、カメラ２２０Ｒに関連した画像に直接的に適用可能であり、そのため、その説明は、カメラ２２０Ｒについて繰り返さない。その説明は、単一のカメラのみを利用するシステム、及び単一の光チャンネルを有する内視鏡を備えた単一の画像処理パイプラインにも直接的に適用可能である。
【0055】
先に示したように、典型的に、３つ（又はそれ以上）の可視色成分の照明成分が、白色光を形成するために組み合わされる、すなわち、白色光は、第１の可視色成分、第２の可視色成分、及び第３の可視色成分の組合せを含む。３つの可視色成分のそれぞれは、異なる可視色成分、例えば、赤色成分、緑色成分、及び青色成分である。赤、緑、青色成分と一緒にシアン色成分等のより多くの可視色の照明成分を使用して、白色光を生成することもできる。
【0056】
また、上述したように、一態様では、光源２１１は、複数の色成分の照明源２１２を含む。一態様では、非白色光の照明を生成するために、非白色光モジュール２１７は、白色光を形成するために必要とされるものと比較して、複数の色成分の照明源２１２のうちの少なくとも１つの光パワー出力を変化させる。（非）照明装置２１０の照明出力は、非白色光である。非白色光は、白色光に比べて色合いを有する。
【0057】
図２では、カメラ２２０Ｌ，２２０Ｒ及び光源２１２は、内視鏡２０１の外部に存在するように示される。しかしながら、一態様では、カメラ２２０Ｌ，２２０Ｒ及び光源２１２は、組織２０３に隣接する内視鏡２０１の先端チップに含まれる。
【0058】
照明装置が非白色光の照明を出力するように照明装置２１０を構成するために、様々な方法がある。第１の方法は、白色面の較正に基づくものであり、第２の方法は、手術部位の画像較正に基づくものである。また、複数の色成分の照明源のうちの少なくとも１つの点灯時間を変化させる非白色光の生成について、説明する。これらのプロセスのそれぞれは、順番に検討される。
【0059】
非白色光の白色面の較正
この態様では、非白色光モードは、カメラ２２０Ｌの複数のカラーチャンネルの全てが、白色（完全反射）面に向けられた(viewing)ときに、同量の反射光を受け取るように、照明制御装置２１５によって、光源２１１における複数の色成分の照明源２１２からの照明強度を変化させるように動作する。白色面を撮像するときに、カメラ２２０Ｌが、カラーチャンネル亘って均等に光に応答するという２の有益な効果がある。第１に、全てのカラーチャンネルは、それらのウェル容量を完全に利用することができる、すなわち、１つのチャンネルは、別のチャンネルがそのウェルを最初に充填するによって、そのウェル容量の割合に制限されない。これは、全ての画素の信号対雑音比を増大させる。第２に、カメラは、ノイズ増幅を排除するデジタル・ホワイトバランス・ゲインをいくつかのカラーチャンネルに適用する必要がない。これらの両方の効果によって、立体視ディスプレイ２５１上に表示される最終的な外科手術の画像を向上させる。
この態様では、非白色光モードは、カメラ２２０Ｌの複数のカラーチャンネルの全てが、白色（完全反射）面に向けられた(viewing)ときに、同量の反射光を受け取るように、照明制御装置２１５によって、光源２１１における複数の色成分の照明源２１２からの照明強度を変化させるように動作する。白色面を撮像するときに、カメラ２２０Ｌが、カラーチャンネル亘って均等に光に応答するという２の有益な効果がある。第１に、全てのカラーチャンネルは、それらのウェル容量を完全に利用することができる、すなわち、１つのチャンネルは、別のチャンネルがそのウェルを最初に充填するによって、そのウェル容量の割合に制限されない。これは、全ての画素の信号対雑音比を増大させる。第２に、カメラは、ノイズ増幅を排除するデジタル・ホワイトバランス・ゲインをいくつかのカラーチャンネルに適用する必要がない。これらの両方の効果によって、立体視ディスプレイ２５１上に表示される最終的な外科手術の画像を向上させる。
【0060】
ここでは、カメラ２２０Ｌのノイズ特性は、画像センサ２２１Ｌの電子ウェルがどの位高く充填されているかに依存して全体的に解釈される。カメラ２２０Ｌは、光を集光するにつれて、取り込まれた光が電子に変換され、これらの電子のウェルに蓄積される。画素毎に１つの電子ウェルがある。画像センサ２２１Ｌ、例えばカメラ２２０Ｌが、その電子ウェルにより多くの電子を収集するにつれて、カメラの信号対雑音比が増大する、すなわち、ノイズに対する信号が向上する。
【0061】
先に示したように、カメラ２２０Ｌが非常に多くの光を集光し、電子ウェルを過剰に充填した場合に、その電子ウェルの信号が失われ、もはや有効でなくなる。従って、カメラ２２０Ｌの露出時間は、あらゆる電子ウェルを過剰充填させることなく、可能な限り高くその電子ウェルの全てを充填するように光を収集するように設定される。殆どの光を受光するカラーチャンネルがその電子ウェルをまさにオーバーフローさせようとするときに光の収集を停止すると、その結果は、他のカラーチャンネルの電子ウェルが十分ではないということになる。他のカラーチャンネルの電子ウェルは、全体の５０％のみである可能性がある。これらの完全でない電子ウェルを有するカラーチャンネルの信号対雑音比は、電子ウェルがまさにオーバーフローするカラーチャンネルの信号対雑音比よりも著しく小さい。
【0062】
先に説明したように、通常の白色光照明について、カメラは、カメラの全てのカラーチャンネルが完全又は略完全なウェルを有していないときに、悪化した信号対雑音比の性能を有するのみならず、完全でないウェルからの信号が、従来技術のカメラの画像処理段階におけるホワイトバランス・ステージの一部として増幅される。
【0063】
通常の白色光照明とは対照的に、非白色光の照明モードの一態様は、カメラ２２０Ｌの複数のカラーチャンネルの全てが、白（完全反射）面に向けられたときに、同量の光を受け取るように、照明制御装置２１５によって、光源２１１における複数の色成分の照明源２１２の照明強度を変化させるように動作する。カメラ２２０Ｌの複数のカラーチャンネルのそれぞれは、概ね同量の光を受け取るので、カメラのカラーチャンネルは全て、非白色照明モードで完全に利用することができる。それは、カラーチャンネルが最初にそのウェル容量に達していないためである。代わりに、複数のカラーチャンネルのウェルは、略同じ時間でそのウェル容量に達する。白色面を撮影するときに、カラーチャンネルのウェルは、そのウェル容量の５０％になることはないだろう。
【0064】
また、照明装置２１０からの非白色照明が、白色面に向けられたときに、３つの全てのカメラのチャンネル応答が光に対して均等になるように設計されているので、白色光照明を用いる画像処理パイプライン２４０におけるホワイトバランス・ステージは、複数のカラーチャンネルのいずれの信号も増幅する必要がない。複数のカラーチャンネルの信号が、既に等しい。全体的な効果は、ウェルを完全に利用することによって、取込み中のノイズが殆ど無いので、得られる画像のノイズが著しく少なく、他のカラーチャンネルに関して任意のカラーチャンネルを増幅する必要がない。
【0065】
カメラ２２０Ｌが白色面に向けられているときに、カメラ２２０Ｌのカラーチャンネルが均等に応答するように、複数の色成分の照明源２１２における異なる色成分の照明源の強度を増減する方法を決定するために、カメラ２２０Ｌの特性が検討され、且つ光源２１１の制御が検討される。先に述べたように、カメラ２２０Ｒについての検討事項は、カメラ２２０Ｌと同じであるので、その説明は、カメラ２２０Ｒについて繰り返さない。また、以下の説明は、単一の信号チャンネル及び単一のカメラのみを利用する内視鏡システムにも適用される。
【0066】
また、以下の説明において、赤、緑、及び青色成分を利用する色空間について、検討する。典型的には、カラーカメラは、ベイヤー・カラーフィルタ・アレイ等のカラーフィルタ・アレイを含む。カラーカメラの構成に拘わらず、以下の説明では、画像取込みセンサ２２１Ｌによって取り込まれた、カメラの赤色チャンネルに関連する第１のセットの画素が存在する。画像取込みセンサ２２１Ｌによって取り込まれた、カメラの緑色チャンネルに関連する第２のセットの画素があり、画像取込みセンサ２２１Ｌによって取り込まれた、カメラの青色チャンネルに関連する第３のセットの画素が存在する。カメラ２２０Ｌの複数のＮカラーチャンネルを表すような３つのカラーチャンネルの使用は、単なる例示であり、これに限定されるものではない。また、３つのカラーチャンネルとして赤、緑、青色チャンネルの使用は、単なる例示であり、これに限定されるものではない。この開示に鑑みて、この技術分野の精通者は、関心対象の色空間及び関心対象のカラーフィルタ・アレイに基づいて、カメラ２２０Ｌに関連するチャンネルの数と、チャンネルの数に関連した特定の色との両方を規定することができる。
【0067】
カメラ２２０Ｌの光学系、カメラ２２０Ｌで使用されるカラーフィルタ・アレイ、及びカメラ２２０Ｌの量子効率（これらは総称してカメラの感度関数と呼ばれる）は、カメラ２２０Ｌが、異なる波長の入射光にどの様に応答するか、すなわち、手術部位２０３からの光にどの様に応答するかを決定する。図３は、カメラ２２０Ｌの応答関数の一例を示す。カメラ２２０Ｌの複数のＮカラーチャンネルのそれぞれに対して応答関数が存在する。
【0068】
こうして、この例では、３つの応答関数、青色チャンネルについて１つの応答関数３０１、緑色チャンネルについて１つの応答関数３０２、及び赤色チャンネルについて１つの応答関数３０３が存在する。図３では、応答関数３０１～３０３のそれぞれは、曲線で表される。
【0069】
特定の応答関数のより大きい値は、カメラ２２０Ｌのカラーチャンネルが、その特定の応答関数についてより低い値を有する他の波長の光と比較して、その特定の波長の光により多く応答することを示す。例えば、赤色の応答関数３０３は、カメラ２２０Ｌの赤色チャンネルが、４５０～５００ｎｍの波長範囲よりも、６００～６５０ｎｍの波長範囲の光をより多く通過させることを示す。
【0070】
特定の応答関数のより低い値は、カメラ２２０Ｌのカラーチャンネルが、その特定の応答関数についてより高い値を有する他の波長の光と比較して、その特定の波長の光に殆ど応答しないことを示す。例えば、青色の応答関数３０１は、カメラ２２０Ｌの青色チャンネルが、４４０～４７０ｎｍの波長範囲よりも、６００～６５０ｎｍの波長範囲の光を殆ど通過させないことを示す。応答関数のゼロ値は、カメラ２２０Ｌのカラーチャンネルがその光の波長を認識できないことを示す。
【0071】
一態様では、カメラ２２０Ｌの複数のカラーチャンネルの応答関数は、行列Ｒを構成する３つの列ベクトルとしてマトリックス表記に変換される。行列Ｒは、Ｍ×Ｎ行列である。具体的には、一態様では、例えば４００ｎｍ～７００ｎｍで１ｎｍ毎に離間した、Ｍ個の等間隔の波長のセットが、選択され、次に、応答関数の値は、これらの選択された波長のそれぞれで読み取られる。この例では、３０１個の値が、各応答関数について生成される。こうして、この例では、Ｍは、３０１に等しく、Ｎは、赤、緑、青の応答関数の３に等しい。４００ｎｍ～７００ｎｍの範囲が、応答関数の全ての重要な非ゼロの部分を包含する限り、インターバル間隔は、十分に小さく（１ｎｍ）、次に、ベクトル形式は、完全な曲線に対応する。サンプリング範囲及び間隔は、通常、用途に基づいて変化する。
【0072】
上述したように、一態様では、光源２１１は、複数のＰ色成分の照明源２１２を含む。例として、光源２１１が、４つの異なる色成分の照明源、例えば異なる強度の光を放射するように調整できる４つの個々のＬＥＤを含むように、Ｐが４である実装態様について検討する。４つの個々のＬＥＤを含む照明装置の一例は、（２０１０年８月１３日に出願された、”Surgical Illuminator With Dual Spectrum Fluorescence”を開示する）米国特許出願公開第２０１２／０００４５０８号明細書に示されており、この文献は、参照により本明細書に組み込まれる。
【0073】
４つの異なる各ＬＥＤの照明スペクトルの例が、図４に示される。スペクトル４０１は、青色成分の照明である。スペクトル４０２は、シアン色成分の照明である。スペクトル４０３は、緑色成分の照明であり、スペクトル４０４は、赤色成分の照明である。この態様では、複数の色成分の照明源２１２のそれぞれは、異なる色成分の照明源である。
【0074】
スペクトル４０１～４０４も、マトリックス表記で表すことができる。各スペクトルは、行列Ｅの列である。行列Ｅは、Ｍ×Ｐ行列である。具体的には、一態様では、例えば４００ｎｍ～７００ｎｍで１ｎｍ毎に離間した、Ｍ個の等間隔の波長のセットが選択され、次に、ＬＥＤ照明スペクトルの値が、これらのＭ個の選択された波長のそれぞれで読み取られる。
【0075】
また、照明制御装置２１５が、光源２１１における各ＬＥＤの出力強度を制御するので、及びＬＥＤの照明出力が、その混合出力と一緒に光学的に線形的に組み合わされるので、内視鏡２０１の先端部から放射される光のスペクトルｅｏｕｔは、以下のように表すことができる。
ここで、ｅｏｕｔは、Ｍ×１列ベクトルとして放射されたスペクトルであり、
tは、Ｍ×１列ベクトルとして表される内視鏡の照明チャンネルの分光透過率であり、
ｄｉａｇ（ｘ）は、他の全ての要素がゼロである行列の対角にベクトルｘを配置することを示し、
ｗは、Ｐ×１の単一の列重みベクトルであり、重みベクトルｗの各要素は、複数のＰ個のＬＥＤの対応するＬＥＤの強度を決定するために、非白色光モジュール２１７によって使用される。
【数1】
tは、Ｍ×１列ベクトルとして表される内視鏡の照明チャンネルの分光透過率であり、
ｄｉａｇ（ｘ）は、他の全ての要素がゼロである行列の対角にベクトルｘを配置することを示し、
ｗは、Ｐ×１の単一の列重みベクトルであり、重みベクトルｗの各要素は、複数のＰ個のＬＥＤの対応するＬＥＤの強度を決定するために、非白色光モジュール２１７によって使用される。
【0076】
非白色光を実現するために、重みベクトルｗは、複数のＮカメラ・カラーチャンネルのそれぞれからの応答が、ＬＥＤが負の光(negative light)を放射することができない場合に、重みベクトルｗの要素を正にしなければならないという制約を等しく受けるように決定される。これは、以下のマトリックス形式で書くことができる。
ここで、目標は、重みベクトルｗを解くことであり、[１]は、１のＮ×１列ベクトルを表し、ＲＴは、応答関数の行列Ｒの転置行列であるＮ×Ｍ行列を表す。
【数2】
【0077】
別の言い方をすれば、先の式は、非白色光の照明モジュール２１７が、Ｐカラーチャンネルの照明制御因子ＣＣＩＷのうちの異なる１つを、光源２１１におけるＰ色成分の照明源のそれぞれに適用するときに、照明装置２１０が非白色光を出力するように、Ｐカラーチャンネルの照明制御因子ＣＣＩＷ（重みベクトルｗの要素）を決定し、そして内視鏡２０１によって放射された非白色光が完全な反射面、すなわち白色面に入射するときに、カメラ２２０Ｌの各電子ウェルは、１００％完全なレベルにまで充填される。
【0078】
こうして、問題は、正の成分のみを含む重みベクトルｗを見つけることである。制御可能なＬＥＤの数Ｐが、カメラ・カラーチャンネルの数Ｎに等しい場合に、簡易解法は、行列ＲＴ＊ｄｉａｇ（ｔ）＊Ｅが正方行列である場合に、逆行列を取ることである。この場合には、以下のようになる。
【数3】
【0079】
重みベクトルｗが、全て正又はゼロである（及びＲＴ＊ｄｉａｇ（ｔ）＊Ｅが逆行列を有する）限り、解が存在する。重みベクトルｗが、負の成分を有する場合に、ＬＥＤは、カメラ・カラーチャンネルを等化するように制御することができない。しかしながら、この状況では、重みベクトルｗの負の成分は、最も近い解を得るためにゼロにクリップすることができる。
【0080】
しかしながら、制御可能なＬＥＤの数Ｐが、カメラ・カラーチャンネルの数Ｎに等しくない場合に、行列ＲＴ＊ｄｉａｇ（ｔ）＊Ｅの逆行列が存在しないため、簡易解法は不可能である。例えば、４つの制御可能なＬＥＤ及び３つのみのカラーチャンネルを有するカメラ２２０Ｌでは、簡易解法は利用できない。
【0081】
この特定のケースでは（つまり、制御可能な色成分の照明源の数Ｐが、カラーチャンネルの数Ｎよりも大きいときはいつでも）、重みベクトルｗの成分について多くの解が存在している、すなわち、重みベクトルｗについての複数の異なる解は、完全な反射面に入射する非白色光についてカメラ・カラーチャンネルのウェルの充填を均一にするだろう。具体的には、ｗに対する解のセットは、以下のように表すことができる。
ここで、ｗａは、擬似逆行列解であり、
Ｖｎは、Ｎ×（Ｐ－Ｎ）行列の（Ｐ－Ｎ）ゼロ空間の列ベクトルを規定する、すなわち、カメラの応答を変更することなく、解ｗを変化させることができる方向性が存在し、
αは、ｗに対する１つの特定解を（Ｐ－Ｎ）×１ベクトルとして規定する。
１つの重みベクトルｗに対する解法を制限するには、別の制約を解法に与えなければならない、すなわち、我々は、単一のα値を決定することにより、ゼロ空間の値を指定する必要がある。
【数4】
Ｖｎは、Ｎ×（Ｐ－Ｎ）行列の（Ｐ－Ｎ）ゼロ空間の列ベクトルを規定する、すなわち、カメラの応答を変更することなく、解ｗを変化させることができる方向性が存在し、
αは、ｗに対する１つの特定解を（Ｐ－Ｎ）×１ベクトルとして規定する。
１つの重みベクトルｗに対する解法を制限するには、別の制約を解法に与えなければならない、すなわち、我々は、単一のα値を決定することにより、ゼロ空間の値を指定する必要がある。
【0082】
可能な制約として、放射パワーの最大化、放射パワーの最小化、駆動電流の最大化、駆動電流の最小化、又は外科医コンソールの外部で見た光の色をより白く見えるように変更することが挙げられるが、これらに限定されるものではない。ＬＥＤ駆動電子機器の制約によって、最小ＬＥＤ輝度を最大化する制約が、実施された。基本的に、照明制御装置２１５が、低輝度で光を確実に制御することができないので、所望されることは、重みベクトルｗの最小値を可能な限り高くすることである。
【0083】
このような制約を解決するためにミニマックス最適化があるが、解（Ｐ－Ｎ＝１）に１つだけ余分な自由度が存在しているので、緑色及びシアン色ＬＥＤからの照明は、カメラ２２０Ｌについて常に最も低く、ゼロ空間ベクトルＶｎの中で反対の符号を有することに経験的に気付いた。重みベクトルｗの値は、緑色及びシアン色チャンネルが等しくなるまで、ゼロ空間の成分αを掃き出すことによって決定した。
【0084】
表１は、MatLab（登録商標）のコンパイラでコンパイルしたMatLabコンピュータコードの例であり、このコードは、次に、プロセッサ上で実行され、緑色及びシアン色の照明チャンネルが等しくなるまで、ゼロ空間の成分αを掃き出すことにより重みベクトルｗを決定する。（MatLabは、米国、郵便番号０１７６０、マサチューセッツ州、ナティック、アップルヒルドライブ、３にあるMathworks社の米国登録商標である。）
ここで、ｓｖｄ（Ｘ）は、Ｘの特異値分解であり、
ｄｉａｇ（ｘ）は、ｘの対角行列であり、
２及び３のインデックスは、それぞれ緑色及びシアン色のＬＥＤに対応する。
ここでは、Ｕ，Ｓ，Ｖは、特異値分解（svd）の出力である。特異値分解（svd）は、行列を３つの別々の行列に分割するための一般的な方法である：Ｘ＝ＵＳＶＴ、ここでＵ及びＶは、正規直交行列であり、Ｓは、対角行列である。ＸのＵ，Ｓ，Ｖへのこの分解によって、擬似逆及びゼロ空間の成分を見つけることができる。
【表1】
ｄｉａｇ（ｘ）は、ｘの対角行列であり、
２及び３のインデックスは、それぞれ緑色及びシアン色のＬＥＤに対応する。
ここでは、Ｕ，Ｓ，Ｖは、特異値分解（svd）の出力である。特異値分解（svd）は、行列を３つの別々の行列に分割するための一般的な方法である：Ｘ＝ＵＳＶＴ、ここでＵ及びＶは、正規直交行列であり、Ｓは、対角行列である。ＸのＵ，Ｓ，Ｖへのこの分解によって、擬似逆及びゼロ空間の成分を見つけることができる。
【0085】
図５は、上記の手順を使用した、白色光照明５０２と非白色照明５０１との間の差を示している。図から明らかなように、青色及び赤色ＬＥＤは、白色光モードに比べて非白色光モードにおいて、緑色及びシアン色ＬＥＤよりもはるかに多くの光を出力している。一態様では、白色面から反射されたときに、白色光に対するカメラ２２０Ｌの応答は、赤（Ｒ）：６１％，緑（Ｇ）：１００％，青（Ｂ）６７％であるが、非白色光を使用したカメラ応答は、その応答が設計されたように赤（Ｒ）：１００％，緑（Ｇ）：１００％，青（Ｂ）：１００％である。
【0086】
非白色光を生成するこの技術は、表示された手術シーンでのノイズ減少が、内視鏡からの光の色を調整することによって達成できることを実証している。具体的には、カメラ（複数可）の全てのカラーチャンネルが、白色面に向けられたときに、そのシーン応答を等しく取り込む場合に、表示された手術シーンにおいて各画素の信号対雑音比を増大させることができる。信号対雑音比が増大すると、最終的な手術用画像における知覚ノイズが減少する。
【0087】
非白色光のシーン・ベースの較正
従来例では、非白色光モジュール２１７は、照明装置２１０が非白色光で手術部位２０３を照明するように、光源２１１を駆動するように構成されていたので、カメラ２２０Ｌにより取り込まれたカラー画像の白色光の色のバランス調整は、非白色光が白色面で反射されたときに、不要であった。これは、通常の白色光照明を用いて取り込まれ且つディスプレイ２５１上に表示される画像と比較して、ディスプレイ２５１上に表示される画像の信号対雑音比を改善した。
従来例では、非白色光モジュール２１７は、照明装置２１０が非白色光で手術部位２０３を照明するように、光源２１１を駆動するように構成されていたので、カメラ２２０Ｌにより取り込まれたカラー画像の白色光の色のバランス調整は、非白色光が白色面で反射されたときに、不要であった。これは、通常の白色光照明を用いて取り込まれ且つディスプレイ２５１上に表示される画像と比較して、ディスプレイ２５１上に表示される画像の信号対雑音比を改善した。
【0088】
しかしながら、非白色光を他の方法で生成して、ディスプレイ２５１上に提示される画像の信号対雑音比を改善することができる。例えば、制御装置２１５は、照明装置２１０が非白色光を出力するように、複数の色成分の照明源２１２のうちの少なくとも１つの出力照度レベル、例えば光パワー出力を変化させるように構成される。複数の色成分の照明源２１２のうちの少なくとも１つの出力照度レベルの変化は、カメラ２２０Ｌによって取り込まれたカラーシーンの色成分特性に基づくものである。この件で生成された非白色光は、通常の白色光照明を用いて取り込まれ且つディスプレイ２５１上に表示されるシーンと比較して、ディスプレイ２５１上に表示されるシーンの改善された信号対雑音比をもたらす。
【0089】
一態様では、カラーチャンネル照明制御因子ＣＣＩＷは、様々な方法で生成される。最初に取り込まれたシーンの情報が、照明制御装置２１５によって使用される、生成されたカラーチャンネル照明制御因子ＣＣＩＷに使用される。
【0090】
一態様では、動的なアプローチが、非白色光を生成するために使用されるカラーチャンネル照明制御因子ＣＣＩＷを決定する。例えば、フレーム６１０（図６Ａ）が、取り込まれ、これを使用して、第１セットのカラーチャンネル照明制御因子ＣＣＩＷ６２０を生成する。第１のセットのカラーチャンネル照明制御因子ＣＣＩＷ６２０は、取り込まれた次のＺ個の連続フレームに使用され、ここでＺは、非ゼロの正の整数である。Ｚ個の連続フレームが、取り込まれ、処理され、及び表示されるが、このシーケンス内のフレーム６２１のうちの１つを使用して、第２のセットのカラーチャンネル照明制御因子ＣＣＩＷ６２１を生成する。第２のセットのカラーチャンネル照明制御因子ＣＣＩＷ６２１は、取り込まれた次のＺ個の連続フレームのために使用され、その処理が継続される。
【0091】
一態様では、時間加重移動平均が、カラーチャンネル照明制御因子ＣＣＩＷ６２１を生成するために使用される。この態様では、フレームチャンネル照明制御因子ＣＣＩＷ＿ｆｒａｍｅが、フレーム毎に生成され、上述したように、次の固定されたフレーム数に亘って減少する重み付けし、他の加重フレームチャンネル照明制御因子ＣＣＩＷ＿ｆｒａｍｅと加算され、最近のフレームのフレームチャンネル照明制御因子ＣＣＩＷ＿ｆｒａｍｅが、支配的となるが、以前のフレームのフレームチャンネル照明制御因子ＣＣＩＷ＿ｆｒａｍｅの（例えば、線形的に）減少した画分が加算されるように平均化され、例えば、フレームレートで更新される現在適用される加重時間移動平均チャンネル照明制御因子ＣＣＩＷ６２１を与える。
【0092】
一態様では、数Ｚは、システム２００の安定性を維持するためにフレーム数の時間平均として経験的に決定される。別の態様では、数Ｚは、一定ではない。むしろ、カラーチャンネルの平均輝度を監視し、いずれかのカラーチャンネルの平均輝度が、所定の割合、例えば５％を超えるように変化した場合に、新しいセットのカラーチャンネル照明制御因子ＣＣＩＷが、生成される。このアプローチは、カメラの視野内の手術部位の特性が変化した場合に、電子ウェルが、最適な充填の近く留まるように、外科的処置手術中に、カメラのカラーチャンネルのウェルの充填量(fullness)の変化を適応的に補償し、且つカラーチャンネル照明制御因子ＣＣＩＷを調整する。
【0093】
別の態様では、取り込んだシーンについて、カメラ２２０Ｌの各カラーチャンネルの画素の輝度のヒストグラムが作成される。カメラ２２０Ｌの複数のＮカラーチャンネルのそれぞれの画素の輝度のヒストグラムが作成される。この技術分野の精通者に知られているように、各画素は、画素の輝度を表す単一の数である画素値を有する。画素値は、その画素の画素ウェルの充填量の指標である。こうして、カメラ２２０Ｌについて、各カラーチャンネルについて１つ、Ｎ個の輝度ヒストグラムが作成される。
【0094】
Ｎ個の輝度ヒストグラムのそれぞれにおいて、輝度値は、ｘ軸上にプロットされる。各輝度値についてのバーの高さは、その輝度値を有するカラーチャンネルの画素数を表す。輝度ヒストグラムは、取り込んだ画像全体、又は、取り込んだ画像の関心領域に基づくことができる。例えば、関心領域は、遠隔操作手術システム２００を使用する者の中心窩内の領域として規定することができる。画像センサ２２１Ｌの画素のウェルの充填量の表示は、そのカラーチャンネルが各カラーチャンネルの輝度ヒストグラムから導出される箇所にある。表示は、平均値、又は全ての値の９０パーセンタイルに相当する値とすることができる。
【0095】
行列Ｂは、照明コントロールとカメラセンサの色チャンネル応答との間の結合として規定される。この行列は、照明コントロール、Ｐ要素ベクトルをカメラセンサのカラーチャンネル応答、Ｎ要素ベクトルに変換する。行列Ｂは、基準レベルにおいて、１つずつ照明チャンネル上で回転させることによって測定することができる。こうして、以下の通りになる。
【数5】
【0096】
カラーチャンネル照明制御因子ＣＣＩＷは、次のように規定される。
ここで、ＷＦｕｌｌは、Ｎ×１列ベクトルであり、各成分が、カメラ２２０Ｌのカラーチャンネルの画素ウェルの所望の充填量を表し、
ＣＣＩＷは、Ｐ×１の列ベクトルであり、各要素が、光源２１１の色成分の照明源のうちの１つのカラーチャンネル照明制御因子を表す。
【数6】
ＣＣＩＷは、Ｐ×１の列ベクトルであり、各要素が、光源２１１の色成分の照明源のうちの１つのカラーチャンネル照明制御因子を表す。
【0097】
ＰがＮに等しく、且つＢの逆行列が存在する場合に、カラーチャンネル照明制御因子ＣＣＩＷの決定は、容易である。ＰがＮよりも大きい場合に、Ｂの擬似逆行列を使用する。
【0098】
行列の擬似逆行列は、この技術分野の精通者にはよく知られている。ここで使用するのに適した擬似逆行列は、Moore-Penrose疑似逆行列と呼ばれる。Moore-Penrose疑似逆行列の一般的な使用は、固有の解法を欠く線形方程式の系に対して「最適な」最小二乗解を計算することである。Moore-Penrose疑似逆行列の別の使用は、線形方程式の系に対して最小値（ユークリッド）ノルム解を見つけることである。一態様では、最適な最小二乗解を使用する。
【0099】
このようにして生成されたカラーチャンネル照明制御因子ＣＣＩＷは、遠隔操作手術システム２００において、上述したように、静的アプローチ又は動的アプローチのいずれかで使用することができる。カラーチャンネル照明制御因子ＣＣＩＷを生成するために使用される技術に拘わらず、非白色光の照明を使用することは、白色光照明を用いて取り込んだ画像から形成された表示画像と比較して、表示画像へのノイズの寄与を低減することにより、ディスプレイ２５１上に表示される画質を向上させる。
【0100】
例として、カメラ２２０Ｌが、赤、緑、青色チャンネルを有しており、例えばＮが３であり、所望の充填量ＷＦｕｌｌが、各カラーチャンネルについて７５％であると想定する。白色光照明を用いると、赤色チャンネルＲ６０３Ｂが、９０％の充填量であり（図６Ｂ）、緑色チャンネルＧ６０２Ｂが５０％であり、及び青色チャンネルＢ６０１Ｂが、３７.５％である。非白色照明について、赤色チャンネルＲ６０３Ｃが、約７５％の充填量であり（図６Ｃ）、緑色チャンネルＧ６０２Ｃが、７５％であり、青チャンネルＢ６０１Ｃが、約７５％の充填量である。白色照明及び非白色照明の両方のノイズフロアを１５％とした。こうして、青及び緑色成分の信号対雑音比は、非白色光について改善される。
【0101】
しかしながら、光源２１１における複数の色成分の照明源２１２のそれぞれからの照明が、手術部位２０３によって吸収され且つ異なる方向に反射されるので、電子ウェルは、正確に７５％の充填量になる可能性はない。こうして、この態様では、カメラチャンネルの非白色光に対する応答が略等しくなるときに、異なるカラーチャンネルにおけるカメラの画像センサの部分の応答は、手術部位による非白色光の吸収及び反射の差が考慮される場合に、等しいことを意味する。それにも拘わらず、信号対雑音比は、青及び緑色画素について少なくとも改善された。
【0102】
手術部位２０３のカラー画像では、緑及び青色照明成分が、赤色照明成分よりも殆ど散乱されず且つ赤色照明成分よりも殆ど浸透しないため、緑及び青色画素は、細部の殆どを提供する。結果として、青及び緑色画素の信号対雑音比を改善することは、ディスプレイ２５１に提供される画質を向上させる。
【0103】
図６Ｃに示されるように充填されたウェルを有する画素が、ディスプレイ２５１上に表示するために直接的に処理された場合に、表示された画像は、非白色光照明に関連したカラーチャンネルの電子ウェルの充填量によって適切なカラーバランス調整を行うことはないだろう。こうして、各カラーチャンネルの画素が画像センサから取得された場合に、カラーチャンネルの画素値は、カラーチャンネル照明制御因子ＣＣＩＷを補償するように補正される。中間色の対象物（例えば、ホワイトバランス標的）のシーンを観察するときに、照明コントロールＬ０が、白色画像を生成する仮定すると、
ここで、Ｉ０＝［ｒ０，ｇ０，ｂ０］Ｔは、Ｎ×１の画素輝度行列であり、ＲＧＢ成分が同じ値を有し、
Ｌ０＝［Ｌ０１，．．．，Ｌ０Ｐ］Ｔは、Ｐ×１の光パワー出力行列である。
【数7】
Ｌ０＝［Ｌ０１，．．．，Ｌ０Ｐ］Ｔは、Ｐ×１の光パワー出力行列である。
【0104】
後で、追加のゲインＡ＝［ｃｃｗ１，．．．，ｃｃｗＰ］Ｔ＝ＣＣＷＴはが、Ｌ０の上部の照明コントロールに適用され、Ｌをもたらし、ここで、Ｌ＝［Ｌ１，．．．，ＬＰ］Ｔ＝［ｃｃｗ１＊Ｌ０１，．．．，ｃｃｗＰ＊Ｌ０Ｐ］Ｔである。照明Ｌを用いたカメラからの色応答は、Ｉ＝［ｒ，ｇ，ｂ］Ｔである。
Ｋ＝Ｂ＊Ａ＝［ｋｒ，ｋｇ，ｋｂ］
Ｋ＝Ｂ＊Ａ＝［ｋｒ，ｋｇ，ｋｂ］
【0105】
調整された画素の色Ｉ’＝［ｒ／ｋｒ，ｇ／ｋｇ，ｂ／ｋｂ］は、ディスプレイに提示され、正確な色を実現する。これは、図６Ｄに示されるように、典型的な画素値をもたらす。赤色チャンネルのノイズが若干増加したが、緑及び青色チャンネルのノイズが無くなっている。こうして、緑及び青色チャンネルの信号が、画像処理パイプライン２４０のホワイトバランス調整プロセスで増幅される場合に、信号対雑音比は、白色光照明を用いた場合よりも良好である。
【0106】
非白色光を用いた高ダイナミックレンジ画像
ビデオカメラを使用して、高ダイナミックレンジ画像を形成するための標準的な方法は、ビデオカメラによって、異なる露出レベルで連続した画像を撮影することである。異なって露出された画像は、単一の高解像度画像にマージされる。この技術は、ビデオカメラが、フレーム毎に露出設定を切り替える機能を有する必要がある。これは、取り込まれた各フレームから表示画像を生成するビデオカメラと比較して、効果的に低減したフレームレートをもたらす。また、シーンに動きがある場合に、経時的に取り込まれた画像が、単一の高解像度画像にマージされたときに、動きアーチファクトが観察される可能性がある。
ビデオカメラを使用して、高ダイナミックレンジ画像を形成するための標準的な方法は、ビデオカメラによって、異なる露出レベルで連続した画像を撮影することである。異なって露出された画像は、単一の高解像度画像にマージされる。この技術は、ビデオカメラが、フレーム毎に露出設定を切り替える機能を有する必要がある。これは、取り込まれた各フレームから表示画像を生成するビデオカメラと比較して、効果的に低減したフレームレートをもたらす。また、シーンに動きがある場合に、経時的に取り込まれた画像が、単一の高解像度画像にマージされたときに、動きアーチファクトが観察される可能性がある。
【0107】
高ダイナミックレンジ画像を形成するために撮影に使用される別のアプローチは、段階的な減光フィルタを用いて画像を取り込むことである。シーンの明るい領域が、フィルタによってシーンの薄暗い領域よりも多く減衰されるように、減光フィルタを段階的に調整する。これは、異なる輝度の既知の領域を有するシーン、例えば日の出や日没のシーンに適しているが、手術部位のシーンの同じ部分は、常にシーンの最も明るい領域ではないため、遠隔操作手術システムでの段階的な減光フィルタの使用は、実用的ではない。
【0108】
カラー画像を必要としない用途では、カメラ２２０Ｌ及び手術部位２０３を照明する非白色光を使用して、単色の高ダイナミックレンジ画像を生成することができる。例えば、診断とは異なり、カラー画像は、手術用器具（複数可）のナビゲーション中に、例えば肺のナビゲーションの案内中に重要ではないかもしれない。
【0109】
モノクロ画像が許容される用途では、非白色光の照明と、異なる露出設定又は減光フィルタを使用しないカメラとを用いて、高ダイナミックレンジ画像を形成することが可能である。非白色光モジュール２１７は、複数の色成分の照明源２１２が、白色光照明を形成するために使用される通常の強度以外の強度を有するように、複数の色成分の照明源２１２を駆動するように構成される。
【0110】
従って、カメラ２２０Ｌは、Ｎ枚の画像を取り込み、カメラのＮ個のカラーチャンネルのそれぞれは、色成分の照明源２１２に使用される異なる重みによって効果的に異なって露出される。これらのＮ個の画像を使用して、減光フィルタを有するカメラに使用されるものと同等の方法で高ダイナミックレンジ画像を生成する。こうして、高ダイナミックレンジ画像は、任意の特殊フィルタや可変露出設定のカメラを必要とせずに、得られる。非白色光の照明を使用することによって、遠隔操作手術システムで使用される、カラーフィルタ・アレイを含む従来のカメラを使用して、高ダイナミックレンジ画像の生成が可能になる。
【0111】
実施例の目的のために、複数の色成分の照明源２１２における色成分の照明源の数Ｐが３つであり、３つの色成分の照明光源は、赤色光源、緑色光源、及び青色光源であると想定する。また、通常の白色光照明について、非白色光モジュール２１７は、３つの光源のそれぞれを等しく重み付けする、例えば、赤、緑、青色の重み（カラーチャンネル照明制御因子ＣＣＩＷ）は、１：１：１であると想定する。一態様では、重み（カラーチャンネル照明制御因子ＣＣＩＷ）は、照明装置２１０が、例えば赤、緑、青色光源の非白色光を提供するように変更され、その重みは、０．５：１．０：２．０である。
【0112】
一般的に、色成分の重みは、手術シーンからの反射光のダイナミックレンジ（シーンダイナミックレンジ）に対するカメラ２２０Ｌのカラーチャンネルの画素のダイナミックレンジ（画素ダイナミックレンジ）の比を取ることによって決定される。シーンダイナミックレンジに対する画素ダイナミックレンジの比は、１：ＤＲであり、ここでＤＲは、ゼロ以外の正の整数である。この例では、第１の照明色成分の最大重みが、第Ｎの照明色成分の重みのＤＲ倍である。第２の間の（Ｎ－１）照明色成分による重みは、２の累乗だけ最小重みと最大重みとの間で均一に離間している。例えば、画素ダイナミックレンジが１：２５６であり、且つシーンダイナミックレンジが１：１０２４である場合に、両者の比は、１：４（２２）である。上記の例では、最小の重みは１であったので、最大の重みは、４であった。１と４との間の２の累乗は、２１＝２であるので、第３の重みは、２である。
【0113】
別の例として、１：１６の比及び３つの色成分の照明源について検討する。最小重みは、１であり、最大重みは１６である。他の重みは、４である。その比が１：１６であり、且つ４つの色成分の照明源がある場合に、その重みは、１：２（４／３）：２（８／３）：１６になるだろう。
【0114】
シーンがカメラ２２０Ｌで反射された非白色光から取り込まれるときに、Ｎカラーチャンネルのそれぞれは、光源２１２におけるＰ色成分の照明源の光パワー出力の差によって異なる反射光強度でグレースケールのシーンを取り込む。Ｎグレースケールのシーンを処理して、高ダイナミックレンジのグレースケール画像を生成する。この処理を行うための１つの技術が、Nayar and Mitunga, “High Dynamic Range Imaging: Spatially Varying Pixel Exposures,” IEEE Conference on Computer Vision and Pattern Recognition, Vol.1, pp.472-479(2000),に記載されており、この文献は、参照により本明細書に組み込まれる。
【0115】
異なるカメラ露出設定や減光フィルタを用いて得られた画像を使用するのではなく、異なる強度のカラー照明成分の組合せを含む非白色光の照明を使用して、露出を固定したカメラを用いて異なる露出画像を取得する。Ｎ個の異なる露出画像を同時に取り込むので、動きアーチファクトが存在しない。
【0116】
先の例では、異なる露出の画像を単一のフレームに取り込むために、非白色光の異なる強度の色成分を使用した。同様の効果は、各色成分の照明源がフレームの露出時間内に出力される、時間の長さを変化させることによって、得ることができる。この態様では、非白色光モジュール２１７によって適用される重みは、白色光に使用されるものと同じであるが、スイッチング素子（複数可）が、非白色光モジュール２１７に追加される。
【0117】
赤、緑、青色成分の光パワー出力の比が０．５：１：２であり、且つ露出時間が時間tである同じ例について検討する。この例では、青色光源は、時間（２／３．５）＊ｔに亘って出力される。緑色光源は、時間（１／３．５）＊ｔに亘って出力され、赤色光源は、時間（０．５／３．５）＊ｔに亘って出力される。こうして、色成分の光源のそれぞれは、特定の割合の露出時間になるようにパルス幅変調される。
【0118】
図７は、照明装置２１０からの出力光を制御するために、照明装置２１０の赤、青、及び緑色成分の照明源からの出力を変化させる一例を示す図である。露出時間の５８％に亘って青色光源がオンになり、露出時間の２８％に亘って緑色光源がオンになり、露出時間の１４％に亘って赤色光源がオンになる限り、各色成分の照明源をオン／オフさせる特定の順序は、重要ではない。当然ながら、光源のオン／オフを切り替える代わりに、光源をオン状態に維持することができ、光源の出力は、図７のオフ状態で示されるように露出時間中に、照明装置２１０の出力から離れる方向に向ける又はその出力に到達するのを阻止することができる。
【0119】
上記の例で使用される特定の数の光成分の照明源と、光成分の照明源の重みは、単なる例示であり、実施例で使用される特定の数の光成分の照明源及び重みに限定されるものではない。
【0120】
別の実施例では、色成分の照明源の出力は、図７に示されるように変化するが、異なるフレームが、各色成分の照明源について取り込まれる。固定フレームシャッターが使用される場合に、照明の切替えは、画像取得に同期される。ローリングシャッタを使用する場合に、照明の切替えは、照明を切り替えることによって、取り込んだ画像にフリッカーを生じないような周波数にしなければならない。ここで使用される場合に、ローリングシャッタは、フレーム全体を一度に取り込むのではなく、情報が、フレームの各行から順々に、例えば上から下に読み出されることを意味する。
【0121】
こうして、この例では、カメラの露出時間が固定されるが、照明は、異なる露出画像を得るために変化される。この場合に、高ダイナミックレンジ画像は、異なる露出で撮影された画像について高ダイナミックレンジ画像を取得するための既知の技術に相当する方法で形成される。
【0122】
照明装置２１０の出力能力を変化させることは、多くの方法で実現することができる。複数の成分の光源の出力は、上述したように直接的に制御することができる。要素２１８は、照明装置２１０から出力される光の経路に配置される複数のセクションを有する回転ホイールとすることができる。複数のセクションのそれぞれは、複数の色成分のうちの１つの色を有し、複数のセクションのそれぞれは、異なる光減衰レベルを有する。別の態様では、要素２１８は、制御装置に結合された音響光学光変調器である。
【0123】
あるいはまた、要素２１８は、液晶装置とすることができる。一態様では、液晶装置は、オン／オフ・パルス幅変調シャッターモードに構成され、このモードは、カメラ画像フレームのキャプチャ当たり１つ又は複数のオン／オフサイクルを含むオン／オフ時間の変動比を有する。別の態様では、液晶装置は、例えば、入射偏光子、補償型液晶可変リターダ(retarder)、及び出射偏光子等の、調整可能な減衰器として構成され、入射及び出射偏光子は、直線偏光子と交差する。さらに別の態様では、液晶装置は、波長可変フィルタとして構成される。液晶波長可変フィルタの使用及び動作は、この技術分野の精通者によく知られている。
【0124】
こうして、いくつかの態様では、固定フィルタを使用して、照明装置が非白色光を出力するように、複数の色成分の照明源のうちの少なくとも１つの照度レベルを変更する。
【0125】
また、いくつかの態様では、非白色光を生成する照度レベルの変動は、複数の色成分の照明源２１２の寿命によって誘起される経年劣化の不均等な電力損失を調節するように制御される。こうして、発光ダイオード又はレーザダイオード等の光パワー出力が、経年劣化によって誘起される電力損失によって経時的に減少する場合に、カラーチャンネル照明制御因子ＣＣＩＷは、複数の色成分の照明源２１２のそれぞれの経年劣化によって誘起される不均等な電力損失を補償するために、静的又は動的に調整することができる。
【0126】
本明細書で説明する様々なモジュールは、プロセッサ、ハードウェア、ファームウェア、又はこれら３つの任意の組合せで実行されるソフトウェアにより実現することができる。モジュールがプロセッサ上で実行されるソフトウェアとして実現される場合に、ソフトウェアは、コンピュータ可読命令としてメモリに格納され、コンピュータ可読命令は、プロセッサで実行される。メモリの全部又は一部は、プロセッサがメモリに結合される限り、プロセッサとは異なる物理的な位置にあってもよい。メモリは、揮発性メモリ、不揮発性メモリ、又はその２つのメモリの任意の組合せを指す。
【0127】
また、本明細書に記載されるように、様々なモジュールの機能は、１つのユニットによって実行される、或いは異なるコンポーネント又は異なるモジュール間で分割することができ、各機能は、次に、ハードウェア、プロセッサ上で実行されるソフトウェア、及びファームウェアの任意の組合せによって実施することができる。異なるコンポーネント又はモジュール間で分割する場合に、コンポーネント又はモジュールは、一箇所に集中させてもよく、又は分散型処理のためにシステム２００に亘って分散させてもよい。様々なモジュールの実行は、様々なモジュール及び制御装置２６０について上述した処理を実行する方法を生じさせる。
【0128】
こうして、プロセッサは、プロセッサによって実行される命令を含むメモリに結合される。これは、コンピュータシステム内で、或いは、モデム及びアナログライン又はデジタルインターフェイス及びデジタルキャリアラインを介して他のコンピュータとの結合を介して達成することができる。
【0129】
ここで、コンピュータプログラム製品は、本明細書に記載したプロセスの一部又は全てに必要なコンピュータ可読コードを格納するように構成された、又はこれらのプロセスの一部又は全てのコンピュータ可読コードが格納されたコンピュータ可読媒体を含む。コンピュータプログラム製品のいくつかの例は、ＣＤ－ＲＯＭディスク、ＤＶＤディスク、フラッシュメモリ、ＲＯＭカード、フロッピー（登録商標）ディスク、磁気テープ、コンピュータハードドライブ、ネットワーク上のサーバー、及びコンピュータ可読プログラムコードを表す、ネットワークを介して送信される信号である。非一時的な有形のコンピュータプログラム製品は、プロセスの一部又は全てのコンピュータ可読命令を格納するように構成された、又はプロセスの一部又は全てのコンピュータ可読命令が格納された有形のコンピュータ可読媒体を含む。非一時的な有形のコンピュータプログラム製品は、ＣＤ－ＲＯＭディスク、ＤＶＤディスク、フラッシュメモリ、ＲＯＭカード、フロッピー（登録商標）ディスク、磁気テープ、コンピュータハードドライブ、及び他の物理的記憶媒体である。
【0130】
本開示に鑑みて、本明細書で説明したプロセスの一部又は全てに使用される命令は、ユーザにとって関心のあるオペレーティングシステム及びコンピュータプログラム言語を使用して広範なコンピュータシステム構成で実装することができる。
【0131】
本発明の態様及び実施形態を示す上述した詳細な説明及び添付の図面は、限定するものと解釈すべきではなく、特許請求の範囲が、保護される発明を規定する。種々の機械的な、組成的な、構造的な、電気的な、及び操作上の変更は、本明細書及び特許請求の範囲の精神及び範囲から逸脱することなく行うことができる。いくつかの例では、周知の回路、構造、及び技術は、本発明を不明瞭にすることを避けるために詳細に示していない又は説明していない。
【0132】
また、この詳細な説明の用語は、本発明を限定するものではない。例えば、「～の下に(beneath)」、「～より下の(below)」、「～の下方の(lower)」、「～より上の(above)」、「～の上方の(upper)」、「基端の(proximal)」、「先端の(distal)」等の空間に関連する用語は、図に示される１つの要素又は機構に対して別の要素又は機構との関係を説明するために使用される。これらの空間に関連する用語は、図面に示される位置及び向きに加えて、使用又は操作中の装置の異なる位置（すなわち、配置）及び向き（すなわち、回転位置）を包含することを意図している。
【0133】
例えば図面内の装置をひっくり返した場合に、他の要素又は機構「より下の(below)」又は「の下に(beneath)」として説明された要素は、次に、他の要素又は機構「より上の(above)」又は「の上に(over)」となる。従って、例示的な用語「～より下の(below)」は、「～より上の(above)」及び「～より下の(below)」両方の位置及び向きを包含することができる。その装置は、他の方法で向き合わせ（９０度回転又は他の向きに）してもよく、本明細書で使用される空間に関連する説明は、それに応じて解釈される。
【0134】
同様に、様々な軸線に沿った及びこの軸線周りの運動の説明は、装置の様々な特別な位置及び向きを含む。単数形「１つの(a, an)」及び「その(the)」は、文脈が他に指示しない限り、複数形も含むことを意図している。用語「備える、有する、含む(comprises, comprising)」、「含む、有する(including)」等は、説明した特徴、ステップ、操作、要素、及び／又は構成要素の存在を特定するが、１つ以上の他の特徴、ステップ、操作、要素、構成要素、及び／又はグループの存在又は追加を排除するものではない。
【0135】
「結合した」として説明した構成要素は、電気的に又は機械的に直接的に結合されるか、又は１つ以上の中間部品を介して間接的に結合してもよい。本開示に鑑みて、向上したディスプレイシステムに関して記載した操作のいずれか又は任意の組合せで使用される命令は、ユーザにとって関心のあるオペレーティングシステム及びコンピュータプログラム言語を使用して広範なコンピュータシステム構成で実施することができる。
【0136】
全ての実施例及び説明の参照は、非限定的であり、特許請求の範囲を本明細書で説明した特定の実装態様や実施形態及びその等価物に限定するために使用すべきではない。見出しは、単に形式のためであり、１つの見出しの下のテキストは、相互参照することができ、すなわち１つ以上の見出しの下のテキストに適用することができるので、主題をあらゆる方法で制限するように使用すべきではない。最後に、本開示に鑑みて、一態様又は実施形態に関連して説明した特定の特徴は、図面に特に示されておらず又は本文中に記載されていないにも拘わらず、本発明の開示された他の態様又は実施形態に適用することができる。
【0137】
以下に、出願当初の特許請求の範囲の内容を実施例として記載しておく。
［実施例１］
機器であって、当該機器は、
カメラであって、該カメラは、該カメラに入射する光を画素のセットに分離するように構成され、前記画素のセットの各セットは、前記カメラの異なるカラーチャンネルにある、カメラと、
照明装置であって、該照明装置は、非白色光を出力し、それによって前記カメラの各カラーチャンネルが、完全な反射面から反射した前記非白色光に対して略等しい応答を有するよう構成される、照明装置と、を備える、
機器。
［実施例２］
前記照明装置は、複数の色成分の照明源を有しており、該複数の色成分は、前記照明装置が前記非白色光を出力するように構成される、実施例１に記載の機器。
［実施例３］
前記複数の色成分の照明源に結合された制御装置をさらに有しており、該制御装置は、前記複数の色成分の照明源の出力の組合せが非白色となるように、前記複数の色成分の照明源のそれぞれの出力に重み付けするように構成される、実施例２に記載の機器。
［実施例４］
機器であって、当該機器は、
カメラと、
照明装置と、
該照明装置に結合された制御装置と、を備えており、
前記カメラは、該カメラに入射する光を色成分に分離するように構成され、前記色成分は、前記カメラにより画素のセットとして取り込まれ、前記画素のセットの各セットは、別のカメラ・カラーチャンネルにあり、
前記制御装置は、前記カメラによって取り込まれたカラー画像のための１つのカメラ・カラーチャンネルの画素の信号対雑音比を増大させるために、前記照明装置によって出力された光の特性を調整するように構成される、
機器。
［実施例５］
前記照明装置は、複数の色成分の照明源を有する、実施例４に記載の機器。
［実施例６］
前記制御装置は、前記複数の色成分の照明源に結合され、前記制御装置は、前記カメラによって取り込まれた前記カラー画像のための前記１つのカメラ・カラーチャンネルの前記画素の信号対雑音比を増大させるために、前記複数の色成分の照明源のうちの少なくとも１つの特性を調整するように構成される、実施例５に記載の機器。
［実施例７］
前記複数の色成分の照明源は、複数の発光ダイオードである、実施例５に記載の機器。
［実施例８］
前記複数の色成分の照明源は、複数のレーザダイオードである、実施例５に記載の機器。
［実施例９］
前記制御装置は、前記照明装置が非白色光を出力するように、前記照明装置の複数の色成分の照明源の出力を制御するように構成され、それによって、各カメラ・カラーチャンネルは、完全な反射面から反射された前記非白色光に対して略等しい応答を有する、実施例４に記載の機器。
［実施例１０］
前記制御装置は、前記照明装置が非白色光を出力するように、前記照明装置の複数の色成分の照明源のうちの少なくとも１つの照度レベルを変えるように構成される、実施例４に記載の機器。
［実施例１１］
前記制御装置は、前記カメラによって取り込まれた単色画像から高ダイナミックレンジ画像を形成するようにさらに構成される、実施例４に記載の機器。
［実施例１２］
前記制御装置は、前記照明装置の複数の色成分の照明源のうちの少なくとも１つの照度レベルを変えるように構成される、実施例１１に記載の機器。
［実施例１３］
前記制御装置に結合された、複数のセクションを有する回転ホイールをさらに含み、前記複数のセクションのそれぞれは、前記複数の色成分のうちの１つの色を有しており、前記複数のセクションのそれぞれは、異なる光減衰レベルを有する、実施例１２に記載の機器。
［実施例１４］
前記制御装置に結合された液晶装置をさらに含む、実施例１２に記載の機器。
［実施例１５］
前記液晶装置は、オン／オフ時間の変動比がカメラの画像フレームキャプチャあたりの１つ又は複数のオン／オフサイクルを含む、オン／オフ・パルス幅変調シャッターモードに設定される、実施例１４に記載の機器。
［実施例１６］
前記液晶装置は、調整可能な減衰器として構成される、実施例１４に記載の機器。
［実施例１７］
前記液晶装置は、波長可変フィルタとして構成される、実施例１４に記載の機器。
［実施例１８］
前記制御装置に結合された音響光学光変調器をさらに含む、実施例１２に記載の機器。
［実施例１９］
方法であって、当該方法は、
非白色光でシーンを照明するステップであって、前記非白色光は、カメラの各カメラ・カラーチャンネルが、完全な反射面から反射した光に対して略等しい応答を有するように構成される、照明するステップと、
前記カメラを用いて前記シーンの画像を取り込むステップと、
該取り込まれた画像のホワイトカラーバランス調整をせずに、前記取り込まれた画像に基づいて表示用の画像を出力するステップと、を含む、
方法。
［実施例２０］
方法であって、当該方法は、
画素のセットを含むカラー画像を取り込むステップであって、前記画素のセットの各セットは、カメラの異なるカラーチャンネルにある、取り込むステップと、
前記画素のセットから高ダイナミックレンジ画像を構成するステップと、を含む、
方法。
［実施例２１］
方法であって、当該方法は、
非白色光で部位を照明するステップであって、前記非白色光は、カメラの各カメラ・カラーチャンネルが前記部位から反射した非白色光に対して略等しい応答を有するように構成される、照明するステップと、
前記カメラを用いて前記部位の画像を取り込むステップと、
該取り込んだ画像に基づいて表示用の画像を出力するステップと、を含む
方法。
［実施例１］
機器であって、当該機器は、
カメラであって、該カメラは、該カメラに入射する光を画素のセットに分離するように構成され、前記画素のセットの各セットは、前記カメラの異なるカラーチャンネルにある、カメラと、
照明装置であって、該照明装置は、非白色光を出力し、それによって前記カメラの各カラーチャンネルが、完全な反射面から反射した前記非白色光に対して略等しい応答を有するよう構成される、照明装置と、を備える、
機器。
［実施例２］
前記照明装置は、複数の色成分の照明源を有しており、該複数の色成分は、前記照明装置が前記非白色光を出力するように構成される、実施例１に記載の機器。
［実施例３］
前記複数の色成分の照明源に結合された制御装置をさらに有しており、該制御装置は、前記複数の色成分の照明源の出力の組合せが非白色となるように、前記複数の色成分の照明源のそれぞれの出力に重み付けするように構成される、実施例２に記載の機器。
［実施例４］
機器であって、当該機器は、
カメラと、
照明装置と、
該照明装置に結合された制御装置と、を備えており、
前記カメラは、該カメラに入射する光を色成分に分離するように構成され、前記色成分は、前記カメラにより画素のセットとして取り込まれ、前記画素のセットの各セットは、別のカメラ・カラーチャンネルにあり、
前記制御装置は、前記カメラによって取り込まれたカラー画像のための１つのカメラ・カラーチャンネルの画素の信号対雑音比を増大させるために、前記照明装置によって出力された光の特性を調整するように構成される、
機器。
［実施例５］
前記照明装置は、複数の色成分の照明源を有する、実施例４に記載の機器。
［実施例６］
前記制御装置は、前記複数の色成分の照明源に結合され、前記制御装置は、前記カメラによって取り込まれた前記カラー画像のための前記１つのカメラ・カラーチャンネルの前記画素の信号対雑音比を増大させるために、前記複数の色成分の照明源のうちの少なくとも１つの特性を調整するように構成される、実施例５に記載の機器。
［実施例７］
前記複数の色成分の照明源は、複数の発光ダイオードである、実施例５に記載の機器。
［実施例８］
前記複数の色成分の照明源は、複数のレーザダイオードである、実施例５に記載の機器。
［実施例９］
前記制御装置は、前記照明装置が非白色光を出力するように、前記照明装置の複数の色成分の照明源の出力を制御するように構成され、それによって、各カメラ・カラーチャンネルは、完全な反射面から反射された前記非白色光に対して略等しい応答を有する、実施例４に記載の機器。
［実施例１０］
前記制御装置は、前記照明装置が非白色光を出力するように、前記照明装置の複数の色成分の照明源のうちの少なくとも１つの照度レベルを変えるように構成される、実施例４に記載の機器。
［実施例１１］
前記制御装置は、前記カメラによって取り込まれた単色画像から高ダイナミックレンジ画像を形成するようにさらに構成される、実施例４に記載の機器。
［実施例１２］
前記制御装置は、前記照明装置の複数の色成分の照明源のうちの少なくとも１つの照度レベルを変えるように構成される、実施例１１に記載の機器。
［実施例１３］
前記制御装置に結合された、複数のセクションを有する回転ホイールをさらに含み、前記複数のセクションのそれぞれは、前記複数の色成分のうちの１つの色を有しており、前記複数のセクションのそれぞれは、異なる光減衰レベルを有する、実施例１２に記載の機器。
［実施例１４］
前記制御装置に結合された液晶装置をさらに含む、実施例１２に記載の機器。
［実施例１５］
前記液晶装置は、オン／オフ時間の変動比がカメラの画像フレームキャプチャあたりの１つ又は複数のオン／オフサイクルを含む、オン／オフ・パルス幅変調シャッターモードに設定される、実施例１４に記載の機器。
［実施例１６］
前記液晶装置は、調整可能な減衰器として構成される、実施例１４に記載の機器。
［実施例１７］
前記液晶装置は、波長可変フィルタとして構成される、実施例１４に記載の機器。
［実施例１８］
前記制御装置に結合された音響光学光変調器をさらに含む、実施例１２に記載の機器。
［実施例１９］
方法であって、当該方法は、
非白色光でシーンを照明するステップであって、前記非白色光は、カメラの各カメラ・カラーチャンネルが、完全な反射面から反射した光に対して略等しい応答を有するように構成される、照明するステップと、
前記カメラを用いて前記シーンの画像を取り込むステップと、
該取り込まれた画像のホワイトカラーバランス調整をせずに、前記取り込まれた画像に基づいて表示用の画像を出力するステップと、を含む、
方法。
［実施例２０］
方法であって、当該方法は、
画素のセットを含むカラー画像を取り込むステップであって、前記画素のセットの各セットは、カメラの異なるカラーチャンネルにある、取り込むステップと、
前記画素のセットから高ダイナミックレンジ画像を構成するステップと、を含む、
方法。
［実施例２１］
方法であって、当該方法は、
非白色光で部位を照明するステップであって、前記非白色光は、カメラの各カメラ・カラーチャンネルが前記部位から反射した非白色光に対して略等しい応答を有するように構成される、照明するステップと、
前記カメラを用いて前記部位の画像を取り込むステップと、
該取り込んだ画像に基づいて表示用の画像を出力するステップと、を含む
方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図7】
【外国語明細書】