ホーム > 特許ランキング > ＡＲＴＨＲＥＸ， ＩＮＣ．
特表2023-505860二つ以上の自己照明カメラシステムの色補正のための方法および装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-02-13
(54)【発明の名称】二つ以上の自己照明カメラシステムの色補正のための方法および装置
(51)【国際特許分類】
A61B 1/00 20060101AFI20230206BHJP
A61B 1/06 20060101ALI20230206BHJP
【ＦＩ】
A61B1/00 630
A61B1/06 611
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022535432
(86)(22)【出願日】2020-12-02
(85)【翻訳文提出日】2022-06-13
(86)【国際出願番号】 US2020062910
(87)【国際公開番号】W WO2021118844
(87)【国際公開日】2021-06-17
(31)【優先権主張番号】16/708,892
(32)【優先日】2019-12-10
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】514290052
【氏名又は名称】アースレックス インコーポレイテッド
【氏名又は名称原語表記】ＡＲＴＨＲＥＸ， ＩＮＣ．
【住所又は居所原語表記】１３７０ Ｃｒｅｅｋｓｉｄｅ Ｂｌｖｄ， Ｎａｐｌｅｓ， ＦＬ ３４１０８， Ｕｎｉｔｅｄ Ｓｔａｔｅｓ ｏｆ Ａｍｅｒｉｃａ
(74)【代理人】
【識別番号】100105131
【弁理士】
【氏名又は名称】井上 満
(74)【代理人】
【識別番号】100105795
【弁理士】
【氏名又は名称】名塚 聡
(72)【発明者】
【氏名】ヘッジ，ベンジャミン ペリー
(72)【発明者】
【氏名】ケネディ，ブルース ローレンス
(72)【発明者】
【氏名】スタイナー，ミカエル ドミニク
【テーマコード（参考）】
4C161
【Ｆターム（参考）】
4C161CC06
4C161DD01
4C161LL02
4C161NN01
4C161NN09
4C161QQ06
4C161QQ09
4C161RR05
4C161TT04
(57)【要約】
それぞれが撮像装置および照明源を有する二つのカメラシステムの色補正のための装置および方法。カメラシステムは、撮像装置がシーンの外部にある状態で、別々にホワイトバランス調整される。それらのホワイトバランスゲインおよび色補正行列は保存される。測定値に基づいて、組み合わせたホワイトバランスゲインおよび組み合わせた色補正行列が計算され、保存される。その後、撮像装置がシーン中にある状態で、両方の撮像装置のＲ、Ｇ、およびＢ値を一緒に測定することによってホワイトバランス調整を行い、次に、各別個の撮像装置のＲ、Ｇ、およびＢ値を、もう一方のカメラシステムのライトをオフにした状態で測定することによってホワイトバランス調整を行う。各カメラのシーン測定値は、組み合わせたシーン測定値と比較される。それらが有意に異なる場合、ホワイトバランスゲインの組み合わせたライトセットおよび色補正行列が、各カメラシステムのデジタル信号処理経路に適用される。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
少なくとも二つの自己照明内視鏡カメラシステムのための色補正システムであって、中央処理ユニットと、
カメラ制御ユニットのための入力／出力インターフェースと、
収集データおよび前記色補正システムのためのオペレーティングソフトウェアまたはファームウェアを保持するためのメモリと、を備え、
前記少なくとも二つの自己照明内視鏡カメラシステムのそれぞれが、撮像装置および照明源を備える、色補正システム。
【請求項2】
請求項１に記載の色補正システムであって、前記少なくとも二つの自己照明内視鏡カメラシステムがシーンの外部にある状態で、前記色補正システムが、前記少なくとも二つの自己照明内視鏡カメラシステムのそれぞれについて、ホワイトバランス調整情報および色補正行列を計算して保存し、前記色補正システムが、前記少なくとも二つの自己照明内視鏡カメラシステムについて、組み合わせたホワイトバランス調整情報および色補正行列をさらに計算して保存し、前記少なくとも二つの自己照明内視鏡カメラシステムがシーン中に定置され、それらの照明源をオンにした状態で、前記色補正システムが、少なくとも二つの自己照明内視鏡カメラシステムのそれぞれについて、Ｒ（赤色）、Ｇ（緑色）、およびＢ（青色）の別個の値を測定し、組み合わせたシーン測定値として前記メモリに保存し、
前記少なくとも二つの内視鏡カメラシステムのうちの一つの前記照明源をオンにし、前記少なくとも二つの内視鏡カメラシステムのうちのもう一方の前記照明源をオフにした状態で、前記色補正システムが、前記照明源がオンの状態の前記内視鏡カメラシステムについて、Ｒ（赤色）、Ｇ（緑色）、およびＢ（青色）の平均値を測定して前記メモリに保存し、前記少なくとも二つの内視鏡カメラシステムのうちのもう一方の照明源がオフからオンに切り替えられ、前記オリジナルの内視鏡カメラシステムの照明源がオンからオフに切り替えられることを除いて、この測定および保存工程を繰り返し、
前記組み合わせたシーン尺度に対して、オンにしたときの、前記少なくとも二つの内視鏡カメラシステムの前記シーン尺度の比較を実行し、必要に応じて、前記少なくとも二つの内視鏡カメラシステムの前記ホワイトバランスを補正する、色補正システム。
【請求項3】
少なくとも二つの自己照明内視鏡カメラシステムのそれぞれのカメラ制御ユニットが、前記測定工程のタイミングを調整するために、データリンクを介して接続されている、請求項２に記載の色補正システム。
【請求項4】
前記少なくとも二つの自己照明内視鏡カメラシステムのうちの一つが、マスター装置として機能することができ、前記少なくとも二つの自己照明内視鏡カメラシステムのうちのもう一方が、スレーブ装置として機能しうる、請求項１に記載の色補正システム。
【請求項5】
前記少なくとも二つの自己照明内視鏡カメラシステムのいずれかの照明が、無効化されるか、または前記少なくとも二つの自己照明内視鏡カメラシステムの別のフレームとインターリーブされうる、請求項１に記載の色補正システム。
【請求項6】
少なくとも二つの撮像装置および二つの照明源が、単一のカメラ制御ユニットに接続されている、請求項１に記載の色補正システム。
【請求項7】
前記色補正システムが、前記少なくとも二つの自己照明内視鏡カメラシステムのそれぞれのカメラ制御ユニットに相互接続する別個のユニットである、請求項１に記載の色補正システム。
【請求項8】
前記色補正システムが、第二の内視鏡カメラシステムの第二のカメラ制御ユニットに相互接続する第一の内視鏡カメラシステムのカメラ制御ユニットに、ハードウェア、ファームウェア、またはソフトウェアを含む、請求項１に記載の色補正システム。
【請求項9】
前記色補正システムが、前記少なくとも二つの自己照明内視鏡カメラシステムのうちの少なくとも一つに、ハードウェア、ファームウェア、またはソフトウェアを含む、請求項１に記載の色補正システム。
【請求項10】
少なくとも二つの自己照明内視鏡カメラシステムの色補正のための装置であって、各自己照明内視鏡システムが、少なくとも一つの撮像装置および一つの照明源を有し、前記装置が請求項２に記載の工程を実行し、中央処理ユニットと、
カメラ制御ユニットのための入力／出力インターフェースと、
収集データおよび色補正用の前記装置のためのオペレーティングソフトウェアまたはファームウェアを保持するためのメモリと、
前記色補正装置の動作を制御するコントロールと、を備える、装置。
【請求項11】
少なくとも二つの自己照明内視鏡カメラシステムの色補正のための装置であって、各自己照明内視鏡システムが、少なくとも一つの撮像装置と、一つの照明源と、カメラ制御ユニットとを有し、前記装置が、中央処理ユニットと、
前記カメラ制御ユニットのための入力／出力インターフェースと、
収集データおよび色補正用の前記装置のためのオペレーティングソフトウェアまたはファームウェアを保持するためのメモリと、
前記色補正装置の動作を制御するためのコントロールと、を備え、前記色補正装置が起動されたとき、前記少なくとも二つの自己照明内視鏡カメラシステムのホワイトバランス調整が、前記少なくとも二つの自己照明内視鏡カメラシステムがシーンの外部にある状態で行われ、次に、前記二つの自己照明内視鏡カメラシステムが前記シーン中に定置され、前記シーン中で同時に使用される状態で、前記少なくとも二つの自己照明内視鏡カメラシステムのそれぞれのホワイトバランス補正が行われることになる、装置。
【請求項12】
請求項１１に記載の色補正のための装置であって、前記少なくとも二つの自己照明内視鏡カメラシステムがシーンの外部にあるとき、前記色補正システムが、前記少なくとも二つの自己照明カメラシステムのホワイトバランス調整を実行して、前記少なくとも二つの自己照明カメラシステムのそれぞれに対するホワイトバランスゲインを決定し、前記ホワイトバランスゲインが、前記少なくとも二つの自己照明カメラシステムのそれぞれに対する色補正行列と共に前記メモリに保存され、前記個々のホワイトバランスゲインおよび色補正行列のそれぞれに基づいて、前記色補正システムが、組み合わせたホワイトバランスゲインおよび組み合わせた色補正行列の付随セットを計算し、前記組み合わせたホワイトバランスゲインおよび組み合わせた色補正行列の前記付随セットを前記メモリに保存し、
前記少なくとも二つの自己照明内視鏡カメラシステムがシーン中に位置付けられ、前記少なくとも二つの内視鏡カメラシステムの照明をオンにした状態で、前記色補正システムが、前記少なくとも二つの内視鏡カメラシステムのそれぞれについて、捕捉シーンの所定のウィンドウ内でＲ（赤色）、Ｇ（緑色）、およびＢ（青色）の平均値を別々に測定し、前記平均値を組み合わせたシーン測定値として前記メモリに保存し、
前記少なくとも二つの内視鏡カメラシステムのうちの第一のものの照明をオンにし、前記少なくとも二つの内視鏡カメラシステムのうちの第二のものの照明をオフにした状態で、前記色補正システムが、前記少なくとも二つの内視鏡カメラシステムのうちの前記一つについて、前記捕捉シーンの前記所定のウィンドウ内でＲ、Ｇ、およびＢの前記平均値を測定し、前記少なくとも二つの内視鏡カメラシステムのうちの前記第一のもののＲ、Ｇ、およびＢの平均値を、第一のシーン測定値として前記メモリに保存し、
前記少なくとも二つの内視鏡カメラシステムのうちの前記第二のものの照明をオンにし、前記少なくとも二つの内視鏡カメラシステムのうちの前記第一のものの照明をオフにした状態で、前記色補正システムが、前記少なくとも二つの内視鏡カメラシステムの前記第二のものについて、前記捕捉シーンの前記所定のウィンドウ内でＲ、Ｇ、およびＢの平均値を測定し、前記少なくとも二つの内視鏡カメラシステムの第二のもののＲ、Ｇ、およびＢの平均値を第二のシーン測定値として前記メモリに保存し、
前記色補正システムが、前記第一のシーン測定値と前記組み合わせたシーン測定値との第一の比較を実行し、前記第一のシーン測定値が、綿密な観察を通して認知されるように前記組み合わせたシーン測定値と有意に異なる場合、ホワイトバランスゲインの前記組み合わせたライトセットおよび前記色補正行列を、前記少なくとも二つの内視鏡カメラシステムのうちの前記第一のもののデジタル信号処理経路に適用し、
前記色補正システムが、前記第二のシーン測定値と前記組み合わせたシーン測定値との第二の比較を実行し、前記第二のシーン測定値が、綿密な観察を通して認知されるように前記組み合わせたシーン測定値と有意に異なる場合、ホワイトバランスゲインの前記組み合わせたライトセットおよび前記色補正行列を、前記少なくとも二つの内視鏡カメラシステムのうちの前記第二のもののデジタル信号処理経路に適用し、
前記色補正システムが、必要に応じて、前記第一および前記第二の比較を繰り返して、少なくとも二つの自己照明内視鏡カメラシステムの前記色バランスを補正する、装置。
【請求項13】
少なくとも二つの自己照明内視鏡カメラシステムの色補正のための方法であって、各自己照明内視鏡カメラシステムが、少なくとも一つの撮像装置および一つの照明ライトを有し、前記方法が、（Ａ）前記少なくとも二つの撮像装置がシーンの外部に配向された状態で、
前記少なくとも二つの自己照明内視鏡カメラシステムのそれぞれについて、ホワイトバランス調整情報および色補正行列を測定して保存し、
前記少なくとも二つの自己照明内視鏡カメラシステムについて、組み合わせたホワイトバランス調整情報および色補正行列を計算して保存する工程と、
（Ｂ）前記少なくとも二つの撮像装置がシーン中に位置付けられた状態で、
前記照明源をオンにして、前記少なくとも二つの撮像装置のそれぞれについて、Ｒ（赤色）、Ｇ（緑色）、およびＢ（青色）の別個の値を測定し、組み合わせたシーンとして前記メモリに保存し、
前記少なくとも二つの内視鏡カメラシステムのうちの一つの前記照明源をオンにし、前記少なくとも二つの内視鏡カメラシステムのうちのもう一方の前記照明源をオフにした状態で、前記照明源がオンの状態の前記内視鏡カメラシステムについて、Ｒ（赤色）、Ｇ（緑色）、およびＢ（青色）の平均値を測定して前記メモリに保存し、前記少なくとも二つの内視鏡カメラシステムのうちのもう一方の照明源がオフからオンに切り替えられ、前記オリジナルの内視鏡カメラシステムの照明源がオンからオフに切り替えられることを除いて、この測定および保存工程を繰り返し、
前記組み合わせたシーン尺度に対して、オンにしたときの、前記少なくとも二つの内視鏡カメラシステムの前記シーン測定値の比較を実行し、必要に応じて、前記内視鏡カメラシステムの前記ホワイトバランスを補正する工程と、を含む、方法。
【請求項14】
必要に応じて、比較を実行する前記工程を繰り返して、少なくとも二つの自己照明内視鏡カメラシステムの前記色バランスを補正することをさらに含む、請求項１３に記載の色補正のための方法。
【請求項15】
前記少なくとも二つの自己照明内視鏡カメラシステムがそれぞれ、カメラ制御ユニットを含み、前記カメラ制御ユニットが、前記測定工程のタイミングを調整するために、データリンクを介して接続されている、請求項１３に記載の色補正のための方法。
【請求項16】
前記色補正システムが、少なくとも一つのカメラ制御ユニットにハードウェア、ファームウェア、またはソフトウェアを含む、請求項１３に記載の色補正のための方法。
【請求項17】
少なくとも二つの自己照明内視鏡カメラシステムの色補正のための方法であって、各自己照明内視鏡カメラシステムが、撮像装置と、照明ライトと、カメラ制御ユニットとを有し、前記方法が、前記少なくとも二つの撮像装置がシーンの外部に配向された状態で、
（ａ）前記少なくとも二つの自己照明カメラシステムのそれぞれについて、前記ホワイトバランスゲインを決定するために、前記少なくとも二つの自己照明カメラシステムをホワイトバランス調整し、前記少なくとも二つの内視鏡カメラシステムのそれぞれについて、色補正行列と共に前記ホワイトバランスゲインをメモリに保存する工程と、
（ｂ）前記個々のホワイトバランスゲインおよび色補正行列のそれぞれに基づいて、組み合わせたホワイトバランスゲインおよび組み合わせた色補正行列の付随セットを計算し、前記組み合わせたホワイトバランスゲインおよび組み合わせた色補正行列の前記付随セットを前記メモリに保存する工程と、
前記少なくとも二つの撮像装置がシーン中に位置付けられた状態で、
（ｃ）前記少なくとも二つの内視鏡カメラシステムの照明をオンにした状態で、前記少なくとも二つの内視鏡カメラシステムのそれぞれについて、捕捉シーンの所定のウィンドウ内で、Ｒ（赤色）、Ｇ（緑色）、およびＢ（青色）の平均値を別々に測定し、組み合わせたシーン測定値としてメモリに保存する工程と、
（ｄ）前記少なくとも二つの内視鏡カメラシステムのうちの第一のものの照明をオンにし、前記少なくとも二つの内視鏡カメラシステムのうちの前記第二のものの照明をオフにした状態で、前記少なくとも二つの内視鏡カメラシステムのうちの前記一つについて、前記捕捉シーンの前記所定のウィンドウ内でＲ、Ｇ、およびＢの前記平均値を測定し、前記少なくとも二つの内視鏡カメラシステムのうちの前記第一のもののＲ、Ｇ、およびＢの平均値を、第一のシーン測定値としてメモリに保存する工程と、
（ｅ）前記少なくとも二つの内視鏡カメラシステムのうちの前記第二のものの照明をオンにし、前記少なくとも二つの内視鏡カメラシステムのうちの前記第一のものの照明をオフにした状態で、前記少なくとも二つの内視鏡カメラシステムのうちの前記第二のものについて、前記捕捉シーンの前記所定のウィンドウ内でＲ、Ｇ、およびＢの前記平均値を測定し、前記少なくとも二つの内視鏡カメラシステムのうちの前記第二のもののＲ、Ｇ、およびＢの平均値を、第二のシーン測定値としてメモリに保存する工程と、
（ｆ）前記第一のシーン測定値と前記組み合わせたシーン測定値との第一の比較を実行し、前記第一のシーン測定値が、綿密な観察を通して認知されるように前記組み合わせたシーン測定値と有意に異なる場合、ホワイトバランスゲインの前記組み合わせたライトセットおよび前記色補正行列を、前記少なくとも二つの内視鏡カメラシステムのうちの前記第一のもののデジタル信号処理経路に適用する工程と、
（ｇ）前記第二のシーン測定値と前記組み合わせたシーン測定値との第二の比較を実行し、前記第二のシーン測定値が、綿密な観察を通して認知されるように前記組み合わせたシーン測定値と有意に異なる場合、ホワイトバランスゲインの前記組み合わせたライトセットおよび前記色補正行列を、前記少なくとも二つの内視鏡カメラシステムのうちの前記第二のもののデジタル信号処理経路に適用する工程と、
（ｈ）必要に応じて工程（ｆ）および（ｇ）を繰り返して、少なくとも二つの自己照明内視鏡カメラシステムの前記色バランスを補正する工程と、を含む、方法。
【請求項18】
請求項１７に記載の少なくとも二つの自己照明内視鏡カメラシステムの色補正のための方法であって、少なくとも二つの内視鏡カメラシステムのうちの一つがオフになっている時間中のビデオフレームが欠けているために、前記少なくとも二つの内視鏡カメラシステムのうちの一つからのビデオ品質が許容可能でない場合、前記少なくとも二つの内視鏡カメラシステムのうちのそれからの前のビデオフレームを挿入して、前記欠けているビデオフレームを置き換える、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、内視鏡カメラシステムを使用して構造を撮像するための方法、システム、および装置に関し、より具体的には、二つ以上の自己照明カメラシステムの色補正を提供する方法および装置に関する。
【背景技術】
【0002】
内視鏡カメラシステムを含む内視鏡医療器具（本明細書では「内視鏡」とも呼ぶ）は、内視鏡処置中、その領域を完全に開く必要なく、処置されている医療患者の身体の領域の視野を外科医に与え、それによって低侵襲性外科処置を容易にする。内視鏡手術では、照明は典型的には、体内の非常に小さくきつく閉じた空洞および空間に向けられる。こうした照明は、遠隔光源から光を運ぶ光ファイバーまたは他の光チャネルによって提供されうる。また照明源、例えば、ＬＥＤは、内視鏡内に位置し、内視鏡から直接焦点を合わせることができる。一部の内視鏡は、光チャネル（例えば、光ファイバーまたは半透明のプラスチック光管）を使用して、内蔵ＬＥＤから光を内視鏡の外部の点に向ける。照明源はまた、キセノン、ハロゲン、ＬＥＤおよびレーザー光のうちの一つまたは混合であってもよい。
【0003】
内視鏡処置の術野は、特有の照明および撮像の課題を呈することがある。照明下で物体を見るためにカメラシステムを使用するとき、しばしば画像に非現実的な色かぶりがあり、それによって術野を可視化することが難しくなる可能性がある。これは、光源と照明されている組織との距離が変化する可能性があり、照明される組織の色および投じられる影によって影響を受ける可能性がある、内視鏡手術の窮屈な範囲に、特に当てはまる。
【0004】
ホワイトバランス調整（ＷＢ）は、実物では白く見える物体を、写真またはコンピュータ画面などの視覚表示で白くするように、非現実的な色かぶりを除去し、色補正を行い、色忠実度を確立するプロセスである。医師は診断やその他の医学的判断を行う際に色に頼ることが多いため、これは重要である。適切なカメラホワイトバランスは、光源の色温度を考慮する必要がある。色温度は、白色光の相対的温かさまたは冷たさを指す。ヒトの眼は、異なる光源下で白いものを判断するのに優れているが、デジタルカメラは、自動ホワイトバランス（ＡＷＢ）が非常に難しいことがあり、従って、見苦しい青色、オレンジ色、または緑色さえの色かぶりが結果として生じる可能性があり、内視鏡の最適な使用を妨げうる。
【0005】
内視鏡カメラシステムは、（例えば、異なるカメラからの画像を縫い合わせることによって）視野が拡大されうるように、および／または一つの内視鏡を再位置付けすることなく、異なるビューを見ることができるように、異なる角度に配設された二つ以上のカメラおよび光源を含んでもよい。単一カメラシステムとは異なり、複数のカメラ内視鏡を取り扱う場合、ホワイトバランス調整のプロセスはより複雑になる。ホワイトバランス調整された自己照明カメラシステム（ＣＳ２）が、別のホワイトバランス調整された自己照明カメラシステム（ＣＳ１）に対する二次的（または三次的、四次的など）ビューとして使用される場合、シーンは、二つ（以上）の独立した光源によって照明される。シーン照明（ＣＳ１および２）の色温度は、シーン内の各システムの場所および各システムの照明の強度に応じて変化する。色温度はまた、特定の光源によってどの組織／構造（例えば、白色組織と赤色組織）が照明されているか、カメラレンズと照明されている組織との距離、および使用される光源のタイプに応じて影響されうる。シーン照明の色温度のこの変化は、関与する一つ以上のカメラシステムに誤った色再現を引き起こす可能性がある。
【0006】
複数の内視鏡カメラシステムをホワイトバランス調整する現在のシステムは、処置を開始する前に、複数のカメラのそれぞれを白色の背景に対して連続的にホワイトバランス調整することに頼っている。これらの先行技術のシステムは、処置開始後にはホワイトバランスを達成せず、実際、ホワイトバランス調整が誤って試みられた場合は通常、内視鏡を取り外す必要があり、そのホワイトバランスを再較正しなければならない。
【0007】
従って、複数の自己照明カメラを有するシステムに固有の色再現エラーを補正するシステムに対する必要性が依然として存在する。
【発明の概要】
【0008】
本発明は、少なくとも二つの自己照明内視鏡カメラシステムのための色補正システムを提供しており、色補正システムは、中央処理ユニットと、カメラ制御ユニットのための入力／出力インターフェースと、収集データおよび色補正システムのためのオペレーティングソフトウェアまたはファームウェアを保持するためのメモリとを備え、少なくとも二つの自己照明内視鏡カメラのそれぞれは、撮像装置および照明源を備える。
【0009】
別の実施形態では、本発明は、少なくとも二つの自己照明内視鏡カメラシステムのための色補正システムを提供しており、色補正システムは、中央処理ユニットと、カメラ制御ユニットのための入力／出力インターフェースと、収集データおよび色補正システムのためのオペレーティングソフトウェアまたはファームウェアを保持するためのメモリとを備え、少なくとも二つの自己照明内視鏡カメラのそれぞれは、撮像装置および照明源を備え、少なくとも二つの自己照明内視鏡カメラシステムのうちの一つは、マスター装置として機能し、少なくとも二つの自己照明内視鏡カメラシステムのうちのもう一方は、スレーブ装置として機能しうる。別の実施形態では、本発明は、少なくとも二つの自己照明内視鏡カメラシステムのための色補正システムを提供しており、色補正システムは、中央処理ユニットと、カメラ制御ユニットのための入力／出力インターフェースと、収集データおよび色補正システムのためのオペレーティングソフトウェアまたはファームウェアを保持するためのメモリとを備え、少なくとも二つの自己照明内視鏡カメラのそれぞれは、撮像装置および照明源を備え、少なくとも二つの自己照明内視鏡カメラシステムがシーンの外部にある状態で、色補正システムは、少なくとも二つの自己照明内視鏡カメラシステムのそれぞれについて、ホワイトバランス調整情報および色補正行列を計算して保存し、少なくとも二つの自己照明内視鏡カメラシステムに対するホワイトバランス調整情報および色補正行列をさらに計算して保存し、少なくとも二つの自己照明内視鏡カメラシステムがシーン中に定置され、照明源をオンにした状態で、色補正システムは、少なくとも二つの自己照明内視鏡カメラシステムのそれぞれについて、組み合わせたシーン測定値として、Ｒ（赤色）、Ｇ（緑色）、およびＢ（青色）の別個の値を測定してメモリに保存し、少なくとも二つの自己照明内視鏡カメラシステムのうちの一つの照明源をオンにして、少なくとも二つの自己照明内視鏡カメラシステムのうちのその他をオフにした状態で、色補正システムは、照明源がオンの状態の内視鏡カメラシステムに対するＲ（赤色）、Ｇ（緑色）、およびＢ（青色）の平均値を測定してメモリに保存し、少なくとも二つの内視鏡カメラシステムのもう一方の照明源がオフからオンに切り替えられ、オリジナルの内視鏡カメラシステムの照明源がオンからオフに切り替えられることを除いて、この測定および保存ステップを繰り返し、組み合わせたシーン尺度に対して、オンにしたときの少なくとも二つの内視鏡カメラシステムのシーン尺度の比較を実行し、必要であれば、少なくとも二つの内視鏡カメラシステムのホワイトバランスを補正する。
【0010】
別の実施形態では、本発明は、少なくとも二つの自己照明内視鏡カメラシステムのための色補正システムを提供しており、色補正システムは、中央処理ユニットと、カメラ制御ユニットのための入力／出力インターフェースと、収集データおよび色補正システムのためのオペレーティングソフトウェアまたはファームウェアを保持するためのメモリとを備え、少なくとも二つの自己照明内視鏡カメラのそれぞれは、撮像装置および照明源を備え、少なくとも二つの自己照明内視鏡カメラシステムのいずれかの照明は、無効にされるか、または少なくとも二つの自己照明内視鏡カメラシステムの別のもののフレームとインターリーブされうる。
【0011】
別の実施形態では、本発明は、少なくとも二つの自己照明内視鏡カメラシステムのための色補正システムを提供しており、色補正システムは、中央処理ユニットと、カメラ制御ユニットのための入力／出力インターフェースと、収集データおよび色補正システムのためのオペレーティングソフトウェアまたはファームウェアを保持するためのメモリとを備え、少なくとも二つの自己照明内視鏡カメラのそれぞれは、撮像装置および照明源を備え、少なくとも二つの撮像装置および二つの照明源は単一のカメラ制御ユニットに接続される。
【0012】
別の実施形態では、本発明は、少なくとも二つの自己照明内視鏡カメラシステムのための色補正システムを提供しており、色補正システムは、中央処理ユニットと、カメラ制御ユニットのための入力／出力インターフェースと、収集データおよび色補正システムのためのオペレーティングソフトウェアまたはファームウェアを保持するためのメモリとを備え、少なくとも二つの自己照明内視鏡カメラのそれぞれは、撮像装置および照明源を備え、色補正システムは、少なくとも二つの自己照明内視鏡カメラシステムのそれぞれのカメラ制御ユニットに相互接続する別個のユニットである。
【0013】
別の実施形態では、本発明は、少なくとも二つの自己照明内視鏡カメラシステムの色補正のための装置を提供しており、各自己照明内視鏡カメラシステムは、少なくとも一つの撮像装置および一つの照明源を有し、色補正のための装置は、少なくとも二つの自己照明内視鏡カメラシステムのそれぞれについて、ホワイトバランス調整情報および色補正行列を計算して保存し、装置は、少なくとも二つの自己照明内視鏡カメラシステムに対する、組み合わせたホワイトバランス調整情報および色補正行列をさらに計算して保存し、中央処理ユニットと、カメラ制御ユニットのための入力／出力インターフェースと、収集データおよび色補正用の装置のためのオペレーティングソフトウェアまたはファームウェアを保持するためのメモリと、色補正装置の操作を制御するためのコントロールと、を備える。
【0014】
さらに別の実施形態では、本発明は、少なくとも二つの自己照明内視鏡カメラシステムの色補正のための装置を提供しており、各自己照明内視鏡カメラシステムは、少なくとも一つの撮像装置および一つの照明源を有し、装置は、中央処理ユニットと、カメラ制御ユニットのための入力／出力インターフェースと、収集データおよび色補正装置のためのオペレーティングソフトウェアまたはファームウェアを保持するためのメモリと、色補正装置の動作を制御するためのコントロールとを備え、色補正装置が起動されたとき、少なくとも二つの自己照明内視鏡カメラシステムのホワイトバランス調整は、少なくとも二つの自己照明内視鏡カメラシステムがシーンの外部にある状態で行われ、次に、二つの自己照明内視鏡カメラシステムがシーン中に定置され、同時に使用されて行われる。
【0015】
本発明はさらに、少なくとも二つの自己照明内視鏡カメラシステムの色補正のための方法を提供しており、各自己照明内視鏡カメラシステムは、少なくとも一つの撮像装置および一つの照明ライトを有し、方法は、（Ａ）撮像装置がシーンの外部に配向された状態で、少なくとも二つの自己照明内視鏡カメラシステムのそれぞれについて、ホワイトバランス調整情報および色補正行列を測定および保存し、少なくとも二つの自己照明内視鏡カメラシステムについて、組み合わせたホワイトバランス調整情報および色補正行列を計算して保存する工程と、（Ｂ）少なくとも二つの撮像装置がシーン中に位置付けられ、少なくとも二つの自己照明内視鏡カメラの照明源をオンにした状態で、組み合わせたシーンとして、少なくとも二つの自己照明内視鏡カメラシステムのそれぞれについて、Ｒ（赤色）、Ｇ（緑色）、およびＢ（青色）の別個の値を測定してメモリに保存し、少なくとも二つの内視鏡カメラシステムのうちの一つの照明源をオンにして、かつ少なくとも二つの内視鏡カメラシステムのその他の照明源をオフにした状態で、照明源がオンの状態の内視鏡カメラシステムについて、Ｒ（赤色）、Ｇ（緑色）、およびＢ（青色）の平均値を測定してメモリに保存し、少なくとも二つの内視鏡カメラシステムのうちのもう一方の照明源がオフからオンに切り替えられ、オリジナルの内視鏡カメラシステムの照明源がオンからオフに切り替えられることを除いて、この測定および保存工程を繰り返し、組み合わせたシーン尺度に対して、オンにしたときの少なくとも二つの内視鏡カメラシステムのシーン尺度の比較を実行し、必要であれば、内視鏡カメラシステムのホワイトバランスを補正する工程と、を含む。
【0016】
またさらなる実施形態では、本発明は、少なくとも二つの自己照明内視鏡カメラシステムの色補正方法を提供しており、各自己照明内視鏡カメラシステムは、撮像装置と、照明ライトと、カメラ制御ユニットとを有し、方法は、少なくとも二つの撮像装置がシーンの外部に配向された状態で、（ａ）少なくとも二つの自己照明カメラシステムのそれぞれについて、ホワイトバランスゲインを決定するために、少なくとも二つの自己照明カメラシステムのホワイトバランス調整を行い、少なくとも二つの自己照明カメラシステムのそれぞれに対する色補正行列と共にホワイトバランスゲインをメモリに保存する工程と、（ｂ）個々のホワイトバランスゲインおよび色補正行列のそれぞれに基づいて、組み合わせたホワイトバランスゲインと、組み合わせた色補正行列の付随セットとを計算し、組み合わせたホワイトバランスゲインと、組み合わせた色補正行列の付随セットとをメモリに保存し、少なくとも二つの撮像装置をシーン中に位置付けられた状態にする工程と、（ｃ）少なくとも二つの内視鏡カメラシステムの照明をオンにした状態で、少なくとも二つの内視鏡カメラシステムのそれぞれについて、捕捉されたシーンの所定のウィンドウ内でＲ（赤色）、Ｇ（緑色）、およびＢ（青色）の平均値を別個に測定し、組み合わせたシーン測定値としてメモリに保存する工程と、（ｄ）少なくとも二つの内視鏡カメラシステムのうちの第一のものの照明をオンにして、少なくとも二つの内視鏡カメラシステムのうちの第二のものの照明をオフにした状態で、少なくとも二つの内視鏡カメラシステムのうちの一つについて、捕捉シーンの所定のウィンドウ内でＲ、ＧおよびＢの平均値を測定し、少なくとも二つの内視鏡カメラシステムのうちの第一のもののＲ、Ｇ、およびＢの平均値を第一のシーン測定値としてメモリに保存する工程と、（ｅ）少なくとも二つの内視鏡カメラシステムのうちの第二のものをオンにして、少なくとも二つの内視鏡カメラシステムのうちの第一のものをオフにした状態で、少なくとも二つの内視鏡カメラシステムのうちの第二のものについて、捕捉シーンの所定のウィンドウ内でＲ、Ｇ、およびＢの平均値を測定し、少なくとも二つの内視鏡カメラシステムのうちの第二のもののＲ、Ｇ、およびＢの平均値を第二のシーンとしてメモリに保存する工程と、（ｆ）第一のシーン測定値と組み合わせたシーン測定値との第一の比較を実行し、第一のシーン測定値が組み合わせたシーン測定値とは、綿密な観察を通して認知されるように有意に異なる場合は、組み合わせたライトセットのホワイトバランスゲインおよび色補正行列を、少なくとも二つの内視鏡カメラシステムのうちの第一のもののデジタル信号処理経路に適用する工程と、（ｇ）第二のシーン測定値と組み合わせたシーン測定値との第二の比較を実行し、第二のシーン測定値が組み合わせたシーン測定値とは、綿密な観察を通して認知されるように有意に異なる場合は、組み合わせたライトセットのホワイトバランスゲインおよび色補正行列を、少なくとも二つの内視鏡カメラシステムのうちの第二のもののデジタル信号処理経路に適用する工程と、（ｈ）工程（ｆ）および（ｇ）を必要に応じて繰り返して、少なくとも二つの自己照明内視鏡カメラシステムの色バランスを補正する工程とを含む。
【0017】
さらに別の実施形態では、本発明は、少なくとも二つの自己照明内視鏡カメラシステムの色補正のための方法を提供しており、各自己照明内視鏡カメラシステムは、少なくとも一つの撮像装置および一つの照明ライトを有し、方法は、（ａ）カメラシステムが、最初に、シーンの外部で別々にホワイトバランスされ、それらのホワイトバランスゲインおよび色補正行列が保存される工程と、（ｂ）測定値に基づいて、組み合わせたホワイトバランスゲインおよび組み合わせた色補正行列が計算されて保存される工程と、（ｃ）二つのカメラシステムがシーン中にある状態で、両方のカメラのＲ値、Ｇ値、およびＢ値を一緒に測定することによってホワイトバランス調整を実施し、次にもう一方のカメラシステムのライトをオフにして、各別々の撮像装置のＲ値、Ｇ値、およびＢ値を測定することによってホワイトバランス調整を行う工程と、（ｄ）各撮像装置のシーン測定値を、組み合わせたシーン測定値と比較し、それらが有意に異なる場合、ホワイトバランスゲインおよび色補正行列の組み合わせたライトセットが、各カメラシステムのデジタル信号処理経路に適用される工程と、を含む。
【0018】
これらおよび本発明のその他の特徴を以下に記載する。
【図面の簡単な説明】
【0019】
【発明を実施するための形態】
【0020】
複数のカメラ内視鏡のホワイトバランス調整に関する上記の制限を考慮し、発明者らは、これらの欠点に対処するシステムを開発した。
【0021】
まず図１を参照すると、二つの別個の内視鏡カメラシステム１０Ａおよび１０Ｂ（「内視鏡カメラシステム」については、本明細書では「内視鏡」と呼ばれることもある）の第一の例示的な配設を示す図が示されている。各内視鏡カメラシステム１０Ａおよび１０Ｂは、典型的にはハンドル１２およびそこから延びる内視鏡１４を備え、各内視鏡１４は遠位端１６を有する。撮像装置１８（例えば、電荷結合素子（ＣＣＤ））は、遠位端１６に位置してもよい。撮像装置はまた、光学装置および電気機械組立品を含んでもよい。別の方法として、撮像装置１８は、例えば、ハンドル１２に、または内視鏡カメラシステムの外部にさえも位置付けられてもよく、画像ガイドを使用して、視認されている画像を撮像装置１８（図示せず）に送信する。少なくとも一つの照明光源２０、例えば、ＬＥＤライトは、内視鏡１４の遠位端１６に位置付けられうる。別の方法として、照明光源２０は、遠位端１６から遠くに定置されてもよく、光は接続光管（図示せず）を介して遠位端から送り出される。別の方法として、カメラシステムのための照明光源２０は、他の場所に位置してもよく、光は外科手術部位に送られる。
【0022】
図１にさらに示すように、各ハンドル１２は、それぞれ、データケーブル２２Ａおよび電源ケーブル２２Ｂに、入力プラグ３２Ａおよび３２Ｂを介してカメラ制御ユニットＡ ３０Ａおよびカメラ制御ユニットＢ ３０Ｂに接続されている。内視鏡は、腹腔鏡、関節鏡などでありうる。内視鏡カメラシステム１０Ａおよび１０Ｂのいずれかまたは両方が無線装置である場合、物理的データケーブル２２Ａおよび電源ケーブル２２Ｂの代わりに、ハンドル１２とカメラ制御ユニット３０Ａおよび３０Ｂとの間に無線データリンク（図示せず）がある。本開示に基づいて当業者によって理解されるように、三つ以上の内視鏡カメラシステムも一緒に使用されうる。しかしながら、議論の均衡のため、二つの内視鏡システムが記載されている。
【0023】
カメラ制御ユニットＡ ３０Ａおよびカメラ制御ユニットＢ ３０Ｂは、それぞれの内視鏡カメラシステム１０Ａおよび１０Ｂからの画像を表示するために、それぞれディスプレイＡ ３４ＡおよびディスプレイＢ ３４Ｂに接続可能である。ユーザーの利便性のために、特定の状況では、カメラ制御ユニットＡ ３０Ａおよび／またはカメラ制御ユニットＢ ３０Ｂは、ディスプレイＡ ３４ＡまたはディスプレイＢ ３４Ｂのうちの一つ以上で視認されているシーンの複合画像を表示させるようにすることができる。別の方法として、ディスプレイＡ ３４ＡおよびディスプレイＢ ３４Ｂの代わりに、分割画面機能を有する単一のディスプレイ（図示せず）を使用することもできる。
【0024】
図１では、二つの内視鏡カメラシステム１０Ａおよび１０Ｂの二つの内視鏡１４が術野ＳＦ中に定置されている状態で示されており、それらに対応する照明光源２０が同時に点灯すると、術野ＳＦを照明し、術野ＳＦの全体の光の色、強度、および質に影響を与える。本明細書では術野という用語が使用されるが、この用語は、二つ以上の内視鏡カメラシステム１０Ａおよび１０Ｂが使用されている任意の場所または「シーン」を指すことができる。照明光源２０は、遠位先端１６で撮像装置１８とほぼ同じ平面上にあると示されているが、必要に応じて、照明光源２０は、その光を撮像装置１８の視野に直接向けないように位置することができる。内視鏡カメラシステム１０Ａおよび１０Ｂの光源２０は、光の色を含む光周波数、強度、照明の焦点（例えば、狭いスポットライト対広く拡散した光）および方向など、同じまたは異なる所望の照明特性を有しうる。
【0025】
全体的に、少なくとも二つの内視鏡カメラシステム１０Ａおよび１０Ｂは、同一であってもよく、またはそれらの製造元、モデル、およびカメラのタイプ、ならびにそれらの光源の数および特性を含む、設計および動作において異なっていてもよい。従って、動作時に、内視鏡カメラシステム１０Ａおよび１０Ｂによって収集される画像データは、それぞれ、データケーブル２２Ａ／電源ケーブル２２Ｂを介して、カメラ制御ユニットＡ ３０Ａおよびカメラ制御ユニットＢ ３０Ｂに送られる。カメラ制御ユニットＡ ３０Ａおよびカメラ制御ユニットＢ ３０Ｂは、データリンク３６を介して相互接続することができ、データリンクは、色補正ユニット２４を通してカメラ制御ユニットＡ ３０Ａおよびカメラ制御ユニットＢ ３０Ｂをリンクし、色補正ユニットは、二つの内視鏡カメラシステム１０Ａおよび１０Ｂと、それらにそれぞれ接続された制御ユニットＡ ３０Ａおよびカメラ制御ユニットＢ ３０Ｂとによって収集されたデータを相関させ、かつ本発明の色補正システムを実行するために必要なハードウェア、ファームウェア、およびソフトウェアを含むことができる。別の方法として、カメラ制御ユニットは互いに接続されて、カメラ制御ユニットのうちの一つは色補正ユニット２４を含んでいてもよい。
【0026】
各制御ユニットＡ ３０Ａおよびカメラ制御ユニットＢ ３０Ｂは、随意に、オペレータによるホワイトバランスの手動リセットおよび補正を可能にするために、ホワイトバランスリセットおよび補正ボタン３８Ａおよび３８Ｂをそれぞれ含むことができる。別の方法として、ホワイトバランスリセットおよび色補正ボタン２６は、色補正ユニット２４に含めることができる。専用の色補正ユニット２４の代替として、代わりにソフトウェアを搭載した汎用コンピュータをカメラ制御ユニット３０Ａおよび３０Ｂに接続し、以下にさらに記載される本発明の工程を実行するために使用することができる。汎用コンピュータの場合、こうしたコンピュータプログラムは、クリックする所定のキーパッドボタンまたは選択するソフトウェアアイコンを含みうるため、別個の専用のホワイトバランスリセットおよび色補正ボタン２６、３８Ａまたは３８Ｂはないであろう。
【0027】
さらに、本発明のシステムは、内視鏡が術野に挿入される前に、二つ以上の内視鏡１０Ａおよび１０Ｂの初期ホワイトバランス調整が、専用の色補正ユニット２４または汎用コンピュータのいずれかのコンピュータプログラムの開始によって起動されうるようにセットアップすることができる。その後、内視鏡を術野に定置して、例えば、システムが、内視鏡１０Ａおよび／または１０Ｂのうちの一つ以上が移動されたか、または術野の照明条件が変化したことを検出した場合、オペレータがどのボタンも押す必要なく、自動的に色補正工程を行うことができる。ホワイトバランスリセットのプロセスの動作に関するさらなる詳細を、以下にさらに記載する。
【0028】
図２を参照すると、二つの別個の内視鏡カメラシステム１０Ａおよび１０Ｂの第一の例示的な配設の変形が示されており、ここでは、図１のセットアップの場合のように、各内視鏡カメラシステム１０Ａおよび１０Ｂがそれ自体の専用カメラ制御ユニットＡ ３０Ａおよびカメラ制御ユニットＢ ３０Ｂにそれぞれ接続される代わりに、（図１を参照して記載された）少なくとも二つの内視鏡カメラシステム１０Ａおよび１０Ｂは単一のカメラ制御ユニットＡＢ ４０に接続されている。カメラ制御ユニットＡＢ ４０は、二つのディスプレイ（ディスプレイＡ ４２ＡおよびディスプレイＢ ４２Ｂ）に接続可能であってもよく、または別の方法として、二つの専用ディスプレイ（ディスプレイＡ ４２ＡおよびディスプレイＢ ４２Ｂ）の代わりに、分割画面機能を有する単一のディスプレイ（図示せず）を使用することができる。内視鏡カメラシステム１０Ａおよび１０Ｂのいずれかまたは両方が無線装置である場合、物理的データケーブル２２Ａおよび電源ケーブル２２Ｂの代わりに、データリンク（図示せず）がある。
【0029】
カメラ制御ユニットＡＢ ４０は、随意に、オペレータによる内視鏡カメラシステム１０Ａおよび１０Ｂのホワイトバランスの手動リセットおよび補正を可能にするために、ホワイトバランスリセットおよび補正ボタン４４を装備することができる。色補正ユニット４６は、データリンク５０を介してカメラ制御ユニットＡＢ４０に相互接続され、二つの内視鏡カメラシステム１０Ａおよび１０Ｂによって収集されたデータを関連付けることができ、本発明の色補正プロセスを実行するために必要なハードウェア、ファームウェアおよび／またはソフトウェアを含むことができる。カメラ制御ユニットＡＢ ４０上のホワイトバランスリセットおよび補正ボタン４４の必要性をなくすために、ホワイトバランスリセットおよび色補正ボタン４８は、色補正ユニット４６に含めることができる。
【0030】
図１の配設と同様に、専用の色補正ユニット４６の代替として、代わりにソフトウェアを搭載した汎用コンピュータをカメラ制御ユニット４０に接続し、以下にさらに記載される本発明の工程を実行するために使用することができる。この場合、こうしたコンピュータプログラムは、クリックする所定のキーパッドボタンまたは選択するソフトウェアアイコンを含みうるため、別個のホワイトバランスリセットおよび色補正ボタン４４または４８はないであろう。
【0031】
さらに、本発明のシステムは、内視鏡が術野に挿入される前に、二つ以上の内視鏡１０Ａおよび１０Ｂの初期ホワイトバランス調整が、専用の色補正ユニット４６または汎用コンピュータのいずれかのコンピュータプログラムの開始によって起動されうるようにセットアップすることができる。その後、内視鏡を術野に定置して、例えば、システムが、内視鏡１０Ａおよび／または１０Ｂのうちの一つ以上が移動されたか、または術野の照明条件が変化したことを検出した場合、オペレータがどのボタンも押す必要なく、自動的に色補正工程を行うことができる。ホワイトバランス補正プロセスの動作に関するさらなる詳細を、以下にさらに記載する。
【0032】
内視鏡カメラシステム、カメラ制御ユニット、ディスプレイ、およびそれらの相互接続を含む内視鏡検査のための典型的な物理的ハードウェアのレイアウトを記載してきたが、ここで本発明の色バランス誤差補正システムの例示的な実施形態の説明に移る。図３は、本発明の色補正ユニット２４／４６の例示的な実施形態を示す、例示的なブロック図である。色補正ユニット２４／４６は、ＣＰＵ６０、メモリ６２、データリンク３６／５０を有するカメラ制御ユニット（複数可）６４のための入力／出力インターフェース、電源／電源入力６６、およびプロセスを開始するためのホワイトバランスリセットおよび色補正ボタン２６／４８を含み、以下にさらに記載する。上述のように、専用の色補正ユニット２４／４６の代わりに、色補正ユニット２４／４６の機能と動作を、内視鏡１０Ａおよび１０Ｂおよび／またはカメラ制御ユニット（複数可）に接続できる汎用コンピュータで再現することができる。
【0033】
上述したように、本発明の色バランス誤差補正システムは、図１および２で上述した色補正ユニット２４／４６など、別個のモジュールまたはユニット内に存在することができる。汎用コンピュータで機能を再現する可能性についても、上記で論じた。別の可能性は、色補正ユニットの必要な特徴を、カメラ制御ユニットＡ ３０Ａ、カメラ制御ユニットＢ ３０Ｂ、またはカメラ制御ユニットＡＢ ４０のうちの一つ以上に直接統合することである。機能が提供される限り、ハードウェア、ファームウェア、およびソフトウェアは、セットアップ中のどこにでも存在することができる。
【0034】
従って、セットアップ中の必要な電子機器、ファームウェア、および／またはソフトウェアの物理的場所に関係なく、本発明では、以下の工程に従って、内視鏡処置中にライトを同時にオンにした状態で二つ以上の内視鏡カメラシステムを使用するときの、色バランス誤差を修正する。撮像装置は、内視鏡の遠位端に位置してもよく、例えば、先端のカメラチップは、内視鏡の近位端に位置してもよく、または所望により他の場所に位置してもよい。さらに、撮像装置は、再利用可能または使い捨てであってもよい。カメラシステムは、一つのカメラシステムがマスター装置として機能し、もう一方のカメラシステムがスレーブ装置として機能するように機能しうる。最後に、いずれかのカメラシステムの照明は、無効化されるか、または別のカメラシステムのフレームとインターリーブされうる。
【0035】
図４は、本発明の二つ以上の自己照明カメラシステムの色補正の方法およびシステムの例示的な実施形態を示すフローチャートである。
【0036】
フローチャート上の方法およびシステムの第一の工程１００では、それぞれの光源を使用して、各カメラシステムについて通常通りにホワイトバランス調整が実施（又は、予め成形）される。一実施形態では、これは、術野の外部にあり、かつ例えば、一枚の純白色のカード用紙または一枚の白色ガーゼなど、純白色の材料の一部に向けられた内視鏡カメラシステムＡおよびＢの撮像装置を用いて達成される。カメラシステムは周期的にオンにされ、個々のホワイトバランスゲイン、ＷＢ１およびＷＢ２は、各カメラの個々のデジタル信号処理経路に対して別個のホワイトバランスゲインのメモリに保存される。各信号処理経路は、それぞれ独自の色補正行列、ＣＣ１およびＣＣ２もまた有し、これらもＷＢ１およびＷＢ２と共にメモリ（例えば、図３の色補正ユニット２４／４６のメモリユニット６２）に保存される。上述のように、専用の色補正ユニットを有する代わりに、本発明の機能および工程は、カメラ制御ユニット（複数可）に接続された汎用コンピュータによって実施される、またはカメラ制御ユニット（複数可）中でも実施されうる。しかしながら、この実施形態の工程および方法の考察のために、専用の色補正ユニットが存在すると仮定する。
【0037】
次に、工程１０２では、工程１００から決定された各カメラについての個々のホワイトバランスゲインＷＢ１およびＷＢ２、および個々の色補正行列ＣＣ１およびＣＣ２に基づいて、ホワイトバランスゲインＷＢ１’およびＷＢ２’の組み合わせたライトセット、ならびに色補正行列ＣＣ１’およびＣＣ２’の組み合わせたライトセットの付随セットを計算する。ＷＢ１’値およびＷＢ２’値、ならびにＣＣ１’値およびＣＣ２’値の計算は、色補正ユニット２４／４６によって計算され、そのメモリユニット６２に保存されうる。
【0038】
工程の次の群は、内視鏡カメラシステム１０Ａおよび１０Ｂが、処置中に（術野ＳＦの）身体または「シーン」中に据えられた状態で起こり、一般的に図４のブロック１１２の工程に示される。工程１１４では、カメラシステム１（ＣＳ１）およびカメラシステム２（ＣＳ２）（図１および２に示すように、それぞれ内視鏡カメラシステム１０Ａおよび１０Ｂに対応しうる）は、使用のために所望される身体場所（術野ＳＦ）に物理的に位置付けられている。本発明のシステムでは、以下の工程が周期的に行われる。工程の周期性は、所定の間隔で行うことができる、または一つ以上の内視鏡でもしくは何らかの他の様式で動きが検出されると、周期性がトリガーまたは増加されうる。このプロセスで使用される例示的な式について、以下でさらに説明する。
【0039】
工程１１６では、ＣＳ１光源およびＣＳ２光源の両方をオンにした状態で（例えば、各内視鏡カメラシステム１０Ａおよび１０Ｂの照明光源２０）、システムは、ＣＳ１およびＣＳ２について、捕捉シーンの所定のウィンドウ内でＲ（赤色）、Ｇ（緑色）、およびＢ（青色）の平均値を別々に測定する。捕捉シーンの所定のウィンドウは、各内視鏡カメラシステムの各撮像装置が、任意の瞬間で捕捉するビューと相関することになる。二つの内視鏡が、その撮像装置を術野の同じ領域にほとんど向けている場合、ＣＳ１およびＣＳ２に対する捕捉画像は、二つの内視鏡からのより大きな重複照明の領域中にあることになり、内視鏡の照明光源のそれぞれからの照明は、各それぞれのカメラシステムＣＳ１およびＣＳ２によって拾い上げられる照明の合計品質、色、および程度により大きく影響することになる。対照的に、二つの内視鏡が、それらの撮像装置を異なる方向に向けているとき、二つの内視鏡からの重複している照明の領域はより小さくなり、それぞれの別個のカメラシステムＣＳ１またはＣＳ２によって捕捉された画像は、他のカメラシステムＣＳ１またはＣＳ２からの照明によって受ける影響がより小さくなる。
【0040】
例えば、図５に示すように、内視鏡（ＣＳ１およびＣＳ２）は、術野の同じ領域に（ほとんど）向けられており、ＣＳ１によって捕捉された画像フレームは、ＣＳ１およびＣＳ２のそれぞれの光源からの光投影野１２２Ａおよび１２２Ｂの照明重複区域１２０中にあることになる。各画像フレームの小さな部分、すなわち、ＣＳ１に対するＣＳ１ウィンドウ１２４Ａ、およびＣＳ２に対するＣＳ２ウィンドウ１２４Ｂは、ホワイトバランス調整の目的で光をサンプリングする各カメラシステムの領域である。図５では、ＣＳ１ウィンドウ１２４ＡおよびＣＳ２ウィンドウ１２４Ｂは完全に照明重複区域１２０中にある。しかし図６を参照すると、内視鏡（ＣＳ１およびＣＳ２）が術野の同じ領域に向けられていない場合、ＣＳ１およびＣＳ２のそれぞれの光源からの光投影野１２２Ａ’および１２２Ｂ’の照明重複区域ゾーン１２０’は、より小さくなり、ＣＳ１ウィンドウ１２４Ａ’およびＣＳ２ウィンドウ１２４Ｂ’によってサンプリングされる、ＣＳ１およびＣＳ２によって捕捉される画像フレームのホワイトバランス調整部分は、それぞれ、照明重複区域１２０’中に完全には収まらず、この場合、各別個のカメラシステムＣＳ１またはＣＳ２およびそれらのホワイトバランス調整部分ＣＳ１ウィンドウ１２４Ａ’およびＣＳ２ウィンドウ１２４Ｂ’によって捕捉される画像は、他のカメラシステムＣＳ１またはＣＳ２からの照明によって受ける影響がより小さくなる。
【0041】
所定のウィンドウＣＳ１の窓１２４Ａ／１２４Ａ’、およびＣＳ２ウィンドウ１２４Ｂ／１２４Ｂ’は、通常の露光制御ウィンドウまたはホワイトバランスウィンドウであってもよい。各所定のウィンドウが小さい場合は、二つのカメラ画像ＣＳ１およびＣＳ２の重複領域内にある可能性がより高く、より適切な色補正をもたらすはずである（図５を参照）。しかしながら、図６に示すように、各ウィンドウ（ＣＳ１ウィンドウ１２４Ａ’およびＣＳ２ウィンドウ１２４Ｂ’）が重複領域１２０’に完全に存在しない、または重複領域の外部にある場合、補正はあまり効果的ではないが、それでもなお正しい方向であり、使用することができる。重複の程度にかかわらず、ＣＳ１ウィンドウおよびＣＳ２ウィンドウに対する捕捉シーンの所定のウィンドウ内でＲ、Ｇ、およびＢの平均値はメモリに（例えば、さらなる処理のために、測定値ＳｃｅｎｅＡＢとして、色補正ユニット２４／４６のメモリユニット６２に）収集される。
【0042】
工程１１８では、ＣＳ１の照明のみをオンにした状態で、システムは、ＣＳ１に対する捕捉シーンの所定のウィンドウ内でＲ、Ｇ、およびＢの平均値を測定する。Ｒ、Ｇ、およびＢのこれらの平均値は、さらなる処理のために、測定値ＳｃｅｎｅＡとして、色補正ユニット２４／４６のメモリユニット６２に保存される。色補正ユニット２４／４６は、ＣＳ１およびＣＳ２を制御して、ＣＳ１およびＣＳ２の照明状態を自動的に達成することができる。
【0043】
工程１２０では、今度はＣＳ２照明のみをオンにした状態で、システムは、ＣＳ２に対する捕捉シーンの所定のウィンドウ内でＲ、Ｇ、およびＢの平均値を測定する。Ｒ、Ｇ、およびＢのこれらの平均値は、さらなる処理のために、例えば測定値ＳｃｅｎｅＢとして、色補正ユニット２４／４６に保存される。色補正ユニット２４／４６は、ＣＳ１およびＣＳ２を制御して、ＣＳ１およびＣＳ２の照明状態を自動的に達成することができる。
【0044】
次に、工程１２２で、第一の比較が行われる。検出されたＳｃｅｎｅＡ測定値が検出されたＳｃｅｎｅＡＢ測定値とは、綿密な観察によって認知されるように有意に異なる場合、ＷＢ１’およびＣＣ１’が、第一のカメラシステムのＣＳ１デジタル信号処理経路に適用される。シーン測定値は、例えば、国際照明委員会（ＣＩＥ）距離計量ΔＥ＊ａｂ（ΔＥ＊、不正確にｄＥ＊、ｄＥ、または「デルタＥ」とも呼ばれる）を使用することによって行うことができ、ここで、デルタは、差を示すためによく使用されるギリシャ文字であり、ＥはＥｍｐｆｉｎｄｕｎｇの略語であり、ドイツ語で「感覚」を意味する。代替的な式にはＣＩＥ７６， ＣＩＥ９４、およびＣＩＥＤＥ２０００、ならびにＣＭＣ ｌ：ｃ（１９８４）が含まれる。Ｓｅｅ Ｂａｃｋｈａｕｓ， Ｗ．； Ｋｌｉｅｇｌ， Ｒ．； Ｗｅｒｎｅｒ， Ｊ． Ｓ． （１９９８）。Ｃｏｌｏｒ Ｖｉｓｉｏｎ： Ｐｅｒｓｐｅｃｔｉｖｅｓ ｆｒｏｍ Ｄｉｆｆｅｒｅｎｔ Ｄｉｓｃｉｐｌｉｎｅｓ。Ｗａｌｔｅｒ ｄｅ Ｇｒｕｙｔｅｒ． ｐ． １８８． ＩＳＢＮ ９７８３１１０１５４３１３； Ｖａｌｂｅｒｇ， Ａ． （２００５）． Ｌｉｇｈｔ Ｖｉｓｉｏｎ Ｃｏｌｏｒ． Ｗｉｌｅｙ． ｐ． ２７８。ＩＳＢＮ ９７８０４７０８４９０２６； Ｓｈａｒｍａ， Ｇａｕｒａｖ（２００３）。Ｄｉｇｉｔａｌ Ｃｏｌｏｒ Ｉｍａｇｉｎｇ Ｈａｎｄｂｏｏｋ（１．７．２ ｅｄ．）。ＣＲＣ Ｐｒｅｓｓ。ＩＳＢＮ ０－８４９３－０９００－Ｘ、およびｈｔｔｐ：／／ｚｓｃｈｕｅｓｓｌｅｒ．ｇｉｔｈｕｂ．ｉｏ／ＤｅｌｔａＥ／ｌｅａｒｎ／を参照。しかし、いかなる数学的アプローチを取ろうとも、発明者らはこれを本明細書では「緻密な観察を通して有意に異なると認知できる」と説明している。
【0045】
同様に、工程１２４では、第二の比較が行われる。検出されたＳｃｅｎｅＢ測定値が検出されたＳｃｅｎｅＡＢ測定値とは、綿密な観察によって認知されるように有意に異なる場合、ＷＢ２’およびＣＣ２’が、第二のカメラシステムのＣＳ２デジタル信号処理経路に適用される。
【0046】
工程１２６では、工程１２２および１２４を必要なだけ繰り返して、ＣＳ１およびＣＳ２画像の変化として、以下の式を使用して、色バランスを補正する。上述のように、ＣＳ１またはＣＳ２のいずれかの動きは、工程１１４～１２６の動作をトリガーすることができ、またはシステムが、工程間の所定の間隔でホワイトバランス補正が必要であることを検出した場合、周期性が増加されて、視認されている画像が正しくホワイトバランス調整されていることを確実にしうる。
【0047】
選択された光源をオフにした個々の工程１１８および１２０は、単一のビデオフレームの間、または数個のビデオフレームの長さの間、継続しうる。ＣＳ１照明など、照明源のうちの一つが単独で動作している場合、その照明を一時的にオフにしたＣＳ２からの画像は暗い場合がある。すなわち、色補正工程は、一方または両方の撮像装置からの許容可能な品質のビデオフレームを邪魔しうる。このような状況では、オプションの工程１２８に示すように、ＣＳ１ビデオの前のフレームを、ＣＳ１ライトが戻るまで挿入することができ、オプションの工程１３０に示すように、ＣＳ２ビデオの前のフレームを、ＣＳ２ライトが戻るまで挿入することができる。以前に保存されたフレームは、欠けているフレームまたは劣ったフレームを隠すために、必要に応じて取り換えられるべきである。
【0048】
工程１１２の群（工程１１４～１３０）は、例えば、オペレータが、適用されるカメラ制御ユニット３０Ａ、３０Ｂ、３８Ａ、３８Ｂ、４０もしくは色補正ユニット２４もしくは４６上のホワイトバランスリセットおよび補正ボタン２６、３８Ａ、３８Ｂおよび／もしくは４４を押したときに開始されうる、または内視鏡１０Ａおよび１０Ｂが上述のように使用中であるとき、自動的かつ周期的に達成されうる。
【0049】
赤色（Ｒ）のホワイトバランスゲインを補正するための計算を以下に示す。緑色（Ｇ）および青色（Ｂ）の計算は、同じ式に従い、赤色（Ｒ）のホワイトバランスゲインの計算に続いて記載される。本方法で利用される他のデータと同様に、これらの式は、例えば、色補正ユニット２６／４８のメモリユニット６２に保存される。それらは同様に、汎用コンピュータのコンピュータソフトウェア、カメラ制御ユニットに存在してもよく、または内視鏡のうちの一つに含めることができる。
【0050】
赤色（Ｒ）のホワイトバランスゲインを補正するための計算
Ｒゲイン１＝ＣＳ１の初期赤色ホワイトバランスゲイン
Ｒゲイン２＝ＣＳ２の初期赤色ホワイトバランスゲイン
ＲＬ１＝ＣＳ１照明で測定された赤色値
ＲＬ２＝ＣＳ２照明で測定された赤色値
ＲＬ１＋ＧＬ１＋ＢＬ１＝ＣＳ１照明で測定された赤緑青色値の合計
ＲＬ２＋ＧＬ２＋ＢＬ２＝ＣＳ２照明で測定された赤緑青色値の合計
ＲＬ１Ｌ２＝ＣＳ１およびＣＳ２照明で測定された赤色値
ＲＬ１Ｌ２＋ＧＬ１Ｌ２＋ＢＬ１Ｌ２＝ＣＳ１およびＣＳ２照明で測定された赤緑青色値の合計
式１Ｒ：
Ｒゲイン１補正＝Ｒゲイン１×［ＲＬ１／（ＲＬ１＋ＧＬ１＋ＢＬ１）］／［ＲＬ１Ｌ２／（ＲＬ１Ｌ２＋ＧＬ１Ｌ２＋ＢＬ１Ｌ２）］
式２Ｒ：
Ｒゲイン２補正＝Ｒゲイン２×［ＲＬ２／（ＲＬ２＋ＧＬ２＋ＢＬ２）］／［ＲＬ１Ｌ２／（ＲＬ１Ｌ２＋ＧＬ１Ｌ２＋ＢＬ１Ｌ２）］
Ｒゲイン１＝ＣＳ１の初期赤色ホワイトバランスゲイン
Ｒゲイン２＝ＣＳ２の初期赤色ホワイトバランスゲイン
ＲＬ１＝ＣＳ１照明で測定された赤色値
ＲＬ２＝ＣＳ２照明で測定された赤色値
ＲＬ１＋ＧＬ１＋ＢＬ１＝ＣＳ１照明で測定された赤緑青色値の合計
ＲＬ２＋ＧＬ２＋ＢＬ２＝ＣＳ２照明で測定された赤緑青色値の合計
ＲＬ１Ｌ２＝ＣＳ１およびＣＳ２照明で測定された赤色値
ＲＬ１Ｌ２＋ＧＬ１Ｌ２＋ＢＬ１Ｌ２＝ＣＳ１およびＣＳ２照明で測定された赤緑青色値の合計
式１Ｒ：
Ｒゲイン１補正＝Ｒゲイン１×［ＲＬ１／（ＲＬ１＋ＧＬ１＋ＢＬ１）］／［ＲＬ１Ｌ２／（ＲＬ１Ｌ２＋ＧＬ１Ｌ２＋ＢＬ１Ｌ２）］
式２Ｒ：
Ｒゲイン２補正＝Ｒゲイン２×［ＲＬ２／（ＲＬ２＋ＧＬ２＋ＢＬ２）］／［ＲＬ１Ｌ２／（ＲＬ１Ｌ２＋ＧＬ１Ｌ２＋ＢＬ１Ｌ２）］
【0051】
緑色（Ｇ）のホワイトバランスゲインを補正するための計算
Ｇゲイン１＝ＣＳ１の初期緑色ホワイトバランスゲイン
Ｇゲイン２＝ＣＳ２の初期緑色ホワイトバランスゲイン
ＧＬ１＝ＣＳ１照明で測定された緑色値
ＧＬ２＝ＣＳ２照明で測定された緑色値
ＲＬ１＋ＧＬ１＋ＧＬ１＝ＣＳ１照明で測定された赤緑青値の合計
ＲＬ２＋ＧＬ２＋ＢＬ２＝ＣＳ２照明で測定された赤緑青色値の合計
ＧＬ１Ｌ２＝ＣＳ１およびＣＳ２照明で測定された緑色値
ＲＬ１Ｌ２＋ＧＬ１Ｌ２＋ＢＬ１Ｌ２＝ＣＳ１およびＣＳ２照明で測定された赤緑青色値の合計
式１Ｇ：
Ｇゲイン１補正＝Ｇゲイン１×［ＧＬ１／（ＲＬ１＋ＧＬ１＋ＢＬ１）］／［ＧＬ１Ｌ２／（ＲＬ１Ｌ２＋ＧＬ１Ｌ２＋ＢＬ１Ｌ２）］
式２Ｇ：
Ｇゲイン２補正＝Ｇゲイン２×［ＧＬ２／（ＲＬ２＋ＧＬ２＋ＢＬ２）］／［ＧＬ１Ｌ２／（ＲＬ１Ｌ２＋ＧＬ１Ｌ２＋ＢＬ１Ｌ２）］
Ｇゲイン１＝ＣＳ１の初期緑色ホワイトバランスゲイン
Ｇゲイン２＝ＣＳ２の初期緑色ホワイトバランスゲイン
ＧＬ１＝ＣＳ１照明で測定された緑色値
ＧＬ２＝ＣＳ２照明で測定された緑色値
ＲＬ１＋ＧＬ１＋ＧＬ１＝ＣＳ１照明で測定された赤緑青値の合計
ＲＬ２＋ＧＬ２＋ＢＬ２＝ＣＳ２照明で測定された赤緑青色値の合計
ＧＬ１Ｌ２＝ＣＳ１およびＣＳ２照明で測定された緑色値
ＲＬ１Ｌ２＋ＧＬ１Ｌ２＋ＢＬ１Ｌ２＝ＣＳ１およびＣＳ２照明で測定された赤緑青色値の合計
式１Ｇ：
Ｇゲイン１補正＝Ｇゲイン１×［ＧＬ１／（ＲＬ１＋ＧＬ１＋ＢＬ１）］／［ＧＬ１Ｌ２／（ＲＬ１Ｌ２＋ＧＬ１Ｌ２＋ＢＬ１Ｌ２）］
式２Ｇ：
Ｇゲイン２補正＝Ｇゲイン２×［ＧＬ２／（ＲＬ２＋ＧＬ２＋ＢＬ２）］／［ＧＬ１Ｌ２／（ＲＬ１Ｌ２＋ＧＬ１Ｌ２＋ＢＬ１Ｌ２）］
【0052】
青色（Ｂ）のホワイトバランスゲインを補正するための計算
Ｂゲイン１＝ＣＳ１の初期青色ホワイトバランスゲイン
Ｂゲイン２＝ＣＳ２の初期青色ホワイトバランスゲイン
ＢＬ１＝ＣＳ１照明で測定された青色値
ＢＬ２＝ＣＳ２照明で測定された青色値
ＲＬ１＋ＧＬ１＋ＢＬ１＝ＣＳ１照明で測定された赤緑青色値の合計
ＲＬ２＋ＧＬ２＋ＢＬ２＝ＣＳ２照明で測定された赤緑青色値の合計
ＢＬ１Ｌ２＝ＣＳ１およびＣＳ２照明で測定されたＢｌ；値
ＲＬ１Ｌ２＋ＧＬ１Ｌ２＋ＢＬ１Ｌ２＝ＣＳ１およびＣＳ２照明で測定された赤緑青色値の合計
式１Ｂ：
Ｂゲイン１補正＝Ｂゲイン１×［ＧＬ１／（ＲＬ１＋ＧＬ１＋ＢＬ１）］／［ＢＬ１Ｌ２／（ＲＬ１Ｌ２＋ＧＬ１Ｌ２＋ＢＬ１Ｌ２）］
式２Ｂ：
Ｂゲイン２補正＝Ｂゲイン２×［ＢＬ２／（ＲＬ２＋ＧＬ２＋ＢＬ２）］／［ＢＬ１Ｌ２／（ＲＬ１Ｌ２＋ＧＬ１Ｌ２＋ＢＬ１Ｌ２）］
Ｂゲイン１＝ＣＳ１の初期青色ホワイトバランスゲイン
Ｂゲイン２＝ＣＳ２の初期青色ホワイトバランスゲイン
ＢＬ１＝ＣＳ１照明で測定された青色値
ＢＬ２＝ＣＳ２照明で測定された青色値
ＲＬ１＋ＧＬ１＋ＢＬ１＝ＣＳ１照明で測定された赤緑青色値の合計
ＲＬ２＋ＧＬ２＋ＢＬ２＝ＣＳ２照明で測定された赤緑青色値の合計
ＢＬ１Ｌ２＝ＣＳ１およびＣＳ２照明で測定されたＢｌ；値
ＲＬ１Ｌ２＋ＧＬ１Ｌ２＋ＢＬ１Ｌ２＝ＣＳ１およびＣＳ２照明で測定された赤緑青色値の合計
式１Ｂ：
Ｂゲイン１補正＝Ｂゲイン１×［ＧＬ１／（ＲＬ１＋ＧＬ１＋ＢＬ１）］／［ＢＬ１Ｌ２／（ＲＬ１Ｌ２＋ＧＬ１Ｌ２＋ＢＬ１Ｌ２）］
式２Ｂ：
Ｂゲイン２補正＝Ｂゲイン２×［ＢＬ２／（ＲＬ２＋ＧＬ２＋ＢＬ２）］／［ＢＬ１Ｌ２／（ＲＬ１Ｌ２＋ＧＬ１Ｌ２＋ＢＬ１Ｌ２）］
【0053】
Ｒゲイン１補正、Ｇゲイン１補正、およびＢゲイン１補正に対する上記の第一の式では、分子のそれぞれは、ＣＳ１照明での測定ウィンドウ中の赤色（または緑色または青色）の分数である。分母は、ＣＳ１およびＣＳ２照明での測定ウィンドウ中の赤色（または緑色または青色）の分数である。これらの測定された赤色分数（または緑色または青色）の比率を使用して、赤色ホワイトバランスゲイン、緑色ホワイトバランスゲイン、および青色ホワイトバランスゲインを補正する。
【0054】
上述のように、個々の内視鏡の撮像装置は、プロセスを実行するために記載された工程のタイミングを調整するようにリンクされている。これは、例えば、図２に示すように、カメラ制御ユニットＡＢに接続された色補正ユニット４６を介して、および／またはカメラ制御ユニット（複数可）および内視鏡に接続されたシステムのソフトウェアを有する汎用コンピュータを介して、またはカメラ制御ユニット内部の色補正ユニットを介して、図１に示すように、色補正ユニット２４を通して二つのカメラ制御ユニットＡおよびＢへのデータリンク３６を介して行われてもよい。
【0055】
しかしながら、本発明の好ましい実施形態が開示されており、その結果、当業者であれば、特定の修正が本発明の範囲内となることを認識するであろう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【国際調査報告】