(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態を、図面を参照して説明する。
図1は、本発明の一実施形態である色調調整装置を搭載した電子内視鏡装置の構成を示すブロック図である。なお、
図1では、照明系と撮像系に関する一部の構成のみが示され、その他の多くの構成は省略されている。
【0014】
電子内視鏡装置10は、可撓管状の挿入部を備えるスコープ11と、スコープ11が着脱自在に接続されるプロセッサ装置12と、プロセッサ装置12に着脱自在に接続されるモニタ13から主に構成される。
【0015】
スコープ11の挿入部先端には内視鏡画像撮影用の例えばCCDやCMOSなどの第1撮像素子14が設けられる。第1撮像素子14の駆動は例えばスコープ11内に設けられた撮像素子駆動回路15からの駆動信号に基づき制御され、撮像素子駆動回路15は、プロセッサ装置12内に設けられたタイミングコントローラ16からのクロック信号に基づいて駆動信号を生成する。第1撮像素子14の撮像面には撮像レンズ14Aを介して被写体像が形成され、被写体像の画像信号が生成される。
【0016】
第1撮像素子14から出力される画像信号は、例えばスコープ11内のアナログフロントエンド(AFE)17を介してデジタル信号に変換され、プロセッサ装置12内の前段映像信号処理回路18に送られる。前段映像信号処理回路18では、本実施形態のホワイトバランス処理を含む従来周知の所定の画像処理が映像信号に施され、画像メモリ19に一時的に保持される。
【0017】
画像メモリ19に保持された映像信号は、所定のタイミングで後段映像信号処理回路20へと出力される。後段映像信号処理回路20において映像信号は所定規格の映像信号へと変換され、例えばモニタ13へと出力される。なお、前段映像信号処理回路18、画像メモリ19、後段映像信号処理回路20における一連の処理は、タイミングコントローラ16からのクロック信号に基づいて行われる。
【0018】
被写体の撮影に必要な照明光は、例えばプロセッサ装置12内に設けられた光源21から集光レンズ25を介してスコープ11内に配設されたライトガイド(光ファイバ)22に入射され、ライトガイド22を通してスコープ11の挿入部先端まで伝送される。挿入部先端まで伝送された光は照明レンズ23を介して被写体に向けて照射される。なお光源21には、例えばハロゲンランプやメタルハライドランプ、キセノンランプなどが用いられる。
【0019】
ライトガイド22は、その一部のファイバ束22Aが例えばスコープ11のプロセッサ装置12との接続に用いられるコネクタ部11A内で分岐され分岐ファイバ束22Aを形成する。分岐ファイバ束22Aの先端は、コネクタ部11A内に配置され、その先にはホワイトバランス調整における基準色となる白色板(白色体)24が、分岐ファイバ束22Aからの光軸に対し例えば45°傾けて配置される。すなわち、ライトガイド22に入射された光の一部は分岐ファイバ束22Aにより、コネクタ部11A内において分岐ファイバ束22Aの光軸に対して傾けられた白色板24に向けて照射される。
【0020】
コネクタ部11A内には更にCCDやCMOSなどを用いた補正用の第2撮像素子32が設けられ、第2撮像素子32は、分岐ファイバ束22Aから照射される光が白色板24で鏡面反射される方向に配置される。すなわち、分岐ファイバ束22Aから照射された光は、白色板24で反射され第2撮像素子32において受光される。なお本実施形態において、白色板24には、通常のホワイトバランス調整に使用されるホワイトバランス治具と同じ分光反射率を有する素材(例えば同一の素材)が用いられる。
【0021】
第2撮像素子32は、例えば撮像素子駆動回路15からの駆動信号に基づいて制御され、第2撮像素子32から出力される画像信号は、例えばスコープ11内のアナログフロントエンド(AFE)33を介してデジタル信号に変換され、コネクタを介してプロセッサ装置12内の前段映像信号処理回路18に送られる。なお、第1、第2撮像素子14、32で検出されたRGB信号の値は、プロセッサ装置12内に設けられたメモリ34に記録可能であり、前段映像信号処理回路18において後述する本実施形態の色調調整処理に用いられる。
【0022】
以上の構成において本実施形態では第2撮像素子32を用いて照明光の分光分布の経時的な変化をモニタし、これに基づいて第1撮像素子14から出力されるRGB信号のゲインを照明光の分光分布の経時変化を相殺するように調整し(色調調整処理)、経時変化による内視鏡画像の色調の変化を防止する。
【0023】
すなわち、光源21やライトガイド22の経時的な状態の変化や劣化による照明光の分光分布の変化は、ライトガイド22からの照明光を基準色である白色板24に照射し、これを第2撮像素子32で撮影することによりモニタされる。分光分布の変化は、照明光を照射した状態で白色板24を第2撮像素子32により予め撮影し、そのときのRGB信号を第2基準RGB信号(R2’,G2’,B2’)として例えばメモリ34に記録して、この第2基準RGB信号(R2’,G2’,B2’)を第2撮像素子32から現在出力されているRGB信号(R2,G2,B2)と比較することでモニタされる。
【0024】
第2撮像素子32の分光感度に経時的な劣化が無ければ、RGB信号各成分間の比の変化は照明光の分光分布の変化に起因する。本実施形態では明るさを一定に維持する目的からG信号を基準としてG信号に対するR信号の比R/G、G信号に対するB信号の比B/Gの値から分光分布の変化をモニタし、
R2’/G2’=β
R・(R2/G2)
B2’/G2’=β
B・(B2/G2)
となるゲインβ
R、β
B(第2ゲイン)を求める。
【0025】
すなわち現在の照明光の下、第2撮像素子32により白色板24を撮影したときに得られるR信号R2、B信号B2のそれぞれをβ
R倍、β
B倍すると、現照明光下において第2撮像素子32で得られるRGB信号の比が、第2基準RGB信号(R2’,G2’,B2’)の比に等しくなり、照明光の分光分布の変化による画像の色調の変化は相殺される。なお、第2撮像素子32の分光感度特性に経時的変化が存在する場合、ゲインβ
R、β
Bは照明光の分光分布の変化、第2撮像素子32の分光感度分布の変化を含めた相殺を行う値となる。
【0026】
一方、撮像素子の分光感度分布には個体差があるため、同一な照明条件下においても第1撮像素子14、第2撮像素子32で得られるRGB信号の各成分の比は異なる。このため照明光の分光分布の変化による第1撮像素子14で撮影される内視鏡画像の色調の変化を防止するには、照明光の分光分布変化によるゲイン補正だけではなく、第1撮像素子14、第2撮像素子32間の分光感度特性の違い基づくゲイン補正を行う必要がある。
【0027】
分光感度分布の違いは、同一照明光の下、基準色を第1撮像素子および第2撮像素子32で撮影し、このときの両者のRGB信号を比較することにより検出できる。本実施形態では、第2撮像素子32の第2基準RGB信号(R2’,G2’,B2’)を検出する際に(略同時期に)、ライトガイド22から照射される照明光の下、白色板24と同一素材のホワイトバランス治具を用いて行われる第1撮像素子14のホワイトバランス調整処理で得られるRGB信号を第1基準RGB信号(R1,G1,B1)として例えばメモリ34に記録し、第1、第2RGB信号を比較することで第1、第2撮像素子14、32間の分光感度分布の違いが計量化される。
【0028】
すなわち、第1、第2基準RGB信号を検出したときから第1、第2撮像素子14、32の分光感度分布が経時的に変化していなければ、第1撮像素子14のRGB信号と第2撮像素子32のRGB信号の間には、例えばG信号を基準としてゲインα
R、α
B(第1ゲイン)を用いて
R1/G1=α
R・(R2’/G2’)
B1/G1=α
B・(B2’/G2’)
の関係がある。すなわち、第2撮像素子32で得られるR信号、B信号をそれぞれα
R倍、α
B倍すると、第2撮像素子32で得られるRGB信号の比は、第1撮像素子14で得られるRGB信号の比に等しい値に変換される。
【0029】
したがって、照明光の分光分布変化に基づく第1撮像素子14で撮影される画像の色調の変化を防止するには、例えばG信号を一定に維持する場合、第1撮像素子14のR信号をα
R・β
R倍、B信号をα
B・β
B倍すればよい。
【0030】
次に
図2のフローチャート(および
図1)を参照して、本実施形態の色調調整処理について説明する。
【0031】
本実施形態の色調調整処理は、光源21が点灯され、第1撮像素子14による内視鏡画像の撮像が開始されると前段映像信号処理回路18において実行される。ステップS100では、スコープ11とプロセッサ装置12の組合せが初めてか否かが判定される。すなわち、メモリ34に記録された1基準RGB信号(R1,G1,B1)および第2基準RGB信号(R2’,G2’,B2’)の値が、プロセッサ装置12に現在装着されているスコープ11のものであるか否かが判定される。ステップS100の処理は、例えばスコープ11の記録されているスコープ11の型番とプロセッサ装置12が前回使用された際に、プロセッサ装置12のメモリ34に記憶されたスコープの型番を比較することによって行われる。
【0032】
ステップS100において、スコープ11、プロセッサ装置12の組合せが初めての組合せであると判断される場合には、ステップS102において、上述のように記録されたメモリ34から第1基準RGB信号(R1,G1,B1)、第2基準RGB信号(R2’,G2’,B2’)が読み出され前段映像信号処理回路18に入力される。なお、このときプロセッサ装置12に装着されたスコープ11の型番がスコープ11側から読み出され、メモリ34に記録されるスコープ型番が更新・記録される。
【0033】
ステップS104では、第1基準RGB信号(R1,G1,B1)および第2基準RGB信号(R2’,G2’,B2’)に基づき上述した撮像素子間の違いを吸収するためのゲインα
R、α
Bが前段映像信号処理回路18において算出され、例えばメモリ34に記録される(第1ゲイン算出処理)。ステップS104の処理が終了すると、処理はステップS100へと戻り、再度スコープ11とプロセッサ装置12の組合せが初めてではないか否かが判断される。
【0034】
ステップS100において、初めての組合せではないと判断されると、ステップS106において、第2撮像素子32からRGB信号(R2,G2,B2)が取得される。ステップS108では取得された第2撮像素子32のRGB信号(R2,G2,B2)と第2基準RGB信号(R2,G2,B2)から上述した照明光の分光分布変化を相殺するためのゲインβ
R、β
Bが前段信号処理回路18において算出され、例えばメモリ34に記録される(第2ゲイン算出処理)。第2ゲイン算出処理S108が終了すると処理はステップS106に戻り、新たに取得された第2撮像素子32のRGB信号(R2,G2,B2)に対して同様の処理が繰り返される。
【0035】
次にステップS104の第1ゲイン算出処理の詳細について
図3のフローチャートを参照して説明する。
【0036】
ステップS200では、R1/G1の値がR2’/G2’に等しいか否かが判定される。等しくないと判定されると、ステップS202においてR信号に対するゲインα
R=(R1/G1)・(G2’/R2’)の値が算出されるとともにメモリ34に記録され、ステップS204が実行される。一方、R1/G1の値がR2’/G2’に等しいと判定されるときには、直ちにステップS204が実行される。
【0037】
ステップS204ではB1/G1の値がB2’/G2’に等しいか否かが判定される。等しくないと判定されると、ステップS206においてB信号に対するゲインα
B=(B1/G1)・(G2’/B2’)の値が算出されるとともにメモリ34に記録され本処理は終了する。また、B1/G1の値がB2’/G2’に等しいと判定されるときには、直ちに本処理は終了する。なお、ゲインα
R、α
Bはデフォルト値として例えば1が与えられている。
【0038】
次にステップS108の第2ゲイン算出処理の詳細について
図4のフローチャートを参照して説明する。
【0039】
ステップS300では、メモリ34に記録されたα
Rの値を用いて、R1/G1の値がα
R・(R2/G2)に等しいか否かが判定される。等しくないと判定されると、ステップS302においてR信号に対するゲインβ
R=(R2’/G2’)・(G2/R2)の値が算出されるとともにメモリ34に記録され、ステップS304が実行される。一方、R1/G1の値がβ
R・(R2/G2)に等しいと判定されるときには、直ちにステップS304が実行される。
【0040】
ステップS304では、メモリ34に記録されたα
Bの値を用いてB1/G1の値がα
B・(B2/G2)に等しいか否かが判定される。等しくないと判定されると、ステップS306においてB信号に対するゲインβ
B=(B2’/G2’)・(G2/B2)の値が算出されるとともにメモリ34に記録され、ステップS308において、前段映像信号処理回路18における第1撮像素子14のR信号に対するゲインがα
R・β
Rに、B信号に対するゲインがα
B・β
Bに変更され、本処理は終了する。また、B1/G1の値がα
B・(B2/G2)に等しいと判定されるときには、直ちにステップS308が実行され本処理は終了する。
【0041】
以上のように、本実施形態によれば、画像撮影中においても、照明光の分光分布の変化に合わせてRGB信号のゲインを調整し、照明光の分光分布変化にともなう撮影画像の色調変化を防止できる。また、ライトガイドを通した照明光が検出されているので、光源の分光分布変化のみならずライトガイドの経時劣化による分光分布変化も補正できる。
【0042】
次に
図5を参照して本実施形態の第1変形例について説明する。本実施形態では、撮像素子の分光感度分布の経時的な変化はないものとしたが、変形例では、撮像素子に発生する経時的な分光感度分布変化を想定した色調調整処理が実行される。なお電気機械的な構成に関しては
図1に示される実施形態と同様である。
【0043】
第1撮像素子14、第2撮像素子32の分光感度分布の変化を考慮すると、第1ゲインα
R、α
Bを経時的に変更する必要がある。したがって
図5のフローチャートに示されるように、スコープ11とプロセッサ装置12の組合せが初めてであるか否かに係らず第1ゲイン算出処理が実行される。
【0044】
すなわち、ステップS400、S402において第1基準RGB信号(R1,G1,B1)、第2基準RGB信号(R2’,G2’,B2’)がメモリ34から順次読み出され、ステップS406において、ステップS104と同様の第1ゲイン算出処理が実行され第1ゲインα
R、α
Bが算出される。
【0045】
ステップS408では、ステップS106と同様に第2撮像素子32からのRGB信号(R2,G2,B2)が取得され、ステップS410においてステップS108と同様に第2ゲイン算出処理が実行され第2ゲインβ
R、β
Bが算出される。そして第1撮像素子14のR信号に対するゲインがα
R・β
Rに、B信号に対するゲインがα
B・β
Bに変更され、処理は再びステップS408に戻る。なお、変形例において第2基準RGB信号(R2’,G2’,B2’)には、前回電子内視鏡使用終了時に第2撮像素子32で得られるRGB信号が用いられる。
【0046】
以上のように変形例においても実施形態と同様の効果が得られるとともに、第2撮像素子の経年変化にも対応可能である。
【0047】
なお本実施形態の色調調整処理は、点灯開始から光源が安定するまでの所定時間に亘ってのみ実行する構成とすることもできる。また、この所定時間内のみ連続的に実行し、その後は光源やライトガイドの経時劣化による変動を補正するために5分〜10分など、一定間隔をおいて調整する構成であってもよく、この場合、補正が行われる頻度(間隔)を調整可能としてもよい。
【0048】
また、本実施形態の分岐ファイバ束および第2撮像素子をプロセッサ装置内に配置することも可能である。
【0049】
本実施形態では、撮像系の基本データや白色板の分光反射率を保存したメモリがプロセッサ装置に設けられたが、メモリはスコープ側(例えばコネクタ部)に設けられてよい。なお、撮像素子の分光感度分布の経年変化を考慮しない場合においても、第2基準RGB信号を、前回使用時に第2撮像素子で得られたRGB信号値としてもよいが、そのような場合には出荷前などに予め計測したものをデフォルト値としてメモリに入れておく。また基準色としては白以外を利用することも可能である。