(58)【調査した分野】(Int.Cl.,DB名)
【背景技術】
【0002】
近年、テレビジョンカメラシステムのデジタル技術の進歩により、撮像装置の画素数が、1920x1080画素(2Kと略称される)から、概略4000x2000画素(4Kと略称される)や概略8000x4000画素(8Kと略称される)が要求されている。
そこで、画素ずらしによる高解像度化として、空間画素ずらしをした多板式カラーカメラにおいて、空間画素ずらしによりサンプリング位相が相互に反転したR(Red)信号とG(Green)信号とを、上記サンプリング周波数の互いに逆位相でスイッチングして交互にR信号とG信号とが切り替わる信号を生成し、さらにR信号を混合してからバンドパスフイルタで帯域制限した後に、マトリクス回路出力の輝度信号と合成している(例えば、特許文献1参照。)。
【0003】
さらに、空間画素ずらしをした多板式カラーカメラにおいて、 輝度信号(Y)はR,G,B(Blue)信号から固体撮像素子のサンプリング周期(1/fs)の半分の周期ごとに倍速クロックのマトリクス演算で生成し、倍速サンプリングで出力し、マトリクス演算前に、R, B信号の高域を定格より増幅させR,B信号の位相より、G信号の高域位相を所定の周期(1/fs)のほぼ半分遅延させる(例えば、特許文献2参照。)。
【0004】
ところで、G1(Green1)の撮像素子をG2(Green2)の撮像素子に対して水平方向に1/2画素ピッチずらし垂直方向に1/2画素ピッチずらして配置する。そして、得られたG1,G2の信号から垂直方向と水平方向の高域成分を演算し、これをGの信号に加算して垂直方向と水平方向の解像度の向上を図る(例えば、特許文献3参照。)。
【0005】
また、撮像装置をB(青),R(赤),G1(緑),G2の撮像素子による4板構成とする。B,Rの撮像素子をG2の撮像素子に対して垂直方向に1/2画素ピッチずらして配置する。そして、得られたB,Rの信号から垂直方向の高域成分を演算し、これをGの信号に加算して垂直方向の解像度の向上を図る。また、G1,G2の撮像素子を水平方向に1/2画素ピッチずらして配置し、水平方向の解像度の向上を図る(例えば、特許文献4参照。)。
【0006】
また、撮像装置をB(青),R(赤),G1(緑),G2の撮像素子による4板構成とする。Rの撮像素子をG2の撮像素子に対して垂直方向に1/2画素ピッチずらして配置する。Bの撮像素子をRの撮像素子に対して垂直方向に1画素ピッチずらして配置する。そして、得られたB及びRの信号から垂直方向の高域成分を演算し、これをGの信号に加算して垂直方向の解像度の向上を図る。同一フィールドの信号から高域成分が得られるので、偽の信号発生が防止される(例えば、特許文献5参照。)。
【0007】
この時、G1とG2の撮像素子が受光する光は、プリズム内のハーフミラーによって分光されているわけであるが、ハーフミラーは光の入射角によって反射率が変化する特性があるため、プリズムに入射する光の角度によってG1とG2の撮像素子の受光量に差が発生する場合がある。G1とG2を合成、補間して高精細の映像を生成するデュアルグリーン方式においては、G1とG2の撮像素子の受光量に差があると、生成した映像に斜め格子状の模様が発生する。尚、映像レベルが平坦でない細かな被写体を撮像している場合においては、斜め格子状の模様は見え難くなるが、固定パターンのノイズとして映像に表れる。
また、撮像素子には温度特性があり、撮像素子の温度が変化すると、同じ受光量であっても出力信号のレベルが上昇または低下することがある。このため、G1とG2の撮像素子に温度差が発生すると、G1とG2の出力信号にレベル差が発生し、この場合も映像に斜め格子状の模様または固定パターンのノイズが発生する。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態について図面を参照して詳細に説明する。
図1は本発明の一実施例に係る撮像装置の構成例を示すブロック図である。
図1において、撮像装置110は、色分解光学系112、第1緑色(G1、Green1)撮像素子111G1、第2緑色(G2、Green2)撮像素子111G2、赤色(R、Red)撮像素子111R、青色(B、Blue)撮像素子111B、映像信号処理部113、撮像素子駆動部114、CPU(Central Processing Unit)部115で構成されている。
【0016】
撮像装置110は、入射光100がレンズ101で結像され、色分解光学系112で4板用に色分解され、第1緑色(G1)撮像素子111G1と第2緑色(G2)撮像素子111G2と赤色(R)撮像素子111Rおよび青色(B)撮像素子111Bで光電変換され、映像信号処理部113で各種信号処理が施され、HD−SDI(High Definition Serial Digital Interface)信号を出力する。
なお、本発明の撮像装置110から出力する映像信号は、一実施例のHD−SDIに限定するものではなく、圧縮や暗号化等も問わない。
【0017】
図4は本発明の一実施例に係る撮像装置の4板の撮像素子の貼り合せ位置の各画素の重なり具合を示す模式図である。
図4(a)は、第1緑色(G1)撮像素子111G1と第2緑色(G2)撮像素子111G2の画素の貼り合せ位置の一例である。
図4(b)は、ベイヤー配列相当の画素の貼り合せ位置の一例である。
なお、本発明の一実施例に係る撮像装置110は、
図4の4板の撮像素子の貼り合せ位置に限定されるものではない。
【0018】
図2は本発明の一実施例に係る映像信号処理部のブロック図である。
図2において、映像信号処理部113は、レベル補正部210、選択部220、映像信号出力部230で構成されている。
レベル補正部210は、レベル差補正部211、遅延部212,213で構成されている。
【0019】
レベル差補正部211は、G1信号とG2信号のレベル差をなくするための補正処理を行うものであり、G1信号レベルをG2信号レベルに合わせる処理、またはG2信号レベルをG1信号レベルに合わせる処理を行う。
なお、レベル差補正部211は、FPGA(Field Programmable Gate Array)でも、CPUとFPGAのハイブリッドであってもよい。
選択部220は、G1’信号とG2’信号を交互に切替えて出力、またはG1’信号とG2’信号を合成し、G映像信号として出力する。
【0020】
遅延部212は、R信号をG映像信号のタイミングに合わせたR映像信号とするために行う遅延処理である。
遅延部213は、B信号をG映像信号のタイミングに合わせたB映像信号とするために行う遅延処理である。
なお、遅延部212,213は、LPF(Low Pass Filter)でもよい。また、遅延部212,213は、撮像素子駆動部114の駆動方法によりR撮像素子111RとB撮像素子111Bから画像信号を所定時間遅延させて読み出せる場合には不要としてもよい。
【0021】
映像信号出力部230は、G映像信号とR映像信号とB映像信号から例えば、HD−SDI信号を生成して出力する。
【0022】
(実施例1)
図3Aは本発明の一実施例に係るレベル差補正部の構成を示すブロック図である。
図3Aにおいて、レベル差補正部211は、遅延部311、平坦判定部312、レベル差判定部313、レベル調整部314で構成されている。
なお、遅延部311は、G1信号をG2’信号のタイミングに合わせたG1’信号とするために行う遅延処理である。G1信号をレベル調整をする場合は、G2信号を遅延部311で遅延させる。
CPU部115は、平坦判定部312、レベル差判定部313を制御する。なお、CPU部115は平坦判定部312とレベル差判定部313の処理を行ってもよい。
【0023】
平坦判定部312は、G1信号とG2信号それぞれにおいて、注目画素と周辺画素のレベルの最大値と最小値の差を算出し、最大値と最小値の差が所定の閾値以下であれば注目画素は平坦部であると判定する。
【0024】
レベル差判定部313は、平坦判定部312がG1信号とG2信号がともに平坦部であると判定した場合、G1信号の注目画素と周辺画素のレベルの平均値と、G2信号の注目画素と周辺画素のレベルの平均値とを比較し、それぞれの平均値に差があり、かつその差が所定の上限値以下である場合には、何らかの影響によって平坦部を撮像しているG1信号とG2信号の映像レベルに差が発生していると判定する。
【0025】
なお、レベル差判定部313において、平均値の差に上限値を設けているのは、高周波の縞模様等を映した際に、G1信号の注目画素と周辺画素に縞模様の暗部が写り、G2信号の注目画素と周辺画素に縞模様の明部が写った場合、互いに平坦部でありレベル差が発生していると誤判定してしまうのを防止するためである。
【0026】
レベル調整部314は、レベル差判定部313において、G1信号とG2信号にレベル差が発生していると判定された場合には、それぞれの平均値とレベル差からG1信号とG2信号の利得比を算出し、G2信号(またはG1信号、もしくはG1信号とG2信号の両方)の利得を調整し、G1信号とG2信号のレベルを合わせる。
【0027】
以上のように本発明の一実施例によれば、映像信号の平坦部の画素において、G1信号とG2信号にレベル差が発生している場合は、レベル差を検出し、G1信号とG2信号のレベル差を合わせる補正を行うことによって、映像に斜め格子状の模様が発生することを防止できる。
【0028】
(実施例2)
図3Bは本発明の他の一実施例に係るレベル差補正部の構成を示すブロック図である。
図3Bにおいて、レベル差補正部211は、遅延部311、平坦判定部312、レベル差判定部313、レベル調整部314、積算平均部325、メモリ部326で構成されている。
なお、遅延部311は、G1信号をG2’信号のタイミングに合わせたG1’信号とするために行う遅延処理である。
CPU部115は、平坦判定部312、レベル差判定部313、積算平均部325、メモリ部326を制御する。なお、CPU部115は平坦判定部312とレベル差判定部313と積算平均部325とメモリ部326の処理を行ってもよい。
【0029】
平坦判定部312は、G1信号とG2信号それぞれにおいて、注目画素と周辺画素のレベルの最大値と最小値の差を算出し、最大値と最小値の差が所定の閾値以下であれば注目画素は平坦部であると判定する。
【0030】
レベル差判定部313は、平坦判定部312がG1信号とG2信号がともに平坦部であると判定した場合、G1信号の注目画素と周辺画素のレベルの平均値と、G2信号の注目画素と周辺画素のレベルの平均値とを比較しそれぞれの平均値に差があり、かつその差が所定の上限値以下である場合には、何らかの影響によって平坦部を撮像しているG1信号とG2信号の映像レベルに差が発生していると判定する。
【0031】
レベル調整部314は、レベル差判定部313において、G1信号とG2信号にレベル差が発生していると判定された場合には、それぞれの平均値とレベル差からG1信号とG2信号の利得比を算出する。
【0032】
積算平均部325は、レベル差判定部313において、映像の平坦部でG1とG2にレベル差があり、レベル調整部314がG1信号とG2信号の利得比を算出するとき、その利得比をメモリ部326を利用しながら積算平均する。
積算平均部325は、利得比を積算平均する範囲が同一のフレーム内にあるため、次のフレームの処理に移る前に積算平均した利得比をメモリ部326に記憶させる。
【0033】
レベル調整部314は、次のフレームにおいて、平坦判定部312により注目画素が平坦部でないと判定された場合には、メモリ部326に記憶されている前のフレームで積算平均した利得でG2信号(またはG1信号、もしくはG1信号とG2信号の両方)のレベルを調整する。
【0034】
以上のように本発明の他の一実施例によれば、映像信号の平坦部でない画素において、前のフレームで積算平均したG1信号とG2信号の利得比を適用して、G1信号とG2信号のレベル差を補正することによって、映像に固定パターンのノイズが発生することを防止することができる。
【0035】
(実施例3)
図3Cは本発明のさらに他の一実施例に係るレベル差補正部の構成を示すブロック図である。
図3Cにおいて、レベル差補正部211は、遅延部311、平坦判定部312、レベル差判定部313、レベル調整部314、積算平均部325、メモリ部326、線形補間部337で構成されている。
なお、遅延部311は、G1信号をG2’信号のタイミングに合わせたG1’信号とするために行う遅延処理である。
CPU部115は、平坦判定部312、レベル差判定部313、積算平均部325、メモリ部326、線形補間部337を制御する。なお、CPU部115は平坦判定部312とレベル差判定部313と積算平均部325とメモリ部326と線形補間部337の処理を行ってもよい。
【0036】
平坦判定部312は、G1信号とG2信号それぞれにおいて、注目画素と周辺画素のレベルの最大値と最小値の差を算出し、最大値と最小値の差が所定の閾値以下であれば注目画素は平坦部であると判定する。
【0037】
レベル差判定部313は、平坦判定部312がG1信号とG2信号がともに平坦部であると判定した場合、G1信号の注目画素と周辺画素のレベルの平均値と、G2信号の注目画素と周辺画素のレベルの平均値とを比較しそれぞれの平均値に差があり、かつその差が所定の上限値以下である場合には、何らかの影響によって平坦部を撮像しているG1信号とG2信号の映像レベルに差が発生していると判定する。
【0038】
レベル調整部314は、レベル差判定部313において、G1信号とG2信号にレベル差が発生していると判定された場合には、それぞれの平均値とレベル差からG1信号とG2信号の利得比を算出する。
【0039】
積算平均部325は、画面を縦横複数のエリアに区切り、区切ったエリアの映像の平坦部でG1信号とG2信号にレベル差があり、レベル調整部314がG1信号とG2信号の利得比を算出するとき、その利得比をメモリ部326を利用しながらエリア毎に積算平均する。
積算平均部325は、1フレームのエリア毎の積算平均処理が終了すると、エリア毎に積算平均した利得比をメモリ部326に記憶させる。
【0040】
線形補間部337は、メモリ部326に記憶されているエリア毎に積算平均したG1信号とG2信号の利得比をそのエリアの中心画素の利得比とし、間の画素の利得比を線形補間して算出する。
なお、線形補間部337は、エリア内に平坦部がなく、利得比の情報がないエリアある場合には、そのエリアを飛ばした線形補間を行う。
【0041】
レベル調整部314は、次のフレームにおいて、平坦判定部312により注目画素が平坦部でないと判定された場合には、線形補間部337が算出した利得でG2信号(またはG1信号、もしくはG1信号とG2信号の両方)のレベルを調整する。
【0042】
以上のように本発明のさらに他の一実施例によれば、映像信号の平坦部でない画素において、画面全体で線形補間して算出したG1信号とG2信号の利得比を適用して、G1信号とG2信号のレベル差を補正することによって、画面内でG1信号とG2信号の利得比が一定でない場合においても映像に固定パターンのノイズが発生することを防止することを実現できる。
【0043】
本発明の実施形態である撮像装置は、デュアルグリーン方式のカラー撮像装置において、映像に斜め格子状の模様または固定パターンのノイズが発生することを防止することができる。
【0044】
以上、本発明の一実施形態について詳細に説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変更して実施することができる。