【実施例1】
【0020】
本発明は、16:9や2:1等のワイドアスペクトの1K、2K、4K、8K等のHD以上テレビカメラ等の高解像度撮像装置において、
多画素遅延の水平輪郭補正と多走査線遅延の垂直輪郭
補正を行う手段を有し、
前記レンズと反射光学系等の光学系の品種情報と焦点距離情報と口径比情報とを取得する手段と、前記レンズと反射光学系等の光学系の焦点距離と口径比とに対応した円周方向変調度情報と放射線方向変調度情報とを取得し記憶する手段(CPU6とCPU6内蔵または外付けの記憶部)と、前記取得したレンズと反射光学系等の光学系品種情報と焦点距離情報と口径比情報と前記記憶した円周方向変調度情報と放射線方向変調度とから、(レンズと反射光学系等の光学系のコマ収差による中心方向の輪郭の崩れ方と遠ざかる方向の輪郭の崩れ方に対応して)前記作成した輪郭(変調度)補正制御の関係情報と水平同期信号と画素クロック(による水平画素カウンタからの水平画素番号)から、映像信号に対応する画素の画面中心からの距離(水平画素数をHとし水平画素番号をhとしてh−H/2)に比例等の画面位置に対応して水平輪郭の左(5dから8dの輪郭)と右(0dから3dの輪郭)とで補正量を個別に算出し、垂直輪郭の上(5Hから8H)の輪郭と下(0Hから3H)の輪郭とで補正量とを個別に算出する手段(水平画素カウンタ含む画面位置制御部5)と垂直輪郭補正を垂直輪郭の上(5Hから8H)の輪郭と下(0Hから3H)の輪郭とで補正量とを個別ごとと水平輪郭の左(5dから8dの輪郭)と右(0dから3dの輪郭)とで補正を個別に行う手段と、
垂直輪郭補正量を垂直(0Hから7Hの輪郭)ごとと水平輪郭補正量を水平(0dから7dの輪郭)ごとに個別に算出する手段(水平画素カウンタ含む画面位置制御部5)と、水平同期信号と画素クロックとから映像信号の画面位置のタイミングを検出する手段(水平画素カウンタ含む画面位置制御部)とを有し、前記生成した画面位置と輪郭補正制御の関係情報と前記検出した映像信号の画面位置のタイミングとから水平輪郭の左(5dから8dの輪郭)と右(0dから3dの輪郭)とで補正量を個別に算出し、垂直輪郭の上(5Hから8H)の輪郭と下(0Hから3H)の輪郭とで補正量とを個別に算出する手段(水平画素カウンタ含む画面位置制御部5)と垂直輪郭補正を垂直輪郭の上(5Hから8H)の輪郭と下(0Hから3H)の輪郭とで補正量とを個別ごとと水平輪郭の左(5dから8dの輪郭)と右(0dから3dの輪郭)とで補正を個別に行う手段(負の掛け算器のN0〜N3、N5〜N8、N10〜N13、N15〜N18と正の掛け算器のP0〜8、P10〜18)と、
前記レンズと反射光学系等の光学系のコマ収差による中心方向の輪郭の崩れ方と遠ざかる方向の輪郭の崩れ方に対応して画面中心から左右に離れるに従い、垂直輪郭補正を上下独立に可変し、水平輪郭補正を左右独立に可変して上下輪郭補正と左右輪郭補正とを異ならせる手段と、
の少なくとも一つを有することを特徴とする撮像装置である。
本発明の1実施例の多走査線(H)垂直輪郭補正回路の詳細ブロック図の
図1Aと
図1Bと
図1Cとでは、レンズと反射光学系等の光学系品種情報と焦点距離情報と口径比情報等のレンズと反射光学系等の光学系情報から、前記レンズと反射光学系等の光学系の放射線方向の中心向きと外側向きで輪郭の縁の崩れ方が異なることに対応して画面位置と輪郭補正制御の関係情報 (水平画素番号と輪郭補正の周波数補正量)を作成する手段(CPU6)と、前記作成した輪郭補正制御の関係情報と水平同期信号と画素クロック(による水平画素カウンタからの水平画素番号)から、映像信号に対応する画素の画面中心からの距離(水平画素数をHとし水平画素番号をhとしてh−H/2)に比例と画素の画面中心からの距離で水平輪郭の左(5dから8dの輪郭)と右(0dから3dの輪郭)とで補正量を個別に算出し、垂直輪郭の上(5Hから8H)の輪郭と下(0Hから3H)の輪郭とで補正量とを個別に算出する手段(水平画素カウンタ含む画面位置制御部5)と垂直輪郭補正を垂直輪郭の上(5Hから8H)の輪郭と下(0Hから3H)の輪郭とで補正量とを個別ごとと水平輪郭の左(5dから8dの輪郭)と右(0dから3dの輪郭)とで補正量を個別に行う手段(負の掛け算器のN0〜N3、N5〜N8、N10〜N13、N15〜N18と正の掛け算器のP0〜8、P10〜18)とを含む。
【0021】
また、本発明の1実施例の撮像装置の全体構成の全体構成を示すブロック図の
図4と、本発明の1実施例の多走査線(H)垂直輪郭補正回路の詳細ブロック図の
図1Aと、本発明の1実施例の多画素水平輪郭補正回路の詳細ブロック図の
図1Bと、本発明の1実施例の多走査線(H)垂直色平均回路の詳細ブロック図の
図1Cと、本発明の1実施例の多画素水平色平均回路の詳細ブロック図の
図1Dと、本発明の1実施例の多走査線(H)垂直輪郭補正信号または多画素水平輪郭補正信号または斜め多画素輪郭補正信号の発生を示す模式図(輪郭後縁が大きく崩れている輪郭補正の
図2Aと、本発明の1実施例の多走査線(H)垂直輪郭補正信号または多画素水平輪郭補正信号または斜め多画素輪郭補正信号の発生を示す模式図(輪郭前縁が後縁が大きく崩れている輪郭補正)の
図2Bを用いて本発明の1実施例を説明する。
【0022】
本発明の1実施例の撮像装置の全体構成の全体構成を示すブロック図の
図4と従来技術の赤外線監視システムの全体構成を示すブロック
図5との相異は、映像処理部4に直輪郭補正を垂直輪郭の上の輪郭と下の輪郭とで補正量とを個別ごとと水平輪郭の左と右とで補正量を個別に行う個別可変機能付信号処理部とを含むかどうかである。
本発明の1実施例の多走査線(H)垂直輪郭補正回路の詳細ブロック図の
図1Aと本発明の1実施例の多画素水平輪郭補正回路の詳細ブロック図の
図1Bと、従来技術の可視光の垂直輪郭補正信号発生回路の詳細ブロック図の
図3との相異は、ラインメモリの個数と乗算器の個数と加算器の個数だけでなく、レンズと反射光学系等の光学系品種情報と焦点距離情報と口径比情報等のレンズと反射光学系等の光学系情報から、前記レンズと反射光学系等の光学系の放射線方向の中心向きの輪郭の縁の崩れ方と外向きの輪郭の縁崩れ方と異なることに対応して、画面位置と輪郭補正制御の関係情報 (水平画素番号と輪郭補正の周波数補正量)を作成する手段(CPU6)と、前記作成した輪郭補正制御の関係情報と水平同期信号と画素クロック(による水平画素カウンタからの水平画素番号)から、映像信号に対応する画素の画面中心からの距離(水平画素数をHとし水平画素番号をhとしてh−H/2)に比例で水平輪郭の左(5dから8dの輪郭)と右(0dから3dの輪郭)とで補正量を個別に算出し、垂直輪郭の上(5Hから8H)の輪郭と下(0Hから3H)の輪郭とで補正量とを個別に算出する手段(水平画素カウンタ含む画面位置制御部5)と垂直輪郭補正を垂直輪郭の上(5Hから8H)の輪郭と下(0Hから3H)の輪郭とで補正量とを個別ごとと水平輪郭の左(5dから8dの輪郭)と右(0dから3dの輪郭)とで補正量を個別に行う手段(負の掛け算器のN0〜N3,N5〜N8,N10〜N13,N15〜N18と正の掛け算器のP0〜8,P10〜18)とを含むことである。
【0023】
本発明の1実施例の赤外線監視システムの全体構成を示すブロック図の
図4において、1:レンズと反射光学系等の光学系(特に高倍率ズームレンズと反射望遠レンズ)、2,7:撮像部、3,7:撮像装置、4:垂直輪郭補正中心周波数水平輪郭補正中心周波数個別可変機能付信号処理部、5:画面位置制御部、6:CPU、8:輪郭強調可変機能付信号処理部である。
【0024】
本発明の1実施例の多走査線(H)垂直輪郭補正回路の詳細ブロック図の
図1Aと、本発明の1実施例の多画素水平輪郭補正回路の詳細ブロック図の
図1Bと、本発明の1実施例の多走査線(H)垂直色平均回路の詳細ブロック図の
図1Cと、本発明の1実施例の多画素水平色平均回路の詳細ブロック図の
図1Dにおいて、20〜26,40〜46:加算器、27,47:映像レベル判定器、50:CPU、31,51:小振幅大振幅圧縮器、29,49,32,52:掛け算器、M1〜M7:ラインメモリ部、D1〜D7:画素遅延部、N0〜N7,N10〜N17:負の掛け算器、P0〜8,P10〜18:正の掛け算器、である。
【0025】
本発明の1実施例の多走査線(H)垂直輪郭補正信号または多画素水平輪郭補正信号または斜め多画素輪郭補正信号の発生を示す模式図(輪郭後縁が大きく崩れている輪郭補正)の
図2Aにおいて、(a)補正前8d,8H,8d8H,0d8H,信号、(b)補正前7d,7H,7d7H,1d7H,信号、(c)補正前6d,6H,6d6H,2d6H,信号、(d)補正前5d,5H,5d5H,3d5H,信号、(e)補正前4d,4H,4d4H,4d4H,信号、(f)補正前3d,3H,3d3H,5d3H,信号、(g)補正前2d,2H,2d2H,6d2H,信号、(h)補正前1d,1H,1d1H,7d1H,信号、(i)補正前0d0H,0d0H,8d0H,信号号、(j)非対称独立輪郭補正後信号である。
本発明の1実施例の多走査線(H)垂直輪郭補正信号または多画素水平輪郭補正信号または斜め多画素輪郭補正信号の発生を示す模式図(輪郭前縁が後縁が大きく崩れている輪郭補正)の
図2Bにおいて、(a) 補正前8d,8H,8d8H,0d8H,信号、(b)補正前7d,7H,7d7H,1d7H,信号、(c)補正前6d,6H,6d6H,2d6H,信号、(d)補正前5d,5H,5d5H,3d5H,信号、(e)補正前4d,4H,4d4H,4d4H,信号、(f) 補正前3d,3H,3d3H,5d3H,信号、(g) 補正前2d,2H,2d2H,6d2H,信号、(h)補正前1d,1H,1d1H,7d1H,信号、(i)補正前0d0H,0d0H,8d0H,信号、(j)非対称独立輪郭補正後信号)である。
【0026】
つまり、本発明では、
図2Aにおいて、(e)補正前4d,4H,4d4H,4d4H,信号に対して、(a)補正前8d,8H,8d8H,0d8H,信号、(b)補正前7d,7H,7d7H,1d7H,信号、(c)補正前6d,6H,6d6H,2d6H,信号、(d)補正前5d,5H,5d5H,3d5H,信号と(f)補正前3d,3H,3d3H,5d3H,信号、(g)補正前2d,2H,2d2H,6d2H,信号、(h)補正前1d,1H,1d1H,7d1H,信号、(i)補正前0d0H,0d0H,8d0H,信号号、(j)非対称独立輪郭補正後信号とを個別に減算することにより、補正後信号は垂直輪郭と水平輪郭とが放射線方向の外側と内側とそれぞれ個別に再生され、オーバーシュートやアンダーシュートがほとんどなく、放射線方向の外側と内側と個別に輪郭の後縁が劣化しても、放射線方向の外側と内側と個別に輪郭補正することができる。
【0027】
同様に、
図2Bにおいて、(e)補正前4d,4H,4d4H,4d4H,信号、に対して、(a) 補正前8d,8H,8d8H,0d8H,信号、(b)補正前7d,7H,7d7H,1d7H,信号、(c)補正前6d,6H,6d6H,2d6H,信号、(d)補正前5d,5H,5d5H,3d5H,信号と、(f) 補正前3d,3H,3d3H,5d3H,信号、(g) 補正前2d,2H,2d2H,6d2H,信号、(h)補正前1d,1H,1d1H,7d1H,信号、(i)補正前0d0H,0d0H,8d0H,信号、(j)非対称独立輪郭補正後信号)とを個別に減算することにより、補正後信号は垂直輪郭と水平輪郭とが放射線方向の外側と内側とそれぞれ個別に再生され、オーバーシュートやアンダーシュートがほとんどなく、放射線方向の外側と内側と個別に輪郭の前縁が劣化しても、放射線方向の外側と内側と個別に個別に輪郭補正することができる。
【0028】
したがって、本発明の1実施例の多H垂直輪郭補正と多遅延水平輪郭補正とレンズと反射光学系等の光学系品種情報と焦点距離情報と口径比情報等のレンズと反射光学系等の光学系情報から、前記レンズと反射光学系等の光学系の放射線方向の中心向きの輪郭の縁の崩れ方と外向きの輪郭の縁の崩れ方が異なることに対応して画面位置と輪郭補正制御の関係情報 (水平画素番号と輪郭補正の周波数補正量)を作成する手段(CPU6)と、前記作成した輪郭補正制御の関係情報と水平同期信号と画素クロック(による水平画素カウンタからの水平画素番号)から、映像信号に対応する画素の画面中心からの距離(水平画素数をHとし水平画素番号をhとしてh−H/2)に比例で水平輪郭の左(5dから8dの輪郭)と右(0dから3dの輪郭)とで補正量を個別に算出し、垂直輪郭の上(5Hから8H)の輪郭と下(0Hから3H)の輪郭とで補正量とを個別に算出する手段(水平画素カウンタ含む画面位置制御部5)と垂直輪郭補正を垂直輪郭の上(5Hから8H)の輪郭と下(0Hから3H)の輪郭とで補正量とを個別ごとと水平輪郭の左(5dから8dの輪郭)と右(0dから3dの輪郭)とで補正量を個別に行う手段(負の掛け算器のN0〜N3,N5〜N8,N10〜N13,N15〜N18と正の掛け算器のP0〜8,P10〜18)とにより、撮像装置から、オーバーシュートやアンダーシュートを押さえた放射線方向の外側と内側と個別に輪郭の前縁または後縁を個別に輪郭補正した映像信号を出力可能となる。
【実施例2】
【0029】
実施例2は、実施例1との相違のみ説明する。
実施例1では、画素遅延とラインメモリを用いた、映像信号の実時間処理で説明したが、実施例2は、本発明の1実施例の輪郭補正回路路の詳細ブロック図の
図1Eとの
図1Gとの
図1Hのように、(内外個別のななめ輪郭補正のために、)フレームメモリからの読出し信号の加減算で輪郭補正信号を生成する。
フレームメモリのDouble-Data-Rate SDRAM(DDRと略す)と信号処理のField-Programmable Gate Array(FPGAと略す)とが高速なら、加算と減算は単一回路のシリアル動作も可能となる。
つまり本発明では、
図1Cと
図1Dのようにデジタルズームや走査線数変換等の映像信号を記憶させたフレームメモリから読み出した映像信号の処理でもよい。
【0030】
実施例2の斜め輪郭補正部114は、斜め輪郭補正部14Gと、斜め輪郭補正部14Rと、斜め輪郭補正部14Bで構成されている。
斜め輪郭補正部14Gは、補間処理部108から出力されたG信号に斜め輪郭補正を施して、4KG映像信号として出力する。
斜め輪郭補正部14Rは、補間処理部108から出力されたR信号に斜め輪郭補正を施して、4KR映像信号として出力する。
斜め輪郭補正部14Bは、補間処理部108から出力されたB信号に斜め輪郭補正を施して、4KB映像信号として出力する。
【0031】
斜め輪郭補正信号を生成する一実施例について
図1Eとの
図1Gとの
図1Hを用いて説明する。
図1Eと
図1Gと
図1Hは本発明の一実施例の多走査線の斜め輪郭補正部のブロック図である。なお、斜め輪郭補正部は、14R、14G、14Bと共に同じ構成であるため、本説明では、代表として斜め輪郭補正部14Rで行う。
図2Cは
図1Eと
図1Gと
図1Hの説明補助図である。
【0032】
図1Eと
図1Gと
図1Hの補間処理部108の処理において、G1とG2との斜め補間により斜め解像度と変調度とが低下しても、斜め輪郭補正部114で補正を行うことができる。
図1Eと
図1Gと
図1Hにおいて、斜め輪郭補正部14Rは、補正対象の画素として、フレームメモリM0から2H0d(映像データ)を読み出し、加算部P4を介して加算部24に出力する。
斜め輪郭補正部14Rは、2H0d画素に対して左上がりの斜め輪郭補正信号を生成するため、フレームメモリM0から0H−2d、1H−1d、3H+1d、4H+2dを読出し、減算部N0が0H−2dを負の数に変換して加算部20に出力し、減算部N2が1H−1dを負の数に変換して加算部22に出力し、減算部N5が3H+1dを負の数に変換して加算部25に出力し、減算部N7が4H+2dを負の数に変換して加算部27に出力する。
【0033】
また、斜め輪郭補正部14Rは、2H0d画素に対して右上がりの斜め輪郭補正信号を生成するため、フレームメモリM0から0H+2d、1H+1d、3H−1d、4H−2dを読出し、減算部N1が0H+2dを負の数に変換して加算部21に出力し、減算部N3が1H+1dを負の数に変換して加算部23に出力し、減算部N6が3H−1dを負の数に変換して加算部26に出力し、減算部N8が4H−2dを負の数に変換して加算部27に出力する。
なお、CPU部106は、加算部P4と減算部N0,N1,N2,N3,N5,N6,N7,N8のレベルを制御することができる。
【0034】
さらに、斜め輪郭補正部14Rは、加算部20〜27で入力したデータを合算し、小振幅大振幅圧縮制限部31で所定範囲内のレベルに制限または圧縮し、乗算部32で所定レベルに増幅または減衰させ、斜め輪郭補正信号として加算部33に入力し、加算部33で補正対象信号の2H0dと加算して、補正後信号として出力する。
なお、斜め輪郭補正信号のレベルは、2H0dのレベルを映像レベル判定部28で判定した結果とCPU部106からのレベル制御信号を乗算部29で乗算して乗算部32に入力することにより、乗算部32で制御される。
【0035】
なお、
図1Eと
図1Gと
図1HのフレームメモリM0から読み出す個数は9個に限定せず、より多い自然数でも構わない。
フレームメモリM0から読み出す個数が多数でない場合は左右の斜めの輪郭補正が対称となるように、フレームメモリから読み出す個数は4N+1(Nは自然数)が好ましい。
つまり、斜め輪郭補正を簡易で済ませる場合は、フレームメモリM0から読み出す個数は5個でもよい。
【実施例3】
【0036】
実施例3では、実施例1と実施例2との相違点のみ説明する。実施例3では、本発明の他の一実施例に係る補間信号処理の例を示すブロック図(順次走査出力)の
図7の回路を用い、2160/60p(順次走査出力)の本発明の一実施例に係る信号処理の例を示すフローチャートの
図8の様に、前記高解像度撮像装置が色分解光学系と3つ以上の撮像素子を用いる撮像装置であり、(コマ収差補正し赤緑青を用いて輝度高域の生成を行うために、)前記放射方向の輪郭補正を外側と内側とで個別に(少なくとも青について)行う手段を有し、赤緑だけでなく青も用いて、全ての色(赤緑青)の画素信号を用いて輝度信号の高域成分の生成を行う手段を有する。光学低域通過フィルタを高い周波数に設定しても、全ての色(赤緑青)の画素信号を用いるので、モアレの発生が少ない。特に、本発明では、前記高解像度撮像装置がオンチップカラーフィルタ撮像素子を有するか色分解光学系と4つ以上の撮像素子を有し、RG1G2Bをベイヤー配列の空間位置とする撮像装置であり、前記レンズと反射光学系等の光学系が3つの波長で色収差が補正され2つの波長で球面収差・コマ収差が補正されているレンズと反射光学系等の光学系であり、前記放射方向の輪郭補正を外側と内側とで(少なくとも青について)個別に行う手段を有し、RG1G2Bのベイヤー配列の格子状の空間位置の全ての画素信号(RG1G2だけでなく青も用いて)を用いて輝度信号の高域成分の生成を行う手段を有する。光学低域通過フィルタを高い周波数に設定しても、RG1G2Bのベイヤー配列の格子状の空間位置の全ての画素信号を用いるので、モアレの発生が特に少ない。
【0037】
実施例3では、色分解光学系とR(赤)とG(緑)1とG2とB(青)との撮像素子による4板構成とする撮像装置において、G1の撮像素子に対してG2の撮像素子を垂直方向に1/2画素ピッチ水平方向に1/2画素ピッチずらして配置し、
Rの撮像素子を垂直方向にG1の撮像素子と同一位置で水平方向にG2の撮像素子と同一位置に配置しBの撮像素子を垂直方向にG2の撮像素子と同一位置で水平方向にG1の撮像素子と同一位置に配置するか、Rの撮像素子を垂直方向にG2の撮像素子と同一位置で水平方向にG1の撮像素子と同一位置に配置しBの撮像素子を垂直方向にG1の撮像素子と同一位置で水平方向にG2の撮像素子と同一位置に配置するかのどちらか一方とし、
R出力映像信号の低域成分はRの撮像素子の信号とし、B出力映像信号の低域成分はBの撮像素子の信号とし、G出力映像信号の低域成分はG1の撮像素子の信号とG2の撮像素子の信号との平均値とし、
少なくとも(−3dB、−6dB、−9dB、−12dB等スタジオ用途でRB共に高S/Nの)低感度設定、電気的に(6800K、5600K、4800K等の)高色温度または(周囲の)B/(G1+G2)の平均比が(0.5以上等と)小さくない場合はG2の撮像素子の信号とBの撮像素子の信号と交互の信号を偶数走査線の高域信号とし、周囲の)R/(G1+G2)の平均比が(0.5以上等と)小さくない場合はとG1の撮像素子の信号とRの撮像素子の信号と交互の信号を奇数走査線の高域信号とし、少なくとも(+18dB、+24dB、+36dB、+48dB、+60dB等監視用途の)高感度設定、電気的に(3200K、2800K等の)低色温度または(周囲の)B/(G1+G2)の平均比が(0.5以下等と)小さい場合はG1の撮像素子の信号とG2の撮像素子の信号の交互の信号を偶数走査線の高域信号とし、R/(G1+G2)の平均比が(0.5以下等と)小さい、または画面左右端の場合はG1の撮像素子の信号とG2の撮像素子の信号の交互の信号を奇数走査線の高域信号とする。
【0038】
2160/60p(順次走査出力)の本発明の一実施例に係る信号処理の例を示すブロック図の
図2Aと、2160/60i(飛越走査出力)の本発明の一実施例に係る信号処理の例を示すブロック図の
図2Bにおいて、11は補間処理回路であり、21,22,23は低域通過濾波器(LPF)であり、24は高域通過濾波器(HPF)であり、25,26,27,28,29,30は加算器であり、31,32,33は減算器であり、34,35,36,37,38は画素遅延器であり、39はビットシフト部、41,42,43,44,45,46,47は選択器である。
【0039】
以下詳細な構成と動作を説明する。本発明の一実施例に係る撮像装置の構成例を示すブロック図の
図1において、レンズと反射光学系等の光学系1で収束された入射光は撮像装置2の4板用の色分解光学系5でR(赤)とG(緑)1とG2とB(青)とに色分解光学され、周辺回路を集積したCMOS撮像素子又は周辺回路を集積したCCD撮像素子の第1の緑の(G1)撮像素子3G1と、第2の緑の(G2)撮像素子3G2と、赤の(R)撮像素子3Rと、青の(B)撮像素子3Bとにより、4組の1080/60pの撮像信号となり、CPU7で制御されるFPGAで構成される補間処理回路含む映像信号処理回路4で、2160/60p(順次走査出力)又は
図2160/60i(飛越走査出力)に変換される。
【0040】
本発明の一実施例に係る撮像装置の構成例を示すブロック図の
図1と、本発明の一実施例に係る撮像装置の撮像素子の貼り合せ位置を示す模式図の
図4と、2160/60p(順次走査出力)の本発明の一実施例に係る信号処理の例を示すブロック図の
図2Aと、2160/60i(飛越走査出力)の本発明の一実施例に係る信号処理の例を示すブロック図の
図2Bにおいて、補間処理回路11では、40は1/2分周器であり撮像素子画素クロックを分周する。
そして、補間処理回路11では、G1の撮像素子3G1とG1の撮像素子に対して垂直方向に1/2画素ピッチ水平方向に1/2画素ピッチずらして配置したG2の撮像素子3G2と、G1の撮像素子の信号とG2の撮像素子の信号とを(撮像素子画素クロックの1/2分周クロックにより)交互に選択する第1の選択器の41と、第1の選択器の41の出力信号の低域成分を通過させる第1の低域通過濾波器(以下LPF)と、第1のLPFの21の出力信号を二値化させる第1の判定器と、第1の選択器の41の出力信号を遅延させる第1の画素遅延器の34と、を有する。
【0041】
G1の撮像素子3G1に対して垂直方向に同一位置で水平方向に1/2画素ピッチずらして配置したRの撮像素子3RとG1の撮像素子に対して垂直方向に1/2画素ピッチ水平方向に同一位置に配置したBの撮像素子3Bと、G1の撮像素子3G1の信号とRの撮像素子3Rの信号との交互に選択する第2の選択器の42と、第2の選択器の42の出力信号を遅延させる第2の画素遅延器の35と、G2の撮像素子3G2の信号とBの撮像素子3Bの信号との交互に選択する第2の選択器の42と、第2の選択器の42の出力信号を遅延させる第3の画素遅延器の36と、を有するか又は G1の撮像素子3G1に対して垂直方向に同一位置で水平方向に1/2画素ピッチずらして配置したBの撮像素子3BとG1の撮像素子に対して垂直方向に1/2画素ピッチ水平方向に同一位置に配置したRの撮像素子3Rと、G1の撮像素子3G1の信号とBの撮像素子3Bの信号との交互に選択する第2の選択器の42と、第2の選択器の42の出力信号を遅延させる第2の遅延器の35と、G2の撮像素子3G2の信号とRの撮像素子3Rの信号との交互に選択する第2の選択器の42と、第2の選択器の出力信号を遅延させる第3の画素遅延器の37とを有するかのどちらか一方を有し、
Rの撮像素子3Rの信号の低域成分を通過させる第2のLPFの22と、Bの撮像素子3Bの信号の低域成分を通過させる第3のLPFの23と、第1のLPFの21の出力と第2のLPFの22の出力との差を計算する第1の減算器の31と、前記第1の減算器の31の出力にR/(G1+G2)の平均比での選択をオフセットさせるR/(G1+G2)の平均比オフセット信号を加算する第1の加算器の25と、を有する。
ここで、LPFの21と22と23の様に同様の処理のFPGA実装時は、消費電力の少なくなる低速の並列処理でもゲート数が少なくなる時分割処理でもよい
【0042】
第1のLPFの出力と第3のLPFの出力との差を計算する第2の減算器の32と前記第2の減算器の32の出力にB/(G1+G2)の平均比での選択をオフセットさせるB/(G1+G2)の平均比オフセット信号を加算する第2の加算器の26の組合せ又は、Bの撮像素子信号のゲイン又はB映像信号のゲインを制御するBゲイン制御信号とGの撮像素子信号のゲイン又はG映像信号のゲインを制御するGゲイン制御信号と、前記Bゲイン制御信号と前記Gゲイン制御信号との差を計算する減算器と前記減算器出力にゲインでの選択をオフセットさせるゲインオフセット信号を加算する第2の加算器の26の組合せの少なくとも一方の組合せを有し、第1の加算器の出力信号により第1の遅延器の34の(G1+G2)出力信号と第2の遅延器の35の(G1+R)出力信号とを選択する第5の選択器の45と、第2の加算器の26の出力信号により第1の遅延器の(G1+G2)出力信号と第3の遅延器の36の(G2+B)出力信号とを選択する第6の選択器の46と、走査線奇数偶数フラグ信号により第5の選択器の45の出力信号と第6の選択器の46の出力信号とを選択する第7の選択器の47と、第7の選択器の47の出力信号の高域成分を通過させる高域通過濾波器(以下HPF)24とを有し、前記HPFの出力信号を前記第1のLPFの出力信号と前記第2のLPFの出力信号と前記第3のLPFの出力信号とに加算する第4の加算器の28と第5の加算器の29と第6の加算器の30とを有する。
【0043】
また、本発明の一実施例に係る信号処理の例を示すブロック図の
図2Aと
図2Bの補間処理回路の11内の21,22,23の低域通過濾波器(LPF)において、LPF21の様に、画素遅延器38と加算器の26のビットシフト部の39で、低域通過濾波を実現している。
さらに、本発明の一実施例に係る信号処理の例を示すブロック図の
図2Aと
図2Bの補間処理回路の11内の高域通過濾波器(HPF)の24において、画素遅延器36と減算器の33で、高域通過濾波を実現している。
【0044】
2160/60p(順次走査出力)の本発明の一実施例に係る信号処理の例を示すブロック図の
図2Aにおいて、33,50は減算器であり、51,の52は比較器であり、の53,の54は論理和であり、BゲインがBゲイン制限信号以下ならGゲインに関わらず、G2+B信号を偶数走査線の高域信号にしている。
【0045】
さらに、本発明の一実施例に係る撮像装置の撮像素子の貼り合せ位置を示す模式図の
図4(a)の様に貼り合せしたRとG1とG2とBとの撮像素子を順次走査させる。そして、2160/60i(飛越走査出力)の本発明の一実施例に係る信号処理の例を示すブロック図の
図2Bにおいて、上記偶数走査線の高域信号と上記奇数走査線の高域信号とを加算する手段の加算器の47と高域通過濾波器(HPF)の24と、上記加算する手段の出力信号を飛越走査の出力映像信号に加算する手段の加算器の27と28と29とを有する。
【0046】
本発明の一実施例に係る信号処理の例を示すフローチャートの
図3Aと
図3Bにおいて、60は「開始」であり、61は「Bゲインが十分低いか」であり、62は「 (色温度は4800K以上等)BゲインがGゲインと大差ないか」であり、63は「(芝生でない等)平均のRレベルが平均のGレベルと大差ないか」であり、64は「G2とBと交互にした信号の高域信号を偶数数走査線の高域信号にする」であり、65は「G1とG2と交互にした信号の高域信号を偶数走査線の高域信号にする」であり、66は「(芝生でない等)平均のRレベルが平均のGレベルと大差ないか」であり、67は「G1とRと交互にした信号の高域信号を奇数走査線の高域信号にする」であり、68は「G1とRと交互にした信号の高域信号を奇数走査線の高域信号にする」であり、72は「終了」である。
ここで、フローチャートの
図3Aと
図3Bにおいて、61,62,63,64,65の処理と66,67,68の処理とはどちらが先でもよい。
【0047】
2160/60p(順次走査出力)の本発明の一実施例に係る信号処理の例を示すフローチャートの
図3Aでは、69は「奇数走査線か」であり、70は「RGBの低域信号に奇数走査線の高域信号を加算した信号をRGBの映像信号にする」であり、71は「RGBの低域信号に偶数走査線の高域信号を加算した信号をRGBの映像信号にする」である。
【0048】
2160/60i(飛越走査出力)の本発明の一実施例に係る信号処理の例を示すフローチャートの
図3Bでは、73は「RGBの低域信号に偶数走査線の高域信号と奇数走査線の高域信号とを加算した信号をRGBの映像信号にする」てある。
【0049】
本発明は、本発明の1実施例の輪郭補正回路の詳細ブロック図の
図1Aから
図1Dの減算器やラインメモリ部や画素遅延部の個数は7ヶに限定せず、回路規模が許容されるなら、より多い自然数でも構わない。
加算器やラインメモリ部や画素遅延部の個数が7ヶ以上でない場合は輪郭補正が対称となるように、加算器やラインメモリ部や画素遅延部の個数は偶数が好ましい。
つまり、水平輪郭(変調度)補正と垂直輪郭(変調度)補との個別補正を簡易で済ませる場合は、フレームメモリから読み出す個数は4ケや6ケが好ましい。
この出願は、2014年9月26日に出願された日本出願特願2014−196595を基礎として優先権の利益を主張するものであり、その開示の全てを引用によってここに取り込む。