(58)【調査した分野】(Int.Cl.,DB名)
R,G1,G2,Bの撮像素子から出力されるR,G1,G2,Bの画素信号を取得し、前記G1画素信号と前記G2画素信号から変調度補正信号を生成し、該生成した変調度補正信号を前記R画素信号および前記B画素信号に加算し、
前記変調度補正信号を画面中央と画面左右端での放射方向と画面左右端での円周方向と画面対角四隅での左上斜め方向と画面対角四隅での右上斜め方向の画面位置に応じて生成することを特徴とする撮像装置の変調度補正方法。
【発明を実施するための形態】
【0020】
以下、本発明の一実施例に係る撮像装置について図面を参照して説明する。
図1Aは本発明の一実施例に係る撮像装置の構成例1を示すブロック図である。
図1Aにおいて、撮像装置102は、色分解光学系105、G1(Green1、第1緑色)撮像素子103G1、G2(Green2、第2緑色)撮像素子103G2、R(Red、赤色)撮像素子103R、B(Blue、青色)撮像素子103B、映像信号処理部104、撮像素子駆動部190、画面位置制御部105、CPU(Central Processing Unit)部106で構成されている。
【0021】
撮像装置102は、入射光100がレンズ100で結像され、色分解光学系105で4板用に色分解され、G1(第1緑色)撮像素子103G1とG2(第2緑色)撮像素子103G2とR(赤色)撮像素子103RおよびB(青色)撮像素子103Bで光電変換されて4組の1080/60pの撮像信号となり、CPU部106で制御されるFPGA(Field Programmable Gate Array)等で構成される補間処理回路含む映像信号処理部104で、2160/60p(順次走査出力)又は
図2160/60i(飛越走査出力)に変換される。
図1Aの映像出力は、例えば、2本の3GのHD−SDI(High Definition Serial Digital Interface)スクウェア、又はバイラインの4Kの4:4:4である。
【0022】
図1Bは本発明の一実施例に係る撮像装置の構成例2を示すブロック図である。
図1Bにおいて、撮像装置102は、撮像部(カメラヘッド)102Aと制御部(CCU、Camera Control Unit)102Bで構成され、撮像部102Aと制御部102B間を例えば、14bitのG1G2と12bitのRBを60p 4:2:2を2本の6GのSDIに変換して伝送する。
【0023】
撮像部102Aは、入射光100がレンズ100で結像され、色分解光学系105で4板用に色分解され、G1(第1緑色)撮像素子103G1とG2(第2緑色)撮像素子103G2とR(赤色)撮像素子103RおよびB(青色)撮像素子103Bで光電変換され、信号処理部108で各種信号処理が施され、HD−SDIの映像信号を制御部102Bに出力する。
撮像部102Aは、CPU部107で制御される。
【0024】
制御部102Bは、撮像部102Aから出力されたHD−SDIの映像信号を映像信号処理部104で各種信号処理が施され、HD−SDI等の映像信号を出力する。
制御部102Bの映像信号処理部104から出力される映像信号は、例えば、2本の6GのHD−SDIスクウェア、又はバイラインの4Kの4:4:4である。
【0025】
図1Cは本発明の一実施例に係る撮像装置の構成例3を示すブロック図である。
図1Cにおいて、撮像装置102は、撮像部(カメラヘッド)102Aと制御部(CCU、Camera Control Unit)102Bで構成され、撮像部102Aと制御部102B間を例えば、10bitのG1G2をY1Y2とし、10bitのRBをPbPrとして10bitの60p 4:1:1を2本の3GのSDIに変換して伝送する。
制御部102Bの映像信号処理部104から出力される映像信号は、例えば、2本の3GのHD−SDIスクウェア、又はバイラインの4Kの4:1:1である。
【0026】
(撮像素子の貼り合せ位置)
次に、本発明の一実施例に係る撮像装置の撮像素子の貼り合せ位置に関し、
図3Aと
図3Bを用いて説明する。
図3Aは本発明の一実施例に係る撮像装置の撮像素子の貼り合せ位置を示す模式図である。
図3AはRB撮像素子がG1撮像素子と同位置の貼り合せの4板の撮像素子の各画素の重なり具合を示している。
図3Bは本発明の一実施例に係る撮像装置の撮像素子の貼り合せ位置を示す模式図である。
図3BはRB撮像素子がG1撮像素子とG2撮像素子の中央位置の貼り合せの4板の撮像素子の各画素の重なり具合を示している。
【0027】
(補間処理部の動作説明)
次に、本発明の一実施例である補間処理について、
図2Aを用いて説明する。
図2Aは本発明の一実施例に係る撮像装置の少ないRBの画素信号をG1G2の画素信号で補間する補間処理部の動作を説明するためのブロック図である。
図2Aは映像信号処理部104の詳細構成を示すブロックである。
図2Aにおいて、映像信号処理部104は、倍率色収差と貼合誤差補正部10と補間処理部11で構成されている。
倍率色収差と貼合誤差補正部10は、入力されたG1信号、G2信号、R信号、B信号に対して、レンズで発生する倍率色収差の補正と、撮像素子と色分解光学系105の貼り合せ誤差の補正を行い、補間処理部11に出力する。
【0028】
補間処理部11は、入力されたG1信号とG2信号を選択部41で加算してG1+G2信号を生成し、G映像信号として出力する。
LPF(Low Pass Filter)部21は、R信号の特定周波数より高い周波数を減衰させると共にR映像信号のタイミングをG映像信号に合わせるものである。
LPF部21は、R信号を画素遅延部31で所定時間遅延させて加算部61と選択部42に出力する。
加算部61は、R信号と所定時間遅延させたR信号を加算して、R信号の特定周波数より高い周波数を減衰させ、ビットシフト部23に出力する。
ビットシフト部23は、高域減衰させたR信号のレベルをG映像信号に合わせるため、所定ビットシフトさせ、加算部63に出力する。
加算部63は、LPF部21から出力されたR信号と加算部65から出力された補間信号と加算して、選択部42に出力する。
選択部42は、加算部63から出力されたR信号と画素遅延部31から出力されたR信号を撮像素子画素クロック信号で切り替えてR映像信号として出力する。
【0029】
LPF部22は、LPF部21と同様に、B信号の特定周波数より高い周波数を減衰させると共にB映像信号のタイミングをG映像信号に合わせるものである。
LPF部22は、B信号を画素遅延部32で所定時間遅延させて加算部62と選択部43に出力する。
加算部62は、B信号と所定時間遅延させたB信号を加算して、B信号の特定周波数より高い周波数を減衰させ、ビットシフト部24に出力する。
ビットシフト部24は、高域減衰させたB信号のレベルをG映像信号に合わせるため、所定ビットシフトさせ、加算部64に出力する。
加算部64は、LPF部22から出力されたB信号と加算部65から出力された補間信号と加算して、選択部43に出力する。
選択部43は、加算部64から出力されたB信号と画素遅延部32から出力されたB信号を撮像素子画素クロック信号で切り替えてB映像信号として出力する。
LPF21,22,23の処理でFPGA実装時は、消費電力の少なくなる低速の並列処理でもゲート数が少なくなる時分割処理でもよい。
【0030】
次に、補間信号の生成のブロックについて説明する。
G1n,m+1は乗算部44と画素遅延部33とラインメモリ部25に入力する。
乗算部44は、入力されたG1n,m+1のレベルを画面位置制御部105の補間方向制御信号に応じて増減させて、加算部65に出力する。なお、nとmは整数とする。
加算部65は、乗算部44の出力信号と加算部66の出力信号とを加算して、加算部63および加算部64に出力する。
【0031】
画素遅延部33は、入力されたG1n,m+1を遅延させてG1n,mとし、乗算部45と画素遅延部34に出力する。
乗算部45は、入力されたG1n,mのレベルを画面位置制御部105の補間方向制御信号に応じて増減させて、加算部66に出力する。
加算部66は、乗算部45の出力信号と加算部67の出力信号とを加算して、加算部65に出力する。
【0032】
画素遅延部34は、入力されたG1n,mを遅延させてG1n,m-1とし、乗算部46に出力する。
乗算部46は、入力されたG1n,m-1のレベルを画面位置制御部105の補間方向制御信号に応じて増減させて、加算部67に出力する。
加算部67は、乗算部46の出力信号と加算部68の出力信号とを加算して、加算部66に出力する。
【0033】
ラインメモリ部25は、入力されたG1n,m+1を1走査線分(1H)遅延させてG1n-1,m+1とし、乗算部47と画素遅延部35に出力する。
乗算部47は、入力されたG1n-1,m+1のレベルを画面位置制御部105の補間方向制御信号に応じて増減させて、加算部68に出力する。
加算部68は、乗算部47の出力信号と加算部69の出力信号とを加算して、加算部67に出力する。
【0034】
画素遅延部35は、入力されたG1n-1,m+1を遅延させてG1n-1,mとし、乗算部48と画素遅延部36に出力する。
乗算部48は、入力されたG1n-1,mのレベルを画面位置制御部105の補間方向制御信号に応じて増減させて、加算部69に出力する。
加算部69は、乗算部48の出力信号と加算部70の出力信号とを加算して、加算部68に出力する。
【0035】
画素遅延部36は、入力されたG1n-1,mを遅延させてG1n-1,m-1とし、乗算部49に出力する。
乗算部49は、入力されたG1n-1,m-1のレベルを画面位置制御部105の補間方向制御信号に応じて増減させて、加算部70に出力する。
加算部70は、乗算部49の出力信号と加算部71の出力信号とを加算して、加算部69に出力する。
【0036】
G2n,m+1は乗算部50と画素遅延部37とラインメモリ部26に入力する。
乗算部50は、入力されたG2n,m+1のレベルを画面位置制御部105の補間方向制御信号に応じて増減させて、加算部71に出力する。
加算部71は、乗算部50の出力信号と加算部72の出力信号とを加算して、加算部70に出力する。
【0037】
画素遅延部37は、入力されたG2n,m+1を遅延させてG2n,mとし、乗算部51と画素遅延部38に出力する。
乗算部51は、入力されたG2n,mのレベルを画面位置制御部105の補間方向制御信号に応じて増減させて、加算部72に出力する。
加算部72は、乗算部51の出力信号と加算部73の出力信号とを加算して、加算部71に出力する。
【0038】
画素遅延部38は、入力されたG2n,mを遅延させてG2n,m-1とし、乗算部52に出力する。
乗算部52は、入力されたG2n,m-1のレベルを画面位置制御部105の補間方向制御信号に応じて増減させて、加算部73に出力する。
加算部73は、乗算部52の出力信号と加算部74の出力信号とを加算して、加算部72に出力する。
【0039】
ラインメモリ部26は、入力されたG2n,m+1を1走査線分(1H)遅延させてG2n-1,m+1とし、乗算部53と画素遅延部39に出力する。
乗算部53は、入力されたG2n-1,m+1のレベルを画面位置制御部105の補間方向制御信号に応じて増減させて、加算部74に出力する。
加算部74は、乗算部53の出力信号と加算部75の出力信号とを加算して、加算部73に出力する。
【0040】
画素遅延部39は、入力されたG2n-1,m+1を遅延させてG2n-1,mとし、乗算部54と画素遅延部40に出力する。
乗算部54は、入力されたG2n-1,mのレベルを画面位置制御部105の補間方向制御信号に応じて増減させて、加算部75に出力する。
加算部75は、乗算部54の出力信号と乗算部55の出力信号とを加算して、加算部74に出力する。
【0041】
画素遅延部40は、入力されたG2n-1,mを遅延させてG2n-1,m-1とし、乗算部55に出力する。
乗算部55は、入力されたG2n-1,m-1のレベルを画面位置制御部105の補間方向制御信号に応じて増減させて、加算部75に出力する。
【0042】
次に、画面位置制御部105の動作について説明する。
画面位置制御部105は、撮像素子駆動部190から出力された水平同期信号と画素クロックと垂直同期信号を入力する。
また、画面位置制御部105は、CPU部106からレンズ品種情報と、焦点距離情報と、口径比情報を取得する。
さらに、画面位置制御部105は、走査線数Vと走査線番号vと水平画素数Hと水平画素番号hとから、画面中心からの距離(v−V/2)(h−H/2)、簡易には(h−H/2)の6乗、8乗又は10乗で変調度補正量を近似した、走査線番号と水平画素番号と補間方向の関係情報と、水平画素カウンタからの水平画素番号から補間方法を算出して補間を制御する。
簡易的には、画面中央では隣接補間と水平垂直で差分をとり、非点収差の多い画面対角では斜めで差分をとり、放射方向の変調度が低い左右端では垂直のみ差分をとり、円周方向の変調度が低い左右端では水平のみ差分をとり、途中は中心からの距離の8乗に比例させる。
【0043】
(1/2分周部追加の補間処理部の動作説明)
図2Bは本発明の一実施例に係る撮像装置の伝送で間引きされたRBの画素信号をG1G2の画素信号で補間する補間処理部の動作を説明するためのブロック図である。
図2Aとの相違点は、1/2分周部40を有することである。
1/2分周部40は、伝送で間引きされたRBの画素信号に対応させるため、撮像素子画素クロック信号を1/2分周し、選択部42,43の切り替え制御を行う。
【0044】
(実施例1)
次に、本発明の一実施例に係る撮像装置の撮像素子の貼り合せの4板の撮像素子の各画素中心の空間位置と画面中央付近でのBの画素補間について、
図1A、
図2A、
図4A〜
図4E、
図7を用いて説明する。
図4Aは本発明の一実施例に係る撮像装置の撮像素子の貼り合せの4板の撮像素子の各画素中心の空間位置と画面中央付近でのBの画素補間を示す模式図である。
RB撮像素子がG1撮像素子と同位置の貼り合せである。
なお、R撮像素子103Rの貼り合せ位置と画素補間とは、B撮像素子103Bと同位置で同様の画素補間なので、
図4AでのR画素の図示を省略する。
【0045】
本発明の一実施例の画素補間は、画面中央では隣接補間と水平垂直で差分をとり、非点収差の多い画面対角では斜めで差分をとり、放射方向の変調度が低い左右端では垂直のみ差分をとり、円周方向の変調度が低い左右端では水平のみ差分をとり、途中は中心からの距離の8乗に比例させることである。
【0046】
図1Aにおいて、レンズ101は、3つの波長で色収差が補正され2つの波長で球面収差・コマ収差が補正されている(アッベが命名したアポクロマートで非点収差が大きい)レンズを用いる。
撮像装置102は、色分解光学系105と、R(赤色)撮像素子103Rと、G1(第1緑色)撮像素子103G1と、G2(第2緑色)撮像素子103G2と、B(青色)撮像素子103Bによる4板構成とし、G1撮像素子103G1に対してG2撮像素子103G2を垂直方向に1/2画素ピッチ水平方向に1/2画素ピッチずらして配置する。
【0047】
図2Aにおいて、G出力映像信号は、G1の撮像素子103G1のG1信号と、G2の撮像素子103G2のG2信号との切り替えを選択部41で行うことにより生成する。
【0048】
次に、画面位置による補間信号の生成方法について説明する。
画面中央の補間信号について、
図4Aと
図2Aを用いて説明する。
補間信号は、
図2Aの乗算部44〜55を画面位置制御部から出力する補間方向制御信号で制御することにより生成する。
【0049】
図4Aにおいて、補間信号は、画面中央では隣接補間と水平垂直で差分をとり、非点収差の多い画面対角では斜めで差分をとり、放射方向の変調度が低い左右端では垂直のみ差分をとり、円周方向の変調度が低い左右端では水平のみ差分をとり、途中は中心からの距離の8乗に比例させる。
【0050】
B画素信号は、(式1)で補間することができる。補間後のB画素信号をBoとする。
Bo=(Bn,m+Bn,m+1)/2
+(G2n,m-1+G1n,m+G1n,m+1+G2n,m+1)/2
−(G2n-1,m-1+G2n-1,m+1+G2n,m+G2n,m+1)/4
−(G1n-1,m+G1n-1,m+1+G1n+1,m+1+G1n+1,m+1)/4
・・・・ (式1)
【0051】
R画素信号は、(式2)で補間することができる。補間後のR画素信号をRoとする。
Ro=(Rn,m+Rn,m+1)/2
+(G2n,m-1+G1n,m+G1n,m+1+G2n,m+1)/2
−(G2n-1,m-1+G2n-1,m+1+G2n,m+G2n,m+1)/4
−(G1n-1,m+G1n-1,m+1+G1n+1,m+1+G1n+1,m+1)/4
・・・・ (式2)
【0052】
次に、画面左右端での放射(水平)方向の変調度の低い場所での補間信号について、
図4Bと
図2Aを用いて説明する。
図4Bは、本発明の一実施例に係る撮像装置の撮像素子の貼り合せの4板の撮像素子の各画素中心の空間位置と画面左右端での放射(水平)方向の変調度の低いBの画素補間の映像信号の位相位置を示す模式図である。なお、Rの位置はBと同位置なので省略する。
【0053】
B画素信号は、(式3)で補間することができる。補間後のB画素信号をBoとする。
Bo=(Bn,m+Bn,m+1)/2
+(G2n,m-1+G1n,m+1+G1n,m+1+G2n,m+1)/2
−(G1n-1,m+G1n-1,m+1+G1n+1,m+1+G1n+1,m+1)/4
・・・・ (式3)
【0054】
R画素信号は、(式4)で補間することができる。補間後のR画素信号をRoとする。
Ro=(Rn,m+Rn,m+1)/2
+(G2n,m-1+G1n,m+1+G1n,m+1+G2n,m+1)/2
−(G1n-1,m+G1n-1,m+1+G1n+1,m+1+G1n+1,m+1)/4
・・・・ (式4)
【0055】
次に、画面左右端での円周(垂直)方向の変調度の低い場所での補間信号について、
図4Cと
図2Aを用いて説明する。
図4Cは、本発明の一実施例に係る撮像装置の撮像素子の貼り合せの4板の撮像素子の各画素中心の空間位置と画面左右端での円周(垂直)方向の変調度の低いBの画素補間と映像信号の位相位置を示す模式図である。なお、Rの位置はBと同位置なので省略する。
【0056】
B画素信号は、(式5)で補間することができる。補間後のB画素信号をBoとする。
Bo=(Bn,m+Bn,m+1)/2
+(G2n,m-1+G1n,m+G1n,m+1+G2n,m+1)/2
−(G1n-1,m+G1n-1,m+1+G1n+1,m+G1n+1,m+1)/4 )
・・・・ (式5)
【0057】
R画素信号は、(式6)で補間することができる。補間後のR画素信号をRoとする。
Ro=(Rn,m+Rn,m+1)/2
+(G2n,m-1+G1n,m+G1n,m+1+G2n,m+1)/2
−(G1n-1,m+G1n-1,m+1+G1n+1,m+G1n+1,m+1)/4 )
・・・・ (式6)
【0058】
次に、画面対角四隅での左上斜め方向の変調度が高く右上斜め方向の変調度の低い場所での補間信号について、
図4Dと
図2Aを用いて説明する。
図4Dは、本発明の一実施例に係る撮像装置の撮像素子の貼り合せの4板の撮像素子の各画素中心の空間位置と画面対角四隅での左上斜め方向の変調度が高く右上斜め方向の変調度の低いBの画素補間の映像信号の位相位置を示す模式図である。なお、Rの位置はBと同位置なので省略する。
【0059】
B画素信号は、(式7)で補間することができる。補間後のB画素信号をBoとする。
Bo=(Bn,m+Bn,m+1)/2
+(G2n,m-1+G1n,m+G1n,m+1+G2n,m+1)/2
−(G2n-1,m-1+G2n,m+1)/4
−(G1n-1,m+G1n+1,m+1)/4
・・・・ (式7)
【0060】
R画素信号は、(式8)で補間することができる。補間後のR画素信号をRoとする。
Ro=(Rn,m+Rn,m+1)/2
+(G2n,m-1+G1n,m+G1n,m+1+G2n,m+1)/2
−(G2n-1,m-1+G2n,m+1)/4
−(G1n-1,m+G1n+1,m+1)/4
・・・・ (式8)
【0061】
次に、画面対角四隅での右上斜め方向の変調度が高く左上斜め方向の変調度の低い場所での補間信号について、
図4Eと
図2Aを用いて説明する。
図4Eは、本発明の一実施例に係る撮像装置の撮像素子の貼り合せの4板の撮像素子の各画素中心の空間位置と画面対角四隅での右上斜め方向の変調度が高く左上斜め方向の変調度の低いBの画素補間の映像信号の位相位置を示す模式図である。なお、Rの位置はBと同位置なので省略する。
【0062】
B画素信号は、(式9)で補間することができる。補間後のB画素信号をBoとする。
Bo=(Bn,m+Bn,m+1)/2
+(G2n,m-1+G1n,m+G1n,m+1+G2n,m+1)/2
−(G2n-1,m+1+G2n,m)/4
−(G1n-1,m+1+G1n+1,m)/4
・・・・ (式9)
【0063】
R画素信号は、(式10)で補間することができる。補間後のR画素信号をRoとする。
Ro=(Rn,m+Rn,m+1)/2
+(G2n,m-1+G1n,m+G1n,m+1+G2n,m+1)/2
−(G2n-1,m+1+G2n,m)/4
−(G1n-1,m+1+G1n+1,m)/4
・・・・ (式10)
【0064】
次に、実施例1の詳細な動作について
図7を用いて説明する。
図7は
図4A〜
図4Eの動作を説明するためのフローチャートである。
画面位置制御部105は、画像位置と変調度を検出(S701)し、S702の処理に進む。
S702の処理では、画像信号が画面中央であるか否かを判定し、画面中央である場合(YES)にはS703の処理に進み、画面中央でない場合(NO)にはS704の処理に進む。
S703の処理では、補間処理部11を制御して、補間処理部11に(式1)と(式2)の信号処理を実行させ、S701の処理に戻る。
【0065】
S704の処理では、画像信号が画像左右端での放射(水平)方向で変調度が低いか否かを判定し、画像信号が画面左右端での放射(水平)方向で変調度が低い場合(YES)にはS705の処理に進み、画像信号が画面左右端での放射(水平)方向で変調度が低くくない場合(NO)にはS706の処理に進む。
S705の処理では、補間処理部11を制御して、補間処理部11に(式3)と(式4)の信号処理を実行させ、S701の処理に戻る。
【0066】
S706の処理では、画像信号が画面左右端での円周(垂直)方向で変調度が低いか否かを判定し、画像信号が画面左右端での円周(垂直)方向で変調度が低い場合(YES)にはS707の処理に進み、画像信号が画面左右端での円周(垂直)方向で変調度が低くくない場合(NO)にはS708の処理に進む。
S707の処理では、補間処理部11を制御して、補間処理部11に(式5)と(式6)の信号処理を実行させ、S701の処理に戻る。
【0067】
S708の処理では、画像信号が画面対角四隅での左上斜め方向の変調度が高く、右上斜め方向の変調度が低いか否かを判定し、画面対角四隅での左上斜め方向の変調度が高く、右上斜め方向の変調度が低い場合(YES)にはS709の処理に進み、画面対角四隅での左上斜め方向の変調度が高く、右上斜め方向の変調度が低くくない場合(NO)にはS710の処理に進む。
S709の処理では、補間処理部11を制御して、補間処理部11に(式7)と(式8)の信号処理を実行させ、S701の処理に戻る。
【0068】
S710の処理では、画像信号が画面対角四隅での右上斜め方向の変調度が高く、左上斜め方向の変調度が低いか否かを判定し、画面対角四隅での右上斜め方向の変調度が高く、左上斜め方向の変調度が低い場合(YES)にはS711の処理に進み、画面対角四隅での右上斜め方向の変調度が高く、左上斜め方向の変調度が低くくない場合(NO)にはS701の処理に戻る。
S711の処理では、補間処理部11を制御して、補間処理部11に(式9)と(式10)の信号処理を実行させ、S701の処理に戻る。
【0069】
(実施例1の説明)
次に、実施例1について、
図4A〜
図4Eと
図2Aを用いて説明する。
実施例1は、3つの波長で色収差が補正され2つの波長で球面収差・コマ収差が補正されている(アッベが命名したアポクロマートで非点収差が大きい)レンズを用い、色分解光学系とR(赤)とG1(緑)とG2とB(青)との撮像素子による4板構成とし、G1の撮像素子に対してG2の撮像素子を垂直方向に1/2画素ピッチ水平方向に1/2画素ピッチずらして配置する撮像装置において、
Rの撮像素子とBの撮像素子をG1の撮像素子と概略同一位置に配置し、
G出力映像信号はG1の撮像素子の信号とG2の撮像素子の信号との切替とする手段(選択部)とRの画素とBの画素を周囲画素から補間する手段とを有し、
画面中央のRn,mとRn,m+1との間の補間するRの画素(Ro)の信号の平均((Rn,m+Rn,m+1)/2)を算出する手段(画素遅延部と加算器とビットシフト部)と、前記画面中央の補間するRの画素に隣接するG1の画素の信号とG2の画素の信号の平均((G2n,m-1+G1n,m+G1n n,m+1+G2n,m+1)/2)を算出し加算する手段(ラインメモリと画素遅延部と正負掛け算器と加算器)と、前記画面中央の補間するRの画素の周囲2画素目のG1の画素の信号とG2の画素の信号の平均((G2n-1,m-1+G2n-1,m+1+G2n,m+G2n,m+1)/4+(G1n-1,m+G1n-1,m+1+G1n+1,m+G1n+1,m+1)/4)とを減算する手段(ラインメモリと画素遅延部と正負掛け算器と加算器)と、画面中央の補間するBの画素に隣接するBの画素の信号を平均する手段と、前記画面中央のBn,mとBn,m+1との間の補間するBの画素(Bo)は、隣接するBの画素の平均((Bn,m+Bn,m+1)/2)を算出する手段(画素遅延部と加算器とビットシフト部)と、前記画面中央の補間するBの画素の隣接するG1の画素の信号とG2の画素の信号を平均し加算する手段と、前記画面中央の補間するBの周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算する手段と、
放射方向の変調度が低い画面左右端での補間するRの画素は隣接するRの画素の信号の平均する手段(画素遅延部と加算器とビットシフト部)と、前記放射方向の変調度が低い画面左右端での補間するRの画素に隣接するG1の画素の信号とG2の画素の信号の平均を加算する手段(ラインメモリと画素遅延部と正負掛け算器と加算器)と、前記放射方向の変調度が低い画面左右端での補間するRの画素の上と下との周囲2画素目のG1の画素の信号とG2の画素の信号の平均(G1n-1,m+G1n-1,m+1+G1n+1,m+G1n+1,m+1)/4)を算出し減算する手段(ラインメモリと画素遅延部と正負掛け算器と加算器)と、放射方向の変調度が低い画面左右端での補間するBの画素の隣接するBの画素を平均する手段と、前記放射方向の変調度が低い画面左右端での補間するBに隣接するG1の画素の信号とG2の画素の信号を平均し加算する手段と、前記放射方向の変調度が低い画面左右端での補間するBの上と下との周囲2画素目のG1の画素の信号とG2の画素の信号を平均し減算する手段と、
円周方向の変調度が低い画面左右端でのRの画素の隣接するRの画素の信号を平均する手段と、前記円周方向の変調度が低い画面左右端でのRの画素に隣接するG1の画素の信号とG2の画素の信号を平均し加算する手段と、前記円周方向の変調度が低い画面左右端でのRの画素の右と左との周囲2画素目のG1の画素の信号とG2の画素の信号の平均((G2n-1,m-1+G2n-1,m+1+G2n,m+G2n,m+1)/4)を算出し減算する手段と、前記円周方向の変調度が低い画面左右端でのBの画素に隣接するBの画素を平均する手段と、前記円周方向の変調度が低い画面左右端でのBの画素に隣接するG1の画素の信号とG2の画素の信号の平均し加算する手段と、前記円周方向の変調度が低い画面左右端でのBの画素の右と左との周囲2画素目のG1の画素の信号とG2の画素の信号を平均し減算する手段と、
左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の対角隅の補間するRの画素に隣接するRの画素の信号を平均する手段と、前記左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の対角隅の補間するRの画素の隣接するG1の画素の信号とG2の画素の信号の平均し加算する手段と、前記左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の対角隅の補間するRの画素の右上斜め方向と左下方向との周囲2画素目のG1の画素の信号とG2の画素の信号を平均((G2n-1,m-1+G2n,m+1)/4+(G1n-1,m+G1n+1,m+1)/4)を算出し減算する手段と、左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の画面対角隅の補間するBの画素は隣接するBの画素の平均に隣接するG1の画素の信号とG2の画素の信号の平均し加算する手段と、前記左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の画面対角隅の補間するBの画素の右上斜め方向と左下方向との周囲2画素目のG1の画素の信号とG2の画素の信号を平均し減算する手段と、
右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅の補間するRの画素は隣接するRの画素の信号を平均する手段と、前記右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅の補間するRの画素に隣接するG1の画素の信号とG2の画素の信号の平均し加算する手段と、記右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅の補間するRの画素の左上斜め方向と右下方向との周囲2画素目のG1の画素の信号とG2の画素の信号の平均(G2n-1,m+1+G2n,m)/4+(G1n-1,m+1+G1n+1,m)/4)を算出し減算する手段と、右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面対角隅の補間するBの画素は隣接するBの画素を平均する手段と、前記右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面対角隅の補間するBの画素に隣接するG1の画素の信号とG2の画素の信号の平均し加算する手段と、前記右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面対角隅の補間するBの画素の左上斜め方向と右下方向との周囲2画素目のG1の画素の信号とG2の画素の信号を平均し減算する手段と、
とのいずれか一つを有することを特徴とする撮像装置である。
【0070】
(実施例2)
次に、本発明の一実施例に係る撮像装置の撮像素子の貼り合せの4板の撮像素子の各画素中心の空間位置と画面中央付近でのBの画素補間について、
図1A、
図2B、
図5A〜
図5E、
図8を用いて説明する。
図5Aは本発明の一実施例に係る撮像装置の撮像素子の貼り合せの4板の撮像素子の各画素中心の空間位置と画面中央付近でのBの画素補間を示す模式図である。
RB撮像素子がG1撮像素子とG2撮像素子の中央位置の貼り合せである。
なお、R撮像素子103Rの貼り合せ位置と画素補間とはB撮像素子103Bと同位置で同様の画素補間なので、
図5AでのR画素の図示を省略する。
【0071】
本発明の一実施例の撮像装置は、G1G2をY1Y2とし、RBをPbPrとして60p 4:1:1を2本の3GのSDIに変換し伝送するために、RBが1画素置きに欠落するのを隣接するRBの平均と同位置のG1と隣接するG2と隣接するG1とで補間することである。
【0072】
図1Cにおいて、レンズ101は、3つの波長で色収差が補正され2つの波長で球面収差・コマ収差が補正されている(アッベが命名したアポクロマートで非点収差が大きい)レンズを用いる。
撮像部102Aは、色分解光学系105と、R(赤色)撮像素子103Rと、G1(第1緑色)撮像素子103G1と、G2(第2緑色)撮像素子103G2と、B(青色)撮像素子103Bとの撮像素子による4板構成とし、G1の撮像素子に対してG2の撮像素子を垂直方向に1/2画素ピッチ水平方向に1/2画素ピッチずらして配置する。
R撮像素子とBの撮像素子をG1の撮像素子と概略同一位置に配置するか、Rの撮像素子とBの撮像素子をG1の撮像素子とG2の撮像素子の概略中央に配置するかのどちらか一方とする。
【0073】
図2Bにおいて、G映像信号は、G1撮像素子103GのG1信号と、G2撮像素子103GのG2信号との切り替えを選択部41で行うことにより生成する 。
【0074】
次に、画面位置による補間信号の生成方法について説明する。
画面中央の補間信号について、
図5Aと
図2Bを用いて説明する。
補間信号は、
図2Bの乗算部44〜55を画面位置制御部から出力する補間方向制御信号で制御することにより生成する。
【0075】
図5Aにおいて、補正信号は、画面中央では隣接補間と水平垂直で差分をとり、非点収差の多い画面対角では斜めで差分をとり、放射方向の変調度が低い左右端では垂直のみ差分をとり、円周方向の変調度が低い左右端では水平のみ差分をとり、途中は中心からの距離の8乗に比例させる。
【0076】
B画素信号は、(式11)で補間することができる。補間後もB画素信号をBoとする。
Bo=(Bn,m+Bn, m+1)/2
+(G2n,m+G1n,m+1)/2
−(G2n-1,m+1+G2n-1,m+1)/8
−(G1n,m+G1n,m+2)/8
−(G2n,m-1+G2n,m+1)/8
−(G1n+1,m+G1n+1,m+1)/8
・・・・ (式11)
【0077】
R画素信号は、(式12)で補間することができる。補間後もR画素信号をRoとする。
Ro=(Rn,m+Rn, m+1)/2
+(G2n,m+G1n,m+1)/2
−(G2n-1,m+1+G2n-1,m+1)/8
−(G1n,m+G1n,m+2)/8
−(G2n,m-1+G2n,m+1)/8
−(G1n+1,m+G1n+1,m+1)/8
・・・・ (式12)
【0078】
次に、画面左右端での放射(水平)方向の変調度の低い場所での補間信号について、
図5Bと
図2Bを用いて説明する。
図5Bは、本発明の一実施例に係る撮像装置の撮像素子の貼り合せの4板の撮像素子の各画素中心の空間位置と画面左右端での放射(水平)方向の変調度の低いBの画素補間の映像信号の位相位置を示す模式図である。なお、Rの位置はBと同位置なので省略する。
【0079】
B画素信号は、(式13)で補間することができる。補間後もB画素信号をBoとする。
Bo=(Bn,m+Bn,m+1)/2
+(G2n,m+G1n,m+1)/2
−(G2n-1,m+1+G2n-1,m+1)/4
−(G1n+1,m+G1n+1,m+1)/4
・・・・ (式13)
【0080】
R画素信号は、(式14)で補間することができる。補間後もR画素信号をRoとする。
Ro=(Rn,m+Rn,m+1)/2
+(G2n,m+G1n,m+1)/2
−(G2n-1,m+1+G2n-1,m+1)/4
−(G1n+1,m+G1n+1,m+1)/4
・・・・ (式14)
【0081】
次に、画面左右端での円周(垂直)方向の変調度の低い場所での補間信号について、
図5Cと
図2Bを用いて説明する。
図5Cは、本発明の一実施例に係る撮像装置の撮像素子の貼り合せの4板の撮像素子の各画素中心の空間位置と画面左右端での円周(垂直)方向の変調度の低いBの画素補間と映像信号の位相位置を示す模式図である。なお、Rの位置はBと同位置なので省略する。
【0082】
B画素信号は、(式15)で補間することができる。補間後もB画素信号をBoとする。
Bo=(Bn,m+Bn,m+1)/2
+(G2n,m+G1n,m+1)/2
−(G1n,m+G1n,m+2)/4
−(G2n,m-1+G2n,m+1)/4
・・・・ (式15)
【0083】
R画素信号は、(式16)で補間することができる。補間後もR画素信号をRoとする。
Ro=(Rn,m+Rn,m+1)/2
+(G2n,m+G1n,m+1)/2
−(G1n,m+G1n,m+2)/4
−(G2n,m-1+G2n,m+1)/4
・・・・ (式16)
【0084】
次に、画面対角四隅での左上斜め方向の変調度が高く右上斜め方向の変調度の低い所での補間信号について、
図5Dと
図2Bを用いて説明する。
図5Dは、本発明の一実施例に係る撮像装置の撮像素子の貼り合せの4板の撮像素子の各画素中心の空間位置と画面対角四隅での左上斜め方向の変調度が高く右上斜め方向の変調度の低いBの画素補間の映像信号の位相位置を示す模式図である。なお、Rの位置はBと同位置なので省略する。
【0085】
B画素信号は、(式17)で補間することができる。補間後もB画素信号をBoとする。
Bo=(Bn,m+Bn,m+1)/2
+(G2n,m+G1n,m+1)/2
−(G2n-1,m+1)/4
−(G1n,m+2)/4
−(G2n,m-1)/4
−(G1n+1,m)/4
・・・・ (式17)
【0086】
R画素信号は、(式18)で補間することができる。補間後もR画素信号をRoとする。
Ro=(Rn,m+Rn,m+1)/2
+(G2n,m+G1n,m+1)/2
−(G2n-1,m+1)/4
−(G1n,m+2)/4
−(G2n,m-1)/4
−(G1n+1,m)/4
・・・・ (式18)
【0087】
次に、画面対角四隅での右上斜め方向の変調度が高く左上斜め方向の変調度の低い所での補間信号について、
図5Eと
図2Bを用いて説明する。
図5Eは、本発明の一実施例に係る撮像装置の撮像素子の貼り合せの4板の撮像素子の各画素中心の空間位置と画面対角四隅での右上斜め方向の変調度が高く左上斜め方向の変調度の低いBの画素補間の映像信号の位相位置を示す模式図である。なお、Rの位置はBと同位置なので省略する。
【0088】
B画素信号は、(式19)で補間することができる。補間後もB画素信号をBoとする。
Bo=(Bn,m+Bn,m+1)/2
+(G2n,m+G1n,m+1)/2
−(G2n-1,m+1)/4
−(G1n,m)/4
−(G2n,m+1)/4
−(G1n+1,m+1)/4
・・・・ (式19)
【0089】
R画素信号は、(式20)で補間することができる。補間後もR画素信号をRoとする。
Ro=(Rn,m+Rn,m+1)/2
+(G2n,m+G1n,m+1)/2
−(G2n-1,m+1)/4
−(G1n,m)/4
−(G2n,m+1)/4
−(G1n+1,m+1)/4
・・・・ (式20)
【0090】
次に、実施例2の詳細な動作について
図8を用いて説明する。
図8は
図5A〜
図5Eの動作を説明するためのフローチャートである。
画面位置制御部105は、画像位置と変調度を検出(S801)し、S802の処理に進む。
S802の処理では、画像信号が画面中央であるか否かを判定し、画面中央である場合(YES)にはS803の処理に進み、画面中央でない場合(NO)にはS804の処理に進む。
S803の処理では、補間処理部11を制御して、補間処理部11に(式11)と(式12)の信号処理を実行させ、S801の処理に戻る。
【0091】
S804の処理では、画像信号が画像左右端での放射(水平)方向で変調度が低いか否かを判定し、画像信号が画面左右端での放射(水平)方向で変調度が低い場合(YES)にはS805の処理に進み、画像信号が画面左右端での放射(水平)方向で変調度が低くくない場合(NO)にはS806の処理に進む。
S805の処理では、補間処理部11を制御して、補間処理部11に(式13)と(式14)の信号処理を実行させ、S801の処理に戻る。
【0092】
S806の処理では、画像信号が画面左右端での円周(垂直)方向で変調度が低いか否かを判定し、画像信号が画面左右端での円周(垂直)方向で変調度が低い場合(YES)にはS807の処理に進み、画像信号が画面左右端での円周(垂直)方向で変調度が低くくない場合(NO)にはS808の処理に進む。
S807の処理では、補間処理部11を制御して、補間処理部11に(式15)と(式16)の信号処理を実行させ、S801の処理に戻る。
【0093】
S808の処理では、画像信号が画面対角四隅での左上斜め方向の変調度が高く、右上斜め方向の変調度が低いか否かを判定し、画面対角四隅での左上斜め方向の変調度が高く、右上斜め方向の変調度が低い場合(YES)にはS809の処理に進み、画面対角四隅での左上斜め方向の変調度が高く、右上斜め方向の変調度が低くくない場合(NO)にはS810の処理に進む。
S809の処理では、補間処理部11を制御して、補間処理部11に(式17)と(式18)の信号処理を実行させ、S801の処理に戻る。
【0094】
S810の処理では、画像信号が画面対角四隅での右上斜め方向の変調度が高く、左上斜め方向の変調度が低いか否かを判定し、画面対角四隅での右上斜め方向の変調度が高く、左上斜め方向の変調度が低い場合(YES)にはS811の処理に進み、画面対角四隅での右上斜め方向の変調度が高く、左上斜め方向の変調度が低くくない場合(NO)にはS801の処理に戻る。
S811の処理では、補間処理部11を制御して、補間処理部11に(式19)と(式20)の信号処理を実行させ、S801の処理に戻る。
【0095】
(実施例2の説明)
次に、実施例2について、
図5A〜
図5Eと
図2を用いて説明する。
実施例2は、3つの波長で色収差が補正され2つの波長で球面収差・コマ収差が補正されている(アッベが命名したアポクロマートで非点収差が大きい)レンズを用い、色分解光学系とR(赤)とG(緑)1とG2とB(青)との撮像素子による4板構成とし、G1の撮像素子に対してG2の撮像素子を垂直方向に1/2画素ピッチ水平方向に1/2画素ピッチずらして配置する撮像装置において、
Rの撮像素子とBの撮像素子をG1の撮像素子と概略同一位置に配置するか、Rの撮像素子とBの撮像素子をG1の撮像素子とG2の撮像素子の概略中央に配置するかのどちらか一方とし、(非点収差による放射線方向の変調度低下と円周方向の変調度低下に対応し)
Rの撮像素子とBの撮像素子をG1の撮像素子と概略同一位置に配置するか、Rの撮像素子とBの撮像素子をG1の撮像素子とG2の撮像素子の概略中央に配置するかのどちらか一方とし、G出力映像信号はG1の撮像素子の信号とG2の撮像素子の信号との切替とする手段(選択器)とRの画素とBの画素を周囲画素から補間する手段とを有し、
画面中央のRn,mとRn,m+1との間の補間するRの画素(Ro)に隣接する補間するRの画素の信号の平均((Rn,m+Rn,m+1)/2)を算出する手段(画素遅延部と加算器とビットシフト部)と、前記画面中央の補間するRの画素に隣接するG1の画素の信号とG2の画素の信号の平均を算出し加算する手段(ラインメモリと画素遅延部と正負掛け算器と加算器)と、前記画面中央の補間するRの画素の周囲2画素目のG1の画素の信号とG2の画素の信号の平均((G2n,m+G1n,m+1)/2)を算出し減算する手段(ラインメモリと画素遅延部と正負掛け算器と加算器)と、画面中央のBn,mとBn,m+1との間の補間するBの画素(Bo)に隣接するBの画素の信号を平均((Bn,m+Bn,m+1)/2)を算出する手段と、前記画面中央の補間するBの画素の隣接するG1の画素の信号とG2の画素の信号を平均し加算する手段と、前記画面中央の補間するBの周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算する手段と、
放射方向の変調度が低い画面左右端での補間するRの画素は隣接するRの画素の信号の平均((Rn,m+Rn,m+1)/2)を算出する手段(画素遅延部と加算器とビットシフト部)と、前記放射方向の変調度が低い画面左右端での補間するRの画素に隣接するG1の画素の信号とG2の画素の信号の平均((G2n,m+G1n,m+1)/2)を算出し加算する手段(ラインメモリと画素遅延部と正負掛け算器と加算器)と、前記放射方向の変調度が低い画面左右端での補間するRの画素の上と下との周囲2画素目のG1の画素の信号とG2の画素の信号の平均((G2n-1,m+1+G2n-1,m+1)/4+(G1n+1,m+G1n+1,m+1)/4)を算出し減算する手段(ラインメモリと画素遅延部と正負掛け算器と加算器)と、放射方向の変調度が低い画面左右端での補間するBの画素の隣接するBの画素を平均((Bn,m+Bn,m+1)/2)を算出する手段と、前記放射方向の変調度が低い画面左右端での補間するBに隣接するG1の画素の信号とG2の画素の信号を平均し加算する手段と、前記放射方向の変調度が低い画面左右端での補間するBの上と下との周囲2画素目のG1の画素の信号とG2の画素の信号を平均し減算する手段と、
円周方向の変調度が低い画面左右端でのRの画素の隣接するRの画素の信号の平均((Rn,m+Rn,m+1)/2)を算出する手段と、前記円周方向の変調度が低い画面左右端でのRの画素に隣接するG1の画素の信号とG2の画素の信号を平均し加算する手段と、前記円周方向の変調度が低い画面左右端でのRの画素の右と左との周囲2画素目のG1の画素の信号とG2の画素の信号を平均((G1n,m+G1n,m+2)/4+(G2n,m-1+G2n,m+1)/4)を算出し減算する手段と、前記円周方向の変調度が低い画面左右端でのBの画素に隣接するBの画素の平均((Bn,m+Bn,m+1)/2)を算出する手段と、前記円周方向の変調度が低い画面左右端でのBの画素に隣接するG1の画素の信号とG2の画素の信号の平均し加算する手段と、前記円周方向の変調度が低い画面左右端でのBの画素の右と左との周囲2画素目のG1の画素の信号とG2の画素の信号を平均し減算する手段と、
左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の対角隅の補間するRの画素に隣接するRの画素の信号を平均((Rn,m+Rn,m+1)/2)を算出する手段と、前記左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の対角隅の補間するRの画素の隣接するG1の画素の信号とG2の画素の信号の平均し加算する手段と、前記左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の対角隅の補間するRの画素の右上斜め方向と左下方向との周囲2画素目のG1の画素の信号とG2の画素の信号を平均((G2n-1,m+1)/4+(G1n,m)/4+(G2n,m+1)/4+(G1n+1,m+1)/4)算出し減算する手段と、左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の画面対角隅の補間するBの画素は隣接するBの画素の平均((Bn,m+Bn,m+1)/2)を算出する手段と、に隣接するG1の画素の信号とG2の画素の信号の平均し加算する手段と、前記左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の画面対角隅の補間するBの画素の右上斜め方向と左下方向との周囲2画素目のG1の画素の信号とG2の画素の信号を平均し減算する手段と、
右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅の補間するRの画素は隣接するRの画素の信号の平均に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、左上斜め方向と右下方向との周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算し、画面対角隅の補間するBの画素は隣接するBの画素の平均に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、左上斜め方向と右下方向との周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算することと、
右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅の補間するRの画素は隣接するRの画素の信号を平均((Rn,m+Rn,m+1)/2)を算出する手段と、前記右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅の補間するRの画素に隣接するG1の画素の信号とG2の画素の信号の平均し加算する手段と、記右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅の補間するRの画素の左上斜め方向と右下方向との周囲2画素目のG1の画素の信号とG2の画素の信号の平均((G2n-1,m+1)/4+(G1n,m+2)/4+(G2n,m-1)/4+(G1n+1,m)/4)を算出し減算する手段と、右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面対角隅の補間するBの画素は隣接するBの画素を平均する手段と、前記右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面対角隅の補間するBの画素の平均((Bn,m+Bn,m+1)/2)を算出する手段と、隣接するG1の画素の信号とG2の画素の信号の平均し加算する手段と、前記右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面対角隅の補間するBの画素の左上斜め方向と右下方向との周囲2画素目のG1の画素の信号とG2の画素の信号を平均し減算する手段と、
とのいずれか一つを有することを特徴とする撮像装置である。
【0096】
(実施例3)
実施例3は、実施例1や実施例2の本発明の一実施例に係る撮像装置の構成例を示すブロック図の
図1Aと2本の3GのHD−SDIで、スクウェア又はバイラインの4K映像信号を出力するのは同一である。
【0097】
実施例3の本発明の一実施例に係る撮像装置の構成例を示すブロック図の
図1Bの実施例1や実施例2との相違点は、撮像部(カメラヘッド)2Aと制御部(CCU)2Bで構成され、撮像部と制御部間を14bitのG1G2と12bitのRBを60p 4:2:2を2本の6GのSDIに変換して伝送することである。
【0098】
(実施例4)
次に、実施例4について説明する。
実施例4は、スクウェア又はバイラインの4K映像信号を出力するのは実施例1や実施例2や実施例3と同一である。
本発明の一実施例に係る撮像装置の撮像素子の貼り合せの4板の撮像素子の各画素中心の空間位置と画面中央付近でのBの画素補間について、
図1C、
図2B、
図6A〜
図6E、
図9を用いて説明する。
図6Aは本発明の一実施例に係る撮像装置の撮像素子の貼り合せの4板の撮像素子の各画素中心の空間位置と画面中央付近でのBの画素補間を示す模式図である。
RB撮像素子がG1撮像素子と同位置の貼り合せである。
なお、R撮像素子103Rの貼り合せ位置と画素補間とはB撮像素子103Bと同位置で同様の画素補間なので、
図6AでのR画素の図示を省略する。
【0099】
本発明の一実施例の撮像装置は、10bitのG1G2をY1Y2とし、10bitのRBをPbPrとして10bitの60p 4:1:1を2本の3GのSDIに変換し伝送するために、RBが1画素置きに欠落するのを隣接するRBの平均と同位置のG1と隣接するG2と隣接するG1とで補間することである。
また、R信号とB信号は、4:1:1伝送で画素信号が欠落しているため、補間信号も4:1:1伝送に合わせて生成する。
さらに、本発明の一実施例の撮像装置は、YPbPrの色差間引き伝送時に欠落するRn,mとBn,mをレンズの非点収差と16:9アスペクトとを考慮して補間する。
【0100】
図1Cにおいて、レンズ101は、3つの波長で色収差が補正され2つの波長で球面収差・コマ収差が補正されているレンズを用いる。
撮像部102Aは、色分解光学系105と、R(赤色)撮像素子103Rと、G1(第1緑色)撮像素子103G1と、G2(第1緑色)撮像素子103G2と、B(青色)撮像素子103Bとの撮像素子による4板構成とし、G1の撮像素子に対してG2の撮像素子を垂直方向に1/2画素ピッチ水平方向に1/2画素ピッチずらして配置する。
【0101】
図2Bにおいて、G映像信号は、G1撮像素子103GのG1信号と、G2撮像素子103GのG2信号との切り替えを選択部41で行うことにより生成する 。
【0102】
次に、画面位置による補間信号の生成方法について説明する。
画面中央の補間信号について、
図6Aと
図2Bを用いて説明する。
補間信号は、
図2Bの乗算部44〜55を画面位置制御部から出力する補間方向制御信号で制御することにより生成する。
【0103】
図6Aにおいて、補正信号は、画面中央では隣接補間と水平垂直で差分をとり、非点収差の多い画面対角では斜めで差分をとり、放射方向の変調度が低い左右端では垂直のみ差分をとり、円周方向の変調度が低い左右端では水平のみ差分をとり、途中は中心からの距離の8乗に比例させる。
【0104】
B画素信号は、(式21)で補間することができる。補間後もB画素信号をBoとする。
Bo=(Bn,m-1+Bn,m+1)/2
+(G1n,m)
−(G2n-1,m-1+G2n-1,m+G2n,m-1+G2n,m)/4
−(G1n-1,m+G1n,m-1+G1n,m+1+G1n+1,m)/4
・・・・ (式21)
【0105】
R画素信号は、(式22)で補間することができる。補間後もR画素信号をRoとする。
Ro=(Rn,m-1+Rn,m+1)/2
+(G1n,m)
−(G2n-1,m-1+G2n-1,m+G2n,m-1+G2n,m)/4
−(G1n-1,m+G1n,m-1+G1n,m+1+G1n+1,m)/4
・・・・ (式22)
【0106】
次に、画面左右端での放射(水平)方向の変調度の低い場所での補間信号について、
図6Bと
図2Bを用いて説明する。
図6Bは、本発明の一実施例に係る撮像装置の撮像素子の貼り合せの4板の撮像素子の各画素中心の空間位置と画面左右端での放射(水平)方向の変調度の低いBの画素補間の映像信号の位相位置を示す模式図である。なお、Rの位置とはBと同位置でなので省略する。
【0107】
B画素信号は、(式23)で補間することができる。補間後もB画素信号をBoとする。
Bo=(Bn,m-1+Bn,m+1)/2
+(G1n,m)
−(G2n-1,m-1+G2n-1,m+G2n,m-1+G2n,m)/4
−(G1n-1,m+G1n+1,m)/2
・・・・ (式23)
【0108】
R画素信号は、(式24)で補間することができる。補間後もR画素信号をRoとする。
Ro=(Rn,m-1+Rn,m+1)/2
+(G1n,m)
−(G2n-1,m-1+G2n-1,m+G2n,m-1+G2n,m)/4
−(G1n-1,m+G1n+1,m)/2
・・・・ (式24)
【0109】
次に、画面左右端での円周(垂直)方向の変調度の低い場所での補間信号について、
図6Cと
図2Bを用いて説明する。
図6Cは、本発明の一実施例に係る撮像装置の撮像素子の貼り合せの4板の撮像素子の各画素中心の空間位置と画面左右端での円周(垂直)方向の変調度の低いBの画素補間と映像信号の位相位置を示す模式図である。なお、Rの位置とはBと同位置でなので省略する。
【0110】
B画素信号は、(式25)で補間することができる。補間後もB画素信号をBoとする。
Bo=(Bn,m-1+Bn,m+1)/2
+(G1n,m)
−(G2n-1,m-1+G2n-1,m+G2n,m-1+G2n,m)/4
−(G1n,m-1+G1n,m+1)/2
・・・・ (式25)
【0111】
R画素信号は、(式26)で補間することができる。補間後もR画素信号をRoとする。
Ro=(Rn,m-1+Rn,m+1)/2
+(G1n,m)
−(G2n-1,m-1+G2n-1,m+G2n,m-1+G2n,m)/4
−(G1n,m-1+G1n,m+1)/2
・・・・ (式26)
【0112】
次に、画面対角四隅での左上斜め方向の変調度が高く右上斜め方向の変調度の低い場所での補間信号について、
図6Dと
図2Bを用いて説明する。
図6Dは、本発明の一実施例に係る撮像装置の撮像素子の貼り合せの4板の撮像素子の各画素中心の空間位置と画面対角四隅での左上斜め方向の変調度が高く右上斜め方向の変調度の低いBの画素補間の映像信号の位相位置を示す模式図である。なお、Rの位置とはBと同位置でなので省略する。
【0113】
B画素信号は、(式27)で補間することができる。補間後もB画素信号をBoとする。
Bo=(Bn,m-1+Bn,m+1)/2
+(G1n,m)
−(G2n-1,m-1+G2n,m-1)/2
・・・・ (式27)
【0114】
R画素信号は、(式28)で補間することができる。補間後もR画素信号をRoとする。
Ro=(Rn,m-1+Rn,m+1)/2
+(G1n,m)
−(G2n-1,m-1+G2n,m-1)/2
・・・・ (式28)
【0115】
次に画面対角四隅での右上斜め方向の変調度が高く左上斜め方向の変調度の低い場所での補間信号について、
図6Eと
図2Bを用いて説明する。
図6Eは、本発明の一実施例に係る撮像装置の撮像素子の貼り合せの4板の撮像素子の各画素中心の空間位置と画面対角四隅での右上斜め方向の変調度が高く左上斜め方向の変調度の低いBの画素補間の映像信号の位相位置を示す模式図である。なお、Rの位置とはBと同位置でなので省略する。
【0116】
B画素信号は、(式29)で補間することができる。補間後もB画素信号をBoとする。
Bo=(Bn,m-1+Bn,m+1)/2
+(G1n,m)
−(G2n-1,m+G2n,m-1)/2
・・・・ (式29)
【0117】
R画素信号は、(式30)で補間することができる。補間後もR画素信号をRoとする。
Ro=(Rn,m-1+Rn,m+1)/2
+(G1n,m)
−(G2n-1,m+G2n,m-1)/2
・・・・ (式30)
【0118】
次に、実施例3の詳細な動作について
図9を用いて説明する。
図9は
図6A〜
図7Eの動作を説明するためのフローチャートである。
画面位置制御部105は、画像位置と変調度を検出(S901)し、S902の処理に進む。
S902の処理では、画像信号が画面中央であるか否かを判定し、画面中央である場合(YES)にはS903の処理に進み、画面中央でない場合(NO)にはS904の処理に進む。
S903の処理では、補間処理部11を制御して、補間処理部11に(式21)と(式22)の信号処理を実行させ、S901の処理に戻る。
【0119】
S904の処理では、画像信号が画像左右端での放射(水平)方向で変調度が低いか否かを判定し、画像信号が画面左右端での放射(水平)方向で変調度が低い場合(YES)にはS905の処理に進み、画像信号が画面左右端での放射(水平)方向で変調度が低くくない場合(NO)にはS906の処理に進む。
S905の処理では、補間処理部11を制御して、補間処理部11に(式23)と(式24)の信号処理を実行させ、S901の処理に戻る。
【0120】
S906の処理では、画像信号が画面左右端での円周(垂直)方向で変調度が低いか否かを判定し、画像信号が画面左右端での円周(垂直)方向で変調度が低い場合(YES)にはS907の処理に進み、画像信号が画面左右端での円周(垂直)方向で変調度が低くくない場合(NO)にはS908の処理に進む。
S907の処理では、補間処理部11を制御して、補間処理部11に(式25)と(式26)の信号処理を実行させ、S901の処理に戻る。
【0121】
S908の処理では、画像信号が画面対角四隅での左上斜め方向の変調度が高く、右上斜め方向の変調度が低いか否かを判定し、画面対角四隅での左上斜め方向の変調度が高く、右上斜め方向の変調度が低い場合(YES)にはS909の処理に進み、画面対角四隅での左上斜め方向の変調度が高く、右上斜め方向の変調度が低くくない場合(NO)にはS910の処理に進む。
S909の処理では、補間処理部11を制御して、補間処理部11に(式27)と(式28)の信号処理を実行させ、S901の処理に戻る。
【0122】
S910の処理では、画像信号が画面対角四隅での右上斜め方向の変調度が高く、左上斜め方向の変調度が低いか否かを判定し、画面対角四隅での右上斜め方向の変調度が高く、左上斜め方向の変調度が低い場合(YES)にはS911の処理に進み、画面対角四隅での右上斜め方向の変調度が高く、左上斜め方向の変調度が低くくない場合(NO)にはS901の処理に戻る。
S911の処理では、補間処理部11を制御して、補間処理部11に(式29)と(式30)の信号処理を実行させ、S801の処理に戻る。
【0123】
(実施例4の説明)
次に、実施例4について、
図6A〜
図6Eと
図2Bを用いて説明する。
実施例4は、スクウェア又はバイラインの4K映像信号を出力するのは実施例1や実施例2や実施例3と同一である。
実施例4の本発明の一実施例に係る撮像装置の構成例を示すブロック図の
図1Cの実施例1や実施例2との相違点は、撮像部(カメラヘッド)2Aと制御部(CCU)2Bで構成されることである。実施例4の実施例3との相違点は、撮像部と制御部間を10bitのG1G2をY1Y2とし、10bitのRBをPbPrとして10bitの60p 4:1:1を2本の3GのSDIに変換して伝送することである。
つまり従来からの3GのSDIで伝送することである。
【0124】
本発明の一実施例に係る伝送で間引きされたRBの画素信号をG1G2の画素信号で補間する処理回路の例を示すブロック図の
図2Bには、1/2分周部40が追加されている。走査線数Vと走査線番号vと水平画素数Hと水平画素番号hとから、画面中心からの距離(v−V/2)(h−H/2)簡易には(h−H/2)の6乗、8乗又は10乗で変調度補正量を近似した、走査線番号と水平画素番号と補間方向の関係情報と、水平画素カウンタからの水平画素番号から補間方法を算出し補間を制御する。
【0125】
本発明の一実施例に係る撮像装置の撮像素子の貼り合せの4板の撮像素子の各画素中心の空間位置と画面中央付近でのBの画素補間を示す模式図の
図6Aは、Rの貼り合せ位置と画素補間とはBと同位置で同様の画素補間なので省略する。位置と映像信号の位相位置を示す模式図(RB撮像素子がG1撮像素子と同位置の貼り合せ)(10bitのG1G2をY1Y2とし、10bitのRBをPbPrとして10bitの60p 4:1:1を2本の3GのSDIに変換し伝送するために、RBが1画素置きに欠落するのを隣接するRBの平均と同位置のG1と隣接するG2と隣接するG1とで補間する。
画面中央では隣接補間と水平垂直で差分をとり、非点収差の多い画面対角では斜めで差分をとり、放射方向の変調度が低い左右端では垂直のみ差分、円周方向の変調度が低い左右端では水平のみ差分、途中は中心からの距離の8乗に比例する。
(Bo=(Bn,m-1+Bn,m+1)/2+(G1n,m)−(G2n-1,m-1+G2n-1,m+G2n,m-1+G2n,m)/4−(G1n-1,m+G1n,m-1+G1n,m+1+G1n+1,m)/4)
【0126】
3つの波長で色収差が補正され2つの波長で球面収差・コマ収差が補正されているレンズを用い、色分解光学系とR(赤)とG(緑)1とG2とB(青)との撮像素子による4板構成とし、G1の撮像素子に対してG2の撮像素子を垂直方向に1/2画素ピッチ水平方向に1/2画素ピッチずらして配置する撮像装置において、Rの撮像素子とBの撮像素子をG1の撮像素子と概略同一位置に配置し、撮像部(カメラヘッド)と制御部(CCU)で構成され、G1G2をY1Y2とし、RBをPbPrとして60p 4:1:1を2本の3GのSDIに変換して伝送する。
G出力映像信号はG1の撮像素子の信号とG2の撮像素子の信号との切替とする手段(選択器)とRの画素とBの画素を周囲画素から補間する手段とを有し、
画面中央のRn,m-1とRn,m+1との間の補間する(4:1:1伝送で欠落した)Rの画素(Rn,m)は隣接するRの画素の信号の平均((Rn,m-1+Rn,m+1)/2)を算出する手段(画素遅延部と加算器とビットシフト部)と補間するRの画素(Rn,m)と同位置のG1の画素の信号を加算する手段と隣接するG2の画素の信号の平均と補間するRの画素(Rn,m)に隣接するG1の画素の信号の平均を算出し減算する手段(ラインメモリと画素遅延部と負の掛け算器と加算器)と、画面中央のBn,m-1とBn,m+1との間の補間する(4:1:1伝送で欠落した)Bの画素(Bn,m)は、補間するBの画素(Bn,m)に隣接するBの画素の平均((Bn,m-1+Bn,m+1)/2)を算出する手段と補間するBの画素(Bn,m)と同位置のG1の画素の信号を加算を加算する手段と補間するBの画素(Bn,m)に隣接するG2の画素の信号の平均と隣接するG1の画素の信号の平均とを減算する手段と、
放射方向の変調度が低い画面左右端でのRn,m-1とRn,m+1との間の補間する(4:1:1伝送で欠落した)Rの画素(Rn,m)は補間するRの画素(Rn,m)に隣接するRの画素の信号の平均((Rn,m-1+Rn,m+1)/2)を算出する手段(画素遅延部と加算器とビットシフト部)と補間するRの画素(Rn,m)と同位置のG1の画素の信号を加算する手段と補間するRの画素(Rn,m)に隣接するG2の画素の信号の平均と上下に隣接するG1の画素の信号の平均とを算出し減算する手段と放射方向の変調度が低い画面左右端でのBn,m-1とBn,m+1との間の補間する(4:1:1伝送で欠落した)Bの画素(Bn,m)は、補間するBの画素(Bn,m)に隣接するBの画素の平均((Bn,m-1+Bn,m+1)/2)を算出する手段とに補間するBの画素(Bn,m)と同位置のG1の画素の信号を加算し補間するBの画素(Bn,m)に隣接するG2の画素の信号の平均と補間するBの画素(Bn,m)の上下に隣接するG1の画素の信号の平均とを算出し減算する手段と、
前記円周方向の変調度が低い画面左右端でのRn,m-1とRn,m+1との間の補間する(4:1:1伝送で欠落した)Rの画素(Rn,m)は補間するRの画素(Rn,m)に隣接するRの画素の信号の平均((Rn,m-1+Rn,m+1)/2)を算出する手段と補間するRの画素(Rn,m)と同位置のG1の画素の信号を加算する手段と補間するRの画素(Rn,m)に隣接するG2の画素の信号の平均と左右に隣接するG1の画素の信号の平均を減算する手段と、前記円周方向の変調度が低い画面左右端でのBn,m-1とBn,m+1との間の補間する(4:1:1伝送で欠落した)Bの画素(Bn,m)の隣接するBの画素の平均((Bn,m-1+Bn,m+1)/2)を算出する手段と、補間するBの画素(Bn,m)の同位置G1の画素の信号を加算する手段と前記補間するBの画素(Bn,m)に隣接するG2の画素の信号の平均と前記補間するBの画素(Bn,m)に左右に隣接するG1の画素の信号の平均とを算出し減算する手段と、
左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の対角隅のRn,m-1とRn,m+1との間の補間する(4:1:1伝送で欠落した)Rの画素(Rn,m)は隣接するRの画素の信号の平均((Rn,m-1+Rn,m+1)/2)を算出する手段と補間するRの画素(Rn,m)と同位置のG1の画素の信号を加算する手段と補間するRの画素(Rn,m)に左上斜め方向と右下方向との隣接するG2の画素の信号の平均を減算する手段と左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の画面対角隅のBn,m-1とBn,m+1との間の補間する(4:1:1伝送で欠落した)Bの画素(Bn,m)の隣接するBの画素の平均((Bn,m-1+Bn,m+1)/2)を算出する手段と補間するBの画素(Bn,m)の同位置G1の画素の信号を加算する手段と前記補間するBの画素(Bn,m)に左上斜め方向と右下方向との隣接するG2の画素の信号の平均を減算する手段と、
右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅のRn,m-1とRn,m+1との間の補間する(4:1:1伝送で欠落した)Rの画素(Rn,m)は隣接するRの画素の信号の平均((Rn,m-1+Rn,m+1)/2)を算出する手段と補間するRの画素(Rn,m)と同位置のG1の画素の信号を加算する手段と補間するRの画素(Rn,m)に右上斜め方向と左下方向との隣接するG2の画素の信号の平均を減算する手段と、右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅のBn,m-1とBn,m+1との間の補間する(4:1:1伝送で欠落した)Bの画素(Bn,m)の隣接するBの画素の平均((Bn,m-1+Bn,m+1)/2)を算出する手段と補間するBの画素(Bn,m)の同位置G1の画素の信号を加算する手段と前記補間するBの画素(Bn,m)に右上斜め方向と左下方向との隣接するG2の画素の信号の平均を減算する手段と、
とのいずれか一つを有することを特徴とする撮像装置。
【0127】
本一実施例による画面位置制御部105は、レンズ101装着時に補間信号を生成し、生成した補間処理部11の変調度補正用制御値を図示していない記憶部に記憶しておく。
また、記憶部は、レンズ毎に変調度補正用制御値を複数記憶してもよい。
なお、画面位置制御部105はリアルタイムで補間処理部11を制御してもよい。
【0128】
本発明の実施形態である撮像装置は、RedとBlueをレンズの非点収差とを考慮して補間して、モアレを少なく変調度を高くすることができる。
また、3枚用ズームレンズと組み合わせ、モアレが少なく解像度と変調度が高いカメラシステムを、簡易な構成により実現することができる。
【0130】
本発明は、(
図4A、
図5A、
図6A前提で
図2の共通概念の方法として、)3つの波長で色収差が補正され2つの波長で球面収差・コマ収差が補正されている(アッベが命名したアポクロマートで非点収差が大きい)レンズを用い、色分解光学系とR(赤)とG(緑)1とG2とB(青)との撮像素子による4板構成とし、G1の撮像素子に対してG2の撮像素子を垂直方向に1/2画素ピッチ水平方向に1/2画素ピッチずらして配置する撮像装置において、
Rの撮像素子とBの撮像素子をG1の撮像素子と概略同一位置に配置するか、Rの撮像素子とBの撮像素子をG1の撮像素子とG2の撮像素子の概略中央に配置するかのどちらか一方とし、(非点収差による放射線方向の変調度低下と円周方向の変調度低下に対応し)G出力映像信号はG1の撮像素子の信号とG2の撮像素子の信号との切替とし、
(Gの画素数の半分の画素数の)Rの画素とBの画素を周囲画素から補間し、
画面中央の補間するRの画素は隣接するRの画素の信号の平均に隣接するG1の画素の信号とG2の画素の信号の平均を加算し周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算し、画面中央の補間するBの画素は、隣接するBの画素の平均に隣接するG1の画素の信号とG2の画素の信号の平均を加算し周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算することと、
放射方向の変調度が低い画面左右端での補間するRの画素は隣接するRの画素の信号の平均に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、上と下との周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算し、放射方向の変調度が低い画面左右端での補間するBの画素は隣接するBの画素の平均に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、上と下との周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算することと、
円周方向の変調度が低い画面左右端での補間するRの画素は隣接するRの画素の信号の平均に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、右と左との周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算し、放射方向の変調度が低い画面左右端での補間するBの画素は隣接するBの画素の平均に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、右と左との周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算することと、
左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の対角隅の補間するRの画素は隣接するRの画素の信号の平均に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、右上斜め方向と左下方向との周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算し、画面対角隅の補間するBの画素は隣接するBの画素の平均に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、右上斜め方向と左下方向との周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算することと、
右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅の補間するRの画素は隣接するRの画素の信号の平均に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、左上斜め方向と右下方向との周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算し、画面対角隅の補間するBの画素は隣接するBの画素の平均に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、左上斜め方向と右下方向との周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算することと、
の少なくとも一方を行うことを特徴とする撮像方法である。
【0131】
また本発明は、(
図6Aの実施例の方法:RBの画素信号をG1G2の画素信号で補間する処理として、)
3つの波長で色収差が補正され2つの波長で球面収差・コマ収差が補正されているレンズを用い、色分解光学系とR(赤)とG(緑)1とG2とB(青)との撮像素子による4板構成とし、G1の撮像素子に対してG2の撮像素子を垂直方向に1/2画素ピッチ水平方向に1/2画素ピッチずらして配置する撮像装置において、Rの撮像素子とBの撮像素子をG1の撮像素子と概略同一位置に配置し、撮像部(カメラヘッド)と制御部(CCU)で構成され、G1G2をY1Y2とし、RBをPbPrとして(60p)4:1:1を(2本の3GのSDIに変換して)伝送し、
画面中央のRn,m-1とRn,m+1との間の補間する(4:1:1伝送で欠落した)Rの画素(Rn,m)は隣接するRの画素の信号の平均((Rn,m-1+Rn,m+1)/2)に同位置のG1の画素の信号を加算し隣接するG2の画素の信号の平均と隣接するG1の画素の信号の平均とを減算し、画面中央のBn,m-1とBn,m+1との間の補間する(4:1:1伝送で欠落した)Bの画素(Bn,m)は、隣接するBの画素の平均((Bn,m-1+Bn,m+1)/2)に同位置のG1の画素の信号を加算し隣接するG2の画素の信号の平均と隣接するG1の画素の信号の平均とを減算することと、
放射方向の変調度が低い画面左右端でのRn,m-1とRn,m+1との間の補間する(4:1:1伝送で欠落した)Rの画素(Rn,m)は隣接するRの画素の信号の平均((Rn,m-1+Rn,m+1)/2)に同位置のG1の画素の信号を加算し隣接するG2の画素の信号の平均と上と下との隣接するG1の画素の信号の平均とを減算し、放射方向の変調度が低い画面左右端でのBn,m-1とBn,m+1との間の補間する(4:1:1伝送で欠落した)Bの画素(Bn,m)は、隣接するBの画素の平均((Bn,m-1+Bn,m+1)/2)に同位置のG1の画素の信号を加算し隣接するG2の画素の信号の平均と上と下との隣接するG1の画素の信号の平均とを減算することと、
円周方向の変調度が低い画面左右端でのRn,m-1とRn,m+1との間の補間する(4:1:1伝送で欠落した)Rの画素(Rn,m)は隣接するRの画素の信号の平均((Rn,m-1+Rn,m+1)/2)に同位置のG1の画素の信号を加算し隣接するG2の画素の信号の平均と右と左との隣接するG1の画素の信号の平均とを減算し、周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算し、放射方向の変調度が低い画面左右端でのBn,m-1とBn,m+1との間の補間する(4:1:1伝送で欠落した)Bの画素(Bn,m)は、隣接するBの画素の平均((Bn,m-1+Bn,m+1)/2)に同位置のG1の画素の信号を加算し隣接するG2の画素の信号の平均と右と左との隣接するG1の画素の信号の平均とを減算することと、
左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の対角隅のRn,m-1とRn,m+1との間の補間する(4:1:1伝送で欠落した)Rの画素(Rn,m)は隣接するRの画素の信号の平均((Rn,m-1+Rn,m+1)/2)に同位置のG1の画素の信号を加算し左上斜め方向と右下方向との隣接するG2の画素の信号の平均を減算し、左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の画面対角隅のBn,m-1とBn,m+1との間の補間する(4:1:1伝送で欠落した)Bの画素(Bn,m)は、隣接するBの画素の平均((Bn,m-1+Bn,m+1)/2)に同位置のG1の画素の信号を加算し左上斜め方向と右下方向との隣接するG2の画素の信号の平均を減算することと、
右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅のRn,m-1とRn,m+1との間の補間する(4:1:1伝送で欠落した)Rの画素(Rn,m)は隣接するRの画素の信号の平均((Rn,m-1+Rn,m+1)/2)に同位置のG1の画素の信号を加算し右上斜め方向と左下方向との隣接するG2の画素の信号の平均を減算し、右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅のBn,m-1とBn,m+1との間の補間する(4:1:1伝送で欠落した)Bの画素(Bn,m)は、隣接するBの画素の平均((Bn,m-1+Bn,m+1)/2)に同位置のG1の画素の信号を加算し右上斜め方向と左下方向との隣接するG2の画素の信号の平均を減算することと、
の少なくとも一方を行うことを特徴とする撮像方法である。
【0132】
また本発明は、(
図4Aの実施例の方法:少ないRBの画素信号をG1G2の画素信号で補間として、)
3つの波長で色収差が補正され2つの波長で球面収差・コマ収差が補正されているレンズを用い、色分解光学系とR(赤)とG(緑)1とG2とB(青)との撮像素子による4板構成とし、G1の撮像素子に対してG2の撮像素子を垂直方向に1/2画素ピッチ水平方向に1/2画素ピッチずらして配置する撮像装置において、Rの撮像素子とBの撮像素子をG1の撮像素子と概略同一位置に配置し、
画面中央のRn,mとRn,m+1との間の補間するRの画素(Ro)は隣接するRの画素の信号の平均((Rn,m+Rn,m+1)/2)に隣接するG1の画素の信号とG2の画素の信号の平均((G2n,m-1+G1n,m+G1n,m+1+G2n,m+1)/2)を加算し周囲2画素目のG1の画素の信号とG2の画素の信号の平均((G2n-1,m-1+G2n-1,m+1+G2n,m+G2n,m+1)/4+(G1n-1,m+G1n-1,m+1+G1n+1,m+G1n+1,m+1)/4)とを減算し、画面中央のBn,mとBn,m+1との間の補間するBの画素(Bo)は、隣接するBの画素の平均((Bn,m+Bn,m+1)/2)に隣接するG1の画素の信号とG2の画素の信号の平均を加算し周囲2画素目のG1の画素の信号とG2の画素の信号の平均を減算することと、
放射方向の変調度が低い画面左右端でのRの画素は隣接するRの画素の信号の平均に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、上と下との周囲2画素目のG1の画素の信号とG2の画素の信号の平均((G1n-1,m+G1n-1,m+1+G1n+1,m+G1n+1,m+1)/4)とを減算し、放射方向の変調度が低い画面左右端でのBの画素は隣接するBの画素の平均に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、上と下との周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算することと、
円周方向の変調度が低い画面左右端でのRの画素は隣接するRの画素の信号の平均に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、右と左との周囲2画素目のG1の画素の信号とG2の画素の信号の平均((G2n-1,m-1+G2n-1,m+1+G2n,m+G2n,m+1)/4)とを減算し、放射方向の変調度が低い画面左右端でのBの画素は隣接するBの画素の平均に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、右と左との周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算することと、
左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の対角隅の補間するRの画素は隣接するRの画素の信号の平均に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、右上斜め方向と左下方向との周囲2画素目のG1の画素の信号とG2の画素の信号の平均((G2n-1,m-1+G2n,m+1)/4+(G1n-1,m+G1n+1,m+1)/4)とを減算し、左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の画面対角隅の補間するBの画素は隣接するBの画素の平均に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、右上斜め方向と左下方向との周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算することと、
右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅の補間するRの画素は隣接するRの画素の信号の平均に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、左上斜め方向と右下方向との周囲2画素目のG1の画素の信号とG2の画素の信号の平均(G2n-1,m+1+G2n,m)/4+(G1n-1,m+1+G1n+1,m)/4)とを減算し、右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅の補間するBの画素は隣接するBの画素の平均に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、左上斜め方向と右下方向との周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算することと、
の少なくとも一方を行うことを特徴とする撮像方法である。
【0133】
また本発明は、(
図5Aの実施例の方法:少ないRBの画素信号をG1G2の画素信号で補間として、)
3つの波長で色収差が補正され2つの波長で球面収差・コマ収差が補正されているレンズを用い、色分解光学系とR(赤)とG(緑)1とG2とB(青)との撮像素子による4板構成とし、G1の撮像素子に対してG2の撮像素子を垂直方向に1/2画素ピッチ水平方向に1/2画素ピッチずらして配置する撮像装置において、Rの撮像素子とBの撮像素子をG1の撮像素子と概略同一位置に配置し、
画面中央のRn,mとRn,m+1との間の補間するRの画素(Ro)は隣接するRの画素の信号の平均((Rn,m+Rn,m+1)/2)に隣接するG1の画素の信号とG2の画素の信号の平均((G2n,m+G1n,m+1)/2)を加算し周囲2画素目のG1の画素の信号とG2の画素の信号の平均()とを減算し、画面中央のBn,mとBn,m+1との間の補間するBの画素(Bo)は、隣接するBの画素の平均((Bn,m+Bn,m+1)/2)に隣接するG1の画素の信号とG2の画素の信号の平均を加算し周囲2画素目のG1の画素の信号とG2の画素の信号の平均を減算することと、
放射方向の変調度が低い画面左右端での補間するRの画素は隣接するRの画素の信号の平均((Rn,m+Rn,m+1)/2)に隣接するG1の画素の信号とG2の画素の信号の平均((G2n,m+G1n,m+1)/2)を加算し、上と下との周囲2画素目のG1の画素の信号とG2の画素の信号の平均((G2n-1,m+1+G2n-1,m+1)/4+(G1n+1,m+G1n+1,m+1)/4)とを減算し、放射方向の変調度が低い画面左右端での補間するBの画素は隣接するBの画素の平均((Bn,m+Bn,m+1)/2)に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、上と下との周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算することと、
円周方向の変調度が低い画面左右端でのRの画素は隣接するRの画素の信号の平均((Rn,m+Rn,m+1)/2)に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、右と左との周囲2画素目のG1の画素の信号とG2の画素の信号の平均((G1n,m+G1n,m+2)/4+(G2n,m-1+G2n,m+1)/4)とを減算し、円周方向の変調度が低い画面左右端でのBの画素は隣接するBの画素の平均((Bn,m+Bn,m+1)/2)に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、右と左との周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算することと、
左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の対角隅の補間するRの画素は隣接するRの画素の信号の平均((Rn,m+Rn,m+1)/2)に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、右上斜め方向と左下方向との周囲2画素目のG1の画素の信号とG2の画素の信号の平均((G2n-1,m+1)/4+(G1n,m)/4+(G2n,m+1)/4+(G1n+1,m+1)/4)とを減算し、画面対角隅の補間するBの画素は隣接するBの画素の平均((Bn,m+Bn,m+1)/2)に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、右上斜め方向と左下方向との周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算することと、
右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅の補間するRの画素は隣接するRの画素の信号の平均((Rn,m+Rn,m+1)/2)に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、左上斜め方向と右下方向との周囲2画素目のG1の画素の信号とG2の画素の信号の平均((G2n-1,m+1)/4+(G1n,m+2)/4+(G2n,m-1)/4+(G1n+1,m)/4)とを減算し、画面対角隅の補間するBの画素は隣接するBの画素の平均((Bn,m+Bn,m+1)/2)に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、左上斜め方向と右下方向との周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算することと、
の少なくとも一方を行うことを特徴とする撮像方法である。
【0134】
また本発明は、(
図4A、
図5A、
図6A前提で
図2の上位概念の装置として、)
また、3つの波長で色収差が補正され2つの波長で球面収差・コマ収差が補正されている(アッベが命名したアポクロマートで非点収差が大きい)レンズを用い、色分解光学系とR(赤)とG(緑)1とG2とB(青)との撮像素子による4板構成とし、G1の撮像素子に対してG2の撮像素子を垂直方向に1/2画素ピッチ水平方向に1/2画素ピッチずらして配置する撮像装置において、
Rの撮像素子とBの撮像素子をG1の撮像素子と概略同一位置に配置するか、Rの撮像素子とBの撮像素子をG1の撮像素子とG2の撮像素子の概略中央に配置するかのどちらか一方とし、(非点収差による放射線方向の変調度低下と円周方向の変調度低下に対応し)
Rの撮像素子とBの撮像素子をG1の撮像素子と概略同一位置に配置するか、Rの撮像素子とBの撮像素子をG1の撮像素子とG2の撮像素子の概略中央に配置するかのどちらか一方とし、G出力映像信号はG1の撮像素子の信号とG2の撮像素子の信号との切替とする手段(選択器)とRの画素とBの画素を周囲画素から補間する手段とを有し、
画面中央の補間するRの画素に隣接する補間するRの画素の信号の平均する手段(画素遅延部と加算器とビットシフト部)と、前記画面中央の補間するRの画素に隣接するG1の画素の信号とG2の画素の信号の平均を算出し加算する手段(ラインメモリと画素遅延部と正負掛け算器と加算器)と、前記画面中央の補間するRの画素の周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算する手段(ラインメモリと画素遅延部と正負掛け算器と加算器)と、画面中央の補間するBの画素に隣接するBの画素の信号を平均する手段と、前記画面中央の補間するBの画素の隣接するG1の画素の信号とG2の画素の信号を平均し加算する手段と、前記画面中央の補間するBの周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算する手段と、
放射方向の変調度が低い画面左右端での補間するRの画素は隣接するRの画素の信号の平均する手段(画素遅延部と加算器とビットシフト部)と、前記放射方向の変調度が低い画面左右端での補間するRの画素に隣接するG1の画素の信号とG2の画素の信号の平均を加算する手段(ラインメモリと画素遅延部と正負掛け算器と加算器)と、前記放射方向の変調度が低い画面左右端での補間するRの画素の上と下との周囲2画素目のG1の画素の信号とG2の画素の信号の平均を算出し減算する手段(ラインメモリと画素遅延部と正負掛け算器と加算器)と、放射方向の変調度が低い画面左右端での補間するBの画素の隣接するBの画素を平均する手段と、前記放射方向の変調度が低い画面左右端での補間するBに隣接するG1の画素の信号とG2の画素の信号を平均し加算する手段と、前記放射方向の変調度が低い画面左右端での補間するBの上と下との周囲2画素目のG1の画素の信号とG2の画素の信号を平均し減算する手段と、
円周方向の変調度が低い画面左右端でのRの画素の隣接するRの画素の信号を平均する手段と、前記円周方向の変調度が低い画面左右端でのRの画素に隣接するG1の画素の信号とG2の画素の信号を平均し加算する手段と、前記円周方向の変調度が低い画面左右端でのRの画素の右と左との周囲2画素目のG1の画素の信号とG2の画素の信号を平均し減算する手段と、前記円周方向の変調度が低い画面左右端でのBの画素に隣接するBの画素を平均する手段と、前記円周方向の変調度が低い画面左右端でのBの画素に隣接するG1の画素の信号とG2の画素の信号の平均し加算する手段と、前記円周方向の変調度が低い画面左右端でのBの画素の右と左との周囲2画素目のG1の画素の信号とG2の画素の信号を平均し減算する手段と、
左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の対角隅の補間するRの画素に隣接するRの画素の信号を平均する手段と、前記左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の対角隅の補間するRの画素の隣接するG1の画素の信号とG2の画素の信号の平均し加算する手段と、前記左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の対角隅の補間するRの画素の右上斜め方向と左下方向との周囲2画素目のG1の画素の信号とG2の画素の信号を平均し減算する手段と、左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の画面対角隅の補間するBの画素は隣接するBの画素の平均に隣接するG1の画素の信号とG2の画素の信号の平均し加算する手段と、前記左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の画面対角隅の補間するBの画素の右上斜め方向と左下方向との周囲2画素目のG1の画素の信号とG2の画素の信号を平均し減算する手段と、
右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅の補間するRの画素は隣接するRの画素の信号を平均する手段と、前記右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅の補間するRの画素に隣接するG1の画素の信号とG2の画素の信号の平均し加算する手段と、記右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅の補間するRの画素の左上斜め方向と右下方向との周囲2画素目のG1の画素の信号とG2の画素の信号の平均し減算する手段と、右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面対角隅の補間するBの画素は隣接するBの画素を平均する手段と、前記右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面対角隅の補間するBの画素に隣接するG1の画素の信号とG2の画素の信号の平均し加算する手段と、前記右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面対角隅の補間するBの画素の左上斜め方向と右下方向との周囲2画素目のG1の画素の信号とG2の画素の信号を平均し減算する手段と、
とのいずれか一つを有することを特徴とする撮像装置である。
【0135】
また本発明は、(
図6Aの実施例の方法前提で
図2の実施例の装置:RBの画素信号をG1G2の画素信号で補間する処理回路として、)
上記の撮像装置において、Rの撮像素子とBの撮像素子をG1の撮像素子と概略同一位置に配置し、撮像部(カメラヘッド)と制御部(CCU)で構成され、G1G2をY1Y2とし、RBをPbPrとして(60p)4:1:1を(2本の3GのSDIに変換して)伝送し、
G出力映像信号はG1の撮像素子の信号とG2の撮像素子の信号との切替とする手段(選択器)とRの画素とBの画素を周囲画素から補間する手段とを有し、
画面中央のRn,m-1とRn,m+1との間の補間する(4:1:1伝送で欠落した)Rの画素(Rn,m)は隣接するRの画素の信号の平均((Rn,m-1+Rn,m+1)/2)を算出する手段(画素遅延部と加算器とビットシフト部)と補間するRの画素(Rn,m)と同位置のG1の画素の信号を加算する手段と隣接するG2の画素の信号の平均と補間するRの画素(Rn,m)に隣接するG1の画素の信号の平均を算出し減算する手段(ラインメモリと画素遅延部と負の掛け算器と加算器)と、画面中央のBn,m-1とBn,m+1との間の補間する(4:1:1伝送で欠落した)Bの画素(Bn,m)は、補間するBの画素(Bn,m)に隣接するBの画素の平均((Bn,m-1+Bn,m+1)/2)を算出する手段と補間するBの画素(Bn,m)と同位置のG1の画素の信号を加算を加算する手段と補間するBの画素(Bn,m)に隣接するG2の画素の信号の平均と隣接するG1の画素の信号の平均とを減算する手段と、
放射方向の変調度が低い画面左右端でのRn,m-1とRn,m+1との間の補間する(4:1:1伝送で欠落した)Rの画素(Rn,m)は補間するRの画素(Rn,m)に隣接するRの画素の信号の平均((Rn,m-1+Rn,m+1)/2)を算出する手段(画素遅延部と加算器とビットシフト部)と補間するRの画素(Rn,m)と同位置のG1の画素の信号を加算する手段と補間するRの画素(Rn,m)に隣接するG2の画素の信号の平均と上下に隣接するG1の画素の信号の平均とを算出し減算する手段と放射方向の変調度が低い画面左右端でのBn,m-1とBn,m+1との間の補間する(4:1:1伝送で欠落した)Bの画素(Bn,m)は、補間するBの画素(Bn,m)に隣接するBの画素の平均((Bn,m-1+Bn,m+1)/2)を算出する手段とに補間するBの画素(Bn,m)と同位置のG1の画素の信号を加算し補間するBの画素(Bn,m)に隣接するG2の画素の信号の平均と補間するBの画素(Bn,m)の上下に隣接するG1の画素の信号の平均とを算出し減算する手段と、
前記円周方向の変調度が低い画面左右端でのRn,m-1とRn,m+1との間の補間する(4:1:1伝送で欠落した)Rの画素(Rn,m)は補間するRの画素(Rn,m)に隣接するRの画素の信号の平均((Rn,m-1+Rn,m+1)/2)を算出する手段と補間するRの画素(Rn,m)と同位置のG1の画素の信号を加算する手段と補間するRの画素(Rn,m)に隣接するG2の画素の信号の平均と左右に隣接するG1の画素の信号の平均を減算する手段と、前記円周方向の変調度が低い画面左右端でのBn,m-1とBn,m+1との間の補間する(4:1:1伝送で欠落した)Bの画素(Bn,m)の隣接するBの画素の平均((Bn,m-1+Bn,m+1)/2)を算出する手段と、補間するBの画素(Bn,m)の同位置G1の画素の信号を加算する手段と前記補間するBの画素(Bn,m)に隣接するG2の画素の信号の平均と前記補間するBの画素(Bn,m)に左右に隣接するG1の画素の信号の平均とを算出し減算する手段と、
左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の対角隅のRn,m-1とRn,m+1との間の補間する(4:1:1伝送で欠落した)Rの画素(Rn,m)は隣接するRの画素の信号の平均((Rn,m-1+Rn,m+1)/2)を算出する手段と補間するRの画素(Rn,m)と同位置のG1の画素の信号を加算する手段と補間するRの画素(Rn,m)に左上斜め方向と右下方向との隣接するG2の画素の信号の平均を減算する手段と左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の画面対角隅のBn,m-1とBn,m+1との間の補間する(4:1:1伝送で欠落した)Bの画素(Bn,m)の隣接するBの画素の平均((Bn,m-1+Bn,m+1)/2)を算出する手段と補間するBの画素(Bn,m)の同位置G1の画素の信号を加算する手段と前記補間するBの画素(Bn,m)に左上斜め方向と右下方向との隣接するG2の画素の信号の平均を減算する手段と、
右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅のRn,m-1とRn,m+1との間の補間する(4:1:1伝送で欠落した)Rの画素(Rn,m)は隣接するRの画素の信号の平均((Rn,m-1+Rn,m+1)/2)を算出する手段と補間するRの画素(Rn,m)と同位置のG1の画素の信号を加算する手段と補間するRの画素(Rn,m)に右上斜め方向と左下方向との隣接するG2の画素の信号の平均を減算する手段と、右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅のBn,m-1とBn,m+1との間の補間する(4:1:1伝送で欠落した)Bの画素(Bn,m)の隣接するBの画素の平均((Bn,m-1+Bn,m+1)/2)を算出する手段と補間するBの画素(Bn,m)の同位置G1の画素の信号を加算する手段と前記補間するBの画素(Bn,m)に右上斜め方向と左下方向との隣接するG2の画素の信号の平均を減算する手段と、
とのいずれか一つを有することを特徴とする撮像装置である。
【0136】
また本発明は、(
図4Aの実施例の方法前提で
図2の実施例の装置:少ないRBの画素信号をG1G2の画素信号で補間として、)
上記の撮像装置において、
Rの撮像素子とBの撮像素子をG1の撮像素子と概略同一位置に配置し、
G出力映像信号はG1の撮像素子の信号とG2の撮像素子の信号との切替とする手段(選択器)とRの画素とBの画素を周囲画素から補間する手段とを有し、
画面中央のRn,mとRn,m+1との間の補間するRの画素(Ro)の信号の平均((Rn,m+Rn,m+1)/2)を算出する手段(画素遅延部と加算器とビットシフト部)と、前記画面中央の補間するRの画素に隣接するG1の画素の信号とG2の画素の信号の平均((G2n,m-1+G1n,m+G1n,m+1+G2n,m+1)/2)を算出し加算する手段(ラインメモリと画素遅延部と正負掛け算器と加算器)と、前記画面中央の補間するRの画素の周囲2画素目のG1の画素の信号とG2の画素の信号の平均((G2n-1,m-1+G2n-1,m+1+G2n,m+G2n,m+1)/4+(G1n-1,m+G1n-1,m+1+G1n+1,m+G1n+1,m+1)/4)とを減算する手段(ラインメモリと画素遅延部と正負掛け算器と加算器)と、画面中央の補間するBの画素に隣接するBの画素の信号を平均する手段と、前記画面中央のBn,mとBn,m+1との間の補間するBの画素(Bo)は、隣接するBの画素の平均((Bn,m+Bn,m+1)/2)を算出する手段(画素遅延部と加算器とビットシフト部)と、前記画面中央の補間するBの画素の隣接するG1の画素の信号とG2の画素の信号を平均し加算する手段と、前記画面中央の補間するBの周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算する手段と、
放射方向の変調度が低い画面左右端での補間するRの画素は隣接するRの画素の信号の平均する手段(画素遅延部と加算器とビットシフト部)と、前記放射方向の変調度が低い画面左右端での補間するRの画素に隣接するG1の画素の信号とG2の画素の信号の平均を加算する手段(ラインメモリと画素遅延部と正負掛け算器と加算器)と、前記放射方向の変調度が低い画面左右端での補間するRの画素の上と下との周囲2画素目のG1の画素の信号とG2の画素の信号の平均(G1n-1,m+G1n-1,m+1+G1n+1,m+G1n+1,m+1)/4)を算出し減算する手段(ラインメモリと画素遅延部と正負掛け算器と加算器)と、放射方向の変調度が低い画面左右端での補間するBの画素の隣接するBの画素を平均する手段と、前記放射方向の変調度が低い画面左右端での補間するBに隣接するG1の画素の信号とG2の画素の信号を平均し加算する手段と、前記放射方向の変調度が低い画面左右端での補間するBの上と下との周囲2画素目のG1の画素の信号とG2の画素の信号を平均し減算する手段と、
円周方向の変調度が低い画面左右端でのRの画素の隣接するRの画素の信号を平均する手段と、前記円周方向の変調度が低い画面左右端でのRの画素に隣接するG1の画素の信号とG2の画素の信号を平均し加算する手段と、前記円周方向の変調度が低い画面左右端でのRの画素の右と左との周囲2画素目のG1の画素の信号とG2の画素の信号の平均((G2n-1,m-1+G2n-1,m+1+G2n,m+G2n,m+1)/4)を算出し減算する手段と、前記円周方向の変調度が低い画面左右端でのBの画素に隣接するBの画素を平均する手段と、前記円周方向の変調度が低い画面左右端でのBの画素に隣接するG1の画素の信号とG2の画素の信号の平均し加算する手段と、前記円周方向の変調度が低い画面左右端でのBの画素の右と左との周囲2画素目のG1の画素の信号とG2の画素の信号を平均し減算する手段と、
左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の対角隅の補間するRの画素に隣接するRの画素の信号を平均する手段と、前記左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の対角隅の補間するRの画素の隣接するG1の画素の信号とG2の画素の信号の平均し加算する手段と、前記左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の対角隅の補間するRの画素の右上斜め方向と左下方向との周囲2画素目のG1の画素の信号とG2の画素の信号を平均((G2n-1,m-1+G2n,m+1)/4+(G1n-1,m+G1n+1,m+1)/4)を算出し減算する手段と、左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の画面対角隅の補間するBの画素は隣接するBの画素の平均に隣接するG1の画素の信号とG2の画素の信号の平均し加算する手段と、前記左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の画面対角隅の補間するBの画素の右上斜め方向と左下方向との周囲2画素目のG1の画素の信号とG2の画素の信号を平均し減算する手段と、
右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅の補間するRの画素は隣接するRの画素の信号を平均する手段と、前記右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅の補間するRの画素に隣接するG1の画素の信号とG2の画素の信号の平均し加算する手段と、記右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅の補間するRの画素の左上斜め方向と右下方向との周囲2画素目のG1の画素の信号とG2の画素の信号の平均(G2n-1,m+1+G2n,m)/4+(G1n-1,m+1+G1n+1,m)/4)を算出し減算する手段と、右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面対角隅の補間するBの画素は隣接するBの画素を平均する手段と、前記右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面対角隅の補間するBの画素に隣接するG1の画素の信号とG2の画素の信号の平均し加算する手段と、前記右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面対角隅の補間するBの画素の左上斜め方向と右下方向との周囲2画素目のG1の画素の信号とG2の画素の信号を平均し減算する手段と、
とのいずれか一つを有することを特徴とする撮像装置である。
【0137】
また本発明は、(
図5Aの実施例の方法前提で
図2の実施例の装置:少ないRBの画素信号をG1G2の画素信号で補間として、)
上記の撮像装置において、
Rの撮像素子とBの撮像素子をG1の撮像素子と概略同一位置に配置するか、Rの撮像素子とBの撮像素子をG1の撮像素子とG2の撮像素子の概略中央に配置するかのどちらか一方とし、(非点収差による放射線方向の変調度低下と円周方向の変調度低下に対応し)
Rの撮像素子とBの撮像素子をG1の撮像素子と概略同一位置に配置するか、Rの撮像素子とBの撮像素子をG1の撮像素子とG2の撮像素子の概略中央に配置するかのどちらか一方とし、G出力映像信号はG1の撮像素子の信号とG2の撮像素子の信号との切替とする手段(選択器)とRの画素とBの画素を周囲画素から補間する手段とを有し、
画面中央のRn,mとRn,m+1との間の補間するRの画素(Ro)に隣接する補間するRの画素の信号の平均((Rn,m+Rn,m+1)/2)を算出する手段(画素遅延部と加算器とビットシフト部)と、前記画面中央の補間するRの画素に隣接するG1の画素の信号とG2の画素の信号の平均を算出し加算する手段(ラインメモリと画素遅延部と正負掛け算器と加算器)と、前記画面中央の補間するRの画素の周囲2画素目のG1の画素の信号とG2の画素の信号の平均((G2n,m+G1n,m+1)/2)を算出し減算する手段(ラインメモリと画素遅延部と正負掛け算器と加算器)と、画面中央のBn,mとBn,m+1との間の補間するBの画素(Bo)に隣接するBの画素の信号を平均((Bn,m+Bn,m+1)/2)を算出する手段と、前記画面中央の補間するBの画素の隣接するG1の画素の信号とG2の画素の信号を平均し加算する手段と、前記画面中央の補間するBの周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算する手段と、
放射方向の変調度が低い画面左右端での補間するRの画素は隣接するRの画素の信号の平均((Rn,m+Rn,m+1)/2)を算出する手段(画素遅延部と加算器とビットシフト部)と、前記放射方向の変調度が低い画面左右端での補間するRの画素に隣接するG1の画素の信号とG2の画素の信号の平均((G2n,m+G1n,m+1)/2)を算出し加算する手段(ラインメモリと画素遅延部と正負掛け算器と加算器)と、前記放射方向の変調度が低い画面左右端での補間するRの画素の上と下との周囲2画素目のG1の画素の信号とG2の画素の信号の平均((G2n-1,m+1+G2n-1,m+1)/4+(G1n+1,m+G1n+1,m+1)/4)を算出し減算する手段(ラインメモリと画素遅延部と正負掛け算器と加算器)と、放射方向の変調度が低い画面左右端での補間するBの画素の隣接するBの画素を平均((Bn,m+Bn,m+1)/2)を算出する手段と、前記放射方向の変調度が低い画面左右端での補間するBに隣接するG1の画素の信号とG2の画素の信号を平均し加算する手段と、前記放射方向の変調度が低い画面左右端での補間するBの上と下との周囲2画素目のG1の画素の信号とG2の画素の信号を平均し減算する手段と、
円周方向の変調度が低い画面左右端でのRの画素の隣接するRの画素の信号の平均((Rn,m+Rn,m+1)/2)を算出する手段と、前記円周方向の変調度が低い画面左右端でのRの画素に隣接するG1の画素の信号とG2の画素の信号を平均し加算する手段と、前記円周方向の変調度が低い画面左右端でのRの画素の右と左との周囲2画素目のG1の画素の信号とG2の画素の信号を平均((G1n,m+G1n,m+2)/4+(G2n,m-1+G2n,m+1)/4)を算出し減算する手段と、前記円周方向の変調度が低い画面左右端でのBの画素に隣接するBの画素の平均((Bn,m+Bn,m+1)/2)を算出する手段と、前記円周方向の変調度が低い画面左右端でのBの画素に隣接するG1の画素の信号とG2の画素の信号の平均し加算する手段と、前記円周方向の変調度が低い画面左右端でのBの画素の右と左との周囲2画素目のG1の画素の信号とG2の画素の信号を平均し減算する手段と、
左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の対角隅の補間するRの画素に隣接するRの画素の信号を平均((Rn,m+Rn,m+1)/2)を算出する手段と、前記左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の対角隅の補間するRの画素の隣接するG1の画素の信号とG2の画素の信号の平均し加算する手段と、前記左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の対角隅の補間するRの画素の右上斜め方向と左下方向との周囲2画素目のG1の画素の信号とG2の画素の信号を平均((G2n-1,m+1)/4+(G1n,m)/4+(G2n,m+1)/4+(G1n+1,m+1)/4)算出し減算する手段と、左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の画面対角隅の補間するBの画素は隣接するBの画素の平均((Bn,m+Bn,m+1)/2)を算出する手段と、に隣接するG1の画素の信号とG2の画素の信号の平均し加算する手段と、前記左上斜め方向の変調度が高く右上斜め方向の変調度の低い画面の画面対角隅の補間するBの画素の右上斜め方向と左下方向との周囲2画素目のG1の画素の信号とG2の画素の信号を平均し減算する手段と、
右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅の補間するRの画素は隣接するRの画素の信号の平均に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、左上斜め方向と右下方向との周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算し、画面対角隅の補間するBの画素は隣接するBの画素の平均に隣接するG1の画素の信号とG2の画素の信号の平均を加算し、左上斜め方向と右下方向との周囲2画素目のG1の画素の信号とG2の画素の信号の平均とを減算することと、
右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅の補間するRの画素は隣接するRの画素の信号を平均((Rn,m+Rn,m+1)/2)を算出する手段と、前記右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅の補間するRの画素に隣接するG1の画素の信号とG2の画素の信号の平均し加算する手段と、記右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面の対角隅の補間するRの画素の左上斜め方向と右下方向との周囲2画素目のG1の画素の信号とG2の画素の信号の平均((G2n-1,m+1)/4+(G1n,m+2)/4+(G2n,m-1)/4+(G1n+1,m)/4)を算出し減算する手段と、
右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面対角隅の補間するBの画素は隣接するBの画素を平均する手段と、前記右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面対角隅の補間するBの画素の平均((Bn,m+Bn,m+1)/2)を算出する手段と、隣接するG1の画素の信号とG2の画素の信号の平均し加算する手段と、前記右上斜め方向の変調度が高く左上斜め方向の変調度の低い画面対角隅の補間するBの画素の左上斜め方向と右下方向との周囲2画素目のG1の画素の信号とG2の画素の信号を平均し減算する手段と、
とのいずれか一つを有することを特徴とする撮像装置である。
【0138】
以上本発明について詳細に説明したが、本発明は、ここに記載された撮像装置に限定されるものではなく、上記以外の撮像装置に広く適用することができることは言うまでもない。