【実施例】
【0014】
図1は、本発明の動き検出用固体撮像装置の全体の構成を示す図である。動き検出用固体撮像装置は、全体のタイミングを制御するためのタイミング発生回路24、画素の光電変換時間(蓄積時間)を2つの異なった蓄積時間で制御するための蓄積時間制御回路25、垂直走査回路14、動き検出回路7、ADC回路8、水平走査回路13と画素群10で構成されている。
【0015】
動き検出動作のための画素の配置は2×2の4画素で1つのセルを成す。図に於いて、画素1(a11)、画素1(a’11)、画素1(b’11)、画素1(b11)は1つのセルである。水平方向に対となっている画素1(a11)、画素1(a‘11)の読み出しトランジスタ2、2’のゲートには、それぞれ別の読み出し配線(READ1、READ1’)が印加される。画素で一定時間光電変換され蓄積された電荷は、読み出しトランジスタ2、2‘のゲート下を転送し、フローティングジャンクション3へ流入する。このフローティングジャンクション3の電位は、増幅トランジスタ5のゲートを変調する。画素1(a11)、画素1(a’11)はそれぞれ別の垂直信号線6,6’に連結されており、垂直信号線6,6‘を介し電位変化として読み出される。
【0016】
このフローティングジャンクション3は、信号電荷が転送される前にリセットトランジスタ4のゲートを介し一定電圧にリセット(RESET)される。1セルの2行目の水平方向に対となっている画素1(b’11)、画素1(b11)の読み出しゲート2‘、2には、それぞれ別の読み出し配線(READ2‘、READ2)が印加される。画素1(b’11)、画素1(b11)は、画素1(a11)、画素1(a’11)と同様に、それぞれ別の垂直信号線6,6’に連結されており、垂直信号線6,6‘を介し電位変化として読み出される。
【0017】
垂直信号線6,6‘は、その端部で動き検出回路7に繋がっており、更にはADC(Analog to Digital Converter)回路8に繋がっている。ADC回路8からは垂直信号線6,6‘に対応したADC出力が10bitのデジタル信号として水平走査回路13にて順次読み出される。動き検出回路7からは、一対の垂直信号線6,6’より1つの動き検出信号が出力される。動き検出信号は水平読み出しゲート11を介し、水平信号線12に出力される。
【0018】
水平読み出しゲート11に印加されるパルスは、水平走査回路13にて発生され、水平方向にセル毎に順次読み出しを行う。同様に垂直方向のセルの読み出しを行うための、読み出しトランジスタ2,2’のゲートに印加されるパルス(例えばREAD1,1’)、及びリセットトランジスタ4のゲートに印加されるパルス(RESET)は、垂直走査回路14にて発生され、垂直方向に1ライン毎に順次読み出しを行う。
【0019】
図2(a)は
図1に示す本発明のユニットセルのレイアウトと、動き検出回路構成、駆動方法を説明する図である。以下の図面では、同一の機能を有する構成要素は同一の番号にて表記する。
図1で示したように、画素の配置は2×2の4画素(画素1(a11)、画素1(a’11)、画素1(b’11)、画素1(b11))で1つのセルを構成している。水平方向に対となっている画素1(a11)、画素1(a‘11)の読み出しゲート2、2’には、それぞれ別の読み出し配線(READ1、READ1’)が印加され、残りの水平方向に対となっている画素1(b’11)、画素1(b11))の読み出しトランジスタ2‘、2のゲートには、それぞれ別の読み出し配線(READ2’、READ2)が印加されている。また垂直方向に隣接し合う画素1(a11)、画素1(b’11)は垂直信号線6に、他の垂直方向に隣接し合う画素1(a’11)、画素1(b11))は別の垂直信号線6’に、連結され読み出しが行われる。
【0020】
図2(a)に於いて、垂直信号線6,6‘の端部にはLOAD Tr(負荷トランジスタ)が設けられ、LOAD
Trの電位はスイッチ回路(SW1)を経て、キャパシタと差動増幅回路15のプラス側に繋がっている。またLOAD Trの電位はスイッチ回路(SW2)を経て、増幅器16を介し、差動増幅回路15のマイナス側にも繋がっている。この差動増幅器15の出力を差動出力17とする。この回路構成から増幅器16を除去すると、従来のCMOSセンサで一般的に採用されているCDS(Correlated Double Sampling)回路構成である。垂直信号線6‘に於いても同様であり、それぞれ対応する部分を差動増幅回路15’、増幅器16’、差動出力17‘とする。
【0021】
2つの隣接する差動出力17、17‘は加算回路18に入力される。加算出力19はノイズ除去回路20に入り、ノイズ除去加算出力21は、水平信号線12に繋がる水平読み出しゲート11の入力側へ連結される。このノイズ除去回路20は、前出のCDS回路構成で代用できる。また図では書かれていないが、ノイズ除去加算出力21は、垂直信号線6,6’と同様にADC回路8を通してから、水平読み出しゲート11の入力側へ連結しても良い。一方、LOAD
Trの電位は垂直信号線6,6‘を延長させスイッチ回路(SW3)を経て、ADC回路8に繋がっている。図示はしていないが、スイッチ回路(SW3)と、ADC回路8の間には、通常のCDS回路構成が挿入される。もしくは、ADCのデジタル処理でCDS動作を実施することもできる。
【0022】
図2(b)は対の画素1(a11)、画素1(a‘11)と、別の対の画素1(b’11)、画素1(b11)の出力レベルの光電変換時間変化を示す図である。この場合には画素の光電変換効率(以下の説明では感度と呼び、図中のグラフの傾きに相当する)が、対の画素1(a11)、画素1(a‘11)と、別の対の画素1(b’11)、画素1(b11)で4画素共同じ場合で説明する。更に、斜め方向に隣接する第1の画素1(a11)、画素1(b11)の光電変換時間(第1光電変換時間と呼ぶ)を同じにする。残りの斜め方向に隣接する第2の画素(a11‘)、画素1(b’11)の光電変換時間(第2光電変換時間と呼ぶ)も同じにし、第2光電変換時間を第1光電変換時間t1よりも長くしている(図では、光電変換時間を2倍にしたケース)。第1及び第2光電変換時間の光電変換時間の比を2倍にし、かつ2つの光電変換時間(第1の光電変換時間、第2の光電変換時間)の終了時点を略一致させるために、第1の画素1(a11)、画素1(b11)の光電変換時間を制御する読み出しトランジスタ2のゲートには、途中、画素信号を捨てるためのREAD1,2パルスを印加し、フローティングジャンクション3の電位をリセットするために、リセットトランジスタ4のゲートにリセットパルス(図中RSで示す)を印加している。
【0023】
図2(c)は、本発明の駆動方法を説明するための図であり、特に略一致した2つの光電変換時間の終了時点における、画素からの信号出力の読み出しのシーケンスを説明する為の図である。それぞれの信号線、パルス線、に生ずるタイミングチャートを示す。まずフローティングジャンクション3は、信号電荷が転送される前にリセットトランジスタ4のゲートを介し一定電圧にリセット(RESET)される(タイミングT1;以下T1と略す)。この際フローティングジャンクション3にはリセットパルスの誘導がノイズとして重畳され、垂直信号線6、6‘にはノイズ成分が出る(T2)。次に、第1の画素1(a11)、画素1(b11)に第1光電変換時間t1で光電変換され蓄積された電荷は、読み出し配線(READ1、2)のパルスを読み出しゲート2に印加することで、フローティングジャンクション3へ流入する(T3)。
【0024】
ノイズ成分が出ている垂直信号線6、6‘には、画素1(a11)、画素1(b11)の信号成分がそれぞれ重畳される。次の読み出しの為にフローティングジャンクション3がリセットされる前に、SW1を閉じ(ON)、垂直信号線6、6‘の出力レベルをキャパシタに保持させる。次にSW1を開いた(OFF)した後に、フローティングジャンクション3をリセットする(T4)。この際も同様にリセットパルスの誘導がノイズとして重畳され、垂直信号線6、6‘にはノイズ成分が出てくる(T5)。次に、第2の画素(a11‘)、画素1(b’11)に第2光電変換時間t2(2×t1)で光電変換され蓄積された電荷は、読み出し配線(READ1’、2‘)のパルスを読み出しゲート2’に印加することにより、フローティングジャンクション3へ流入する(T6)。
【0025】
ノイズ成分が出ている垂直信号線6、6‘には、画素1(a’11)、画素1(b‘11)の信号成分がそれぞれ重畳される。次の読み出しの為にフローティングジャンクション3がリセットされる前に、SW2を閉じ(ON)、垂直信号線6、6‘の出力レベルを増幅器16にて増幅し、差動増幅回路15のマイナス側に入力する。この増幅器のゲインとしては、上記ケースでは第1光電変換時間と第2光電変換時間の比である1/2となる。
【0026】
差動増幅回路15、15’のプラス側には、キャパシタに蓄積されている、それぞれ画素1(a11)、画素1(b11)の信号成分が入力されている。差動増幅回路15、15’のマイナス側には、ゲインが掛けられた画素1(a’11)、画素1(b‘11)の信号成分が入力されている。このため、この差動増幅器15、15‘の出力である差動出力17、17’としては、それぞれ画素1(a11)、画素1(b’11)の差分と、画素1(b11)、画素1(a‘11)の差分が出力される。更に差動出力17、17’の先には、加算回路18があるので、襷掛けに足した画素1(a11)+画素1(b11)から、襷掛けに足した、画素1(a‘11)+画素1(b’11)の1/2との差分と取った値が、加算回路18の加算出力19となる。これをCDS回路構成のノイズ除去回路20で処理した出力は、ノイズ除去加算出力21として出てくる。
【0027】
被写体が静止している場合には、光電変換時間が2倍となっている信号を、増幅器16にて1/2のゲインを掛け算して差分を取るため、動き検出出力(ノイズ除去差分出力21)はゼロとなる。一方、動きの有る場合には光電変換時間内で被写体の明るさが変化する為、動き検出出力(ノイズ除去差分出力21)はゼロとならない。
【0028】
このように、本発明に於いて、複数の画素をマトリクス状に配列して、撮像画面を形成し、空間的に近接する第1及び第2の画素を1組とし、第1の画素の第1光電変換時間t1を第2の画素の第2光電変換時間t2よりも短くすると共に、第1及び第2光電変換時間の終了時点を略一致させ、第1及び第2光電変換時間の後に、第1及び第2の画素の信号を共に読み出し、第2光電変換時間に対する第1光電変換時間の比と第2画素の信号の積を求め、この積と第1画素の信号の差に基づいて、撮像画面上の物体の動きを検出することが出来る。
【0029】
垂直信号線6,6‘の出力は、スイッチ回路(SW3)を閉じる(ON)することで、CDS回路(図示せず)を経て、ADC回路8に入力され、例えば10bitのデジタル信号に変換し出力する。しかしながら、
図2(a)、(b)、(c)に於いて、第1の画素として画素1(a11)、画素1(b11)を組み合わせ、第2の画素として画素1(a’11)、画素1(b‘11)を組み合わせているため、順次と言っても、水平走査線が1ラインずれたジグザグ状に出てきてしまう。また、出力の2倍異なる画像同士の合成画像として出力される。これはダイナミックレンジを拡大したモードの画像出力となる。通常と同じような出力の仕方をするには、以下に示すように回路を少し変更する必要が有る。
【0030】
まず後者の、出力の2倍異なる画像同士の合成画像として出力されるのを防止する方法に付き、
図2(d)を用いて説明する。
図2(d)で垂直信号線6,6‘には、スイッチ回路(SW3)が付いているが、これと並列させてスイッチ回路(SW4)を設置し、その先に増幅器22を設置する。その先をSW3の先に繋ぐ。第2光電変換時間の第2の画素(例えば画素1(a’11)、画素1(b‘11))の読み出しの際に、SW3を開き(OFF)、SW4を閉じ(ON)、SW4の先にある増幅器のゲインを1/2にすることで、同じ明るさの被写体の撮像の場合、各画素の出力を同じにすることが出来る。
【0031】
前者の、水平走査ラインがジグザグになることを防止する方法に付き、
図3(a)、(b)、(c)を用いて説明する。
図3(a)は
図2(d)と類似であるが、違いは垂直信号線6‘の端部のLOAD
Tr以降の回路であり、スイッチ回路(SW1)と、キャパシタと差動増幅回路15のプラス側の間に増幅器16’が挿入され、差動増幅器15‘のマイナス側に繋がり、スイッチ回路SW2側には増幅器が挿入されずに、差動増幅器15‘のプラス側に繋がれていることである。
【0032】
図3(b)は対の画素1(a11)、画素1(a‘11)と、別の対の画素1(b’11)、画素1(b11)の出力レベルの光電変換時間変化を示す図であり、
図2(b)と同じである。
【0033】
図3(c)ではREAD1、1‘を同じタイミングで読み出し、水平方向に隣接し合う画素1(a11)、画素1(a’11)を同時に垂直信号線6,6‘に転送する。動き検出回路7では、SW2を開き(OFF)、SW1を閉じ(ON)、キャパシタに垂直信号線の電位を保持させる。次のタイミングでREAD2、2‘を同じタイミングで読み出し、水平方向に隣接し合う画素1(b’11)、画素1(b11)を同時に垂直信号線6,6‘に転送する。動き検出回路7では、SW1を開き(OFF)、SW2を閉じ(ON)、差動増幅器15、15’で差分を取る。
【0034】
差動増幅回路15のプラス側にはキャパシタに蓄積されている画素1(a11)の信号成分が、差動増幅回路15’のマイナス側には、キャパシタに蓄積されている画素1(a‘11)の信号成分に増幅器16’でゲインが掛けられた信号が入力されている。また差動増幅回路15のマイナス側には、ゲインが掛けられた画素1(b’11)の信号成分が、差動増幅回路15’のプラス側には、画素1(b11)の信号成分が入力されている。このため、この差動増幅器15、15‘の出力である差動出力17、17’としては、それぞれ画素1(a11)、画素1(b’11)の差分と、画素1(b11)、画素1(a‘11)の差分が出力される。更に差動出力17、17’の先には、加算回路18があるので、襷掛けに足した画素1(a11)+画素1(b11)から、襷掛けに足した、画素1(a‘11)+画素1(b’11)の1/2との差分と取った値が、加算回路18の加算出力19となる。これをCDS回路構成のノイズ除去回路20で処理した出力は、ノイズ除去加算出力21として出てくる。これは
図2(c)の説明と同じである。
【0035】
図2(d)で既に説明したように、同じ明るさの被写体の撮像の場合、第2光電変換時間の第2の画素(例えば画素1(a’11)、画素1(b‘11))の出力は増幅器22でゲインが掛っているため、第1光電変換時間の第1の画素(例えば画素1(a11)、画素1(b11))と同じ出力でADC回路に入力される。同一水平走査線上の対の画素1(a11)、画素1(a‘11)からは、READ1,1’を同時に開くことにより、ADC回路には通常のCMOSセンサでのライン順次読み出しと同様な読み出し方が出来る。このようにして
図2(a)で問題となった、ジグザグ状に出力が出てくる問題点は解消できる。また前述したように、光電変換時間の違いもゲインの調整することで、出力差を出さなくすることが出来るため、通常のCMOSセンサでの画像出力も可能な、動き検出固体撮像装置を提供できる。
【0036】
図2(d)や
図3(a)に示す、本発明の構成に於いては、スイッチ回路(SW1,SW2,SW3,SW4)と有るために、動き出力21のレベルが小さいとの判断の際には、スイッチ回路(SW3、SW4)を開き(OFF)、画素での撮像出力がADC回路に行かないようにすることが出来る。 この為ADCに印加される駆動波形や、回路電源電圧を動き出力レベルで制御することが出来る。更には水平走査回路をOFFにすることが出来る。これは消費電力の低減に役立つ。
【0037】
図4(a)は、
図2(a)、
図3(a)に示す本発明による動き検出用撮像装置の、単位セルの繰り返し配置を示した図である。
図4(a)には画素の座標として、水平方向にA、B、C,D、垂直方向に1,2,3,4,5,6,7,8と座標位置を示した。被写体の物体端部と、画素配置との位置を変化させた図も添付している。
図4(a)に於いては、黒パターンの被写体の物体端部が水平方向に延び、垂直方向の端部位置が、上側では座標2と座標3の境界に、下側では座標5と座標6の境界にある状態を、Initial状態とする。
図2(b)、
図3(b)で示す第1光電変換時間t1の間に、被写体像が1画素分だけ下側に動くケースをTiming1で示している。Timing1とは1画素分の移動が完了し、かつ、 ’(ダッシュ)が付記されていない画素(例えばa11、a12、b11、b12)のリセット直後のタイミングである。次の第1光電変換時間t1の間に、被写体の物体が更に1画素分だけ下側に動くケースをTiming2で示している。
図4(a)で示すように2×t1の移動期間で2画素分移動が完了し、かつ画素からの読み出しの直前のタイミングがTiming2である。この被写体の移動は一定スピードで行われると仮定する。
【0038】
図4(b)は、
図4(a)で示す、3つのタイミング(Initial、Timing1、Timing2)の場合に、各座標に有る各画素において、どの様な出力になり、それらを演算した動き検出信号がどの様になるかを表で示している。
この出力の算出に当たり、第2光電変換時間t2は第1光電変換時間t1の2倍の長さとし、黒パターン部分では画素出力を零とし、黒パターン以外の部分では、第2光電変換時間に該当する画素(‘を付記した画素)の出力は全て1とし、第1光電変換時間に該当する画素(‘を付記していない画素)での出力は0.5とした。またパターン端部では光強度はStep状に変化し、隣接画素へのクロストーク(漏れ込み)は零とした。また黒パターンは垂直方向には全て同じ強度で伸長しているものとした。以下の図説明では、全てこれと同じ前提条件を使用する。
【0039】
被写体の移動は一定スピードで行われると仮定し、第1の光電変換時間で黒パターン端部が画素(座標)の上端から下端に移動した場合、第1光電変換時間の間全面露光された場合の該当画素出力は0.5の半分とした。また、黒パターン端部が画素(座標)の中央に来た場合の画素への入射強度は、全面露光された場合の半分とした。以下の図説明においても、これと同じ前提を使用する。
【0040】
図4(b)に於いて、Initialのタイミングでは、光電変換が始まった直後のタイミングなので、全部の画素の出力は0となる。
【0041】
Timing1では第1光電変換時間に対応した画素(a11、a12、b11、b12、a21、a22、b21、b22、‥)では、読み出され、リセットされた直後なので、出力は0になる。一方、第2光電変換時間に対応した画素(a’11、a’12、b’11、b’12、a’21、a’22、b’21、b’22、‥)では、全面露光された画素では0.5となり、黒パターンに対応し露光されない画素では0となる。黒パターン端部が移動した画素に於いては、出力は0.25となる。
【0042】
Timing2では第1光電変換時間に対応した画素では、全面露光された画素では0.5となり、黒パターンに対応し露光されない画素では0となる。黒パターン端部が移動した画素(b21、b22、a41、a42)に於いては、出力は0.25となる。一方、第2光電変換時間に対応した画素では、第2光電変換時間中に全面露光された画素では1となり、黒パターンに対応し露光されない画素では0となる。Timing1で黒パターン端部が移動し、明るくなった画素(a‘21、a’22)に於いては、出力は0.75となる。一方Timing1で黒パターン端部が移動し、暗くなった画素(b‘31、b’32、に於いては、出力は0.25となる。Timing2で黒パターン端部が移動し、明るくなった画素(b‘21、b’22)では0.25となり、暗くなった画素(a‘41,a‘42)では0.75となる。
【0043】
このTiming2より動き検出信号を算出する。算出の方法は、
図2、
図3で説明したように、襷掛け画素の和と、残り襷掛け画素の和を光電変換時間換算した後に差分を取る方法である。例として、Timing2の左上の2×2の画素ブロックで算出すると、(0.5+0.5)−(1+1)/2=0となる。Timing2のその下の2×2の画素ブロックで算出すると、(0.5+0.25)−(0.25+0.75)/2=0.25となる。同様にさらに下側の2×2の画素ブロックで算出すると、(0+0)−(0.25+0)/2=−0.125となる。 同様に一番下の2×2の画素ブロックで算出すると、(0.25+0.5)−(1+0.75)/2=−0.125となる。黒パターンの無い部分の2×2の画素ブロックで算出すると、(0.5+0.5)−(1+1)/2=0となる。また黒パターンで覆われた部分の画素ブロックでは、(0+0)−(0+0)/2=0となり、常に明るかった左上の2×2の画素ブロック同様、動きが無い部分では0となる。即ち動きの有るパターンの輪郭部分で動き検出信号が発生する。動き検出信号の出力パターン表は、水平方向、垂直方向は共に半分になり、
図4(b)では2×4の表となる。
【0044】
図5(a)は、
図4(a)と同じ本発明による動き検出用撮像装置の、単位セルの繰り返し配置を示した図である。
図5(a)にも画素の座標として、水平方向にA、B、C,D、垂直方向に1,2,3,4,5,6,7,8と座標位置を示した。
これを用いて、被写体の物体が移動しない場合の動き検出信号の出力パターンがどのようになるか、被写体の物体位置を、
図4(a)のInitialの位置を中心に、上下に1画素ずつ移動した3ケースにつき見積もってみる。
【0045】
図5(a)には、被写体の物体端部と、画素配置との相対位置を変化させた図も添付してある。
図5(a)に於いては、Case1として、黒パターン端部が水平方向に延び、垂直方向の端部位置が、上側では座標1,2の境界に、下側では座標4,5の境界に、来た場合としている。Case1より黒パターンを順次に1画素ずつ下側にシフトさせた場合を、Case2、Case3とした。Case1,2,3共に黒の物体は静止したままである。
【0046】
図5(b)は、上記Case1,2,3の場合に、各座標に有る各画素において、どの様な出力になり、それらを演算した動き検出信号がどの様になるかを表で示している。この出力の算出の前提条件は
図4(b)と同じである。
【0047】
図5(b)では、被写体の黒パターン位置のケース毎(Case1、Case2、Case3)毎に各座標の画素で発生する出力値を表に示してある。このCase1、2,3より動き検出信号を算出する。例として、Case1の左上の画素ブロックで算出すると、(0.5+0)−(0+1)/2=0となる。同様にCase1の左下の画素ブロックで算出すると、(0.5+0.5)−(1+1)/2=0となる。この算出を全ての画素ブロックに適用すると、全て0になる。また他のCaseでも同様に0となり、これらの結果を
図5(b)の一番下のCase1,2,3に示してある。各画素ブロック(2×2画素)に動き信号は1つしか出て来ないので、動き信号出力の表は、水平方向、垂直方向は共に半分になり、Case1,2,3の様に、2×4の表となる。
【0048】
カラー撮像する場合に、通常使用されるベイヤー配列方式は、2(水平)×2(垂直)画素を基本配列とし色フィルターは斜め方向に隣接する緑色(G)が2画素と、残り赤色(R)と青色(B)の1画素ずつで構成される。便宜上2つのGをRの水平ラインをGrと、Bの水平ラインをGbと記号を変えて区別する。通常のベイヤー方式で、特許文献1の動き検出撮像装置を構成しようとすると、1画素飛ばしの位置にある同色の画素で、光電変換時間を変化させる必要が有る。動き検出の為の光電変換時間を変えた同色の画素ペアが離れると、静止した物体であっても、撮像パターン端部に於ける信号処理で、動き検出信号としてのノイズ信号が出てしまう。また同一垂直信号線上の同色信号が、1画素飛ばしになってしまい、信号処理が複雑になる問題が有った。
【0049】
図6は本発明による動き検出カラー撮像装置の全体の構成を示す図である。本発明の動き検出用固体撮像装置画素の配置が2×2の4画素で1つのセルを成すという特徴は、カラーの撮像に於いても有利である。
図1の1つの画素セル(画素1(a11)、画素1(a’11)、画素1(b’11)、画素1(b11))に対応し、同色の色フィルターを配置する。
図6ではGreen(以下G、gと略し、Redライン上をGr、gr、Blueライン上をGb、gbと略す)を配置し、画素セルのそれぞれに対応し、画素1(Gr11)、画素1(Gr‘11)、画素1(gr’11)、画素1(gr11)で示す。同様にRed(以下R、rと略す)も、画素セルのそれぞれに対応し、画素1(R11)、画素1(R‘11)、画素1(r’11)、画素1(r11)で示す。同様にBlue(以下B、bと略す)も、画素セルのそれぞれに対応し、画素1(B11)、画素1(B‘11)、画素1(b’11)、画素1(b11)で示す。残りのBlueライン上のGreenも画素1(Gb11)、画素1(Gb‘11)、画素1(gb’11)、画素1(gb11)と示す。
図6での画素配列としては、2×2画素に1色のブロックを2×2でベイヤー配列された16画素単位で、垂直、水平方向に配置されている。この配列の色フィルターはクアッドベイヤー(Quad Bayer)と呼ぶ。
【0050】
図1〜5に於いては色フィルター配置を意識しない説明で、動き検出方法につき説明してきたが、
図6の色フィルター配置に於いても、同色の画素ブロック内で処理を行うことにより、
図1〜5の動き検出の結果は、
図6に同様に適用できる。
【0051】
水平方向に対となっている画素1(Gr11)、画素1(Gr‘11)及び、画素1(R11)、画素1(R‘11)の読み出しゲート2,2’には、それぞれ別の読み出し配線(READ1、READ1’)が印加され、光電変換時間を同色画素内(例えばGr11、Gr‘11)で変えている。次のラインの水平方向に対となっている画素1(gr‘11)、画素1(gr11)及び、画素1(r’11)、画素1(r11)画素でも同様に、それぞれ別の読み出し配線(READ2、READ2’)が印加され、光電変換時間を同色画素内(例えばgr‘11、gr11)で変えている。
図1と同様に、斜め方向に隣接する第1の画素1(Gr11)、画素1(gr11)の第1光電変換時間を同じにする。残りの斜め方向に隣接する第2の画素1(gr‘11)、画素1(Gr‘11)の第2光電変換時間も同じにし、第2光電変換時間を第1光電変換時間よりも長くしている(例えば光電変換時間を2倍にする)。この状況は
図1と同じである。また他の色の色ブロックでの2×2画素の光電変換時間も同様に変化を持たせる。垂直信号線6,6’の下端部で回路構成も
図1と同じである。
図4の本発明による動き検出カラー撮像装置の駆動方法は、
図1と同じであり、カラーのデジタル信号がADC回路8から、動き検出信号が水平信号線12からそれぞれ出力される。
【0052】
図7(a)、(b)は、本発明による動き検出カラー撮像装置において、被写体の物体位置が変化した際の、動き検出信号の変化の仕方を説明する図である。
【0053】
図7(a)は、
図6に示す本発明による動き検出カラー撮像装置の、具体的な構成要素図面を基に、色ブロックの繰り返し配置を示した図である。
図6の基本構成である画素1、読み出しトランジスタ2のゲート、フローティングジャンクション3、リセットトランジスタ4のゲート、増幅トランジスタ5のゲート、垂直信号線6,6‘を実際のレイアウト図を参考に示してある。
図1の1つの画素セル(画素1(a11)、画素1(a’11)、画素1(b’11)、画素1(b11))は色ブロックに対応し、
図7(a)ではGreenの色ブロック(Gr11、Gr‘11、gr’11、gr11)に対応している。便宜上、
図6(a)には画素の座標として、水平方向にA、B、C,D、垂直方向に1,2,3,4,5,6,7,8と座標位置を示した。
【0054】
図7(a)には、被写体の物体端部と、画素配置との相対位置を変化させた図も添付してある。
図7(a)に於いては、Case1として、黒の物体端部が水平方向に延び、垂直方向の端部位置が、上側では座標3の中央に、下側では座標6の中央にある状態を、Initial状態とする。
図2(b)、
図3(b)で示す第1光電変換時間t1の間に、物体が1画素分だけ下側に動くケースをTiming1で示している。Timing1とは1画素分の移動が完了し、かつリセット直後のタイミングである。次の第1光電変換時間t1の間に、物体は更に1画素分だけ下側に動くケースをTiming2で示している。
図4(a)で示すように2×t1の移動期間で2画素分移動が完了し、かつ画素からの読み出しの直前のタイミングがTiming2である。この被写体の物体移動は一定スピードで行われると仮定する。
【0055】
図7(b)は、
図7(a)で示す、3つのタイミング(Initial、Timing1、Timing2)の場合に、各座標に有る各画素において、どの様な出力になり、それらを演算した動き検出信号がどの様になるかを表で示している。
この出力の算出に当たり、条件は
図4(a)と同じ前提条件を使用する。詳細は
図4(b)と同様な算出方法で求まり、結果のみを記載すると、3つのタイミング(Initial、Timing1、Timing2)に対応した表のようになる。動きの有る物体の輪郭部分で動き検出信号が発生する。動き検出信号の出力パターン表は、水平方向、垂直方向は共に半分になり、
図7(b)では2×4の表となる。
【0056】
図8(a)は、
図7(a)と同じ本発明による動き検出用撮像装置の、単位セルの繰り返し配置を示した図である。
図8(a)にも画素の座標として、水平方向にA、B、C,D、垂直方向に1,2,3,4,5,6,7,8と座標位置を示した。
これを用いて、被写体の物体が移動しない場合の動き検出信号の出力パターンがどのようになるか、被写体の物体位置を、
図7(a)のInitialの位置を中心に、上下に1画素ずつ移動した3ケースにつき見積もっている。
【0057】
図8(a)には、被写体の物体端部と、画素配置との相対位置を変化させた図も添付してある。
図8(a)に於いては、Case4として、黒の物体端部が水平方向に延び、垂直方向の端部位置が、上側では座標2の中央に、下側では座標5の中央に来た場合としている。Case4より黒の物体を順次に1画素ずつ下側にシフトさせた場合を、Case5、Case6とした。Case4,5,6共に黒の物体は静止したままである。
【0058】
図8(b)は、上記Case4,5,6の場合に、各座標に有る各画素において、どの様な出力になり、それらを演算した動き検出信号がどの様になるかを表で示している。この出力の算出の前提条件は
図5(b)と同じである。
詳細は
図5(b)と同様な算出方法で求まり、結果のみを記載すると、3つのケース(Case4,5,6)で、動き検出信号の出力パターン表は、水平方向、垂直方向は共に半分になり、
図8(b)では2×4の表となる。算出結果は全ての色ブロック毎に、全て0となる。
【0059】
上記の説明では、被写体の物体は、端部が左右方向に伸びた黒の物体を想定し、黒の物体が上下方向に移動させた場合、及び画素に対して上下方向の相対位置を変化させた場合、に対する算出結果であった。
被写体の物体端部が上下方向に伸び、画素配列に対し、左右方向に移動する場合でも同様に算出できる。本発明では画素ブロックが2×2の画素セルで襷掛け演算を行っており、結果は同等な結果になる。
【0060】
図9は本発明による別の実施例である動き検出カラー撮像装置の全体構成を示す図である。本発明の動き検出用固体撮像装置画素の配置は2×2の4画素で1つのセルを成すという特徴はそのままで、4画素でフローティングジャンクション3、及び増幅トランジスタ5、リセットトランジスタ4を共有する構成である。
色ブロックごとの色フィルター配置は、
図6と同じである。画素セルのそれぞれに対応し、例えば左上のブロックでは画素1(Gr11)、画素1(Gr‘11)、画素1(gr’11)、画素1(gr11)で構成される。
図9での画素配列としては、2×2画素の色ブロックが4つ、ベイヤー配列された4×4=16画素単位で、垂直、水平方向に配置されている。
【0061】
水平方向に対となっている画素1(Gr11)、画素1(Gr‘11)及び、画素1(R11)、画素1(R‘11)の読み出しゲート2,2’には、それぞれ別の読み出し配線(READ1、READ1’)が印加され、
図6と同様に、光電変換時間を同色画素内(例えばGr11、Gr‘11)で変えている。次のラインの水平方向に対となっている画素1(gr‘11)、画素1(gr11)及び、画素1(r’11)、画素1(r11)画素でも同様に、それぞれ別の読み出し配線(READ2、READ2’)が印加され、光電変換時間を同色画素内(例えばgr‘11、gr11)で変えている。
図6と同様に、斜め方向に隣接する第1の画素1(Gr11)、画素1(gr11)の第1光電変換時間を同じにする。残りの斜め方向に隣接する第2の画素1(gr‘11)、画素1(Gr‘11)の第2光電変換時間も同じにし、第2光電変換時間を第1光電変換時間よりも長くしている。この状況は
図6と同じである。
【0062】
他の色ブロックでの2×2画素の光電変換時間も同様に変化を持たせる。垂直信号線6は各色ブロック単位で1本しかない。
図9の下端部で回路構成は
図6と少し異なる。しかし、これは動き検出回路7、ADC回路8の中の構成の違いであり、水平走査回路13、垂直走査回路14、水平読み出しゲート11、水平読み出し線12は
図6と同じである。カラーのデジタル信号がADC回路8から、動き検出信号が水平信号線12からそれぞれ出力される。
【0063】
図10は
図9の本発明による動き検出カラー撮像装置の、具体的な構成要素図面を基に、色ブロックの基本ユニット構成を示した図である。例として示したGreen色ブロックの画素1はGr11、Gr‘11、gr’11、gr11の4画素で構成される。読み出しゲート2,2‘、フローティングジャンクション3、リセットトランジスタ4のゲート、増幅トランジスタ5のゲートは
図10の様に配置される。
図10に於いて、出力回路部分を4画素で共有化でき、集積度を向上することが出来る。
【0064】
図11(a)、(b)、(c)は
図9の2×2の基本画素ブロックと垂直信号線の先の回路と、駆動を説明する図である。図は一般的な形として、
図2に対する対比で色フィルター無しの構成で説明している。
【0065】
図11(a)は
図10に示す本発明の別の実施例のユニットセルのレイアウトと、動き検出回路構成、駆動方法を説明する図である。画素の配置は2×2の4画素(画素1(a11)、画素1(a’11)、画素1(b’11)、画素1(b11))で1つのセルを構成する。水平方向に対となっている画素1(a11)、画素1(a‘11)の読み出しゲート2、2’には、それぞれ別の読み出し配線(READ1、READ1’)が印加され、残りの水平方向に対となっている画素1(b’11)、画素1(b11))の読み出しゲート2‘、2には、それぞれ別の読み出し配線(READ2’、READ2)が印加されている。4画素の電荷は1つのフローティングジャンクション3に流入し、垂直信号線6で読み出される。
【0066】
図11(a)に於いて、垂直信号線6の端部のLOAD Tr(負荷トランジスタ)への接合点からは幾つかの回路に分岐していく。LOAD
Trの電位はスイッチ回路(SW1)を経て、キャパシタと差動増幅回路15のプラス側に繋がる。またLOAD Trの電位はスイッチ回路(SW2)を経て、増幅器16を介し、差動増幅回路15のマイナス側にも繋がっている。この差動増幅器15の出力を差動出力17とする。この差動出力は動き検出信号を構成する。
【0067】
LOAD Trの電位は分岐した後に、それぞれスイッチ回路(SW3、SW4)を経て、一方のみ増幅器22を介し、再び合流しADC回路に入力される。この増幅器22では、光電変換時間の違った画素出力を揃える機能を行う。具体的には、光電変換時間の違った画素出力が交互に出てくるため、これに同期し、SW3,SW4を変化させ、光電変換時間の長い画素(図ではa‘11、b’11)は増幅器22を通して1/2の出力にする。
【0068】
図11(b)は対の画素1(a11)、画素1(a‘11)と、別の対の画素1(b’11)、画素1(b11)の出力レベルの光電変換時間変化を示す図である。
【0069】
図11(c)はRESET、READ1、1‘、READ2,2’のタイミング、及び垂直信号線に現れる出力の変化、差分出力を説明する図である。水平方向に隣接し合う画素1(a11)、画素1(a’11)を順次READ1、1‘に、読み出しパルスを印加し(タイミングT1,T2)、垂直信号線6に転送する。垂直信号線6の出力と、増幅器22を経た後に合流したポイントでの、垂直信号線6’の出力とを図中で示す。光電変換時間の差異を補正しているために、正常な撮像出力となって、ADC回路にシリアルに入っていく。ADC回路からは順次a11、a‘11の順で出力される。
【0070】
図11(a)の差動出力17の波形は、
図11(c)の様になるが、両者の差分を取ることにより(回路は図示せず)、動き信号が出力される。差分出力17‘ではノイズ成分が加算されているが、通常のCDS回路を通せば、容易にノイズ成分は除去できる(図示せず)。この様に、
図9、10で示す出力回路を共有化した4画素1セル構成に於いても、本発明は有効であり、正常画像信号と、動き検出信号の双方を出力させることが出来る。
【0071】
上記説明の画素サイズは全て同じで、同色の場合に感度は同じ前提にしていた。光電変換時間を2倍変えることで、出力差が2倍変わる。この為、増幅器で1/2に低減し、出力を揃えて差分信号を取り、動き検出信号を得ていた。列毎に増幅器を設けることで、動き検出回路の構成を複雑にするばかりか、消費電力も増加させていた。
【0072】
図12(a)、(b)、(c)は本発明の別の実施例のユニットセルのレイアウトと、動き検出回路構成、駆動方法を説明する図である。画素の配置は2×2の4画素(画素1(a11)、画素1(a’11)、画素1(b’11)、画素1(b11))で1つのセルを構成する。水平方向に対となっている画素1(a11)、画素1(a‘11)の読み出しトランジスタ2、2’のゲートには、それぞれ別の読み出し配線(READ1、READ1’)が印加され、残りの水平方向に対となっている画素1(b’11)、画素1(b11))の読み出しトランジスタ2、2’のゲートには、それぞれ別の読み出し配線(READ2’、READ2)が印加されている。4画素の電荷は1つのフローティングジャンクション3に流入し、垂直信号線6で読み出される。これらは
図11(a)と変わらない。
【0073】
図12(a)では、第1の光電変換時間の第1画素組(画素1(a11)、画素1(b11))と、第2の光電変換時間の第2の画素組(画素1(b‘11)、画素1(a’11))の画素サイズを変え、感度を変えることを特徴とする。ここでは第2画素組の感度を、第1の画素組の感度の1/2倍にし、一方、第2の光電変換時間を、第1の光電変換時間の2倍にした例に付き説明する。
【0074】
図12(b)は、画素1(a11)、画素1(a‘11)、画素1(b’11)、画素1(b11)の出力レベルの光電変換時間変化を示す図である。第1の画素組(画素1(a11)、画素1(b11))の感度は高く、途中でリセット(RS)を行っている。第の1画素組は感度が2倍だが、光電変換時間は1/2とするところが特長である。この為、読み出しのタイミングでは、第1の画素組と第2の画素組の出力は同じになる。
【0075】
図12(c)は
図12(a)、(b)に示す実施例の駆動方法であり、RESET、READ1、1‘のタイミング、及び垂直信号線に現れる出力の変化、差分出力を説明する図である。水平方向に隣接し合う画素1(a11)、画素1(a’11)を順次READ1、1‘に、読み出しパルスを印加し(タイミングT6,T8)、垂直信号線6に転送する。垂直信号線6の出力と、光電変換時間の差異を画素の感度で元々補正しているために、正常な撮像出力となって、ADC回路にシリアルに入っていく。ADC回路からは順次a11、a‘11の順で出力される。
【0076】
図12(a)に於いて、垂直信号線6の端部の動き検出信号処理回路は、CDS回路と類似の回路で構成される。これは光電変換時間の違いが、出力の差になっていない為、増幅器が不要となり、回路が簡略化された為である。差動出力17の波形は、
図12(c)の様になる。これは増幅器が不要となったため、リセットのノイズ成分が、同じになり、差分で消し去ることが出来るためである。同様にb‘11とb11でも同様に処理を行い、a11、a’11の演算結果と合体することで、本発明の動き検出回路信号を取得することが出来る。
この様に、
図12で示す出力回路を共有化した4画素1セル構成に於いても、本発明は有効であり、正常画像信号と、動き検出信号の双方を出力させることが出来る。
【0077】
図13は、
図12に示す出力回路を共有化した4画素1セル構成の動き検出カラー撮像装置の、具体的な構成要素図面を基に、色ブロックの繰り返し配置を示した図である。出力回路を共有化した4画素1セル構成は
図10に準拠しており、
図13の画素による感度差を、画素サイズの大きさを変えることにより表現した。通常画素サイズの大きさは、画素の最上面に有るマイクロレンズの大きさで制御される。色フィルターの配置は
図6と同じである。
【0078】
図14は、
図13に示す出力回路を共有化した4画素1セル構成の動き検出カラー撮像装置の、具体的な構成要素図面を基に、出力回路の効率的な配置を行った、繰り返し構成図である。駆動方法等は
図13と変わらない。
【0079】
図15(a)は、
図12(a)に示す本発明による検出用撮像装置の、単位セルの繰り返し配置を示した図である。動きの方向が本発明により容易に判定できることを、以下に説明する。
図15(a)には画素の座標として、水平方向にA、B、C,D,E,F、G、H、I、J、K、L、垂直方向に1,2,3,4と座標位置を示した。
【0080】
図15(b)には、
図12(b)と同様に、画素1(a11)、画素1(a‘11)、画素1(b’11)、画素1(b11)の出力レベルの光電変換時間変化を示す図である。第1の画素組(画素1(a11)、画素1(b11))の感度は2倍だが、光電変換時間は1/2としており、この為、読み出しのタイミング(Timing2)では、第1の画素組と第2の画素組の出力は同じになる。途中でリセット(RS)を行っているが、このタイミングをTiming1とし、スタートをInitialとする。
【0081】
図15(a)には、被写体の黒い物体端部と、画素配置との位置を変化させた図も添付してある。図に於いては、黒い物体の端部が垂直方向に延び、水平方向の端部位置が、左側ではB座標とC座標の境界に、右側ではH座標とI座標の境界にある状態を、Initial状態とする。第1光電変換時間t1の間に、物体は2画素分だけ右側に動くケースをTiming1で示している。Timing1とは2画素分の移動が完了したタイミングである。次の第1光電変換時間t1の間に、物体は更に2画素分だけ右側に動くケースをTiming2で示している。
図15(b)で示すように2×t1の移動期間で4画素分移動が完了したタイミングがTiming2である。この物体の移動は一定スピードで行われると仮定する。
【0082】
図15(c)は、
図15(a)で示す、3つのタイミング(Initial、Timing1、Timing2)の場合に、各座標に有る各画素において、どの様な出力になり、それらを演算した動き検出信号がどの様になるかを表で示している。
この出力の算出に当たり、第2光電変換時間は第1光電変換時間の2倍の長さとし、黒い物体は画素出力を零とし、黒い物体以外の部分では、第2光電変換時間に該当する画素(‘を付記した画素)の出力は1とした。その他の前提条件は
図4と同様である。
【0083】
図15(c)に於いて、Timing1では第1光電変換時間に対応した画素(a11、a12、a13、‥、b11、b12、b13‥)では、読み出され、リセットされた直後なので、出力は0になる。一方、第2光電変換時間に対応した画素(a‘11、a’12、a‘13、b’11、b‘12、b’13‥)では、全面露光された画素では0.5となり、黒パターンに対応し露光されない画素では0となる。以下細かい説明は割愛するが、Timing1、Timing2では、
図15(c)の表のようになる。このTiming2より動き検出信号を算出すると、同様に詳細な説明は割愛するが、動き検出信号の表のようになる。 ここで動きの方向が±の符号で表現される。即ち、黒い物体の場合、移動の先頭部分の符号はマイナスであり、移動の最後尾部分の符号はプラスとなる。また白い物体の場合には符号のプラスとマイナスは逆となる。即ち、本願に於いては、移動物体の周辺部分で動き検出情報が出てくるのと同時に、その符号で動きの方向も検出することが出来る。
【0084】
本発明による効果を検証すべく、同一被写体にて、従来公知例(特許文献1の方式と、本発明の方式を比較実施した。比較的細かなパターンの無い場合でも、動きのないバックグラウンドのノイズ数の比較を行ったところ、従来公知例に対し、本発明の方式では、約2桁ノイズが少なくなることが確認され、物体のエッジに於ける、本願のノイズ抑止効果が確認された。この差は被写体が細かくなるほど差異は大きくなり、移動物体の抽出精度を高めることが可能となる。
【0085】
本発明による他の効果を検証すべく、被写体の動きの方向に対する符号を実際撮像状態で確認した処、予想通り、移動被写体のエッジにて、算出符号の違いを確認した。
【0086】
このように本願に於いては、後段での複雑な信号処理を行う必要なく、センサ内部で、動き検出部分の抽出と、動きの方向の情報を得ることが出来、システムの大幅な簡略化が出来る。
【0087】
図16は、本発明を適用した動き検出システムの全体の構成を示す図である。
本発明の動き検出システム30aは、撮像レンズ31を備えた撮像装置32aと動き判定回路33a、動きを判定するための判定レベルを設定する動き判定用閾値設定回路34、撮像装置32aの撮像信号をモニターに再生するための映像信号となるように処理するカラー信号処理回路35、映像信号1を出力するための映像信号出力回路37と、動き判定した判定結果を出力するための動き判定信号出力回路36などから構成されている。
【0088】
動き判定用閾値設定回路34は、ノイズレベルの差分信号をカウントしないようにカウントするレベル閾値1を設定すると共に、閾値2となるカウント数を設定する。この閾値2よりカウント数が多くなると動く物体が有ると判定する。
【0089】
動き判定回路33aは、撮像装置32aから出力される動き検出信号のレベルが、閾値1より大きいレベルの発生回数をカウントする。そして、閾値2よりカウント数が多くなると動く物体が有ると判定し、判定信号ON/OFFをHIレベルにする。動きが無い場合は、LOレベルに設定している。
【0090】
動き判定回路33aで生成した動き判定信号(ON/OFF)を用いて、動きが無いと判定した場合には、カラー信号処理回路35や映像信号出力回路37などの回路動作や信号処理動作を停止することで動き検出システム30aの消費電力を低減できる。同様に、撮像装置32aのタイミング回路を制御することで、撮像装置32aの消費電力も低減できる。
【0091】
動き判定信号による回路や装置の処理動作の停止方法1として、カラー信号処理の入力信号を遮断する。例えば入力信号の10bitのデジタル値をオールゼロに切換える。カラー信号処理回路以降の信号がゼロとなり、デジタル回路のスイッチ動作(0⇔1切換え)が停止することで回路動作の消費電力を低減することができる。
停止方法2として、各回路や装置には誤動作発生時に元の状態に戻すためのリセットスイッチが備わっている。このリセットスイッチをON状態で保つことで各回路や装置の回路処理を停止させたままにすることで、消費電力を低減することができる。
【0092】
図17は、本発明を適用した動き検出システムの変形例を示す全体の構成図である。
動き検出システム30bは、
図16の動き判定信号出力回路36を削減し出力信号を映像信号2のみとすることで従来の伝送ケーブルが使えるなどの利点がある。動き判定回路33bは、動き判定信号(ON/OFF)を出力すると共に判定コードを出力している。動き判定信号(ON/OFF)は
図16と同様に、カラー信号処理回路35や映像信号出力回路37などの回路動作や信号処理動作を停止する。
【0093】
判定信号のON/OFF信号をコード化した判定コードは、動き判定信号加算回路38を用いて映像信号に埋め込んでいる。一般的に、映像信号と異なる撮影情報は有効な映像信号が含まれないブランキング期間に情報を埋め込んでいる。同様に動き判定信号をコード化し、ブランキング期間に埋め込んで映像信号2を出力する。
【0094】
図18は、
図1に示す本発明による動き検出用撮像装置の全体構成図に於いて、動き検出信号が出力される水平信号線12に、判定回路33aを設けた構成図である。判定回路33aの判定出力信号ON/OFFは、タイミング発生回路24へ入力している。そして、このタイミング発生回路24を制御することで、垂直走査回路14、水平走査回路13、動き検出回路7、ADC回路8などの駆動方法を変更する機能を付加することができる。また、判定出力信号ON/OFFは外部へ出力することもできる。
図18で示される判定回路33aを付加することで、可能となる具体的な駆動方法につき以下に順次説明する。
【0095】
図18で示される判定回路33aを付加することの応用例1として、移動物体の有無をモニターする監視装置に於いて省電力化するシステムがある。従来の動き監視システムでは、撮像カメラを常に駆動させているため、固体撮像装置の消費電力、および後段の信号処理のシステムを駆動するための消費電力が大きかった。これは移動物体の有無によらず、常にほぼ一定の消費電力を必要としていた。しかしながら本発明による動き検出用撮像装置では、判定回路33aでの動き検出信号のレベルに応じて、垂直走査回路14の読み出し走査線本数を変えたり、同様に水平走査回路13で、読み出し垂直信号線本数を変えたりすることができる。動き検出信号のパターンに応じて、間引く水平走査本数と、間引く垂直信号線本数との比を変えることが可能である。この場合には判定回路33aから情報によりタイミング発生回路を制御することで垂直走査回路14および水平走査回路13を制御する。
【0096】
走査線の本数の間引き方としては、最初に全画面の撮像を行い、移動物体の有無を検出する。移動物体がない場合には走査線の本数を間引き、移動物体の出現まで間引いた状態を保持する。間引く間隔は状況により変わるので、幾つかの間引きパターンを用意しておき、いずれを選択するかを、動き検出信号のパターンにより変えてもよい。移動物体が出現した際には、再度全画素撮像モードに戻せばよい。
移動物体の存在領域が偏っている場合には、全画像をブロック分けし、移動物体の存在する領域のみ走査線の本数を増やし、他の領域は少なくした駆動モードを準備しておき、移動物体の存在領域でパターンを選択することも可能である。
【0097】
図18で示される判定回路33aを付加することの別の応用例2として、移動物体に対応した動き検出信号が小さい場合に、光電変換蓄積期間を変化し、それに応じて増幅器のゲインを変えることにより、動き検出信号を増加することも可能となる。この場合には判定回路33aから動き検出回路7、および蓄積時間制御回路25に情報が入る。何回か繰り返すことで、動き検出信号が最大になる条件を見つけ、移動物体に相応しい光電変換蓄積期間を設定すればよい。
【0098】
図18で示される判定回路33aを付加することの別の応用例3として、移動物体が無い場合に、後段の信号処理システムの電源をスタンバイ状態にしてしまい、動き検出信号が有意に出現した場合に、再度電源を入れる、後段の電源のON/OFF信号として使ってもよい。この様にすることで、動きが無い場合には、撮像装置の間引き動作で省エネモードにする以外に、後段の信号処理回路の電源をOFFしてしまうことにより、大幅な省エネが達成できる。特に動きが少ない場所での監視システムに於いて、常に後段処理が必要な従来のシステムに比べ、動きがある場合のみ後段の電源が入り、普段は本発明の撮像装置の間引き駆動のみで済むため、大幅な(例えば1/1000〜1/100000)省エネが実現できる。この特長は山間部の電源が届かない場所での監視システムに本発明を適用する場合には、大きなメリットになり、コンパクトなソーラーバッテリーと蓄電器のセットの電源で十分駆動可能なレベルまで達する。
【0099】
図18で示される判定回路33aを付加することの別の応用例4として、動き検出信号の情報を基にADCの変換レベルを変化させダイナミックレンジを広げてもよい。移動物体に対応した動き検出信号が小さい場合に、応用例3で示した様に、光電変換蓄積期間を変化させ、それに応じて増幅器のゲインを変えて、動き検出信号を増やす方法を説明したが、動き検出信号の出ている領域で、通常画像のダイナミックレンジを広げるようにすることが出来る。具体的には光電変換蓄積時間の違った2つの画素の加算をすることでダイナミックレンジの拡大を図り、これに相応しいADCの設定を行うことができる。
図12に示した画素サイズの異なる画素の加算で
高ダイナミックレンジを図る方法でも同じである。
【0100】
本発明による動き検出撮像装置では、上記に説明してきたように、動き検出信号と同時に通常の画素撮像情報を得ることが出来、また動き情報を元に通常の画素撮像情報を外部に出力させない判定機能を設けることができる。この動きの有る部分の撮像情報のみを外部に出力し、動きの無い画像情報は外部に出力させない機能は、監視カメラ用途としては非常に有用である。即ち、複数の監視カメラで監視をするシステムに於いて、従来監視カメラのモニターすることが、監視員の大きな負荷となっていたが、動きの有るカメラのみ若しくは、動きの有る部分のみの表示になり、監視員の負荷が大幅に軽減される。
【0101】
本発明の動き検出用固体撮像装置を好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
【0102】
例えば、光電変換時間の比は1:2に限定されず、被写体の動きに応じて比率を変えられる。その際、増幅器のゲインを対応して変化(増幅または低減)させれば良い。また画素の感度を変える場合でも、1:2に限定されるものでない。
図13、
図14の画素セルのレイアウトを90度もしくは45度回転した配置にしても良い。
【0103】
本発明では画素ブロックとして隣接する2×2画素をセル単位としていたが、通常のベイヤー配置のカラー撮像装置に於いて、一画素おき同色の2×2の画素ブロックで同様の演算処理をしてもよい。この場合には当然、動きのないバックグラウンドノイズが増えるが、従来のベイヤー配置の色フィルターをそのまま使うことが出来る。また本願の襷掛け演算処理をすることにより、従来の水平方向のみの演算に比べても、バックグラウンドノイズを減らすことが出来る。