(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0014】
以下、本発明の実施形態を図面に関連付けて説明する。
【0015】
[第1の実施形態]
図1は、本発明の実施形態に係る検知システムの構成例を示す図である。
【0016】
本検知システム10は、光源11、撮像装置12、輝度信号抽出部13、光源解析処理部14、フィルタ処理部15、判定部16、被写体位置決定部17、およびタイマー処理部18を有する。
光源解析処理部14は、第1の演算部(A)141、第2の演算部(B)142、演算処理部(時間平均2乗和演算処理部)143、および位置記憶部144を有する。
被写体位置決定部17は、位置検索処理部171、位置検索情報記憶部172、および追尾処理部173を有する。
【0017】
この追尾処理部173は、後で詳述するように、経年変化や環境変化に伴いずれが生じる検索位置を補正するための追尾処理を行う。
すなわち、本検知システム10は、被写体位置決定部17に追尾処理部173を含み、光源または光源に照射された被写体の状態の検知において、検知対象の被写体の位置と撮像装置の間に、長期にわたる経年変化や環境状態で生じた位置及び向きのずれがそれぞれにあった場合でも、その経過時間に合わせて補正状態と時間の調整をしながら、検知位置を補正することで、被写体の輝度情報を永続的に高精度に取得できるように構成されている。
【0018】
光源11は、所定の輝度で被写体を照明する。光源11の輝度は可変であり、撮像装置12が有する撮像素子の電荷蓄積時間内の輝度が、撮像装置12のフィールド周期の4n倍周期で変化する。ここで、n=1、2、3、…である。
【0019】
本実施形態に係る検知システム10で使用する撮像装置12は、以下のような仕様の撮像装置を採用している。
本撮像装置12を構成する撮像素子は一例として、単板補色フィルタ、フィールド蓄積型インターライン転送CCD(Charge Coupled Device)イメージセンサ(以後、単にCCDと記述する)を用いる。
また、一例として撮像装置12のテレビジョン方式はNTSC方式、走査方式はインターレースを採用し、走査周波数は水平周波数が15.734KHzで垂直周波数は59.94Hzである。
このような構成の撮像装置12は、光源11または光源11によって照明された被写体を撮像し、撮像して得た信号を輝度信号抽出部13に出力する。
なお、ここではCCDイメージセンサを例示しているがCMOSイメージセンサも適用可能である。
【0020】
輝度信号抽出部13は、入力された信号から輝度信号を抽出し、この輝度信号を光源解析処理部14の第1の演算部141および第2の演算部142に出力する。
輝度信号抽出部13により抽出される輝度信号は、演算に最適化された信号レベルに調節される。
その信号レベルは、第1の演算部141、第2の演算部142、演算処理部143の出力値においてオーバーフローしない信号レベルである必要がある。そのため、輝度信号抽出部13は、輝度信号レベルを調整する回路を含む。
輝度信号レベルの調整値はいくつかのモードがある場合には、モード切り替えが可能なテーブルをもっていてもかまわない。そのモードはNTSCやPALなどの映像信号規格、撮像装置の周波数モードであってもよい。
【0021】
光源解析処理部14において、第1の演算部141は、入力された輝度信号を撮像素子の同一領域において、m番目と(m+2)番目のフィールドにおける輝度信号のレベル差の時間平均を求める。
この第1の演算部141の出力結果Aは、演算処理部143に出力される。
第2の演算部142は、入力された輝度信号の同一領域において、(m+1)番目と(m+3)番目のフィールドにおける輝度信号のレベル差の時間平均を求める。
この第2の演算部142の出力結果Bは、演算処理部143に出力される。
なお、この第1の演算部141と第2の演算部142の動作の詳細については後述する。
第1の演算部141および第2の演算部142は、位置記憶部144に記憶されている画像を解析する演算範囲の指定情報に従って演算処理を行う。
【0022】
第1の演算部141と第2の演算部142からそれぞれ出力される出力結果Aと出力結果Bは演算処理部143に入力される。
演算処理部143は出力結果の2乗和の値(A
2+B
2)を求め、フィルタ処理部15に出力する。
演算処理部143は、位置記憶部144に記憶されている画像を解析する演算範囲の指定情報に従って演算処理を行う。
【0023】
位置記憶部144は、たとえば被写体位置決定部17で決定される、光源の信号成分から不要な動体物を除去し高精度に検知された複数の被写体の位置および大きさの検知情報を記憶する。
このように、光源解析処理部14は、第1の演算部141と第2の演算部142の画像解析する演算範囲を指定可能な、位置記憶部144を備える。
その位置記憶部144は複数(n)個の位置情報を記憶できる。
そのため、光源解析処理部14の検知処理は光源もしくは光源に照射された被写体の検知において、位置記憶部144で指定する画像の範囲(たとえば範囲Mn=[x1,y1−x2,y2])におけるn個分の解析処理を、1フレーム内で行う。
または、1フレームの時間内でn個分の解析処理を行えない場合には、1フレームで行う解析処理をa個分(a<n)とし、複数のフレームに亘ってn個分の解析処理を行う方法でもかまわない。
解析処理により得たn個の指定範囲の画像は光源もしくは光源に照射された被写体があれば、検知画像として取得できる。
【0024】
光源解析処理部14は、位置記憶部144に格納されている範囲のみの検知を行うことが可能なモードと、全画像を対象とするモードを持つ。
光源解析処理部14は、位置記憶部144に位置情報等が記憶されていない初期状態においては検知範囲が指定されないことから、選択的な検知処理ではなく全体の画像に対する光源解析処理を行う。
【0025】
また、位置記憶部144は不揮発性メモリ、もしくは設定ファイルであった場合、停電時などにも影響なく検知位置を復帰できる。また、被写体位置決定を行うか否かを選択するフラグを有する。
また、位置記憶部144の一部は揮発性メモリを有し、一時記憶用に利用できる。
位置記憶部144は、被写体の位置座標、大きさ、被写体の周波数検知感度(信号レベル)、被写体個別番号等の情報を保存する機能を有する。
【0026】
図2は、本実施形態に係る位置記憶部144において保存する情報テーブルの一例を示す図である。
【0027】
図2において、「No」は被写体の個別番号を示す。「x,y」は被写体の開始位置座標を示し、「xe,ye」は被写体の終了位置座標を示す。「n」は被写体の数に対応した番号を示す。「level」は被写体の周波数感度である信号レベル(信号強度)を示す。
このテーブルTBL1の例では、「No.1」の被写体は、開始位置座標が「10,10」、終了位置座標が「20,20」の1番目の被写体であり、その信号レベルは相対的に「40」である。
「No.2」の被写体は、開始位置座標が「30,30」、終了位置座標が「50,60」の2番目の被写体であり、その信号レベルは相対的に「43」である。
「No.3」の被写体は、開始位置座標が「100,100」、終了位置座標が「120,120」の3番目の被写体であり、その信号レベルは相対的に「50」である。
「No.4」の被写体は、開始位置座標が「300,300」、終了位置座標が「325,315」の4番目の被写体であり、その信号レベルは相対的に「60」である。
【0028】
以上のように、本実施形態の光源解析処理部14では、複数の被写体の位置に関する情報を記憶できるメモリ(検知位置メモリ)である位置記憶部144を備え、その位置記憶部144に被写体位置を示す画像領域の座標値と被写体番号等の、被写体の検知情報をもつ。
光源解析処理部14は、その位置記憶部144に記憶されている検知位置座標が存在する場合は、その座標で指定される検知位置範囲の画像を解析(検知)する機能を有している。
位置記憶部144への検知情報の記憶は被写体位置決定部17で行う。
位置記憶部144に格納される検知位置情報は、長期にわたる経年変化等においても安定的に高精度な輝度情報を測定することが可能となるように、被写体位置決定部17により補正された検知位置情報を含む。
【0029】
光源解析処理部14は、たとえば図示しない制御系により指定されるあるいは位置記憶部144の検知情報の有無に応じて自動的に切り替わる2つのモード、具体的には全画素検知モードと被写体位置検知モードで動作可能である。
全画素検知モードでは、光源解析処理部14は、位置記憶部144に位置情報等が記憶されていない初期状態においては検知範囲が指定されないことから、選択的な解析処理ではなく全体の画像に対する光源解析処理を行う。
この全画素検知モードにおける検知結果に基づいて、後述する被写体位置決定部17で、複数の被写体の位置に関する情報が検知されて、この検知情報が位置記憶部144に記憶される。
たとえばこの検知情報が位置記憶部144に記憶されると、光源解析処理部14は、全画素検知モードから被写体位置検知モードに切り替わる。
被写体位置検知モードでは、光源解析処理部14は、その位置記憶部144に記憶されている検知位置座標等に基づいて、その座標で指定される検知位置範囲の画像を解析(検知)する。
この光源解析処理部14を有することから、本検知システム10は、光源11もしくは光源11に照射された被写体の位置だけ検知することができ、被写体として除外する位置は検知しないため、高速かつ対ノイズ性にも効果があり、高精度に検知できる。
【0030】
フィルタ処理部15は、上述した初期状態時には、全体の画像をフィルタ処理によりノイズ低減を行い判定部16に出力する。
フィルタ処理部15は、光源解析処理部14におけるn個の検知画像をフィルタ処理によりノイズ低減や検知されなかった部分の消去を行い判定部16に出力する。
【0031】
上述した初期状態においては、判定部16は、演算処理部143から出力され、フィルタ処理部15でノイズ低減された全体画像の2乗和の値(A
2+B
2)に基づいて、撮像装置12によって撮像された被写体が、たとえば、静止あるいは動作しているかを判定する。なお、この判定部16の動作の詳細については後述する。
判定部16は、演算処理部143から出力され、フィルタ処理部15でノイズ低減や検知されなかった部分が消去された検知画像の2乗和の値(A
2+B
2)に基づいて、撮像装置12によって撮像された被写体が、たとえば、静止あるいは動作しているかを判定する。なお、この判定部16の動作の詳細については後述する。
【0032】
被写体位置決定部17は、判定部16にて得られた検知状態から、全画像の中から被写体の位置を検索する位置検索処理部171、位置検索情報記憶部172、および追尾処理部173を有する。
位置検索情報記憶部172は、位置検索処理部171の位置検索結果を格納し、また追尾処理部173の追尾処理で情報をテーブル化した追尾タイムテーブルを含む追尾経過情報を格納する。
追尾処理部173は、検知対象の被写体の位置と撮像装置の間で、長期にわたる経年変化や環境状態で生じた位置ずれがそれぞれにあった場合でも、その位置ずれの補正を、位置ずれの経過時間に合わせて補正状態と時間の調整をしながら、位置を補正する機能を有する。
【0033】
以下に、被写体位置決定部17における被写体位置の決定処理、および追尾処理に伴って検知位置情報の補正を行う処理をさらに詳細に説明する。
【0034】
図3(A)および(B)は、本実施形態に係る被写体位置決定部における被写体の位置決定前と位置決定後の状態を概念的に示す図である。
図3(A)に示すように、位置決定前の被写体OBJ1,OBJ2が検索され、検索結果から
図3(B)に示すように、矩形の枠DTRG1,DTRG2に示す範囲に被写体OBJ1,OBJ2の位置が決定され、その範囲が光源解析処理部14の解析対象および判定部16の検知対象となる。
この位置決定後の範囲等の検知情報は、光源解析処理部14の位置記憶部144に格納される。本実施形態においては、上述したようにその範囲の検知のみ行うことが可能な被写体位置検知モードと全画像を対象とする全画像検知モードを持つ。
たとえば、特定の位置の被写体のみを検知することが必要な用途では、位置記憶部144に格納された範囲の被写体位置検知モードで動作させる。
その場合、上述したように、特定の位置を設定するために被写体位置決定部17により、最初に被写体対象位置を検索し位置記憶部144に格納し、以降は記憶された位置の検知のみ行うという利用に応用できる。
【0035】
被写体位置決定部17は、被写体の大きさから検知範囲を決定する。
被写体位置決定部17において、検知範囲の決定には、検知範囲DTRGの(x,y)幅が1つのみの固定の場合の第1のモードと、(x,y)幅を、被写体の大きさを測定し(x,y)幅をあらかじめ用意した複数のテーブルから現在の(x、y)幅を超えた(もしくは以下になった)大きさのテーブル値の検知範囲DTRGを選択する第2のモードとの2つのモードがある。
検知範囲DTRGの(x,y)幅テーブルは、たとえば位置検索情報記憶部172に格納される。
被写体位置決定部17は、第1のモードと第2のモードのいずれかを選択でき、これらの機能を有する構成となる。
この検知範囲を被写体の大きさをあらかじめ用意したテーブルから判定して検知範囲を決定するモードにより、被写体の大きさと位置を高速に検知することができる。
【0036】
図4は、本実施形態に係る被写体位置決定部17において位置決定を行うために参照する検知範囲の(x,y)幅テーブル情報の一例を示す図である。
【0037】
図4において、「No」は被写体の検知範囲の(x,y)幅情報の番号を示す。「x,y」は被写体の検知範囲DTRGの大きさ情報を示し、sBlKは検索ブロック数(画素数)を示す。
この(x,y)幅テーブルTBL2の例では、「No.1」の検知範囲DTRGは「10×10」でブロック数が「2」の場合である。
「No.2」の検知範囲DTRGは「30×30」でブロック数が「4」の場合である。
「No.3」の検知範囲DTRGは「100×100」でブロック数が「8」の場合である。
「No.4」の検知範囲DTRGは「300×300」でブロック数が「12」の場合である。
被写体位置決定部17の位置検索処理部171は、この(x,y)幅テーブルTBL2を参照し、たとえば「No」の小さい方から昇順に、あるいは「No」の大きい方から降順にサーチして、対象被写体に最も適した検知範囲を決定する。
【0038】
また、被写体位置決定部17は、被写体の大きさから検知範囲DTRGを微調整することが可能に構成される。
検知範囲の微調整は、検知範囲DTRG(x,y)が決定した状態から、あらかじめ用意した微調整値テーブルもしくは微調整式[x1=x*sP1,y1=y*sP2]により検知範囲の(x,y)幅を微調整する機能を有する構成となる。
ここでは、「sP1」、「sP2」は調整用パラメータで、たとえば1<sP1,sP2<2の値をとる。
この機能により、通常検知範囲内で検知可能な被写体に小さな揺れや移動が発生しても、被写体の範囲から外れることなく検知することができる。
特に、被写体が光源の場合は効果的である。
【0039】
次に、本実施形態に係る被写体位置決定部17における検知位置の決定処理を、
図5〜
図8に関連付けて具体的に説明する。
図5および
図6は、本実施形態に係る被写体位置決定部17における検知位置の決定処理を具体的に説明するためのフローチャートであって、
図5は位置決定処理を行う場合のフローチャートであり、
図6は位置決定処理を行わない場合のフローチャートである。
図7は、1つの光源もしくは反射光の被写体の検索法を説明するための図である。
図8は、検知範囲の微調整処理を説明するための図である。
以下の処理は位置検索処理部171が中心に行うことになるが、ここでは、被写体位置決定部17の処理として説明する。
【0040】
被写体位置決定部17は、位置決定処理を行うか否かを判定する(ST1)。
被写体位置決定部17は、ステップST1において位置決定処理を行うと判定すると、位置検索情報記憶部172に格納されている(x,y)幅テーブルTBL2を参照してサーチ(調査)することにより検知範囲DTRGの(x,y)幅を決定する(ST2)。
そして、被写体位置決定部17は、たとえば光源解析処理部14の位置記憶部144における検知位置に関する情報の記憶領域をクリアする(ST3)。
次に、被写体位置決定部17は、検知範囲DTRGの(x,y)幅で対象周波数のピクセル数を調査する(ST4)。
【0041】
ステップST4における処理を
図7および
図8に関連付けて説明する。
被写体位置決定部17は、
図7(A)〜(D)に示すような方法で、(x,y)幅テーブルTBL2を参照して、1つの光源もしくは反射光の被写体の検索を行う。
まず、
図7(A)に示すように、検索の最小単位を1ブロックBLKとする。
図7(A)には、縦×横の検索ピクセルspixの例として2×2の場合が示されている。
一つのブロックの検知強度は全ピクセルの総和を2×2で除した値となる。
ここで、検索を開始する。
【0042】
図7(B)に示すように、1回の横ラインLLNの検索処理を行う。
この場合、検索ブロックsblk=2であり、2×2ブロックを横ライン(x方向)LLNに検索する。
検索ブロックsblkが2の場合、縦(y)2、横(x)2であることから、検出したブロック数をカウントする。
ブロックBLKの符号2,3,4で示されたブロックで検出できていればカウント値は3となる。
被写体位置決定部17は、検索ブロック数sblkが大きくなるテーブルの場合、カウント値が1になるまで、検知範囲テーブルの次の番号のsblkを参照して処理を繰り返す。
検知した横ラインLLNの情報を位置検索情報記憶部172に記憶する。
被写体位置決定部17は、上記処理を2×2ブロック毎に全横ライン検索する。
次に、1回の縦ラインの検索処理を行う。
【0043】
図7(C)に示すように、1回の縦ラインVLNの検索処理を行う。
被写体位置決定部17は、位置検索情報記憶部172に記憶している横ラインLLNの検知ライン中から、縦方向に検索ブロック数sblkで示されるブロック幅で検索を行う。
検索方法は横ラインLLNの検索と同様であり、検索ブロック数sblkが大きくなるテーブルの場合、カウント値が1になるまで、検知範囲テーブルの次の番号のsblkを参照して処理を繰り返す。
検知した縦ラインVLNを位置検索情報記憶部172に記憶する。
被写体位置決定部17は、上記処理を2×2ブロック毎に全縦ライン検索する。
次に、検知範囲DTRGの検索処理を行う。
【0044】
図7(D)に示すように、検知範囲DTRGの検索処理を行う。
上記処理から横ラインLLNと縦ラインVLNで検知できた連続する縦横ブロックを1つの範囲とする。
その範囲のブロックの検出強度の総和平均値を求める。
次に検知範囲DTRGの決定処理を行う。
この場合も上記処理から横ラインLLNと縦ラインVLNで検知できた連続する縦横ブロックを1つの範囲とする。
その範囲のブロックの検出強度の総和平均値を求める。
そして、被写体位置決定部17は、検知範囲[(x,y)−(xe,ye)]DTRGを決定する。
そして、決定範囲に微調整用パラメータsP1,sP2の倍率で微調整する。
なお、以上の処理は、複数の光源でも同時に行うことが可能である。
【0045】
被写体位置決定部17は、
図8(A)〜(F)に示すような方法で、検知範囲DTRGの微調整処理を行う。
被写体位置決定部17は、各決定範囲において、検知強度の範囲微調整は各検知範囲毎に4方向もしくは8方向に検知強度を調査し、最も検知強度の高い場所で最終決定する。
この例では、
図8(B)で1ブロック上の検知強度を調査し、
図8(C)で1ブロック右の検知強度を調査し、
図8(D)で1ブロック下の検知強度を調査し、
図8(E)で1ブロック左の検知強度を調査する。
そして、
図8(F)で、最も検知強度の高い場所で最終的な検知範囲DTRGを決定する。
換言すれば、検知範囲DTRGのほぼ中央部に被写体OBJが位置する場所を最終的な検知範囲DTRGとして決定する。
【0046】
ステップST4において対象周波数のブロック数を調査した後、被写体位置決定部17は、対象周波数のブロック数が0より大きいか否かの判定を行う(ST5)。
ステップST5で対象周波数のブロック数が0より大きいと判定すると、被写体位置決定部17は、光源解析処理部14の位置記憶部144へ検索して得た検知位置情報を記憶する(ST6)。
そして、位置記憶部144のテーブルTBL1の番号「No」を+1する(ST7)。
被写体位置決定部17は、次の検知範囲DTRG(x,y)を指定する(ST8)。
被写体位置決定部17は、ステップST5で対象周波数のブロック数が0であると判定すると、ステップST6,ST7の処理を行わず、ステップST8の処理に移行する。
被写体位置決定部17は、対象画像の検知が完了するまで(ST9)、ステップST5〜ST8の処理を繰り返す。
ステップST9において、対象画像の検知が完了すると、位置記憶部144の検知位置情報から(x,y)方向に連続する番号のエリアを統合し(ST10)、検知位置の数を取得する(ST11)。
【0047】
被写体位置決定部17は、ステップST1において位置決定処理を行わないと判定すると、
図6のステップST12からの処理に移行する。
被写体位置決定部17は、位置記憶部144から指定番号を取得する(ST12)。
ここで、被写体位置決定部17は、指定番号があるか否かを判定する(ST13)。
ステップST13において指定番号があると判定すると、被写体位置決定部17は、指定番号から位置記憶部144の検知範囲DTRGの(x,y)幅情報を取得し(ST14)、検知範囲DTRGの被写体の状態を検知(検索)する(ST15)。
そして、位置記憶部144のテーブルTBL1の番号「No」を+1する(ST16)。
被写体位置決定部17は、対象画像の検知が完了するまで(ST9)、ステップST14〜ST16の処理を繰り返す。
被写体位置決定部17は、ステップST13において指定番号がないと判定すると、ステップST14〜ST17の処理は行わず、全画素の被写体の状態を検知(検索)する。
【0048】
次に、本実施形態に係る追尾処理に伴って検知位置情報の補正を行う処理について説明する。
【0049】
上述したように、位置検索処理部171では、判定部16にて得た検知状態から現在の位置を検索する。その際、位置検索処理部171または追尾処理部が、追尾処理が必要かどうかのフラグを確認し追尾処理が必要な場合は追尾処理を行う。
追尾処理部173は、外部のタイマー処理部18を監視し、任意の時刻や一定間隔条件に一致した時のみ追尾処理を行う機能を有する。
既に述べたように、追尾処理部173は、基本的に、検知対象の被写体の位置と撮像装置の間で、長期にわたる経年変化や環境状態で生じた位置ずれがそれぞれにあった場合でも、その位置ずれの補正を、位置ずれの経過時間に合わせて補正状態と時間の調整をしながら、位置を補正する機能を有する。
【0050】
タイマー処理部18は、任意の時刻や一定間隔の時間をカウント(計時)し、被写体位置決定部17に情報を通知する。
基本的に、追尾処理部173が、タイマー判定を行い、時刻条件が通知情報と一致した場合に追尾処理を1度行う。
追尾処理部173は、たとえば時刻条件が毎分である場合、タイマー処理部18が通知する毎分カウントを基に追尾処理を行う。
また、追尾処理部173は、時刻条件が、たとえば午前8時20分00秒であれば、タイマー処理部18が通知する時刻を基に追尾処理を行う。
【0051】
位置検索情報記憶部172は、追尾処理の情報をテーブル化した追尾タイムテーブルTTRKをもち、追尾経過を記憶する。
追尾処理部173は、追尾カウンタ1731を有し、たとえば追尾処理の時刻条件が毎分で、追尾タイムテーブルTTRKが4テーブルあるとき、1回目の一致でテーブルTTRK1の処理、2回目の一致でテーブルTTRK2の処理、という手順で追尾処理を行い、5回目の一致で追尾カウンタが0になり、再度テーブルTTRK0からの処理を行う。
追尾処理部173は、1つの検知位置に対して4×1分の時間で追尾し、2つの検知位置があれば、4×1×2分の時間が必要となる。
追尾処理部173における追尾処理は、追尾タイムテーブル数分のパラメータがあり、追尾する範囲のx、y軸方向を設定できる。
追尾処理部173は、追尾タイムテーブルTTRKが4テーブルあるときには、4方向の近傍位置での追尾処理を行う。
【0052】
図9は、位置検索情報記憶部に格納される追尾タイムテーブルの形成例を示す図である。
図10は、被写体のずれ方向と追尾タイムテーブルとの関係を説明するための図である。
【0053】
図9および
図10において、「No」は検知対象の被写体OBJ1,OBJ2の番号を示し、この例では、「No.1」、「No.2」の2つの被写体がある。
そして、本実施形態では、
図9に示すように、各被写体OBJ1、OBJ2に対応して追尾タイムテーブルTTRK1、TTRK2が形成されている。両テーブルTTRK1、TTRK2とも同様の構成を有する。
ID0,ID1,ID2,ID3は、被写体OBJ(1,2)の検知範囲DTRG(1,2)が
図10中に設定した直交座標のX方向、Y方向へのずれる位置を示している。
図10の例では、「ID0」は+Y方向、「ID1」は−X方向、「ID2」は−Y方向、「ID3」は+X方向であることを示している。
追尾タイムテーブルTTRKにおいて、(Xt,Yy)は各方向ID0,ID1,ID2,ID3における補正値を示している。
【0054】
方向ID0において、Xt=0、Yt=−1となっているのは、方向ID0に位置ずれが生じ、このずれは検知範囲DTRGから+Y方向にずれていることから、Y方向の座標を「−1」して補正するようにという意味である。
方向ID1において、Xt=1、Yt=0となっているのは、方向ID1に位置ずれが生じ、このずれは検知範囲DTRGから−X方向にずれていることから、X方向の座標を「+1」して補正するようにという意味である。
方向ID2において、Xt=0、Yt=1となっているのは、方向ID2に位置ずれが生じ、このずれは検知範囲DTRGから−Y方向にずれていることから、Y方向の座標を「+1」して補正するようにという意味である。
方向ID3において、Xt=−1、Yt=0となっているのは、方向ID3に位置ずれが生じ、このずれは検知範囲DTRGから+X方向にずれていることから、X方向の座標を「−1」して補正するようにという意味である。
【0055】
追尾タイムテーブルTTRKにおいて、「Func.No」は各方向ID0,ID1,ID2,ID3における関数番号f1〜f4を示している。
「Count」は追尾カウンタ1731のカウント値を示している。
【0056】
追尾処理部173における追尾処理は、位置記憶部144の位置検知メモリの(x、y)座標を追尾タイムテーブルの補正値(Xt、Yt)で補正した近傍位置の輝度信号のピクセル値と、任意の第1の判定値Sを比較し、ピクセル値の方が大きい場合には追尾カウンタ1731を+1する。
つまり、追尾処理部173は、f(x+Xt,y+Yt)>Sのとき追尾カウンタ1731を+1である。
追尾処理部173は、その後も追尾処理を繰り返し行い続け、追尾カウンタ1731の値が任意の第2の判定値Dで比較した結果より大きくなった場合に、近傍位置への位置ずれと判定し、位置記憶部144にその位置を記憶する機能を持つ。
追尾の第2の判定値Dで比較することで、ノイズ成分の除去を行い、安定的に追尾位置を補正できる。
【0057】
図9の追尾タイムテーブルTTRK1の例では、追尾処理部173は、方向ID2におおいてたとえばf2(x+Xt,y+Yt)>Sのとき追尾カウンタ1731を+1する。
追尾処理部173は、その後も追尾処理を繰り返し行い続け、追尾カウンタ1731の値が任意の第2の判定値Dで比較した結果より大きくなった場合、
図9の例ではカウント値が「55」より大きくなり、たとえば「判定値D=60」を超えた場合に、近傍位置への位置ずれと判定し、位置記憶部144にその位置を記憶する機能を持つ。
【0058】
以上の処理により、短時間での微動成分にもほとんど影響を受けずに、長期にわたる経年変化において、検知位置を正しく補正して安定的に高精度な輝度情報を測定することが可能となる。
【0059】
以下、位置記憶部144の検出位置メモリの番号Noの追尾処理を
図11、
図12、
図13に関連付けて説明する。
【0060】
図11は、位置記憶部の検出位置メモリの番号Noの基本的な追尾処理を説明するためのフローチャートである。
【0061】
追尾処理部173は、位置記憶部144の検知位置メモリのNo情報を取得し(ST21)、次回のタイマー時刻を取得する(ST22)。
そして、追尾処理部173は、タイマー処理部18を監視して、追尾条件であるタイマー時刻になると(ST23)、位置検索情報記憶部172に格納されている追尾タイムテーブル番号を指定する(ST24)。
追尾処理部173は、位置記憶部144の位置検知メモリの(x、y)座標および追尾タイムテーブルTTRKの補正値(Xt、Yt)を取得する(ST25)。
そして、追尾処理部173は、位置記憶部144の位置検知メモリの(x、y)座標を追尾タイムテーブルTTRKの補正値(Xt、Yt)で補正した近傍位置の輝度信号のピクセル値と、任意の第1の判定値Sを比較し(ST26)、ピクセル値の方が大きい場合には追尾カウンタ1731を+1する(ST27)。
つまり、追尾処理部173は、f(x+Xt,y+Yt)>Sのとき追尾カウンタ1731を+1である。
追尾処理部173は、その後も追尾処理を繰り返し行い続け、追尾カウンタ1731の値が任意の第2の判定値Dで比較し(ST28)、その結果カウント値が第2の判定値より大きくなった場合に、近傍位置への位置ずれと判定し、位置記憶部144にその位置を記憶する。
すなわち、追尾処理部173は、位置記憶部144の検知位置メモリ(x,y)座標を、座標(x+Xt,y+Yt)で更新し(ST29)、追尾カウンタ1731の値を0にクリアする(ST30)。
次いで、追尾タイムテーブル番号を、たとえば+1し(ST31)、次回のタイマー時刻をセットする(ST32)。
ただし、ステップST31において、最後の追尾タイムテーブル番号であった場合には、追尾タイムテーブル番号を0とする。
追尾の第2の判定値Dで比較することで、ノイズ成分の除去を行い、安定的に追尾位置を補正できる。
【0062】
図11の追尾処理のように、検知対象の被写体の位置と撮像装置の間で、長期にわたる経年変化や環境状態で生じた位置ずれがそれぞれにあった場合でも、その位置ずれの補正を、位置ずれの経過時間に合わせて補正状態と時間の調整をしながら、位置を補正することで、被写体の輝度情報を永続的に高精度に取得できるという効果が得られる。
【0063】
図12は、位置記憶部の検出位置メモリの番号Noの第2の追尾処理を説明するためのフローチャートである。
【0064】
図12に示す第2の追尾処理と
図11に示す基本的な追尾処理とが異なる点は、位置補正の時間を検知対象の被写体位置範囲毎に設定することにある。
具体的には、追尾タイムテーブルTTRK1A,TTRK2A毎にタイマー一致時間を設定するメモリ領域を持つことで、被写体の検知位置範囲毎に追尾時間を設定できる。
【0065】
フロー処理においては、ステップST32Aにおいて、追尾処理部173は、追尾タイムテーブルから次回のタイマー時刻をセットする。
図12におけるその他の処理は、基本的に
図11と同様である。
【0066】
図12の追尾処理のように、検知対象の被写体の位置と撮像装置の間で、長期にわたる経年変化や環境状態で生じた位置ずれがそれぞれにあった場合でも、その位置ずれの補正を、位置ずれの経過時間に合わせて補正状態と被写体の検知範囲毎に時間の調整をしながら、位置を補正することで、被写体固有の状態で被写体の輝度情報を永続的に高精度に取得できるという効果が得られる。
【0067】
図13は、位置記憶部の検出位置メモリの番号Noの第3の追尾処理を説明するためのフローチャートである。
【0068】
図13に示す第3の追尾処理と
図12に示す第2の追尾処理とが異なる点は、位置補正の追尾位置判定に位置ずれ頻度判定を追加して、位置補正を可能にするように構成したことにある。
【0069】
図13のフロー処理は
図12のフロー処理のステップST28とステップST29との間に、ステップST33、ST34の処理が付加されている。
ステップST33においては、カウントが第2の判定値Dを超えると、追尾タイムテーブルの各IDのカウント値の総和を取得する。
そして、ステップST34において、取得した総和が位置ずれ頻度判定値としての、第3の判定値F以上で第4の判定値L以下である場合に、ステップST29で検知位置メモリを更新する。
【0070】
このように、第3の追尾処理では、追尾判定条件として、位置ずれ頻度判定値を設け、位置ずれの頻度を測定し、判定値より大きい場合には、追尾位置を更新する機能を設けている。
頻度判定するために、追尾タイムテーブルTTRKの各IDのカウント数の総和回数を取得し、頻度判定値と比較する。頻度判定条件の範囲内になった場合に追尾位置を更新する。
【0071】
図13の追尾処理にように、検知対象の被写体の位置と撮像装置の間で、長期にわたる経年変化や環境状態で生じた位置ずれがそれぞれにあった場合でも、その位置ずれの補正を、位置ずれの経過時間に加え、その頻度が複数回発生した場合にのみ、位置を補正する。
これにより、夜間等に、光源11が照射する光の範囲が昼間等の明時より大きくID0〜ID3で示す各方向に広がってしまう場合、強風や振動などで一時的に若干の位置ずれが発生した場合でも、測定に影響せず、被写体の輝度情報を永続的に高精度に取得できるという効果が得られる。
【0072】
次に、本実施形態に係る検知システムの他の構成および機能について詳細に説明する。
はじめに、本実施形態に係る撮像装置12のCCDの構成について説明する。
【0073】
図14は、本実施形態に係るCCDの構造を説明するための一例を示す図である。
【0074】
図14のCCD20はインターライン転送で、フォトダイオードPD21、垂直転送CCD22、水平転送CCD23、増幅器24を有する。
フォトダイオードPD21は、マトリクス状に配列されている。垂直ライン方向に配列されるフォトダイオードPD21は、列ごとにそれぞれ電荷を転送するための垂直転送CCD22に接続されている。各垂直転送CCD22の端部は、電荷を増幅部に転送する水平転送CCD23にそれぞれ接続されている。また、水平転送CCD23の出力側には増幅器24が接続されている。
【0075】
映像の走査方式はインターレースであり、一画面は飛び越し走査で、奇数フィールドと偶数フィールドとで構成される。
まず、光がフォトダイオードPD21に入射し、電荷蓄積時間にフォトダイオードPD21で電荷が蓄積されていく。この間、フォトダイオードPD21と垂直転送CCD22間は遮断されている。
電荷蓄積時間が終了すると、フォトダイオードPD21と垂直転送CCD22間が導通し、蓄積された電荷が垂直転送CCD22に移される。この直後に、フォトダイオードPD21と垂直転送CCD22間は遮断され、フォトダイオードPD21で次の電荷蓄積が開始する。垂直転送CCD22に移された電荷は、1水平ライン毎に水平転送CCD23に転送され、増幅器24に入力されている。
この1水平ライン毎に、電荷が垂直転送CCD22から水平転送CCD23へ転送されるまでの周波数は、CCD20の水平走査周波数15.734Hzで行われる。垂直転送CCD22のすべての電荷が水平転送CCD23に転送されると、再び垂直転送CCD22とフォトダイオードPD21間が導通し、フォトダイオードPD21の電荷が垂直転送CCD22に移される。フィールド蓄積CCDの場合、光電変換によってフォトダイオードPD21で電荷が蓄積され、この電荷がフォトダイオードPD21から垂直転送CCD22へ転送されるまでの転送周波数は、59.94Hzとなる。
【0076】
図15は、
図14のCCD20の時系列を説明するための図である。
【0077】
図15に示すように、光電変換によってフォトダイオードPD21で電荷が蓄積されるまでの所要時間をΔT1とし、この電荷がフォトダイオードPD21から垂直転送CCD22へ転送されるまでの所要時間をΔT2とする。
図15から分かるように、CCD20に入射した光エネルギーは、電荷蓄積時間ΔT1の間積分されながら、電荷蓄積周期ΔT=ΔT1+ΔT2=(1/59.94)秒でサンプリングされていることになる。
【0078】
さて、
図1に示すように、撮像装置12によって撮像された撮像画像の信号は輝度信号抽出部13で輝度信号が抽出され、この輝度信号は、光源解析処理部14に入力されている。
ここで、本実施例に係るCCD20(
図14を参照)からの画素の読み出し方法について説明する。
【0079】
図16は、単板補色フィルタ型CCDの画素の一配列例を示す図である。
また、
図17は、奇数フィールドOFDと偶数フィールドEFDにおける色信号の組み合わせの一例を示す図である。
【0080】
画素のカラーフィルタは、Ye(イエロ)、Cy(シアン)、Mg(マジェンタ)、G(グリーン)で構成され、
図16に図示するような配列になっている。画素の読み出しは、上下の画素を加算して読み出される。この加算する組み合わせは、奇数フィールドOFDと偶数フィールドEFDで、1列ずれる。具体的には、奇数フィールドOFDのnラインでは、(C11+C21)、(C12+C22)、(C13+C23)、(C14+C24)、(C15+C25)、…のようになる。また、偶数フィールドEFDのnラインでは、(C21+C31)、(C22+C32)、(C23+C33)、(C24+C34)、(C25+C35)、…のようになる。
したがって、
図17に示すような奇数フィールドOFD、偶数フィールドEFDで色信号が出力される。
いずれも、2画素周期で同一のYe、Cy、Mg、Gの組み合わせの色パターンが繰り返されている。
つまり言い換えると、色信号は2画素周期以上の周波数に重畳して現れる。よって、この色信号を、2画素周期を遮断周波数とするローパスフィルタに通せば、色信号は失われ、輝度信号のみが得られる。
したがって、輝度情報は2画素周期でサンプリングされることになる。
【0081】
図16の円形で図示される投影領域REGは、光源による被写体の映像が投影されている様子を示している。なお、画素C35、C36、C45、C46、C55、C56は完全に投影領域REGにはいっており、均一に光が照射されているとする。
輝度情報は、奇数フィールドOFDでは、水平ライン(n+1)のC35、C36、C45、C46の組み合わせに、偶数フィールドEFDでは、水平ラインの(n+1)ラインのC45、C46、C55、C56の組み合わせによって読み出しされる。
【0082】
以上に述べたようにして、撮像装置12からの信号のうち輝度信号が光源解析処理部14に出力される。この輝度信号は、第1の演算部141および第2の演算部142に入力されて所定の処理が行われる。
【0083】
次に、第1の演算部141および第2の演算部142で行われる輝度信号の処理方法について
図18に関連付けて説明する。
【0084】
図18は、本実施形態に係る光源解析処理部の輝度信号の信号処理方法を説明するためのタイミングチャートである。
【0085】
図18(A)は、撮像装置12のインターライン走査を示す図で、偶数フィールドEFDもしくは奇数フィールドOFDのいずれかの状態を示す。
図18(B)〜(E)はそれぞれ、光源解析処理部14で処理される輝度信号レベルの時間変化を表す波形W1、W2、W3、W4を示し、
図18(F)は一定周期で変化する正弦波の波形W5を示す図である。
なお、奇数フィールドOFDと偶数フィールドEFDとで1フレームの走査である。つまり、
図18(A)に図示するように、AとB、CとDで1フレームの走査である。
また、以降の説明において、fは周波数を、tは時刻を、θは位相差をそれぞれ示し、ωは(ω=2πf)を満たす。なお、πは円周率である。
【0086】
図18(B)、(C)に図示する波形W1と波形W2は、後で説明する波形W3と波形W4で示される波形の関数を導出するための波形である。
図18(D)に図示する波形W3は、Aのフィールドの輝度信号とCのフィールドの輝度信号との輝度レベルの差をレベル差ACとした時の、レベル差ACを求める関数の時間発展分布を示す。
また、
図18(E)に図示する波形W4は、Bのフィールドの輝度信号とDのフィールドの輝度信号との輝度レベルの差をレベル差BDとした時の、レベル差BDを求める関数の時間発展分布を示す。
なお、波形W3は、波形W1と波形W2から導出され、波形W1と波形W2を足して2で割ったものである。また、波形W4は波形W1と波形W2から導出され、波形W2から波形W1を引いて2で割ったものである。
【0087】
このとき、レベル差ACの第1の時間平均である時間平均SACは
図1に示す第1の演算部141で算出される。また、レベル差BDの第2の時間平均である時間平均SBDは第2の演算部142で算出される。
具体的には、時間平均SACは、C35、C36、C45、C46の組み合わせによるAフィールドとCフィールドとの輝度レベル差ACから算出される。
同様に、時間平均SBDは、C45、C46、C55、C56の組み合わせによるBフィールドとDフィールドとのレベル差BDから算出される。
【0088】
その時間平均の算出方法について述べる。
AフィールドとCフィールドとのレベル差ACの時間平均SACは、波形W1に、
図18(D)に示す波形W3を掛けてこの時間平均SACを計算する。
また同様に、BフィールドとDフィールドとのレベル差BDの時間平均SBDは、C45、C46、C55、C56の組み合わせによる画素に照射される光の時間変化を表す波形に、
図18(E)に示す波形W4を掛けてこの時間平均SBDを計算する。
【0089】
はじめに、時間平均SACの算出方法について具体的に説明する。
波形W3を数式で表す。まず、波形W1、波形W2は以下のようなフーリエ級数で表せる。
【0091】
ここで、波形W1とW2は同一周期f2を有するものとする。(1)式と(2)式より、波形W3は(4)式のように表せる。
【0093】
ところで、
図18(F)に図示する周期f1を有する波形W5は(5)、(6)式のような正弦波で表せる。
【0095】
(4)式によって表される波形W3に(5)式で表せる正弦波W5を掛けると(7)式となる。
【0097】
次に、時刻0から時刻Tまでにおける(7)式の時間平均をとる。(7)式の右辺に示す各項の内、時間tを含む項は交流信号であるから、その時間平均は0である。
したがって、(ω
1−(2n−1)ω
2=0)である時のみ、定数cosθ
1と定数sinθ
1が残り、時間平均SACは(8)式のようになる。
【0099】
このようにして、時間平均SACが第1の演算部141にて求まる。時間平均SBDも同様にして第2の演算部142にて求められ、(9)式で表される。
【0101】
さて、(8)式と(9)式で表される時間平均SACとSBDとの2乗和(S
AC2+S
BD2)は(10)式で表される。
【0103】
この(10)式より、CCD20(
図19を参照)に入射される光に(f
1=(2n−1)f
2)なる周波数成分が含まれているとき、(10)式で表される波形の成分が検出される。
【0104】
次に、光源11に含まれる周波数成分について考察する。
図19は、光源11に含まれる周波数成分についての波形W6を示す図である。なお、光源11は、周波数f3で時間τの間、輝度レベルL1で発光している。
【0105】
この波形W6をフーリエ級数に展開する。波形W6は、周期(T
3=1/f
3)の周期関数であり、(ω
3=2πf
3)とすると、(11)式のようにフーリエ級数の一般式で表される。
【0107】
(11)式の各係数a
0、a
n、b
nは波形W6より(12)〜(14)式のように求まる。
【0109】
したがって、波形W6のフーリエ級数は、(15)式で表される。
【0111】
よって、光源11の点滅周期をフィールド周期の4倍にした時、すなわち(f
3=f
2)である時、(7)式と(15)式より奇数項で周波数が一致し、時間平均SACとSBDの2乗和は(16)式のようになる。
【0113】
光源11の点灯のデューティー比をDとすると(17)式で表される。
【0115】
よって、(16)式で表される時間平均SACとSBDとの2乗和SACBDは、(17)式を用いると(18)式のようになる。
【0117】
ところで、以下に示す(18)式の右辺の項(19)は収束する。
【0119】
この(18)式の右辺の項(19)は、デューティー比Dに対し、表1のような値をとる。以下に、表1を示す。
【0121】
表1に基づいて、横軸にデューティー比Dをとり、縦軸に時間平均SACとSBDとの2乗和SACBDをとると、デューティー比Dと2乗和SACBDとの関係は
図20に示すようになる。
【0122】
図20より、2乗和SACBDはデューティー比D=0.5で最大となることが分かる。
したがって、(18)式で表される2乗和SACBDは、次式のようになる。
【0123】
[数15]
S
AC2+S
BD2=0.08333L
12 …(20)
【0124】
(20)式に示すように、演算処理部143は光源11(
図1を参照)の輝度を検出し、この検出結果(2乗和SACBD)をフィルタ処理部15を介して判定部16に出力する。この検出結果は、判定部16にて被写体の状態
の判定に用いられる。
【0125】
本実施例に係る光源11は特定の光源に依存しない。そこで、他の光源についても輝度を検出できるかについて考察する。
光源として広く使われている白熱電球と蛍光燈は、電源周波数50Hzの地域で100Hz、60Hzの地域で120Hzである。NTSC方式のテレビジョンのフィールド周波数は59.94Hz、パーソナルコンピュータに使用されるモニタのフィールド周波数は、ちらつきがないように60Hz以上である。
【0126】
NTSC方式のテレビジョンのフィールド周波数は59.94Hzであり、その1/4倍周期で光源を発光させるとすると、輝度レベル差の周波数f2は次式のようになる。
【0127】
[数16]
f
2=59.94/4=14.985Hz …(21)
【0128】
(7)式と(15)式より、周波数f2の奇数倍と光源11の周波数f3の整数倍が一致したときに信号成分が検出される。
【0129】
表2は、異なる光源の発光周波数と輝度信号レベルの差における周波数との関係を示す値の表である。
【0131】
表2のf1は(5)式の正弦波の有する周波数で、f2は(21)式に示す周波数で、f3はそれぞれ、光源11の周波数、50Hz地域での照明の周波数、60Hz地域での照明の周波数、NTSC方式のテレビジョンのフィールド周波数、パーソナルコンピュータに使用されるモニタのフィールド周波数である。
表2によると、m=30まで、f3が100、120、59.94Hzであり、(n×f
3=(2m−1)×f
2)が成立するものはない。
【0132】
たとえばパーソナルコンピュータのモニタに関して、そのフィールド周波数が60Hz以上であるとすると、本検知システム10の信号処理出力に最も大きな出力が検出される可能性としては、74.925Hzでスキャンされているモニタが存在したときである。
すなわち、f
3=74.925Hzの時であり、表2に示すように、(5×f
2)、(15×f
2)、(25×f
2)…と(1×f
3)、(3×f
3)、(5×f
3)・・・が一致する。この時検出される信号レベルは、次式で示される。
【0133】
【数17】
したがって、(22)式で示される信号レベルは光源11の1/25のレベルであり、
図1に図示していない信号処理で別に除去できる。
【0134】
以上に述べたように、本検知システム10は、光源の発光周波数に依存せず、光源または光源に照射された被写体の状態を検知する。
【0135】
以下に、本実施形態に係る検知システムの一連の動作を
図21に関連付けて説明する。
【0136】
図21は、本実施形態に係る検知システムの一連の動作概要を説明するためのフローチャート図である。
【0137】
本実施形態では、まず、撮像装置12の電荷蓄積時間内の光源11の輝度を撮像装置12のフィールド周期の4n倍で変化させる(ST41)。
次に、撮像装置12からフィールド単位でnフィールド毎に輝度信号抽出部13で輝度信号を取得し(ST42)、この輝度信号を第1の演算部141と第2の演算部142に出力する。
第1の演算部141にて、m番目と(m+2)番目のフィールドの投影領域REGにおける輝度信号レベルのレベル差ACの時間平均SACを求める。また、第2の演算部142にて、(m+1)番目と(m+3)番目のフィールドの投影領域REGにおける輝度信号レベルのレベル差BDの時間平均SBDを求める(ST43)。
これら時間平均SACとSBDは演算処理部143に出力される。
次いで、演算処理部143にて時間平均SACとSBDの2乗和SACBDが求められ(ST44)、フィルタ処理部15を介して判定部16に出力される。
判定部16にて2乗和SACBDの値に応じて、被写体の状態が判定される(ST45)。その判定結果が被写体位置決定部17に供給される。
被写体位置決定部17において、被写体位置を決定するか否かが判定される(ST46)。
ここで、被写体位置を決定するときは、被写体位置決定部17では被写体の状態を検知して検知位置に関する情報が取得され(ST47)、検知位置情報が光源解析処理部14の位置記憶部144に記憶される。
被写体位置の決定を行わないときは、被写体位置決定部17では、位置記憶部144に保存済み位置情報から指定位置(指定番号)が取得され(ST48)、指定位置の被写体の状態が検知される(ST49)。
そして、光源解析処理部14においてステップST43およびST44を行うに際し、その位置記憶部144に記憶されている検知位置座標等に基づいて、その座標で指定される検知位置範囲の一または複数の画像を解析(検知)が行われる。
この光源解析処理部14の処理により、本検知システム10は、光源もしくは光源に照射された被写体の位置だけ検知することができ、被写体として除外する位置は検知しないため、高速かつ対ノイズ性にも効果があり、高精度に検知できる。
【0138】
そして、被写体位置決定部17の位置検索処理部171では、判定部16にて得た検知状態から現在の位置を検索する。その際、位置検索処理部171または追尾処理部が、追尾処理が必要かどうかのフラグを確認し追尾処理が必要な場合は追尾処理を行う(ST50、ST51)。
追尾処理の詳細説明はここでは省略する。
【0139】
なお、本実施形態に係る演算処理部143では、時間平均SACとSBDとの2乗和SACBDを求めるが、時間平均SACとSBDとの和(S
AC+S
BD)を判定部16での判定基準に用いることもできる。
【0140】
以上に説明したように、本実施形態によれば、撮像画像の背景ノイズを除去し、光源もしくは光源によって照射された被写体の状態を検出できる。
【0141】
本実施形態に係る検知システムによれば、光源または光源に照射された被写体の状態の検知において、被写体が複数存在する場合の検知も被写体別に行うことができ、その被写体の追跡と捕捉を行うことで、被写体でない部分の不要物の位置の検知をする必要が無く、被写体の状態検知を高速にかつ、高精度に検知できるという効果が得られる。
また、光源に依らないため、撮像装置の仕様には依存せず、たとえば一般に入手可能なカメラを本検知システムの撮像装置として使用できる。
【0142】
そして、本検知システムによれば、検知対象の被写体の位置と撮像装置の間で、長期にわたる経年変化や環境状態で生じた位置ずれがそれぞれにあった場合でも、その位置ずれの補正を、位置ずれの経過時間に合わせて補正状態と時間の調整をしながら、位置を補正することで、被写体の輝度情報を永続的に高精度に取得できる。
これらの処理は、PCシステムおよび組込みシステムどちらの構成でも実現でき、用途に応じて適応できる。
【0143】
また、本検知システムによれば、検知対象の被写体の位置と撮像装置の間で、長期にわたる経年変化や環境状態で生じた位置ずれがそれぞれにあった場合でも、その位置ずれの補正を、位置ずれの経過時間に合わせて補正状態と被写体の検知範囲毎に時間の調整をしながら、位置を補正することで、被写体固有の状態で被写体の輝度情報を永続的に高精度に取得できる。
【0144】
さらにまた、本検知システムによれば、検知対象の被写体の位置と撮像装置の間で、長期にわたる経年変化や環境状態で生じた位置ずれがそれぞれにあった場合でも、その位置ずれの補正を、位置ずれの経過時間に加え、その頻度が複数回発生した場合にのみ、位置を補正することにより、夜間等に、光源11が照射する光の範囲が昼間等の明時より大きくID0〜ID3で示す各方向に広がってしまう場合、強風や振動などで一時的に若干の位置ずれが発生した場合でも、測定に影響せず、被写体の輝度情報を永続的に高精度に取得できる。
【0145】
さらに本検知システムは、複数の光源を使用し、信号を並列に信号処理部に伝送することができる。
あるいは、光源の色を複数設け、信号の波長多重伝送も可能である。
また、光源を適宜点滅させて信号を処理することも可能である。
【0146】
[第2の実施形態]
次に、本発明に係る第2の実施形態について説明する。
【0147】
本第2の実施形態は、第1の実施形態に係るフィールド蓄積、インターレース型の撮像装置12をフレーム蓄積、インターレース型の撮像装置に置き換えたものである。また同時に、第1実施形態に係る光源11の輝度の変化周期をフィールド周期の4n倍からフレーム周期の4n倍に変更したものである。この変化周期の変更に伴い、輝度信号の取得もnフィールドごとから2nフィールドごとに輝度信号の取得周期を変更する。
このように、光源11の輝度の変化周期と輝度信号の取得周期を変更することで、第1の実施形態と同様の効果を得ることができる。
したがって、本実施形態によれば、撮像画像の背景ノイズを除去し、光源もしくは光源によって照射された被写体の状態を検出でき、被写体が複数存在する場合であっても被写体別に検知することができる。
【0148】
[第3の実施形態]
次に、本発明に係る第3の実施形態について説明する。
【0149】
本第3の実施形態は、第1の実施形態に係るフィールド蓄積、インターレース走査型の撮像装置12をフレーム蓄積、ノンインターレース走査型の撮像装置に置き換えたものである。
このように、ノンインターレース走査の撮像装置を用いても、第1の実施形態と同様の効果を得ることができる。
したがって、本実施形態によれば、撮像画像の背景ノイズを除去し、光源もしくは光源によって照射された被写体の状態を検出でき、被写体が複数存在する場合であっても被写体別に検知することができる。
【0150】
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、CPU等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー(登録商標)ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。