(58)【調査した分野】(Int.Cl.,DB名)
上記演算処理部の演算結果の総和を上記輝度平均算出部による輝度平均値の関数として規定した通常状態の総和近似閾値および上記総和に関連付けて上記閾値を補正するための補正値を算出する補正値算出部を有し、
上記閾値算出部は、
上記補正値算出部による補正値で補正した閾値を上記判定部に供給する
請求項1から3のいずれか一に記載の検知システム。
光源または上記光源によって照射された被写体を撮像装置で撮像し、上記撮像装置から取得した信号に対して信号処理を行って被写体の状態を検知する信号処理ステップを有し、
上記信号処理ステップは、
上記撮像装置から取得した信号から上記被写体の状態検知のために信号処理に用いる輝度信号を抽出する輝度信号抽出ステップと、
所定走査面周期ごとに上記輝度信号を取得し、複数の異なる走査面間で当該輝度信号の信号レベル差から当該信号レベル差の時間平均を求め、上記時間平均の値をもとに時間平均の2乗和を撮像された画像中の各画素毎に求め、当該2乗和を演算結果として出力する演算処理ステップと、
撮像された画像中の特定領域における上記演算処理ステップの演算結果の総和を算出する総和算出ステップと、
上記輝度信号抽出ステップによる輝度信号を受けて、上記撮像された画像中の各画素の輝度成分の上記特定領域における平均値を算出する輝度平均算出ステップと、
少なくとも上記総和算出ステップによる上記演算処理ステップの演算結果の総和および上記輝度平均算出ステップによる輝度平均値に関連付けて物体が発生しているか否かを判定するための閾値を算出する閾値算出ステップと、
上記総和算出ステップによる上記演算処理ステップの演算結果の総和と上記閾値算出ステップで算出された閾値を比較して上記光源と上記撮像装置との間に物体が発生しているか否かを判定する判定ステップと、を含む
検知システムの信号処理方法。
【発明を実施するための形態】
【0016】
以下、本発明の実施形態を図面に関連づけて説明する。
【0017】
[第1の実施形態]
図1は、本発明の実施形態に係る検知システムの構成例を示す図である。
【0018】
本検知システム10は、光源11、撮像装置12、信号処理部13、および出力部14を有する。
本実施形態において、撮像装置12は、撮像装置の走査面周期の所定倍で変化する光源またはその光源によって照射された被写体(以下光源を含む)を撮像する。
【0019】
信号処理部13は、光源11または光源11に照射された被写体の状態の検知において、画像中の特定領域において後述する2乗和の演算結果R(=A
2+B
2)の総和Sを算出し、同特定領域において輝度の平均を算出する機能と、総和Sと輝度平均値Lに関連付けて補正値を算出して記憶する機能と、を有し、演算結果R(=A
2+B
2)の総和と輝度平均値と補正値より自動的に最適な閾値を算出し、光源11と撮像装置12間に物体が存在(発生)しているか否かを判定する。
これにより、本実施形態の検知システム10は、周囲の明るさに影響されず目的の対象物を判定することが可能となっている。
【0020】
光源11は、所定の輝度で被写体を照明する。光源11の輝度は可変であり、撮像装置12が有する撮像素子の電荷蓄積時間内の輝度が、撮像装置12のフィールド周期の4n倍周期で変化する。ここで、n=1、2、3、…である。
【0021】
本実施形態に係る検知システム10で使用する撮像装置12は、以下のような仕様の撮像装置を採用している。
本撮像装置12を構成する撮像素子は一例として、単板補色フィルタ、フィールド蓄積型インターライン転送CCD(Charge Coupled Device)イメージセンサ(以後、単にCCDと記述する)を用いる。
また、一例として撮像装置12のテレビジョン方式はNTSC方式、走査方式はインターレースを採用し、走査周波数は水平周波数が15.734KHzで垂直周波数は59.94Hzである。
このような構成の撮像装置12は、光源11または光源11によって照明された被写体を撮像し、撮像して得られた撮像信号を信号処理部13の輝度信号抽出部に出力する。
なお、ここではCCDイメージセンサを例示しているがCMOSイメージセンサも適用可能である。
【0022】
信号処理部13は、輝度信号抽出部1301、第1の演算部(A)1302、第2の演算部(B)1303、演算処理部(時間平均2乗和演算処理部)1304、および領域記憶部1305を含む。
さらに、信号処理部13は、総和算出部1306、輝度平均算出部1307、補正値算出部1308、補正値記憶部1309、閾値算出部1310、減衰率指定部1311、および判定部1312を含んで構成されている。
【0023】
信号処理部13の輝度信号抽出部1301は、入力された信号から輝度信号を抽出し、この輝度信号を第1の演算部1302、第2の演算部1303、および輝度平均算出部1307に出力する。
輝度信号抽出部1301により抽出される輝度信号は、演算に最適化された信号レベルに調節される。
その信号レベルは、第1の演算部1302、第2の演算部1303、演算処理部1304の出力値においてオーバーフローしない信号レベルである必要がある。そのため、輝度信号抽出部1301は、輝度信号レベルを調整する回路を含む。
輝度信号レベルの調整値はいくつかのモードがある場合には、モード切り替えが可能なテーブルをもっていてもかまわない。そのモードはNTSCやPALなどの映像信号規格、撮像装置の周波数モードであってもよい。
【0024】
第1の演算部1302は、入力された輝度信号を撮像素子の同一領域において、m番目と(m+2)番目のフィールドにおける輝度信号のレベル差の時間平均を求める。
この第1の演算部1302の出力結果Aは、演算処理部1304に出力される。
【0025】
第2の演算部1303は、入力された輝度信号の同一領域において、(m+1)番目と(m+3)番目のフィールドにおける輝度信号のレベル差の時間平均を求める。
この第2の演算部1303の出力結果Bは、演算処理部1304に出力される。
【0026】
なお、この第1の演算部1302と第2の演算部1303の動作の詳細については後述する。
【0027】
第1の演算部1302と第2の演算部1303からそれぞれ出力される出力結果Aと出力結果Bは演算処理部1304に入力される。
演算処理部1304は、光源を抽出しているか否かの情報を取得する。
具体的には、演算処理部1304は、光源11の所定位置における演算を行って、被写体の周数成分の検出値を求める。
演算処理部1304は、出力結果の検出値(演算結果)としての2乗和の値の演算結果R(=A
2+B
2)を求め、その結果を総和算出部1306に出力する。
基本的に、光源11と撮像装置12の間に侵入者や煙が発生し光が遮断(遮光)されると演算結果Rは減衰するため、これを所定の閾値と比較することにより目的の対象物であるか否かを判定することができる。
【0028】
領域記憶部1305は、映像の1フレーム(画像)において、目的の対象物であるか否かを判定する判定領域(特定領域)を記憶している。
【0029】
図2は、本実施形態に係る領域記憶部に記憶される判定領域の一例を示す図である。
図2の領域記憶部1305は、映像の1画像IMGにおいて、目的の対象物、たとえば光源11であるか否かを判定する特定領域に相当する判定領域JDRGを1つ記憶している例である。
判定領域JDRGは、xy座標において、開始点が(xs,ys)で、終点が(xe,ye)となっている矩形の領域である。
この判定領域JDRGは、画像IMG内にあれば、1つであったり複数であったり、その大きさには制限はない。
【0030】
総和算出部1306は、演算処理部1304において画像中の各画素(ドット)毎に算出される演算結果R(=A
2+B
2)の、領域記憶部1305に記憶されている判定領域JDRG内の総和Sを次式(1)により算出する。
【0032】
総和算出部1306は、算出した総和Sを補正値算出部1308、閾値算出部1310、および判定部1312に供給する。
【0033】
輝度平均算出部1307は、輝度信号抽出部1301で抽出された輝度信号を受けて、画像中の各画素(ドット)の輝度成分lの判定領域(特定領域)JDRG内の平均値Lを次式(2)により算出する。
【0035】
輝度平均算出部1307は、算出した輝度の平均値Lを補正値算出部1308および閾値算出部1310に供給する。
【0036】
補正値算出部1308は、総和算出部1306により供給される演算処理部1304の演算結果R(=A
2+B
2)の総和Sを、輝度平均算出部1307による輝度平均値Lの関数として規定した実際の動作環境における通常状態の総和近似閾値S
TH(Lc)と総和S(Lc)に関連付けて、閾値算出部1310の閾値を補正するための補正値CVを算出する。
補正値算出部1308は、補正値CVを、補正値算出時の輝度平均値Lcに関連付けた通常状態の総和近似閾値S
TH(Lc)と総和S(Lc)の比(S(Lc)/V
TH(Lc))として求める。
【0037】
補正値算出部1308は、算出した補正値CVを補正値記憶部1309に格納する。
補正値記憶部1309に格納された補正値CVは、閾値算出部1310により読み出される。
【0038】
閾値算出部1310は、総和算出部1306による演算処理部1304の演算結果R(=A
2+B
2)の総和S、輝度平均算出部1307による輝度平均値L、減衰率指定部1311により指定される減衰率d、および補正値記憶部1309に格納された補正値CVに関連付けて、光源11と撮像装置12との間に物体が発生しているか否かを判定するための閾値TH(L)を算出する。
【0039】
閾値算出部1310は、演算処理部1304の演算結果R(=A
2+B
2)の総和Sを輝度平均算出部1307による輝度平均値Lの関数として、総和近似閾値S
TH(L)を規定し、基本的に総和近似閾値S
TH(L)に指定された減衰率dを掛けあわせて閾値TH(L)を算出する。
また、本実勢形態の閾値算出部1310は、総和近似閾値S
TH(L)に指定された減衰率dを掛けあわせた閾値を、補正値CVで補正して、補正後の閾値を最終的に決定した閾値TH(L)として判定部1312に供給する。
【0040】
判定部1312は、総和算出部1306による演算処理部1304の演算結果R(=A
2+B
2)の総和Sと閾値算出部1310で算出された閾値TH(L)を比較して、光源11と撮像装置12との間に物体が発生しているか否かを判定する。
判定部1312は、判定結果を出力部14に出力する。
【0041】
出力部14は、判定部1312の判定結果からその情報を出力する。
出力部14は、判定部1312での結果を基に既定の動作を行う。
たとえば、出力部14は、記録装置である場合、映像を記録する。
また、出力部14は、制御機器やパーソナルコンピュータ(PC)である場合、データ転送やアラーム信号の出力を行う。
また、出力部14は、表示装置の場合、アラーム情報等を表示する。
【0042】
上述したように、信号処理部13は、光源11または光源11に照射された被写体の状態の検知において、画像中の特定領域(判定領域)において2乗和の演算結果R(=A
2+B
2)の総和を算出し、また同特定領域において輝度の平均値を算出する機能と、総和Sと輝度平均値Lに関連付けて補正値CVを算出して記憶する機能と、を有し、演算結果R(=A
2+B
2)の総和Sと輝度平均値Lと補正値CVより自動的に最適な閾値TH(L)を算出し、光源11と撮像装置12間に物体が存在(発生)しているか否かを判定する。
これにより、本実施形態の検知システム10は、周囲の明るさに影響されず目的の対象物を判定することが可能となっている。
ここで、本実施形態の検知システム10において、周囲の明るさに影響されず目的の対象物を判定することを可能とする閾値設定についてより詳細に説明する。
【0043】
ここで光源や撮像条件を一定に保ち、光源周辺の明るさのみを変化させた場合の演算結果の総和Sと輝度の平均値Lをグラフにしたものを
図3に示す。
すなわち、
図3は、光源や撮像条件を一定に保ち、光源周辺の明るさのみを変化させた場合の演算結果の総和と輝度の平均値をグラフ化して示す図である。
図3において、縦軸が総和Sを、横軸が平均値Lを示している。
【0044】
平均値Lはつまり判定領域(特定領域)JDRG内の明るさであり、
図3のグラフから言えることは、光源11や撮像装置12の条件が変わらなくても、判定領域(特定領域)JDRG内が明るいほど総和Sは減衰するということである。
このことから、
図3〈B〉に示すように、閾値を固定閾値CTHに固定にしてしまうと明るさ変動による誤判定が発生するため、これを改善するためには適切な閾値の決定をする必要がある。
【0045】
以下にその適切な閾値の設定方法を説明する。
まず上記
図3のグラフから、総和Sと平均値Lの関係を3次曲線として近似した場合、以下のような(3)式が得られる。
【0047】
ここで、S
TH(L)は上記の3次曲線を示し、輝度平均値Lの関数とした総和近似閾値を表している。
総和Sの減衰を判定するには、この、総和近似閾値S
TH(L)に所望の減衰率d(%)を掛けあわせたものを閾値TH(L)とすればよく、閾値TH(L)は次式(4)のように与えられる。
【0049】
煙のようなある程度光を透過するものと、人のような完全に光を遮断するものを区別して判定したい場合には、特定の減衰率の範囲であることを判定するために、この閾値TH(L)をいくつかもっていてもよい。
【0050】
図4は、複数の閾値を設定した一例を示す図であって、減衰率dが0〜20%では物体が発生、20〜80%では煙が発生、80%〜では通常状態という判定を行いたい場合の閾値と判定領域の関係を示す図である。
【0051】
たとえば、減衰率dが0〜20%では物体が発生、20〜80%では煙が発生、80%〜では通常状態という判定を行いたい場合には、
図4に示すように、総和近似閾値STH(L)に0.2を掛けあわせた閾値TH
20(d=0.2)、並びに、総和近似閾値STH(L)に0.8を掛けあわせた閾値TH
80(d=0.8)の二つの閾値と総和Sを比較すればよい。
【0052】
図4の例では、総和Sが閾値TH
20(d=0.2)より小さい場合には判定部1312で光源11と撮像装置12との間に物体が発生した(存在する)と判定される。
総和Sが閾値TH
20(d=0.2)以上で閾値H
80(d=0.8)より小さい場合には判定部1312で光源11と撮像装置12との間に煙が発生した(存在する)と判定される。
総和Sが閾値TH
80(d=0.8)以上の場合には判定部1312で光源11と撮像装置12との間に物体や煙が発生せず(存在せず)、通所状態と判定される。
【0053】
以上から明るさに応じた適切な閾値が算出できるが、ここまでで用いた総和近似閾値S
TH(L)は特定条件化でのものであり、動作環境や領域の取り方により若干の誤差が生じる。
そのため、閾値THを求める際に環境による補正が必要となるが、以下にその補正方法を説明する。
【0054】
撮像装置12のレンズの条件を変えた3つの環境下で、総和Sと平均値Lをグラフにしたものを
図5に示す。
すなわち、
図5は、撮像装置のレンズの条件を変えた3つの環境下で、総和Sと平均値Lとの関係をグラフ化して示す図である。
図5の例では、画角を3つの条件CND1,CND2,CND3で変更した例を示している。
【0055】
図5に示すように、画角を3つの条件CND1,CDN2,CDN3で変更した場合、総和Sの値に違いが見られるが、いずれも3次曲線的な傾向を示している。
閾値TH(L)を求める際には、実際の動作環境における通常状態での総和近似閾値STH(Lc)と総和S(Lc)からその比(補正値)を求め、判定を行う時点での総和近似閾値STH(L)に乗じればよく、それを式として表すと次式(5)のようになる。
【0057】
ここで、Lは閾値算出時における輝度平均値を示し、Lcは補正値算出時の輝度平均値を示している。
【0058】
以上から、演算処理部1304の演算結果R(=A
2+B
2)を用いた物体判定において、周りの明るさに影響されない適切な閾値を自動で判定することができる。
すなわち、本実施形態によれば、光源または光源に照射された被写体の状態の検知において、周囲の明るさに影響されず、目的の対象物を判定することが可能となる。
【0059】
次に、本実施形態に係る検知システムの他の構成および機能について詳細に説明する。
はじめに、本実施形態に係る撮像装置12のCCDの構成について説明する。
【0060】
図6は、本実施形態に係るCCDの構造を説明するための一例を示す図である。
【0061】
図6のCCD20はインターライン転送で、フォトダイオードPD21、垂直転送CCD22、水平転送CCD23、および増幅器24を有する。
フォトダイオードPD21は、マトリクス状に配列されている。垂直ライン方向に配列されるフォトダイオードPD21は、列ごとにそれぞれ電荷を転送するための垂直転送CCD22に接続されている。各垂直転送CCD22の端部は、電荷を増幅部に転送する水平転送CCD23にそれぞれ接続されている。また、水平転送CCD23の出力側には増幅器24が接続されている。
【0062】
映像の走査方式はインターレースであり、一画面は飛び越し走査で、奇数フィールドと偶数フィールドとで構成される。
まず、光がフォトダイオードPD21に入射し、電荷蓄積時間にフォトダイオードPD21で電荷が蓄積されていく。この間、フォトダイオードPD21と垂直転送CCD22間は遮断されている。
電荷蓄積時間が終了すると、フォトダイオードPD21と垂直転送CCD22間が導通し、蓄積された電荷が垂直転送CCD22に転送される。この直後に、フォトダイオードPD21と垂直転送CCD22間は遮断され、フォトダイオードPD21で次の電荷蓄積が開始する。垂直転送CCD22に転送された電荷は、1水平ライン毎に水平転送CCD23に転送され、増幅器24に入力される。
この1水平ライン毎に、電荷が垂直転送CCD22から水平転送CCD23へ転送されるまでの周波数は、CCD20の水平走査周波数15.734KHzで行われる。垂直転送CCD22のすべての電荷が水平転送CCD23に転送されると、再び垂直転送CCD22とフォトダイオードPD21間が導通し、フォトダイオードPD21の電荷が垂直転送CCD22に移される。フィールド蓄積CCDの場合、光電変換によってフォトダイオードPD21で電荷が蓄積され、この電荷がフォトダイオードPD21から垂直転送CCD22へ転送されるまでの転送周波数は、59.94Hzとなる。
【0063】
図7は、
図6のCCD20の時系列を説明するための図である。
【0064】
図7に示すように、光電変換によってフォトダイオードPD21で電荷が蓄積されるまでの所要時間をΔT1とし、この電荷がフォトダイオードPD21から垂直転送CCD22へ転送されるまでの所要時間をΔT2とする。
図7から分かるように、CCD20に入射した光エネルギーは、電荷蓄積時間ΔT1の間積分されながら、電荷蓄積周期ΔT=ΔT1+ΔT2=(1/59.94)秒でサンプリングされていることになる。
【0065】
さて、
図1に示すように、撮像装置12によって撮像された撮像画像の信号は輝度信号抽出部1301で輝度信号が抽出され、この輝度信号は、第1の演算部1302、第2の演算部1303、および輝度平均算出部1307に供給される。
ここで、本実施形態に係るCCD20(
図6を参照)からの画素の読み出し方法について説明する。
【0066】
図8は、単板補色フィルタ型CCDの画素の一配列例を示す図である。
また、
図9は、奇数フィールドOFDと偶数フィールドEFDにおける色信号の組み合わせの一例を示す図である。
【0067】
画素のカラーフィルタは、Ye(イエロ)、Cy(シアン)、Mg(マジェンタ)、G(グリーン)で構成され、
図8に示すような配列になっている。画素の読み出しは、上下の画素を加算して読み出される。この加算する組み合わせは、奇数フィールドOFDと偶数フィールドEFDで、1列ずれる。具体的には、奇数フィールドOFDのnラインでは、(C11+C21)、(C12+C22)、(C13+C23)、(C14+C24)、(C15+C25)、…のようになる。また、偶数フィールドEFDのnラインでは、(C21+C31)、(C22+C32)、(C23+C33)、(C24+C34)、(C25+C35)、…のようになる。
したがって、
図9に示すような奇数フィールドOFD、偶数フィールドEFDで色信号が出力される。
いずれも、2画素周期で同一のYe、Cy、Mg、Gの組み合わせの色パターンが繰り返されている。
つまり言い換えると、色信号は2画素周期以上の周波数に重畳して現れる。よって、この色信号を、2画素周期を遮断周波数とするローパスフィルタに通せば、色信号は失われ、輝度信号のみが得られる。
したがって、輝度情報は2画素周期でサンプリングされることになる。
【0068】
図8の円形で図示される投影領域REGは、光源による被写体の映像が投影されている様子を示している。なお、画素C35、C36、C45、C46、C55、C56は完全に投影領域REGにはいっており、均一に光が照射されているとする。
輝度情報は、奇数フィールドOFDでは、水平ライン(n+1)のC35、C36、C45、C46の組み合わせに、偶数フィールドEFDでは、水平ラインの(n+1)ラインのC45、C46、C55、C56の組み合わせによって読み出しされる。
【0069】
以上に述べたようにして、撮像装置12からの信号のうち輝度信号が第1の演算部1302、第2の演算部1303、および輝度平均算出部1307に入力される。この輝度信号は、第1の演算部1302、第2の演算部1303、および輝度平均算出部1307に入力されて所定の処理が行われる。
【0070】
次に、第1の演算部1302および第2の演算部1303で行われる輝度信号の処理方法について
図10に関連付けて説明する。
【0071】
図10は、本実施形態に係る第1の演算部1302および第2の演算部1303における輝度信号の信号処理法を説明するためのタイミングチャートである。
【0072】
図10(A)は、撮像装置12のインターライン走査を示す図で、偶数フィールドEFDもしくは奇数フィールドOFDのいずれかの状態を示す。
図10(B)〜(E)はそれぞれ、演算部で処理される輝度信号レベルの時間変化を表す波形W1、W2、W3、W4を示し、
図10(F)は一定周期で変化する正弦波の波形W5を示す図である。
なお、奇数フィールドOFDと偶数フィールドEFDとで1フレームの走査である。つまり、
図10(A)に示すように、AとB、CとDで1フレームの走査である。
また、以降の説明において、fは周波数を、tは時刻を、θは位相差をそれぞれ示し、ωは(ω=2πf)を満たす。なお、πは円周率である。
【0073】
図10(B)、(C)に図示する波形W1と波形W2は、後で説明する波形W3と波形W4で示される波形の関数を導出するための波形である。
図10(D)に図示する波形W3は、Aのフィールドの輝度信号とCのフィールドの輝度信号との輝度レベルの差をレベル差ACとした時の、レベル差ACを求める関数の時間発展分布を示す。
また、
図10(E)に図示する波形W4は、Bのフィールドの輝度信号とDのフィールドの輝度信号との輝度レベルの差をレベル差BDとした時の、レベル差BDを求める関数の時間発展分布を示す。
なお、波形W3は、波形W1と波形W2から導出され、波形W1と波形W2を足して2で割ったものである。また、波形W4は波形W1と波形W2から導出され、波形W2から波形W1を引いて2で割ったものである。
【0074】
このとき、レベル差ACの第1の時間平均である時間平均RACは
図1に示す第1の演算部1302で算出される。また、レベル差BDの第2の時間平均である時間平均RBDは第2の演算部1303で算出される。
具体的には、時間平均RACは、C35、C36、C45、C46の組み合わせによるAフィールドとCフィールドとの輝度レベル差ACから算出される。
同様に、時間平均RBDは、C45、C46、C55、C56の組み合わせによるBフィールドとDフィールドとのレベル差BDから算出される。
【0075】
その時間平均の算出方法について述べる。
AフィールドとCフィールドとのレベル差ACの時間平均RACは、波形W1に、
図10(D)に示す波形W3を掛けてこの時間平均RACを計算する。
また同様に、BフィールドとDフィールドとのレベル差BDの時間平均RBDは、C45、C46、C55、C56の組み合わせによる画素に照射される光の時間変化を表す波形に、
図10(E)に示す波形W4を掛けてこの時間平均RBDを計算する。
【0076】
はじめに、時間平均RACの算出方法について具体的に説明する。
波形W3を数式で表す。まず、波形W1、波形W2は以下のようなフーリエ級数で表せる。
【0078】
ここで、波形W1とW2は同一周期f2を有するものとする。(6)式と(7)式より、波形W3は(9)式のように表せる。
【0080】
ところで、
図10(F)に図示する周期f1を有する波形W5は(10),(11)式のような正弦波で表せる。
【0082】
(9)式によって表される波形W3に(10)式で表せる正弦波W5を掛けると(12)式となる。
【0084】
次に、時刻0から時刻Tまでにおける(12)式の時間平均をとる。(12)式の右辺に示す各項の内、時間tを含む項は交流信号であるから、その時間平均は0である。
したがって、(ω
1−(2n−1)ω
2=0)である時のみ、定数cosθ
1と定数sinθ
1が残り、時間平均RACは(13)式のようになる。
【0086】
このようにして、時間平均RACが第1の演算部1302にて求まる。時間平均RBDも同様にして第2の演算部1303にて求められ、(9)式で表される。
【0088】
さて、(13)式と(14)式で表される時間平均RACとRBDとの2乗和(R
AC2+R
BD2)は(15)式で表される。
【0090】
この(15)式より、CCD20(
図6を参照)に入射される光に(f
1=(2n−1)f
2)なる周波数成分が含まれているとき、(15)式で表される波形の成分が検出される。
【0091】
次に、光源11に含まれる周波数成分について考察する。
図11は、光源11に含まれる周波数成分についての波形W6を示す図である。なお、光源11は、周波数f3で時間τの間、輝度レベルL1で発光している。
【0092】
この波形W6をフーリエ級数に展開する。波形W6は、周期(T
3=1/f
3)の周期関数であり、(ω
3=2πf
3)とすると、(16)式のようにフーリエ級数の一般式で表される。
【0094】
(16)式の各係数a
0、a
n、b
nは波形W6より(17)〜(19)式のように求まる。
【0096】
したがって、波形W6のフーリエ級数は、(20)式で表される。
【0098】
よって、光源11の点滅周期をフィールド周期の4倍にした時、すなわち(f
3=f
2)である時、(12)式と(20)式より奇数項で周波数が一致し、時間平均RACとSBDの2乗和は(21)式のようになる。
【0100】
光源11の点灯のデューティー比をDとすると(22)式で表される。
【0102】
よって、(21)式で表される時間平均RACとRBDとの2乗和RACBDは、(22)式を用いると(23)式のようになる。
【0104】
ところで、以下に示す(23)式の右辺の項(24)は収束する。
【0106】
この(23)式の右辺の項(24)は、デューティー比Dに対し、表1のような値をとる。以下に、表1を示す。
【0108】
表1に基づいて、横軸にデューティー比Dをとり、縦軸に時間平均RACとRBDとの2乗和RACBDをとると、デューティー比Dと2乗和RACBDとの関係は
図12に示すようになる。
【0109】
図12より、2乗和RACBDはデューティー比D=0.5で最大となることが分かる。
したがって、(23)式で表される2乗和RACBDは、次式のようになる。
【0110】
[数20]
R
AC2+R
BD2=0.08333L
12 …(25)
【0111】
(25)式に示すように、演算処理部1304は光源11(
図1を参照)の輝度を検出し、この検出結果(2乗和RACBD)は総和算出部1306に出力される。
【0112】
本実施形態に係る光源11は特定の光源に依存しない。そこで、他の光源についても輝度を検出できるかについて考察する。
光源として広く使われている白熱電球と蛍光燈は、電源周波数50Hzの地域で100Hz、60Hzの地域で120Hzである。NTSC方式のテレビジョンのフィールド周波数は59.94Hz、パーソナルコンピュータに使用されるモニタのフィールド周波数は、ちらつきがないように60Hz以上である。
【0113】
NTSC方式のテレビジョンのフィールド周波数は59.94Hzであり、その1/4倍周期で光源を発光させるとすると、輝度レベル差の周波数f2は次式のようになる。
【0114】
[数21]
f
2=59.94/4=14.985Hz …(26)
【0115】
(12)式と(20)式より、周波数f2の奇数倍と光源11の周波数f3の整数倍が一致したときに信号成分が検出される。
【0116】
表2は、異なる光源の発光周波数と輝度信号レベルの差における周波数との関係を示す値の表である。
【0118】
表2のf1は(10)式の正弦波の有する周波数で、f2は(26)式に示す周波数で、f3はそれぞれ、光源11の周波数、50Hz地域での照明の周波数、60Hz地域での照明の周波数、NTSC方式のテレビジョンのフィールド周波数、パーソナルコンピュータに使用されるモニタのフィールド周波数である。
表2によると、m=30まで、f3が100、120、59.94Hzであり、(n×f
3=(2m−1)×f
2)が成立するものはない。
【0119】
たとえばパーソナルコンピュータのモニタに関して、そのフィールド周波数が60Hz以上であるとすると、本検知システム10の信号処理出力に最も大きな出力が検出される可能性としては、74.925Hzでスキャンされているモニタが存在したときである。
すなわち、f
3=74.925Hzの時であり、表2に示すように、(5×f
2)、(15×f
2)、(25×f
2)…と(1×f
3)、(3×f
3)、(5×f
3)…が一致する。この時検出される信号レベルは、次式で示される。
【0121】
したがって、(27)式で示される信号レベルは光源11の1/25のレベルであり、
図1に図示していない信号処理で別に除去できる。
【0122】
以上に述べたように、本検知システム10は、光源の発光周波数に依存せず、光源または光源に照射された被写体の状態を検知する。
【0123】
以下に、本実施形態に係る検知システムの一連の動作を
図13に関連付けて説明する。
【0124】
図13は、本実施形態に係る検知システムの一連の動作概要を説明するためのフローチャートを示す図である。
【0125】
たとえば、撮像装置12の電荷蓄積時間内の光源11の輝度を撮像装置12のフィールド周期の4n倍で変化させる。
そして、撮像装置12からフィールド単位でnフィールド毎に輝度信号抽出部1301で輝度信号が抽出(取得)され(ST1)、この輝度信号は第1の演算部1302、第2の演算部1303、および輝度平均算出部1307に出力される。
【0126】
ここで、第1の演算部1302にて、m番目と(m+2)番目のフィールドの投影領域REGにおける輝度信号レベルのレベル差ACの時間平均RACが求められる。また、第2の演算部1303にて、(m+1)番目と(m+3)番目のフィールドの投影領域REGにおける輝度信号レベルのレベル差BDの時間平均RBDが求められる(ST2)。
これら時間平均RACとRBDは演算処理部1304に出力される。
【0127】
次いで、演算処理部1304にて時間平均RACとRBDの2乗和R(=A
2+B
2)が求められ(ST3)、その演算結果R(=A
2+B
2)が総和算出部1306に出力される。
【0128】
次に、総和算出部1306において、演算処理部1304において画像中の各画素(ドット)毎に算出される演算結果R(=A
2+B
2)の、領域記憶部1305に記憶されている判定領域JDRG内の総和Sが算出される(ST4)。
総和算出部1306で算出された総和Sは補正値算出部1308、閾値算出部1310、および判定部1312に出力される。
【0129】
総和Sの算出処理と並行するように、輝度平均算出部1307において、輝度信号抽出部1301で抽出された輝度信号に基づき、画像中の各画素(ドット)の輝度成分lの判定領域(特定領域)JDRG内の平均値Lが算出される(ST5)。
輝度平均算出部1307で算出された輝度の平均値Lは補正値算出部1308および閾値算出部1310に供給される。
【0130】
ここで、信号処理部13においては、補正値の算出がすでに済んでいるか否かが判定される(ST6)。
ステップST6において、補正値の算出が済んでいないと判定されると、補正値算出部1308において、総和算出部1306により供給される演算処理部1304の演算結果R(=A
2+B
2)の総和Sを輝度平均算出部1307による輝度平均値Lの関数として規定した実際の動作環境における通常状態の総和近似閾値S
TH(Lc)と総和S(Lc)に関連付けて、閾値算出部1310の閾値を補正するための補正値CVが算出される(ST7)。
補正値算出部1308で算出された補正値CVは補正値記憶部1309に記憶される(ST8)。そして、ステップST1の処理に戻る。
補正値記憶部1309に格納された補正値CVは、閾値算出部1310により読み出される。
【0131】
一方、ステップST6において、補正値の算出が済んでいると判定されると、閾値算出部1310において、総和算出部1306による演算処理部1304の演算結果R(=A
2+B
2)の総和S、輝度平均算出部1307による輝度平均値L、減衰率指定部1311により指定される減衰率d、および補正値記憶部1309に格納された補正値CVに関連付けて、光源11と撮像装置12との間に物体が発生しているか否かを判定するための閾値TH(L)が算出される(ST9)。
閾値算出部1310で算出された閾値TH(L)は、判定部1312に出力される。
【0132】
判定部1312においては、総和算出部1306による演算処理部1304の演算結果R(=A
2+B
2)の総和Sと閾値算出部1310で算出された閾値TH(L)が比較されて、光源11と撮像装置12との間に物体が発生しているか否かが判定される(ST10)。
判定部1312における判定結果は出力部14に出力される。
【0133】
ここで、アラームを発する情報があるか否かが判定される(ST11)。
ステップST11において、アラームを発する情報があると判定されると、出力部14において、アラームの出力が行われる(ST12)。
一方、ステップST11において、アラームを発する情報がないと判定されると、ステップST1の処理に戻る。
【0134】
以上説明したように、本実施形態において、信号処理部13は、撮像装置12から取得した信号から被写体の状態検知のために信号処理に用いる輝度信号を抽出する輝度信号抽出部1301と、輝度信号抽出部から所定走査面周期ごとに輝度信号を取得し、複数の異なる走査面間で輝度信号の信号レベル差からこの信号レベル差の時間平均を求め、時間平均の値をもとに時間平均の2乗和を撮像された画像中の各画素毎に求め、当該2乗和を演算結果として出力する演算処理部1302,1303,1304を有する。
さらに、信号処理部13は、撮像された画像中の特定領域における演算処理部1304の演算結果R(=A
2+B
2)の総和Sを算出する総和算出部1306と、輝度信号抽出部による輝度信号を受けて、撮像された画像中の各画素の輝度成分の記特定領域における平均値Lを算出する輝度平均算出部1307と、少なくとも総和算出部1306による演算処理部1304の演算結果R(=A
2+B
2)の総和Sおよび輝度平均算出部1307による輝度平均値Lに関連付けて物体が発生しているか否かを判定するための閾値TH(L)を算出する閾値算出部1310と、総和算出部1306による演算処理部1304の演算結果R(=A
2+B
2)の総和Sと閾値算出部1310で算出された閾値TH(L)を比較して光源11と撮像装置12との間に物体が発生しているか否かを判定する判定部1312と、を含む。
【0135】
したがって、本実施形態によれば、周囲の明るさに影響されず、明るさに応じた適切な閾値を算出でき、誤判定を防止でき、目的の対象物を高い精度で判定することができる利点がある。
【0136】
また、本実施形態によれば、閾値算出部1310は、演算処理部1304の演算結果R(=A
2+B
2)の総和Sを輝度平均算出部1307による輝度平均値Lの関数として、総和近似閾値S
TH(L)を規定し、この総和近似閾値に指定された減衰率dを掛けあわせて閾値TH(L)を算出する。
したがって、本実施形態によれば、周囲の明るさに影響されず、所定の条件下において明るさに応じた適切な閾値を算出でき、誤判定を防止でき、目的の対象物を高い精度で判定することができる。
【0137】
また、本実施形態によれば、演算処理部1304の演算結果R(=A
2+B
2)の総和Sを輝度平均算出部1307による輝度平均値Lの関数として規定した通常状態の総和近似閾値と総和に関連付けて閾値を補正するための補正値CVを算出する補正値算出部1308を有し、閾値算出部1310は、算出した閾値を補正値算出部1308による補正値CVで補正して判定部1312に供給する。
したがって、本実施形態によれば、動作環境や特定領域(判定領域)の設定の仕方によって誤差が生じたとしても、周囲の明るさに影響されず、条件にかかわりなく明るさに応じた適切な閾値を高い精度で算出でき、誤判定を防止でき、目的の対象物を高い精度で判定することができる。
【0138】
さらに本検知システムは、複数の光源を使用し、信号を並列に信号処理部に伝送することができる。
あるいは、光源の色を複数設け、信号の波長多重伝送も可能である。
また、光源を適宜点滅させて信号を処理することも可能である。
【0139】
[第2の実施形態]
次に、本発明に係る第2の実施形態について説明する。
【0140】
本第2の実施形態は、第1の実施形態に係るフィールド蓄積、インターレース型の撮像装置12をフレーム蓄積、インターレース型の撮像装置に置き換えたものである。また同時に、第1実施形態に係る光源11の輝度の変化周期をフィールド周期の4n倍からフレーム周期の4n倍に変更したものである。この変化周期の変更に伴い、輝度信号の取得もnフィールドごとから2nフィールドごとに輝度信号の取得周期を変更する。
このように、光源11の輝度の変化周期と輝度信号の取得周期を変更することで、第1の実施形態と同様の効果を得ることができる。
したがって、本第2の実施形態によれば、周囲の明るさに影響されず、誤判定を防止でき、目的の対象物を高い精度で判定することができる。
【0141】
[第3の実施形態]
次に、本発明に係る第3の実施形態について説明する。
【0142】
本第3の実施形態は、第1の実施形態に係るフィールド蓄積、インターレース走査型の撮像装置12をフレーム蓄積、ノンインターレース走査型の撮像装置に置き換えたものである。
このように、ノンインターレース走査の撮像装置を用いても、第1の実施形態と同様の効果を得ることができる。
したがって、本第3の実施形態によれば、周囲の明るさに影響されず、誤判定を防止でき、目的の対象物を高い精度で判定することができる。
【0143】
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、CPU等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー(登録商標)ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。