【解決手段】複数の光源は、被写界へ向けて発光する。撮像部は、被写界を撮像して撮像画像を取得する。制御部は、複数の光源のうち発光させる光源を切り換える発光制御を行いながら撮像部に被写界を撮像させる。判定部は、撮像部によって取得された撮像画像のうち撮像画像の一部であり且つ撮像画像を取得するための撮像のときに発光している光源に対応する画像領域において予め定められた検出対象の有無を判定する。
その発光量を第1発光量と該第1発光量よりも少ない第2発光量とに切り換え可能に構成され、被写界へ向けて発光する光源と、その露光時間を第1露光時間と該第1露光時間よりも長い第2露光時間とに切り換え可能に構成され、上記被写界を撮像して撮像画像を取得するように構成された撮像部とを用いた撮像方法であって、
上記撮像部によって取得された撮像画像において検出対象の有無を判定する第1工程と、
上記第1工程において検出対象ありと判定された場合に上記光源の発光量を上記第1発光量に設定するとともに上記撮像部の露光時間を上記第1露光時間に設定し、該第1工程において検出対象なしと判定された場合に該光源の発光量を上記第2発光量に設定するとともに該撮像部の露光時間を上記第2露光時間に設定する第2工程とを備えている
ことを特徴とする撮像方法。
【発明を実施するための形態】
【0012】
以下、実施の形態を図面を参照して詳しく説明する。なお、図中同一または相当部分には同一の符号を付しその説明は繰り返さない。
【0013】
〔実施形態1〕
図1は、実施形態1による撮像装置10の構成例を示している。撮像装置10は、被写界を撮像して被写界を監視するように構成されている。例えば、
図2に示すように、撮像装置10は、室内に設置される電化製品(
図2の例では、フラットパネルディスプレイ)に設けられる。この例では、撮像装置10は、複数(この例では4つ)の光源11a〜11dと、撮像部12と、処理回路13とを備えている。なお、以下の説明では、光源11a〜11dの総称を「光源11」と記載する。
【0014】
〈光源〉
光源11は、被写界へ向けて発光するように構成されている。例えば、光源11は、発光ダイオード(LED)によって構成されていてもよいし、レーザーダイオードによって構成されていてもよい。なお、光源11から発せられる光は、赤外光であっても良いし、可視光であってもよい。
【0015】
また、
図2に示すように、複数の光源11a〜11dは、撮像部12の周辺に設けられている。そして、複数の光源11a〜11dは、被写界の照明を分担して行うように構成されている。具体的には、複数の光源11a〜11dの各々は、被写界のうちその光源11に対応する一部の領域を照明するように構成され、複数の光源11a〜11dの全部を発光させた場合に被写界の全領域が照明されるように配置されている。この例では、複数の光源11a〜11dは、水平方向に並設されている。
【0016】
〈撮像部〉
撮像部12は、被写界を撮像して撮像画像を取得するように構成されている。例えば、撮像部12は、相補型金属酸化膜半導体(CMOS)によって構成されていてもよいし、電荷結合素子(CCD)によって構成されていてもよい。
【0017】
〈光源と画像領域との対応関係〉
図3に示すように、撮像画像20には、複数(この例では4つ)の光源11a〜11dにそれぞれ対応する複数(この例では4つ)の画像領域21a〜21dが含まれている。なお、以下の説明では、画像領域21a〜21dの総称を「画像領域21」と記載する。
【0018】
画像領域21は、その画像領域21に対応する光源11によって照明される被写界の一部の領域を含んでいる。この例では、画像領域21aは、光源11aによって照明される被写界の一部の領域を含み、画像領域21bは、光源11bによって照明される被写界の一部の領域を含み、画像領域21cは、光源11cによって照明される被写界の一部の領域を含み、画像領域21dは、光源11dによって照明される被写界の一部の領域を含んでいる。なお、この例では、複数の画像領域21a〜21dは、それぞれの縁部が隣接する画像領域21の縁部と重複しないように配置されている。
【0019】
〈処理回路〉
処理回路13は、光源11および撮像部12などの撮像装置10の各部を制御するように構成されている。例えば、処理回路13は、CPUやメモリなどによって構成されている。また、この例では、処理回路13は、制御部14と判定部15と検出部16とを備えている。
【0020】
《制御部》
制御部14は、複数の光源11a〜11dのうち発光させる光源11を切り換える発光制御を行いながら撮像部12に被写界(発光させた光源11により照明された被写界)を撮像させるように構成されている。すなわち、発光制御では、制御部14は、複数の光源11a〜11dの中から発光させる光源11を選択し、その選択された光源11を発光させて撮像部12に被写界を撮像させる。
【0021】
《判定部》
判定部15は、撮像部12によって取得された撮像画像20のうち、撮像画像20の一部であり且つ撮像画像20を取得するための撮像のときに発光している光源11に対応する画像領域21において、予め定められた検出対象(この例では動き)の有無を判定するように構成されている。
【0022】
《検出部》
検出部16は、判定部15によって検出対象ありと判定された画像領域を含む撮像画像から予め定められた対象物(この例では人間)を検出するように構成されている。また、検出部16は、検出結果を外部へ出力するように構成されている。
【0023】
〈動作〉
次に、
図4を参照して、実施形態1による撮像装置10の動作について説明する。この例では、光源11a〜11dの発光順序(発光させる光源11を選択する順序)が予め定められ、画像領域21a〜21dの判定順序(判定対象となる画像領域21を選択する順序)が予め定められている。すなわち、光源11および画像領域21の選択順序が予め定められている。具体的には、光源11aと画像領域21aが第1番目に選択され、光源11bと画像領域21bが第2番目に選択され、光源11cと画像領域21cが第3番目に選択され、光源11dと画像領域21dが第4番目に選択されるように、光源11および画像領域21の選択順序が予め定められている。また、光源11および画像領域21の選択順序に基づいて光源11a〜11dと画像領域21a〜21dに番号(選択順を示した番号)が割り当てられている。具体的には、光源11aと画像領域21aに「1」が割り当てられ、光源11bと画像領域21bに「2」が割り当てられ、光源11cと画像領域21cに「3」が割り当てられ、光源11dと画像領域21dに「4」が割り当てられている。また、以下の説明において、変数Kは、1以上であり且つ上限値K
max以下の整数であり、処理の対象となる光源11および画像領域21の番号を示している。上限値K
maxは、2以上の整数であり、光源11の個数(この例では4)に相当する。
【0024】
《ステップST101》
まず、制御部14は、変数Kを1に設定する。すなわち、制御部14は、予め定められた選択順序において第1番目に選択される光源11および画像領域21(この例では、光源11aおよび画像領域21a)を、今回の処理の対象となる光源11および画像領域21として選択する。
【0025】
《ステップST102,ST103》
次に、制御部14は、複数の光源11a〜11dのうち第K番目の画像領域21(今回の処理の対象となる画像領域21)に対応する光源11を発光させ、撮像部12に被写界を撮像させる。例えば、制御部14は、複数の光源11a〜11dのうち第K番目の画像領域21に対応する光源11が発光している期間中に、時系列に連続するN枚(Nは2以上の整数)の撮像画像20からなる撮像画像列が取得されるように、撮像部12に被写界の撮像をN回連続して行わせる。
【0026】
《ステップST104》
次に、判定部15は、ステップST103において取得された撮像画像20から第K番目の画像領域21を抽出する。例えば、判定部15は、ステップST103において取得された撮像画像列を構成するN枚の撮像画像20の各々から第K番目の画像領域21を抽出し、それらの抽出されたN個の画像領域21(第K番目の画像領域21)からなる部分画像列を取得する。
【0027】
《ステップST105》
次に、判定部15は、ステップST104において抽出された第K番目の画像領域21において検出対象(この例では動き)の有無を判定する。第K番目の画像領域21において検出対象があると判定された場合には、ステップST106へ進み、そうでない場合には、ステップST107へ進む。
【0028】
例えば、判定部15は、ステップST104において取得された部分画像列を構成するN個の画像領域(第K番目の画像領域)からN−1個の部分差分画像を算出する。なお、第X番目(Xは1以上であり且つN−1以下の整数)の部分差分画像は、部分画像列を構成するN個の画像領域のうち時系列において第X番目に位置する撮像画像に含まれる第K番目の画像領域と時系列において第X+1番目に位置する撮像画像に含まれる第K番目の画像領域との差分画像に相当する。次に、判定部15は、N−1個の部分差分画像の画素値を画素毎に平均して差分平均画像(それぞれの画素値がN−1個の画素値の平均値を示した画像)を算出する。そして、判定部15は、差分平均画像に含まれる複数の画素値のうち予め定められた差分閾値を上回る画素値の個数の占有割合(差分平均画像に含まれる全画素数に対する割合)が予め定められた占有割合閾値を上回る場合に、第K番目の画像領域に動き(検出対象)があると判定し、そうでない場合に、第K番目の画像領域に動き(検出対象)がないと判定する。なお、差分閾値および占有割合閾値は、例えば、動きがあるとみなせるときの画素値および占有割合にそれぞれ設定されている。
【0029】
《ステップST106》
次に、検出部16は、ステップST105において検出対象ありと判定された第K番目の画像領域21を含む撮像画像20から対象物100(この例では人間)を検出する。例えば、検出部16は、非特許文献1「Navneet Dalal and Bill Triggs,"Histograms of OrientedGradients for HumanDetection,"Proc. of CVPR2005, vol.1, pp. 886-893,2005.」に示された検出手法(輝度勾配ヒストグラム特徴の機械学習に基づく検出手法)を用いて対象物検出処理(この例では、人検出処理)を行うように構成されていてもよい。
【0030】
《ステップST107,ST108,ST109》
次に、制御部14は、予め定められた選択順序に基づいて、次回の処理の対象となる光源11および画像領域21を選択する。具体的には、制御部14は、変数Kが上限値K
maxに到達しているか否かを判定し、変数Kが上限値K
maxに到達していない場合に変数Kに1を加算し、変数Kが上限値K
maxに到達している場合に変数Kを1に設定する。次に、ステップST110へ進む。
【0031】
すなわち、制御部14は、今回の処理の対象となっている光源11および画像領域21が予め定められた選択順序において最後に選択される光源11および画像領域21(この例では、光源11dおよび画像領域21d)であるか否かを判定する(ステップST107)。今回の処理の対象となっている光源11および画像領域21が予め定められた選択順序において最後に選択される光源11および画像領域21ではない場合、制御部14は、予め定められた選択順序において今回の処理の対象となっている光源11および画像領域21の次に選択される画像領域21を、次回の処理の対象となる光源11および画像領域21として選択する(ステップST108)。一方、今回の処理の対象となっている光源11および画像領域21が予め定められた選択順序において最後に選択される光源11および画像領域21である場合、制御部14は、予め定められた選択順序において第1番目に選択される光源11および画像領域21(この例では、光源11aおよび画像領域21a)を、次回の処理の対象となる光源11および画像領域21として選択する(ステップST109)。
【0032】
《ステップST110》
次に、処理を終了する場合には、処理を終了し、処理を継続する場合には、ステップST102へ進む。
【0033】
〈光源の発光パターン〉
図5は、実施形態1における光源11の発光パターンの一例を示している。
図5に示すように、実施形態1では、予め定められた発光順序(この例では、光源11a,11b,11c,11dの順)で複数の光源11a〜11dが順次に発光するように、発光制御(発光させる光源11を切り換えるための制御)が行われる。
【0034】
〈実施形態1による効果〉
以上のように、複数の光源11a〜11dのうち発光させる光源11を切り換えることにより、複数の光源11a〜11dの全部を継続的に発光させる場合(すなわち、被写界の全領域を継続的に照明する場合)よりも、被写界の照明に要する消費電力を低減することができる。
【0035】
なお、撮像画像20のうちその撮像画像20を取得するための撮像のときに発光している光源11に対応する画像領域21は、被写界においてその光源11によって照明された領域(被写界の一部)に対応している。したがって、撮像画像20のうち上記の画像領域21(すなわち、被写界において光源11によって照明された領域に対応する画像領域21)に対して検出対象(この例では動き)の有無の判定を行うことにより、検出対象の有無の判定を正確に行うことができる。
【0036】
また、複数の光源11a〜11dのうち発光させる光源11を切り換えながら被写界の撮像を継続することにより、撮像画像20のうち判定部15による判定の対象となる画像領域21(すなわち、被写界のうち判定の対象となる領域)を切り換えることができる。これにより、被写界の監視(検出対象の有無の判定)を継続的に行うことができる。
【0037】
また、判定部15によって検出対象(この例では動き)ありと判定された画像領域21を含む撮像画像20を対象物検出処理(この例では人検出処理)の対象とすることにより、対象物の検出を効率よく行うことができる。
【0038】
なお、制御部14が発光制御において複数の光源11a〜11dの中から1つの光源を選択して発光させる場合を例に挙げたが、制御部14は、発光制御において複数の光源11a〜11dの中から2以上の光源11(ただし全ての光源11ではない)を選択して同時に発光させるように構成されていてもよい。
【0039】
〔実施形態2〕
実施形態2による撮像装置10は、その動作が実施形態1による撮像装置10の動作と異なっている。実施形態2では、制御部14は、判定部15によって検出対象ありと判定された画像領域21が存在していない場合に、複数の光源11a〜11dが予め定められた発光順序で発光するように、発光制御(発光させる光源11を切り換えるための制御)を行い、判定部15によって検出対象ありと判定された画像領域21が存在している場合に、複数の光源11a〜11dのうち判定部15によって検出対象ありと判定された画像領域21に対応する光源11の発光頻度が高くなるように、発光制御を行う。
【0040】
具体的には、実施形態2では、制御部14は、判定部15によって検出対象ありと判定された画像領域21が存在している場合に、判定部15によって検出対象ありと判定された画像領域21に対応する光源11が発光する第1発光動作と予め定められた発光順序に基づいて判定部15によって検出対象ありと判定されていない画像領域21に対応する光源11のうち1つの光源11が発光する第2発光動作とが交互に行われるように発光制御を行う。なお、実施形態2のその他の構成は、実施形態1と同様となっている。
【0041】
〈動作〉
次に、
図6,
図7,
図8を参照して、実施形態2による撮像装置10の動作について説明する。この例では、実施形態1と同様に、光源11a〜11dの発光順序(発光させる光源11を選択する順序)が予め定められ、画像領域21a〜21dの判定順序(判定対象となる画像領域21を選択する順序)が予め定められている。具体的には、光源11aと画像領域21aが第1番目に選択され、光源11bと画像領域21bが第2番目に選択され、光源11cと画像領域21cが第3番目に選択され、光源11dと画像領域21dが第4番目に選択されるように、光源11および画像領域21の選択順序が予め定められている。また、光源11および画像領域21の選択順序に基づいて光源11a〜11dと画像領域21a〜21dに番号(選択順を示した番号)が割り当てられている。
【0042】
《ステップST201》
まず、ステップST101と同様に、制御部14は、変数Kを1に設定する。
【0043】
《ステップST202》
次に、制御部14は、注目領域が存在しているか否かを判定する。注目領域は、判定部15によって検出対象(この例では動き)ありと判定された画像領域21に相当する。注目領域が存在していないと判定された場合には、ステップST203へ進み。注目領域が存在している場合には、ステップST213へ進む。
【0044】
《ステップST203〜ST206》
次に、ステップST102,ST103と同様に、制御部14は、複数の光源11a〜11dのうち第K番目の画像領域21(今回の処理の対象となる画像領域21)に対応する光源11を発光させ、撮像部12に被写界を撮像させる。次に、ステップST104,ST105と同様に、判定部15は、ステップST204において取得された撮像画像20から第K番目の画像領域21を抽出し、その第K番目の画像領域21において検出対象(この例では動き)の有無を判定する。第K番目の画像領域21において検出対象があると判定された場合には、ステップST207へ進み、そうでない場合には、ステップST209へ進む。
【0045】
《ステップST207》
次に、制御部14は、ステップST206において検出対象ありと判定された第K番目の画像領域21を注目対象(すなわち、注目領域)に設定する。次に、ステップST208へ進む。
【0046】
《ステップST208》
次に、ステップST106と同様に、検出部16は、ステップST206において検出対象ありと判定された第K番目の画像領域21を含む撮像画像20から対象物100(この例では人間)を検出する。
【0047】
《ステップST209,ST210,ST211》
次に、ステップST107,ST108,ST109と同様に、制御部14は、予め定められた選択順序に基づいて、次回の処理の対象となる光源11および画像領域21を選択する。具体的には、制御部14は、変数Kが上限値K
maxに到達しているか否かを判定し、変数Kが上限値K
maxに到達していない場合に変数Kに1を加算し、変数Kが上限値K
maxに到達している場合に変数Kを1に設定する。次に、ステップST212へ進む。
【0048】
《ステップST212》
次に、処理を終了する場合には、処理を終了し、処理を継続する場合には、ステップST202へ進む。
【0049】
《ステップST213,ST214》
一方、ステップST202において注目領域が存在していると判定した場合、制御部14は、複数の光源11a〜11dのうち注目領域である画像領域21に対応する光源を発光させ、撮像部12に被写界を撮像させる。具体的には、ステップST103と同様に、制御部14は、複数の光源11a〜11dのうち注目領域である画像領域21に対応する光源11が発光している期間中に、時系列に連続するN枚の撮像画像20からなる撮像画像列が取得されるように、撮像部12に被写界の撮像をN回連続して行わせる。
【0050】
《ステップST215》
次に、判定部15は、ステップST214において取得された撮像画像20から注目領域である画像領域21を抽出する。具体的には、ステップST104と同様に、判定部15は、ステップST214において取得された撮像画像列を構成するN枚の撮像画像20の各々から注目領域である画像領域21を抽出して、それらの抽出されたN個の画像領域21(注目領域である画像領域21)からなる部分画像列を取得する。
【0051】
《ステップST216》
次に、判定部15は、ステップST215において抽出された注目領域である画像領域21において検出対象(この例では動き)の有無を判定する。なお、検出対象の有無の判定手法は、ステップST105の判定手法と同様であってもよい。注目領域である画像領域21において検出対象があると判定された場合には、ステップST217へ進み、そうでない場合には、ステップST218へ進む。
【0052】
《ステップST217》
次に、検出部16は、ステップST216において検出対象ありと判定された注目領域である画像領域21を含む撮像画像20から対象物100(この例では人間)を検出する。なお、対象物の検出手法は、ステップST106の検出手法と同様であってもよい。次に、ステップST219へ進む。
【0053】
《ステップST218》
一方、ステップST216において検出対象なしと判定された場合、制御部14は、検出対象なしと判定された注目領域である画像領域21を注目対象(すなわち、注目領域)から除外する。次に、ステップST219へ進む。
【0054】
《ステップST219》
次に、制御部14は、第K番目の画像領域21が注目領域に設定されているか否かを判定する。第K番目の画像領域21が注目領域に設定されている場合には、ステップST220へ進み、そうでない場合には、ステップST223へ進む。
【0055】
《ステップST220,ST221,ST222》
ステップST219において第K番目の画像領域21が注目領域に設定されていると判定された場合、制御部14は、予め定められた選択順序に基づいて、次回の処理の対象となる光源11および画像領域21を選択する。具体的には、制御部14は、変数Kが上限値K
maxに到達しているか否かを判定し、変数Kが上限値K
maxに到達していない場合に変数Kに1を加算し、変数Kが上限値K
maxに到達している場合に変数Kを1に設定する。次に、ステップST219へ進む。
【0056】
《ステップST223〜ST226》
一方、ステップST219において第K番目の画像領域21が注目領域に設定されていないと判定された場合、ステップST203,ST204と同様に、制御部14は、複数の光源11a〜11dのうち第K番目の画像領域21に対応する光源11を発光させ、撮像部12に被写界を撮像させる。次に、ステップST205,ST206と同様に、判定部15は、ステップST224において取得された撮像画像20から第K番目の画像領域21を抽出し、その第K番目の画像領域21において検出対象(この例では動き)の有無を判定する。第K番目の画像領域21において検出対象があると判定された場合には、ステップST227へ進み、そうでない場合には、ステップST229へ進む。
【0057】
《ステップST227》
次に、ステップST207と同様に、制御部14は、ステップST226において検出対象ありと判定された第K番目の画像領域21を注目対象(すなわち、注目領域)に設定する。次に、ステップST228へ進む。
【0058】
《ステップST228》
次に、ステップST208と同様に、検出部16は、ステップST226において検出対象ありと判定された第K番目の画像領域21を含む撮像画像20から対象物100(この例では人間)を検出する。
【0059】
《ステップST229,ST230,ST231》
次に、ステップST209,ST210,ST211と同様に、制御部14は、予め定められた選択順序に基づいて、次回の処理の対象となる光源11および画像領域21を選択する。具体的には、制御部14は、変数Kが上限値K
maxに到達しているか否かを判定し、変数Kが上限値K
maxに到達していない場合に変数Kに1を加算し、変数Kが上限値K
maxに到達している場合に変数Kを1に設定する。次に、ステップST212へ進む。
【0060】
〈光源の発光パターン〉
図9は、実施形態2において注目領域が存在している場合の光源11の発光パターンの一例を示している。
図9では、光源11aが注目領域である画像領域21に対応し、3つの光源11b,11c,11dが注目領域ではない3つの画像領域21にそれぞれ対応している。
図9に示すように、実施形態2では、注目領域が存在している場合に、注目領域に対応する光源11(
図9では、光源11a)が発光する第1発光動作と、予め定められた発光順序に基づいて注目領域ではない画像領域21に対応する光源11(
図9では、光源11b,11c,11d)のうち1つの光源11が発光する第2発光動作とが交互に行われるように、発光制御が行われる。すなわち、実施形態2では、注目領域が存在している場合に、複数の光源11a〜11dのうち注目領域に対応する光源11の発光頻度が高くなるように、発光制御が行われる。
【0061】
なお、実施形態2において注目領域が存在していない場合の光源11の発光パターンの一例は、
図5に示した発光パターンとなる。
図5に示すように、実施形態2では、注目領域が存在していない場合に、予め定められた発光順序(この例では、光源11a,11b,11c,11dの順)で複数の光源11a〜11dが順次に発光するように、発光制御が行われる。
【0062】
〈実施形態2による効果〉
以上のように、注目領域(判定部15によって検出対象ありと判定された画像領域21)が存在している場合に、複数の光源11a〜11dのうち注目領域に対応する光源11の発光頻度が高くなるように、複数の光源11a〜11dのうち発光させる光源11を切り換える発光制御を行いながら撮像部12に被写界を撮像させることにより、注目領域(検出対象ありと判定された画像領域21)に対して検出対象の有無の判定を重点的に行うことができる。これにより、被写界のうち検出対象があると見込まれる領域を重点的に監視することができるので、被写界の監視(検出対象の有無の判定)を効果的に行うことができる。
【0063】
〔実施形態2の変形例1〕
なお、実施形態2による撮像装置10において、複数の画像領域21が注目対象(すなわち、注目領域)に設定されていてもよい。そして、制御部14は、複数の注目領域(判定部15によって検出対象ありと判定された複数の画像領域21)にそれぞれ対応する複数の光源11が第1発光動作において同時に発光するように発光制御を行うように構成されていてもよい。
【0064】
〈動作〉
次に、
図10を参照して、実施形態2の変形例1による撮像装置10の動作について説明する。実施形態2の変形例1による撮像装置10では、
図7に示した動作に代えて、
図10に示した動作が行われる。なお、この例では、注目領域の判定順序(判定対象となる注目領域を選択する順序)が予め定められている。そして、注目領域の選択順序に基づいて複数の注目領域に番号(選択順を示した番号)が割り当てられている。また、以下の説明において、変数Lは、1以上であり且つ上限値L
max以下の整数であり、処理の対象となる注目領域の番号を示している。上限値L
maxは、2以上であり且つ上限値K
max以下の整数であり、注目領域の個数に相当する。
【0065】
《ステップST301,ST302》
ステップST202において注目領域が存在していると判定した場合、制御部14は、複数の光源11a〜11dのうち全ての注目領域に対応する全ての光源11を同時に発光させ、撮像部12に被写界を撮像させる。具体的には、制御部14は、複数の光源11a〜11dのうち全ての注目領域に対応する全ての光源11が同時に発光している期間中に、時系列に連続するN枚の撮像画像20からなる撮像画像列が取得されるように、撮像部12に被写界の撮像をN回連続して行わせる。
【0066】
《ステップST303》
次に、制御部14は、変数Lを1に設定する。すなわち、制御部14は、予め定められた選択順序(注目領域についての判定順序)において第1番目に選択される注目領域を、今回の処理の対象となる注目領域として選択する。
【0067】
《ステップST304》
次に、判定部15は、ステップST302において取得された撮像画像20から第L番目の注目領域である画像領域21を抽出する。具体的には、判定部15は、ステップST302において取得された撮像画像列を構成するN枚の撮像画像20の各々から第L番目の注目領域である画像領域21を抽出し、それらの抽出されたN個の画像領域21(第L番目の注目領域となる画像領域21)からなる部分画像列を取得する。
【0068】
《ステップST305》
次に、判定部15は、ステップST304において抽出された第L番目の注目領域である画像領域21において検出対象(この例では動き)の有無を判定する。なお、検出対象の有無の判定手法は、ステップST216の判定手法と同様であってもよい。第L番目の注目領域である画像領域21において検出対象があると判定された場合には、ステップST306へ進み、そうでない場合には、ステップST307へ進む。
【0069】
《ステップST306》
次に、検出部16は、ステップST305において検出対象ありと判定された注目領域である画像領域21を含む撮像画像20から対象物100(この例では人間)を検出する。なお、対象物100の検出手法は、ステップST217の検出手法と同様であってもよい。次に、ステップST308へ進む。
【0070】
《ステップST307》
一方、ステップST305において検出対象なしと判定された場合、制御部14は、検出対象なしと判定された注目領域である画像領域21を注目対象(すなわち、注目領域)から除外する。次に、ステップST308へ進む。
【0071】
《ステップST308》
次に、制御部14は、変数Lが上限値L
maxに到達しているか否かを判定する。すなわち、制御部14は、複数の注目領域のうち処理の対象として選択されていない注目領域が残っているか否かを判定する。変数Lが上限値L
maxに到達していない場合には、ステップST309へ進み、変数Lが上限値L
maxに到達している場合には、ステップST219へ進む。
【0072】
《ステップST309》
ステップST308において変数Lが上限値L
maxに到達していないと判定された場合、制御部14は、変数Lに1を加算する。すなわち、予め定められた選択順序(注目領域についての判定順序)において今回の処理の対象となっている注目領域の次に選択される注目領域を、次回の処理の対象となる注目領域として選択する。次に、ステップST304へ進む。
【0073】
〈光源の発光パターン〉
図11は、実施形態2の変形例1において複数の注目領域が存在している場合の光源11の発光パターンの一例を示している。
図11では、2つの光源11a,11cが2つの注目領域である2つの画像領域21にそれぞれ対応し、2つの光源11b,11dが注目領域ではない2つの画像領域21にそれぞれ対応している。
図11に示すように、実施形態2の変形例1では、複数の注目領域が存在している場合に、複数の注目領域にそれぞれ対応する複数の光源11(
図11では、光源11a,11c)が同時に発光する第1発光動作と、予め定められた発光順序に基づいて注目領域ではない画像領域21に対応する光源11(
図11では、光源11b,11d)のうち1つの光源11が発光する第2発光動作とが交互に行われるように、発光制御が行われる。
【0074】
〈実施形態2の変形例1による効果〉
以上のように、複数の注目領域(判定部15によって検出対象ありと判定された複数の画像領域21)にそれぞれ対応する複数の光源11を第1発光動作において同時に発光させることにより、これらの複数の光源11を第1発光動作において異なるタイミングで発光させる場合よりも、第1発光動作に要する時間を短縮することができる。これにより、撮像時間を短縮することができる。
【0075】
〔実施形態2の変形例2〕
または、実施形態2による撮像装置10において、制御部14は、複数の注目領域(判定部15によって検出対象ありと判定された複数の画像領域21)にそれぞれ対応する複数の光源11が第1発光動作において順に発光するように発光制御を行うように構成されていてもよい。
【0076】
〈動作〉
次に、
図12を参照して、実施形態2の変形例2による撮像装置10の動作について説明する。実施形態2の変形例2による撮像装置10では、
図7に示した動作に代えて、
図12に示した動作が行われる。なお、この例では、注目領域の判定順序(判定対象となる注目領域を選択する順序)が予め定められている。そして、注目領域の選択順序に基づいて複数の注目領域に番号(選択順を示した番号)が割り当てられている。また、以下の説明において、変数Lは、1以上であり且つ上限値L
max以下の整数であり、処理の対象となる注目領域の番号を示している。上限値L
maxは、2以上であり且つ上限値K
max以下の整数であり、注目領域の個数に相当する。
【0077】
《ステップST401》
ステップST202において注目領域が存在していると判定した場合、制御部14は、変数Lを1に設定する。すなわち、制御部14は、予め定められた選択順序(注目領域についての判定順序)において第1番目に選択される注目領域を、今回の処理の対象となる注目領域として選択する。
【0078】
《ステップST402,ST403》
次に、制御部14は、複数の光源11a〜11dのうち第L番目の注目領域に対応する光源11を発光させ、撮像部12に被写界を撮像させる。具体的には、制御部14は、複数の光源11a〜11dのうち第L番目の注目領域に対応する光源11が発光している期間中に、時系列に連続するN枚の撮像画像20からなる撮像画像列が取得されるように、撮像部12に被写界の撮像をN回連続して行わせる。
【0079】
《ステップST404》
次に、制御部14は、ステップST403において取得された撮像画像20から第L番目の注目領域である画像領域21を抽出する。具体的には、判定部15は、ステップST403において取得された撮像画像列を構成するN枚の撮像画像20の各々から第L番目の注目領域である画像領域21を抽出し、それらの抽出されたN個の画像領域21(第L番目の注目領域となる画像領域21)からなる部分画像列を取得する。
【0080】
《ステップST405》
次に、判定部15は、ステップST404において抽出された第L番目の注目領域である画像領域21において検出対象(この例では動き)の有無を判定する。なお、検出対象の有無の判定手法は、ステップST216の判定手法と同様であってもよい。第L番目の注目領域である画像領域21において検出対象があると判定された場合には、ステップST406へ進み、そうでない場合には、ステップST407へ進む。
【0081】
《ステップST406》
次に、検出部16は、ステップST405において検出対象ありと判定された注目領域である画像領域21を含む撮像画像20から対象物100(この例では人間)を検出する。なお、対象物の検出手法は、ステップST217の検出手法と同様であってもよい。次に、ステップST408へ進む。
【0082】
《ステップST407》
一方、ステップST405において検出対象なしと判定された場合、制御部14は、検出対象なしと判定された注目領域である画像領域21を注目対象(すなわち、注目領域)から除外する。次に、ステップST408へ進む。
【0083】
《ステップST408》
次に、制御部14は、変数Lが上限値L
maxに到達しているか否かを判定する。すなわち、制御部14は、複数の注目領域のうち処理の対象として選択されていない注目領域が残っているか否かを判定する。変数Kが上限値L
maxに到達していない場合には、ステップST409へ進み、変数Kが上限値L
maxに到達している場合には、ステップST219へ進む。
【0084】
《ステップST409》
ステップST408において変数Lが上限値L
maxに到達していないと判定された場合、制御部14は、変数Lに1を加算する。すなわち、予め定められた選択順序(注目領域についての判定順序)において今回の処理の対象となっている注目領域の次に選択される注目領域を、次回の処理の対象となる注目領域として選択する。次に、ステップST402へ進む。
【0085】
〈光源の発光パターン〉
図13は、実施形態2の変形例2において複数の注目領域が存在している場合の光源11の発光パターンの一例を示している。
図13では、2つの光源11a,11cが注目領域である2つの画像領域21にそれぞれ対応し、2つの光源11b,11dが注目領域ではない2つの画像領域21にそれぞれ対応している。
図13に示すように、実施形態2の変形例2では、複数の注目領域が存在している場合に、複数の注目領域にそれぞれ対応する複数の光源11(
図13では、光源11a,11c)が順次に発光する第1発光動作と、予め定められた発光順序に基づいて注目領域ではない画像領域21に対応する光源11(
図13では、光源11b,11d)のうち1つの光源11が発光する第2発光動作とが交互に行われるように、発光制御が行われる。
【0086】
〈実施形態2の変形例2による効果〉
以上のように、複数の注目領域(判定部15によって検出対象ありと判定された複数の画像領域21)にそれぞれ対応する複数の光源11を第1発光動作において順次に発光させることにより、互いに隣接する2つの画像領域21に対応する2つの光源11から同時に発せられた光が被写界において重複してしまうことを回避することができる。これにより、このような光の重複に起因する被写界の照度の変動を防止することができ、被写界の監視(検出対象の有無の判定)を正確に行うことができる。
【0087】
〔実施形態3〕
実施形態3による撮像装置10は、その動作が実施形態1による撮像装置10の動作と異なっている。実施形態3では、検出部16は、注目領域(判定部15によって検出対象ありと判定された画像領域21)のうち判定部15によって検出対象ありと判定された部位が注目領域の縁部である場合に、注目領域と隣接領域(注目領域の縁部に隣接する画像領域21)とを含む候補領域30から対象物100を検出するように構成されている。なお、実施形態3のその他の構成は、実施形態1と同様となっている。
【0088】
〈動作〉
次に、
図14を参照して、実施形態3による撮像装置10の動作について説明する。実施形態3による撮像装置10では、検出部16は、
図4に示したステップST106の処理(対象物検出処理)に代えて、
図14に示した処理を行うように構成されている。
【0089】
《ステップST501》
ステップST105において第K番目の画像領域21において検出対象(この例では動き)があると判定された場合、検出部16は、注目領域(すなわち、判定部15によって検出対象ありと判定された第K番目の画像領域21)において検出対象ありと判定された部位が注目領域の縁部であるか否かを判定する。検出対象ありと判定された部位が注目領域の縁部である場合には、ステップST502へ進み、そうでない場合には、ステップST504へ進む。
【0090】
《ステップST502》
次に、検出部16は、第K番目の画像領域21である注目領域の縁部(検出対象ありと判定された部位を含む縁部)に隣接する画像領域21である隣接領域が存在しているか否かを判定する。隣接領域が存在している場合には、ステップST503へ進み、そうでない場合には、ステップST504へ進む。
【0091】
《ステップST503》
次に、検出部16は、第K番目の画像領域21である注目領域と注目領域の縁部に隣接する画像領域21である隣接領域とを含む候補領域30に対して対象物検出処理(この例では、人検出処理)を行う。例えば、
図15に示すように、注目領域である画像領域21aの右側の縁部において検出対象(この例では動き)があると判定部15によって判定されると、検出部16は、画像領域21aの右端の縁部に隣接する画像領域21bを隣接領域となる画像領域21に設定し、注目領域である画像領域21aと隣接領域である画像領域21bとを含む候補領域30に対して対象物検出処理を行う。なお、対象物100の検出手法は、ステップST106の検出手法と同様であってもよい。
【0092】
《ステップST504》
一方、ステップST501において検出対象ありと判定された部位が注目領域の縁部ではないと判定された場合、または、ステップST502において注目領域の縁部に隣接する画像領域21である隣接領域が存在していないと判定された場合、検出部16は、注目領域である第K番目の画像領域21に対して対象物検出処理(この例では、人検出処理)を行う。なお、対象物100の検出手法は、ステップST106の検出手法と同様であってもよい。
【0093】
〈実施形態3による効果〉
以上のように、注目領域(判定部15によって検出対象ありと判定された画像領域21)のうち判定部15によって検出対象ありと判定された部位が注目領域の縁部である場合に、注目領域と隣接領域(注目領域の縁部に隣接する画像領域)とを含む候補領域30から対象物100を検出することにより、対象物検出処理において注目領域に隣接する隣接領域を補助的に利用することができる。これにより、注目領域のみを対象物検出処理の対象とする場合よりも、対象物100の検出精度を向上させることができる。
【0094】
〔実施形態4〕
図16は、実施形態4による撮像装置10の構成例を示している。実施形態4では、処理回路13は、
図1に示した制御部14と判定部15と検出部16に加えて、識別部17を備えている。実施形態4のその他の構成は、実施形態1と同様となっている。
【0095】
〈識別部〉
識別部17は、撮像画像20から対象物領域40を抽出し、対象物領域40と予め登録された照合画像とを照合して対象物100を識別するように構成されている。
図17に示すように、対象物領域40は、撮像画像20の一部であり且つ検出部16によって検出された対象物100を含む領域(画像領域)に相当する。この例では、対象物100は、人間の顔であり、照合画像は、人間の顔を含む顔画像であり、識別部17は、対象物領域40に含まれる人間の顔と予め登録された人間の顔とを照合して個人識別を行う。また、識別部17は、識別結果を外部に出力するように構成されている。
【0096】
なお、識別部17は、非特許文献2「Paul Violaand Michael Jones,"Rapid Object Detection using a BoostedCascade of SimpleFeatures,"Proc. of CVPR2001, vol.1, pp. 511-518,2001.」に示された手法(輝度分布の比較に基づく手法)などを用いて対象物領域40を抽出するように構成されていてもよい。また、識別部17は、サポートベクトルマシンや相互部分空間法などを用いて照合処理(対象物領域40と照合画像との照合)を行うように構成されていてもよい。
【0097】
〈実施形態4による効果〉
以上のように、撮像画像20から対象物領域40(撮像画像20の一部であり且つ検出部16によって検出された対象物100を含む領域)を抽出し、対象物領域40と予め登録された照合画像とを照合して対象物100を識別することにより、対象物100の識別を効率よく行うことができる。
【0098】
〔実施形態4の変形例〕
なお、実施形態4による撮像装置10において、制御部14は、識別部17によって抽出される対象物領域40が注目領域(判定部15によって検出対象ありと判定された画像領域21)と隣接領域(注目領域の縁部に隣接する画像領域21)とに跨がっている場合に、複数の光源11a〜11dのうち注目領域および隣接領域に対応する光源11を発光させて撮像部12に被写界を撮像させるように構成されていてもよい。また、識別部17は、注目領域に対応する光源11が発光しているときに撮像部12によって取得された撮像画像20から対象物領域40を抽出して対象物領域40と照合画像(第1照合画像)とを照合し、注目領域および隣接領域に対応する光源11が発光しているときに撮像部12によって取得された撮像画像20から対象物領域40を抽出して対象物領域40と照合画像(第2照合画像)とを照合し、これらの照合結果に基づいて対象物100を識別するように構成されていてもよい。
【0099】
〈動作〉
次に、
図18を参照して、実施形態4の変形例による撮像装置10の動作について説明する。実施形態4の変形例による撮像装置10は、
図4に示した動作(監視動作)と並行して
図18に示した動作を行うように構成されている。
【0100】
《ステップST601》
制御部14は、識別部17によって抽出される対象物領域40が注目領域(判定部15によって検出対象ありと判定された画像領域21)と隣接領域(注目領域の縁部に隣接する画像領域21)とに跨がっているか否かを判定する。対象物領域40が注目領域と隣接領域とに跨がっている場合には、ステップST602へ進み、そうでない場合には、ステップST612へ進む。
【0101】
《ステップST602,ST603,ST604》
次に、制御部14は、
図4に示した動作(監視動作)を中断する。そして、制御部14は、複数の光源11a〜11dのうち注目領域に対応する光源を発光させ、撮像部12に被写界を撮像させる。次に、識別部17は、ステップST603において取得された撮像画像20から対象物領域40を抽出し、対象物領域40と予め登録された第1照合画像とを照合する。なお、第1照合画像は、注目領域に対応する半分が光に照らされているが隣接領域に対応する残りの半分が光に照らされていない状態の対象物100(この例では人間の顔)を示した画像である。
【0102】
例えば、
図19に示すように、注目領域である画像領域21aの縁部において対象物100が検出された場合、制御部14は、画像領域21aに対応する光源11aを発光させて撮像部12に被写界を撮像させる。なお、注目領域である画像領域21aの縁部に対象物100が位置しているので、光源11aを発光させて撮像部12に被写界を撮像させることにより、対象物100のうち画像領域21aに対応する部分が比較的に明るくなっているが画像領域21bに対応する部分が比較的に暗くなっている状態で撮像画像20が取得される。そして、識別部17は、撮像画像20から抽出した対象物領域40と、画像領域21aに対応する半分(
図19では左半部)が光に照らされているが画像領域21bに対応する残りの半分(
図19では右半部)が光に照らされていない状態の人間の顔を示した第1照合画像とを照合する。
【0103】
《ステップST605,ST606,ST607》
次に、制御部14は、複数の光源11a〜11dのうち注目領域および隣接領域に対応する複数の光源を発光させ、撮像部12に被写界を撮像させる。次に、識別部17は、ステップST605において取得された撮像画像20から対象物領域40を抽出し、対象物領域40と予め登録された第2照合画像とを照合する。なお、第2照合画像は、全体的に光に照らされている状態の対象物100(この例では人間の顔)を示した画像である。
【0104】
《ステップST608,ST609,ST610》
次に、制御部14は、複数の光源11a〜11dのうち隣接領域に対応する複数の光源を発光させ、撮像部12に被写界を撮像させる。次に、識別部17は、ステップST605において取得された撮像画像20から対象物領域40を抽出し、対象物領域40と予め登録された第3照合画像とを照合する。なお、第3照合画像は、注目領域に対応する半分(
図19では左半部)が光に照らされていないが隣接領域に対応する残りの半分(
図19では右半部)が光に照らされている状態の対象物100(この例では人間の顔)を示した画像である。
【0105】
例えば、
図19に示すように、注目領域である画像領域21aの縁部において対象物100が検出された場合、制御部14は、隣接領域である画像領域21bに対応する光源11bを発光させて撮像部12に被写界を撮像させる。なお、注目領域である画像領域21aの縁部に対象物100が位置しているので、光源11bを発光させて撮像部12に被写界を撮像させることにより、対象物100のうち画像領域21aに対応する部分が比較的に暗くなっているが画像領域21bに対応する部分が比較的に明るくなっている状態で撮像画像20が取得される。そして、識別部17は、撮像画像20から抽出した対象物領域40と、画像領域21aに対応する半分(
図19では左半部)が光に照らされていないが画像領域21bに対応する残りの半分(
図19では右半分)が光に照らされている状態の人間の顔を示した第3照合画像とを照合する。
【0106】
《ステップST611》
次に、識別部17は、ステップST604における照合結果と、ステップST607における照合結果と、ステップST610における照合結果とに基づいて、対象物100を識別する。また、制御部14は、識別部17による識別処理が完了すると、
図4に示した動作(監視動作)を再開する。
【0107】
《ステップST612》
一方、ステップST601において対象物領域40が注目領域と隣接領域とに跨がっていないと判断された場合、識別部17は、注目領域から対象物領域40を抽出し、対象物領域40と第1照合画像とを照合する。なお、識別部17は、対象物領域40と第1照合画像とを照合する代わりに、対象物領域40と第2照合画像とを照合するように構成されていてもよい。
【0108】
《ステップST613》
次に、識別部17は、ステップST612における照合結果に基づいて、対象物100を識別する。
【0109】
〈実施形態4の変形例による効果〉
以上のように、注目領域に対応する光源11が発光しているときに撮像部12によって取得された撮像画像20から抽出された対象物領域40に関する照合結果(第1照合結果)と、注目領域および隣接領域に対応する光源11が発光しているときに撮像部12によって取得された撮像画像20から抽出された対象物領域40に関する照合結果(第2照合結果)とに基づいて対象物100を識別することにより、第1照合結果のみに基づいて対象物100を識別する場合よりも、対象物100の識別精度を向上させることができる。
【0110】
また、第1および第2照合結果に加えて、隣接領域に対応する光源11が発光しているときに撮像部12によって取得された撮像画像20から抽出された対象物領域40に関する照合結果(第3照合結果)を対象物100を識別に利用することにより、対象物100の識別精度をさらに向上させることができる。
【0111】
〔実施形態1〜4の総括〕
以上の説明において、それぞれの縁部が隣接する画像領域21の縁部と重複しないように複数の画像領域21a〜21dが配置されている場合を例に挙げたが、複数の画像領域21a〜21dは、それぞれの縁部が隣接する画像領域21の縁部と重複するように配置されていてもよい。
【0112】
また、以上の説明では、複数の光源11a〜11dが水平方向に並設されている場合を例に挙げたが、複数の光源11a〜11dの配置は、これに限定されない。例えば、複数の光源11a〜11dは、鉛直方向に並設されていてもよいし、撮像部12の周囲を囲う円形状に併設されていてもよい。
【0113】
また、以上の説明では、制御部14と判定部15と検出部16と識別部17とが1つの処理回路13に含まれている場合を例に挙げたが、制御部14と判定部15と検出部16と識別部17は、2つ以上の処理回路に分散して含まれていてもよい。
【0114】
〔実施形態5〕
従来の撮像装置には、特開2010−093729号公報,特開2010−262224号公報,特開2012−095214号公報に記載されるグローバルシャッターまたはローリングシャッタを用いるものがある。これらの特許文献は、いずれも、ストロボ(光源)を点灯して撮像された画面内の表示ムラを低減することにしか言及していない。
【0115】
従来技術は、画面の全体にわたって明暗のバラツキが生じないようにストロボ光(光源の光)を照射することに主眼を置く。本願発明者らは、従来のストロボ照射(光源の発光)による人物検出は、ストロボ(光源)によって消費される電力が無視できないという問題を見出した。本願発明者らは、ストロボ点灯(光源の点灯)による表示ムラが存在しても、撮像された画面内の一部を利用して人物を検出することによって、ストロボ点灯(光源の点灯)に必要な電力を低減できることを見出した。
【0116】
〈撮像装置の構造〉
図20は、実施形態5による撮像装置10の概略図である。撮像装置10は、光源11(ストロボ)と、撮像部12(撮像素子)と、制御器13aと、検出器13bとを備えている。撮像装置10は、例えば、後述する動き検出によって、撮像された画面内に人物がいるかを判定する装置である。撮像装置10は、例えば、テレビのような家庭電化製品の一部として実現され得る。この場合、撮像装置10は、その前にいるユーザの検出と、ユーザの認識とを行うことによって、パーソナライズしたサービスを提供し得る。なお、撮像装置10は、ユーザの検出のみを行い、ユーザの認識までは行わないように構成されていてもよい。また、撮像装置10は、建物または敷地の監視領域内に部外者が立ち入ることを発見する等、監視カメラとしても使用され得る。
【0117】
〈光源〉
光源11は、瞬間的に被写界(被写体)に光を照射する発光素子である。光源11は、フラッシュとも呼ばれる。ここで、被写界(被写体)には、監視領域内に存在する、検出対象の一例である人物(例えば部外者)と、人物以外の物体(例えば建物の壁)とが含まれる。光源11は、例えば、キセノン管、発光ダイオード等によって実現され得る。光源11は、撮像部12からタイミング信号TEを受け取り、その点灯タイミングを撮像タイミングと同期させる。このように、光源11は、被写界へ向けて発光するように構成されている。
【0118】
〈撮像部〉
撮像部12は、所定の監視領域を撮像する、二次元平面上にマトリクス状に配置された光センサ群を含む素子である。撮像部12は、例えば、電荷結合素子(CCD)または相補型金属酸化膜半導体(CMOS)素子である。撮像部12は、例えば、ローリングシャッタを用いる素子である。撮像部12のフレームレートは、例えば、60i(インターレース)/秒である。撮像部12の前には、被写界(被写体)からの光を受け取るためのレンズが設けられる。
【0119】
このように、撮像部12は、被写界を撮像して撮像画像を取得するように構成されている。また、この例では、撮像部12は、ローリングシャッタ方式により駆動されるように構成されている。具体的には、撮像部12は、複数の光センサがマトリクス状に配列された受光面(図示を省略)を有し、先頭ラインである第1行目のライン(行方向に配列された2以上の光センサにより構成されたライン)から最終ラインである第n行目(nは2以上の整数)のラインへ向けてn本のラインが順次露光されるように構成されている。
【0120】
〈制御器〉
制御器13aは、撮像部12の露光タイミングと、光源11の点灯タイミングとが後で詳述する関係を持つように制御する。制御器13aは、撮像部12から露光タイミングを表す信号を受け取り、適切なタイミングで光源11を点灯するためのトリガ信号aを光源11に出力する。制御器13aは、このような機能を実現する集積回路(IC)(例えば特定用途向け集積回路)として実現され得る。制御器13aは、その代替例として、プロセッサと、プロセッサに結合されたメモリと、メモリに格納されたソフトウェア(プログラム、インストラクション等)とで実現され得る。
【0121】
このように、制御器13aは、光源11および撮像部12などの撮像装置10の各部を制御するように構成されている。また、この例では、制御器13aは、制御部14を備えている。制御部14は、光源11を発光させて撮像部12に被写界(発光させた光源11により照明された被写界)を撮像させるように構成されている。制御部14による動作については、後で詳しく説明する。
【0122】
〈検出器〉
検出器13bは、撮像部12から出力された画像を表す信号Pを受け取り、撮像された画面内に人物(対象物の一例)が存在するかを判定する。また、この例では、検出器13bは、撮像された画面内に、監視領域に立ち入ることを許可されていない部外者が存在するかを判定する。そして、検出器13bは、判定の結果を表す信号Uを出力する。なお、検出器13bは、撮像装置10の外部に設けられてもよい。検出器13bは、このような機能を実現する集積回路(IC)(例えば特定用途向け集積回路)として実現され得る。検出器13bは、その代替例として、プロセッサと、プロセッサに結合されたメモリと、メモリに格納されたソフトウェア(プログラム、インストラクション等)とで実現され得る。
【0123】
このように、検出器13bは、撮像部12によって取得された撮像画像(信号Pに表された画像)を処理するように構成されている。また、この例では、検出器13bは、判定部15と、検出部16と、識別部17とを備えている。
【0124】
判定部15は、撮像部12によって取得された撮像画像(信号Pに表された画像)において、予め定められた検出対象(この例では動き)の有無を判定するように構成されている。検出部16は、判定部15によって検出対象ありと判定された撮像画像(信号Pに表された画像)から予め定められた対象物(この例では人間の顔)を検出するように構成されている。識別部17は、撮像画像(信号Pに表された画像)から対象物領域(検出部16によって検出された対象物を含む画像領域)を抽出し、対象物領域と予め登録された照合画像とを照合して対象物を識別するように構成されている。この例では、対象物は、人間の顔であり、照合画像は、人間の顔を含む顔画像であり、識別部17は、対象物領域に含まれる人間の顔と予め登録された人間の顔とを照合して個人識別(顔認識)を行う。また、識別部17は、識別結果(結果を表す信号U)を外部に出力するように構成されている。なお、判定部15,検出部16,識別部17による動作については、後で詳しく説明する。
【0125】
〈撮像装置の動作〉
図21は、実施形態5における制御器13aによる光源11の制御を示す。チャート2101は、撮像部12の露光と、光源11の点灯とのタイミングを示す。チャート2101において、縦軸は、撮像部12の画面(光センサがマトリクス状に配列された受光面)内のそれぞれのラインL1〜Ln(合計n本)を示し、横軸は、時間tを示す。画面の最初のラインL1は、時刻t0〜t2の間に露光される。画面の最後のラインLnは、時刻t1〜t5の間に露光される。ここで、時刻t1〜t2の間(すなわち全ライン露光期間t
AE)では、撮像部12は、画面中の全てのラインを露光する。光源11は、時刻t3〜t4の間(すなわち点灯期間t
L)で点灯する。換言すれば、光源11は、時刻t0〜t3の間(すなわち消灯期間t
A)および時刻t4〜t5の間(すなわち消灯期間t
B)においては消灯している。
【0126】
略
図2102は、撮像部12の画面内の光源11の照射光の強度分布を示す。略
図2102において、縦軸は、チャート2101のラインL1〜Lnに対応し、横軸は画面(撮像画像20)の水平位置を示す。ラインL1〜Laは、露光中に光源11が点灯していないので照射光の強度はゼロである。ラインLa〜Lbは、露光中に光源11が点灯している期間が下のラインに行くほど増えるので、照射光の強度がゼロから最大に増加する。ラインLb〜Lnは、露光中に光源11が点灯している期間が点灯期間t
Lの全期間(最大)なので、照射光の強度も最大で一定である。
【0127】
制御器13aは、ローリングシャッタの全てのラインが同時に露光されている全ライン露光期間t
AEを除く期間内において、光源11が点灯している点灯期間t
Lと、光源11が消灯している消灯期間t
A,t
Bとが存在するように、光源11を点灯する。これにより、例えば、
図21の略
図2102に示すように、画面下部(撮像画像20の下部)における光源11の照射光の強度を最大にし、画面上部(撮像画像20の上部)における光源11の照射光の強度をゼロにすることができる。その結果、同じ電力量で光源11が駆動されるとすると、画面全体を均一に照射する場合と比較して、画面の一部により強い照射光を当てることができる。換言すれば、均一な照射よりも効率的に、すなわち少ない電力で、画面の一部に光を照射でき、光源11によって消費される電力を低減し得る。
【0128】
〈動き探索モードおよび顔認識モード〉
実施形態5において、撮像装置10は、画面の一部にだけ光を照射する(すなわち、全ライン露光期間を除く期間内において点灯期間と消灯期間とが存在するように光源11を点灯する)ことによって、光源11による消費電力を節約しつつ、監視領域内の人物の検出を行う。この動作モードを動き探索モードと呼ぶ。動き探索モードにおいて、検出器13bは、光源11が点灯している点灯期間t
Lに対応するフレーム内の領域(撮像画像20の一部であり且つ光源11の点灯期間t
Lに対応する画像領域)について、例えばフレーム間差分を行うことにより動き検出(検出対象の有無の判定)を行う。
【0129】
動き探索モードにおいて、もし動きが検出されたなら、撮像装置10は、顔認識モードに移行する。顔認識モードでは、制御器13aは、動きが検出された領域に対応する期間に、より強い光が照射されるよう、光源11を制御し、かつ、検出器13bは、動きが検出された領域について顔認識(対象物の識別)を行う。
【0130】
動き探索モードでは比較的、弱い照射光で人物の検出を主として行い、いったん人物が検出されれば、顔認識モードで、より強い照射光で顔認識を行い、部外者か許可された者かを判定する。このように2つのモードを切り替えることにより、電力を節約しつつ人物検出および顔認識の2つの動作を行うことができる。
【0131】
図22は、実施形態5における制御器13aによる光源11の制御(動き探索モードにおける制御)を示す。チャート2201は、撮像部12の露光と、光源11の点灯とのタイミングを示す。チャート2202は、フレーム期間t
Fおよび露光期間t
Eの開始時刻に対応する同期信号VSyncと、光源11の点灯期間t
Lに対応するストロボ信号Strとを示す。チャート2201,2202は、連続する3つのフレームF1〜F3だけを示すが、実際の撮像装置10の動作時には動き探索モードが続く限り、連続的にフレーム(撮像画像)が繰り返される。
【0132】
図22に示されるように、それぞれのフレームにおいて、露光期間t
Eに対する光源11の点灯期間t
Lのタイミングは、同じである。これにより、撮像された画面内で同じ部分(この場合は画面の上端部および下端部)だけが光源11の点灯によって光を照射される。
【0133】
図23は、実施形態5における制御器13aによる光源11の制御(動き探索モードにおける制御)の他の例を示す。チャート2301は、撮像部12の露光と、光源11の点灯とのタイミングを示す。フレームF1〜F3において、露光期間t
Eに対する光源11の点灯期間t
Lのタイミングは、同じである。
【0134】
略
図2302は、撮像部12の画面内の光源11の照射光の強度分布を示す。略
図2302において、縦軸は、チャート2301のラインL1〜Lnに対応し、横軸は、画面の水平位置を示す。チャート2301に示すように、光源11を点灯すると、画面内には、光源11の光の照射領域301,302と、非照射領域401とが生じる。したがって、動き探索モードにおいては、照射領域301,302において動き検出を行い、人物の存在を検出する。
【0135】
図24は、実施形態5における制御器13aによる光源11の制御(動き探索モードにおける制御)の他の例を示す。チャート2401は、撮像部12の露光と、光源11の点灯とのタイミングを示す。フレームF1〜F3において、露光期間t
Eに対する光源11の点灯期間t
Lのタイミングは、同じである。
【0136】
略
図2402は、撮像部12の画面内の光源11の照射光の強度分布を示す。略
図2402において、縦軸は、チャート2401のラインL1〜Lnに対応し、横軸は、画面の水平位置を示す。チャート2401に示すように、光源11を点灯すると、画面内には、光源11の光の照射領域301と、非照射領域401,402とが生じる。したがって、動き探索モードにおいては、照射領域301において動き検出を行い、人物の存在を検出する。
【0137】
図25は、動き探索モードにおけるフレーム間差分の例を示す。検出器13bは、光源11が点灯している点灯期間t
Lに対応するフレームF1,F2内の領域(撮像画像20の一部であり且つ光源11の点灯期間t
Lに対応する画像領域)について、フレーム間差分を行うことにより動き検出を行う。フレームF1,F2は、連続する2つのフレーム(撮像画像20)である。
図25に示すように、光源11を点灯することによって、フレームF1には、照射領域301,302と、非照射領域401とが生じる。同様に、フレームF2にも、照射領域301,302と、非照射領域401とが生じる。
【0138】
検出器13bは、フレームF1の照射領域301とフレームF2の照射領域301との差分に基づいて、動き検出を行う。ここでは、時間の経過に従って人物(対象物100の一例)は、画面の左端から画面中央へ向けて移動している。したがって、フレームF1の照射領域301とフレームF2の照射領域301との差分に基づけば、動きがあると判定される。同様に、検出器13bは、フレームF1の照射領域302とフレームF2の照射領域302との差分に基づいて、動き検出を行う。フレームF1の照射領域302とフレームF2の照射領域302との差分に基づけば、動きがあると判定される。
【0139】
図26は、動き探索モードから顔認識モードへの遷移を示す。フレームF1までの期間において、照射領域301,302に対して動き探索が行われている。フレームF1において動きが検出されると、フレームF2からは顔認識モードに遷移する。顔認識モードにおいては、フレームF2内で人物の顔(対象物100の一例)が存在する可能性が高い領域に対して光源11の光を照射する。これは、光源11を例えば
図20の点灯タイミングで制御することによって可能である。顔認識モードにおいては、照射領域302における光源11の光の強度が動き探索モードのそれよりもより強くなるようにしてもよい。それにより、動き探索モードの光源11による電力消費を低減させつつ、顔認識モードではより強い光源11の光の照射を利用できる。顔認識モードでは、人物の顔部(対象物領域40に含まれる人物の顔)が、登録された人物の顔と一致するかに基づいて、部外者か許可された者かを判定する。
【0140】
図27は、実施形態5における制御器13aによる光源11の制御(顔認識モードにおける制御)を示す。チャート2701は、撮像部12の露光と、光源11の点灯とのタイミングを示す。チャート2702は、フレーム期間t
Fおよび露光期間t
Eの開始時刻に対応する同期信号VSyncと、光源11の点灯期間t
Lに対応するストロボ信号Strとを示す。チャート2701,2702は、連続する3つのフレームF1〜F3だけを示すが、実際の撮像装置10の動作時には顔認識モードが続く限り、連続的にフレーム(撮像画像)が繰り返される。
【0141】
図27に示されるように、それぞれのフレームにおいて、露光期間t
Eに対する光源11の点灯期間t
Lのタイミングは、同じである。これにより、撮像された画面内で同じ部分(この場合は画面の上部)だけが光源11の点灯によって光を照射される。
【0142】
図28は、実施形態5における制御器13aによる光源11の制御(顔認識モードにおける制御)の他の例を示す。チャート2801は、撮像部12の露光と、光源11の点灯とのタイミングを示す。フレームF1〜F3において、露光期間t
Eに対する光源11の点灯期間t
Lのタイミングは、同じである。
【0143】
略
図2802は、撮像部12の画面内の光源11の照射光の強度分布を示す。略
図2802において、縦軸は、チャート2801のラインL1〜Lnに対応し、横軸は、画面の水平位置を示す。チャート2801に示すように、光源11を点灯すると、画面内には、光源11の光の照射領域301,302と、非照射領域401とが生じる。この例では、照射領域301において人物の顔部(対象物100の一例)が存在する可能性が高い。したがって、照射領域301において検出された顔部(対象物領域40に含まれる人物の顔)について、登録された人物の顔と一致するかを判定し、それによって部外者か許可された者かを判定する。
【0144】
図29は、実施形態5における制御器13aによる光源11の制御(顔認識モードにおける制御)の他の例を示す。チャート2901は、撮像部12の露光と、光源11の点灯とのタイミングを示す。フレームF1〜F3において、露光期間t
Eに対する光源11の点灯期間t
Lのタイミングは、同じである。
【0145】
略
図2902は、撮像部12の画面内の光源11の照射光の強度分布を示す。略
図2902において、縦軸は、チャート2901のラインL1〜Lnに対応し、横軸は、画面の水平位置を示す。チャート2901に示すように光源11を点灯すると、画面内には、光源11の光の照射領域301,302と、非照射領域401とが生じる。この例では、照射領域302において人物の顔部(対象物100の一例)が存在する可能性が高い。したがって、照射領域301において検出された顔部(対象物領域40に含まれる人物の顔)について、登録された人物の顔と一致するかを判定し、それによって部外者か許可された者かを判定する。
【0146】
なお、実施形態5において、露光期間(例えば
図3の露光期間t
E)が光源11の点灯期間(例えば
図3の点灯期間t
L)の整数倍になるように光源11を点灯すれば、照射領域の照射光の強度ムラ(縞模様として画面上で見られる)をなくすことができる。
【0147】
以上のように、実施形態5による撮像装置10では、制御部14は、撮像部12の全てのラインが同時に露光されている期間(全ライン露光期間t
AE)を除く期間において光源11が点灯している期間(点灯期間t
L)と光源11が消灯している期間(消灯期間t
A,T
B)とが存在するように光源11を発光させて、撮像部12に被写界を撮像させる。
【0148】
また、実施形態5による撮像装置10では、判定部15は、撮像部12によって取得された撮像画像20のうち光源11が点灯している期間(点灯期間t
L)に対応する画像領域において、フレーム間差分を行うことにより、検出対象(この例では動き)の有無を判定する。
【0149】
なお、光源11が点灯している期間(点灯期間t
L)に対応する画像領域(照射領域301など)は、撮像部12の全ライン(n本のライン)のうち光源11が点灯しているときに露光されているラインにおいて撮像された被写界の一部の領域を含んでいる。すなわち、点灯期間t
Lに対応する画像領域に含まれる被写界の一部の領域は、点灯期間t
Lにおいて点灯している光源11によって照らされている。
【0150】
また、実施形態5による撮像装置10では、制御部14は、判定部15によって検出対象あり(この例では動きあり)と判定された場合に、検出対象ありと判定された画像領域に対応する期間(点灯期間T
L)において、より強い光が照射されるように、光源11を制御する。具体的には、制御部14は、判定部15によって検出対象ありと判定された画像領域に対応する期間(点灯期間T
L)における光源11の発光量が判定部15によって検出対象ありと判定されていない画像領域に対応する期間(点灯期間T
L)における光源11の発光量よりも強くなるように、光源11を制御する。ここで、発光量は、所定周期(例えば、1枚の撮像画像を取得するために必要となるフレーム周期)において光源11から発せられる光の総量のことであり、光源11の発光強度を時間で積算して得られる量に相当する。
【0151】
また、実施形態5による撮像装置10では、識別部17は、判定部15によって検出対象あり(この例では動きあり)と判定された場合に、検出対象ありと判定された画像領域において対象物の識別(この例では顔認識)を行う。具体的には、検出部16は、判定部15によって検出対象ありと判定された撮像画像から予め定められた対象物(この例では人間の顔)を検出し、識別部17は、識別部17は、判定部15によって検出対象ありと判定された撮像画像から対象物領域(検出部16によって検出された対象物を含む画像領域)を抽出し、対象物領域と予め登録された照合画像(この例では人間の顔を含む画像)とを照合して対象物を識別する。
【0152】
〔実施形態5の総括〕
本開示による実施形態で用いられるいかなる機能も、ハードウェア、ソフトウェア、またはそれらの組み合わせを用いて実現され得る。そのような機能は、単一のプロセッサによって実現されてもよく、または複数のプロセッサによって実現されてもよい。
【0153】
例えば
図21および
図22に示される撮像部12の露光に対する光源11の点灯タイミングは、システム大規模集積回路(LSI)によって実現される。代替として、このような点灯タイミングは、プロセッサと、プロセッサに結合されたメモリと、メモリに格納された、さまざまな機能を実現するインストラクションとによって実現される。
【0154】
〔実施形態6〕
従来の撮像装置には、ローリングシャッタ方式のカメラと点滅光源を用いたものがある(例えば、特開2010−093729号公報,特開2010−262224号公報,特開2012−95214号公報を参照)。
【0155】
しかし、上記の特許文献のいずれも、点滅光源を用いて撮像する際に生じる画面内の横縞状の明暗差を解消するための方式を述べるに過ぎない。すなわち、ストロボ(光源)が発光していない時に撮像した画像の明るさに基づいて、ストロボ発光量(光源の発光量)を求めることについては教示も示唆もしない。
【0156】
上記課題を鑑みて、本願発明者らは、ストロボ(光源)が発光していない時に撮像した画像の明るさに基づいて、ストロボ発光量(光源の発光量)を求めることによって、適正露出を実現する装置および方法を考案した。
【0157】
なお、以下の説明において、露出とは、被写界(被写体)の明るさに応じて、撮像部(撮像素子)に当たる光量を調節し露光することを意味する。撮像部によってキャプチャされた被写界(被写体)の明るさが適切である露出のことを「適正露出」という。露出が不足しているために、キャプチャされた被写界(被写体)の明るさが暗すぎる場合を「露出アンダー」という。露出が過度であるために、キャプチャされた被写界(被写体)の明るさが明るすぎる場合を「露出オーバー」という。
【0158】
〈撮像装置の構造〉
図30は、実施形態6による撮像装置10の概略図である。撮像装置10は、光源11(ストロボ)と、撮像部12(撮像素子)と、制御器13aと、検出器13bとを備えている。撮像装置10は、例えばテレビのような家電製品に含まれ、例えば動き検出によって、撮像された画面内にユーザがいるかを判定する。撮像装置10を含む家電製品は、その近傍にユーザがいるかに応じて、その動作の少なくとも一部を変化させることができる。それにより家電製品は、例えばよりユーザフレンドリーな動作を実現できる。
【0159】
〈光源〉
光源11は、瞬間的に被写界(被写体)に光を照射する発光素子である。光源11は、フラッシュとも呼ばれる。ここで、被写界(被写体)には、監視領域内に存在する、検出対象の一例である人物(例えば家電製品のユーザ)と、人物以外の物体(例えばユーザに対しての前景または背景)とが含まれる。
【0160】
光源11は、任意の適切な点滅光源であればよく、例えば、発光ダイオード(LED)である。代替として、光源11は、レーザーダイオードである。光源11は、例えば赤外光を照射するが、可視光を照射してもよい。すなわち、光源11は、赤外光を照射するように構成されていてもよいし、可視光を照射するように構成されていてもよい。光源11は、撮像部12から露光タイミングを表すタイミング信号TEを受け取り、その発光タイミングを撮像タイミングと同期させる。
【0161】
このように、光源11は、被写界へ向けて発光するように構成されている。また、光源11は、その発光量を変更可能に構成されている。ここで、発光量は、所定周期(例えばフレーム周期)内において光源11から発せられる光の総量のことであり、光源11の発光強度を時間で積算して得られる量に相当する。この例では、光源11は、その発光デューティ比を変更可能に構成され、光源11の発光デューティ比を変更することにより光源11の発光量を変更することができる。なお、発光デューティ比は、所定周期内における点灯期間(光源11が点灯している期間)の割合のことである。
【0162】
〈撮像部〉
撮像部12は、二次元平面上にマトリクス状に配置された光センサ群を含む素子である。撮像部12は、例えば、ローリングシャッタを用いる素子である。撮像部12は、例えば、相補型金属酸化膜半導体(CMOS)素子であるが、これには限定されず、電荷結合素子(CCD)であってもよい。撮像部12は、撮像装置10を含む家電製品の近傍の、所定の監視領域を撮像する。撮像部12のフレームレートは、例えば、30/秒である。撮像部12の前には、被写体からの光を受け取るためのレンズが設けられる。このように、撮像部12は、被写界を撮像して撮像画像を取得するように構成されている。
【0163】
〈制御器〉
制御器13aは、撮像部12の露光タイミングと、光源11の発光タイミングとが後で詳述する関係を持つように制御する。制御器13aは、撮像部12から信号Pを受け取り、デューティ比を表す信号DRを光源11に出力する。制御器13aは、このような機能を実現する集積回路(IC)(例えば特定用途向け集積回路)として実現され得る。制御器13aは、その代替例として、プロセッサと、プロセッサに結合されたメモリと、メモリに格納されたソフトウェア(プログラム、インストラクション等)とで実現され得る。
【0164】
このように、制御器13aは、光源11および撮像部12などの撮像装置10の各部を制御するように構成されている。また、この例では、制御器13aは、制御部14を備えている。制御部14は、光源11を発光させて撮像部12に被写界(発光させた光源11により照明された被写界)を撮像させるように構成されている。制御部14による動作については、後で詳しく説明する。
【0165】
〈検出器〉
検出器13bは、撮像部12から出力された画像を表す信号Pを受け取り、撮像された画面内にユーザ(対象物の一例)が存在するかを判定する。検出器13bは、判定の結果を表す検出信号Uを出力する。なお、検出器13bは、撮像装置10の外部に設けられてもよい。撮像装置10が検出器13bを含む場合は、撮像装置10はユーザ検出装置と呼ばれ得る。検出器13bは、このような機能を実現する集積回路(IC)(例えば特定用途向け集積回路)として実現され得る。検出器13bは、その代替例として、プロセッサと、プロセッサに結合されたメモリと、メモリに格納されたソフトウェア(プログラム、インストラクション等)とで実現され得る。
【0166】
このように、検出器13bは、撮像部12によって取得された撮像画像(信号Pに表された画像)を処理するように構成されている。また、この例では、検出器13bは、判定部15と、検出部16と、識別部17とを備えている。
【0167】
判定部15は、撮像部12によって取得された撮像画像(信号Pに表された画像)において、予め定められた検出対象(この例では動き)の有無を判定するように構成されている。検出部16は、判定部15によって検出対象ありと判定された撮像画像(信号Pに表された画像)から予め定められた対象物(この例では人間の顔)を検出するように構成されている。識別部17は、撮像画像(信号Pに表された画像)から対象物領域(検出部16によって検出された対象物を含む画像領域)を抽出し、対象物領域と予め登録された照合画像とを照合して対象物を識別するように構成されている。この例では、対象物は、人間の顔であり、照合画像は、人間の顔を含む顔画像であり、識別部17は、対象物領域に含まれる人間の顔と予め登録された人間の顔とを照合して個人識別(顔認識)を行う。また、識別部17は、識別結果(結果を表す信号U)を外部に出力するように構成されている。
【0168】
〈撮像装置の概要〉
光源11が非発光の状態で、撮像部12は撮像し、画像P(撮像画像)を制御器13aに入力する。制御器13aは、画像P内の画素の平均輝度APLを算出し、平均輝度APLに基づいてデューティ比DRを求め、デューティ比DRを光源11に出力する。撮像部12は、露光タイミングを表すタイミング信号TEを光源11に出力する。
【0169】
光源11は、点灯状態と消灯状態とを周期的に繰り返す。制御器13aは、光源11の発光量を、デューティ比DRに基づいてパルス幅変調(PWM)によって制御する。ここで、デューティ比DRは、点灯状態および消灯状態の周期(すなわち、PWM周期TP)に対する点灯期間の割合である。換言すれば、光源11の発光量(PWM周期TP内において光源11から発せられる光の総量)は、制御器13aによって出力されるデューティ比DRによって制御される。このように、制御器13a(制御部14)は、パルス幅変調によって光源11の発光量を変化させる。
【0170】
光源11は、PWM周期TPの整数倍が露光期間t
Eと等しくなるようにPWM周期TPを設定し、入力されたデューティ比DRに基づいて、PWM制御により発光する。
【0171】
撮像部12は、光源11が発光している期間に画像の取得を行い、画像P(撮像画像)を出力する。画像Pは後段に配置される検出器13bに入力される。検出器13bは、画像Pの連続するフレーム間の差分に基づいて人物検出を行う。例えば、検出器13bは、画像Pの人の形状や顔の形状を検出して人検知を行ってもよい。人検知に加えて、個人認識等を行ってもよい。検出器13bは、検出信号Uを出力する。検出信号Uを受け取る家電製品(例えばテレビ)は、検出信号Uに基づいてその動作の少なくとも一部を変化させることができる。よって、そのような家電製品は、家電製品の近傍にユーザがいるかに依存して、動作を変化させることができる。例えば、ユーザが近くにいない場合には、家電製品は、自動的に電源をオフにする等の動作を行うことができる。
【0172】
実施形態6では、後で詳述されるように、撮影領域の明るさに適応して光源11の発光量を制御できる。その結果、撮像装置10は、適切な明るさの画像P(撮像画像20)を取得することができる。
【0173】
〈撮像装置の動作〉
図31は、実施形態6による撮像装置10の動作を示す図である。
図31の縦軸は、上から順に、フレーム番号、光源11における発光パルス、撮像部12における露光期間を示し、
図31の横軸は時間tを示す。撮像部12は、典型的にはCMOS撮像素子のような、ローリングシャッタを用いた素子である。
図31の画像P1〜P5で参照される平行四辺形は、それぞれフレーム1〜5における露光期間に対応する。撮像部12がローリングシャッタであることに起因して、先頭ラインから最終ラインに至る各ラインの露光期間の開始時刻は、先頭ラインの露光期間の開始時刻に対して、徐々に遅れている。その結果、画像P1〜P5の露光期間は、
図31においては平行四辺形として表される。当業者にはわかるように、撮像部12によって得られる画像は、典型的には長方形(正方形を含む)である。撮像部12は、ローリングシャッタを用いたものには限定されず、グローバルシャッタを用いたものであってもよい。すなわち、撮像部12は、ローリングシャッタ方式により駆動されるように構成されていてもよいし、グローバルシャッタ方式により駆動されるように構成されていてもよい。
【0174】
フレーム1(すなわち時刻t1〜t2の期間)では、光源11を発光させることなく、撮像部12は画像を取得する。換言すれば、照明なしの画像(撮像画像20)を取得することによって、いわゆる環境光の明るさを測定できる。次にフレーム2(すなわち時刻t3〜t4の期間)以降では、光源11を発光させて撮像部12は画像を取得する。これにより照明ありの画像(撮像画像20)を取得できる。一例として、時刻t1〜t3の期間の長さは、33msであり、時刻t1〜t2の期間の長さは、10msである。
【0175】
図31の例では、最初のフレーム1で照明なしの画像を取得して、光源11のデューティ比DRを算出し、そのデューティ比DRをフレーム2〜5で利用する。なお、これには限定されず、定期的または不定期的に照明なしの画像を取得して、光源11のデューティ比DRを更新してもよい。これによって、環境の明るさの変化に応じて適切な明るさの照明をすることができるため、適切な明るさの画像を取得できる。
【0176】
図32は、実施形態6における光源11の発光動作を示す図であり、
図31のフレーム2に対応する部分(すなわち時刻t3〜t4の期間)を拡大して示す。画像P2の先頭ラインの露光期間t
Eは、時刻t3〜t32の期間である。画像P2の最終ラインの露光期間t
Eは、時刻t31〜t32の期間である。
【0177】
撮像部12のライン露光期間(露光期間t
E)が光源11のPWM周期TPの4倍となるよう、PWM周期TPが設定される。この設定によれば、先頭ラインから最終ラインのいずれのラインも、PWM周期TPの4倍の期間、露光される。そのため、フレーム2の全てのラインで明るさを均一にできる。
図32は、露光期間t
EがPWM周期TPの4倍である例を示すが、これには限定されず、露光期間t
EがPWM周期TPのN倍(Nは1以上の整数)であればよい。これにより横縞状の輝度むらの発生を防止でき、その結果、均一な撮影画像を取得可能である。なお全ラインで明るさを均一にするためには、
図32のフレーム2の開始時刻と、露光期間t
Eの開始時刻とが一致しなくてもよい。すなわち、
図32では光源11の発光期間と、撮像部12のライン露光とが同期しているが、これには限定されず、光源11の発光期間と、撮像部12のライン露光とが同期していなくてもよい。
【0178】
図33は、
図31を参照して説明した照明なしの画像および照明ありの画像の例を示す図である。画像P10(撮像画像20)は、照明なしの画像の例であり、明るい環境での画像を示す。例えば、昼間の外光が入る部屋の中を撮影した場合を示す。画像P20(撮像画像20)も、照明なしの画像を示す例であり、暗い環境での画像を示す。例えば、室内照明をつけていない夜間の部屋の中を撮影した場合を示す。画像P30(撮像画像20)は、照明ありの画像を示す例であり、最終的に取得したい明るさの画像を示す。
【0179】
これらの例では、最終的に取得したい画像P30に比較すると、画像P10は少し明るさが不足しており、画像P20は大きく明るさが不足している。
【0180】
〈光源の発光量の制御〉
図34は、実施形態6における制御器13aの動作例を説明する図である。グラフの横軸は、照明なし画像の平均輝度APLを示し、縦軸は、光源11のPWM制御のデューティ比DRを示す。
図34のグラフは平均輝度APLが小さいほどデューティ比を大きく、平均輝度APLが大きいほどデューティ比を小さく制御する。つまり、暗い環境では照明を明るく、明るい環境では照明を暗くするように制御する。換言すれば、実施形態6では、光源が発光していない時に撮像した画像の明るさに基づいて、光源11の発光量(この例では、デューティ比)を求め、その発光量で撮像する。その結果、実施形態6によれば適正露出を実現でき、検出器13bによる人物の検出の精度がより高くなり得る。
【0181】
例えば、
図33に示した画像P10(明るい環境の画像)の平均輝度APLを0.6とすると、そのときのデューティ比DRは0.4となる。一方、
図33に示した画像P20(暗い環境の画像)の平均輝度APLを0.2とすると、そのときのデューティ比DRは0.8となる。このように制御器13aは、照明なし画像Pの平均輝度APLに基づいてデューティ比DRを出力する。
図34の平均輝度APLとデューティ比DRとの関係は、直線としてプロットされる。
【0182】
図35および
図36は、実施形態6における光源11の動作を説明する図である。光源11は、制御器13aから入力されたデューティ比DRに基づいて、PWM制御によって発光する。
【0183】
図35は、
図33に示した画像P10(明るい環境での照明なし画像)に基づいて算出したデューティ比DR=0.4に基づいて、光源11が発光する様子を示す。PWM周期TPに対して、点灯期間は0.4TPであり、消灯期間は0.6TPである。
【0184】
図36は、
図33に示した画像P20(暗い環境での照明なし画像)に基づいて算出したデューティ比DR=0.8に基づいて、光源11が発光する様子を示す。PWM周期TPに対して、点灯期間は0.8TPであり、消灯期間は0.2TPである。
【0185】
図35および
図36に示されるように、暗い環境では照明を明るく、明るい環境では照明を暗くするように制御する。このようにして、
図33に示した画像P30(最終的に取得したい所望の明るさの画像)を取得することができる。
【0186】
図37は、実施形態6における制御器13aの動作の他の例を説明する図である。
図34では、直線的な変換特性の例を示したが、照明と撮像部の感度の特性に応じて、
図37のグラフ3701,3702,3703のような非線形な変換特性を用いてもよい。
【0187】
以上のように、実施形態6による撮像装置10では、制御部14は、光源11の非発光時に撮像部12によって取得された撮像画像20の明るさ(この例では、撮像画像20内の全画素の明るさの平均値)に基づいて、光源11の発光量を設定する。具体的には、制御部14は、光源11の非発光時に撮像部12によって取得された撮像画像20の明るさが明るくなるに連れて光源11の発光量が少なくなるように、光源11が発光していないときに撮像部12によって取得された撮像画像20の明るさに基づいて光源11の発光量を設定する。
【0188】
〔実施形態6の総括〕
本開示による実施形態で用いられるいかなる機能も、ハードウェア、ソフトウェア、またはそれらの組み合わせを用いて実現され得る。そのような機能は、単一のプロセッサによって実現されてもよく、または複数のプロセッサによって実現されてもよい。例えば
図30および
図31に示される撮像装置10の機能は、大規模集積回路(LSI)によって実現される。代替として、撮像装置10の機能は、プロセッサと、プロセッサに結合されたメモリと、メモリに格納された、さまざまな機能を実現するインストラクションとによって実現される。
【0189】
〔実施形態7,8の説明〕
従来、被写界を撮像して被写界を監視する撮像装置が知られている。例えば、特開2007−318673号公報には、インターホン装置等に付加するセンサ付きのセンサカメラが開示されている。このセンサカメラは、所定の領域を撮像する撮像手段と、撮像手段の撮像画像から移動物体を検知する画像処理手段と、撮像画像信号を出力する手段と、周辺の明るさを判断する明るさ判断手段と、明るさ判断手段が判断する明るさが一定以下の場合に照明手段を点灯させるとともに照明手段の光量を制御する明るさ制御手段とを備えている。
【0190】
しかしながら、上記のような撮像装置では、対象までの距離が短い場合に光源の発光量が多すぎる(例えば発光強度が強すぎる)と、撮像により取得される撮像画像の輝度値が飽和して検出対象の有無の判定を正確に行うことができなくなってしまう。また、対象までの距離が長い場合に光源の発光量が少なすぎる(例えば発光強度が弱すぎる)と、撮像により取得される撮像画像の輝度値が低すぎて検出対象の有無の判定を正確に行うことができなくなってしまう。このように、検出対象の有無を判定に適した発光強度で被写界を撮像することが困難である。なお、光源の発光量は、所定周期内において光源から発せられる光の総量のことであり、光源の発光強度を時間で積算して得られる量に相当する。
【0191】
そこで、この開示は、検出対象の有無の判定に適した発光量(例えば発光強度)で被写界を撮像することが可能な撮像装置を提供することを目的とする。
【0192】
〔実施形態7〕
図38は、実施形態7による撮像装置10の構成例を示している。撮像装置10は、被写界を撮像して被写界を監視するように構成され、例えば、室内に設置される電化製品(具体例としては、フラットパネルディスプレイ)に設けられる。この例では、撮像装置10は、光源11と、撮像部12と、処理回路13とを備えている。
【0193】
〈光源〉
光源11は、被写界を照らすように構成され、その発光強度を複数の発光強度に切り換え可能に構成されている。この例では、光源11は、その発光強度を互いに異なる2つの発光強度(すなわち「強」と「弱」)に切り換え可能に構成されている。例えば、光源11は、発光ダイオード(LED)によって構成されていてもよいし、レーザーダイオードによって構成されていてもよい。なお、光源11から発せられる光は、赤外光であっても良いし、可視光であってもよい。
【0194】
なお、光源11の発光強度を複数の発光強度に切り換えることにより、光源11の発光量を複数の発光量に切り換えることができる。ここで、光源11の発光量は、所定周期(例えば1枚の撮像画像を取得するために必要となるフレーム周期)内において光源11から発せられる光の総量のことであり、光源11の発光強度を時間で積算して得られる量に相当する。すなわち、光源11は、その発光量を切り換え可能に構成されている。
【0195】
また、光源11の互いに異なる2つの発光強度(すなわち「強」と「弱」)は、光源11の互いに異なる2つの発光量(すなわち「多」と「少」)にそれぞれ対応している。すなわち、この例では、光源11は、その発光量を互いに異なる2つの発光量(すなわち「多」と「少」)に切り換え可能に構成されている。
【0196】
以下では、光源11が発光強度を複数の発光強度に切り換え可能に構成されている場合(すなわち、光源11の発光強度を切り換えることによって光源11の発光量を切り換える場合)を例に挙げて説明する。
【0197】
〈撮像部〉
撮像部12は、被写界を撮像して撮像画像を取得するように構成されている。例えば、撮像部12は、相補型金属酸化膜半導体(CMOS)によって構成されていてもよいし、電荷結合素子(CCD)によって構成されていてもよい。
【0198】
〈処理回路〉
処理回路13は、光源11および撮像部12などの撮像装置10の各部を制御するように構成されている。例えば、処理回路13は、CPUやメモリなどによって構成されている。また、この例では、制御部14と、判定部15と、設定部18とを含んでいる。
【0199】
《制御部》
制御部14は、光源11について設定すべき発光強度(発光量)が決定されていない場合に第1動作を行い、光源11について設定すべき発光強度が決定されている場合に第2動作を行うように構成されている。具体的には、制御部14は、複数の発光強度のうち設定すべき発光強度として設定部18(記憶領域)に登録された発光強度があるか否かを判定し、設定すべき発光強度として設定部18に登録された発光強度がない場合に第1動作を行い、設定すべき発光強度として設定部18に登録された発光強度がある場合に第2動作を行うように構成されていてもよい。
【0200】
第1動作では、制御部14は、光源11の発光強度を複数の発光強度に順次切り換えながら、その切り換えられた発光強度で発光させた光源11により照らされた被写界を撮像部12に撮像させる。すなわち、第1動作では、制御部14は、光源11の発光強度を予め定められた順序で複数の発光光度の中から選択された発光強度に設定し、その選択された発光強度で発光させた光源11により照らされた被写界を撮像部12に撮像させる。第2動作では、制御部14は、光源11の発光強度を設定すべき発光強度に設定し、その設定すべき発光強度で発光させた光源11により照らされた被写界を撮像部12に撮像させる。
【0201】
この例では、制御部14は、第1動作において、次のような処理を行う。すなわち、制御部14は、光源11の発光強度を第1発光強度(例えば「強」)に設定して第1発光強度で発光させた光源11により照らされた被写界を撮像部12にさせた後に、光源11の発光強度を第2発光強度(例えば「弱」)に設定して第2発光強度で発光させた光源11により照らされた被写界を撮像部12にさせる。
【0202】
また、この例では、制御部14は、第2動作において、次のような処理を行う。すなわち、第1発光強度(例えば「強」)が設定すべき発光強度に決定されている場合、制御部14は、光源11の発光強度を第1発光強度に設定して第1発光強度で発光させた光源11により照らされた被写界を撮像部12に撮像させる。第2発光強度(例えば「弱」)が設定すべき発光強度に決定されている場合、制御部14は、光源11の発光強度を第2発光強度に設定して第2発光強度で発光させた光源11により照らされた被写界を撮像部12に撮像させる。第1および第2発光強度の両方が設定すべき発光強度に決定されている場合、制御部14は、光源11の発光強度を第1および第2発光強度に交互に切り換えながら、切り換えられた発光強度で発光させた光源11により照らされた被写界を撮像部12に撮像させる。
【0203】
なお、第1発光強度(例えば「強」)および第2発光強度(例えば「弱」)は、第1発光量(例えば「多」)および第2発光量(例えば「少」)にそれぞれ対応している。
【0204】
《判定部》
判定部15は、撮像部12によって取得された撮像画像において検出対象(例えば人間)の有無を判定するように構成されている。例えば、判定部15は、非特許文献1「Navneet Dalal and Bill Triggs,"Histograms of OrientedGradients for HumanDetection,"Proc. of CVPR2005, vol.1, pp. 886-893,2005.」に示された検出手法(輝度勾配ヒストグラム特徴の機械学習に基づく検出手法)を用いて検出対象の有無の判定を行うように構成されていてもよい。また、判定部15は、検出結果を外部へ出力するように構成されている。
【0205】
《設定部》
設定部18は、判定部15によって検出対象ありと判定された撮像画像を取得するための撮像のときの光源11の発光強度(発光量)を、設定すべき発光強度に決定するように構成されている。具体的には、設定部18は、判定部15によって検出対象ありと判定された撮像画像を取得するための撮像のときの光源11の発光強度を設定すべき発光強度に決定して設定部18(記憶領域)に登録するように構成されていてもよい。
【0206】
また、設定部18は、制御部14の第2動作により取得された撮像画像が判定部15によって検出対象なしと判定された場合に、撮像画像を取得するための撮像のときの光源11の発光強度(発光量)を設定すべき発光強度とする決定を解除する。具体的には、設定部18は、制御部14の第2動作により取得された撮像画像であり且つ判定部15により検出対象なしと判定された撮像画像を取得するための撮像のときの光源11の発光強度について、設定部18(記憶領域)における発光強度の登録(設定すべき発光強度としての登録)を削除するように構成されていてもよい。
【0207】
〈動作〉
次に、
図39,
図40,
図41,
図42を参照して、実施形態7による撮像装置10の動作について説明する。なお、
図39に示した動作は、発光強度「強」および「弱」のいずれもが設定すべき発光強度に決定されていない場合に行われる動作(第1動作)に対応する。
図40に示した動作は、発光強度「強」および「弱」のいずれもが設定すべき発光強度に決定されている場合に行われる動作(第2動作)に対応する。
図41に示した動作は、発光強度「強」および「弱」のうち「強」のみが設定すべき発光強度に決定されている場合に行われる動作(第2動作)に対応する。
図42に示した動作は、発光強度「強」および「弱」のうち「弱」のみが設定すべき発光強度に決定されている場合に行われる動作(第2動作)に対応する。
【0208】
《ステップST711,ST712》
発光強度「強」および「弱」のいずれもが設定すべき発光強度に決定されていない場合、制御部14は、光源11の発光強度を「強」に設定する。そして、制御部14は、発光強度を「強」に設定された光源11により照らされた被写界を撮像部12に撮像させる。具体的には、制御部14は、発光強度を「強」に設定された光源11により被写界が照らされている期間中に、少なくとも1枚の撮像画像が取得されるように、少なくとも1回の撮像(被写界の撮像)を撮像部12に行わせる。
【0209】
《ステップST713》
次に、判定部15は、ステップST712において取得された撮像画像において検出対象の有無を判定する。撮像画像において検出対象があると判定された場合、設定部18は、発光強度「強」を設定すべき発光強度に決定する。具体的には、設定部18は、発光強度「強」を設定すべき発光強度として設定部18(記憶領域)に登録する。次に、ステップST714へ進む。
【0210】
一方、撮像画像において検出対象がないと判定された場合、設定部18は、発光強度「強」を設定すべき発光強度に決定しない。具体的には、設定部18は、発光強度「強」を設定すべき発光強度として設定部18(記憶領域)に登録しない。次に、ステップST717へ進む。
【0211】
《ステップST714,ST715》
ステップST713において検出対象があると判定された場合、制御部14は、光源11の発光強度を「弱」に設定し、発光強度を「弱」に設定された光源11により照らされた被写界を撮像部12に撮像させる。
【0212】
《ステップST716》
次に、判定部15は、ステップST715において取得された撮像画像において検出対象の有無を判定する。撮像画像において検出対象があると判定された場合、設定部18は、発光強度「弱」を設定すべき発光強度に決定する。具体的には、設定部18は、発光強度「弱」を設定すべき発光強度として設定部18(記憶領域)に登録する。これにより、発光強度「強」および「弱」の両方が設定すべき発光強度に決定される。具体的には、発光強度「強」および「弱」の両方が設定すべき発光強度として設定部18(記憶領域)に登録される。次に、ステップST721(
図40)へ進む。
【0213】
一方、撮像画像において検出対象がないと判定された場合、設定部18は、発光強度「弱」を設定すべき発光強度に決定しない。具体的には、設定部18は、発光強度「弱」を設定すべき発光強度として設定部18(記憶領域)に登録しない。これにより、発光強度「強」および「弱」のうち「強」のみが設定すべき発光強度に決定される。具体的には、発光強度「強」および「弱」のうち「強」のみが設定すべき発光強度として設定部18(記憶領域)に登録される。次に、ステップST731(
図41)へ進む。
【0214】
《ステップST717,ST718》
ステップST713において検出対象がないと判定された場合、制御部14は、光源11の発光強度を「弱」に設定し、発光強度を「弱」に設定された光源11により照らされた被写界を撮像部12に撮像させる。具体的には、制御部14は、発光強度を「弱」に設定された光源11により被写界が照らされている期間中に、少なくとも1枚の撮像画像が取得されるように、少なくとも1回の撮像(被写界の撮像)を撮像部12に行わせる。
【0215】
《ステップST719》
次に、判定部15は、ステップST718において取得された撮像画像において検出対象の有無を判定する。撮像画像において検出対象があると判定された場合、設定部18は、発光強度「弱」を設定すべき発光強度に決定する。これにより、発光強度「強」および「弱」のうち「弱」のみが設定すべき発光強度に決定される。具体的には、発光強度「強」および「弱」のうち「弱」のみが設定すべき発光強度として設定部18(記憶領域)に登録される。次に、ステップST741(
図42)へ進む。
【0216】
一方、撮像画像において検出対象がないと判定された場合、設定部18は、発光強度「弱」を設定すべき発光強度に決定しない。これにより、発光強度「強」および「弱」のいずれもが設定すべき発光強度に決定されない。具体的には、発光強度「強」および「弱」のいずれもが設定すべき発光強度として設定部18(記憶領域)に登録されない。次に、ステップST711へ進む。
【0217】
《ステップST721,ST722》
発光強度「強」および「弱」の両方が設定すべき発光強度に決定されている場合、制御部14は、光源11の発光強度を「強」に設定し、発光強度を「強」に設定された光源11により照らされた被写界を撮像部12に撮像させる。
【0218】
《ステップST723》
次に、判定部15は、ステップST722において取得された撮像画像において検出対象の有無を判定する。撮像画像において検出対象があると判定された場合、設定部18は、発光強度「強」を設定すべき発光強度とする決定を維持する。具体的には、設定部18は、設定部18(記憶領域)における発光強度「強」の登録(設定すべき発光強度としての登録)を維持する。次に、ステップST724へ進む。
【0219】
一方、撮像画像において検出対象がないと判定された場合、設定部18は、発光強度「強」を設定すべき発光強度とする決定を解除する。具体的には、設定部18は、設定部18(記憶領域)における発光強度「強」の登録(設定すべき発光強度としての登録)を削除する。次に、ステップST727へ進む。
【0220】
《ステップST724,ST725》
ステップST723において検出対象があると判定された場合、制御部14は、光源11の発光強度を「弱」に設定し、発光強度を「弱」に設定された光源11により照らされた被写界を撮像部12に撮像させる。
【0221】
《ステップST726》
次に、判定部15は、ステップST725において取得された撮像画像において検出対象の有無を判定する。撮像画像において検出対象があると判定された場合、設定部18は、発光強度「弱」を設定すべき発光強度とする決定を維持する。具体的には、設定部18は、設定部18(記憶領域)における発光強度「弱」の登録(設定すべき発光強度としての登録)を維持する。これにより、発光強度「強」および「弱」の両方が設定すべき発光強度に決定されている状態が維持される。具体的には、発光強度「強」および「弱」の両方が設定すべき発光強度として設定部18(記憶領域)に登録されている状態が維持される。次に、ステップST721へ進む。
【0222】
一方、撮像画像において検出対象がないと判定された場合、設定部18は、発光強度「弱」を設定すべき発光強度とする決定を解除する。具体的には、設定部18は、設定部18(記憶領域)における発光強度「弱」の登録(設定すべき発光強度としての登録)を削除する。これにより、発光強度「強」および「弱」のうち「強」のみが設定すべき発光強度に決定されている状態となる。具体的には、発光強度「強」および「弱」のうち「強」のみが設定すべき発光強度として設定部18(記憶領域)に登録されている状態となる。次に、ステップST731(
図41)へ進む。
【0223】
《ステップST727,ST728》
ステップST723において検出対象がないと判定された場合、制御部14は、光源11の発光強度を「弱」に設定し、発光強度を「弱」に設定された光源11により照らされた被写界を撮像部12に撮像させる。
【0224】
《ステップST729》
次に、判定部15は、ステップST728において取得された撮像画像において検出対象の有無を判定する。撮像画像において検出対象があると判定された場合、設定部18は、発光強度「弱」を設定すべき発光強度とする決定を維持する。これにより、発光強度「強」および「弱」のうち「弱」のみが設定すべき発光強度に決定されている状態となる。具体的には、発光強度「強」および「弱」のうち「弱」のみが設定すべき発光強度として設定部18(記憶領域)に登録されている状態となる。次に、ステップST741(
図42)へ進む。
【0225】
一方、撮像画像において検出対象がないと判定された場合、設定部18は、発光強度「弱」を設定すべき発光強度とする決定を解除する。これにより、発光強度「強」および「弱」のいずれもが設定すべき発光強度に決定されていない状態となる。具体的には、発光強度「強」および「弱」のいずれもが設定すべき発光強度として設定部18(記憶領域)に登録されていない状態となる。ステップST711(
図39)へ進む。
【0226】
《ステップST731,ST732》
発光強度「強」および「弱」のうち「強」のみが設定すべき発光強度に決定されている場合、制御部14は、光源11の発光強度を「強」に設定し、発光強度を「強」に設定された光源11により照らされた被写界を撮像部12に撮像させる。
【0227】
《ステップST733》
次に、判定部15は、ステップST732において取得された撮像画像において検出対象の有無を判定する。撮像画像において検出対象があると判定された場合、設定部18は、発光強度「強」を設定すべき発光強度とする決定を維持する。これにより、発光強度「強」および「弱」のうち「強」のみが設定すべき発光強度に決定されている状態が維持される。次に、ステップST731へ進む。
【0228】
一方、撮像画像において検出対象がないと判定された場合、設定部18は、発光強度「強」を設定すべき発光強度とする決定を解除する。これにより、発光強度「強」および「弱」のいずれもが設定すべき発光強度に決定されていない状態となる。次に、ステップST711(
図39)へ進む。
【0229】
《ステップST741,ST742》
発光強度「強」および「弱」のうち「弱」のみが設定すべき発光強度に決定されている場合、制御部14は、光源11の発光強度を「弱」に設定し、発光強度を「弱」に設定された光源11により照らされた被写界を撮像部12に撮像させる。
【0230】
《ステップST743》
次に、判定部15は、ステップST742において取得された撮像画像において検出対象の有無を判定する。撮像画像において検出対象があると判定された場合、設定部18は、発光強度「弱」を設定すべき発光強度とする決定を維持する。これにより、発光強度「強」および「弱」のうち「弱」のみが設定すべき発光強度に決定されている状態が維持される。次に、ステップST741へ進む。
【0231】
一方、撮像画像において検出対象がないと判定された場合、設定部18は、発光強度「弱」を設定すべき発光強度とする決定を解除する。これにより、発光強度「強」および「弱」のいずれもが設定すべき発光強度に決定されていない状態となる。次に、ステップST711(
図39)へ進む。
【0232】
〈実施形態7による効果〉
以上のように、光源11について設定すべき発光強度(発光量)が決定されていない場合に、複数の発光強度に順次切り換えながら切り換えられた発光強度で発光させた光源11により照らされた被写界を撮像して撮像画像を取得する第1動作(すなわち、光源11の発光強度を予め定められた順序で複数の発光光度の中から選択された発光強度に設定して選択された発光強度で発光させた光源11により照らされた被写界を撮像部12に撮像させる第1動作)を行い、その取得された撮像画像において検出対象の有無を判定し、検出対象ありと判定された撮像画像を取得するための撮像のときの光源11の発光強度を設定すべき発光強度に決定することにより、検出対象の有無の判定に適した発光強度(発光量)を決定することができる。
【0233】
そして、光源11について設定すべき発光強度(発光量)が決定されている場合に、光源11の発光強度を設定すべき発光強度に設定して設定すべき発光強度で発光させた光源11により照らされた被写界を撮像して撮像画像を取得する第2動作を行うことにより、検出対象の有無の判定に適した発光強度(発光量)で被写界を撮像することができる。
【0234】
また、制御部14の第2動作により取得された撮像画像が判定部15によって検出対象なしと判定された場合に、その撮像画像を取得するための撮像のときの光源11の発光強度(発光量)を設定すべき発光強度とする決定を解除することにより、検出対象の有無の判定に適さなくなった発光強度(発光量)での撮像を停止することができる。
【0235】
〔実施形態8〕
実施形態8による撮像装置10は、その動作が実施形態1による撮像装置10と異なっている。また、光源11は、その発光強度を2以上の発光強度に切り換え可能に構成されている。すなわち、光源11は、その発光量を2以上の発光量に切り換え可能に構成されている。実施形態8のその他の構成は、実施形態7と同様となっている。
【0236】
〈動作〉
次に、
図43および
図44を参照して、実施形態8による撮像装置10の動作について説明する。なお、
図43に示した動作は、光源11について設定すべき発光強度に決定されていない場合に行われる動作(第1動作)に対応する。
図44に示した動作は、光源11について設定すべき発光強度が決定されている場合に行われる動作(第2動作)に対応する。また、以下の説明において、変数Jは、1以上であり且つ上限値J
max以下の整数であり、処理の対象となる発光強度の番号(例えば、発光強度の強さの段階を示した番号)を示している。上限値J
maxは、2以上の整数であり、光源11の設定可能な発光強度の数(例えば、発光強度の切り換え段階数)に相当する。
【0237】
《ステップST751》
光源11について設定すべき発光強度が決定されていない場合、制御部14は、変数Jを1に設定する。すなわち、制御部14は、第1番目の発光強度を今回の処理の対象として選択する。
【0238】
《ステップST752,ST753》
次に、制御部14は、光源11の発光強度を第J番目の発光強度に設定する。そして、制御部14は、第J番目の発光強度に設定された光源11により照らされた被写界を撮像部12に撮像させる。具体的には、制御部14は、第J番目の発光強度に設定された光源11により被写界が照らされている期間中に、少なくとも1枚の撮像画像が取得されるように、少なくとも1回の撮像(被写界の撮像)を撮像部12に行わせる。
【0239】
《ステップST754》
次に、判定部15は、ステップST753において取得された撮像画像において検出対象の有無を判定する。撮像画像において検出対象があると判定された場合には、ステップST755へ進み、そうでない場合には、ステップST756へ進む。
【0240】
《ステップST755》
次に、設定部18は、ステップST754において検出対象ありと判定された撮像画像を取得するための撮像のときの光源11の発光強度(すなわち、ステップST752において光源11の今回の発光強度に設定された第J番目の発光強度)を設定すべき発光強度に決定する。具体的には、設定部18は、第J番目の発光強度を設定すべき発光強度として設定部18(記憶領域)に登録する。次に、ステップ756へ進む。
【0241】
《ステップST756》
次に、制御部14は、変数Jが上限値J
maxに到達しているか否かを判定する。すなわち、制御部14は、複数の発光強度の中に処理の対象として選択されていない発光強度が残っているか否かを判定する。変数Jが上限値J
maxに到達していない場合には、ステップST757へ進み、変数Jが上限値J
maxに到達している場合には、ステップST758へ進む。
【0242】
《ステップST757》
ステップST757において変数Jが上限値J
maxに到達していないと判定された場合、制御部14は、変数Jに1を加算する。すなわち、制御部14は、複数の発光強度の中から未だ選択されていない発光強度を次回の処理の対象として選択する。次に、ステップST752へ進む。
【0243】
《ステップST758》
ステップST757において変数Jが上限値J
maxに到達していると判定された場合、制御部14は、光源11について設定すべき発光強度が決定されているか否かを判定する。具体的には、制御部14は、複数の発光強度のうち設定すべき発光強度として設定部18(記憶領域)に登録された発光強度があるか否かを判定する。設定すべき発光強度が決定されている場合には、ステップST761へ進み、そうでない場合には、ステップST751へ進む。
【0244】
《ステップST761》
光源11について設定すべき発光強度が決定されている場合、制御部14は、変数Jを1に設定する。すなわち、制御部14は、第1番目の発光強度を今回の処理の対象として選択する。
【0245】
《ステップST762》
次に、制御部14は、第J番目の発光強度(すなわち、今回の処理の対象となっている発光強度)が設定すべき発光強度に決定されているか否かを判定する。第J番目の発光強度が設定すべき発光強度に決定されてない場合には、ステップST763へ進み、第J番目の発光強度が設定すべき発光強度に決定されている場合には、ステップST765へ進む。
【0246】
《ステップST763》
次に、制御部14は、変数Jが上限値J
maxに到達しているか否かを判定する。変数Jが上限値J
maxに到達していない場合には、ステップST764へ進み、変数Jが上限値J
maxに到達している場合には、ステップST761へ進む。
【0247】
《ステップST764》
ステップST763において変数Jが上限値J
maxに到達していないと判定された場合、制御部14は、変数Jに1を加算する。次に、ステップST762へ進む。
【0248】
《ステップST765,ST766》
ステップST762において第J番目の発光強度が設定すべき発光強度に決定されていると判定された場合、制御部14は、光源11の発光強度を第J番目の発光強度に設定する。そして、制御部14は、第J番目の発光強度に設定された光源11により照らされた被写界を撮像部12に撮像させる。
【0249】
《ステップST767》
次に、判定部15は、ステップST766において取得された撮像画像において検出対象の有無を判定する。撮像画像において検出対象がないと判定された場合には、ステップST768へ進み、撮像画像において検出対象があると判定された場合には、ステップST770へ進む。
【0250】
《ステップST768》
次に、設定部18は、ステップST767において検出対象なしと判定された撮像画像を取得するための撮像のときの光源11の発光強度(すなわち、ステップST765において光源の今回の発光強度として設定された第J番目の発光強度)を設定すべき発光光度とする決定を解除する。具体的には、設定部18は、設定部18(記憶領域)における第J番目の発光強度の登録(設定すべき発光強度としての登録)を削除する。次に、ステップST769へ進む。
【0251】
《ステップST769》
次に、制御部14は、光源11について設定すべき発光強度が決定されているか否かを判定する。設定すべき発光強度が決定されている場合には、ステップST770へ進み、そうでない場合には、ステップST751へ進む。
【0252】
《ステップST770,ST771》
ステップST769において光源11について設定すべき発光強度が決定されていると判定された場合、制御部14は、変数Jが上限値J
maxに到達しているか否かを判定する。変数Jが上限値J
maxに到達していない場合、制御部14は、変数Jに1を加算する。次に、ステップST762へ進む。一方、変数Jが上限値J
maxに到達している場合には、ステップST761へ進む。
【0253】
〈実施形態8による効果〉
以上のように構成した場合も、実施形態7と同様に、光源11について設定すべき発光強度(発光量)が決定されていない場合に、検出対象の有無の判定に適した発光強度(発光量)を決定することができ、光源11について設定すべき発光強度(発光量)が決定されている場合に、検出対象の有無の判定に適した発光強度(発光量)で被写界を撮像することができる。
【0254】
また、実施形態7と同様に、制御部14の第2動作により取得された撮像画像が判定部15によって検出対象なしと判定された場合に、その撮像画像を取得するための撮像のときの光源11の発光強度(発光量)を設定すべき発光強度とする決定を解除することにより、検出対象の有無の判定に適さなくなった発光強度(発光量)での撮像を停止することができる。
【0255】
〔実施形態7,8の総括〕
なお、以上の説明において、判定部15は、時系列において連続的(または離散的)に並ぶ複数の撮像画像に基づいて検出処理(検出対象の有無の判定)を行うように構成されていてもよい。この場合、判定部15は、撮像部12によって取得された複数の撮像画像を、撮像画像を取得するための撮像のときの光源11の発光強度(発光量)で分類し、発光強度の分類毎にその分類に属する複数の撮像画像に基づいて検出対象の有無を判定するように構成されていることが好ましい。このように構成することにより、発光強度(発光量)の分類毎に複数の撮像画像に基づいて検出対象の有無を判定し、その判定結果に基づいて検出対象の有無の判定に適した発光強度(発光量)を適切に決定することができる。
【0256】
また、以上の説明において、判定部15における検出対象は、人間に限定されず、例えば、動体の動きであってもよい。
【0257】
また、以上の説明では、制御部14と判定部15と設定部18が1つの処理回路13に含まれている場合を例に挙げたが、制御部14と判定部15と設定部18は、2つ以上の処理回路に分散して含まれていてもよい。
【0258】
また、以上の説明では、光源11が発光強度を切り換え可能に構成されている場合(すなわち、光源11の発光強度を切り換えることによって光源11の発光量を切り換える場合)を例に挙げたが、光源11は、その発光デューティ比を複数の発光デューティ比に切り換え可能に構成されていてもよい。ここで、発光デューティ比は、所定周期(例えば、1枚の撮像画像を取得するために必要となるフレーム周期)内における点灯期間(光源11が点灯している期間)の割合のことである。このように構成した場合も、光源11の発光デューティ比を切り換えることにより、光源11の発光量を切り換えることができる。
【0259】
〔実施形態9〕
図45は、実施形態9による撮像装置10の構成例を示している。撮像装置10は、被写界を撮像して被写界を監視するように構成され、例えば、室内に設置される電化製品(具体例としては、フラットパネルディスプレイ)に設けられる。この例では、撮像装置10は、光源11と、撮像部12と、処理回路13とを備えている。
【0260】
〈光源〉
光源11は、被写界を照らすように構成されている。また、光源11は、その発光量を変更可能に構成されている。具体的には、光源11は、その発光強度および発光デューティ比の少なくとも一方を変更可能に構成されている。ここで、発光量は、所定周期(例えば1枚の撮像画像を取得するために必要となるフレーム周期)において光源11から発せられる光の総量のことであり、光源11の発光強度を時間で積算して得られる量に相当する。発光デューティ比は、所定周期内における点灯期間(光源11が点灯している期間)の割合のことである。例えば、光源11は、発光ダイオード(LED)によって構成されていてもよいし、レーザーダイオードによって構成されていてもよい。なお、光源11から発せられる光は、赤外光であっても良いし、可視光であってもよい。
【0261】
この例では、光源11は、その発光量を互いに異なる2つの発光量(第1発光量と第1発光量よりも少ない第2発光量)に切り換え可能に構成されている。具体的には、光源11は、その発光強度を互いに異なる2つの発光強度(第1発光強度と第1発光強度よりも弱い第2発光強度)に切り換え可能に構成されていてもよい。または、光源11は、その発光デューティ比を互いに異なる2つの発光デューティ比(第1発光デューティ比と第1発光デューティ比よりも小さい第2発光デューティ比)に切り換え可能に構成されていてもよい。
【0262】
〈撮像部〉
撮像部12は、被写界を撮像して撮像画像を取得するように構成されている。また、撮像部12は、その露光時間を変更可能に構成されている。具体的には、撮像部12は、その露光時間を互いに異なる2つの露光時間(第1露光時間と第1露光時間よりも長い第2露光時間)に切り換え可能に構成されている。例えば、撮像部12は、相補型金属酸化膜半導体(CMOS)によって構成されていてもよいし、電荷結合素子(CCD)によって構成されていてもよい。また、撮像部12は、ローリングシャッタ方式により駆動されるように構成されていてもよいし、グローバルシャッタ方式により駆動されるように構成されていてもよい。
【0263】
〈処理回路〉
処理回路13は、光源11および撮像部12などの撮像装置10の各部を制御するように構成されている。例えば、処理回路13は、CPUやメモリなどによって構成されている。また、この例では、制御部14と、判定部15と、検出部16と、識別部17とを備えている。
【0264】
《制御部》
制御部14は、光源11を発光させて撮像部12に被写界(光源11によって照明された被写界)を撮像させるように構成されている。また、制御部14は、判定部15による判定結果に応じて光源11の発光量および撮像部12の露光時間を切り換えるように構成されている。
【0265】
《判定部》
判定部15は、撮像部12によって取得された撮像画像において検出対象(例えば動き)の有無を判定するように構成されている。
【0266】
《検出部》
検出部16は、判定部15によって検出対象ありと判定された撮像画像から予め定められた対象物(例えば人間の顔)を検出するように構成されている。例えば、検出部16は、非特許文献1「Navneet Dalal and Bill Triggs,"Histograms of OrientedGradients for HumanDetection,"Proc. of CVPR2005, vol.1, pp. 886-893,2005.」に示された検出手法(輝度勾配ヒストグラム特徴の機械学習に基づく検出手法)を用いて対象物検出処理(この例では、人検出処理)を行うように構成されていてもよい。
【0267】
《識別部》
識別部17は、撮像部12によって取得された撮像画像から対象物領域を抽出し、対象物領域と予め登録された照合画像とを照合して対象物を識別するように構成されている。なお、対象物領域は、撮像画像の一部であり且つ検出部16によって検出された対象物を含む領域(画像領域)に相当する。例えば、対象物は、人間の顔であり、照合画像は、人間の顔を含む顔画像であり、識別部17は、対象物領域に含まれる人間の顔と予め登録された人間の顔とを照合して個人識別を行う。また、識別部17は、識別結果を外部に出力するように構成されている。
【0268】
例えば、識別部17は、非特許文献2「Paul Violaand Michael Jones,"Rapid Object Detection using a BoostedCascade of SimpleFeatures,"Proc. of CVPR2001, vol.1, pp. 511-518,2001.」に示された手法(輝度分布の比較に基づく手法)などを用いて対象物領域を抽出するように構成されていてもよい。また、識別部17は、サポートベクトルマシンや相互部分空間法などを用いて照合処理(対象物領域と照合画像との照合)を行うように構成されていてもよい。
【0269】
〈動作〉
次に、
図46を参照して、実施形態9による撮像装置10の動作について説明する。
【0270】
《ステップST801》
まず、制御部14は、光源11の発光量を第1発光量(すなわち「多」)に設定するとともに、撮像部12の露光時間を第1露光時間(すなわち「短」)に設定する。
【0271】
《ステップST802》
次に、制御部14は、予め設定された発光量(具体的には、ステップST801,ST804,ST805において設定された発光量)で光源11を発光させる。また、制御部14は、予め設定された露光時間(具体的には、ステップST801,ステップST804,ST805において設定された露光時間)で撮像部12を露光させて撮像部12に被写界(光源11によって照らされた被写界)を撮像させる。
【0272】
例えば、制御部14は、光源11が予め設定された発光量で発光している期間中に、時系列に連続するN枚(Nは2以上の整数)の撮像画像からなる撮像画像列が取得されるように、撮像部12(予め設定された露光時間で露光させた撮像部12)に被写界の撮像をN回連続して行わせる。
【0273】
《ステップST803》
次に、判定部15は、ステップST803において取得された撮像画像において検出対象の有無を判定する。撮像画像において検出対象があると判定された場合には、ステップST804へ進み、そうでない場合には、ステップST805へ進む。
【0274】
例えば、判定部15は、ステップST803において取得された撮像画像列を構成するN個の撮像画像からN−1個の差分画像を算出する。なお、第X番目(Xは1以上であり且つN−1以下の整数)の差分画像は、撮像画像列を構成するN個の撮像画像のうち時系列において第X番目に位置する撮像画像と時系列において第X+1番目に位置する撮像画像との差分画像に相当する。次に、判定部15は、N−1個の差分画像の画素値を画素毎に平均して差分平均画像(それぞれの画素値がN−1個の画素値の平均値を示した画像)を算出する。そして、判定部15は、差分平均画像に含まれる複数の画素値のうち予め定められた差分閾値を上回る画素値の個数の占有割合(差分平均画像に含まれる全画素数に対する割合)が予め定められた占有割合閾値を上回る場合に、撮像画像に動き(検出対象)があると判定し、そうでない場合に、撮像画像に動き(検出対象)がないと判定する。なお、差分閾値および占有割合閾値は、例えば、動きがあるとみなせるときの画素値および占有割合にそれぞれ設定されている。
【0275】
《ステップST804》
ステップST105において検出対象ありと判定された場合、制御部14は、光源11の発光量を第1発光量(すなわち「多」)に設定するとともに、撮像部12の露光時間を第1露光時間(すなわち「短」)に設定する。次に、ステップST806へ進む。
【0276】
《ステップST805》
一方、ステップST105において検出対象なしと判定された場合、制御部14は、光源11の発光量を第2発光量(すなわち「少」)に設定するとともに、撮像部12の露光時間を第2露光時間(すなわち「長」)に設定する。次に、ステップST806へ進む。
【0277】
《ステップST806》
次に、処理を終了する場合には、処理を終了し、処理を継続する場合には、ステップST802へ進む。
【0278】
このように、制御部14は、判定部15によって検出対象ありと判定された場合に光源11の発光量を第1発光量に設定するとともに撮像部12の露光時間を第1露光時間に設定し、判定部15によって検出対象ありと判定された場合に光源11の発光量を第2発光強度(第1発光量よりも少ない発光量)に設定するとともに撮像部12の露光時間を第2露光時間(第1露光時間よりも長い露光時間)に設定するように構成されている。
【0279】
〈撮像画像の明るさと光源の発光量と撮像部の露光時間との関係〉
撮像画像の明るさ(輝度値)は、光源11の発光量と撮像部12の露光時間とに依存している。具体的には、光源11の発光量が多くなるほど撮像画像の明るさが高くなり、光源11の発光量が少なくなるほど撮像画像の明るさが低くなる傾向にある。また、撮像部12の露光時間が長くなるほど撮像画像の明るさが高くなり、撮像部12の露光時間が短くなるほど撮像画像の明るさが低くなる傾向にある。
【0280】
〈実施形態9による効果〉
以上のように、判定部15によって検出対象ありと判定された場合に光源11の発光量を第1発光量に設定するとともに撮像部12の露光時間を第1露光時間に設定することにより、光源11の発光量が常に第2発光量(第1発光量よりも少ない発光量)に設定されて撮像部12の露光時間が常に第2露光時間(第1露光時間よりも長い露光時間)に設定されている場合よりも、撮像部12による被写界の撮像を迅速に行うことができる。
【0281】
また、判定部15によって検出対象なしと判定された場合に光源11の発光量を第2発光量(第1発光量よりも少ない発光量)に設定するとともに撮像部12の露光時間を第2露光時間(第1露光時間よりも長い露光時間)に設定することにより、判定部15によって検出対象ありと判定された場合(すなわち、光源11の発光量が第1発光量に設定されて撮像部12の露光時間が第1露光時間に設定されている場合)よりも、光源11の発光量を低くすることができるとともに撮像部12の露光時間を長くすることができる。これにより、光源11の消費電力を低減することができる。また、光源11の発光量を低下させる一方で撮像部12の露光時間を長くすることにより、光源11の発光量の低下に起因する撮像画像の明るさの低下を補償することができる。
【0282】
〔実施形態9の総括〕
以上の説明では、ステップST801において光源11の発光量を第1発光量(すなわち「多」)に設定するとともに撮像部12の露光時間を第1露光時間(すなわち「短」)に設定する場合を例に挙げたが、制御部14は、ステップST801において光源11の発光量を第2発光量(すなわち「少」)に設定するとともに撮像部12の露光時間を第2露光時間(すなわち「長」)に設定するように構成されていてもよい。
【0283】
また、以上の説明では、制御部14と判定部15と検出部16と識別部17が1つの処理回路13に含まれている場合を例に挙げたが、制御部14と判定部15と検出部16と識別部17は、2つ以上の処理回路に分散して含まれていてもよい。
【0284】
〔実施形態10〕
図47は、実施形態10による撮像装置10の構成例を示している。実施形態10による撮像装置10は、
図16に示した実施形態4による撮像装置10と同様の構成を有している。また、実施形態10による撮像装置10は、実施形態1〜4による撮像装置10の動作と同様の動作を行うことが可能である。なお、実施形態10では、撮像部12と制御部14と判定部15と検出部16と識別部17は、次のように構成されている。
【0285】
撮像部12は、ローリングシャッタ方式により駆動されるように構成されている。具体的には、撮像部12は、複数の光センサがマトリクス状に配列された受光面(図示を省略)を有し、先頭ラインである第1行目のライン(行方向に配列された2以上の光センサにより構成されたライン)から最終ラインである第n行目(nは2以上の整数)のラインへ向けてn本のラインが順次露光されるように構成されている。
【0286】
制御部14は、発光制御において、撮像部12の全てのラインが同時に露光されている期間を除く期間内において複数の光源11a〜11dのうち発光させる光源11が点灯している期間と光源11(発光させる光源11)が消灯している期間とが存在するように光源11を発光させる。
【0287】
判定部15は、撮像部12によって取得された撮像画像20のうち撮像画像20を取得するための撮像のときに発光している光源11に対応する画像領域であり且つ光源11が点灯している期間に対応する画像領域において検出対象の有無を判定するように構成されている。
【0288】
検出部16は、判定部15によって検出対象ありと判定された画像領域を含む撮像画像から予め定められた対象物100(この例では人間)を検出するように構成されている。
【0289】
識別部17は、撮像画像20から対象物領域40(撮像画像20の一部であり且つ検出部16によって検出された対象物100を含む領域)を抽出し、対象物領域40と予め登録された照合画像とを照合して対象物100を識別するように構成されている。
【0290】
〈光源と撮像部と撮像画像20との対応関係〉
次に、
図48を参照して、光源11と撮像部12と撮像画像20との関係について説明する。
【0291】
撮像部12は、その受光面においてマトリクス状に配列された光センサの行方向が第1方向(例えば水平方向)となり光センサの列方向が第1方向と直交する第2方向(例えば上下方向)となるように設置される。複数の光源11(この例では4つの光源11a〜11d)は、第1方向(例えば水平方向)に並設され、撮像部12の受光面と対向する被写界の照明を分担して行うように構成されている。また、複数の光源11は、それぞれ点灯期間を複数の点灯期間t
L(この例では2つの点灯期間t25,t26)に切り換え可能に構成されている。
【0292】
また、撮像画像20には、マトリクス状に配列された複数の画像領域(この例では2行4列に配列された8つの画像領域25a〜25d,26a〜26d)が含まれている。以下の説明では、画像領域25a〜25d,26a〜26dの総称を「画像領域200」と記載する。そして、複数の光源11は、複数の画像領域列(列方向に配列された2以上の画像領域200)にそれぞれ対応し、複数の点灯期間t
Lは、複数の画像領域行(行方向に配列された2以上の画像領域200)にそれぞれ対応している。
【0293】
また、複数の画像領域行は、撮像部12の複数のライン群(連続する2以上のラインにより構成されたライン群)にそれぞれ対応している。すなわち、画像領域行は、その画像領域行に対応する撮像部12のライン群により撮像された被写界の一部を含んでいる。なお、複数の点灯期間t
Lは、複数の画像領域行にそれぞれ対応している。したがって、複数の点灯期間t
Lは、撮像部12の複数のライン群にそれぞれ対応している。そして、点灯期間t
Lは、その点灯期間t
Lに対応する撮像部12のライン群の露光期間t
Eと重複するように設定されている。すなわち、点灯期間t
Lにおいて光源11を点灯させることにより、その点灯期間t
Lに対応する撮像部12のライン群の露光中に光源11を点灯させて被写界を照らすことができ、光源11によって照らされた被写界の一部を撮像部12のライン群(その点灯期間t
Lに対応するライン群)において撮像することができる。
【0294】
この例では、点灯期間t25は、撮像部12の先頭ラインである第1行目のラインL1から中央に位置する第m行目(mは1よりも大きくnよりも小さい整数、この例ではn/2に近い数)のラインまでのm本のライン群(すなわち、前半ライン群)に対応し、点灯期間t26は、第m+1行目のラインから最終ラインである第n行目のラインLnまでのn−m本のライン群(すなわち、後半ライン群)に対応している。
【0295】
なお、所定期間(例えばフレーム期間)の開始タイミングに対する点灯期間の遅延時間(開始遅延時間)や点灯期間の長さを変更することにより、点灯期間に対応する撮像部12のライン群を変更することが可能である。この例では、点灯期間t26の遅延時間t
D2は、点灯期間t26の遅延時間t
D1よりも長くなっている。なお、点灯期間t26の長さは、点灯期間t25の長さと同一となっている。
【0296】
〈動作〉
次に、
図49を参照して、実施形態10による撮像装置10の動作について説明する。この例では、光源11a〜11dの発光順序(発光させる光源11を選択する順序)が予め定められ、4つの画像領域列の選択順序が予め定められている。具体的には、光源11aと画像領域列(画像領域25a,26a)が第1番目に選択され、光源11bと画像領域列(画像領域25b,26b)が第2番目に選択され、光源11cと画像領域列(画像領域25c,26c)が第3番目に選択され、光源11dと画像領域列(画像領域25d,26d)が第4番目に選択されるように、光源11および画像領域列の選択順序が予め定められている。また、光源11および画像領域列の選択順序に基づいて光源11a〜11dと4つの画像領域列に番号(選択順を示した番号)が割り当てられている。具体的には、光源11aと画像領域列(画像領域25a,26a)に「1」が割り当てられ、光源11bと画像領域列(画像領域25b,26b)に「2」が割り当てられ、光源11cと画像領域(画像領域25c,26c)に「3」が割り当てられ、光源11dと画像領域列(画像領域25d,26d)に「4」が割り当てられている。また、以下の説明において、変数Kは、1以上であり且つ上限値K
max以下の整数であり、処理の対象となる光源11および画像領域列の番号を示している。上限値K
maxは、2以上の整数であり、光源11の個数に相当する。
【0297】
また、この例では、点灯期間t25,t26の選択順序が予め定められ、2つの画像領域行の選択順序が予め定められている。具体的には、点灯期間t25と画像領域行(25a,25b,25c,25d)が第1番目に選択され、点灯期間t26と画像領域行(26a,26b,26c,26d)が第2番目に選択されるように、点灯期間および画像領域行の選択順序が予め定められている。また、点灯期間および画像領域行の選択順序に基づいて点灯期間t25,t26と2つの画像領域行に番号(選択順を示した番号)が割り当てられている。具体的には、点灯期間t25と画像領域行(25a,25b,25c,25d)に「1」が割り当てられ、点灯期間t26と画像領域行(26a,26b,26c,26d)に「2」が割り当てられている。また、以下の説明において、変数Mは、1以上であり且つ上限値M
max以下の整数であり、処理の対象となる点灯期間および画像領域行の番号を示している。上限値M
maxは、2以上の整数であり、点灯期間の個数に相当する。
【0298】
《ステップST1001》
まず、制御部14は、変数Mを1に設定する。すなわち、制御部14は、予め定められた選択順序において第1番目に選択される点灯期間と画像領域行(この例では点灯期間t25と画像領域行(25a,25b,25c,25d))を、今回の処理の対象となる点灯期間と画像領域行として選択する。
【0299】
《ステップST1002》
次に、制御部14は、変数Kを1に設定する。すなわち、制御部14は、予め定められた選択順序において第1番目に選択される光源11と画像領域列(この例では光源11aと画像領域列(25a,26a))を、今回の処理の対象となる光源11と画像領域列として選択する。
【0300】
《ステップST1003》
次に、制御部14は、第K番目の光源11を第M番目の点灯期間において点灯させて撮像部12に被写界を撮像させる。
【0301】
《ステップST1004》
次に、判定部15は、ステップST1003において取得された撮像画像20から第M行目で第K列目の画像領域200を抽出する。
【0302】
《ステップST1005》
次に、判定部15は、ステップST1004において抽出された第M行目で第K列目の画像領域200において検出対象(この例では動き)の有無を判定する。第M行目で第K列目の画像領域200において検出対象があると判定された場合には、ステップST10006へ進み、そうでない場合には、ステップST1007へ進む。
【0303】
《ステップST1006》
次に、検出部16は、ステップST105において検出対象ありと判定された第M行目で第K列目の画像領域200を含む撮像画像20から対象物100(この例では人間)を検出する。
【0304】
《ステップST1007》
次に、制御部14は、変数Kが上限値K
maxに到達しているか否かを判定する。すなわち、制御部14は、今回の処理の対象となっている光源11および画像領域列が予め定められた選択順序において最後に選択される光源11および画像領域列であるか否かを判定する。変数Kが上限値K
maxに到達していない場合には、ステップST1008へ進み、変数Kが上限値K
maxに到達している場合には、ステップST1009へ進む。
【0305】
《ステップST1008》
ステップST1008において変数Kが上限値K
maxに到達していない場合、制御部14は、変数Kに1を加算する。すなわち、制御部14は、予め定められた選択順序において今回の処理の対象となっている光源11および画像領域列の次に選択される光源11および画像領域列を、次回の処理の対象となる光源11および画像領域列として選択する。次に、ステップST1003へ進む。
【0306】
《ステップST1009》
一方、ステップST1008において変数Mが上限値M
maxに到達していない場合、制御部14は、変数Mが上限値M
maxに到達しているか否かを判定する。すなわち、制御部14は、今回の処理の対象となっている点灯期間および画像領域行が予め定められた選択順序において最後に選択される点灯期間および画像領域行であるか否かを判定する。変数Mが上限値M
maxに到達していない場合には、ステップST1010へ進み、変数Mが上限値M
maxに到達している場合には、ステップST1011へ進む。
【0307】
《ステップST1010》
ステップST1009において変数Mが上限値M
maxに到達していない場合、制御部14は、変数Mに1を加算する。すなわち、制御部14は、予め定められた選択順序において今回の処理の対象となっている点灯期間および画像領域行の次に選択される点灯期間および画像領域行を、次回の処理の対象となる点灯期間および画像領域行として選択する。次に、ステップST1002へ進む。
【0308】
《ステップST1011》
次に、処理を終了する場合には、処理を終了し、処理を継続する場合には、ステップST1001へ進む。
【0309】
〈光源の発光パターン〉
図50は、実施形態10における光源11の発光パターンの一例を示している。
図50に示すように、実施形態10では、予め定められた発光順序(この例では、光源11a,11b,11c,11dの順)で発光させる光源11が選択される。そして、予め定められた選択順序(この例では、点灯期間t25,t26の順)で光源11の点灯期間が選択される。なお、
図50では、撮像画像20に含まれる8つの画像領域200のうち処理の対象となる画像領域200にハッチングが付されている。
【0310】
〈実施形態10による効果〉
以上のように構成した場合も、実施形態1〜4による効果と同様の効果を得ることができる。すなわち、被写界の照明に要する消費電力を低減しつつ被写界の監視を継続的に行うことができる。
【0311】
また、撮像部12の全てのラインが同時に露光されている期間を除く期間内において複数の光源11a〜11dのうち発光させる光源11が点灯している期間と光源11(発光させる光源11)が消灯している期間とが存在するように発光制御において光源11を発光させることにより、光源11における消費電力を低減することができる。
【0312】
〔実施形態10の変形例〕
なお、実施形態10による撮像装置10において、制御部14は、判定部15によって検出対象ありと判定された画像領域200が存在していない場合に、複数の光源11a〜11dが予め定められた発光順序および点灯順序で発光するように、発光制御(発光させる光源11を切り換えるための制御)を行い、判定部15によって検出対象ありと判定された画像領域200が存在している場合に、複数の光源11a〜11dのうち判定部15によって検出対象ありと判定された画像領域200に対応する光源11が判定部15によって検出対象ありと判定された画像領域200に対応する点灯期間において点灯する頻度が高くなるように、発光制御を行うように構成されていてもよい。
【0313】
例えば、制御部14は、判定部15によって検出対象ありと判定された画像領域200が存在している場合に、第1発光動作と第2発光動作とが交互に行われるように、発光制御を行うように構成されていてもよい。第1発光動作では、判定部15によって検出対象ありと判定された画像領域200に対応する光源11が判定部15によって検出対象ありと判定された画像領域200に対応する点灯期間において点灯する。第2発光動作では、予め定められた発光順序および点灯順序に基づいて判定部15によって検出対象ありと判定されていない画像領域200に対応する光源11のうち1つの光源11が発光する。
【0314】
〈動作〉
次に、
図51,
図52,
図53を参照して、実施形態10の変形例による撮像装置10の動作について説明する。この例においても、光源11a〜11dの発光順序(発光させる光源11を選択する順序)が予め定められ、4つの画像領域列の選択順序が予め定められている。また、点灯期間t25,t26の選択順序が予め定められ、2つの画像領域行の選択順序が予め定められている。以下の説明において、変数Kは、1以上であり且つ上限値K
max以下の整数であり、処理の対象となる光源11および画像領域列の番号を示している。上限値K
maxは、2以上の整数であり、光源11の個数に相当する。変数Mは、1以上であり且つ上限値M
max以下の整数であり、処理の対象となる点灯期間および画像領域行の番号を示している。上限値M
maxは、2以上の整数であり、点灯期間の個数に相当する。
【0315】
《ステップST1101》
まず、制御部14は、変数Mを1に設定して変数Kを1に設定する。すなわち、制御部14は、予め定められた選択順序において第1番目に選択される点灯期間と画像領域行を、今回の処理の対象となる点灯期間と画像領域行として選択し、予め定められた選択順序において第1番目に選択される光源11と画像領域列を、今回の処理の対象となる光源11と画像領域列として選択する。
【0316】
《ステップST1102》
次に、制御部14は、注目領域が存在しているか否かを判定する。注目領域は、判定部15によって検出対象(この例では動き)ありと判定された画像領域200に相当する。注目領域が存在していないと判定された場合には、ステップST1103へ進み。注目領域が存在している場合には、ステップST1201(
図52)へ進む。
【0317】
《ステップST1103》
ステップST1102において注目領域が存在していないと判定された場合、制御部14は、全ての光源11a〜11dを第M番目の点灯期間に点灯させて撮像部12に被写界を撮像させる。
【0318】
《ステップST1104》
次に、制御部14は、変数Kを1に設定する。
【0319】
《ステップST1105,ST1106》
次に、ステップST1003,ST1004と同様に、判定部15は、ステップST1103において取得された撮像画像20から第M行目で第K列目の画像領域200を抽出し、その抽出された第M行目で第K列目の画像領域200において検出対象(この例では動き)の有無を判定する。第M行目で第K列目の画像領域200において検出対象がないと判定された場合には、ステップST1107へ進み、第M行目で第K列目の画像領域200において検出対象があると判定された場合には、ステップST1112へ進む。
【0320】
《ステップST1107》
次に、制御部14は、変数Kが上限値K
maxに到達しているか否かを判定する。すなわち、制御部14は、今回の処理の対象となっている光源11および画像領域列が予め定められた選択順序において最後に選択される光源11および画像領域列であるか否かを判定する。変数Kが上限値K
maxに到達していない場合には、ステップST1108へ進み、変数Kが上限値K
maxに到達している場合には、ステップST1109へ進む。
【0321】
《ステップST1108》
ステップST1008において変数Kが上限値K
maxに到達していない場合、制御部14は、変数Kに1を加算する。すなわち、制御部14は、予め定められた選択順序において今回の処理の対象となっている光源11および画像領域列の次に選択される光源11および画像領域列を、次回の処理の対象となる光源11および画像領域列として選択する。次に、ステップST1105へ進む。
【0322】
《ステップST1109,ST1110,ST1111》
次に、制御部14は、予め定められた選択順序に基づいて、次回の処理の対象となる点灯期間および画像領域行を選択する。具体的には、制御部14は、変数Mが上限値M
maxに到達しているか否かを判定し、変数Mが上限値M
maxに到達していない場合に変数Mに1を加算し、変数Mが上限値M
maxに到達している場合に変数Mを1に設定する。次に、ステップST1103へ進む。
【0323】
《ステップST1112》
ステップST1106において第M行目で第K列目の画像領域200において検出対象があると判定された場合、制御部14は、ステップST1106において検出対象ありと判定された第M行目で第K列目の画像領域200を注目対象(すなわち、注目領域)に設定する。
【0324】
《ステップST1113》
次に、ステップST1006と同様に、検出部16は、ステップST1112において検出対象ありと判定された第M行目で第K列目の画像領域200を含む撮像画像20から対象物100(この例では人間)を検出する。次に、ステップST1114へ進む。
【0325】
《ステップST1114》
次に、処理を終了する場合には、処理を終了し、処理を継続する場合には、ステップST1102へ進む。
【0326】
《ステップST1201》
一方、ステップST1102において注目領域が存在していると判定した場合、制御部14は、複数の光源11a〜11dのうち注目領域である画像領域200に対応する光源11を、複数の点灯期間t25,t26のうち注目領域である画像領域200に対応する点灯期間において発光させて、撮像部12に被写界を撮像させる。
【0327】
《ステップST1202》
次に、判定部15は、ステップST1201において取得された撮像画像20から注目領域である画像領域200を抽出する。
【0328】
《ステップST1203》
次に、判定部15は、ステップST1202において抽出された注目領域である画像領域200において検出対象(この例では動き)の有無を判定する。注目領域である画像領域200において検出対象があると判定された場合には、ステップST1204へ進み、そうでない場合には、ステップST1205へ進む。
【0329】
《ステップST1204》
次に、検出部16は、ステップST1203において検出対象ありと判定された注目領域である画像領域200を含む撮像画像20から対象物100(この例では人間)を検出する。次に、ステップST1206へ進む。
【0330】
《ステップST1205》
一方、ステップST1203において検出対象なしと判定された場合、制御部14は、検出対象なしと判定された注目領域である画像領域200を注目対象(すなわち、注目領域)から除外する。次に、ステップST1206へ進む。
【0331】
《ステップST1206》
次に、制御部14は、第M行目で第K列目の画像領域200が注目領域に設定されているか否かを判定する。第M行目で第K列目の画像領域200が注目領域に設定されている場合には、ステップST1207へ進み、そうでない場合には、ステップST1213(
図53)へ進む。
【0332】
《ステップST1207〜ST1212》
ステップST1206において第M行目で第K列目の画像領域200が注目領域に設定されていると判定された場合、制御部14は、予め定められた選択順序に基づいて、次回の処理対象となる画像領域200を選択する。具体的には、制御部14は、変数Kが上限値K
maxに到達しているか否かを判定し、変数Kが上限値K
maxに到達していない場合に変数Kに1を加算し、変数Mが上限値K
maxに到達している場合に変数Kを1に設定する。また、変数Kを1に設定した場合、制御部14は、変数Mが上限値M
maxに到達しているか否かを判定し、変数Mが上限値M
maxに到達していない場合に変数Mに1を加算し、変数Mが上限値M
maxに到達している場合に変数Mを1に設定する。次に、ステップST1206へ進む。
【0333】
《ステップST1213,ST1214,ST1215》
一方、ステップST1206において第M行目で第K列目の画像領域200が注目領域に設定されていないと判定された場合、制御部14は、複数の光源11a〜11dのうち注目領域である画像領域200に対応する光源11を、複数の点灯期間t25,t26のうち注目領域である画像領域200に対応する点灯期間において発光させて、撮像部12に被写界を撮像させる。次に、判定部15は、ステップST1213において取得された撮像画像20から第M行目で第K列目の画像領域200を抽出し、その抽出された第M行目で第K列目の画像領域200において検出対象(この例では動き)の有無を判定する。第M行目で第K列目の画像領域200において検出対象があると判定された場合には、ステップST1216へ進み、そうでない場合には、ステップST1218へ進む。
【0334】
《ステップST1216》
次に、制御部14は、ステップST1215において検出対象ありと判定された第M行目で第K列目の画像領域200を注目対象(すなわち、注目領域)に設定する。
【0335】
《ステップST1217》
次に、検出部16は、ステップST1215において検出対象ありと判定された第M行目で第K列目の画像領域200を含む撮像画像20から対象物100(この例では人間)を検出する。次に、ステップST1218へ進む。
【0336】
《ステップST1218〜ST1223》
次に、制御部14は、予め定められた選択順序に基づいて、次回の処理対象となる画像領域200を選択する。具体的には、制御部14は、変数Kが上限値K
maxに到達しているか否かを判定し、変数Kが上限値K
maxに到達していない場合に変数Kに1を加算し、変数Mが上限値K
maxに到達している場合に変数Kを1に設定する。また、変数Kを1に設定した場合、制御部14は、変数Mが上限値M
maxに到達しているか否かを判定し、変数Mが上限値M
maxに到達していない場合に変数Mに1を加算し、変数Mが上限値M
maxに到達している場合に変数Mを1に設定する。次に、ステップST1114(
図51)へ進む。
【0337】
〈光源の発光パターン〉
図54は、実施形態10の変形例において注目領域が存在している場合の光源11の発光パターンの一例を示している。
図54では、撮像画像20に含まれる8つの画像領域200のうち第1行目で第1列目の画像領域25aが注目領域に設定され、その他の7つの画像領域200が注目領域に設定されていない。
図54に示すように、実施形態10の変形例では、注目領域に対応する光源11aが注目領域に対応する点灯期間t25において点灯する第1発光動作と、予め定められた発光順序に基づいて注目領域ではない画像領域200に対応する光源11のうち1つの光源11が発光する第2発光動作とが交互に行われるように、発光制御が行われる。なお、
図54では、撮像画像20に含まれる8つの画像領域200のうち処理の対象となる画像領域200にハッチングが付されている。
【0338】
〈実施形態10の変形例による効果〉
以上のように、注目領域(検出対象ありと判定された画像領域200)に対して検出対象の有無の判定を重点的に行うことができる。これにより、被写界のうち検出対象があると見込まれる領域を重点的に監視することができるので、被写界の監視(検出対象の有無の判定)を効果的に行うことができる。
【0339】
なお、実施形態10の変形例による撮像装置10において、複数の画像領域200が注目対象(すなわち、注目領域)に設定されていてもよい。
【0340】
そして、制御部14は、複数の注目領域(詳しくは判定部15によって検出対象ありと判定された複数の画像領域200であり同一の点灯期間t
Lに対応する複数の画像領域200)にそれぞれ対応する複数の光源11が第1発光動作において同時に発光(点灯)するように発光制御を行うように構成されていてもよい。例えば、制御部14は、実施形態2の変形例1における制御部14の動作と同様の動作を行うように構成されていてもよい。
【0341】
または、制御部14は、複数の注目領域(詳しくは判定部15によって検出対象ありと判定された複数の画像領域200であり同一の点灯期間t
Lに対応する複数の画像領域200)にそれぞれ対応する複数の光源11が第1発光動作において順に発光(点灯)するように発光制御を行うように構成されていてもよい。例えば、制御部14は、実施形態2の変形例2における制御部14の動作と同様の動作を行うように構成されていてもよい。
【0342】
〔実施形態10のその他の変形例〕
また、実施形態10による撮像装置10において、検出部16は、注目領域(判定部15によって検出対象ありと判定された画像領域200)のうち判定部15によって検出対象ありと判定された部位が注目領域の縁部である場合に、注目領域と隣接領域(注目領域の縁部に隣接する画像領域200)とを含む候補領域30から対象物100を検出するように構成されていてもよい。例えば、検出部16は、実施形態3における検出部16の動作と同様の動作を行うように構成されていてもよい。
【0343】
また、実施形態10による撮像装置10において、制御部14は、識別部17によって抽出される対象物領域40が注目領域(判定部15によって検出対象ありと判定された画像領域200)と隣接領域(注目領域の縁部に隣接する画像領域200)とに跨がっている場合に、複数の光源11a〜11dのうち注目領域および隣接領域に対応する光源11を発光(点灯)させて撮像部12に被写界を撮像させるように構成されていてもよい。そして、識別部17は、注目領域に対応する光源11が発光(点灯)しているときに撮像部12によって取得された撮像画像20から対象物領域40を抽出して対象物領域40と照合画像(第1照合画像)とを照合し、注目領域および隣接領域に対応する光源11が発光(点灯)しているときに撮像部12によって取得された撮像画像20から対象物領域40を抽出して対象物領域40と照合画像(第2照合画像)とを照合し、これらの照合結果に基づいて対象物100を識別するように構成されていてもよい。例えば、制御部14および識別部17は、実施形態4の変形例における制御部14および識別部17の動作と同様の動作を行うように構成されていてもよい。
【0344】
〔実施形態11〕
図55は、実施形態11による撮像装置10の構成例を示している。実施形態11による撮像装置10は、
図16に示した実施形態4による撮像装置10と同様の構成を有している。また、実施形態11による撮像装置10は、実施形態1〜4による撮像装置10の動作と同様の動作を行うことが可能である。
【0345】
なお、実施形態11では、複数の光源11a〜11dは、それぞれが発光量を変更可能に構成されている。また、制御部14は、撮像部12によって取得された撮像画像20のうち撮像画像20を取得するための撮像のときに発光していない光源11に対応する画像領域21の明るさ(例えば平均輝度)に基づいて、その光源11の発光量を設定するように構成されている。
【0346】
また、実施形態11による撮像装置10では、実施形態1〜4による撮像装置10の動作に加えて、
図56に示した動作が行われる。
【0347】
〈動作〉
次に、
図56を参照して、実施形態11による撮像装置10の動作について説明する。この例では、光源11a〜11dおよび画像領域21a〜21dについて設定処理の対象となる順序が予め定められている。なお、以下の説明において、変数Kは、1以上であり且つ上限値K
max以下の整数であり、処理の対象となる光源11および画像領域21の番号を示している。上限値K
maxは、2以上の整数であり、光源11の個数(この例では4)に相当する。
【0348】
《ステップST2001》
まず、制御部14は、全ての光源11a〜11dを発光させずに撮像部12に被写界(光源11によって照明されていない被写界)を撮像させる。
【0349】
《ステップST2002》
次に、制御部14は、変数Kを1に設定する。すなわち、制御部14は、予め定められた選択順序において第1番目に選択される光源11および画像領域21(例えば、光源11aおよび画像領域21a)を、今回の処理の対象となる光源11および画像領域21として選択する。
【0350】
《ステップST2003》
次に、制御部14は、ステップST2001において取得された撮像画像から第K番目の画像領域21を抽出する。そして、制御部14は、第K番目の画像領域21の明るさに基づいて、第K番目の画像領域21に対応する光源11(第K番目の光源11)の発光量を設定する。具体的には、制御部14は、第K番目の画像領域21の明るさが高くなるに連れて第K番目の光源11の発光量が少なくなるように、第K番目の画像領域21の明るさに基づいて第K番目の光源11の発光量を設定する。
【0351】
《ステップST2004》
次に、制御部14は、変数Kが上限値K
maxに到達しているか否かを判定する。すなわち、制御部14は、複数の光源11のうち処理の対象となっていない光源11(発光量が設定されていない光源11)が残っているか否かを判定する。変数Kが上限値K
maxに到達していない場合には、ステップST2005へ進み、変数Kが上限値K
maxに到達している場合には、処理を終了する。
【0352】
《ステップST2005》
ステップST2004において変数Kが上限値K
maxに到達していないと判定された場合、制御部14は、変数Kに1を加算する。すなわち、予め定められた選択順序において今回の処理の対象となっている光源11および画像領域21の次に選択される光源11および画像領域21を、次回の処理の対象となる光源11および画像領域21として選択する。次に、ステップST2003へ進む。
【0353】
〈実施形態11による効果〉
以上のように構成した場合も、実施形態1〜4による効果と同様の効果を得ることができる。すなわち、被写界の照明に要する消費電力を低減しつつ被写界の監視を継続的に行うことができる。
【0354】
また、撮像部12によって取得された撮像画像20のうち撮像画像20を取得するための撮像のときに発光していない光源11に対応する画像領域21の明るさに基づいて、その光源11の発光量を設定することができる。これにより、画像領域21の明るさが適切な明るさになるように光源11の発光量を設定することができる。
【0355】
〔実施形態12〕
図57は、実施形態12による撮像装置10の構成例を示している。実施形態12による撮像装置10は、
図16に示した実施形態4による撮像装置10と同様の構成を有している。また、実施形態12による撮像装置10は、実施形態1〜4による撮像装置10の動作を同様の動作を行うことが可能である。なお、実施形態12では、処理回路13は、制御部14と判定部15と検出部16と識別部17に加えて、設定部18を備えている。また、実施形態12では、複数の光源11a〜11dと制御部14と設定部18は、次のように構成されている。
【0356】
複数の光源11a〜11dは、それぞれが発光量を複数の発光量に切り換え可能に構成されている。
【0357】
制御部14は、複数の光源11a〜11dのうち発光させる光源11について設定すべき発光量が決定されていない場合に第1動作を行うように構成されている。第1動作では、制御部14は、光源11(複数の光源11a〜11dのうち発光させる光源11)の発光量を予め定められた順序で複数の発光量の中から選択された発光量に設定し、その選択された発光量で発光させた光源11により照らされた被写界を撮像部12に撮像させる。
【0358】
また、制御部14は、複数の光源11a〜11dのうち発光させる光源11について設定すべき発光量が決定されている場合に第2動作を行うように構成されている。第2動作では、制御部14は、光源(複数の光源11a〜11dのうち発光させる光源11)の発光量を設定すべき発光量に設定し、その設定すべき発光量で発光させた光源11により照らされた被写界を撮像部12に撮像させる。
【0359】
設定部18は、判定部15によって検出対象ありと判定された画像領域21を含む撮像画像20を取得するための撮像のときに発光している光源11の発光量を、その光源11について設定すべき発光量に決定する。
【0360】
〈動作〉
次に、
図58,
図59を参照して、実施形態12による撮像装置10の動作について説明する。実施形態12による撮像装置10では、複数の光源11a〜11dの各々に対して以下の処理が行われる。なお、
図58に示した動作は、光源11について設定すべき発光量に決定されていない場合に行われる動作(第1動作)に対応する。
図59に示した動作は、光源11について設定すべき発光量が決定されている場合に行われる動作(第2動作)に対応する。また、以下の説明において、変数Jは、1以上であり且つ上限値J
max以下の整数であり、処理の対象となる発光量の番号(例えば、発光量の段階を示した番号)を示している。上限値J
maxは、2以上の整数であり、光源11の設定可能な発光量の数(例えば、発光量の切り換え段階数)に相当する。
【0361】
《ステップST3001》
光源11(この処理の対象としている光源11、以下同様)について設定すべき発光量が決定されていない場合、制御部14は、変数Jを1に設定する。すなわち、制御部14は、第1番目の発光量を今回の処理の対象として選択する。
【0362】
《ステップST3002》
次に、制御部14は、光源11の発光量を第J番目の発光量に設定する。
【0363】
《ステップST3003》
次に、制御部14は、第J番目の発光量に設定された光源11により照らされた被写界が撮像部12に撮像されたか否かを判定する。例えば、制御部14は、第J番目の発光量に設定された光源11により被写界が照らされている期間中に、少なくとも1回の撮像(被写界の撮像)が撮像部12によって行われて少なくとも1枚の撮像画像が取得されたか否かを判定する。第J番目の発光量に設定された光源11により照らされた被写界が撮像部12に撮像された場合には、ステップST3004へ進み、そうでない場合には、ステップST3003を繰り返す。
【0364】
《ステップST3004》
次に、判定部15は、ステップST3003において取得された撮像画像から光源11に対応する画像領域21を抽出し、その抽出された画像領域21において検出対象の有無を判定する。画像領域21において検出対象があると判定された場合には、ステップST3005へ進み、そうでない場合には、ステップST3006へ進む。
【0365】
《ステップST3005》
次に、設定部18は、ステップST3004において検出対象ありと判定された画像領域21を含む撮像画像を取得するための撮像のときの光源11の発光量を、この光源11について設定すべき発光量に決定する。すなわち、設定部18は、ステップST3002において光源11の今回の発光量に設定された第J番目の発光量を、この光源11について設定すべき発光量に決定する。具体的には、設定部18は、第J番目の発光量を光源11について設定すべき発光量として設定部18(記憶領域)に登録する。次に、ステップST3006へ進む。
【0366】
《ステップST3006》
次に、制御部14は、変数Jが上限値J
maxに到達しているか否かを判定する。すなわち、制御部14は、複数の発光量の中に処理の対象として選択されていない発光量が残っているか否かを判定する。変数Jが上限値J
maxに到達していない場合には、ステップST3007へ進み、変数Jが上限値J
maxに到達している場合には、ステップST3008へ進む。
【0367】
《ステップST3007》
ステップST3006において変数Jが上限値J
maxに到達していないと判定された場合、制御部14は、変数Jに1を加算する。すなわち、制御部14は、複数の発光量の中から未だ選択されていない発光量を次回の処理の対象として選択する。次に、ステップST3002へ進む。
【0368】
《ステップST3008》
一方、ステップST3006において変数Jが上限値J
maxに到達していると判定された場合、制御部14は、光源11について設定すべき発光量が決定されているか否かを判定する。具体的には、制御部14は、光源11について複数の発光量のうち設定すべき発光量として設定部18(記憶領域)に登録された発光量があるか否かを判定する。光源11について設定すべき発光量が決定されている場合には、ステップST3101(
図59)へ進み、そうでない場合には、ステップST3001へ進む。
【0369】
《ステップST3101》
光源11について設定すべき発光量が決定されている場合、制御部14は、変数Jを1に設定する。すなわち、制御部14は、第1番目の発光量を今回の処理の対象として選択する。
【0370】
《ステップST3102》
次に、制御部14は、光源11について第J番目の発光量(すなわち、今回の処理の対象となっている発光量)が設定すべき発光量に決定されているか否かを判定する。第J番目の発光量が設定すべき発光量に決定されてない場合には、ステップST3103へ進み、第J番目の発光量が設定すべき発光量に決定されている場合には、ステップST3105へ進む。
【0371】
《ステップST3103》
次に、制御部14は、変数Jが上限値J
maxに到達しているか否かを判定する。変数Jが上限値J
maxに到達していない場合には、ステップST3104へ進み、変数Jが上限値J
maxに到達している場合には、ステップST3101へ進む。
【0372】
《ステップST3104》
ステップST3103において変数Jが上限値J
maxに到達していないと判定された場合、制御部14は、変数Jに1を加算する。次に、ステップST3102へ進む。
【0373】
《ステップST3105》
一方、ステップST3102において、光源11について第J番目の発光量が設定すべき発光量に決定されていると判定された場合、制御部14は、光源11の発光量を第J番目の発光量に設定する。
【0374】
《ステップST3106》
次に、制御部14は、第J番目の発光量に設定された光源11により照らされた被写界が撮像部12に撮像されたか否かを判定する。第J番目の発光量に設定された光源11により照らされた被写界が撮像部12に撮像された場合には、ステップST3107へ進み、そうでない場合には、ステップST3106を繰り返す。
【0375】
《ステップST3107》
次に、判定部15は、ステップST3106において取得された撮像画像20から光源11に対応する画像領域21を抽出し、その抽出された画像領域21において検出対象の有無を判定する。画像領域21において検出対象がないと判定された場合には、ステップST3108へ進み、画像領域21において検出対象があると判定された場合には、ステップST3110へ進む。
【0376】
《ステップST3108》
次に、設定部18は、ステップST3107において検出対象なしと判定された画像領域21を含む撮像画像20を取得するための撮像のときの光源11の発光量(すなわち、ステップST3105において光源11の今回の発光量として設定された第J番目の発光量)を設定すべき発光量とする決定を解除する。具体的には、設定部18は、光源11について設定部18(記憶領域)における第J番目の発光量の登録(設定すべき発光量としての登録)を削除する。次に、ステップST3109へ進む。
【0377】
《ステップST3109》
次に、制御部14は、光源11について設定すべき発光量が決定されているか否かを判定する。設定すべき発光量が決定されている場合には、ステップST3110へ進み、そうでない場合には、ステップST3001(
図58)へ進む。
【0378】
《ステップST3110,ST3111》
ステップST3109において光源11について設定すべき発光強度が決定されていると判定された場合、制御部14は、変数Jが上限値J
maxに到達しているか否かを判定する。変数Jが上限値J
maxに到達していない場合、制御部14は、変数Jに1を加算する。次に、ステップST3102へ進む。一方、変数Jが上限値J
maxに到達している場合には、ステップST3101へ進む。
【0379】
〈実施形態12による効果〉
以上のように構成した場合も、実施形態1〜4による効果と同様の効果を得ることができる。すなわち、被写界の照明に要する消費電力を低減しつつ被写界の監視を継続的に行うことができる。
【0380】
また、光源11について設定すべき発光量が決定されていない場合に、検出対象の有無の判定に適した発光量を決定することができ、光源11について設定すべき発光量が決定されている場合に、検出対象の有無の判定に適した発光量で被写界を撮像することができる。
【0381】
〔実施形態13〕
実施形態13による撮像装置10は、
図16に示した実施形態4による撮像装置10と同様の構成を有している。また、実施形態13による撮像装置10は、実施形態1〜4による撮像装置10の動作と同様の動作を行うことが可能である。なお、実施形態13では、複数の光源11a〜11dと撮像部12と制御部14は、次のように構成されている。
【0382】
複数の光源11a〜11dは、それぞれが発光量を互いに異なる2つの発光量(第1発光量と第1発光量よりも少ない第2発光量)に切り換え可能に構成されている。
【0383】
撮像部12は、その露光時間を互いに異なる2つの露光時間(第1露光時間と第1露光時間よりも長い第2露光時間)に切り換え可能に構成されている。
【0384】
制御部14は、判定部15によって検出対象ありと判定された画像領域21に対応する光源11の発光量を第1発光量に設定するとともに、その光源11により照らされた被写界を撮像するときの撮像部12の露光時間を第1露光時間に設定するように構成されている。また、制御部14は、判定部15によって検出対象なしと判定された画像領域21に対応する光源11の発光量を第2発光量に設定するとともに、その光源11により照らされた被写界を撮像するときの撮像部12の露光時間を第2露光時間に設定するように構成されている。
【0385】
〈動作〉
次に、
図60を参照して、実施形態13による撮像装置10の動作について説明する。実施形態12による撮像装置10では、複数の光源11a〜11dの各々に対して以下の処理が行われる。
【0386】
《ステップST4001》
まず、制御部14は、光源11(この処理の対象としている光源11、以下同様)の発光量を第1発光量(すなわち「多」)に設定するとともに、撮像部12の露光時間を第1露光時間(すなわち「短」)に設定する。
【0387】
《ステップST4002》
次に、制御部14は、予め設定された発光量(具体的には、ステップST4001,ST4004,ST4005において設定された発光量)で発光している光源11により照らされた被写界が予め設定された露光時間(具体的には、ステップST4001,ST4004,ST4005において設定された露光時間)で露光している撮像部12に撮像されたか否かを判定する。例えば、制御部14は、光源11が予め設定された発光量で発光している期間中に、予め設定された露光時間で露光させた撮像部12によって被写界の撮像がN回連続して行われて時系列に連続するN枚(Nは2以上の整数)の撮像画像20からなる撮像画像列が取得されたか否かを判定する。予め設定された発光量で発光している光源11により照らされた被写界が予め設定された露光時間で露光している撮像部12に撮像された場合には、ステップST4003へ進み、そうでない場合には、ステップST4002を繰り返す。
【0388】
《ステップST4003》
次に、判定部15は、ステップST4002において取得された撮像画像20から光源11に対応する画像領域21を抽出し、その抽出された画像領域21において検出対象の有無を判定する。画像領域21に検出対象があると判定された場合には、ステップST4004へ進み、そうでない場合には、ステップST4005へ進む。
【0389】
《ステップST4004》
ステップST4003において検出対象ありと判定された場合、制御部14は、光源11の発光量を第1発光量(すなわち「多」)に設定するとともに、撮像部12の露光時間を第1露光時間(すなわち「短」)に設定する。次に、ステップST4006へ進む。
【0390】
《ステップST4005》
一方、ステップST4003において検出対象なしと判定された場合、制御部14は、光源11の発光量を第2発光量(すなわち「少」)に設定するとともに、撮像部12の露光時間を第2露光時間(すなわち「長」)に設定する。次に、ステップST4006へ進む。
【0391】
《ステップST4006》
次に、処理を終了する場合には、処理を終了し、処理を継続する場合には、ステップST4002へ進む。
【0392】
〈実施形態13による効果〉
以上のように構成した場合も、実施形態1〜4による効果と同様の効果を得ることができる。すなわち、被写界の照明に要する消費電力を低減しつつ被写界の監視を継続的に行うことができる。
【0393】
また、判定部15によって検出対象ありと判定された場合に光源11の発光量を第1発光量に設定するとともに撮像部12の露光時間を第1露光時間に設定することにより、光源11の発光量が常に第2発光量(第1発光量よりも少ない発光量)に設定されて撮像部12の露光時間が常に第2露光時間(第1露光時間よりも長い露光時間)に設定されている場合よりも、撮像部12による被写界の撮像を迅速に行うことができる。
【0394】
また、判定部15によって検出対象なしと判定された場合に光源11の発光量を第2発光量(第1発光量よりも少ない発光量)に設定するとともに撮像部12の露光時間を第2露光時間(第1露光時間よりも長い露光時間)に設定することにより、判定部15によって検出対象ありと判定された場合(すなわち、光源11の発光量が第1発光量に設定されて撮像部12の露光時間が第1露光時間に設定されている場合)よりも、光源11の発光量を低くすることができるとともに撮像部12の露光時間を長くすることができる。これにより、光源11の消費電力を低減することができる。また、光源11の発光量を低下させる一方で撮像部12の露光時間を長くすることにより、光源11の発光量の低下に起因する撮像画像の明るさの低下を補償することができる。
【0395】
なお、以上の説明では、ステップST4001において光源11の発光量を第1発光量(すなわち「多」)に設定するとともに撮像部12の露光時間を第1露光時間(すなわち「短」)に設定する場合を例に挙げたが、制御部14は、ステップST4001において光源11の発光量を第2発光量(すなわち「少」)に設定するとともに撮像部12の露光時間を第2露光時間(すなわち「長」)に設定するように構成されていてもよい。
【0396】
〔その他の実施形態〕
なお、以上の実施形態および変形例を適宜組み合わせて実施してもよい。以上の実施形態および変形例は、本質的に好ましい例示であって、この開示、その適用物、あるいはその用途の範囲を制限することを意図するものではない。
【0397】
例えば、実施形態10による撮像装置10に対して実施形態6における制御を適用してもよい。すなわち、実施形態10による撮像装置10において、複数の光源11a〜11dは、それぞれが発光量を変更可能に構成されていてもよい。そして、制御部14は、撮像部12によって取得された撮像画像20のうち撮像画像20を取得するための撮像のときに発光していない光源11に対応する画像領域200の明るさに基づいて光源11の発光量を設定するように構成されていてもよい。例えば、制御部14は、実施形態6における制御部14の動作と同様の動作を行うように構成されていてもよい。
【0398】
また、実施形態10による撮像装置10に対して実施形態7,8における制御を適用してもよい。すなわち、実施形態10による撮像装置10は、設定部18をさらに備えていてもよい。また、複数の光源11a〜11dは、それぞれが発光量を複数の発光量に切り換え可能に構成されていてもよい。また、制御部14は、複数の光源11a〜11dのうち発光させる光源11について設定すべき発光量が決定されていない場合に、その光源11の発光量を予め定められた順序で複数の発光量の中から選択された発光量に設定して選択された発光量で発光(点灯)させた光源11により照らされた被写界を撮像部12に撮像させる第1動作を行い、複数の光源11a〜11dのうち発光させる光源11について設定すべき発光量が決定されている場合に、その光源11の発光量を設定すべき発光量に設定して設定すべき発光量で発光(点灯)させた光源11により照らされた被写界を撮像部12に撮像させる第2動作を行うように構成されていてもよい。そして、設定部18は、判定部15によって検出対象ありと判定された画像領域200を含む撮像画像20を取得するための撮像のときに発光(点灯)している光源11の発光量を、その光源11について設定すべき発光量に決定するように構成されていてもよい。例えば、制御部14および設定部18は、実施形態7,8における制御部14および設定部18の動作と同様の動作を行うように構成されていてもよい。
【0399】
また、実施形態10による撮像装置10に対して実施形態9における制御を適用してもよい。すなわち、実施形態10による撮像装置10において、複数の光源11a〜11dは、それぞれが発光量を第1発光量と第2発光量(第1発光量よりも少ない発光量)とに切り換え可能に構成されていてもよい。また、撮像部12は、その露光時間を第1露光時間と第2露光時間(第1露光時間よりも長い露光時間)とに切り換え可能に構成されていてもよい。そして、制御部14は、判定部15によって検出対象ありと判定された画像領域200に対応する光源11の発光量を第1発光量に設定するとともにその光源11により照らされた被写界を撮像するときの撮像部12の露光時間を第1露光時間に設定し、判定部15によって検出対象なしと判定された画像領域200に対応する光源11の発光量を第2発光量に設定するとともにその光源11により照らされた被写界を撮像するときの撮像部12の露光時間を第2露光時間に設定するように構成されていてもよい。例えば、制御部14は、実施形態9における制御部14の動作と同様の動作を行うように構成されていてもよい。
【0400】
上に説明されてきたものには、本発明のさまざまな例が含まれる。本発明を記載する目的では、要素や手順の考えられるあらゆる組み合わせを記載することは当然のことながら不可能であるが、当業者なら本発明の多くのさらなる組み合わせおよび順列が可能であることがわかるだろう。したがって本発明は、特許請求の範囲の精神および範囲に入るそのような改変、変更および変形例を全て含むよう意図される。