【文献】
池田美鈴 外3名,動画像からの顔領域抽出法,電子情報通信学会2000年総合大会講演論文集 情報・システム2,社団法人電子情報通信学会,2000年 3月 7日,第228頁
(58)【調査した分野】(Int.Cl.,DB名)
動画像を構成するフレームのうち、顔を検出する対象となるフレームである検出対象フレームと前記検出対象フレームとは異なる時点で撮影されたフレームとの差分を算出し、当該算出した差分が所定の閾値以上となるフレームの領域を動体領域として検出する動体検出部と、
前記検出対象フレームとは異なる時点で撮影されたフレームの領域であって、顔が存在する領域である顔領域、及び、前記動体検出部により検出された前記動体領域の双方を対象領域として設定する領域設定部と、
前記検出対象フレームにおいて前記領域設定部により設定された前記対象領域から顔を検出する顔検出部と、を備え、
前記検出対象フレームは、所定のフレーム間隔をあけて撮影されるフレームであり、
前記顔検出部は、第1の検出対象フレームから顔を検出したときには、前記第1の検出対象フレームと当該第1の検出対象フレームに続く第2の検出対象フレームとの間に撮影されるフレームである中間フレームからも顔を検出し、
前記領域設定部は、前記第1の検出対象フレームから前記顔検出部により顔が検出されたときには、前記中間フレームの前記顔領域、及び、前記動体領域の双方を、前記第2の検出対象フレームにおいて前記顔検出部により顔を検出する対象領域として設定する
顔検出装置。
動画像を構成するフレームのうち、顔を検出する対象となるフレームである検出対象フレームと前記検出対象フレームとは異なる時点で撮影されたフレームとの差分を算出し、当該算出した差分が所定の閾値以上となるフレームの領域を動体領域として検出する動体検出部と、
前記検出対象フレームとは異なる時点で撮影されたフレームの領域であって、顔が存在する領域である顔領域、及び、前記動体検出部により検出された前記動体領域の双方を対象領域として設定する領域設定部と、
前記検出対象フレームにおいて前記領域設定部により設定された前記対象領域から顔を検出する顔検出部と、を備え、
前記領域設定部は、前記動体領域として複数の領域が存在するとき、当該複数の領域のうち、前記検出対象フレームとは異なる時点で撮影されたフレームの前記顔領域よりもサ
イズの小さい領域を、前記検出対象フレームにおいて前記顔検出部により顔を検出する対象領域から除外する
顔検出装置。
動画像を構成するフレームのうち、顔を検出する対象となるフレームである検出対象フレームと前記検出対象フレームとは異なる時点で撮影されたフレームとの差分を算出し、当該算出した差分が所定の閾値以上となるフレームの領域を動体領域として検出する動体検出処理と、
前記検出対象フレームとは異なる時点で撮影されたフレームの領域であって、顔が存在する領域である顔領域、及び、前記動体検出処理により検出された前記動体領域の双方を対象領域として設定する領域設定処理と、
前記検出対象フレームにおいて前記領域設定処理により設定された前記対象領域から顔を検出する顔検出処理と、を含み、
前記検出対象フレームは、所定のフレーム間隔をあけて撮影されるフレームであり、
前記顔検出処理は、第1の検出対象フレームから顔を検出したときには、前記第1の検出対象フレームと当該第1の検出対象フレームに続く第2の検出対象フレームとの間に撮影されるフレームである中間フレームからも顔を検出し、
前記領域設定処理は、前記第1の検出対象フレームから前記顔検出処理により顔が検出されたときには、前記中間フレームの前記顔領域、及び、前記動体領域の双方を、前記第2の検出対象フレームにおいて前記顔検出処理により顔を検出する対象領域として設定する
顔検出方法。
動画像を構成するフレームのうち、顔を検出する対象となるフレームである検出対象フレームと前記検出対象フレームとは異なる時点で撮影されたフレームとの差分を算出し、当該算出した差分が所定の閾値以上となるフレームの領域を動体領域として検出する動体検出処理と、
前記検出対象フレームとは異なる時点で撮影されたフレームの領域であって、顔が存在する領域である顔領域、及び、前記動体検出処理により検出された前記動体領域の双方を
対象領域として設定する領域設定処理と、
前記検出対象フレームにおいて前記領域設定処理により設定された前記対象領域から顔を検出する顔検出処理と、を含み、
前記領域設定処理は、前記動体領域として複数の領域が存在するとき、当該複数の領域のうち、前記検出対象フレームとは異なる時点で撮影されたフレームの前記顔領域よりもサイズの小さい領域を、前記検出対象フレームにおいて前記顔検出処理により顔を検出する対象領域から除外する
顔検出方法。
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上記特許文献1に記載の装置では、例えば道路に面している場所を撮影する場合、背景に登場した車が一時的に停車していても、車の領域が差分として検出される。その結果、顔検出対象領域を十分に限定することができず、動画像から顔を検出する際の処理負荷を適正に低減することができないという問題があった。
【0006】
また、上記特許文献2に記載の装置では、基準フレームと比較対象フレームとの差分が閾値を上回るとフレーム全体で顔の検出が行われるため、両フレーム間の変化がフレーム全体に及ぶものでなくても、フレーム全体を顔検出対象領域として顔の検出が行われる。その結果、例えばフレーム内の一部で変化が頻繁に生じる撮影場所では、処理時間の短縮の効果が小さいという問題があった。
【0007】
本発明は、このような実情に鑑みてなされたものであり、その目的は、同じ場所を撮影した動画像から顔を検出する際の処理負荷を低減することのできる顔検出装置、顔検出方法、顔検出プログラム、及び動画像から対象物を検出する際の処理負荷を低減することのできる対象物検出装置を提供することにある。
【課題を解決するための手段】
【0008】
上記課題を解決するため、本発明は、動画像を構成するフレームのうち、顔を検出する対象となるフレームである検出対象フレームと前記検出対象フレームとは異なる時点で撮影されたフレームとの差分を算出し、当該算出した差分が所定の閾値以上となるフレームの領域を動体領域として検出する動体検出部と、前記検出対象フレームとは異なる時点で撮影されたフレームの領域であって、顔が存在する領域である顔領域、及び、前記動体検出部により検出された前記動体領域の双方を対象領域として設定する領域設定部と、前記検出対象フレームにおいて前記領域設定部により設定された前記対象領域から顔を検出する顔検出部とを備えることを特徴とする。
【0009】
また、上記課題を解決するため、本発明は、動画像を構成するフレームのうち、顔を検出する対象となるフレームである検出対象フレームと前記検出対象フレームとは異なる時点で撮影されたフレームとの差分を算出し、当該算出した差分が所定の閾値以上となるフレームの領域を動体領域として検出する動体検出処理と、前記検出対象フレームとは異なる時点で撮影されたフレームの領域であって、顔が存在する領域である顔領域、及び、前記動体検出処理により検出された前記動体領域の双方を対象領域として設定する領域設定処理と、前記検出対象フレームにおいて前記領域設定処理により設定された前記対象領域から顔を検出する顔検出処理とを含むことを特徴とする。
【0010】
また、上記課題を解決するため、本発明は、コンピュータに、動画像を構成するフレームのうち、顔を検出する対象となるフレームである検出対象フレームと前記検出対象フレームとは異なる時点で撮影されたフレームとの差分を算出し、当該算出した差分が所定の閾値以上となるフレームの領域を動体領域として検出する動体検出処理と、前記検出対象フレームとは異なる時点で撮影されたフレームの領域であって、顔が存在する領域である顔領域、及び、前記動体検出処理により検出された前記動体領域の双方を対象領域として設定する領域設定処理と、前記検出対象フレームにおいて前記領域設定処理により設定された前記対象領域から顔を検出する顔検出処理とを実行させることを特徴とする。
【0011】
上記構成によれば、予め登録した背景画像ではなく、動画像を構成するフレーム同士の差分に基づいて動体領域を検出する。これにより、例えば道路に面している場所を撮影する場合、背景に登場した車が停車しているのであれば、車の領域が動体領域としては検出されない。すなわち、背景に物体が登場としたとしても、その物体が静止しているのであれば動体領域としては検出されない。また、動画像を構成するフレームの変化がフレームの一部のみで生じる場合には、当該変化を生じる部分のみが動体領域として設定される。そのため、背景の変化に起因して動体領域が必要以上に大きくなりにくい。したがって、こうした動体領域を対象として検出対象フレームから顔を検出することにより、動画像から顔を検出する際の処理負荷を低減することができる。また、上記構成によれば、動画像を構成するフレーム同士の差分に基づく動体領域に加え、検出対象フレームとは異なる時点で撮影されたフレームから顔が検出された顔領域を対象として検出対象フレームから顔を検出する。これにより、動画像に含まれる人物が静止しており、動画像を構成するフレーム同士の差分が得られにくいときであっても、動画像から顔を検出することができる。すなわち、動画像に含まれる人物が移動と静止とを連続して行うときにも、動画像からの顔の検出を継続して行うことができる。
【0012】
また、本発明は、上記発明において、前記領域設定部は、前記顔領域及び前記動体領域のうち少なくとも一方が含まれる領域を、前記顔検出部により都度行われる顔の検出の際の前記対象領域として設定することを特徴とする。
【0013】
一般に、動画像に含まれる人物の動きが比較的小さいときには、検出対象フレームと当該検出対象フレームとは異なる時点で撮影されたフレームとの差分に基づき検出される動体領域と、検出対象フレームとは異なる時点で撮影されたフレームから顔が検出された顔領域とは、部分的に重畳する可能性が高い。そこで、上記構成では、これら領域のうち少なくとも一方が含まれる領域を検出対象フレームにおいて顔を検出する対象領域として設定する。これにより、一回の処理によって、顔領域及び動体領域のうち少なくとも一方が含まれる領域を対象領域とした顔の検出が行われることとなる。そのため、これら領域ごとに検出対象フレームからの顔の検出を別々の処理として行う場合と比較して、その処理負荷をより一層低減することができる。
【0014】
また、本発明は、上記発明において、前記検出対象フレームは、所定のフレーム間隔をあけて撮影されるフレームであり、前記顔検出部は、第1の検出対象フレームから顔を検出したときには、前記第1の検出対象フレームと当該第1の検出対象フレームに続く第2の検出対象フレームとの間に撮影されるフレームである中間フレームからも顔を検出し、前記領域設定部は、前記第1の検出対象フレームから前記顔検出部により顔が検出されたときには、前記中間フレームの前記顔領域、及び、前記動体領域の双方を、前記第2の検出対象フレームにおいて前記顔検出部により顔を検出する対象領域として設定することを特徴とする。
【0015】
上記構成によれば、検出対象フレームから顔が検出されたときには、動画像を構成するフレームのうち、時系列的に隣り合う検出対象フレームの間に撮影される中間フレームからも顔を検出する。そのため、所定のフレーム間隔で撮影された検出対象フレームのみから顔を検出する場合と比較して、検出対象フレームにおいて顔を検出する対象領域の設定に用いられる顔領域の更新の頻度が高まる。そのため、検出対象フレームからの顔の検出をより一層高い精度で行うことができる。その一方で、検出対象フレームから顔が検出されないときには、動画像を構成するフレームのうち、当該検出対象フレームから所定のフレーム間隔をあけて撮影された次の検出対象フレームからの顔の検出を実行する。すなわち、動画像に人物が含まれていないときには、フレームからの顔の検出を実行する頻度を抑えることにより、動画像から顔を検出する際の処理負荷をより一層低減することができる。
【0016】
また、本発明は、上記発明において、前記領域設定部は、前記第1の検出対象フレームの前記顔領域に基づき、前記中間フレームにおいて前記顔検出部により顔を検出する対象領域を設定することを特徴とする。
【0017】
上記構成によれば、検出対象フレームから顔が検出されたときには、当該検出された顔領域に基づき設定される領域を対象として、時系列的に隣り合う検出対象フレームの間に撮影される中間フレームから顔を検出する。すなわち、検出対象フレームと中間フレームとは、時系列的に近接して撮影されたフレームであることから、検出対象フレームから顔が検出された顔領域に基づく領域を、中間フレームからの顔の検出の対象領域として適用する。これにより、顔を検出する際の処理負荷を低減しつつも、動画像からの顔の検出の精度を高めることができる。
【0018】
また、本発明は、上記発明において、前記検出対象フレームは、複数のフレーム間隔をあけて撮影されるフレームであり、前記領域設定部は、前記第1の検出対象フレームから前記顔検出部により顔が検出されたときには、前記第1の検出対象フレームに続く複数の前記中間フレームのうち、時系列的に前記第2の検出対象フレームに最も近い時点で撮影された前記中間フレームの前記顔領域、及び、前記動体領域の双方を、前記第2の検出対象フレームにおいて前記顔検出部により顔を検出する対象領域として設定することを特徴とする。
【0019】
上記構成によれば、第2の検出対象フレームにおいて顔を検出する対象領域の設定に用いられる中間フレームと第2の検出対象フレームとが時系列的により一層近接する。これにより、顔の検出の精度を更に高めることができる。
【0020】
また、本発明は、上記発明において、前記検出対象フレームは、所定のフレーム間隔をあけて撮影されるフレームであり、前記動体検出部は、時系列的に連続する前記検出対象フレーム同士の差分に基づき前記動体領域を検出することを特徴とする。
【0021】
上記構成によれば、動画像を構成するフレームのうち、時系列的に連続するフレーム同士を比較の対象として動体領域を検出する構成と比較して、比較の対象となるフレーム同士の撮影間隔が確保されやすい。そのため、動画像に含まれる人物がゆっくりと移動しているときであっても、比較の対象となるフレームに含まれる人物の位置が部分的に重なるような状況が発生しにくい。したがって、動画像を構成するフレームの中から、移動中にある人物の領域を動的領域としてより一層的確に検出することが可能となる。
【0022】
また、本発明は、上記発明において、前記領域設定部は、前記動体領域として複数の領域が存在するとき、当該複数の領域のうち、前記検出対象フレームとは異なる時点で撮影されたフレームの前記顔領域よりもサイズの小さい領域を、前記検出対象フレームにおいて前記顔検出部により顔を検出する対象領域から除外することを特徴とする。
【0023】
一般に、動画像の背景が変化するときには、動画像に含まれる人物の領域の他に、動画像の背景自体の変化に起因して、動画像を構成するフレーム同士の差分が大きくなる領域が点在しやすくなる。そこで、上記構成によるように、こうした動画像の背景の変化に起因して点在した差分の大きい領域を検出対象フレームにおいて顔を検出する対象領域から除外することにより、動画像から顔を検出する際の処理負荷をより一層低減することができる。
【0024】
また、上記課題を解決するため、本発明は、動画像を構成するフレームのうち、対象物を検出する対象となるフレームである検出対象フレームと前記検出対象フレームとは異なる時点で撮影されたフレームとの差分を算出し、当該算出した差分が所定の閾値以上となるフレームの領域を動体領域として検出する動体検出部と、前記検出対象フレームとは異なる時点で撮影されたフレームの領域であって、対象物が存在する領域である対象物領域、及び、前記動体検出部により検出された前記動体領域の双方を対象領域として設定する領域設定部と、前記検出対象フレームにおいて前記領域設定部により設定された前記対象領域から対象物を検出する対象物検出部とを備えることを特徴とする。
【0025】
上記構成によれば、予め登録した背景画像ではなく、動画像を構成するフレーム同士の差分に基づいて動体領域を検出する。これにより、例えば道路に面している場所を撮影する場合、背景に登場した車が停車しているのであれば、車の領域が動体領域としては検出されない。すなわち、背景に物体が登場としたとしても、その物体が静止しているのであれば動体領域としては検出されない。また、動画像を構成するフレームの変化がフレームの一部のみで生じる場合には、当該変化を生じる部分のみが動体領域として設定される。そのため、背景の変化に起因して動体領域が必要以上に大きくなりにくい。したがって、こうした動体領域を対象として検出対象フレームから対象物を検出することにより、動画像から対象物を検出する際の処理負荷を低減することができる。また、上記構成によれば、動画像を構成するフレーム同士の差分に基づく動体領域に加え、検出対象フレームとは異なる時点で撮影されたフレームから対象物が検出された対象物領域を対象として検出対象フレームから対象物を検出する。これにより、動画像に含まれる対象物が静止しており、動画像を構成するフレーム同士の差分が得られにくいときであっても、動画像から対象物を検出することができる。すなわち、動画像に含まれる対象物が移動と静止とを繰り返すときにも、動画像からの対象物の検出を継続して行うことができる。
【発明の効果】
【0026】
本発明によれば、同じ場所を撮影した動画像から顔を検出する際の処理負荷を低減することができる。
【発明を実施するための形態】
【0028】
以下、本発明の実施の形態として、検出する対象物を顔とした対象物検出装置である顔検出装置及び該顔検出装置を用いた顔検出方法の一実施の形態について図面を参照して説明する。
【0029】
本実施の形態の顔検出装置は、監視カメラにより入力される動画像から顔を検出するための装置であり、当該検出した顔を人物の照合に利用する顔照合装置の一部を構成している。この顔検出装置では、動画像から顔を検出する際に、検出の対象となる範囲となる対象物領域(以下、顔検出対象領域という)を限定することにより、動画像から顔を検出する際の処理負荷の低減を図っている。
【0030】
具体的には、
図1に示すように、顔照合装置100は、動画像から顔を検出する機能部としての顔検出装置110と、顔検出装置110により検出した顔に基づき人物の照合を行う機能部としての照合部160とを備えている。
【0031】
顔検出装置110は、例えばCPU(中央演算装置)、ROM(読み出し専用メモリ)、RAM(ランダムアクセスメモリ)、バックアップRAM、外部入力回路、及び外部出力回路等から構成された電子制御装置(コンピュータ)である。そして、顔検出装置110は、CPUがROMに格納された顔検出プログラムを実行することにより、動体検出部130、対象物検出部としての顔検出部140、及び、領域設定部150として機能する。
【0032】
動体検出部130は、監視カメラ10からインターフェース部120を通じて動画像をフレーム単位で取得する。また、動体検出部130は、こうして取得したフレーム同士の差分を算出し、当該算出した差分が所定の閾値以上となる領域を動体領域として検出する。ここで、動体領域とは、動画像の中で画素の輝度値が大きく変化する領域を意味している。そして、動画像に含まれる人物が移動しているときには、顔を含めた人物の身体全体の領域が動体領域に含まれる。
【0033】
顔検出部140は、監視カメラ10からインターフェース部120を通じて動画像をフレーム単位で取得する。また、顔検出部140は、こうして取得したフレームから、領域設定部150により事前に設定された顔検出対象領域TA(
図5等参照)を対象として顔を検出し、当該検出した顔のデータを照合部160に出力する。
【0034】
このとき、
図2に示すように、顔検出部140は、事前に設定された顔検出対象領域TAの中から所定の領域S1を選択し、当該選択した領域S1を複数の単位領域S2に区分する。そして、各単位領域S2から得られる画像のデータと、予め複数の人物の顔画像から作成した平均顔画像を単位領域S2と同様に区分した画像のデータとを単位領域毎に照合し、各単位領域毎の類似度の合計値に基づき、上述のように選択した領域S1に顔が含まれるか否かを検出する。そして、顔検出部140は、領域S1の位置や大きさを変更して照合を繰り返し、選択した領域S1に顔が含まれるときには、当該選択した領域S1を顔が存在する領域である顔領域として検出する。
【0035】
照合部160は、顔検出部140から入力された顔のデータを、テンプレート記憶部170に事前に格納している複数のユーザの顔のデータと比較する。そして、照合部160は、それら比較した顔のデータの類似度に基づき人物の照合を行い、その照合結果を外部に出力する。
【0036】
ここで、顔検出部140により顔を検出する対象となるフレームを検出対象フレームとするとき、検出対象フレームと、検出対象フレームよりも前に撮影されたフレームとの差分に基づく動体領域が動体検出部130から領域設定部150に出力される。そして、領域設定部150は、動体検出部130から入力された動体領域を動体マスクMM(
図5等参照)として設定する。また、動画像を構成するフレームのうち、上述した検出対象フレームよりも前に撮影されたフレームから検出された顔領域が顔検出部140から領域設定部150に出力される。そして、領域設定部150は、顔検出部140から入力される顔領域を顔マスクFM(
図5等参照)として設定する。
【0037】
また、領域設定部150は、例えばフレームの周縁部等、フレームからの顔の検出が想定しにくい領域を除外した領域を初期マスクPM(
図5等参照)として設定する。そして、領域設定部150は、動体マスクMM及び顔マスクFMのうち少なくとも一方が含まれる領域と初期マスクPMとが重なる領域を、検出対象フレームにおける顔検出対象領域TAとして設定する。すなわち、領域設定部150は、動体マスクMM及び顔マスクFMの双方を、検出対象フレームにおける顔検出対象領域TAとして設定する。
【0038】
なお、
図3(a)に示すように、領域設定部150が動体マスクMM及び顔マスクFMに基づき顔検出対象領域TAを設定する対象となる検出対象フレームは、動画像を構成するフレームのうち、所定のフレーム間隔(同図に示す例では、2フレーム間隔)で撮影されたキーフレームに相当する。そして、
図3(b)に示すように、領域設定部150は、キーフレームから顔が検出されないときには、時系列的に隣り合うキーフレーム間の中間フレームである非キーフレームに対しては顔検出対象領域TAを設定しない。その一方で、
図3(c)に示すように、領域設定部150は、キーフレームから顔が検出されたときには、当該キーフレームを第1の検出対象フレームとし、第1の検出対象フレームに続いて撮影されるキーフレームを第2の検出対象フレームとする。そして、領域設定部150は、第1の検出対象フレームと第2の検出対象フレームとの間に撮影される中間フレームである非キーフレームに対しても顔検出対象領域TAを設定する。このとき、領域設定部150は、キーフレームから顔が検出された顔領域及びその周辺領域を、当該検出された顔領域に追随させるかたちでキーフレームに連続して撮影される非キーフレームにおける顔検出対象領域TAとして設定する。これは、時系列的に隣り合うキーフレーム間では時間間隔が比較的短く、キーフレームにおいて顔が検出された位置から非キーフレームにおける顔の位置が大きく変化することが想定しにくいためである。
【0039】
より詳細には、
図4(a)に示すように、領域設定部150は、キーフレームから動体検出部130により検出された動体領域を動体マスクMMとして設定する。そして、領域設定部150は、こうしてキーフレームから設定した動体マスクMMと、直前の非キーフレーム(図示略)から設定された顔マスクFMとに基づき、キーフレームにおける顔検出対象領域TAを設定する。そして、顔検出部140は、こうして設定された顔検出対象領域TAを対象としてキーフレームから顔を検出する。
【0040】
続いて、
図4(b)に示すように、領域設定部150は、こうしてキーフレームから顔が検出された顔領域及びその周辺領域を、キーフレームに連続して撮影された非キーフレームにおける顔検出対象領域TAとして設定する。そして、顔検出部140は、こうして設定された顔検出対象領域TAを対象として非キーフレームから顔を検出する。
【0041】
また、
図4(c)に示すように、領域設定部150は、次の非キーフレームについても同様に、前の非キーフレームから顔が検出された顔領域及びその周辺領域を、次の非キーフレームにおける顔検出対象領域TAとして設定する。そして、顔検出部140は、こうして設定された顔検出対象領域TAを対象として非キーフレームから顔を検出する。また、領域設定部150は、こうして非キーフレームから顔が検出されたとき、当該検出された顔領域を顔マスクFMとして設定する。
【0042】
そして次に、
図4(d)に示すように、領域設定部150は、非キーフレームに連続して撮影されたキーフレームから動体検出部130により動体領域を検出し、当該検出した動体領域を動体マスクMMとして設定する。そして、領域設定部150は、こうして設定した動体マスクMMと、上述のように非キーフレームから設定した顔マスクFMとに基づき、キーフレームにおける顔検出対象領域TAを設定する。そして、顔検出部140は、こうして設定された顔検出対象領域TAを対象としてキーフレームから顔を検出する。
【0043】
そして以降、領域設定部150は、キーフレームにおける顔検出対象領域TAの設定と、非キーフレームにおける顔検出対象領域TAの設定とを繰り返す。
図5は、動画像に対する顔検出対象領域TAの設定態様の一例を示す図である。同図においては、各フレームは撮影された順に左方向から右方向に時系列的に並んでいる。同図に示す例では、動画像には、時刻t0の最初は何も映っていない状態から時刻t1に人物が出現し、人物が監視カメラ10に次第に近づいた後、時刻t2から時刻t3にかけて監視カメラ10の前で立ち止まる様子が示されている。この場合、初期マスクPMは、フレームの内容に影響を受けるものではないため、全てのフレームに共通するかたちで、例えばフレームの周縁等、顔の検出が想定しにくい領域を除外した領域として事前に設定されている。
【0044】
また、動体マスクMMは、動画像を構成する時系列的に連続するキーフレーム同士の差分が大きい動体領域として設定されている。この例では、時刻t0と時刻t1との間で動画像に最初に人物が出現した時点、並びに、時刻t1と時刻t2との間で出現した人物が監視カメラ10に近付く過程でのキーフレーム間の差分が大きい領域として、人物の身体全体の領域が設定されている。その一方で、この例では、時刻t2と時刻t3との間で出現した人物が監視カメラ10の前で立ち止まった後の過程では、キーフレーム間の差分が生じにくいことから動体マスクMMは設定されていない。
【0045】
また、顔マスクFMは、一つ前の時点のキーフレームにおいて顔が検出されたときに、当該キーフレームに連続して撮影される非キーフレームのうち現時点のキーフレームの直前となる非キーフレームから顔が検出された顔領域として設定されている。
【0046】
この例では、時刻t2及び時刻t3において動画像に出現した人物が監視カメラ10の前で立ち止まっている状態のキーフレームにおける顔マスクFMとして、その直前の非キーフレームから顔が検出された顔領域が設定されている。そして、キーフレームにおける顔検出対象領域TAとして、動体マスクMM及び顔マスクFMのうち少なくとも一方が含まれる領域と初期マスクPMとが重なる領域が設定されている。また、同図に破線の四角形で示すように、非キーフレームにおける顔検出対象領域TAとして、一つ前の時点のキーフレーム又は非キーフレームから顔が検出された顔領域及びその周辺領域が設定されている。なお、動体マスクMM及び顔マスクFMは、必ずしも動体領域及び顔領域と一致する領域である必要はなく、少なくとも動体領域及び顔領域を含む領域であればよい。すなわち、動体マスクMM及び顔マスクFMは、動体領域及び顔領域に加え、その周辺にマージンを持たせた領域であってもよい。
【0047】
次に、上記実施の形態の顔照合装置100が実行する顔検出処理について、その具体的な処理手順を説明する。なお、顔照合装置100は、装置の電源がオンとなった時点で、
図6に示す顔検出処理を開始する。
【0048】
図6に示すように、この顔検出処理ではまず、顔照合装置100は、初期マスクPMを設定する(ステップS10)。
そして次に、顔照合装置100は、監視カメラ10から動画像を構成するフレームを取得する(ステップS11)。
【0049】
そして、顔照合装置100は、こうして取得したフレームのうち、時系列的に隣り合うキーフレーム間の差分データに基づき、動体領域を検出する(ステップS12、動体検出処理)。
【0050】
また、顔照合装置100は、先のステップS12においてキーフレームから検出した動体領域を動体マスクMMとして設定する(ステップS13)。
続いて、顔照合装置100は、現時点のキーフレームの直前となる非キーフレームから顔が検出されたか否かを判定する(ステップS14)。
【0051】
そして、顔照合装置100は、直前の非キーフレームから顔が検出されたと判定したときには(ステップS14=YES)、検出された顔領域を顔マスクFMとして設定する(ステップS15)。
【0052】
その一方で、顔照合装置100は、直前の非キーフレームから顔が検出されていないと判定したときには(ステップS14=NO)、先のステップS15の処理を経ることなく、その処理をステップS16に移行する。
【0053】
そして、ステップS16において、顔照合装置100は、先のステップS10において設定した初期マスクPMと、先のステップS13において設定した動体マスクMM、及び、先のステップS15において設定した顔マスクFMのうち少なくとも一方とが重なる領域を顔検出対象領域TAとして設定する(ステップS16、領域設定処理)。
【0054】
また、顔照合装置100は、先のステップS16において設定した顔検出対象領域TAを対象として現時点のキーフレームから顔を検出する(ステップS17、顔検出処理)。
そして、顔照合装置100は、現時点のキーフレームから顔が検出されたときには(ステップS18=YES)、顔の検出結果に基づき、動画像に含まれる人物を照合する(ステップS19)。
【0055】
また、顔照合装置100は、先のステップS17において顔が検出された顔領域に基づき、現時点のキーフレームに連続して撮影された非キーフレームの顔検出対象領域TAを設定する(ステップS20)。
【0056】
そして、顔照合装置100は、先のステップS20において設定した顔検出対象領域TAを対象として、非キーフレームから顔を検出する(ステップS21、顔検出処理)。
その一方で、顔照合装置100は、現時点のキーフレームから顔が検出されなかったときには(ステップS18=NO)、ステップS19〜ステップS21の処理を経ることなく、その処理をステップS22に移行する。
【0057】
そして以降、顔照合装置100は、装置の電源がオンとなっている間は(ステップS22=NO)、その処理をステップS11に戻し、ステップS11〜ステップS22の処理を繰り返す。そして、顔照合装置100は、装置の電源がオフとなった時点で(ステップS22=YES),
図6に示す顔検出処理を終了する。
【0058】
次に、本実施の形態の顔照合装置100の作用について説明する。
動画像から顔を検出する際、
図7(a)に示すように、キーフレームにおける顔検出対象領域TAとして顔マスクFMのみを設定する比較例の構成にあっては、時刻t1に動画像に人物が登場したとしても、その人物の顔を検出するための顔マスクFMが時刻t0において事前に設定されていない限りは、キーフレームから顔を検出することはできない。そして、こうして時刻t1のキーフレームから顔が検出されないとすると、続いて撮影される時刻t2及び時刻t3のキーフレームにおいても顔を検出する対象が定まらない。そのため、時刻t2から時刻t3にかけてキーフレームに人物が含まれていたとしても依然として顔を検出することができない。そのため、時刻t1に人物が最初に登場した段階で、例えばキーフレームの全体を対象として顔の検出を行う等、その他の方法を用いてキーフレームから顔マスクFMを事前に設定することが必要となる。
【0059】
その一方で、
図7(b)に示すように、キーフレームにおける顔検出対象領域TAとして動体マスクMMのみを設定する比較例の構成にあっては、時刻t0と時刻t1との間で動画像に人物が出現したり、及び、時刻t1と時刻t2との間で動画像に含まれる人物が移動したりするときには、その移動がキーフレーム間の差分として表れる。そのため、動画像から顔を検出することは可能である。しかしながら、この構成にあっては、時刻t2と時刻t3との間で動画像に含まれる人物が静止しているときには、人物の存在がキーフレーム間の差分として表れないため、動画像から顔を検出できない。
【0060】
これに対し、
図7(c)に示すように、本実施の形態では、キーフレームにおける顔検出対象領域TAとして顔マスクFM及び動体マスクMMの双方を設定している。この場合、時刻t1に人物が最初に登場した段階でキーフレームの全体を対象として顔の検出を行わなくても、動体マスクMMを対象とした顔の検出により時刻t1のキーフレームから顔マスクFMを事前に設定することが可能となる。そして、こうしてキーフレームに対して顔マスクFM及び動体マスクMMの双方が設定されると、時刻t1から時刻t2にかけて動画像に含まれる人物が移動している場合であっても、時刻t2から時刻t3にかけて動画像に含まれる人物が静止している場合であっても、動画像に含まれる人物の顔の位置と動体マスクMM又は顔マスクFMの位置とが一致する。したがって、時刻t1から時刻t3にかけて動画像に含まれる人物が移動と静止とを連続して行うときにも、動画像からの顔の検出を継続して行うことができる。
【0061】
以上説明したように、本実施の形態によれば、以下に列挙する効果を得ることができる。
(1)動画像を構成するキーフレーム同士の差分に基づく動体領域に加え、キーフレームよりも前に撮影された非キーフレームから顔が検出された顔領域を対象としてキーフレームから顔を検出するようにした。これにより、動画像に含まれる人物が移動と静止とを連続して行うときにも、動画像からの顔の検出を継続して行うことができる。
【0062】
(2)動画像を構成するキーフレーム同士の差分に基づく動体領域、及び、キーフレームよりも前に撮影された非キーフレームから顔が検出された顔領域のうち少なくとも一方が含まれる領域をキーフレームにおいて顔を検出する対象領域として設定するようにした。これにより、一回の処理によって、顔領域及び動体領域のうち少なくとも一方が含まれる領域を対象領域としたキーフレームからの顔の検出が行われることとなる。そのため、これら領域ごとにキーフレームからの顔の検出を別々の処理として行う場合と比較して、その処理負荷をより一層低減することができる。
【0063】
(3)キーフレームから顔が検出されたときには、動画像を構成するフレームのうち、時系列的に隣り合うキーフレームの間に撮影される非キーフレームからも顔を検出するようにした。これにより、キーフレームのみから顔を検出する場合と比較して、キーフレームにおいて顔を検出する対象領域の設定に用いられる顔領域の更新の頻度が高まる。そのため、キーフレームからの顔の検出をより一層高い精度で行うことができる。その一方で、キーフレームから顔が検出されないときには、動画像を構成するフレームからの顔の検出を実行する頻度を抑えることにより、動画像から顔を検出する際の処理負荷をより一層低減することができる。
【0064】
(4)キーフレームから顔が検出された顔領域に基づき、非キーフレームにおいて顔を検出する対象領域を設定するようにした。これにより、動画像からの顔の検出の精度を高めつつ、顔を検出する際の処理負荷をより一層低減することができる。
【0065】
(5)キーフレームから顔が検出されたときには、キーフレームに続いて撮影される複数の非キーフレームのうち、時系列的に次のキーフレームに最も近い時点で撮影された非キーフレームから顔が検出された顔領域を顔マスクFMとして設定する。これにより、顔マスクFMの設定に用いられる非キーフレームと、顔の検出の対象となるキーフレームとが時系列的により一層近接する。これにより、動画像からの顔の検出の精度を更に高めることができる。
【0066】
(6)時系列的に連続するキーフレーム同士の差分に基づき動体領域を検出する。これにより、動画像に含まれる人物がゆっくりと移動しているときであっても、比較の対象となるキーフレームに含まれる人物の位置が部分的に重なるような状況が発生しにくい。したがって、動画像を構成するキーフレームの中から、移動中にある人物の領域を動的領域としてより一層的確に検出することが可能となる。
【0067】
なお、上記実施の形態は、以下のような形態にて実施することもできる。
・上記実施の形態においては、顔検出装置110は、先の
図4に示したように、キーフレームに基づき動体マスクMMを設定するとともに、非キーフレームに基づき顔マスクFMを設定するようにした。これに代えて、
図8(a)〜(c)に示すように、顔検出装置110は、キーフレームに基づき動体マスクMM及び顔マスクFMの双方を設定するようにしてもよい。
【0068】
・上記実施の形態において、顔検出装置110は、動体検出部130により検出された動体領域のうち、キーフレームよりも前に撮影された非キーフレームから顔検出部140により検出された顔領域よりもサイズの小さい領域を、キーフレームにおいて顔検出部140により顔を検出する対象領域から除外するようにしてもよい。この構成によれば、動画像の背景自体の変化に起因して、動画像を構成するフレーム同士の差分が大きくなる領域が点在しやすいときであっても、これら領域を検出対象フレームにおいて顔を検出する対象領域から除外することにより、動画像から顔を検出する際の処理負荷をより一層低減することができる。
【0069】
・上記実施の形態においては、動体検出部130は、時系列的に連続するキーフレーム同士の差分に基づき動体領域を検出するようにした。これに代えて、動体検出部130は、キーフレームと、該キーフレームよりも前に撮影された非キーフレームとの差分に基づき動体領域を検出するようにしてもよい。
【0070】
・上記実施の形態においては、キーフレームから顔が検出されたときには、キーフレームに続いて撮影される複数の非キーフレームのうち、時系列的に次のキーフレームに最も近い時点で撮影された非キーフレームから顔が検出された顔領域を顔マスクFMとして設定するようにした。ただし、これら複数の非キーフレームの撮影途中で顔が検出されなくなったときには、これら非キーフレームの中で最後に顔が検出された顔領域を顔マスクFMとして設定するようにしてもよい。
【0071】
・上記実施の形態においては、動画像を構成するフレームとして、キーフレームが複数のフレーム間隔で撮影される構成を例に挙げて説明した。ただし、動画像を構成するフレームとして、キーフレームと非キーフレームとが交互に撮影される構成であってもよい。
【0072】
・上記実施の形態においては、領域設定部150は、キーフレームから顔が検出されたときに、キーフレームから顔が検出された顔領域に基づき、キーフレームに続いて撮影される非キーフレームにおける顔検出対象領域TAを設定するようにした。これに代えて、領域設定部150は、キーフレームと当該キーフレームに続いて撮影される非キーフレームとの差分データ、あるいは、時系列的に連続して撮影される非キーフレーム同士の差分データに基づき、非キーフレームにおける顔検出対象領域TAを設定するようにしてもよい。この構成であっても、時系列的に隣り合うキーフレーム間で動画像に含まれる人物が移動しているときに、この人物の移動に追随させるかたちで非キーフレームから顔を検出することが可能となる。
【0073】
・上記実施の形態においては、領域設定部150は、動画像を構成するフレームに対してキーフレーム及び非キーフレームの区別をすることなく、顔検出部140により顔を検出する対象となる全てのフレームに対し、動体マスクMM及び顔マスクFMに基づく顔検出対象領域TAの設定を行うようにしてもよい。この場合、顔検出部140により顔を検出する対象となるフレームは、動画像を構成する全てのフレームであってもよいし、動画像を構成する複数のフレームのうち、所定のフレーム間隔で撮影されたフレームであってもよい。
【0074】
・上記実施の形態においては、顔検出部140は、動画像を構成するフレーム同士の差分に基づく動体領域、及び、検出対象フレームよりも前に撮影されたフレームから顔が検出された顔領域の各々に対して検出対象フレームからの顔の検出を別々の処理として行うようにしてもよい。この構成であっても、フレーム全体から顔を検出する場合と比較すれば、フレームからの顔検出対象領域TAの範囲が限定されることにより、動画像から顔を検出する際の処理負荷を低減することができる。
【0075】
・上記実施の形態においては、顔検出部140が顔を検出する方法は、画像から顔を検出するものであれば、上述の方法に限定されない。例えば、目や鼻や口といった顔パーツ毎のテンプレートを作成し、顔検出対象領域TA内で移動させて照合を行い、検出された顔パーツの位置関係に基づき顔と判断された領域を顔画像として検出してもよい。あるいは、頭から肩上部の形状に着目し、同様の形状を探索して顔に相当する領域を顔画像として検出してもよい。
【0076】
・上記実施の形態においては、動画像からの顔の検出結果を人物の照合に用いる場合を例に挙げて説明した。ただし、動画像からの顔の検出結果を、例えば動画像に含まれる人物の年齢、性別の推定、顔の追尾等といったその他の用途に適用してもよい。
【0077】
・上記実施の形態においては、動画像を構成するフレームのうち、顔を検出する対象となる検出対象フレームと、検出対象フレームよりも前に撮影されたフレームとの差分に基づき動体マスクMMを設定するようにした。また、検出対象フレームよりも前に撮影されたフレームにおいて顔が存在する領域を顔マスクFMとして設定するようにした。これにより、動画像の撮影中にリアルタイムに顔検出処理を行うことが可能であった。これに代えて、動画像の撮影が一通り完了した後に、動画像を構成するフレームを時系列的に遡って解析することにより顔検出処理を行うようにしてもよい。この場合、動体マスクMMの設定基準となるフレーム、及び、顔マスクFMの設定基準となるフレームの双方が検出対象フレームよりも後に撮影されたフレームであってもよい。また、これらマスクFM,MMの設定基準となるフレームのうち、一方のフレームが検出対象フレームよりも前に撮影されたものであって、他方のフレームが検出対象フレームよりも後に撮影されたものであってもよい。
【0078】
・上記実施の形態においては、動画像からの検出の対象が顔である場合を例に挙げて説明した。しかし、動画像からの検出の対象としてはその他にも、例えば車両に取り付けられたナンバープレート等、その他の対象物を動画像からの検出の対象としてもよい。