特許 6495691 動体検出装置、動体検出方法及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6495691

(24)【登録日】2019年3月15日

(45)【発行日】2019年4月3日

(54)【発明の名称】動体検出装置、動体検出方法及びコンピュータプログラム

(51)【国際特許分類】

   G06T 7/254 20170101AFI20190325BHJP

   H04N 7/18 20060101ALI20190325BHJP

   G08B 13/194 20060101ALI20190325BHJP

【ＦＩ】

   G06T7/254 B

   H04N7/18 D

   G08B13/194

【請求項の数】10

【全頁数】13

(21)【出願番号】特願2015-48344(P2015-48344)

(22)【出願日】2015年3月11日

(65)【公開番号】特開2016-170502(P2016-170502A)

(43)【公開日】2016年9月23日

【審査請求日】2017年11月13日

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110001634

【氏名又は名称】特許業務法人 志賀国際特許事務所

(72)【発明者】

【氏名】榎原 孝明

(72)【発明者】

【氏名】長田 和美

(72)【発明者】

【氏名】齋藤 禎敏

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１１−１７４６４８（ＪＰ，Ａ）

【文献】 特開２００６−９９５４４（ＪＰ，Ａ）

【文献】 特開２０００−３４１６７９（ＪＰ，Ａ）

【文献】 特開平１１−５３５４７（ＪＰ，Ａ）

【文献】 特開平７−２６２３５５（ＪＰ，Ａ）

【文献】 関真規人, 外２名，“エレベーター内の異常検知 暴れ・人物有無検知アルゴリズムの開発”，画像ラボ，日本，日本工業出版株式会社，２００６年 ３月 １日，第１７巻, 第３号，p.48-52

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

Ｇ０６Ｔ １／００

Ｇ０８Ｂ １３／１９４

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

動体を検出する対象の空間の背景が撮像された背景画像の特徴を示す辞書情報であって前記特徴の種別ごとに異なる特徴量を有する複数の辞書情報を記憶する記憶部と、
前記空間が撮像された複数の画像に基づいて、動体と推定される動体候補を検出する動体候補検出部と、
前記動体候補が動体であるか否かを、前記画像の特徴量と前記複数の辞書情報とに基づいて判定する動体判定部と、
を備える動体検出装置。

【請求項2】

動体を検出する対象の空間の背景が撮像された背景画像の特徴を示す辞書情報であって前記背景画像を分割した複数の領域ごとに前記背景画像の特徴を示す辞書情報を記憶する記憶部と、
前記空間が撮像された複数の画像に基づいて、動体と推定される動体候補を検出する動体候補検出部と、
前記動体候補が動体であるか否かを前記辞書情報に基づいて判定する動体判定部と、
を備え、
前記動体判定部は、前記画像を前記背景画像の分割と同様の複数の領域に分割し、分割された前記領域ごとの辞書情報に基づいて、分割された前記複数の領域ごとに動体の有無を判定する、
動体検出装置。

【請求項3】

動体を検出する対象の空間の背景が撮像された背景画像の特徴を示す辞書情報と、前記検出対象の空間の背景でない被写体が撮像された画像の特徴を示すネガティブ辞書情報とを記憶する記憶部と、
前記空間が撮像された複数の画像に基づいて、動体と推定される動体候補を検出する動体候補検出部と、
前記動体候補が動体であるか否かを前記辞書情報と前記ネガティブ辞書情報とに基づいて判定する動体判定部と、
を備える動体検出装置。

【請求項4】

動体を検出する対象の空間の背景が撮像された背景画像の特徴を示す辞書情報を記憶する記憶部と、
前記空間が撮像された複数の画像に基づいて、動体と推定される動体候補を検出する動体候補検出部と、
前記辞書情報に基づいて、前記動体候補が動体であるか否かを判定する動体判定部と、
前記動体判定部によって判定された動体が人であるか否かを判定する人判定部と、
前記人判定部によって人と判定された領域の分布に基づいて、人の数又は人の活動量を推定する人情報推定部と、
を備える動体検出装置。

【請求項5】

魚眼レンズによって前記検出対象の空間の上部から前記空間の画像を撮像し、取得した前記画像を前記動体候補検出部に出力する撮像部をさらに備える、
請求項１から４のいずれか一項に記載の動体検出装置。

【請求項6】

動体を検出する対象の空間が撮像された複数の画像に基づいて、動体と推定される動体候補を検出する動体候補検出ステップと、
前記画像の特徴量と、前記空間の背景が撮像された背景画像の特徴を示す辞書情報であって前記特徴の種別ごとに異なる特徴量を有する複数の辞書情報とに基づいて、前記動体候補が動体であるか否かを判定する動体判定ステップと、
を有する動体検出方法。

【請求項7】

動体を検出する対象の空間が撮像された複数の画像に基づいて、動体と推定される動体候補を検出する動体候補検出ステップと、
前記空間の背景が撮像された背景画像の特徴を示す辞書情報であって前記背景画像を分割した複数の領域ごとに前記背景画像の特徴を示す辞書情報に基づいて、前記動体候補が動体であるか否かを判定する動体判定ステップと、
を有し、
前記動体判定ステップにおいて、前記画像を前記背景画像の分割と同様の複数の領域に分割し、分割された前記領域ごとの辞書情報に基づいて、分割された前記複数の領域ごとに動体の有無を判定する、
動体検出方法。

【請求項8】

動体を検出する対象の空間が撮像された複数の画像に基づいて、動体と推定される動体候補を検出する動体候補検出ステップと、
前記空間の背景が撮像された背景画像の特徴を示す辞書情報と、前記検出対象の空間の背景でない被写体が撮像された画像の特徴を示すネガティブ辞書情報とを記憶する記憶部とに基づいて、前記動体候補が動体であるか否かを判定する動体判定ステップと、
を備える動体検出方法。

【請求項9】

動体を検出する対象の空間が撮像された複数の画像に基づいて、動体と推定される動体候補を検出する動体候補検出ステップと、
前記空間の背景が撮像された背景画像の特徴を示す辞書情報に基づいて、前記動体候補が動体であるか否かを判定する動体判定ステップと、
前記動体判定ステップにおいて判定された動体が人であるか否かを判定する人判定ステップと、
前記人判定ステップにおいて人と判定された領域の分布に基づいて、人の数又は人の活動量を推定する人情報推定ステップと、
を有する動体検出方法。

【請求項10】

コンピュータを、請求項１から５のいずれか一項に記載の動体検出装置として機能させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、動体検出装置、動体検出方法及びコンピュータプログラムに関する。

【背景技術】

【0002】

動画像に基づいて人物を検出する一般的な手法の一つとして、フレーム間差分法がある。フレーム間差分法は、動体検出手法の一つであり、輝度の変化を物体の動きと想定して、各フレーム間の輝度の変化に基づいて動体を検出する手法である。しかしながら、動画像が撮影される環境において明るさが変化する場合、動体がない場合でも輝度が変化する。このような場合、フレーム間差分法では、動体によらない輝度変化を、動体として誤検出する可能性がある。
そこで、変化の基準となる背景画像を予め記憶しておき、背景画像との比較により輝度変化が明るさの変化によるものか否かを判定する技術が提案されている。このような技術によれば、背景画像との輝度比の分布に基づいて、輝度変化が明るさの変化によるものか否かが判定される。

【0003】

しかしながら、検出対象の空間によっては、撮像される画像の輝度分布も随時変化する。このような場合、随時変化する画像に対応した背景画像が必要になるが、このような背景画像を保持することは困難である。特に、オフィス等での照明のＯＮ、ＯＦＦや、ビル等での人感センサによる照明制御は、撮像される画像の輝度分布を大きく変化させる。そのため、従来の検出手法では、このような変化に対応できず、動体を誤検知してしまう可能性があった。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第４６１９０８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は、動画像に基づく動体検出をより精度よく行うことができる動体検出装置、動体検出方法及びコンピュータプログラムを提供することである。

【課題を解決するための手段】

【0006】

実施形態の動体検出装置は、記憶部と、動体候補検出部と、動体判定部と、を持つ。記憶部は、動体を検出する対象の空間の背景が撮像された背景画像の特徴を示す辞書情報を記憶する。動体候補検出部は、前記空間が撮像された複数の画像に基づいて、動体と推定される動体候補を検出する。動体判定部は、前記辞書情報に基づいて、前記動体候補が動体であるか否かを判定する。

【図面の簡単な説明】

【0007】

【図1】画像センサ１の機能構成を示す機能ブロック図。

【図2】第１の実施形態の画像センサ１が画像から人を検出する処理の流れを示すフローチャート。

【図3】フレーム間差分の具体例を示す図。

【図4】動体領域の面積に基づく人判定の具体例を示す図。

【図5】背景画像の分割の具体例を示す図。

【図6】動体検出の結果から人数を推定する方法の具体例を示す図。

【図7】複数の辞書情報に基づいて、画像から人を検出する処理の流れを示すフローチャート。

【図8】共通の辞書情報を用いた場合の背景画像の具体例を示す図。

【図9】人の検出結果と動体領域とに基づいて推定される人の活動量の具体例を示す図。

【図10】第２の実施形態の画像センサ１ａの機能構成を示す機能ブロック図。

【図11】第２の実施形態の画像センサ１ａが画像から人を検出する処理の流れを示すフローチャート。

【発明を実施するための形態】

【0008】

以下、実施形態の動体検出装置、動体検出方法及びコンピュータプログラムを、図面を参照して説明する。なお、以下の実施形態では、画像センサとして構成された動体検出装置を例に説明する。

【0009】

（第１の実施形態）
図１は、画像センサ１の機能構成を示す機能ブロック図である。
画像センサ１は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、動体検出プログラムを実行する。画像センサ１は、動体検出プログラムの実行によって撮像部１１、記憶部１２、動体候補検出部１３、動体判定部１４及び人判定部１５を備える装置として機能する。なお、画像センサ１の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されてもよい。動体検出プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。動体検出プログラムは、電気通信回線を介して送信されてもよい。

【0010】

撮像部１１は、カメラなどの撮像機能を有する装置を用いて構成される。撮像部１１は、動体を検出する対象の空間を撮像し、検出対象の空間の画像データを取得する。例えば、撮像部１１は、オフィスの天井にフロアを見下ろすように設置され、オフィス空間を撮像する。撮像部１１はどのような撮像装置を用いて構成されてもよいが、本実施形態では、撮像部１１は、より広いエリアを撮像することができる魚眼レンズを備えた撮像装置であると仮定して説明する。撮像部１１は、生成した画像データを記憶部１２に保存する。

【0011】

記憶部１２は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。記憶部１２は、撮像部１１によって生成された画像データと、辞書情報とを記憶する。辞書情報は、検出対象の空間の背景が撮像された背景画像の特徴を示す情報である。より具体的には、辞書情報は、背景画像から取得される各種の特徴量が、背景画像が取得された条件で整理された情報である。特徴量には、累積差分による輝度変化やＣｏＨＯＧ（Co-occurrence Histograms of Oriented Gradients）による輝度分布に関する特徴量などを用いることができる。辞書情報は、背景画像に基づいて生成され、予め記憶部１２に記憶されている。

【0012】

動体候補検出部１３は、検出対象の空間が撮像された複数の画像に基づいて、動体と推定される動体候補を検出する。動体候補を検出する手法には、フレーム間差分、オプティカルフロー、テンプレートマッチングなどを用いることができる。

【0013】

動体判定部１４は、辞書情報に基づいて、動体候補検出部１３によって検出された動体候補が動体であるか否かを判定する。具体的には、動体判定部１４は、辞書情報が示す背景画像の特徴に基づいて、動体候補が背景であるか否かを判定する。動体判定部１４は、動体候補が背景でないと判定された場合に、動体候補は動体であると判定する。動体候補が背景であるか否かを判定する手法には、ニューラルネットワーク、ＳＶＭ（Support Vector Machine）、ｋ近傍識別器、ベイズ分類などを用いることができる。

【0014】

人判定部１５は、動体判定部によって判定された動体が人であるか否かを判定する。

【0015】

図２は、第１の実施形態の画像センサ１が画像から人を検出する処理の流れを示すフローチャートである。
まず、撮像部１１が検出対象の空間を撮像して画像データを取得する（ステップＳ１０１）。撮像部１１は、取得した画像データを動体候補検出部１３に出力する。

【0016】

動体候補検出部１３は、撮像部１１によって取得された画像データに基づいて、動体候補を検出する（ステップＳ１０２）。例えば、動体候補検出部１３は、取得した画像のフレーム間差分に基づいて動体候補を検出する。そして、動体候補検出部１３は、動体候補が検出された領域（以下、「動体候補領域」という。）を示す情報を動体判定部１４に出力する（ステップＳ１０３）。

【0017】

図３は、フレーム間差分の具体例を示す図である。
画像１００−１及び１００−２は、撮像部１１によって取得された画像である。画像１００−２は、画像１００−１が撮像された後に撮像された画像である。画像１００−１の撮像と画像１００−２の撮像との間の時間を仮にｔとする。画像１００−１及び画像１００−２には、人１０１と窓１０２が撮像されており、人１０１は矢印の方向に移動している。そのため、画像１００−２には、画像１００−１より時間ｔの分だけ進んだ位置に人１０１が撮像されている。また、画像１００−１及び画像１００−２は、それぞれの撮像時における外光の強度に変動があったことを示している。

【0018】

このような画像１００−１及び画像１００−２に対してフレーム間差分をとった場合、人１０１及び窓１０２の領域が差分として検出される。その結果、画像２００のようなフレーム間差分２０１及び２０２が取得される。動体判定部１４は、取得したフレーム間差分２０１及び２０２に基づいて、例えば、画像３００のような動体候補領域３０１及び３０２を出力する。

【0019】

図２の説明に戻る。
動体判定部１４は、動体候補検出部１３から出力された動体候補領域の画像の特徴量を算出する。動体判定部１４は、算出した特徴量と辞書情報とに基づいて、動体候補領域の画像と背景画像との類似度を算出する（ステップＳ１０４）。動体判定部１４は、算出した類似度に基づいて、動体候補が動体であるか否かを判定する。動体候補が動体であると判定された場合、動体判定部１４は、動体候補領域を、動体が検出された領域（以下、「動体領域」という。）とし、動体領域を示す情報を人判定部１５に出力する（ステップＳ１０５）。

【0020】

人判定部１５は、動体判定部１４から出力された動体領域の画像に基づいて、動体が人であるか否かを判定する（ステップＳ１０６）。例えば、人判定部１５は、次の図４のように、動体領域の面積が所定の閾値を越えた場合に、動体は人であると判定する。

【0021】

図４は、動体領域の面積に基づく人判定の具体例を示す図である。
図４の画像３００は、動体領域の具体例を示す図であり、図３の画像３００と同じ画像を示す。この場合、例えば、人判定部１５は、面積の大きい動体候補領域３０１（動体領域）を人と判定し、面積の小さい動体候補領域３０２（動体領域）を人でないと判定する。その結果、画像４００のような人物領域４０１が抽出される。

【0022】

このように構成された第１の実施形態の画像センサ１は、動体と推定された動体候補について、背景画像の特徴を示す辞書情報との類似度を算出することによって動体を検出する。このような処理を行うことによって、画像センサ１は、動画像に基づく動体検出をより精度よく行うことが可能となる。

【0023】

以下、画像センサ１の変形例について説明する。

【0024】

＜第１の変形例＞
画像センサ１は、検出対象の画像を複数の領域に分割して動体検出を行ってもよい。この場合、記憶部１２は、同様に分割された背景画像の領域ごとの特徴を示す情報として、予め記憶される。

【0025】

図５は、背景画像の分割の具体例を示す図である。
背景画像５００は、背景画像の具体例である。背景画像５００は、机が並べられた部屋を天井から撮像したものである。このような背景画像５００を属性に基づいて分割した例が背景画像５０１である。背景画像５０１は、背景画像５００が“机領域”及び“通路領域”の２つの属性に対応する領域に分割された場合を示している。このような背景画像５０１に基づく辞書情報を用いれば、“机領域”と“通路領域”とのそれぞれで、動体を検出することができる。この場合、背景画像５００は、個々の“机”を属性としてさらに細かく分割されてもよい。ここでは、背景画像に対する属性の付与は人手で行うことを想定しているが、画像処理等による被写体認識技術を用いて自動的に行ってもよい。

【0026】

また、背景画像５０２は、背景画像５００が均一なブロックに分割された場合を示している。このような背景画像５０２に基づく辞書情報を用いれば、各ブロックごとに動体を検出することができる。さらに、均一なブロックへの分割と属性に基づく分割とを組み合わせてもよい。例えば、背景画像５０１に基づく辞書情報と、背景画像５０２に基づく辞書情報とを組み合わせて用いれば、各属性に対応する領域における人の在又は不在を動体領域のブロック数で判定することができる。例えば、画像６００は、通路領域（机領域６０１以外の領域）における４つのブロックと、机領域６０１における１つのブロックとが動体領域として判定された場合の画像の例である。この場合、通路領域の“在”ブロックは４つと多いため人が存在していると判定し、机領域の“在”ブロックは１つと少ないため人が存在しないと判定できる。また、このように、動体検出をブロックごとに行うことによって、人が検出された動体領域から人の人数を推定することもできる。

【0027】

図６は、動体検出の結果から人数を推定する方法の具体例を示す図である。
画像６１０は、人の存在が判定された検出対象の画像を示す。画像６１０において、人の存在が判定された領域をクラスタリングすれば、検出された人の数の領域が得られるため、検出された人の人数を推定することができる。例えば、画像６２０の場合、クラスタリングによって３つの領域６２１〜６２３が得られ、３人の人が存在することが推定される。

【0028】

また、動体検出をブロックごとに行う場合、机の大きさなど、ブロックを一人の人間の大きさ程度に分割すれば、人が検出された属性に対応する領域のブロックの数から、検出された人の人数を推定することもできる。例えば、検出対象の画像に基づいて画像６１０のような人の検出結果が得られた場合、８人の人が存在することが推定される。

【0029】

このようなブロックごとの動体検出を行うことによって、動体（人）の検出に加え、動体の数（人数）を推定することが可能となる。

【0030】

＜第２の変形例＞
画像センサ１は、動体候補が動体であるかを複数の辞書情報に基づいて判定してもよい。例えば、複数の辞書情報の例として次のような辞書情報が用いられてもよい。

【0031】

[第１の辞書情報]
第１の辞書情報は、背景画像の特徴を平均輝度の分類で表した辞書情報である。例えば、平均輝度が“０〜８０”の場合は照明がＯＦＦであることを示し、平均輝度が“８０〜１６０”の場合は照明がＯＮであることを示し、平均輝度が“１６０以上”の場合は外光が入射していることを示す。

【0032】

[第２の辞書情報]
第２の辞書情報は、背景画像の特徴を輝度変化の分類で表した辞書情報である。例えば、輝度変化が“０〜４０”外光による変化であることを示し、輝度変化が“４０〜８０”の場合は動体による変化であることを示し、輝度変化が“８０以上”照明のＯＮ、ＯＦＦによる変化であることを示す。さらに、時間間隔が異なる複数の輝度変化で分類してもよい。例えば、短い時間間隔での輝度変化と、長い時間間隔での輝度変化との組み合わせで６（＝３×２）通りの分類を設けてもよい。

【0033】

[第３の辞書情報]
第３の辞書情報は、背景画像の特徴を時間帯による分類で表した辞書情報である。例えば、背景画像の特徴を“６：００〜１０：００”、“１０：００〜１４：００”、“１４：００〜１８：００”、“１８：００〜６：００”に分類する。各分類の時間帯は、季節や天候に応じて変更してもよい。

【0034】

動体判定部１４は、検出対象の画像が取得された状況に応じて、上述したような複数の辞書情報から適切な辞書情報を選択する。動体判定部１４は、複数の辞書情報から１つの辞書情報を選択して用いてもよいし、複数の辞書情報を組み合わせて用いてもよい。複数の辞書情報を用いて動体判定を行う場合、動体判定部１４は、それぞれの辞書情報に基づく判定結果の多数決で最終的な判定を行ってもよいし、それぞれの判定結果に基づいて算出される平均や分散などの統計値で最終的な判定を行ってもよい。

【0035】

図７は、複数の辞書情報に基づいて、画像から人を検出する処理の流れを示すフローチャートである。
図７における、ステップＳ１０１〜１０３は図２と同様であるため説明を省略する。
動体判定部１４は、動体候補検出部１３から出力された動体候補領域の画像の特徴量を算出する。動体判定部１４は、算出した特徴量と複数の辞書情報とに基づいて、動体候補領域の画像と背景画像との類似度を算出する。

【0036】

例えば、図７の例の場合、動体判定部１４は、平均輝度に基づく辞書情報を用いて類似度を算出する（ステップＳ２０１）。また、動体判定部１４は、ステップＳ２０１に並行して輝度変化に基づく辞書情報を用いて類似度を算出する（ステップＳ２０２）。また、動体判定部１４は、ステップＳ２０１及びステップＳ２０２に並行して時間帯に基づく辞書情報を用いて類似度を算出する（ステップＳ２０３）。

【0037】

動体判定部１４は、算出した類似度に基づいて、動体候補が動体であるか否かを判定する。動体候補が動体であると判定された場合、動体判定部１４は、判定対象の動体候補領域を動体領域とし、動体領域を示す情報を人判定部１５に出力する。動体判定部１４は、動体領域を示す情報の出力を、類似度の算出に用いた辞書情報の種別ごとに並行して行う（ステップＳ２０４〜ステップＳ２０６）。

【0038】

人判定部１５は、複数の辞書情報に基づいて出力された、複数の動体領域を示す情報に基づいて動体が人であるか否かを判定する。例えば、人判定部１５は、動体領域の多数決をとる（ステップＳ２０７）。人判定部１５は、複数の辞書情報に基づく動体領域の出力が多数得られた場合に動体は人であると判定し、動体領域の出力が少数しか得られない場合には動体は人でないと判定する（ステップＳ２０８）。

【0039】

＜第３の変形例＞
画像センサ１は、検出対象の空間が他の画像センサと大きく異ならない場合や、属性で分割した領域ごとに動体検出を行う場合、個々の画像センサごとに別々の辞書情報を用いずに、他の画像センサと共通の辞書情報を用いてもよい。この場合、属性で分割された領域ごとに個別の背景辞書と、共通の背景辞書とを組わせて用いてもよい。

【0040】

図８は、共通の辞書情報を用いた場合の背景画像の具体例を示す図である。
背景画像５１０は、“通路領域”及び１つの“机領域”（図の符号５１１）の属性で分割された背景画像である。画像５２０は、“通路領域”及び２つの“机領域”（図の符号５２１及び５２２）の属性で分割された背景画像である。この場合、通路領域の特徴が背景画像５１０と背景画像５２０とで大きく異ならない場合、通路領域の判定には共通の辞書情報を用いてもよい。また、机領域５１１、５２１及び５２２の特徴が、大きく異ならない場合、これらの机領域の判定には共通の辞書情報を用いてもよい。また、机領域の特徴が机領域５１１、５２１及び５２２で大きく異なる場合、これらの机領域の判定には個別の辞書情報を用いてもよい。

【0041】

さらに、動体検出をブロックに分割して行う場合は、ブロック内の輝度が近い分布を持つブロックに共通の辞書情報を用いてもよい。
このような辞書情報の共通化は、廊下や会議室など、検出対象の空間のレイアウトがほぼ同じ環境である場合に有効である。また、オフィス内においても、１スパンごとのレイアウトがほぼ同じ場合にも有効である。

【0042】

＜第４の変形例＞
人判定部１５（人情報推定部）は、人の検出結果と動体領域とに基づいて、人の活動量を推定してもよい。
図９は、人の検出結果と動体領域とに基づいて推定される人の活動量の具体例を示す図である。
画像６３０は、歩行中の人とオフィスワーク中の人が検出された画像である。例えば、画像６３０及び画像６３０の前後で取得された画像の動体領域から、画像６３０で検出された人の動体領域と一部又は全部が重なる動体領域を抽出し、抽出された動体領域の和を表すと画像６４０のような活動量を示す活動領域６４１及び６４２が得られる。活動領域６４１は、歩行中の人に対応し、活動領域６４２はオフィスワーク中の人に対応する。歩行中の人はより広い領域に撮像されるため、より大きな活動領域となる。これに対して、オフィスワーク中の人はほぼ同じ領域に撮像されるため小さな活動領域となる。すなわち、活動領域の大きさに基づいて、検出された人の活動量を推定することができる。

【0043】

（第２の実施形態）
図１０は、第２の実施形態の画像センサ１ａの機能構成を示す機能ブロック図である。
画像センサ１ａは、記憶部１２に代えて記憶部１２ａを備える点、動体判定部１４に代えて動体判定部１４ａを備える点で、第１の実施形態の画像センサ１と異なる。他の機能部は、画像センサ１と同様のため、図１と同じ符号を付すことにより、同様の機能部の説明を省略する。

【0044】

記憶部１２ａは、ネガティブ辞書情報をさらに記憶する点で、記憶部１２と異なる。ネガティブ辞書情報は、検出対象の空間の背景でない被写体が撮像された画像（以下、「ネガティブ背景画像」という。）の特徴を示す情報である。ネガティブ辞書情報は、ネガティブ背景画像に基づいて生成され、辞書情報とともに予め記憶部１２ａに記憶されている。

【0045】

動体判定部１４ａは、辞書情報とネガティブ辞書情報とに基づいて、動体候補検出部１３によって検出された動体候補が動体であるか否かを判定する。

【0046】

図１１は、第２の実施形態の画像センサ１ａが画像から人を検出する処理の流れを示すフローチャートである。
図１１における、ステップＳ１０１〜１０７は図２と同様であるため説明を省略する。
動体判定部１４ａは、動体候補検出部１３から出力された動体候補領域の画像の特徴量を算出する。動体判定部１４ａは、算出した特徴量とネガティブ辞書情報とに基づいて、動体候補領域の画像とネガティブ背景画像との類似度を算出する（ステップＳ３０１）。動体判定部１４ａは、ステップＳ１０４において算出された類似度と、ステップＳ３０１において算出された類似度とに基づいて、動体候補が動体であるか否かを判定する。

【0047】

例えば、動体判定部１４ａは、動体候補領域の画像と背景画像との類似度が大きく、かつ動体候補領域の画像とネガティブ背景画像との類似度が小さい場合に、動体候補は動体であると判定する。一方、動体候補領域の画像と背景画像との類似度が小さい場合、又は、動体候補領域の画像と背景画像との類似度が大きくても動体候補領域の画像とネガティブ背景画像との類似度も大きい場合には、動体候補領域は背景であり動体でないと判定する。

【0048】

なお、動体判定部１４ａは、ステップＳ１０４とステップＳ３０１とを直列に実行し、動体候補領域の画像と背景画像との類似度が大きい場合にのみ、ネガティブ背景画像との類似度を算出するようにしてもよい。同様に、動体判定部１４ａは、ステップＳ３０１とステップＳ１０４を直列に実行し、動体候補領域の画像とネガティブ背景画像との類似度が小さい場合にも、背景画像との類似度を算出するようにしてもよい。

【0049】

このように構成された第２の実施形態の画像センサ１ａは、動体候補が動体であるか否かを、辞書情報とネガティブ辞書情報とに基づいて判定する。このような判定を行うことにより、画像センサ１ａは、より精度よく画像から動体を検出することができる。

【0050】

以下、上記実施形態に共通の変形例について説明する。

【0051】

上記実施形態の画像センサは、通信部を備え、動体判定部又は人判定部の判定結果を他の装置やシステムに送信するように構成されてもよい。このような情報が、例えばＢＥＭＳ（Building Energy Management System）に提供されれば、ＢＥＭＳは、人の在、不在や活動量に応じて照明等のビル設備を制御することができる。また、通信部を備えることにより、画像センサは、判定結果の他、判定処理の中間データやカメラパラメータ、辞書情報、画像データ、動体検出プログラムなどの各種情報を外部機器との間で送受信してもよい。このような通信を行うことによって、遠隔地から画像センサのデバッグや調整、プログラムアップデートを実施することができる。

【0052】

動体候補検出部及び背景識別部の処理は、図２のように直列処理されてもよいし、並列処理されてもよい。

【0053】

画像センサが備える各機能部は、上記実施形態のように一台の装置に実装されてもよいし、複数台の装置に分割して実装されてもよい。例えば、画像センサは、撮像部を持つカメラと、それ以外の機能部を持つ動体検出装置として構成されてもよい。この場合、動体検出装置は、一台のサーバとして構成されてもよいし、クラウドシステムとして構成されてもよい。

【0054】

動体候補検出部及び人検出部は、画素単位で検出処理を行ってもよい。また、画像を分割した各領域ごとに検出処理を行う場合、分割領域の単位や形状は、上記の実施形態と異なってもよい。例えば、撮像部が魚眼レンズを備える場合、画像の歪みに応じた形状に分割されてもよい。また、分割した領域ごとに動体検出処理を行う場合、画像センサは、各領域について複数種類の辞書情報を持ってもよい。この場合、動体候補検出部は、各領域における動体検出を複数の辞書情報を用いて行うことで、検出精度を向上させることができる。

【0055】

複数の辞書情報を用いて動体検出処理を行う場合、複数の辞書情報に対して優先順位や重み付けを行ってもよい。このような優先順位や重み付けが行われることによって、動体候補検出部は、より精度良く動体を検出することができる。

【0056】

画像センサは、撮像部を交換可能なように構成されてもよい。このように構成されることによって、例えば、望遠レンズを持つカメラを撮像部とすれば、画像センサは天井が高い空間での利用にも対応することができる。また、例えば、赤外線カメラやレーザセンサを撮像部とすれば、画像センサは暗い空間での利用にも対応することができる。

【0057】

以上説明した少なくともひとつの実施形態によれば、動体を検出する対象の空間の背景が撮像された背景画像の特徴を示す辞書情報を記憶する記憶部と、空間が撮像された複数の画像に基づいて、動体と推定される動体候補を検出する動体候補検出部と、辞書情報に基づいて、動体候補が動体であるか否かを判定する動体判定部と、を持つことにより、動画像に基づく動体検出をより精度よく行うことができる。

【0058】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0059】

１、１ａ…画像センサ，１１…撮像部，１２、１２ａ…記憶部，１３…動体候補検出部，１４、１４ａ…動体判定部，１５…人判定部，１００−１、１００−２…画像，１０１…人，１０２…窓，２００、３００、４００、５２０、６００、６１０、６２０、６３０、６４０…画像，２０１…フレーム間差分，３０１、３０２…動体候補領域，４０１…人物領域，５００、５０１、５０２、５１０、５２０…背景画像，５１１、５２１…机領域，６０１…机領域の画像，６２１、６２２、６２３…人の在が判定された領域，６４１、６４２…活動領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】