特開2016-217823(P2016-217823A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アズビル株式会社の特許一覧
<>
  • 特開2016217823-人検知装置および方法 図000005
  • 特開2016217823-人検知装置および方法 図000006
  • 特開2016217823-人検知装置および方法 図000007
  • 特開2016217823-人検知装置および方法 図000008
  • 特開2016217823-人検知装置および方法 図000009
  • 特開2016217823-人検知装置および方法 図000010
  • 特開2016217823-人検知装置および方法 図000011
  • 特開2016217823-人検知装置および方法 図000012
  • 特開2016217823-人検知装置および方法 図000013
  • 特開2016217823-人検知装置および方法 図000014
  • 特開2016217823-人検知装置および方法 図000015
  • 特開2016217823-人検知装置および方法 図000016
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2016-217823(P2016-217823A)
(43)【公開日】2016年12月22日
(54)【発明の名称】人検知装置および方法
(51)【国際特許分類】
   G01V 8/10 20060101AFI20161125BHJP
【FI】
   G01V9/04 S
【審査請求】未請求
【請求項の数】6
【出願形態】OL
【全頁数】16
(21)【出願番号】特願2015-101586(P2015-101586)
(22)【出願日】2015年5月19日
(71)【出願人】
【識別番号】000006666
【氏名又は名称】アズビル株式会社
(74)【代理人】
【識別番号】100064621
【弁理士】
【氏名又は名称】山川 政樹
(74)【代理人】
【識別番号】100098394
【弁理士】
【氏名又は名称】山川 茂樹
(72)【発明者】
【氏名】細居 智樹
【テーマコード(参考)】
2G105
【Fターム(参考)】
2G105AA01
2G105BB17
2G105EE06
2G105FF12
2G105GG01
2G105HH01
2G105KK01
2G105KK06
(57)【要約】
【課題】室内を移動している人だけでなく、室内に静止している人の位置についても正確に検知する。
【解決手段】移動人物追跡部15が、直前の処理画像から検知した直前検知人物ごとに、移動人物画像img_dynから取得した当該直前検知人物の直前人物位置の周辺に位置する各画素の画素値に基づいて、当該直前検知人物が移動した新たな人物位置を特定し、新規人物検知部16が、移動人物画像img_dynから取得した各画素の画素値に基づいて、新たに出現した新規人物の人物位置を特定し、静止人物判定部17が、直前検知人物のうち移動人物画像img_dynにより人物位置が新たに特定されていない未特定人物ごとに、最新の静止人物画像img_staから取得した当該未特定人物の直前人物位置に対応する画素の画素値に基づいて、当該未特定人物の静止または消滅を判定する。
【選択図】 図1
【特許請求の範囲】
【請求項1】
室内を上部から時系列で撮像された複数の室内画像に基づいて、室内に存在する人の位置を特定する人検知装置であって、
直近に撮像された複数の前記室内画像に関する平均画像を示す静止人物画像と、直近に得られた2つの前記静止人物画像に関する差分画像を示す移動人物画像とからなる、人検知用の処理画像を順次生成する処理画像生成部と、
直前の前記処理画像から検知した直前検知人物ごとに、前記移動人物画像から取得した当該直前検知人物の直前人物位置の周辺に位置する各画素の画素値に基づいて、当該直前検知人物が移動した新たな人物位置を特定する移動人物追跡部と、
前記移動人物画像から取得した各画素の画素値に基づいて、新たに出現した新規人物の人物位置を特定する新規人物検知部と、
前記直前検知人物のうち前記移動人物画像により人物位置が新たに特定されていない未特定人物ごとに、最新の前記静止人物画像から取得した当該未特定人物の直前人物位置に対応する画素の画素値に基づいて、当該未特定人物の静止または消滅を判定する静止人物判定部と
を備えることを特徴とする人検知装置。
【請求項2】
請求項1に記載の人検知装置において、
前記移動人物追跡部は、前記移動人物画像から取得した、前記直前検知人物の直前人物位置を中心とした追跡処理領域内に位置する各画素の平均画素値が、移動人物判定しきい値より大きい場合、当該追跡処理領域内に位置する各画素の重心位置を当該直前検知人物の新たな人物位置として特定することを特徴とする人検知装置。
【請求項3】
請求項1または請求項2に記載の人検知装置において、
前記新規人物検知部は、前記移動人物画像に含まれる各画素のうち、画素値が新規人物判定しきい値より大きい画素を、新規人物の人物位置として特定することを特徴とする人検知装置。
【請求項4】
請求項1〜請求項3のいずれかに記載の人検知装置において、
前記静止人物判定部は、最新の前記静止人物画像から取得した、前記未特定人物の直前人物位置に対応する画素の画素値が、静止人物判定しきい値より大きい場合、当該画素を当該未特定人物の人物位置として再度特定し、当該画素値が静止人物判定しきい値以下の場合、当該未特定人物が消滅したものと判定することを特徴とする人検知装置。
【請求項5】
請求項1〜請求項4のいずれかに記載の人検知装置において、
前記処理画像生成部は、直近に撮像された複数の前記室内画像を画素ごとに画素値を平均処理することによりノイズ除去画像を生成し、当該ノイズ除去画像の画素ごとに当該画素を中心とした平均処理領域内に位置する各画素に関する平均画素値と当該画素の画素値との差分を計算して当該画素の新たな画素値とすることにより位置むら除去画像を生成し、当該位置むら除去画像の画素ごとに当該画素を中心とした内積処理領域画像と所定のテンプレート画像との内積を計算して当該画素の新たな画素値とすることにより前記静止人物画像を生成することを特徴とする人検知装置。
【請求項6】
室内を上部から時系列で撮像された複数の室内画像に基づいて、室内に存在する人の位置を特定する人検知方法であって、
直近に撮像された複数の前記室内画像に関する平均画像を示す静止人物画像と、直近に得られた2つの前記静止人物画像に関する差分画像を示す移動人物画像とからなる、人検知用の処理画像を順次生成する処理画像生成ステップと、
直前の前記処理画像から検知した直前検知人物ごとに、前記移動人物画像から取得した当該直前検知人物の直前人物位置の周辺に位置する各画素の画素値に基づいて、当該直前検知人物が移動した新たな人物位置を特定する移動人物追跡ステップと、
前記移動人物画像から取得した各画素の画素値に基づいて、新たに出現した新規人物の人物位置を特定する新規人物検知ステップと、
前記直前検知人物のうち前記移動人物画像により人物位置が新たに特定されていない未特定人物ごとに、最新の前記静止人物画像から取得した当該未特定人物の直前人物位置に対応する画素の画素値に基づいて、当該未特定人物の静止または消滅を判定する静止人物判定ステップと
を備えることを特徴とする人検知方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人検知技術に関し、特に室内を上部から時系列で撮像された複数の室内画像に基づいて、室内に存在する人の位置を特定する人検知技術に関する。
【背景技術】
【0002】
近年、室内における人の位置を正確に検知して、建物設備の管理に利用する技術が検討されている。例えば、室内における人の位置が正確に検知できれば、人のいないエリアにおける冷暖房を弱め、照明を暗くし、あるいは消灯するなどの制御を行うことができ、結果として省エネルギーを実現することができる。また、人の居場所管理や勤務記録管理、危険場所や機密エリアへの侵入警戒、施設における行き先案内、さらには機器・道具・書類ファイルなどの物の位置追跡にも利用できる。
【0003】
従来、このような人や物の位置を検知する技術として、特許文献1では、静止型焦電センサや圧電センサからなる人感センサにより検出した、所定の位置での動きや移動による変化に基づいて、人の位置を検知する技術が提案されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−112851号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、このような従来技術では、人感センサとして焦電センサを用いた場合、焦電センサ自体が、温度の変化に応じて自発分極を持つセラミックの表面に帯電する電荷が増減するという焦電効果を利用しているため、温度変化がない場合、すなわち人が静止している場合にはセンサ出力があまり変化しなくなる傾向がある。このため、室内を移動した後、静止している人については、正確に検知することができないという問題点があった。したがって、このような誤検知が発生した場合、例えば人検知結果に応じて室内環境を制御する例では、人が席に座って仕事を行っているにもかかわらず、人がいないと判定して、当該エリアにおける冷暖房を弱め、照明を暗くし、あるいは消灯するなどの制御が行われてしまうことになる。
【0006】
本発明はこのような課題を解決するためのものであり、室内を移動している人だけでなく、室内に静止している人の位置についても正確に検知できる人検知技術を提供することを目的としている。
【課題を解決するための手段】
【0007】
このような目的を達成するために、本発明にかかる人検知装置は、室内を上部から時系列で撮像された複数の室内画像に基づいて、室内に存在する人の位置を特定する人検知装置であって、直近に撮像された複数の前記室内画像に関する平均画像を示す静止人物画像と、直近に得られた2つの前記静止人物画像に関する差分画像を示す移動人物画像とからなる、人検知用の処理画像を順次生成する処理画像生成部と、直前の前記処理画像から検知した直前検知人物ごとに、前記移動人物画像から取得した当該直前検知人物の直前人物位置の周辺に位置する各画素の画素値に基づいて、当該直前検知人物が移動した新たな人物位置を特定する移動人物追跡部と、前記移動人物画像から取得した各画素の画素値に基づいて、新たに出現した新規人物の人物位置を特定する新規人物検知部と、前記直前検知人物のうち前記移動人物画像により人物位置が新たに特定されていない未特定人物ごとに、最新の前記静止人物画像から取得した当該未特定人物の直前人物位置に対応する画素の画素値に基づいて、当該未特定人物の静止または消滅を判定する静止人物判定部とを備えている。
【0008】
また、本発明にかかる上記人検知装置の一構成例は、前記移動人物追跡部が、前記移動人物画像から取得した、前記直前検知人物の直前人物位置を中心とした追跡処理領域内に位置する各画素の平均画素値が、移動人物判定しきい値より大きい場合、当該追跡処理領域内に位置する各画素の重心位置を当該直前検知人物の新たな人物位置として特定するようにしたものである。
【0009】
また、本発明にかかる上記人検知装置の一構成例は、前記新規人物検知部が、前記移動人物画像に含まれる各画素のうち、画素値が新規人物判定しきい値より大きい画素を、新規人物の人物位置として特定するようにしたものである。
【0010】
また、本発明にかかる上記人検知装置の一構成例は、前記静止人物判定部が、最新の前記静止人物画像から取得した、前記未特定人物の直前人物位置に対応する画素の画素値が、静止人物判定しきい値より大きい場合、当該画素を当該未特定人物の人物位置として再度特定し、当該画素値が静止人物判定しきい値以下の場合、当該未特定人物が消滅したものと判定するようにしたものである。
【0011】
また、本発明にかかる上記人検知装置の一構成例は、前記処理画像生成部が、直近に撮像された複数の前記室内画像を画素ごとに画素値を平均処理することによりノイズ除去画像を生成し、当該ノイズ除去画像の画素ごとに当該画素を中心とした平均処理領域内に位置する各画素に関する平均画素値と当該画素の画素値との差分を計算して当該画素の新たな画素値とすることにより位置むら除去画像を生成し、当該位置むら除去画像の画素ごとに当該画素を中心とした内積処理領域画像と所定のテンプレート画像との内積を計算して当該画素の新たな画素値とすることにより前記静止人物画像を生成するようにしたものである。
【0012】
また、本発明にかかる人検知方法は、室内を上部から時系列で撮像された複数の室内画像に基づいて、室内に存在する人の位置を特定する人検知方法であって、直近に撮像された複数の前記室内画像に関する平均画像を示す静止人物画像と、直近に得られた2つの前記静止人物画像に関する差分画像を示す移動人物画像とからなる、人検知用の処理画像を順次生成する処理画像生成ステップと、直前の前記処理画像から検知した直前検知人物ごとに、前記移動人物画像から取得した当該直前検知人物の直前人物位置の周辺に位置する各画素の画素値に基づいて、当該直前検知人物が移動した新たな人物位置を特定する移動人物追跡ステップと、前記移動人物画像から取得した各画素の画素値に基づいて、新たに出現した新規人物の人物位置を特定する新規人物検知ステップと、前記直前検知人物のうち前記移動人物画像により人物位置が新たに特定されていない未特定人物ごとに、最新の前記静止人物画像から取得した当該未特定人物の直前人物位置に対応する画素の画素値に基づいて、当該未特定人物の静止または消滅を判定する静止人物判定ステップとを備えている。
【発明の効果】
【0013】
本発明によれば、室内を移動している人や新規に出現した人だけでなく、室内で静止している人の位置についても正確に検知することができる。これにより、例えば人検知結果に応じて室内環境を制御する例では、人が席に座って仕事を行っている場合でも、人が存在すると判定して、当該エリアにおける冷暖房や照明を維持することができ、適切な室内環境制御を実現することが可能となる。
【図面の簡単な説明】
【0014】
図1】人検知装置の構成を示すブロック図である。
図2】人探索処理を示すフローチャートである。
図3】人探索処理を示す説明図である。
図4】人探索処理で用いる変数に関する説明図である。
図5】処理画像生成処理を示すフローチャートである。
図6】ノイズ除去画像の生成処理を示す説明図である。
図7】位置むら除去画像の生成処理を示す説明図である。
図8】静止人物画像の生成処理を示す説明図である。
図9】移動人物画像の生成処理を示す説明図である。
図10】移動人物追跡処理を示すフローチャートである。
図11】新規人物検知処理を示すフローチャートである。
図12】静止人物判定処理を示すフローチャートである。
【発明を実施するための形態】
【0015】
次に、本発明の一実施の形態について図面を参照して説明する。
[人検知装置]
まず、図1を参照して、本発明の一実施の形態にかかる人検知装置1について説明する。図1は、人検知装置の構成を示すブロック図である。
【0016】
この人検知装置1は、全体として、サーバ、パーソナルコンピュータ、産業用コントローラなどの情報処理装置からなり、検知対象となる部屋RMにおいて、天井など上部に設置されたセンサSで時系列に撮像された複数の室内画像に基づいて、室内に存在する人の位置を特定する機能を有している。
本実施の形態では、センサSがサーモバイルアレイセンサからなり、得られる室内画像が熱画像からなる場合を例として説明する。なお、センサSは、サーモバイルアレイセンサに限定されるものではなく、対象物まで距離を検出する、例えばTOF(Time Of Flight)方式の距離画像センサなど、他の画像センサを用いてもよい。
【0017】
図1に示すように、人検知装置1には、主な機能部として、通信I/F部10、操作入力部11、画面表示部12、記憶部13、処理画像生成部14、移動人物追跡部15、新規人物検知部16、静止人物判定部17、および検知結果出力部18が設けられている。これら機能部のうち、処理画像生成部14、移動人物追跡部15、新規人物検知部16、静止人物判定部17、および検知結果出力部18については、CPUが記憶部13のプログラムを実行して実現される処理部から構成されている。
【0018】
通信I/F部10は、通信回線L1を介して部屋RMに設置されたセンサSとデータ通信を行うことにより、これらセンサSにより室内を上部から時系列で撮像された複数の室内画像(熱画像)img_orgを取得して記憶部13に保存する機能と、検知結果出力部18から出力された検知結果を、部屋RMの管理を行う管理システム2へ出力する機能とを有している。
管理システム2としては、部屋RMの空調や照明を制御する室内環境制御システムのほか、人の居場所管理や勤務記録管理、危険場所や機密エリアへの侵入警戒、施設における行き先案内、さらには機器・道具・書類ファイルなどの物の位置追跡を行う各種システムがある。
【0019】
操作入力部11は、キーボード、マウス、ダッチパネルなどの操作入力装置からなり、オペレータの操作を検出する機能を有している。
画面表示部12は、LCDなどの画面表示装置からなり、操作メニュー、設定画面、人探索処理状況、検知結果などを画面表示する機能を有している。
【0020】
記憶部13は、ハードディスクや半導体メモリからなり、通信I/F部10で取得した室内画像img_orgのほか、各機能部で生成された人探索処理用の画像やデータを記憶する機能と、CPUで実行されるプログラムを記憶する機能とを有している。このプログラムは、外部装置や記録媒体(ともに図示せず)から予め記憶部13に格納されているものとする。
【0021】
処理画像生成部14は、直近に撮像された複数の室内画像img_orgを記憶部13から読み出し、これら室内画像img_orgに関する平均画像を示す静止人物画像img_staと、直近に得られた2つの静止人物画像img_staに関する差分画像を示す移動人物画像img_dynとからなる、人検知用の処理画像を順次生成し、記憶部13に保存する機能を有している。
【0022】
より具体的には、処理画像生成部14は、直近に撮像された複数の室内画像img_orgを画素ごとに画素値を平均処理することによりノイズ除去画像img_rdnを生成する機能と、当該ノイズ除去画像img_rdnの画素ごとに当該画素を中心とした平均処理領域内に位置する各画素に関する平均画素値と当該画素の画素値との差分を計算して当該画素の新たな画素値とすることにより位置むら除去画像img_rdsを生成する機能と、当該位置むら除去画像img_rdsの画素ごとに当該画素を中心とした内積処理領域画像と所定のテンプレート画像との内積を計算して当該画素の新たな画素値とすることにより静止人物画像img_staを生成する機能とを有している。
【0023】
移動人物追跡部15は、直前の処理画像から検知した直前検知人物ごとに、移動人物画像img_dynから取得した、当該直前検知人物の直前人物位置の周辺に位置する各画素の画素値に基づいて、当該直前検知人物が移動した新たな人物位置を特定する機能を有している。
より具体的には、移動人物追跡部15は、移動人物画像img_dynから取得した、直前検知人物の直前人物位置を中心とした追跡処理領域内に位置する各画素の平均画素値が、移動人物判定しきい値より大きい場合、当該追跡処理領域内に位置する各画素の重心位置を当該直前検知人物の新たな人物位置として特定する機能を有している。
【0024】
新規人物検知部16は、移動人物画像img_dynから取得した各画素の画素値に基づいて、新たに出現した新規人物の人物位置を特定する機能を有している。
より具体的には、新規人物検知部16は、移動人物画像img_dynに含まれる各画素のうち、画素値が新規人物判定しきい値より大きい画素を、新規人物の人物位置として特定する機能を有している。
【0025】
静止人物判定部17は、直前検知人物のうち移動人物画像img_dynにより人物位置が新たに特定されていない未特定人物ごとに、最新の静止人物画像img_sta[t]から取得した当該未特定人物の直前人物位置に対応する画素の画素値に基づいて、当該未特定人物の静止または消滅を判定する機能を有している。
より具体的には、静止人物判定部17は、最新の静止人物画像img_sta[t]から取得した、未特定人物の直前人物位置に対応する画素の画素値が、静止人物判定しきい値より大きい場合、当該画素を当該未特定人物の人物位置として再度特定し、当該画素値が静止人物判定しきい値以下の場合、当該人物が消滅したものと判定する機能を有している。
【0026】
検知結果出力部18は、移動人物追跡部15、新規人物検知部16、および静止人物判定部17での処理結果に基づいて、室内に存在する人物に関する人物位置、人数、存在有無などの検知結果を、画面表示部12に出力する機能と、通信I/F部10および通信回線L2を介して管理システム2へ出力する機能とを有している。
【0027】
[本実施の形態の動作]
次に、図2図4を参照して、本実施の形態にかかる人検知装置1の動作について説明する。図2は、人探索処理を示すフローチャートである。図3は、人探索処理を示す説明図である。図4は、人探索処理で用いる変数に関する説明図である。なお、図3に示されている各画像は、あくまでも理解を容易とするための処理イメージであり、実際の処理とは異なる場合がある。
【0028】
人検知装置1は、部屋RM内に存在する人を検知する際、最新の室内画像img_org[t]が得られるごとに、図2の人探索処理を実行する。なお、センサSで撮像された室内画像img_org[t]は、通信I/F部10を介して順次記憶部13に保存されるものとする。
【0029】
まず、処理画像生成部14は、直近に撮像されたn枚の室内画像img_org[t−n+1]〜img_org[t]を記憶部13から読み出して、これら室内画像img_orgに関する平均画像を示す最新静止人物画像img_sta[t]を生成し、記憶部13に処理画像として保存する(ステップ100)。なお、nは1以上の整数からなり、図4の変数_flm_rngに相当する。tは最新の画像番号である。
【0030】
続いて、処理画像生成部14は、直近に得られた2つの静止人物画像、すなわち直前静止人物画像img_sta[t−1]と最新静止人物画像img_sta[t]に関する差分画像を示す移動人物画像img_dynを生成し、処理画像として記憶部13に保存する(ステップ101)。
【0031】
次に、移動人物追跡部15は、直前の処理画像(img_sta[t−1],img_dyn[t−1])から検知した検知結果である直前検知結果データ_res[t−1]を参照し、直前検知人物ごとに、移動人物画像img_dynから取得した当該直前検知人物の直前人物位置の周辺に位置する各画素の画素値に基づいて、当該直前検知人物が移動した新たな人物位置を特定して最新検知結果データ_res[t]を更新する(ステップ102)。なお、検知結果データ_res[t]は、図4に示されている、各人物に関する存在フラグ_res_flg[t],X座標_res_xps[t],Y座標_res_yps[t]の総称である。
【0032】
この後、新規人物検知部16は、移動人物画像img_dynから取得した各画素の画素値に基づいて、新たに出現した新規人物の人物位置を特定して最新検知結果データ_res[t]を更新する(ステップ103)。
【0033】
続いて、静止人物判定部17は、直前検知結果データ_res[t−1]および最新検知結果データ_res[t]を参照して、直前検知人物のうち移動人物画像img_dynにより人物位置が新たに特定されていない未特定人物ごとに、最新静止人物画像img_sta[t]から取得した当該未特定人物の直前人物位置に対応する画素の画素値に基づいて、当該未特定人物の静止または消滅を判定し、最新検知結果データ_res[t]を更新する(ステップ104)。
【0034】
この後、検知結果出力部18は、移動人物追跡部15、新規人物検知部16、および静止人物判定部17での処理結果、すなわち最新検知結果データ_res[t]に基づいて、室内に存在する人物に関する人物位置、人数、存在有無などの検知結果を、画面表示部12や管理システム2へ出力し(ステップ105)、一連の人探索処理を終了する。
【0035】
[処理画像生成動作]
次に、図5図9を参照して、本実施の形態にかかる処理画像生成動作について説明する。図5は、処理画像生成処理を示すフローチャートである。図6は、ノイズ除去画像の生成処理を示す説明図である。図7は、位置むら除去画像の生成処理を示す説明図である。図8は、静止人物画像の生成処理を示す説明図である。図9は、移動人物画像の生成処理を示す説明図である。
【0036】
処理画像生成部14は、図2のステップ100,101において、図5の処理画像生成処理を実行する。なお、図6図9に示されている各画像は、あくまでも理解を容易とするための処理イメージであり、記載されている数値や実際の処理とは異なる場合がある。
【0037】
処理画像生成部14は、まず、直近に撮像されたn枚の室内画像img_org[t−n+1]〜img_org[t]を記憶部13から取得し(ステップ110)、図6に示すように、これら室内画像img_org[t−n+1]〜img_org[t]を、画素ごとに画素値を平均処理することによりノイズ除去画像img_rdnを生成する(ステップ111)。この際、n枚の室内画像img_orgは、処理ごとに1枚ずつ入れ替わることになるため、処理の流れからみれば、ノイズ除去画像img_rdnは、n枚の室内画像img_orgに関する移動平均画像に相当していることになる。
【0038】
次に、処理画像生成部14は、図7に示すように、ノイズ除去画像img_rdnの画素ごとに、図4の周囲領域サイズ_wng_clrで特定される、当該画素を中心とした平均処理領域について、この平均処理領域内に位置する各画素に関する平均画素値と、当該画素の画素値との差分を計算し、当該画素の新たな画素値とすることにより、位置むら除去画像img_rdsを生成する(ステップ112)。
図7には、平均処理領域の大きさを3×3(_wng_clr=3)とした例が示されており、中心画素の画素値「21.7」と平均処理領域内の全9個の画素の平均画素値「22.3」との差分「0.6」(絶対値)が、位置むら除去画像img_rdsにおける新たな画素値として用いられている。
【0039】
続いて、処理画像生成部14は、図8に示すように、位置むら除去画像img_rdsの画素ごとに、当該画素を中心とした内積処理領域画像と所定のテンプレート画像img_tmpとの内積を計算し、当該画素の新たな画素値とすることにより最新静止人物画像img_sta[t]を生成し、記憶部13に保存する(ステップ113)。
【0040】
図8には、テンプレート画像の大きさを3×3(_wng_mch=3)とした例が示されており、このテンプレート画像img_tmpと同じ大きさを持つ内積処理領域画像との内積「0.2」が、静止人物画像img_sta[t]における新たな画素値として用いられている。テンプレート画像img_tmpは、人の存在を示す画素群の画素値を示す典型例であり、この典型例との内積が大きいほど、テンプレート画像img_tmpとの類似性が高い、すなわち人物位置である可能性が高いことになる。
【0041】
この後、処理画像生成部14は、図9に示すように、直近に得られた2つの静止人物画像、すなわち直前静止人物画像img_sta[t−1]と最新静止人物画像img_sta[t]を、画素ごとに画素値の差分を計算し、差分が負の値である場合には画素値を「0」とし、この差分を当該画素の新たな画素値とすることにより移動人物画像img_dynを生成して、記憶部13に保存し(ステップ114)、一連の処理画像生成処理を終了する。
【0042】
[移動人物追跡動作]
次に、図10を参照して、本実施の形態にかかる移動人物追跡動作について説明する。図10は、移動人物追跡処理を示すフローチャートである。
移動人物追跡部15は、図2のステップ103において、図10の移動人物追跡処理を実行する。
【0043】
移動人物追跡部15は、まず、直前検知結果データ_res[t−1]を参照し、この直前検知結果データ_res[t−1]に含まれている、今までに1回でも検知したことのある既検知人物のうちから、注目人物として最初の人物を選択し(ステップ120)、選択した注目人物が直前の処理画像で検知された直前検知人物か確認する(ステップ121)。
ここで、注目人物が直前検知人物である場合(ステップ121:YES)、移動人物画像img_dynの各画素値に基づいて、座標更新探索幅_wng_schで特定される、直前検知人物の直前人物位置を中心とした追跡処理領域について、この追跡処理領域内に位置する各画素の重心位置と平均画素値を計算する(ステップ122)。
【0044】
例えば、追跡処理領域内に位置するk個の画素の画素値をそれぞれGi(i=1〜kの整数)とした場合、これら画素の重心位置Px,Pyは、これら画素値Giを重みとして各画素位置の重み付き平均値を求める次の式(1)で表され、これら画素の平均画素値scoは、これら画素値Giの平均値を求める次の式(2)で表される。
【0045】
【数1】
【数2】
【0046】
次に、移動人物追跡部15は、得られた平均画素値と移動人物判定しきい値(_thr_dyn)とを比較し(ステップ123)、平均画素値が移動人物判定しきい値より大きい場合(ステップ123:YES)、注目人物が移動人物であると判定して、得られた重心位置からなる新たな人物位置に注目人物が移動したものとして特定し、最新検知結果データ_res[t]に設定する(ステップ124)。
【0047】
この後、移動人物追跡部15は、探索画像img_flgのうち、図4の周囲領域サイズ_wng_clrで特定される、直前人物位置を中心とした周囲領域内の各画素を探索済みに設定する(ステップ125)。探索画像img_flgは、移動人物画像img_dynを構成する各画素について、探索済みか未探索かを示すデータであり、最新検知結果データ_res[t]などの変数と同様にして、処理画像生成前に初期化、この場合はすべて未探索に設定される。
【0048】
続いて、移動人物追跡部15は、既検知人物のうちから注目人物として次の人物を選択し(ステップ126)、すべての既検知人物に関する移動人物追跡処理が終了したか確認する(ステップ127)。
ここで、すべての既検知人物に関する移動人物追跡処理が終了していない場合には(ステップ127:NO)、ステップ121へ戻り、すべての既検知人物に関する移動人物追跡処理が終了した場合には(ステップ127:YES)、一連の移動人物追跡処理を終了する。
【0049】
一方、ステップ121において、注目人物が直前検知人物でない場合には(ステップ121:NO)、ステップ126に移行して、次の人物を注目人物として選択する。また、ステップ123において、平均画素値が移動人物判定しきい値以下の場合にも(ステップ123:NO)、ステップ126に移行して、次の人物を注目人物として選択する。
【0050】
[新規人物検知動作]
次に、図11を参照して、本実施の形態にかかる新規人物検知動作について説明する。図11は、新規人物検知処理を示すフローチャートである。
新規人物検知部16は、図2のステップ104において、図11の新規人物検知処理を実行する。
【0051】
新規人物検知部16は、まず、移動人物画像img_dynを構成する各画素から、最初の画素を注目画素として選択し(ステップ130)、探索画像img_flgに基づいて、選択した注目画素が未探索であるか確認する(ステップ131)。
ここで、注目画素が未探索である場合(ステップ131:YES)、新規人物検知部16は、移動人物画像img_dynから注目画素の画素値を取得し(ステップ132)、例えば移動人物判定しきい値(_thr_dyn)と等しい新規人物判定しきい値と比較する(ステップ133)。
【0052】
この際、取得した画素値が新規人物判定しきい値より大きい場合(ステップ133:YES)、新規人物検知部16は、注目人物が新規人物であると判定し、注目画素の画素位置を新規人物の人物位置として特定して最新検知結果データ_res[t]に設定し(ステップ134)、探索画像img_flgのうち、図4の周囲領域サイズ_wng_clrで特定される、新規人物位置を中心とした周囲領域内の各画素を探索済みに設定する(ステップ135)。
【0053】
続いて、移動人物追跡部15は、移動人物画像img_dynから注目画素として次の画素を選択し(ステップ136)、すべての画素に関する新規人物検知処理が終了したか確認する(ステップ137)。
ここで、すべての画素に関する新規人物検知処理が終了していない場合には(ステップ137:NO)、ステップ131へ戻り、すべての画素に関する新規人物検知処理が終了した場合には(ステップ137:YES)、一連の新規人物検知処理を終了する。
【0054】
一方、ステップ131において、注目画素が未探索でない場合には(ステップ131:NO)、ステップ136に移行して、次の画素を注目画素として選択する。また、ステップ133において、取得した画素値が新規人物判定しきい値以下の場合(ステップ133:NO)、ステップ136に移行して、次の画素を注目画素として選択する。
【0055】
[静止人物判定動作]
次に、図12を参照して、本実施の形態にかかる静止人物判定動作について説明する。図12は、静止人物判定処理を示すフローチャートである。
静止人物判定部17は、図2のステップ105において、図12の静止人物判定処理を実行する。
【0056】
静止人物判定部17は、まず、直前検知結果データ_res[t−1]を参照し、この直前検知結果データ_res[t−1]に含まれている、今までに1回でも検知したことのある既検知人物のうちから、注目人物として最初の人物を選択し(ステップ140)、選択した注目人物が最新の処理画像で特定されていない未特定人物であるか確認する(ステップ141)。
ここで、注目人物が未特定人物である場合(ステップ141:YES)、静止人物判定部17は、直前検知結果データ_res[t−1]を参照し、注目人物が直前の処理画像で検知された直前検知人物であるか確認する(ステップ142)。
【0057】
注目人物が直前検知人物である場合(ステップ142:YES)、静止人物判定部17は、最新静止人物画像img_sta[t]から注目人物の直前人物位置に対応する画素の画素値を取得し(ステップ143)、静止人物判定しきい値_thr_staと比較する(ステップ144)。
ここで、取得した画素値が静止人物判定しきい値より大きい場合(ステップ144:YES)、静止人物判定部17は、未特定人物が静止人物であると判定して、その直前人物位置を未特定人物の人物位置として再度特定し、最新検知結果データ_res[t]に設定する(ステップ145)。
【0058】
この後、静止人物判定部17は、既検知人物のうちから注目人物として次の人物を選択し(ステップ146)、すべての既検知人物に関する静止人物判定処理が終了したか確認する(ステップ147)。
ここで、すべての既検知人物に関する静止人物判定処理が終了していない場合には(ステップ147:NO)、ステップ141へ戻る。また、すべての既検知人物に関する静止人物判定処理が終了した場合には(ステップ147:YES)、一連の静止人物判定処理を終了する。
【0059】
一方、ステップ141において、注目人物が未特定人物でない場合には(ステップ141:NO)、ステップ146に移行して、次の人物を注目人物として選択する。同じく、ステップ142において、注目人物が直前検知人物でない場合には(ステップ142:NO)、ステップ146に移行して、次の人物を注目人物として選択する。
また、直前人物位置に対応する画素の画素値が静止人物判定しきい値以下の場合(ステップ144:NO)、ステップ146に移行して、次の人物を注目人物として選択する。これにより、注目人物は再度特定されず、結果として部屋RMから消滅したものと判定されたことになる。
【0060】
[本実施の形態の効果]
このように、本実施の形態は、処理画像生成部14が、直近に撮像された複数の室内画像img_orgに関する平均画像を示す静止人物画像img_staと、直近に得られた2つの静止人物画像img_staに関する差分画像を示す移動人物画像img_dynとからなる、人検知用の処理画像を順次生成し、移動人物追跡部15が、直前の処理画像から検知した直前検知人物ごとに、移動人物画像img_dynから取得した当該直前検知人物の直前人物位置の周辺に位置する各画素の画素値に基づいて、当該直前検知人物が移動した新たな人物位置を特定し、新規人物検知部16が、移動人物画像img_dynから取得した各画素の画素値に基づいて、新たに出現した新規人物の人物位置を特定し、静止人物判定部17が、直前検知人物のうち移動人物画像img_dynにより人物位置が新たに特定されていない未特定人物ごとに、最新の静止人物画像img_staから取得した当該未特定人物の直前人物位置に対応する画素の画素値に基づいて、当該未特定人物の静止または消滅を判定するようにしたものである。
【0061】
これにより、室内を移動している人物の位置については、直近に得られた2つの静止人物画像img_staから生成した移動人物画像img_dynに基づいて移動人物追跡部15により追跡検知され、室内に新たに出現した人物の位置については、移動人物画像img_dynに基づいて新規人物検知部16により検知され、室内で静止している人物の位置については、直近に撮像された複数の室内画像img_orgに関する平均画像を示す静止人物画像img_staに基づいて静止人物判定部17により検知されることになる。
【0062】
したがって、室内を移動している人や新規に出現した人だけでなく、室内で静止している人の位置についても正確に検知することができる。
これにより、例えば人検知結果に応じて室内環境を制御する例では、人が席に座って仕事を行っている場合でも、人が存在すると判定して、当該エリアにおける冷暖房や照明を維持することができ、適切な室内環境制御を実現することが可能となる。
【0063】
また、本実施の形態において、移動人物追跡部15により、移動人物画像img_dynから取得した、直前検知人物の直前人物位置を中心とした追跡処理領域内に位置する各画素の平均画素値が、移動人物判定しきい値より大きい場合、当該追跡処理領域内に位置する各画素の重心位置を当該直前検知人物の新たな人物位置として特定するようにしてもよい。これにより、室内を移動している人物の新たな人物位置を、極めて正確に特定することができる。
【0064】
また、本実施の形態において、新規人物検知部16により、移動人物画像img_dynに含まれる各画素のうち、画素値が新規人物判定しきい値より大きい画素を、新規人物の人物位置として特定するようにしてもよい。これにより、室内に新規に出現した人物の人物位置を、極めて正確に特定することができる。
【0065】
また、本実施の形態において、静止人物判定部17により、最新の静止人物画像img_sta[t]から取得した、未特定人物の直前人物位置に対応する画素の画素値が、静止人物判定しきい値より大きい場合、当該画素を当該未特定人物の人物位置として再度特定し、当該画素値が静止人物判定しきい値以下の場合、当該未特定人物が消滅したものと判定するようにしてもよい。これにより、人物が室内で移動せずに静止しているのか、室内から消滅したのかを、極めて正確に判定することができる。
【0066】
また、本実施の形態において、処理画像生成部14により、直近に撮像された複数の室内画像img_orgを画素ごとに画素値を平均処理することによりノイズ除去画像img_rdnを生成し、当該ノイズ除去画像img_rdnの画素ごとに当該画素を中心とした平均処理領域内に位置する各画素に関する平均画素値と当該画素の画素値との差分を計算して当該画素の新たな画素値とすることにより位置むら除去画像img_rdsを生成し、当該位置むら除去画像img_rdsの画素ごとに当該画素を中心とした内積処理領域画像と所定のテンプレート画像との内積を計算して当該画素の新たな画素値とすることにより静止人物画像img_staを生成するようにしてもよい。これにより、得られた室内画像img_orgからノイズや位置むらが除去された、人探索処理において極めて良好な静止人物画像img_staを生成することができる。
【0067】
[実施の形態の拡張]
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しうる様々な変更をすることができる。また、各実施形態については、矛盾しない範囲で任意に組み合わせて実施することができる。
【符号の説明】
【0068】
1…人検知装置、10…通信I/F部、11…操作入力部、12…画面表示部、13…記憶部、14…処理画像生成部、15…移動人物追跡部、16…新規人物検知部、17…静止人物判定部、18…検知結果出力部、2…管理システム、S…センサ、RM…部屋、L1,L2…通信回線、img_org…室内画像、img_sta…静止人物画像、img_dyn…移動人物画像、_res…検知結果データ。
図1
図2
図4
図5
図10
図11
図12
図3
図6
図7
図8
図9