(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023135544
(43)【公開日】2023-09-28
(54)【発明の名称】画像センサ、機器制御システム、出力方法及びプログラム
(51)【国際特許分類】
H04N 23/60 20230101AFI20230921BHJP
H04N 7/18 20060101ALI20230921BHJP
【FI】
H04N5/232 290
H04N7/18 D
H04N7/18 K
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022040813
(22)【出願日】2022-03-15
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002527
【氏名又は名称】弁理士法人北斗特許事務所
(72)【発明者】
【氏名】菊池 彰洋
(72)【発明者】
【氏名】竹ノ内 利春
(72)【発明者】
【氏名】中村 守雄
(72)【発明者】
【氏名】杭 耕一郎
(72)【発明者】
【氏名】八手又 猛
【テーマコード(参考)】
5C054
5C122
【Fターム(参考)】
5C054CA04
5C054CC02
5C054FC12
5C054FE14
5C054GB02
5C054HA19
5C122DA03
5C122DA04
5C122DA11
5C122EA55
5C122FH10
5C122FH12
5C122FH14
5C122GA23
5C122GA31
5C122GC07
5C122HA13
5C122HA35
5C122HA88
5C122HB01
5C122HB02
(57)【要約】
【課題】出力するデータ量を抑制しつつ、設置及び監視等の作業の容易化を図ることができる画像センサを提供する。
【解決手段】画像センサ1は、撮像部11と判断部121と第1出力部131と第2出力部132とを備える。撮像部11は、撮像を行う。判断部121は、撮像部11が撮像した第1画像に基づいて、撮像部11の撮像範囲に含まれる所定範囲内の人の存否に関する判断を行う。第1出力部131は、判断結果情報を出力する。判断結果情報は、判断部121の判断結果に関する情報である。第2出力部132は、第2画像を出力する。前記第2画像は、前記第1画像に基づく画像である。また、前記第2画像は、前記判断及び前記判断結果の少なくとも一方に関連する画像である。
【選択図】
図2
【特許請求の範囲】
【請求項1】
撮像を行う撮像部と、
前記撮像部が撮像した第1画像に基づいて、前記撮像部の撮像範囲に含まれる所定範囲内の人の存否に関する判断を行う判断部と、
前記判断部の判断結果に関する判断結果情報を出力する第1出力部と、
前記第1画像に基づく第2画像を出力する第2出力部と、を備え、
前記第2画像は、前記判断及び前記判断結果の少なくとも一方に関連する画像である、
画像センサ。
【請求項2】
前記第2画像は、前記第1画像に対して前記判断のための所定の第1処理が施された処理画像を含む、
請求項1に記載の画像センサ。
【請求項3】
前記第2画像は、前記第1画像に対して前記判断結果に応じた所定の第2処理が施された処理画像を含む、
請求項1又は2に記載の画像センサ。
【請求項4】
前記第2画像は、前記判断結果が変化した前後所定期間内の前記第1画像に基づくものを含む、
請求項1~3のいずれか1項に記載の画像センサ。
【請求項5】
前記第2画像は、前記判断結果が変化した前後の前記第1画像に基づくものを含む、
請求項4に記載の画像センサ。
【請求項6】
前記判断部は、所定の判断値に基づいて、前記所定範囲内の人の存否を判断するものであり、
前記第2画像は、前記判断値が、前記所定範囲内に人が存在すると判断する第1判断値よりも小さく、かつ前記所定範囲内に人が存在しないと判断する第2判断値よりも大きい場合の前記第1画像に基づくものを含む、
請求項1~5のいずれか1項に記載の画像センサ。
【請求項7】
前記第1画像から人の画像が含まれると推定される人推定領域を抽出する抽出部を更に備え、
前記第2画像は、前記抽出部において抽出された人推定領域の大きさが所定の値よりも小さい場合の前記第1画像に基づくものを含む、
請求項1~6のいずれか1項に記載の画像センサ。
【請求項8】
前記第1画像から人の画像が含まれると推定される人推定領域を抽出する抽出部を更に備え、
前記第2画像は、前記抽出部において抽出された人推定領域間の距離が所定値よりも近い場合の前記第1画像に基づくものを含む、
請求項1~6のいずれか1項に記載の画像センサ。
【請求項9】
前記所定範囲は、前記撮像範囲の一部であり、
前記第2画像は、前記撮像範囲内における前記所定範囲の外側の領域に人が存在すると前記判断部が判断した場合の前記第1画像に基づくものを含む、
請求項1~6のいずれか1項に記載の画像センサ。
【請求項10】
記憶部を更に備え、
前記第2出力部は、前記記憶部に前記第2画像を記憶させる、
請求項1~9のいずれか1項に記載の画像センサ。
【請求項11】
請求項1~10のいずれか1項に記載の画像センサと、
前記第1出力部が出力した前記判断結果情報に基づいて機器を制御する制御部と、を備える、
機器制御システム。
【請求項12】
撮像を行う撮像ステップと、
前記撮像ステップで撮像された第1画像に基づいて、前記撮像ステップでの撮像範囲に含まれる所定範囲内の人の存否に関する判断を行う判断ステップと、
前記判断ステップでの判断結果に関する判断結果情報を出力する第1出力ステップと、
前記第1画像に基づく第2画像を出力する第2出力ステップと、を含み、
前記第2画像は、前記判断及び前記判断結果の少なくとも一方に関連する画像である、
出力方法。
【請求項13】
請求項12に記載の出力方法を1つ以上のプロセッサに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像センサ、機器制御システム、出力方法及びプログラムに関し、より詳細には、撮像した画像を基に人の存否を判断し、判断結果を出力(例えば、通信媒体で送信)する画像センサ、機器制御システム、出力方法及びプログラムに関する。
【背景技術】
【0002】
特許文献1には、撮像した画像から検知範囲における人体の存否を判断し、判断結果を主制御装置への伝送線に送信する画像センサ装置が記載されている。この画像センサ装置は、パソコンとLAN(Local Area Network)で接続可能である。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記従来の画像センサ装置によれば、撮像した画像を録画(例えば、画像センサ装置内の記憶部又はパソコン等の記憶部に記憶)し、録画した画像をパソコンの画面で見ながら各種の作業を行える。各種の作業とは、例えば、画像センサ装置を設置する際に行われる検知範囲の調整等の作業(以下、設置作業)や、画像センサ装置を監視カメラとして利用する際に行われる、人の存否に関連した異常の有無の確認等の作業(以下、監視作業)などである。
【0005】
しかし、従来の画像センサ装置では、撮像された画像がそのまま記憶(記憶部に出力)されるため、大容量の記憶部が必要であり、大容量の記憶部であっても満杯になれば作業は困難となる。また、撮像された画像をそのまま用いる長時間の監視作業は、容易でなかった。
【0006】
本開示の目的は、出力するデータ量を抑制しつつ、設置及び監視等の作業の容易化を図ることができる画像センサ、機器制御システム、出力方法及びプログラムを提供することである。
【課題を解決するための手段】
【0007】
本開示の一態様に係る画像センサは、撮像部と、判断部と、第1出力部と、第2出力部と、を備える。前記撮像部は、撮像を行う。前記判断部は、前記撮像部が撮像した第1画像に基づいて、前記撮像部の撮像範囲に含まれる所定範囲内の人の存否に関する判断を行う。前記第1出力部は、判断結果情報を出力する。前記判断結果情報は、前記判断部の判断結果に関する情報である。前記第2出力部は、第2画像を出力する。前記第2画像は、前記第1画像に基づく画像である。また、前記第2画像は、前記判断及び前記判断結果の少なくとも一方に関連する画像である。
【0008】
本開示の一態様に係る機器制御システムは、前記画像センサと、制御部と、を備える。前記制御部は、前記第1出力部が出力した前記判断結果情報に基づいて機器を制御する。
【0009】
本開示の一態様に係る出力方法は、撮像ステップと、判断ステップと、第1出力ステップと、第2出力ステップと、を含む。前記撮像ステップでは、撮像が行われる。前記判断ステップでは、前記撮像ステップで撮像された第1画像に基づいて、前記撮像ステップでの撮像範囲に含まれる所定範囲内の人の存否に関する判断が行われる。前記第1出力ステップでは、前記判断ステップでの判断結果に関する判断結果情報が出力される。前記第2出力ステップでは、前記第1画像に基づく第2画像が出力される。前記第2画像は、前記判断及び前記判断結果の少なくとも一方に関連する画像である。
【0010】
本開示の一態様に係るプログラムは、前記出力方法を1つ以上のプロセッサに実行させるためのプログラムである。
【発明の効果】
【0011】
本開示の画像センサ、機器制御システム、出力方法及びプログラムは、出力するデータ量を抑制しつつ、設置及び監視等の作業の容易化を図ることができるという効果がある。
【図面の簡単な説明】
【0012】
【
図1】
図1は、本開示の実施形態に係る画像センサを含む機器制御システムのブロック図である。
【
図2】
図2は、同上の画像センサのブロック図である。
【
図3】
図3は、同上の画像センサの動作を説明するためのフローチャートである。
【
図4】
図4は、同上の動作に含まれる処理を示すフローチャートである。
【
図5】
図5は、同上の動作に含まれる出力を示すフローチャートである。
【
図6】
図6Aは、同上の画像センサが撮像した画像である第1画像の一例を示す図であり、
図6Bは、同上の第1画像に基づく第2画像の一例を示す図である。
【
図7】
図7は、同上の第2画像が出力される期間(保存期間)を示すタイミング図である。
【
図8】
図8は、出力される第2画像の一例(人検出枠が小さい場合)を示す模式図である。
【
図9】
図9は、出力される第2画像の他の例(人検出枠間が近い場合)を示す模式図である。
【
図10】
図10は、出力される第2画像のその他の例(人検出枠が所定範囲の外側に存在する場合)を示す模式図である。
【発明を実施するための形態】
【0013】
以下の実施形態で説明する構成は本開示の一例にすぎない。本開示は、以下の実施形態に限定されず、本開示の効果を奏することができれば、設計等に応じて種々の変更が可能である。
【0014】
(1)要部
最初に、
図2,
図6A及び
図6B等を参照して、本開示の要部を説明する。本開示の一実施形態に係る画像センサ1は、
図2に示すように、撮像部11と、判断部121と、第1出力部131と、第2出力部132と、を備える。
【0015】
(1-1)撮像部
撮像部11は、撮像を行う。撮像部11は、通常、人が存在し得る範囲を撮像する。本実施形態において、人が存在し得る範囲とは、画像センサ1が設置されているエリア(以下、設置エリア)である。設置エリアは、例えば、屋内の一のフロア又は一の部屋であるが、屋外の敷地等でもよい。
【0016】
なお、撮像部11は、通常、可視光カメラであるが、赤外線カメラでもよし、両者を含んでもよい。撮像部11は、通常、動画を出力するが、静止画を出力してもよいし、動画及び静止画のいずれかを選択的に出力可能であってもよい。
【0017】
(1-2)判断部
判断部121は、
図6Aに例示するような第1画像に基づいて、撮像部11の撮像範囲A0に含まれる所定範囲A1内の人の存否に関する判断を行う。
【0018】
(1-2-1)第1画像
第1画像とは、撮像部11が撮像した画像である。第1画像は、通常、動画であるが、静止画でもよい。
【0019】
(1-2-2)所定範囲
所定範囲A1は、本実施形態では、撮像範囲A0の一部であるが、撮像範囲A0の全体でもよい。撮像範囲A0の一部とは、通常、撮像範囲A0の中央部であるが、どの部分でもよい。
【0020】
(1-2-3)存否判断
存否に関する判断とは、通常、存否(在/不在)の判断である。すなわち、判断部121は、所定範囲A1に少なくとも1人の人が居るか否かの判断(以下、存否判断と記す)を行う。
【0021】
(1-2-4)他の判断
なお、判断部121は、例えば、存否判断の結果が“在”の場合に、所定範囲A1に居る人の人数に関する判断(以下、人数判断と記す)を行ってもよい。人数判断は、例えば、一人か複数人かの判断でもよいし、複数人の場合は2人か3人か…等の判断でもよい。
【0022】
(1-3)第1出力部:判断結果の出力
第1出力部131は、判断結果情報を出力する。
【0023】
第1出力部131による出力は、通常、通信部14を介した送信であるが、ディスプレイ(図示しない)への表示、記憶部15への記憶などでもよい。
【0024】
本実施形態における第1出力部131は、判断部121が取得した判断結果情報を、第1通信媒体101で通信を行う第1通信部141(後述)を介して制御装置2(後述)に送信する。
【0025】
ただし、第1出力部131は、例えば、第2通信媒体102で通信を行う第2通信部142(後述)を介して、サービス提供システム200(後述)に判断結果情報を送信してもよい。
【0026】
(1-3-1)判断結果情報
判断結果情報とは、判断部121の判断結果に関する情報である。判断結果情報は、通常、判断結果(在/不在)を示す情報(以下、単に「判断結果」と記す)である。ただし、判断結果情報は、例えば、確率値でもよいし、判断結果とそれに対応付いたスコア(判断の確からしさを示す値)との組、でもよい。確率値やスコアは、本実施形態では、0から1までの数値で表現される。
【0027】
(1-4)第2出力部:第2画像の出力
第2出力部132は、
図6Bに例示するような第2画像(後述)を出力する。
【0028】
第2出力部132による出力は、通常、記憶部15(後述)への記憶であるが、通信部14(例えば、第2通信部142)を介した送信、ディスプレイへの表示などでもよい。
【0029】
本実施形態における第2出力部132は、第1画像に対する処理部12(後述)の処理(第1処理及び第2処理の少なくとも一方:後述)の結果である第2画像を、記憶部15に記憶させる。
【0030】
ただし、第2出力部132は、例えば、第1通信部141を介して、第2画像を制御装置2(後述)に送信してもよい。
【0031】
(1-4-1)第2画像
第2画像とは、第1画像に基づく画像である。また、第2画像は、判断(存否判断等)及びその判断結果(在/不在,人数等)の少なくとも一方に関連する画像である。
【0032】
本実施形態における第2画像は、例えば、処理部12が第1画像に対して第1処理及び第2処理の少なくとも一方を行うこと、及び判断部121の判断結果に応じた出力を第2出力部132が行うこと(例えば、
図5のステップS32~S35、
図7等参照:後述)、の少なくとも一方により得られる。
【0033】
このように、本実施形態の画像センサ1では、撮像した画像である第1画像を基に、存否等の判断及び/又は判断結果に関連する画像である第2画像が出力される。こうして、第1画像に代えて第2画像を出力することで、出力するデータ量を抑制しつつ、設置及び監視等の作業の容易化を図ることができる。
【0034】
(2)詳細
次に、
図1-
図10を参照して、画像センサ1等の詳細を説明する。本実施形態の画像センサ1は、
図1に例示するような機器制御システム100に用いられる。
【0035】
(2-1)機器制御システム
本開示の一実施形態に係る機器制御システム100は、
図1に例示するように、画像センサ1と、制御装置2と、1つ以上(例えば2つ)の機器3と、を備える。
【0036】
なお、上記1つ以上の機器3の少なくとも一部は、機器制御システム100の構成要素でなくてもよい。また、機器制御システム100を構成する画像センサ1の数は、複数でもよい(機器制御システムの変形例1参照)。さらに、機器制御システム100は、例えば、画像センサ1と、制御装置2と同等の機能を有する制御部と、を備える単一の装置であってもよい(機器制御システムの変形例2参照)。
【0037】
(2-1-1)画像センサ
画像センサ1は、制御装置2及び1つ以上の機器3の各々と第1通信媒体101で接続される。本実施形態において、画像センサ1は、第1通信媒体101で制御装置2と通信し、1つ以上の機器3の各々は、制御装置2と第1通信媒体101で通信する。ただし、画像センサ1は、第1通信媒体101で1つ以上の機器3の各々とも通信してもよい。
【0038】
また、画像センサ1は、サービス提供システム200と第2通信媒体102で接続される。画像センサ1は、サービス提供システム200と第2通信媒体102で通信する。
【0039】
画像センサ1は、通信媒体(第1通信媒体101及び第2通信媒体102)を介した通信を行うための通信モジュール、プロセッサ及びメモリ(いずれも図示しない)を有する。メモリにはプログラム等が格納され、プロセッサがメモリ内のプログラム等に基づいて動作することにより、画像センサ1の機能(例えば、
図2に示される各部)が実現される。なお、画像センサ1の詳細(各部)については後述する。
【0040】
(2-1-2)制御装置
制御装置2は、画像センサ1が出力した判断結果情報に基づいて機器3を制御する。
【0041】
詳しくは、制御装置2は、画像センサ1の第1出力部131が第1通信部141を介して第1通信媒体101で送信した判断結果情報を受信し、機器3の制御(例えば、人の入室/退室に応じた電源のオン/オフ等)を行う。
【0042】
制御装置2は、通信媒体(第1通信媒体101及び第2通信媒体102)を介した通信を行うための通信モジュール、プロセッサ及びメモリ(いずれも図示しない)を有する。メモリにはプログラム等が格納され、プロセッサがメモリ内のプログラム等に基づいて動作することにより、制御装置2の上記機能が実現される。
【0043】
(2-1-3)機器
機器3は、制御装置2によって制御される被制御端末である。機器3は、例えば、オフィスビル等の非住宅施設に設けられる電気設備であり、具体的には、照明器具、エアコン、アラームなどである。ただし、機器3は、例えば、住宅内の情報家電などでもよい。また、制御装置2の制御対象は、機器3それ自体に限らず、機器3間のリレーなどでもよい。
【0044】
機器3は、通信媒体(第1通信媒体101)を介した通信を行うための通信モジュール、プロセッサ及びメモリ(いずれも図示しない)を有する。メモリにはプログラム等が格納され、プロセッサがメモリ内のプログラム等に基づいて動作することにより、機器3の機能が実現される。
【0045】
(2-2)サービス提供システム
サービス提供システム200は、画像センサ1からの第2画像を基に、例えば、設置(施工業者等による画像センサ1の設置作業)の支援、設置エリア内の監視(管理業者等による画像センサ1を用いた監視作業)の支援、などのサービスを提供する。
【0046】
なお、サービス提供システム200は、画像センサ1からの判断結果情報(在/不在、人数等)を基に、在室管理等のサービスを提供してもよい。
【0047】
(2-3)通信媒体
画像センサ1が利用する通信媒体は、本実施形態では、有線であるが、無線でもよい。
【0048】
画像センサ1が、主として制御装置2との通信(例えば、制御装置2への判断結果情報の送信)に利用する第1通信媒体101は、例えば、NMAST(登録商標:以下同様)であるが、イーサネット(登録商標:以下同様)や無線LANなどでもよい。
【0049】
画像センサ1が、主としてサービス提供システム200との通信(例えば、サービス提供システム200への第2画像の送信)に利用する第2通信媒体102は、第1通信媒体101とは異なる通信媒体であり、通常、より高速(画像送信が容易)な通信媒体である。第2通信媒体102は、例えば、イーサネットであるが、インターネットや通信回線網などでもよい。
【0050】
(2-4)画像センサの詳細
画像センサ1は、
図2に示すように、前述した撮像部11と、処理部12と、出力部13と、通信部14と、記憶部15と、を備える。
【0051】
撮像部11、処理部12、出力部13、通信部14及び記憶部15は、バス16に接続されている。つまり、本実施形態における画像センサ1は、ワンチップで実現され、構成要素間でバス16を介した情報のやり取りが可能である。ただし、画像センサ1は、例えば、有線又は無線で通信可能に接続された複数のチップで実現されてもよい。
【0052】
(2-4-1)処理部
処理部12は、各種の処理を実行する。各種の処理とは、例えば、前述した判断部121、及び抽出部122の処理である。また、処理部12は、
図3~
図5のフローチャートで説明する第1処理及び第2処理なども行う。
【0053】
詳しくは、処理部12は、
図2に示したように、判断部121と、抽出部122とを含む。
【0054】
(2-4-1A)抽出部
抽出部122は、第1画像(
図6A参照)から人推定領域PA1,PA2を抽出する。
【0055】
(2-4-1Aa)人推定領域
人推定領域PA1,PA2とは、撮像部11の撮像範囲A0のうち、人の画像が含まれると推定される領域である。人推定領域PA1,PA2は、例えば、人の画像であると推定される領域(
図6Aにおいて、参照符号PA1,PA2で示される領域)、又はそのような領域を囲む人検出枠F1,F2の内部(
図6Bにおいて、参照符号PA1,PA2で示される領域)である。
【0056】
(2-4-1Ab)人検出枠
人検出枠F1,F2は、人推定領域PA1,PA2を囲む枠である。なお、枠の形状は、例えば、
図6B等に示されるような矩形であるが、矩形以外の多角形、円形等でもよい。
【0057】
(2-4-1Ac)抽出
抽出部122は、例えば、次のようにして人推定領域PA1,PA2の抽出を行う。すなわち、抽出部122は、
図6Bに示すように、第1画像の所定範囲A1を複数個の領域に分割し、当該複数個の領域ごとにフレーム間差分を検出し、当該複数個の領域のうち検出結果が閾値よりも大きい領域を特定する。
【0058】
図6Bの例では、所定範囲A1は、4×4=16個の領域A(1,1)~A(4,4)に分割される。そして、16個の領域A(1,1)~A(4,4)ごとにフレーム間差分が検出され、例えば、3個の領域A(1,2),A(3,2)及びA(3,3)が特定されたとする。
【0059】
次に、抽出部122は、上記3個の領域A(1,2),A(3,2)及びA(3,3)及びその周辺において、例えば、輝度(又はサーモ画像での温度)の閾値に基づく二値化を行うことで輪郭線を検出し、当該輪郭線を囲む人検出枠F1,F2を取得する。そして、抽出部122は、第1画像から、人検出枠F1,F2で囲まれる人推定領域PA1,PA2を抽出する。
【0060】
(2-4-1B)判断部
判断部121は、例えば、上記のような抽出部122の抽出結果を基に、所定範囲A1における人の存否の判断を行う。すなわち、判断部121は、所定範囲A1から少なくとも1つの人推定領域PA1,PA2が抽出(検出)された場合に、判断結果“在”を取得する。また、判断部121は、所定範囲A1から人推定領域が1つも抽出されない場合、判断結果“不在”を取得する。
【0061】
なお、撮像範囲A0における所定範囲A1の外側の領域(後述する外側領域OA1:
図10参照)から人推定領域PA1,PA2が抽出された場合は、判断結果“不在”と共に判断結果情報“所定領域の外側に存在”が取得されてもよい。
【0062】
(2-4-1Ba)他の判断方法1:判断値を用いた判断
または、判断部121は、例えば、所定の判断値に基づいて、所定範囲A1内の人の存否を判断してもよい。
【0063】
所定の判断値は、例えば、確率値と閾値(第1閾値及び第2閾値)である。確率値とは、人が所定範囲A1に存在する確率に応じた値である。確率値は、例えば、0~1の範囲の値(0,1,又はそれらの間の小数値)であり、1に近づくほど、所定範囲A1内に人が存在する確率は高くなる。なお、確率値は、判断結果情報に含まれていてもよい。また、閾値は、予め決められていても、可変的に設定されてもよい。
【0064】
詳しくは、判断部121は、例えば、所定の第1アルゴリズムを用いて、第1画像(又は判断のための所定の処理が施された第2画像)を基に、確率値を取得する。なお、第1アルゴリズムは、第1画像等を入力とし、確率値を出力とするアルゴリズムである。
【0065】
次に、判断部121は、取得した確率値を第1閾値(例えば0.7)及び第2閾値(例えば、0.3)と比較し、確率値が第1閾値以上であれば、判断結果“在”を取得し、第2閾値以下であれば、判断結果“不在”を取得する。なお、確率値が第2閾値(0.3)より大きく、かつ第1閾値(0.7)より小さい場合は、例えば、判断結果“不明”が取得されてもよい。
【0066】
なお、第1閾値及び第2閾値は、例えば、0.6及び0.4であるが、0.5の近傍の一対の値であればよい。
【0067】
この例における第2画像は、確率値が第2閾値(例えば0.3)より大きく、かつ第1閾値(例えば0.7)より小さい場合の第1画像に基づくものを含む。つまり、第2画像には、人の在/不在が定かでない(確率値が0.5の近傍の値である)期間の第1画像等が含まれ、人の在/不在が定かである期間の第1画像等は含まれない。
【0068】
または、所定の判断値は、例えば、スコアと閾値(第1閾値及び第2閾値)でもよい。スコアとは、判断の確からしさに応じた値である。スコアは、例えば、0~1の範囲の値であり、1に近づくほど、判断の確からしさは高くなる(すなわち、スコアが0に近ければ不確かな判断であり、1に近ければ確かな判断である)。なお、スコアは、判断結果情報に含まれていてもよい。また、閾値は、予め決められていても、可変的に設定されてもよい。
【0069】
詳しくは、判断部121は、所定の第2アルゴリズムを用いて、第1画像を基に、人が所定範囲A1に存在するか否の判断を行い、判断結果とスコアとを取得してもよい。
【0070】
この例における第2画像は、スコアが第2閾値(例えば0.3)より大きく、かつ第1閾値(例えば0.7)より小さい場合の第1画像に基づくものを含む。つまり、第2画像には、人の在/不在が定かでない(スコアが0.5の近傍の値である)期間の第1画像等が含まれ、人の在/不在が定かである(スコアが0又は1の近傍の値である)期間の第1画像等は含まれない。
【0071】
なお、スコアは、確率値でもよい。すなわち、判断部121は、例えば、上記のようにして確率値を取得し、取得した確率値を閾値(例えば0.5)と比較する。そして、判断部121は、確率値が閾値以上であれば、判断結果“在”と当該確率値(スコア)の組を、閾値未満であれば、判断結果“不在”と当該確率値(スコア)の組を、それぞれ取得してもよい。
【0072】
(2-4-1Bb)他の判断方法2:人検出領域の大きさを考慮した判断
なお、判断部121は、例えば、所定範囲A1内の人の存否を判断する際に、抽出部122において抽出された人検出領域PA1,PA2の大きさ(後述)を考慮(例えば、大きさが所定の値より小さい場合は、不在又は不明と判断)してもよい。
【0073】
(2-4-1Bc)他の判断方法3:人検出領域間の距離を考慮した判断
なお、判断部121は、所定範囲A1内の人の存否を判断する際に、抽出部122において抽出された複数の人推定領域PA1,PA2の間の距離を考慮(距離が所定の値より近い場合は、一の人推定領域を除いて人でない(一人である)と判断)してもよい。
【0074】
(2-4-1C)出力部
出力部13は、各種の情報を出力する。各種の情報とは、例えば、判断結果情報、第2画像などである。
【0075】
出力部13による出力は、通常、通信部14を介した送信、又は記憶部15への記憶である。すなわち、出力部13は、各種の情報を、バス16を介して通信部14又は記憶部15に出力する(引き渡す)。通信部14は、出力部13から出力された(引き渡された)情報を、通信媒体(第1通信媒体101及び第2通信媒体102の少なくとも一方)で送信する。記憶部15は、出力部13から出力された(引き渡された)第2画像を記憶する。
【0076】
詳しくは、出力部13は、前述した第1出力部131と、前述した第2出力部132とを含む。
【0077】
(2-4-1Ca)第1出力部
第1出力部131は、判断部121が取得した判断結果情報を、通常、第1通信媒体101を介して制御装置2に送信する。ただし、第1出力部131は、判断結果情報を、例えば、第2通信媒体102を介してサービス提供システム200に送信してもよい。
【0078】
(2-4-1Cb)第2出力部
第2出力部132は、処理部12による第1画像に対する第1処理及び/又は第2処理の結果である第2画像を、通常、第2通信媒体102を介してサービス提供システム200に送信する。ただし、第2出力部132は、第2画像を、例えば、第1通信媒体101を介して制御装置2に送信してもよい。
【0079】
(2-4-1D)通信部
通信部14は、各種の通信媒体で、各種の通信相手と通信を行う。各種の通信媒体とは、第1通信媒体101、第2通信媒体102であるが、第3通信媒体(近距離無線等:図示しない)などでもよい。各種の通信相手とは、例えば、制御装置2、サービス提供システム200であるが、機器3(被制御端末)以外の端末(例えば、設定用端末:図示しない)などでもよい。
【0080】
詳しくは、本実施形態における通信部14は、第1通信部141と、第2通信部142とを含む。ただし、通信部14は、第1通信部141及び第2通信部142のいずれか一方のみを含んでもよい。または、一の通信部14が、第1通信部141及び第2通信部142の両方の機能を兼ね備えていてもよい。
【0081】
(2-4-1Da)第1通信部
第1通信部141は、第1通信媒体101で通信を行う。第1通信部141は、本実施形態では、制御装置2と通信を行うが、制御装置2以外の通信相手(例えば、機器3)と通信を行ってもよい。
【0082】
(2-4-1Db)第2通信部
第2通信部142は、第2通信媒体102で通信を行う。第2通信部142は、本実施形態では、サービス提供システム200と通信を行うが、サービス提供システム200以外の通信相手と通信を行ってもよい。
【0083】
これによって、判断結果及び第2画像を、それぞれに適した通信媒体で送信できる。ただし、判断結果及び第2画像は、同じ通信媒体で送信されてもよい。つまり、第1通信部141及び第2通信部142は、同種の又は一の通信媒体で通信を行ってもよい。
【0084】
(2-5)記憶部
前述したように、本実施形態における第2画像の出力先は、通常、記憶部15である。すなわち、第2出力部132は、記憶部15に第2画像を記憶させる。詳しくは、第2出力部132は、第2画像を記憶部15に出力する(すなわち、バス16を介して第2画像を記憶部15に引き渡す)。
【0085】
記憶部15は、こうして第2出力部132から出力された(引き渡された)第2画像を記憶する。なお、記憶部15に記憶された第2画像は、第2出力部132によって、通信部14(例えば、第2通信部142)を介してサービス提供システム200に送信されてもよい。
【0086】
また、前述したように、本実施形態における判断結果情報の出力先は、通常、通信部14(通常、第1通信部141)であるが、記憶部15でもよい。すなわち、第1出力部131は、判断結果情報を記憶部15に記憶させてもよい。
【0087】
記憶部15は、こうして第1出力部131から出力された(引き渡された)判断結果情報を、第2出力部132からの第2画像に対応付けて記憶してもよい。なお、記憶部15に記憶された判断結果情報は、第2出力部132によって、通信部14(例えば、第2通信部142)を介して、対応する第2画像と共にサービス提供システム200に送信されてもよい。
【0088】
従って、画像センサ1では、第2画像の出力先である記憶部15の容量削減を図ることができる。
【0089】
(2-6)第2画像の詳細
第2画像は、例えば、処理画像を含む。
【0090】
(2-6-1)処理画像
処理画像とは、第1画像に対して所定の処理が施された画像である。所定の処理は、例えば、第1処理及び第2処理の少なくとも一方である。
【0091】
(2-6-1A)第1処理
第1処理は、判断部121の判断のための処理である。判断のための処理は、例えば、所定範囲A1を複数の領域(例えばA(1,1)~A(4,4):
図6B参照)に区分する処理、人推定領域PA1,PA2を抽出する処理、各種補正処理(例えば、人の遠近に応じた人推定領域PA1,PA2の大きさの補正、撮像部11の収差の補正等の処理)などである。
【0092】
なお、人推定領域PA1,PA2の大きさの補正は、例えば、次のようにして行われる。すなわち、画像センサ1は、対象物までの距離を計測する測距部(レーザ距離センサ等:図示しない)を更に備える。測距部が、人推定領域PA1,PA2に対応する対象物(人)までの距離を計測し、処理部12は、その計測結果に応じて(例えば、距離が遠いほど人推定領域PA1,PA2が大きくなるように)人推定領域PA1,PA2の大きさを補正する。
【0093】
または、画像センサ1が複数の撮像部11を備え、処理部12は、複数の撮像部11に対応する複数の第1画像の間の視差を基に測距(遠近の判断)を行い、人推定領域PA1,PA2の大きさを補正してもよい(画像センサの変形例参照)。または、機器制御システム100が複数の画像センサ1を備え、制御装置2が、複数の画像センサ1に対応する複数の第1画像の間の視差を基に測距を行い、人推定領域PA1,PA2の大きさを補正してもよい(機器制御システムの変形例1参照)。
【0094】
このように、画像センサ1からは、第1処理が施された処理画像を含む第2画像が出力される。これにより、出力するデータ量の抑制と作業の容易化とを図ることができる。
【0095】
(2-6-1B)第2処理
第2処理は、判断部121の判断結果に応じた処理である。判断結果に応じた処理は、例えば、人検出枠F1,F2の重畳であるが、判断結果情報の重畳(例えば、判断結果“在”又は“不在”、スコア“0.7”等の描画)、人推定画像PA1,PA2のマスクなどでもよい。
【0096】
このように、画像センサ1からは、第2処理が施された処理画像を含む第2画像が出力される。これにより、出力するデータ量の抑制と作業の容易化とを図ることができる。特に、第1処理及び第2処理が施された処理画像を含む第2画像の出力によって、データ量の抑制と作業の容易化とをより効果的に図ることができる。
【0097】
(2-6-2)第2画像の例1:判断結果が変化した場合
(2-6-2A)変化の前後所定期間内の第1画像等
第2画像は、例えば、判断結果が変化した前後所定期間内の第1画像に基づくものを含む。判断結果の変化とは、“不在”から“在”への変化、及び“在”から“不在”への変化の各々である。
【0098】
前後所定期間は、例えば、
図7に示すような保存期間である。
図7には、“不在”から“在”への変化に対応する保存期間と、“在”から“不在”への変化に対応する保存期間と、が示されている。
【0099】
前者の保存期間は、“不在”から“在”に変化した時点(時刻t1)に対して、第1所定時間Δta前の時点(時刻“t1-Δta”)から、第2所定時間Δtb後の時点(時刻“t1+Δtb”)まで、の期間である。
【0100】
後者の保存期間は、“在”から“不在”に変化した時点(時刻t2)に対して、第1所定時間Δta前の時点(時刻“t2-Δta”)から、第2所定時間Δtb後の時点(時刻“t2+Δtb”)まで、の期間である。なお、第1所定時間Δtaと第2所定時間Δtbとは同じ長さ(ta=Δtb)でもよい。
【0101】
前後所定期間内の第1画像は、例えば、前後所定期間に渡る第1画像(具体的には、例えば、
図7の保存期間に対応する動画像)である。
【0102】
なお、「前後所定期間内の第1画像に基づくもの」とは、前後所定期間(例えば、
図7の保存期間)に対応する第1画像(動画像)又はその処理画像、判断結果情報などである。
【0103】
このように、画像センサ1では、変化の前後所定期間(例えば、保存期間:
図7参照)内の第1画像(例えば、保存期間に渡る動画)等を第2画像として出力することで、出力するデータ量の抑制と、作業の容易化とを図ることができる。
【0104】
(2-6-2B)変化の前後の第1画像等
第2画像は、判断結果が変化した前後の第1画像に基づくものを含んでもよい。
【0105】
すなわち、前段における「判断結果の変化の前後所定期間内の第1画像」は、例えば、
図7に示した保存期間に渡る動画であったのに対し、変化した前後の第1画像とは、
図7に示した時間軸(t)上で、変化時点(t1,t2)を挟む一対の第1画像(2枚の静止画)である。
【0106】
変化時点(t1,t2)を挟む一対の第1画像は、例えば、変化の直前の第1画像及び直後の第1画像である。具体的には、判断周期をTとして、変化時点の時刻がt1であれば、変化した前後の第1画像は、時刻“t1-T”での第1画像、及び時刻t1での第1画像、であってもよい。
【0107】
ただし、変化時点を挟む一対の第1画像は、例えば、変化時点(t1,t2)を挟み、かつ前後所定期間に属する一対の第1画像でもよい。このような一対の第1画像は、例えば、
図7に示した変化時点t2に対して、時刻“t2-Δta”の第1画像、及び時刻“t2+Δtb”の第1画像、でもよい。
【0108】
なお、「変化した前後の第1画像に基づくもの」とは、変化時点の前後の一対の第1画像(2枚の静止画)又はその処理画像、判断結果情報などである。
【0109】
このように、画像センサ1では、変化の前後の第1画像(例えば、一対の静止画)等を第2画像として出力することで、出力するデータ量の抑制と、作業の容易化とを図ることができる。
【0110】
(2-6-3)第2画像の例2:人推定領域が小さい場合
第2画像は、抽出部122において抽出された人推定領域PA1,PA2の大きさが所定の値よりも小さい場合の前記第1画像に基づくものを含んでもよい。
【0111】
本実施形態における人推定領域PA1,PA2の大きさとは、例えば、
図8に示すように、人検出枠F1,F2の対角線(点線)の長さである。ただし、人推定領域PA1,PA2の大きさは、例えば、
図6Bに示した人検出枠F1,F2で囲まれる人推定領域PA1,PA2の面積でもよいし、
図6Aに示した人推定領域PA1,PA2の面積でもよい。
【0112】
所定の値は、通常、固定値であるが、例えば、所定範囲A1内での人推定領域PA1,PA2の位置に応じて変更されてもよい。
【0113】
なお、人推定領域PA1,PA2が複数抽出された際には、第2画像は、当該複数の人推定領域PA1,PA2のうち少なくとも1つの人推定領域PA1,PA2の大きさが所定の値よりも小さい場合の第1画像に基づくものを含む。
【0114】
このような場合の「第1画像に基づくもの」とは、人推定領域PA1,PA2の大きさが所定の値より小さい期間又は時点、に対応する第1画像又はその処理画像、判断内容情報などである。
【0115】
このように、人推定領域PA1,PA2が通常より小さい(従って、例えば、人か否かの確認が必要であったり、通常より遠くに居る人の行動の確認が望まれたりする)場合の第1画像等を第2画像として出力することで、出力するデータ量の抑制と、作業(例えば、確認作業)の容易化とを図ることができる。
【0116】
(2-6-4)第2画像の例3:人推定領域間の距離が近い場合
第2画像は、抽出部122において抽出された人推定領域PA1,PA2間の距離が所定値よりも近い場合の第1画像に基づくものを含んでもよい。
【0117】
人推定領域PA1,PA2間の距離とは、抽出部122において人推定領域PA1,PA2が複数抽出された場合(
図6A,
図6B参照)における、複数の人推定領域PA1,PA2の間の距離である。
【0118】
本実施形態における人推定領域PA1,PA2間の距離は、例えば、
図9に示すように、2つの人検出枠F1,F2に対応する2つの重心G1,G2間の距離である。重心G1は、人検出枠F1の2つの対角線(点線)の交点であり、重心G2は、人検出枠F2の2つの対角線の交点である。
【0119】
ただし、人推定領域PA1,PA2間の距離は、例えば、2つの人推定領域PA1,PA2に対応する任意の2点の組のうち、互いに最近接する2点、の間の距離などでもよい。
【0120】
このような場合の「第1画像に基づくもの」とは、距離が所定値よりも近い期間又は時点、に対応する第1画像又はその処理画像、判断内容情報などである。
【0121】
こうして、人推定領域PA1,PA2間が通常より近い(従って、例えば、複数の人推定領域PA1,PA2の各々が人か否かの確認を要する)場合の第1画像等を第2画像として出力することで、出力するデータ量の抑制と、作業(例えば、確認作業)の容易化とを図ることができる。
【0122】
(2-6-5)第2画像の例4:人推定領域が所定領域の外側に存在する場合
本実施形態における所定範囲A1は、前述したように、撮像範囲A0の一部である。
【0123】
第2画像は、撮像範囲A0内における所定範囲A1の外側の領域(例えば、
図10に示す外側領域OA1)に人が存在すると判断部121が判断した場合の第1画像に基づくものを含んでもよい。
【0124】
なお、外側領域OA1に人が存在することは、通常、抽出部122において抽出された人推定領域PA1,PA2(又はこれを囲む人検出枠F1,F2若しくはその重心G1,G2)が、外側領域OA1に存在することである。
【0125】
なお、本実施形態における判断部121は、抽出部122によって抽出された1つ以上の人推定領域(PA1,PA2)に対応する1つ以上の人検出枠(F1,F2)のうち、少なくとも1つの重心(G1,G2)が、外側領域OA1に存在する場合に、外側領域OA1に人が存在すると判断する。
【0126】
このような場合の「第1画像に基づくもの」とは、外側領域OA1に人が存在すると判断されている期間又は時点、に対応する第1画像又はその処理画像、判断内容情報などである。
【0127】
このように、画像センサ1では、外側領域OA1に人推定領域PA1,PA2が存在する場合の第1画像等を第2画像として出力する。なお、外側領域OA1は、例えば、壁際の棚といった、通常は人が居ない場所に対応しており、
図10に示すように、外側領域OA1で人推定領域PA1が検知された場合は、人推定領域PA1が人か否か、異常の有無などについて確認を要する。従って、このような場合の第1画像等を第2画像として出力することで、出力するデータ量の抑制と、作業(例えば、確認作業)の容易化とを図ることができる。
【0128】
(2-6-6)第2画像の例5:判断値に基づく判断が行われる場合
前述したような判断値に基づく判断が行われる場合における第2画像は、判断値が、所定範囲A1内に人が存在すると判断する第1判断値よりも小さく、かつ所定範囲A1内に人が存在しないと判断する第2判断値よりも大きい場合の第1画像に基づくものを含む。
【0129】
なお、この場合の「第1画像に基づくもの」とは、判断値が第1判断値と第2判断値との間にある期間又は時点、に対応する第1画像又はその処理画像、判断内容情報などである。
【0130】
このように、画像センサ1では、判断値(例えば、0~1の値で表現される確率やスコア等)が第1判断値と第2判断値との間にある(例えば、確率やスコア等が0.5の近傍にある)第1画像等を第2画像として出力することで、出力するデータ量の抑制と、作業の容易化とを図ることができる。
【0131】
(2-7)動作
画像センサ1は、例えば、
図3~
図5のフローチャートに従って動作する。なお、
図3~
図5の動作は、機器制御システム100の起動に応じて開始され、機器制御システム100の停止に応じて終了される。
【0132】
画像センサ1では、撮像部11が撮像を行い、処理部12は、撮像部11から第1画像(
図6A参照)を取得する(ステップS1)。次に、処理部12は、ステップS1で取得された第1画像を処理する(ステップS2)。なお、ステップS2の処理については後述する。
【0133】
次に、出力部13は、ステップS2の処理結果を出力する(ステップS3)。なお、ステップS3の出力については後述する。その後、動作はステップS1に戻る。
【0134】
上記ステップS2の処理(処理動作)は、例えば、
図4のフローチャートに従って実行される。
【0135】
処理部12は、ステップS1で取得された第1画像に対し、判断のための第1処理を行う(ステップS21)。次に、判断部121は、ステップS21で第1処理が行われた後の第1画像に基づいて、所定範囲A1内の人の存否に関する判断を行い、判断結果情報を取得する(ステップS22)。
【0136】
なお、「第1処理が行われた後の第1画像」は、例えば、
図6Aの第1画像において、所定範囲A1が複数の領域に区分された画像であり、言い換えると、
図6Bの第2画像において、人検出枠F1,F2が描画される前の画像でもある。つまり、第1処理が行われた後の第1画像は、「第2処理が行われる前の第2画像」と称してもよい。
【0137】
次に、判断部121は、ステップS21で第1処理が施された後の第1画像に対し、ステップS22での判断結果に応じた第2処理を行う(ステップS23)。なお、第2処理は、例えば、人検出枠F1,F2の重畳であり、これによって、
図6Bに示すような第2画像が取得される。
【0138】
次に、抽出部122は、ステップS23で取得された第2画像から、ステップS23で重畳された人検出枠F1,F2で囲まれる人推定領域PA1,PA2を抽出する(ステップS24)。その後、処理動作は、上位のフローチャート(
図3)にリターンする。
【0139】
上記ステップS3の出力(出力動作)は、例えば、
図5のフローチャートに従って実行される。
【0140】
第1出力部131は、通信部14を介して、ステップS22で取得された判断結果情報の送信(詳しくは、第1通信部141を介して、判断結果情報の制御装置2への送信)を行う(ステップS31)。
【0141】
次に、第2出力部132が、ステップS32~S35を通じ、ステップS24で取得された第2画像の記憶部15への記憶を行う。詳しくは、第2出力部132は、人推定領域PA1,PA2の大きさは所定の値より小さいか否かを判断する(ステップS32)。ステップS32での判断結果がYesの場合、出力動作はステップS35に進む。
【0142】
ステップS32での判断結果がNoの場合、第2出力部132は、人推定領域PA1,PA2間の距離(例えば、人検出枠F1,F2間の距離)は所定の値より近いか否かを判断する(ステップS33)。ステップS33での判断結果がYesの場合、出力動作はステップS35に進む。
【0143】
ステップS33での判断結果がNoの場合、第2出力部132は、人推定領域PA1,PA2は所定範囲A1の外側の領域(外側領域OA1)に存在するか否かを判断する(ステップS34)。ステップS34での判断結果がYesの場合、出力動作はステップS35に進む。
【0144】
ステップS34での判断結果がNoの場合、処理動作は、上位のフローチャート(
図3)にリターンする。
【0145】
ステップS32~S34のいずれかでの判断結果がYesの場合、第2出力部132は、ステップS24で取得された第2画像を記憶部15に記憶させる(ステップS35)。その後、処理動作は、上位のフローチャート(
図3)にリターンする。
【0146】
(2-7-1)動作の変形例
なお、撮像部11からの第1画像は、記憶部15の一時保持領域(図示しない)に、時間“Δta+Δtb”に渡って一時記憶されてもよい。
【0147】
すなわち、例えば、
図4のフローチャートにおいて、ステップS21の前に、ステップS20(図示しない)が追加されてもよい。ステップS20では、例えば、処理部12が、撮像部11からの第1画像を記憶部15の一時保持領域に書き込む一方、書き込みから時間“Δta+Δtb”が経過した第1画像を一時保持領域から削除する処理を行う。
【0148】
この場合、例えば、
図5のフローチャートにおいて、ステップS31とステップS32との間に、ステップS31a(図示しない)が追加される。ステップS31aでは、ステップS22の判断結果が変化した場合に、第2出力部132は、当該変化が生じた時刻(例えば時刻t1:
図7参照)に対して、保存期間(時刻“t1-Δta”から時刻“t1+Δtb”までの期間)に渡る第1画像を、記憶部15の保存領域(図示しない)に保存してもよい。
【0149】
(2-8)第2画像の記憶の具体例
具体的には、例えば、以下のような場合に、第2画像が記憶部15に記憶される。
【0150】
(2-8-1)判断結果の変化に応じた第2画像の記憶例
例えば、
図7に示すように、判断部121の判断結果が“不在”から“在”又は“在”から“不在”に変化した場合、第2出力部132は、保存期間に渡る第2画像を記憶部15に記憶させる。これによって、例えば、時刻t1に判断結果が“不在”から“在”に変化した場合は、時刻“t1-Δta”から時刻“t1+Δtb”までの保存期間に渡る第2画像が、記憶部15に記憶される。
【0151】
従って、入退室の前後所定期間の第2画像が記憶され、それ以外の期間の第2画像は、下記(2-8-2)~(2-8-4)の場合を除いて記憶されないので、出力するデータ量の抑制と、監視作業の容易化を図ることができる。
【0152】
(2-8-2)人推定領域の大きさが所定の値より小さい場合の第2画像の記憶例
例えば、
図6Bに示すように、所定範囲A1において2つの人推定領域PA1,PA2が検出され、それぞれを囲む2つの人検出枠F1,F2が重畳された状態で、
図8に示すように、その少なくとも一方の大きさ(例えば、人検出枠F1の対角線の長さ)が、所定の値より小さくなった場合、第2出力部132は、第2画像の記憶部15への出力を開始する。
【0153】
上記の出力は、当該人推定領域PA1が検出されなくなるか、又はその大きさ所定の値以上となるまで継続される。これによって、大きさが所定の値より小さい人推定領域PA1が検出されている期間に渡る第2画像が、記憶部15に記憶される。
【0154】
従って、通常より小さい人推定領域PA1が検出されている期間の第2画像が記憶され、それ以外の期間の第2画像は、(2-8-1),(2-8-3)及び(2-8-4)の場合を除いて記憶されないので、出力するデータ量を抑制しつつ、設置及び監視等の作業の容易化を図ることができる。
【0155】
(2-8-3)人推定領域間の距離が所定の値より近い場合の第2画像の記憶例
例えば、
図6Bに示すように、所定範囲A1において2つの人推定領域PA1,PA2が検出され、それぞれを囲む2つの人検出枠F1,F2が重畳された状態で、
図9に示すように、それらの間の距離(例えば、2つの人推定領域PA1,PA2に対応する2つの重心G1,G2の間の距離)が、所定の値より近くなった場合、第2出力部132は、第2画像の記憶部15への出力を開始する。
【0156】
上記の出力は、2つの人推定領域PA1,PA2の少なくとも一方が検出されなくなるか、又はそれらの間の距離が所定の値以上となるまで継続される。これによって、互いの間の距離が所定の値より小さい複数の人推定領域PA1,PA2が検出されている期間に渡る第2画像が、記憶部15に記憶される。
【0157】
従って、通常より接近した複数の人推定領域PA1,PA2が検出されている期間の第2画像が記憶され、それ以外の期間の第2画像は、(2-8-1),(2-8-2)及び(2-8-4)の場合を除いて記憶されないので、出力するデータ量を抑制しつつ、設置及び監視等の作業の容易化を図ることができる。
【0158】
(2-8-4)人推定領域が所定範囲の外側に存在する場合の第2画像の記憶例
例えば、
図6Bに示すように、所定範囲A1において2つの人推定領域PA1,PA2が検出され、それぞれを囲む2つの人検出枠F1,F2が重畳された状態で、
図10に示すように、人推定領域PA1が外側領域OA1に入った場合、第2出力部132は、第2画像の記憶部15への出力を開始する。
【0159】
上記の出力は、人推定領域PA1が検出されなくなるか、又は外側領域OA1を出る(所定範囲A1に戻る)まで継続される。これによって、外側領域OA1で人推定領域PA1が検出されている期間に渡る第2画像が、記憶部15に記憶される。
【0160】
従って、撮像範囲A0における所定範囲A1の外側の領域(外側領域OA1)で人推定領域PA1が検出されている期間の第2画像が記憶され、それ以外の期間の第2画像は、(2-8-1)~(2-8-3)の場合を除いて記憶されないので、出力するデータ量を抑制しつつ、設置及び監視等の作業の容易化を図ることができる。
【0161】
(2-9)機器制御システム100の利点
以上のように、機器制御システム100では、画像センサ1が判断結果情報を出力することで、制御装置2は、所定領域A1内における人の存否に応じた制御(例えば、入室時の照明装置の点灯、退室後のエアコンの電源オフなど)を行える。また、画像センサ1が、撮影した画像である第1画像に代えて第2画像を出力することで、出力するデータ量を抑制しつつ、設置及び監視等の作業の容易化を図ることができる。
【0162】
(2-10)画像センサの変形例
本例における画像センサ1は、
図2に示した画像センサ1において、撮像部11の数が複数(例えば、2つ)である。処理部12は、例えば、2つの撮像部11に対応する2つの第1画像の間の視差を基に、人推定領域PA1,PA2に対応する対象物までの距離を計測し、計測結果に基づいて人推定領域PA1,PA2の大きさを補正する。
【0163】
(2-11)機器制御システムの変形例1
本例では、
図1に示した機器制御システム100において、画像センサ1の数が複数(例えば、2つ)である。制御装置2は、例えば、2つの画像センサ1に対応する2つの第1画像の間の視差を基に、人推定領域PA1,PA2に対応する対象物までの距離を計測し、計測結果に基づいて人推定領域PA1,PA2の大きさを補正する。
【0164】
(2-12)機器制御システムの変形例2
本例における機器制御システム100は、単一の装置(例えば、画像センサ装置、又は機器制御装置)である。この装置は、例えば、画像センサ1と、制御部(図示しない)と、を備える。制御部は、制御装置2と同様の機能を有する。
【0165】
(2-13)出力方法及びプログラム等
なお、本実施形態に係る画像センサ1と同様の機能は、出力方法、(コンピュータ)プログラム、又はプログラムを記録した非一時的記録媒体等で具現化されてもよい。出力方法は、上記各種ステップのうち、少なくとも、ステップS1(撮像ステップ)と、ステップS22(判断ステップ)と、ステップS31(第1出力ステップ)と、ステップS35(第2出力ステップ)と、を含む方法であり、第2出力ステップで出力される第2画像は、判断ステップでの判断及び判断結果の少なくとも一方に関連する画像である。
【0166】
プログラムは、同上の出力方法を1つ以上のプロセッサに実行させるためのプログラムである。1つ以上のプロセッサは、例えば、画像センサ1のプロセッサであるが、これに加えて、制御装置2のプロセッサ及びサービス提供システム200のプロセッサの少なくとも一方を含んでもよいし、機器3(被制御端末)のプロセッサを更に含んでもよい。
【0167】
(2-14)まとめ
第1の態様に係る画像センサ(1)は、撮像部(11)と、判断部(121)と、第1出力部(131)と、第2出力部(132)と、を備える。撮像部(11)は、撮像を行う。判断部(121)は、撮像部(11)が撮像した第1画像(
図6A)に基づいて、撮像部(11)の撮像範囲(A0)に含まれる所定範囲(A1)内の人の存否に関する判断を行う。第1出力部(131)は、判断結果情報を出力する。前記判断結果情報は、判断部(121)の判断結果に関する情報である。第2出力部(132)は、第2画像(
図6B)を出力する。前記第2画像(
図6B)は、前記第1画像に基づく画像である。また、前記第2画像は、前記判断及び前記判断結果の少なくとも一方に関連する画像である。
【0168】
この態様によれば、第1画像に代えて第2画像を出力することで、出力するデータ量を抑制しつつ、設置及び監視等の作業の容易化を図ることができる。
【0169】
第2の態様に係る画像センサ(1)では、第1の態様において、前記第2画像は、処理画像を含む。前記処理画像は、前記第1画像に対して所定の処理が施された画像である。前記所定の処理は、第1処理である。前記第1処理は、前記判断のための処理である。
【0170】
この態様によれば、第1処理が施された処理画像によって、出力するデータ量の抑制と作業の容易化とを図ることができる。
【0171】
第3の態様に係る画像センサ(1)では、第1又は第2の態様において、前記第2画像は、処理画像を含む。前記処理画像は、前記第1画像に対して所定の処理が施された画像である。前記所定の処理は、第2処理である。前記第2処理は、前記判断結果に応じた処理である。または、前記所定の処理は、前記第1処理及び前記第2処理でもよい。
【0172】
この態様によれば、第2処理(又は第1処理及び第2処理)が施された処理画像によって、出力するデータ量の抑制と作業の容易化とを図ることができる。
【0173】
第4の態様に係る画像センサ(1)では、第1~第3のいずれかの態様において、前記第2画像は、前記判断結果が変化した前後所定期間内の前記第1画像に基づくものを含む。
【0174】
この態様によれば、変化の前後所定期間(例えば、保存期間:
図7参照)内の第1画像(例えば、保存期間に渡る動画)等を第2画像として出力することで、出力するデータ量の抑制と、作業の容易化とを図ることができる。
【0175】
第5の態様に係る画像センサ(1)では、第4の態様において、前記第2画像は、前記判断結果が変化した前後の前記第1画像に基づくものを含む。
【0176】
この態様によれば、変化の前後の第1画像(例えば、一対の静止画)等を第2画像として出力することで、出力するデータ量の抑制と、作業の容易化とを図ることができる。
【0177】
第6の態様に係る画像センサ(1)では、第1~第5のいずれかの態様において、判断部(121)は、所定の判断値に基づいて、前記所定範囲(A1)内の人の存否を判断する。前記第2画像は、前記判断値が、前記所定範囲(A1)内に人が存在すると判断する第1判断値よりも小さく、かつ前記所定範囲(A1)内に人が存在しないと判断する第2判断値よりも大きい場合の前記第1画像に基づくものを含む。
【0178】
この態様によれば、判断値(例えば、確率、判断の確からしさを示すスコア等:0~1の値)が第1判断値と第2判断値との間にある(例えば、確率やスコアが0.5の近傍にある)第1画像等を第2画像として出力することで、出力するデータ量の抑制と、作業の容易化とを図ることができる。
【0179】
第7の態様に係る画像センサ(1)は、第1~第6のいずれかの態様において、抽出部(122)を更に備える。抽出部(122)は、前記第1画像から人推定領域(PA1,PA2)を抽出する。前記人推定領域(PA1,PA2)は、人の画像が含まれると推定される領域である。前記第2画像は、抽出部(122)において抽出された人推定領域(PA1,PA2)の大きさが所定の値よりも小さい場合の前記第1画像に基づくものを含む。
【0180】
この態様によれば、人推定領域(PA1,PA2)が通常より小さい(従って、例えば、人か否かの確認を要する)場合の第1画像等を第2画像として出力することで、出力するデータ量の抑制と、作業(例えば、確認作業)の容易化とを図ることができる。
【0181】
第8の態様に係る画像センサ(1)は、第1~第6のいずれかの態様において、抽出部(122)を更に備える。抽出部(122)は、前記第1画像から人推定領域(PA1,PA2)を抽出する。前記人推定領域(PA1,PA2)は、人の画像が含まれると推定される領域である。前記第2画像は、抽出部(122)において抽出された人推定領域(PA1,PA2)間の距離が所定値よりも近い場合の前記第1画像に基づくものを含む。
【0182】
なお、人推定領域(PA1,PA2)間の距離とは、前記抽出部(122)において複数の人推定領域(PA1,PA2)が抽出された場合における、前記複数の人推定領域(PA1,PA2)の間の距離である。
【0183】
この態様によれば、人推定領域(PA1,PA2)間が通常より近い(従って、例えば、複数の人推定領域(PA1,PA2)の各々が人か否かの確認を要する)場合の第1画像等を第2画像として出力することで、出力するデータ量の抑制と、作業(例えば、確認作業)の容易化とを図ることができる。
【0184】
第9の態様に係る画像センサ(1)では、第1~第6のいずれかの態様において、前記所定範囲(A1)は、前記撮像範囲(A0)の一部である。前記第2画像は、前記撮像範囲(A0)内における前記所定範囲(A1)の外側の領域(外側領域OA1)に人が存在すると判断部(121)が判断した場合の前記第1画像に基づくものを含む。
【0185】
この態様によれば、外側領域(OA1)に人が存在する(例えば、通常は人が居ない場所で人が検知されたため、人か否か、異常の有無などについて確認を要する)場合の第1画像等を第2画像として出力することで、出力するデータ量の抑制と、作業(例えば、確認作業)の容易化とを図ることができる。
【0186】
第10の態様に係る画像センサ(1)は、第1~第9のいずれかの態様において、記憶部(15)を更に備える。第2出力部(132)は、記憶部(15)に前記第2画像を記憶させる。
【0187】
この態様によれば、第2画像の出力先である記憶部の容量削減を図ることができる。
【0188】
第11の態様に係る機器制御システム(100)は、第1~第10のいずれかの態様の画像センサ(1)と、制御部(制御装置2)と、を備える。制御部(制御装置2)は、第1出力部(131)が出力した前記判断結果情報に基づいて機器(3)を制御する。
【0189】
この態様によれば、画像センサ(1)が判断結果情報を出力することで、制御部(制御装置2)は、人の存否に応じた制御(入室時の点灯、退室後の消灯など)を行える。また、画像センサ(1)が第1画像に代えて第2画像を出力することで、出力するデータ量を抑制しつつ、設置及び監視等の作業の容易化を図ることができる。
【0190】
第12の態様に係る出力方法は、撮像ステップ(S1)と、判断ステップ(S22)と、第1出力ステップ(S31)と、第2出力ステップ(S35)と、を含む。撮像ステップ(S1)では、撮像が行われる。判断ステップ(S22)では、撮像ステップ(S1)で撮像された第1画像(
図6A)に基づいて、撮像ステップ(S1)での撮像範囲(A0)に含まれる所定範囲(A1)内の人の存否に関する判断が行われる。第1出力ステップ(S31)では、判断ステップ(S22)での判断結果に関する判断結果情報が出力される。第2出力ステップ(S35)では、前記第1画像に基づく第2画像(
図6B)が出力される。前記第2画像は、前記判断及び前記判断結果の少なくとも一方に関連する画像である。
【0191】
この態様によれば、第1画像に代えて第2画像を出力することで、出力するデータ量を抑制しつつ、設置及び監視等の作業の容易化を図ることができる。
【0192】
第13の態様に係るプログラムは、第12の態様の出力方法を1つ以上のプロセッサに実行させる。
【0193】
この態様によれば、第1画像に代えて第2画像を出力することで、出力するデータ量を抑制しつつ、設置及び監視等の作業の容易化を図ることができる。
【符号の説明】
【0194】
100 機器制御システム
1 画像センサ
11 撮像部
12 処理部
121 判断部
122 抽出部
13 出力部
131 第1出力部
132 第2出力部
14 通信部
141 第1通信部
142 第2通信部
15 記憶部
2 制御装置(制御部)
3 機器(被制御端末)
101 第1通信媒体
102 第2通信媒体
200 サービス提供システム
A0 撮像範囲
A1 所定範囲
PA1,PA2 人推定領域
F1,F2 人検出枠
OA1 外側領域