IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ パナソニックIPマネジメント株式会社の特許一覧

特開2023-135545画像センサ、機器制御システム、出力方法及びプログラム
<>
  • 特開-画像センサ、機器制御システム、出力方法及びプログラム 図1
  • 特開-画像センサ、機器制御システム、出力方法及びプログラム 図2
  • 特開-画像センサ、機器制御システム、出力方法及びプログラム 図3
  • 特開-画像センサ、機器制御システム、出力方法及びプログラム 図4
  • 特開-画像センサ、機器制御システム、出力方法及びプログラム 図5
  • 特開-画像センサ、機器制御システム、出力方法及びプログラム 図6
  • 特開-画像センサ、機器制御システム、出力方法及びプログラム 図7
  • 特開-画像センサ、機器制御システム、出力方法及びプログラム 図8
  • 特開-画像センサ、機器制御システム、出力方法及びプログラム 図9
  • 特開-画像センサ、機器制御システム、出力方法及びプログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023135545
(43)【公開日】2023-09-28
(54)【発明の名称】画像センサ、機器制御システム、出力方法及びプログラム
(51)【国際特許分類】
   H04N 23/60 20230101AFI20230921BHJP
   H04N 23/661 20230101ALI20230921BHJP
   H04N 7/18 20060101ALI20230921BHJP
   H04Q 9/00 20060101ALI20230921BHJP
【FI】
H04N5/232 290
H04N5/232 300
H04N5/232 060
H04N7/18 D
H04N7/18 K
H04Q9/00 311J
【審査請求】未請求
【請求項の数】23
【出願形態】OL
(21)【出願番号】P 2022040814
(22)【出願日】2022-03-15
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002527
【氏名又は名称】弁理士法人北斗特許事務所
(72)【発明者】
【氏名】中村 守雄
(72)【発明者】
【氏名】竹ノ内 利春
(72)【発明者】
【氏名】菊池 彰洋
(72)【発明者】
【氏名】杭 耕一郎
(72)【発明者】
【氏名】八手又 猛
(72)【発明者】
【氏名】横山 一直
【テーマコード(参考)】
5C054
5C122
5K048
【Fターム(参考)】
5C054CA04
5C054CC02
5C054DA07
5C054FC12
5C054FE14
5C054GB02
5C054HA19
5C122DA03
5C122DA04
5C122DA11
5C122EA07
5C122FH10
5C122FH14
5C122GC07
5C122GC37
5C122GC52
5C122HA13
5C122HA35
5C122HB01
5C122HB05
5K048AA15
5K048BA34
5K048EB13
5K048EB15
5K048HA01
5K048HA02
(57)【要約】
【課題】撮像した画像を利用しつつ、プライバシーの保護を図ることができる画像センサを提供する。
【解決手段】画像センサ1は、撮像部11と、判断部121と、第1出力部131と、第2出力部132と、設定部122と、を備える。撮像部11は、撮像を行う。判断部121は、撮像部11が撮像した第1画像に基づいて、撮像部11の撮像範囲に含まれる所定範囲A1内の人の存否に関する判断を行う。第1出力部131は、判断部121の判断結果を出力する。第2出力部132は、前記第1画像に基づく第2画像を出力する。設定部122は、第2出力部132による前記第2画像の出力の有無を設定する。
【選択図】 図2
【特許請求の範囲】
【請求項1】
撮像を行う撮像部と、
前記撮像部が撮像した第1画像に基づいて、前記撮像部の撮像範囲に含まれる所定範囲内の人の存否に関する判断を行う判断部と、
前記判断部の判断結果を出力する第1出力部と、
前記第1画像に基づく第2画像を出力する第2出力部と、
前記第2出力部による前記第2画像の出力の有無を設定する設定部と、を備える、
画像センサ。
【請求項2】
前記第1出力部及び前記第2出力部の各々の出力は、通信部を介した送信である、
請求項1に記載の画像センサ。
【請求項3】
前記通信部は、第1通信媒体で通信を行う第1通信部、及び前記第1通信媒体とは異なる第2通信媒体で通信を行う第2通信部を含み、
前記第1出力部は、前記第1通信部を介して前記判断結果を送信し、
前記第2出力部は、前記第2通信部を介して前記第2画像を送信する、
請求項2に記載の画像センサ。
【請求項4】
前記設定部は、前記第1通信部及び前記第2通信部の少なくとも一方の通信に基づいて設定を行う、
請求項3に記載の画像センサ。
【請求項5】
前記判断は、前記存否に関連する所定の異常の有無の判断を含み、
前記設定部は、前記判断部が、前記所定の異常があると判断したとき、前記第2画像の出力を有効に設定する、
請求項3又は4に記載の画像センサ。
【請求項6】
前記設定部は、前記第1通信部及び前記第2通信部の少なくとも一方が前記第2画像の要求を受信したとき、前記第2画像の出力を有効に設定する、
請求項3~5のいずれか1項に記載の画像センサ。
【請求項7】
前記通信部は、前記第1通信媒体及び前記第2通信媒体のいずれとも異なる第3通信媒体で通信を行う第3通信部を更に含み、
前記設定部は、前記第1通信部、前記第2通信部及び前記第3通信部の少なくとも1つの通信に基づいて設定を行う、
請求項3~6のいずれか1項に記載の画像センサ。
【請求項8】
前記第3通信媒体は無線であり、
前記第3通信部は、無線通信を行う、
請求項7に記載の画像センサ。
【請求項9】
前記設定部は、前記第3通信部の通信に基づいて設定を行う、
請求項8に記載の画像センサ。
【請求項10】
前記設定部は、第1設定部であり、
前記第3通信部を介して前記第2画像を送信する第3出力部と、
前記第3出力部による前記第2画像の出力の有無を設定する第2設定部と、を更に備える、
請求項9に記載の画像センサ。
【請求項11】
前記第2設定部は、前記第1設定部とは異なる設定を行うことが可能である、
請求項10に記載の画像センサ。
【請求項12】
前記第1設定部は、前記第2画像の出力を無効に設定し、
前記第2設定部は、前記第2画像の出力を有効に設定する、
請求項10又は11に記載の画像センサ。
【請求項13】
前記第3通信部は、設定を行うための設定用端末と通信可能であり、
前記第2設定部は、
前記第3通信部を介した前記設定用端末との通信に応じて設定モードに移行し、
前記設定モードにあるときに前記設定用端末から設定を有効化する指示情報を受信した場合に、前記第2画像の出力を有効に設定する、
請求項10~12のいずれか1項に記載の画像センサ。
【請求項14】
前記第2設定部は、前記設定モードに移行してから所定期間経過後に前記設定モードを解除する、
請求項13に記載の画像センサ。
【請求項15】
前記第3通信部は、前記設定用端末とは別の端末と通信可能である、
請求項13又は14に記載の画像センサ。
【請求項16】
前記別の端末は、所定の情報を前記第3通信媒体で送信する送信用端末であり、
前記第3通信部は、前記送信用端末から前記所定の情報を受信し、
前記第2設定部は、前記第3通信部が受信した前記所定の情報に基づき設定を行う、
請求項15に記載の画像センサ。
【請求項17】
前記第2画像は、静止画である、
請求項10~14のいずれか1項に記載の画像センサ。
【請求項18】
前記第2画像は、人の識別を困難化した画像である、
請求項1~17のいずれか1項に記載の画像センサ。
【請求項19】
操作部を更に備え、
前記設定部は、前記操作部の操作に基づいて設定を行う、
請求項1~18のいずれか1項に記載の画像センサ。
【請求項20】
報知部を更に備え、
前記報知部は、前記第2出力部による前記第2画像の出力を示す報知を行う、
請求項1~19のいずれか1項に記載の画像センサ。
【請求項21】
請求項1~20のいずれか1項に記載の画像センサと、
前記第1出力部が出力した前記判断結果に基づいて機器を制御する制御部と、を備える、
機器制御システム。
【請求項22】
撮像を行う撮像ステップと、
前記撮像ステップで撮像された第1画像に基づいて、前記撮像ステップでの撮像範囲に含まれる所定範囲内の人の存否に関する判断を行う判断ステップと、
前記判断ステップでの判断結果を出力する第1出力ステップと、
前記第1画像に基づく第2画像を出力する第2出力ステップと、
前記第2出力ステップでの前記第2画像の出力の有無を設定する設定ステップと、を含む、
出力方法。
【請求項23】
請求項22に記載の出力方法を1つ以上のプロセッサに実行させるための、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像センサ、機器制御システム、出力方法及びプログラムに関し、より詳細には、撮像した画像を基に人の存否を判断し、判断結果を出力(例えば、通信媒体で送信)する画像センサ、機器制御システム、出力方法及びプログラムに関する。
【背景技術】
【0002】
特許文献1には、撮像した画像から人体の検知範囲における人体の存否を判断し、判断結果を主制御装置への伝送線に送信する画像センサ装置が記載されている。この画像センサ装置は、パソコンとLAN(Local Area Network)で接続可能である。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2015-155815号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記従来の画像センサ装置では、撮像した画像の利用を、パソコンを介して図ることができる。しかし、撮像された画像が常時、又はパソコン等からの要求に応じて無制限に、出力されるため、プライバシーの保護を図ることは容易でなかった。
【0005】
本開示の目的は、撮像した画像を利用しつつ、プライバシーの保護を図ることができる画像センサ、機器制御システム、出力方法及びプログラムを提供することである。
【課題を解決するための手段】
【0006】
本開示の一態様に係る画像センサは、撮像部と、判断部と、第1出力部と、第2出力部と、設定部と、を備える。前記撮像部は、撮像を行う。前記判断部は、前記撮像部が撮像した第1画像に基づいて、前記撮像部の撮像範囲に含まれる所定範囲内の人の存否に関する判断を行う。前記第1出力部は、前記判断部の判断結果を出力する。前記第2出力部は、前記第1画像に基づく第2画像を出力する。前記設定部は、前記第2出力部による前記第2画像の出力の有無を設定する。
【0007】
本開示の一態様に係る機器制御システムは、前記画像センサと、制御部と、を備える。前記制御部は、前記第1出力部が出力した前記判断結果に基づいて機器を制御する。
【0008】
本開示の一態様に係る出力方法は、撮像ステップと、判断ステップと、第1出力ステップと、第2出力ステップと、設定ステップと、を含む。前記撮像ステップでは、撮像が行われる。前記判断ステップでは、前記撮像ステップで撮像された第1画像に基づいて、前記撮像ステップでの撮像範囲に含まれる所定範囲内の人の存否に関する判断が行われる。前記第1出力ステップでは、前記判断ステップでの判断結果が出力される。前記第2出力ステップでは、前記第1画像に基づく第2画像が出力される。前記設定ステップでは、前記第2出力ステップでの前記第2画像の出力の有無が設定される。
【0009】
本開示の一態様に係るプログラムは、前記出力方法を1つ以上のプロセッサに実行させる。
【発明の効果】
【0010】
本開示の画像センサ、機器制御システム、出力方法及びプログラムは、撮像した画像を利用しつつ、プライバシーの保護を図ることができるという効果がある。
【図面の簡単な説明】
【0011】
図1図1は、本開示の実施形態に係る画像センサを含む機器制御システムのブロック図である。
図2図2は、同上の画像センサのブロック図である。
図3図3は、同上の画像センサの動作を説明するためのフローチャートである。
図4図4は、同上の動作に含まれる処理を示すフローチャートである。
図5図5は、同上の動作に含まれる出力を示すフローチャートである。
図6図6Aは、同上の画像センサが撮像した画像である第1画像の一例を示す図であり、図6Bは、同上の第1画像に基づく第2画像の一例を示す図である。
図7図7は、同上の機器制御システムの変形例を示すブロック図である。
図8図8は、同上の画像センサ変形例を示すブロック図である。
図9図9は、同上の処理の変形例を示すフローチャートである。
図10図10は、同上の出力の変形例を示すフローチャートである。
【発明を実施するための形態】
【0012】
以下の実施形態で説明する構成は本開示の一例にすぎない。本開示は、以下の実施形態に限定されず、本開示の効果を奏することができれば、設計等に応じて種々の変更が可能である。
【0013】
(1)要部
最初に、図2図6A及び図6B等を参照して、本開示の実施形態に係る画像センサ1の要部を説明する。
【0014】
本開示の実施形態に係る画像センサ1は、撮像部11と、判断部121と、第1出力部131と、第2出力部132と、設定部(第1設定部)122と、を備える。
【0015】
(1-1)撮像部
撮像部11は、撮像を行う。撮像部11は、通常、人が存在し得る範囲を撮像する。本実施形態において、人が存在し得る範囲とは、画像センサ1が設置されているエリア(以下、設置エリア)である。設置エリアは、例えば、屋内の一のフロア又は一の部屋であるが、屋外の敷地等でもよい。
【0016】
なお、撮像部11は、通常、可視光カメラであるが、赤外線カメラでもよいし、両者を含んでもよい。撮像部11は、通常、動画を出力するが、静止画を出力してもよいし、動画及び静止画のいずれかを選択的に出力可能であってもよい。
【0017】
(1-2)判断部
判断部121は、図6Aに例示するような第1画像に基づいて、撮像部11の撮像範囲(図示しない)に含まれる所定範囲A1内の人の存否に関する判断を行う。
【0018】
(1-2-1)第1画像
第1画像とは、撮像部11が撮像した画像である。第1画像は、通常、動画であるが、静止画でもよい。
【0019】
(1-2-2)所定範囲
所定範囲は、通常、撮像範囲の一部であるが、撮像範囲の全体でもよい。撮像範囲の一部とは、例えば、撮像範囲から不在領域NA1を除いた範囲であるが、どの部分でもよい。不在領域NA1とは、通常は人が居ない場所であり、例えば、机の上等である。
【0020】
(1-2-3)存否判断
存否に関する判断とは、通常、存否(在・不在)の判断である。すなわち、判断部121は、所定範囲A1に少なくとも1人の人が居るか否かの判断(以下、「存否判断」と記す)を行う。
【0021】
(1-2-4)異常の有無の判断
ただし、存否に関する判断は、例えば、存否に関連する所定の異常の有無の判断などでもよい。存否に関連する所定の異常とは、例えば、図6Bに示したように、不在領域NA1(通常は人が居ない場所:机の上等)に人推定領域(PA1,PA2)が存在すること、などである。
【0022】
(1-3)第1出力部:判断結果の出力
第1出力部131は、判断部121の判断結果を出力する。
【0023】
第1出力部131による出力は、通常、通信部14を介した送信であるが、ディスプレイ(図示しない)への表示、メモリ等の記憶媒体(図示しない)への記憶などでもよい。
【0024】
本実施形態における第1出力部131は、判断部121の判断結果を、第1通信媒体101(後述)で通信を行う第1通信部141(後述)を介して制御装置2(後述)送信する。
【0025】
ただし、第1出力部131は、例えば、第2通信媒体102(後述)で通信を行う第2通信部142(後述)を介して、サービス提供システム200(後述)に判断結果を送信してもよい。
【0026】
(1-4)第2出力部:第2画像の出力
第2出力部132は、図6Bに例示するような第2画像(後述)を出力する。
【0027】
第2出力部132による出力は、通常、通信部14(例えば、第2通信部142)を介した送信であるが、記憶媒体への記憶、ディスプレイへの表示などでもよい。
【0028】
本実施形態における第2出力部132は、第1画像に対する各種の画像処理(後述)の結果である第2画像を、記憶媒体に記憶させる。
【0029】
ただし、第2出力部132は、例えば、第1通信部141を介して、第2画像を制御装置2(後述)に送信してもよい。
【0030】
なお、第2画像は、第3通信媒体103(後述)で通信する第3通信部143(後述)を介して設定用端末4(後述)に送信されてもよい(画像センサの変形例参照)。
【0031】
(1-4-1)第2画像
第2画像とは、第1画像に基づく画像である。第2画像は、例えば、第1画像の一部である。
【0032】
第1画像の一部とは、第1画像が動画の場合は、例えば、動画を基に取得される静止画である。静止画は、例えば、動画を構成する複数の静止画の一部である。
【0033】
第2画像は、具体的には、例えば、判断結果が変化した前後の第1画像(一対の静止画)でもよい。判断結果の変化とは、“不在”から“在”への変化、及び“在”から“不在”への変化の各々である。
【0034】
なお、第1画像が静止画の場合における第1画像の一部は、例えば、静止画のうち、人推定領域PA1,PA2を除く範囲(背景部分)でもよい。
【0035】
また、第2画像は、例えば、第1画像に対して存否判断に関連する処理が施された画像でもよい。
【0036】
(1-4-2)存否判断に関連する処理
存否判断に関連する処理とは、例えば、存否判断のための処理である。存否判断のための処理は、例えば、所定範囲A1を複数の領域(例えばA(1,1)~A(5,5):図6B参照)に区分する処理、人推定領域PA1,PA2を抽出する処理などの画像処理である。
【0037】
または、存否判断に関連する処理は、例えば、存否判断の判断結果に応じた処理でもよい。判断結果に応じた処理は、例えば、人検出枠F1,F2の重畳、人推定領域PA1,PA2のマスク(無地又はモザイク等の画像の重畳)などの画像処理である。
【0038】
なお、第2画像は、例えば、第1画像の人推定領域PA1,PA2に対して困難化処理(後述)を施した困難化画像(後述)でもよい。また、上記のような各種の画像処理は、後述する処理部12によって行われる。
【0039】
(1-5)設定部
設定部122は、第2出力部132による第2画像の出力の有無(有効/無効)を設定する。
【0040】
このような、設定部122の第2通信部142に対する出力設定によって、画像の送信を制限し、遠隔での閲覧を困難化することで、プライバシーの保護を効果的に図ることができる。
【0041】
(1-5-1)通信部の通信に基づく設定
設定部122は、第2出力部132による第2画像の出力の有無の設定(以下、「第2出力部132に対する出力設定」と記す)を、例えば、通信部14(第1通信部141及び第2通信部142の少なくとも一方)の通信に基づいて行う。
【0042】
なお、第2出力部132に対する出力設定は、例えば、第1通信部141、第2通信部142、及び第3通信媒体103(後述)で通信する第3通信部143(後述)、の少なくとも1つの通信に基づいて行われてもよい(画像センサの変形例参照)。
【0043】
(1-5-2)操作部の操作に基づく設定
また、第2出力部132に対する出力設定は、例えば、操作部15(後述)の操作に基づいて行われてもよい。
【0044】
このように、本実施形態の画像センサ1では、撮像した画像である第1画像に基づく第2画像について、設定部(第1設定部)122が、第2出力部132に対する出力設定を行うことで、第2画像の制限的な出力が可能となる。その結果、撮像した画像を利用しつつ、プライバシーの保護を図ることができる。なお、画像センサ1が第1画像に代えて第2画像を出力することで、出力するデータ量の抑制と、設置や監視等の作業の容易化とを図ることもできる。
【0045】
(2)詳細
次に、図1図5図6A及び図6Bを参照して、画像センサ1等の詳細を説明する。
【0046】
本実施形態の画像センサ1は、図1に例示するような機器制御システム100に用いられる。
【0047】
(2-1)機器制御システム
本開示の一実施形態に係る機器制御システム100は、図1に例示するように、画像センサ1と、制御装置2と、1つ以上(例えば2つ)の機器3と、を備える。
【0048】
なお、上記1つ以上の機器3の少なくとも一部は、機器制御システム100の構成要素でなくてもよい。また、機器制御システム100を構成する画像センサ1の数は、複数でもよい。さらに、機器制御システム100は、例えば、画像センサ1と、制御装置2と同等の機能を有する制御部と、を備える単一の装置であってもよい。
【0049】
(2-1-1)画像センサ
画像センサ1は、制御装置2及び1つ以上の機器3の各々と第1通信媒体101で接続される。本実施形態において、画像センサ1は、第1通信媒体101で制御装置2と通信し、1つ以上の機器3の各々は、制御装置2と第1通信媒体101で通信する。ただし、画像センサ1は、第1通信媒体101で1つ以上の機器3の各々とも通信してもよい。
【0050】
また、画像センサ1は、サービス提供システム200と第2通信媒体102で接続される。画像センサ1は、サービス提供システム200と第2通信媒体102で通信する。
【0051】
画像センサ1は、通信媒体(第1通信媒体101及び第2通信媒体102)を介した通信を行うための通信モジュール、プロセッサ及びメモリ(いずれも図示しない)を有する。メモリにはプログラム等が格納され、プロセッサがメモリ内のプログラム等に基づいて動作することにより、画像センサ1の機能(例えば、図2に示される各部)が実現される。なお、画像センサ1の詳細(各部)については後述する。
【0052】
(2-1-2)制御装置
制御装置2は、画像センサ1が出力した判断結果に基づいて機器3を制御する。
【0053】
詳しくは、制御装置2は、画像センサ1の第1出力部131が第1通信部141を介して第1通信媒体101で送信した判断結果を受信し、機器3の制御(例えば、人の入室/退室に応じた電源のオン/オフ等)を行う。
【0054】
制御装置2は、通信媒体(第1通信媒体101及び第2通信媒体102)を介した通信を行うための通信モジュール、プロセッサ及びメモリ(いずれも図示しない)を有する。メモリにはプログラム等が格納され、プロセッサがメモリ内のプログラム等に基づいて動作することにより、制御装置2の上記機能が実現される。
【0055】
(2-1-3)機器
機器3は、制御装置2によって制御される被制御端末である。機器3は、例えば、オフィスビル等の非住宅施設に設けられる電気設備であり、具体的には、照明器具、エアコン、アラームなどである。ただし、機器3は、例えば、住宅内の情報家電などでもよい。また、制御装置2の制御対象は、機器3それ自体に限らず、機器3間のリレーなどでもよい。
【0056】
機器3は、通信媒体(第1通信媒体101)を介した通信を行うための通信モジュール、プロセッサ及びメモリ(いずれも図示しない)を有する。メモリにはプログラム等が格納され、プロセッサがメモリ内のプログラム等に基づいて動作することにより、機器3の機能が実現される。
【0057】
(2-2)サービス提供システム
サービス提供システム200は、画像センサ1からの第2画像を基に、例えば、設置(施工業者等による画像センサ1の設置作業)の支援、設置エリア内の監視(管理業者等による画像センサ1を用いた監視作業)の支援、などのサービスを提供する。
【0058】
なお、サービス提供システム200は、画像センサ1からの判断結果(在/不在)を基に、在室管理等のサービスを提供してもよい。
【0059】
(2-3)通信媒体
画像センサ1が利用する通信媒体は、本実施形態では、有線であるが、無線でもよい。
【0060】
画像センサ1が、主として制御装置2との通信(例えば、制御装置2への判断結果の送信)に利用する第1通信媒体101は、例えば、NMAST(登録商標:以下同様)であるが、イーサネット(登録商標:以下同様)や無線LANなどでもよい。
【0061】
画像センサ1が、主としてサービス提供システム200との通信(例えば、サービス提供システム200への第2画像の送信)に利用する第2通信媒体102は、第1通信媒体101とは異なる通信媒体であり、通常、より高速(画像送信が容易)な通信媒体である。第2通信媒体102は、例えば、イーサネットであるが、インターネットや通信回線網などでもよい。
【0062】
(2-4)画像センサの詳細
画像センサ1は、図2に示すように、撮像部11と、処理部12と、出力部13と、通信部14と、操作部15と、報知部16とを備える。撮像部11、処理部12、出力部13、通信部14、操作部15及び報知部16は、バス17に接続されている。つまり、本実施形態における画像センサ1は、ワンチップで実現され、構成要素間でバス17を介した情報のやり取りが可能である。ただし、画像センサ1は、例えば、有線又は無線で通信可能に接続された複数のチップで実現されてもよい。
【0063】
(2-4-1)処理部
処理部12は、各種の処理を実行する。各種の処理とは、例えば、前述した判断部121、及び設定部122の処理である。
【0064】
また、処理部12は、前述した各種の画像処理(抽出等)も行う。すなわち、処理部12は、第1画像(図6A参照)から人推定領域PA1,PA2を抽出する。
【0065】
(2-4-1A)人推定領域
人推定領域PA1,PA2とは、撮像部11の撮像範囲のうち、人の画像が含まれると推定される領域である。人推定領域PA1,PA2は、例えば、人の画像であると推定される領域(図6Aにおいて、参照符号PA1,PA2で示される領域)、又はそのような領域を囲む人検出枠F1,F2の内部(図6Bにおいて、参照符号PA1,PA2で示される領域)である。
【0066】
(2-4-1B)人検出枠
人検出枠F1,F2は、人推定領域PA1,PA2を囲む枠である。なお、枠の形状は、例えば、図6B等に示されるような矩形であるが、矩形以外の多角形、円形等でもよい。
【0067】
(2-4-1C)抽出
処理部12は、例えば、次のようにして人推定領域PA1,PA2の抽出を行う。すなわち、処理部12は、図6Bに示すように、第1画像の所定範囲A1を複数個の領域に分割し、当該複数個の領域ごとにフレーム間差分を検出し、当該複数個の領域のうち検出結果が閾値よりも大きい領域を特定する。なお、領域分割及び差分検出の詳細については、具体例2で説明する。
【0068】
次に、処理部12は、特定した領域及びその周辺において、例えば、輝度(又はサーモ画像での温度)の閾値に基づく二値化を行うことで輪郭線を検出し、当該輪郭線を囲む人検出枠F1,F2を取得する。そして、処理部12は、第1画像から、人検出枠F1,F2で囲まれる人推定領域PA1,PA2を抽出する。
【0069】
次に、処理部12は、上記の抽出結果を基に、所定範囲A1における人の存否の判断を行う。そして、処理部12は、第2出力部132に対する出力設定を行う。なお、判断、及び第2出力部132に対する出力設定については後述する。
【0070】
また、処理部12は、上記の抽出結果を基に、困難化処理を行う。なお、困難化処理については後述する。
【0071】
(2-4-2)出力部
出力部13は、各種の情報を出力する。各種の情報とは、例えば、判断結果、第2画像などである。
【0072】
出力部13による出力は、通常、通信部14を介した送信である。すなわち、出力部13は、各種の情報を、バス17を介して通信部14に出力する(引き渡す)。通信部14は、出力部13から出力された(引き渡された)情報を、通信媒体(第1通信媒体101及び第2通信媒体102の少なくとも一方)で送信する。
【0073】
詳しくは、出力部13は、前述した第1出力部131と、前述した第2出力部132とを含む。
【0074】
(2-4-2A)第1出力部
第1出力部131は、判断部121の判断結果を、通常、第1通信媒体101を介して制御装置2に送信する。ただし、第1出力部131は、判断結果を、例えば、第2通信媒体102を介してサービス提供システム200に送信してもよい。
【0075】
(2-4-2B)第2出力部
第2出力部132は、処理部12による第1画像に対する第1処理及び/又は第2処理の結果である第2画像を、通常、第2通信媒体102を介してサービス提供システム200に送信する。ただし、第2出力部132は、第2画像を、例えば、第1通信媒体101を介して制御装置2に送信してもよい。
【0076】
(2-4-3)通信部
通信部14は、各種の通信媒体で、各種の通信相手と通信を行う。各種の通信媒体とは、第1通信媒体101、第2通信媒体102であるが、第3通信媒体103(近距離無線等:画像センサの変形例及び図7参照)などでもよい。各種の通信相手とは、例えば、制御装置2、サービス提供システム200であるが、機器3(被制御端末)以外の端末(例えば、設定用端末4:画像センサの変形例及び図7参照)などでもよい。
【0077】
詳しくは、通信部14は、図2に示したように、第1通信部141と、第2通信部142とを含む。
【0078】
(2-4-3A)第1通信部
第1通信部141は、通常、第1通信媒体101で通信を行う。第1通信部141は、本実施形態では、制御装置2と通信を行うが、制御装置2以外の通信相手(例えば、機器3)と通信を行ってもよい。
【0079】
(2-4-3B)第2通信部
第2通信部142は、通常、第2通信媒体102で通信を行う。第2通信部142は、本実施形態では、サービス提供システム200と通信を行うが、サービス提供システム200以外の通信相手と通信を行ってもよい。
【0080】
これによって、判断結果及び第2画像を、それぞれに適した通信媒体で送信できる。ただし、判断結果及び第2画像は、同じ通信媒体で送信されてもよい。つまり、第1通信部141及び第2通信部142は、同種の又は一の通信媒体で通信を行ってもよい。
【0081】
(2-4-4)判断、及び第2出力部に対する出力設定
処理部12は、図2に示したように、判断部121と、設定部122とを含む。
【0082】
(2-4-4A)判断部
判断部121は、上記の抽出結果を基に、所定範囲A1における人の存否の判断を行う。すなわち、判断部121は、所定範囲A1から少なくとも1つの人推定領域PA1,PA2が抽出(検出)された場合に、判断結果“在”を取得する。また、判断部121は、所定範囲A1から人推定領域が1つも抽出されない場合、判断結果“不在”を取得する。
【0083】
また、判断部121は、例えば、存否に関連する所定の異常の有無の判断を行う。所定の異常は、前述したように、図6に例示したような不在領域NA1に人推定領域(PA1,PA2)が存在すること、である。
【0084】
(2-4-4B)設定部(第1設定部)
本実施形態における設定部122は、第1通信部141及び第2通信部142の少なくとも一方の通信に基づいて設定を行う。
【0085】
ただし、設定部122は、第3通信部143(後述)の通信に基づいて設定を行ってもよい(画像センサの変形例参照)。すなわち、設定部122は、第1~第3通信部141~143の少なくとも1つの通信に基づいて設定を行ってもよい。
【0086】
これにより、第1通信媒体101及び第2通信媒体102の少なくとも一方で通信を行う装置やシステム(例えば、機器制御システム100を構成する制御装置2、サービス提供システム200など:以下、システム側)から、遠隔で出力設定を行える。従って、画像センサ1をプライバシーの保護を図りつつ監視カメラのように活用できる。
【0087】
(2-4-4Ba)所定の異常がある場合の第2出力部に対する出力設定
設定部122は、判断部121が、所定の異常があると判断したとき、第2出力部132による第2画像の出力を“有効”に設定する。
【0088】
これにより、異常発生に応じて第2画像の出力が有効化される。従って、異常発生時は、プライバシーの保護を緩め、画像センサ1を監視カメラのように活用できる。
【0089】
(2-4-4Bb)通信に基づく第2出力部に対する出力設定
設定部122は、第1通信部141及び第2通信部142の少なくとも一方が第2画像の要求を受信したとき、第2出力部132による第2画像の出力を有効に設定(有効化)する。
【0090】
これによって、システム側からの要求に応じて第2画像の出力が有効化される。従って、システム側が緊急と判断した時は、プライバシーの保護を緩め、画像センサ1を監視カメラのように活用できる。
【0091】
(2-5)第2画像の他の例1:困難化画像
第2画像は、人の識別を困難化した画像(以下「困難化画像」)でもよい。困難化画像は、例えば、人検出枠F1,F2内の人推定領域PA1をマスクした画像、人を含まない背景のみの画像(背景画像)等である。第2画像は、例えば、処理部12が、第1画像に対して困難化処理を施した画像である。
【0092】
(2-5-1)困難化処理
困難化処理とは、人の識別を困難化するための処理である。困難化処理は、例えば、図6Bに示すように、人検出枠F1,F2で囲まれた範囲(又はその中の推定領域PA1,PA2)のマスク(無地又はモザイクの画像の重畳)又は除去等である。なお、困難化処理後の画像に人検出枠等が重畳されてもよい。
【0093】
(2-5-2)部分的な困難化
なお、困難化処理では、所定の条件を満たす人(例えば、人推定領域PA1)についてのみ識別を困難化し、満たさない人(人推定領域PA2)については識別を困難化しなくてもよい。
【0094】
(2-5-2A)所定の条件
所定の条件は、例えば、“人推定領域PA1,PA2が所定範囲A1内かつ不在領域NA1外に存在すること”であってもよい。この場合、例えば、図6Bに示されるように、所定の条件を満たす人(人検出枠F1で囲まれる範囲)についてのみ困難化処理が行われ、不在領域NA1内に存在する人(人検出枠F2で囲まれる範囲)については、困難化処理は行われない。
【0095】
ただし、所定の条件は、例えば、“人推定領域が所定範囲内に存在すること”でもよい。この場合、人検出枠F1で囲まれる範囲、及び人検出枠F2で囲まれる範囲の両方に対し、困難化処理が行われる(図示しない)。
【0096】
このように、第1画像に対し、人の識別を困難化する困難化処理を施した結果を第2画像とすることで、プライバシーの保護を図ることができる。
【0097】
(2-5-3)第2画像の他の例2:不在期間の画像(背景画像)
または、第2画像は、第1画像のうち、不在期間の画像であってもよい。不在期間とは、所定範囲A1内に人推定領域が含まれない期間である。不在期間の画像は、人を含まない背景のみの画像(背景画像)である。
【0098】
このように、人を含まない不在期間の第1画像(背景画像)を第2画像とすることで、プライバシーの保護を図ることができる。
【0099】
(2-6)操作部
操作部15は、人によって操作され、操作に応じた信号を出力する。操作部15から出力された信号は、バス17を介して、処理部12(例えば、設定部122)等に引き渡される。
【0100】
本実施形態における操作は、第2出力部132による出力を有効化/無効化する操作(以下、「第1操作」と記す)である。第1操作が行われると、操作部15は、第1操作に応じた信号を出力する。出力された信号は、設定部122に引き渡され、設定部122は、当該信号に応じて、第2出力部132による第2画像の出力を有効化/無効化する。
【0101】
操作部15は、例えば、ディップスイッチであるが、キーやダイヤル、タッチパネルなどでもよい。
【0102】
これにより、画像センサ1は、画像センサ1自身に対する操作で出力設定を行える。従って、遠隔で出力設定が行われる場合と比べて、プライバシーの保護を効果的に図ることができる。
【0103】
(2-7)報知部
報知部16は、第2画像の出力を示す報知を行う。
【0104】
本実施形態における報知部16は、第2出力部132による第2画像の出力に応じて、第2画像が出力される(又は出力された)旨の報知を行う。
【0105】
このように、画像センサ1の近傍に存在する人(例えば、画像センサ1の設置エリア内の人)に、第2画像の出力(サービス提供システム200等への送信)についての報知を行うことで、プライバシーの保護を効果的に図ることができる。
【0106】
(2-8)機器制御システムの利点
機器制御システム100では、撮像した画像である第1画像に基づく第2画像について、設定部(第1設定部)122が、第2出力部132による第2画像の出力の有無(有効/無効)の設定(出力設定)を行うことで、第2画像の制限的な出力が可能となる。その結果、撮像した画像を利用しつつ、プライバシーの保護を図ることができる。また、第1出力部131の出力を基に、制御部2が機器3の制御を行える。
【0107】
(2-9)サービス提供システムの変形例
なお、本実施形態及び変形例では、制御装置(サーバ)が制御部2を備えるが、制御部2は、画像センサ1(端末)が備えてもよい。
【0108】
制御部2は、第1出力部131が出力した前記判断結果に基づいて機器3を制御する。
【0109】
(2-10)動作
画像センサ1は、例えば、図3図5のフローチャートに従って動作する。なお、図3図5の動作は、機器制御システム100の起動に応じて開始され、機器制御システム100の停止に応じて終了される。
【0110】
画像センサ1では、撮像部11が撮像を行い、処理部12は、撮像部11から第1画像(図6A参照)を取得する(ステップS1)。次に、処理部12は、ステップS1で取得された第1画像を処理する(ステップS2)。なお、ステップS2の処理については後述する。
【0111】
次に、出力部13は、ステップS2の処理結果を出力する(ステップS3)。なお、ステップS3の出力については後述する。その後、動作はステップS1に戻る。
【0112】
上記ステップS2の処理は、例えば、図4のフローチャートに従って実行される。
【0113】
処理部12は、ステップS1で取得された第1画像に基づく画像処理を行い(ステップS21)、それによって第2画像(図6B参照)が取得される。
【0114】
判断部121は、ステップS1で取得された第1画像及びステップS21での画像処理によって取得された第2画像の少なくとも一方に基づいて、所定範囲A1内の人の存否に関する判断(以下、「第1判断」)を行い(ステップS22)、さらに、異常の有無に関する判断(以下、「第2判断」と記す)を行う(ステップS23)。
【0115】
次に、判断部121は、第1通信部141及び第2通信部142の少なくとも一方による要求の受信の有無に関する判断(以下、「第3判断」と記す)を行い(ステップS24)、さらに、操作部15による操作の有無に関する判断(以下、「第4判断」と記す)を行う(ステップS25)。
【0116】
設定部122は、第1~第4の少なくとも1つの判断の結果に基づいて、第2出力部132による第2画像の出力設定を行う(ステップS26)。その後、動作は、上位のフローチャート(図3)にリターンする。
【0117】
上記ステップS3の出力は、例えば、図5のフローチャートに従って実行される。
【0118】
第1出力部131は、第1通信部141を介した判断結果の送信を行う(ステップS31)。なお、ここで送信される判断結果は、通常、第1判断の結果(人の存否)であるが、これに加えて、第2判断の結果(異常の有無)も送信されてもよい。
【0119】
第2出力部132は、第2画像の出力設定が“有効”か否かを判断する(ステップS32)。第2画像の出力設定が“無効”である場合、出力は、上位のフローチャート(図3)にリターンする。
【0120】
第2画像の出力設定が“有効”である場合、第2出力部132は、第2通信部142を介した第2画像の送信を行う(ステップS33)。次に、報知部16が第2画像の送信に関する報知を行う(ステップS34)。その後、出力は、上位のフローチャート(図3)にリターンする。
【0121】
(2-11)具体例
以下、2つの具体例及びそれぞれの変形例を説明する。
【0122】
(2-11-1)具体例1:第3判断(要求の受信有無判断)に基づく出力設定
具体例1における画像センサ1は、図1に示した画像センサ1から操作部15及び報知部16を除いた構成を有する。
【0123】
この画像センサ1において、第1通信部141がサービス提供システム200との間で第1通信媒体101を介した通信を行い、第2通信部142が制御装置2との間で第2通信媒体102を介した通信を行う。サービス提供システム200は第1通信媒体101を介して、制御装置2は第2通信媒体102を介して、それぞれ第2画像の要求を画像センサ1に送信可能である。
【0124】
本例において、画像センサ1が設置されているエリア内には、人が存在する。人は、画像センサ1を構成する撮像部11の撮像範囲に含まれている。画像センサ1の撮像部11から取得される第1画像において、所定範囲内に人推定領域が含まれている。
【0125】
処理部12は、第1画像に基づく画像処理を行う。詳しくは、処理部12は、第1画像を複数個の領域に分割し、当該複数個の領域ごとにフレーム間差分を検出し、当該複数個の領域のうち検出結果が閾値よりも大きい領域を特定する。
【0126】
次に、処理部12は、こうして特定した領域及びその周辺において、例えば、輪郭線検出、微動検出等を行うことで、人推定領域に対応する人検出枠を取得する。次に、処理部12は、所定範囲内の人の存否に関する判断(第1判断)を行う。ここでは、所定範囲内で人検出枠が取得されたため、所定範囲内に人が存在すると判断される。
【0127】
第1出力部131は、第1通信部141を介してサービス提供システム200に判断結果(ここでは“在”)を送信する。サービス提供システム200では、判断結果を利用して、在室管理等のサービスが提供される。
【0128】
一方、第2出力部132による第2画像の出力設定は、初期状態では“無効”であり、 現時点において、第2出力部132による第2画像の出力は行われない。これによって、プライバシーの保護が図られる。
【0129】
その後、例えば、第2通信部142が、第2通信媒体102を介して制御装置2から第2画像の要求を受信したとする。これに応じて、判断部121による第3判断の結果が「要求の受信有り」となり、設定部122は、第2出力部132による第2画像の出力を“有効“に設定する。
【0130】
第2出力部132は、第2画像の出力が有効化されたため、第2通信媒体102を介して第2画像を制御装置2に送信する。制御装置2では、第2画像の表示等が行われる。これによって、画像の利用が図られる。
【0131】
(2-11-2)具体例1の変形例
本変形例の画像センサ1は、具体例1の画像センサ1において、操作部15及び報知部16を追加した構成(すなわち、図2の構成)を有する。第2出力部132による第2画像の出力に関する設定は、操作部15を介して、画像センサ1に対し直に行うことも可能である。
【0132】
第2出力部132による第2通信媒体102を介した第2画像の送信に伴い、報知部16が当該送信に関する報知を行う。こうして、画像センサ1の設置エリア内の人に第2画像の送信について報知することで、プライバシーの保護が図られる。
【0133】
(2-11-3)具体例2:第2判断(異常有無判断)に基づく出力設定
本例において、画像センサ1が設置されているエリア内には、二人の人及び机が存在する。二人の人及び机は、画像センサ1を構成する撮像部11の撮像範囲に含まれている。机は、撮像範囲の中央に位置し、一人は机の横に立ち、他の一人は机の上に立っている。
【0134】
このとき、撮像部11から、例えば、図6Aに示すような第1画像が取得される。この第1画像において、所定範囲A1内に、二人の人に対応する2つの人推定領域PA1及びPA2と、机に対応する不在領域NA1と、が含まれている。なお、2つの人推定領域PA1及びPA2は、可動であり、画像処理によって取得される。また、不在領域NA1は、本例では、不動であり、所定範囲A1内に予め設定されている。
【0135】
処理部12は、第1画像に基づく画像処理を行う。詳しくは、処理部12は、第1画像の所定範囲A1を、例えば、5×5=25個の領域A(1,1)~A(5,5)に分割する。そして、処理部12は、25個の領域A(1,1)~A(5,5)ごとにフレーム間差分を検出し、検出結果が閾値よりも大きい領域を特定する。ここでは、例えば、4個の領域A(1,3),A(2,3),A(3,3)及びA(3,4)が特定されたとする。
【0136】
次に、処理部12は、上記4個の領域A(1,3),A(2,3),A(3,3)及びA(3,4)並びにその周辺において、例えば、閾値に基づく二値化を行うことで輪郭線を検出し、当該輪郭線を囲む人検出枠F1,F2を取得する。そして、処理部12は、第1画像から、人検出枠F1,F2で囲まれる人推定領域PA1,PA2を抽出する。
【0137】
次に、処理部12は、所定範囲A1内の人の存否に関する判断(第1判断)を行う。ここでは、2つの人検出枠F1及びF2が取得されたため、所定範囲A1内に人が存在すると判断される。
【0138】
次に、処理部12は、異常の有無に関する判断(第2判断)を行う。本例では、取得された2つの人検出枠F1及びF2の各々について、不在領域NA1との重複の有無が判断される。具体的には、例えば、当該人検出枠の半分以上の範囲が不在領域NA1に含まれる場合に、重複と判断される。一方、当該人検出枠の全体が不在領域NA1の外部にあるか、又は当該人検出枠の半分に満たない範囲しか不在領域NA1に含まれない場合には、非重複と判断される。そして、2つの人検出枠F1及びF2の少なくとも一方について重複と判断された場合に、第2判断の結果は、異常有りとなる。
【0139】
本例では、図6Bに示されるように、人検出枠F1は、その半分に満たない範囲しか不在領域NA1に含まれず、非重複と判断される一方、人検出枠F2は、その半分以上の範囲が不在領域NA1に含まれ、重複と判断される。従って、第2判断の結果は、異常有りとなる。
【0140】
第2判断の結果が異常有りとなったことを受け、設定部122は、第2出力部132による第2画像の出力を“有効“に設定する。なお、第2判断の結果が異常無しの場合、第2出力部132による第2画像の出力は、“無効“に設定される。
【0141】
次に、処理部12は、非重複と判断した人検出枠F1について、その内部のマスク(例えば、人検出枠F1内への無地画像の重畳)を行う。これによって、人推定画像PA1に対応する人の識別が困難化される。一方、重複と判断された人検出枠F2については、その内部へのマスク(つまり、人推定画像PA2に対応する人の識別の困難化)は行われない。
【0142】
こうして、第1画像から、例えば、図6Bに示すような第2画像が取得される。この第2画像は、図6Aに示した第1画像に対して、25個の領域A(1,1)~A(5,5)の境界を示す8本の点線と、人推定領域PA1に対応する人検出枠F1(マスク付き)と、人推定領域PA2に対応する人検出枠F2(マスク無し)と、を付加(重畳)したものである。
【0143】
第1出力部131は、第1通信部141を介してサービス提供システム200に第1判断の結果(ここでは“在”)を送信する。サービス提供システム200では、判断結果を利用して、在室管理等のサービスが提供される。
【0144】
第2出力部132は、第2画像の出力が“有効“に設定されているため、第2通信媒体102を介して上記第2画像(図6B)を制御装置2に送信する。制御装置2において、上記第2画像が受信され、ディスプレイに表示される。
【0145】
図6Bの第2画像では、異常有りとの判断とは無関係の(つまり重複無しである)人検出枠PA1内がマスクされ、異常有りとの判断の原因である(つまり重複有りの)人検出枠PA2については、マスクされていない。これによって、画像の利用とプライバシーの保護とが効果的に図られる。
【0146】
(2-11-4)具体例2の変形例
上記具体例2において、第2画像(図6B参照)に含まれる2つの人検出枠PA1及びPA2内は、どちらもマスクされていてもよい。これによって、プライバシーの更なる保護が図られる。
【0147】
(2-12)本実施形態の効果
以上のように、本実施形態では、画像センサ1が判断結果を出力することで、制御装置2は、所定領域A1内における人の存否に応じた制御(例えば、入室時の照明装置の点灯、退室後のエアコンの電源オフなど)を行える。また、画像センサ1が、撮像した画像である第1画像に代えて第2画像を出力することで、出力するデータ量の抑制と、設置監視等の作業の容易化とを図ることもできる。
【0148】
そして、第2画像について、設定部(第1設定部)122が、第2出力部132に対する出力設定を行うことで、第2画像の制限的な出力が可能となる。その結果、撮像した画像を利用しつつ、プライバシーの保護を図ることができる。
【0149】
(2-13)出力方法及びプログラム
なお、本実施形態に係る画像センサ1と同様の機能は、出力方法、(コンピュータ)プログラム、又はプログラムを記録した非一時的記録媒体等で具現化されてもよい。出力方法は、上記各種ステップのうち、少なくとも、ステップS1(撮像ステップ)と、ステップS22(判断ステップ)と、ステップS31(第1出力ステップ)と、ステップS33(第2出力ステップ)と、ステップS26(設定ステップ)と、を含む方法である。
【0150】
プログラムは、同上の出力方法を1つ以上のプロセッサに実行させるためのプログラムである。1つ以上のプロセッサは、例えば、画像センサ1のプロセッサであるが、これに加えて、制御装置2のプロセッサ及びサービス提供システム200のプロセッサの少なくとも一方を含んでもよいし、更に端末(3~5)のプロセッサをも含んでもよい。
【0151】
(3)画像センサの変形例
本変形例における画像センサ1は、図7に示すように、第1通信媒体101を介したサービス提供システム200との通信、及び第2通信媒体102を介した制御装置2との通信に加えて、第3通信媒体103を介した端末との通信が更に可能である。端末は、例えば、設定用端末4であるが、別の端末5でもよい。
【0152】
本変形例における画像センサ1は、図8に示すように、上記実施形態における画像センサ1(図2参照)に対し、第2設定部123、第3出力部133及び第3通信部143を追加したものである。なお、実施形態における設定部122は、本変形例では「第1設定部122」と記す。
【0153】
(3-1)第3通信部
本変形例の通信部14は、図8に示すように、第3通信部143を更に含む。第3通信部143は、第1通信媒体101及び第2通信媒体102のいずれとも異なる第3通信媒体103で通信を行う。前述したように、通常、第1通信媒体及び第2通信媒体は有線であり、第3通信媒体は、無線である。
【0154】
つまり、第3通信部143は、通常、無線通信を行う。なお、第3通信部143の通信相手については、後述する。
【0155】
(3-1-1)第3通信媒体
第3通信媒体103は、前述したように、通常、無線であり、例えば、近距離無線である。第3通信媒体103は、具体的には、BLE(Bluetooth(登録商標:以下同様) Low Energy)であるが、Bluetooth Mesh、無線LAN等でもよい。
【0156】
(3-1-2)第2画像
変形例における第2画像は、通常、静止画である。これによって、第3通信媒体がBLE等の比較的低速な無線の場合でも、第3通信部143は、第3通信媒体103で第2画像を送信できる。また、第2画像が動画である場合と比べて、プライバシーの保護を図ることができる。
【0157】
(3-2)第1設定部
第1設定部122は、第1通信部141、第2通信部142及び第3通信部143の少なくとも1つの通信に基づいて、第2出力部132による第2画像の出力設定(以下、単に「設定」と記す場合がある)を行う。
【0158】
または、第1設定部122は、実施形態における設定部122と同様、第1通信部141及び第2通信部142のいずれか1つの通信に基づいて設定を行ってもよい。
【0159】
または、第1設定部122は、例えば、第3通信部143の通信のみに基づいて設定を行い、第1通信部(141)及び第2通信部(142)の通信に基づく設定は行わなくてもよい(具体例2参照)。
【0160】
こうして、第3通信媒体103を利用する端末(例えば、設定用端末4)からのみ、第2出力部132による第2画像の出力設定を行え、システム側からは出力設定を行えないようにすることで、プライバシーの効果的な保護を図ることができる。
【0161】
(3-3)第3出力部
本変形例の出力部13は、図8に示すように、第3出力部133を更に含む。第3出力部133は、第3通信部143を介して第2画像を送信する。
【0162】
第3出力部133は、例えば、BLE等の無線で通信する第3通信部143を介して、第2画像を設定用端末4に送信する。
【0163】
(3-4)第2設定部
本変形例の処理部12は、図8に示すように、第2設定部123を更に含む。第2設定部123は、第3出力部133による第2画像の出力の有無を設定する。
【0164】
(3-4-1)第3出力部133による第2画像の出力設定
すなわち、本変形例において、第2画像は、第2出力部132だけでなく、第3出力部133によっても出力可能であり、第2画像について、第2設定部123が、第3出力部133による第2画像の出力の有無(有効/無効)の設定を行う。
【0165】
なお、以下では、上記出力設定を「第1の出力設定」、第3出力部(133)による第2画像の出力の有無の設定を「第2の出力設定」と記す場合がある。
【0166】
このように、第1の出力設定によるシステム側への第2画像の制限的な出力に加えて、第2の出力設定によって、システム側とは別の対象(例えば、端末:設定用端末4等)への第2画像の制限的な出力も可能となる。その結果、撮像した画像の更なる利用とプライバシーの保護とを図ることができる。
【0167】
(3-4-2)第1設定部122とは異なる設定
なお、第2設定部123は、第1設定部122とは異なる設定を行うことが可能である。これによって、システム側と端末とで個別に第2画像の出力設定を行える。
【0168】
例えば、第1設定部122は、第1出力部131による第2画像の出力を無効に設定し、第2設定部123は、第2出力部132による第2画像の出力を有効に設定してもよい。こうして、第2画像をシステム側には出力せず、端末(例えば、設定用端末4)に出力することで、プライバシーの効果的な保護を図ることができる。
【0169】
(3-5)第3通信部の通信相手
第3通信部143は、例えば、設定用端末4と通信可能である。また、第3通信部143は、設定用端末4とは別の端末5とも通信可能である。
【0170】
(3-5-1)設定用端末
設定用端末4は、設定を行うための端末である。設定は、例えば、撮像部11の撮像範囲における所定範囲A1の設定、二値化の際の閾値の設定などであるが、これに限らない。
【0171】
なお、設定用端末4は、検知装置(センサ)を含んでもよい(つまり、設定機能に加えて、検知用端末等と同様の検知機能も有していてもよい)。
【0172】
また、画像センサ1の第3出力部133が出力(第3通信部143を介して送信)した第2画像は、設定用端末4によって受信され、設定用端末4のディスプレイに表示されてもよい。
【0173】
(3-5-1A)設定モード
第2設定部123は、第3通信部143を介した設定用端末4との通信に応じて、設定モードに移行する。設定モードとは、設定を行うモードである。
【0174】
第2設定部123は、設定モードにあるときに設定用端末4から設定を有効化する指示を受信した場合に、第2画像の出力を有効に設定(有効化)する。
【0175】
このように、画像センサ1では、第3通信部143が設定用端末4と通信することで、第2設定部123は、設定モードとなり、さらに、設定用端末4からの指示で出力設定が有効化される。これにより、プライバシーの保護を効果的に図ることができる。
【0176】
(3-5-1B)自動解除
第2設定部123は、設定モードに移行してから所定期間経過後に設定モードを解除する。詳しくは、第2設定部123は、例えば、設定モードへの移行に応じてタイマをスタートさせ、タイマによる計時結果が所定時間に達したことに応じて、設定モードを解除する。
【0177】
このように、設定モードは、所定時間が経過すると自動的に解除されるので、例えば、設定用端末4の操作者が出力設定を無効化し忘れても、第2画像の出力は停止され、プライバシーの保護が図られる。
【0178】
なお、第2設定部123は、例えば、上記のような自動解除の前に、設定用端末4から設定を無効化する指示を受信した場合、設定モードを解除してもよい。
【0179】
(3-5-2)別の端末
別の端末5は、例えば、検知用端末(センサ)又は送信用端末である。第3通信部143は、検知用端末からの検知結果又は送信用端末からの情報を受信する。
【0180】
このように、別の端末5が利用する第3通信媒体103を設定用端末4も利用することで、設定用端末4を安価に提供できる。
【0181】
(3-5-2A)検知用端末
検知用端末は、例えば、明るさ・空質(温度・湿度等)等を検知し、検知結果を第3通信媒体(無線:特にBLE等の近距離無線)で送信する。
【0182】
(3-5-2B)送信用端末
送信用端末は、所定の情報を第3通信媒体103で送信する。所定の情報は、例えば、施工用IDである。
【0183】
送信用端末は、例えば、ビーコン送信器である。ビーコン送信器は、施工者によって携帯され、施工用IDを含むビーコン信号を送信する。
【0184】
(3-5-3)施工用ID
施工用IDは、施工者又は施工者が携帯するビーコン送信器、を識別する情報である。施工用IDは、例えば、ビーコン送信器等の送信用端末及び制御装置2、の各々のメモリに予め記憶されている。
【0185】
(3-5-3A)送信用端末からの情報に基づく設定
第3通信部143は、送信用端末から所定の情報を受信し、第2設定部123は、第3通信部143が受信した所定の情報に基づき、第3出力部133による第2画像の出力設定(第2の出力設定)を行う。
【0186】
第2設定部123は、例えば、受信された所定の情報(ビーコン信号に含まれる施工用ID)が、予め登録された所定の情報(メモリに記憶されている施工用ID)と一致する場合に、設定用端末4からの指示に応じて設定を行ってもよい。
【0187】
これによって、端末等から無線で、第3出力部133による第2画像の出力設定(第2の出力設定)を行える。第2の出力設定は、施工者が携帯する別の端末5(ビーコン送信器)が検知用端末の近くに存在するときに限って可能となるので、プライバシーの保護を効果的に図ることができる。
【0188】
(3-6)変形例における処理
本変形例における処理は、実施形態における処理(図4参照)において、ステップS24をステップS24aに置き換えると共に、ステップS27を追加したものである。
【0189】
ステップS24aでは、第1~第3通信部(141~143)の少なくとも1つによる要求の受信の有無が、判断部121によって判断される。なお、第1~第3通信部(141~143)の少なくとも1つとは、例えば、第3通信部143のみであってもよい。つまり、第2通信部142による第2画像の出力設定に関する要求は、第1通信部141及び第2通信部142のいずれによっても受信されず、第3通信部143によってのみ受信されてもよい。この場合、第2出力部132による第2画像の出力設定は、システム側からは行えず(すなわち、制御装置2及びサービス提供システム200のいずれからも行えず)、端末5からのみ可能となる。これによって、プライバシーの保護が図られる。
【0190】
ステップS27では、第2設定部123が、第3通信部143を介した通信を基に、第3出力部133による第2画像の出力設定を行う。つまり、第3出力部133による第2画像の出力設定もまた、システム側からは行えず、端末5からのみ可能となる。これによって、プライバシーの保護が図られる。
【0191】
(3-7)変形例における出力
変形例における出力(図10参照)は、実施形態における出力(図5参照)において、ステップS34の後に2つのステップS35及びS36を追加したものである。
【0192】
ステップS35では、第3出力部133が、第3出力部133自身による第2画像の出力設定は“有効”か否かを判断する。第3出力部133による第2画像の出力設定が“無効”の場合、出力は、上位のフローチャートにリターンする。
【0193】
第3出力部133による第2画像の出力設定が“無効”の場合、ステップS36が実行される。ステップS36では、第3出力部133が第3通信部143を介して端末(例えば、設定用端末4)に第2画像を送信する。端末では、第2画像がディスプレイに表示される。
【0194】
(3-8)実施形態との他の差異
なお、本変形例における操作部15の操作は、前述した第1操作に限らず、第3出力部133による第2画像の出力設定(第2の出力設定)に関する操作(第2操作)でもよい。
【0195】
(3-9)変形例の利点
この変形例によれば、第1通信媒体101及び第2通信媒体102に加えて、第3通信媒体103でも、第2出力部132による第2画像の出力設定が可能になる。従って、第1通信媒体101及び第2通信媒体102の少なくとも一方を利用するシステム側からだけでなく、第3通信媒体103を利用する端末(例えば、設定用端末4)からも、第2出力部132による第2画像の出力設定を行える。
【0196】
(4)まとめ
なお、以下の第1~第22の態様のうち、第1~第6,第18~第20の態様は、実施形態及び変形例に対応し、第7~第17の態様は、変形例に対応している。
【0197】
第1の態様に係る画像センサ(1)は、撮像部(11)と、判断部(121)と、第1出力部(131)と、第2出力部(132)と、設定部(第1設定部122)と、を備える。撮像部(11)は、撮像を行う。判断部(121)は、撮像部(11)が撮像した第1画像(図6A)に基づいて、撮像部(11)の撮像範囲に含まれる所定範囲(A1)内の人の存否に関する判断を行う。第1出力部(131)は、判断部(121)の判断結果を出力する。第2出力部(132)は、前記第1画像に基づく第2画像(図6B)を出力する。設定部(第1設定部122)は、第2出力部(132)による前記第2画像の出力の有無を設定する。
【0198】
この態様によれば、撮像した画像である第1画像に基づく第2画像について、設定部(第1設定部122)が、第2出力部(132)による出力の有無(有効/無効)の設定(以下、「出力設定」と記す)を行うことで、前記第2画像の制限的な出力が可能となる。その結果、撮像した画像を利用しつつ、プライバシーの保護を図ることができる。
【0199】
第2の態様に係る画像センサ(1)では、第1の態様において、第1出力部(131)及び第2出力部(132)の各々の出力は、通信部(14)を介した送信である。
【0200】
この態様によれば、出力設定によって、画像の送信を制限し、遠隔での閲覧を困難化することで、プライバシーの保護を効果的に図ることができる。
【0201】
第3の態様に係る画像センサ(1)では、第2の態様において、通信部(14)は、第1通信部(141)及び第2通信部(142)を含む。第1通信部(141)は、第1通信媒体(101)で通信を行う。第2通信部(142)は、第1通信媒体(101)とは異なる第2通信媒体(102)で通信を行う。第1出力部(131)は、第1通信部(141)を介して前記判断結果を送信する。第2出力部(132)は、第2通信部(142)を介して前記第2画像を送信する。
【0202】
この態様によれば、判断結果及び第2画像を、それぞれに適した通信媒体で送信できる。
【0203】
第4の態様に係る画像センサ(1)では、第3の態様において、設定部(第1設定部122)は、第1通信部(141)及び第2通信部(142)の少なくとも一方の通信に基づいて設定を行う。
【0204】
この態様によれば、第1通信媒体(101)及び第2通信媒体(102)の少なくとも一方で通信を行う装置やシステム(例えば、機器制御システム100を構成する制御装置2、サービス提供システム200など:以下、システム側)から、遠隔で出力設定を行える。従って、画像センサ(1)をプライバシーの保護を図りつつ監視カメラのように活用できる。
【0205】
第5の態様に係る画像センサ(1)では、第3又は第4の態様において、前記判断は、前記存否に関連する所定の異常の有無の判断を含む。設定部(第1設定部122)は、判断部(121)が、前記所定の異常があると判断したとき、前記第2画像の出力を有効に設定する。
【0206】
この態様によれば、異常発生に応じて画像の出力が有効化される。従って、異常発生時は、プライバシーの保護を緩め、画像センサ(1)を監視カメラのように活用できる。
【0207】
第6の態様に係る画像センサ(1)では、第3~第5のいずれかの態様において、設定部(第1設定部122)は、第1通信部(141)及び第2通信部(142)の少なくとも一方が前記第2画像の要求を受信したとき、前記第2画像の出力を有効に設定する。
【0208】
この態様によれば、システム側からの要求に応じて第2画像の出力が有効化される。従って、システム側が緊急と判断した時は、プライバシーの保護を緩め、画像センサ(1)を監視カメラのように活用できる。
【0209】
第7の態様に係る画像センサ(1)では、第3~第6のいずれかの態様において、通信部(14)は、第3通信部(143)を更に含む。第3通信部(143)は、第1通信媒体(101)及び第2通信媒体(102)のいずれとも異なる第3通信媒体(103)で通信を行う。設定部(第1設定部122)は、第1通信部(141)、第2通信部(142)及び第3通信部(143)の少なくとも1つの通信に基づいて設定を行う。
【0210】
この態様によれば、第1通信媒体(101)及び第2通信媒体(102)に加えて、第3通信媒体(103)での出力設定も可能になる。従って、第1通信媒体(101)及び第2通信媒体(102)の少なくとも一方を利用するシステム側からだけでなく、第3通信媒体(103)を利用する端末(例えば、設定用端末4)からも、出力設定を行える。
【0211】
第8の態様に係る画像センサ(1)では、第7の態様において、第3通信媒体(103)は無線であり、第3通信部(143)は、無線通信を行う。
【0212】
この態様によれば、端末等から無線で出力設定を行える。
【0213】
第9の態様に係る画像センサ(1)では、第8の態様において、設定部(第1設定部122)は、第3通信部(143)の通信に基づいて設定を行う。
【0214】
この態様によれば、第3通信媒体(103)を利用する端末(例えば、設定用端末4)から出力設定を行える(システム側からは出力設定を行えない)ようにすることで、プライバシーの効果的な保護を図ることができる。
【0215】
第10の態様に係る画像センサ(1)では、第9の態様において、設定部(第1設定部122)は、第1設定部(122)である。画像センサ(1)は、第3出力部(133)と、第2設定部(123)と、を更に備える。第3出力部(133)は、第3通信部(143)を介して前記第2画像を送信する。第2設定部(123)は、第3出力部(133)による前記第2画像の出力の有無を設定する。
【0216】
この態様によれば、前記第2画像は、第2出力部(132)だけでなく、第3出力部(133)によっても出力可能であり、前記第2画像について、第2設定部(123)が、第3出力部(133)による第2画像の出力の有無(有効/無効)の設定を行う。なお、以下では、上記出力設定を「第1の出力設定」、第3出力部(133)による第2画像の出力の有無の設定を「第2の出力設定」と記す。従って、第1の出力設定によるシステム側への第2画像の制限的な出力に加えて、第2の出力設定によって、システム側とは別の対象(例えば、設定用端末4等の端末)への第2画像の制限的な出力も可能となる。その結果、画像の更なる利用とプライバシーの保護とを図ることができる。
【0217】
第11の態様に係る画像センサ(1)では、第10の態様において、第2設定部(123)は、第1設定部(122)とは異なる設定を行うことが可能である。
【0218】
この態様によれば、システム側と端末とで個別に第2画像の出力設定を行える。
【0219】
第12の態様に係る画像センサ(1)では、第10又は11の態様において、第1設定部(122)は、前記第2画像の出力を無効に設定し、第2設定部(123)は、前記第2画像の出力を有効に設定する。
【0220】
この態様によれば、第2画像をシステム側には出力せず、端末(例えば、設定用端末4)に出力することで、プライバシーの効果的な保護を図ることができる。
【0221】
第13の態様に係る画像センサ(1)では、第10~第12のいずれかの態様において、第3通信部(143)は、設定用端末(4)と通信可能である。設定用端末(4)は、設定を行うための端末である。第2設定部(123)は、第3通信部(143)を介した設定用端末(4)との通信に応じて設定モードに移行する。また、第2設定部(123)は、前記設定モードにあるときに設定用端末(4)から設定を有効化する指示を受信した場合に、前記第2画像の出力を有効に設定する。
【0222】
この態様によれば、設定用端末(4)と通信することで設定モードとなり、設定用端末(4)からの指示で出力設定を有効化することで、プライバシーの保護を効果的に図ることができる。
【0223】
第14の態様に係る画像センサ(1)では、第13の態様において、第2設定部(123)は、前記設定モードに移行してから所定期間経過後に前記設定モードを解除する。
【0224】
この態様によれば、設定モードは、所定時間が経過すると自動的に解除される。従って、例えば、設定用端末(4)の操作者が出力設定を無効化し忘れても、第2画像の出力は停止され、プライバシーの保護が図られる。
【0225】
第15の態様に係る画像センサ(1)では、第13又は第14の態様において、第3通信部(143)は、設定用端末(4)とは別の端末(5)と通信可能である。
【0226】
この態様によれば、別の端末(5:検知用端末(センサ)や送信用端末(ビーコン送信器)等)が利用する第3通信媒体(103)を設定用端末(4)も利用することで、設定用端末(4)を安価に提供できる。
【0227】
第16の態様に係る画像センサ(1)では、第15の態様において、別の端末(5)は、送信用端末である。前記送信用端末は、所定の情報を第3通信媒体(103)で送信する。第3通信部(143)は、送信用端末(5)から前記所定の情報を受信する。第2設定部(123)は、第3通信部(143)が受信した前記所定の情報に基づき設定を行う。
【0228】
この態様によれば、端末(例えば、設定用端末4)等から無線で第2の出力設定を行える。第2の出力設定は、施工者が携帯する別の端末(ビーコン送信器)が検知用端末の近くに存在するときに限って可能となるので、プライバシーの保護を効果的に図ることができる。
【0229】
第17の態様に係る画像センサ(1)では、第10~第14のいずれかの態様において、前記第2画像は、静止画である。
【0230】
この態様によれば、第3通信媒体が無線(特に、BLE等の低速な無線)の場合でも第2画像を送信できる。第2画像が動画である場合と比べて、プライバシーの保護を図ることができる。
【0231】
第18の態様に係る画像センサ(1)では、第1~第17のいずれかの態様において、前記第2画像は、人の識別を困難化した画像(例えば、人検出枠F1,F2内をマスクした画像、人を含まない背景のみの画像等)である。
【0232】
この態様によれば、プライバシーの保護を図ることができる。
【0233】
なお、第18の態様において、所定の条件(例えば「人推定領域(PA1,PA2)が所定範囲A1内かつ不在領域NA1外に存在すること」等)を満たす人(人推定領域PA1)についてのみ識別を困難化し、満たさない人(人推定領域PA2)については識別を困難化しなくてもよい(図16B参照)。
【0234】
第19の態様に係る画像センサ(1)は、第1~第18のいずれかの態様において、操作部(15)を更に備える。設定部(第1設定部122)は、操作部(15)の操作に基づいて設定を行う。
【0235】
この態様によれば、画像センサ(1)自身に対する操作で出力設定(例えば、第1の出力設定及び第2の出力設定の少なくとも一方)を行える。遠隔で出力設定が行われる場合と比べて、プライバシーの保護を効果的に図ることができる。
【0236】
第20の態様に係る画像センサ(1)は、第1~第19のいずれかの態様において、報知部(16)を更に備える。報知部(16)は、第2出力部(132)による前記第2画像の出力を示す報知を行う。
【0237】
この態様によれば、画像センサ(1)の近傍に存在する人(例えば、画像センサ1が設置されている設置エリア内の人)に、第2画像の出力についての報知を行うことで、プライバシーの保護を効果的に図ることができる。
【0238】
第21の態様に係る機器制御システム(100)は、第1~第20のいずれかの態様の画像センサ(1)と、制御部(2)と、を備える。制御部(2)は、第1出力部(131)が出力した前記判断結果に基づいて機器(3)を制御する。
【0239】
この態様によれば、撮像した画像である第1画像に基づく第2画像について、設定部(第1設定部122)が、第2出力部(132)による第2画像の出力の有無(有効/無効)の設定(出力設定)を行うことで、第2画像の制限的な出力が可能となる結果、撮像した画像を利用しつつ、プライバシーの保護を図ることができる。また、第1出力部(131)の出力を基に、制御部(2)が機器(3)の制御を行える。
【0240】
第22の態様に係る出力方法は、撮像ステップ(S1)と、判断ステップ(S23)と、第1出力ステップ(S31)と、第2出力ステップ(S33)と、設定ステップ(S27)と、を含む。撮像ステップ(S1)では、撮像が行われる。判断ステップ(S23)では、撮像ステップ(S1)で撮像された第1画像(図6A)に基づいて、撮像ステップ(S1)での撮像範囲に含まれる所定範囲(A1)内の人の存否に関する判断が行われる。第1出力ステップ(S31)では、判断ステップ(S23)での判断結果が出力される。第2出力ステップ(S33)では、前記第1画像に基づく第2画像(図6B)が出力される。設定ステップ(S27)では、第2出力ステップ(S33)での前記第2画像の出力の有無が設定される。
【0241】
この態様によれば、撮像された画像である第1画像に基づく第2画像について、設定ステップ(第1設定ステップ:S27)で、第2出力ステップ(S33)での出力の有無(有効/無効)の設定(出力設定)が行われることで、第2画像の制限的な出力が可能となる結果、撮像された画像の利用とプライバシーの保護とを図ることができる。
【0242】
第23の態様に係るプログラムは、第22の態様の出力方法を1つ以上のプロセッサに実行させる。
【0243】
この態様によれば、第22の態様と同様、撮像された画像の利用とプライバシーの保護とを図ることができる。
【符号の説明】
【0244】
100 機器制御システム
1 画像センサ
11 撮像部
12 処理部
121 判断部
122 設定部(第1設定部)
123 第2設定部
13 出力部
131 第1出力部
132 第2出力部
133 第3出力部
14 通信部
141 第1通信部
142 第2通信部
143 第3通信部
15 操作部
16 報知部
2 制御装置
3 機器(被制御端末)
4 設定用端末
5 別の端末
101 第1通信媒体
102 第2通信媒体
103 第3通信媒体
200 サービス提供システム
A1 所定範囲
PA1,PA2 人推定領域
F1,F2 人検出枠
NA1 不在領域
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10