特許 6363658 画像センサ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6363658

(24)【登録日】2018年7月6日

(45)【発行日】2018年7月25日

(54)【発明の名称】画像センサ

(51)【国際特許分類】

   H05B 37/02 20060101AFI20180712BHJP

   F24F 11/62 20180101ALI20180712BHJP

   F24F 11/47 20180101ALI20180712BHJP

【ＦＩ】

   H05B37/02 E

   H05B37/02 H

   H05B37/02 G

   F24F11/62

   F24F11/47

【請求項の数】1

【全頁数】16

(21)【出願番号】特願2016-129190(P2016-129190)

(22)【出願日】2016年6月29日

(62)【分割の表示】特願2014-46581(P2014-46581)の分割

【原出願日】2012年5月11日

(65)【公開番号】特開2016-184590(P2016-184590A)

(43)【公開日】2016年10月20日

【審査請求日】2016年7月27日

(31)【優先権主張番号】特願2011-108483(P2011-108483)

(32)【優先日】2011年5月13日

(33)【優先権主張国】JP

【前置審査】

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100189913

【弁理士】

【氏名又は名称】鵜飼 健

(72)【発明者】

【氏名】榎原 孝明

(72)【発明者】

【氏名】長田 和美

(72)【発明者】

【氏名】野田 周平

(72)【発明者】

【氏名】馬場 賢二

(72)【発明者】

【氏名】西村 信孝

【審査官】 杉浦 貴之

(56)【参考文献】

【文献】 特開２００３−０９２１９４（ＪＰ，Ａ）

【文献】 特開２０１０−２５５９００（ＪＰ，Ａ）

【文献】 特開２０１０−１０２８９４（ＪＰ，Ａ）

【文献】 特開２０１０−１０２９００（ＪＰ，Ａ）

【文献】 特開２００１−２８１０５４（ＪＰ，Ａ）

【文献】 特開平０９−３１２１９８（ＪＰ，Ａ）

【文献】 特開２００９−０９２２８１（ＪＰ，Ａ）

【文献】 特開２００９−２９９９３３（ＪＰ，Ａ）

【文献】 特開２０１１−１８８０８２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０５Ｂ ３７／０２

Ｆ２４Ｆ １１／４７

Ｆ２４Ｆ １１／６２

(57)【特許請求の範囲】

【請求項1】

サーバ装置に接続された画像センサであって、
電気機器の設置される対象エリアを撮影して撮影画像を得る撮影手段と、
この撮影手段で撮影された撮影画像を処理して、前記対象エリアを複数に分割した分割エリアごとの人間の実空間上の位置情報を算出する画像処理手段とを具備し、
前記サーバ装置における前記分割エリアごとの前記人間の実空間上の位置情報に基づいて前記電気機器のタスク・アンビエント制御を前記分割エリアごとに実施する手段に、前記分割エリアごとの人間の実空間上の位置情報を出力することを特徴とする、画像センサ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像センサに関する。

【背景技術】

【0002】

対象とする例えばフロア、居室、部屋、執務室、階段あるいは踊り場などのスペース（以下、対象エリアと総称する）を複数のエリアに分割し、エリアごとの人間の存在／不在に応じて空調や照明などを制御することが、従来から行われている。人間の存在／不在は、例えば人感センサにより検知される。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１０−２５７６１１号公報

【特許文献2】特開２０１０−２６６１６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

既存の技術では、対象エリアにおける人間の存在／不在を検知した上での、その結果に基づくきめ細かな制御がなされていない。近年の省エネルギー（省エネ）意識の高まりに伴い、例えばタスク・アンビエント制御のようにきめ細かな制御が求められている。

【0005】

そこで、目的は、省エネルギーを促進することの可能な画像センサを提供することにある。

【課題を解決するための手段】

【0006】

実施形態によれば、画像センサは、サーバ装置に接続された画像センサであって、電気機器の設置される対象エリアを撮影して撮影画像を得る撮影手段と、この撮影手段で撮影された撮影画像を処理して、前記対象エリアを複数に分割した分割エリアごとの人間の実空間上の位置情報を算出する画像処理手段とを具備し、前記サーバ装置における前記分割エリアごとの前記人間の実空間上の位置情報に基づいて前記電気機器のタスク・アンビエント制御を前記分割エリアごとに実施する手段に、前記分割エリアごとの人間の実空間上の位置情報を出力することを特徴とする。

【図面の簡単な説明】

【0007】

【図1】図１は、実施形態に係るエネルギー管理システムを適用可能な建物に形成される、環境の一例を示す図である。

【図2】図２は、実施形態に係るエネルギー管理システムの一例を示す機能ブロック図である。

【図3】図３は、第１の実施形態に係る画像センサ４の一例を示す機能ブロック図である。

【図4】図４は、エリアデータについて説明するための図である。

【図5】図５は、実施形態における作用の一例を説明するための図である。

【図6】図６は、出力情報の他の例を示す模式図である。

【図7】図７は、第２の実施形態に係る、対象フロア１のフレーム画像とフロアマップとの関係を示す図である。

【図8】図８は、第２の実施形態に係る画像センサ４の一例を示す機能ブロック図である。

【図9】図９は、歩行者用変換テーブル４３ｅ１、および着席者用変換テーブル４３ｅ２の一例を示す模式図である。

【図10】図１０は、第２の実施形態に係る画像処理部４２の処理手順を示すフローチャートである。

【図11】図１１は、第４の実施形態に係る発熱量管理テーブル３４ｇの一例を示す図である。

【図12】図１２は、第４の実施形態に係る画像センサ４の一例を示す機能ブロック図である。

【図13】図１３は、対象フロア１の状態の一例を示す図である。

【図14】図１４は、第５の実施形態において用いられる輝度−照度変換テーブルの一例を示す図である。

【図15】図１５は、フロアマップにエリアごとの人間情報を組み合わせた情報を示す模式図である。

【図16】図１６は、第７の実施形態を説明するための図である。

【発明を実施するための形態】

【0008】

以下、実施形態について、図面を参照して説明する。
（第１の実施形態）
図１は実施形態に係るエネルギー管理システムにおいて実現しようとする実空間（以下、対象フロアと称する）に設定される分割エリアごとの人間の状態とタスク・アンビエント制御との関係を説明する模式図である。

【0009】

この対象フロア１は、例えば６つの分割エリアＥ０１〜Ｅ０６からなる。対象フロア１には、少なくとも人が必要な作業（業務）を行う作業エリアの照明・空調を司るタスク照明・空調２ａ，２ｂと、人の歩行通路、最低限の明るさや空調を必要とする非作業エリアの照明・空調を司るアンビエント照明３ａ及びアンビエント空調３ｂとが設けられている。タスク照明２ａ、タスク空調２ｂ、アンビエント照明３ａ、およびアンビエント空調３ｂは、実施形態における電気機器の一例である。

【0010】

なお、タスク照明２ａについては、分割エリアＥ０１〜Ｅ０６ごと、あるいは各分割エリアに配置される机ごとに照明設備が設置される。また、タスク空調２ｂについては、分割エリアＥ０１〜Ｅ０６ごとに各エリア天井または各エリア床部に空気吹出口を含む空調設備が設置される。

【0011】

さらに、対象フロア１の例えば天井、あるいはフロア内の所要とする個所に対象フロア１全部または複数の分割エリア内の映像を撮影する１台または複数台の画像センサ４が設置されている。以下、説明の便宜上、画像センサ４が１台の例について説明する。

【0012】

実施形態に係るエネルギー管理システムは、対象フロア１が例えば６つのエリアＥ０１〜Ｅ０６に分割されている場合に、画像センサ４で撮影された画像から各分割エリアＥ０１〜Ｅ０６の人の状態を検知したとき、各分割エリアの人数や人の状態等に基づいて、タスク・アンビエントによる照明・空調を制御するものである。

【0013】

人の状態とは、例えばエリアＥ０１＝歩行者２人、エリアＥ０２＝起立者２人、着席者１人、エリアＥ０３＝０人、エリアＥ０４＝歩行者１人、エリアＥ０５＝０人、エリアＥ０６＝０人といった情報である。このような情報を人間情報と総称する。

【0014】

例えば分割エリアＥ０１及びＥ０２には何れも人が居るので、アンビエントの照明・空調３ａ，３ｂをＯＮとする。さらに、分割エリアＥ０２では人が机に向かって作業をしているので、当該エリアＥ０２のタスク照明・空調２ａ，２ｂをＯＮとする。

【0015】

一方、分割エリアＥ０３及びエリアＥ０４には、エリアＥ０４で人が１人歩行しているだけであるので、アンビエント照明・空調３ａ，３ｂをＯＮとし、省エネ制御を実現する。分割エリアＥ０５及び分割エリアＥ０６には、何れも人が居ないので、アンビエント照明・空調３ａ，３ｂをＯＦＦとする制御を行い、さらなる省エネ制御を実現する。

【0016】

さらに、各分割エリアＥ０１〜Ｅ０６内の照度を取得できれば、当該照度情報を考慮し、各分割エリア照明としては外光を考慮しつつ例えば調光制御を実施すれば、省エネ制御となる。

【0017】

また、空調においても、日射を考慮しつつ空調制御を行うこともできる。

【0018】

図２は実施形態に係るエネルギー管理システムを示す概略構成図である。

【0019】

エネルギー管理システムは、対象フロア１内に設置される画像センサ４と、画像管理システム５と、エネルギー管理サーバ６とを含む。画像センサ４は、画像管理システム５及びエネルギー管理サーバ６とはＬＡＮ、ＷＡＮ等あるいは無線ＬＡＮ等の通信ネットワーク７で接続されている。

【0020】

画像センサ４は、広い視野範囲にわたって対象フロア１内を撮影し、この撮影された複数のフレーム画像から対象フロア１内の予め定める分割エリアごとの人間の状態（人間情報）及び照度情報を得る機能を有する。具体的には後記する。なお照度情報を含む、対象フロア１の環境に係わる情報（外光の光量など）を環境情報と総称する。

【0021】

画像管理システム５は、画像管理サーバ５１及び画像に関連するデータを蓄積する画像関連データ蓄積用データベース５２とを備える。画像管理サーバ５１は、画像センサ４から送信されてくる情報のうち必要な情報、例えば対象フロア１内のセキュリティに関係する情報やユーザの要求に応じた情報を取り込み、時刻データとともに画像関連データ蓄積用データベース５２に蓄積する機能を有する。

【0022】

また、画像管理サーバ５１は、図示されていないが、キーボード・マウスなどの入力部（図示せず）から情報要求指示に基づき、画像センサ４から必要な時間帯における画像情報及び各分割エリアの人間情報等の処理データを収集し、表示する機能を備えている。

【0023】

画像関連データ蓄積用データベース５２には、例えばほぼ同じ時刻データのもとに複数の画像センサ４で取得される画像情報や当該画像情報に関連する人間情報及び照度情報が蓄積される。これは、画像管理サーバ５１が複数の画像センサ４で取得される画像及び画像関連情報の統合処理を実施したり、セキュリティの確保やユーザの要求に基づき、蓄積された情報を視覚認識可能に編集処理するために必要な情報を蓄積する。

【0024】

エネルギー管理サーバ６は、ビル管理部６１と、照明コントローラ６２と、空調コントローラ６３とを含む。ビル管理部６１は、画像センサ４から送信された情報に基づき、所定の制御ルール（例えばＩＦ ＴＨＥＮ ルール）又はユーザの要望を取り入れたビル管理用プログラムに従って照明・空調に関する各分割エリアごとのタスク・アンビエント制御を決定する。

【0025】

照明コントローラ６２は、ビル管理部６１から送信された各分割エリアごとの照明に関するタスク・アンビエント制御指示に従って、タスク・アンビエント照明２ａ，３ａを制御する。

【0026】

空調コントローラ６３は、ビル管理部６１から送信された各分割エリアごとの空調に関するタスク・アンビエント制御指示に従って、タスク・アンビエント空調２ｂ，３ｂを制御する。

【0027】

さらに、エネルギー管理サーバ６には監視用表示部６４及び必要な制御指示を入力するキーボード・マウスなどの入力部６５が設けられている。

【0028】

画像センサ４は、撮影部４１と、画像処理部４２と、記憶装置４３と、所定の出力情報を送信する通信部４４とを含む。

【0029】

撮影部４１は、図３に示すように広い視野範囲にわたって対象フロア１内を撮影する。画像処理部４２は、所定のフレームレートのもとに撮影される複数のフレーム画像から所望の情報を取り出す画像処理を行う。画像処理はCentral Processing Unit（ＣＰＵ）などにより実施される。

【0030】

記憶装置４３は、撮影されたフレーム画像データその他のデータを記憶する。通信部４４は、所定の出力情報を送信する。

【0031】

なお、記憶装置４３は、フレーム画像記憶部４３ａと、分割エリアデータ記憶部４３ｂと、設定データ記憶部４３ｃと、処理データ記憶部４３ｄとを備える。

【0032】

分割エリアデータ記憶部４３ｂは、対象フロア１内に設置されるタスク照明・空調２ａ，２ｂ及びアンビエント照明・空調３ａ，３ｂと作業（業務）エリアとの関係から決定される、分割エリアデータを記憶する。分割エリアデータは例えば図４に示されるデータである。

【0033】

設定データ記憶部４３ｃは、例えば照度変換式等の設定データを記憶する。処理データ記憶部４３ｄは、画像処理に関する必要なデータを記憶する。

【0034】

撮影部４１は、対象フロア１内の二次元の画像データを得る。撮影部４１としては、例えば１８０度程度の画角を有する広角レンズを備える、例えば可視カメラ（例えばＣＣＤカメラ）や赤外カメラが用いられる。なお、カメラとして、赤外カメラを用いて熱画像を取得するようにすれば、さらに熱分布が取得できる。

【0035】

画像処理部４２は、画像情報取得部４２１、動き分布抽出部４２２、第１反映部４２３、人間情報取得部４２４、輝度分布抽出部４２５、第２反映部４２６、照度情報取得部４２７及び出力部４２８を備える。

【0036】

画像情報取得部４２１は、撮影部４１で撮影された時系列的なフレーム画像を前処理（例えばフィルタ処理、アナログ画像データの場合にはデジタル画像データ変換処理等）することにより、所望のフレーム画像である画像情報を取得し、フレーム画像記憶部４３ａに記憶する。

【0037】

動き分布抽出部４２２は、フレーム画像記憶部４３ａに記憶された時間的に連続した２枚のフレーム画像から映像の動きを伴う累積差分画像情報を抽出する。すなわち、動き分布抽出部４２２は、時系列的な２枚の画像情報から、複数のフレーム間で差分画像情報を取得する。動き分布抽出部４２２は、この取得された差分画像情報を予め定めたしきい値を超えるか否かにより２値化処理を行う。動き分布抽出部４２２は、この２値化処理が行われた差分２値化画像情報を複数毎累積し、人間の累積差分画像情報を抽出する。

【0038】

第１反映部４２３は、少なくとも撮影部４１で撮影された時系列の画像情報から得られる累積差分画像情報から各人間の状態（例えば停止中、着席状態、歩行中）を判断する。第１反映部４２３は、例えば累積差分画像情報の中に現れる分割エリアＥ０１のｘ＝０，ｙ＝０に相当する基点となる位置、撮影倍率及び累積差分画像情報のｘ・ｙ方向の画素数から、例えば停止中、着席状態、歩行中の状態にある人間の位置座標を求める。その後、第１反映部４２３は、図４に示す分割エリアデータを参照し、該当分割エリアＥ０１〜Ｅ０９に反映させる。

【0039】

人間情報取得部４２４は、各分割エリアＥ０１〜Ｅ０９に反映させた人間の状態（例えば停止中、着席状態、歩行中）に基づき、分割エリアＥ０１〜Ｅ０９ごとに人間の状態を処理データとして処理データ記憶部４３ｄに記憶する機能を有する。

【0040】

輝度分布抽出部４２５は、画像情報取得部４２１で取得されたフレーム画像に現れる明度に関する情報から輝度分布を抽出する機能を有する。

【0041】

第２反映部４２６は、フレーム画像に現れる輝度分布情報に関し、既に決定されている図４に示す分割エリアデータを参照し、分割エリアＥ０１〜Ｅ０９に反映させる。

【0042】

照度情報取得部４２７は、輝度分布情報について、設定データ記憶部４３ｃに設定される照度変換式データに従って照度に変換し、分割エリアＥ０１〜Ｅ０９ごとの照度を処理データ記憶部４３ｄに記憶する。

【0043】

出力部４２８は、各分割エリアＥ０１〜Ｅ０９ごとの人間情報と照度情報とを組合せて出力情報として出力する。

【0044】

通信部４４は、出力部４２８から出力される分割エリアごとの情報、あるいは画像管理システム５等からの要求指示に基づき、時系列的なフレーム画像や処理データ記憶部４３ｄの処理データを読み出し、通信プロトコルに従って通信ネットワーク７へ送信する。

【0045】

次に、以上のようなエネルギー管理システムについて、図５を参照して説明する。

【0046】

先ず、対象フロア１の所要個所に設置された画像センサ４の撮影部４１は、所定の時間ごと（フレームレート）に従って対象フロア１内１を撮影し、時系列的なフレーム画像を取り出し、画像処理部４２の画像情報取得部４２１に送出する。

【0047】

ここで、画像情報取得部４２１は、一般的なノイズ成分等を除去するフィルタリング処理などの前処理を実施し、画像情報（フレーム画像）（１）を取得する。この画像情報は前述したようにフレーム画像記憶部４３ａに記憶される。

【0048】

しかる後、画像処理部４２は動き分布抽出部４２２を実行する。動き分布抽出部４２２は、連続する２枚のフレーム画像情報から差分画像情報を取得し、この取得された差分画像情報を予め定めたしきい値を超えるか否かにより２値化処理を行なう。動き分布抽出部４２２は、この２値化処理が行われた差分２値化画像情報を複数毎累積し、映像の動きを伴う累積差分画像情報（２）を抽出する。

【0049】

すなわち、動き分布抽出部４２２により、人間が動かずに起立した状態の場合には例えば頭部に相当する小円形部を有する累積差分画像情報（２）が抽出される。人間が机に座っている状態の場合には人間の頭部に肩及び腕を含む、累積差分のない小楕円形状部を有する累積差分画像情報（２）が抽出される。人間が走行状態にある場合には残像を伴う累積差分をもつ大きな面積の大楕円形状部を有する累積差分画像情報（２）が抽出される。累積差分画像情報（２）は第１反映部４２３に送出される。

【0050】

第１反映部４２３は、累積差分画像情報（２）から得られる各人間の位置座標と分割エリアデータ記憶部４３ｂに記憶される分割エリアＥ０１〜Ｅ０９とに基づき、行動パターンに応じた各人間を対応する分割エリアに反映させた人間エリア反映情報（３）を取得し、人間情報取得部４２４に送出する。

【0051】

人間情報取得部４２４は、各分割エリアＥ０１〜Ｅ０９に反映させた（２）に示す人間パターンの画像から分割エリアＥ０１〜Ｅ０９ごとに人間の状態、例えば分割エリアＥ０２には歩行者１人、分割エリアＥ０５には机への着席者１人、分割エリアＥ０８には起立者１人、その他の分割エリアでは人間が存在していないとする人間情報（４）を取得し、処理データ記憶部４３ｄに保存するとともに、出力部４２８に送出する。

【0052】

一方、輝度分布抽出部４２５は、画像情報取得部４２１で取得されたフレーム画像に現れる明度に関する情報から輝度分布情報（５）を抽出する。輝度分布抽出部４２５は、その抽出された輝度分布情報（５）を第２反映部４２６にて分割エリアＥ０１〜Ｅ０９に反映させることにより、輝度エリア反映情報（６）を生成する。

【0053】

そして、以上のようにして反映された輝度エリア反映情報（６）に基づき、照度情報取得部４２７は、設定データ記憶部４３ｃに記憶される一般的な輝度−照度変換式（換算式）を用いて、分割エリアＥ０１〜Ｅ０９ごとの照度情報（７）に変換し、処理データ記憶部４３ｄに保存するとともに、出力部４２８に送出する。

【0054】

出力部４２８は、所定の分割エリア順序に従って出力情報を作成し、通信部４４を介して通信ネットワーク７に送信する。出力情報は、例えば分割エリアＥ０１−０人・照度９００ｌｕｘ、分割エリアＥ０２−歩行者１人・照度９００ｌｕｘ、分割エリアＥ０３−０人・照度９００ｌｕｘ、分割エリアＥ０４−０人、照度５００ｌｕｘ、分割エリアＥ０５−着席者１人、照度５００ｌｕｘ、…といった情報である。

【0055】

出力部４２８は、人間情報取得部４２４及び照度情報取得部４２７で取得された各分割エリアの人間情報及び照度に基づき、あるいは処理データ記憶部４３ｄに一旦保存された各分割エリアの人間情報及び照度を読み出して、出力情報を作成する。

【0056】

なお、このとき、例えば先頭に撮影部４１から取り込んだ連続フレーム画像の時刻データ又は連続した後続フレーム画像の時刻データを付加させて送信してもよい。

【0057】

また、図６に示すように、前述する出力情報とは別に、あるいは出力情報とともに第２反映部４２６で反映させた輝度エリア反映情報（６）の画像に人間の状態及び人数を含む人間情報を重畳し、画像として出力することもできる。

【0058】

通信部４４から通信ネットワーク７上に送信された出力情報は、エネルギー管理サーバ６に送られる。

【0059】

エネルギー管理サーバ６は、ビル管理部６１が出力情報を受け取ると、例えば制御ルールとなるＩＦ ＴＨＥＮ ルールに従い、分割エリアＥ０５において人が着席して作業を進めていると判断する。そうするとエネルギー管理サーバ６は、該当分割エリアＥ０５に対応するタスク空調２ｂをＯＮする制御指令を空調コントローラ６３に送出し、タスク空調２ｂをＯＮ制御する。

【0060】

また、該当分割エリアＥ０５の照度が５００ｌｕｘで暗いと判断した場合にはタスク照明２ａの照度を高めるか、周辺エリアＥ０８のタスク照明２ａをＯＮする制御指示を照明コントローラ６２に送出し、タスク照明２ａをＯＮ制御する。

【0061】

さらに、例えば分割エリアＥ０２では１人だけ歩行しているので、アンビエント照明・空調３ａ，３ｂをＯＮする制御指令を照明コントローラ６２、空調コントローラ６３に送出し、アンビエント照明・空調３ａ，３ｂを制御する。

【0062】

すなわち、各分割エリアＥ０１〜Ｅ０９における人間の行動や照度の条件をルール化し、タスク照明・空調２ａ，２ｂ及びアンビエント照明・空調３ａ，３ｂを制御し、省エネ化を実現する。

【0063】

従って、以上のような実施形態によれば、対象フロア１を予め細かく分割し、画像センサ４から得られる人間の状態（歩行中、着席中、起立中等）を判断し、細かく分割された分割エリアごとに人間の状態を反映し、出力情報としてエネルギー管理サーバ６に送信するようにしている。よって、エネルギー管理サーバ６は、各分割エリアの人間の状態や例えば照度情報を考慮しつつ、所定のルールに従って細かくタスク照明・空調２ａ，２ｂ及びアンビエント照明・空調３ａ，３ｂを制御することができる。

【0064】

（第２の実施形態）
図７は実施形態に係るエネルギー管理システムを構成する画像センサ４の他の例を説明する図である。

【0065】

前述したように対象フロア１は、タスク照明・空調２ａ，２ｂ及びアンビエント照明・空調３ａ，３ｂと作業（業務）エリアとの関係から、９つのエリアＥ０１〜Ｅ０９に分割されているとする。図７（ａ）に示す、撮影部４１で撮影されたフレーム画像の９つの分割エリアＥ０１〜Ｅ０９と、図７（ｂ）に示すフロアマップとは対応付けられる。

【0066】

よって、フレーム画像とフロアマップとの変換テーブルを備えておけば、フレーム画像上に表れる人間の位置座標から実空間のフロアマップ上の位置に変換することが可能である。

【0067】

そこで第２の実施形態では、フレーム画像上の人間の位置座標を実空間のフロアマップ上の正確な位置に変換するために人間の状態に応じたマップ変換テーブルを用いる。例えば、図８に示すように記憶装置４３に歩行者用変換テーブル４３ｅ１と着席者用変換テーブル４３ｅ２を用意する。

【0068】

前記動き分布抽出部４２２及び第１反映部４２３で反映されたエリア反映情報（３）に基づき、マップ位置取得部４２９または人間情報取得部４２４は、人間が歩行者であれば歩行者用変換テーブル４３ｅ１を選択する。またマップ位置取得部４２９または人間情報取得部４２４は、人間が着席者であれば着席者用変換テーブル４３ｅ２を選択する。そしてマップ位置取得部４２９または人間情報取得部４２４は、各人間のフロアマップ上の位置を決定する。

【0069】

歩行者用変換テーブル４３ｅ１は、模式的には図９（ａ）に示すように歩行者の通る通路１１だけの位置座標データを規定する変換テーブルである。画像上の歩行者の位置座標と通路１１の位置座標とから、歩行者の位置座標がフロアマップ上のどの通路１１の位置に存在するかを容易に特定できる。

【0070】

一方、着席者用変換テーブル４３ｅ２は、模式的には図９（ｂ）に示すように着席者が着席する例えば机（デスク）のかたまりごとの位置座標データを規定した変換テーブルである。画像上の着席者の位置座標と予め規定される複数の机１２のかたまりの位置座標データとから、着席者の位置座標がフロアマップ上の何れの机１２の位置に存在するかを容易に特定できる。

【0071】

次に、画像処理部４２のマップ位置取得部４２９または人間情報取得部４２４にて、人間のマップ上の位置を特定する処理例について図１０を参照して説明する。

【0072】

先ず、動き分布抽出部４２２で得られた映像の動きを伴う累積差分画像情報（２）または第１反映部４２３で反映された人間エリア反映情報（３）から、マップ位置取得部４２９または人間情報取得部４２４は、何れかの分割エリアＥ０１〜Ｅ０９に人間が存在するか否かを判断する（Ｓ１）。ここで、人間が存在すると判断したとき、マップ位置取得部４２９または人間情報取得部４２４は、その人間が歩行者か否かを判断する（Ｓ２）。

【0073】

歩行者であれば、マップ位置取得部４２９または人間情報取得部４２４は、記憶装置４３から歩行者用変換テーブル４３ｅ１を選択した後（Ｓ３）、第１反映部４２３にて既に特定されている歩行者の位置座標と歩行者用変換テーブル４３ｅ１に規定される通路１１の位置座標とを比較する。そしてマップ位置取得部４２９または人間情報取得部４２４は、その歩行者の位置座標と通路１１の位置座標との差分に相当するｘ，ｙ方向の画素数、つまり｛歩行者の位置座標±（ｘ，ｙ方向の画素数×１画素単位の長さ）｝からマップ上の通路位置を決定し（Ｓ４）、処理データ記憶部４３ｄに記憶する（Ｓ５）。

【0074】

一方、ステップＳ２から歩行者でないと判断されたとき、マップ位置取得部４２９または人間情報取得部４２４は、着席者（起立者を含む）か否かを判断する（Ｓ６）。ここで、着席者（起立者を含む）であると判断したとき、マップ位置取得部４２９または人間情報取得部４２４は、記憶装置４３から着席者用変換テーブル４３ｅ２を選択する（Ｓ７）。

【0075】

そしてマップ位置取得部４２９または人間情報取得部４２４は、第１反映部４２３にて既に特定されている着席者の位置座標と、着席者用変換テーブル４３ｅ２に規定される机１２の位置座標とを比較する。そして、マップ位置取得部４２９または人間情報取得部４２４は、その着席者の位置座標と通路１２の位置座標との差分に相当するｘ，ｙ方向の画素数からマップ上の机１２の位置を決定し（Ｓ８）、処理データ記憶部４３ｄに記憶する（Ｓ５）。

【0076】

引き続き、マップ位置取得部４２９または人間情報取得部４２４は、画像上の同一または他の分割エリアに別の人間が居るか否かを判断する（Ｓ９）。そして、マップ位置取得部４２９または人間情報取得部４２４は、別の人間が居る場合にはステップＳ２に戻って一連の処理を繰り返し実行し、別の人間が存在しない場合には処理継続か否かを判断し(Ｓ１０)、処理継続の場合にはステップＳ１に戻る。

【0077】

従って、以上のような実施の形態によれば、画面上の人間に対する実空間のマップ位置を特定し、例えば前述する分割エリアＥ０１〜Ｅ０９ごとの人間情報及び照度情報に併せて当該人間の実空間上の位置情報を送信するようにしている。よって、例えばエネルギー管理サーバ６は、予め備えるフロアマップ上に配置されるタスク空調２ｂ及びアンビエント空調３ｂのうち、例えば何れの吹出し口を含む何れの空調２ｂ，３ｂが存在する人間に最も近い位置に存在するかを特定できる。その結果に基づいて空調制御を実施すれば、効率的に空調制御を行うことができる。

【0078】

（第３の実施形態）
この実施の形態は、単位粒度の異なる複数の変換テーブルを用意し、第２の実施形態と同様にマップ位置取得部４２９を用いて、人間の状態に従って変換テーブルを選択し、実空間の位置を決定する。

【0079】

具体的には、撮影部４１は対象フロア１を撮影したとき、画像中の歩行者は累積差分が大きく映っており、大きな領域で位置を識別することになり、一方、画像中の着席者は累積差分が小さく映っており、小さい領域で位置を識別することが可能となる。

【0080】

そこで、マップ変換テーブルの単位粒度を人間の状態によって異なる単位粒度とする。例えば、歩行者用変換テーブル４３ｅ１´（図９の４３ｅ１に相当）の単位粒度よりも着席者用変換テーブル４３ｅ２´（図９の４３ｅ２に相当）の単位粒度を小さくする。

【0081】

通路者用マップ変換テーブル４３ｅ１´は、模式的には歩行者の通る通路１１に対応した位置座標データを規定する。画像上の歩行者の位置座標と各通路１１の位置座標データとから、歩行者の位置座標からの差分に相当する画素数を考慮すれば、マップテーブルマップ上の通路１１の位置を特定することができる。

【0082】

デスク用マップ変換テーブル４３ｅ２´は、着席者の位置座標と複数の机のかたまりの位置座標とから、着席者がマップ上の何れの机に着席しているかを特定できる。

【0083】

そして、マップ位置取得部４２９は、第２の実施形態と同様に画像情報から人間の状態が歩行者であれば、通路者用マップ変換テーブル４３ｅ１´を選択する。着席中であれば、マップ位置取得部４２９は、デスク用マップ変換テーブル４３ｅ２´を選択する。そして、マップ位置取得部４２９は、画像上の歩行者又は着席者の位置座標と変換テーブル４３ｅ１´または４３ｅ２´に記載される位置座標データとから、人間のフロアマップ上の位置を特定する。

【0084】

エネルギー管理サーバ６のビル管理部６１においても、フロアマップ上に配置されるタスク空調２ｂ及びアンビエント空調３ｂのうち、例えば何れの吹出し口を含む何れの空調２ｂ，３ｂが画面上に存在する人間に最も近い位置に存在するかを特定することができる。その結果に基づいて空調制御を実施すれば、効率的に空調制御を行うことができる。着席者の位置を歩行者の位置よりも正確に特定することが可能となり、タスク・アンビエント制御においても効率的な制御とすることができる。

【0085】

（第４の実施形態）
この実施形態では、図１１に示すような、人間の状態（歩行中、着席中、起立中）を含む発熱対象の属性（通路、机、ＰＣ、ディスプレイ、プリンタＰＲ）等を考慮した発熱量管理テーブル３４ｇを記憶装置４３に予め記憶させる。また、第１反映部４２３の出力側に発熱量演算部４３０を設ける。

【0086】

図１２は、第４の実施形態に係る画像センサ４の一例を示す機能ブロック図である。図１２において、発熱量演算部４３０は、動き分布抽出部４２２から得られた映像の動きを伴う累積差分画像情報（２）、または第１反映部４２３で反映された人間エリア反映情報（３）、から得られる分割エリアＥ０１〜Ｅ０９ごとの人間の状態、及び発熱対象となる属性から、トータルの発熱量を計算する。この発熱量は、処理データ記憶部４３ｄに記憶される。そして、出力部４２８から分割エリアＥ０１〜Ｅ０９ごとに人間情報を送る際に、トータルの発熱量も送信する。

【0087】

因みに、図１３に示す各分割エリアＥ０１〜Ｅ０９では、発熱量演算部４３０において、次のようなトータル発熱量を演算によって取得する。すなわち、発熱量演算部４３０は、分割エリアＥ０１では、ＰＣ２台設置されているが当該エリア内に人間がおらず２台のＰＣがＯＦＦ状態にあるので、稼動待機時のＰＣ１台分発熱量×２のトータル発熱量を求める。発熱量演算部４３０は、分割エリアＥ０５では、人間２人＋ＰＣ１台であるので、｛（人間１人分発熱量×２）＋稼動ＰＣ１台分の発熱量｝からなるトータル発熱量を求める。また、発熱量演算部４３０は、人間が頻繁に歩行する通路を有する分割エリアでは、歩行中による人間の発熱量×平均歩行人数＝トータル発熱量として演算する。発熱量演算部４３０は、トータル発熱量を処理データ記憶部４３ｄに記憶する。

【0088】

出力部４２８は、人間情報取得部４２４で取得された人間情報とともに、あるいは当該人間情報とは別に各分割エリアＥ０１〜Ｅ０９のトータル発熱量をエネルギー管理サーバ６に送信する。エネルギー管理サーバ６のビル管理部６１は、各分割エリアＥ０１〜Ｅ０９のトータル発熱量を考慮しつつ、タスク空調２ｂ及びアンビエント空調３ｂの温度制御を補正でき、快適、かつ効率的な空調制御を実施できる。

【0089】

（第５の実施形態）
図１４は第５の実施形態を説明する輝度−照度変換テーブルを示す図である。

【0090】

第１の実施形態では、各分割エリアＥ０１〜Ｅ０９で得られた輝度を設定データ記憶部４３ｃに記憶される照度変換式に従って照度に変換した。この実施形態では、例えば、画像情報取得部４２１で得られた画像の輝度（明るさ）が、机やＯＡ機器の配置状況を踏まえた各分割エリアＥ０１〜Ｅ０９でどの程度の照度の値を持っているかを調査する。そして、各分割エリアＥ０１〜Ｅ０９ごとに最適な照度となるような対応付け変換テーブル４３ｈを記憶装置４３に記憶させるようにする。

【0091】

照度情報取得部４２７は、第２反映部４２６で取得される各分割エリアＥ０１〜Ｅ０９の画像から得られる平均輝度を、図１４（ａ）と図１４（ｂ）に示されるような変換率に従って、各分割エリアＥ０１〜Ｅ０９の照度に変換する。照度情報取得部４２７は、各分割エリアＥ０１〜Ｅ０９ごとの快適な照度分布を計算する。この照度分布は、エリア照度の指標データとして利用することができる。

【0092】

（第６の実施形態）
この実施形態では、例えば画像センサ４で撮影された原画像または動き分布抽出部４２２にて作成されたフレーム間差分ベースの画像を、処理データ記憶部４３ｄに記憶させる。または、予め設定データ記憶部４３ｃまたは処理データ記憶部４３ｄに対象フロア１の鳥瞰図（フロアマップ）４３ｉを記憶させる。

【0093】

処理データ記憶部４３ｄ等に記憶される画像センサ４で撮影された原画像、フレーム間差分ベースの画像、または、図１５に示す鳥瞰図４３ｉは、センシング情報として遠隔地のエネルギー管理サーバ６に送信される。原画像、フレーム間差分ベースの画像、および、鳥瞰図４３ｉの少なくともいずれか１つに、人間情報取得部４２４で得られた人間情報４３ｊを重畳してもよい。

【0094】

以上のような構成とすることにより、例えばエネルギー管理サーバ６の表示６４に表示することにより、対象フロア１の人間の状況を即座に把握することができる。

【0095】

（第７の実施形態）
図１６は第７の実施形態を説明する図である。すなわち、この実施形態は、複数の画像センサ４−１、４−２を設置した場合、複数の画像センサ４−１、４−２の重複検知エリア１３が存在するように設置する場合が多い。

【0096】

その結果、複数の画像センサ４−１、４−２から例えば異なる人間情報が出力されるとき、所定のルールに基づいて当該出力情報を処理しなければならない。

【0097】

出力情報の処理ルールとしては、例えば複数の画像センサ４−１、４−２のうち最も最新の時刻に撮影された画像から取得される出力情報を採用するようにしてもよい。あるいは、人間の事象発生位置（例えば人間の着席位置）から距離が近い側の画像センサ例えば４−１に関係する出力情報を優先するようにしてもよい。あるいは、出力情報の中に照度の値が含まれる場合、その照度の最大値、最小値、および、平均値のいずれかが既定の基準を満たす出力情報を優先するようにしてもよい。

【0098】

以上のような実施形態によれば、複数の画像センサ４−１、４−２の撮影範囲が重複する場合であって、当該重複範囲に基づく出力情報が異なる場合に、所定のルールに従って最適な情報が優先して採用される。この最適な情報をタスク・アンビエント制御に利用することで、より安全な制御を実現することができる。

【0099】

（その他の実施形態）
前述した実施形態では、人間の状態として歩行中、着席中、起立中かを判断した。これに代えて、着衣の色柄から性別を検出したり、あるいは各分割エリアの温度計の測定温度を用いたりしても良い。また、これらの情報を、各分割エリアごと出力情報として出力してもよい。

【0100】

また、上記各実施形態は、一例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0101】

１…対象フロア、２ａ…タスク照明、２ｂ…タスク空調、３ａ…アンビエント照明、３ｂ…アンビエント空調、４、４−１、４−２…画像センサ、６…エネルギー管理サーバ、７…通信ネットワーク、４１…撮影部、４２…画像処理部、４３…記憶装置、４３ａ…フレーム画像記憶部、４３ｂ…分割エリアデータ記憶部、４３ｃ…設定データ記憶部、４３ｄ…処理データ記憶部、４３ｅ１…歩行者用変換テーブル、４３ｅ２…着席者用変換テーブル、４４…通信部、５１…画像管理サーバ、５２…データベース、６１…ビル管理部、６２…照明コントローラ、６３…空調コントローラ、６４…表示部、４２１…画像情報取得部、４２２…動き分布抽出部、４２３…第１反映部、４２４…人間情報取得部、４２５…輝度分布抽出部、４２６…第２反映部、４２７…照度情報取得部、４２８…出力部、４２９…マップ位置取得部、４３０…発熱量演算部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】