特開 2023-23492 画像センサシステム、計算装置、センシング方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023023492

(43)【公開日】2023-02-16

(54)【発明の名称】画像センサシステム、計算装置、センシング方法、およびプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20230209BHJP

【ＦＩ】

G06T7/20 300Z

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021129073

(22)【出願日】2021-08-05

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＤＡＬＩ

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】榎原 孝明

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096CA04

5L096CA05

5L096DA01

5L096FA59

5L096GA08

5L096GA19

5L096HA02

5L096HA11

5L096JA09

5L096KA04

(57)【要約】      （修正有）

【課題】空間の使用率を算出できる画像センサシステムを提供する。
【解決手段】対象空間に設置される複数の画像センサと、計算装置とを具備する画像センサシステムであって、画像センサは、割り当てエリアの画像データを取得する撮像部と、画像データを画像処理してエリアにおける動体の分布を示す空間使用データを生成するプロセッサと、を備える。計算装置は、取得部、記憶部、統合処理部及び空間使用率算出部を備える。取得部は、画像センサから空間使用データを取得する。記憶部は、対象空間とエリアとの対応関係を示すマップデータを記憶する。統合処理部は、取得された空間使用データをマップデータに基づいて統合して、対象空間における空間使用データを生成する。空間使用率算出部は、対象空間における空間使用データに基づいて、動体が対象空間を使用している度合いを場所ごとに示す指標である空間使用率を算出する。
【選択図】図５

【特許請求の範囲】

【請求項1】

対象空間に設置される複数の画像センサと、
前記画像センサと通信可能な計算装置とを具備し、
前記画像センサは、
それぞれ割り当てられたエリアの画像データを取得する撮像部と、
前記画像データを画像処理して当該エリアにおける動体の分布を示す空間使用データを生成するプロセッサとを備え、
前記計算装置は、
前記複数の画像センサから前記空間使用データを取得する取得部と、
前記対象空間と前記エリアとの対応関係を示すマップデータを記憶する記憶部と、
前記取得された空間使用データを前記マップデータに基づいて統合して、前記対象空間における空間使用データを生成する統合処理部と、
前記対象空間における空間使用データに基づいて、動体が前記対象空間を使用している度合いを場所ごとに示す指標である空間使用率を算出する空間使用率算出部とを備える、画像センサシステム。

【請求項2】

前記計算装置は、
前記算出された空間使用率を蓄積する記憶部と、
前記蓄積された空間使用率に基づいて将来の空間使用率を予測する予測部をさらに備える、請求項１に記載の画像センサシステム。

【請求項3】

前記計算装置は、
前記算出された空間使用率を蓄積する記憶部と、
前記蓄積された空間使用率に基づいて前記空間使用率に関する傾向を分析する分析部をさらに備える、請求項１に記載の画像センサシステム。

【請求項4】

前記計算装置は、
前記算出された空間使用率を可視化する可視化部をさらに備える、請求項１に記載の画像センサシステム。

【請求項5】

前記計算装置は、
前記算出された空間使用率を蓄積する記憶部と、
前記蓄積された空間使用率に基づいて将来の空間使用率を予測する予測部と、
前記将来の空間使用率を可視化する可視化部とをさらに備える、請求項１に記載の画像センサシステム。

【請求項6】

前記計算装置は、
前記算出された空間使用率を蓄積する記憶部と、
前記蓄積された空間使用率に基づいて前記空間使用率に関する傾向を分析する分析部と、
前記空間使用率に関する傾向を可視化する可視化部とをさらに備える、請求項１に記載の画像センサシステム。

【請求項7】

前記プロセッサは、前記エリアにおけるセンシング項目として在不在、人数、活動量、照度、および歩行滞留のうち少なくともいずれかをセンシングする、請求項１に記載の画像センサシステム。

【請求項8】

割り当てエリアにおける空間使用データをそれぞれ生成する複数の画像センサと通信可能な計算装置であって、
前記複数の画像センサから前記空間使用データを取得する取得部と、
対象空間と前記画像センサごとに割り当てられたエリアとの対応関係を示すマップデータを記憶する記憶部と、
前記取得された空間使用データを前記マップデータに基づいて統合して、前記対象空間における空間使用データを生成する統合処理部と、
前記対象空間における空間使用データに基づいて、動体が前記対象空間を使用している度合いを場所ごとに示す指標である空間使用率を算出する空間使用率算出部とを備える、画像センサシステム。

【請求項9】

コンピュータにより実行されるセンシング方法であって、
前記コンピュータが、割り当てエリアにおける空間使用データをそれぞれ生成する複数の画像センサから前記空間使用データを取得することと、
前記コンピュータが、対象空間と前記画像センサごとの割り当てエリアとの対応関係を示すマップデータに基づいて、前記取得された空間使用データを統合して、前記対象空間における空間使用データを生成することと、
前記コンピュータが、前記対象空間における空間使用データに基づいて、動体が前記対象空間を使用している度合いを場所ごとに示す指標である空間使用率を算出することとを具備する、センシング方法。

【請求項10】

割り当てエリアにおける空間使用データをそれぞれ生成する複数の画像センサと通信可能なコンピュータに、
割り当てエリアにおける空間使用データをそれぞれ生成する複数の画像センサから前記空間使用データを取得することと、
対象空間と前記画像センサごとの割り当てエリアとの対応関係を示すマップデータに基づいて、前記取得された空間使用データを統合して、前記対象空間における空間使用データを生成することと、
前記対象空間における空間使用データに基づいて、動体が前記対象空間を使用している度合いを場所ごとに示す指標である空間使用率を算出することとを実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像センサシステム、計算装置、センシング方法、およびプログラムに関する。

【背景技術】

【0002】

近年の画像センサは、ＣＰＵ（Central Processing Unit）やメモリを備え、いわばレンズ付きの組み込みコンピュータといえる。高度な画像処理機能も有しており、撮影した画像データを分析して、視野内を動く人間等の在・不在、あるいは人数などを計算することができる。以下、画像センサの視野内を移動して検出対象になり得る物体を、動体と称する。例えば人や動物などの生物、稼働部を備える機械（ファクシミリ装置等）、あるいは非生物の移動体（車両（無人搬送車を含む）等）が動体である。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６６１６５２１号公報

【特許文献2】特開２０１９－２００７１５号公報

【特許文献3】特開２０１０－１１７２１６号公報

【特許文献4】特開２０１２－１４６０２２号公報

【特許文献5】特開２０１３－１３７７０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

人流データは、動体の移動する度合いをデータ化した指標である。人流データを用いれば、人の動きの激しい場所を濃い色で、動きのあまりない場所を薄い色で表現したりして、人間の目視確認に有効な情報を作成することができる（ヒートマップ）。つまり、人流データは、個々の人がどのように動いたかを蓄積して得られるデータで、人を主体として議論されるデータといえる。

【0005】

これとは異なる観点から、動体が空間を使用している度合いを数値化したいというニーズが高まってきている。例えば、人がその場に留まっている度合いを数値として算出し、その値を空調や照明の制御システムに与えることでより快適な空間を作り出すことが考えられている。しかしながら、動体が空間を使用している度合いを数値として算出できるようにした技術は知られていない。既存の技術では密度や混雑度などの指標が知られているに過ぎず、機器に直接入力可能な、いわば動体の空間使用率と称することのできる指標を求めることはできなかった。まして、センサ単独での検知範囲を超えるような、大空間に関する指標を得るための技術は知られていない。

【0006】

そこで、目的は、空間の使用率を算出できる画像センサシステム、計算装置、センシング方法、およびプログラムを提供することにある。

【課題を解決するための手段】

【0007】

実施形態によれば、画像センサシステムは、対象空間に設置される複数の画像センサと、画像センサと通信可能な計算装置とを具備する。画像センサは、それぞれ割り当てられたエリアの画像データを取得する撮像部と、画像データを画像処理して当該エリアにおける動体の分布を示す空間使用データを生成するプロセッサとを備える。計算装置は、取得部、記憶部、統合処理部、および空間使用率算出部を備える。取得部は、複数の画像センサから空間使用データを取得する。記憶部は、対象空間とエリアとの対応関係を示すマップデータを記憶する。統合処理部は、取得された空間使用データをマップデータに基づいて統合して、対象空間における空間使用データを生成する。空間使用率算出部は、対象空間における空間使用データに基づいて、動体が対象空間を使用している度合いを場所ごとに示す指標である空間使用率を算出する。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る画像センサシステムの一例を示す模式図である。

【図2】図２は、ビルのフロア内の一例を示す図である。

【図3】図３は、図１に示される画像センサシステムの一例を示すブロック図である。

【図4】図４は、実施形態に係る画像センサ３の一例を示すブロック図である。

【図5】図５は、実施形態に係るゲートウェイ装置７の一例を示すブロック図である。

【図6】図６は、画像センサ３の処理手順の一例を示すフローチャートである。

【図7】図７は、撮像部３１の視野内の画像の一例を示す図である。

【図8】図８は、画像センサ３におけるデータの流れの一例を示す図である。

【図9】図９は、ゲートウェイ装置７の処理手順の一例を示すフローチャートである。

【図10】図１０は、空間使用率の一例を示す模式図である。

【図11】図１１は、ゲートウェイ装置７におけるデータの流れの一例を示す図である。

【図12】図１２は、空間使用率の分析結果に基づくヒートマップの一例を示す図である。

【図13】図１３は、空間使用率の分析結果に基づくカラーマップの一例を示す図である。

【発明を実施するための形態】

【0009】

画像センサは、人感センサ、明かりセンサあるいは赤外線センサ等に比べて多様な情報を取得することができる。魚眼レンズなどの広角レンズを用いれば、１台の画像センサで撮影可能な領域を拡大できる。画像の歪みは計算処理で補正することができる。視野内のセンシングしたくない領域をマスク設定する機能や、学習機能を備えた画像センサも知られている。魚眼カメラで撮像した画像データを処理し、各種のセンシングデータを得ることができる。通信機能を持つ画像センサも知られており、ＩｏＴ（Internet of Things）技術との親和性も高い。さらには、ビッグデータ解析のためのエッジデバイスとしても期待されている。以下では、この種のセンサを用いたシステムの一例について説明する。

【0010】

＜構成＞
図１は、実施形態に係る画像センサを備える画像センサシステムの一例を示す模式図である。図１において、照明設備１、照明コントローラ４、および画像センサ３（３－１～３－ｎ）は、ビル４００の例えばフロアごとに設けられ、ゲートウェイ装置７と通信可能に接続される。各階のゲートウェイ装置７は、ビル内ネットワーク８を介して、例えばビル管理センタのＢＥＭＳ（Building Energy Management System）サーバ５と通信可能に接続される。

【0011】

ＢＥＭＳサーバ５は、例えばＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）ベースの通信ネットワーク１０経由で、クラウドコンピューティングシステム（クラウド）１００に接続されることができる。クラウド１００は、サーバ２００およびデータベース３００を備え、ビル管理等に関するサービスを提供する。

【0012】

図２は、ビル４００内のフロアの一例を示す図である。図２に示されるように、照明設備１、空調機器２の吹き出し口、および画像センサ３は各フロアの例えば天井に配設される。画像センサ３には、それぞれのセンシング対象とするエリアが割り当てられる。図２において、エリアＡ１，Ａ２がそれぞれフロアのおよそ半分をカバーしていることが示される。すべてのエリアを合わせれば、対象空間のフロアをカバーすることができる。図中ハッチングで示すように、異なる画像センサ３の割り当てエリアの一部が重なっていてもよい。

【0013】

画像センサ３は、割り当てられたエリアを見下し画角で視野内に捉え、視野内を撮像して画像データを取得する。この画像データは画像センサ３において処理され、人物情報、あるいは環境情報などの、各種のセンシングデータが生成される。すなわち画像センサ３は、自らに割り当てられたエリアのセンシングデータを生成する。

【0014】

環境情報は、エリアの環境に関する情報であり、例えば、フロアの照度や温度等である。人物情報は、エリアにおける人間に関する情報である。例えばエリア内の人数、人の行動、人の活動量、人の存在または不在を示す在不在、などが人物情報の例である。近年では、これらの情報に基づき照明機器や空調機器を制御することで、居住環境における人の快適性や安全性等を向上させることが検討されている。環境情報および人物情報を、対象空間を複数に分割した小領域ごとに算出することも可能である。この小領域を、画像センサ３ごとの割り当てエリアに対応付けてもよい。

【0015】

実施形態では、空間使用率という量を導入する。空間使用率は、動体が空間を使用している度合い（使用率）を示す指標である。例えば、空間使用率は、人が留まっている度合いを場所ごとに示す指標である。空間を使用することとは、例えば、席に座ってオフィスワークを行うことでもよい。また、空間内の通路や階段を移動することでもよい。あるいは、店舗等で売り場を歩き回ることであっても良い。

【0016】

図３は、図１に示される画像センサシステムの一例を示すブロック図である。図３において、ゲートウェイ装置７、管理端末２０、ＢＥＭＳサーバ５、および照明コントローラ４がビル内ネットワーク８に接続され、ビルシステムを形成する。ビル内ネットワーク８の通信プロトコルとしてはBuilding Automation and Control Networking protocol（ＢＡＣｎｅｔ（登録商標））が代表的である。このほかＤＡＬＩ、ＺｉｇＢｅｅ（登録商標）、ＥＣＨＯＮＥＴ Ｌｉｔｅ（登録商標）等のプロトコルも知られている。

【0017】

ゲートウェイ装置７は、複数の画像センサ３（３－１～３－ｎ）を配下として収容する。画像センサ３－１～３－ｎは、センサネットワーク９により、一筆書き状に接続される（渡り配線）。センサネットワーク９は、画像センサ３－１～３－ｎとゲートウェイ装置７とを通信可能に接続する。センサネットワーク９のプロトコルとしては、例えばＥｔｈｅｒＣＡＴ（登録商標）が知られている。

【0018】

ゲートウェイ装置７は、センサネットワーク９とビル内ネットワーク８との間での通信プロトコルを変換する。よってＢＥＭＳサーバ５、および管理端末２０は、画像センサ３－１～３－ｎと相互に通信できる。ＢＥＭＳサーバ５は、画像センサ３－１～３－ｎからセンシングデータを取得してビル４００の空調や照明を制御する。

【0019】

管理端末２０は、画像センサ３－１～３－ｎに個別にアクセスし、コマンドの投入や各種の設定を行う。照明コントローラ４は、ＢＥＭＳサーバ５からの制御に基づいて照明設備１を制御する。

【0020】

図４は、実施形態に係る画像センサ３の一例を示すブロック図である。画像センサ３は、撮像部３１、メモリ３２、プロセッサ３３、および通信部３４を備える。これらは内部バス３５を介して互いに接続される。メモリ３２およびプロセッサ３３を備える画像センサ３は、コンピュータである。

【0021】

撮像部３１は、いわゆる魚眼カメラであり、広角レンズとしての魚眼レンズ３１ａ、絞り機構３１ｂ、イメージセンサ３１ｃおよびレジスタ３０を備える。魚眼レンズ３１ａは、エリアを天井から見下ろす形（見下し画角）で視野内に捕え、イメージセンサ３１ｃに結像する。魚眼レンズ３１ａからの光量は絞り機構３１ｂにより調節される。イメージセンサ３１ｃは例えばＣＭＯＳ（相補型金属酸化膜半導体）センサであり、例えば毎秒３０フレームのフレームレートの映像信号を生成する。この映像信号はディジタル符号化され、原画像のデータとして出力される。この画像データはメモリ３２に記憶される（画像データ３２ｂ）。

【0022】

レジスタ３０は、カメラ情報３０ａを記憶する。カメラ情報３０ａは、例えばオートゲインコントロール機能の状態、フレームレート、ゲインの値、露光時間などの、撮像部３１に関する情報、あるいは画像センサ３それ自体に関する情報である。

【0023】

メモリ３２は、ＳＤＲＡＭ（Synchronous Dynamic RAM）などの半導体メモリ、またはＮＡＮＤフラッシュメモリやＥＰＲＯＭ（Erasable Programmable ROM）などの不揮発性メモリである。メモリ３２は、プロセッサ３３を機能させるためのプログラム３２ａと、撮像部３１で取得された画像データ３２ｂ、およびパラメータ３２ｃを記憶する。

【0024】

プロセッサ３３は、例えばマルチコアＣＰＵ（Central Processing Unit）を備え、画像処理を高速で実行することについてチューニングされたＬＳＩ（Large Scale Integration）である。ＭＰＵ（Micro Processing Unit）、あるいはＦＰＧＡ（Field Programmable Gate Array）等でプロセッサ３３を構成することもできる。プロセッサ３３は、内蔵レジスタ（図示せず）に読み込まれたプログラム３２ａを実行して、実施形態において説明する各種の機能を実現する。

【0025】

通信部３４は、センサネットワーク９に接続可能で、通信相手先（ゲートウェイ装置７、管理端末２０、他の画像センサ３、あるいはＢＥＭＳサーバ５等）とのデータの授受を仲介する。通信のインタフェースは有線でも無線でもよい。通信ネットワークのトポロジはライン配線、リング配線、ツリー配線など任意のトポロジを適用できる。通信プロトコルは汎用プロトコルでも、産業用プロトコルでもよい。単独の通信方法でもよいし、複数の通信方法を組み合わせてもよい。通信の対象はリアルタイムデータ、あるいは蓄積データのいずれでもよい。さらに、常時通信や要求時通信などを選択することも可能である。

【0026】

特に、通信部３４は、画像センサ３によるセンシングデータや、プロセッサ３３の処理結果、処理データ、マップ情報、画像解析に係わるパラメータ、空間使用率を算出する基となる各種画像（ヒートマップなど）、原画像、処理結果画像などの各種画像、空間使用率算出アルゴリズム、レイアウトマップなどの各種パラメータ、あるいは、その他の事象用の各種パラメータ（辞書データなど）を、通信ネットワークとしてのセンサネットワーク９経由で送受信する。これにより、上記データや情報は、ゲートウェイ装置７、他の画像センサ３、ＢＥＭＳサーバ５、および管理端末２０等と、ビル内ネットワーク８等を経由して共有されることができる。

【0027】

ところで、プロセッサ３３は、実施形態に係る処理機能として、空間使用データ生成部３３ａを備える。空間使用データ生成部３３ａは、メモリ３２のプログラム３２ａがプロセッサ３３のレジスタにロードされ、当該プログラムの進行に伴ってプロセッサ３３が演算処理を実行することで生成されるプロセスとして、理解され得る。

【0028】

空間使用データ生成部３３ａは、メモリ３２の画像データ３２ｂを画像処理し、複数のフレームごとに、それぞれ人物が存在する領域（人物領域）を検出する。人物領域は複数のフレームにわたって蓄積される。そして、空間使用データ生成部３３ａは、例えば既定の蓄積時間についてのフレーム間の平均値として、空間使用データを生成する。ここで、上記蓄積時間は例えば管理端末２０から任意の値を設定することが可能で、パラメータ３２ｃに登録される。空間使用データは、配列データとして表現されても良いし、あるいはヒートマップのように画像として表現されても良い。

【0029】

画像処理としては、背景差分やフレーム間差分、テンプレートマッチングや機械学習、あるいはディープラーニングなどの手法を適用することが可能である。人物領域の単位は、例えば、画素単位、ブロック単位、エリア単位、画像全体、あるいはこれらの混合などを任意に設定することができる。これも、例えば管理端末２０から任意に可変することが可能で、設定された値はパラメータ３２ｃに登録される。

【0030】

パラメータは、撮像部３１の視野と実空間上の面積とを対応付けるための指標であり、実施形態では、複数の種類にわたって記憶されることができる。パラメータの例としては、対象空間の天井高さや検知範囲などの数値、フロアのレイアウトマップ、あるいは領域分割されたレイアウトマップ等を挙げることができる、これらはいずれもメモリ３２のパラメータ３２ｃに登録され、プロセッサ３３により適宜読み出されて使用される。

【0031】

図５は、実施形態に係るゲートウェイ装置７の一例を示す機能ブロック図である。計算装置の一例としてのゲートウェイ装置７は、ＣＰＵやＭＰＵ（Micro Processing Unit）等のプロセッサ７５と、ＲＯＭ（Read Only Memory）７２およびＲＡＭ（Random Access Memory）７３を備えるコンピュータである。ゲートウェイ装置７は、さらに、記憶部７４および通信部７７を備える。

【0032】

ＲＯＭ７２は、組み込みＯＳ（Operating System）、各種ファームウェアなどの基本プログラム、および各種の設定データ等を記憶する。ＲＡＭ７３は、記憶部７４からロードされたプログラムやデータを一時的に記憶する。

【0033】

通信部７７は、ビル内ネットワーク８経由で画像センサ３、ＢＥＭＳサーバ５等と通信するための機能を備える。ゲートウェイ装置７で実行される各種プログラムを、例えば通信部７７を介してサーバからダウンロードし、記憶部７４にインストールすることもできる。通信部７７からビル内ネットワーク８を介してクラウド１００（図１）にアクセスし、最新のプログラムをダウンロードして内部のプログラムをアップデートすることもできる。

【0034】

記憶部７４は、プロセッサ７５により実行されるプログラム７４ａに加えて、マップデータ７４ｂ、空間使用データ７４ｃ、空間使用率７４ｄ、および、アルゴリズム７４ｅを記憶する。

【0035】

マップデータ７４ｂは、画像センサ３ごとの割り当てエリアと、対象空間のマップとの対応関係を示すデータである。

【0036】

空間使用データ７４ｃは、画像センサ３－１～３－ｎから収集された空間使用データである。画像センサ３－１～３－ｎは、それぞれ自らに割り当てられたエリアについて算出した空間使用データをを送信する。これを収集したゲートウェイ装置７は、各センサの空間使用データを統合し、対象空間に関する空間使用データに変換する。

【0037】

空間使用率７４ｄは、プロセッサ７５により算出された空間使用率である。空間使用率７４ｄは、所定の期間にわたって蓄積される。
アルゴリズム７４ｅは、プロセッサ７５により空間使用率を算出する際に使用されるアルゴリズムである。

【0038】

プロセッサ７５は、各種のプログラムを実行する。また、プロセッサ７５は、実施形態に係る処理機能として、取得部７５ａ、統合処理部７５ｂ、空間使用率算出部７５ｃ、予測部７５ｄ、分析部７５ｅ、および、可視化部７５ｆを備える。これらの機能ブロックは、プログラム７４ａがＲＡＭ７３にロードされ、当該プログラムの実行の過程で生成されるプロセスとして、理解され得る。つまりプログラム７４ａは、コンピュータであるゲートウェイ装置７を取得部７５ａ、統合処理部７５ｂ、空間使用率算出部７５ｃ、予測部７５ｄ、分析部７５ｅ、および、可視化部７５ｆとして動作させる。

【0039】

取得部７５ａは、画像センサ３－１～３－ｎのそれぞれで検知されたセンシングデータとしての空間使用データを取得する。取得された空間使用データは、記憶部７４に記憶され、蓄積される（空間使用データ７４ｃ）。
統合処理部７５ｂは、マップデータ７４ｂに基づいて空間使用データ７４ｃを統合して、対象空間における空間使用データを生成する。

【0040】

空間使用率算出部７５ｃは、上記取得された空間使用データ７４ｃに基づいて空間使用率を算出する。空間使用率は、様々に定義することができる。つまり、異なるアルゴリズム（関数）に基づいて種々の空間使用率を算出することができる。個々のアルゴリズムは記憶部７４に記憶され（アルゴリズム７４ｃ）、プロセッサ７５により読み出されて使用される。どのアルゴリズムにより空間使用率を算出するかは、例えば管理端末２０から任意に設定することができる。

【0041】

例えば、空間使用率の異なる定義の例として、算出の単位を挙げることができる。つまり、対象空間全体を単位として空間使用率を算出するか、または、個々のブロックを単位として空間使用率を算出するかを定義することができる。ブロックは、例えば各座席としてもよいし、複数のブロックをまとめた単位をブロックとして定義しても良い。ブロックをどのように設定するかなどの情報は、例えば管理端末２０から任意に設定することができる。

【0042】

また、計算式における分母と分子を異なる量に設定し、複数の空間使用率の定義とすることもできる。例えば、分母を画像上の面積、あるいは実空間上の面積とすれば、少なくとも２種類の空間使用率を定義することができる。さらに、分母を画像全体またはエリア内の、過去に人物が存在した領域の面積と定義しても良い。その際、過去１日の平均値、過去１週間の平均値、過去１か月の平均値、季節ごとの平均値、あるいは年単位での平均値というように、参照時間を定義することもできる。分母に対する参照時間は、空間使用率の算出の際の蓄積時間と同じでも、異なっていてもよい。分母に適用される量、および参照時間は例えば管理端末２０から任意に設定することができる。

【0043】

分子としては、例えば人物領域の面積を適用することができる。人物に一つ以上の条件付けをし、一つ以上の人物領域の面積として分子を定義することもできる。条件付けの例としては、例えば動きの大きさ（オフィスワークしていている人、歩行している人など）がある。また、姿勢（立っている人、座っている人など）、服装（制服を着ている人、スーツを着ている人など）、属性（男女、年代）なども、条件付けの例として用いることができる。さらには、視野内の個人を特定し、個人ごとの領域面積を分子として用いれば、当該個人の空間使用率を計算することができる。

【0044】

また、空間使用率の定義の例として、空間単位（ゾーン、フロア、複数フロア、ビル全体、組織単位（課、部）など過去に人物が存在した領域の面積）、あるいは時間単位（時間、日、週、月、年、営業日、休日など）を設定することができる。

【0045】

さらに、プロセッサ７５は、空間使用率を算出する領域を対象空間に設定する。例えば、オフィスフロアの椅子ごとに領域を設定し、それぞれの椅子に人がどのくらいの時間座っているかを示す量（着席率）を、空間使用率として定義することができる。領域の設定には、例えばセマンティックセグメーションなどの手法を適用することができる。

【0046】

予測部７５ｄは、蓄積された空間使用率７４ｄに基づいて、将来の空間使用率を予測する。例えば、明日の空間使用率を予測することにより、明日の混雑場所を予測することができる。

【0047】

分析部７５ｅは、蓄積された空間使用率７４ｄに基づいて、当該空間使用率に関する傾向を分析する。対象空間にわたって統合した空間使用率を分析することにより、例えば、特定の曜日や特定の季節、特異日などにおいて、特定の場所が混雑するなどの、有意な傾向を抽出することができる。

【0048】

可視化部７５ｆは、プロセッサ７５により算出された空間使用率、将来の空間使用率、あるいは空間使用率の傾向を可視化し、ユーザに視覚的に訴求できるようにする。可視化処理としては、例えば、空間使用率のグラフ化、またはヒートマップ化を挙げることができる。

【0049】

＜作用＞
次に、上記構成における作用を説明する。
図６は、実施形態に係わる画像センサ３の処理手順の一例を示すフローチャートである。図６において、画像センサ３は、撮像部３１で取得（ステップＳ１１）した画像データ３２ｂをメモリ３２に記憶し、蓄積する（ステップＳ１２）。記憶された画像データ３２ｂは、空間使用データ生成部３３ａに渡される。

【0050】

空間使用データ生成部３３ａは、設定されたパラメータのもとで画像データ３２ｂを画像処理し、空間使用データを生成する（ステップＳ１３）。生成された空間使用データは、通信部３４からセンサネットワーク９経由でゲートウェイ装置７に送信される。

【0051】

図７は、画像センサ３の撮像部３１の視野内の画像の一例を示す図である。図７は、ある特定の時点を捉えた１フレームの画像を示し、この時点における人物の居場所が捉えられている。着席している人もいれば、歩行中の人物もいる。撮像部３１は、時系列の画像データ（フレーム）をメモリ３２に蓄積する。そして、一定の期間にわたる画像データを処理して、例えばセルごとの人物の存在期間を反映する空間使用データが生成される。

【0052】

図８は、画像センサ３におけるデータの流れの一例を示す図である。図８において、撮像部３１で取得された画像データ３２ｂは、メモリ３２に一時的に記憶されたのち、プロセッサ３３の空間使用データ生成部３３ａに渡される。空間使用データ生成部３３ａは、メモリのパラメータ３２ｃを用いて、画像データ３２ｂから空間使用データを生成する。生成された空間使用データは、通信部３４からゲートウェイ装置７に送信される。

【0053】

図９は、ゲートウェイ装置７の処理手順の一例を示すフローチャートである。図９において、ゲートウェイ装置７は画像センサ３－１～３－ｎと通信し（ステップＳ２１）、画像センサ３－１～３－ｎにおいて個別に検知された空間使用率データ（センシング情報）を取得して記憶部７４に蓄積する（ステップＳ２２）。次にゲートウェイ装置７は、統合処理部７５ｂにより、蓄積された空間使用データ７４ｃを共通の対象空間に対して統合する。

【0054】

ゲートウェイ装置７は、この統合した空間使用データに所定の計算アルゴリズム（計算式）を適用して空間使用率を算出し（ステップＳ２３）記憶部７４に蓄積する（ステップＳ２４）。
次に、ゲートウェイ装置７は、蓄積された空間使用率７４ｄを分析して、例えば所定の期間にわたる種々の傾向を算出するとともに（ステップＳ２５）、例えば統計的な解析により、将来の空間使用率を予測する（ステップＳ２６）。
次に、ゲートウェイ装置７は、空間使用率を可視化して可視化データを作成し（ステップＳ２７）、この可視化データをＢＥＭＳサーバ５や管理端末２０等に送信する（ステップＳ２８）。

【0055】

図１０は、空間使用率の一例を示す模式図である。対象空間に対して設定されたセル（マス目）ごとに、人物の滞在期間がグラフィカルに示される。図１０においては、例えば６０分を最大値とし、滞在期間が１０分になるまで、例えば４ランクの濃さで着席時間が可視化される。蓄積された画像データから着席時間を可視化し、さらに分析することで、例えば（２０２１年ＭＭ月ＤＤ日の、９：００～１０：００における［着席率］は、４８％）といった値が算出される。この［着席率］が、空間使用率の一例である。

【0056】

図１１は、ゲートウェイ装置７におけるデータの流れの一例を示す図である。図１１において、通信部７７は、画像センサ３－１～３－ｎからセンサネットワーク９経由で空間使用データを取得し、蓄積する。統合処理部７５ｂは、記憶部７４に蓄積された、画像センサ（エリア）ごとの空間使用データ７４ｃを読み出し、統合して、対象空間における空間使用率データを生成する。空間使用率算出部７５ｃは、対象空間での空間使用率データから所定のアルゴリズムにより空間使用率を生成する。対象空間についての空間使用率は、分析部７５ｅに渡されて各種の傾向が求められるとともに、予測部７５ｄに渡されて将来の空間使用率が計算される。そして可視化部７５ｆにより、現在の空間使用率、空間使用率の傾向、および将来の空間使用率が可視化され、図１２、図１３に示すような可視化データが得られる。この可視化データは通信部７７に渡されて宛先に向け送信される。

【0057】

図１２は、空間使用率の分布、方向、密度などを色分けして示す画像（ヒートマップ）の一例を示す図である。例えば、人が良く通るエリア（空間使用率が密）を赤色、人があまり通らないエリア（空間使用率が疎）を黄色、その中間をオレンジなどの色分けで示すことにより（カラーマップ）、例えばフロアにおける混雑度や動線を一目で把握することができる。もちろん、空間使用率の長さ（大きさ）や方向に応じて色分けしてもよい。この種のヒートマップは、例えばオフィスフロア、空港、あるいは駅のコンコースなどに適用することが可能である。

【0058】

空間使用率の分析結果を活用することで、オフィスや店舗、公共施設や工場などの現状を把握し、改善を図ることができる。例えば以下の２例が代表的である。
（１） オフィス改善の例
会議室などの利用率を分析し、利用率の低い領域を別の用途に変更する。フリーアドレスのオフィスや兼務者の領域などの在席率を推定し、不要な領域を別の用途に変更する。動線がスマートなレイアウトに変更する。
（２） 店舗改善の例
人通りの多いところに広告を表示する。動線に合わせて関連商品を配置する。

【0059】

あるいは、食堂などの混雑上状況をほぼリアルタイムで把握し、利用者のスマートフォンに表示する、などのアプリケーションも考えられる。
図１３に示されるように、所定の空間（食堂など）のエリアごとに混雑状況を色分けし、Ｗｅｂ経由でアクセス可能なヒートマップとして公開すれば、利用者への便宜を図ることができる。

【0060】

＜効果＞
以上説明したようにこの実施形態では、画像センサ３－１～３－ｎにおいてエリアごとに撮像した画像データから、空間使用率を算出する基となるデータとしての空間使用データをそれぞれ算出する。画像センサ３－１～３－ｎは、このエリアごとの空間使用データを、センシングデータとしてゲートウェイ装置７に送信する。ゲートウェイ装置７は、取得した空間使用データをマップデータ７４ｂに基づいて統合して対象空間の単位での空間使用データを生成し、さらに、この統合された空間使用データから、機器制御のためのデータとしての空間使用率を算出するようにした。つまり、カラーマップ等の空間使用データの算出にとどまらず、制御対象の機器に直接投入することの可能な制御量を、対象空間の全体にわたって算出できるようにした。従って、画像センサ単体では得られない、詳細な空間使用率を算出することができ、これによりビルにおける空調制御、照明制御の自由度や精度を飛躍的に高めることが可能になる。

【0061】

また実施形態では、空間使用率を算出するにあたり、複数のパラメータと、複数の計算式（アルゴリズム）とをゲートウェイ装置７に予め登録しておき、異なるパラメータ、アルゴリズムのもとでの空間使用率を算出できるようにした。このようにしたので、対象とする空間や建物の特性に応じた空間使用率を算出することが可能になる。例えば月ごと、季節ごと等の空間使用率の傾向を利用することで、オフィスの機器レイアウトの改善に役立てることが可能になる。

【0062】

これらのことから実施形態によれば、空間の使用率を算出できる画像センサ、センシング方法、およびプログラムを提供することができる。これにより、例えば、人が留まっている度合いを場所ごとに示す指標を出力できるようになり、機器制御との親和性を高めた画像センサシステムを提供できる。

【0063】

なお、この発明は上記実施形態に限定されるものではない。例えば、撮像部３１において魚眼レンズに限定されず、鏡面を利用したいわゆるパノラマレンズなどの、他の形式の広角レンズを用いることも可能である。

【0064】

また、検知の対象は人物に限定されず、人物とは異なる物体であっても良い。例えばオフィスにおける背景を検知・識別するための背景辞書、机を検知するための机辞書、椅子を検知するための椅子辞書、あるいは什器や複合機などを検知するための辞書を用いれば、人物だけでなく、様々な対象を検知することができる。
また、計算装置としてのゲートウェイ装置７に実装した各種機能を、管理端末２０、あるいはＢＥＭＳサーバ５に実装してもよい。

【0065】

本発明の実施形態を説明したが、この実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0066】

１…照明設備、２…空調機器、３…画像センサ、３－１～３－ｎ…画像センサ、４…照明コントローラ、５…ＢＥＭＳサーバ、７…ゲートウェイ装置、８…ビル内ネットワーク、９…センサネットワーク、１０…通信ネットワーク、２０…管理端末、３０…レジスタ、３０ａ…カメラ情報、３１…撮像部、３１ａ…魚眼レンズ、３１ｂ…絞り機構、３１ｃ…イメージセンサ、３２…メモリ、３２ａ…プログラム、３２ｂ…画像データ、３２ｃ…パラメータ、３３…プロセッサ、３３ａ…空間使用データ生成部、３４…通信部、３５…内部バス、７２…ＲＯＭ、７３…ＲＡＭ、７４…記憶部、７４ａ…プログラム、７４ｂ…マップデータ、７４ｃ…空間使用データ、７４ｄ…空間使用率、７４ｅ…アルゴリズム、７５…プロセッサ、７５ａ…取得部、７５ｂ…統合処理部、７５ｃ…空間使用率算出部、７５ｄ…予測部、７５ｅ…分析部、７５ｆ…可視化部、７７…通信部、１００…クラウド、２００…サーバ、３００…データベース、４００…ビル。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】