特許 7653810 画像センサ、センシング方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-21

(45)【発行日】2025-03-31

(54)【発明の名称】画像センサ、センシング方法、およびプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20250324BHJP

   H04N 23/60 20230101ALI20250324BHJP

   H04N 23/66 20230101ALI20250324BHJP

   G16Y 10/80 20200101ALI20250324BHJP

   G16Y 20/10 20200101ALI20250324BHJP

   G16Y 40/20 20200101ALI20250324BHJP

   G16Y 40/30 20200101ALI20250324BHJP

【ＦＩ】

G06T7/00 300F

H04N23/60

H04N23/66

G16Y10/80

G16Y20/10

G16Y40/20

G16Y40/30

【請求項の数】 11

(21)【出願番号】P 2021041499

(22)【出願日】2021-03-15

(65)【公開番号】P2022141274

(43)【公開日】2022-09-29

【審査請求日】2023-12-13

【前置審査】

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】榎原 孝明

【審査官】菊池 伸郎

(56)【参考文献】

【文献】特開２０１９－１０１６６４（ＪＰ，Ａ）

【文献】特開２０１６－１７０５０２（ＪＰ，Ａ）

【文献】特開２０２０－０４８０５５（ＪＰ，Ａ）

【文献】特開２０１４－１５４０１４（ＪＰ，Ａ）

【文献】特開２０１８－１０９５５８（ＪＰ，Ａ）

【文献】大石 淳也，外１名，"多機能画像センサによる高度な人物検知と省エネの実現"，電気学会研究会資料 The Papers of Joint Technical Meeting, IEE Japan，日本，一般社団法人電気学会，2018年11月06日，pp.7-11

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００－７／９０

Ｇ０６Ｖ １０／００－４０／７０

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６６

Ｇ１６Ｙ １０／８０

Ｇ１６Ｙ ２０／１０

Ｇ１６Ｙ ４０／２０

Ｇ１６Ｙ ４０／３０

(57)【特許請求の範囲】

【請求項1】

対象空間を撮像して画像データを取得する撮像部と、
前記画像データを記憶する記憶部と、
プロセッサとを具備し、
前記プロセッサは、
前記画像データを画像処理して、前記対象空間における動体の分布を示す空間使用データを生成する空間使用データ生成部と、
前記空間使用データに基づいて、前記動体が前記対象空間を使用している度合いを場所ごとに示す指標であり、制御対象の機器に直接投入することの可能な制御量である空間使用率を算出する空間使用率算出部とを備え、
前記空間使用データ生成部は、
前記画像データを画像処理して、複数のフレームごとにそれぞれ人物が存在する領域を検出し、
前記領域を前記複数のフレームにわたって蓄積し、
既定の蓄積時間についてのフレーム間の平均値として前記空間使用データを生成する、画像センサ。

【請求項2】

通信ネットワークを経由したアクセスを受け付ける通信部をさらに具備し、
前記空間使用データ生成部は、前記通信ネットワークを経由したアクセスによる前記蓄積時間の設定を受け付ける、請求項１に記載の画像センサ。

【請求項3】

前記記憶部は、前記撮像部の視野と実空間上の面積とを対応付けるパラメータを複数記憶し、
前記空間使用率算出部は、前記複数のパラメータの少なくともいずれかに基づいて前記空間使用率を算出する、請求項２に記載の画像センサ。

【請求項4】

前記記憶部は、前記空間使用率をそれぞれ異なる定義で表す複数のアルゴリズムを記憶し、
前記空間使用率算出部は、前記複数のアルゴリズムのいずれかに基づいて前記空間使用率を算出する、請求項２に記載の画像センサ。

【請求項5】

前記プロセッサは、前記空間使用率を算出する領域を前記対象空間に設定する領域設定部をさらに備える、請求項１に記載の画像センサ。

【請求項6】

通信ネットワークを経由したアクセスを受け付ける通信部をさらに具備し、
前記領域設定部は、前記通信ネットワークを経由したアクセスによる前記対象空間の設定を受け付ける、請求項５に記載の画像センサ。

【請求項7】

前記領域設定部は、自動領域分割アルゴリズムにより前記対象空間を自動で設定する、請求項５に記載の画像センサ。

【請求項8】

前記算出された空間使用率を通信ネットワークに送出する通信部をさらに具備する、請求項１に記載の画像センサ。

【請求項9】

前記プロセッサは、前記空間使用率を算出し、前記対象空間における在不在、人数、活動量、照度、および、歩行滞留を含むセンシング項目のうち少なくともいずれか１つのセンシング項目をセンシングする、請求項１に記載の画像センサ。

【請求項10】

対象空間を撮像して画像データを取得する撮像部と、記憶部と、プロセッサとを具備する画像センサの前記プロセッサにより実行されるセンシング方法であって、
前記プロセッサが、前記画像データを前記記憶部に記憶する過程と、
前記プロセッサが、前記記憶された画像データを画像処理して、複数のフレームごとにそれぞれ人物が存在する領域を検出する過程と、
前記プロセッサが、前記領域を前記複数のフレームにわたって蓄積する過程と、
前記プロセッサが、既定の蓄積時間についてのフレーム間の平均値として、前記対象空間における動体の分布を示す空間使用データを生成する過程と、
前記プロセッサが、空間使用データに基づいて、前記動体が前記対象空間を使用している度合いを場所ごとに示す指標であり、制御対象の機器に直接投入することの可能な制御量である空間使用率を算出する過程とを具備する、センシング方法。

【請求項11】

対象空間を撮像して画像データを取得する撮像部と、プロセッサとを具備するコンピュータを、請求項１乃至９のいずれか１項に記載の画像センサとして機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像センサ、センシング方法、およびプログラムに関する。

【背景技術】

【0002】

近年の画像センサは、ＣＰＵ（Central Processing Unit）やメモリを備え、いわばレンズ付きの組み込みコンピュータといえる。高度な画像処理機能も有しており、撮影した画像データを分析して、視野内を動く人間等の在・不在、あるいは人数などを計算することができる。以下、画像センサの視野内を移動して検出対象になり得る物体を、動体と称する。例えば人や動物などの生物や、非生物の移動体（車両など）が動体である。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６６１６５２１号公報

【文献】特開２０１９－２００７１５号公報

【文献】特開２０１２－１４６０２２号公報

【文献】特開２０１３－１３７７０１号公報

【文献】特開２００３－１０９００１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

人流データは、動体の移動する度合いをデータ化した指標である。人流データを用いれば、人の動きの激しい場所を濃い色で、動きのあまりない場所を薄い色で表現したりして、人間の目視確認に有効な情報を作成することができる（ヒートマップ）。つまり、人流データは、個々の人がどのように動いたかを蓄積して得られるデータで、人を主体として議論されるデータといえる。

【0005】

これとは異なる観点から、動体が空間を使用している度合いを数値化したいというニーズが高まってきている。例えば、人がその場に留まっている度合いを数値として算出し、その値を空調や照明の制御システムに与えることでより快適な空間を作り出すことが考えられている。しかしながら、動体が空間を使用している度合いを数値として算出できるようにした技術は知られていない。既存の技術では密度や混雑度などの指標が知られているに過ぎず、機器に直接入力可能な、いわば動体の空間使用率と称することのできる指標を求めることはできなかった。

【0006】

そこで、目的は、空間の使用率を得ることのできる画像センサ、センシング方法、およびプログラムを提供することにある。

【課題を解決するための手段】

【0007】

実施形態によれば、画像センサは、撮像部と、記憶部と、プロセッサとを具備する。撮像部は、対象空間を撮像して画像データを取得する。記憶部は、画像データを記憶する。プロセッサは、記憶された画像データを画像処理して、動体が対象空間を使用している度合いを場所ごとに示す指標である空間使用率を算出する。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る画像センサを備える画像センサシステムの一例を示す模式図である。

【図2】図２は、ビル内のフロアの一例を示す図である。

【図3】図３は、図１に示される画像センサシステムの一例を示すブロック図である。

【図4】図４は、実施形態に係る画像センサ３の一例を示すブロック図である。

【図5】図５は、画像センサ３におけるデータの流れの一例を示す図である。

【図6】図６は、実施形態に係わる画像センサ３の処理手順の一例を示すフローチャートである。

【図7】図７は、撮像部３１の視野内の画像の一例を示す図である。

【図8】図８は、空間使用データの一例を示す模式図である。

【図9】図９は、着席率に基づく自動領域分割の一例を示す模式図である。

【図10】図１０は、レイアウトマップの一例を示す模式図である。

【図11】図１１は、動き分布に基づいて分割された領域の一例を示す図である。

【図12】図１２は、領域分割された対象空間の属性を示す図である。

【発明を実施するための形態】

【0009】

画像センサは、人感センサ、明かりセンサあるいは赤外線センサ等に比べて多様な情報を取得することができる。魚眼レンズなどの広角レンズを用いれば、１台の画像センサで撮影可能な領域を拡大できる。画像の歪みは計算処理で補正することができる。視野内のセンシングしたくない領域をマスク設定する機能や、学習機能を備えた画像センサも知られている。

【0010】

近年の画像センサは、ＣＰＵ（Central Processing Unit）やメモリを備え、いわばレンズ付きの組み込みコンピュータといえる。高度な画像処理機能も有しており、撮影した画像データを分析して、例えば人間の在不在、あるいは人数などを計算することができる。通信機能を持つものもあり、ＩｏＴ（Internet of Things）技術との親和性も高い。さらには、ビッグデータ解析のためのエッジデバイスとしても期待されている。魚眼カメラで撮像した画像データを処理し、精度の高いセンシングデータを得ることが重要である。以下では、画像センサを利用するソリューションの一例について説明する。

【0011】

［構成］
図１は、実施形態に係る画像センサを備える画像センサシステムの一例を示す模式図である。図１において、照明設備１、照明コントローラ４、および画像センサ３（３－１～３－ｎ）は、ビル４００の例えばフロアごとに設けられ、ゲートウェイ装置７と通信可能に接続される。各階のゲートウェイ装置７は、ビル内ネットワーク８を介して、例えばビル管理センタのＢＥＭＳ（Building Energy Management System）サーバ５と通信可能に接続される。

【0012】

ＢＥＭＳサーバ５は、例えばＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）ベースの通信ネットワーク１０経由で、クラウドコンピューティングシステム（クラウド）１００に接続されることができる。クラウド１００は、サーバ２００およびデータベース３００を備え、ビル管理等に関するサービスを提供する。

【0013】

図２は、ビル４００内のフロアの一例を示す図である。図２に示されるように、照明設備１、空調機器２の吹き出し口、および画像センサ３は各フロアの例えば天井に配設される。画像センサ３には、それぞれのセンシング対象とするエリアが割り当てられる。図２において、エリアＡ１，Ａ２がそれぞれフロアのおよそ半分をカバーしていることが示される。すべてのエリアを合わせれば、対象空間のフロアをカバーすることができる。図中ハッチングで示すように、異なる画像センサ３の割り当てエリアの一部が重なっていてもよい。

【0014】

画像センサ３は、割り当てられたエリアを見下し画角で視野内に捉え、視野内を撮像して画像データを取得する。この画像データは画像センサ３において処理され、人物情報、あるいは環境情報などの、各種のセンシングデータが生成される。すなわち画像センサ３は、対象空間に係わるセンシングデータを生成する。

【0015】

環境情報は、対象とする空間（ゾーン）の環境に関する情報であり、例えば、フロアの照度や温度等である。人物情報は、対象空間における人間に関する情報である。例えばエリア内の人数、人の行動、人の活動量、人の存在または不在を示す在不在、などが人物情報の例である。

【0016】

近年では、これらの情報に基づき照明機器や空調機器を制御することで、居住環境における人の快適性や安全性等を向上させることが検討されている。環境情報および人物情報を、ゾーンを複数に分割した小領域ごとに算出することも可能である。この小領域を、画像センサ３ごとの割り当てエリアに対応付けてもよい。

【0017】

実施形態では、空間使用率という量を導入し、この量を計算出力することの可能な画像センサについて説明する。ここで、空間使用率は、動体が空間を使用している度合い（使用率）を示す指標である。例えば、空間使用率は、人が留まっている度合いを場所ごとに示す指標である。

【0018】

空間を使用することとは、例えば、席に座ってオフィスワークを行うことでもよい。また、空間内の通路や階段を移動することでもよい。あるいは、店舗等で売り場を歩き回ることであっても良い。

【0019】

図３は、図１に示される画像センサシステムの一例を示すブロック図である。図３において、ゲートウェイ装置７、管理端末２０、ＢＥＭＳサーバ５、および照明コントローラ４がビル内ネットワーク８に接続され、ビルシステムを形成する。ビル内ネットワーク８の通信プロトコルとしてはBuilding Automation and Control Networking protocol（ＢＡＣｎｅｔ（登録商標））が代表的である。このほかＤＡＬＩ、ＺｉｇＢｅｅ（登録商標）、ＥＣＨＯＮＥＴ Ｌｉｔｅ（登録商標）等のプロトコルも知られている。

【0020】

ゲートウェイ装置７は、複数の画像センサ３（３－１～３－ｎ）を配下として収容する。画像センサ３－１～３－ｎは、センサネットワーク９により、一筆書き状に接続される（渡り配線）。センサネットワーク９は、画像センサ３－１～３－ｎとゲートウェイ装置７とを通信可能に接続する。センサネットワーク９のプロトコルとしては、例えばＥｔｈｅｒＣＡＴ（登録商標）が知られている。

【0021】

ゲートウェイ装置７は、センサネットワーク９とビル内ネットワーク８との間での通信プロトコルを変換する。これにより、ＢＥＭＳサーバ５、および管理端末２０が、画像センサ３－１～３－ｎと相互通信することが可能である。ＢＥＭＳサーバ５は、画像センサ３－１～３－ｎからセンシングデータを取得してビル４００の空調や照明を制御する。

【0022】

管理端末２０は、画像センサ３－１～３－ｎに個別にアクセスし、コマンドの投入や各種の設定を行う。照明コントローラ４は、ＢＥＭＳサーバ５からの制御に基づいて照明設備１を制御する。

【0023】

図４は、実施形態に係る画像センサ３の一例を示すブロック図である。画像センサ３は、撮像部３１、メモリ３２、プロセッサ３３、および通信部３４を備える。これらは内部バス３５を介して互いに接続される。メモリ３２およびプロセッサ３３を備える画像センサ３は、コンピュータである。

【0024】

撮像部３１は、いわゆる魚眼カメラであり、広角レンズとしての魚眼レンズ３１ａ、絞り機構３１ｂ、イメージセンサ３１ｃおよびレジスタ３０を備える。魚眼レンズ３１ａは、エリアを天井から見下ろす形（見下し画角）で視野内に捕え、イメージセンサ３１ｃに結像する。魚眼レンズ３１ａからの光量は絞り機構３１ｂにより調節される。イメージセンサ３１ｃは例えばＣＭＯＳ（相補型金属酸化膜半導体）センサであり、例えば毎秒３０フレームのフレームレートの映像信号を生成する。この映像信号はディジタル符号化され、原画像のデータとして出力される。この画像データはメモリ３２に記憶される（画像データ３２ｂ）。

【0025】

レジスタ３０は、カメラ情報３０ａを記憶する。カメラ情報３０ａは、例えばオートゲインコントロール機能の状態、フレームレート、ゲインの値、露光時間などの、撮像部３１に関する情報、あるいは画像センサ３それ自体に関する情報である。

【0026】

メモリ３２は、ＳＤＲＡＭ（Synchronous Dynamic RAM）などの半導体メモリ、またはＮＡＮＤフラッシュメモリやＥＰＲＯＭ（Erasable Programmable ROM）などの不揮発性メモリである。メモリ３２は、プロセッサ３３を機能させるためのプログラム３２ａと、撮像部３１で取得された画像データ３２ｂ、パラメータ３２ｃ、およびアルゴリズム３２ｄを記憶する。

【0027】

プロセッサ３３は、例えばマルチコアＣＰＵ（Central Processing Unit）を備え、画像処理を高速で実行することについてチューニングされたＬＳＩ（Large Scale Integration）である。ＭＰＵ（Micro Processing Unit）、あるいはＦＰＧＡ（Field Programmable Gate Array）等でプロセッサ１５を構成することもできる。プロセッサ３３は、内蔵レジスタ（図示せず）に読み込まれたプログラム３２ａを実行して、実施形態において説明する各種の機能を実現する。

【0028】

通信部３４は、センサネットワーク９に接続可能で、通信相手先（ゲートウェイ装置７、管理端末２０、他の画像センサ３、あるいはＢＥＭＳサーバ５等）とのデータの授受を仲介する。通信のインタフェースは有線でも無線でもよい。通信ネットワークのトポロジはライン配線、リング配線、ツリー配線など任意のトポロジを適用できる。通信プロトコルは汎用プロトコルでも、産業用プロトコルでもよい。単独の通信方法でもよいし、複数の通信方法を組み合わせてもよい。通信の対象はリアルタイムデータ、あるいは蓄積データのいずれでもよい。さらに、常時通信や要求時通信などを選択することも可能である。

【0029】

特に、通信部３４は、画像センサ３によるセンシングデータや、プロセッサ３３の処理結果、処理データ、マップ情報、画像解析に係わるパラメータ、空間使用率を算出する基となる各種画像（ヒートマップなど）、原画像、処理結果画像などの各種画像、空間使用率算出アルゴリズム、レイアウトマップなどの各種パラメータ、あるいは、その他事象用の各種パラメータ（辞書データなど）を、通信ネットワークとしてのセンサネットワーク９経由で送受信する。これにより、上記データや情報は、ゲートウェイ装置７、他の画像センサ３、ＢＥＭＳサーバ５、および管理端末２０等と、ビル内ネットワーク８等を経由して共有されることができる。

【0030】

ところで、プロセッサ３３は、実施形態に係る処理機能として、空間使用データ生成部３３ａ、空間使用率算出部３３ｂ、および領域設定部３３ｃを備える。これらの機能ブロックは、メモリ３２に記憶されたプログラム３２ａがプロセッサ３３のレジスタにロードされ、当該プログラムの進行に伴ってプロセッサ３３が演算処理を実行することで生成されるプロセスとして、理解され得る。

【0031】

空間使用データ生成部３３ａは、メモリ３２の画像データ３２ｂを画像処理し、複数のフレームごとに、それぞれ人物が存在する領域（人物領域）を検出する。人物領域は複数のフレームにわたって蓄積される。そして、空間使用データ生成部３３ａは、例えば既定の蓄積時間についてのフレーム間の平均値として、空間使用データを生成する。ここで、上記蓄積時間は例えば管理端末２０から任意の値を設定することが可能で、パラメータ３２ｃに登録される。空間使用データは、配列データとして表現されても良いし、あるいはヒートマップのように画像として表現されても良い。

【0032】

画像処理としては、背景差分やフレーム間差分、テンプレートマッチングや機械学習、あるいはディープラーニングなどの手法を適用することが可能である。人物領域の単位は、例えば、画素単位、ブロック単位、エリア単位、画像全体、あるいはこれらの混合などを任意に設定することができる。これも、例えば管理端末２０から任意に可変することが可能で、設定された値はパラメータ３２ｃに登録される。

【0033】

パラメータは、撮像部３１の視野と実空間上の面積とを対応付けるための指標であり、実施形態では、複数の種類にわたって記憶されることができる。パラメータの例としては、対象空間の天井高さや検知範囲などの数値、フロアのレイアウトマップ、あるいは領域分割されたレイアウトマップ等を挙げることができる、これらはいずれもメモリ３２のパラメータ３２ｃに登録され、プロセッサ３３により適宜読み出されて使用される。

【0034】

空間使用率算出部３３ｂは、上記生成された空間使用データに基づいて空間使用率を算出する。空間使用率は、様々に定義することができる。つまり、異なるアルゴリズム（関数）に基づいて種々の空間使用率を算出することができる。個々のアルゴリズムはメモリ３２に記憶され（アルゴリズム３２ｄ）、プロセッサ３３により読み出されて使用される。どのアルゴリズムにより空間使用率を算出するかは、例えば管理端末２０から任意に設定することができる。

【0035】

例えば、空間使用率の異なる定義の例として、算出の単位を挙げることができる。つまり、画像全体を単位として空間使用率を算出するか、または、個々のエリアを単位として空間使用率を算出するかを定義することができる。エリアは、例えば各座席としてもよいし、複数のエリアをまとめた単位をエリアとして定義しても良い。エリアをどのように設定するかなどの情報は、例えば管理端末２０から任意に設定することができ、パラメータ３２ｃに登録される。

【0036】

また、計算式における分母と分子を異なる量に設定し、複数の空間使用率の定義とすることもできる。例えば、分母を画像上の面積、あるいは実空間上の面積とすれば、少なくとも２種類の空間使用率を定義することができる。さらに、分母を画像全体またはエリア内の、過去に人物が存在した領域の面積と定義しても良い。その際、過去１日の平均値、過去１週間の平均値、過去１か月の平均値、季節ごとの平均値、あるいは年単位での平均値というように、参照時間を定義することもできる。分母に対する参照時間は、空間使用率の算出の際の蓄積時間と同じでも、異なっていてもよい。分母に適用される量、および参照時間は例えば管理端末２０から任意に設定することができ、パラメータ３２ｃに登録される。

【0037】

分子としては、例えば人物領域の面積を適用することができる。人物に一つ以上の条件付けをし、一つ以上の人物領域の面積として分子を定義することもできる。条件付けの例としては、例えば動きの大きさ（オフィスワークしていている人、歩行している人など）がある。また、姿勢（立っている人、座っている人など）、服装（制服を着ている人、スーツを着ている人など）、属性（男女、年代）なども、条件付けの例として用いることができる。さらには、視野内の個人を特定し、個人ごとの領域面積を分子として用いれば、当該個人の空間使用率を計算することができる。

【0038】

さらに、プロセッサ３３の領域設定部３３ｃは、空間使用率を算出する領域を、対象空間に設定する。例えば、オフィスフロアの椅子ごとに領域を設定し、それぞれの椅子に人がどのくらいの時間座っているかを示す量（着席率）を、空間使用率として定義することができる。領域の設定には、例えばセマンティックセグメーションなどの手法を適用することができる。

【0039】

図５は、画像センサ３におけるデータの流れの一例を示す図である。図５において、撮像部３１で取得された画像データ３２ｂは、メモリ３２に一時的に記憶されたのち、プロセッサ３３の空間使用データ生成部３３ａに渡される。空間使用データ生成部３３ａは、
画像データから空間使用データを生成して空間使用率算出部３３ｂに渡す。

【0040】

空間使用率算出部３３ｂは、メモリのパラメータ３２ｃ、アルゴリズム３２ｄを参照し、空間使用データから空間使用率を算出する。算出された空間使用率は、通信部３４からセンサネットワーク９経由でゲートウェイ装置７等に送信され、空調制御、照明制御のための基礎データとして直接、利用される。

【0041】

［作用］
次に、上記構成における作用を説明する。
図６は、実施形態に係わる画像センサ３の処理手順の一例を示すフローチャートである。図６において、画像センサ３は、撮像部３１で取得（ステップＳ１）した画像データ３２ｂをメモリ３２に記憶し、蓄積する（ステップＳ２）。記憶された画像データ３２ｂは、空間使用データ生成部３３ａに渡される。

【0042】

空間使用データ生成部３３ａは、設定されたパラメータのもとで空間使用データを生成し（ステップＳ３）、空間使用率算出部３３ｂに渡す。空間使用率算出部３３ｂは、空間使用データに所定の計算アルゴリズム（計算式）を適用して空間使用率を算出する（ステップＳ４）。算出された空間使用率は、通信部３４からゲートウェイ装置７経由でＢＥＭＳサーバ５に送信され、空調制御、照明制御のための基礎データとして利用される。

【0043】

図７は、撮像部３１の視野内の画像の一例を示す図である。図７は、ある特定の時点を捉えた１フレームの画像を示し、この時点における人物の居場所が捉えられている。着席している人もいれば、歩行中の人物もいる。撮像部３１は、時系列の画像データ（フレーム）をメモリ３２に蓄積する。そして、一定の期間にわたる画像データを処理して、例えばセルごとの人物の存在期間を反映する空間使用データが生成される。

【0044】

図８は、空間使用データの一例を示す模式図である。対象空間に対して設定されたセル（マス目）ごとに、人物の滞在期間がグラフィカルに示される。図８においては、例えば６０分を最大値とし、滞在期間が１０分になるまで、例えば４ランクの濃さで着席時間が可視化される。蓄積された画像データから着席時間を可視化し、さらに分析することで、例えば（２０２１年ＭＭ月ＤＤ日の、９：００～１０：００における［着席率］は、４８％）といった値が算出される。この［着席率］が、空間使用率の一例である。

【0045】

図９は、着席率に基づく自動領域分割の一例を示す模式図である。領域設定部３３ｃ（図４）は、対象空間において、空間使用率を算出する領域を設定する。例えば、演算処理の対象から除外する領域（マスク領域）を対象空間に設定することにより、それ以外の領域（演算処理の対象とする領域）に対してのみ、空間使用率を算出するように設定することができる。

【0046】

また、マスクされていない領域（処理対象の領域）をさらに複数に分割し、複数のエリアを設定することもできる。また、カラーマップのように画像を色塗りして領域分割することもできる。

【0047】

さらには、領域分割されたレイアウトマップから、領域分割を設定することもできる。図９はその一例を示しており、［着席率］が比較的高い領域を机エリア、［着席率］が比較的低い領域を通路エリアとして設定した状態を示す。机エリアをドット、通路エリアを斜線のハッチングで示す。このように、人物の動き分布に基づいて、自動で領域分割を行うことができる。

【0048】

図１０は、レイアウトマップの一例を示す模式図である。レイアウトマップは、例えばＢＥＭＳサーバ５からダウンロードされて画像センサ３のメモリ３２に予め記憶される。
図１１は、動き分布に基づいて分割された領域の一例を示す図である。対象空間において、人の動き分析により例えば矩形状の領域が検出されたとする。この領域とレイアウトマップとを照合することにより、領域の属性（机、通路など）を検出することができる。

【0049】

図１２は、領域分割された対象空間の属性を示す図である。図１２に示されるように、机領域と通路領域とを、画像センサ３自身のセンシング処理だけで自動で認識し、設定することが可能になる。設定された領域は、通信部３４によりＢＥＭＳサーバ５等に通知される。

【0050】

上記のように、領域設定部３３ｃ（図４）は、空間使用率を算出する領域を対象空間に自動で設定する。上記した人の動き分析だけでなく、例えばセマンティックセグメンテーションにより、机／床／壁などに自動で領域分割を行うこともできる。あるいは、照明の点灯区分に合わせて照明を点消灯させ、そのときの照度分布をセンシングして得られた結果に基づいて自動領域分割を行うようにしても良い。なお、各領域は、管理端末２０を用いた管理者の操作により設定することもできる。

【0051】

［効果］
以上説明したようにこの実施形態では、画像センサ３で取得された画像データから、空間使用率を算出する基となるデータとしての空間使用データを算出し、さらに、空間使用データから、機器制御のためのデータとしての空間使用率を算出するようにした。つまり、カラーマップ等の空間使用データの算出にとどまらず、制御対象の機器に直接投入することの可能な制御量を、画像センサ自身により算出できるようにした。

【0052】

このように、サーバなどの計算リソースの介在する必要なしに、機器制御のための制御量を画像センサが直接、生成することが可能になる。これにより、ビルにおける空調制御、照明制御の自由度を飛躍的に高めることが可能になる。

【0053】

また実施形態では、空間使用率を算出するにあたり、複数のパラメータと、複数の計算式（アルゴリズム）とを画像センサ３自身に予め登録しておき、異なるパラメータ、アルゴリズムのもとでの空間使用率を算出できるようにした。このようにしたので、対象とする空間や建物の特性に応じた空間使用率を算出することが可能になる。例えば月ごと、季節ごと等の空間使用率の傾向を利用することで、オフィスの機器レイアウトの改善に役立てることが可能になる。

【0054】

これらのことから実施形態によれば、空間の使用率を得ることのできる画像センサ、センシング方法、およびプログラムを提供することができる。これにより、例えば、人が留まっている度合いを場所ごとに示す指標を出力できるようになり、機器制御との親和性を高めた画像センサを提供できる。

【0055】

なお、この発明は上記実施形態に限定されるものではない。例えば、撮像部３１において魚眼レンズに限定されず、鏡面を利用したいわゆるパノラマレンズなどの、他の形式の広角レンズを用いることも可能である。

【0056】

また、検知の対象は人物に限定されず、人物とは異なる物体であっても良い。例えばオフィスにおける背景を検知・識別するための背景辞書、机を検知するための机辞書、椅子を検知するための椅子辞書、あるいは什器や複合機などを検知するための辞書を用いれば、人物だけでなく、様々な対象を検知することができる。

【0057】

本発明の実施形態を説明したが、この実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0058】

１…照明設備、２…空調機器、３（３－１～３－ｎ）…画像センサ、４…照明コントローラ、５…ＢＥＭＳサーバ、７…ゲートウェイ装置、８…ビル内ネットワーク、９…センサネットワーク、１０…通信ネットワーク、１５…プロセッサ、２０…管理端末、３０…レジスタ、３０ａ…カメラ情報、３１…撮像部、３１ａ…魚眼レンズ、３１ｂ…絞り機構、３１ｃ…イメージセンサ、３２…メモリ、３２ａ…プログラム、３２ｂ…画像データ、３２ｃ…パラメータ、３２ｄ…アルゴリズム、３３…プロセッサ、３３ａ…空間使用データ生成部、３３ｂ…空間使用率算出部、３３ｃ…領域設定部、３４…通信部、３５…内部バス、１００…クラウド、２００…サーバ、３００…データベース、４００…ビル。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】