特許 7237499 画像センサ、センシング方法、制御システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-03

(45)【発行日】2023-03-13

(54)【発明の名称】画像センサ、センシング方法、制御システム及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230306BHJP

   H04N 23/61 20230101ALI20230306BHJP

   G06T 7/269 20170101ALI20230306BHJP

【ＦＩ】

H04N7/18 D

H04N23/61

G06T7/269

H04N7/18 K

【請求項の数】 16

(21)【出願番号】P 2018174600

(22)【出願日】2018-09-19

(65)【公開番号】P2020048055

(43)【公開日】2020-03-26

【審査請求日】2021-06-16

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(74)【代理人】

【識別番号】100189913

【氏名又は名称】鵜飼 健

(72)【発明者】

【氏名】榎原 孝明

(72)【発明者】

【氏名】野本 学

【審査官】長谷川 素直

(56)【参考文献】

【文献】特開２０１７－２１２６４１（ＪＰ，Ａ）

【文献】特開２００９－１１００５４（ＪＰ，Ａ）

【文献】特開２０１５－０６９６３９（ＪＰ，Ａ）

【文献】特開２０１７－１８８７７１（ＪＰ，Ａ）

【文献】特開２００６－３３０９４２（ＪＰ，Ａ）

【文献】特開２００７－１７２５４０（ＪＰ，Ａ）

【文献】特開２０１６－２１８８００（ＪＰ，Ａ）

【文献】特開２０１８－０７４２９９（ＪＰ，Ａ）

【文献】特開２０１１－２０９８５６（ＪＰ，Ａ）

【文献】特開２０１２－０２２３７０（ＪＰ，Ａ）

【文献】特開２０１３－１４３０６８（ＪＰ，Ａ）

【文献】特開平０７－１０７３７１（ＪＰ，Ａ）

【文献】特開２００５－２６９４１９（ＪＰ，Ａ）

【文献】特開２００６－２９５６２６（ＪＰ，Ａ）

【文献】特開２００８－１６０３００（ＪＰ，Ａ）

【文献】特開２０１４－１０９８７５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ２３／００

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

広角レンズを有し、この広角レンズの視野に捕えた対象空間を撮像して画像データを取得する撮像部と、
前記画像データを画像処理して前記対象空間における動きベクトルをセンシングする画像処理部と、
前記画像データのピクセル位置に応じて予め定められた補正量に基づいて、前記動きベクトルを補正する動きベクトル加工部とを具備する、画像センサ。

【請求項2】

前記画像処理部は、前記対象空間における在不在、人数、活動量、照度、歩行滞留、および前記動きベクトルを含むセンシング項目のうち複数のセンシング項目をセンシングする、請求項１に記載の画像センサ。

【請求項3】

さらに、前記センシングされた動きベクトルを蓄積する蓄積部を具備する、請求項１に記載の画像センサ。

【請求項4】

さらに、前記蓄積された動きベクトルを統計的に解析して統計解析データを生成する解析部を具備する、請求項３に記載の画像センサ。

【請求項5】

前記動きベクトル加工部は、前記統計解析データに基づいて、前記動きベクトルを補完する、請求項４に記載の画像センサ。

【請求項6】

さらに、前記動きベクトルまたは前記統計解析データの少なくともいずれか一方を加工して出力用データを生成するデータ加工部を具備する、請求項４または５のいずれか１項に記載の画像センサ。

【請求項7】

さらに、前記補正された動きベクトルを通信ネットワークに送出する通信部を具備する、請求項１に記載の画像センサ。

【請求項8】

さらに、前記統計解析データを通信ネットワークに送出する通信部を具備する、請求項４に記載の画像センサ。

【請求項9】

さらに、前記出力用データを通信ネットワークに送出する通信部を具備する、請求項６に記載の画像センサ。

【請求項10】

前記解析部は、前記統計解析データに基づいて、前記対象空間における混雑度を推定する、請求項４に記載の画像センサ。

【請求項11】

前記解析部は、前記統計解析データに基づいて、前記対象空間における群衆行動を推定する、請求項４に記載の画像センサ。

【請求項12】

前記解析部は、前記統計解析データに基づいて、前記対象空間におけるレイアウトを推定する、請求項４に記載の画像センサ。

【請求項13】

前記解析部は、前記統計解析データに基づいて、前記対象空間における待ち行列を推定する、請求項４に記載の画像センサ。

【請求項14】

広角レンズを有し、この広角レンズの視野に捕えた対象空間を撮像して画像データを取得するコンピュータにより実行されるセンシング方法であって、
前記コンピュータが、前記画像データを画像処理する過程と、
前記コンピュータが、前記画像処理の結果に基づいて、前記対象空間における動きベクトルをセンシングする過程と、
前記コンピュータが、前記画像データのピクセル位置に応じて予め定められた補正量に基づいて、前記動きベクトルを補正する過程とを具備する、センシング方法。

【請求項15】

広角レンズを有し、この広角レンズの視野に捕えた対象空間を撮像して画像データを取得する画像センサのコンピュータに、
前記画像データを画像処理する過程と、
前記画像処理の結果に基づいて、前記対象空間における動きベクトルをセンシングする過程と、
前記画像データのピクセル位置に応じて予め定められた補正量に基づいて、前記動きベクトルを補正する過程とを実行させる、プログラム。

【請求項16】

対象空間を撮像する請求項１乃至１３のいずれか１項に記載の画像センサと、
前記画像センサによる前記対象空間におけるセンシングの結果に基づいて、前記対象空間に設けられた機器を制御する制御装置とを具備する、制御システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像センサ、センシング方法、制御システム及びプログラムに関する。

【背景技術】

【0002】

近年の画像センサは、ＣＰＵ（Central Processing Unit）やメモリを備え、いわばレンズ付きの組み込みコンピュータといえる。高度な画像処理機能も有しており、撮影した画像データを分析して、例えば人間の在不在、あるいは人数などを計算することができる。この種の画像センサは、ビル管理システムと組み合わせて、快適性、居住性の向上や省エネルギー化の促進などに活用されようとしている。

【先行技術文献】

【特許文献】

【0003】

【文献】再公表ＷＯ２０１３／１８７０４７号公報

【文献】特許第５９０３６３４号明細書

【文献】特開２０１８－６７７５５号公報

【文献】特開２０１５－１９４９０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

既存の画像センサは、特定の場所の明るさや、人間の在不在、あるいは通過・滞在を検知できるに留まっていた。近年では、さらに多数の項目にわたる情報をセンシング可能な画像センサが望まれている。特に、視野内における動きベクトルをセンシング可能な画像センサが要望されている。

【0005】

そこで、目的は、センシング項目を増やして可用性を高めた画像センサ、センシング方法、制御システム及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

実施形態によれば、画像センサは、撮像部と、画像処理部とを具備する。撮像部は、対象空間を撮像して画像データを取得する。画像処理部は、画像データを画像処理して対象空間における動きベクトルをセンシングする。

【図面の簡単な説明】

【0007】

【図1】図１は、実施形態に係る画像センサを備えるセンシングシステムの一例を示す模式図である。

【図2】図２は、ビルのフロア内の一例を示す図である。

【図3】図３は、図１に示されるセンシングシステムの一例を示すブロック図である。

【図4】図４は、実施形態に係る画像センサの一例を示すブロック図である。

【図5】図５は、図４に示される画像処理部３３ａの基本的な処理手順を示すフローチャートである。

【図6】図６は、動きベクトルについて説明するための図である。

【図7】図７は、動きベクトルの表現の一例を示す図である。

【図8】図８は、動きベクトルの表現の他の例を示す図である。

【図9】図９は、実施形態に係る画像センサにおけるデータの流れの一例を示す図である。

【図10】図１０は、動きベクトルの補正について説明するための図である。

【図11】図１１は、図４に示される画像処理部３３ａの他の処理手順を示すフローチャートである。

【図12】図１２は、動きベクトルの加工について説明するための図である。

【図13】図１３は、動きベクトルの補完について説明するための図である。

【図14】図１４は、動きベクトルの補正について説明するための図である。

【図15】図１５は、動きベクトルに基づいて出力画像を修正する処理の一例を示す図である。

【発明を実施するための形態】

【0008】

画像センサは、人感センサ、明かりセンサあるいは赤外線センサ等に比べて多様な情報を取得することができる。魚眼レンズや超広角レンズなどを用いれば１台の画像センサで撮影可能な領域を拡大できるし、画像の歪みは計算処理で補正することができる。視野内のセンシングしたくない領域をマスク設定する機能や、学習機能を備えた画像センサも知られている。

【0009】

図１は、実施形態に係る画像センサを備えるセンシングシステムの一例を示す模式図である。図１において、照明機器１、空調機器２、および画像センサ３は、ビル１０の例えばフロアごとに設けられ、コントローラ４と通信可能に接続される。各階のコントローラ４は、ビル内ネットワーク５００を介して、例えばビル管理センタのＢＥＭＳ（Building Energy Management System）サーバ５と通信可能に接続される。ビル内ネットワーク５００の通信プロトコルとしてはBuilding Automation and Control Networking protocol（ＢＡＣｎｅｔ（登録商標））が代表的である。このほかＤＡＬＩ、ＺｉｇＢｅｅ（登録商標）、ＥＣＨＯＮＥＴ Ｌｉｔｅ（登録商標）等のプロトコルも知られている。

【0010】

ＢＥＭＳサーバ５は、例えばＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）ベースの通信ネットワーク３００経由で、クラウドコンピューティングシステム（クラウド）６００に接続されることができる。クラウド６００は、データベース７０およびサーバ８０を備え、ビル管理等に関するサービスを提供する。

【0011】

図２に示されるように、照明機器１、空調機器２の吹き出し口、および画像センサ３は各フロアの例えば天井に配設される。画像センサ３は、視野内に捕えた映像を撮影して画像データを取得する。この画像データは画像センサ３において処理され、人物情報、および／または環境情報が生成される。

【0012】

環境情報は、撮像対象の空間（ゾーン）の環境に関する情報であり、例えば、フロアの照度や温度等である。人物情報は、対象空間における人間に関する情報である。例えばエリア内の人数、人の行動、人の活動量、人の存在または不在を示す在不在、あるいは、人が歩いているか、または１つの場所に留まっているかを示す歩行滞留などが人物情報の例である。環境情報および人物情報を、ゾーンを複数に分割した小領域（エリア）ごとに算出することも可能である。
近年では、人の居住環境においてこれらの情報に基づき照明機器１や空調機器２を制御することで、人の快適性や安全性等を確保することが検討されている。

【0013】

図３は、図１に示されるセンシングシステムの一例を示すブロック図である。図３において、ＢＥＭＳサーバ５の配下に、空調機器２を制御する空調コントローラ４１、エレベータを制御するエレベーターコントローラ４２、防犯システムを制御する防犯コントローラ４３、防災システムを制御する防災コントローラ４４、および、照明機器１（１－１、１－２）を制御する照明コントローラ４５が、ビル内ネットワーク５００経由で接続される。

【0014】

また、ビル内ネットワーク５００に、保守端末２００、およびゲートウェイ７がＢＥＭＳサーバ５と通信可能に接続される。さらに、複数の画像センサ３（３－１～３－ｎ）が、ゲートウェイ７の配下に収容される。

【0015】

画像センサ３－１～３－ｎは、センサネットワーク１００により、一筆書き状に接続される（渡り配線）。センサネットワーク１００は、例えばＥｔｈｅｒＣＡＴ（登録商標）で画像センサ３－１～３－ｎおよびゲートウェイ７を通信可能に接続する。ＢＥＭＳサーバ５および保守端末２００も、ゲートウェイ７経由で画像センサ３－１～３－ｎと相互通信することが可能である。

【0016】

図４は、実施形態に係る画像センサ３の一例を示すブロック図である。画像センサ３は、撮像部としてのカメラ部３１と、メモリ３２、プロセッサ３３、および通信部３４を備える。これらは内部バス３５を介して互いに接続される。メモリ３２とプロセッサ３３を備えることで、画像センサ３はコンピュータとして機能する。

【0017】

カメラ部３１は、魚眼レンズ３１ａ、絞り機構３１ｂ、イメージセンサ３１ｃおよびレジスタ３０を備える。魚眼レンズ３１ａは、オフィスフロア内の空間（対象空間）を天井から見下ろす形で視野に捕え、イメージセンサ３１ｃに結像する。魚眼レンズ３１ａからの光量は絞り機構３１ｂにより調節される。イメージセンサ３１ｃは例えばＣＭＯＳ（相補型金属酸化膜半導体）センサであり、例えば毎秒３０フレームのフレームレートの映像信号を生成する。この映像信号はディジタル符号化され、画像データとして出力される。

【0018】

レジスタ３０は、カメラ情報３０ａを記憶する。カメラ情報３０ａは、例えばオートゲインコントロール機能の状態、ゲインの値、露光時間などの、カメラ部３１に関する情報、あるいは画像センサ３それ自体に関する情報である。

【0019】

メモリ３２は、ＳＤＲＡＭ（Synchronous Dynamic RAM）などの半導体メモリ、あるいはＥＰＲＯＭ（Erasable Programmable ROM）などの不揮発性メモリであり、カメラ部３１により取得された画像データ３２ａと、実施形態に係わる各種の機能をプロセッサ３３に実行させるためのプログラム３２ｂとを記憶する。さらにメモリ３２は、辞書データ３２ｃ、および動きベクトルデータ３２ｄを記憶する。

【0020】

辞書データ３２ｃは、センシング項目と特徴量とを対応づけたテーブル形式のデータであり、例えば機械学習（Machine-Learning）等の手法により生成することが可能である。辞書データ３２ｃを用いた例えばパターンマッチング処理により、対称空間における検出対称を識別することが可能である。

【0021】

動きベクトルデータ３２ｄは、プロセッサ３３の画像処理部３３ａにより生成された、対象空間における動きベクトルを示すデータである。動きベクトルデータ３２ｄは、例えば予め定められた期間（一日、一週間、あるいは一ヶ月など）にわたってメモリ３２に蓄積される。

【0022】

このほか、メモリ３２には、マスク設定データなどが記憶されてもよい。マスク設定データは、カメラ部３１に捕えられた視野のうち、画像処理する領域（画像処理の対象領域）と、画像処理しない領域（画像処理の非対象領域）とを区別するために用いられる。

【0023】

プロセッサ３３は、メモリ３２に記憶されたプログラムをロードし、実行することで、実施形態において説明する各種の機能を実現する。プロセッサ３３は、例えばマルチコアＣＰＵ（Central Processing Unit）を備え、画像処理を高速で実行することについてチューニングされたＬＳＩ（Large Scale Integration）である。ＦＰＧＡ（Field Programmable Gate Array）等でプロセッサ１５を構成することもできる。ＭＰＵ（Micro Processing Unit）もプロセッサの一つである。

【0024】

通信部３４は、センサネットワーク１００に接続可能で、ＢＥＭＳサーバ５、保守端末２００、および他の画像センサ３を含む通信相手先とのデータの授受を仲介する。通信のインタフェースは有線でも無線でもよい。通信ネットワークのトポロジはスター型、リング型など任意のトポロジを適用できる。通信プロトコルは汎用プロトコルでも、産業用プロトコルでもよい。単独の通信方法でもよいし、複数の通信方法を組み合わせてもよい。

【0025】

特に、通信部３４は、画像センサ３によるセンシングデータや、プロセッサ３３の処理結果、処理データ、パラメータ、画像データ、動きベクトルデータ、蓄積された過去の動きベクトルデータ、加工された動きベクトルデータ、統計解析データ、出力データ、パラメータ、辞書データ、ファームウェアなどを、通信ネットワークとしてのセンサネットワーク１００経由で送受信する。これにより、上記データや情報は、他の画像センサ３、ＢＥＭＳサーバ５、および保守端末２００等と、ビル内ネットワーク５００等を経由して共有されることが可能である。

【0026】

ところで、プロセッサ３３は、実施形態に係る処理機能として、画像処理部３３ａ、動きベクトル解析部３３ｂ、動きベクトル加工部３３ｃ、データ加工部３３ｄ、および、通知部３３ｅを備える。画像処理部３３ａ、動きベクトル解析部３３ｂ、動きベクトル加工部３３ｃ、データ加工部３３ｄ、および、通知部３３ｅは、メモリ３２に記憶されたプログラム３２ｂがプロセッサ３３のレジスタにロードされ、当該プログラムの進行に伴ってプロセッサ３３が演算処理を実行することで生成されるプロセスとして、理解され得る。つまりプログラム３２ｂは、画像処理プログラム、動きベクトル解析プログラム、動きベクトル加工プログラム、データ加工プログラム、および、通知プログラムを含む。

【0027】

画像処理部３３ａは、画像データ３２ａを画像処理して対象空間における動きベクトル（オプティカルフロー）をセンシングして、動きベクトルデータを生成する。この動きベクトルデータは、メモリ３２に蓄積される（動きベクトルデータ３２ｄ）。

【0028】

動きベクトルの解析に際して、画像データに特有の特徴量を利用することも可能である。特徴量としては、輝度勾配方向ヒストグラム（Histograms of Oriented Gradients：ＨＯＧ）、コントラスト、解像度、Ｓ／Ｎ比、および色調などがある。輝度勾配方向共起ヒストグラム（Co-occurrence HOG：Ｃｏ－ＨＯＧ）特徴量、Haar-Like特徴量なども特徴量として知られている。

【0029】

また、対象空間が複数のエリアに分割されていれば、画像処理部３３ａは、各エリアごとに動きベクトルをセンシングする。また、画像処理部３３ａは、在不在、人数、活動量、照度、歩行滞留、および前記動きベクトルを含むセンシング項目のうち複数のセンシング項目をセンシングする。複数のエリアごとに、これらの複数のセンシング項目を取得することもできる。さらに、画像処理部３３ａは、エリアをさらに複数に分割したブロックごとに各センシング項目をセンシングし、ブロックごとのセンシング結果を統合してエリアごとのセンシング結果を得る。

【0030】

動きベクトル解析部３３ｂは、メモリ３２に蓄積された動きベクトルデータ３２ｄを所定のアルゴリズムで統計的に解析して、統計解析データを生成する。
また、動きベクトル解析部３３ｂは、統計解析データに基づいて、動きベクトルの分布から対象空間の混雑度を推定する。動きベクトルが密に存在している個所は混雑し、疎に存在している個所は空いていると推定できる。また、混雑度の変化を解析し、混雑の原因を推定してもよい。例えば、ゆっくり歩く人が通過した後に、混雑が発生したなどと推定することができる。

【0031】

また、動きベクトル解析部３３ｂは、統計解析データに基づいて、前記対象空間における群衆行動を推定する。すなわち、動きベクトルをクラスタリングし、代表的な動きベクトルを算出することで、群衆の行動を推定する。例えば、駅のコンコースで、朝の人流と夜の人流を比較するなどのアプリケーションが考えられる。

【0032】

また、ビル内でエントランスや食堂などに向かう通路の人流を分析し、矢印表記などで誘導することで人の衝突を避けるといったアプリケーションが考えられる。さらに、人流の乱れを検知し、乱れの原因を推定できる。例えば、通路ですれ違うときに知り合いに気づき、通路を塞いで立ち話を始めるなどのアプリケーションが考えられる。。

【0033】

また、動きベクトル解析部３３ｂは、統計解析データに基づいて、対象空間のレイアウトを推定する。例えば、大きい動きが多いところは通路、小さい動きが多いところは工作机、などと推定することができる。小さい動きが少ないところは事務机などと推定することができる。

【0034】

また、動きベクトル解析部３３ｂは、統計解析データに基づいて、対象空間における待ち行列を推定する。すなわち、人物が待っている動き（歩行より小さく、オフィスワークより大きい動きで、動きの向きがランダム）を検出し、その分布から待ち行列を推定することができる。その際待機場所を指定し、その場所のみ推定してもよい。また、待機場所の位置やサイズが最適かどうかを診断してもよい。

【0035】

動きベクトル加工部３３ｃは、上記生成された統計解析データに基づいて、動きベクトルを補完する。また、動きベクトル加工部３３ｃは、上記生成された統計解析データに基づいて、動きベクトルを補正する 。

【0036】

データ加工部３３ｄは、動きベクトルまたは前記統計解析データの少なくともいずれか一方を加工して出力用データを生成する。

【0037】

通知部３３ｅは、算出された動きベクトルデータ３２ｄを、センサネットワーク１００、ゲートウェイ７、ビル内ネットワーク５００経由で保守端末２００、あるいはＢＥＭＳサーバ５に送信し、例えばシステム管理者に各種の情報を通知する。また、各種のセンシング結果に基づいて、例えば対象空間に混雑が発生したり、人流が乱れたり、設備の動きが異常になったなどの事象が検知されると、通知部３３ｅは、その旨を通信ネットワーク経由で管理者に通知する。

【0038】

図５は、図４に示される画像処理部３３ａの基本的な処理手順を示すフローチャートである。図５において、カメラ部３１で取得（ステップＳ１）された画像データ３２ａは、メモリ３２に一時的に記憶されたのち（ステップＳ２）、画像処理部３３ａに送られる。画像処理部３３ａは、画像データ３２ａを画像処理して、在不在判定（ステップＳ３）、人数推定（ステップＳ４）、活動量推定（ステップＳ５）、照度推定（ステップＳ６）、歩行滞留判定（ステップＳ７）、および動きベクトル算出（ステップＳ８）の各処理を実行し、これらの項目を画像データ３２ａからセンシングする。

【0039】

これらのセンシング項目の全てを常時、同時にセンシングしても良い。または、必要に応じて個別にセンシングしてもよい。項目ごとの処理の周期は、例えばフレーム周期に同期して全ての項目で同じであっても良いし、項目ごとに異なっていても良い。

【0040】

在不在については、例えば背景差分／フレーム間差分／人物認識などを用いて人物領域を抽出し、在不在を判定することができる。ゾーンがエリアに分割されていれば（エリア分割）、エリアごとに人物領域があるか否かを判定し、エリアごとの在不在を推定することができる。さらに、照明変動判定などによる誤検知抑制機能を持たせることも可能である。

【0041】

人数については、例えば背景差分／フレーム間差分／人物認識などを用いて人物領域を抽出し、人物領域から個人を検知して人数を推定することができる。エリア分割がある場合には、個人の位置を推定し、エリアごとに人数を推定することができる。

【0042】

活動量については、フレーム間差分などを用いて動き領域を抽出し、活動量を推定することができる。活動量を、例えば、無／小／中／大などのように複数の段階に分類しても良い。あるいはＭＥＴｓ（Metabolic equivalents）等の指標で活動量を表してもよい。さらに、エリア分割の設定があれば、エリアごとに動き領域を抽出し、エリアごとの活動量を推定することができる。

【0043】

照度については、画像データ３２ａと、ゲイン、露光時間などのカメラ情報に基づいて推定することができる。カメラ情報（３０ａ）は、カメラ部３１のレジスタ３０から取得することができる。エリア分割の設定があれば、エリアごとに画像を分割し、分割した画像とカメラ情報からエリアごとの照度を推定することができる。

【0044】

歩行滞留については、フレーム間差分などを用いて動き領域を抽出し、歩行滞留を判定することができる。エリア分割の設定があれば、エリアごとに動き領域を抽出し、エリアごとの歩行滞留を推定することができる。

【0045】

動きベクトルについては、画像データ３２ａを画像処理して、例えばブロックマッチング法、あるいは勾配法などのアルゴリズムにより、動きベクトルを算出することができる。例えば図６に示されるように、画像データに捉えられた対象をフレームごとにトレースし、その移動量を計算することで動きベクトルを算出することができる。図６（ａ）と図６（ｂ）の各フレームの差分を取れば、図６（ｃ）に示される動きベクトルが算出される。動きベクトルは、数値データで示されることができる、または、図７に示されるように、既定の座標系における矢印で表現されることができる。あるいは、図８に示されるように、動きベクトルを画像データで表現することも可能である。

【0046】

図８は、動きベクトルを色分けして表現可能なことを示す。図８におけるグラデーションはそれぞれ異なる色を示しており、異なるベクトルの向きに対応する。例えば図７の動きベクトルの向きは略２２５°であり、その向きの色（例えば青色）で表現されることができる。

【0047】

または、動きベクトルの色は、例えば、向きを４５°のステップ（刻み）で、大きさを１～８（０は動きなし）のステップで離散化して表現しても良い。または、大、中、小、無、で動きベクトルの大きさを表現してもよい。さらに、動きベクトルは、画像空間で表現してもよいし、実空間で表現してもよい。

【0048】

以上のようにして、各センシング項目のセンシングデータを得ることができる。通信部３４は、これらのセンシングデータや項目の算出に係る各種のパラメータなどをネットワークに送出する。

【0049】

図９は、実施形態に係る画像センサにおけるデータの流れの一例を示す図である。図９において、カメラ部３１で取得された画像データ３２ａはメモリ３２に一時的に記憶されたのち、プロセッサ３３の画像処理部３３ａに送られる。画像処理部３３ａは、画像データ３２ａを画像処理して、動きベクトルデータを生成する。得られた動きベクトルデータ３２ｄは、メモリ３２に蓄積される。

【0050】

動きベクトル解析部３３ｂは、画像処理部３３ａからの動きベクトルデータ、あるいは、メモリ３２に蓄積された動きベクトルデータ３２ｄを統計的に解析して、統計解析データを生成する。
統計解析は、現在の１個の動きベクトル、もしくは、蓄積した１個の動きベクトルから空間方向について解析してもよい。蓄積した複数個の動きベクトルから時間／時空間方向について解析してもよい。

【0051】

解析方法としては、動きベクトルの分布を解析したり、重ね合わせてヒートマップ解析したり、動きベクトルを重ね合わせて軌跡推定したりする。移動速度やその変化、移動距離などを推定し解析できる。また、工場の設備など、稼働状況を推定してもよい。

【0052】

動きベクトル加工部３３ｃは、統計解析データに基づいて動きベクトルデータを補完、あるいは補正する。例えば、魚眼レンズを使用することに伴って生じる画像の歪みに対応するため、動きベクトル加工部３３ｃは 、動きベクトルを補正する。例えば補正無しの状態で図１０（ａ）に示される動きベクトルは、歪み補正により図１０（ｂ）に示されるようになる。このような補正は、メモリ３２に蓄積された動きベクトルデータ３２ｄ、統計解析データ、あるいは、画像データのピクセル位置に応じて予め定められた補正量などに基づいて施される。

【0053】

データ加工部３３ｄは、動きベクトルまたは前記統計解析データの少なくともいずれか一方を加工して出力用データを生成する。

【0054】

通知部３３ｅは、算出された動きベクトルデータ３２ｄ、出力用データ、補完／補正された動きベクトル、混雑状況、人流の乱れ、設備異常、待ち行列などの事象を管理者に通知するための通知データを生成する。通信部３４は、生成された通知データをセンサネットワーク１００、ゲートウェイ７、ビル内ネットワーク５００経由で保守端末２００、あるいはＢＥＭＳサーバ５に送信する。

【0055】

図１１は、図４に示される画像処理部３３ａの他の処理手順を示すフローチャートである。図５と同様のブロックには同じ符号を付して示す。
図１１において、ステップＳ８で算出された動きベクトルデータはメモリ３２に蓄積される。動きベクトル解析部３３ｂは、蓄積されたデータ、あるいは画像処理部３３ａで算出されたリアルタイムの動きベクトルデータを解析して統計解析データを得る。動きベクトル加工部３３ｃは、統計解析データ、および動きベクトルデータに基づいて動きベクトルを加工する。

【0056】

図１２～図１４は、動きベクトルの加工について説明するための図である。図１２（ａ）、（ｂ）、（ｃ）は観測された動きベクトルを時系列で並べた例を示し、これらを接続することで、図１２（ｄ）の動きベクトルが生成される。

【0057】

図１３は、動きベクトルの補完について説明するための図である。図１３（ａ）および（ｃ）の間の動きベクトル（ｂ）が、何らかの原因により欠損したとしても、図１３（ａ）および（ｃ）の差分により図１３（ｄ）に示される動きベクトルが得られ、これによりデータ欠損を補うことができる。

【0058】

図１４は、動きベクトルの補正について説明するための図である。図１４（ａ）と図１４（ｃ）とを比較すると、図１４（ｂ）の動きベクトルにエラーのあることがわかる。そこで、図１４（ｂ）を破棄し、図１４（ａ）と図１４（ｃ）との差分である図１４（ｄ）に補正することで、データの不整合を防止することができる。

【0059】

図１５は、動きベクトルに基づいて出力画像を修正する処理の一例を示す図である。図１５（ａ）の原画像に、例えば図１５（ｂ）のように動きベクトルを示す矢印や動きの軌跡、あるいは色を重畳することで、動きベクトルを、いわば見える化することができる。図１５（ｃ）に示すように複数の動きベクトルを重ね合わせて、色分け（ハッチングで示す）したヒートマップ表示を行ってもよい。その際、画像を歪補正してもよい。

【0060】

原画像にはこのほか、統計解析の結果や混雑度などを色表現して、色を重畳してもよい。また、例えば１時間ごとのｃｓｖ（comma separated value）ファイルなどの統計ファイルを作成し、グラフ化してもよい。

【0061】

以上説明したようにこの実施形態では、画像センサ３において画像データを画像処理した結果に基づき、対象空間における動きベクトルをセンシングできるようにした。また、動きベクトルを統計解析し、統計解析データを生成するようにした。

【0062】

既存の画像センサは、主に照明制御向けの用途の限られたものであったので、センシング可能な項目が限られていた。せいぜい在不在、通過滞在、明るさを判定できるに過ぎず、空調用途のセンシングはできなかった。特に、動きベクトルを計算することができなかったので、きめ細かな制御を実現するためには同じゾーンに複数のセンサを設置する必要があり、システムコストや設置工数などが大きくなりがちであった。

【0063】

これに対し実施形態では、画像データから抽出された動き特徴量に基づいて動きベクトルを算出し、また、動きベクトルを統計的に解析して種々の情報を得られるようにした。これにより、ビル全体での複合的な用途にも適用可能な画像センサを提供できる。つまり、画像センサを照明制御だけでなく、空調制御の用途にも活用したいというニーズに応えることができる。

【0064】

従って実施形態によれば、歩行滞留を推定でき、センシング項目を増やして可用性を高めた画像センサ、センシング方法、制御システム及びプログラムを提供することが可能になる。

【0065】

また実施形態では、センシング結果を管理者などに通知する。例えば、混雑が発生した、人流が乱れた、設備の動きが異常になったなどの情報を管理者に通知することができる。また、センシング結果から制御指示を生成し、各種機器を制御してもよい。例えば、在不在／歩行滞留／推定照度による照明制御、推定人数／活動量による空調制御、指定人数によるエレベータ運行制御などに適用可能である。

【0066】

例えば、在不在／歩行滞留／推定照度による照明制御／空調制御の指示、推定人数／活動量による空調制御の指示、指定人数によるエレベータ運行制御の指示などといった、状態や状態変化の通知を送信することができる。これらは管理者に通知されるほか、ドアを開ける制御指示としても利用可能である。つまり、センシング結果を制御指示に変換してもよい。

【0067】

また、算出された動きベクトルから移動先の照明／空調／エレベータ／自動ドアを制御してもよい。さらに、例えば、無人機（オフィスならお掃除ロボット、工場なら搬送用ロボットなど）運用中に、人が近づいて来たら、警告音やロボットを停止させるという、衝突防止アプリケーションも考えられる。

【0068】

さらに、動きベクトルの解析結果を活用することで、オフィスや店舗、公共施設や工場などの改善を図ることができる。例えば以下のような応用が考えられる。
・会議室などの利用率を分析し、利用率の低い領域は、別用途に変更する。
・フリーアドレスのオフィスや兼務者の領域などの在席率を推定し、不要な領域は別用途に変更する。また、動線がスマートなレイアウトに変更する。
・人通りの多いところに広告を表示する。
・動線に合わせて店舗の関連商品を並べる。
本発明の実施形態を説明したが、この実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0069】

１…照明機器、２…空調機器、３…画像センサ、３－１～３－ｎ…画像センサ、４…コントローラ、５…ＢＥＭＳサーバ、７…ゲートウェイ、１０…ビル、１５…プロセッサ、３０…レジスタ、３０ａ…カメラ情報、３１…カメラ部、３１ａ…魚眼レンズ、３１ｂ…絞り機構、３１ｃ…イメージセンサ、３２…メモリ、３２ａ…画像データ、３２ｂ…プログラム、３２ｃ…辞書データ、３２ｄ…動きベクトルデータ、３３…プロセッサ、３３ａ…画像処理部、３３ｂ…動きベクトル解析部、３３ｃ…動きベクトル加工部、３３ｄ…データ加工部、３３ｅ…通知部、３４…通信部、３５…内部バス、４１…空調コントローラ、４２…エレベーターコントローラ、４３…防犯コントローラ、４４…防災コントローラ、４５…照明コントローラ、７０…データベース、８０…サーバ、１００…センサネットワーク、２００…保守端末、３００…通信ネットワーク、５００…ビル内ネットワーク、６００…クラウド。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】