特許 7005285 画像センサ、センシング方法、制御システム及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-01-07

(45)【発行日】2022-01-21

(54)【発明の名称】画像センサ、センシング方法、制御システム及びプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220114BHJP

   G03B 15/00 20210101ALI20220114BHJP

【ＦＩ】

H04N5/232 290

G03B15/00 Q

G03B15/00 S

【請求項の数】 18

(21)【出願番号】P 2017212106

(22)【出願日】2017-11-01

(65)【公開番号】P2019087787

(43)【公開日】2019-06-06

【審査請求日】2020-07-29

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100189913

【氏名又は名称】鵜飼 健

(72)【発明者】

【氏名】榎原 孝明

(72)【発明者】

【氏名】齋藤 禎敏

【審査官】中嶋 樹理

(56)【参考文献】

【文献】特開２０１６－１７１５２６（ＪＰ，Ａ）

【文献】特開２０１５－１８４２３３（ＪＰ，Ａ）

【文献】特開２０１５－０４３１８９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｇ０３Ｂ １５／００

(57)【特許請求の範囲】

【請求項1】

対象空間を撮像して画像データを取得する撮像部と、
前記撮像部の撮像範囲を画像処理の対象領域と非対象領域とに区分する領域設定部と、
前記対象領域の画像データを画像処理して前記対象空間における人物の歩行・滞留、在・不在、人数、活動量、および照度を含むセンシング項目のうち複数のセンシング項目をセンシングする画像処理部とを具備し、
前記領域設定部は、前記対象領域と前記非対象領域との区分を前記センシング項目ごとに設定し、
前記画像処理部は、前記複数のセンシング項目ごとに設定された対象領域の画像データを画像処理する、画像センサ。

【請求項2】

さらに、第１の前記センシング項目のセンシングに係わる情報を第２の前記センシング項目のセンシングに反映させる情報連携部を具備する、請求項１に記載の画像センサ。

【請求項3】

前記情報連携部は、前記在・不在のセンシング結果を、前記歩行・滞留、前記人数、前記活動量、および前記照度の少なくともいずれか１つのセンシングに反映させる、請求項２に記載の画像センサ。

【請求項4】

前記画像処理部は、第１の前記センシング項目のセンシング結果に基づいて、第２の前記センシング項目のセンシングに係わる判定ロジックを切り替える、請求項１に記載の画像センサ。

【請求項5】

前記画像処理部は、前記在・不在のセンシング結果に基づいて、前記歩行・滞留、前記人数、前記活動量、および前記照度の少なくともいずれか１つのセンシングに係わる判定ロジックを切り替える、請求項４に記載の画像センサ。

【請求項6】

前記画像データから前記対象空間における動き特徴量を抽出する抽出部をさらに具備し、
前記画像処理部は、前記動き特徴量に基づいて前記歩行・滞留をセンシングする、請求項１に記載の画像センサ。

【請求項7】

前記抽出部は、前記画像データから前記対象空間における動き領域を抽出し、
前記画像処理部は、前記動き領域に対して前記歩行・滞留を判定する、請求項６に記載の画像センサ。

【請求項8】

前記抽出部は、前記対象空間を分割した複数のエリアごとに前記動き領域を抽出し、
前記画像処理部は、前記エリアごとの前記動き領域に対して前記歩行・滞留を判定する、請求項７に記載の画像センサ。

【請求項9】

前記画像処理部は、前記対象空間を分割した複数のエリアごとに前記複数のセンシング項目をセンシングする、請求項１に記載の画像センサ。

【請求項10】

前記画像処理部は、前記エリアをさらに複数に分割したブロックごとに前記複数のセンシング項目をセンシングし、当該ブロックごとのセンシング結果を統合して前記エリアごとのセンシング結果を得る、請求項９に記載の画像センサ。

【請求項11】

前記画像処理部は、前記対象空間における個人を検出し、当該個人の検出の結果を前記在・不在、前記人数、前記活動量、または前記歩行・滞留のセンシング結果に反映させる、請求項１に記載の画像センサ。

【請求項12】

前記画像処理部は、前記対象空間において直前に滞在と判定されたエリアにおいて、前記歩行・滞留を前記滞在とセンシングする、請求項１に記載の画像センサ。

【請求項13】

前記画像処理部は、前記対象空間において直前に滞在と判定されたエリアにおいて不在が検出された場合に、前記歩行・滞留を通過とセンシングする、請求項１２に記載の画像センサ。

【請求項14】

前記歩行・滞留のセンシング結果に基づいて、前記対象空間における照明の点灯保持時間を制御する制御部をさらに具備する、請求項１に記載の画像センサ。

【請求項15】

前記センシングの結果を通信ネットワークに送出する通信部をさらに具備する、請求項１乃至１４のいずれか１項に記載の画像センサ。

【請求項16】

対象空間を撮像部で撮像して画像データを取得するコンピュータにより実行されるセンシング方法であって、
前記コンピュータが、前記撮像部の撮像範囲を画像処理の対象領域と非対象領域とに区分する過程と、
前記コンピュータが、前記対象領域の画像データを画像処理して前記対象空間における人物の歩行・滞留、在・不在、人数、活動量、および照度を含むセンシング項目のうち複数のセンシング項目をセンシングする過程と、
前記コンピュータが、前記対象領域と前記非対象領域との区分を前記センシング項目ごとに設定する過程と、
前記コンピュータが、前記複数のセンシング項目ごとに設定された対象領域の画像データを画像処理する過程とを具備する、センシング方法。

【請求項17】

対象空間を撮像して画像データを取得する撮像部を具備する画像センサのコンピュータに、
前記撮像部の撮像範囲を画像処理の対象領域と非対象領域とに区分する過程と、
前記対象領域の画像データを画像処理して前記対象空間における人物の歩行・滞留、在・不在、人数、活動量、および照度を含むセンシング項目のうち複数のセンシング項目をセンシングする過程と、
前記対象領域と前記非対象領域との区分を前記センシング項目ごとに設定する過程と、
前記複数のセンシング項目ごとに設定された対象領域の画像データを画像処理する過程とを実行させる、プログラム。

【請求項18】

対象空間を撮像する請求項１乃至１５のいずれか１項に記載の画像センサと、
前記画像センサによる前記対象空間におけるセンシングの結果に基づいて、前記対象空間に設けられた機器を制御する制御装置とを具備する、制御システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像センサ、センシング方法、制御システム及びプログラムに関する。

【背景技術】

【0002】

近年の画像センサは、ＣＰＵ（Central Processing Unit）やメモリを備え、いわばレンズ付きの組み込みコンピュータといえる。高度な画像処理機能も有しており、撮影した画像データを分析して、例えば人間の在・不在、あるいは人数などを計算することができる。この種の画像センサは、ビル管理システムと組み合わせて、快適性、居住性の向上や省エネルギー化の促進などに活用されようとしている。

【先行技術文献】

【特許文献】

【0003】

【文献】再公表ＷＯ２０１３／１８７０４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

既存の画像センサは、特定の場所の明るさや、人間の在・不在、あるいは通過・滞在を検知できるに留まっていた。近年では、さらに多数の項目にわたる情報をセンシング可能な画像センサが望まれている。特に、人間の活動量や、歩行・滞留などの指標を数値化することのできる画像センサが要望されている。

【0005】

そこで、目的は、センシング項目を増やして可用性を高めた画像センサ、センシング方法、制御システム及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

実施形態によれば、画像センサは、撮像部と、画像処理部とを具備する。撮像部は、対象空間を撮像して画像データを取得する。画像処理部は、画像データを画像処理して対象空間における人物の歩行・滞留をセンシングする。

【図面の簡単な説明】

【0007】

【図1】図１は、実施形態に係る画像センサを備えるビル管理システムの一例を示す模式図である。

【図2】図２は、ビルのフロア内の様子を例示する図である。

【図3】図３は、ビルにおける通信ネットワークの一例を示す図である。

【図4】図４は、実施形態に係る画像センサの一例を示すブロック図である。

【図5】図５は、第１の実施形態に係る画像センサにおけるデータの流れの一例を示す図である。

【図6】図６は、第１の実施形態に係る画像センサ３における処理手順の一例を示すフローチャートである。

【図7】図７は、第１の実施形態に係る画像センサ３における処理手順の他の例を示すフローチャートである。

【図8】図８は、画像センサ３における処理結果の一例を示す図である。

【図9】図９は、分割されたエリアごとの処理結果の一例を示す図である。

【図10】図１０は、第２の実施形態に係る画像センサにおけるデータの流れの一例を示す図である。

【図11】図１１は、第２の実施形態に係る画像センサ３における処理手順の一例を示すフローチャートである。

【図12】図１２は、魚眼レンズ３１ａに捕えられた対象領域の画像の一例を示す図である。

【図13】図１３は、図１２に示される画像にマスク領域を設定した状態の一例を示す図である。

【図14】図１４は、画像の端を処理対象外とするように設定されたマスクを模式的に示す図である。

【図15】図１５は、マスクの無い設定を模式的に示す図である。

【図16】図１６は、センシング項目ごとに異なるマスク領域を使用することを模式的に示す図である。

【図17】図１７は、ブロックに分割された対象領域を模式的に示す図である。

【発明を実施するための形態】

【0008】

画像センサは、人感センサ、明かりセンサあるいは赤外線センサ等に比べて多様な情報を取得することができる。魚眼レンズや超広角レンズなどを用いれば１台の画像センサで撮影可能な領域を拡大できるし、画像の歪みは計算処理で補正できる。画像センサに学習機能を持たせることも可能である。

【0009】

図１は、実施形態に係る画像センサを備えるビル管理システムの一例を示す模式図である。図１において、照明機器１、空調機器２、および画像センサ３は、ビル１００の各フロアごとに設けられ、制御装置４０と通信可能に接続される。各階の制御装置４０は、例えばビル管理センタ等に設けられるビル監視装置５０と、ビル内ネットワーク５００経由で通信可能に接続される。ビル内ネットワーク５００の通信プロトコルとしてはBuilding Automation and Control Networking protocol（ＢＡＣｎｅｔ（登録商標））が代表的である。

【0010】

ビル監視装置５０は、例えばＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）ベースの通信ネットワーク６００経由で、クラウドコンピューティングシステム（クラウド）２００に接続されることができる。クラウド２００は、サーバ３００およびデータベース４００を備え、ビル管理に関するサービスを提供する。

【0011】

図２に示されるように、照明機器１、空調機器２の吹き出し口、および画像センサ３は各フロアの例えば天井に配設される。画像センサ３は、視野内に捕えた映像を撮影して画像データを取得する。この画像データは画像センサ３において処理され、環境情報、および／または人物情報が生成される。これらの情報を利用して、照明機器１および空調機器２を制御することができる。

【0012】

画像センサ３は、画像データを処理し、環境情報および人物情報を取得する。環境情報は、撮像対象の空間（ゾーン）の環境に関する情報である。例えば、環境情報は、オフィスの照度や温度などを示す情報である。人物情報は、対象空間における人間に関する情報である。例えば、人物情報は、人の存在または不在（在・不在と称する）、人数、人の行動、人の活動量などを示す情報である。

【0013】

ゾーンを複数に分割した小領域のそれぞれを、エリアと称する。例えば環境情報および人物情報を、エリアごとに算出することが可能である。実施形態では、人物情報の一つとしての歩行・滞留について説明する。歩行・滞留とは、人が歩いているか、または１つの場所に留まっているかを示す情報である。

【0014】

図３は、ビル１００における通信ネットワークの一例を示す図である。図３において、照明機器１、空調機器２、および画像センサ３は信号線Ｌを介してデイジーチェーン状に接続される。このうち例えば一つの画像センサ３が、ゲートウェイ（ＧＷ）７－１を介してビル内ネットワーク５００に接続される。これにより全ての照明機器１、空調機器２、および画像センサ３が、ビル内ネットワーク５００経由でビル監視装置５に接続される。

【0015】

それぞれの画像センサ３は、ＬＡＮ（Local Area Network）１０、ハブ（Ｈｕｂ）６、およびゲートウェイ（ＧＷ）７－２経由でビル内ネットワーク５００に接続される。これにより画像センサ３で取得された画像データ、環境情報および人物情報は、信号線Ｌとは独立にビル内ネットワーク５００経由で制御装置４、表示装置１１およびビル監視装置５に伝送される。

【0016】

さらに、各画像センサ３は、ＬＡＮ１０経由で相互に通信することが可能である。
制御装置４は、画像センサ３から送られた環境情報および人物情報に基づき、照明機器１や空調機器２を制御するための制御情報を生成する。この制御情報はゲートウェイ７－１および信号線Ｌを介して照明機器１、空調機器２に送られる。
表示装置１１は、画像センサ３から取得した環境情報および人物情報、あるいはビル監視装置５から取得した各種の情報を視覚的に表示する。

【0017】

さらに、無線アクセスポイント８が、例えばゲートウェイ７－２に接続される。これにより、無線通信機能を備えたノートパソコン９等がゲートウェイ７－２経由で画像センサ３にアクセスすることができる。

【0018】

図４は、実施形態に係る画像センサ３の一例を示すブロック図である。画像センサ３は、撮像部としてのカメラ部３１と、メモリ３２、プロセッサ３３、および通信部３４を備える。これらは内部バス３５を介して互いに接続される。メモリ３２とプロセッサ３３を備えることで、画像センサ３はコンピュータとして機能する。

【0019】

カメラ部３１は、魚眼レンズ３１ａ、絞り機構３１ｂ、イメージセンサ３１ｃおよびレジスタ３０を備える。魚眼レンズ３１ａは、オフィスフロア内の空間（対象空間）を天井から見下ろす形で視野に捕え、イメージセンサ３１ｃに結像する。魚眼レンズ３１ａからの光量は絞り機構３１ｂにより調節される。イメージセンサ３１ｃは例えばＣＭＯＳ（相補型金属酸化膜半導体）センサであり、例えば毎秒３０フレームのフレームレートの映像信号を生成する。この映像信号はディジタル符号化され、画像データとして出力される。

【0020】

レジスタ３０は、カメラ情報３０ａを記憶する。カメラ情報３０ａは、例えばオートゲインコントロール機能の状態、ゲインの値、露光時間などの、カメラ部３１に関する情報、あるいは画像センサ３それ自体に関する情報である。

【0021】

メモリ３２は、ＳＤＲＡＭ（Synchronous Dynamic RAM）などの半導体メモリ、あるいはＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）などの不揮発性メモリであり、実施形態に係わる各種の機能をプロセッサ３３に実行させるためのプログラム３２ｂ、およびカメラ部３１により取得された画像データ３２ａなどを記憶する。さらにメモリ３２は、マスク設定データ３２ｃ、および辞書データ３２ｄを記憶する。

【0022】

マスク設定データ３２ｃは、カメラ部３１に捕えられた視野のうち、画像処理する領域（画像処理の対象領域）と、画像処理しない領域（画像処理の非対象領域）とを区別するために用いられるデータである。マスク設定データ３２ｃは、例えばノートパソコン９（図３）から通信部３４経由で各画像センサ３に設定することが可能である。
辞書データ３２ｄは、センシング項目と特徴量とを対応づけたテーブル形式のデータであり、例えば機械学習（Machine-Learning）等の手法により生成することが可能である。

【0023】

プロセッサ３３は、メモリ３２に記憶されたプログラムをロードし、実行することで、実施形態において説明する各種の機能を実現する。プロセッサ３３は、例えばマルチコアＣＰＵ（Central Processing Unit）を備え、画像処理を高速で実行することについてチューニングされたＬＳＩ（Large Scale Integration）である。ＦＰＧＡ（Field Programmable Gate Array）等でプロセッサ１５を構成することもできる。ＭＰＵ（Micro Processing Unit）もプロセッサの一つである。

【0024】

通信部３４は、信号線ＬおよびＬＡＮ１０に接続可能で、ビル監視装置５、ノートパソコン９、および他の画像センサ３を含む通信相手先とのデータの授受を仲介する。通信のインタフェースは有線でも無線でもよい。通信ネットワークのトポロジはスター型、リング型など任意のトポロジを適用できる。通信プロトコルは汎用プロトコルでも、産業用プロトコルでもよい。単独の通信方法でもよいし、複数の通信方法を組み合わせてもよい。

【0025】

特に、通信部３４は、画像センサ３によるセンシングの結果や、プロセッサ３３の処理結果、処理データ、パラメータなどを、通信ネットワークとしての信号線Ｌ、あるいはＬＡＮ１０に送出する。これにより、上記データや情報は、他の画像センサ３、ビル監視装置５、およびノートパソコン９等と、ビル内ネットワーク５００等を経由して共有されることが可能である。

【0026】

ところで、プロセッサ３３は、実施形態に係る処理機能として、動き抽出部３３ａ、画像処理部３３ｂ、情報連携部３３ｃ、およびマスク設定部３３ｄを備える。動き抽出部３３ａ、画像処理部３３ｂ、情報連携部３３ｃ、およびマスク設定部３３ｄは、メモリ３２に記憶されたプログラム３２ｂがプロセッサ３３のレジスタにロードされ、当該プログラムの進行に伴ってプロセッサ３３が演算処理を実行することで生成されるプロセスとして、理解され得る。つまりプログラム３２ｂは、動き抽出プログラム、画像処理プログラム、情報連携プログラム、およびマスク設定プログラム、を含む。

【0027】

動き抽出部３３ａは、メモリ３２に蓄積された画像データ３２ａを所定のアルゴリズムで画像処理して、対象空間における動き特徴量を抽出する。例えば、画像データに含まれるフレームの輝度の変化をピクセルごとにトレースし、その時系列を分析することで動き特徴量を計算することができる。特徴量としては、輝度勾配方向ヒストグラム（Histograms of Oriented Gradients：ＨＯＧ）、コントラスト、解像度、Ｓ／Ｎ比、および色調などがある。輝度勾配方向共起ヒストグラム（Co-occurrence HOG：Ｃｏ－ＨＯＧ）特徴量、Haar-Like特徴量なども特徴量として知られている。

【0028】

動き抽出部３３ａは、特に、カメラ部３１の視野内における物体の動きを示す動き特徴量を抽出する。また動き抽出部３３ａは、画像データ３２ａから、例えばフレーム間差分法により対象空間における動き領域を抽出する。さらに、動き抽出部３３ａは、対象空間を分割した複数のエリアごとに動き領域を抽出することもできる。

【0029】

画像処理部３３ｂは、画像データ３２ａを画像処理して対象空間における人物の歩行・滞留をセンシングする。画像処理部３３ｂは、例えば、動き抽出部３３ａにより抽出された動き特徴量に基づいてルールベースによる識別処理、あるいは機械学習による識別処理により、歩行・滞留をセンシングする。動き抽出部３３ａにより動き領域が抽出されていれば、画像処理部３３ｂは、当該動き領域に対して歩行・滞留を判定する。さらに、対象空間が複数のエリアに分割されていれば、画像処理部３３ｂは、各エリアごとの動き領域に対して歩行・滞留を判定する。

【0030】

また、画像処理部３３ｂは、歩行・滞留、在・不在、人数、活動量、照度のうち複数のセンシング項目をセンシングする。複数のエリアごとに、これらの複数のセンシング項目を判定することもできる。また、画像処理部３３ｂは、在・不在のセンシング結果に基づいて、歩行・滞留、人数、活動量、および照度の少なくともいずれか１つのセンシングに係わる判定ロジックを切り替える。

【0031】

また、画像処理部３３ｂは、エリアをさらに複数に分割したブロックごとに各センシング項目をセンシングし、ブロックごとのセンシング結果を統合してエリアごとのセンシング結果を得る。また、画像処理部３３ｂは、対象空間における個人を検出し、当該個人の検出の結果を在・不在、人数、活動量、または歩行・滞留のセンシング結果に反映させる。

【0032】

また、画像処理部３３ｂは、対象空間において滞在を判定されたエリアにおいて、歩行・滞留を前記滞在とセンシングする。逆に、前回処理で滞在を判定されたエリアにおける在・不在の判定結果が不在であれば、画像処理部３３ｂは、当該エリアにおける歩行・滞留に関して通過とセンシングする。

【0033】

情報連携部３３ｃは、画像処理部３３ｂによりセンシングされた歩行・滞留、在・不在、人数、活動量、照度のいずれかのセンシング項目に係わる情報を、他のセンシング項目のセンシングに反映させる。例えば、情報連携部３３ｃは、在・不在のセンシング結果を、歩行・滞留、人数、活動量、および照度の少なくともいずれか１つのセンシングに反映させる。

【0034】

領域設定部としてのマスク設定部３３ｄは、カメラ部３１の撮像範囲を画像処理の対象領域と非対象領域（マスク領域）とに区分し、各エリアの座標などのデータをマスク設定データ３２ｃに設定する。マスク領域が設定されると、画像処理部３３ｂは、マスキングされていない領域（対象領域）の画像データを画像処理する。

【0035】

特に、マスク設定部３３ｄは、歩行・滞留、在・不在、人数、活動量、照度の各センシング項目ごとにマスク領域を設定する。画像処理部３３ｂは、各センシング項目ごとに設定された対象領域（非マスク領域）の画像データを画像処理する。次に、上記構成を基礎として複数の実施形態を説明する。

【0036】

［第１の実施形態］
図５は、第１の実施形態に係る画像センサにおけるデータの流れの一例を示す図である。図５において、カメラ部３１で取得された画像データ３２ａは、メモリ３２に一時的に記憶されたのち、プロセッサ３３の動き抽出部３３ａに送られる。動き抽出部３３ａは、画像データ３２ａを画像処理して、動き特徴量を抽出する。抽出された動き特徴量は、画像処理部３３ｂに渡される。

【0037】

画像処理部３３ｂは、在・不在、推定人数（人数）、活動量、推定照度（照度）、および歩行・滞留の５種類の項目を画像データ３２ａからセンシングする。これらのセンシング項目の全てを常時、同時に全項目をセンシングしても良い。または、必要に応じて個別にセンシングしてもよい。項目ごとの処理の周期は、例えばフレーム周期に同期して全ての項目で同じであっても良いし、項目ごとに異なっていても良い。

【0038】

在・不在については、例えば背景差分／フレーム間差分／人物認識などを用いて人物領域を抽出し、在・不在を判定することができる。ゾーンがエリアに分割されていれば（エリア分割）、エリアごとに人物領域があるか否かを判定し、エリアごとの在・不在を推定することができる。さらに、照明変動判定などによる誤検知抑制機能を持たせることも可能である。

【0039】

推定人数については、例えば背景差分／フレーム間差分／人物認識などを用いて人物領域を抽出し、人物領域から個人を検知して人数を推定することができる。エリア分割がある場合には、個人の位置を推定し、エリアごとに人数を推定することができる。

【0040】

活動量については、フレーム間差分などを用いて動き領域を抽出し、活動量を推定することができる。活動量を、例えば、無／小／中／大などのように複数の段階に分類しても良い。あるいはＭＥＴｓ（Metabolic equivalents）等の指標で活動量を表してもよい。さらに、エリア分割の設定があれば、エリアごとに動き領域を抽出し、エリアごとの活動量を推定することができる。

【0041】

推定照度については、画像データ３２ａと、ゲイン、露光時間などのカメラ情報に基づいて推定することができる。カメラ情報（３０ａ）は、カメラ部３１のレジスタ３０から取得することができる。エリア分割の設定があれば、エリアごとに画像を分割し、分割した画像とカメラ情報からエリアごとの照度を推定することができる。

【0042】

歩行・滞留については、フレーム間差分などを用いて動き領域を抽出し、歩行・滞留を判定することができる。エリア分割の設定があれば、エリアごとに動き領域を抽出し、エリアごとの歩行・滞留を推定することができる。

【0043】

以上のようにして、各センシング項目のセンシングデータを得ることができる。通信部３４は、カメラ部３１、動き抽出部３３ａ、画像処理部３３ｂの処理結果や処理データ、センシングデータ、パラメータなどをネットワークに送出する。

【0044】

図６は、第１の実施形態に係る画像センサ３における処理手順の一例を示すフローチャートである。画像センサ３は、カメラ部３１により画像データを取得し（ステップＳ１）、メモリ３２にこの画像データ３２ａを記憶する（ステップＳ２）。次に、画像センサ３は、画像データ３２ａを画像処理し、その結果に基づいて、対象空間における人物の在・不在を判定し（ステップＳ３）、人数を推定し（ステップＳ４）、活動量を推定し（ステップＳ５）、照度を推定し（ステップＳ６）、歩行・滞留をセンシングする（ステップＳ７）。

【0045】

図７は、第１の実施形態に係る画像センサ３における処理手順の他の例を示すフローチャートである。図７において、画像センサ３は、メモリ３２に蓄積された画像データ３２ａを画像処理して、在・不在のセンシング結果を得る（ステップＳ９）。そして画像センサ３は、在・不在の判定の結果に基づいて判定ロジックを切り替え、人数、活動量、照度および歩行・滞留を推定する（ステップＳ４、Ｓ５、Ｓ６、Ｓ７）。

【0046】

例えば、前状態が不在であれば在と判定しにくくなるロジックを選択することで誤検知を抑制することができる。逆に、前状態が在であれば在と判定しやすくなるロジックを選択し、未検知を抑制することができる。。

【0047】

また、不在と判定されたエリアでは人数推定、活動量推定、照度推定、歩行・滞留判定を行わないというロジックを設定することもできる。例えば在・不在の判定結果が“不在”であれば人数は０人であり、活動量も無であることが画像処理の結果を得るまでもなく判定できる。これにより計算リソースの削減などの効果を得られる。

【0048】

図８は、画像センサ３における処理結果の一例を示す図である。図８においては、在・不在として“在”、人数として“一人”、活動量として“中”、照度として“５００ｌｘ（ルクス）”、歩行・滞留として“歩行”の、各センシング結果が得られている。

【0049】

図９は、分割されたエリアごとの処理結果の一例を示す図である。図９において、例えばエリア４に着座者が存在するので、そのエリアの照明は明るく調光されている。つまり推定照度は高い（５００ｌｘ）。また、エリア１、３には歩行者がいるので、照明は暗く調光されている。つまり推定照度が低いことが分かる。

【0050】

以上説明したようにこの実施形態では、画像センサ３において画像データを画像処理した結果に基づき、対象空間における歩行・滞留をセンシングできるようにした。歩行・滞留は、例えば照明制御に係わる保持時間の制御に活用することができる。例えば、制御部としてのプロセッサ３３の制御に基づいて、歩行をセンシングされたエリアで不在になれば照明の点灯保持時間を短くする。このようにすることで、照明制御の省エネ性を向上させることができる。逆に、滞留をセンシングされたエリアで不在になれば、照明の点灯保持時間を長くするとよい。

【0051】

既存の画像センサは、主に照明制御向けの用途の限られたものであったので、センシング可能な項目が限られていた。せいぜい在・不在、通過・滞在、明るさを判定する機能を備えるに過ぎず、推定人数や活動量などの、空調用途のセンシングはできなかった。特に、歩行・滞留を検知することができなかったので、きめ細かな制御を実現するためには同じゾーンに複数のセンサを設置する必要があり、システムコストや設置工数などが大きくなりがちであった。

【0052】

これに対し第１の実施形態では、画像データから抽出された動き特徴量に基づいて歩行・滞留という新たなセンシング項目を判定できるようにしたので、ビル全体での複合的な用途にも適用可能な画像センサを提供できる。つまり、画像センサを照明制御だけでなく、空調制御の用途にも活用したいというニーズに応えることができる。

【0053】

また、既存の画像センサには、例えば「連続的に取得された画像間の差分画像」を使用するものがあった。この方式では人の移動を伴わない画像変化が発生するので誤判定の可能性がある。これに対し第１の実施形態では、動き特徴量を用いていることから、画像フレーム間の単純な差分情報を用いる従来方式に比べて誤判定の可能性を低減することができる。

【0054】

これらのことから第１の実施形態によれば、歩行・滞留を推定でき、センシング項目を増やして可用性を高めた画像センサ、センシング方法、制御システム及びプログラムを提供することが可能になる。

【0055】

［第２の実施形態］
次に、第２の実施形態について説明する。図中、第１の実施形態と共通の要素については同じ符号を付して示す。
図１０は、第２の実施形態に係る画像センサにおけるデータの流れの一例を示す図である。図１０において、カメラ部３１で取得された画像データ３２ａは、メモリ３２に一時的に記憶されたのち、プロセッサ３３の動き抽出部３３ａに送られる。動き抽出部３３ａは、画像データ３２ａを画像処理して、動き特徴量を抽出する。抽出された動き特徴量は、画像処理部３３ｂに渡される。

【0056】

画像処理部３３ｂは、在・不在、推定人数（人数）、活動量、推定照度（照度）、および歩行・滞留の５種類の項目を画像データ３２ａからセンシングする。これらのセンシング項目のセンシング結果は情報連携部３３ｃに渡される。情報連携部３３ｃは各項目のセンシング結果を連携させ、或る１つの項目のセンシングに係わる情報を、他の少なくとも１つのセンシング項目のセンシングに反映させる。

【0057】

例えば、在・不在のセンシング結果を、人数、活動量、照度、および歩行・滞留の少なくともいずれか１つのセンシングに反映させることができる。各項目の連携により得られたセンシング結果は通信部３４に渡され、制御装置４（図３）、ビル監視装置５、ノートパソコン９および他の画像センサ３等と共有されることができる。

【0058】

図１１は、第２の実施形態に係る画像センサ３における処理手順の一例を示すフローチャートである。情報連携部３３ｃは、ステップＳ３～ステップＳ７で得られた各項目のセンシングデータを連携させる（ステップＳ２０）。例えば、在・不在の判定結果が“不在”であれば、推定人数を０人、活動量を無とする。さらに、推定照度を固定値とし、歩行・滞在については前状態を維持する。

【0059】

また、推定人数が０人であれば在・不在の判定結果を不在とし、推定人数が１人以上であれば当該判定結果を在とする。また、活動量が小であれば、歩行・滞留については滞留と判定でき、活動量が中以上なら歩行と判定できる。さらに、人数推定で使用された位置情報から、エリアごとの在・不在を判定することができる。

【0060】

このように第２の実施形態では、複数のセンシング項目のセンシング結果を単独で結論付けるのではなく、情報連携部３３ｃにより、他のセンシング項目の結果に反映させるようにした。これにより状態の推定の精度を向上させることが可能になる。

【0061】

［第３の実施形態］
第３の実施形態では、マスク設定部３３ｄによるマスク領域の設定について説明する。
図１２は、魚眼レンズ３１ａに捕えられた対象領域の画像を示す。マスク領域を設定することにより、図１３に示されるように視野の一部が処理対象から除外され、窓からの余計な明かり等が検知されないように設定することができる。

【0062】

図１４に模式的に示されるように、画像の端を処理対象外とするように設定されたマスクを“マスクＡ”とし、図１５のように画像全体が処理対象、つまりマスクの無い設定を“マスクＢ”とする。マスク設定部３３ｄは、これら複数の種類にわたるマスク領域を、歩行・滞留、在・不在、人数、活動量、照度の各センシング項目ごとに設定する。項目ごとのマスキングの設定は、例えば図３のノートパソコン９から与えることができ、図４のマスク設定データ３２ｃに記憶される。画像処理部３３ｂは、センシング項目ごとに設定された処理対象領域の画像データを画像処理する。

【0063】

図１６に示されるように、例えば、在・不在、人数、照度のセンシングにおいてはマスクＡを使用する。このように照明制御エリアなどに依存する項目についてはエリアに合わせてマスクすることで誤検知を抑制する。例えば人物の像の足だけが検知されることになるが、在・不在、人数、照度のセンシングにおいては問題ない。

【0064】

一方、活動量、歩行・滞留のセンシングにおいてはマスクＢを使用する。このように処理対象範囲の位置に依存しない項目については、マスクを無しとするか、または、処理範囲が広くなるようにマスクする。このようにすることで、人物の全身の動きや、処理対象領域外からの移動軌跡などを用いた画像処理を実施できるようにし、処理精度の向上を図れる。

【0065】

以上のように第３の実施形態では、マスク領域をセンシング項目ごとに個別に設定できるようにした。既存の技術ではこのような設定を行うことができず、全てのセンシング項目で同じマスク設定を使わざるを得なかったので精度の劣化や処理リソースの圧迫などがもたらされていた。これに対し第３の実施形態では、形状、サイズ、設定領域などを最適化したマスクをセンシング項目ごとに選択することができ、精度の向上や処理リソースの効率化の促進などの効果を得ることができる。

【0066】

なお、この発明は上記実施の形態に限定されるものではない。例えば、図９に示されるようなエリアをさらに複数に分割したブロックごとに、複数のセンシング項目をセンシングし、各ブロックごとのセンシング結果を統合してエリアごとのセンシング結果を得るようにしても良い。

【0067】

図１７は、ブロックに分割された対象領域を模式的に示す図である。複数のブロックで人物の一人分の広さをカバーできる程度に、ブロックのサイズを設定すると良い。図１７においては、歩行と判定された３つのブロックがあり、滞留と判定された４つのブロックがある。画像処理部３３ｂは、例えば多数決によりブロックごとのセンシング結果を統合し、画像フレーム全体でのセンシング結果を得る。多数決によれば、滞留ブロックの数が多いので、図１７の状態は“滞留”と判定される。このほか、平均や最小、最大や重み付け和などの手法によりセンシング結果を統合することができる。

【0068】

また、背景差分／フレーム間差分／人物認識などを用いて人物領域を抽出し、人物領域から個人を検知して追跡し、移動軌跡から歩行・滞留を判定するようにしてもよい。エリア分割がある場合は、エリアごとに存在する個人の移動軌跡を統合して、エリアごとに歩行・滞留を判定することが可能である。
ようにする。

【0069】

本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0070】

１…照明機器、２…空調機器、３…画像センサ、４…制御装置、５…ビル監視装置、６…ハブ、７－１…ゲートウェイ、７－２…ゲートウェイ、８…無線アクセスポイント、９…ノートパソコン、１１…表示装置、１４…請求、１５…プロセッサ、３０…レジスタ、３０ａ…カメラ情報、３１…カメラ部、３１ａ…魚眼レンズ、３１ｂ…絞り機構、３１ｃ…イメージセンサ、３２…メモリ、３２ａ…画像データ、３２ｂ…プログラム、３２ｃ…マスク設定データ、３２ｄ…辞書データ、３３…プロセッサ、３３ａ…動き抽出部、３３ｂ…画像処理部、３３ｃ…情報連携部、３３ｄ…マスク設定部、３４…通信部、３５…内部バス、４０…制御装置、５０…ビル監視装置、１００…ビル、２００…クラウド、３００…サーバ、４００…データベース、５００…ビル内ネットワーク、６００…通信ネットワーク。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】