特許 7419095 画像センサ、計算装置、および画像センサシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-12

(45)【発行日】2024-01-22

(54)【発明の名称】画像センサ、計算装置、および画像センサシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240115BHJP

   G06T 3/047 20240101ALI20240115BHJP

   H04N 23/60 20230101ALI20240115BHJP

   H04N 23/695 20230101ALI20240115BHJP

【ＦＩ】

G06T7/00 660B

G06T3/00 710

H04N23/60 500

H04N23/698

【請求項の数】 12

(21)【出願番号】P 2020024263

(22)【出願日】2020-02-17

(65)【公開番号】P2021128678

(43)【公開日】2021-09-02

【審査請求日】2022-07-20

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】榎原 孝明

【審査官】伊知地 和之

(56)【参考文献】

【文献】特開２０２０－０１０２０４（ＪＰ，Ａ）

【文献】特開２０１２－０８３９３８（ＪＰ，Ａ）

【文献】特開２０１９－１２１０４５（ＪＰ，Ａ）

【文献】特開２０１５－１８４９０８（ＪＰ，Ａ）

【文献】特開２００８－１４２８７６（ＪＰ，Ａ）

【文献】特開２０００－３２２５７４（ＪＰ，Ａ）

【文献】特開２０１８－１８２６２４（ＪＰ，Ａ）

【文献】特開２０１９－０８７７８７（ＪＰ，Ａ）

【文献】特開平１０－０９１７９４（ＪＰ，Ａ）

【文献】特開２００８－１６５４９６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ３／００ － ３／６０

Ｇ０６Ｔ ５／００ － ５／５０

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

Ｈ０４Ｎ ２３／００

Ｈ０４Ｎ ２３／４０ － ２３／７６

Ｈ０４Ｎ ２３／９０ － ２３／９５９

Ｈ０４Ｎ ７／１８

ＣＳＤＢ（日本国特許庁）

(57)【特許請求の範囲】

【請求項1】

エリアを撮像して画像データを取得する撮像部と、
前記取得された画像データのＣｏＨＯＧ特徴量に対して回転処理を施して正規化して変換データを作成する変換部と、
前記変換データに基づく機械学習により辞書データを作成する作成部と、
前記辞書データを用いて前記変換データを処理して、前記エリアにおけるセンシングデータを生成する画像処理部とを具備する、画像センサ。

【請求項2】

前記撮像部は、
前記エリアを見下し画角で視野内に捉える魚眼レンズと、
前記魚眼レンズから結像された像を撮像して前記画像データを生成するイメージセンサとを備える、請求項１に記載の画像センサ。

【請求項3】

画像データ内で向きが異なるという条件ごとに、または、画像データ内でサイズが異なるという条件ごとに予め作成された複数の辞書データを記憶する記憶部をさらに具備し、 前記変換部は、前記取得された画像データを前記複数の辞書データごとに応じて変換して変換データを作成し、
前記画像処理部は、前記異なる条件ごとの辞書データを用いて前記変換データを処理して前記センシングデータを生成する、請求項１に記載の画像センサ。

【請求項4】

前記変換部は、前記取得された画像データを変換して、当該取得された画像データよりも多数の変換データを作成する、請求項１に記載の画像センサ。

【請求項5】

前記センシングデータは、
前記エリアにおける異常状態の人物のセンシングデータを含む、請求項１に記載の画像センサ。

【請求項6】

前記センシングデータは、
さらに、前記エリアにおける通常状態の人物のセンシングデータ、および当該エリアの環境情報の少なくともいずれか１つを含む、請求項５に記載の画像センサ。

【請求項7】

前記異常状態の人物のセンシングデータと、前記エリアにおける通常状態の人物のセンシングデータ、および当該エリアの環境情報の少なくともいずれか１つとを統合的に判定した結果に基づいて、当該異常状態の人物のセンシングデータを生成する統合処理部をさらに具備する、請求項６に記載の画像センサ。

【請求項8】

エリアを撮像して画像データを取得する画像センサから前記画像データを取得する取得部と、
前記取得された画像データのＣｏＨＯＧ特徴量に対して回転処理を施して正規化して変換データを作成する変換部と、
前記変換データに基づく機械学習により辞書データを作成する作成部と、
前記作成された辞書データを前記画像センサに送信する送信部とを備える、計算装置。

【請求項9】

対象をセンシングする複数の画像センサと、
前記画像センサと通信可能な計算装置とを具備し、
前記画像センサは、
エリアを撮像して画像データを取得する撮像部と、
前記取得された画像データのＣｏＨＯＧ特徴量に対して回転処理を施して正規化して変換データを作成する変換部と、
検知対象について予め作成された辞書データを記憶する記憶部と、
前記辞書データを用いて前記変換データを処理して、前記エリアにおけるセンシングデータを生成する画像処理部とを備え、
前記計算装置は、
前記画像センサから前記変換データを取得する取得部と、
前記変換データに基づく機械学習により辞書データを作成する作成部と、
前記作成された辞書データを前記画像センサに送信する送信部とを備える、画像センサシステム。

【請求項10】

前記撮像部は、
前記エリアを見下し画角で視野内に捉える魚眼レンズと、
前記魚眼レンズから結像された像を撮像して前記画像データを生成するイメージセンサとを備える、請求項９に記載の画像センサシステム。

【請求項11】

前記記憶部は、画像データ内で向きが異なるという条件ごとに、または、画像データ内でサイズが異なるという条件ごとに予め作成された複数の辞書データを記憶し、
前記変換部は、前記取得された画像データを前記複数の辞書データごとに応じて変換して変換データを作成し、
前記画像処理部は、前記異なる条件ごとの辞書データを用いて前記変換データを処理して前記センシングデータを生成する、請求項９に記載の画像センサシステム。

【請求項12】

前記変換部は、前記取得された画像データを変換して、当該取得された画像データよりも多数の変換データを作成する、請求項９に記載の画像センサシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像センサ、計算装置、および画像センサシステムに関する。

【背景技術】

【0002】

近年の画像センサは、ＣＰＵ（Central Processing Unit）やメモリを備え、いわばレンズ付きの組み込みコンピュータといえる。高度な画像処理機能も有しており、撮影した画像データを分析して、例えば人間の在不在、あるいは人数などを計算することができる。この種の画像センサは、ビル管理システムと組み合わせて、快適性、居住性の向上や省エネルギー化の促進などに活用されようとしている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第４６６７５０８号明細書

【文献】特許第５７３９７２２号明細書

【発明の概要】

【発明が解決しようとする課題】

【0004】

セキュリティシステム等で用いられる既存の監視カメラは、斜め見下し画角で据え付けられた望遠カメラにより、異常状態の人物（倒れているなど）を検知するものであった。しかしながら斜め見下し画角で撮影された画像は汎用性に乏しく、他の用途への転用が効かない。真下見下し画角のもとで取得した画像データを解析して多様なセンシングデータを得る画像センサにおいても、例えば異常状態の人物を検知できるようにすることが望まれる。

【0005】

そこで、目的は、画角によらずセンシングデータを正確に検知できるようにした画像センサ、計算装置、および画像センサシステム、を提供することにある。

【課題を解決するための手段】

【0006】

実施形態によれば、画像センサは、撮像部、記憶部、変換部、および画像処理部を備える。撮像部は、エリアを撮像して画像データを取得する。記憶部は、検知対象について予め作成された辞書データを記憶する。変換部は、取得された画像データ、または、当該画像データから抽出された特徴量を辞書データに応じて変換して変換データを作成する。画像処理部は、辞書データを用いて変換データを処理して、エリアにおけるセンシングデータを生成する。

【図面の簡単な説明】

【0007】

【図1】図１は、実施形態に係る画像センサを備える画像センサシステムの一例を示す模式図である。

【図2】図２は、ビルのフロア内の一例を示す図である。

【図3】図３は、図１に示される画像センサシステムの一例を示すブロック図である。

【図4】図４は、実施形態に係る画像センサの一例を示すブロック図である。

【図5】図５は、画像センサ３の基本的な処理手順を示すフローチャートである。

【図6】図６は、画像センサ３におけるデータの流れの一例を示す図である。

【図7】図７は、実施形態に係るゲートウェイ装置７の一例を示すブロック図である。

【図8】図８は、画像センサ３で取得された画像データの一例を示す図である。

【図9】図９は、画像センサ３で取得された画像データの視野をパノラマ化して得られる学習画像の一例を示す図である。

【図10】図１０は、画像センサ３で取得された画像データを回転して得られる学習画像の一例を示す図である。

【図11】図１１は、画像センサ３で取得された画像データを縮小して得られる学習画像の一例を示す図である。

【図12】図１２は、画像センサ３で取得された画像データを拡大して得られる学習画像の一例を示す図である。

【図13】図１３は、画像センサ３の視野の歪みを補正して得られる学習画像の一例を示す図である。

【図14】図１４は、特徴量に対して変換処理を施す一例を示す図である。

【図15】図１５は、画像データに含まれる、向きの異なる学習画像の一例を示す図である。

【図16】図１６は、画像データに含まれる、サイズの異なる学習画像の一例を示す図である。

【図17】図１７は、人物の異なる姿勢、向きごとに学習データを作成できることの一例を示す図である。

【図18】図１８は、分割した画像データの各領域ごとに、学習データを作成できることを説明するための図である。

【図19】図１９は、分割したパノラマ画像の各領域ごとに、学習データを作成できることを説明するための図である。

【図20】図２０は、回転により学習画像の数を増やせることを説明するための図である。

【図21】図２１は、位置をわずかにずらすことにより学習画像の数を増やせることを説明するための図である。

【発明を実施するための形態】

【0008】

画像センサは、人感センサ、明かりセンサあるいは赤外線センサ等に比べて多様な情報を取得することができる。魚眼レンズや超広角レンズなどを用いれば１台の画像センサで撮影可能な領域を拡大できるし、画像の歪みは計算処理で補正することができる。視野内のセンシングしたくない領域をマスク設定する機能や、学習機能を備えた画像センサも知られている。

【0009】

［構成］
図１は、実施形態に係る画像センサを備える画像センサシステムの一例を示す模式図である。図１において、照明設備１、照明コントローラ４、および画像センサ３（３－１～３－ｎ）は、ビル４００の例えばフロアごとに設けられ、ゲートウェイ装置７と通信可能に接続される。各階のゲートウェイ装置７は、ビル内ネットワーク８を介して、例えばビル管理センタのＢＥＭＳ（Building Energy Management System）サーバ５と通信可能に接続される。

【0010】

ＢＥＭＳサーバ５は、例えばＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）ベースの通信ネットワーク１０経由で、クラウドコンピューティングシステム（クラウド）１００に接続されることができる。クラウド１００は、サーバ２００およびデータベース３００を備え、ビル管理等に関するサービスを提供する。

【0011】

図２に示されるように、照明設備１、空調機器２の吹き出し口、および画像センサ３は各フロアの例えば天井に配設される。画像センサ３には、それぞれのセンシング対象とするエリアが割り当てられる。図２において、エリアＡ１，Ａ２がそれぞれフロアのおよそ半分をカバーしていることが示される。すべてのエリアを合わせれば、対象空間のフロアをカバーすることができる。図中ハッチングで示すように、異なる画像センサ３の割り当てエリアの一部が重なっていてもよい（重複部分）。

【0012】

画像センサ３は、割り当てられたエリアを見下し画角で視野内に捉え、視野内の映像を撮影して画像データを取得する。この画像データは画像センサ３において処理され、人物情報、あるいは環境情報などが計算される。すなわち画像センサ３は、対象空間における対象を検知（センシング）して、この対象に係わるセンシングデータを算出する。

【0013】

環境情報は、対象とする空間（ゾーン）の環境に関する情報であり、例えば、フロアの照度や温度等である。人物情報は、対象空間における人間に関する情報である。例えばエリア内の人数、人の行動、人の活動量、人の存在または不在を示す在不在、あるいは、人が歩いているか、または１つの場所に留まっているかを示す歩行滞留などが人物情報の例である。

【0014】

近年では、人の居住環境においてこれらの情報に基づき照明機器や空調機器を制御することで、人の快適性や安全性等を確保することが検討されている。環境情報および人物情報を、ゾーンを複数に分割した小領域ごとに算出することも可能である。この小領域を、画像センサ３ごとの割り当てエリアに対応付けてもよい。

【0015】

図３は、図１に示される画像センサシステムの一例を示すブロック図である。図３において、ゲートウェイ装置７は、複数の画像センサ３（３－１～３－ｎ）を配下として収容する。画像センサ３－１～３－ｎは、センサネットワーク９により、一筆書き状に接続される（渡り配線）。センサネットワーク９は、画像センサ３－１～３－ｎとゲートウェイ装置７とを通信可能に接続する。センサネットワーク９のプロトコルとしては、例えばＥｔｈｅｒＣＡＴ（登録商標）が知られている。

【0016】

一方、ゲートウェイ装置７は、ビル内ネットワーク８に接続される。ビル内ネットワーク８には、管理端末２０、ＢＥＭＳサーバ５、および照明コントローラ４が接続される。ゲートウェイ装置７は、センサネットワーク９とビル内ネットワーク８との間での通信プロトコルを変換する。これにより、ＢＥＭＳサーバ５および管理端末２０も、ゲートウェイ装置７経由で画像センサ３－１～３－ｎと相互通信することが可能である。

【0017】

ビル内ネットワーク８の通信プロトコルとしてはBuilding Automation and Control Networking protocol（ＢＡＣｎｅｔ（登録商標））が代表的である。このほかＤＡＬＩ、ＺｉｇＢｅｅ（登録商標）、ＥＣＨＯＮＥＴ Ｌｉｔｅ（登録商標）等のプロトコルも知られている。

【0018】

図４は、実施形態に係る画像センサ３の一例を示すブロック図である。画像センサ３は、撮像部３１、メモリ３２、プロセッサ３３、および通信部３４を備える。これらは内部バス３５を介して互いに接続される。メモリ３２とプロセッサ３３を備える画像センサ３は、コンピュータとして機能する。

【0019】

撮像部３１は、魚眼レンズ３１ａ、絞り機構３１ｂ、イメージセンサ３１ｃおよびレジスタ３０を備える。魚眼レンズ３１ａは、エリアを天井から見下ろす形で視野に捕え、イメージセンサ３１ｃに結像する。魚眼レンズ３１ａからの光量は絞り機構３１ｂにより調節される。イメージセンサ３１ｃは例えばＣＭＯＳ（相補型金属酸化膜半導体）センサであり、例えば毎秒３０フレームのフレームレートの映像信号を生成する。この映像信号はディジタル符号化され、画像データとして出力される。画像データはメモリ３２に記憶される（画像データ３２ｂ）。

【0020】

レジスタ３０は、カメラ情報３０ａを記憶する。カメラ情報３０ａは、例えばオートゲインコントロール機能の状態、ゲインの値、露光時間などの、撮像部３１に関する情報、あるいは画像センサ３それ自体に関する情報である。例えば、上記フレームレート、イメージセンサ３１ｃのゲインの値、露光時間など、センシングの感度や精度に影響を及ぼすパラメータは、プロセッサ３３により制御される。

【0021】

メモリ３２は、ＳＤＲＡＭ（Synchronous Dynamic RAM）などの半導体メモリ、またはＮＡＮＤフラッシュメモリやＥＰＲＯＭ（Erasable Programmable ROM）などの不揮発性メモリである。メモリ３２は、プロセッサ３３を機能させるためのプログラム３２ａと、画像データ３２ｂ、変換データ３２ｃ、および、検知対象のデータについて予め作成された辞書データ３２ｄを記憶する。

【0022】

辞書データ３２ｄは、画像データからセンシングデータを生成するために用いられるデータであり、例えばＳＶＭ（Support Vector Machine）などの機械学習（Machine-Learning）の枠組みを用いた手法により、生成することが可能である。機械学習における識別機が使用する辞書データについては、多数の文献に開示されている。辞書データ３２ｄを用いた例えばパターンマッチング処理により、エリアにおける検出対象（人など）を識別することが可能である。なお、１つのセンシング項目に、複数の辞書データ３２ｄを用いても良い。また、複数のセンシング項目に共通して、１つの辞書データ３２ｄを用いても良い。

【0023】

さらにメモリ３２は、センシングデータ３２ｅ、および特徴量を３２ｆを記憶する。このほか、メモリ３２には、マスク設定データなどが記憶されてもよい。マスク設定データは、撮像部３１に捕えられた視野のうち、画像処理する領域（画像処理の対象領域）と、画像処理しない領域（画像処理の非対象領域）とを区別するために用いられる。

【0024】

プロセッサ３３は、メモリ３２に記憶されたプログラムをロードし、実行することで、実施形態において説明する各種の機能を実現する。プロセッサ３３は、例えばマルチコアＣＰＵ（Central Processing Unit）を備え、画像処理を高速で実行することについてチューニングされたＬＳＩ（Large Scale Integration）である。ＭＰＵ（Micro Processing Unit）、あるいはＦＰＧＡ（Field Programmable Gate Array）等でプロセッサ１５を構成することもできる。

【0025】

通信部３４は、センサネットワーク９に接続可能で、通信相手先（ゲートウェイ装置７、管理端末２０、他の画像センサ３、あるいはＢＥＭＳサーバ５等）とのデータの授受を仲介する。通信のインタフェースは有線でも無線でもよい。通信ネットワークのトポロジはスター型、リング型など任意のトポロジを適用できる。通信プロトコルは汎用プロトコルでも、産業用プロトコルでもよい。単独の通信方法でもよいし、複数の通信方法を組み合わせてもよい。

【0026】

特に、通信部３４は、画像センサ３によるセンシングデータや、プロセッサ３３の処理結果、処理データ、パラメータ、画像データ、動きベクトルデータ、蓄積された過去の動きベクトルデータ、加工された動きベクトルデータ、統計解析データ、出力データ、パラメータ、辞書データ、ファームウェアなどを、通信ネットワークとしてのセンサネットワーク９経由で送受信する。これにより、上記データや情報は、ゲートウェイ装置７、他の画像センサ３、ＢＥＭＳサーバ５、および管理端末２０等と、ビル内ネットワーク８等を経由して共有されることが可能である。

【0027】

ところで、プロセッサ３３は、実施形態に係る処理機能として、画像処理部３３ａ、変換部３３ｂ、抽出部３３ｃ、および統合処理部３３ｄを備える。画像処理部３３ａ、変換部３３ｂ、抽出部３３ｃ、および統合処理部３３ｄは、メモリ３２に記憶されたプログラム３２ａがプロセッサ３３のレジスタにロードされ、当該プログラムの進行に伴ってプロセッサ３３が演算処理を実行することで生成されるプロセスとして、理解され得る。

【0028】

このうち抽出部３３ｃは、画像データ３２ｂから、当該画像データ３２ｂの特徴量を抽出する。抽出された特徴量はメモリ３２に記憶される（特徴量３２ｆ）。
変換部３３ｂは、辞書データ３２ｄに応じて画像データ３２ｂを変換して、変換データ３２ｃを作成する。また、変換部３３ｂは、辞書データ３２ｄに応じて特徴量３２ｆを変換して、変換データ３２ｃを作成する。作成された変換データは、メモリ３２に記憶される（変換データ３２ｃ）。

【0029】

画像処理部３３ａは、辞書データ３２ｄを用いて、例えば機械学習の識別機アルゴリズムを適用して変換データ３２ｃを処理し、自センサに割り当てられたエリアにおけるセンシングデータを生成する。生成されたセンシングデータはメモリ３２に記憶される（センシングデータ３２ｅ）。

【0030】

なお、画像処理部３３ａは、画像データ３２ｂを処理することによっても、センシングデータを生成することができる。ただ、変換データ３２ｃは辞書データ３２ｄにマッチするように生成されているので、変換データ３２ｃを用いてセンシングデータを生成することのほうが有利である。

【0031】

センシングデータとして、実施形態では（通常状態の人物センシングデータ）、（環境情報）、および（異常状態の人物センシングデータ）を例として採り上げる。
（通常状態の人物センシングデータ）としては、在／不在、推定人数、歩行滞留、人物認識、動きベクトルなどがある。
（環境情報）としては、推定照度、活動量、混雑度などがある。
（異常状態の人物センシングデータ）としては、倒れている人、高齢者、車椅子に乗っている人などがある。

【0032】

画像処理部３３ａは、これらの項目を変換データ３２ｄ（または画像データ３２ｂ）からセンシングする。全ての項目を、常時、同時にセンシングしても良いし、必要に応じで選択された項目のみをセンシングしてもよい。時刻、カレンダー、明るさ、外部からの指示などに応じて、センシングすべき項目を選択することもできる。処理の周期も、全ての項目について同じでもよいし、センシング項目ごとに異なる周期で処理してもよい。

【0033】

統合処理部３３ｄは、（異常状態の人物センシングデータ）を生成する際に、（環境情報）、および（通常状態の人物センシングデータ）のいずれか一方、または双方を参照する。つまり統合処理部３３ｄは、（異常状態の人物センシングデータ）そのものと、（環境情報）、および（通常状態の人物センシングデータ）の少なくともいずれか１つとを統合的に判定した結果に基づいて、（異常状態の人物センシングデータ）を生成し、出力する。

【0034】

例えば、混雑状態（環境情報）にある環境下で倒れている人（異常状態の人物センシングデータ）が検知されたとしても、それほどの緊急性は無いと言える。これに対して、人が不在の状態で（異常状態の人物センシングデータ）が検知された場合には、緊急性が高く、直ちにシステム関係者への通報を要する。統合処理部３３ｄは、このように、複数の情報を統合的に判定した結果に基づいて、（異常状態の人物センシングデータ）を生成する。

【0035】

図５は、図４に示される画像処理部３３ａの基本的な処理手順を示すフローチャートである。図５において、撮像部３１で取得（ステップＳ１）された画像データ３２ｂは、メモリ３２に一時的に記憶されたのち（ステップＳ２）、画像処理部３３ａに送られる。画像処理部３３ａは、画像データ３２ｂを画像処理して、通常状態の人物の検知（センシング）（ステップＳ３）、環境情報の推定（ステップＳ４）、および異常状態の人物の検知（ステップＳ５）の各処理を実行して、これらの項目を画像データ３２ｂからセンシングする。

【0036】

これらのセンシング項目の全てを常時、同時にセンシングしても良い。または、必要に応じて個別にセンシングしてもよい。項目ごとの処理の周期は、例えばフレーム周期に同期して全ての項目で同じであっても良いし、項目ごとに異なっていても良い。通信部３４は、これらのセンシングデータや項目の算出に係る各種のパラメータ等を、センサネットワーク９経由でゲートウェイ装置７に通信する（ステップＳ６）。

【0037】

図６は、画像センサにおけるデータの流れの一例を示す図である。図６において、撮像部３１で取得された画像データ３２ｂはメモリ３２に一時的に記憶されたのち、プロセッサ３３の画像処理部３３ａに送られる。画像処理部３３ａは、メモリ３２に記憶された辞書データ３２ｄを用いて画像データ３２ｂを画像処理し、センシングデータを生成する。通信部３４は、生成されたセンシングデータを含む各種のデータを、センサネットワーク９経由でゲートウェイ装置７に送信する。

【0038】

図６の流れを基本として、実施形態では、画像データ３２ｂを辞書データ３２ｃに応じて変換した変換データ３２ｃに基づいて画像処理を行い、センシングデータを生成する技術について説明する。

【0039】

図７は、実施形態に係るゲートウェイ装置７の一例を示すブロック図である。計算装置の一例としてのゲートウェイ装置７は、ＣＰＵやＭＰＵ（Micro Processing Unit）等のプロセッサ７５と、ＲＯＭ（Read Only Memory）７２およびＲＡＭ（Random Access Memory）７３を備えるコンピュータである。ゲートウェイ装置７は、さらに、ハードディスクドライブ（Hard Disk Drive：ＨＤＤ）などの記憶部７４、光学メディアドライブ７６、および通信部７７を備える。

【0040】

ＲＯＭ７２は、ＢＩＯＳ（Basic Input Output System）やＵＥＦＩ（Unified Extensible Firmware Interface）などの基本プログラム、および各種の設定データ等を記憶する。ＲＡＭ７３は、記憶部７４からロードされたプログラムやデータを一時的に記憶する。

【0041】

光学メディアドライブ７６は、ＣＤ－ＲＯＭ７８などの記録媒体に記録されたディジタルデータを読み取る。ゲートウェイ装置７で実行される各種プログラムは、例えばＣＤ－ＲＯＭ７８に記録されて頒布される。このＣＤ－ＲＯＭ７８に格納されたプログラムは光学メディアドライブ７６により読み取られ、記憶部７４にインストールされる。

【0042】

通信部７７は、ビル内ネットワーク８経由で画像センサ３、ＢＥＭＳサーバ５等と通信するための機能を備える。ゲートウェイ装置７で実行される各種プログラムを、例えば通信部７７を介してサーバからダウンロードし、記憶部７４にインストールすることもできる。通信部７７を介してクラウド１００（図１）から最新のプログラムをダウンロードし、インストール済みのプログラムをアップデートすることもできる。また、ゲートウェイ装置７は、センサネットワーク９を介して画像センサ３に辞書データをダウンロード送信することができる。

【0043】

プロセッサ７５は、ＯＳ（Operating System）および各種のプログラムを実行する。また、プロセッサ７５は、実施形態に係る処理機能として、取得部７５ａ、作成部７５ｂ、および送信部７５ｃを備える。

【0044】

これらの機能ブロックは、記憶部７４に記憶されたプログラム７４ａがＲＡＭ７３にロードされ、当該プログラムの実行の過程で生成されるプロセスとして、理解され得る。つまりプログラム７４ａはコンピュータであるゲートウェイ装置７を、取得部７５ａ、作成部７５ｂ、および送信部７５ｃとして動作させる。

【0045】

取得部７５ａは、画像センサ３－１～３－ｎから、それぞれの画像センサで生成された画像データを取得する。取得された画像データは記憶部７４に記憶される（画像データ７４ｂ）。また、取得部７５ａは、画像センサ３－１～３－ｎにおいて画像データから抽出された特徴量を、画像センサ３－１～３－ｎから取得する。取得された特徴量は記憶部７４に記憶される（特徴量７４ｃ）。

【0046】

作成部７５ｂは、画像データ７４ｂに基づいて、画像センサ３－１～３－ｎで用いられる辞書データを作成する。作成された辞書データは、記憶部７４に記憶される（辞書データ７４ｄ）。

【0047】

送信部７５ｃは、作成された辞書データ７４ｄを、宛先の画像センサ３－１～３－ｎに送信する。送信された辞書データは、それぞれの画像センサ３－１～３－ｎにおいて記憶され、センシングデータの生成に利用される。

【0048】

記憶部７４は、プロセッサ７５により実行されるプログラム７４ａに加えて、画像データ７４ｂ、特徴量７４ｃ、および、辞書データ７４ｄを記憶する。

【0049】

画像データ７４ｂは、画像センサ３－１～３－ｎ、３－１～３－ｍから取得された画像データである。特徴量７４ｃは、画像データ７４ｂから抽出される、この画像データ７４ｂの特徴を示す情報である。特徴量としては、輝度勾配方向ヒストグラム（Histograms of Oriented Gradients：ＨＯＧ）、コントラスト、解像度、Ｓ／Ｎ比、および色調などがある。輝度勾配方向共起ヒストグラム（Co-occurrence HOG：Ｃｏ－ＨＯＧ）特徴量、Haar-Like特徴量なども特徴量として知られている。

【0050】

［作用］
次に、上記構成における作用を説明する。
図８は、画像センサ３で取得された画像データの一例を示す図である。この画像データは、例えば床に倒れている人（枠で囲った部分）を含んでいるとする。この学習画像を、画像処理部３３ａの識別機への学習データとして用いることについて、以下に詳しく説明する。

【0051】

画像センサ３の変換部３３ｂは、自ら取得した画像データを、辞書データ３２ｄを用いるのに適した形態に加工する。
図９に示されるように、例えば、画像センサ３で取得された画像データの視野をパノラマ化することにより、画像の向きを揃えることができる。

【0052】

図１０に示されるように、画像センサ３で取得された画像データを回転させることによっても、画像の向きを揃えることができる。
図１１に示されるように、画像センサ３で取得された画像データを縮小することによっても、画像処理に適したデータを得ることができる。
図１２に示されるように、画像センサ３で取得された画像データを拡大することによっても、画像処理に適したデータを得ることができる。この種の拡大縮小処理は、ピラミッド画像とも称して知られる。
図１３に示されるように、画像センサ３の視野の歪みを補正することによっても、画像処理に適したデータを得ることができる。
図１４は、特徴量に対して変換処理を施す一例を示す図である。例えば、特徴量の一つであるＣｏＨＯＧに対して回転処理を施すことは、傾き方向のビンを順次入れ替えることと同様である。

【0053】

画像データ３２ｂを変換して得られた変換データ３２ｃは、辞書データ３２ｄを生成、更新するための学習用のデータ（学習データ）としても適用することが可能である。
図１５に示されるように、画像データ内で向きの異なる学習画像ごとに、それぞれ個別に学習データとして採用することができる。すなわち辞書データは、異なる条件ごとに予め学習により作成されることができる。画像処理部３３ａは、異なる条件ごとの辞書データ３２ｄを用いて変換データ３２ｃ（画像データ３２ｂ）を処理して、センシングデータ３２ｅを生成する。

【0054】

図１６に示されるように、画像データ内でサイズの異なる学習画像ごとに、それぞれ個別に学習データとして採用することもできる。
図１７に示されるように、人物の姿勢、あるいは向きごとに学習データを作成することもできる。（ａ）仰向け、（ｂ）うつ伏せ、（ｃ）右向き、（ｄ）左向き、（ｅ）自由な姿勢、といった複数のカテゴリにわたって、複数の姿勢の画像データを学習データとして用いて辞書データを作成することができる。

【0055】

図１８（ａ）に示されるように、画像データを同心円状の領域に分割し、各領域の画像ごとに学習データを作成することができる。あるいは、図１８（ｂ）に示されるように、中心から放射状に分割された領域ごとに、学習データを作成することもできる。また、図１９（ａ）に示されるように、パノラマ画像を距離により複数の領域に分割することもできるし、図１９（ｂ）のように、パノラマ画像を角度により複数の領域に分割することもできる。

【0056】

さらに、画像データ３２ｂを変換部３３ｂにより変換し、取得された画像データよりも多数の変換データを作成することも可能である。
図２０に示されるように、一つの学習画像を異なる角度に回転させ（アフィン変換）、いわばデータを水増しすることができる。学習データの量が多いほど、学習により生成される辞書データの信頼度を高め、正確なセンシングを行えるようになる。
図２１に示されるように、中央の教示位置の学習画像を少しずつずらすことにより、周辺位置（１）～（８）の学習画像を生成することもできる。なお、ぼかしやノイズ負荷などの画像処理をした画像により、学習データ水増ししてもよい。さらには、実際の画像でなく、ＣＧ（Computer Graphics）技術を用いた画像データにより学習画像を水増しすることもできる。

【0057】

以上のように、画像センサ３の変換部３３ｂは、取得した画像データ３２ｂを辞書データ３２ｄに応じて変換して、変換データ３２ｃを作成する。そして、変換データ３２ｃに基づいて、例えばＳＶＭを用いた識別により、画像処理部３３ａがセンシングデータ３２ｅを作成する。

【0058】

［効果］
以上説明したようにこの実施形態では、画像センサ３－１～３－ｎにおいて、取得された画像データを自らの辞書データ３２ｄに適した形態に変換し、変換データを画像処理してセンシングデータを得るようにした。

【0059】

このようにしたので、いわば生の（Raw）画像データを正規化し、正規化したデータに基づいて画像処理を行うことができる。すなわち、画像センサ３－１～３－ｎごとに利用される辞書データに合わせて画像データそのもの、あるいは特徴量を変換（前処理）するようにした。このようにすることで、画像センサの取り付け位置や画角によらず、正規化した画像データを取り扱えるようになり、いかなる環境においても有用な学習データを蓄積することができる。

【0060】

これらのことから実施形態によれば、画角によらずセンシングデータを正確に検知することの可能な画像センサ、計算装置、および画像センサシステムを提供することができる。ひいては、異常状態にある人物を、画角によらず正確に検知することが可能になる。

【0061】

なお、この発明は上記実施形態に限定されるものではない。例えば、計算装置としてのゲートウェイ装置７に実装した各種機能を、管理端末２０、あるいはＢＥＭＳサーバ５に実装してもよい。

【0062】

あるいは、画像センサ３の機能の一部をゲートウェイ装置７に実装してもよい。例えば、ゲートウェイ装置７に変換部を実装し、画像センサから取得した画像データをこの変換部で変換して変換データを作成する。そして作成部７５ｂにより、この変換データに基づいて各画像センサ３向けの辞書データを作成する。さらに、作成された辞書データを、送信部７５ｄにより画像センサ３に送信するようにしてもよい。

【0063】

また、各画像センサ３で得られた画像データをゲートウェイ装置７に収集／蓄積し、ゲートウェイ装置７において、学習による辞書データを生成してもよい。あるいは、画像センサ３－１～３－ｎにおいて抽出した特徴量をゲートウェイ装置７に収集／蓄積し、画像センサ３－１～３－ｎで用いられる辞書データに適した形態に特徴量を変換し、その上で学習により辞書データを生成してもよい。

【0064】

実施形態を説明したが、この実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］
エリアを撮像して画像データを取得する撮像部と、
検知対象について予め作成された辞書データを記憶する記憶部と、
前記取得された画像データ、または、当該画像データから抽出された特徴量を前記辞書データに応じて変換して変換データを作成する変換部と、
前記辞書データを用いて前記変換データを処理して、前記エリアにおけるセンシングデータを生成する画像処理部とを具備する、画像センサ。
［２］
前記撮像部は、
前記エリアを見下し画角で視野内に捉える魚眼レンズと、
前記魚眼レンズから結像された像を撮像して前記画像データを生成するイメージセンサとを備える、［１］に記載の画像センサ。
［３］
前記記憶部は、異なる条件ごとに予め作成された複数の辞書データを記憶し、
前記変換部は、前記取得された画像データを前記複数の辞書データごとに応じて変換して変換データを作成し、
前記画像処理部は、前記異なる条件ごとの辞書データを用いて前記変換データを処理して前記センシングデータを生成する、［１］に記載の画像センサ。
［４］
前記変換部は、前記取得された画像データを変換して、当該取得された画像データよりも多数の変換データを作成する、［１］に記載の画像センサ。
［５］
さらに、前記変換データに基づく学習により前記辞書データを作成する作成部を具備する、［１］に記載の画像センサ。
［６］
前記センシングデータは、
前記エリアにおける異常状態の人物のセンシングデータを含む、［１］に記載の画像センサ。
［７］
前記センシングデータは、
さらに、前記エリアにおける通常状態の人物のセンシングデータ、および当該エリアの環境情報の少なくともいずれか１つを含む、［６］に記載の画像センサ。
［８］
前記異常状態の人物のセンシングデータと、前記エリアにおける通常状態の人物のセンシングデータ、および当該エリアの環境情報の少なくともいずれか１つとを統合的に判定した結果に基づいて、当該異常状態の人物のセンシングデータを生成する統合処理部をさらに具備する、［７］に記載の画像センサ。
［９］
エリアを撮像して画像データを取得する画像センサから前記画像データを取得する取得部と、
前記取得された画像データ、または、当該画像データから抽出された特徴量を前記画像センサで用いられる辞書データに応じて変換して、変換データを作成する変換部と、
前記変換データに基づいて、前記画像センサで用いられる辞書データを作成する作成部と、
前記作成された辞書データを前記画像センサに送信する送信部とを備える、計算装置。
［１０］
対象をセンシングする複数の画像センサと、
前記画像センサと通信可能な計算装置とを具備し、
前記画像センサは、
エリアを撮像して画像データを取得する撮像部と、
検知対象について予め作成された辞書データを記憶する記憶部と、
前記取得された画像データ、または、当該画像データから抽出された特徴量を前記辞書データに応じて変換して変換データを作成する変換部と、
前記辞書データを用いて前記変換データを処理して、前記エリアにおけるセンシングデータを生成する画像処理部とを備え、
前記計算装置は、
前記画像センサから前記画像データを取得する取得部と、
前記画像データに基づいて、前記画像センサで用いられる辞書データを作成する作成部と、
前記作成された辞書データを前記画像センサに送信する送信部とを備える、画像センサシステム。
［１１］
前記撮像部は、
前記エリアを見下し画角で視野内に捉える魚眼レンズと、
前記魚眼レンズから結像された像を撮像して前記画像データを生成するイメージセンサとを備える、［１０］に記載の画像センサシステム。
［１２］
前記記憶部は、異なる条件ごとに予め作成された複数の辞書データを記憶し、
前記変換部は、前記取得された画像データを前記複数の辞書データごとに応じて変換して変換データを作成し、
前記画像処理部は、前記異なる条件ごとの辞書データを用いて前記変換データを処理して前記センシングデータを生成する、［１０］に記載の画像センサシステム。
［１３］
前記変換部は、前記取得された画像データを変換して、当該取得された画像データよりも多数の変換データを作成する、［１０］に記載の画像センサシステム。
［１４］
前記作成部は、前記変換データに基づく学習により、前記画像センサで用いられる辞書データを作成する、［１０］に記載の画像センサシステム。

【符号の説明】

【0065】

１…照明設備、２…空調機器、３（３－１～３－ｎ）…画像センサ、４…照明コントローラ、５…ＢＥＭＳサーバ、７…ゲートウェイ装置、８…ビル内ネットワーク、９…センサネットワーク、１０…通信ネットワーク、１５…プロセッサ、２０…管理端末、３０…レジスタ、３０ａ…カメラ情報、３１…撮像部、３１ａ…魚眼レンズ、３１ｂ…絞り機構、３１ｃ…イメージセンサ、３２…メモリ、３２ａ…プログラム、３２ｂ…画像データ、３２ｃ…変換データ、３２ｄ…辞書データ、３２ｅ…センシングデータ、３２ｆ…特徴量、３３…プロセッサ、３３ａ…画像処理部、３３ｂ…変換部、３３ｃ…抽出部、３３ｄ…統合処理部、３４…通信部、３５…内部バス、７２…ＲＯＭ、７３…ＲＡＭ、７４…記憶部、７４ａ…プログラム、７４ｂ…画像データ、７４ｃ…特徴量、７４ｄ…辞書データ、７５…プロセッサ、７５ａ…取得部、７５ｂ…作成部、７５ｃ…送信部、７６…光学メディアドライブ、７７…通信部、１００…クラウド、２００…サーバ、３００…データベース、４００…ビル、Ａ１，Ａ２…エリア。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】