特許 6991922 画像センサ、識別方法、制御システムおよびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2021-12-10

(45)【発行日】2022-01-13

(54)【発明の名称】画像センサ、識別方法、制御システムおよびプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20220105BHJP

   G08B 25/00 20060101ALI20220105BHJP

【ＦＩ】

G06T7/20 300Z

G08B25/00 510M

【請求項の数】 6

(21)【出願番号】P 2018097115

(22)【出願日】2018-05-21

(65)【公開番号】P2019204165

(43)【公開日】2019-11-28

【審査請求日】2020-07-29

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100075672

【弁理士】

【氏名又は名称】峰 隆司

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100189913

【氏名又は名称】鵜飼 健

(72)【発明者】

【氏名】齋藤 禎敏

(72)【発明者】

【氏名】杉山 陽一

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０１６－１７１５２６（ＪＰ，Ａ）

【文献】特開２０１６－１２８７３（ＪＰ，Ａ）

【文献】特開２０１１－２０９７９４（ＪＰ，Ａ）

【文献】特開２００９－２１７４４８（ＪＰ，Ａ）

【文献】特開２００９－１８１２２０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２０

Ｇ０８Ｂ ２５／００

(57)【特許請求の範囲】

【請求項1】

対象空間を撮像して画像データを取得する撮像部と、
前記画像データから特徴量を抽出する抽出部と、
前記特徴量に基づいて、前記対象空間における動体の有無を識別する動き識別部と、
前記特徴量に基づいて、前記対象空間における対象が予め登録された物体であるか否かを識別する物体識別部と、
前記動き識別部による識別の結果および前記物体識別部による識別の結果を記憶する記憶部と、
前記動体の有無と前記登録された物体との組み合わせで定められるカテゴリごとに、前記動き識別部による識別の結果および前記物体識別部による識別の結果を出力する出力部とを具備する、画像センサ。

【請求項2】

前記出力部は、前記対象空間を分割した複数のエリアごとに、前記動き識別部による識別の結果および前記物体識別部による識別の結果を出力する、請求項１に記載の画像センサ。

【請求項3】

前記撮像部は、広角レンズを用いて前記対象空間を見下ろす向きで撮像する、請求項１または２に記載の画像センサ。

【請求項4】

対象空間を撮像して画像データを取得するコンピュータにより実行される人物検知方法であって、
前記コンピュータが、前記画像データから特徴量を抽出する過程と、
前記コンピュータが、前記特徴量に基づいて、前記対象空間における動体の有無を識別する動き識別過程と、
前記コンピュータが、前記特徴量に基づいて、前記対象空間における対象が予め登録された物体であるか否かを識別する物体識別過程と、
前記コンピュータが、前記動き識別過程での識別の結果および前記物体識別過程での識別の結果を記憶する過程と、
前記コンピュータが、前記動体の有無と前記登録された物体との組み合わせで定められるカテゴリごとに、前記動き識別部による識別の結果および前記物体識別部による識別の結果を出力する過程とを具備する、識別方法。

【請求項5】

対象空間を撮像する請求項１乃至３のいずれか１項に記載の画像センサと、
前記画像センサによる前記対象空間における人物の検知の結果に基づいて、前記対象空間に設けられた機器を制御する制御装置とを具備する、制御システム。

【請求項6】

対象空間を撮像して画像データを取得する画像センサのコンピュータに、
前記画像データから特徴量を抽出する過程と、
前記特徴量に基づいて、前記対象空間における動体の有無を識別する動き識別過程と、 前記特徴量に基づいて、前記対象空間における対象が予め登録された物体であるか否かを識別する物体識別過程と、
前記動き識別過程での識別の結果および前記物体識別過程での識別の結果を記憶する過程と、
前記動体の有無と前記登録された物体との組み合わせで定められるカテゴリごとに、前記動き識別部による識別の結果および前記物体識別部による識別の結果を出力する過程とを実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、画像センサ、識別方法、制御システムおよびプログラムに関する。

【背景技術】

【0002】

近年の画像センサは、ＣＰＵ（Central Processing Unit）やメモリを備え、いわばレンズ付きの組み込みコンピュータといえる。高度な画像処理機能も有しており、撮影した画像データを分析して、例えば人間の在・不在、あるいは人数などを計算することができる。

【0003】

例えばフレーム間差分法を用いて、動体の有無を検知可能な画像センサも検討されている。フレーム間差分法は、画像データから動くものを検出する手法の一つである。その原理は、基準となる背景画像を予め記憶し、背景画像からの輝度変化をピクセルごとに評価し、その結果から人物などを検知するというものである。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００１－２６６１３１号公報

【文献】特開２０１５－１３０１５５号公報

【文献】特開２０１７－１７８５５９号公報

【文献】特開２０１６－１７１５２６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上記したように、動体の有無を検知可能な画像センサは知られている。しかし、特定の物体（例えば車椅子、ベビーカー、子供、カート、白杖利用者、徘徊老人、不審人物、迷子、逃げ遅れた人物、等の、予め登録された対象）を識別できるまでには至っていない。特定の物体を識別するためには、依然として目視による確認が必要であった。

【0006】

そこで、目的は、動体の有無および特定の物体を識別可能な画像センサ、識別方法、制御システムおよびプログラムを提供することにある。

【課題を解決するための手段】

【0007】

実施形態によれば、画像センサは、撮像部と、抽出部と、動き識別部と、物体識別部と、記憶部とを具備する。撮像部は、対象空間を撮像して画像データを取得する。抽出部は、画像データから特徴量を抽出する。動き識別部は、特徴量に基づいて、対象空間における動体の有無を識別する。物体識別部は、特徴量に基づいて、対象空間における対象が予め登録された物体であるか否かを識別する。記憶部は、動き識別部による識別の結果および物体識別部による識別の結果を記憶する。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る画像センサを備えるビル管理システムの一例を示す模式図である。

【図2】図２は、ビルのフロア内の一例を示す図である。

【図3】図３は、ビル管理システムの一例を示すブロック図である。

【図4】図４は、画像センサ３の一例を示すブロック図である。

【図5】図５は、実施形態に係わる画像センサ３の処理手順の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

画像センサは、人感センサ、明かりセンサあるいは赤外線センサ等に比べて多様な情報を取得することができる。魚眼レンズや超広角レンズなどを用いれば１台の画像センサで撮影可能な領域を拡大できるし、画像の歪みは計算処理で補正できる。画像センサに学習機能を持たせることも可能である。

【0010】

図１は、実施形態に係る画像センサを備えるビル管理システムの一例を示す模式図である。図１において、照明機器１、空調機器２、および画像センサ３は、ビル１００の各フロアごとに設けられ、制御装置４と通信可能に接続される。各階の制御装置４は、例えばビル管理センタ等に設けられるビル監視装置５０と、ビル内ネットワーク５００経由で通信可能に接続される。ビル内ネットワーク５００の通信プロトコルとしてはBuilding Automation and Control Networking protocol（ＢＡＣｎｅｔ（登録商標））が代表的である。

【0011】

ビル監視装置５０は、例えばＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）ベースの通信ネットワーク６００経由で、クラウドコンピューティングシステム（クラウド）２００に接続されることができる。クラウド２００は、サーバ３００およびデータベース４００を備え、ビル管理に関するサービスを提供する。

【0012】

図２に示されるように、照明機器１、空調機器２の吹き出し口、および画像センサ３は各フロアの例えば天井に配設される。画像センサ３は、視野内に捕えた映像を撮影して画像データを取得する。この画像データは画像センサ３において処理され、環境情報、および／または人物情報が生成される。これらの情報を利用して、照明機器１および空調機器２を制御することができる。

【0013】

画像センサ３は、画像データを処理し、環境情報および人物情報を取得する。環境情報は、撮像対象の空間（ゾーン）の環境に関する情報である。例えば、環境情報は、オフィスの照度や温度などを示す情報である。人物情報は、対象空間における人間に関する情報である。例えば、人物情報は、人の存在または不在（在・不在と称する）、人数、人の行動、人の活動量などを示す情報である。

【0014】

ゾーンを複数に分割した小領域のそれぞれを、エリアと称する。例えば環境情報および人物情報を、エリアごとに算出することが可能である。実施形態では、人物情報の一つとしての歩行・滞留について説明する。歩行・滞留とは、人が歩いているか、または１つの場所に留まっているかを示す情報である。

【0015】

図３は、図１に示されるビル管理システムの一例を示すブロック図である。図３において、制御装置４およびビル監視装置５が、基幹ネットワークとしてのビル内ネットワーク５００に接続される。例えばＢＡＣｎｅｔ（登録商標）、ＤＡＬＩ、ＺｉｇＢｅｅ（登録商標）、ＥＣＨＯＮＥＴ Ｌｉｔｅ（登録商標）等を、ビル内ネットワーク５００の通信プロトコルとして採用することができる。

【0016】

天井に取り付けられた照明機器１、空調機器２、および画像センサ３は信号線９を介して接続される。このうち、例えば画像センサ３がゲートウェイ（ＧＷ）４１を介してビル内ネットワーク５００に接続され、これにより画像センサ３はビル内ネットワーク５００経由で制御装置４およびビル監視装置５と通信できる。また、照明機器１および空調機器２も、ビル監視装置５の配下に置かれる。制御装置４およびビル監視装置５は、プロセッサおよびメモリを備えるコンピュータであり、ビル管理に関する機能を備える。

【0017】

さらに、ユーザ端末６１～６ｎ、およびアクセスポイント８等の通信機器が、ＧＷ４２を介してビル内ネットワーク５００に接続される。これによりユーザ端末６１～６ｎや、無線通信機能を持つタブレット端末７等も、ビル内ネットワーク５００経由で制御装置４およびビル監視装置５と通信できる。

【0018】

図４は、画像センサ３の一例を示すブロック図である。画像センサ３は、カメラ部３１、メモリ３２、プロセッサ３３、および通信部３４を備える。これらは内部バス３５を介して互いに接続される。

【0019】

カメラ部３１は、魚眼レンズ３１ａ、絞り機構３１ｂ、撮像素子３１ｃおよびレジスタ３０を備える。魚眼レンズ３１ａは、対象空間としての室内を、例えば天井から見下ろす向きで視野に捕えて撮像素子３１ｃに結像する。撮像素子３１ｃは、ＣＭＯＳ（相補型金属酸化膜半導体）に代表されるイメージセンサであり、例えば毎秒３０フレームのフレームレートの映像信号を生成する。この映像信号はディジタル符号化され、画像データとして出力される。撮像素子３１ｃへの入射光量は絞り機構３１ｂにより調節される。

【0020】

レジスタ３０は、カメラ情報３０ａを記憶する。カメラ情報３０ａは、例えばオートゲインコントロール機能の状態、ゲインの値、露光時間などの、カメラ部３１に関する情報、あるいは画像センサ３それ自体に関する情報である。

【0021】

メモリ３２は、ＳＤＲＡＭ（Synchronous Dynamic RAM）、ＥＰＲＯＭ（Erasable Programmable ROM）などの半導体メモリであり、実施形態に係わる各種の機能をプロセッサ３３に実行させるためのプログラム３２ａ、カメラ部３１により取得された画像データ３２ｂ、および、特徴量データ３２ｃ、辞書データ３２ｄ、識別データ３２ｅを記憶する。

【0022】

特徴量データ３２ｃは、画像データ３２ｂを画像処理して抽出される、例えば、輝度勾配方向ヒストグラム（histograms of oriented gradients：ＨＯＧ）特徴量、コントラスト、解像度、Ｓ／Ｎ比、色調、輝度勾配方向共起ヒストグラム（Co-occurrence HOG：Ｃｏ－ＨＯＧ）特徴量、Haar-Like特徴量などの情報である。

【0023】

辞書データ３２ｄは、特徴量データ３２ｃに基づいて対象空間における動体の有無を識別するために用いられる情報である。また、辞書データ３２ｄは、特徴量データ３２ｃに基づいて、対象空間における対象が予め登録された物体であるか否かを識別するために用いられる情報である。辞書データ３２ｄは、例えば機械学習（Machine-Learning）の枠組みに基づいて予め生成され、用意されることができる。

【0024】

識別データ３２ｅは、対象空間における動体の有無、および、対象空間における対象が、予め登録された物体であるか否かを識別した結果を示す情報である。

【0025】

プロセッサ３３は、メモリ３２に記憶されたプログラムをロードし、実行することで、実施形態において説明する各種の機能を実現する。プロセッサ３３は、例えばマルチコアＣＰＵ（Central Processing Unit）を備え、画像処理を高速で実行することについてチューニングされたＬＳＩ（Large Scale Integration）である。ＦＰＧＡ（Field Programmable Gate Array）等でプロセッサ１５を構成することもできる。ＭＰＵ（Micro Processing Unit）もプロセッサの一つである。

【0026】

通信部３４は、信号線９に接続可能で、制御装置４を含む通信相手先（ビル監視装置５、タブレット端末７、他の画像センサ３等）とのデータの授受を仲介する。

【0027】

ところで、プロセッサ３３は、実施形態に係る処理機能として、抽出部３３ａ、動き識別部３３ｂ、物体識別部３３ｃ、および出力部３３ｄを備える。抽出部３３ａ、動き識別部３３ｂ、物体識別部３３ｃ、および出力部３３ｄは、例えば、プロセッサ３３のレジスタにロードされたプログラム３２ａに従い、プロセッサ３３が演算処理を実行することで生成される、プロセスである。

【0028】

抽出部３３ａは、メモリ３２に蓄積された画像データ３２ｂを所定のアルゴリズムで解析して、視野内の人物に係わる特徴量を抽出する。例えば、画像データに含まれるフレームの輝度の変化をピクセルごとにトレースし、その時系列を分析することで動き特徴量を計算することができる。抽出された特徴量はメモリに記憶される（特徴量データ３２ｃ）。

【0029】

動き識別部３３ｂは、上記抽出された特徴量データ３２ｃに基づいて、例えばルールベースによる識別処理、あるいは機械学習による識別処理により、対象空間における動体の有無を識別する。

【0030】

物体識別部３３ｃは、例えば動き識別部３３ｂによる動き識別の結果に基づいて、対象空間における物体を検知する。そして、物体識別部３３ｃは、特徴量データ３２ｃに基づいて、例えばルールベースによる識別処理、あるいは機械学習による識別処理により、対象空間で検知された対象（物体）が、予め登録された物体であるか否かを識別する。
動き識別部３３ｂによる識別の結果、および、物体識別部３３ｃによる識別の結果は、識別データ３２ｅとしてメモリ３２に記憶される。

【0031】

出力部３３ｄは、例えば、ビル内ネットワーク５００経由でビル監視装置５に識別データ３２ｅを出力する。

【0032】

特に、出力部３３ｄは、識別データ３２ｅを複数のカテゴリごとに出力する。ここで、カテゴリとは、動体の有無と、登録された物体との組み合わせで定められる。さらに、識別データ３２ｅは、対象空間を分割した複数のエリアごとに出力されても良い。次に、上記構成における作用を説明する。

【0033】

図５は、実施形態に係わる画像センサ３の処理手順の一例を示すフローチャートである。図５において、画像センサ３は、対象空間（エリア）内における動体の有無を判定する（ステップＳ１）。動体ありと判定されると（ステップＳ２）、画像センサ３は、視野内に特定の物体が有るか否かを識別する（ステップＳ３）。特定の物体のあることが識別されれば（ステップＳ３でＹｅｓ）、『特定の物体に動きあり』との識別結果が生成される（ステップＳ４）。一方、ステップＳ３でＮｏ判定であれば、『特定の物体はあるがそれ自体に動きなし』との識別結果が生成される（ステップＳ７）。

【0034】

一方、ステップＳ１で、動体なしとの判定がなされれば（ステップＳ５）、画像センサ３は、視野内に特定の物体が有るか否かを識別する（ステップＳ６）。特定の物体のあることが判定されれば（Ｙｅｓ）、処理手順はステップＳ７に至って『特定の物体はあるがそれ自体に動きなし』との識別結果が生成される。

【0035】

さらに、ステップＳ６でＮｏ判定であれば、『全く動きなし』との識別結果が生成される（ステップＳ８）。以上の手順は周期的に、あるいは既定のタイミングで繰り返される。これにより、エリア内の状況がリアルタイムで把握される。

【0036】

以上の手順により、この実施形態では『特定の物体に動きあり』、『特定の物体はあるがそれ自体に動きなし』、または、『全く動きなし』の、複数のカテゴリの状態が識別される。それぞれのカテゴリについて想定されるアプリケーションを、以下に例示する。

【0037】

＜『特定の物体に動きあり』が識別された場合に想定されるアプリケーション＞
１）車椅子を検知して、以下の対応を行う。
・エレベータホール方向への移動検知による該当階のエレベータの優先割付け。
・駅ホームでの検知による駅員への連絡。
・エスカレータ乗車前検知による、エレベータへの誘導放送。
２）ベビーカーを検知して、以下の対応を行う。
・エレベータホール方向への移動検知による該当エレベータの優先割付け。
・駅ホームでの検知による、エレベータ乗り場への誘導放送。
・エスカレータ乗車前検知による、エレベータへの誘導放送。
３）白杖利用者の移動を検知して、移動方向の照明調光・調色制御を行う。
４）エスカレータの乗車状況を検知して、特定範囲よりはみ出している場合には緊急停止を行う。
５）火災発生エリアにて、逃げ場所を失った人物に対して照明誘導等で逃げ道誘導を行う。
６）特老施設等にて、徘徊している老人を検知して外出防止（鍵連動）や管理者連絡する。
７）警戒エリアで不審人物を検知した場合に照明威嚇や警報発報を行う。
８）商業施設等で、徘徊している子供を検知して管理社へ迷子連絡する。
９）オフィスエリア等で特定のモーションを検知した際に、該当箇所の照明調光や空調温度設定変更を行う。

【0038】

＜『特定の物体はあるがそれ自体に動きなし』が識別された場合に想定されるアプリケーション＞
１）火災発生エリアにて、動かなくなった人物を検知して逃げ遅れ警報を発報する。
２）特殊ガス等を使用する研究施設でガス漏れ警報発生時に動かなくなった人物を検知して逃げ遅れ警報を発報する。
３）特老施設等にて、一定時間以上動きのない老人を検知して警報を発報して管理者連絡する。
４）エスカレータの乗車状況を検知して、特定範囲よりはみ出している場合には緊急停止を行う。
５）商業施設等でカート置き場以外に一定時間放置されているカートを検知して管理者連絡する。
６）オフィスエリア等で特定のマークを検知した際に、該当箇所の照明調光や空調温度設定変更を行う。

【0039】

＜『全く動きなし』が識別された場合に想定されるアプリケーション＞
１）フリーアドレス執務室にて全く使用されていない座席、サテライトオフィスで使用されていないエリア、全く使用されていない会議室等を識別し、データ管理して、オフィスレイアウトの見直しに活用する。

【0040】

以上説明したようにこの実施形態では、動き識別部３３ｂ、および物体識別部３３ｃを画像センサ３に設けることにより、動体の有無に加えて、特定の物体であるか否かを識別できるようにした。そして出力部３３ｄにより、識別結果をカテゴリ別に出力できるようにした。これにより、各種運用の効率化や安全性向上、施設利用者へのサービス提供を実現することが可能となる。
また、画像センサ自身において識別処理を実施できるようにしたので、画像情報を処理するためのサーバ等をシステムに設ける必要が無い。これらのことから、実施形態によれば、動体の有無および特定の物体を識別可能な画像センサ、識別方法、制御システムおよびプログラムを提供することが可能になる。

【0041】

なお、この発明は上記実施形態に限定されるものではない。例えば実施形態では、『特定の物体に動きあり』、『特定の物体はあるがそれ自体に動きなし』、『全く動きなし』の３種類のカテゴリについて説明した。カテゴリの数はこの３種類に限定されない。例えば、『動体有り、特定の物体有り』、『動体有り、特定の物体無し』、『動体無し、特定の物体有り』、および『動体無し、特定の物体無し』の４つのカテゴリを想定することもできる。このようにすれば、より細分化されたケースについての対応が可能である。

【0042】

本発明の実施形態を説明したが、この実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0043】

１…照明機器、２…空調機器、３…画像センサ、４…制御装置、５…ビル監視装置、７…タブレット端末、８…アクセスポイント、９…信号線、１５…プロセッサ、３０…レジスタ、３０ａ…カメラ情報、３１…カメラ部、３１ａ…魚眼レンズ、３１ｂ…絞り機構、３１ｃ…撮像素子、３２…メモリ、３２ａ…プログラム、３２ｂ…画像データ、３２ｃ…特徴量データ、３２ｄ…辞書データ、３２ｅ…識別データ、３３…プロセッサ、３３ａ…抽出部、３３ｂ…動き識別部、３３ｃ…物体識別部、３３ｄ…出力部、３４…通信部、３５…内部バス、４１…ゲートウェイ、５０…ビル監視装置、６１～６ｎ…ユーザ端末、１００…ビル、２００…クラウドコンピューティングシステム、３００…サーバ、４００…データベース、５００…ビル内ネットワーク、６００…通信ネットワーク。

【図1】

【図2】

【図3】

【図4】

【図5】