(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023076454
(43)【公開日】2023-06-01
(54)【発明の名称】センシングシステム、保守端末装置、データ配布方法、および画像センサ
(51)【国際特許分類】
H04N 23/60 20230101AFI20230525BHJP
H04N 7/18 20060101ALI20230525BHJP
【FI】
H04N23/60 500
H04N7/18 D
H04N7/18 K
H04N7/18 E
【審査請求】有
【請求項の数】11
【出願形態】OL
(21)【出願番号】P 2023033873
(22)【出願日】2023-03-06
(62)【分割の表示】P 2018130250の分割
【原出願日】2018-07-09
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(71)【出願人】
【識別番号】598076591
【氏名又は名称】東芝インフラシステムズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】大石 淳也
(72)【発明者】
【氏名】榎原 孝明
(72)【発明者】
【氏名】小栗 成之
(72)【発明者】
【氏名】岡本 浩孝
(72)【発明者】
【氏名】杉山 元勇
(57)【要約】
【課題】 センシングシステムの使い勝手をさらに高めること。
【解決手段】 実施形態によれば、センシングシステムは、検出項目ごとに用意される辞書データセットを使用して対象を検出する画像センサを具備する。辞書データが、データサーバに予め記憶される。センシングシステムは、さらに、選定手段と、配布手段とを具備する。選定手段は、要求されたサービスに応じた辞書データセットを画像センサごとに選定する。配布手段は、選定された辞書データセットに対応する辞書データを、データサーバから画像センサに配布する。
【選択図】
図5
【特許請求の範囲】
【請求項1】
検出項目ごとに用意される辞書データセットを使用して対象を検出する画像センサと、 前記画像センサの占有権を管理する管理手段と、
前記辞書データセットに対応する辞書データを、前記占有権を与えられた主体のデータサーバから前記画像センサに配布する配布手段とを具備する、センシングシステム。
【請求項2】
前記配布手段は、前記データサーバからプッシュ型の手順で前記辞書データを前記画像センサに転送する、請求項1に記載のセンシングシステム。
【請求項3】
前記配布手段は、前記画像センサによりプル型の手順で前記データサーバから前記辞書データを取得する、請求項1に記載のセンシングシステム。
【請求項4】
前記辞書データの配布タイミングを指定するためのタイミング指定手段をさらに具備し、
前記配布手段は、前記指定されたタイミングで前記辞書データを配布する、請求項1乃至3のいずれか1項に記載のセンシングシステム。
【請求項5】
前記占有権の有効期間を指定するための期間指定手段と、
前記有効期間において前記辞書データを有効化する鍵情報を生成する鍵情報生成手段とをさらに具備し、
前記配布手段は、前記生成された鍵情報を対象の画像センサに配布する、請求項1に記載のセンシングシステム。
【請求項6】
複数の画像センサを具備するセンシングシステムに適用可能な保守端末装置であって、 前記画像センサにおいて用いられる辞書データを記憶する記憶部と、
プログラムに基づいて機能するプロセッサとを具備し、
前記プロセッサは、
前記画像センサの占有権を管理する管理部と、
前記占有権を与えられた主体のデータサーバから前記画像センサに辞書データセットを配布する配布部とを具備する、保守端末装置。
【請求項7】
前記配布部は、プッシュ型の手順で前記辞書データを前記画像センサに転送する、請求項6に記載の保守端末装置。
【請求項8】
前記プロセッサは、
前記辞書データの配布タイミングを指定するためのタイミング指定部をさらに具備し、 前記配布部は、前記指定されたタイミングで前記辞書データを配布する、請求項6に記載の保守端末装置。
【請求項9】
前記占有権の有効期間を指定するための期間指定部と、
前記有効期間において前記辞書データを有効化する鍵情報を生成する鍵情報生成部とをさらに具備し、
前記配布部は、前記生成された鍵情報を対象の画像センサに配布する、請求項6に記載の保守端末装置。
【請求項10】
検出項目ごとに用意される辞書データセットを使用して対象を検出する画像センサを具備するセンシングシステムに適用可能なデータ配布方法であって、
コンピュータが、前記画像センサの占有権を管理する過程と、
コンピュータが、前記辞書データセットに対応する辞書データを、前記占有権を与えられた主体のデータサーバから前記画像センサに配布する過程とを具備する、データ配布方法。
【請求項11】
画像センサであって、
対象空間を撮像して画像データを取得する撮像部と、
検出項目ごとに用意される辞書データセットを使用して、前記画像データから前記対象空間における対象を検出する検出部と、
自センサへの占有権を設定された主体から辞書データを取得する取得部と、
前記取得した辞書データを記憶する記憶部とを具備する、画像センサ。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、センシングシステム、保守端末装置、データ配布方法、および画像センサに関する。
【背景技術】
【0002】
近年の画像センサは、CPU(Central Processing Unit)やメモリを備え、いわばレンズ付きの組み込みコンピュータといえる。高度な画像処理機能も有しており、撮影した画像データを分析して、例えば人間の在・不在、あるいは人数などを計算することができる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、赤外線式人感センサを用いた照明制御システムは知られているが、画像センサを用いれば、多様な社会インフラを備える現代社会において今までにないサービスを提供できる可能性がある。特に、辞書データを用いて対象を検出可能な画像センサには、さまざまな活用手法が期待されている。
そこで、目的は、使い勝手をさらに高めたセンシングシステム、保守端末装置、データ配布方法、および画像センサを提供することにある。
【課題を解決するための手段】
【0005】
実施形態によれば、センシングシステムは、検出項目ごとに用意される辞書データセットを使用して対象を検出する画像センサを具備する。センシングシステムは、さらに、管理手段と、配布手段とを具備する。管理手段は、画像センサの占有権を管理する。配布手段は、辞書データセットに対応する辞書データを、前記占有権を与えられた主体のデータサーバから画像センサに配布する。
【図面の簡単な説明】
【0006】
【
図1】
図1は、実施形態に係る画像センサを備えるセンシングシステムの一例を示す模式図である。
【
図2】
図2は、ビルのフロア内の一例を示す図である。
【
図3】
図3は、
図1に示されるセンシングシステムの一例を示すブロック図である。
【
図4】
図4は、ビル10に入居するテナントの配置の一例を示す図である。
【
図5】
図5は、
図3に示される保守端末200の一例を示す機能ブロック図である。
【
図6】
図6は、サービス内容ごとに纏められた辞書データの一例を示す図である。
【
図7】
図7は、モニタ210に表示されるGUIウインドウの一例を示す図である。
【
図8】
図8は、辞書データのダウンロードのタイミングを指定する操作の途中の状態の一例を示す図である。
【
図9】
図9は、辞書データのダウンロードのタイミングの指定が完了した状態の一例を示す図である。
【
図10】
図10は、画像センサ3の一例を示すブロック図である。
【
図11】
図11は、
図10に示される機能ブロック間におけるデータの流れの一例を示す図である。
【
図12】
図12は、辞書データの配布に係わる保守端末200と画像センサ3との処理手順の一例を示すシーケンスチャートである。
【
図13】
図13は、辞書データの配布に係わる保守端末200と画像センサ3との処理手順の他の例を示すシーケンスチャートである。
【
図14】
図14は、第2の実施形態での保守端末200の一例を示す機能ブロック図である。
【
図15】
図15は、第2の実施形態での画像センサ3の一例を示す機能ブロック図である。
【
図17】
図17は、使用可能な辞書データがサービス内容に応じて制限されることを説明するための図である。
【
図18】
図18は、使用可能な辞書データがサービス内容に応じて制限されることを説明するための図である。
【
図19】
図19は、この発明の第3の実施形態に係わるセンシングシステムの一例を示すブロック図である。
【
図20】
図20は、第3の実施形態での保守端末200の一例を示す機能ブロック図である。
【
図21】
図21は、第3の実施形態での画像センサ3の一例を示す機能ブロック図である。
【
図22】
図22は、クラウド600に一部の機能を移管する形態を示す図である。
【
図23】
図23は、実施形態に係わる機能を、保守端末200に代えてBEMSサーバ5にインストールした一例を示す図である。
【発明を実施するための形態】
【0007】
画像センサは、人感センサ、明かりセンサあるいは赤外線センサ等に比べて多様な情報を取得することができる。魚眼レンズや超広角レンズなどを用いれば1台の画像センサで撮影可能な領域を拡大できるし、画像の歪みは計算処理で補正することができる。視野内のセンシングしたくない領域をマスク設定する機能や、学習機能を備えた画像センサも知られている。さらに、辞書データ対象を検出するための辞書データを更新することで、対象物の検知性能を最適化することも可能である。以下、この種の画像センサを備えたシステムの実施形態について説明する。
【0008】
図1は、実施形態に係る画像センサを備えるセンシングシステムの一例を示す模式図である。
図1において、照明機器1、空調機器2、および画像センサ3は、ビル10の例えばフロアごとに設けられ、コントローラ4と通信可能に接続される。各階のコントローラ4は、ビル内ネットワーク500を介して、例えばビル管理センタのBEMS(Building Energy Management System)サーバ5と通信可能に接続される。ビル内ネットワーク500の通信プロトコルとしてはBuilding Automation and Control Networking protocol(BACnet(登録商標))が代表的である。このほかDALI(登録商標)、ZigBee(登録商標)、ECHONET Lite(登録商標)等のプロトコルも知られている。
【0009】
BEMSサーバ5は、例えばTCP/IP(Transmission Control Protocol / Internet Protocol)ベースの通信ネットワーク300経由で、クラウドコンピューティングシステム(クラウド)600に接続されることができる。クラウド600は、データベース70およびサーバ80を備え、ビル管理等に関するサービスを提供する。
【0010】
図2に示されるように、照明機器1、空調機器2の吹き出し口、および画像センサ3は各フロアの例えば天井に配設される。画像センサ3は、視野内に捕えた映像を撮影して画像データを取得する。この画像データは画像センサ3において処理され、人物情報、および/または環境情報が生成される。
【0011】
環境情報は、撮像対象の空間(ゾーン)の環境に関する情報であり、例えば、フロアの照度や温度等である。人物情報は、対象空間における人間に関する情報である。例えばエリア内の人数、人の行動、人の活動量、人の存在または不在を示す在・不在、あるいは、人が歩いているか、または1つの場所に留まっているかを示す歩行・滞留などが人物情報の例である。環境情報および人物情報を、ゾーンを複数に分割した小領域(エリア)ごとに算出することも可能である。
近年では、人の居住環境においてこれらの情報に基づき照明機器1や空調機器2を制御することで、人の快適性や安全性等を確保することが検討されている。
【0012】
図3は、
図1に示されるセンシングシステムの一例を示すブロック図である。
図3において、BEMSサーバ5の配下に、空調機器2を制御する空調コントローラ41、エレベータを制御するエレベーターコントローラ42、防犯システムを制御する防犯コントローラ43、防災システムを制御する防災コントローラ44、および、照明機器1(1-1、1-2)を制御する照明コントローラ45が、ビル内ネットワーク500経由で接続される。
【0013】
また、ビル内ネットワーク500に、保守端末200、およびゲートウェイ7がBEMSサーバ5と通信可能に接続される。さらに、複数の画像センサ3(3-1~3-n)が、ゲートウェイ7の配下に収容される。
【0014】
画像センサ3-1~3-nは、センサネットワーク100により、一筆書き状に接続される(渡り配線)。センサネットワーク100は、例えばEtherCAT(登録商標)で画像センサ3-1~3-nおよびゲートウェイ7を通信可能に接続する。BEMSサーバ5および保守端末200も、ゲートウェイ7経由で画像センサ3-1~3-nと相互通信することが可能である。
【0015】
図4は、ビル10に入居するテナントの配置の一例を示す図である。例えばワンフロアに3つのテナントA,B,Cが、互いに壁(点線)を隔てて入居しているとする。各テナントはそれぞれ4つの画像センサ3を備え、これらはセンサネットワーク100でゲートウェイ7に接続されている。
【0016】
ここで、画像センサ3を用いたソリューションが全てのテナントで同じである必要は無く、むしろ異なるサービスを柔軟に提案できることが望ましい。つまり、テナントA,B,Cごとに、それぞれ必要とするサービスが異なる可能性がある。例えばテナントAが店舗、テナントBがオフィス、テナントCが倉庫として利用されていれば、それぞれ求めるサービスは異なるであろう。一例として、テナントAでは人流解析データの取得、テナントBでは空調/照明の細かな制御、テナントCでは防犯サービスが求められるかもしれない。
また、例えば店舗においては、昼間は人分布データの取得、夜間は防犯というように、時間帯によって求めるサービスが変わる可能性もある。
既存の技術では、このような多様なサービス要求に柔軟に応えることが困難であった。以下では、このような困難を解決可能とする技術について開示する。
【0017】
[第1の実施形態](画像センサに、最小限の辞書データをインストールする形態)
図5は、
図3に示される保守端末200の一例を示す機能ブロック図である。データサーバの一例としての保守端末200は、CPUやMPU(Micro Processing Unit)等のプロセッサ250と、ROM(Read Only Memory)220およびRAM(Random Access Memory)230を備えるコンピュータである。保守端末200は、さらに、ハードディスクドライブ(Hard Disk Drive:HDD)などの記憶部240、光学メディアドライブ260、通信部270、および、種々の情報を表示するモニタ210を備える。
【0018】
ROM220は、BIOS(Basic Input Output System)やUEFI(Unified Extensible Firmware Interface)などの基本プログラム、および各種の設定データ等を記憶する。RAM230は、記憶部240からロードされたプログラムやデータを一時的に記憶する。
【0019】
光学メディアドライブ260は、CD-ROM280などの記録媒体に記録されたディジタルデータを読み取る。保守端末200で実行される各種プログラムは、例えばCD-ROM280に記録されて頒布される。このCD-ROM280に格納されたプログラムは光学メディアドライブ260により読み取られ、記憶部240にインストールされる。
【0020】
通信部270は、ビル内ネットワーク500経由で画像センサ3、BEMSサーバ5等と通信するための機能を備える。保守端末200で実行される各種プログラムを、例えば通信部270を介してサーバからダウンロードし、記憶部240にインストールすることもできる。通信部270を介してクラウド600から最新のプログラムをダウンロードし、インストール済みのプログラムをアップデートすることもできる。また、保守端末200は、ビル内ネットワーク500およびゲートウェイ7経由で、画像センサ3に辞書データをダウンロード送信することができる。
【0021】
記憶部240は、プロセッサ250により実行されるプログラム240aに加えて、辞書データ240b、および課金データ240cを記憶する。
【0022】
辞書データ240bは、画像センサ3における検出項目(人、物、男性、女性など)に応じて用意される、いわばテンプレートデータに類するデータである。画像センサ3で取得された画像データに対し、例えば『椅子』の検出向けに用意された辞書データ240bを用いてテンプレートマッチング処理を行うことで、画像データから椅子が検出される。その精度や椅子のタイプ(オフィスチェア、ソファー、座椅子など)や色を区別可能とするために、多様な辞書データ240bが予め用意される。このほか、車椅子、ベビーカー、子供、カート、白杖利用者、徘徊老人、不審人物、迷子、逃げ遅れた人物、等を検出するための辞書データを作成することができる。作成方法の一例としては、例えばサポートベクトルマシンやボルツマンマシンなどの、機械学習(Machine-Learning)の枠組みを利用することができる。
【0023】
図6に示されるように、辞書データ240bは、例えばサービス種別(サービスパック)ごとに複数の辞書データがセット化されていても良い。ベーシックサービスは、デフォルトで記憶部240に書き込まれた辞書データDを用いてモノの検出を行うもので、据え付け直後の画像センサを用いてこの機能を利用することができる。サービスの機能が異なったりグレードアップしたりすると、使用される辞書データの種類や数、組合せも変わる。例えばサービスパックWWWに対しては、デフォルトの辞書データDと、辞書データm1,m2とが組み合わせられ、物を検出するために適した辞書データセットとしてまとめられている。なお、辞書データセットとは、複数の辞書データを含むデータ群を主に対象としているが、これに限定されず、1つの辞書データ(例えばデフォルトの辞書データD)からなるデータも含まれる。
【0024】
一般に、1つの検出項目に対して辞書データは1つだけではなく、複数の辞書データを組み合わせて使用する場合が多い。また、1つの辞書データは1つの検出項目のみに使われるのではなく、複数の検出項目について共通的に使われる場合が多い。
【0025】
サービスパックごとに、サービス契約者への提供価格(課金プラン)を設定することもできる。また、例えば検出の精度(低精度、中精度、高精度など)、検出項目の種類の数等に応じて課金プランを設定することもできる。サービスパックに含まれる辞書データをダウンロードした主体(例えばサービス契約者)への課金額は、課金データ240cにデータベース化されて管理される。
【0026】
プロセッサ250は、OS(Operating System)および各種のプログラムを実行する。また、プロセッサ250は、実施形態に係る処理機能として、選定部250a、配布部250b、課金処理部250c、タイミング指定部250d、期間指定部250e、および、鍵情報生成部250fを備える。
【0027】
これらの機能ブロックは、プログラム240aがRAM230にロードされ、当該プログラムの実行の過程で生成されるプロセスとして、理解され得る。つまりプログラム240aはコンピュータである保守端末200を、選定部250a、配布部250b、課金処理部250c、タイミング指定部250d、期間指定部250e、および、鍵情報生成部250fとして動作させる。
【0028】
選定部250aは、要求されたサービスに応じた辞書データの組み合わせ(辞書データセット)を、画像センサ3-1~3-nごとに選定する。サービスは、ビル内のテナントごとに決められる場合が多い。例えば
図4のように3つのテナントがある場合、
図7のように、画像センサをテナントごとにグループ化することができる(グループA,B,C)。つまり、サービスとグループA,B,Cとを対応付けることができる。よって選定部250aは、例えば、テナントに対応付けられたグループA,B,Cごとに辞書データセットを選定する。
【0029】
もちろん、画像センサ3-1~3-nごとに、最適な辞書データセットを選定しても良い。例えばテナントAの入り口付近の画像センサと、店舗の奥のほうの画像センサとでは、必要な辞書データが異なるかもしれない。このように、画像センサ3の設置環境に応じて辞書データセットを選定するようにすれば、より、きめ細かなサービスを実現できる。
【0030】
配布部250bは、選定部250aで選定された辞書データセットに含まれる辞書データを記憶部240から読み出し、対象の画像センサに配布する。辞書データの配布は、タイミング指定部250dによって指定された時刻に実行される。
【0031】
タイミング指定部250dは、配布部250bによる辞書データの配布タイミングを指定するためのユーザ操作を受け付ける。
図7は、モニタ210に表示されるGUIウインドウの一例を示す図である。
図4のテナント配置、画像センサの配置に対応するアイコンが例えば表示される。例えばグループAをマウスでクリックすると、
図8に示されるようなカレンダーと、データ配布時刻のドロップダウンリストが表示される。ここから、例えば2018/7/4の23:00がユーザにより指定されると、
図9に示されるように、この日付、時刻がグループAにセットされる。
【0032】
タイミング指定部250dは、このように指定された辞書データのダウンロードのタイミングを、テナントごと、グループごと、あるいは画像センサごとに、記憶部240に記憶する。指定された時刻において、配布部250bは、対象の画像センサに辞書データをダウンロードする。
【0033】
期間指定部250eは、上記、要求されたサービスの稼働期間を指定するためのユーザ操作を受け付ける。
鍵情報生成部250fは、配布部250bにより配布された辞書データを、期間指定部250eで指定された稼働期間において有効化する鍵情報を、生成する。この鍵情報は、配布部250bにより、対象の画像センサに配布される。
【0034】
課金処理部250cは、辞書データのダウンロードに伴って上記サービスの契約者に課金するための課金情報を、管理する。つまり、画像センサ3にダウンロードされる辞書データはサービスに応じて変わるので、都度、ダウンロードして更新する必要が生じる。課金処理部250cは、ダウンロードの発生やサービスの稼働開始などを契機に発生する課金情報を管理する。課金情報は、例えば記憶部240に記憶される(課金データ240c)。
なお、選定部250aは、要求されたサービスの課金プランを基準として辞書データセットを選定するようにしてもよい。
【0035】
図10は、画像センサ3の一例を示すブロック図である。画像センサ3は、撮像部31、記憶部32、プロセッサ33、および通信部34を備える。これらは内部バス35を介して互いに接続される。
【0036】
撮像部31は、魚眼レンズ31a、絞り機構31b、撮像素子31cおよびレジスタ30を備える。魚眼レンズ31aは、対象空間としての室内を、例えば天井から見下ろす向きで視野に捕えて撮像素子31cに結像する。撮像素子31cは、CMOS(相補型金属酸化膜半導体)に代表されるイメージセンサであり、例えば毎秒30フレームのフレームレートの映像信号を生成する。この映像信号はディジタル符号化され、画像データとして出力される。撮像素子31cへの入射光量は絞り機構31bにより調節される。
【0037】
レジスタ30は、カメラ情報30aを記憶する。カメラ情報30aは、例えばオートゲインコントロール機能の状態、ゲインの値、露光時間などの、撮像部31に関する情報、あるいは画像センサ3それ自体に関する情報である。
【0038】
記憶部32は、DRAM(Dynamic Random Access Memory)、SDRAM(Synchronous Dynamic RAM)、EPROM(Erasable Programmable ROM)などの半導体メモリであり、撮像部31により取得された画像データ32a、実施形態に係わる各種の機能をプロセッサ33に実行させるためのプログラム32b、画像センサを一意に区別するためのセンサID(IDentification)32c、および、辞書データ32dを記憶する。
【0039】
工場出荷の段階では、例えば人物検知だけに利用可能な、基本的な辞書データがデフォルトでインストールされていてもよい。画像センサ3の現場への据え付けが完了し、その場所に応じたサービスが開始されると、必要とされる辞書データ32dも変化する。そこで実施形態では、例えば保守端末200から辞書データ32dをダウンロードし、更新することで、画像センサ3の機能を変更したり、アップグレードしたりする。いわば、画像センサ3の機能を、汎用的なものから、ニーズに応じてカスタマイズすることができる。
【0040】
プロセッサ33は、記憶部32に記憶されたプログラムをロードし、実行することで、実施形態において説明する各種の機能を実現する。プロセッサ33は、例えばマルチコアCPUを備え、画像処理を高速で実行することについてチューニングされたLSI(Large Scale Integration)である。FPGA(Field Programmable Gate Array)等でプロセッサ15を構成することもできる。MPUもプロセッサの一つである。
通信部34は、センサネットワーク100に接続可能で、ゲートウェイ7、保守端末200、BEMSサーバ5等の通信相手先とのデータ授受を仲介する。特に、通信部34は、要求されたサービスに応じた辞書データセットに対応する辞書データを取得する、取得部としても機能する。
【0041】
ところで、プロセッサ33は、実施形態に係る処理機能として、検出部33a、特徴データ計算部33b、学習部33c、識別部33d、および判定部33eを備える。検出部33a、特徴データ計算部33b、学習部33c、識別部33d、および判定部33eは、例えば、プロセッサ33のレジスタにロードされたプログラム32bに従い、プロセッサ33が演算処理を実行する過程で生成される、プロセスである。
【0042】
検出部33aは、辞書データ32dを用いて視野内の対象を検出する。すなわち検出部33aは、検出項目ごとに用意される辞書データセットを使用して、画像データ32aから対象空間における対象を検出する。
【0043】
特徴データ計算部33bは、記憶部32に記憶された画像データ32aを所定のアルゴリズムで解析して、例えば輝度勾配方向ヒストグラム(histograms of oriented gradients:HOG)特徴量、コントラスト、解像度、S/N比、色調、輝度勾配方向共起ヒストグラム(Co-occurrence HOG:Co-HOG)特徴量、Haar-Like特徴量などの、特徴量を計算する。
【0044】
識別部33dは、検出された対象を辞書データに基づいて識別する。
判定部33eは、識別された対象が何であるかを判定する。
学習部33cは、判定部33eによる判定の結果と、画像データ32aとに基づいて、識別部33dによる識別結果の正答率を向上させるべく、学習を行う。
【0045】
図11は、
図10の機能ブロック間におけるデータの流れの一例を示す図である。撮像部31からの画像データは記憶部32に記憶されたのち、検出部33aと学習部33cに渡される。検出部33aは画像データから対象を検出し、識別部33dにその結果を渡す。識別部33dは、検出された対象が何であるかを、辞書データ32dを用いて識別し、識別スコアを判定部33eに渡す。判定部33eは、識別スコアに基づいて、検出された対象が何であるかを判定し、結果を通信部34に渡す。通信部34は、判定結果をBEMSサーバ5やサービス契約者等に通知する。また、対象の判定結果は学習部33cにも渡され、識別部33dによる識別処理精度の向上にフィードバックされる。次に、上記構成における作用を説明する。
【0046】
図12は、辞書データの配布に係わる保守端末200と画像センサ3との処理手順の一例を示すシーケンスチャートである。
図12においては、保守端末200が主体となって画像センサ3に辞書データを転送する、プッシュ型の手順の一例が示される。
【0047】
保守端末200のタイミング指定部250dにより辞書データの配布時刻がセットされると(ステップS10)、保守端末200は配布時刻の到来を待ち受ける(ステップS11)。配布時刻が到来すると(S11でYes)、保守端末200は、対象の画像センサごとに辞書データを記憶部240から読み出し(ステップS13)、一つ以上の辞書データを対象の画像センサに送信する(ステップS14)。
【0048】
辞書データを受信した画像センサ3は(ステップS50)、Ackメッセージおよび自らのセンサIDを保守端末200に返信し(ステップS51)、ダウンロードされた辞書データを記憶部32に記憶する(ステップS52)。
【0049】
Ackメッセージを受信した保守端末200は(ステップS15)、辞書データのダウンロード先の画像センサを用いたサービスの契約者への課金情報を、課金データ240cに書き込む。対象の全ての画像センサについて完了するまでステップS13~ステップS16(ステップS50~S52を含む)の一連の手順は繰り返され(ステップS12,S17のループ)。対象の全ての画像センサに辞書データがダウンロードされると、保守端末200は、辞書データの更新を待ち受ける(ステップS18)。辞書データが更新されると(ステップS18でYes)、処理手順はステップS11に戻る。
【0050】
図13は、辞書データの配布に係わる保守端末200と画像センサ3との処理手順の他の例を示すシーケンスチャートである。
図13においては、画像センサ3が主体となって保守端末200から辞書データを取得する、プル型の手順の一例が示される。
図12と異なる手順を主に説明する。
【0051】
図13において、セットされた辞書データの配布時刻は、保守端末200から画像センサ3に通知される(ステップS20)。配布時刻を通知された画像センサ3は(ステップS53)、その配布時刻を記憶部32に記憶し(S54)、配布時刻の到来を待ち受ける(ステップS55)。配布時刻が到来すると(S55でYes)、画像センサ3は辞書データの取得要求を自らのセンサIDとともに保守端末200に送信し(ステップS56)する。
【0052】
取得要求を受信した保守端末200は(ステップS21でYes)、センサIDの画像センサ向けの辞書データを要求元の画像センサに送信する(ステップS13,S14)。ステップS50~ステップS52、ステップS15~S18の手順は
図12と同様である。
【0053】
以上説明したように第1の実施形態では、複数の辞書データを保守端末200に記憶させ、要求されたサービスに応じた辞書データをセットにした辞書データセットを画像センサごとに選定させる。そして、辞書データセットの配布時刻をGUIを用いてユーザが設定できるようにし、配布時刻が到来すると、辞書データを保守端末200から画像センサにプッシュ型、またはプル型の手順でダウンロードするようにした。
【0054】
このようにしたので、画像センサ3の設置(据え付け)が完了した後でも、辞書データを更新することができる。これにより最新の機能をアップデートしたり、求められるサービスの変化に柔軟に対応することが可能になる。
【0055】
また、ダウンロードのタイミングをユーザが決めることができるので、トラフィックの集中する平日を避け、ビル内ネットワーク500等が比較的空いている平日夜間や休日などにデータ更新を行うことができ、運用上の利便性を高められる。
【0056】
これらのことから、使い勝手をさらに高めたセンシングシステム、保守端末装置、データ配布方法、および画像センサを提供することが可能となる。
【0057】
[第2の実施形態](画像センサに、辞書データをフルセットでインストールする形態)
第1の実施形態では、サービスの変更などを契機として、都度、画像センサに辞書データをダウンロードして更新する、という例が考えられる。第2の実施形態では、予めフルセットの辞書データを画像センサにインストールし、使用可能な辞書データをシステム側で管理する形態について説明する。
【0058】
図14は、第2の実施形態での保守端末200の一例を示す機能ブロック図である。
図5と異なる部分について主に説明する。プロセッサ250は、第2の実施形態に係わる処理機能として制限部250gを備える。制限部250gは、プログラム240aの実行の過程で生成されるプロセスとして理解され得る。つまりプログラム240aはコンピュータである保守端末200を、制限部250gとして動作させる。
【0059】
図15は、第2の実施形態での画像センサ3の一例を示す機能ブロック図である。
図10と異なる部分について主に説明する。画像センサ3の記憶部32は、鍵データ32eを記憶する。また、画像センサ3は、
図16に示されるようなフルセットの辞書データ32dを保守端末200からダウンロードし、記憶部32に記憶する。
【0060】
図16は、
図15に記憶される辞書データ32dの一例を示す図である。例えば「人の検出」向けのm系列の辞書データ(m1~m5)、「椅子の検出」向けのC系列の辞書データ(C1~C5)、「モノの検出」向けのO系列の辞書データ(O1~O5)、「特定人物の検出」向けのa,b,c,d,e辞書データ(m1~m5)の全てが、デフォルトの辞書データDとともに、画像センサ3の記憶部32に記憶される。
【0061】
図14の制限部250gは、選定部250aで選定された辞書データセットに対応する辞書データを、対応する画像センサにおいて使用可能とするように、残りの辞書データの使用を制限する。辞書データのうち、使用可能なもの/使用できないものを切り分けるには、例えば鍵情報生成部250fで生成される鍵情報を用いればよい。この鍵情報は、例えば辞書データセットのダウンロードの際に、保守端末200から画像センサ3に配布され、鍵データ32eとして記憶部32に記憶される。
【0062】
図17および
図18は、使用可能な辞書データがサービス内容に応じて制限されることを説明するための図である。
図17は、人検出向けのサービスパックWWWを提供する際に、辞書データD,m1,m2のみが使用でき、他の辞書データは[Not Available]として無効化されていることを示す。無効化されたデータは鍵データ32gにより、画像センサ3のプログラム32b(アプリケーション)が利用できない状態になっている。
【0063】
図18は、サービスパックXXX向けの辞書データを示し、辞書データD,m1,m2に加えて辞書データO1,O2の鍵が解除されている。これにより人だけでなくモノの検出も実施解脳となる。
【0064】
このように第2の実施形態では、予め画像センサ3に辞書データをフルセットでインストールしておき、使用を許可された辞書データに限って有効化し、残りの辞書データを無効(not available)とするようにした。このようにしたので、サービス内容が変化した場合には新たな鍵情報を生成し、鍵情報だけを対象の画像センサに配布すれば良くなる。従って、比較的データ量の多い辞書データを都度、配布する必要が無く、通信にかかるリソースの圧迫を和らげることが可能になる。
【0065】
[第3の実施形態](画像センサに占有件を設定可能とする形態)
第3の実施形態では、一定の期間にわたって画像センサ3を占有して使用できる権利(占有権)を第3者に与え、新たなサービスを展開することを可能とする形態について説明する。
【0066】
図19は、この発明の第3の実施形態に係わるセンシングシステムの一例を示すブロック図である。ゲートウェイ8経由で、サービスプロバイダによるサーバ(ベンダサーバ400とする)がビル内ネットワーク500に接続されている。
【0067】
図20は、第3の実施形態での保守端末200の一例を示す機能ブロック図である。プロセッサ250は、占有権管理部250hを備える。占有権管理部250hは、プログラム240aの実行の過程で生成されるプロセスとして理解され、プログラム240aはコンピュータである保守端末200を、占有権管理部250hとして動作させる。
【0068】
占有権管理部250hは、画像センサの占有権を管理する。例えば、
図7~
図9において説明したのと同様な手法で一定の期間を設定し、ベンダサーバ400を有するサービス提供主体に、その期間にわたって画像センサ3-1~3-nの全てまたは一部を占有する権限を与える。
【0069】
そして、占有権を与えられた画像センサ3に、ベンダサーバ400から私製の辞書データをダウンロードし、専用の辞書データに基づく独自のサービスを提供する機会を与える。そして、課金処理部250cは、その占有権に対して課金処理を行い、サービス提供主体に対する課金データを保守端末200の記憶部200に記憶するようにする(課金データ240c)。
【0070】
あるいは、第2の実施形態で述べたように、フルセットの辞書データを記憶する画像センサへの占有権を設定し、
図21の記憶部32に示される鍵データ32eにより、第2の実施形態と同様の手法により、使用可能な辞書データ/使用できない辞書データを区別するようにしても良い。鍵データ32e自体に有効期限を持たせることでも、占有権の期限を設定することが可能である。
【0071】
なお、保守端末200の配布部250bにより、占有権を与えられたサービス提供主体のベンダサーバ400から、占有を許可された画像センサに辞書データセットを配布するための処理を実行しても良い。
【0072】
以上述べたように第3の実施形態では、画像センサ3を占有する占有権を第3者のサービス提供主体に与え、占有権に対して課金できるようにした。このようにすることで、さらにバラエティ豊かなサービスを提供することが可能になる。
【0073】
なお、この発明は上記実施形態に限定されるものではない。
例えば、第2の実施形態におけるフルセットという用語は、全ての辞書データを意味するとは限らない。要するにシステム要求の許す範囲で、多数の辞書データを画像センサにまとめて転送すればよい。そして、転送のタイミングを適切に設定することで、伝送チャネル容量などのリソースが圧迫されることをできるだけ抑えることができる。
【0074】
第1の実施形態では画像センサ3をテナントごとにグループ化し、グループを単位として辞書データのダウンロードのタイミング等を管理するようにしたが、これは一例である。画像センサ3ごとに、辞書データのダウンロードのタイミングを個別に設定することももちろん可能である。このほか、画像センサ3を任意のまとまりで管理することが可能である。
【0075】
辞書データは、保守端末200から全ての画像センサにダウンロードされるとは限らない。例えば、辞書データの更新の際に、グループ(あるいはテナント)ごとに1つの画像センサだけが保守端末200と通信し、取得した辞書データをグループ内の画像データで、例えばリレー形式で分配するようにしても良い。
【0076】
さらに、実施形態のセンシングシステムの機能は、少なくともその一部が、クラウドサーバ装置により構成されていてもよい。すなわち、実施形態のセンシングシステムが実行する処理の少なくとも一部は、クラウド・コンピューティングにより実行されてもよい。
【0077】
図22は、クラウド600に一部の機能を移管する形態を示す図である。保守端末200は、ビル内ネットワーク500に接続されたファイヤウォール6経由でクラウド600と通信することができ、
図5、
図14、
図20に示される機能の一部または全てを、クラウド600に移管することが可能である。
【0078】
このクラウド・コンピューティングには、アプリケーション(ソフトウェア)をサービスとして提供するSaaS(Software as a Service)と、アプリケーションを稼働させるための基盤(プラットフォーム)をサービスとして提供するPaaS(Platform as a Service)と、サーバ装置、中央演算処理装置およびストレージなどのリソースをサービス(パブリッククラウド)として提供するIaaS(Infrastructure as a Service)とのうち、少なくとも一つが含まれていてもよい。例えば、このクラウド・コンピューティングには、クラウド・サービス提供層(PaaS)により、インターネットを介した遠隔操作が含まれていてもよい。そして、保守端末200、あるいはBEMSサーバ5は、クラウドサーバでもよい。
【0079】
図23は、第1実施形態に係わる機能を、保守端末200に代えてBEMSサーバ5にインストールした一例を示す図である。このようにしても、この発明の効果を得られることは言うまでもない。第2の実施形態、第3の実施形態についても同様である。さらに、
図23に示される機能の一部または全てを、クラウド600に移管することが可能である。
【0080】
この他、この発明の実施形態における作用および効果を列挙する。
・画像センサのフル機能の辞書の機能制限やスケジュールは、上位システムから画像センサに指示するものとする。
【0081】
・画像センサの辞書の更新は、画像センサ毎やグループ毎に、ダウンロードする辞書とスケジュールを設定できるものとする。
【0082】
・画像センサへ辞書を配信する機能を、上位システム側に用意する。画像センサ毎やグループ毎に配信する辞書と配信するスケジュールを設定できる機能および設定画面を有するものとする。
【0083】
・画像センサの辞書の更新は、ユーザが任意に辞書を作成し、これを保守用PC端末などで画像センサに直接配布できるものとする。
【0084】
・上記の機能を有する画像センサについて、使用している辞書機能(フル機能のソフトウェア制限、任意の機能追加・更新、共に)に応じて、ユーザに課金する仕組みを有するものとする。また、特定の画像センサのグループを、ユーザが有料で占有できる仕組みを有するものとする。
【0085】
・課金については、契約者ID(又はテナントID)と対応づけて画像センサ毎やグループ毎にどのような辞書機能が割り当てられているかを示すテーブルがあり、このテーブルが新規辞書データが送信されるタイミングで更新され、契約者ID(又はテナントID)と対応づけられた課金テーブルを更新していく。または、課金タイミングは、画像センサから更新が問題無く完了した旨の応答を受けた時点で行われる。このような課金タイミングを監視する仕組みを、上位システムが有するものとする。
【0086】
なお、ここでのプロセッサ33および記憶部32は単数の場合について記載しているが、二つ以上のプロセッサと記憶部を備えてもよい。一例として第1と第2のプロセッサを備える場合について記載する。第1のプロセッサは、高速で画像認識を実現できる画像認識専用プロセッサであり、
図10における検出部33a、特徴データ計算部33b、学習部33c、識別部33d、および判定部33eの機能を備え、DRAM等の高速で読み書きできる高速記憶部にアクセス可能としている。第2のプロセッサは、汎用のプロセッサであり、第1のプロセッサが認識した画像処理結果を保存・管理・通信する機能を備え、フラッシュメモリ等の大容量記憶部にアクセス可能としている。
【0087】
この場合、辞書データ32dは第2のプロセッサがアクセス可能な大容量記憶部に格納されており、辞書データD、m1、m2、O1、O2が保存されている。第1のプロセッサまたは第2のプロセッサに実行される辞書データ選択部(図示しない)は、大容量記憶部に格納される辞書データのうち第1のプロセッサが用いる辞書データを選択し、高速記憶部に記憶させ、第1のプロセッサは所定の動作を実行する。
【0088】
このように画像認識専用プロセッサを用いることにより、高速な画像処理を実現することが可能であり、照明制御等の人物の在不在や動作に伴う高速な応答が求められる場合でも実現可能である。また、サービスパックの変更に伴い、検出対象を変更する場合でも、辞書データ32dを書き換える必要は無く、辞書データ選択部が選択する対象を変更するのみで、検出対象を変更することが可能となる。
【0089】
本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示するものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
[1]
検出項目ごとに用意される辞書データセットを使用して対象を検出する画像センサと、 複数の辞書データを記憶するデータサーバと、
要求されたサービスに応じた辞書データセットを前記画像センサごとに選定する選定手段と、
前記選定された辞書データセットに対応する辞書データを、前記データサーバから前記画像センサに配布する配布手段とを具備する、センシングシステム。
[2]
検出項目ごとに用意される辞書データセットを使用して対象を検出する画像センサと、 複数の辞書データを記憶するデータサーバと、
前記データサーバからフルセットの辞書データを前記画像センサに配布する配布手段と、
要求されたサービスに応じた辞書データセットを前記画像センサごとに選定する選定手段と、
前記選定された辞書データセットに対応する辞書データを、前記画像センサにおいて使用可能とする制限手段とを具備する、センシングシステム。
[3]
検出項目ごとに用意される辞書データセットを使用して対象を検出する画像センサと、 前記画像センサの占有権を管理する管理手段と、
前記辞書データセットに対応する辞書データを、前記占有権を与えられた主体のデータサーバから前記画像センサに配布する配布手段とを具備する、センシングシステム。
[4]
前記配布手段は、前記データサーバからプッシュ型の手順で前記辞書データを前記画像センサに転送する、付記[1]乃至[3]のいずれかに記載のセンシングシステム。
[5]
前記配布手段は、前記画像センサによりプル型の手順で前記データサーバから前記辞書データを取得する、付記[1]乃至[3]のいずれかに記載のセンシングシステム。
[6]
前記辞書データの配布タイミングを指定するためのタイミング指定手段をさらに具備し、
前記配布手段は、前記指定されたタイミングで前記辞書データを配布する、付記[1]乃至[3]のいずれかに記載のセンシングシステム。
[7]
さらに、前記サービスの契約者に課金するための課金情報を管理する課金処理手段を具備する、付記[1]または[2]のいずれかに記載のセンシングシステム。
[8]
前記選定手段は、前記要求されたサービスの課金プランを基準として前記辞書データを選定する、付記[7]に記載のセンシングシステム。
[9]
前記画像センサは、複数のテナントを含むビルに設置され、
前記選定手段は、前記辞書データを前記テナントごとに選定する、付記[1]または[2]に記載のセンシングシステム。
[10]
前記制限手段により前記辞書データを使用可能とする期間を指定するための期間指定手段と、
前記指定された期間において前記辞書データを有効化する鍵情報を生成する鍵情報生成手段とをさらに具備し、
前記配布手段は、前記生成された鍵情報を対象の画像センサに配布する、付記[2]に記載のセンシングシステム。
[11]
前記占有権の有効期間を指定するための期間指定手段と、
前記有効期間において前記辞書データを有効化する鍵情報を生成する鍵情報生成手段とをさらに具備し、
前記配布手段は、前記生成された鍵情報を対象の画像センサに配布する、付記[3]に記載のセンシングシステム。
[12]
複数の画像センサを具備するセンシングシステムに適用可能な保守端末装置であって、 前記画像センサにおいて用いられる辞書データを記憶する記憶部と、
プログラムに基づいて機能するプロセッサとを具備し、
前記プロセッサは、
要求されたサービスに応じた辞書データセットを前記画像センサごとに選定する選定部と、
前記選定された辞書データセットに対応する辞書データを、前記記憶部から前記画像センサに配布する配布部とを具備する、保守端末装置。
[13]
複数の画像センサを具備するセンシングシステムに適用可能な保守端末装置であって、 前記画像センサにおいて用いられる辞書データを記憶する記憶部と、
プログラムに基づいて機能するプロセッサとを具備し、
前記プロセッサは、
フルセットの辞書データを前記画像センサに配布する配布部と、
要求されたサービスに応じた辞書データセットを前記画像センサごとに選定する選定部と、
前記選定された辞書データセットに対応する辞書データを、前記画像センサにおいて使用可能とする制限部とを具備する、保守端末装置。
[14]
複数の画像センサを具備するセンシングシステムに適用可能な保守端末装置であって、 前記画像センサにおいて用いられる辞書データを記憶する記憶部と、
プログラムに基づいて機能するプロセッサとを具備し、
前記プロセッサは、
前記画像センサの占有権を管理する管理部と、
前記占有権を与えられた主体のデータサーバから前記画像センサに辞書データセットを配布する配布部とを具備する、保守端末装置。
[15]
前記配布部は、プッシュ型の手順で前記辞書データを前記画像センサに転送する、付記[12]乃至[14]のいずれかに記載の保守端末装置。
[16]
前記プロセッサは、
前記辞書データの配布タイミングを指定するためのタイミング指定部をさらに具備し、 前記配布部は、前記指定されたタイミングで前記辞書データを配布する、付記[12]乃至[14]のいずれかに記載の保守端末装置。
[17]
さらに、前記サービスの契約者に課金するための課金情報を管理する課金処理部を具備する、付記[12]または[13]のいずれかに記載の保守端末装置。
[18]
前記選定部は、前記要求されたサービスの課金プランを基準として前記辞書データを選定する、付記[17]に記載の保守端末装置。
[19]
前記画像センサが複数のテナントを含むビルに設置される場合に、
前記選定部は、前記辞書データを前記テナントごとに選定する、付記[12]または[13]のいずれかに記載の保守端末装置。
[20]
前記制限部により前記辞書データを使用可能とする期間を指定するための期間指定手段と、
前記指定された期間において前記辞書データを有効化する鍵情報を生成する鍵情報生成部とをさらに具備し、
前記配布部は、前記生成された鍵情報を対象の画像センサに配布する、付記[13]に記載の保守端末装置。
[21]
前記占有権の有効期間を指定するための期間指定部と、
前記有効期間において前記辞書データを有効化する鍵情報を生成する鍵情報生成部とをさらに具備し、
前記配布部は、前記生成された鍵情報を対象の画像センサに配布する、付記[14]に記載の保守端末装置。
[22]
検出項目ごとに用意される辞書データセットを使用して対象を検出する画像センサを具備するセンシングシステムに適用可能なデータ配布方法であって、
コンピュータが、要求されたサービスに応じた辞書データセットを前記画像センサごとに選定する過程と、
コンピュータが、前記選定された辞書データセットに対応する辞書データを、複数の辞書データを記憶するデータサーバから前記画像センサに配布する過程とを具備する、データ配布方法。
[23]
検出項目ごとに用意される辞書データセットを使用して対象を検出する画像センサを具備するセンシングシステムに適用可能なデータ配布方法であって、
コンピュータが、複数の辞書データを記憶するデータサーバからフルセットの辞書データを前記画像センサに配布する過程と、
コンピュータが、要求されたサービスに応じた辞書データセットを前記画像センサごとに選定する過程と、
コンピュータが、前記選定された辞書データセットに対応する辞書データを、前記画像センサにおいて使用可能とする過程とを具備する、データ配布方法。
[24]
検出項目ごとに用意される辞書データセットを使用して対象を検出する画像センサを具備するセンシングシステムに適用可能なデータ配布方法であって、
コンピュータが、前記画像センサの占有権を管理する過程と、
コンピュータが、前記辞書データセットに対応する辞書データを、前記占有権を与えられた主体のデータサーバから前記画像センサに配布する過程とを具備する、データ配布方法。
[25]
対象空間を撮像して画像データを取得する撮像部と、
検出項目ごとに用意される辞書データセットを使用して、前記画像データから前記対象空間における対象を検出する検出部と、
要求されたサービスに応じた辞書データセットに対応する辞書データを取得する取得部と、
前記取得した辞書データを記憶する記憶部とを具備する、画像センサ。
[26]
対象空間を撮像して画像データを取得する撮像部と、
フルセットの辞書データを記憶する記憶部と、
要求されたサービスに応じて選定された辞書データセットに対応する辞書データを使用して、前記画像データから前記対象空間における対象を検出する検出部とを具備する、画像センサ。
[27]
画像センサであって、
対象空間を撮像して画像データを取得する撮像部と、
検出項目ごとに用意される辞書データセットを使用して、前記画像データから前記対象空間における対象を検出する検出部と、
自センサへの占有権を設定された主体から辞書データを取得する取得部と、
前記取得した辞書データを記憶する記憶部とを具備する、画像センサ。
【符号の説明】
【0090】
1(1-1,1-2)…照明機器、2…空調機器、3(3-1~3-n)…画像センサ、4…コントローラ、5…BEMSサーバ、6…ファイヤウォール、7,8…ゲートウェイ、10…ビル、15…プロセッサ、30…レジスタ、30a…カメラ情報、31…撮像部、31a…魚眼レンズ、31b…絞り機構、31c…撮像素子、32…記憶部、32a…画像データ、32b…プログラム、32d…辞書データ、32e…鍵データ、32g…鍵データ、33…プロセッサ、33a…検出部、33b…特徴データ計算部、33c…学習部、33d…識別部、33e…判定部、34…通信部、35…内部バス、41…空調コントローラ、42…エレベーターコントローラ、43…防犯コントローラ、44…防災コントローラ、45…照明コントローラ、70…データベース、80…サーバ、100…センサネットワーク、200…保守端末、210…モニタ、220…ROM、230…RAM、240…記憶部、240a…プログラム、240b…辞書データ、240c…課金データ、250…プロセッサ、250a…選定部、250b…配布部、250c…課金処理部、250d…タイミング指定部、250e…期間指定部、250f…鍵情報生成部、250g…制限部、250h…占有権管理部、260…光学メディアドライブ、270…通信部、300…通信ネットワーク、400…ベンダサーバ、500…ビル内ネットワーク、600…クラウド。