特許 6483165 空間監視装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6483165

(24)【登録日】2019年2月22日

(45)【発行日】2019年3月13日

(54)【発明の名称】空間監視装置

(51)【国際特許分類】

   G06F 11/30 20060101AFI20190304BHJP

   G05B 23/02 20060101ALI20190304BHJP

【ＦＩ】

   G06F11/30 189

   G05B23/02 302P

【請求項の数】3

【全頁数】20

(21)【出願番号】特願2017-13139(P2017-13139)

(22)【出願日】2017年1月27日

(65)【公開番号】特開2018-120523(P2018-120523A)

(43)【公開日】2018年8月2日

【審査請求日】2017年7月27日

(73)【特許権者】

【識別番号】000108085

【氏名又は名称】セコム株式会社

(74)【代理人】

【識別番号】110000154

【氏名又は名称】特許業務法人はるか国際特許事務所

(72)【発明者】

【氏名】大島 直也

(72)【発明者】

【氏名】野中 陽介

(72)【発明者】

【氏名】▲高▼橋 功

【審査官】 多胡 滋

(56)【参考文献】

【文献】 特開平０９−２６１６１８（ＪＰ，Ａ）

【文献】 特開２０１０−２６９８８４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ １１／３０

Ｇ０５Ｂ ２３／０２

(57)【特許請求の範囲】

【請求項1】

所定の空間を所定時間おきに撮影して撮影画像を生成する撮影手段と、
前記空間の構成物の三次元モデルであって構成物それぞれの光学的な特徴量又は三次元座標値をモデルパラメータとして含み前記空間を模す空間モデルを記憶している記憶手段と、
前記構成物に含まれる所定の機器について動作状態の遷移を開始させる制御信号を取得する制御信号取得手段と、
前記機器の動作状態に応じて当該機器の前記モデルパラメータを変更した空間モデルを生成する手段であって、前記空間モデルとして少なくとも、前記モデルパラメータが前記遷移の目標範囲への移行途中の範囲にある遷移不達成モデルを生成するモデル生成手段と、
前記遷移不達成モデルを前記撮影手段の撮影面にレンダリングしたレンダリング画像と前記撮影画像との類似度を算出し、当該類似度を用いて前記遷移が失敗したか否かを判定する遷移判定手段と、
前記遷移判定手段により前記遷移が失敗したと判定された場合に前記機器の不具合を警告する警告手段と、
を備えたことを特徴とする空間監視装置。

【請求項2】

前記制御信号取得手段は、複数の構成要素からなる前記機器について前記複数の構成要素の動作状態を一括して遷移させるための前記制御信号を取得し、
前記モデル生成手段は、前記遷移不達成モデルとして、それぞれ少なくとも１つの前記構成要素の前記モデルパラメータが前記機器の前記遷移での当該構成要素に関する目標範囲への移行途中の範囲にある複数パターンの前記空間モデルを生成し、
前記遷移判定手段は、前記遷移不達成モデルそれぞれに関する前記類似度のうち最大のものを用いて前記遷移が失敗したか否かを判定すること、
を特徴とする請求項１に記載の空間監視装置。

【請求項3】

前記モデル生成手段は、前記空間モデルとしてさらに、前記機器の前記モデルパラメータが前記目標範囲にある遷移達成モデルを生成し、
前記遷移判定手段は、前記遷移達成モデルについての前記レンダリング画像と前記撮影画像との類似度よりも、前記遷移不達成モデルについての前記レンダリング画像と前記撮影画像との前記類似度の方が高い場合に、前記遷移が失敗したと判定すること、
を特徴とする請求項１又は請求項２に記載の空間監視装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、所定の空間に設置された機器の不具合を判定する空間監視装置に関する。

【背景技術】

【0002】

従来、照明機器が点灯しない不具合に迅速に対処するために、点検時に照明を点灯制御して撮影した画像と、照明が点灯した状態にて予め撮影して記憶させた画像との差が大きな場合に、照明機器に不具合が生じていると自動判定する提案がされていた。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１−０１１８７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来技術では、機器に不具合が生じていないときの画像を予め撮影しておく必要があり、多大な労力が必要であった。

【0005】

また、多くの部屋の照明機器は１つのスイッチに複数（オフィスなどでは数十）の電灯が連動しているため、上述の画像の差が１つの電灯の不具合では小さくなり判定が困難となる問題があった。例えば、全電灯が点灯している時の画像を記憶させて比較に用いても、撮影した画像との差が、電灯の１つが点灯しない不具合によって生じているのか、全ての電灯が点灯しているにもかかわらず経年変化によって差が生じているのかが判定困難となる場合があった。

【0006】

また、１つのスイッチに複数の電灯が連動した照明機器について、不具合のパターンごとの画像を用意する場合、電灯をひとつずつ外して撮影するなど多大な労力が必要となる。

【0007】

すなわち、従来技術では、複数の構成要素からなる機器の不具合を的確に判定することが容易ではなかった。

【0008】

本発明は上記問題を鑑みてなされたものであり、所定空間中の機器の不具合を多大な労力を要せず的確に判定できる空間監視装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

（１）本発明に係る空間監視装置は、所定の空間を所定時間おきに撮影して撮影画像を生成する撮影手段と、前記空間の構成物の三次元モデルであって構成物それぞれの光学的な特徴量又は三次元座標値をモデルパラメータとして含み前記空間を模す空間モデルを記憶している記憶手段と、前記構成物に含まれる所定の機器について動作状態の遷移を開始させる制御信号を取得する制御信号取得手段と、前記機器の動作状態に応じて当該機器の前記モデルパラメータを変更した空間モデルを生成する手段であって、前記空間モデルとして少なくとも、前記モデルパラメータが前記遷移の目標範囲への移行途中の範囲にある遷移不達成モデルを生成するモデル生成手段と、前記遷移不達成モデルを前記撮影手段の撮影面にレンダリングしたレンダリング画像と前記撮影画像との類似度を算出し、当該類似度を用いて前記遷移が失敗したか否かを判定する遷移判定手段と、前記遷移判定手段により前記遷移が失敗したと判定された場合に前記機器の不具合を警告する警告手段と、を備える。

【0010】

（２）上記（１）に記載の空間監視装置において、前記制御信号取得手段は、複数の構成要素からなる前記機器について前記複数の構成要素の動作状態を一括して遷移させるための前記制御信号を取得し、前記モデル生成手段は、前記遷移不達成モデルとして、それぞれ少なくとも１つの前記構成要素の前記モデルパラメータが前記機器の前記遷移での当該構成要素に関する目標範囲への移行途中の範囲にある複数パターンの前記空間モデルを生成し、前記遷移判定手段は、前記遷移不達成モデルそれぞれに関する前記類似度のうち最大のものを用いて前記遷移が失敗したか否かを判定する構成とすることができる。

【0011】

（３）上記（１）および（２）に記載の空間監視装置において、前記モデル生成手段は、前記空間モデルとしてさらに、前記機器の前記モデルパラメータが前記目標範囲にある遷移達成モデルを生成し、前記遷移判定手段は、前記遷移達成モデルについての前記レンダリング画像と前記撮影画像との類似度よりも、前記遷移不達成モデルについての前記レンダリング画像と前記撮影画像との前記類似度の方が高い場合に、前記遷移が失敗したと判定する構成とすることができる。

【発明の効果】

【0012】

本発明の空間監視装置によれば、事前撮影の労力を要さずに的確に機器の不具合を判定できる。

【図面の簡単な説明】

【0013】

【図1】本発明の実施形態に係る空間監視装置の概略の構成を示すブロック図である。

【図2】制御信号により動作を制御される機器の構成例を示す概略のブロック図である。

【図3】本発明の実施形態に係る空間監視装置の概略の機能ブロック図である。

【図4】機器が１つの電灯で構成される照明機器である場合のモデル制御情報を説明する模式図である。

【図5】機器が３つの電灯で構成される照明機器である場合のモデル制御情報を説明する模式図である。

【図6】機器が自動ドアである場合のモデル制御情報を説明する模式図である。

【図7】モデル生成手段による背景モデルの生成の例を説明する模式図である。

【図8】本発明の実施形態に係る空間監視装置の概略の動作を示すフロー図である。

【図9】本発明の実施形態に係る空間監視装置の概略の動作を示すフロー図である。

【発明を実施するための形態】

【0014】

以下、本発明の実施の形態（以下、実施形態という）について、図面に基づいて説明する。本発明の実施形態は、監視カメラが撮影した画像に基づいて所定の空間（監視空間）に存在する機器の動作を監視する空間監視装置１であり、図１は空間監視装置１の概略の構成を示すブロック図である。監視空間を構成する構成物には機器２が含まれる。本実施形態における機器２は構成物のうち制御信号に基づき動作して動作状態が変化するものであり、機器２はその動作により画像に変化を生じさせる。監視空間に構成物として存在する機器２は例えば、照明機器や自動ドアである。また機器２以外の構成物は例えば、床、壁、机、手動のドアである。

【0015】

空間監視装置１は例えば、監視空間を模した空間モデルに基づいて監視空間の画像を生成し、機器２の想定される動作などを反映して生成した画像を監視カメラによる撮影画像と比較することによって不具合を生じている機器２を検知する。具体的には、空間監視装置１は機器インターフェース部３、カメラ４、記憶部５、画像処理部６およびユーザーインターフェース部７を備える。

【0016】

機器２は、空間監視装置１の機器インターフェース部３と接続され、空間監視装置１の画像処理部６は、機器２の動作を制御する制御信号を機器２から機器インターフェース部３を介して取得する。

【0017】

図２は機器２の構成例を示す概略のブロック図である。図２（ａ）に示す機器２ａは１つのスイッチ２０により１つの電灯２１の点灯／消灯動作を制御する照明機器である。また、図２（ｂ）に示す機器２ｂは１つのスイッチ２０により３つの電灯２１（電灯Ａ〜Ｃ）の点灯／消灯動作を一括して制御する照明機器である。例えば、電灯２１は蛍光灯または白熱灯などである。照明機器である機器２ａ，２ｂは例えば、スイッチ２０がＯＮ状態とされると電灯２１が通電されて点灯し、スイッチがＯＦＦ状態とされると電灯２１への通電が停止されて消灯する。ちなみに、オフィスや工場などの照明機器は機器２ｂのような形態に構成されていることが多い。

【0018】

スイッチ２０が機械式の場合、電灯２１に印加される電圧／電流が当該電灯２１の点灯／消灯動作を制御する制御信号に相当する。この場合、機器２ａ，２ｂは、電灯２１に印加される電気信号自体を制御信号として空間監視装置１に出力してもよいし、当該電気信号からその印加の有無を表す信号を別途生成して空間監視装置１に出力してもよい。例えば、機器２ａ，２ｂは、スイッチ２０がＯＮ状態であるとき所定の高電圧（ハイレベル）となり、一方、スイッチ２０がＯＦＦ状態であるとき所定の低電圧（ローレベル）となる電気信号を空間監視装置１に出力する。また、スイッチ２０がトランジスタなど電子的にＯＮ／ＯＦＦを切り替える素子で構成される場合には、スイッチ２０のＯＮ／ＯＦＦを切り替える電気信号を制御信号として取り出すことができる。

【0019】

図２（ｃ）に示す機器２ｃは人感センサ２２の出力に応じてドア２３が開閉するタイプの自動ドアである。すなわち、人感センサ２２のセンサ出力信号が自動ドア２ｃの開閉動作を制御する制御信号である。具体的には人感センサ２２は例えば、人を検知している間はハイレベルの電圧を出力し、一方、人を検知していない間はローレベルの電圧を出力する。このセンサ出力信号のローレベルからハイレベルへの電圧変化がドア２３を開いて閉じる動作指示を表す制御信号として利用される。また、ドア２３の閉状態のときのローレベルの電圧をドア２３の閉状態を維持する動作指示を表す制御信号として利用できる。

【0020】

画像処理部６は機器２の制御信号の変化から当該機器２の動作状態の遷移が開始する契機、すなわち監視空間の画像の変化の契機を認識することができる。制御信号の変化は、撮影画像を取得するたびに制御信号を記憶部５に記憶しておき、今回の制御信号を前回の制御信号と比較することで検出できる。あるいは、制御信号の変化は、前回撮影画像を取得してから今回撮影画像を取得するまでの制御信号の波形を微分して閾値処理することにより検出できる。また、画像処理部６は機器２の制御信号から当該機器２の動作の維持を認識することができる。

【0021】

機器インターフェース部３は、監視空間の構成物に含まれる所定の機器の動作を制御する制御信号を取得する制御信号取得手段であり、具体的には機器２および画像処理部６と接続され、機器２からの制御信号を取得して画像処理部６に出力する回路である。

【0022】

カメラ４はいわゆる監視カメラであり、監視空間を所定時間おきに撮影する撮影手段である。具体的にはカメラ４は画像処理部６と接続され、監視空間を撮影して撮影画像を生成し、撮影画像を画像処理部６に出力する。例えば、カメラ４はイベント会場内に設定した各監視空間の天井に当該監視空間を俯瞰する視野に固定された状態で設置され、当該監視空間を５フレーム／秒の間隔で撮影する。

【0023】

記憶部５はＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の記憶装置である。記憶部５は、各種プログラムや各種データを記憶し、画像処理部６との間でこれらの情報を入出力する。例えば、記憶部５は空間の構成物の三次元モデルである空間モデルや、カメラ４のカメラパラメータを予め記憶する。

【0024】

画像処理部６はＣＰＵ(Central Processing Unit)、ＤＳＰ(Digital Signal Processor)、ＭＣＵ(Micro Control Unit)等の演算装置を用いて構成される。画像処理部６は記憶部５と接続され、記憶部５からプログラムを読み出して実行することで後述する各手段として機能する。また、画像処理部６は各種データを記憶部５から読み出し、また各種データを記憶部５に記憶させる。また、画像処理部６は機器２およびカメラ４とも直接的または間接的に接続され、機器２からの制御信号およびカメラ４からの撮影画像を取得し、また空間モデルをカメラ４の仮想的な撮影面にレンダリングしたコンピュータグラフィックスである画像（レンダリング画像）を生成し、機器２の不具合を検知する処理などを行う。また、画像処理部６はユーザーインターフェース部７とも接続され、ユーザーインターフェース部７を介して、機器２の不具合の検知結果などをユーザーに示し、またユーザーからの操作入力を受け付ける。

【0025】

ユーザーインターフェース部７はキーボード、マウス、ディスプレイ等からなるユーザーインターフェース装置であり、画像処理部６と接続され、画像処理部６から入力されたデータを表示し、ユーザーが入力したデータを画像処理部６に出力する。例えば、ユーザーインターフェース部７は警備員などのユーザーにより使用され、機器２の不具合検知結果やそれに対する警告の表示、機器２の復旧信号の入力などに用いられる。

【0026】

図３は空間監視装置１の概略の機能ブロック図である。機器インターフェース部３は制御信号取得手段３０として機能し、カメラ４は撮影手段４０として機能し、記憶部５は空間モデル記憶手段５０等として機能する。また、画像処理部６はモデル生成手段６０および遷移判定手段６１等として機能する。ユーザーインターフェース部７は遷移判定手段６１による判定結果に基づいて警告を出力する警告手段７０として機能する。

【0027】

空間モデル記憶手段５０は監視空間に存在する構成物の三次元モデルであって構成物それぞれの光学的な特徴量または三次元座標値をモデルパラメータとして含む空間モデルを記憶する。

【0028】

空間モデルは、構成物で構成された監視空間のコンピュータグラフィックスを生成するために必要な情報からなる。具体的には空間モデルは、監視空間を模したＸＹＺ座標系における各構成物の位置、姿勢、立体形状にて表される三次元座標値および各構成物の表面の色、テクスチャ、反射特性のデータを含み、これらのデータが対応する構成物番号と紐付けて空間モデル記憶手段５０に記憶されている。

【0029】

なお、空間モデルは精密であるほど良く、例えばドアであればドア板とドアノブ、机であれば天板と脚というように色、テクスチャおよび反射特性が異なるパーツそれぞれを構成物と定義して空間モデルを記憶させておくのが好適である。他方、壁のように大きな構成物は各面の光源からの距離の差が大きくなるため各面を構成物と定義するのが好適である。

【0030】

空間モデルを構成するモデルパラメータは予め定義され、監視空間の実環境に合わせて適宜更新される。特に、動作により画像に変化を生じる機器２に関し、モデルパラメータは動作状態に応じて適宜、具体的な値を設定され、レンダリング画像にて機器２の動作状態の変化を表現するために用いられる。

【0031】

光源については、空間モデルは監視空間を模したＸＹＺ座標系における当該光源の位置および当該光源の配光、色温度などで表される照明特性を含む。照明機器は光源でもある。光源には太陽等を含めてもよい。空間モデルにて光源について各光源の点消灯状態を設定し、点灯状態が設定された光源の出力を照明特性に演算することにより、監視空間に対する複数の照明条件を模擬できる。

【0032】

すなわち、空間モデル記憶手段５０は、カメラ４が撮影対象としている所定の空間を構成する複数の構成物それぞれの三次元座標値と各構成物の光学的な特徴量（色、テクスチャ、反射特性、および該空間を照明する光源の照明特性）とを含んだ空間モデルを記憶している。

【0033】

ここで、空間モデルは各機器２についてモデルパラメータ以外にもその動作に関する情報を含み、ここでは当該情報を機器２のモデル制御情報と称する。

【0034】

図４は、機器２が１つの電灯で構成される照明機器である場合のモデル制御情報を説明する模式図であり、モデル制御情報の項目とその値域とが示されている。図４に示す照明機器は図２（ａ）の機器２ａに該当する。

【0035】

照明強度は照明機器の明るさに相当するものである。照明強度は照明機器についてのモデルパラメータであり、その値域は、スイッチがＯＦＦで光を発しない状態を０％、スイッチがＯＮで最も明るい状態を１００％とする０〜１００％である。ここで、照明機器の１００％に対応する照明強度は実測により定めてもよいし、当該照明機器のカタログスペックなどに基づいて定めてもよい。

【0036】

照明強度推定レンジ（パラメータレンジ）は、モデル生成手段６０が、制御信号により生じる照明機器の動作状態に応じて当該照明機器のモデルパラメータである照明強度を変更した空間モデルを生成する際に、照明強度を変化させる範囲である。照明強度推定レンジは基本的には照明機器の動作状態に応じて設定される。照明機器については動作状態として、例えば、点灯状態（スイッチがＯＮされた場合の照明機器の動作状態の遷移に関し、照明強度が目標とする範囲に達して安定した遷移達成状態）、消灯状態（スイッチがＯＦＦされた場合の遷移達成状態）、点灯状態への移行中の状態（スイッチがＯＮされた場合の遷移に関し、照明強度が目標範囲への移行途中の強度である遷移不達成状態）を定めることができる。照明強度推定レンジは、例えば、点灯状態に対応する目標範囲として９０％以上１００％以下（９０〜１００％）を設定される。このように目標範囲に幅を持たせているのは、スイッチがＯＮの場合に実際の照明強度が１００％の値になるとは限らず、照明機器の経年劣化などにより実際の照明強度が１００％に達しない場合もあるからである。また、消灯状態については０％、移行中状態については移行途中の範囲と定義する０％以上９０％未満（便宜上、０〜８９％と表す。）が設定される。

【0037】

照明強度推定レンジによりモデルパラメータである照明強度の変化範囲を制限することで、後述する照明強度の推定を高速に行うことができることに加え、想定される動作状態に対応する範囲外に誤って照明強度が推定されるといった危険性を回避することができる。

【0038】

前回照明強度（前回パラメータ）は例えば、動作状態が「移行中」である際に、照明強度が一定になったかどうかを判定するためなどに利用される。具体的には、後述する動作にて撮影画像の取得ごとに繰り返される処理において、直近の推定値が前回照明強度に格納され、次の処理周期にて前回の照明強度の推定値として読み出され利用される。

【0039】

動作状態は、制御信号に応じて、上述した「点灯」、「消灯」、「移行中」のいずれかの状態を設定される。また、設定には必要に応じて、推定された照明強度が加味される。スイッチがＯＦＦのときは動作状態には「消灯」が格納される。スイッチをＯＮにした直後から推定照明強度が目標範囲に達し安定するまでの期間は、動作状態には「移行中」が格納される。推定された照明強度が目標範囲内にて安定すると、照明機器が十分に点灯し、スイッチをＯＦＦからＯＮに切り替えたときの照明機器の動作状態の遷移が完了したとして動作状態には「点灯」が格納される。

【0040】

安定カウンタは、動作状態を「移行中」から「点灯」とする際の判定に利用するためのカウンタであり、照明強度が安定して推定された回数をカウントし、カウント値が所定値以上になったら動作状態を「点灯」と判定するものである。一方、不安定カウンタは、電灯が一定期間以上安定しない、すなわち電灯がちらついている不具合を判定するためのカウンタである。具体的には、移行中にて新たに推定された照明強度と前回照明強度との差の大きさが所定の閾値以下であると、安定カウンタの値がインクリメントされ、逆に当該差が閾値より大きい場合には不安定カウンタの値がインクリメントされる。

【0041】

不具合検知フラグは、照明のスイッチをＯＮにした際に、照明が点かない、照明が暗い、照明がちらつくといった不具合が発生した場合にＯＮとし、ユーザーインターフェース部７を通じて器具の管理者等に通知、警告するためのフラグである。

【0042】

図５は機器２が３つの電灯Ａ〜Ｃで構成される照明機器である場合のモデル制御情報を説明する模式図であり、モデル制御情報の項目とその値域とが示されている。図５に示す照明機器は図２（ｂ）の機器２ｂに該当する。

【0043】

機器２ｂに関しては例えば、複数の電灯（電灯Ａ〜Ｃ)が全て点灯状態であれば機器２ｂの動作状態は点灯状態とし、逆に全て消灯状態であれば機器２ｂの動作状態は消灯状態とし、いずれかの電灯が移行中であれば機器２ｂの動作状態は移行中状態であると定義することができる。また、機器２ｂに関しては、図４に示したモデル制御情報のうち照明強度、照明強度推定レンジ、前回照明強度、安定カウンタ、不安定カウンタ、不具合検知フラグは、図５に示すように電灯ごとに保持される。このように、電灯ごとにパラメータを保持しているため、個々の電灯で明るさのばらつきがある場合でも最適な照明強度の推定を行うことができ、レンダリング画像生成の精度を高めることができる。また、不具合検知フラグを電灯ごとに保持しているため、不具合発生時の修理・交換箇所を即座に特定することが容易になる。

【0044】

図６は機器２が自動ドアである場合のモデル制御情報を説明する模式図であり、モデル制御情報の項目とその値域とが示されている。図６に示す自動ドアは図２（ｃ）の機器２ｃに該当する。

【0045】

開き幅はドア２３が開いている部分の幅である。開き幅は自動ドア２ｃについてのモデルパラメータであり、その値域は、ドア２３が完全に閉まっている状態を０％、完全に開いている状態を１００％とする０〜１００％である。

【0046】

開き幅推定レンジ（パラメータレンジ）は、モデル生成手段６０が自動ドア２ｃの開き幅を変更した空間モデルを生成する際に、開き幅を変化させる範囲である。開き幅推定レンジは基本的に自動ドア２ｃの動作状態に応じて設定される。自動ドア２ｃについては動作状態として、例えば、閉状態（人感センサ２２が人を検知せずドア２３が閉鎖された状態）、開閉中の状態（人感センサ２２が人を探知してドア２３が開放、閉鎖の順に移行途中の状態）を定めることができる。開き幅推定レンジは、例えば、閉状態について０〜１％を設定される。なお、開閉中が遷移不達成状態であるのに対し、閉状態は遷移達成状態に当たる。開閉中状態の開き幅推定レンジは、目標範囲とそこに到達するまでの移行途中の範囲とを合わせた範囲に設定される。具体的には、開閉中状態について、移行途中の範囲と定義する１％超１００％以下（便宜上、２〜１００％と表す。）が設定される。

【0047】

前回開き幅（前回パラメータ）は例えば、動作状態が「開閉中」である際に、開き幅が一定になったかどうかを判定するためなどに利用される。具体的には、上述した前回照明強度と同様、直近の推定値が前回開き幅に格納され、次の処理周期にて利用される。

【0048】

動作状態は、推定された開き幅に基づいて、自動ドアの開閉状態が上述した「閉」、「開閉中」のいずれであるかを設定される。

【0049】

安定カウンタ、不安定カウンタは基本的に上述した照明機器の場合と同様である。具体的には、安定カウンタは開き幅が安定して推定された回数をカウントし、カウント値が所定値以上になったら開閉動作の移行完了が判定され、一方、不安定カウンタは、開き幅が一定期間以上安定しない不具合を判定するために用いられる。

【0050】

不具合検知フラグは、例えば、人感センサが人を検知しても自動ドアが開かない事象や、人感センサが人を未検知の状態であっても自動ドアが閉まらない事象などの不具合が発生した場合にＯＮとし、ユーザーインターフェース部７を通じて器具の管理者等に通知、警告するためのフラグである。

【0051】

ここで、不具合検知フラグがＯＮに設定された機器２については、パラメータレンジ（照明強度推定レンジ、開き幅推定レンジ）を上述した動作状態に応じた範囲とは別途の範囲に設定してもよい。例えば、劣化した照明機器の照明強度は、ＯＦＦからＯＮへの制御信号の変化に対し、目標範囲より低い値で飽和し得る。本実施形態では、このように動作状態が移行途中の範囲で安定した機器２について不具合検知フラグをＯＮにするとともに、当該機器のパラメータレンジを例えば、不具合検知までに到達した照明強度または開き幅を中心として±５％を上限／下限とする範囲に設定する。なお、例えば、照明機器が点灯と消灯とを繰り返すちらつきのような機器２の不安定な不具合については、パラメータレンジを０〜１００％に設定することができる。

【0052】

モデル生成手段６０は、機器２にて制御信号により生じる動作状態に応じて当該機器のモデルパラメータを変更した空間モデルを生成する。これにより、機器２が制御信号により生起される動作状態である場合の空間を模した空間モデルが生成される。モデル生成手段６０は生成した空間モデルを遷移判定手段６１に出力する。

【0053】

本実施形態では、モデル生成手段６０は、制御信号取得手段３０が制御信号を取得すると、当該制御信号に対して予め想定されるモデルパラメータの変化範囲にてモデルパラメータが異なる複数の空間モデルを生成する。

【0054】

機器２が照明機器である場合、モデル生成手段６０は制御信号に応じてモデルパラメータとされた照明機器の照明条件を変更する。ここでは、モデルパラメータは照明強度であり、例えば、モデル生成手段６０は照明強度を１％刻みで変更し空間モデルを生成する。

【0055】

具体的には、動作状態が消灯から点灯への遷移における移行中状態である場合は、モデル生成手段６０は照明強度を、照明強度推定レンジに設定される０〜１００％の範囲で１％刻みで変更する。このうち、遷移の目標範囲への移行途中の範囲（０〜８９％）にて生成される複数の空間モデルを遷移不達成モデルと称し、また消灯から点灯への遷移における目標範囲（９０〜１００％）にて生成される複数の空間モデルを遷移達成モデルと称する。すなわち、モデル生成手段６０は消灯から点灯への移行中の期間において、空間モデルとして少なくとも、モデルパラメータが遷移の目標範囲への移行途中の範囲にある遷移不達成モデルを生成し、さらに本実施形態では当該期間にてモデルパラメータが目標範囲にある遷移達成モデルも生成する。

【0056】

一方、動作状態が点灯状態である場合は、モデル生成手段６０は照明強度を、照明強度推定レンジに設定される９０〜１００％の範囲で１％刻みで変更する。すなわちモデル生成手段６０は遷移不達成モデルの生成を省略し、動作状態が消灯から点灯へ遷移する場合における遷移達成モデルのみを生成する。

【0057】

動作状態が消灯状態である場合は、モデル生成手段６０は照明強度を０％とした空間モデルを生成する。なお、本実施形態では点灯から消灯への移行中は定義しない。つまり、制御信号から点灯から消灯への変化が検出された場合は移行中を経ずに消灯状態とする。すなわち、制御信号がＯＮからＯＦＦへ変化した場合には、モデル生成手段６０は遷移不達成モデルを生成せず、照明強度を０％とした遷移達成モデルのみを生成する。しかし、点灯から消灯への移行中を消灯から点灯への移行中と同様に定義してもよい。つまり、点灯から消灯への遷移において０％超１００％以下（便宜上、１〜１００％と表す。）の範囲を移行途中の範囲と定義し、当該移行中状態において、空間モデルとして少なくとも、１〜１００％の範囲で照明強度を設定した遷移不達成モデルを生成する構成としてもよい。

【0058】

機器２が自動ドア等の可動機器であれば、モデル生成手段６０は制御信号に応じて可動機器についてモデルパラメータとされた三次元座標値を変更する。例えば、自動ドアについては上述のように開き幅がモデルパラメータとされ、例えば、モデル生成手段６０は開き幅を１％刻みで変更し空間モデルを生成する。具体的には、動作状態が開閉中である場合は、モデル生成手段６０は開き幅を、開き幅推定レンジに設定される０〜１００％の範囲で１％刻みで変更して、遷移不達成モデルおよび遷移達成モデルを生成する。また、モデル生成手段６０は動作状態が閉状態である場合は、開き幅を０％および１％とした遷移達成モデルを生成する。

【0059】

ここで、機器２が複数の構成要素からなり、当該複数の構成要素の動作状態の遷移が１つの制御信号により一括して制御される場合には、モデル生成手段６０はそれぞれ構成要素のパラメータレンジ内で設定される複数の構成要素のモデルパラメータについての組み合わせに対応して空間モデルを生成する。例えば、１つのスイッチにより２つの電灯Ａ，Ｂの点灯／消灯動作を一括して制御する照明機器における消灯から点灯への遷移において、両方の電灯の動作状態が点灯になっている場合は、モデル生成手段６０は各電灯の照明強度推定レンジの設定に基づき、電灯Ａの照明強度について目標範囲（９０〜１００％）で１％刻みで設定される１１通りのモデルパラメータと電灯Ｂの照明強度について同様に設定される１１通りのモデルパラメータとを組み合わせた１２１通りの空間モデルを遷移達成モデルとして出力する。一方、例えば、上述の消灯から点灯への遷移において、電灯Ａの動作状態は点灯になっているが、電灯Ｂの動作状態は移行中である場合は、モデル生成手段６０は遷移不達成モデルとして、電灯Ａの照明強度について目標範囲で１％刻みで設定される１１通りのモデルパラメータと電灯Ｂの照明強度について移行途中の範囲（０〜８９％）で１％刻みで設定される９０通りのモデルパラメータとを組み合わせた９９０通りの空間モデルを出力する。また、電灯Ａ，Ｂ両方の動作状態が移行中である場合は、モデル生成手段６０は遷移不達成モデルとして、例えば、電灯Ａの照明強度について０〜８９％のモデルパラメータと電灯Ｂの照明強度について０〜８９％のモデルパラメータとを組み合わせた複数の空間モデルを出力する。

【0060】

図７はモデル生成手段６０による空間モデルの生成の例を説明する模式図である。図７は図２（ｂ）の機器２ｂについてのモデル生成例を示している。図７は水平方向を時間軸とし、右向きに時間が経過する際の動作状態の変化の例を示している。

【0061】

図２（ｂ）の機器２ｂについて、図７に示すように、照明機器のスイッチ２０がＯＦＦからＯＮに変わった場合、制御信号取得手段３０が当該照明機器の状態を消灯から点灯に移行させる制御信号を取得し、モデル生成手段６０が当該照明機器の構成要素である電灯Ａ〜Ｃのモデルパラメータである照明強度をそれぞれ、移行中状態にて照明強度推定レンジに設定される０〜１００％の範囲で変更し、複数の空間モデルを生成する。生成される複数の空間モデルは、電灯Ａ〜Ｃ全てのモデルパラメータが目標範囲（９０〜１００％）にある遷移達成モデルと、電灯Ａ〜Ｃのうち少なくとも１つのモデルパラメータが移行途中の範囲（０〜８９％）にある遷移不達成モデルとからなる。

【0062】

スイッチをＯＮして或る程度時間が経過すると、電灯の照明強度は目標範囲に達して、移行中状態から点灯状態となることが期待される。図７では機器２ｂについて点灯状態となることが期待される期間を「点灯」期間として表しており、当該期間は図７の例では正常である電灯Ａが目標範囲内で安定した照明強度となったタイミングからスイッチがＯＦＦされ消灯するまでの期間に対応している。つまり、電灯Ａの照明強度推定レンジは、移行中期間では遷移不達成モデルおよび遷移達成モデルに対応した０〜１００％に設定されていたが、点灯期間では遷移達成モデルに対応した目標範囲（９０〜１００％）に設定される。

【0063】

一方、電灯Ｂは劣化など、照明強度が目標範囲未満の値で安定する不具合を有し、また電灯Ｃは点消灯繰り返しなど、照明強度が安定しない不具合を有しており、点灯期間になってもそれらの照明強度推定レンジは目標範囲には設定されていない。具体的には、電灯Ｂは照明強度が６５％で安定した結果、その不具合検知フラグがＯＮに設定され、照明強度推定レンジは、例えば、不具合検知までに到達した照明強度を中心として±５％を上限／下限とする範囲、つまり６０〜７０％に設定されている。また、電灯Ｃはやはり不具合検知フラグをＯＮに設定され、不安定な照明強度に対応して照明強度推定レンジは０〜１００％に設定されている。この結果、電灯Ａが点灯状態となる期間における機器２ｂの空間モデルとして、電灯Ａ〜Ｃの上述の照明強度推定レンジでのモデルパラメータの組み合わせに対応した遷移不達成モデルが生成される。

【0064】

照明機器のスイッチがＯＮからＯＦＦに変わった場合は、制御信号取得手段３０が当該照明機器の状態を点灯から消灯に遷移させる制御信号を取得し、モデル生成手段６０は当該照明機器の照明強度を０％とした遷移達成モデルを生成する。

【0065】

遷移判定手段６１はモデル生成手段６０により生成された空間モデル（遷移達成モデル、遷移不達成モデル）を、記憶部５に予め記憶されたカメラパラメータに基づきカメラ４の撮影面に仮想的にレンダリングしレンダリング画像を生成する。ちなみにカメラパラメータはカメラ４の内部パラメータ及び外部パラメータであり、撮影位置姿勢の他に焦点距離、解像度（幅方向画素数、高さ方向画素数）、レンズ歪みなどを含む。

【0066】

具体的には、まず遷移判定手段６１は、カメラパラメータから空間モデルのＸＹＺ座標系におけるカメラ４の撮影面を導出する。次に遷移判定手段６１は、空間モデルに含まれる光源についてその位置および照明特性に従った光線データを生成する。その際、光源のうち機器２である照明機器については、空間モデルごとに、設定された照明強度に基づいて光線データの有無や出力を調整する。続いて遷移判定手段６１は、構成物での反射による光線データの色や出力の変化を構成物の色、テクスチャ、反射特性に従って調整する。そして遷移判定手段６１は光源から撮影面に到達する直接光、反射光の光線データを撮影面の各画素値に設定してレンダリング画像を生成する。

【0067】

遷移判定手段６１は、レンダリング画像と撮影画像との類似度または相違度を算出し、当該類似度が最大、または相違度が最小のレンダリング画像を、カメラ４の撮影タイミングでの監視空間の機器２の動作状態を好適に模した画像として選択する。ちなみに、ここでの類似度と相違度とは互いに負の相関関係にある指標であり、一方の指標を他方に変換することができ、両者に本質的な違いはない。よって、以下の説明では適宜、一方のみを用い記載を簡潔にする。

【0068】

さて上述したように、モデル生成手段６０は、或るタイミングの監視空間についてモデルパラメータが異なる遷移不達成モデルおよび遷移達成モデルをそれぞれ複数生成し得る。遷移判定手段６１は、遷移不達成モデルが複数生成された場合、それぞれについてレンダリング画像を生成し、同様に、遷移達成モデルが複数生成された場合、それぞれについてレンダリング画像を生成し、それら遷移不達成モデルについてのレンダリング画像および遷移達成モデルについてのレンダリング画像のうち撮影画像との類似度が最大のものを選択する。

【0069】

遷移判定手段６１は、選択したレンダリング画像に対応する空間モデルでの動作状態から、撮影画像の取得タイミングでの機器２の動作状態を推定することができ、当該空間モデルが遷移不達成モデルであれば当該タイミングでの動作状態は遷移不達成状態であり、逆に、遷移達成モデルであれば遷移達成状態であると推定できる。

【0070】

遷移判定手段６１は、制御信号の変化による遷移の成否を判定するのに適したタイミングにて、動作状態が遷移不達成状態であれば、遷移が失敗したと判定する。これにより、動作状態が目標範囲未満の値で安定する不具合が検知される。具体的には本実施形態では、動作状態が移行中であり、且つ不具合が検知されていない機器２について空間モデルとして遷移不達成モデルと遷移達成モデルとの両方が生成される。遷移判定手段６１は遷移達成モデルについてのレンダリング画像と撮影画像との類似度Ｒ_Ｓと、遷移不達成モデルについてのレンダリング画像と撮影画像との類似度Ｒ_Ｆとを比較し、類似度Ｒ_Ｓより類似度Ｒ_Ｆの方が高い場合に、遷移が失敗したと判定する。ここで、遷移不達成モデルが複数生成された場合は、それらについての類似度Ｒ_Ｆのうち最大値が上記比較に用いられ、また、遷移達成モデルが複数生成された場合は、それらについての類似度Ｒ_Ｓのうち最大値が上記比較に用いられる。

【0071】

従来、撮影画像と正常時の画像との相違が閾値を超えた場合に不具合を判定していたところ、本実施形態ではＲ_ＳとＲ_Ｆとを比較することで閾値を用いずに遷移失敗を判定することができる。また、遷移不達成モデルは機器２または機器群の各種の動作状態について生成することができ、遷移失敗と判定される場合に類似度Ｒ_Ｆが最大の遷移不達成モデルでの機器２または機器群の動作状態から不具合の具体的な態様を推定することができる。

【0072】

動作状態が目標範囲未満の値で安定する遷移失敗に関する判定を行うタイミングに関しては、例えば、遷移判定手段６１はレンダリング画像と撮影画像との比較から推定した動作状態の変化を監視し、当該変化が所定の安定状態に達した場合に、遷移の成否を判定することができる。また、機器２の動作状態の遷移に要するおおよその時間は一般に予め把握できるので、当該時間に応じた一定の遅延期間を設定し、単純に当該遅延期間の経過後、遷移の成否を判定してもよい。

【0073】

また、遷移判定手段６１は、機器２の動作状態の変化が収束しない状態が或る限度以上続く場合にも遷移の成否を判定することができ、これにより、動作状態が安定しない不具合を検知することができる。

【0074】

例えば、遷移判定手段６１は、撮影画像の画素値の代表特徴量とレンダリング画像の画素値の代表特徴量との差を相違度として算出する。代表特徴量は例えば平均画素値とすることができる。或いは平均画素値および画素値の分散を代表特徴量としてもよい。また、画素値は色でもよく、或いは濃淡値でもよい。

【0075】

また、代表特徴量は撮影画像において構成物以外が写った領域（人物領域など）を除いて算出することが望ましい。そのため、遷移判定手段６１は例えば、人が存在し得ない領域として高さ２ｍ以上の位置に予め定めた評価領域内の画素を用いて代表特徴量を算出する。

【0076】

或いは、遷移判定手段６１は例えば、レンダリング画像において背景物ごとに当該背景物の領域の画素値の分散を算出し、分散が所定値未満である領域内の画素を用いて代表特徴量を算出する。

【0077】

遷移判定手段６１は遷移の成否の判定結果を警告手段７０に出力する。警告手段７０は、遷移判定手段６１により遷移が失敗したと判定された場合に、ユーザーに対し機器２の不具合を警告する。

【0078】

次に空間監視装置１の動作について説明する。図８および図９は空間監視装置１の概略の動作を示すフロー図である。

【0079】

画像処理部６は、カメラ４から撮影画像を取得すると（ステップＳ１）、制御信号取得手段３０である機器インターフェース部３から機器２の制御信号を取得する（ステップＳ２）。すなわち、カメラ４による撮影タイミングと基本的に同期して、機器２の制御信号が取得される。

【0080】

画像処理部６はモデル生成手段６０として動作し、制御信号が前回の取得時から変化したか否かを判定する（ステップＳ３）。変化したと判定した場合（ステップＳ３にてＹＥＳの場合）、モデル生成手段６０は当該機器２についての動作状態として「移行中」を設定する（ステップＳ４）。具体的には、機器２が照明機器であれば、スイッチ２０がＯＦＦからＯＮに切り替えられる際の制御信号の変化に対して、空間モデル記憶手段５０の当該機器のモデル制御情報における動作状態に「移行中」が設定され、照明強度推定レンジに０〜１００％が設定される。また、機器２が自動ドアであれば、制御信号である人感センサ２２の出力が未検知時のローレベルの電圧から検知時のハイレベルの電圧に変化したときに動作状態に「開閉中」が設定され、開き幅推定レンジに０〜１００％が設定される。また、ステップＳ４における動作状態の「移行中」（または「開閉中」）の設定と併せて、モデル生成手段６０は安定カウンタ、不安定カウンタのカウント値を０にリセットし、また、不具合検知フラグをＯＦＦにセットする。なお、既に述べたように本実施形態では、照明機器のＯＮからＯＦＦへの切り替え時には移行中を定義しないので、この場合は、モデル生成手段６０は動作状態に「消灯」を設定し、照明強度推定レンジに０％を設定する。

【0081】

一方、制御信号が変化しなかったと判定した場合は（ステップＳ３にてＮＯの場合）、モデル生成手段６０はステップＳ４をスキップする。

【0082】

構成物に複数の機器２が存在する場合、モデル生成手段６０は各機器についてステップＳ２〜Ｓ４の処理を行う。

【0083】

ステップＳ２〜Ｓ４の次に、モデル生成手段６０は記憶部５の空間モデル記憶手段５０から空間モデルを読み出して機器２の状態を確認し（Ｓ５，Ｓ６）、その状態に応じた空間モデルを生成する（Ｓ７〜Ｓ１０）。

【0084】

具体的には、モデル生成手段６０は機器２の状態に関し例えば、空間モデルに含まれるモデル制御情報のパラメータレンジ、動作状態および不具合検知フラグを読み出す。そして、動作状態が移行中（または開閉中）であり、且つ不具合検知フラグがＯＦＦである機器２に関しては（ステップＳ５にてＹＥＳ、且つステップＳ６にてＮＯの場合）、モデル生成手段６０は当該機器２のモデルパラメータをパラメータレンジ内にて変更して空間モデルを生成する。この場合、パラメータレンジには目標範囲とそこへの移行途中の範囲とを合わせた範囲が設定されているので、モデル生成手段６０は、遷移達成モデルと遷移不達成モデルとの両方を生成する（ステップＳ７，Ｓ８）。

【0085】

例えば、機器２が移行中であり且つ不具合がまだ検知されていない照明機器であれば動作状態には移行中、照明強度推定レンジには０〜１００％、不具合検知フラグにはＯＦＦがそれぞれ設定されている。モデル生成手段６０は当該照明機器に関し、照明強度推定レンジに従い、照明強度を順次０％，１％，…，８９％と変更して遷移不達成モデルを生成し、また、照明強度を順次９０％，９１％，…，１００％と変更して遷移達成モデルを生成する。

【0086】

また、例えば、機器２が移行中であり且つ不具合がまだ検知されていない自動ドアであれば動作状態には移行中、開き幅推定レンジには０〜１００％、不具合検知フラグにはＯＦＦが設定されている。モデル生成手段６０は当該自動ドアに関し、開き幅推定レンジに従い、当該自動ドアの開き幅を順次０％，１％，…，９９％と変更して遷移不達成モデルを生成し、また、開き幅を１００％に設定して遷移達成モデルを生成する。

【0087】

動作状態が移行中であり且つ不具合が発生中である機器２に関しては（ステップＳ５にてＹＥＳ、且つステップＳ６にてＹＥＳの場合）、モデル生成手段６０は当該機器２のモデルパラメータをパラメータレンジ内にて変更して遷移不達成モデルを生成する（Ｓ９）。

【0088】

例えば、機器２が図７における電灯Ｂのように照明強度６５％で安定した不具合（劣化）が発生中の照明機器であれば動作状態には「移行中」、照明強度推定レンジには例えば６０〜７０％、不具合検知フラグにはＯＮが設定されている。モデル生成手段６０は当該照明機器に関し、照明強度推定レンジに従い、照明強度を６０％，６１％，…，７０％に設定した遷移不達成モデルを生成する。

【0089】

また例えば、機器２が図７における電灯Ｃのように照明強度の不安定な不具合（点消灯繰り返し）が発生中の照明機器であれば、動作状態は基本的には「移行中」であり、また、照明強度推定レンジには例えば０〜１００％、不具合検知フラグにはＯＮが設定されている。モデル生成手段６０は当該照明機器に関し、照明強度推定レンジに従い、照明強度を０％，１％，…，１００％に設定した遷移不達成モデルを生成する。

【0090】

例えば、機器２が開き幅５０％で安定した不具合（停止）が発生中の自動ドアであれば、動作状態には「開閉中」、開き幅推定レンジには例えば４５〜５５％、不具合検知フラグにはＯＮが設定されている。モデル生成手段６０は当該自動ドアに関し、開き幅推定レンジに従い、開き幅を４５％，４６％，…，５５％に設定した遷移不達成モデルを生成する。

【0091】

また例えば、機器２が開き幅の不安定な不具合（開閉繰り返し）が発生中の自動ドアであれば、動作状態は基本的に「開閉中」であり、また、開き幅推定レンジには例えば０〜１００％、不具合検知フラグにはＯＮが設定されている。モデル生成手段６０は当該自動ドアに関し、開き幅推定レンジに従い、開き幅を０％，１％，…，１００％に設定した遷移不達成モデルを生成する。

【0092】

機器２の状態が移行中ではない機器２に関しては（ステップＳ５にてＮＯの場合）、モデル生成手段６０は当該機器２のモデルパラメータをパラメータレンジ内にて変更して遷移達成モデルを生成する（ステップＳ１０）。

【0093】

例えば、機器２が照明強度９９％で点灯状態に移行完了している照明機器であれば、動作状態には「点灯」、照明強度推定レンジには９０〜１００％が設定されている。モデル生成手段６０は当該照明機器に関し、照明強度推定レンジに従い、照明強度を順次９０％，９１％，…，１００％と変更して遷移達成モデルを生成する。

【0094】

また例えば、機器２が消灯状態に移行完了した照明機器であれば、動作状態には「消灯」、照明強度推定レンジには０％が設定されている。モデル生成手段６０は当該照明機器に関し、照明強度推定レンジに従い、照明強度を０％として遷移達成モデルを生成する。

【0095】

また例えば、機器２が開き幅１％で閉状態に移行完了している自動ドアであれば、動作状態には「閉」、開き幅推定レンジには０〜１％が設定されている。モデル生成手段６０は当該自動ドアに関し、開き幅推定レンジに従い、開き幅を順次０％，１％に変更して遷移達成モデルを生成する。

【0096】

構成物に複数の機器２が存在する場合、モデル生成手段６０は各機器のモデルパラメータを上述のように動作状態等に応じて変更し、複数の機器２のモデルパラメータを組み合わせて空間モデルを生成する。

【0097】

上述のようにモデル生成手段６０により、制御信号に対して予め想定されるパラメータレンジ内にてモデルパラメータを設定して空間モデルが生成される。１つの機器２についてモデルパラメータはパラメータレンジにて複数通りに設定され得、構成物には複数の機器２が存在し得るので、基本的には、機器２または機器群の動作状態が異なる複数の空間モデルが生成される。但し、例えば、構成物に閉状態の自動ドアだけが存在する場合などには、空間モデルとして１通りの動作状態のものしか生成されない場合もある。

【0098】

空間モデルを生成すると、画像処理部６は遷移判定手段６１として動作し、モデル生成手段６０により機器２の動作状態等に応じて生成された基本的に複数通りの空間モデルそれぞれを、撮影手段４０であるカメラ４の撮影面に対応する座標系にレンダリングしてレンダリング画像を生成する（ステップＳ１１）。

【0099】

遷移判定手段６１は、各レンダリング画像を撮影画像と比較して類似度を算出し、類似度が最大のレンダリング画像を選択する（ステップＳ１２）。

【0100】

選択されたレンダリング画像はカメラ４による撮影時における監視空間の機器２の状態を反映したものとなっている。遷移判定手段６１は当該選択レンダリング画像に基づいて、機器２の状態の判定および更新を行い、機器２に不具合が検知された場合には警告手段７０が警告を行う（ステップＳ１３〜Ｓ２７）。以下、この処理を説明する。

【0101】

遷移判定手段６１は、機器２の動作状態が「移行中」であるか否かを確認する（ステップＳ１３）。移行中ではない場合は（ステップＳ１３にてＮＯの場合）、ステップＳ１４〜Ｓ２４をスキップして処理をステップＳ２５に進める。

【0102】

一方、機器２が移行中である場合（ステップＳ１３にてＹＥＳの場合）、遷移判定手段６１は、ステップＳ１２における選択レンダリング画像に対応する移行中モデルのモデルパラメータ（以下、今回パラメータ）と、記憶部５に記憶されている前回の選択レンダリング画像に対応する移行中モデルのモデルパラメータ（以下、前回パラメータ）との差を算出して閾値Ｔ_Ｄと比較する（ステップＳ１６）。閾値Ｔ_Ｄは動作状態が安定している時の機器２の画像の変動幅に応じて予め定めておく。例えば、Ｔ_Ｄは１％とする。

【0103】

差の絶対値がＴ_Ｄ以下である場合（ステップＳ１４にてＹＥＳの場合）、遷移判定手段６１は、当該機器の安定カウンタのカウント値を１だけ増加させて（ステップＳ１５）、増加後のカウント値を閾値Ｔ_Ｓと比較する（ステップＳ１６）。閾値Ｔ_Ｓは機器２の安定／不安定を弁別できる程度の時間長に予め定めておく。例えば、照明機器であれば１秒間相当のフレーム数である５がＴ_Ｓとして設定され、自動ドアであれば連続入退場を加味して１０秒間相当のフレーム数である５０がＴ_Ｓとして設定される。

【0104】

安定カウンタの値がＴ_Ｓ以上であった場合（ステップＳ１６にてＹＥＳの場合）、遷移判定手段６１は、ステップＳ１２で選択されたレンダリング画像が遷移不達成モデルに対応するものであるか否かを確認する（ステップＳ１７）。すなわち機器２の今回パラメータが目標範囲への移行途中の範囲にあるか否かを確認する。機器２の今回パラメータが移行途中の範囲にはない、すなわち目標範囲にある場合（ステップＳ１７にてＮＯの場合）、遷移判定手段６１は当該機器の動作状態を移行完了を示す状態に設定する（ステップＳ１８）。具体的には、照明機器については「点灯」、「消灯」、また自動ドアについては「閉」が設定される。この場合、遷移判定手段６１は当該機器２のパラメータレンジを目標範囲に変更する。例えば、機器２が点灯への遷移が完了した照明機器である場合、照明強度推定レンジは９０〜１００％に設定される。

【0105】

一方、機器２の今回パラメータが目標範囲にはなく、移行途中の範囲にある場合は（ステップＳ１７にてＹＥＳの場合）、上述した照明機器の劣化による照明強度の低下のように、機器２の動作状態が目標範囲に到達する前に定常状態となり動作状態の遷移に失敗した場合であるので、遷移判定手段６１は、動作状態が安定している不具合が発生したとして当該機器の不具合検知フラグをＯＮに設定する（ステップＳ１９）。この場合、遷移判定手段６１は例えば、当該機器２のパラメータレンジをステップＳ１２で選択された空間モデルのモデルパラメータを中心として±５％を上限／下限とする範囲に変更する。例えば、機器２が照明機器であり、ステップＳ１１で選出した空間モデルの照明強度が６５％であった場合、照明強度推定レンジに６０〜７０％と設定する。

【0106】

遷移判定手段６１は不具合が発生中であることを検知すると、遷移の成否の判定結果を警告手段７０に出力する。警告手段７０は、不具合が発生し遷移が失敗したと遷移判定手段６１により判定された場合に、ユーザーに対し機器２の不具合を警告する（ステップＳ２０）。例えば、機器２が照明機器であれば、当該照明機器の設置面（天井など）を視野に含む仮想の撮影面に空間モデルをレンダリングしてユーザーインターフェース部７のディスプレイに表示し、当該レンダリング画像中にて不具合の発生している電灯の像を強調表示するとともに当該画像に文字列「電灯が劣化しています」を重畳させて警告表示させる。また、機器２が自動ドアであれば例えば、不具合の発生している自動ドアの像を背景画像において強調表示するとともに当該背景画像に文字列「自動ドアが止まっています」を重畳させて警告表示させる。

【0107】

安定カウンタの値がＴ_Ｓ未満の場合（ステップＳ１６にてＮＯの場合）、ステップＳ１７〜Ｓ２０をスキップして処理をステップＳ２５に進める。

【0108】

また、ステップＳ１４にて、機器２の今回パラメータと前回パラメータとの差の大きさがＴ_Ｄより大きかった場合（ステップＳ１４にてＮＯの場合）、遷移判定手段６１は、当該機器の不安定カウンタの値を１だけ増加させて（ステップＳ２１）、増加後の不安定カウンタの値を閾値Ｔ_Ｕと比較する（ステップＳ２２）。閾値Ｔ_Ｕは機器２が移行に要する程度の時間長に予め定めておく。例えば、照明機器であれば１秒間相当のフレーム数である５がＴ_Ｕとして設定され、自動ドアであれば連続入退場を加味して１０秒間相当のフレーム数である５０がＴ_Ｕとして設定される。

【0109】

機器２の不安定カウンタの値がＴ_Ｕ以上であった場合は（ステップＳ２２にてＹＥＳの場合）、例えば、照明機器が点灯と消灯とを繰り返すちらつきのような機器２の不安定な不具合が発生しており動作状態の遷移に失敗しているといえる。そこで、遷移判定手段６１は、動作状態が不安定である不具合が発生したとして当該機器の不具合検知フラグをＯＮに設定する（ステップＳ２３）。この場合、遷移判定手段６１は、当該機器２のパラメータレンジを移行中モデルのパラメータレンジと同じ設定とすることができ、例えば、０〜１００％とする。

【0110】

遷移判定手段６１は不具合が発生中であることを検知すると、遷移の成否の判定結果を警告手段７０に出力する。警告手段７０は、不具合が発生し遷移が失敗したと遷移判定手段６１により判定された場合に、ユーザーに対し機器２の不具合を警告する（ステップＳ２４）。例えば、機器２が照明機器であれば、当該照明機器の設置面（天井など）を視野に含む仮想の撮影面に空間モデルをレンダリングしてユーザーインターフェース部７のディスプレイに表示し、当該レンダリング画像中にて不具合の発生している電灯の像を強調表示するとともに当該画像に文字列「電灯にちらつきが発生しています」を重畳させて警告表示させる。また、機器２が自動ドアであれば例えば、不具合の発生している自動ドアの像を背景画像において強調表示するとともに当該背景画像に文字列「自動ドアが開閉を繰り返しています」を重畳させて警告表示させる。

【0111】

機器２の不安定カウンタの値がＴ_Ｕ未満であった場合（ステップＳ２２にてＮＯの場合）、ステップＳ２３，Ｓ２４をスキップして処理をステップＳ２５に進める。

【0112】

ステップＳ２５では遷移判定手段６１は、次回に前回パラメータとして参照するために今回パラメータを記憶部５に記憶させる。

【0113】

ステップＳ２０，Ｓ２４での不具合警告を受けて、ユーザーである機器管理者は不具合発生中の機器２の修理・交換といった対処を行うことができる。当該対処により不具合が解消された場合、ユーザーはユーザーインターフェース部７を操作して復旧信号を入力する。遷移判定手段６１は、復旧信号の入力を確認し（ステップＳ２６）、復旧信号が入力されている場合（ステップＳ２６にてＹＥＳの場合）、機器２の動作状態を「移行中」に設定する（ステップＳ２７）。一方、復旧信号が入力されていない場合は（ステップＳ２６にてＮＯの場合）、ステップＳ２７はスキップされる。

【0114】

構成物に複数の機器２が存在する場合、遷移判定手段６１は各機器についてステップＳ１３〜Ｓ２７を実行する。

【0115】

モデルパラメータの記録処理Ｓ２５および復旧処理への対応処理Ｓ２６，Ｓ２７を終えると、画像処理部６は処理をステップＳ１に戻し、次の撮影画像に対する処理を開始する。

【0116】

なお、ステップＳ１６の判定にて安定カウンタの値が閾値以上であったことが、今回パラメータと前回パラメータとの差の大きさが閾値Ｔ_Ｄ以下である状態が所定期間以上継続したことを保証するために、ステップＳ１４にて今回パラメータと前回パラメータとの差の大きさが閾値Ｔ_Ｄを超えた場合には安定カウンタの値を０にリセットしてもよい。

【0117】

［変形例］
（１）上記実施形態においては、複数通りの空間モデルに変更する場合、モデル生成手段６０が一度に複数通りに空間モデルを生成する例を示したが、モデル生成手段６０が遷移判定手段６１と連携して探索的に空間モデルを変更してもよい。例えば、移行中の照明機器に関しモデルパラメータである照明強度を０〜１００％の範囲で１％刻みで設定する場合、まずモデル生成手段６０が照明強度を５０％に設定した空間モデルを出力し遷移判定手段６１がそのレンダリング画像と撮影画像との明るさの差を算出する。次に、当該差が正である（レンダリング画像の方が明るい）場合は、モデル生成手段６０が照明強度を４９％に変更した空間モデルを出力し、差が負である（レンダリング画像の方が暗い）場合は、モデル生成手段６０が照明強度を５１％に変更した空間モデルを出力する、というように差が０に近づく方向に照明強度を変更する。そして、遷移判定手段６１は、差の正負が変わったときまたは差の正負が変わらないまま範囲の下限または上限に達したときのレンダリング画像に基づいて機器２の動作状態を推定する。このようにすることでさらに処理負荷を軽減できる。

【0118】

（２）上記実施形態においては、動作状態の遷移にて動作状態が「移行中」である場合に空間モデルとして、モデルパラメータが遷移の目標範囲への移行途中の範囲にある遷移不達成モデルと、モデルパラメータが目標範囲にある遷移達成モデルとの両方を生成する構成とした。これに代えて、「移行中」の場合に遷移不達成モデルのみを生成し、機器２の遷移失敗を判定する構成とすることもできる。すなわち当該構成では、遷移判定手段６１は、遷移不達成モデルをカメラパラメータに基づきレンダリングしたレンダリング画像と撮影画像との類似度を算出し、当該類似度を用いて遷移が失敗したか否かを判定する。例えば、遷移判定手段６１は、類似度が予め定めた閾値以上であるレンダリング画像が存在する場合に、遷移が失敗したと判定する。この場合、ユーザーは当該レンダリング画像に対応する遷移不達成モデルにおける機器２または機器群のモデルパラメータから、遷移失敗と判定された不具合の状態を把握することができる。

【符号の説明】

【0119】

１ 空間監視装置、２ 機器、３ 機器インターフェース部、４ カメラ、５ 記憶部、６ 画像処理部、７ ユーザーインターフェース部、２０ スイッチ、２１ 電灯、２２ 人感センサ、２３ 自動ドア、３０ 制御信号取得手段、４０ 撮影手段、５０ 空間モデル記憶手段、６０ モデル生成手段、６１ 遷移判定手段、７０ 警告手段。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】