特許 7557287 情報処理装置、情報処理方法及び情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-18

(45)【発行日】2024-09-27

(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240919BHJP

   H04N 23/743 20230101ALI20240919BHJP

   H04N 7/18 20060101ALI20240919BHJP

   G06T 7/70 20170101ALI20240919BHJP

   G06T 3/00 20240101ALI20240919BHJP

   G03B 15/00 20210101ALI20240919BHJP

   G03B 7/093 20210101ALI20240919BHJP

【ＦＩ】

H04N23/60 500

H04N23/743

H04N7/18 H

H04N7/18 V

G06T7/70 Z

G06T3/00 780

G03B15/00 S

G03B15/00 H

G03B7/093

【請求項の数】 6

(21)【出願番号】P 2020099005

(22)【出願日】2020-06-08

(65)【公開番号】P2021193763

(43)【公開日】2021-12-23

【審査請求日】2023-04-13

(73)【特許権者】

【識別番号】000002107

【氏名又は名称】住友重機械工業株式会社

(74)【代理人】

【識別番号】100090033

【弁理士】

【氏名又は名称】荒船 博司

(74)【代理人】

【識別番号】100093045

【弁理士】

【氏名又は名称】荒船 良男

(72)【発明者】

【氏名】徐 放

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１７－１６２３１４（ＪＰ，Ａ）

【文献】特開２０１０－０４４５０２（ＪＰ，Ａ）

【文献】特開２０１０－２５８８８５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／７４３

Ｈ０４Ｎ ７／１８

Ｇ０６Ｔ ７／７０

Ｇ０６Ｔ ３／００

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ７／０９３

(57)【特許請求の範囲】

【請求項1】

互いに露光時間の異なる複数の画像を撮像装置により取得する画像取得手段と、
前記複数の画像の各々を同様に複数の画像領域に分割する画像分割手段と、
前記複数の画像の各々について、識別しやすさに関する特徴を算出する特徴算出手段と、
前記複数の画像領域の各々について、前記複数の画像の当該画像領域のうち最も識別しやすい画像領域を、前記特徴に基づいて選択し、選択した複数の画像領域を組み合わせて合成画像を生成する画像合成手段と、
前記合成画像に基づいて、前記撮像装置の姿勢の変化を測定する姿勢変化測定手段と、
を備える、
情報処理装置。

【請求項2】

前記画像分割手段は、前記複数の画像の各々を、前記複数の画像領域の前記特徴の数が合致するように当該複数の画像領域に分割する、
請求項１に記載の情報処理装置。

【請求項3】

前記姿勢変化測定手段は、基準画像と、当該基準画像の撮影時から時間が経過した計測画像との比較により、前記撮像装置の姿勢の変化を測定し、
前記画像取得手段、前記画像分割手段、前記特徴算出手段及び前記画像合成手段は、前記合成画像として、前記基準画像と前記計測画像との少なくとも一方を生成する、
請求項１又は請求項２に記載の情報処理装置。

【請求項4】

前記特徴算出手段は、前記特徴として特徴点を抽出し、
前記画像合成手段は、前記複数の画像領域の各々について、前記複数の画像の当該画像領域のうち前記特徴点の数が多い画像領域を選択する、
請求項１から請求項３の何れか一項に記載の情報処理装置。

【請求項5】

制御手段が、
互いに露光時間の異なる複数の画像を撮像装置により取得する画像取得工程と、
前記複数の画像の各々を同様に複数の画像領域に分割する画像分割工程と、
前記複数の画像の各々について、識別しやすさに関する特徴を算出する特徴算出工程と、
前記複数の画像領域の各々について、前記複数の画像の当該画像領域のうち最も識別しやすい画像領域を、前記特徴に基づいて選択し、選択した複数の画像領域を組み合わせて合成画像を生成する画像合成工程と、
前記合成画像に基づいて、前記撮像装置の姿勢の変化を測定する姿勢変化測定工程と、
を実行する、
情報処理方法。

【請求項6】

コンピュータを、
互いに露光時間の異なる複数の画像を撮像装置により取得する画像取得手段、
前記複数の画像の各々を同様に複数の画像領域に分割する画像分割手段、
前記複数の画像の各々について、識別しやすさに関する特徴を算出する特徴算出手段、
前記複数の画像領域の各々について、前記複数の画像の当該画像領域のうち最も識別しやすい画像領域を、前記特徴に基づいて選択し、選択した複数の画像領域を組み合わせて合成画像を生成する画像合成手段、
前記合成画像に基づいて、前記撮像装置の姿勢の変化を測定する姿勢変化測定手段、
として機能させる、
情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

【背景技術】

【0002】

例えば、工場や倉庫等に設置された撮像装置で取得される画像情報に基づき、工場や倉庫等の内部の物体（例えば、作業者、作業用機器、倉庫内の製品等）を認識しながら、工場や倉庫等の内部を監視するシステムが知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１２－１７４２２３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、工場や倉庫等の場合、設置環境によっては、例えば振動等の影響から撮像装置の姿勢が変化する可能性があるため、撮像装置の姿勢変化を監視し、姿勢変化が認識されたときに物体認識に関するパラメータ補正等が行われることが望ましい。そこで、例えば、工場や倉庫等の内部の壁や柱等の固定部に所定のマーカを予め設置し、撮像装置の画像情報における当該マーカの位置や形状等の変化をモニタリングすることで、撮像装置の姿勢変化が監視される場合がある。

【0005】

しかしながら、この手法は、マーカを貼り付けられない広い空間や、マーカを汚しやすい環境等には適用できない。
また、工場や倉庫等の環境によっては、例えば、窓や扉から入る自然光の変化や照明の変化等により照度環境が大きく変化するため、画像情報からマーカの特徴を適切に認識できない場合が生じうる。つまり、照度環境の変化によって、撮像装置の姿勢変化の監視精度が低下するおそれがある。

【0006】

本発明は、上記事情に鑑みてなされたもので、マーカを使うことなく、撮像装置の姿勢変化を好適に監視することを目的とする。

【課題を解決するための手段】

【0007】

本発明は、情報処理装置であって、
互いに露光時間の異なる複数の画像を撮像装置により取得する画像取得手段と、
前記複数の画像の各々を同様に複数の画像領域に分割する画像分割手段と、
前記複数の画像の各々について、識別しやすさに関する特徴を算出する特徴算出手段と、
前記複数の画像領域の各々について、前記複数の画像の当該画像領域のうち最も識別しやすい画像領域を、前記特徴に基づいて選択し、選択した複数の画像領域を組み合わせて合成画像を生成する画像合成手段と、
前記合成画像に基づいて、前記撮像装置の姿勢の変化を測定する姿勢変化測定手段と、
を備える。

【0008】

また、本発明は、情報処理方法であって、
制御手段が、
互いに露光時間の異なる複数の画像を撮像装置により取得する画像取得工程と、
前記複数の画像の各々を同様に複数の画像領域に分割する画像分割工程と、
前記複数の画像の各々について、識別しやすさに関する特徴を算出する特徴算出工程と、
前記複数の画像領域の各々について、前記複数の画像の当該画像領域のうち最も識別しやすい画像領域を、前記特徴に基づいて選択し、選択した複数の画像領域を組み合わせて合成画像を生成する画像合成工程と、
前記合成画像に基づいて、前記撮像装置の姿勢の変化を測定する姿勢変化測定工程と、
を実行する。

【0009】

また、本発明は、情報処理プログラムであって、
コンピュータを、
互いに露光時間の異なる複数の画像を撮像装置により取得する画像取得手段、
前記複数の画像の各々を同様に複数の画像領域に分割する画像分割手段、
前記複数の画像の各々について、識別しやすさに関する特徴を算出する特徴算出手段、
前記複数の画像領域の各々について、前記複数の画像の当該画像領域のうち最も識別しやすい画像領域を、前記特徴に基づいて選択し、選択した複数の画像領域を組み合わせて合成画像を生成する画像合成手段、
前記合成画像に基づいて、前記撮像装置の姿勢の変化を測定する姿勢変化測定手段、
として機能させる。

【発明の効果】

【0010】

本発明によれば、マーカを使うことなく、撮像装置の姿勢変化を好適に監視することができる。

【図面の簡単な説明】

【0011】

【図1】実施形態に係る監視システムの構成の一例を示す図である。

【図2】実施形態に係る監視装置の構成の一例を示すブロック図である。

【図3】姿勢変化監視処理の一例を概略的に示すフローチャートである。

【図4】画像合成処理の一例を概略的に示すフローチャートである。

【図5】画像合成処理の一例を説明するための図である。

【図6】画像合成処理により処理される画像の一例を示す図である。

【図7】画像合成処理により処理される画像の一例を示す図である。

【図8】姿勢変化測定処理の一例を概略的に示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について、図面を参照して詳細に説明する。

【0013】

［監視システムの構成］
まず、本実施形態に係る監視システム１の構成を説明する。
図１は、本実施形態に係る監視システム１の構成の一例を示す図である。
図１に示すように、本実施形態に係る監視システム１は、カメラ１０と、監視装置２０を含む。

【0014】

カメラ１０（撮像装置の一例）は、例えば、工場や倉庫等の所定の監視空間１００の天井や壁等の相対的に高い位置等に取り付けられる。カメラ１０は、監視空間１００内の所定の監視対象を監視するための画像を撮像し、カメラ１０の撮像画像に基づき、監視空間１００内の監視対象を監視する機能（以下、「空間監視機能」）を有する所定の外部装置に出力する。監視対象は、例えば、作業者、車両、作業機械（例えば、クレーン、フォークリフト）、出荷待ちの製品等が含まれうる。

【0015】

また、カメラ１０は、例えば、通信ケーブルを通じて監視装置２０と通信可能に接続され、監視装置２０の制御下で、監視空間１００の様子を撮像し、撮像画像を監視装置２０に出力する。また、カメラ１０は、所定の無線通信（例えば、基地局を末端とする移動体通信網に基づく移動体通信や、ＷｉＦｉ或いはブルートゥース（共に、登録商標）等の近距離通信）によって、監視装置２０と通信可能に接続されてもよい。

【0016】

監視装置２０（情報処理装置の一例）は、カメラ１０の撮像画像の時間変化をモニタリングすることで、カメラ１０の姿勢変化を監視する。以下、監視装置２０によるカメラ１０の姿勢変化を監視する機能を「カメラ姿勢変化監視機能」と称する場合がある。監視装置２０は、監視空間１００が存在する建物或いは当該建物の周辺の建物に設置されてもよいし、監視空間１００が存在する建物から相対的に遠く離れた遠隔地に設置されてもよい。監視装置２０は、例えば、デスクトップ型或いはラップトップ型のコンピュータ端末である。また、監視装置２０は、例えば、監視空間１００に対応する工場や倉庫等の施設の遠隔に配置されるサーバ装置であってもよい。

【0017】

なお、監視装置２０は、空間監視機能を有していてもよい。つまり、空間監視機能とカメラ姿勢変化監視機能は、異なる装置により実現されてもよいし、共通の装置により実現されてもよい。

【0018】

［監視装置の構成］
続いて、本実施形態に係る監視装置２０の構成について説明する。
図２は、監視装置２０の構成の一例を示す図である。

【0019】

監視装置２０の機能は、任意のハードウェア、或いは、ハードウェア及びソフトウェアの組み合わせにより実現されてよい。図２に示すように、監視装置２０は、例えば、ドライブ装置２１と、補助記憶装置２２と、メモリ装置２３と、制御装置２４と、インタフェース装置２５と、表示装置２６と、入力装置２７を含み、それぞれがバスＢ２で接続される。

【0020】

監視装置２０の各種機能を実現するプログラムは、例えば、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、或いは、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型の記録媒体２１Ａによって提供される。プログラムが記録された記録媒体２１Ａが、ドライブ装置２１にセットされると、プログラムが記録媒体２１Ａからドライブ装置２１を介して補助記憶装置２２にインストールされる。また、プログラムは、通信ネットワークを介して他のコンピュータからダウンロードされ、補助記憶装置２２にインストールされてもよい。

【0021】

補助記憶装置２２は、インストールされた各種プログラムを格納すると共に、必要なファイルやデータ等を格納する。
メモリ装置２３は、プログラムの起動指示があった場合に、補助記憶装置２２からプログラムを読み出して格納する。

【0022】

インタフェース装置２５は、通信ネットワーク（例えば、通信ネットワーク）に接続するためのインタフェースとして用いられる。
表示装置２６は、例えば、実行されるプログラムに従って、ＧＵＩ（Graphical User Interface）や各種情報を表示する。
入力装置２７は、監視装置２０に関する様々な操作指示等を監視装置２０の作業者や管理者等に入力させるために用いられる。

【0023】

制御装置２４は、補助記憶装置２２やメモリ装置２３に格納された各種プログラムを実行し、当該プログラムに従って各種機能を実現する。具体的に、制御装置２４は、カメラ１０に制御指令を出力して撮像画像を取得したり、撮像画像に基づいてカメラ１０の姿勢の変化を測定したり、測定結果に基づいて監視対象を監視する際のパラメータを補正したりする。

【0024】

［カメラの姿勢変化の測定方法］
続いて、カメラ１０の姿勢変化の測定方法の概要を説明する。
図３は、監視装置２０によるカメラ１０の姿勢変化を監視する処理（以下、「姿勢変化監視処理」）の一例を概略的に示すフローチャートである。

【0025】

図３に示すように、姿勢変化監視処理が実行されると、まず制御装置２４は、カメラ１０に制御指令を出力し、相互に露光時間の異なる複数の撮像画像（例えば、３枚～５枚の撮像画像）をカメラ１０に撮像させる（ステップＳ１）。

【0026】

次に、制御装置２４は、ステップＳ１で取得した複数の撮像画像と、カメラ１０の姿勢情報とに基づき、複数の撮像画像を組み合わせて１枚の合成画像を生成する画像合成処理を実行する（ステップＳ２）。画像合成処理の詳細は、後述する。

【0027】

次に、制御装置２４は、ステップＳ２で生成した合成画像を基準画像として補助記憶装置２２等に記憶させる（ステップＳ３）。
基準画像とは、カメラ１０の姿勢変化を検出する際に、基準となる或る時点（例えばカメラ１０の設置時点）でのカメラ１０の撮像画像である。

【0028】

次に、制御装置２４は、カメラ１０の姿勢変化の測定タイミング（以下、単に「測定タイミング」という。）が到来したか否かを判定する（ステップＳ４）。測定タイミングは、例えば、毎日或いは所定日ごと等の予め規定された時刻であってよい。
そして、測定タイミングが到来していないと判定した場合（ステップＳ４；Ｎｏ）、制御装置２４は、測定タイミングが到来するまで当該ステップＳ４を繰り返す。

【0029】

ステップＳ４において、測定タイミングが到来したと判定した場合（ステップＳ４；Ｙｅｓ）、制御装置２４は、上述のステップＳ１と同様に、カメラ１０に制御指令を出力し、相互に露光時間の異なる複数の撮像画像をカメラ１０に撮像させる（ステップＳ５）。

【0030】

次に、制御装置２４は、ステップＳ５で取得した複数の撮像画像に基づき、ステップＳ２と同様に、複数の撮像画像を組み合わせて１枚の合成画像を生成する画像合成処理を実行する（ステップＳ６）。画像合成処理の詳細は、後述する。

【0031】

次に、制御装置２４は、ステップＳ６で生成した合成画像を計測画像として補助記憶装置２２等に記憶させる（ステップＳ７）。
計測画像とは、基準画像の撮影時から時間が経過した測定タイミング時点でのカメラ１０の撮像画像である。

【0032】

次に、制御装置２４は、基準画像と計測画像とに基づいて、カメラ１０の姿勢の変化を測定（算出）する姿勢変化測定処理を実行する（ステップＳ８）。姿勢変化測定処理の詳細は、後述する。

【0033】

次に、制御装置２４は、基準画像を更新するか否かを判定する（ステップＳ９）。
このステップＳ９では、制御装置２４は、例えば、カメラ１０の姿勢変化が所定の閾値よりも大きい、或いは後述する対応点（ステップＳ８３参照）の数が所定の閾値より少ない場合に、基準画像を更新すると判定する。
そして、基準画像を更新すると判定した場合（ステップＳ９；Ｙｅｓ）、制御装置２４は、上述のステップＳ３に処理を移行し、計測画像を新たな基準画像として補助記憶装置２２等に記憶させる。また併せて、ステップＳ８で算出したカメラ１０の姿勢も記憶させる。なお、この場合に、ステップＳ３でなくステップＳ１に処理を移行し、新たに複数の撮像画像を取得し、これらと新たなカメラ１０の姿勢情報とに基づいて合成画像を生成し、この合成画像を基準画像としてもよい。

【0034】

ステップＳ９において、基準画像を更新しないと判定した場合（ステップＳ９；Ｎｏ）、制御装置２４は、姿勢変化監視処理を終了させるか否かを判定する（ステップＳ１０）。
そして、姿勢変化監視処理を終了させないと判定した場合（ステップＳ１０；Ｎｏ）、制御装置２４は、上述のステップＳ４に処理を移行する。

【0035】

ステップＳ１０において、例えば所定の監視期間の経過等により、姿勢変化監視処理を終了させると判定した場合（ステップＳ１０；Ｙｅｓ）、制御装置２４は、姿勢変化監視処理を終了させる。また、制御装置２４は、処理の実行中に各種エラーを検出した場合に、表示装置２６等を通じてアラートを出力し、姿勢変化監視処理を終了させてもよい。

【0036】

［画像合成処理］
続いて、姿勢変化監視処理中のステップＳ２、Ｓ６で実行される画像合成処理について説明する。
図４は、画像合成処理の一例を概略的に示すフローチャートであり、図５は、画像合成処理の一例を説明するための図であり、図６及び図７は、画像合成処理により処理される画像の一例を示す図である。

【0037】

図４に示すように、画像合成処理では、まず制御装置２４は、相互に露光時間の異なる複数の撮像画像の各々を、同様に複数の画像領域に分割する（ステップＳ２１）。
このとき、画像の分割態様は特に限定されず、面積で等分に分割してもよいし、複数の画像領域の特徴（の数）が合致するように（すなわち、特徴が少ない部分を広く、特徴が多い部分を細かく）分割してもよい。ここで、画像（領域）の「特徴」とは、例えば、色、輝度、輪郭、固有値、特徴点（特徴量）など、画像（領域）の識別しやすさ（マッチングしやすさ）に関する特徴であればよい。なお、以下のステップＳ２２で算出される特徴を用いて分割する場合、ステップＳ２２の後に当該ステップＳ２１を行ってもよい。

【0038】

次に、制御装置２４は、複数の撮像画像の各々の特徴点（例えばHarris特徴点）を抽出（算出）する（ステップＳ２２）。
なお、ここで抽出する画像情報は、特徴点に限定されず、画像の識別しやすさに関する特徴であればよい。

【0039】

次に、制御装置２４は、ステップＳ２２で算出した特徴（特徴点）に基づいて、複数の撮像画像を組み合わせて１つの合成画像を生成する（ステップＳ２３）。
具体的に、このステップでは、制御装置２４は、各画像領域について、最も特徴点の多い画像領域を複数の撮像画像から選択する。そして、制御装置２４は、選択した複数の画像領域を組み合わせて１つの合成画像を生成する。生成された合成画像は基準画像又は計測画像とされる。
なお、ステップＳ２２において特徴点以外の特徴（画像の識別しやすさに関する特徴）を算出していた場合、各画像領域について、当該特徴に基づいて最も識別しやすい画像領域を複数の撮像画像から選択すればよい。

【0040】

例えば、図５（ａ）に示すように、互いに露光時間の異なる４つの撮像画像３１０～３４０を合成する場合を考える。
この場合、図５（ｂ）に示すように、４つの撮像画像３１０～３４０の各々を、同様に面積等分の１０個の画像領域３１０ａ～３４０ａに分割する（ステップＳ２１）。
そして、４つの撮像画像３１０～３４０の各々の特徴点を算出する（ステップＳ２２）。
それから、１０個の画像領域の各々について、４つの撮像画像３１０～３４０の画像領域３１０ａ～３４０ａのうち、最も特徴点が多いものを選択し、図５（ｃ）に示すように、これらを組み合わせて１つの合成画像３５０を生成する（ステップＳ２３）。
こうして、識別しやすい画像領域を組み合わせた合成画像３５０が生成される。

【0041】

また例えば、図６（ａ）～（ｄ）に示すように、互いに露光時間の異なる４つの撮像画像４１０～４４０を合成する場合を考える。
この場合、４つの撮像画像３１０～３４０の各々を、同様に面積等分の１２個の画像領域４１０ａ～４４０ａに分割する（ステップＳ２１；図７参照）。
そして、４つの撮像画像３１０～３４０の各々の特徴点を算出する（ステップＳ２２）。
それから、１２個の画像領域の各々について、４つの撮像画像４１０～４４０の画像領域４１０ａ～４４０ａのうち最も特徴点が多いものを選択し、図７に示すように、これらを組み合わせて１つの合成画像４５０を生成する（ステップＳ２３）。
こうして、識別しやすい画像領域を組み合わせた合成画像４５０が生成される。

【0042】

［姿勢変化測定処理］
続いて、姿勢変化監視処理中のステップＳ８で実行される姿勢変化測定処理について説明する。
図８は、姿勢変化測定処理の一例を概略的に示すフローチャートである。

【0043】

図８に示すように、姿勢変化測定処理では、まず制御装置２４は、基準画像に対し、特徴点（例えばHarris特徴点）を抽出して特徴点群を生成する（ステップＳ８１）。そして、制御装置２４は、生成した特徴点群を広域マーカとして補助記憶装置２２等に記憶させる。

【0044】

次に、制御装置２４は、計測画像に対し、ステップＳ８１と同様に、特徴点を抽出して特徴点群を生成する（ステップＳ８２）。ステップＳ８１とＳ８２は、どちらの処理を先に実行してもよい。

【0045】

なお、ステップＳ８１、Ｓ８２で抽出する画像情報は、特徴点に限定されず、画像の識別しやすさに関する特徴であればよい。
また、上述の画像合成処理において当該特徴（例えば特徴点）を算出しており、これを流用できる場合には、当該ステップＳ８１、Ｓ８２のうち該当するものを省略してもよい。また、以前に実行した姿勢変化測定処理において、基準画像について当該特徴（例えば特徴点）を算出しており、これを流用できる場合には、ステップＳ８１を省略してもよい。

【0046】

次に、制御装置２４は、基準画像の特徴点群と計測画像の特徴点群とを、例えばRANSAC（Random sample consensus）法により、対応付けてマッチングする（ステップＳ８３）。
なお、基準画像と計測画像とで特徴点群をマッチングする手法は、特に限定されず、RANSAC法以外の手法であってもよい。

【0047】

次に、制御装置２４は、基準画像と計測画像とで対応付けられた特徴点ペアから二次元の同次変換マトリクスを求め、基準画像に対する計測画像の変化としてカメラ１０の姿勢変化を算出する（ステップＳ８４）。
そして、制御装置２４は、算出したカメラ１０の姿勢変化量を補助記憶装置２２等に記憶させる。

【0048】

［本実施形態の技術的効果］
以上のように、本実施形態によれば、互いに露光時間の異なる複数の撮像画像の各々が同様に複数の画像領域に分割され、各画像について識別しやすさに関する特徴が算出される。各画像領域について、複数の画像の当該画像領域のうち最も識別しやすい画像領域が、算出された特徴に基づいて選択され、選択された複数の画像領域を組み合わせて合成画像が生成される。そして、この合成画像に基づいてカメラ１０の姿勢の変化が測定される。
これにより、最も画像を識別しやすい各画像領域を組み合わせてなる合成画像を用いてカメラ１０の姿勢変化を測定でき、照度変化に関するロバスト性を向上させることができる。したがって、マーカを使うことなく、カメラ１０の姿勢変化を好適に監視することができる。

【0049】

また、本実施形態によれば、画像合成処理の際に、複数の画像領域の特徴（例えば特徴点の数）が合致するように各撮像画像を複数の画像領域に分割することにより、マッチングしやすい（画像処理しやすい）合成画像を生成することができる。

【0050】

［その他］
以上、本発明の実施形態について説明したが、本発明は上記の実施形態に限られない。
例えば、上記実施形態では、基準画像と計測画像の双方を、露光時間の異なる複数の撮像画像から合成することとした。しかし、基準画像と計測画像との少なくとも一方が、露光時間の異なる複数の撮像画像から合成されればよい。

【0051】

その他、上記実施形態で示した細部は、発明の趣旨を逸脱しない範囲で適宜変更可能である。

【符号の説明】

【0052】

１ 監視システム
１０ カメラ
２０ 監視装置
２４ 制御装置
１００ 監視空間

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】