特許 7564737 撮影処理装置、及び撮影処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-01

(45)【発行日】2024-10-09

(54)【発明の名称】撮影処理装置、及び撮影処理方法

(51)【国際特許分類】

   G06T 7/70 20170101AFI20241002BHJP

【ＦＩ】

G06T7/70 A

【請求項の数】 10

(21)【出願番号】P 2021037687

(22)【出願日】2021-03-09

(65)【公開番号】P2022137946

(43)【公開日】2022-09-22

【審査請求日】2023-03-13

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】317015294

【氏名又は名称】東芝エネルギーシステムズ株式会社

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100124372

【弁理士】

【氏名又は名称】山ノ井 傑

(74)【代理人】

【識別番号】100125151

【弁理士】

【氏名又は名称】新畠 弘之

(72)【発明者】

【氏名】坂本 直弥

(72)【発明者】

【氏名】尾崎 健司

(72)【発明者】

【氏名】三浦 崇広

(72)【発明者】

【氏名】相川 徹郎

【審査官】伊知地 和之

(56)【参考文献】

【文献】特開２０２０－０４７１８８（ＪＰ，Ａ）

【文献】特開２０１８－１８５２４０（ＪＰ，Ａ）

【文献】特開２０２０－００８６６４（ＪＰ，Ａ）

【文献】特開２００４－１２０６６１（ＪＰ，Ａ）

【文献】特開２０２０－１４４２２６（ＪＰ，Ａ）

【文献】特開２０１８－１２８８０４（ＪＰ，Ａ）

【文献】藤木淳，透視射影画像または球面カメラ画像からの３次元形状復元に向けて，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，2005年09月15日，第105巻 第302号，pp.35～40

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

Ｇ０６Ｖ ３０／４１８

Ｇ０６Ｖ ４０／１６

Ｇ０６Ｖ ４０／２０

ＣＳＤＢ（日本国特許庁）

(57)【特許請求の範囲】

【請求項1】

実空間内の対象物を撮像した球面画像を特定方向の平坦な要素画像に第１基準点に基づき変換する画像変換部と、
測定対象範囲となる３次元空間中における３次元座標を有する複数の特徴点を、測定基準点に対する前記特定方向の平坦な測定要素画像に、前記測定基準点を中心点として投影した各特徴点の前記測定要素画像に対する２次元座標群を１次特徴量として、前記３次元座標と関連付けて記録する特徴点記録部であって、複数の異なる位置の測定基準点に対してそれぞれ前記２次元座標群を１次特徴量として前記３次元座標と関連付けて記録した特徴点記録部と、
前記特定方向の要素画像に基づき得られた前記対象物における複数の第１特徴点それぞれの２次元座標群を２次特徴量として生成する特徴点生成部と、
前記特徴点生成部が生成した２次特徴量の座標群と、特徴点記録部に記録される１次特徴量の座標群を比較し、最も類似する１次特徴量を抽出し、前記２次特徴量の各特徴点と、前記１次特徴量の各特徴点とを対応させる特徴点比較部と、
前記２次特徴量の中の少なくとも２つの特徴点に対応する前記１次特徴量の特徴点の実空間の３次元座標を対応付け、前記少なくとも２つの特徴点と対応する３次元座標を有する少なくとも２つの点とをそれぞれ結ぶ投影線が一点に集中する位置を前記球面画像の撮影位置として推定する撮影位置推定部と、
を備える、撮影処理装置。

【請求項2】

前記撮影位置推定部が推定した複数の異なる時点の推定撮影位置を用いて推定した進路方向に基づき、障害物を検知する障害物検知部を、更に備える、請求項１に記載の撮影処理装置。

【請求項3】

複数の撮影位置推定部が推定した複数の推定撮影位置それぞれに対応する第１位置座標と、複数の推定撮影位置とに基づき、複数の第１特徴点のそれぞれの３次元座標を生成する３次元座標生成部を更に備える、請求項２に記載の撮影処理装置。

【請求項4】

前記撮影位置推定部が推定した複数の異なる時点の推定撮影位置における特定方向の平坦な要素画像を複数の小画像領域に分割し、相互に相関の高い小画像領域を選択する小領域比較部を、更に備え、
前記複数の第１特徴点のそれぞれは、互に相関の高い小画像領域の中から選択される、請求項３に記載の撮影処理装置。

【請求項5】

前記３次元座標生成部の生成したそれぞれの３次元座標を用いて３次元ボクセルデータを生成する３次元画像再構成処理部を更に備える、請求項４に記載の撮影処理装置。

【請求項6】

第１期間に生成された所定の空間内の３次元座標の３次元ボクセルデータと、前記第１期間と異なる第２期間に生成された前記所定の空間内の３次元座標の３次元ボクセルデータと、を用いて、前記所定の空間内の構造物の増減を抽出する３次元差分処理部を更に備える、請求項５に記載の撮影処理装置。

【請求項7】

前記３次元差分処理部は、新たに発生したボクセルデータには第１の所定値を割振り、消失したボクセルデータには前記第１の所定値と異なる第２の所定値を割振る、請求項６に記載の撮影処理装置。

【請求項8】

前記３次元差分処理部は、前記所定の空間内の３次元座標で示される点の密度に基づき、前記所定の空間内の構造物の増減を抽出する、請求項６に記載の撮影処理装置。

【請求項9】

前記撮影位置推定部により推定された第１推定撮影位置から撮像された球面画像に基づく第１映像情報と、前記撮影位置推定部により推定された第２推定撮影位置から撮像された球面画像に基づく第２映像情報とを対応させ、変化があった領域を抽出する２次元画像処理部を、更に備える請求項１乃至４のいずれか一項に記載の撮影処理装置。

【請求項10】

実空間内の対象物を撮像した球面画像を特定方向の平坦な要素画像に第１基準点に基づき変換する画像変換工程と、
測定対象範囲となる３次元空間中における３次元座標を有する複数の特徴点を、測定基準点に対する前記特定方向の平坦な測定要素画像に、前記測定基準点を中心点として投影した各特徴点の前記測定要素画像に対する２次元座標群を１次特徴量として、前記３次元座標と関連付けて記録する特徴点記録工程であって、複数の異なる位置の測定基準点に対してそれぞれ前記２次元座標群を１次特徴量として前記３次元座標と関連付けて記録した特徴点記録工程と、
前記特定方向の要素画像に基づき得られた前記対象物における複数の第１特徴点それぞれの２次元座標群を２次特徴量として生成する特徴点生成工程と、
前記２次特徴量の座標群と、前記１次特徴量の座標群を比較し、最も類似する１次特徴量を抽出し、前記２次特徴量の各特徴点と、前記１次特徴量の各特徴点とを対応させる特徴点比較工程と、
前記２次特徴量の中の少なくとも２つの特徴点に対応する前記１次特徴量の特徴点の実空間の３次元座標を対応付け、前記少なくとも２つの特徴点と対応する３次元座標を有する少なくとも２つの点とをそれぞれ結ぶ投影線が一点に集中する位置を前記球面画像の撮影位置として推定する撮影位置推定工程と、
を備える、撮影処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、撮影処理装置、及び撮影処理方法に関する。

【背景技術】

【0002】

発電プラントでは、プラントを安全に運転するために、膨大な機器の保守点検を定期的に点検員が巡視点検している。また点検員は、巡視中に機器異常なども合わせて目視で確認している。従来の保守点検は、一般に現場で点検員が確認した結果を手書き記録し、事務所で点検記録を作成すことなどが行われる。このように、人手による作業が多く、作業の省力化を図る取り組みが行われている。このような省力化を図る取り組みの多くは、モバイル端末を利用するサービスである。例えば点検員へ点検要領書を提示すると共に、点検員が目視確認したメータなどの数値をモバイル端末に入力することにより、手書き作業を除外し、点検結果をデジタル化するものである。

【0003】

また、機器異常などの記録とし、巡視中の点検員が持ったカメラの映像をドライブレコーダーのように記録して、後日、必要に応じて映像を確認できるシステムの検討も進められている。映像を確認する際、記録された映像が長時間であるため、撮影位置を特定した映像の確認や異常の可能性がある映像のみを確認することが望まれる。また、カメラに魚眼レンズなどを用いて一度に広範囲の球面画像を記録し、確認することが行われようとしている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－０４５１６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、位置測位方法として屋外であればＧＰＳの利用が一般的であるが、発電プラントなどの屋内では電波が届かないためＧＰＳの利用が難しいため、撮影位置の特定がより難しくなる。また、球面画像は湾曲しており、球面画像を用いた処理では、撮影位置の特定精度が低下する恐れがある。

【0006】

本発明の実施形態は、このような事情を考慮してなされたものであり、撮影画像を撮影した撮影位置を取得可能な撮影処理装置及び撮影処理方法を提供する。

【課題を解決するための手段】

【0007】

本実施形態に係る撮影処理装置は、変換部と、特徴点生成部と、撮影位置推定部と、を備える。変換部は、実空間内の対象物を撮像した球面画像を平坦な要素画像に第１基準点に基づき、変換する。特徴点生成部は、要素画像に基づき得られた対象物における複数の第１特徴点それぞれの第１位置座標を生成する。撮影位置推定部は、第１位置座標を用いて球面画像の撮影位置を推定する。

【発明の効果】

【0008】

本実施形態によれば、撮影画像を撮影した撮影位置を取得することができる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態に係る撮影処理システム１の構成を示すブロック図。

【図2】第１実施形態に係る撮影処理装置２の構成を示すブロック図。

【図3】移動可能な範囲を２次元の地図情報として模式的に示す図。

【図4】画像変換部の処理例を模式的に示す図。

【図5】全天球パノラマ画像を平坦画像に変換する場合の概念図。

【図6】全天球パノラマ画像と、各要素画像を示す図。

【図7】予め登録されている３次元座標点と撮影位置との関係を模式的に示す図。

【図8】歪みが低減した前画像と機器画像とを示す模式図。

【図9】機器画像のなかの特徴点であるエッジの交点を示す模式図。

【図10】撮影位置推定部の位置推定例を模式的に示す図。

【図11】監視装置の構成例を示すブロック図。

【図12】地図情報生成部が生成した地図情報を模式的に示す図。

【図13】撮影処理装置の処理例を示すフローチャート。

【図14】第１実施形態の変形例に係る撮影処理装置の処理例を示すフローチャート。

【図15】第２実施形態に係る撮影処理装置の構成を示すブロック図。

【図16】進行方向と障害物を模式的に示す図。

【図17】第３実施形態に係る撮影処理装置の構成を示すブロック図。

【図18】３次元画像処理部の詳細なブロック図。

【図19】小領域比較部の処理例を模式的に示す図。

【図20】３次元座標生成部の処理例を模式的に示す図。

【図21】３次元画像再構成処理部の生成するボクセルデータの例を示す図。

【図22】ボクセルデータと差分処理結果の例を示す図。

【図23】差分情報を各要素画像に再投影した例を示す図。

【図24】第４実施形態に係る撮影処理装置の構成を示すブロック図。

【図25】２次元画像処理部の詳細なブロック図。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態に係る撮影処理装置、及び撮影処理方法について、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は、本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。また、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率は説明の都合上実際の比率とは異なる場合や、構成の一部が図面から省略される場合がある。
（第１実施形態）

【0011】

図１は、第１実施形態に係る撮影処理システム１の構成を示すブロック図である。図１に示すように、撮影処理システム１は、撮影処理装置２と、監視装置４とを備える。撮影処理装置２は、撮影位置を特定することが可能な装置であり、撮影位置及び撮影位置に関する映像情報などを監視装置４に、例えば無線通信により送信する。一方で、監視装置４は、撮影処理装置２から供給される情報に基づき、発電プラントなどの屋内における機器などを監視する装置である。撮影処理装置２と、監視装置４とは、電波障害のない位置に配置された中継器などを介して、無線通信により情報を相互に通信可能である。なお、本実施形態に係る撮影処理装置２と、監視装置４とは別体として構成しているがこれに限定されない。例えば、撮影処理装置２と、監視装置４とを一体的に構成し、可搬可能な撮影処理装置２としてもよい。

【0012】

図２は、第１実施形態に係る撮影処理装置２の構成を示すブロック図である。図２に示すように、撮影処理装置２は、撮影位置を特定することが可能であり、撮影部１０と、モーションセンサ１５と、記憶部２０と、通信部２５と、情報処理部３０とを備えて構成される。なお、撮影処理装置２は、モーションセンサ１５を設けずに構成してもよい。

【0013】

撮影部１０は、例えば全方位カメラ（３６０度カメラ）であり、全天球パノラマ画像を球面画像として連続して、すなわち球面画像を動画として生成することが可能である。より具体的には、この撮影部１０は、発電プラントの屋内における対象物の画像を含む全天球パノラマ画像を撮影する。また、撮影部１０は、例えば、駆動機構を備えた移動部に設定され、この移動部の移動に応じて自動的に全天球パノラマ画像を撮影する。さらにまた、撮影部１０は、全天球パノラマ画像を記憶部２０及び情報処理部３０に供給する。なお、本実施形態では、撮影処理装置２は、駆動機構を備えた移動部に設定されるが、これに限定されない。例えば、観察者である作業員などのヘルメットに撮影部１０とモーションセンサ１５とを設定する構成でもよい。この場合、記憶部２０と、情報処理部３０は、例えば監視装置４内に構成し、撮影部１０、及びモーションセンサ１５と、記憶部２０、及び情報処理部３０とは無線通信により情報通信を行ってもよい。

【0014】

モーションセンサ１５は、例えば慣性センサ（３軸加速度センサと３軸角速度センサ）と３軸地磁気センサを組み合わせた９軸センサとなっている。このモーションセンサ１５は、撮影部１０に搭載され、この撮影部１０が移動したときに生じる加速度を検出する。また、このモーションセンサ１５により重力加速度の検出も行える。さらに、モーションセンサ１５は、この撮影部１０の姿勢が変化したときに生じる角速度を検出する。なお、地磁気により撮影部１０の姿勢を把握することもできる。モーションセンサ１５で検出された加速度の値と角速度の値は、情報処理部３０に供給される。

【0015】

記憶部２０は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク等により実現される。この記憶部２０は、特徴点記録部２００と、映像記録部２０２と、撮影位置記録部２０４とを有する。特徴点記録部２００には、特徴点群が記録されており、各特徴点に一次特徴量と位置情報が記録されてる。また、特徴点記録部２００には、３Ｄレーザスキャナなどで計測した発電プラントの各構造物の３次元位置を示す点群データが記録されていてもよい。また、記憶部２０は、情報処理部３０が実行する各種の処理プログラムを記憶する。

【0016】

特徴点記録部２００に記録する一次特徴点群の持つ座標系は、あらかじめスケールが調整されており、ミリメートルやメートル単位のスケールを持つ。また、原点および方位は発電プラント等の図面やＣＡＤデータに揃うよう調整してもよい。

【0017】

図３は、撮影処理装置２が発電プラント建屋内などの現場において移動可能な範囲を２次元の地図情報８として模式的に示す図である。上述のように、特徴点記録部２００には、地図情報８における撮影位置別の一次特徴点群が一次特徴量として記録されてる。なお、一次特徴量の詳細は図７を用いて後述する。

【0018】

再び図２に示すように、映像記録部２０２には、撮影部１０により撮像された全天球パノラマ画像、及び後述する前、後、左、右、上、下の各要素画像が記録される。
撮影位置記録部２０４には、情報処理部３０が処理した撮影部１０の撮影位置が、全天球パノラマ画像、各要素画像、及び撮影時間と関連付けて記録される。

【0019】

通信部２５は、監視装置４などと無線通信を行うことが可能である。
情報処理部３０は、全天球パノラマ画像を用いて、撮影部１０の撮影位置を生成可能であり、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んで構成される。すなわち、この情報処理部３０は、ＣＰＵが記憶部２０にお記憶される各種プログラムを実行することで、ソフトウェアによる情報処理がハードウェア資源を用いて実現されるコンピュータで構成される。これにより、この情報処理部３０は、姿勢情報取得部３００と、画像変換部３０２と、特徴点生成部３０４と、特徴点比較部３０６と、撮影位置推定部３０８と、検証部３１０と、制御部３１２とを構成する。なお、姿勢情報取得部３００と、画像変換部３０２と、特徴点生成部３０４と、特徴点比較部３０６と、撮影位置推定部３０８と、検証部３１０と、制御部３１２とを回路で構成してもよい。

【0020】

姿勢情報取得部３００は、全天球パノラマ画像の撮影時における撮影部１０の撮影方向及び姿勢を生成する。すなわち、姿勢情報取得部３００は、モーションセンサ１５から供給される角速度の値と加速度の値とを合わせて、撮影部１０の姿勢を特定することで、全天球パノラマ画像の撮影時の撮影方向を生成する。例えば、姿勢情報取得部３００は、全天球パノラマ画像の世界座標系における撮影開始角度を特定する。

【0021】

図４は、画像変換部３０２の処理例を模式的に示す図である。左図が全天球パノラマ画像Ｐ６００を示し、右図が前、後、左、右、上、下の各要素画像Ｇ４０２にキューブマップ展開した平坦画像を示す。

【0022】

図４に示すように、画像変換部３０２は、姿勢情報取得部３００の情報に基づき、前画像の中心部ｍ３０が真北方向に一致するように各要素画像に平面展開する。画像変換部３０２は、例えばエクイレクタングラー形式の全天球パノラマ画像をキューブマップ形式に変換する。これにより、３６０°の全天球パノラマ画像がキューブマップに展開される。また、画像変換部３０２は、全天球パノラマ画像Ｐ６００と、各要素画像Ｇ４０２を関連付けて、撮影位置記録部２０４に記録する。

【0023】

図５は、エクイレクタングラー形式の全天球パノラマ画像Ｐ６００をキューブマップ形式の平坦画像に変換する場合の概念図である。全天球パノラマ画像Ｐ６００は、例えば半径ｒの球面ｐ０上に撮像された画像である。このため全天球パノラマ画像Ｐ６００の各画素Ｓ１は極座標で示すことが可能である。これにより、前、後、左、右、上、下の各要素画像ｑ０の配置関係と、各画素Ｓ１の極座標が既知であるので、各要素画像Ｇ４０２に各画素Ｓ１を各画素Ｓ２として投影可能である。なお、点Ｓ３は、実空間上における画素Ｓ２の撮影対象点の例を示す。

【0024】

図６は、実際に撮像された全天球パノラマ画像Ｐ６００と、前、後、左、右、上、下の各要素画像Ｇ４０２を示す図である。左図が全天球パノラマ画像Ｐ６００を示し、右図が前、後、左、右、上、下の各要素画像Ｇ４０２にキューブマップ展開した平坦画像を示す。図６に示すように、画像変換部３０２の処理により、全天球パノラマ画像Ｐ６００よりも歪みが低減した前、後、左、右、上、下の各要素画像Ｇ４０２が生成される。ここでは、全天球パノラマ画像を6面体の各平面に投影した場合について説明しているが、投影する平面は、6面以上の平面を持つ多面体とすることも可能である。また、全天球パノラマ画像の代わりに半球パノラマ画像とすることも可能である。この場合、6面体に投影する代わりに、前、左、右、上、下の各要素画像とすることで同じ処理が可能となる。

【0025】

図７は、予め登録されている発電プラント建屋内の一次特徴点の３次元座標点と全天球パノラマ画像Ｐ６００の撮影位置との関係を模式的に示す図である。左図が、走行経路Ｌ６００に沿って撮像された複数の全天球パノラマ画像ｐ６００を示し、右図が複数の全天球パノラマ画像ｐ６００の撮像位置と一次特徴点の３次元座標点とを示す特徴点図Ｇ６００である。上述のように、一次特徴点の３次元座標点は、３Ｄレーザスキャナなどで計測した発電プラントの各構造物の３次元位置を示す点群データから生成されている。一次特徴点は、例えば周辺機器のエッジの交点などである。

【0026】

特徴点記録部２００には、上述のように、２次元の地図情報８（図２参照）と関連付けられて生成された特徴点の２次元座標群が１次特徴量として記録されている。例えば特徴点図Ｇ６００に示す特徴点を、基準方向を真北とする前、後、左、右、上、下の各要素画像に投影し、各特徴点の各要素画像に対する２次元座標群が１次特徴量として生成される。例えば、事前のコンピュータシュミレーションにより、特徴点図Ｇ６００内の平面座標（ｘ、ｙ）毎に、基準方向を真北とする前、後、左、右、上、下の各要素画像面を仮想的に生成し、特徴点図Ｇ６００に示す特徴点が各要素画像面に投影され、各特徴点の各要素画像面に対する２次元座標群が１次特徴量として生成される。これら１次特徴量が、平面座標（ｘ、ｙ）（図３参照）に関連付けられ、特徴点記録部２００に記録されている。また、１次特徴量の２次元座標群には、特徴点図Ｇ６００（図７参照）に示す実空間の３次元座標が関連づけられている。

【0027】

図８は、画像変換部３０２の処理により生成された歪みが低減した前画像７００ｑと機器画像７０２ｑとを示す模式図である。図９は、機器画像７０２ｑ（図８参照）のなかの特徴点であるエッジの交点８００を示す模式図である。

【0028】

図９に示すように、特徴点生成部３０４は、画像変換部３０２の処理により、生成された前、後、左、右、上、下の各要素画像から特徴点を抽出し、各特徴点の各要素画像に対する２次元座標群を２次特徴量として特徴点記録部２００に記録する。

【0029】

全天球パノラマ画像から特徴点を抽出しようとすると、画像が湾曲しており、特徴点の抽出が安定化しなくなってしまう。また、仮に抽出できても特徴点の位置により湾曲した画像における空間解像度が異なり、画像間の特徴点の比較精度が低下してしまう。これに対して、画像変換部３０２が生成する２次特徴量として生成される特徴点の座標も、１次特徴量として生成される特徴点の座標も、いずれも平面に展開された前、後、左、右、上、下の各要素画像に対応させて生成される。このため、特徴点の抽出がより安定化する。また、湾曲が抑制された同じ基準平面に対して特徴点の座標を抽出できるので、画像間の座標のずれが均一化し、特徴点の比較がより高精度に可能となる。

【0030】

別の方法としてステレオカメラやレーザ（LiDAR）などの距離を測定可能なセンサを用いて、位置を特定する手法がある。ステレオカメラを用いる方法では、カメラで撮影される範囲が進行方向など一方向になるため、進行方向に特徴点となる構造物がない場合や障害物がある場合など、特徴点が時間的に連続して抽出できない場合は、位置の特定ができなくなる場合がある。また、ステレオをカメラは撮影範囲が狭く特性精度が低下する場合がある。

【0031】

これに対して、全天球パノラマ画像の場合は、進行方向だけでなく上下左右、後方の映像も取得できることから、特徴点を抽出できなくなる事象の発生が少なくなる。また、発電プラントなど屋内で使用する場合は、天井を連続して撮影できることから、安定して特徴点を抽出することが可能となる。

【0032】

ドローンなど屋内を3次元的に移動する機構の場合、周囲の構造物に状況を、3次元的に計測を行う３次元LiDARを搭載する機体が使用される。3次元LiDARはレーザを上下方向にスキャンしながら回転させる機構であり、搭載するには大型の期待が必要となる課題がある。すなわち、LiDARなどを使用する場合は、撮影装置以外にセンサを装備する必要がある。また、回転機構を有するものもあり構成が複雑になる課題がある。

【0033】

これに対して、本提案では、全天球映像を取得可能なカメラを搭載することで映像と位置の特定を行うことが可能となり。積載重量の点でもすぐれている。

【0034】

特徴点比較部３０６は、特徴点生成部３０４が生成した２次特徴量の座標群と、特徴点記録部２００に記録される１次特徴量の座標群を比較し、最も類似する１次特徴量を抽出する。そして、特徴点比較部３０６は、特徴点生成部３０４が生成した２次特徴量のなかの少なくとも２点の特徴点の座標に対応する特徴点の座標を、１次特徴量の中から選択する。

【0035】

撮影位置推定部３０８は、特徴点比較部３０６の比較結果に基づき、全天球パノラマ画像が撮影された撮影位置を推定する。例えば、撮影位置推定部３０８は、特徴点比較部３０６が選択した最も類似する１次特徴量の位置を一次推定撮影位置とする。すなわち、この１次特徴量を演算する際に、前、後、左、右、上、下の各要素画像面のシミュレーション展開に用いた中心座標を一次推定撮影位置とする。

【0036】

さらに、撮影位置推定部３０８は、特徴点比較部３０６が選択した少なくとも２点の特徴点の座標と対応する１次特徴量中の特徴点の座標からより高精度に撮影位置の推定を行う。

【0037】

図１０は、撮影位置推定部３０８の位置推定例を模式的に示す図である。図５及び図１０を参照しつつ、撮影位置推定部１０５のより高精度な位置推定の処理例を説明する。

【0038】

図１０に示すように、前画像７００ｑにおける複数の特徴点Ｓ２には、特徴点比較部３０６の比較結果により、１次特徴量の特徴点が対応付けられている。１次特徴量の特徴点は２次元座標であるが、特徴点図Ｇ６００（図７参照）に示す実空間の３次元座標も関連づけられている。これにより、撮影位置推定部３０８は、複数の特徴点Ｓ２に対応する１次特徴量の特徴点の実空間の３次元座標を有する複数点Ｓ３を用いることにより、複数の特徴点Ｓ２に、実空間の３次元座標を有する複数点Ｓ３を対応付けることが可能となる。前画像７００ｑにおける複数の特徴点Ｓ２は、実空間の３次元座標を有する複数点Ｓ３を、中心点ｇ０として前画像７００ｑに投影した図である。したがって、複数の特徴点Ｓ２と対応する３次元座標を有する複数点Ｓ３をそれぞれ結ぶ投影線が一点に集中する位置が撮影位置として推定される。このように、撮影位置推定部３０８は、複数の特徴点Ｓ２と対応する３次元座標を有する複数点Ｓ３をそれぞれ結ぶ投影線が一点に集中する位置を二次推定撮影位置として再推定する。そして、撮影位置推定部３０８は、一次推定撮影位置と、二次推定撮影位置を撮影位置記録２０４に撮影時刻、全天球パノラマ画像、及び各要素画像と関連付けて記録する。

【0039】

検証部３１０は、撮影位置推定部３０８の位置推定を検証する。そして、検証部３１０は、撮影位置推定部３０８の位置推定の妥当性がない場合には、通信部２５からの推定結果の送信を行わない。一方で、撮影位置推定部３０８の位置推定の妥当性がある場合には、検証部３１０は、撮影位置推定部３０８の位置推定結果、撮影時刻、全天球パノラマ画像、及び各要素画像を通信部２５に通信させる。例えば、検証部３１０は、前回の推定撮影位置と今回の推定撮影位置の距離差が、撮影処理装置２の移動速度に基づく距離と、例えば１０パーセント以上ずれる場合に、位置推定の妥当性がないと検証する。
制御部３１２は、撮影処理装置２の各部を制御する。

【0040】

次に、監視装置４の構成例を説明する。図１１は、監視装置４の構成例を示すブロック図である。監視装置４は、通信部４００と、記憶部４０２と、特徴点生成部４０４と、地図情報生成部４０６と、操作部４０８と、表示装置４１０と、入力装置４１２を備える。監視装置４は、例えばＣＰＵを有しており、記憶部４０２に記憶される処理プログラムを実行することにより、特徴点生成部４０４と、地図情報生成部４０６と、操作部４０８とを構成する。なお、特徴点生成部４０４と、地図情報生成部４０６と、操作部４０８とを、回路で構成してもよい。

【0041】

通信部４００は、撮影処理装置２と通信を行う。
記憶部４０２は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク等により実現される。この記憶部４０２は、撮影処理装置２から送信される情報を記憶する。記憶部４０２は、例えば、推定撮影位置と、撮影時刻、全天球パノラマ画像、及び各要素画像を関連付けて記憶する。

【0042】

特徴点生成部４０４は、上述した３Ｄレーザスキャナなどで計測した発電プラントの各構造物の３次元位置を示す点群データと、１次特徴量と、を生成する。また、特徴点生成部４０４は、３次元位置を示す点群データと、１次特徴量を記憶部４０２に記憶させるとともに、通信部４００を介して１次特徴量を撮影処理装置２に送信する。

【0043】

地図情報生成部４０６は、撮影処理装置２から送信される撮影位置に基き、撮影処理装置２の移動経路を示す地図情報を生成する。また、地図情報生成部４０６は、生成した地図情報を表示装置４１０に表示させる。

【0044】

図１２は、地図情報生成部４０６が生成した地図情報を模式的に示す図である。複数の点Ｚ１２が撮影処理装置２の推定撮影位置をそれぞれ示す。また、地図情報生成部４０６は、推定撮影位置点Ｚ１２を操作者に指示されると、推定撮影位置を示す地図情報８と、撮影時刻、全天球パノラマ画像、及び各要素画像とを並べて、表示装置４１０に表示させる。

【0045】

操作部４０８は、入力部４１２を介した監視者の入力情報に応じて、撮影処理装置２の駆動を制御可能である。なお、撮影処理装置２は、通常は自動運転されている。

【0046】

表示装置４１０は、例えば液晶モニタであり、上述したように、地図情報生成部４０６が生成した地図情報８、及び全天球パノラマ画像、及び各要素画像を並べて表示可能である。入力部４１２は、例えばマウス、キーボードなどにより構成される。

【0047】

図１３は、撮影処理装置２の処理例を示すフローチャートである。先ず、撮影部１０は、図示していない移動部にて移動しながら対象物となる建屋内などの現場の状況を撮影し、対象物の画像を含む天球パノラマ画像Ｐ６００（図４参照）を記憶部２０及び情報処理部３０に出力する（ステップＳ１００）。

【0048】

次に、画像変換部３０２は、姿勢情報取得部３００の情報を用いて、基準方向に基づく各要素画像Ｇ４０２（図４参照）に全天球パノラマ画像Ｐ６００（図４参照）を変換する（ステップＳ１０２）。

【0049】

次に、特徴点生成部３０４は、各要素画像Ｇ４０２から特徴点を抽出し、各特徴点の各要素画像Ｇ４０２に対する２次元座標群を２次特徴量として特徴点記録部２００に記録する（ステップＳ１０４）。続けて、特徴点比較部３０６は、特徴点生成部３０４が生成した２次特徴量の座標群と、特徴点記録部２００に記録される１次特徴量の座標群を比較し、最も類似する１次特徴量を抽出する（ステップＳ１０５）。

【0050】

そして、撮影位置推定部３０８は、特徴点比較部３０６の比較結果に基づき、全天球パノラマ画像か撮影された撮影位置を推定する（ステップＳ１０６）。

【0051】

以上説明したように、本実施形態によれば、特徴点生成部３０４が、全天球パノラマ画像を用いて生成された前、後、左、右、上、下の各要素画像に基づき２次特徴量を生成し、撮影位置推定部３０８が、２次特徴量に基づき、撮影位置を推定することとした。これにより、湾曲が抑制された各要素画像に対して特徴点の座標を抽出できるので、より高精度に撮影位置の推定が可能となる。

【0052】

（第１実施形態の変形例）
第１実施形態の変形例に係る撮影処理システム１は、撮影位置推定部３０８における推定処理に、前、後、左、右、上、下の各要素画像Ｇ４０２の中から選択した画像のみを用いて推定可能である点で、第１実施形態に係る撮影処理装置２と相違する。以下では、第１実施形態に係る撮影処理システム１と相違する点を説明する。

【0053】

図１４は、第１実施形態の変形例に係る撮影処理装置２の処理例を示すフローチャートである。図１４に示すように、画像変換部３０２は、撮影された全天球パノラマ画像Ｐ６００、及び姿勢情報取得部３００の情報に基づき、前画像（図４参照）の中心部ｍ３０が真北方向に一致するように、例えば前画像のみを展開する。そして、特徴点生成部３０４、特徴点比較部３０６、及び撮影位置推定部３０８は、前画像のみを用いて第１実施形態と同様の処理を行う（ステップＳ２００）。なお、前画像に限定されず、前、後、左、右、上、下の各要素画像Ｇ４０２の中から５以下の要素画像を用いて処理を行ってもよい。すなわち、ステップＳ２００では、撮影処理装置２の進行に応じて前画像のみを用いて、一回の撮影毎に位置推定が可能である。

【0054】

次に、制御部３１２は、撮影回数が所定回数、例えば１０回に達したか否かを判定する（ステップＳ２０２）。制御部３１２は、所定回数に達していないと判定する場合（ステップＳ２０２のＮＯ）、ステップＳ２０２からの撮影および撮影位置推定を繰り返す。この間、撮影処理装置２は、進行しており、撮影毎に位置推定が可能である。

【0055】

一方で、撮影回数が所定回数に達したと判定する場合（ステップＳ２０２のＹＥＳ）、制御部３１２は、図１３で示しように、前、後、左、右、上、下の各要素画像を用いた位置推定を行う（ステップＳ２０４）。

【0056】

そして、制御部３１２は、全体処理を終了するか否かを判定し（ステップＳ２０６）、終了しない場合（ステップＳ２０６のＮＯ）、ステップＳ２００からの処理を繰り返す。一方で、終了する場合（ステップＳ２０６のＹＥＳ）、全体処理を終了する。

【0057】

以上説明したように、本実施形態によれば、撮影位置推定部３０８における推定処理に、前、後、左、右、上、下の各要素画像の中から選択した画像により撮影位置推定処理が可能であるので、撮影位置推定処理をより高速化することが可能となる。また、所定の周期で各要素画像を用いて撮影位置推定処理を行うので、所定周期でより高精度に撮影位置推定処理を行うことが可能となる。

【0058】

（第２実施形態）
第２実施形態に係る撮影処理システム１は、撮影処理装置２の進路方向における障害物を更に検知可能である点で、第１実施形態の変形例１に係る撮影処理装置２と相違する。以下では、第１実施形態の変形例１に係る撮影処理装置２と相違する点を説明する。

【0059】

図１５は、第２実施形態に係る撮影処理装置２の構成を示すブロック図である。図１５に示すように、第２実施形態に係る撮影処理装置２は、障害物検知部３１４を更に備えて構成される。

【0060】

図１６は、撮影処理装置２が撮影推定位置Ｚ１４に位置する場合の進行方向Ｌ１４と障害物Ｂ１６を模式的に示す図である。図１６に示すように、障害物検知部３１４は、現在の撮影推定位置Ｚ１４からの進行方向Ｌ１４を推定し、撮影方向に障害物Ｂ１６がある場合に、障害物Ｂ１６ありと検知する。

【0061】

より具体的には、障害物検知部３１４は、現在の撮影推定位置Ｚ１４及び現在の撮像時間に基づき、撮影位置記録部２０４から現在の撮像時間の直前の撮影位置Ｚ１３を含む撮影推定位置を取得する。次に、障害物検知部３１４は、例えば影推定位置Ｚ１４と直前の撮影位置Ｚ１３との座標の差分を用いて進行方向Ｌ１４を推定する。続けて、障害物検知部３１４は、影推定位置Ｚ１４から進行方向Ｌ１４の所定範囲、例えば１０メートル以内且つ撮影処理装置２の鉛直方向の高さ以内に、予め登録されている発電プラント建屋内の特徴点の３次元座標点（図７参照）が存在するか否かを判定する。障害物検知部３１４は、特徴点の３次元座標点（図７参照）が存在すると判定する場合に、障害物Ｂ１６があると検知する。そして、障害物検知部３１４は、制御部３１２を介して撮影処理装置２の移動方向を修正方向Ｌ１６へ変更させる又は停止させる。また、障害物検知部３１４は、進行方向Ｌ１４、修正方向Ｌ１６及び障害物Ｂ１６の座標を、通信部２５を介して監視装置４に送信する。監視装置４は、進行方向Ｌ１４、修正方向Ｌ１６及び障害物Ｂ１６の情報を表示装置４１０に地図情報とともに表示させる。これにより、観察者は、撮影処理装置２の進行環境をより容易に観察可能となる。

【0062】

以上説明したように、本実施形態によれば、障害物検知部３１４が、現在の撮影推定位置Ｚ１４からの進行方向Ｌ１４を推定し、撮影方向Ｌ１４に障害物Ｂ１６がある場合に、障害物Ｂ１６ありと検知することとした。これにより、撮影処理装置２が障害物Ｂ１６と接触する前に、障害物Ｂ１６の回避制御を行うことが可能となる。

【0063】

（第３実施形態）
第３実施形態に係る撮影処理システム１は、前、後、左、右、上、下の各要素画像を用いて３次元画像の再構成が可能である点で、第２実施形態に係る撮影処理システム１と相違する。以下では、第２実施形態に係る撮影処理システム１と相違する点を説明する。

【0064】

図１７は、第３実施形態に係る撮影処理装置２の構成を示すブロック図である。図１７に示すように、第３実施形態に係る撮影処理装置２は、３次元画像処理部３１６を更に備えて構成される。

【0065】

３次元画像処理部３１６は、特徴点生成部３０４で抽出した特徴点の３次元座標を生成し、特徴点が三次元に分布する３次元画像として再構成する。図１８は、３次元画像処理部３１６の詳細なブロック図である。図１８に示すように、３次元画像処理部３１６は、小領域比較部３１６ａ、３次元座標生成部３１６ｂ、３次元画像再構成処理部３１６ｃ、３次元差分処理部３１６ｄ、映像処理部３１６ｅ、及び３次元密度演算部３１６ｆを有する。

【0066】

図１９は、小領域比較部３１６ａの処理例を模式的に示す図である。図１９に示すよう、異なる時点での推定撮影位置ｇ０Ｌ、ｇ０Ｒの前画像７０２ｑ、７０４ｑを示している。小領域比較部３１６ａは、前画像７０２ｑを複数の小画像領域８０ＳＬに分割する。図１９では、小画像領域８０ＳＬは２つしか示していないが、小領域比較部３１６ａは、前画像７０２ｑを複数の小画像領域８０ＳＬをマトリクス状に分割する。次に、小領域比較部３１６ａは、前画像７０４ｑの複数の小画像領域８０ＳＬそれぞれに対して、最も相関値が高い複数の小画像領域８０ＲＬを抽出する。例えば、領域８０Ｓを推定撮影位置ｇ０Ｌから撮像した小画像領域８０ＳＬは、領域８０Ｄを推定撮影位置ｇ０Ｒから撮像した小画像領域８０ＳＲと最も相関値が高くなる。換言すると、小画像領域８０ＳＬに対して相関値が高い小画像領域８０ＳＲを抽出すると、同じ領域８０Ｓを撮像している蓋然性が高くなる。このように、小領域比較部３１６ａは、前画像７０２ｑを複数の小画像領域８０ＳＬに分割し、対応する前画像７０４ｑのなかから相関の高い小画像領域８０ＳＲを選択する。

【0067】

図２０は、３次元座標生成部３１６ｂの処理例を模式的に示す図である。図２０に示すよう、３次元座標生成部３１６ｂは、小領域比較部３１６ａが抽出した相関の高い小画像領域８０ＳＬ、及び小画像領域８０ＳＲの中から、対応する特徴点８２Ｌ、８２Ｒを求め、特徴点８２Ｌ、８２Ｒと推定撮影位置ｇ０Ｌ、ｇ０Ｒとをそれぞれ結ぶ投影線Ｌ８２Ｌ，Ｌ８２Ｒの交点を特徴点８２Ｌ、８２Ｒの３次元座標として、特徴点記録部２００に記録する。なお、前画像７０２ｑを例にして説明したが、小領域比較部３１６ａ、及び３次元座標生成部３１６ｂは、各要素画像Ｇ４０２に対して同様の処理を行う。また、３次元座標生成部３１６ｂは、特徴点記録部２００に特徴点８２Ｌ、８２Ｒの３次元座標を追加する。これにより、特徴点図Ｇ６００（図７参照）の中の特徴点を増加させることが可能となる。

【0068】

このような処理を推定撮影位置ｇ０Ｌ毎に繰り返すことにより、撮影処理装置２の撮像毎に得られた各要素画像Ｇ４０２に基づく特徴点の３次元座標が新たに生成される。

【0069】

図２１は、３次元画像再構成処理部３１６ｃの生成するボクセルデータ２１０Ｖの例を示す図である。３次元画像再構成処理部３１６ｃは、特徴点記録部２００に記録される特徴点８２Ｌ、８２Ｒの３次元座標を用いて３次元ボクセルデータ２１０Ｖを生成する。３次元画像再構成処理部３１６ｃは、特徴点８２Ｌ、８２Ｒの３次元座標に対応するボクセルに所定値、例えば５００を割振る。

【0070】

図２２は、３次元画像再構成処理部３１６ｃの生成するボクセルデータ２１０ａ，ｂと、３次元差分処理部３１６ｄ差分による処理結果であるボクセルデータ２１０ｃの例を示す図である。図２２に示すように、ボクセルデータ２１０ａは、２０１８年４月の期間に生成された特徴点８２Ｌ、８２Ｒの３次元再構成画像であり、ボクセルデータ２１０ｂは、２０１８年９月の期間に生成された特徴点８２Ｌ、８２Ｒの３次元再構成画像である。このように、３次元画像再構成処理部３１６ｃは、使用する特徴点８２Ｌ、８２Ｒの生成期間を制限することが可能である。

【0071】

図２２に示すように、３次元差分処理部３１６ｄは、ボクセルデータ２１０ａとボクセルデータ２１０ｂとの差分を生成する処理を行う。ボクセルデータ２１０ｃは、次元差分処理部３１６ｄの処理結果であり、ボクセルデータ２１０ａとボクセルデータ２１０ｂとの差分を示す。四角の領域は、２０１８年４月の期間にはなかったが、２０１８年９月の期間には発生した特徴点の３次元領域を示す。一方で、丸の領域は、２０１８年４月の期間にはあったが、２０１８年９月の期間にはなくなった特徴点の３次元領域を示す。このように、３次元差分処理部３１６ｄは、異なる期間間での差分処理を行い、新たに発生したボクセルデータ２１０ｃには第１の所定値、例えば１０００を割振り、消失したボクセルデータ２１０ｃには第２の所定値、例えば１５００を割振る。

【0072】

映像処理部３１６ｅは、３次元差分処理部３１６ｄの処理結果を映像情報に変換する。例えば、映像処理部３１６ｅは、ボクセルデータ２１０ｃ、ボクセルデータ２１０ａ、ボクセルデータ２１０ｂを関連付けて図２２に示すような映像情報を生成する。そして、処理後の映像情報を、ボクセルデータ２１０ｃ、ボクセルデータ２１０ａ、及びボクセルデータ２１０ｂと関連付けて監視装置４に送信する。これにより、監視装置４では、例えば図２２に示す画像を表示装置４１０に表示可能となる。このため、監視者は、発電プラントなどの屋内における異常検知をより簡易に行うことが可能となる。

【0073】

図２３は、３次元差分処理部３１６ｄの生成した差分情報を各要素画像に再投影した例を示す図である。四角の領域は、２０１８年４月の期間にはなかったが、２０１８年９月の期間には発生した特徴点の２次元領域を示す。一方で、丸の領域は、２０１８年４月の期間にはあったが、２０１８年９月の期間にはなくなった特徴点の２次元領域を示す。

【0074】

図２３に示すように、映像処理部３１６ｅは、新たに発生した又は消失したボクセルデータ２１０ｃの３次元座標を各要素画像上の２次元座標に変換し、例えば所定の形状又は色で示す。映像処理部３１６ｅは、例えば、新たに発生した特徴点に対対応する領域を四角形で示す。或いは、映像処理部３１６ｅは、例えば、新たに発生した特徴点に対対応する領域を緑色で示してもよい。同様に、映像処理部３１６ｅは、例えば、消失した特徴点に対対応する領域を丸で示す。或いは、映像処理部３１６ｅは、例えば、消失した特徴点に対対応する領域を赤色で示してもよい。これにより、監視者は、発電プラントなどの屋内における機材の配置の変化など現場状況の変化を各要素画像により簡易に行うことが可能となる。

【0075】

３次元密度演算部３１６ｆは、ボクセルデータ２１０ａとボクセルデータ２１０ｂとのノイズ低減処理を行うことが可能である。３次元差分処理部３１６ｄは、３次元密度演算部３１６ｅによりノイズ低減されたボクセルデータ２１０ａとボクセルデータ２１０ｂとの差分処理を行うことが可能である。より具体的には、３次元密度演算部３１６ｆは、ボクセルデータ２１０ａとボクセルデータ２１０ｂとに対して、所定範囲毎の３次元特徴点の密度を演算する。そして、３次元差分処理部３１６ｄは、３次元密度演算部３１６ｆが演算した密度に所定値以上の差がある場合に、新たに発生したボクセルデータ２１０ｃには第１の所定値を割振り、消失したボクセルデータ２１０ｃには第２の所定値を割振る。これにより、ノイズの影響を抑制できる。

【0076】

以上説明したように、本実施形態によれば、３次元画像再構成処理部３１６ｃが期間別の特徴点のボクセルデータ２１０ａ、２１０ｂを生成する。そして、３次元差分処理部３１６ｄは、異なる期間間でのボクセルデータ２１０ａ、２１０ｂの差分処理を行い、新たに発生したボクセルデータ２１０ｃには第１の所定値を割振り、消失したボクセルデータ２１０ｃには第２の所定値を割振る。これにより、所定の期間内に生成した領域と、消失した領域を３次元的に把握可能となる。このため、監視者は、発電プラントなどの屋内における機材の配置の変化など現場状況の変化をより簡易に行うことが可能となる。

【0077】

（第４実施形態）
第４実施形態に係る撮影処理システム１は、前、後、左、右、上、下の各要素画像を用いて、所定の期間内に生成した領域と、消失した領域を２次元の画像情報として生成し、生成した領域と、消失した領域とを３次元座標に変換可能である点で、第４実施形態に係る撮影処理システム１と相違する。以下では、第４実施形態に係る撮影処理システム１と相違する点を説明する。

【0078】

図２４は、第４実施形態に係る撮影処理装置２の構成を示すブロック図である。図２４に示すように、第４実施形態に係る撮影処理装置２は、２次元画像処理部３１８を更に備えて構成される。

【0079】

２次元画像処理部３１８は、前、後、左、右、上、下の各要素画像を用いて、所定の期間内に生成した領域と、消失した領域を２次元の画像情報として生成する。図２５は、２次元画像処理部３１８の詳細なブロック図である。図２５に示すように、２次元画像処理部３１８は、撮影位置比較部３１８ａ、補正画像生成部３１８ｂ、及び差分画像表示処理部３１８ｃを有する。

【0080】

撮影位置比較部３１８ａは、撮影位置推定部３０８により推定された撮影推定位置を比較する。より具体的には、現在の撮影推定位置と、撮影位置記録部２０４に記録される過去の所定期間内の撮影推定位置を比較し、現在の撮影推定位置に最も近接する過去の所定期間内の撮影推定位置を抽出する。

【0081】

補正画像生成部３１８ｂは、現在の撮影推定位置と、過去の所定期間内の撮影推定位置とに基づいて、映像記録部２０２に記録される各要素画像が重なるようにアフィン変換を行う。そして、補正画像生成部３１８ｂは、アフィン変換後の各要素画像を小領域比較部３１６ａ（図１８参照）に供給する。

【0082】

小領域比較部３１６ａは、各要素画像を小領域に分割し、対応する領域の類似度を算出し、類似度が所定値より低い小領域を、新たに発生した又は消失した小領域として抽出する。そして、小領域比較部３１６ａは、類似度が所定値より低い小領域の２次元座標と、各撮影推定位置とを３次元座標生成部３１６ｂ（図１８参照）に供給する。図２０に示すように、３次元座標生成部３１６ｂは、小領域の２次元座標と、各撮影推定位置とを用いて、小領域の３次元座標を生成する。また、小領域のみを３次元座標に変換するので、処理をより高速化可能である。

【0083】

差分画像表示処理部３１８ｃは、小領域の３次元座標を例えば３次元画像、例えば特徴点図Ｇ６００（図７参照）内に重畳させ、映像記録部２０２に記録すると共に、監視装置４に送信する。これにより、監視装置４では、３次元画像とともに、変化領域を表示装置４１０に表示可能となる。このため、監視者は、発電プラントなどの屋内における異常検知をより簡易に行うことが可能となる。

【0084】

また、差分画像表示処理部３１８ｃは、図２３に示すように、新たに発生した又は消失した小領域の３次元座標を各要素画像上の２次元座標に変換し、例えば所定の形状又は色で示すことも可能である。

【0085】

以上説明したように、本実施形態によれば、撮影位置比較部３１８ａが、現在の撮影推定位置に最も近接する過去の所定期間内の撮影推定位置を抽出し、小領域比較部３１６ａが、各撮影推定位置の各要素画像を小領域に分割し、対応する領域の類似度を算出し、類似度が所定値より低い小領域を抽出する。そして、差分画像表示処理部３１８ｃが、似度が所定値より低い小領域の３次元座標を生成し、この小領域の３次元座標を例えば３次元画像内に重畳させる。これにより、３次元画像とともに、変化領域を表示装置４１０に表示可能となる。このため、監視者は、発電プラントなどの屋内における機材の配置の変化など現場状況の変化をより簡易により高速に行うことが可能となる。

【0086】

上述した実施形態で説明した撮影処理システム１の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、制御部の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ－ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク部やメモリなどの固定型の記録媒体でもよい。

【0087】

また、撮影処理システム１の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

【0088】

以上、いくつかの実施形態を説明したが、これらの実施形態は、例としてのみ提示したものであり、発明の範囲を限定することを意図したものではない。本明細書で説明した新規な部、方法及びプログラムは、その他の様々な形態で実施することができる。また、本明細書で説明した部、方法及びプログラムの形態に対し、発明の要旨を逸脱しない範囲内で、種々の省略、置換、変更を行うことができる。

【符号の説明】

【0089】

１：撮影処理システム、２：撮影処理装置、４：監視装置、３０４：特徴点生成部、３０８：撮影位置推定部、３１４：障害物検知部、３１６ｃ：３次元座標生成部、３１６ｄ：３次元差分処理部、３１８：２次元画像処理部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】