特許 7399632 撮影処理装置、及び撮影処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-08

(45)【発行日】2023-12-18

(54)【発明の名称】撮影処理装置、及び撮影処理方法

(51)【国際特許分類】

   G01B 11/00 20060101AFI20231211BHJP

   G06T 7/00 20170101ALI20231211BHJP

   G06T 7/55 20170101ALI20231211BHJP

   G06T 7/70 20170101ALI20231211BHJP

   G01C 15/00 20060101ALI20231211BHJP

【ＦＩ】

G01B11/00 H

G06T7/00 610C

G06T7/55

G06T7/70 A

G01C15/00 104C

【請求項の数】 7

(21)【出願番号】P 2019107725

(22)【出願日】2019-06-10

(65)【公開番号】P2020201107

(43)【公開日】2020-12-17

【審査請求日】2022-01-21

【前置審査】

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(73)【特許権者】

【識別番号】317015294

【氏名又は名称】東芝エネルギーシステムズ株式会社

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100124372

【弁理士】

【氏名又は名称】山ノ井 傑

(74)【代理人】

【識別番号】100125151

【弁理士】

【氏名又は名称】新畠 弘之

(72)【発明者】

【氏名】坂本 直弥

(72)【発明者】

【氏名】相川 徹郎

(72)【発明者】

【氏名】尾崎 健司

(72)【発明者】

【氏名】佐藤 美徳

(72)【発明者】

【氏名】菱沼 朋美

【審査官】眞岩 久恵

(56)【参考文献】

【文献】特開２０１７－１８１１１４（ＪＰ，Ａ）

【文献】特開２０１５－１１１１１１（ＪＰ，Ａ）

【文献】特開２０１０－１４１５９９（ＪＰ，Ａ）

【文献】特開２０１９－０８７１１１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／５５

Ｇ０６Ｔ ７／７０

Ｇ０１Ｃ １５／００

(57)【特許請求の範囲】

【請求項1】

対象物の画像を含む第１撮影画像を撮影する撮影部と、
前記対象物の３次元位置を示す点群データを記憶する記憶部と、
前記点群データに基づき、任意の位置から前記対象物の少なくとも一部の範囲を撮影した撮影画像に対応するシミュレーション画像を生成する生成部と、
前記対象物の同一箇所が写像された少なくとも３箇所の対応位置を、前記第１撮影画像と前記シミュレーション画像との間で求める対応処理を行う対応処理部と、
前記少なくとも３箇所における前記対応位置の前記３次元位置の情報に基づき、前記第１撮影画像を撮影した際の前記撮影部の第１撮影位置を推定する撮影位置取得部と、
を備え、
前記記憶部は、前記撮影部により撮影した複数の第２撮影画像と、前記複数の第２撮影画像それぞれの第２撮影位置とを更に記憶しており、
前記複数の第２撮影画像の内で、前記推定された第１撮影位置に基づく所定範囲の撮影位置から撮影された近接撮影画像を選択し、
前記点群データを用いて前記推定した前記第１撮影位置、及び前記近接撮影画像の前記第２撮影位置と、前記記憶部に記憶された前記対象物の前記３次元位置とに基づき測定された、前記第１撮影位置から前記対象物までの第１距離と、前記近接撮影画像の前記第２撮影位置から前記対象物までの第２距離とに応じて前記第１撮影画像と前記近接撮影画像との間の縮尺が近づくように補正し、前記補正をした前記近接撮影画像と前記第１撮影画像と、の比較処理により、差分がある差分領域を変化領域として検出する検出部を、更に備える、撮影処理装置。

【請求項2】

前記検出部は、前記補正をした前記第１撮影画像と、前記近接撮影画像とを対応させ、比較処理を行うことにより前記変化領域を検出する、請求項１に記載の撮影処理装置。

【請求項3】

前記記憶部は、前記変化領域が検出されるべき実位置を示す計画位置を更に記憶しており、
前記検出部が検出した前記変化領域である差分領域の実位置を取得する実位置取得部と、
前記変化領域の実位置と、前記記憶部に記憶された前記差分領域の計画位置とを比較し、前記変化領域が計画内の事象であるか否かを判断する判断部と、
を更に備える、請求項１に記載の撮影処理装置。

【請求項4】

前記記憶部は、複数の機器の３次元形状を示す点群データと、機器の種類とを更に記憶しており、
前記変化領域の画像または３次元データと、前記複数の機器の点群データに基づき生成した前記複数の機器のシミュレーション画像または３次元データと、を比較して、前記変化領域に配置された機器を認識する機器認識部と、
前記変化領域に配置された機器と、前記記憶部に記憶された前記変化領域に配置されるべき機器とを比較し、前記変化領域に配置された機器が計画内の機器であるか否かを判断する判断部と、
を更に備える、請求項１に記載の撮影処理装置。

【請求項5】

前記撮影部が全方位を撮影する機能を備える、請求項１に記載の撮影処理装置。

【請求項6】

前記撮影部が出力する前記第１撮影画像の撮影範囲を重複させながら前記撮影部を移動させる、請求項１記載の撮影処理装置。

【請求項7】

前記第１撮影位置及び前記第２撮影位置と、前記記憶部に記憶された対象物の３次元位置とに基づき、前記第１撮影位置から前記対象物までの第１距離と、前記第２撮影位置から前記対象物までの第２距離とを測定する距離測定部と、
前記第１距離と、前記第２距離に応じて前記第１撮影画像と前記近接撮影画像との間の縮尺を補正する画像補正部と、
を更に備え、
前記検出部は、前記補正をした前記第１撮影画像と前記近接撮影画像との差分処理を行う、請求項２に記載の撮影処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、撮影処理装置、及び撮影処理方法に関する。

【背景技術】

【0002】

発電プラントでは、プラントを安全に運転するために、膨大な機器の保守点検を定期的に点検員が巡視点検している。また点検員は、巡視中に機器異常なども合わせて目視で確認している。従来の保守点検は、一般に現場で点検員が確認した結果を手書き記録し、事務所で点検記録を作成すことなどが行われる。このように、人手による作業が多く、作業の省力化を図る取り組みが行われている。このような省力化を図る取り組みの多くは、モバイル端末を利用するサービスである。例えば点検員へ点検要領書を提示すると共に、点検員が目視確認したメータなどの数値をモバイル端末に入力することにより、手書き作業を除外し、点検結果をデジタル化するものである。

【0003】

また、機器異常などの記録とし、巡視中の点検員が持ったカメラの映像をドライブレコーダーのように記録して、後日、必要に応じて映像を確認できるシステムの検討も進められている。映像を確認する際、記録された映像が長時間であるため、撮影位置を特定した映像の確認や異常の可能性がある映像のみを確認することが望まれる。

【0004】

しかし、位置測位方法として屋外であればＧＰＳの利用が一般的であるが、発電プラントなどの屋内では電波が届かないためＧＰＳの利用が難しいため、撮影位置の特定がより難しくなる。また、異常検知としては、撮影日の異なる過去の映像と比較する方法が考えられるが、同じ撮影位置の映像を比較する必要があり、撮影位置が不明な場合には適用が困難となってしまう。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１９－０４５１６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明が解決しようとする課題は、撮影画像を撮影した撮影位置を取得可能な撮影処理装置及び撮影処理方法を提供することである。

【課題を解決するための手段】

【0007】

本実施形態に係る撮影処理装置は、撮影部と、記憶部と、生成部と、対応処理部と、撮影位置取得部と、を備える。撮影部は、対象物の画像を含む第１撮影画像を撮影する。記憶部は、対象物の３次元位置を示す点群データを記憶する。生成部は、点群データに基づき、任意の位置から対象物の少なくとも一部の範囲を撮影した撮影画像に対応するシミュレーション画像を生成する。対応処理部は、対象物の同一箇所が写像された少なくとも３箇所の対応位置を、第１撮影画像とシミュレーション画像との間で求める対応処理を行う。撮影位置取得部は、少なくとも３箇所における対応位置の３次元位置の情報に基づき、第１撮影画像を撮影した際の撮影部の第１撮影位置を取得する。

【発明の効果】

【0008】

本実施形態によれば、撮影画像を撮影した撮影位置を取得することができる。

【図面の簡単な説明】

【0009】

【図1】撮影処理装置の構成を示すブロック図。

【図2】第１撮影画像の例を示す説明図。

【図3】画像比較部が抽出する特徴的な箇所の例を示す図。

【図4】画像差分検出部による差分処理の一例を示す図。

【図5】撮影処理装置の処理例を示すフローチャート。

【図6】第２実施形態に係る撮影処理装置の構成を示すブロック図。

【図7】ボクセルを３次元的に配列した評価空間例を示す図。

【図8】第２実施形態に係る撮影処理装置の処理例を示すフローチャート。

【図9】第３実施形態に係る撮影処理装置の構成を示すブロック図。

【図10】発電プラント内の対象物などの配置を示す図。

【図11】発電プラント内の差分領域の計画位置を示す図。

【図12】発電プラント内の計画外差分位置と計画内差分位置とを示す図。

【図13】第３実施形態に係る撮影処理装置の処理例を示すフローチャート。

【図14】第４実施形態に係る撮影処理装置の構成を示すブロック図。

【図15】差分領域内の画像とシミュレーション画像を示す図

【図16】第４実施形態に係る撮影処理装置の処理例を示すフローチャート。

【図17】第５実施形態に係る撮影処理装置の構成を示すブロック図。

【図18】第１撮影画像と第２撮影画像とを示す図。

【図19】画像補正部の処理例を示すフローチャート。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態に係る撮影処理装置、及び撮影処理方法について、図面を参照しながら詳細に説明する。なお、以下に示す実施形態は、本発明の実施形態の一例であって、本発明はこれらの実施形態に限定して解釈されるものではない。また、本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号を付し、その繰り返しの説明は省略する場合がある。また、図面の寸法比率は説明の都合上実際の比率とは異なる場合や、構成の一部が図面から省略される場合がある。
（第１実施形態）

【0011】

以下、本発明に係わる実施の形態について、図面を参照して説明する。
図１は、第１実施形態に係る撮影処理装置１の構成を示すブロック図である。
図１に示すように、撮影処理装置１は、撮影位置を特定することが可能であり、
撮影部１０１と、記憶部１０２と、シミュレーション画像作成部１０３と、画像比較部１０４と、撮影位置推定部１０５と、画像差分検出部１０６とを備えて構成される。

【0012】

撮影部１０１は、例えばデジタルカメラであり、デジタルの第１撮影画像を撮影する。より具体的には、この撮影部１０１は、発電プラントの屋内における対象物の画像を含む第１撮影画像を撮影する。また、撮影部１０１は、例えば、駆動機構を備えた移動部に設定され、この移動部の移動に応じて自動的に第１撮影画像を撮影する。さらにまた、撮影部１０１は、第１撮影画像を画像比較部１０４に供給する。

【0013】

図２は、第１撮影画像の例を示す説明図である。図２に示すように、撮影部１０１は、発電プラント建屋内などの現場の状況を撮影し第１撮影画像２００ａ、ｂを出力する。また移動部は、撮影部１０１が出力する撮影画像２００の撮影範囲を第１撮影画像２００ａと第１撮影画像２００ｂのように重複させながら撮影部１０１を移動させる。なお、撮影部１０１には、全方位を撮影する機能を備えた全方位カメラを用いてもよい。この場合、一度に広い範囲を撮影可能となる。これにより、対象物に対して撮影部１０１を走査する機能などが移動部に不要となり、移動部の機構の簡略化や撮影時間の短縮化が可能となる。

【0014】

記憶部１０２は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク等により実現される。この記憶部１０２は、３Ｄデータ記録部１０２ａと、映像記録部１０２ｂとを有する。３Ｄデータ記録部１０２ａは、対象物の３次元位置を示す点群データを記録する。より詳細には、３Ｄデータ記録部１０２ａには、例えば３Ｄレーザスキャナなどで計測した発電プラントの各構造物の形状と３次元位置を示す点群データが記録される。映像記録部１０２ｂには、撮影部１０１により撮影された第２撮影画像と第２撮影位置が記録される。

【0015】

シミュレーション画像作成部１０３は、３Ｄデータ記録部１０２ａに記録される対象物の３次元位置を示す点群データに基づき、対象物の少なくとも一部の範囲を含むシミュレーション画像を生成する。例えば、シミュレーション画像作成部１０３は、撮影部１０１と同じ画角により、任意位置から撮影される領域を計算する。そして、このシミュレーション画像作成部１０３は、この領域内に対応する３Ｄデータ記録部１０２ａに記録される点群データに基づき、シミュレーション画像を生成する。より具体的には、シミュレーション画像作成部１０３は、撮影部１０１により撮影された第１撮影画像と同じ解像度のシミュレーション画像を作成し、シミュレーション画像の各画素に対応する点群データに付加されたレーザの反射強度をシミュレーション画像の輝度として各画素に設定する。

【0016】

また、シミュレーション画像作成部１０３は、各点群データ間の死角情報を反映する処理を行う。例えば、シミュレーション画像の各画素に対応する点群データを求める場合に、点群データには任意視点からの死角情報がないため、１画素に対して複数の点群データが求まる場合がある。この場合に、シミュレーション画像作成部１０３は、求めた各点群データと任意視点との距離を計算し、任意視点に最も至近の点群データを選択することにより、選択されなかった各点群データに死角情報を反映する。すなわち、選択されなかった各点群データに、死角情報であることを示すフラグを設定する。さらにまた、シミュレーション画像作成部１０３は、画像の輝度が設定されていない画素が存在する場合には、輝度が設定された周辺画素の平均値を輝度として、その画素に設定する。

【0017】

また、シミュレーション画像は、撮影部１０１で撮影した領域の一部分を含むように生成する必要がある。このため、操作者が任意視点の位置を調整しても良い。或いは、後述する撮影位置推定部１０５により推定された撮影部１０１の直前の撮影位置を利用しても良い。なお、本実施形態では、シミュレーション画像の輝度に点群データに付加されたレーザの反射強度を設定したが、これに限定されない。例えば、任意視点と点群データ間の距離を画素に設定する方法でも良い。また、本実施形態に係るシミュレーション画像作成部１０３が生成部に対応する。

【0018】

画像比較部１０４は、対象物の同一箇所が写像された対応位置を第１撮影画像とシミュレーション画像間で求める。例えば、画像比較部１０４は、撮影部１０１で撮影された第１撮影画像とシミュレーション画像作成部１０３で作成したシミュレーション画像を比較し、対象物の同一箇所が写像された対応位置を画像間で求める。

【0019】

シミュレーション画像の輝度にレーザの反射光度を設定した場合でも、レーザを照射する３Ｄレーザスキャナの位置と、撮影部１０１で撮影する際の照明の位置が異なるなどの要因により、第１撮影画像とシミュレーション画像とでは構造物の陰や濃淡が異なる場合がある。そこで、画像比較部１０４では、周辺画素との輝度差を利用し、撮影画像とシミュレーション画像のそれぞれで構造物のエッジを検出する。

【0020】

図３は、画像比較部１０４が抽出する特徴的な箇所の例を示す図である。図３に示すように、画像比較部１０４は、構造物のエッジを検出する。これにより、撮影画像とシミュレーション画像で濃淡が異なる場合でも、第１撮影画像とシミュレーション画像間で同一の構造物が認識し易くなる。また、シミュレーション画像に任意視点と各点群データ間の距離を設定した場合においても、周辺画素との輝度差は周辺との距離差となるため、同様の方法にて構造物のエッジを検出することができる。

【0021】

より詳細には、画像比較部１０４は、撮影画像とシミュレーション画像のそれぞれでエッジの端点や交点などの特徴的な箇所３００を抽出し、抽出箇所３００を中心とする矩形ブロック３０１を設定する。次に、画像比較部１０４は、撮影画像とシミュレーション画像のぞれぞれで設定した複数の矩形ブロック間に対し、矩形ブロック内の画像特性が類似する矩形ブロック３０１を対応付ける。例えば、画像比較部１０４は、輝度差を用いた方法や輝度の相関を用いた方法などにより、矩形ブロック内の画像特性が類似する矩形ブロック３０１同士を対応付ける。なお、本実施形態に係る画像比較部１０４が対応処理部に対応する。

【0022】

撮影位置推定部１０５は、画像比較部１０４が対応させた矩形ブロック３０１の３次元位置情報に基づき、撮影部１０１の第１撮影位置を取得する。より詳細には、撮影位置推定部１０５は、画像比較部１０４が対応させた矩形ブロック３０１の３次元位置の情報を３Ｄデータ記録部１０４の点群データを参照し、取得する。そして、撮影位置推定部１０５は、３点以上の撮影画像上の位置と、その点の実空間における３次元位置との幾何学的な関係に基づき、撮影位置を計算する。また、３点で１箇所の撮影位置が計算できるため、４点以上あると２箇所以上の撮影位置が計算できる。このため、撮影位置推定部１０５は、複数の撮影位置が計算できる場合には、計算した複数の撮影位置の平均や、計算した撮影位置の密集度により最終的な撮影位置を決定する。また、撮影位置推定部１０５は、取得した撮影部１０１の第１撮影位置と、対応する第１撮影画像を関連付け、映像記録部１０２ｂに第２撮影画像及び第２撮影位置として記録する。なお、本実施形態に係る撮影位置推定部１０５が撮影位置取得部に対応する。

【0023】

図４は、画像差分検出部１０６による差分処理の一例を示す図である。左上図が第１撮影画像４００を示す図であり、右上図が過去画像、すなわち第２撮影画像４０１を示す図であり、下図が差分領域４０２を示す図である。図４に示すように、画像差分検出部１０６は、撮影部１０１により撮影された第１撮影画像４００と、撮影位置推定部１０５により取得された撮影部１０１の位置から所定範囲の撮影位置から撮影された第２撮影画像４０１とを用いて、変化領域である差分領域４０２を検出する。なお、本実施形態に係る画像差分検出部１０６が検出部に対応する。

【0024】

より詳細には、画像差分検出部１０６は、映像記録部１０２ｂに記憶される複数の第２撮影画像の内で、撮影位置推定部１０５より取得された第１撮影位置から所定範囲の撮影位置から撮影された第２撮影画像を映像記録部１０２ｂから取得する。例えば、画像差分検出部１０６は、撮影位置推定部１０５より取得された撮影位置に最も近い位置で撮影された第２撮影画像を映像記録部１０２ｂから検索し取り出す。

【0025】

次に、画像差分検出部１０６は、第１撮影画像４００と第２撮影画像４０１の撮影位置がずれている場合、対象物の写像位置が第１撮影画像４００と第２撮影画像４０１とでずれるため、第１撮影画像４００と第２撮影画像４０１との位置合わせを行う。例えば、画像差分検出部１０６は、画像の位置合わせ処理として、例えば第１撮影画像４００と第２撮影画像４０１との重ね合わせ位置を順次ずらしていき、重複領域の輝度差が最も小さくなる位置を求める方法や、第１撮影画像４００と第２撮影画像４０１とのぞれぞれで特徴点を検出し、特徴点の対応位置から射影変換行列を求める方法などを用いる。これにより第１撮影画像４００と第２撮影画像４０１とのずれを補正し重ね合わせることが可能となる。そして、画像差分検出部１０６は、第１撮影画像４００と第２撮影画像４０１との比較処理により、差分がある差分領域を変化領域として検出する。すなわち、この変化領域が異常の可能性がある領域となる。

【0026】

以上が本実施形態に係る撮影処理装置１の構成の説明であるが、以下に撮影処理装置１の処理例を説明する。

【0027】

図５は、撮影処理装置１の処理例を示すフローチャートである。先ず、撮影部１０１は、図示していない移動部にて移動しながら対象物となる建屋内などの現場の状況を撮影し、対象物の画像を含む第１撮影画像４００（図４）を出力する（ステップＳ１００）。

【0028】

次に、シミュレーション画像作成部１０３は、３Ｄデータ記録部１０２ａに記録される点群データを用いて、撮影部１０１と同じ画角により、任意視点から撮影したシミュレーション画像を作成する（ステップＳ１０２）。続けて、シミュレーション画像作成部１０３は、第１撮影画像４００と同じ解像度のシミュレーション画像に対して、画像の各画素に対応する点群データを求め、点群データに付加されたレーザの反射強度を画像の輝度として画素に設定する。

【0029】

次に、画像比較部１０４は、撮影部１０１の第１撮影画像４００とシミュレーション画像作成部１０３で作成したシミュレーション画像との画像比較を行う（ステップＳ１０４）。これにより、第１撮影画像４００とシミュレーション画像のぞれぞれで設定した複数の矩形ブロック３０１（図３）間の対応を求める。

【0030】

次に、測定位置推定部１０５は、対応付けられた３点以上の矩形ブロック３０１の実空間における３次元位置と、第１撮影画像４００の対応付けられた３点以上の矩形ブロック３０１との幾何学的な関係に基づいて、第１撮影画像４００の撮影位置を推定する（ステップＳ１０６）。

【0031】

次に、画像差分検出部１０６は、撮影位置推定部１０５で求めた撮影位置に最も近い位置で過去に撮影された第２撮影画像４０１を映像記録部１０２ｂから取り出し、第１撮影画像４００と第２撮影画像４０１とを比較し、変化領域である差分領域４０２（図４）を検出する（ステップＳ１０８）。

【0032】

以上説明したように、本実施形態によれば、シミュレーション画像作成部１０３が対象物の３次元位置を示す点群データに基づくシミュレーション画像を生成し、画像比較部１０４が対象物の同一箇所が写像された少なくとも３箇所の対応位置を、第１撮影画像とシミュレーション画像との間で求める。これにより、対応付けられた３箇所の実空間における３次元位置と、第１撮影画像の対応付けられた３箇所の位置との、幾何学的な関係に基づいて、第１撮影画像の撮影位置を求めることが可能となる。また、第１撮影画像の撮影位置に基づき、撮影位置が近い第２撮影画像（過去画像）を検索することが可能となり、第１撮影画像と撮影位置が近い第２撮影画像と画像比較を行うことにより、差分がある変化領域をより適切に検出することができる。

【0033】

（第２実施形態）
第２実施形態に係る撮影処理装置１は、撮影位置の異なる複数の第１撮影画像を用いて算出した対象物の３次元位置と、３Ｄデータ記録部１０２ａに記録された対象物の３次元位置とを比較し、差分を検出する機能を更に備える点で、第１実施形態に係る撮影処理装置１と相違する。以下では、第１実施形態に係る撮影処理装置１と相違する点に関して説明する。

【0034】

図６は、第２実施形態に係る撮影処理装置１の構成を示すブロック図である。図６に示すように、第２実施形態に係る撮影処理装置１は、距離測定部６００と位置差分検出部６０１とを更に備える点で第１実施形態に係る撮影処理装置１と相違する。

【0035】

距離測定部６００は、対象物を撮影した複数の第１撮影画像と、撮影位置推定部１０５で計算したこれら複数の第１撮影画像を撮影した際の複数の撮影位置を用いて、対象物までの距離を計算すると共に対象物の３次元位置を算出し、全画素の３次元位置を示す点群データを求める。より具体的には、距離測定部６００は、例えば図２に示すように、撮影範囲を重複させて撮影した第１撮影画像２００ａ、ｂを画像処理により比較し、画像間で同一箇所が写像された位置の対応を求める。例えば、第１撮影画像２００ａの注目画素を中央とした矩形ブロックを定義し、輝度差を用いた方法や輝度の相関を用いた方法などにより、第１撮影画像２００ａの矩形ブロックと第１撮影画像２００ｂのブロックマッチング処理を行い、最も矩形ブロックに類似した対応位置を計算する。このような処理を第１撮影画像２００ａの全画素で実行し、第１撮影画像２００ａと第１撮影画像２００ｂとの対応位置を計算する。次に、距離測定部６００は、撮影位置推定部１０５で計算した第１撮影画像２００ａと第１撮影画像２００ｂの各撮影位置と画像間の対応位置から３角測量の原理により撮影位置と対象物までの距離を計算すると共に対象物の３次元位置を計算し、全画素の３次元位置を示す点群データを求める。なお、本実施形態では、２枚の第１撮影画像を使用した場合を例に説明したが、これに限定されない。例えば、３枚以上の第１撮影画像を使用して測定することも同様に可能である。なお、本実施形態に係る距離測定部６００が３次元情報生成部に対応する。

【0036】

位置差分検出部５０１は、距離測定部６００により算出された対象物の３次元位置と、３Ｄデータ記録部１０ａに記録された対象物の３次元位置とを比較し、差分を検出する。

【0037】

図７は、ボクセル６０２を３次元的に配列した評価空間例を示す図であり、図７に基づき、位置差分検出部５０１の詳細な処理例を説明する。図７に示すように、位置差分検出部５０１は、３次元空間上に一定サイズのボクセル６０２を３次元的に配列した評価空間を有し、距離測定部で計算した対象物の点群データを評価空間に配置する。次に、位置差分検出部５０１は、ボクセル６０２毎にボクセル中のデータ数を求め、データ数がしきい値以上の場合に対象物体が存在すると判断する。

【0038】

同様に、位置差分検出部５０１は、３Ｄデータ記録部１０４に記録されている対象物の点群データについても、評価空間に配置し、ボクセル中のデータ数がしきい値以上の場合に物体が存在すると判断する。そして、位置差分検出部５０１は、距離測定部で計算したデータから物体が存在すると判断したボクセルと、３Ｄデータ記録部１０４のデータから物体が存在すると判断したボクセルを比較することにより、３次元空間上での位置差分を検出する。

【0039】

本実施形態に係る画像差分検出部１０６は、第１実施形態と同様の処理を行う第１モードと、位置差分検出部５０１で検出した差分箇所を対象に、検証用の差分検出を行う第２モードを有する。第２モードでは、画像差分検出部１０６は、位置差分検出部５０１で検出した差分箇所を対象に、検証用の差分検出を行う。画像差分検出部１０６は、位置差分検出部５０１で検出した差分箇所に、差分が検出された場合は位置差分検出部５０１で検出した位置差分の結果が正しいと判断する。一方で、画像差分検出部１０６は、位置差分検出部５０１で検出した差分箇所に差分が検出されない場合には、位置差分検出部５０１の位置差分の結果がエラーであると判断する。

【0040】

図８は、第２実施形態に係る撮影処理装置１の処理例を示すフローチャートである。図８に示すように、先ず、撮影部１０１は、移動部により移動しながら対象物を複数撮影する（ステップｓ２００）。この際に撮影部１０１は、例えば図２に示すように撮影画像の第１撮影範囲を第１撮影画像２００ａと１撮影画像２００ｂとのように重複させて撮影し、出力する。

【0041】

次に、距離測定部５００は、撮影部１０１から出力される第１撮影画像２００ａと第１撮影画像２００ｂを画像処理により比較し、画像間で同一箇所が写像された位置の対応を求める（ステップｓ２０２）。例えば、第１撮影画像２００ａの矩形ブロックと第１撮影画像２００ｂの形ブロックとのブロックマッチング処理を行い、最も矩形ブロックに類似した対応位置を計算する。続けて、距離測定部５００は、第１撮影画像２００ａの全画素でブロックマッチング処理を実行し、全画素の３次元位置を示す点群データを求める（ステップｓ２０４）。

【0042】

次に、位置差分検出部５０１は、距離測定部５００で計算した対象物の３次元位置を示す点群データと、３Ｄデータ記録部１０４に記録されている対象物の３次元位置を示す点群データを比較し、差分を検出する（ステップｓ２０６）。

【0043】

以上説明したように、本実施形態によれば、距離測定部６００は、対象物を撮影した複数の第１撮影画像と、撮影位置推定部１０５で計算したこれら複数の第１撮影画像を撮影した際の複数の撮影位置を用いて、対象物までの距離と対象物の３次元位置を計算し、全画素の３次元位置を示す点群データを求めることとした。これにより、第１画像が撮影された時点の対象物と、３Ｄデータ記録部１０４に記録された時点の対象物の差分を検出することが可能となる。このように、３次元位置を示す点群データによる差分処理により、変化領域を検出することが可能であるので、対象画像の画像輝度の変化、及び撮影位置が異なることによる対象画像の形状の相違などによる変化領域の検出精度の低下を抑制できる。

【0044】

（第３実施形態）
第３実施形態に係る撮影処理装置１は、画像差分検出部１０６が検出した変化領域である差分領域が計画内の事象であるか否かを判断する機能を更に備える点で、第２実施形態に係る撮影処理装置１と相違する。以下では、第２実施形態に係る撮影処理装置１と相違する点に関して説明する。

【0045】

図９は、第３実施形態に係る撮影処理装置１の構成を示すブロック図である。図９に示すように、第３実施形態に係る撮影処理装置１は、計画データベース１０２ｃと、差分位置判断部７００と、確認部７０１とを更に備える点で第２実施形態に係る撮影処理装置１と相違する。

【0046】

記憶部１０２の計画データベース１０２ｃは、対象物の移動位置、及び追加設置の位置などの情報を記録する。すなわち、計画データベース１０２ｃは、画像差分検出部１０６の差分領域、すなわち変化領域が検出されるべき実位置を示す計画位置を記録する。

【0047】

差分位置判断部７００は、画像差分検出部１０６が検出した変化領域である差分領域の実位置を取得する。ここで、実位置とは、例えば実空間の座標系Ｘ、Ｙ、Ｚでの座標位置を意味する。なお、本実施形態に係る差分位置判断部７００が実位置取得部に対応する。

【0048】

図１０は、発電プラント内の対象物などの配置を示す図であり、図１０に基づき、差分位置判断部７００の詳細な処理例を説明する。図１０は、上部から見た鳥瞰図を示しているため、高さ方向の位置は図示されていない。図１０に示すように、差分位置判断部７００は、差分領域の方位と範囲を、撮影部１０１の画角と差分が検出された画像上の位置とサイズから計算する。次に、差分位置判断部７００は、撮影位置推定部１０５で計算した撮影位置を基準にして、３Ｄデータ記録部１０２ａに記録された三次元点群データの中から差分領域の方位と範囲に入る三次元点群データを抽出することで、差分領域の実位置８０１ａ、ｂを判断する。なお、距離測定部５００で計算した対象物の３次元位置から差分を検出した範囲のデータを抽出し、同様に差分を検出した実位置を判断する方法でも良い。

【0049】

図１１は、発電プラント内の差分領域の計画位置を示す図である。図１１は、上部から見た鳥瞰図である。差分領域の計画位置９００は、計画データベース１０２ｃ内の実位置に基づく差分領域の計画位置を示している。

【0050】

図１１に示すように、確認部７０１は、差分位置判断部７００で判断した差分領域の実位置８０１ａ、ｂ（図１０）と、計画データベース１０２ｃに記録された差分領域の計画位置９００と、を比較し、差分が検出された差分領域が計画内の事象であるか否かを判断する。なお、本実施形態に係る確認部７０１が判断部に対応する。

【0051】

図１２は、発電プラント内の計画外差分位置１０００と計画内差分位置１００１とを示す図である。図１２は、上部から見た鳥瞰図である。図１２に示すように、確認部７０１は、差分領域の実位置８０１ａが差分領域の計画位置９００に対応する場合に、計画内差分位置１００１と確認する。一方で、確認部７０１は、差分領域の実位置８０１ｂが差分領域の計画位置９００に対応しない場合に、計画外差分位置１０００と確認する。より具体的には、確認部７０１は、差分領域の計画位置９００（図１１）に対して任意の範囲を設け、差分領域の実位置８０１ａ、ｂがその範囲内であるかを基に判断する。

【0052】

図１３は、第３実施形態に係る撮影処理装置１の処理例を示すフローチャートである。図１３に示すように、先ず、差分位置判断部７００は、画像差分検出装置１０６で検出された差分領域の方位と範囲を計算する（ステップＳ３００）。続いて、差分位置判断部７００は、撮影位置推定装置１０５で計算した撮影位置を基準にして、３Ｄデータ記録装置に記録された点群データから差分の方位と範囲に入る点群データを抽出し、差分領域の実位置８０１ａ，ｂを判断する（ステップＳ３０２）。

【0053】

次に、確認部７０１は、差分位置判断部７００で判断した差分領域の実位置８０１ａ，ｂと、計画データベース７０２に記録された差分領域の計画位置９００を比較する（ステップＳ３０４）。確認部７０１は、実位置８０１ａと計画位置９００が重なる場合（ステップＳ３０４のＹＥＳ）、差分領域が検出された位置が計画内と判断する。一方で、実位置８０１ａと計画位置９００が重ならない場合（ステップＳ３０４のＮＯ）、差分領域が検出された位置が計画外と判断し、全体処理終了する。

【0054】

以上説明したように、本実施形態によれば、確認部７０１が、差分位置判断部７００で判断した差分領域の実位置８０１ａ、ｂと、計画データベース１０２ｃに記録された差分領域の計画位置９００を比較し、差分が検出された差分領域が計画内の事象であるか否かを判断することとした。これにより、計画内の事象を判断し、計画内の差分領域を異常領域として抽出することを抑制できる。

【0055】

（第４実施形態）
第４実施形態に係る撮影処理装置１は、差分領域の機器の種類を認識する機能を更に備える点で、第３実施形態に係る撮影処理装置１と相違する。以下では、第３実施形態に係る撮影処理装置１と相違する点に関して説明する。

【0056】

図１４は、第４実施形態に係る撮影処理装置１の構成を示すブロック図である。図１４に示すように、第４実施形態に係る撮影処理装置１は、機器３Ｄデータベース部１０２ｄと、機器認識部１１００を更に備える点で第３実施形態に係る撮影処理装置１と相違する。

【0057】

記憶部１０２の機器３Ｄデータベース部１０２ｄは、複数の機器の３次元形状を示す点群データを記録する。

【0058】

機器認識部１１００は、画像差分検出部１０６で検出した差分領域の３次元形状又は画像と、３次元データと機器３Ｄデータベース部１０２ｄに記録された対象物の３次元形状又は画像とを比較し差分領域の機器を認識する。
図１５は、差分領域１２００内の画像とシミュレーション画像を示す図である。図１５に示すように、機器認識部１１００は、画像差分検出部１０６で検出した差分領域１２００内の差分検出画像１２０１と、機器３Ｄデータベースに記録した機器のデータとを比較し、差分領域１２００の機器の種類を認識する。

【0059】

より詳細には、機器認識部１１００は、シミュレーション画像作成部１０３と同様に、機器３Ｄデータベース部１０２ｄに記録された機器の点群データから任意の視点から見た複数のシミュレーション画像１２０２ａ～ｃを生成する。すなわち、この機器認識部１１００は、視点の異なる複数のシミュレーション画像１２０２ａ～ｃを生成し、各シミュレーション画像１２０２ａ～ｃと差分検出画像１２０１との類似度をそれぞれ計算し、類似度が高い結果を、演算対象の機器の類似度に決定する。この類似度の計算には、輝度差を用いた方法、及び輝度の相関を用いた方法のいずれかなどを用いる。そして、機器認識部１１００は、機器３Ｄデータベース部１０２ｄに記録された全ての機器について同様の計算を行い、機器毎に計算した類似度の中から最も類似度の高い機器を差分領域１２００に対する機器の種類として認識する。

【0060】

機器認識部１１００は、シミュレーション画像１２０２ａ～ｃと差分検出画像１２０１を比較する際に、画像の縮尺を変化させて類似度を計算する。或いは、距離測定部５００で計算した対象物までの距離を利用して画像の縮尺を調整しても良い。これにより、撮影位置から対象物までの距離に応じた画像上の対象物の大きさの違いに対応することができる。なお、本実施例形態では、機器３Ｄデータベース部１１０１に記録された点群データからシミュレーション画像１２０２ａ～ｃを作成し差分検出画像１２０１との類似度を計算する方法を例に説明したが、これに限定されない。例えば、距離測定部５００で計算した対象物の３次元データと、機器３Ｄデータベース部１１０１に記録した点群データを比較し、差分領域１２００の機器の種類を判断しても良い。

【0061】

本実施形態に係る確認部７０１は、機器認識部１１００で認識した機器と計画データベース部１０２ｃに記録された計画機器とが一致するか否かを確認する。すなわち、この確認部７０１は、機器認識部１１００で認識した差分領域１２００の機器の種類と、計画データベース７０２に記録された機器の種類を比較し、一致する場合に、差分領域１２００の機器が計画通りに配置されたと判断し、一致しない場合に、差分領域１２００の機器が計画通りに配置されていないと判断する。

【0062】

図１６は、第４実施形態に係る撮影処理装置１の処理例を示すフローチャートである。図１４に示すように、機器認識部１１００は、視点の異なる複数のシミュレーション画像１２０２ａ～ｃを生成する（ステップＳ４００）。続けて、機器認識部１１００は、各シミュレーション画像１２０２ａ～ｃと差分検出画像１２０１との類似度をそれぞれ計算し、類似度が高い結果を、演算対象の機器の類似度として決定する（ステップＳ４０２）。

【0063】

続けて、機器認識部１１００は、機器３Ｄデータベース部１０２ｄに記録された全ての機器について類似度を計算したか否かを判断する（ステップＳ４０４）。全ての機器について類似度を計算していない場合（ステップＳ４０４のＮＯ）、ステップＳ４００からの処理を機器３Ｄデータベース部１０２ｄに記録される機器を変更して繰り返す。一方で、全ての機器について類似度を計算した場合（ステップＳ４０４のＹＥＳ）、機器認識部１１００は、機器毎に計算した類似度の中から最も類似度の高い機器を差分領域１２００に対する機器の種類として認識する（ステップＳ４０６）。

【0064】

次に、確認部７０１は、差分領域１２００の機器の種類と、計画データベース７０２に記録された機器の種類を比較する（ステップＳ４０８）。続けて、確認部７０１は、一致する場合に、差分領域１２００の機器が計画通りに配置されたと判断し、一致しない場合に、差分領域１２００の機器が計画通りに配置されていないと判断し、全体処理を終了する。

【0065】

以上説明したように、本実施形態に係る撮影処理装置１は、機器認識部１１００が差分領域１２００の機器の種類を認識することとした。これにより、認識された機器の種類と、計画データベース７０２に記録された機器の種類を比較し、差分領域１２００の機器が計画通りに配置されたか、否かを判断することができる。

【0066】

（第５実施形態）
第５実施形態に係る撮影処理装置１は、第１撮影画像の撮影位置から対象物までの距離と、第２撮影画像の撮影位置から対象物までの距離と、に応じて撮影画像の大きさを補正する機能を更に備える点で、第４実施形態に係る撮影処理装置１と相違する。以下では、第４実施形態に係る撮影処理装置１と相違する点に関して説明する。

【0067】

図１７は、第５実施形態に係る撮影処理装置１の構成を示すブロック図である。図１７に示すように、第５実施形態に係る撮影処理装置１は、画像補正部１３００を更に備える点で第４実施形態に係る撮影処理装置１と相違する。なお、シミュレーション画像作成部１０３、画像比較部１０４、撮影位置推定部１０５、画像差分検出部１０６、距離測定部６００、位置差分検出部６０１、差分位置判断部７００、確認部７０１、機器認識部１１００、及び画像補正部１３００の各処理部は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の回路を含むハードウェアにより構成される。

【0068】

画像補正部１３００は、第１撮影画像の撮影位置から対象物までの距離と、過去の撮影画像である第２撮影画像の撮影位置から対象物までの距離と、に応じて撮影画像の大きさを補正する。より詳細には、画像補正部１３００は、撮影位置推定部１０５で推定した撮影部１０１の撮影位置と、３Ｄデータ記録部１０２ａに記録された対象物の３次元位置とを用いて、第１撮影画像の撮影時の撮影部１０１から対象物までの距離を測定する。また、画像補正部１３００は、映像記録部１０２ｂに記録された第２撮影画像の撮影位置と３３Ｄデータ記録部１０２ａに記録された対象物の３次元位置とを用いて、第２撮影画像の撮影時の撮影部１０１から撮影位置までの距離を測定する。そして、画像補正部１３００は、それぞれの距離に応じて画像間の縮尺を補正する処理を第１撮影画像、及び第２撮影画像の少なくとも一方に行う。

【0069】

図１８は、第１撮影画像１４０１と第２撮影画像１４０２を示す図である。左図が第１撮影画像１４０１を示し、右図が第２撮影画像１４０２を示す。図１８に示すように、第１撮影画像１４０１と第２撮影画像１４０２とでは、写っている対象物１４００のサイズが異なる。

【0070】

図１９は、第５実施形態に係る撮影処理装置１の処理例を示すフローチャートである。ここでは、図１８図を参照にしつつ撮影処理装置１の処理例を説明する。

【0071】

先ず、画像補正部１３００は、第１撮影画像１４０１と第２撮影画像１４０２とを比較する矩形ブロックとして、第１撮影画像１４０１に任意サイズの矩形ブロック１４０３ａを設定する（ステップＳ５００）。続けて、画像補正部１３００は、撮影部１０１の画角と対象物までの距離に基づき、対象物１４００の位置における矩形ブロック１４０３ａの実サイズを計算する。

【0072】

次に、画像補正部１３００は、第２撮影画像１４０２の撮影時の対象物１４００までの距離に基づき、第２撮影画像１４０２上での矩形ブロック１４０３ｂのサイズを計算し、第２撮影画像１４０２に矩形ブロック１４０３ｂを設定する（ステップＳ５０２）。

【0073】

次に、画像補正部１３００は、第１撮影画像１４０１の矩形ブロック１４０３ａと過去画像１４０２の矩形ブロック１４０３ｂの画素数が同じになるように第１撮影画像１４０１及び第２撮影画像１４０２の少なくともいずれかの画像サイズを補正する（ステップＳ５０４）。

【0074】

画像差分検出部１０６は、補正した第１撮影画像１４０１の矩形ブロック１４０３ａと過去画像１４０２の矩形ブロック１４０３ｂとを、輝度差を用いた方法や輝度の相関を用いた方法などにより比較し差分を検出する（ステップＳ５０６）。続けて、画像差分検出部１０６は、矩形ブロックの位置を順次ずらしながら同様の処理を行い、撮影画像１４０１全体の差分検出を行い、全体処理を終了する。なお、本実施形態では、撮影位置と３Ｄデータ記録部１０４に記録された対象物の３次元位置から対象物までの距離を測定する方法を例に説明したが、これに限定されない。例えば、距離測定部５００で計算した対象物までの距離を利用する方法でも良い。

【0075】

以上説明したように、本実施形態によれば、画像補正部１３００が第１撮影画像１４０１の撮影位置から対象物までの距離と、過去の撮影画像である第２撮影画像１４０２の撮影位置から対象物までの距離と、に応じて撮影画像の大きさを補正することとした。これにより、撮影画像１４０１と第２撮影画像１４０２とでの撮影部１０１から対象物１４００までの距離が異なる場合においても、より適切に画像間の差分を検出することが可能となる。

【0076】

上述した実施形態で説明した撮影処理装置の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、制御部および水素製造システムの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ－ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク部やメモリなどの固定型の記録媒体でもよい。

【0077】

また、撮影処理装置の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

【0078】

以上、いくつかの実施形態を説明したが、これらの実施形態は、例としてのみ提示したものであり、発明の範囲を限定することを意図したものではない。本明細書で説明した新規な部、方法及びプログラムは、その他の様々な形態で実施することができる。また、本明細書で説明した部、方法及びプログラムの形態に対し、発明の要旨を逸脱しない範囲内で、種々の省略、置換、変更を行うことができる。

【符号の説明】

【0079】

１：撮影処理装置、１０１：撮影部、１０２：記憶部、１０３：シミュレーション画像作成部、１０４：画像比較部、１０５：撮影位置推定部、１０６：画像差分検出部、５０１：位置差分検出部、６００：距離測定部、７００：差分位置判断部、７０１：確認部、１３００：画像補正部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】