特開 2023-179844 点検時撮影位置推定システムおよびそのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023179844

(43)【公開日】2023-12-20

(54)【発明の名称】点検時撮影位置推定システムおよびそのプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20231213BHJP

   G06T 7/70 20170101ALI20231213BHJP

   G08G 1/00 20060101ALI20231213BHJP

【ＦＩ】

H04N7/18 K

G06T7/70 A

G08G1/00 X

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022092692

(22)【出願日】2022-06-08

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】317015294

【氏名又は名称】東芝エネルギーシステムズ株式会社

(74)【代理人】

【識別番号】100111121

【弁理士】

【氏名又は名称】原 拓実

(74)【代理人】

【識別番号】100118474

【弁理士】

【氏名又は名称】寺脇 秀▲徳▼

(74)【代理人】

【識別番号】100141911

【弁理士】

【氏名又は名称】栗原 譲

(72)【発明者】

【氏名】坂本 直弥

(72)【発明者】

【氏名】尾崎 健司

(72)【発明者】

【氏名】三浦 崇広

(72)【発明者】

【氏名】菱沼 朋美

(72)【発明者】

【氏名】田副 佑典

(72)【発明者】

【氏名】相川 徹郎

【テーマコード（参考）】

5C054

5H181

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FC14

5C054FE13

5C054HA05

5H181AA27

5H181BB13

5H181CC04

5H181FF10

5H181FF22

5H181FF27

5H181FF32

5L096CA04

5L096FA09

5L096GA51

(57)【要約】

【課題】カメラで点検施設内を撮影するだけで、点検時の最適撮影位置を推定することが可能な点検時撮影位置推定システムを提供することである。
【解決手段】実施形態の点検時撮影位置推定システムは、点検施設内の第１特徴点と前記第１特徴点の施設内位置とを記録する特徴点記録部と、前記第１特徴点の施設内位置に基づいて、前記点検施設内を撮影した映像から抽出された第２特徴点の施設内位置を推定する特徴点比較部と、前記第２特徴点の施設内位置に基づいて前記映像を撮影した施設内位置を推定する撮影位置推定部と、前記映像中の点検対象を検出し、前記撮影した施設内位置に基づいて前記点検対象の施設内位置を推定する点検対象検出部と、前記点検対象の施設内位置と点検用カメラの仕様とに基づいて、前記点検対象の点検が可能な映像を撮影できる最適撮影位置を推定する最適撮影位置推定部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

点検施設内の第１特徴点と前記第１特徴点の施設内位置とを記録する特徴点記録部と、
前記第１特徴点の施設内位置に基づいて、前記点検施設内を撮影した映像から抽出された第２特徴点の施設内位置を推定する特徴点比較部と、
前記第２特徴点の施設内位置に基づいて前記映像を撮影した施設内位置を推定する撮影位置推定部と、
前記映像中の点検対象を検出し、前記撮影した施設内位置に基づいて前記点検対象の施設内位置を推定する点検対象検出部と、
前記点検対象の施設内位置と点検用カメラの仕様とに基づいて、前記点検対象の点検が可能な映像を撮影できる最適撮影位置を推定する最適撮影位置推定部と、
を備える点検時撮影位置推定システム。

【請求項2】

前記点検対象検出部は、前記映像の複数のフレームにおける、前記撮影した施設内位置および前記点検対象の映像内位置に基づいて、前記点検対象の施設内位置を推定する請求項１に記載の点検時撮影位置推定システム。

【請求項3】

前記最適撮影位置推定部は、前記点検対象の位置にある複数の前記第１特徴点および前記第２特徴点の少なくとも１つを含む特徴点に基づいて、前記点検対象の正面を前記最適撮影位置として推定する請求項２に記載の点検時撮影位置推定システム。

【請求項4】

前記第１特徴点および前記第２特徴点の少なくとも１つを含む特徴点の施設内位置を、事前に生成した点検施設の３次元点に基づいて補正する位置補正部をさらに備える請求項２に記載の点検時撮影位置推定システム。

【請求項5】

前記最適撮影位置の密度を評価する評価部をさらに備え、
前記最適撮影位置推定部は、前記最適撮影位置の密度が所定以上の場合には複数の前記点検対象を同時に撮影可能な最適撮影位置を推定する請求項１に記載の点検時撮影位置推定システム。

【請求項6】

前記最適撮影位置において撮影された映像から前記第２特徴点を抽出し、前記第２特徴点の密度を評価する評価部をさらに備え、
前記最適撮影位置推定部は、前記第２特徴点が所定の密度未満となるような最適撮影位置を推定する請求項１に記載の点検時撮影位置推定システム。

【請求項7】

前記最適撮影位置において撮影された映像のうち、輝度が閾値以上である領域の割合を評価する評価部をさらに備え、
前記最適撮影位置推定部は、輝度が閾値以上である領域が所定の割合未満となるような最適撮影位置を推定する請求項１に記載の点検時撮影位置推定システム。

【請求項8】

前記最適撮影位置を現場情報と重畳して表示する表示部をさらに備える請求項１から７いずれかに記載の点検時撮影位置推定システム。

【請求項9】

前記表示部は、前記点検対象のうち点検が不要な点検対象の前記最適撮影位置を削除可能な請求項８に記載の点検時撮影位置推定システム。

【請求項10】

前記現場情報に記載された点検対象の名称を前記点検対象に紐づける位置補正部をさらに備え、
前記表示部は、前記名称をさらに重畳して表示する請求項８に記載の点検時撮影位置推定システム。

【請求項11】

コンピュータに、
点検施設内の第１特徴点と前記第１特徴点の施設内位置とを記録する機能と、
前記第１特徴点の施設内位置に基づいて、前記点検施設内を撮影した映像から抽出された第２特徴点の施設内位置を推定する機能と、
前記第２特徴点の施設内位置に基づいて前記映像を撮影した施設内位置を推定する機能と、
前記映像中の点検対象を検出し、前記撮影した施設内位置に基づいて前記点検対象の施設内位置を推定する機能と、
前記点検対象の施設内位置と点検用カメラの仕様とに基づいて、前記点検対象の点検が可能な映像を撮影できる最適撮影位置を推定する機能と、
を実現させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、点検時撮影位置推定システムおよびそのプログラムに関する。

【背景技術】

【0002】

発電プラントや工場では、安全に運転するために、膨大な数の機器の保守点検を定期的に行っている。従来の保守点検は、現場で点検員が確認した結果を手書き記録し、事務所で点検記録を作成するなど、人手による作業が多く、近年は作業の省力化を図る取り組みが行われている。モバイル端末を利用し点検員を支援するサービスなどがあるが、遠隔地や災害時などは人が現場にアクセスすることが困難である。そこで、ロボットやドローンなどによる自動点検の検討が進められている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２１－８９５６０号公報

【特許文献2】特開２０１９－３２２１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

人手で行っているメータの数値確認等をロボットやドローン等に搭載されたカメラで行うには、解像度が十分にある位置からメータ等の点検対象を撮影する必要がある。

【0005】

また、ロボットやドローンによる発電プラントや工場をはじめとする点検施設の自動点検、すなわち、ロボットやドローンが点検対象まで移動して点検を行うためには、ロボットやドローンなどの点検用走行経路を設定する必要がある。その経路設定には、点検対象を点検するに適した撮影位置を考慮することが必要である。しかし、点検施設の数多くの点検箇所の夫々について撮影位置を特定するのは非常に手間がかかる。

【0006】

そこで、本発明が解決しようとする課題は、カメラで点検施設内を撮影するだけで、点検時の最適撮影位置を推定することが可能な点検時撮影位置推定システムを提供することである。

【課題を解決するための手段】

【0007】

上記課題を解決するために、実施形態の点検時撮影位置推定システムは、点検施設内の第１特徴点と前記第１特徴点の施設内位置とを記録する特徴点記録部と、前記第１特徴点の施設内位置に基づいて、前記点検施設内を撮影した映像から抽出された第２特徴点の施設内位置を推定する特徴点比較部と、前記第２特徴点の施設内位置に基づいて前記映像を撮影した施設内位置を推定する撮影位置推定部と、前記映像中の点検対象を検出し、前記撮影した施設内位置に基づいて前記点検対象の施設内位置を推定する点検対象検出部と、前記点検対象の施設内位置と点検用カメラの仕様とに基づいて、前記点検対象の点検が可能な映像を撮影できる最適撮影位置を推定する最適撮影位置推定部と、を備える。

【図面の簡単な説明】

【0008】

【図1】第１実施形態に係る自動点検支援システムの構成を示すブロック図。

【図2】三角測量の例を示す図。

【図3】映像上の２次元座標の例を示す図。

【図4】第１実施形態に係る最適撮影位置表示装置の表示例を示す図。

【図5】第１実施形態に係る点検時撮影位置推定システムの処理例を示すフローチャート。

【図6】第１実施形態に係る点検時撮影位置推定システムの変形例１の処理例を示すフローチャート。

【図7】第１実施形態に係る自動点検支援システムの変形例２の構成を示すブロック図。

【図8】第１実施形態に係る点検時撮影位置推定システムの変形例２の処理例を示すフローチャート。

【図9】第１実施形態に係る点検時撮影位置推定システムの変形例３の処理例を示すフローチャート。

【発明を実施するための形態】

【0009】

以下、発明を実施するための実施形態について説明する。プラント等の点検施設を自動点検する際には、解像度が十分な位置からメータ等の点検対象を撮影する必要がある。そのためには点検対象の位置をあらかじめ登録する必要があり、この登録には手間がかかる。実施形態に係る点検時撮影位置推定システムは、点検施設をカメラで撮影するだけで、点検対象の位置と、点検対象を撮影する最適な位置とを推定することを可能にする。

【0010】

点検時撮影位置推定システム２０は、まずあらかじめ記録された第１特徴点と撮影した映像中の第２特徴点とから、映像が撮影された撮影位置を推定する。次に、撮影位置と映像内における点検対象の位置とから、点検施設内における点検対象の位置を推定する。そして、点検施設内における点検対象の位置と点検用カメラの仕様とから、点検対象の最適撮影位置を推定する。以下、自動点検支援システム１の詳細について説明する。

【0011】

（第１実施形態）
図１は、第１実施形態に係る自動点検支援システムの構成を示すブロック図である。自動点検支援システム１は、撮影部１０と、点検時撮影位置推定システム２０とを備える。撮影部１０と点検時撮影位置推定システム２０とは例えば無線通信等により接続されており、相互に情報通信を行ってよい。主な情報通信としては、撮影部１０が撮影した映像を、点検時撮影位置推定システム２０に送信する。

【0012】

撮影部１０は、例えば移動体に搭載されたカメラである。なお、撮影部１０は動画だけでなく所定の時間間隔ごとに静止画像を撮影してもよい。以下では、動画や静止画像、動画のある時点での静止画像を含めて映像と呼称する。例えば、撮影部１０は、移動可能な車輪および移動機構を備えるロボット、飛行可能なドローン、または作業員等に搭載・保持され任意の経路を移動しながら撮影するものとする。撮影部１０が撮影した映像は、点検時撮影位置推定システム２０が備える映像記録装置６１に送信して記録する。

【0013】

点検時撮影位置推定システム２０は、記憶部６０と、撮影位置推定部３０と、点検対象検出部４０と、最適撮影位置推定部５０とを備える。記憶部６０と、撮影位置推定部３０と、点検対象検出部４０と、最適撮影位置推定部５０とは、例えば無線通信により接続されており、相互に情報通信を行ってよい。

【0014】

記憶部６０は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク等により実現され、点検時撮影位置推定システム２０が実行する各種の処理プログラムを記憶する。記憶部６０は、例えば、映像記録装置６１と、特徴点記録装置６２と、検出結果記録装置６３と、最適撮影位置記録装置６４とを有する。

【0015】

映像記録装置６１は、撮影部１０において撮影した映像を記録する。

【0016】

特徴点記録装置６２は、点検施設内の特徴点とともに、各特徴点の点検施設内の位置を示す、点検施設内の任意の位置を原点とした３次元座標を記録する。以下では、この点検施設内の位置を示す３次元座標を施設内位置と呼ぶ。また、特徴点記録装置６２は、３Ｄレーザスキャナなどにより計測した特徴点を記録してもよい。以下では、特徴点記録装置６２に記録された特徴点を第１特徴点とする。

【0017】

ここで、特徴点とは輝度の勾配や類似度から他の点と識別可能な特徴量を持つ点であり、例えば構造物の角等である。つまり、特徴点記録装置６２は点検施設内の構造物を示す特徴点とその施設内位置を紐づけて記録する。

【0018】

検出結果記録装置６３は、映像中における点検対象の位置を、その映像を撮影した撮影部１０の撮影位置と対応付けて記録する。映像中における点検対象の位置は映像中における任意の点を原点とした２次元座標（以下、映像内位置と呼称する）であり、撮影位置は映像を撮影した撮影部１０の施設内位置である。点検対象の映像内位置と撮影位置の施設内位置の対応付けについては、後述する。

【0019】

最適撮影位置記録装置６４は、最適撮影位置推定部５３において推定した最適撮影位置を記録する。最適撮影位置とは、読み取りすべきメータ等の点検対象を撮影範囲に含めるとともに、点検対象の数値等を読み取ることができる解像度の映像が撮影可能な、点検用カメラ（図示省略）の施設内位置と撮影姿勢のことである。

【0020】

撮影位置推定部３０は、特徴点抽出装置３１と、特徴点比較装置３２と、撮影位置推定装置３３と、距離測定装置３４とを有する。

【0021】

特徴点抽出装置３１は、撮影部１０で得られた映像から、映像の輝度の勾配や類似度等を基に、映像中の特徴点を抽出する。特徴点は、例えば上述したように、施設内構造物、例えば制御盤の角等である。以下では、特徴点抽出装置３１において抽出した特徴点を第２特徴点とする。

【0022】

特徴点比較装置３２は、第１特徴点と第２特徴点とを比較する。その結果、各特徴点の特徴量の類似度から同じ物体に関する特徴点であると推定した場合には、それら特徴点を互いに関連付ける。

【0023】

撮影位置推定装置３３は、第２特徴点のうち、特徴点比較装置３２において関連付けられた特徴点に基づいて、撮影部１０が映像を撮影した撮影位置を推定する。第１特徴点は、その特徴点の施設内位置とともに記録されている。そのため、特徴点比較装置３２において関連付けられた第２特徴点の施設内位置は、関連付けられた第１特徴点の施設内位置によって推定できる。したがって、特徴点比較装置３２は、撮影部１０が撮影した撮影位置の施設内位置を推定することができる。

【0024】

距離測定装置３４は、施設内位置が推定されていない第２特徴点の施設内位置を測定する。つまり、距離測定装置３４は、第２特徴点のうち、類似した第１特徴点が特徴点記録装置６２に記録されておらず、特徴点比較装置３２において関連付けられなかった特徴点の施設内位置を、三角測量により算出する。三角測量では、図２に示すように、同一の構造物１００を異なる２か所から撮影した映像により、その構造物１００の施設内位置を計測することができる。図２の撮影部１０から延びる直線は、撮影部１０が撮影可能な画角を示している。したがって、同一の第２特徴点を撮影した映像の複数のフレームを利用して、三角測量によりその第２特徴点の施設内位置を算出する。算出した特徴点とその施設内位置は、特徴点記録装置６２に記録する。

【0025】

ここで、第２特徴点とその施設内位置が特徴点記録装置６２に記録された場合は、その第２特徴点は第１特徴点に含まれるものとする。

【0026】

点検対象検出部４０は、点検対象検出装置４１と、点検対象位置推定装置４２とを有する。

【0027】

点検対象検出装置４１は、撮影部１０において取得した映像中の点検対象を検出する。ここで、点検対象とは点検対象のメータ等である。点検対象検出装置４１は、点検対象に類似した画像から機械学習を利用して求められるモデル、または点検対象を事前に撮影したテンプレート等を利用する。そして、輝度の勾配や特徴点の類似度から、点検対象検出装置４１は、映像中の点検対象が存在する領域と、点検対象の種類とを検出する。

【0028】

さらに、点検対象検出装置４１は、図３に示すように、映像内位置における点検対象が存在する領域の重心座標を算出する。図３では、映像３００上での点検対象２００の重心２０１の２次元座標を（ｘ_１， ｙ_１）とした例を示している。算出された重心の２次元座標（映像内位置）は、撮影位置推定部３０で推定した撮影位置と組み合わされて、検出結果記録装置６３に記録される。

【0029】

点検対象位置推定装置４２は、点検対象の施設内位置を三角測量により推定する。点検対象位置推定装置４２は、検出結果記録装置６３に記録された、点検対象の映像内位置とその撮影位置である施設内位置を、映像の複数のフレーム間で比較する。そして、複数のフレーム間で、同種類の点検対象が検出されており、さらにその点検対象の映像内位置が近傍かつ連続的に検出されていた場合は、それら点検対象は同一であると推定する。さらに、それら複数のフレームを利用して、その点検対象の施設内位置を三角測量により算出することで、点検対象の施設内位置を推定する。

【0030】

最適撮影位置推定部５０は、最適撮影位置推定装置５１と、評価装置５２と、最適撮影位置表示装置５３とを有する。

【0031】

最適撮影位置推定装置５１は、点検対象位置推定装置４２において推定した点検対象の施設内位置と、点検用カメラの仕様とに基づいて、点検対象が点検用カメラの撮影範囲に含まれる撮影位置と撮影姿勢を推定する。ここで、撮影位置と撮影姿勢は、自動点検を実現するために、撮影した映像によって点検対象を点検できるような映像を撮影できる撮影位置と撮影姿勢である。なお、点検用カメラの仕様とは例えば点検用カメラの解像度または画角等である。また、点検用カメラの撮影位置とは点検用カメラの施設内位置であり、点検用カメラの姿勢とは、点検用カメラの撮影方位と点検用カメラやレンズの傾斜角度である。したがって、点検対象を撮影範囲に含めるとともに、点検対象の数値等を読み取ることができる解像度の映像が撮影可能な、点検用カメラの施設内位置と姿勢を推定する。推定した点検用カメラの施設内位置と姿勢とを含む最適撮影位置は、最適撮影位置記録装置６４に記録される。

【0032】

評価装置５２は、最適撮影位置推定装置５１において推定した最適撮影位置の近傍に、撮影を干渉する構造物があるかを評価する。具体的には、評価装置５２は、推定した最適撮影位置の近傍の第１特徴点を抽出し、抽出した第１特徴点が所定の密度以上に存在している場合は、最適撮影位置における撮影を干渉する構造物があると評価する。干渉する構造物があると評価した場合は、最適撮影位置推定装置５１は、その施設内位置を除外した最適撮影位置を推定する。

【0033】

最適撮影位置表示装置５３は、例えばディスプレイ等であり、最適撮影位置記録装置６４に記録された最適撮影位置と、点検施設の図面または３ＤＣＡＤデータ等の現場情報とを重畳して表示する。

【0034】

図４は、最適撮影位置表示装置５３の表示例を示している。表示画面４００は、現場情報４１０と、撮影位置リスト４３０と、削除ボタン４４０と、撮影映像４５０とを表示する。

【0035】

現場情報４１０は、図４においては点検施設の平面図面である。現場情報４１０には、点検対象２００ａ、２００ｂ、２００ｃ、２００ｄ、および最適撮影位置４２０ａ、４２０ｂ、４２０ｃ、４２０ｄを重畳して表示する。点検対象２００ａ、２００ｂ、２００ｃ、２００ｄと、最適撮影位置４２０ａ、４２０ｂ、４２０ｃ、４２０ｄとをそれぞれ結ぶ矢印は、点検対象と最適撮影位置の組み合わせを示している。つまり、例えば最適撮影位置４２０ａは点検対象２００ａを点検するための最適撮影位置である。

【0036】

撮影位置リスト４３０は、最適撮影位置のリストを表示しており、作業員等が任意の最適撮影位置を選択可能となっている。図４においては、最適撮影位置４２０ｂを選択しており、該当する最適撮影位置４２０ｂおよび点検対象２００ｂが黒塗りとなることで、選択されたことが明確になっている。また、選択した最適撮影位置４２０ｂから撮影した点検対象２００ｂの映像を撮影映像４５０として表示する。結果として、作業員等が任意の最適撮影位置から撮影した点検対象の映像を確認でき、最適撮影位置が適当かどうかや、点検対象の数値等を確認することができる。

【0037】

削除ボタン４４０は、点検が不要な点検対象の最適撮影位置を削除可能なインターフェースである。つまり、図４において点検対象２００ｂの点検が不要な場合は、最適撮影位置４２０ｂを選択した状態で削除ボタン４４０を選択すると、最適撮影位置記録装置６４から最適撮影位置４２０ｂを削除することができる。

【0038】

図５は、第１実施形態に係る点検時撮影位置推定システムの処理例を示すフローチャートである。点検時撮影位置推定システム２０は、まず撮影部１０が点検施設内を撮影した映像を取得し、その撮影位置を推定する（ステップＳ１００～ステップＳ１０４）。次に、映像中から点検対象を検出し、映像の撮影位置と点検対象の映像内位置とから点検対象の施設内位置を推定する（ステップＳ１０５～ステップＳ１０６）。そして、点検対象の施設内位置と点検用カメラの仕様とから最適撮影位置を推定し、最適撮影位置を表示する（ステップＳ１０６～ステップＳ１０９）。以下詳細を説明する。

【0039】

まず、撮影部１０は移動しながら点検施設内の映像を撮影し、無線通信や有線通信等で映像記録装置６１に記録する（ステップＳ１００）。

【0040】

次に、特徴点比較装置３２は、ステップＳ１００において撮影した映像から特徴点を抽出する。そして、抽出した第２特徴点と、特徴点記録装置６２に記録された第１特徴点とを比較する（ステップＳ１０１）。特徴点記録装置６２に第２特徴点と類似している第１特徴点がある場合、類似している特徴点同士をその施設内位置とともに関連付ける。特徴点記録装置６２に類似している第１特徴点がない場合、その第２特徴点はステップＳ１０３において施設内位置を算出する。ステップＳ１０３の詳細は後述する。そして、すべての第２特徴点について比較が完了するまで、ステップＳ１０１の処理を繰り返す。

【0041】

次に、撮影位置推定装置３３が、ステップＳ１０１で関連付けた特徴点の施設内位置に基づいて、映像が撮影された施設内位置を推定する（ステップＳ１０２）。具体的には、特徴点抽出装置３１において抽出された第２特徴点のうち、特徴点比較装置３２において関連付けられた第２特徴点、すなわちその施設内位置が推定されている第２特徴点が撮影された撮影部１０の施設内位置を、特徴点記録装置６２に記録された第２特徴点の施設内位置に基づいて推定する。

【0042】

次に、ステップＳ１０１において関連付けられなかった第２特徴点の施設内位置を算出する（ステップＳ１０３）。具体的には、距離測定装置３４が、ステップＳ１０２において推定した撮影部１０の施設内位置に基づいて、同一の第２特徴点を抽出した映像の複数フレームを用いて三角測量によりその第２特徴点の施設内位置を算出する。そして、算出した第２特徴点とその施設内位置を特徴点記録装置６２に記録する。

【0043】

次に、点検対象検出装置４１は、点検対象の種類と、点検対象の映像内位置と、その点検対象が撮影された撮影部１０の施設内位置とを検出する（ステップＳ１０４）。具体的には、映像中の第２特徴点から、機械学習により求められたモデルまたはテンプレート等を用いて点検対象の種類を検出する。そして、点検対象の重心を映像内位置として算出するとともに、その第２特徴点が撮影された位置でありステップＳ１０２において推定した撮影部１０の施設内位置を組み合わせて検出結果記録装置６３に記録する。

【0044】

次に、点検対象位置推定装置４２は、点検対象の施設内位置を推定する（ステップＳ１０５）。具体的には、点検対象位置推定装置４２が、ステップＳ１０４において検出結果記録装置６３に記録された点検対象の種類と、点検対象の映像内位置と、点検対象が撮影された撮影部１０の施設内位置とに基づいて、同一の点検対象を撮影した複数のフレームを利用して、三角測量により点検対象の施設内位置を推定する。

【0045】

次に、最適撮影位置推定装置５１は、点検対象の最適撮影位置を推定する（ステップＳ１０６）。具体的には、最適撮影位置推定装置５１が、ステップＳ１０５において推定した点検対象の施設内位置と、点検用カメラの仕様とに基づいて、点検対象の点検が可能な映像を撮影できる点検用カメラの施設内位置と、点検用カメラの姿勢とを最適撮影位置として推定する。推定した最適撮影位置は最適撮影位置記録装置６４に記録する。

【0046】

次に、評価装置５２は、推定した最適撮影位置に干渉がないかを評価する（ステップＳ１０７）。具体的には、最適撮影位置近傍の第１特徴点を抽出し、抽出した第１特徴点が所定の密度以上に存在していない場合は（ステップＳ１０７のＹＥＳ）、最適撮影位置における撮影を干渉する構造物がないと評価し、ステップＳ１０８の処理に進む。抽出した第１特徴点が所定の密度以上に存在している場合は（ステップＳ１０７のＮＯ）、最適撮影位置における撮影を干渉する構造物があると評価する。干渉する構造物があると評価した場合は、ステップＳ１０６に戻り、最適撮影位置推定装置５１はその施設内位置を除外した最適撮影位置を推定する。

【0047】

次に、最適撮影位置表示装置５３は、ステップＳ１０７において撮影を干渉する構造物がないと評価された最適撮影位置と、点検現場の図面または３ＤＣＡＤデータ等の現場情報とを重畳して表示する（ステップＳ１０８）。

【0048】

なお、点検対象位置推定装置４２における三角測量による点検対象の施設内位置の推定には、複数の位置から点検対象を撮影した複数のフレームが必要であるが、特徴点記録装置６２に記録された第１特徴点の施設内位置を用いて点検対象の施設内位置を推定してもよい。つまり、第１特徴点の施設内位置と、その映像の撮影位置である撮影部１０の施設内位置と、点検対象の映像内位置とから、撮影部１の施設内位置を基準にした点検対象の方位を算出し、その方位に存在する第１特徴点の施設内位置を点検対象の施設内位置として推定してもよい。

【0049】

なお、最適撮影位置推定装置５１は、点検対象の正面を最適撮影位置として推定してもよい。例えば、最適撮影位置推定装置５１は、点検対象の第１特徴点の施設内位置を抽出し、抽出した第１特徴点の施設内位置から平面を算出することで、平面の法線方向かつ点検対象の点検が可能な映像を撮影できる位置の施設内位置を最適撮影位置として推定することができる。

【0050】

なお、最適撮影位置推定装置５１は、複数の点検対象を同時に撮影可能な最適撮影位置を推定してもよい。つまり、評価装置５２は、最適撮影位置記録装置６４に記録された最適撮影位置の体積当たりの密度を評価し、所定の密度以上であると評価した場合には、同時に複数の点検対象を撮影可能な点検用カメラの施設内位置と姿勢とを最適撮影位置推定装置５１に推定させてもよい。所定の密度未満であると評価した場合には、上記の処理は行わなくてよい。

【0051】

以上説明した実施形態によると、移動可能な撮影部１により映像を撮影するだけで、その映像を撮影した位置と、点検の点検対象の種類および施設内位置と、点検時に点検対象を撮影する最適撮影位置とを求め、それらを表示することができる。したがって、自動点検に必要な情報を容易に求め、点検対象の施設内位置を俯瞰的に確認可能となる。

【0052】

（変形例１）
第１実施形態に係る点検時撮影位置推定システム２０の変形例について、第１実施形態と異なる点を主に説明する。変形例１は、推定した最適撮影位置における撮影を行い、ハレーションしている場合は最適撮影位置を変更してハレーションを防止する点で第１実施形態と異なる。

【0053】

変形例１においては、評価装置５２が、第１実施形態と同様の処理に加えて、最適撮影位置において点検用カメラまたは撮影部１０が撮影した映像について、輝度が閾値以上になっている割合を算出する。算出した割合が所定以上の場合は、映像がハレーションしていると評価し、最適撮影位置から事前に設定した値だけ点検用カメラまたは撮影部１０の施設内位置と姿勢を変更して再度撮影する。以上の処理を繰り返し、ハレーションをしない最適撮影位置を推定する。

【0054】

図６は、変形例１における処理例のフローチャートである。ステップＳ２００からステップＳ２０７は、第１実施形態におけるステップＳ１００からステップＳ１０７と同様なため詳細な説明は省略する。

【0055】

点検用カメラまたは撮影部１０は、ステップＳ２０７において、推定した干渉がない最適撮影位置において点検対象を撮影する。評価装置５２は、撮影された映像の輝度が閾値以上になっている割合を算出する。所定の割合以上になっていない場合は（ステップＳ２０８のＹＥＳ）、最適撮影位置におけるハレーションがないと評価し、ステップＳ２０９の処理に進む。所定の割合以上になっている場合は（ステップ２０８のＮＯ）、最適撮影位置におけるハレーションがあると評価する。ハレーションがあると評価した場合は、最適撮影位置から、事前に設定した値だけ施設内位置と姿勢を変更して、点検用カメラまたは撮影部１０によって点検対象を撮影し、ステップＳ２０８の評価に戻る。そして、ステップＳ２０８においてハレーションがないと評価された場合には、その撮影位置と撮影姿勢を最適撮影位置としてステップＳ２０９の処理に進む。

【0056】

次に、最適撮影位置表示装置５３は、ステップＳ２０７およびステップＳ２０８において撮影を干渉する構造物およびハレーションがないと評価された最適撮影位置と、点検現場の図面またはＣＡＤデータ等の現場情報とを重畳して表示する（ステップＳ２０９）。

【0057】

点検対象は、ガラスのカバーなど光沢をもつ場合があり、ハレーションを起こして撮影した映像から数値等を正確に読み取れない可能性がある。したがって、上記のような評価装置５２を備えることにより、第１実施形態と同様の効果に加えて、ハレーションを起こさずに点検対象を点検可能な映像を撮影可能な最適撮影位置を求めることができる。

【0058】

（変形例２）
第１実施形態に係る点自動点検支援システムの変形例について、第１実施形態と異なる点を主に説明する。変形例２は、図７に示すように、点検時撮影位置推定システム２０の最適撮影位置推定部５３が、特徴点記録装置６２に記録された第１特徴点と、事前に３Ｄレーザースキャナや３ＤＣＡＤ等により生成した３次元点とを比較し、対応する第１特徴点と３次元点との位置が合致するように施設内位置の原点や方位等を補正する位置補正装置５４をさらに有する点で第１実施形態と異なる。

【0059】

変形例２においては、位置補正装置５４が、特徴点記録装置６２に記録された第１特徴点と、事前に３Ｄレーザースキャナや３ＤＣＡＤ等により生成した現場の３次元点とを比較する。そして、対応する第１特徴点と３次元点との施設内位置が合致するように、ＩＣＰ等のアルゴリズムにより原点や方位等を補正する。最適撮影位置推定装置５１は、補正した後に第１特徴点の施設内位置を用いて最適撮影位置を推定する。

【0060】

図８は、変形例２における処理例のフローチャートである。ステップＳ３００からステップＳ３０５は、第１実施形態におけるステップＳ１００からステップＳ１０５と同様なため詳細な説明は省略する。また、ステップＳ３０７からステップＳ３０９は、第１実施形態におけるステップＳ１０６からステップＳ１０８と同様なため、詳細な説明は省略する。つまり、変形例２においては、第１実施形態におけるステップＳ１０５とステップＳ１０６に対応する処理の間に、ステップＳ３０６が追加されている。

【0061】

位置補正装置５４は、ステップＳ３０６において、特徴点記録装置６２に記録された第１特徴点と、事前に生成した３次元点とを比較する。そして、対応する第１特徴点と３次元点との施設内位置が合致するように、原点や方位等を補正する。補正した第１特徴点の施設内位置は、特徴点記録装置６２に記録され、ステップＳ３０７以降に使用される。

【0062】

特徴点記録装置６２に記録された第１特徴点の密度は疎であることが多い。したがって、上記のような位置補正装置５４を備えることにより、第１実施形態と同様の効果に加えて、点検対象位置推定装置４２や最適撮影位置推定装置５１の精度を向上させることができる。

【0063】

（変形例３）
第１実施形態に係る点検時撮影位置推定システムの変形例について、第１実施形態と異なる点を主に説明する。変形例３は、点検時撮影位置推定システムの最適撮影位置推定部５３が、特徴点記録装置６２に記録された第１特徴点と、現場の図面とを比較し、第１特徴点の施設内位置を補正するとともに点検対象がどのような名称の機器かを紐づける位置補正装置５４をさらに有する点で第１実施形態と異なる。

【0064】

変形例３においては、位置補正装置５４が、特徴点記録装置６２に記録された第１特徴点を平面に変換した２次元座標を抽出し、現場の平面図面に投影する。そして、投影した第１特徴点によって形成される線分と、現場の平面図面に記載された線分とを比較し、第１特徴点の２次元座標が対応する現場の平面図面と合致するように、第１特徴点の２次元座標を補正する。さらに、現場の平面図面に記載された機器等の名称を、対応する点検対象に紐づける。つまり、点検対象検出部４において検出した点検対象の名称が、対応する現場の平面図面に記載された機器等の名称と紐づけられる。

【0065】

最適撮影位置推定装置５１は、点検対象の名称に基づいて、最適撮影位置を推定してもよい。つまり、点検用カメラにおいて点検対象を撮影する際に、点検対象の種類に適した点検用カメラと点検対象との距離や角度等が既知である場合には、その距離や角度等を考慮して最適撮影位置を推定してもよい。

【0066】

最適撮影位置表示装置５３は、最適撮影位置を点検現場の図面または３ＤＣＡＤデータ等の現場情報と重畳して表示する際に、点検対象の名称も重畳して表示してもよい。

【0067】

図９は、変形例３における処理例のフローチャートである。ステップＳ４００からステップＳ４０５は、第１実施形態におけるステップＳ１００からステップＳ１０５と同様なため詳細な説明は省略する。また、ステップＳ４０８からステップＳ４１０は、第１実施形態におけるステップＳ１０６からステップＳ１０８と同様なため、詳細な説明は省略する。つまり、変形例３においては、第１実施形態におけるステップＳ１０５とステップＳ１０６に対応する処理の間に、ステップＳ４０６およびステップＳ４０７が追加されている。

【0068】

位置補正装置５４は、ステップＳ４０６において、特徴点記録装置６２に記録された第１特徴点を、平面に変換し、第１特徴点の２次元座標を抽出する。抽出した第１特徴点の２次元座標を、現場の平面図面に投影する。そして、投影した第１特徴点によって形成される線分と、現場の平面図面に記載された線分とを比較し、第１特徴点の２次元座標が対応する平面図面と合致するように、第１特徴点の２次元座標を補正する。補正した第１特徴点の２次元座標は、３次元座標（施設内位置）に変換され、特徴点記録装置６２に記録される。

【0069】

次に、位置補正装置５４は、点検対象検出部４０において検出した点検対象と、現場の平面図面に記載された機器等の名称とを比較し、点検対象に対応する機器等の名称を紐づける（ステップＳ４０７）。紐づけられた点検対象の名称は、検出結果記録装置６３に記録される。

【0070】

検出結果記録装置６３に記録された点検対象の種類は、詳細な分類がされていない場合がある。したがって、上記のような位置補正装置５４を備えることにより、第１実施形態と同様の効果に加えて、点検対象の位置を現場の平面図面に記載された現場情報に基づいて補正するとともに、点検対象の名称を、現場の平面図面に記載された現場情報である機器等の名称と紐づけて表示することができる。つまり、点検対象位置推定装置４２や最適撮影位置推定装置５１の精度を向上させるとともに、点検対象により適した点検や処置等を作業員等が判断することができる。

【0071】

なお、本実施形態において、基準値（閾値）を用いた任意の値の判定は、「任意の値が基準値以上か否か」の判定でも良いし、「任意の値が基準値を超えているか否か」の判定でも良い。或いは、「任意の値が基準値以下か否か」の判定でも良いし、「任意の値が基準値未満か否か」の判定でも良い。また、基準値が固定されるものでなく、変化するものであっても良い。従って、基準値の代わりに所定範囲の値を用い、任意の値が所定範囲に収まるか否かの判定を行っても良い。また、予め装置に生じる誤差を解析し、基準値を中心として誤差範囲を含めた所定範囲を判定に用いても良い。

【0072】

なお、本実施形態のフローチャートにおいて、各ステップが直列に実行される形態を例示しているが、必ずしも各ステップの前後関係が固定されるものでなく、一部のステップの前後関係が入れ替わっても良い。また、一部のステップが他のステップと並列に実行されても良い。

【0073】

上述した実施形態で説明した点検時撮影位置推定システム２０の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、制御部の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ－ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク部やメモリなどの固定型の記録媒体でもよい。

【0074】

また、点検時撮影位置推定システム２０の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

【0075】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0076】

１…自動点検支援システム、１０…撮影部、２０…点検時撮影位置推定システム、３０…撮影位置推定部、３１…特徴点抽出装置、３２…特徴点比較装置、３３…撮影位置推定装置、３４…距離測定装置、４０…対象検出部、４１…点検対象検出装置、４２…点検対象位置推定装置、５０…撮影位置推定部、５１…最適撮影位置推定装置、５２…評価装置、５３…最適撮影位置表示装置、５４…位置補正装置、６０…記憶部、６１…映像記録装置、６２…特徴点記録装置、６３…検出結果記録装置、６４…最適撮影位置記録装置、１００…構造物、２００、２００ａ、２００ｂ、２００ｃ、２００ｄ…点検対象、２０１…重心、３００…映像、４００…表示画面、４１０…表示画面、４２０ａ、４２０ｂ、４２０ｃ、４２０ｄ…最適撮影位置、４３０…撮影位置リスト、４４０…削除ボタン、４５０…撮影映像。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】