特許 7536544 点検支援装置、点検支援方法および点検支援プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-09

(45)【発行日】2024-08-20

(54)【発明の名称】点検支援装置、点検支援方法および点検支援プログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240813BHJP

   G01N 21/88 20060101ALI20240813BHJP

   G06T 1/00 20060101ALI20240813BHJP

【ＦＩ】

H04N23/60 500

G01N21/88 J

G06T1/00 300

H04N23/60 100

【請求項の数】 18

(21)【出願番号】P 2020124671

(22)【出願日】2020-07-21

(65)【公開番号】P2022021209

(43)【公開日】2022-02-02

【審査請求日】2023-05-23

(73)【特許権者】

【識別番号】000005290

【氏名又は名称】古河電気工業株式会社

(74)【代理人】

【識別番号】100114292

【弁理士】

【氏名又は名称】来間 清志

(74)【代理人】

【識別番号】100205659

【弁理士】

【氏名又は名称】齋藤 拓也

(72)【発明者】

【氏名】小林 洋幸

(72)【発明者】

【氏名】三浦 準

【審査官】辻本 寛司

(56)【参考文献】

【文献】特開２０１９－１０１４９９（ＪＰ，Ａ）

【文献】特開２０１６－０８２４４１（ＪＰ，Ａ）

【文献】特開２００６－１１８９１３（ＪＰ，Ａ）

【文献】特開２０１３－１２３１２３（ＪＰ，Ａ）

【文献】特開２０１５－０８２８３０（ＪＰ，Ａ）

【文献】国際公開第２０１６／００６０４９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｇ０１Ｎ ２１／８８

Ｇ０６Ｔ １／００

(57)【特許請求の範囲】

【請求項1】

ユーザ操作に応じて特定箇所の画像を生成する撮像部と、
前記撮像部が生成した、点検対象物の損傷箇所を含む第１画像と、当該損傷箇所を含む、前記第１画像と異なる位置から撮像された第２画像との特徴点を抽出する第１処理部と、
前記第１画像の特徴点と前記第２画像の特徴点とに対応付けて、前記第１画像の特徴点と前記第２画像の特徴点との画像上のずれを算出する第２処理部と、
前記第２処理部により算出された前記ずれに基づいて、前記第１画像の特徴点と、当該特徴点に対応する前記第２画像の特徴点とが、表示部において互いに対応して表示されるように、前記第１画像および前記第２画像の少なくとも一方の各画素の座標位置を変更する処理を行う第３処理部と、
前記第３処理部により処理された結果を前記表示部に表示する処理を行う表示処理部を備える点検支援装置。

【請求項2】

前記第１処理部は、前記撮像部により３つ以上の画像を生成した場合、一定以上の明度の差がある二つの画像を選択し、一方を前記第１画像とし、他方を前記第２画像とする請求項１に記載の点検支援装置。

【請求項3】

前記第３処理部は、前記第１画像と、各画素の座標位置を変更した前記第２画像とに基づいて、各画素における、前記第１画像と、各画素の座標位置を変更した前記第２画像と、の明度の差を示す明度差画像を生成する請求項１または２に記載の点検支援装置。

【請求項4】

前記表示処理部は、前記第１画像と、各画素の座標位置を変更した前記第２画像とを所定のタイミングで順次切り替えて表示されるように処理を行う請求項１または２に記載の点検支援装置。

【請求項5】

前記表示処理部は、前記第１画像と、各画素の座標位置を変更した前記第２画像とが前記表示部において並列して表示されるように処理を行う請求項１または２に記載の点検支援装置。

【請求項6】

前記表示処理部は、前記第１画像と、各画素の座標位置を変更した前記第２画像とが前記表示部に表示されたときに、裸眼立体視されるように処理を行う請求項１または２に記載の点検支援装置。

【請求項7】

前記表示処理部は、前記第１画像と、各画素の座標位置を変更した前記第２画像とに基づいて、アナグリフ画像を生成し、当該アナグリフ画像を前記表示部に表示する請求項１または２に記載の点検支援装置。

【請求項8】

前記表示部は、ヘッドマウントディスプレイであり、
前記表示処理部は、前記第１画像と、各画素の座標位置を変更した前記第２画像とを前記ヘッドマウントディスプレイに表示するように処理する請求項１または２に記載の点検支援装置。

【請求項9】

前記第１画像に含まれている前記損傷箇所の明度と、各画素の座標位置を変更した前記第２画像に含まれている前記損傷箇所の明度との差分を算出し、当該明度の差分に基づいて、損傷箇所の深さ方向を特定する第１特定部を備える請求項１から８のいずれか一項に記載の点検支援装置。

【請求項10】

鉛直方向を検出するセンサと、
前記撮像部により点検対象物を撮像するときに前記センサの検出結果を取得し、当該センサの検出結果と前記第１画像および前記第２画像とを関連付けて保存する第１記憶部とを備える請求項１から９のいずれか一項に記載の点検支援装置。

【請求項11】

少なくとも、前記点検対象物を特定するための固有情報と、前記点検対象物の撮像部位に関する情報と、を取得する取得部と、
前記取得部が取得した情報と、前記第１画像および前記第２画像を関連付けて保存する第２記憶部とを備える請求項１から１０のいずれか一項に記載の点検支援装置。

【請求項12】

前記取得部が取得する情報は、前記点検対象物に発生した損傷の状態、またはその種類に関する情報を含む請求項１１に記載の点検支援装置。

【請求項13】

ユーザの操作に応じて前記撮像部の動作モードを切り替える処理を行う動作処理部を有し、
前記取得部が取得する情報は、前記動作モードを特定する情報を含む、請求項１１または１２に記載の点検支援装置。

【請求項14】

前記撮像部を介して入力される画像が前記表示部に表示されており、当該表示部に表示されている損傷の長手方向に基づいて、前記撮像部を移動する方向を指示する指示部を備え、
前記表示処理部は、前記指示部による指示を前記表示部に表示する処理を行う請求項１から１３のいずれか一項に記載の点検支援装置。

【請求項15】

前記第１画像と、各画素の座標位置を変更した前記第２画像とに基づいて、損傷を含む劣化の種類を特定する第２特定部を備える請求項１から１２のいずれか一項に記載の点検支援装置。

【請求項16】

前記撮像部により生成した前記第１画像の中心を含む特定領域の明度の参照値と、前記第２画像の中心を含む特定領域の明度の参照値とを比較して、所定の閾値以上の差分が生じているかどうかを判定する判定部と、
前記判定部により所定の閾値以上の差分が生じていると判定された場合には報知を行う報知部とを備える請求項１から１３のいずれか一項に記載の点検支援装置。

【請求項17】

ユーザ操作に応じて特定箇所の画像を生成する撮像工程と、
前記撮像工程が生成した、点検対象物の損傷箇所を含む第１画像と、当該損傷箇所を含む、前記第１画像と異なる位置から撮像された第２画像との特徴点を抽出する第１処理工程と、
前記第１画像の特徴点と前記第２画像の特徴点とに対応付けて、前記第１画像の特徴点と前記第２画像の特徴点との画像上のずれを算出する第２処理工程と、
前記第２処理工程により算出された前記ずれに基づいて、前記第１画像の特徴点と、当該特徴点に対応する前記第２画像の特徴点とが、表示部において互いに対応して表示されるように、前記第１画像および前記第２画像の少なくとも一方の各画素の座標位置を変更する処理を行う第３処理工程と、
前記第３処理工程により処理された結果を前記表示部に表示する処理を行う表示処理工程とを備える点検支援方法。

【請求項18】

コンピュータに、
ユーザ操作に応じて特定箇所の画像を生成する撮像工程と、
前記撮像工程が生成した、点検対象物の損傷箇所を含む第１画像と、当該損傷箇所を含む、前記第１画像と異なる位置から撮像された第２画像との特徴点を抽出する第１処理工程と、
前記第１画像の特徴点と前記第２画像の特徴点とに対応付けて、前記第１画像の特徴点と前記第２画像の特徴点との画像上のずれを算出する第２処理工程と、
前記第２処理工程により算出された前記ずれに基づいて、前記第１画像の特徴点と、当該特徴点に対応する前記第２画像の特徴点とが、表示部において互いに対応して表示されるように、前記第１画像および前記第２画像の少なくとも一方の各画素の座標位置を変更する処理を行う第３処理工程と、
前記第３処理工程により処理された結果を前記表示部に表示する処理を行う表示処理工程とを実行させるための点検支援プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、点検支援装置、点検支援方法および点検支援プログラムに関する。

【背景技術】

【0002】

建物や電柱（以下、点検対象物と称する）の外観などを点検する際に、この点検の作業を支援する装置が知られている（例えば、特許文献１、２）。

【0003】

特許文献１には、点検対象物であるコンクリート表面を照明する複数のライトと、複数のライトを選択的に点灯させる点灯制御部と、ライトにより照明されるコンクリート表面を撮影するカメラと、カメラからの画像データを順次二値化処理する二値化処理部と、二値化処理した複数の画像データであって、コンクリート表面の所定の領域に関する複数の画像データの差分画像を生成する差分画像生成部とを備える装置が開示されている。

【0004】

特許文献２には、点検対象物であるコンクリート表面の撮影画像に補正とノイズ除去の処理を施した前処理済画像を取得する前処理済画像形成部と、前処理済画像に対して、圧縮率を変えながら高解像度から低解像度まで解像度の異なる複数のレイヤ画像を形成するレイヤ画像形成部と、抽出対象の変状に最適な解像度のレイヤ画像から当該変状を抽出する変状抽出部と、抽出された変状を統合して出力する変状統合部とを備える装置が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１１－１１７７８８号公報

【文献】特開２０１４－００６２２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１に記載の装置では、点検対象物に対して、異なる方向から選択的にライトによる照明を行う必要があるため、例えば、ライトによる照明が太陽光により影響を受けてしまう時間帯を避ける必要があり、点検を行う時間帯に制限が生じる問題がある。また、特許文献２に記載の装置によって、高度な画像処理により点検対象物に生じている変状（例えば、ひび割れ）を画像から抽出できたとしても、その画像から変状を人が視認できない場合には、確認のため、再度現場に行く必要が生じる可能性がある。

【0007】

本発明は、点検を行う時間帯に制限を設けずに、撮像画像から点検対象物の損傷状態を視認させることができる点検支援装置、点検支援方法および点検支援プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

上述した課題を解決し、目的を達成するために、本開示に係る点検支援装置は、ユーザ操作に応じて特定箇所の画像を生成する撮像部と、前記撮像部が生成した、点検対象物の損傷箇所を含む第１画像と、当該損傷箇所を含む、前記第１画像と異なる位置から撮像された第２画像との特徴点を抽出する第１処理部と、前記第１画像の特徴点と前記第２画像の特徴点とに対応付けて、前記第１画像の特徴点と前記第２画像の特徴点との画像上のずれを算出する第２処理部と、前記第２処理部により算出された前記ずれに基づいて、前記第１画像の特徴点と、当該特徴点に対応する前記第２画像の特徴点とが、表示部において互いに対応して表示されるように、前記第１画像および前記第２画像の少なくとも一方の各画素の座標位置を変更する処理を行う第３処理部と、前記第３処理部により処理された結果を前記表示部に表示する処理を行う表示処理部を備える。

【0009】

また、本開示に係る点検支援装置は、上記開示において、前記第１処理部は、前記撮像部により３つ以上の画像を生成した場合、一定以上の明度の差がある二つの画像を選択し、一方を前記第１画像とし、他方を前記第２画像とする構成である。

【0010】

また、本開示に係る点検支援装置は、上記開示において、前記第３処理部は、前記第１画像と、各画素の座標位置を変更した前記第２画像とに基づいて、各画素における、前記第１画像と、各画素の座標位置を変更した前記第２画像と、の明度の差を示す明度差画像を生成する構成である。

【0011】

また、本開示に係る点検支援装置は、上記開示において、前記表示処理部は、前記第１画像と、各画素の座標位置を変更した前記第２画像とを所定のタイミングで順次切り替えて表示されるように処理を行う構成である。

【0012】

また、本開示に係る点検支援装置は、上記開示において、前記表示処理部は、前記第１画像と、各画素の座標位置を変更した前記第２画像とが前記表示部においてに並列して表示されるように処理を行う構成である。

【0013】

また、本開示に係る点検支援装置は、上記開示において、前記表示処理部は、前記第１画像と、各画素の座標位置を変更した前記第２画像とが前記表示部に表示されたときに、裸眼立体視されるように処理を行う構成である。

【0014】

また、本開示に係る点検支援装置は、上記開示において、前記表示処理部は、前記第１画像と、各画素の座標位置を変更した前記第２画像とに基づいて、アナグリフ画像を生成し、当該アナグリフ画像を前記表示部に表示する構成である。

【0015】

また、本開示に係る点検支援装置は、上記開示において、前記表示部は、ヘッドマウントディスプレイであり、前記表示処理部は、前記第１画像と、各画素の座標位置を変更した前記第２画像とを前記ヘッドマウントディスプレイに表示するように処理する構成である。

【0016】

また、本開示に係る点検支援装置は、上記開示において、前記第１画像に含まれている前記損傷箇所の明度と、各画素の座標位置を変更した前記第２画像に含まれている前記損傷箇所の明度との差分を算出し、当該明度の差分に基づいて、損傷箇所の深さ方向を特定する第１特定部を備える構成である。

【0017】

また、本開示に係る点検支援装置は、上記開示において、鉛直方向を検出するセンサと、前記撮像部により点検対象物を撮像するときに前記センサの検出結果を取得し、当該センサの検出結果と前記第１画像および前記第２画像とを関連付けて保存する第１記憶部とを備える構成である。

【0018】

また、本開示に係る点検支援装置は、上記開示において、少なくとも、前記点検対象物を特定するための固有情報と、前記点検対象物の撮像部位に関する情報と、を取得する取得部と、前記取得部が取得した情報と、前記第１画像および前記第２画像を関連付けて保存する第２記憶部とを備える構成である。

【0019】

また、本開示に係る点検支援装置は、上記開示において、前記取得部が取得する情報は、前記点検対象物に発生した損傷の状態、またはその種類に関する情報を含む構成である。

【0020】

また、本開示に係る点検支援装置は、上記開示において、ユーザの操作に応じて前記撮像部の動作モードを切り替える処理を行う動作処理部を有し、前記取得部が取得する情報は、前記動作モードを特定する情報を含む構成である。

【0021】

また、本開示に係る点検支援装置は、上記開示において、前記撮像部を介して入力される画像が前記表示部に表示されており、当該表示部に表示されている損傷の長手方向に基づいて、前記撮像部を移動する方向を指示する指示部を備え、前記表示処理部は、前記指示部による指示を前記表示部に表示する処理を行う構成である。

【0022】

また、本開示に係る点検支援装置は、上記開示において、前記第１画像と、各画素の座標位置を変更した前記第２画像とに基づいて、損傷を含む劣化の種類を特定する第２特定部を備える構成である。

【0023】

また、本開示に係る点検支援装置は、上記開示において、前記撮像部により生成した前記第１画像の中心を含む特定領域の明度の参照値と、前記第２画像の中心を含む特定領域の明度の参照値とを比較して、所定の閾値以上の差分が生じているかどうかを判定する判定部と、前記判定部により所定の閾値以上の差分が生じていると判定された場合には報知を行う報知部とを備える構成である。

【0024】

上述した課題を解決し、目的を達成するために、本開示に係る点検支援方法は、ユーザ操作に応じて特定箇所の画像を生成する撮像工程と、前記撮像工程が生成した、点検対象物の損傷箇所を含む第１画像と、当該損傷箇所を含む、前記第１画像と異なる位置から撮像された第２画像との特徴点を抽出する第１処理工程と、前記第１画像の特徴点と前記第２画像の特徴点とに対応付けて、前記第１画像の特徴点と前記第２画像の特徴点との画像上のずれを算出する第２処理工程と、前記第２処理工程により算出された前記ずれに基づいて、前記第１画像の特徴点と、当該特徴点に対応する前記第２画像の特徴点とが、表示部において互いに対応して表示されるように、前記第１画像および前記第２画像の少なくとも一方の各画素の座標位置を変更する処理を行う第３処理工程と、前記第３処理工程により処理された結果を前記表示部に表示する処理を行う表示処理工程とを備える。

【0025】

上述した課題を解決し、目的を達成するために、本開示に係る点検支援プログラムは、コンピュータに、ユーザ操作に応じて特定箇所の画像を生成する撮像工程と、前記撮像工程が生成した、点検対象物の損傷箇所を含む第１画像と、当該損傷箇所を含む、前記第１画像と異なる位置から撮像された第２画像との特徴点を抽出する第１処理工程と、前記第１画像の特徴点と前記第２画像の特徴点とに対応付けて、前記第１画像の特徴点と前記第２画像の特徴点との画像上のずれを算出する第２処理工程と、前記第２処理工程により算出された前記ずれに基づいて、前記第１画像の特徴点と、当該特徴点に対応する前記第２画像の特徴点とが、表示部において互いに対応して表示されるように、前記第１画像および前記第２画像の少なくとも一方の各画素の座標位置を変更する処理を行う第３処理工程と、前記第３処理工程により処理された結果を前記表示部に表示する処理を行う表示処理工程とを実行させるためのプログラムである。

【発明の効果】

【0026】

本発明によれば、点検を行う時間帯に制限を設けずに、撮像画像から点検対象物の損傷状態を視認させることができる。

【図面の簡単な説明】

【0027】

【図1】図１は、点検の作業を支援する点検支援装置の構成を示す図である。

【図2】図２は、第１画像および第２画像を生成するときの様子を模式的に示す図である。

【図3】図３は、第２処理部により第１画像と第２画像の特徴点同士を対応付ける処理についての説明に供する図である。

【図4】図４は、第３処理部により画像の座標位置を変更処理した後の様子を模式的に示す図である。

【図5】図５は、表示部に第１画像と第２画像とが表示されている様子を模式的に示す図である。

【図6】図６は、損傷記録票の一例を模式的に示す図である。

【図7】図７は、撮像部により生成された複数の画像を示す図である。

【図8】図８は、明度差画像の一例を模式的に示す図である。

【図9】図９は、第１画像と第２画像とが時間軸上に繰り返し並んでいる様子を模式的に示す図である。

【図10】図１０は、第１画像と第２画像とが表示部に表示される例を模式的に示す図である。

【図11】図１１は、表示処理部によりステレオグラムを生成する手順についての説明に供する図である。

【図12】図１２は、アナグリフ画像を生成する手順についての説明に供する図である。

【図13】図１３は、ヘッドマウントディスプレイが頭部に装着されている様子を示す図である。

【図14】図１４は、損傷箇所の深さ方向を特定する手順についての説明に供する図である。

【図15】図１５は、明度差に対する深さ方向が規定されている第１テーブルの一例を模式的に示す図である。

【図16】図１６は、第１記憶部に保存されている第２テーブルを模式的に示す図である。

【図17】図１７は、コンピュータの構成を示す図である。

【図18】図１８は、他のコンピュータの構成を示す図である。

【図19】図１９は、点検アプリの動作についての説明に供するフローチャートである。

【図20】図２０は、点検支援装置の外観を示す図である。

【図21】図２１は、撮像時に表示部に表示される撮像画面の一例を模式的に示す図である。

【図22】図２２は、第２記憶部に保存されている第３テーブルを模式的に示す図である。

【図23】図２３は、指示部により移動の方向が指示される様子を模式的に示す図である。

【図24】図２４は、撮像部で生成された画像が保存されるときのフォルダ構造を模式的に示す図である。

【図25】図２５は、点検支援方法の手順を示すフローチャートである。

【発明を実施するための形態】

【0028】

以下、本開示を実施するための形態を図面とともに詳細に説明する。なお、以下の実施の形態により本開示が限定されるものでない。

【0029】

（点検支援装置の構成と動作について）
図１は、点検の作業を支援する点検支援装置の構成を示す図である。点検支援装置１は、撮像部１１と、第１処理部１２と、第２処理部１３と、第３処理部１４と、表示処理部１５を備える。点検支援装置１は、例えば、タブレット端末、スマートフォン、ノートＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等で構成されている。

【0030】

撮像部１１は、ユーザ操作に応じて特定箇所の画像を生成する。撮像部１１は、例えば、被写体を撮像し、画像を生成するカメラ機能を有している。具体的には、撮像部１１は、レンズユニットと、撮像素子と、信号処理部とから構成される。レンズユニットは、被写体像を取り込んで当該撮像素子の撮像面に結像する。撮像素子は、レンズユニットが結像した被写体像を受光して電気信号に変換するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等で構成されている。信号処理部は、撮像素子からの電気信号に対して信号処理（例えばＡ／Ｄ変換等）を行って画像を生成する。

【0031】

第１処理部１２は、撮像部１１が生成した、点検対象物の損傷箇所を含む第１画像と、当該損傷箇所を含む、第１画像と異なる位置から撮像された第２画像との特徴点を抽出する。点検対象物とは、コンクリートで製造されている電柱などの道路附属物や、建物などの壁面などである。なお、点検対象部は、コンクリートに限定されず、ゴムなどでもよい。本実施例では、主な点検対象物として電柱を一例に説明するが、点検対象物は電柱に限定されない。損傷箇所とは、電柱の表面に生じているひび割れなどである。

【0032】

ここで、第１画像と第２画像について説明する。図２は、第１画像および第２画像を生成するときの様子を模式的に示す図である。点検者は、点検対象物である電柱Ａの損傷箇所Ｂを発見した場合、点検支援装置１により画像を撮像する。

【0033】

点検者は、損傷箇所Ｂであるひび割れが生じている方向に対して撮像部１１（点検支援装置１）を垂直方向に移動して、明度が異なる画像を少なくとも２枚撮影する。撮影枚数は２枚でもよいし、多数撮影した中から明度の異なる２枚を選んでもよい。また、動画撮影をして得られた動画から適当なフレームから２つを選択してもよい。

【0034】

例えば、点検者は、損傷箇所Ｂが画像の所定部分（例えば画像の中心付近）に位置するように撮像部１１により撮像する。このときに撮像部１１により生成された画像を第１画像Ｐ１１とする。図２に示す例では、損傷箇所Ｂは、図２中のＸ方向に対して略垂直な方向に伸びている。点検者は、損傷箇所Ｂの長手方向に対して垂直な方向（図２中のＸ方向）に撮像部１１（点検支援装置１）を移動し、損傷箇所Ｂが画像に含まれるように撮像部１１により撮像する。このときに撮像部１１により生成された画像を第２画像Ｐ２１とする。なお、点検者は、撮像部１１（点検支援装置１）を電柱Ａに近づけたり遠ざけたりせずに、電柱Ａとの距離を一定に保ちながら、ひび割れに対して垂直方向にゆっくりと移動させて撮像することが好ましい。

【0035】

図２に示すように、第１画像Ｐ１１に含まれている損傷箇所Ｂ１の明度と、第２画像Ｐ２１に含まれている損傷箇所Ｂ２の明度は異なっている。一方、第１画像Ｐ１１に含まれている損傷箇所Ｂ１以外の箇所の明度と、第２画像Ｐ２１に含まれている損傷箇所Ｂ２以外の箇所の明度はほぼ同じである。これは、損傷箇所Ｂは、表面から内部に向かってひび割れが生じているので、例えば、ひび割れの真上から撮像した場合と、このひび割れを斜め上方から撮像した場合（ひび割れが生じている方向に対して垂直方向に移動させて撮像した場合）とで、損傷箇所Ｂ１から撮像部１１の方向に反射される光量が異なることによる。一方、損傷箇所Ｂが生じていない箇所は、異なるアングルから撮影しても明度の変化はほとんどないと言える。

【0036】

また、第１処理部１２は、第１画像および第２画像を解析し、特徴点を抽出する。第１処理部１２は、例えば、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）やＳＵＲＦ（Ｓｐｅｅｄｅｄ－Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）などの手法を利用して、各画像の明度や色彩の変化が生じているエッジや、エッジが交わるコーナー等の特徴的な部位を特徴点として抽出する。

【0037】

図２には、第１処理部１２により第１画像Ｐ１１から複数の特徴点ａ＿１～ａ＿ｎを抽出した画像を第１画像Ｐ１２として示している。複数の特徴点ａ＿１～ａ＿ｎは、損傷箇所Ｂ１の周囲に集中している。また、図２には、第１処理部１２により第２画像Ｐ２１から複数の特徴点ａ＿１′～ａ＿ｎ′を抽出した画像を第２画像Ｐ２２として示している。複数の特徴点ａ＿１′～ａ＿ｎ′は、損傷箇所Ｂの周囲に集中している。

【0038】

第２処理部１３は、第１画像の特徴点と第２画像の特徴点とに対応付けて、第１画像の特徴点と第２画像の特徴点との画像上のずれを算出する。図３は、第２処理部１３により第１画像Ｐ１２と第２画像Ｐ２２の特徴点同士を対応付ける処理についての説明に供する図である。

【0039】

例えば、第２処理部１３は、第１画像Ｐ１２の特徴点と第２画像Ｐ２２の特徴点とをマッチング処理により特徴点同士を対応付け、この対応付けの結果から、第１画像の特徴点と第２画像の特徴点との画像上のずれを算出する。具体的には、第２処理部１３は、マッチング処理により第１画像Ｐ１２の特徴点ａ＿１と第２画像Ｐ２２の特徴点ａ＿１′とを対応付ける処理を行う。そして、第２処理部１３は、対応付けた第１画像Ｐ１２の特徴点ａ＿１と第２画像Ｐ２２の特徴点ａ＿１′とが何画素（何ピクセル）ずれているかを算出する。なお、第２処理部１３は、マッチング処理によりすべての特徴点同士を対応付け、この対応付けた結果から、すべての特徴点同士が何画素（何ピクセル）ずれているかを算出する。

【0040】

第３処理部１４は、第２処理部１３により算出されたずれに基づいて、第１画像の特徴点と、当該特徴点に対応する第２画像の特徴点とが、表示部１６において互いに対応して表示されるように、第１画像および第２画像の少なくとも一方の各画素の座標位置を変更する処理を行う。

【0041】

図４は、第３処理部１４により画像の座標位置を変更処理した後の様子を模式的に示す図である。なお、図４では、第２画像の座標位置を変更する例を示しているが、第１画像の座標位置を変更してもよい。また、図４に示す第２画像Ｐ２２は、下方向に座標位置を変更したため、変更した量だけ画像の上部分に黒い縁が表れるが、黒い縁を残してもよいし、近くの部分の画素をコピーしてもよい。

【0042】

表示処理部１５は、第３処理部１４により処理された結果を表示部１６に表示する処理を行う。図５は、表示部１６に第１画像Ｐ１２と第２画像Ｐ２２とが表示されている様子を模式的に示す図である。第１画像Ｐ１２と第２画像Ｐ２２とは、同じ座標位置に明度が異なる損傷箇所Ｂ１，Ｂ２が示されている。

【0043】

また、点検支援装置１は、第３処理部１４で処理した第１画像および第２画像を損傷記録表Ｃに添付して、点検の依頼主に送付してもよい。

【0044】

図６は、損傷記録票Ｃの一例を模式的に示す図である。損傷記録票Ｃには、例えば、図６に示すように、部材名称、部材全体としての損傷程度の評価結果、及び当該部材の措置内容等の情報と、当該部材に対して割り当てられた複数の点検箇所を撮影した撮影画像とが含まれている。

【0045】

このようにして、点検支援装置１は、点検対象物に生じている損傷箇所を撮像する際に、撮像部１１に対するライト位置を変更して撮像する必要がなく、太陽光による影響が低減されるため、点検を行う時間帯に制限が生じることがなく、また、損傷箇所のみ明度が異なる２つの撮像画像を生成するので、撮像画像から点検対象物の損傷状態を視認させることができる。

【0046】

（第１処理部の動作について）
第１処理部１２は、撮像部１１により３つ以上の画像を生成した場合、一定以上の明度の差がある二つの画像を選択し、一方を第１画像とし、他方を第２画像とする構成でもよい。

【0047】

図７は、損傷箇所Ｂの長手方向に対する垂直方向において異なる位置から損傷箇所Ｂを撮影し、撮像部１１により生成された複数の画像を示す図である。画像Ｐ３１には、損傷箇所Ｂ３１が含まれている。画像Ｐ３２には、損傷箇所Ｂ３２が含まれている。画像Ｐ３３には、損傷箇所Ｂ３３が含まれている。画像Ｐ３４には、損傷箇所Ｂ３４が含まれている。なお、図７では、４つの画像が生成された例を示しているが、３つ以上であればよい。

【0048】

例えば、点検者は、損傷箇所Ｂの長手方向に対して垂直方向に撮像部１１（点検支援装置１）を移動しながら、損傷箇所Ｂが画像に含まれるように撮像する。また、撮像部１１の連写機能を利用して複数の画像を撮像してもよいし、撮像部１１の動画撮影機能を利用し、得られた動画から複数のフレーム（画像）を抽出してもよい。

【0049】

また、損傷箇所の明度は、低い順に、損傷箇所Ｂ３１、損傷箇所Ｂ３２、損傷箇所Ｂ３３、損傷箇所Ｂ３４である。第１処理部１２は、損傷箇所Ｂ３１が含まれる画像Ｐ３１を第１画像とし、損傷箇所Ｂ３４が含まれる画像Ｐ３４を第２画像とすることができる。

【0050】

このようにして、複数の明度の異なる画像を生成することで、複数の画像の明度に基づいて、適切な画像を第１画像と第２画像として選択することができる。

【0051】

また、第１処理部１２は、明度の異なる複数の撮像画像を合成して第１画像と第２画像を生成するようにしてもよい。より具体的には、例えば、図７に示すように損傷箇所Ｂ３１、損傷箇所Ｂ３２、損傷箇所Ｂ３３、損傷箇所Ｂ３４の画像がある場合、第１処理部１２は、各画像の同じ位置に対応する画素のうち、所定の条件（例えば、最も明度が低い、または明度が所定の値以下）を満たす画素を抽出し、各画像のそれぞれの位置で同様に抽出した画素を配列して第１画像を生成するとともに、各画像の同じ位置に対応する画素のうち、他の所定の条件（例えば、最も明度が高い、または明度が所定の値以上）を満たす画素を抽出し、各画像のそれぞれの位置で同様に抽出した画素を配列して第２画像を生成するようにしてもよい。画素単位でなく、各撮像画像を複数の領域に同様に分割し、当該領域の参照値（例えば、当該領域における明度の平均値、代表値等）が所定の条件を見たす領域をそれぞれ合成して第１画像と第２画像を生成するようにしてもよい。このようにして、複数の撮像画像を合成して、互いに明度の異なる第１画像と第２画像を生成することができる。

【0052】

なお、上述したように複数の撮像画像を合成して互いに明度の異なる第１画像と第２画像を生成する場合、当該複数の撮像画像に対し、第１処理部１２、第２処理部１３、第３処理部１４を利用した処理により、互いの撮像画像の撮影位置を補正した上で合成し、互いに明度の異なる第１画像と第２画像を生成するようにしてもよい。

【0053】

（第３処理部の動作について）
また、第３処理部１４は、第１画像と、各画素の座標位置を変更した第２画像とに基づいて、各画素における、第１画像と、各画素の座標位置を変更した第２画像との明度の差を示す明度差画像を生成する構成でもよい。

【0054】

図８は、明度差画像Ｐ３の一例を模式的に示す図である。明度差画像Ｐ３は、明度差が大きいほど白色（黒色でもよい）になる。このようにして、点検支援装置１は、明度差が最も大きい損傷箇所を明度差画像により明確に示すことができる。

【0055】

（表示処理部の第１の動作について）
表示処理部１５は、第１画像と、各画素の座標位置を変更した第２画像とを所定のタイミング（例えば、２００ｍｓｅｃごと）で順次切り替えて表示されるように処理を行う構成でもよい。

【0056】

図９は、第１画像Ｐ１２と第２画像Ｐ２２とが時間軸上に繰り返し並んでいる様子を模式的に示す図である。表示処理部１５は、例えば、第１画像と第２画像を実際に切り替えて表示してもよいし、アニメーションＧＩＦ（登録商標）やＭＰＥＧ４（登録商標）などにより繰り返し再生を実現してもよい。

【0057】

このようにして、点検支援装置１は、第１画像と第２画像とをパラパラ漫画のように順次切り替えて表示するので、損傷箇所をより明確に示すことができる。

【0058】

（表示処理部の第２の動作について）
表示処理部１５は、第１画像と、各画素の座標位置を変更した第２画像とが表示部１６においてに並列して表示されるように処理を行う構成でもよい。

【0059】

図１０は、第１画像Ｐ１２と第２画像Ｐ２２とが表示部１６に表示される例を模式的に示す図である。図１０（ａ）は、第１画像Ｐ１２と第２画像Ｐ２２とが表示部１６において左右に配置される例を示している。図１０（ｂ）は、第１画像Ｐ１２と第２画像Ｐ２２とが表示部１６において上下に配置される例を示している。

【0060】

表示処理部１５は、水平方向が垂直方向よりも長くなるように表示部１６が配置（横長配置）された場合には、図１０（ａ）に示すように、第１画像Ｐ１２と第２画像Ｐ２２とが表示部１６において左右に配置し、垂直方向が水平方向よりも長くなるように表示部１６が配置（縦長配置）された場合には、図１０（ｂ）に示すように、第１画像Ｐ１２と第２画像Ｐ２２とが表示部１６において上下に配置する。

【0061】

このようにして、点検支援装置１は、表示部１６の向きに応じて、損傷箇所のみ明度が異なる２つの撮像画像を表示するので、損傷箇所の把握を容易に行わせることができる。

【0062】

また、第２処理部１３により算出したずれに基づいて、撮像部１１と損傷箇所との間の距離を算出し、第３処理部１４により第１画像および第２画像の少なくとも一方の各画素の座標位置を変更する処理を行う際に、当該距離に応じた画素の横ずれを生じさせる処理を行ってもよい。このような構成によれば、３次元的な立体感を生じさせることができ、現場での目視に近い感覚を再現することができる。また、縦方向に撮像部１１を移動させて撮像した場合であっても、横ずれを生じさせる処理を行うことにより、立体感を生じさせることができ、ステレオカメラでは実現が困難な効果を奏することができる。

【0063】

（表示処理部の第３の動作について）
表示処理部１５は、第１画像と、各画素の座標位置を変更した第２画像とが表示部１６に表示されたときに、裸眼立体視されるように処理を行う構成でもよい。裸眼立体視されるような処理とは、二次元である第１画像と第２画像とを裸眼で観察したときに、三次元的に見える（立体視できる）ように、第１画像と第２画像に対して行う処理である。

【0064】

例えば、カメラを所定距離（例えば、６．５ｃｍ）ずらして２枚の画像を生成することにより、裸眼立体視可能な画像（ステレオグラム）を生成することができる。

【0065】

よって、表示処理部１５は、例えば、第２画像Ｐ２２に対して、撮像部１１を右方向に所定距離（例えば、６．５ｃｍ）ずらした場合に相当する画像処理（左方向に所定の画素数移動する処理）を行う。図１１は、表示処理部１５によりステレオグラムを生成する手順についての説明に供する図である。

【0066】

このようにして、点検支援装置１は、表示処理部１５により裸眼立体視されるように処理を行うので、表示部１６に表示される画像を裸眼立体視させることができ、損傷箇所の把握を容易に行わせることができる。

【0067】

（表示処理部の第４の動作について）
表示処理部１５は、第１画像と、各画素の座標位置を変更した第２画像とに基づいて、アナグリフ画像を生成し、当該アナグリフ画像を表示部１６に表示する構成でもよい。

【0068】

本実施例では、撮像部１１により損傷箇所を真正面から見て少し左側から撮像して生成した画像を第１画像とし、当該損傷箇所を真正面から見て少し右側から撮像して生成した画像を第２画像とする。

【0069】

図１２は、アナグリフ画像を生成する手順についての説明に供する図である。表示処理部１５は、例えば、第１画像Ｐ１２が赤色成分から構成されるように画像処理を行い、第１画像Ｐ１３を生成し、また、第２画像Ｐ２２が青色成分から構成されるように画像処理を行い、第２画像Ｐ２３を生成する。表示処理部１５は、第１画像Ｐ１３と第２画像Ｐ２３とを合成して、アナグリフ画像Ｐ４を生成する。

【0070】

表示処理部１５は、アナグリフ画像Ｐ４を表示部１６に表示する。アナグリフ用メガネ（左目が赤色フィルタで構成され、右目が青色フィルタで構成されるメガネ）を掛けると、損傷箇所を立体的に見ることができる。

【0071】

このようにして、点検支援装置１は、表示部１６にアナグリフ画像を表示するので、アナグリフ用メガネを利用することにより、損傷箇所を立体的に見せることができ、二つの画像を平行視または交差視させる場合に比べて、観察者への負担が少なく、損傷箇所の把握をより容易に行わせることができる。

【0072】

（表示部の動作について）
表示部１６は、ヘッドマウントディスプレイで構成されてもよい。この構成の場合、表示処理部１５は、第１画像と、各画素の座標位置を変更した第２画像とをヘッドマウントディスプレイに表示するように処理する。

【0073】

図１３は、ヘッドマウントディスプレイ（ＨＭＤ）が頭部に装着されている様子を示す図である。ヘッドマウントディスプレイとは、頭部に装着するディスプレイ装置のことである。ヘッドマウントディスプレイは、表示された画像を２次元（２Ｄ）または３次元（３Ｄ）に表示することができる。表示処理部１５は、第１画像と第２画像を２次元（２Ｄ）または３次元（３Ｄ）でヘッドマウントディスプレイに表示するように処理する。

【0074】

このようにして、点検支援装置１は、ヘッドマウントディスプレイに第１画像と第２画像とを表示することにより、二つの画像を平行視または交差視させる場合に比べて、観察者への負担が少なく、損傷箇所の把握をより容易に行わせることができる。

【0075】

（損傷箇所の深さ方向の特定について）
点検支援装置１は、図１に示すように、第１画像に含まれている損傷箇所の明度と、各画素の座標位置を変更した第２画像に含まれている損傷箇所の明度との差分を算出し、当該明度の差分に基づいて、損傷箇所の深さ方向を特定する第１特定部１７を備える構成でもよい。

【0076】

図１４は、損傷箇所の深さ方向を特定する手順についての説明に供する図である。図１４では、電柱Ａの断面を示している。また、図１４中のＸ１は、損傷箇所Ｂの深さ方向を示している。例えば、Ｘは、電柱Ａの表面Ｓに対する角度θで示すことができる。ここで、光源（例えば、太陽）からの光が表面Ｓに対して垂直に照射されているものとする。また、撮像は、電柱Ａの表面Ｓから所定距離Ｔの位置から行うものとする。

【0077】

損傷箇所Ｂの真上付近から撮像（図１４中のＤ１の位置から撮像）して、生成された画像を画像Ｐ５１とする。また、損傷箇所Ｂが表面Ｓ上に生じている方向に対して垂直方向に撮像部１１を移動させて、損傷箇所Ｂを含むように撮像（図１４中のＤ２の位置から撮像）して、生成された画像を画像Ｐ５２とする。画像Ｐ５１に含まれている損傷箇所Ｂ１の明度と、画像Ｐ５２に含まれている損傷箇所Ｂ２の明度とに差が生じている。

【0078】

図１５は、明度差に対する深さ方向が規定されている第１テーブルＴ１の一例を模式的に示す図である。なお、明度差と深さ方向の対応は、一例であって、第１テーブルＴ１に限定されない。明度差は、例えば、階調値の差を示している。例えば、画像Ｐ５１に含まれている損傷箇所Ｂ１の明度が「２０」であり、画像Ｐ５２に含まれている損傷箇所Ｂ２の明度が「３０」の場合には、明度差は「１０」である。

【0079】

第１特定部１７は、第１テーブルＴ１を参照して、損傷箇所の明度の差分に対応する損傷箇所の深さ方向を特定する。なお、第１特定部１７は、第１テーブルＴ１ではなく、所定の関数を利用して、損傷箇所の明度の差分に対応する損傷箇所の深さ方向を算出してもよい。

【0080】

また、本実施例では、２つの画像に含まれている損傷箇所の明度差に基づいて、損傷箇所の深さ方向を特定したが、撮像位置の異なる３つ以上の画像に含まれる損傷箇所の明度差に基づいて、損傷箇所の深さ方向を特定してもよい。

【0081】

このようにして、点検支援装置１は、第１特定部１７により損傷箇所の深さ方向を特定（推定）するので、点検対象物に補修が必要なのかどうかの判断などに役立てることができる。

【0082】

点検支援装置１は、図１に示すように、センサ１８と、第１記憶部１９とを備える構成でもよい。

【0083】

センサ１８は、鉛直方向を検出する。センサ１８は、例えば、加速度センサ、ジャイロセンサ、または地磁気センサなどにより構成される。

【0084】

第１記憶部１９は、撮像部１１により点検対象物を撮像するときにセンサ１８の検出結果を取得し、当該センサ１８の検出結果と第１画像および第２画像とを関連付けて保存する。

【0085】

点検支援装置１は、センサ１８の検出結果に基づいて、自身の向き（例えば、縦向きや横向きなど）を判定する機能を有している。

【0086】

ここで、点検者は、損傷箇所の形状などに応じて、適宜、点検支援装置１の向きを変えて撮像を行う。図１６は、第１記憶部１９に保存されている第２テーブルＴ２を模式的に示す図である。第２テーブルＴ２は、各画像に固有に付与される画像ＩＤと、その画像が撮像されたときのセンサ１８の検出結果が関連付けられている。

【0087】

よって、点検支援装置１は、第２テーブルＴ２を参照することにより、画像を撮像したときの点検支援装置１の向きを判定することができ、画像に含まれている損傷箇所の方向を正しく認識することができる。例えば、損傷記録表Ｃ（図６を参照）に画像が９０°回転して張り付けられていた場合、その画像を撮像したときの点検支援装置１の向きが分かるので、その画像に含まれている損傷箇所の方向を正しく認識することができる。

【0088】

（点検支援アプリについて）
点検支援装置１の各構成要素の機能は、アプリケーションプログラム（以下、点検支援アプリと称する）により実現することができる。ここで、点検支援アプリについて説明する。点検支援アプリは、主に以下の工程で構成されており、コンピュータ５００（ハードウェア）によって実行される。

【0089】

工程１：ユーザ操作に応じて特定箇所の画像を生成する撮像工程
工程２：撮像工程が生成した、点検対象物の損傷箇所を含む第１画像と、当該損傷箇所を含む、第１画像と異なる位置から撮像された第２画像との特徴点を抽出する第１処理工程
工程３：第１画像の特徴点と第２画像の特徴点とに対応付けて、第１画像の特徴点と第２画像の特徴点との画像上のずれを算出する第２処理工程
工程４：第２処理工程により算出されたずれに基づいて、第１画像の特徴点と、当該特徴点に対応する第２画像の特徴点とが、表示部１６において互いに対応して表示されるように、第１画像および第２画像の少なくとも一方の各画素の座標位置を変更する処理を行う第３処理工程
工程５：第３処理工程により処理された結果を表示部１６に表示する処理を行う表示処理工程

【0090】

ここで、コンピュータ５００の構成と動作について図を用いて説明する。図１７は、コンピュータ５００の構成を示す図である。コンピュータ５００は、図１７に示すように、プロセッサ５０１と、メモリ５０２と、ストレージ５０３と、入出力Ｉ／Ｆ５０４と、通信Ｉ／Ｆ５０５とがバスＢＵＳ上に接続されて構成されており、これらの各構成要素の協働により、本開示に記載される機能、および／または、方法を実現する。

【0091】

入出力Ｉ／Ｆ５０４には、ディスプレイやポインティングデバイス（例えば、マウスやキーボードなど）が接続される。入出力Ｉ／Ｆ５０４に接続されるディスプレイは、表示部１６が相当する。

【0092】

通信Ｉ／Ｆ５０５は、所定の通信規格に準拠したインターフェイスであり、有線または無線によりネットワークを介して、外部装置（例えば、会社のサーバや、点検依頼者の端末装置など）と通信を行う。

【0093】

メモリ５０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）で構成される。ＲＡＭは、揮発メモリまたは不揮発性メモリで構成されている。

【0094】

ストレージ５０３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）で構成される。ＲＯＭは、不揮発性メモリで構成されており、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により実現される。ストレージ５０３は、第１記憶部１９および第２記憶部が相当する。ストレージ５０３には、上述した工程１～工程６で実現される点検支援アプリなどの各種のプログラムが格納されている。

【0095】

プロセッサ５０１は、コンピュータ５００全体の動作を制御する。プロセッサ５０１は、ストレージ５０３からオペレーティングシステムや多様な機能を実現する様々なプログラムをメモリ５０２にロードし、ロードしたプログラムに含まれる命令を実行する演算装置である。

【0096】

具体的には、プロセッサ５０１は、点検者の操作を受け付けた場合、ストレージ５０３に格納されているプログラム（例えば、本実施形態にかかる本発明に係る点検支援アプリ）を読み出し、読み出したアプリをメモリ５０２に展開し、実行する。また、プロセッサ５０１が点検支援プログラムを実行することにより、第１処理部１２と、第２処理部１３と、第３処理部１４と、表示処理部１５と、詳細は後述する、第１特定部１７と、取得部２０と、動作処理部２２と、指示部２３と、第２特定部２４と、判定部２５と、報知部２６の各機能が実現される。

【0097】

ここで、プロセッサ５０１の構成について説明する。プロセッサ５０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、これら以外の各種演算装置、またはこれらの組み合わせにより実現される。

【0098】

また、本開示に記載される機能、および／または、方法を実現するために、プロセッサ５０１、メモリ５０２およびストレージ５０３などの機能の一部または全部は、専用のハードウェアである処理回路６０１で構成されてもよい。図１８は、コンピュータ６００の処理回路６０１の構成を示す図である。処理回路６０１は、例えば、単一回路、複合回路、プログラム化されたプロセッサ、並列プログラム化されたプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらを組み合わせたものである。

【0099】

また、プロセッサ５０１は、単一の構成要素として説明したが、これに限られず、複数の物理的に別体のプロセッサの集合により構成されてもよい。本明細書において、プロセッサ５０１によって実行されるとして説明されるプログラムまたは当該プログラムに含まれる命令は、単一のプロセッサ５０１で実行されてもよいし、複数のプロセッサにより分散して実行されてもよい。また、プロセッサ５０１によって実行されるプログラムまたは当該プログラムに含まれる命令は、複数の仮想プロセッサにより実行されてもよい。

【0100】

ここで、点検支援アプリの動作について説明する。図１９は、点検アプリの動作についての説明に供するフローチャートである。なお、本実施にかかる点検支援装置１には、点検支援アプリがインストールされているものとする。図２０は、点検支援装置１の外観を示す図である。図２０（ａ）は、表示部１６が配置されている側から見たときの点検支援装置１の外観を示す図である。図２０（ｂ）は、撮像部１１が配置されている側から見たときの点検支援装置１の外観を示す図である。なお、表示部１６の前面にはタッチパネルが配置されている。点検支援装置１は、表示部１６に表示されているアイコンを点検者が指などでタッチ操作することにより、所定の動作（アイコンに対応するアプリの起動など）を行う機能を有している。

【0101】

ステップＳＴ１において、点検支援装置１は、点検者の操作を受け付け、点検支援アプリを起動する。具体的には、点検者は、点検対象物（例えば、電柱）に対する点検を開始するときに、表示部１６に表示されている点検支援アプリを示すアイコンをタッチ操作する。点検支援アプリが起動し、表示部１６には、点検支援アプリのトップ画面が表示される。

【0102】

ステップＳＴ２において、点検支援装置１は、点検者の操作を受け付け撮像部１１により撮像を行う。

【0103】

図２１は、撮像時に表示部１６に表示される撮像画面Ｇの一例を模式的に示す図である。点検支援装置１は、撮像部１１からの映像をそのまま表示部１６に表示するライブビュー機能を有している。撮像画面Ｇは、ライブビュー機能により撮像部１１から取り込んだ映像を表示する領域Ａ１と、各種の情報が表示される領域Ａ２と、撮像部１１により撮像するボタンＢＴとにより構成される。なお、撮像画面Ｇのレイアウトや含まれる構成要素は、上述に限定されない。

【0104】

ステップＳＴ３において、点検支援装置１は、点検を終了するかどうかを判断する。点検を終了する場合（Ｙｅｓ）には、処理を終了する。点検を終了しない場合（Ｎｏ）には、ステップＳＴ２に戻る。点検を終了しない場合には、ユーザは、他の点検対象物に移動し、点検を継続する。

【0105】

（固有情報などの取得について）
ここで、ステップＳＴ２の工程において、点検支援装置１により点検対象物を特定するための固有情報などを取得するための構成と動作について説明する。点検支援装置１は、図１に示すように、取得部２０と、第２記憶部２１とを備える構成である。

【0106】

取得部２０は、少なくとも点検対象物を特定するための固有情報と、点検対象物の撮像部位に関する情報とを取得する。点検対象物を特定するための固有情報とは、例えば、点検対象物である電柱に固有に付されているＩＤ番号である。点検対象物の撮像部位に関する情報とは、例えば、生成した画像が点検対象物（電柱）のどこを撮影したのかの位置（電柱の上位、中位、下位など）を示す情報である。

【0107】

第２記憶部２１は、取得部２０が取得した情報と、第１画像および第２画像とを関連付けて保存する。

【0108】

また、取得部２０が取得する情報は、点検対象物に発生した損傷の種類に関する情報を含んでもよい。点検対象物に発生した損傷の種類に関する情報とは、ひび割れや、クラックなどを示す情報である。

【0109】

図２２は、第２記憶部２１に保存されている第３テーブルＴ３を模式的に示す図である。第３テーブルＴ３は、点検対象物を特定するための固有情報（識別番号）と、点検対象物の撮像部位に関する情報（撮像部位情報）と、点検対象物に発生した損傷の種類に関する情報（損傷情報）とが、画像ＩＤに関連付けられている。

【0110】

取得部２０は、撮像画面Ｇの領域Ａ１に表示されている検査対象物に付されているプレート（検査対象物が電柱の場合には、プレートに電柱番号などが表示されている）などを読み込み、読み込んだ画像を文字に変換する文字認識機能により識別番号を取得する構成でもよい。なお、取得部２０は、ユーザにより入力された識別番号を取得する構成でもよい。取得部２０で取得された識別番号は、撮像画面Ｇの領域Ａ２に表示される。

【0111】

また、取得部２０は、撮像画面Ｇの領域Ａ１に表示されている検査対象物に対して、撮像部１１により拡大（ズーム）している箇所を認識して、撮像部位情報（例えば、上部、中部、下部）を取得する構成でもよい。なお、取得部２０は、ユーザにより入力された撮像部位情報を取得する構成でもよい。取得部２０で取得された撮像部位情報は、撮像画面Ｇの領域Ａ２に表示されてもよい。

【0112】

また、取得部２０は、撮像画面Ｇの領域Ａ１に表示されている検査対象物の損傷を含む劣化の種類を画像解析により認識して取得する構成でもよい。また、取得部２０は、第１処理部１２または第３処理部で処理された結果に基づいて、損傷を含む劣化の状態やその種類を特定してもよい。

【0113】

具体的には、点検支援装置１は、図１に示すように、第１画像と、各画素の座標位置を変更した第２画像とに基づいて、損傷を含む劣化の種類を特定する第２特定部２４を備える。

【0114】

例えば、第２特定部２４は、画像から抽出した複数の特徴点に基づいて、損傷を含む劣化の状態やその種類を特定する。具体的には、第２特定部２４は、予め複数の損傷を含む劣化の画像により学習を行って予測モデルを生成し、この予測モデルに対象となる画像を入力して、損傷を含む劣化の状態やその種類を特定（ＡＩによる判定）してもよい。なお、損傷を含む劣化の状態の例としては、劣化している箇所の長さや幅、損傷であれば深さ等がある。

【0115】

また、第２特定部２４が、図８に示すような明度差画像を用いて損傷を含む劣化の状態や種類を特定するようにしてもよい。より具体的には、例えば、第１画像および第２画像の少なくとも一方と明度差画像とを両画像上で互いに対応する箇所の明度差および彩度に基づいて、画像上に損傷または錆のいずれが表示されているかを特定するようにしてもよい。ＡＩによる特定を行う場合には、明度差画像を教師データとして用いることで予測モデルを簡略化することができ、より精度よく損傷を含む劣化の状態や種類を特定することができる。

【0116】

また、取得部２０は、上述のＡＩによる判定ではなく、ユーザにより損傷を含む劣化の種類が判定され、その判定結果を取得する構成でもよい。取得部２０で取得された損傷を含む劣化の種類は、撮像画面Ｇの領域Ａ２に表示される。図２１に示す例では、「ひび」項目と「錆汁」項目が選択された状態で示されている。

【0117】

（撮像部の動作モードについて）
また、撮像部１１には複数の動作モードがあり、この動作モードを切り替えて撮像してもよい。具体的には、点検支援装置１は、図１に示すように、ユーザの操作に応じて撮像部１１の動作モードを切り替える処理を行う動作処理部２２を備える。取得部２０が取得する情報は、動作モードを特定する情報を含んでもよい。

【0118】

撮像部１１の動作モードには、通常の画質で撮像する通常撮影モードと、明るさの異なる複数の画像を合成するＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ）撮影モードと、移動させながら撮影する移動撮影モードなどがある。例えば、検査対象物の全体を撮像するときには、通常撮影モードを利用し、損傷箇所を撮像するときには、ＨＤＲ撮影モードや移動撮影モードを利用することができる。

【0119】

また、ユーザは、メニュー（不図示）から撮影モードを選択して撮影を行う。動作処理部２２は、ユーザに選択された動作モードによって動作するように撮像部１１を制御する。取得部２０は、撮像部１１で生成した画像に動作モードを関連付ける処理を行う。

【0120】

（指示機能について）
また、点検支援装置１は、損傷箇所を撮像するときに、表示部１６に撮像部１１を移動する方向を示す指示機能を供えていてもよい。具体的には、点検支援装置１は、図１に示すように、撮像部１１を介して入力される画像が表示部１６に表示されており、当該表示部１６に表示されている損傷の長手方向に基づいて、撮像部１１を移動する方向を指示する指示部２３を備える。表示処理部１５は、指示部２３による指示を表示部１６に表示する処理を行う。

【0121】

図２３は、指示部２３により移動の方向が指示される様子を模式的に示す図である。例えば、ユーザは、領域Ａ１に表示されているライブビューの映像（電柱の損傷箇所が表示されている）において、表示されている損傷箇所を指でなぞる操作を行う。図２３に示す例では、損傷箇所は横方向に伸びているので、ユーザは、損傷箇所が表示されている箇所を指で横になぞる操作を行う。

【0122】

指示部２３は、この操作を受け付け、なぞられた方向に対して直交する方向に移動する旨の指示（図２３中のＩ）を表示部１６に表示する。よって、ユーザは、この指示にしたがうことにより、所望の画像を撮像することができる。

【0123】

（全体の明度が異なる画像が混在することを防止する機能について）
複数のアングルで撮像したときに、ユーザの影が損傷箇所に写り込んだ画像と、ユーザの影が損傷箇所に写り込んでいない画像とが混在されて生成される場合がある。

【0124】

損傷箇所を複数のアングルで撮像するときには、同じ環境下（特に、損傷箇所に当たる光量）で行うことが好ましい。

【0125】

点検支援装置１は、上述のような画像の混在を防止する機能を有している。具体的には、点検支援装置１は、図１に示すように判定部２５と、報知部２６とを備える。

【0126】

判定部２５は、撮像部１１により生成した第１画像の中心を含む特定領域の明度の参照値と、第２画像の中心を含む特定領域の明度の参照値とを比較して、所定の閾値以上の差分が生じているかどうかを判定する。報知部２６は、判定部２５により所定の閾値以上の差分が生じていると判定された場合には報知を行う。

【0127】

第１画像の中心を含む特定領域とは、第１画像の全体を含む概念である。第２画像の中心を含む特定領域についても同様に、第２画像の全体を含む概念である。なお、第１画像の中心を含む特定領域の大きさと、第２画像の中心を含む特定領域の大きさは同じであるものとする。

【0128】

また、この特定領域の明度の参照値とは、特定領域の明度の平均値でもよいし、特定領域の明度の和や、特定の関数に入力した値でもよいし、特定領域における一つ一つの画素の明度そのものを参照値としてもよい。

【0129】

例えば、明度が２５６階調で表現される場合、所定の閾値は、±１０などである。例えば、判定部２５は、第１画像の全体の明度の平均値が「１００」であり、第２画像の全体の明度の平均値が「１５０」の場合、差分は「５０」なので、所定の閾値以上であると判定する。この場合には、報知部２６は、所定の閾値以上である旨を報知する。

【0130】

報知部２６は、撮像画面Ｇに所定のメッセージを報知する構成でもよいし、撮像画面Ｇに所定のアイコンを表示（点灯）する構成でもよいし、スピーカーから所定の音を報知する構成でもよい。このような構成の場合、ユーザは、影が映り込まないように再度撮像を行うことができる。

【0131】

また、報知部２６は、生成された画像に所定の閾値以上である旨のメッセージを関連付ける構成でもよい。このような構成の場合、例えば、第１処理部１２は、当該メッセージが関連付けられている画像に対する以降の処理を行わないようにしてもよい。

【0132】

（画像の保存について）
図２４は、撮像部１１で生成された画像が保存されるときのフォルダ構造を模式的に示す図である。撮像部１１で生成された画像は、第３記憶部２７に保存される。第１処理部１２は、第３記憶部２７に保存されている画像を読み出して処理を行う。

【0133】

ここで、画像を保存するときの点検アプリの動作について説明する。点検アプリは、点検対象物ごとにフォルダを作成する。図２４では、３つの異なる電柱を点検し、点検アプリにより、「電柱名１」、「電柱名２」、「電柱名３」の三つのフォルダが作成された例を示している。

【0134】

点検アプリは、点検対象物ごとに撮像した画像を対応する点検対象物のフォルダに保存する。また、点検アプリは、損傷箇所を含む劣化の種類ごとにフォルダを生成し、生成したフォルダに対応する画像を保存してもよい。図２４では、電柱名１のフォルダに、全体像の画像が保存されるフォルダと、ひびの画像が保存されるフォルダと、その他の画像が保存されるフォルダが生成された様子を示している。

【0135】

点検アプリは、例えば、各画像に対して、撮像モードや撮像日時などをファイル名にする。また、移動撮影モードで撮影を行った場合には、移動撮影モードで撮像された画像をひとつのフォルダにまとめて保存してもよい。図２４では、フォルダ「移動撮影２００４０８１２０５３５」に移動させながら撮影した画像が保存されている様子を示している。

【0136】

（点検支援方法について）
つぎに、点検を行う時間帯に制限を設けずに、撮像画像から点検対象物の損傷状態を視認させる点検支援方法について説明する。図２５は、当該点検支援方法の手順を示すフローチャートである。

【0137】

ステップＳＴ１１において、撮像部１１は、ユーザ操作に応じて特定箇所の画像を生成する（撮像工程）。

【0138】

ステップＳＴ１２において、第１処理部１２は、ステップＳＴ１１の工程で生成した、点検対象物の損傷箇所を含む第１画像と、当該損傷箇所を含む、第１画像と異なる位置から撮像された第２画像との特徴点を抽出する（第１処理工程）。

【0139】

ステップＳＴ１３において、第２処理部１３は、第１画像の特徴点と第２画像の特徴点とに対応付けて、第１画像の特徴点と第２画像の特徴点との画像上のずれを算出する（第２処理工程）。

【0140】

ステップＳＴ１４において、第３処理部１４は、ステップＳＴ１２の工程により算出されたずれに基づいて、第１画像の特徴点と、当該特徴点に対応する第２画像の特徴点とが、表示部１６において互いに対応して表示されるように、第１画像および第２画像の少なくとも一方の各画素の座標位置を変更する処理を行う（第３処理工程）。

【0141】

ステップＳＴ１５において、表示処理部１５は、ステップＳＴ１４の工程により処理された結果を表示部１６に表示する処理を行う（表示処理工程）。

【0142】

このようにして、点検支援方法は、点検対象物に生じている損傷箇所を撮像する際に、ライト位置を変更して撮像する必要がなく、太陽光による影響を受けないため、点検を行う時間帯に制限が生じることがなく、また、損傷箇所のみ明度が異なる２つの撮像画像を生成するので、撮像画像から点検対象物の損傷状態を視認させることができる。

【0143】

以上、本願の実施の形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、本発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

【符号の説明】

【0144】

１ 点検支援装置
１１ 撮像部
１２ 第１処理部
１３ 第２処理部
１４ 第３処理部
１５ 表示処理部
１６ 表示部
１７ 第１特定部
１８ センサ
１９ 第１記憶部
２０ 取得部
２１ 第２記憶部
２２ 動作処理部
２３ 指示部
２４ 第２特定部
２５ 判定部
２６ 報知部
２７ 第３記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】