知財求人 - 知財ポータルサイト「IP Force」
特開2024-106209撮影方法、プログラム、撮影システムおよび情報処理装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024106209
(43)【公開日】2024-08-07
(54)【発明の名称】撮影方法、プログラム、撮影システムおよび情報処理装置
(51)【国際特許分類】
H04N 23/743 20230101AFI20240731BHJP
H04N 23/741 20230101ALI20240731BHJP
H04N 23/60 20230101ALI20240731BHJP
H04N 7/18 20060101ALI20240731BHJP
【ＦＩ】
H04N23/743
H04N23/741
H04N23/60 500
H04N7/18 K
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2023010401
(22)【出願日】2023-01-26
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵ―ＲＡＹ ＤＩＳＣ
(71)【出願人】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100107515
【弁理士】
【氏名又は名称】廣田 浩一
(72)【発明者】
【氏名】辰野 響
(72)【発明者】
【氏名】秋田 泰宏
(72)【発明者】
【氏名】高橋 禎郎
(72)【発明者】
【氏名】山本 良二
【テーマコード（参考）】
5C054
5C122
【Ｆターム（参考）】
5C054CA04
5C054CC02
5C054DA07
5C054FC03
5C054FC15
5C054FE09
5C054FE13
5C054HA19
5C122DA14
5C122EA21
5C122EA42
5C122FA08
5C122FA09
5C122FH11
5C122FH18
5C122GD11
5C122HA13
5C122HB01
5C122HB05
5C122HB09
(57)【要約】
【課題】撮影装置と被写体の相対位置が常に変化している状態において、露光量が異なる複数の撮影画像を得ること。
【解決手段】本発明の一態様に係る撮影方法は、移動体に搭載され、移動しながら被写体を撮影する撮影装置による撮影方法であって、前記撮影装置が、前記撮影装置と前記被写体との相対位置が常に変化している状態において、第１の露光量で前記被写体の第１の画像を撮影し、前記第１の露光量とは異なる第２の露光量で前記被写体の第２の画像を撮影する。
【選択図】図２１
【解決手段】本発明の一態様に係る撮影方法は、移動体に搭載され、移動しながら被写体を撮影する撮影装置による撮影方法であって、前記撮影装置が、前記撮影装置と前記被写体との相対位置が常に変化している状態において、第１の露光量で前記被写体の第１の画像を撮影し、前記第１の露光量とは異なる第２の露光量で前記被写体の第２の画像を撮影する。
【選択図】図２１
【特許請求の範囲】
【請求項1】
移動体に搭載され、移動しながら被写体を撮影する撮影装置による撮影方法であって、前記撮影装置が、
前記撮影装置と前記被写体との相対位置が常に変化している状態において、第１の露光量で前記被写体の第１の画像を撮影し、前記第１の露光量とは異なる第２の露光量で前記被写体の第２の画像を撮影する、撮影方法。
前記撮影装置と前記被写体との相対位置が常に変化している状態において、第１の露光量で前記被写体の第１の画像を撮影し、前記第１の露光量とは異なる第２の露光量で前記被写体の第２の画像を撮影する、撮影方法。
【請求項2】
画像合成手段により、前記撮影装置によって撮影された前記第１の画像と前記第２の画像の合成画像を取得する、請求項１に記載の撮影方法。
【請求項3】
前記画像合成手段は、前記撮影装置によって撮影された前記第１の画像および前記第２の画像それぞれの特徴点に基づいて、前記合成画像を取得する、請求項２に記載の撮影方法。
【請求項4】
画像生成手段により、前記撮影装置によって撮影された前記第１の画像および前記第２の画像に基づいて、前記被写体の断面に関する複数の断面画像を生成し、
前記画像合成手段は、前記画像生成手段により生成された前記複数の断面画像を比較することにより、前記合成画像を取得する、請求項２に記載の撮影方法。
前記画像合成手段は、前記画像生成手段により生成された前記複数の断面画像を比較することにより、前記合成画像を取得する、請求項２に記載の撮影方法。
【請求項5】
三次元センサにより、前記被写体の三次元表面形状を測定し、
画像生成手段により、前記三次元センサにより測定された前記三次元表面形状に基づいて、前記被写体の複数の三次元表面画像を生成し、
前記画像合成手段は、前記画像生成手段により生成された前記複数の三次元表面画像を比較することにより、前記合成画像を取得する、請求項２に記載の撮影方法。
画像生成手段により、前記三次元センサにより測定された前記三次元表面形状に基づいて、前記被写体の複数の三次元表面画像を生成し、
前記画像合成手段は、前記画像生成手段により生成された前記複数の三次元表面画像を比較することにより、前記合成画像を取得する、請求項２に記載の撮影方法。
【請求項6】
前記画像合成手段は、前記第１の画像および前記第２の画像それぞれにおける前記被写体に対応する画像領域のサイズが同じになるように、前記第１の画像および前記第２の画像の少なくとも一方における前記被写体に対応する画像領域のサイズを変更する、請求項２に記載の撮影方法。
【請求項7】
前記画像合成手段は、前記第１の画像と前記第２の画像の繋ぎ目領域における前記第１の画像と前記第２の画像の輝度差が、所定の輝度差閾値以下になるように、前記合成画像の輝度を補正する、請求項２に記載の撮影方法。
【請求項8】
前記画像合成手段は、前記第１の画像および前記第２の画像から黒潰れ画像領域および白飛び画像領域の少なくとも一方を検出し、前記合成画像における前記黒潰れ画像領域と前記黒潰れ画像領域以外の画像領域との繋ぎ目、および前記合成画像における前記白飛び画像領域と前記白飛び画像領域以外の画像領域との繋ぎ目、の少なくとも一方を、前記合成画像の繋ぎ目領域とする、請求項７に記載の撮影方法。
【請求項9】
前記撮影装置と前記被写体との相対位置が常に変化している状態において、複数の前記撮影装置により、前記第１の画像と前記第２の画像とを撮影する、請求項１に記載の撮影方法。
【請求項10】
請求項１から請求項９のいずれか１項に記載の撮影方法を前記撮影装置に実行させる、プログラム。
【請求項11】
移動体に搭載され、移動しながら被写体を撮影する撮影装置と、前記撮影装置による撮影画像を処理する情報処理装置と、を有する撮影システムであって、
前記撮影装置は、前記撮影装置と前記被写体との相対位置が常に変化している状態において、第１の露光量で前記被写体の第１の画像を撮影し、前記第１の露光量とは異なる第２の露光量で前記被写体の第２の画像を撮影する、撮影システム。
前記撮影装置は、前記撮影装置と前記被写体との相対位置が常に変化している状態において、第１の露光量で前記被写体の第１の画像を撮影し、前記第１の露光量とは異なる第２の露光量で前記被写体の第２の画像を撮影する、撮影システム。
【請求項12】
移動体に搭載され、移動しながら被写体を撮影する撮影装置による撮影画像を処理する情報処理装置であって、
前記撮影装置は、前記撮影装置と前記被写体との相対位置が常に変化している状態において、第１の露光量で前記被写体の第１の画像を撮影し、前記第１の露光量とは異なる第２の露光量で前記被写体の第２の画像を撮影し、
前記第１の画像と前記第２の画像の合成画像を取得する画像合成手段を有する情報処理装置。
前記撮影装置は、前記撮影装置と前記被写体との相対位置が常に変化している状態において、第１の露光量で前記被写体の第１の画像を撮影し、前記第１の露光量とは異なる第２の露光量で前記被写体の第２の画像を撮影し、
前記第１の画像と前記第２の画像の合成画像を取得する画像合成手段を有する情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮影方法、プログラム、撮影システムおよび情報処理装置に関する。
【背景技術】
【0002】
従来、移動体に搭載された撮影装置により、道路土工構造物等の被写体を移動しながら撮影し、得られた画像を用いて、該道路土工構造物を点検する技術が知られている。道路土工構造物等の撮影では、太陽光が直接照射される日向領域と、周囲の木々等により遮られることで太陽光が直接照射されない日陰領域と、の間で露光量の差が大きくなる場合がある。露光量の差が大きい領域を含む被写体を、画像の黒潰れおよび白飛びを低減して撮影するためには、ダイナミックレンジが広い撮影技術が求められる。
【0003】
特許文献１には、広いダイナミックレンジで被写体を撮影するために、第１の撮影条件で得られる第１の画像信号と、該第１の画像信号の信号レベルの解析結果に基づく第２の撮影条件で得られる第２の画像信号と、を合成することで第３の画像信号を生成する技術が開示されている。
【0004】
特許文献２には、撮影装置と被写体との相対位置が撮影時に変化した場合にも広いダイナミックレンジで撮影可能にするために、撮影装置と被写体との相対位置変化の検知結果に応じ、異なる露光期間で光電変換部により生成された電荷に基づく信号を用いて画像を生成する技術が開示されている。
【0005】
特許文献３には、撮影装置により得られた複数枚画像を、位置合わせをしながら合成する画像合成装置において、動領域では、グローバル動きベクトルに基づき補正した画像の合成比率を、ローカル動きベクトルに基づき補正した画像の合成比率よりも大きくする技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１は、撮影装置と被写体の相対位置が固定されていることを前提としており、撮影装置と被写体の相対位置が変化している状態において露光量が異なる複数の撮影画像を取得することについて開示していない。特許文献２～３は、画角内の被写体の一部について撮影装置と被写体の相対位置が変化することについて開示しているものの、撮影装置と被写体の相対位置が常に変化している状態において、露光量が異なる複数の撮影画像を得ることについては開示していない。
【0007】
本発明は、撮影装置と被写体の相対位置が常に変化している状態において、露光量が異なる複数の撮影画像を得ることを目的とする。
【課題を解決するための手段】
【0008】
本発明の一態様に係る撮影方法は、移動体に搭載され、移動しながら被写体を撮影する撮影装置による撮影方法であって、前記撮影装置が、前記撮影装置と前記被写体との相対位置が常に変化している状態において、第１の露光量で前記被写体の第１の画像を撮影し、前記第１の露光量とは異なる第２の露光量で前記被写体の第２の画像を撮影する。
【発明の効果】
【0009】
本発明によれば、撮影装置と被写体の相対位置が常に変化している状態において、露光量が異なる複数の撮影画像を得ることができる。
【図面の簡単な説明】
【0010】
【図1】第１実施形態に係る状態検査システムの全体構成の一例を示す図である。
【図2】第１実施形態に係る移動体システムを用いて法面状態を検査する様子の一例を示す図である。
【図3】日向領域と日陰領域とを含む法面の一例を示す図である。
【図4】データ取得装置のハードウェア構成の一例を示す図である。
【図5】評価装置およびデータ管理装置のハードウェア構成の一例を示す図である。
【図6】第１実施形態に係る状態検査システムの機能構成の一例を示す図である。
【図7】状態種別管理テーブルの一例を示す概念図である。
【図8】状態種別管理テーブルの一例を示す概念図である。
【図9】（Ａ）は、取得データ管理テーブルに一例を示す概念図であり、（Ｂ）は、処理データ管理テーブルの一例を示す概念図である。
【図10】移動体システムによって取得される撮影画像について説明する図である。
【図11】撮影画像と測距画像の説明図である。
【図12】移動体システムを用いたデータ取得処理の一例を示すシーケンス図である。
【図13】評価対象データの生成処理の一例を示すシーケンス図である。
【図14】法面状態の評価結果であるレポートの生成処理の一例を示すシーケンス図である。
【図15】評価装置に表示された評価画面の一例を示す図である。
【図16】処理データが表示された評価画面の一例を示す図である。
【図17】法面状態の検出処理の一例を示すフローチャートである。
【図18】形状データの検出結果が表示された評価画面の一例を示す図である。
【図19】損傷検出結果を示す表示画面の一例を示す図である。
【図20】検出された法面の形状の断面画像の一例を示す図である。
【図21】第１実施形態に係る第１の画像および第２の画像の撮影の様子の一例を示す図である。
【図22】第１実施形態に係る第１の画像の一例を示す図である。
【図23】第１実施形態に係る第２の画像の一例を示す図である。
【図25】第２実施形態に係る第１の画像の撮影の様子の一例を示す図である。
【図26】第２実施形態に係る第２の画像の撮影の様子の一例を示す図である。
【図27】移動体の姿勢を説明する図である。
【図28】第３実施形態に係る第１の画像の撮影の様子の一例を示す図である。
【図29】第３実施形態に係る第２の画像の撮影の様子の一例を示す図である。
【図30】第１の画像と第２の画像における被写体に対応する画像領域のサイズの相違例を示す図である。
【図31】第３実施形態に係る被写体に対応する画像領域のサイズの変更例を示す図である。
【図32】第４実施形態に係る第１の画像の一例を示す図である。
【図34】第４実施形態に係る第２の画像の一例を示す図である。
【発明を実施するための形態】
【0011】
以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明
において同一要素には同一符号を付し、重複する説明を適宜省略する。
において同一要素には同一符号を付し、重複する説明を適宜省略する。
【0012】
［第１実施形態］
＜状態検査システム１の全体構成例＞
図１～図３を用いて、第１実施形態に係る状態検査システムの全体構成について説明する。図１は、第１実施形態に係る状態検査システム１の全体構成の一例を示す図である。状態検査システム１は、移動体システム６０によって取得された各種データを用いて、道路土工構造物の状態の検査を行うものである。道路土工構造物とは、道路を建設するために構築する土砂や岩石等の地盤材料を主材料として構成される構造物およびそれらに附帯する構造物の総称であり、切土・斜面安定施設、盛土、カルバートおよびこれらに類するものをいう。以下、道路土工構造物を法面と称する。法面は、被写体の一例である。状態検査システム１は、撮影システムの一例である。
＜状態検査システム１の全体構成例＞
図１～図３を用いて、第１実施形態に係る状態検査システムの全体構成について説明する。図１は、第１実施形態に係る状態検査システム１の全体構成の一例を示す図である。状態検査システム１は、移動体システム６０によって取得された各種データを用いて、道路土工構造物の状態の検査を行うものである。道路土工構造物とは、道路を建設するために構築する土砂や岩石等の地盤材料を主材料として構成される構造物およびそれらに附帯する構造物の総称であり、切土・斜面安定施設、盛土、カルバートおよびこれらに類するものをいう。以下、道路土工構造物を法面と称する。法面は、被写体の一例である。状態検査システム１は、撮影システムの一例である。
【0013】
図１に示すように、状態検査システム１は、移動体システム６０と、評価システム４と、国、自治体の端末装置１１００と、委託事業者の端末装置１２００と、を有する。移動体システム６０は、データ取得装置９と、データ取得装置９を搭載した車両等の移動体６と、を有する。データ取得装置９は、構造物を計測する計測装置の例である撮影装置７と、センサ装置８と、を有する。センサ装置８は、距離センサ８ａと、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ：全球測位衛星システム）センサ８ｂと、を含む。ＧＮＳＳは、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）または準天頂衛星（ＱＺＳＳ）等の衛星測位システムの総称である。
【0014】
撮影装置７は、移動体６に搭載され、移動しながら法面を撮影する。撮影装置７は、光電変換素子を一列または複数列に配置させたラインセンサを搭載したラインカメラである。撮影装置７は、移動体６の走行方向に沿った撮影面上にある所定の撮影範囲に沿った位置を撮影する。なお、撮影装置７は、ラインカメラに限られず、光電変換素子が面状に配置されたエリアセンサを搭載したカメラであってもよい。また、撮影装置は、複数のカメラによって構成されていてもよい。
【0015】
距離センサ８ａは、法面の三次元表面形状を測定する三次元センサの一例である。距離センサ８ａは、撮影装置７によって撮影された被写体との距離を計測するＴｏＦセンサ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）である。距離センサ８ａとして用いられるＴｏＦセンサは、光源から物体にレーザ光を照射し、その散乱や反射光を計測することにより、光源から物体までの距離を測定する。距離センサ８ａは、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎａｎｄ Ｒａｎｇｉｎｇ）センサである。ＬｉＤＡＲは、パルスを用いて光飛行時間を測定する方式を用いる距離センサである。但し、距離センサ８ａは、その他の方式として位相差検出方式を用いるものであってもよい。位相差検出方式では、距離センサ８ａは、基本周波数で振幅変調したレーザ光を計測範囲に照射する。距離センサ８ａは、照射したレーザ光の被写体による反射光を受光して照射光と反射光との位相差を測定することで時間を求め、その時間に光速をかけて距離を算出する。また、距離センサ８ａは、ステレオカメラ等により構成されてもよい。
【0016】
ＧＮＳＳセンサ８ｂは、複数のＧＮＳＳ衛星が発信した各時間の信号を受信し、各信号を受信した時刻との差で衛星までの距離を算出することで、地球上の位置を計測する測位手段である。測位手段は、測位専用の装置であってもよく、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やスマートフォン等にインストールされた測位専用のアプリケーションであってもよい。
【0017】
移動体システム６０は、三次元センサを用いることで、法面の高さ、傾斜角度、はみだし等の二次元の画像からは得ることが困難な三次元の情報を得ることができる。なお、移動体システム６０は、さらに、角度センサ８ｃを搭載した構成であってもよい。角度センサ８ｃは、撮影装置７の撮影方向の角度（姿勢）または角速度（または各加速度）を検出するためのジャイロセンサ等である。
【0018】
評価システム４は、評価装置３と、データ管理装置５と、を含む。評価装置３およびデータ管理装置５は、通信ネットワーク１００を介して移動体システム６０、端末装置１１００および端末装置１２００と通信することができる。通信ネットワーク１００は、インターネット、移動体通信網、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等によって構築されている。なお、通信ネットワーク１００には、有線通信だけでなく、３Ｇ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ）、４Ｇ（４ｔｈＧｅｎｅｒａｔｉｏｎ）、５Ｇ（５ｔｈ Ｇｅｎｅｒａｔｉｏｎ）、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ）（登録商標）、ＷｉＭＡＸ（Ｗｏｒｌｄｗｉｄｅ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）またはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）等の無線通信によるネットワークが含まれてもよい。また、評価装置３およびデータ管理装置５は、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）（登録商標）等の近距離通信技術による通信機能を備えていてもよい。
【0019】
データ管理装置５は、撮影装置７による撮影画像を処理する情報処理装置の一例である。データ管理装置５は、データ取得装置９によって取得された各種データを管理するＰＣ等のコンピュータである。データ管理装置５は、データ取得装置９から各種取得データを受信し、受信した各種取得データを、データ解析を行う評価装置３に受け渡す。なお、データ管理装置５から評価装置３への各種取得データの受け渡し方法はＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等を使った人的な移動であってもよい。
【0020】
評価装置３は、データ管理装置５から受け渡された各種取得データに基づいて、法面の状態を評価するＰＣ等のコンピュータである。評価装置３は、法面状態を評価するための専用アプリケーションプログラムがインストールされている。評価装置３は、撮影画像データおよびセンサデータから法面の種別または構造を検出して形状データを抽出するとともに、変状の有無や変状の度合いを検出することによる詳細分析を行う。また、評価装置３は、撮影画像データおよびセンサデータ、評価対象データ、並びに詳細分析結果を用いて、国、自治体または委託事業者等の道路管理者に提出するためのレポートを生成する。評価装置３によって生成されたレポートのデータは、委託事業者を介して国、自治体に、電子データまたは書類に印刷した状態で提出される。評価装置３によって生成されるレポートは、調査記録表、点検表、調査台帳または調書等と称される。なお、評価装置３は、ＰＣに限られず、スマートフォンまたはタブレット端末等であってもよい。また、評価システム４は、評価装置３とデータ管理装置５を、一台の装置または端末として構築する構成であってもよい。
【0021】
端末装置１２００は、委託事業者に備えられており、端末装置１１００は、国、自治体に備えられている。評価装置３、端末装置１１００および端末装置１２００は、データ管理装置５と通信可能な通信端末の例であり、データ管理装置５で管理される各種データが閲覧可能である。
【0022】
図２は、移動体システム６０を用いて法面状態を検査する様子の一例を示す図である。移動体システム６０は、データ取得装置９を搭載した移動体６を道路上に走行させながら、撮影装置７で法面の所定範囲を撮影していく。
【0023】
法面のうち、削った斜面を切土法面、土を盛った斜面を盛土法面という。また、山の脇に通した道路において、側面にある斜面のことを自然斜面という。切土法面や盛土法面は、法面の表面に植物を植えることで耐久性が増し、そのまま数十年変化させないで済ませられることがある。しかしながら、このようなケースばかりではなく、風雨等によって切土法面、盛土法面および自然斜面の劣化が進むと、表面の岩や土が落ちてくる表層崩壊や山が崩れて道路封鎖に至る崩壊が起こる。このような事態を避けるため、斜面の表面には、モルタルを吹き付けたり（モルタル吹付）、コンクリートの構造物を設置し固めることで斜面が風雨にさらされて劣化する速度を遅くしたりする手法が取られている。これらの手法によって構築された構造物は、上述した道路土工構造物、すなわち法面に対応する。法面には、自然斜面と道路の間に設置する擁壁や落石が道路に落下することを防ぐ落石防護柵等が存在する。いずれも道路への土砂や落石などの流出による道路封鎖または人的被害を未然に防ぐためのものである。
【0024】
近年、施工から数十年経過した法面の劣化が著しいことから、社会インフラを整備することが求められている。このためには、法面の劣化を早期に発見し、法面を長持ちさせるための点検および老朽化保全が重要となる。従来の自然斜面および法面の点検は、斜面の落石、崩壊、地滑りまたは土石流を調査して修繕計画を作成するものであり、専門家による目視点検によって行われていた。
【0025】
しかしながら、専門家による目視点検では、日本中に大量にある法面を一定期間に点検しきれないこと、高所や川沿いの盛土等を点検できないこと等の効率の観点で改善の余地があった。また目視点検では、法面表層に発生するひびまたは剥離といった変状の劣化の進行度合いを定量的に把握できない点で改善の余地があった。
【0026】
状態検査システム１は、撮影装置７によって法面の撮影画像データを取得し、距離センサ８ａ等の三次元センサによって三次元情報を含むセンサデータを取得する。そして、評価システム４は、取得された撮影画像データとセンサデータを組み合わせて法面状態の評価を行うことで、法面の三次元形状を示す形状データを検出するとともに、ひびや剥離といった変状を検出する。これらにより、状態検査システム１は、人間の目視では点検が困難な評価を効率的に行うことができる。
【0027】
一方、法面の撮影では、太陽光が直接照射される法面上の日向領域と、周囲の木々等で遮られることにより太陽光が直接照射されない法面上の日陰領域と、の間で露光量の差が大きくなる場合がある。ここで、図３は、日向領域２０１と、日陰領域２０２と、を含む法面２００の一例を示す図である。図３は、日向領域２０１と日陰領域２０２とを説明するために、撮影装置７とは別の撮影装置で法面２００を撮影した画像を示している。
【0028】
図３に示すように、日向領域２０１は、日陰領域２０２に対して照度が大きくなっている。法面２００の撮影では、日向領域２０１における照度は、日陰領域２０２における照度の１０倍以上になる場合がある。このような照度差により、法面の撮影では、日向領域２０１と日陰領域２０２との間で露光量の差が大きくなる。露光量の差が大きい領域を含む法面を、画像の黒潰れおよび白飛びを低減して撮影するためには、ダイナミックレンジが広い撮影技術が求められる。また、一般に法面の撮影装置では、植生の判別等を目的としてカラーの撮像素子が用いられる。カラーの撮像素子のダイナミックレンジは数倍程度であるため、１０倍以上の照度差が含まれる法面を、画像の黒潰れおよび白飛びを低減して撮影することが困難な場合がある。さらに、ダイナミックレンジが広い撮影技術を開示する特許文献１～３は、撮影装置と被写体の相対位置が常に変化している状態において、露光量が異なる複数の撮影画像を得ることについて開示していない。
【0029】
本実施形態では、撮影装置７と法面（被写体）との相対位置が常に変化している状態において、第１の露光量で法面の第１の画像を撮影し、第１の露光量とは異なる第２の露光量で法面の第２の画像を撮影する。これにより、撮影装置と法面の相対位置が常に変化している状態において、第１の撮影画像と第２の撮影画像とを含む、露光量が異なる複数の撮影画像を得ることができる。ここで、本明細書における「撮影装置７と法面の相対位置」は、移動体６の走行方向における相対位置と、移動体６の走行方向に交差する方向における相対位置と、を含む。また、本明細書における「撮影装置７と法面の相対位置が変化している状態」は、移動体６の走行方向における相対位置、および移動体６の走行方向に交差する方向における相対位置の少なくとも一方が変化している状態を意味する。なお、本実施形態に係る撮影方法等の詳細については、主に図２１以降の図を用いて説明する。
【0030】
＜ハードウェア構成例＞
図４および図５を用いて、状態検査システム１を構成する各装置のハードウェア構成について説明する。なお、図４および図５に示すハードウェア構成は、必要に応じて構成要素が追加または削除されてもよい。
図４および図５を用いて、状態検査システム１を構成する各装置のハードウェア構成について説明する。なお、図４および図５に示すハードウェア構成は、必要に応じて構成要素が追加または削除されてもよい。
【0031】
（データ取得装置９のハードウェア構成）
図４は、データ取得装置９のハードウェア構成の一例を示すブロック図である。データ取得装置９は、図１に示した撮影装置７およびセンサ装置８とともに、データ取得装置９の処理または動作を制御するコントローラ９００を備える。
図４は、データ取得装置９のハードウェア構成の一例を示すブロック図である。データ取得装置９は、図１に示した撮影装置７およびセンサ装置８とともに、データ取得装置９の処理または動作を制御するコントローラ９００を備える。
【0032】
コントローラ９００は、撮影装置Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）９０１と、センサ装置Ｉ／Ｆ９０２と、バスライン９１０と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９１２と、を有する。またコントローラ９００は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９１３と、ＨＤ（Ｈａｒｄ Ｄｉｓｋ）９１４と、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）コントローラ９１５と、ネットワークＩ／Ｆ９１６と、を有する。またコントローラ９００は、ＤＶＤ－ＲＷ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅｗｒｉｔａｂｌｅ）ドライブ９１８と、メディアＩ／Ｆ９２２と、外部機器接続Ｉ／Ｆ９２３と、タイマ９２４と、を有する。
【0033】
撮影装置Ｉ／Ｆ９０１は、撮影装置７との間で各種データまたは情報の送受信を行うためのインターフェースである。センサ装置Ｉ／Ｆ９０２は、センサ装置８との間で各種データまたは情報の送受信を行うためのインターフェースである。バスライン９１０は、ＣＰＵ９１１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0034】
ＣＰＵ９１１は、データ取得装置９全体の動作を制御する。ＲＯＭ９１２は、ＩＰＬ等のＣＰＵ９１１の駆動に用いられるプログラムを記憶する。ＲＡＭ９１３は、ＣＰＵ９１１のワークエリアとして使用される。ＨＤ９１４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ９１５は、ＣＰＵ９１１の制御にしたがってＨＤ９１４に対する各種データの読み出しまたは書き込みを制御する。ネットワークＩ／Ｆ９１６は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。ＤＶＤ－ＲＷドライブ９１８は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ９１７に対する各種データの読み出しまたは書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－ＲやＢｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等であってもよい。メディアＩ／Ｆ９２２は、フラッシュメモリ等の記録メディア９２１に対するデータの読み出しまたは書き込み（記憶）を制御する。外部機器接続Ｉ／Ｆ９２３は、ディスプレイ、受付部および表示制御部を有する外部ＰＣ９３０等の外部機器を接続するためのインターフェースである。タイマ９２４は、時間計測機能を有する計測装置である。タイマ９２４は、コンピュータによるソフトタイマでもよい。
【0035】
（評価装置３のハードウェア構成）
図５は、評価装置３のハードウェア構成の一例を示すブロック図である。評価装置３の各ハードウェア構成は、３００番台の符号で示されている。図５に示すように、評価装置３は、コンピュータによって構築されている。評価装置３は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、ＨＤ３０４と、ＨＤＤコントローラ３０５と、ディスプレイ３０６と、外部機器接続Ｉ／Ｆ３０８と、を有する。また評価装置３は、ネットワークＩ／Ｆ３０９と、バスライン３１０と、キーボード３１１と、ポインティングデバイス３１２と、ＤＶＤ－ＲＷドライブ３１４と、メディアＩ／Ｆ３１６と、を有する。
図５は、評価装置３のハードウェア構成の一例を示すブロック図である。評価装置３の各ハードウェア構成は、３００番台の符号で示されている。図５に示すように、評価装置３は、コンピュータによって構築されている。評価装置３は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、ＨＤ３０４と、ＨＤＤコントローラ３０５と、ディスプレイ３０６と、外部機器接続Ｉ／Ｆ３０８と、を有する。また評価装置３は、ネットワークＩ／Ｆ３０９と、バスライン３１０と、キーボード３１１と、ポインティングデバイス３１２と、ＤＶＤ－ＲＷドライブ３１４と、メディアＩ／Ｆ３１６と、を有する。
【0036】
ＣＰＵ３０１は、評価装置３全体の動作を制御する。ＲＯＭ３０２は、ＩＰＬ等のＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。ＨＤ３０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ３０５は、ＣＰＵ３０１の制御にしたがってＨＤ３０４に対する各種データの読み出しまたは書き込みを制御する。ディスプレイ３０６は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。ディスプレイ３０６は、表示部の一例である。外部機器接続Ｉ／Ｆ３０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢメモリやプリンタ等である。ネットワークＩ／Ｆ３０９は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。バスライン３１０は、ＣＰＵ３０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0037】
キーボード３１１は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス３１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動等を行う入力手段の一種である。ＤＶＤ－ＲＷドライブ３１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ３１３に対する各種データの読み出しまたは書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－ＲやＢｌｕ－ｒａｙ Ｄｉｓｃ等であってもよい。メディアＩ／Ｆ３１６は、フラッシュメモリ等の記録メディア３１５に対するデータの読み出しまたは書き込み（記憶）を制御する。
【0038】
（データ管理装置５のハードウェア構成）
図５は、データ管理装置５のハードウェア構成の一例を示すブロック図である。データ管理装置５の各ハードウェア構成は、括弧内の５００番台の符号で示されている。図５に示すように、データ管理装置５は、コンピュータによって構築されており、評価装置３と同様の構成を備えているため、各ハードウェア構成の説明を省略する。なお、端末装置１１００、１２００も、コンピュータによって構築され、評価装置３と同様の構成を備えている。但し、ここでは、各ハードウェア構成の説明は、重複するため、省略する。
図５は、データ管理装置５のハードウェア構成の一例を示すブロック図である。データ管理装置５の各ハードウェア構成は、括弧内の５００番台の符号で示されている。図５に示すように、データ管理装置５は、コンピュータによって構築されており、評価装置３と同様の構成を備えているため、各ハードウェア構成の説明を省略する。なお、端末装置１１００、１２００も、コンピュータによって構築され、評価装置３と同様の構成を備えている。但し、ここでは、各ハードウェア構成の説明は、重複するため、省略する。
【0039】
なお、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、ＣＤ－Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、Ｂｌｕ－ｒａｙ Ｄｉｓｃ、ＳＤカード、ＵＳＢメモリ等が挙げられる。また、記録媒体は、プログラム製品（Ｐｒｏｇｒａｍ Ｐｒｏｄｕｃｔ）として、国内または国外へ提供されることができる。例えば、実施形態に係る評価システム４は、本発明に係るプログラムが実行されることで本発明に係る評価方法を実現する。
【0040】
＜状態検査システム１の機能構成例＞
図６を用いて、状態検査システム１の機能構成について説明する。図６は、状態検査システム１の機能構成の一例を示すブロック図である。なお、図６には、図１に示されている装置のうち、後述の処理または動作に関連しているものが示されている。
図６を用いて、状態検査システム１の機能構成について説明する。図６は、状態検査システム１の機能構成の一例を示すブロック図である。なお、図６には、図１に示されている装置のうち、後述の処理または動作に関連しているものが示されている。
【0041】
本明細書では、データ管理装置５が生成部５４および合成部５５を有する構成を一例として示す。但し、撮影装置７、データ取得装置９等のデータ管理装置５以外の構成部が生成部５４および合成部５５を有してもよい。
【0042】
（データ取得装置９の機能構成）
図６を用いて、データ取得装置９の機能構成について説明する。データ取得装置９は、通信部９１と、判断部９２と、撮影装置制御部９３と、センサ装置制御部９４と、撮影画像データ取得部９５と、センサデータ取得部９６と、時刻データ取得部９７と、要求受付部９８と、記憶・読出部９９と、を有する。これら各部は、図４に示した各構成要素のいずれかが、ＨＤ９１４からＲＡＭ９１３上に展開されたデータ取得装置用のプログラムに従ったＣＰＵ９１１からの命令によって動作することで実現される機能または手段である。また、データ取得装置９は、図４に示したＲＯＭ９１２およびＨＤ９１４によって構築される記憶部９０００を有する。また、データ取得装置９に接続される外部ＰＣ９３０は、受付部および表示制御部を有する。
図６を用いて、データ取得装置９の機能構成について説明する。データ取得装置９は、通信部９１と、判断部９２と、撮影装置制御部９３と、センサ装置制御部９４と、撮影画像データ取得部９５と、センサデータ取得部９６と、時刻データ取得部９７と、要求受付部９８と、記憶・読出部９９と、を有する。これら各部は、図４に示した各構成要素のいずれかが、ＨＤ９１４からＲＡＭ９１３上に展開されたデータ取得装置用のプログラムに従ったＣＰＵ９１１からの命令によって動作することで実現される機能または手段である。また、データ取得装置９は、図４に示したＲＯＭ９１２およびＨＤ９１４によって構築される記憶部９０００を有する。また、データ取得装置９に接続される外部ＰＣ９３０は、受付部および表示制御部を有する。
【0043】
通信部９１は、主に、ネットワークＩ／Ｆ９１６に対するＣＰＵ９１１の処理によって実現され、通信ネットワーク１００を介して、他の装置との間で各種データまたは情報の通信を行う。通信部９１は、例えば、撮影画像データ取得部９５およびセンサデータ取得部９６によって取得された取得データを、データ管理装置５に対して送信する。判断部９２は、ＣＰＵ９１１の処理によって実現され、各種判断を行う。
【0044】
撮影装置制御部９３は、主に、撮影装置Ｉ／Ｆ９０１に対するＣＰＵ９１１の処理によって実現され、撮影装置７による撮影処理を制御する。撮影装置制御部９３が制御する撮影処理には、撮影装置７の露光量を調整する処理が含まれる。撮影装置７は、撮影装置制御部９３による露光量の制御下において、露光量が異なる法面の第１の画像および第２の画像を撮影することができる。センサ装置制御部９４は、主に、センサ装置Ｉ／Ｆ９０２に対するＣＰＵ９１１の処理によって実現され、センサ装置８に対するデータ取得処理を制御する。
【0045】
撮影画像データ取得部９５は、主に、撮影装置Ｉ／Ｆ９０１に対するＣＰＵ９１１の処理によって実現され、撮影装置７による撮影画像に係る撮影画像データを取得する。撮影装置７による撮影画像には、第１の画像および第２の画像が含まれる。センサデータ取得部９６は、主に、センサ装置Ｉ／Ｆ９０２に対するＣＰＵ９１１の処理によって実現され、センサ装置８による検知結果であるセンサデータを取得する。時刻データ取得部９７は、主に、タイマ９２４に対するＣＰＵ９１１の処理によって実現され、撮影画像データ取得部９５またはセンサデータ取得部９６によってデータが取得された時刻を示す時刻データを取得する。
【0046】
要求受付部９８は、主に、外部機器接続Ｉ／Ｆ９２３に対するＣＰＵ９１１の処理によって実現され、外部ＰＣ９３０等から所定の要求を受け付ける。
【0047】
記憶・読出部９９は、主に、ＣＰＵ９１１の処理によって実現され、記憶部９０００に、各種データ（または情報）を記憶したり、記憶部９０００から各種データ（または情報）を読み出したりする。
【0048】
（評価装置３の機能構成）
図６を用いて、評価装置３の機能構成について説明する。評価装置３は、通信部３１と、受付部３２と、表示制御部３３と、判断部３４と、評価対象データ生成部３５と、検出部３６と、地図情報管理部３７と、レポート生成部３８と、記憶・読出部３９と、を有する。これら各部は、図５に示した各構成要素のいずれかが、ＨＤ３０４からＲＡＭ３０３上に展開され評価装置用のプログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能または手段である。また、評価装置３は、図５に示したＲＯＭ３０２およびＨＤ３０４によって構築される記憶部３０００を有している。
図６を用いて、評価装置３の機能構成について説明する。評価装置３は、通信部３１と、受付部３２と、表示制御部３３と、判断部３４と、評価対象データ生成部３５と、検出部３６と、地図情報管理部３７と、レポート生成部３８と、記憶・読出部３９と、を有する。これら各部は、図５に示した各構成要素のいずれかが、ＨＤ３０４からＲＡＭ３０３上に展開され評価装置用のプログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能または手段である。また、評価装置３は、図５に示したＲＯＭ３０２およびＨＤ３０４によって構築される記憶部３０００を有している。
【0049】
通信部３１は、主に、ネットワークＩ／Ｆ３０９に対するＣＰＵ３０１の処理によって実現され、通信ネットワーク１００を介して、他の装置との間で各種データまたは情報の通信を行う。通信部３１は、例えば、データ管理装置５との間で、法面状態の評価に係る各種データを送受信する。
【0050】
受付部３２は、主に、キーボード３１１またはポインティングデバイス３１２に対するＣＰＵ３０１の処理によって実現され、利用者から各種の選択または入力を受け付ける。受付部３２は、後述する評価画面４００に対する各種選択または入力を受け付ける。表示制御部３３は、主に、ＣＰＵ３０１の処理によって実現され、ディスプレイ３０６に、各種画像を表示させる。表示制御部３３は、後述する評価画面４００を、ディスプレイ３０６に表示させる。判断部３４は、ＣＰＵ３０１の処理によって実現され、各種判断を行う。
【0051】
評価対象データ生成部３５は、ＣＰＵ３０１の処理によって実現され、評価対象のデータを生成する。検出部３６は、主に、ＣＰＵ３０１の処理によって実現され、評価対象データ生成部３５によって生成された評価対象データを用いて、法面の状態の検出処理を行う。地図情報管理部３７は、主に、ＣＰＵ３０１の処理によって実現され、外部サーバ等から取得した地図情報を管理する。地図情報は、地図上の任意の位置における位置情報を含む。
【0052】
レポート生成部３８は、主に、ＣＰＵ３０１の処理によって実現され、評価結果に基づいて、道路管理者に提出する評価レポートを生成する。
【0053】
記憶・読出部３９は、主に、ＣＰＵ３０１の処理によって実現され、記憶部３０００に、各種データ（または情報）を記憶したり、記憶部３０００から各種データ（または情報）を読み出したりする。
【0054】
（データ管理装置５の機能構成）
続いて、図６を用いて、データ管理装置５の機能構成について説明する。データ管理装置５は、通信部５１と、判断部５２と、データ管理部５３と、生成部５４と、合成部５５と、記憶・読出部５９と、を有する。これら各部は、図５に示した各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開されデータ管理装置用のプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能または手段である。また、データ管理装置５は、図５に示されているＲＯＭ５０２およびＨＤ５０４によって構築される記憶部５０００を有している。
続いて、図６を用いて、データ管理装置５の機能構成について説明する。データ管理装置５は、通信部５１と、判断部５２と、データ管理部５３と、生成部５４と、合成部５５と、記憶・読出部５９と、を有する。これら各部は、図５に示した各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開されデータ管理装置用のプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能または手段である。また、データ管理装置５は、図５に示されているＲＯＭ５０２およびＨＤ５０４によって構築される記憶部５０００を有している。
【0055】
通信部５１は、主に、ネットワークＩ／Ｆ５０９に対するＣＰＵ５０１の処理によって実現され、通信ネットワーク１００を介して、他の装置との間で各種データまたは情報の通信を行う。通信部５１は、例えば、データ取得装置９から送信された、撮影画像データおよびセンサデータを受信する。また、通信部５１は、例えば、評価装置３等との間で、法面状態の評価等に係る各種データを送受信する。判断部５２は、ＣＰＵ５０１の処理によって実現され、各種判断を行う。
【0056】
データ管理部５３は、主に、ＣＰＵ５０１の処理によって実現され、法面状態の評価に係る各種データの管理を行う。データ管理部５３は、例えば、データ取得装置９から送信された撮影画像データおよびセンサデータを、取得データ管理ＤＢ５００１に登録する。また、データ管理部５３は、例えば、評価装置３によって処理または生成されたデータを、処理データ管理ＤＢ５００３に登録する。
【0057】
生成部５４は、主に、ＣＰＵ５０１の処理によって実現され、法面に係る各種画像データを生成する。本実施形態では、生成部５４は、撮影装置７によって撮影された第１の画像および第２の画像に基づいて、法面の断面に関する複数の断面画像を生成する画像生成手段に対応する。また本実施形態では、生成部５４は、距離センサ８ａにより測定された三次元表面形状に基づいて、法面の複数の三次元表面画像を生成する画像生成手段に対応する。
【0058】
合成部５５は、撮影装置７によって撮影された第１の画像と第２の画像の合成画像を取得する画像合成手段に対応する。合成部５５は、通信部５１、通信ネットワーク１００等を介して、合成画像を評価装置３に出力できる。
【0059】
記憶・読出部５９は、主に、ＣＰＵ５０１の処理によって実現され、記憶部５０００に、各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。
【0060】
（端末装置１１００の機能構成）
図６を用いて、端末装置１１００の機能構成について説明する。端末装置１１００は、通信部１１０１と、受付部１１０２と、表示制御部１１０３と、判断部１１０４と、記憶・読出部１１０５と、を有する。これら各部は、図５に示した各構成要素のいずれかが、ＨＤからＲＡＭ上に展開され端末装置用のプログラムに従ったＣＰＵからの命令によって動作することで実現される機能または手段である。また、データ管理装置５は、図５に示したＲＯＭおよびＨＤによって構築される記憶部１１０６を有している。
図６を用いて、端末装置１１００の機能構成について説明する。端末装置１１００は、通信部１１０１と、受付部１１０２と、表示制御部１１０３と、判断部１１０４と、記憶・読出部１１０５と、を有する。これら各部は、図５に示した各構成要素のいずれかが、ＨＤからＲＡＭ上に展開され端末装置用のプログラムに従ったＣＰＵからの命令によって動作することで実現される機能または手段である。また、データ管理装置５は、図５に示したＲＯＭおよびＨＤによって構築される記憶部１１０６を有している。
【0061】
通信部１１０１は、主に、ネットワークＩ／Ｆに対するＣＰＵの処理によって実現され、通信ネットワーク１００を介して、他の装置との間で各種データまたは情報の通信を行う。
【0062】
受付部１１０２は、主に、キーボードまたはポインティングデバイスに対するＣＰＵの処理によって実現され、利用者から各種の選択または入力を受け付ける。表示制御部１１０３は、主に、ＣＰＵの処理によって実現され、ディスプレイに、各種画像を表示させる。判断部１１０４は、ＣＰＵ３０１の処理によって実現され、各種判断を行う。
【0063】
記憶・読出部１１０５は、主に、ＣＰＵの処理によって実現され、記憶部１１０６に、各種データ（または情報）を記憶したり、記憶部１１０６から各種データ（または情報）を読み出したりする。
【0064】
続いて、図６を用いて、端末装置１２００の機能構成について説明する。端末装置１２００は、通信部１２０１と、受付部１２０２と、表示制御部１２０３と、判断部１２０４と、記憶・読出部１２０５と、を有する。これら各部は、図５に示した各構成要素のいずれかが、ＨＤからＲＡＭ上に展開され端末装置用のプログラムに従ったＣＰＵからの命令によって動作することで実現される機能または手段である。また、データ管理装置５は、図５に示したＲＯＭおよびＨＤによって構築される記憶部１２０６を有している。
【0065】
通信部１２０１は、主に、ネットワークＩ／Ｆに対するＣＰＵの処理によって実現され、通信ネットワーク１００を介して、他の装置との間で各種データまたは情報の通信を行う。
【0066】
受付部１２０２は、主に、キーボードまたはポインティングデバイスに対するＣＰＵの処理によって実現され、利用者から各種の選択または入力を受け付ける。表示制御部１２０３は、主に、ＣＰＵの処理によって実現され、ディスプレイに、各種画像を表示させる。判断部１２０４は、ＣＰＵ３０１の処理によって実現され、各種判断を行う。
【0067】
記憶・読出部１２０５は、主に、ＣＰＵの処理によって実現され、記憶部１２０６に、各種データ（または情報）を記憶したり、記憶部１２０６から各種データ（または情報）を読み出したりする。
【0068】
（状態種別管理テーブル）
図７および図８は、状態種別管理テーブルの一例を示す概念図である。状態種別管理テーブルは、法面の状態種別を検出するための教師データを管理するためのテーブルである。記憶部３０００には、図７および図８に示す状態種別管理テーブルによって構成されている状態種別管理ＤＢ３００１が構築されている。この状態種別管理テーブルでは、種別Ｎｏごとに、状態種別を示す種別名、教師画像、および備考欄が関連づけられて管理されている。
図７および図８は、状態種別管理テーブルの一例を示す概念図である。状態種別管理テーブルは、法面の状態種別を検出するための教師データを管理するためのテーブルである。記憶部３０００には、図７および図８に示す状態種別管理テーブルによって構成されている状態種別管理ＤＢ３００１が構築されている。この状態種別管理テーブルでは、種別Ｎｏごとに、状態種別を示す種別名、教師画像、および備考欄が関連づけられて管理されている。
【0069】
種別名は、法面、法面の周囲の物理量および現場情報の状態を識別するための状態種別を示す名称である。ここで、状態種別には、擁壁、法枠、吹付モルタル、金網、柵、排水穴、パイプ、小段の排水路等の構造物である法面そのものの種別と、湧水、苔、植物、落石、土砂、日当たり等の法面の周囲の物理量を示す種別が含まれる。また、状態種別には、移動体システム６０によるデータ取得を支援する現場情報として、ポール、電柱、標識または看板等の種別が含まれている。さらに、状態種別には、構造物の付帯情報として、過去の点検実施時や施工時に設置された、変状の存在を示すチョーキング等の目印情報や、測定装置や、対策跡などの、人工物を含んでいても良い。また、教師画像は、教師データの一例であり、撮影画像データから法面、法面の周囲の物理量および現場情報の状態種別を判別するための機械学習に用いる教師画像である。ここで教師データとは、一般に画像と呼ばれる輝度画像やＲＧＢ画像等に限らず、状態種別の判別するための情報が含まれてさえいれば良く、深度情報やテキストや音声などの形式であっても良い。備考欄には、状態の種別を検出するための検出基準となる情報が示されている。
【0070】
（取得データ管理テーブル）
図９（Ａ）は、取得データ管理テーブルの一例を示す概念図である。取得データ管理テーブルは、データ取得装置９によって取得された各種取得データを管理するためのテーブルである。記憶部５０００には、図９（Ａ）に示す取得データ管理テーブルによって構成されている取得データ管理ＤＢ５００１が構築されている。この取得データ管理テーブルでは、フォルダごとに、撮影画像データ、センサデータおよび取得時刻が関連づけられて管理されている。
図９（Ａ）は、取得データ管理テーブルの一例を示す概念図である。取得データ管理テーブルは、データ取得装置９によって取得された各種取得データを管理するためのテーブルである。記憶部５０００には、図９（Ａ）に示す取得データ管理テーブルによって構成されている取得データ管理ＤＢ５００１が構築されている。この取得データ管理テーブルでは、フォルダごとに、撮影画像データ、センサデータおよび取得時刻が関連づけられて管理されている。
【0071】
撮影画像データおよびセンサデータは、データ取得装置９から送信された取得データのデータファイルである。また、取得時刻は、撮影画像データおよびセンサデータがデータ取得装置９によって取得された時刻を示す。一つの点検工程において取得されたデータは、同一のフォルダ内に記憶される。撮影画像データおよびセンサデータに含まれる三次元センサデータは、座標が対応付けて記憶される。また、撮影画像データおよびセンサデータに含まれる三次元センサデータは、センサデータに含まれる測位データに対応付けて記憶されている。これにより、評価装置３の地図情報管理部３７により管理される地図情報における任意の位置を選択すると、当該位置における撮影画像データおよび三次元センサデータを、取得データ管理ＤＢ５００１から読み出すことが可能である。
【0072】
（処理データ管理テーブル）
図９（Ｂ）は、処理データ管理テーブルの一例を示す概念図である。処理データ管理テーブルは、評価装置３によって処理された各種処理データを管理するためのテーブルである。記憶部５０００には、図９（Ｂ）に示す処理データ管理テーブルによって構成されている処理データ管理ＤＢ５００３が構築されている。この処理データ管理テーブルでは、フォルダごとに、評価対象データ、評価データ、測位データおよびコメントが関連づけられて管理されている。
図９（Ｂ）は、処理データ管理テーブルの一例を示す概念図である。処理データ管理テーブルは、評価装置３によって処理された各種処理データを管理するためのテーブルである。記憶部５０００には、図９（Ｂ）に示す処理データ管理テーブルによって構成されている処理データ管理ＤＢ５００３が構築されている。この処理データ管理テーブルでは、フォルダごとに、評価対象データ、評価データ、測位データおよびコメントが関連づけられて管理されている。
【0073】
評価対象データは、評価装置３による法面状態の検出評価に用いるデータファイルである。また、評価データは、評価装置３による評価結果を示すデータファイルである。さらに、測位データは、ＧＮＳＳセンサ８ｂによって計測された位置情報を示すデータである。また、コメントは、評価対象データまたは評価データに対する評価者によって入力された書誌情報である。これにより、評価装置３の地図情報管理部３７により管理される地図情報における任意の位置を選択すると、当該位置における評価データを、処理データ管理ＤＢ５００３から読み出すことが可能である。
【0074】
図１０は、移動体システム６０によって取得される撮影画像について説明する図である。
【0075】
移動体システム６０は、移動体６を走行させながら、データ取得装置９に備えられた撮影装置７を用いて、道路上に設けられた法面を撮影する。図１０に示すＸ軸方向は、移動体６の移動方向を示し、Ｙ軸方向は重力方向、Ｚ軸方向は、Ｘ軸方向およびＹ軸方向に直交し、移動体６から法面に向かう奥行き方向を示す。
【0076】
データ取得装置９は、移動体６の走行に伴い、図１０に示すように、撮影画像ａ１、測距画像ｂ１および撮影画像ａ２、測距画像ｂ２を時系列に取得していく。測距画像ｂ１および測距画像ｂ２は、距離センサ８ａにより取得された画像である。このとき、撮影装置７およびセンサ装置８は、時刻同期が取られており、撮影画像ａ１および測距画像ｂ１と、撮影画像ａ２および測距画像ｂ２は、それぞれ法面の同じ領域に対する画像となる。また、撮影時の車両の姿勢から撮影画像の傾き補正（画像補正）が行われ、撮影画像の時刻から画像データと測位データ（北緯東経）が紐づけられる。
【0077】
このように、移動体システム６０は、移動体６としての車両を走行させながら、法面が撮影された撮影画像データおよび撮影装置７の撮影に応じて取得されたセンサデータを取得し、データ管理装置５に対してアップロードする。
【0078】
図１１は、撮影画像と測距画像の説明図である。
【0079】
図１１（ａ）は、図１０に示した撮影画像ａ１、撮影画像ａ２等の撮影画像データ７Ａを示す。撮影装置７により取得された撮影画像データ７Ａの各画素７Ａ１は、図１０に示したＸ軸方向およびＹ軸方向に対応する座標で配置されており、蓄電量に対応する輝度情報を有する。
【0080】
【0081】
図１１（ｂ）は、図１０に示した測距画像ｂ１、測距画像ｂ２等の測距画像データ８Ａを示す。距離センサ８ａにより取得された測距画像データ８Ａの各画素８Ａ１は、図１０に示したＸ軸方向およびＹ軸方向に対応する座標で配置されており、蓄電量に対応する図１０に示したＺ軸方向における距離情報を有する。なお、測距画像データ８Ａは、三次元点群データであるが、一般的にユーザに視認させる際には、輝度情報を付与して可視表示するため、測距画像データと称する。そして、撮影画像データ７Ａおよび測距画像データ８Ａを総称して、画像データと称する。
【0082】
そして、測距画像データ７Ｂの各画素８Ａ１の距離情報は、図１０に示したＸ軸方向およびＹ軸方向に対応する座標に対応付けて、図９に示したセンサデータに含まれる三次元データとして、記憶部５０００に記憶される。
【0083】
ここで、図１１（ａ）に示す撮影画像データ７Ａと、図１１（ｂ）に示す測距画像データ８Ａは、それぞれ法面の同じ領域に対する画像であるから、図１０に示したＸ軸方向およびＹ軸方向に対応する座標に対応付けて、輝度情報および距離情報が、記憶部５０００に記憶されることになる。
【0084】
＜実施形態に係る処理例または動作例＞
（データ取得処理例）
図１２～図２０を用いて、実施形態に係る状態検査システム１の処理または動作について説明する。まず、図１２を用いて、移動体システム６０を用いたデータ取得処理について説明する。法面状態の点検作業者は、移動体６に搭乗して道路上の存在する法面の撮影を行い、取得したデータをデータ管理装置５にアップロードする。以下、詳細に説明する。
（データ取得処理例）
図１２～図２０を用いて、実施形態に係る状態検査システム１の処理または動作について説明する。まず、図１２を用いて、移動体システム６０を用いたデータ取得処理について説明する。法面状態の点検作業者は、移動体６に搭乗して道路上の存在する法面の撮影を行い、取得したデータをデータ管理装置５にアップロードする。以下、詳細に説明する。
【0085】
図１２は、移動体システムを用いたデータ取得処理の一例を示すシーケンスチャートである。まず、点検作業者が外部ＰＣ３３０に対して所定の入力操作等を行うことで、データ取得装置９の要求受付部９８は、データ取得開始要求を受け付ける（ステップＳ１１）。そして、データ取得装置９は、撮影装置７およびセンサ装置８を用いたデータ取得処理を実行する（ステップＳ１２）。具体的には、撮影装置制御部９３は、撮影装置７に対して撮影要求を行うことで、所定の領域に対する撮影処理を開始する。また、センサ装置制御部９４は、撮影装置７による撮影処理と同期させながら、距離センサ８ａおよびＧＮＳＳセンサ８ｂによる検知処理を開始する。そして、撮影画像データ取得部９５は、撮影装置７によって取得された撮影画像データを取得し、センサデータ取得部９６は、距離センサ８ａおよびＧＮＳＳセンサ８ｂによって取得されたセンサデータを取得する。また、時刻データ取得部９７は、撮影画像データ取得部９５およびセンサデータ取得部９６によって各種データが取得された時刻を示す時刻データを取得する。
【0086】
次に、点検作業者が外部ＰＣ３３０等に対して所定の入力操作を行うことで、要求受付部９８は、取得した各種データのアップロード要求を受け付ける（ステップＳ１３）。そして、通信部９１は、データ管理装置５に対して、ステップＳ１２で取得された取得データである撮影画像データ、センサデータおよび時刻データをアップロード（送信）する（ステップＳ１４）。これにより、データ管理装置５の通信部５１は、データ取得装置９から送信された取得データを受信する。そして、データ管理装置５のデータ管理部５３は、ステップＳ１４で受信された取得データを、取得データ管理ＤＢ５００１（図９（Ａ）参照）に登録する（ステップＳ１５）。データ管理部５３は、取得データに含まれている各データの取得時刻を示す時刻データに関連づけて、撮影画像データおよびセンサデータを一つのフォルダに記憶する。
【0087】
（法面状態の評価処理例）
（（評価対象データの生成））
次に、図１３を用いて、評価システム４がデータ管理装置５に記憶された取得データを用いて法面状態の評価を行う処理について説明する。まず、図１３を用いて、法面状態の評価処理に用いる評価対象データを生成する処理について説明する。図１３は、評価対象データの生成処理の一例を示すシーケンスチャートである。
（（評価対象データの生成））
次に、図１３を用いて、評価システム４がデータ管理装置５に記憶された取得データを用いて法面状態の評価を行う処理について説明する。まず、図１３を用いて、法面状態の評価処理に用いる評価対象データを生成する処理について説明する。図１３は、評価対象データの生成処理の一例を示すシーケンスチャートである。
【0088】
まず、評価装置３の通信部３１は、データ管理装置５に対して、評価対象データの生成要求を送信する（ステップＳ３１）。この生成要求には、生成対象のデータが記憶されたフォルダ名が含まれている。これにより、データ管理装置５の通信部５１は、評価装置３から送信された生成要求を受信する。
【0089】
次に、データ管理装置５の記憶・読出部５９は、ステップＳ３１で受信された生成要求に含まれているフォルダ名を検索キーとして取得データ管理ＤＢ５００１を検索することにより、生成要求に含まれているフォルダ名に関連づけられた取得データを読み出す（ステップＳ３２）。そいて、通信部５１は、評価装置３に対して、ステップＳ３２で読み出された取得データを送信する（ステップＳ３３）。この取得データには、撮影画像データ、センサデータおよび時刻データが含まれている、これにより、評価装置３の通信部３１は、データ管理装置５から送信された取得データを受信する。
【0090】
次に、評価装置３の評価対象データ生成部３５は、ステップＳ３３で受信された取得データを用いて、評価対象データを生成する（ステップＳ３４）。具体的には、評価対象データ生成部３５は、受信された距離センサ８ａのセンサデータに基づき、撮影時の撮影装置７（移動体６）の姿勢から撮影画像データの傾き補正を行う。また、評価対象データ生成部３５は、受信された時刻データに基づき、受信されたＧＮＳＳセンサ８ｂのセンサデータである測位データと撮影画像データの紐づけを行う。さらに、評価対象データ生成部３５は、複数の撮影画像データを一つの画像データに合成する処理を行う。
【0091】
このように、評価対象データ生成部３５は、画像データに対する傾き補正機能、画像データと位置情報の連携機能および画像データの合成機能を有する。評価対象データ生成部３５は、データ管理装置５から受信された取得データを用いて、後述の検出部３６およびレポート生成部３８による処理が行いやすいように、受信された撮影画像データに対する画像補正を行う。
【0092】
次に、評価装置３の通信部３１は、データ管理装置５に対して、ステップＳ３４で生成された生成データを送信する（ステップＳ３５）。この生成データには、評価対象データ生成部３５で生成された評価対象データ、測位データおよびコメントが含まれている。これにより、データ管理装置５の通信部５１は、評価装置３から送信された生成データを受信する。そして、データ管理装置５のデータ管理部５３は、ステップＳ３５で受信された生成データを、処理データ管理ＤＢ５００３（図９（Ｂ）参照）に記憶する（ステップＳ３６）。具体的には、データ管理部５３は、生成データに含まれている評価対象データ、測位データおよびコメントを関連づけて一つのフォルダに記憶させる。
【0093】
このように、評価システム４は、データ取得装置９から取得した各種データ（撮影画像データ、センサデータおよび時刻データ）に基づく画像処理を行うことで、法面状態の評価に用いる評価対象データを生成する。
【0094】
（（評価レポートの生成））
続いて、図１４を用いて、評価システム４において道路管理者へ提出する評価レポートの生成する処理について説明する。評価者は、データ取得装置９によって取得された撮影画像データおよびセンサデータ等を用いて、法面の状態の評価を行い、評価結果を示す評価レポートを生成する。以下詳細に説明する。
続いて、図１４を用いて、評価システム４において道路管理者へ提出する評価レポートの生成する処理について説明する。評価者は、データ取得装置９によって取得された撮影画像データおよびセンサデータ等を用いて、法面の状態の評価を行い、評価結果を示す評価レポートを生成する。以下詳細に説明する。
【0095】
図１４は、法面状態の評価結果であるレポートの生成処理の一例を示すシーケンスチャートである。まず、評価装置３の表示制御部３３は、法面状態の評価処理を行うための評価画面４００を、ディスプレイ３０６に表示させる（ステップＳ５１）。図１５は、評価装置３に表示された評価画面の一例を示す図である。図１５に示す評価画面４００には、評価対象データの選択領域４１０、法面状態の検出を行うための評価項目を選択する評価項目選択領域４３０、形状データを表示する形状データ表示領域４６０、評価結果をデータ管理装置５にアップロードする際に押下される「アップロード」ボタン４９１、および評価レポートを生成する際に押下される「レポート生成」ボタン４９３が含まれている。このうち、選択領域４１０には、評価対象データが記憶されたフォルダを指定する「フォルダ指定」ボタン４１１、指定されたフォルダ名が表示される表示領域４１３、および指定されたフォルダに記憶された評価対象データのダウンロードを要求する際に押下される「ＯＫ」ボタン４１５が含まれている。
【0096】
図１４において、評価者が「フォルダ指定」ボタン４１１を用いたフォルダ指定を行うことで、評価装置３の受付部３２は、評価対象データの選択を受け付ける（ステップＳ５２）。例えば、図１５に示す例の場合、受付部３２は、「フォルダ０６１５」に記憶された評価対象データの選択を受け付ける。
【0097】
次に、通信部３１は、データ管理装置５に対して、ステップＳ５２で選択された評価対象データの読出要求を送信する（ステップＳ５３）。この読出要求には、ステップＳ５２で選択されたフォルダ名が含まれている。これにより、データ管理装置５の通信部５１は、評価装置３から送信された読出要求を受信する。
【0098】
次に、データ管理装置５の記憶・読出部５９は、ステップＳ５３で受信された読出要求に含まれているフォルダ名を検索キーとして処理データ管理ＤＢ５００３（図９（Ｂ）参照）を検索することで、読出要求に含まれているフォルダ名に関連づけられた処理データを読み出す（ステップＳ５４）。そして、通信部５１は、評価装置３に対して、ステップＳ５４で読み出された処理データを送信する（ステップＳ５５）。この処理データには、評価対象データ、測位データおよびコメントが含まれている。これにより、評価装置３の通信部３１は、データ管理装置５から送信された処理データを受信する。
【0099】
次に、評価装置３の表示制御部３３は、ステップＳ５４で受信された処理データを、評価画面４００の評価項目選択領域４３０に表示させる（ステップＳ５６）。図１６は、処理データが表示された評価画面の一例を示す図である。図１６に示す評価項目選択領域４３０には、データ管理装置５から送信された処理データである評価対象データの画像を表示する画像表示領域４３１、評価対象データの書誌情報を表示する書誌情報表示領域４３３、並びに画像表示領域４３１に表示される画像を切り替える際に押下される「Ｂａｃｋ」ボタン４３７および「Ｎｅｘｔ」ボタン４３９が含まれている。また、評価項目選択領域４３０には、法面の形状の検出を行う際に押下される「形状検出」ボタン４５１、法面の損傷状態の検出を行う際に押下される「損傷検出」ボタン４５３、地図情報を生成する際に押下される「地図情報」ボタン４５５および法面の損傷の予兆状態の検出を行う際に押下される「予兆検出」ボタン４５７が含まれている。
【0100】
また、画像表示領域４３１には、評価対象データの画像に重畳させて評価領域４３５ａ，４３５ｂが表示されている。評価領域４３５ａ，４３５ｂは、後述する法面状態の検出処理における評価範囲を示す。評価者は、評価領域４３５ａ，４３５ｂに対するタップ、ドラッグ、スワイプ、ピンチイン、ピンチアウト等の入力操作によって、評価領域４３５ａ，４３５ｂの移動および評価領域４３５ａ，４３５ｂの拡大もしくは縮小を行う。なお、評価領域４３５ａ，４３５ｂの数は、これに限られず、一つであってもよいし、三つ以上であってもよい。また、画像表示領域４３１に対して評価領域４３５ａ，４３５ｂを表示させずに、画像表示領域４３１全体を評価範囲とする構成であってもよい。
【0101】
図１４において、評価装置３は、評価対象データを用いた法面状態の検出処理を行う（ステップＳ５７）。ここで、図１７を用いて、法面状態の検出処理について詳細に説明する。図１７は、法面状態の検出処理の一例を示すフローチャートである。
【0102】
まず、評価者が評価項目選択領域４３０に含まれている「形状検出」ボタン４５１を押下することで、受付部３２は、形状検出要求を受け付ける（ステップＳ７１）。次に、検出部３６は、評価対象データを用いた形状検出処理を行う（ステップＳ７２）。ここで、法面の形状を示す形状データは、法面の延長、高さおよび傾斜角度等の三次元情報、並びに位置情報等によって表される。法面の延長とは、平面図における法面の長さ（法面の傾斜が分かる横断面の奥行き方向の長さ）である。また、形状データには、法面が自然斜面であるか、または土工構造物であるかの法面の種類を示す情報も含まれる。さらに、法面は土工構造物である場合、形状データには、土工構造物の種別の情報も含まれる。土木構造物の種別は、例えば、擁壁、法枠、モルタル吹付、アンカーの有無、または盛土等である。
【0103】
具体的には、検出部３６は、評価対象データに含まれている画像データおよび三次元データに基づいて、法面の延長、高さおよび傾斜角度を検出する。また、検出部３６は、状態種別管理ＤＢ３００１（図７参照）を用いて、評価対象データである画像に示されている法面の種別を検出する。この場合、検出部３６は、状態種別管理テーブルに示されている教師画像を用いた画像マッチング処理によって法面の種別を検出する。
【0104】
次に、表示制御部３３は、ステップＳ７２における検出結果である形状データを、評価画面４００の形状データ表示領域４６０に表示させる（ステップＳ７３）。図１８は、形状データの検出結果が表示された評価画面の一例を示す図である。図１８に示す形状データ表示領域４６０には、検出部３６による形状検出結果を示す形状データの書誌事項の表示領域４６１、および形状検出結果の詳細データを表示させる際に押下される「詳細表示」ボタン４６３が含まれている。このうち、表示領域４６１には、例えば、法面の全長、および法面全体における検出された種別ごとの割合が示されている。
【0105】
なお、以上説明した図１７のステップＳ７１～Ｓ７３において、「形状検出」処理に代えて、「構造物情報検出」処理を行っても良い。
【0106】
この場合、評価者が評価項目選択領域４３０に含まれている「形状検出」ボタン４５１に代わる「構造物情報検出」ボタンを押下することで、受付部３２は、構造物情報検出要求を受け付ける（ステップＳ７１）。次に、検出部３６は、評価対象データを用いた構造物情報検出処理を行う（ステップＳ７２）。そして、表示制御部３３は、ステップＳ７２における検出結果である構造物情報検出情報を、評価画面４００の形状データ表示領域４６０に代わる構造物情報表示領域に表示させる（ステップＳ７３）。
【0107】
ここで、構造物情報は、上述した形状データ以外に、構造物の付帯情報を含む。具体的には、検出部３６は、評価対象データに含まれている画像データおよび三次元データに基づいて、状態種別管理ＤＢ３００１（図７および図８参照）を用いて、評価対象データである画像に示されている法面の種別、および法面の付帯情報の種別を検出する。この場合、検出部３６は、状態種別管理テーブルに示されている教師画像を用いた画像マッチング処理によって法面の種別、および法面の付帯情報を検出する。
【0108】
図１７において、評価者が評価項目選択領域４３０に含まれている「損傷検出」ボタン４５３を押下することによって、受付部３２は、法面状態の損傷検出を要求する損傷検出要求を受け付けた場合（ステップＳ７４のＹＥＳ）、処理をステップＳ７５へ移行させる。一方で、受付部３２は、損傷検出要求が受け付けられない場合（ステップＳ７４のＮＯ）、処理をステップＳ７７へ移行させる。検出部３６は、評価対象データに対する法面状態の損傷検出処理を行う（ステップＳ７５）。
【0109】
ここで、法面状態の損傷検出処理は、法面の損傷度合いを表す損傷データとして、法面に存在する変状の有無または変状の度合いを検出する。変状の度合いは、変状の劣化度合いを示し、ひびの幅、隔離のサイズ、または浮きの大きさ等である。検出部３６は、評価対象データに含まれている画像データおよびセンサデータに基づいて、法面の変状の有無または変状の度合いを検出する。また、検出部３６は、予め定められた変状劣化度の検出式等を用いて、変状の度合い所定値を超えているか否かを検出する。この場合、検出部３６は、ひびの幅が一定以上であるか、剥離のサイズが一定以上か、または浮きが大きいか等を判定する。
【0110】
そして、図１３に示したステップＳ３６において、データ管理装置５のデータ管理部５３は、損傷位置の座標と損傷の種類を、図１１に示した撮影画像データ７Ａ におけるＸ軸方向およびＹ軸方向に対応する座標に対応付けて、処理データ管理ＤＢ５００３に記憶する。
【0111】
図１７において、表示制御部３３は、ステップＳ７５における損傷検出結果を示す表示画面４７０を、ディスプレイ３０６に表示させる（ステップＳ７６）。図１９は、損傷検出結果を示す表示画面の一例を示す図である。図１９に示されている表示画面４７０には、評価対象の法面全体における損傷の検出位置が表示された表示画像領域４８０、検出された損傷の位置に対応する撮影画像が表示された詳細情報表示領域４８５、および検出された法面の断面図を表示させる際に押下される「断面図」ボタン４８９が含まれている。このうち、表示画像領域４８０は、評価対象の法面の二次元形状を示す画像に対して、検出された損傷の位置を示す画像（Ｐ１～Ｐ４）が描画された平面図が示されている。また、表示画像領域４８０には、評価対象の法面の位置を示す位置座標（測位データ）が示されている。
【0112】
また、評価者が「断面図」ボタン４８９を押下することで、表示制御部３３は、図２０に示す断面画像４７５を、ディスプレイ３０６に表示させる。断面画像４７５は、検出部３６によって検出された形状データに基づいて描画された評価対象の法面の断面図を示す。形状データは、距離センサ８ａ（三次元センサ）によるセンサデータを用いて検出されるため、二次元画像のみでは算出できない法面の傾斜または高さ等の三次元情報も含めて詳細に表現することができる。
【0113】
図１７において、評価者が評価項目選択領域４３０に含まれている「地図情報」ボタン４５５を押下することによって、受付部３２は、地図情報取得要求を受け付けた場合（ステップＳ７７のＹＥＳ）、処理をステップＳ７８へ移行させる。一方で、受付部３２は、地図情報取得要求が受け付けられない場合（ステップＳ７７のＮＯ）、処理を終了する。検出部３６は、評価対象の法面状態の位置を示す地図情報を生成する（ステップＳ７８）。具体的には、検出部３６は、外部のＷＥＢサーバ等が提供する所定のサービスまたはアプリケーションを用いて利用可能な地図データに対応する、ステップＳ５５で取得された測位データが示す位置（北緯、東経）に対して、法面の位置を示す画像が付与された地図情報を生成する。外部のＷＥＢサーバ等から提供される地図データは、地図情報管理部３７によって管理されている。
【0114】
次に、表示制御部３３は、ステップＳ７８で生成された地図情報４９０を、ディスプレイ３０６に表示させる（ステップＳ７９）。
【0115】
次に、評価者が評価項目選択領域４３０に含まれている「予兆検出」ボタン４５７を押下することによって、受付部３２は、法面状態の損傷の予兆検出を要求する予兆検出要求を受け付けた場合（ステップＳ８０のＹＥＳ）、処理をステップＳ８１へ移行させる。一方で、受付部３２は、予兆検出要求が受け付けられない場合（ステップＳ８０のＮＯ）、処理を終了させる。検出部３６は、評価対象データに対する法面状態の予兆検出処理を行う（ステップＳ８２）。
【0116】
状態検査システム１において、従来から、法面の変状が認められたときにその状態および位置を特定することが行われている。しかしながら、法面に変状が生じる前に、変状が生じる位置の予兆を示す情報について計測する、という観点は知られていない。ここで、法面状態の損傷の予兆検出処理は、法面の損傷の予兆を表す予兆データとして、法面の周囲の物理量を示す周囲データを含む法面の計測データに基づき、法面の変状の予兆を検出する。
【0117】
計測データは、法面を撮影装置７により撮影した撮影画像データ、あるいは、法面を距離センサ８ａ等の三次元センサにより計測したセンサデータを含む。
【0118】
周囲データは、法面以外の物体の計測データを含み、法面以外の物体は、湧水、土砂、岩石、および植物のうちの少なくとも１つを含む。
【0119】
法面の計測データに、法面表面に発生している湧水を示す周囲データが含まれる場合、法面の裏側から、滞留水が圧力をかけている可能性があるため、法面の変状の予兆があると検出される。具体的には、湧水の有無に限らず、湧水の量、種類および位置に応じて、法面の変状の予兆があると検出される。
【0120】
法面の計測データに、法面表面に発生している植物、苔を示す周囲データが含まれる場合、湧水が発生し、法面の裏側から、滞留水が圧力をかけている可能性があるため、法面の変状の予兆があると検出される。具体的には、植物、苔の有無に限らず、植物、苔の量、種類および位置に応じて、法面の変状の予兆があると検出される。
【0121】
法面の計測データに、法面周囲の落石、土砂を示す周囲データが含まれる場合、法面の裏側および上側に異常が生じている可能性があるため、法面の変状の予兆があると検出される。具体的には、落石、土砂の有無に限らず、落石、土砂の量、種類および位置に応じて、法面の変状の予兆があると検出される。
【0122】
法面の計測データに、排水穴、パイプ、小段の排水路等の詰まりを示す周囲データが含まれる場合、法面の裏側から表側への排水が阻害され、法面の裏側から、滞留水が圧力をかけている可能性があるため、法面の変状の予兆があると検出される。具体的には、詰まりの有無に限らず、詰まりの原因となる異物の量、種類および位置に応じて、法面の変状の予兆があると検出される。
【0123】
なお、排水穴、パイプ、小段の排水路等自体が損傷している場合は、法面の変状として検出されるが、排水穴、パイプ、小段の排水路等の詰まりは、法面の変状としては検出されず、法面の変状の予兆として検出される。
【0124】
以上説明した法面以外の物体の計測データは、複数の計測データの組み合わせにより、法面の変状の予兆があると検出してもよい。具体的には、法面のごく一部にしか湧水を示す周囲データが存在しなかったとしても、法面の全面に苔が広がっている場合は、日常的には、法面の全面に湧水が広がっていると推定され、法面の変状の予兆があると検出される。
【0125】
また、周囲データは、物体以外の物理量の計測データを含み、物体以外の物理量の計測データは光の計測データを含む。
【0126】
法面の計測データに、日当たりの良さを示す周囲データが含まれる場合、上記した法面以外の物体の計測データと組み合わせて、法面の変状の予兆があると検出される。具体的には、日当たりがよく法面が乾燥しやすいにも関わらず、苔が発生している場合、湧水が発生し、法面の裏側から、滞留水が圧力をかけている可能性があるため、法面の変状の予兆があると検出される。
【0127】
そして、法面状態の損傷の予兆検出処理は、法面の損傷の予兆を表す予兆データとして、法面の周囲の物理量を示す周囲データを含む法面の計測データに基づき、法面の変状の予兆についてのコメントを生成する。そして、図１３に示したステップＳ３６において、データ管理装置５のデータ管理部５３は、変状の予兆の位置の座標とコメントを、図１１に示した撮影画像データ７Ａ におけるＸ軸方向およびＹ軸方向に対応する座標に対応付けて、処理データ管理ＤＢ５００３に記憶する。
【0128】
具体的には、取得した周囲データの一例である撮影画像データに基づき、図８に示した状態種別管理テーブルの教師画像を参照し、湧水等の法面の周囲の物理量の種別およびその量や位置等を示すコメントを生成する。一例として、「苔率３０％、起点高さ３～２０ｍ付近に多く分布」というコメントを生成する。
【0129】
図１７において、表示制御部３３は、ステップＳ８１における予兆検出結果を示す表示画面１４７０を、ディスプレイ３０６に表示させる（ステップＳ８２）。
【0130】
また、評価者が「断面図」ボタン１４８９を押下することで、表示制御部３３は、断面画像４７５をディスプレイ３０６に表示させる。
【0131】
このように、評価システム４は、法面状態の評価として、三次元情報を含む法面の形状、法面の損傷の度合い、法面の変状の予兆および評価対象の法面の位置を検出する。
【0132】
図１４に戻り、評価者が評価画面４００に含まれている「アップロード」ボタン４９１を押下することで、受付部３２は、評価結果のアップロード要求を受け付ける（ステップＳ５８）。そして、通信部３１は、データ管理装置５に対して、評価結果のアップロード（送信）を行う（ステップＳ５９）。これにより、データ管理装置５の通信部５１は、評価装置３から送信された評価データを受信する。そして、データ管理装置５のデータ管理部５３は、ステップＳ５９で受信された評価データを、処理データ管理ＤＢ５００３（図９（Ｂ）参照）に登録する（ステップＳ６０）。この場合、データ管理部５３は、評価データを、評価を行った評価対象データ等と関連づけて一つのフォルダに記憶する。
【0133】
また、評価者が評価画面４００に含まれている「レポート生成」ボタン４９３を押下することで、受付部３２は、評価レポートの生成要求を受け付ける（ステップＳ６１）。そして、レポート生成部３８は、検出部３６による法面状態の検出結果に基づいて、評価レポートを生成する（ステップＳ６２）。レポート生成部３８は、国等から発行された点検要領、または道路管理者からの要望に沿った様式に基づいて、上述した評価結果を示す評価データを整列させて評価レポートを生成する。
【0134】
以上により、評価システム４は、移動体システム６０によって取得された撮影画像データ、センサデータ（三次元データ）および測位データを用いた法面状態の評価を行うことで、法面の形状並びに損傷の位置および度合いを示したレポートを生成する。これによって、評価システム４は、法面検査に用いる画像判定サービスまたは法面の形状もしくは損傷判定サービスとしてのレポート生成機能の質と効率を向上させることができる。
【0135】
なお、検出部３６による状態検出処理は、図１７に示されている全ての処理を実行されている必要はなく、少なくともステップＳ７１～ステップＳ７３に示す形状検出処理が行われる構成であればよい。評価者は、必要に応じて形状検出処理に加えて、ステップＳ７４～ステップＳ７６に示す損傷検出処理およびステップＳ７７～ステップＳ７９に示す地図情報生成処理を実行することによって、詳細な評価結果を評価レポートに記述することができる。
【0136】
＜第１の画像、第２の画像および合成画像の例＞
次に、図２１～図２５を用いて、第１の画像、第２の画像、並びに第１の画像と第２の画像の合成画像それぞれの一例について説明する。図２１は、移動体システム６０による第１の画像および第２の画像の撮影の様子の一例を示す図である。図２１は、法面２００に面した道路を走行方向６１に移動する移動体６を上方から視た模式図である。
次に、図２１～図２５を用いて、第１の画像、第２の画像、並びに第１の画像と第２の画像の合成画像それぞれの一例について説明する。図２１は、移動体システム６０による第１の画像および第２の画像の撮影の様子の一例を示す図である。図２１は、法面２００に面した道路を走行方向６１に移動する移動体６を上方から視た模式図である。
【0137】
移動体システム６０は、移動体６により移動しながら、撮影装置７によって第１の画像および第２の画像の撮影データを取得するとともに、距離センサ８ａによって法面２００の三次元表面形状を含むセンサデータを取得する。法面２００における目印２１０は、撮影の目印とするために、法面２００内で任意に選択される領域である。目印２１０は、具体的には法面２００に存在する石、標識等である。但し、目印２１０は、撮影画像を後日観察した際に認識できるものであれば、いかなるものであってもよい。
【0138】
本実施形態では、移動体システム６０は、法面２００に面した道路を走行方向６１に２回移動し、１回目の移動で第１の画像を、２回目の移動で第２の画像を、それぞれ撮影する。１回目の移動において、法面２００の目印２１０を撮影した時刻をＴ１、撮影装置７の露光量をＥ１とする。また２回目の移動において、法面２００の目印２１０を撮影した時刻をＴ２、撮影装置７の露光量をＥ２とする。移動体システム６０では、移動体６により撮影装置７が移動しながら法面２００を撮影するため、撮影装置７と法面２００の相対位置が常に変化している。
【0139】
移動体システム６０は、第１の画像および第２の画像それぞれにおける、法面２００に対応する画像領域が、実空間における法面２００のほぼ同じ領域に対応し、かつほぼ同じサイズになるように、第１の画像および第２の画像の撮影画像データを取得する。これにより、図６に示した合成部５５は、第１の画像と第２の画像を容易に合成することができる。
【0140】
図２２は、本実施形態に係る第１の画像の一例を示す図である。図２３は、本実施形態に係る第２の画像の一例を示す図である。図２４は、図２２の第１の画像と図２３の第２の画像の合成画像の一例を示す図である。図２２～図２４に示す画像における法面２００は、一例として、擁壁を含むものである。
【0141】
図２２および図２３に示す例では、露光量Ｅ２と露光量Ｅ１とでは露光量が異なる。例えば撮影装置７は、２回目の撮影において、撮影装置７のシャッター速度を１回目の撮影でのシャッター速度よりも遅くしたり、撮影装置７の絞り径を１回目の撮影での絞り径よりも大きくしたりすることで、露光量Ｅ２を露光量Ｅ１から変えることができる。なお、露光量の調整方法は、上記の方法以外のものであってもよい。
【0142】
図２２において、第１の画像Ｉｍ１は、移動体システム６０により、１回目の移動で露光量Ｅ１により撮影された画像である。黒潰れ画像領域２２１は、第１の画像Ｉｍ１内で、露光量不足により画素ごとでの輝度差が失われた、例えば真っ黒な画像領域である。黒潰れ画像領域２２１では、法面２００の状態に関する詳細な情報が得られなくなる。
【0143】
図２３において、第２の画像Ｉｍ２は、移動体システム６０により、２回目の移動で露光量Ｅ２により撮影された画像である。第２の画像Ｉｍ２では、露光量Ｅ２が露光量Ｅ１よりも露光量を多くしたことにより、第１の画像Ｉ１における黒潰れ画像領域２２１に対応する画像領域で黒潰れ状態が解消され、画素ごとでの輝度差が得られている。一方、第２の画像Ｉｍ２では、露光量Ｅ２が露光量Ｅ１よりも露光量を多くしたことにより、白飛び画像領域２２２が生じている。白飛び画像領域２２２は、第２の画像Ｉｍ２内で、露光量過多により画素ごとでの輝度差が失われた、例えば真っ白な画像領域である。白飛び画像領域２２２では、法面２００の状態に関する詳細な情報が得られなくなる。
【0144】
図２４において、合成画像Ｉｍ３は、撮影装置７によって撮影された第１の画像Ｉｍ１と第２の画像Ｉｍを合成部５５により合成して得られた画像である。合成部５５は、第１の画像Ｉｍ１における黒潰れ画像領域２２１以外の画像領域と、第２の画像Ｉｍ２における白飛び画像領域２２２以外の画像領域と、を合成して合成画像Ｉｍ３を取得する。なお、第１の画像Ｉｍ１における黒潰れ画像領域２２１と、第２の画像Ｉｍ２における白飛び画像領域２２２は、必ずしも排他的な関係でなくてもよい。合成部５５は、第２の画像Ｉｍ２を用いて第１の画像Ｉｍ１における黒潰れ画像領域２２１を補い、あるいは第１の画像Ｉｍ１を用いて第２の画像Ｉｍ２における白飛び画像領域２２２を補うように、第１の画像Ｉｍ１と第２の画像Ｉｍ３を合成できる。
【0145】
以上のように、本実施形態では、少なくとも走行方向６１に撮影装置と被写体の相対位置が常に変化している状態において、露光量が異なる複数の撮影画像を得ることができる。また本実施形態では、状態検査システム１は、合成部５５により、第１の画像Ｉｍ１と第２の画像Ｉｍ２の合成画像Ｉｍ３を取得する。状態検査システム１は、黒潰れおよび白飛びが低減された合成画像Ｉｍ３を用いることで、法面２００の状態に関する詳細な情報が得られなくなる画像領域を低減し、法面２００を高い品質で点検することができる。例えば、状態検査システム１は、法面２００の老朽化を見逃すことなく、法面２００を点検できる。
【0146】
本実施形態では、合成部５５は、撮影装置７によって撮影された第１の画像Ｉｍ１および第２の画像Ｉｍそれぞれの特徴点に基づいて、合成画像Ｉｍ３を取得してもよい。この特徴点には、図２２～図２４における、法面２００に設けられた複数の水抜き穴２３１、法面２００における擁壁と植生の境目２３２、道路の白線２３３等が挙げられる。合成部５５は、第１の画像Ｉｍ１および第２の画像Ｉｍ２におけるこれらの特徴点を手掛かりに、第１の画像Ｉｍ１と第２の画像Ｉｍ２から、実空間における法面２００の同じ領域に対応する画像領域を抽出する。合成部５５は、これらの画像領域が重なるようにして、第１の画像Ｉｍ１と第２の画像Ｉｍ２を合成できる。
【0147】
また、本実施形態では、合成部５５は、図６に示した生成部５４により生成された複数の断面画像４７５（図２０を参照）を比較することにより、合成画像Ｉｍ３を取得してもよい。例えば合成部５５は、１回目の移動での撮影において、時刻Ｔ１に得られた断面画像とほぼ重なる断面画像を、２回目の移動での撮影で得られた複数の断面画像の中から抽出する。合成部５５は、抽出した断面画像を取得したときの撮影時刻から、２回目の移動で目印２１０を撮影した時刻Ｔ２を求めることができる。これにより、合成部５５は、全く違う時刻に撮影された第１の画像Ｉｍ１と第２の画像Ｉｍ２を合成することができる。
【0148】
また、本実施形態では、合成部５５は、生成部５４により生成された複数の三次元表面画像を比較することにより、合成画像を取得してもよい。この合成方法は、上記の断面画像を使う合成方法を３次元に拡張したものである。断面画像を使う合成方法では、２回目の移動において図２１の目印２１０を撮影した時刻Ｔ２を求めるために、断面画像に関する２次元情報を大量に処理する必要があり、コンピュータに高い処理能力が求められる。三次元表面画像を用いる合成方法は、三次元表面画像を用いて２つの三次元表面画像間でのデータの差分が小さい時刻を選ぶことで、２回目の移動において図２１の目印２１０を撮影した時刻Ｔ２を求める。これにより、高い計算能力を有するコンピュータを用いることなく、２回目の移動において図２１の目印２１０を撮影した時刻Ｔ２を効率的に求めることができる。
【0149】
また、本実施形態では、第１の画像および第２の画像の撮影に１台の撮影装置７を用いる。これにより、複数の撮影装置を用いて第１の画像および第２の画像を撮影する場合と比較して、撮影装置７の消費電力を低減することができる。
【0150】
［第２実施形態］
次に、第２実施形態に係る移動体システムについて説明する。なお、第１実施形態と同じ構成部には同じ符号を付し、重複する説明を適宜省略する。この点は、以降における他の実施形態においても同様とする。
次に、第２実施形態に係る移動体システムについて説明する。なお、第１実施形態と同じ構成部には同じ符号を付し、重複する説明を適宜省略する。この点は、以降における他の実施形態においても同様とする。
【0151】
本実施形態では、撮影装置と法面との相対位置が常に変化している状態において、複数の撮影装置により第１の画像と第２の画像とを撮影する点が、第１実施形態と主に異なる。つまり、本実施形態に係る移動体システムは、移動体により１回の移動を行う間に、第１の画像と第２の画像のそれぞれを撮影することができる。
【0152】
図２５は、本実施形態に係る移動体システム６０ａによる第１の画像の撮影の様子の一例を示す図である。図２６は、移動体システム６０ａによる第２の画像の撮影の様子の一例を示す図である。図２５および図２６に示すように、移動体システム６０ａは、２つの撮影装置７ａを有する。２つの撮影装置７ａは、第１撮影装置７－１と第２撮影装置７－２とを含む。第１撮影装置７－１および第２撮影装置７－２の構成および機能は、第１実施形態に係る撮影装置７の構成および機能と同じである。但し、第１撮影装置７－１および第２撮影装置７－２は、撮影装置７とは異なる構成および機能を有してもよい。第１撮影装置７－１および第２撮影装置７－２それぞれの画素数は同じであることが好ましい。
【0153】
図２５および図２６は、それぞれ法面２００に面した道路を走行方向６１に移動する移動体６を上方から視た模式図である。移動体システム６０ａは、移動体６により移動しながら、第１撮影装置７－１および第２撮影装置７－２により第１の画像および第２の画像の撮影データを取得するとともに、距離センサ８ａにより法面２００の三次元表面形状を含むセンサデータを取得できる。
【0154】
本実施形態では、移動体システム６０は、法面２００に面した道路を走行方向６１に１回移動する間に、第１撮影装置７－１で第１の画像を、第２撮影装置で第２の画像を、それぞれ撮影する。第１撮影装置７－１が法面２００の目印２１０を撮影した時刻をＴ１、第１撮影装置７－１の露光量をＥ１とする。第２撮影装置７－２が法面２００の目印２１０を撮影した時刻をＴ１＋ΔＴ、第２撮影装置７－２の露光量をＥ２とする。時間差ΔＴは、第１撮影装置７－１による撮影と第２撮影装置７－２による撮影の時間差である。
【0155】
時間差ΔＴは微小であるため、時刻Ｔ１と時刻Ｔ１＋ΔＴとの間における、移動体６と法面２００との間の距離の差や移動体６の姿勢の差は小さい。このため、第１の画像と第２の画像それぞれにおける、法面２００に対応する画像領域は、実空間における法面２００のほぼ同じ領域に対応するものとなり、かつほぼ同じサイズとなる。これにより、本実施形態では、実空間における法面２００のほぼ同じ領域に対応し、かつほぼ同じサイズの画像領域を含む第１の画像および第２の画像を容易に撮影することができる。この結果、図６に示した合成部５５は、第１の画像と第２の画像を容易に合成できる。
【0156】
第１撮影装置７－１および第２撮影装置７－２を走行方向６１に並べて配置することに代えて、第１撮影装置７－１および第２撮影装置７－２を重力方向に並べて配置してもよい。この場合、第１撮影装置７－１と第２撮影装置７－２の姿勢を相互に異ならせることで、第１撮影装置７－１と第２撮影装置７－２が重力方向における法面２００のほぼ同じ領域を撮影可能な状態にしてもよい。これにより、実空間における法面２００のほぼ同じ領域に対応し、かつほぼ同じサイズの画像領域を含む第１の画像および第２の画像を容易に撮影することができる。そして、合成部５５は、第１の画像と第２の画像を容易に合成できる。
【0157】
本実施形態における上記以外の作用効果は、第１実施形態とほぼ同じである。
【0158】
［第３実施形態］
次に、第３実施形態に係る状態検査システムについて説明する。本実施形態では、合成部５５は、第１の画像および第２の画像それぞれにおける、被写体に対応する画像領域のサイズが同じになるように、第１の画像および第２の画像の少なくとも一方における、被写体に対応する画像領域のサイズを変更する点が、第１実施形態と主に異なる。
次に、第３実施形態に係る状態検査システムについて説明する。本実施形態では、合成部５５は、第１の画像および第２の画像それぞれにおける、被写体に対応する画像領域のサイズが同じになるように、第１の画像および第２の画像の少なくとも一方における、被写体に対応する画像領域のサイズを変更する点が、第１実施形態と主に異なる。
【0159】
まず、図２７は、移動体６の姿勢を説明する図である。図２７において、θｒは移動体６のロール角、θｐは移動体６のピッチ角、θｙは移動体６のヨー角を、それぞれ示している。ロール角θｒは、移動体６の走行方向６１に沿う軸回りの移動体６の姿勢（角度）に対応する。ピッチ角θｐは、走行方向６１に沿う軸および重力方向に沿う軸それぞれに直交する軸回りの移動体６の姿勢（角度）に対応する。ヨー角θｙは、重力方向に沿う軸回りの移動体６の姿勢（角度）に対応する。移動体６は、道路の形状やタイヤの伸縮等に応じて、移動中にこれらの姿勢が変化する。姿勢変化に応じて撮影装置７と法面２００との間の距離（以下、被写体距離という）が変化する。被写体距離の変化に応じて第１の画像および第２の画像それぞれにおける、法面に対応する画像領域のサイズが異なるものとなる。被写体距離の変化は、走行方向６１と略直交する方向における撮影装置７と法面の相対位置の変化に対応し、撮影装置７と法面の相対位置の変化の一例に対応する。
【0160】
図２８は、本実施形態に係る状態検査システム１ｂにおける第１の画像の撮影の様子の一例を示す図である。図２９は、状態検査システム１ｂにおける第２の画像の撮影の様子の一例を示す図である。図２８および図２９のそれぞれは、法面２００に面した道路を走行方向６１に移動する移動体６を上方から視た模式図である。
【0161】
本実施形態では、第１実施形態と同様に（図２１参照）、移動体システム６０は、法面２００に面した道路を走行方向６１に２回移動し、１回目の移動で第１の画像を撮影し、２回目の移動で第２の画像を撮影する。
【0162】
１回目の移動において、法面２００の目印２１０を撮影した時刻をＴ１、撮影装置７の露光量をＥ１、被写体距離をＤ１、移動体６のロール角をθｒ１、移動体６のピッチ角をθｐ１、移動体６のヨー角をθｙ１とする。また２回目の移動において、法面２００の目印２１０を撮影した時刻をＴ２、撮影装置７の露光量をＥ２、被写体距離をＤ２、移動体６のロール角をθｒ２、移動体６のピッチ角をθｐ２、移動体６のヨー角をθｙ２とする。図２８および図２９に示す例では、被写体距離Ｄ２は、被写体距離Ｄ１よりも短い。
【0163】
図３０は、第１の画像Ｉｍ１ｂと第２の画像Ｉｍ２ｂにおいて、被写体に対応する画像領域のサイズが被写体距離に応じて異なる様子の一例を示す図である。なお、図３０と後述する図３１では、説明を分かりやすくするために、法面２００に代え、被写体を樹木２２０にしている。
【0164】
図３０において、被写体距離Ｄ２は被写体距離Ｄ１よりも短いため、第２の画像Ｉｍ２ｂにおける、樹木２２０－２に対応する画像領域のサイズは、第１の画像Ｉｍ１ｂにおける、樹木２２０－１に対応する画像領域のサイズよりも大きい。樹木２２０－１に対応する画像領域のサイズが異なることにより、第１の画像と第２の画像の合成画像の品質が低下する場合がある。
【0165】
本実施形態では、合成部５５は、第１の画像および第２の画像において、樹木２２０（被写体）に対応する画像領域のサイズが同じになるように、第１の画像および第２の画像の少なくとも一方における、樹木２２０に対応する画像領域のサイズを変更する。
【0166】
図３１は、樹木２２０に対応する画像領域のサイズの変更方法の一例を示す図である。図３１は、変更前の樹木２２０－１に対応する画像領域のサイズを拡大することで、変更後の樹木２２０－１'が得られる様子を示している。
【0167】
図３１において、縦方向に伸びる帯状の画像領域である画像領域Ｓ１～Ｓ３６のそれぞれは、ラインカメラである撮影装置７の１ライン分の撮影画像に対応する。縦方向は、実空間における鉛直方向に対応する。撮影装置７の画素数は、一例として４０００画素である。画像領域Ｓ１～Ｓ３６では、それぞれ４０００個の画素が縦方向に並んでいる。撮影装置７は、画像領域Ｓ１～Ｓ３６を横方向に繋ぎ合わせることにより、第１の画像Ｉｍ１ｂを得ることができる。横方向は、実空間における移動体６の走行方向に対応する。
【0168】
合成部５５は、第１の画像Ｉｍ１ｂにおける、樹木２２０－１に対応する画像領域のサイズが、図３０に示した第２の画像Ｉｍ２ｂにおける、樹木２２０－２に対応する画像領域のサイズと同じになるように、第１の画像Ｉｍ１ｂにおける、樹木２２０－１に対応する画像領域のサイズを変更する。
【0169】
図３１における「樹木２２０－１に対応する画像領域」は、例えば画像領域Ｓ１４～画像領域Ｓ２３から構成される画像領域である。なお、本実施形態では、合成部５５は、少なくとも「樹木２２０に対応する画像領域」、のサイズを変更できればよい。例えば合成部５５は、樹木２２０に対応する画像領域のサイズを変更するために、「樹木２２０－１に対応する画像領域」に限らず、第１の画像および第２の画像の少なくとも一方における全体の画像サイズを変更してもよい。
【0170】
以上のようにして、本実施形態では、第１の画像と第２の画像を合成する際に、第１の画像および第２の画像それぞれにおける、樹木２２０に対応する画像領域のサイズをほぼ同じにすることができる。そして、合成部５５による第１の画像Ｉｍ１ｂと第２の画像Ｉｍ２ｂの合成品質を高くすることができる。なお、合成部５５による合成品質を高くする観点では、法面を撮影する際に、被写体距離がなるべく変化しないように移動体６を移動させることが好ましい。
【0171】
本実施形態では、第１の画像Ｉｍ１ｂにおける樹木２２０－１に対応する画像領域に限らず、第１の画像Ｉｍｂ１および第２の画像Ｉｍｂ２の少なくとも一方における、樹木２２０に対応する画像領域のサイズを変更してもよい。また状態検査システム１ｂは、角度センサ８ｃによる撮影装置７の姿勢の検出結果に応じて、第１の画像Ｉｍ１ｂにおける樹木２２０－１に対応する画像領域のサイズを変更することもできる。こられの場合にも、上記と同じ作用効果を得ることができる。
【0172】
本実施形態における上記以外の作用効果は、第１実施形態とほぼ同じである。
【0173】
［第４実施形態］
次に、第４実施形態に係る状態検査システムについて説明する。本実施形態では、図６に示した合成部５５は、合成画像の繋ぎ目領域における第１の画像と第２の画像の輝度差が所定の輝度差閾値以下になるように、合成画像の輝度を補正する点が、第１実施形態と主に異なる。
次に、第４実施形態に係る状態検査システムについて説明する。本実施形態では、図６に示した合成部５５は、合成画像の繋ぎ目領域における第１の画像と第２の画像の輝度差が所定の輝度差閾値以下になるように、合成画像の輝度を補正する点が、第１実施形態と主に異なる。
【0174】
図３２は、本実施形態に係る第１の画像Ｉｍ１の一例を示す図である。図３３は、図３２におけるXXXIII－XXXIII線の断面輝度分布を示す図である。図３４は、本実施形態に係る第２の画像Ｉｍ２の一例を示す図である。図３５は、図３４におけるXXXV－XXXV線の断面輝度分布を示す図である。図３６は、図３２の第１の画像Ｉｍ１と図３４の第２の画像Ｉｍ２の合成画像Ｉｍ３の一例を示す図である。図３７は、図３６におけるXXXVII－XXXVII線の断面輝度分布を示す図である。
【0175】
上記の断面輝度分布は、切断線に沿った断面における複数の画素の輝度値の分布を意味する。また、図３２の第１の画像Ｉｍ１は、図２８に示した移動体システム６０により撮影されたものとし、図３４の第２の画像Ｉｍ２は、図２９に示した移動体システム６０により撮影されたものとする。
【0176】
図３２および図３３に示すように、第１の画像Ｉｍ１の黒潰れ画像領域２２１では、画素の輝度値が０になっており、画素ごとでの輝度差が失われている。図３４および図３５に示すように、第２の画像Ｉｍ２の白飛び画像領域２２２では、画素の輝度値が最大値になっており、画素ごとでの輝度差が失われている。なお、例えば８ビットのカラー撮像素子を用いる場合には、Ｒｅｄ（赤）、Ｇｒｅｅｎ（緑）、Ｂｌｕｅ（青）それぞれの輝度値の最大値は２５５階調である。
【0177】
図３６および図３７に示すように、合成画像Ｉｍ３は、第２の画像Ｉｍ２の黒潰れ対応領域２２１'と第１の画像Ｉｍ１の白飛び対応領域２２２'を繋ぎ合わせるようにして、第１の画像Ｉｍ１と第２の画像Ｉｍ２とが合成されたものである。黒潰れ画像領域２２１および白飛び画像領域２２２が除去されることで、合成画像Ｉｍ３では、黒潰れおよび白飛びがなくなっている。
【0178】
一方で、合成画像Ｉｍ３では、第１の画像Ｉｍ１と第２の画像Ｉｍ２の繋ぎ目に対応する繋ぎ目領域２２３で不自然な輝度差が生じる場合がある。この輝度差は、第１の画像Ｉｍ１の撮影と第２の画像Ｉｍ２の撮影において露光量が異なることにより生じる。法面の点検において、実空間の法面におけるひび割れや亀裂等の変状に伴う合成画像Ｉｍ３の輝度差と、合成画像Ｉｍ３における繋ぎ目領域２２３の輝度差と、が重なると、状態検査システムは、両者を区別できず、ひび割れや亀裂等の変状を検出できなくなる可能性がある。
【0179】
以上のことから、本実施形態では、合成部５５は、第１の画像Ｉｍ１と第２の画像Ｉｍ２の繋ぎ目領域２２３における第１の画像Ｉｍ１と第２の画像Ｉｍ２の輝度差が所定の輝度差閾値以下になるように、合成画像Ｉｍ３の輝度を補正する。
【0180】
例えば、合成部５５は、第１の画像Ｉｍ１および第２の画像Ｉｍ２から、黒潰れ画像領域２２１および白飛び画像領域２２２の少なくとも一方を検出する。合成部５５は、合成画像Ｉｍ３における黒潰れ画像領域２２１と黒潰れ画像領域２２１以外の画像領域との繋ぎ目、および合成画像Ｉｍ３における白飛び画像領域２２２と白飛び画像領域２２２以外の画像領域との繋ぎ目、の少なくとも一方を、合成画像Ｉｍ３の繋ぎ目領域２２３とする。合成部５５は、繋ぎ目領域２２３における第１の画像Ｉｍ１と第２の画像Ｉｍ２の輝度差が所定の輝度差閾値以下になるように、第１の画像Ｉｍ１全体の平均輝度および第２の画像Ｉｍ２全体の平均輝度の少なくとも一方を補正する。その後、合成部５５は、第１の画像Ｉｍ１と第２の画像Ｉｍ２を合成する。これらの処理により、合成部５５は、繋ぎ目領域２２３における第１の画像Ｉｍ１と第２の画像Ｉｍ２の輝度差が所定の輝度差閾値以下になるように、合成画像Ｉｍ３の輝度を補正できる。なお、輝度差閾値は、ひび割れや亀裂等の変状を検出可能なものが予め定められる。また、繋ぎ目領域２２３における第１の画像Ｉｍ１と第２の画像Ｉｍ２の輝度差を所定の輝度差閾値以下にするための処理は、上述したものに限らず、法面２００の特性等に応じて適宜変更可能である。
【0181】
図３８は、図３６の合成画像Ｉｍ３の輝度補正結果の一例を示す図である。図３９は、図３８におけるXXXIX－XXXIX線の断面輝度分布を示す図である。図３８の合成画像Ｉｍ３'は、合成画像Ｉｍ３の輝度を補正した後の合成画像である。図３８および図３９に示すように、合成画像Ｉｍ３'では、図３７の繋ぎ目領域２２３に対応する領域２２３'において、輝度差が低減され、第１の画像Ｉｍ１と第２の画像Ｉｍ２の繋ぎ目が目立たなくなっている。これにより、本実施形態に係る状態検査システムは、実空間の法面におけるひび割れや亀裂等の変状に伴う輝度差と、合成画像Ｉｍ３における繋ぎ目領域２２３の輝度差と、が重なることを回避し、法面におけるひび割れや亀裂等の変状を検出することができる。
【0182】
本実施形態は、図２５および図２６に示した移動体システム６０ａにより撮影された第１の画像Ｉｍ１および第２の画像Ｉｍ２を用いて、合成画像Ｉｍ３を取得する場合にも適用可能である。この場合にも、上述したものとほぼ同じ作用効果を得ることができる。
【0183】
これまで本発明の一実施形態に係る撮影方法、プログラム、撮影システムおよび情報処理装置について説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
【0184】
上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＤＳＰ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、ＦＰＧＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ＳＯＣ（Ｓｙｓｔｅｍ ｏｎ ａ ｃｈｉｐ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および従来の回路モジュール等のデバイスを含むものとする。
【0185】
また、上記で説明した実施形態の各種テーブルは、機械学習の学習効果によって生成されたものでもよく、関連づけられている各項目のデータを機械学習にて分類付けすることで、テーブルを使用しなくてもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり，コンピュータがデータ識別等の判断に必要なアルゴリズムを事前に取り込まれる学習データから自律的に生成し、新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。
【0186】
また、上記で説明した実施形態の各種テーブルは、画像処理手法を用いて生成されたものでもよい。画像処理手法の例としては、エッジ検出や直線検出、２値化処理等である。また、同様に、音声を取り扱う場合は、フーリエ変換等の音声変換手法を用いても良い。
【0187】
本発明の態様は、例えば、以下のとおりである。
＜１＞ 移動体に搭載され、移動しながら被写体を撮影する撮影装置による撮影方法であって、前記撮影装置が、前記撮影装置と前記被写体との相対位置が常に変化している状態において、第１の露光量で前記被写体の第１の画像を撮影し、前記第１の露光量とは異なる第２の露光量で前記被写体の第２の画像を撮影する、撮影方法である。
＜２＞ 画像合成手段により、前記撮影装置によって撮影された前記第１の画像と前記第２の画像の合成画像を取得する、前記＜１＞に記載の撮影方法である。
＜３＞ 前記画像合成手段は、前記撮影装置によって撮影された前記第１の画像および前記第２の画像それぞれの特徴点に基づいて、前記合成画像を取得する、前記＜２＞に記載の撮影方法である。
＜４＞ 画像生成手段により、前記撮影装置によって撮影された前記第１の画像および前記第２の画像に基づいて、前記被写体の断面に関する複数の断面画像を生成し、前記画像合成手段は、前記画像生成手段により生成された前記複数の断面画像を比較することにより、前記合成画像を取得する、前記＜２＞または前記＜３＞に記載の撮影方法である。
＜５＞ 三次元センサにより、前記被写体の三次元表面形状を測定し、画像生成手段により、前記三次元センサにより測定された前記三次元表面形状に基づいて、前記被写体の複数の三次元表面画像を生成し、前記画像合成手段は、前記画像生成手段により生成された前記複数の三次元表面画像を比較することにより、前記合成画像を取得する、前記＜２＞から前記＜４＞のいずれか１つに記載の撮影方法である。
＜６＞ 前記画像合成手段は、前記第１の画像および前記第２の画像それぞれにおける前記被写体に対応する画像領域のサイズが同じになるように、前記第１の画像および前記第２の画像の少なくとも一方における前記被写体に対応する画像領域のサイズを変更する、前記＜２＞から前記＜５＞のいずれか１つに記載の撮影方法である。
＜７＞ 前記画像合成手段は、前記第１の画像と前記第２の画像の繋ぎ目領域における前記第１の画像と前記第２の画像の輝度差が、所定の輝度差閾値以下になるように、前記合成画像の輝度を補正する、前記＜２＞から前記＜６＞のいずれか１つに記載の撮影方法である。
＜８＞ 前記画像合成手段は、前記第１の画像および前記第２の画像から黒潰れ画像領域および白飛び画像領域の少なくとも一方を検出し、前記合成画像における前記黒潰れ画像領域と前記黒潰れ画像領域以外の画像領域との繋ぎ目、および前記合成画像における前記白飛び画像領域と前記白飛び画像領域以外の画像領域との繋ぎ目、の少なくとも一方を、前記合成画像の繋ぎ目領域とする、前記＜７＞に記載の撮影方法である。
＜９＞ 前記撮影装置と前記被写体との相対位置が常に変化している状態において、複数の前記撮影装置により、前記第１の画像と前記第２の画像とを撮影する、前記＜１＞から前記＜８＞のいずれか１つに記載の撮影方法である。
＜１０＞ 前記＜１＞から前記＜９＞のいずれか１つに記載の撮影方法を前記撮影装置に実行させる、プログラムである。
＜１１＞ 移動体に搭載され、移動しながら被写体を撮影する撮影装置と、前記撮影装置による撮影画像を処理する情報処理装置と、を有する撮影システムであって、前記撮影装置は、前記撮影装置と前記被写体との相対位置が常に変化している状態において、第１の露光量で前記被写体の第１の画像を撮影し、前記第１の露光量とは異なる第２の露光量で前記被写体の第２の画像を撮影する、撮影システムである。
＜１２＞ 移動体に搭載され、移動しながら被写体を撮影する撮影装置による撮影画像を処理する情報処理装置であって、前記撮影装置は、前記撮影装置と前記被写体との相対位置が常に変化している状態において、第１の露光量で前記被写体の第１の画像を撮影し、前記第１の露光量とは異なる第２の露光量で前記被写体の第２の画像を撮影し、前記第１の画像と前記第２の画像の合成画像を取得する画像合成手段を有する情報処理装置である。
＜１＞ 移動体に搭載され、移動しながら被写体を撮影する撮影装置による撮影方法であって、前記撮影装置が、前記撮影装置と前記被写体との相対位置が常に変化している状態において、第１の露光量で前記被写体の第１の画像を撮影し、前記第１の露光量とは異なる第２の露光量で前記被写体の第２の画像を撮影する、撮影方法である。
＜２＞ 画像合成手段により、前記撮影装置によって撮影された前記第１の画像と前記第２の画像の合成画像を取得する、前記＜１＞に記載の撮影方法である。
＜３＞ 前記画像合成手段は、前記撮影装置によって撮影された前記第１の画像および前記第２の画像それぞれの特徴点に基づいて、前記合成画像を取得する、前記＜２＞に記載の撮影方法である。
＜４＞ 画像生成手段により、前記撮影装置によって撮影された前記第１の画像および前記第２の画像に基づいて、前記被写体の断面に関する複数の断面画像を生成し、前記画像合成手段は、前記画像生成手段により生成された前記複数の断面画像を比較することにより、前記合成画像を取得する、前記＜２＞または前記＜３＞に記載の撮影方法である。
＜５＞ 三次元センサにより、前記被写体の三次元表面形状を測定し、画像生成手段により、前記三次元センサにより測定された前記三次元表面形状に基づいて、前記被写体の複数の三次元表面画像を生成し、前記画像合成手段は、前記画像生成手段により生成された前記複数の三次元表面画像を比較することにより、前記合成画像を取得する、前記＜２＞から前記＜４＞のいずれか１つに記載の撮影方法である。
＜６＞ 前記画像合成手段は、前記第１の画像および前記第２の画像それぞれにおける前記被写体に対応する画像領域のサイズが同じになるように、前記第１の画像および前記第２の画像の少なくとも一方における前記被写体に対応する画像領域のサイズを変更する、前記＜２＞から前記＜５＞のいずれか１つに記載の撮影方法である。
＜７＞ 前記画像合成手段は、前記第１の画像と前記第２の画像の繋ぎ目領域における前記第１の画像と前記第２の画像の輝度差が、所定の輝度差閾値以下になるように、前記合成画像の輝度を補正する、前記＜２＞から前記＜６＞のいずれか１つに記載の撮影方法である。
＜８＞ 前記画像合成手段は、前記第１の画像および前記第２の画像から黒潰れ画像領域および白飛び画像領域の少なくとも一方を検出し、前記合成画像における前記黒潰れ画像領域と前記黒潰れ画像領域以外の画像領域との繋ぎ目、および前記合成画像における前記白飛び画像領域と前記白飛び画像領域以外の画像領域との繋ぎ目、の少なくとも一方を、前記合成画像の繋ぎ目領域とする、前記＜７＞に記載の撮影方法である。
＜９＞ 前記撮影装置と前記被写体との相対位置が常に変化している状態において、複数の前記撮影装置により、前記第１の画像と前記第２の画像とを撮影する、前記＜１＞から前記＜８＞のいずれか１つに記載の撮影方法である。
＜１０＞ 前記＜１＞から前記＜９＞のいずれか１つに記載の撮影方法を前記撮影装置に実行させる、プログラムである。
＜１１＞ 移動体に搭載され、移動しながら被写体を撮影する撮影装置と、前記撮影装置による撮影画像を処理する情報処理装置と、を有する撮影システムであって、前記撮影装置は、前記撮影装置と前記被写体との相対位置が常に変化している状態において、第１の露光量で前記被写体の第１の画像を撮影し、前記第１の露光量とは異なる第２の露光量で前記被写体の第２の画像を撮影する、撮影システムである。
＜１２＞ 移動体に搭載され、移動しながら被写体を撮影する撮影装置による撮影画像を処理する情報処理装置であって、前記撮影装置は、前記撮影装置と前記被写体との相対位置が常に変化している状態において、第１の露光量で前記被写体の第１の画像を撮影し、前記第１の露光量とは異なる第２の露光量で前記被写体の第２の画像を撮影し、前記第１の画像と前記第２の画像の合成画像を取得する画像合成手段を有する情報処理装置である。
【符号の説明】
【0188】
１ 状態検査システム（撮影システムの一例）
３ 評価装置
４ 評価システム
５ データ管理装置（情報処理装置の一例）
６ 移動体
７ 撮影装置
７－１ 第１撮影装置
７－２ 第２撮影装置
８ センサ装置
８ａ 距離センサ（三次元センサの一例）
８ｃ 角度センサ（三次元センサの一例）
９ データ取得装置
３１ 通信部
３２ 受付部
３３ 表示制御部
３４ 判断部
３５ 評価対象データ生成部
３６ 検出部
３７ 地図情報管理部
３８ レポート生成部
３９ 記憶・読出部
５１ 通信部
５２ 判断部
５３ データ管理部
５４ 生成部（画像生成手段の一例）
５５ 合成部（画像合成手段の一例）
５９ 記憶・読出部
６０、６０ａ 移動体システム
６１ 走行方向
９１ 通信部
９２ 判断部
９３ 撮影装置制御部
９４ センサ装置制御部
９５ 撮影画像データ取得部
９６ センサデータ取得部
９７ 時刻データ取得部
９８ 要求受付部
９９ 記憶・読出部
１００ 通信ネットワーク
２００ 法面（被写体の一例）
２１０ 目印
２２０、２２０－１、２２０－２ 樹木
２２１ 黒潰れ画像領域
２２１' 黒潰れ対応領域
２２２ 白飛び画像領域
２２２' 白飛び対応領域
２２３ 繋ぎ目領域
２３１ 水抜き穴
２３２ 境目
２３３ 白線
１１００ （通信端末の一例）
１１０１ 通信部
１１０２ 受付部
１１０３ 表示制御部
１１０４ 判断部
１１０５ 記憶・読出部
１１０６ 記憶部
１２００ （通信端末の一例）
１２０１ 通信部
１２０２ 受付部
１２０３ 表示制御部
１２０４ 判断部
１２０５ 記憶・読出部
１２０６ 記憶部
３０００ 記憶部
３００１ 状態種別管理ＤＢ
５０００ 記憶部
５００１ 取得データ管理ＤＢ
５００２ 処理データ管理ＤＢ
９０００ 記憶部
Ｉｍ１ 第１の画像
Ｉｍ２ 第２の画像
Ｉｍ３ 第３の画像
θｒ ロール角
θｐ ピッチ角
θｙ ヨー角
Ｄ１、Ｄ２ 被写体距離
Ｓ１～Ｓ３６ 画像領域
３ 評価装置
４ 評価システム
５ データ管理装置（情報処理装置の一例）
６ 移動体
７ 撮影装置
７－１ 第１撮影装置
７－２ 第２撮影装置
８ センサ装置
８ａ 距離センサ（三次元センサの一例）
８ｃ 角度センサ（三次元センサの一例）
９ データ取得装置
３１ 通信部
３２ 受付部
３３ 表示制御部
３４ 判断部
３５ 評価対象データ生成部
３６ 検出部
３７ 地図情報管理部
３８ レポート生成部
３９ 記憶・読出部
５１ 通信部
５２ 判断部
５３ データ管理部
５４ 生成部（画像生成手段の一例）
５５ 合成部（画像合成手段の一例）
５９ 記憶・読出部
６０、６０ａ 移動体システム
６１ 走行方向
９１ 通信部
９２ 判断部
９３ 撮影装置制御部
９４ センサ装置制御部
９５ 撮影画像データ取得部
９６ センサデータ取得部
９７ 時刻データ取得部
９８ 要求受付部
９９ 記憶・読出部
１００ 通信ネットワーク
２００ 法面（被写体の一例）
２１０ 目印
２２０、２２０－１、２２０－２ 樹木
２２１ 黒潰れ画像領域
２２１' 黒潰れ対応領域
２２２ 白飛び画像領域
２２２' 白飛び対応領域
２２３ 繋ぎ目領域
２３１ 水抜き穴
２３２ 境目
２３３ 白線
１１００ （通信端末の一例）
１１０１ 通信部
１１０２ 受付部
１１０３ 表示制御部
１１０４ 判断部
１１０５ 記憶・読出部
１１０６ 記憶部
１２００ （通信端末の一例）
１２０１ 通信部
１２０２ 受付部
１２０３ 表示制御部
１２０４ 判断部
１２０５ 記憶・読出部
１２０６ 記憶部
３０００ 記憶部
３００１ 状態種別管理ＤＢ
５０００ 記憶部
５００１ 取得データ管理ＤＢ
５００２ 処理データ管理ＤＢ
９０００ 記憶部
Ｉｍ１ 第１の画像
Ｉｍ２ 第２の画像
Ｉｍ３ 第３の画像
θｒ ロール角
θｐ ピッチ角
θｙ ヨー角
Ｄ１、Ｄ２ 被写体距離
Ｓ１～Ｓ３６ 画像領域
【先行技術文献】
【特許文献】
【0189】
【特許文献1】特開２０１７－１２０９７１号公報
【特許文献2】特開２０２１－０１３１３１号公報
【特許文献3】特開２０１２－２３０４８６号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】