特許 7589858 表示装置、撮影システム、表示制御方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-11-18

(45)【発行日】2024-11-26

(54)【発明の名称】表示装置、撮影システム、表示制御方法およびプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20241119BHJP

   G09G 5/00 20060101ALI20241119BHJP

   G09G 5/373 20060101ALI20241119BHJP

【ＦＩ】

H04N7/18 B

G09G5/00 510A

G09G5/00 555D

G09G5/373 100

G09G5/373 200

G09G5/00 510H

G09G5/00 550C

【請求項の数】 8

(21)【出願番号】P 2024152939

(22)【出願日】2024-09-05

(62)【分割の表示】P 2020134475の分割

【原出願日】2020-08-07

【審査請求日】2024-09-26

【早期審査対象出願】

(73)【特許権者】

【識別番号】000006747

【氏名又は名称】株式会社リコー

(74)【代理人】

【識別番号】110000442

【氏名又は名称】弁理士法人武和国際特許事務所

(72)【発明者】

【氏名】菊地 太郎

(72)【発明者】

【氏名】澤田 圭人

(72)【発明者】

【氏名】岡 浩樹

(72)【発明者】

【氏名】山中 祐治

(72)【発明者】

【氏名】濱谷 千尋

【審査官】塚本 丈二

(56)【参考文献】

【文献】特開２０１９－０６１６６７（ＪＰ，Ａ）

【文献】特開２００７－１４７３５４（ＪＰ，Ａ）

【文献】特開２００８－２５７５５５（ＪＰ，Ａ）

【文献】米国特許出願公開第２００７／００１２８８０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０９Ｇ ５／００－５／４２

Ｇ０１Ｎ ２１／８８

(57)【特許請求の範囲】

【請求項1】

構造物が撮影された複数の撮影画像を表示する表示装置であって、
前記複数の撮影画像のそれぞれに対応する複数の縮小画像を並べた前記構造物の俯瞰画像を表示画面に表示させる表示制御手段と、
表示された前記俯瞰画像の領域の選択を受け付ける受付手段と、を備え、
前記表示制御手段は、
前記受付手段によって受け付けられた前記領域が複数の前記縮小画像に対応する場合、前記受付手段によって受け付けられた前記領域に対応する複数の前記撮影画像を、前記縮小画像よりも高い拡大倍率で前記表示画面に表示させ、
前記受付手段により受け付けられた前記領域が示される前記俯瞰画像を、前記表示画面に表示させる表示装置。

【請求項2】

前記撮影画像の状態を検知した検知結果であるフラグ画像を、前記俯瞰画像における前記複数の縮小画像のうち対応する縮小画像に関連づけて表示する請求項１に記載の表示装置。

【請求項3】

前記フラグ画像を前記俯瞰画像に重畳させて表示する請求項２に記載の表示装置。

【請求項4】

前記受付手段によって受け付けられた前記領域に対応する前記撮影画像は、前記表示画面における拡大画像表示領域に表示され、
前記拡大画像表示領域に表示される画像のコマ送りを行う操作を受け付ける表示切替手段を備える請求項１乃至３のいずれか一項に記載の表示装置。

【請求項5】

前記受付手段によって受け付けられた前記領域に対応する前記撮影画像は、前記表示画面における拡大画像表示領域に表示され、
前記拡大画像表示領域に表示された画像の表示倍率の拡大または縮小を行う表示倍率選択手段を備える請求項１乃至４のいずれか一項に記載の表示装置。

【請求項6】

請求項１乃至５のいずれか一項に記載の表示装置と、制御装置と、を備える撮影システムであって、
前記制御装置は、
撮影手段によって撮影された撮影画像に対する所定の検知処理を行う検知手段と、
前記撮影画像、および前記検知手段による検知結果を、前記表示装置に対して送信する送信手段と、
を備え、
前記表示装置は、
前記制御装置から送信された、前記複数の撮影画像および前記検知結果を受信する受信手段を、
備える撮影システム。

【請求項7】

構造物が撮影された複数の撮影画像を表示する表示装置が実行する表示制御方法であって、
前記複数の撮影画像のそれぞれに対応する複数の縮小画像を並べた前記構造物の俯瞰画像を表示画面に表示させる第１の表示制御ステップと、
表示された前記俯瞰画像の領域の選択を受け付ける受付ステップと、
前記受付ステップによって受け付けられた前記領域が複数の前記縮小画像に対応する場合、前記受付ステップによって受け付けられた前記領域に対応する複数の前記撮影画像を、前記縮小画像よりも高い拡大倍率で前記表示画面に表示させ、
前記受付ステップにより受け付けられた前記領域が示される前記俯瞰画像を、前記表示画面に表示させる第２の表示制御ステップと、
を実行する表示制御方法。

【請求項8】

構造物が撮影された複数の撮影画像を表示する表示装置に、
前記複数の撮影画像のそれぞれに対応する複数の縮小画像を並べた前記構造物の俯瞰画像を表示画面に表示させる第１の表示制御ステップと、
表示された前記俯瞰画像の領域の選択を受け付ける受付ステップと、
前記受付ステップによって受け付けられた前記領域が複数の前記縮小画像に対応する場合、前記受付ステップによって受け付けられた前記領域に対応する複数の前記撮影画像を、前記縮小画像よりも高い拡大倍率で前記表示画面に表示させ、
前記受付ステップにより受け付けられた前記領域が示される前記俯瞰画像を、前記表示画面に表示させる第２の表示制御ステップと、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示内容は、表示装置、撮影システム、表示制御方法およびプログラムに関する。

【背景技術】

【0002】

トンネル等の構造物は、コンクリートで覆工されているため、経年変化により、ひび割れ等の変状が起こる。このまま放置しておくと、コンクリート片が剥がれ落ちて、通行中の車両や人に損害を与える可能性がある。そのため、検査業者が、定期的な検査を行い、国または都道府県の機関（以下「国等」と示す）に検査結果を報告している。この報告をするため、検査業者は、国や自治体によって定められた書類を提出する必要がある。

【0003】

このようなトンネル等の維持管理において、従来の人力での点検を効率化するために、カメラを搭載した撮影車両を用いてトンネルの壁面を走行しながら撮影し、トンネルの全体の展開画像を作成する技術が知られている。この際に、撮影車両に搭乗する点検作業者は、撮影後に適切に撮影できたかの成否確認を行うために、撮影画像のサムネイル画像で確認したり、いくつかのサンプリングした撮影画像を確認したりする等の方法が知られている。撮影画像の確認を行う方法として、特許文献１には、複数の監視カメラで撮影された映像を、複数の領域を含む第１形式と、操作者が指定した領域のみを含む第１形式よりもデータ量の多い第２形式とで切り替えて表示させる内容が開示されている。

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の方法では、撮影画像のサムネイル画像を表示する場合では、画像の解像度が荒く、撮影画像が示す小さな異常を発見することが困難であり、撮影画像のサンプリング画像を表示する場合では、サンプリング数を増やすと成否確認に時間を要してしまうため、撮影画像が示す小さな異常を見逃さずに、短時間で撮影画像の成否確認を行うことができないという課題があった。

【課題を解決するための手段】

【0005】

上述した課題を解決すべく、請求項１に係る発明は、構造物が撮影された複数の撮影画像を表示する表示装置であって、前記複数の撮影画像のそれぞれに対応する複数の縮小画像を並べた前記構造物の俯瞰画像を表示画面に表示させる表示制御手段と、表示された前記俯瞰画像の領域の選択を受け付ける受付手段と、を備え、前記表示制御手段は、前記受付手段によって受け付けられた前記領域が複数の前記縮小画像に対応する場合、前記受付手段によって受け付けられた前記領域に対応する複数の前記撮影画像を、前記縮小画像よりも高い拡大倍率で前記表示画面に表示させ、前記受付手段により受け付けられた前記領域が示される前記俯瞰画像を、前記表示画面に表示させる表示装置である。

【発明の効果】

【0006】

本発明によれば、撮影画像が示す小さな異常の見落としを低減させ、短時間で効率よく撮影画像の成否確認を利用者に行わせることができるという効果を奏する。

【図面の簡単な説明】

【0007】

【図1】診断システムの全体構成の一例を示す図である。

【図2】撮影システムの構成の概略の一例を示す図である。

【図3】撮影車両からトンネル壁面を撮影する様子の一例を説明するための図であり、（Ａ）は、走行方向から撮影車両を見た図であり、（Ｂ）は、トンネル内部の車両の走行を示す図である。

【図4】表示装置のハードウエア構成の一例を示す図である。

【図5】撮影システムの機能構成の一例を示す図である。

【図6】取得データ管理テーブルの一例を示す概念図である。

【図7】フラグ条件管理テーブルの一例を示す概念図である。

【図8】撮影システムによる撮影処理の一例を示すシーケンス図である。

【図9】制御装置による撮影制御処理の一例を示すフローチャートである。

【図10】撮影画像の成否確認処理の一例を示すフローチャートである。

【図11】表示装置に表示される画像閲覧画面の一例を示す図である。

【図12】表示装置に表示される画像閲覧画面の一例を示す図である。

【図13】撮影画像の成否確認処理の変形例を示すフローチャートである。

【図14】表示装置に表示される画像閲覧画面の変形例を示す図である。

【図15】撮影システムの構成の概略の変形例を示す図である。

【図16】表示装置に表示される画像閲覧画面の変形例を示す図である。

【発明を実施するための形態】

【0008】

以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。

【0009】

●実施形態●
●システムの概略
まず、図１乃至図３を用いて、本実施形態に係る診断システムの概略について説明する。図１は、診断システムの全体構成の一例を示す図である。図１に示されている診断システム１は、トンネル６等の構造物の撮影画像を用いて、構造物の状態の診断を行うシステムである。

【0010】

診断システム１は、診断装置４０およびデータ管理装置５０によって構築されている。診断システム１を構成する診断装置４０およびデータ管理装置５０は、通信ネットワーク１００を介して通信することができる。通信ネットワーク１００は、インターネット、移動体通信網、ＬＡＮ(Local Area Network)等によって構築されている。なお、通信ネットワーク１００には、有線通信だけでなく、３Ｇ(3rd Generation)、４Ｇ(4th Generation)、５Ｇ（5th Generation）、Ｗｉ－Ｆｉ(Wireless Fidelity)（登録商標）、ＷｉＭＡＸ(Worldwide Interoperability for Microwave Access)またはＬＴＥ(Long Term Evolution)等の無線通信によるネットワークが含まれてもよい。また、診断装置４０およびデータ管理装置５０は、ＮＦＣ(Near Field Communication)(登録商標)等の近距離通信技術による通信機能を備えていてもよい。

【0011】

図１において、検査車両７に乗車して検査している点検作業者は、特殊チョークでひび割れ等の変状部分を上書きして変状部分を目立つようにしたり、ひび割れの幅が何センチであるか等を記載したりする。その際、点検作業者は、変状の様子および評価結果を示すコメントを野帳等に記載しておく。一方、検査車両７の下にいる補助者は、点検作業者が発したコメントを野帳等に記載したり、場合によっては全体の写真撮影を行なったりする。なお、点検作業者が被るヘルメットに小型マイクと小型カメラを備え、点検作業者が発するコメントを小型マイクで収録し、コメントした対象箇所をカメラで撮影してもよい。この場合、収録された音声情報を音声認識装置によって認識して電子化し、小型カメラで撮影された画像と共に自動的に野帳（この場合、タブレット端末等）に記録してもよい

【0012】

その後、カメラを搭載した撮影車両９が、トンネル６内の入口から出口まで走行しながらトンネル６の壁を撮影することで、後述の図５に示されているトンネル展開画像のデータを得ることができる。トンネル展開画像には、点検作業者が特殊チョークで記載した部分が写し出されているため、後日、検査業者は、トンネル展開画像を見れば、変状部分の位置または形状を容易に把握することができる。

【0013】

データ管理装置５０は、撮影車両９によって取得された各種データを管理するコンピュータである。データ管理装置５０は、撮影車両９が備える表示装置２０から各種データを受信し、受信した各種データを、データ解析を行う診断装置４０に受け渡す。なお、データ管理装置５０から診断装置４０への各種取得データの受け渡し方法はＵＳＢ(Universal Serial Bus)メモリ等を使った人的な移動であってもよい。データ管理装置５０は、コメント、後述するトンネル展開画像および各種センサの検出データ、並びにトンネル台帳等のデータの管理を行う。また、データ管理装置５０は、診断装置４０で描画されたひび割れ等の変状部分を数値化したデータの管理、およびトンネル展開画像における座標データの管理等を行う。なお、データ管理装置５０は、複数のコンピュータに各機能を分散させて実現させる構成であってもよい。さらに、データ管理装置５０は、クラウド環境に存在するサーバコンピュータであってもよいし、オンプレミス環境に存在するサーバコンピュータであってもよい。

【0014】

診断装置４０は、データ管理装置５０から受け渡された各種データに基づいて、撮影画像の閲覧および撮影画像に対する各種データ入力を行うためのノートＰＣ(Personal Computer)等のコンピュータである。診断装置４０は、ブラウザを搭載しており、データ管理装置５０から送られてくるトンネル展開画像を表示することができる。また、診断装置４０は、閲覧用または描画用の専用アプリケーションプログラムをインストールしている。診断装置４０の利用者（以下、検査業者と称する）は、補助者等が記載した野帳等のコメント、構造物の一例としてのトンネル６内の入口から出口まで撮影されたトンネル展開画像のデータ、および各センサの検出データを診断装置４０に入力する。また、検査業者は、国等から入手したトンネル台帳のデータを、診断装置４０に入力する。トンネル台帳には、トンネルの長さおよび高さ等が記載されている。

【0015】

検査業者は、トンネル展開画像上に表されているひび割れ等の変状部分の上から線等の描画を行うことで、画像である変状部分を位置座標で数値化する。診断装置４０は、データ管理装置５０から、変状部分の描画を行うことで生成された変状展開図を含む提出書類のデータをダウンロードする。そして、検査業者は、印刷した書類または印刷しない状態の電子データを、国等に対して提出する。なお、診断装置４０は、ノートＰＣに限られず、スマートフォンまたはタブレット端末等であってもよい。

【0016】

すなわち、データ管理装置５０は、通信ネットワーク１００を介して診断装置４０に対して、変状部分の描画を行うことで生成された変状展開図を含む提出書類のデータを送信する。これにより、診断装置４０は、提出書類のデータを受信する。また、診断装置４０は、通信ネットワーク１００を介して、国等に提出書類のデータを送信する。または、診断装置４０は、印刷装置に提出書類のデータを送信して印刷した後、検査業者等が国等に提出書類である印刷用紙を提出する。または、診断装置４０は、ＤＶＤ－Ｒ等の記録メディアに提出書類のデータを記録した後、検査業者等が国等に記録メディアを提出する。なお、国等への提出書類（電子データを含む）は、信憑性を確実にするため、改竄防止処理を施されることが好ましい。

【0017】

ここで、図２および図３を用いて、撮影車両９が備える撮影システム８の構成について説明する。図２は、撮影システムの構成の概略の一例を示す図である。図２に示されているように、撮影システム８は、トンネル６の撮影を行うための撮影ユニット９００および表示装置２０を備えている。撮影ユニット９００は、カメラユニット９０１、照明ユニット９０２、ＴＯＦ(Time Of Flight)センサ９０３、ＩＭＵ（Inertial Measurement Unit）９０４、車速計／移動距離計９０５およびセンサ制御ボード９０を含む。撮影ユニット９００は、撮影手段の一例である。

【0018】

カメラユニット９０１は、複数のカメラを含み、光電変換素子を一列または複数列に配置させたラインセンサを搭載したラインカメラである。カメラユニット９０１は、それぞれ隣接するカメラと画角が一部重複するように設置されており、カメラユニット全体でトンネルの円周方向半分が画角に収まるように設置されている。なお、カメラユニット９０１は、光電変換素子が面状に配置されたエリアセンサを搭載したカメラ、またはステレオカメラ等によって構成されてもよい。であってもよい。

【0019】

照明ユニット９０２は、複数の光源を含み、カメラユニット９０１と同様に、それぞれ隣り合う光源と照射角が一部重複するように設置されている。照明ユニット９０２は、照射角がカメラユニット９０１の画角全体をカバーするように設置されている。

【0020】

ＴＯＦセンサ９０３は、撮影車両９とトンネル６の壁面との距離を計測する第１の測距センサである。ＴＯＦセンサ９０３は、カメラユニット９０１等を用いた撮影と同時に計測を行い、トンネル６の壁面からＴＯＦセンサ９０３までの距離を検出し、トンネル６の壁面から撮影車両９までの距離を検出する。より具体的には、ＴＯＦセンサ９０３は、トンネル６の壁面に光を照射し、その反射光を受光するまでの時間に基づいてトンネル６の壁面までの距離を検出する。ＴＯＦセンサ９０３は、受光素子にエリアセンサを用いた場合、距離に応じて表示色が異なる二次元の等高線画像を得ることができる。なお、第１の測距センサは、ＴＯＦセンサのみならず、ＬＩＤＡＲ(Light Detection and Ranging)センサまたはレーダセンサ等であってもよい。

【0021】

ＩＭＵ９０４は、撮影車両９の角度（姿勢）および角速度（または角加速度）等を検出するジャイロセンサである。ＩＭＵ９０４は、撮影車両９の運動を司る三軸の角度および角速度並びに加速度を計測する。ＩＭＵ９０４は、撮影車両９の移動軌跡を算出するために利用される。

【0022】

車速計／移動距離計９０５は、撮影車両９の進行方向の速度および移動距離を計測する第２の測距センサである。車速計／移動距離計９０５は、ＩＭＵ９０４と同様に撮影車両９の移動軌跡を算出するために利用する。また、車速計／移動距離計９０５は、カメラユニット９０１による撮影時のシャッターとして、等間隔の移動量ごとにパルスを発生させる役割も有する。

【0023】

ここで、ＴＯＦセンサ９０３、ＩＭＵ９０４または車速計／移動距離計９０５によって計測されたデータは、撮影の幾何補正に使用される。例えば、データ管理装置５０は、ＩＭＵ９０４および車速計／移動距離計９０５によって計測されたデータから撮影車両９の移動軌跡を算出することで、各カメラがどのような姿勢で撮影できたかがわかり、トンネル６の中心から撮影された画像となるように各画素で補正を行う。また、ＴＯＦセンサ９０３によって計測されたデータは、撮影車両９による撮影を行う場合に、カメラユニット９０１および照明ユニット９０２を、どのような配置で撮影するかを自動で決定するために使用される。

【0024】

センサ制御ボード９０は、カメラユニット９０１、照明ユニット９０２、ＴＯＦセンサ９０３、ＩＭＵ９０４および車速計／移動距離計９０５の制御を行い、トンネル６の撮影処理の制御を行う制御装置である。以下、制御装置９０と称する。制御装置９０は、ＣＰＵ（Central Processing Unit）９１１、ＲＯＭ(Read Only Memory)９１２、ＲＡＭ(Random Access Memory)９１３、ＨＤＤ(Hard Disk Drive)９１４、外部Ｉ／Ｆ（Interface）９１５およびバスライン９１６を備えている。

【0025】

これらのうち、ＣＰＵ９１１は、撮影ユニット９００全体の動作の制御を行う。ＣＰＵ９１１は、ＲＯＭ９１２等からプログラムおよびデータ、並びに設定情報等をＲＡＭ９１３上に読み出し、処理を実行する。なお、ＣＰＵ９１１の実現する制御、画像データの処理および各種機能の一部または全部は、ＦＰＧＡ（Field-Programmable Gate Array）またはＡＳＩＣ（Application Specific Integrated Circuit）で実現される構成であってもよい。

【0026】

ＲＯＭ９１２は、各種プログラムおよびデータ、並びに各種の設定情報等を記憶する。ＲＡＭ９１３は、ＣＰＵ９１１のワークエリアとして使用される。ＨＤＤ９１４は、カメラユニット９０１から入力された画像データ、またはＴＯＦセンサ９０３、ＩＭＵ９０４および車速計／移動距離計９０５から入力されたセンサデータ等を記憶する。

【0027】

外部Ｉ／Ｆ９１５は、各種の外部機器を接続するためのインターフェースである。外部Ｉ／Ｆ９１５は、利用者が撮影ユニット９００を操作するための表示装置２０と、無線または有線を用いて接続し、データまたは信号のやりとりを行う。バスライン９１６は、図２に示されているＣＰＵ９１１等の各構成要素を電気的に接続するためのアドレスバスまたはデータバス等である。

【0028】

表示装置２０は、撮影ユニット９００に対する操作を行うためのノートＰＣ等のコンピュータである。例えば、撮影車両９の助手席に座っている点検作業者は、表示装置２０を用いて、録画開始ボタンまたは停止ボタンを操作することで、撮影ユニット９００を制御し、撮影画像データおよび各種センサデータを、ＨＤＤ９１４に格納させる。また、表示装置２０を操作する点検作業者は、撮影ユニット９００による撮影処理を行う場合に、所定のコメントを表示装置２０に入力する。表示装置２０は、撮影画像データ、各センサの検出データおよびコメントを、通信ネットワーク１００を介して、データ管理装置５０へ送信する。なお、表示装置２０は、ノートＰＣに限られず、スマートフォンまたはタブレット端末等であってもよい。

【0029】

次に、図３を用いて、撮影車両９からトンネル６の壁面を撮影する様子について説明する。図３は、撮影車両からトンネル壁面を撮影する様子の一例を説明するための図である。図３（Ａ）は、走行方向から撮影車両を見た図であり、図３（Ｂ）は、トンネル内部の車両の走行を示す図である。

【0030】

図３（Ａ）に示されているように、撮影ユニット９００は、撮影車両９のルーフの上に固定されている。カメラユニット９０１および照明ユニット９０２は、スライドユニット９２０により撮影車両９の走行方向と交差する方向においてスライドし、所定の道路構造の長さに基づき定めた二つの位置で固定される。

【0031】

所定の道路構造の長さとは、撮影車両９の走行方向と交差する方向における歩道の幅である。ここで、歩道とは、歩行者が通行するための道路であり、車道等に併設され、歩行者の通行のために構造的に区画された道路の部分をいう。歩道の幅は、歩行者の通行量に応じて様々であるが、一般には１．５～３ｍ程度である。歩道の幅が１．５ｍの場合、歩道の幅に基づき定めた二つの位置の間隔を１．５ｍに定めてもよい。または、歩道の幅が３ｍ等で車両の幅を超える場合は、歩道の幅に基づき定めた二つの位置の間隔を、撮影車両９の最大幅として定めてもよい。また、歩道のほかに、監査路または路側帯がある場合は、歩道の幅に基づき定めた二つの位置の間隔を、歩道の幅と監査路、または路側帯の幅との差分の長さとして定めてもよい。

【0032】

二つの位置で画像を取得する場合、まず、撮影車両９の走行方向と交差する方向において、歩道の幅に基づき定めた二つの位置のうちの一方の位置に、カメラユニット９０１および照明ユニット９０２を固定し、所望の領域のトンネル６の壁面のエリア画像を取得する。次に、二つの位置のうちの他方の位置に、カメラユニット９０１および照明ユニット９０２を固定し、所望の領域のトンネル６の壁面のエリア画像を取得する。

【0033】

図３（Ａ）では、カメラユニット９０１および照明ユニット９０２は、走行方向に向かってスライドユニット９２０の左端にスライドされて固定されている。一方、図３（Ｂ）では、道路７００のセンターに対し、左側に車線７１０があり、右側に車線７２０がある。撮影車両９は、車線７１０において、紙面に対し、手前の方向に走行している。また、図３（Ｂ）では、車線７１０（撮影車両９が走行する車線）側に歩道７３０がある。

【0034】

図３（Ｂ）のＦ１は、撮影システム８による撮影範囲を表す。つまり、撮影システム８は、トンネル６の壁面のうち、破線Ｆ１で示されている撮影範囲内の領域６０（太線で示されている領域）を撮影している。太線で示されているように、撮影システム８は、トンネル６の壁面(覆工部)と地面との境目までを撮影する。このように、撮影システム８は、撮影車両９を走行させながら撮影を行うことで、トンネル６の入口から出口までにおいて、紙面に対して図３（Ｂ）の左側半分の壁面が撮像される。

【0035】

一方で、車線７２０において、撮影車両９を紙面に対して手前の方向に走行させることで、紙面に対して図３（Ｂ）の右側半分の壁面を撮像することができる。この場合、カメラユニット９０１および照明ユニット９０２は、走行方向に向かってスライドユニット９２０の右側にスライドされて固定される。

【0036】

このように、診断システム１は、壁面の左側半分が撮影された画像と、壁面の右側半分が撮像された壁面の画像とを繋ぎ合せることで、トンネル６の入口から出口までの全壁面（全周）の画像を取得することができる。ここで、撮影システム８で撮影する画像は、それぞれ撮影領域がオーバーラップしていることが望ましい。また、画像を繋ぎ合せて一枚のトンネル展開画像を作成するため、図３（Ｂ）に示されている歩道無しの側の画像と歩道有りの側の画像は、天井部分がオーバーラップするように撮影することが望ましい。換言すると、撮影システム８は、往きと帰りでトンネル６の壁面を撮影する場合、トンネル６の壁面で撮像されていない領域が生じないように、往きの撮像領域と帰りの撮像領域を、撮影車両９の走行方向と交差する方向にオーバーラップさせて撮像することが望ましい。

【0037】

ここで、「トンネル６の壁面に対向する方向」について補足する。トンネル６は、撮影車両９の走行方向と直交する断面が半円状の形状をしている。したがって、トンネル６の壁面のうち、地面付近では壁面は水平方向を向いており、天井付近では壁面は鉛直下方向を向いている。「トンネル６の壁面に対向する方向」とは、場所により向きが異なる壁面に対し、対向する方向をいう。地面付近における「トンネル６の壁面に対向する方向」は、略水平方向等である。一方、天井付近における「トンネル６の壁面に対向する方向」は、略鉛直上方向である。

【0038】

●ハードウエア構成
続いて、図４を用いて、診断システム１を構成する各装置のハードウエア構成について説明する。なお、図４に示されているハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。また、診断装置４０およびデータ管理装置５０のハードウエア構成は、表示装置２０と同様であるため、説明を省略する。

【0039】

○表示装置のハードウエア構成○
図４は、表示装置のハードウエア構成の一例を示す図である。表示装置２０は、コンピュータによって構築されており、図４に示されているように、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤ(Hard Disk)２０４、ＨＤＤコントローラ２０５、ディスプレイ２０６、外部機器接続Ｉ／Ｆ２０８、ネットワークＩ／Ｆ２０９、バスライン２１０、キーボード２１１、ポインティングデバイス２１２、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ２１４、およびメディアＩ／Ｆ２１６を備えている。

【0040】

これらのうち、ＣＰＵ２０１は、表示装置２０全体の動作を制御する。ＲＯＭ２０２は、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＨＤ２０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ２０５は、ＣＰＵ２０１の制御にしたがってＨＤ２０４に対する各種データの読み出しまたは書き込みを制御する。ディスプレイ２０６は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。ディスプレイ２０６は、表示部の一例である。なお、ディスプレイ２０６は、入力手段を備えたタッチパネルディスプレイであってもよい。外部機器接続Ｉ／Ｆ２０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢメモリまたはプリンタ等である。ネットワークＩ／Ｆ２０９は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。バスライン２１０は、図４に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスまたはデータバス等である。

【0041】

また、キーボード２１１は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス２１２は、各種指示の選択もしくは実行、処理対象の選択、またはカーソルの移動等を行う入力手段の一種である。なお、入力手段は、キーボード２１１およびポインティングデバイス２１２のみならず、タッチパネルまたは音声入力装置等であってもよい。ＤＶＤ－ＲＷドライブ２１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ２１３に対する各種データの読み出しまたは書き込みを制御する。なお、着脱可能な記録媒体は、ＤＶＤ－ＲＷに限らず、ＤＶＤ－ＲまたはＢｌｕ-ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等であってもよい。メディアＩ／Ｆ２１６は、フラッシュメモリ等の記録メディア２１５に対するデータの読み出しまたは書き込み（記憶）を制御する。

【0042】

なお、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、ＣＤ－Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、Ｂｌｕ-ｒａｙ Ｄｉｓｃ、ＳＤカードまたはＵＳＢメモリ等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内または国外へ提供されることができる。例えば、表示装置２０は、本発明に係るプログラムが実行されることで本発明に係る表示制御方法を実現する。

【0043】

●機能構成
続いて、図５乃至図７を用いて、実施形態に係る撮影システムの機能構成について説明する。図５は、撮影システムの機能構成の一例を示す図である。なお、図５は、図１および図２に示されている装置のうち、後述の処理または動作に関連しているものを示す。

【0044】

○表示装置の機能構成○
まず、図５を用いて、表示装置２０の機能構成について説明する。表示装置２０は、送受信部２１、受付部２２、表示制御部２３、判断部２４、画像処理部２５、アプリ起動部２６、通信部２７および記憶・読出部２９を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＨＤ２０４からＲＡＭ２０３上に展開され表示装置用のプログラムに従ったＣＰＵ２０１からの命令によって動作することで実現される機能または手段である。また、表示装置２０は、図４に示されているＲＯＭ２０２およびＨＤ２０４によって構築される記憶部２０００を有している。

【0045】

送受信部２１は、主に、ネットワークＩ／Ｆ２０９に対するＣＰＵ２０１の処理によって実現され、通信ネットワーク１００を介して、他の装置との間で各種データまたは情報の通信を行う。送受信部２１は、例えば、撮影ユニット９００によって取得された撮影画像データおよび検出データを、データ管理装置５０へ送信する。

【0046】

受付部２２は、主に、キーボード２１１またはポインティングデバイス２１２に対するＣＰＵ２０１の処理によって実現され、利用者から各種の選択または入力を受け付ける。受付部２２は、例えば、後述する画像閲覧画面３００,４００,５００に対する各種選択または入力を受け付ける。表示制御部２３は、主に、ＣＰＵ２０１の処理によって実現され、ディスプレイ２０６に、各種画像を表示させる。表示制御部２３は、例えば、後述する画像閲覧画面３００,４００,５００を、ディスプレイ２０６に表示させる。判断部２４は、ＣＰＵ２０１の処理によって実現され、各種判断を行う。

【0047】

判断部２４は、ＣＰＵ２０１の処理によって実現され、各種判断を行う。画像処理部２５は、主に、ＣＰＵ２０１の処理によって実現され、通信部２７によって受信された撮影画像データに対する各種処理を行う。画像処理部２５は、例えば、点検作業者からの要求に応じて、後述する画像閲覧画面３００に表示された撮影画像の明るさを変更する。

【0048】

アプリ起動部２６は、主に、ＣＰＵ２０１の処理によって実現され、表示装置２０にインストールされたアプリケーションを起動させる。表示装置２０は、例えば、アプリ起動部２６によって成否確認アプリ２５０を起動させることで、撮影画像の成否確認機能を実現する。

【0049】

通信部２７は、主に、外部機器接続Ｉ／Ｆ２０８に対するＣＰＵ２０１の処理によって実現され、制御装置９０との間で各種データまたは情報のやり取りを行う機能である。通信部２７は、例えば、制御装置９０に対して、点検作業者の入力操作により受け付けられた要求に応じた所定の要求信号を送信する。また、通信部２７は、例えば、制御装置９０から送信された撮影画像データおよび各種検出データを受信する。

【0050】

記憶・読出部２９は、主に、ＣＰＵ２０１の処理によって実現され、記憶部２０００に、各種データ（または情報）を記憶したり、記憶部２０００から各種データ（または情報）を読み出したりする。

【0051】

ここで、表示装置２０の記憶部２０００は、撮影ユニット９００によって撮影されて取得された撮影画像の成否確認を行うためにインストールされた成否確認アプリ２５０を記憶している。成否確認アプリ２５０は、点検作業者によって撮影処理が正常に行われてた否か、すなわち撮影画像に異常があるか否かを確認するために実行されるアプリケーションである。表示装置２０は、インストールされた成否確認アプリ２５０を実行することで、後述する画像閲覧画面３００を表示させる。そして、点検作業者は、画像閲覧画面３００に表示された撮影画像を確認することで、撮影画像をデータ管理装置５０へアップロードさせるか、または再度撮影処理を行うかの選択を行う。

【0052】

○制御装置の機能構成○
次に、図５を用いて、制御装置（センサ制御ボード）９０の機能構成について説明する。制御装置９０は、通信部９１、センサ制御部９２、データ取得部９３、取得データ管理部９４、フラグ条件管理部９５、検知部９６、フラグ情報生成部９７および記憶・読出部９９を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＨＤＤ９１４からＲＡＭ９１３上に展開された制御装置用のプログラムに従ったＣＰＵ９１１からの命令によって動作することで実現される機能または手段である。また、制御装置９０は、図２に示されているＲＯＭ９１２およびＨＤＤ９１４によって構築される記憶部９０００を有している

【0053】

通信部９１は、主に、外部Ｉ／Ｆ９１５に対するＣＰＵ９１１の処理によって実現され、表示装置２０との間で各種データまたは情報のやり取りを行う機能である。通信部９１は、例えば、表示装置２０から送信された所定の要求信号を受信する。また、通信部９１は、例えば、表示装置２０に対して、データ取得部９３によって取得された撮影画像データおよび各種検出データを送信する。

【0054】

センサ制御部９２は、主に、ＣＰＵ９１１の処理によって実現され、表示装置２０からの要求に応じて、撮影ユニット９００の処理を制御する。センサ制御部９２は、例えば、点検作業者からの要求に応じて、撮影ユニット９００に含まれるカメラユニット９０１等に対して処理の開始を要求する。データ取得部９３は、主に、ＣＰＵ９１１の処理によって実現され、撮影ユニット９００の処理による各種データを取得する。データ取得部９３は、例えば、カメラユニット９０１の撮影処理によって得られた撮影画像データを取得する。また、データ取得部９３は、例えば、ＴＯＦセンサ９０３、ＩＭＵ９０４および車速計／移動距離計９０５等の各種センサの処理によって得られた各種検出データを取得する。

【0055】

取得データ管理部９４は、主に、ＣＰＵ９１１の処理によって実現され、データ取得部９３によって取得された各種データを管理する。取得データ管理部９４は、データ取得部９３によって取得された撮影画像データおよび各種検出データを、取得データ管理ＤＢ９００１に記憶して管理する。フラグ条件管理部９５は、主に、ＣＰＵ９１１の処理によって実現され、撮影画像にフラグ情報を付与するためのフラグ条件を管理する。本実施形態において、フラグ情報とは、撮影画像の異常が発生している可能性のある箇所に付与される情報である。

【0056】

検知部９６は、主に、ＣＰＵ９１１の処理によって実現され、撮影画像およびフラグ条件に基づいて所定の検知処理を行い、撮影画像のフラグ条件に該当する内容を検知する。フラグ情報生成部９７は、主に、ＣＰＵ９１１の処理によって実現され、検知部９６によって検知された撮影画像の箇所に付与するフラグ画像を生成する。

【0057】

記憶・読出部９９は、主に、ＣＰＵ９１１の処理によって実現され、記憶部９０００に、各種データ（または情報）を記憶したり、記憶部９０００から各種データ（または情報）を読み出したりする。

【0058】

○取得データ管理テーブル
図６は、取得データ管理テーブルの一例を示す概念図である。取得データ管理テーブルは、撮影ユニット９００による撮影処理によって取得された各種データを管理するためのテーブルである。記憶部９０００には、図６に示されている取得データ管理テーブルによって構成されている取得データ管理ＤＢ９００１が構築されている。この取得データ管理テーブルは、撮影車両９による撮影処理を識別する撮影ＩＤおよび撮影時間ごとに、取得データを順番（Ｎｏ.）に管理している。取得データ管理テーブルは、撮影画像を識別する画像ＩＤ、撮影画像の画像データ、撮影画像と同期された各種検出データおよびフラグ種別を関連づけて記憶している。このうち、フラグ種別は、検知部９６による検知結果を識別するための情報であり、検知結果の内容ごとに異なる識別情報を割り当てている。

【0059】

○フラグ条件管理テーブル
図７は、フラグ条件管理テーブルの一例を示す概念図である。フラグ条件管理テーブルは、撮影画像にフラグ情報を付与するためのフラグ条件を管理するためのテーブルである。記憶部９０００には、図７に示されているフラグ条件管理テーブルによって構成されているフラグ条件管理ＤＢ９００２が構築されている。このフラグ条件管理テーブルは、撮影画像の異常箇所を検知するための内容を示すフラグ条件およびフラグ種別を関連づけて管理している。各フラグ条件の内容の詳細については、後述する。

【0060】

●実施形態の処理または動作
○撮影システムによる撮影処理○
続いて、図８乃至図１６を用いて、実施形態に係る診断システムの処理または動作について説明する。図８は、撮影システムによる撮影処理の一例を示すシーケンス図である。点検作業者は、撮影車両９に搭乗してトンネル６の壁面の撮影を行い、表示装置２０を用いて、取得した撮影画像の成否確認処理を行う。以下、詳細に説明する。

【0061】

まず、点検作業者がキーボード２１１等の入力手段を用いて所定の入力操作を行うことで、表示装置２０の受付部２２は、撮影開始要求を受け付ける（ステップＳ１１）。そして、通信部２７は、制御装置９０に対して、トンネル６の撮影開始を要求する旨を示す撮影開始要求を送信する（ステップＳ１２）。これにより、制御装置９０の通信部９１は、表示装置２０から送信された撮影開始要求を受信する。

【0062】

次に、制御装置９０は、撮影ユニット９００を用いた撮影処理を実行する。ここで、図９を用いて、制御装置９０を用いた撮影処理について詳細に説明する。図９は、制御装置による撮影制御処理の一例を示すフローチャートである。

【0063】

制御装置９０は、撮影車両９を走行させながら、トンネル６の撮影処理を開始する（ステップＳ３１）。具体的には、センサ制御部９２は、撮影ユニット９００に対して撮影要求を出力することで、トンネル６の壁面の撮影処理を開始する。撮影ユニット９００は、カメラユニット９０１を用いた撮影処理、および撮影処理と同期させながらＴＯＦセンサ９０３等の各種センサによる検出処理を開始する。そして、データ取得部９３は、撮影ユニット９００の処理によって得られた撮影画像データおよび各種検出データを取得する。

【0064】

次に、記憶・読出部９９は、フラグ条件管理ＤＢ９００２（図７参照）に記憶されたフラグ条件を読み出す（ステップＳ３２）。そして、検知部９６は、ステップＳ３２で読み出されたフラグ条件に該当する内容を検知した場合（ステップＳ３３のＹＥＳ）、処理をステップＳ３４へ移行させる。一方で、検知部９６は、フラグ条件に該当する内容を検知していない場合（ステップＳ３３のＮＯ）、処理をステップＳ３５へ移行させる。

【0065】

ここで、検知部９６の処理について詳細に説明する。検知部９６は、データ取得部９３で取得された撮影画像データまたは各種検出データを用いて、ステップＳ３２で読み出されたフラグ条件のいずれかに該当する内容を検知する。図７に示されているフラグ条件は、撮影画像に異常が発生している可能性を検知するための条件である。

【0066】

検知部９６は、例えば、撮影画像の白飛びもしくは黒つぶれ、または画像のボケ等を検知する。検知部９６は、例えば、撮影画像の輝度情報に基づいて、８ｂｉｔの画像中の所定の輝度範囲から外れている画素が所定値以上であるライン数が閾値以上である場合に、白飛びまたは黒つぶれを検知する。ここで、所定の輝度範囲は、例えば、輝度値が１０～２４０の範囲である。また、所定の輝度範囲から外れている画素の数を判断する所定値は、例えば、ラインカメラであるカメラユニット９０１で撮影された撮影画像の１ライン当たりの画素数で判断され、１ライン当たり０．１％である。さらに、所定の輝度範囲から外れている画素が所定値以上であるライン数の閾値は、例えば、１０ラインである。

【0067】

また、検知部９６は、例えば、事前にトンネル６の壁面に貼り付けられた所定のマークまたはＭＴＦ(Modulation Transfer Function)チャートもしくはクラックスケール等のチャート等の基準画像の検知率が所定の数値未満である場合に、画像のボケを検知する。検知部９６は、基準画像のＭＴＦまたは解像力等によって検知率を算出する。

【0068】

さらに、検知部９６は、そもそものトンネル６の撮影の目的である損傷部（以下、変状部と称する）が認識できるように撮影できているかの確認として、トンネル６の変状部を検知する。点検作業者は、変状部の検知結果を確認することで、撮影画像の成否確認の判断を効率的に行うことができる。変状部の検知方法は、例えば、ＣＮＮ（Convolutional Neural Network）を用いた方法等である。検知部９６は、事前に変状部の画像を学習させておき、変状部の画像を識別する識別器を用いて、リアルタイムでトンネル６の変状部を検知する。

【0069】

また、検知部９６は、ＴＯＦセンサ９０３による計測距離が所定範囲外である場合、異常値として検知する。検知部９６は、例えば、ＴＯＦセンサ９０３によって被写体とカメラとの間の距離を逐次計測し、フォーカスポジションの被写界深度外となる距離の発生を検知する。被写界深度外の箇所は、画像のボケが発生し、異常画像となっている可能性があるためである。

【0070】

さらに、検知部９６は、同様にＴＯＦセンサ９０３を用いて、トンネル６の出入口または非常駐車帯の検知等も行う。トンネル６の出入口は、明るさの差が非常に大きく白飛びまたは黒つぶれ等が発生しやすい箇所である。そのため、検知部９６は、撮影画像の白飛びまたは黒つぶれ等が発生しやすいトンネル６の出入口の箇所を検知する。

【0071】

また、非常駐車帯は、非常駐車帯の前後で、撮影ユニット９００（カメラユニット９０１およびと照明ユニット９０２)とトンネル６の壁面（被写体）との距離が非連続に変化するため、自動露光制御でも追従するのが難しく、白飛びや黒つぶれが発生しやすかったり、画像がボケやすくなったりする。また、非常駐車帯等の非連続断面が存在する場合、通常の撮影処理では、非連続部分を正確に撮影することが難しい。そのため、撮影システム８は、非常駐車帯の検知結果によって撮影処理を切り替えて処理してもよい。具体的には、検知部９６は、非常駐車帯の設置個所を検知する。点検作業者は、前者の場合、検知結果を非常駐車帯が異常画像となっていないかの確認に用いる。点検作業者は、後者の場合、検知結果を非常駐車帯が正しく検知できているかの確認に用いる。いずれの場合でも、点検作業者は、非常駐車帯の検知結果を確認することで、非常駐車帯の撮影がうまくできているかどうかを効率よく確認することができる。さらに、検知部９６は、非常駐車帯以外の断面形状が非連続になる箇所として、車線数の変更による断面の非連続（例えば、３車線から２車線への変更箇所）やトンネル６の生成工法による断面の非連続（例えば、カルバート（矩形）から山岳トンネル（円形）への変更箇所））等も検知する。

【0072】

また、検知部９６は、ＩＭＵ９０４および車速計／移動距離計９０５を用いて、撮影車両９の速度または加速度の異常値を検知する。撮影車両９の走行速度が予め定められている点検作業の保証速度よりも早かったりまたは遅かったりする場合、ノイズが大きく画質が悪くなったり、車両の揺れにより画像に低周波の振動が加わったりする可能性がある。ここで、点検作業での撮影車両９の保証速度は、例えば、１０ｋｍ／ｈ～６０ｋｍ／ｈの範囲である。そのため、検知部９６は、撮影車両９の速度が所定範囲外である場合、異常値として検知する。この所定範囲は、上述の撮影車両９の保証速度の範囲であり、所定範囲外とは、例えば、撮影車両９の速度が１０ｋｍ／ｈ未満または６０ｋｍ／ｈより速い場合である。１０なお、制御装置９０は、点検作業者に撮影画像を確認させるのではなく、検知部９６による検知が行われた段階で、点検作業の保証範囲外であるため、再度撮影処理を行ってもよい。

【0073】

ここで、制御装置９０は、ラインカメラであるカメラユニット９０１のライン周期をシャッタースピードとして設定した場合、ＳＮ比が良い画質となるため、シャッタースピードをカメラ周期と合わせて設定する。この場合、撮影車両９の急激な加減速があると、自動露光制御の追従が間に合わずに撮影画像の白飛びまたは黒つぶれ等が発生したり、撮影画像に撮影車両９の振動が現れたりする可能性がある。そのため、検知部９６は、撮影車両９の加速度が所定値以上である場合、異常値として検知する。検知部９６は、例えば、撮影車両９の加速度が０．１５Ｇ以上である場合、異常値として検知する。なお、異常値として検知される加速度の値は、撮影車両９の性能もしくは走行環境、または点検作業の内容等に応じて、適宜設定されるため、上述の数値に限られない。

【0074】

このように、検知部９６は、フラグ条件を用いた所定の検知処理を行うことで、撮影車両９の走行撮影中に異常の可能性がある箇所を検知することができる。

【0075】

次に、検知部９６によって撮影画像の異常が検知された場合（ステップＳ３３のＹＥＳ）、フラグ情報生成部９７は、ステップＳ３３による検知結果に基づいて、撮影画像の異常または異常発生の可能性を示すフラグ情報を生成する（ステップＳ３４）。具体的には、記憶・読出部９９は、ステップＳ３３によって検知された内容に対応するフラグ条件を検索キーとしてフラグ条件管理ＤＢ９００２（図７参照）を検索することで、フラグ条件に関連づけられたフラグ種別を読み出す。そして、フラグ情報生成部９７は、読み出されたフラグ種別に対応するフラグ情報を生成する。フラグ情報は、例えば、フラグ種別に対応するフラグ画像を含む。フラグ画像は、例えば、フラグ種別に応じて色、形状または大きさ等が異なり、点検作業者がそれぞれのフラグ条件（フラグ種別）を識別できるような形式の画像である。フラグ情報生成部９７は、例えば、ラインカメラであるカメラユニット９０１による撮影画像（ライン画像）の後端にフッタ領域を設けておき、各ラインのフッタ領域に対して、生成されたフラグ情報を書き込む。

【0076】

記憶・読出部９９は、上述の処理によって得られたデータを、取得データ管理ＤＢ９００１（図６参照）に記憶させる（ステップＳ３５）。記憶・読出部９９は、撮影画像データおよび各種検出データと、ステップＳ３４で生成されたフラグ情報を示すフラグ種別とを関連づけて取得データ管理ＤＢ９００１に記憶する。

【0077】

そして、制御装置９０は、トンネル６の撮影が終了した場合（ステップＳ３６のＹＥＳ）、処理を終了する。一方で、制御装置９０は、トンネル６の撮影が終了するまで、ステップＳ３３からの処理を繰り返す（ステップＳ３６のＮＯ）。

【0078】

このように、制御装置９０は、撮影車両９の走行撮影中に、撮影画像および各種検出データを用いて、撮影画像の異常検知をリアルタイムに行う。そして、制御装置９０は、検知された時点の撮影画像と検知結果を関連づけて記憶する。制御装置９０は、撮影中に異常が発生する可能性がある箇所を検知し、検知された撮影位置に対応する撮影画像に有効なフラグであることを示すフラグ画像を関連づけることで、撮影画像の異常候補の位置を記憶することができる。

【0079】

図８に戻り、制御装置９０の通信部９１は、表示装置２０に対して、ステップＳ１３の処理によって取得された各種データを送信する（ステップＳ１４）。これにより、表示装置２０の通信部２７は、制御装置９０から送信された各種データを受信する。なお、この場合、通信部９１は、トンネル６の全体の撮影終了（図９のステップＳ３６）を待たずに、撮影画像データおよびフラグ情報等を含む各種データを、表示装置２０に対して随時送信してもよい。

【0080】

表示装置２０は、ステップＳ１４で受信された取得データである撮影画像の成否確認処理を実行する(ステップＳ１５)。ここで、図１０を用いて、表示装置２０による成否確認処理について詳細に説明する。図１０は、撮影画像の成否確認処理の一例を示すフローチャートである。

【0081】

まず、アプリ起動部２６は、走行撮影完了後に、表示装置２０にインストールされた成否確認アプリ２５０を起動させる（ステップＳ５１）。そして、表示制御部２３は、アプリ起動部２６により起動された成否確認アプリ２５０が実行されることで、取得された撮影画像が表示された画像閲覧画面３００を、ディスプレイ２０６に表示させる（ステップＳ５２）。図１１は、表示装置に表示される画像閲覧画面の一例を示す図である。図１１に示されている画像閲覧画面３００は、ステップＳ１４で取得された撮影画像データによって構成されたトンネル６の全体を示す俯瞰画像を表示する俯瞰画像表示領域３１０、俯瞰画像表示領域３１０に表示された撮影画像に対応するフラグ画像を表示するフラグ表示領域３２０、および俯瞰画像表示領域３１０に表示された撮影画像の位置を示す撮影位置表示領域３３０を含む。

【0082】

このうち、俯瞰画像表示領域３１０は、トンネル６の全体を示す俯瞰画像を表示する。トンネル６の俯瞰画像は、トンネル６の全体（入口から出口まで）を俯瞰できるように、複数の撮影画像が撮影順に並べられた画像である。俯瞰画像の横方向は、撮影車両９の進行方向であり、縦方向は、トンネル６の周方向である。また、俯瞰画像は、ステップＳ１４で取得された複数の撮影画像データの倍率が画像処理部２５によってそれぞれ縮小処理された複数の縮小画像を含む。画像処理部２５は、生成された複数の縮小画像を撮影順に並べた俯瞰画像を生成する。

【0083】

トンネル６の撮影画像は、大容量であり、トンネル６の入口から出口までの画像を全て読み込む場合には、非常に時間がかかる。そのため、画像閲覧画面３００は、俯瞰画像表示領域３１０に、トンネル６の入口から出口までの全体を一目で俯瞰できるサイズまで間引きながら撮影画像を表示する。なお、長いトンネルの場合、間引き量が大きくなりすぎて何が写っているかわからなくなってしまう場合には、表示装置２０は、トンネル６の入口から出口までを俯瞰して表示させるのではなく、所定の縮小率まで縮小した撮影画像を表示させ、俯瞰画像表示領域３１０をスクロールさせて、トンネル６の入口から出口までを確認できる構成であってもよい。

【0084】

フラグ表示領域３２０は、俯瞰画像表示領域３１０に表示された俯瞰画像と撮影車両９の進行方向とが同期された位置に、フラグ画像を表示する。表示制御部２３は、撮影画像のフッダ領域に書き込まれたフラグ情報を読み込むことで、俯瞰画像と進行方向で同期されたフラグ画像を表示する。点検作業者は、俯瞰画像表示領域３１０に表示されている俯瞰画像で異常が検知された場所と進行方向（横方向）で同じ位置に表示されたフラグ画像を確認することで、異常が発生している箇所を把握することができる。また、フラグ表示領域３２０は、例えば、複数の検知結果がある存在する場合、フラグ画像の色または形状等の表示方法を変えたり、フラグ画像を縦に複数並べたりして表示させてもよい。図１１の例では、フラグ表示領域３２０は、俯瞰画像表示領域３１０に表示されている俯瞰画像で白飛びしている箇所（例えば、トンネル６内の照明）の場所と進行方向（横方向）で同じ位置に黒色のフラグ画像を表示している。

【0085】

ここで、俯瞰画像の縮小率（間引き）が大きくて、フラグ表示領域３２０に表示させるフラグの間隔が短い場合は、フラグ画像を単純に縮小してしまうと、フラグ情報が欠落してしまう可能性がある。そこで、表示制御部２３は、フラグ情報の欠落を防止するために、フラグ表示領域３２０にフラグ画像を表示させる際に、ＯＲ間引き等の間引き処理を行う。ＯＲ間引きとは、間引きするフラグ情報のうち、一つでも有効なフラグが存在する場合に、間引き後もフラグが有効となる処理をいう。また、フラグの有効または無効は、フラグ画像の有無によって判別される。なお、１ラインではあまりに小さいので気にしないでよいとする場合も考えられるため、表示制御部２３は、フラグの有効数が所定の閾値以下であれば、フラグを有効にしないという制御を行ってもよい。

【0086】

撮影位置表示領域３３０は、俯瞰画像表示領域３１０に表示された俯瞰画像を構成する撮影画像の撮影位置を表示する。撮影位置表示領域３３０は、撮影車両９の走行撮影に応じて得られた撮影画像の撮影順を、俯瞰画像を構成する撮影画像の位置に対応させて表示する。

【0087】

また、画像閲覧画面３００は、俯瞰画像表示領域３１０に表示された俯瞰画像のうち、指定された位置の拡大画像を表示させる拡大画像表示領域３５０、拡大画像表示領域３５０に表示された拡大画像に対応するフラグ画像を表示するフラグ表示領域３６０、画像閲覧画面３００に表示させる撮影画像の表示状態を選択する選択領域３８０、所定の撮影位置の撮影処理を再度要求する際に押下される「撮影」ボタン３０７、ステップＳ１４で取得された撮影画像のアップロードを行う場合に押下される「アップロード」ボタン３０９、および成否確認処理を中断または終了して画像閲覧画面３００を閉じる場合に押下される「閉じる」ボタン３０１を含む。

【0088】

このうち、拡大画像表示領域３５０は、俯瞰画像表示領域３１０に表示された俯瞰画像上の指定された位置座標を中心として、俯瞰画像よりも高解像度（高い倍率）の拡大画像を表示する。拡大画像は、例えば、ステップＳ１４で取得された撮影画像と同じ解像度（倍率）の画像であってもよいし、取得された撮影画像よりも小さい解像度(倍率)の画像であってもよい。また、フラグ表示領域３６０は、拡大画像表示領域３５０に表示された拡大画像に対応するフラグ画像を、拡大画像と同じスケールで表示する。

【0089】

選択領域３８０は、画像閲覧画面３００に表示された撮影画像のうち、アクティブになっている表示領域に表示された画像に対する操作の選択を受け付けるための領域である。選択領域３８０は、画像閲覧画面３００に表示させる撮影画像の倍率を調整するための倍率調整手段３８１、画像閲覧画面３００に表示させる撮影画像の撮影位置を選択するための撮影位置選択手段３８３、撮影画像の明るさを変更するための明るさ調整手段３８５、画像閲覧画面３００に表示された撮影画像の全画面表示を行う全画面表示機能を選択するための全画面表示選択ボタン３８７、アクティブになっている表示領域に示されている画像を非表示にするための表示消去ボタン３８９、および拡大画像表示領域３５０に表示させる拡大画像のコマ送りを行う際に選択される表示切替ボタン３９１を含む。なお、図１１に示されている画像閲覧画面３００は、選択領域３８０を用いてアクティブになっている一つの表示領域（ウィンドウ）を操作する構成を示すが、画像閲覧画面３００は、各表示領域（ウィンドウ）のそれぞれを操作する複数の選択領域を備える構成であってもよい。

【0090】

点検作業者は、図１１に示されているようなスライダ形式の倍率調整手段３８１に対して、入力手段を用いたポインタｐ１による移動操作を行うことで、アクティブな表示領域に表示された撮影画像の拡大または縮小を行う。受付部２２は、倍率調整手段３８１に対する点検作業者の操作によって、アクティブな表示領域に表示された撮影画像の拡大または縮小の操作を受け付ける。点検作業者は、図１１に示されているようなスライダ形式の撮影位置選択手段３８３に対して、入力手段を用いたポインタｐ１による移動操作を行うことで、拡大画像表示領域３５０に表示させる拡大画像の切り替えを行う。受付部２２は、撮影位置選択手段３８３に対する点検作業者の操作によって、拡大画像表示領域３５０に表示させる撮影画像の撮影位置の選択を受け付ける。

【0091】

明るさ調整手段３８５は、図１１に示されているようなスライダ形式を用いて、アクティブな表示領域に表示されている画像の明るさの変更を受け付ける。画像閲覧画面３００は、トンネル６の壁面の状態または外光等の影響によって撮影画像が明るすぎたり、または暗すぎたりする場合に、撮影画像の明るさを調整することで、撮影画像の内容を判別しやすくする。表示装置２０は、例えば、撮影画像が暗すぎてひび割れが見えにくい場合、全体を明るくすることで、ひび割れを判別しやすくすることができる。また、表示装置２０は、撮影画像に示されている壁面に記載されたチョークが見えにくい場合、全体を暗くすることで、チョーキングとのコントラストがついて判別しやすくすることができる。

【0092】

具体的には、点検作業者がポインタｐ１を用いて明るさ調整手段３８５に対する移動操作を行うことで、受付部２２は、スライダで指定された位置に対応する明るさへの変更要求を受け付ける。受付部２２は、例えば、変更要求として、スライダの移動量（スライド量）に応じたガンマ値を受け付ける。画像処理部２５は、受け付けられたガンマ値を用いて、下記（式１）によって、明るさ変更後の撮影画像の輝度値を算出する。ここで、Ｘは、明るさ変更前の輝度値であり、Ｙは、明るさ変更後の輝度値であり、γは、ステップＳ２０１で受け付けられたガンマ値である。例えば、明るさ調整手段３８５のデフォルトの位置では、γ＝１であり、明るさ変更前の輝度＝明るさ変更後の輝度となる。

【0093】

【数1】

【0094】

明るさ調整手段３８５は、スライダ形式にすることで、撮影画像の現在の明るさを表示するとともに、変更する明るさの値の指定を受け付けることができる。点検作業者は、スライダの位置によって、表示されている撮影画像の現在の明るさと変更後の明るさを視覚的に把握することができる。なお、画像閲覧画面３００は、スライダ形式の明るさ調整手段３８５に変えて、撮影画像の明るさの数値を表示させるとともに、点検作業者に変更後の明るさの値を直接入力させる表示入力領域を含む構成であってもよい。

【0095】

また、点検作業者は、表示領域が小さくて画像を確認しにくい場合等に、全画面表示選択ボタン３８７を選択することで、俯瞰画像表示領域３１０および拡大画像表示領域３５０のうち、アクティブになっている表示領域を全画面表示する。受付部２２は、全画面表示選択ボタン３８７に対する操作によって、アクティブな表示領域の全画面表示の選択を受け付ける。そして、表示制御部２３は、アクティブな表示領域に表示された画像を画像閲覧画面３００に全画面表示させる。

【0096】

さらに、点検作業者は、表示消去ボタン３８９を選択することで、俯瞰画像表示領域３１０および拡大画像表示領域３５０のうち、アクティブになっている表示領域に表示された画像を消去（非表示に）する。受付部２２は、表示消去ボタン３８９に対する点検作業者の操作によって、アクティブな表示領域の画像の消去の選択を受け付ける。そして、表示制御部２３は、アクティブな表示領域に表示された画像を画像閲覧画面３００から非表示にする。点検作業者は、例えば、拡大画像表示領域３５０に表示された拡大画像で異常の有無を確認した後、次のフラグの箇所の確認を行う際に、拡大画像表示領域３５０に表示された画像を一度消去することで、次の作業を行いやすくなる。

【0097】

また、点検作業者は、表示切替ボタン３９１の右側のボタンを選択すると、撮影車両９の進行方向の右隣の画像を拡大画像表示領域３５０に表示させることができる。また、点検作業者は、表示切替ボタン３９１の左側のボタンを選択すると、撮影車両９の進行方向の左隣の画像を拡大画像表示領域３５０に表示させることができる。受付部２２は、表示切替ボタン３９１に対する点検作業者の操作によって、拡大画像表示領域３５０に表示させる画像の切り替えを受け付ける。そして、表示制御部２３は、表示切替ボタン３９１に対する操作内容に応じて、拡大画像表示領域３５０に表示させる画像を切り替えて表示させる。点検作業者は、例えば、拡大画像表示領域３５０に指定した箇所の拡大画像が表示された際、指定した箇所が少しズレており、もう少し右側または左側を見たい場合に、表示切替ボタン３９１を使用することで、指定箇所の近くの画像を円滑に確認することができる。

【0098】

このように、画像閲覧画面３００は、トンネル６の入口から出口までを俯瞰した俯瞰画像とフラグ画像を関連づけて表示することで、点検作業者に効率よく異常候補の位置を把握させることができる。

【0099】

図１０に戻り、受付部２２は、俯瞰画像における異常確認位置の選択が受け付けられた場合（ステップＳ５３のＹＥＳ）、処理をステップＳ５４へ移行させる。具体的には、点検作業者がポインティングデバイス３１２等の入力手段を用いてポインタｐ１を操作することでフラグ表示領域３２０に示されているフラグ画像を選択することにより、受付部２２は、異常確認位置の選択を受け付ける。一方で、受付部２２は、俯瞰画像における異常確認位置の選択が受け付けられない場合（ステップＳ５３のＮＯ）、処理をステップＳ５７へ移行させる。

【0100】

点検作業者は、俯瞰画像表示領域３１０に表示された俯瞰画像、およびフラグ表示領域３２０に表示されたフラグ画像を見ながら、正常に撮影ができていない可能性のある位置を探し、その位置を異常確認位置として選択する。点検作業者は、例えば、フラグ画像上にポインタｐ１を移動させ、ポインティングデバイス２１２であるマウスを右クリックすることで、異常画像であるか確認したい位置（異常確認位置）を選択する。なお、点検作業者は、俯瞰画像表示領域３１０に表示された俯瞰画像上の確認したい位置にポインタｐ１を移動させ、マウスを右クリックすることで、異常画像であるか確認したい位置を選択する構成であってもよい。また、点検作業者によって異常画像であるか確認したい位置を選択する方法は、これに限られず、俯瞰画像の任意の位置を選択可能な方法であればよい。

【0101】

ここで、点検作業者は、フラグ表示領域３２０にフラグ画像が表示されている位置、すなわちフラグが有効な位置を確認したいことが多い。そのため、表示装置２０は、フラグが有効な位置を選択しやすいように、ポインタｐ１がフラグの有効な位置に近づくと、ポインタｐ１がフラグ画像に吸い寄せられて自動的に選択されるようにしてもよいし、この自動指定機能を設定によりＯＮ（有効）またはＯＦＦ（無効）が選択できる構成であってもよい。

【0102】

次に、表示制御部２３は、ステップＳ５３で受け付けられた異常確認位置、すなわち選択されたフラグ画像の位置に対応する拡大画像を、拡大画像表示領域３５０に表示させる（ステップＳ５４）。図１２は、ステップＳ５４で表示される画像閲覧画面３００の画面例を示す。図１２に示されている画像閲覧画面３００は、俯瞰画像表示領域３１０に表示された俯瞰画像の撮影位置「６」に対応する拡大画像を、拡大画像表示領域３５０に表示している。また、図１２に示されているように、画像閲覧画面３００は、俯瞰画像表示領域３１０に表示された俯瞰画像と、拡大画像表示領域３５０に表示される拡大画像とを並列に表示する。図１２に示されている例の場合、拡大画像に示されている照明の部分が白飛びの異常画像となっており、フラグ表示領域３６０は、拡大画像に示されている照明の部分と対応する位置にフラグ画像が表示している。点検作業者は、トンネル６の点検において、壁面の白飛びが発生していると、損傷の有無が分からなくなるので問題があるが、照明の部分が白飛びしていても問題ないため、表示された拡大画像が異常画像ではないことを確認することできる。なお、画像閲覧画面３００は、フラグ表示領域３６０をなくして、拡大画像表示領域３５０のみを表示させることで、拡大画像をより大きく表示させる構成にしてもよい。

【0103】

次に、受付部２２は、「撮影」ボタン３０７の選択が受け付けられた場合（ステップＳ５５のＹＥＳ）、処理をステップＳ５６へ移行させる。一方で、ステップＳ５５において、受付部２２は、「撮影」ボタン３０７の選択が受け付けらない場合（ステップＳ５５のＮＯ）、処理をステップＳ５７へ移行させる。この場合、点検作業者は、拡大画像表示領域３５０に表示された拡大画像を見て、異常画像であると判断した場合、ポインティングデバイス３１２等の入力手段を用いてポインタｐ１を操作することで、「撮影」ボタン３０７を押下する。

【0104】

点検作業者は、拡大画像表示領域３５０に表示された拡大画像を見ることで、拡大画像が許容できる異常画像であるかどうかを判断する。点検作業者は、許容できない異常画像である場合、走行撮影(ステップＳ１３)をやり直すため、「撮影」ボタン３０７を選択する。また、点検作業者は、図１２の拡大画像のような照明の箇所のみ白飛びしている等、許容できる画像であった場合には、成否確認作業を続ける。

【0105】

次に、通信部２７は、ステップＳ５５で「撮影」ボタン３０７の選択が受け付けられた場合、制御装置９０に対して、トンネル６の再度の撮影を要求する旨を示す撮影要求を送信する（ステップＳ５６）。この撮影要求は、ステップＳ５５で「撮影」ボタン３０７が選択された際に拡大画像表示領域３５０に表示されていた拡大画像の撮影位置の情報を含む。これにより、制御装置９０の通信部９１は、表示装置２０から送信された撮影要求を受信する。そして、制御装置９０は、撮影要求に含まれてる撮影位置情報が示す撮影位置の撮影処理（ステップＳ１３）を再度実行し、撮影処理によって取得されたデータを表示装置２０に対して送信する（ステップＳ１４）。

【0106】

そして、ステップＳ５７において、受付部２２は、「アップロード」ボタン３０９の選択が受け付けられた場合（ステップＳ５７のＹＥＳ）、処理をステップＳ５８へ移行させる。この場合、点検作業者は、成否確認処理が終了したと判断した場合、ポインティングデバイス３１２等の入力手段を用いてポインタｐ１を操作することで、「アップロード」ボタン３０９を押下する。一方で、受付部２２は、「アップロード」ボタン３０９の選択が受け付けらない場合（ステップＳ５７のＮＯ）、ステップＳ５３からの処理を繰り返し、成否確認処理を継続する。

【0107】

そして、送受信部２１は、データ管理装置５０に対して、ステップＳ１４で受信された取得データを送信（アップロード）する（ステップＳ５８）。これにより、データ管理装置５０は、図１に示されているように、受信されたコメント、撮影画像データおよび各種検出データ等の取得データを管理する。その後、診断装置４０を使用する検査業者は、データ管理装置５０によって管理された各種データを用いて、トンネル６の診断を行い、役所に提出書類のデータを作成する。

【0108】

このように、表示装置２０は、撮影画像を縮小させた複数の縮小画像により構成させる俯瞰画像と、制御装置９０によって検知された検知結果を示すフラグ画像とを関連づけて画像閲覧画面３００に表示させるとともに、点検作業者によって選択された所定の位置の拡大画像を画像閲覧画面３００に表示させる。これにより、点検作業者は、撮影画像が示す小さな異常の見落としを低減させ、短時間で効率よく撮影画像の成否確認を行うことができる。

【0109】

○成否確認処理の変形例
次に、図１３および図１４を用いて、図１０乃至図１２に示されている表示装置２０を用いた成否確認処理の変形例を説明する。図１３は、撮影画像の成否確認処理の変形例を示すフローチャートである。図１３は、図１０に示されている成否確認処理と異なり、画像閲覧画面４００に、解像度の異なる拡大画像を表示させる構成である。

【0110】

まず、アプリ起動部２６は、走行撮影完了後に、表示装置２０にインストールされた成否確認アプリ２５０を起動させる（ステップＳ７１）。そして、表示制御部２３は、アプリ起動部２６により起動された成否確認アプリ２５０が実行されることで、取得された撮影画像が表示された画像閲覧画面４００を、ディスプレイ２０６に表示させる（ステップＳ７２）。図１４に示されている画像閲覧画面４００は、上述の画像閲覧画面３００に示されている拡大画像表示領域３５０およびフラグ表示領域３６０に変えて、第１の拡大画像表示領域４１０およびフラグ表示領域４２０並びに第２の拡大画像表示領域４３０およびフラグ表示領域４４０を含む。

【0111】

このうち、第１の拡大画像表示領域４１０は、俯瞰画像表示領域３１０に表示された俯瞰画像上の指定された位置座標を中心として、俯瞰画像よりも高解像度（高い倍率）の第１の拡大画像を表示する。また、フラグ表示領域４２０は、第１の拡大画像表示領域４１０に表示された第１の拡大画像に対応するフラグ画像を、第１の拡大画像と同じスケールで表示する。

【0112】

また、第２の拡大画像表示領域４３０は、俯瞰画像表示領域３１０に表示された俯瞰画像上の指定された位置座標を中心として、第１の拡大画像表示領域４１０に表示された第１の拡大画像よりも高解像度（高い倍率）の第２の拡大画像を表示する。また、フラグ表示領域４４０は、第２の拡大画像表示領域４３０に表示された第２の拡大画像に対応するフラグ画像を、第２の拡大画像と同じスケールで表示する。

【0113】

なお、画像閲覧画面４００は、図１０に示されている画像閲覧画面の拡大画像表示領域３５０に表示させる拡大画像を上書きする形式で、第１の拡大画像と第２の拡大画像の表示を切り替える構成であってもよい。また、画像閲覧画面４００は、例えば、第３の拡大画像および第４の拡大画像のような、２段階以上の拡大画像を表示させる構成であってもよい。表示装置２０は、解像度が異なる階層構造の画像を表示させることで、最初からピクセル等倍の最大解像度の画像を読み込んでスクロールさせながら表示させる場合と比べて、短時間で効率的に点検作業者に成否確認を行わせることができる。

【0114】

次に、受付部２２は、異常確認位置の選択が受け付けられた場合（ステップＳ７３のＹＥＳ）、処理をステップＳ７４へ移行させる。一方で、受付部２２は、異常確認位置の選択が受け付けられない場合（ステップＳ７３のＮＯ）、処理をステップＳ７９へ移行させる。異常確認位置の選択方法は、ステップＳ５３の処理と同様である。そして、表示制御部２３は、ステップＳ７３で受け付けられた異常確認位置、すなわち選択されたフラグ画像の位置に対応する第１の拡大画像を、第１の拡大画像表示領域４１０に表示させる（ステップＳ７４）。

【0115】

次に、受付部２２は、画像閲覧画面４００の「拡大」ボタン４０５の選択が受け付けられた場合（ステップＳ７５のＹＥＳ）、処理をステップＳ７６へ移行させる。そして、表示制御部２３は、ステップＳ７３で受け付けられた異常確認位置、すなわち選択されたフラグ画像の位置に対応する第１の拡大画像よりも解像度の高い第２の拡大画像を、第２の拡大画像表示領域４３０に表示させる（ステップＳ７６）。表示制御部２３は、例えば、第１の拡大画像を表示方法と同様に、点検作業者が第１の拡大画像の拡大したい箇所にポインタｐ１を移動させてポインティングデバイス２１２であるマウスを右クリックすることで、ポインタｐ１の座標位置を中心とした第２の拡大画像を表示する。

【0116】

次に、受付部２２は、「撮影」ボタン３０７の選択が受け付けられた場合（ステップＳ７７のＹＥＳ）、処理をステップＳ７８へ移行させる。一方で、ステップＳ７７において、受付部２２は、「撮影」ボタン３０７の選択が受け付けらない場合（ステップＳ７７のＮＯ）、処理をステップＳ７９へ移行させる。この場合、点検作業者は、第１の拡大画像表示領域４１０または第２の拡大画像表示領域４３０に表示された拡大画像を見て、異常画像であると判断した場合、ポインティングデバイス３１２等の入力手段を用いてポインタｐ１を操作することで、「撮影」ボタン３０７を押下する。

【0117】

そして、通信部２７は、ステップＳ７７で「撮影」ボタン３０７の選択が受け付けられた場合、制御装置９０に対して、トンネル６の再度の撮影を要求する旨を示す撮影要求を送信する（ステップＳ７８）。この撮影要求は、ステップＳ７７で「撮影」ボタン３０７が選択された際に第１の拡大画像表示領域４１０または第２の拡大画像表示領域４３０に表示されていた拡大画像の撮影位置の情報を含む。これにより、制御装置９０の通信部９１は、表示装置２０から送信された撮影要求を受信する。そして、制御装置９０は、撮影要求に含まれてる撮影位置情報が示す撮影位置の撮影処理（ステップＳ１３）を再度実行し、撮影処理によって取得されたデータを表示装置２０に対して送信する（ステップＳ１４）。

【0118】

そして、ステップＳ７９において、受付部２２は、「アップロード」ボタン３０９の選択が受け付けられた場合（ステップＳ７９のＹＥＳ）、処理をステップＳ８０へ移行させる。この場合、点検作業者は、成否確認処理が終了したと判断した場合、ポインティングデバイス３１２等の入力手段を用いてポインタｐ１を操作することで、「アップロード」ボタン３０９を押下する。一方で、受付部２２は、「アップロード」ボタン３０９の選択が受け付けらない場合（ステップＳ７９のＮＯ）、ステップＳ７３からの処理を繰り返し、成否確認処理を継続する。そして、送受信部２１は、データ管理装置５０に対して、ステップＳ１４で受信された取得データを送信（アップロード）する(ステップＳ８０)。

【0119】

このように、表示装置２０は、点検作業者によって選択された位置における拡大画像の解像度（倍率）を段階的に変化させて表示させることで、表示されるまでに時間が掛かる高い解像度の拡大画像を一度に表示する場合と比較して、点検作業者に短時間で効率よく撮影画像の成否確認を行わせることができる。また、表示装置２０は、第１の拡大画像および第２の拡大画像と、それぞれの対応する位置における検知結果であるフラグ画像を関連づけて表示させることで、点検作業者に検知箇所を正確に把握させることができ、撮影画像の小さな異常の見落とす可能性を低減させることができる。

【0120】

○撮影システムの変形例○
続いて、図１５および図１６を用いて、図２に示されている撮影システムの構成の変形例を説明する。図１５は、撮影システムの構成の概略の変形例を示す図である。図１５に示されている撮影システム８Ａは、複数のユニットによって構成される撮影ユニット９００Ａを備えている。撮影ユニット９００Ａは、マスタユニット６００、および二つのスレーブユニット６０１,６０２を含む。

【0121】

マスタユニット６００、および二つのスレーブユニット６０１,６０２に含まれる構成は、図２に示されている撮影ユニット９００に含まれる構成と同様である。マスタユニット６００およびスレーブユニット６０１,６０２は、それぞれ一つのカメラユニットおよび照明ユニットを制御するために設けられ、図１５の例において、撮影ユニット９００Ａは、三台のカメラおよび照明を含む。また、マスタユニット６００およびスレーブユニット６０１,６０２は、一つのユニットにつきカメラユニットおよび照明ユニットを有する必要があるが、他のセンサユニットを必ずしも有する必要はない。そのため、図１５は、スレーブユニット６０１およびスレーブユニット６０２に含まれているＴＯＦセンサ９０３ｂ,９０３ｃおよびＩＭＵ９０４ｂ,９０４ｃを点線で表している。マスタユニット６００のセンサ制御ボード９０ａは、マスタユニット６００を構成するセンサ類を制御するほか、スレーブユニット６０１,６０２の制御も行う。制御センサボード９０ａ,９０ｂ,９０ｃは、スイッチングハブ９３０を介してそれぞれ接続している。

【0122】

さらに、表示装置２０は、スイッチングハブ９３０を介して、センサ制御ボード９０ａと通信を行う。表示装置２０からの撮影開始要求または撮影停止要求がセンサ制御ボード９０ａに伝わると、マスタユニット６００は、カメラユニット９０１ａおよび照明ユニット９０２ａを用いた撮影開始または撮影停止を行うだけでなく、スレーブユニット６０１,６０２のセンサ制御ボード９０ｂ,９０ｃに同じ命令を伝える。スレーブユニット６０１,６０２は、センサ制御ボード９０ａからの命令に応じて、それぞれのカメラユニット９０１ｂ,９０１ｃおよび照明ユニット９０２ｂ,９０２ｃを用いた撮影開始または撮影停止を行う。また、表示装置２０は、成否確認処理を行う場合、マスタユニット６００およびスレーブユニット６０１,６０２のそれぞれに格納された画像データおよび検知結果を、センサ制御ボード９０ａから取得する。

【0123】

なお、図１５は、撮影ユニット９００Ａが二つのスレーブユニット６０１,６０２を含む構成を示したが、スレーブユニットの数はこれに限られず、撮影ユニット９００Ａは、ラインカメラを構成するカメラの数等に応じて、三つ以上のスレーブユニットを含む構成であってもよい。

【0124】

次に、図１６を用いて、図１５に示されているような複数のカメラによって撮影された撮影画像に対して、一度に成否確認作業を行う場合に用いられる画像閲覧画面の例を説明する。

【0125】

図１６に示されている画像閲覧画面５００は、撮影ユニット９００Ａに含まれる複数のユニットによって取得された撮影画像データを用いて、トンネル６の全体を示す俯瞰画像を表示する俯瞰画像表示領域５１０、俯瞰画像表示領域５１０に表示された俯瞰画像のうち、指定された位置の拡大画像を表示させる拡大画像表示領域５５０、画像閲覧画面５００に表示させる撮影画像の表示状態を選択する選択領域５８０、所定の撮影位置の撮影処理を再度要求する際に押下される「撮影」ボタン５０７、撮影画像のアップロードを行う場合に押下される「アップロード」ボタン５０９、および成否確認処理を中断または終了して画像閲覧画面５００を閉じる場合に押下される「閉じる」ボタン５０１を含む。

【0126】

このうち、俯瞰画像表示領域５１０は、撮影ユニット９００Ａを構成する各ユニットによって取得された撮影画像によって構成される俯瞰画像を、縦に並べて表示する。この場合、表示装置２０は、マスタユニット６００のセンサ制御ボード９０ａと通信を行い、各ユニットのそれぞれに格納されている撮影画像データを、所定の間引き処理を行いながら受信する。各ユニットの俯瞰画像は、図１０に示されている俯瞰画像表示領域３１０に表示された俯瞰画像と同じである。また、俯瞰画像表示領域５１０は、検知部９６による検知結果であるフラグ画像を、俯瞰画像に重畳させて表示する。なお、フラグ画像は、例えば、半透明になっており、フラグ画像を有する箇所でも俯瞰画像の内容がわかるようにしてもよい。また、俯瞰画像表示領域５１０は、画像閲覧画面３００の俯瞰画像表示領域３１０とフラグ表示領域３２０のように、俯瞰画像とフラグ画像を別々に表示してもよい。

【0127】

また、俯瞰画像表示領域５１０は、矩形領域ｔ１を表示しており、俯瞰画像の拡大したい領域を選択する場合、矩形領域ｔ１に対応する俯瞰画像の箇所が拡大画像表示領域５５０に拡大表示される。画像閲覧画面５００は、例えば、倍率選択手段５８３等によって倍率を変更された場合、変更された倍率に応じて面積が変更された矩形領域ｔ１を表示する。一方で、画像閲覧画面５００は、矩形領域ｔ１に対する操作によって矩形領域ｔ１のサイズが変更された場合、変更された矩形領域ｔ１のサイズに応じて倍率の値が変更された倍率選択手段５８３を表示する。

【0128】

点検作業者は、例えば、入力手段等を用いてポインタｐ１を操作することで、矩形領域ｔ１を拡大して確認したい位置に移動させる。点検作業者は、俯瞰画像表示領域５１０に表示された俯瞰画像およびフラグ画像を見ることで、拡大して確認したい位置を決定する。そして、点検作業者は、例えば、矩形領域ｔ１上にポインタｐ１を移動させ、ポインティングデバイス２１２であるマウスを右クリックすることで、異常画像であるか確認したい位置を選択する。図１６の例では、二つのユニットで撮影された画像に跨ってフラグ画像が表示されているため、点検作業者は、二つの画像を跨ぐように、矩形領域ｔ１を移動させる。

【0129】

拡大画像表示領域５５０は、俯瞰画像表示領域５１０に表示された矩形領域ｔ１の位置に対応する画像が拡大された拡大画像を表示する。拡大画像表示領域５５０は、二つの表示領域５５０ａ,５５０ｂを含む。表示領域５５０ａ,５５０ｂは、異なるユニットによって撮影された画像を、それぞれ別々に表示する。これは、フラグ画像が複数のユニットによって撮影された画像に跨っている場合、矩形領域ｔ１によって複数のユニットの撮影画像が選択されることがあるからである。画像閲覧画面５００は、複数のユニットで撮影された画像の拡大画像を表示させることで、異なるユニットで撮影された画像の間でオーバーラップしている領域があるかを点検作業者に確認させることができる。これは、全てのユニットで撮影された撮影画像を合成して１枚の展開画像を作成する際に、隣接するカメラでオーバーラップしている領域が無いと合成することができない（歯抜けた状態になる）ため、撮影車両９の蛇行が大きいとき等に確認が必要であるからである。なお、拡大画像表示領域５５０は、矩形領域ｔ１によって選択された画像だけでなく、同じ撮影位置（トンネル６の周方向の同じ位置）に対応する全てのユニットから撮影された画像を表示させてもよい。

【0130】

選択領域５８０は、画像閲覧画面５００に表示された撮影画像のうち、アクティブになっている画像に対する画像操作の選択を受け付けるための領域である。選択領域５８０は、閲覧対象の撮影画像を選択するためのデータ選択領域５８１、画像閲覧画面５００に表示させる撮影画像の倍率を選択するための倍率選択手段５８３、撮影画像の明るさを変更するための明るさ調整手段５８５、画像閲覧画面３００に表示させる撮影画像の撮影位置を選択するための撮影位置選択手段５９１、および拡大画像表示領域５５０に表示させる拡大画像のコマ送りを行う際に選択される表示切替ボタン５９５を含む。

【0131】

このうち、データ選択領域５８１は、制御装置９０ａの取得データ管理ＤＢ９００１に記憶された撮影ＩＤおよび撮影日時を、ドロップダウンリストで表示させる。点検作業者は、データ選択領域５８１を操作することで、成否確認を行う撮影処理に対応する撮影ＩＤおよび撮影日時を選択する。通信部２７は、受付部２２によって選択が受け付けられた撮影ＩＤおよび撮影日時に対応する取得データの取得要求を、制御装置９０ａに対して送信する。制御装置９０ａの記憶・読出部９９は、受信された撮影ＩＤおよび撮影日時を検索キーとして取得データ管理ＤＢ９００１を検索することで、対応する取得データを読み出し、通信部９１は、表示装置２０に対して、読み出された取得データを送信する。そして、表示装置２０の表示制御部２３は、通信部２７によって受信されたし取得データによって構成される俯瞰画像およびフラグ画像を、俯瞰画像表示領域５１０に表示させる。

【0132】

点検作業者は、倍率選択手段５８３に対して、入力手段を用いたポインタｐ１による操作を行うことで、アクティブな表示領域に表示された撮影画像の拡大または縮小を行う。受付部２２は、倍率選択手段５８３に対する点検作業者の操作によって、アクティブな表示領域に表示された撮影画像の拡大または縮小を行うための倍率の選択を受け付ける。表示制御部２３は、倍率選択手段５８３に示されている数値の変更が受付部２２によって受け付けられた場合、変更された倍率（拡大率）に対応する拡大画像を、拡大画像表示領域５５０に表示させる。なお、倍率選択手段５８３は、画像閲覧画面３００の倍率調整手段３８１のようなスライダ形式の操作手段であってもよい。

【0133】

明るさ調整手段５８５、撮影位置選択手段５９１および表示切替ボタン５９５は、それぞれ画像閲覧画面３００の明るさ調整手段３８５、撮影位置選択手段３８３および表示切替ボタン３９１と同様の構成である。点検作業者は、例えば、撮影位置選択手段３８３または表示切替ボタン３９を用いて、拡大画像表示領域５５０に表示させる拡大画像の撮影位置を選択したり、表示される拡大画像のコマ送りを行ったりする。なお、画像閲覧画面５００は、図１５に示されている構成の他、画像閲覧画面３００の全画面表示選択ボタン３８７および表示消去ボタン３８９等を含む構成であってもよい。

【0134】

このように、表示装置２０は、複数のカメラの撮影画像を同時に成否確認する際に、隣接したカメラの拡大画像を一度に表示させることで、隣接したカメラにおける撮影箇所がオーバーラップしていること等を、点検作業者に短時間で効率よく確認させることができる。

【0135】

●実施形態の効果
以上説明したように、撮影システム８は、表示装置２０を用いた成否確認を行う際に、トンネル６の入口から出口までを俯瞰した複数の縮小画像（俯瞰画像）とフラグ画像を同時に表示させ、表示させた縮小画像とフラグ画像に基づいて点検作業者によって任意の位置が選択されると、選択された位置座標を中心とした拡大画像を表示させる。これにより、点検作業者は、撮影画像の異常候補の位置の拡大画像を効率よく確認することができる。

【0136】

バッテリの小型化に伴う撮影システム８の消費電力の削減または交通規制等による現場での時間制約等を考慮した場合、点検作業者による成否確認処理の効率化は重要である。また、現場で異常が発見できずに、後日検査業者が展開画像の作成中に異常が見つかると、再度現場へ撮影を行いにいく必要があるため、成否確認処理の精度も同様に重要である。そこで、撮影システム８は、撮影車両９に搭乗する点検作業者が使用する表示装置２０が、トンネル６の俯瞰画像と異常候補の位置を示す検知結果とを関連づけて表示し、点検作業者によって選択された位置の拡大画像を表示することで、点検作業者の撮影画像の成否確認処理を短時間で高精度に実現させることができる。

【0137】

なお、上述の実施形態において、構造物の一例として道路上のトンネル６の診断の例を説明したが、診断システム１は、例えば、路面、橋梁または法面等の道路上の様々な構造物の診断の用途に用いられてもよい。また、診断システム１は、例えば、ビルの壁面、エレベータの壁面または地下鉄のトンネル等の他の構造物の診断の用途に用いられてもよい。また、移動体の一例として撮影車両９を用いて撮影された撮影画像を表示する処理を説明したが、診断システム１は、ドローン等の他の移動体または人の移動によって撮影された撮影画像を表示する構成であってもよい。さらに、表示装置２０に表示された画像閲覧画面３００,４００,５００を用いて撮影画像の閲覧を行う例を説明したが、診断システム１は、検査業者が使用する診断装置４０に画像閲覧画面３００,４００,５００を表示させて撮影画像の閲覧を行う構成であってもよい。

【0138】

●まとめ●
以上説明したように、本発明の一実施形態に係る表示装置は、トンネル６（構造物の一例）が撮影された撮影画像を表示する表示装置２０である。表示装置２０は、トンネル６の撮影処理を制御する制御装置９０から送信された、複数の撮影画像データおよび所定の検知結果を受信し、受信された複数の撮影画像データのそれぞれが縮小された複数の縮小画像と、当該縮小画像に対応する検知結果とを関連づけて画像閲覧画面３００（表示画面の一例）に表示させる。そして、表示装置２０は、表示された縮小画像の所定の位置の選択を受け付け、受け付けられた位置に対応する縮小画像よりも高い倍率の拡大画像を画像閲覧画面３００に表示させる。これにより、表示装置２０は、撮影画像が示す小さな異常の見落としを低減させ、短時間で効率よく撮影画像の成否確認を点検作業者に行わせることができる。

【0139】

また、本発明の一実施形態に係る撮影システムは、表示装置２０と、制御装置９０と、を備える撮影システム８である。制御装置９０は、撮影ユニット９００,９００Ａ（撮影手段の一例）によって撮影された撮影画像に対する所定の検知処理を行い、撮影ユニット９００,９００Ａによって撮影された撮影画像に対応する撮影画像データおよび検知結果を、表示装置２０に対して送信する。これにより、撮影システム８は、トンネル６等の構造物の撮影中に異常の可能性がある箇所を検知することができる。

【0140】

●補足●
上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたプロセッサ、並びに上記で説明した各機能を実行するよう設計されたASIC、DSP（digital signal processor）、FPGA、SOC(System on a chip)、GPU(Graphics Processing Unit)および従来の回路モジュール等のデバイスを含むものとする。

【0141】

また、上記で説明した実施形態の各種テーブルは、機械学習の学習効果によって生成されたものでもよく、関連づけられている各項目のデータを機械学習にて分類付けすることで、テーブルを使用しなくてもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり，コンピュータが，データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し，新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習および深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。

【0142】

これまで本発明の一実施形態に係る表示装置、撮影システム、表示制御方法およびプログラムについて説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

【符号の説明】

【0143】

１ 診断システム
６ トンネル（構造物の一例）
８ 撮影システム
９ 撮影車両（移動体の一例）
２０ 表示装置
２２ 受付部（受付手段の一例）
２３ 表示制御部（表示制御手段の一例）
２７ 通信部（受信手段の一例）
４０ 診断装置
５０ データ管理装置
９０ センサ制御ユニット（制御装置の一例）
９１ 通信部（送信手段の一例）
９６ 検知部（検知手段の一例）
３００,４００,５００ 画像閲覧画面（表示画面の一例）
９００,９００Ａ 撮影ユニット（撮影手段の一例）

【先行技術文献】

【特許文献】

【0144】

【文献】特許６３６６７０７号公報

【要約】

【課題】撮影画像が示す小さな異常の見落としを低減させ、短時間で効率よく撮影画像の成否確認を利用者に行わせることを目的とする。
【解決手段】トンネル６（構造物の一例）が撮影された撮影画像を表示する表示装置２０は、トンネル６の撮影処理を制御する制御装置９０から送信された、複数の撮影画像データおよび所定の検知結果を受信し、受信された複数の撮影画像データのそれぞれが縮小された複数の縮小画像と、当該縮小画像に対応する検知結果とを関連づけて画像閲覧画面３００（表示画面の一例）に表示させる。そして、表示装置２０は、表示された縮小画像の所定の位置の選択を受け付け、受け付けられた位置に対応する縮小画像よりも高い倍率の拡大画像を画像閲覧画面３００に表示させる。
【選択図】図１２

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】