特開 2024-176373 管内検査装置、管内検査方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024176373

(43)【公開日】2024-12-19

(54)【発明の名称】管内検査装置、管内検査方法、およびプログラム

(51)【国際特許分類】

   G01N 21/954 20060101AFI20241212BHJP

【ＦＩ】

G01N21/954 A

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023094863

(22)【出願日】2023-06-08

(71)【出願人】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(71)【出願人】

【識別番号】598076591

【氏名又は名称】東芝インフラシステムズ株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】助川 寛

(72)【発明者】

【氏名】朴 英

(72)【発明者】

【氏名】君山 健二

(72)【発明者】

【氏名】杉野 寿治

(72)【発明者】

【氏名】中村 健介

【テーマコード（参考）】

2G051

【Ｆターム（参考）】

2G051AA82

2G051AB01

2G051AB02

2G051AC17

2G051CA04

2G051FA01

(57)【要約】

【課題】 効率良く管内を検査できるようにすること。
【解決手段】 実施形態の管内検査装置は、管内を移動するカメラで撮影して得られる複数の映像、または１つの映像を構成する複数の映像部分に対し、当該複数の映像または複数の映像部分のそれぞれに含まれる個々の画像のうち撮影時刻が異なり撮影位置が同じである画像どうしを対応付ける位置合わせを行う映像位置合わせ部と、前記位置合わせの行われた複数の映像または複数の映像部分を、比較できるように並べて表示装置に表示させる出力処理部とを具備し、前記出力処理部は、前記撮影時刻が異なり撮影位置が同じである画像どうしを同時に表示させる。
【選択図】 図１３

【特許請求の範囲】

【請求項1】

管内を移動するカメラで撮影して得られる複数の映像、または１つの映像を構成する複数の映像部分に対し、当該複数の映像または複数の映像部分のそれぞれに含まれる個々の画像のうち撮影時刻が異なり撮影位置が同じである画像どうしを対応付ける位置合わせを行う映像位置合わせ部と、
前記位置合わせが行われた複数の映像を、比較できるように並べて表示装置に表示させる出力処理部と、を具備し、
前記出力処理部は、前記撮影時刻が異なり撮影位置が同じである画像どうしを同時に表示させる、
管内検査装置。

【請求項2】

前記出力処理部は、前記複数の映像部分として、カメラが管内の往路を移動して撮影した往路の映像部分と、前記往路と逆方向の復路を移動して撮影した復路の映像部分とを、比較できるように並べて表示装置に表示させる、
請求項１に記載の管内検査装置。

【請求項3】

前記出力処理部は、前記往路の映像部分と前記復路の映像部分のそれぞれに含まれる個々の画像の中から、それぞれ代表として選択される１つ以上の代表画像であって、撮影時刻が異なり撮影位置が同じである代表画像どうしを、比較できるように並べて表示させる、
請求項２に記載の管内検査装置。

【請求項4】

前記出力処理部は、前記複数の映像として、同一の管で異なる撮影時間帯に撮影された複数の映像を、比較できるように並べて表示装置に表示させる、
請求項１に記載の管内検査装置。

【請求項5】

前記出力処理部は、前記同一の管で異なる撮影時間帯に撮影された複数の映像のそれぞれに含まれる個々の画像の中から、それぞれ代表として選択される１つ以上の代表画像であって、撮影時刻が異なり撮影位置が同じである代表画像どうしを、比較できるように並べて表示させる、
請求項４に記載の管内検査装置。

【請求項6】

管内の映像から３次元情報を復元する３次元情報取得部をさらに具備し、
前記出力処理部は、前記３次元情報をもとに、利用者が画像上で指定する対象物の長さ・面積・体積のいずれか少なくとも一つを計測して、計測結果を表示する、
請求項１に記載の管内検査装置。

【請求項7】

前記出力処理部は、
利用者が前記対象物の計測範囲を指定することを可能にする画像を表示する、
請求項６に記載の管内検査装置。

【請求項8】

前記出力処理部は、
利用者が前記対象物の計測範囲を指定することを可能にする前記３次元情報に基づく画像を表示する、
請求項６に記載の管内検査装置。

【請求項9】

映像位置合わせ部により、管内を移動するカメラで撮影して得られる複数の映像、または１つの映像を構成する複数の映像部分に対し、当該複数の映像または複数の映像部分のそれぞれに含まれる個々の画像のうち撮影時刻が異なり撮影位置が同じである画像どうしを対応付ける位置合わせを行うことと、
出力処理部により、前記位置合わせの行われた複数の映像または複数の映像部分を、比較できるように並べて表示装置に表示させ、前記撮影時刻が異なり撮影位置が同じである画像どうしを同時に表示させることと、
を含む、管内検査方法。

【請求項10】

１つまたは複数のコンピュータに、
管内を移動するカメラで撮影して得られる複数の映像、または１つの映像を構成する複数の映像に対し、当該複数の映像または複数の映像部分のそれぞれに含まれる個々の画像のうち撮影時刻が異なり撮影位置が同じである画像どうしを対応付ける位置合わせを行う機能と、
前記位置合わせの行われた複数の映像または複数の映像部分を、比較できるように並べて表示装置に表示させ、前記撮影時刻が異なり撮影位置が同じである画像どうしを同時に表示させる機能と、
を実現させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、管内検査装置、管内検査方法、およびプログラムに関する。

【背景技術】

【0002】

水道管などの管は、長年の使用により管内に堆積物やサビなどが生じると、異物の堆積・付着や、管の内面の劣化・剥離などが起こり、管内に各種の異常が生じる。

【0003】

水道管などの管内を検査するためには、例えば管内にカメラを挿入し、カメラを管内で移動させたり途中で止めたりしながら管内全域を撮影し、これより得られる映像に基づき、管の異常の有無などを調べる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特許第６５３２４１２号公報

【特許文献2】特開２０２１－１６２５４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

管内検査では、撮影を終えた管の映像から、例えば管の劣化状況を検証したり、管の洗浄前後の状態の違いを検証したりすることがある。その際に、複数の映像を比較することがよく行われる。しかし、複数の映像はそれぞれカメラの移動した軌跡が異なることが多いため、見比べるべき同じ撮影位置のフレームどうしを思うように突き合わせることができず、上記したような検証を正しく行うことができないことが多い。そのため、対処に手間取り、検査を効率良く進めることができないことがある。

【0006】

発明が解決しようとする課題は、効率良く管内を検査することを可能にする、管内検査装置、管内検査方法、およびプログラムを提供することにある。

【課題を解決するための手段】

【0007】

実施形態の管内検査装置は、管内を移動するカメラで撮影して得られる複数の映像、または１つの映像を構成する複数の映像部分に対し、当該複数の映像または複数の映像部分のそれぞれに含まれる個々の画像のうち撮影時刻が異なり撮影位置が同じである画像どうしを対応付ける位置合わせを行う映像位置合わせ部と、前記位置合わせの行われた複数の映像または複数の映像部分を、比較できるように並べて表示装置に表示させる出力処理部とを具備し、前記出力処理部は、前記撮影時刻が異なり撮影位置が同じである画像どうしを同時に表示させる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る管内検査装置を含むシステム全体の構成の一例を示す図である。

【図2】図２は、実施形態による管内検査装置１の構成の例を示す図である。

【図3】図３は、水道管３にカメラ４が挿入された状態の一例を示す図である。

【図4】図４は、カメラ４により実際に撮影された映像に含まれる画像の一例を示す図である。

【図5】図５は、ケーブル長を示す情報（即ち、カメラ４の位置情報）が表示された画像の一例を示す図である。

【図6】図６は、管内を往復移動するカメラ４の位置と時間（フレーム）との関係を示す図である。

【図7】図７は、フレームの対応付けに使用するテーブルの例（その１）および当該テーブルを用いてフレームを対応付けした結果をまとめたテーブルの例を示す図である。

【図8】図８は、フレームの対応付けに使用するテーブルの例（その２）および当該テーブルを用いてフレームを対応付けした結果をまとめたテーブルの例を示す図である。

【図9】図９は、出力処理部８０に備えられる各種の機能により実現される画面の遷移の一例を示す図である。

【図10】図１０は、映像リスト画面５１Ａの一例を示す図である。

【図11】図１１は、映像解析結果確認画面５２Ａの一例を示す図である。

【図12】図１２は、タイムバー５２ｃの例を拡大して示す図である。

【図13】図１３は、往路復路比較画面５３Ａの一例を示す図である。

【図14】図１４は、往路復路比較リスト画面５３Ａ’の一例を示す図である。

【図15】図１５は、差分比較画面５４Ａの一例を示す図である。

【図16】図１６は、差分比較リスト画面５４Ａ’の一例を示す図である。

【図17】図１７は、２Ｄ計測画面５５Ａの一例を示す図である。

【図18】図１８は、３Ｄ計測画面５６Ａの一例を示す図である。

【図19】図１９は、実施形態による管内検査装置の動作の一例を示すフローチャートである。

【図20】図２０は、出力処理部８０によるＵＩに関わる動作の一例を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照して、実施の形態について説明する。

【0010】

＜システム構成＞
図１は、実施形態に係る管内検査装置を含むシステム全体の構成の一例を示す図である。

【0011】

本実施形態では、一例として水道管（上水管）の管内の検査、特に不断水検査として管内が満水の状態で管内の検査を行うことを前提に説明するが、本実施形態はこの例に限定されるものではなく、例えば下水管などを含む各種管の管内の検査にも適用することが可能である。

【0012】

本実施形態に係る管内検査装置１は、例えば、図１に示されるように現場２に設置された水道管３の管内を撮影するカメラ４の映像に基づいて管内の検査を行う。カメラ４で撮影された映像は、情報端末（例えば、パーソナルコンピュータ、スマートフォン、もしくはタブレット）に取り込まれる。映像は、例えば複数の画像（フレーム）からなる動画である。また、情報端末には、カメラに付随する属性を示す属性情報が保管されてもよい。撮影された映像（即ち、動画）は、例えば複数の連続した画像（フレーム）からなる映像データ（ファイル）として、記録媒体５に記録されるか、あるいは、ネットワーク上（クラウド上）の所定のサーバの記憶部にアップロードされて保管される。

【0013】

管内検査装置１は、記録媒体５に記録された映像データを取り込むか、あるいは、所定のサーバの記憶部に保管されている映像データを取り込み、これらを用いて管内の検査を行う。属性情報は、映像データと共に記録媒体５やサーバを経由して管内検査装置１に取り込まれるようにしてもよいし、映像データとは異なるルートで、記録媒体５やサーバを経由せずに管内検査装置１に取り込まれるようにしてもよい。

【0014】

実施形態による管内検査装置１の構成の例を図２に示す。図２は、管内検査装置１の構成の一例を示す図である。

【0015】

図２に示される管内検査装置１は、各種の機能として、映像入力部１０、属性情報入力部１１、カメラ位置・動き検知部２０、異常検知部３０、統合判定部４０、映像位置合わせ部５０、３次元情報取得部６０、情報管理部７０、および出力処理部８０を備える。これらの機能の一部または全部は、１つまたは複数のコンピュータに実行させるためのプログラムとして実現される。

【0016】

なお、図２に図示される構成例は一例であって、この例に限定されるものではない。例えば、管内検査装置１は、１つの装置に限らず、複数の装置により構成されてもよいし、これらの複数の装置が別々の場所に存在していてもよい。また、上記した各種の機能も別々の装置に備えられ、別々の場所に存在していてもよい。

【0017】

例えば、映像入力部１０、属性情報入力部１１、カメラ位置・動き検知部２０、異常検知部３０、統合判定部４０、映像位置合わせ部５０、３次元情報取得部６０、および情報管理部７０は、所定のサーバに備えられ、出力処理部８０は、任意の情報端末（例えば、パーソナルコンピュータ、スマートフォン、もしくはタブレット）に備えられる、といった形態であってもよい。この場合、出力処理部８０は、ＵＩ（User Interface）を実現するプログラムとして、所定のサーバから任意の情報端末側に予め提供されたものであってもよい。

【0018】

映像入力部１０は、水道管３の管内を撮影したカメラ４の映像データを入力する。

【0019】

属性情報入力部１１は、カメラ４の属性情報を入力する。当該属性情報は、カメラ位置・動き検知部２０、異常検知部３０、および情報管理部７０に供給され、各部の処理において必要に応じて使用される。

【0020】

カメラ位置・動き検知部２０は、映像入力部１０により入力される映像データおよび属性情報入力部１１により入力される属性情報を用いて、管内におけるカメラ４の位置または動きを検出する。

【0021】

異常検知部３０は、カメラ位置・動き検知部２０により検出されるカメラ４の位置や動きに応じて、カメラ４が撮影する検知対象の映像データの中から１つ又は複数の画像を選択し、選択した画像を用いて管内の各検知対象の異常の有無および異常レベルを判定し、判定した結果を検知対象毎に異常検知結果として生成する。

【0022】

ここでいう検知対象とは、（１）サビ、（２）堆積物、（３）部分的な異物の付着・管表面の防食の劣化、（４）管内全体に膜状に付着した汚れ、および、（５）浮遊物のいずれかを指す。

【0023】

統合判定部４０は、異常検知部３０により検知対象毎に生成された異常検知結果を統合して、管内の異常のレベルを示す統合判定結果を生成する。

【0024】

映像位置合わせ部５０は、映像入力部１０により入力された映像およびカメラ位置・動き検知部２０により検出されるカメラ４の位置や動きの情報を用い、管内を移動するカメラで撮影して得られる複数の映像、または１つの映像を構成する複数の映像部分に対し、当該複数の映像または複数の映像部分のそれぞれに含まれる個々の画像（フレーム）のうち撮影時刻が異なり撮影位置が同じである画像どうしを対応付ける位置合わせを行う。

【0025】

３次元情報取得部６０は、映像入力部１０により入力された映像から３次元情報を復元する。３次元情報は、３次元的な立体感のある画像を形成する情報である。３次元情報の生成方法等については、後で説明する。

【0026】

情報管理部７０は、カメラ位置・動き検知部２０により検出されたカメラ４の位置や動きの情報、異常検知部３０により検知対象毎に生成された異常検知結果および統合判定部４０により生成された統合判定結果を含む情報、映像位置合わせ部５０により生成された映像位置合わせ結果を含む情報、３次元情報取得部６０により復元された３次元情報を含む情報、属性情報入力部１１により入力された属性情報などを管理する。

【0027】

出力処理部８０は、利用者の操作を受け付け、利用者の操作に応じて情報管理部７０で管理される各種の情報を表示装置に出力する。

【0028】

＜主要な構成要素の詳細＞
以下に、管内検査装置１を構成する主要な要素について詳細に説明する。

【0029】

・映像入力部１０
映像入力部１０は、管内を撮影したカメラ４の映像データを所定の情報端末から記録媒体５経由もしくはサーバ経由で取得して入力する。例えば図１に示されるように映像データのファイルをＳＤカードなどの記録媒体５に保存し、その記録媒体５を読み込むリーダーによってそのファイルを読み取ることで映像データの入力を行うことができる。

【0030】

図３に、水道管３にカメラ４が挿入された状態の一例を示す。ここで、カメラ４は、図３に示されるように、現場２において水道管３の管内を移動するため、全体として防水加工が施されていてもよい。また、カメラ４には、照明を付けて管内を明るくする機能や、当該カメラ４が常に上下・水平を保つような回転機構が備わっていてもよい。このカメラ４に長いケーブル６を接続し、消火栓７等からそのケーブル６を押し込むことにより水道管３内にカメラ４を挿入し、水道管３内の撮影を行う。撮影では、カメラ４を上流側と下流側の双方に挿入させる。これを実現するため、消火栓７から水道管３に到達するところまでに配置された治具により、カメラ４を挿入する方向を制御することができるようになっている。

【0031】

また、カメラ４には、カメラ４の向きや動きの情報を得るために、ジャイロセンサや加速度センサなどのセンサを搭載し、これらによりカメラ４の向きや動きを検出するようにしてもよい。この場合、センサはカメラ４の動きや位置を計測できるものであれば種類は問わない。カメラ４の向きや動きの情報は、カメラ位置・動き検知部２０においてカメラ４の動きや位置を検出する際に利用することができる。

【0032】

カメラ４の映像は、ケーブル６を経由して消火栓７の外にある情報端末に供給され、前述したように記録媒体５に記録されるか、もしくはクラウド上の所定のサーバにアップロードされて所定の記憶部に保管される。映像の記録方式はどのような方式でもよく、方式は問わない。例えばアナログＮＴＳＣ方式でもよいし、また、デジタル未圧縮の形態でもよいし、デジタル符号化の形態でもよい。

【0033】

図４に、カメラ４により実際に撮影された映像に含まれる画像の一例を示す。正常であれば円筒状の管内に異物は殆ど見られないが、管内に異常が生じていると、図４（ａ）のように管内で異物が堆積して付着している状態や、管の内面が劣化して剥離している状態、図４（ｂ）のように管内で異物が浮遊物として水に混じって流れている状態などが撮影される。

【0034】

・属性情報入力部１１
続いて属性情報入力部１１について説明する。

【0035】

属性情報は、前述したように、映像データと共に記録媒体５やサーバを経由して管内検査装置１に取り込まれるようにしてもよいし、映像データとは異なるルートで、記録媒体５やサーバを経由せずに管内検査装置１に取り込まれるようにしてもよいが、カメラ４からまたはキーボードやマウスなどの入力装置から入力してもよい。その場合、カメラ４内のセンサ等から得られる情報を属性情報としてもよい。いずれかの形で生成された属性情報をデータファイルとしてＳＤカードなどの記録媒体に保存し、その媒体を読み込むリーダーによってそのファイルを読み取ることで属性情報の入力を行うようにしてもよい。

【0036】

属性情報入力部１１が入力する属性情報には、例えばカメラ４を水道管３の管内に挿入した際のケーブル６の長さ（ケーブル長）を示す情報があり、これは管内におけるカメラ４の位置情報となる。図５に、ケーブル長を示す情報（即ち、カメラ４の位置情報）が表示された画像の一例を示す。

【0037】

ケーブル長を示す情報は、映像データの所定位置に重畳して記録することにより、後述のカメラ位置・動き検出部２０において利用することが可能となる。映像をデジタル形式で記録するのであれば、ケーブル長を示す情報を、映像データ中に重畳するのではなく、映像データと同期させて記録するようにしてもよい。

【0038】

属性情報入力部１１では、他の属性情報を入力することも可能である。例えば、水道管の位置（地名・緯度経度・住所など）、水道管の種類、水道管の管径、水道管の布設年度、前回検査日時やその時の診断結果、またカメラの型式やレンズパラメータなどの属性情報を、映像を記録する記録媒体に関連付けて記録することで、属性情報入力部１１での入力が可能になる。

【0039】

また、カメラ４にジャイロセンサや加速度センサなどのセンサが搭載される場合には、それらをもとにカメラ４の位置や動きを示す情報を属性情報とし、当該属性情報を後述のカメラ位置・動き検出部２０で利用するようにしてもよい。

【0040】

・カメラ位置・動き検出部２０
カメラ位置・動き検出部２０は、管内におけるカメラ４の現在の位置を検出するとともに、カメラ４の動きの有無なども併せて検出する。本例の場合は、映像データおよび属性情報が映像入力部１０および属性情報入力部１１を経由してカメラ位置・動き検出部２０に入力されることを前提としており、当該映像データおよび属性情報を用いてカメラ位置・動き検出部２０がカメラ４の位置と動きの検出を行う。

【0041】

以下に、映像データを用いてカメラ４の位置・動きを検出する手法について説明する。

【0042】

（１）カメラの位置の検出
最初に、カメラ４の位置の検出について説明する。カメラ４の位置の検出は、最も簡単な手法としては、属性情報入力部１１により入力される属性情報からケーブル長を示す情報（即ち、カメラ４の位置情報）を読み取ることで実現可能である。映像データがデジタル形式であれば、映像データ中の各フレームに対応させてケーブル長を示す情報を埋め込んでおいてその値を読み取るだけで実現可能である。

【0043】

映像データ中にケーブル長を示す情報を重畳して記録している場合には、光学文字認識（ＯＣＲ）を用いてその情報を読み取ればよい。この場合、カメラ４内の文字表示領域を指定することなく、個々の画像から文字が横に並んでいる領域を見つけることで認識が可能となる。例えば、０～９および小数点を示す「・」をテンプレートとして登録しておき、テンプレートマッチングで画像内を探索し、いずれかの文字とヒットする文字が横に並んでいる領域があることを利用して文字領域を見つけると同時に、最もヒットした数字のテンプレート情報から数値を読み取るようにしてもよい。

【0044】

図５の画像の例では、「１」「６」「・」「４」のテンプレートが画面右上の領域でマッチングスコアが高くなり、Ｙ軸方向の位置がほぼ同じで左右に並んでいることから１６．４と値を読み取ることが可能である。この場合の文字認識には、例えば以下の参考文献１の技術を利用してもよい。

【0045】

・参考文献１
「O.Hori,“A video text extraction method for character recognition”, Proceedings of the Fifth International Conference on Document Analysis and Recognition. ICDAR '99 (Cat. No.PR00318)」
また、カメラ４の型式を指定する情報を、事前に属性情報に含めておくことにより、当該型式に応じてケーブル長を示す情報を表示する領域を設定するようにしてもよい。

【0046】

なお、ケーブル押し込み型のカメラの場合、押し込み時にはケーブル６がたわみ、引き戻し時にはケーブル６が伸びるため、同じ地点でもケーブル６の長さが違って表示される傾向がある。そのため、押し込み時と引き戻し時の往復の画像を比較して、類似した画像に対し引き戻し時のケーブル長の値を正式な値として補正するなどにより、位置の精度を高めるようにしてもよい。その際、類似画像を比較する手法を利用してもよいし、以下の参考文献２に示される単眼カメラによる３次元情報の再構成技術を用いることでより正確な位置を求めるようにしてもよい。

【0047】

・参考文献２
「関，“移動カメラ画像からの３次元形状復元・自己位置推定（ＳＬＡＭ）と高密度な３次元形状復元”，情報処理学会研究報告コンピュータビジョンとイメージメディア(CVIM),2014-CVIM-190,2014」
また、水道管３の種類がわかっていれば、管どうしの個々の接続部の位置がわかる。そこで、個々の接続部の位置が映像の中で同心円状の一定以上の輝度変化（エッジ）として現れる場合は、その同心円状のエッジが検出された数を数えることにより、カメラ４の位置を求めるようにしてもよい。

【0048】

（２）カメラの動きの検出
続いて、カメラ４の動きの検出について説明する。簡単な手法としては、画像全体でオプティカルフローを求め、フローの方向から消失点を求めた時に多くのフローベクトルが消失点を起点または終点としていることがわかれば、カメラ４が移動していることがわかる。

【0049】

ただし、水道管３内を撮影している場合、水道管３内に浮遊物があると管の奥に向かって、または管の奥から手前に浮遊物が流れてくるため、カメラ４が止まっていても消失点方向のベクトルが発生してしまうことがある。そこで、カメラ４が動くと露光時間内に画像が変化することによるぶれ（モーションブラー）が発生して画像全体がぼけることを検知することでカメラ４の動きの有無を判定するようにしてもよい。例えば、画像内のエッジ強度を求め、その値を累積することでエッジの累積強度がある閾値よりも大きくなった状態が停止状態、ある閾値よりも低くなった状態がぼけているため動いている状態と判定してもよい。

【0050】

なお、浮遊物の影響を減らすため、累積対象とする画素を管の周辺部（中央部を除く）に限るなど、領域を限定するようにしてもよい。また、エッジの強度は隣接画素とのエッジでなく、画像全体にＦＦＴをかけて周波数の高い成分のパワーを累積することによって求めてもよい。例えば、浮遊物で発生する周波数を事前に求めておいてその周波数を除外することなどにより精度良く動きの有無を検出することができる。

【0051】

そのほか、ＮＴＳＣ（National Television Standards Committee）のアナログ信号形式で保存された映像に限定される手法であるが、この場合はインタレース方式により上下方向が１行ごとに交互に画像が記録されるので、カメラ４に動きがあった場合にコーミングノイズと呼ばれる縞状態のノイズが発生する。これは、奇数行と偶数行とで撮影する時間が異なるため、明るさに変化が発生したところに縞状になって輝度変化が発生することによる。そこで、この縞状の部分について、Ｙ（ｘ，ｙ）を座標ｘ，ｙの輝度値Ｙとしたとき、所定の係数をαとして、以下のような式を満たす画素が所定画素以上ある場合に、コーミングノイズ発生と判定し、カメラ４が動いていると判定するようにしてもよい。

【0052】

|Y(x,y)-Y(x,y-1)| > |(x,y)-y(x,y-2)|+α
上記式によれば通常なら輝度は空間内で滑らかに変化するため、１行上よりも２行上との輝度差の方が大きくなるのが通常だが、コーミングノイズが発生すると、２行上よりも１行上との輝度差の方が大きくなる。本手法ではそのような現象を利用している。

【0053】

属性情報入力部１１からカメラ位置・動き検出部２０に、カメラ４に搭載されたジャイロセンサや加速度センサなどのセンサの情報が入力されるのであれば、その情報を読みこむことによってカメラ４の動きの検出は容易に行える。この場合、水中の状況によらずカメラ４の動きを正確に検出することが可能となる。

【0054】

以上により、カメラ４の現在位置、およびカメラ４の動きの有無を検出することが可能となる。

【0055】

・異常検知部３０
異常検知部３０は、映像データから検知対象毎に水道管３内の異常の有無を検知するとともに異常のレベルを判定する。本実施形態では、検知対象として、（１）サビ、（２）堆積物、（３）部分的な異物の付着・管表面の防食の劣化、（４）管内全体に膜状に付着した汚れ、および、（５）浮遊物、を検知することを想定している。以下、各検知対象を検知する手法について説明する。

【0056】

（１）サビ
サビは、管の内面が腐食して錆びることにより発生し、色として赤茶色の状態になることが多い。管の内面は正常の状態では赤茶色になることはないため、色の検出により赤茶色の領域を見つけることでサビを検知することが可能である。
サビの異常のレベルは、例えば映像データから管内の形状や閉塞率をもとに判定してもよい。また、閉塞率を指標とする方法以外にも、画面内のサビの面積（画素数）の合計値、ラベリングなどによってサビの塊の大きさ、判定対象とする領域を事前に定め、その領域内のサビの面積を指標とすることなど、他の値を指標としてもよい。

【0057】

（２）堆積物
堆積物の検知では、管の下部に堆積している異物を堆積物として検知する。
堆積物の異常のレベルは、例えば面積や体積をもとに判定してもよい。また、面積や体積を指標とする方法以外にも、堆積物の存在する範囲の大きさやラベリングして求めた塊の数の多さなどを指標にしてもよい。

【0058】

（３）部分的な異物の付着・管表面の防食の劣化
正常な水道管は表面が一面同一の色となっているため、エッジ状の特徴が存在しない。一方、部分的な異物の付着・管表面の防食の劣化（以下、異物付着・内面劣化）の異常が発生するとエッジ状の特徴が映像に現れやすい。そこで、エッジ処理により検出されるエッジを利用することで、異物付着・内面劣化を検出することができ、その異常レベルを求めることができる。
例えば、図４（ａ）の画像の例に示されるように、エッジが検出されたらその連結範囲の外接矩形を求め、その外接矩形の面積をもとに異常レベルを判定してもよい。また、外接矩形の面積を指標とする方法以外にも、異常領域の数や分布範囲の大きさ（存在する異常の塊の全体の外接矩形の大きさ）などを指標にしてもよい。

【0059】

（４）管内全体に膜状に付着した汚れ
管内全体に膜状に付着した汚れ（以下、膜状の付着物）は、上記（３）に示した方法で検出することは困難である。そこで、管内表面の明るさや色の平均値を求め、正常時の状態との差分を求めることで、膜状の付着物を検出することができ、その異常レベルを求めることができる。
膜状の付着物の異常のレベルは、例えば正常状態との輝度の変化量の多さをもとに判定してもよい。輝度の変化量の多さを指標とする方法以外にも、カメラ４の跡の線の大きさ、例えば線の太さや長さ、面積、エッジ強度の累積値などを指標としてよい。

【0060】

（５）浮遊物
浮遊物は、管内を流れる水中に含まれる異物であり、図４（ｂ）の画像の例に示されるようにオプティカルフローの形で映る。浮遊物は、当該オプティカルフローから検出することができる。
浮遊物の異常のレベルについては、例えば何も浮遊物がない状態を正常（例えばレベルＳ）とし、浮遊物の量が多くになるにつれて異常レベルを高める（悪化させる）といった判定を行ってもよい。

【0061】

・統合判定部４０
統合判定部４０は、前述した５種類の検知対象について、個別に異常を検知した後に、それらの結果の相互の関係性を利用して最終結果を出力する。なお、相互の関係性を利用せず、そのまま最終結果として出力しても問題ない。

【0062】

異常の統合判定結果を求める際には、例えば、検知対象毎の異常検知結果の相互の関係性に応じて、統合判定結果を生成する演算方法（重みづけ加算方法など）を変える（例えばマージや除外などを行う）ようにしてもよい。例えば、サビの判定の時はサビだけを利用するが、堆積物の判定の時はサビ・堆積物の両方を利用するなどの対応が可能である。

【0063】

異常の統合判定結果の求め方としては、例えば、Y(1)からY(5)が５種類の異常それぞれの最終結果、X1～X5が個別に求めた異常検知結果、a～eがそれぞれの重み係数であるとして、次の式のように各異常検知結果に所定の係数をかけることで重み付けをして最終結果を求めてもよい。

【0064】

Y(i) = a*X1 + b*X2 + c*X3 + d*X4 + e*X5
式中のそれぞれの係数を調整することにより、個別の依存関係が明確な場合に適切な対応が可能となる。例えば、堆積物の異常レベルを判定する場合、サビ・堆積物の異常検出結果のＯＲ（論理和）をとった結果を異常検知結果として判定するようにすることや（上記Ｙの式の係数により実現が可能でもある）、所定の異常があった場合、別の異常検知結果から除外するなども上記式により可能である。

【0065】

また、所定の異常を先に求め、その結果を利用して別の異常検知の結果を調整するようにしてもよい。例えば、検知対象間の影響の有無に応じて、所定の検知対象の異常レベルを調整する（例えば堆積物は、浮遊物とまぎれやすいので、浮遊物の有無によって異常レベルを調整する）ようにしてもよい。

【0066】

例えば、浮遊物については、映像の全領域にまたがって発生するため、浮遊物の異常の有無や異常のレベルを先に判定し、浮遊物が多い時には他の異常検知対象の検知結果の基準を補正するようにしてもよい。浮遊物が多い時には画像中の異常が見えにくくなるため、本来ある異常が漏れてしまったり、逆に異常がないのに異常と判定されやすくなったりする。異常のレベルを所定のレベルで下げるようにしたり上げるようにしたりすることも可能であるほか、異常を判定する領域（区間）の領域の長さを浮遊物の量に応じて変えてもよい。例えば、浮遊物が多い時には長い範囲で求めた異常検知結果からレベル判定を行うことによりノイズの影響を軽減することができる。

【0067】

また、５種類の異常検知に限らず、管全体の総合判定結果として異常検知の種類によらず１つの総合判定結果を出力するようにしてもよい。これは、５種類の異常レベル判定結果の最悪値、平均値、重み付け加算などから求めれば実現が可能となる。

【0068】

・映像位置合わせ部５０
映像位置合わせ部５０は、前述したように、映像入力部１０により入力された映像およびカメラ位置・動き検知部２０により検出されるカメラ４の位置や動きの情報を用い、管内を移動するカメラ４で撮影して得られる複数の映像、または１つの映像を構成する複数の映像部分に対し、当該複数の映像または複数の映像部分のそれぞれに含まれる個々の画像のうち撮影時刻が異なり撮影位置が同じである画像どうしを対応付ける位置合わせを行う。

【0069】

本例では、位置合わせの例として以下に示す［Ａ］と［Ｂ］の２種類を想定している。それぞれの実現方法について、以下に説明する。

【0070】

［Ａ］１つの映像の中の異なる時間（フレーム）間で同じカメラ位置のフレームどうしを対応付ける方法
最初に、１つ目の映像の中の異なる時間のフレームの対応付け方法について説明する。

【0071】

まず、映像中の各フレームの位置情報の取得は、カメラ位置・動き検知部２０の中で実施される映像中の位置情報の読み取りにより実現できる。具体的には、図５で説明したように、水道管３のカメラ映像ではカメラ４を押し込むために接続されたケーブルの挿入量に応じた文字情報が映像に埋め込まれており、この値を読み込むことで水道管３の入り口からの距離が求められる。この文字情報は同じ映像中の固定位置（カメラ４の種類によって異なる）に表示されるため、この領域の文字情報をＯＣＲ技術等で読み取ることで現状のカメラ位置を獲得する。なお、ケーブルを押し込む往路ではケーブルがたわみやすく実際のカメラ位置よりケーブル長は大きめに出るため、それを想定した補正処理（一定の比率で長さを減らすなど）をして精度を高めることもできる。

【0072】

図６に、管内を往復移動するカメラ４の位置と時間（フレーム）との関係を示す。

【0073】

水道管３の調査映像の場合、カメラ４を押し込んで撮影する往路の映像と、一番奥まで到達したらケーブルを引き戻すことでカメラ４が戻ってくる復路の映像とが撮影される。

【0074】

図６に示されるように、映像の前半は往路に対応し、映像の後半は復路に対応する。この場合、映像の前半と後半とで水道管３内の同一地点を通過することになる。そこで、往路の各映像に対し、復路で撮影した映像を対応付ける処理を行う。この処理は事前にＯＣＲ読み取り値のリセットする（管内に挿入した直後の基準位置を０．０ｍとするようにリセットする）ことを前提としており、また、映像の先頭と映像の最後の位置が０．０ｍとなることを前提としている。

【0075】

図７（ａ）に、フレームの対応付けに使用するテーブルの例（その１）を示す。

【0076】

縦軸は、往路（映像の最初から後半に向かって進む方向）に対応する映像のフレーム番号とそれぞれのカメラ位置（ＯＣＲ読み取り値）を示し、横軸は、復路（映像の最後から前半に向かって逆向きに進む方向）に対応する映像のフレーム番号とそれぞれのカメラ位置（ＯＣＲ読み取り値）を示す。

【0077】

（手順１）
まず、カメラ４の折り返し地点を映像中から求める。折り返し地点を求めるためには、ＯＣＲ読み取り値の最大値を求めるとともに、カメラ４の動きが止まる場所をカメラ位置・動き検知部２０の検知結果から求める。図７（ａ）では映像全体が９フレームの中で、３．０ｍがＯＣＲ読み取り値の最大値であるため、折り返し地点を５フレーム目とする。

【0078】

（手順２）
映像の先頭で基準の０．０ｍとなるフレームをＦＡ、映像の最後に０．０ｍとなるフレームをＦＢと設定する。図７（ａ）ではＦＡ＝１、ＦＢ＝９となる（数値はフレーム番号を表す）。

【0079】

（手順３）
ＦＡ／ＦＢのフレームの画像におけるＯＣＲ読み取り値をそれぞれＯＣＲ（ＦＡ）／ＯＣＲ（ＦＢ）として比較する。

【0080】

ＯＣＲ（ＦＡ）＝ＯＣＲ（ＦＢ）の場合：ＦＡは１フレーム加算、ＦＢは１フレーム減算する。

【0081】

ＯＣＲ（ＦＡ）＞ＯＣＲ（ＦＢ）の場合：ＦＡはそのまま、ＦＢは１フレーム減算する。

【0082】

ＯＣＲ（ＦＡ）＜ＯＣＲ（ＦＢ）の場合：ＦＡは１フレーム加算、ＦＢはそのままとする。

【0083】

このようにすることでＯＣＲ読み取り値が常に同じ値となるように往路と復路のフレームを対応付けできる。

【0084】

この処理をＦＡもＦＢも折り返し地点に到達するまで繰り返す。

【0085】

以下に、図７（ａ）のテーブルに基づく具体的な処理例を示す。

【0086】

テーブル内で「スタート」と記されたＦＡ＝１，ＦＢ＝９の位置から開始する（テーブル内の（１））。

【0087】

次に、ＦＡ（ｆｒａｍｅ＝１）の読み取り値＝０．０ｍ、ＦＢ（ｆｒａｍｅ＝９）の読み取り値＝０．０ｍであるため、ＦＡを１フレーム加算、ＦＢを１フレーム減算し、ＦＡ＝２、ＦＢ＝８として対応付ける（テーブル内の（２））。

【0088】

次に、ＦＡ（ｆｒａｍｅ＝２）の読み取り値＝１．０ｍ、ＦＢ（ｆｒａｍｅ＝８）の読み取り値＝１．０ｍであるため、同じくＦＡを１フレーム加算、ＦＢを１フレーム減算し、ＦＡ＝３、ＦＢ＝７として対応付ける（テーブル内の（３））。

【0089】

次に、ＦＡ（ｆｒａｍｅ＝３）の読み取り値＝１．０ｍ、ＦＢ（ｆｒａｍｅ＝７）の読み取り値＝２．０ｍであるため、ＦＡのみ１フレーム加算、ＦＢはそのままでＦＡ＝４、ＦＢ＝７として対応付ける（テーブル内の（４））。

【0090】

次に、ＦＡ（ｆｒａｍｅ＝４）の読み取り値＝２．０ｍ、ＦＢ（ｆｒａｍｅ＝７）の読み取り値＝２．０ｍであるため、ＦＡとＦＢそれぞれ１フレーム加算し、ＦＡ＝５、ＦＢ＝６として対応付ける（テーブル内の（６））。

【0091】

最後に、ＦＡ（ｆｒａｍｅ＝５）の読み取り値＝３．０ｍ、ＦＢ（ｆｒａｍｅ＝６）の読み取り値＝２．０ｍであるため、ＦＢのみ１フレーム減算しＦＡ＝５、ＦＢ＝５として対応付ける（テーブル内の（７））。

【0092】

ここで、ＦＡもＦＢも折り返し地点に到達したため対応付け処理を完了する。

【0093】

（手順４）
対応付けた結果を映像位置合わせ情報としてテーブルで管理する。

【0094】

（手順５）
次に、図７（ａ）のテーブルを用いてフレームを対応付けした結果を、別のテーブルにまとめて管理する。

【0095】

図７（ｂ）に、図７（ａ）のテーブルを用いてフレームを対応付けした結果をまとめたテーブルの例を示す。

【0096】

図７（ｂ）は、往路・復路のいずれの方向からも対応付けられたフレームを確認することが可能なテーブルの例である。横軸は、往路・復路のいずれにも適用される映像のフレーム番号とそれぞれのカメラ位置（ＯＣＲ読み取り値）を示す。縦軸には、往路・復路の２項目が設けられている。

【0097】

１段目の往路の行には、往路の映像のフレーム番号１～５に対応する、復路の映像のフレーム番号が、対応付けの結果と共に記載されている。２段目の復路の行には、復路の映像のフレーム番号５～９に対応する、往路の映像のフレーム番号が、対応付けの結果と共に記載されている。

【0098】

往路と復路との間では、１つのフレームに対し複数のフレームが対応付けられることもあるため、必ずしも１：１の関係で対応付けられるわけではない。

【0099】

図７（ｂ）のようなテーブルを管理しておくことで、往路・復路のいずれの方向からも対応付けられたフレームを即座に特定することができる。

【0100】

［Ｂ］２本以上の映像の間で同じカメラ位置のフレームどうしを対応付ける方法
次に、複数の映像間で対応付けする方法について説明する。

【0101】

ここでは、基本的に１つ目の映像のフレームを基準として、２つ目以降を対応付けする方法を例にして説明する。映像が３つ以上あったとしても、３つ目以降もここで説明する２つ目の映像を１つ目の映像に対して対応付けするのと同様に、いずれも１つ目の映像を基準として対応付けすれば、映像の数によらず対応付けを行える。

【0102】

図８（ａ）に、フレームの対応付けに使用するテーブルの例（その２）を示す。

【0103】

横軸は、１つ目の映像（映像１）のフレーム番号とそれぞれのカメラ位置（ＯＣＲ読み取り値）を示し、縦軸は、２つ目の映像（映像２）のフレーム番号とそれぞれのカメラ位置（ＯＣＲ読み取り値）を示す。

【0104】

（手順１）
まず、各映像でカメラ４の折り返し地点を映像中から求める。折り返し地点を求めるためには、ＯＣＲ読み取り値の最大値を求めるとともに、カメラ４の動きが止まる場所をカメラ位置・動き検知部２０の検知結果から求める。図６では映像１も映像２も３．０ｍがＯＣＲ読み取り値の最大値であるため、映像１ではＯＣＲ値が３．０ｍとなる７フレーム目を折り返し地点に、映像２では同様にＯＣＲ値が３．０ｍとなる５フレーム目を折り返し地点とする。

【0105】

（手順２）
映像１・映像２の先頭で基準の０．０ｍとなるフレームをそれぞれＦＡ・ＦＢと設定する。図６の例でも初期値はいずれも０．０ｍとなるためＦＡ＝１、ＦＢ＝１となる。

【0106】

また往路と復路でＯＣＲ読み取り値の増分方向が異なるため、まずは往路モード（ＯＣＲ値が増加する方向）で処理を進める。

【0107】

（手順３）
ＦＡ／ＦＢのフレームの画像におけるＯＣＲ読み取り値をそれぞれＯＣＲ（ＦＡ）／ＯＣＲ（ＦＢ）として比較する。

【0108】

・ＯＣＲ（ＦＡ）＝ＯＣＲ（ＦＢ）の場合：ＦＡとＦＢともに１フレーム加算する。

【0109】

・ＯＣＲ（ＦＡ）＞ＯＣＲ（ＦＢ）の場合：ＦＡはそのまま、ＦＢは１フレーム加算する。

【0110】

・ＯＣＲ（ＦＡ）＜ＯＣＲ（ＦＢ）の場合：ＦＡは１フレーム加算、ＦＢはそのままとする。

【0111】

このようにすることでＯＣＲ読み取り値が常に同じ値となるように１つ目と２つ目のフレームを対応付けできる。この処理をＦＡもＦＢも折り返し地点に到達するまで繰り返す。

【0112】

以下に、図８（ａ）のテーブルに基づく具体的な処理例を示す。

【0113】

テーブル内で「スタート」と記されたＦＡ＝１，ＦＢ＝１の位置から開始する
次に、ＦＡ（ｆｒａｍｅ＝１）の読み取り値＝０．０ｍ、ＦＢ（ｆｒａｍｅ＝１）の読み取り値＝０．０ｍであるため、ＦＡとＦＢそれぞれ１フレーム加算し、ＦＡ＝２、ＦＢ＝８として対応付ける（テーブル内の（２））。

【0114】

次に、ＦＡ（ｆｒａｍｅ＝２）の読み取り値＝１．０ｍ、ＦＢ（ｆｒａｍｅ＝２）の読み取り値＝１．０ｍであるため、同じくＦＡとＦＢそれぞれ１フレーム加算し、ＦＡ＝３、ＦＢ＝３として対応付ける（テーブル内の（３））。

【0115】

次に、ＦＡ（ｆｒａｍｅ＝３）の読み取り値＝１．０ｍ、ＦＢ（ｆｒａｍｅ＝３）の読み取り値＝１．０ｍであるため、同じくＦＡとＦＢそれぞれ１フレーム加算し、ＦＡ＝４、ＦＢ＝４として対応付ける（テーブル内の（４））。

【0116】

次に、ＦＡ（ｆｒａｍｅ＝４）の読み取り値＝２．０ｍ、ＦＢ（ｆｒａｍｅ＝４）の読み取り値＝２．０ｍであるため、同じくＦＡとＦＢそれぞれ１フレーム加算し、ＦＡ＝５、ＦＢ＝５として対応付ける（テーブル内の（５））。

【0117】

次に、ＦＡ（ｆｒａｍｅ＝５）の読み取り値＝３．０ｍ、ＦＢ（ｆｒａｍｅ＝５）の読み取り値＝２．０ｍであるため、ＦＢのみ１フレーム加算し、ＦＡ＝５、ＦＢ＝６として対応付ける（テーブル内の（６））。

【0118】

最後に、ＦＡ（ｆｒａｍｅ＝５）の読み取り値＝３．０ｍ、ＦＢ（ｆｒａｍｅ＝６）の読み取り値＝２．０ｍであるため、ＦＢのみ１フレーム加算し、ＦＡ＝５、ＦＢ＝７として対応付ける（テーブル内の（７））。

【0119】

ここで、ＦＡもＦＢも折り返し地点に到達したため、対応付け処理を復路用に切り替える。

【0120】

（手順４）
次に、往路モードでは往路と逆でＯＣＲ値が小さくなる方向で位置合わせしながらフレームを進める。

【0121】

・ＯＣＲ（ＦＡ）＝ＯＣＲ（ＦＢ）の場合：ＦＡとＦＢともに１フレーム加算する。

【0122】

・ＯＣＲ（ＦＡ）＞ＯＣＲ（ＦＢ）の場合：ＦＡは１フレーム加算、ＦＢはそのままとする。

【0123】

・ＣＲ（ＦＡ）＜ＯＣＲ（ＦＢ）の場合：ＦＡはそのまま、ＦＢは１フレーム加算する。

【0124】

（手順５）
対応付けた結果を映像位置合わせ情報としてテーブルで管理する。

【0125】

（手順６）
次に、図８（ａ）のテーブルを用いてフレームを対応付けした結果を、別のテーブルにまとめて管理する。

【0126】

図８（ｂ）に、図８（ａ）のテーブルを用いてフレームを対応付けした結果をまとめたテーブルの例を示す。

【0127】

図８（ｂ）は、映像１・映像２のいずれからも対応付けられたフレームを確認することが可能なテーブルの例である。横軸は、図８（ａ）の場合と同様に、映像１のフレーム番号とそれぞれのカメラ位置（ＯＣＲ読み取り値）を示す。

【0128】

縦軸には、映像２のフレーム番号の項目のみが設けられている。ここの行には、映像１のフレーム番号１～１１に対応する、映像２のフレーム番号が、対応付けの結果と共に記載されている。

【0129】

ここでは、１つ目の映像（映像１）を基準として２つ目の映像（映像２）を対応付けたテーブルの例を示しているが、映像が３本以上ある場合は、図８（ｂ）の行方向に３つ目の映像のフレーム番号や４つ目の映像のフレーム番号の情報を追加して管理すれば、映像の数によらず対応付けを行える。

【0130】

図８（ｂ）のようなテーブルを管理しておくことで、複数の映像のいずれからも対応付けられたフレームを即座に特定することができる。

【0131】

・３次元情報取得部６０
３次元情報取得部６０は、前述したように、映像入力部１０により入力された映像から３次元情報を復元する。例えば単眼カメラで撮影された２次元の映像から、３次元情報を求める技術は多く開発されている。

【0132】

例えば、以下の参考文献の技術を使うことで実現ができる。

【0133】

・参考文献３
Masako Kashiwagiほか,“Deep Depth From Aberration Map”,Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), 2019, pp. 4070-4079（https://openaccess.thecvf.com/content_ICCV_2019/html/Kashiwagi_Deep_Depth_From_Aberration_Map_ICCV_2019_paper.html）
・参考文献４
N. Mishima et al., “Absolute Scale from Varifocal Monocular Camera > through SfM and Defocus Combined,” BMVC, 2021.（https://www.bmvc2021-virtualconference.com/assets/papers/0287.pdf）
これらの技術によって得られる３次元情報として、映像中の各フレームの静止画に対し、各画素のカメラからの距離値を付与するＲＧＢ－Ｄ（ＲＧＢの色情報と距離値）を管理する方法でもよいし、それらの情報を３次元点群情報として管理してもよい。どちらも管内の所定の場所の色情報（ＲＧＢ値）と、３次元的な距離情報（相対的な位置関係）を保持することができる。求めた３次元情報は、情報管理部７０にて管理される。

【0134】

・情報管理部７０
情報管理部７０は、前述したように、カメラ位置・動き検知部２０、異常検知部３０、統合判定部４０、映像位置合わせ部５０、および３次元情報取得部６０のそれぞれから供給される各種の情報を管理することで、出力処理部８０における各種の画面表示やＵＩ機能の実現を可能にする。

【0135】

情報管理部７０は、カメラ位置・動き検知部２０より得られる情報として、各フレーム単位でＯＣＲ読み取り値（カメラ位置）などを、例えばテーブル形式で管理する。

【0136】

また、情報管理部７０は、異常検知部３０および統合判定部４０より得られる情報として、検知対象毎の異常検知結果および映像全体で１つの総合判定結果などを管理する。この場合、フレーム単位で、入力画像と処理結果画像（画素単位で異常の有無が表示される画像）および各異常に対するランク判定結果を、テーブル形式で管理する。

【0137】

また、情報管理部７０は、映像位置合わせ部５０より得られる情報として、映像の位置合わせ結果などを管理する。映像の位置合わせ結果は、指定された映像の数によって変わる。１つの映像の場合は、往路と復路の対応付けのみとなる。２本以上の映像の場合は、各映像内における往路・復路との対応付けと、映像間の対応付けの両方となる。

【0138】

また、情報管理部７０は、３次元情報取得部６０より得られる情報として、３次元情報などを管理する。３次元情報の例としては、各フレームのＲＧＢＤ値や、水道管全体の３次元点群情報が挙げられる。

【0139】

・出力処理部８０
出力処理部８０は、前述したように、利用者の操作を受け付け、利用者の操作に応じて情報管理部７０で管理される各種の情報を表示装置に出力する。

【0140】

例えば、出力処理部８０は、映像位置合わせ部５０で位置合わせの行われた複数の映像または複数の映像部分を、比較できるように並べて表示装置に表示させる機能を有する。

【0141】

また、出力処理部８０は、複数の映像部分として、カメラ４が管内の往路を移動して撮影した往路の映像部分と、往路と逆方向の復路を移動して撮影した復路の映像部分とを、比較できるように並べて表示装置に表示させる機能を有する。

【0142】

また、出力処理部８０は、往路の映像部分と復路の映像部分のそれぞれに含まれる個々の画像の中から、それぞれ代表として選択される１つ以上の代表画像であって、撮影時刻が異なり撮影位置が同じである代表画像どうしを、比較できるように並べて表示させる機能を有する。

【0143】

また、出力処理部８０は、複数の映像として、同一の管で異なる撮影時間帯に撮影された複数の映像を、比較できるように並べて表示装置に表示させる機能を有する。

【0144】

また、出力処理部８０は、同一の管で異なる撮影時間帯に撮影された複数の映像のそれぞれに含まれる個々の画像の中から、それぞれ代表として選択される１つ以上の代表画像であって、撮影時刻が異なり撮影位置が同じである代表画像どうしを、比較できるように並べて表示させる機能を有する。

【0145】

また、出力処理部８０は、３次元情報取得部６０が管内の映像から得る３次元情報をもとに、利用者が画像上で指定する対象物の長さ・面積・体積のいずれか少なくとも一つを計測して、計測結果を表示する機能を有する。

【0146】

また、出力処理部８０は、利用者が対象物の計測範囲を指定することを可能にする画像を表示する機能を有する。

【0147】

また、出力処理部８０は、利用者が対象物の計測範囲を指定することを可能にする上記３次元情報に基づく画像を表示する機能を有する。

【0148】

出力処理部８０は、入力された映像、異常検知結果を比較しながら効率よく異常の内容を確認できる画面のほか、映像の一覧管理や、映像を比較表示する画面、映像の各種計測を行う画面など表示することが可能である。

【0149】

出力処理部８０の機能を搭載可能なハードウェアの構成としては、例えばパーソナルコンピュータ（ＰＣ）と液晶ディスプレイ等の表示機器から構成されていてもよく、その場合、ＰＣ内に映像入力部１０で撮影された映像、属性情報入力部１１で入力された属性情報、異常検知部３０・統合判定部４０で検知・判定された結果を管理し、操作に応じて必要な画面をディスプレイ上に表示する。表示するデバイスは代表的な液晶ディスプレイを例に挙げるが、タブレットやスマートフォンでもよく、液晶と異なる方式のディスプレイでも同様に実現可能である。また、画面の操作や領域の指定、再生や停止等の制御をするための操作を可能にするため、マウスやタッチパネル等の画面操作用ＵＩを有する。文字入力やショートカットキーによる操作効率化のためのキーボードも併せて接続してもよい。

【0150】

（各種の表示画面）
本実施形態では、表示される画面として以下の８種類の画面から構成される例を示す。

【0151】

図９に、出力処理部８０に備えられる各種の機能により実現される画面の遷移の一例を示す。

【0152】

基本的な画像の構成として以下の８種類の例を示すが、画面をより細かく分割してもよいし、統合してより少ない画面で構成しても同様の機能が実現可能である。また、画面遷移の際には別ウィンドウを開いてもよいし、同じウィンドウの画面のレイアウト変更を行ってもよい。

【0153】

出力処理部８０は、以下に示す各種の表示画面を表示装置に表示させる処理やその他作業者の入力操作に応じた各種の処理を行う。

【0154】

１）複数の映像を入力して一覧として管理する映像リスト画面５１Ａ
２）映像に対し入力映像と異常検知結果（映像解析結果）を表示する映像解析結果確認画面５２Ａ
３）映像解析結果確認画面５２Ａで表示されている映像に対し往路・復路に対応付けられた各映像を並べて表示し、各映像を再生しながら比較することができる往路復路比較画面５３Ａ
４）映像解析結果確認画面５２Ａで表示されている映像に対し往路・復路に対応付けられた各映像の代表画像を並べて表示し、各映像の代表画像を比較することができる往路復路比較リスト画面５３Ａ’
５）少なくとも２つ選択された撮影時間帯の異なる映像を並べて表示し、映像を再生しながら比較することができる差分比較画面５４Ａ
６）少なくとも２つ選択された撮影時間帯の異なる映像の代表画像を並べて表示し、代表画像を比較することができる差分比較リスト画面５４Ａ’
７）指定された映像の画面表示された画像において、画像中にある対象物の長さ・面積・体積を計測できる２Ｄ計測画面５５Ａ
８）指定された映像の画面表示された画像において、表示された画像に対応付けられた３次元点群を表示して、画像中にある対象物の長さ・面積・体積を計測できる３Ｄ計測画面５６Ａ
出力処理部８０は、上で述べた表示画面以外の画面も、操作に応じて適宜表示させることができる。

【0155】

（画面遷移の概要）
本実施形態では、システムやプログラムの起動時は映像リスト画面５１Ａが表示される。映像リスト画面５１Ａでは、調査用の映像の一覧が表示され、この画面で編集・検索・追加・削除などが可能である。映像リストの中から映像を１つ選択した状態で、後述する「映像解析画面へ」を押すことで映像解析結果確認画面５２Ａを開くことができる。また、複数の映像を選択した状態から、後述する「差分比較画面へ」や「差分比較リスト画面へ」を押すことでそれぞれ差分比較画面５４Ａや差分比較リスト画面５４Ａ’を開くことができる。また、映像解析結果確認画面５２Ａにおいては、後述する「往路復路比較表示」ボタンや「往路復路比較リスト表示」ボタンを押すことでそれぞれ往路復路比較画面５３Ａや往路復路比較リスト画面５３Ａ’を開くことができ、後述する「２Ｄ計測」ボタンや「３Ｄ計測」ボタンを押すことでそれぞれ２Ｄ計測画面５５Ａや３Ｄ計測画面５６Ａを開くことができる。

【0156】

（各種の表示画面の構成）
図９に示される映像リスト画面５１Ａには、映像リスト５１ａ、映像ファイル情報５１ｂ、ステータス情報５１ｃ、解析実行ボタン５１ｄ、映像解析結果確認表示ボタン５１ｅ、レポート表示ボタン５１ｆ、差分比較表示ボタン５１ｇ、差分比較リスト表示ボタン５１ｈなどが表示される。

【0157】

また、映像解析結果確認画面５２Ａには、入力映像５２ａ、処理結果映像５２ｂ、タイムバー５２ｃ、異常種別情報５２ｄ、部分判定バー５２ｅ、キャプチャアイコン領域５２ｆ、映像再生機能５２ｇ、画面拡大ボタン５２ｈ，５２ｉ、キャプチャ実行ボタン５２ｊ，５２ｋ、総合判定結果情報５２ｌ、部分判定結果情報５２ｍ、カラー切替ボタン５２ｎ、サムネイル表示領域５２ｏ、レポート表示ボタン５２ｐ、２Ｄ計測ボタン５２ｒ、３Ｄ計測ボタン５２ｓ、往路復路比較表示ボタン５２ｔ、往路復路比較リスト表示ボタン５２ｕなどが表示される。

【0158】

往路復路比較画面５３Ａには、往路側の映像５３ａ、復路側の映像５３ｂなどが表示される。

【0159】

往路復路比較リスト画面５３Ａ’には、往路代表画像リスト５３ａ’、復路代表画像リスト５３ｂ’などが表示される。

【0160】

差分比較画面５４Ａには、比較対象とする複数の映像５４ａ，５４ｂ、映像ファイル情報５４ｃ、タイムバー５４ｄ、映像再生機能５４ｅ、スナップショット表示領域５４ｆ、スナップショット実行ボタン５４ｇ、レポート表示ボタン５４ｈ、映像位置合わせ表示再生用チェックボックス５４ｉ、映像位置合わせ表示再生機能５４ｊなどが表示される。

【0161】

差分比較リスト画面５４Ａ’には、日付の異なる複数の代表画像リスト５４ａ’などが表示される。

【0162】

２Ｄ計測画面５５Ａには、２Ｄ映像５５ａ、計測結果表示領域５５ｂ、計測モード表示領域５５ｃなどが表示される。

【0163】

３Ｄ計測画面５６Ａには、３Ｄ映像５６ａ、計測結果表示領域５６ｂ、操作モード表示領域５６ｃ、計測モード情報５６ｄなどが表示される。

【0164】

なお、これらの画面に表示される個々の情報の詳細については後で説明する。

【0165】

（各種の画面の詳細）
以下、図１０～図１８を参照しながら、映像リスト画面５１Ａ、映像解析結果確認画面５２Ａ、往路復路比較画面５３Ａ、往路復路比較リスト画面５３Ａ’、差分比較画面５４Ａ、差分比較リスト画面５４Ａ’、２Ｄ計測画面５５Ａ、および３Ｄ計測画面５６Ａの詳細を説明する。

【0166】

なお、図１０～図１８にそれぞれ示す画面の例は一例であって、その例に限定されるものではない。図１０～図１８に表示される個々の情報は適宜、追加・変更・削除してもよい。

【0167】

（映像リスト画面５１Ａ）
図１０に、映像リスト画面５１Ａの一例を示す。

【0168】

映像リスト画面５１Ａでは、映像リスト５１ａが表示される。映像リスト５１ａにおいては、個々の映像が、映像ファイル情報５１ｂという単位で管理される。映像ファイル情報５１ｂで管理される個々の映像は、ファイル形式の映像データ（映像ファイル）として扱われる。

【0169】

例えば画面右上にある「データ取込」と記されたボタンを押す（例えば入力装置によるクリックまたはタップをする）ことにより、記憶装置に既に記憶されている複数の映像データ（映像ファイル）のうち、映像リスト５１ａに追加したい映像ファイルを指定して、指定した映像ファイルの情報を映像リスト５１ａに追加することが可能になる。例えば「データ取込」と記されたボタンを押したときに、別のウィンドウが表示され、そのウィンドウの中で所望の映像ファイルを指定できるようにしてもよい。当該ウィンドウでは、キーワード（例えば、具体的な撮影日時、撮影場所など）を入力して絞り込みを行うことで所望の映像ファイルを指定できるようにしてもよいし、複数用意される選択肢（すなわち、複数の映像ファイル）の中から所望の映像ファイルを指定できるようにしてもよい。

【0170】

作業者が映像リスト５１ａに追加したい映像ファイルを指定すると、記憶装置に既に記憶されている複数の映像ファイルの中から、指定された映像ファイルが読み出され、映像リスト５１ａ内にその映像ファイルの情報が取り込まれて追加される。

【0171】

本例では、映像ファイルを指定することで記憶装置からその映像ファイルの情報を映像リスト５１ａ内に取り込む例を示しているが、別の端末からネットワーク経由で映像ファイルの情報を転送（アップロード）することで映像リスト５１ａ内への取り込みを行ってもよいし、映像ファイルが記憶されているメモリカードなどのメディアをカードリーダなどに差し込むことによってそのメディアから映像ファイルの情報を読み出して映像リスト５１ａ内に取り込むようにしてもよい。

【0172】

映像リスト５１ａに追加される映像ファイルには、映像に付随する情報（属性情報）が含まれていてもよい。また、属性情報は映像ファイルに含まれていてもよいが、属性情報を別のファイル（属性ファイル）に保管し、属性ファイルを映像ファイルと関連付けて管理するようにしてもよい。その場合、映像ファイルを指定したときに、その映像ファイルの情報とともに関連する属性ファイルの情報が映像リスト５１ａ内に取り込まれるようにしてもよい。このとき、映像ファイルの情報と属性ファイルの情報とがまとめられ、１つのファイルの情報として映像リスト５１ａ内に追加されるようにしてもよい。

【0173】

各映像ファイル情報５１ｂにおいて表示される情報は、対応する映像に関連する情報を含む。ここには、当該映像に付随する属性情報が含まれてもよい。また、映像ファイル情報５１ｂの内容は、後述するように作業者が自由に編集することができる。

【0174】

本例では、各映像ファイル情報５１ｂが、リスト（表）形式で一覧表示される例を示しているが、この例に限定されるものではない。例えば、アイコンが並ぶ形式で各映像ファイル情報５１ｂが表示されるようにしてもよい。

【0175】

図１０の例では、映像リスト５１ａは、１つの映像につき映像ファイル情報５１ｂを１行で表示している。映像リスト５１ａに表示される項目は、各映像ファイル情報５１ｂで管理される映像ファイルのファイル名・撮影日時（撮影時間帯）・撮影場所・管の情報（口径・材質など）・敷設年度などを含む。これらの中には属性情報に相当するものが含まれてもよい。なお、列の方向に並ぶNo.の数字は、数字に限らず、アルファベットや記号など、映像を識別できる情報であればどんなものでもよい。

【0176】

映像ファイル情報５１ｂにおいては、各項目の内容を作業者が直接編集できるようにしてもよいし、編集対象となる映像ファイル情報５１ｂを選択し、かつ、例えば「情報入力」と記されたボタンを押した場合にのみ、編集を行えるようにしてもよい。また、編集においては、文字等の入力を行えるようにしてもよいし、予め用意された複数の選択肢の中から１つを選択できる（例えば、管の口径（cm）では、選択肢「100」，「150」，「200」等の中から１つを選択できる）ようにしてもよい。

【0177】

また、画面上部には、映像ファイルの検索に使用できる各種のコントロール（撮影場所、撮影日時、フリーキーワード等の条件の指定を可能とするコントロール）が配置されている。これらコントロールで具体的な撮影場所、撮影日時などの条件を指定した上で、「検索」と記されたボタンを押すと、条件に合致した映像ファイルの情報が映像ファイル情報５１ｂとして映像リスト５１ａに表示される。

【0178】

例えば、撮影場所を指定した場合に、撮影場所が同じで撮影日時が異なる複数の映像ファイル情報５１ｂが表示されれば、作業者はそれらを比較することが可能になる。また、撮影日時を指定した場合に、撮影日時が同じで撮影場所が異なる複数の映像ファイル情報５１ｂが表示されれば、作業者はそれらを比較することが可能になる。

【0179】

なお、映像ファイルの検索を行う際に、上記コントロールを使用する代わりに、別のウィンドウを開けるようにし、そのウィンドウで条件を指定して検索を行えるようにしてもよい。その場合、複数の選択肢の中から１つを選択できるようにしてもよいし、キーワードを入力して検索を行えるようにしてもよい。

【0180】

また、画面右側に示されるように、各映像の処理の状態を示す項目として、映像ファイル情報５１ｂ毎にステータス情報５１ｃが表示されてもよい。ステータス情報５１ｃには、映像解析が済んでいない未解析の状態であれば「未解析」、映像解析が済んでいる解析済の状態（但し、レポートは未作成の状態）であれば「解析済」、解析済で且つレポートが作成済の状態であれば、「レポート作成済」といった３種類のステータスのいずれかが表示される。また、このようなステータスを検索の対象に含めて検索を行えるようにしてもよい。

【0181】

ステータスが「解析済」の場合は、総合判定結果に示される異常レベル（例えば、「Ｓ」、「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」のいずれか）が項目の１つとして表示されてもよい。

【0182】

ステータスが「未解析」の場合は、解析対象の映像を選択して解析実行ボタン５１ｄを押すことにより、映像解析を実施することができる。映像解析が完了して映像解析結果が生成されると、ステータスが「解析済」に変わる。

【0183】

また、画面右下には、映像解析結果確認表示ボタン５１ｅ、レポート表示ボタン５１ｆ、差分比較表示ボタン５１ｇがある。

【0184】

ステータスが「未解析」の１つの映像ファイル情報５１ｂを選択した状態で、例えば「映像解析結果へ」と記された映像解析結果確認表示ボタン５１ｅを押すことにより、対応する映像の映像解析結果確認画面５２Ａを開くことができる。映像解析結果確認表示ボタン５１ｅを押す操作でなく、リストのダブルクリック（ダブルタップ）等で開けるようにしてもよい。ステータス表示が「解析済」となっていることが前提であるが、未解析の状態で映像解析結果確認表示ボタン５１ｅを押した場合は、例えば「まだ映像解析をしていません」旨のメッセージを表示して映像解析の実行を作業者に促すようにしてもよい。

【0185】

また、ステータスが「レポート作成済」の１つの映像ファイル情報５１ｂを選択した状態で、例えば「レポート画面へ」と記されたレポート表示ボタン５１ｆを押すことにより、レポートの作成が可能なレポート画面を直接開くことができる。

【0186】

また、２つの映像ファイル情報５１ｂを選択した状態で、例えば「差分比較画面へ」と記された差分比較表示ボタン５１ｇを押すことにより、対応する２つの映像が並べられた差分比較画面５４Ａを開くことができる。

【0187】

また、複数の日付の異なる映像ファイル情報５１ｂを選択した状態で、例えば「差分比較リスト画面へ」と記された差分比較リスト表示ボタン５１ｈを押すことにより、対応する複数の日付の異なる代表画像が並べられた差分比較リスト画面５４Ａ’を開くことができる。

【0188】

なお、画面のレイアウトやウィンドウを別に開くかどうかなどは、設計上の事項であり、適宜変更して実施しても構わない。このことは、後述する各種の表示画面についても同じことが言える。

【0189】

（映像解析結果確認画面５２Ａ）
図１１に、映像解析結果確認画面５２Ａの一例を示す。

【0190】

映像解析結果確認画面５２Ａには、入力映像５２ａおよび処理結果映像５２ｂが比較しやすいように並んで表示される。入力映像５２ａには、映像リスト画面５１Ａにおいて指定された映像の例えば１フレーム分の画像が表示される。処理結果映像５２ｂには、その画像に対して映像解析を行った処理結果が重畳された画像が表示される。具体的には、異常を示す領域に、色付けがされた状態で表示される。

【0191】

より具体的には、異常を示す領域に、検知対象としている異常種別（ここでは、「錆」、「堆積物」、「内面付着」、「異物付着」、「内面防食」、「浮遊物」）ごとに異なる色が色塗された状態で表示される。

【0192】

色塗表示には、異常種別を識別できるように異常種別毎に異なる色（ここでは、「錆」には桃色、「堆積物」には緑色、「内面付着」には紫色、「異物付着」には柿色、「内面防食」には青色、「浮遊物」には水色）が適用される第１のモードと、異常レベルを識別できるように異常レベル毎に異なる色（ここでは、「Ａ」には緑色、「Ｂ」には黄緑色、「Ｃ」には橙色、「Ｄ」には赤茶色、「Ｓ」には色塗せず）が適用される第２のモードとが用意されており、いずれか一方のモードを後述するカラー切替ボタン５２ｎで選択できるようになっている。

【0193】

図１１の例では、処理結果映像５２ｂにおいて、錆が検出された部分に、部分判定結果の異常レベルＤを示す赤茶色が色塗された例が示されている。

【0194】

なお、本例では、異常種別の違いや異常レベルの違いを、色の違いで表現する場合を例示するが、この例に限定されるものではない。例えば、色の違いの代わりに、色のトーンの違い、色の透過度の違い等で表現してもよい。

【0195】

入力映像５２ａおよび処理結果映像５２ｂの下側には、タイムバー５２ｃがある。タイムバー５２ｃは、カメラ４による撮影を開始してから終了するまでの映像の撮影時刻と管内の長手方向のカメラ位置との関係を示すグラフを含む。

【0196】

図１２に、タイムバー５２ｃの例を拡大して示す。タイムバー５２ｃ内のグラフでは、横軸に映像の撮影時刻、縦軸にカメラ位置をとり、グラフ中にカメラ４の動きＴが示される。また、入力映像５２ａおよび処理結果映像５２ｂにおいて表示される映像の時間軸上の位置と管内の長手方向のカメラ位置との関係が、縦長のポインターＰが示される。タイムバー５２ｃの下には、映像中の各フレームに対しカメラ位置・動き検知部２０から求められるカメラ位置の情報を表示する。図１２の例では、縦軸を示すカメラ位置は上端が０ｍで、下に向かうほどカメラが管の奥に進んだ状態となる。このグラフから、表示される映像のカメラ位置を確認できるだけでなく、カメラの動きやカメラが往路なのか復路なのかも確認することができる。

【0197】

ポインターＰをドラッグ操作などにより左右に動かせば、それに連動して入力映像５２ａおよび処理結果映像５２ｂも変化するようになっている。例えばポインターＰを左右に移動させることにより、映像の任意の撮影時刻もしくは任意のカメラ位置のフレーム（画像）を探し（シークし）、任意の撮影時刻もしくは任意のカメラ位置の画像を入力映像５２ａおよび処理結果映像５２ｂに表示させることができる。このとき入力映像５２ａおよび処理結果映像５２ｂの中の右上には、カメラ位置を示す情報が表示される。撮影時刻も併せて表示されるようにしてもよい。

【0198】

タイムバー５２ｃの下側には、異常種別情報５２ｄと部分判定バー５２ｅがある。図１１の例では、異常種別情報５２ｄにおいて、上から順に「錆」、「堆積物」、「内面付着」、「異物付着」、「内面防食」が配列され、それぞれの色が定義されている（但し、「浮遊物」の図示は省略されている）。この配列に対応するように、部分判定バー５２ｅ内には、「錆」、「堆積物」、「内面付着」、「異物付着」、「内面防食」に対応する複数のバーが配置されている。これら異常種別毎に配置された複数のバーは、それぞれ、異常が表われる時間軸上の位置において、異常レベル毎に異なる色で色塗されている。上述した縦長のポインターＰは、部分判定バー５２ｅ内においても、左右に移動するようになっている。

【0199】

図１１の例では、ポインターＰが、「錆」に対応するバーにかかり、そのバーが赤茶色で表示されていることから、その映像時刻・カメラ位置における「錆」の異常レベルが「Ｄ」であることがわかる。

【0200】

よって、作業者はタイムバー５２ｃ、異常種別情報５２ｄ、部分判定バー５２ｅおよびポインターＰを参照することで、映像中におけるどの撮影時刻・カメラ位置のフレーム（画像）においてどの異常がどの異常レベルにて発生しているかを容易に把握できる。さらに作業者は、ポインターＰをドラッグ操作などにより移動させることで、任意の撮影時刻・カメラ位置のフレーム（画像）を入力映像５２ａおよび処理結果映像５２ｂに表示させ、異常の状況を視認することができる。

【0201】

部分判定バー５２ｅの下側には映像再生機能５２ｇがある。映像再生機能５２ｇには、映像再生に関する各種のコントロールボタンが用意されており、作業者はこれらのボタンを操作することで、入力映像５２ａおよび処理結果映像５２ｂの再生・停止・早送り・巻き戻し・コマ送り・コマ戻しを行えるようになっている。上述したポインターＰは、映像の再生・停止・早送り・巻き戻し・コマ送り・コマ戻しに応じて左右に動く。

【0202】

入力映像５２ａおよび処理結果映像５２ｂの上側には、総合判定結果情報５２ｌおよび部分判定結果情報５２ｍがある。総合判定結果情報５２ｌは、映像全体としての異常レベルを示す総合判定結果の情報である。部分判定結果情報５２ｍは、異常種別毎に、異常ランクの表示を行うか否かの選択を行うことを可能にするとともに、選択した異常種別について処理結果映像５２ｂ中の該当する領域に色付けがされるようにすることを可能にする情報である。

【0203】

画面拡大ボタン５２ｈ，５２ｉは、それぞれ、押す操作を行うごとに、対応する映像が拡大した状態と通常の大きさの状態とが切り替えられる。例えば入力映像５２ａと処理結果映像５２ｂのうち、入力映像５２ａをより詳細に確認したい場合、画面拡大ボタン５２ｈを押すと、入力映像５２ａが拡大された状態で表示される。一方、入力映像５２ａと処理結果映像５２ｂのうち、処理結果映像５２ｂをより詳細に確認したい場合、画面拡大ボタン５２ｉを押すと、処理結果映像５２ｂが拡大された状態で表示される。

【0204】

キャプチャ実行ボタン５２ｊ，５２ｋは、入力映像５２ａまたは処理結果映像５２ｂから、現在表示されている画像をキャプチャして所定の記憶領域に保管するとともにその画像を小さくして例えばサムネイル画像として図１１に示される画面右側のサムネイル表示領域５２ｏに表示させることを可能にするボタンである。

【0205】

例えば映像５２ａ，５２ｂにおける代表的な異常が見られる画像（フレーム）をあとで改めて確認したい場合、キャプチャ実行ボタン５２ｊ，５２ｋを押すことにより、当該画像をキャプチャし、キャプチャした画像を記憶装置に記録しておき、あとでその画像を確認することができる。

【0206】

キャプチャ実行ボタン５２ｊ，５２ｋを押したときには、現在表示されている画像がキャプチャされ、キャプチャされた画像と、その画像に含まれる異常種別、各異常種別に対する異常レベル、カメラ位置、撮影時刻などの情報（対応する映像解析結果の情報を含む）とが関連付けられた状態で、また、記憶装置に記録されるとともに、図１１に示される画面右側のサムネイル表示領域５２ｏに追加される。

【0207】

サムネイル表示領域５２ｏに追加されて表示されるものは、サムネイル画像と、それに関する異常種別、各異常種別に対する異常レベル、カメラ位置、撮影時刻を示す情報の少なくとも１つとを含む。

【0208】

サムネイル表示領域５２ｏに複数のサムネイル画像がある場合、それらは見やすくなるように一覧表示される。サムネイル表示領域５２ｏの中に、同一の映像で異なる時刻に撮影された画像が複数表示される場合、各画像が時刻順に並べられるようにしてもよいし、キャプチャした順に並べられるようにしてもよいし、撮影したときのカメラ位置の順に並べられるようにしてもよい。サムネイル画像の並びは作業者が自由に変えられるようにしてもよい。その場合、サムネイル表示領域５２ｏなどに各種のソートを自由に行える機能が設けられてもよい。そのようにすると、作業者はサムネイル画像の並びを所望の順に並び替えることができ、使い勝手のよいものとすることができる。

【0209】

キャプチャ実行ボタン５２ｊまたは５２ｋが押されることで、映像中のある画像のキャプチャされた場合、当該画像がキャプチャ済みであることを示すキャプチャアイコンが、図１１中の部分判定バー５２ｅの下にあるキャプチャアイコン領域５２ｆの中にマークや記号などとして表示される。当該画像のキャプチャアイコンが表示される位置は、当該画像が撮影された時刻を示している。キャプチャアイコンの上側には、例えば部分判定バー５２ｅ上を通ってタイムバー５２ｃの方へ向けて縦に延びる棒状の線が同時に表示される。タイムバー５２ｃ内のグラフの横軸は、映像の撮影時刻を示しているため、当該棒状の線およびキャプチャアイコンの位置から、キャプチャを行った画像の撮影時刻を把握することができるとともに、部分判定バー５２ｅの各バーから、当該画像にどのような異常種別が含まれ、各異常種別がどのような異常レベルを示しているのかを把握することができる。

【0210】

また、映像再生機能５２ｇには、作業者がキャプチャアイコン領域５２ｆの中のキャプチャアイコン及び棒状の線と、ポインターＰとを参照しながら、キャプチャされた複数のフレーム（画像）をスキップさせることを可能にする機能が備えられている。

【0211】

また、映像再生機能５２ｇは、再生・停止・早送り・巻き戻しに対応したボタンを含むことに加え、キャプチャしたフレーム（画像）をスキップさせるボタンをさらに含み、これらのボタンは、それぞれ、押されるたびに、キャプチャされた複数のフレーム（画像）を早送りの方向または巻き戻しの方向にスキップさせる。

【0212】

また、映像解析結果確認画面５２Ａには、２Ｄ計測ボタン５２ｒ、３Ｄ計測ボタン５２ｓ、往路復路比較表示ボタン５２ｔ、往路復路比較リスト表示ボタン５２ｕが配置されている。

【0213】

往路復路比較表示ボタン５２ｔを押すと、現在表示している画像（フレーム）を基準として、映像位置合わせ部５０において対応付けた往路側・復路側の同一地点の画像を並べて比較表示する往路復路比較画面５３Ａが開かれる。また、往路復路比較リスト表示ボタン５２ｕを押すと、往路の代表画像および復路の代表画像を含む往路復路比較リスト画面５３Ａ’が開かれる。

【0214】

また、２Ｄ計測ボタン５２ｒや３Ｄ計測ボタン５２ｓを押すと、映像解析結果確認画面５２Ａで表示されている映像に対し、長さ・面積・体積を計測するための計測用画面として２Ｄ計測画面５５Ａや３Ｄ計測画面５６Ａが開かれる。

【0215】

（往路復路比較画面５３Ａ）
図１３に、往路復路比較画面５３Ａの一例を示す。

【0216】

往路復路比較画面５３Ａでは、同一の映像の行きと帰りの位置合わせ表示を行うことができる。

【0217】

往路復路比較画面５３Ａには、比較対象とする往路側の映像５３ａおよび復路側の映像５３ｂのほか、往路側の映像５３ａおよび復路側の映像５３ｂのそれぞれに対応する、映像ファイル情報５３ｃ、タイムバー５３ｄ、映像再生機能（再生コントロール）５３ｅなどが表示される。タイムバー５３ｄおよび映像再生機能（再生コントロール）５３ｅは、前述した映像解析結果確認画面５２Ａ内のタイムバー５２ｃおよび映像再生機能５２ｇと同等の機能を有するものである。

【0218】

図１３に示されるように、左側に往路側の映像５３ａ、右側に復路側の映像５３ｂが並んで表示され、それぞれの映像の下に再生コントロール５３ｅが配置される。

【0219】

事前に映像位置合わせ部５０において往路側の映像５３ａおよび復路側の映像５３ｂのそれぞれに対応付けられたフレームが存在するため、例えば再生コントロール５３ｅを左側の往路表示側で再生した時は、往路側の映像５３ａのフレームが表示されると同時に、往路側の映像５３ａフレームに対応付けられた復路側の映像５３ｂのフレームが表示される。

【0220】

また、再生コントロール５３ｅを右側の復路表示側で再生した時は、復路側の映像５３ｂのフレームが表示されると同時に、復路側の映像５３ｂのフレームに対応付けられた往路側の映像５３ａのフレームが表示される。

【0221】

なお、フレームによっては１フレームに対して複数フレームの画像が対応付けられている場合があるが、その場合は順次対応付けられた複数フレームがフレーム順に再生される。

【0222】

（往路復路比較リスト画面５３Ａ’）
図１４に、往路復路比較リスト画面５３Ａ’の一例を示す。

【0223】

往路復路比較リスト画面５３Ａ’は、往路側の映像５３ａおよび復路側の映像５３ｂからそれぞれ選択される少なくとも１つ以上の代表画像を比較できるように並べて表示することを可能にする。

【0224】

すなわち、往路復路比較画面５３Ａで往路側の映像５３ａと復路側の映像５３ａとを映像を再生させる代わりに、往路復路比較リスト画面５３Ａ’でいくつかの代表画像によるリストをして表示させることができる。その場合、後述する代表画像の選択ルールに則って、往路側の映像から選択されるいくつかの代表画像と、復路側の映像から選択されるいくつかの代表画像とを、それぞれ、図１４に示されるように往路代表画像リスト５３ａ’、復路代表画像リスト５３ｂ’として表示する。

【0225】

例えば、往路代表画像リスト５３ａ’では、個々の代表画像が上段にて左から右にカメラが進む方向（カメラ位置の値が大きくなる方向）に並べられ、復路代表画像リスト５３ｂ’では、個々の代表画像が下段にて右から左にカメラが進む方向（カメラ位置の値が小さくなる方向）に並べられる。その際、往路代表画像リスト５３ａ’の個々の代表画像と、復路代表画像リスト５３ｂ’の個々の代表画像とが、比較しやすいように上下方向に揃えられた形で一覧表示される。これにより、対応づけられた代表画像どうしを上下に比較しやすく、双方の違いを確認しやすくなる。

【0226】

図１４では、復路代表画像リスト５３ｂ’のいくつかの代表画像の中に、異常５３ｐや管の接合部５３ｑの存在を確認できる例が示されている。

【0227】

往路復路比較リスト画面５３Ａ’の右上には、モード選択項目５３ｃ’が設けられている。モード選択項目５３ｃ’は、代表画像表示基準（モード）を選択するために使用される。各種のモードとして、「指定フレーム」、「位置合わせ手動」、「位置合わせ間引き」、「位置合わせ所定部位」、「位置合わせ所定部位異常検知結果」が用意されている。

【0228】

各映像の代表画像リスト５４ａ’は、事前に設定した代表画像表示基準（モード）に従って並べられて表示される。設定した代表画像表示基準（モード）は、代表画像の選択ルールを決定付ける。

各映像から選択する代表画像の選択基準としてモード選択項目５３ｃ’に設けられたラジオボタンのいずれかを選択することにより、以下のいずれかのモードの選択が可能である。

【0229】

・「指定フレーム」
指定のフレームで間引きして並べることが可能である（但し、位置合わせはされない）。間引きするフレーム数は、「詳細設定」ボタンを押して開いた画面で指定できる。

【0230】

・「位置合わせ手動」
映像位置合わせ部５０により複数の映像間で対応付けられた個々のフレームのセットに対し、人間が手動で選択したフレームを表示させることが可能である。例えば、映像解析結果確認画面５２Ａでキャプチャの機能を用いて選択した場所を位置合わせして表示できるようにする。

【0231】

・「位置合わせ間引き」
映像位置合わせ部５０により複数の映像間で対応付けられた個々のフレームのセットに対し、映像位置合わせ部５０により水道管内の位置が同じ場所となるように合わせたうえで、指定のフレーム数毎に間引いて表示することが可能である。間引きするフレーム数は「詳細設定」ボタンを押して開いた設定画面で指定できる。

【0232】

・「位置合わせ所定部位」
水道管内の位置が同じ場所となるように合わせたうえで、接合部（管と管のつなぎ目）・直管部中間（管の直線的な部分の中央付近）・穿孔部（直観部の途中にある穴のあいた部分）等の特徴的な場所を選択して表示する。表示する所定部位については「詳細設定」を押された時に開く画面を開き、チェックボックスなどで表示する／しないを設定できるようにしてもよい。

【0233】

・「位置合わせ所定部位異常検知結果」
「位置合わせ所定部位」の表示方法に加え、水道管内で検出された異常が存在する場所のフレームを代表画像として選択することが可能である。代表画像として選択する異常の種別や、判定ランクの閾値等は、「詳細設定」を押した時に開かれる画面で選択することができるようにしてもよい。

【0234】

（差分比較画面５４Ａ）
図１５に、差分比較画面５４Ａの一例を示す。

【0235】

差分比較画面５４Ａは、映像リスト画面５１Ａの映像リスト５１ａで管理される複数の映像から選択された複数の映像５４ａ，５４ｂを作業者が比較できるようにする画面である。ここでは、２つの映像５４ａ，５４ｂが表示される例について説明する。

【0236】

差分比較画面５４Ａには、比較対象とする複数の映像５４ａ，５４ｂのほかに、映像ファイル情報５４ｃ、タイムバー５４ｄ、映像再生機能５４ｅ、スナップショット表示領域５４ｆ、スナップショット実行ボタン５４ｇ、レポート表示ボタン５４ｈなどが表示される。タイムバー５４ｄおよび映像再生機能５４ｅは、前述したタイムバー５２ｃおよび映像再生機能５２ｇと同等の機能を有するものである。

【0237】

映像ファイル情報５４ｃには、［水道管名］、［撮影日時］、［総合判定］（総合判定結果の異常ランクに相当）、［距離］（カメラ位置に相当）が表示される。但し、これらの情報は必ずしも全て表示される必要はなく、表示されないものがあってもよい。

【0238】

並べられた２つの映像５４ａ，５４ｂは、それぞれ独立して再生やシーク等を行えるようになっている。再生やシーク等は、タイムバー５４ｄおよび映像再生機能５４ｅを用いて行うことができる。基本的に映像を並べて比較表示でき、併せてカメラ位置を表示できるようにする機能があることを基本とするが、映像解析が完了した画像であれば、総合判定結果や異常検知結果を画面に表示できるようにしてもよい。その場合の画面構成は、映像解析結果確認画面５２Ａの処理結果画像や部分判定表示と同じ表示で実現してもよい。

【0239】

また、２つの映像５４ａ，５４ｂは、撮影時のカメラの動きが異なるため、同期して再生する必要はなく、別々に再生できるようになっている。２つの映像５４ａ，５４ｂは、カメラ位置の情報にあわせて同じカメラ位置の画像を表示できるようにしてもよい。

【0240】

また、差分比較画面５４Ａには、「スクショ」と記されたスナップショット実行ボタン５４ｇがある。２つの映像５４ａ，５４ｂの中の任意の撮影時刻の画像がそれぞれ表示されている状態で、スナップショット実行ボタン５４ｇが押されると、該当する画像のスナップショットが取られて保管されるとともに、その画像がスナップショットとしてサムネイルの表示形式でスナップショット表示領域５４ｆに表示される。２つの画像を並べてキャプチャすることによって、これらの画像をレポート画面上で表示できるようにしてもよいし、個別の画像ファイルとして保存できるようにしてもよい。

【0241】

また、スナップショットの画像がある状態で、例えば「レポート画面へ」と記されたボタン５４ｈが押されると、レポート画面が開かれて表示されることになる。レポート画面では、当該スナップショットの画像を、レポートの作成に使用することができる。

【0242】

このように作業者は、必要に応じて映像リスト画面５１Ａの映像リスト５１ａで管理される複数の映像から任意に選択された複数の映像を自由に比較することができる。これにより、例えば時間経過観察や洗管前後での確認作業を簡単に行うことができる。さらに比較結果を報告書の作成に活用することができる。

【0243】

さらに、差分比較画面５４Ａでは、映像リスト画面５１Ａの映像リスト５１ａから任意に選択された複数の映像を、個々のフレームを位置合わせした状態で、同時再生表示することが可能である。

【0244】

本例では２つの映像を並べて表示する例が示されているが、映像位置合わせ部５０では２本に限らず３本以上の映像でも同様に映像位置合わせは可能であるため、３本以上の映像を並べて表示することも可能である。その場合、表示する映像の数に合わせて、タイムバー５４ｄと映像再生機能（再生コントロール）５４ｅとを増やせばよい。

【0245】

さらに、差分比較画面５４Ａでは、２つの映像５４ａ，５４ｂを同時に再生表示することができるように、２つの映像５４ａ，５４ｂにそれぞれに対応するタイムバー５４ｄおよび映像再生機能（再生コントロール）５４ｅだけでなく、映像位置合わせ表示再生用チェックボックス５４ｉ、映像位置合わせ表示再生機能（再生コントロール）５４ｊが配置されている。

【0246】

映像位置合わせ表示再生用チェックボックス５４ｉは、チェックが入っているか否か、すなわちオンの状態かオフの状態かによって、再生方法が変わる。例えば、以下の２つを切り替えることが可能である。

【0247】

オンの状態：映像位置合わせ再生が有効となり、映像位置合わせ部５０により個々のフレームが位置合わせされた状態で２つの映像５４ａ，５４ｂが同時再生される。

【0248】

オフの状態：映像位置合わせ再生が無効となり、単純に映像のフレーム数を合わせた状態で２つの映像５４ａ，５４ｂが別々に再生される。

【0249】

映像位置合わせ表示再生機能（再生コントロール）５４ｊは、映像位置合わせ表示再生用チェックボックス５４ｉは、チェックが入っているときに使用することができ、２つの映像５４ａ，５４ｂを同時再生させることができる。停止・早送り・巻き戻し・コマ送り・コマ戻しも、２つの映像５４ａ，５４ｂのそれぞれのフレームが位置合わせされた状態で行われる。このとき、２つの映像再生機能（再生コントロール）５４ｅは使用する必要がない。

【0250】

（差分比較リスト画面５４Ａ’）
図１６に、差分比較リスト画面５４Ａ’の一例を示す。

【0251】

差分比較リスト画面５４Ａ’は、複数の映像からそれぞれ選択される少なくとも１つ以上の代表画像を比較できるように並べて表示することを可能にする。その場合、後述する代表画像の選択ルールに則って、各映像から選択されるいくつかの代表画像を、それぞれ、図１６に示されるように映像ごとに代表画像リスト５４ａ’として表示する。

【0252】

個々のフレームを位置合わせした状態で各映像を表示する点では、差分比較画面５４Ａと同様であるが、差分比較リスト画面５４Ａ’では、図１６に示されるように、横方向に映像毎に個々のフレームの時間方向に代表画像が並べられ、縦方向には選択された複数の映像が並べられる。本例では、同一の水道管で異なる日時で撮影された複数の映像が指定された状態において、各映像から同じ位置を示す１つ以上の代表画像を並べて比較表示する。

【0253】

図１６では、撮影年月日の異なる３つの映像が選択され、撮影年月日順に上から並べられた場合の例が示されている。

【0254】

また、図１６では、２０２１／９／２１付けの映像の代表画像リスト５４ａ’のいくつかの代表画像の中に、各種の異常５３ｐ，５３ｒや管の接合部５４ｑの存在を確認できる例が示されている。

【0255】

差分比較リスト画面５４Ａ’の右上には、モード選択項目５４ｂ’が設けられている。モード選択項目５４ｂ’は、代表画像表示基準（モード）を選択するために使用される。各種のモードとして、「指定フレーム」、「位置合わせ手動」、「位置合わせ間引き」、「位置合わせ所定部位」、「位置合わせ所定部位異常検知結果」が用意されている。

【0256】

各映像の代表画像リスト５４ａ’は、事前に設定した代表画像表示基準（モード）に従って並べられて表示される。設定した代表画像表示基準（モード）は、代表画像の選択ルールを決定付ける。

【0257】

各映像から選択する代表画像の選択基準としてモード選択項目５４ｂ’に設けられたラジオボタンのいずれかを選択することにより、以下のいずれかのモードの選択が可能である。なお、各モードの機能は、図１４の往路復路比較リスト画面５３Ａ’のモード選択項目５３ｃ’の説明で示したものと同じであるため、ここではその説明を省略する。

【0258】

・「指定フレーム」
・「位置合わせ手動」
・「位置合わせ間引き」
・「位置合わせ所定部位」
・「位置合わせ所定部位異常検知結果」
（２Ｄ計測画面５５Ａ）
図１７に、２Ｄ計測画面５５Ａの一例を示す。

【0259】

２Ｄ計測画面５５Ａでは、水道管３の２次元画像から３次元的な計測を行うことを可能にする。

【0260】

２Ｄ計測画面５５Ａには、２Ｄ映像５５ａ、計測結果表示領域５５ｂ、計測モード表示領域５５ｃ、映像再生機能（再生コントロール）５５ｄなどが表示される。

【0261】

映像解析結果確認画面５２Ａで、計測対象の異常が表示された状態において、２Ｄ計測ボタン５２ｒを押すことにより、図１７に示す２Ｄ計測画面５５Ａを開いて計測を行うことが可能になる。

【0262】

３次元情報取得部６０において映像から３次元情報を復元できているため、画面に表示された各画素に相当する３次元情報が所定の記憶領域にすでに保管されている。

【0263】

計測モード表示領域５５ｃにおいて「計測モード」を「長さ」に指定している場合は、画面内におけるマウスドラッグなどで指定した線分５５ｅの両端の画素に相当する３次元的位置の距離を計算することによって「長さ」を計測できる。

【0264】

計測モード表示領域５５ｃにおいて「計測モード」が「面積」の場合は、マウスドラッグ操作で矩形領域を指定、もしくはマウスクリックでポリゴン領域を指定する。例えば最初の始点はクリックで、次のクリックを下の場所まで線分５５ｅをつなげてポリゴンを構成し、始点付近を指定した時に終了することで終点を指定できる。また、ダブルクリック・右クリック等でも終点を指定できる。終点が始点と異なる場合は終点と始点を自動的につなげればよい。

【0265】

矩形やポリゴン内に存在する立体物の面積は２次元画像上の面積を計算してもよいし、３次元点群上の最も大きな面積を計算できるようにしてもよい。堆積も面積と同様な指定方法で計測できる。

【0266】

これらの手段によって指定した領域の計測結果は、計測結果表示領域５５ｂ内の「計測結果」の下に表示される。

【0267】

なお、画像の下には再生コントロールを準備して、映像解析結果確認画面５２Ａに戻らなくても前後のフレームに移動できるようにしてもよい。

【0268】

以上により、表示した画像において対象物の計測が可能となる。なお、２Ｄ計測画面５５Ａの内容は映像解析結果確認画面５２Ａ上でも同様の画像を表示しているため、コントロールやモード選択部分を映像解析結果確認画面５２Ａ内において別ウィンドウが開かないようにしてもよい。

【0269】

（３Ｄ計測画面５６Ａ）
図１８に、３Ｄ計測画面５６Ａの一例を示す。

【0270】

３Ｄ計測画面５６Ａでは、水道管３の三次元点群画像から３次元的な計測を行うことを可能にする。

【0271】

３Ｄ計測画面５６Ａには、３Ｄ映像５６ａ、計測結果表示領域５６ｂ、操作モード表示領域５６ｃ、計測モード情報５６ｄなどが表示される。

【0272】

映像解析結果確認画面５２Ａで、計測対象の異常が表示された状態において、「３Ｄ計測」ボタンを押すことにより、図１８に示す３Ｄ計測画面５６Ａを開いて計測を行うことが可能になる。

【0273】

３次元情報取得部６０において映像から３次元情報を復元できているため、画面に表示された各画素に相当する３次元情報が所定の記憶領域にすでに保管されている。

【0274】

なお、３次元点群のビューを変更する場合、長さ等の計測で同様のマウス操作が必要となるため、「操作モード」を「計測」「ビュー変更」を切り替えるコントロールも画面上に配置することでマウス操作がビュー変更なのか計測なのかを切り替えられるようにしてもよい。

【0275】

ここでは、操作モード表示領域５６ｃにおいて「操作モード」を「ビュー変更」にした場合の操作例を説明する。

【0276】

点群の平行移動・回転・拡大縮小がマウス操作で可能となる。また、「操作モード」を「計測」にすると３次元点群を利用した計測が可能となる。

【0277】

計測モード情報５６ｄにおいて「計測モード」を「長さ」に指定している場合には画面内におけるマウスドラッグなどで指定した線分５６ｅの両端の画素に相当する３次元的位置の距離を計算することによって「長さ」が計測できる。

【0278】

計測モード情報５６ｄにおいて「計測モード」が「面積」の場合は、マウスドラッグ操作で矩形領域を指定、もしくはマウスクリックでポリゴン領域を指定する。例えば最初の始点はクリックで、次のクリックを下場所まで線分５６ｅをつなげてポリゴンを構成し、始点付近を指定した時に終了することで終点を指定できる。また、ダブルクリック・右クリック等でも終点を指定できる。終点が始点と異なる場合は終点と始点を自動的につなげればよい。

【0279】

矩形やポリゴン内に存在する立体物の面積は２次元画像上の面積を計算してもよいし、３次元点群上の最も大きな面積を計算できるようにしてもよい。堆積も面積と同様な指定方法で計測できる。

【0280】

これらの手段によって指定した領域の計測結果は、計測結果表示領域５６ｂ内の「計測結果」の下に表示される。

【0281】

＜基本動作＞
次に、図１９のフローチャートを参照して、実施形態による管内検査装置の動作の一例を説明する。なお、図１９に示される個々の処理は、ステップの番号の順に必ずしも行われるとは限らず、適宜変更することが可能である。

【0282】

映像入力部１０は、水道管３の管内を移動しながら撮影を行ったカメラ４の映像データを入力し、属性情報入力部１１は、カメラ４に付随する属性を示す属性情報を入力する（ステップＳ１）。

【0283】

次に、カメラ位置・動き検出部２０は、映像入力部１０により入力された映像データおよび属性情報入力部１１により入力された属性情報を用いて、管内におけるカメラ４の位置や動きを検出する（ステップＳ２）。

【0284】

次に、異常検知部３０は、カメラ位置・動き検知部２０により検出されるカメラ４の位置や動きに応じて、カメラ４が撮影する検知対象の映像データの中から１つ又は複数の画像を選択し、選択した画像を用いて管内の各検知対象の異常の有無および異常レベルを判定し、判定した結果を検知対象毎に異常検知結果として生成する（ステップＳ３）。統合判定部４０は、異常検知部３０により検知対象毎に生成された異常検知結果を統合して、管内の異常のレベルを示す統合判定結果を生成する（ステップＳ４）。

【0285】

一方で、映像位置合わせ部５０は、映像入力部１０により入力された映像およびカメラ位置・動き検知部２０により検出されるカメラ４の位置や動きの情報を用い、管内を移動するカメラで撮影して得られる複数の映像、または１つの映像を構成する複数の映像に対し、当該複数の映像のそれぞれに含まれる個々の画像（フレーム）のうち撮影時刻が異なり撮影位置が同じである画像どうしを対応付ける位置合わせを行う（ステップＳ５）。３次元情報取得部６０は、映像入力部１０により入力された映像から３次元情報を復元する（ステップＳ６）。

【0286】

情報管理部７０は、カメラ位置・動き検知部２０により検出されたカメラ４の位置や動きの情報、異常検知部３０により検知対象毎に生成された異常検知結果および統合判定部４０により生成された統合判定結果を含む情報、映像位置合わせ部５０により生成された映像位置合わせ結果を含む情報、３次元情報取得部６０により復元された３次元情報を含む情報、属性情報入力部１１により入力された属性情報などを管理する（ステップＳ７）。

【0287】

出力処理部８０は、利用者の操作を受け付け、利用者の操作に応じて情報管理部７０で管理される各種の情報を表示装置に出力する（ステップＳ８）。出力処理部８０は、検査結果に相当する異常検知結果や統合判定結果を出力するだけでなく、後述する図２０のフローチャートで示すように、ＵＩで実現される各種の表示画面（映像リスト画面５１Ａ、映像解析結果確認画面５２Ａ、往路復路比較画面５３Ａ、往路復路比較リスト画面５３Ａ’、差分比較画面５４Ａ、差分比較リスト画面５４Ａ’、２Ｄ計測画面５５Ａ、３Ｄ計測画面５６Ａなど）に関わる各種の情報を、操作に応じて出力する。

【0288】

＜ＵＩに関わる動作＞
次に、図２０のフローチャートを参照して、出力処理部８０によるＵＩに関わる動作の一例を説明する。なお、ここでは、映像解析処理がすでに完了している状態にあるものとして説明する。

【0289】

最初に、管内をカメラ４で撮影して得られた各種の映像を管理するための映像リスト５１ａが映像リスト画面５１Ａに表示される。表示された映像リスト画面５１Ａに対して作業者から何らかの操作があった場合には、その操作に応じた処理が行われる（ステップＳ１１）。

【0290】

ここで、例えば映像リスト画面５１Ａの映像リスト５１ａの中から１つの映像が選択された状態で、例えば「映像解析画面へ」と記された映像解析表示ボタン５１ｅを押す操作（例えば入力装置によるクリックまたはタップの操作）が行われた場合（ステップＳ１２のＹＥＳ）は、ステップＳ１９へ進む。

【0291】

一方、そうではなくて例えば、映像リスト画面５１Ａにおいて、複数の映像が選択された状態で、「差分比較画面へ」と記された差分比較表示ボタン５１ｇを押す操作が行われた場合（ステップＳ１２のＮＯ、ステップＳ１３のＹＥＳ）、差分比較画面５４Ａが開かれて表示され、選択された複数の入力映像５４ａ，５４ｂを比較しながら差分の確認を行うことが可能になる。表示された差分比較画面５４Ａに対して作業者から何らかの操作があった場合には、その操作に応じた処理が行われる（ステップＳ１４）。

【0292】

また、映像リスト画面５１Ａにおいて、複数の映像が選択された状態で、「差分比較リスト画面へ」と記された差分比較表示ボタン５１ｇを押す操作が行われた場合（ステップＳ１３のＮＯ、ステップＳ１５のＹＥＳ）、差分比較リスト画面５４Ａ’が開かれて表示され、選択された複数の入力映像５４ａ，５４ｂの代表画像を並べて表示し、比較することが可能になる。表示された差分比較リスト画面５４Ａ’に対して作業者から何らかの操作があった場合には、その操作に応じた処理が行われる（ステップＳ１６）。

【0293】

また、映像リスト画面５１Ａにおいて、上記以外の操作が行われた場合には（ステップＳ１５のＮＯ、ステップＳ１７のＹＥＳ）、その操作に応じた処理が行われる（ステップＳ１８）。

【0294】

上記ステップＳ１２において、映像リスト画面５１Ａの映像リスト５１ａの中から１つの映像が選択された状態で、例えば「映像解析画面へ」と記された映像解析表示ボタン５１ｅを押す操作（例えば入力装置によるクリックまたはタップの操作）が行われた場合（ステップＳ１２のＹＥＳ）、映像解析結果確認画面５２Ａが開かれて表示され、入力映像５２ａと処理結果映像５２ｂとを比較して確認作業を行うことが可能になる。表示された映像解析結果確認画面５２Ａに対して作業者から何らかの操作があった場合には、その操作に応じた処理が行われる（ステップＳ１９）。

【0295】

映像解析結果確認画面５２において、往路復路比較表示ボタン５２ｔを押す操作が行われた場合（ステップＳ２０のＹＥＳ）、路復路比較画面５３Ａが開かれて表示され、映像解析結果確認画面５２Ａで表示されている映像に対し往路・復路に対応付けられた各画像を並べて表示し、比較することが可能になる。表示された路復路比較画面５３Ａに対して作業者から何らかの操作があった場合には、その操作に応じた処理が行われる（ステップＳ２１）。

【0296】

また、映像解析結果確認画面５２において、往路復路比較リスト表示ボタン５２ｕを押す操作が行われた場合（ステップＳ２０のＮＯ、ステップＳ２２のＹＥＳ）、往路復路比較リスト画面５３Ａ’が開かれて表示され、映像解析結果確認画面５２Ａで表示されている各映像に対し往路・復路に対応付けられた各映像の代表画像を並べて表示し、比較することが可能になる。表示された往路復路比較リスト画面５３Ａ’に対して作業者から何らかの操作があった場合には、その操作に応じた処理が行われる（ステップＳ２３）。

【0297】

また、映像解析結果確認画面５２において、２Ｄ計測ボタン５２ｒを押す操作が行われた場合（ステップＳ２２のＮＯ、ステップＳ２４のＹＥＳ）、２Ｄ計測画面５５Ａが開かれて表示され、画像中にある対象物の長さ・面積・体積の計測を行うことが可能になる。表示された２Ｄ計測画面５５Ａに対して作業者から何らかの操作があった場合には、その操作に応じた処理が行われる（ステップＳ２５）。

【0298】

また、映像解析結果確認画面５２において、３Ｄ計測ボタン５２ｓを押す操作が行われた場合（ステップＳ２４のＮＯ、ステップＳ２６のＹＥＳ）、３Ｄ計測画面５６Ａが開かれて表示され、表示された３次元点群の画像中にある対象物の長さ・面積・体積の計測を行うことが可能になる。表示された３Ｄ計測画面５６Ａに対して作業者から何らかの操作があった場合には、その操作に応じた処理が行われる（ステップＳ２７）。

【0299】

また、映像解析結果確認画面５２において、上記以外の操作が行われた場合には（ステップＳ２６のＮＯ、ステップＳ２８のＹＥＳ）、その操作に応じた処理が行われる（ステップＳ２９）。

【0300】

以上の処理により、管内検査装置により表示される各種の表示画面での作業者の操作に応じた適切な処理を行うことで、作業の効率を高めることが可能になる。

【0301】

実施形態によれば、映像を構成する個々のフレームの位置合わせことにより、対象となる管の劣化状況や洗浄前後の比較、カメラの動きによって異物の動きを確認することで堆積した物の挙動などを効率よく確認することが可能となる。また、計測機能により特殊な機器の利用、基準物をカメラの視野内に置くことや、事前に既知のサイズのもので作ったモデルを別途準備等することがなく、ＵＩを通じて水道管３内の対象の長さ・面積・体積を効率よく計測することが可能となる。

【0302】

以上詳述したように、実施形態によれば、効率良く管内を検査することが可能となる。

【符号の説明】

【0303】

１…管内検査装置、２…現場、３…水道管、４…カメラ、５…記録媒体、１０…映像入力部、１１…属性情報入力部、１２…設定部、２０…カメラ位置・動き検出部、３０…異常検知部、４０…統合判定部、５０…映像位置合わせ部、６０…３次元情報取得部、７０…情報管理部、８０…出力処理部、、５１Ａ…映像リスト画面、５２Ａ…映像解析結果確認画面、５３Ａ…往路復路比較画面、５３Ａ’…往路復路比較リスト画面、５４Ａ…差分比較画面、５４Ａ’…差分比較リスト画面、５５Ａ…２Ｄ計測画面、５６Ａ…３Ｄ計測画面。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】