IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社東芝の特許一覧 ▶ 東芝電機サービス株式会社の特許一覧

特開2023-94165管内検査装置、管内検査方法、およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023094165
(43)【公開日】2023-07-05
(54)【発明の名称】管内検査装置、管内検査方法、およびプログラム
(51)【国際特許分類】
   G01N 21/954 20060101AFI20230628BHJP
【FI】
G01N21/954 A
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2021209476
(22)【出願日】2021-12-23
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(71)【出願人】
【識別番号】598076591
【氏名又は名称】東芝インフラシステムズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】助川 寛
(72)【発明者】
【氏名】柳原 悠紀
(72)【発明者】
【氏名】齋藤 祐子
(72)【発明者】
【氏名】新井田 瞳子
(72)【発明者】
【氏名】石川 洋子
(72)【発明者】
【氏名】杉野 寿治
(72)【発明者】
【氏名】中村 健介
【テーマコード(参考)】
2G051
【Fターム(参考)】
2G051AA82
2G051AB02
2G051AC15
2G051AC21
2G051CA04
2G051CB01
2G051EA16
2G051EB01
2G051EB05
2G051EC01
(57)【要約】
【課題】 管内の診断を容易に行うことを可能になる。
【解決手段】 実施形態の管内検査装置は、管内をカメラで撮影して得られる第1の映像と、前記第1の映像の中の異常を示す領域に色付けをした第2の映像とを、比較できるように表示装置に表示させる第1の表示処理部を具備する。
【選択図】図18
【特許請求の範囲】
【請求項1】
管内をカメラで撮影して得られる第1の映像と、前記第1の映像の中の異常を示す領域に色付けをした第2の映像とを、比較できるように表示装置に表示させる第1の表示処理部を具備する、管内検査装置。
【請求項2】
前記第1の表示処理部は、
前記第2の映像において、異常種別毎に、又は、異常のレベル毎に、異なる色を用いて前記色付けをする、
請求項1に記載の管内検査装置。
【請求項3】
前記第1の表示処理部は、
各映像の時間軸上の位置と管内の長手方向のカメラ位置との関係をポインターで示す第1のバーを表示させる、
請求項1又は2に記載の管内検査装置。
【請求項4】
前記第1の表示処理部は、
各映像の時間軸上の位置と異常が現われる時間軸上の位置との関係を示す第2のバーを表示させる、
請求項3に記載の管内検査装置。
【請求項5】
前記第2のバーは、
異常種別毎に、異常が表われる時間軸上の位置において異常のレベル毎に異なる色を用いて色付けがされたバーを含む、
請求項4に記載の管内検査装置。
【請求項6】
前記第1の表示処理部は、
前記ポインターの移動と前記ポインターの移動に連動した各映像の変化とを可能にする映像再生機能を示す情報を表示させる、
請求項3乃至5のいずれか1項に記載の管内検査装置。
【請求項7】
前記第1の表示処理部は、
各異常レベルの割合を示すとともに、異常のレベル毎に、各種の異常の割合を示す情報を表示させる、
請求項1乃至6のいずれか1項に記載の管内検査装置。
【請求項8】
前記第1の表示処理部は、
異常種別毎に、異常ランクの表示を行うか否かの選択を行うことを可能にするとともに、選択した異常種別について前記第2の映像中の該当する領域に色付けがされるようにすることを可能にする情報を表示させる、
請求項1乃至7のいずれか1項に記載の管内検査装置。
【請求項9】
前記第1の表示処理部は、
前記第2の映像において、異常種別毎に、異なる色を用いて前記色付けをすることと、
前記第2の映像において、異常のレベル毎に、異なる色を用いて前記色付けをすることと、
のいずれか一方を指定することを可能にする情報を表示させる、
請求項2に記載の管内検査装置。
【請求項10】
前記第1の表示処理部は、
前記第1の映像または前記第2の映像のいずれか一方の表示を拡大させることを可能にする情報を表示させる、
請求項1乃至9のいずれか1項に記載の管内検査装置。
【請求項11】
前記第1の表示処理部は、
前記第1の映像または前記第2の映像から任意の画像をキャプチャして保管するとともにその画像を小さくして所定の表示領域に表示させることを可能にする情報を表示させる、
請求項1乃至10のいずれか1項に記載の管内検査装置。
【請求項12】
前記キャプチャした画像を用いてレポートに必要な情報を表示装置に表示させる第2の表示処理部をさらに具備する、
請求項11に記載の管内検査装置。
【請求項13】
管内をカメラで撮影して得られる複数の映像を比較できるように表示装置に表示させる第3の表示処理部をさらに具備する、
請求項1乃至12のいずれか1項に記載の管内検査装置。
【請求項14】
第1の表示処理部により、管内をカメラで撮影して得られる第1の映像と、前記第1の映像の中の異常を示す領域に色付けをした第2の映像とを、比較できるように表示装置に表示させることを含む、管内検査方法。
【請求項15】
コンピュータに、
管内をカメラで撮影して得られる第1の映像と、前記第1の映像の中の異常を示す領域に色付けをした第2の映像とを、比較できるように表示装置に表示させる機能を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、管内検査装置、管内検査方法、およびプログラムに関する。
【背景技術】
【0002】
水道管などの管は、長年の使用により管内に堆積物やサビなどが生じると、異物の堆積・付着や、管の内面の劣化・剥離などが起こり、管内に各種の異常が生じる。
【0003】
水道管などの管内を検査するためには、例えば管内をカメラであらかじめ撮影し、撮影を終えたカメラの映像に基づいて当該管内に異常がないかどうかを診断する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第6668106号公報
【特許文献2】特許第5764238号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
水道管などの管内の診断を目視で行う場合は、診断の時間が非常にかかることに加え、診断を行う人によって診断結果がばらつき、個人の中でも診断結果がばらつくという問題がある。
【0006】
これに対し、前述のようにカメラの映像を利用することで診断を容易にする試みもなされているが、診断を行う作業者にとって、実際の映像から管の異常の部分を正しく把握することは難しく、多くの時間を要することもある。そのため、作業者にかかる負担は依然として大きい。
【0007】
発明が解決しようとする課題は、管内の診断を容易に行うことを可能にする、管内検査装置、管内検査方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【0008】
実施形態の管内検査装置は、管内をカメラで撮影して得られる第1の映像と、前記第1の映像の中の異常を示す領域に色付けをした第2の映像とを、比較できるように表示装置に表示させる第1の表示処理部を具備する。
【図面の簡単な説明】
【0009】
図1】実施形態に共通するシステム全体の構成の一例を示す図。
図2】実施形態による管内検査装置1の構成の一例(その1)を示す図。
図3】実施形態による管内検査装置1の構成の一例(その2)を示す図。
図4】実施形態による管内検査装置1の構成の一例(その3)を示す図。
図5】水道管3にカメラ4が挿入された状態の一例を示す図。
図6】カメラ4により実際に撮影された映像に含まれる画像の一例を示す図。
図7】ケーブル長を示す情報(即ち、カメラ4の位置情報)が表示された画像の一例を示す図。
図8】異物や劣化のある異常領域の大きさを画像から求める手法を説明するための図。
図9】検知・判定された結果をディスプレイ上に表示する画面の例を示す図。
図10】実施形態による管内検査装置1の動作の一例を示すフローチャート。
図11】実施形態の変形例1による管内検査装置1の構成の一例を示す図。
図12】実施形態の変形例1による管内検査装置1の動作の一例を示すフローチャート。
図13】実施形態の変形例2による管内検査装置1の構成の一例を示す図。
図14】実施形態の変形例2による管内検査装置1の設定部12に関わる動作の一例を示すフローチャート。
図15】出力処理部50に備えられる各種の機能の一例を示す図。
図16】出力処理部50に備えられる各種の機能により実現される画面の遷移の一例を示す図。
図17】映像リスト画面51Aの一例を示す図。
図18】映像解析結果確認画面52Aの一例を示す図。
図19】タイムバー52cの例を拡大して示す図。
図20】総合判定結果情報52lから開くことが可能な総合判定内訳情報52qの例を拡大して示す図。
図21】部分判定結果情報52mの表示の2つの例を拡大して示す図。
図22】カラー切替ボタン52nの例を拡大して示す図。
図23】画面拡大ボタン52h,52iの例とキャプチャ実行ボタン52j,52kの例とを拡大して示す図。
図24】映像再生機能情報52gの例を拡大して示す図。
図25】レポート画面53Aの一例を示す図。
図26】差分比較画面54Aの一例を示す図。
図27】管内検査装置1の出力処理部50による動作に一例を示す図。
【発明を実施するための形態】
【0010】
以下、図面を参照して、実施の形態について説明する。
【0011】
(システム構成)
図1は、実施形態に係る管内検査装置を含むシステム全体の構成の一例を示す図である。
【0012】
本実施形態では、一例として水道管(上水管)の管内の検査、特に不断水検査として管内が満水の状態で管内の検査を行うことを前提に説明するが、本実施形態はこの例に限定されるものではなく、例えば下水管や配管などの各種管の管内の検査にも適用することが可能である。
【0013】
本実施形態に係る管内検査装置1は、例えば、図1に示されるように現場2に設置された水道管3の管内を撮影するカメラ4の映像に基づいて管内の検査を行う。カメラ4で撮影された映像は、例えば、複数の連続した画像(フレーム)からなる映像データ(ファイル)として記録媒体5に記録される。この記録媒体5には、カメラに付随する属性を示す属性情報も併せて記録される。管内検査装置1は、記録媒体5に記録された映像データおよび属性情報を内部に取り込み、これらを用いて、管内の検査を行う。
【0014】
なお、図1に示したシステムの構成は一例であって、この例に限定されるものではない。例えば、管内検査装置1は、撮影を行うカメラ4を含む構成であってもよいし、映像データおよび属性情報を記録した記録媒体5を含む構成であってもよい。
【0015】
(管内検査装置1の構成)
実施形態による管内検査装置1の構成の例を図2図4に示す。図2は、管内検査装置1の構成の一例(その1)を示す図である。図3は、管内検査装置1の構成の別の例(その2)を示す図である。図4は、管内検査装置1の構成の更なる別の例(その3)を示す図である。図2図4のそれぞれに示される個々の要素の機能の一部または全部は、コンピュータに実行させるためのプログラムとして実現することが可能である。
【0016】
図2に示される管内検査装置1は、映像入力部10、属性情報入力部11、カメラ位置検出部20、異常検知部30、統合判定部40、および出力処理部50を含む。
【0017】
映像入力部10は、水道管3の管内を撮影するカメラ4の映像データを入力する。
【0018】
属性情報入力部11は、カメラ4の属性情報を入力する。当該属性情報は、カメラ位置検出部20、異常検知部30、および統合判定部40に供給され、各部の処理において必要に応じて使用される。
【0019】
カメラ位置検出部20は、映像入力部10により入力される映像データおよび属性情報入力部11により入力される属性情報を用いて、管内におけるカメラ4の位置を検出する。
【0020】
異常検知部30は、カメラ位置検出部20により検出されるカメラ4の位置に応じて、カメラ4が撮影する検知対象の映像データの中から1つ又は複数の画像を選択し、選択した画像を用いて管内の各検知対象の異常の有無および異常レベルを判定し、判定した結果を検知対象毎に異常検知結果として生成する。
【0021】
ここでいう検知対象とは、(1)サビ、(2)堆積物、(3)部分的な異物の付着(異物付着)・管表面の防食(内面防食)の劣化、(4)管内全体に膜状に付着(内面付着)した汚れ、および、(5)浮遊物のいずれかを指す。
【0022】
統合判定部40は、異常検知部30により検知対象毎に生成された異常検知結果を統合して、管内の異常のレベルを示す統合判定結果を生成する。当該異常検知結果および統合判定結果は、出力処理部50へ供給される。
【0023】
出力処理部50は、異常検知部30により検知対象毎に生成された異常検知結果および統合判定部40により生成された統合判定結果を含む情報を表示装置もしくは記憶装置に出力する。
【0024】
一方、図3図4に示される管内検査装置1も、上記した映像入力部10、属性情報入力部11、カメラ位置検出部20、異常検知部30、統合判定部40、および出力処理部50の各要素を含むが、一部の要素の配置が、図1に示される管内検査装置1と異なる。
【0025】
本実施形態では、図2に示されるように、映像入力部10の中に、実際に管の内部を撮影したカメラ4を含まずに、外側から映像データを入力する構成を基本とする。この場合、カメラ4で撮影された映像の映像データを記録媒体5経由で管内検査装置1に入力し、それを用いて管内検査装置1において異常検知を行う。
【0026】
(個々の構成要素の詳細)
以下に、管内検査装置1を構成する個々の要素について詳細に説明する。
【0027】
・映像入力部10
映像入力部10は、映像を撮影するカメラ4などのハードウェアを含む場合、含まない場合のどちらでも対応できる。図2の構成例の場合は、管内を撮影したカメラ4の映像データを記録する装置が別途あるため、そこで記録された映像データを記録媒体5経由で読み込みできる手段があればよい。例えば映像データのファイルをSDカードなどの記録媒体5に保存し、その記録媒体5を読み込むリーダーによってそのファイルを読み取ることで映像データの入力を行うことができる。
【0028】
一方、図3図4の構成例の場合は、管内検査装置1にカメラ4が含まれる。このカメラ4は、例えばITVカメラが搭載されたカメラヘッドとして実現されてもよい。ITVカメラは、カメラレンズを通して得られた光学的な情報を、A/D変換器によりデジタル化して映像データとして出力することができる。
【0029】
図5に、水道管3にカメラ4が挿入された状態の一例を示す。ここで、カメラ4は、図5に示されるように、現場2において水道管3の管内を移動するため、全体として防水加工が施されていてもよい。また、カメラ4には、照明を付けて管内を明るくする機能や、当該カメラ4が常に上下・水平を保つような回転機構が備わっていてもよい。このカメラ4に長いケーブル6を接続し、消火栓7等からそのケーブル6を押し込むことにより水道管3内にカメラ4を挿入し、水道管3内の撮影を行う。撮影では、カメラ4を上流側と下流側の双方に挿入させる。これを実現するため、消火栓7から水道管3に到達するところまでに配置された治具により、カメラ4を挿入する方向を制御することができるようになっている。
【0030】
カメラ4の映像はケーブル6を経由して消火栓7の外にある記録装置(図示せず)により記録媒体5に記録される。映像記録方式はどのような方式でもよく、方式は問わない。例えばアナログNTSC方式でもよいし、また、デジタル未圧縮の形態でもよいし、デジタル符号化の形態でもよい。
【0031】
図6に、カメラ4により実際に撮影された映像に含まれる画像の一例を示す。正常であれば円筒状の管内に異物は殆ど見られないが、管内に異常が生じていると、図6(a)のように管内で異物が堆積して付着している状態や、管の内面が劣化して剥離している状態、図6(b)のように管内で異物が浮遊物として水に混じって流れている状態などが撮影される。
【0032】
・属性情報入力部11
続いて属性情報入力部11について説明する。図2の構成例の場合は、映像入力部10と同様に、管内を撮影したカメラ4の映像データを記録する装置が別途あるため、そこで記録された映像データとともに、そのカメラ4の映像に関する属性情報もあわせて記録媒体5経由で読み込みできる手段があればよい。属性情報は、例えばカメラ4でまたはキーボードやマウスの入力装置で入力してもよい。また、カメラ4内のセンサ等から得られた情報を属性情報としてもよい。いずれかの形で生成された属性情報をデータファイルとしてSDカードなどの記録媒体に保存し、その媒体を読み込むリーダーによってそのファイルを読み取ることで属性情報の入力を行うことができる。
【0033】
一方、図3図4の構成例の場合は、かりに属性情報入力部11が無くても映像入力部10があれば管内の検査を行うことは可能ではあるが、本実施形態では、より精度良く管内の診断ができるようにするため、カメラに関する属性情報を入力する属性情報入力部11を設けている。
【0034】
属性情報入力部11で入力する属性情報には、例えばカメラ4を水道管3の管内に挿入した際のケーブル6の長さ(ケーブル長)を示す情報があり、これは管内におけるカメラ4の位置情報となる。図7に、ケーブル長を示す情報(即ち、カメラ4の位置情報)が表示された画像の一例を示す。
【0035】
ケーブル長を示す情報は、映像データの所定位置に重畳して記録することにより、後述のカメラ位置検出部20において利用することが可能となる。映像をデジタル形式で記録するのであれば、ケーブル長を示す情報を、映像データ中に重畳するのではなく、映像データと同期させて記録するようにしてもよい。
【0036】
属性情報入力部11では、他の属性情報を入力することも可能である。例えば、水道管の位置(地名・緯度経度・住所など)、水道管の種類、水道管の管径、水道管の布設年度、前回検査日時やその時の診断結果、またカメラの型式やレンズパラメータなどの属性情報を、映像を記録する記録媒体に関連付けて記録することで、属性情報入力部11での入力が可能になる。
【0037】
なお、これらの属性情報を入力する属性情報入力部11の機能は、図3図4の映像入力部10においてカメラ4と共通するカメラユニット内に搭載してもよいし、当該カメラユニットと異なる別のユニットを準備してそのユニット内に搭載してもよいし、あるいはカメラ4が接続されるケーブル6の先につながる別のユニット内に搭載してもよい。
【0038】
・カメラ位置検出部20
カメラ位置検出部20は、管内におけるカメラ4の現在の位置を検出する。図2図3の構成例の場合は、映像データおよび属性情報が映像入力部10および属性情報入力部11を経由してカメラ位置検出部20に入力されることを前提としており、当該映像データおよび属性情報を用いてカメラ位置検出部20がカメラ4の位置の検出を行う。図4の構成例の場合は、例えばカメラ4のハードウェアそのものに(またはカメラ4の付属部に)カメラ位置検出部20が搭載される。
【0039】
以下に、映像データを用いてカメラ4の位置を検出する手法について説明する。
【0040】
カメラ4の位置の検出は、最も簡単な手法としては、属性情報入力部11により入力される属性情報からケーブル長を示す情報(即ち、カメラ4の位置情報)を読み取ることで実現可能である。映像データがデジタル形式であれば、映像データ中の各フレームに対応させてケーブル長を示す情報を埋め込んでおいてその値を読み取るだけで実現可能である。
【0041】
映像データ中にケーブル長を示す情報を重畳して記録している場合には、光学文字認識(OCR)を用いてその情報を読み取ればよい。この場合、カメラ4内の文字表示領域を指定することなく、個々の画像から文字が横に並んでいる領域を見つけることで認識が可能となる。例えば、0~9および小数点を示す「・」をテンプレートとして登録しておき、テンプレートマッチングで画像内を探索し、いずれかの文字とヒットする文字が横に並んでいる領域があることを利用して文字領域を見つけると同時に、最もヒットした数字のテンプレート情報から数値を読み取るようにしてもよい。
【0042】
図7の画像の例では、「1」「6」「・」「4」のテンプレートが画面右上の領域でマッチングスコアが高くなり、Y軸方向の位置がほぼ同じで左右に並んでいることから16.4と値を読み取ることが可能である。この場合の文字認識には、例えば「O.Hori,“A video text extraction method for character recognition”, Proceedings of the Fifth International Conference on Document Analysis and Recognition. ICDAR '99 (Cat. No.PR00318)」(以下、「参考文献1」)の技術を利用してもよい。
【0043】
また、カメラ4の型式を指定する情報を、事前に属性情報に含めておくことにより、当該型式に応じてケーブル長を示す情報を表示する領域を設定するようにしてもよい。
【0044】
なお、ケーブル押し込み型のカメラの場合、押し込み時にはケーブル6がたわみ、引き戻し時にはケーブル6が伸びるため、同じ地点でもケーブル6の長さが違って表示される傾向がある。そのため、押し込み時と引き戻し時の往復の画像を比較して、類似した画像に対し引き戻し時のケーブル長の値を正式な値として補正するなどにより、位置の精度を高めるようにしてもよい。その際、類似画像を比較する手法を利用してもよいし、「関,“移動カメラ画像からの3次元形状復元・自己位置推定(SLAM)と高密度な3次元形状復元”,情報処理学会研究報告コンピュータビジョンとイメージメディア(CVIM),2014-CVIM-190,2014」(以下、「参考文献2」)で示される単眼カメラによる3次元情報の再構成技術を用いることでより正確な位置を求めるようにしてもよい。
【0045】
また、水道管3の種類がわかっていれば、管同士の個々の接続部の位置がわかる。そこで、個々の接続部の位置が映像の中で同心円状の一定以上の輝度変化(エッジ)として現れる場合は、その同心円状のエッジが検出された数を数えることにより、カメラ4の位置を求めるようにしてもよい。
【0046】
・異常検知部30
異常検知部30は、映像データから検知対象毎に水道管3内の異常の有無を検知するとともに異常のレベルを判定する。本実施形態では、検知対象として、(1)サビ、(2)堆積物、(3)部分的な異物の付着・管表面の防食の劣化、(4)管内全体に膜状に付着した汚れ、および、(5)浮遊物、を検知することを想定している。以下、各検知対象を検知する手法について説明する。
【0047】
(1)サビ
サビは、管の内面が腐食して錆びることにより発生し、色として赤茶色の状態になることが多い。管の内面は正常の状態では赤茶色になることはないため、色の検出により赤茶色の領域を見つけることでサビを検知することが可能である。
サビの異常のレベルは、例えば映像データから管内の形状や閉塞率をもとに判定してもよい。また、閉塞率を指標とする方法以外にも、画面内のサビの面積(画素数)の合計値、ラベリングなどによってサビの塊の大きさ、判定対象とする領域を事前に定め、その領域内のサビの面積を指標とすることなど、他の値を指標としてもよい。
【0048】
(2)堆積物
堆積物の検知では、管の下部に堆積している異物を堆積物として検知する。
堆積物の異常のレベルは、例えば面積や体積をもとに判定してもよい。また、面積や体積を指標とする方法以外にも、堆積物の存在する範囲の大きさやラベリングして求めた塊の数の多さなどを指標にしてもよい。
【0049】
(3)部分的な異物の付着・管表面の防食の劣化
正常な水道管は表面が一面同一の色となっているため、エッジ状の特徴が存在しない。一方、部分的な異物の付着・管表面の防食の劣化(以下、異物付着・内面劣化)の異常が発生するとエッジ状の特徴が映像に現れやすい。そこで、エッジ処理により検出されるエッジを利用することで、異物付着・内面劣化を検出することができ、その異常レベルを求めることができる。
例えば、図8の画像の例に示されるように、エッジが検出されたらその連結範囲の外接矩形を求め、その外接矩形の面積をもとに異常レベルを判定してもよい。また、外接矩形の面積を指標とする方法以外にも、異常領域の数や分布範囲の大きさ(存在する異常の塊の全体の外接矩形の大きさ)などを指標にしてもよい。
【0050】
(4)管内全体に膜状に付着した汚れ
管内全体に膜状に付着した汚れ(以下、膜状の付着物)は、上記(3)に示した方法で検出することは困難である。そこで、管内表面の明るさや色の平均値を求め、正常時の状態との差分を求めることで、膜状の付着物を検出することができ、その異常レベルを求めることができる。
膜状の付着物の異常のレベルは、例えば正常状態との輝度の変化量の多さをもとに判定してもよい。輝度の変化量の多さを指標とする方法以外にも、カメラ4の跡の線の大きさ、例えば線の太さや長さ、面積、エッジ強度の累積値などを指標としてよい。
【0051】
(5)浮遊物
浮遊物は、管内を流れる水中に含まれる異物であり、図6(b)の画像の例に示されるようにオプティカルフローの形で映る。浮遊物は、当該オプティカルフローから検出することができる。
浮遊物の異常のレベルについては、例えば何も浮遊物がない状態を正常(例えばレベルS)とし、浮遊物の量が多くになるにつれて異常レベルを高める(悪化させる)といった判定を行ってもよい。
【0052】
なお、上述した個々の検知対象を検知する手法については、特願2021-164166号の明細書に、より具体的な手法の例が記載されているので、そこに記載されている手法を用いてもよい。
【0053】
・統合判定部40
統合判定部40は、前述した5種類の検知対象について、個別に異常を検知した後に、それらの結果の相互の関係性を利用して最終結果を出力する。なお、相互の関係性を利用せず、そのまま最終結果として出力しても問題ない。
【0054】
異常の統合判定結果を求める際には、例えば、検知対象毎の異常検知結果の相互の関係性に応じて、統合判定結果を生成する演算方法(重みづけ加算方法など)を変える(例えばマージや除外などを行う)ようにしてもよい。例えば、サビの判定の時はサビだけを利用するが、堆積物の判定の時はサビ・堆積物の両方を利用するなどの対応が可能である。
【0055】
異常の統合判定結果の求め方としては、例えば、Y(1)からY(5)が5種類の異常それぞれの最終結果、X1~X5が個別に求めた異常検知結果、a~eがそれぞれの重み係数であるとして、次の式のように各異常検知結果に所定の係数をかけることで重み付けをして最終結果を求めてもよい。
【0056】
Y(i) = a*X1 + b*X2 + c*X3 + d*X4 + e*X5
式中のそれぞれの係数を調整することにより、個別の依存関係が明確な場合に適切な対応が可能となる。例えば、堆積物の異常レベルを判定する場合、サビ・堆積物の異常検出結果のOR(論理和)をとった結果を異常検知結果として判定するようにすることや(上記Yの式の係数により実現が可能でもある)、所定の異常があった場合、別の異常検知結果から除外するなども上記式により可能である。
【0057】
また、所定の異常を先に求め、その結果を利用して別の異常検知の結果を調整するようにしてもよい。例えば、検知対象間の影響の有無に応じて、所定の検知対象の異常レベルを調整する(例えば堆積物は、浮遊物とまぎれやすいので、浮遊物の有無によって異常レベルを調整する)ようにしてもよい。
【0058】
例えば、浮遊物については、映像の全領域にまたがって発生するため、浮遊物の異常の有無や異常のレベルを先に判定し、浮遊物が多い時には他の異常検知対象の検知結果の基準を補正するようにしてもよい。浮遊物が多い時には画像中の異常が見えにくくなるため、本来ある異常が漏れてしまったり、逆に異常がないのに異常と判定されやすくなったりする。異常のレベルを所定のレベルで下げるようにしたり上げるようにしたりすることも可能であるほか、異常を判定する領域(区間)の領域の長さを浮遊物の量に応じて変えてもよい。例えば、浮遊物が多い時には長い範囲で求めた異常検知結果からレベル判定を行うことによりノイズの影響を軽減することができ。
【0059】
また、5種類の異常検知に限らず、管全体の総合判定結果として異常検知の種類によらず1つの総合判定結果を出力するようにしてもよい。これは、5種類の異常レベル判定結果の最悪値、平均値、重み付け加算などから求めれば実現が可能となる。
【0060】
・出力処理部50
出力処理部50は、入力された映像、異常検知結果を比較しながら確認できる画面を有する。この出力処理部50は、例えばパーソナルコンピュータ(PC)と液晶ディスプレイ等の表示装置とで構成されてもよい。この場合、PC内にて映像入力部10により入力された映像データ、属性情報入力部11により入力された属性情報、異常検知部30・統合判定部40により検知・判定された結果を記憶装置で記憶・管理する。
【0061】
なお、本実施形態では、表示装置および記憶装置が管内検査装置1内にあるものとして説明するが、表示装置および記憶装置の配置場所はどこでもよい。例えば記憶装置は、ネットワーク(クラウド)上にあってもよい。
【0062】
表示装置に表示する画面の例を図9に示す。但し、図9に示す画面の例は一例であって、この例に限定されるものではない。例えば後述する図18に示すように、レイアウトが図9に示す画面とは異なる画面を表示してもよい。また、画面を表示する表示装置の例としては、PCに備えられるディスプレイのほか、スマートフォンやタブレット端末のディスプレイを使用してもよい。
【0063】
図9に示される画面60の中には、入力映像61、処理結果映像62、サビの異常判定結果を示すバー63、堆積物の異常判定結果を示すバー64、映像をシークするためのバー65および表示中の映像の現在位置を示すマーカー(ポインター)66、サビの現在位置での異常判定結果67、堆積物の現在位置での異常判定結果68、映像全体の異常判定結果を示す総合判定結果69などがそれぞれ表示されている。
【0064】
画面下部の「映像」とかかれた部分のバー65は、映像をシークするバーとなっており、「映像の現在位置」と書かれた部分にあるマーカー66を移動させることによって映像中の任意のフレームの画像を確認することが可能である。図9の例にはないが、再生ボタン・一時停止ボタン・コマ送りボタンなどを作って映像を自動再生させるようにすることも可能である。
【0065】
バー65の左側は映像の先頭位置、右側は映像の最終フレームに対応づけられ、その上に異常検知項目それぞれ(この画面例ではサビ・堆積物の2種類となっているが異常の種類を増やしてもよい)について、バー63,64に映像中の異常個所を対応付けて表示している。縦縞の模様は異常レベルがBの画像の位置を示し、斜めの網掛け模様の位置は異常レベルがDの画像の位置を示している。
【0066】
入力映像61は、「映像の現在位置」に対応する画像を表示するものであり、処理結果映像62はそれに対し異常検知部30・統合判定部40で検知された結果を重畳した画像を表示するものである。この画像の例では管の下部に堆積した堆積物を検知しており、処理結果映像62の画像において堆積物の領域を枠で囲うことで異常がある場所をわかりやすく表示している。
【0067】
その他、同様に処理結果映像62の画像上に記号や矩形、透過した色の重畳などにより異常検知部30や統合判定部40によって検知された異常が分かりやすくなるよう位置や種類を示してもよい。
【0068】
サビの異常判定結果67および堆積物の異常判定結果68には、表示されている現在位置の画像の異常に対し、それぞれの異常のレベルを判定した結果(部分判定結果)が表示されている。この画像の例ではサビについては異常がないので異常レベルの判定結果がS、堆積物は存在しており異常レベルの判定結果がBとなっている。
【0069】
総合判定結果69は、映像全体の異常判定結果である総合の判定結果を表示している。基本的には個々の異常レベルの最悪値を表示するようにしているが、これに限らず、画面の出力内容は平均値や特定の異常を採用するなどしてもよい。その他、属性情報入力部11により入力される属性情報を併せて表示してもよい。
【0070】
(動作)
次に、図10のフローチャートを参照して、実施形態による管内検査装置の動作の一例を説明する。ここでは、図2の構成例を前提に説明するが、図3図4の構成を前提とした動作に変形して実施することも可能である。また、図10に示される個々の処理は、ステップの番号の順に必ずしも行われるとは限らず、適宜変更することが可能である。例えば、ステップS1とS2とは処理の順序が入れ替わってもよいし、同時に処理されてもよい。
【0071】
まず、映像入力部10が、水道管3の管内を移動しながら撮影を行ったカメラ4の映像データを入力する(ステップS1)。また、属性情報入力部11が、カメラ4に付随する属性を示す属性情報を入力する(ステップS2)。
【0072】
次に、カメラ位置検出部20が、映像入力部10により入力された映像データおよび属性情報入力部11により入力された属性情報を用いて、管内におけるカメラ4の位置を検出する(ステップS3)。
【0073】
次に、異常検知部30が、カメラ4が撮影する検知対象の映像データの中から1つ又は複数の画像を選択し、選択した画像を用いて管内の各検知対象の異常の有無および異常レベルを判定し、判定した結果を検知対象毎に異常検知結果として生成する(ステップS4)。
【0074】
次に、統合判定部40が、異常検知部30により検知対象毎に生成された異常検知結果を統合して、管内の異常のレベルを示す統合判定結果を生成する(ステップS5)。
【0075】
最後に、出力処理部50が、異常検知部30により検知対象毎に生成された異常検知結果および統合判定部40により生成された統合判定結果を含む情報を表示装置もしくは記憶装置に出力する(ステップS6)。
【0076】
<変形例1>
次に、上述した実施形態の変形例1について説明する。以下では、上述した実施形態と異なる部分を中心に説明する。
【0077】
(システム構成)
システム全体の構成は、図1に示したものと同じであるので、ここではその説明を省略する。
【0078】
(管内検査装置1の構成)
図11は、変形例1による管内検査装置1の構成の一例を示す図である。
【0079】
図11の構成例は、図2の構成例から統合判定部40を省いた構成となっている。この場合、出力処理部50は、異常検知部30により検知対象毎に生成された異常検知結果を含む情報を表示装置もしくは記憶装置に出力する。また、この場合、前述した図9の画面では、総合判定結果69は表示されない(後述する図18の画面においても、総合判定結果は表示されない)ことになる。その他の構成は、上述した実施形態と同様となる。
【0080】
(動作)
次に、図12のフローチャートを参照して、変形例1による管内検査装置の動作の一例を説明する。ここでは、前述した図10のフローチャートと異なる部分について説明する。
【0081】
図12の動作例は、前述した図10の動作例からステップS5の処理を省いたものとなっている。この場合、図12では、ステップS4の処理が行われた後、ステップS6’において、出力処理部50が、異常検知部30により検知対象毎に生成された異常検知結果を含む情報を表示装置もしくは記憶装置に出力する。
【0082】
変形例1によれば、管内検査装置1の機能構成を簡潔にすることができるとともに、統合判定の処理を省くことができ、処理にかかる負担を軽減することが可能になる。
【0083】
<変形例2>
次に、上述した実施形態の変形例2について説明する。以下では、上述した実施形態と異なる部分を中心に説明する。
【0084】
(システム構成)
システム全体の構成は、図1に示したものと同じであるので、ここではその説明を省略する。
【0085】
(管内検査装置1の構成)
図13は、変形例2による管内検査装置1の構成の一例を示す図である。
【0086】
図13の構成例は、図2の構成例に対して設定部12を追加した構成となっている。この設定部12は、例えばユーザが行う操作に応じて、属性情報入力部11、カメラ位置検出部20、異常検知部30、および統合判定部40の少なくともいずれかにおける処理で使用される情報の設定またはその変更を行う機能である。
【0087】
その他の構成は、上述した実施形態と同様となる。
【0088】
(動作)
次に、図14のフローチャートを参照して、変形例2による管内検査装置の設定部12に関わる動作の一例を説明する。
【0089】
設定部12は、ユーザの操作を監視しており(ステップS11)、何らかの操作があると(ステップS12のYES)、その操作に応じて該当する設定またはその変更を行う(ステップS13)。
【0090】
変形例2によれば、ユーザが各種の項目の設定やその変更を行うことができるので、装置の使い勝手を向上させることが可能になる。
【0091】
<出力処理部50により実現されるUIの具体例>
以下では、図2図4に示される管内検査装置1に備えられる出力処理部50により実現されるUI(User Interface)の具体例について説明する。
【0092】
(出力処理部50が備える各種の処理部と表示画面)
図15に、出力処理部50に備えられる各種の機能の一例を示す。また、図16に、出力処理部50に備えられる各種の機能により実現される画面の遷移の一例を示す。
【0093】
図15に示されるように、出力処理部50は、映像リスト画面処理部51、映像解析結果確認画面処理部(第1の表示処理部)52、レポート画面処理部(第2の表示処理部)53、差分比較画面処理部(第3の表示処理部)54、および映像解析部50Aを備える。但し、映像解析部50Aは、必ずしも出力処理部50に設けられる必要はなく、例えば異常検知部30や統合判定部40に設けられてもよく、管内検査装置1内であればどの場所に設けられてもよい。図15に示される各機能は、コンピュータに実現させるためのプログラムとして構成される。
【0094】
図15に示される映像リスト画面処理部51、映像解析結果確認画面処理部52、レポート画面処理部53、および差分比較画面処理部54は、それぞれ、図16に示される映像リスト画面51A、映像解析結果確認画面52A、レポート画面53A、および差分比較画面54Aを表示装置に表示させる処理やその他作業者の入力操作に応じた各種の処理を行う。
【0095】
なお、ここでは表示することができる代表的な画面が4種類ある場合を例示するが、この例に限定されるものではない。例えば、4種類の画面のいくつかを分割することで、より多くの種類の画面を表示できる形態としてもよいし、逆にいくつかの画面を統合することでより少ない種類の画面を表示する形態としてもよい。
【0096】
(各種の画面の構成)
図16に示される映像リスト画面51Aには、映像リスト51a、映像ファイル情報51b、ステータス情報51c、解析実行ボタン51d、映像解析結果確認画面を開くボタン51e、レポート画面を開くボタン51f、差分比較画面を開くボタン51gなどが表示される。
【0097】
また、映像解析結果確認画面52Aには、入力映像(第1の映像)52a、処理結果映像(第2の映像)52b、タイムバー(第1のバー)52c、異常種別情報52d、部分判定バー(第2のバー)52e、キャプチャアイコン領域52f、映像再生機能情報52g、画面拡大ボタン52h,52i、キャプチャ実行ボタン52j,52k、総合判定結果情報52l、部分判定結果情報52m、カラー切替ボタン52n、サムネイル表示領域52o、レポート画面を開くボタン52pなどが表示される。
【0098】
レポート画面53Aには、調査結果情報53a、カメラ位置情報53b、キャプチャ画像53c、コメント欄53d、総合判定結果情報53e、担当者判定情報53f、レポート作成ボタン53gなどが表示される。
【0099】
差分比較画面54Aには、比較対象とする複数の映像54a、映像ファイル情報54b、タイムバー54c、映像再生機能54d、スナップショット表示領域54e、スナップショット実行ボタン54f、レポート画面を開くボタン54gなどが表示される。
【0100】
なお、これらの画面に表示される個々の情報の詳細については後で説明する。
【0101】
(各種の処理部に備えられる基本的な機能)
図15に示される映像リスト画面処理部51は、管内をカメラ4で撮影して得られた複数の1つ又は複数の映像を管理するための映像リスト51aを映像リスト画面51Aに表示させる機能を有する。
【0102】
そのほかに映像リスト画面処理部51が映像リスト画面51Aに表示させる情報については、後で述べる。
【0103】
映像解析結果確認画面処理部52は、管内をカメラ4で撮影して得られる第1の映像(ここでは、映像リスト画面51Aの映像リスト51aで管理される複数の映像から選択された1つの映像)と、第1の映像の中の異常を示す領域に色付けをした第2の映像(ここでは、上記選択された映像の中の異常を示す領域に色付けをした映像)とを、比較できるように並べて映像解析結果確認画面52Aに表示させる機能を有する。第1の映像は、映像入力部10より入力された映像データの入力映像52aに相当する。また、第2の映像は、入力映像52aの中の異常を示す領域に色付けをした結果得られる処理結果映像52bに相当する。
【0104】
また、映像解析結果確認画面処理部52は、処理結果映像52bにおいて、検知対象としている異常の種別(異常種別)毎に、又は、異常のレベル(異常レベル)毎に、異なる色を用いて上記色付けをする機能を有する。
【0105】
また、映像解析結果確認画面処理部52は、各映像の時間軸上の位置と管内の長手方向のカメラ位置との関係をポインターで示すタイムバー(第1のバー)52cを映像解析結果確認画面52Aに表示させる機能を有する。
【0106】
また、映像解析結果確認画面処理部52は、各映像の時間軸上の位置と異常が表われる時間軸上の位置との関係を示す部分判定バー(第2のバー)52eを映像解析結果確認画面52Aに表示させる機能を有する。この部分判定バー(第2のバー)52eは、異常種別毎に、異常が表われる時間軸上の位置において異常のレベル毎に異なる色を用いて色付けがされたバーを含む。
【0107】
また、映像解析結果確認画面処理部52は、上記ポインターの移動と上記ポインターの移動に連動した各映像の変化とを可能にする映像再生機能を示す情報(映像再生機能情報)52gを映像解析結果確認画面52Aに表示させる機能を有する。
【0108】
また、映像解析結果確認画面処理部52は、各異常レベルの割合を示すとともに、異常レベル毎に、各種の異常種別の割合を示す総合判定内訳情報52q(図16では図示せず)を映像解析結果確認画面52Aに表示させる機能を有する。総合判定内訳情報52qについては後で詳しく述べる。
【0109】
また、映像解析結果確認画面処理部52は、異常種別毎に、異常ランクの表示を行うか否かの選択を行うことを可能にするとともに、選択した異常種別について処理結果映像52b中の該当する領域に色付けがされるようにすることを可能にする部分判定結果情報52mを映像解析結果確認画面52Aに表示させる機能を有する。
【0110】
また、映像解析結果確認画面処理部52は、処理結果映像52bにおいて、1)異常種別毎に、異なる色を用いて上記色付けをすることと、2)異常レベル毎に、異なる色を用いて上記色付けをすることと、のいずれか一方を指定することを可能にするカラー切替ボタン52nを映像解析結果確認画面52Aに表示させる機能を有する。
【0111】
また、映像解析結果確認画面処理部52は、入力映像52aまたは処理結果映像52bのいずれか一方の表示を拡大させることを可能にする情報として画面拡大ボタン52h,52iを映像解析結果確認画面52Aに表示させる機能を有する。
【0112】
また、映像解析結果確認画面処理部52は、入力映像52aまたは処理結果映像52bから任意の画像をキャプチャして所定の記憶領域に保管するとともにその画像を小さくして例えばサムネイル画像としてサムネイル表示領域52oに表示させることを可能にするキャプチャ実行ボタン52j,52kを映像解析結果確認画面52Aに表示させる機能を有する。
【0113】
そのほかの映像解析結果確認画面処理部52が映像解析結果確認画面52Aに表示させる情報については、後で述べる。
【0114】
レポート画面処理部53は、映像解析結果確認画面52Aでキャプチャした1つ又は複数の画像を用いて調査報告用のレポートに必要な情報をレポート画面53Aに表示させる機能を有する。
【0115】
そのほかにレポート画面処理部53がレポート画面53Aに表示させる情報については、後で述べる。
【0116】
差分比較画面処理部54は、管内をカメラ4で撮影して得られる複数の映像(ここでは、映像リスト画面51Aの映像リスト51aで管理される複数の映像から選択される複数の映像54a)を比較できるように並べて差分比較画面54Aに表示させる機能を有する。
【0117】
そのほかに映像解析結果確認画面処理部52が差分比較画面54Aに表示させる情報については、後で述べる。
【0118】
映像解析部50Aは、例えば、映像リスト画面51Aの映像リスト51aで管理される複数の映像のうち、未解析の状態にある1つ又は複数の映像が選択され、かつ、解析実行ボタン51dを押す操作(例えば入力装置によるクリックまたはタップの操作)が行われる場合に、選択された映像の映像解析を異常検知部30や統合判定部40に依頼するかもしくは自身が映像解析を行う。
【0119】
映像解析では、選択された映像を構成する個々の画像について、錆、堆積物、内面付着、異物付着、内面防食、浮遊物等の検知対象が検知される領域(異常領域)が検知対象毎(すなわち異常種別毎)に特定される。そして、特定された各異常領域の異常種別を示す情報が生成されるとともに、特定された各異常領域の異常レベルを示す情報が部分判定結果として生成され、さらに当該映像の全体としての異常レベルを示す情報が総合判定結果として生成される。
【0120】
映像解析部50Aが映像解析を通じて生成した各種の情報は映像解析結果として所定の記憶領域に保管される。映像解析結果は、映像解析結果確認画面処理部52が映像解析結果確認画面52Aに処理結果映像52bを表示する際の、異常種別毎の色塗表示もしくは異常レベル毎の色塗表示に使用される。また、映像解析結果は、部分判定バー52e内において各異常種別に対応する各バーを表示する際の、異常レベル毎の色塗表示にも使用される。また、映像解析結果は、レポート画面処理部53がレポート画面53Aにコメント欄53dを表示させる際のデフォルト情報の表示などに使用される。
【0121】
(各種の画面間の関係)
管内検査装置1の起動時には、上記4つの画面のうちの映像リスト画面51Aが最初に表示される。映像リスト画面51Aには、複数の映像の一覧を示す映像リスト51aが表示され、各映像に関する編集・検索・追加・削除などを行えるようになっている。
【0122】
映像リスト画面51Aの映像リスト51aの中から1つの映像が選択された状態で、例えば「映像解析画面へ」と記されたボタン51eを押す操作(例えば入力装置によるクリックまたはタップの操作)が行われると、映像解析結果確認画面52Aが開かれて表示される。映像解析結果確認画面52Aには、選択された映像に対応する入力映像52aおよび処理結果映像52bが並んで表示されるので、作業者は双方を比較しながら診断を行える。
【0123】
映像解析結果確認画面52Aの入力映像52aおよび処理結果映像52bの中の任意の撮影時刻の画像がそれぞれ表示されている状態で、入力映像52aに対応するキャプチャ実行ボタン52jまたは処理結果映像52bに対応するキャプチャ実行ボタン52kを押す操作が行われると、該当する画像がキャプチャされて保管されるとともに、その画像が例えばサムネイル画像としてサムネイル表示領域52oに表示される。また、キャプチャが行われた1つ又は複数の画像がある状態で、例えば「レポート画面へ」と記されたボタン52pを押す操作が行われると、レポート画面53Aが開かれて表示される。また、映像リスト画面51Aで「レポート画面へ」と記されたボタン51fを押す操作が行われた場合も、レポート画面53Aが開かれて表示される。
【0124】
レポート画面53Aには、キャプチャされた1つ又は複数の画像53cが配置され、それぞれの異常の内容を一覧で確認できる。例えば「プレビュー」と記されたレポート作成ボタン53gを押す操作が行われると、所定の形式のレポートが電子ファイルとして作成され、所定の記憶領域に保管される。作成されたレポートは、他の機器への転送(クラウドへのアップロードなどを含む)、表示、印刷等を行うことが可能である。
【0125】
レポート画面53Aでは、対象の画像に対応する異常検知結果・異常レベル・定型コメントなどがデフォルトで予めコメント欄53dに入力される。作業者はこれらのデフォルトの情報を修正するなどして編集することでレポートを作成することができ、レポート画面53Aを作成途中で閉じた場合でもその情報は所定の記憶領域に記録され、再度レポート画面53Aを開いたときにはそれまでに作成した情報が表示される。また、レポート画面53Aが完成した後は、映像リスト画面51Aにおいて、レポート作成ボタン53gを押す操作を行うことにより、直接レポート画面53Aを開くことができる。
【0126】
また、映像リスト画面51Aの映像リスト51aの中から複数の映像が選択された状態で、例えば「差分比較画面へ」と記されたボタン51gを押す操作が行われると、差分比較画面54Aが開かれて表示される。差分比較画面54Aには、選択された複数の入力映像54aが並んで表示されるので、作業者は双方を比較しながら差分の確認を行える。
【0127】
差分比較画面54Aの複数の入力映像54aの中の任意の撮影時刻の画像がそれぞれ表示されている状態で、「スクショ」と記されたボタン54fを押す操作が行われると、該当する画像のスナップショットが取られて保管されるとともに、その画像がスナップショットとしてサムネイルの表示形式でスナップショット表示領域54eに表示される。
【0128】
また、スナップショットの画像がある状態で、例えば「レポート画面へ」と記されたボタン54gを押す操作が行われると、レポート画面53Aが開かれて表示される。レポート画面53Aでは、当該スナップショットの画像を、レポートの作成に使用することができるようになっている。
【0129】
(各種の画面の詳細)
以下、図17図26を参照しながら、映像リスト画面51A、映像解析結果確認画面52A、レポート画面53A、および差分比較画面54Aの詳細を説明する。
【0130】
なお、図17図26にそれぞれ示す画面の例は一例であって、その例に限定されるものではない。図17図26に表示される個々の情報は適宜、追加・変更・削除してもよい。
【0131】
(映像リスト画面51A)
図17に、映像リスト画面51Aの一例を示す。
【0132】
映像リスト画面51Aでは、映像リスト51aが表示される。映像リスト51aにおいては、個々の映像が、映像ファイル情報51bという単位で管理される。映像ファイル情報51bで管理される個々の映像は、ファイル形式の映像データ(映像ファイル)として扱われる。
【0133】
例えば画面右上にある「データ取込」と記されたボタンを押す(例えば入力装置によるクリックまたはタップをする)ことにより、記憶装置に既に記憶されている複数の映像データ(映像ファイル)のうち、映像リスト51aに追加したい映像ファイルを指定して、指定した映像ファイルの情報を映像リスト51aに追加することが可能になる。例えば「データ取込」と記されたボタンを押したときに、別のウィンドウが表示され、そのウィンドウの中で所望の映像ファイルを指定できるようにしてもよい。当該ウィンドウでは、キーワード(例えば、具体的な撮影日時、撮影場所など)を入力して絞り込みを行うことで所望の映像ファイルを指定できるようにしてもよいし、複数用意される選択肢(すなわち、複数の映像ファイル)の中から所望の映像ファイルを指定できるようにしてもよい。
【0134】
作業者が映像リスト51aに追加したい映像ファイルを指定すると、記憶装置に既に記憶されている複数の映像ファイルの中から、指定された映像ファイルが読み出され、映像リスト51a内にその映像ファイルの情報が取り込まれて追加される。
【0135】
本例では、映像ファイルを指定することで記憶装置からその映像ファイルの情報を映像リスト51a内に取り込む例を示しているが、別の端末からネットワーク経由で映像ファイルの情報を転送することで映像リスト51a内への取り込みを行ってもよいし、映像ファイルが記憶されているメモリカードなどのメディアをカードリーダなどに差し込むことによってそのメディアから映像ファイルの情報を読み出して映像リスト51a内に取り込むようにしてもよい。
【0136】
映像リスト51aに追加される映像ファイルには、映像に付随する情報(属性情報)が含まれていてもよい。また、属性情報は映像ファイルに含まれていてもよいが、属性情報を別のファイル(属性ファイル)に保管し、属性ファイルを映像ファイルと関連付けて管理するようにしてもよい。その場合、映像ファイルを指定したときに、その映像ファイルの情報とともに関連する属性ファイルの情報が映像リスト51a内に取り込まれるようにしてもよい。このとき、映像ファイルの情報と属性ファイルの情報とがまとめられ、1つのファイルの情報として映像リスト51a内に追加されるようにしてもよい。
【0137】
各映像ファイル情報51bにおいて表示される情報は、対応する映像に関連する情報を含む。ここには、当該映像に付随する属性情報が含まれてもよい。また、映像ファイル情報51bの内容は、後述するように作業者が自由に編集することができる。
【0138】
本例では、各映像ファイル情報51bが、リスト(表)形式で一覧表示される例を示しているが、この例に限定されるものではない。例えば、アイコンが並ぶ形式で各映像ファイル情報51bが表示されるようにしてもよい。
【0139】
図17の例では、映像リスト51aは、1つの映像につき映像ファイル情報51bを1行で表示している。映像リスト51aに表示される項目は、各映像ファイル情報51bで管理される映像ファイルのファイル名・撮影日時・撮影場所・管の情報(口径・材質など)・敷設年度などを含む。これらの中には属性情報に相当するものが含まれてもよい。なお、列の方向に並ぶNo.の数字は、数字に限らず、アルファベットや記号など、映像を識別できる情報であればどんなものでもよい。
【0140】
映像ファイル情報51bにおいては、各項目の内容を作業者が直接編集できるようにしてもよいし、編集対象となる映像ファイル情報51bを選択し、かつ、例えば「情報入力」と記されたボタンを押した場合にのみ、編集を行えるようにしてもよい。また、編集においては、文字等の入力を行えるようにしてもよいし、予め用意された複数の選択肢の中から1つを選択できる(例えば、管の口径(cm)では、選択肢「100」,「150」,「200」等の中から1つを選択できる)ようにしてもよい。
【0141】
また、画面上部には、映像ファイルの検索に使用できる各種のコントロール(撮影場所、撮影日時、フリーキーワード等の条件の指定を可能とするコントロール)が配置されている。これらコントロールで具体的な撮影場所、撮影日時などの条件を指定した上で、「検索」と記されたボタンを押すと、条件に合致した映像ファイルの情報が映像ファイル情報51bとして映像リスト51aに表示される。
【0142】
例えば、撮影場所を指定した場合に、撮影場所が同じで撮影日時が異なる複数の映像ファイル情報51bが表示されれば、作業者はそれらを比較することが可能になる。また、撮影日時を指定した場合に、撮影日時が同じで撮影場所が異なる複数の映像ファイル情報51bが表示されれば、作業者はそれらを比較することが可能になる。
【0143】
なお、映像ファイルの検索を行う際に、上記コントロールを使用する代わりに、別のウィンドウを開けるようにし、そのウィンドウで条件を指定して検索を行えるようにしてもよい。その場合、複数の選択肢の中から1つを選択できるようにしてもよいし、キーワードを入力して検索を行えるようにしてもよい。
【0144】
また、画面右側に示されるように、各映像の処理の状態を示す項目として、映像ファイル情報51b毎にステータス情報51cが表示されてもよい。ステータス情報51cには、映像解析が済んでいない未解析の状態であれば「未解析」、映像解析が済んでいる解析済の状態(但し、レポートは未作成の状態)であれば「解析済」、解析済で且つレポートが作成済の状態であれば、「レポート作成済」といった3種類のステータスのいずれかが表示される。また、このようなステータスを検索の対象に含めて検索を行えるようにしてもよい。
【0145】
ステータスが「解析済」の場合は、総合判定結果に示される異常レベル(例えば、「S」、「A」、「B」、「C」、「D」のいずれか)が項目の1つとして表示されてもよい。
【0146】
ステータスが「未解析」の場合は、解析対象の映像を選択して解析実行ボタン51dを押すことにより、映像解析を実施することができる。映像解析が完了して映像解析結果が生成されると、ステータスが「解析済」に変わる。
【0147】
また、画面右下には、映像解析結果確認画面52Aを開くためのボタン51e、レポート画面53Aを開くためのボタン51f、差分比較画面54Aを開くためのボタン51gがある。
【0148】
ステータスが「未解析」の1つの映像ファイル情報51bを選択した状態で、例えば「映像解析結果へ」と記されたボタン51eを押すことにより、対応する映像の映像解析結果確認画面52Aを開くことができる。「映像解析結果へ」と記されたボタン51eを押す操作でなく、リストのダブルクリック(ダブルタップ)等で開けるようにしてもよい。ステータス表示が「解析済」となっていることが前提であるが、未解析の状態で「映像解析結果へ」と記されたボタン51eを押した場合は、例えば「まだ映像解析をしていません」旨のメッセージを表示して映像解析の実行を作業者に促すようにしてもよい。
【0149】
また、ステータスが「レポート作成済」の1つの映像ファイル情報51bを選択した状態で、例えば「レポート作成画面へ」と記されたボタン51fを押すことにより、レポート作成画面53Aを直接開くことができる。
【0150】
また、例えば2つの映像ファイル情報51bを選択した状態で、例えば「差分比較画面へ」と記されたボタン51gを押すことにより、対応する2つの映像が並べられた差分比較画面54Aを開くことができる。
【0151】
なお、画面のレイアウトやウィンドウを別に開くかどうかなどは、設計上の事項であり、適宜変更して実施しても構わない。このことは、後述する画面52A,53A,54A等についても同じことが言える。
【0152】
(映像解析結果確認画面52A)
図18に、映像解析結果確認画面52Aの一例を示す。
【0153】
映像解析結果確認画面52Aには、入力映像52aおよび処理結果映像52bが比較しやすいように並んで表示される。入力映像52aには、映像リスト画面51Aにおいて指定された映像の例えば1フレーム分の画像が表示される。処理結果映像52bには、その画像に対して映像解析を行った処理結果が重畳された画像が表示される。具体的には、異常を示す領域に、色付けがされた状態で表示される。
【0154】
より具体的には、異常を示す領域に、検知対象としている異常種別(ここでは、「錆」、「堆積物」、「内面付着」、「異物付着」、「内面防食」、「浮遊物」)ごとに異なる色が色塗された状態で表示される。
【0155】
色塗表示には、異常種別を識別できるように異常種別毎に異なる色(ここでは、「錆」には桃色、「堆積物」には緑色、「内面付着」には紫色、「異物付着」には柿色、「内面防食」には青色、「浮遊物」には水色)が適用される第1のモードと、異常レベルを識別できるように異常レベル毎に異なる色(ここでは、「A」には緑色、「B」には黄緑色、「C」には橙色、「D」には赤茶色、「S」には色塗せず)が適用される第2のモードとが用意されており、いずれか一方のモードを後述するカラー切替ボタン52nで選択できるようになっている。
【0156】
図18の例では、処理結果映像52bにおいて、錆が検出された部分に、部分判定結果の異常レベルDを示す赤茶色が色塗された例が示されている。
【0157】
なお、本例では、異常種別の違いや異常レベルの違いを、色の違いで表現する場合を例示するが、この例に限定されるものではない。例えば、色の違いの代わりに、色のトーンの違い、色の透過度の違い等で表現してもよい。
【0158】
入力映像52aおよび処理結果映像52bの下側には、タイムバー52cがある。タイムバー52cは、カメラ4による撮影を開始してから終了するまでの映像の撮影時刻と管内の長手方向のカメラ位置との関係を示すグラフを含む。
【0159】
図19に、タイムバー52cの例を拡大して示す。タイムバー52c内のグラフでは、横軸に映像の撮影時刻、縦軸にカメラ位置をとり、グラフ中にカメラ4の動きTが示される。また、入力映像52aおよび処理結果映像52bにおいて表示される映像の時間軸上の位置と管内の長手方向のカメラ位置との関係が、縦長のポインターPが示される。図19の例では、縦軸を示すカメラ位置は上端が0m、下に向かうほどカメラが管の奥に進んだ状態となる。このグラフから、表示される映像のカメラ位置を確認できるだけでなく、カメラの動きやカメラが往路なのか復路なのかも確認することができる。
【0160】
ポインターPをドラッグ操作などにより左右に動かせば、それに連動して入力映像52aおよび処理結果映像52bも変化するようになっている。例えばポインターPを左右に移動させることにより、映像の任意の撮影時刻もしくは任意のカメラ位置のフレーム(画像)を探し(シークし)、任意の撮影時刻もしくは任意のカメラ位置の画像を入力映像52aおよび処理結果映像52bに表示させることができる。このとき入力映像52aおよび処理結果映像52bの中の右上には、カメラ位置を示す情報が表示される。撮影時刻も併せて表示されるようにしてもよい。
【0161】
タイムバー52cの下側には、異常種別情報52dと部分判定バー52eがある。図18の例では、異常種別情報52dにおいて、上から順に「錆」、「堆積物」、「内面付着」、「異物付着」、「内面防食」が配列され、それぞれの色が定義されている(但し、「浮遊物」の図示は省略されている)。この配列に対応するように、部分判定バー52e内には、「錆」、「堆積物」、「内面付着」、「異物付着」、「内面防食」に対応する複数のバーが配置されている。これら異常種別毎に配置された複数のバーは、それぞれ、異常が表われる時間軸上の位置において、異常レベル毎に異なる色で色塗されている。上述した縦長のポインターPは、部分判定バー52e内においても、左右に移動するようになっている。
【0162】
図18の例では、ポインターPが、「錆」に対応するバーにかかり、そのバーが赤茶色で表示されていることから、その映像時刻・カメラ位置における「錆」の異常レベルが「D」であることがわかる。
【0163】
よって、作業者はタイムバー52c、異常種別情報52d、部分判定バー52eおよびポインターPを参照することで、映像中におけるどの撮影時刻・カメラ位置のフレーム(画像)においてどの異常がどの異常レベルにて発生しているかを容易に把握できる。さらに作業者は、ポインターPをドラッグ操作などにより移動させることで、任意の撮影時刻・カメラ位置のフレーム(画像)を入力映像52aおよび処理結果映像52bに表示させ、異常の状況を視認することができる。
【0164】
部分判定バー52eの下側には映像再生機能情報52gがある。映像再生機能情報52gには、映像再生に関する各種のコントロールボタンが用意されており、作業者はこれらのボタンを操作することで、入力映像52aおよび処理結果映像52bの再生・停止・早送り・巻き戻し・コマ送り・コマ戻しを行えるようになっている。上述したポインターPは、映像の再生・停止・早送り・巻き戻し・コマ送り・コマ戻しに応じて左右に動く。
【0165】
入力映像52aおよび処理結果映像52bの上側には、総合判定結果情報52lおよび部分判定結果情報52mがある。総合判定結果情報52lは、映像全体としての異常レベルを示す総合判定結果の情報である。部分判定結果情報52mは、異常種別毎に、異常ランクの表示を行うか否かの選択を行うことを可能にするとともに、選択した異常種別について処理結果映像52b中の該当する領域に色付けがされるようにすることを可能にする情報である。
【0166】
図20に、総合判定結果情報52lから開くことが可能な総合判定内訳情報52qの例を拡大して示す。総合判定結果情報52lの中の、例えば「i」と記されたボタンを押すと、総合判定結果の異常レベルの内訳を示す総合判定内訳情報52qが新たなウィンドウとして開かれて表示される。
【0167】
総合判定内訳情報52qは、各異常レベルの内訳と割合を示すとともに、異常レベル毎に、各種の異常種別(「錆」、「堆積物」、「内面付着」、「異物付着」、「内面防食」、「浮遊物」)の内訳と割合を示す情報である。作業者はこの総合判定内訳情報52qを参照することにより、個々の異常レベルの割合を確認できるとともに、異常レベル毎に、どの異常種別がどの程度の頻度で発生しているのかを確認することができる。
【0168】
各異常レベルの内訳および異常レベル毎の各異常種別の内訳は、画像毎に(1フレーム単位で)で算出した結果を表示するようにしてもよいし、複数フレームを1つのグループとしてグループ単位で算出した結果を表示するようにしてもよい。また、1フレーム単位またはグループ単位で異常種別の有無を算出してその割合を表示するようにしてもよい。
【0169】
また、総合判定内訳情報52qを図20のように表示する代わりに、各異常種別の内訳と割合を示すとともに、異常種別毎に、各ランクの内訳と割合を示すように表示してもよいし、そのような表示を図20の表示とともに行ってもよい。
【0170】
図21に、部分判定結果情報52mの表示の2つの例を拡大して示す。部分判定結果情報52mには、異常種別毎に、チェックを入れることが可能な領域が用意されている。その領域を押す操作を行うごとに、チェックのオン/オフが切り替えられる。これにより、異常種別毎に、部分判定結果情報52mにおいて異常ランクの色塗表示を行うとともに処理結果映像52bにおいて該当する異常領域に対する異常種別の色塗表示を行うか否かの選択を行うことが可能となっている。
【0171】
図21の(a)の例では、部分判定結果情報52mにおいて、すべての異常種別(「錆」、「堆積物」、「内面付着」、「異物付着」、「内面防食」、「浮遊物」)に対してチェックが入れられている。この場合、部分判定結果情報52mにおいてはすべての異常種別に対してそれぞれの異常ランクの色塗表示(「A」には緑色、「B」には黄緑色、「C」には橙色、「D」には赤茶色の色塗)が行われ、処理結果映像52bにおいてはすべての異常種別を示す異常領域に対してそれぞれの異常種別を示す色塗表示(「錆」には桃色、「堆積物」には緑色、「内面付着」には紫色、「異物付着」には柿色、「内面防食」には青色、「浮遊物」には水色)の色塗表示が行われている。
【0172】
図21の(b)の例では、部分判定結果情報52mにおいて、1つの異常種別(ここでは「錆」のみ)に対してチェックが入れられている。この場合、部分判定結果情報52mにおいては1つの異常種別「錆」だけに対してその異常ランクの色塗表示(ここでは「D」を示す赤茶色の色塗)が行われ、処理結果映像52bにおいては異常種別「錆」を示す異常領域だけに対して異常種別「錆」を示す桃色の色塗表示が行われている。なお、部分判定結果情報52mにおいてチェックが入れられていない異常種別については、異常ランクがすべて「S」(例えば正常を示す異常ランク)になっているが、これらは色塗表示されていない。
【0173】
作業者は特定の異常種別だけを確認したいときに、その異常種別だけに対してチェックを入れることで、その異常種別についてだけ、部分判定結果情報52mにおいて異常ランクを確認することができるとともに、処理結果映像52bにおいてその異常種別に対応する異常領域だけを確認することができる。
【0174】
図22(a)に、カラー切替ボタン52nの例を拡大して示す。また、図22(b)に、カラー切替ボタン52nの「判定」と記されたボタンが押された場合の処理結果映像52bの表示例を示す。また、図22(c)に、カラー切替ボタン52nの「種別」と記されたボタンが押された場合の処理結果映像52bの表示例を示す。
【0175】
図22(a)に示されるカラー切替ボタン52nは、「判定」と記されたボタンと「種別」と記されたボタンとを含む。
【0176】
図22(a)において「種別」と記されたボタンは、異常種別を識別できるように異常種別毎に異なる色が適用される第1のモードを選択するためのボタンである。「判定」と記されたボタンは、異常レベルを識別できるように異常レベル毎に異なる色が適用される第2のモードを選択するためのボタンである。
【0177】
作業者が「種別」と記されたボタンを押すと、第1のモードが選択されることになり、図22(b)に示されるように、映像解析結果確認画面52A内の処理結果映像52bにおいて、各異常種別の領域が、異常種別毎に異なる色(「錆」には桃色、「堆積物」には緑色、「内面付着」には紫色、「異物付着」には柿色、「内面防食」には青色、「浮遊物」には水色の色塗表示)で色塗された状態となる。
【0178】
一方、作業者が「判定」と記されたボタンを押すと、第2のモードが選択されることになり、図22(c)に示されるように、映像解析結果確認画面52A内の処理結果映像52bにおいて、各異常種別の領域が、異常レベル毎に異なる色(「A」には緑色、「B」には黄緑色、「C」には橙色、「D」には赤茶色、「S」には色塗せず)で色塗された状態となる。このとき、部分判定バー52e内の各異常種別に対応する各バーも、該当する異常レベルに対応する色で色塗された状態になる。
【0179】
作業者はこのようなカラー切替ボタン52nを操作することにより、処理結果映像52bにおいて各異常種別の領域を確認したり、各異常種別の領域の異常レベルを確認したりすることを繰り返し行うことができる。
【0180】
図23(a)に、画面拡大ボタン52h,52iの例とキャプチャ実行ボタン52j,52kの例とを拡大して示す。ここでは、画面拡大ボタン52h,52iの例を先に説明し、キャプチャ実行ボタン52j,52kの例については後で説明する。また、図23(b)に、画面拡大ボタン52h(図18中のボタン52h)が押された場合に入力映像52aが拡大される表示例を示す。また、図22(c)に、画面拡大ボタン52i(図18中のボタン52i)が押された場合に処理結果映像52bが拡大される表示例を示す。
【0181】
画面拡大ボタン52h,52iは、それぞれ、押す操作を行うごとに、対応する映像が拡大した状態と通常の大きさの状態とが切り替えられる。例えば入力映像52aと処理結果映像52bのうち、入力映像52aをより詳細に確認したい場合、画面拡大ボタン52hを押すと、図23(b)のように入力映像52aが拡大された状態で表示される。一方、入力映像52aと処理結果映像52bのうち、処理結果映像52bをより詳細に確認したい場合、画面拡大ボタン52iを押すと、図23(c)のように処理結果映像52bが拡大された状態で表示される。
【0182】
どちらか一方の画像を拡大した場合、残るもう1つの画像が小さく表示されるようにしてもよい。そのようにすると、双方の画像の一部が重なって見えなくなる所がなく、双方の画像を比較しやすくなる。
【0183】
なお、一方の画像が拡大されたときに、他の情報の表示(例えば、前述したタイムバー52cなどの表示)が妨げられる場合は、その表示が妨げられないよう、映像解析結果確認画面52Aのレイアウトが適宜変更されるようにしてもよい。例えば、タイムバー52cなどの表示位置を移動させたり、その表示サイズを小さくしたり、その他の情報の表示(例えば、前述した部分判定バー52eの表示)を非表示の状態にしたりしてもよい。また、非表示の状態にしたりせずに、代わりになる新たな形態のコントロールが表示されるようにしてもよい。また、映像52a,52bの拡大表示画面を別のウィンドウとして表示させてもよい。その場合、当該ウィンドウを閉じることで元の映像解析結果確認画面52Aが表示された状態に戻る。
【0184】
図23(a)に示されるキャプチャ実行ボタン52j,52kは、入力映像52aまたは処理結果映像52bから、現在表示されている画像をキャプチャして所定の記憶領域に保管するとともにその画像を小さくして例えばサムネイル画像として図18に示される画面右側のサムネイル表示領域52oに表示させることを可能にするボタンである。
【0185】
例えば映像52a,52bにおける代表的な異常が見られる画像(フレーム)をあとで改めて確認したい場合、キャプチャ実行ボタン52j,52kを押すことにより、当該画像をキャプチャし、キャプチャした画像を記憶装置に記録しておき、あとでその画像を確認することができる。
【0186】
キャプチャ実行ボタン52j,52kを押したときには、現在表示されている画像がキャプチャされ、キャプチャされた画像と、その画像に含まれる異常種別、各異常種別に対する異常レベル、カメラ位置、撮影時刻などの情報(対応する映像解析結果の情報を含む)とが関連付けられた状態で、また、記憶装置に記録されるとともに、図18に示される画面右側のサムネイル表示領域52oに追加される。
【0187】
サムネイル表示領域52oに追加されて表示されるものは、サムネイル画像と、それに関する異常種別、各異常種別に対する異常レベル、カメラ位置、撮影時刻を示す情報の少なくとも1つとを含む。
【0188】
サムネイル表示領域52oに複数のサムネイル画像がある場合、それらは見やすくなるように一覧表示される。サムネイル表示領域52oの中に、同一の映像で異なる時刻に撮影された画像が複数表示される場合、各画像が時刻順に並べられるようにしてもよいし、キャプチャした順に並べられるようにしてもよいし、撮影したときのカメラ位置の順に並べられるようにしてもよい。サムネイル画像の並びは作業者が自由に変えられるようにしてもよい。その場合、サムネイル表示領域52oなどに各種のソートを自由に行える機能が設けられてもよい。そのようにすると、作業者はサムネイル画像の並びを所望の順に並び替えることができ、使い勝手の良いものとすることができる。
【0189】
キャプチャ実行ボタン52jまたは52kが押されることで、映像中のある画像のキャプチャされた場合、当該画像がキャプチャ済みであることを示すキャプチャアイコンが、図18中の部分判定バー52eの下にあるキャプチャアイコン領域52fの中にマークや記号などとして表示される。当該画像のキャプチャアイコンが表示される位置は、当該画像が撮影された時刻を示している。キャプチャアイコンの上側には、例えば部分判定バー52e上を通ってタイムバー52cの方へ向けて縦に延びる棒状の線が同時に表示される。タイムバー52c内のグラフの横軸は、映像の撮影時刻を示しているため、当該棒状の線およびキャプチャアイコンの位置から、キャプチャを行った画像の撮影時刻を把握することができるとともに、部分判定バー52eの各バーから、当該画像にどのような異常種別が含まれ、各異常種別がどのような異常レベルを示しているのかを把握することができる。
【0190】
また、図18中の映像再生機能情報52gには、作業者がキャプチャアイコン領域52fの中のキャプチャアイコン及び棒状の線と、ポインターPとを参照しながら、キャプチャされた複数のフレーム(画像)をスキップさせることを可能にする機能が備えられている。
【0191】
図24に、映像再生機能情報52gの例を拡大して示す。図24に示されるように、映像再生機能情報52gは、再生・停止・早送り・巻き戻しに対応したボタン25r,52s,52t,52uを含むことに加え、キャプチャしたフレーム(画像)をスキップさせるボタン52v,52wをさらに含む。ボタン52v,52wは、それぞれ、押されるたびに、キャプチャされた複数のフレーム(画像)を早送りの方向または巻き戻しの方向にスキップさせる。
【0192】
例えば、ボタン52vが押されると、ポインターPが、例えばキャプチャアイコン領域52f内の一番左側にあるキャプチャアイコン(及び棒状の線)のある位置に飛び、それに連動して映像52a,52bは対応する画像を表示する。その後、ボタン52vが押されるたびに、ポインターPが、当該キャプチャアイコン(及び棒状の線)の右隣にあるキャプチャアイコン(及び棒状の線)のある位置に飛び、それに連動して映像52a,52bも対応する画像を表示する。一方、ボタン52wが押された場合は、ポインターPが、ボタン52vとは逆の方向に飛び、当該キャプチャアイコン(及び棒状の線)の左隣にあるキャプチャアイコン(及び棒状の線)のある位置に飛び、それに連動して映像52a,52bは対応する画像を表示することになる。
【0193】
作業者はこのようなボタン52v,52wを操作することにより、個々のキャプチャしたフレーム(画像)をスキップさせながら各画像の異常種別や異常ランクを確認することができる。
【0194】
また、サムネイル表示領域52o内の任意のサムネイル画像を選択して削除することができるようにしてもよい。サムネイル画像を削除する操作が行われた場合には、当該サムネイル画像および関連する情報が削除され、また、対応するキャプチャアイコン(及び棒状の線)も併せて削除される。
【0195】
また、任意のサムネイル画像をクリックしたり、ダブルクリックをしたりすると、映像解析結果確認画面52A内の映像52a,52bが、当該サムネイル画像に関連付けられた撮影時刻の画像(フレーム)を表示するようにしてもよい。
【0196】
(レポート画面53A)
レポート画面53Aは、レポートを作成する際に使用される。レポートは、管内の調査結果を示す報告書(電子ファイル)であり、管内で生じている異常の状況を、当該異常を示す画像を添えて説明したものである。管内の調査結果の報告が求められるときには、対応するレポートが印刷されたり、あるいは他の機器へ転送されたりする。
【0197】
図25(a)に、レポート画面53Aの一例を示す。また、図25(b)に、レポート画面53Aでのレポート画面のコメント欄の記載に使用される単語の定義の一例を示す。
【0198】
図25(a)に示されるレポート画面53Aは、映像解析結果確認画面52Aにおいてキャプチャされた画像を用いて代表的な異常個所を報告できる情報を容易に整理できることを可能にする。
【0199】
レポート画面53Aには、調査結果情報53a、カメラ位置情報53b、キャプチャ画像53c、コメント欄53dなどが表示される。
【0200】
調査結果情報53aには、例えば「東方向へ挿入(挿入距離:約12.5m)」等といった調査結果のタイトルを記入できるようになっている。
【0201】
カメラ位置情報53bには、調査対象の管内を模式的に表現した模式図が記載される。模式図には、管の長手方向に延びる横軸が設けられ、挿入口からの距離を示す目盛りが設けられている。目盛りのスケールは、固定で設定されていてもよいが、キャプチャした画像に紐づけられているカメラ位置の最大値にあわせて設定されるようにしてもよい。
【0202】
また、キャプチャ済みの画像は例えば撮影時刻順に番号付けされており、各番号を例えば丸数字で表したものが、上記模式図において撮影が行われたカメラ位置に相当する場所に記載されるようになっている。図25(a)の例では、5つのキャプチャ済みの画像に番号付けされ、5つの丸数字が上記模式図に記載されている。
【0203】
キャプチャ画像53cは、キャプチャされた画像に相当する。図25(a)の例では、キャプチャされた5つの画像のうち、2つの画像だけが表示されている。残りの3つの画像は、画面下側に隠れており、スクロール操作により見えるようにすることができる。
【0204】
コメント欄53dは、キャプチャ画像53cとともに表示されるものであり、その中に具体的なコメントを作業者が記入することができるようになっている。また、コメントのほか、その上側には、画像がキャプチャされたときに関連付けられて記録されている情報など(上述した丸数字のほか、カメラ位置に相当する[距離]、部分判定結果を示す異常ランクを示す[部分判定])が表示される。[部分判定]としては、当該画像の代表的な異常レベル(例えば、最も悪い異常レベル)が採用される。そのほか、異常種別を示す情報も併せて表示されるようにしてもよい。
【0205】
キャプチャされた画像には、映像解析結果の情報などが対応付けて記録されていることから、レポート画面53Aを開いたときに、コメント欄53dに自動的に定型の文章として例えば異常検知結果の異常レベルを説明する文章が記入されて表示されるようにすることができる。例えば「管内のカメラ位置○○に、異常レベル△△の異常種別××が確認される.」といった文章が自動的に作成されて表示されるようにしてもよい。
【0206】
また、作業者がコメントを記入する際に使用する頻度が高い用語(例えば、管内の異常が認められる位置を示す用語など)を、選択操作を行うだけで簡単に入力できるようにしてもよい。選択操作は、例えば、画像53c中の任意の位置をクリックすることで実現してもよいし、別ウィンドウで予め用意された情報の任意の位置をクリックすることで実現してもよい。
【0207】
図25(b)に、管内の各位置を示す用語を定義した情報の一例を示す。図25(b)の例では、管内の各位置は、画像を二次元座標のx軸方向とy軸方向とにそれぞれ3分割して9個の領域を設け、各領域に対して管内の各位置を示す用語を定義したものとなっている。このような情報を、別ウィンドウに配置したり、あるいは、当該情報が見えない形で画像53cに配置したりすることで、作業者は、任意の部分をクリックするなどの簡単な操作で所望の用語をコメント欄53dに入力することができる。
【0208】
また、作業者がコメントを記入する際には、キャプチャした画像に関するコメントとして異常種別および異常レベルの両方についての説明が求められる。そのため、定型文として、異常種別および異常レベルを併記した形の文章が自動的に記入されて表示されるようにしてもよい。例えば、異常種別および異常レベルが複数ある場合には「と」や句読点などで句切って並べて記入された状態で表示されるようにしてもよい。
【0209】
また、画面上部には、総合判定結果情報53eと担当者判定情報53fとが表示される。
【0210】
総合判定結果情報53eには、総合判定結果に示される異常レベルが表示される。担当者判定情報53fには、例えばデフォルトとして総合判定結果情報53eと同じ異常レベルが表示されるが、必要に応じて作業者が変更することができるようになっており、変更した場合には変更後の異常ランクが保存される。
【0211】
このように作業者は個々の画像53cにそれぞれ対応するコメント欄53dを簡単に編集・作成することができ、担当者判定情報53fの異常ランクを適切に変更したりすることも可能である。
【0212】
また、例えば「プレビュー」と記されたレポート作成ボタン53gが押されると、所定の形式のレポート(報告書)が電子ファイルとして作成され、記憶装置に記憶される。作成された報告書は、他の機器への転送、表示、印刷等を行うことが可能である。
【0213】
報告書のフォーマットは、事前に定義されていてもよく、レポート画面53A上で表示された情報をもとに、当該フォーマットに沿った報告書が作成されるようにしてもよい。
【0214】
なお、図25の例では、コメント欄53dの上部には、上述した丸数字、カメラ位置に相当する[距離]、部分判定結果を示す異常ランクを示す[部分判定]だけが表示されているが、これらに加えて、例えば前述した各映像ファイル情報51bで管理される映像ファイルのファイル名・撮影日時・撮影場所・管の情報(口径・材質など)・敷設年度等の少なくともいずれかをレポート画面53Aに取り込んで表示されるようにしてもよい。
【0215】
(差分比較画面54A)
図26に、差分比較画面54Aの一例を示す。
【0216】
差分比較画面54Aは、映像リスト画面51Aの映像リスト51aで管理される複数の映像から選択された複数の映像54aを作業者が比較できるようにする画面である。ここでは、2つの映像54aが表示される例について説明する。
【0217】
差分比較画面54Aには、比較対象とする複数の映像54aのほかに、映像ファイル情報54b、タイムバー54c、映像再生機能54d、スナップショット表示領域54e、スナップショット実行ボタン54f、レポート画面を開くボタン54gなどが表示される。タイムバー54cおよび映像再生機能54dは、前述したタイムバー52cおよび映像再生機能情報52gと同等の機能を有するものである。
【0218】
映像ファイル情報54bには、[水道管名]、[撮影日時]、[総合判定](総合判定結果の異常ランクに相当)、[距離](カメラ位置に相当)が表示される。但し、これらの情報は必ずしも全て表示される必要はなく、表示されないものがあってもよい。
【0219】
並べられた2つの映像54aは、それぞれ独立して再生やシーク等を行えるようになっている。再生やシーク等は、タイムバー54cおよび映像再生機能54dを用いて行うことができる。また、2つの映像54aは、撮影時のカメラの動きが異なるため、同期して再生する必要はなく、別々に再生できるようになっている。2つの映像54aは、カメラ位置の情報にあわせて同じカメラ位置の画像を表示できるようにしてもよい。
【0220】
また、差分比較画面54Aには、「スクショ」と記されたボタン54fがある。2つの入力映像54aの中の任意の撮影時刻の画像がそれぞれ表示されている状態で、「スクショ」と記されたボタン54fが押されると、該当する画像のスナップショットが取られて保管されるとともに、その画像がスナップショットとしてサムネイルの表示形式でスナップショット表示領域54eに表示される。2つの画像を並べてキャプチャすることによって、これらの画像をレポート画面53A上で表示できるようにしてもよいし、個別の画像ファイルとして保存できるようにしてもよい。
【0221】
また、スナップショットの画像がある状態で、例えば「レポート画面へ」と記されたボタン54gが押されると、レポート画面53Aが開かれて表示されることになる。レポート画面53Aでは、当該スナップショットの画像を、レポートの作成に使用することができる。
【0222】
このように作業者は、必要に応じて映像リスト画面51Aの映像リスト51aで管理される複数の映像から任意に選択された複数の映像54aを自由に比較することができる。これにより、例えば時間経過観察や洗管前後での確認作業を簡単に行うことができる。さらに比較結果を報告書の作成に活用することができる。
【0223】
(動作例)
次に、図27を参照して、管内検査装置1の出力処理部50による動作に一例を説明する。なお、ここでは、映像解析処理がすでに完了している状態にあるものとして説明する。
【0224】
最初に、映像リスト画面処理部51により、管内をカメラ4で撮影して得られた複数の1つ又は複数の映像を管理するための映像リスト51aが映像リスト画面51Aに表示される。表示された映像リスト画面51Aに対して作業者から何らかの操作があった場合には、その操作に応じた処理が行われる(ステップS21)。
【0225】
ここで、例えば映像リスト画面51Aの映像リスト51aの中から1つの映像が選択された状態で、例えば「映像解析画面へ」と記されたボタン51eを押す操作(例えば入力装置によるクリックまたはタップの操作)が行われた場合(ステップS22のYES)、映像解析結果確認画面52Aが開かれて表示され、入力映像52aと処理結果映像52bとを比較して確認作業を行うことが可能になる。表示された映像解析結果確認画面52Aに対して作業者から何らかの操作があった場合には、その操作に応じた処理が行われる(ステップS23)。例えば、映像中の任意の画像をキャプチャする操作があった場合には、その画像をキャプチャして所定の記憶領域に保管するとともにその画像を小さくして例えばサムネイル画像としてサムネイル表示領域52oに表示させる処理が行われる。
【0226】
ここで、キャプチャが行われた1つ又は複数の画像がある状態で、例えば「レポート画面へ」と記されたボタン52pを押す操作が行われた場合(ステップS24のYES)、レポート画面53Aが開かれて表示され、レポートの編集・作成が可能になる。表示されたレポート画面53Aに対して作業者から何らかの操作があった場合には、その操作に応じた処理が行われる(ステップS25)。
【0227】
一方、映像リスト画面51Aにおいて、キャプチャが行われた1つ又は複数の画像がある状態で、「レポート画面へ」と記されたボタン51fを押す操作が行われた場合(ステップS22のNO、ステップS26のYES)、レポート画面53Aが開かれて表示され、前述したステップS25と同様の処理が行われる。
【0228】
また、映像リスト画面51Aにおいて、複数の映像が選択された状態で、「差分比較画面へ」と記されたボタン51gを押す操作が行われた場合(ステップS26のNO、ステップS27のYES)、差分比較画面54Aが開かれて表示され、選択された複数の入力映像54aを比較しながら差分の確認を行うことが可能になる。表示された差分比較画面54Aに対して作業者から何らかの操作があった場合には、その操作に応じた処理が行われる(ステップS28)。例えば、差分比較画面54Aの複数の入力映像54aの中の任意の撮影時刻の画像がそれぞれ表示されている状態で、「スクショ」と記されたボタン54fを押す操作が行われた場合、該当する画像のスナップショットが取られて保管されるとともに、その画像がスナップショットとしてサムネイルの表示形式でスナップショット表示領域54eに表示される。
【0229】
以上の処理により、管内検査装置において入力映像と映像解析結果を各種の画面を通じて表示させたり各画面での作業者の操作に応じた適切な処理を行ったりすることで、作業の効率を高めることが可能になる。
【0230】
以上詳述したように、実施形態によれば、管内の診断を容易に行うことが可能になる。
【0231】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0232】
1…管内検査装置、2…現場、3…水道管、4…カメラ、5…記録媒体、10…映像入力部、11…属性情報入力部、12…設定部、20…カメラ位置検出部、30…異常検知部、40…統合判定部、50…出力処理部、50A…映像解析部、51…映像リスト画面処理部、51A…映像リスト画面、52…映像解析結果確認画面処理部(第1の表示処理部)、52A…映像解析結果確認画面、53…レポート画面処理部(第2の表示処理部)、53A…レポート画面、54…差分比較画面処理部(第3の表示処理部)、54A…差分比較画面。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27