(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024159110
(43)【公開日】2024-11-08
(54)【発明の名称】管内検査装置、管内検査システム、管内検査方法、およびプログラム
(51)【国際特許分類】
G01N 21/954 20060101AFI20241031BHJP
【FI】
G01N21/954 A
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2023074890
(22)【出願日】2023-04-28
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(71)【出願人】
【識別番号】598076591
【氏名又は名称】東芝インフラシステムズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】朴 英
(72)【発明者】
【氏名】助川 寛
(72)【発明者】
【氏名】君山 健二
(72)【発明者】
【氏名】杉野 寿治
(72)【発明者】
【氏名】中村 健介
【テーマコード(参考)】
2G051
【Fターム(参考)】
2G051AA82
2G051AC15
2G051CA04
2G051EC01
(57)【要約】
【課題】 管の異常な部分に対する適切な撮影を容易に行えるようにすること。
【解決手段】 実施形態の管内検査装置は、管内を撮影するカメラの映像に基づき、当該映像の中の異常の診断対象となる主領域に映り得る管の異常の検知を行うとともに、当該映像の中の前記主領域よりも管の奥側または手前側を映す副領域に映り得る管の異常の検知を行う検知部と、前記カメラの操作を案内する情報を生成するカメラ操作サポート部とを具備し、前記カメラ操作サポート部は、前記副領域から管の異常が検知された場合、当該副領域に映る管の異常が前記主領域に映るように前記カメラを移動させる操作を案内する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
管内を撮影するカメラの映像に基づき、当該映像の中の異常の診断対象となる主領域に映り得る管の異常の検知を行うとともに、当該映像の中の前記主領域よりも管の奥側または手前側を映す副領域に映り得る管の異常の検知を行う検知部と、
前記カメラの操作を案内する情報を生成するカメラ操作サポート部と、
を具備し、
前記カメラ操作サポート部は、前記副領域から管の異常が検知された場合、当該副領域に映る管の異常が前記主領域に映るように前記カメラを移動させる操作を案内する、
管内検査装置。
【請求項2】
前記情報を、画面表示および音声のいずれか一方または両方の形態で出力する出力処理部をさらに具備する、
請求項1に記載の管内検査装置。
【請求項3】
前記主領域は、円環の形状をなす領域であり、
前記副領域は、前記主領域の内側または外側にある領域である、
請求項1に記載の管内検査装置。
【請求項4】
前記検知部は、
前記カメラの移動が前進の場合、前記主領域の内側に前記副領域があるものと認識して前記検知を行い、
前記カメラの移動が後退の場合、前記主領域の外側に前記副領域があるものと認識して前記検知を行う、
請求項3に記載の管内検査装置。
【請求項5】
前記カメラ操作サポート部は、
前記副領域から管の異常が検知された場合、管内における当該異常の位置を求め、その位置と前記カメラの位置とから前記カメラを移動させる移動距離を求め、前記移動距離に基づき前記カメラの移動および一時停止の操作を案内する、
請求項1乃至4のいずれか1項に記載の管内検査装置。
【請求項6】
前記カメラ操作サポート部は、
前記副領域から管の異常が検知されない場合、当該異常が検知されるまで前記カメラを継続して移動させる操作を案内する、
請求項5に記載の管内検査装置。
【請求項7】
前記カメラ操作サポート部は、
前記副領域から管の異常が検知されない状態が一定距離以上もしくは一定時間以上継続する場合、前記カメラの移動速度を上げる操作を案内する、
請求項6に記載の管内検査装置。
【請求項8】
前記カメラ操作サポート部は、
管内が一定以上の視界不良の状態にある場合、当該状態が解消されるまで前記カメラを継続して移動させる操作を案内する、
請求項5に記載の管内検査装置。
【請求項9】
前記カメラ操作サポート部は、
管内が一定以上の視界不良の状態と一定以上の視界良好の状態とを繰り返す場合、当該繰り返しが解消されるまで前記カメラの移動速度を下げる操作を案内する、
請求項5に記載の管内検査装置。
【請求項10】
前記カメラ操作サポート部は、
前記映像に映る管の中心位置が当該映像の中心から一定以上離れている場合、前記カメラの向きを調節する操作を案内する、
請求項1に記載の管内検査装置。
【請求項11】
前記出力処理部は、前記情報として少なくとも前記カメラの前進、後退、一時停止のいずれか及び前記カメラの移動時の速さを示す情報を、前記画面表示および音声のいずれか一方または両方の形態で出力する
請求項2に記載の管内検査装置。
【請求項12】
請求項1に記載の管内検査装置と、
前記カメラと、
を含む、管内検査システム。
【請求項13】
管内を撮影するカメラの映像に基づき、当該映像の中の異常の診断対象となる主領域に映り得る管の異常の検知を行うとともに、当該映像の中の前記主領域よりも管の奥側または手前側を映す副領域に映り得る管の異常の検知を行うことと、
前記副領域から管の異常が検知された場合、当該副領域に映る管の異常が前記主領域に映るように前記カメラを移動させる操作を案内する情報を生成することと、
を含む、管内検査方法。
【請求項14】
コンピュータに、
管内を撮影するカメラの映像に基づき、当該映像の中の異常の診断対象となる主領域に映り得る管の異常の検知を行うとともに、当該映像の中の前記主領域よりも管の奥側または手前側を映す副領域に映り得る管の異常の検知を行う機能と、
前記副領域から管の異常が検知された場合、当該副領域に映る管の異常が前記主領域に映るように前記カメラを移動させる操作を案内する情報を生成する機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、管内検査装置、管内検査システム、管内検査方法、およびプログラムに関する。
【背景技術】
【0002】
水道管などの管は、長年の使用により管内に堆積物やサビなどが生じると、異物の堆積・付着や、管の内面の劣化・剥離などが起こり、管内に各種の異常が生じる。
【0003】
水道管などの管内検査においては、例えば管内をカメラであらかじめ撮影し、撮影を終えたカメラの映像に基づいて当該管内の異常の有無、異常の種類、異常のレベル(またはランク)などの診断を行う。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第6668106号公報
【特許文献2】特許第5764238号公報
【特許文献3】特開2019-138754号公報
【特許文献4】特開2004-069711号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
カメラで撮影した映像に基づいて管の異常の有無などを判定する方法は多数提案されている。例えば撮影した映像から最適な画像を合成・選定した上でその画像を用いて異常の有無などを判定する方法などが知られている。しかし、管の異常な部分が適切に撮影されていないと(例えば異常な部分が遠方に映っていたり、あるいは画像の周縁側に映っていたりすると)、その部分が不鮮明となり、当該異常のレベル判定などの具体的な診断を正しく行うことが難しくなる。
【0006】
発明が解決しようとする課題は、管の異常な部分に対する適切な撮影を容易に行うことを可能にする、管内検査装置、管内検査システム、管内検査方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【0007】
実施形態の管内検査装置は、管内を撮影するカメラの映像に基づき、当該映像の中の異常の診断対象となる主領域に映り得る管の異常の検知を行うとともに、当該映像の中の前記主領域よりも管の奥側または手前側を映す副領域に映り得る管の異常の検知を行う検知部と、前記カメラの操作を案内する情報を生成するカメラ操作サポート部とを具備し、前記カメラ操作サポート部は、前記副領域から管の異常が検知された場合、当該副領域に映る管の異常が前記主領域に映るように前記カメラを移動させる操作を案内する。
【図面の簡単な説明】
【0008】
【
図1】
図1は、実施形態に係る管内検査装置の構成の一例を示す図である。
【
図2】
図2は、管内検査装置による管内検査に使用するカメラ3が管内に挿入された状態の一例を示す図である。
【
図3】
図3は、カメラ4の移動する方向が前進する方向(前方)である場合に検知部30が認識する主領域と副領域とを表す図である。
【
図4】
図4は、カメラ4の移動する方向が後退する方向(後方)である場合に検知部30が認識する主領域と副領域とを表す図である。
【
図5】
図5は、カメラ4が前進する前の映像の例を示す図である。
【
図6】
図6は、カメラ4が前進した後の映像の例を示す図である。
【
図7】
図7は、カメラ4が後退する前の映像の例を示す図である。
【
図8】
図8は、カメラ4が後退した後の映像の例を示す図である。
【
図9】
図9は、副領域A2,A3に管の異常が存在しない場合の映像の例を示す図である。
【
図10】
図10は、管内が大量の浮遊物があるために一定以上の視界不良の状態にある場合の映像の例を示す図である。
【
図11】
図11は、映像に映る管の中心が当該映像の中心から一定以上離れている場合の映像の例を示す図である。
【
図12】
図12は、映像の中に異常が存在しないときの画面表示例を示す図である。
【
図13】
図13は、映像の中に異常が存在するときの画面表示例を示す図である。
【
図14】
図14は、管内検査装置1の基本的な動作の一例を示すフローチャートである。
【
図15】
図15は、主に検知部30およびカメラ操作サポート部50により行われるカメラ移動サポート処理の動作の一例を示すフローチャートである。
【
図16】
図16は、主に検知部30およびカメラ操作サポート部50により行われるカメラ向き調節サポート処理の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【0009】
以下、図面を参照して、実施の形態について説明する。
【0010】
(構成)
図1に、実施形態に係る管内検査装置の構成の一例を示す。また、
図2に、管内検査装置による管内検査に使用するカメラが管内に挿入された状態の一例を示す。なお、
図1に示される個々の要素の機能の一部または全部は、コンピュータ(PC)に実行させるためのプログラムとして実現することが可能である。
【0011】
本実施形態では、一例として水道管(上水管)の管内の検査、特に不断水検査として管内が満水の状態で管内の検査を行うことを前提に説明するが、本実施形態はこの例に限定されるものではなく、例えば下水管や配管などの各種管の管内の検査にも適用することが可能である。
【0012】
図1に示される管内検査装置1は、コンピュータを用いて実現されるものであり、
図2に示されるように現場2に設置された水道管3の管内を撮影するカメラ4の映像に基づいて管内の検査を行う。少なくとも管内検査装置1およびカメラ4は、管内検査システムを構成する。管内検査システムは、管内検査装置1およびカメラ4を含むほか、さらに後述するケーブル6を含んでいてもよいし、さらに後述するジャイロセンサや加速度センサなどのセンサを含んでいてもよい。
【0013】
カメラ4は、外部からの操作により、水道管3の管内をその長手方向に移動したり(所定の方向に前進したり後退したり)、あるいは一時停止したりすることができる。例えば外部からケーブル6を押し込むことによりカメラ4を前進させることができる。また、ケーブル6を引き戻すことによりカメラ4を後退させることができる。カメラ4が撮影する方向は、カメラ4が前進する方向である。
【0014】
カメラ4は、例えばITVカメラが搭載されたカメラヘッドとして実現されてもよい。ITVカメラは、カメラレンズを通して得られた光学的な情報を、A/D変換器によりデジタル化して映像データとして出力することができる。
【0015】
また、カメラ4は、現場2において水道管3の管内を移動するため、全体として防水加工が施されていてもよい。また、カメラ4には、照明を付けて管内を明るくする機能や、当該カメラ4が常に上下・水平を保つような回転機構が備わっていてもよい。このカメラ4に長いケーブル6を接続し、消火栓7等からそのケーブル6を押し込むことにより水道管3内にカメラ4を挿入し、水道管3内の撮影を行う。撮影では、カメラ4を上流側と下流側の双方に挿入させてもよい。これを実現するため、消火栓7から水道管3に到達するところまでに配置された治具により、カメラ4を挿入する方向を制御してもよい。
【0016】
また、カメラ4の向き(光軸の方向)や動きの情報を得るために、カメラ4または当該カメラ4の付属部に、ジャイロセンサや加速度センサなどのセンサを搭載し、これらによりカメラ4の向きや動きを検出するようにしてもよい。この場合、センサはカメラ4の動きや位置を計測できるものであれば種類は問わない。カメラ4の向きや動きの情報は、後述するカメラ位置・動き検出部20においてカメラ4の動きや位置を検出する際に利用することができる。
【0017】
カメラ4の映像はケーブル6を経由して消火栓7の外にある記録装置(図示せず)により記録媒体に記録されてもよい。映像記録方式はどのような方式でもよく、方式は問わない。例えばアナログNTSC方式でもよいし、また、デジタル未圧縮の形態でもよいし、デジタル符号化の形態でもよい。
【0018】
カメラ4で撮影された映像は、管内検査装置1に供給される。また、管内検査装置1には、カメラ4に付随する属性を示す属性情報も供給される。管内検査装置1は、記録媒体に記録された映像および属性情報を内部に取り込み、これらを用いて水道管3の管内の検査を行う。
【0019】
管内検査装置1は、映像入力部10、属性情報入力部11、カメラ位置・動き検出部20、検知部30、統合判定部40、カメラ操作サポート部50、および出力処理部60を含む。ただし、統合判定部40は、後述するように省略することが可能な要素であり、必ずしも必要とされるものではない。
【0020】
映像入力部10は、水道管3の管内を撮影するカメラ4の映像データを入力する。
【0021】
属性情報入力部11は、カメラ4の属性情報を入力する。当該属性情報は、カメラ位置・動き検出部20、検知部30、および統合判定部40に供給され、各部の処理において必要に応じて使用される。
【0022】
カメラ位置・動き検出部20は、映像入力部10により入力される映像データおよび属性情報入力部11により入力される属性情報を用いて、管内におけるカメラ4の位置および動きを検出する。
【0023】
検知部30は、映像入力部10から供給される映像データと、カメラ位置・動き検出部20から供給されるカメラ4の位置および動きの情報とに基づき、カメラ4の映像の所定の領域内に映り得る管の異常の有無、異常の種類、異常のレベル(またはランク)の判定などを行い、それらの結果を異常検知結果として生成する。
【0024】
異常の種類には、(1)サビ、(2)堆積物、(3)部分的な異物の付着・管表面の防食の劣化、(4)管内全体に膜状に付着した汚れ、および、(5)浮遊物がある。
【0025】
異常のレベルには、S、A、B、C、Dがある。Sは「異常無し」を表し、A、B、C、Dについては、AからDへ向かうほど異常のレベルが高くなり、深刻度が高まることを表す。
【0026】
また、検知部30は、各種の機能として、現在地異常検知部31、移動先異常検知部32、および視界状態検知部33を含む。これらについては、後で述べる。
【0027】
統合判定部40は、検知部30により生成された異常検知結果を統合して、管内の異常のレベルを示す統合判定結果を生成する。
【0028】
カメラ操作サポート部50は、検知部30により生成された異常検知結果、および、カメラ位置・動き検出部20から供給される(検知部30を通じて供給される)カメラ4の位置および動きの情報を用いて、カメラ4の操作をユーザに案内する情報(以降、「カメラ操作サポート情報」と称す。)を生成する。
【0029】
出力処理部60は、カメラ操作サポート部50により生成されたカメラ操作サポート情報を出力したり、検知部30により生成された異常検知結果や統合判定部40により生成された統合判定結果を含む情報を出力したりする。
【0030】
(個々の構成要素の詳細)
以下に、管内検査装置1を構成する個々の要素について詳細に説明する。
【0031】
・映像入力部10
映像入力部10は、前述したように、水道管3の管内を撮影したカメラ4の映像データを入力する。当該映像データは、カメラ位置・動き検出部20において管内のカメラ4の位置および動きの検出のために使用されるとともに、検知部30においてカメラ4の映像に映り得る管の異常の有無や種類の判定、管内の視界状態の判定などのために使用される。
【0032】
映像入力部10にカメラ4を含める構成とすることも可能であるが、ここでは、映像入力部10にカメラ4を含めず、映像入力部10の外側からカメラ4の映像データを入力する構成としている。
【0033】
・属性情報入力部11
属性情報入力部11は、前述したように、カメラ4に関する属性情報を入力する。当該属性情報は、カメラ位置・動き検出部20、検知部30、および統合判定部40に供給され、各部の処理において必要に応じて使用される。
【0034】
属性情報は、例えばカメラ4でまたはキーボードやマウスの入力装置で入力してもよい。また、カメラ4内のセンサ等から得られた情報を属性情報としてもよい。
【0035】
なお、属性情報入力部11が無くても映像入力部10があれば管内の検査を行うことは可能ではあるが、本実施形態では、管の異常の診断を精度良く行えるようにするため、カメラに関する属性情報を入力する属性情報入力部11を設けている。
【0036】
属性情報入力部11で入力する属性情報には、例えばカメラ4を水道管3の管内に挿入した際のケーブル6の長さ(ケーブル長)を示す情報があり、これは管内におけるカメラ4の位置情報となる。なお、カメラ4の位置情報は、GPS(Global Positioning System)の技術を利用することで取得してもよい。
【0037】
ケーブル長を示す情報は、映像データの所定位置に重畳して記録することにより、後述のカメラ位置・動き検出部20において利用することが可能となる。映像をデジタル形式で記録するのであれば、ケーブル長を示す情報を、映像データ中に重畳するのではなく、映像データと同期させて記録するようにしてもよい。
【0038】
なお、これらの属性情報を入力する属性情報入力部11の機能は、カメラ4と共通するカメラユニット内に搭載してもよいし、当該カメラユニットと異なる別のユニットを準備してそのユニット内に搭載してもよいし、あるいはカメラ4が接続されるケーブル6の先につながる別のユニット内に搭載してもよい。
【0039】
・カメラ位置・動き検出部20
カメラ位置・動き検出部20は、前述したように、映像入力部10により入力される映像データおよび属性情報入力部11により入力される属性情報を用いて、管内におけるカメラ4の位置および動きを検出する。
【0040】
ここでは、映像データおよび属性情報が映像入力部10および属性情報入力部11を経由してカメラ位置・動き検出部20に入力されることを前提としており、当該映像データおよび属性情報を用いてカメラ位置・動き検出部20がカメラ4の位置と動きの検出を行う。ただし、この例に限らず、例えばカメラ4のハードウェアそのものに(またはカメラ4の付属部に)カメラ位置・動き検出部20が搭載されてもよい。この場合、例えばカメラ4のハードウェア内にジャイロセンサや加速度センサなどのセンサを搭載することで、そのセンサ情報を用いてカメラ4の動きの検出を行うようにしてもよいし、CPU(Central Processing Unit)によるソフトウェア処理によって同様の検出を行うようにしてもよい。
【0041】
以下に、映像データを用いてカメラ4の位置・動きを検出する手法について説明する。
【0042】
(1)カメラの位置の検出
最初に、カメラ4の位置の検出について説明する。カメラ4の位置の検出は、最も簡単な手法としては、属性情報入力部11により入力される属性情報からケーブル長を示す情報(即ち、カメラ4の位置情報)を読み取ることで実現可能である。映像データがデジタル形式であれば、映像データ中の各フレーム(画像)に対応させてケーブル長を示す情報を埋め込んでおいてその値を読み取るだけで実現可能である。
【0043】
映像データ中にケーブル長を示す情報を重畳して記録してもよい。その場合は、光学文字認識(OCR)を用いてその情報を読み取れるようにしてもよい。この場合、カメラ4内の文字表示領域を指定することなく、個々の画像から文字が横に並んでいる領域を見つけることで認識が可能となる。例えば、0~9および小数点を示す「・」をテンプレートとして登録しておき、テンプレートマッチングで画像内を探索し、いずれかの文字とヒットする文字が横に並んでいる領域があることを利用して文字領域を見つけると同時に、最もヒットした数字のテンプレート情報から数値を読み取るようにしてもよい。
【0044】
例えばケーブル長を示す情報として16.4(m)を画面右上の領域に記録する場合、「1」「6」「・」「4」のテンプレートが画面右上の領域でマッチングスコアが高くなり、縦方向の位置がほぼ同じで左右に並んでいることから16.4と値を読み取ることが可能である。この場合の文字認識には、例えば「O.Hori,“A video text extraction method for character recognition”, Proceedings of the Fifth International Conference on Document Analysis and Recognition. ICDAR '99 (Cat. No.PR00318)」(以下、「参考文献1」)の技術を利用してもよい。
【0045】
また、カメラ4の型式を指定する情報を、事前に属性情報に含めておくことにより、当該型式に応じてケーブル長を示す情報を表示する領域を設定するようにしてもよい。
【0046】
なお、ケーブル押し込み型のカメラの場合、押し込み時にはケーブル6がたわみ、引き戻し時にはケーブル6が伸びるため、同じ地点でもケーブル6の長さが違って表示される傾向がある。そのため、押し込み時と引き戻し時の往復の画像を比較して、類似した画像に対し引き戻し時のケーブル長の値を正式な値として補正するなどにより、位置の精度を高めるようにしてもよい。その際、類似画像を比較する手法を利用してもよいし、「関,“移動カメラ画像からの3次元形状復元・自己位置推定(SLAM)と高密度な3次元形状復元”,情報処理学会研究報告コンピュータビジョンとイメージメディア(CVIM),2014-CVIM-190,2014」(以下、「参考文献2」)で示される単眼カメラによる3次元情報の再構成技術を用いることでより正確な位置を求めるようにしてもよい。
【0047】
また、水道管3の種類がわかっていれば、管同士の個々の接合部(継ぎ目)の位置がわかる。そこで、個々の継ぎ目の位置が映像の中で同心円状の一定以上の輝度変化(エッジ)として現れる場合は、その同心円状のエッジが検出された数を数えることにより、カメラ4の位置を求めるようにしてもよい。
【0048】
(2)カメラの動きの検出
続いて、カメラ4の動きの検出について説明する。簡単な手法としては、画像全体でオプティカルフローを求め、フローの方向から消失点を求めた時に多くのフローベクトルが消失点を起点または終点としていることがわかれば、カメラ4が移動していることがわかる。
【0049】
ただし、水道管3内を撮影している場合、水道管3内に浮遊物があると管の奥に向かって、または管の奥から手前に浮遊物が流れてくるため、カメラ4が止まっていても消失点方向のベクトルが発生してしまうことがある。そこで、カメラ4が動くと露光時間内に画像が変化することによるぶれ(モーションブラー)が発生して画像全体がぼけることを検知することでカメラ4の動きの有無を判定するようにしてもよい。例えば、画像内のエッジ強度を求め、その値を累積することでエッジの累積強度がある閾値よりも大きくなった状態が停止状態、ある閾値よりも低くなった状態がぼけているため動いている状態と判定してもよい。
【0050】
なお、浮遊物の影響を減らすため、累積対象とする画素を管の周辺部(中央部を除く)に限るなど、領域を限定するようにしてもよい。また、エッジの強度は隣接画素とのエッジでなく、画像全体にFFTをかけて周波数の高い成分のパワーを累積することによって求めてもよい。例えば、浮遊物で発生する周波数を事前に求めておいてその周波数を除外することなどにより精度良く動きの有無を検出することができる。
【0051】
そのほか、NTSC(National Television Standards Committee)のアナログ信号形式で保存された映像に限定される手法であるが、この場合はインタレース方式により上下方向が1行ごとに交互に画像が記録されるので、カメラ4に動きがあった場合にコーミングノイズと呼ばれる縞状態のノイズが発生する。これは、奇数行と偶数行とで撮影する時間が異なるため、明るさに変化が発生したところに縞状になって輝度変化が発生することによる。そこで、この縞状の部分について、Y(x,y)を座標x,yの輝度値Yとしたとき、所定の係数をαとして、以下のような式を満たす画素が所定画素以上ある場合に、コーミングノイズ発生と判定し、カメラ4が動いていると判定するようにしてもよい。
【0052】
|Y(x,y)-Y(x,y-1)| > |(x,y)-y(x,y-2)|+α
上記式によれば通常なら輝度は空間内で滑らかに変化するため、1行上よりも2行上との輝度差の方が大きくなるのが通常だが、コーミングノイズが発生すると、2行上よりも1行上との輝度差の方が大きくなる。本手法ではそのような現象を利用している。
【0053】
属性情報入力部11からカメラ位置・動き検出部20に、カメラ4に搭載されたジャイロセンサや加速度センサなどのセンサの情報が入力されているのであれば、その情報を読みこむことによってカメラ4の動きの検出は容易に行える。この場合、水中の状況によらずカメラ4の動きを正確に検出することが可能となる。
【0054】
以上により、カメラ4の現在位置、およびカメラ4の動きの有無を検出することが可能となる。
【0055】
・検知部30
検知部30は、前述したように、映像入力部10から供給される映像データと、カメラ位置・動き検出部20から供給されるカメラ4の位置および動きの情報とに基づき、カメラ4の映像の所定の領域内に映り得る管の異常の有無、異常の種類、異常レベルの判定などを行い、判定の結果を異常検知結果として生成する。当該異常検知結果は、例えばフレーム(画像)単位で生成される。
【0056】
また、検知部30は、前述したように、現在地異常検知部31、移動先異常検知部32、および視界状態検知部33を含む。
【0057】
現在地異常検知部31は、カメラ4の映像の中の異常の診断対象となる所定の領域(以降、「主領域」と称す。)に映り得る管の異常の有無や異常の種類の検知を行う。主領域は、カメラ4の現在地近傍に存在し得る異常を検知するための領域である。この領域は、映し出される映像が最も鮮明となり、異常の正しい診断結果を得ることができる領域である。そのため、主領域から検知される異常に対しては、現在地異常検知部31は、さらに異常レベルの判定を行う。
【0058】
移動先異常検知部32は、カメラ4の映像の中の主領域よりも管の奥側または手前側を映す領域(以降、「副領域」と称す。)に映り得る管の異常の有無や異常の種類の検知を行う。副領域は、カメラ4の前方または後方の移動先に存在し得る異常を検知するための領域である。この領域は、主領域ほどの鮮明な映像を映し出さず、異常の正しい診断結果が得られるとは限らない領域である。そのため、副領域から検知される異常に対しては、異常レベルの判定は行わない。
【0059】
ここで、カメラ4の映像における主領域と副領域との関係を、
図3および
図4に模式的に示す。
【0060】
図3は、カメラ4の移動する方向が前進する方向(前方)である場合に検知部30が認識する主領域と副領域とを表している。具体的には、カメラ4の移動方向が前進する方向である場合、現在地異常検知部31は、円環の形状をなす領域A1を主領域と認識して異常の検知を行い、移動先異常検知部32は、領域A1の内側にある領域A2を副領域と認識して異常の検知を行う。領域A2は、領域A1よりも管の奥側を映す領域である。この場合、領域A1の外側にある領域A3に対しては、異常の検知は行われない。
【0061】
図4は、カメラ4の移動する方向が後退する方向(後方)である場合に検知部30が認識する主領域と副領域とを表している。具体的には、カメラ4の移動する方向が後退する方向である場合、現在地異常検知部31は、円環の形状をなす領域A1を主領域と認識して異常の検知を行い、移動先異常検知部32は、領域A1の外側にある領域A3を副領域と認識して異常の検知を行う。領域A3は、領域A1よりも管の手前側を映す領域である。この場合、領域A1の内側にある領域A2に対しては、異常の検知は行われない。
【0062】
本実施形態では、主領域となる領域A1の形状を、管の形状に合わせて円環の形状としている。こうすることにより、領域A1内に映る管の内面のどの部分も一定以上の鮮明度を有するものとすることができ、管の異常の検知および異常レベル判定の実施に最適な映像を得ることができる。また、円環形状の領域A1が一旦定まれば、その内側の領域を領域A2、外側の領域を領域A3として定めることにより、2種類の副領域を簡単かつ適切に特定することができる。 視界状態検知部33は、管内が一定以上の視界不良の状態にあるか否かの判定を行ったり、管内が一定以上の視界良好の状態にあるか否かの判定を行ったりする。それぞれの判定基準には、管内に存在する特定物質(浮遊物等)の単位容積あたりの量、濃度、濁度等の物理量に基づく閾値を適用してもよいし、カメラ4の映像が示す色相に基づく閾値を適用してもよい。浮遊物等の特定物質は、その形状や色相から認識するようにしてもよい。また、視界状態検知部33は、AI(Artificial Intelligence)の技術を適用することで、その検知精度を高めるようにしてもよい。例えば浮遊物等の物質が流れる管内を撮影した大量の映像データおよび判定基準等のデータをAIに与えて学習をさせ、当該AIが示す結果を用いるようにしてもよい。
【0063】
・統合判定部40
統合判定部40は、検知部30の現在地異常検知部31により生成された異常検知結果を統合して、管内の異常のレベルを示す統合判定結果を生成する。当該統合は、フレーム単位、所定のフレーム数単位、所定の区間単位、もしくは管単位(管の継ぎ目と継ぎ目との間の区間単位)で行われる。
【0064】
統合判定部40は、例えば前述した5種類の異常について、種類毎の異常を検知した後に、それらの結果の相互の関係性を利用して最終結果を出力する。なお、相互の関係性を利用せず、そのまま最終結果として出力しても問題ない。
【0065】
異常の統合判定結果を求める際には、例えば、異常の種類毎の異常検知結果の相互の関係性に応じて、統合判定結果を生成する演算方法(重みづけ加算方法など)を変える(例えばマージや除外などを行う)ようにしてもよい。例えば、サビの判定の時はサビだけを利用するが、堆積物の判定の時はサビ・堆積物の両方を利用するなどの対応が可能である。この場合、統合判定部40は、次の機能を備えていてもよい。
【0066】
(1)異常の種類毎の異常検知結果の相互の関係性に応じて、統合判定結果を生成するための演算方法を変え、統合判定結果を生成する機能
異常の統合判定結果の求め方としては、例えば、Y(1)からY(5)が5種類の異常それぞれの最終結果、X1~X5が個別に求めた異常検知結果、a~eがそれぞれの重み係数であるとして、次の式のように各異常検知結果に所定の係数をかけることで重み付けをして最終結果を求めてもよい。
【0067】
Y(i) = a*X1 + b*X2 + c*X3 + d*X4 + e*X5
この式は、フレーム単位、区間単位、全体のどの単位についても適用可能な式となる。
【0068】
式中のそれぞれの係数を調整することにより、個別の依存関係が明確な場合に適切な対応が可能となる。例えば、堆積物の異常レベルを判定する場合、サビ・堆積物の異常検出結果のOR(論理和)をとった結果を異常検知結果として判定するようにすることや(上記Yの式の係数により実現が可能でもある)、所定の異常があった場合、別の異常検知結果から除外するなども上記式により可能である。
【0069】
また、所定の異常の検知結果を先に求め、その結果を利用して別の異常の検知結果を調整するようにしてもよい。例えば、異なる種類の異常同士の影響の有無に応じて、所定の異常の異常レベルを調整する(例えば堆積物は、浮遊物とまぎれやすいので、浮遊物の有無によって異常レベルを調整する)ようにしてもよい。この場合、統合判定部40は、次の機能を備えていてもよい。
【0070】
(2)異なる種類の異常同士の影響の有無に応じて、所定の異常の異常レベルを調整し、統合判定結果を生成する機能
例えば、浮遊物については、映像の全領域にまたがって発生するため、浮遊物の異常の有無や異常のレベルを先に判定し、浮遊物が多い時には他の異常の検知結果の基準を補正するようにしてもよい。浮遊物が多い時には画像中の異常が見えにくくなるため、本来ある異常が漏れてしまったり、逆に異常がないのに異常と判定されやすくなったりする。異常のレベルを所定のレベルで下げるようにしたり上げるようにしたりすることも可能であるほか、異常を判定する領域(区間)の領域の長さを浮遊物の量に応じて変えてもよい。例えば、浮遊物が多い時には長い範囲で求めた異常検知結果からレベル判定を行うことによりノイズの影響を軽減することができる。
【0071】
また、5種類の異常検知に限らず、管全体の総合判定結果として異常検知の種類によらず1つの総合判定結果を出力するようにしてもよい。これは、5種類の異常レベル判定結果の最悪値、平均値、重み付け加算などから求めれば実現が可能となる。
【0072】
・カメラ操作サポート部50
カメラ操作サポート部50は、前述したように、検知部30により生成された異常検知結果、および、カメラ位置・動き検出部20から供給される(検知部30を通じて供給される)カメラ4の位置および動きの情報を用いて、カメラ4の操作をユーザに案内するカメラ操作サポート情報を生成する。
【0073】
例えば、カメラ操作サポート部50は、カメラ4の移動する方向が前進する方向である場合、
図3に示す副領域A2から管の異常が検知されたときには、当該副領域A2に映る管の異常が主領域A1に映るようにカメラ4を前進させる操作をカメラ操作サポート情報によりユーザに案内する。また、カメラ操作サポート部50は、カメラ4の移動する方向が後退する方向である場合、
図4に示す副領域A3から管の異常が検知されたときには、当該副領域A3に映る管の異常が主領域A1に映るようにカメラ4を後退させる操作をカメラ操作サポート情報によりユーザに案内する。
【0074】
ここで、
図5及び
図6を参照して、カメラ4の移動する方向が前進する方向である場合の映像の具体例を示す。
【0075】
図5に、カメラ4が前進する前の映像の例を示す。また、
図6に、カメラ4が前進した後の映像の例を示す。ここでは、適宜、
図3及び
図4を参照することにより、
図5及び
図6の映像の中の主領域A1や副領域A2,A3の位置を確認する。
【0076】
図5の例では、映像中の主領域A1にサビR1が映っており、副領域A2にサビR1’が映っている。主領域A1のサビR1は、カメラ4の現在地近傍に存在する。一方、副領域A2のサビR1’は、カメラ4が前進する方向(前方)にある管の接合部(継ぎ目)C1に存在する。画像の右上には、前述した属性情報から得られるケーブル長を示す情報が表示されている。この場合、カメラ操作サポート部50は、主領域A1から管のサビR1を検知し、さらに当該サビR1の異常ランクを判定する。さらにカメラ操作サポート部50は、副領域A2からも管のサビR1’を検知する。ただし、副領域A2の映像は鮮明ではないため、この領域から検知されたものが実際にはサビではない可能性がある(サビ以外の異常である可能性がある)。カメラ操作サポート部50は、副領域A2からサビR1を検知すると、副領域A2に映るサビR1’が主領域A1に映るようにカメラ4を必要な距離だけ前進させて一時停止させる操作をユーザに案内する。この場合の距離は、カメラ4の属性情報に含まれる各種パラメータや管の径などの情報から推定してもよい。
【0077】
上記案内に従ってユーザがカメラ4を操作すると、
図6に示されるように、副領域A2に映っていたサビR1’は、鮮明な映像を映し出す主領域A1に映ることとなるため、カメラ操作サポート部50は、そのサビR1を検知することに加え、さらにそのサビR1の異常ランクを判定することとなる。
【0078】
次に、
図7及び
図8を参照して、カメラ4の移動する方向が後退する方向である場合の映像の具体例を示す。
【0079】
図7に、カメラ4が後退する前の映像の例を示す。また、
図8に、カメラ4が後退した後の映像の例を示す。ここでは、適宜、
図3及び
図4を参照することにより、
図7及び
図8の映像の中の主領域A1や副領域A2,A3の位置を確認する。
【0080】
図7の例では、映像中の主領域A1には異常な部分は映っていないが、映像中の副領域A3には亀裂R2が映っている。この場合、カメラ操作サポート部50は、副領域A3から亀裂R2を検知したため、副領域A3に映る亀裂R2が主領域A1に映るようにカメラ4を必要な距離だけ後退させて一時停止させる操作をユーザに案内する。この場合の距離は、カメラ4の属性情報に含まれる各種パラメータや管の径などの情報から推定してもよい。
【0081】
上記案内に従ってユーザがカメラ4を操作すると、
図8に示されるように、副領域A3に映っていた亀裂R2は、鮮明な映像を映し出す主領域A1に映ることとなるため、カメラ操作サポート部50は、その亀裂R2を精度よく検知することに加え、さらにその亀裂R2の異常ランクを精度よく判定することとなる。
【0082】
また、カメラ操作サポート部50は、カメラ4の移動する方向が前進する方向であるときに副領域A2から管の異常が検知されない場合や、カメラ4の移動する方向が後退する方向であるときに副領域A3から管の異常が検知されない場合、当該異常が検知されるまでカメラ4を継続して移動させる操作をユーザに案内する機能を備えている。
【0083】
図9に、副領域A2,A3に管の異常が存在しない場合の映像の例を示す。
図9のように副領域A2,A3に管の異常が存在しない場合、当該異常が検知されるまでカメラ4を継続して移動させる操作をユーザに案内する(例えば現状の速度のまま、もしくは、所定の基準速度でカメラ4を移動させることを促す)ようにしてもよい。このようにすると、カメラ4の不必要な一時停止を低減することができ、検査時間を短くすることができ、検査効率を高めることができる。
【0084】
また、カメラ操作サポート部50は、カメラ4の移動する方向が前進する方向であるときに副領域A2から管の異常が検知されない状態が一定距離以上もしくは一定時間以上継続する場合や、カメラ4の移動する方向が後退する方向であるときに副領域A3から管の異常が検知されない状態が一定距離以上もしくは一定時間以上継続する場合、カメラ4の移動速度を上げる(加速する)操作をユーザに案内する機能を備えている。
【0085】
このように副領域A2またはA3から管の異常が検知されない状態が一定距離以上もしくは一定時間以上継続する場合、カメラ4の移動速度を上げる操作をユーザに案内する(例えば現状の速度よりも高い速度で、もしくは、上記基準速度よりも高い速度でカメラ4を移動させることを促す)ようにしてもよい。このようにすると、検査時間をより一層短くすることができ、検査効率をより一層高めることができる。
【0086】
また、カメラ操作サポート部50は、管内が一定以上の視界不良の状態にある場合、当該状態が解消されるまでカメラ4を継続して移動させる操作をユーザに案内する機能を備えている。
【0087】
図10に、管内が大量の浮遊物があるために一定以上の視界不良の状態にある場合の映像の例を示す。例えば、カメラ4の移動する方向が前進する方向であるときに副領域A2から視界不良の状態が検知された場合や、カメラ4の移動する方向が後退する方向であるときに副領域A3から視界不良の状態が検知された場合、もはや異常の検知を行うことはできないため、当該状態が解消されるまでカメラ4を継続して移動させる操作をユーザに案内する(例えば現状の速度のまま、もしくは、所定の基準速度でカメラ4を移動させることを促す)ようにしてもよい。このようにすると、カメラ4の不必要な一時停止を低減することができ、検査時間を短くすることができ、検査効率を高めることができる。
【0088】
また、カメラ操作サポート部50は、管内が一定以上の視界不良の状態と一定以上の視界良好の状態とを繰り返す場合、当該繰り返しが解消されるまでカメラ4の移動速度を下げる(減速する)操作をユーザに案内する機能を備えている。
【0089】
このように管内が一定以上の視界不良の状態と一定以上の視界良好の状態とを繰り返す場合、当該繰り返しが解消されるまでカメラ4の移動速度を下げる操作をユーザに案内する(例えば現状の速度よりも低い速度で、もしくは、上記基準速度よりも低い速度でカメラ4を移動させることを促す)ようにしてもよい。このようにすると、管の異常の見逃しを極力防ぐことができる。
【0090】
また、カメラ操作サポート部50は、映像に映る管の先(円環状の管の中心位置)が当該映像の中心から一定以上離れている場合、カメラ4の向き(光軸の方向)を管の中心を向くように調節する操作をユーザに案内する機能を備えている。
【0091】
図11に、映像に映る管の中心が当該映像の中心から一定以上離れている場合の映像の例を示す。
図11のように、映像に映る管の中心が、例えば当該映像の中心から一定以上離れた左上隅の位置などにある場合、カメラ4の向きを管の中心を向くよう調節する操作をユーザに案内する(例えば映像に映る管の中心が当該映像の中心を向くようにカメラ4の向きを調節することを促す)ようにしてもよい。このようにすると、管の異常の見逃しを極力防ぐことができ、安定した異常検知結果を得ることができる。
【0092】
映像では管の中心位置からその周囲にかけて輝度の勾配があり、カメラ4の撮像部から管の内面までの距離が大きいほど輝度が小さくなる(暗くなる)。そのため、当該輝度の変化に基づいて管の中心位置を検出するようにしてもよい。また、管の接合部(継ぎ目)C1に基づいて管の中心位置を検出するようにしてもよい。さらに、その際にAIによる機械学習を通じて管の中心位置を検出する精度を高めるようにしてもよい。
【0093】
また、AIの技術を用いてカメラ4の向きを自動制御により調節するようにしてもよい。その場合、カメラ4の向きを調節する操作の案内は不要になる。
【0094】
・出力処理部60
出力処理部60は、カメラ操作サポート部50により生成されたカメラ操作サポート情報を、画面表示および音声のいずれか一方または両方の形態で、表示装置(ディスプレイ)や音声出力装置(スピーカ)を通じて出力する機能を有する。表示装置や音声出力装置は、管内検査装置1の内部にあってもよいし、管内検査装置1の外側にあってもよい。いずれの場合も、管内検査装置1は、撮影された映像からリアルタイムでカメラ4の移動先に存在し得る異常を検知することができ、検知結果に応じたカメラ操作サポート情報を表示装置や音声出力装置を通じてユーザに通知することができる。
【0095】
(表示画面)
図12及び
図13を参照して、出力処理部60が表示する画面について説明する。
【0096】
図12に、映像の中に異常が存在しないときの画面表示例を示す。また、
図13に、映像の中に異常が存在するときの画面表示例を示す。ここでは、説明を簡単なものとするため、サビ、堆積物、亀裂の3種類の異常を検知対象とした例を示している。
【0097】
出力処理部60は、表示装置の画面61を通じて各種の情報を表示出力したり、スピーカ62を通じて各種の情報を音声出力したりすることができる。特に、出力処理部60は、管内検査装置1に入力された映像と異常検知結果とを比較しながら確認できる情報を画面61に表示する。画面61の中には、各種の表示領域100、110、120、130、140が備えられる。
【0098】
表示領域100は、映像入力部10から供給されるカメラ4の映像を表示するとともに、検知部30の現在地異常検知部31および移動先異常検知部32によりそれぞれ検知される異常の部分を当該映像中において視覚的に認識しやすい表現形式(枠囲み、色付け、ハッチング等)で表示する。映像の右上には、前述したケーブル長を示す情報が表示される。
【0099】
表示領域110は、現在地異常検知部31によって前述の主領域A1から検知される異常の種類および判定される異常ランクを表示するために使用される。
【0100】
表示領域120は、移動先異常検知部32によって前述の副領域A2またはA3から検知される異常の種類(各種の異常の有無)を表示するために使用される。
【0101】
表示領域130は、カメラ位置・動き検出部20から供給されるカメラ4の現状の動きを示す情報(カメラ現状動き情報)を表示するために使用される。項目としては、カメラ状態(カメラが停止しているのか移動しているのか)、移動方向(カメラが前方と後方のいずれの方向へ移動するよう設定されているのか)、移動速度(カメラが移動する場合の速度)、所在位置(管内におけるカメラの位置)、カメラ向き(カメラの光軸の向き)、パン、チルト、ズーム(カメラのPTZ機能の設定情報)などが備えられる。ただし、これらの項目は一例であって、この例に限定されるものではない。
【0102】
表示領域140は、前述したカメラサポート情報を表示するために使用される。項目としては、カメラ動き、移動速度、カメラ向き、パン、チルト、ズーム、説明などが備えられる。ただし、これらの項目は一例であって、この例に限定されるものではない。
【0103】
図12の画面表示例では、表示領域100の映像の中に異常が存在しない。この場合、表示領域110では、サビ、堆積物、亀裂のそれぞれの異常ランクは「S」であり、いずれの異常も存在しないことを示している。また、表示領域120では、サビ、堆積物、亀裂はいずれも「なし」と表示されており、いずれの異常も存在しないことを示している。表示領域130では、カメラ状態が「停止」、移動方向が「前方」(前進する方向)、移動速度が「10cm/秒」、所在位置が「16.4m」と表示されている。カメラ向きについては、ここでは表記を省略しているが、例えば基準となる方向に対しカメラの光軸が水平方向および鉛直方向にそれぞれどれだけずれているかを角度等で表現すればよい。また、パン、チルト、ズームはそれぞれ「10度」、「3度」、「なし」と表示されている。
【0104】
表示領域140では、カメラ動き、移動速度、カメラ向き、パン、チルト、ズームは「現状維持」と表示されている。説明の表示領域には、例えば「変更すべき操作は特にありません」などと表示されてもよい。
【0105】
一方、
図13の画面表示例では、表示領域100の映像の中に異常が存在する。具体的には、現在地異常検知部31によって前述の主領域A1からサビR1が検知され、その異常の部分を認識しやすいように枠101で囲ったものが表示されている。また、移動先異常検知部32によって前述の副領域A2からサビR1’が検知され、その異常の部分を認識しやすいように枠102で囲ったものが表示されている。枠101と枠102とは、それぞれを識別し易いように色や形を適宜変えてもよい。
【0106】
表示領域110では、堆積物、亀裂のそれぞれの異常ランクは「S」と表示されているが、サビの異常ランクは「B」と表示されている。すなわち、現在地異常検知部31によってサビが検知され、そのサビの異常ランクがBと判定された結果が表示されている。また、表示領域120では、移動先異常検知部32によってサビが検知されているため、サビが「あり」と表示されている。表示領域130は、
図12の画面表示例と同様である。
【0107】
このように
図13の画面表示例では、移動先異常検知部32によって前述の副領域A2からサビR1’が検知されているため、カメラ操作サポート部50は、副領域A2に映る管のサビR1’が主領域A1に映るようにカメラ4を移動させる操作をユーザに案内する。
【0108】
本例では、現在のカメラ4の移動方向は「前方」に設定されているため、カメラ操作サポート部50は、所定の距離だけカメラ4を「前進」させ、その後に「一時停止」させるといった操作をユーザに案内する。この場合、表示領域140では、カメラ動きとして、最初に「前進」が表示され、その後に「一時停止」が表示されることになる。移動速度、カメラ向き、パン、チルト、ズームは「現状維持」と表示されている。説明の表示領域には、例えば「ケーブル長が17.4mになる位置までカメラを現状速度で前進させてから一時停止してください」と表示してもよいし、「カメラを現状速度でそのまま前進させ、接合部の手前で一時停止してください」と表示してもよい。また、このような説明を音声にて出力してもよい。
【0109】
また、状況によっては、移動速度、カメラ向き、パン、チルト、ズームを、「現状維持」ではなく、変更のために、任意の数値が表示されるようにしてもよい。
【0110】
例えば、前述したように副領域A2またはA3から管の異常が検知されない状態が一定距離以上もしくは一定時間以上継続する場合、カメラ4の移動速度を上げる(加速する)ことを促す表示を行ったり、管内が一定以上の視界不良の状態と一定以上の視界良好の状態とを繰り返す場合、カメラ4の移動速度を下げる(減速する)ことを促す表示を行ったりしてもよい。
【0111】
また、検知された異常のサイズが所定値を上回る大きなものである場合や、所定値を下回る小さなものである場合、異常が広範囲に広がっている場合など、異常な部分を的確に撮影するためにパン、チルト、ズームなどの数値を変える必要があればそれらの数値の変更を促す表示を行ってもよい。
【0112】
また、説明の表示領域では、カメラ4の具体的な操作内容として、「接合部が画面の全体に映るようにしてください」、「画面中央の錆が最も大きく映るようにしてください」などの表示を行ってもよい。
【0113】
(基本動作)
次に、
図14のフローチャートを参照して、管内検査装置1の基本的な動作の一例を説明する。なお、
図14に示される個々の処理は、ステップの番号の順に必ずしも行われるとは限らず、適宜変更することが可能である。例えば、ステップS1とS2とは処理の順序が入れ替わってもよいし、同時に処理されてもよい。
【0114】
まず、映像入力部10が、水道管3の管内で撮影を行うカメラ4の映像データを入力する(ステップS1)。また、属性情報入力部11が、カメラ4に付随する属性を示す属性情報を入力する(ステップS2)。
【0115】
次に、カメラ位置・動き検出部20が、映像入力部10により入力された映像データおよび属性情報入力部11により入力された属性情報を用いて、管内におけるカメラ4の位置または動きを検出する(ステップS3)。
【0116】
次に、検知部30が、映像入力部10から供給される映像データと、カメラ位置・動き検出部20から供給されるカメラ4の位置および動きの情報とに基づき、カメラ4の映像の所定の領域内に映り得る管の異常の有無、異常の種類、異常のレベル(またはランク)の判定などを行い、それらの結果を異常検知結果として生成する(ステップS4)。
【0117】
次に、カメラ操作サポート部50が、検知部30により生成された異常検知結果、および、カメラ位置・動き検出部20から供給される(検知部30を通じて供給される)カメラ4の位置および動きの情報を用いて、カメラ4の操作をユーザに案内するカメラ操作サポート情報を生成する(ステップS5)。
【0118】
次に、統合判定部40が、検知部30により生成された異常検知結果を統合して、管内の異常のレベルを示す統合判定結果を生成する(ステップS6)。
【0119】
出力処理部60は、カメラ操作サポート部50により生成されたカメラ操作サポート情報を出力したり、検知部30により生成された異常検知結果や統合判定部40により生成された統合判定結果を含む情報を出力したりする(ステップS7)。
【0120】
(カメラ移動サポート処理の動作)
次に、
図15のフローチャートを参照して、主に検知部30およびカメラ操作サポート部50により行われるカメラ移動サポート処理(カメラ4の移動をユーザに案内するための処理)の動作の一例を説明する。なお、
図15に示される個々の処理は、ステップの番号の順に必ずしも行われるとは限らず、適宜変更することが可能である。例えば、ステップS12とS13とは処理の順序が入れ替わってもよいし、同時に処理されてもよい。
【0121】
まず、検知部30が、カメラ4の撮影画像を読み込み(ステップS11)、その中から管の先(すなわち、円環状の管の中心位置)を検出する(ステップS12)。また、検知部30は、カメラ4の動きを検出する(ステップS13)。
【0122】
検知部30では、現在地異常検知部31が、主領域A1に対して異常の検知を行う(ステップS14)。主領域A1から異常が検知された場合には、現在地異常検知部31は、その異常ランクの判定も行う。また、移動先異常検知部32は、副領域A2又はA3に対して異常の検知を行い(ステップS15)、異常が検知されたか否かを判定する(ステップS16)。
【0123】
副領域A2又はA3から異常が検知された場合(ステップS16のYes)、カメラ操作サポート部50は、その異常な部分を鮮明に撮影できるようにするためのカメラ操作サポート情報を出力する(ステップS17)。すなわち、カメラ操作サポート部50は、副領域A2またはA3から管の異常が検知されたときには、当該副領域に映る管の異常が主領域A1に映るようにカメラ4を移動させる操作をカメラ操作サポート情報によりユーザに案内する。上記案内に従ってユーザはカメラ4を操作する(ステップS19)。これにより、副領域A2またはA3に映っていた異常は、鮮明な映像を映し出す主領域A1に映ることとなるため、カメラ操作サポート部50は、その異常を精度よく検知することに加え、さらにその異常の異常ランクを精度よく判定することとなる。
【0124】
一方、副領域A2又はA3から異常が検知されなかった場合(ステップS16のNo)、カメラ操作サポート部50は、管内点検の効率を重視するためのカメラ操作サポート情報を出力する(ステップS18)。例えば、管の異常が存在しないために、管の異常が検知されない場合、当該異常が検知されるまでカメラ4を継続して移動させる操作をユーザに案内する。また、例えば、管内が一定以上の視界不良の状態にあるために、管の異常が検知されない場合、もはや異常の検知を行うことはできないため、当該状態が解消されるまでカメラ4を継続して移動させる操作をユーザに案内する。上記案内に従ってユーザはカメラ4を操作する(ステップS19)。これにより、カメラ4の不必要な一時停止が低減され、検査時間が短くなり、検査効率が高まる。ステップS19の処理後、管内の検査が完了していない場合は、ステップS1からの処理が繰り返されることになる。
【0125】
(カメラ向き調節サポート処理の動作)
次に、
図16のフローチャートを参照して、主に検知部30およびカメラ操作サポート部50により行われるカメラ向き調節サポート処理(カメラ4の向きの調節をユーザに案内するための処理)の動作の一例を説明する。
【0126】
まず、検知部30が、カメラ4の撮影画像を読み込み(ステップS21)、その中から管の先(すなわち、円環状の管の中心位置)を検出する(ステップS22)。次いで、検知部30は、管の先と画像中心との相対距離を算出し(ステップS23)、当該相対距離が所定の正常範囲内にあるか否かを判定する(ステップS24)。
【0127】
相対距離が所定の正常範囲内に無い場合(ステップS24のNo)、検知部30またはカメラ操作サポート部50は、横方向(水平方向)の相対距離および縦方向(鉛直方向)の相対距離をそれぞれ算出し(ステップS25)、算出したそれぞれの相対距離を用いてカメラ4の向きを調節することを案内するサポート情報を出力する(ステップS26)。上記案内に従ってユーザはカメラ4の向きを調節する(ステップS27)。この後、ステップS1からの処理を繰り返す。
【0128】
一方、ステップS24において、相対距離が所定の正常範囲内にある場合(ステップS24のYes)、カメラ4の向きを調節する必要はないため、このまま処理を終える。
【0129】
(変形例)
次に、
図17を参照して、
図1の構成の変形例について説明する。以下では、
図1の構成と異なる部分を中心に説明する。
【0130】
【0131】
図17の構成では、
図1の構成から統合判定部40を省いたものとなっている。そのため、検知部30から統合判定部40に供給されていた異常検知結果は、統合判定部40を経由せずに出力処理部60にそのまま供給される。
【0132】
よって、出力処理部60は、統合判定結果を出力することがなく、検知部30により生成された異常検知結果を出力したり、カメラ操作サポート部50により生成されたカメラ操作サポート情報を出力したりする。
【0133】
【0134】
動作については、前述した
図14からステップS6の処理を省いたものとなる。
【0135】
この変形例によれば、管内検査装置1の機能構成を簡潔にすることができるとともに、統合判定の処理を省くことができ、処理にかかる負担を軽減することが可能になる。
【0136】
(まとめ)
以上詳述したように、実施形態によれば、管の異常な部分に対する適切な撮影を容易に行うことが可能になる。特にカメラ操作サポート情報により管の異常を適切に検知するためのカメラの操作をユーザに案内することができることから、異常な部分が不鮮明な状態で撮影されるといった事態を避けることができ、当該異常の診断が困難になることを避けることができる。また、当該異常を鮮明な映像から精度よく検知することができるため、その異常の異常ランクも精度よく判定することができ、当該異常の正しい診断を容易に行うことが可能になる。
【0137】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0138】
1…管内検査装置、2…現場、3…水道管、4…カメラ、10…映像入力部、11…属性情報入力部、12…設定部、20…カメラ位置・動き検出部、30…検知部、31…現在地異常検知部、32…移動先異常検知部、33…視界状態検知部、40…統合判定部、50…カメラ操作サポート部、60…出力処理部、61…画面、62…スピーカ。