(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023055064
(43)【公開日】2023-04-17
(54)【発明の名称】管内検査装置、管内検査方法、およびプログラム
(51)【国際特許分類】
G01N 21/954 20060101AFI20230410BHJP
【FI】
G01N21/954 A
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2021164166
(22)【出願日】2021-10-05
(71)【出願人】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(71)【出願人】
【識別番号】598076591
【氏名又は名称】東芝インフラシステムズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】助川 寛
(72)【発明者】
【氏名】柳原 悠紀
(72)【発明者】
【氏名】朴 英
(72)【発明者】
【氏名】杉野 寿治
(72)【発明者】
【氏名】浅野 渉
(72)【発明者】
【氏名】君山 健二
(72)【発明者】
【氏名】間嶋 義喜
【テーマコード(参考)】
2G051
【Fターム(参考)】
2G051AA82
2G051AB01
2G051AB02
2G051AC15
2G051CA04
2G051GC04
2G051GC20
2G051GD01
(57)【要約】
【課題】 管内の異常を精度よく検知することを可能にすること。
【解決手段】 実施形態の管内検査装置は、管内を撮影するカメラの位置または動きに応じて、前記カメラが撮影する管内の検知対象の映像データの中から1つ又は複数の画像を選択し、選択した画像を用いて管内の前記検知対象の異常の有無および異常レベルを判定し、判定した結果を検知対象毎に異常検知結果として生成する異常検知部を具備する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
管内を撮影するカメラの位置または動きに応じて、前記カメラが撮影する管内の検知対象の映像データの中から1つ又は複数の画像を選択し、選択した画像を用いて管内の前記検知対象の異常の有無および異常レベルを判定し、判定した結果を検知対象毎に異常検知結果として生成する異常検知部を具備する、管内検査装置。
【請求項2】
管内を撮影するカメラの映像データを入力する映像入力部と、
前記カメラの属性情報を入力する属性情報入力部と、
前記映像入力部により入力される前記映像データおよび前記属性情報入力部により入力される前記属性情報を用いて、前記管内における前記カメラの位置または動きを検出するカメラ位置・動き検出部と、
前記カメラ位置・動き検出部により検出される前記カメラの位置または動きに応じて、前記カメラが撮影する検知対象の前記映像データの中から1つ又は複数の画像を選択し、選択した画像を用いて前記管内の各検知対象の異常の有無および異常レベルを判定し、判定した結果を検知対象毎に異常検知結果として生成する異常検知部と、
前記異常検知部により検知対象毎に生成された異常検知結果を統合して、前記管内の異常のレベルを示す統合判定結果を生成する統合判定部と、
前記異常検知部により検知対象毎に生成された異常検知結果および前記統合判定部により生成された統合判定結果を含む情報を出力する出力処理部と
を具備する、管内検査装置。
【請求項3】
管内を撮影するカメラの映像データを入力する映像入力部と、
前記カメラの属性情報を入力する属性情報入力部と、
前記映像入力部により入力される前記映像データおよび前記属性情報入力部により入力される前記属性情報を用いて、前記管内における前記カメラの位置または動きを検出するカメラ位置・動き検出部と、
前記カメラ位置・動き検出部により検出される前記カメラの位置または動きに応じて、前記カメラが撮影する検知対象の前記映像データの中から1つ又は複数の画像を選択し、選択した画像を用いて前記管内の各検知対象の異常の有無および異常レベルを判定し、判定した結果を検知対象毎に異常検知結果として生成する異常検知部と、
前記異常検知部により検知対象毎に生成された異常検知結果を含む情報を出力する出力処理部と
を具備する、管内検査装置。
【請求項4】
前記属性情報入力部、前記カメラ位置・動き検出部、前記異常検知部、および前記統合判定部の少なくともいずれかにおける処理で使用される情報の設定またはその変更を行う設定部を更に具備する、
請求項2に記載の管内検査装置。
【請求項5】
前記異常検知部は、
連続する所定数の画像毎に、最も異常レベルの高いもの採用し、異常レベルを判定する
請求項1乃至4のいずれか1項に記載の管内検査装置。
【請求項6】
前記異常検知部は、
前記カメラが動いていない時の画像から得られる異常レベルを採用し、異常レベルを判定する
請求項1乃至5のいずれか1項に記載の管内検査装置。
【請求項7】
前記異常検知部は、
連続する所定数の画像毎に、前記カメラの動きが最も少ない画像から得られる異常レベルを採用し、異常レベルを判定する
請求項1乃至6のいずれか1項に記載の管内検査装置。
【請求項8】
前記異常検知部は、
検知対象の種類に応じて、前記カメラの前進時に対応する画像と前記カメラの後退時に対応する画像のうちのいずれの画像を用いて前記判定を行うかを決定する、
請求項1乃至7のいずれか1項に記載の管内検査装置。
【請求項9】
前記異常検知部は、
所定の検知対象に対しては、1フレームの画像を1単位として単位毎に、または複数のフレームの画像を1単位として単位毎に、または全画像を1単位として、前記判定を行う、
請求項1乃至8のいずれか1項に記載の管内検査装置。
【請求項10】
前記統合判定部は、
検知対象毎の異常検知結果の相互の関係性に応じて、統合判定結果を生成するための演算方法を変え、統合判定結果を生成する、
請求項2に記載の管内検査装置。
【請求項11】
前記統合判定部は、
検知対象間での影響の有無に応じて、所定の検知対象の異常レベルを調整し、統合判定結果を生成する、
請求項2に記載の管内検査装置。
【請求項12】
管内検査装置により、管内を撮影するカメラの位置または動きに応じて、前記カメラが撮影する管内の検知対象の映像データの中から1つ又は複数の画像を選択し、選択した画像を用いて管内の前記検知対象の異常の有無および異常レベルを判定し、判定した結果を検知対象毎に異常検知結果として生成することを含む、管内検査方法。
【請求項13】
コンピュータに、
管内を撮影するカメラの位置または動きに応じて、前記カメラが撮影する管内の検知対象の映像データの中から1つ又は複数の画像を選択し、選択した画像を用いて管内の前記検知対象の異常の有無および異常レベルを判定し、判定した結果を検知対象毎に異常検知結果として生成する機能を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、管内検査装置、管内検査方法、およびプログラムに関する。
【背景技術】
【0002】
水道管などの管は、長年の使用により管内に堆積物やサビなどが生じると、異物の堆積・付着や、管の内面の劣化・剥離などが起こり、管内に各種の異常が生じる。
【0003】
水道管などの管内を検査するためには、例えば管内をカメラであらかじめ撮影し、撮影を終えたカメラの映像に基づいて当該管内に異常がないかどうかを診断する。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第6668106号公報
【特許文献2】特許第5764238号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
水道管などの管内の診断を目視で行う場合は、診断の時間が非常にかかることに加え、判定者によって診断結果がばらつき、個人の中でも診断結果がばらつくという問題がある。
【0006】
これに対し、前述のようにカメラの映像を利用することで診断を容易にする技術もあるが、管の中の水の流れや浮遊物の流れ、カメラの動きによるぶれなどにより、堆積物やサビなどの検知対象がカメラの映像に正しく映らないことがあるため、管内の異常を正しく検知することが難しく、診断結果にばらつきが生じやすいという問題がある。
【0007】
発明が解決しようとする課題は、管内の異常を精度よく検知することを可能にする、管内検査装置、管内検査方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【0008】
実施形態の管内検査装置は、管内を撮影するカメラの位置または動きに応じて、前記カメラが撮影する管内の検知対象の映像データの中から1つ又は複数の画像を選択し、選択した画像を用いて管内の前記検知対象の異常の有無および異常レベルを判定し、判定した結果を検知対象毎に異常検知結果として生成する異常検知部を具備する。
【図面の簡単な説明】
【0009】
【
図1】第1~第3の実施形態に共通するシステム全体の構成の一例を示す図。
【
図2】第1の実施形態による管内検査装置1の構成の一例(その1)を示す図。
【
図3】第1の実施形態による管内検査装置1の構成の一例(その2)を示す図。
【
図4】第1の実施形態による管内検査装置1の構成の一例(その3)を示す図。
【
図5】水道管3にカメラ4が挿入された状態の一例を示す図。
【
図6】カメラ4により実際に撮影された映像に含まれる画像の一例を示す図。
【
図7】ケーブル長を示す情報(即ち、カメラ4の位置情報)が表示された画像の一例を示す図。
【
図8】サビによる管内の閉塞率を画像から求める手法を説明するための図。
【
図9】サビの異常レベルの判定に使用される表の一例を示す図。
【
図10】堆積物の異常レベルの判定に使用される表の一例を示す図。
【
図11】異物や劣化のある異常領域の大きさを画像から求める手法を説明するための図。
【
図12】複数のフレームからなる区間ごとに、最も異常レベルの高かったものをその区間の異常レベルとして判定する手法を説明するためのグラフ。
【
図13】カメラ4が動いていないと判定されたフレームのみについてレベル判定を行う手法を説明するためのグラフ。
【
図14】区間ごとにカメラ4の動き量が最も少ないフレームについてのレベル判定を行う手法を説明するためのグラフ。
【
図15】検知対象毎に適用することが可能なカメラ4の動き・移動方向を定めた設定例を示す表。
【
図16】検知対象毎に適用することが可能な判定単位を定めた設定例を示す表。
【
図17】検知・判定された結果をディスプレイ上に表示する画面の例を示す図。
【
図18】第1の実施形態による管内検査装置1の動作の一例を示すフローチャート。
【
図19】第2の実施形態による管内検査装置1の構成の一例を示す図。
【
図20】第2の実施形態による管内検査装置1の動作の一例を示すフローチャート。
【
図21】第3の実施形態による管内検査装置1の構成の一例を示す図。
【
図22】第3の実施形態による管内検査装置1の設定部12に関わる動作の一例を示すフローチャート。
【発明を実施するための形態】
【0010】
以下、図面を参照して、実施の形態について説明する。
【0011】
<第1の実施形態>
最初に、第1の実施形態について説明する。
【0012】
(システム構成)
図1は、第1の実施形態に係る管内検査装置を含むシステム全体の構成の一例を示す図である。
【0013】
本実施形態では、一例として水道管(上水管)の管内の検査、特に不断水検査として管内が満水の状態で管内の検査を行うことを前提に説明するが、本実施形態はこの例に限定されるものではなく、例えば下水管や配管などの各種管の管内の検査にも適用することが可能である。
【0014】
本実施形態に係る管内検査装置1は、例えば、
図1に示されるように現場2に設置された水道管3の管内を撮影するカメラ4の映像に基づいて管内の検査を行う。カメラ4で撮影された映像は、例えば、複数の連続した画像(フレーム)からなる映像データ(ファイル)として記録媒体5に記録される。この記録媒体5には、カメラに付随する属性を示す属性情報も併せて記録される。管内検査装置1は、記録媒体5に記録された映像データおよび属性情報を内部に取り込み、これらを用いて、管内の検査を行う。
【0015】
なお、
図1に示したシステムの構成は一例であって、この例に限定されるものではない。例えば、管内検査装置1は、撮影を行うカメラ4を含む構成であってもよいし、映像データおよび属性情報を記録した記録媒体5を含む構成であってもよい。
【0016】
(管内検査装置1の構成)
第1の実施形態による管内検査装置1の構成の例を
図2~
図4に示す。
図2は、管内検査装置1の構成の一例(その1)を示す図である。
図3は、管内検査装置1の構成の別の例(その2)を示す図である。
図4は、管内検査装置1の構成の更なる別の例(その3)を示す図である。
図2~
図4のそれぞれに示される個々の要素の機能の一部または全部は、コンピュータに実行させるためのプログラムとして実現することが可能である。
【0017】
図2に示される管内検査装置1は、映像入力部10、属性情報入力部11、カメラ位置・動き検出部20、異常検知部30、統合判定部40、および出力処理部50を含む。
【0018】
映像入力部10は、水道管3の管内を撮影するカメラ4の映像データを入力する。
【0019】
属性情報入力部11は、カメラ4の属性情報を入力する。当該属性情報は、カメラ位置・動き検出部20、異常検知部30、および統合判定部40に供給され、各部の処理において必要に応じて使用される。
【0020】
カメラ位置・動き検出部20は、映像入力部10により入力される映像データおよび属性情報入力部11により入力される属性情報を用いて、管内におけるカメラ4の位置または動きを検出する。
【0021】
異常検知部30は、カメラ位置・動き検知部20により検出されるカメラ4の位置または動きに応じて、カメラ4が撮影する検知対象の映像データの中から1つ又は複数の画像を選択し、選択した画像を用いて管内の各検知対象の異常の有無および異常レベルを判定し、判定した結果を検知対象毎に異常検知結果として生成する。
ここでいう検知対象とは、(1)サビ、(2)堆積物、(3)部分的な異物の付着・管表面の防食の劣化、(4)管内全体に膜状に付着した汚れ、および、(5)浮遊物のいずれかを指す。
【0022】
統合判定部40は、異常検知部30により検知対象毎に生成された異常検知結果を統合して、管内の異常のレベルを示す統合判定結果を生成する。
【0023】
出力処理部50は、異常検知部30により検知対象毎に生成された異常検知結果および統合判定部40により生成された統合判定結果を含む情報を表示装置もしくは記憶装置に出力する。
【0024】
一方、
図3、
図4に示される管内検査装置1も、上記した映像入力部10、属性情報入力部11、カメラ位置・動き検出部20、異常検知部30、統合判定部40、および出力処理部50の各要素を含むが、一部の要素の配置が、
図1に示される管内検査装置1と異なる。
【0025】
本実施形態では、
図2に示されるように、映像入力部10の中に、実際に管の内部を撮影したカメラ4を含まずに、外側から映像データを入力する構成を基本とする。この場合、カメラ4で撮影された映像の映像データを記録媒体5経由で管内検査装置1に入力し、それを用いて管内検査装置1において異常検知を行う。
【0026】
一方で、カメラ4を、管内検査装置1内に含める構成としても構わない。その場合、
図3に示されるように、映像入力部10にカメラ4そのものが含まれる構成となる。また、映像入力部10においてカメラ4の位置情報または動き情報を取得するため、ジャイロセンサや加速度センサなどのセンサを利用してもよい。その場合、
図4に示されるように、ジャイロセンサや加速度センサなどを、映像入力部10においてカメラ位置・動き検出部20として、例えばカメラ4または当該カメラ4の付属部に搭載させてもよい。
【0027】
(個々の構成要素の詳細)
以下に、管内検査装置1を構成する個々の要素について詳細に説明する。
【0028】
・映像入力部10
映像入力部10は、映像を撮影するカメラ4などのハードウェアを含む場合、含まない場合のどちらでも対応できる。
図2の構成例の場合は、管内を撮影したカメラ4の映像データを記録する装置が別途あるため、そこで記録された映像データを記録媒体5経由で読み込みできる手段があればよい。例えば映像データのファイルをSDカードなどの記録媒体5に保存し、その記録媒体5を読み込むリーダーによってそのファイルを読み取ることで映像データの入力を行うことができる。
【0029】
一方、
図3や
図4の構成例の場合は、管内検査装置1にカメラ4が含まれる。このカメラ4は、例えばITVカメラが搭載されたカメラヘッドとして実現されてもよい。ITVカメラは、カメラレンズを通して得られた光学的な情報を、A/D変換器によりデジタル化して映像データとして出力することができる。
【0030】
図5に、水道管3にカメラ4が挿入された状態の一例を示す。ここで、カメラ4は、
図5に示されるように、現場2において水道管3の管内を移動するため、全体として防水加工が施されていてもよい。また、カメラ4には、照明を付けて管内を明るくする機能や、当該カメラ4が常に上下・水平を保つような回転機構が備わっていてもよい。このカメラ4に長いケーブル6を接続し、消火栓7等からそのケーブル6を押し込むことにより水道管3内にカメラ4を挿入し、水道管3内の撮影を行う。撮影では、カメラ4を上流側と下流側の双方に挿入させる。これを実現するため、消火栓7から水道管3に到達するところまでに配置された治具により、カメラ4を挿入する方向を制御することができるようになっている。
【0031】
また、カメラ4には、カメラ4の向きや動きの情報を得るために、前述したようなジャイロセンサや加速度センサなどのセンサを搭載し、これらによりカメラ4の向きや動きを検出するようにしてもよい。この場合、センサはカメラ4の動きや位置を計測できるものであれば種類は問わない。カメラ4の向きや動きの情報は、カメラ位置・動き検出部20においてカメラ4の動きや位置を検出する際に利用することができる。
【0032】
カメラ4の映像はケーブル6を経由して消火栓7の外にある記録装置(図示せず)により記録媒体5に記録される。映像記録方式はどのような方式でもよく、方式は問わない。例えばアナログNTSC方式でもよいし、また、デジタル未圧縮の形態でもよいし、デジタル符号化の形態でもよい。
【0033】
図6に、カメラ4により実際に撮影された映像に含まれる画像の一例を示す。正常であれば円筒状の管内に異物は殆ど見られないが、管内に異常が生じていると、
図6(a)のように管内で異物が堆積して付着している状態や、管の内面が劣化して剥離している状態、
図6(b)のように管内で異物が浮遊物として水に混じって流れている状態などが撮影される。
【0034】
・属性情報入力部11
続いて属性情報入力部11について説明する。
図2の構成例の場合は、映像入力部10と同様に、管内を撮影したカメラ4の映像データを記録する装置が別途あるため、そこで記録された映像データとともに、そのカメラ4の映像に関する属性情報もあわせて記録媒体5経由で読み込みできる手段があればよい。属性情報は、例えばカメラ4でまたはキーボードやマウスの入力装置で入力してもよい。また、カメラ4内のセンサ等から得られた情報を属性情報としてもよい。いずれかの形で生成された属性情報をデータファイルとしてSDカードなどの記録媒体に保存し、その媒体を読み込むリーダーによってそのファイルを読み取ることで属性情報の入力を行うことができる。
【0035】
一方、
図3や
図4の構成例の場合は、かりに属性情報入力部11が無くても映像入力部10があれば管内の検査を行うことは可能ではあるが、本実施形態では、より精度良く管内の診断ができるようにするため、カメラに関する属性情報を入力する属性情報入力部11を設けている。
【0036】
属性情報入力部11で入力する属性情報には、例えばカメラ4を水道管3の管内に挿入した際のケーブル6の長さ(ケーブル長)を示す情報があり、これは管内におけるカメラ4の位置情報となる。
図7に、ケーブル長を示す情報(即ち、カメラ4の位置情報)が表示された画像の一例を示す。
【0037】
ケーブル長を示す情報は、映像データの所定位置に重畳して記録することにより、後述のカメラ位置・動き検出部20において利用することが可能となる。映像をデジタル形式で記録するのであれば、ケーブル長を示す情報を、映像データ中に重畳するのではなく、映像データと同期させて記録するようにしてもよい。
【0038】
属性情報入力部11では、他の属性情報を入力することも可能である。例えば、水道管の位置(地名・緯度経度・住所など)、水道管の種類、水道管の管径、水道管の布設年度、前回検査日時やその時の診断結果、またカメラの型式やレンズパラメータなどの属性情報を、映像を記録する記録媒体に関連付けて記録することで、属性情報入力部11での入力が可能になる。
【0039】
なお、これらの属性情報を入力する属性情報入力部11の機能は、
図3や
図4の映像入力部10においてカメラ4と共通するカメラユニット内に搭載してもよいし、当該カメラユニットと異なる別のユニットを準備してそのユニット内に搭載してもよいし、あるいはカメラ4が接続されるケーブル6の先につながる別のユニット内に搭載してもよい。
【0040】
また、上記カメラユニットにジャイロセンサや加速度センサなどのセンサが搭載される場合には、それらをもとにカメラ4の位置や動きを示す情報を属性情報として記録し、当該属性情報を後述のカメラ位置・動き検出部20で利用するようにしてもよい。
【0041】
・カメラ位置・動き検出部20
カメラ位置・動き検出部20は、管内におけるカメラ4の現在の位置を検出するとともに、カメラ4の動きの有無なども併せて検出する。
図2や
図3の構成例の場合は、映像データおよび属性情報が映像入力部10および属性情報入力部11を経由してカメラ位置・動き検出部20に入力されることを前提としており、当該映像データおよび属性情報を用いてカメラ位置・動き検出部20がカメラ4の位置と動きの検出を行う。
図4の構成例の場合は、例えばカメラ4のハードウェアそのものに(またはカメラ4の付属部に)カメラ位置・動き検出部20が搭載される。この場合、例えばカメラ4のハードウェア内にジャイロセンサや加速度センサなどのセンサを搭載することで、そのセンサ情報を用いてカメラ4の動きの検出を行うようにしてもよいし、CPU(Central Processing Unit)によるソフトウェア処理によって同様の検出を行うようにしてもよい。
【0042】
以下に、映像データを用いてカメラ4の位置・動きを検出する手法について説明する。
【0043】
(1)カメラの位置の検出
最初に、カメラ4の位置の検出について説明する。カメラ4の位置の検出は、最も簡単な手法としては、属性情報入力部11により入力される属性情報からケーブル長を示す情報(即ち、カメラ4の位置情報)を読み取ることで実現可能である。映像データがデジタル形式であれば、映像データ中の各フレームに対応させてケーブル長を示す情報を埋め込んでおいてその値を読み取るだけで実現可能である。
【0044】
映像データ中にケーブル長を示す情報を重畳して記録している場合には、光学文字認識(OCR)を用いてその情報を読み取ればよい。この場合、カメラ4内の文字表示領域を指定することなく、個々の画像から文字が横に並んでいる領域を見つけることで認識が可能となる。例えば、0~9および小数点を示す「・」をテンプレートとして登録しておき、テンプレートマッチングで画像内を探索し、いずれかの文字とヒットする文字が横に並んでいる領域があることを利用して文字領域を見つけると同時に、最もヒットした数字のテンプレート情報から数値を読み取るようにしてもよい。
【0045】
図7の画像の例では、「1」「6」「・」「4」のテンプレートが画面右上の領域でマッチングスコアが高くなり、Y軸方向の位置がほぼ同じで左右に並んでいることから16.4と値を読み取ることが可能である。この場合の文字認識には、例えば「O.Hori,“A video text extraction method for character recognition”, Proceedings of the Fifth International Conference on Document Analysis and Recognition. ICDAR '99 (Cat. No.PR00318)」(以下、「参考文献1」)の技術を利用してもよい。
【0046】
また、カメラ4の型式を指定する情報を、事前に属性情報に含めておくことにより、当該型式に応じてケーブル長を示す情報を表示する領域を設定するようにしてもよい。
【0047】
なお、ケーブル押し込み型のカメラの場合、押し込み時にはケーブル6がたわみ、引き戻し時にはケーブル6が伸びるため、同じ地点でもケーブル6の長さが違って表示される傾向がある。そのため、押し込み時と引き戻し時の往復の画像を比較して、類似した画像に対し引き戻し時のケーブル長の値を正式な値として補正するなどにより、位置の精度を高めるようにしてもよい。その際、類似画像を比較する手法を利用してもよいし、「関,“移動カメラ画像からの3次元形状復元・自己位置推定(SLAM)と高密度な3次元形状復元”,情報処理学会研究報告コンピュータビジョンとイメージメディア(CVIM),2014-CVIM-190,2014」(以下、「参考文献2」)で示される単眼カメラによる3次元情報の再構成技術を用いることでより正確な位置を求めるようにしてもよい。
【0048】
また、水道管3の種類がわかっていれば、管同士の個々の接続部の位置がわかる。そこで、個々の接続部の位置が映像の中で同心円状の一定以上の輝度変化(エッジ)として現れる場合は、その同心円状のエッジが検出された数を数えることにより、カメラ4の位置を求めるようにしてもよい。
【0049】
(2)カメラの動きの検出
続いて、カメラ4の動きの検出について説明する。簡単な手法としては、画像全体でオプティカルフローを求め、フローの方向から消失点を求めた時に多くのフローベクトルが消失点を起点または終点としていることがわかれば、カメラ4が移動していることがわかる。
【0050】
ただし、水道管3内を撮影している場合、水道管3内に浮遊物があると管の奥に向かって、または管の奥から手前に浮遊物が流れてくるため、カメラ4が止まっていても消失点方向のベクトルが発生してしまうことがある。そこで、カメラ4が動くと露光時間内に画像が変化することによるぶれ(モーションブラー)が発生して画像全体がぼけることを検知することでカメラ4の動きの有無を判定するようにしてもよい。例えば、画像内のエッジ強度を求め、その値を累積することでエッジの累積強度がある閾値よりも大きくなった状態が停止状態、ある閾値よりも低くなった状態がぼけているため動いている状態と判定してもよい。
【0051】
なお、浮遊物の影響を減らすため、累積対象とする画素を管の周辺部(中央部を除く)に限るなど、領域を限定するようにしてもよい。また、エッジの強度は隣接画素とのエッジでなく、画像全体にFFTをかけて周波数の高い成分のパワーを累積することによって求めてもよい。例えば、浮遊物で発生する周波数を事前に求めておいてその周波数を除外することなどにより精度良く動きの有無を検出することができる。
【0052】
そのほか、NTSC(National Television Standards Committee)のアナログ信号形式で保存された映像に限定される手法であるが、この場合はインタレース方式により上下方向が1行ごとに交互に画像が記録されるので、カメラ4に動きがあった場合にコーミングノイズと呼ばれる縞状態のノイズが発生する。これは、奇数行と偶数行とで撮影する時間が異なるため、明るさに変化が発生したところに縞状になって輝度変化が発生することによる。そこで、この縞状の部分について、Y(x,y)を座標x,yの輝度値Yとしたとき、所定の係数をαとして、以下のような式を満たす画素が所定画素以上ある場合に、コーミングノイズ発生と判定し、カメラ4が動いていると判定するようにしてもよい。
【0053】
|Y(x,y)-Y(x,y-1)| > |(x,y)-y(x,y-2)|+α
上記式によれば通常なら輝度は空間内で滑らかに変化するため、1行上よりも2行上との輝度差の方が大きくなるのが通常だが、コーミングノイズが発生すると、2行上よりも1行上との輝度差の方が大きくなる。本手法ではそのような現象を利用している。
【0054】
図2や
図3の構成例の場合は、属性情報入力部11からカメラ位置・動き検出部20に、カメラ4に搭載されたジャイロセンサや加速度センサなどのセンサの情報が入力されているのであれば、その情報を読みこむことによってカメラ4の動きの検出は容易に行える。この場合、水中の状況によらずカメラ4の動きを正確に検出することが可能となる。
【0055】
図4の構成例の場合は、ジャイロセンサや加速度センサなどのセンサにより動きを検出するハードウェアそのものがカメラ位置・動き検出部20内に含まれる。この場合もセンサの情報を利用することで動きの検出は可能である。
【0056】
以上により、カメラ4の現在位置、およびカメラ4の動きの有無を検出することが可能となる。
【0057】
・異常検知部30
異常検知部30は、映像データから検知対象毎に水道管3内の異常の有無を検知するとともに異常のレベルを判定する。本実施形態では、検知対象として、(1)サビ、(2)堆積物、(3)部分的な異物の付着・管表面の防食の劣化、(4)管内全体に膜状に付着した汚れ、および、(5)浮遊物、を検知することを想定している。以下、各検知対象を検知する手法について説明する。
【0058】
(1)サビ
サビは、管の内面が腐食して錆びることにより発生し、色として赤茶色の状態になることが多い。管の内面は正常の状態では赤茶色になることはないため、色の検出により赤茶色の領域を見つけることでサビを検知することが可能である。また、近年では深層学習(ディープラーニング)により画素単位で学習された対象を検知することが可能であり、「“ディープラーニングを用いた新しい画像領域分割手法”,東芝レビューVol.74,No.5,2019年9月」(以下、「参考文献3」)の技術、または「“Fast-SCNN: Fast Semantic Segmentation Network” , https://arxiv.org/pdf/1902.04502.pdf」(以下、「参考文献4」)の技術を用いてサビの領域を画素単位で求めてもよい。
【0059】
サビの異常のレベルは、映像データから管内の形状や閉塞率をもと判定してもよい。管の形状は、管の輝度勾配が得られるように等濃度線により複数の円を求めることで判定してもよく、円形抽出フィルタの適用で求めてもよい。例えば、
図8の画像の例に示されるように、管の円筒形の内面の輝度はカメラ4から遠いほど小さくなる(暗くなる)ため、これを利用して、等濃度線により複数の輝度の基準で複数の円を求めることができる。水道管3の接続部などにサビがついている場合、その円に沿ってサビが付着しており、同心円のいずれかの円にそってサビが付着する。このサビが付着する最も外側の円に対し、サビの内側にそった円(
図8中の破線で示される円)を求めることで、この円と外接の円の比率から閉塞率を求めることができる。
【0060】
サビの異常レベルの判定では、異常レベル毎に、例えば閉塞率について所定のしきい値で基準を定め、求められた閉塞率が高まると異常レベルを高く判定するようにしてもよい。
図9に、サビの異常レベルの判定に使用される表の一例を示す。
図9の表に示されるように、異常レベルS,A,B,C,Dと閉塞率(しきい値による具体的な範囲)との関係を事前に設定しておけば、求められた閉塞率の値から異常レベルを判定することができる。
【0061】
また、閉塞率を指標とする方法以外にも、画面内のサビの面積(画素数)の合計値、ラベリングなどによってサビの塊の大きさ、判定対象とする領域を事前に定め、その領域内のサビの面積を指標とすることなど、他の値を指標としてもよい。
【0062】
(2)堆積物
堆積物の検知では、管の下部に堆積している異物を堆積物として検知する。その場合、上記参考文献3、4の技術を利用して検知を行ってもよい。一方、カメラ4の後退時には堆積している異物がカメラ4によって舞う動作がカメラ4の視野に入りやすい。その舞っている異物について、オプティカルフローで画面内の動きベクトルの量を求めたり、エッジの量の多さを検知し、それらの値が所定の基準以上であれば堆積物があると判定したりしてもよい。
【0063】
堆積物については、面積や体積を求めることで所定の基準で異常レベルを判定することができる。面積や体積は、画像内の画素値の量から求めることができる。ただし、求めた面積や体積の値は、カメラ4からの距離に応じた補正が必要なため、画素の座標ごとに係数をかけて補正することで異常レベルを判定することが望ましい。求めた値を時間軸方向に累積することで体積に比例した異常レベル判定を行うようにしてもよい。また、堆積物は基本的に管の下部に存在するため、対象領域を管の下半分に限定し、その範囲で補正済の面積や体積を求めるようにしてもよい。
【0064】
堆積物の異常レベルの判定では、異常レベル毎に、例えば補正済の面積や体積について所定のしきい値で基準を定め、求められた補正済の面積や体積が大きくなると異常レベルを高く判定するようにしてもよい。
図10に、堆積物の異常レベルの判定に使用される表の一例を示す。
図10の表に示されるように、異常レベルS,A,B,C,Dと補正済の面積や体積(しきい値による具体的な範囲)との関係を事前に設定しておけば、求められた補正済の面積や体積の値から異常レベルを判定することができる。
【0065】
また、面積や体積を指標とする方法以外にも、堆積物の存在する範囲の大きさ(外接矩形)やラベリングして求めた塊の数の多さなどを指標にしてもよい。
【0066】
(3)部分的な異物の付着・管表面の防食の劣化
正常な水道管は表面が一面同一の色となっているため、エッジ状の特徴が存在しない。一方、部分的な異物の付着・管表面の防食の劣化(以下、異物付着・内面劣化)の異常が発生するとエッジ状の特徴が映像に現れやすい。そこで、エッジ処理によりエッジが所定以上検出されることを利用することで、異物付着・内面劣化を検出することができ、その異常レベルを求めることが可能となる。
【0067】
図11に、画像から異物付着・内面劣化を検出する手法の一例を示す。
図11の画像の例に示されるように、エッジ強度が所定の値以上の画素が所定以上検出されたらその連結範囲の外接矩形を求めることで異物や劣化のある異常領域の外接矩形を求めることができ、異常の大きさ(矩形の面積などで表現可能)を確認することができる。
【0068】
異物付着・内面劣化の異常レベルの判定では、異常レベル毎に、例えば外接矩形の面積について所定のしきい値で基準を定め、求められた外接矩形の面積が大きくなると異常レベルを高く判定するようにしてもよい。例えば、前述した
図10の表と同様に、異常レベルS,A,B,C,Dと外接矩形の面積(しきい値による具体的な範囲)との関係を事前に設定しておけば、求められた外接矩形の面積の値から異常レベルを判定することができる。
【0069】
また、外接矩形の面積を指標とする方法以外にも、異常領域の数や分布範囲の大きさ(存在する異常の塊の全体の外接矩形の大きさ)などを指標にしてもよい。
【0070】
(4)管内全体に膜状に付着した汚れ
管内全体に膜状に付着した汚れ(以下、膜状の付着物)は、上記(3)に示した方法で検出することは困難である。そこで、管内表面の明るさや色の平均値を求め、正常時の状態との差分を求めることで、膜状の付着物を検出することができ、その異常レベルを求めることが可能となる。汚れが発生すると黒ずんでくることが多いため、例えば輝度値の平均値が小さい時(暗い時)に異常と判定することで膜状の付着物による異常を検知することができる。
【0071】
また、膜状に汚れがついた場合、カメラ4の挿入によって表面の汚れが削れ、線状に跡が残ることがある。よって表面に線状の後があることを検出することも有効である。この場合、エッジ抽出処理や二値化処理をした後にハフ変換によって線分を検出することが可能であり、所定の長さ・幅の線を見つけた時に異常と判定することができる。カメラ4の位置や形状によってあらかじめ線状の跡が付く場所が限られている場合には、線分検出の位置を限定することで精度を高めることができる。
【0072】
膜状の付着物の異常のレベルは、正常状態との輝度の変化量の多さをもとに求めても良く、カメラ4の跡の線の大きさ、例えば線の太さや長さ、面積、エッジ強度の累積値などを指標として求めても良い。いずれも正常な状態では少ない値となり、異常の時に大きくなることによって異常のレベルを判定する。
【0073】
膜状の付着物の異常レベルの判定では、異常レベル毎に、例えば線の太さや長さについて所定のしきい値で基準を定め、求められた線の太さや長さが大きくなると異常レベルを高く判定するようにしてもよい。例えば、前述した
図10の表と同様に、異常レベルS,A,B,C,Dと線の太さや長さ(しきい値による具体的な範囲)との関係を事前に設定しておけば、求められた線の太さや長さの値から異常レベルを判定することができる。
【0074】
また、線の太さや長さを指標とする方法以外にも、面積、エッジ強度の累積値などを指標にしてもよい。
【0075】
(5)浮遊物
浮遊物は、管内を流れる水中に含まれる異物であり、
図6(b)の画像の例に示されるように映る。浮遊物は動いていることから、カメラ4の動きの検出でも説明したオプティカルフローの量を求めることで浮遊物の量を検知することが可能となる。また、浮遊物の量が多くなると短い線状のノイズが多くなることから所定の強度以上のエッジの画素の量を積算することや線分の量を検出することなどでも検出が可能となる。
【0076】
異常のレベルは浮遊物の量に応じた判定基準となり、何も浮遊物がない状態を正常(レベルS)とし、浮遊物の量が多くになるにつれて異常レベルを高める(悪化させる)といった判定を行う。具体的には、オプティカルフローを画面全体で求め、フローの長さの積分値、エッジ画像のエッジ強度の積分値などを指標として求めても良い。
【0077】
浮遊物の異常レベルの判定では、異常レベル毎に、例えばフローの長さの積分値について所定のしきい値で基準を定め、求められたフローの長さの積分値が大きくなると異常レベルを高く判定するようにしてもよい。例えば、前述した
図10の表と同様に、異常レベルS,A,B,C,Dとフローの長さの積分値(しきい値による具体的な範囲)との関係を事前に設定しておけば、求められたフローの長さの積分値の値から異常レベルを判定することができる。また、浮遊物の場合は複数フレームで平均をとったり最大値をとったりすることで精度を高めることが可能となる。
【0078】
その他、正常状態の水道管3の画像を多数準備して学習させ、正常の範囲で発生する変動範囲を学習させ、入力された画像が正常状態の分布から外れているかどうかで異常を検知する手法も利用可能である。具体的には、「“IoT化が進む製造現場で求められるセンシング技術”,東芝レビュー,Vol.73,No.1,2018年1月, https://www.global.toshiba/content/dam/toshiba/migration/corp/techReviewAssets/tech/review/2018/01/73_01pdf/a05.pdf」(以下、「参考文献5」)で示されているAutoEncoderを利用した手法を使用してもよい。
【0079】
また、異常レベルの判定では、正常な状態からの差分値のヒートマップの積分値の大きさを指標として個々の異常レベルの範囲を定めておき、これに基づいて異常レベルの判定を行うようにしてもよい。
【0080】
以下に、異常検知部30が備えている様々な機能を示す。
【0081】
(カメラの動きによる影響が軽減されるように情報を選んでレベル判定を行う機能)
カメラ4の動きによりモーションブラー(ぼけ)が発生すると、異常レベルの判定が難しくなる。そこで、カメラ4の動きによる影響が軽減されるように異常レベルの判定に使用する画像(フレーム)もしくはレベル判定結果を選ぶことで異常レベルを精度良く判定することが考えられる。これを実現するには、異常検知部30に以下の機能を備えることが有効である。
(a)連続する所定数の画像(フレーム)毎に、最も異常レベルの高いもの採用し、異常レベルを判定する機能
(b)カメラ4が動いていない時の画像(フレーム)から得られる異常レベルを採用し、異常レベルを判定する機能
(c)連続する所定数の画像(フレーム)毎に、カメラ4の動きが最も少ない画像から得られる異常レベルを採用し、異常レベルを判定する機能
【0082】
上記(a)の機能は、具体的には、最初にカメラ4の動きに関係なく各フレームの異常レベルを判定し、所定数のフレームの各異常レベルうち最も異常レベルの高いものを判定結果として採用する。一般的にカメラ4の動きが大きいほど画像がぶれるため、異常領域の検知がしにくく異常レベルが低く判定されやすい。そのため、異常レベルの最も高いもの(最悪値)を求める。例えば、映像データ中の各フレームについて異常レベルを判定する。その後、
図12のグラフの例に示されるように、映像データを所定のフレーム数ごとに区切ることにより複数のフレームからなる区間(
図12の破線で区切られた区間)を設定し、区間ごとに、最も異常レベルの高かったもの(
図12でグラフに〇がついた位置)をその区間の異常レベルとして判定する。なお、区切られる区間は一定間隔であってもよいし、場所によって区間の長さ(フレーム数)を変更しても良い。
【0083】
上記(b)の機能は、具体的には、カメラ位置・動き検出部20でカメラ4が動いていないと判定されたフレームのみについてレベル判定を行う。
図13に映像データ中の各フレームでのカメラ移動量をエッジの強さ(所定以上の強度のあるエッジの画素量、または画素毎のエッジ強度を勾配で求め、その値を積算した値)で表したグラフの例を示す。カメラ移動量をエッジの量で表す方法の場合、カメラ4が動いていない時にぶれ(ぼけ)が少なくなりエッジ量が大きくなる。そこで所定のしきい値以上のエッジの強さの時にカメラ4が動いていると判定してその範囲でレベル判定を行う。また、レベル判定結果は管の状態や浮遊物の量等に影響を受ける可能性があるため、全フレームに固定のしきい値を適用するのではなく区間ごとに違うしきい値を適用してもよい。
【0084】
上記(c)の機能は、具体的には、区間ごとにカメラ4の動き量が最も少ないフレームについてのレベル判定結果を利用する。レベル判定では、上記(b)の機能と同様、カメラ位置・動き検出部20で求めたエッジの強さを基準に行えばよい。また、上記(a)の機能と同様に、所定フレーム数で区間を区切り、
図14のグラフの例に示されるように、区間ごとに、エッジの量の大きさの推移で最もエッジの強さが大きいフレームが「最もカメラ4の移動量が少ないフレーム」として採用し、そのフレームについてレベル判定を行う。なお、区切られる区間は一定間隔であってもよいし、場所によって区間の長さ(フレーム数)を変更しても良い。
【0085】
以上の三つの機能のいずれか、または複数を組み合わせることにより、カメラ4の動きによる画像の変化の影響を受けにくく、精度よく異常の検知・異常レベルの判定を行うことができる。特に浮遊物についてはカメラ4が静止しているタイミングでも動きが発生するため、容易に異常の検知・異常レベルの判定を行うことができる。
【0086】
(カメラの移動方向に応じて検知対象を変える機能)
本実施形態では上水の流れる水道管を想定しており、カメラ4が静止している状態においても水が流れているため、撮影を行った映像内に動きが含まれる場合がある。例えば水中に異物が混じって流れている場合(浮遊物)があれば動きが発生する。また、水中に何らかの堆積物があった場合、カメラ4を動かすことによって堆積物が舞うが、そのまま一定時間の間堆積物が水中で動いている状態が視野に入る。水の流れていない配管などでも本実施形態は適用可能であるが、水中の検査ならではの課題としてこのような水中の異物の動きの影響を軽減するために動きや位置に合わせた検知処理を行うことで検知精度の向上が期待される。これを実現するには、異常検知部30に以下の機能を備えることが有効である。
(d)検知対象の種類に応じて、カメラ4の前進時に対応する画像とカメラ4の後退時に対応する画像のうちのいずれの画像を用いて前記判定を行うかを決定する機能
(e)所定の検知対象に対してはカメラ4の前進時に対応する画像のみを用いて前記判定を行う機能
(f)所定の検知対象に対してはカメラ4の後退時に対応する画像のみを用いて前記判定を行う機能
(g)所定の検知対象に対してはカメラ4の前進時および後退時にそれぞれ対応する画像を用いて前記判定を行う機能
(h)所定の検知対象に対してはカメラ4の前進時と後退時とで処理の内容を変える機能
【0087】
カメラ4の移動方向については、カメラ位置・動き検出部20によってカメラ4の位置情報または動き情報が取得できているため、ケーブル6を押し込むことによってカメラ4が前進しているのか、ケーブル6を引き戻して後退しているのかを簡単に判別できる。
【0088】
前述した5種類の検知対象について、検知対象毎に適用することが可能なカメラ4の動き・移動方向を定めた設定例を、
図15の表の例に示す。
図15において、丸印は有効であることを表し、×は無効であることを表している。あくまで例であるため、丸印と×の組み合わせは他の組み合わせにしてもよい。例えば、
図15には記載されていないが、前進時検知が×(無効)で後退時検知が丸印(有効)に設定された検知対象があってもよい。
【0089】
カメラ4の前進時は、カメラ4の動きによって堆積した異物が舞ってもカメラ4の視野に入りにくいため、検知処理は基本的に前進している時にのみ行う。一方、膜状の付着物についてはカメラ4の移動によって付いた跡を検知することもあるため、カメラ4の後退時の画像を用いて異常検知・レベル判定を行う。前進時はカメラ4の跡がついてもカメラ4の視野に入らないためである。また、堆積物も、後退時にカメラ4が動くことで舞いやすいため、後退時に待っている堆積物を検知してもよい。このようにカメラ4が後退時であることを認識した時に該当する検知対象の異常検知・レベル判定を行ってもよい。
【0090】
堆積物は深層学習により画素単位で異常を検出する方法、管の内面に付く膜状の付着物も前進時に色を使った方法を用いても検知が可能であり、これらの処理は前進時に検知しやすい。そのため、カメラ4の移動方向によって検知する処理を変えることや、前進時と後退時で処理を切り替えて検知した結果を組み合わせて異常検知することで検知精度を向上させることが可能となる。
【0091】
(検知対象に応じて異常検知を行う単位を変えられるようにする機能)
前述した5種類の検知対象については、検知対象の種類に応じて異常検知・レベル判定を行う単位を変えてもよい。この場合、異常検知部30に以下の機能を備えることが有効である。
(i)所定の検知対象に対しては1フレームの画像を1単位として単位毎に前記判定を行う機能
(j)所定の検知対象に対しては複数のフレームの画像を1単位として単位毎に前記判定を行う機能
(k)所定の検知対象に対しては全画像を1単位として前記判定を行う機能
【0092】
5種類の検知対象について、検知対象毎に適用することが可能な判定単位(フレーム単位・区間単位・全体)を定めた設定例を、
図16の表の例に示す。
図16において、丸印は有効であることを表し、-は適用外であることを表している。
【0093】
いずれの検知対象も、基本的に画像1フレーム単位で異常検知やレベル判定をすることが可能である。その場合、属性情報入力部11で得られたカメラ4の位置情報と関連付けて、異常の種類・異常のレベルを位置と対応付けて管理することが可能となる。これらの結果は出力処理部50において出力する際、カメラ4の位置と対応付けて異常の検知結果や異常レベルを出力することが可能である。
【0094】
また、異常の検知結果を複数のフレームからなる区間を単位として求め、エリア(フレームで特定される位置より広い領域単位)の情報とあわせて出力するようにすることも可能である。例えば、内面付着でカメラ4の跡を見つける場合や、浮遊物のようにある程度の領域を見たうえで判定をする場合に該当する。この場合、一定間隔のフレームでグループにして領域を設定してもよいし、任意の長さで各領域を設定しても良い。出力処理部50で結果を出力する際にはカメラ4の位置はグループ化された領域単位で結果を出力する。これは、各フレーム単位で求めた結果から、そのエリア内に含まれる複数フレームで求めたフレーム単位の結果群から、最悪値、最良値、平均値、中間値などで代表的な検知結果を選択することで実現してもよい。
【0095】
また、異常の検知結果を映像全体で一つ求めて出力するように設定してもよい。例えば、浮遊物は場所によって状態が変わりにくいものであるため、全体で最終的に1つの結果を出力するようにする。これは、映像全体の全フレームで求めた結果群から、最悪値、最良値、平均値、中間値などで代表的な検知結果を選択することで実現してもよい。
【0096】
なお、検知対象ごとに判定する単位を切り替えられるようにする方法としては、事前に固定で設定してもよいし、別途設定ファイルや設定画面を用いて設定を変更できる手段を準備しても構わない。
【0097】
・統合判定部40
統合判定部40は、前述した5種類の検知対象について、個別に異常を検知した後に、それらの結果の相互の関係性を利用して最終結果を出力する。なお、相互の関係性を利用せず、そのまま最終結果として出力しても問題ない。
【0098】
異常の統合判定結果を求める際には、例えば、検知対象毎の異常検知結果の相互の関係性に応じて、統合判定結果を生成する演算方法(重みづけ加算方法など)を変える(例えばマージや除外などを行う)ようにしてもよい。例えば、サビの判定の時はサビだけを利用するが、堆積物の判定の時はサビ・堆積物の両方を利用するなどの対応が可能である。この場合、統合判定部40は、次の機能を備えていてもよい。
(l)検知対象毎の異常検知結果の相互の関係性に応じて、統合判定結果を生成するための演算方法を変え、統合判定結果を生成する機能
【0099】
異常の統合判定結果の求め方としては、例えば、Y(1)からY(5)が5種類の異常それぞれの最終結果、X1~X5が個別に求めた異常検知結果、a~eがそれぞれの重み係数であるとして、次の式のように各異常検知結果に所定の係数をかけることで重み付けをして最終結果を求めてもよい。
【0100】
Y(i) = a*X1 + b*X2 + c*X3 + d*X4 + e*X5
この式は、
図16で示したフレーム単位、区間単位、全体のどの単位についても適用可能な式となる。
【0101】
式中のそれぞれの係数を調整することにより、個別の依存関係が明確な場合に適切な対応が可能となる。例えば、堆積物の異常レベルを判定する場合、サビ・堆積物の異常検出結果のOR(論理和)をとった結果を異常検知結果として判定するようにすることや(上記Yの式の係数により実現が可能でもある)、所定の異常があった場合、別の異常検知結果から除外するなども上記式により可能である。
【0102】
また、所定の異常を先に求め、その結果を利用して別の異常検知の結果を調整するようにしてもよい。例えば、検知対象間の影響の有無に応じて、所定の検知対象の異常レベルを調整する(例えば堆積物は、浮遊物とまぎれやすいので、浮遊物の有無によって異常レベルを調整する)ようにしてもよい。この場合、統合判定部40は、次の機能を備えていてもよい。
(j)検知対象間での影響の有無に応じて、所定の検知対象の異常レベルを調整し、統合判定結果を生成する機能
【0103】
例えば、浮遊物については、映像の全領域にまたがって発生するため、浮遊物の異常の有無や異常のレベルを先に判定し、浮遊物が多い時には他の異常検知対象の検知結果の基準を補正するようにしてもよい。浮遊物が多い時には画像中の異常が見えにくくなるため、本来ある異常が漏れてしまったり、逆に異常がないのに異常と判定されやすくなったりする。異常のレベルを所定のレベルで下げるようにしたり上げるようにしたりすることも可能であるほか、異常を判定する領域(区間)の領域の長さを浮遊物の量に応じて変えてもよい。例えば、浮遊物が多い時には長い範囲で求めた異常検知結果からレベル判定を行うことによりノイズの影響を軽減することができ。
【0104】
また、5種類の異常検知に限らず、管全体の総合判定結果として異常検知の種類によらず1つの総合判定結果を出力するようにしてもよい。これは、5種類の異常レベル判定結果の最悪値、平均値、重み付け加算などから求めれば実現が可能となる。
【0105】
・出力処理部50
出力処理部50は、入力された映像、異常検知結果を比較しながら確認できる画面を有する。この出力処理部50は、例えばパーソナルコンピュータ(PC)と液晶ディスプレイ等の表示機器とで構成されてもよい。この場合、PC内にて映像入力部10により入力された映像データ、属性情報入力部11により入力された属性情報、異常検知部30・統合判定部40により検知・判定された結果を記憶・管理する。ディスプレイ上に表示する画面の例を
図17に示す。
【0106】
図17に示される画面60の中には、入力画像61、異常検知結果62、サビの異常判定結果を示すバー63、堆積物の異常判定結果を示すバー64、映像をシークするためのバー65および表示中の映像の現在位置を示すマーカー66、サビの現在位置での異常判定結果67、堆積物の現在位置での異常判定結果68、映像全体の異常判定結果を示す総合判定結果69などがそれぞれ表示されている。
【0107】
画面下部の「映像」とかかれた部分のバー65は、映像をシークするバーとなっており、「映像の現在位置」と書かれた部分にあるマーカー66を移動させることによって映像中の任意のフレームの画像を確認することが可能である。
図17の例にはないが、再生ボタン・一時停止ボタン・コマ送りボタンなどを作って映像を自動再生させるようにすることも可能である。
【0108】
バー65の左側は映像の先頭位置、右側は映像の最終フレームに対応づけられ、その上に異常検知項目それぞれ(この画面例ではサビ・堆積物の2種類となっているが異常の種類を増やしてもよい)について、バー63,64に映像中の異常個所を対応付けて表示している。縦縞の模様は異常レベルがBの画像の位置を示し、斜めの網掛け模様の位置は異常レベルがDの画像の位置を示している。
【0109】
入力画像61は、「映像の現在位置」に対応する入力画像の元の画像であり、異常検知結果62はそれに対し異常検知部30・統合判定部40で検知された結果を重畳した画像である。この画像の例では管の下部に堆積した堆積物を検知しており、異常検知結果62画像において堆積物の領域を枠で囲うことで異常がある場所をわかりやすく表示している。
【0110】
その他、同様に異常検知結果62の画像上に記号や矩形、透過した色の重畳などにより異常検知部30や統合判定部40によって検知された異常が分かりやすくなるよう位置や種類を示してもよい。
【0111】
サビの異常判定結果67および堆積物の異常判定結果68には、表示されている現在位置の画像の異常に対し、それぞれの異常のレベルを判定した結果が表示されている。この画像の例ではサビについては異常がないので異常レベルの判定結果がS、堆積物は存在しており異常レベルの判定結果がBとなっている。
【0112】
総合判定結果69は、映像全体の異常判定結果である総合判定結果を表示している。基本的には個々の異常レベルの最悪値を表示するようにしているが、これに限らず、画面の出力内容は平均値や特定の異常を採用するなどしてもよい。その他、属性情報入力部11により入力される属性情報を併せて表示してもよい。
【0113】
(動作)
次に、
図18のフローチャートを参照して、第1の実施形態による管内検査装置の動作の一例を説明する。ここでは、
図2の構成例を前提に説明するが、
図3や
図4の構成を前提とした動作に変形して実施することも可能である。また、
図18に示される個々の処理は、ステップの番号の順に必ずしも行われるとは限らず、適宜変更することが可能である。例えば、ステップS1とS2とは処理の順序が入れ替わってもよいし、同時に処理されてもよい。
【0114】
まず、映像入力部10が、水道管3の管内を移動しながら撮影を行ったカメラ4の映像データを入力する(ステップS1)。また、属性情報入力部11が、カメラ4に付随する属性を示す属性情報を入力する(ステップS2)。
【0115】
次に、カメラ位置・動き検出部20が、映像入力部10により入力された映像データおよび属性情報入力部11により入力された属性情報を用いて、管内におけるカメラ4の位置または動きを検出する(ステップS3)。
【0116】
次に、異常検知部30が、カメラ位置・動き検知部20により検出されるカメラ4の位置または動きに応じて、カメラ4が撮影する検知対象の映像データの中から1つ又は複数の画像を選択し、選択した画像を用いて管内の各検知対象の異常の有無および異常レベルを判定し、判定した結果を検知対象毎に異常検知結果として生成する(ステップS4)。
【0117】
次に、統合判定部40が、異常検知部30により検知対象毎に生成された異常検知結果を統合して、管内の異常のレベルを示す統合判定結果を生成する(ステップS5)。
【0118】
最後に、出力処理部50が、異常検知部30により検知対象毎に生成された異常検知結果および統合判定部40により生成された統合判定結果を含む情報を表示装置もしくは記憶装置に出力する(ステップS6)。
【0119】
第1の実施形態によれば、カメラ4の位置または動きを示す情報を利用して管内の検査に利用する画像(フレーム)を適切に選択することができるので、異常の検知精度を高めることができる。また、これにより画像診断の診断結果のばらつきの削減や処理負荷を低減が実現される。また、可視光以外の特殊なセンサを追設することなく装置やシステムを実現できる。
【0120】
<第2の実施形態>
次に、第2の実施形態について説明する。以下では、第1の実施形態と異なる部分を中心に説明する。
【0121】
(システム構成)
システム全体の構成は、
図1に示したものと同じであるので、ここではその説明を省略する。
【0122】
(管内検査装置1の構成)
図19は、第2の実施形態による管内検査装置1の構成の一例を示す図である。
【0123】
図19の構成例は、
図2の構成例から統合判定部40を省いた構成となっている。この場合、出力処理部50は、異常検知部30により検知対象毎に生成された異常検知結果を含む情報を表示装置もしくは記憶装置に出力する。また、この場合、前述した
図17の画面では、総合判定結果69は表示されないことになる。その他の構成は、第1の実施形態と同様となる。
【0124】
(動作)
次に、
図20のフローチャートを参照して、第2の実施形態による管内検査装置の動作の一例を説明する。ここでは、前述した
図18のフローチャートと異なる部分について説明する。
【0125】
図20の動作例は、前述した
図18の動作例からステップS5の処理を省いたものとなっている。この場合、
図20では、ステップS4の処理が行われた後、ステップS6’において、出力処理部50が、異常検知部30により検知対象毎に生成された異常検知結果を含む情報を表示装置もしくは記憶装置に出力する。
【0126】
第2の実施形態によれば、管内検査装置1の機能構成を簡潔にすることができるとともに、統合判定の処理を省くことができ、処理にかかる負担を軽減することが可能になる。
【0127】
<第3の実施形態>
次に、第3の実施形態について説明する。以下では、第1の実施形態と異なる部分を中心に説明する。
【0128】
(システム構成)
システム全体の構成は、
図1に示したものと同じであるので、ここではその説明を省略する。
【0129】
(管内検査装置1の構成)
図21は、第3の実施形態による管内検査装置1の構成の一例を示す図である。
【0130】
図21の構成例は、
図2の構成例に対して設定部12を追加した構成となっている。この設定部12は、例えばユーザが行う操作に応じて、属性情報入力部11、カメラ位置・動き検出部20、異常検知部30、および統合判定部40の少なくともいずれかにおける処理で使用される情報の設定またはその変更を行う機能である。
【0131】
例えば、異常検知部30の設定においては、カメラ4の動き有無や移動方向の設定やその変更が可能である。例えば、
図15に示した画面を通じて所望の設定やその変更を行うことができる。設定・変更した内容は、設定ファイルに記録し、プログラムに読み込ませて実行させたりしてもよい。また、上述した単位に関しては、
図16に示した内容を設定ファイルに記録し、
図15に示した画面で設定・変更を行えるようにしてもよい。
【0132】
また、カメラ位置・動き検出部20の設定においては、第1の実施形態で説明した手法に対し、動いていると判定する際に用いる各種しきい値やアルゴリズムの切り替えを行えるようにしてもよい。統合判定部40の設定においては、総合結果を求める重みづけ加算の計算式の各係数を設定できるようにしてもよい。
【0133】
その他の構成は、第1の実施形態と同様となる。
【0134】
(動作)
次に、
図22のフローチャートを参照して、第3の実施形態による管内検査装置の設定部12に関わる動作の一例を説明する。
【0135】
設定部12は、ユーザの操作を監視しており(ステップS11)、何らかの操作があると(ステップS12のYES)、その操作に応じて該当する設定またはその変更を行う(ステップS13)。
【0136】
第3の実施形態によれば、ユーザが各種の項目の設定やその変更を行うことができるので、装置の使い勝手を向上させることが可能になる。
【0137】
以上詳述したように、実施形態によれば、管内の異常を精度よく検知することを可能になる。
【0138】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0139】
1…管内検査装置、2…現場、3…水道管、4…カメラ、5…記録媒体、10…映像入力部、11…属性情報入力部、12…設定部、20…カメラ位置・動き検出部、30…異常検知部、40…統合判定部、50…出力処理部。