特開 2021-156655 管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-156655(P2021-156655A)

(43)【公開日】2021年10月7日

(54)【発明の名称】管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラム

(51)【国際特許分類】

   G01N 21/954 20060101AFI20210910BHJP

   G06N 20/00 20190101ALI20210910BHJP

   G06T 7/00 20170101ALI20210910BHJP

   F17D 5/00 20060101ALI20210910BHJP

   E03F 7/00 20060101ALI20210910BHJP

【ＦＩ】

   G01N21/954 A

   G06N20/00

   G06T7/00 350C

   G06T7/00 610B

   F17D5/00

   E03F7/00

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

【全頁数】20

(21)【出願番号】特願2020-55270(P2020-55270)

(22)【出願日】2020年3月26日

(71)【出願人】

【識別番号】000140292

【氏名又は名称】株式会社奥村組

(71)【出願人】

【識別番号】394026714

【氏名又は名称】株式会社ジャスト

(74)【代理人】

【識別番号】110002170

【氏名又は名称】特許業務法人翔和国際特許事務所

(72)【発明者】

【氏名】岩下 将也

(72)【発明者】

【氏名】山口 治

(72)【発明者】

【氏名】角田 賢明

(72)【発明者】

【氏名】岡田 一哉

(72)【発明者】

【氏名】鎌形 勇樹

【テーマコード（参考）】

2D063

2G051

3J071

5L096

【Ｆターム（参考）】

2D063EA03

2G051AA82

2G051AB03

2G051AC17

2G051CA04

2G051EA21

2G051EB01

2G051EB02

2G051EC01

2G051FA03

3J071AA12

3J071AA16

3J071CC07

3J071EE08

3J071EE16

3J071EE18

3J071EE37

3J071FF12

5L096BA03

5L096CA02

5L096EA26

5L096GA51

5L096HA11

5L096KA04

5L096KA15

(57)【要約】      （修正有）

【課題】精度の高い管渠の損傷の特定を行う。
【解決手段】管渠損傷特定装置であって、第１管渠の第１内周面画像を取得する画像取得部、第１内周面画像から第１天井平面画像および第１底部平面画像を生成する第１平面画像生成部、第１天井平面画像および第１底部平面画像を用いて、第１管渠に発生している損傷を決定する損傷決定部、決定された損傷とともに第１天井平面画像および第１底部平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成部、第２管渠の第２内周面画像を受け付ける画像受付部、第２内周面画像から第２天井平面画像および第２底部平面画像を生成する第２平面画像生成部、第２天井平面画像、第２底部平面画像および学習済み損傷特定モデルを用いて、第２管渠に発生している損傷を検知して特定する損傷特定部であって、損傷の種類に応じて、損傷検知のための閾値を変化させて損傷を特定する損傷特定部、を備えた。
【選択図】図２

【特許請求の範囲】

【請求項1】

第１管渠の内周面を撮像した第１内周面画像を取得する画像取得部と、
前記第１内周面画像を、前記第１内周面画像における前記第１管渠の天井部分から切り開いて展開して得られる第１天井平面画像、および、前記第１内周面画像における前記第１管渠の底部部分から切り開いて展開して得られる第１底部平面画像を生成する第１平面画像生成部と、
前記第１天井平面画像および前記第１底部平面画像を用いて、前記第１管渠に発生している第１損傷を決定する損傷決定部と、
決定された前記第１損傷を識別可能な識別子を付与して、決定された前記第１損傷とともに前記第１天井平面画像および前記第１底部平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成部と、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付部と、
前記第２内周面画像を、前記第２内周面画像における前記第２管渠の天井部分から切り開いて展開して得られる第２天井平面画像、および、前記第２内周面画像における前記第２管渠の底部部分から切り開いて展開して得られる第２底部平面画像を生成する第２平面画像生成部と、
前記第２天井平面画像、前記第２底部平面画像および前記学習済み損傷特定モデルを用いて、前記第２管渠に発生している第２損傷を検知して特定する損傷特定部であって、前記第２管渠に発生している前記第２損傷の種類に応じて、損傷検知のための閾値を変化させて前記第２管渠に発生している前記第２損傷を特定する損傷特定部と、
を備えた管渠損傷特定装置。

【請求項2】

前記損傷特定部は、
前記第２損傷の種類に応じて、損傷検知のための前記閾値を変化させることにより、前記第２管渠に発生している前記第２損傷の検出率を変化させて、前記第２損傷を検出する検出部をさらに有し、
前記検出部による検出結果に基づいて、前記第２損傷を特定する、請求項１に記載の管渠損傷特定装置。

【請求項3】

前記モデル生成部は、前記第１天井平面画像と前記第１底部平面画像とを、前記天井部分および前記底部部分が対応するように並べた画像を用いて、前記学習済み損傷特定モデルを生成する請求項１または２に記載の管渠損傷特定装置。

【請求項4】

前記損傷特定部は、前記第２天井平面画像と前記第２底部平面画像とを、前記天井部分および前記底部部分が対応するように並べた画像、および、前記学習済み損傷特定モデルを用いて、前記第２管渠に発生している前記第２損傷を特定する請求項１〜３のいずれか１項に記載の管渠損傷特定装置。

【請求項5】

前記第１管渠および前記第２管渠は、下水管である請求項１〜４のいずれか１項に記載の管渠損傷特定装置。

【請求項6】

前記損傷決定部は、Faster R-CNNを用いて前記第１管渠に発生している前記第１損傷を決定する請求項１〜５のいずれか１項に記載の管渠損傷特定装置。

【請求項7】

前記モデル生成部は、水増しデータとして、左右反転を用いて前記学習済み損傷特定モデルを生成する請求項１〜６のいずれか１項に記載の管渠損傷特定装置。

【請求項8】

前記モデル生成部は、転移学習を用いて前記学習済み損傷特定モデルを生成する請求項１〜７のいずれか１項に記載の管渠損傷特定装置。

【請求項9】

第１管渠の内周面を撮像した第１内周面画像を取得する画像取得ステップと、
前記第１内周面画像を、前記第１内周面画像における前記第１管渠の天井部分から切り開いて展開して得られる第１天井平面画像、および、前記第１内周面画像における前記第１管渠の底部部分から切り開いて展開して得られる第１底部平面画像を生成する第１平面画像生成ステップと、
前記第１天井平面画像および前記第１底部平面画像を用いて、前記第１管渠に発生している第１損傷を決定する損傷決定ステップと、
決定された前記第１損傷を識別可能な識別子を付与して、決定された前記第１損傷とともに前記第１天井平面画像および前記第１底部平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付ステップと、
前記第２内周面画像を、前記第２内周面画像における前記第２管渠の天井部分から切り開いて展開して得られる第２天井平面画像、および、前記第２内周面画像における前記第２管渠の底部部分から切り開いて展開して得られる第２底部平面画像を生成する第２平面画像生成ステップと、
前記第２天井平面画像、前記第２底部平面画像および前記学習済み損傷特定モデルを用いて、前記第２管渠に発生している第２損傷を検知して特定する際に、前記第２管渠に発生している前記第２損傷の種類に応じて、損傷検知のための閾値を変化させて前記第２管渠に発生している前記第２損傷を特定する損傷特定ステップと、
を含む管渠損傷特定方法。

【請求項10】

第１管渠の内周面を撮像した第１内周面画像を取得する画像取得ステップと、
前記第１内周面画像を、前記第１内周面画像における前記第１管渠の天井部分から切り開いて展開して得られる第１天井平面画像、および、前記第１内周面画像における前記第１管渠の底部部分から切り開いて展開して得られる第１底部平面画像を生成する第１平面画像生成ステップと、
前記第１天井平面画像および前記第１底部平面画像を用いて、前記第１管渠に発生している第１損傷を決定する損傷決定ステップと、
決定された前記第１損傷を識別可能な識別子を付与して、決定された前記第１損傷とともに前記第１天井平面画像および前記第１底部平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付ステップと、
前記第２内周面画像を、前記第２内周面画像における前記第２管渠の天井部分から切り開いて展開して得られる第２天井平面画像、および、前記第２内周面画像における前記第２管渠の底部部分から切り開いて展開して得られる第２底部平面画像を生成する第２平面画像生成ステップと、
前記第２天井平面画像、前記第２底部平面画像および前記学習済み損傷特定モデルを用いて、前記第２管渠に発生している第２損傷を検知して特定する際に、前記第２管渠に発生している前記第２損傷の種類に応じて、損傷検知のための閾値を変化させて前記第２管渠に発生している前記第２損傷を特定する損傷特定ステップと、
をコンピュータに実行させる管渠損傷特定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、管渠損傷特定装置、管渠損傷特定方法および管渠損傷特定プログラムに関し、特に、コンピュータに組み込まれた画像解析プログラムおよび人工知能による特定結果から管渠の損傷を特定する装置に関する。

【背景技術】

【0002】

インフラ構造物の老朽化は加速度的に進んでおり，維持管理・更新の必要性は，今後さらに増大していくと言われている。労働人口が減り続ける中、維持管理・更新にかかる労務の効率化は喫緊の課題となっている。維持管理・更新にかかる労務の効率化の実現に向け、近年著しく性能が向上しているＡＩによる画像認識技術を適用する研究事例が増えている。深層学習と呼ばれる高度なニューラルネットワークを用いれば、従来では困難であった人間の直感に近い画像認識が実現でき損傷部位の目視点検の補助や代替が期待できる。

【0003】

一方、管渠などインフラ構造物の検査においては、例えば、特許文献１および特許文献２に記載の技術のように、調査対象の流路管内に投入する装置本体に、テレビカメラ等の撮影装置や蛍光灯等の照明装置を搭載し、撮影装置により撮影した管内画像をもとに損傷などの調査を行っていた。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平５−３４６０２７号公報

【特許文献2】特開平７−２１６９７２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記文献に記載の技術では、撮影した管内画像を作業員が目で見て調査を行うものであり、見落としや見誤りが発生し易く、精度の高い管渠の損傷の特定を行うことができなかった。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明に係る管渠損傷特定装置は、
第１管渠の内周面を撮像した第１内周面画像を取得する画像取得部と、
前記第１内周面画像を、前記第１内周面画像における前記第１管渠の天井部分から切り開いて展開して得られる第１天井平面画像、および、前記第１内周面画像における前記第１管渠の底部部分から切り開いて展開して得られる第１底部平面画像を生成する第１平面画像生成部と、
前記第１天井平面画像および前記第１底部平面画像を用いて、前記第１管渠に発生している第１損傷を決定する損傷決定部と、
決定された前記損傷を識別可能な識別子を付与して、決定された前記第１損傷とともに前記第１天井平面画像および前記第１底部平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成部と、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付部と、
前記第２内周面画像を、前記第２内周面画像における前記第２管渠の天井部分から切り開いて展開して得られる第２天井平面画像、および、前記第２内周面画像における前記第２管渠の底部部分から切り開いて展開して得られる第２底部平面画像を生成する第２平面画像生成部と、
前記第２天井平面画像、前記第２底部平面画像および前記学習済み損傷特定モデルを用いて、前記第２管渠に発生している第２損傷を検知して特定する損傷特定部であって、前記第２管渠に発生している前記第２損傷の種類に応じて、損傷検知のための閾値を変化させて前記第２管渠に発生している前記第２損傷を特定する損傷特定部と、
を備えた。

【0007】

上記目的を達成するため、本発明に係る管渠損傷特定方法は、
第１管渠の内周面を撮像した第１内周面画像を取得する画像取得ステップと、
前記第１内周面画像を、前記第１内周面画像における前記第１管渠の天井部分から切り開いて展開して得られる第１天井平面画像、および、前記第１内周面画像における前記第１管渠の底部部分から切り開いて展開して得られる第１底部平面画像を生成する第１平面画像生成ステップと、
前記第１天井平面画像および前記第１底部平面画像を用いて、前記第１管渠に発生している第１損傷を決定する損傷決定ステップと、
決定された前記第１損傷を識別可能な識別子を付与して、決定された前記第１損傷とともに前記第１天井平面画像および前記第１底部平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付ステップと、
前記第２内周面画像を、前記第２内周面画像における前記第２管渠の天井部分から切り開いて展開して得られる第２天井平面画像、および、前記第２内周面画像における前記第２管渠の底部部分から切り開いて展開して得られる第２底部平面画像を生成する第２平面画像生成ステップと、
前記第２天井平面画像、前記第２底部平面画像および前記学習済み損傷特定モデルを用いて、前記第２管渠に発生している第２損傷を検知して特定する際に、前記第２管渠に発生している前記第２損傷の種類に応じて、損傷検知のための閾値を変化させて前記第２管渠に発生している前記第２損傷を特定する損傷特定ステップと、
を含む。

【0008】

上記目的を達成するため、本発明に係る管渠損傷特定プログラムは、
第１管渠の内周面を撮像した第１内周面画像を取得する画像取得ステップと、
前記第１内周面画像を、前記第１内周面画像における前記第１管渠の天井部分から切り開いて展開して得られる第１天井平面画像、および、前記第１内周面画像における前記第１管渠の底部部分から切り開いて展開して得られる第１底部平面画像を生成する第１平面画像生成ステップと、
前記第１天井平面画像および前記第１底部平面画像を用いて、前記第１管渠に発生している第１損傷を決定する損傷決定ステップと、
決定された前記第１損傷を識別可能な識別子を付与して、決定された前記第１損傷とともに前記第１天井平面画像および前記第１底部平面画像を人工知能に学習させて、学習済み損傷特定モデルを生成するモデル生成ステップと、
第２管渠の内周面を撮像した第２内周面画像を受け付ける画像受付ステップと、
前記第２内周面画像を、前記第２内周面画像における前記第２管渠の天井部分から切り開いて展開して得られる第２天井平面画像、および、前記第２内周面画像における前記第２管渠の底部部分から切り開いて展開して得られる第２底部平面画像を生成する第２平面画像生成ステップと、
前記第２天井平面画像、前記第２底部平面画像および前記学習済み損傷特定モデルを用いて、前記第２管渠に発生している第２損傷を検知して特定する際に、前記第２管渠に発生している前記第２損傷の種類に応じて、損傷検知のための閾値を変化させて前記第２管渠に発生している前記第２損傷を特定する損傷特定ステップと、
をコンピュータに実行させる。

【発明の効果】

【0009】

本発明の管渠損傷特定装置によれば、人工知能による機械学習と損傷検知のための閾値とを用いて管渠の損傷の特定を行うので、管渠の損傷の過剰検知を避けつつ、精度の高い管渠の損傷の特定を行うことができる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１実施形態に係る管渠損傷特定装置による管渠損傷の特定の概要について説明するための図である。

【図2】本発明の第１実施形態に係る管渠損傷特定装置の構成を説明するためのブロック図である。

【図3A】本発明の第１実施形態に係る管渠損傷特定装置における物体検知について説明するための図である。

【図3B】本発明の第１実施形態に係る管渠損傷特定装置における損傷（破損・クラック）の決定について説明するための図である。

【図3C】本発明の第１実施形態に係る管渠損傷特定装置における損傷（破損・クラック）の決定について説明するための他の図である。

【図3D】本発明の第１実施形態に係る管渠損傷特定装置における損傷（浸入水）の決定について説明するための図である。

【図3E】本発明の第１実施形態に係る管渠損傷特定装置における損傷（浸入水）の決定について説明するための他の図である。

【図3F】本発明の第１実施形態に係る管渠損傷特定装置における損傷（浸入水）の決定について説明するためのさらに他の図である。

【図4A】本発明の第１実施形態に係る管渠損傷特定装置において閾値を変化させた場合の物体検知について説明するための図である。

【図4B】本発明の第１実施形態に係る管渠損傷特定装置において再現率および適合率を用いた閾値の決定について説明するための図である。

【図4C】本発明の第１実施形態に係る管渠損傷特定装置が有する閾値テーブルの一例を説明するための図である。

【図4D】本発明の第１実施形態に係る管渠損傷特定装置が有する損傷特定テーブルの一例を説明するための図である。

【図4E】本発明の第１実施形態に係る管渠損傷特定装置による損傷の程度の予想について説明するための図である。

【図5A】本発明の第１実施形態に係る管渠損傷特定装置の処理手順を説明するためのフローチャートである。

【図5B】本発明の第１実施形態に係る管渠損傷特定装置の処理手順を説明するための他のフローチャートである。

【発明を実施するための形態】

【0011】

以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明する。ただし、以下の実施形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。

【0012】

［第１実施形態］
本発明の第１実施形態としての管渠損傷特定装置１００について、図１〜図５Ｂを用いて説明する。管渠損傷特定装置１００は、管渠に発生した損傷を特定するために用いられる。図１は、本実施形態に係る管渠損傷特定装置１００による管渠損傷の特定の概要について説明するための図である。

【0013】

ここで、管渠とは、水路の総称であり、給水、排水を目的として作られる水路全体を指す。例えば、上水管、下水管、排水管、給水管などが含まれる。本実施形態においては、管渠として下水管１５０を例に説明をする。また、管渠の材質としては、コンクリート、陶器、鉄などが含まれ、管渠の種類としては、コンクリート管、コンクリートヒューム管、陶管、鉄管などが含まれる。

【0014】

また、損傷とは、管渠に発生したひび割れやクラック、傷などを含むものであるが、この他にも、管渠に期待される性能が発揮できない状態をも含むものとする。なお、以下の説明では、下水管１５０の直径は、作業員が下水管１５０内に入って作業することができない程度の大きさであり、例えば、φ２００〜φ８００の下水管１５０を想定して説明をするが、下水管１５０の直径は、これには限定されない。

【0015】

下水管１５０の内部の検査においては、自走式検査ロボット１４０のカメラ１４２で撮像した下水管１５０の内周面の画像を用いた検査が行われている。作業員は、下水管１５０の外部に設置されたディスプレイなどを用いて、カメラ１４２で撮像した画像を確認し、下水管１５０に損傷が発生しているか否かの検査を行う。制御部１４１は、自走式検査ロボット１４０の自走速度や撮像スケジュール、撮像条件を制御したり、管渠損傷特定装置１００や作業員が所持するタブレット端末１３０との間の通信を制御したりする。作業員は、例えば、タブレット端末１３０にインストールされた操作用アプリケーションを用いて、自走式検査ロボット１４０を操作する。なお、自走式検査ロボット１４０が入れないような、直径の小さな下水管１５０の場合、自走式検査ロボット１４０の代わりに、ファイバースコープなどの超小型検査装置を用いてもよい。

【0016】

そして、制御部１４１は、カメラ１４２で撮像した内周面画像１１０（１６０）を、管渠損傷特定装置１００に送信する。なお、内周面画像１１０は、人工知能による学習のための画像であり、内周面画像１６０は、損傷を特定したい画像である。また、カメラ１４２は、広角カメラ、全周カメラのいずれであってもよい。広角カメラの場合、１周分の画像を複数回に分けて撮像し、撮像した複数枚の画像を繋いで内周面画像１１０（１６０）を生成してもよい。

【0017】

また、内周面画像１１０（１６０）は、所定の間隔（例えば、０．１ｍ）で輪切りにされる。例えば、下水管１５０の継手から継手の間を１ユニットとした場合に、１ユニットごとに撮像した画像（内周面画像１１０（１６０））を輪切りにして、輪切り画像１４３を得てもよい。また、例えば、下水管１５０の全長において撮像した画像（内周面画像１１０（１６０））を輪切りにして、輪切り画像１４３を得てもよい。

【0018】

次に、管渠損傷特定装置１００による、学習済み損傷特定モデルの生成について説明する。管渠損傷特定装置１００は、受信した内周面画像１１０（学習用画像）の輪切り画像１４３を、下水管１５０の天井部分および底部部分で切り開いて展開して、２次元平面画像を得る。すなわち、管渠損傷特定装置１００は、下水管１５０の天井部分で内周面画像１１０を切開して展開した天井平面画像１０１、および、下水管１５０の底部部分で内周面画像１１０を切開して展開した底部平面画像１０２を生成する。

【0019】

天井平面画像１０１においては、下水管１５０の底部部分１１１が帯状の平面画像の中央に位置し、天井部分１１２、１１３が左右両端に位置している。同様に、底部平面画像１０２においては、天井部分１２１が帯状の平面画像の中央に位置し、底部部分１２２、１２３が左右両端に位置している。そして、管渠損傷特定装置１００は、天井平面画像１０１および底部平面画像１０２を並べた画像について、損傷を特定し、損傷が特定された並列画像を人工知能に学習させて、学習済み損傷特定モデルを生成する。

【0020】

天井平面画像１０１において、下水管１５０の底部部分１１１が帯状の平面画像の中央に位置し、天井部分１１２、１１３が左右両端に位置している。同様に、底部平面画像１０２においては、天井部分１２１が帯状の平面画像の中央に位置し、底部部分１２２、１２３が左右両端に位置している。そして、管渠損傷特定装置１００は、天井平面画像１０１および底部平面画像１０２を用いて、下水管１５０に発生した損傷を特定し、損傷が特定されたこれらの画像（１０１〜１０２）を人工知能に学習させて、学習済み損傷特定モデルを生成する。

【0021】

次に、管渠損傷特定装置１００による、損傷の特定について説明する。管渠損傷特定装置１００は、損傷を特定したい下水管１７０の内周面画像１６０について、内周面画像１１０と同様に、天井平面画像１６１および底部平面画像１６２を生成し、学習済み損傷特定モデルを用いて、下水管１７０に発生している損傷を特定する。

【0022】

この際に、天井平面画像１６１および底部平面画像１６２において、下水管１７０に発生している損傷の特定において、損傷の種類に応じて閾値を設定して、損傷を検知し、損傷を特定する。つまり、管渠損傷特定装置１００は、見落としたくない損傷については、閾値の設定値を低くして、漏れなく捉えられるようにする。しかしながら、閾値の設定値を低くすると、下水管１７０の性能や耐久性などに影響を与えないような細かな損傷も特定されることとなり、過剰特定により効率や精度が低下することがある。そのため、管渠損傷特定装置１００は、損傷の種類に応じた適切な閾値を設定して、下水管１７０に発生した損傷を特定する。

【0023】

特定された損傷は、例えば、作業員が所持するタブレット端末１３０などの携帯端末に出力される。作業員は、タブレット端末１３０のディスプレイに表示された特定結果を参照して、下水管１７０に発生している損傷を認識する。なお、管渠損傷特定装置１００は、特定した損傷の種類や程度に応じて、アラートを出力してもよい。例えば、進行している損傷や、早急な補修工事が必要な損傷である場合には、管渠損傷特定装置１００は、警告音や振動、光、メッセージ等によるアラートを出力してもよい。

【0024】

図２は、本実施形態に係る管渠損傷特定装置１００の構成を説明するためのブロック図である。管渠損傷特定装置１００は、画像取得部２０１、平面画像生成部２０２、損傷決定部２０３、モデル生成部２０４、画像受付部２０５、平面画像生成部２０６、損傷特定部２０７、出力部２０８および記憶部２０９を有する。

【0025】

ここで、管渠損傷特定装置１００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ネットワークインターフェース、およびストレージを有する。ここで、ＣＰＵは、演算制御用のプロセッサであり、プログラムを実行することで図２に示した管渠損傷特定装置１００の各機能構成を実現する。ＣＰＵは、複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ＲＯＭは、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインターフェースは、ネットワークを介して他の装置などと通信する。なお、ＣＰＵは、１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ（Graphics Processing Unit）を含んでもよい。また、ネットワークインターフェースは、ＣＰＵとは独立した他のＣＰＵを有して、ＲＡＭの領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭとストレージとの間でデータを転送するＤＭＡＣ（Direct Memory Access Controller）を設けるのが望ましい。さらに、ＣＰＵは、ＲＡＭにデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵは、処理結果をＲＡＭに準備し、後の送信あるいは転送はネットワークインターフェースやＤＭＡＣに任せる。

【0026】

ＲＡＭは、ＣＰＵが一時記憶のワークエリアとして使用するメモリである。ＲＡＭには、本実施形態の実現に必要なデータを記憶する領域が確保されている。ストレージには、データベースや各種のパラメータ、モジュール、あるいは本実施形態の実現に必要なデータまたはプログラムが記憶されている。例えば、ストレージには、管渠損傷特定装置１００の全体を制御するための制御プログラムが記憶されている。

【0027】

さらに、管渠損傷特定装置１００は、入出力インターフェースをさらに備えてもよい。入出力インターフェースには、表示部、操作部、記憶媒体が接続される。入出力インターフェースには、さらに、音声出力部であるスピーカや、音声入力部であるマイク、あるいはＧＰＳ（Global Positioning System）位置判定部が接続されてもよい。なお、ＲＡＭやストレージには、管渠損傷特定装置１００が有する汎用の機能や他の実現可能な機能に関するプログラムやデータが記憶されていてもよい。

【0028】

画像取得部２０１は、下水管１５０の内周面を撮像した内周面画像１１０を取得する。画像取得部２０１は、自走式検査ロボット１４０の制御部１４１から内周面画像１１０を取得してもよいし、作業員が所持するタブレット端末１３０を経由して取得してもよい。なお、内周面画像１１０は、後の人工知能による学習に用いられる画像である。

【0029】

平面画像生成部２０２は、内周面画像１１０を、内周面画像１１０における下水管１５０の天井部分から切り開いて展開して得られる天井平面画像１０１を生成する。同様に、平面画像生成部２０２は、内周面画像１１０における下水管１５０の底部部分から切り開いて展開して得られる底部平面画像１０２を生成する。

【0030】

すなわち、平面画像生成部２０２は、まず、画像取得部２０１が取得した内周面画像１１０から輪切り画像１４３を生成する。そして、平面画像生成部２０２は、輪切り画像１４３から、天井平面画像１０１および底部平面画像１０２を生成する。なお、輪切り画像１４３は、予め自走式検査ロボット１４０において生成しておき、画像取得部２０１は、自走式検査ロボット１４０により生成された輪切り画像１４３を取得してもよい。

【0031】

損傷決定部２０３は、天井平面画像１０１および底部平面画像１０２を用いて、下水管１５０に発生している損傷を決定する。損傷決定部２０３は、天井平面画像１０１および底部平面画像１０２が、並列に並べられた状態の画像を用いて、損傷を決定する。損傷の種類は、破損、クラック、浸入水、取付管の突出し、木根侵入およびモルタル付着を含む。なお、損傷決定部２０３は、物体検知（Object Detection）を用いて、損傷の発生している領域を検出する。物体検知のアルゴリズムとして、Ｆａｓｔｅｒ Ｒ−ＣＮＮ（Faster Region with Convolutional Neural Network）を用いた。

【0032】

ここで、図３Ａ〜図３Ｆを参照して、損傷決定部２０３による損傷の決定について具体的に説明する。図３Ａは、本実施形態に係る管渠損傷特定装置１００における物体検知について説明するための図である。

【0033】

画像３０１は、内周面画像１１０を天井部分または底部部分で切り開いて展開された天井平面画像１０１または底部平面画像１０２である。このように、天井部分３１１、３１２（または底部部分）で内周面画像１１０を切り開くと、天井部分（または底部部分）に損傷が存在していた場合、損傷が分断されることがある。しかしながら、この場合には、分断された損傷については、１つの損傷として統合するのではなく、２つの損傷が存在するものとして取り扱う。すなわち、損傷決定部２０３は、分断された損傷に対して、２つのボックス３１３、３１４を用いて損傷を検知（物体を検知）する。

【0034】

次に、図３Ｂを参照して、損傷が破損およびクラックの場合の損傷の検知について説明する。図３Ｂは、本実施形態に係る管渠損傷特定装置における損傷（破損・クラック）の決定について説明するための図である。画像３０２は、下水管１５０の内周面に破損またはクラックが発生している状態を示している。ここで、破損は、横方向に入ったひびであり、クラックは、縦方向（周方向）に入ったひびである。

【0035】

下水管１５０に発生している損傷が、破損およびクラックの場合、これらの損傷は、別事象の損傷としてラベル付けを行う。内周面画像１１０において、白または黒い筋を破損またはクラックとする。クラックの場合、ひび割れの方向が縦横混在いている場合や、斜めにひび割れしている場合などには、破損として取り扱う。例えば、縦のひび割れの場合、概ね３０°以内の傾きはクラックとして取り扱う。

【0036】

破損個所またはクラック箇所が継手部３２１を跨いで左右に広がっている場合には、損傷決定部２０３は、１つのボックスで損傷を検知しない。損傷決定部２０３は、継手部３２１を境に、ボックスを２つに分割して、２つのボックス３２２、３２３を用いて、２つの損傷として検知する。

【0037】

また、同様に、破損箇所またはクラック箇所が、流水部３２４（下水管１５０の底部）を跨いで上下に広がっている場合には、損傷決定部２０３は、１つのボックスで損傷を検知しない。損傷決定部２０３は、流水部３２４を境にボックスを２つに分割して、２つのボックス３２５、３２６を用いて、２つの損傷として検知し、損傷を決定する。

【0038】

次に、図３Ｃを参照して、狭い範囲に小型の損傷が複数存在する場合の損傷の検知について説明する。図３Ｃは、本実施形態に係る管渠損傷特定装置１００における損傷（破損・クラック）の決定について説明するための他の図である。画像３０３は、狭い範囲に小型の破損またはクラックが発生している状態を示している。

【0039】

狭い範囲に小型の破損等が複数発生している場合、損傷決定部２０３は、図３Ｃ左図に示したように、２つのボックス３３１、３３２を用いて、複数の損傷として取り扱わない。損傷決定部２０３は、図３Ｃ右図に示したように、複数の損傷を１つのボックス３３３で取り囲み、１つの損傷として取り扱う。このように、狭い領域に小型の損傷が複数存在する場合には、これらの損傷をまとめて取り扱うことにより、効率よく損傷を検知し、決定できる。

【0040】

次に、図３Ｄを参照して、損傷が浸入水の場合の損傷の検知について説明する。図３Ｄは、本実施形態に係る管渠損傷特定装置１００における損傷（浸入水）の決定について説明するための図である。画像３０４は、浸入水が発生している状態を示している。画像３０４の上段は、左から順に、黒くにじんだ部分、茶色の部分（土の流出部分）、白色部分（遊離石灰）を示し、これら全てを浸入水として扱う。

【0041】

そして、画像３０４の下段に示したように、浸入水の場合、損傷決定部２０３は、浸入水の中心部分３４１から、同程度の色味が続いている部分までをボックス３４２で囲む。ただし、損傷決定部２０３は、土、遊離石灰の場合には、白色でない部分までをボックス３４２で囲む。より具体的には、損傷決定部２０３は、浸入水の原因となる継手部分や破損部分を中心にボックス３４２で損傷を囲み、物体検知する。例えば、損傷が原因となって浸入水が発生した場合、損傷決定部２０３は、破損および浸入水として決定する。

【0042】

次に、図３Ｅを参照して、損傷が判別の難しい浸入水の場合の損傷の検知について説明する。図３Ｅは、本実施形態に係る管渠損傷特定装置１００における損傷（浸入水）の決定について説明するための他の図である。画像３０５の上段は、左右の継手部分３５２、３５３から浸入水が流出し、２つの浸入水の境界がはっきりしない状態を示している。この場合、損傷決定部２０３は、１つのボックス３５１で浸入水を囲み、１つの損傷として取り扱う。また、画像３０５の下段の２枚の画像に示したように、浸入水のにじみと流水跡との見分けが困難な場合、浸入水の原因と考えられる継手部分または破損部分から延びる浸入水痕と流水跡とが接続しているか否かを判断基準として、ボックス３５４で損傷を取り囲む。

【0043】

最後に、図３Ｆを参照して、小型の浸入水の検知について説明する。図３Ｆは、本実施形態に係る管渠損傷特定装置１００における損傷（浸入水）の決定について説明するためのさらに他の図である。画像３０６は、小型の浸入水を示している。損傷決定部２０３は、小型の浸入水も検知対象とするが、例えば、流水路近辺の小さいもの（大きさから流水路からの這い上がり跡と推測されるもの）や、横幅が小さいものは検知の対象外とする。ただし、ある程度にじみが上に伸びている、またはにじみが分離しかかっているものは検知対象３６１とする。浸入水のような跡があるが、乾いてコントラストが低いものは対象外とする。

【0044】

再び図２に戻る。モデル生成部２０４は、決定された損傷を識別可能な識別子（ＩＤ：Identifier）を付与する。モデル生成部２０４は、識別子として、例えば、損傷の範囲（大きさ）、その損傷の名称、損傷の属性（古い、新しい、色）などを天井平面画像１０１および底部平面画像１０２に付与する。なお、この識別子は、天井平面画像１０１および底部平面画像１０２に直接付与しても、所定のデータベース等に記憶しておき、適宜読み出すようにしてもよい。

【0045】

そして、モデル生成部２０４は、付与した識別子、決定された損傷とともに天井平面画像１０１および底部平面画像１０２を人工知能（ＡＩ：Artificial Intelligence）に入力して、機械学習させる。人工知能による機械学習が終了すると、モデル生成部２０４は、学習済み損傷特定モデルを生成する。なお、モデル生成部２０４は、生成した学習済み損傷特定モデルを所定のストレージ等に保存しておいてもよい。この場合、新たな学習用画像（天井平面画像１０１および底部平面画像１０２）を取得して、機械学習を行い、学習済み損傷特定モデルを生成するたびに、保存された学習済み損傷特定モデルを更新するようにしてもよい。

【0046】

また、人工知能による機械学習は、既知のアルゴリズムを用いて行われる。機械学習において、損失関数は、重み指定を行い、事象数の逆数を採用した。また、モデル生成部２０４は、人工知能による機械学習の精度を向上させて、より精度の高い損傷特定モデルを生成するために、人工知能に学習させる内周面画像１１０の数を水増しする。モデル生成部２０４は、例えば、左右反転を用いて水増しデータを得る。さらに、モデル生成部２０４は、人工知能による機械学習の精度を向上させるために、転移学習を用いてもよい。ここで、転移学習とは、異なるデータセットを用いた学習済みモデルを、別の問題に転用し、部分的な学習をすることで、モデルの性能向上を狙う手法である。特に、教師データが十分でない場合に、推論性能の向上と学習時間の低減が期待できる手法である。

【0047】

なお、生成された学習済み損傷特定モデルの評価には、再現率（Recall）および適合率（Precision）を用いた。再現率は、再現率＝ＴＰ／（ＴＰ＋ＦＮ）で表され、結果として出てくるべきもののうち、実際に出てきたものの割合を示す。すなわち、取り漏らしがないかに関する指標である（網羅性に関する指標）。適合率は、適合率＝ＴＰ／（ＴＰ＋ＦＰ）で表され、正しかったものの割合を示す。出てきたすべての結果の中に、どれだけ正解が含まれているかの割合を示す指標である（正確性に関する指標）。なお、ＴＰ＝真陽性（True Positive）、ＦＰ＝偽陽性（False Positive）、ＦＮ＝偽陰性（False Negative）である。

【0048】

画像受付部２０５は、管渠としての下水管１７０の内周面を撮像した内周面画像１６０を受け付ける。つまり、画像受付部２０５は、制御部１４１が送信した自走式検査ロボット１４０が撮像した内周面画像１６０を受け付ける。内周面画像１６０は、検査対象となる下水管１７０の画像であり、発生している損傷を特定したい下水管である。

【0049】

平面画像生成部２０６は、平面画像生成部２０２と同様に、平面画像を生成する。すなわち、平面画像生成部２０６は、内周面画像１６０を、内周面画像１６０における下水管１７０の天井部分から切り開いて展開して得られる天井平面画像１６１を生成する。同様に、平面画像生成部２０６は、内周面画像１６０における下水管１７０の底部部分から切り開いて展開して得られる底部平面画像１６２を生成する。

【0050】

つまり、平面画像生成部２０６は、まず、画像受付部２０５が受け付けた内周面画像１６０から輪切り画像を生成する。そして、平面画像生成部２０６は、輪切り画像から天井平面画像１６１および底部平面画像１６２を生成する。なお、輪切り画像は、予め自走式検査ロボット１４０において生成しておき、画像受付部２０５は、自走式検査ロボット１４０により生成された輪切り画像を取得してもよい。

【0051】

損傷特定部２０７は、天井平面画像１６１、底部平面画像１６２および学習済み損傷特定モデルを用いて、下水管１７０に発生している損傷を検知して特定する際に、下水管１７０に発生している損傷の種類に応じて、損傷検知のための閾値を変化させて下水管１７０に発生している損傷を特定する。

【0052】

まず、図４Ａ〜図４Ｃを参照して、閾値の変化について説明する。図４Ａは、本実施形態に係る管渠損傷特定装置１００において閾値を変化させた場合の物体検知について説明するための図である。損傷特定部２０７は、天井平面画像１６１および底部平面画像１６２において、検出スコアに閾値を設けて損傷の特定を行う。損傷特定部２０７は、天井平面画像１６１および底部平面画像１６２において、物体が存在すると思われる領域をボックスで囲む。そして、このボックスで囲んだ領域に物体が存在する確率を検出スコアとしている（図４Ａ上図）。つまり、検出スコアに閾値を設けることにより、物体の存在確率が低いボックスを排除して、損傷の特定対象から除外できる。

【0053】

例えば、図４Ａ下図に示したように、検出スコアの閾値を上げると検知されるボックスの数は減少する。そのため、見落としを防ぎたい場合には、閾値を下げて検知すれば、存在確率が低いボックスであっても損傷の特定対象となるため、見落としを防げる。一方、あまり重要でない損傷の場合には、閾値を上げて検知すれば、存在確率の低いボックスは損傷の特定対象から除外されるため、検知数が減り、不要な損傷の特定を排除できる。ここで、ボックスとは、バウンディングボックスのことであり、画像において図形（ここでは損傷）を囲うのにぴったりなサイズの長方形の領域のことである。また、検出スコアは、検出される損傷について、ＡＩが示す「このボックスの中の損傷が、指定した損傷である」確率のことである。検出スコア（確率）は、個々のボックスに付加される情報であり、例えば、検出スコアについて、「ある数値以上」という閾値を与えると、画面に表示されるボックス（「表示ボックス」）の数が増減する。

【0054】

図４Ｂは、本実施形態に係る管渠損傷特定装置１００において再現率および適合率を用いた閾値の決定について説明するための図である。４１１は破損およびクラック、４１２は浸入水、４１３は取付管、４１４はその他をそれぞれ表す。ここで、縦軸が再現率および適合率を表し、横軸が閾値を表す。損傷の種類により、上述した検出スコアの傾向は変化し、その傾向の差を表したのが図４Ｂに示したそれぞれのグラフになる。そのため、損傷の取り漏らしを少なくしたい、損傷の指定間違いを少なくしたいなどの要求に応じて、閾値を変える。図４Ｂにおいては、閾値は、０．３としている。例えば、各損傷に対して正解の見落としを少なくしたい（例えば、７割以上としたい）場合、再現率を０．７以上とする検出スコアを閾値とすればよい。つまり、図４Ｂの場合、破損およびクラック４１１であれば、０．０５、浸入水４１２であれば０．５、その他４１４であれば０．３を選択すれば、所望の確率でこれらの損傷が表示される。なお、取付管４１３については、全域で０．７を超えているため、この場合は、適合率を鑑みて（例えば、９５％以上）、損傷の見落としよりも不正解を減らして作業効率を上げるために閾値を高く（例えば、０．６）することができる。

【0055】

適合率（Precision）は、ＡＩが出した回答のうち、正解が占める割合のこと。検出スコアが低い場合、回答の中に多数の不正解が含まれるため、適合率は低くなる。検出スコアを高くしていくと、不正解の数が減少するため、適合率は上昇する。ただし、正解を見落とす可能性も増える。再現率（Recall）は、ＡＩが出した回答のうち、正解であるものについて、ＡＩが見つけられなかったものも含むすべての正解に占める割合のこと。ＡＩが出した不正解は無視されるため、検出スコアが０の場合、再現率は１００％になる。例えば検出対象が破損及びクラック４１１の場合、検出スコアが０から離れると、再現率は直ちに低下し、検出スコアが０．１であっても、１５％の見落としが発生する可能性がある。

【0056】

図４Ｃは、本実施形態に係る管渠損傷特定装置１００が有する閾値テーブルの一例を説明するための図である。閾値テーブル４０３は、損傷の種類４３１に関連付けて閾値４３２を記憶する。損傷の種類４３１は、破損、クラック、浸入水、取付管の突き出し、木根侵入およびモルタル付着を含む。そして、損傷特定部２０７は、閾値テーブル４０３を参照して、損傷のそれぞれについて、閾値を設定する。

【0057】

次に、損傷特定部２０７による損傷の特定について説明する。損傷特定部２０７は、天井平面画像１６１、底部平面画像１６２および学習済み損傷特定モデルを用いて、下水管１７０に発生している損傷を特定する。損傷特定部２０７による損傷の特定方法は、例えば、図４Ｃに示す損傷特定テーブル２８１を参照して特定する方法がある。なお、損傷特定部２０７は、天井平面画像１６１および底部平面画像１６２が並列に並べられた状態の画像を用いて、下水管１７０に発生している損傷を特定する。

【0058】

出力部２０８は、特定された損傷をタブレット端末１３０などの携帯端末へ出力する。また、作業員は、タブレット端末１３０のディスプレイに表示された特定結果を参照することにより、下水管１７０に発生している損傷を認識できる。出力部２０８は、損傷の種類や進行度合いに応じたアラートを出力してもよい。出力部２０８は、警告音や振動、光、メッセージ等によるアラートを出力してもよい。

【0059】

図４Ｄは、本実施形態に係る管渠損傷特定装置１００が有する損傷特定テーブル２９１の一例を説明するための図である。なお、損傷特定テーブル２９１は、記憶部２０９に記憶される。損傷特定テーブル２９１は、損傷の種類４３１に関連付けて管渠材質４４２を記憶する。損傷の種類４３１は、破損、クラック、浸入水、取付管の突き出し、木根侵入およびモルタル付着を含む。

【0060】

管渠材質４４２は、コンクリートおよび陶器を含む。例えば、管渠材質４４２が、コンクリートの場合、すなわち、コンクリート管の場合、損傷の種類４３１にある破損として、内部構造の露出、鉄筋露出および錆汁などを含めてもよい。そして、損傷特定部２０７は、損傷特定テーブル２９１を参照して、下水管１７０に発生している損傷を特定する。損傷特定テーブル２９１に含まれる損傷の種類４３１は、発生頻度が高い損傷や見逃すことのできない損傷を含んでいる。このように、予め管渠の材質と発生する損傷との組み合わせを決めておくことにより、管渠の材質から考えて発生し得ない損傷を排除することができるので、効率的な損傷特定を行うことが可能となる。

【0061】

図４Ｅは、本実施形態に係る管渠損傷特定装置による損傷の程度の予想について説明するための図である。図４Ａに示したボックスに表示される検出スコアを用いて損傷の重大度、あるいは補修緊急度を予測することができる。例えば、図４に示したボックスにおいて、ＡＩが検出スコアを大きく表示している損傷は、損傷である確率が高いとＡＩが判断しているものである。このような損傷は、現実的にも損傷である確率は高く、このような損傷は、損傷として重大、あるいは補修のための緊急度が高いと推定できる可能性がある。これとは反対に、検出スコアを低く表示している損傷は、軽度の損傷であるか、または、そもそも損傷ではない（不正解）ものが含まれている可能性が高い。そこで、図４Ｅの程度予測図４０５に示したように、検出スコアを用いて、クラス分けを行い、それぞれのクラスで重大度（または補修緊急度）を「大」、「中」、「小」、「不要」などと推定する。なお、検出スコアによるクラス分けは、例えば、０〜０．１、０．１〜０．５、０．５〜０．８、０．８〜１．０などのように行う。

【0062】

図５Ａは、本実施形態に係る管渠損傷特定装置１００の処理手順を説明するためのフローチャートである。図５Ｂは、本実施形態に係る管渠損傷特定装置１００の処理手順を説明するための他のフローチャートである。図５Ａおよび図５Ｂに示したフローチャートは、管渠損傷特定装置１００の不図示のＣＰＵ（Central Processing Unit）が、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を用いて実行し、図２に示した管渠損傷特定装置１００の各機能構成を実現する。

【0063】

図５Ａを参照して、ステップＳ５０１において、画像取得部２０１は、機械学習用の画像として、下水管１５０の内周面画像１１０を取得する。ステップＳ５０３において、平面画像生成部２０２は、内周面画像１１０を下水管１５０の天井部分および底部部分から切り開いて展開した天井平面画像１０１および底部平面画像１０２を生成する。ステップＳ５０５において、損傷決定部２０３は、天井平面画像１０１および底部平面画像１０２を用いて、下水管１５０に発生している損傷を決定する。

【0064】

ステップＳ５０７において、モデル生成部２０４は、決定された損傷を識別可能な識別子を付与して、決定された損傷とともに天井平面画像１０１および底部平面画像１０２とともに人工知能に入力する。ステップＳ５０９において、モデル生成部２０４は、人工知能による機械学習が終了したか否かを判定する。人工知能による機械学習が終了していないと判定された場合（ステップＳ５０９のＮＯ）、モデル生成部２０４は、人工知能による機械学習を継続させる。人工知能による機械学習が終了したと判定された場合（ステップＳ５０９のＹＥＳ）、管渠損傷特定装置１００は、ステップＳ５１１へ進む。ステップＳ５１１において、モデル生成部２０４は、学習済み損傷特定モデルを生成する。

【0065】

図５Ｂを参照して、ステップＳ５３１において、画像受付部２０５は、下水管１７０の内周面を撮像した内周面画像１６０を受け付ける。ステップＳ５３３において、平面画像生成部２０６は、内周面画像１６０を下水管１７０の天井部分および底部部分から切り開いて展開した天井平面画像１６１および底部平面画像１６２を生成する。ステップＳ５３５において、損傷特定部２０７は、天井平面画像１６１、底部平面画像１６２および生成した学習済み損傷特定モデルを用いて、下水管１７０に発生している損傷を特定する。損傷特定部２０７は、損傷の種類に応じて、損傷検知のための閾値を変化させながら損傷を特定する。

【0066】

ステップＳ５３７において、出力部２０８は、特定結果を出力する。ステップＳ５３９において、管渠損傷特定装置１００は、受付した全ての内周面画像１６０について、損傷の特定が終了しているか否かを判定する。受付した全ての内周面画像１６０の損傷の特定が終了していないと判定した場合（ステップＳ５３９のＮＯ）、管渠損傷特定装置１００は、ステップＳ５３３へ戻る。受付した全ての内周面画像１６０の損傷の特定が終了したと判定した場合（ステップＳ５３９のＹＥＳ）、管渠損傷特定装置１００は、処理を終了する。

【0067】

本実施形態によれば、人工知能による機械学習と損傷検知のための閾値とを用いて管渠の損傷の特定を行うので、過剰検知を避けつつ、精度の高い管渠の損傷の特定を行うことができる。また、閾値を適切に設定すれば、損傷の種類に応じて、必要な損傷を的確に特定できる。

【0068】

［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。

【0069】

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図3F】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図5A】

【図5B】