(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023036355
(43)【公開日】2023-03-14
(54)【発明の名称】管状構造物調査支援装置、管状構造物調査支援システム、管状構造物の画像表示方法、及びプログラム
(51)【国際特許分類】
G01N 21/954 20060101AFI20230307BHJP
G06T 1/00 20060101ALI20230307BHJP
【FI】
G01N21/954 A
G06T1/00 300
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2021143357
(22)【出願日】2021-09-02
【新規性喪失の例外の表示】特許法第30条第2項適用申請有り [ウェブサイトのアドレス] 株式会社ジャストの製品ページ https://www.just-ltd.co.jp/project/smakan/ [掲載日] 令和3年7月26日 [刊行物等] [ウェブサイトのアドレス] 下水道展’21大阪の出展紹介ページ https://www.gesuidouten.jp/exhibitors/info/?evcid=GT14J0456 [掲載日] 令和3年7月26日 [刊行物等] [集会名] 下水道展’21大阪 [開催日] 令和3年8月17日~20日
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
(71)【出願人】
【識別番号】394026714
【氏名又は名称】株式会社ジャスト
(74)【代理人】
【識別番号】100096091
【弁理士】
【氏名又は名称】井上 誠一
(72)【発明者】
【氏名】角田 賢明
(72)【発明者】
【氏名】大貫 雄一
(72)【発明者】
【氏名】楠 佳代子
(72)【発明者】
【氏名】杉山 登
(72)【発明者】
【氏名】鎌形 勇樹
(72)【発明者】
【氏名】▲高▼橋 一広
(72)【発明者】
【氏名】岡田 一哉
【テーマコード(参考)】
2G051
5B057
【Fターム(参考)】
2G051AA82
2G051AB02
2G051AC17
2G051CA04
2G051CD03
2G051FA02
2G051FA03
5B057CC01
5B057CD20
(57)【要約】
【課題】 展開画像の縦方向のスクロールを可能とし、展開位置の続きの確認を容易とする管状構造物調査支援装置等を提供する。
等を提供する。
【解決手段】 管状構造物調査支援システム1において、管状構造物調査支援装置5は、上下水道管等の管状構造物10の内壁の展開画像71を取得し、横軸を管路方向、縦軸を管10の周方向として表示部55に表示する。管状構造物調査支援装置5の制御部51は、展開画像71の縦軸方向のスクロール操作を受け付け、スクロール操作に従って、展開画像を縦軸方向にスクロール表示する。また、展開画像を360°表示とするか、展開画像の上部Aと下部Bに同じ領域を表示するラップ表示とするかを切替可能とする。
【選択図】
図8
【特許請求の範囲】
【請求項1】
管状構造物の内壁の展開画像を、横軸を管路方向、縦軸を管の周方向として表示する表示手段と、
前記表示手段により表示されている展開画像を縦軸方向にスクロールするための操作手段と、を備え、
前記表示手段は、前記操作手段による操作に従って前記展開画像を縦軸方向にスクロール表示する
ことを特徴とする管状構造物調査支援装置。
【請求項2】
前記表示手段は、
縦軸方向のスクロール表示中に前記展開画像の縦軸方向の上端部と下端部が連続するように前記展開画像を表示する
ことを特徴とする請求項1に記載の管状構造物調査支援装置。
【請求項3】
前記表示手段は、
前記展開画像の上部及び下部に同じ領域を重複して表示する
ことを特徴とする請求項1または請求項2に記載の管状構造物調査支援装置。
【請求項4】
前記展開画像の任意の位置を指示すると、損傷情報を入力するための損傷入力画面を表示する損傷入力手段を更に備えることを特徴とする請求項1から請求項3のいずれかに記載の管状構造物調査支援装置。
【請求項5】
前記損傷入力手段において、前記位置を範囲で指定可能であることを特徴とする請求項4に記載の管状構造物調査支援装置。
【請求項6】
前記表示手段は、
前記展開画像の元となる直視画像を前記展開画像と並べて表示することを特徴とする請求項1から請求項5のいずれかに記載の管状構造物調査支援装置。
【請求項7】
表示されている展開画像の縦軸方向の所定位置にラインを表示するとともに、前記所定位置に対応する前記直視画像上の位置にマークを表示する所定位置表示手段を更に備えることを特徴とする請求項6に記載の管状構造物調査支援装置。
【請求項8】
管状構造物の内部を管路に沿って進行しながら広角カメラで撮影する撮影装置と、
前記撮影装置により撮影された画像である直視画像に基づいて前記管状構造物の内壁の展開画像を生成する展開画像生成装置と、
前記撮影装置及び前記展開画像生成装置と通信接続された管状構造物調査支援装置と、を備え、
前記管状構造物調査支援装置は、
前記直視画像及び前記展開画像を取得する画像取得手段と、
前記画像取得手段により取得した前記直視画像を表示するとともに前記展開画像を、横軸を管路方向、縦軸を管の周方向として表示する表示手段と、
前記表示手段により表示されている展開画像を縦軸方向にスクロールするための操作手段と、を備え、
前記表示手段は、前記操作手段による操作に従って前記展開画像を縦軸方向にスクロール表示する
ことを特徴とする管状構造物調査支援システム。
【請求項9】
コンピュータが、
管状構造物の内壁の展開画像を、横軸を管路方向、縦軸を管の周方向として表示するステップと、
表示されている展開画像を縦軸方向にスクロールするための操作を受け付けるステップと、
前記操作に従って前記展開画像を縦軸方向にスクロール表示するステップと、
を含むことを特徴とする管状構造物の画像表示方法。
【請求項10】
コンピュータを、
管状構造物の内壁の展開画像を、横軸を管路方向、縦軸を管の周方向として表示する表示手段、
前記表示手段により表示されている展開画像を縦軸方向にスクロールするための操作手段、として機能させ、
前記操作手段による操作に従って前記表示手段が前記展開画像を縦軸方向にスクロールさせるようにコンピュータを機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、管状構造物調査支援装置、管状構造物調査支援システム、管状構造物の画像表示方法、及びプログラムに関し、詳細には、下水管等の管状構造物の調査を支援するための画像表示及び情報処理技術に関する。
【背景技術】
【0002】
上下水道管、ケーブル管、トンネル等の管状の構造物について、損傷の有無や状態の調査が行われている。この調査では、管路内を走行する撮影装置を用いて管路の内壁面を管路に沿って撮影し、撮影した内壁面の画像データを用いてコンピュータで展開画像を作成し、作成した展開画像を作業者が目視確認することにより、損傷を判定したり、調査報告書の作成を行っている。
【0003】
例えば、特許文献1には、管路内を移動可能な管路内作業装置と、モニタを備えた地上装置とで構成された管路内作業装置モニタシステムにおいて、地上装置が、管路内作業装置の現存位置を示す画像を、管路の内壁を撮影した画像データに基づいて作成された展開画像上に表示する管路内作業装置モニタシステムについて記載されている。
【0004】
また、特許文献2には、管状物の内部を当該管状物に沿って移動しながら撮影された管状物内の全天画像データを基に展開画像を作成する管内壁面画像展開システムについて記載されている。特許文献2の管内壁面画像展開システムでは、管路内を走行する画像撮影手段に接続されたケーブル、ワイヤ等を弛まないよう保持し、そのケーブル、ワイヤ等の送り出し量から画像撮影手段の位置を検知して位置情報Spを取得し、画像撮影手段から画像データSvが入力されたときの位置情報Spをデジタル信号として画像データSvに挿入することで、歪みのない展開画像を生成するというものである。
【0005】
また、非特許文献1には、下水道管の調査報告書を所定の様式で作成するための下水道報告書作成システムについて記載されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】2010-066070号公報
【特許文献2】2008-090782号公報
【非特許文献】
【0007】
【非特許文献1】ノザワ電子工業株式会社、”下水道報告書作成システム”、[online]、令和3年8月3日検索、インターネット、<URL:http://nozawa-densi.sakura.ne.jp/CCP004.html>
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、展開画像は、通常、管頂または管底を基準として展開(切断)される。そのため、観察したい箇所が展開位置(切断位置)にまたがってしまうと、確認しにくくなるという問題があった。
【0009】
本発明は上記の問題に鑑みてなされたものであり、展開画像の縦軸方向のスクロールを可能とし、展開位置(切断位置)の続きの確認を容易とする管状構造物調査支援装置等を提供することを目的とする。
【課題を解決するための手段】
【0010】
前述した課題を解決するための第1の発明は、管状構造物の内壁の展開画像を、横軸を管路方向、縦軸を管の周方向として表示する表示手段と、前記表示手段により表示されている展開画像を縦軸方向にスクロールするための操作手段と、を備え、前記表示手段は、前記操作手段による操作に従って前記展開画像を縦軸方向にスクロール表示することを特徴とする管状構造物調査支援装置である。
【0011】
第1の発明の管状構造物調査支援装置によれば、管状構造物の内部の展開画像を縦軸方向にスクロールして表示できるため、展開画像の展開位置にまたがって存在する損傷の確認が容易となる。また、その損傷全体を展開画像上で指定することも可能となる。
【0012】
第1の発明において、前記表示手段は、縦軸方向のスクロール表示中に前記展開画像の縦軸方向の上端部と下端部が連続するように前記展開画像を表示する。これにより、展開画像を縦軸方向にスクロール表示する際に、管の周方向360°分の展開画像を表示させることができる。
【0013】
また、前記表示手段は、前記展開画像の上部及び下部に同じ領域を重複して表示してもよい。これにより、管の周方向360°+α°の展開画像を表示させることができる。α°分の重複表示部分を設け、更に縦軸方向のスクロールも可能とすることで、大きな損傷を観察しやすい状態で表示させることができる。
【0014】
また、第1の発明において、前記展開画像の任意の位置を指示すると、損傷情報を入力するための損傷入力画面を表示する損傷入力手段を更に備えることが望ましい。また、前記損傷入力手段において、前記位置を範囲で指定可能である。これにより、縦軸方向にスクロール表示した状態で、損傷情報の入力を行うことができる。また、損傷を範囲で入力することも可能となり、作業効率が向上する。なお、損傷位置の指定は、範囲(ボックス)での指定とポイント(点)での指定とを自在に切替えられることが望ましい。
【0015】
また、前記表示手段は、前記展開画像の元となる直視画像を前記展開画像と並べて表示することが望ましい。更に、表示されている展開画像の縦軸方向の所定位置にラインを表示するとともに、前記所定位置に対応する前記直視画像上の位置にマークを表示する所定位置表示手段を更に備えることが望ましい。これにより、縦軸方向にスクロール表示した場合でもどの位置が管頂位置(或いは、管底、着目位置等)であるかを見失うことなく、展開画像と直視画像とで対応する位置を確認することができる。
【0016】
第2の発明は、管状構造物の内部を管路に沿って進行しながら広角カメラで撮影する撮影装置と、前記撮影装置により撮影された画像である直視画像に基づいて前記管状構造物の内壁の展開画像を生成する展開画像生成装置と、前記撮影装置及び前記展開画像生成装置と通信接続された管状構造物調査支援装置と、を備え、前記管状構造物調査支援装置は、前記直視画像及び前記展開画像を取得する画像取得手段と、前記画像取得手段により取得した前記直視画像と前記展開画像とを表示する表示手段と、前記表示手段により表示されている展開画像を前記内壁の上下方向にスクロールするための操作手段と、を備え、前記表示手段は、前記操作手段による操作に従って前記展開画像を上下方向にスクロール表示することを特徴とする管状構造物調査支援システムである。
【0017】
第2の発明の管状構造物調査支援システムによれば、撮影装置で、管状構造物の内部の直視画像を撮影し、展開画像生成装置で展開画像を生成し、管状構造物調査支援装置で、前記直視画像及び前記展開画像を取得して、表示する。管状構造物調査支援装置は、管状構造物の内部の展開画像を内壁の上下方向にスクロールして表示できるため、展開画像の展開位置にまたがって存在する損傷の確認が容易となる。また、その損傷全体を展開画像上で指定することが可能となる。
【0018】
第3の発明は、コンピュータが、管状構造物の内壁の展開画像を表示するステップと、表示されている展開画像を前記内壁の上下方向にスクロールするための操作を受け付けるステップと、前記操作に従って前記展開画像を上下方向にスクロール表示するステップと、を含むことを特徴とする管状構造物の画像表示方法である。
【0019】
第3の発明により、管状構造物の内部の展開画像を内壁の上下方向にスクロールして表示できるため、展開画像の展開位置にまたがって存在する損傷の確認が容易となる。また、その損傷全体を展開画像上で指定することが可能となる。
【0020】
第4の発明は、コンピュータを、管状構造物の内壁の展開画像を表示する表示手段、前記表示手段により表示されている展開画像を前記内壁の上下方向にスクロールするための操作手段、として機能させ、前記操作手段による操作に従って前記表示手段が前記展開画像を上下方向にスクロールさせるようにコンピュータを機能させるプログラムである。
【0021】
第4の発明により、コンピュータを第1の発明における管状構造物調査支援装置として機能させることができる。
【発明の効果】
【0022】
本発明により、展開画像の縦方向のスクロールを可能とし、展開位置の続きの確認が容易な管状構造物調査支援装置等を提供できる。
【図面の簡単な説明】
【0023】
【
図1】管状構造物調査支援システム1の全体構成の一例を示す図
【
図2】撮影システム2及び管状構造物調査支援装置5の機能構成を示すブロック図
【
図8】展開画像71の上部A及び下部Bに同じ領域を重複表示するラップ表示の例を示す図
【
図9】管構造物(ジョイント部)を示すオブジェクト971、972の表示例を示す図
【
図12】損傷箇所のボックス(範囲)指定の例を示す図
【
図13】プレビュー処理の流れを示すフローチャート
【発明を実施するための形態】
【0024】
以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。
【0025】
図1は、本発明に係る管状構造物調査支援システム1の全体構成を示す図である。以下の説明では、一例として
図1に示すように、撮影システム2とストレージ3と管状構造物調査支援装置(以下、調査支援装置)5とがネットワーク4を介して通信可能に接続された管状構造物調査支援システム1について説明する。なお、
図1のシステム構成例は一例であり、本発明はこれに限定されない。例えば、ストレージ3を省略し、撮影システム2と調査支援装置5とがネットワーク4を介して接続されたシステムとしてもよいし、撮影システム2と調査支援装置5とがネットワーク4を介した通信接続を行わず、画像データ等の交換は記録媒体等を介して行うことも可能である。
【0026】
撮影システム2は、調査対象となる管状構造物10(上下水道管、吸排気管、ケーブル管、トンネル等。以下、管10という)の内部を管路に沿って進行しながら広角カメラ22Aで撮影する撮影装置22と、調査現場で使用されるコンピュータ端末である現場PC21とを有する。撮影装置22は、走行車に広角カメラ22A及びエンコーダ等を搭載したものである。エンコーダは、管の入口から広角カメラ22Aまでの距離を計測するためのケーブル等である。現場PC21は、撮影装置22が撮影した画像(以下、直視画像72)及びエンコーダで計測した距離を取得するインターフェースと、ネットワーク4に通信接続するための通信インターフェースと、制御部(CPU,ROM,RAM)、記憶部、入力部、表示部等を備える。現場PC21は、撮影装置22から取得した直視画像72に基づいて展開画像71を生成する機能を備えることが望ましいが、展開画像71の生成は、別のコンピュータ端末で行うものとしてもよい。
【0027】
展開画像71とは、管10の内部を撮影した動画(直視画像72)を管路方向に切り開き平面状に展開した画像である。展開画像71の作成方法は公知であり、例えば、特開2010-066070号公報等に記載される。また、撮影システム2についても、上記特許文献に示す作業装置及び地上装置や、公知の同様の撮影システムを用いて構成することができる。なお、現場PC21は、エンコーダで取得した距離情報(管の入口から広角カメラ22Aまでの距離)を、位置情報(管路方向位置)として撮影画像(直視画像72)及び展開画像71に記録する。
【0028】
現場PC21は、撮影した直視画像72をネットワーク4を介してストレージ3に記憶する。現場PC21が展開画像71を生成した場合は、生成した展開画像71を直視画像72と紐づけてストレージ3に記憶する。或いは、現場PC21は、直視画像72及び展開画像71をネットワーク4を介して調査支援装置5に送信してもよい。または、現場PC21は、直視画像72及び展開画像71を記録媒体に記録してもよい。
【0029】
ストレージ3は、ネットワーク4を介してアクセス可能なストレーサーバであり、現場PC21から送信された直視画像72や展開画像71、工事情報等を保存するための記憶領域を有する。ストレージ3は、調査支援装置5から画像取得要求を受信すると、要求に応答して該当する直視画像72や展開画像71を送信する。
【0030】
次に、調査支援装置5について説明する。調査支援装置5は、
図2に示すように、制御部51、記憶部52、通信部53、入力部54、表示部55、及び周辺機器I/F(インターフェース)部56等をバスを介して接続したコンピュータにより構成され、PC、タブレット、スマートフォン等を用いることができる。なお、調査支援装置5の構成は適宜変更可能である。調査支援装置5には、管状構造物調査支援プログラムがインストールされ、制御部51が管状構造物調査支援プログラムに従って処理を実行することにより、後述する各機能を実現する。
【0031】
制御部51は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等により構成され、CPUは、記憶部52、ROM等に格納されるプログラムをRAM上のワークメモリ領域に呼び出して実行し、バスを介して接続された各部(記憶部52、通信部53、入力部54、表示部55、周辺機器I/F部56)を駆動制御する。ROMは、ブートプログラムやBIOS等のプログラム、データ等を恒久的に保持する。RAMは、ロードしたプログラムやデータを一時的に保持するとともに、制御部51が各種処理を行うために使用するワークエリアを備える。
【0032】
記憶部52は、フラッシュメモリ、ハードディスク等の記憶装置であり、取得した画像データや入力した損傷情報、入力した管構造情報等を記憶する。また、記憶部52は、後述する各機能に係る処理プログラム(総称して「管状構造物調査支援プログラム」または「アプリ」と呼ぶ)を記憶する。
【0033】
通信部53は、WiFiアンテナ、Bluetooth等の無線通信部、またはLAN等の有線通信部の通信ポート、及び通信制御装置を有し、外部機器との通信を媒介するインターフェースである。
【0034】
入力部54は、例えば、タッチパネル、キーボード、マウス等のポインティング・デバイス、テンキー等の入力装置等を含み、入力されたデータを制御部51へ入力する。
【0035】
表示部55は、例えば液晶パネル等のディスプレイと、ディスプレイと連携して表示処理を実行するための論理回路(ビデオアダプタ等)で構成され、制御部51の制御により入力された表示データをディスプレイに表示させる。なお、表示部55は、表示画面にタッチパネル等の入力装置(入力部54)を一体的に設けたタッチパネルディスプレイとしてもよい。
【0036】
周辺機器I/F部56は、周辺機器を接続させるためのポートであり、制御部51は周辺機器I/F部56を介して周辺機器とのデータの送受信を行う。周辺機器I/F部56は、USB(Universal Serial Bus)等によって構成されている。周辺機器との接続形態は有線、無線を問わない。
【0037】
次に、調査支援装置5の機能構成について、
図2を参照して説明する。
調査支援装置5は、機能部として、画像取得部511、表示処理部513、縦スクロール操作部517、管構造物入力部514、損傷入力部515、及びプレビュー表示部516等を有する。また、調査支援装置5は、展開画像71を生成する展開画像生成部512を備えてもよい。これらの機能部は、制御部51のCPUが、記憶部52に記憶された処理プログラム(管状構造物調査支援プログラム)を読み込み、RAM上のワークメモリ領域に呼び出して実行することにより実現される。
【0038】
画像取得部511は、撮影システム2により撮影された直視画像72及び生成された展開画像71を通信部53または周辺機器I/F部56を介して取得する。或いは、記憶媒体に記憶された直視画像72及び展開画像71を読み込んで取得したり、別のコンピュータに保存されている直視画像72及び展開画像71やストレージ3上に保存された直視画像72及び展開画像71を通信部53がLANやインターネット等のネットワーク4を介して取得し、制御部51に取り込むものとしてもよい。
【0039】
展開画像生成部512は、画像取得部511により取得した直視画像72に基づいて管状構造物10の内壁の展開画像71を生成し、記憶部52に記憶する。なお、直視画像72を撮影しながらリアルタイムに、または直視画像72の撮影後、すぐに調査現場で展開画像71を生成し、適切に変換できたか否かを調査現場で確認することもある。その場合、展開画像71は、現場PC21等で生成される。
【0040】
表示処理部513は、表示処理を実行し、画像取得部511により取得した直視画像72と、展開画像71の一部の範囲と、管10の全体にわたる展開画像71である全体画像73とを並べて表示部55に表示する(
図5参照)。展開画像71及び全体画像73は、横軸を管路方向、縦軸を管の周方向として表示される。表示処理において、表示処理部513は、表示する直視画像72の管10における位置と展開画像71の表示範囲とを連動させて表示するとともに、全体画像73及び展開画像71に上記位置を示す。表示処理の詳細や表示画面例については後述する。
【0041】
また本実施形態において、表示処理部513は、展開画像71の上端部と下端部とが連続するように表示(360°表示)してもよいし(
図5参照)、展開画像71の上部の所定の範囲A及び下部の所定の範囲Bに同じ領域を重複して表示するラップ表示(
図8参照)を行うものとしてもよい。展開画像71の横軸Xは管路方向の位置x、縦軸Yは管10の周方向の角度θを表している。360°表示の場合は、展開画像71の上端が0°(管頂)、縦方向中央が180°(管底)、下端が360°(=0°)のように、ちょうど一周分の展開画像71を表示する。これは管頂(0°)を展開位置とする「上展開」の場合であるが、管底(180°)を展開位置とした場合は、展開画像71の上端が180°(管底)、縦方向中央が0°(管頂)、下端が180°となるように表示される。展開位置の変更は、メイン画面7の「上展開」スイッチで切替可能となっている。ラップ表示は、1周分以上(360°+α°、0<α<180°)を重複して表示する表示形態である。また、縦表示切替スイッチ94を設け、ユーザの操作によって360°表示とするか、ラップ表示とするかを切り替え可能としてもよい。
【0042】
縦スクロール操作部517は、表示部55に表示されている展開画像71を縦軸方向にスクロールするための操作を受け付ける。この縦スクロールの操作方法は任意であるが、好適な一例としては、例えば「スペース+ドラッグ&ドロップ」操作等が挙げられる。縦スクロール操作が行われると、表示処理部513は、操作に従って展開画像71を縦軸方向にスクロール表示する。例えば、展開画像71の上端が0°(管頂)、縦方向中央が180°(管底)、下端が360°(=0°)となるように表示している場合、上方向に縦スクロール操作が行われると、展開画像71を+β°(βは任意の値)ずらして表示する。その際、ずらしたβ°分の画像が下端につながるように挿入される。同様に、下方向に縦スクロール操作が行われると、展開画像71を-β°ずらして表示する。すらしたβ°分の画像は上端につながるように挿入される。すなわち、縦スクロール操作によって、展開画像71の上端または下端の先を続けて表示させることができる。このため、例えば展開画像71上で上端と下端に分かれて表示されていたヒビ等の損傷を、縦スクロールによって繋げて観察できるようになる。
【0043】
管構造物入力部514は、画像取得部511により取得した画像(主に展開画像71)に対して管10のジョイント部及び取付管等の構造物の情報の入力を受け付ける。そして、構造物(ジョイント部及び取付管)を示すオブジェクト971、972を展開画像71上または全体画像73上に表示する(
図9参照)。また、管構造物入力部514は、構造物(ジョイント部及び取付管等)の各々に識別情報を付加し、管10における位置情報と紐づけて管構造情報として記録する。
【0044】
損傷入力部515は、展開画像71の任意の位置がユーザにより指示されると、損傷情報を入力するための損傷情報入力欄111を表示し(
図11、
図12参照)、損傷情報の入力を受け付ける。また、損傷情報入力欄111に入力された損傷情報を、ユーザにより指示された位置(管10における位置)と紐づけて記録する。なお、損傷位置は、ポイント(点)またはボックス(範囲)で指定可能とする。損傷入力部515の処理の詳細や表示画面例については後述する。
【0045】
プレビュー表示部516は、記録された損傷情報のリストである損傷一覧150を全体画像73とともに表示する(
図14参照)。プレビュー表示処理の詳細や表示画面例については後述する。
【0046】
次に、管状構造物調査支援システム1を用いた管状構造物調査の流れについて説明する。まず、
図3のフローチャートを参照して、調査全体の流れを説明する。
【0047】
作業者は撮影システム2を調査現場へ運び、撮影装置22を用いて管10の内部を動画撮影する(ステップS101)。撮影された動画(映像)は直視画像72として順次現場PC21に取り込まれる。現場PC21は、展開画像生成処理を実行し、取り込んだ直視画像72に基づいて展開画像71を生成する(ステップS102)。
【0048】
展開画像71の生成をやり直す場合は(ステップS103;No)、ステップS101へ戻る。展開画像71の生成が成功した場合は(ステップS103;Yes)、直視画像72及び展開画像71を記憶する(ステップS104)。
【0049】
ステップS101~ステップS104の処理が終了すると、調査現場での作業を終了し、事務所へ移動する(ステップS105)。事務所では、作業者は調査支援装置5を用いた作業を行う。
【0050】
調査支援装置5の制御部51は、アプリ(管状構造物調査支援処理プログラム)が起動されると(ステップS106)、管状構造物調査支援処理を実行する。制御部51は、作業者の操作に従ってストレージ3等から直視画像72及び展開画像71を取得し(ステップS107)、表示処理(ステップS108)、管構造物入力処理(ステップS109)、損傷入力処理(ステップS110)、プレビュー表示処理(ステップS111)、及び報告書作成処理(ステップS112)等を行う。なお、ステップS107~ステップS112の処理は、作業内容や作業者によって順序を変更したり、一部省略したりしてもよい。以下、各ステップの処理について説明する。
【0051】
まずステップS108の表示処理について、
図4を参照して説明する。調査支援装置5の制御部51は、主な表示画面であるメイン画面7(
図5)を表示部55に表示し、ステップS107で取得した展開画像71、直視画像72、全体画像73をメイン画面7内に設けられる各表示領域に表示する(ステップS301)。
【0052】
図5はメイン画面7の表示例を示す図である。
図5の例では、展開画像71の表示領域は画面上部に横長に設けられ、直視画像72の表示領域は画面下部左側に設けられ、全体画像73の表示領域は画面下部右側に設けられるが、各表示領域のレイアウトやサイズはこれに限定されない。
【0053】
展開画像71は、管10の管路方向を横軸、管の周方向を縦軸として表示される。
図5では、縦表示切替スイッチ94によって360°表示となっており、展開画像71の縦軸方向中央が管10の底部(180°)、展開画像71の上端及び下端が管10の頂部(0°、360°)に対応している。また、展開画像71には、管10における管路方向の位置を示す目盛り79や展開画像ハンドル74、展開画像71の表示範囲を横スクロールするためのボタン77a、77bが設けられる。展開画像ハンドル74はユーザの操作によって左右に移動可能な操作部(第1の位置指定手段)であり、ユーザは展開画像ハンドル74を移動させて展開画像71上で任意の位置(管路方向位置)を指定できる。なお、目盛り79に示す管路方向位置は、管の入口からカメラ22Aまでの距離である。
【0054】
直視画像72は、一連の動画として撮影された直視画像72のうち、展開画像ハンドル74(または全体画像ハンドル76)で指定された位置で撮影された直視画像72が表示される。すなわち、動画の各フレームのうち、展開画像ハンドル74(または全体画像ハンドル76)で指定された位置で撮影されたフレームが表示される。直視画像72には、位置情報(管の入口からカメラ22Aまでの距離)やジョイント番号(ジョイント部の識別情報)等が表示されることが望ましい。直視画像72の近傍には、再生ボタン75(再生指示入力手段)が設けられる。再生ボタン75が操作されて直視画像72の動画再生指示が入力されると、制御部51は、直視画像72を順方向(管10の始点(撮影の始点)から終点(撮影の終点)へ向かう方向)に動画再生する。また制御部51は、表示中の直視画像72に連動して展開画像71の表示範囲全体を移動させる。制御部51は、展開画像ハンドル74を表示中の直視画像72に連動して移動させるとともに、全体画像ハンドル76を直視画像72に連動して移動させる。すなわち、全体画像73上及び展開画像71上に再生中の直視画像72の位置を示す。なお、再生ボタン75に加え、逆方向再生を行うための逆再生ボタンや、早送り、早戻し操作を行うボタン、始点や終点への移動ボタンを設けるようにしてもよい。動画再生中に再生ボタン75が再度操作されると、制御部51は再生を停止する。
【0055】
全体画像73は、展開画像71を縮小して管路全体にわたって表示した展開画像71であり、管10の管路方向を横軸、管の周方向を縦軸として表示される。展開画像71と同様に、全体画像73の上下方向中央が管10の底部、全体画像73の上端及び下端が管10の頂部に対応している。また全体画像73には、全体画像ハンドル76、全体画像ハンドル76の位置を移動させるための移動ボタン78a、78b等が設けられる。全体画像ハンドル76はユーザの操作によって左右に移動可能な操作部(第2の位置指定手段)であり、ユーザは全体画像ハンドル76を移動させて全体画像73上で任意の位置(管路方向位置)を指定できる。また、全体画像ハンドル76は、直視画像72が表示している管路における位置、及び展開画像ハンドル74の位置に連動して表示位置が左右に移動される。
【0056】
メイン画面7には、展開画像71、直視画像72、全体画像73等の他、各種の機能を実行するための機能ボタン81~85が表示される。機能ボタン81は、管10のジョイント部(接手部)の位置を手動入力する際に操作されるボタンであり、機能ボタン82は、損傷位置をポイント(点)で指定する際に操作されるボタンであり、機能ボタン83は、損傷位置をボックス(範囲)で指定する際に操作されるボタンであり、機能ボタン84は、取付管の位置を手動入力する際に操作されるボタンであり、機能ボタン85は、展開画像71の表示位置を移動させる際に操作されるボタンである。また、展開画像71の表示範囲を変更(拡大/縮小)する際に操作される表示サイズ(拡大/縮小率)変更欄86、表示サイズ(拡大/縮小率)を元に戻す際に操作されるリセットボタン87、グリッド表示/非表示切替操作部88、メイン画面7に表示されている管10についての各種情報(路線番号、人孔番号、管長、総延長等)が表示される管情報表示欄89、メイン画面7に表示する管10を変更する際に操作される管変更ボタン90、91、損傷情報のプレビュー表示を行う際に操作されるプレビューボタン92、展開画像71の表示を、360°表示とするか、360°+α°のラップ表示とするかを切り替えるための縦表示切替スイッチ94等が設けられる。
【0057】
図4の説明に戻る。
メイン画面7において、直視画像72の再生ボタン75が操作されると(ステップS302;Yes)、制御部51は、直視画像72を動作再生するとともに、展開画像71の表示範囲を直視画像72に連動させる(ステップS303)。また制御部51は、表示中の直視画像72に対応する位置を示すように、展開画像ハンドル74、全体画像ハンドル76の位置を移動させて表示する(ステップS304)。
【0058】
また、展開画像ハンドル74が操作された場合は(ステップS302;No→ステップS305;Yes)、制御部51は、常に展開画像ハンドル74の位置が表示領域に含まれるように表示範囲を移動させながら展開画像71を表示するとともに、展開画像ハンドル74の位置に対応する直視画像72を表示する(ステップS306)。また展開画像ハンドル74の位置に対応する位置を全体画像73上に示す(全体画像ハンドル76の表示位置を移動する;ステップS307)。
【0059】
全体画像ハンドル76が操作された場合は(ステップS305;No→ステップS308;Yes)、制御部51は、全体画像ハンドル76で示す位置が含まれるように展開画像71の表示範囲を変更させ、全体画像ハンドル76の位置に対応する直視画像72を表示する(ステップS309)。また全体画像ハンドル76の位置に対応する位置を展開画像71上に示す(展開画像ハンドル74の表示位置を移動する;ステップS310)。
【0060】
図6のフローチャートに移る。
メイン画面7のグリッド表示/非表示切替操作部88が操作されると(ステップS311;Yes)、制御部51は、
図7に示すように、展開画像71上のグリッド95の表示/非表示を切り替える(ステップS312)。グリッド95の表示色は、白または黒を選択可能とし、またグリッド幅も10[mm]、50[mm]、100[mm]等のように変更可能とする。展開画像71上にグリッド95を表示することで、損傷や構造物の位置、サイズが認識しやすくなる。
【0061】
展開画像71に対して縦スクロール操作が行われると(ステップS313;Yes)、制御部51は、操作に従って展開画像71を縦軸方向にスクロール表示する(ステップS314)。例えば、展開画像71の上端に0°(管頂)、縦方向中央に180°(管底)、下端に360°(=0°)のように表示している場合、上方向に縦スクロール操作が行われると、制御部51は、展開画像71を+β°(βは任意の数)ずらして表示する。下方向に縦スクロール操作が行われると、展開画像71を-β°ずらして表示する。また、制御部51は、縦スクロール表示に連動させて展開画像71の管頂位置にライン93を表示するとともに、直視画像72上の管頂を示す位置(角度θ)にマーク96を表示する(ステップS315)。
図7の例では、ライン93及びマーク96は同じ「☆」マークで表される。これにより、縦スクロールによって展開画像71上の管頂の位置が上下に移動されても管頂がどこかをすぐに把握できる。なお、マーク96やライン93は管頂位置とすることが好適であるが、管底位置や、或いは着目している指定領域等のように、所定の位置にマーク96やライン93を表示することもできる。或いは、制御部51は、展開画像71の縦方向中央が管10のどの角度(θ)に対応しているかを直視画像72上に表示させるようにしてもよい。この場合、展開画像71における管頂位置にライン93を表示し、直視画像72の角度θの位置にマーク96を表示させる。
【0062】
その他の操作が入力された場合は(ステップS308;No→ステップS316;Yes)、制御部51は操作に応じた処理を実行する(ステップS317)。例えば、縦表示切替スイッチ94が操作されると、展開画像71の表示が「360°表示」から「ラップ表示」に切り替えられる。
図8は、展開画像71をラップ表示した状態を示している。すなわち、展開画像71の縦軸が、管10の0°~360°+α°の範囲を表示している。ライン93は、管頂位置を示している。
【0063】
ここで、縦スクロール表示の実装例を説明する。
ステップS314の縦スクロール表示では、制御部51は、例えば管頂(0°)から切り開いた展開画像71を生成しておき、展開画像71を表示する際に、上半分(0°(管頂)~180°(管底))をコピーして結合した1.5周分の画像(0°~360°+180°)を作成し、この画像内で縦スクロール表示を行うようにする。
【0064】
制御部51は、展開画像71を生成する際に、管10の内壁における位置情報(x、θ)(xは管10の入り口からの距離、θは管10の周方向の角度)と展開画像71上の座標(X、Y)(Xは横軸、Yは縦軸)とを変換する座標変換処理を行う。ラップ表示(360°+α°表示)と非ラップ表示(360°表示)を切り替える際は、この座標変換処理におけるθとYの関係を変更する。ラップ表示において縦スクロール表示を行う際は、制御部51は、展開画像71の0°~360°の部分と重複部分(+α°の部分)とを共にスクロール分(β°分)だけ移動させるようにすればよい。なお、この例は一例であり、本発明はこの例に限定されない。
【0065】
図6の説明に戻る。メイン画面7において、その他の操作(ステップS316)として、直視画像72上で、例えばマウスの右クリック等の操作が入力されると、制御部51は直視画像72を拡大表示する。また、機能ボタン85が選択された後、マウスで展開画像71がドラッグ操作されると、制御部51は展開画像71の表示位置を変更する。また、表示サイズ(拡大/縮小率)変更欄86にて任意の拡大率または縮小率が入力されると、制御部51は、展開画像71を指定された拡大率または縮小率で表示する。リセットボタン87が操作されると、制御部51は、元の拡大率または縮小率(或いは、初期設定されている所定のサイズ)に戻して展開画像71を表示する。
【0066】
ステップS316~ステップS317の処理では、上述の機能ボタン81~85や全体プレビューボタン92、拡大率変更等の操作に応じた処理を行う。操作が入力されない場合は(ステップS316;No)、ステップS302に戻り、操作を待機する。
【0067】
次に、管構造物入力処理(
図3のステップS109)について説明する。
メイン画面7の機能ボタン81は管のジョイント部を指定するためのボタンである。機能ボタン81が選択された状態で展開画像上の任意の位置(管路方向位置)がクリック等の操作によって指定されると、調査支援装置5の制御部51は指定された位置にジョイント部を示すオブジェクト971、972、…を重ねて表示する。また、機能ボタン84は取付管を指定するためのボタンである。機能ボタン84が選択された状態で展開画像上の任意の位置(管路方向位置)がクリック等の操作によって指定されると、調査支援装置5の制御部51は指定された位置に取付管を示すオブジェクトを重ねて表示する。例えば、
図9に示すように、ジョイント部の位置に直線オブジェクト971、972、…を重ねて表示する。図示していないが、取付管の位置には例えば円形オブジェクトを重ねて表示する。また、制御部51はこれらの管構造物の位置情報(管10における距離位置)を展開画像71から取得し各管構造物にそれぞれ識別情報を付加する。識別情報は、管構造物の種類を示すアルファベットと、管10の始点からの順番を示す数値との組み合わせ等として付加することが望ましい。例えば、ジョイント部には、「J1」、「J2」、…等の識別情報を付加する。制御部51は、各管構造物の識別情報と位置情報を紐づけて管構造情報として記憶部52に記憶する。
【0068】
図9に示すように、展開画像71にはジョイント部にそれぞれオブジェクト971、972が表示され、各オブジェクト971、972の上部に識別情報971a「J1」、972a「J2」が表示される。また、管10の始点や終点には「管口」等の管構造情報98が表示される。
【0069】
次に、損傷入力処理(
図3のステップS110)について、
図10のフローチャートを参照して説明する。
メイン画面7において、機能ボタン82が操作され、ポイント入力に切り替えられた後(ステップS501;ポイント)に展開画像71の任意の位置(点)がクリックされると(ステップS502)、制御部51は、クリック位置に点マーク110を表示し(ステップS503)、クリック位置の管10における位置情報を取得する(ステップS504)。制御部51は、損傷情報入力欄111を表示する(ステップS505)。
【0070】
図11は、ポイント指定での損傷情報入力欄111が表示された画面例を示す図である。
図11に示すように、展開画像71上でユーザにより指定された位置に点マーク110が表示され、その近傍に損傷情報表示欄110aが表示される。損傷情報表示欄110aには、損傷の位置情報(管路方向位置)、ジョイント部の識別番号、取付向、部位、内容等を含む損傷情報が表示される。また、画面下部には損傷情報入力欄111が表示される。損傷情報入力欄111には、内容データタブ111aと写真タブ111bが設けられ、
図11は、内容データタブ111aが選択された状態を示している。内容データタブ111aには、距離入力欄113、部位入力欄114、ジョイント番号表示欄112、備考欄115、損傷番号116、損傷の種類入力欄117、及び程度入力欄118が設けられる。距離入力欄113には指定されたポイントの位置情報(管路方向位置)が、展開画像71に付加されている位置情報に基づいて反映されて表示される。部位入力欄114には、ドロップダウンリストの形式で損傷の部位が選択入力可能となっている。ジョイント番号表示欄112には、管構造情報が入力済みの場合に、該当するジョイント番号が反映されて表示される。備考欄115には、任意の文字や数値等が入力できる。損傷の種類入力欄117、程度入力欄118には、ドロップダウンリストの形式で損傷の種類、程度を入力できる。損傷番号116は、各損傷の識別情報を示している。なお、同一箇所に複数の損傷があることもあるため、損傷の種類入力欄117、程度入力欄118は複数設けられることが望ましい。
【0071】
写真タブ111bでは、指定された位置に対応する直視画像72や損傷の拡大写真などを貼付(入力)できる。作業者によりキャンセルボタン111cが操作されると、制御部51は損傷情報入力欄111を消去し、メイン画面7に戻る。作業者により損傷情報入力欄111に情報が入力され(ステップS506)、決定ボタン111dが操作されると、制御部51は損傷情報入力欄111に入力された情報や画像を損傷情報として記憶部52に記憶する(ステップS507)。
【0072】
一方、メイン画面7において、機能ボタン83が操作され、ボックス入力に切り替えられた後(ステップS501;ボックス)に展開画像71の任意の範囲がマウス操作等によって指定されると(ステップS508)、制御部51は、指定範囲にボックスマーク120を表示し(ステップS509)、指定範囲の管10における位置情報を取得する(ステップS510)。制御部51は、損傷情報入力欄111を表示する(ステップS505)。
【0073】
図12は、ボックス指定での損傷情報入力欄111が表示された画面例を示す図である。
図12に示すように、展開画像71上でユーザにより指定された範囲にボックスマーク120が表示され、その近傍に損傷情報表示欄120aが表示される。損傷情報表示欄120aには、損傷の範囲情報(管路方向位置の範囲)、ジョイント部の場所、取付向、部位、内容等を含む損傷情報が表示される。また、画面下部には損傷情報入力欄111が表示される。損傷情報入力欄111には、
図11と同様に、内容データタブ111aと写真タブ111bが設けられ、
図12は、内容データタブ111aが選択された状態を示している。内容データタブ111aには、距離入力欄113、部位入力欄114、ジョイント番号表示欄112、備考欄115、損傷番号116、損傷の種類入力欄117、及び程度入力欄118が設けられる。距離入力欄113にはボックス指定された範囲の位置情報が反映されて、「〇〇m~△△m」等のように表示される。その他は
図11の損傷情報入力欄111の各部と同様である。写真タブ111bについても同様である。
【0074】
作業者により損傷情報入力欄111に情報が入力され(ステップS506)、決定ボタン111dが操作されると、制御部51は損傷情報入力欄111に入力された情報や画像を損傷情報として記憶部52に記憶する(ステップS507)。
【0075】
次に、プレビュー表示処理(
図3のステップS111)について、
図13のフローチャートを参照して説明する。
メイン画面7において、プレビューボタン92が操作されると(ステップS601;Yes)、調査支援装置5の制御部51は、プレビュー画面15を表示部55に表示する(ステップS602)。
【0076】
制御部51は、記憶部52に記憶されている損傷情報、管構造情報を取得するとともに、損傷情報に紐づけられている画像(直視画像72や展開画像71等)を取得し(ステップS603)、管構造情報を反映した損傷情報をプレビュー画面15にリスト表示する(ステップS604)。
【0077】
図14はプレビュー画面15の表示例を示す図である。
図14に示すようにプレビュー画面15には、損傷一覧150、全体画像73、及び管情報89aが表示される。全体画像73には、損傷情報として記録されている損傷の位置に点マーク110またはボックスマーク120が表示される。損傷一覧150には、損傷番号順に損傷情報151、152、…と、各損傷情報151、152、…に紐づけられた画像72、71a、71b、…がリスト表示される。損傷情報151、152、…は、
図11や
図12の損傷情報入力欄111での入力情報に対応しており、位置情報、部位情報、ジョイント番号、備考、損傷の種類、及び程度(ランク)等が表示される。また、各損傷情報151、152…には、修正ボタン151a、152a、…が設けられ、内容を修正可能となっている。
【0078】
修正ボタン151a、152a、…が操作されると(ステップS605;Yes)、制御部51は損傷情報151、152、…の修正を受け付ける。作業者により修正が入力されると(ステップS606)、制御部51は修正を反映した損傷情報を記憶部52に更新記憶する(ステップS607)。制御部51は、修正の日時や修正内容、修正者情報等を修正履歴情報として記憶部52に記憶する(ステップS608)。修正ボタン151a、152a、…が操作されない場合は(ステップS605;No)、プレビュー処理を終了する。
【0079】
次に、制御部51は、報告書作成処理(
図3のステップS112)を実行する。報告書作成処理では、制御部51は、工事情報、管情報、損傷情報、画像等を記憶部52から読み出し、自治体ごとに定められている所定の書式に従って工事情報、管情報、損傷情報、画像等が記入された報告書を生成する。制御部51は、生成した報告書を表示部55に表示する。また、作業者による指示操作に従って、報告書の印刷出力、報告書データの記憶、送信等を実行する。
【0080】
以上説明したように、管状構造物調査支援システム1において、管状構造物調査支援装置5は、展開画像71の上下方向のスクロール表示を行うことができる。これにより、展開位置にまたがって存在する損傷の確認が容易となり、また、その損傷全体をボックス指定(範囲指定)して入力することも可能となる。
【0081】
以上、添付図面を参照して、本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。例えば、各画面のレイアウト、各画像の表示サイズ、機能ボタン、操作ボタン、表示欄、入力欄等の配置等は一例であり、その他のレイアウト、サイズ、配置を採用してもよい。その他、当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0082】
1・・・・・・管状構造物調査支援システム
2・・・・・・撮影システム
21・・・・・現場PC
22・・・・・撮影装置
22A・・・・広角カメラ
3・・・・・・ストレージ
4・・・・・・ネットワーク
5・・・・・・管状構造物調査支援装置(コンピュータ)
51・・・・・制御部
511・・・・画像取得部
512・・・・展開画像生成部
513・・・・表示処理部
514・・・・管構造物入力部
515・・・・損傷入力部
516・・・・プレビュー表示部
517・・・・縦スクロール操作部
7・・・・・・メイン画面
71・・・・・展開画像(一部範囲)
72・・・・・直視画像
73・・・・・全体画像
74・・・・・展開画像ハンドル(第1の位置指定手段)
75・・・・・再生ボタン
76・・・・・全体画像ハンドル(第2の位置指定手段)
79・・・・・位置情報を示す目盛り
81~85・・機能ボタン
86・・・・・表示サイズ変更欄
88・・・・・グリッド表示/非表示切替操作部
92・・・・・プレビューボタン
93・・・・・管頂を示すライン
94・・・・・縦表示切替スイッチ
95・・・・・グリッド
96・・・・・管頂を示すマーク
98・・・・・管構造情報
971、972・・・直線オブジェクト(ジョイント部)
110・・・・点マーク
120・・・・ボックスマーク
111・・・・損傷情報入力欄
15・・・・・プレビュー画面
10・・・・・管状構造物(管)