特開 2023-31546 展開画像生成装置、展開画像生成方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023031546

(43)【公開日】2023-03-09

(54)【発明の名称】展開画像生成装置、展開画像生成方法、及びプログラム

(51)【国際特許分類】

   G06T 3/00 20060101AFI20230302BHJP

   G01B 11/00 20060101ALI20230302BHJP

   H04N 7/18 20060101ALI20230302BHJP

【ＦＩ】

G06T3/00 730

G01B11/00 H

H04N7/18 B

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2021137093

(22)【出願日】2021-08-25

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 〔集会名〕 下水道展’２１大阪 〔開催日〕令和３年８月１７日～２０日

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】394026714

【氏名又は名称】株式会社ジャスト

(74)【代理人】

【識別番号】100096091

【弁理士】

【氏名又は名称】井上 誠一

(72)【発明者】

【氏名】角田 賢明

(72)【発明者】

【氏名】大貫 雄一

(72)【発明者】

【氏名】楠 佳代子

(72)【発明者】

【氏名】杉山 登

(72)【発明者】

【氏名】鎌形 勇樹

(72)【発明者】

【氏名】▲高▼橋 一広

(72)【発明者】

【氏名】岡田 一哉

【テーマコード（参考）】

2F065

5B057

5C054

【Ｆターム（参考）】

2F065AA02

2F065AA09

2F065AA11

2F065BB08

2F065FF01

2F065HH02

2F065HH12

2F065JJ03

2F065JJ08

2F065JJ15

2F065JJ26

2F065MM07

2F065PP02

5B057AA20

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CD20

5B057DA01

5B057DA07

5B057DB02

5B057DB09

5B057DC05

5C054CC05

5C054CF08

5C054FC12

5C054FC15

5C054FD03

5C054FE12

5C054HA05

(57)【要約】      （修正有）

【課題】管状構造物の調査において生成される展開画像の位置情報をケーブル、ワイヤ等のハードウェア設備がなくても推定可能な展開画像生成装置、展開画像生成方法及びプログラムを提供する。
【解決手段】展開画像生成システム１は、上下水道管等の管状構造物の内部を管路に沿って進行しながら撮影して直視画像を得る広角カメラ２１を有する撮影車２と、直視画像を取り込み展開画像生成処理を実行するＰＣ３（展開画像生成装置）と、を備える。ＰＣ３は、展開画像生成処理において、直視画像に含まれる特徴点を検出し、検出した特徴点の移動に基づいて広角カメラ２１の速度を推定し、推定した速度から広角カメラ２１の管路方向の位置情報を推定し、推定した位置情報を展開画像に付加する。
【選択図】図１

【特許請求の範囲】

【請求項1】

管状構造物の内部を管路方向に進行しながら広角カメラで動画撮影した画像である直視画像を取得する画像取得手段と、
前記画像取得手段により取得した直視画像に基づいて展開画像を生成する展開画像生成手段と、
前記直視画像に含まれる特徴点を検出し、検出した特徴点の移動に基づいて前記カメラの速度を推定し、推定された速度から前記カメラの管路方向の位置情報を推定する位置推定手段と、
前記位置推定手段により推定した位置情報を前記展開画像に付加する位置情報付加手段と、
を備えることを特徴とする展開画像生成装置。

【請求項2】

前記カメラの走行距離を計測するエンコーダと、
前記展開画像に付加する位置情報を、前記エンコーダにより計測された走行距離に基づく位置情報とするか、または前記位置推定手段により推定された位置情報とするかの選択を受け付ける選択手段と、を更に備え、
前記位置情報付加手段は、前記選択手段により選択された位置情報を前記展開画像に付加する
ことを特徴とする請求項１に記載の展開画像生成装置。

【請求項3】

表示されている前記直視画像上に重ねて、形状及び中心点を編集可能な展開円オブジェクトを表示し、前記展開円オブジェクトに対する操作に基づいて置換対象とする画素を設定する設定手段を更に備えることを特徴とする請求項１または請求項２に記載の展開画像生成装置。

【請求項4】

前記特徴点が周期的に表れる場合、周期性に基づいて決定される距離に基づき前記位置推定手段により推定された位置情報を補正する補正手段を更に備えることを特徴とする請求項１から請求項３のいずれかに記載の展開画像生成装置。

【請求項5】

コンピュータが、
管状構造物の内部を管路方向に進行しながら広角カメラで動画撮影した画像である直視画像を取得するステップと、
取得した直視画像に基づいて展開画像を生成するステップと、
前記直視画像に含まれる特徴点を検出し、検出した特徴点の移動に基づいて前記カメラの速度を推定し、推定された速度から前記カメラの管路方向の位置情報を推定するステップと、
推定した位置情報を前記展開画像に付加するステップと、
を含むことを特徴とする展開画像生成方法。

【請求項6】

コンピュータを、
管状構造物の内部を管路方向に進行しながら広角カメラで動画撮影した画像である直視画像を取得する画像取得手段、
前記画像取得手段により取得した直視画像に基づいて展開画像を生成する展開画像生成手段、
前記直視画像に含まれる特徴点を検出し、検出した特徴点の移動に基づいて前記カメラの速度を推定し、推定された速度から前記カメラの管路方向の位置情報を推定する位置推定手段、
前記位置推定手段により推定した位置情報を前記展開画像に付加する位置情報付加手段、
として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、展開画像生成装置、展開画像生成方法、及びプログラムに関し、詳細には、下水管等の管状構造物の調査を支援するための画像生成に関する。

【背景技術】

【0002】

上下水道管、ケーブル管、トンネル等の管状の構造物について、損傷の有無や状態の調査が行われている。この調査では、管路内壁面を撮影し、その画像を管路方向が長手方向となるように平面状に切り開いた展開画像をコンピュータで作成し、作成した展開画像を作業者が目視確認することにより、損傷を判定したり、調査報告書の作成を行っている。

【0003】

特許文献１には、管状物の内部を当該管状物に沿って移動しながら撮影された管状物内の全天画像データを基に展開画像を作成する管内壁面画像展開システムについて記載されている。特許文献１の管内壁面画像展開システムでは、管路内を走行する画像撮影手段に接続されたケーブル、ワイヤ等を弛まないよう保持し、そのケーブル、ワイヤ等の送り出し量から画像撮影手段の位置を検知して位置情報Ｓｐを取得し、画像撮影手段から画像データＳｖが入力されたときの位置情報Ｓｐをデジタル信号として画像データＳｖに挿入することで、歪みのない展開画像を生成するというものである。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】２００８－０９０７８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、管路内を走行する画像撮影手段の位置を計測するためには、上述したように、ケーブル、ワイヤ等のハードウェアが必要となるだけでなく、特に、撮影開始時にはケーブル、ワイヤの弛みによる影響が出やすかった。これに対し、例えば、画像撮影手段が等速で移動しているものと仮定して、撮影開始時の位置情報を推定する方法もあるが、管内の路面にはゴミや水溜まりの障害物が存在するため、等速で走行させたとしても必ずしも等速にはならず、画像の歪みの原因となる問題があった。

【0006】

本発明は上記の問題に鑑みてなされたものであり、管状構造物の調査において生成される展開画像の位置情報をケーブル、ワイヤ等のハードウェア設備がなくても推定可能な展開画像生成装置等を提供することを目的とする。

【課題を解決するための手段】

【0007】

前述した課題を解決するための第１の発明は、管状構造物の内部を管路方向に進行しながら広角カメラで動画撮影した画像である直視画像を取得する画像取得手段と、前記画像取得手段により取得した直視画像に基づいて展開画像を生成する展開画像生成手段と、前記直視画像に含まれる特徴点を検出し、検出した特徴点の移動に基づいて前記カメラの速度を推定し、推定された速度から前記カメラの管路方向の位置情報を推定する位置推定手段と、前記位置推定手段により推定した位置情報を前記展開画像に付加する位置情報付加手段と、を備えることを特徴とする展開画像生成装置である。

【0008】

第１の発明の展開画像生成装置によれば、直視画像に含まれる特徴点の移動に基づいてカメラの管路方向の位置情報を推定して展開画像に付加できるため、エンコーダ（ケーブル、ワイヤ）等のハードウェア設備が不要となる。

【0009】

第１の発明において、前記カメラの走行距離を計測するエンコーダと、前記展開画像に付加する位置情報を、前記エンコーダにより計測された走行距離に基づく位置情報とするか、または前記位置推定手段により推定された位置情報とするかの選択を受け付ける選択手段と、を更に備え、前記位置情報付加手段は、前記選択手段により選択された位置情報を前記展開画像に付加するものとしてもよい。
これにより、エンコーダとの併用も可能となり、より正確な位置情報を付加することができる。

【0010】

また、表示されている前記直視画像上に重ねて、形状及び中心点を編集可能な展開円オブジェクトを表示し、前記展開円オブジェクトに対する操作に基づいて置換対象とする画素を設定する設定手段を更に備えることが望ましい。このようなユーザインターフェースを提供することにより、表示画面で直視画像を見ながら、置換対象である管内壁面の位置を簡単に位置合わせすることが可能となる。

【0011】

また、前記特徴点が周期的に表れる場合、周期性に基づいて決定される距離に基づき前記位置推定手段により推定された位置情報を補正する補正手段を更に備えることが望ましい。これにより、例えば、管の継手部（ジョイント）等のように周期的に表れる特徴点については、管の長さの情報に基づいて位置情報を補正することで、より正確な位置情報を付加できる。

【0012】

第２の発明は、コンピュータが、管状構造物の内部を管路方向に進行しながら広角カメラで動画撮影した画像である直視画像を取得するステップと、取得した直視画像に基づいて展開画像を生成するステップと、前記直視画像に含まれる特徴点を検出し、検出した特徴点の移動に基づいて前記カメラの速度を推定し、推定された速度から前記カメラの管路方向の位置情報を推定するステップと、推定した位置情報を前記展開画像に付加するステップと、を含むことを特徴とする展開画像生成方法である。

【0013】

第２の発明により、直視画像に含まれる特徴点の移動に基づいてカメラの管路方向の位置情報を推定して展開画像に付加できるため、エンコーダ（ケーブル、ワイヤ）等のハードウェア設備が不要となる。

【0014】

第３の発明は、管状構造物の内部を管路方向に進行しながら広角カメラで動画撮影した画像である直視画像を取得する画像取得手段、前記画像取得手段により取得した直視画像に基づいて展開画像を生成する展開画像生成手段、前記直視画像に含まれる特徴点を検出し、検出した特徴点の移動に基づいて前記カメラの速度を推定し、推定された速度から前記カメラの管路方向の位置情報を推定する位置推定手段、前記位置推定手段により推定した位置情報を前記展開画像に付加する位置情報付加手段、として機能させることを特徴とするプログラムである。

【0015】

第３の発明により、コンピュータを第１の発明における展開画像生成装置として機能させることができる。

【発明の効果】

【0016】

本発明により、管状構造物の調査において生成される展開画像の位置情報をケーブル、ワイヤ等のハードウェア設備がなくても推定可能な展開画像生成装置等を提供できる。

【図面の簡単な説明】

【0017】

【図1】展開画像生成システム１の全体構成の一例を示す図

【図2】撮影車２及びＰＣ３（展開画像生成装置）の機能構成を示すブロック図

【図3】アプリケーションが実行する処理の流れを示すフローチャート

【図4】工事情報入力画面６１の一例を示す図

【図5】展開円設定画面６２の一例を示す図

【図6】展開円設定画面６２において展開円をジョイントに合わせた状態を示す図

【図7】展開画面６３の一例を示す図

【図8】展開画像生成処理Ａの流れを示すフローチャート

【図9】確認画面６４の一例を示す図

【図10】補正処理の流れを示すフローチャート

【図11】展開画像生成システム１Ａの全体構成の一例を示す図

【図12】撮影車２及びＰＣ３（展開画像生成装置）の機能構成を示すブロック図

【図13】アプリケーションが実行する処理の流れを示すフローチャート

【図14】展開画面６３Ａの一例を示す図

【図15】展開画像生成処理Ｂの流れを示すフローチャート

【発明を実施するための形態】

【0018】

以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。

【0019】

［第1の実施形態］
図１は、本発明に係る展開画像生成システム１の全体構成を示す図である。以下の説明では、一例として図１に示すように、撮影車２と展開画像生成装置として機能するＰＣ（Personal
Computer）３とが有線または無線の通信インターフェースを介して接続された展開画像生成システム１について説明する。なお、図１のシステム構成例は一例であり、本発明はこれに限定されない。例えば、ＰＣ３及び撮影車２がネットワークを介してサーバ（不図示）と接続し、サーバを介して撮影データを共有する構成としてもよい。

【0020】

撮影車２は、調査対象となる管状構造物１０（上下水道管、吸排気管、ケーブル管、トンネル等。以下、管１０という）の内部を管路に沿って進行しながら広角カメラ２１で撮影を行うものである。図２に示すように、撮影車２は、広角カメラ２１及び走行車駆動部２２を有する。

【0021】

広角カメラ２１は、広角レンズ、及びＣＣＤ（Charge Coupled Devices）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備え、管１０の長手方向を奥行方向として撮影することで広角カメラ２１の周囲の内壁面を撮影可能なカメラである。レンズの光軸に対して略直角（対角１８０°）以上の撮影角度を有する超広角レンズを用いれば、広角カメラ２１周囲の内壁面を含むように管１０内を撮影することが可能である。広角カメラ２１に光ファイバを用いれば、管径の小さい管１０の内壁面を撮影可能である。なお、撮影車２には、管１０内部を照らすための照明（不図示）が設けられることが望ましい。

【0022】

走行車駆動部２２は、撮影車２を走行させるための車輪やモータ、電源等である。また、水路や管１０内部の水溜りに対応するための浮上体を備えるようにしてもよい。

【0023】

ＰＣ３は、撮影車２の広角カメラ２１を用いて撮影した画像（以下、直視画像）を取得し、取得した直視画像に基づいて展開画像を生成するコンピュータ端末である。

【0024】

展開画像とは、管１０の内部を撮影した画像を管路方向に切り開き平面状に展開した画像である。展開画像の生成方法については後述する。

【0025】

ＰＣ３は、図２に示すように、制御部３１、記憶部３２、通信部３３、入力部３４、表示部３５、及び周辺機器Ｉ／Ｆ（インターフェース）部３６等をバスを介して接続したコンピュータである。なお、展開画像生成装置は、ＰＣ３の他、タブレット、スマートフォン等を用いることができ、ＰＣ３の構成は適宜変更可能である。ＰＣ３には、展開画像生成プログラムがインストールされ、制御部３１が展開画像生成プログラムに従って処理を実行することにより、後述する各機能を実現する。

【0026】

制御部３１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成され、ＣＰＵは、記憶部３２、ＲＯＭ等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バスを介して接続された各部（記憶部３２、通信部３３、入力部３４、表示部３５、周辺機器Ｉ／Ｆ部３６）を駆動制御する。ＲＯＭは、ブートプログラムやＢＩＯＳ等のプログラム、データ等を恒久的に保持する。ＲＡＭは、ロードしたプログラムやデータを一時的に保持するとともに、制御部３１が各種処理を行うために使用するワークエリアを備える。

【0027】

記憶部３２は、フラッシュメモリ、ハードディスク等の記憶装置であり、取得した画像データや入力した損傷情報、判定した管構造情報等を記憶する。また、記憶部３２は、後述する各機能に係る処理プログラム（総称して「展開画像生成プログラム」または「アプリ」と呼ぶ）を記憶する。

【0028】

通信部３３は、WiFiアンテナ、Bluetooth等の無線通信部、またはＬＡＮ等の有線通信部の通信ポート、及び通信制御装置を有し、外部機器との通信を媒介するインターフェースである。

【0029】

入力部３４は、例えば、タッチパネル、キーボード、マウス等のポインティング・デバイス、テンキー等の入力装置等を含み、入力されたデータを制御部３１へ入力する。

【0030】

表示部３５は、例えば液晶パネル等のディスプレイと、ディスプレイと連携して表示処理を実行するための論理回路（ビデオアダプタ等）で構成され、制御部３１の制御により入力された表示データをディスプレイに表示させる。なお、表示部３５は、表示画面にタッチパネル等の入力装置（入力部３４）を一体的に設けたタッチパネルディスプレイとしてもよい。

【0031】

周辺機器Ｉ／Ｆ部３６は、周辺機器を接続させるためのポートであり、制御部３１は周辺機器Ｉ／Ｆ部３６を介して周辺機器とのデータの送受信を行う。周辺機器Ｉ／Ｆ部３６は、ＵＳＢ（Universal Serial Bus）等によって構成されている。周辺機器との接続形態は有線、無線を問わない。

【0032】

次に、ＰＣ３（展開画像生成装置）の機能構成について、図２を参照して説明する。
ＰＣ３は、機能部として、画像取得部３１１、展開画像生成部３１２、位置推定部３１３、及び位置情報付加部３１４等を有する。これらの機能部は、制御部３１のＣＰＵが、記憶部３２に記憶された処理プログラム（展開画像生成プログラム）を読み込み、ＲＡＭ上のワークメモリ領域に呼び出して実行することにより実現される。

【0033】

画像取得部３１１は、撮影車２の広角カメラ２１により撮影された直視画像を通信部３３または周辺機器Ｉ／Ｆ部３６を介して取得する。或いは、記憶媒体に記憶された直視画像を読み込んで取得したり、別のコンピュータに保存されている直視画像やストレージサーバ（不図示）上に保存された直視画像を通信部３３がＬＡＮやインターネット等のネットワークを介して取得し、制御部３１に取り込むものとしてもよい。

【0034】

展開画像生成部３１２は、画像取得部３１１により取得した直視画像に基づいて展開画像を生成する。展開画像の具体的な生成手順については後述する。

【0035】

位置推定部３１３は、直視画像に含まれる特徴点を検出し、検出した特徴点の移動に基づいて広角カメラ２１（撮影車２）の速度を推定し、推定した速度から広角カメラ２１（撮影車２）の管路方向の位置を推定する。画像フレーム間の対応する点の移動を追跡する技術は、オプティカルフローとして知られている。オプティカルフローは、一方の画像フレームのある座標（ｘ，ｙ）の点が他方の画像のどの点に移動したかを表すベクトル（移動ベクトル）であり、１つの画像座標（ｘ，ｙ）に対してＸ方向の成分とＹ方向の成分が算出される。単眼カメラ映像から走行車両の速度を推定する手法については、例えば文献（森本雅和、金子弘樹、宮本直樹著、「単眼車載カメラ映像からの走行車両速度推定」、映像メディア学会誌Vol.68,No1,pp.j47j54(2014)）に記載されている。

【0036】

位置情報付加部３１４は、位置推定部３１３により推定した位置情報を展開画像生成部３１２により生成された展開画像に付加する。

【0037】

次に、展開画像生成システム１を用いた展開画像生成方法について説明する。図３のフローチャートの各ステップの処理は、ＰＣ３の制御部３１が実行する処理である。

【0038】

作業者は撮影車２及びＰＣ３を調査現場へ運び、管１０の内部の動画撮影の準備を行う。作業者は、ＰＣ３の展開画像生成に係るアプリを起動して処理を開始する。本実施形態では、一例として、直視画像を撮影しながらリアルタイムに展開画像を生成する。

【0039】

アプリが起動されると（ステップＳ１０１）、制御部３１は、図４に示すような工事情報入力画面６１を表示部３５に表示し、工事情報の入力を受け付ける（ステップＳ１０２）。工事情報入力画面６１では、例えば、工事名、路線、上流人孔、下流人孔、管種、管径等の情報を入力するための入力欄６１ａと、次画面へ移行する場合に操作される「展開円設定へ」ボタン６１ｂ等が設けられる。入力部３４を介して入力欄６１ａに情報が入力され、「展開円設定へ」ボタン６１ｂが操作されると、制御部３１は、図５に示す展開円設定画面６２を表示し、どのカメラから映像を入力するか、及び展開円の設定を受け付ける（ステップＳ１０３）。

【0040】

展開円設定画面６２には、カメラ映像表示領域６２ａ、カメラ情報入力欄６２ｂ、次の工程へ移行するための「展開へ」ボタン６２ｃが設けられる。カメラ映像表示領域６２ａは、カメラから入力された映像を表示する領域である。カメラ情報入力欄６２ｂは、どのカメラから映像を取り込むかを指定する入力欄である。カメラ情報入力欄６２ｂには、ＰＣ３の通信部３３または周辺機器Ｉ／Ｆ部３６を介して通信接続され、通信可能な状態のカメラがリスト表示され、選択可能となっている。どのカメラから映像を取り込むかが入力されると、ＰＣ３は、指定されたカメラの映像を取り込み、カメラ映像表示領域６２ａに表示する。カメラ映像表示領域６２ａには、カメラ映像（直視画像）の位置合わせを行うための展開円オブジェクト４がカメラ映像（直視画像）に重ねて表示される。

【0041】

展開円オブジェクト４は、直視画像上で管１０の内壁面の位置を指定するためのものであり、例えば、管１０の管頂、管底、左端及び右端の４か所を指定するための４つのポインタ４１ａ、４１ｂ、４１ｃ、４１ｄと中心位置を指定する中心マーク４３を備える楕円形または円形のオブジェクトである。各ポインタ４１及び中心マーク４３はマウス等の操作によって移動可能である。制御部３１は、ポインタ４１ａ～４１ｂ間の長さを縦径、ポインタ４１ｃ－４１ｄ間の長さを横径とする楕円または円（展開円）を描画する。すなわち、各ポインタ４１ａ～４１ｄを移動することで展開円オブジェクト４の形状を変更できる。展開円オブジェクト４の中心マーク４３がマウス等の操作によって移動されると、展開円オブジェクト４の位置が移動される。後の工程の展開処理において、制御部３１は、直視画像の画素のうち、展開円オブジェクト４と重なった画素を内壁面の画素として展開画像平面に置換する。

【0042】

作業者は、カメラ映像表示領域６２ａに表示された映像（直視画像）を見ながら展開円オブジェクト４の位置合わせを行う。位置合わせでは、例えば図６に示すように、カメラ映像表示領域６２ａに表示されている直視画像に映っている管１０のジョイント部と展開円オブジェクト４とが重なるように各ポインタ４１ａ、４１ｂ、４１ｃ、４１ｄや中心マーク４３の位置を合わせる。

【0043】

その後、「展開へ」ボタン６２ｃが操作されると、ＰＣ３は図７に示す展開画面６３を表示し、展開画像生成処理を開始する（ステップＳ１０４）。展開画面６３には、カメラ映像表示領域６３ａ、展開画像表示領域６３ｂ、状態表示領域６３ｃ、「展開開始/停止」ボタン６３ｄ、「終了」ボタン６３ｅ、確認ボタン６３ｆ等が設けられる。カメラ映像表示領域６３ａには、広角カメラ２１から入力された映像（直視画像）が表示される。展開画像表示領域６３ｂは、生成された展開画像が表示される。「展開開始/停止」ボタン６３ｄは初期状態において「展開開始」と表示され、その状態でボタン操作されると、展開処理を開始する。展開処理実行中は、「展開開始/停止」ボタン６３ｄの表示は「展開停止」となり、その状態でボタン操作されると展開処理を一時停止する。状態表示領域６３ｃには、「再生中」、「一時停止中」等のようにカメラ映像の状態が表示される。「終了」ボタン６３ｅは、展開処理を終了する際に操作されるボタンである。確認ボタン６３ｆは、次工程である確認画面６４に移行する際に操作されるボタンである。

【0044】

ステップＳ１０４の展開画像生成処理について、図８を参照して説明する。図８は第１の実施形態における処理の流れである展開画像生成処理Ａのフローチャートを示している。

【0045】

展開画面６３において「展開開始/停止」ボタン６３ｄが操作され、撮影車２において撮影開始操作が行われると（ステップＳ２０１；Ｙｅｓ）、制御部３１は広角カメラ２１が撮影した映像である直視画像を取得する（ステップＳ２０２）。制御部３１は、取得した直視画像から特徴点を抽出する（ステップＳ２０３）。特徴点は、例えば、ゴミ、模様、ジョイント等のように、画像のエッジ（輪郭線や輝度境界等）等から抽出される領域の１点（例えば、左上の点）とする。制御部３１は、特徴点を抽出すると、特徴点の移動を追跡し、広角カメラ２１（撮影車２）の移動速度を推定する（ステップＳ２０４）。ステップＳ２０４の処理は、上述したオプティカルフローを用いた走行車両の速度推定手法等の公知の手法を用いる。そして撮影車２の速度から、広角カメラ２１の管路方向位置を算出する（ステップＳ２０５）。

【0046】

制御部３１は、時刻ｔ＝ｔ_ｎにおける直視画像フレームｆ_ｎの展開円オブジェクト４と重なる各画素の画素値を、展開画像平面に置換する（ステップＳ２０６）。具体的には、展開円オブジェクト４の円周と重なる各画素を一列に並べ替えて、展開画像平面のｎ列目に挿入する。制御部３１は、ステップＳ２０５で算出した時刻ｔ＝ｔ_ｎにおける管路方向位置の情報（位置情報）を、直視画像フレームｆ_ｎの付加情報として付加するとともに、当該展開画像のｎ列目の位置情報として付加する（ステップＳ２０７）。制御部３１は、既に生成されている展開画像に、生成したｎ列目の画像を追加して表示更新する（ステップＳ２０８）。次の時刻ｔ＝ｔ_ｎ＋１における直視画像フレームｆ_ｎ＋１についても同様に、展開円オブジェクト４の円周上の画素を一列に並べ替えて、展開画像平面のｎ＋１列目に挿入する。また、ステップＳ２０５で算出した時刻ｔ＝ｔ_ｎ＋１における管路方向位置の情報（位置情報）を直視画像フレームｆ_ｎ＋１の付加情報として付加するとともに、当該展開画像のｎ＋１列目の位置情報として付加し、展開画像の表示を更新する。時間の経過とともに図７の展開画像表示領域６３ｂの右端に新たに生成された展開画像が順次追加され、それとともに左端列の展開画像が順次右隣の列の画像に入れ替わっていく。

【0047】

制御部３１は、ステップＳ２０２～ステップＳ２０８の処理を繰り返し行う。「展開開始/停止」ボタン６３ｄまたは「終了」ボタン６３ｅが操作されると（ステップＳ２０９；Ｙｅｓ）、制御部３１は処理を停止または終了する。なお、広角カメラ２１から入力された一連の映像は直視画像としてＰＣ３のＲＡＭまたは記憶部３２に一時保存され、生成された展開画像もＰＣ３のＲＡＭまたは記憶部３２に一時保存される。

【0048】

展開画像生成処理Ａが終了すると、制御部３１は図３のフローチャートのステップＳ１０５へ進む。展開画面６３の確認ボタン６３ｆが操作されると（ステップＳ１０５；Ｙｅｓ）、制御部３１は、図９に示す確認画面６４を表示する。

【0049】

確認画面６４では、制御部３１は広角カメラ２１で撮影された画像である直視画像を表示領域６４ａに表示し、生成した展開画像（一部または全部）を表示領域６４ｂに表示させる（ステップＳ１０６）。展開画像は左右（管路方向）にスクロール可能に表示され、マウス等でスクロールバー６４ｄを操作することで表示範囲を変更できる。また、表示領域６４ａには表示領域６４ｂに表示されている展開画像に対応する位置の直視画像が表示され、両画像を比較しながら確認できる。また、表示領域６４ａの下の再生／停止ボタン６４ｃが操作されると、制御部３１は、直視画像を動画再生するとともに、表示されている直視画像に対応する位置の展開画像を含むように表示領域６４ｂに展開画像を表示する。

【0050】

データ保存ボタン６４ｅが操作されると（ステップＳ１０７；Ｙｅｓ）、直視画像及び展開画像がＰＣ３の記憶部３２に記憶される（ステップＳ１０８）。なお、展開画像生成をやり直す場合は（ステップＳ１０７；Ｎｏ）、ステップＳ１０３へ戻る。

【0051】

以上の処理により、直視画像と展開画像には、特徴点の移動に基づいて推定された位置情報が付加される。これにより、エンコーダ等のハードウェア設備を使用しなくても広角カメラ２１の管路方向位置を推定して付加できるため、下水管等の調査の作業効率が向上する。

【0052】

なお、上述の位置推定に加え、管１０のジョイント位置等のように周期的に表れる特徴に基づいて推定した位置を補正することで、より正確な位置情報を付加することも可能である。図１０は補正処理について説明するフローチャートである。なお、図１０の補正処理は展開画像の生成後であれば、いつ実行してもよい。

【0053】

ＰＣ３の制御部３１は、図８の展開画像生成処理で生成した展開画像データを取得し（ステップＳ３０１）、展開画像を表示部３５に表示する（ステップＳ３０２）。制御部３１は、展開画像上に管１０のジョイント位置の入力操作を受け付ける（ステップＳ３０３）。

【0054】

管１０は、既製品や規格品を使用している場合には、予め決まった長さで製造されている。制御部３１は、管１０の規格または管１０の長さの情報を記憶部３２から取得し、未入力の場合は入力を受け付け、管１０の長さの情報に基づいて、展開画像生成処理Ａで付加された位置情報を補正する（ステップＳ３０４）。例えば、管種が塩ビ管で管径が200［mm］のときはジョイントは、1.5［m］間隔となる。制御部３１は、管１０の長さの情報に基づいて、展開画像に入力されたジョイント位置を補正したり、ジョイント位置を展開画像に挿入したりする。また、ジョイント位置に基づいて展開画像生成処理で付加された位置情報を補正する。

【0055】

その後、制御部３１はステップＳ３０４での補正を反映するか否かの選択を受け付ける。補正を反映する場合（ステップＳ３０５；Ｙｅｓ）、位置情報を更新して記憶する。補正を反映しない場合は（ステップＳ３０５；Ｎｏ）、元の位置情報のままとする。
このように、周期性のある特徴点（ジョイント等）の場合は、特徴点の移動から推定した位置情報を、その周期性に基づく情報、例えば、管１０の長さ等の既知の情報等に基づいて補正して、より正確に展開画像等に位置情報を付加することが可能となる。周期性のある特徴はジョイントに限定されず、例えば、模様等も含まれる。

【0056】

［第２の実施形態］
次に、本発明の第２の実施形態を説明する。第１の実施形態では、エンコーダ２３（ケーブル、ワイヤ）を全く使用せずに特徴点の移動に基づく位置推定のみで展開画像の位置情報を付加するものとしたが、エンコーダ２３を併用してもよい。例えば、エンコーダ２３を正確に使用できる範囲では使用し、ケーブルの弛み等が生じて正確な距離計測ができないところでは、補助的に第１の実施形態（特徴点の移動に基づく位置推定）を使用する。

【0057】

図１１は、第２の実施形態の展開画像生成システム１Ａの全体構成を示す図であり、図１２は、展開画像生成システム１Ａの機能構成を示す図である。図に示すように、展開画像生成システム１Ａは、第１の実施形態の展開画像生成システム１の撮影車２及びＰＣ３に加え、エンコーダ２３を備える。エンコーダ２３は、管１０の入口から広角カメラ２１までの距離を計測するためのケーブル２４を有する。ケーブル２４は撮影車２に接続され、エンコーダ２３が計測した距離情報（ケーブル２４の送り出し長）はエンコーダ２３の通信インターフェースを介してＰＣ３に出力される。

【0058】

ＰＣ３は、第１の実施形態と同様の構成に加え、エンコーダ２３で計測した距離を取得するインターフェースを有する。また、ＰＣ３の制御部３１は、第１の実施形態と同様に、画像取得部３１１、展開画像生成部３１２、位置推定部３１３、位置情報付加部３１４等の機能部を備えるが、第２の実施形態において、展開画像生成部３１２は、推定モードまたはケーブルモードの選択を可能とする。

【0059】

推定モードは、第１の実施形態と同様に、展開画像生成処理において、管路方向位置を特徴点の移動に基づいて求め、展開画像及び直視画像に付加するモードである。ケーブルモードは、エンコーダ２３で計測した距離情報を管路方向位置の情報として展開画像及び直視画像に付加するモードである。

【0060】

以下、第２の実施形態における展開画像生成方法について説明する。なお、図１１、図１２のシステム構成例は一例であり、本発明はこれに限定されない。以下の説明では、第１の実施形態と同様の各部については、同一の符号を付し、重複する説明を省略する。

【0061】

次に、展開画像生成システム１Ａを用いた展開画像生成方法について説明する。図１３のフローチャートの各ステップの処理は、ＰＣ３の制御部３１が実行する処理である。

【0062】

ステップＳ４０１～ステップＳ４０３は、第１の実施形態の展開画像生成方法のステップＳ１０１～ステップＳ１０３と同様である。すなわち、ＰＣ３において展開画像生成に係るアプリを起動して処理が開始されると（ステップＳ４０１）、制御部３１は、図４に示すような工事情報入力画面６１を表示部３５に表示して工事情報の入力を受け付ける（ステップＳ４０２）。入力欄６１ａに各情報が入力され、「展開円設定へ」ボタン６１ｂが操作されると、制御部３１は、図５に示す展開円設定画面６２を表示して、カメラの設定及び展開円の設定を受け付ける（ステップＳ４０３）。

【0063】

カメラの設定及び展開円の設定が完了し、「展開へ」ボタン６２ｃが操作されると、ＰＣ３の制御部３１は、図１４に示す展開画面６３Ａを表示する。図１４の展開画面６３Ａには、カメラ映像表示領域６３ａ、展開画像表示領域６３ｂ、状態表示領域６３ｃ、「展開開始/停止」ボタン６３ｄ、「終了」ボタン６３ｅ、確認ボタン６３ｆの他、推定モード／ケーブルモードを切り替える際に操作されるモード選択部６３ｇが設けられる。

【0064】

ユーザによりモード選択部６３ｇが操作され、推定モードが選択された場合は（ステップＳ４０４；推定モード）、制御部３１は、第１の実施形態で説明した展開画像生成処理Ａ（図８）を実行する（ステップＳ４０５）。ケーブルモードが選択された場合は（ステップＳ４０４；ケーブルモード）、制御部３１は、図１５のフローチャートに示す展開画像生成処理Ｂを実行する（ステップＳ４０６）。展開画像生成処理Ａは、第１の実施形態（図８）で説明したように、直視画像の画像フレーム間の特徴点の移動に基づいて撮影車２の速度を推定し、推定した速度から撮影車２の位置を算出して展開画像や直視画像に付加する処理である。一方、展開画像生成処理Ｂはエンコーダ２３から取得した距離情報を位置情報として展開画像や直視画像に付加する処理である。

【0065】

エンコーダ２３を用いる場合、エンコーダ２３のケーブル２４が弛んでいると正確な距離を求めることができない。そのため、ケーブル２４が弛みやすい管１０の入り口から数メートルの間は推定モードを選択して（ステップＳ４０４；推定モード）、展開画像を生成する（展開画像生成処理Ａ；ステップＳ４０５）。そして、ケーブル２４が弛みなく張った後は、ケーブルモードに切り替えて（ステップＳ４０７；Ｙｅｓ）、エンコーダ２３からの距離情報を用いて展開画像を生成する（展開画像生成処理Ｂ；ステップＳ４０６）、という使用形態をとることができる。

【0066】

ステップＳ４０６の展開画像生成処理Ｂについて図１５を参照して説明する。展開画面６３Ａにおいて「展開開始/停止」ボタン６３ｄが操作され、撮影車２において撮影開始操作が行われると（ステップＳ５０１；Ｙｅｓ）、制御部３１は広角カメラ２１が撮影した映像である直視画像を取得する（ステップＳ５０２）。同時に、制御部３１は、エンコーダ２３から距離情報を取得する（ステップＳ５０３）。

【0067】

制御部３１は、時刻ｔ＝ｔ_ｎにおける直視画像フレームｆ_ｎの展開円オブジェクト４と重なる各画素の画素値を、展開画像に置換する（ステップＳ５０４）。制御部３１は、ステップＳ５０３で取得した時刻ｔ＝ｔ_ｎにおける距離情報を位置情報として、直視画像フレームｆ_ｎの付加情報として付加するとともに、当該展開画像のｎ列目の位置情報として付加する（ステップＳ５０５）。制御部３１は、表示されている展開画像に生成したｎ列目の画像を追加して表示更新する（ステップＳ５０６）。次の時刻ｔ＝ｔ_ｎ＋１における直視画像フレームｆ_ｎ＋１についても同様に、展開円オブジェクト４の円周上の画素を一列に並べ替えて、展開画像平面のｎ＋１列目に挿入する。また、ステップＳ５０３で取得した時刻ｔ＝ｔ_ｎ＋１における距離情報を直視画像フレームｆ_ｎ＋１の付加情報として付加するとともに、当該展開画像のｎ＋１列目の位置情報として付加し、展開画像の表示を更新する。時間の経過とともに図１４の展開画像表示領域６３ｂの右端に新たに生成された展開画像が順次追加され、それとともに左端列の展開画像が順次右隣の列の画像に入れ替わっていく。

【0068】

このようにステップＳ５０２～ステップＳ５０６の処理を繰り返し行う。「展開開始/停止」ボタン６３ｄまたは「終了」ボタン６３ｅが操作されると（ステップＳ５０７；Ｙｅｓ）、制御部３１は処理を停止または終了する。なお、広角カメラ２１から入力された一連の映像は直視画像としてＰＣ３のＲＡＭまたは記憶部３２に一時保存されるとともに、生成された展開画像もＰＣ３のＲＡＭまたは記憶部３２に一時保存される。

【0069】

展開画像生成処理Ｂが終了すると、制御部３１は図１３のフローチャートのステップＳ４０８へ進む。展開画面６３Ａの確認ボタン６３ｆが操作されると（ステップＳ４０８；Ｙｅｓ）、制御部３１は、図９に示す確認画面６４を表示する。確認画面６４における操作、表示例は、第１の実施形態（図３のステップＳ１０５～ステップＳ１０８）と同様である。すなわち、確認画面６４では、制御部３１は広角カメラ２１で撮影された画像である直視画像を表示領域６４ａに表示し、生成した展開画像（一部または全部）を表示領域６４ｂに表示させる（ステップＳ４０９）。データ保存ボタン６４ｅが操作されると（ステップＳ４１０；Ｙｅｓ）、直視画像及び展開画像がＰＣ３の記憶部３２に記憶される（ステップＳ４１１）。なお、展開画像生成をやり直す場合は（ステップＳ４１０；Ｎｏ）、ステップＳ４０３へ戻る。

【0070】

以上説明したように、エンコーダ２３を備えた展開画像生成システム１Ａでは、推定モードとケーブルモードとを選択可能とし、ケーブルモードが選択された場合には、エンコーダ２３により計測された走行距離に基づく位置情報を展開画像に付加し、推定モードが選択された場合には、位置推定部３１３により推定された位置情報を展開画像に付加する。これにより、ケーブル２４が弛みやすい管１０の入り口付近では、推定モードとして、直視画像の特徴点の移動から推定した位置情報を展開画像に付加し、ケーブル２４が弛みなく張った後は、ケーブルモードに切り替えて、エンコーダ２３から取得した距離情報を位置情報として展開画像に付加することができる。

【0071】

なお、第２の実施形態に示す処理の後、図１０に示す補正処理を実行してもよい。

【0072】

以上、添付図面を参照して、本発明の好適な実施形態について説明したが、本発明は係る例に限定されない。例えば、各画面のレイアウト、各画像の表示サイズ、各種ボタン等の配置等は一例であり、その他のレイアウト、サイズ、配置を採用してもよい。その他、当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

【符号の説明】

【0073】

１・・・・・・展開画像生成システム
２・・・・・・撮影車
２１・・・・・広角カメラ
２２・・・・・走行車駆動部
３・・・・・・ＰＣ（展開画像生成装置）
３１・・・・・制御部
３１１・・・・画像取得部
３１２・・・・展開画像生成部
３１３・・・・位置推定部
３１４・・・・位置情報付加部
４・・・・・・展開円オブジェクト
１０・・・・・管状構造物（管）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】