特許 6596291 敷設設備表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6596291

(24)【登録日】2019年10月4日

(45)【発行日】2019年10月23日

(54)【発明の名称】敷設設備表示装置

(51)【国際特許分類】

   G06T 19/00 20110101AFI20191010BHJP

   H04N 5/225 20060101ALI20191010BHJP

   H04N 5/232 20060101ALI20191010BHJP

   G06F 3/0484 20130101ALI20191010BHJP

【ＦＩ】

   G06T19/00 600

   H04N5/225

   H04N5/232

   G06F3/0484 150

【請求項の数】6

【全頁数】11

(21)【出願番号】特願2015-196386(P2015-196386)

(22)【出願日】2015年10月2日

(65)【公開番号】特開2017-68772(P2017-68772A)

(43)【公開日】2017年4月6日

【審査請求日】2018年9月25日

(73)【特許権者】

【識別番号】503063168

【氏名又は名称】東京ガスエンジニアリングソリューションズ株式会社

(74)【代理人】

【識別番号】110001427

【氏名又は名称】特許業務法人前田特許事務所

(72)【発明者】

【氏名】立松 岳史

(72)【発明者】

【氏名】中津川 淳

(72)【発明者】

【氏名】田口 藤孝

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１２−１３３４７１（ＪＰ，Ａ）

【文献】 特開２００７−２２８３１５（ＪＰ，Ａ）

【文献】 特開２００６−１０６３０８（ＪＰ，Ａ）

【文献】 特開２００５−１８１４９１（ＪＰ，Ａ）

【文献】 特開２００２−２１４８０（ＪＰ，Ａ）

【文献】 特開２００２−７４９５（ＪＰ，Ａ）

【文献】 特開平１１−２１００７１（ＪＰ，Ａ）

【文献】 特開平１０−３０６９００（ＪＰ，Ａ）

【文献】 特開平８−３０５７４４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１３／００３０７０４（ＵＳ，Ａ１）

【文献】 川田卓嗣, 外２名，“ＡＲ技術を用いた社会インフラ施設維持管理の効率化”，三菱電機技報，三菱電機エンジニアリング株式会社，２０１５年 ２月２０日，第８９巻, 第２号，p.11-14

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １９／００

Ｇ０６Ｆ ３／０４８４

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

撮像画像と、敷設設備の３次元位置を示すデータに基づいて生成された画像とを合成して表示する敷設設備表示装置であって、
前記敷設設備の敷設位置を前記撮像画像と同様に仮想的に撮像した場合の画像に相当する仮想画像データを生成する仮想画像データ生成部と、
前記敷設設備の上下位置関係を示すデータの不整合を検出する不整合検出部と、
前記不整合が検出された場合に、少なくとも一方の敷設設備の上下位置を調整した表示処理、および上下位置関係に対応する描画表現をする表示処理の少なくとも一方を行う表示処理部と、
前記撮像画像と、前記仮想画像データに基づく画像とを合成する画像合成部と、
合成された画像を表示する表示部と、
を備えたことを特徴とする敷設設備表示装置。

【請求項2】

請求項１の敷設設備表示装置であって、
前記表示処理部は、敷設設備の種類もしくは特性に応じて定まる敷設設備の上下位置を調整し、または敷設設備の種類もしくは特性に応じて定まる上下位置関係に対応する描画表現をする表示処理を行うように構成されていることを特徴とする敷設設備表示装置。

【請求項3】

請求項２の敷設設備表示装置であって、
前記表示処理部は、前記上下位置を調整した表示処理を行う場合において、
前記敷設設備が、下水道管と、その他の管路を含む場合に、前記その他の管路の位置を調整する処理、および
前記敷設設備が、電力もしくは通信に関する管路と、その他の管路を含む場合に、前記電力もしくは通信に関する管路の位置を調整する処理の少なくとも一方を行うように構成されていることを特徴とする敷設設備表示装置。

【請求項4】

請求項２の敷設設備表示装置であって、
前記表示処理部は、前記上下位置関係に対応する描画表現処理を行う場合において、
前記敷設設備が、太さの異なるガス管を含む場合に、太いガス管の方が深い位置関係に対応する描画表現処理、
前記敷設設備が、圧力の異なるガス管を含む場合に、圧力の高いガス管の方が深い位置関係に対応する描画表現処理、
前記敷設設備が、上水道管とガス管と下水道管とのうち２つ以上を含む場合に、上水道管、ガス管、下水道管の順で深い位置関係に対応する描画表現処理、
前記敷設設備が、重要度の異なる管路を含む場合に、重要度の高い管路の方が深い位置関係に対応する描画表現処理、および
前記敷設設備が、幹線の管路と一般線の管路とを含む場合に、幹線の管路の方が深い位置関係に対応する描画表現処理、
の少なくとも１つを行うように構成されていることを特徴とする敷設設備表示装置。

【請求項5】

請求項１、請求項２、および請求項４のうち何れか１項の敷設設備表示装置であって、
前記表示処理部は、前記上下位置関係に対応する描画表現処理として、
背面側の敷設設備を隠すように表示する処理、
前面側の敷設設備を半透明に表示する処理、および
下方に位置する敷設設備に印影を施す処理の少なくとも何れかを行うように構成されていることを特徴とする敷設設備表示装置。

【請求項6】

請求項１から請求項５のうち何れか１項の敷設設備表示装置であって、
前記少なくとも一方の敷設設備の上下位置を調整した表示処理、または上下位置関係に対応する描画表現をする表示処理の実行の有無をユーザが選択し得るように構成されていることを特徴とする敷設設備表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮影画像に重畳させて、上下水道管やガス管等の敷設設備を表示させる敷設設備表示装置に関するものである。

【背景技術】

【0002】

撮像画像に、予め蓄積されているデータに基づいた仮想空間画像を合成して表示する技術が知られている。具体的には、例えば、ユーザが撮影した車道や歩道、電柱、建物などの実空間画像とともに、道路に埋設された下水道管などの仮想空間モデルを画像化した仮想空間画像を表示することによって、実際には撮影されない水道管などを直感的に確認しやすくすることが試みられている（例えば、特許文献１参照。）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２−１３３４７１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記のように下水道管などの管路等の画像を撮像画像に合成して可視化したとしても、管路等の３次元位置に関するデータが正確でないと、表示される画像での管路等の位置が不正確になるだけでなく、表示される画像の違和感が大きくなって、管路等の３次元的位置を直感的に把握することが困難になる場合がある。

【0005】

本発明は、上記の点に鑑み、敷設設備の３次元位置に関するデータの正確性が多少低い場合でも、撮影画像に重畳させて表示された敷設設備の３次元的位置をより直感的に把握しやすくすることを目的としている。

【課題を解決するための手段】

【0006】

第１の発明は、
撮像画像と、敷設設備の３次元位置を示すデータに基づいて生成された画像とを合成して表示する敷設設備表示装置であって、
前記敷設設備の敷設位置を前記撮像画像と同様に仮想的に撮像した場合の画像に相当する仮想画像データを生成する仮想画像データ生成部と、
前記敷設設備の上下位置関係を示すデータの不整合を検出する不整合検出部と、
前記不整合が検出された場合に、少なくとも一方の敷設設備の上下位置を調整した表示処理、および上下位置関係に対応する描画表現をする表示処理の少なくとも一方を行う表示処理部と、
前記撮像画像と、前記仮想画像データに基づく画像とを合成する画像合成部と、
合成された画像を表示する表示部と、
を備えたことを特徴とする。

【0007】

第２の発明は、
第１の発明の敷設設備表示装置であって、
前記表示処理部は、敷設設備の種類もしくは特性に応じて定まる敷設設備の上下位置を調整し、または敷設設備の種類もしくは特性に応じて定まる上下位置関係に対応する描画表現をする表示処理を行うように構成されていることを特徴とする。より詳しくは、例えば前者について、前記敷設設備が、ある管路等の設備とその他の管路等の設備を含む場合に、前記の少なくとも一方の設備の位置を調整する処理を行うようにしてもよい。上記種類もしくは特性としては、例えば、インフラ種別、重要度、太さ、圧力、工事種別等が含まれ得る。

【0008】

これらにより、敷設設備の３次元位置に関するデータに不整合がある場合などでも、そのような不整合の影響が目立ちにくいようにして、敷設設備の３次元的位置をより直感的に把握しやすくすることができる。

【0009】

ここで、敷設設備表示の色を設備ごとに変えることができるようにしてもよい。具体的には、例えば、ガス管を緑、水道管を水色、下水管を茶色等に色を変えて表示してもよい。

【0010】

第３の発明は、
第２の発明の敷設設備表示装置であって、
前記表示処理部は、前記上下位置を調整した表示処理を行う場合において、
前記敷設設備が、下水道管と、その他の管路を含む場合に、前記その他の管路の位置を調整する処理、および
前記敷設設備が、電力もしくは通信に関する管路と、その他の管路を含む場合に、前記電力もしくは通信に関する管路の位置を調整する処理の少なくとも一方を行うように構成されていることを特徴とする。

【0011】

第４の発明は、
第２の発明の敷設設備表示装置であって、
前記表示処理部は、前記上下位置関係に対応する描画表現処理を行う場合において、
前記敷設設備が、太さの異なるガス管を含む場合に、太いガス管の方が深い位置関係に対応する描画表現処理、
前記敷設設備が、圧力の異なるガス管を含む場合に、圧力の高いガス管の方が深い位置関係に対応する描画表現処理、
前記敷設設備が、ガス管と上水道管とを含む場合に、ガス管の方が深い位置関係に対応する描画表現処理、
前記敷設設備が、重要度の異なる管路を含む場合に、重要度の高い管路の方が深い位置関係に対応する描画表現処理、および
前記敷設設備が、幹線の管路と一般線の管路とを含む場合に、幹線の管路の方が深い位置関係に対応する描画表現処理、
の少なくとも一方を行うように構成されていることを特徴とする。

【0012】

これらにより、種々のインフラ（infrastructure）を含む表示が行われる場合に、それぞれの特性に応じて、より適切な表示を行わせることができる。

【0013】

第５の発明は、
第１の発明、第２の発明、および第４の発明のうち何れか１つの敷設設備表示装置であって、
前記表示処理部は、前記上下位置関係に対応する描画表現処理として、
背面側の敷設設備を隠すように表示する処理、
前面側の敷設設備を半透明に表示する処理、および
下方に位置する敷設設備に印影を施す処理の少なくとも何れかを行うように構成されていることを特徴とする。

【0014】

これにより、敷設設備の３次元的位置を、一層、直感的に把握しやすくすることができる。

【0015】

第６の発明は、
第１の発明から第５の発明のうち何れか１つの敷設設備表示装置であって、
前記少なくとも一方の敷設設備の上下位置を調整した表示処理、または上下位置関係に対応する描画表現をする表示処理の実行の有無をユーザが選択し得るように構成されていることを特徴とする。

【0016】

これにより、撮像画像や敷設設備の状況などに応じて、より見やすい表示を柔軟に選択したりすることができる。

【発明の効果】

【0017】

本発明では、撮影画像に重畳させて表示された敷設設備の３次元的位置をより把握しやすくすることができる。

【図面の簡単な説明】

【0018】

【図1】敷設設備表示装置による表示例を示す説明図である。

【図2】敷設設備表示装置の構成を示すブロック図である。

【図3】敷設設備表示装置の動作を示すフローチャートである。

【図4】表示処理の例を示す説明図である。

【図5】配管の相対位置関係に関する表示例を示す説明図である。

【図6】配管の相対位置関係に関する他の表示例を示す説明図である。

【図7】配管の相対位置関係に関する他の表示例を示す説明図である。

【図8】配管の相対位置関係に関する他の表示例を示す説明図である。

【発明を実施するための形態】

【0019】

以下、本発明の実施形態を図面に基づいて詳細に説明する。

【0020】

（敷設設備表示装置の表示例）
まず、便宜上、本実施形態の敷設設備表示装置によって表示される表示例について説明する。敷設設備表示装置の表示画面には、図１に示すように、カメラによって撮像された撮像画像がそのまま表示されるとともに、これに重畳して、敷設設備である地中に埋設されたガス管などの埋設管１０１・１０２や、マンホール１０３が模式的に表示される。また、さらに、上記埋設管１０１・１０２に関しては、これらを含む鉛直面と、地表面との交差位置に補助的に投影線１１１・１１２（地面投影位置）が表示される。一方、マンホール１０３に関しては、その外形を地表面に向けて投影した投影円筒面１１３が表示される。

【0021】

このように、埋設管１０１・１０２の画像とともに、地表面への投影線１１１・１１２や、投影円筒面１１３およびその外形が補助的に表示されることによって、地表面上に見える物との位置関係や、埋設管１０１・１０２等の地表面からの深さなど、３次元的位置が直感的に把握しやすくなる。

【0022】

（敷設設備表示装置の構成）
上記のような表示を行う敷設設備表示装置は、具体的には、例えば、カメラ内蔵のタブレット端末や携帯電話、ヘッドマウントディスプレイなどを用いて構成することができ、図２に示すような構成を有している。

【0023】

カメラ２０１は、路面や地上の構造物などを撮像して撮像画像を得るものである。

【0024】

カメラロケーション検出部２０２は、上記カメラ２０１の物理的位置や姿勢（撮像方向）を検出するもので、具体的には、ＧＰＳや、方位角センサ、鉛直軸に対する傾斜センサなどを用いて構成される。

【0025】

地図データ２０３は、例えば道路や建築物などの位置を絶対座標で示すものである。このようなデータは、装置自体に蓄積されるようにしてもよいし、ネットワーク等を通じてサーバ上のデータベースなどから取得されるようにしてもよい。この点に関しては、以下の敷設設備データ２０４についても同様である。

【0026】

敷設設備データ２０４は、上下水道管や、ガス管、電力もしくは通信に関する管路などの埋設物の位置を示すもので例えば地図データ２０３によって示される道路などの基準位置からの相対座標で示すこともできるし、絶対座標で表示することもできる。

【0027】

仮想画像データ生成部２０５は、カメラロケーション検出部２０２によって検出されたカメラ２０１の位置と姿勢に基づいて、地図データ２０３と、敷設設備データ２０４とを参照し、上記位置と姿勢によって補正されたカメラ２０１の撮像面に仮想的に投影される埋設物（例えば図１の埋設管１０１・１０２）の仮想画像データ、すなわち、仮想的に撮像した場合の画像に相当する仮想画像データを生成するものである。仮想画像データ生成部２０５は、また、管路の位置を地面に投影した地面投影位置（例えば図１の投影線１１１・１１２）を求め、この地面投影位置についても、上記埋設物自体と同様にカメラ２０１の撮像面に仮想的に投影される仮想画像データを生成するようになっている。

【0028】

干渉検出部２０６は、地図データ２０３と、敷設設備データ２０４とに基づいて、管路の上下位置関係を示すデータの不整合、例えば管路どうしの干渉などを検出するものである。すなわち、実際に埋設されている管路どうしが干渉していなくても、敷設設備データ２０４は、必ずしも実際の管路の位置を正確に反映していない場合があり、データ上、干渉が生じていることになる場合がある。そこで、そのような事態を検出して、以下に説明するような表示の補正を可能にするようになっている。

【0029】

補助表示処理部２０７は、上記のような管路の干渉が検出された場合に、表示の補正を行うものである。すなわち、敷設設備データ２０４に不整合がある場合に、そのデータ通りに仮想画像データを生成して表示を行うと、表示される画像での管路の位置が不正確であるだけでなく、表示される画像の違和感が大きくなって、管路の３次元的位置を直感的に把握することが困難になる場合がある。そこで、管路の位置を妥当と想定できる範囲で修正したり、管路の位置自体は修正せずに、表示上、上下関係がずれて干渉していないように見えるような処理をしたりするようになっている。

【0030】

画像合成部２０８は、上記のようにして生成された仮想画像データに基づく画像と、カメラ２０１によって撮像された撮像画像とを合成して、図１に示すような画像を生成し、表示部２０９に表示させるようになっている。

【0031】

（敷設設備表示装置の動作）
次に、敷設設備表示装置で撮像画像と埋設物との合成画像が表示される際の動作の例について説明する。

【0032】

（Ｓ１０１） まず、カメラ２０１によって、図１に背景として表示されているような撮像画像が撮像される。

【0033】

（Ｓ１０２） 同時に、カメラロケーション検出部２０２によって、カメラ２０１の位置および姿勢が検出される。

【0034】

（Ｓ１０３） カメラロケーション検出部２０２では、また、検出されたカメラ２０１の位置および姿勢に基づいて、カメラ２０１の撮像面の位置および姿勢が求められる。

【0035】

（Ｓ１０４） 仮想画像データ生成部２０５では、例えば図４に示すようなカメラ２０１の視野に入る埋設管１０１の敷設位置を示すデータが埋設管座標データ１２１に基づいて算出される。

【0036】

（Ｓ１０５） また、仮想画像データ生成部２０５では、上記埋設管１０１を鉛直上方に向けて地表面に投影した場合の投影線１１１が求められる。また、地中に敷設されるマンホール１０３については、鉛直上方に投影した場合の投影円筒面１１３が求められる。なお、さらに、埋設管１０１と投影線１１１とを含む平面や曲面も求められ、半透明の面、ハッチングが施された面、および所定の塗りつぶしパターンが表された面などとして表示され得るようにしてもよい。

【0037】

（Ｓ１０６） さらに、仮想画像データ生成部２０５では、上記のような埋設管１０１や投影線１１１がカメラ２０１の撮像面に仮想的に投影する仮想画像データが求められる。

【0038】

（Ｓ１０７） 一方、干渉検出部２０６では、管路どうしの干渉の有無が検出される。

【0039】

（Ｓ１０８） 干渉が検出されると、補助表示処理部２０７では、何れかの管路を上下にずらすように補正された画像が生成される。例えば、下水道管と、その他の管路とが干渉している場合には、定義されたルールに基づき、上記その他の管路の位置が上下方向にずらされるように調整される。すなわち、通常、下水道管は、自然流下を容易にするために勾配や深さの精度が高く管理され、埋設管座標データの精度も他の管路よりも高い場合が多いので、下水道管と、その他の管路とが干渉している場合には、他の管路の位置を調整する方が、実際の埋設状態に近い画像を表示できる可能性が高い。また、電力もしくは通信に関する管路は、他の管路よりも埋設管座標データの精度が低い場合があるので、電力もしくは通信に関する管路の位置が調整される。なお、このような調整をする場合の調整の方向、すなわち深くずらすか浅くずらすかは、例えば、他の管路との関係などに応じて設定すればよい。

【0040】

一方、補助表示処理部２０７の処理としては、管路の種類等に応じて、調整後の上下関係を優先的に決定し、そのような上下関係にするために何れの管路の位置をずらすように調整するかは、他の管路との関係などに応じて設定するようにしてもよい。すなわち、例えば上水道管とガス管と下水道管とのうち２つ以上が干渉する場合には、通常、上水道管（通常のデフォルト深さは０．９ｍ）、ガス管（通常のデフォルト深さは１．２ｍ）、下水道管の順で深い位置関係になる方が、実際の埋設状態に近い画像を表示できる可能性が高い。同様に、例えば太さの異なるガス管が干渉する場合には、太いガス管の方が細いガス管よりも深い位置関係（低圧管、中圧管、高圧管の順に深くなる位置関係）になる方が、実際の埋設状態に近い画像を表示できる可能性が高い。また、同様に、重要度が低い管路よりも高い管路、一般管路よりも幹線管路の方が深い位置関係になるようにしてもよい。

【0041】

ここで、上記のように種々のインフラ（infrastructure）を含む表示が行われる場合には、インフラごとに表示色を変えて視認性を向上させ得るようにしてもよい。

【0042】

また、干渉などの不整合が検出された場合に、必ずしも、上記のような管路の位置をずらす調整をせずに、色分け表示やマーク表示などによって不整合があることを判りやすく表示するようにしたり、そのような表示や位置調整の有無をユーザが選択し得るようにしたりしてもよい。

【0043】

（Ｓ１０９） 補助表示処理部２０７では、上記（Ｓ１０６）で求められた仮想画像データ、または（Ｓ１０８）で必要に応じて位置調整された仮想画像データについて、管路の上下関係を視覚的に判りやすく表現する処理が行われる。具体的には、例えば交差して見える管路をそれぞれ単純に描画すると、図５に示す埋設管１５１・１５２のように表示されるのに対して、下方に位置する埋設管１５２の一部を図６に示すように隠すことによって、埋設管１５１・１５２の上下関係を把握しやすくすることができる。また、図７に模式的に示すように、上方に位置する埋設管１５２の一部を半透明にして埋設管１５１が透けて見えるように表示されるようにしてもよい。さらに、図８に示すように下方に位置する埋設管１５１に上方に位置する埋設管１５２の影１５３が表示されるようにしてもよい。

【0044】

ここで、上記のような管路の上下関係を視覚的に判りやすく表現する処理は、実際に管路の上下関係がある場合の他、上記（Ｓ１０８）のような管路どうしの干渉が検出された場合に管路の上下位置をずらす調整に代えて行われるようにしてもよい。すなわち、データ上は同一の深さにあるような管路の位置関係のまま、上下関係があるような描画処理が行われるようにしてもよい。これによって、管路の上下位置をずらすことによって却って違和感が大きくなる場合に、そのような違和感の増大を回避しつつ、多くの場合において管路の３次元的位置を直感的に把握しやすくすることができる。

【0045】

また、上記のように管路の上下位置をずらす調整や、上下関係を視覚的に判りやすく表現する処理を行うかどうかをユーザが選択し得るようにしてもよい。

【0046】

（Ｓ１１０） 画像合成部２０８では、上記のようにして生成された仮想画像データに基づく画像が、カメラ２０１によって撮像された撮像画像に重畳されるように合成される。

【0047】

（Ｓ１１１） 上記のように合成された画像が、図１に示すように表示部２０９に表示される。

【0048】

上記のように、撮像された撮像画像と、敷設設備の３次元位置を示すデータに基づいて生成された画像とが合成されて表示されることによって、例えば図面知識がなくても敷設設備の敷設状況を容易に認識し得るようにすることができる。

【0049】

なお、上記の例では、敷設設備として地中に埋設された管路を例に挙げて説明したが、これに限らず、地上に現れている敷設設備などであっても、例えば積雪時、浸水時や、他の事物の陰になっている場合などに、それらの敷設設備の位置を把握しやすくすることなどが容易にできる。

【0050】

また、上記のような表示の他、管路等の下面側に影を付けたり、手前よりも奥の方が暗くなるようなフォグ処理を施したりするなど、表示の見やすさやリアルさを高めたりする種々の表現手法を組み合わせたりしてもよい。

【符号の説明】

【0051】

１０１・１０２ 埋設管
１０３ マンホール
１１１・１１２ 投影線
１１３ 投影円筒面
１２１ 埋設管座標データ
１５１・１５２ 埋設管
１５３ 影
２０１ カメラ
２０２ カメラロケーション検出部
２０３ 地図データ
２０４ 敷設設備データ
２０５ 仮想画像データ生成部
２０６ 干渉検出部
２０７ 補助表示処理部
２０８ 画像合成部
２０９ 表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】