特許 6789868 画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6789868

(24)【登録日】2020年11月6日

(45)【発行日】2020年11月25日

(54)【発明の名称】画像処理装置

(51)【国際特許分類】

   G06T 7/55 20170101AFI20201116BHJP

   G01C 7/06 20060101ALI20201116BHJP

   G01C 11/06 20060101ALI20201116BHJP

   G01B 11/00 20060101ALI20201116BHJP

   G01N 21/88 20060101ALN20201116BHJP

   G01N 21/954 20060101ALN20201116BHJP

【ＦＩ】

   G06T7/55

   G01C7/06

   G01C11/06

   G01B11/00 H

   !G01N21/88 J

   !G01N21/954 A

【請求項の数】4

【全頁数】13

(21)【出願番号】特願2017-66640(P2017-66640)

(22)【出願日】2017年3月30日

(65)【公開番号】特開2018-169793(P2018-169793A)

(43)【公開日】2018年11月1日

【審査請求日】2019年8月19日

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】100098660

【弁理士】

【氏名又は名称】戸田 裕二

(72)【発明者】

【氏名】陰山 晃治

(72)【発明者】

【氏名】田所 秀之

(72)【発明者】

【氏名】畑山 正美

【審査官】 真木 健彦

(56)【参考文献】

【文献】 特開２００８−３０１８７７（ＪＰ，Ａ）

【文献】 特開２００６−１８７４７０（ＪＰ，Ａ）

【文献】 特開平０３−０８０８２４（ＪＰ，Ａ）

【文献】 特開平０５−３４０７２１（ＪＰ，Ａ）

【文献】 特開平１１−０６６３１６（ＪＰ，Ａ）

【文献】 山崎 大輔，３基礎行列の分解による３画像からの３次元形状復元，情報処理学会研究報告 ２０１２（平成２４）年度▲６▼ ［ＤＶＤ−ＲＯＭ］，日本，一般社団法人情報処理学会，２０１３年 ４月１５日，Vol.2013-CVIM-186 No.15，P.1-8，ISSN 2186-2583

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

Ｇ０１Ｂ １１／００

Ｇ０１Ｎ ２１／８８

Ｇ０１Ｎ ２１／９５４

Ｇ０１Ｃ ７／０６

Ｇ０１Ｃ １１／０６

(57)【特許請求の範囲】

【請求項1】

長手方向に延在する構造物内面を長手方向に異なる2地点から撮影装置で撮影した第一の画像および第二の画像と、
第二の画像から第一、第二および第三の領域を抽出する領域抽出手段と、
抽出した第一、第二および第三の領域が第一の画像中で対応する領域を探索するマッチング手段と、
第一の画像と第二の画像における第一、第二および第三の領域の位置の偏差を算出する位置偏差算出手段と、
第一、第二および第三の領域の位置の偏差に基づいて構造物内面から撮影装置までの距離の比率を算出する内面距離比率算出手段と、
構造物内面から撮影装置までの距離の比率を数値あるいは図で表示する表示装置と、
を備えることを特徴とする画像処理装置。

【請求項2】

請求項１において、内面距離比率算出手段で求められた構造物内面から撮影装置までの距離の比率および長手方向に延在する構造物の内面の断面寸法に基づいて、構造物内面から撮影装置までの距離を算出する内面距離算出手段と、
構造物内面から撮影装置までの距離を数値あるいは図で表示する表示装置と、
を備えることを特徴とする画像処理装置。

【請求項3】

請求項１において、第二の画像における消失点の位置を算出する消失点計算手段と、
構造物内面から撮影装置までの距離の比率と消失点の位置に基づいて展開図を算出する展開図計算手段と、
複数の展開図を長手方向に連結する展開図結合手段と、
連結した展開図を図示する表示手段と、
を備えることを特徴とする画像処理装置。

【請求項4】

請求項３において、消失点計算手段では画像中の明暗情報を用いて消失点の位置を決定することを特徴とする画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、長手方向に延在する構造物、例えば下水管などの管路施設内を移動して画像を取得し、管路施設の内面の状態を把握する管路施設点検移動体の撮影画像の画像処理装置に関する。

【背景技術】

【0002】

近年、下水管の老朽化の問題が大きくなりつつある。老朽化が進行するとひび割れや破損などの異常が発生する。その結果、土砂が管外から管内に入って地中に空隙ができ、それが原因となって下水管の上の道路が陥没する事故が発生している。そこで、下水管のひび割れや破損などの異常を効率的に把握する技術が必要となっている。このようなニーズに対し、例えば特許文献１では、テレビカメラを搭載した小型の自走車を下水管の中に走行させ、管内の状態をモニタする技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平９−２２６５７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１では、下水管の中に入れた自走車のテレビカメラで画像を取得する。下水管の長手方向に向けて撮影した、いわゆる直視画像と呼ばれる撮影画像は、下水管のどこに異常があったか一目で分かるよう、円筒形状の管を切り開いた展開図として提供されることが一般的である。テレビカメラが円筒形状の断面中心にあり、かつ下水管路の消失点が画像の中心にあれば、幾何的関係に基づいた画像処理によって正確な展開図を得ることができる。

【0005】

しかしながら、移動体によって画像を取得する場合、常に円管断面の中心にテレビカメラが位置しているとは限らない。これは、移動体が飛行体や水上浮体など、壁面と接触していない装置である場合には顕著となる。その場合には、上述のようにテレビカメラが円筒形状の中心にあり、かつ下水管の消失点が画像の中心にあると想定した画像処理では展開図の歪みが大きくなり、展開図の品質が低下してしまう課題があった。

【0006】

テレビカメラが円筒断面の平面上のどこに位置しているかが分かれば、展開図を求める画像処理の計算時にその位置情報を考慮することができ、品質低下を防ぐことができる。理想的には、テレビカメラを搭載した移動体に円筒内面との距離を計測する距離センサを設置するのが良い。しかし、移動体が飛行体の場合には重量増加によって飛行可能時間が減少するため、距離センサの設置は望ましくない。さらに、下水管の場合には中に飛沫や霧が存在するため距離センサの測定値にノイズが含まれ、適切な計測結果が得られない場合もある。

【0007】

本発明はこの課題に鑑みて為されたものであり、本発明の目的は、距離センサが備えられていない移動体であっても、長手方向に延在する構造物の内面から撮影装置までの距離の情報を撮影画像に基づいて求め、高い品質の展開図を備えた画像処理装置を提供することにある。

【課題を解決するための手段】

【0008】

本発明に係る画像処理装置は、長手方向に延在する構造物内面を長手方向に異なる2地点から撮影装置で撮影した第一の画像および第二の画像と、第二の画像から第一、第二お
よび第三の領域を抽出する領域抽出手段と、抽出した第一、第二および第三の領域が第一の画像中で対応する領域を探索するマッチング手段と、第一の画像と第二の画像における第一、第二および第三の領域の位置の偏差を算出する位置偏差算出手段と、第一、第二および第三の領域の位置の偏差に基づいて構造物内面から撮影装置までの距離の比率を算出する内面距離比率算出手段と、構造物内面から撮影装置までの距離の比率を数値あるいは図で表示する表示装置と、を備えることを特徴とする。

【発明の効果】

【0009】

本発明によれば、撮影装置を搭載した移動体が距離センサを備えなくても、長手方向に延在する構造物内面からの距離の情報を撮影画像に基づいて求めることができる。距離センサが不要であるため、移動体が飛行体の場合であれば軽量化に寄与し、飛行時間の減少が発生しない。さらに、求められた内面からの距離の情報を用いることで、歪みが少ない高品質の展開図を提供できる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施例１に係る画像処理の各手段の構成図である。

【図2】直視画像の模式図である。

【図3】撮影画像から抽出する第一、第二および第三の領域の位置の例を示す模式図である。

【図4】長手方向に延在する構造物内面を異なる2地点から撮影する撮影装置の位置関係を示す模式図である。

【図5】撮影画像から抽出する第一の領域が、第一の画像と第二の画像で異なる位置にあることを示す模式図である。

【図6】撮影画像から抽出する第二の領域が、第一の画像と第二の画像で異なる位置にあることを示す模式図である。

【図7】撮影画像から抽出する第三の領域が、第一の画像と第二の画像で異なる位置にあることを示す模式図である。

【図8】撮影画像から抽出する第一の領域と第二の領域の位置が、第一の画像と第二の画像で異なる位置にあり、それぞれ異なる偏差を有することを示す模式図である。

【図9】第一の画像と第二の画像における光学的幾何関係を示す模式図である。

【図10】構造物内面から撮影装置までの距離の比率を数値あるいは図示する表示装置の表示画面の一例である。

【図11】本発明の実施例２に係る画像処理の各手段の構成図である。

【図12】構造物内面から撮影装置までの距離を数値あるいは図示する表示装置の表示画面の一例である。

【図13】本発明の実施例３に係る画像処理の各手段の構成図である。

【図14】本発明の実施例３に係る展開図の作成手順の説明図である。

【図15】本発明の実施例３に係る展開図の連結手順の説明図である。

【発明を実施するための形態】

【0011】

本発明に係る画像処理装置は、長手方向に延在する構造物すなわち管路施設内を移動してひび割れや破損の点検に用いる移動体で得られた画像を処理する装置である。管路施設は、例えば下水管、ガス管、トンネル、集合管、内容物を抜いて気体で置換した水道管、蒸気配管、オイル配管、伏せ越し管、放流渠、マンホール、煙突などがあり、いずれかに制限されるものではない。また、長手方向に延在する構造物は断面が円形である必要はなく、断面が矩形であってもよい。

【0012】

以下、具体的な一例として、下水管を対象とした場合の実施形態を図面により説明する。

【実施例1】

【0013】

図１は、本発明の実施例１に係る画像処理の各手段の構成図である。与えられる情報は、第一の画像１２および第二の画像１０である。第一の画像１２および第二の画像１０は、管内において長手方向に撮影した直視画像であり、その模式図を図２に示す。図２では分かりやすさのため、下水４０および長手方向に延在する構造物の継ぎ目４６も示している。

【0014】

第二の画像１０は、領域抽出手段１４に与えられる。領域抽出手段１４では第二の画像１０から第二の画像の第一の領域１６、第二の画像の第二の領域１８、そして第二の画像の第三の領域１９を抽出する。これら第二の画像の第一の領域１６と第二の画像の第二の領域１８は、画像中心から対称で、できるだけ離れた位置にあることが望ましい。一方、第二の画像の第三の領域１９は第二の画像の第一の領域１６と第二の画像の第二の領域１８を結ぶ線上の中点から直角に交わる線上にあることが望ましい。たとえば、図３で示すように第二の画像の右端付近と左端付近を第二の画像の第一の領域１６および第二の画像の第二の領域１８として用い、画像中央の上端付近を第二の画像の第三の領域１９として用いるのが望ましい。下水管のように下方に液体が流れており、その表面の特徴が短時間で変化してしまう場合には、画像の下端付近を第一、第二および第三の領域として用いないことが望ましい。これら第二の画像の第一の領域１６、第二の画像の第二の領域１８および第二の画像の第三の領域１９はいずれも第二の画像１０の端付近に位置することが望ましいが、レンズの歪みが大きい場合やブレ、ピントのずれがある場合には必ずしも端である必要はない。第二の画像の第一の領域１６、第二の画像の第二の領域１８および第二の画像の第三の領域１９の領域の大きさについては限定されないが、以降の処理を高速化したい場合には小さく設定することが望ましい。

【0015】

以下は、第二の画像の第一の領域１６を画像の左端付近、第二の画像の第二の領域１８を画像の右端付近、第二の画像の第三の領域１９を画像の上端付近の小領域と設定した場合について説明する。

【0016】

抽出された第二の画像の第一の領域１６は、マッチング手段２０へ送られる。マッチング手段２０には、第一の画像１２も与えられる。第一の画像１２は第二の画像１０の撮影範囲よりも広範囲を撮影したものとする。すなわち、第一の画像１２の撮影位置は、第二の画像の撮影位置よりも後ろに位置する。移動体によって画像を撮影する場合には、前方の画面を撮影することが一般的であることから、 第一の画像１２は第二の画像１０よりも過去の時点で撮影されることになる。第一の画像１２と第二の画像１０の撮影位置の関係を図４に示す。この図では便宜上2台の撮影装置が描かれているが、現実的には１台の撮影装置が移動体によって移動した前と後の位置関係を示している。第一の画像を撮影する位置にある撮影装置４２が、第二の画像を撮影する位置にある撮影装置４４よりも左側、すなわち後方に位置する。

【0017】

マッチング手段２０では、第一の画像１２の中で、第二の画像の第一の領域１６がもっとも整合する領域を探索する。この際には全画面を探索しても良いが、第一の画像１２と第二の画像１０の撮影時刻の差が短い場合には、第二の画像の第一の領域１６の存在した付近の座標で第一の画像１２を探索することが良い。図５に探索結果の例を模式図で示す。抽出した第一の領域が第一の画像中で対応する領域４８が示されている。マッチング手段２０の結果として得られた第一の領域の対応情報２２は、位置差分算出手段２６へ送られる。

【0018】

位置差分算出手段２６では、第二の画像の第一の領域１６が第一の画像１２の中でどの程度ずれているかを計算する。このずれは、第二の画像の第一の領域１６と、第二の画像の第二の領域１８を結ぶ線上方向に向かう偏差とする。このずれの情報は、第一の領域の位置の偏差２８として、内面距離比率算出手段３２へ送られる。

【0019】

第二の画像の第二の領域１８についても、上記と同様の処理を施す。図６に探索結果の例を模式図で示す。抽出した第二の画像の第二の領域１８が第一の画像中で対応する領域５０が示されている。第一の領域の場合と同様に、第二の領域の対応情報２４や第二の領域の位置の偏差３０を求め、第二の領域の位置の偏差３０が内面距離比率算出手段３２へ送られる。

【0020】

第二の画像の第三の領域１９については、第二の画像の第一の領域１６や第二の画像の第二の領域１８の場合とは異なる方向に向かって偏差を求める。具体的には、第二の画像の第一の領域１６と、第二の画像の第二の領域１８を結ぶ線と垂直の方向の偏差を求める。このずれの情報は第三の領域の位置の偏差３１として、内面距離比率算出手段３２へ送られる。図７に探索結果の例を模式図で示す。抽出した第二の画像の第三の領域１９が第一の画像中で対応する領域５１が示されている。

【0021】

図８は、第一の領域と第二の領域の位置が、第一の画像と第二の画像で異なる位置にあり、それぞれ偏差を有することを示す模式図である。第一の領域の位置の偏差２８が、第二の領域の位置の偏差３０に比べて大きい例を示している。

【0022】

内面距離比率算出手段３２は、第一の領域の位置の偏差２８と第二の領域の位置の偏差３０の値に基づいて、長手方向に延在する構造物３８の内面から撮影装置までの距離の比率を計算する。図９は、第一の画像と第二の画像における光学的幾何関係を示す模式図である。第一の画像が投影される等価画像平面６４には第二の画像の第一の領域１６と第二の画像の第二の領域１８も映り込む。その映り込む位置は、第二の画像が投影される等価画像平面６５の上での第二の画像の第一の領域１６と第二の画像の第二の領域１８の投影位置とはそれぞれ第一の領域の位置の偏差２８および第二の領域の位置の偏差３０だけずれることになる。

【0023】

第一の領域の位置の偏差２８と第二の領域の位置の偏差３０の比率は、幾何的な位置関係に基づき、撮影装置の画角に関する係数、第一の画像を撮影する位置と第二の画像を撮影する位置の差分６２、左側内面との距離５８、右側内面との距離６０を用いて式(1)で表すことができる。ただし、dL：第一の領域の位置の偏差２８、dR：第二の領域の位置の偏差３０、L：左側内面との距離５８、R: 右側内面との距離６０、m：第一の画像を撮影する位置と第二の画像を撮影する位置の差分６２、a：撮影装置の画角に関する係数である。

【0024】

dL：dR＝a・m＋R：a・m＋L ・・・式(1)

ここで、第一の画像を撮影する位置と第二の画像を撮影する位置の差分６２が、左側内面との距離５８および右側内面との距離６０に比べて十分に小さければ、画角が90度のときでaはたかだか1.0であるため式(1)の右辺の微小項となるa・mを無視することができ、

dL：dR＝R：L ・・・式(2)

が成り立つ。動画の撮影装置の場合、1秒間に50から60フレームの画像を撮影できるのが普通であり、第一の画像を撮影する位置と第二の画像を撮影する位置の差分６２を十分小さく設定できる。すなわち、この式(2)を用いることで、第一の領域の位置の偏差２８と第二の領域の位置の偏差３０の値に基づき、構造物の左右内面から撮影装置までの距離の比率３４を算出することができる。なお、第一の画像を撮影する位置と第二の画像を撮影する位置の差分６２と撮影装置の画角aが分かる場合には、式(1)をそのまま用いることができ、より正確な結果を得ることが可能である。

【0025】

次に、第三の領域の位置の偏差３１を用いて上下方向の内面から撮影装置までの距離の比率３５を求める。第三の領域の位置の偏差３１は、第一の領域の位置の偏差２８や第二の領域の位置の偏差３０に比べると一般的に小さい。これは、通常の撮影装置で撮影した画像は正方形ではなく横長の長方形であるためである。すなわち、上下方向の画角は左右方向よりも小さい。上下方向と左右方向の画角の比率を補正係数αとして用いると、式(2)とほぼ同様に

dL：dR：α×(1 - dU)＝R：L：U ・・・式(3)

が得られる。ただし、dU：第三の領域の位置の偏差３１、U：上側内面との距離６１である。補正係数αの値は撮影装置の仕様として事前に分かるため、(1 - dU)を乗じることによってUの比率が分かる。

【0026】

この結果を用いれば、断面が円形の管の場合、下側内面との距離の比率も簡単な減算によって求めることができる。たとえば、R：L：U＝0.35：0.65：0.3であれば、下側内面との距離の比率は 1.0-0.3=0.7 と計算することができる。

【0027】

同様に、断面が矩形で高さと幅の比率が分かっている管であっても、Uの比率が分かれば下側内面との距離の比率も減算によって求めることができる。ただし、その比率はRとLに対する比率であるため、断面形状が正方形ではない場合には以下に示す計算で求めることができる。

【0028】

たとえば、矩形管の幅が5m、高さが3mの場合にR：L：U＝0.35：0.65：0.3であったとする。その場合は左側内面から撮影装置までの距離は5×0.35=1.75m、右側内面から撮影装置までの距離は5×0.65=3.75m、上側内面から撮影装置までの距離は5×0.3=1.5mとなる。矩形管の高さは3mなので、下側内面から撮影装置までの距離は3-1.5=1.5mとなり、撮影装置は矩形管の天井から半分の高さに位置することになる。

【0029】

以上のように求められた構造物の左右内面から撮影装置までの距離の比率３４および構造物の上下内面から撮影装置までの距離の比率３５は表示装置３６に送られ、画面上に結果が表示される。

【0030】

図１０は、表示装置３６の画面の一例である。この例では壁面から撮影装置までの距離比率を左：右＝0.35:0.65、天井から撮影装置までの距離比率を0.30と示している。なお、図１０では左右の距離比率を合計すれば1.0となるような数値として示しているが、合計が100など相対的な関係が分かりやすい数値での表示であればとくにこの例には限らない。

【0031】

数値表示の下には図示の例を示している。大きな円は円管の場合の断面を表したもので、その中に存在する黒丸が撮影装置の位置を意図したものである。壁面から撮影装置までの距離比率が左：右：上＝0.5:0.5:0.5であれば、大きな円の中心に黒丸が位置し、上述のように左：右：上＝0.35:0.65:0.30であれば左上側に黒丸が位置する。このような図示の表示を設けることで、断面上のどの位置で画像が撮影されたかを誤りなく一目で把握することができる。

【実施例2】

【0032】

図１１は、本発明の実施例２に係る画像処理の各手段の構成図である。構造物内面から撮影装置までの距離の比率３４と構造物の上下内面から撮影装置までの距離の比率３５が計算されるまでは、実施例１と同様の処理を実施する。構造物内面から撮影装置までの距離の比率３４は、内面距離算出手段７０に与えられる。内面距離算出手段７０には、長手方向に延在する構造物の内面の断面寸法６８も与えられ、左側内面との距離５８、右側内面との距離６０、上側内面との距離６１が計算される。

【0033】

たとえば、断面形状が円形の円管の場合、長手方向に延在する構造物の内面の断面寸法６８として直径Cが与えられるとするとそれぞれ式(4)から式(6)で距離を計算できる。ここで、L：左側内面との距離５８、R: 右側内面との距離６０、U：上側内面との距離６１、dL：第一の領域の位置の偏差２８、dR：第二の領域の位置の偏差３０、dU：第三の領域の位置の偏差３１である。

【0034】

L＝C×(dR÷(dL＋dR)) ・・・式(4)

R＝C×(dL÷(dL＋dR)) ・・・式(5)

U＝C×((1 - dU)÷(dL＋dR)) ・・・式(6)

断面形状が矩形の場合には、直径Cの代わりに矩形の幅Wあるいは高さHを乗じることで、左側内面との距離５８、右側内面との距離６０、上側内面との距離６１を式(7)から式(9)で計算できる。

【0035】

L＝W×(dR÷(dL＋dR)) ・・・式(7)

R＝W×(dL÷(dL＋dR)) ・・・式(8)

U＝H×((1 - dU)÷(dL＋dR)) ・・・式(9)

このように計算された左側内面との距離５８、右側内面との距離６０、上側内面との距離６１の値は表示装置３６に送られて、画面上に結果が表示される。

【0036】

図１２は、表示装置３６の画面の一例である。この例では壁面から撮影装置までの距離を左：0.7m、右：1.3m、上：0.6mと示している。その下の図は実施例１と同様の表示内容であり、このような図示も設けることで断面上のどの位置で画像が撮影されたかを誤りなく一目で把握することができる。

【実施例3】

【0037】

図１３は、本発明の実施例３に係る画像処理の各手段の構成図である。構造物の左右内面から撮影装置までの距離の比率３４と構造物の上下内面から撮影装置までの距離の比率３５が計算されるまでは実施例１と同様である。実施例３においてこれらの値は展開図計算手段７２に与えられる。一方、第二の画像１０は消失点計算手段７６に与えられ、消失点座標７８が計算される。計算された消失点座標７８も展開図計算手段７２に与えられる。

【0038】

この消失点計算手段７６では、図２で示したような直視画像の中で、長手方向の最も遠い点である消失点の座標を画像処理によって求める。この画像処理方法には様々なやり方がありそのいずれを用いても良いが、たとえば以下に示す手順で求めることができる。
（１） 直視画像の中で最も明度が低い（＝暗い）画素を探索し、その明度の画素で構成される最大の円を探索する。その中心位置（x,y）と半径rを記憶する。
（２）基準となる明度を少し高め、その明度の画素で構成される最大の円を探索する。そ
の中心位置（x,y）と半径rを記憶する。
（３）（１）（２）を反復する。
（４）x = f(r)となる一次の近似関数fを最小二乗法で求める。
（５）y = g(r)となる一次の近似関数gを最小二乗法で求める。
（６）（４）（５）の一次の近似関数に半径r=0を代入した結果のｘとyを消失点の座標と
する。

【0039】

これは、基本的に管内に照明が備えられていないため消失点が最も暗く、断面が円管の場合には画像上で消失点の画素から撮影装置付近の画素に向かって円形状に徐々に明るさが増えていく特徴を利用するものである。なお、断面が矩形の場合も同様の手順で消失点を求めることができる。その際には、（１）と（２）において探索する図形を円ではなく矩形とし、半径rの代わりに長辺あるいは短辺の値を用いれば良い。

【0040】

展開図計算手段７２では、この消失点の座標７８に加え構造物の左右内面から撮影装置までの距離の比率３４および構造物の上下内面から撮影装置までの距離の比率３５を用いて展開図を生成する。展開図の作成手順を図１４で模式的に示す。以下は断面が円である円管の場合について説明するが、断面形状および寸法が分かっている矩形管でも同様の手順で展開図を得ることができる。

【0041】

図１４(a)は、図２で示した直視画像と同じものである。この直視画像から、図１４(b)で示すように互いに交差しない円群の画素を読み出す。円群の中心位置は異なるのが一般的であり、その位置を決定するため、上述した消失点の座標７８と構造物の左右内面から撮影装置までの距離の比率３４および構造物の上下内面から撮影装置までの距離の比率３５を用いる。

【0042】

円群のうち半径が最小(すなわち0)の円の中心位置は消失点と一致する。構造物の左右内面から撮影装置までの距離の比率３４および構造物の上下内面から撮影装置までの距離の比率３５が小さいほど、円群の中心位置はその反対側に移動する。たとえば、図１４(b)で示すように上側内面との距離の比率が下側内面との距離の比率に比べて小さい（すなわち、撮影装置が天井に近い）場合、円の半径が大きくなるほど中心位置が下方に移動する。

【0043】

図１４(b)では分かりやすく表現するため半径や中心位置を疎にとった円群を示したが、これを密にとることで直視画像(a)の画素を円群として読み出すことができる。円群の半径は長手方向に延在する構造物の奥行きに対応しており、これを幾何的に座標変換してプロットすることで図１４(c)のような展開図を得ることができる。これは1つの直視画像の展開図である。撮影装置を備えた移動体が移動することで、進行方向に向けて複数の第一の画像１２および複数の第二の画像１０を得ることができる。そのそれぞれの画像の組に対して図１４(c)のような展開図を得ることができるため、それらを奥行き方向に連結することで円筒形状の管を切り開いた形の展開図として提供することができる。この連結にあたっては、それぞれの展開図を全部用いても良いし、一部を用いても良い。直視画像(a)における消失点付近は暗く、かつ円群の1つに含まれる画素数が少ないため画質が悪いため、ほかの展開図での情報が得られるのであればその部分は使用しないのが良い。この例を模式的に図１５に示す。図１５では、たとえば3つの展開図１〜展開図３があった場合に、その奥行き方向の手前側から明るい部分のみを切り出し、それをつなげ合わせて連結された展開図８２が得られる手順を示している。この図中では展開図３までしか記載していないが、図中の連結された展開図８２を得るためには11枚の展開図が必要である。この連結する枚数にはとくに限定はない。なお、連結にあたっては、それぞれの連結部近傍での画像のマッチングをとり、できるだけずれが少ないように連結することが望ましい。このように連結された展開図８２は表示装置３６に送られ、画面あるいは印刷物として出力される。

【0044】

以上のように、本発明によれば、撮影装置を搭載した移動体が距離センサを備えなくても、長手方向に延在する構造物内面からの距離の情報を撮影画像に基づいて求めることができる。求められた距離の情報を用いることで、歪みが少ない高品質の展開図を得ることが可能となる。

【符号の説明】

【0045】

１０…第二の画像
１２…第一の画像
１４…領域抽出手段
１６…第二の画像の第一の領域
１８…第二の画像の第二の領域
１９…第二の画像の第三の領域
２０…マッチング手段
２２…第一の領域の対応情報
２４…第二の領域の対応情報
２５…第三の領域の対応情報
２６…位置差分算出手段
２８…第一の領域の位置の偏差
３０…第二の領域の位置の偏差
３１…第三の領域の位置の偏差
３２…内面距離比率算出手段
３４…構造物の左右内面から撮影装置までの距離の比率
３５…構造物の上下内面から撮影装置までの距離の比率
３６…表示装置
３８…長手方向に延在する構造物
４０…下水
４２…第一の画像を撮影する位置にある撮影装置
４４…第二の画像を撮影する位置にある撮影装置
４６…長手方向に延在する構造物の継ぎ目
４８…抽出した第一の領域が第一の画像中で対応する領域
５０…抽出した第二の領域が第一の画像中で対応する領域
５１…抽出した第三の領域が第一の画像中で対応する領域
５６…焦点距離
５８…左側内面との距離
６０…右側内面との距離
６１…上側内面との距離
６２…第一の画像を撮影する位置と第二の画像を撮影する位置の差分
６４…第一の画像が投影される等価画像平面
６５…第二の画像が投影される等価画像平面
６８…長手方向に延在する構造物の内面の断面寸法
７０…内面距離算出手段
７２…展開図計算手段
７４…展開図
７６…消失点計算手段
７８…消失点座標
８０…展開図連結手段
８２…連結された展開図

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】