特許 5721197 三次元地物データ生成装置、三次元地物データ生成方法、および、三次元地物データ生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5721197

(24)【登録日】2015年4月3日

(45)【発行日】2015年5月20日

(54)【発明の名称】三次元地物データ生成装置、三次元地物データ生成方法、および、三次元地物データ生成プログラム

(51)【国際特許分類】

   G06T 17/05 20110101AFI20150430BHJP

   G06T 7/60 20060101ALI20150430BHJP

   G06T 1/00 20060101ALI20150430BHJP

   G09B 29/00 20060101ALI20150430BHJP

【ＦＩ】

   G06T17/05

   G06T7/60 150S

   G06T7/60 180Z

   G06T7/60 200H

   G06T1/00 315

   G09B29/00 Z

【請求項の数】10

【全頁数】40

(21)【出願番号】特願2013-522909(P2013-522909)

(86)(22)【出願日】2012年6月27日

(86)【国際出願番号】JP2012066423

(87)【国際公開番号】WO2013002280

(87)【国際公開日】20130103

【審査請求日】2013年12月18日

(31)【優先権主張番号】特願2011-143835(P2011-143835)

(32)【優先日】2011年6月29日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000232092

【氏名又は名称】ＮＥＣソリューションイノベータ株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(72)【発明者】

【氏名】王 晶

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２００８−０８２８７０（ＪＰ，Ａ）

【文献】 特開２００６−２８６０１９（ＪＰ，Ａ）

【文献】 特開２００４−１０２４７４（ＪＰ，Ａ）

【文献】 特開２００２−０７４３２３（ＪＰ，Ａ）

【文献】 岡太一, 外４名，”標高データに基づく３次元地図の生成”，映像情報メディア学会技術報告 ２００３年３月開催分，日本，（社）映像情報メディア学会，２００３年 ３月１８日，第２７巻, 第２１号，p.5-8

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １７／０５

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ７／６０

Ｇ０９Ｂ ２９／００

(57)【特許請求の範囲】

【請求項1】

ステレオ画像から家屋、及び建築物を含む地物の三次元データを生成する三次元地物データ生成装置であって、
地形と地物の高さ情報に関連するステレオ視差の予測値を計算するステレオ視差計算手段と、
地物の屋上の内部構造を示す特徴線、地物の外側の形状を表す輪郭線、及び、非地物上の特徴線を含んだ画像上の直線を抽出する直線抽出手段と、
前記直線抽出手段で抽出した直線を実世界における意味を合わせ地物屋上内部の直線、地物外部輪郭線、及び、影領域輪郭線を含む直線に分類する直線類別判定手段と、
影、及びノイズを含む影響で発生した実世界に存在しない直線を処理対象から除外する無意味直線除去手段と、
前記ステレオ視差計算手段からの視差情報、及び、各直線の周辺の色とテクスチャの分布を利用して、一方の画像内の直線と他方の画像内の直線との類別を含めた対応関係が成立かどうかを判定する直線ペア判定手段と、
前記直線ペア判定手段で判定した対応関係がある直線ペアに対し、当該対応関係に基づいてより正確な視差値の計算を行い、前記ステレオ視差計算手段で取得した視差の予測値を修正するステレオ視差修正手段と、
前記直線ペア判定手段で判定した対応関係がある直線ペアの中に、家屋、及び建築物を含む地物に関連するペアだけを選択し、各直線ペアの視差情報、及び、複数の直線ペアの幾何関係を含む制限を利用し、同一の地物に属している直線ペアを決定する直線ペアクラスタリング手段と、
前記直線ペアクラスタリング手段で決定した各地物に属している直線ペアにおける幾何関係、及び視差の情報に基づいて、地物を構成する基本平面を抽出する平面抽出手段と、
前記平面抽出手段で抽出した各地物の平面における三次元空間上の位置関係を決め、各地物の全体を表す三次元モデルを生成する平面組合せ手段と、
を備えることを特徴とする三次元地物データ生成装置。

【請求項2】

前記ステレオ視差計算手段は、ステレオ画像を処理対象として、マルチスケールの縮小ステレオ画像を生成し、各スケール上の視差を計算し、マルチスケールの視差情報をまとめることでオリジナルサイズ上の視差の予測値を取得する、
ことを特徴とする請求項１に記載の三次元地物データ生成装置。

【請求項3】

前記直線抽出手段は、ステレオ画像の一方の画像を処理対象として、マルチスケールで取得した縮小画像から画像ピラミッドを構築し、当該画像ピラミッド上の各階層の画像に対し直線抽出を行い、当該抽出した直線を一定の制限でまとめ１つの直線セットを出力する、
ことを特徴とする請求項１に記載の三次元地物データ生成装置。

【請求項4】

前記直線類別判定手段は、前記ステレオ視差計算手段で取得した視差と入力したステレオ画像とに基づいて、前記直線抽出手段で抽出した直線を、地物に関連する直線、及び、地物と無関係な直線に分類し、更に、地物と関連する直線を、屋上の構造を含む異なる特徴に基づき、地物屋上内部の直線、地物外部輪郭線に分類し、また地物と無関係な直線を、影領域の輪郭線、道路線、及び、他の直線に分類する、
ことを特徴とする請求項１乃至３の何れか１項に記載の三次元地物データ生成装置。

【請求項5】

前記無意味直線除去手段は、前記直線抽出手段で実世界にそれぞれ意味がある直線と一緒に抽出した、画像のノイズ、及び影領域の影響で発生した直線を、処理対象から除外する、
ことを特徴とする請求項１又は３に記載の三次元地物データ生成装置。

【請求項6】

前記無意味直線除去手段は、ステレオ画像上に表される地域を含める地図情報を外部から入力し、当該地図とステレオ画像との重なりの調整でおおよその同一位置の対応関係を決め、地図情報で無効領域を確定し、当該無効領域内のすべての直線をノイズ直線として削除する、
ことを特徴とする請求項１又は３に記載の三次元地物データ生成装置。

【請求項7】

前記直線ペア判定手段は、前記直線抽出手段で抽出した直線を前記直線類別判定手段で分類した類別に基づいて、ステレオ画像の一方の画像内の直線から他方の画像内に対応する直線を捜索する際に、処理対象の前記直線と同じ類別の直線に対してマッチング度を含む基準で対応しているかどうかを判定する、
ことを特徴とする請求項１又は３に記載の三次元地物データ生成装置。

【請求項8】

前記直線ペアクラスタリング手段は、前記直線ペア判定手段で決定した直線ペアの中における地物と関連する直線ペアを選択し、前記ステレオ視差修正手段で取得した視差と複数の直線ペアの幾何関係とを利用し、各地物にそれぞれ属している直線ペアを決定する、
ことを特徴とする請求項１又は７に記載の三次元地物データ生成装置。

【請求項9】

ステレオ画像から家屋、及び建築物を含む地物の三次元データを生成する三次元地物データ生成方法であって、
地形と地物の高さ情報に関連するステレオ視差の予測値を計算するステレオ視差計算ステップと、
地物の屋上の内部構造を示す特徴線、地物の外側の形状を表す輪郭線、及び、非地物上の特徴線を含んだ画像上の直線を抽出する直線抽出ステップと、
前記直線抽出ステップで抽出した直線を実世界における意味を合わせ地物屋上内部の直線、地物外部輪郭線、及び、影領域輪郭線を含む直線に分類する直線類別判定ステップと、
影、及びノイズを含む影響で発生した実世界に存在しない直線を処理対象から除外する無意味直線除去ステップと、
前記ステレオ視差計算ステップからの視差情報、及び、各直線の周辺の色とテクスチャの分布を利用して、一方の画像内の直線と他方の画像内の直線との類別を含めた対応関係が成立かどうかを判定する直線ペア判定ステップと、
前記直線ペア判定ステップで判定した対応関係がある直線ペアに対し、当該対応関係に基づいてより正確な視差値の計算を行い、前記ステレオ視差計算ステップで取得した視差の予測値を修正するステレオ視差修正ステップと、
前記直線ペア判定ステップで判定した対応関係がある直線ペアの中に、家屋、及び建築物を含む地物に関連するペアだけを選択し、各直線ペアの視差情報、及び、複数の直線ペアの幾何関係を含む制限を利用し、同一の地物に属している直線ペアを決定する直線ペアクラスタリングステップと、
前記直線ペアクラスタリングステップで決定した各地物に属している直線ペアにおける幾何関係、及び視差の情報に基づいて、地物を構成する基本平面を抽出する平面抽出ステップと、
前記平面抽出ステップで抽出した各地物の平面における三次元空間上の位置関係を決め、各地物の全体を表す三次元モデルを生成する平面組合せステップと、
を備えることを特徴とする三次元地物データ生成方法。

【請求項10】

コンピュータを、
地形と地物の高さ情報に関連するステレオ視差の予測値を計算するステレオ視差計算手段、
地物の屋上の内部構造を示す特徴線、地物の外側の形状を表す輪郭線、及び、非地物上の特徴線を含んだ画像上の直線を抽出する直線抽出手段、
前記直線抽出手段で抽出した直線を実世界における意味を合わせ地物屋上内部の直線、地物外部輪郭線、及び、影領域輪郭線を含む直線に分類する直線類別判定手段、
影、及びノイズを含む影響で発生した実世界に存在しない直線を処理対象から除外する無意味直線除去手段、
前記ステレオ視差計算手段からの視差情報、及び、各直線の周辺の色とテクスチャの分布を利用して、一方の画像内の直線と他方の画像内の直線との類別を含めた対応関係が成立かどうかを判定する直線ペア判定手段、
前記直線ペア判定手段で判定した対応関係がある直線ペアに対し、当該対応関係に基づいてより正確な視差値の計算を行い、前記ステレオ視差計算手段で取得した視差の予測値を修正するステレオ視差修正手段、
前記直線ペア判定手段で判定した対応関係がある直線ペアの中に、家屋、及び建築物を含む地物に関連するペアだけを選択し、各直線ペアの視差情報、及び、複数の直線ペアの幾何関係を含む制限を利用し、同一の地物に属している直線ペアを決定する直線ペアクラスタリング手段、
前記直線ペアクラスタリング手段で決定した各地物に属している直線ペアにおける幾何関係、及び視差の情報に基づいて、地物を構成する基本平面を抽出する平面抽出手段、
前記平面抽出手段で抽出した各地物の平面における三次元空間上の位置関係を決め、各地物の全体を表す三次元モデルを生成する平面組合せ手段、
として機能させる三次元地物データ生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、詳細な屋上構造を反映した高精度の三次元地物データを低いコストで生成することのできる三次元地物データ生成装置、三次元地物データ生成方法、および、三次元地物データ生成プログラムに関する。

【背景技術】

【0002】

従来、地物（地上に存在する天然または人工のすべての物体）の三次元モデルを生成する方法として、空中レーザスキャナから取得した地表表面の三次元点群データを、周波数に基づいて地物と地面に分離し、分離した地物の輪郭ポリゴンの三次元地理座標を取得することによって地物の三次元モデルを生成する技術が知られている。
このようなレーザスキャナを用いる技術の一例として、特許文献１に三次元市街地空間モデル作成方法およびシステムの発明が開示されている。
この特許文献１の発明では、通常、レーザデータの解像度の制限により、作成した三次元地物モデルが粗くなり、特に地物の屋上の構造を高い精度で表現することができないという問題があった。例えば、１ｍ解像度のレーザデータを元に作成した三次元地物モデルにおける地物の屋上は、実際の建物の屋上の詳細構造を表現できないものであった。

【0003】

最近では、高解像度ステレオ航空写真から同じ解像度のデジタル表層モデルを生成することにより、レーザデータよりも細かい三次元データが生成でき、地物の屋上構造まで細かく表現できるようになっている。また、空中写真測量のコストは、レーザデータを用いた場合よりも低く抑えられる。
また、特許文献２には、地上で建物の写真を撮影すると同時に、撮影位置の経緯度を記録し、操作員が建物の構成面の頂点位置を入力した上で、建物の三次元モデルの座標を計測する発明が開示されている。
この特許文献２の発明では、一軒一軒、撮影と手動入力等の作業の必要があるため、例えば、広範囲に家屋の分布密度が高い住宅街等の場合に、多大なコストがかかるという問題があった。また、地上撮影に限界があるため、例えば、市街地にある高層ビルなどは処理不可となるなどの問題があった。

【0004】

このような事情から、例えば、非特許文献１において、航空写真のステレオ画像を用いた三次元地物復元方法が提案されている。
この非特許文献１には、航空写真のステレオ画像から線特徴を抽出し、左右画像上の線と周辺にある線との幾何関係を利用し、perceptual groupingという技術で平行、垂直など特別な幾何関係を確定するとともに長方形輪郭の地物を抽出し、またステレオ計算で地物の輪郭の三次元座標を取得することで地物の三次元モデルを生成する発明が開示されている。
また、非特許文献２には、基本的に非特許文献１と同じように、perceptual grouping技術で地物と関連するエッジだけをまとめ長方形の家屋の輪郭を決定し、前もってエリアマッチング手法で計算した視差図から三次元家屋モデルを取得する発明が開示されている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００２−０７４３２３号公報

【特許文献2】特開２００４−１０２４７４号公報

【非特許文献】

【0006】

【非特許文献1】R. Mohan, R. Nevatia, "Using Perceptual Organization to Extract 3-D Structures", IEEE Transactions on Pattern Recognition and Machine Intelligence, vol. 11, no. 11, pp. 1121-1139, Nov. 1989.

【非特許文献2】T. Dang, O. Jamet, H. Maitre, "Applying Perceptual Grouping and Surface Models to the Detection and Stereo Reconstruction of Building in Aerial Imagery", XVIII Congress of ISPRS, Comm. III, Int. Archives of Photogrammetry and Remote Sensing, Vol. 30, pp. 165-172, Sep. 1994.

【発明の概要】

【発明が解決しようとする課題】

【0007】

上述した先行技術においては、以下のような問題点があった。
特許文献１を一例とする技術では、画像内にある家屋、建築物について屋上の細かい構造を反映できないという問題があった。
その理由は、上述したようにレーザデータの解像度の制限から、屋上の情報を高精度で取得することができないためである。

【0008】

特許文献２を一例とする技術では、広範囲に密度の高い住宅群等の処理に多大な作業コストがかかり、また地上撮影の制限から高層ビル等の処理が不可能という問題があった。
そのため、広域上の各種の建物を処理できるように、航空写真や衛星画像に基づく三次元データを生成する必要があった。

【0009】

非特許文献１，２を一例とする技術では、perceptual grouping技術を用いており、簡単な家屋輪郭の形状（例えば長方形の屋上）だけを生成することができる。それでも、このperceptual grouping技術では、家屋の分布密度が高い住宅街の場合に、画像特徴として抽出した線の数が非常に膨大になってしまうという問題があった。また、多くの場合、同じブロック内にある家屋のほとんどは道路と平行な方向に建築されているため、抽出した家屋の線に対し、平行関係や垂直関係となるほかの線の数量も非常に多くなり、簡単な幾何関係だけでは各家屋の輪郭を抽出することができないという問題があった。それ以外でも、高層ビルの場合には、視差が非常に大きいため、左右画像上で本来正しい対応付け関係を持つ直線ペアが、誤ってほかの直線と対応付けられてしまうことが発生するという問題があった。

【0010】

本発明は、このような課題を解決するためになされたもので、詳細な屋上構造を反映した高精度の三次元地物データを低いコストで生成することを目的とする。

【課題を解決するための手段】

【0011】

本発明の第１の観点に係る三次元地物データ生成装置は、
ステレオ画像から家屋、及び建築物を含む地物の三次元データを生成する三次元地物データ生成装置であって、
地形と地物の高さ情報に関連するステレオ視差の予測値を計算するステレオ視差計算手段と、
地物の屋上の内部構造を示す特徴線、地物の外側の形状を表す輪郭線、及び、非地物上の特徴線を含んだ画像上の直線を抽出する直線抽出手段と、
前記直線抽出手段で抽出した直線を実世界における意味を合わせ地物屋上内部の直線、地物外部輪郭線、及び、影領域輪郭線を含む直線に分類する直線類別判定手段と、
影、及びノイズを含む影響で発生した実世界に存在しない直線を処理対象から除外する無意味直線除去手段と、
前記ステレオ視差計算手段からの視差情報、及び、各直線の周辺の色とテクスチャの分布を利用して、一方の画像内の直線と他方の画像内の直線との類別を含めた対応関係が成立かどうかを判定する直線ペア判定手段と、
前記直線ペア判定手段で判定した対応関係がある直線ペアに対し、当該対応関係に基づいてより正確な視差値の計算を行い、前記ステレオ視差計算手段で取得した視差の予測値を修正するステレオ視差修正手段と、
前記直線ペア判定手段で判定した対応関係がある直線ペアの中に、家屋、及び建築物を含む地物に関連するペアだけを選択し、各直線ペアの視差情報、及び、複数の直線ペアの幾何関係を含む制限を利用し、同一の地物に属している直線ペアを決定する直線ペアクラスタリング手段と、
前記直線ペアクラスタリング手段で決定した各地物に属している直線ペアにおける幾何関係、及び視差の情報に基づいて、地物を構成する基本平面を抽出する平面抽出手段と、
前記平面抽出手段で抽出した各地物の平面における三次元空間上の位置関係を決め、各地物の全体を表す三次元モデルを生成する平面組合せ手段と、
を備えることを特徴とする。

【0012】

本発明の第２の観点に係る三次元地物データ生成方法は、
ステレオ画像から家屋、及び建築物を含む地物の三次元データを生成する三次元地物データ生成方法であって、
地形と地物の高さ情報に関連するステレオ視差の予測値を計算するステレオ視差計算ステップと、
地物の屋上の内部構造を示す特徴線、地物の外側の形状を表す輪郭線、及び、非地物上の特徴線を含んだ画像上の直線を抽出する直線抽出ステップと、
前記直線抽出ステップで抽出した直線を実世界における意味を合わせ地物屋上内部の直線、地物外部輪郭線、及び、影領域輪郭線を含む直線に分類する直線類別判定ステップと、
影、及びノイズを含む影響で発生した実世界に存在しない直線を処理対象から除外する無意味直線除去ステップと、
前記ステレオ視差計算ステップからの視差情報、及び、各直線の周辺の色とテクスチャの分布を利用して、一方の画像内の直線と他方の画像内の直線との類別を含めた対応関係が成立かどうかを判定する直線ペア判定ステップと、
前記直線ペア判定ステップで判定した対応関係がある直線ペアに対し、当該対応関係に基づいてより正確な視差値の計算を行い、前記ステレオ視差計算ステップで取得した視差の予測値を修正するステレオ視差修正ステップと、
前記直線ペア判定ステップで判定した対応関係がある直線ペアの中に、家屋、及び建築物を含む地物に関連するペアだけを選択し、各直線ペアの視差情報、及び、複数の直線ペアの幾何関係を含む制限を利用し、同一の地物に属している直線ペアを決定する直線ペアクラスタリングステップと、
前記直線ペアクラスタリングステップで決定した各地物に属している直線ペアにおける幾何関係、及び視差の情報に基づいて、地物を構成する基本平面を抽出する平面抽出ステップと、
前記平面抽出ステップで抽出した各地物の平面における三次元空間上の位置関係を決め、各地物の全体を表す三次元モデルを生成する平面組合せステップと、
を備えることを特徴とする。

【0013】

本発明の第３の観点に係る三次元地物データ生成プログラムは、
コンピュータを、
地形と地物の高さ情報に関連するステレオ視差の予測値を計算するステレオ視差計算手段、
地物の屋上の内部構造を示す特徴線、地物の外側の形状を表す輪郭線、及び、非地物上の特徴線を含んだ画像上の直線を抽出する直線抽出手段、
前記直線抽出手段で抽出した直線を実世界における意味を合わせ地物屋上内部の直線、地物外部輪郭線、及び、影領域輪郭線を含む直線に分類する直線類別判定手段、
影、及びノイズを含む影響で発生した実世界に存在しない直線を処理対象から除外する無意味直線除去手段、
前記ステレオ視差計算手段からの視差情報、及び、各直線の周辺の色とテクスチャの分布を利用して、一方の画像内の直線と他方の画像内の直線との類別を含めた対応関係が成立かどうかを判定する直線ペア判定手段、
前記直線ペア判定手段で判定した対応関係がある直線ペアに対し、当該対応関係に基づいてより正確な視差値の計算を行い、前記ステレオ視差計算手段で取得した視差の予測値を修正するステレオ視差修正手段、
前記直線ペア判定手段で判定した対応関係がある直線ペアの中に、家屋、及び建築物を含む地物に関連するペアだけを選択し、各直線ペアの視差情報、及び、複数の直線ペアの幾何関係を含む制限を利用し、同一の地物に属している直線ペアを決定する直線ペアクラスタリング手段、
前記直線ペアクラスタリング手段で決定した各地物に属している直線ペアにおける幾何関係、及び視差の情報に基づいて、地物を構成する基本平面を抽出する平面抽出手段、
前記平面抽出手段で抽出した各地物の平面における三次元空間上の位置関係を決め、各地物の全体を表す三次元モデルを生成する平面組合せ手段、
として機能させることを特徴とする。

【発明の効果】

【0014】

本発明によれば、詳細な屋上構造を反映した高精度の三次元地物データを低いコストで生成することができる。

【図面の簡単な説明】

【0015】

【図1】第１の実施形態に係る三次元地物データ生成装置の概要構成を示すブロック図である。

【図2】密集している家屋の輪郭線の一例を示す模式図である。

【図3】縮小したステレオ画像上でのステレオマッチングの探索範囲を説明するための模式図である。

【図4】エピポーラ線上における探索範囲の制限を説明するための模式図である。

【図5】（ａ）〜（ｅ）共に、直線ペアクラスタリングの具体例を説明するための模式図である。

【図6】第１の実施形態に係る三次元地物データ生成装置をコンピュータに実装する場合における構成の一例を示すブロック図である。

【図7】第１の実施形態に係る三次元地物データ生成処理全体の流れを示すフローチャートである。

【図8】第１の実施形態に係るステレオ画像相互標定の処理内容を示すフローチャートである。

【図9】第１の実施形態に係るステレオ視差取得の処理内容を示すフローチャートである。

【図10】第１の実施形態に係る直線取得の処理内容を示すフローチャートである。

【図11】第１の実施形態に係る直線類別判定の処理内容を示すフローチャートである。

【図12】第１の実施形態に係る無意味直線除去の処理内容を示すフローチャートである。

【図13】第１の実施形態に係る直線ペア判定の処理内容を示すフローチャートである。

【図14】第１の実施形態に係る左画像上直線の対応直線を抽出する詳細を示すフローチャートである。

【図15】第１の実施形態に係る左右画像上の直線の対応関係を結合する詳細を示すフローチャートである。

【図16】第１の実施形態に係るステレオ視差修正の処理内容を示すフローチャートである。

【図17】第１の実施形態に係る直線ペアクラスタリングの処理内容を示すフローチャートである。

【図18】第１の実施形態に係る平面抽出の処理内容を示すフローチャートである。

【図19】第１の実施形態に係る閉合ポリゴンの分類の詳細を示すフローチャートである。

【図20】第１の実施形態に係る平面判定処理の詳細を示すフローチャートである。

【図21】第１の実施形態に係る平面組合せの処理内容を示すフローチャートである。

【図22】第２の実施形態に係る三次元地物データ生成装置の概要構成を示すブロック図である。

【図23】第２の実施形態に係る三次元地物データ生成処理全体の流れを示すフローチャートである。

【図24】第２の実施形態に係るマルチスケールステレオ視差取得の処理内容を示すフローチャートである。

【図25】第３の実施形態に係る三次元地物データ生成装置の概要構成を示すブロック図である。

【図26】第３の実施形態に係る三次元地物データ生成処理全体の流れを示すフローチャートである。

【図27】第３の実施形態に係るマルチスケール直線取得の処理内容を示すフローチャートである。

【図28】第４の実施形態に係る三次元地物データ生成装置の概要構成を示すブロック図である。

【図29】具体的な地図データの一例を示す図である。

【図30】第４の実施形態に係る三次元地物データ生成処理全体の流れを示すフローチャートである。

【図31】第４の実施形態に係る地図関連無意味直線除去の処理内容を示すフローチャートである。

【発明を実施するための形態】

【0016】

以下、本発明の実施形態について図面を参照して説明する。
なお、以下の実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。従って、当業者であればこれらの各要素または全要素をこれと均等なものに置換した実施形態を採用することが可能であり、それらの実施形態も本発明の範囲に含まれる。

【0017】

（第１の実施形態）
図１は、本発明の第１の実施形態に係る三次元地物データ生成装置１００の概要構成を示すブロック図である。この三次元地物データ生成装置１００は、分析対象の家屋や建築物がある地域に対し、上空より異なる視点で撮影した複数の画像からのステレオ情報と、家屋や建築物本来の直線特徴情報とに基づき、家屋や建築物を含む地物の三次元モデルを作成する。以下、本図を参照して説明する。

【0018】

図１に示すように、三次元地物データ生成装置１００は、ステレオ画像データ入力部１０と、直線類別入力部２０と、直線類別記憶部２１と、処理規則入力部３０と、処理規則記憶部３１と、ステレオ視差計算部４０と、直線抽出部５０と、直線類別判定部６０と、無意味直線除去部７０と、直線ペア判定部８０と、ステレオ視差修正部９０と、直線ペアクラスタリング部１１０と、平面抽出部１２０と、平面組合せ部１３０とを有する。

【0019】

ステレオ画像データ入力部１０は、画像データを入力する機能を有する。ユーザは、ステレオ画像データ入力部１０に、ステレオ情報をもつ左画像と右画像のペア画像（ステレオ画像）を入力する。
本発明で使用するステレオ画像は、例えば、航空写真から変換したデジタル画像や衛星写真からのデジタル画像等であるが、これらに限られるものではない。また、特に航空写真の場合、アナログカメラで撮影したアナログ写真をスキャニングなどの処理でデジタル化したデジタル画像であってもよい。
一例として、ステレオ画像が航空画像の場合には、航空機の飛行方向に対して前後の重なりが通常６０％、飛行コース間の上下の重なりが３０％を標準として撮影された航空写真のデータが用いられる。

【0020】

直線類別入力部２０は、処理しようとするステレオ画像内にある直線の類別を入力する機能を有する。ユーザは、直線類別入力部２０に、直線類別を判定する際に必要な類別を入力する。
例えば、直線類別入力部２０は、普段航空写真に表されるすべての直線類別を提供可能となっている。そして、ユーザは、提供された類別から処理している航空写真内に存在する直線の種類を選択し、直線類別入力部２０から選択した直線の種類を入力する。直線類別入力部２０から入力した類別は、直線類別記憶部２１に保存され、直線類別判定部６０が直線類別を判定する際に適時取得される。

【0021】

航空写真に表される直線類別として、例えば、影領域輪郭線、家屋外部輪郭線、家屋屋上内部の直線、道路線、駐車場内直線、水面上ノイズ線、樹木上ノイズ線、ほかのノイズ線等がある。このような直線類別は、それぞれ独立している類別として直線類別入力部２０から入力してもよいし、多数の類別を組合せた新しい類別であってもよい。例えば、家屋外部輪郭線、家屋屋上内部の直線などは、ともに家屋輪郭線として類別してもよい。また、水面上ノイズ線、樹木上ノイズ線などとほかのノイズ線を合わせてノイズ線類として類別してもよい。また、道路線、駐車場内直線などを統一し路面上直線として類別してもよい。

【0022】

実際には、処理している写真のコンテンツ、写真内の各地物、地形の特徴などにより、分類の細かさなどを決めることになる。一例として、図２に示すように、密集している家屋が隣の家屋と近似する構造を持っている場合では、直線ペアの関係をより正確に決定するために、家屋輪郭線を１つの種類ではなく、家屋外部輪郭線、家屋屋上内部の直線の２つの種類に分けるなどである。

【0023】

また、実際の応用目的に応じて直線類別を設定してもよい。具体的には、例えば、直線の角度により全体の１８０度を６等分し、各角度範囲に応じた類別に分類する。また、画像内における家屋や建築物の屋上の構造がポリゴンである場合には、家屋の輪郭を構成する各直線について、各方向に応じて分類する。これにより、後述する直線ペア判定と直線ペアクラスタリングの処理がより簡単に実現できる。
この他の具体例も挙げておく。例えば、対応地域の地図を変換することで、航空写真からの画像と地図とを対応させ、地図上にある街区の範囲情報を画像上に反映し、街区単位で直線を分類する。つまり、１つの街区内の全ての直線は同じ類別と判定することで、後述する対応直線を捜索する際に、潜在直線の捜索範囲を縮小することができる。
また、様々な分類基準の組合せで生成した新しい分類ルールを利用してもよい。

【0024】

図１に戻って、処理規則入力部３０は、三次元地物データ生成に関する全てのパラメータを入力する機能を有する。ユーザは、処理規則入力部３０に、後述するステレオ視差計算、直線ペア判定の処理にそれぞれ必要となるパラメータを入力する。
処理規則入力部３０から入力するパラメータは、例えば、ステレオ視差を縮小スケールで計算する際の縮小スケールの値、及び、直線ペア判定の際に使用するマッチングスコアの閾値などを含む。
処理規則入力部３０から入力したパラメータは、処理規則記憶部３１に保存される。そして、ステレオ視差計算、及び、直線ペア判定のそれぞれの処理を行う際に処理パラメータが、処理規則記憶部３１より適時取得される。

【0025】

ステレオ視差計算部４０は、複数の航空画像が共有している領域内にある地物のステレオ視差を計算する。同一地物において、各画像上に反映されている傾きの変化がその地物の実際の標高を反映する視差の情報となる。
視差を求めるため、まず異なる航空画像上に対応する部分を見つける必要がある。２つの航空画像の場合、このような左右画像上の各部分の相関性を求めるためにステレオマッチング処理が行われる。
ステレオマッチング処理は、左右画像の共有している領域内において、一定の計算方法で、左右画像上それぞれの部分の近似度を算出する。その近似度は左右画像上にマッチングしようとする２つの部分が対応する可能性を示している。
近似度を計算する際に、直接に画像上のピクセル単位の色情報あるいは輝度情報を利用してもよい。この他にも、画像分割を行った後、分割領域ごとに計算してもよいし、また一般的な特徴量、例えば、特徴点、特徴直線、特徴曲線などで計算してもよい。
ステレオマッチングを行う前に、左右画像に対し、まず相互標定を行うことで、対応する部分の捜索範囲を二次元から一次元に制限することができる。つまり、相互標定後、左右画像の対応する部分は、同一のエピポーラ線上だけに存在する。

【0026】

ステレオ視差計算部４０で取得する視差は、まだ視差の予測値であり、後述するように、ステレオ視差修正部９０において直線ペアの情報で修正される。なお、ステレオ視差修正部９０で修正できる視差は、画像のノイズの影響で発生したマッチングノイズなどである。オクルージョン領域内には、元々の左右画像だけでは視差の情報が復元できないので、修正できない。
また、ステレオ視差計算部４０で取得する視差は、まだ実際の標高ではなく、単に標高と正比例の関係を持つ相対的な高さ情報である。視差は地物の相対的な高低関係を反映することができるため、後述する直線ペア判定の処理と直線ペアクラスタリングの処理では補助情報として使用される。
最終的に取得する三次元モデル上において、このような視差に基づいて、単に標高と正比例するように地物の高さを反映させてもよいし、また、入力した航空写真の撮影情報などに基づいて、視差を実際の標高に変換してもよい。

【0027】

ステレオ視差計算部４０では、元サイズのステレオ画像で直接に視差を計算する方法に限られず、他の方法を用いてもよい。例えば、目的に応じて一定の縮小スケールで縮小したステレオ画像上に視差を計算し、そして取得した視差を元サイズの画像上にマッピングすることによって全画像の視差を取得する方法を用いてもよい。
同じ縮小スケールで左右画像をそれぞれ縮小し、縮小画像では元サイズの画像よりもっと効率的に広い探索範囲内の最適対応点を取得することができる。特にステレオ画像内の視差の可能値の範囲が広い場合、つまり、地形の変化が激しい場合には、この方法によってより効率的に正確な視差を取得できる。

【0028】

実際の航空写真では、地形の変化が激しいケースは、様々である。例えば、山間部の場合、大きい正視差と大きい負視差とがある。また、市街地に高層ビルの場合、画像内の平均視差と比べ非常に大きい正視差がある。以上のような視差の可能値の範囲が広い場合では、元の画像サイズで直接にステレオ視差を計算すると、計算の時間と効果を両立させることができない。
全画像に各ピクセル上の視差を正しく取得することが目標である場合には、一番低い負視差から一番高い正視差までの視差の可能値の範囲を探索範囲として、全画素を対象として計算しなければならない。この場合、当然に処理時間が長くかかる。
一方、計算効率が目標であれば、全画像の平均探索範囲を各ピクセルに設定することで、当画像内に一番低い負視差から一番高い正視差までの範囲を探索範囲として設定することより処理時間は短縮される。ただし、平均探索範囲外の非常に高い正視差と非常に低い負視差があるピクセルに正しい視差を取得することができないため、見た目ではオクルージョン領域と同じようにマッチングできない状況となる。

【0029】

以上の問題を解決するために、従来は、まず全画像上に平均探索範囲を設定し視差を計算し、計算した結果の中にマッチングできていない部分だけを手動で探索範囲を一定程度で拡大してからもう一回ステレオマッチングを行うという方法が採用されていた。この方法でも、一定の効率で全画像の視差情報を正しく取得できるが、ユーザの調整が必要となり自動的な方法ではなかった。また、探索範囲を広げるときには、画像の視差の可能値の範囲についての知識が必要だった。
これに対し、本願発明では、縮小したステレオ画像上にステレオマッチングを行うことにより、自動的にかつ効率的に全画素上の視差を正しく取得できる。具体的には、図３に示すように、縮小ステレオ画像で、探索範囲を画像の幅に設定する。つまり、左の画像３０１ａ上のＰ点に対し、右の画像３０１ｂにおける同一エピポーラ線３０２上のＰｓからＰｅまでの全ての点との近似度を計算し、その中に近似度の一番高い点を対応する点と決める。この場合、探索範囲が縮小画像の幅となるので、オクルージョン点以外に、最大の正視差でも最小の負視差でも正しく取得できる。また、探索範囲が画像の幅であり、縮小画像上で行うので、縮小スケールが大きくほど、処理時間は短縮される。

【0030】

縮小ステレオ画像で取得した視差から元のサイズへマッピングするとき、縮小スケールが大きいほど、元サイズの画像上に視差情報が未定のピクセルが多い。一例として説明すると、もし元サイズの画像上に画素の数がＮだとして、縮小スケールが２の場合、（１−０．５×０．５）×Ｎ＝０．７５×Ｎのピクセル上にて視差情報が未定となる。これに対し、縮小スケールが１０の場合、（１−０．１×０．１）×Ｎ＝０．９９×Ｎのピクセル上にて視差情報が未定となる。
もし効率だけでなく精度に対する要求も高い場合には、直接に元のサイズにマッピングするのではなく、縮小画像上に取得した視差を、元サイズのステレオ画像のステレオマッチングの補助情報として使用する。具体的に、まず元サイズ上に視差情報があるピクセルについて、その視差を中心値として一定の探索範囲を設定し、その範囲内にてより正確な視差を計算する。そして、既に決定した視差の情報を探索制限として使い、視差未定の点について対応点を探索する。これにより、自動的にかつ効率的に各ピクセルに適用の探索範囲を設定することができる。
実施する際に縮小スケールの値は、このように効率と効果の両方を要求する設定を行うことが望ましい。効率に対する要求がより高い場合には、少し大きい縮小スケールを設定する。逆に視差の精度に対する要求が高い場合には、少し小さい縮小スケールを設定する。また、画像のコンテンツにも関連する。例えば、地物が少ない単一の地形の場合には、大きい縮小スケールであっても最終的な全体の視差への影響が小さい。一方、密集している地物がある場合には、画像の細かいコンテンツをより正確に反映するため、小さい縮小スケールの方がよいと想定する。

【0031】

図１に戻って、直線抽出部５０は、ステレオ画像の左右画像それぞれを処理し、まず画像内のエッジ特徴を抽出し、後にエッジ特徴に基づき直線を抽出する。
エッジ特徴の抽出方法と直線抽出方法は、それぞれ様々があるが、本実施例に使用される手法に制限はない。
例えば、エッジ特徴の抽出方法として、Canny抽出方法を使用してもよい。また、直線抽出方法として、Hough transform方法を使用してもよい。

【0032】

直線類別判定部６０は、ステレオ画像の左右画像にそれぞれ実行し、直線類別入力部２０で入力された現在のステレオ画像に使用したい直線の類別により、画像内の全ての直線を各類別に分類する。
直線分類の基準は、１つの特定の基準でもよいし、多数の分類基準の組合せでもよい。画像のコンテンツに応じて、適用する直線類別を設定することが望まれる。例えば、街区単位に直線を分類する手法は、高層ビルがない住宅地に適用する。高層ビルには大きい正視差があるため、屋上の輪郭の直線は普段画像上に違う街区領域に存在すると想定する。

【0033】

直線類別判定部６０は、直線類別入力部２０で入力された直線類別の情報により画像内の全ての直線を分類する。このとき、直線類別判定部６０は、直線の特徴、例えば、角度、位置、長さなどと、ステレオ視差計算部４０で取得した視差と、ステレオ画像の特徴などとも利用する。
直線を分類する方法は、分類基準と分類する際に利用する特徴により様々あるが、本実施例に使用される手法に制限はない。一例として、以下に説明する分類方法を使用してもよい。

【0034】

直線とその近隣領域の視差情報により、直線上の平均視差と直線方向上の視差変化を把握することができる。地面と家屋を区別する視差の閾値を設定し、閾値より低い平均視差をもつ直線は、家屋、建築物などの地物と無関係な直線となる。そして、残る直線を、直線の長さ、直線の周りの領域のカラー分布とテクスチャ分布の均一性から、樹木上のノイズ直線及び地物と関連する直線とに分ける。ただし、全画像内の地形の変化が激しい場合、あるいは地物の高さの変化が激しい場合には、領域ごとに違う閾値の設定が必要となる。
直線類別判定部６０は、地物と関連する直線を、更に視差情報と画像の特徴を用いて、家屋外部輪郭線と屋上内部の直線に分類する。直線の両側の視差の差は大きく、かつ両側のカラー特徴も違う場合に、家屋外部輪郭線と判定する。逆に、直線の方向上において視差が変化するかどうかに拘わらず、直線の垂直方向で取得する両側の近隣領域内それぞれの平均視差がほぼ同じ、かつ画像のカラー特徴も大体同じで、明るさのみが少し違う場合に、屋上内部の直線と判定する。
家屋、建築物などの地物の三次元モデルを生成するため、地物と無関係な直線を直接に処理することはないが、地物と関連する直線のペア判定、直線ペアクラスタリングなどの処理をより簡単に実行できるように、更に地物と無関係な直線を分類するようにしてもよい。例えば、画像のカラー特徴で影領域を判定し、直線の中に影領域の輪郭線を区別できる。影領域の輪郭線があるところの近所には、必ず家屋、建築物などの地物がある。また、路上の白線に沿う直線は、道路線として認識し、道路線の交差関係を判別する上で、街区領域の範囲が判定できる。地図の情報がないとき、これも１つの街区範囲情報の取得方法となる。
画像のカラー特徴、テクスチャ特徴、また、視差上のテクスチャ特徴を利用し、例えば、水面抽出を行い、水面領域内の直線は全部水面上ノイズ線と判定する。また、水域と緑地について、地図上の情報からその領域を特定することもできる。

【0035】

直線をいくつかの類別に分けることにより、後述する直線ペア判定、無意味直線除去、及び、直線ペアクラスタリングをより簡単に実現できるようになる。
左右画像上の直線をそれぞれ同じような類別設定で分類し、直線ペア判定の際に、一方の画像上の直線の他方の画像上の対応直線を捜索し、その捜索範囲を処理している直線と同じ種類の直線だけに限定できる。
また、直線ペアを、各家屋や建築物に属しているか否かを基準としてクラスタリングをする際に、直線類別情報も利用できる。例えば、同じ街区領域内にある直線ペアは同一家屋に属している可能性が高いので、クラスタリングの際同じ街区内の直線ペアを優先し判定する。
また、直線の分類の結果により、後述する無意味直線を除去する処理もより効率的に実行できるようになる。例えば、直線分類基準が、地物と関連する直線と無関係な直線だった場合には、簡単に地物と無関係な直線だけを除去できる。また、全ての直線が街区領域ごとに分類されたら、処理したい街区以外の直線は、全部無意味直線として除去することができる。

【0036】

無意味直線除去部７０は、以降の直線ペア判定、直線ペアクラスタリングなどの処理部で処理しない直線を全て無意味直線と判定し、それらの直線を除去し、後の処理の効率と正確率を更に向上させる。
実施する際に、無意味直線の定義は具体的な応用に応じて変わる。例えば、一定サイズ以上の家屋だけを注目する場合には、直線の長さに閾値をかけることで、この閾値以下の長さの直線を全部無意味直線と判定する。
無意味直線除去部７０において、直線類別判定部６０の処理結果を利用し、類別ごとに無意味かどうかの判定が可能であれば、まとめて多数の無意味直線を除去する方法を利用してもよい。基本的に、家屋と関連する直線を除き、ほかの直線を全部無意味直線と判定して除去し、後の処理に影響しないようにする。
例えば、仮に全ての直線を家屋外部輪郭線、屋上内部の直線、道路線、影領域の輪郭線、樹木ノイズ線、及び、水面上ノイズ線などの類別に分けた場合において、一方の画像からの影領域の輪郭線は、実世界に他方の画像上に対応する直線がないので、無意味直線として除去すべきである。また、樹木ノイズ線、及び、水面上ノイズ線も左右画像上にランダムに分布しているので、実世界に対応する直線がないことから除去すべきである。
道路線は街区領域の判定に使えるが、街区ごとの判定ができた場合に、これからの処理で家屋、建築物などの地物の三次元モデルに使わない直線となるため、除去してもよい。

【0037】

直線ペア判定部８０は、無意味直線除去の処理の後に残った全部の直線を処理対象として、一方の画像上の各直線に対し、他方の画像上にある対応直線を見つけ対応関係を付ける。
対応直線を捜索するときに、まず直線の分類結果を利用し、他方の画像上に同じ類別の直線だけを潜在対応直線として直線マッチング度を計算する。
また、対応直線を捜索するときに、ステレオ視差計算部４０にて取得した視差を利用し、現在処理している直線の各ピクセル上の視差に基づき、各ピクセルが他方の画像上に対応する各点を取得し、そして対応点の集合の近隣領域内にある直線を見つけ、それらの直線を潜在対応直線として処理している直線とのマッチング度を計算し、マッチングするかどうかを判断する。
視差情報で潜在対応直線の捜索範囲を決定することは、特に従来の方法では解決できないケース（例えば、近似の色、かつ近似の高さの家屋が密集している地域や高層ビルが含まれる場合）でも、処理の正確率と効率が共に向上する。
処理している直線と潜在対応直線が左右画像それぞれからの直線で、そのマッチング度を計算する際に、様々な特徴を利用してもよい。例えば、直線の両側のカラー分布の特徴、直線の両側のテクスチャ特徴、直線の角度、直線の長さなどの近似度の綜合でマッチング度を取得する。

【0038】

従来の方法として、マッチング度の値に閾値をかけ、閾値以上のマッチング度をもつ直線ペアは対応直線と判定し、そうではないペアは全部対応しないと判定する。このような方法では、特に家屋が密集している地域に、直線の数が多く、かつ近所にある直線も大体同じ視差なので、誤マッチングのケースが多い。
このような問題に対し、本願発明では、段階的にマッチングする方法を採用する。まず信憑度の高い直線ペアの対応関係を決め、そして決めた直線ペアの対応関係をこれからのマッチング制限として利用する。また今度残った直線ペアの中に信憑度の一番高い直線ペアのセットを決定する。さらに、全ての決定した直線ペアがまたこれからのマッチングに制限として利用する。このような段階的な処理で、全体的に直線ペアの対応関係の信憑度を高めることができる。
直線対応関係の信憑度は、この実施例で使用する特徴に限らず、様々な特徴を利用してもよい。例えば、マッチング度の値、直線の長さ、視差の大きさなども利用できる。これらを利用する場合には、マッチング度の高い直線ペアの対応関係を先に決定することで、誤マッチングを減少させることができる。画像内には、通常大きい地物は少ないので、長い直線ペアの対応関係を先に決定することも誤マッチングを減少させることができる。従来の方法では、対応直線を捜索する際に、単に近隣領域内に捜索する。そのため、高層ビルなどの高い建築物の輪郭線をマッチングすることが一番難しい。この問題に対し、視差の情報を利用し先に高層ビル上の直線の対応関係を決定する。これにより、高層ビル関連の誤マッチングをまずなくし、また近所の別の家屋、建築物の輪郭線の誤マッチングも減少させることができる。

【0039】

以下は１つの例として、左右画像上の直線の対応関係を決定する方法を説明する。
一方の画像の直線から他方の画像内に対応直線を捜索し、例えば左画像内の直線Ｓｌ１に対し、右画像内のＳｒ１直線が対応直線と判定できたとする。更に右画像内のＳｒ１直線に対し、左画像内のＳｌ２直線が対応直線と判定できたとする。この場合、直線Ｓｌ１と直線Ｓｌ２とが同じときだけ、直線Ｓｌ１と直線Ｓｒ１との対応関係を決定する。

【0040】

ステレオ視差修正部９０は、直線ペア判定部８０で決定した直線ペアの対応関係を利用し、左右画像の視差を更に修正する。
直線ペアの対応関係がある場合には、同一のエピポーラ線上に対応する点、例えばＮとＭとの対応関係も決められる。このため全部の直線ペアから、１つのエピポーラ線との交差点を対応点とすることで、エピポーラ線上のほかの点の対応点を捜索する制限条件として使用できる。一例として、図４に示すように、直線ペアＡ１，Ａ２と直線ペアＢ１，Ｂ２がそれぞれ対応関係ありの場合には、エピポーラ線４０２との交差点はそれぞれＭ１，Ｍ２とＮ１，Ｎ２となる。そして、エピポーラ線４０２における左画像４０１ａ上の始点と終点はＳ１，Ｅ１となり、右画像４０１ｂ上の始点と終点はＳ２，Ｅ２となる。この状態において、Ｓ１とＭ１の間の点に対する対応点は、必ずＳ２とＭ２の間にある。また、Ｍ１とＮ１の間の点に対する対応点は、必ずＭ２とＮ２の間にある。そして、Ｎ１とＥ１の間の点に対する対応点は、必ずＮ２とＥ２の間にある。
上述のような制限条件で、直線ペアの間の点の視差を修正する。ここで使用する直線ペアは、全部家屋、建築物などの地物と関連する直線である。そのため、特に家屋外部輪郭線と屋上の内部直線などの間にある屋上の領域部分について修正し、屋上部分により正確な視差を取得することができる。また、異なる家屋の外部輪郭線の間の領域内にて、その視差を修正する。これにより、主にオクルージョン領域の輪郭線をより精確に取得することが可能となる。また、屋上の領域内の視差ノイズとオクルージョン領域の輪郭周辺の視差ノイズとも修正することが可能となる。

【0041】

図１に戻って、直線ペアクラスタリング部１１０は、直線ペア判定部８０で決定した直線ペアを、それぞれ所属している各家屋、建築物単位にクラスタを作成する。直線ペアクラスタリングの処理の結果は、１つの家屋、建築物に属しているすべての直線ペアを１つのクラスタにまとめ、直線の間の連結関係も判明される。
直線ペアは、家屋、建築物などの地物と関連する直線だけから構成することと分かる上で、また視差情報もあるので、三次元空間上に直線ペア間の関係を分析し、直線ペアクラスタリングを実行する。以降、三次元空間上に直線ペアを分析するので、直線ペアについて三次元直線との名称を付ける。

【0042】

まず全ての直線ペアの中に、以下の制限を全部満足する２つの三次元直線が、同じ地物に所属し、かつ連結関係がある三次元直線と決定する。２つの三次元直線は交差している、あるいは１つの三次元直線の頂点は、もう１つの三次元直線の頂点の近傍領域内である。
注目する２つの直線は、更に以下の条件を満たさなければならない。２つの三次元直線が囲む領域の面積は事前に設定した家屋面積閾値より高い。また、２つの三次元直線が囲む領域内の視差はこの２つの三次元直線上の平均視差とは同じ、あるいはより高く、かつ領域内の視差は事前に設定した現在処理している２つの三次元直線がある街区内の家屋の高さを表す視差閾値より高い。
そして、決定した連結関係がある三次元直線のペアから、コンベックス制限をかけ、屋上領域の外部の輪郭と屋上内部の構造を表すポリゴンを取得する。図５（ａ）はこのケースを示している。外部輪郭を閉合輪郭として取得するため、コンベックス制限とともに、お互いに頂点は近傍領域内、かつコンベックス制限で同じ輪郭に属し、形成しているポリゴン領域内の視差も以下の条件を満たすとき、図５（ａ）に示すように、本来連結関係がない２つの三次元直線Ｌ（ａ１）とＬ（ａ２）とを繋げ、Ｒ（ａ１）とする。取得したポリゴンの領域内の視差はこのポリゴンを構成する各三次元直線の平均視差と同じ、あるいはより高く、かつ事前に設定したこの街区内の家屋の高さを表す視差閾値より高い条件を満たさなければならない。

【0043】

上述のように、三次元直線の連結関係とか最後の屋上ポリゴンの取得とかの処理では、各直線の全部を使ってもよいし、直線の一部を使ってもよい。直線の一部だけを使うことは、１つの直線が複数の家屋の輪郭にまたがる可能性があるとのことを考える。それは同じ方向に建てられ、かつ間の距離は非常に近い複数の家屋から、同じ方向上の各家屋の輪郭線を１つの直線として抽出されることがあるためである。図５（ｂ）はこのケースを示している。このようなケースでは、図５（ｂ）に示すように、直線Ｌ（ｂ１）をそれぞれ切り離し、Ｒ（ｂ１），Ｒ（ｂ２），Ｒ（ｂ３）にそれぞれに属するようにする。また、図５（ｃ）に示すように、ノイズの影響で本当の輪郭線より長い線Ｌ（ｃ１）を抽出する可能性もある。この場合、直線の一部だけが家屋の屋上輪郭線であり、その一部だけがＲ（ｃ１）に属するようにする。
そして、図５（ｂ）でも示したが、最後のポリゴンを生成するため、元々交差していない２つの直線を交差するように延長してもよい。そうしたら、影などの影響で線の一部しか抽出されていないときでも、家屋の輪郭の一部としての完全な線長を復元することができる。
また、図５（ａ）のように、実際の画像では、画像ノイズなどの影響で元々１つの直線が切断されても、閉合ポリゴン取得でまた連結され１つの直線になることができる。
三次元直線の所属判定の処理では、各三次元直線が１つの家屋に専有する制限はなく、多数の家屋に属していてもよい。まず前述の図５（ｂ）のケースのように、１つの三次元直線が同じ方向に建てられている多数の家屋が共有している可能性があるためである。また、図５（ｄ）で示しているように、隣り合う２つ家屋は、１つの三次元直線Ｌ（ｄ１）を共有することもある。

【0044】

面積閾値の制限と領域内の視差制限があるので、隣り合う家屋に属している三次元直線が誤って同じ家屋に所属する判定はしない。図５（ｂ）の例に合わせて説明する。一つの例は、線Ｌ（ｂ４）と線Ｌ（ｂ５）が形成している領域内には地面があるので、視差制限を満たすことができない。また、線Ｌ（ｂ４）と線Ｌ（ｂ５）が形成している領域の面積は小さすぎ、面積閾値制限を満たすこともできない。線Ｌ（ｂ２）と線Ｌ（ｂ５）が形成している領域は面積制限を満たすが、領域内に地面があるので、視差制限を満たしていない。

【0045】

また、影の影響で屋上の一部の領域はほかの部分と違う明るさを持っているので、カラー特徴とテクスチャ特徴だけでは、完全な屋上を抽出することができないが、視差情報があるので、この屋上に属している各三次元直線から形成している輪郭領域内に視差制限を満たすことで、完全な屋上領域を抽出することができるようになる。図５（ｅ）がこのケースを表している。
従来の方法では、垂直関係とか平行関係とかは使用しているが、本願発明の方法の三次元直線の所属判定では、直線の間の幾何関係を一切使わないことにしている。それで、家屋、建築物などの地物の屋上の構造、輪郭の形などに一切制限しないためである。

【0046】

図１に戻って、平面抽出部１２０は、直線ペアクラスタリングで取得した各地物に属している三次元直線のクラスタから、地物の屋上を構成する全ての平面を抽出する。
直線ペアクラスタリングでは、各地物の屋上を構成するポリゴンを抽出することができる。抽出したポリゴンの中には、屋上の外部輪郭を示す輪郭ポリゴンもあるし、屋上の内部構造を表明する内部ポリゴンもある。まず各家屋のクラスタの中に、輪郭ポリゴンの領域内にある各内部ポリゴンが、平面かどうかを判定する。もし平面だったら、１つの屋上平面として抽出する。また、もし領域内の視差の分布平面ではないが、部分的に平面拘束を満足することであったら、その領域をいくつかの平面に分割する。もし以上のいずれでもない場合に、ポリゴン内部領域は曲面があると判定する。次に、輪郭ポリゴンの領域内にて、内部ポリゴン以外の部分は、内部ポリゴンと同じように処理する。
そう処理する結果、１つの家屋の屋上輪郭ポリゴンは、以下のケースの何れか１つである。
(1)１つの平面。それは平坦な屋上である。(2)多数の平面。それは平面だけで構成している屋上である。(3)曲面。それはドームなどの曲面の屋上である。この場合、いくつかの平面から近似し、最後には(2)と同じように多数の平面から構成する屋上を生成する。上述した図２で示した家屋の例では、２０１類と２０２類の家屋は「多数の平面」のケースであり、２０３類の家屋は「１つの平面」のケースである。

【0047】

図１に戻って、平面組合せ部１３０は、平面抽出部１２０で決定した各地物の屋上の内部の構造に基づき、更に屋上を構成している各部分の幾何関係を決定し、各地物の三次元モデルを抽出する。
平面抽出部１２０の処理結果に応じて、平面組合せ部１３０では以下の異なる処理を行う。
(1)家屋の屋上が１つの平面である場合では、そのままに屋上の平面の視差に基づき地物の三次元モデルを生成する。(2)屋上が多数の平面から構成される場合では、視差情報に基づき各平面の隣接関係を分析し、最後に屋上の三次元構造を明らかにする上に、地物の三次元モデルを生成する。(3)屋上が曲面である場合では、(2)と同じように各平面の隣接関係を決定した上に、地物の三次元モデルを生成する。

【0048】

図６は、第１の実施形態に係る三次元地物データ生成装置１００をコンピュータに実装する場合における、物理的な構成の一例を示すブロック図である。
本発明に係る三次元地物データ生成装置１００は、一般的なコンピュータ装置と同様のハードウェア構成によって実現することができ、制御部２０１、入出力部２０２、表示部２０３、操作部２０４、主記憶部２０５、外部記憶部２０６、及び、システムバス２０７から構成される。
入出力部２０２、表示部２０３、操作部２０４、主記憶部２０５、及び、外部記憶部２０６はいずれもシステムバス２０７を介して制御部２０１に接続されている。

【0049】

制御部２０１は、例えば、ＣＰＵ（Central Processing Unit）などから構成される。制御部２０１は、外部記憶部２０６に記憶されている制御プログラム３００に従い、後述する三次元地物データ生成処理等を実行する。

【0050】

入出力部２０２は、例えば、無線送受信機、無線モデムまたは網終端装置、及びそれらと接続するシリアル・インターフェース又はＬＡＮ（Local Area Network）インターフェースなどから構成されている。入出力部２０２を介して、処理しようとする画像データ、処理パラメータ、直線類別情報などを受信し、またオペレータの指示を入力することができる。そして入出力部２０２から処理した結果データを送信することもできる。

【0051】

表示部２０３は、例えば、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などのディスプレイやプリンタなどを含む。表示部２０３は、入力の画像データや三次元地物データ生成装置１００の処理結果などを表示する。

【0052】

操作部２０４は、キーボード及びマウスなどのポインティングデバイスなどをシステムバス２０７に接続するインターフェース装置から構成されている。操作部２０４を介して、ステレオ画像データ、処理パラメータ、及び、直線類別情報などを入力できる。また、送受信などの指示、処理結果表示の指示などが入力され、制御部２０１に供給される。

【0053】

主記憶部２０５は、例えば、ＲＡＭ（Random Access Memory）などのメインメモリである。この主記憶部２０５は、外部記憶部２０６に記憶されている制御プログラム３００をロードし、制御部２０１の作業領域として用いられる。

【0054】

外部記憶部２０６は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disk Random Access Memory）、ＲＯＭ（Read Only Memory）、磁気ディスク、半導体メモリなどの不揮発性メモリから構成される。外部記憶部２０６は、三次元地物データ生成処理等を制御部２０１に行わせるための制御プログラム３００を予め記憶する。また、外部記憶部２０６は、制御部２０１の指示に従い、この制御プログラム３００が記憶するデータを制御部２０１に供給する。更に、外部記憶部２０６は、制御部２０１から供給されたデータを記憶する。

【0055】

上述した図１に示されている三次元地物データ生成装置１００の各構成部分の処理は、制御プログラム３００を介して、制御部２０１、入出力部２０２、表示部２０３、操作部２０４、主記憶部２０５、外部記憶部２０６などを資源として利用し実行される。
上記の各機能を行う制御プログラム３００を、コンピュータ処理装置上の制御部２０１で実行することにより、ソフトウェア的に三次元地物データ生成装置１００を実現することができる。その場合、制御部２０１は、外部記憶部２０６に格納されている制御プログラム３００を、主記憶部２０５にロードし実行し、各部の動作を制御し上記の各機能を行わせることにより、三次元地物データ生成装置１００をソフトウェア的に実現する。
なお、本発明による三次元地物データ生成装置１００の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを利用し実現することも可能である。
また、上記の三次元データ生成の機能を実現する回路を込み込んだＬＳＩ（Large Scale Integration）などのハードウェア部品から構成される回路を実装し、電子回路として構成することもできる。

【0056】

以下、このような構成の三次元地物データ生成装置１００の動作について、図面を参照して説明する。最初に全体処理の流れを、図７を参照して説明する。図７は、三次元地物データ生成処理を示すフローチャートである。
三次元地物データ生成装置１００は、ステレオ画像データ入力部１０にステレオ画像データが、また、直線類別入力部２０に直線類別情報が、そして、処理規則入力部３０に処理用のパラメータが、それぞれ入力されると、図７の三次元地物データ生成処理を開始する。

【0057】

まず、三次元地物データ生成装置１００は、ステレオ画像相互標定の処理（ステップＳ１００）を行い、ステレオ視差取得の処理（ステップＳ１１０）を行う。つまり、ステレオ視差計算部４０が、入力されたステレオ画像及び撮影条件などに基づき、まず左右画像の相互標定を行い、ステレオ視差を計算する。なお、ステレオ視差計算部４０は、ステレオマッチングを行ってステレオ視差を計算する。

【0058】

三次元地物データ生成装置１００は、直線取得の処理（ステップＳ１２０）を行う。つまり、直線抽出部５０が、入力されたステレオ画像の左右画像のそれぞれから直線を抽出する。

【0059】

三次元地物データ生成装置１００は、直線類別判定の処理（ステップＳ１３０）を行う。つまり、直線類別判定部６０が、入力された直線類別の情報に基づき、またステレオ視差計算部４０で取得した視差も利用する上で、直線抽出部５０により抽出された全ての直線を異なる類別に分ける。このステップも左右画像それぞれに対して実行される。

【0060】

三次元地物データ生成装置１００は、無意味直線除去の処理（ステップＳ１４０）を行う。つまり、無意味直線除去部７０が、無意味直線を類別ごとに除去する。このステップの処理の後に、地物と関係ある直線だけが残る。このステップも左右画像それぞれに対して実行される。

【0061】

三次元地物データ生成装置１００は、直線ペア判定の処理（ステップＳ１５０）を行う。つまり、直線ペア判定部８０が、ステレオ視差計算部４０により取得された視差を利用し、左右画像からの地物と関係ある直線の対応関係を決定する。

【0062】

三次元地物データ生成装置１００は、ステレオ視差修正の処理（ステップＳ１６０）を行う。つまり、ステレオ視差修正部９０が、直線ペア判定部８０により取得された直線ペアに基づき、最初にステレオ視差計算部４０で計算した視差を修正する。

【0063】

三次元地物データ生成装置１００は、直線ペアクラスタリングの処理（ステップＳ１７０）を行う。つまり、直線ペアクラスタリング部１１０が、ステレオ視差修正部９０により修正された視差に基づき、直線ペア判定部８０で取得した直線ペアを各地物への所属関係を決定し、更に視差付けの直線ペア、つまり、三次元直線から各地物の屋上を構成する閉合のポリゴンを抽出する。

【0064】

三次元地物データ生成装置１００は、平面抽出の処理（ステップＳ１８０）を行う。つまり、平面抽出部１２０が、直線ペアクラスタリング部１１０により決定された各地物の屋上を構成する閉合のポリゴンから、実際の状況により、１つの平面、あるいは多数の平面、あるいは屋上の曲面を近似する多数の平面などを抽出する。

【0065】

そして、三次元地物データ生成装置１００は、平面組合せの処理（ステップＳ１９０）を行う。つまり、平面組合せ部１３０が、平面抽出部１２０により抽出された各家屋の屋上の構造を表す平面に基づき、もし複数の平面がある場合に、それらの平面のお互いの幾何関係を判明し、最後に各家屋の三次元モデルを生成する。

【0066】

これらステップＳ１００〜Ｓ１９０の各処理の詳細について、以下、図８〜図２１のフローチャートを参照してそれぞれ説明する。

【0067】

最初に、図８を参照して、上述したステップＳ１００におけるステレオ画像相互標定の処理について説明する。
図８に示すように、ステレオ画像データ入力部１０は、ステレオ航空画像を入力する（ステップＳ１０１）。つまり、ステレオ画像及び撮影条件などのステレオ画像データを入力する。

【0068】

そして、ステレオ視差計算部４０は、入力されたこれらステレオ画像及び撮影条件などに基づき、左右画像の相互標定を行う（ステップＳ１０２）。つまり、左右画像に対して相互標定を行うことで、対応する部分の捜索範囲を二次元から一次元に制限することができる。そのため、相互標定後において、左右画像の対応する部分は、同一のエピポーラ線上だけに存在することになる。

【0069】

次に、図９を参照して、上述したステップＳ１１０におけるステレオ視差取得の処理について説明する。
ステレオ視差計算部４０は、処理規則記憶部３１に予め保持されている縮小スケールを入力し（ステップＳ１１１）、入力された縮小スケールに基づき左右画像それぞれの縮小ステレオ画像を生成し（ステップＳ１１２）、縮小された左右画像でステレオマッチング処理を行い（ステップＳ１１３）、そして、縮小ステレオ画像上の視差を元サイズへのマッピング処理を行う（ステップＳ１１４）。

【0070】

次に、図１０を参照して、上述したステップＳ１２０における直線取得の処理について説明する。
直線抽出部５０は、画像上にてエッジを抽出し（ステップＳ１２１）、抽出されたエッジに基づき直線抽出を行う（ステップＳ１２２）。

【0071】

次に、図１１を参照して、上述したステップＳ１３０における直線類別判定の処理について説明する。
直線類別判定部６０は、直線類別情報を入力する（ステップＳ１３１）。つまり、直線類別記憶部２１に予め保持されている直線類別の情報を入力する。

【0072】

直線類別判定部６０は、類別により直線類別を判定する（ステップＳ１３２）。つまり、入力された直線類別情報に基づき全部の直線を分類する。

【0073】

次に、図１２を参照して、上述したステップＳ１４０における無意味直線除去の処理について説明する。
無意味直線除去部７０は、当直線が地物と無関係かどうかを判別し（ステップＳ１４１）、無関係でないと判別すると（ステップＳ１４１；Ｎｏ）、後続するステップＳ１４３に進み、一方、無関係と判別した場合（ステップＳ１４１；Ｙｅｓ）に、当直線を除去する（ステップＳ１４２）。そして、全直線の確認を終えたかどうかを判別し（ステップＳ１４３）、全直線の確認を終えていないと判別すると（ステップＳ１４３；Ｎｏ）、次の直線へ移行し（ステップＳ１４４）、上述したステップＳ１４１に処理を戻す。一方、全直線の確認を終えたと判別した場合（ステップＳ１４３；Ｙｅｓ）に、この無意味直線除去の処理を終える。

【0074】

次に、図１３〜図１５を参照して、上述したステップＳ１５０における直線ペア判定の処理について説明する。
図１３に示すように、直線ペア判定部８０は、左画像上直線の対応直線抽出を行う（ステップＳ１５１）。つまり、左画像上の各直線に対する右画像上の対応直線を抽出する。
この左画像上直線の対応直線抽出では、具体的に、図１４に示すように、処理規則記憶部３１に予め保持されているマッチングスコアの閾値を入力し（ステップＳ１５１−１）、左画像内の各直線の対応直線ラベルを初期化する（ステップＳ１５１−２）。また、視差により注目直線の右画像上に潜在的な対応直線の領域を取得する（ステップＳ１５１−３）。つまり、視差情報に基づき現在処理しようとする注目直線が右画像上にある潜在対応直線の可能領域を取得する。そして、その領域内に直線があるかどうかを判別する（ステップＳ１５１−４）。
ここで領域内に直線がないと判別すると（ステップＳ１５１−４；Ｎｏ）、後述するステップＳ１５１−１１に進み、一方、領域内に直線があると判別した場合（ステップＳ１５１−４；Ｙｅｓ）に、注目直線と当直線のマッチングスコアを計算し（ステップＳ１５１−５）、スコアが閾値以上かどうかを判別し（ステップＳ１５１−６）、注目直線の中で一番高いスコアであるかどうかを判別する（ステップＳ１５１−７）。
ここでスコアが閾値より小さいと判別された場合（ステップＳ１５１−６；Ｎｏ）や、注目直線の中で一番高いスコアではないと判別された場合（ステップＳ１５１−７；Ｎｏ）に、後述するステップＳ１５１−９に進み、一方、スコアが閾値以上であると判別され（ステップＳ１５１−６；Ｙｅｓ）、かつ、注目直線の中で一番高いスコアであると判別された場合（ステップＳ１５１−７；Ｙｅｓ）に、注目直線の対応直線ラベルに当直線番号を代入する（ステップＳ１５１−８）。

【0075】

領域内にて全直線の確認を終えたかどうかを判別し（ステップＳ１５１−９）、領域内にて全直線の確認を終えていないと判別すると（ステップＳ１５１−９；Ｎｏ）、領域内にて次の直線へ移行し（ステップＳ１５１−１０）、上述したステップＳ１５１−５に処理を戻す。
そして、領域内にて全直線の確認を終えたと判別した場合（ステップＳ１５１−９；Ｙｅｓ）に、左画像内にて全直線の確認を終えたかどうかを判別し（ステップＳ１５１−１１）、左画像内にて全直線の確認を終えていないと判別すると（ステップＳ１５１−１１；Ｎｏ）、次の直線へ移行し（ステップＳ１５１−１２）、上述したステップＳ１５１−３に処理を戻す。一方、左画像内にて全直線の確認を終えたと判別した場合（ステップＳ１５１−１１；Ｙｅｓ）に、ここで左画像上直線の対応直線抽出の処理を終える。

【0076】

図１３に戻って、直線ペア判定部８０は、右画像上直線の対応直線抽出を行う（ステップＳ１５２）。
この右画像上直線の対応直線抽出では、上述した図１４と同様の処理を左画像と右画像とを入れ替えて行う。そのため、右画像上直線の対応直線抽出の処理についてのフローチャートは省略する。

【0077】

図１３に戻って、直線ペア判定部８０は、左右画像上の直線の対応関係を結合する（ステップＳ１５３）。
この左右画像上の対応関係結合では、具体的に、図１５に示すように、左画像上に現在処理しようとする注目直線Ｌfの右画像上の対応直線Ｒfを取得し（ステップＳ１５３−１）、Ｒfの対応直線がＬfかどうかを判別（ステップＳ１５３−２）する。
ここでＲfの対応直線がＬfでないと判別すると（ステップＳ１５３−２；Ｎｏ）、後述するステップＳ１５３−４に進み、一方、Ｒfの対応直線がＬfであると判別した場合（ステップＳ１５３−２；Ｙｅｓ）に、ＬfとＲfのペア関係を確定する（ステップＳ１５３−３）。
そして、左画像内にて全直線の確認を終えたかどうかを判別し（ステップＳ１５３−４）、全直線の確認を終えていないと判別すると（ステップＳ１５３−４；Ｎｏ）、次の直線へ移行し（ステップＳ１５３−５）、上述したステップＳ１５３−１に処理を戻す。一方、全直線の確認を終えたと判別した場合（ステップＳ１５３−４；Ｙｅｓ）に、この左右画像上の対応関係結合を終える。

【0078】

次に、図１６を参照して、上述したステップＳ１６０におけるステレオ視差修正の処理について説明する。
ステレオ視差修正部９０は、注目エピポーラ線と直線ペアの交差点を取得する（ステップＳ１６１）。つまり、現在処理しようとする注目のエピポーラ線と全ての直線ペアの交差点を取得する。

【0079】

ステレオ視差修正部９０は、交差点の間の視差を修正する（ステップＳ１６２）。つまり、左右画像でのそれぞれの交差点の対応関係に基づき、交差点の間の視差を修正する。

【0080】

そして、ステレオ視差修正部９０は、全エピポーラ線の確認を終えたかどうかを判別する（ステップＳ１６３）。
全エピポーラ線の確認を終えていないと判別すると（ステップＳ１６３；Ｎｏ）、ステレオ視差修正部９０は、次のエピポーラ線へ移行し（ステップＳ１６４）、上述したステップＳ１６１へ処理を戻す。

【0081】

一方、全エピポーラ線の確認を終えたと判別すると（ステップＳ１６３；Ｙｅｓ）、ステレオ視差修正部９０は、ここでステレオ視差修正の処理を終える。

【0082】

次に、図１７を参照して、上述したステップＳ１７０における直線ペアクラスタリングの処理について説明する。
直線ペアクラスタリング部１１０は、各直線ペアの所属クラスタを初期化する（ステップＳ１７１）。
直線ペアクラスタリング部１１０は、全直線ペアについて互いの連結関係を確定する（ステップＳ１７２）。

【0083】

直線ペアクラスタリング部１１０は、閉合ポリゴンを抽出する（ステップＳ１７３）。つまり、確定された直線ペアの連結関係から、更に視差制限、面積制限、コンベックス制限などに基づき、閉合のポリゴンを抽出する。

【0084】

そして、直線ペアクラスタリング部１１０は、各閉合ポリゴン関連の直線ペアの所属関係をそれぞれ家屋単位で確定する（ステップＳ１７４）。

【0085】

次に、図１８〜図２０を参照して、上述したステップＳ１８０における各地物単位に行う平面抽出の処理について説明する。
図１８に示すように、平面抽出部１２０は、全ての閉合ポリゴンを内部ポリゴンと輪郭ポリゴンとに分類する（ステップＳ１８１）。
この閉合ポリゴンの分類では、具体的に、図１９に示すように、現在処理しようとするポリゴン上の注目辺が屋上内部線かどうかを判別し（ステップＳ１８１−１）、屋上内部線であると判別すると（ステップＳ１８１−１；Ｙｅｓ）、注目ポリゴンが内部ポリゴンであると決定する（ステップＳ１８１−２）。一方、屋上内部線でないと判別した場合（ステップＳ１８１−１；Ｎｏ）に、ポリゴン全辺の確認を終えたかどうかを判別し（ステップＳ１８１−３）、全辺の確認を終えていないと判別すると（ステップＳ１８１−３；Ｎｏ）、次の辺へ移行し（ステップＳ１８１−４）、上述したステップＳ１８１−１に処理を戻す。一方、全辺の確認を終えたと判別した場合（ステップＳ１８１−３；Ｙｅｓ）に、注目ポリゴンが輪郭ポリゴンであると決定する（ステップＳ１８１−５）。

【0086】

図１８に戻って、平面抽出部１２０は、内部ポリゴンの平面判定処理を行う（ステップＳ１８２）。
この平面判定処理では、具体的に、図２０に示すように、現在処理しようとするポリゴン内部の領域が平面かどうかを判別し（ステップＳ１８２−１）、平面であると判別すると（ステップＳ１８２−１；Ｙｅｓ）、ポリゴン内の領域を１つの平面で表示する（ステップＳ１８２−２）。一方、平面でないと判別した場合（ステップＳ１８２−１；Ｎｏ）に、ポリゴン内領域が多数の平面に分割できるかどうかを判別し（ステップＳ１８２−３）、分割できないと判別すると（ステップＳ１８２−３；Ｎｏ）、ポリゴン内の領域を多数の平面で近似する（ステップＳ１８２−４）。一方、分割できると判別した場合（ステップＳ１８２−３；Ｙｅｓ）に、ポリゴン内の領域を多数の平面に分割する（ステップＳ１８２−５）。

【0087】

図１８に戻って、平面抽出部１２０は、輪郭ポリゴン領域内で内部ポリゴン以外領域の平面判定処理を行う（ステップＳ１８３）。
この平面判定処理でも、上述した図２０と同様の処理を行う。

【0088】

最後に、図２１を参照して、上述したステップＳ１９０における平面組合せの処理について説明する。
まず、平面組合せ部１３０は、地物屋上が１つの平面かどうかを判別する（ステップＳ１９１）。つまり、現在処理しようとする注目地物の屋上が１つの平面かどうかを判定する。

【0089】

平面組合せ部１３０は、１つの平面であると判別した場合（ステップＳ１９１；Ｙｅｓ）、後述するステップＳ１９３に処理を進める。
一方、１つの平面でないと判別すると（ステップＳ１９１；Ｎｏ）、平面組合せ部１３０は、多数平面の隣接関係を判定する（ステップＳ１９２）。つまり、屋上を表示する多数の平面のお互いの隣接関係を判定する。

【0090】

平面組合せ部１３０は、三次元地物モデルを抽出する（ステップＳ１９３）。つまり、注目地物の三次元地物モデルを抽出する。

【0091】

平面組合せ部１３０は、全地物の確認を終えたかどうかを判別する（ステップＳ１９４）。
平面組合せ部１３０は、全地物の確認を終えていないと判別すると（ステップＳ１９４；Ｎｏ）、次の地物へ移行し（ステップＳ１９５）、上述したステップＳ１９１に処理を戻す。

【0092】

一方、全地物の確認を終えたと判別した場合（ステップＳ１９４；Ｙｅｓ）に、平面組合せ部１３０は、ここで平面組合せの処理を終える。

【0093】

このように、図７（図８〜図２１）に示す三次元地物データ生成処理によって、分析対象の家屋や建築物がある地域に対し、上空より異なる視点で撮影した複数の画像からのステレオ情報と、家屋や建築物本来の直線特徴情報とに基づき、家屋や建築物を含む地物の三次元モデルを作成することができる。

【0094】

（第２の実施形態）
次に、本発明の第２の実施形態について図面を参照して詳細に説明する。
まず、本発明の第２の実施形態に係る三次元地物データ生成装置１００の概要構成は図２２のブロック図で示される。
図２２に参照すると、本発明の第２の実施形態は、図１に示された第１の実施形態におけるステレオ視差計算部４０を、マルチスケールステレオ視差計算部１４０に置き換えた点で、第１の実施形態と異なる。

【0095】

マルチスケールステレオ視差計算部１４０は、多数のスケールを使い、マルチスケールのステレオ画像を生成し、各スケール上の視差計算を行い、最後にマルチスケール上の視差情報をまとめることで元サイズのステレオ画像上の視差を取得する。
この場合、マルチスケール画像の中に、縮小スケールの大きいステレオ画像で、広い視差範囲も効率的取得でき、一方、縮小スケールの小さいステレオ画像で、画像の細かい特徴が反映されているのでより正確な視差を取得できる。マルチスケールのステレオ画像を利用した場合には、上述の両方のメリットを同時に利用することが可能となる。
実施する際には、マルチスケール分析の階層数、階層毎にスケール変化のステップ数などは、処理効率、処理効果や画像のコンテンツを合わせて設定することが望まれる。

【0096】

第２の実施形態においても、処理規則入力部３０の基本機能は、第１の実施形態と同じである。ただ、ステレオ視差計算の際に、処理規則入力部３０からマルチスケールステレオ視差計算部１４０へ入力するパラメータは、第１の実施形態と違い、階層の数と各階層上の縮小スケールである。また、直線ペア判定処理用のパラメータは、第１の実施形態と同一のため、説明は省略する。

【0097】

第２の実施形態に係る三次元地物データ生成装置１００をコンピュータに実装する場合における物理的な構成は、基本的に第１の実施形態と同様に、図６に示すブロック図のような構成であるため、説明は省略する。

【0098】

次に、第２の実施形態に係る三次元地物データ生成装置１００の動作について、図面を参照しながら詳細に説明する。
まず、全体処理の流れについて、図２３を参照して説明する。図２３は、第２の実施形態における、三次元地物データ生成処理を示すフローチャートである。
第１の実施形態と同じように、ステレオ画像データ入力部１０にステレオ画像データが、また、直線類別入力部２０に直線類別情報が、そして、処理規則入力部３０に処理用のパラメータが、それぞれ入力されると、図２３の三次元地物データ生成処理を開始する。

【0099】

全体処理の流れにおける各ステップの処理は、マルチスケールステレオ視差取得（ステップＳ２１０）以外に、第１の実施形態と同じのため、その説明は省略する。

【0100】

図２４を参照して、上述したステップＳ２１０におけるマルチスケールステレオ視差取得の処理について説明する。
マルチスケールステレオ視差計算部１４０は、処理規則記憶部３１に予め保持されている画像階層数と各階層上の縮小スケールを入力し（ステップＳ２１１）、入力されたパラメータ（画像階層数と縮小スケール）に基づき左右画像それぞれのマルチスケールのステレオ画像を生成し（ステップＳ２１２）、各階層上でステレオマッチング処理を行う（ステップＳ２１３）。そして、各階層の視差の結合処理を行う（ステップＳ２１４）。つまり、各階層上の視差を結合し、元サイズ上のステレオ視差を取得する。

【0101】

（第３の実施形態）
次に、本発明の第３の実施形態について図面を参照して詳細に説明する。
まず、本発明の第３の実施形態に係る三次元地物データ生成装置１００の概要構成は図２５のブロック図で示される。
図２５に参照すると、本発明の第３の実施形態は、図１に示された第１の実施形態における直線抽出部５０を、マルチスケール直線抽出部１５０に置き換えた点で、第１の実施形態と異なる。また、第２の実施形態とも、上述した同じ点で異なる。

【0102】

マルチスケール直線抽出部１５０は、マルチスケールの画像ピラミッドから、各階層の画像に対し直線抽出を行い、最後に各階層からの直線に一定制限を使い、まとめた一つの直線セットの結果を出力する。
マルチスケール画像から抽出した直線は、単一スケールの場合よりも、ノイズ直線の数が少なくなり、実際に意味のある直線、例えば、家屋の輪郭直線などもより連結性よく抽出することができる。
このように、様々な方法があるが、本実施例に使用される手法に制限はない。例えば、Multiscale line detection方法を使用してもよい。

【0103】

第３の実施形態においても、処理規則入力部３０の基本機能は、第１の実施形態と同じである。ただ、直線抽出の際に、第１の実施形態と違い、処理規則入力部３０から、階層の数と各階層上の縮小スケールのパラメータを入力する。また、直線ペア判定の処理用のパラメータは、第１の実施形態と同一のため、説明は省略する。

【0104】

第３の実施形態に係る三次元地物データ生成装置１００をコンピュータに実装する場合における物理的な構成は、基本的に第１の実施形態と同様に、図６に示すブロック図のような構成であるため、説明は省略する。

【0105】

次に、第３の実施形態に係る三次元地物データ生成装置１００の動作について、図面を参照しながら詳細に説明する。
まず、全体処理の流れについて、図２６を参照して説明する。図２６は、第３の実施形態における、三次元地物データ生成処理を示すフローチャートである。
第１の実施形態と同じように、ステレオ画像データ入力部１０にステレオ画像データが、また、直線類別入力部２０に直線類別情報が、そして、処理規則入力部３０に処理用のパラメータが、それぞれ入力されると、図２６の三次元地物データ生成処理を開始する。

【0106】

全体処理の流れにおける各ステップの処理は、マルチスケール直線取得（ステップＳ３２０）以外に、第１の実施形態と同じのため、その説明は省略する。

【0107】

図２７を参照して、上述したステップＳ３２０におけるマルチスケール直線取得の処理について説明する。
マルチスケール直線抽出部１５０は、処理規則記憶部３１に予め保持されている画像階層数と縮小スケールを入力し（ステップＳ３２１）、入力されたパラメータ（画像階層数と縮小スケール）に基づき左右画像それぞれのマルチスケール画像を生成し（ステップＳ３２２）、各階層上でエッジを抽出し（ステップＳ３２３）、各階層上で直線を抽出する（ステップＳ３２４）。そして、各階層直線の結合処理を行う（ステップＳ３２５）。つまり、各階層上に抽出された直線を結合し、最後に１つの直線セットを取得する。

【0108】

（第４の実施形態）
次に、本発明の第４の実施形態について図面を参照して詳細に説明する。
まず、本発明の第４の実施形態に係る三次元地物データ生成装置１００の概要構成は図２８のブロック図で示される。
図２８に参照すると、本発明の第４の実施形態は、図１に示された第１の実施形態における無意味直線除去部７０を地図関連無意味直線除去部１７０に置き換えた点で、また、地図データ入力部１６０を追加した点で、第１の実施形態と異なる。また、第２の実施形態と、第３の実施形態とも、上述した同じ点で異なる。

【0109】

地図データ入力部１６０は、地図データを入力する機能を有し、ノイズ直線等を削除する際に有効領域を定義するための補助データとしての地図データを入力する。
地図データは、対象領域内の地理情報、例えば、家屋、道路、河、緑地、樹木などの地物の位置、範囲、形などの情報を保持しているデータである。
本発明で使用する地図データは、一定精度の経緯度情報に基づき、基本の地形と地物の地理情報を反映する地図データであればよく、例えば、市販の地図、基盤地図、地形図などが利用できる。

【0110】

具体的に基盤地図の場合では、一例として、図２９に示すような地図データが利用できる。この図２９に示される地図データでは、家屋が集中している住宅地、道路、鉄道、河川、緑地などの地形が表されている。なお、この図２９では、出願図面の規定により、モノクロにて示されているが、実際に使用される地図データはカラーで示されており、家屋、池、緑地など、それぞれの地形や地物が異なる色で色分けされている。
本実施例では、この図２９のような地図データ（地図のデジタルデータ）を使用する場合を一例として説明する。
なお、本発明に使用する地図データは、建物、道路、河川などの輪郭線上に各点の座標の経緯度情報を有するベクター地図であるが、一定縮尺のラスター地図であってもよい。
また、各地形や地物に、例えば町名、河川名などの実際の場所に示す記号情報が付与されていてもよい。記号情報が付与されている場合、その記号情報と関連する地形や地物が処理対象かどうかを判別するのに役立てることができる。

【0111】

地図関連無意味直線除去部１７０は、地図の情報に基づいて無意味直線を除去する方法を利用する。処理対象となるステレオ航空写真内に、家屋、建築物以外にも様々な地形、地物が存在する可能性がある。家屋、建築物がある有効領域に対し、家屋、建築物と無関係な領域は本発明の処理にとって無効領域となる。もしその無効領域の範囲がはっきりと有効領域の範囲と区別することができる場合には、無効領域を抽出することで、無効領域内のすべての直線は無意味直線として除去され、これからの処理がより効率的に実行されることができるようになる。

【0112】

河川、池、海などの水域は、家屋、建築物と関連しないし、通常ほかの地物と独立している領域を占めることで、三次元モデル生成処理の無効領域として抽出することができる。また、市街地にある一定面積の緑地、例えば、公園、林地、たんぽ、畑なども無効領域として三次元モデル生成処理から除外することが可能である。
ほかに家屋、建築物と無関係な地形、地物、例えば、道路、鉄道、道路側の樹木などが、多くの場合家屋、建築物と混在するので、簡単に地図情報だけで家屋、建築物がある領域から分割することができない。前述のような地形、地物に対し、領域抽出と領域除外する処理はしない。
水域、緑地などのような、家屋、建築物とはっきり分割できる領域に対し、人手でその領域の輪郭線を書くこともできるが、それよりも効率的に自動で抽出することを処理対象の航空写真と地図データの組合せで実現する。地図データから水域、緑地の領域を抽出してから、地図データと航空写真の重なりで抽出した領域を航空写真に反映することができ、航空写真上に除外領域を自動的に判定する。

【0113】

空中撮影時航空写真と一緒に取得した情報の中に、撮影中心点の座標が航空写真の実世界の位置を示し、撮影時飛行機の姿勢を示す角度が航空写真の実世界の方位を決め、サイズと解像度が航空写真の実世界の範囲を決める。
例えば、ステレオ航空写真に対し、撮影点の中心点座標と撮影時飛行機の姿勢の角度に基づき空中三角測量の成果を取得した上で、ステレオ画像の相互標定を行う。その後、地図の幾何変換をして、地図と画像上同じ位置の対応関係を決め、地図を画像と重なることができる。
画像と対応することを実現するため、地図の幾何変換を行う。基本的に画像の撮影情報と画像内のコンテンツに基づいて、例えば、アフィン変換で地図を変換することにより同じ地域の画像との位置対応関係を取得する。

【0114】

地図上において、通常違う地形と地物を異なる色で表示している。上述した図２９の地図は、出願図面の規定により、モノクロにて表示されているが、実際のカラーの地図上では、以下のように表示されている。つまり、建築物はグレーで、普通の道路は白で、主要道路は黄色で、水域は青色で、緑地は緑でそれぞれ表示されている。このような色情報に基づき、違う地形を区別することができ、更に違う地形の各領域を判明する。事前に地図と画像の位置対応を行ったので、抽出した水域と緑地の領域の輪郭線を直接に画像上に反映することができる。
ベクター地図の場合には、普通各領域はポリゴンで表示され、色情報はポリゴンの１つの属性として保存されている。そこで、簡単に色情報で領域の表示している地形を判別し、水域と緑地の領域を抽出する。ただし、領域の輪郭はベクターで直接に航空写真上に使えないので、航空写真上の同一位置のピクセルを輪郭線ピクセルとしてまず変換する必要がある。一方、ラスター地図画像の場合には、色情報で画像分割を行い、水域と緑地の領域のピクセル単位の輪郭線を抽出し、その輪郭線を航空写真に反映する。

【0115】

第４の実施形態に係る三次元地物データ生成装置１００をコンピュータに実装する場合における物理的な構成は、基本的に第１の実施形態と同様に、図６に示すブロック図のような構成である。ただ、以下の部分だけについて、第１の実施形態と異なる。
入出力部２０２を介して、入力できるデータは、処理しようとする画像データ、処理パラメータ、処理方法種別、直線類別情報など以外に、地図データも含めている。
表示部２０３では、表示できるデータは、入力の画像データや三次元地物データ生成装置１００の処理結果など以外に、地図データも含めている。
操作部２０４を介して、入力できるデータは、第１の実施形態で説明したステレオ画像データ、処理パラメータ、及び、直線類別情報など以外に、地図データも含めている。

【0116】

次に、第４の実施形態に係る三次元地物データ生成装置１００の動作について、図面を参照しながら詳細に説明する。
まず、全体処理の流れについて、図３０を参照して説明する。図３０は、第４の実施形態における、三次元地物データ生成処理を示すフローチャートである。
第１の実施形態と同じように、ステレオ画像データ入力部１０にステレオ画像データが、また、直線類別入力部２０に直線類別情報が、地図データ入力部１６０に地図データが、そして、処理規則入力部３０に処理用のパラメータが、それぞれ入力されると、図３０の三次元地物データ生成処理を開始する。

【0117】

全体処理の流れにおける各ステップの処理は、地図関連無意味直線除去（ステップＳ４４０）以外に、第１の実施形態と同じのため、その説明は省略する。

【0118】

図３１を参照して、上述したステップＳ４４０における地図関連無意味直線除去の処理について説明する。
地図関連無意味直線除去部１７０は、地図データ入力部１６０を介して地図データを入力し（ステップＳ４４１）、地図上の水域と緑地（家屋、建築物の地物と無関係な領域）を抽出し（ステップＳ４４２）、画像を参照するため、地図を幾何変換し（ステップＳ４４３）、地図上に抽出された領域を画像上に反映させる（ステップＳ４４４）。そして、抽出領域内の直線を除去する（ステップＳ４４５）。つまり、画像上に反映された水域と緑地の領域における全ての直線を除去する。

【0119】

これら第２〜第４の実施形態で説明した方法を採用した場合でも、三次元地物データ生成装置１００は、分析対象の家屋や建築物がある地域に対し、上空より異なる視点で撮影した複数の画像からのステレオ情報と、家屋や建築物本来の直線特徴情報とに基づき、家屋や建築物を含む地物の三次元モデルを作成することができる。
つまり、第２の実施形態に係る三次元地物データ生成装置１００は、ステレオ視差計算の際に、マルチスケール上に計算した視差を利用し、最後に元サイズのステレオ画像上の視差を取得するマルチスケールステレオ視差計算手段を使い、単一のスケール上の視差計算より正確な視差を取得することができる。
また、第３の実施形態に係る三次元地物データ生成装置１００は、直線抽出の際に、マルチスケール上に直線を抽出し、最後に各階層からの直線をまとめた一つの直線セットを出力するマルチスケール直線抽出手段を使い、単一のスケール上の直線抽出より、ノイズ直線の数が少なくなり、抽出してきた直線の連結性もよくなることができる。
また、第４の実施形態に係る三次元地物データ生成装置１００は、無意味直線を除去する際に、地図情報を利用することで、家屋、建築物と無関係な領域を無効領域として判明し、無効領域内のすべての直線は無意味直線として除去され、より効率的に無意味直線除去を実行することができる。

【0120】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されているが、以下には限られない。

【0121】

（付記１）
ステレオ画像から家屋、及び建築物を含む地物の三次元データを生成する三次元地物データ生成装置であって、
地形と地物の高さ情報に関連するステレオ視差の予測値を計算するステレオ視差計算手段と、
地物の屋上の内部構造を示す特徴線、地物の外側の形状を表す輪郭線、及び、非地物上の特徴線を含んだ画像上の直線を抽出する直線抽出手段と、
前記直線抽出手段で抽出した直線を実世界における意味を合わせ地物屋上内部の直線、地物外部輪郭線、及び、影領域輪郭線を含む直線に分類する直線類別判定手段と、
影、及びノイズを含む影響で発生した実世界に存在しない直線を処理対象から除外する無意味直線除去手段と、
前記ステレオ視差計算手段からの視差情報、及び、各直線の周辺の色とテクスチャの分布を利用して、一方の画像内の直線と他方の画像内の直線との類別を含めた対応関係が成立かどうかを判定する直線ペア判定手段と、
前記直線ペア判定手段で判定した対応関係がある直線ペアに対し、当該対応関係に基づいてより正確な視差値の計算を行い、前記ステレオ視差計算手段で取得した視差の予測値を修正するステレオ視差修正手段と、
前記直線ペア判定手段で判定した対応関係がある直線ペアの中に、家屋、及び建築物を含む地物に関連するペアだけを選択し、各直線ペアの視差情報、及び、複数の直線ペアの幾何関係を含む制限を利用し、同一の地物に属している直線ペアを決定する直線ペアクラスタリング手段と、
前記直線ペアクラスタリング手段で決定した各地物に属している直線ペアにおける幾何関係、及び視差の情報に基づいて、地物を構成する基本平面を抽出する平面抽出手段と、
前記平面抽出手段で抽出した各地物の平面における三次元空間上の位置関係を決め、各地物の全体を表す三次元モデルを生成する平面組合せ手段と、
を備えることを特徴とする三次元地物データ生成装置。

【0122】

（付記２）
前記ステレオ視差計算手段は、ステレオ画像から画像内にある地形と全ての地物に関して、相対的な高さの視差を予測する、
ことを特徴とする付記１に記載の三次元地物データ生成装置。

【0123】

（付記３）
前記ステレオ視差計算手段は、ステレオ画像を処理対象として、目的に応じて一定の縮小スケールで縮小ステレオ画像を取得し、縮小したステレオ画像で視差を計算し、前記縮小スケールに基づき前記視差をオリジナルサイズへマッピングすることで全画像内の視差の予測値を取得する、
ことを特徴とする付記１又は２に記載の三次元地物データ生成装置。

【0124】

（付記４）
前記ステレオ視差計算手段は、ステレオ画像を処理対象として、マルチスケールの縮小ステレオ画像を生成し、各スケール上の視差を計算し、マルチスケールの視差情報をまとめることでオリジナルサイズ上の視差の予測値を取得する、
ことを特徴とする付記１乃至３の何れか１つに記載の三次元地物データ生成装置。

【0125】

（付記５）
前記直線抽出手段は、ステレオ画像の一方の画像から、所定の画像処理方法で抽出したエッジに基づいて、直線を抽出する、
ことを特徴とする付記１に記載の三次元地物データ生成装置。

【0126】

（付記６）
前記直線抽出手段は、ステレオ画像の一方の画像を処理対象として、マルチスケールで取得した縮小画像から画像ピラミッドを構築し、当該画像ピラミッド上の各階層の画像に対し直線抽出を行い、当該抽出した直線を一定の制限でまとめ１つの直線セットを出力する、
ことを特徴とする付記１又は５に記載の三次元地物データ生成装置。

【0127】

（付記７）
前記直線類別判定手段は、前記ステレオ視差計算手段で取得した視差と入力したステレオ画像とに基づいて、前記直線抽出手段で抽出した直線を、地物に関連する直線、及び、地物と無関係な直線に分類する、
ことを特徴とする付記１乃至６の何れか１つに記載の三次元地物データ生成装置。

【0128】

（付記８）
前記直線類別判定手段は、前記ステレオ視差計算手段で取得した視差と入力したステレオ画像とに基づいて、前記直線抽出手段で抽出した直線の中の地物と関連する直線を、更に屋上の構造を含む異なる特徴から、地物屋上内部の直線、及び、地物外部輪郭線に分類する、
ことを特徴とする付記１乃至７の何れか１つに記載の三次元地物データ生成装置。

【0129】

（付記９）
前記直線類別判定手段は、前記ステレオ視差計算手段で取得した視差と入力したステレオ画像とに基づいて、前記直線抽出手段で抽出した直線の中の地物と無関係な直線を、更に影領域の輪郭線、道路線、及び、他の直線に分類する、
ことを特徴とする付記１乃至８の何れか１つに記載の三次元地物データ生成装置。

【0130】

（付記１０）
前記直線類別判定手段は、前記ステレオ視差計算手段で取得した視差と入力したステレオ画像とに基づいて、前記直線抽出手段で抽出した直線を、利用者特有の応用目的に応じて分類する、
ことを特徴とする付記１乃至９の何れか１つに記載の三次元地物データ生成装置。

【0131】

（付記１１）
前記直線類別判定手段は、前記ステレオ視差計算手段で取得した視差と入力したステレオ画像とに基づいて、前記直線抽出手段で抽出した直線を、更に多数の分類基準を組合せることで生成した分類ルールに従って分類する、
ことを特徴とする付記１乃至１０の何れか１つに記載の三次元地物データ生成装置。

【0132】

（付記１２）
前記無意味直線除去手段は、前記直線抽出手段で実世界にそれぞれ意味がある直線と一緒に抽出した、画像のノイズ、及び影領域の影響で発生した直線を、処理対象から除外する、
ことを特徴とする付記１、５又は６に記載の三次元地物データ生成装置。

【0133】

（付記１３）
前記無意味直線除去手段は、ステレオ画像上に表される地域を含める地図情報を外部から入力し、当該地図とステレオ画像との重なりの調整でおおよその同一位置の対応関係を決め、地図情報で無効領域を確定し、当該無効領域内のすべての直線をノイズ直線として削除する、
ことを特徴とする付記１、５、６又は１２に記載の三次元地物データ生成装置。

【0134】

（付記１４）
前記無意味直線除去手段は、前記直線抽出手段で抽出した直線の中から、使用者特有の応用目的に応じて定義したノイズ直線を削除する、
ことを特徴とする付記１、５、６、１２又は１３に記載の三次元地物データ生成装置。

【0135】

（付記１５）
前記直線ペア判定手段は、前記直線抽出手段で抽出した直線を前記直線類別判定手段で分類した類別に基づいて、ステレオ画像の一方の画像内の直線から他方の画像内に対応する直線を捜索する際に、処理対象の前記直線と同じ類別の直線に対してマッチング度を含む基準で対応しているかどうかを判定する、
ことを特徴とする付記１、５、６、７、８、９、１０又は１１に記載の三次元地物データ生成装置。

【0136】

（付記１６）
前記直線ペア判定手段は、ステレオ画像の一方の画像から前記直線抽出手段で抽出した直線に対し、他方の画像内において使用者により一部又は全部が対応付けられた直線を決定する、
ことを特徴とする付記１、５、６、７、８、９、１０、１１又は１５に記載の三次元地物データ生成装置。

【0137】

（付記１７）
前記ステレオ視差修正手段は、前記直線ペア判定手段で取得した直線ペアに基づいて、直線の対応関係を左右画像上同一のエピポーラ線上その他の点のマッチング制限条件としたより正確な視差値を取得し、前記ステレオ視差計算手段で取得した視差予測値を修正する、
ことを特徴とする付記１、２、３、４、１５又は１６に記載の三次元地物データ生成装置。

【0138】

（付記１８）
前記ステレオ視差修正手段は、前記直線ペア判定手段で取得した直線ペアの対応関係を同一エピポーラ線上その他の点のマッチング制限条件として利用し、一定高さの地物の近傍に発生したオクルージョン領域の範囲をより正確に決定することで、前記ステレオ視差計算手段から取得した視差予測値を修正する、
ことを特徴とする付記１、２、３、４、１５、１６又は１７に記載の三次元地物データ生成装置。

【0139】

（付記１９）
前記直線ペアクラスタリング手段は、前記直線ペア判定手段で決定した直線ペアの中における地物と関連する直線ペアを選択し、前記ステレオ視差修正手段で取得した視差と複数の直線ペアの幾何関係とを利用し、各地物にそれぞれ属している直線ペアを決定する、
ことを特徴とする付記１、１５、１６、１７又は１８に記載の三次元地物データ生成装置。

【0140】

（付記２０）
前記直線ペアクラスタリング手段は、前記直線ペア判定手段で決定した直線ペアに対し、使用者特有の応用目的に応じ同一地物に属する直線ペアが満たさなければならない条件に基づいて、当該応用目的に合わせた直線ペアの所属関係を決定する、
ことを特徴とする付記１、１５、１６、１７、１８又は１９に記載の三次元地物データ生成装置。

【0141】

（付記２１）
前記平面抽出手段は、前記直線ペア判定手段で取得した各地物それぞれに属する直線ペア群から、前記ステレオ視差修正手段で取得した視差情報、各直線ペアに関連する視差、及び、直線ペアの近傍領域内の視差分布に基づいて、平面拘束の制限で平面を抽出する、
ことを特徴とする付記１、１５、１６、１７、１８、１９又は２０に記載の三次元地物データ生成装置。

【0142】

（付記２２）
前記平面抽出手段は、前記直線ペア判定手段で取得した各地物それぞれに属する直線ペア群に対し、前記ステレオ視差修正手段で取得した視差情報と、前記直線ペア群の関連領域内の色情報とに基づいて、平面拘束の制限と平面上の色分布又はテクスチャ分布のスムーズ性の条件に従って平面を抽出する、
ことを特徴とする付記１、１５、１６、１７、１８、１９、２０又は２１に記載の三次元地物データ生成装置。

【0143】

（付記２３）
前記平面組合せ手段は、前記平面抽出手段で決定した地物の屋上を構成する各平面から、屋上の三次元構造を生成し、前記ステレオ視差修正手段で取得した視差情報を利用し、該地物の三次元モデルを生成する、
ことを特徴とする付記１、１７、１８、２１又は２２に記載の三次元地物データ生成装置。

【0144】

（付記２４）
ステレオ画像から家屋、及び建築物を含む地物の三次元データを生成する三次元地物データ生成方法であって、
地形と地物の高さ情報に関連するステレオ視差の予測値を計算するステレオ視差計算ステップと、
地物の屋上の内部構造を示す特徴線、地物の外側の形状を表す輪郭線、及び、非地物上の特徴線を含んだ画像上の直線を抽出する直線抽出ステップと、
前記直線抽出ステップで抽出した直線を実世界における意味を合わせ地物屋上内部の直線、地物外部輪郭線、及び、影領域輪郭線を含む直線に分類する直線類別判定ステップと、
影、及びノイズを含む影響で発生した実世界に存在しない直線を処理対象から除外する無意味直線除去ステップと、
前記ステレオ視差計算ステップからの視差情報、及び、各直線の周辺の色とテクスチャの分布を利用して、一方の画像内の直線と他方の画像内の直線との類別を含めた対応関係が成立かどうかを判定する直線ペア判定ステップと、
前記直線ペア判定ステップで判定した対応関係がある直線ペアに対し、当該対応関係に基づいてより正確な視差値の計算を行い、前記ステレオ視差計算ステップで取得した視差の予測値を修正するステレオ視差修正ステップと、
前記直線ペア判定ステップで判定した対応関係がある直線ペアの中に、家屋、及び建築物を含む地物に関連するペアだけを選択し、各直線ペアの視差情報、及び、複数の直線ペアの幾何関係を含む制限を利用し、同一の地物に属している直線ペアを決定する直線ペアクラスタリングステップと、
前記直線ペアクラスタリングステップで決定した各地物に属している直線ペアにおける幾何関係、及び視差の情報に基づいて、地物を構成する基本平面を抽出する平面抽出ステップと、
前記平面抽出ステップで抽出した各地物の平面における三次元空間上の位置関係を決め、各地物の全体を表す三次元モデルを生成する平面組合せステップと、
を備えることを特徴とする三次元地物データ生成方法。

【0145】

（付記２５）
コンピュータを、
地形と地物の高さ情報に関連するステレオ視差の予測値を計算するステレオ視差計算手段、
地物の屋上の内部構造を示す特徴線、地物の外側の形状を表す輪郭線、及び、非地物上の特徴線を含んだ画像上の直線を抽出する直線抽出手段、
前記直線抽出手段で抽出した直線を実世界における意味を合わせ地物屋上内部の直線、地物外部輪郭線、及び、影領域輪郭線を含む直線に分類する直線類別判定手段、
影、及びノイズを含む影響で発生した実世界に存在しない直線を処理対象から除外する無意味直線除去手段、
前記ステレオ視差計算手段からの視差情報、及び、各直線の周辺の色とテクスチャの分布を利用して、一方の画像内の直線と他方の画像内の直線との種別を含めた対応関係が成立かどうかを判定する直線ペア判定手段、
前記直線ペア判定手段で判定した対応関係がある直線ペアに対し、当該対応関係に基づいてより正確な視差値の計算を行い、前記ステレオ視差計算手段で取得した視差の予測値を修正するステレオ視差修正手段、
前記直線ペア判定手段で判定した対応関係がある直線ペアの中に、家屋、及び建築物を含む地物に関連するペアだけを選択し、各直線ペアの視差情報、及び、複数の直線ペアの幾何関係を含む制限を利用し、同一の地物に属している直線ペアを決定する直線ペアクラスタリング手段、
前記直線ペアクラスタリング手段で決定した各地物に属している直線ペアにおける幾何関係、及び視差の情報に基づいて、地物を構成する基本平面を抽出する平面抽出手段、
前記平面抽出手段で抽出した各地物の平面における三次元空間上の位置関係を決め、各地物の全体を表す三次元モデルを生成する平面組合せ手段、
として機能させることを特徴とするプログラム。

【0146】

なお、本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態及び変形が可能とされるものである。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。つまり、本発明の範囲は、実施形態ではなく、請求の範囲によって示される。そして、請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。

【0147】

本発明は、２０１１年６月２９日に出願された日本国特許出願２０１１−１４３８３５号に基づく。本明細書中に日本国特許出願２０１１−１４３８３５号の明細書、特許請求の範囲、図面全体を参照として取り込むものとする。

【産業上の利用可能性】

【0148】

以上説明したように、詳細な屋上構造を反映した高精度の三次元地物データを低いコストで生成する三次元地物データ生成装置、三次元地物データ生成方法、及び、プログラムを提供することができる。

【符号の説明】

【0149】

１００ 三次元地物データ生成装置
１０ ステレオ画像データ入力部
２０ 直線類別入力部
２１ 直線類別記憶部
３０ 処理規則入力部
３１ 処理規則記憶部
４０ ステレオ視差計算部
５０ 直線抽出部
６０ 直線類別判定部
７０ 無意味直線除去部
８０ 直線ペア判定部
９０ ステレオ視差修正部
１１０ 直線ペアクラスタリング部
１２０ 平面抽出部
１３０ 平面組合せ部
１４０ マルチスケールステレオ視差計算部
１５０ マルチスケール直線抽出部
１６０ 地図データ入力部
１７０ 地図関連無意味直線除去部
２０１ 制御部
２０２ 入出力部
２０３ 表示部
２０４ 操作部
２０５ 主記憶部
２０６ 外部記憶部
２０７ システムバス
３００ 制御プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図30】

【図31】

【図29】