特許 6133057 ハンドヘルドカメラ画像に基づく地理的地図景観テクスチャの生成

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6133057

(24)【登録日】2017年4月28日

(45)【発行日】2017年5月24日

(54)【発明の名称】ハンドヘルドカメラ画像に基づく地理的地図景観テクスチャの生成

(51)【国際特許分類】

   G01C 11/00 20060101AFI20170515BHJP

【ＦＩ】

   G01C11/00

【請求項の数】11

【全頁数】17

(21)【出願番号】特願2012-285065(P2012-285065)

(22)【出願日】2012年12月27日

(65)【公開番号】特開2013-140156(P2013-140156A)

(43)【公開日】2013年7月18日

【審査請求日】2015年12月25日

(31)【優先権主張番号】12150082.1

(32)【優先日】2012年1月3日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】504147933

【氏名又は名称】ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(72)【発明者】

【氏名】マレク ストラッセンブルク−クレシアク

【審査官】 ▲うし▼田 真悟

(56)【参考文献】

【文献】 特表２０１０−５０６２９１（ＪＰ，Ａ）

【文献】 特開２０１０−２６７２２４（ＪＰ，Ａ）

【文献】 特開２０１１−１３５１６５（ＪＰ，Ａ）

【文献】 特開２００３−２８３９７７（ＪＰ，Ａ）

【文献】 特表２００３−５２９７７７（ＪＰ，Ａ）

【文献】 国際公開第２００８／０４４９１１（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１３／０００２９２３（ＵＳ，Ａ１）

【文献】 米国特許第０６２８１７９７（ＵＳ，Ｂ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ １１／００−１１／０６

Ｇ０１Ｃ １５／００

Ｇ０１Ｂ １１／００−１１／３０

Ｈ０４Ｎ ５／２２２

Ｇ０６Ｔ １１／００−１１／４０

Ｇ０６Ｔ １５／００−１７／００

Ｇ０６Ｔ １７／１０−１７／３０

(57)【特許請求の範囲】

【請求項1】

地理的地図の景観テクスチャを提供する方法であって、前記方法は、
複数のハンドヘルドカメラ（２０）によって歩行者の視点から取り込まれた複数の画像を取得することと、
前記複数の画像の各々について、
−前記歩行者の視点から前記画像を取り込む時の前記ハンドヘルドカメラ（２０）の地理的位置と、
−前記ハンドヘルドカメラ（２０）の特性を表す内部カメラ配向データと、
−前記歩行者の視点から前記画像を取り込む時の前記ハンドヘルドカメラ（２０）の配向を表す外部カメラ配向データと、
−前記歩行者の視点から前記画像を取り込む時の前記ハンドヘルドカメラ（２０）の気圧高度と
を取得することと、
前記複数の画像の各々について、前記気圧高度と前記地理的位置とに基づいて、前記歩行者の視点から前記画像を取り込む時の前記ハンドヘルドカメラ（２０）の地理的位置における地表面からの前記ハンドヘルドカメラの地表高を決定し、地図データベースの視点から前記地表面の配向を取得することと、
前記地表高と、前記内部カメラ配向データと、前記外部カメラ配向データと、前記地図データベースから取得された前記地表面の配向とに基づいて、前記画像が取り込まれた前記地理的位置における前記地表面への投影を取得するために前記複数の画像の各々を変形させることと、
前記変形された画像を位置合わせすることと、
前記変形および位置合わせされた画像から景観テクスチャを生成することと
を含む、方法。

【請求項2】

前記外部カメラ配向データは、水平面（ＰＨ）に対する前記ハンドヘルドカメラ（２０）の光学軸（Ａ）の配向を表す第一の角度と、前記水平面内の前記ハンドヘルドカメラ（２０）の前記光学軸（Ａ）のコンパス方位を表す第二の角度とを含む、請求項１に記載の方法。

【請求項3】

前記外部カメラ配向データは、前記光学軸（Ａ）を中心とする前記ハンドヘルドカメラ（２０）の傾きを表す第三の角度を含む、請求項２に記載の方法。

【請求項4】

前記内部カメラ配向データは、焦点距離、カメラ定数、および／または、画像主点の位置を含む、請求項１〜３のいずれか１項に記載の方法。

【請求項5】

前記複数の画像の各々について、前記取り込まれた画像の座標から前記投影の画像点座標を計算するための変換規則を取得することを含む、請求項１〜４のいずれか１項に記載の方法。

【請求項6】

前記複数の画像の各々について、前記画像を取り込む時間を取得することと、
前記画像の取り込む時間を考慮に入れて前記景観テクスチャを生成することと
を含む、請求項１〜５のいずれか１項に記載の方法。

【請求項7】

ネットワークインタフェースを介して前記複数のハンドヘルドカメラから前記複数の画像を取得することを含む、請求項１〜６のいずれか１項に記載の方法。

【請求項8】

前記位置合わせされた画像の重なり合った部分を平均化することを含む、請求項１〜７のいずれか１項に記載の方法。

【請求項9】

地理的地図の景観テクスチャを提供するための装置（１００）であって、前記装置（１００）は、
複数のハンドヘルドカメラ（２０）によって歩行者の視点から取り込まれた複数の画像を取得するためのインタフェース（１２０）と、
プロセッサ（１５０）と
を備え、
前記プロセッサ（１５０）は、前記複数の画像の各々について、
−前記歩行者の視点から前記画像を取り込む時の前記ハンドヘルドカメラ（２０）の地理的位置と、
−前記ハンドヘルドカメラ（２０）の特性を表す内部カメラ配向データと、
−前記歩行者の視点から前記画像を取り込む時の前記ハンドヘルドカメラ（２０）の配向を表す外部カメラ配向データと、
−前記歩行者の視点から前記画像を取り込む時の前記ハンドヘルドカメラ（２０）の気圧高度と
を取得することと、
前記複数の画像の各々について、前記ハンドヘルドカメラ（２０）の前記気圧高度と前記地理的位置とに基づいて、前記歩行者の視点から前記画像を取り込む時の前記ハンドヘルドカメラ（２０）の前記地理的位置における地表面からの前記ハンドヘルドカメラ（２０）の地表高を判定して、地図データベースの視点から前記地表面の配向を取得することと、
前記地表高データと、前記内部カメラ配向データと、前記外部カメラ配向データと、前記地図データベースから取得された前記地表面の配向とに基づいて、前記画像が取り込まれた前記地理的位置における前記地表面への投影を取得するために前記複数の画像の各々を変形させることと、
前記変形された画像を位置合わせすることと、
前記変形および位置合わせされた画像から前記景観テクスチャを生成することと
を行うように構成されている、装置（１００）。

【請求項10】

前記インタフェース（１２０）は、前記複数のハンドヘルドカメラ（２０）から前記複数の画像を取得するように構成されたネットワークインタフェースである、請求項９に記載の装置。

【請求項11】

前記プロセッサは、請求項１から請求項８までのいずれか１項によって定義された方法のステップを実行するように構成されている、請求項９または請求項１０に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、地理的地図の景観テクスチャを生成する方法および対応する装置に関する。

【背景技術】

【0002】

地理的地図の景観テクスチャを生成するために、たとえば、航空写真または衛星画像を使用することが知られている。この場合、景観テクスチャを提供するために、複数の航空写真または衛星画像を位置合わせ（ｒｅｓｉｓｔｅｒ）されてもよい。

【0003】

また、たとえば建物などの三次元構造物をテクスチャ処理するための手法が知られている。これらの手法は、車両上に設置したカメラによって取得された画像に基づく。その一例は、Ｇｏｏｇｌｅ Ｅａｒｔｈで用いられる建物のテクスチャである。

【0004】

しかし、上述の手法では、航空写真または衛星画像で見えない部分が景観テクスチャに含まれている場合に問題が生じることがある。たとえば、トンネル内、建物の突出構造物の下、密な植生の陰などがこれに該当する可能性がある。さらに、景観テクスチャまたは三次元構造物の表面テクスチャを生成するための上記の手法は、通常は複雑であって、最新のテクスチャを維持するために相当な努力を必要とする。たとえば、テクスチャ作成用の画像を取得するために高解像度カメラを航空機または衛星に搭載する必要がある。

【0005】

したがって、地理的地図の景観テクスチャの効率的な生成を可能にする手法の必要性が存在する。

【発明の概要】

【課題を解決するための手段】

【0006】

本発明のいくつかの実施形態によれば、独立請求項に記載された方法および装置によって上記の必要性が対処される。従属請求項には、さらなる実施形態が画定されている。

【0007】

一実施形態により、地理的地図の景観テクスチャを生成する方法が提供される。本方法によれば、少なくとも１つのハンドヘルドカメラによって取り込まれた複数の画像が取得される。さらに、各画像について付加的データが取得され、これには、画像を取り込む時のカメラの地理的位置、画像を取り込む時のカメラの特性を表す内部カメラ配向データ、画像を取り込む時のカメラの配向を表す外部カメラ配向データ、および画像を取り込む時のカメラの気圧高度が含まれる。その付加的データは、たとえば、取り込まれた画像とともに付加的データが保存されるデジタル画像ファイルから取得されてもよい。

【0008】

本方法によれば、画像を取り込む時のカメラの地理的位置における地表面を基準としたカメラの地表高が気圧高度および地理的位置に基づいて確定される。その気圧高度および地理的位置を使用することによって地表高が正確な様式で測定される場合があり、たとえば高さ解像度は１ｍ未満となり、０．５ｍ未満の測定さえも可能である。次に、地表高データ、内部カメラ配向データ、および外部カメラ配向データに基づき、各画像を変形（ｄｉｓｔｏｒｔ）させることによって、その画像が取り込まれた地理的位置の地表面上への投影が得られる。このようにして変形後の画像は地表面を表す場合があり、その方法は垂直の航空写真と同様である。しかし、たとえば地表面に近い画像を取り込むことによって、航空写真を大幅に上回る解像度を得ることができる。

【0009】

本方法によれば、次に変形画像が位置合わせされ、その位置合わせされた変形画像から景観テクスチャが生成される。景観テクスチャの生成における変形画像を位置合わせすることは、その位置合わせされた画像の重なり合った部分を平均化する処理も含んでもよい。さらに、たとえばナビゲーションシステムで使用されるようなデジタルの地理的地図のテクスチャ処理にそれを利用するように、景観テクスチャは適切なフォーマットで保存されてもよい。いくつかの実施形態では、各画像について画像を取り込む時間も取得されてもよく、また、異なる画像を取り込む時間を考慮に入れて景観テクスチャが生成されてもよい。このようにして、たとえば時刻に応じて、または季節に応じて景観テクスチャを変化させることが可能になる。たとえば、日中と夜または冬と夏で異なる景観テクスチャを使用してもよい。

【0010】

１つの実施形態によれば、外部カメラ配向データは、水平面に対するカメラの光学軸の配向を表す第一の角度および水平面内のカメラの光学軸のコンパス方位を表す第二の角度を含む。このようにして、画像を取り込む斜角を考慮に入れて取り込まれた画像を効率的に変形してもよく、また、変形された画像を相互に対して、および地理的地図内の構造物に対して効率的に位置合わせしてもよい。いくつかの実施形態によれば、外部カメラ配向データは、光学軸を中心とするカメラの傾きを表す第三の角度も含んでもよい。このようにして、カメラのイメージセンサーは、画像取り込む時に水平方向と完全に位置合わせする必要がないため、使用できる画像の数を増加することができ、かつ画像を取り込む間の要求条件を緩和することができる。

【0011】

いくつかの実施形態によれば、内部カメラ配向データは、焦点距離、カメラ定数、および／または画像主点の位置を含む。このようにして、変形画像の生成プロセスに画像を取り込む時の撮像特性を正確に考慮に入れてもよい。いくつかの実施形態において、光学収差などの非理想的なカメラの撮像特性も内部カメラ配向データに取り入れてもよい。

【0012】

いくつかの実施形態によれば、本方法は、各画像について、取り込まれた画像の座標からの投影の画像点座標を計算するための変換規則を得ることも含んでもよい。この変換規則は、地理的位置、外部カメラ配向データ、内部カメラ配向データ、および地表高に基づいて作成されてもよい。カメラに関する既知または測定結果の光学収差などの追加パラメータも考慮に入れられてもよい。いくつかの実施形態において、この変換規則は、画像について取得された前述の付加的データに基づいて計算されてもよい。いくつかの実施形態において、取り込まれた画像とともに変換規則またはその部分も保存されてもよく、すなわち付加的データの一部としてもよい。

【0013】

ネットワークインタフェースを介して複数のハンドヘルドカメラから画像を取得してもよい。このようにして、景観テクスチャの生成に利用可能な画像の数が大幅に増加する場合がある。具体的には、複数の使用者をネットワーク実装された景観テクスチャ生成プロセスに寄与する場合がある「クラウドワーキング」プロセスに基づいて景観テクスチャを生成することが可能になる。

【0014】

さらなる実施形態によれば、ハンドヘルド装置が提供される。本ハンドヘルド装置は、景観テクスチャを生成するための上記の方法で使用される画像を与えるように構成されてもよく、カメラ、衛星測位装置、複数の方位センサー、気圧高度センサー、およびカメラによって取り込まれた画像を付加的データとともに保存するためのメモリを備える。これらの付加的データには、画像を取り込む時のカメラの特性を表す内部カメラ配向データ、衛星測位装置によって測定された画像を取り込む時のカメラの地理的位置、方位センサーによって測定された画像を取り込む時の外部カメラ配向データ、および気圧高度センサーによって測定された画像を取り込む時のカメラの気圧高度が含まれる。したがって、上述の方法で使用されるこの付加的データを本ハンドヘルド装置によって測定し、取り込まれた画像とともに保存することができる。その保存は、たとえば、取り込まれた画像を付加的データとともにデジタル画像ファイルに保存することを含んでもよい。いくつかの実施形態において、上述の処理の一部も本ハンドヘルド装置内で達成されてもよい。この処理には、たとえば、変換規則またはその部分を決定すること、および／または地表高を判定することが含まれ、また任意選択的には、地表面の投影を得るために取り込まれた画像を変形させることも含まれる。

【0015】

いくつかの実施形態において、本ハンドヘルド装置は、景観テクスチャをそれから生成する装置に取り込まれた画像を提供するためのインタフェースも備えてもよい。このインタフェースは、たとえば、複数のハンドヘルド装置から取り込まれた画像および関連の付加的データを収集することができるネットワークインタフェースとして実装されてもよい。本ハンドヘルド装置は、たとえば、携帯電話、スマートフォン、デジタルカメラ、または携帯型コンピュータ装置であってよい。方位センサーは、たとえば、加速度センサーおよび／またはジャイロセンサーを含んでもよく、また、コンパス方位センサーも含んでもよい。

【0016】

さらなる実施形態によれば、地理的地図の景観テクスチャを与えるための装置が提供される。本装置は、景観テクスチャを与える上述の方法を実行するように構成されてもよく、少なくとも１つのハンドヘルドカメラによって取り込まれた複数の画像を取得するためのインタフェース、およびプロセッサを備える。このプロセッサは、各画像について、画像を取り込む時のカメラの地理的位置、画像を取り込む時のカメラの特性を表す内部カメラ配向データ、画像を取り込む時のカメラの配向を表す外部カメラ配向データ、および画像を取り込む時のカメラの気圧高度を取得するように構成される。このプロセッサは、画像を取り込む時のカメラの気圧高度および地理的位置に基づいて、画像を取り込む時のカメラの地理的位置における地表面からのカメラの地表高を判定するようにさらに構成される。また、このプロセッサは、画像が取り込まれた地理的位置における地表面への投影を得るために地表高データに基づいて各画像を変形させるように構成される。さらに、このプロセッサは、変形された画像を位置合わせして、その位置合わせされた変形画像から景観テクスチャを生成するように構成される。この装置のインタフェースは、複数のハンドヘルドカメラから画像を取得するように構成されたネットワークインタフェースであってよい。

【0017】

図面に関連した以下の実施形態に関する詳細な説明により、本発明のさらなる実施形態および特徴とともに、それに付随する利点が明らかになるであろう。

【0018】

例えば、本願発明は以下の項目を提供する。
（項目１）
地理的地図の景観テクスチャを提供する方法であって、
少なくとも１つのハンドヘルドカメラ（２０）によって取り込まれた複数の画像を取得することと、
上記画像の各々について、
−上記画像を取り込む時の上記カメラ（２０）の地理的位置、
−上記画像を取り込む時の上記カメラ（２０）の特性を表す内部カメラ配向データ、
−上記画像を取り込む時の上記カメラ（２０）の配向を表す外部カメラ配向データ、および
−上記画像を取り込む時の上記カメラ（２０）の気圧高度を取得することと、
上記気圧高度および上記地理的位置に基づいて、上記画像を取り込む時の上記カメラ（２０）の地理的位置における地表面からの上記カメラの地表高を判定することと、
上記地表高、上記内部カメラ配向データ、および上記外部カメラ配向データに基づいて、上記画像が取り込まれた上記地理的位置における上記地表面への投影を得るために上記画像の各々を変形させることと、
上記変形された画像を位置合わせすることと、
上記変形および位置合わせされた画像から景観テクスチャを生成することを含む、方法。
（項目２）
上記外部カメラ配向データは、水平面（ＰＨ）に対する上記カメラ（２０）の光学軸（Ａ）の配向を表す第一の角度、および上記水平面内の上記カメラ（２０）の上記光学軸（Ａ）のコンパス方位を表す第二の角度を含む、
上記項目に記載の方法。
（項目３）
上記外部カメラ配向データは、上記光学軸（Ａ）を中心とする上記カメラ（２０）の傾きを表す第三の角度を含む、
上記項目のいずれかに記載の方法。
（項目４）
上記内部カメラ配向データは、焦点距離、カメラ定数、および／または画像主点の位置を含む、
上記項目のいずれか１項に記載の方法。
（項目５）
上記画像の各々について、上記取り込まれた画像の座標から上記投影の画像点座標を計算するための変換規則を得ることを含む、
上記項目のいずれかに記載の方法。
（項目６）
上記画像の各々について、上記画像を取り込む時間を取得することと、
上記画像の取り込む時間を考慮に入れて上記景観テクスチャを生成することを含む、
上記項目のいずれかに記載の方法。
（項目７）
ネットワークインタフェースを介して複数のハンドヘルドカメラから上記画像を取得することを含む、
上記項目のいずれかに記載の方法。
（項目８）
上記位置合わせされた画像の重なり合った部分を平均化することを含む、
上記項目のいずれかに記載の方法。
（項目９）
ハンドヘルド装置（１０）であって、
カメラ（２０）と、
衛星測位装置（３０）と、
複数の方位センサー（４２、４４）と、
気圧高度センサー（４６）と、
上記カメラ（２０）によって取り込まれた画像とともに、
−上記画像を取り込む時の上記カメラ（２０）の特性を表す内部カメラ配向データ、
−上記衛星測位装置（３０）によって測定された上記画像を取り込む時の上記カメラ（２０）の地理的位置、
−上記方位センサー（４２、４４）によって測定された上記画像を取り込む時の上記カメラ（２０）の外部カメラ配向データ、および
−上記気圧高度センサー（４６）によって測定された上記画像を取り込む時の上記カメラ（２０）の気圧高度を保存するためのメモリ（５０）を備える、ハンドヘルド装置（１０）。
（項目１０）
上記取り込まれた画像を、それから景観テクスチャを生成するための装置に提供するためのインタフェース（８０）をさらに備える、
上記項目に記載のハンドヘルド装置（１０）。
（項目１１）
上記方位センサー（４２、４４）はコンパス方位センサー（４４）を備える、
上記項目のいずれかに記載のハンドヘルド装置（１０）。
（項目１２）
上記方位センサー（４２、４４）は、加速度センサー（４２）および／またはジャイロセンサー（４２）を備える、
上記項目のいずれかに記載のハンドヘルド装置（１０）。
（項目１３）
地理的地図の景観テクスチャを提供するための装置（１００）であって、
少なくとも１つのハンドヘルドカメラ（２０）によって取り込まれた複数の画像を取得するためのインタフェース（１２０）と、
プロセッサ（１５０）を備え、
上記プロセッサ（１５０）は、上記画像の各々について、
−上記画像を取り込む時の上記カメラ（２０）の地理的位置、
−上記画像を取り込む時の上記カメラ（２０）の特性を表す内部カメラ配向データ、
−上記画像を取り込む時の上記カメラ（２０）の配向を表す外部カメラ配向データ、および
−上記画像を取り込む時の上記カメラ（２０）の気圧高度を取得し、
上記気圧高度および上記地理的位置に基づいて、上記画像を取り込む時の上記カメラ（２０）の上記地理的位置における地表面からの上記カメラ（２０）の地表高を判定し、
上記地表高データに基づいて、上記画像が取り込まれた上記地理的位置における上記地表面への投影を得るために上記画像の各々を変形させ、
上記変形された画像を位置合わせし、
上記変形および位置合わせされた画像から上記景観テクスチャを生成するように構成される、装置（１００）。
（項目１４）
上記インタフェース（１２０）は、複数のハンドヘルドカメラ（２０）から上記画像を取得するように構成されたネットワークインタフェースである、
上記項目に記載の装置。
（項目１５）
上記プロセッサは、項目１から項目８までのいずれか１項によって定義された方法の一連のステップを実行するように構成される、
上記項目のいずれかに記載の装置。

【0019】

（摘要）
地理的地図の景観テクスチャを生成する目的で、カメラを備える１つ以上のハンドヘルド装置（１０）によって取り込まれた複数の画像が取得される。さらに、取り込まれた各画像に関連する付加的データが取得される。これらの付加的データは、画像を取り込む時のカメラの地理的位置、画像を取り込む時のカメラの特性を表す内部カメラ配向データ（たとえば焦点距離、カメラ定数および／または画像主点の位置）、画像を取り込む時のカメラの配向を表す外部カメラ配向データ（たとえば水平面（ＰＨ）に対するカメラの光学軸（Ａ）の配向を表す角度（Ф））、および画像を取り込む時のカメラの気圧高度を含む。その気圧高度および地理的位置に基づいて、地表面（Ｇ）からのカメラの地表高（Ｈ）が判定される。その地表高（Ｈ）、内部カメラ配向データおよび外部カメラ配向データに基づいて、地表面（Ｇ）への投影を得るように、各画像を変形する。次に、その変形された画像が位置合わせされ、その変形された画像から景観テクスチャが生成される。

【図面の簡単な説明】

【0020】

【図1】本発明の１つの実施形態によって使用される画像を取り込むための配置の側面図を模式的に示す。

【図2】本発明の１つの実施形態によって使用される画像を取り込むための配置の上面図を模式的に示す。

【図3】本発明の１つの実施形態によって使用される画像を取り込むための配置の軸方向図を模式的に示す。

【図4】本発明の１つの実施形態による方法を模式的に示すフローチャートである。

【図5】本発明の１つの実施形態によるさらなる方法を模式的に示すフローチャートである。

【図6】本発明の１つの実施形態によるハンドヘルド装置を模式的に示すブロック図である。

【図7】本発明の１つの実施形態によって地理的地図の景観テクスチャを生成するための装置を模式的に示すブロック図である。

【図8】本発明の１つの実施形態によって景観テクスチャを生成するプロセスに使用される例示的な取り込まれた画像を示す。

【図9】図８の画像を変形および位置合わせすることによって生成される景観テクスチャの例を示す。

【図10】変形された、複数の異なる地理的位置で取り込まれた画像を、位置合わせすることによって生成される広域景観テクスチャの例を示す。

【発明を実施するための形態】

【0021】

以下、図面を参照して本発明の実施形態を説明する。本明細書に説明する各種の実施形態の特徴は相互に適宜組み合わせられてもよいことに留意されたい。これらの実施形態は、地理的地図の景観テクスチャを生成する方法および装置に関する。以下にさらに説明するように、カメラおよび画像を取り込む時の付加的データ測定用センサーを装備したハンドヘルド装置を使用して複数の画像を取り込むことにより、これを効率的に達成される場合がある。これらのハンドヘルド装置は、たとえば、携帯電話、スマートフォン、デジタルカメラまたは携帯型コンピュータ装置であってよく、取り込まれた画像はネットワークインタフェースを介して（たとえばインターネット経由で）収集されてもよい。以下に説明する実施形態において、歩行者の視点、すなわち地表面上約１ｍ〜５ｍの高さで画像を取り込むためにハンドヘルド装置を使用してもよい。したがって、画像を地表面に近い距離から取り込んでもよく、それにより、地表面の高解像度画像を得るとともに地表面の部分が遮られる危険性が回避される。

【0022】

ハンドヘルド装置を使用する画像取り込みの例示的配置を図１に示す。図から分かるように、本ハンドヘルド装置は地表面Ｇからの特定の地表高Ｈに保持される。地表面Ｇは、景観テクスチャが生成される地理的地図内の特定の地域に対応する。本ハンドヘルド装置１０は、光学軸Ａを有するカメラを装備する。図から分かるように、光学軸Ａは水平面ＨＰに対する斜角Фで延在する。水平面ＨＰは、重力の方向と垂直に延在する平面として定義されるものと仮定する。したがって、ハンドヘルド装置１０の加速度センサーによって角度Фを測定することができる。あるいは、たとえばジャイロ方位センサーなど、他の種類の方位センサーを角度Фの測定に使用することも可能である。図示の例において、地表面Ｇは水平面ＰＨと平行であるように示されている。しかし、これは必要条件ではないことが理解されるべきである。他の配置において、地表面Ｇを水平面ＨＰに対して斜角を有するように配置することができ、あるいは平坦でない形状を有することができる。地表面Ｇの配向または詳細な幾何学的形状は地理的地図データベースから知られる場合がある。

【0023】

画像を取り込むことは、画像空間Ｉ内の画像座標ｘ’、ｙ’におけ強度を測定することを含む。以下、これは画素ベースのセンサーによって達成されるものと仮定する。測定された強度は、被写体空間Ｏ内の点に対応する。被写体空間内の座標は、座標ｘ、ｙによって測定されるものとして図示されている。

【0024】

ハンドヘルド装置１０のカメラの内部特性（以下、カメラの内部配向と呼ぶ）により、また、地表面Ｇを基準とするカメラの配向（以下、外部配向と呼ぶ）によって、画像空間Ｉ内の座標ｘ’、ｙ’を有する点を被写体空間内の座標ｘ、ｙを有する対応する点と関係づけることができる特定の変換規則が存在する。図示の例において、カメラの内部配向はカメラレンズの開角度αとして示されている。しかし、一般的には、画像を取り込む時のカメラの内部配向を表すために多数の特性パラメータが使用されてもよいことが理解されるべきである。そのようなパラメータは、たとえば、カメラの焦点距離、カメラのカメラ定数、および／または画像空間Ｉ内の画像主点の位置である。図１において、画像主点に対応する被写体空間Ｏ内の点をＰで示す。この点Ｐは、被写体主点とも呼ばれ、地表面Ｇへ取り込まれた画像の投影の中心を表すものと見なされてもよい。たとえば、被写体主点Ｐに関して座標ｘ、ｙが測定されてもよく、画像主点に関して座標ｘ’、ｙ’が測定されてもよい。カメラの光学軸Ａと水平面、またはより一般的には地表面Ｇとの間の斜角Фに起因して、被写体空間内の２点間の距離と画像空間Ｉ内の２つの対応する画像点間の距離の関係は、被写体空間Ｏ内の点の座標に依存する。したがって、完全に垂直の視点から生成された場合の画像に対して取り込まれた画像には歪みが生じる。

【0025】

図１の配置の上面図を示した図２にもこの歪みが現れている。図１では、画像空間Ｉ内の実質的に矩形の領域に対応する被写体空間Ｏの領域が台形として示されている。

【0026】

さらに、図２は、コンパス方位（図示の例ではＮと表記した北方）に対する光学軸Ａの配向を示す。この配向は角度Ψで測定され、ハンドヘルド装置１０のコンパス方位センサーによって測定されてもよい。

【0027】

また、ハンドヘルド装置１０内のカメラの配向も光学軸Ａを中心とする傾きによって変化する場合がある。これは、ハンドヘルド装置１０の正面図を示す図３にさらに図示され、ここで光学軸Ａは図の平面に対して直角に延在する。このカメラの傾きは角度ωによって表されてもよい。角度ωは、加速度センサーまたは他の種類の方位センサー、たとえばジャイロ方位センサーによって測定されてもよい。

【0028】

内部配向および外部配向に基づき、かつ地表高Ｈをさらに考慮に入れて、被写体空間Ｏ内の点の座標ｘ、ｙを画像空間Ｉ内の対応する画像点の座標ｘ’、ｙ’から得るための変換規則が確定されてもよい。数学的には、内部配向α、角度Ф、Ψ、ω、および地表高Ｈによって定義される外部配向に依存する換マトリクスＦを用いて、次のように表記されてもよい。

【0029】

【数1】

ここで、地表高Ｈは、被写体空間Ｏ内の被写体と、その画像空間Ｉ内の画像との間の倍率に明確な影響を及ぼす。画像はハンドヘルド装置を使用して歩行者によって取り込まれてもよいため、一般的な地表高Ｈは数メートルの範囲、たとえば１ｍから５ｍの範囲である。したがって、取り込まれた画像の歪みを正確に評価できるようにするためには、地表高Ｈに関する正確な知識が望ましい。したがって、本明細書に説明する概念には、ハンドヘルド装置１０内の気圧高度センサーによって測定されたカメラの気圧高度に基づいて地表高Ｈを判定することが含まれる。画像を取り込む時のカメラの気圧高度および地理的位置、具体的には地表面Ｇの海抜高度から、地表高Ｈを正確に判定することができる。したがって、画像空間Ｉ内の画像点の座標ｘ’、ｙ’を被写体空間Ｏ内の対応する点の座標ｘ、ｙと関係づける変換規則も正確に確定することができる。変換規則を決定するための適切な手順の詳細は、既知の写真測量手法と同様であってもよい。

【0030】

次いで、地表面Ｇへの投影を得るために、この変換規則を取り込んだ画像を変形させるために用いてもよい。このようにして、変形後の画像は垂直視点から取り込まれた画像と同様の特性を有する。したがって、その変形された画像は、景観テクスチャの生成にとくに有用である。この目的のために、変形された画像を他の変形された画像と位置合わせされてもよい。次に、フローチャート図４および図５を用いて、対応する画像を取り込み、かつ取り込む画像を変形するために使用される付加的データを測定する方法、およびそれから景観テクスチャを生成するための方法についてさらに説明する。

【0031】

図４の方法において、ステップ４１０では、ハンドヘルド装置（たとえば図１〜図３のハンドヘルド装置１０）によって画像が取り込まれる。その画像は、歩行者の視点から取り込まれてもよい。この目的のために、ハンドヘルド装置１０は画像を取り込む時に歩行者によって保持されてもよい。したがって、地表面に近い距離で画像を取り込まれる場合がある。このようにして、ハンドヘルド装置１０内の低複雑度のカメラを使用する場合であっても、地表面の高解像度画像を生成することができる。

【0032】

ステップ４２０では、画像を取り込む時のカメラの地理的位置を表す地理的位置データが取得される。これは、ハンドヘルド装置の衛星測位装置、たとえば全地球測位システム（ＧＰＳ）受信器を使用して達成されてもよい。この地理的位置は、たとえば地理緯度および経度によって定義されてもよい。さらに、この地理的位置データは標高も含んでもよい。

【0033】

ステップ４３０では、気圧高度データが取得される。この気圧高度データは、たとえばハンドヘルド装置の気圧高度センサーによって測定されてもよい。気圧高度の測定は、基準海抜高度およびその基準高度で測定された気圧を用いた気圧高度センサーの較正を含んでもよい。さらに、その較正には、ハンドヘルド装置の位置における局所温度、たとえばハンドヘルド装置の温度センサーによって測定された温度も考慮に入れてもよい。

【0034】

ステップ４４０では、ハンドヘルド装置内のカメラの配向データが取得される。これらの配向データは、一方では、外部配向データ、具体的には水平面に対するカメラの光学軸の配向を表す第一の角度（たとえば図１の角度Ф）および水平面内のカメラの光学軸のコンパス方位を表す第二の角度（たとえば図２の角度Ψ）を含むことができる。さらに、その配向データは、光学軸を中心とするハンドヘルド装置内のカメラの傾きを表す第三の角度（たとえば図３の角度ω）も含んでもよい。第一の角度および第三の角度は、たとえば、加速度センサー、またはたとえばジャイロセンサーなどの他の種類の方位センサーによって測定されてもよい。第二の角度は、たとえば、ハンドヘルド装置のコンパス方位センサーによって測定されてもよい。

【0035】

ステップ４５０では、取り込まれた画像がステップ４２０および４３０で取得した付加的データとともに保存される。これは、取り込まれた画像を保存するためのデジタル画像ファイルの追加パラメータとして付加的データを保存することによって達成されてもよい。あるいは、付加的データを分離したデータベースに保存することも可能である。

【0036】

次に、保存された取り込まれた画像および関連の付加的データが地理的地図の景観テクスチャを生成するための入力として使用されてもよい。この目的のために、保存された画像および関連の付加的データはさらなる装置、たとえばネットワークサーバーに転送されてもよい。このようにして、各種のハンドヘルド装置によって取り込まれた複数の画像が景観テクスチャの生成プロセスに使用されてもよい。

【0037】

画像および関連の付加的データから景観テクスチャを生成するプロセスは、図５の方法によりさらに説明される。前述のように、図５の方法は、ネットワークインタフェースを介して取り込まれた画像および関連の付加的データを受信するネットワークサーバー内に実装されてもよい。

【0038】

ステップ５１０では、複数の取り込まれた画像が取得される。これらの画像は、１つ以上のハンドヘルド装置、典型的には複数の異なるハンドヘルド装置によって取り込まれる。その画像を歩行者の視点から取り込まれてもよい。取り込まれた画像とともに、画像を取り込む時の状況を反映する付加的データも、取り込まれた画像の各々について取得される。これらの付加的データは、具体的には、画像取り込む時のカメラの地理的位置、画像を取り込む時のカメラの特性を表す内部カメラ配向データ（たとえば焦点距離、カメラ定数および／または画像主点の位置）を含んでもよい。その付加的データは、外部カメラ配向データ（たとえば図４のステップ４４０で判定された第一の角度、第二の角度および／または第三の角度）をさらに含む。さらに、その付加的データは、画像を取り込む時のカメラの気圧高度（たとえば図４のステップ４３０で取得されたデータ）を含む。

【0039】

ステップ５２０では、取り込まれた位置からの地表面への投影を生成するために取り込まれた画像が変形される。この目的のために、画像空間内の画像点を被写体空間内の対応する点と関係づける変換規則を決定してもよい。これは、付加的データ、具体的にはカメラの地理的位置、内部カメラ配向データ、外部カメラ配向データ、および画像を取り込む時のカメラの気圧高度に基づいて達成される。これにはとくに、画像を取り込む時の気圧高度およびカメラの地理的位置から地表面を基準とするカメラの地表高決定することを含んでもよい。変形後の画像は、垂直視点から取り込まれた画像と同様の特性を有してもよい。

【0040】

ステップ５３０では、変形後の画像が位置合わせされる。この目的のために、既知の画像レジストレーション手法が使用されてもよい。さらに、位置合わせされた画像の重なり合った部分の平均化を実行し、それにより位置合わせの精度または細部解像度を向上させることも可能である。

【0041】

ステップ５４０では、位置合わせされた、変形された画像から景観テクスチャが生成される。これには、たとえば、景観テクスチャを地理的地図データベースに付加的属性として保存することを含めてもよい。さらにこれは、位置合わせされた画像またはその部分を適切なデータ形式に変換することも含むことができる。加えて、たとえば、昼光条件に対応した景観テクスチャ、夜間条件に対応した景観テクスチャ、冬期条件に対応した景観テクスチャ、および／または夏期条件に対応した景観テクスチャなど、異なるシナリオに対応した異なる景観テクスチャを生成してもよい。この目的のために、画像を取り込む時間もステップ５１０で取得されてもよい。

【0042】

前述のとおり、画像を取り込むためおよび関連する付加的データを測定するためのハンドヘルド装置を使用して図４および図５の方法を互いに組み合わせてもよく、その場合、取り込まれた画像の処理は、図５の方法を実装する別の装置、たとえばネットワークサーバーによって達成される。しかし、このような機能の分配は変更されてもよい。たとえば、ハンドヘルド装置も取り込まれた画像の一部の初期処理を、たとえば地表高を確定し、その確定された地表高を取り込まれた画像とともに付加的データとして保存することによって行うことができる。さらに、取り込まれた画像の変形もハンドヘルド装置によって達成可能である。すなわち、ハンドヘルド装置により、各取り込まれた画像について図５のステップ５１０および５２０が達成される可能性がある。

【0043】

図６は、景観テクスチャを生成する上記の手順で使用されてもよいハンドヘルド装置を模式的に示したブロック図を示す。図６のハンドヘルド装置１０は、具体的には図１〜図３に示したハンドヘルド装置に対応してもよく、携帯電話、スマートフォン、デジタルカメラ、または携帯型コンピュータ装置であってよい。

【0044】

図に示すように、ハンドヘルド装置１０は、カメラ２０、衛星測位装置３０（たとえばＧＰＳ受信器または他の衛星測位受信器）、多数のセンサー４０、画像メモリ５０、プロセッサ６０、およびインタフェース８０を装備する。

【0045】

カメラ２０は、景観テクスチャを生成するための入力として使用される１つ以上の画像を取り込むために使用されてもよい。この目的のために、ハンドヘルド装置１０は歩行者によって保持されてもよく、それにより地表面に近い距離で画像を取り込む。カメラ２０は、画素ベースのセンサーを使用するデジタル実装に基づいてもよい。

【0046】

画像を取り込む時のハンドヘルド装置１０およびそのカメラ２０の地理的位置を取得するために衛星測位装置３０が使用されてもよい。たとえば緯度、経度、および任意選択的に標高の見地から、対応する地理的位置データがカメラ２０に供給されてもよい。さらに、各種の配向データを取得するためにセンサー４０を使用してもよい。具体的には、水平面に対するカメラ２０の光学軸の配向を測定し、かつ／または光学軸を中心とするカメラ２０の傾き、たとえば図１および図３の角度Фおよびωを判定するために、加速度センサーまたはジャイロセンサーに基づく方位センサー４２を使用してもよい。加えて、コンパス方位を基準とするカメラの光学軸の配向、たとえば図２の角度Ψを判定するために、コンパス方位センサー４４を使用してもよい。

【0047】

加えて、センサー４０は、気圧高度センサー４８も含む。気圧高度センサー４８は、画像を取り込む時のハンドヘルド装置１０およびそのカメラ２０の気圧高度を測定するために使用することができる。センサー４０によって測定されたデータがカメラ２０に提供される。カメラ２０は、衛星測位装置３０およびセンサー４０によって取得された付加的データを、取り込まれた画像を保存するために使用されるデジタル画像ファイルに含んでもよい。次いで、そのデジタル画像ファイルは画像メモリ５０に保存されてもよい。保存された取り込まれた画像およびその関連の付加的データを画像メモリ５０から読み出し、インタフェース８０を使用してハンドヘルド装置１０から出力してもよい。インタフェース８０はネットワークインタフェースであってよい。

【0048】

ハンドヘルド装置１０の全体的な動作はプロセッサ６０によって制御されてもよい。

【0049】

したがって、図６に示すハンドヘルド装置１０は、図４に示す方法を実装するために使用されてもよい。

【0050】

図７は、上述の手順を用いて景観テクスチャを生成するための処理装置１００を模式的に示したブロック図を示す。たとえば、処理装置１００は、たとえば図６に示したような種類の複数のハンドヘルド装置と通信することができるネットワークサーバーであってもよい。

【0051】

図に示すように、処理装置１００は、インタフェース１２０、プロセッサ１５０、およびメモリ１６０を装備する。メモリ１６０は、具体的には、プロセッサ１５０によって実行されるプログラムコードモジュール１６２、１６４、１６６を保存するために使用されてもよい。プログラムコードモジュール１６２、１６４、１６６を使用することにより、図５に示した方法の一連のステップを実行するようにプロセッサ１５０が構成されてもよい。この目的のために、具体的には、メモリはインタフェース１２０を介して取得した取り込まれた画像を変形させるための変形処理モジュール１６２を含んでもよい。この目的のために、変形処理モジュール１６２は、図５のステップ５２０に関連して説明した手順を実行してもよい。

【0052】

さらに、メモリ１６０は、変形処理モジュール１６２によって与えられる変形された画像の位置合わせを実行する画像レジストレーションモジュール１６４を含んでもよい。この目的のために、画像レジストレーションモジュール１６４は、図５のステップ５３０に関連して説明した手順を実行してもよい。

【0053】

さらに、メモリ１６０は、画像レジストレーションモジュール１６４によって与えられる位置合わせされた画像から景観テクスチャを生成するための景観テクスチャ生成モジュール１６６を含んでもよい。この目的のために、景観テクスチャ生成モジュールは、図５のステップ５４０に関連して説明した手順を実行してもよい。

【0054】

処理装置１００は、説明の明瞭さのために例示されていないさらなる構造体を実際に含んでもよいことが理解される。たとえば、メモリ１６０は、地理的地図データベースを維持または生成するための既知の機能を実行するためのさらなる種類のプログラムコードモジュールを含む可能性がある。

【0055】

前述のように、複数の異なるハンドヘルド装置から複数の取り込まれた画像および関連の付加的データを取得するためにインタフェース１２０が使用されてもよい。この目的のために、具体的にはインタフェース１２０はネットワークインタフェースとして実装されてもよい。たとえば、インタフェース１２０をインターネットに接続することが可能であり、ハンドヘルド装置はインターネットを介して取り込んだ画像データおよび関連の付加的データを提供することが可能性がある。この目的のために、ハンドヘルド装置を直接インターネットに接続することができ、あるいは、たとえば、ローカル同期インタフェース経由でハンドヘルド装置から取り込まれた画像データおよび関連の付加的データを受け取るコンピュータである中間装置を介してインターネットに接続してもよい。

【0056】

図８は、上記の原理に従って生成された例示的な取り込まれた画像を示す。図から分かるように、これらの画像は屋外シナリオの例であり、ハンドヘルド装置を使用して歩行者によって取り込まれたものである。図示された画像の順序において、画像を取り込んでいる間の歩行者の地理的位置は変化していない。しかし、写真撮影の方向、すなわち、カメラの光学軸のコンパス方位は、異なる方向の風景を得るために変化している。

【0057】

図９は、図８の画像を変形させ、上記の原理により変形された画像を位置合わせすることによって生成された例示的な合成画像を示す。図９では、図８の画像を取り込んでいる間の歩行者の地理的位置が星印で示される。

【0058】

図１０は、広域の合成画像を得るために複数の異なる地理的位置で取り込まれた画像を変形することによって生成されたさらなる合成画像を示す。図９および図１０から分かるように、これらの合成画像は、垂直視点から生成された画像と同様の特性を有し、したがって景観テクスチャとして使用することができる。しかし、これらの合成画像を生成するための手順では、カメラを垂直の写真撮影位置に持ってくる必要がなく、したがって景観テクスチャの生成が大幅に単純化される。

【0059】

上述の例および実施形態は本発明のいくつかの実施形態による概念の例示を目的としたものであり、さまざまな改変の余地があることに留意されたい。たとえば、カメラおよび付加的データを取得するための適切なセンサーを備えてさえいれば、画像取り込むための各種のハンドヘルド装置を使用してもよい。取り込まれた画像は１種類のハンドヘルド装置から、または複数の種類のハンドヘルド装置から得られてもよい。さらに、取り込まれた画像から変形画像を生成するためにさまざまな光学モデルが適用されてもよい。かかるモデルは、線形光学に基づくものであってよいが、非線形光学効果も考慮に入れてもよい。かかるモデルは、各々の個別のハンドヘルド装置のカメラの種類に対応して選択されてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】