特許 6057298 迅速な３Ｄモデリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6057298

(24)【登録日】2016年12月16日

(45)【発行日】2017年1月11日

(54)【発明の名称】迅速な３Ｄモデリング

(51)【国際特許分類】

   G06T 17/00 20060101AFI20161226BHJP

   G06T 1/00 20060101ALI20161226BHJP

【ＦＩ】

   G06T17/00

   G06T1/00 315

【請求項の数】10

【全頁数】25

(21)【出願番号】特願2013-533001(P2013-533001)

(86)(22)【出願日】2011年10月7日

(65)【公表番号】特表2013-539147(P2013-539147A)

(43)【公表日】2013年10月17日

(86)【国際出願番号】US2011055489

(87)【国際公開番号】WO2012048304

(87)【国際公開日】20120412

【審査請求日】2014年10月7日

(31)【優先権主張番号】61/391,069

(32)【優先日】2010年10月7日

(33)【優先権主張国】US

【前置審査】

(73)【特許権者】

【識別番号】513083347

【氏名又は名称】サンジェビティ

(74)【代理人】

【識別番号】100082072

【弁理士】

【氏名又は名称】清原 義博

(72)【発明者】

【氏名】プライヤー，アダム

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２００８−２７５３９１（ＪＰ，Ａ）

【文献】 特開２０００−３５３２４４（ＪＰ，Ａ）

【文献】 特開平１１−１８３１７２（ＪＰ，Ａ）

【文献】 特表２００５−５０７１０９（ＪＰ，Ａ）

【文献】 特表２００２−５２０９６９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００９／０３０４２２７（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００５／０１４０６７０（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １７／００

Ｇ０６Ｔ １／００

Ｇ０１Ｂ １１／００−１１／３０

Ｇ０６Ｔ １９／００−１９／２０

(57)【特許請求の範囲】

【請求項1】

現実世界の第１の物体の３Ｄモデルを生成するためのシステムであって、
前記システムは、
カメラモデラーと、
３Ｄモデルジェネレーターとを含み、
前記カメラモデラーは、
カメラパラメータを受け取る第１入力部、
前記第１の物体の第１と第２の写真画像それぞれの点に対応する第１と第２の点集合を受け取る第２の入力部を含み、
カメラモデラーは、受け取ったカメラパラメータに従って、第１と第２の点集合を投影したものを３Ｄ空間に提供し、
前記３Ｄモデルジェネレーターは、
投影したものを受け取る入力部、
投影したものに基づいて前記第１の物体の静止３Ｄモデルを提供する第１の出力部、および、
投影誤差を予測する第２の出力部を含み、該投影誤差は、静止３Ｄモデル上の点とこれに対応する３Ｄ空間に投影された点との間の偏差を示すものであり、
前記システムは、投影誤差の予測に従って、少なくとも１つのカメラパラメータを調節し、
前記カメラモデラーは、少なくとも１つの調節されたカメラモデルパラメータに基づいて、第１と第２の点集合を投影し、それによって、前記３Ｄモデルジェネレーターが前記第１の物体の誤差を修正した３Ｄモデルを提供することを可能にし、誤差を修正した３Ｄモデルは静止３Ｄモデルである、システム。

【請求項2】

誤差を修正した３Ｄモデルを受け取るための入力部を含むレンダリングユニットをさらに含み、前記レンダリングユニットは、誤差を修正した３Ｄモデルに基づいて、第１の物体の２Ｄ表示を提供する、請求項１に記載のシステム。

【請求項3】

誤差を修正した３Ｄモデルの２Ｄ表示を受け取るための入力部を含む、第１の物体の２Ｄ表示を表示する２Ｄ表示装置と、
オペレータが、第１の物体の寸法を測定するために、前記第１の物体の２Ｄ表示に相互作用することを可能にする、表示装置につなげられたオペレータ入力装置をさらに含む、
請求項２に記載のシステム。

【請求項4】

現実世界の第１の物体の第１と第２の写真画像を表示するように構成された表示装置と、
オペレータが、第１と第２の点集合を定義するために、表示された２Ｄ画像と相互作用することを可能にする、表示装置につながれたオペレータ入力装置をさらに含む、請求項１に記載のシステム。

【請求項5】

表示装置は、第２の物体の１つの画像をさらに表示するように構成され、オペレータ入力装置は、オペレータが、誤差を修正した３Ｄモデルに基づいて、表示された第１の画像、表示された第２の画像、および、表示されたレンダリングされた画像の１つの中に、第２の物体の画像を位置付けることを可能にするように構成される、請求項４に記載のシステム。

【請求項6】

第１の物体の３Ｄモデルを生成するための方法であって、
前記方法は、
第１と第２の初期カメラパラメータで、カメラモデラーを初期化する工程、
前記第１の物体の第１と第２の２Ｄ写真画像の中に現れる前記第１の物体の点に対応する第１と第２の２Ｄ点集合を、カメラモデラーによって受け取る工程、
カメラモデラーによって、第１と第２の２Ｄ点集合を３Ｄモデル空間に投影する工程、
投影したものに基づいて前記第１の物体の静止３Ｄモデルを含むように、３Ｄ座標を決定する工程、
投影された第１と第２の２Ｄ点集合に関連した誤差を測定する工程であって、該誤差は、決定された静止３Ｄモデルの３Ｄ座標上の点とこれに対応する３Ｄ空間に投影された点との間の偏差を示すものであり、
第１と第２の２Ｄ点集合が、調節されたカメラパラメータに従って再投影されるように、誤差に従って第１と第２の初期のカメラパラメータの少なくとも１つのパラメータを調節する工程、および、
再投影した第１と第２の２Ｄ点集合に基づいて前記第１の物体の３Ｄモデルを含むように、３Ｄ座標を決定し、前記第１の物体の３Ｄモデルは静止３Ｄモデルである工程を含む、方法。

【請求項7】

投影する工程、３Ｄ座標を決定する工程、誤差を測定する工程、および、カメラパラメータを調節する工程は、測定された誤差があらかじめ決められた誤差以下となるまで、繰り返される、請求項６に記載の方法。

【請求項8】

繰り返される工程と、前記誤差を測定する工程は、あらかじめ決められた誤差に収束する時間を最適化するために、少なくとも１つのパラメータを展開させることによって行われる、請求項７に記載の方法。

【請求項9】

表示装置上で表示するために、前記誤差を修正した３Ｄモデルをレンダリングする工程をさらに含む、請求項６に記載の方法。

【請求項10】

第３の画像中に現れる第２の物体を表す第３の点集合を受け取る工程、
３Ｄモデル空間中の第３の点集合に作用することによって、第１の物体のスケールと配向に一致するように、表された第２の画像のスケールと配向を調節する工程、
第１の物体によって第２の物体を表示する工程をさらに含む、請求項６に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

＜関連出願への相互参照＞
本出願は、同じ発明者で２０１０年１０月７日に米国特許商標庁に出願された、「迅速な３次元モデリング」と題された仮特許出願ＳＮ６１／３９１，０６９への優先権の利益を請求し、この出願の内容は、引用によって、付録を含むその全体のまま本明細書に組み込まれる。

【背景技術】

【0002】

３次元（３Ｄ）モデルは、保存された幾何学的なデータとして現実世界の物体の３次元を表す。モデルは現実世界の物体の２次元の（２Ｄ）グラフィックイメージをレンダリングするために使用され得る。表示装置上の物体のレンダリングされた２Ｄ画像との相互作用は、物体の３次元モデルに保存された寸法データに計算を適用することによって、現実世界の物体との相互作用をシミュレートする。現実世界の物体との物理的な相互作用が可能でないか、危険であるか、非実用的であるか、さもなければ望ましくない場合、物体とのシミュレートされた相互作用は有用である。

【0003】

物体の３次元モデルを生成する従来の方法は、３Ｄモデリングツールを使用する芸術家またはエンジニアによって、コンピューター上のモデルを作り出すことを含む。この方法は、時間を浪費し、実行する熟練したオペレータを必要とする。３次元モデルは、現実世界の物体からモデルをスキャンしてコンピューターに取り込むことによっても生成され得る。典型的な３Ｄスキャナーは、その視野内で、物体の表面に関する距離情報を収集する。３Ｄスキャナーによって生成された「絵」は、絵の中の各点における表面との距離を記載する。これによって、絵の中の各点の３次元位置を特定することができる。この技術は、一般的に、物体の四方についての情報を得るために、多くの異なる方向からの複数のスキャンを必要とする。これらの技術は多くの用途で有用である。

【0004】

また、実に様々な用途が、エンジニアリングの専門知識を必要とすることなく、かつ、高額で時間のかかるスキャン設備に頼ることなく、迅速に３次元モデルを生成することができるシステムおよび方法から利益を得るだろう。１つの例は、太陽エネルギーシステムの設置の分野にみられる。ある構造、例えば、住宅の屋根の上への設置に適切なソーラーパネルを選ぶために、屋根の寸法を知ることが必要である。従来の設置では、専門家は、その寸法を測定するべく、設置面積を物理的に調べて測定するために、設置場所に派遣される。設置場所を訪れることは、時間もコストもかかる。場合によっては、設置場所の訪問は、非実用的である。例えば、天候が悪いせいで延期になる可能性もある。設置場所は、最も近くにいる技術者からでも相当な距離離れていることもあれば、さもなければ、行くのが難しいこともある。移動して現実の世界の構造を物理的に測定する代わりに、表示画面でレンダリングされた３次元モデルから構造の測定値を得ることを可能にするシステムおよび方法を有していれば役に立つであろう。

【0005】

屋根に設置される際に、ソーラーパネルの表面的な効果が不確かであるため、太陽エネルギーシステムを家に装備したがらない消費者もなかにはいる。障害物についての懸念などの他の理由で、パネルをどこに置くかについてのどんな決定にも関与したがる消費者もなかにはいる。こういった懸念事は、太陽エネルギーの採用に支障をきたしかねない。必要とされるのは、どこの家庭でも設置されているのが見えるように、特定のソーラー部品の現実的な視覚表示を迅速に提供するシステムおよび方法である。

【0006】

本発明の様々な実施形態は、現実世界の３Ｄ物体の現実的なレンダリングされた３Ｄグラフィック画像を用いた、遠隔測定と、視覚化、操作、および、相互作用を可能にする３次元モデルを迅速に生成する。

【発明の概要】

【課題を解決するための手段】

【0007】

本発明は、現実世界の３Ｄ物体の迅速で効率的な３Ｄモデリングのためのシステムおよび方法を提供する。３次元モデルは、所望の物体のわずか２枚の写真に基づいて生成される。２枚の写真の各々は、従来のピンホールカメラデバイスを使用して得られてもよい。本発明の実施形態に従ったシステムは、新規なカメラモデラー（ｃａｍｅｒａ ｍｏｄｅｌｅｒ）と、カメラパラメータの誤差を修正する効率的な方法を含む。本発明の他の用途は、アニメのおよび実写の映画やビデオゲームのための、および、建築と医療の用途のための、迅速な３Ｄモデリングを含む。

【図面の簡単な説明】

【0008】

本発明のこれらと他の物体、特徴、および利点は、図面とあわせて考慮された本発明の以下の詳細な記載の考察から明らかとなるであろう。さらに、例証的な３Ｄモデリングシステムは、本発明の実施形態に従って、補助的な物体サイズ決定システムと協働してもよい。

【0009】

【図1】本発明の３Ｄモデリングシステムの実施形態の一例の展開を説明する図である。

【図2】本発明の実施形態による方法を説明するフローチャートである。

【図3】本発明の例証的な実施形態における使用に適した、家の屋根を含む物体の上から見た図を含む、例証的な第１の画像を示す。

【図4】本発明のいくつかの例証的な実施形態における使用に適した、図３で屋根が描かれた家の正面図を含む例証的な第２の画像を示す。

【図5】図３と４で説明された第１と第２の画像における例証的な３Ｄ点に対応する例証的な２Ｄ点の集合を含むリストである。

【図6】図３と４で説明された第１と第２の画像から選ばれた、直角を含む３Ｄ点の例証的なリストを示す。

【図7】図３と４で説明された第１と第２の画像から選ばれた、基平面を含む３Ｄ点の例証的なリストを示す。

【図8】本発明の実施形態によって３Ｄ点を生成する方法のフローチャートである。

【図9】本発明の実施形態によって誤差を予測する方法のフローチャートである。

【図10】本発明の実施形態によって、カメラモデラーにカメラパラメータを供給するのに適した例証的なカメラパラメータジェネレーターの機能の概念図である。

【図11】本発明の実施形態に応じてカメラモデラーの初期の第１のカメラパラメータを生成する方法の工程を説明するフローチャートである。

【図12】本発明の実施形態に応じてカメラモデラーの第２のカメラパラメータを生成する方法の工程を説明するフローチャートである。

【図13】本発明の実施形態に従って、表示装置上で提供された例証的なグラフィカルユーザーインターフェース（ＧＵＩ）に表示され、および、オペレータが物体の点集合を生成することを可能にする、物体の例証的な画像を示す。

【図14】本発明の実施形態に応じて、物体の誤差修正３次元モデルを提供するための工程を示す。

【図15】本発明の代替的な実施形態に応じて、物体の誤差修正３次元モデルを提供するための工程を示す。

【図16】本発明の実施形態に応じて、第１と第２の画像からの点集合の投影に基づいて３次元モデルを提供する、例証的な３次元モデルジェネレーター（ｍｏｄｅｌ ｇｅｎｅｒａｔｏｒ）を説明する概念図である。

【図17】例証的な第１と第２のカメラによって定義される例証的な３次元モデル空間を示し、第１と第２のカメラの１つは、本発明の実施形態に応じて平面図に従って初期化される。

【図18】本発明の実施形態によって、修正されたカメラパラメータを提供するための方法の工程を例証して記載する。

【図19】本発明の実施形態に応じて、第１と第２の画像、カメラモデラー、および、モデルジェネレーター間の関係を説明する概念図である。

【図20】本発明の実施形態によって、３Ｄモデルを生成して保存するための方法の工程を示す。

【図21】本発明の実施形態による、３次元モデル生成システムを示す。

【図22】本発明の実施形態によって、カメラパラメータを調節するための方法を説明するフローチャートである。

【図23】本発明の実施形態による、例証的な３Ｄモデリングシステムのブロック図である。

【発明を実施するための形態】

【0010】

（図１）
図１は、構造測定システムで展開された本発明の実施形態を示す。画像ソース（１０）は、現実世界の３Ｄの住居構造（１）の画像を含む写真画像を含む。本発明のいくつかの実施形態では、適切な２Ｄ画像ソースは、ＪＰＥＧ、ＴＩＦＦ、ＧＩＦ、ＲＡＷ、および、他の画像保存フォーマットなどのグラフィック形式で保存される２Ｄ画像集を含む。本発明のいくつかの実施形態は、構造の鳥瞰図を含む少なくとも１つの画像を受け取る。１つの鳥瞰図は、４つの角度から航空写真を提供する。

【0011】

本発明の幾つかの実施形態において、適切な２Ｄ画像は、航空画像または衛星画像を含む。本発明の１つの実施形態では、２Ｄ画像ソースは、インターネットを介してシステム（２００）によってアクセス可能なオンラインデータベースである。２Ｄ画像の適切なオンラインソースの例には、限定されないが、米国地理調査所（ＵＳＧＳ）、米国メリーランド大学のＧｌｏｂａｌ Ｌａｎｄ Ｃｏｖｅｒ Ｆａｃｉｌｉｔｙ、および、ＴｅｒｒａＳｅｒｖｅｒ−ＵＳＡ（Ｍｉｃｒｏｓｏｆｔ Ｒｅｓｅａｒｃｈ Ｍａｐｓ（ＭＳＲ）と最近改名された）が挙げられる。これらのデータベースは、地図と航空写真を保存する。

【0012】

本発明のいくつかの実施形態では、画像をジオリファレンス（ｇｅｏ−ｒｅｆｅｒｅｎｃｅｄ）する。ジオリファレンスを行った画像は、それ自体のなかに、あるいは、補足ファイル（例えば、ワールドファイル）のなかに、どのようにして画像を他のデータに揃えるのかをＧＩＳシステムに示す情報を含んでいる。ジオリファレンスに適した形式は、ＧｅｏＴｉｆｆ、ｊｐ２、および、ＭｒＳｉｄを含む。他の画像は、通常、同じ名前とサフィックスの画像ファイルを含む小さなテキストファイルであるコンパニオンファイル（ｃｏｍｐａｎｉｏｎ ｆｉｌｅ）（ワールドファイルとしてＡｒｃＧＩＳで知られている）中のジオリファレンス情報を伝えることもある。画像は、本発明のいくつかの実施形態において、使用するために手動でジオリファレンスが行われる。高解像度画像は、Ｇｏｏｇｌｅ Ｅａｒｔｈ Ｐｒｏ（商標）のような参加者データベースから利用可能である。Ｍａｐｑｕｅｓｔ（商標）は、本発明のいくつかの実施形態に適している。本発明のいくつかの実施形態では、地図情報システム（ＧＩＳ）情報を含む、ジオリファレンスを行った画像が受け取られる。

【0013】

構造（１）の画像は、航空機搭載カメラ（４）のような航空機搭載画像キャプチャデバイスを使用して、例えば、構造（１）の航空写真を撮る航空機（５）によって撮られた。カメラ（４）によって撮られた例証的な写真（１０７）は、住居構造（１）の屋根（１０６）の上から見下ろした図である。カメラ（４）によって得られた例証的な写真（１０７）は、住居構造（１）の屋根（１０６）の平面図である。しかしながら、本発明は、上から見下ろした図に限定されない。カメラ（４）は、構造（１）の正投影図と斜投影図、および、その他の図も撮ってもよい。

【0014】

画像ソース（１０）を含む画像は、航空写真に限定される必要はない。例えば、構造（１）の追加画像は、第２のカメラ、例えば、地上カメラ（９）によって地面上で撮られる。地上での画像は、限定されないが、構造（１）の正面、側面、および、背面の図を含む。図１は、構造（１）の第２の写真（１０８）を描いている。この図において、写真（１０８）は構造（１）の正面図を提供する。

【0015】

本発明の実施形態によれば、物体の第１と第２の図は、任意の特定のタイプの画像キャプチャデバイスを用いてキャプチャされる必要はない。異なる時間に、および、異なる目的のために、異なるキャプチャデバイスからキャプチャされた画像は、本発明の様々な実施形態で使用するのに適しているだろう。第１と第２の画像を得た画像キャプチャデバイスは、任意の特定の内部または外部のカメラの属性を共通して有する必要はない。本発明は、第１と第２の画像をキャプチャするために用いられる実際のカメラについて内部または外部のカメラの属性の知識に頼らない。

【0016】

ひとたび画像が画像ソース（１０）に保存されると、画像は、選択とシステム（１００）へのダウンロードに利用可能である。１つの使用例において、オペレータ（１１３）は、顧客から所在地住所を得る。オペレータ（１１３）は、画像（１０）のソースに、例えば、インターネットによってアクセスするために、画像管理ユニット（１０３）を使用してもよい。オペレータ（１１３）は、所在地住所を提供することによって画像を得てもよい。画像ソース（１０）は、与えられた所在地住所にある住宅の複数の視野を提供することに応じる。本発明の様々な実施形態とともに使用するのに適した図は、平面図、正面図、斜視図、正投影図、斜め画像、および、その他のタイプの画像および図を含む。

【0017】

この実施例において、第１の画像（１０７）は、住宅（１）の第１の視野を示す。第１の視野は、住宅（１）の屋根の平面図を示す。第２の画像（１０８）は、同じ住宅（１）の第２の視野を示す。第２の画像は、第１の視野に示される屋根とは違う視点から屋根を示している。したがって、第１の画像（１０７）は、２次元空間で第１の配向に物体（１）の画像を含み、第２の画像（１０８）は、２Ｄ空間の第２の配向に同じ物体（１）の画像を含む。本発明のいくつかの実施では、少なくとも１つの画像は、物体の平面図を含む。第１の画像（１０７）と第２の画像（１０８）は、画像中に表された物体（１）の大きさ、縦横比、および、他の特徴に関して、互いに異なってもよい。

【0018】

構造（１）の寸法を測定することが望ましい場合、構造の第１と第２の画像は、画像ソース（１０）から得られる。第１と第２の画像を提供するカメラ（４）および（９）に関する情報が、必ずしも画像ソース（１０）に保存されず、必ずしも検索した画像とともに提供されないことに着目することは重要である。多くの場合、第１と第２の写真を撮るために使用されるカメラに関するいかなる情報も、任意のソースからは入手できない。本発明の実施形態は、実際の第１と第２のカメラに関する情報が利用可能かどうかにかかわらず、第１と第２の画像に基づいた、第１と第２のカメラに関する情報を決定することができる。

【0019】

１つの実施形態では、住宅の第１と第２の画像は、システム（１００）によって受け取られ、オペレータ（１１３）に表示される。オペレータ（１１３）は、３次元モデルジェネレーター（９５０）に提供される点集合（制御点）を生成するために、画像と相互に作用する（ｉｎｔｅｒａｃｔ）。モデルジェネレーター（９５０）は、物体の３次元モデル（９５１）を提供する。３次元モデル（９５１）は、レンダリングエンジン（９９５）によって、２Ｄ表示装置（１０３）上に表示するためにディスプレイインターフェース（９９３）を介してレンダリングされる。オペレータ（１１３）は、表示された物体と相互に作用するために、測定アプリケーション（９９２）を使用して、表示装置（１０３）に表示された物体の寸法を測定する。モデルの測定は、第１と第２の画像のスケールに関する情報に基づいた現実世界の測定に変換される。したがって、現実世界の物体の測定は、現場を訪れる必要なくなされる。本発明の実施形態は、物体の少なくとも２つの写真の画像に基づいて、構造の３次元モデルを生成することができる。図２１も同様のシステム構成要素を示している。

【0020】

（図２）
図２は、本発明の実施形態に応じた物体の３次元モデルに基づいて現実世界の物体を測定する方法（２００）を例証および記載している。

【0021】

工程（２０３）では、測定される構造の３次元モデルが生成される。工程（２０５）では、オペレータが、画像の寸法を測定するために表示された画像と相互に作用することができるように、モデルは表示装置上でレンダリングされる。工程（２０７）では、測定値が受け取られる。工程（２０９）では、測定値は画像測定値から現実世界の測定値へと変換される。その時点で、測定値は、構造に太陽エネルギーシステムを整備する際に使用するのに適している。

【0022】

工程（２０３）を実行するために、本発明のモデルジェネレーターは、一致する点を受け取り、３次元モデルを生成する。３次元モデルは、再構築された３Ｄ構造に新しい最適化技術を適用することによって洗練される。洗練された３次元モデルは、洗練された３次元モデルの測定値を用いて得られる構造の有効な測定を可能にするのに十分な精度で、現実世界の構造を表す。

【0023】

これを遂行するために、３次元モデルは、表示装置（１０３）上でレンダリングされる。表示されたモデルの寸法が測定される。その測定値は現実世界の測定値に変換される。現実世界の測定値は、ソーラーパネルを持った構造を整備するために、太陽エネルギー整備システムによって使用される。

【0024】

（図３および４）
適切な第１と第２の画像の例は、図３と４で説明される。図３は、住宅の屋根の平面図を含む第１の画像（１０７）を説明する。例えば、第１の画像（１０７）は、屋根の平面図を撮るために、構造の屋根の上に位置するカメラによって撮られた写真である。最も単純な実施形態では、２次元の第１の画像（１０７）は、３次元の物体、この場合は、住宅を、２次元の画像平面に投影する従来の方法によってキャプチャされたとみなされる。

【0025】

図４は、図３で説明された屋根を含む、図３で説明された住宅の正面図を含む第２の画像（１０８）を説明する。第１と第２の画像は立体画像である必要がないことに注目することが重要である。さらに、第１と第２の画像はスキャンされた画像である必要もない。本発明の１つの実施形態では、第１と第２の写真画像は、カメラのような画像キャプチャデバイスによってキャプチャされる。

【0026】

この明細書の目的のために、「写真」という用語は、感光面に降りかかる光によって作成された画像を指す。感光面は、電荷結合素子（ＣＣＤ）または相補型金属酸化物半導体（ＣＭＯＳ）撮像デバイスなどの、写真フィルムおよび電子撮像装置を含む。本明細書の目的のために、写真はカメラを用いて作成される。カメラは、背景の可視波長光に焦点を当てて人間の目に見えるものの複製物を作るレンズを含む装置のことを指す。

【0027】

本発明の１つの実施形態では、第１の画像（１０７）は、測定される現実世界の物体の正投影図を含む。一般に、カメラまたはセンサーのような画像キャプチャデバイスは、飛行機または衛星のような車両またはプラットフォームによって運ばれ、そのプラットフォームから真下および／または垂直下方にある、最下点に向けられる。最下点に相当する画像中の点またはピクセルは、画像キャプチャデバイスに対して直角な点／ピクセルである。画像中のすべての他の点またはピクセルは、画像キャプチャデバイスに対して斜めである。該点またはピクセルが最下点からますます遠く離れるようになるにつれ、それらは画像キャプチャデバイスに対してますます傾斜するようになる。同様に、地上サンプル距離（すなわち、各ピクセルに対応する、または、各ピクセルによって覆われる、表面積）も増加する。直交画像中のこのような傾斜によって、画像中の特徴は歪曲し、特に、最下点から比較的遠く離れている画像を歪める。

【0028】

ｙ軸と平行な正投影図（投影像）を用いて、現実世界の画像からの３Ｄ点α_ｘ、α_ｙ、α_ｚを、対応する２Ｄ点ｂ_ｘ、ｂ_ｙに投影するために、対応するカメラモデルは、以下の例証的な関係によって記載されてもよい。

【0029】

ｂ_ｘ＝ｓ_ｘａ_ｘ＋ｃ_ｘ

【0030】

ｂ_ｙ＝ｓ_ｚａ_ｚ＋ｃ_ｚ

【0031】

ここで、ベクトルｓは任意の基準化因数であり、ｃは任意のオフセットである。本発明のいくつかの実施形態では、これらの定数は、第１の画像（１０５）に示された視野に一致させるように第１のカメラモデル視点をそろえるために使用される。行列の乗算を用いて、方程式は、以下のようになる。

【0032】

【数1】

【0033】

本発明の１つの実施形態では、直交画像は、歪みについて補正される。例えば、歪みは、直交画像の各ピクセルをオーソメトリックグリッド（ｏｒｔｈｏｍｅｔｒｉｃ ｇｒｉｄ）または座標系に適合させるまたは曲げることによって基本的に直交画像から傾斜を取り除く、垂直調整（ｏｒｔｈｏ−ｒｅｃｔｉｆｉｃａｔｉｏｎ）のプロセスによって、取り除かれるか、または、補正される。垂直調整のプロセスにより画像が作成され、すべてのピクセルが同じ地上サンプル距離を有しており、北に向けられる。したがって、垂直調整された画像上の任意の点は、Ｘ、Ｙ座標系を用いて位置づけ可能であり、画像のスケールが既知のものである限り、地上の地物の長さと幅は、該地物間の相対的な距離と同様に、計算可能である。

【0034】

本発明の１つの実施形態では、第１と第２の画像のうちの１つは斜め画像を含む。斜め画像は、画像キャプチャデバイスを用いてキャプチャされてもよく、該画像キャプチャデバイスは、一般的に、該画像キャプチャデバイスを支持するプラットフォームの側面に、かつ、該プラットフォームから下方に向けられるか、あるいは、面している。斜め画像は、直交画像と異なり、住宅、建物、および／または、山などの地上の地物の側面と、その上面を表示する。斜め画像の前景における各ピクセルは、表面または描かれた物体の比較的小さな面積に対応する（すなわち、各々の前景ピクセルは、比較的小さな地上サンプル距離を有している）が、背景における各々のピクセルは、表面または描かれた物体の比較的大きな領域に対応する（すなわち、各々の背景ピクセルは、比較的大きな地上サンプル距離を有している）。斜め画像は、一般的に、被写体の表面または物体の台形面積または視野をキャプチャし、台形の前景は、台形の背景よりもかなり小さな地上サンプル距離（すなわち、より高い解像度）を有している。

【0035】

（図５）
ひとたび第１と第２の画像が選択され表示されると、点集合（制御点）が選択される。点集合の選択は、例えば、オペレータによって、本発明の実施形態では手動で行われる。本発明の他の実施形態では、制御点は、例えば、機械視覚特徴照合技術（ｍａｃｈｉｎｅ ｖｉｓｉｏｎ ｆｅａｔｕｒｅ ｍａｔｃｈｉｎｇ ｔｅｃｈｎｉｑｕｅ）によって自動的に選択されてもよい。手動の実施形態に関して、オペレータは、第１の画像内の点と、第２の画像内の対応する点を選択し、両方の点は、現実世界の３Ｄ構造内で同じ特徴を表す。

【0036】

一致点を特定して示すために、オペレータ（１１３）は、表示された第１と第２の画像上の対応点を示すべく、第１と第２の表示された画像と相互に作用する。図３と４の例において、現実世界の３Ｄ構造（１）の点Ａは、屋根（１）の角を示す。点Ａは、表示された画像上の異なる位置ではあるが、第１の画像（１０７）と第２の画像（１０８）に現われる。

【0037】

第１と第２の画像内の対応点を示すために、オペレータは、第１の画像（１０７）と第２の画像（１０８）の各々で物体の対応する部分上に表示された証拠（ｉｎｄｉｃｉａ）を置く。例えば、証拠は、第１の画像（１０７）内の物体（１０２）の点Ａの上に置かれ、次に、第２の画像（１０８）内の物体（１０２）の対応部分Ａの上に置かれる。各点で、オペレータは、例えば、右または左のマウスをクリックするか、あるいは、他の選択機構を操作することによって、点の選択を示す。トラックボール、キーボード、ライトペン、タッチスクリーン、ジョイスティックなどの他のデバイスは、本発明の実施形態で使用するのに適している。したがって、オペレータは、図５に説明されるような制御点の対（５０３）のリスト（５００）を作るために、第１と第２の画像と相互に作用する（例えば、リスト（５００）は第１の画像の制御点（５０５）と第２の画像の制御点（５０７）を含んでもよい）。

【0038】

本発明の１つの例証的な実施形態では、タッチスクリーンディスプレイが使用されてもよい。その場合、オペレータは、スクリーンに触れることで表示された画像中の所望の点または他の領域を選択する。ピクセル座標は、ディスプレイスクリーンの座標記述から、例えば、検知されたタッチしたピクセルを含む画像に対応する座標系記述に翻訳される。本発明の他の実施形態では、オペレータは、画像上の選択される点の上にマーカーまたは他の標識を置くために、マウスを用いる。マウスをクリックすることで、置かれたマーカーのピクセル座標を記録する。システム（１００）は、ピクセル座標を対応する画像座標に翻訳する。

【0039】

制御点は、本発明の３Ｄモデリングシステムの３Ｄモデルジェネレーター（９５０）に提供される。撮像された構造の再構成は、各点の対に関してエピポーラ線の交点を見つけることによって達成される。

【0040】

（図６および図７）
図７は、接地面を定義する点（７０３）のリスト（７００）を説明する。本発明のいくつかの実施形態では、生成された３Ｄモデルは、接地平行線を参照することにより改良される。図７は、図５で説明された制御点の例証的なリストからの制御点（７０３）の例証的なリスト（７００）を示し、図７における制御点（７０３）は、本発明の実施形態によって接地平行線を含む。

【0041】

図６は、物体に関連した直角を定義する点（６０３）のリスト（６００）を説明する。接地面のように、直角は、３次元モデルを改良するために本発明のいくつかの実施形態で使用されることもある。

【0042】

本発明の様々な実施形態にかかるシステムにおいて、図１乃至７に関して説明されたように、オペレータは、表示装置（１０３）に表示された第１と第２の画像から、第１と第２の画像点集合を選択する。第１のカメラ行列（カメラ１）は、第１の画像から点集合を受け取る。第２のカメラ行列（カメラ２）は第２の画像から点集合を受け取る。モデル生成は、カメラ１およびカメラ２の行列に初期パラメータを提供することによって始まる。

【0043】

本発明の１つの実施形態では、カメラパラメータは、以下の内部パラメータを含む。

【0044】

ａ）（ｕ０，ｖ０）：網膜上のカメラセンターの投影である、画像センターのピクセル中の座標

【0045】

ｂ）（ａｕ０，ａｖ０）：画像の基準化因数

【0046】

ｃ）（ｄｉｍｘ，ｄｉｍｙ）：画像のピクセルの大きさ

【0047】

外部パラメータは本明細書では以下のように定義される：

【0048】

ａ）Ｒ：参照座標系においてカメラの軸を与える回転

【0049】

ｂ）Ｔ：参照座標系におけるカメラセンターのｍｍでのポーズ

【0050】

カメラパラメータモデリングユニット（８１５）は、第１と第２の画像に対応するカメラモデル（行列）を提供するように構成される。カメラモデルは、第１と第２の画像をキャプチャするために使用されるカメラの記述である。本発明のカメラパラメータモデルは、カメラの制約を含めるように、第１と第２のカメラ行列をモデル化する。本発明のパラメータモデルは、生じる可能性が低いかあるいは無効であるパラメータ、例えば、画像中に見える物体から遠ざかる方向にレンズを向けるカメラ位置を説明する。したがって、これらのパラメータ値は、検査パラメータの計算で考慮する必要はない。

【0051】

カメラパラメータモデリングユニット（８１５）は、関係をモデル化するように構成され、制約は、選択された第１と第２の画像の属性に少なくとも部分的に基づいた第１と第２パラメータ集合を含むパラメータ間の関係を記述する。

【0052】

本発明のカメラパラメータモデルは、カメラパラメータの無効な、または、ありそうもない部分的な組み合わせの選択を防ぐために、第１と第２のカメラ上の位置の制約に関する十分な情報を具現化する。したがって、３次元モデルを生成する計算時間は、例えば、不可能な、さもなければ無効なまたはありそうにないカメラ位置のパラメータ値が検査パラメータに含まれる場合の計算時間よりも短い。

【0053】

幾つかの実施形態では、３次元のユークリッド空間に第１と第２のカメラの配向を記述するために、３つのパラメータが使用される。本発明の様々な実施形態は、異なる方法でカメラの配向を表す。例えば、本発明の１つの実施形態では、カメラパラメータモデルは、オイラー角によってカメラ位置を表す。オイラー角は剛体の配向を記述する３つの角度である。それらの実施形態では、３次元モデル空間の座標系は、オイラー角を含むカメラ角度を定義する実際のジンバルがあたかも存在するかのように、 カメラ位置を記述する。

【0054】

オイラー角は、基準（カメラ）フレームを、参照した（３次元モデル）フレームに移動させる、３つの合成回転（ｃｏｍｐｏｓｅｄ ｒｏｔａｔｉｏｎ）を表す。

【0055】

したがって、任意の配向は、３つの基本的な回転（１つの軸のまわりの回転）を組み合わせることによって表すことができ、任意の回転行列は、３つの基本的な回転行列の積として分解され得る。

【0056】

点の対における各々の点に関して、モデルユニットは、該点を含む画像をキャプチャした対応する仮想カメラを介して、視線（または光線）を投影する。第１の画像エピポールを通り抜ける線と、第２の画像エピポールを通り抜ける線は、理想的な条件下で、例えば、カメラモデルが画像をキャプチャするために用いられる実際のカメラを正確に表すとき、ノイズがないとき、および、点の対の特定が第１と第２の写真の間で正確でかつ一貫していたときに、交差する。

【0057】

３Ｄモデルジェネレーターユニット（９５０）は、本発明の１つの実施形態において、三角測量技術を使用して、第１と第２のカメラモデルによって投影された光線の交点を測定する。一般に、三角測量は、点に対する距離を適切に測定するよりもむしろ、固定された基線のいずれか一方の端部にある既知の点から、点に対する角度を測定することによって、点の位置を測定するプロセスである。該点は、その後、１つの既知の辺と２つの既知の角度を備えた三角形の第３の点として固定され得る。点に対する座標と距離は、その点と２つの他の既知の基準点によって形成された三角形の角度と辺の測定を前提として、三角形の１つの辺の長さを計算することによって見出される。誤差のない文脈において、交差座標は、３次元モデル空間における点の３次元位置を含む。

【0058】

本発明のいくつかの実施形態によれば、３次元モデル（９５１）は、現実世界の構造の３次元表示を含み、該表示は、座標系、例えば、デカルト座標系に対して参照された幾何学的なデータを含む。本発明のいくつかの実施形態では、３次元モデルは、グラフィックデータファイルを含む。３次元表示は、計算と測定を行う目的のために、処理装置（図示せず）のメモリに保存される。

【0059】

３次元モデルは、３Ｄレンダリングプロセスによって、２次元画像として視覚的に表示され得る。ひとたび、本発明のシステムが３次元モデルを生成すると、レンダリングエンジン（９９５）は、ディスプレイインターフェース（９９３）によって表示装置（１０３）上で該モデルの２Ｄ画像をレンダリングする。従来のレンダリング技術は、本発明の実施形態で使用するのに適している。レンダリングに加えて、３次元モデルは、さもなければ、グラフィックまたはノングラフィックなコンピューターシミュレーションおよび計算に役立つ。レンダリングされた２Ｄ画像は、後で見るために保存されてもよい。しかしながら、本明細書に記載の本発明の実施形態は、オペレータ（１１３）が制御点対を示す際に、表示装置（１０３）上にほぼリアルタイムで２Ｄ画像を表示することができる。

【0060】

３次元モデルを含む３Ｄ座標は、３Ｄの現実世界空間における構造点の位置を定義する。対照的に、画像座標は、フィルムまたは電子撮像システムデバイス上に、構造画像点の位置を定義する。

【0061】

点座標は３Ｄ画像座標と３Ｄモデル座標の間で翻訳される。例えば、画像面に平行な面上にある２つの点の間の距離は、画像のスケールｓが分かっている場合、画像のその距離を測定することによって決定され得る。測定された距離に、１／ｓを乗じる。本発明の幾つかの実施形態において、第１と第２の画像のいずれかまたは両方のスケールの情報は、例えば、ダウンロードされた画像を含むメタデータとしてスケールの情報を受け取ることによって知られる。スケール情報は、測定ユニット（１１９）によって使用するために保存される。したがって、測定ユニット（１１９）は、表示装置（１０３）上でレンダリングされたモデルを測定することによって、オペレータ（１１３）に現実世界の３Ｄ物体を測定させることができる。

【0062】

オペレータ（１１３）は、システム（１００）へのダウンロードのために少なくとも２つの画像を選択する。本発明の１つの実施形態では、第１の選択された画像は、住宅の平面図である。第２の選択された画像は、住宅の斜視図である。オペレータ（１１３）は表示装置（１０３）に両方の画像を表示する。マウスまたは他の適切な入力装置を使用して、オペレータ（１０３）は、第１と第２の画像上の点の集合を選択する。第１の画像中で選択されたすべての点について、対応する点は、第２の画像中で選択される。上に記述されたように、システム（１００）によって、オペレータ（１０９）は、２次元の表示装置（１０３）に表示された２次元の（２−Ｄ）画像と相互作用して操作することができる。図１の簡略化された例では、少なくとも１つの２Ｄ画像、例えば、第１の写真画像（１０７）は、処理装置によって画像（１０）のソースから得られる。本発明の他の実施形態では、２Ｄ画像の適切なソースは、処理装置に保存され、表示装置（１０３）上で表示するために、オペレータ（１１３）によって選択可能である。本発明は、使用される画像ソースの数およびタイプに関して限定されない。もっと正確に言えば、様々な画像ソース（１０）は、表示装置（１０３）上での獲得と表示のために、２Ｄ画像を含むのに適している。

【0063】

例えば、上に記載された例証的な実施形態において、本発明は、構造の画像に基づいて、住居構造の寸法を遠隔測定するために展開される。それらの実施形態では、マイクロソフト（商標）によって維持されているような商用の地理的な画像データベースが、２Ｄ画像の適切なソースである。本発明の実施形態のなかには、２Ｄ画像の１つ以上のソースに依存するものもある。例えば、第１の画像（１０７）は、第１の画像ソースから選択され、第２の画像（１０８）は第２の無関係な画像ソースから選択される。消費者用撮像デバイス、例えば、使い捨てカメラ、ビデオカメラなどによって撮られる画像は、本発明の実施形態で使用するのに適している。同様に、衛星、地理的な調査撮像機器、および、現実世界の物体の商用２Ｄ画像を提供する様々な他の撮像機器によって得られる専門的な画像は、本発明の様々な実施形態で使用するのに適している。

【0064】

１つの代替的な実施形態によれば、第１と第２の画像は、処理装置につながれた局所的なスキャナーを使用してスキャンされる。各々のスキャンされた画像のスキャンデータは、処理装置に提供される。スキャンされた画像は、表示装置（１０３）上でオペレータ（１１３）に表示される。別の代替的な実施形態では、画像キャプチャ機器は、現実世界の住宅がある場所に置かれる。その場合、画像キャプチャ機器は、インターネットを通じて処理装置に画像を供給する。画像はリアルタイムで提供されてもよく、または、近い将来に提供されるために保存されてもよい。画像の別のソースは、データネットワークを介して処理装置に接続された、画像アーカイブおよび通信システムである。画像を生成するおよび送ることができる実に様々な方法および装置が、本発明の様々な実施形態を用いて使用するのに適している。

【0065】

（モデルの改良）
実施において、エピポーラ幾何学は、実際の写真では不完全に具現化される。第１と第２の画像からの制御点の２Ｄ座標は、任意の精度では測定することができない。レンズの歪みまたは所望の点検出誤差による幾何学的なノイズのような様々な種類のノイズは、制御点座標の不正確さにつながる。加えて、第１と第２のカメラの幾何学的形状は完全には知られていない。結果として、第１と第２のカメラ行列によって対応する制御点からの３次元モデルジェネレーターによって投影された線は、三角形になると、必ずしも３Ｄ空間で交差するわけではない。その場合、３Ｄ座標の予測は、３次元モデルジェネレーター（９５０）によって投影された線の相対的な線位置の予測に基づいてなされる。本発明の１つの実施形態では、予測された３Ｄ点は、第２の制御点投影に対する第１の制御点投影の最も近い近位の関係を表す３次元モデル空間の点を特定することによって測定される。

【0066】

現実世界の構造の直接的な誤差のない測定がなされていた場合、この予測された３Ｄ点は、現実世界の構造上の同じ点からその偏差に比例した誤差を有するであろう。本発明のいくつかの実施形態では、予測された誤差は、制御点対の雑音のない、歪みのない、誤差のない投影に由来したであろう３Ｄ点から予測された点の偏差を表す。本発明の他の実施形態では、予測された誤差は、３Ｄモデルの生成において、オペレータなどによって、外部で定義された基準に基づいた現実世界の３Ｄ点の「最良の予測」を表す３Ｄ点から予測された点の偏差を表す。

【0067】

【数2】

【0068】

モデル化された３Ｄの現実世界の構造を、可能な限り精密に表す３次元モデルを生成するために、再投影誤差を最小化するのが望ましい。したがって、例えば、ソーラーパネルを設置する目的で、寸法を測定するのに十分な精度で３Ｄモデルを作るために、本発明の実施形態は、予測された３Ｄ点が確実にカメラパラメータモデルの制約内にあるようにする一方で、交差に可能な限り投影線を近付けるために第１と第２のカメラの記述を調節する。

【0069】

本発明の１つの実施形態では、上記のように生成された３次元モデル座標は改良される。カメラモデルによって制御点対を投影することにより生成された３次元モデルを含む多くの３Ｄ点を考慮すると、該モデルを含むカメラパラメータと３Ｄ点は、３次元モデルがすべての点の対応する画像投影を含む最適性規準を満たすまで、調節される。それは、結局、パラメータモデルの制約下で最適な再構成を得るために、３Ｄ画像と表示パラメータ（すなわち、カメラポーズおよび潜在的な内部較正と放射状の歪み）についての最適化問題を意味する。本発明の技術は、観察され予想された画像点の画像位置間の再投影誤差を有効に最小化し、それは、多くの非線形の実数値関数の二乗和として表現される。この種の最小化は、一般的に、非線形の最小二乗アルゴリズムを用いて達成される。これらのうち、レーベンバーグ・マルカート法（Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ）が頻繁に採用される。レーベンバーグ・マルカート法は、現在の推定値の近傍で最小化される関数を繰り返し線形化する。このアルゴリズムは、正規方程式として知られている線形系の解を含む。有効ではあるが、零元（ｚｅｒｏ ｅｌｅｍｅｎｔｓ）で保存および作用するのを回避しながら明確に正規方程式の零パターン（ｚｅｒｏｓ ｐａｔｔｅｒｎ）を活用するレーベンバーグ・マルカート法のわずかな変数でさえ、本発明が展開される用途で実際に使用される計算プロセスで莫大な時間がかかる。

【0070】

（図８）
図８は、本発明の実施形態に応じて、物体の少なくとも２つの２Ｄ画像に基づいて物体の３Ｄモデルを生成する方法（８００）の工程を説明するフローチャートである。

【0071】

工程（８０５）で、オペレータによって選択された制御点が受け取られる。例えば、オペレータは、住宅を含む第１の画像から住宅のＡ部分を選択する。オペレータは、同じ住宅を含む第２の画像から、同じ住宅の同じＡ部分を選択する。第１と第２の画像中で描かれた、オペレータが選択した住宅の部分の表示座標が処理装置に提供される。工程（８０７）で、初期のカメラパラメータは、例えば、オペレータから受け取られる。工程（８０９）で、残りのカメラパラメータは、カメラパラメータモデルに少なくとも部分的に基づいて計算される。残りの工程（例えば、工程８１１、工程８１３、工程８１５、工程８１７、工程８１９、工程８２１、工程８２３、および、工程８２５）は、上の記載で記載され、図８の操作ブロックで指示されるように行われる。

【0072】

（図９）
図９は、本発明の実施形態に応じて生成された３次元モデルにおける誤差を最小化するための、工程（９０３）、工程（９０５）、工程（９０７）、工程（９０９）、工程（９１１）、工程（９１３）、および、工程（９１５）を含む方法（９００）を例証し記載している。

【0073】

（図１０）
本発明の１つの実施形態を示す図（１０００）では、第１と第２のカメラの各々は、３次元モデル空間（１０１２）に位置付けられるカメラベアリングプラットフォーム上に取り付けられたカメラとして、モデル化される。プラットフォームは、順に、「カメラジンバル」につながれる。不可能なカメラ位置は、こうして「ジンバルロック」位置として具現化される。ジンバルロックは、３つのジンバルの２つの軸が並列な構造に入れられ、システムを２次元空間の回転に「ロック」すると生じる、３次元空間での１自由度の喪失である。

【0074】

図１０のモデルは、本発明の実施形態に応じて、モデル空間に２Ｄ画像の制御点を投影するために、最適な第１と第２のカメラ行列を迅速に測定するための１つの有利な構成および方法を表す。該モデルによると、第１と第２のカメラ行列のための初期パラメータは、対応する仮想カメラ（１０１５と１０１６）の開口部が球体（１００５）の中心の方に向けられるように配置されると仮定する。さらに、１つのカメラ（１０１６）は、座標軸（１００９）の座標ｘ０、ｙ１、ｚ０で、球体（１００１）に対して位置付けられるように、すなわち、球体の中心に向かって直接下方に向けられた開口部を含む球体の上半球の上部に配されるように、モデル化される。

【0075】

加えて、可能な位置の範囲は、球体の表面（１０１４）上の位置と、さらに球体の上部の半球に制約される。さらに、カメラ（１０１５）のｘ軸位置は、ｘ＝０で留まるように設定される。従って、上記の制約に従うカメラ（１０１５）によって仮定された位置は、ｚ＝１とｚ＝−１の間のｚ軸の上にあり、ｙ軸に対するカメラ（１０１５）の位置はｚ軸位置によって決定される。カメラ（１０１５）および（１０１６）の各々は、それぞれの光学軸の回りを自由に回転する。

【0076】

図１０で説明された配置は、第１の予測から、定義された収束基準を満たす予測までの、３次元の予測値の収束を容易にする、カメラ行列初期化パラメータを提供する。

【0077】

内部カメラパラメータについてこのように得られた初期値は、図１１および１２で説明された方法の初期化工程の間に確立される。これらは、該方法を実施する間は変更されない。他方で、本発明のシミュレーション方法の連続的な繰り返しに関する外部パラメータの置換は、２つの軸に沿って一方のカメラの位置を固定することと、１つの軸に沿ってもう一方の別のカメラの位置を固定することによって、減らされる。

【0078】

（図１２）パラメータ方法
図１２は、カメラ１（Ｃ１）のピッチ、ヨウ、ロール（ｐｉｔｃｈ ｙａｗ ａｎｄ ｒｏｌｌ）を、図１０で説明されたパラメータモデルによって与えられるＣ１初期パラメータに基づいて測定するための、工程（１２０３）、工程（１２０５）、工程（１２０７）、工程（１２０９）、工程（１２１１）、工程（１２１３）、および、工程（１２１５）を含む方法（１２００）を例証し記載する。

【0079】

（図１１）−パラメータ方法
同様に、図１１は、カメラ２（Ｃ２）のピッチ、ヨウ、ロール（ｐｉｔｃｈ ｙａｗ ａｎｄ ｒｏｌｌ）を、図１０で説明されたパラメータモデルによって与えられるＣ２初期パラメータに基づいて測定するための、工程（１１０３）、工程（１１０５）、工程（１１０７）、工程（１１０９）、工程（１１１１）、工程（１１１３）、および、工程（１１１５）を含む方法（１１００）を例証し記載する。

【0080】

（図１３）−例証的なＧＵＩスクリーンショット
図１３は、本発明の実施形態に従って、オペレータが、表示された第１と第２の画像と相互作用することを可能にするグラフィカルユーザーインターフェースのスクリーンショットである。

【0081】

（図１４）−シミュレーション方法−最低誤差出力の使用
図１４は、３次元モデルを生成し、その一方で、生成された３次元モデルにおける誤差を最小化するための、工程（１４０３）、工程（１４０５）、工程（１４０７）、工程（１４０９）、工程（１４１１）、工程（１４１３）、工程（１４１５）、工程（１４１７）、工程（１４１９）、工程（１４２１）、測定工程（１４２３）、および、工程（１４２５）を含む方法（１４００）の工程を例証して記載するフローチャートである。

【0082】

（図１５）−カメラパラメータとシミュレーション方法
図１５は、本発明の実施形態によって、３Ｄモデルを生成するための、工程（１５０３）、工程（１５０５）、工程（１５０７）、工程（１５０９）、工程（１５１１）、工程（１５１３）、工程（１５１５）、工程（１５１７）、工程（１５１９）、工程（１５２１）、測定工程（１５２３）、工程（１５２５）、工程（１５２７）、工程（１５２９）、測定工程（１５３１）、および、工程（１５３３）を含む方法（１５００）の工程を例証し記載するフローチャートである。

【0083】

（図１６）
図１６は、本発明の実施形態に応じて第１と第２の画像から点集合（１６０２）の３次元モデルベースの投影を提供する例証的な３次元モデルジェネレーター（１６５０）を説明する概念図（１６００）である。図１６は、第１と第２の画像中の２Ｄ点に相当する３次元モデル（１６０７）の３Ｄ点を、（１６０４、１６０５、および、１６０６）（または、１６０４’、１６０５’、および、１６０６’）において、描いている。３Ｄモデルは、縁（１６１３）と平面（１６１２）を含んでもよい。３次元モデルジェネレーター（１６５０）は、各制御点対に、対応する３Ｄ点を提供するために、制御点対に作用する。第１と第２の画像それぞれの第１と第２の画像点について（同じ３次元の点に対応する）、画像点と３次元点と光学的中心は同一平面上にある。

【0084】

３Ｄ空間の物体は、透視投影変換技術によって画像をキャプチャしたデバイスのファインダーによって画像の２Ｄ空間で物体の画像にマッピングされることができる。以下のパラメータがこの変換を記載するためにしばしば用いられる。
・ａ_{ｘ，ｙ，ｚ}−投影される現実世界の３Ｄ空間中の点
・ｃ_{ｘ，ｙ，ｚ}−カメラの実際の現実世界での位置
・θ_{ｘ，ｙ，ｚ}−カメラの現実世界での回転。Ｃ_{ｘ，ｙ，ｚ}＝＜０，０，０＞かつθ_{ｘ，ｙ，ｚ}＝＜０，０，０＞であるとき、３Ｄベクトル＜１，２，０＞は２Ｄベクトル＜１，２＞に投影される。
・ｅ_{ｘ，ｙ，ｚ}−現実世界のディスプレイ表面に対する見る人の位置
この結果、
・ｂ_ｘ，ｙ−ａの２Ｄ投影
となる。

【0085】

本発明は、上記の逆変換を使用する。言いかえれば、本発明は、画像をキャプチャしたデバイスのファインダー越しに見えるように、２Ｄ空間の物体の画像上の点をマッピングする。これを達成するために、本発明は、３次元モデル空間（１６６０）上に点の対を投影することによって、３Ｄの現実世界の物体をモデル形態で再構成するために、カメラ１行列（１６３１）とカメラ２行列（１６３２）を提供する。

【0086】

カメラ行列（１６３１）および（１６３２）は、カメラパラメータによって定義される。カメラパラメータは「内部パラメータ」および「外部パラメータ」を含んでもよい。外部パラメータは、カメラの外部定位、例えば、空間と視野方向における位置を定義する。内部パラメータは、撮像プロセスの幾何学的パラメータを定義する。これは主にレンズの焦点距離であるが、レンズ歪みの記述を含んでもよい。

【0087】

これに応じて、第１のカメラモデル（または行列）は、第１の画像をキャプチャしたカメラの仮想の記述を含む。第２のカメラモデル（または行列）は、第２の画像をキャプチャしたカメラの仮想の記述を含む。本発明のいくつかの実施形態では、カメラ行列（１６３１および１６３２）は、カメラ後方交会法（ｃａｍｅｒａ ｒｅｓｅｃｔｉｏｎｉｎｇ）技術を使用して構築される。カメラ後方交会法は、所定の写真またはビデオを製作したカメラの真のパラメータを見つけるプロセスである。カメラパラメータは、カメラ行列（１６３１）および（１６３２）を含む、３×４の行列で表される。

【0088】

（図１７）−カメラ行列およびモデル空間
図１７は、制御点が第１と第２のカメラモデルによって投影される３次元モデル空間を示す。

【0089】

本明細書で使用されるような用語「カメラモデル」は、ピンホールカメラを介した、現実世界の物体を含む３Ｄ点の、物体の２Ｄ画像中の２Ｄ点へのマッピングを記述する、３×４行列のことを言う。この場合、２Ｄ背景または写真フレームはビューポートと呼ばれる。

【0090】

カメラと投射面の間の距離ｄ、および、ビューポートの寸法、ｖｗおよびｖｈ。一緒に得られたこれらの値は、投影の視野、すなわち、投影された画像中に見える角度を決定する。

【0091】

【数3】

【0092】

（プロジェクター）
第１と第２のカメラ行列（１７３２、１７３１）は、第１と第２の画像からの各々の２Ｄ制御点から、カメラモデルに従って構成された仮想カメラを通って、３Ｄモデル（１７６１）（例えば、側面１７３４、１７３３を有するモデル）が後に提供される３Ｄ画像空間（１７００）へと光線を投影する。

【0093】

したがって、カメラ行列は、それ自体のカメラ行列パラメータ設定に従って光線を投影する。第１と第２の画像を提供するカメラの実際のカメラパラメータが知られていないので、１つの手法はカメラパラメータを予測する。

【0094】

第１と第２のカメラ行列によって投影される２Ｄ点の所定の集合（１７１１）は、３Ｄモデルへの理想的な投影における同じ点に対応することも知られている。この知識によって、本発明の原則に従ったカメラパラメータ予測は、手動で予測された初期値を提供する工程、収束について判定する工程、および、収束判定の結果に基づいてカメラ行列を調節する工程を含む。

【0095】

（図１８）−画像登録方法
図１８は、本発明の実施形態に従って、互いに対して第１と第２の画像を登録するための、工程（１８０４）、工程（１８０６）、工程（１８０８）、工程（１８１０）、工程（１８１２）、工程（１８１４）、工程（１８１６）、工程（１８１８）、工程（１８２０）、工程（１８２２）、工程（１８２４）、測定工程（１８２６）、工程（１８２８）、および、工程（１８３０）を含む方法（１８００）の工程を例証して記載している。図１９は、本発明に係る第１と第２の画像、カメラモデラー、および、モデルジェネレーター間の関係を例証する概念図（１９００）である。

【0096】

（図２０）３次元モデル生成の方法
図２０は、本発明の実施形態による、バンドル調整のための、工程（２００２）、工程（２００４）、工程（２００６）、工程（２００８）、工程（２０１０）、工程（２０１２）、工程（２００９）、工程（２０１１）、工程（２０１４）、工程（２０１６）、工程（２０１８）、工程（２０２０）、測定工程（２０２２）、工程（２０２４）、工程（２０２６）、工程（２０２８）、および、工程（２０３０）を含む方法（２０００）の工程を例証し記載している。

【0097】

（図２１）モデルジェネレーター
図２１は、本発明の実施形態による、３次元モデルジェネレーターのブロック図（２１００）であり、２Ｄ画像ソース（２１３０）、３Ｄモデルジェネレーター（２１２０）（物体モデリングユニット２１４０、３Ｄモデル２１４５、誤差予測ユニット２１５０、および、カメラモデリングユニット２１５５を含む）、ディスプレイ（２１７０）（３Ｄ画像２１７５、第１の２Ｄ画像２１８０、および、第２の２Ｄ画像２１８５を含む）、並びに、ユーザーインターフェースデバイス（２１６０）を示している。

【0098】

（図２２）モデル生成方法の概要
図２２は、本発明の実施形態による、バンドル調節のための、工程（２２０２）、工程（２２０４）、工程（２２０６）、測定工程（２２０８）、工程（２２１０）、および、工程（２２２０）を含む方法（２２００）の工程を例証し記載するフローチャートである。

【0099】

（図２３）モデルジェネレーターの実施形態
図２３は、本発明の実施形態による、カメラモデリングユニットのブロック図（２３００）であり、ユーザー入出力（２３０２）、カメラモデリングユニット（２３０４）（パラメータモデリングユニット２３０６、第１のカメラ解像度（ｃａｍｅｒａ ｄｅｆｉｎｉｔｉｏｎ）２３０８、および、第２のカメラ解像度２３１０を備えたカメラ行列ユニット２３１２を含む）、誤差ユニット（２３１８）（誤差２３１４とパラメータセット２３１６を含む）、３Ｄ物体モデリングユニット（２３２０）、および、３Ｄモデル（２３２２）を示している。

【0100】

システムを含む部品は、別々のユニットとして実行可能であり、代替的に、様々な組み合わせで一体化される。該部品は、ハードウェアとソフトウェアの様々な組み合わせで、実行可能である。

【0101】

本発明は好ましい設計を有するものとして記載されてきたが、本発明はこの開示の精神と範囲のなかでさらに修正されてもよい。したがって、この開示は、本明細書に開示された構造と要素に対する任意の同等物を包含するように意図される。さらに、この開示は、本明細書に開示された一般的な原則を用いる本発明の任意の変化、用途、または、適応を包含するように意図されている。さらに、この開示は、関連技術で知られている慣例または習慣的な慣例に入る、および、添付の請求項の限界に含まれる、開示された主題からの任意の逸脱を包含するように意図される。本発明が特定の実施形態に関して示され記載されてきた一方で、本発明はそのようには限定されない。多くの改良、変更、および、強化は、今や読者には明らかであろう。

【図6】

【図7】

【図13】

【図1】

【図2】

【図3】

【図4】

【図5】

【図8】

【図9】

【図10】

【図11】

【図12】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】