知財求人 - 知財ポータルサイト「IP Force」
特表2023-505212立体視画像の対から導出された点群を使用して構造物をモデル化するためのシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-02-08
(54)【発明の名称】立体視画像の対から導出された点群を使用して構造物をモデル化するためのシステム及び方法
(51)【国際特許分類】
G06T 7/593 20170101AFI20230201BHJP
G06T 7/00 20170101ALI20230201BHJP
G01B 11/245 20060101ALI20230201BHJP
【ＦＩ】
G06T7/593
G06T7/00 C
G01B11/245 H
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022533395
(86)(22)【出願日】2020-12-03
(85)【翻訳文提出日】2022-08-01
(86)【国際出願番号】 US2020063004
(87)【国際公開番号】W WO2021113439
(87)【国際公開日】2021-06-10
(31)【優先権主張番号】16/703,644
(32)【優先日】2019-12-04
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＪＡＶＡ
２．ＰＹＴＨＯＮ
(71)【出願人】
【識別番号】522220533
【氏名又は名称】ジオムニ，インコーポレイテッド
(74)【代理人】
【識別番号】100147511
【弁理士】
【氏名又は名称】北来 亘
(72)【発明者】
【氏名】マンディ，ジョセフ，エル．
(72)【発明者】
【氏名】ポーター，ブライス，ザカリ
(72)【発明者】
【氏名】ジャスタス，ライアン，マーク
(72)【発明者】
【氏名】リヴァス，フランシスコ
【テーマコード（参考）】
2F065
5L096
【Ｆターム（参考）】
2F065AA04
2F065AA53
2F065CC14
2F065FF01
2F065FF05
2F065FF09
2F065JJ03
2F065JJ05
2F065JJ26
2F065QQ21
2F065QQ24
2F065QQ31
5L096AA09
5L096CA05
5L096FA10
5L096FA26
5L096FA66
5L096FA69
5L096HA11
5L096JA20
5L096KA04
5L096KA15
(57)【要約】
屋根構造物をモデル化するための、空中画像データベース及び空中画像データベースと通信しているプロセッサを備えたシステムである。空中画像データベースは複数の立体視画像の対を記憶しており、プロセッサは空中画像データベースから複数の立体視画像の対の中の少なくとも１つの立体視画像の対及び関連メタデータを地理空間的関心領域に基づいて選択する。プロセッサは、少なくとも１つの立体視画像の対からのターゲット画像と参照画像を識別し、識別されたターゲット画像の各画素について視差値を算定して視差マップを生成する。プロセッサは、視差マップ、識別されたターゲット画像、及び識別された参照画像に基づいて３次元点群を生成する。プロセッサは、随意的には、生成された３次元点群に基づいて、屋根構造物の３次元表現を示すテクスチャマップを生成する。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
構造物をモデル化するためのシステムにおいて、空中画像データベースと、
前記空中画像データベースと通信しているプロセッサであって、
前記空中画像データベースから少なくとも１つの立体視画像の対を取り出し、
前記少なくとも１つの立体視画像の対からターゲット画像を識別し、
前記少なくとも１つの立体視画像の対から参照画像を識別し、
前記識別されたターゲット画像の各画素について視差値を計算し、
前記識別されたターゲット画像の各画素についての前記計算された視差値に基づいて視差マップを生成し、
前記視差マップ、前記識別されたターゲット画像、及び前記識別された参照画像に基づいて３次元点群を生成し、
前記３次元点群を使用して前記構造物の３次元建築ポリゴンモデルを生成する、プロセッサと、
を備える、システム。
【請求項2】
前記少なくとも１つの立体視画像の対は、地理空間的関心領域を使用して識別される、請求項１に記載のシステム。
【請求項3】
前記少なくとも１つの立体視画像の対は、内部及び外部カメラパラメータに関連したデータを含む、請求項１に記載のシステム。
【請求項4】
前記プロセッサは、前記識別されたターゲット画像の各画素のコスト視差値を決定するセミグローバルマッチングアルゴリズムを適用することによって、前記識別されたターゲット画像の各画素についての前記視差値を計算する、請求項１に記載のシステム。
【請求項5】
前記プロセッサは、前記視差マップと、前記識別されたターゲット画像と前記識別された参照画像の間の光線交点と、に基づいて前記３次元点群を生成し、前記プロセッサは、前記識別されたターゲット画像中のそれぞれの画素を通るそれぞれの光線と前記識別された参照画像中のそれぞれの対応した画素を通るそれぞれの光線の間の複数の３次元交点を計算する、請求項１に記載のシステム。
【請求項6】
前記プロセッサは、前記３次元点群に亘る特徴をモデル化するための少なくとも１つの３次元ツールを生成する、請求項１に記載のシステム。
【請求項7】
前記プロセッサは、前記空中画像データベースから第２の立体視画像の対を取り出し、
前記第２の立体視画像の対から第２のターゲット画像を識別し、
前記第２の立体視画像の対から第２の参照画像を識別し、
前記識別された第２のターゲット画像の各画素について視差値を計算し、
前記識別された第２のターゲット画像の各画素についての前記それぞれの計算された視差値に基づいて第２の視差マップを生成し、
前記第２の視差マップ、前記識別された第２のターゲット画像、及び前記識別された第２の参照画像に基づいて第２の３次元点群を生成し、
前記生成された第１の３次元点群と前記生成された第２の３次元点群を融合させることによって融合３次元点群を生成する、請求項１に記載のシステム。
【請求項8】
前記システムは、立体視画像の第１の対から第１の点群を生成し、立体視画像の第２の対から第２の点群を生成し、前記第１の点群又は前記第２の点群の一方をユーザーへの表示のために自動的に選択する、請求項１に記載のシステム。
【請求項9】
前記プロセッサは、前記３次元点群に基づく３次元メッシュモデルを生成するために前記３次元点群へ表面再構成アルゴリズムを実行する、請求項１に記載のシステム。
【請求項10】
前記プロセッサはグラフィカルユーザーインターフェースをオペレータへ表示させ、前記グラフィカルユーザーインターフェースは、前記３次元点群と、前記３次元点群の上に特徴の３次元ワイヤフレームモデルを作成するためのユーザーインターフェースツールと、を含んでいる、請求項１に記載のシステム。
【請求項11】
前記プロセッサは、前記ユーザーインターフェースツールを介して前記オペレータから入力を受信し、前記オペレータからの前記入力に基づいて前記特徴の前記３次元ワイヤフレームモデルを生成し、前記特徴の前記３次元ワイヤフレームモデルを前記３次元点群の上に表示させる、請求項１０に記載のシステム。
【請求項12】
前記プロセッサは、画像からのテクスチャを前記３次元ワイヤフレームモデルの少なくとも１つの表面へ適用する、請求項１０に記載のシステム。
【請求項13】
前記プロセッサは、屋根の前記３次元ワイヤフレームモデルに基づく直列化可能なデータを生成する、請求項９に記載のシステム。
【請求項14】
前記プロセッサは、前記３次元モデルに対応した現実世界の構造物の測定値を含む報告書を生成する、請求項１に記載のシステム。
【請求項15】
前記報告書はデジタルファイルの形態をしている、請求項１４に記載のシステム。
【請求項16】
前記報告書は、前記３次元モデルの少なくとも部分に対応した価格設定情報、材料、機材、又はサポート事象のうちの１つ又はそれ以上に関連した情報を含む、請求項１４に記載のシステム。
【請求項17】
前記プロセッサは、テクスチャマップを前記３次元点群の少なくとも１つの表面へ適用する、請求項１に記載のシステム。
【請求項18】
前記プロセッサは、前記３次元点群の点を色付けする、請求項１に記載のシステム。
【請求項19】
構造物をモデル化するための方法において、少なくとも１つの立体視画像の対を受信する工程と、
前記少なくとも１つの立体視画像の対からターゲット画像を識別する工程と、
前記少なくとも１つの立体視画像の対から参照画像を識別する工程と、
前記識別されたターゲット画像の各画素について視差値を計算する工程と、
前記識別されたターゲット画像の各画素についての前記それぞれの計算された視差値に基づいて視差マップを生成する工程と、
前記視差マップ、前記識別されたターゲット画像、及び前記識別された参照画像に基づいて３次元点群を生成する工程と、
前記３次元点群に基づいて前記構造物の３次元建築ポリゴンモデルを生成する工程と、
を備える方法。
【請求項20】
地理空間的関心領域を使用して前記少なくとも１つの立体視画像の対を識別する工程、を更に備える請求項１９に記載の方法。
【請求項21】
前記識別されたターゲット画像の各画素のコスト視差値を決定するセミグローバルマッチングアルゴリズムを適用することによって、前記識別されたターゲット画像の各画素についての前記視差値を計算する工程、を更に備える請求項１９に記載の方法。
【請求項22】
前記視差マップと、前記識別されたターゲット画像と前記識別された参照画像の間の光線交点と、に基づいて前記３次元点群を生成する工程と、前記識別されたターゲット画像中のそれぞれの画素を通るそれぞれの光線と前記識別された参照画像中のそれぞれの対応した画素を通るそれぞれの光線の間の複数の３次元交点を計算する工程と、を更に備える請求項１９に記載の方法。
【請求項23】
前記空中画像データベースから第２の立体視画像の対を取り出す工程と、前記第２の立体視画像の対から第２のターゲット画像を識別する工程と、
前記第２の立体視画像の対から第２の参照画像を識別する工程と、
前記識別された第２のターゲット画像の各画素について視差値を計算する工程と、
前記識別された第２のターゲット画像の各画素についての前記それぞれの計算された視差値に基づいて第２の視差マップを生成する工程と、
前記第２の視差マップ、前記識別された第２のターゲット画像、及び前記識別された第２の参照画像に基づいて第２の３次元点群を生成する工程と、
前記生成された第１の３次元点群と前記生成された第２の３次元点群を融合させることによって融合３次元点群を生成する工程と、
を更に備える請求項１９に記載の方法。
【請求項24】
前記３次元点群に基づく３次元メッシュモデルを生成するために前記３次元点群へ表面再構成アルゴリズムを実行する工程、を更に備える請求項１９に記載の方法。
【請求項25】
前記方法は、グラフィカルユーザーインターフェースをオペレータへ表示する工程を更に備え、前記グラフィカルユーザーインターフェースは、前記３次元点群と、前記３次元点群の上に特徴の３次元ワイヤフレームモデルを作成するためのユーザーインターフェースツールと、を含んでいる、請求項１９に記載の方法。
【請求項26】
前記ユーザーインターフェースツールを介して前記オペレータから入力を受信する工程と、前記オペレータからの前記入力に基づいて前記特徴の前記３次元ワイヤフレームモデルを生成する工程と、前記特徴の前記３次元ワイヤフレームモデルを前記３次元点群の上に表示させる工程と、を更に備える請求項２５に記載の方法。
【請求項27】
画像からのテクスチャを前記３次元ワイヤフレームモデルの表面へ適用する工程、を更に備える請求項２５に記載の方法。
【請求項28】
屋根の前記３次元ワイヤフレームモデルに基づく直列化可能なデータを生成する工程、を更に備える請求項２０に記載の方法。
【請求項29】
前記３次元モデルに対応した現実世界の構造物の測定値を含む報告書を生成する工程、を更に備える請求項１９に記載の方法。
【請求項30】
前記報告書はデジタルファイルの形態をしている、請求項２９に記載の方法。
【請求項31】
前記報告書は、前記３次元モデルの少なくとも部分に対応した価格設定情報、材料、機材、又はサポート事象のうちの１つ又はそれ以上に関連した情報を含む、請求項２９に記載の方法。
【請求項32】
テクスチャマップを前記３次元点群の少なくとも１つの表面へ適用する工程、を更に備える請求項１９に記載の方法。
【請求項33】
前記３次元点群の点を色付けする工程、を更に備える請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概括的には、構造物のコンピュータモデル化の分野に関する。より具体的には、本開示は、立体視画像の対（stereoscopic image pair）から導出された点群を使用して構造物をモデル化するためのシステム及び方法に関する。
【背景技術】
【0002】
デジタル画像（例えば、空中画像、衛星画像など）からのオブジェクトの高精度かつ迅速な識別及び描出が様々な用途にとってますます重要になりつつある。新しく建設される建物の場合はもとより既存構造物を置換及び改修する場合についても材料及び関連コストを特定するために、例えば、屋根、壁、扉などの様な、建物の様々な特徴に関連する情報が建設の専門家によって使用されることは多い。更に、保険業界では、建物／構造物に保険を掛ける場合の適正なコストを決定するために、構造物についての正確な情報が使用され得る。更にまた、政府機関が、区画整理、建設、公園及びレクリエーション、住宅プロジェクトなどの様な、プロジェクトを計画立案するために、指定された区域内の既知のオブジェクトについての情報を使用することがある。
【0003】
空中画像を処理して、空中画像中に存在する構造物の３Ｄ（３次元）モデルを生成するために、様々なソフトウェアシステムが実装されている。しかしながら、これらのシステムは、標高を高精度に描写できない、内部の線分を検出できない、又はコスト精度の高いコスト見積もりにとって十分にセグメント化できない、という様な短所を有している。このことが構造物の不正確又は不完全な３Ｄモデルをもたらすこともある。したがって、２Ｄ画像から高精度完全３Ｄモデルを生成する能力は強力なツールである。
【発明の概要】
【発明が解決しようとする課題】
【0004】
以上より、この分野における既存技術に鑑みて、望ましいであろうとされるものは、デジタル画像をそのソースに関わらず自動的に且つ効率よく処理してデジタル画像中に存在する３Ｄ構造物のモデルを自動的に生成するシステムである。ゆえに、本明細書に開示されるコンピュータビジョンシステム及び方法は、これら及び他のニーズを解消する。
【課題を解決するための手段】
【0005】
本開示は、立体視画像の対から導出された点群を使用して構造物の３次元モデルを生成するためのシステム及び方法に関する。開示されているシステムは、ユーザーによって指定された地理空間的関心領域（region of interest）に基づいて、一対の立体視画像及び関連メタデータを取り出すことができる。次いで、システムは、立体視画像の対のターゲット画像の各画素について視差値を算定することができる。次いで、システムは、立体視画像の対のターゲット画像と参照画像を使用して３Ｄ点群を算定することができる。随意的には、システムは、算定された点群をテクスチャマッピングすることができる。システムは、追加の立体視画像の対を使用して追加の３Ｄ点群を算定し、算定された３Ｄ点群を融合して構造物の最終的点群モデルを作成することができる。点群は、構造物の特徴（例えば、屋根、壁、扉、窓など）に対応して点群の上に線を引いたり構造物の３次元ワイヤフレームモデルを生成したりという様な更なるモデル化目的のために使用され得る。
【0006】
発明の上記特徴は、以下の発明の詳細な説明を添付図面と関連付けて考察されることから明らかになるであろう。
【図面の簡単な説明】
【0007】
【図1】本開示のシステムを実装するのに利用できるハードウェア構成要素及びソフトウェア構成要素を示すダイヤグラムである。
【図2】本開示のシステムによって実施される全体的なプロセスステップを示すフローチャートである。
【図4】スケール変換を算定するために立体視画像の対のターゲット画像と参照画像の間の必要とされる対応関係を示すダイヤグラムである。
【図5】セミグローバルマッチングアルゴリズムを使用した立体視画像の対のターゲット画像中の各画素についての視差値の算定を示すダイヤグラムである。
【図6】立体視画像の対の矯正済みターゲット画像と、セミグローバルマッチングアルゴリズムによって算定された最小のコスト視差（cost disparity）を示すダイヤグラムである。
【図7】任意の画像対を矯正するためにシステムによって実施されるプロセスステップを示すフローチャートである。
【図8】矯正済み立体視画像の対を取得するためのカメラジオメトリ矯正変換を示すダイヤグラムである。
【図9】矯正済み立体視画像の対を示すダイヤグラムである。
【図10】空中画像中に存在する３Ｄ構造物に対応した融合点群を示すダイヤグラムである。
【図11】空中画像中に存在する３Ｄ構造物のテクスチャマッピング済みモデルを示すダイヤグラムである。
【図12】空中画像中に存在する３Ｄ構造物に対応したそれぞれの点群を示すダイヤグラムである。
【図13】本開示のシステムを示すダイヤグラムである。
【図14】本開示のシステムの別の実施形態によって実施される全体的なプロセスステップを示すフローチャートである。
【図15】本開示のシステムの別の実施形態によって実施される全体的なプロセスステップを示すフローチャートである。
【図20】本開示のシステムによる立体画像の矯正を示すダイヤグラムである。
【図21A】本開示のシステムによるメッシュモデルの生成を示すダイヤグラムである。
【図21B】本開示のシステムによるメッシュモデルの生成を示すダイヤグラムである。
【図22】本開示のシステムによる屋根構造物についてのワイヤフレームモデルの生成を示すダイヤグラムである。
【図23】本開示のシステムの別の実施形態によって実施される全体的なプロセスステップを示すフローチャートである。
【図24A】地理空間的関心領域内に位置する構造物を示す入力画像である。
【発明を実施するための形態】
【0008】
本開示は、図１－図３０と関連付けて以下に詳述される様に、立体視画像の対から導出された点群を使用して構造物の３次元ジオメトリモデルを生成するためのシステム及び方法に関する。以下に説明される実施形態は、３Ｄ構造物ジオメトリを構築すること及びその様な構造物の様々な特徴をモデル化することに関連しており、その様な特徴には、限定するわけではないが屋根、壁、扉、窓、建物、日除け、家屋、デッキ、プール、テントの様な仮設構造物、自動車、基礎などが含まれる。
【0009】
図１は、本開示のシステム１０を実装するために利用できるハードウェア構成要素及びソフトウェア構成要素を示すダイヤグラムである。システム１０は、空中画像データベース１２へ連結された中央処理ユニット１８（例えば、ハードウェアプロセッサ）として具現化され得る。ハードウェアプロセッサは、立体視画像の対から算定された視差マップと、算定された視差マップから生成される３Ｄ点群とに基づいて、屋根構造物の３Ｄモデルを生成するシステムコードを実行する。ハードウェアプロセッサは、限定するわけではないが、パーソナルコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、スマートフォン、サーバ、及び／又はクラウドベースのコンピューティングプラットフォームを含み得る。
【0010】
システム１０は、コンピュータ可読媒体上に記憶されていてハードウェアプロセッサ又は１つ又はそれ以上のコンピュータシステムによって実行可能なコンピュータビジョンシステムコード１４（即ち、非一時的コンピュータ可読命令）を含んでいる。コード１４は、本明細書に論じられているステップ／プロセスを実施する様々な特注ソフトウェアモジュールを含むことができ、限定するわけではないが、空中画像前処理ソフトウェアモジュール１６ａ、３Ｄ視差算定ソフトウェアモジュール１６ｂ、３Ｄ点群生成ソフトウェアモジュール１６ｃ、及び随意的なテクスチャマッピングソフトウェアモジュール１６ｄを含み得る。コード１４は、限定するわけではないが、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ、Ｐｙｔｈｏｎ、又は任意の他の適切な言語を含む、任意の適切なプログラミング言語を使用してプログラムされ得る。加えて、コードは、通信ネットワーク上で互いに通信している複数のコンピュータシステムを横断して分散されてもよいし、及び／又は、クラウンドコンピューティングプラットフォーム上に記憶され及び実行されていて、クラウドプラットフォームと通信しているコンピュータシステムによって遠隔的にアクセスされるようになっていてもよい。コードは、コード１４と同じコンピュータシステム上に記憶されているか又はコード１４と通信している１つ又はそれ以上の他のコンピュータシステム上に記憶されている空中画像データベース１２と通信することができる。
【0011】
更にまた、システム１０は、本開示の精神又は範囲から逸脱することなく、フィールドプログラマブルゲートアレイ（field-programmable gate array，「ＦＰＧＡ」）、特定用途向け集積回路（application-specific integrated circuit，「ＡＳＩＣ」）、埋め込みシステム、又は他のカスタマイズされたハードウェア構成要素の様な、カスタマイズされたハードウェア構成要素として具現化されることもできるだろう。図１は１つの見込まれる構成にすぎず、本開示のシステム１０は多数の異なる構成を用いて実装され得るものと理解されたい。
【0012】
図２は、本開示のシステム１０によって実施される全体的なプロセスステップ１００を示すフローチャートである。ステップ１１０にて、システム１０は、空中画像データベース１２から立体視画像の対を取得する。特に、システム１０は、ユーザーによって指定された地理空間的関心領域（「ＲＯＩ」）に基づいて、２つの立体視画像及びそのメタデータを取得する。例えば、ユーザーは、ＲＯＩの緯度経度座標を入力することができる。代わりに、ユーザーは、ＲＯＩの住所又はワールドポイントを入力することもできる。地理空間的ＲＯＩは、住所又はワールドポイントを示すジオコーディングポイントを囲む汎用ポリゴンによって表現されることができる。領域は、領域中に存在する１つ又はそれ以上の構造物が理由でユーザーにとって関心があるのかもしれない。ＲＯＩ内に含まれる不動産区画がジオコーディングポイントに基づいて選択され、区画の面積に亘ってディープラーニングニューラルネットワークが適用されて、区画上に位置する構造物又は複数構造物が検出されることになる。
【0013】
地理空間的ＲＯＩは、緯度経度座標によって境界されたポリゴンとして表現されることもできる。第１の例では、境界は、郵便住所に中心合わせされた矩形又は他の形状とされることができる。第２の例では、境界は、不動産区画境界の調査データから決定されることができる。第３の例では、境界は、（例えば、地理空間的マッピングインターフェースでの）ユーザーの選択から決定されることができる。当業者には、ポリゴンの境界を決定するのに他の方法も使用され得ることが理解されるだろう。
【0014】
ＲＯＩは、例えば、周知のテキスト（well-known text，「ＷＫＴ」）データ、ＴｅＸデータ、ＨＴＭＬデータ、ＸＭＬデータなどの様な、何れのコンピュータフォーマットで表現されてもよい。例えば、ＷＫＴポリゴンは、区画中の検出された構造物に基づく１つ又はそれ以上の算定済みの独立したワールドエリアを備え得る。ユーザーが地理空間的ＲＯＩを入力した後、地理空間的ＲＯＩと関連付けられた立体視画像の対が空中画像データベース１２から取得される。上述の様に、画像は、空中画像、衛星画像などの様なデジタル画像であるとしてもよい。しかしながら、当業者には、任意のタイプの画像キャプチャソースによってキャプチャされた任意のタイプの画像が使用され得ることが理解されるであろう。例えば、空中画像は、限定するわけではないが飛行機、ヘリコプタ、パラグライダ、又は無人航空機（ＵＡＶ）を含む画像キャプチャソースによってキャプチャされてもよい。加えて、画像は、限定するわけではないがスマートフォン、タブレット、又はデジタルカメラを含む画像キャプチャソースによってキャプチャされた地上画像であってもよい。複数の画像が地理空間的ＲＯＩの全部又は一部と重なり合うこともあるものと理解されたい。
【0015】
ステップ１１２にて、システム１０は、取得された立体視画像の対のターゲット画像の各画素について少なくとも１つの視差値を算定する。次いで、ステップ１１４にて、システム１０は、取得された立体視画像の対のターゲット画像と参照画像を使用して３Ｄ点群を算定する。次いで、ステップ１１６にて、システムは、追加の３Ｄ点群を算定するべきかどうかを決定する。もしそうならプロセスはステップ１１０へ戻り、立体視画像の別の対から別の３Ｄ点群が算定され、そうでないならプロセスはステップ１１８へ進む。なお、各算定された３Ｄ点群は特定の視野角（向き）に対応し得る、ということに留意する。加えて、システム１０は、各算定された３Ｄ点群をレジスタすることができる。
【0016】
ステップ１１８にて、システム１０は、算定された３Ｄ点群の１つ又はそれ以上を融合させて最終的点群を作成する。代替的には（又は追加的には）、ユーザーが１つ又はそれ以上の算定された３Ｄ点群を手動で整列させ又は融合させて最終的点群を作成することもできる。システム１０は更に最終的点群をレジスタすることもできる。なお、システム１０は複数の点群を融合させる必要はない、ということに留意する。代わりに（又は追加的に）、システム１０は、複数の点群を生成し（それぞれが一対の立体視画像によって生成される）、視野角にとって最良の点群を自動的に選択してユーザーへ表示させることもできる。代替的には、システム１０は、最終的点群の１つ又はそれ以上のビュー又は複数の点群のうちの或る点群の１つ又はそれ以上のビューを自動的に選択してユーザーへ表示させることもできる。
【0017】
ステップ１２０にて、システム１０は、随意的には、立体視画像の対中に存在する屋根構造物の３Ｄモデルを生成するために最終的点群をテクスチャマッピングすることができる。なお、システムは最終的点群をテクスチャマッピングする必要はない、ということに留意する。代替的には、システムは、所望に応じて点群のさまざまな要素へ所望の色又はパターンを適用することもできるだろう。例えば、群中の各点に標準色（例えば、白色、灰色、黄色）を適用する、群中の各点に点の法線に基づいて色を適用する、各点に点の標高に基づいて色を適用するなど、システムが群の要素へ所望の色を適用するカラー化プロセスが適用されてもよいだろう。
【0018】
図３は、図２のステップ１１２をより詳細に示すフローチャートである。ステップ１５０及び１５２にて、システムは、立体視画像の対からのターゲット画像を識別し、立体視画像の対からの参照画像を識別する。次いで、ステップ１５６にて、システム１０は、セミグローバルマッチングアルゴリズムを使用して立体視画像の対の識別されたターゲット画像中の各画素について視差値を算定する。視差値の算定は、以下に図４及び図５を参照してより詳細に論じられる。
【0019】
図４は、スケール変換を算定するために利用される立体視画像の対のターゲット画像２０２ａと参照画像２０２ｂの間の対応関係を示すダイヤグラム２００である。システム１０は、対応した２Ｄ画像点２０８ａと２０８ｂを整列させるために、スケール変換を利用し、画像の垂直スケールを調整してその行を整列させ、水平スケールを調整して水平画素場所のシフトを最小化させることができる。このシフトは視差として知られている。例えば、２Ｄ画像点２０７は参照画像２０２ｂ中の画像点の画素場所を表し、視差値ｄは参照画像２０２ｂ中の画像行２１０に沿った対応する画像点２０８ｂに到達するための負の平行移動を示している。
【0020】
これらの個々の変換の算定は、ターゲット画像２０２ａ及び参照画像２０２ｂ中の対応した画像場所を必要とする。対応関係は、ゼロ視差平面２０４と呼ばれるワールド中に水平平面を指定することによって見出される。ゼロ視差平面２０４の垂直位置は、局所的な地表平面としてもよい。複数の３Ｄ点２０６ａ、２０６ｂ、２０６ｃ、２０６ｄが、ゼロ視差平面２０４からランダムに選択され、矯正回転の適用されたカメラを使用して、それぞれがターゲット画像２０２ａと参照画像２０２ｂそれぞれの中へ投影される。例えば、図４に見られる様に、３Ｄ点２０６ｄは、ターゲット画像２０２ａの中へ２Ｄ点２０８ａとして投影され、参照画像２０２ｂの中へ２Ｄ点２０８ｂとして投影される。同じ３Ｄ点２０６Ｄがターゲット画像２０２ａと参照画像２０２ｂのそれぞれへマッピングされるので、結果として得られる２Ｄ画像点２０８ａと２０８ｂは対応関係にある。各カメラを較正して、ターゲット画像２０２ａと参照画像２０２ｂの行を整列させ、行に沿った視差シフトを最小化するために、２Ｄアフィンスケール変換が適用される。
【0021】
図５は、システムによるセミグローバルマッチングアルゴリズムを使用した立体視画像の対のターゲット画像２０２ａ中の各画素についての視差値の算定を示すダイヤグラム２４０である。ヒルシュミュラーによるセミグローバルマッチングアルゴリズムは、このプロセスを実施するのに利用できる既知の立体再構成アルゴリズムである。立体視画像の対から３Ｄ点を再構成するためには、参照画像２０２ｂ中の対応する画素を定位するために、ターゲット画像２０２ａ中の各画素について視差シフトを算定することが必要である。図４及び図５を参照して、視差値ｄとターゲット画像２０２ａ中の画素場所（ｕｔ，ｖｔ）が与えられると、参照画像２０２ｂ中の対応した画素２０８ｂの場所は（ｕｔ＋ｄ，ｖｔ）（即ち、行ｖｔに沿ったシフト後の位置）によって与えられる。図３に示されている様に、視差値ｄは負である。
【0022】
セミグローバルマッチングアルゴリズムの目的は、ターゲット画像２０２ａ中の各画素についての視差値の最適割り当てを決定することである。この事例では、最適割り当ては、ターゲット画像２０２ａと参照画像２０２ｂの間の対応した画素場所での画像外観の類似性のコストの量（コストの大きさ，cost measure）を最小化する。コストの量は、対応した画素場所にて画像近傍が類似しているほどコスト値が低くなるように定義される。例えば、コストの量は、ターゲット画像２０２ａと参照画像２０２ｂの間の強度の絶対差であるとしてもよい。但し、このコストの量は、視点依存反射率関数のせいで生じる画像外観のばらつきの強力な指標にならない。画像外観のばらつきのより強力な指標となり得るコストの量は、限定するわけではないがｕ方向の強度の導関数及びセンサス変換法を含み得る。なお、異なる画像外観条件を勘案してコストの量が組み合わされてもよい、ということに留意する。
【0023】
セミグローバルマッチングアルゴリズムは、更に、特徴のない平面状の領域で外観にほとんど差のない場合でも平面状の表面を平坦に維持するためにコストの量へ或る形態の条件付けを適用する。つまり、条件付けられたコストの量は、外観一致が十分に局在化されている（即ち、極めて低コストである）場合に視差のギャップを克服させるためのペナルティを含んでいる。例えば、図４は、ターゲット画像２０２ａ中のすべての画素２４４ａ－２４４ｎについて、コストボリューム２４２の中で視差方向２４６に沿ってサーチが行われることを示している。コストボリューム２４２は、各ターゲット画像２０２ａ（ｕ，ｖ）列に沿った離散的１画素視差段によって定義される。
【0024】
有効視差は、コストがコストボリューム２４２のその列に沿って最も小さくなる場所である。しかしながら、外観局在化のための強力な指標が明らかでない場合は、ターゲット画像２０２ａ中の前の画素場所での視差値が利用され得る。例えば、図５に示されている様に、掃引２４８が垂直画像方向に実行され、ゆえに前の画素場所はターゲット画像２０２ａ中の前の行の隣接画素である。セミグローバルマッチングアルゴリズムは、ターゲット画像２０２ａ中に８つの異なる方向への掃引２４８を実施し、結果として得られる各画素でのコストを合計する。これらの複数の掃引方向は平滑な視差表面を現出させるために適用される。対照的に、早期のアルゴリズムは水平画像方向への掃引しか実行せず、行間の視差表面に不連続性をもたらす結果となった。
【0025】
掃引２４８は、視差割り当てを最適化するために動的プログラムを実装する。例えば、最小外観コスト視差値が前の画素と同じでない場合、追加の０コスト２４３ａがインポーズされる。最小コストの視差の位置が＋１又は?１のいずれかである場合、追加のＰ１コスト２４３ｂが加算される。視差シフトが±１より大きい場合、最小の外観コスト（appearance costs）へＰ２ペナルティ２４３ｃが加算される。典型的には、Ｐ１コスト２４３ｂは、傾斜のある表面を勘案して掃引での隣接画素間に幾らかの視差シフトを許容するためにＰ２コスト２４３ｃより有意に少ない。結果として得られる視差は、条件付きコストがすべて算定された後に最小合計コストを有する視差に定められる。
【0026】
図６は、立体視画像の対の矯正済みターゲット画像２８２ａと、セミグローバルマッチングアルゴリズムによって計算された最小コスト視差２８２ｂを示すダイヤグラム２８０である。図６に示されている様に、視差の負の値は、より高い標高の表面を示唆していて、より暗い点と関連付けられる。なお、平坦な表面は一貫した視差を示し、幾つかの表面内の数個の孤立した白色点はオクルージョンの存在を示す、ということに留意する。好都合にも、本開示のシステムによる、大凡２０００ｘ２０００画素の立体視画像の対の処理時間は、ラップトップコンピュータ上で大凡２０秒を要するだけである。処理時間は画像の面積に正比例する。例えば、矯正し及び視差を算定する時間は、大凡９００ｘ９００画素の立体視画像の対については大凡４秒である。したがって、本開示のシステムは、算定の複雑さの低減化及び処理速度の向上の観点で有意な利点をもたらす。
【0027】
図７は、随意的に任意の画像対を矯正するためにシステム１０によって実施されるプロセスステップ３００を示すフローチャートである。なお、システム１０は空中画像データベース１２から立体視画像の対を取得する、ということに留意する。また一方で、システム１０は、任意の画像対を矯正して立体視画像の対を取得することもできる。ステップ３０２で始まると、システム１０は、空中画像データベース１２から任意の画像対を取得する。次いで、ステップ３０４にて、システム１０は、任意の画像対の第１の画像と第２の画像の対応関係を決定する。これらの対応関係は、ランダムに選択された３Ｄ点をゼロ視差平面上に投影することによって決定でき、したがって画像中の点の相関付けを要しない。最後に、ステップ３０６にて、システム１０は、第１の画像と第２の画像の間の対応関係に基づいてワープ変換を算定して、矯正済み立体視画像の対を生成する。
【0028】
図８は、矯正済み立体視画像の対を取得するためのカメラジオメトリ矯正変換を示すダイヤグラム３２０である。図８に示されている様に、第１の画像及び第２の画像とそれぞれ関連付けられたカメラ３２２ａ及びカメラ３２２ｂが、個々に、対応する中心回転軸３２４ａ及び４２３ｂに沿って回転され、その結果、カメラ３２２ａは向き３２６ａから３２８ａへシフトし、カメラ３２２ｂは向き３２６ｂから３２８ｂへシフトする。第１の画像及び第２の画像への効果は、２Ｄ投影ワープ変換である。特に、一般的な透視カメラ投影行列を考察してみよう、
ここに、Ｋは３ｘ３較正行列であって、カメラの焦点距離及び他の内部パラメータを表す。Ｒ及びｔは、ワールド原点に対してカメラ中心をシフトさせる３Ｄ回転及び平行移動である。Ｒは３ｘ３行列、ｔは３ｘ１行列である。分かり易いように、カメラ３２２ａ、３２２ｂの中心はワールド原点にあると考える。すると、カメラ３２２ａ、３２２ｂは、次の形をとる。
次いで、回転行列
がカメラ３２２ａ、３２２ｂの中心周りに適用でき、カメラ行列に、回転に対応した３ｘ３サブ行列を内包する４ｘ４行列を右から掛ける。
【数1】
ここに、Ｋは３ｘ３較正行列であって、カメラの焦点距離及び他の内部パラメータを表す。Ｒ及びｔは、ワールド原点に対してカメラ中心をシフトさせる３Ｄ回転及び平行移動である。Ｒは３ｘ３行列、ｔは３ｘ１行列である。分かり易いように、カメラ３２２ａ、３２２ｂの中心はワールド原点にあると考える。すると、カメラ３２２ａ、３２２ｂは、次の形をとる。
【数2】
次いで、回転行列
【数3】
がカメラ３２２ａ、３２２ｂの中心周りに適用でき、カメラ行列に、回転に対応した３ｘ３サブ行列を内包する４ｘ４行列を右から掛ける。
【数4】
【0029】
元の画像の、回転後カメラによって見える画像へのワープ変換は、以下の様に見出される。
２Ｄ投影ワープ変換行列は、３ｘ３行列である
によって与えられる。こうしてワープ変換によって第１の画像と第２の画像のビュー方向を同じにすることができる。
【数5】
２Ｄ投影ワープ変換行列は、３ｘ３行列である
【数6】
によって与えられる。こうしてワープ変換によって第１の画像と第２の画像のビュー方向を同じにすることができる。
【0030】
図９は、ターゲット画像２０２ａと参照画像２０２ｂを含む矯正済み立体視画像の対を示すダイヤグラム３４０である。画像２０２ａと２０２ｂは、対応した点が各画像中の同じ行上に位置するように整列された行を有している。この関係は、各画像中の対応した点を横切る線３４２によって示されている。
【0031】
図１０は、画像３６３中に存在する３Ｄ屋根構造物３６４に対応した融合点群３６２を示すダイヤグラム３６０である。視差値が決定され次第、各ターゲット画素の３Ｄ座標が算定され得る。矯正済みカメラが、逆投影カメラ光線の算定をサポートする。特に、ターゲット画像の画素から発せられる３Ｄターゲット光線は、３Ｄ空間において、参照画像の画素から発せられる対応する光線と交差する。光線交点は線形演算であり、ゆえに光線交点処理は算定効率が良い。例えば、図５の２０００ｘ２０００画素視差画像２８２ｂを生成するための光線交点処理の所要時間は大凡１０秒である。
【0032】
融合点群３６２は、画像３６３中に示される複合切妻屋根３６４を示している。融合点群３６２は、地上解像度が大凡５０ｃｍの衛星画像から取得された。図６に示されている様に、平面状の平面は大凡この程度の精度へ解像される。なお、より高い画像解像度では、点群３６２の解像度は相応して増加するだろう、ということに留意する。加えて、衛星画像は、画像品質（例えば、コントラスト）に依存して３Ｄ点群解像度が画像地上解像度並みであることを示唆している。
【0033】
１つの立体視画像の対に基づいて、すべての画素にほぼ完全な視差値を有する点群を現出させることが困難な場合もある。点群処理中に最も問題となる区域は、オクルージョンと、陰影に因る表面照明の欠如である。しかしながら、データの異なる時点にて異なる視点から複数の立体視画像の対が利用可能である場合、欠落データ値は、複数の点群を融合することによって充填されることができる。なお、立体視画像の対は画像間の大きいスケール差を未然に防ぐために同じ飛行経路から取得され得る、ということに留意する。特に、多数の立体視画像を所与として、複数の立体視画像の対が固有の組合せとして形成され得る。一般に、Ｎ個の立体視画像では、Ｎ（Ｎ－１）／２通りの固有の立体視画像の対が現出され得る。例えば、１０個の立体視画像は４５通りの固有の立体視画像の対を生む。なお、４５通りの固有の立体視画像の対それぞれのデータは冗長的であり、ゆえに融合点群を生成するのに利用される立体視画像の対は慎重に選択されるべきである、ということに留意する。
【0034】
融合点群を生成するために複数の立体視画像の対の中から利用されるべき特定の立体視画像の対を選択することは、２つの画像ビュー方向の相対配向角に依存し得る。相対画像対配向角の最適選定を推進する競合因子は、限定するわけではないが、２つのビューを横断して画素場所をマッチングさせることを容易にする小さい配向角差と、３Ｄ点場所を決定するためのより高精度な光線交点をもたらす大きい配向角差を含む。なお、相対配向角はシーンの内容に依存する、ということに留意する。また一方で、シーンの実験は、大凡２０°の範囲が受容可能であることを示唆している。結果として得られる融合点群は、適度に緻密であり、画像地上解像度並みの精度を明白に示す。
【0035】
融合点群を生成するのに複数の立体視画像の対の中から利用されるべき特定の数の立体視画像の対を選択することで、欠落データ点を充填することによって融合点群のジオメトリ精度を改善することができる。例えば、点座標の標準偏差は、融合によって、大凡
の係数で縮小され、ここにｎは平均される点の数である。融合点群を生成するのに利用されるべき立体視画像の対の実践的な数は、１０～１００の範囲であり、遮蔽の度合い（degree of occlusion）の様な幾つかの因子に依存する。融合プロセス自体は算定集約的ではなく、その算定コストは、特定の数の立体視画像の対のそれぞれの点群を算定することに比較すれば取るに足らない。それぞれの点群の算定は、データ輻輳ボトルネックなしに並列に実行され得る。そのため、実際の経過時間は、コンピューティングシステム上で利用可能なコアの数に厳密に依存する。
【数7】
の係数で縮小され、ここにｎは平均される点の数である。融合点群を生成するのに利用されるべき立体視画像の対の実践的な数は、１０～１００の範囲であり、遮蔽の度合い（degree of occlusion）の様な幾つかの因子に依存する。融合プロセス自体は算定集約的ではなく、その算定コストは、特定の数の立体視画像の対のそれぞれの点群を算定することに比較すれば取るに足らない。それぞれの点群の算定は、データ輻輳ボトルネックなしに並列に実行され得る。そのため、実際の経過時間は、コンピューティングシステム上で利用可能なコアの数に厳密に依存する。
【0036】
図１１は、空中画像中に存在する３Ｄ構造物３８４のテクスチャマッピング済みモデル３８２を示すダイヤグラム３８０である。生成された最終的点群に基づき、表面へ投影された画像データを用いて３Ｄ三角分割表面を作成して構造物のテクスチャマッピング済みモデル３８２を形成することができる。テクスチャマッピング済みモデル３８２は、（例えば、テクスチャマッピング済みモデル３８２の３Ｄジオメトリの上に屋根ポリゴンを描画することによって、及び／又はそこからワイヤフレームを生成することによって）構造物の３次元建築ポリゴンモデルを手動又は自動で描画することを可能にし得る。連続した表面は、ドロネー三角分割法を利用して点群から自動的に形成され得る。テクスチャマッピング済みモデル３８２の表示は、広範に様々な３Ｄツールによってサポートされる。図１１に示されている様に、テクスチャマッピング済みモデル３８２は、グレースケールテクスチャを利用しているが、カラー画像が利用されてもよい。なお、テクスチャマッピング済みモデル３８２の垂直壁は、衛星画像が配向的に頭上に近いため解像度を欠いている、ということに留意する。
【0037】
図１２は、空中画像４０２ａ中に存在する３Ｄ構造物の屋根構造物の点群を示すダイヤグラム４００である。空中画像４０２ａは、屋根構造物４０４ａを有する３Ｄ構造物４０３ａ及び屋根構造物４０６ａを有する３Ｄ構造物４０５ａを示しており、屋根構造物４０６ａの周辺に近い及び／又は張り出す樹木４１０ａが屋根構造物４０６ａの表面へ影４１０ｂを投げかけている。したがって、空中画像４０２ｂでは、点群４０６ｂの屋根境界は、各樹木４１０ａ及び樹木から投げかけられた影４１０ｂによって崩れている。しかしながら、ユーザーは、手動入力される境界４１２を介して点群４０６ｂの屋根境界を線引きすることができる。
【0038】
図１３は、本開示のシステム５００の或る実施形態を示すダイヤグラムである。特に、図１３はシステム５００が実装され得るコンピュータハードウェア及びネットワーク構成要素を示している。システム５００は、上述の（コンピュータビジョンシステムコード５０２として具現化され得る）コンピュータ命令及び方法を実行するための少なくとも１つのプロセッサ及びメモリを有する複数の内部サーバ５０４ａ－５０４ｎを含むことができる。システム５００は、更に、立体視画像データ及び／又はビデオデータを受信するための複数のストレージサーバ５０６ａ－５０６ｎを含むことができる。システム５００は、更に、立体視画像データ及び／又はビデオデータをキャプチャするための複数のカメラデバイス５０８ａ－５０８ｎを含むことができる。例えば、カメラデバイスは、限定するわけではないが、無人航空機５０８ａ、飛行機５０８ｂ、及び衛星５０８ｎを含み得る。内部サーバ５０４ａ－５０４ｎ、ストレージサーバ５０６ａ－５０６ｎ、及びカメラデバイス５０８ａ－５０８ｎは、通信ネットワーク５０１上で通信することができる。当然ながら、システム５００は複数のデバイス上に実装される必要はなく、実際にシステム５００は、本開示の精神又は範囲から逸脱することなく、単一のコンピュータシステム（例えば、パーソナルコンピュータ、サーバ、モバイルコンピュータ、スマートフォンなど）上に実装されることもできるだろう。
【0039】
図１４は、本開示の別の実施形態によるシステム１０によって実施される全体的なプロセスステップ６００を示すフローチャートである。ステップ６０２にて、システム１０は、地理空間的関心領域を受信し、立体対画像及びそれらのメタデータを選択し及び取り出す。ステップ６０４にて、システム１０は、関心領域について１つ又はそれ以上の点群が既に存在するか否かを判定する。ステップ６０４で否定的な判定がなされた場合、システム１０はステップ６０６へ進み、視差マップを使用して１つ又はそれ以上の立体対から点群が生成される。ステップ６０４で肯定的な判定がなされた場合、システム１０はステップ６０８へ進み、先在する点群が選択される（例えば、対応したＬｉＤＡＲ点群データが利用可能であるとき）。随意的には、次いでシステム１０はステップ６１０へ進むことができ、そこで点群からポリゴンメッシュが生成され、ポリゴンメッシュは点群を精錬及び軽減化しテクスチャマッピングを適用するために使用され得る。ステップ６１２にて、システム１０は、点群中に示される屋根のモデルを生成するのに使用されるＣＡＤインターフェースを人間のオペレータへ提示する。ユーザーにモデル化される屋根のより完全な画像が見えるようにするため、複数のビューからの複数の点群が使用され得る。屋根モデルが生成された後、システム１０はステップ６１４へ進み、現出された３次元ジオメトリがモデル化エラーを内包していないことを確実にするためにモデル妥当性確認が遂行される。妥当性確認が完了し次第、システム１０はステップ６１６へ進み、関心領域の様々な特徴に関連する測定値及び統計がモデルから抽出される。プロセスステップ６０２－６１６の特定の実施例が以下に図１５－図１９に関連付けてより詳細に論じられる。
【0040】
図１５は、図１４と関連付けて説明された全体的なプロセスステップ６００に従って、本開示のシステム１０によって実施される処理ステップ６５０を示すフローチャートである。ステップ６５２にて、ユーザーは、関心領域についての住所、ジオコード、区画などを入力する。ステップ６５４にて、関心領域が地図から選択される。関心領域が選択されたら、システム１０はステップ６５６へ進み、１つ又はそれ以上の立体画像対が選択され及び取り出される。ステップ６５８にて、システム１０は、関心領域について点群データが存在するか否かを判定する。ステップ６５８で否定的な判定がなされた場合、システム１０はステップ６６０へ進み、点群が生成される。ステップ６５８で肯定的な判定がなされ、関心領域について点群データが既に存在する場合、システム１０は点群データを取り出すことができる。システム１０が関心領域についての点群データを得たら、システムは、随意的に、関心領域のメッシュモデルが作成されるステップ６６２へ進むことができる。次いで、システム１０はステップ６６４へ進み、屋根がモデル化される。ステップ６６６にて、システム１０はモデル妥当性確認を行い、ステップ６６８にて、システム１０は妥当性確認されたモデルに基づいて屋根統計を生成する。
【0041】
図１６－図１９は、図１５に関連付けて説明された処理ステップを示している。具体的には、図１６は、図１５のステップ６５２及び６５４に関連付けて説明されている様に、システム１０によって生成されていて、地図７０２を表示していて、ユーザーによって選択された関心領域７０４を有しているグラフィカルユーザーインターフェース７００を示すダイヤグラムである。図１７は、図１５のステップ６５６に関連付けて説明されている様に、図１６の関心領域７０４に対応した一対の立体画像７０６ａ及び７０６ｂを示している。図１８は、図１５のステップ６５８に関連付けて説明されている様に、関心領域７０４（図１６参照）にとって既に利用可能であり、データベースからダウンロードする準備ができている点群７０８を示す。図１９Ａは、図１５のステップ６６０に関連付けて説明されている様に、システム１０によって生成される点群７１０ａを示し、図１９Ｂは、図１９Ａの点群７１０ａに基づきシステム１０によって随意的に作成されるメッシュモデル７１０ｂを示している。追加的に、図１９Ｂに示されている様に、図１５のステップ６６２及び６６４それぞれに関連付けて説明されている様に、点群７１０ａ又はメッシュ７１０ｂの上に３Ｄ ＣＡＤ又はワイヤフレームモデル７１２が生成されることもできるだろう。代わりに（又は追加的に）、ユーザーが、ＣＡＤソフトウェア内の様々な３Ｄツールを利用して、点群７１０ａ又はメッシュ７１０ｂの上にワイヤフレームモデル７１２を手動で生成してもよい。なお、システムは点群上のワイヤフレームモデルの１つ又はそれ以上のビューを生成し及び表示することができる、ということに留意する。加えて、システムは、ワイヤフレームモデルの１つ又はそれ以上のビューを３Ｄモデル、２Ｄモデル、又はテクスチャモデルとして生成し及び表示することができる。点群７１０ａ又はメッシュ７１０ｂの上にワイヤフレームモデル７１２をモデル化するための支援として、基準水平平面が、システムによって自動的に又はユーザーによって手動的にのどちらかで、水平平面をシフトさせることによるか又は点群の点を選択することによって水平平面を示すかのどちらかによって、定義される。
【0042】
図１４及び図１５に関連付けて上述されている様に、プロセスは、システム１０がユーザーから地理空間的関心領域を受信したときに始まる。地理空間的関心領域は、緯度経度座標中にポリゴンとして表現され得る。境界は、以下を含む様々なやり方で導出され、即ち、（１）ジオコードから、（２）郵便住所に中心合わせされた矩形又は他の形状として、（３）不動産区画境界の調査データから、又は（４）地理空間的マッピングインターフェースでの人間のユーザーの選択から、導出され得る。なお、点群が既に存在するとシステム１０が判定した場合には、点群の生成にとって関心区域の画像は必要ない、ということに留意する。しかしながら、システム１０は、本明細書に記載される様に、テクスチャマッピングを作成するために関心区域の画像を利用することができる。
【0043】
点群が生成される必要があるとシステム１０が判定した場合には、画像が取得されなくてはならず、システム１０は、メタデータを含む立体対画像の１つ又はそれ以上のセットを画像データストアから選択し及び取り出す。点群を生成するためには、斜め立体画像――カメラが関心オブジェクトに対して角度を成している――がモデル化目的にとって望ましいかもしれない。例えば、斜め立体対は、壁材料、窓及び扉の設置位置、及び実質的に頭上の視点からは明白に視認できない他の屋根以外の特徴を決定するのに有用である。
【0044】
以上に論じられている様に、システム１０は、所与の関心領域にとって点群が利用可能であるかどうかを判定するための論理を含んでいる。ＬｉＤＡＲ又は他の３Ｄ感知データの可用性をルックアップするためにデータベース問合せが遂行され得る。利用できる場合、点群がダウンロードされ、システム１０はメッシュ作成及び／又はＣＡＤモデル化へ直進することができる。問合せがデータなしで戻ってきた場合、システム１０は、立体対画像を使用して点群を生成する。立体対画像が取得されたら、それらを使用して視差マップが生成され、画素の逆投影を使用して点群が作成される。
【0045】
図２０は、元の画像７１４ａ及び７１４ｂから矯正済み立体視画像の対７１６ａ及び７１６ｂを取得するためのカメラジオメトリ矯正変換を示す図である。元の画像７１４ａ及び７１４ｂへ適用されたときにカメラの主要光線を平行にさせ同じ平面を起点とさせるように変換する変換行列を繰り返し精錬するために、カメラメタデータ及び仮定上の平面が３Ｄ点と共に利用される。この行列はまた、画像７１４ａ及び７１４ｂへ適用されて、矯正済み立体画像対である７１６ａ及び７１６ｂを作成させる。図２０に示されている様に、矯正済みの左右の画像７１６ａ及び７１６ｂは、今や平行な主要光線を有するカメラを表現している。矯正済みの左右の画像７１６ａ及び７１６ｂは、次いで、システム１０によって、視差マップを生成するのに使用され得る。
【0046】
システム１０は、矯正済みの左右の画像を入力として使用するヒルシュミュラーによるセミグローバルマッチングアルゴリズムの様な、任意の適切な視差マップアルゴリズムを使用することができる。アルゴリズムは、動的プログラミングを使用し、左画像中の画素を水平方向へのシフトで以って右側の画像中の各個の対応した画素にマッピングする関数を最適化させる（例えば、以上に論じられている図４を参照のこと）。このシフトは、オブジェクトの奥行を間接的に測る視差を測定する。そのため、オブジェクトがカメラに近いほど、視差は大きくなる。結果として得られた視差マップはシステム１０によって点群を作成するのに使用される。
【0047】
システム１０は、左画像中の画素を通る光線と右画像中の対応した画素を通る光線との３Ｄ交点を計算することによって点群を生成する。視差マップ中の各画素は、最終的点群中に含まれる。また、例えば２つの西向きカメラ、２つの東向きカメラ、２つの天底カメラなど、複数の立体対が利用可能な場合、複数の点群が生成され、それらが点群レジストレーションを用いて組み合わされて、より完全な群を形成させることもできる。複数の立体対から複数の点群を作成することの利点は、モデル化フェーズ中に、システム１０が仮想カメラを向き変えさせる能力をユーザーに提供でき、システム１０が、仮想カメラの現在位置に最も密接に一致する立体対カメラから生成された点群を選択し及び表示できることである。
【0048】
図２１Ａ及び図２１Ｂは、点群７２０ａ及び点群に基づいて随意的に作成されるメッシュモデル７２０ｂをそれぞれ示す図である。メッシュモデル作成には、（１）点群を精錬し点群中のノイズを低減し、算定上の負荷を軽減するという利点を得る、及び（２）人間のモデル化努力のためのより良好な視覚化を提供する、という二重の目的がある。ドロネー三角分割法又は他の周知の表面再構成アルゴリズムを使用して、図２１Ａに示される点群７２０ａは、図２１Ｂに示されるポリゴンメッシュ７２０ｂへ変えられる。表面再構成アルゴリズムの制約のせいで、群７２０ａ中の点の一部はポリゴン化できない。これらの点はノイズと見なされ、除去される。
【0049】
図２１Ａに示される点群７２０ａ及び図２１Ｂに示されるメッシュモデル７２０ｂはテクスチャ適用済みである。本開示の幾つかの態様によれば、システム１０は、人間が解釈できる視覚化のために元の画像からのテクスチャを点群へマッピングすることができ、それによりオペレータは、特徴のエッジ付近の色変化や陰影区域の暗色などの様な、特徴についての視覚的手がかりの存在に因り、点群上にＣＡＤ又はワイヤフレームモデルを更に容易に生成できるようになる。モデル化を更に支援するためにモデルが作成されてゆく際に追加のテクスチャマッピングが適用されることもできる。なお、システムはＣＡＤ又はワイヤフレームモデルを自動的に生成する必要はない、ということに留意する。代わりに（又は追加的に）、ユーザーが手動でＣＡＤ又はワイヤフレームモデルを生成することもできる。
【0050】
図２２は、１つ又はそれ以上の３Ｄツールを使用して生成された３Ｄワイヤフレーム屋根構造物モデル７２４を上に載せた点群７２２を表示しているグラフィカルユーザーインターフェース画面７３０を示す図である。なお、システムは、点群上のワイヤフレーム屋根構造物モデルの１つ又はそれ以上のビューを生成し及び表示することができる、ということに留意する。加えて、システムは、ワイヤフレーム屋根構造物モデルの１つ又はそれ以上のビューを３Ｄモデル、２Ｄモデル、又はテクスチャモデルとして生成し及び表示することができる。上述の様に、点群又はメッシュモデルは、システム１０の３Ｄモデル化インターフェース構成要素へインポートされる。システム１０は、屋根固有の特徴をモデル化するための複数のツールを提供することができ、例えば、寄棟屋根ツール、切妻屋根ツール、小塔ツール、煙突ツール、屋根窓ツール、クリケットツール、パーゴラツール、雨樋ツールなどが提供され得る。当然ながら、システム１０は、関心オブジェクト又は関心区域の他の特徴をモデル化するための追加のツールを提供していてもよい。例えば、システム１０は、限定するわけではないが点群のプロファイル中の屋根の勾配の様な、点群の検査を通じてモデル化される構造物の特性を識別するためのツールを利用することができる。屋根モデルが作成され次第、システム１０は、構造物の壁及び他の垂直表面を近似させることができ、人間のオペレータがテクスチャマッピング中に見ることのできる特徴を壁モデルへ容易に追加することを、つまり、窓、扉、ＡＣユニット、車庫扉、及び壁上に存在する他の建物の特徴を設置することを可能にする。システム１０は更に、構造物の点群表現によりよく適合させるために修正される必要のある壁を押し込んだり引き出したりするためのツールを提供することもできる。追加的に、システム１０は更に、建物の一部ではないが点群中に含まれる他の特徴、例えば歩道、私道、プール、樹木、ポーチなどをモデル化するためのツールを提供していてもよい。ここで論じられているモデル化ツールは、例えば静的な又は可動の仮想カメラ（点群のビュー）と人間オペレータ入力を使用して３Ｄモデルジオメトリを現出させるために実装され得る。システムは、モデル化され得る特徴のタイプにおいては限定されず、実際に、その様な特徴は、限定するわけではないが、屋根の特徴、壁、扉、窓、煙突、通気口、雨樋、縦樋、衛星放送受信アンテナ、空調（「ＡＣ」）ユニット、私道、パティオ、ポーチ、デッキ、東屋、プール、温水浴槽、納屋、温室、プール囲いなどを含み得る。
【0051】
システム１０は、多面体をマージし、モデルを現実世界の屋根ジオメトリと一致に保つために、コンピュテーショナル・ソリッド・ジオメトリ（「ＣＳＧ」）を遂行することができる。システム１０はまた、限定するわけではないが、共平面性チェック、ＣＳＧが検出できないソリッド間ギャップについてチェックすること、すべての多面体が閉じていることを確実にすること、すべての屋根傾斜が標準的屋根勾配へスナップされていることをチェックすること、及びすべての屋根面ポリゴンが外を向いた平面法線で巻かれていることを保証すること、を含む一連の数学的妥当性確認を３Ｄモデルに対して遂行することができる。これらの妥当性確認は、３Ｄモデルから生成された統計が健全であり、問題の屋根又はオブジェクトの現実世界測定値を綿密に反映していることを確約する。妥当性確認失敗があれば、システム１０は、モデルを３Ｄモデル化インターフェースへ差し戻し、３Ｄモデルへの補正が必要であることをオペレータに通知することができる。なお、システムは妥当性確認を自動的に遂行する必要はない、ということに留意する。代わりに（又は追加的に）、ユーザーが手動で妥当性確認を遂行することもできる。
【0052】
関心オブジェクト又は関心区域の３Ｄモデルを生成することに加え、システム１０は、屋根についての直列化可能なデータのセットを生成することができる。直列化可能なデータは、限定するわけではないが、屋根面積；フラッシング及びステップフラッシングの長さ；谷屋根、ひさし屋根、寄棟屋根、及び切妻屋根の線の長さ；屋根樋長さ；平方数；優勢な勾配；コーニスストリップの長さ；張り出し長さ；雨樋の場所及び長さ；及び、面の面積、勾配、及び線種長さを含む面毎の統計、を含み得る。このデータは、システム１０によって、モデルの３Ｄジオメトリ形状から相対的な統計を導出することによって現出される。当然ながら、データはＪＳＯＮ、ＸＭＬ、ＣＳＶ、又は他の機械可読及び人間可読フォーマットへ直列化され得る。更にまた、システム１０は、モデル化された構造物の測定値を提供する１つ又はそれ以上の報告書を、報告書上に示された表示（例えば、長さ、幅、面積、傾斜、勾配、体積など）と共に生成することもできるだろう。また、ＸＭＬファイル、ＪＳＯＮファイル、ＴＸＴファイル、ＷＫＴファイル、ＰＤＦファイルなどの形式の要約情報がシステムによって現出されることもできるだろう。更にまた、システムは、モデル化された要素の一部又は全部についての、労働力、材料、機材、サポート事象などを含む価格設定情報をその様な報告書中に提供することもできるだろう。
【0053】
上記に加えて、本開示のシステム及び方法は以下の追加的特徴も含むことができる。例えば、システムは、ユーザーが、モデル化されるべき所望の不動産又は構造物を、コンピュータ支援設計（ＣＡＤ）プログラム内でその様な不動産／構造物を選択することによって選べるようにしてもよい。追加的に、システムによって生成されたモデル／ワイヤフレームは、青写真の様な２次元（２Ｄ）フォーマットに印刷され又は提示されることもできるだろう。
【0054】
図２３は、点群の特徴を、色付けプロセスを介して分類するために本開示のシステムの別の実施形態によって実施される全体的なプロセスステップ８００を示すフローチャートである。ステップ８０２にて、システム１０は、１つ又はそれ以上の関心構造物がその中の位置している地理空間的ＲＯＩを示す画像を処理する。次いで、ステップ８０４にて、システム１０は、処理済み画像へディープラーニングニューラルネットワークを適用する。ディープラーニングニューラルネットワークは、限定するわけではないがコンボリューションニューラルネットワーク（convolution neural network，ＣＮＮ）であってもよい。ディープラーニングニューラルネットワークは、画像中に存在する構造物の特徴（例えば、屋根特徴）を分類する。例えば、ディープラーニングニューラルネットワークは、個々の異なる屋根構造物特徴が固有に色付けされるような色付けプロセスを通して異なる屋根構造物特徴を分類することができる。最後に、ステップ８０６にて、システム１０は、異なる屋根構造物特徴に対応した色付け分類ラベルを点群に適用し、特定の屋根構造物特徴が特定の色を用いて示されるようにする（例えば、屋根平面が１つの色とされ、煙突が別の色とされるなど）。
【0055】
図２４Ａ、図２４Ｂ、及び図２５は、図２のステップ８０２と関連付けて説明される処理ステップを示している。具体的には、図２４Ａは、地理空間的関心領域内に位置する構造物８２２ａ、８２４ａ、及び８２６ａを示す入力画像８２０ａである。加えて、図２４Ｂは、図２４Ａの入力画像８２０ａの合成画像８２０ｂであり、入力画像８２０ａの構造物８２２ａ、８２４ａ、及び８２６ａに対応した構造物８２２ｂ、８２４ｂ、及び８２６ｂを示している。立体点群からのディープラーニングニューラルネットワークを適用するために、点群は合成ビューへ投影され、合成ビューに対応した後処理済み画像（例えば、合成画像８２０ｂ）に対して推論が実行される。特に、新カメラの位置が、立体視画像の対の参照ビューからのｎ個の最も近接したカメラの平均値位置として構成される。参照ビューのオメガ、ファイ、カッパが選択され、合成カメラが各軸による８つの固定された向きを有することができるように、向きはπ／４段毎に固定される。新カメラ位置を利用して、点群の点が各画像平面へ投影され、合成画像８２０ｂが作成される。図２４Ｂに示されている様に、合成画像８２０ｂは、欠落したデータ点及び情報のせいで幾つかの黒色区域を含んでいる。欠落したデータ点及び情報を補償するためにＩｎＰａｉｎｔアルゴリズムが利用され得る。例えば、図２５は、図２４Ｂの合成画像８２０ｂの後処理済み画像８４０を示す。図２５に示されている様に、後処理済み画像８４０は、構造物８４２、８４４、８４６、及び８４８を示しており、ここに、構造物８４８は、欠落したデータ点のせいでそれまでは合成画像８２０ｂ中に検出不可能であったものであり、図２６は、図２３のステップ８０４と関連付けて説明される処理ステップを示している。特に、図２６は、図２５の後処理済み画像８４０の推定画像８６０を示している。推定画像８６０は、ディープニューラルネットワークを後処理済み画像８４０へ適用することによって生成される。図２６に示されている様に、ディープラーニングニューラルネットワークの後処理済み画像８４０への適用は、後処理済み画像８４０の構造物８４２、８４４、８４６及び８４８に対応した屋根構造物８６２、８６４、８６６、及び８６８の異なる特徴を分類する。図２７は、図２６の推定画像８６０中に検出される屋根構造物８６２、８６４、８６６、及び８６８に対応したワイヤフレームモデル８８２、８８４、８８６、及び８８８の生成を示す図８８０である。図２８は、図２７の図８８０のワイヤフレームモデル８８２、８８４、８８６、及び８８８に対応したデータ点９０２、９０４、９０６、及び９０８を示す図９００である。
【0056】
図２９は、図２４Ａの地理空間的関心領域内に位置する構造物についての各点群を示す図９２０である。図３０は、図２３のステップ８０６によって示されている、図２９の点群９２２、９２４、及び９２６に対応したそれぞれの色付き点群９４２、９４４、及び９４６の生成を示す図９４０である。図３０に示されている様に、色付き点群９４２、９４４、及び９４６は、異なる屋根構造物特徴を異なる色で着色することによって屋根構造物の特徴を分類している。なお、システム１０は所望に応じて点群の様々な要素へ所望の色又はパターンを適用することができる、ということに留意する。例えば群中の各点に標準色（例えば、白色、灰色、黄色）を適用する、点の法線に基づいて群の各点に色を適用する、点の標高に基づいて各点に色を適用するなどという様な、システム１０が群の要素へ所望の色を適用する色付けプロセスが適用されてもよいだろう。
【0057】
以上、システム及び方法を詳細に説明してきたが、上記説明は、その精神又は範囲を限定することを意図するものではないと理解されるべきである。理解しておきたいこととして、ここに記載されている本開示の実施形態は例示に過ぎず、当業者は、開示の精神及び範囲から逸脱することなく、任意の変形及び修正をなすことができる。以上に論じられているものを含む全てのその様な変形及び修正は開示の範囲内に含まれるものとする。特許状によって保護されることが所望されるものは、付随の特許請求の範囲に示されている。
【符号の説明】
【0058】
１０ システム
１２ 空中画像データベース
１４ コンピュータビジョンシステムコード
１６ａ 空中画像前処理ソフトウェアモジュール
１６ｂ ３Ｄ視差算定ソフトウェアモジュール
１６ｃ ３Ｄ点群生成ソフトウェアモジュール
１６ｄ テクスチャマッピングソフトウェアモジュール
１８ 中央処理ユニット
２００ ターゲット画像と参照画像の対応関係を示す図
２０２ａ ターゲット画像
２０２ｂ 参照画像
２０４ ゼロ視差平面
２０６ａ、２０６ｂ、２０６ｃ、２０６ｄ ３Ｄ点
２０７ ２Ｄ画像点
２０８ａ、２０８ｂ ２Ｄ点
２１０ 画像行
２４０ 視差値の算定を示す図
２４２ コストボリューム
２４３ａ ０コスト
２４３ｂ Ｐ１コスト
２４３ｃ Ｐ２ペナルティ
２４４ａ?２４４ｎ 画素
２４６ 視差方向
２４８ 掃引
２８０ 矯正済みターゲット画像を示す図
２８２ａ 矯正済みターゲット画像
２８２ｂ 最小コスト視差
３２０ カメラジオメトリ矯正変換を示す図
３２２ａ、３２２ｂ カメラ
３２４ａ、３２４ｂ 回転中心
３２６ａ、３２６ｂ、３２８ａ、３２８ｂ 向き
３４０ 矯正済み立体視画像の対を示す図
３４２ 各画像中の対応した点を横切る線
３６０ 融合点群を示す図
３６２ 融合点群
３６３ 画像
３６４ ３Ｄ屋根構造物
３８０ テクスチャマッピング済みモデルを示す図
３８２ テクスチャマッピング済みモデル
４００ 屋根構造物の点群を示す図
４０２ａ、４０２ｂ 空中画像
４０３ａ、４０５ａ ３Ｄ構造物
４０６ｂ 点群
４０４ａ、４０６ａ 屋根構造物
４１０ａ 樹木
４１０ｂ 影
４１２ 手動入力された境界
５００ システム
５０１ 通信ネットワーク
５０２ コンピュータビジョンシステムコード
５０４ａ－５０４ｎ 内部サーバ
５０６ａ－５０６ｎ ストレージサーバ
５０８ａ－５０８ｎ カメラデバイス
５０８ａ 無人航空機
５０８ｂ 飛行機
５０８ｎ 衛星
７００ グラフィカルユーザーインターフェース
７０２ 地図
７０４ 関心領域
７０６ａ、７０６ｂ 立体画像
７０８ 点群
７１０ａ 点群
７１０ｂ メッシュモデル
７１２ ワイヤフレームモデル
７１４ａ、７１４ｂ 元の画像
７１６ａ、７１６ｂ 矯正済み画像
７２０ａ 点群
７２０ｂ メッシュモデル
７２２ 点群
７２４ ３Ｄワイヤフレーム屋根構造物モデル
７３０ グラフィカルユーザーインターフェース画面
８２０ａ 入力画像
８２０ｂ 合成画像
８２２ａ、８２４ａ、８２６ａ 入力画像中の構造物
８２２ｂ、８２４ｂ、８２６ｂ 合成画像中の構造物
８４０ 後処理済み画像
８４２、８４４、８４６、８４８ 構造物
８６０ 推定画像
８６２、８６４、８６６、８６８ 屋根構造物
８８０ ワイヤフレームモデルの作成を示す図
８８２、８８４、８８６、８８８ ワイヤフレームモデル
９００ データ点を示す図
９０２、９０４、９０６、９０８ データ点
９２０ 構造物についての各点群を示す図
９２２、９２４、９２６ 点群
９４０ 色付き点群生成を示す図
９４２、９４４、９４６ 色付き点群
ｄ 視差値
ｕ、ｖ 列
１２ 空中画像データベース
１４ コンピュータビジョンシステムコード
１６ａ 空中画像前処理ソフトウェアモジュール
１６ｂ ３Ｄ視差算定ソフトウェアモジュール
１６ｃ ３Ｄ点群生成ソフトウェアモジュール
１６ｄ テクスチャマッピングソフトウェアモジュール
１８ 中央処理ユニット
２００ ターゲット画像と参照画像の対応関係を示す図
２０２ａ ターゲット画像
２０２ｂ 参照画像
２０４ ゼロ視差平面
２０６ａ、２０６ｂ、２０６ｃ、２０６ｄ ３Ｄ点
２０７ ２Ｄ画像点
２０８ａ、２０８ｂ ２Ｄ点
２１０ 画像行
２４０ 視差値の算定を示す図
２４２ コストボリューム
２４３ａ ０コスト
２４３ｂ Ｐ１コスト
２４３ｃ Ｐ２ペナルティ
２４４ａ?２４４ｎ 画素
２４６ 視差方向
２４８ 掃引
２８０ 矯正済みターゲット画像を示す図
２８２ａ 矯正済みターゲット画像
２８２ｂ 最小コスト視差
３２０ カメラジオメトリ矯正変換を示す図
３２２ａ、３２２ｂ カメラ
３２４ａ、３２４ｂ 回転中心
３２６ａ、３２６ｂ、３２８ａ、３２８ｂ 向き
３４０ 矯正済み立体視画像の対を示す図
３４２ 各画像中の対応した点を横切る線
３６０ 融合点群を示す図
３６２ 融合点群
３６３ 画像
３６４ ３Ｄ屋根構造物
３８０ テクスチャマッピング済みモデルを示す図
３８２ テクスチャマッピング済みモデル
４００ 屋根構造物の点群を示す図
４０２ａ、４０２ｂ 空中画像
４０３ａ、４０５ａ ３Ｄ構造物
４０６ｂ 点群
４０４ａ、４０６ａ 屋根構造物
４１０ａ 樹木
４１０ｂ 影
４１２ 手動入力された境界
５００ システム
５０１ 通信ネットワーク
５０２ コンピュータビジョンシステムコード
５０４ａ－５０４ｎ 内部サーバ
５０６ａ－５０６ｎ ストレージサーバ
５０８ａ－５０８ｎ カメラデバイス
５０８ａ 無人航空機
５０８ｂ 飛行機
５０８ｎ 衛星
７００ グラフィカルユーザーインターフェース
７０２ 地図
７０４ 関心領域
７０６ａ、７０６ｂ 立体画像
７０８ 点群
７１０ａ 点群
７１０ｂ メッシュモデル
７１２ ワイヤフレームモデル
７１４ａ、７１４ｂ 元の画像
７１６ａ、７１６ｂ 矯正済み画像
７２０ａ 点群
７２０ｂ メッシュモデル
７２２ 点群
７２４ ３Ｄワイヤフレーム屋根構造物モデル
７３０ グラフィカルユーザーインターフェース画面
８２０ａ 入力画像
８２０ｂ 合成画像
８２２ａ、８２４ａ、８２６ａ 入力画像中の構造物
８２２ｂ、８２４ｂ、８２６ｂ 合成画像中の構造物
８４０ 後処理済み画像
８４２、８４４、８４６、８４８ 構造物
８６０ 推定画像
８６２、８６４、８６６、８６８ 屋根構造物
８８０ ワイヤフレームモデルの作成を示す図
８８２、８８４、８８６、８８８ ワイヤフレームモデル
９００ データ点を示す図
９０２、９０４、９０６、９０８ データ点
９２０ 構造物についての各点群を示す図
９２２、９２４、９２６ 点群
９４０ 色付き点群生成を示す図
９４２、９４４、９４６ 色付き点群
ｄ 視差値
ｕ、ｖ 列
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19A】
【図19B】
【図20】
【図21A】
【図21B】
【図22】
【図23】
【図24A】
【図24B】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【国際調査報告】