特許 6849256 ３次元モデル構築システム、および３次元モデル構築方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】6849256

(24)【登録日】2021年3月8日

(45)【発行日】2021年3月24日

(54)【発明の名称】３次元モデル構築システム、および３次元モデル構築方法

(51)【国際特許分類】

   G06T 17/20 20060101AFI20210315BHJP

   H04N 5/232 20060101ALI20210315BHJP

   G06Q 30/02 20120101ALI20210315BHJP

【ＦＩ】

   G06T17/20

   H04N5/232 300

   G06Q30/02 320

【請求項の数】12

【全頁数】19

(21)【出願番号】特願2020-82477(P2020-82477)

(22)【出願日】2020年5月8日

【審査請求日】2020年5月8日

【早期審査対象出願】

(73)【特許権者】

【識別番号】518144986

【氏名又は名称】シンメトリー・ディメンションズ・インク

(74)【代理人】

【識別番号】110002000

【氏名又は名称】特許業務法人栄光特許事務所

(72)【発明者】

【氏名】瀬古 保次

(72)【発明者】

【氏名】沼倉 正吾

【審査官】 片岡 利延

(56)【参考文献】

【文献】 特開２０１６−０１２１６８（ＪＰ，Ａ）

【文献】 国際公開第２０１８／０３８１３１（ＷＯ，Ａ１）

【文献】 特開２０１９−１２５３４５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ １７／２０

Ｇ０６Ｑ ３０／０２

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

複数の移動体それぞれと、ユーザとを対応付けて管理する管理手段と、
前記複数の移動体それぞれに備えられた撮影装置にて撮影された、撮影に関する付帯情報を含む撮影データを収集する収集手段と、
前記収集手段にて収集された撮影データを用いて３次元モデルを生成する生成手段と、
前記収集手段にて収集した新たな撮影データを用いて生成された３次元モデルを１または複数の評価基準に基づく評価値により評価する評価手段と、
前記生成手段により撮影データを用いて生成された前記３次元モデルの評価値に応じて、当該撮影データを撮影した移動体に対応付けられたユーザに対して報酬を付与する付与手段と
を有し、
前記生成手段は、新たな撮影データに含まれる付帯情報を用いて、前記新たな撮影データに対応する既存の３次元モデルの撮影領域を特定し、当該撮影領域における前記新たな撮影データから生成される３次元モデルのうちの前記評価手段による評価にて一定の評価値を与えられた３次元モデルを用いて前記既存の３次元モデルの更新を行うことを特徴とする３次元モデル構築システム。

【請求項2】

複数の撮影データに含まれる複数の撮影画像を前記付帯情報に基づいて１または複数のグループに分類する分類手段をさらに有し、
前記生成手段は、前記１または複数のグループそれぞれに対応する１または複数の３次元モデルを生成し、当該１または複数の３次元モデルそれぞれと前記既存の３次元モデルとの差分に応じて、前記既存の３次元モデルの更新を行うことを特徴とする請求項１に記載の３次元モデル構築システム。

【請求項3】

前記評価手段は、前記新たな撮影データの画質、前記新たな撮影データに対応する前記３次元モデルの領域の更新履歴、および、前記新たな撮影データから生成される３次元モデルと前記既存の３次元モデルとの差分の少なくともいずれかの評価基準に基づいて、前記新たな撮影データを用いて生成された３次元モデルの評価を行うことを特徴とする請求項１または２に記載の３次元モデル構築システム。

【請求項4】

前記報酬は、前記評価手段による前記１または複数の評価基準に基づく評価値に応じて決定されることを特徴とする請求項３に記載の３次元モデル構築システム。

【請求項5】

前記報酬は、電子マネー、仮想通貨、または、ポイントサービスにおけるポイントであることを特徴とする請求項１乃至４のいずれか一項に記載の３次元モデル構築システム。

【請求項6】

前記撮影データに含まれる撮影画像から所定の領域を抽出する抽出手段をさらに有し、
前記生成手段は、前記抽出手段にて抽出した所定の領域の情報を用いて３次元モデルを生成することを特徴とする請求項１乃至５のいずれか一項に記載の３次元モデル構築システム。

【請求項7】

前記所定の領域は、固定物体を示す領域であり、
前記抽出手段は、撮影画像から固定物体を示す領域を抽出するための学習が行われることで生成された学習済みモデルを用いて、撮影画像から前記所定の領域を抽出することを特徴とする請求項６に記載の３次元モデル構築システム。

【請求項8】

前記抽出手段は更に、撮影画像から移動物体を示す領域を抽出するための学習が行われることで生成された学習済みモデルを用いて、撮影画像から移動物体を示す領域を抽出し、
前記生成手段は更に、前記移動物体を示す領域の情報を用いて、３次元モデルを表示する際に表示可能な３次元オブジェクトを生成することを特徴とする請求項６または７に記載の３次元モデル構築システム。

【請求項9】

前記撮影データは、撮影動画を含み、
前記撮影動画を構成する複数のフレームそれぞれの付帯情報は、前記撮影動画に対して付与された付帯情報から導出される情報により補完されることを特徴とする請求項１乃至８のいずれか一項に記載の３次元モデル構築システム。

【請求項10】

前記複数の移動体は、携帯端末、車両、および無人航空機の少なくともいずれかを含むことを特徴とする請求項１乃至９のいずれか一項に記載の３次元モデル構築システム。

【請求項11】

前記付帯情報は、撮影時の緯度、経度、高度、方角、仰角、俯角、および日時の少なくともいずれかを含むことを特徴とする請求項１乃至１０のいずれか一項に記載の３次元モデル構築システム。

【請求項12】

複数の移動体それぞれに備えられた撮影装置にて撮影された、撮影に関する付帯情報を含む撮影データを収集する収集工程と、
前記収集工程にて収集された撮影データを用いて３次元モデルを生成する生成工程と、
前記収集工程にて収集した新たな撮影データを用いて生成された３次元モデルを１または複数の評価基準に基づく評価値により評価する評価工程と、
前記生成工程にて撮影データを用いて生成された前記３次元モデルの評価値に応じて、当該撮影データを撮影した移動体に対応付けられたユーザに対して報酬を付与する付与工程と
を有し、
前記生成工程において、新たな撮影データに含まれる付帯情報を用いて、前記新たな撮影データに対応する既存の３次元モデルの撮影領域を特定し、当該撮影領域における前記新たな撮影データから生成される３次元モデルのうちの前記評価工程における評価にて一定の評価値が与えられた３次元モデルを用いて前記既存の３次元モデルの更新を行うことを特徴とする３次元モデル構築方法。

【発明の詳細な説明】

【技術分野】

【0001】

本願発明は、現実世界における撮影データに基づく３次元モデル構築システム、および３次元モデル構築方法に関する。

【背景技術】

【0002】

近年、バーチャルリアリティ（以下、ＶＲ）などの技術を用いて現実世界をデジタル空間に反映する試みが盛んに行われている。例えば、ドローンなどに搭載されたカメラで撮像した複数枚の画像から３次元復元により３次元点群を生成する技術が知られている。特許文献１では、移動体にて収集した画像データを用いて生成された３次元点群データを収集し、収集した３次元点群データを既存の地図情報への寄与度に応じて利用するか否かを決定することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０−０１７２００号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一方、現実世界の物体は、複雑な形状をしていることも多く、これを忠実に反映した３次元モデルを作成するためには、様々な位置から様々な角度で対象物を撮影する必要がある。しかし、例えばドローンを用いて撮影した画像だけでは、凹凸の部分など画像に映っていない箇所が発生しやすく、精度良く３次元モデルを復元することはできなかった。

【0005】

本願発明は、上記課題を鑑み、従来よりも３次元モデルの構築を精度良く、かつ容易に広範囲に行うことを可能とすることを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために本願発明は以下の構成を有する。すなわち、
３次元モデル構築システムであって、
複数の移動体それぞれと、ユーザとを対応付けて管理する管理手段と、
前記複数の移動体それぞれに備えられた撮影装置にて撮影された、撮影に関する付帯情報を含む撮影データを収集する収集手段と、
前記収集手段にて収集された撮影データを用いて３次元モデルを生成する生成手段と、
前記収集手段にて収集した新たな撮影データを用いて生成された３次元モデルを１または複数の評価基準に基づく評価値により評価する評価手段と、
前記生成手段により撮影データを用いて生成された前記３次元モデルの評価値に応じて、当該撮影データを撮影した移動体に対応付けられたユーザに対して報酬を付与する付与手段と
を有し、
前記生成手段は、新たな撮影データに含まれる付帯情報を用いて、前記新たな撮影データに対応する既存の３次元モデルの撮影領域を特定し、当該撮影領域における前記新たな撮影データから生成される３次元モデルのうちの前記評価手段による評価にて一定の評価値を与えられた３次元モデルを用いて前記既存の３次元モデルの更新を行う。

【発明の効果】

【0007】

本願発明によれば、従来よりも３次元モデルの構築を精度良く、かつ容易に広範囲に行うことが可能となる。

【図面の簡単な説明】

【0008】

【図1】本願発明の一実施形態に係るシステムの全体構成の例を示す概要図。

【図2】本願発明の一実施形態に係る各装置の機能構成の例を示す図。

【図3】第１の実施形態に係る各装置間の処理のシーケンス図。

【図4】第１の実施形態に係るデータ構成の例を説明するための図。

【図5】第１の実施形態に係る３次元モデル生成サーバの処理のフローチャート。

【図6】第２の実施形態に係る車両の機能構成の例を示す図。

【図7】第２の実施形態に係るデータ構成の例を説明するための図。

【図8】第３の実施形態に係る３次元モデル生成サーバの処理のフローチャート。

【発明を実施するための形態】

【0009】

以下、本願発明を実施するための形態について図面などを参照して説明する。なお、以下に説明する実施形態は、本願発明を説明するための一実施形態であり、本願発明を限定して解釈されることを意図するものではなく、また、各実施形態で説明されている全ての構成が本願発明の課題を解決するために必須の構成であるとは限らない。また、各図面において、同じ構成要素については、同じ参照番号を付すことにより対応関係を示す。

【0010】

＜第１の実施形態＞
以下、本願発明の第１の実施形態について説明を行う。

【0011】

［システム構成］
図１は、本実施形態に係る３次元モデル構築システムの全体構成の例を示す概要図である。本実施形態に係る３次元モデル構築システムは、３次元モデル生成サーバ１、携帯端末２、および表示装置３を含んで構成される。各装置は、ネットワーク４を介して通信可能に接続される。ネットワーク４の通信規格や有線／無線は特に限定するものではなく、複数の通信規格が組み合わせて実現されてもよい。また、図１においては、各装置はそれぞれ１つずつが示されているが、複数の装置が含まれてよい。特に撮影装置として機能する携帯端末２は、１または複数の利用者（ユーザ）に携帯されており、複数の携帯端末２が含まれてよい。以下の説明において、携帯端末２について個別に説明を要する場合には添え字ｎ（≧２）を付して説明するが、包括的に説明する場合には添え字を省略する。

【0012】

３次元モデル生成サーバ１は、本実施形態に係る携帯端末２にて撮影された撮影画像を含む撮影データを用いて３次元モデルを生成する。また、３次元モデル生成サーバ１は、携帯端末２およびこれを所有するユーザを対応付けて管理する。さらに、３次元モデル生成サーバ１は、携帯端末２にて撮影された撮影画像を含む撮影データを用いて生成された３次元モデルの評価を行い、その評価結果に応じて携帯端末２（すなわち、ユーザ）に対してインセンティブを付与する。３次元モデルの評価およびインセンティブの付与についての詳細は後述する。３次元モデル生成サーバ１は、負荷分散の目的などに応じて、複数が備えられてよいし、一部の機能を別のサーバとして構成してもよい。携帯端末２は、例えば、モバイルＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などの情報処理装置や、スマートフォンやタブレット端末などの携帯端末であってよい。

【0013】

表示装置３は、３次元モデル生成サーバ１にて生成された３次元モデルを表示する表示装置である。表示装置３は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などの情報処理装置、スマートフォンやタブレット端末などの携帯端末、もしくはＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）であってよい。なお、携帯端末２と表示装置３とが一体となった構成であってもよい。

【0014】

［機能構成］
図２は、本実施形態に係る各装置の機能構成の例を示す図である。

【0015】

（３次元モデル生成サーバ）
図２（ａ）に示すように、本実施形態に係る３次元モデル生成サーバ１は、データ収集部１０１、３次元モデル生成部１０２、３次元モデル管理部１０３、データ評価部１０４、ユーザ管理部１０５、インセンティブ付与部１０６、通信制御部１０７、および表示制御部１０８を含んで構成される。

【0016】

データ収集部１０１は、本実施形態に係る複数の携帯端末２−１〜２−ｎそれぞれから３次元モデルを生成する際に用いる撮影データを収集する。収集するタイミングは、例えば、携帯端末２から送信されてきたタイミングにて受信することで取得してよい。３次元モデル生成部１０２は、携帯端末２から収集した撮影データを用いて、３次元モデルを生成する。例えば、３次元モデル生成部１０２は、撮影データに含まれる撮影画像から点群データを生成し、その点群データから３次元モデルを生成する。

【0017】

３次元モデル管理部１０３は、３次元モデル生成部１０２にて生成された３次元モデルを管理する。ここでの管理は、更新されたタイミングやバージョンごとに管理してよく、また、一定の更新が行われた場合には過去の３次元モデルは削除するような構成であってもよい。データ評価部１０４は、収集した撮影データを用いて生成された３次元モデルの評価を行う。評価方法については後述する。

【0018】

ユーザ管理部１０５は、携帯端末２とその携帯端末２を所有するユーザとを対応付けて管理する。また、ユーザ管理部１０５は、携帯端末２から提供された撮影データを対応付けて管理する。インセンティブ付与部１０６は、データ評価部１０４による評価結果に基づき、撮影データを提供したユーザに対するインセンティブを付与する。

【0019】

通信制御部１０７は、外部装置との通信を行うための部位であり、有線／無線や通信規格などは特に限定するものではない。表示制御部１０８は、３次元モデル生成部１０２にて生成された３次元モデルの表示を制御する。ここでの表示制御は、表示装置３からの要求に応じて、３次元モデルを含む表示データを表示装置３に提供することを含む。

【0020】

（携帯端末）
図２（ｂ）に示すように、本実施形態に係る携帯端末２は、撮像部２０１、センサ群２０２、記憶部２０３、制御部２０４、および通信部２０５を含んで構成される。撮像部２０１は、携帯端末２の周辺の画像を取得するための撮像部であり、不図示のレンズや撮像素子などを備える。センサ群２０２は、自端末の状態などの情報（例えば、位置情報や向きなど）を検出するための検出部であり、磁気センサ、加速度センサ、ジャイロセンサ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサなどが含まれる。本実施形態では、撮像部２０１にて画像が撮影された際の情報として、センサ群２０２にて検出された各種情報が対応付けて保持されてよい。

【0021】

記憶部２０３は、撮像部２０１を介して撮像された撮影画像を記憶する記憶部であり、例えば、フラッシュメモリなどの不揮発性の記憶領域により構成される。記憶部２０３は、撮影画像と、撮影時の情報（撮影時にセンサ群２０２にて検出された情報や、撮影日時、撮影設定など）とを対応付けて撮影データとして記憶する。制御部２０４は、携帯端末２の全体の制御を司る部位であり、例えば、処理部としてのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や専用回路などにより構成される。通信部２０５は、外部装置との通信を行うための部位であり、有線／無線や通信規格などは特に限定するものではない。

【0022】

制御部２０４は、ユーザの操作に基づいて撮像部２０１を起動させ、周辺の撮影を行わせる。撮影設定や撮影対象はユーザの操作に基づくものとする。制御部２０４は、撮像部２０１にて撮影された撮影画像に対して、所定の画像処理を行う構成であってもよい。例えば、制御部２０４は、撮影画像に対してフィルタリングなどの画像処理を行うような構成であってもよい。また、撮像部２０１が動画を撮影可能な構成である場合には、制御部２０４は、撮影動画の中から所定のフレームを抽出して送信用の撮影画像とするような処理を行ってもよい。フレームを抽出して撮影画像として送信する際には、撮影動画を取得時の情報（撮影設定や撮影日時など）に基づき当該フレームに対応する情報を決定した上で撮影データに含めてもよい。または、撮影動画を撮影データに含めて送信してもよい。複数の携帯端末２−１〜２−ｎの構成は同一である必要はなく、異なる機能を備えた携帯端末２が用いられてよい。なお、携帯端末２において、本実施形態に係る機能を実現する各部位は、携帯端末２にインストールされたアプリケーションにより実現されてよい。

【0023】

（表示装置）
図２（ｃ）に示すように、本実施形態に係る表示装置３は、３次元モデル表示部３０１、操作受付部３０２、および通信制御部３０３を含んで構成される。３次元モデル表示部３０１は、３次元モデル生成サーバ１から提供された表示データを表示装置３のディスプレイ（不図示）に表示する。３次元モデルの表示は、プロジェクタなどの投影により表示されてもよいし、仮想現実（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）として表示されてもよい。操作受付部３０２は、表示装置３の操作部（不図示）を介してユーザからの操作を受け付ける。ここでの操作は、ディスプレイ上に表示している３次元モデルの表示の切り替えなどの操作が挙げられる。通信制御部３０３は、外部装置との通信を行うための部位であり、有線／無線や通信規格などは特に限定するものではない。なお、表示装置３において、本実施形態に係る機能を実現する各部位は、表示装置３にインストールされたアプリケーションにより実現されてよい。

【0024】

［処理シーケンス］
図３は、本実施形態に係る装置間の連携を示す処理シーケンスを示す。各工程は、例えば、処理主体となる各装置のＣＰＵが記憶装置に記憶されたプログラムを読み出して実行することにより実現されてよい。また、複数の携帯端末２−１〜２−ｎはそれぞれが処理を行うものとするが、図３では包括的に説明を行う。

【0025】

Ｓ３０１にて、携帯端末２は、３次元モデル生成サーバ１に対してユーザ登録の要求を行う。ユーザ登録は、３次元モデル生成サーバ１にアクセスし、３次元モデル生成サーバ１が提供する登録画面（不図示）に各種情報を入力することで行われてよい。入力された情報には、携帯端末２やユーザを一意に識別するための情報が含まれてよい。

【0026】

Ｓ３０２にて、３次元モデル生成サーバ１は、携帯端末２からの要求に応じて、ユーザ登録処理を行う。ユーザ登録処理では、ユーザと携帯端末２とを対応付けて管理するように、後述するユーザ管理テーブル（図４（ａ））に各種情報が登録される。本実施形態に係る機能を携帯端末２にインストールされたアプリケーションにて構成する場合には、アプリケーションの情報をさらに対応付けて管理してもよい。

【0027】

Ｓ３０３にて、３次元モデル生成サーバ１は、ユーザ登録処理が完了したことを携帯端末２に通知する。なお、Ｓ３０１〜Ｓ３０３の処理は、携帯端末２とユーザの対応付けに関する処理であるため、携帯端末２それぞれにおいて１度行えばよい。一方、Ｓ３０４以降の処理は、携帯端末２のユーザによる撮影データ提供の際の操作に起因して繰り返し行われるものとする。

【0028】

Ｓ３０４にて、携帯端末２は、ユーザ操作に基づいて撮像部２０１を起動させ、携帯端末２の周辺の撮影を行う。なお、図３では示していないが、携帯端末２（ユーザ）は、撮影を行う際に、３次元モデル生成サーバ１に対して現時点で生成されている３次元モデルの問い合わせを行ってもよい。そして、ユーザは、この問い合わせの結果から得られる３次元モデルの生成情報などに応じて撮影対象や撮影範囲を決定してよい。ここで提供される生成情報としては、例えば、３次元モデルが生成されていない領域の位置情報や、更新されてから所定時間が経過した領域の位置情報などが挙げられる。

【0029】

Ｓ３０５にて、携帯端末２は、撮影により得られた撮影画像を含む撮影データを３次元モデル生成サーバ１へ送信する。ここでの撮影データには、撮影位置や撮影条件などの付帯情報が含まれる。付帯情報の例については後述する。

【0030】

Ｓ３０６にて、３次元モデル生成サーバ１は、携帯端末２から送信された撮影データを受信し、後述する撮影データ管理テーブル（図４（ｂ））に登録する。

【0031】

Ｓ３０７にて、３次元モデル生成サーバ１は、受信した撮影データを用いて３次元モデルを生成する。本実施形態に係る生成処理の詳細については後述する。

【0032】

Ｓ３０８にて、３次元モデル生成サーバ１は、Ｓ３０７にて生成した３次元モデルと、既存の３次元モデルとを比較し、その差分などからＳ３０７にて生成した３次元モデルの評価を行う。

【0033】

Ｓ３０９にて、３次元モデル生成サーバ１は、Ｓ３０８における評価結果に応じて、既存の３次元モデルに対してＳ３０７にて生成した３次元モデルを反映することで、３次元モデルの生成（更新）を行う。そして、３次元モデル生成サーバ１は、生成した３次元モデルを記憶する。

【0034】

Ｓ３１０にて、３次元モデル生成サーバ１は、表示装置３に対し、Ｓ３０９の処理後の３次元モデルの表示データを提供する。ここでの提供は、更新に伴って３次元モデル生成サーバ１が起点となって行ってもよいし、表示装置３からの要求に応答して行ってもよい。

【0035】

Ｓ３１１にて、３次元モデル生成サーバ１は、Ｓ３０８の評価結果に基づき、撮影データを送信した携帯端末２に対応するユーザに対してインセンティブを付与する。付与されたインセンティブの情報は、後述するインセンティブ管理テーブル（図４（ｃ））に反映される。

【0036】

Ｓ３１２にて、３次元モデル生成サーバ１は、Ｓ３１１にて付与したインセンティブの結果を携帯端末２に通知する。

【0037】

Ｓ３１３にて、表示装置３は、Ｓ３１０にて３次元モデル生成サーバ１から提供された３次元モデルの表示データを用いて表示処理を行う。

【0038】

Ｓ３１４にて、携帯端末２は、３次元モデル生成サーバ１から通知されたインセンティブの内容を表示する。携帯端末２のユーザは、表示内容により、Ｓ３０５にて送信した撮影データに対して付与されたインセンティブを確認することができる。ここでの表示には、過去に付与されたインセンティブの内容（履歴）を含めてもよい。また、ここでの表示は、インセンティブの付与の通知と併せて表示するような構成であってもよいし、通知の後、携帯端末２による３次元モデル生成サーバ１へのアクセスが行われた際に表示画面（不図示）を提供して行われてもよい。

【0039】

［データ構成］
図４は、本実施形態に係る３次元モデル構築システムにおいて用いられるデータの構成例を示す図である。図４に示す各データは、例えば、３次元モデル生成サーバ１にて管理されるデータベースの各テーブルに格納される。

【0040】

図４（ａ）は、本実施形態に係る、ユーザ情報を管理するためのユーザ管理テーブルの構成例を示す。ユーザ登録処理（図３のＳ３０２）によりユーザ管理テーブルの内容が更新される。ユーザ管理テーブルは、ユーザＩＤおよび携帯端末ＩＤの項目を含んで構成される。ユーザＩＤは、ユーザを一意に識別するための識別情報である。携帯端末ＩＤは、携帯端末２を一意に識別するための識別情報である。ユーザＩＤおよび携帯端末ＩＤの桁数や使用文字列などの仕様は図４（ａ）に示すものに限定するものではなく、他の構成であってよい。また、ユーザＩＤおよび携帯端末ＩＤは、３次元モデル生成サーバ１が登録要求を受け付けた際に採番して発行してもよいし、ユーザが指定する構成であってもよい。

【0041】

図４（ｂ）は、本実施形態に係る、撮影データを管理するための撮影データ管理テーブルの構成例を示す。撮影データ管理テーブルは、画像データＩＤ、送信元携帯端末ＩＤ、画像データ名、撮影日時、撮影位置、撮影方向、撮影設定、収集日時、および評価結果の項目を含んで構成される。画像データＩＤは、携帯端末２から収集した画像データを一意に識別するための識別情報である。画像データＩＤの桁数や使用文字列などの仕様は図４（ｂ）に示すものに限定するものではなく、他の構成であってよい。送信元携帯端末ＩＤは、画像データの送信元を示す識別情報であり、図４（ａ）に示す携帯端末ＩＤに対応する。

【0042】

画像データ名は、撮影画像の実ファイルのファイル名を示す。画像データ名には、実ファイルの格納先（パス）が指定されてもよい。なお、携帯端末２から提供される１の撮影データ内に複数の撮影画像が含まれてもよく、複数の撮影画像それぞれの情報が管理される。撮影日時は、撮影画像が撮影された日時（年／月／日／時／分／秒。ただし、秒は１／１０００秒単位のミリ秒を含む）を示す情報である。撮影位置は、撮影画像が撮影された位置（緯度／経度／標高）を示す情報である。撮影方向は、撮影画像が撮影された際の向き（方角／仰角／俯角）を示す情報である。撮影設定は、撮影画像が撮影された際の設定情報である。撮影日時、撮影位置、撮影方向、および撮影設定などの情報が、携帯端末２から撮影データを収集する際に付帯情報として取得されるものとする。なお、撮影設定の項目は特に限定するものではなく、さらに詳細な項目が含まれていてよいし、撮影を行った携帯端末２の機能に応じて異なっていてもよい。

【0043】

収集日時は、３次元モデル生成サーバ１が携帯端末２から収集した日時（年／月／日／時／分／秒）を示す情報である。評価結果は、撮影データを用いて生成された３次元モデルに対して行われた評価処理の結果に基づいて決定される値を示す。ここでは、評価値としてＡ〜Ｅの５段階（ここではＡが最も高い評価とする）にて示しているが、これに限定するものではない。

【0044】

図４（ｃ）は、ユーザに対して付与されたインセンティブを管理するためのインセンティブ管理テーブルの構成例を示す。インセンティブ管理テーブルは、ユーザＩＤおよび付与インセンティブの項目を含んで構成される。ユーザＩＤは、図４（ａ）に対応する。付与インセンティブは、各ユーザに対して付与されたインセンティブの合計値を示す。ここでのインセンティブは、図４（ｂ）の評価結果の値に応じて付与されるものであり、例えば、電子マネー、仮想通貨、または、ポイントサービスによるポイントなどが該当する。評価が高い撮影データほど、高いインセンティブが付与されることとなる。なお、評価結果とインセンティブの変換方法（例えば、変換式）は特に限定するものではなく、タイミングなどに応じて異なってよい。また、付与されるインセンティブの内容は、ユーザが選択可能な構成であってもよい。付与インセンティブの単位は、付与されるインセンティブの内容に応じて変化してよい。また、図４（ａ）のユーザＩＤ「ＵＳＥ００００１」と携帯端末ＩＤ「ＭＴ００００１」「ＭＴ００００２」のように、１のユーザに対して複数の携帯端末２が対応付けられている場合がある。このような場合には、インセンティブ管理テーブルでは、複数の携帯端末２から送信された撮影データに基づくインセンティブの合計値が管理されてよい。

【0045】

［３次元モデル］
以下、本実施形態に係る３次元モデル生成サーバ１（３次元モデル生成部１０２）にて生成する３次元モデルについて説明する。３次元モデルの生成方法は公知の方法を用いてよく、特に限定するものではない。ここでは、３次元モデルの生成方法の一例について説明する。

【0046】

３次元モデルを生成する際に、同一対象物を含む可能性のある複数枚の撮影画像を収集し、各撮影画像の特徴点の候補をAKAZEなどの手法で検出し、その特徴量の値が予め設定された閾値を越えた場合にその候補を特徴点とする（特徴点抽出）。

【0047】

各撮影画像にて検出された特徴点が同一対象物に起因している場合には、それらの特徴点は点群データ間で対応している。そこで、画像間における特徴点の対応付けを行う（特徴点マッチング）。特徴点マッチングができた特徴点は同一対象物のある箇所を示しているため、その対象物の３次元座標を、測定結果に含まれる各種情報に基づいて算出する。ここでの情報としては、撮像部の向きや位置情報などが挙げられる。このようにして算出した複数の３次元座標点が３次元点群を形成することとなる。

【0048】

３次元点群は、単なる３次元座標点の集まりであるので、これを人が視認しやすいように、３次元モデルに変換する。その場合には、画像の近傍３点の特徴点で囲まれる領域を、その特徴点の３点で形成された３次元座標の３点に張り付ける（テキスチャーマッピング）。これにより三角ポリゴン面で構成された３次元モデルが生成できる。

【0049】

［価値評価］
本実施形態に係る３次元モデルの評価について説明する。本実施形態では、既存の３次元モデルと、新たに収集した撮影データから生成される３次元モデルとの差分に基づいて、新たに生成した３次元モデルおよびその生成に用いられた撮影データの評価を行う。

【0050】

３次元モデルや撮影データの評価の観点として、既存の３次元モデルを生成した際に用いた撮影データの撮影日時と新たに収集した撮影データの撮影日時との差異（経過時間）、撮影データの画質、既存の３次元モデルを生成した際に用いた撮影データから得られる点群（点の数）と新たに収集した撮影データから得られる点群との差異、３次元モデルの体積の差異、複数の撮影画像の連続性などが用いられてよい。なお、評価方法については、上記に限定するものではなく、他の評価基準が用いられてよい。

【0051】

［処理フロー］
図５を用いて、本実施形態に係る３次元モデル生成サーバ１の処理フローについて説明する。以下に示す処理は、例えば、３次元モデル生成サーバ１が備えるＣＰＵ（不図示）が記憶装置に記憶されたプログラムを読み出して実行することにより実現される。以下に示す処理は、図３に示した３次元モデル生成サーバ１の処理（Ｓ３０６〜Ｓ３０９、Ｓ３１１〜Ｓ３１２）の処理に対応する。なお、３次元モデルの提供（図３のＳ３１０）は、表示装置３からの要求に応じて行われるものとし、図５では省略する。

【0052】

Ｓ５０１にて、３次元モデル生成サーバ１は、撮影データの収集を行う。なお、本処理は、一定量の撮影データが携帯端末２から収集されたタイミングで実行されてもよい。上述したように、１の撮影データに複数の撮影画像が含まれてもよい。

【0053】

Ｓ５０２にて、３次元モデル生成サーバ１は、撮影データに含まれる付帯情報に基づき、撮影画像による撮影領域を特定する。図４（ｂ）に示すように、付帯情報には、撮影位置や撮影方向などが含まれており、これらの情報を用いて撮影領域が特定される。なお、撮影データにて、撮影動画が含まれている場合には、所定の時間間隔ごとにフレームを抽出して撮影動画に変換した上で処理を行ってよい。この場合の撮影画像としてのフレームの付帯情報は、撮影動画全体に対する付帯情報に基づいて各フレームに対する付帯情報を導出して補完することで決定されてよい。

【0054】

Ｓ５０３にて、３次元モデル生成サーバ１は、Ｓ５０２にて特定した撮影領域に基づいて、各撮影画像を１または複数のグループにグループ化する。ここでのグループ化は、例えば、予め規定された範囲（例えば、地図上において所定のサイズに分割された各領域）に含まれるか否か基づいて行われてもよいし、同じ物体を撮影しているか否かに基づいて行われてもよい。このとき、１の撮影画像が複数のグループに属してもよいし、１のグループに１の撮影画像のみが分類されてもよい。グループ化は、撮影画像単位で行われてもよいし、撮影データ単位で行われてもよい。なお、１の撮影データに１の撮影画像が含まれている場合には、いずれの場合でも同等となる。

【0055】

Ｓ５０４にて、３次元モデル生成サーバ１は、Ｓ５０３にて分類された１または複数のグループのうち、Ｓ５０５〜Ｓ５１１の処理が未処理の１のグループに着目する。

【0056】

Ｓ５０５にて、３次元モデル生成サーバ１は、Ｓ５０４にて着目したグループに含まれる撮影データを用いて、３次元モデルを生成する。グループに応じて属する撮影データ（つまり、撮影画像）の数は異なるため、３次元モデルの生成にて用いられる撮影データの数も異なりうる。

【0057】

Ｓ５０６にて、３次元モデル生成サーバ１は、既存の３次元モデルと、Ｓ５０５にて生成した３次元モデルとの比較を行う。

【0058】

Ｓ５０７にて、３次元モデル生成サーバ１は、Ｓ５０６における比較の結果、既存の３次元モデルとＳ５０５にて生成した３次元モデルとに差分があるか否かを判定する。差分がある場合は（Ｓ５０７にてＹＥＳ）Ｓ５０８へ進む。一方、差分が無い場合は（Ｓ５０７にてＮＯ）Ｓ５１２へ進む。

【0059】

Ｓ５０８にて、３次元モデル生成サーバ１は、Ｓ５０５にて生成した３次元モデルの評価を行う。言い換えると、３次元モデルの生成に用いられた撮影データの評価を行う。ここでの評価は、上述した価値評価の基準により行われるものとする。このとき、撮影データの評価は、３次元モデルの全体の評価を行い、その３次元モデルを生成する際に用いた撮影データすべてにその評価値を反映してもよい。または、３次元モデルを生成する際に用いた撮影データに対して個別に評価を行ってもよい。

【0060】

Ｓ５０９にて、３次元モデル生成サーバ１は、生成した３次元モデルの評価値が所定の閾値以上か否かを判定する。所定の閾値は予め規定され、３次元モデル生成サーバ１が保持しているものとする。複数の評価基準が用いられる場合には、その複数の評価基準それぞれに対応して複数の値が所定の閾値として用いられてもよい。その場合、複数の評価基準における評価値のうちの少なくとも１つが閾値以上か否かを判定してもよい。評価値が所定の閾値以上である場合（Ｓ５０９にてＹＥＳ）Ｓ５１０へ進む。一方、評価値が所定の閾値未満である場合（Ｓ５０９にてＮＯ）Ｓ５１２へ進む。

【0061】

Ｓ５１０にて、３次元モデル生成サーバ１は、Ｓ５０５にて生成した３次元モデルを用いて、既存の３次元モデルを更新する。ここでの更新は、生成した３次元モデルの範囲に対応する既存の３次元モデルの範囲が更新されてよい。

【0062】

Ｓ５１１にて、３次元モデル生成サーバ１は、Ｓ５０８における評価の評価値に基づき、撮影データを提供した携帯端末２のユーザに対してインセンティブを付与する。上述したように、インセンティブの内容は特に限定するものではなく、例えば、ユーザが指定できるような構成であってもよい。また、評価値とインセンティブの変換率等についても特に限定するものではない。

【0063】

Ｓ５１２にて、３次元モデル生成サーバ１は、Ｓ５０３にて分類された１または複数のグループすべてに対するＳ５０５〜Ｓ５１１の処理が完了したか否かを判定する。すべてのグループに対する処理が完了した場合（Ｓ５１２にてＹＥＳ）Ｓ５１３へ進む。一方、未処理のグループがある場合（Ｓ５１２にてＮＯ）、Ｓ５０４へ戻り、未処理のグループに対して処理を繰り返す。

【0064】

Ｓ５１３にて、３次元モデル生成サーバ１は、Ｓ５１１にて付与されたインセンティブの情報を携帯端末２に対して通知する。なお、Ｓ５０７にてＮＯであった場合やＳ５０９にてＮＯであった場合など、提供された撮影データが３次元モデルの更新に用いられていない場合には、３次元モデル生成サーバ１は、その旨とインセンティブが付与されていない旨とを携帯端末２のユーザに通知してよい。そして、３次元モデル生成サーバ１は、本処理フローを終了する。

【0065】

以上、本実施形態により、携帯端末にて撮影された撮影データを逐次収集して３次元モデルを生成、更新することで、従来よりも３次元モデルの構築を容易に広範囲に行うことが可能となる。また、３次元モデルの生成における撮影データの評価を行って、その評価値に応じてインセンティブを付与することで、撮影データの提供をユーザに促すことができる。その結果、より多くの撮影データを収集でき、従来よりも精度の高い３次元モデルの構築が可能となる。

【0066】

＜第２の実施形態＞
以下、本願発明の第２の実施形態について説明する。第１の実施形態では、撮影データの提供元（撮影装置）は、スマートフォンなどの携帯端末を例に挙げて説明した。本実施形態では、撮影データの提供元として、撮影部を備える移動体を用いた構成について説明する。携帯端末以外の移動体としては、例えば、自動車やバイクなどの車両や小型無人航空機（ドローン）などが挙げられる。以下では、撮影データの提供元として車両を例に挙げて説明する。なお、第１の実施形態と重複する構成については説明を省略し、差分に着目して説明を行う。

【0067】

［機能構成］
（車両）
図６は、本実施形態に係る車両６００の機能構成の例を示す。車両６００は、１または複数の利用者（ユーザ）に利用されており、複数の車両６００が含まれてよい。以下の説明において、車両６００について個別に説明を要する場合には添え字ｎ（≧２）を付して説明するが、包括的に説明する場合には添え字を省略する。

【0068】

本実施形態に係る車両６００は、カメラ群６０１、センサ群６０２、記憶部６０３、制御部６０４、および通信部６０５を含んで構成される。なお、図６では、本実施形態に関する構成のみを示すが、車両６００は、走行制御や報知などに用いられる部位をさらに含んでよい。

【0069】

カメラ群６０１は、車両６００の周辺の画像を取得するための撮像部であり、不図示のレンズや撮像素子などを備える。カメラ群６０１には、例えば、前方カメラ、側方カメラ（左右）、後方カメラが含まれてよい。カメラ群６０１に含まれる複数のカメラそれぞれにて撮影された撮影画像が別個の撮影画像として扱われてよい。

【0070】

センサ群６０２は、車両６００の状態などの情報（例えば、位置情報や向きなど）や、周辺の情報を取得するための検出部である。車両６００は、例えば、走行支援制御を実現するために様々なセンサを備えていることがあり、その中において３次元モデルの生成に利用可能な情報を取得するセンサがある。例えば、センサ群６０２には、磁気センサ、加速度センサ、ジャイロセンサ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサなどが含まれてよい。さらに、センサ群６０２には、ミリ波レーダ、ソナーレーダ、ライダ（ＬｉＤＡＲ：Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）などが含まれてよい。これらの検出結果としての情報は、３次元モデルの生成に利用してもよい。センサ群６０２に含まれる各種センサそれぞれは、車両６００の構成に応じて１または複数が備えられてよい。

【0071】

記憶部６０３は、カメラ群６０１により撮像された撮影画像や、センサ群６０２により検出された検出結果を記憶する記憶部であり、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの不揮発性の記憶領域により構成される。記憶部６０３は、カメラ群６０１にて撮影した撮影画像と、撮影時の情報（センサ群６０２にて検出した情報や、撮影日時、撮影設定など）とを対応付けて記憶する。制御部６０４は、車両６００の撮影等に関する制御を司る部位であり、例えば、処理部としてのＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、専用回路などにより構成される。通信部６０５は、外部装置との通信を行うための部位であり、通信規格などは特に限定するものではない。

【0072】

制御部６０４は、所定のタイミングにてカメラ群６０１やセンサ群６０２を動作させ、周辺の情報を取得させる。取得のタイミングは、予め規定された間隔にて動作するような構成であってよい。制御部６０４は、カメラ群６０１にて撮影された撮影画像に対して、所定の画像処理を行う構成であってもよい。例えば、制御部６０４は、撮影画像に対してフィルタリングなどの画像処理を行うような構成であってもよい。また、カメラ群６０１が動画を撮影するような構成である場合には、制御部６０４は、撮影動画の中から所定のフレームを抽出して送信用の撮影画像とするような処理を行ってもよい。フレームを抽出して撮影画像として送信する際には、撮影動画を取得時の情報（撮影設定や撮影日時など）に基づき当該フレームに対応する情報を決定した上で撮影データに含めてもよい。または、撮影動画を撮影データに含めて送信してもよい。複数の車両６００−１〜６００−ｎの構成は同一である必要はなく、異なる機能を備えた車両６００が用いられてよい。

【0073】

第１の実施形態の図３のＳ３０１〜Ｓ３０３に示した構成と同様に、本実施形態では、車両６００をユーザに対応付けて登録する。ここでの登録は、車両６００が備える表示部（不図示）や通信部６０５を介して３次元モデル生成サーバ１にアクセスすることで行われてもよい。もしくは、ユーザが所有する携帯端末２と車両６００とを通信可能に接続し、携帯端末２を介して車両６００を３次元モデル生成サーバ１に登録するような構成であってもよい。

【0074】

［データ構成］
図７は、本実施形態に係る３次元モデル構築システムにおいて用いられるデータの構成例を示す図である。図７に示す各データは、例えば、３次元モデル生成サーバ１にて管理されるデータベースの各テーブルに格納される。なお、インセンティブ管理テーブルの構成は、第１の実施形態にて示した図４（ｃ）の構成と同様であるものとし、ここでの説明は省略する。

【0075】

図７（ａ）は、本実施形態に係る、ユーザ情報を管理するためのユーザ管理テーブルの構成例を示す。第１の実施形態にて示した図４（ａ）の構成との差分は、携帯端末ＩＤに代えて、移動体ＩＤが用いられる。移動体ＩＤは、車両６００を一意に識別するための識別情報である。移動体ＩＤの桁数や使用文字列などの仕様は図７（ａ）に示すものに限定するものではなく、他の構成であってよい。また、移動体ＩＤは、３次元モデル生成サーバ１が登録要求を受け付けた際に採番して発行してもよいし、ユーザが指定する構成であってもよい。

【0076】

図７（ｂ）は、本実施形態に係る、撮影データを管理するための撮影データ管理テーブルの構成例を示す。第１の実施形態にて示した図４（ｂ）の構成との差分は、送信元携帯端末ＩＤに代えて、送信元移動体ＩＤが用いられる。送信元移動体ＩＤは、撮影データの送信元を示す識別情報であり、図７（ａ）に示す移動体ＩＤに対応する。

【0077】

本実施形態に係る処理シーケンスと、第１の実施形態の処理シーケンス（図３）との差異として、撮影データの提供が車両６００から３次元モデル生成サーバ１に対して行われる点が異なる。また、車両６００からの撮影データの送信は、ユーザがＯＮ／ＯＦＦを制御できるような構成であってよく、この設定がＯＮの場合に、車両６００は撮影データを所定の送信間隔にて３次元モデル生成サーバ１に送信するような構成であってもよい。ここでの所定の送信間隔は予め規定されていてもよいし、ユーザが設定できるような構成であってもよい。

【0078】

または、他の機能における外部との通信負荷が低下した場合や通信速度の制限が行われていない場合に、車両６００は、複数の撮影画像を含む撮影データを送信するような構成であってもよい。また、記憶部６０３に一定量の撮影画像が蓄積された際に、車両６００は、複数の撮影画像を含む撮影データをまとめて送信するような構成であってもよい。

【0079】

以上、本実施形態により、ユーザによる撮影動作を要することなく、移動体（例えば、車両）にて撮影された撮影画像を含む撮影データを逐次収集する。例えば、撮影画像としてドライブレコーダで撮影される画像が利用でき、付帯情報として、カーナビゲーションシステムに搭載されているGPS位置情報や進行方向情報などが利用できる。そして、このような撮影データを用いて３次元モデルを生成、更新することで、従来よりも３次元モデルの構築を容易に広範囲に行うことが可能となる。また、ユーザの操作を介することなく、車両からより多くの撮影画像を収集でき、従来よりも精度の高い３次元モデルの構築が可能となる。

【0080】

なお、第１の実施形態と第２の実施形態の構成は排他的なものではなく、両方の構成を統合して３次元モデルの構築を行うような構成であってもよい。

【0081】

＜第３の実施形態＞
本願発明の第３の実施形態として、生成された３次元モデルの表示の形態について説明する。カメラ等により撮影された撮影画像には、固定物体（例えば、建築物）と移動物体（例えば、車両）が混在して含まれていることが想定される。そこで、本実施形態では、撮影画像から３次元モデルを生成する際に、撮影画像に含まれる物体が移動物体か固定物体かを識別し、それぞれの特性に応じて３次元モデルに反映させる。また、撮影データの評価においても、移動物体か固定物体かの基準を設け、これに応じて評価を行う。

【0082】

［物体の識別方法］
撮影画像から移動物体と固定物体を識別する方法は公知の方法を用いることができ、特に限定するものではない。ここでは、一例として機械学習による手法を用いた識別方法について説明する。

【0083】

機械学習において、深層構造のニューラルネットワークモデルを用いた画像のセグメンテーション技術（領域抽出）が知られている。この手法において、学習用の画像データを用意する。学習用データでは、画像に含まれるオブジェクトの領域に対し、その領域が何を示しているかのラベル付けが行われている。例えば、撮影画像（写真）に写っているオブジェクトが人や車、自転車、電車、飛行機などの移動物体の場合、画素単位で抽出したその画像領域に対して「移動物体」というラベルを付与する。一方、撮影画像に映っているオブジェクトが道路や建物、橋、公園、野原などの固定物体の場合には、ピクセル単位で抽出したその画像領域に対して「固定物体」とラベルを付与する。そして、このような学習用データを複数準備し、それらを用いて学習を繰り返すことで、学習済みモデルを生成する。その後、撮影画像を入力として学習済みモデルを適用することで、当該撮影画像において移動物体と固定物体それぞれを示す画像領域に分割（抽出）が行われる。画像のセグメンテーション法としては代表的な手法であるＳｅｇＮｅｔやＵ−Ｎｅｔなどを用いることができる。

【0084】

なお、撮影画像から抽出された領域のうちラベル「移動物体」として抽出された画像領域から生成された３次元点群は、移動物体を構成する３次元点群である。一方、ラベル「固定物体」として抽出された画像領域から生成された３次元点群は、固定物体を構成する３次元点群である。このようにして、撮影画像に含まれるオブジェクトそれぞれに対応する３次元点群の領域を、移動物体か固定物体かに分離させる。本実施形態においては、領域抽出のための学習済みモデルはすでに生成されているものとして説明する。

【0085】

［処理フロー］
図８を用いて、本実施形態に係る３次元モデル生成サーバ１の処理フローについて説明する。以下に示す処理は、例えば、３次元モデル生成サーバ１が備えるＣＰＵ（不図示）が記憶装置に記憶されたプログラムを読み出して実行することにより実現される。第１の実施形態にて図５を用いて説明した処理フローとの差異に着目して説明し、同じ内容の処理については、図５と同じ参照番号を付す。

【0086】

Ｓ５０４の処理の後、３次元モデル生成サーバ１の処理はＳ８０１へ進む。Ｓ８０１にて、３次元モデル生成サーバ１は、着目したグループに含まれる撮影データの撮影画像に対して、領域抽出処理を行う。上述したように、本実施形態では、撮影画像において、「移動物体」としての領域と、「固定物体」としての領域を抽出するための学習済みモデルを用いて領域抽出を行う。撮影画像によっては、すべての領域が移動物体の領域であるとして抽出される場合もあれば、すべての領域が固定物体として抽出される場合もある。

【0087】

Ｓ８０２にて、３次元モデル生成サーバ１は、Ｓ８０１にて移動物体の領域として抽出された領域の情報を用いて３次元オブジェクトを生成する。ここでの３次元オブジェクトとは、物体認識された３次元モデルを示す。ここでの３次元オブジェクトの生成方法は特に限定されるものではない。例えば、移動物体の領域として抽出された領域の情報から３次元点群を求め、オブジェクトの３次元モデルを生成することで、移動物体を示す３次元オブジェクトを生成してもよい。または、移動物体の領域として抽出された領域の情報からその領域が示す移動体の種類を特定し、予め生成されている表示用の３次元オブジェクトとの対応付けを行うことで生成してもよい。

【0088】

Ｓ８０３にて、３次元モデル生成サーバ１は、Ｓ８０１にて固定物体の領域として抽出された領域の情報を用いて３次元モデルを生成する。ここでの３次元モデルの生成方法は、第１の実施形態の図５のＳ５０５の処理と同様であってよい。

【0089】

Ｓ８０４にて、３次元モデル生成サーバ１は、Ｓ８０２にて生成した移動物体の３次元オブジェクトと、Ｓ８０３にて生成した３次元モデルとを対応付けて記憶部（不図示）に記憶する。その後、Ｓ５０６の処理へ進む。

【0090】

なお、Ｓ５０８の評価処理では、固定物体として抽出された領域の情報に基づいて評価が行われることなる。そのため、第１の実施形態にて用いられた評価基準とは異なる評価基準が用いられてもよい。例えば、撮影画像の全体に対して、固定物体として抽出された領域の割合に基づいて評価が行われてもよい。

【0091】

以上、本実施形態では、撮影画像に対し、３次元モデルを生成するための領域（固定物体の領域）を抽出し、その領域の情報に基づいて３次元モデルの生成および評価を行う。

【0092】

［表示］
本実施形態では、図８に示すような処理により、３次元モデルが生成される。また、図８のＳ８０４にて示したように、３次元モデルと、その３次元モデルが示す領域に移動物体を示す３次元オブジェクトとが対応付けられている。そのため、本実施形態では、３次元モデル生成サーバ１は、表示装置３に３次元モデルを提供する場合（図３のＳ３１０）、その３次元モデルに対応付けられた３次元オブジェクトの情報を併せて提供する。

【0093】

そして、表示装置３は、３次元モデル生成サーバ１から提供された３次元モデルとそれに対応する３次元オブジェクトを表示させる。なお、３次元オブジェクトは、ユーザの操作に応じて、表示／非表示が切り替えられるような構成であってもよい。

【0094】

上記の例では、移動物体に対応して３次元オブジェクトを表示する例を示したが、移動物体を２次元オブジェクトとして示してもよい。または、複数の３次元オブジェクトが存在する場合には、その一部のみを表示するような構成であってもよい。

【0095】

本実施形態では、第１の実施形態の構成を基礎として説明したが、第２の実施形態の構成に適用してもよい。つまり、車両などの移動体から取得した撮影画像から固定物体の領域を抽出し、３次元モデルの生成に用いてよい。

【0096】

以上、本実施形態により、撮影画像から固定物体の領域を抽出して３次元モデルを生成、更新することで、第１の実施形態よりもより精度の高い３次元モデルの構築が可能となる。

【符号の説明】

【0097】

１ ３次元モデル生成サーバ
２ 携帯端末
３ 表示装置
４ ネットワーク
１０１ データ収集部
１０２ ３次元モデル生成部
１０３ ３次元モデル管理部
１０４ データ評価部
１０５ ユーザ管理部
１０６ インセンティブ付与部
１０７ 通信制御部
１０８ 表示制御部
２０１ 撮像部
２０２ センサ群
２０３ 記憶部
２０４ 制御部
２０５ 通信部
３０１ ３次元モデル表示部
３０２ 操作受付部
３０３ 通信制御部

【要約】

【課題】従来よりも３次元モデルの構築を精度良く、かつ容易に広範囲に行う。
【解決手段】３次元モデル構築システムであって、複数の移動体それぞれに備えられた撮影装置にて撮影された、撮影に関する付帯情報を含む撮影データを収集する収集手段と、前記収集手段にて収集された撮影データを用いて３次元モデルを生成する生成手段と、前記生成手段による前記３次元モデルの生成の際に用いられた撮影データに応じて、当該撮影データを撮影した移動体に対応付けられたユーザに対して報酬を付与する付与手段とを有し、前記生成手段は、新たな撮影データに含まれる付帯情報を用いて、前記新たな撮影データに対応する既存の３次元モデルの撮影領域を特定し、当該撮影領域における前記新たな撮影データから生成される３次元モデルと前記既存の３次元モデルとの差分に応じて、前記新たな撮影データを用いた前記既存の３次元モデルの更新を行う。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】