特開 2023-155887 情報処理装置、方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023155887

(43)【公開日】2023-10-23

(54)【発明の名称】情報処理装置、方法、およびプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20231016BHJP

   G06T 17/05 20110101ALI20231016BHJP

   G06T 7/00 20170101ALI20231016BHJP

【ＦＩ】

G06T19/00 A

G06T17/05

G06T7/00 350B

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023019613

(22)【出願日】2023-02-13

(62)【分割の表示】P 2022064879の分割

【原出願日】2022-04-11

(71)【出願人】

【識別番号】522145100

【氏名又は名称】株式会社スペースデータ

(74)【代理人】

【識別番号】110002815

【氏名又は名称】ＩＰＴｅｃｈ弁理士法人

(72)【発明者】

【氏名】佐藤 航陽

【テーマコード（参考）】

5B050

5L096

【Ｆターム（参考）】

5B050AA01

5B050BA02

5B050BA09

5B050BA11

5B050CA01

5B050DA04

5B050EA26

5B050FA02

5B050FA05

5L096FA02

5L096GA40

5L096KA04

(57)【要約】

【課題】視覚的品質およびカスタマイズ性が高い三次元モデルを生成可能な技術を提供する。
【解決手段】本開示の一態様のプログラムは、コンピュータを、地表面に存在する地理要素を撮影した写真を含む画像情報を取得する手段、画像情報に基づくモデル入力データに、地理要素の属性を予測可能な属性予測モデルを適用することで、モデル入力データに対応する地理要素の属性情報を生成する手段、属性情報を含む地理空間データベースを生成する手段、地理空間データベースに基づいて三次元モデルを生成する手段として機能させる。
【選択図】図２

【特許請求の範囲】

【請求項1】

コンピュータを、
地表面に存在する地理要素を撮影した写真を含む画像情報を取得する手段、
前記画像情報に基づくモデル入力データに、前記地理要素の属性を予測可能な属性予測モデルを適用することで、前記モデル入力データに対応する地理要素の属性情報を生成する手段、
前記属性情報を含む地理空間データベースを生成する手段、
前記地理空間データベースに基づいて、三次元モデルを生成する手段
として機能させるプログラム。

【請求項2】

前記地理空間データベースは、当該地理空間データベースによって表現される地理要素の建築資材に関する属性情報を含む、
請求項１に記載のプログラム。

【請求項3】

前記地理要素の建築資材に関する属性情報は、当該建築資材の光学的特性に関する情報を含む、
請求項２に記載のプログラム。

【請求項4】

前記コンピュータを、前記三次元モデルから当該三次元モデルによって表現される地理要素の三次元ＣＧ（Computer Graphics）を生成する手段として機能させ、
前記三次元ＣＧは、特定の種別の付属物が取り除かれた状態の前記地理要素の外観を表現する、
請求項１に記載のプログラム。

【請求項5】

前記特定の種別の付属物は、看板を含む、
請求項４に記載のプログラム。

【請求項6】

前記属性情報を生成する手段は、前記画像情報に基づくモデル入力データに前記特定の種別の付属物に関する属性を予測可能な属性予測モデルを適用することで、前記モデル入力データに対応する地理要素の前記特定の種別の付属物に関する属性情報を生成する、
請求項４に記載のプログラム。

【請求項7】

前記コンピュータを、前記三次元モデルから当該三次元モデルによって表現される地理要素の三次元ＣＧ（Computer Graphics）を生成する手段として機能させ、
前記三次元ＣＧは、前記地理要素の表面に表現された文字、図面、絵、または写真が取り除かれた状態の当該地理要素の外観を表現する、
請求項１に記載のプログラム。

【請求項8】

前記属性情報を生成する手段は、前記画像情報に基づくモデル入力データに地理要素の色に関する属性を予測可能な属性予測モデルを適用することで、前記モデル入力データに対応する地理要素の色に関する属性情報を生成する、
請求項７に記載のプログラム。

【請求項9】

前記地理空間データベースは、前記地理要素の種別に関する属性情報を含み、当該地理要素の種別が建物である場合に、当該地理要素の高さ、形状、側面構造、建築資材、色、上面構造、および看板の少なくとも１つに関する属性情報を含む、
請求項１に記載のプログラム。

【請求項10】

前記コンピュータを、
前記三次元モデルから当該三次元モデルによって表現される地理要素の三次元ＣＧ（Computer Graphics）を生成する手段、
前記三次元ＣＧを生成する手段によって生成された三次元ＣＧと、前記三次元モデルを編集するためのユーザ指示を受け付けるための情報とを表示する手段としてさらに機能させる、
請求項１に記載のプログラム。

【請求項11】

前記コンピュータを、前記ユーザ指示に応じて前記三次元モデルに対応する地理空間データベースを更新する手段としてさらに機能させ、
前記三次元ＣＧを生成する手段は、更新された前記地理空間データベースから前記三次元ＣＧを新たに生成する、
請求項１０に記載のプログラム。

【請求項12】

地表面に存在する地理要素を撮影した写真を含む画像情報を取得する手段と、
前記画像情報に基づくモデル入力データに、地理要素の属性を予測可能な属性予測モデルを適用することで、前記モデル入力データに対応する地理要素の属性情報を生成する手段と、
前記属性情報を含む地理空間データベースを生成する手段と
前記地理空間データベースに基づいて、三次元モデルを生成する手段と
を具備する、情報処理装置。

【請求項13】

コンピュータが
地表面に存在する地理要素を撮影した写真を含む画像情報を取得するステップと、
前記画像情報に基づくモデル入力データに、地理要素の属性を予測可能な属性予測モデルを適用することで、前記モデル入力データに対応する地理要素の属性情報を生成するステップと、
前記属性情報を含む地理空間データベースを生成するステップと、
前記地理空間データベースに基づいて、三次元モデルを生成するステップと
を実行する、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、方法、およびプログラムに関する。

【背景技術】

【0002】

従来、衛星画像に基づいて都市モデルないし立体マップを生成する技術が提案されている。特許文献１には、衛星画像に基づいて三次元点群を生成し、三次元点群をメッシュ化し、メッシュに最新の衛星画像を貼付けることが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開2020-008802号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された技術では、立体構造物に対応する三次元メッシュに、衛星画像をテクスチャとして貼り付けることで、立体構造物の三次元モデルが生成される。このようにして生成された三次元モデルは、映画、ビデオゲーム、ＶＲ（Virtual Reality）・メタバース、などの高品質な視覚的品質が要求されるコンテンツにおいて利用するにあたっていくつかの問題がある。

【0005】

第１に、三次元モデルの視覚的品質が、衛星画像の撮影時の光学的条件および解像度により大きく左右される。仮に、同一の三次元モデルに異なる光学的条件下で撮影された衛星画像をテクスチャとして貼り付けたとすると、観者に違和感を与えるおそれがある。また、かかる三次元モデルを仮想空間に配置すると、当該仮想空間に設定される光学的条件次第で、当該モデルの見た目がいっそう不自然となるおそれがある。例えば、テクスチャとしての衛星画像に影などのノイズが写り込んでいると、仮想空間における時間帯（朝夕）や天気による光の効果をコンテンツ制作者の意図したとおりに表現できないことがある。また、低い解像度の衛星画像をテクスチャとして利用すると当該テクスチャの拡大時に粗が目立つ。故に、かかる三次元モデルは、特にビデオゲームのようにプレイヤーが自由に三次元モデルを観察できるコンテンツにおいて、要求される視覚的品質を満たせないおそれがある。

【0006】

第２に、かかる三次元モデルは、三次元メッシュにテクスチャを貼り付けることで生成されるので、例えばビルの階数の増減のような軽微なカスタマイズであっても、三次元メッシュまたはテクスチャの破綻のおそれがあるため容易には施せず、融通が効かない。また、かかる三次元モデルは、特に衛星画像の撮影時と異なる光学的条件下で、立体構造物を構成する建築資材に特有の質感を再現することが困難である。

【0007】

第３に、衛星画像には、人の顔、車のナンバープレート、看板、などが含まれ得る。故に、衛星画像をそのままテクスチャとして用いる三次元モデルは第三者の権利を侵害するリスクがあるため、コンテンツ制作者が当該三次元モデルの採用をためらうおそれがある。

【0008】

本開示の目的は、視覚的品質およびカスタマイズ性が高い三次元モデルを生成可能な技術を提供することである。

【課題を解決するための手段】

【0009】

本開示の一態様のプログラムは、コンピュータを、地表面に存在する地理要素を撮影した写真を含む画像情報を取得する手段、画像情報に基づくモデル入力データに、地理要素の属性を予測可能な属性予測モデルを適用することで、モデル入力データに対応する地理要素の属性情報を生成する手段、属性情報を含む地理空間データベースを生成する手段、地理空間データベースに基づいて三次元モデルを生成する手段、として機能させる。

【図面の簡単な説明】

【0010】

【図1】本実施形態の情報処理装置の構成を示すブロック図である。

【図2】本実施形態の一態様の説明図である。

【図3】本実施形態の建物の地理空間データベースのデータ構造を示す図である。

【図4】本実施形態の土地の地理空間データベースのデータ構造を示す図である。

【図5】本実施形態の道路・鉄道の地理空間データベースのデータ構造を示す図である。

【図6】本実施形態の三次元モデル生成処理のフローチャートである。

【図7】本実施形態の三次元モデル生成処理において取得される入力情報を例示する図である。

【図8】本実施形態の三次元モデル生成処理によって生成される第１属性情報を例示する図である。

【図9】本実施形態の三次元モデル生成処理によって生成される第２属性情報を例示する図である。

【図10】本実施形態の三次元モデル編集処理のフローチャートである。

【図11】本実施形態の三次元モデル編集処理において表示される画面例を示す図である。

【発明を実施するための形態】

【0011】

以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。

【0012】

（１）情報処理装置の構成
情報処理装置の構成について説明する。図１は、本実施形態の情報処理装置の構成を示すブロック図である。

【0013】

情報処理装置１０は、コンピュータ（例えば、パーソナルコンピュータ、サーバコンピュータ、ワークステーション、など）である。

【0014】

図１に示すように、情報処理装置１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４とを備える。情報処理装置１０は、ディスプレイ２１に接続される。

【0015】

記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

【0016】

プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、ウェブブラウザ）のプログラム

【0017】

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）

【0018】

プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動することによって、情報処理装置１０の機能を実現するコンピュータである。プロセッサ１２は、例えば、以下の少なくとも１つである。
・ＣＰＵ（Central Processing Unit）
・ＧＰＵ（Graphic Processing Unit）
・ＡＳＩＣ（Application Specific Integrated Circuit）
・ＦＰＧＡ（Field Programmable Array）

【0019】

入出力インタフェース１３は、情報処理装置１０に接続される入力デバイスから情報（例えば、ユーザの指示）を取得し、かつ、情報処理装置１０に接続される出力デバイスに情報（例えば、画像）を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ２１、スピーカ、又は、それらの組合せである。

【0020】

通信インタフェース１４は、情報処理装置１０と外部装置（例えば、図示しないサーバ、またはクライアント装置）との間の通信を制御するように構成される。

【0021】

ディスプレイ２１は、画像（静止画、または動画）を表示するように構成される。ディスプレイ２１は、例えば、液晶ディスプレイ、または有機ＥＬディスプレイである。

【0022】

（２）実施形態の一態様
本実施形態の一態様について説明する。図２は、本実施形態の一態様の説明図である。

【0023】

図２に示すように、人工衛星ＳＴ１１は、地表面に存在する地理要素を上空から撮影する。情報処理装置１０は、人工衛星ＳＴ１１によって撮影された写真を含む画像情報を取得する。情報処理装置１０は、人工衛星ＳＴ１１から直接的に画像情報を取得してもよいし、図示しない外部サーバに蓄積された画像情報を取得してもよい。

【0024】

情報処理装置１０は、取得した画像情報から地理要素を認識し、当該地理要素に対応する部分を抽出する。情報処理装置１０は、この抽出結果に基づくモデル入力データに、属性予測モデルＬＭ１２を適用する。属性予測モデルＬＭ１２は、モデル入力データに対応する地理要素の属性を予測することで、属性情報を生成する。

【0025】

情報処理装置１０は、属性予測モデルＬＭ１２によって出力される属性情報を含む地理空間データベースＧＤ１３を生成する。

【0026】

地理空間データベースＧＤ１３は、対応する地理要素を属性情報によって構造化した情報に相当する。故に、地理空間データベースＧＤ１３から生成（モデリング）可能な三次元モデルＴＭ１４は、三次元メッシュにテクスチャを貼り付けることで生成される三次元モデルとは異なり、拡大により劣化することがない。また、仮に人工衛星ＳＴ１１により撮影された写真に影などのノイズが写り込んでいたとしても、当該ノイズは三次元モデルＴＭ１４によって表される地理要素のベースの色の予測に影響を与えるに過ぎず、三次元モデルＴＭ１４のノイズとはならない。故に、かかる三次元モデルＴＭ１４は、その配置される仮想空間における光学的条件に関わらず、コンテンツ制作者の意図したとおりの光の効果を表現できる。

【0027】

人の顔、または車のナンバープレートは、地理要素として認識されないので、三次元モデルＴＭ１４には反映されない。また、例えば看板などの地理要素に対する付属物は、属性予測モデルＬＭ１２によって当該地理要素の属性の１つとして予測可能であり、当該付属物を取り除いた状態の地理要素を表現する三次元モデルＴＭ１４を生成することができる。故に、第三者の権利を侵害するリスクの低い三次元モデルＴＭ１４を生成することができる。さらに、属性予測モデルＬＭ１２が属性情報として地理要素を構成する各パーツの建築資材を予測するようにすれば、当該建築資材に特有の質感を再現し、三次元モデルＴＭ１４からレンダリングされる三次元ＣＧ（Computer Graphics）のリアリティを高めることができる。

【0028】

（３）データ構造
本実施形態の地理空間データベースのデータ構造について説明する。

【0029】

（３－１）建物の地理空間データベース
本実施形態の建物の地理空間データベースについて説明する。図３は、本実施形態の建物の地理空間データベースのデータ構造を示す図である。

【0030】

図３に示すように、建物の地理空間データベースは、「ＩＤ」フィールドと、「種別」フィールドと、「高さ」フィールドと、「形状」フィールドと、「側面構造」フィールドと、「上面構造」フィールドと、「看板」フィールドと、「色」フィールドと、「建築資材」フィールドとを含む。

【0031】

「ＩＤ」フィールドには、地理要素ＩＤが格納される。地理要素ＩＤは、地理空間データベースによって表現される地理要素を識別する情報である。

【0032】

「種別」フィールドには、種別情報が格納される。種別情報は、地理空間データベースによって表現される地理要素の種別に関する情報である。地理空間データベースによって表現される地理要素の種別は、例えば、建物、土地、または道路・鉄道のいずれかであるが、この例に限られない。地理空間データベースのデータ構造は、種別情報の値によって異なる。地理空間データベースの種別情報が建物に対応する値を持つ場合に、当該地理空間データベースは図３に例示されるデータ構造を備える。

【0033】

「高さ」フィールドには、高さ情報が格納される。高さ情報は、地理空間データベースによって表現される建物の高さに関する情報である。

【0034】

「形状」フィールドには、建物形状情報が格納される。建物形状情報は、地理空間データベースによって表現される建物の形状に関する情報である。

【0035】

「側面構造」フィールドには、側面構造情報が格納される。側面構造情報は、地理空間データベースによって表現される建物の側面構造に関する情報である。

【0036】

「上面構造」フィールドには、上面構造情報が格納される。上面構造情報は、地理空間データベースによって表現される建物の上面（つまり、屋上、または屋根）構造に関する情報である。

【0037】

「看板」フィールドには、看板情報が格納される。看板情報は、地理空間データベースによって表現される建物に付属する看板（「特定の種別の付属物」の一例）に関する情報である。

【0038】

「色」フィールドには、色情報が格納される。色情報は、地理空間データベースによって表現される建物の色に関する情報である。

【0039】

「建築資材」フィールドには、建築資材情報が格納される。建築資材情報は、地理空間データベースによって表現される建物を構成する建築資材に関する情報である。建築資材情報は、建築資材の物理的特性（例えば、光学的特性、力学的特性、または熱力学的特性）、密度（単位体積あたりの質量）、または化学的特性に関する情報を含むことができる。光学的特性は、例えば、可視光に対する吸収、反射、または透過の特性を含むことができる。

【0040】

（３－２）土地の地理空間データベース
本実施形態の土地の地理空間データベースについて説明する。図４は、本実施形態の土地の地理空間データベースのデータ構造を示す図である。

【0041】

図４に示すように、土地の地理空間データベースは、「ＩＤ」フィールドと、「種別」フィールドと、「地形」フィールドと、「地面」フィールドと、「利用」フィールドとを含む。

【0042】

「ＩＤ」フィールドには、地理要素ＩＤが格納される。

【0043】

「種別」フィールドには、種別情報が格納される。地理空間データベースの種別情報が土地に対応する値を持つ場合に、当該地理空間データベースは図４に例示されるデータ構造を備える。

【0044】

「地形」フィールドには、地形情報が格納される。地形情報は、地理空間データベースによって表現される土地の地形に関する情報である。

【0045】

「地面」フィールドには、地面情報が格納される。地面情報は、地理空間データベースによって表現される土地の地面に関する情報である。

【0046】

「利用」フィールドには、利用情報が格納される。利用情報は、地理空間データベースによって表現される土地の利用（つまり土地用途）に関する情報である。

【0047】

（３－３）道路・鉄道の地理空間データベース
本実施形態の道路・鉄道の地理空間データベースについて説明する。図５は、本実施形態の道路・鉄道の地理空間データベースのデータ構造を示す図である。

【0048】

図５に示すように、道路・鉄道の地理空間データベースは、「ＩＤ」フィールドと、「種別」フィールドと、「形状」フィールドと、「車線数」フィールドと、を含む。各フィールドは、互いに関連付けられている。

【0049】

「ＩＤ」フィールドには、地理要素ＩＤが格納される。

【0050】

「種別」フィールドには、種別情報が格納される。地理空間データベースの種別情報が道路・鉄道に対応する値を持つ場合に、当該地理空間データベースは図５に例示されるデータ構造を備える。

【0051】

「形状」フィールドには、道路・鉄道形状情報が格納される。道路・鉄道形状情報は、地理空間データベースによって表現される道路・鉄道の形状に関する情報である。

【0052】

「車線数」フィールドには、車線数情報が格納される。車線数情報は、地理空間データベースによって表現される道路・鉄道の車線数または線路本数に関する情報である。

【0053】

（４）情報処理
本実施形態の情報処理について説明する。

【0054】

（４－１）三次元モデル生成処理
本実施形態の三次元モデル生成処理について説明する。図６は、本実施形態の三次元モデル生成処理のフローチャートである。図７は、本実施形態の三次元モデル生成処理において取得される入力情報を例示する図である。図８は、本実施形態の三次元モデル生成処理によって生成される第１属性情報を例示する図である。図９は、本実施形態の三次元モデル生成処理によって生成される第２属性情報を例示する図である。

【0055】

図６の三次元モデル生成処理は、例えば三次元モデルの生成要求に応じて開始する。
まず、情報処理装置１０は、各種情報の取得（Ｓ１１０）を実行する。
具体的には、情報処理装置１０は、例えば図７に示す入力情報ＩＮ１０を取得する。入力情報ＩＮ１０は、地図情報ＩＮ１１、三次元建物情報ＩＮ１２、衛星写真情報ＩＮ１３（「地表面に存在する地理要素を上空から撮影した写真」の一例）、地上写真情報ＩＮ１４、および人流情報ＩＮ１５を含む。情報処理装置１０は、異なる種類の入力情報を、異なる種類の情報源から取得してもよい。なお、情報処理装置１０は、図７に示されていない入力情報を取得してもよいし、図７に示す入力情報のいずれかを取得しなくてもよい。

【0056】

地図情報ＩＮ１１は、二次元または三次元の地図に関する情報である。
三次元建物情報ＩＮ１２は、特定の建物についての画像を含む三次元情報である。三次元建物情報は、例えば、特定の建物についての三次元ＣＡＤ（Computer-Aided Design）データ、またはＢＩＭ（Building Information Modeling）データである。

【0057】

衛星写真情報ＩＮ１３は、地表面に存在する地理要素を人工衛星によって上空から撮影した写真に関する画像情報である。

【0058】

地上写真情報ＩＮ１４は、地表面に存在する地理要素を地上から撮影した写真（例えば、建物の主に側面をスマートフォンに搭載されたカメラ、自動車などの移動体に搭載されたカメラ、などによって撮影した写真）に関する画像情報である。
人流情報ＩＮ１５は、人流（すなわち、人間がいつどこに何人いるのか）に関する情報である。

【0059】

ステップＳ１１０の後に、情報処理装置１０は、各種地理要素の認識（Ｓ１１１）を実行する。
具体的には、情報処理装置１０は、ステップＳ１１０において取得した入力情報（画像情報）に基づいて、当該入力情報においていずれかの種別の地理要素に対応する部分を認識し、当該部分を抽出する。情報処理装置１０は、認識した地理要素に対して当該地理要素を識別する地理要素ＩＤを割り当てる。

【0060】

一例として、情報処理装置１０は、衛星写真情報ＩＮ１３に基づく入力データに建物認識モデルを適用することで、衛星写真情報ＩＮ１３において建物に対応する部分（画素領域）を認識する。ここで、建物認識モデルは、大量（例えば数千程度）の教師データを用いた教師あり学習によって構築することができる。各教師データは、衛星写真に基づく学習用入力データと、当該学習用入力データにおいて認識されるべき建物（正解）を表す正解データとを含む。建物認識モデルは、情報処理装置１０上に構築されてもよいし、外部装置（例えばクラウドサーバ）上に構築されてもよい。

【0061】

同様に、情報処理装置１０は、各種の地理要素向けの認識モデルを用意し、画像情報（衛星写真情報ＩＮ１３、または地上写真情報ＩＮ１４）に当該認識モデルを適用することで、各種の地理要素を認識してもよい。或いは、情報処理装置１０は、地図情報ＩＮ１１を解析することで、地理要素を認識してもよい。

【0062】

ステップＳ１１１の後に、情報処理装置１０は、第１属性情報の解析（Ｓ１１２）を実行する。
具体的には、情報処理装置１０は、ステップＳ１１０において取得した入力情報に対して第１属性情報の解析を行う。第１属性情報とは、地理要素を構造的に表現するために地理空間データベースに含まれる属性情報のうち、何らかの既定のアルゴリズムによる解析に適した属性情報である。解析対象となる第１属性情報は、ステップＳ１１１において認識した地理要素の種別、および当該地理要素についてステップＳ１１０において取得することのできた入力情報に依存する。なお、ステップＳ１１１において認識した地理要素の種別に対応する地理空間データベースの属性情報が第１属性情報を全く含まない場合に、情報処理装置１０は、本ステップＳ１１２を省略可能である。

【0063】

地理要素の種別が建物である場合に、情報処理装置１０は、入力情報に対して図８に示す第１属性情報ＡＴ２０の解析を行う。第１属性情報ＡＴ２０は、高さ情報ＡＴ２１、および形状情報ＡＴ２２を含む。情報処理装置１０は、図８に示されていない第１属性情報の解析を行ってもよいし、図８に示す第１属性情報のいずれかの解析を行わなくてもよい。

【0064】

情報処理装置１０は、例えば衛星写真情報ＩＮ１３（特に、ステップＳ１１１において地理要素に対応すると認識された部分）を解析することで、高さ情報ＡＴ２１および形状情報ＡＴ２２を生成する。情報処理装置１０は、衛星写真情報ＩＮ１３に加えて、または衛星写真情報ＩＮ１３の代わりに、三次元建物情報ＩＮ１２または地上写真情報ＩＮ１４を解析することで、高さ情報ＡＴ２１および形状情報ＡＴ２２を生成してもよい。

【0065】

地理要素の種別が土地である場合に、情報処理装置１０は、地図情報ＩＮ１１に対して、第１属性情報として地形情報、地面情報、または利用情報の少なくとも１つの解析を行い得る。情報処理装置１０は、地図情報ＩＮ１１に加え、衛星写真情報ＩＮ１３、または地上写真情報ＩＮ１４の少なくとも１つに対して第１属性情報の解析を行ってもよい。

【0066】

地理要素の種別が道路・鉄道である場合に、情報処理装置１０は、地図情報ＩＮ１１に対して、第１属性情報として形状情報または車線数情報の少なくとも１つの解析を行い得る。情報処理装置１０は、地図情報ＩＮ１１に加え、衛星写真情報ＩＮ１３、または地上写真情報ＩＮ１４の少なくとも１つに対して第１属性情報の解析を行ってもよい。

【0067】

ステップＳ１１２の後に、情報処理装置１０は、第２属性情報の予測（Ｓ１１３）を実行する。
具体的には、情報処理装置１０は、ステップＳ１１０において取得した入力情報（特に、ステップＳ１１１において地理要素に対応すると認識された部分）に基づくモデル入力データに属性予測モデルを適用することで、第２属性情報を生成する。第２属性情報とは、地理要素を構造的に表現するために地理空間データベースに含まれる属性情報のうち、属性予測モデルによる予測（推論）に適した属性情報である。予測対象となる第２属性情報は、ステップＳ１１１において認識した地理要素の種別、および当該地理要素についてステップＳ１１０において取得することのできた入力情報に依存する。なお、ステップＳ１１１において認識した地理要素の種別に対応する地理空間データベースの属性情報が第２属性情報を全く含まない場合に、情報処理装置１０は、本ステップＳ１１３を省略可能である。

【0068】

ここで、属性予測モデルは、大量（例えば数千程度）の教師データを用いた教師あり学習によって、例えば地理空間データベースを定義する属性毎に構築することができる。各教師データは、衛星写真または地上写真の少なくとも１つに基づく学習用入力データと、当該学習用入力データから予測すべき属性情報（正解）を表す正解データとを含む。属性予測モデルは、情報処理装置１０上に構築されてもよいし、外部装置（例えばクラウドサーバ）上に構築されてもよい。

【0069】

地理要素の種別が建物である場合に、情報処理装置１０は、入力情報に属性予測モデルを適用することで、図９に示す第２属性情報ＡＴ３０を予測する。第２属性情報ＡＴ３０は、側面構造情報ＡＴ３１、色情報ＡＴ３２、建築資材情報ＡＴ３３、上面構造情報ＡＴ３４、および看板情報ＡＴ３５を含む。情報処理装置１０は、図９に示されていない第２属性情報の解析を行ってもよいし、図９に示す第２属性情報のいずれかの解析を行わなくてもよい。

【0070】

情報処理装置１０は、例えば衛星写真情報ＩＮ１３または地上写真情報ＩＮ１４の少なくとも１つに基づくモデル入力データに側面構造予測モデルを適用することで、当該モデル入力データに対応する地理要素（建物）の側面構造情報ＡＴ３１を生成する。

【0071】

情報処理装置１０は、例えば衛星写真情報ＩＮ１３または地上写真情報ＩＮ１４の少なくとも１つに基づくモデル入力データに色予測モデルを適用することで、当該モデル入力データに対応する地理要素（建物）の色情報ＡＴ３２を生成する。

【0072】

情報処理装置１０は、例えば衛星写真情報ＩＮ１３または地上写真情報ＩＮ１４の少なくとも１つに基づくモデル入力データに建築資材予測モデルを適用することで、当該モデル入力データに対応する地理要素（建物）の建築資材情報ＡＴ３３を生成する。

【0073】

情報処理装置１０は、例えば衛星写真情報ＩＮ１３または地上写真情報ＩＮ１４の少なくとも１つに基づくモデル入力データに上面構造予測モデルを適用することで、当該モデル入力データに対応する地理要素（建物）の上面構造情報ＡＴ３４を生成する。

【0074】

情報処理装置１０は、例えば衛星写真情報ＩＮ１３または地上写真情報ＩＮ１４の少なくとも１つに基づくモデル入力データに看板予測モデルを適用することで、当該モデル入力データに対応する地理要素（建物）の看板情報ＡＴ３５を生成する。

【0075】

地理要素の種別が土地である場合に、情報処理装置１０は、衛星写真情報ＩＮ１３または地上写真情報ＩＮ１４の少なくとも１つに基づくモデル入力データに利用予測モデル（「属性予測モデル」の一例）を適用することで、当該モデル入力データに対応する地理要素（土地）の利用情報を生成し得る。

【0076】

ステップＳ１１３の後に、情報処理装置１０は、地理空間データベースの生成（Ｓ１１４）を実行する。
具体的には、情報処理装置１０は、ステップＳ１１１において割り当てた地理要素ＩＤに、ステップＳ１１２またはステップＳ１１３の少なくとも１つにおいて生成した属性情報を関連付けることで、地理空間データベースを生成する。地理空間データベースは、ステップＳ１１２またはステップＳ１１３の少なくとも１つにおいて生成した属性情報を含み、当該属性情報によって地理要素を構造的に表現する。

【0077】

ステップＳ１１４の後に、情報処理装置１０は、三次元モデルの生成（Ｓ１１５）を実行する。
具体的には、情報処理装置１０は、ステップＳ１１４において生成した地理空間データベースに対してモデリング処理を行うことで、三次元モデルを生成する。

【0078】

ステップＳ１１４を以て、情報処理装置１０は、図６に示す三次元モデル生成処理を終了する。ただし、情報処理装置１０は、ステップＳ１１１において複数の地理要素を認識した場合には、書く地理要素に対してステップＳ１１２からステップＳ１１４の処理を繰り返してもよい。

【0079】

（４－２）三次元モデル編集処理
本実施形態の三次元モデル編集処理について説明する。図１０は、本実施形態の三次元モデル編集処理のフローチャートである。図１１は、本実施形態の三次元モデル編集処理において表示される画面例を示す図である。

【0080】

図１０に示す三次元モデル編集処理は、三次元モデルのユーザ（例えば、図６に示す三次元モデル生成処理によって生成された三次元モデルの提供を有償または無償で受ける者）が、編集対象となる三次元モデルを自らのユーザ端末の入力デバイスを操作して選択したことに応じて開始する。
なお、本処理は、様々な形態で実行可能である。第１例として、サーバとしての情報処理装置１０が、クライアントとしてのユーザ端末からの要求に応じて本処理を実行してもよい。第２例として、三次元モデルはユーザ環境（ユーザが利用するクラウド環境を含む）において保存され、ユーザ端末またはユーザ環境内のサーバ（クラウドサーバを含む）が本処理を実行してもよい。以降の説明では、第１例を前提に述べるが、第２例では、「情報処理装置１０」を、「ユーザ端末」または「ユーザ環境内のサーバ」として適宜読み替えることができる。

【0081】

図１０に示すように、情報処理装置１０は、モデリング・レンダリング（Ｓ２１０）を実行する。
具体的には、情報処理装置１０は、編集対象となる三次元モデルに対応する地理空間データベースを読み込み、当該地理空間データベースに含まれる属性情報から、当該地理空間データベースによって表現される地理要素の三次元モデルを生成（モデリング）する。そして、情報処理装置１０は、三次元モデルに対してレンダリング処理を行うことで、三次元ＣＧを生成する。
ここで、情報処理装置１０は、例えば図３に示した属性情報に基づいて、看板が取り除かれた状態の建物の外観を表現する三次元ＣＧを生成する。例えば、情報処理装置１０は、建物の高さ情報、形状情報、および看板情報に基づいて、看板が取り除かれた状態の建物の三次元ＣＧを再現する。
また、情報処理装置１０は、例えば図３に示した属性情報に基づいて、建物の表面に表現された文字、図面、絵、または写真が取り除かれた状態の当該建物の外観を表現する三次元ＣＧを生成する。例えば、情報処理装置１０は、側面構造情報、上面構造情報、色情報、および建築資材情報に基づいて、建物の表面に表現された文字、図面、絵、または写真が取り除かれた状態の当該建物のテクスチャを再現する。

【0082】

ステップＳ２１０の後に、情報処理装置１０は、三次元ＣＧの表示（Ｓ２１１）を実行する。
具体的には、情報処理装置１０は、ステップＳ２１０において生成した三次元ＣＧと、編集対象となる三次元モデルに対する編集指示をユーザから受け付けるためのＵＩ（User Interface）とをユーザ端末のディスプレイに表示する。一例として、情報処理装置１０は、図１１に示す画面をユーザ端末のディスプレイに表示する。

【0083】

図１１に示す画面は、表示オブジェクトＡ２１，Ａ２２と、操作オブジェクトＢ２１，Ｂ２２とを含む。
表示オブジェクトＡ２１は、ステップＳ２１０において生成した三次元ＣＧを表示する。情報処理装置１０は、表示オブジェクトＡ２１に対するユーザ指示に応じて、三次元ＣＧをロール軸、ピッチ軸、もしくはヨー軸周りの回転、または拡大もしくは縮小して当該表示オブジェクトＡ２１に表示する。

【0084】

表示オブジェクトＡ２２は、編集対象となる三次元モデルに対応する地理空間データベースの備える属性情報の値を表示するとともに、当該属性情報の値を編集する指示を受け付ける。情報処理装置１０は、編集指示を受け付けるために種々の入力フォーム（例えば、テキストフィールド、メニュー、チェックボックス、ラジオボタン、など）を表示オブジェクトＡ２２上に配置することができる。ユーザは、ユーザ端末の入力デバイスを操作することで、所望の編集指示を情報処理装置１０に与える。情報処理装置１０は、表示オブジェクトＡ２２において受け付けた編集指示に応じて、編集対象となる三次元モデルに対応する地理空間データベースを（一時的に）更新し、更新された地理空間データベースに基づく三次元ＣＧを表示オブジェクトＡ２２に表示する。これにより、ユーザは、属性情報の値の編集に伴う三次元ＣＧの見た目の変化を確認しながら、三次元モデルを自由にカスタマイズすることができる。

【0085】

操作オブジェクトＢ２１は、三次元モデルに対する１つ前の編集指示を取り消す指示を受け付ける。ユーザは、ユーザ端末の入力デバイスを操作して操作オブジェクトＢ２１を選択することで、取消指示を情報処理装置１０に与える。情報処理装置１０は、取消指示を受けると、１つ前の編集指示を取り消す。これにより、三次元モデルの属性情報は、１つ前の編集指示がなされる前の状態に戻る。

【0086】

操作オブジェクトＢ２２は、三次元モデルの編集を確定する指示を受け付ける。ユーザは、ユーザ端末の入力デバイスを操作して操作オブジェクトＢ２２を選択することで、確定指示を情報処理装置１０に与える。情報処理装置１０は、確定指示を受けると、確定指示時における最新の三次元モデル（つまり、一連の有効な編集指示を反映した三次元モデル）によって、編集対象の三次元モデルに対応する地理空間データベースを上書きする。これにより、三次元モデルの編集が確定する。なお、上書きを行うことは必須でなく、情報処理装置１０は、編集対象の三次元モデルとは別に編集後の三次元モデルを保存してもよい。これにより、編集前（オリジナル）の三次元モデルと編集後の三次元モデルとを併存させることができ。

【0087】

ステップＳ２１１において三次元モデルの編集が確定する（例えば、操作オブジェクトＢ２２の選択が検出される）前にユーザが編集指示（例えば、表示オブジェクトＡ２２に対する操作）を行うと、情報処理装置１０は、編集指示の取得（Ｓ２１２）を実行する。
具体的には、情報処理装置１０は、ユーザ端末から編集指示（例えば、編集対象となる属性情報、および当該属性情報の編集値）を取得する。

【0088】

ステップＳ２１２の後に、情報処理装置１０は、地理空間データベースの更新（Ｓ２１３）を実行する。
具体的には、情報処理装置１０は、ステップＳ２１２において取得した編集指示を反映するように、編集対象の三次元モデルに対応する地理空間データベースを更新する。
ステップＳ２１３の後に、情報処理装置１０は、モデリング・レンダリング（Ｓ２１０）、および三次元ＣＧの表示（Ｓ２１１）を再実行する。つまり、情報処理装置１０は、更新された地理空間データベースから三次元モデル、そして三次元ＣＧを新たに生成し、当該三次元ＣＧを表示する。これにより、ステップＳ２１２において取得した編集指示が反映された三次元ＣＧをユーザに提示することができる。

【0089】

他方、ステップＳ２１１において三次元モデルの編集が確定した場合に、情報処理装置１０は、地理空間データベースの保存（Ｓ２１４）を実行する。
具体的には、情報処理装置１０は、最新の三次元モデルに対応する地理空間データベースを記憶装置１１に保存する。
ステップＳ２１４を以て、情報処理装置１０は、図１０に示す三次元モデル編集処理を終了する。

【0090】

（５）小括
以上説明したように、情報処理装置１０は、衛星写真情報ＩＮ１３に基づくモデル入力データに、地理要素の属性を予測可能な属性予測モデルを適用することで、当該モデル入力データに対応する地理要素の属性情報を生成し、当該属性情報を含む地理空間データベースから三次元モデルを生成する。これにより、三次元モデル、および当該三次元モデルから生成される三次元ＣＧは、拡大により劣化することがない。また、仮に衛星写真情報ＩＮ１３に影などのノイズが写り込んでいたとしても、当該ノイズは三次元モデルによって表される地理要素のベースの色の予測に影響を与えるに過ぎず、当該三次元モデルから生成される三次元ＣＧのノイズとはならない。故に、かかる三次元ＣＧは、その配置される仮想空間に設定された光学的条件に関わらず、コンテンツ制作者の意図したとおりの光の効果を表現できる。

【0091】

地理空間データベースは、当該地理空間データベースによって表現される地理要素の建築資材に関する属性情報を含んでもよい。これにより、三次元モデルから生成される三次元ＣＧにおいて、地理要素を構成する建築資材の特性を反映し、リアリティを高めることができる。建築資材に関する属性情報は、当該建築資材の光学的特性に関する情報を含んでもよい。これにより、三次元モデルから生成される三次元ＣＧにおいて、地理要素を構成する建築資材に特有の質感を再現し、リアリティを高めることができる。

【0092】

情報処理装置１０は、三次元モデルから当該三次元モデルによって表現される地理要素の三次元ＣＧを生成してもよく、三次元ＣＧは、特定の種別の付属物（例えば看板）が取り除かれた状態の地理要素の外観を表現してもよい。これにより、三次元ＣＧに看板が写り込む事態を防止することができるので、第三者の権利を侵害するリスクの低い三次元モデルを提供することができる。また、情報処理装置１０は、衛星写真情報ＩＮ１３に基づくモデル入力データに特定の種別の付属物に関する属性を予測可能な属性予測モデルを適用することで、当該モデル入力データに対応する地理要素の特定の種別の付属物に関する属性情報を生成してもよい。これにより、特定の種別の付属物を取り除いた状態の地理要素の形状を容易に再現することができる。

【0093】

情報処理装置１０は、三次元モデルから当該三次元モデルによって表現される地理要素の三次元ＣＧを生成してもよく、三次元ＣＧは、地理要素の表面に表現された文字、図面、絵、または写真が取り除かれた状態の当該地理要素の外観を表現してもよい。これにより、三次元ＣＧに壁画などの著作物が写り込む事態を防止することができるので、第三者の権利を侵害するリスクの低い三次元モデルを提供することができる。また、情報処理装置１０は、衛星写真情報ＩＮ１３に基づくモデル入力データに地理要素の色に関する属性を予測可能な属性予測モデルを適用することで、当該モデル入力データに対応する地理要素の色に関する属性情報を生成してもよい。これにより、壁画等を取り除いた状態の地理要素の色（ベースの色）を容易に再現することができる。

【0094】

地理空間データベースは、当該地理空間データベースによって表現される地理要素の種別に関する属性情報を含み、当該地理要素の種別が建物である場合に、当該地理要素の高さ、形状、側面構造、建築資材、色、上面構造、および看板の少なくとも１つに関する属性情報を含んでもよい。これにより、建物の構造的特徴を適切に表現する属性情報を備える三次元モデルを提供することができる。

【0095】

情報処理装置１０は、三次元モデルから当該三次元モデルによって表現される地理要素の三次元ＣＧを生成し、当該三次元ＣＧと三次元モデルを編集するためのユーザ指示を受け付ける情報とを表示してもよい。これにより、ユーザは、三次元ＣＧの確認と三次元モデルのカスタマイズとを同時に行うことができる。また、情報処理装置１０は、ユーザ指示に応じて三次元モデルに対応する地理空間データベースを更新し、更新された地理空間データベースから三次元ＣＧを新たに生成してもよい。これにより、ユーザは、地理空間データベースを更新したことによる三次元ＣＧへの影響を容易に確認し、カスタマイズ作業を効率的に行うことができる。

【0096】

（６）その他の変形例
記憶装置１１は、ネットワークＮＷを介して、情報処理装置１０と接続されてもよい。ディスプレイ２１は、情報処理装置１０と一体化されていてもよいし、外付けであってもよい。

【0097】

上記の情報処理の各ステップは、情報処理装置１０が行ってもよいし、外部装置と協同で行ってもよいし、外部装置が行ってもよい。また、上記説明では、各処理において各ステップを特定の順序で実行する例を示したが、各ステップの実行順序は、依存関係がない限りは説明した例に制限されない。

【0098】

実施形態では、人工衛星により地表面に存在する地理要素を上空から撮影した写真を含む画像情報を用いる例を説明した。しかしながら、航空機（飛行機、またはドローン）により地表面に存在する地理要素を上空から撮影した写真を含む画像情報が用いられてもよい。さらに、上空から撮影した写真に加えて、または上空から撮影した写真の代わりに、地表面に存在する地理要素を地上から撮影した写真（例えば、前述の地上写真情報ＩＮ１４）を含む画像情報を用いることもできる。つまり、かかる画像情報に基づくモデル入力データに、地理要素の属性を予測可能な属性予測モデルを適用することで、当該モデル入力データに対応する地理要素の属性情報を生成してもよい。

【0099】

実施形態では、地理要素の種別毎に認識モデルを用意する例を示した。しかしながら、地理要素を任意の粒度で細分化し、細分化された地理要素の区分毎に認識モデルを利用することができる。例えば、民家向けの認識モデルとオフィスビル向けの認識モデルとを併用したり、アジア向けの認識モデルとヨーロッパ向けの認識モデルとを併用したりすることができる。

【0100】

実施形態では、地理要素の属性情報を第１属性情報および第２属性情報に整理して説明した。しかしながら、各属性情報は、解析または予測のいずれか一方のみによって生成されることもあれば、一部を解析により、残部を予測により生成されることもある。また同一の属性情報であっても、当該属性情報について取得することのできた入力情報次第で、解析のみにより生成されるか、予測のみにより生成されるか、両者の併用により生成されるかが異なり得る。

【0101】

以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。

【符号の説明】

【0102】

１０ ：情報処理装置
１１ ：記憶装置
１２ ：プロセッサ
１３ ：入出力インタフェース
１４ ：通信インタフェース
２１ ：ディスプレイ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】