特開 2024-8803 情報処理装置、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024008803

(43)【公開日】2024-01-19

(54)【発明の名称】情報処理装置、情報処理方法及びプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20240112BHJP

   G06T 15/20 20110101ALI20240112BHJP

【ＦＩ】

G06T19/00 A

G06T15/20 500

【審査請求】未請求

【請求項の数】1

【出願形態】ＯＬ

(21)【出願番号】P 2023006654

(22)【出願日】2023-01-19

(62)【分割の表示】P 2022173474の分割

【原出願日】2022-10-28

(31)【優先権主張番号】P 2022109933

(32)【優先日】2022-07-07

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】519091041

【氏名又は名称】ＪＰ ＧＡＭＥＳ株式会社

(74)【代理人】

【識別番号】100125092

【弁理士】

【氏名又は名称】佐藤 玲太郎

(74)【代理人】

【識別番号】100144048

【弁理士】

【氏名又は名称】坂本 智弘

(72)【発明者】

【氏名】田畑 端

【テーマコード（参考）】

5B050

5B080

【Ｆターム（参考）】

5B050BA09

5B050BA11

5B050BA13

5B050CA07

5B050DA07

5B050DA10

5B050EA07

5B050EA12

5B050EA18

5B050EA19

5B050EA27

5B050EA28

5B050FA02

5B050FA09

5B050GA08

5B080AA19

5B080BA02

5B080DA06

5B080FA02

5B080FA09

5B080GA00

5B080GA11

(57)【要約】

【課題】 ２次元の画像に基づいて仮想空間画像を描画することができる情報処理装置を提供する。
【解決手段】 撮像対象物又は風景を捕捉した２次元の画像データを取得する取得部と、２次元の画像データに基づいて撮像対象物又は風景を含む３次元の仮想空間のデータを作成するデータ作成部と、３次元の仮想空間のデータに基づいて、仮想カメラから視た仮想空間画像を描画する描画処理部と、を備える。データ作成部は、２次元の画像データに含まれる要素に対し属性を付与し、３次元の仮想空間のデータに属性を反映させ、属性は、３次元の仮想空間のデータに要素を含めるか否かを示す。
【選択図】 図１

【特許請求の範囲】

【請求項1】

撮像対象物又は風景を捕捉した２次元の画像データを取得する取得部と、
前記２次元の画像データに基づいて前記撮像対象物又は風景を含む３次元の仮想空間のデータを作成するデータ作成部と、
前記３次元の仮想空間のデータに基づいて、仮想カメラから視た仮想空間画像を描画する描画処理部と、を備え、
前記データ作成部は、前記２次元の画像データに含まれる要素に対し属性を付与し、前記３次元の仮想空間のデータに前記属性を反映させ、
前記属性は、前記３次元の仮想空間のデータに前記要素を含めるか否かを示す、情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

特許文献１には、対象物に対応する表示物を仮想空間に出現させることができる画像生成システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１０７２５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１には、仮想空間の生成方法については具体的な開示がなく、とくに写真などの２次元の画像に基づいて仮想空間画像を描画する技術についての開示はない。

【0005】

そこで、１つの側面では、本発明は、２次元の画像に基づいて仮想空間画像を描画することができる情報処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

１つの態様では、
撮像対象物又は風景を捕捉した２次元の画像データを取得する取得部と、
前記２次元の画像データに基づいて前記撮像対象物又は風景を含む３次元の仮想空間のデータを作成するデータ作成部と、
前記３次元の仮想空間のデータに基づいて、仮想カメラから視た仮想空間画像を描画する描画処理部と、を備え、
前記データ作成部は、前記２次元の画像データに含まれる要素に対し属性を付与し、前記３次元の仮想空間のデータに前記属性を反映させ、
前記属性は、前記３次元の仮想空間のデータに前記要素を含めるか否かを示す、情報処理装置が提供される。

【発明の効果】

【0007】

１つの側面では、本発明によれば、２次元の画像に基づいて仮想空間画像を描画することができる。

【図面の簡単な説明】

【0008】

【図1】本実施例の情報処理装置を含む情報処理システムの構成を示す図である。

【図2】フォトグラメトリを適用する際のカメラの位置を説明する図である。

【図2A】フォトグラメトリを適用する際のカメラの位置を説明する図である。

【図3】３次元の仮想空間内に描画されるキャラクタ等の画面を例示する図である。

【図4】キャラクタの移動に合わせて、仮想カメラの位置が切り替わる様子を示す図である。

【図5】３６０度のパノラマ写真を例示する図である。

【図6】衣料品販売店の店内を仮想空間として描画した例を示す図である。

【図6A】衣料品販売店の店内を仮想空間として描画した例を示す図である。

【図6B】衣料品販売店の店内を仮想空間として描画した例を示す図である。

【図7】街中を仮想空間として描画した例を示す図である。

【図7A】街中を仮想空間として描画した例を示す図である。

【図8】撮影した映像から人影（人物）を削除した３Ｄモデルを生成する例を示す図である。

【図8A】撮影した映像から人影（人物）を削除した３Ｄモデルを生成する例を示す図である。

【図8B】撮影した映像から人影（人物）を削除した３Ｄモデルを生成する例を示す図である。

【図8C】撮影した映像から人影（人物）を削除した３Ｄモデルを生成する例を示す図である。

【図9】アバターの足跡を表現した例を示す図である。

【発明を実施するための形態】

【0009】

以下、添付図面を参照しながら実施例について詳細に説明する。

【0010】

（情報処理装置の構成例）
図１は、本実施例の情報処理装置を含む情報処理システムの構成を示す図である。

【0011】

本発明の情報処理システムは、撮像対象物又は風景を捕捉した写真、動画等の２次元の画像データに基づいて、仮想カメラから視た仮想空間画像を描画することを特徴としている。実際に存在する撮像対象物又は風景を仮想空間画像として描画することにより、仮想空間画像を様々な態様で利用することが可能となる。

【0012】

図１に示すように、情報処理装置１０は、撮像対象物又は風景を捕捉した２次元の画像データを取得する取得部１１と、２次元の画像データに基づいて撮像対象物又は風景を含む３次元の仮想空間のデータを作成するデータ作成部１２と、３次元の仮想空間のデータに基づいて、仮想カメラから視た仮想空間画像を描画する描画処理部１３と、カメラ２０により撮影された画像や、取得部１１、データ作成部１２及び描画処理部１３で取り扱われる処理中の画像データ等を記憶する画像データ格納部１４と、を備える。カメラ２０により撮影された写真（２次元画像）または動画は、適時、画像データ格納部１４に記憶される。また、取得部１１、データ作成部１２及び描画処理部１３で取り扱われる処理中の画像データ等は、適時、画像データ格納部１４に記憶されるとともに、適時、取得部１１、データ作成部１２及び描画処理部１３で利用される。

【0013】

情報処理装置１０のハードウェア構成は任意である。例えば、情報処理装置１０は、１つ又は複数の携帯端末、１つ又は複数のコンピュータにより構成することができ、１つ又は複数の携帯端末と、１つ又は複数のコンピュータとを組み合わせて構成することもできる。情報処理装置１０の一部を、携帯端末、あるいは、他のコンピュータに接続可能な１つ又は複数のサーバ（コンピュータ）により構成してもよい。画像データ格納部１４は、携帯端末に設けられる記憶媒体、サーバを含むコンピュータに設けられる記憶媒体、メモリーカードその他の外付けの記憶デバイス等を用いて構成することができる。

【0014】

取得部１１、データ作成部１２及び描画処理部１３の機能は、例えば、携帯端末やコンピュータに実装されたアプリケーションソフトウェア（プログラム）により実現することができる。

【0015】

撮像対象物又は風景を捕捉した２次元の画像データは、カメラ２０で撮像対象物又は風景を撮影することで得た画像データに基づいて作成することができる。カメラ２０は、静止画または動画による撮影を行うことできる装置であればよく、画像データには、写真等の静止画のデータ、および動画のカメラ２０としてのビデオカメラにより撮影された動画データが含まれる。取得部１１は、カメラ２０での撮影により得られた画像データを取得し、後述する各種の処理を実行することにより、データ作成部１２に受け渡すべき２次元の画像データを作成する。

【0016】

カメラ２０により撮影される撮像対象物又は風景は任意であるが、例えば、公園や店舗、観光地、テーマパークなどが含まれる。３次元の仮想空間内の撮像対象物又は風景を様々な角度から撮影することにより、３次元の仮想空間のリアリティを高めることができる。とくに、後述するようにフォトグラメトリや他の方法により、３次元の仮想空間にある物体の３次元形状を再現するためには、同一の物体を、異なる複数の方向から撮影する必要がある。

【0017】

撮影に使用されるカメラ２０の種類は任意であるが、携帯端末に備えるカメラ、デジタル一眼カメラ、全天球カメラ（３６０度カメラ）などを使用できる。カメラ２０を正しく安定して固定するために三脚や水準器等を使用することが望ましい。

【0018】

取得部１１は、カメラ２０で撮影された映像（写真、動画など）に基づいて、２次元の画像データを生成する。取得部１１の機能は、携帯端末やコンピュータ（パソコン）に実装されたアプリケーションソフトウェアにより構築することができる。

【0019】

取得部１１は、カメラ２０での撮影により得られた画像に対し、データ作成部１２に受け渡す画像データを生成するのに必要な処理を施す。例えば、２次元の画像データに適切な階調を与えるため、撮影時には、露出量（シャッタースピード）を多段階で切り替えつつ同一の撮影位置及び撮影方向で複数回、撮影をし、露出量の異なる複数の画像データを取得してもよい。この場合、取得部１１の機能により、複数の画像データから１つの画像データ（１枚の写真に相当）を合成することにより、日陰などの暗い部位から太陽の直接光があたる明るい部位まで、広範囲の明るさに対応した階調を得ることができる。

【0020】

また、取得部１１は、２次元画像データの色調を調整する処理を実行してもよい。この場合、適切な色調を得るためにカラーチャートを用いることが望ましい。例えば、撮影に使用するカメラ２０の種類や照明光（例えば、太陽光、白熱球の光など）などの撮影状況ごとに、カラーチャートが写り込むような状態で撮影することが望ましい。これにより、取得部１１の機能によって、カメラ２０の種類や撮影状況に応じてカラーチャートの色が再現できるよう色補正が実行され、色の再現性を向上させることができる。なお、カラーチャートの全体に均一な光、例えば、直射日光があたる状態で、カラーチャートが撮影されることが望ましい。

【0021】

全天球カメラ（３６０度カメラ）を使用して得られた魚眼写真は、いわゆるパノラマ写真に変換されることにより、２次元の画像データとして使用することができる。この場合にも、アプリケーションソフトウェアの実装により、魚眼写真をパノラマ写真に変換する機能を取得部１１にもたせることができる。

【0022】

その他、取得部１１は、カメラ２０で撮影された映像（写真、動画など）や、処理中の各段階の画像に対して、色温度や色被り補正、露光量を用いた補正処理を適宜、施してもよい。このような処理は、最終的な２次元画像データの最適化を図る場合に限定されず、ユーザの作業上の便宜を考慮して実行されてもよい。

【0023】

データ作成部１２は、取得部１１により取得された２次元の画像データに基づいて、撮像対象物又は風景を含む３次元の仮想空間のデータを作成する。

【0024】

例えば、データ作成部１２は、全天球カメラ（３６０度カメラ）を使用して得られたパノラマ写真を、カメラ２０の撮影位置と同じ仮想カメラの位置に対応づける処理を実行する。すなわち、本実施例において、３次元の仮想空間のデータは、後述するフォトグラメトリなどを用いて作成される、いわゆる３次元モデルに限定されない。本開示において、「３次元の仮想空間のデータ」は、カメラ２０の位置に対応付けられた、実質的に２次元の画像データを含む概念として用いられる。この場合、仮想カメラの位置をカメラ２０の位置と一致させるという条件の下で、描画処理部１３は、正しい仮想空間画像を描画することができる。この手法によれば、画像データのデータ量を抑制しつつ効率的に仮想空間画像を描画することが可能となる。

【0025】

この手法において、仮想カメラの位置を切り替える際の描画の連続性を確保するためには、カメラ２０の撮影位置の間隔を適切に保つ必要がある。カメラ２０の撮影位置の間隔が広すぎると、仮想カメラの位置の切り替え時に視点の移動の連続性の認識が困難となるおそれがある。

【0026】

なお、この手法は、全天球カメラ（３６０度カメラ）の使用を前提とせず、例えば、カメラ２０により、ある程度、広角での撮影が可能であれば、有効に利用できる。

【0027】

また、データ作成部１２は、取得部１１により取得された２次元の画像データに基づいて撮像対象物又は風景を含む３次元の仮想空間のデータを作成することができる。具体的には、データ作成部１２は、例えば、フォトグラメトリを用いて、被写体が共通する複数の２次元の画像データから、当該被写体の３次元モデルを作成する。これにより、例えば、地面の形状（地形）や建物の形状を示す３次元モデルが得られる。フォトグラメトリは、アプリケーションソフトウェアの実装により実行可能となる。例えば、景観を３次元モデルとして作成した場合、物体や移動体が構造物の裏などに回り込んだときに、構造物によって物体や移動体を正しく遮蔽させることができる。

【0028】

ところで、フォトグラメトリにより、撮影対象物の２次元の画像から撮像対象物の３次元モデルを取得するためには、原理的に、同じ撮像対象物を異なる角度で撮影した複数の画像が必要となる。

【0029】

図２及び図２Ａは、フォトグラメトリを適用する際のカメラの位置を説明する図である。

【0030】

フォトグラメトリでは、例えば、連続して撮影された前後の写真から同じ形状を認識し、その同じ形状の部位の移動量に基づいて撮影時のカメラ２０の位置及び姿勢を逆算するとともに、そのカメラ２０の位置からの２次元画像に基づいて３次元モデルを作り出している。したがって、同じ撮影範囲を異なるカメラ２０の位置から撮影して得た２つ以上の画像、すなわち、視差をもった２つ以上の画像が必要となる。図２に示すように、ショットごとにカメラ２０の位置をずらすことにより視差が生まれるため、２次元写真を３次元化することが可能となる。これに対し、図２Ａに示すように、ショットごとにカメラ２０の撮影角度が異なっていても、同一の位置から撮影した場合には、視差が生まれず、３次元モデルを作成することができなくなる。

【0031】

広い範囲でフォトグラメトリを適用する場合には、異なるカメラ位置から撮影範囲が重なるような撮影条件において、順次、撮影した多数の画像が必要となる。この場合、前後の画像間、又は指定された画像間において、途切れることなく撮影範囲に充分な重なり合いが確保されることにより、フォトグラメトリによる３次元モデルの構築が可能となる。前後の画像間で撮影されている対象が大きく異なっていると、共通の形状の認識に失敗し、フォトグラメトリによる処理ができなくなる。

【0032】

一般的に、フォトグラメトリにより３次元モデルを作成する場合には、多くの回数の写真撮影が必要となるものの、広い範囲を３次元モデルとして構築することが可能である。また、撮影条件次第では、離れている場所や高所にも対応できるとともに、細かな造形にも対応できる。したがって、屋外や広い会場（体育館やコンサートホールなど）内など、遠くまで見渡せてしまうような場所や、広い移動範囲を確保したい場合、あるいは細部の３次元モデルが必要な場合などには、フォトグラメトリが適している。また、森の中の木漏れ日の表現のように、高い木の茂みの部分まで３次元モデルが必要なときや、視点の切り替え時に、遠くまでの景色の立体感が欲しいときにも、フォトグラメトリが適している。

【0033】

一方、フォトグラメトリのデメリットとして、撮影に時間がかかり、３次元モデルを生成する手順も多くなりがちである点、暗い場所での撮影が難しく３次元モデルの生成に失敗しやすい点がある。さらに、フォトグラメトリのデメリットとして、無地の白い壁などの面を認識するための特徴点が少ないものは３次元モデルの生成が難しい点、生成された３次元モデルが実スケールを反映していないため、モデルの大きさを調整する作業が必要となる点などがある。

【0034】

フォトグラメトリに代えて、３次元スキャンアプリを実装したカメラ付きの携帯端末等を用いて、３次元モデルの作成を行うこともできる。この場合、取得部１１は、フォトグラメトリの処理に代えて、赤外線などのスキャニングに基づいて、撮像対象物の３次元モデルを生成する。この場合も、例えば、カメラ付き携帯端末や、カメラでの撮影画像を取得するコンピュータ等に、所定のアプリケーションソフトウェアを実装することにより、３次元モデルを生成するための処理が可能となる。赤外線による撮影を行うことにより、フォトグラメトリでは対応が難しい暗い場所や無地の白い壁等もスキャンが可能となり、これらの対象についても３次元モデルを取得できる。３次元スキャンアプリを用いる場合の他のメリットとして、フォトグラメトリによる場合ほど撮影に時間がかからず手軽に３次元モデルを獲得できること、フォトグラメトリと異なり、３次元モデルの大きさが実スケールに一致しているため、あらためて大きさを調整する必要がないことなどがある。一方、３次元スキャンアプリを用いる場合のデメリットとして、暗い部分の物体の形状を認識しづらい点、細かい形状や薄い物体の形状を認識しづらい点、離れた場所や高い場所が撮影できない点などがある。

【0035】

３次元スキャンアプリにより３次元モデルを生成する方法は、撮影の省力化を図りたい場合のほか、遠くや高い場所のモデルが必要とならない、室内や、小さな公園や庭園などの地形モデルの生成に適している。なお、フォトグラメトリにより生成された３次元モデルを実スケールに合わせるためのガイドとして、３次元スキャンアプリにより生成された３次元モデルを使用できる。この場合、撮影対象の一部のみに３次元スキャンアプリを適用した場合でも、当該３次元モデルを有効なガイドとして利用できる。

【0036】

また、データ作成部１２は、現地のライティング（照明、射光状況）状態を安定的に再現するようなライティングを３次元モデルに施し、あるいは３次元モデルの影を演出することができる。

【0037】

また、データ作成部１２は、２次元の画像データに含まれる各要素に対し属性を付与し、各要素に付与された属性を反映させた上で、３次元の仮想空間のデータを作成する。例えば、属性は、３次元の仮想空間のデータに当該要素を含めるか否かを示すものであってもよい。

【0038】

この場合、例えば、２次元の画像データに人物が含まれているときに、データ作成部１２は、画像認識（データ解析）により人物の領域を抽出し、２次元の画像データから当該領域を削除する。一般的に、だれもが利用可能な公共的な場所、例えば、空港や道路、公園などでは、人物が映り（写り）込まないような２次元の画像データを撮影により得ることは困難である。しかし、本実施例によれば、データ作成部１２において人物のような不要な要素を除去できるため、例えば、後述するアバター等の移動体が自由に移動可能な３次元の仮想空間のデータを獲得できる。３次元の仮想空間のデータから排除される要素は任意であり、人物に限られない。例えば、車両等の移動体や排除すべき情報（例えば、広告や個人情報）に係るものなどを挙げることができる。

【0039】

２次元の画像データから削除される要素の背後に隠れる領域を、当該２次元の画像データに基づいて、３次元の仮想空間のデータに反映することは不可能である。しかし、この場合、当該領域は、異なる時刻に同じ位置から撮影された写真や動画（２次元の画像データ）により補う（画像を埋め込む）ことができる。または、同時または異なる時刻に、異なる角度から撮影された写真や動画（２次元の画像データ）に基づいて、当該領域を描画するための３次元の仮想空間のデータを作成（画像を埋め込む）することができる。例えば、人物の削除に伴い、人物が重なる部分である建物の一部が除去された場合、その建物の当該部分の画像を埋め込むことができる。

【0040】

また、データ作成部１２により、２次元の画像データに含まれる要素に対し付与される属性として、３次元の仮想空間における移動体の移動範囲の制限に係る属性を含めることができる。

【0041】

例えば、データ作成部１２は、２次元の画像データに含まれる要素が、アバターが通れない壁など、アバターとの間で３次元の仮想空間を共有し得ない障害物であることを示す属性を当該要素に付与する。この場合、３次元の仮想空間においてアバターが障害物を通り抜けたり、障害物と重なり合うことが禁止される。

【0042】

また、データ作成部１２により、２次元の画像データに含まれる要素に対し付与される属性として、３次元の仮想空間における移動体の位置に応じて、３次元の仮想空間において移動体が要素の背後に隠れる（マスクされる）かどうかを示す属性を含めることができる。

【0043】

例えば、アバターが背後に隠れることを示す属性が付与される要素として、柱やガードレールなどの物体などが例示できる。この場合、３次元の仮想空間においてアバターの手前にある場合に、アバターが当該物体の背後に隠れる性質のものである点、および当該物体の位置（３次元の仮想空間内における座標）が、属性として当該物体に付与される。

【0044】

描画処理部１３は、データ作成部１２により作成された３次元の仮想空間のデータに基づいて、仮想カメラから視た仮想空間画像を描画する。

【0045】

仮想カメラの位置は、取得部１１により取得された２次元の画像データに対応する撮像対象物又は風景を捕捉したカメラ２０の位置を含むことができる。仮想カメラの位置がカメラ２０の位置に一致する場合、描画処理部１３は、カメラ２０により捕捉された撮像対象物又は風景に対応する仮想空間画像を描画することができる。例えば、描画処理部１３は、全天球カメラ（３６０度カメラ）での撮影に基づくパノラマ写真、あるいは比較的広角の写真を用いて、仮想カメラから視た仮想空間画像を描画する。この場合、仮想カメラの位置を全天球カメラ（３６０度カメラ）等のカメラ２０の位置と一致させることにより、パノラマ写真を直接的かつ有効に仮想空間画像に用いることができる。

【0046】

また、３次元モデルが得られていれば、仮想カメラの位置を、撮像対象物又は風景を捕捉したカメラ２０に一致しない位置に設置できる。この場合、描画処理部１３は、データ作成部１２により作成された３次元の仮想空間のデータに基づいて仮想空間画像を算出し、描画することができる。例えば、描画処理部１３は、フォトグラメトリにより得られた、あるいは他の方法により得られた３次元モデルを用いて仮想空間画像を描画する。この場合、描画処理部１３は、３次元モデルに基づいて、任意の位置にある仮想カメラからの仮想空間画像を作成することができる。すなわち、仮想カメラの位置は、カメラ２０の撮影位置に限定されない。仮想カメラの位置及び角度は、例えばユーザの操作に従って制御することができ、ユーザは任意の仮想カメラの位置から視た仮想空間を体験することができる。

【0047】

さらに、描画処理部１３は、３次元モデルとして作成された物体や、キャラクタ等の移動体を、仮想空間内に配置し、あるいは仮想空間内で移動させることができる。

【0048】

描画処理部１３により描画される仮想空間画像の景観は、データ作成部１２により作成された３次元モデルに基づいており、物体や移動体の位置も同一の３次元座標により管理される。このため、仮想カメラの座標を基準として、物体や移動体が景観に対して手前側にいるか、あるいは背後側にいるかを把握することができ、仮想空間画像に反映される。例えば、物体や移動体が景観よりも手前側に位置する画像領域では、景観が物体や移動体の画像によりマスクされる。逆に、景観が物体や移動体よりも手前側にある画像領域では、物体や移動体が景観の画像によりマスクされる。移動体が景観に対して背後側に位置した場合に、当該景観によりマスクされるかどうかは、データ作成部１２によって２次元の画像データに含まれる要素としての当該物体に対し付与される、上記の属性により規定される。

【0049】

また、描画処理部１３は、２次元の画像データに含まれる各要素に対し属性を付与し、この属性を仮想空間画像に反映させるという一連の処理の全部または一部を実行することができる。例えば、これらの一連の処理は、上記のようにデータ作成部１２により行われてもよく、描画処理部１３により行われてもよい。後者の場合、描画処理部１３は、人物等の除去（削除）の対象となる対象物を画像認識により抽出し（属性を付与し）、抽出された対象物を除去した３次元の仮想空間のデータを作成する。また、描画処理部１３は、対象物を除去した後の領域（除去領域）に所定の描画データを埋め込む処理を実行する。これにより、例えば、人物の除去に伴い、人物が重なる部分である建物の一部が除去された場合、その建物の該当部分の画像を埋め込むことができる。上記の一連の処理の一部がデータ作成部１２により行われ、残りの処理が描画処理部１３により行われてもよい。

【0050】

描画処理部１３により描画される仮想空間画像は、様々な用途に使用することができる。

【0051】

例えば、オンライン上に構築された仮想空間にアクセスしたユーザが、移動体に相当する自らのアバター（分身）を仮想空間に参加させることができる。また、例えば、３６０度の視界が用意された仮想空間内でアバターを自由に移動させることにより、実在する公園、観光地などを疑似体験することができる。この場合、描画処理部１３は、背景（２次元の画像データとして捕捉された撮像対象物又は風景）と、アバターとを重ね合わせて描画することにより、アバターが仮想空間内を移動する様子を仮想空間画像として描画することができる。描画処理部１３は、アバターが仮想空間画像内に写り込むように、アバターの位置に応じて、逐次、仮想カメラの位置及び撮影方向を選択することができる。

【0052】

複数のアバターが共通の仮想空間に参加する場合、仮想空間に参加したアバターを介して、ユーザどうしが交流することができる。この場合、実在する場所にいるユーザどうしならではの交流を図ることができる。

【0053】

また、仮想空間を様々な経済活動に利用することもできる。例えば、店舗の仮想空間において、商品を購入可能としてもよい。この場合、ユーザは、単に目的の商品を購入するだけでなく、実際の店舗での買い物をするような体験をすることができる。

【0054】

また、仮想空間を広告に利用することもできる。例えば、商品（役務を含む）をあたかも生きているような存在であるアバターとして表現し、ユーザの分身であるアバターと交流することができる。これにより、例えば、商品を代表するアバターとユーザとが共通の体験を通して友達になるような感覚をユーザに与えることができ、広告の効果を高めることができる。

【0055】

旅行先の町や施設を仮想空間として構築することにより、ユーザに対して旅を疑似体験させることもできる。仮想カメラの位置及び方向をユーザが操作可能とすることにより、ユーザは旅行先の町や施設の風景等を疑似体験することができる。あるいは、アバターに扮したユーザが、旅行先の町や施設を自由に歩き回るような疑似体験をすることができる。このような疑似体験は、例えば、ユーザの旅行に対する関心を高めることができるので、旅行会社等の広告として有効に機能する。

【0056】

次に、全天球カメラ（３６０度カメラ）による撮影画像を用いて公園の景観を作成した例を示す。この例では、３次元モデルである動くキャラクタをユーザが操作することにより、ユーザに対し、実在する公園内を散策しているかのような体験を与えることができる。

【0057】

図３は、３次元の仮想空間内に描画されるキャラクタ等の画面を例示する図であり、図４は、キャラクタの移動に合わせて、仮想カメラの位置が切り替わる様子を示す図である。図４では、それぞれ仮想カメラの位置が異なる５枚のキャプチャー画面を示している。また、図５は、３６０度のパノラマ写真を例示する図である。

【0058】

この例では、公園を全天球カメラ（３６０度カメラ）により撮影することで公園の景観が作成され、景観に重ねて、公園内を移動するキャラクタ１０１が描画されている。公園の景観は、後述する地面の３次元モデルに投影されており、キャラクタ１０１も地面の３次元モデル上を移動する。キャラクタ１０１は、ゲームにおけるキャラクタに対する操作と同様、ゲームパッドなどにより操作される。

【0059】

まず、景観は全天球カメラ（３６０度カメラ）により複数のカメラ位置において撮影され、図５に示すようなパノラマ写真に変換される。

【0060】

ゲーム中の３次元の仮想間内における仮想カメラの位置は、全天球カメラ（３６０度カメラ）によるカメラ位置に固定される。すなわち、仮想カメラの位置は、撮影時における全天球カメラ（３６０度カメラ）の複数のカメラ位置の中から、順次、選択されるが、選択された仮想カメラの各位置からは、景観を３６０度自由に見渡すことができる。視点（仮想カメラの位置）の切り替え時には、視点からの景観をクロスフェードする、すなわち、切り替え前の景観から切り替え後の景観に滑らかに変化させることで、視点を滑らかに移動できる。なお、図３におけるマーク１０２Ａ及びマーク１０２Ｂ及び図４におけるマーク１０２は、地面に投影された視点の位置を示している。

【0061】

また、景観のパノラマ写真（図５）は、現地のライティングを再現するために使用するイメージベーストライティング（ＩＢＬ）用の画像としても利用することができる。

【0062】

図３に示すように、キャラクタ１０１には、現地のライティング状態を安定的に再現するようなライティングが施され、キャラクタ１０１と景観とをなじませることができる。ライティングとして、イメージベーストライティング（ＩＢＬ）と、ディレクショナルライトを設定でき、視点の切り替えに合わせて、ライティングを滑らかに変化させることができる。また、専用のシャドウマップを適用することにより、景観に余計な陰影が付くことを回避できる。図３に示すキャラクタ１０１の影１０１ａは、太陽光の影などに対応しており、影１０１ａは３次元の地形モデルに基づいて、地形に合わせて地面に投影できる。なお、イメージベーストライティング（ＩＢＬ）は、屋外だけでなく、室内のライティングにも適用される。

【0063】

３次元の仮想空間内における３次元の地形モデルは、例えば、３次元スキャンアプリを実装したカメラ付きの携帯端末等を用いて作成することができる。この方法によれば、フォトグラメトリによる場合と比較して、撮影が手軽にでき、３次元モデル化するための作業負担も軽減できるというメリットがある。

【0064】

生成された３次元の地形モデルは、パノラマ写真に基づく景観を投影する対象として利用される。キャラクタ１０１は、この地形モデルに投影された地面の起伏に沿って歩いたり、走ったりすることができる。

【0065】

また、３次元の仮想空間内における３次元の地形モデルは、例えば、全天球カメラ（３６０度カメラ）と異なる別のカメラで撮影された地形の画像に基づいて、フォトグラメトリにより生成することができる。フォトグラメトリを適用する場合には、撮影や３次元化の処理に時間や手間がかかるが、精密な３次元モデルを得たい場合等には好適である。

【0066】

また、所定のアプリを利用することにより、景観が撮影された上記のパノラマ写真を利用して３次元の地形モデルを生成することもできる。この場合、カメラ位置を基準とした地形の復元が可能である。ただし、正確な地形モデルを得るためには、撮影ポイント（カメラ位置）を増やすことが必要となり、作業負担が増大する。

【0067】

生成された３次元の地形モデルは、例えば、キャラクタ１０１の動きや足音を演出するためのコリジョンモデルとして利用することもできる。コリジョンモデルを地形モデルとは別に用意し、物理モデルで足音などを付けるようにしてもよい。また、キャラクタ１０１が踏んだ領域を地形モデルにおける変形量（窪みの深さ）に反映させることにより、キャラクタ１０１の足跡や雪上の軌跡、移動体としての車両の轍などを描画することもできる。

【0068】

キャラクタ１０１に加えて、フォトグラメトリにより生成された３次元モデルを、仮想空間内に配置することもできる。例えば、図３における物体１０３を仮想空間内に配置する場合には、物体１０３の３次元モデルをフォトグラメトリ等により生成し、仮想空間内における設置位置と設置方向を指定すればよい。物体１０３が移動体であれば、ユーザによって、物体１０３の位置や向きを制御可能としてもよい。物体１０３に対するライティングや影は、キャラクタ１０１に対するライティングや影と同様の方法を適用して再現される。例えば、図３において、物体１０３に対するライティングにおいてキャラクタ１０１の影１０１ｂが物体１０３に投影されることになり、物体１０３の影１０３ａが地面に投影される。

【0069】

また、図３に示すように、キャラクタ１０１よりも手前側にある物体１０４により、キャラクタ１０１の一部がマスクされるように描画される。この場合、２次元の画像データに含まれる要素である物体１０４に上記の属性（キャラクタ１０１が物体１０４の背後に隠れるという性質）が付与され、３次元モデルに反映されている。

【0070】

図６～図６Ｂは、衣料品販売店の店内を仮想空間として描画した例を示す図である。この例では、取得部１１及びデータ作成部１２の機能により、カメラ２０で撮影された店内の写真に基づいて３次元モデルを作成し、描画処理部１３が、この３次元モデルに基づいて店内の様子を仮想空間として描画している。

【0071】

図６～図６Ｂに示すように、移動体であるアバター２０１（ユーザの分身）は、ユーザの操作に従って自由に店内を移動することができる。また、図６Ｂに示すように、アバター２０１に加え、店員や他の客も移動体２０２ａ～２０２ｃとして表現されている。

【0072】

また、購入したい商品を見つけたユーザは、仮想空間内で当該商品を購入できる。例えば、図６Ａにおける商品２０３ａや商品２０３ｂをユーザが選択すると、それぞれの商品に対応する表示枠２０４ａ及び表示枠２０４ｂが描画される。ユーザはこれらの表示枠２０４ａ、２０４ｂへの操作によって、対応する商品を購入することができる。仮想空間は、実際の店内を再現するだけでなく、店内に置かれた商品も再現されるため、ユーザはリアルな店内の様子を体験できる。

【0073】

このように、ユーザは、アバター２０１として店内を自由に歩きつつ、商品を探すことができる。ユーザは、仮想空間にアクセスすることにより、商品を購入できるだけでなく、例えば、ユーザの自宅から離れた店舗など、実際には行くことができないような場所での買い物も、手軽に体験することができる。

【0074】

図７～図７Ａは、街中を仮想空間として描画した例を示す図である。この例では、取得部１１及びデータ作成部１２の機能により、カメラで撮影された街中の写真に基づいて３次元モデルを作成し、描画処理部１３が、この３次元モデルに基づいて街中の様子を仮想空間として描画している。

【0075】

図７～図７Ａに示すように、移動体であるアバター３０１（ユーザの分身）は、ユーザの操作に従って自由に街中を移動することができる。アバター３０１に加え、他の通行人も移動体３０２などとして表現されている。

【0076】

また、図７～図７Ａの例では、画面に写り込んだ表示要素、例えば、建物や、施設などに対応付けてタグ３０５が付される。このタグ３０５は、当該表示要素を説明する情報を示しており、画面に写り込む商業施設の名称を含んでいる。このようなタグ３０５は、例えば、カメラ２０で撮影された写真、すなわち取得部１１により取得される写真に写る表示要素に対し、人工知能を用いた画像認識により自動的に付されたものである。タグ３０５は、取得部１１により表示要素に対応付けられて取得され、当該表示要素に対応付けられて画像データ格納部１４に格納される。描画処理部１３は、当該表示要素が描画される場合には、画像データ格納部１４から当該表示要素に対応付けられたタグ３０５を取得し、当該表示要素の表示位置に合わせて、タグ３０５を表示する。図７～図７Ａの例では、タグ３０５は、画面上の当該商業施設の所定箇所の位置に合わせて移動し、当該所定箇所が画面から外れると、タグ３０５の表示も画面から消去されるように制御される。

【0077】

図７～図７Ａの例では、街中を仮想空間として描画した例を示しているが、例えば、観光地や各種施設、テーマパークなど、実在するスポットを広く仮想空間として描画することができる。ユーザは、仮想空間にアクセスするだけで、手軽に、実在するスポットを自由に歩き回る体験をすることができる。

【0078】

図８～図８Ｃは、撮影した映像から人影（人物）を削除した３Ｄモデルを生成する例を示す図である。

【0079】

図８は、撮影した元の映像を示している。この例では、観光地を撮影しており、多数の人影が写り込んでいる。このような映像に対応する２次元の画像データの要素である人影には、３次元の仮想空間のデータから排除される要素である旨を示す属性が付与されている。

【0080】

この場合、図８Ａに示すように、データ作成部１２は、画像認識（データ解析）により図８に示す映像から人影の領域４０１を抽出する。そして、データ作成部１２は、領域４０１の抽出結果に基づいて、映像（図８）から領域４０１を削除することにより、図８Ｂの映像に対応する３Ｄモデルを生成する。

【0081】

図８Ｃに示すように、この３Ｄモデル内において、キャラクタ４０２が移動可能とされる。例えば、キャラクタ４０２は、描画処理部１３により描画される図８Ｃの映像を視るユーザの操作に従って、ユーザのアバターとして自由に移動する。このように、本実施例によれば、映像から不要な人影などを排除した３Ｄモデルを生成できるため、キャラクタ４０２のようなユーザのアバターを自由に移動させることができる仮想空間を、ユーザに対し提供することが可能となる。

【0082】

図９は、アバターの足跡を表現した例を示す図である。図９に示す例では、描画処理部１３により描画される砂浜に、アバター５０１の足跡５０２が表現されている。上記のように、アバター５０１が踏んだ領域を地形モデルにおける変形量（窪みの深さ）に反映させることにより、アバター５０１の足跡が描画される。

【0083】

上記実施例では、実在する風景等に基づいて仮想空間を作成する例を示したが、例えば、３次元ＣＧによって作られている、いわゆるＣＧ映画、ＣＧアニメ、ＣＧゲームの舞台を仮想空間に置き換えることにより、その映画やアニメ、ゲームの世界を体験することもできる。

【0084】

また、仮想空間を生み出す本発明の技術を、一般人が扱えるように簡便化するとともに、撮影した写真データを仮想空間データとしてアップロードできるスキームを構築することができる。これにより、多くの人が本発明の技術を手軽に利用することが可能となり、例えば、地方に住む学生による故郷の風景のメタバース空間化など、地方創生につながる活動に寄与することができる。

【0085】

以上説明したように、本実施例の情報処理装置１０によれば、２次元の画像に基づいて仮想空間画像を描画することができる。このため、仮想空間を手軽に体験することができる。例えば、実在する場所の写真に基づいて、当該場所を訪れる体験をユーザに与えることができる。また、描画処理部１３により描画される仮想空間画像は、様々な用途に使用することができ、アバター（分身）やキャラクタを介する仮想空間への参加はもちろん、経済活動や広告への利用にも適している。

【0086】

また、本実施例の情報処理装置１０によれば、仮想空間を作成するにあたり、実際の写真を使用できる。この場合には、仮想空間を写真と同等の、いわゆる高品質な３次元ＣＧデータとして作成することに比べ、大幅に作業時間および作業コストを抑えることができる。

【0087】

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した実施例の構成要素を全部又は複数を組み合わせることも可能である。
以上の実施例に関して、更に以下の付記を開示する。
［付記１］
撮像対象物又は風景を捕捉した２次元の画像データを取得する取得部と、
前記２次元の画像データに基づいて前記撮像対象物又は風景を含む３次元の仮想空間のデータを作成するデータ作成部と、
前記３次元の仮想空間のデータに基づいて、仮想カメラから視た仮想空間画像を描画する描画処理部と、を備え、
前記データ作成部は、前記２次元の画像データに含まれる要素に対し属性を付与し、前記３次元の仮想空間のデータに前記属性を反映させ、
前記属性は、前記３次元の仮想空間のデータに前記要素を含めるか否かを示す、情報処理装置。
［付記２］
前記３次元の仮想空間は、その中で前記描画処理部により描画されるアバターが移動可能な空間である、付記１に記載の情報処理装置。
［付記３］
前記描画処理部により描画される前記仮想空間画像を視るユーザによる操作に従って、前記３次元の仮想空間の中で前記アバターが移動可能とされる、付記２に記載の情報処理装置。
［付記４］
前記属性は、前記３次元の仮想空間における前記アバターの移動範囲の制限に係る、付記２または３に記載の情報処理装置。
［付記５］
前記属性は、前記３次元の仮想空間における前記アバターの位置に応じて、前記３次元の仮想空間において前記アバターが前記要素の背後に隠れるかどうかを示す、付記２または３に記載の情報処理装置。
［付記６］
前記データ作成部は、前記３次元の仮想空間のデータを、前記撮像対象物又は風景を捕捉したカメラに一致する位置に対応付けた画像のデータとして生成し、
前記描画処理部は、前記３次元の仮想空間のデータに基づいて、当該位置に配置された仮想カメラから視た仮想空間画像を描画する、付記１に記載の情報処理装置。
［付記７］
前記描画処理部は、ユーザの操作に基づいて前記仮想カメラの位置又は角度を制御する、付記１に記載の情報処理装置。
［付記８］
前記データ作成部は、物体又は移動体の３次元モデルを作成し、
前記描画処理部は、前記データ作成部で作成された前記３次元モデルを前記仮想空間画像に重ねて描画する、付記１に記載の情報処理装置。
［付記９］
前記描画処理部は、前記アバターの前記仮想空間内の位置に応じて前記仮想カメラの位置を切り替える、付記５に記載の情報処理装置。
［付記１０］
前記描画処理部は、前記２次元の画像データに含まれる表示要素に対応付けられたタグを、前記仮想空間画像内の前記表示要素に対応付けて表示する、付記１に記載の情報処理装置。
［付記１１］
前記撮像対象物又は風景は、静止した撮像対象物又は風景である、付記１に記載の情報処理装置。
［付記１２］
撮像対象物又は風景を捕捉した２次元の画像データを取得する取得ステップと、
前記２次元の画像データに基づいて前記撮像対象物又は風景を含む３次元の仮想空間のデータを作成するデータ作成ステップと、
前記３次元の仮想空間のデータに基づいて、仮想カメラから視た仮想空間画像を描画する描画処理ステップと、を備え、
前記データ作成ステップでは、前記２次元の画像データに含まれる要素に対し属性を付与し、前記３次元の仮想空間のデータに前記属性を反映させ、
前記属性は、前記３次元の仮想空間のデータに前記要素を含めるか否かを示す、情報処理方法。
［付記１３］
撮像対象物又は風景を捕捉した２次元の画像データを取得する取得ステップと、
前記２次元の画像データに基づいて前記撮像対象物又は風景を含む３次元の仮想空間のデータを作成するデータ作成ステップと、
前記３次元の仮想空間のデータに基づいて、仮想カメラから視た仮想空間画像を描画する描画処理ステップと、をコンピュータに実行させ、
前記データ作成ステップでは、前記２次元の画像データに含まれる要素に対し属性を付与し、前記３次元の仮想空間のデータに前記属性を反映させ、
前記属性は、前記３次元の仮想空間のデータに前記要素を含めるか否かを示す、プログラム。
［付記１４］
撮像対象物又は風景を捕捉した２次元の画像データを取得する取得部と、
前記２次元の画像データに基づいて前記撮像対象物又は風景を含む３次元の仮想空間のデータを作成するデータ作成部と、
前記３次元の仮想空間のデータに基づいて、仮想カメラから視た仮想空間画像を描画する描画処理部と、を備え、
前記描画処理部は、前記２次元の画像データに含まれうる所定対象物を除去した前記３次元の仮想空間のデータを作成する、情報処理装置。
［付記１５］
前記描画処理部は、前記２次元の画像データに含まれうる所定対象物を画像認識により抽出する、付記１４に記載の情報処理装置。
［付記１６］
前記描画処理部は、前記２次元の画像データに含まれうる所定対象物を除去した後に、除去領域に描画データを埋め込む、付記１４に記載の情報処理装置。

【符号の説明】

【0088】

１０ 情報処理装置
１１ 取得部
１２ データ作成部
１３ 描画処理部
１４ 画像データ格納部
２０ カメラ

【図1】

【図2】

【図2A】

【図3】

【図4】

【図5】

【図6】

【図6A】

【図6B】

【図7】

【図7A】

【図8】

【図8A】

【図8B】

【図8C】

【図9】