特許 7571233 映像生成装置、及び、コンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-10-11

(45)【発行日】2024-10-22

(54)【発明の名称】映像生成装置、及び、コンピュータプログラム

(51)【国際特許分類】

   G06T 19/00 20110101AFI20241015BHJP

   A63F 13/60 20140101ALI20241015BHJP

   A63F 13/52 20140101ALI20241015BHJP

   A63F 13/20 20140101ALI20241015BHJP

   A63F 13/90 20140101ALI20241015BHJP

【ＦＩ】

G06T19/00 A

A63F13/60

A63F13/52

A63F13/20 A

A63F13/90

【請求項の数】 13

(21)【出願番号】P 2023137373

(22)【出願日】2023-08-25

【審査請求日】2023-08-25

(73)【特許権者】

【識別番号】000135748

【氏名又は名称】株式会社バンダイ

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】清宮 僚太

【審査官】三沢 岳志

(56)【参考文献】

【文献】特開２０２３－０１８２５３（ＪＰ，Ａ）

【文献】特開２０１９－０４６２９１（ＪＰ，Ａ）

【文献】特開２０１５－０９５１４７（ＪＰ，Ａ）

【文献】特開２００８－０３３８４０（ＪＰ，Ａ）

【文献】特開２０２３－１１１６３８（ＪＰ，Ａ）

【文献】特開平１０－０５１７１１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ １９／００

Ａ６３Ｆ １３／６０

Ａ６３Ｆ １３／５２

Ａ６３Ｆ １３／２０

Ａ６３Ｆ １３／９０

(57)【特許請求の範囲】

【請求項1】

映像生成装置であって、
スキャナにより被写体の外観の画像をスキャンして生成されたスキャン画像から生成された三次元モデルデータに基づく三次元モデルを仮想空間内に配置した映像を生成する生成手段と、
前記生成手段が生成した映像を表示装置に出力する出力手段と、
前記表示装置に表示された映像の第１の観察者からの操作入力を受け付ける受付手段と、
前記受付手段が受け付けた前記操作入力の内容を判定する判定手段と、
を備え、
前記生成手段は、
前記判定手段における判定の結果に応じた前記映像を生成し、
前記判定手段が前記三次元モデルが前記仮想空間内の所定の位置に配置されたと判定した場合に、判定された配置位置に応じた異なる演出を前記映像に含め、
前記所定の位置は、前記仮想空間のうち第１の空間内の第１の位置を含み、
前記三次元モデルが前記第１の位置に配置されたことに応じて、前記生成手段は前記演出として、前記第１の空間と接続する第２の空間内に前記三次元モデルを拡大して表示する映像を生成し、
前記受付手段は、前記第１の観察者から前記仮想空間内における視点位置を移動する操作入力を受け付け、
前記判定手段が、前記第１の観察者からの前記操作入力に基づき、前記拡大して表示された前記三次元モデルの近傍に移動したと判定した場合、前記生成手段は前記演出として、前記第２の空間から前記第１の空間と前記第２の空間とは異なる第３の空間に移動する映像を生成する、映像生成装置。

【請求項2】

前記第３の空間に移動する映像は、前記第１の観察者が前記拡大して表示された前記三次元モデルに搭乗する演出の映像を含む、請求項１に記載の映像生成装置。

【請求項3】

映像生成装置であって、
スキャナにより被写体の外観の画像をスキャンして生成されたスキャン画像から生成された三次元モデルデータに基づく三次元モデルを仮想空間内に配置した映像を生成する生成手段と、
前記生成手段が生成した映像を表示装置に出力する出力手段と、
前記表示装置に表示された映像の第１の観察者からの操作入力を受け付ける受付手段と、
前記受付手段が受け付けた前記操作入力の内容を判定する判定手段と、
を備え、
前記生成手段は、
前記判定手段における判定の結果に応じた前記映像を生成し、
前記判定手段が前記三次元モデルが前記仮想空間内の所定の位置に配置されたと判定した場合に、判定された配置位置に応じた異なる演出を前記映像に含め、
前記所定の位置は、前記仮想空間のうち第１の空間内の第１の位置を含み、
前記三次元モデルが前記第１の位置に配置されたことに応じて、前記生成手段は前記演出として、前記第１の空間と接続する第２の空間内に前記三次元モデルを拡大して表示する映像を生成し、
前記受付手段は、前記第１の観察者から前記仮想空間内における視点位置を移動する操作入力を受け付け、
前記判定手段が、前記第１の観察者からの前記操作入力に基づき、前記拡大して表示された前記三次元モデルの近傍に視点位置が移動したと判定した場合、前記生成手段は前記演出として、前記第１の観察者が前記拡大して表示された前記三次元モデルに搭乗する演出の映像を生成する、映像生成装置。

【請求項4】

前記第１の空間は前記第１の観察者と関連付けられ、
前記第３の空間は前記第１の観察者とは異なる第２の観察者と関連付けられている、請求項１に記載の映像生成装置。

【請求項5】

前記拡大して表示された前記三次元モデルの近傍に到達したと移動したと判定した場合に前記判定手段は更に、前記第１の観察者からの複数の観察者のうちからいずれかの観察者を選択する操作に基づき、前記第２の観察者を決定する、請求項４に記載の映像生成装置。

【請求項6】

前記所定の位置は、前記第３の空間と接続する第４の空間における第３の位置を含み、
前記三次元モデルが前記第３の位置に配置されたことに応じて、前記生成手段は前記三次元モデルデータを利用したゲームの映像を生成する、請求項４に記載の映像生成装置。

【請求項7】

前記生成手段は、前記三次元モデルが前記第３の位置に配置されたことに応じて、前記ゲームのスタート画面の映像を生成する、請求項６に記載の映像生成装置。

【請求項8】

前記ゲームは、対戦ゲームである、請求項６に記載の映像生成装置。

【請求項9】

前記ゲームは、前記第２の観察者との対戦ゲームである、請求項６に記載の映像生成装置。

【請求項10】

前記所定の位置は、前記仮想空間のうち第４の空間内の第３の位置を更に含み、
前記第３の位置に配置されたことに応じて、前記生成手段は前記三次元モデルデータを利用したゲームの映像を更に生成する、請求項１に記載の映像生成装置。

【請求項11】

前記映像生成装置は、ヘッドマウントディスプレイであり、
前記表示装置は、前記ヘッドマウントディスプレイが有するディスプレイであり、
前記受付手段は、前記ヘッドマウントディスプレイと関連付けられたコントローラを介して前記操作入力を受け付ける、請求項１に記載の映像生成装置。

【請求項12】

前記表示装置は、前記映像生成装置と接続された外部のディスプレイであり、
前記受付手段は、前記映像生成装置に対する操作部を介して前記操作入力を受け付ける、請求項１に記載の映像生成装置。

【請求項13】

コンピュータを、請求項１から１２のいずれか１項に記載の映像生成装置として機能させるためのコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像生成装置、及び、コンピュータプログラムに関する。

【背景技術】

【0002】

特許文献１には、撮影部により対象物を複数の撮影方向から撮影した撮影画像群から生成されたテクスチャを、仮想空間におけるプリミティブにマッピングして、仮想空間において仮想カメラから見える仮想空間画像を生成する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１０７２５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記技術においては、対象物を撮影し、撮影された対象物の三次元モデルデータを用いて仮想空間上に三次元モデルを配置した映像を生成する際に、ユーザから受け付けた操作に応じた映像の生成が期待される。

【0005】

そこで、対象物を撮影し、撮影された対象物の三次元モデルデータを用いて仮想空間上に三次元モデルを配置した映像を生成する際に、ユーザから受け付けた操作に応じた映像の生成を可能とすることを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するための一形態は、映像生成装置であって、
スキャナにより被写体の外観の画像をスキャンして生成されたスキャン画像から生成された三次元モデルデータに基づく三次元モデルを仮想空間内に配置した映像を生成する生成手段と、
前記生成手段が生成した映像を表示装置に出力する出力手段と、
前記表示装置に表示された映像の第１の観察者からの操作入力を受け付ける受付手段と、
前記受付手段が受け付けた前記操作入力の内容を判定する判定手段と、
を備え、
前記生成手段は、
前記判定手段における判定の結果に応じた前記映像を生成し、
前記判定手段が前記三次元モデルが前記仮想空間内の所定の位置に配置されたと判定した場合に、判定された配置位置に応じた異なる演出を前記映像に含める。
上記課題を解決するための他の一形態は、映像生成装置であって、
スキャナにより被写体の外観の画像をスキャンして生成されたスキャン画像から生成された三次元モデルデータに基づく三次元モデルを仮想空間内に配置した映像を生成する生成手段と、
前記生成手段が生成した映像を表示装置に出力する出力手段と、
前記表示装置に表示された映像の第１の観察者からの操作入力を受け付ける受付手段と、
前記受付手段が受け付けた前記操作入力の内容を判定する判定手段と、
を備え、
前記生成手段は、
前記判定手段における判定の結果に応じた前記映像を生成し、
前記判定手段が前記三次元モデルが前記仮想空間内の所定の位置に配置されたと判定した場合に、判定された配置位置に応じた異なる演出を前記映像に含め、 前記所定の位置は、前記仮想空間のうち第１の空間内の第１の位置を含み、
前記三次元モデルが前記第１の位置に配置されたことに応じて、前記生成手段は前記演出として、前記第１の空間と接続する第２の空間内に前記三次元モデルを拡大して表示する映像を生成し、
前記受付手段は、前記第１の観察者から前記仮想空間内における視点位置を移動する操作入力を受け付け、
前記判定手段が、前記第１の観察者からの前記操作入力に基づき、前記拡大して表示された前記三次元モデルの近傍に移動したと判定した場合、前記生成手段は前記演出として、前記第２の空間から前記第１の空間と前記第２の空間とは異なる第３の空間に移動する映像を生成する。

【発明の効果】

【0007】

対象物を撮影し、撮影された対象物の三次元モデルデータを用いて仮想空間上に三次元モデルを配置した映像を生成する際に、ユーザから受け付けた操作に応じた映像の生成を可能とすることができる。

【図面の簡単な説明】

【0008】

【図1】実施形態に対応する画像処理システムの構成例を示す図。

【図2】実施形態に対応する人形型模型の外観の一例を示す図。

【図3】実施形態に対応する情報処理装置１００のハードウェア構成の一例、及び、ヘッドセット１５０のハードウェア構成の一例を示す図。

【図4】実施形態に対応する画像処理システムの実装の一例を示す図。

【図5】実施形態に対応する画像処理システム１０における処理の一例に対応するフローチャート。

【図6】実施形態に対応する映像表示処理の一例に対応するフローチャート。

【図7】実施形態に対応するメニュー画面の一例を示す図、及び、実施形態に対応する仮想空間のノード構成の一例を示す図。

【図8】実施形態に対応する受け付けた操作に応じた映像表示処理の一例を示すフローチャート。

【図9A】実施形態に対応するマイルームにおける画面表示の一例を示す図。

【図9B】実施形態に対応するマイルームにおける画面表示の一例を示す図。

【図9C】実施形態に対応するマイルームにおける画面表示の一例を示す図。

【図9D】実施形態に対応するマイルームにおける画面表示の一例を示す図。

【図10A】実施形態に対応するバトルルームにおける画面表示の一例を示す図。

【図10B】実施形態に対応するバトルルームにおける画面表示の一例を示す図。

【図10C】実施形態に対応するバトルルームにおける画面表示の一例を示す図。

【図10D】実施形態に対応するバトルルームにおける画面表示の一例を示す図。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。また、各図において、紙面に対する上下左右表裏方向を、本実施形態における部品（またはパーツ）の上下左右表裏方向として、本文中の説明の際に用いることとする。

【0010】

まず、本実施形態に対応する画像処理システムの構成を説明する。図１は、本実施形態に対応する画像処理システム１０の構成の一例を示す図である。画像処理システム１０は、情報処理装置１００に、スキャナ１１０、サポートアーム１２０、模型支持装置１３０、表示装置１４０、ヘッドセット１５０等が接続されて構成されている。なお、システム構成は、図１に示すものに限られず、情報処理装置１００がネットワークを介して外部サーバ、クラウドサーバ等と更に接続されていてもよい。当該外部サーバ等では、以下で説明する実施形態の少なくとも一部の処理を実行することができる。

【0011】

情報処理装置１００は、スキャナ１１０、サポートアーム１２０及び模型支持装置１３０の少なくともいずれかの動作を制御し、撮影対象の物品を任意の角度から撮影して複数の画像を生成し、当該複数の画像から三次元モデルデータ（本データ）を生成する。撮影対象の物品が複数の構成物品に分離可能な構成となっている場合は、構成物品毎に撮影を行って三次元モデルデータを生成し、それらを統合することで対象物品の三次元モデルデータを生成してもよい。

【0012】

情報処理装置１００は、生成した三次元モデルデータを仮想空間用データとして用いることで、仮想空間上に表示される映像の生成を行う映像生成装置としても機能することができる。本実施形態において、撮影対象の被写体は、組立可能なプラスチックモデル、アクションフィギュア（可動式の関節部を備えたフィギュア）、玩具体、人形等の物品であり、これらを総称して以下では「模型」という。

【0013】

次にスキャナ１１０は、情報処理装置１００の制御に従って、撮影対象の模型の三次元形状を撮影（スキャン）して、撮像対象の三次元形状及び色情報を出力する三次元スキャナ装置である。本実施形態においては、スキャナ１１０から出力されるスキャン信号を総称して「スキャン画像」と呼ぶ。スキャナ１１０には、例えばArtec社製のSpace Spiderを使用することができる。本実施形態においては、例えば、スキャン画像を５００フレームから８００フレーム程度を取得することで、玩具体全体の３Ｄスキャンデータを取得することができる。また、スキャナ１１０として、例えば三次元形状を撮影するためのアプリケーションがインストールされたカメラ付きスマートフォンを利用してもよい。

【0014】

サポートアーム１２０は、情報処理装置１００の制御に従ってスキャナ１１０を所定の撮影位置及び姿勢に移動させる位置姿勢制御装置である。サポートアーム１２０は、撮影位置や姿勢を手動で変更することが可能であると共に、変更後の位置・姿勢を固定的に維持可能に構成されるものであってもよいし、情報処理装置１００により制御可能に構成されていてもよい。サポートアーム１２０を情報処理装置１００により制御可能に構成する場合、例えばUFACTORY社製のxArm 7を使用することができる。xArm７は７つのジョイントからなり、人間の腕と同様の動きができる。なお、サポートアーム１２０の代わりに、手動でスキャナ１１０の位置決めをしてもよい。また、サポートアーム１２０でカバーしきれない撮影位置及び姿勢については、スキャナ１１０を手動で操作してスキャンを行ってもよい。

【0015】

模型支持装置１３０は、ポーズの固定された模型を支持する支持台である。模型支持装置１３０は、例えば、模型が支持台上に設置、或いは、支持棒の先端に設置された状態において回転可能に構成されていてもよい。本実施形態では、サポートアーム１２０により任意の撮影位置・撮影角度にスキャナ１１０を位置させた後、模型支持装置１３０を１周回転させて撮影を行う。これを複数の撮影位置・撮影角度において行うことにより、模型全体の画像を取得することができる。なお、ここでサポートアーム１２０と模型支持装置１３０とを同期して駆動させることで、撮影処理をより簡便に精度高く行うことができる。また、模型支持装置１３０の代わりに、手動でスキャナ１１０を模型の周囲を移動させて、任意の撮影位置・撮影角度位からスキャンしてもよい。

【0016】

表示装置１４０は、液晶ディスプレイ（ＬＣＤ）等のディスプレイ装置であって、情報処理装置１００における処理結果を表示することができる。具体的には、スキャナ１１０で取得した画像を表示したり、当該撮影画像から生成された三次元モデルデータの本データを表示したり、本データを使って再構成した映像（ＶＲ映像）を表示したりすることができる。表示装置１４０は、表示映像の観察者であるユーザからの操作を受け付ける操作部１４０Aを備えることができ、ユーザは操作部１４０Ａを操作して、表示装置１４０に表示されている映像の内容に応じた操作入力を行うことができる。

【0017】

ヘッドセット１５０は、後述するヘッドマウントディスプレイ１５０Ａとコントローラ１５０Ｂとから構成される。特にはＶＲヘッドセットとして観察者たるユーザの姿勢や傾きに対応した動画像を提供可能に構成されていてもよい。ヘッドセット１５０には、所定のアプリケーションがインストールされており、当該アプリケーションにおいて実行されるアプリケーションデータを情報処理装置１００からダウンロードして実行することができる。本実施形態において、ヘッドセット１５０は情報処理装置１００と同様に、三次元モデルデータを仮想空間用データとして用いて、仮想空間上に表示する映像の生成を行い、生成した映像をＶＲ映像として提供する映像生成装置として機能させることができる。なお、当該アプリケーションデータには、ＶＲ映像を表示するための表示用データが含まれる。

【0018】

次に、本実施形態に対応する情報処理装置１００のハードウェア構成について説明する。図２（Ａ）は、情報処理装置１００のハードウェア構成の一例を示す。ＣＰＵ１０１は、情報処理装置１００の全体的な制御やデータの計算・加工・管理を行う装置である。例えば、スキャナ１１０における画像の撮影タイミング、撮影枚数を制御すると共に、サポートアーム１２０のアームのジョイントを制御して、スキャナ１１０を任意の撮影位置・撮影角度に配置することができる。また、スキャナ１１０の撮影位置・撮影角度が決定された後、模型支持装置１３０を回転させて、スキャナ１１０により撮影動作を実施することができる。また、ＣＰＵ１０１は、スキャナ１１０から出力された画像を処理する画像処理部としても機能しうる。ＣＰＵ１０１は、スキャナ１１０で得られたスキャン信号に基づいて生成した三次元モデルデータを仮想空間用データとして用いて、仮想空間内に三次元モデルを表示する映像を生成する処理を行うことができる。当該表示処理の詳細は、後段で詳しく説明する。

【0019】

ＲＡＭ１０２は、揮発性のメモリであり、ＣＰＵ１０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＲＯＭ１０３は、不揮発性のメモリであり、画像データやその他のデータ、ＣＰＵ１０１が動作するための各種プログラム等が、それぞれ所定の領域に格納されている。ＣＰＵ１０１は、例えばＲＯＭ１０３に格納されるプログラムに従い、ＲＡＭ１０２をワークメモリとして用いて、情報処理装置１００の各部を制御する。尚、ＣＰＵ１０１が動作するためのプログラムは、ＲＯＭ１０３に格納されるものに限られず、記憶装置１０４に記憶されていてもよい。

【0020】

記憶装置１０４は、例えばＨＤＤやフラッシュメモリなどの磁気ディスクにより構成される。記憶装置１０４には、アプリケーションプログラム、ＯＳ、制御プログラム、関連プログラム、ゲームプログラム等が格納される。記憶装置１０４は、ＣＰＵ１０１の制御に基づき、データを読み出したり、書き込みしたりすることができる。記憶装置１０４をＲＡＭ１０２やＲＯＭ１０３の代わりに使用してもよい。

【0021】

通信装置１０５は、ＣＰＵ１０１の制御に基づき、スキャナ１１０、サポートアーム１２０、模型支持装置１３０、表示装置１４０、ヘッドセット１５０と通信するための通信インタフェースである。通信装置１０５は、更には外部サーバ等と通信可能に構成されていてもよい。通信装置１０５は、無線通信モジュールを含むことができ、当該モジュールはアンテナシステム、ＲＦ送受信器、１つ以上の増幅器、同調器、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュールカード、メモリなどを含む、周知の回路機構を含むことができる。ここで、情報処理装置１００と、スキャナ１１０、サポートアーム１２０、模型支持装置１３０、表示装置１４０、ヘッドセット１５０との通信は無線通信により行われてもよい。

【0022】

また、通信装置１０５は、有線接続のための有線通信モジュールを含むこともできる。有線通信モジュールは１つ以上の外部ポートを介して表示装置１４０を含む他のデバイスとの通信を可能とする。また、データを処理する様々なソフトウェアコンポーネントを含むことができる。外部ポートは、イーサーネット、ＵＳＢやＩＥＥＥ１３９４等を介して、直接的に、又はネットワークを介して間接的に他のデバイスと結合する。尚、以上の各装置と同等の機能を実現するソフトウェアにより、ハードウェア装置の代替として構成することもできる。

【0023】

操作部１０６は、例えばボタン、キーボード、タッチパネル、コントローラ等で構成され、ユーザからの操作入力を受け付ける。操作部１０６は、操作部１４０Ａと共用であってもよいし、操作部１４０Ａとは独立していてもよい。例えば、操作部１４０Ａがキーボードとマウス等として構成される操作部を想定している場合は操作部１０６と共用とすることができる。一方、操作部１４０Ａがタッチパネルやコントローラ等として構成される操作部を想定している場合は、操作部１０６とは別個の操作部とすることができる。

【0024】

表示制御部１０７は、情報処理装置１００と接続された表示装置１４０に情報を表示するための制御部として機能し、表示装置１４０の動作を制御する。操作部１０６の一部の機能が、表示装置１４０に備えられていてもよい。例えば、表示装置１４０がタブレット端末のようなタッチパネルを備える装置として構成されていてもよい。

【0025】

次に、本実施形態に対応するヘッドセット１５０のハードウェア構成について説明する。図２（Ｂ）は、ヘッドセット１５０のハードウェア構成の一例を示す。ヘッドセット１５０は、ヘッドマウントディスプレイ（ＨＭＤ）１５０Ａと、コントローラ１５０Ｂとで構成される。ＨＭＤ１５０Ａは、ユーザの左右の眼にそれぞれ右眼映像、左眼映像を提供し、それらの視差により立体感を感じさせることで仮想現実（ＶＲ）体験を可能とする。コントローラ１５０Ｂは、ＨＭＤ１５０Ａとは独立した筐体において提供される。コントローラ１５０Ｂはユーザの左右の手にそれぞれ持って操作するために２つのコントローラがペアとなった構成を想定しているが、単体のコントローラであってもよい。

【0026】

ＣＰＵ１５１は、ヘッドセット１５０の全体的な制御やデータの計算・加工・管理を行う装置である。例えば、情報処理装置１００からダウンロードしたアプリケーションデータを実行して、ＶＲ映像をディスプレイ１５７に表示することができる。また、コントローラ１５６を介して受け付けた操作や検知部１５８が検知した情報に基づいて、表示するＶＲ映像自体を切り替えたり、ＶＲ空間内で視点を切り替えたり、ＶＲ空間内の位置を変更したりすることができる。

【0027】

ＲＡＭ１５２は、揮発性のメモリであり、ＣＰＵ１５１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＲＯＭ１５３は、不揮発性のメモリであり、画像データやその他のデータ、ＣＰＵ１５１が動作するための各種プログラム等が、それぞれ所定の領域に格納されている。ＣＰＵ１５１は、例えばＲＯＭ１５３に格納されるプログラムに従い、ＲＡＭ１５２をワークメモリとして用いて、ヘッドセット１５０の各部を制御する。尚、ＣＰＵ１５１が動作するためのプログラムは、ＲＯＭ１５３に格納されるものに限られず、記憶装置１５４に記憶されていてもよい。

【0028】

記憶装置１５４は、例えばＨＤＤやフラッシュメモリなどの磁気ディスクにより構成される。記憶装置１５４には、アプリケーションプログラム、ＯＳ、制御プログラム、関連プログラム、ゲームプログラム、情報処理装置１００からダウンロードしたアプリケーションデータや表示用データ等が格納される。記憶装置１５４は、ＣＰＵ１５１の制御に基づき、データを読み出したり、書き込みしたりすることができる。記憶装置１５４をＲＡＭ１５２やＲＯＭ１５３の代わりに使用してもよい。

【0029】

通信装置１５５は、ＣＰＵ１５１の制御に基づき、情報処理装置１００やコントローラ１５０Bと通信するための通信インタフェースである。通信装置１５５は、BluetoothやWiFi (IEEE802.11) に基づく無線通信を可能とする無線通信モジュールを含む。ヘッドセット１５０は、情報処理装置１００と無線通信により接続し、ＶＲ映像の表示用データをダウンロードすることができる。また、コントローラ１５０Ｂと通信して、コントローラ１５０Ｂに対するユーザの操作指示の情報を受信する。

【0030】

ディスプレイ１５６は、ＣＰＵ１５１が生成した右眼映像と左眼映像とをそれぞれユーザの右眼、及び左眼に提供するように構成されている。検出部１５７は、ユーザの左右の眼の視線方向を検出すると共に、ヘッドマウントディスプレイの傾きを検出するための機構である。検出部１５７は、例えば、ＨＭＤ１５０Ａを身に着けているユーザの視線方向あるいは注視方向を検出するためのセンサを含む。また、ジャイロスコープ、磁気計、加速度計、グローバルポジショニングシステム（ＧＰＳ）、コンパス等を含み、これらの検出情報に従いＨＭＤ１５０Ａの位置、姿勢、傾き等を特定することができる。検出部１５７は、ＨＭＤ１５０Ａにおいてユーザの注視方向やアクションを判定するための情報を検出しＣＰＵ１５１に送信する。ＣＰＵ１５１は、受信した検出情報に基づき注視方向やアクションを判定し、判定された注視方向やアクションに一致するようにＨＭＤ１５０Ａのディスプレイ１５６で提示された映像を調節する。

【0031】

コントローラ１５０Ｂは、例えば複数のボタン、十字キー等で構成され、ユーザからの選択操作、方向指示操作等の操作入力を受け付ける。コントローラ１５０Ｂは、ＨＭＤ１５０Ａとは通信装置１５５を介して無線通信接続される。

【0032】

次に、図３を参照して、本実施形態において撮影対象の被写体となる模型の一例を説明する。模型３００は、人形型（ロボット、又は、人間）の外観を有する模型である。当該模型は、例えばプラスチックモデルとして組み立てられ、塗装されたものとすることができる。或いは、可動式の関節部を備えたフィギュア（アクションフィギュア）のように、完成済みの模型であってもよい。図２の模型はあくまで説明のための一例にすぎず、模型の形状は人形型の外観を有するものだけではなく、一般車両、レース車両、軍用車両、航空機、船舶、動物、仮想生命体等、任意の形状の模型とすることができる。なお、撮影対象となる物品は、スキャナ１１０で三次元形状が撮影可能な物品であれば模型に限定されないことはもちろんである。

【0033】

模型３００は、頭部３０１、胸部３０２、右腕部３０３、左腕部３０４、右胴体部３０５、左胴体部３０６、右脚部３０７、左脚部３０８、右足部３０９、左足部３１０の各部品を有し、これらが結合されて構成されている。個々の部位３０１～３１０の少なくとも一部は、隣接する部位に対して回動（或いは揺動）可能に支持される。例えば、頭部３０１は胸部３０２に対して回動可能に支持され、右腕部３０３、左腕部３０４は胸部３０２に対して回動可能に支持される。このようにして模型３００の各部位には関節構造が設けられているため、模型３００は任意の姿勢を取ることができる。

【0034】

次に、図４を参照して、本実施形態における画像処理システム１０の実装例を説明する。図４は、模型を撮影して生成した本データを生成可能な実装例を示す。

【0035】

図４において、ケース４０１内には、情報処理装置１００、サポートアーム４０２を駆動するための駆動系、ターンテーブル４０６を駆動するための駆動系等が含まれる。なお、サポートアーム４０２は、手動で撮影方向・位置を調整することもできる。ケース４０１の表面は宣伝用のポスターを添付することができるよう平坦な構造となっている。

【0036】

サポートアーム４０２は、サポートアーム１２０に対応し、情報処理装置１００の制御に従い、或いは、手動によりスキャナ１１０として機能する端末４０３を支持し、位置を固定することができる。サポートアーム４０２はまた、端末４０３の傾きを制御するように動作することも可能である。

【0037】

端末４０３は、スキャナ１１０として利用が可能な、カメラ内蔵でタッチパネル式の端末であり、例えば、スマートフォン、タブレット端末、デジタルカメラ等を利用することができる。これらの端末の代わりに、Artec社製のSpace Spiderを利用することもできる。図４はあくまでシステムの構成例を示す図であり、スキャナ１１０として利用する機器の種類に応じた構成とすることができる。端末４０３は模型３００の画像を撮影し、情報処理装置１００に送信することができる。リングライト４０４は、端末４０３により模型３００を撮影する際に利用される照明装置であり、模型３００に均等に光を当てて、影を出にくくすることができる。なお、追加の光源として、リングライト４０４の他に、トップライトや左右、下側に補助ライトを設置してもよい。端末４０３の代わりに、上述のような三次元スキャナ装置を使用してもよい。

【0038】

背景シート４０５は撮影用の背景シートであり、例えば白色のシートを利用することができる。ターンテーブル４０６は、模型３００を搭載して模型を回転させることができる。ターンテーブル４０６には、所定のマーカ４１０が複数配置しておいてもよい。マーカ４１０は撮影された模型の向きや位置を調整するために利用することができる。

【0039】

図４では、模型が半透明（透明）の台の上に設置されているが、これ以外にも例えば「アクションベース」（登録商標）と呼ばれるような支持器具を利用してもよい。アクションベースは台座の上に、「く」の字型に曲げられるように構成された支柱が設置されており、支柱の先端に模型を取り付けることができる。このとき支柱の先端部分に上述のマーカ４１０を配置してもよい。模型の指示方法は、ポーズに応じて変更することができる。例えば、直立姿勢の場合には透明の台の上に設置して撮影を行うことができる。一方、飛翔姿勢のように足の裏まで撮影したい場合には、アクションベースを利用してもよい。なお、直立姿勢を撮影するためにアクションベースを使用してもよい。

【0040】

ディスプレイ装置４０７は表示装置１４０に対応する装置であり、タッチパネル機能を有していてもよい。ユーザはタッチパネル機能を利用して所定の選択動作を行うことができる。また、タッチパネルの代わりに操作部１４０Aとして機能することのできる不図示のコントローラやマウスにより操作を受け付けることもできる。ＶＲヘッドセット４０８は、ＨＭＤ４０８Ａとコントローラ４０８Ｂとからなり、ＨＭＤ１５０Ａ及び１５０Ｂにそれぞれ対応する。ユーザは、ＨＭＤ４０８Ａを頭に装着し、コントローラ４０８Bを左右の手にそれぞれ把持して操作することにより、ＶＲ映像を見ながら操作を行うことができる。

【0041】

次に図５を参照して、本実施形態に対応する、画像処理システム１０が実行する処理の一例を説明する。当該フローチャートに対応する処理の少なくとも一部は、情報処理装置１００のＣＰＵ１０１が、ＲＯＭ１０３や記憶装置１０４に記憶されたプログラムを実行することにより、或いは、ヘッドセット１５０のＣＰＵ１５１が、ＲＯＭ１５３や記憶装置１５４に記憶されたプログラムを実行することにより実現される。

【0042】

まずＳ５０１において、ＣＰＵ１０１は、ユーザ登録を受け付ける。ユーザの名称や連絡先の入力を受け付ける。各ユーザに対しては個々のユーザを一意に識別するためのユーザ識別子を付与する。ＣＰＵ１０１は、入力されたユーザ情報を、入力を受け付けた時間やユーザ識別子と関連付けて記憶装置１０４に記憶しておく。

【0043】

ユーザはユーザ登録が完了すると、自身の模型を模型支持装置１３０にセットする。ＣＰＵ１０１はスキャナ１１０によるスキャン画像に基づいて模型支持装置１３０に模型がセットされたかどうかを判定することができる。或いは、模型支持装置１３０に模型がセットされた場合にオンになるスイッチを配置しておき、スイッチからの信号をＣＰＵ１０１が検知して判断してもよい。或いは、表示装置１４０に模型のセットが完了した場合に操作を受け付けるためのボタンを表示しておき、ＣＰＵ１０１は当該ボタン操作に対する操作を受け付けたかどうかを検知することができる。Ｓ５０２においては、ＣＰＵ１０１が上述のいずれかの方法により、模型支持装置１３０に模型がセットされたことを検知する。当該検知に応じて処理はＳ５０３に進む。

【0044】

Ｓ５０３では、スキャナ１１０がスキャン処理（撮影処理）を実行してスキャン画像を生成する。具体的には、ＣＰＵ１０１はサポートアーム１２０を制御して、スキャナ１１０を登録されたいずれかの撮影位置に移動させ、当該撮影位置において模型支持装置１３０を回転させながらスキャナ１１０がスキャンを行う。撮影されたスキャン画像は情報処理装置１００に送信され、ＣＰＵ１０１は、記憶装置１０４のテーブルにユーザ識別子等と関連付けて保存する。

【0045】

続くＳ５０４では、ＣＰＵ１０１は、スキャン処理により取得されたスキャン画像についてスキャン後処理を実行し、三次元モデルデータを生成し、映像表示用のアプリケーションデータ（表示用データ）を生成する。当該アプリケーションデータは、情報処理装置１００において特定のアプリケーションにおいて実行されると映像を再生することができる。また、ヘッドマウントディスプレイ１５０Ａにおいて当該特定のアプリケーションにおいて実行されるとＶＲ映像を再生することができる。生成された三次元モデルデータ及び表示用データは、ユーザ情報と関連付けて記憶装置１０４に記憶される。

【0046】

続くＳ５０５において、映像表示処理を実行する。当該映像表示処理は、情報処理装置１００において行う場合にはＣＰＵ１０１が、表示用データを対応する特定アプリケーションを実行し、表示制御部１０７を介して表示装置１４０に映像を表示する。また、Ｓ５０５においては、ＣＰＵ１０１が通信装置１０５を制御して表示用データをＨＭＤ１５０Aに送信し、ＨＭＤ１５０ＡのＣＰＵ１５１が、受信した表示用データを対応するアプリケーションにおいて実行することでＶＲ映像を表示する処理を実行することにより、映像表示処理を行ってもよい。

【0047】

次に図６を参照して、Ｓ５０６に対応する表示用データの表示処理を説明する。図６の処理は、表示用データを用いて情報処理装置１００のＣＰＵ１０１が実行するが、ＨＭＤ１５０ＡのＣＰＵ１５１が実行してもよい。

【0048】

情報処理装置１００には、ＶＲデータを生成するために利用したＶＲ映像開発プラットフォームに対応するＶＲ映像表示用のアプリケーションがインストールされており、ＣＰＵ１０１は当該アプリケーションを実行することで表示用データを用いて表示装置１４０に映像を表示することができる。また、ＨＭＤ１５０Ａにも、同様のＶＲ映像表示用のアプリケーションがインストールされており、ＣＰＵ１５１は当該アプリケーションを実行することで表示用データを用いてディスプレイ１５６にＶＲ映像を表示することができる。以下においては主に情報処理装置１００における処理を説明しているが、特に記載しない限りＨＭＤ１５０Ａにおいても同様の処理が実行されるものとする。従って、ＣＰＵ１０１が行う処理は、ＣＰＵ１５１が行う処理として読み替えることが可能なものとする。

【0049】

まずＳ６０１において、ＣＰＵ１０１は表示制御部１０７を介して表示装置１４０にメニュー画面を表示させる。メニュー画面においてユーザは操作部１４０Ａを介して選択入力を行うことができる。ここで当該メニュー画面においては、複数の選択肢が表示されている。当該メニュー画面の一例を図７（Ａ）に示す。

【0050】

図７（Ａ）は、メニュー画面の一例を示す図であり、ユーザの行き先の選択肢が２つ示されている。１つは「マイルーム」であり、ユーザに対して個々に与えられる空間であって、ここではユーザ自身がスキャンして取り込んだモデルのデータ等を保管することができる。もう１つは、バトルルームであり、ここではユーザがスキャンして取り込んだ模型の三次元モデルデータを用いた対戦ゲームを実行することができる。当該対戦ゲームでは、他のユーザやCPUとの対戦を行うことができる。また、対戦ゲーム以外の任意のゲームを行うこともできる。

【0051】

図７（Ａ）の画面において、ユーザは操作部１４０Ａを操作して、例えば画面上に表示されたカーソルを「マイルーム」或いは「バトルルーム」のいずれかの上に移動させ、そこで選択操作（例えば、クリック操作やボタン操作）を行うことにより選択入力を行うことができる。ＨＭＤ１５０Ａを用いる場合、ユーザはコントローラ１５０Ｂを「マイルーム」或いは「バトルルーム」と重畳する位置にまで移動させ、そこでコントローラ１５０Ｂのボタン操作を行うことにより選択入力を行うことができる。操作部１４０Ａとコントローラ１５０Ｂとの対応関係は以下の説明においても同様である。

【0052】

なお、本実施形態に対応する仮想空間では図７（Ｂ）に示すように、大きく４つのノードが存在しており、その間を行き来することができる。本実施形態ではノードとして、マイルーム（第１の空間）、格納庫（第２の空間）、フレンドルーム（第３の空間）、バトルルーム（第４の空間）がある。マイルームと格納庫とは接続されており、格納庫にはマイルームから移動することができる。フレンドルームには格納庫を介して移動することができる。また、マイルームからバトルルームに移動することができるが、フレンドルームに移動して、そこからバトルルームに移動することもできる。なお、仮想空間を構成するノードは図７（Ｂ）に示すものに限定されず、より多くのノードを任意の経路にて行き来することができるようにしてもよい。

【0053】

図６の説明に戻り、ＣＰＵ１０１は、続くＳ６０２においてユーザから操作部１４０Ａを介した選択操作を受け付けると、Ｓ６０３において、選択されたマイルームかバトルルームかのいずれかの行き先に対応する映像を表示装置１４０に表示させる。続くＳ６０４において、ＣＰＵ１０１は、ユーザによる操作部１４０Ａに対する操作情報を取得する。続くＳ６０５において、ＣＰＵ１０１は、Ｓ６０４で取得した操作情報に応じた映像表示を行う。Ｓ６０５における処理は、マイルームやバトルルームの表示、当該ルームにおいて受け付けたユーザ操作に応じた表示、ルーム内の移動表示、バトルゲームの実行、格納庫の表示等を含む。

【0054】

より具体的に図８から図１０Dを参照してＳ６０５における処理の詳細を説明する。図８は、図６のＳ６０５における処理の詳細の一例を示すフローチャートである。図９Aから図９Dは、S６０２において「マイルーム」が選択された場合の表示の一例を示す図である。図１０Ａから図１０Dは、S６０２において「バトルルーム」が選択された場合の表示の一例を示す図である。

【0055】

図８のフローチャートのＳ８０１において、ＣＰＵ１０１は、操作部１４０Ａを介してユーザからの操作を受け付ける。当該操作には、ユーザの視点位置を変更するための移動操作（進行方向の指示操作やコントローラの十字キーの操作等を含む）、表示物を選択する操作、選択した表示物を移動する操作、選択物の選択状態を解除する操作等が含まれる。なお、Ｓ８０１における操作受付には、ＣＰＵ１５１による、ＨＭＤ１５０Ａの検出部１５７における検出情報の取得も含まれる。

【0056】

例えば、図９Aに示すマイルームにおける画面表示の例では、表示画面９００の領域９０１に「モデルを格納庫にセットしてみよう」という表示がされている。また、表示画面９００の下側には、選択候補の三次元モデル９０２が表示されている。当該三次元モデル９０２は、前述のＳ５０３のスキャン処理により取り込んだ模型に対応している。ユーザは「ボタンXでモデルを把持」というメッセージに従い、操作部１４０Ａを操作して三次元モデル９０２を選択し、把持することができる。なお、この把持状態における三次元モデル９０２の大きさは、ユーザから見て、スキャンされ取り込まれることでその三次元モデル９０２とされた実際の模型の現実世界における大きさと同じ、または、近い大きさとなるように、若しくは、少なくとも手に把持していることに違和感がない大きさにて表示される。ユーザは、把持した三次元モデル９０２をマイルーム内で移動させ、指定された設置場所に設置することで格納庫に保管された状態の模型を鑑賞することができる。なお、把持される前の選択候補状態の三次元モデル９０２の大きさは、把持状態における三次元モデル９０２の大きさと異ならせてもよい。具体的には、選択候補状態の三次元モデル９０２は把持状態における三次元モデル９０２よりも大きく表示してもよい。この場合、選択候補状態の三次元モデル９０２をマイルーム内で鑑賞しやすくなる。

【0057】

また、例えば、図１０Aに示すバトルルームにおける画面表示の例では、表示画面１０００の領域１００１に「モデルをバトル台にセットしてみよう」という表示がされている。また、表示画面１０００の下側には、選択候補の三次元モデル１００２が表示されている。当該三次元モデル１００２は、前述のＳ５０３のスキャン処理により取り込んだ模型に対応している。即ち、ユーザは自分の模型を使った対戦ゲームを行うことができる。ユーザは「ボタンX選択でモデルを把持し、ボタンを離してセット」というメッセージに従い、操作部１４０Ａを操作して三次元モデル１００２を選択して、バトル台１００３の上に移動させて設置することができる。三次元モデル１００２'は、バトル台１００３に設置された三次元モデル１００２に相当する。

【0058】

図８の説明に戻り、続くＳ８０２では、ＣＰＵ１０１はＳ８０１で受け付けた操作が画面上に表示されている三次元モデルを選択する操作であるかどうかを判定する。当該操作の判定は、画面上に表示されたカーソル或いはコントローラ１５０Ｂに相当するコントローラの表示が三次元モデルと重畳された位置にある状態において、選択ボタンに相当するボタン操作を受け付けたかどうかに基づいて行うことができる。画面上に複数の三次元モデルが表示されている場合には、カーソル或いはコントローラが重畳されている三次元モデルが選択されたものと判定する。Ｓ８０１において受け付けた操作が、三次元モデルの選択操作である場合はＳ８０６に進む。また、三次元モデルの選択操作でない場合にはＳ８０３に進む。

【0059】

Ｓ８０６では、ＣＰＵ１０１はＳ８０１において受け付けた操作に対応する表示処理を行う。例えば、三次元モデルの選択操作を受け付けた場合には、三次元モデルが把持された状態を表示する。これにより、ユーザは更なる操作入力により選択した三次元モデルを任意の位置に移動させることができる。なお、HMD１５０Aにおいては、ＣＰＵ１５１は、検出部１５７から受信した検出情報に基づき注視方向やアクションを判定し、判定された注視方向やアクションに一致するようにＨＭＤ１５０Ａのディスプレイ１５６で提示された映像の調節を行う。その後、処理はＳ８０１に戻り、上述の処理を繰り返す。

【0060】

Ｓ８０３では、ＣＰＵ１０１は、受け付けた操作により選択モデルが所定の場所に設置されたか否かを判定する。受け付けた操作が選択モデルの所定の場所への設置でない場合、S８０６に移行し受け付けた操作に対応する表示を行って、Ｓ８０１に戻る。

【0061】

図９Bは、マイルーム表示において、三次元モデルを所定の場所に設置する場合の画面表示の例を示す。図９Ｂでは、表示画面９１０の領域９１１に「格納庫 モデルをセット」という表示が、「ボタンＸを離して置く」のメッセージと共に表示されている。ユーザは、この指示に従い、上記で選択した三次元モデル９０２を、図９Ｂに示すように設置台９１２に設置することができる。領域９１１の裏側には格納庫へ通じる扉９１３が表示されている。ここでは、マイルームと格納庫とが隣接して設置されている場合を示しているが、通路を介して接続されていてもよい。図９Ｂに示す例では、ＣＰＵ１０１は、三次元モデル９０２が設置台９１２の領域内にある状態においてボタン操作が解除されたかどうかにより、三次元モデル９０２が所定の場所に設置されたか否かを判定することができる。

【0062】

同様に図１０Ａに示す例では、ＣＰＵ１０１は、三次元モデル１００２がバトル台１００３の領域内にある状態においてボタン操作が解除されたかどうかにより、三次元モデル１００２が所定の場所に設置されたか否かを判定することができる。

【0063】

図８の説明に戻り、Ｓ８０３において受け付けた操作が選択モデルの所定の場所への設置であると判定された場合、処理はＳ８０４に移行し、ＣＰＵ１０１は設置場所に応じた演出表示を行う。その後、本処理を終了するかどうかを判定し、終了しない場合にはS８０１に戻って上述の処理を繰り返し、終了する場合は処理を終了する。

【0064】

具体的に、マイルーム表示においては、図９Ｃに示すように設置台９１２に三次元モデル９０２が設置されたことに応じて、格納庫の扉９１３が開き、格納庫内部の様子が表示される。格納庫内には、設置台９１２に設置された三次元モデル９０２を拡大した三次元モデル９２１が表示されている。また、三次元モデル９２１の手前には通路９２２が表示され、通路９２２の突当りには標識９２３が表示されている。

【0065】

三次元モデル９２１の大きさは、格納庫において三次元モデル９２１を配置する空間内で、所定領域を占めるような大きさに拡大すればよい。また、三次元モデル９０２の元となった模型の実寸に応じた倍率で拡大するようにしてもよい。或いは、当該模型のスケール（例えば、１／１４４、１／１００、１／６０等）に応じた倍率としてもよい。

【0066】

図９Ｃの表示状態において更に操作を受け付け、受け付けた操作が、ユーザの視点位置を変更するための移動操作であり、かつ、通路９２２方向へ進行する操作である場合に、表示画面は図９Ｄに示す内容に遷移する。ここでは、三次元モデル９２１が表示画面９３０内でより拡大されて表示され、標識９２３も同様に拡大されて表示される。標識９２３には「フレンドルームへ」というメッセージ９３１が重畳表示されている。また、通路９２２には、「矢印に向かってください」とのメッセージが表示される。これによりユーザは矢印方向に進むための進行操作を行い、標識９２３まで一定距離以内の位置にまで移動すると、フレンドルームへ移動することができる。その際、演出表示として三次元モデル９２１のコックピット内に搭乗する映像を表示画面上に表示してもよい。

【0067】

本実施形態では、本システムに登録している他のユーザが存在する場合には、その中からいずれか１人を選択できるようにしてもよい。また、ユーザが他のユーザのうち特定ユーザを予め登録しておくこともでき、登録された複数の特定ユーザの中からいずれか１人を選択できるようにしてもよい。フレンドルームは、ユーザ毎に割り当てられているため、上記の手順により、ユーザ毎のフレンドルームに移動して、当該フレンドルームを鑑賞することができる。

【0068】

また、バトルルーム表示においては、バトル台１００３に三次元モデル１００２が設置されたことに応じて、図１０Ｂに示すような表示画面１０１０の表示内容に切り替わる。表示画面１０１０には表示領域１０１１、１０１２、１０１３が含まれ、表示領域１０１１から１０１３には実行中のバトルゲームの映像が表示される。図１０Ｂではまだバトルゲームがスタートしておらず、ゲームスタート指示の受付を待機している状態である。表示領域１０１１の下側には操作系１０１４が表示されている。操作系１０１４には、指示受付部１０１５が表示されている。

【0069】

指示受付部１１５にカーソルを移動しクリック操作が行われるか、或いは、コントローラを１０１５に重畳させることにより、ゲームスタートが選択されたと判定され表示画面が図１０Ｃに示す内容に切り替わる。図１０Ｃの表示画面１０２０では、図１０Ｂの表示状態において、表示領域１０１１に三次元モデル１０２１の映像が表示される。当該三次元モデル１０２１は、図１０Ａで示した三次元モデル１００２に対応する。その後、表示画面の表示内容は図１０Ｄに示すものに切り替わる。

【0070】

図１０Ｄでは、バトルゲームが開始される際に表示される画面の一例を示している。表示領域１０１１、１０１２、１０１３にはそれぞれバトルゲームの画面１０３１、１０３２、１０３３が表示されている。画面１０３１には三次元モデルと、ゲームの残り時間が表示される。ユーザは、操作部１４０Ａやコントローラを操作してゲームを進行することができる。

【0071】

以上のように、本実施形態では、情報処理装置１００やＨＭＤ１５０Ａにおいて、ユーザから受け付けた操作に基づく映像表示処理を行う場合を説明した。上述の実施形態の説明においては、模型を撮影して得られた画像から生成した三次元モデルデータを仮想空間内に配置して映像を表示するための表示データを生成する場合を説明した。その際、本実施形態ではユーザが三次元モデルを設置する位置に応じて、異なる演出映像を提供することができる。上述の実施形態では、演出映像として、ユーザの模型が実寸大で格納庫に保管されている様子を示すと共に、当該模型を使って対戦ゲームを実施する場合を示したが、演出手法はこれらに限定されるものではない。例えば、仮想空間内で行われるイベント、コンサート、スポーツ、オンライン会議等に、当該模型を登場させることも可能である。更には、クロスリアリティ（ＸＲ）のような現実世界と仮想世界とを融合し、現実空間には存在しないものを知覚可能とする映像技術において、本実施形態の技術を適用することもできる。

【0072】

このようにして本実施形態では、模型の外観を撮影した画像から三次元モデルデータを生成し、当該三次元モデルを仮想空間内に配置した映像を鑑賞することが可能となる。模型は、例えば組み立て式プラスチックモデルのように、ユーザが塗装等を行って独自の作品として仕上げているものがあり、それらの個性を動画や仮想空間内のキャラクタ表現に反映することができるので嗜好性を格段に向上させることができる。

【0073】

＜実施形態のまとめ＞
上記実施形態は以下の映像生成装置、及びコンピュータプログラムを少なくとも開示する。
（１） 映像生成装置であって、
スキャナにより被写体の外観の画像をスキャンして生成されたスキャン画像から生成された三次元モデルデータに基づく三次元モデルを仮想空間内に配置した映像を生成する生成手段と、
前記生成手段が生成した映像を表示装置に出力する出力手段と、
前記表示装置に表示された映像の第１の観察者からの操作入力を受け付ける受付手段と、
前記受付手段が受け付けた前記操作入力の内容を判定する判定手段と、
を備え、
前記生成手段は、
前記判定手段における判定の結果に応じた前記映像を生成し、
前記判定手段が前記三次元モデルが前記仮想空間内の所定の位置に配置されたと判定した場合に、判定された配置位置に応じた異なる演出を前記映像に含める、映像生成装置。
（２） 前記所定の位置は、前記仮想空間のうち第１の空間内の第１の位置を含み、
前記三次元モデルが前記第１の位置に配置されたことに応じて、前記生成手段は前記演出として、前記第１の空間と接続する第２の空間内に前記三次元モデルを拡大して表示する映像を生成する、（１）に記載の映像生成装置。
（３） 前記受付手段は、前記第１の観察者から前記仮想空間内における視点位置を移動する操作入力を受け付け、
前記判定手段が、前記第１の観察者からの前記操作入力に基づき、前記拡大して表示された前記三次元モデルの近傍に移動したと判定した場合、前記生成手段は前記演出として、前記第２の空間から前記第１の空間と前記第２の空間とは異なる第３の空間に移動する映像を生成する、（２）に記載の映像生成装置。
（４） 前記第３の空間に移動する映像は、前記第１の観察者が前記拡大して表示された前記三次元モデルに搭乗する演出の映像を含む、（３）に記載の映像生成装置。
（５） 前記受付手段は、前記第１の観察者から前記仮想空間内における視点位置を移動する操作入力を受け付け、
前記判定手段が、前記第１の観察者からの前記操作入力に基づき、前記拡大して表示された前記三次元モデルの近傍に視点位置が移動したと判定した場合、前記生成手段は前記演出として、前記第１の観察者が前記拡大して表示された前記三次元モデルに搭乗する演出の映像を生成する、（２）に記載の映像生成装置。
（６） 前記第１の空間は前記第１の観察者と関連付けられ、
前記第３の空間は前記第１の観察者とは異なる第２の観察者と関連付けられている、（３）又は（４）に記載の映像生成装置。
（７） 前記拡大して表示された前記三次元モデルの近傍に到達したと移動したと判定した場合に前記判定手段は更に、前記第１の観察者からの複数の観察者のうちからいずれかの観察者を選択する操作に基づき、前記第２の観察者を決定する、（６）に記載の映像生成装置。
（８） 前記所定の位置は、前記第３の空間と接続する第４の空間における第３の位置を含み、
前記三次元モデルが前記第３の位置に配置されたことに応じて、前記生成手段は前記三次元モデルデータを利用したゲームの映像を生成する、（６）又は（７）に記載の映像生成装置。
（９） 前記生成手段は、前記三次元モデルが前記第３の位置に配置されたことに応じて、前記ゲームのスタート画面の映像を生成する、（８）に記載の映像生成装置。
（１０） 前記ゲームは、対戦ゲームである、（８）または（９）に記載の映像生成装置。
（１１） 前記ゲームは、前記第２の観察者との対戦ゲームである、（８）または（９）に記載の映像生成装置。
（１２） 前記所定の位置は、前記仮想空間のうち第４の空間内の第３の位置を含み、
前記第３の位置に配置されたことに応じて、前記生成手段は前記三次元モデルデータを利用したゲームの映像を生成する、（１）に記載の映像生成装置。
（１３） 前記映像生成装置は、ヘッドマウントディスプレイであり、
前記表示装置は、前記ヘッドマウントディスプレイが有するディスプレイであり、
前記受付手段は、前記ヘッドマウントディスプレイと関連付けられたコントローラを介して前記操作入力を受け付ける、（１）から（１２）のいずれか１つに記載の映像生成装置。
（１４） 前記表示装置は、前記映像生成装置と接続された外部のディスプレイ装置であり、
前記受付手段は、前記映像生成装置に対する操作部を介して前記操作入力を受け付ける、（１）から（１２）のいずれか１つに記載の映像生成装置。
（１５） コンピュータを、（１）から（１４）のいずれか１つに記載の映像生成装置として機能させるためのコンピュータプログラム。

【0074】

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

【要約】      （修正有）

【課題】撮影された対象物の三次元モデルデータを用いて仮想空間上に三次元モデルを配置した映像を生成する際に、ユーザから受け付けた操作に応じた映像を生成する。
【解決手段】画像処理システム１０において、映像生成装置として機能する情報処理装置１００は、スキャナにより被写体の外観の画像をスキャンして生成されたスキャン画像から生成された三次元モデルデータに基づく三次元モデルを仮想空間内に配置した映像を生成する生成手段と、生成手段が生成した映像を表示装置に出力する出力手段と、表示装置に表示された映像の第１の観察者からの操作入力を受け付ける受付手段と、受付手段が受け付けた操作入力の内容を判定する判定手段とを備える。生成手段は、判定手段における判定の結果に応じた映像を生成し、判定手段が三次元モデルが仮想空間内の所定の位置に配置されたと判定した場合に、判定された配置位置に応じた異なる演出を映像に含める。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9A】

【図9B】

【図9C】

【図9D】

【図10A】

【図10B】

【図10C】

【図10D】