特許 6746238 ＶＲコンテンツ生成装置及びＶＲコンテンツ生成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6746238

(24)【登録日】2020年8月7日

(45)【発行日】2020年8月26日

(54)【発明の名称】ＶＲコンテンツ生成装置及びＶＲコンテンツ生成方法

(51)【国際特許分類】

   G06F 3/0481 20130101AFI20200817BHJP

【ＦＩ】

   G06F3/0481 150

【請求項の数】3

【全頁数】15

(21)【出願番号】特願2017-92009(P2017-92009)

(22)【出願日】2017年5月2日

(65)【公開番号】特開2018-190177(P2018-190177A)

(43)【公開日】2018年11月29日

【審査請求日】2019年1月21日

【前置審査】

(73)【特許権者】

【識別番号】517158083

【氏名又は名称】株式会社スペースリー

(74)【代理人】

【識別番号】230122390

【弁護士】

【氏名又は名称】石原 一樹

(72)【発明者】

【氏名】森田博和

【審査官】 円子 英紀

(56)【参考文献】

【文献】 特開２００１−２３６４１８（ＪＰ，Ａ）

【文献】 特開２０１２−１６８９６７（ＪＰ，Ａ）

【文献】 佐々木 大輔，初めてのＩｎｓｔａＶＲ，［ｏｎｌｉｎｅ］，２０１７年 ３月１３日，［令和元年８月６日検索］，インターネット，ＵＲＬ，https://dev.classmethod.jp/instavr/instavr-first-impression/

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ３／０１

Ｇ０６Ｆ３／０４８−３／０４８９

Ｇ０６Ｔ１／００

Ｇ０６Ｔ１１／６０−１３／８０

Ｇ０６Ｔ１７／０５

Ｇ０６Ｔ１９／００−１９／２０

Ｇ０６Ｆ１３／００

Ｈ０４Ｎ７／１０

Ｈ０４Ｎ７／１４−７／１７３

Ｈ０４Ｎ７／２０−７／５６

Ｈ０４Ｎ２１／００−２１／８５８

(57)【特許請求の範囲】

【請求項1】

ＶＲコンテンツを生成するＶＲコンテンツ生成装置であって、
ＶＲコンテンツを描写する描写部と、
ＶＲコンテンツを構成するＶＲアクションを管理する管理部と、
を備え、
前記描写部は、利用者が情報端末で撮影している動画像を利用者の前記情報端末に対して描写しながら、利用者が前記情報端末を操作して指定したＶＲアクション及び場所の入力を受け付けて、前記利用者が指定したＶＲアクション及び場所とを前記管理部に送信し、
前記管理部は、前記送られてきた前記利用者が指定したＶＲアクション及び場所を受信し、前記管理部内部に記憶するとともに、場所に関するパラメータを含むＶＲアクションに必要な描写部で作動するためのプログラムを自動生成した上で、前記プログラムを前記描写部に送信し、
前記描写部は、前記動画像を、前記利用者から受信するとともに、前記プログラムを受信し、動画像中に前記プログラムを読み込むように保存することによって、ＶＲコンテンツを生成する
ことを特徴とするＶＲコンテンツ生成装置。

【請求項2】

前記管理部は、前記描写部がＶＲアクションを描画するために必要なプログラムを自動生成することを特徴とする請求項１記載のＶＲコンテンツ生成装置。

【請求項3】

請求項１又は２項記載のＶＲコンテンツ生成装置を用いてＶＲコンテンツを生成する方法であって、
動画像を前記ＶＲコンテンツ生成装置に送信するステップと、
前記ＶＲコンテンツ生成装置の前記描画部が、利用者が情報端末で撮影している動画像を利用者の前記情報端末に対して描写しながら、利用者が前記情報端末を操作して指定したＶＲアクション及び場所の入力を受け付けて、前記利用者が指定したＶＲアクション及び場所とを前記管理部に送信するステップと、
前記管理部が、前記送られてきた前記利用者が指定したＶＲアクション及び場所を受信し、前記管理部内部に記憶するとともに、場所に関するパラメータを含むＶＲアクションに必要な描写部で作動するためのプログラムを自動生成した上で、前記描写部に前記プログラムを送信するステップと、
前記描写部が、前記動画像を、前記利用者から受信するとともに、
前記プログラムを受信し、前記動画像中に当該プログラムを読み込むように保存することによって、ＶＲコンテンツを生成するステップと、
を含むことを特徴とするＶＲコンテンツ生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＶＲコンテンツの生成装置及びＶＲコンテンツの生成方法に関する。

【背景技術】

【0002】

ＶＲ（Virtual Reality）とは
ＶＲとは、一般的に、「みかけや名前など表層的には少々異なるが、それぞれの目的に合わせて効果や機能などの本質的な部分が合致するように作られた現実。」のことをいう。学術的には以下の３種の条件を満たすものをＶＲという。
条件１：人間にとって自然な３次元空間がある
条件２：作られた環境と自分との間にリアルタイム相互作用がある
条件３：自分がその環境と繋がっていると感じる状態
これらの条件を高いレベルで実現するものから、手軽に実現するものまで種々のＶＲが存在し、この中でさらに以下のように様々なカテゴリーが存在する。ＶＲを含むコンテンツをＶＲコンテンツと呼ぶが、このＶＲコンテンツを体験するためには、基本的には、ヘッドセット、ディスプレイ、計算機の３つのハードウェア、及びＶＲコンテンツやそれが集まるプラットフォーム（ＰＦ）が必要となる。
現在、ＶＲは様々な分野で利用されており。市場においてＶＲは様々なカテゴリーのものが存在する。

【0003】

ローエンドＶＲ
スマートホン（Smart Phone：以下、スマホと呼ぶ）が計算機とディスプレイを兼ねる所謂スマホＶＲをローエンドＶＲと呼ぶ。このローエンドＶＲは、下記２種がある。
（１）様々なスマホに対応するヘッドセット（Head Set）又はＶＲグラス（VR glass）を用いる方法
この方法の概念図が図９に示されている。この図に示すように、Webブラウザを用いる方法と、Android（登録商標）や、iOS（登録商標）を用いる方法とがある。この方法の下では、様々なＶＲを体験できるアプリケーションプログラム（以下、単にアプリと称する）が製作されている。Google Cardboard（登録商標）のコンテンツも多くがこの図９に示す方法に集中している。
なお、Webブラウザを用いる方法と、Androidや、iOSを用いる方法の一部についてが、本件発明の対象部分である。

【0004】

（２）特定のスマホと、その特定のスマホにセットされる独自のヘッドセットとの組み合わせ
この方法の概念図が図１０に示されている。この図に示すように、Gear VR（登録商標）を用いる方法と、Day Dream（登録商標）を用いる方法とがある。この方法によれば、映像を利用者の目の前に映すディスプレイとしてスマホを使う。そして、当該スマホと、スマホを利用者の頭部に装着するヘッドセット又はVRグラスと、を合わせて使用するものである。

【0005】

ハイエンドＶＲ
ＰＣやゲーム機など能力の高い計算機を使って実現するＶＲを、ハイエンドＶＲと呼ぶ。このハイエンドＶＲは、映像を利用者の目の前に映すディスプレイがヘッドセットと一体となったヘッドマウントディスプレイを使うものである。
この方法の概念図が図１１に示されている。この図に示すように、Oculus rift（登録商標）を用いるもの、HTC vive（登録商標）を用いるもの、PS VR（登録商標）を用いるもの、等が知られている。これらはいずれも、ＶＲコンテンツが動作する個別のプラットフォーム（ＰＦ）をそれぞれのハードウェアとともに提供しているものである。

【0006】

＜先行特許文献＞
下記特許文献１には、利用者の姿勢によって、ＶＲの表示状態を適切に変化させる技術が開示されている。
下記特許文献２には、コンテンツ関連情報を、様々なタイミングで提供することができる技術が開示されている。同文献２に開示されている技術では、ＶＲコンテンツの再生状況に合わせてコンテンツ関連情報を視聴者の属性状況に応じて出力する。
また、下記特許文献３においては、現実空間の環境情報と、コンテンツの動作状態とを、仮想現実でリアルタイムに表現できる技術が開示されている。この技術によって、現場の生動感を使用者に提供することができるとされている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１７−５４３２０号公報

【特許文献2】特開２０１７−５２８７号公報

【特許文献3】特表２００９−５２８６４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

このように、従来からＶＲコンテンツの再生技術は様々な工夫がなされているが、ＶＲコンテンツを効率的に生成する技術はこれまでほとんど知られていない。そのため、個々のＶＲコンテンツを技術者が手作業で生成しており、煩雑な作業が必要であった。
本発明は上記事情に鑑みなされたものであり、ＶＲコンテンツをより効率的に生成する装置・方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記事情に鑑み、本願発明者は、携帯端末をディスプレイに用いるＶＲ分野（いわゆるスマホＶＲ）において、クラウドソフトウェア上で、スマホやタブレットなどの携帯端末でＶＲアクションのプログラムを、直感的な操作で利用者が設定でき、そのＶＲプログラムを自動的に生成するソフトウェアを構築した。
なお、本文で言うＶＲコンテンツは、ウェブブラウザの仕様で再生が可能なＶＲコンテンツで、Play Station VR（登録商標）などが扱うコンテンツとは異なる種類のコンテンツである。また、スクリーンに３６０度パノラマを全画面に表示し、そこをスクロールして画面を動かしながら直感的な操作でＶＲアクションを作ることが可能なコンテンツである。具体的な内容は、後述する実施形態において詳述する。

【0010】

この技術の発展系では、ＶＲ映像となる３６０度映像上で、どのタイミングのどの場所に、所定のＶＲアクションを追加する、という作業を、利用者がクラウド上で直感的に実行することができる。
また、利用者の設定部分自体も、閲覧する閲覧者に合わせて自動的にプログラムで設定することができる。その結果、ＶＲアクションを、さまざまな時点で自動的に生成することも可能となる。

【0011】

このように、本発明において特徴的なことは、ウェブブラウザにおける３６０度もしくはＶＲ空間の描写に特化したソフトウェアフレームワークと、データーベース管理やプログラム生成に適したソフトウェアフレームワークと、の間で様々なデータのやり取りを行うための仕組みを構築したことである。
なお、描写に特化したフレームワークは、請求の範囲の「描写部」の好適な一例に相当し、データベース管理に適したフレームワークは、請求の範囲の「管理部」の好適な一例に相当する。
具体的には、様々なデータを両フレームワークの間で直接相互にやり取りするために、新たにルールを規定した。そして、この規定したルールの下で、様々なデータをやり取りすることによって、様々な分野への展開が可能になる。例えば、リアルタイムの在庫情報をＶＲ空間に反映した３６０度パノラマやＶＲ上でのコマースや、閲覧者のＶＲ上での行動をリアルタイムに反映しての広告表示などもウェブブラウザを基盤にしたＶＲ空間において可能となる。

【0012】

＜ＶＲアクション＞
なお、本文でＶＲアクションとは、ＶＲ空間内で、その空間環境と閲覧者との間のリアルタイムの相互作用の総称をいう。例えば、閲覧者がＶＲ空間内のある地点を見ると、以下のようなＶＲアクションが生じさせることができる。例えば、説明コメントがＶＲ空間内に表示される、別のシーンに移動する、等がＶＲアクションの好適な例である。
また、閲覧者が、あるタイミングである地点を見ている時に生じるＶＲアクションとしては、次のようなＶＲアクションを設定することもできる。例えば、所望の画像をＶＲ空間内に表示する、所望の音声を流す、等がＶＲアクションの好適な例である。

【0013】

本発明は、具体的には下記のような構成を採用する。
第１の発明は、（以下同様）は、ＶＲコンテンツを生成するＶＲコンテンツ生成装置であって、ＶＲコンテンツを描写する描写部と、ＶＲコンテンツを構成するＶＲアクションを管理する管理部と、を備え、前記描写部は、動画像を利用者に対して描写しながら、利用者が指定したＶＲアクション及び場所を入力し、前記利用者が指定したＶＲアクション及び場所とを前記管理部に送信し、前記管理部は、前記送られてきた前記利用者が指定したＶＲアクション及び場所を受信し、前記管理部内部に記憶するとともに、場所に関するパラメータを含むＶＲアクションに必要な描写部で作動するためのプログラムを自動生成した上で、当該プログラムを前記描写部に送信し、前記描写部は、前記プログラムを受信し、動画像中に当該プログラムを読み込むように保存することによって、ＶＲコンテンツを生成することを特徴とするＶＲコンテンツ生成装置である。

【0014】

第２の本発明は、請求項１記載の発明において、前記描写部は、前記動画像を、前記利用者から受信することを特徴とする。

【0015】

第３の本発明は、請求項１記載の発明において、前記描写部は、前記動画像を撮影しながら、撮影した動画像を利用者に対して描写しながら、利用者が指定したＶＲアクション及び場所を入力し、前記利用者が指定したＶＲアクション及び場所とを前記管理部に送信することを特徴とする。

【0016】

第４の本発明は、請求項１記載の発明において、前記描写部は、前記保存したＶＲコンテンツを描写する際に、前記生成されたプログラムを用いて、前記ＶＲアクションを描画することを特徴とする。

【0017】

第５の発明は、前記管理部において、前記描写部がＶＲアクションを描画するために必要なプログラムを自動生成することを特徴とする。

【0018】

第６の本発明は、請求項１から４のいずれか１項に記載のＶＲコンテンツ生成装置を用いてＶＲコンテンツを生成する方法であって、動画像を前記ＶＲコンテンツ生成装置に送信するステップと、前記ＶＲコンテンツ生成装置の前記描写部が、動画像を利用者に対して描写しながら、利用者が指定したＶＲアクション及び場所を入力し、前記利用者が指定したＶＲアクション及び場所とを前記管理部に送信するステップと、前記管理部が、前記送られてきた前記利用者が指定したＶＲアクション及び場所を受信し、前記管理部内部に記憶するとともに、場所に関するパラメータを含むＶＲアクションに必要な描写部で作動するためのプログラムを自動生成した上で、前記プログラムを前記描写部に送信するステップと、前記描写部が、前記プログラムを受信し、前記動画像中に当該プログラムを読み込むように保存することによって、ＶＲコンテンツを生成するステップと、を含むことを特徴とする。

【発明の効果】

【0019】

本発明のＶＲコンテンツ生成装置、ＶＲコンテンツ生成方法によれば、より効率的にＶＲコンテンツを生成することができる。

【図面の簡単な説明】

【0020】

【図1】実施形態のＶＲコンテンツ生成装置の構成を示す構成図である。

【図2】実施形態のＶＲコンテンツ生成装置でＶＲアクションを選択し、また埋め込む場所を選択する様子を表す説明図である。

【図3】実施形態のＶＲコンテンツ生成装置で埋め込み画像等をアップロードし、保存する様子を表す説明図である。

【図4】実施形態で生成したＶＲコンテンツ中でＶＲアクションが動作する様子を示す説明図である。

【図5】ＶＲコンテンツの生成動作と、ＶＲコンテンツ生成装置の構成との関係を示す説明図である。

【図6】画面をスクロールしながら、位置とシーン移動のＶＲプログラムを設定する動作を示す説明図である。

【図7】画面をスクロールしながら、位置とテキスト埋め込みのＶＲプログラムを設定する動作を示す説明図である。

【図8】ＶＲアクションが埋め込まれたＶＲ映像コンテンツを示す説明図である。

【図9】従来のローエンドＶＲの１種である、様々なスマホに対応するヘッドセット又はＶＲグラスを使用する例の説明図である。

【図10】従来のローエンドＶＲの１種である、特定のスマホに対応する独自のヘッドセットを使用する例の説明図である。

【図11】従来のハイエンドＶＲの例を示す説明図である。

【発明を実施するための形態】

【0021】

以下、図面を参照して本発明を具体化した実施形態について説明する。
第１．サーバー及びソフトウェアの構成及び具体例
（１）実施形態におけるＶＲコンテンツ生成装置は、Ｓ３サーバーと、ｅｃ２サーバーとの、２種のサーバーとから構成されている。以下、説明を簡単にするために、Ｓ３サーバーを、「Ａサーバー」、ｅｃ２サーバーを、「Ｂサーバー」と呼ぶ。
その様子が図１に示されている。この図に示すように、ＶＲコンテンツ生成装置１０は、Ａサーバー１２と、Ｂサーバー１４と、から構成されている。Ａサーバー１２は、単一のサーバーでもよいし、上述したＳ３サーバーと同類の複数のサーバーの集合体であってもよい。同様に、Ｂサーバー１４は、単一のサーバーでもよいし、上述したｅｃ２サーバーと同類の複数のサーバーの集合体であってもよい。また、Ａサーバー１２、Ｂサーバー１４、はいわゆるクラウドで構成されていてもよい。以下の説明では、クラウドを用いてＡサーバー１２、Ｂサーバー１４が構成されている例（すなわち、ＶＲコンテンツ生成装置１０が、クラウドで構成されている例）を中心として説明を進める。

【0022】

（２）操作の流れ
実施形態のＶＲコンテンツ生成装置１０を利用する利用者は、まず、所定の動画像を撮影し、ＶＲコンテンツ生成装置１０（のＡサーバー１２）にアップロードする。この動画像は、いわゆる３６０度画像（全周画像）であってもよい。

【0023】

（ａ）ＶＲアクションの選択
次に、利用者は、アップロードした動画像をＶＲコンテンツ生成装置１０上で操作し、所望のＶＲアクションを設定していく。利用者は、アップロードした動画像をＡサーバー１２上で閲覧し、設定するＶＲアクションを選択する。この様子が図２の（ａ）ＶＲアクションの選択において示されている。この図２の（ａ）は、スマホで、アップロードした動画像を閲覧している様子のスマホの画面を示している。
Ａサーバー１２は、請求の範囲の描写部の好適な一例に相当し、Ａサーバーは、利用者から提供された動画像を利用者（のスマホの画面）に対して描写する。

【0024】

（ｂ）ＶＲアクションを埋め込む場所の選択
次に、利用者は、選択したＶＲアクションを埋め込む場所を選択する。この様子が図２の（ｂ）埋め込み場所の選択において示されている。この図２の（ｂ）は、図２の（ａ）と同様に、利用者がスマホで、アップロードした動画像を閲覧している様子のスマホの画面である。
これら図２の（ａ）（ｂ）においては、３６０度画像をスムーズに動かすwebGLの仕様に基づくコンテンツを利用者は（スマホで）閲覧している。この中で、あらかじめパッケージ化されている様々なＶＲアクション、例えば「画像の埋め込み」及び「視線によるポップアップ表示」、等を埋め込む場所の位置を指定する。この指定は、例えば、利用者が、指定を行うための起動アイコンを動作させて、３６０度画面上で位置を決めることができる。また、埋め込むＶＲアクションは、画面上の所定のメニューから選択できるように構成してもよい。

【0025】

この図２の（ａ）（ｂ）の操作を行っている段階では、利用者は、あらかじめてＶＲコンテンツ生成装置１０において用意されているアイコンを新しい物体としてコピーして移動させてある地点に置く、という操作を行っている。このコピーした物体は一時的に画面上に保存される（動画像中に埋め込まれる）。この物体は、実際のＶＲアクションに必要なデータを一時保存するとともに、実際のVRアクションが起動する対象物としての役割をいずれ果たすことになる。
webGLの中では、jsやC#によるプログラムを動作させることが可能であり、図２の（ａ）（ｂ）の操作の部分では、webGLの中でjsによってこのような処理を行う動作プログラムがあらかじめ設定されている。ここで、jsとは、Java Scriptの意味である。
さて、このようにしてコピーした上記物体は、その名前と、空間のどの場所に配置されているかという位置情報と、あらかじめ定義して生成したパラメータなどの情報と、を一時的に保持している。あらかじめＶＲコンテンツ生成装置１０において設定されているルールに基づき、それらの情報が保持される。この結果、物体は、実際のVRアクションが起動する対象物として動作する。

【0026】

（ｃ）埋め込み画像などのアップロード設定
次に、例えば、設定しようとするＶＲアクションが、「画像の埋め込み」の場合、利用者は、その埋め込み画像などをアップロードする。この様子が図３の（ｃ）「埋め込み画像などをそのままアップロード設定」において示されている。この図３の（ｃ）は、図２の（ａ）（ｂ）と同様に、利用者がスマホで、アップロードした動画像を閲覧している様子を示すスマホの画面である。この図３の（ｃ）においては、アップロードする画像ファイルを選択するようにダイアログが画面上に示されている。利用者は、かかるダイアログの指示に従い、所望の画像ファイルを選択してアップロードを行う。この画像ファイルの表示動作が、設定しようとするＶＲアクションの好適な一例に相当する。
なお、テキストを入力すると、自動的に画像に変換されて埋め込まれる。

【0027】

図３の（ｃ）においては、画像ファイルをそのプロセスでアップロードできるようになっているが、具体的には、Ａサーバー１２上のjsで記述されたプログラムによって、新たなウェブページを画面上の所定の場所（例えば正面）に表示する。Ａサーバー１２は、そのウェブページでファイルをアップロードするフォームを出し、利用者からアップロードされた画像ファイルを、別のＢサーバー１４に送る。

【0028】

Ｂサーバー１４は、画像ファイルがアップロードされた際、その画像ファイルが、この３６０度画像内に埋め込む画像であることを、送信元のＵＲＬから識別する。同時に、Ｂサーバー１４は、当該画像ファイルのファイル名を特定できるランダムな名前を生成しその名前（例えば、thumb640_9ed118f4.JPG）を、Ａサーバー１２に返す。これらの動作は、Ｂサーバー１４が実行するプログラムによって記述されている。

【0029】

Ｂサーバー１４は、請求の範囲の管理部の好適な一例に相当する。Ｂサーバー１４は、ＶＲアクションの一例である上記埋め込み画像ファイルを保管する。そして、Ａサーバー１２がこの埋め込み画像ファイルへアクセスするためのリンクであるファイル名等をＡサーバーに送信する（返す）。
このような操作や動作の結果、その情報（ファイル名）を含めて物体が描画部に一時保存されることとなる。このような物体のパラメータには、様々なデータが含められて保存されており、Ａサーバー１２は、この様々なデータを、上述の画像データとともにサーバーＢへ送る。

【0030】

ここで、Ｂサーバー１４から、Ａサーバー１２へ送られる具体的データ（情報）は、例えば、下記のような情報である。
・画像ポップアップのＶＲプラグラムをいくつ設定したかという記録
・クラスやオブジェクト、インスタンスの定義と名前
・ＶＲ空間の位置データ
・ＶＲアクションに必要な画像データ
・画像データが格納されるべきサーバーＡ上のＵＲＬ
Ａサーバー１２は、これらの情報に基づき、Ｂサーバー１４からＶＲアクションに必要なデータを受け取る、またはＢサーバー１４がＡサーバー１２からＶＲアクションに必要なデータを受け取ることができる。

【0031】

（ｄ）保存
以上、操作（ａ）〜（ｃ）までが完了した後、ＶＲコンテンツ生成装置１０は保存処理を行う。この保存処理を行う際のスマホの画面の様子が図３の（ｄ）に示されている。図３の（４）においては、利用者が画面上の保存ボタンを押すと、一時保存された物体のパラメータをＶＲコンテンツ生成装置１０のｊｓがいったん文字列として扱う。換言すれば、そのような動作を実行するように、ＶＲコンテンツ生成装置１０のｊｓプログラムが記述されている。

【0032】

すなわち、Ａサーバー１２からＢサーバー１４に、Ａサーバー１２上にあるjQuery(jsのライブラリー）のプログラムによりデータが飛ばされるようなプログラムが組まれている。そして、Ｂサーバー１４上では、Ｂサーバー１４が、あるルールに基づいて記録された文字列を受け取り、これに対応するＶＲアクションに必要なプログラムファイルをＢサーバー１４が自動生成（例Ｂ：次節で説明）する。
このような自動生成の結果、上述した種々のパラメータをＢサーバー１４上のデータベースに保存するとともに、プログラムファイルとして処理された必要な画像データ（画像ファイル）は、Ａサーバー１２の所定の場所に格納される。換言すれば、このような動作を実行するように、Ａサーバー１２及びＢサーバー１４のプログラムが記述されている。

【0033】

（ｅ）ＶＲアクションの動作
以上説明したような動作によって、図４の（ｅ）（ｆ）に示すように、ＶＲアクションも含めて動作するＶＲコンテンツが生成される。図４の（ｅ）（ｆ）にも、ＶＲコンテンツを表示するスマホの画面の様子が示されている。図４の（ｅ）に示すように、ＶＲコンテンツは既に動作をしており、利用者がスマホの画面上で所定の場所をタップもしくは視線カーソルを当てるなどすれば、所定のＶＲアクションが実行される。例えば、ＶＲアクションがテキストデータの表示である場合のスマホ画面の様子が図４の(ｅ)に示されている。ここでは、テキストの例を示すが、画像ポップアップでもよい。

【0034】

（３）操作と、構成との関係
以上、図２〜図４に基づき、本実施形態のＶＲコンテンツ生成装置１０の利用動作の一一例を説明したが、これらの操作とＶＲコンテンツ生成装置１０の構成との関係図が図５に示されている。図５に示すように、ＶＲコンテンツ生成装置１０はＡサーバー１２と、Ｂサーバー１４とから構成されており、主としてＡサーバー１２が、上述した図２の（ａ）（ｂ）、図４の（ｅ）（ｆ）に対応している。また、Ａサーバー１２と、Ｂサーバー１４との動的な情報の受け渡しが、上記図３の（ｃ）（ｄ）に対応する。

【0035】

このように、本実施形態においては、クラウド上で、ＶＲコンテンツを生成する効率的な手法として、異なるフレームワークをそれぞれに適した違う種のサーバー（クロスドメイン）上で動作させることによって、ＶＲコンテンツ生成装置１０を実現している。
このようなフローを実現するために、一定のルールを定め、当該ルールの下で配列化したデータのやり取りを行っている。また、同フローを実現するために、それぞれのサーバー上のフレームワークが所望のデータを生成、解読できるようなプログラムがインストールされており、その結果、上記のフローが実現されている。

【0036】

（４）生成されるＶＲアクションのプログラム
以上説明したような操作の流れによってＶＲアクションのプログラムが生成される。このようにして生成されたＶＲアクションのプログラムは、例えば、ある場所のアイコンをクリックすることや、閲覧者が視線を当てる（視線を向ける）と、画像が浮かび上がり、その場所から視線を外すと画像が消えるというインターラクションがプログラムされていてもよい。Ａサーバー１２上でこのようなプログラムが生成され、Ｂサーバー１４に格納されている。画像データと、画像データが格納されている場所と、ＶＲ空間上の当該画像データの位置及びサイズと、生じる具体的なＶＲアクションと、視線を当ててＶＲアクションが動作するまでの時間設と、がＶＲアクションに関わるパラメータとしてプログラムされている。パラメータとしては、より少なくてもかまわないし、またより多くのパラメータを用いてもよい。

【0037】

（５）やりとりされる具体的データの種類
本実施形態においてＶＲコンテンツ生成装置１０は、Ａサーバー１２と、Ｂサーバー１４とが具体的なデータをやりとりすることによって、ＶＲコンテンツを生成するが、その際にやりとりされる具体的なデータの例を説明する。

【0038】

（５ａ） Ａサーバー１２からＢサーバー１４へ送られるデータの例
１）ＶＲ空間でのユーザー行動の結果に係るテキストデータ
２）画像データ
３）音声データ
４）動画データ
５）３Ｄモデルデータ
等が上げられる。ここで、上記１）には、次の内容を含めてよい。
・ＶＲアクションの動作状況（どのアクションが何回、どのタイミングでどのように動作したかなど）、
・クラスやオブジェクトやインスタンスの定義や名前、
・ＶＲ空間の位置データ、
・データが格納されているＵＲＬ、
・ファイル名、
・ユーザーの視線（デバイス姿勢）情報
・ユーザーの現実の場所の情報（ＧＰＳデータ含む）
・ユーザーＩＤ
・ユーザーの名前や住所、クレジット情報、
・商品の購入や選別情報やその導線に係る情報、
・時間情報、
などを含めてよい。

【0039】

(５ｂ) Ｂサーバー１４からＡサーバー１２へ送られるデータの例
１）ＶＲ空間での相互作用のために関連する必要な情報が組み込まれたプログラムファイル（テキストデータ）
２）画像データ
３）音声データ
４）動画データ
５）３Ｄモデルデータ
等が上げられる。ここで、上記１）には、ＶＲの相互作用を定義するプログラム自体の他、次の内容を含めてよい。
・クラスやオブジェクトやインスタンスの定義や名前、
・ＶＲ空間の位置情報、
・データが格納されているＵＲＬ、
・描写のサイズ、
・ユーザー情報（ＩＤの他、その他のステータス、例えばどのコンテンツをどのくらいどのように見たかなど）、
・商品在庫ステータス情報を含む商品情報、
・地図に関する位置情報（ＧＰＳデータ含む）、
・他サイトのＵＲＬ、
・時間情報、
・他システムのＡＰＩに関連した情報、
などを含めてよい。

【0040】

（６）利用しているフレームワークおよびその特徴
以上説明したように、本実施形態に係るＶＲコンテンツ生成装置１０は、様々なフレームワークを利用している。以下、各フレームワークを簡単に説明する。

【0041】

（６ａ）webGL / krpano
webGLはウェブ上に３Ｄを描写したり綺麗にグラフィックを描写するための標準仕様である。この延長で、ＶＲコンテンツをウェブ上で描写するためにも、最近は用いられているフレームワークである。１世代前のflashに類似するフレームワークであるが、描写がより滑らかであり、広く世の中に普及しつつある。Html5やJava Scriptなどによって、プログラムされるが、上記タイトルにあるkrpanoはもともとそれに基づきパノラマ表現に有用な便利なパッケージを用意したライブラリーであり、欧州企業が開発したものである。また、krpanoは、主に開発者用にラインセンスされているライブラリーである。なお、Mozila社開発のA-Frameというライブラリーも、krpanoと同様にwebGLの標準仕様に基づくライブラリーであり、よりグラフィックの表現に広く用いられている傾向があるライブラリーである。このように、webGL及びこれらのライブラリーは、その特徴として、描写に特化しており、ゲームのように、このフレームワークの中で動くプログラムをあらかじめ開発して利用者にそれを楽しんでもらうためのものである。逆に、データの書き込みや保存、プログラムを自動で作成する、のような動作には適していないフレームワークと言えよう。

【0042】

（６ｂ）Java script(js) / jQuery
これらは、ウェブ上でインタラクティブな表現をする為に開発されたオブジェクト指向の言語（簡易プログラミング言語）である。HTML内にプログラムを埋め込み、ウェブページに様々な機能を付加することを主たる用途としている。本実施形態においては、上で説明したように、ＶＲコンテンツの描写と、利用者のインプットの間のインタラクティブな動作や、別サーバーとのデータのやり取りを担当している。

【0043】

（６ｃ）Ruby on rails
これは、ウェブアプリケーションを開発するためのフレームワークの一つである。主に、利用者がブラウザ上で行ったインプットに対して、サーバーが結果を返す、の如きオペレーションをプログラムするのに用いられている。Jsは、ユーザーのインプットをウェブブラウザ上で返す、の如きオペレーションをプログラムするのに適しているので、主としてそのような使い方をしている。本実施形態では、別サーバーから送られたデータ配列のインプットに対し、ＶＲアクション用のプログラムファイルを生成し、適切な場所に格納するという動作を記述する役割を果たしている。

【0044】

第２．他のＶＲ（アクション）の例
上では、簡単な例に基づき、本実施形態にかかるＶＲコンテンツ生成装置１０の構成と動作を説明したが、設定するＶＲ（アクション）は様々なものを利用することができる。以下、様々なＶＲアクションの例を説明する。

【0045】

（１）シーン移動ＶＲアクションの設定
ＶＲアクションとして、例えば、シーン移動ＶＲアクションを利用することができる。シーン移動ＶＲアクションを利用する場合のスマホの画面の例が図６に示されている。
この図においては、利用者がスマホの画面をスクロールしながら位置とシーン移動のＶＲプログラムを設定する様子が示されている。図６の（ａ）−（ｂ）−（ｃ）のように画面をスクロールさせながら（動かしながら）（図６の（ａ））、同時に画面上の矢印（カーソル）をドラッグやタッチで動かしながら、ＶＲプログラム（シーン移動ＶＲアクション）を設ける位置を設定する（図６の（ｂ））。すると移動先のシーンの選択肢が表れるので（図６の（ｃ））、シーン移動ＶＲアクションの移動先シーンをそこで選ぶことがでる。このような動作によって、ＶＲアクションの設定が完了する。

【0046】

（２）画像埋め込みＶＲアクションの設定
ＶＲアクションとして、例えば、画像埋め込みＶＲアクションを利用することができる。画像埋め込みＶＲアクションを利用する場合のスマホの画面の例は、既に説明した図２の（ａ）（ｂ）と、図３の（ｃ）に至る流れで示されている。
この図に示すように、利用者がスマホの画面をスクロールしながら（画面を動かしながら）（図２の（ａ））、同時に写真アイコンをドラッグやタッチで動かす（図２の（ｂ））ことによってＶＲアクションの位置を設定することができる。すると、図３の（ａ）のように、ファイルをアップロードする旨の指示が表示されるので、指示に従ってファイルをアップロードして、ＶＲアクションの設定が完了する。ＶＲ空間でアイコンを見ると、画像ポップアップが表示されるというＶＲアクションが設定されていることを確認することができる。

【0047】

（３）コメント埋め込みＶＲアクションの設定
ＶＲアクションとして、例えば、コメント埋め込みＶＲアクションを利用することができる。コメント埋め込みＶＲアクションを利用する場合のスマホの画面の例は、図７に示されている。

【0048】

この図においては、利用者がスマホの画面をスクロールしながらコメント埋め込みＶＲアクションを設定する様子が示されている。図７の（ａ）−（ｂ）−（ｃ）のように画面をスクロールさせながら（動かしながら）（図７の（ａ））、同時に画面上のインフォアイコン（ｉ）をドラッグやタッチで動かしながら、ＶＲプログラム（コメント埋め込みＶＲアクション）を設ける位置を設定する（図７の（ｂ））。するとテキスト入力の画面が表れるので（図７の（ｃ））、テキストを入力して、ＶＲアクションの設定が完了する。ＶＲ空間でアイコンを見ると、コメントがポップアップ表示されるというＶＲアクションが設定されていることを確認することができる。この確認の画面は、既に説明した図３の（ｄ）の保存から、図４の（ｅ）（ｆ）に至るような表示によって、コメントがポップアップすることを確認することができる。なお、コメントは画像化され、テキスト情報でなく画像情報であってもよい。

【0049】

（４）ＶＲアクションが埋め込まれたＶＲ映像コンテンツ
３６０度映像の中に、これまで説明してきたようなポップアップによるＶＲアクションを描写するようなクラウドサービスは、本願発明者が知る限り、現在は存在していない。
本実施形態に係るＶＲコンテンツ生成装置１０によれば、埋め込むデータに特に制限はなく、映像コンテンツに埋め込むことも、上述したような操作によって可能である。このような映像コンテンツに埋め込んだＶＲコンテンツの説明図が図８に示されている。スマホの画面２０にはＶＲコンテンツが表示されており、その中にさらに画像コンテンツ２２が表示されている。また、コマース等に用いる場合は中身が表示されたカート等が表示されていてもよい。

【0050】

このようなＶＲアクションを直感的に編集できるような仕組みは、従来存在せず、本実施形態で開示する技術に新規性・進歩性があることは明らかである。
なお、技術者による複雑な手作業で作製した単一のＶＲ動画コンテンツとして、このようなＶＲアクションが含まれているものはアプリなどでは存在している。しかし、本実施形態のように直感的にＶＲコンテンツを編集できるような仕組みは、従来知られていない。

【0051】

第３．類似サービスとその相違点
上述した本実施形態で説明したＶＲコンテンツ生成装置、ＶＲコンテンツ生成方法は、従来知られていないが、本実施形態に類似のサービスは知られている。それらのサービスと、本実施形態のＶＲコンテンツ生成装置、ＶＲコンテンツ生成方法とを比較・検討する。

【0052】

（１）ＮＵＲＶＥ（ナーブ株式会社）
ナーブ株式会社のサービスが、Ｗｅｂサイト： http://www.nurve.jp/に記載されている。そして、ＶＲ内見サービス内容動画が、https://www.youtube.com/watch?v=ozhdJDdsL_Iに記載されている。
本実施形態との相違点は、ナーブ株式会社の完成したＶＲコンテンツ中には、ＶＲアクションは含まれていないという点である。これに対して、本実施形態の技術によれば、完成したＶＲコンテンツ中に、ＶＲアクションを含めることが可能である。

【0053】

（２）InstaVR (InstaVR株式会社)
InstaVR株式会社のサービスがＷｅｂサイト： http://jp.instavr.co/ に記載されている。そのコンテンツ例は、http://jp.instavr.co/show_iframe_component/603934に記載されている。
本実施形態との相違点は、InstaVR株式会社の完成したＶＲコンテンツ中には、ＶＲアクションは含まれていないという点である。これに対して、本実施形態の技術によれば、完成したＶＲコンテンツ中に、ＶＲアクションを含めることが可能である。すなわち、ＶＲアクションはそもそもInstaVRによって完成したウェブブラウザで再生可能なＶＲコンテンツ中に含まれていない。さらに、InstaVRのシステムでは、スマホでのＶＲコンテンツの編集作業は不可能である。

【0054】

第４．変形例
（１）上述した実施形態では、Ａサーバー１２と、Ｂサーバー１４とが別体の構成を示したが、両サーバーの位置関係はどのような関係でもよく、同一場所に位置している必要はない。互いに送信・受信が可能であれば、どこに配置されていてもよい。また、上述した例では、クラウドで構成する例を説明したが、オンプレミスで構成してもよい。

【0055】

（２）上述した実施形態では、利用者が撮影した動画像をＶＲコンテンツ生成装置にアップロードしてから、スマホでＶＲアクションを設定・埋め込む例を説明した。しかし、動画像を撮影しながら、同時にＶＲコンテンツを埋め込んでいくように構成してもよい。 このような撮影を続行し、順次動画像が生成されていくので、その生成されていく動画像にＶＲアクションを埋め込んでいけばよい。言い換えれば、請求の範囲（請求項１）の「動画像」はどこから取得した動画像でもよい。利用者が撮影した動画像でもよいし、システムがライブラリーとして用意しておいた動画像でもよい。また、その場でリアルに撮影している動画像でもよい。

【0056】

以上に示した本実施形態は、発明の構成の一例を示したものであり、構成は発明の範囲内において適宜変更することができる。

【符号の説明】

【0057】

１０…ＶＲコンテンツ生成装置
１２…Ａサーバー
１４…Ｂサーバー
２０…ＶＲコンテンツ
２２…映像コンテンツ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】