(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024022807
(43)【公開日】2024-02-21
(54)【発明の名称】VR動画提供システム、VR動画提供方法およびプログラム
(51)【国際特許分類】
G06F 3/0481 20220101AFI20240214BHJP
G06F 3/01 20060101ALI20240214BHJP
G06F 3/04842 20220101ALI20240214BHJP
G06F 3/04815 20220101ALI20240214BHJP
G06Q 30/0241 20230101ALI20240214BHJP
G06Q 30/0601 20230101ALI20240214BHJP
G06T 19/00 20110101ALI20240214BHJP
【FI】
G06F3/0481
G06F3/01 510
G06F3/04842
G06F3/04815
G06Q30/02 380
G06Q30/06 300
G06T19/00 A
【審査請求】未請求
【請求項の数】23
【出願形態】OL
(21)【出願番号】P 2022126164
(22)【出願日】2022-08-08
(71)【出願人】
【識別番号】519212004
【氏名又は名称】株式会社SeiRogai
(74)【代理人】
【識別番号】110003476
【氏名又は名称】弁理士法人瑛彩知的財産事務所
(72)【発明者】
【氏名】ユエン サムミヨル ユク クアン
(72)【発明者】
【氏名】リン フイ イン レイチェル
【テーマコード(参考)】
5B050
5E555
5L049
【Fターム(参考)】
5B050AA03
5B050BA06
5B050BA09
5B050BA11
5B050CA07
5B050CA08
5B050DA07
5B050EA19
5B050EA26
5B050FA02
5B050FA05
5B050FA14
5B050FA17
5E555AA11
5E555AA25
5E555AA46
5E555AA76
5E555BA02
5E555BA03
5E555BA05
5E555BA06
5E555BA38
5E555BB02
5E555BB03
5E555BB05
5E555BB06
5E555BB38
5E555BC04
5E555BC17
5E555BE16
5E555BE17
5E555CA24
5E555CA42
5E555CA47
5E555CB02
5E555CB45
5E555CB47
5E555CB64
5E555CB66
5E555CB76
5E555CC01
5E555CC03
5E555DA01
5E555DB03
5E555DB37
5E555DB49
5E555DB50
5E555DB51
5E555DB53
5E555DB57
5E555DC09
5E555DC13
5E555DC43
5E555DC60
5E555DC61
5E555DD07
5E555EA08
5E555EA11
5E555FA00
5L049BB08
5L049BB22
(57)【要約】
【課題】VR画像上へ情報を表示する仕組みを提供する。
【解決手段】VR動画提供システムは、バーチャルリアリティ(VR)360度動画を出力するVR動画出力部と、前記VR360度動画に関する入力を受け付ける受付部と、前記受付部が前記入力を受けた場合に所定の情報を出力する情報出力部と、を備える。
【選択図】
図17
【特許請求の範囲】
【請求項1】
バーチャルリアリティ(VR)360度動画を出力するVR動画出力部と、
前記VR360度動画に関する入力を受け付ける受付部と、
前記受付部が前記入力を受けた場合に所定の情報を出力する情報出力部と、
を備える、VR動画提供システム。
【請求項2】
前記情報出力部は、前記VR360度動画内に形成されるVR空間の中の平面又は曲面に前記所定の情報を出力する、
請求項1に記載のVR動画提供システム。
【請求項3】
前記情報出力部は、前記VR360度動画内に形成されるVR空間に存在する対象物の表面、又は前記対象物の周縁、又は前記対象物に重ねて、の少なくとも1つに前記所定の情報を出力する、
請求項1又は2に記載のVR動画提供システム。
【請求項4】
前記所定の情報は、前記VR360度動画内に形成されるVR空間に存在する対象物の説明、又は前記対象物に関連する動画、又は前記対象物に関連する広告、の少なくとも1つである、
請求項1~3のいずれか1項に記載のVR動画提供システム。
【請求項5】
前記所定の情報は、前記VR360度動画内に形成されるVR空間に存在する対象物に関連する他のインターネットサイトへ誘導可能な誘導リンク情報を含む、
請求項1~4のいずれか1項に記載のVR動画提供システム。
【請求項6】
前記所定の情報は、前記VR360度動画内に形成されるVR空間に存在する対象物に関連する商品についての広告であって、前記商品を販売する電子商取引(EC)サイトへ誘導可能な誘導リンク情報を含む、
請求項1~5のいずれか1項に記載のVR動画提供システム。
【請求項7】
前記受付部が前記誘導リンク情報の選択を受け付けた場合に、誘導先のインターネットサイトに接続するサイトアクセス部を備える、
請求項5又は6に記載のVR動画提供システム。
【請求項8】
前記サイトアクセス部は、前記VR360度動画を表示しているウィンドウ内に、又は前記VR360度動画を表示しているウィンドウとは異なる新規ウィンドウに、前記誘導先サイトを表示する、
請求項7に記載のVR動画提供システム。
【請求項9】
前記VR360度動画内に形成されるVR空間に存在する対象物に関する商品の情報を表示し、当該商品の選択を受け付け、当該商品を販売するEC販売部を備える、
請求項1~8のいずれか1項に記載のVR動画提供システム。
【請求項10】
前記VR360度動画は、特定の対象物の上およびその周縁の少なくとも一方に情報表示領域を備え、
前記受付部が、前記情報表示領域における選択を受け付けた場合に、前記情報出力部は、前記所定の情報を出力する、
請求項1~9のいずれか1項に記載のVR動画提供システム。
【請求項11】
前記VR動画出力部が出力する前記VR360度動画において所定のイベントが発生したことを検知するイベント検知手段を備え、
前記イベント検知手段が、前記所定のイベントの発生を検知した場合に、前記情報出力部は、前記所定の情報を出力する、
請求項1~10のいずれか1項に記載のVR動画提供システム。
【請求項12】
前記所定のイベントは、前記VR360度動画内に形成されるVR空間に存在する対象物の所定の動作、又は、前記対象物の出現である、
請求項11に記載のVR動画提供システム。
【請求項13】
前記イベント検知手段が、前記所定のイベントの発生を検知した場合に、前記情報出力部は、前記VR360度動画の中に前記所定の情報としての動画を再生する、
請求項11又は12に記載のVR動画提供システム。
【請求項14】
前記イベント検知手段が、前記VR360度動画内に形成されるVR空間に存在する3次元対象物が所定の条件を満たすことを検知した場合に、前記情報出力部は、前記動画を再生する、
請求項13に記載のVR動画提供システム。
【請求項15】
前記情報出力部は、前記3次元対象物の表面に、前記動画を再生する、
請求項14に記載のVR動画提供システム。
【請求項16】
前記情報出力部は、前記VR360度動画の出力時間に基づいて、前記VR360度動画の中に前記所定の情報としての動画を再生する、
請求項1~15のいずれか1項に記載のVR動画提供システム。
【請求項17】
バーチャルリアリティ(VR)360度動画を出力し、
前記VR360度動画に関する入力を受け付け、
前記入力を受けた場合に所定の情報を出力する、
VR動画提供方法。
【請求項18】
前記VR360度動画内に形成されるVR空間の中の平面又は曲面に前記所定の情報を出力する、
請求項17に記載のVR動画提供方法。
【請求項19】
前記VR360度動画内に形成されるVR空間に存在する対象物の表面、又は前記対象物の周縁、又は前記対象物に重ねて、の少なくとも1つに前記所定の情報を出力する、
請求項17又は18に記載のVR動画提供方法。
【請求項20】
前記所定の情報は、前記VR360度動画内に形成されるVR空間に存在する対象物の説明、又は前記対象物に関連する動画、又は前記対象物に関連する広告、の少なくとも1つである、
請求項17~19のいずれか1項に記載のVR動画提供方法。
【請求項21】
前記所定の情報は、前記VR360度動画内に形成されるVR空間に存在する対象物に関連する他のインターネットサイトへ誘導可能な誘導リンク情報を含む、
請求項17~20のいずれか1項に記載のVR動画提供方法。
【請求項22】
前記所定の情報は、前記VR360度動画内に形成されるVR空間に存在する対象物に関連する商品についての広告であって、前記商品を販売する電子商取引(EC)サイトへ誘導可能な誘導リンク情報を含む、
請求項17~21のいずれか1項に記載のVR動画提供方法。
【請求項23】
コンピュータに、請求項17~22のいずれか1項に記載のVR動画提供方法の各手順を実行させるための、プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、VR動画提供システム、VR動画提供方法およびプログラムに関する。
【背景技術】
【0002】
本技術分野の背景技術として、特開2019-071040号公報(特許文献1)がある。この公報には、「広告システム100は、クラウドサーバ200が、第1端末300及び第2端末400と通信可能な通信部210と、360°VR画像を含む文化財情報を第2端末の第2表示部430に表示させる文化財情報部220と、広告情報を第2端末の第2表示部430に表示させる広告情報部230と、第2端末400からクラウドサーバ200にアクセスしたアクセス数をカウントするカウント部260と、文化財を所持する神社仏閣に対して、広告主から支払われた広告料の一部が、カウント部260でカウントされたアクセス数に応じて、第1端末300の使用者によって、文化財保護費用として支払われる支払額を算出する文化財保護費用算出部270と、を含む。通信部210を介して第2端末の第2表示部430に表示される文化財情報であるVR画像上に、広告情報を表示させる。」と記載されている(要約参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
前記特許文献1には、通信部を介して第2端末の表示部に表示される文化財情報であるVR画像上に、広告情報等の情報を表示させることが記載されている。しかしながら、特許文献1の技術によると、VR画像上へ情報を表示する仕組みについて検討がなされていない。
そこで、本発明は、VR画像上へ情報を表示する仕組みを提供する。
【課題を解決するための手段】
【0005】
上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、バーチャルリアリティ(Virtual Reality:VR)360度動画を出力するVR動画出力部と、前記VR360度動画に関する入力を受け付ける受付部と、前記受付部が前記入力を受けた場合に所定の情報を出力する情報出力部と、を備えるVR動画提供システムを提供することを特徴とする。
【発明の効果】
【0006】
本発明によれば、VR画像上へ情報を表示する仕組みを提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0007】
【
図1】
図1は、VR動画提供システム100の全体の構成図の例である。
【
図2】
図2は、管理サーバ101のハードウェア構成の例である。
【
図3】
図3は、ユーザ端末102のハードウェア構成の例である。
【
図5】
図5は、VR360度動画情報500の例である。
【
図7】
図7は、ユーザ登録フロー700の例である。
【
図8】
図8は、VR360度動画受信フロー800の例である。
【
図9】
図9は、VR360度動画再生フロー900の例である。
【
図10】
図10は、サイトアクセスフロー1000の例である。
【
図15】
図15は、VR360度動画コンテンツの視覚イメージ1500の例である。
【
図16】
図16は、VR360度動画コンテンツの視覚イメージ1600の他の例である。
【
図17】
図17は、VR360度動画の視覚イメージ1700の他の例である。
【
図19】
図19は、ECサイトの表示画像1900の例である。
【
図20】
図20は、ECサイトの表示画像2000の他の例である。
【
図21】
図21(A)~(C)は、VR360度動画コンテンツの視覚イメージ2100の例である。
【
図22】
図22(A)~(C)は、VR360度動画コンテンツの視覚イメージ2200の他の例である。
【
図23】
図23は、VR360度動画の視覚イメージ2300の他の例である。
【発明を実施するための形態】
【実施例0008】
以下、実施例を図面を用いて説明する。一実施例に係るVR動画提供システム100は、VR360度動画上に所定の情報を表示する。ここで、VR360度動画とは、全天球動画、パノラマ動画などとも呼ばれ、視点を全方位で取り囲むようにシームレスな球体状に動画が出力されるものをいう。以下の実施例では、簡単のために、VR360度動画として、視点位置が固定され、視線方向のみにインタラクティブ性を有する(すなわち、XYZ直交座標系の各々の周囲を回転できる3自由度を有する)、いわゆる3DoF(Degrees of Freedom)形式の動画をもとに説明する。
【0009】
本実施例におけるVR360度動画は、例えば、任意の都市のバーチャルツアー動画であり、当該都市の名所、旧跡や、歴史的建造物等を巡りながら、これを取り巻く地域の人々のライフスタイルやその地に縁りのあるアクティビティ等を紹介し、その都市の魅力を伝えるものである。バーチャルツアー動画がVR360度動画であることで、視聴者(典型的にはユーザ)は、あたかも実際にその都市に出向き、その都市を巡り、動画内のアクティビティ等を実際に体験をしたような感覚を得ることができる。VR360度動画は、例えば、当該都市を実際に旅しているような感覚が得られる、ストーリー性を有するものとして構成されている。
【0010】
図1は、このようなVR360度動画を提供する、VR動画提供システム100の全体の構成図の例である。
VR動画提供システム100は、1又は複数の管理サーバ101、および1又は複数のユーザ端末102を備え、それぞれがネットワークを介して接続することができる。なお、ネットワークは有線、無線を問わず、管理サーバ101およびユーザ端末102は、互いにネットワークを介して情報を送受信することができる。ユーザ端末102は、VR360度動画を視聴するユーザが使用する端末である。また、ユーザ端末102は、管理サーバ101とは別体として設けられていてもよいし、管理サーバ101と一体的に設けられてもよい。
【0011】
VR動画提供システム100のそれぞれの端末(管理サーバを含む)は、例えば、スマートフォン、タブレット、携帯電話機、携帯情報端末(PDA)などの携帯端末(モバイル端末)でもよいし、ヘッドマウント(HM)型やメガネ型、着衣型などのウェアラブル端末でもよい。また、これらは、据置型または携帯型のコンピュータや、クラウドやネットワーク上に配置されるサーバでもよい。また、機能としてはVR(仮想現実:Virtual Reality)端末、AR(拡張現実:Augmented Reality)端末、MR(複合現実:Mixed Reality)端末でもよい。あるいは、これらの複数の端末の組合せであってもよい。例えば、1台のスマートフォンと1台のウェアラブル端末との組合せが論理的に一つの端末として機能し得る。またこれら以外の情報処理端末であってもよい。
【0012】
VR動画提供システム100のそれぞれの端末や管理サーバ101は、それぞれオペレーティングシステムやアプリケーション,プログラムなどを実行するプロセッサと、RAM(Random Access Memory)等の主記憶装置と、ICカードやハードディスクドライブ,SSD(Solid State Drive),フラッシュメモリ等の補助記憶装置と、ネットワークカードや無線通信モジュール,モバイル通信モジュール等の通信制御部と、タッチパネルやキーボード、マウス、音声入力装置、モーションコントローラ、カメラ部の撮像による動き検知による入力装置、GPSやジャイロセンサ,加速度センサなどのセンサ等の入力装置と、モニタやディスプレイ、プリンタ、音声出力装置、発振器等の出力装置と、を備える。なお、出力装置は、外部のモニタやディスプレイ、プリンタ、機器などに、出力するための情報を送信する装置や端子であってもよい。
【0013】
主記憶装置には、各種プログラムやアプリケーションなど(ソフトウェア・モジュール)が記憶されており、これらのプログラムやアプリケーションをプロセッサが実行することで全体システムの各機能要素が実現される。なお、各モジュールは、それぞれ独立したプログラムやアプリケーションであってもよいが、1つの統合プログラムやアプリケーションの中の一部のサブプログラムや関数などの形で実装されていてもよい。また、これらの各モジュールは回路を集積化したりマクロコンピュータを採用することなどにより、ハードウェアとして実装してもよい(ハードウェア・モジュール)。さらに、これらの各モジュールは、単一の端末(管理サーバを含む)に備えられていてもよいし、ネットワークを介して相互に接続された2以上の端末(管理サーバを含む)に分けて備えられていてもよい。
【0014】
本明細書では、各モジュールが、処理を行う主体(主語)として記載されているが、実際には各種プログラムやアプリケーションなど(モジュール)を処理するプロセッサが処理を実行する。
補助記憶装置には、各種データベース(DB)が記憶されている。「データベース」とは、プロセッサまたは外部のコンピュータからの任意のデータ操作(例えば、抽出、追加、削除、上書きなど)に対応できるように整理して収集されたデータ集合である。補助記憶装置は、1又は複数のデータ集合を記憶する機能要素(記憶部)である。データベースの実装方法は限定されず、例えばデータベース管理システムでもよいし、表計算ソフトウェアでもよいし、XML、JSONなどのテキストファイルでもよい。
【0015】
図2は、管理サーバ101のハードウェア構成の例である。
管理サーバ101は、本実施例のVR動画提供システム100を管理する要素であり、例えばクラウド上に配置されたサーバで構成される。
主記憶装置201には、管理モジュール211、実行モジュール212、EC(Electronic Commerce:電子商取引)販売モジュール213等のプログラムやアプリケーションが記憶されており、これらのプログラムやアプリケーションをプロセッサ203が実行することで管理サーバ101の各機能要素が実現される。
【0016】
管理モジュール211は、ユーザ端末102の接続および動作を管理する。例えば管理モジュール211は、ユーザ端末102のユーザ管理モジュール311と連携して、ユーザ端末102においてVR動画提供システム100を用いて実行されるVR360度動画を視聴するための基本的な動作を制御する。
【0017】
実行モジュール212は、ユーザ情報やVR360度動画情報などを登録、管理する。また実行モジュール212は、VR360度動画情報をユーザ端末102端末のVR動画出力モジュール312、情報出力モジュール314、イベント検知モジュール316等と連携して、ユーザ端末102のディスプレイ(出力装置305の一例)に表示する。
【0018】
EC販売モジュール213は、ECサイト情報などを登録、管理する。また、EC販売モジュール213は、これらECサイトに関連する情報を、ユーザ端末102端末のサイトアクセスモジュール315等と連携して、ユーザ端末102のディスプレイ(出力装置305の一例)に表示する。
【0019】
補助記憶装置202は、ユーザ情報400や、VR360度動画情報500、ECサイト情報600等を記憶する。これらの情報については後述する。
【0020】
図3は、ユーザ端末102のハードウェア構成の例である。
本実施例のユーザ端末102は、スタンドアロン型のヘッドマウントデバイスである。しかしながら、ユーザ端末102は、例えばPC接続型のヘッドマウントデバイスや、スマートフォン、タブレット、ノートPC、デスクトップPC等の端末であってもよい。
主記憶装置301は、ユーザ管理モジュール311、VR動画出力モジュール312、入力受付モジュール313、情報出力モジュール314、サイトアクセスモジュール315、イベント検知モジュール316等のプログラムやアプリケーションが記憶されており、これらのプログラムやアプリケーションをプロセッサ303が実行することで、ユーザ端末102の各機能要素が実現される。
【0021】
ユーザ管理モジュール311は、ユーザ端末102の基本的な動作を制御する。例えばユーザ管理モジュール311は、管理サーバ101の管理モジュール211と連携して、VR動画提供システム100において配信されるVR360度動画を管理するための基本的な動作を制御する。
【0022】
VR動画出力モジュール312は、ユーザ端末102のディスプレイ(出力装置305の一例)にVR360度動画を出力する。
入力受付モジュール313は、VR360度動画に関する入力を受け付ける。
情報出力モジュール314は、入力受付モジュール313が入力を受けた場合に、所定の情報をディスプレイに出力する。
【0023】
サイトアクセスモジュール315は、付加的な構成であって、入力受付モジュール313が誘導リンク情報の選択を受け付けた場合に、誘導先のインターネットサイトに接続する。誘導リンク情報とは、例えば、当該所定のインターネットサイトに接続するためのURLを含む情報である。
イベント検知モジュール316は、付加的な構成であって、VR動画出力モジュール312が出力するVR360度動画において所定のイベントが発生したことを検知する。
【0024】
図4~
図6は、管理サーバ101に記憶されている各種情報の一例である。これらの情報の一部又は全部は、JSON形式のファイルに記憶することを想定しているが、これに限定されない。これらの情報の一部又は全部は、リレーショナルデータベースや、非リレーショナルデータベースに記憶される構成としてもよい。
【0025】
図4は、ユーザ情報400の例である。
ユーザ情報400は、管理モジュール211が接続および管理の対象とするユーザに関する情報を記憶し、典型的には、ユーザ端末102の使用者等の情報が記憶される。
ユーザ情報400は、例えば、ユーザID、ユーザ表示ID、ユーザ名、住所、支払い情報、パスワード情報、本人確認情報等を有しており、それぞれフィールド名410に対してサンプル値420で例示するような値が入力されている。
【0026】
図5は、VR360度動画情報500の例である。
VR360度動画情報500は、VR動画提供システム100で提供するVR360度動画コンテンツに関連する情報を記録する。VR360度動画コンテンツは、VR360度動画それ自体(以下、「VR360度動画本体」という場合がある。)と、このVR360度動画に重畳して表示する所定の情報(以下、「挿入情報」という場合がある。)と、から構成される。VR360度動画情報500は、VR360度動画本体に関する情報と、挿入情報に関する情報と、を含む。
【0027】
VR360度動画情報500のうち、VR360度動画本体に関する情報は、例えば、VR360度動画ID、VR360度動画名、VR360度動画格納先URL等を含む。
VR360度動画情報500のうち、挿入情報に関する情報は、例えば、挿入情報ID、挿入情報名、挿入情報の格納先URL、挿入条件情報等を有する。挿入条件とは、例えば、VR360度動画に対する挿入情報の、挿入時情報,挿入位置,挿入角度,挿入形態(形状)などに関する情報である。挿入情報は、これらのうちのいずれか1つ、または2つ以上の組み合わせであってもよい。VR360度動画情報500は、例えば、フィールド名510に対してサンプル値520で例示するような値がそれぞれ入力されている。
【0028】
図6は、ECサイト情報600の例である。
ECサイト情報600は、管理モジュール211がユーザ端末102を誘導する誘導先サイトに関する情報を記憶する。
ECサイト情報600は、例えば、ECサイトID、ECサイト名、ECサイトURL等を有しており、それぞれフィールド名610に対してサンプル値620で例示するような値が入力されている。
【0029】
図7は、ユーザ登録フロー700の例である。
VR動画提供システム100を利用してVR360度動画を視聴するにあたり、例えばユーザは、ユーザ端末102を介して管理サーバ101にアクセスする(ステップ710)。
初回であれば、管理サーバ101の管理モジュール211は、ユーザ端末102のユーザ管理モジュール311と連携して、ユーザ端末102のディスプレイにユーザ登録画面を表示する(ステップ720)(以下、このようにユーザ端末102のディスプレイに画面等を表示することを、単に、「ユーザ端末102に表示する」という場合がある)。
【0030】
管理モジュール211は、ユーザ登録画面に、ユーザ登録に必要な情報の入力欄を表示する。ユーザ操作により入力欄に入力された情報は、ユーザ管理モジュール311によって管理サーバ101に送信される(ステップ730)。
管理モジュール211は、送られた情報を受け取り、ユーザ情報400に記憶する。これによりユーザ登録が完了する。
管理モジュール211は、ユーザ端末102に対して、登録完了の案内を送信する(ステップ750)。
【0031】
図8は、VR360度動画受信フロー800の例である。
次いでユーザ端末102のユーザ管理モジュール311は、例えば必要に応じユーザによる操作によって、VR360度動画視聴用のアプリケーションソフトを起動させる(ステップ810)。
そしてこのアプリケーションソフトを利用し、ユーザ管理モジュール311は、ユーザID、パスワード等の必要な認証情報を管理サーバ101に送信する(ステップ820)。
管理サーバ101の管理モジュール211は、認証情報を受け取り、利用者認証処理を行う(ステップ830)。
【0032】
管理モジュール211は、受け取った認証情報がユーザ情報400と一致すると、ユーザ端末102に、例えば、VR360度動画の選択画面を表示する(ステップ840)。
管理モジュール211は、例えば、選択画面に、視聴可能な1又は複数のVR360度動画に関する情報(例えば、VR360度動画名およびサムネイルなど)を表示する。
【0033】
選択画面中のVR360度動画がユーザによって選択されると、ユーザ管理モジュール311は、当該VR360度動画が選択されたことを示す情報を、管理サーバ101に送信する(ステップ850)。
管理モジュール211は、補助記憶装置202のVR360度動画情報500にアクセスし(ステップ860)、選択されたVR360度動画に対応するVR360度動画コンテンツ(すなわち、VR360度動画本体および挿入情報のセット)をユーザ端末102に送信する(ステップ870)。
ユーザ管理モジュール311は、VR360度動画コンテンツを受け取り、補助記憶装置302に格納する。
【0034】
図9は、VR360度動画再生フロー900の例である。
ユーザ端末102において、VR360度動画の再生操作を行った場合、VR動画出力モジュール312は、VR360度動画の再生操作を受け付け(ステップ910)、当該VR360度動画をHMディスプレイに表示(再生)する(ステップ920)。
そして入力受付モジュール313がVR360度動画に関する入力を受け付けた場合、若しくはイベント検知モジュール316が所定のイベントを検知した場合に(ステップ930でYes)、情報出力モジュール314が所定の情報を出力する(ステップ940)。
入力受付モジュール313による入力の受付(ステップ930)と情報出力モジュール314による情報の出力(ステップ940)は、VR360度動画が終了する(ステップ950でYes)まで、都度実行される(ステップ950でNo)。
【0035】
ステップ930の入力の受付は、例えば、
・座標等により指定された所定の領域が、ユーザにより、クリック等により選択されることを受け付けた場合
なお、この場合、どの領域をクリックするかが、例えば「説明を表示」というアイコン等によりユーザに分かるように表示してもよい。また、どこをクリックするかが明示的には分からないように隠された状態で座標等により指定されているが、クリックを受け付けることで情報を出力できる構成としてもよい。
・座標等により指定された所定の領域に、マウスやポインターが入ることで、入力を受け付けた場合(マウスオーバー)
等が考えられる。
【0036】
ステップ930のイベントの検知は、例えば、
・VR360度動画の再生時間が、所定の時間に達した場合
この場合、情報の挿入タイミングは、VR360度動画情報500の挿入時情報に規定されている。
・VR360度動画の中の座標が所定の座標情報の位置に到達した場合
この場合、情報の挿入位置は、VR360度動画情報500の挿入位置情報に規定されている。
等が考えられる。
【0037】
ここで、VR360度動画コンテンツについて説明する。
図13は、VR360度動画の概念
図1300の一例である。
図13のVR360度動画本体は、例えば、所定のフレームレート(一秒間あたりの画像数)で用意された、横2:縦1の比率のエクイレクタングラー形式(正距円筒図法)のパノラマ画像1320の集合と、音声データと、によって構成されている。このパノラマ画像1320を全天球1330の赤道に沿って筒状に配置し、全天球1330の表面に貼り付けるように変換する。
【0038】
すると、全天球1330の中心は天球状に変換されたパノラマ画像1320によって取り囲まれ、全天球1330の中心を視点1310として、視線を移動させることで、水平方向に360度かつ上下方向に180度の全方位にパノラマ画像1320を視ることができる。
このように、VR360度動画の視聴者は、例えば、X軸,Y軸,およびZ軸周りの任意の視野角度(Roll,Pitch,Yaw)=(α,β,γ)でパノラマ画像1320を視ることができ、VR360度動画の世界に入り込んだような感覚を得ることができる。
【0039】
VR360度動画本体は、典型的には、全方位カメラによって複数撮像された全方位画像を、シームレスに(継ぎ目なく)つなぎ合わせた(スティッチングした)VR360度画像(フレームであり得る)を、所定のフレームレートで用意したものである。これに限定されるものではないが、全方位カメラとしては、例えば、魚眼レンズを1つまたは2つ備える1眼又は2眼カメラや、複数のレンズが半径方向外側を向いて円周配置されている多眼カメラ等を用いることができる。
【0040】
VR360度画像としては、エクイレクタングラー形式の他に、キューブマップ形式、あるいはメッシュ形式(ドームマスター形式)等の各種の記録形式を採用することができる。全方位カメラには、典型的には、撮像される全方位画像のスティッチングに適合するステッチングソフトウェアが用意されており、例えばこのステッチングソフトウェアを利用することでスティッチングを自動的に又は手動で実行することができる。
【0041】
図15は、VR360度動画コンテンツの見え方を表す視覚イメージ1500の例である。
この視覚イメージ1500は、VR360度動画コンテンツのあるシーンについてパノラマ画像1320(一のフレームであり得る)の視野1510の領域をHMディスプレイ等に出力した場合に視認されるイメージ(例えばナチュラルビュー)である。視覚イメージ1500には、便宜上、視野1510の中央部分(正面)のイメージのみを具体的に図示している。
図15に示されるように、このシーンの視覚イメージ1500は、VR360度画像1520と、このVR360度画像の手前に重ねて表示された説明画像1540と、を含む。説明画像1540は、本技術における挿入情報の一例である。
【0042】
VR360度画像1520には被写体として、例えば、歴史的建造物(例えば神社)と立て看板1530とが含まれる。立て看板1530は、縦に細長い平板状をなし、神社の境内の立木に立てかけられて支持されている。立て看板1530の表面形態は、ほぼ平面である。
説明画像1540は、例えば、この歴史的建造物についての説明情報を示し、VR360度画像1520における被写体(対象物の一例)に関する情報を提供するものである。
【0043】
説明画像1540は、VR360度画像1520に重ねられたシート状のオブジェクトである。説明画像1540は、立て看板1530の板面よりも一回り小さい寸法を有し、立て看板1530に貼着されているかのような位置および姿勢で、VR360度画像1520に重畳されている。
そしてこの説明画像1540は、例えば、VR360度動画本体において立て看板1530が出現するという事象が生じたときに、立て看板1530に重ねて表示されるように設計されている。
【0044】
より具体的には、例えば、入力受付モジュール313が立て看板1530が出現するという事象に関する入力を受け付けた場合に、情報出力モジュール314が説明画像1540を出力するように構成されていてもよい。
この場合、例えば、VR360度動画本体のVR空間における立て看板1530の表面に対応するロケーション(位置)に、予め説明画像1540をマッピングしておく。そして、VR360度動画の配信に伴い、当該ロケーションの少なくとも一部が視野領域としてHMディスプレイに出力される場合に、入力受付モジュール313がそのロケーションを検知する。
すると、情報出力モジュール314が、検知された出力ロケーションに対応する説明画像1540の一部または全部を出力する。ただし、説明画像1540の出力方法は、これに限定されない。
【0045】
この説明画像1540は、例えば、
図13の概念
図1300における、画像1340のように、全天球1330内に配されると理解することができる。画像1340の寸法は、図示しやすいように誇張されている。
説明画像1540は、例えば、全天球1330のX軸,Y軸,およびZ軸に基づく3次元空間の所定の位置座標(x1,y1,z1)において、所定の姿勢で(例えば、法線ベクトルが(α1,β1,γ1)となる姿勢で)配されている。
【0046】
換言すれば、あるシーンにおいて、説明画像1540は、全天球1330内の所定の位置に、所定の姿勢で、マッピングされている。マッピングは、例えば、VR360度画像の所定の位置に所定の姿勢でグリッド(メッシュ)を形成することができるグリッドコンポーネント等を利用し、形成したグリッドに説明画像1540を嵌め込むとよい。
【0047】
視点1310からの視線の向きが全天球1330のX軸,Y軸,および/またはZ軸を中心に回転すれば、画像1340はX軸,Y軸,および/またはZ軸を中心に相対的に反対側に回動する。
また、視線の向きがX軸,Y軸,および/またはZ軸に対して上向き又は下向きになると、画像1340はX軸,Y軸,および/またはZ軸に対して相対的に反対側の下向き又は上向きとなる。ユーザ端末102の視点位置や視線方向にあわせた画像1340は、例えばレンダラーと呼ばれるソフトウェアで生成することができる。
【0048】
図16は、VR360度動画の視覚イメージ1600の他の例である。図では、掲示板1630および説明画像1640の一部のみを具体的に示している。
例えば、具体的には、
図15の視覚イメージ1500を正面に視ているユーザの視線が右向きに回転する。すると、
図16に示すように、掲示板1630および説明画像1640は、例えば視野1610の左端部分に移動する。
このとき、視野1610の正面の対象物について歪みは見られないが、視野1610の左端部分における掲示板1630および説明画像1640はやや歪んで視える。ただし、正面の全天球1330における説明画像1640の位置および姿勢は変わっていない。
【0049】
また、各シーンのVR360度画像1520への説明画像1540の挿入は、下図の例のように、時間に応じたVR360度画像への説明画像1540の挿入の位置と向きや大きさを指定することで実現することができる。
これに限定されるものではないが、例えば表面に情報を表示させる対象部(ここでは立て看板1530)を画像認識させることができる。例えば、立て看板1530の表面パターンを検出し、この表面に対して所定の位置に説明画像1540をマッピングする。
【0050】
そうすると、VR360度画像1520の各シーンにおいて立て看板1530の姿勢および見え方に応じて、立て看板1530の表面に重ねる説明画像1540の姿勢およびその部分等を、容易に変更させることができる。
このような処理は、例えば、パターン認識ソフトウェア、モーショングラフィックス編集ソフトウェア、フィルター作成ソフトウェア等を利用して実現することができる。
【0051】
なお、立て看板1530の表面に対応するロケーションの少なくとも一部が視野領域としてHMディスプレイに出力されるかどうかは、例えば、イベント検知モジュール316が検知するように構成されていてもよい。
例えば、イベント検知モジュール316は、VR動画出力モジュール312が出力するVR360度動画において「立て看板1530が出現する」との事象が発生することを検知する。そして、入力受付モジュール313は、例えば、イベント検知モジュール316によるこの事象の発生の検知を入力として受け付けるように構成されていてもよい。
【0052】
この例において、情報出力モジュール314は、VR360度動画内に形成されるVR空間に存在する立て看板1530(対象物の一例)に重ねて所定の情報を出力する。また、この所定の情報は、VR360度動画内に形成されるVR空間に存在する神社(対象物の一例)の説明である。
このような構成によれば、一の対象物である神社について別途用意した情報を、他の対象物にあたかも実際に記載されているかのように提示することができる。これにより、ユーザが違和感を覚えることなく、VR360度動画の空間に所定の情報を提示しやすいという利点がある。
【0053】
また、必要に応じて、説明画像1540(情報)のみを別の説明画像に取り換えることができ、例えば、時期や、ユーザの属性に応じて、より適した情報を提示することができる。一例として、「御神札授与所」との情報を含む説明画像1540を、「七五三」、「○○家結婚式」、「今月の祭典と催し」等の他の情報を含む説明画像と容易に差し替えることができる。
【0054】
また、情報出力モジュール314は、VR360度動画内に形成されるVR空間に存在する立て看板1530(対象物の一例)の表面に所定の情報を出力する。このような構成によれば、VR360度動画の空間に馴染んだ状態で文字情報を表示することができる。
その結果、VR360度動画がストーリー性を有するものである場合などに、VR360度空間の世界感を損ねることなく、所定の情報を提示することができる。
【0055】
また立て看板1530の表面は平面であり、情報出力モジュール314は、VR360度動画内に形成されるVR空間の中の平面に所定の情報を出力する。このような構成によれば、所定の情報が文字情報を含む場合などに、立て看板1530を正面視したユーザが当該情報を視認しやすいという利点がある。
【0056】
(変形例)
図14は、VR360度動画の概念
図1400の他の例である。
例えば、上記実施例において、VR360度動画は3DoF形式であった。しかしながら、VR360度動画は3DoF形式に限定されない。例えば、このVR360度動画は、上記の3DoFに加えて、X,Y,Zの各軸に沿って動く(並進する)ことができる、いわゆる6DoF形式である。VR動画提供システム100は、6DoF形式の動画に対しても、VR360度画像とともに、所定の情報に関する画像を出力することができる。
【0057】
6DoF形式の動画の場合、ユーザの視点は、第1の時点で天球1420の中心1410にあるが、VR空間内で任意の方向に並進することができる。換言すると、ユーザの視点は、VR360度空間内の位置(0,0,0)から、位置(x2,v2,z2)に移動し得る。
【0058】
この場合、VR動画出力モジュール312は、位置(0,0,0)を視点とした所定の視野のVR360度画像を、位置(x2,v2,z2)を視点としたVR360度画像に変換して、VR360度画像を出力することができる。また、入力受付モジュール313がVR360度動画に関する入力を受け付けた場合、情報出力モジュール314は、位置(0,0,0)を視点とした所定の情報に関する画像を、位置(x2,v2,z2)を視点としたVR360度画像に変換して、VR360度画像を出力することができる。
【0059】
なお、移動後の視点の位置(x2,v2,z2)を中心とする全天球に対応するパノラマ画像が用意されている場合は、VR動画出力モジュール312は、当該パノラマ画像に基づいて位置(x2,v2,z2)を視点としたVR360度画像を出力することができる。
また、情報出力モジュール314は、位置(x2,v2,z2)を視点としたVR360度画像の所定の位置において所定の姿勢となるようにマッピングした所定の情報に関する画像を出力することができる。
実施例2のVR動画提供システム100において、情報出力モジュール314は、VR360度動画内に形成されるVR空間の中の曲面に所定の情報を出力する点で、実施例1と異なっている。実施例2のシステムのその他の構成については実施例1と同様であってよく、同一の構成および作用効果について、重ねての説明は省略する。
VR360度画像1720には被写体の一つとして、例えば、円柱形のビル1730が含まれる。ビル1730は縦に細長い円柱状をなし、その表面形態は巨視的には滑らかな曲面をなしている。動画情報1740は、例えば、このビル1730内の店舗に関する情報を示す動画であり、例えば、セール情報を示す広告動画である。この動画情報1740は、例えば、VR360度画像1720に重ねられるシート状のオブジェクトである。動画情報1740は、ビル1730の正面に貼着されているかのような位置および姿勢で、VR360度画像1720に重畳されるように構成されている。
例えば、ビル1730の表面の所定の部分を動画情報1740の表示領域(出力領域)に設定し、この領域に動画情報1740をマッピングする。例えば、表示領域の表面(曲面)に沿うように、オーバーレイ用のグリッドを所定の形状(表示領域の形状)に形成する。そしてこのグリッドに、動画情報1740の対応する動画コンテンツを嵌め込むとよい。
ここで、入力受付モジュール313は、VR360度画像1720にビル1730が出現するという事象に関する入力を受け付けた場合に、情報出力モジュール314が動画情報1740を出力(再生)するように構成されていてもよい。
このような構成によると、ユーザの視野1710にビル1730が出現するのに応じて、動画情報1740が出力されることになる。したがって、動画情報1740の情報を、最初からユーザに提示することができ、ユーザの興味をひきやすいという利点がある。
また、上記の構成によれば、VR動画出力モジュール312は、VR360度動画内に形成されるVR空間の中の3次元オブジェクト1850の曲面に、動画情報1740(所定の情報の一例)を出力することができる。
また、動画情報1740を視たユーザは、動画情報1740に含まれる所定の情報が、VR空間に存在するビル1730(対象物の一例)についての情報であることを直感的に把握することができる。
また、視点が移動しても、動画情報1740はビル1730と一体となって視点に対して移動するため、動画情報1740を視たユーザがVR空間に違和感を感じることが抑制されている。
その結果、VR360度動画がストーリー性を有するものや、現実に存在する環境についての動画である場合などに、VR360度空間の世界感を損ねることなく、所定の情報を提示することができる。
アイコン1750は、例えば、ヒトの人差し指をたてた絵柄であり、上記店舗に関連するインターネットサイトへ誘導可能な誘導リンク情報を含んでいることを示す。動画広告1740は、選択可能に構成されており、例えば、ユーザによるジョイスティック(入力装置の一例)やマウス等の操作によって選択することができるようになっている。なお、アイコン1750自体が誘導リンクになっていてもよい。
ユーザが入力装置を介して動画広告1740を選択すると、入力受付モジュール313は、動画広告1740やアイコン1750等の誘導リンク情報の選択を受け付ける(ステップ1020でYes)。
サイトアクセスモジュール315は、入力受付モジュール313が誘導リンク情報の選択を受け付けた場合に、誘導先のインターネットサイトに接続する(ステップ1030)。
そしてサイトアクセスモジュール315は、HMディスプレイに誘導先サイトを表示する。本実施例において、誘導先サイトは、管理サーバ101のEC販売モジュール213が販売手続きを管理するECサイトであり、ビル1730内の店舗で扱う商品を販売している。
なお、サイトアクセスモジュール315がHMディスプレイに誘導先サイトを表示した場合、VR動画出力モジュール312は、VR360度動画の進行を停止(例えば、一時停止状態)してもよい。
あるいは、例えば、サイトアクセスモジュール315は、HMディスプレイの全視野に誘導先サイトを表示し、VR動画出力モジュール312は、HMディスプレイにVR360度動画を出力しなくてもよい。
一方、VR動画出力モジュール312が、VR360度動画の再生を継続しながら、サイトアクセスモジュール315が、画面1920や画面2020を表示する構成であってもよい。
その後、出力内容に基づき、例えば、ユーザ端末102からの注文の確定および支払いの操作を受け付けると(ステップ1130)、EC販売モジュール213は、決済処理を行う(ステップ1135)とともに、ECサーバに対して商品を発注する(ステップ1140)。
EC販売モジュール213は、ECサーバから受注確認の連絡を受け取ると(ステップ1145)、ユーザ端末102に対して受注確認の情報を出力する(ステップ1150)。
その後、管理サーバ101の管理主体に商品が納品されると、管理主体は、商品をユーザに発送する。これにより、VR動画提供システム100を利用して商品の販売を行うことができる。
その後、出力内容に基づき、例えば、EC販売モジュール213は、ユーザ端末102から在庫のある商品について注文の確定情報および支払い情報を受け付けると(ステップ1220)、決済処理を行う(ステップ1230)。
そして、EC販売モジュール213は、ユーザ端末102に対して受注確認の情報を出力する(ステップ1240)。
管理サーバ101の管理主体は、その後、商品をユーザに発送する。このような手順によって、VR動画提供システム100を利用して商品の販売を行うことができる。
そして円柱形のビル1730は、VR360度動画内に形成されるVR空間の所定のロケーション(x4,y4,z5)に存在するとみなすことができる。そこで、ビル1730の所定の表面領域を動画情報1740の表示領域(出力領域)とし、この表示領域と同じ寸法、形状、表面形態を有する3次元オブジェクト1850をVR空間の位置(x4,y4,z5)にポイントクラウドにより仮想的に設定する。
また、動画情報1740についても、ポイントクラウドにより表現する。そして情報出力モジュール314は、このポイントクラウドデータをもとに、3次元オブジェクト1850の表面の表示領域に動画情報1740を表示する。
ポイントクラウドデータは、予め公知の手法によって圧縮符号化することができる。このとき、立体的な構造を持つポイントクラウドを、それを取り囲むバウンディングボックス1840に射影することができる。
また、ポイントクラウドデータは、必要に応じて適宜パッチに分割してもよい。各パッチは、バウンディングボックス1840矩形のテクスチャ領域に配置することで、2次元画像として扱うことができる。
圧縮に際しては、ポイントクラウドデータに加え、バウンディングボックスの射影面までの距離情報を示すジオメトリ、矩形のテクスチャ領域にパッチが配置されていることを示す占有率マップ(occupancy map)についても併せて圧縮符号化しておくとよい。
このような構成によると、情報出力モジュール314は、例えば、動画情報1740に関する圧縮データを、所定のタイミングでリアルタイムに復号して表示することができる。また、動画情報1740はポイントクラウドによりVR空間における画素の集合として表現されるため、メッシュを用いてマッピングする場合と比較して、なめらかな曲面に精度よく高画質に動画を表示することができる。これにより、データ量の大きい動画情報1740を負荷を抑制して出力することができる。
情報出力モジュール314は、イベント検知モジュール316が、所定のイベントの発生を検知した場合に、動画情報2120を再生するように構成されていてもよい。所定のイベントとは、これに限定されるものではないが、例えば、VR空間に存在する3次元対象物が所定の条件を満たすことであってよい。
所定の条件としては、例えば、VR空間に存在する対象物の出現や、対象物の所定の動作や、VR360度動画の出力時間等であってよい。これにより、例えば、ユーザの認識しやすいタイミングで動画情報2120を効果的に出力することができる。
本変形例では、VR360度動画の再生中に、イベントの発生を検知した場合に、情報を表示することができる。例えば、VR360度動画情報500の挿入時情報に記憶されているタイミングに達した場合に、動画広告の表示を開始することができる。この様にVR360度動画の再生中に、任意のタイミングで動画を再生開始することができ、VR動画の再生タイミングと関連させて、別の動画の再生タイミングを同期させることができる。例えば、情報出力モジュール314は、VR360度動画において神社で結婚式が行われるシーンを再生するタイミングで、結婚指輪の動画広告を同期させて再生することが可能となる。
なお、情報を表示する(若しくは動画の再生を開始する)タイミングは、挿入時情報に記憶されている。
情報出力モジュール314は、経時的に、異なる角度から見たサイコロ2230が表示される動画情報2220を、動画として出力する。このように、情報出力モジュール314は、ユーザの視線の移動に対応して、動画情報2220の出力面積や向き(姿勢)を調整して出力する。
これにより、ユーザは、動画情報2220があたかもVR360度動画において円柱形オブジェクト2210の表面に再生されているかのように、違和感なく視認することができる。その結果、VR360度空間の世界感を損ねることなく、所定の情報を提示することができる。
情報表示領域2360は、視覚イメージ2300では点線で示しているが、ユーザは視認することができないように構成されている。情報表示領域2360は、例えば、ユーザによる入力装置の操作等によって、情報表示領域2360のいずれかの位置を選択できるように構成されている。
変形例7における選択としては、これに限定されるものではないが、情報表示領域2360のいずれかの位置のクリック操作、ポインティング操作、オーバーカーソル操作(カーソルを重ねる操作)、選択を意味する音声入力等が挙げられる。
そして入力受付モジュール313は、ユーザによる情報表示領域2360の選択操作を受け付けることができるようになっている。また、情報出力モジュール314は、入力受付モジュール313が情報表示領域2360における選択を受け付けた場合に、ユーザが視認できるようにアイコン2350を出力する。
そして、ユーザが表示されたアイコン2350をさらに選択したときに、実施例2と同様に、入力受付モジュール313がアイコン2350(誘導リンク情報)の選択を受け付けるとともに、サイトアクセスモジュール315が、誘導先のインターネットサイトに接続するようになっている。
なお、隠しオブジェクトであるアイコン2350の表示条件は、情報表示領域2360が選択された場合に限定されない。例えば表示条件は、ユーザが所定の動作をすることであってよく、一例として、拍手すること、手,頭,足などの身体の一部を振ること、ジャンプすること、などであってよい。
このようなユーザの動きは、ジョイスティック、スマートウォッチ、スマートフォン等の携帯端末やウェアラブル端末等により入力することができる。
本例においてアイコン2350は、対象物2330の上であって、動画情報2340の周縁に出力されている。しかしながら、アイコン2350は、対象物2330の周縁に出力されてもよいし、また、動画情報2340の上に出力されてもよい。
対象物2330の周縁に出力することで、アイコン2350の視認性を高めることができる。動画情報2340の上に出力することで、当該アイコン2350が動画情報2340についての更なる情報を提供するものであることをユーザに推測させることができる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
上記実施例において、撮影済み動画はVR360度動画編集用ソフトウェアで変換し、ステレオ映像やVR360度動画に変換してVRヘッドマウントで視聴していた。これにより、没入感の高い環境でVR360度動画を視聴することができる。しかしながら、VR360度動画は、スマートフォンや、PCで視聴するように構成されていてもよい。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
なお、上述の実施例は少なくとも特許請求の範囲に記載の構成を開示している。