(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-05-20
(54)【発明の名称】VR360において視点切り替え能力を伝送する方法および装置
(51)【国際特許分類】
H04N 21/462 20110101AFI20220513BHJP
H04N 21/435 20110101ALI20220513BHJP
H04N 21/658 20110101ALI20220513BHJP
【FI】
H04N21/462
H04N21/435
H04N21/658
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021556304
(86)(22)【出願日】2019-03-20
(85)【翻訳文提出日】2021-11-16
(86)【国際出願番号】 CN2019078877
(87)【国際公開番号】W WO2020186478
(87)【国際公開日】2020-09-24
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】516180667
【氏名又は名称】北京小米移動軟件有限公司
【氏名又は名称原語表記】Beijing Xiaomi Mobile Software Co.,Ltd.
【住所又は居所原語表記】No.018, Floor 8, Building 6, Yard 33, Middle Xierqi Road, Haidian District, Beijing 100085, China
(74)【代理人】
【識別番号】100145403
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100132241
【氏名又は名称】岡部 博史
(72)【発明者】
【氏名】シャンペル,マリー-リュック ジョルジュ アンリ
【テーマコード(参考)】
5C164
【Fターム(参考)】
5C164MA08S
5C164MB13S
5C164SA26S
5C164TC11P
5C164UA31S
5C164UB10P
5C164UB41S
5C164UB81S
5C164UC21P
5C164YA12
5C164YA30
(57)【要約】
本開示の実施例は、VR360アプリケーションにおいて視点切り替え能力を伝送する方法および装置を提供する。当該VR360アプリケーションにおいて視点切り替え能力を伝送する方法は、VR360アプリケーションにおける視点間で切り替えを行うための構成を決定するステップと、構成をVR360アプリケーションに伝送するステップと、を含む。
【選択図】
図2
【特許請求の範囲】
【請求項1】
仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する方法であって、
VR360アプリケーションにおける視点間で切り替えを行うための構成を決定するステップと、
前記VR360アプリケーションにおける視点間で切り替えを行うための前記構成を前記VR360アプリケーションに伝送するステップと、を含む、
視点切り替え能力を伝送する方法。
【請求項2】
前記構成は、ビューポートまたは切り替えトランジションに付けられたISOBMFFボックスである、
請求項1に記載の方法。
【請求項3】
前記構成は、
特定視点切り替えの初期ビューポートを示すビューポートパラメータと、
特定視点切り替えの特定トランジションエフェクトを示すトランジションエフェクトパラメータと、
視点切り替えのための少なくとも1つのアクティベーションウィンドウを示すアクティベーションウィンドウパラメータと、
特定視点切り替えにわたってデスティネーションメディア時間における再生の開始位置を示す時間切り替えパラメータと、
のいずれかまたはその任意の組み合わせを含む、
ことを特徴とする請求項1または2に記載の方法。
【請求項4】
前記ビューポートパラメータは、
デスティネーション視点のための初期ビューポートが構成されているか否かを示すビューポートフラグを含む、
請求項3に記載の方法。
【請求項5】
前記構成は複数の切り替え可能性をさらに含み、各切り替え可能性パラメータが最大1つの視点を持ち、
当該パラメータは、
可能な視点切り替えの数を示す数字パラメータと、
視点切り替え中のデスティネーション視点のIDを示すIDパラメータと、
のうちの少なくとも1つのパラメータを含む、
請求項1に記載の方法。
【請求項6】
前記トランジションエフェクトパラメータは、
トランジションエフェクトが構成されているか否かを示すトランジションエフェクトフラグと、
特定切り替えのトランジションエフェクトのタイプを示すトランジションエフェクトタイプフラグと、
特定トランジションエフェクトビデオが記憶された位置を示すトランジションエフェクトインジケータと、
のうちの少なくとも1つのパラメータを含む、
請求項3に記載の方法。
【請求項7】
当該時間切り替えパラメータは、
タイムオフセットが構成されているか否かを示すタイムライン切り替えオフセットフラグと、
オフセットの数値を示すオフセットインジケータと、
オフセットの開始点を示す現在関連のフラグと、のうちの少なくとも1つのパラメータを含む、
請求項3に記載の方法。
【請求項8】
当該アクティベーションウィンドウパラメータは、
切り替えトランジションのための最小時間が構成されているか否かを示す最小時間フラグであって、最小時間が構成されている場合、トランジションが当該最小時間後にのみアクティブ化可能である、最小時間フラグと、
最小時間の数値を示す最小時間パラメータと、
切り替えトランジションのための最大時間が構成されているか否かを示す最大時間フラグであって、最大時間が構成されている場合、トランジションが当該最大時間前にのみアクティブ化可能である最大時間フラグと、
最大時間の数値を示す最大時間パラメータと、のうちの少なくとも1つのパラメータを含む、
請求項3に記載の方法。
【請求項9】
当該アクティベーションウィンドウパラメータは、再生のタイムメタデータトラックに付けられる、
請求項8に記載の方法。
【請求項10】
仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する方法であって、
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得するステップと、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うステップと、を含む、
仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する方法。
【請求項11】
前記構成は、ビューポートまたは切り替えトランジションに付けられたISOBMFFボックスである、
請求項10に記載の方法。
【請求項12】
前記構成は、
特定視点切り替えの初期ビューポートを示すビューポートパラメータと、
特定視点切り替えの特定トランジションエフェクトを示すトランジションエフェクトパラメータと、
視点切り替えのための少なくとも1つのアクティベーションウィンドウを示すアクティベーションウィンドウパラメータと、
特定視点切り替えにわたってデスティネーションメディア時間における再生の開始位置を示す時間切り替えパラメータと、
のいずれかまたはその任意の組み合わせを含む、
請求項10または11に記載の方法。
【請求項13】
前記ビューポートパラメータは、
デスティネーション視点のための初期ビューポートが構成されているか否かを示すビューポートフラグを含む、
請求項12に記載の方法。
【請求項14】
前記構成は複数の切り替え可能性をさらに含み、各切り替え可能性パラメータが最大1つの視点を持ち、当該パラメータは、
可能な視点切り替えの数を示す数字パラメータと、
視点切り替え中のデスティネーション視点のIDを示すIDパラメータと、のうちの少なくとも1つのパラメータを含む、
請求項12に記載の方法。
【請求項15】
前記トランジションエフェクトパラメータは、
トランジションエフェクトが構成されているか否かを示すトランジションエフェクトフラグと、
特定切り替えのトランジションエフェクトのタイプを示すトランジションエフェクトタイプフラグと、
特定トランジションエフェクトビデオが記憶された位置を示すトランジションエフェクトインジケータと、のうちの少なくとも1つのパラメータを含む、
請求項12に記載の方法。
【請求項16】
前記時間切り替えパラメータは、
タイムオフセットが構成されているか否かを示すタイムライン切り替えオフセットフラグと、
オフセットの数値を示すオフセットインジケータと、
オフセットの開始点を示す現在関連のフラグと、のうちの少なくとも1つのパラメータを含む、
請求項12に記載の方法。
【請求項17】
当該アクティベーションウィンドウパラメータは、
切り替えトランジションのための最小時間が構成されているか否かを示す最小時間フラグであって、最小時間が構成されている場合、トランジションが当該最小時間後にのみアクティブ化可能である最小時間フラグと、
最小時間の数値を示す最小時間パラメータと、
切り替えトランジションのための最大時間が構成されているか否かを示す最大時間フラグであって、最大時間が構成されている場合、トランジションが当該最大時間前にのみアクティブ化可能である最大時間フラグと、
最大時間の数値を示す最大時間パラメータと、のうちの少なくとも1つのパラメータを含む、
請求項12に記載の方法。
【請求項18】
当該アクティベーションウィンドウパラメータは、再生のタイムメタデータトラックに付けられる、
ことを特徴とする請求項17に記載の方法。
【請求項19】
仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する装置であって、
少なくとも1つのメモリと、
少なくとも1つのプロセッサであって、命令を実行し、
VR360アプリケーションにおける視点間で切り替えを行うための構成を決定し、
前記構成を前記VR360アプリケーションに伝送するように構成される前記少なくとも1つのプロセッサと、を含む、
仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する装置。
【請求項20】
仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する装置であって、
少なくとも1つのメモリと、
少なくとも1つのプロセッサであって、命令を実行し、
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得し、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うように構成される前記少なくとも1つのプロセッサと、を含む、
仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する装置。
【請求項21】
コンピュータ読み取り可能な記憶媒体であって、命令を記憶しており、当該命令は、プロセッサによって呼び出されて実行されるときに、
仮想現実360(VR360)アプリケーションにおける視点間で切り替えを行うための構成を決定することと、
前記構成を前記VR360アプリケーションに伝送することと、
を含む動作を、前記プロセッサにさせる、
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項22】
コンピュータ読み取り可能な記憶媒体であって、命令を記憶しており、当該命令は、プロセッサによって呼び出されて実行されるときに、
仮想現実360(VR360)アプリケーションにおける視点間で切り替えを行うための構成を取得することと、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うことと、
を含む動作を、前記プロセッサにさせる、
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示の実施例は、一般的に、仮想現実360(Virtual Reality 360、VR360)技術に関し、特に、VR360において視点切り替え能力を伝送する方法および装置に関する。
【背景技術】
【0002】
OMAF(Omnidirectional Media Format、全方向性メディアフォーマット)によれば、360°ビデオ、画像、オーディオ、および関連する同期テキストに注目される、全方向性メディアアプリケーションを実現できるメディアフォーマットが定義される。OMAFに以下の内容を含むが、これらに限定されない。
1).単位球面および三次元空間を含む座標系
2).球形のビデオシーケンスまたは画像をそれぞれに2次元の矩形のビデオシーケンスまたは画像に変換するために用いられる投影および矩形領域パッキング方法
3).ISO/IECで規定されているISOBMFF(ISO Base Media File Format、ISO基本メディアファイルフォーマット)を利用して全方向性メディアおよび関連メタデータを記憶すること
4).ISO/IEC 23009-1で規定されているHTTP上での動的適応型ストリーミング(DASH)、ISO/IEC 23008-1で規定されているMPEGメディア伝送(MMT)などのメディアストリーミングシステムにおける全方向性メディアのカプセル化、シグナリング伝送、ストリーミング伝送
5).メディアプロファイルとプレゼンテーションプロファイルは、メディアコーデックに相互運用性および一貫性という重要なポイント、および全方向性メディアコンテンツの圧縮、ストリーミング、および再生に使用できるメディアエンコーディングとカプセル化構成を提供すること
【0003】
全方向性ビデオは、360°ビデオとも呼ばれる一般的な全方向性メディアアプリケーションの1つである。全方向性ビデオは、典型的には、360°のシーンをカバーできる複数のカメラで撮影することができる。従来のメディアアプリケーションフォーマットと比較して、多様な撮影およびビデオ投影技術により、全方向性ビデオのエンドツーエンド技術(撮影から再生まで)が分断されやすくなっている。撮影側では、現在、複数の異なるタイプのビデオカメラが360°ビデオを撮影する能力を有しており、再生側でも360°ビデオを再生できる処理能力の異なる複数の異なる装置が存在している。
【0004】
全方向性メディアのコンテンツとデバイスの分断を避けるために、OMAF標準ISO/IEC 23090-2(MPEG-I part2)は、全方向性メディアアプリケーションの標準フォーマットを詳細に説明している。
【0005】
全指向性メディアコンテンツが、ヘッドマウントプレーヤまたはヘッドマウントレシーバなどのOMAFプレーヤに対して提示される場合、ユーザがメディアを撮影している時間および場所にいるかのように、ユーザの視線方向に対応するメディアの一部のみが提示される。
【0006】
図1は、部屋A、部屋B、部屋Cの3つの部屋を有する1つのVR360アプリケーションで発生するシナリオを例示的に示す。ユーザは、各部屋について、
図1に示すような視点(viewpoint、ビューポート)位置で全方位映像を再生することができる。各部屋の視点(
図1に示す視点A、視点B、視点C)は、当該360°映像が提示される範囲の中心である。これは、ユーザの位置としても理解され得る。
【0007】
視点ごとに、推奨ビューポート(recommended viewport)/デフォルトビューポート(default viewport)が予め定義されている。
図1に示すように、当該推奨視点/デフォルト視点のそれぞれはビューポートA、ビューポートB、ビューポートCである。
【0008】
ビューポート(viewport)は、VR360ビデオの一部である。例えば、ビジュアルビューポートは、ユーザがVR360ビデオの一部を実際に見た場所である。ビューポートはユーザの視線方向として理解され得る。
【0009】
現在、単一のOMAFにおいて異なる視点間の切り替えは、MPEG-Iではサポートされていない。
【発明の概要】
【発明が解決しようとする課題】
【0010】
本開示は、同一のVR360アプリケーションにおいて異なる視点間で切り替えを行う技術案を提供する。
【課題を解決するための手段】
【0011】
本発明の実施例の第1の態様によれば、本出願の実施例は、方法を提供する。当該方法は、
VR360アプリケーションにおける視点間で切り替えを行うための構成を決定するステップと、
前記VR360アプリケーションにおける視点間で切り替えを行うための前記構成を前記VR360アプリケーションに伝送するステップと、を含む。
【0012】
本発明の実施例の第2の態様によれば、本出願の実施例は、方法を提供する。当該方法は、
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得するステップと、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うステップと、を含む。
【0013】
本発明の実施例の第3の態様によれば、本出願の実施例は、装置を提供する。当該装置は、
VR360アプリケーションにおける視点間で切り替えを行うための構成を決定するように構成される決定モジュールと、
当該構成をVR360アプリケーションに伝送するように構成される伝送モジュールと、を含む。
【0014】
本発明の実施例の第4の態様によれば、本出願の実施例は、装置を提供する。当該装置は、
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得するように構成される取得モジュールと、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うように構成される切り替えモジュールと、を含む。
【0015】
本発明の実施例の第5の態様によれば、本出願の実施例は、装置を提供し、当該装置は、
少なくとも1つのメモリと、
少なくとも1つのプロセッサであって、命令を実行し、
VR360アプリケーションにおける視点間で切り替えを行うための構成を決定し、
前記構成を前記VR360アプリケーションに伝送するように構成される少なくとも1つのプロセッサと、を含む。
【0016】
本発明の実施例の第6の態様によれば、本出願の実施例は、装置を提供し、当該装置は、
少なくとも1つのメモリと、
少なくとも1つのプロセッサであって、命令を実行し、
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得し、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うように構成される少なくとも1つのプロセッサと、を含む。
【0017】
本発明の実施例の第7の態様によれば、本出願の実施例は、コンピュータ読み取り可能な記憶媒体を提供する。当該コンピュータ読み取り可能な記憶媒体は命令を記憶している。当該命令は、プロセッサによって呼び出されて実行されるときに、
仮想現実360(VR360)アプリケーションにおける視点間で切り替えを行うための構成を決定することと、
前記構成を前記VR360アプリケーションに伝送することと、
を含む動作を、前記プロセッサにさせる。
【0018】
本発明の実施例の第8の態様によれば、本出願の実施例は、コンピュータ読み取り可能な記憶媒体を提供する。当該コンピュータ読み取り可能な記憶媒体は命令を記憶している。当該命令は、プロセッサによって呼び出されて実行されるときに、
仮想現実360(VR360)アプリケーションにおける視点間で切り替えを行うための構成を取得することと、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うことと、
を含む動作を、前記プロセッサにさせる。
【0019】
本開示の実施例の他の特徴および利点は、本開示の実施例の原理を例示的に示す図面と併せて読むと、以下の特定の実施形態の説明によっても明らかになるであろう。
本発明の実施例は、例示的な形態で示され、以下に添付図面を参照してその利点を詳細に説明する。
【図面の簡単な説明】
【0020】
【
図1】シーン内に多視点および多ビューポートを有する例を例示的に示す図
【
図2】本開示の実施例の方法200を例示的に示すフローチャート
【
図3a】視点間で切り替えを行うアクティベーションウィンドウの一例を示す図
【
図3b】視点間で切り替えを行うアクティベーションウィンドウの一例を示す図
【
図3c】視点間で切り替えを行うアクティベーションウィンドウの一例を示す図
【
図3d】視点間で切り替えを行うアクティベーションウィンドウの一例を示す図
【
図3e】視点間で切り替えを行うアクティベーションウィンドウの一例を示す図
【
図3f】視点間で切り替えを行うアクティベーションウィンドウの一例を示す図
【
図4a】視点間で切り替えを行うビューポートの一例を示す図
【
図4b】視点間で切り替えを行うビューポートの一例を示す図
【
図4c】視点間で切り替えを行うビューポートの一例を示す図
【
図4d】視点間で切り替えを行うビューポートの一例を示す図
【
図5】トランジション・切り替え時の放送時間の一例を示す図
【
図7】本開示の実施例の方法700を例示的に示すフローチャート
【
図8】本開示の実施例を実現するのに適した装置800を例示的に示すブロック図
【
図9】本開示の実施例を実現するのに適した装置900を例示的に示すブロック図
【
図10】本開示の実施例を実現するのに適した装置1000を例示的に示すブロック図
【
図11】本開示の実施例を実現するのに適した装置1100を例示的に示すブロック図
【具体的な実施形態】
【0021】
ここで、本明細書に記載されたテーマについて、いくつかの例示的な実施形態を参照して説明する。これらの実施形態は、当業者が本明細書に記載されたテーマをよりよく理解し且つそれを達成するためだけに検討され、テーマの範囲を制限するものではないことを理解されたい。
【0022】
本開示で使用される用語は、特定の実施形態を説明することのみを意図しており、例示的な実施形態を限定することを意図しているわけではない。本開示で使用されるように、単数形「1」、「1つ」、および「当該」は、文脈によって明示的に示されていない限り、複数形も含むことを意図している。「含む」および/または「含んでいる」という用語は、本明細書で使用される時、記載された特徴、全体、ステップ、動作、要素、および/またはコンポーネントの存在を特定するが、1つまたは複数の他の特徴、全体、ステップ、動作、要素、コンポーネント、および/またはそれらの組み合わせの存在または追加を除外しないことも理解されたい。
【0023】
なお、いくつかの代替の実施形態では、図に記載された機能および動作は、図に記載された順序に限定されなくてもよい。例えば、関連する機能および動作に基づいて、2つの連続した機能または動作は、実際に同時に実行され得て、場合によっては逆順に実行され得る。
【0024】
本開示の実施例は、様々な装置および/またはシステムに適用することができる。飛躍的な発展に基づいて、それは当然、将来のタイプの技術、システム、および装置においても提示され得る。なお、本開示の保護範囲は、上述した装置および/またはシステムに限定されてはならない。
【0025】
本開示で使用されるように、「VR360プレーヤ」という用語は、VR360メディアを再生することができるデバイス、例えば、ヘッドマントプレーヤ、イヤホンおよびその他のデバイスを意味する。VR360メディアは、360°ビデオ、全方向メディア、または全方向メディアビデオとも呼ばれる全方向ビデオデータストリームを意味する。本開示のいくつかの実施例では、当該VR360メディアはOMAFメディアであってもよい。本開示のいくつかの実施例では、当該VR360プレーヤはOMAFプレーヤであってもよい。当該「VR360アプリケーション」という用語は、少なくとも1つの視点を含むアプリケーションを意味し、当該VR360プレーヤは、視点間で切り替えることができ、例えば、VR360は、1つの視点(ソース視点と呼ばれる)から別の視点(デスティネーション視点と呼ばれる)に切り替えることができる。当業者は、VR360アプリケーションが、VR360プレーヤまたはOMAFプレーヤのような任意の必要なデバイスを介して生成され、任意の必要なデバイスによって再生され得ることを理解することができる。
【0026】
本開示で使用されるように、「視点切り替え」という用語は、VR360アプリケーションにおいて、VR360プレーヤがソース視点からデスティネーション視点に切り替えることを意味する。
【0027】
本開示のいくつかの実施例では、以下のISOBMFF構造が定義される。
ViewpointPosStruct()は、全座標系における視点の位置を定義しており、GPS情報を有することができ、
ViewpointGlobalCoordinateSysRotationStruct()は、全座標系における視点の方向を定義しており、
ViewpointGlobalCoordinateSysRotationStruct()は、視点をグループ化することが可能であり、および
ViewpointEntry()は、各視点の一意の視点id(viewpoint_id)を定義している。
【0028】
視点間のすべての可能なトランジションを説明するために、本開示では、少なくとも1つの視点または切り替え時のトランジションの存在に関連付けられた新しい構成を提案する。したがって、VR360アプリケーション内のストーリーラインにおいて、それぞれの可能な経路を説明することが可能になる。本開示のいくつかの実施例では、当該構成は、視点またはハンドオフトランジションに関連付けられた追加のISOBMFF構造とすることができる。
【0029】
以下に、本開示のいくつかの例示的な実施例を図面に基づいて説明する。
【0030】
図2aは、本開示の実施例に基づく方法200の流れを例示的に示す。当該方法200は、VR360VR360アプリケーションを生成するための装置または他の同様の装置によって実現することができる。
【0031】
ステップ201において、VR360アプリケーションにおける視点間で切り替えを行うための構成を決定し、
ステップ202において、構成をVR360アプリケーションに伝送する。
【0032】
いくつかの実施例では、当該構成は、視点上または切り替えトランジション上に構成された少なくとも1つのボックスによって実現することができる。いくつかの実施例では、当該構成が複数のボックスによって実現される場合、その中のいくつかのボックスは視点上に構成され得て、いくつかのボックスは切り替えトランジション上に構成され得る。
【0033】
いくつかの実施例では、当該ボックスはISOBMFFボックスまたは他の任意の類似フォーマットであってもよい。当業者は、当該構成が任意の適切なフォーマットで実施され得ることを理解することができる。
【0034】
いくつかの実施例では、当該構成は、
特定視点切り替えの初期ビューポートを示すビューポートパラメータ(viewport parameter)と、
特定視点切り替えの特定トランジションエフェクトを示すトランジションエフェクトパラメータ(transition effect parameter)と、
視点切り替えのうちの少なくとも1つのアクティベーションウィンドウを示すアクティベーションウィンドウパラメータ(activation window parameter)と、
特定視点切り替えにわたってデスティネーションメディア時間における再生タイムラインの開始位置を示す時間切り替えパラメータと、のいずれかまたはその任意の組み合わせを含む。
【0035】
いくつかの実施例では、当該4つのパラメータは、個別に構成され得て、または組み合わせて構成され得る。いくつかの実施例では、上記いずれかのパラメータまたはパラメータの組み合わせが、1つまたは複数のボックスによって実現され得る。
【0036】
いくつかの実施例では、当該ビューポートパラメータは、特定の視点切り替えトランジションにおける初期ビューポートの情報を示す。いくつかの実施例では、ビューポートパラメータが構成されている場合、当該特定の初期ビューポートは、視点切り替えトランジション後に使用される。そうでない場合は、推奨ビューポートが使用されるか、デフォルトビューポートが使用される。
【0037】
いくつかの実施例では、当該トランジションエフェクトパラメータは、視点切り替えトランジションにおけるエフェクトメディアの情報を示す。当該エフェクトメディアは、ビデオまたは既知の現実的なトランジション、例えば、暗闇に消えること、鏡像エフェクト、はためき、または他のものであってもよい。いくつかの実施例では、当該変換は、予め定義されたリスト内のIDによって識別され得て、または視点切り替えトランジションの間に再生される内部または外部のビデオストリームを示すISOMBFFトラックid(track_id)によって識別され得る。いくつかの実施例では、VR360プレーヤは、当該切り替えエフェクトパラメータが設けられている場合には、特定の視点切り替えトランジション時に、当該切り替えエフェクトパラメータに基づいて特定のトランジションエフェクトを再生し、そうでない場合、当該VR360プレーヤは、切り替えエフェクトを一切再生せず、デスティネーション視点に関連付けられたVR360ビデオを即座に再生する。
【0038】
いくつかの実施例では、当該アクティベーションウィンドウパラメータは、トランジションがアクティブ化された時に現在の視点メディアタイムラインに関連付けられた少なくとも1つのアクティベーションウィンドウを示す。いくつかの実施例では、当該アクティベーションウィンドウパラメータが構成されている場合、当該VR360プレーヤは、アクティベーションウィンドウ内でのみデスティネーション視点に切り替えることができる。そうでない場合、VR360は、タイムラインの任意の時点でデスティネーション視点に切り替えることができる。
【0039】
いくつかの実施例では、当該時間切り替えパラメータは、視点切り替えトランジション後にデスティネーション視点のVR360メディアのタイムラインのどこから再生されるかを示す。いくつかの実施例では、オフセットが構成されている場合、当該VR360プレーヤは、デスティネーション視点に切り替えた後、当該オフセットからVR360メディアを再生する。そうでない場合、当該VR360プレーヤは、デスティネーション視点に切り替えた後に、当該デスティネーション視点のVR360メディアの絶対位置t0または相対位置tcurrからVR360メディアを再生する。いくつかの実施例では、絶対位置t0とは、デスティネーション視点メディアタイムラインの開始位置を意味し、相対位置tcurrとは、デスティネーション視点メディアタイムラインの現在時刻(current time)を意味する。当該「現在時刻」とは、視点切り替えトランジションがアクティブになった時点を意味する。
【0040】
いくつかの実施例では、当該時間切り替えパラメータは、
タイムオフセットが構成されているか否かを示すタイムライン切り替えオフセットフラグ(timeline-switching-offset flag)と、
オフセットの数値を示すオフセットインジケータ(offset indicator)と、
オフセットの開始点を示す現在関連のフラグ(relative-to-current flag)と、のうちの少なくとも1つのパラメータを含む。
【0041】
いくつかの実施例では、当該絶対オフセットは、当該オフセットが視点メディアタイムラインの開始点に対するオフセットであることを意味するが、相対オフセットは、当該オフセットが視点メディアタイムラインの現在時刻に対するオフセットであることを意味する。
【0042】
一実施例では、タイムライン切り替えオフセットフラグtimeline-switching-offset flag=0且つ当該現在関連のフラグrelative-to-current flag=0の場合、デスティネーション視点に関連付けられた当該視点メディアは、切り替えトランジション後、当該視点メディアのタイムラインの開始点である時間t0から再生する。タイムライン切り替えオフセットフラグtimeline-switching-offset flag=0且つ当該現在関連のフラグrelative-to-current flag=1の場合、デスティネーション視点に関連付けられた当該視点メディアは、切り替えトランジション後、当該視点メディアのタイムラインの現在の時刻である時間tcurrから再生する。当該「現在時刻」とは、視点切り替えトランジションがアクティブになった時点を意味する。タイムライン切り替えオフセットフラグtimeline-switching-offset flag=1且つ当該現在関連のフラグrelative-to-current flag=0の場合、デスティネーション視点に関連付けられた当該視点メディアは、切り替えトランジション後、時間t0+offsetから再生する。タイムライン切り替えオフセットフラグtimeline-switching-offset flag=1且つ当該現在関連のフラグrelative-to-current flag=1の場合、デスティネーション視点に関連付けられた当該視点メディアは、切り替えトランジション後、時間tcurr+offsetから再生する。
【0043】
図3aは、部屋A、部屋B、部屋Cの3つの部屋を有するVR360アプリケーションで発生するシナリオを例示的に示す。ユーザは、
図3aに示された視点およびビューポートでVR360メディアを再生することができる。いくつかの実施例によれば、3つのISOBMFFボックスがそれぞれに3つの視点に付けられているか、または4つのSOBMFFボックスがそれぞれに4つの可能な切り替えトランジションに付けられている。当該4つの可能なトランジションは、それぞれに視点Aから視点Bへの切り替え、視点Bから視点Aへの切り替え、視点Aから視点Cへの切り替え、視点Cから視点Aへの切り替えである。当業者は、当該ISOBMFFが視点のいくつかにのみ付けられてもよく、または切り替えトランジションのいくつかにのみ付けられてもよく、またはISOBMFFボックスのいくつかが視点に付けられ、ISOBMFFボックスのいくつかが切り替えトランジションに付けられてもよいことを理解する。
【0044】
いくつかの実施例では、当該ビューポートパラメータは、
デスティネーション視点に初期ビューポートが構成されているか否かを示すビューポートフラグ(viewport flag)を含む。
【0045】
いくつかの実施例では、当該ビューポートフラグは、デスティネーション視点が初期ビューポートを有するか否かを示す。初期ビューポートがある場合、VR360プレーヤは、視点切り替えトランジション後に、提供された初期ビューポートから視点に関連付けられたVR360メディアを再生する。いくつかの実施例では、当該VR360プレーヤは、初期ビューポートがない場合、視点切り替えトランジション後に、推奨ビューポートまたはデフォルトビューポートから視点に関連付けられたVR360メディアを再生する。
【0046】
図3aは、3つの視点のそれぞれの推奨ビューポート/デフォルトビューポート、すなわち、ビューポートA、ビューポートB、ビューポートCを例示的に示す。いくつかの実施例では、当該初期ビューポートは、推奨ビューポート/デフォルトビューポートと同じであってもよく、異なっていてもよい。
【0047】
図3b、3c、3d、3eおよび3fは、本開示の実施形態に基づくVR360アプリケーションを例示的に示す。
【0048】
図3bに示すいくつかの実施例では、ユーザが視点Bから視点Aに切り替えた時、初期ビューポートを有していない場合、視点Aにおけるユーザのビューポートは、推奨ビューポート/デフォルトビューポート、すなわちビューポートAである。しかし、実シーンでは、ユーザの視線方向は、
図3bに示すようなビューポートBAの方向である。本開示のいくつかの実施例では、初期ビューポート、すなわち、ビューポートBAは、視点Bから視点Aに切り替えられるビューポートとして予め定義されている。当該初期ビューポートBAは、初期ビューポートがビューポートフラグによって構成されている場合、ユーザが部屋Bと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。
【0049】
図3cに示すいくつかの実施例では、ユーザが視点Cから視点Aに切り替えた時、初期ビューポートを有していない場合、視点Aにおけるユーザのビューポートは、推奨ビューポート/デフォルトビューポート、すなわち、ビューポートAである。しかし、実シーンでは、ユーザの視線方向は、
図3cに示すようなビューポートCAの方向である。本開示のいくつかの実施例では、初期ビューポート、すなわち、ビューポートCAは、視点Cから視点Aに切り替えられるビューポートとして予め定義されている。当該初期ビューポートCAは、ビューポートフラグによって構成されている場合、ユーザが部屋Cと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。
【0050】
図3dに示すいくつかの実施例では、ビューポートBAおよびビューポートCAという2つの初期ビューポートが予め定義されている。本開示のいくつかの実施例では、2つのビューポートが視点A上に配置されるか、または2つの切り替えトランジション上にそれぞれに配置される。当業者であれば、いくつかの実施例では、
図3bまたは
図3cに示すように、初期ビューポートのうちの1つのみを構成できることを理解することができる。
【0051】
図3dを参照すると、異なる切り替えは、異なる初期ビューポートに対応する可能性があり、例えば、視点Bから視点Aへの切り替えは、視点Aに関連付けられた視点BAに対応し、視点Cから視点Aへの切り替えは、視点Aに関連付けられた視点CAに対応する。
【0052】
図3eに示すいくつかの実施例では、ユーザが視点Aから視点Bに切り替えた時、初期ビューポートを有していない場合、視点Bにおける当該ユーザのビューポートは、推奨ビューポート/デフォルトビューポート、すなわち、ビューポートBである。しかし、実シーンでは、ユーザの視線方向は、
図3eに示すようなビューポートABの方向である。本開示のいくつかの実施例では、初期ビューポート、すなわち、ビューポートABは、視点Aから視点Bに切り替えられるビューポートとして予め定義されている。当該初期ビューポートCAは、ビューポートフラグによって構成されている場合、ユーザが部屋Bと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。
【0053】
図3fに示すいくつかの実施例では、ユーザが視点Aから視点Cに切り替えた時、初期ビューポートを有していない場合、視点Cにおける当該ユーザのビューポートは、推奨ビューポート/デフォルトビューポート、すなわち、ビューポートCである。本実施例では、切り替えの初期ビューポートは、推奨ビューポート/既定ビューポートと同じである。いくつかの実施例では、ユーザの真の視線方向が推奨ビューポート/既定ビューポートと異なる場合、ユーザの真の視線方向と同じ初期ビューポートを予め定義すべきである。
【0054】
当業者であれば、いくつかの実施例では、初期ビューポートは、真の視線方向に基づいて予め定義され得ることを理解する。
【0055】
以上の実施例に基づいて、当業者であれば、同じ視点の各トランジションに対応する初期ビューポートが、例えば、ビューポートBAおよびビューポートCAのように、異なっていてもよいことを理解する。
【0056】
前記構成は複数の切り替え可能性をさらに含み、各切り替え可能性パラメータが最大1つの視点を持つ。当該パラメータは、
視点切り替えの数を示す数字パラメータ(number parameter)と、
視点切り替え中のデスティネーション視点のIDを示すIDパラメータ(ID parameter)と、のうちの少なくとも1つのパラメータを含む。
【0057】
いくつかの実施例では、各視点は、例えば、Viewpoint Entry()であるISOBMFF構造によって決定される視点id(Viewpoint_id)を有する。当該視点idは視点を分割する。IDパラメータは、可能なデスティネーション視点の視点IDを示す。当該数字パラメータは、現在の視点の可能な視点切り替えの数を示す。
【0058】
いくつかの実施例では、当該トランジションエフェクトパラメータは、
トランジションエフェクトが構成されているか否かを示すトランジションエフェクトフラグ(transition effect flag)と、
特定切り替えのトランジションエフェクトのタイプを示すトランジションエフェクトタイプフラグ(transition effect type flag)と、
特定トランジションエフェクトビデオが記憶された位置を示すトランジションエフェクトインジケータ(transition effect indicator)と、のうちの少なくとも1つのパラメータを含む。
【0059】
いくつかの実施例では、当該トランジションエフェクトは、予め定義されたビデオまたはオーディオ、または、切り替えトランジションが実行されている間に再生することができる他の任意の適切なメディアとすることができる。
【0060】
いくつかの実施例では、トランジションエフェクトのタイプは、オーディオであってもよく、または、暗闇に消えること、鏡像エフェクト、はためき、またはその他のような既知の現実的なトランジションであってもよい。当該トランジションエフェクトは、トランジションエフェクトタイプフラグ(transition effect type flag)によって示すことができる。
【0061】
いくつかの実施例では、当該トランジションエフェクトインジケータは、切り替えトランジションが行われている間に再生することができるビデオに対応するトラックIDを含む。当該トラックIDは、トランジション時に再生されるメディアを識別する。いくつかの実施例では、当該メディアは、VR360コンテンツに格納される。一部のメディアでは、当該トランジションエフェクトインジケータには、トランジション時に再生されるメディアのURL(Uniform Resource Locator、統一資源位置指定子)が含まれている。当業者であれば、当該トランジションエフェクトフラグが、トラックID、URL、またはメディアをアドレス指定することができる任意の既存の技術を含むことができることを理解する。
【0062】
いくつかの実施例では、当該アクティベーションウィンドウパラメータは、
切り替えトランジションのための最小時間が構成されているか否かを示す最小時間フラグ(minimum time flag)であって、最小時間が構成されている場合、トランジションが当該最小時間後にのみアクティブ化可能である最小時間フラグと、
最小時間の数値を示す最小時間パラメータ(minimum time parameter)と、
切り替えトランジションのための最大時間が構成されているか否かを示す最大時間フラグ(maximum time flag)であって、最大時間が構成されている場合、トランジションが当該最大時間前にのみアクティブ化可能である最大時間フラグと、
最大時間の数値を示す最大時間パラメータ(maximum time parameter)と、のうちの少なくとも1つのパラメータを含む。
【0063】
いくつかの実施例では、当該アクティベーションウィンドウパラメータは、トランジションがアクティブ化された現在の視点メディアタイムラインに対するものである。いくつかの実施例では、切り替えトランジションは、現在の視点メディアタイムラインの任意の時点でアクティブ化することができる。
【0064】
図4a~4dは、本開示のいくつかの実施例を示す。
図4aでは、最小時間フラグと最大時間フラグが構成されている。当該視点メディアタイムライン上の最小時間および最大時間は、視点切り替えのアクティベーションウィンドウを決定する。いくつかの実施例では、
図4aに示すように、アクティベーションウィンドウが現在の視点メディアタイムライン内に予め定義される。いくつかの実施例では、
図4bに示されるように、タイミングメタデータトラック内のViewpoint Switching Struct()を利用することによって、現在の視点のメディアタイムライン上に複数のアクティベーションウィンドウを予め定義することができる。
【0065】
いくつかの実施例では、
図4cに示すように、視点メディアのタイムライン上の最小時間のみが構成され、最大時間は構成されない。これは、当該アクティベーションウィンドウの開始時間のみが最小時間パラメータによって予め構成されており、終了位置は制限されていないことを意味する。言い換えれば、アクティベーションウィンドウの開始点は、当該最小時間であり、終点は、当該視点のメディアタイムラインの終点である。
【0066】
いくつかの実施例では、
図4dに示すように、視点メディアのタイムライン上の最大時間のみが設定され、最小時間は設定されない。これは、当該アクティベーションウィンドウの終了位置のみが最大時間パラメータによって予め定義されており、開始位置は制限されていないことを意味する。言い換えれば、アクティベーションウィンドウの開始点は、当該視点のメディアタイムラインの開始点であり、終点は、当該視点のメディアタイムラインの最大時間である。
【0067】
いくつかの実施例では、当該時間切り替えパラメータは、
タイムオフセットが構成されているか否かを示すタイムライン切り替えオフセットフラグ(timeline-switching-offset flag)と、
オフセットの数値を示すオフセットインジケータ(offset indicator)と、
オフセットの開始点を示す現在関連のフラグ(relative-to-current flag)と、のうちの少なくとも1つのパラメータを含む。
【0068】
いくつかの実施例では、当該絶対オフセットは、オフセットが視点のメディアタイムラインの開始点に対するものであることを意味し、相対オフセットは、オフセットが視点のメディアタイムラインの現在時刻に対するものであることを意味する。
【0069】
一実施例では、タイムライン切り替えオフセットフラグtimeline-switching-offset flag=0且つ当該現在関連のフラグrelative-to-current flag=0の場合、デスティネーション視点に関連付けられた当該視点メディアは、切り替えトランジション後、当該視点メディアのタイムラインの開始点である時間t0から再生する。タイムライン切り替えオフセットフラグtimeline-switching-offset flag=0且つ当該現在関連のフラグrelative-to-current flag=1の場合、デスティネーション視点に関連付けられた当該視点メディアは、切り替えトランジション後、当該視点メディアのタイムラインの現在の時刻である時間tcurrから再生する。当該「現在時刻」とは、視点切り替えトランジションがアクティブになった時点を意味する。タイムライン切り替えオフセットフラグtimeline-switching-offset flag=1の且つ当該現在関連のフラグrelative-to-current flag=0の場合、デスティネーション視点に関連付けられた当該視点メディアは、切り替えトランジション後、時間t0+offsetから再生する。タイムライン切り替えオフセットフラグtimeline-switching-offset flag=1の且つ当該現在関連のフラグrelative-to-current flag=1の場合、デスティネーション視点に関連付けられた当該視点メディアは、切り替えトランジション後、時間tcurr+offsetから再生する。
【0070】
図5は、本開示のVR360アプリケーションのいくつかの実施例を例示的に示す。VR360プレーヤを有するユーザは、ユーザがドアを見ることを可能にする部屋AのビューポートAから、視点Aに関連付けられたVR360メディアをVR360メディアタイムラインの開始点である時刻t0から再生する。ユーザが時間t0に部屋Aから部屋Bに入る時、当該視点Bへのトランジションおよびその初期ビューポートは、ユーザが部屋Bと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。視点Bに関連付けられたVR360メディアも、VR360メディアタイムラインの開始点である時刻t0から再生される。
【0071】
時間tcurrにユーザが部屋Bから部屋Aに戻る時、視点Aに戻るトランジションおよびその初期ビューポートは、ユーザが部屋Bと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。この時、当該視点Aに関連付けられた視点メディアは、現在時刻(tcurr)にトランジションエフェクトビデオが再生されている時点を加える時点から再生し続ける。視点Aに関連付けられた当該メディアは、オフセットoffsetが絶対オフセットである場合には、時点t0+offsetの位置から再生し、オフセットoffsetが相対オフセットである場合には、時点tcurr+offsetの位置から再生し続ける。
【0072】
また、本技術は、当該新たな視点切り替え構造をトランジション特性の要素で埋めることを提案する。以下の項目が含まれている。
トランジションエフェクトは、ユーザのために当該トランジションを実際に再生することに用いられ、このようなトランジションエフェクトは、予め定義されているリスト(本開示の保護範囲ではなく、様々な従来技術から選択できるからである)のうちの1つのidインストラクションであってもよく、トランジション時に再生される内部や外部のビデオストリームを示すためのURLインストラクションまたはISOBMFFのトラックid(track id)によって示される実際の既知の変換(例えば、暗闇に消えること、鏡像エフェクト、はためき……)であってもよい。
【0073】
トランジションがアクティブ化されている間の現在の視点メディアタイムラインに関連付けられたタイムウィンドウ。
デスティネーション視点に関連付けられたメディアのタイムライン内の時間的な切り替え位置に関する情報。
デスティネーション視点に関連付けられたメディア内の空間(ビューポート)的な切り替え位置に関する情報。
【0074】
以下のISOBMFFコードは、本開示の可能な実施例である。
aligned(8) class ViewpointSwitchingStruct () {
unsigned int (8) num_viewpoint_switching;
for (i = 0; i < num_viewpoint_switching; i++) {
unsigned int(16) destination_viewpoint_id;
ViewpointSwitchingTransition();
}
}
aligned(8) class ViewpointSwitchingTransition() {
unsigned int(1) transitione_efect_flag;
unsigned int(1) timeline_switching_offset_flag;
unsigned int(1) relative_to_current_flag;
unsigned int(1) destination_viewport_flag;
unsigned int(1) min_time_flag;
unsigned int(1) max_time_flag;
bit(2) reserved = 0;
// type of transition effect
if (transition_effect_flag) {
unsigned int(8) transition_effect_type[i];
if (i==4) {unsigned int(32) transition_video_track_id; }
if (i==5) { unsigned int(32) transition_video_URL; }
}
// where to switch in timeline of media associated to destination viewpoint
if (timeline_switching_offset_flag) {
signed int (32) t_offset;
}
// which viewport to switch to in the destination viewpoint
if (destination_viewport_flag) {
SphereRegionConfigBox(); // definition of the destination viewport as a sphere region
}
// time window for activation of the switching
if (min_time_flag) { signed int (32) t_min; }
if (max_time_flag) { signed int (32) t_max; }
}
以下のセマンティクスは、上記のISOBMFFプログラム実施例に関連する。
表1は可能なISOBMFFプログラムのセマンティクスを示す。
【0075】
【0076】
【0077】
当業者であれば、本開示のいくつかの実施例において、上記ISOBMFFプログラムを利用することができるが、これらに限定されるものではないことを理解する。なお、上記パラメータの値は一例に過ぎない。
【0078】
現在のOMAF作業文書(Working Draft W18227)と比較して、以上の本開示で定義された視点のISOBMFFボックスは、以下の新たなISOBMFFアーキテクチャに依存する。
【0079】
ViewpointSwitchingStruct()は、視点からの可能な切り替えトランジション数、視点切り替えデスティネーション視点の視点id(viewpoint_id)、および切り替えトランジションの切り替え特性を定義する。
【0080】
本開示のいくつかの実施例では、ViewpointSwitchingStructボックスによって提供される当該切り替えアクティベーションタイムウィンドウ機構は、1つの最小時間および最大時間のみを許容する。現在の視点メディアの再生タイムラインにマルチアクティベーションウィンドウを提供するために、本開示では、動的視点情報のために時間メタデータトラック内にViewpointSwitchingStructボックスを追加することを提案する。
【0081】
本開示のいくつかの実施例では、
当該ビューポートパラメータ(viewport parameter)には、デスティネーションビューポートフラグ(destination_viewport_flag)が含まれており、
それぞれに最大1つの視点がある複数の切り替え可能性(multiple switching possibilities with at most one viewport per switching possibility parameter)は、視点切り替え数(num_viewport_switching)とデスティネーション視点id(destination_viewport_flag)を含み、
当該切り替えエフェクトパラメータ(transition effect parameter)は、トランジションエフェクトフラグ(transition_effect_flag)、トランジションエフェクトタイプ(transition_effect_type)、トランジションビデオトラックid(transition_video_track_id)、およびトランジションビデオURL(transition_video_URL)を含み、
当該時間切り替えパラメータ(time switching parameter)は、タイムライン切り替えオフセットフラグ(timeline_switching_offset_flag)、現在に対するフラグ(relative_to_current_flag)、オフセットフラグ(t_offset)を含み、および、
当該アクティベーションウィンドウパラメータ(activation window parameter)は、最小時間フラグ(min_time_flag)、最大時間フラグ(max_time_flag)、最小時間(t_min)、および最大時間(t_max)を含む。
【0082】
図6は、本開示のVR360アプリケーションのいくつかの実施例を例示的に示す。本開示のいくつかの実施例では、当該VR360アプリケーションは、典型的にOMAFアプリケーションである。本開示のために、以下のストーリーライン経路が記述される可能性がある。
当該OMAFアプリケーションは、ユーザが部屋Bおよび部屋Cを見ることを可能にする推奨ビューポートAを有する部屋Aで開始する。当該視点Aに関するビデオは、t0で開始する。
【0083】
ユーザが部屋Aから部屋Bに入る時、視点Bへのトランジションおよびその初期ビューポートは、ユーザが部屋Bと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。また、視点Bに関するビデオも、その開始点(t0)から開始する。
【0084】
ユーザが部屋Aから部屋Cに入る時、視点Cへのトランジションおよびその初期ビューポートは、ユーザが部屋Cと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。また、視点Cに関するビデオも、その開始点(t0)から開始する。
【0085】
ユーザが部屋Bから部屋Aに戻る時、視点Aに戻るトランジションおよびその初期ビューポートは、ユーザが部屋Cと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。この時、視点Aに関するビデオは、タイムラインの現在時刻(tcurr)から再生し続ける。
【0086】
ユーザが部屋Cから部屋Aに戻る時、視点Aに戻るトランジションおよびその初期ビューポートは、ユーザが部屋Cと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。この時、視点Aに関連付けられたビデオは、タイムラインの現在時刻(t’curr)から再生し続ける。
【0087】
実際には、ユーザの初期視点(ビューポート)は、ユーザがどの部屋から来るか、部屋Bから来るか、部屋Cから来るかによって、実際には異なることに注意されたい。
【0088】
本開示は、以下のうちの少なくとも1つの利点を提供する。
OMAFプレーヤは、視点に関連付けられたユニークなISOBMFFボックスを利用して、任意の時点で、現在の視点からの視点切り替え機能を容易にアクセスすることができる。
【0089】
様々なトランジションエフェクトをサポートできる。例えば、再生された(短い)ビデオは、トラックID(track_id)を利用して同じOMAFアプリケーションファイルに埋め込まれていたり、URLのために遠隔地で提供されていたりすることができる。
【0090】
デスティネーション視点に切り替わる時、ニューメディアの再生開始位置は、絶対オフセットであってもよく、ソース視点メディアの現在の再生時間に対する相対オフセットであってもよい。
【0091】
デスティネーション視点に切り替わる時、特定のビューポートを指定することができる。これにより、例えば、異なるソース視点から同じデスティネーション視点に切り替えられる時、異なるビューポートを持つことを可能にする。
図6に示す例を参照されたい。
【0092】
伝送された任意の視点切り替えに対して、アクティベーションウィンドウを定義することもできる。マルチアクティベーションウィンドウの場合、本開示は、動的視点情報メタデータトラックに伝送する方法をさらに定義している。
【0093】
図7は、本明細書のいくつかの実施例に基づく方法700のフローチャートを示す。当該方法300は、VR360プレーヤまたはOMAFプレーヤ、または他の同様のデバイスを用いて実行され得る。
【0094】
ステップ701において、VR360アプリケーションにおける視点間で切り替えを行うための構成を取得し、
ステップ702において、当該構成に基づいてVR360アプリケーションにおいて視点切り替えを行う。
【0095】
図3Aから
図6を参照すると、方法700における切り替えトランジションの実施例は、
図3aから
図6と同じである。
【0096】
図8は、本開示のいくつかの実施例を実行するのに適した装置800の簡略化されたブロック図である。
図8に示すように、当該装置800は、1つまたは複数のプロセッサ810と、プロセッサに接続された1つまたは複数のメモリ820と、を含む。当該装置800は、VR360アプリケーションを製造するための装置として利用することができる。
【0097】
本開示のいくつかの実施例では、当該プロセッサ810は、以下の動作を実行するように構成される。
VR360アプリケーションにおいて視点切り替えのための構成を決定し、
当該構成をVR360アプリケーションに伝送する。
【0098】
図3aから
図6を参照すると、切り替えトランジション装置800によって実行されるいくつかの実施例は、
図3aから
図6に示されるような実施例であってもよい。
【0099】
当該プロセッサ810は、参照として例示されたものであり、VR360アプリケーションの製造に適した任意のタイプであってもよく、1つまたは複数の汎用コンピュータ、特定用途コンピュータ、マイクロプロセッサ、デジタルサブシグナルプロセッサ(DSPs)、およびマルチコアプロセッサアーキテクチャに基づくプロセッサを含むことができる。当該装置800は、メインプロセッサを同期させるクロックに時間的に従属する特定用途の集積回路チップなどの複数のプロセッサを有することができる。
【0100】
当該メモリ820は、参照として例示されたものであり、VR360アプリケーションを記憶するのに適した任意のメモリであってもよく、非一時的コンピュータ読み取り可能な記憶媒体、半導体に基づくメモリ装置、磁気メモリ装置およびシステム、光メモリ装置およびシステム、固定メモリおよびリムーバブルメモリなど、任意の適切なデータ記憶技術によって実現され得る。
【0101】
当該メモリ820は、プログラム830のうちの少なくとも一部を記憶する。当該プログラム830は、関連するプロセッサ810によって実行された時、装置800が
図2~
図6のような本開示の実施例を実行することを可能にするプログラム命令を含むと考えられる。すなわち、本開示の実施例は、装置800のプロセッサ810によって実行されるソフトウェア、またはハードウェア、またはハードウェアとソフトウェアとの組み合わせによって実現され得る。
【0102】
図9は、本開示のいくつかの実施例を実行するのに適した装置900の簡略化されたブロック図である。
図8に示すように、当該装置900は、1つまたは複数のプロセッサ910と、プロセッサに接続された1つまたは複数のメモリ920と、を含む。装置900は、VR360アプリケーションを再生するための装置として使用することができる。
【0103】
本開示のいくつかの実施例では、当該装置910は、
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得することと、
当該構成に基づいてVR360アプリケーションの視点間で切り替えを行うことと、を含む動作を実行するように構成される。
【0104】
図3a~
図6を参照すると、当該切り替えトランジション装置900によって実行されるいくつかの実施例は、
図3a~
図6に示されるような実施例であってもよい。
【0105】
いくつかの実施例では、装置900は、プロセッサ910に接続された1つまたは複数の送信機/受信機(TX/RX)940をさらに含むことができる。ある実施例では、当該送信機/受信機(TX/RX)940は、当該装置900を位置づけるように構成される。
【0106】
当該プロセッサ910は、参照として例示されたものであり、VR360アプリケーションを再生するのに適した任意のタイプであってもよく、または、1つまたは複数の汎用コンピュータ、特定用途コンピュータ、マイクロプロセッサ、デジタルサブシグナルプロセッサ(DSPs)、およびマルチコアプロセッサアーキテクチャに基づくプロセッサを含んでもよい。当該装置900は、メインプロセッサを同期させるクロックに時間的に従属する特定用途の集積回路チップなどの複数のプロセッサを有することができる。
【0107】
メモリ920は、参照として例示されたものであり、VR360アプリケーションを記憶するのに適した任意のメモリであってもよく、非一時的コンピュータ読み取り可能な記憶媒体、半導体に基づくメモリ装置、磁気メモリ装置およびシステム、光メモリ装置およびシステム、固定メモリおよびリムーバブルメモリなどの任意の適切なデータ記憶技術によって実現され得る。
【0108】
当該メモリ920は、プログラム930のうちの少なくとも一部を記憶する。プログラム930は、関連するプロセッサ910によって実行された時、装置900が
図7に示すような本開示の実施例に基づいて動作することを可能にするプログラム命令を含むと仮定する。すなわち、本開示の実施例は、装置900のプロセッサ910によって実行されるソフトウェア、またはハードウェア、またはハードウェアとソフトウェアとの組み合わせによって実現され得る。
【0109】
図10は、本開示のいくつかの実施例を実行するのに適した装置1000の簡略化されたブロック図である。装置1000は、VR360プレーヤとして使用することができる。図示するように、装置1000は、
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得するように構成される取得モジュール1010と、
当該構成に基づいてVR360アプリケーションの視点間で切り替えを行うように構成される切り替えモジュール1020と、を含む。
【0110】
当該構成には、
特定視点切り替えの初期ビューポートを示すビューポートパラメータ(viewport parameter)と、
特定視点切り替えの特定トランジションエフェクトを示すトランジションエフェクトパラメータ(transition effect parameter)と、
視点切り替えのうちの少なくとも1つのアクティベーションウィンドウを示すアクティベーションウィンドウパラメータ(activation window parameter)と、
特定視点切り替えにわたってデスティネーションメディア時間における再生タイムラインの開始位置を示す時間切り替えパラメータ(time switching parameter)と、のいずれかまたはその任意の組み合わせを含む。
【0111】
図3a~
図6を参照すると、当該切り替えトランジション装置1000によって実行されるいくつかの実施例は、
図3a~
図6に示されるような実施例であってもよい。
【0112】
図11は、本開示のいくつかの実施例を実行するのに適した装置1100の簡略化されたブロック図である。当該装置1100は、VR360プレーヤとして使用することができる。図示するように、当該装置1100は、
VR360アプリケーションにおける視点間で切り替えを行うための構成を決定するように構成される決定モジュールと、
当該構成をVR360アプリケーションに伝送するように構成される伝送モジュールと、を含む。
【0113】
当該構成は、
特定視点切り替えの初期ビューポートを示すビューポートパラメータ(viewport parameter)と、
特定視点切り替えの特定トランジションエフェクトを示すトランジションエフェクトパラメータ(transition effect parameter)と、
視点切り替えのうちの少なくとも1つのアクティベーションウィンドウを示すアクティベーションウィンドウパラメータ(activation window parameter)と、
特定視点切り替えにわたってデスティネーションメディア時間における再生タイムラインの開始位置を示す時間切り替えパラメータ(time switching parameter)と、のいずれかまたはその任意の組み合わせを含む。
【0114】
図3a~
図6を参照すると、切り替えトランジション装置1100によって実行されるいくつかの実施例は、
図3a~
図6に示されるような実施例であってもよい。
【0115】
図2および
図7に示された様々なブロックは、方法ステップとして、および/またはコンピュータプログラムコードの動作から生じる動作として、および/または関連機能を実行するように構成されている複数の結合されたロジック回路要素として扱うことができる。本開示の例示的な実施例のうちの少なくともいくつかの態様は、集積回路チップおよびモジュールのような様々なコンポーネントで実現することができ、本開示の例示的な実施例に基づいて動作するように構成可能な集積回路、FPGAまたはASICとして具現化することができる。
【0116】
また、本開示は、上記コンピュータプログラムを含むキャリアを提供することもでき、キャリアは、電子信号、光信号、無線信号、またはコンピュータ読み取り可能な媒体のうちの1つである。コンピュータ読み取り可能な媒体は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、磁気テープ、CD-ROM、DVD、Blu-ray Discなどの光学ディスク、または電子記憶装置であってもよい。
【0117】
本開示のいくつかの実施例では、当該VR360メディアはOMAFメディアであってもよい。本開示のいくつかの実施例では、当該VR360プレーヤはOMAFプレーヤであってもよい。
【0118】
上記説明に基づいて、本開示は、装置、方法、またはコンピュータ読み取り可能な媒体によって提示することができることを当業者は理解することができる。一般的に、これらの様々な可能な実施例は、ハードウェアまたは特定用途の回路、ソフトウェア、ロジック、または上記任意の組み合わせによって実現され得る。例えば、いくつかの態様は、ハードウェアによって実現され得て、他の態様は、コントローラ、マイクロプロセッサまたは他のコンピューティングデバイスによって実行され得るように、ファームウェアまたはソフトウェアによって実現され得るが、本開示はこれらに限定されるものではない。同時に、本開示の例示的な実施例の異なる態様は、ブロック図、フローチャート、または他の図を利用して例示され、説明され得て、ここで説明されるブロック、装置、システム、技術、または方法は、非限定的な例として、ハードウェア、ソフトウェア、ファームウェア、特定用途の回路またはロジック、汎用用途のハードウェアまたはコントローラ、または他のコンピューティングデバイス、またはこれらの組み合わせによって実施され得ることが知られている。
【0119】
上記説明に基づいて、本開示は、装置、方法、またはコンピュータプログラム製品として提示することができることを当業者は理解することができる。一般に、これらの様々な例示的な実施例は、ハードウェアまたは特定ユーザの回路、ソフトウェア、ロジック、またはこれらの任意の組み合わせに適用することができる。例えば、いくつかの態様は、ハードウェアによって実現され得て、他の態様は、コントローラ、マイクロプロセッサまたは他のコンピューティングデバイスによって実行され得るように、ファームウェアまたはソフトウェアによって実現され得るが、本開示はこれらに限定されるものではない。同時に、本開示の例示的な実施例の異なる態様は、ブロック図、フローチャート、または他の図を利用して例示され、説明され得て、ここで説明されるブロック、装置、システム、技術、または方法は、非限定的な例として、ハードウェア、ソフトウェア、ファームウェア、特定用途の回路またはロジック、汎用用途のハードウェアまたはコントローラ、または他のコンピューティングデバイス、またはこれらの組み合わせによって実施され得ることが知られている。
【0120】
本明細書は、多くの具体的な実施の詳細を含むが、これらは、いずれかの開示の範囲または請求できる内容に対する制限として解釈されるべきではなく、特定の開示に特定し得る特徴に対する説明として解釈される。個々の実施例の文脈で本明細書に記載された幾つかの特徴は、単一の実施例で組み合わせて実現することもできる。逆に、単一の実施例の文脈で説明された様々な特徴は、個別に、または任意の適切なサブ組み合わせで実現され得る。さらに、上記の特徴は、最初に請求されているように、いくつかの組み合わせで機能するように説明できるが、場合によっては、請求された組み合わせからの1つまたは複数の特徴を当該組み合わせから削除することができ、請求される組み合わせは、サブ組み合わせまたはサブ組み合わせの変化に対応することができる。
【0121】
同様に、図面には動作が特定の順序で示されているが、これは、示されている特定の順序でまたは順次そのような動作を実行し、または所望の結果を達成するために示されているすべての動作を実行するものとして理解すべきではない。場合によっては、マルチタスク処理や並列処理が有利な場合もある。さらに、上述した実施例における様々なシステムコンポーネントの分離は、全ての実施例において必要であると理解すべきではなく、説明されたプログラムコンポーネントおよびシステムは、通常、単一のソフトウェア製品に統合され得て、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。
【0122】
本開示の上述の例示的な実施例に対する様々な補正、調整は、上記の説明を考慮して、図面を組み合わせて読むと、当業者にとっては明らかになるであろう。任意およびすべての補正は、本開示の非限定的および例示的な実施例の範囲内に入る。さらに、本開示のこれらの実施例の所属する当業者であれば、前述の説明および関連する図面に示される教示の利益を有する、本明細書に記載された開示内容の他の実施例を想到し得る。
【0123】
したがって、本開示の実施例は、開示された特定の実施例に限定されず、補正および他の実施例は、添付の特許請求の範囲に含まれることが意図されていることを理解されたい。ここでは特定の用語が使用されているが、それらは一般的で記述的な意味でのみ使用され、限定するためのものではない。
【手続補正書】
【提出日】2021-11-16
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【0001】
本開示の実施例は、一般的に、仮想現実360(Virtual Reality 360、VR360)技術に関し、特に、VR360において視点切り替え能力を伝送する方法および装置に関する。
【背景技術】
【0002】
OMAF(Omnidirectional Media Format、全方向性メディアフォーマット)によれば、360°ビデオ、画像、オーディオ、および関連する同期テキストに注目される、全方向性メディアアプリケーションを実現できるメディアフォーマットが定義される。OMAFに以下の内容を含むが、これらに限定されない。
1).単位球面および三次元空間を含む座標系
2).球形のビデオシーケンスまたは画像をそれぞれに2次元の矩形のビデオシーケンスまたは画像に変換するために用いられる投影および矩形領域パッキング方法
3).ISO/IECで規定されているISOBMFF(ISO Base Media File Format、ISO基本メディアファイルフォーマット)を利用して全方向性メディアおよび関連メタデータを記憶すること
4).ISO/IEC 23009-1で規定されているHTTP上での動的適応型ストリーミング(DASH)、ISO/IEC 23008-1で規定されているMPEGメディア伝送(MMT)などのメディアストリーミングシステムにおける全方向性メディアのカプセル化、シグナリング伝送、ストリーミング伝送
5).メディアプロファイルとプレゼンテーションプロファイルは、メディアコーデックに相互運用性および一貫性という重要なポイント、および全方向性メディアコンテンツの圧縮、ストリーミング、および再生に使用できるメディアエンコーディングとカプセル化構成を提供すること
【0003】
全方向性ビデオは、360°ビデオとも呼ばれる一般的な全方向性メディアアプリケーションの1つである。全方向性ビデオは、典型的には、360°のシーンをカバーできる複数のカメラで撮影することができる。従来のメディアアプリケーションフォーマットと比較して、多様な撮影およびビデオ投影技術により、全方向性ビデオのエンドツーエンド技術(撮影から再生まで)が分断されやすくなっている。撮影側では、現在、複数の異なるタイプのビデオカメラが360°ビデオを撮影する能力を有しており、再生側でも360°ビデオを再生できる処理能力の異なる複数の異なる装置が存在している。
【0004】
全方向性メディアのコンテンツとデバイスの分断を避けるために、OMAF標準ISO/IEC 23090-2(MPEG-I part2)は、全方向性メディアアプリケーションの標準フォーマットを詳細に説明している。
【0005】
全指向性メディアコンテンツが、ヘッドマウントプレーヤまたはヘッドマウントレシーバなどのOMAFプレーヤに対して提示される場合、ユーザがメディアを撮影している時間および場所にいるかのように、ユーザの視線方向に対応するメディアの一部のみが提示される。
【0006】
図1は、部屋A、部屋B、部屋Cの3つの部屋を有する1つのVR360アプリケーションで発生するシナリオを例示的に示す。ユーザは、各部屋について、
図1に示すような視点(viewpoint、ビューポート)位置で全方位映像を再生することができる。各部屋の視点(
図1に示す視点A、視点B、視点C)は、当該360°映像が提示される範囲の中心である。これは、ユーザの位置としても理解され得る。
【0007】
視点ごとに、推奨ビューポート(recommended viewport)/デフォルトビューポート(default viewport)が予め定義されている。
図1に示すように、当該推奨視点/デフォルト視点のそれぞれはビューポートA、ビューポートB、ビューポートCである。
【0008】
ビューポート(viewport)は、VR360ビデオの一部である。例えば、ビジュアルビューポートは、ユーザがVR360ビデオの一部を実際に見た場所である。ビューポートはユーザの視線方向として理解され得る。
【0009】
現在、単一のOMAFにおいて異なる視点間の切り替えは、MPEG-Iではサポートされていない。
【発明の概要】
【発明が解決しようとする課題】
【0010】
本開示は、同一のVR360アプリケーションにおいて異なる視点間で切り替えを行う技術案を提供する。
【課題を解決するための手段】
【0011】
本発明の実施例の第1の態様によれば、本出願の実施例は、方法を提供する。当該方法は、
VR360アプリケーションにおける視点間で切り替えを行うための構成を決定するステップと、
前記VR360アプリケーションにおける視点間で切り替えを行うための前記構成を前記VR360アプリケーションに伝送するステップと、を含む。
【0012】
本発明の実施例の第2の態様によれば、本出願の実施例は、方法を提供する。当該方法は、
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得するステップと、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うステップと、を含む。
【0013】
本発明の実施例の第3の態様によれば、本出願の実施例は、装置を提供する。当該装置は、
VR360アプリケーションにおける視点間で切り替えを行うための構成を決定するように構成される決定モジュールと、
当該構成をVR360アプリケーションに伝送するように構成される伝送モジュールと、を含む。
【0014】
本発明の実施例の第4の態様によれば、本出願の実施例は、装置を提供する。当該装置は、
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得するように構成される取得モジュールと、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うように構成される切り替えモジュールと、を含む。
【0015】
本発明の実施例の第5の態様によれば、本出願の実施例は、装置を提供し、当該装置は、
少なくとも1つのメモリと、
少なくとも1つのプロセッサであって、命令を実行し、
VR360アプリケーションにおける視点間で切り替えを行うための構成を決定し、
前記構成を前記VR360アプリケーションに伝送するように構成される少なくとも1つのプロセッサと、を含む。
【0016】
本発明の実施例の第6の態様によれば、本出願の実施例は、装置を提供し、当該装置は、
少なくとも1つのメモリと、
少なくとも1つのプロセッサであって、命令を実行し、
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得し、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うように構成される少なくとも1つのプロセッサと、を含む。
【0017】
本発明の実施例の第7の態様によれば、本出願の実施例は、コンピュータ読み取り可能な記憶媒体を提供する。当該コンピュータ読み取り可能な記憶媒体は命令を記憶している。当該命令は、プロセッサによって呼び出されて実行されるときに、
仮想現実360(VR360)アプリケーションにおける視点間で切り替えを行うための構成を決定することと、
前記構成を前記VR360アプリケーションに伝送することと、
を含む動作を、前記プロセッサにさせる。
【0018】
本発明の実施例の第8の態様によれば、本出願の実施例は、コンピュータ読み取り可能な記憶媒体を提供する。当該コンピュータ読み取り可能な記憶媒体は命令を記憶している。当該命令は、プロセッサによって呼び出されて実行されるときに、
仮想現実360(VR360)アプリケーションにおける視点間で切り替えを行うための構成を取得することと、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うことと、
を含む動作を、前記プロセッサにさせる。
【0019】
本開示の実施例の他の特徴および利点は、本開示の実施例の原理を例示的に示す図面と併せて読むと、以下の特定の実施形態の説明によっても明らかになるであろう。
本発明の実施例は、例示的な形態で示され、以下に添付図面を参照してその利点を詳細に説明する。
【図面の簡単な説明】
【0020】
【
図1】シーン内に多視点および多ビューポートを有する例を例示的に示す図
【
図2】本開示の実施例の方法200を例示的に示すフローチャート
【
図3a】視点間で切り替えを行うアクティベーションウィンドウの一例を示す図
【
図3b】視点間で切り替えを行うアクティベーションウィンドウの一例を示す図
【
図3c】視点間で切り替えを行うアクティベーションウィンドウの一例を示す図
【
図3d】視点間で切り替えを行うアクティベーションウィンドウの一例を示す図
【
図3e】視点間で切り替えを行うアクティベーションウィンドウの一例を示す図
【
図3f】視点間で切り替えを行うアクティベーションウィンドウの一例を示す図
【
図4a】視点間で切り替えを行うビューポートの一例を示す図
【
図4b】視点間で切り替えを行うビューポートの一例を示す図
【
図4c】視点間で切り替えを行うビューポートの一例を示す図
【
図4d】視点間で切り替えを行うビューポートの一例を示す図
【
図5】トランジション・切り替え時の放送時間の一例を示す図
【
図7】本開示の実施例の方法700を例示的に示すフローチャート
【
図8】本開示の実施例を実現するのに適した装置800を例示的に示すブロック図
【
図9】本開示の実施例を実現するのに適した装置900を例示的に示すブロック図
【
図10】本開示の実施例を実現するのに適した装置1000を例示的に示すブロック図
【
図11】本開示の実施例を実現するのに適した装置1100を例示的に示すブロック図
【具体的な実施形態】
【0021】
ここで、本明細書に記載されたテーマについて、いくつかの例示的な実施形態を参照して説明する。これらの実施形態は、当業者が本明細書に記載されたテーマをよりよく理解し且つそれを達成するためだけに検討され、テーマの範囲を制限するものではないことを理解されたい。
【0022】
本開示で使用される用語は、特定の実施形態を説明することのみを意図しており、例示的な実施形態を限定することを意図しているわけではない。本開示で使用されるように、単数形「1」、「1つ」、および「当該」は、文脈によって明示的に示されていない限り、複数形も含むことを意図している。「含む」および/または「含んでいる」という用語は、本明細書で使用される時、記載された特徴、全体、ステップ、動作、要素、および/またはコンポーネントの存在を特定するが、1つまたは複数の他の特徴、全体、ステップ、動作、要素、コンポーネント、および/またはそれらの組み合わせの存在または追加を除外しないことも理解されたい。
【0023】
なお、いくつかの代替の実施形態では、図に記載された機能および動作は、図に記載された順序に限定されなくてもよい。例えば、関連する機能および動作に基づいて、2つの連続した機能または動作は、実際に同時に実行され得て、場合によっては逆順に実行され得る。
【0024】
本開示の実施例は、様々な装置および/またはシステムに適用することができる。飛躍的な発展に基づいて、それは当然、将来のタイプの技術、システム、および装置においても提示され得る。なお、本開示の保護範囲は、上述した装置および/またはシステムに限定されてはならない。
【0025】
本開示で使用されるように、「VR360プレーヤ」という用語は、VR360メディアを再生することができるデバイス、例えば、ヘッドマントプレーヤ、イヤホンおよびその他のデバイスを意味する。VR360メディアは、360°ビデオ、全方向メディア、または全方向メディアビデオとも呼ばれる全方向ビデオデータストリームを意味する。本開示のいくつかの実施例では、当該VR360メディアはOMAFメディアであってもよい。本開示のいくつかの実施例では、当該VR360プレーヤはOMAFプレーヤであってもよい。当該「VR360アプリケーション」という用語は、少なくとも1つの視点を含むアプリケーションを意味し、当該VR360プレーヤは、視点間で切り替えることができ、例えば、VR360は、1つの視点(ソース視点と呼ばれる)から別の視点(デスティネーション視点と呼ばれる)に切り替えることができる。当業者は、VR360アプリケーションが、VR360プレーヤまたはOMAFプレーヤのような任意の必要なデバイスを介して生成され、任意の必要なデバイスによって再生され得ることを理解することができる。
【0026】
本開示で使用されるように、「視点切り替え」という用語は、VR360アプリケーションにおいて、VR360プレーヤがソース視点からデスティネーション視点に切り替えることを意味する。
【0027】
本開示のいくつかの実施例では、以下のISOBMFF構造が定義される。
ViewpointPosStruct()は、全座標系における視点の位置を定義しており、GPS情報を有することができ、
ViewpointGlobalCoordinateSysRotationStruct()は、全座標系における視点の方向を定義しており、
ViewpointGlobalCoordinateSysRotationStruct()は、視点をグループ化することが可能であり、および
ViewpointEntry()は、各視点の一意の視点id(viewpoint_id)を定義している。
【0028】
視点間のすべての可能なトランジションを説明するために、本開示では、少なくとも1つの視点または切り替え時のトランジションの存在に関連付けられた新しい構成を提案する。したがって、VR360アプリケーション内のストーリーラインにおいて、それぞれの可能な経路を説明することが可能になる。本開示のいくつかの実施例では、当該構成は、視点またはハンドオフトランジションに関連付けられた追加のISOBMFF構造とすることができる。
【0029】
以下に、本開示のいくつかの例示的な実施例を図面に基づいて説明する。
【0030】
図2aは、本開示の実施例に基づく方法200の流れを例示的に示す。当該方法200は、VR360VR360アプリケーションを生成するための装置または他の同様の装置によって実現することができる。
【0031】
ステップ201において、VR360アプリケーションにおける視点間で切り替えを行うための構成を決定し、
ステップ202において、構成をVR360アプリケーションに伝送する。
【0032】
いくつかの実施例では、当該構成は、視点上または切り替えトランジション上に構成された少なくとも1つのボックスによって実現することができる。いくつかの実施例では、当該構成が複数のボックスによって実現される場合、その中のいくつかのボックスは視点上に構成され得て、いくつかのボックスは切り替えトランジション上に構成され得る。
【0033】
いくつかの実施例では、当該ボックスはISOBMFFボックスまたは他の任意の類似フォーマットであってもよい。当業者は、当該構成が任意の適切なフォーマットで実施され得ることを理解することができる。
【0034】
いくつかの実施例では、当該構成は、
特定視点切り替えの初期ビューポートを示すビューポートパラメータ(viewport parameter)と、
特定視点切り替えの特定トランジションエフェクトを示すトランジションエフェクトパラメータ(transition effect parameter)と、
視点切り替えのうちの少なくとも1つのアクティベーションウィンドウを示すアクティベーションウィンドウパラメータ(activation window parameter)と、
特定視点切り替えにわたってデスティネーション視点のメディアの再生タイムラインの開始位置を示す時間切り替えパラメータと、のいずれかまたはその任意の組み合わせを含む。
【0035】
いくつかの実施例では、当該4つのパラメータは、個別に構成され得て、または組み合わせて構成され得る。いくつかの実施例では、上記いずれかのパラメータまたはパラメータの組み合わせが、1つまたは複数のボックスによって実現され得る。
【0036】
いくつかの実施例では、当該ビューポートパラメータは、特定の視点切り替えトランジションにおける初期ビューポートの情報を示す。いくつかの実施例では、ビューポートパラメータが構成されている場合、当該特定の初期ビューポートは、視点切り替えトランジション後に使用される。そうでない場合は、推奨ビューポートが使用されるか、デフォルトビューポートが使用される。
【0037】
いくつかの実施例では、当該トランジションエフェクトパラメータは、視点切り替えトランジションにおけるエフェクトメディアの情報を示す。当該エフェクトメディアは、ビデオまたは既知の現実的なトランジション、例えば、暗闇に消えること、鏡像エフェクト、はためき、または他のものであってもよい。いくつかの実施例では、当該変換は、予め定義されたリスト内のIDによって識別され得て、または視点切り替えトランジションの間に再生される内部または外部のビデオストリームを示すISOMBFFトラックid(track_id)によって識別され得る。いくつかの実施例では、VR360プレーヤは、当該切り替えエフェクトパラメータが設けられている場合には、特定の視点切り替えトランジション時に、当該切り替えエフェクトパラメータに基づいて特定のトランジションエフェクトを再生し、そうでない場合、当該VR360プレーヤは、切り替えエフェクトを一切再生せず、デスティネーション視点に関連付けられたVR360ビデオを即座に再生する。
【0038】
いくつかの実施例では、当該アクティベーションウィンドウパラメータは、トランジションがアクティブ化された時に現在の視点メディアタイムラインに関連付けられた少なくとも1つのアクティベーションウィンドウを示す。いくつかの実施例では、当該アクティベーションウィンドウパラメータが構成されている場合、当該VR360プレーヤは、アクティベーションウィンドウ内でのみデスティネーション視点に切り替えることができる。そうでない場合、VR360は、タイムラインの任意の時点でデスティネーション視点に切り替えることができる。
【0039】
いくつかの実施例では、当該時間切り替えパラメータは、視点切り替えトランジション後にデスティネーション視点のVR360メディアのタイムラインのどこから再生されるかを示す。いくつかの実施例では、オフセットが構成されている場合、当該VR360プレーヤは、デスティネーション視点に切り替えた後、当該オフセットからVR360メディアを再生する。そうでない場合、当該VR360プレーヤは、デスティネーション視点に切り替えた後に、当該デスティネーション視点のVR360メディアの絶対位置t0または相対位置tcurrからVR360メディアを再生する。いくつかの実施例では、絶対位置t0とは、デスティネーション視点メディアタイムラインの開始位置を意味し、相対位置tcurrとは、デスティネーション視点メディアタイムラインの現在時刻(current time)を意味する。当該「現在時刻」とは、視点切り替えトランジションがアクティブになった時点を意味する。
【0040】
いくつかの実施例では、当該時間切り替えパラメータは、
タイムオフセットが構成されているか否かを示すタイムライン切り替えオフセットフラグ(timeline-switching-offset flag)と、
オフセットの数値を示すオフセットインジケータ(offset indicator)と、
オフセットの開始点を示す現在関連のフラグ(relative-to-current flag)と、のうちの少なくとも1つのパラメータを含む。
【0041】
いくつかの実施例では、当該絶対オフセットは、当該オフセットが視点メディアタイムラインの開始点に対するオフセットであることを意味するが、相対オフセットは、当該オフセットが視点メディアタイムラインの現在時刻に対するオフセットであることを意味する。
【0042】
一実施例では、タイムライン切り替えオフセットフラグtimeline-switching-offset flag=0且つ当該現在関連のフラグrelative-to-current flag=0の場合、デスティネーション視点に関連付けられた当該視点メディアは、切り替えトランジション後、当該視点メディアのタイムラインの開始点である時間t0から再生する。タイムライン切り替えオフセットフラグtimeline-switching-offset flag=0且つ当該現在関連のフラグrelative-to-current flag=1の場合、デスティネーション視点に関連付けられた当該視点メディアは、切り替えトランジション後、当該視点メディアのタイムラインの現在の時刻である時間tcurrから再生する。当該「現在時刻」とは、視点切り替えトランジションがアクティブになった時点を意味する。タイムライン切り替えオフセットフラグtimeline-switching-offset flag=1且つ当該現在関連のフラグrelative-to-current flag=0の場合、デスティネーション視点に関連付けられた当該視点メディアは、切り替えトランジション後、時間t0+offsetから再生する。タイムライン切り替えオフセットフラグtimeline-switching-offset flag=1且つ当該現在関連のフラグrelative-to-current flag=1の場合、デスティネーション視点に関連付けられた当該視点メディアは、切り替えトランジション後、時間tcurr+offsetから再生する。
【0043】
図3aは、部屋A、部屋B、部屋Cの3つの部屋を有するVR360アプリケーションで発生するシナリオを例示的に示す。ユーザは、
図3aに示された視点およびビューポートでVR360メディアを再生することができる。いくつかの実施例によれば、3つのISOBMFFボックスがそれぞれに3つの視点に付けられているか、または4つのSOBMFFボックスがそれぞれに4つの可能な切り替えトランジションに付けられている。当該4つの可能なトランジションは、それぞれに視点Aから視点Bへの切り替え、視点Bから視点Aへの切り替え、視点Aから視点Cへの切り替え、視点Cから視点Aへの切り替えである。当業者は、当該ISOBMFFが視点のいくつかにのみ付けられてもよく、または切り替えトランジションのいくつかにのみ付けられてもよく、またはISOBMFFボックスのいくつかが視点に付けられ、ISOBMFFボックスのいくつかが切り替えトランジションに付けられてもよいことを理解する。
【0044】
いくつかの実施例では、当該ビューポートパラメータは、
デスティネーション視点に初期ビューポートが構成されているか否かを示すビューポートフラグ(viewport flag)を含む。
【0045】
いくつかの実施例では、当該ビューポートフラグは、デスティネーション視点が初期ビューポートを有するか否かを示す。初期ビューポートがある場合、VR360プレーヤは、視点切り替えトランジション後に、提供された初期ビューポートから視点に関連付けられたVR360メディアを再生する。いくつかの実施例では、当該VR360プレーヤは、初期ビューポートがない場合、視点切り替えトランジション後に、推奨ビューポートまたはデフォルトビューポートから視点に関連付けられたVR360メディアを再生する。
【0046】
図3aは、3つの視点のそれぞれの推奨ビューポート/デフォルトビューポート、すなわち、ビューポートA、ビューポートB、ビューポートCを例示的に示す。いくつかの実施例では、当該初期ビューポートは、推奨ビューポート/デフォルトビューポートと同じであってもよく、異なっていてもよい。
【0047】
図3b、3c、3d、3eおよび3fは、本開示の実施形態に基づくVR360アプリケーションを例示的に示す。
【0048】
図3bに示すいくつかの実施例では、ユーザが視点Bから視点Aに切り替えた時、初期ビューポートを有していない場合、視点Aにおけるユーザのビューポートは、推奨ビューポート/デフォルトビューポート、すなわちビューポートAである。しかし、実シーンでは、ユーザの視線方向は、
図3bに示すようなビューポートBAの方向である。本開示のいくつかの実施例では、初期ビューポート、すなわち、ビューポートBAは、視点Bから視点Aに切り替えられるビューポートとして予め定義されている。当該初期ビューポートBAは、初期ビューポートがビューポートフラグによって構成されている場合、ユーザが部屋Bと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。
【0049】
図3cに示すいくつかの実施例では、ユーザが視点Cから視点Aに切り替えた時、初期ビューポートを有していない場合、視点Aにおけるユーザのビューポートは、推奨ビューポート/デフォルトビューポート、すなわち、ビューポートAである。しかし、実シーンでは、ユーザの視線方向は、
図3cに示すようなビューポートCAの方向である。本開示のいくつかの実施例では、初期ビューポート、すなわち、ビューポートCAは、視点Cから視点Aに切り替えられるビューポートとして予め定義されている。当該初期ビューポートCAは、ビューポートフラグによって構成されている場合、ユーザが部屋Cと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。
【0050】
図3dに示すいくつかの実施例では、ビューポートBAおよびビューポートCAという2つの初期ビューポートが予め定義されている。本開示のいくつかの実施例では、2つのビューポートが視点A上に配置されるか、または2つの切り替えトランジション上にそれぞれに配置される。当業者であれば、いくつかの実施例では、
図3bまたは
図3cに示すように、初期ビューポートのうちの1つのみを構成できることを理解することができる。
【0051】
図3dを参照すると、異なる切り替えは、異なる初期ビューポートに対応する可能性があり、例えば、視点Bから視点Aへの切り替えは、視点Aに関連付けられた視点BAに対応し、視点Cから視点Aへの切り替えは、視点Aに関連付けられた視点CAに対応する。
【0052】
図3eに示すいくつかの実施例では、ユーザが視点Aから視点Bに切り替えた時、初期ビューポートを有していない場合、視点Bにおける当該ユーザのビューポートは、推奨ビューポート/デフォルトビューポート、すなわち、ビューポートBである。しかし、実シーンでは、ユーザの視線方向は、
図3eに示すようなビューポートABの方向である。本開示のいくつかの実施例では、初期ビューポート、すなわち、ビューポートABは、視点Aから視点Bに切り替えられるビューポートとして予め定義されている。当該初期ビューポートCAは、ビューポートフラグによって構成されている場合、ユーザが部屋Bと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。
【0053】
図3fに示すいくつかの実施例では、ユーザが視点Aから視点Cに切り替えた時、初期ビューポートを有していない場合、視点Cにおける当該ユーザのビューポートは、推奨ビューポート/デフォルトビューポート、すなわち、ビューポートCである。本実施例では、切り替えの初期ビューポートは、推奨ビューポート/既定ビューポートと同じである。いくつかの実施例では、ユーザの真の視線方向が推奨ビューポート/既定ビューポートと異なる場合、ユーザの真の視線方向と同じ初期ビューポートを予め定義すべきである。
【0054】
当業者であれば、いくつかの実施例では、初期ビューポートは、真の視線方向に基づいて予め定義され得ることを理解する。
【0055】
以上の実施例に基づいて、当業者であれば、同じ視点の各トランジションに対応する初期ビューポートが、例えば、ビューポートBAおよびビューポートCAのように、異なっていてもよいことを理解する。
【0056】
前記構成は複数の切り替え可能性をさらに含み、各切り替え可能性パラメータが最大1つの視点を持つ。当該パラメータは、
視点切り替えの数を示す数字パラメータ(number parameter)と、
視点切り替え中のデスティネーション視点のIDを示すIDパラメータ(ID parameter)と、のうちの少なくとも1つのパラメータを含む。
【0057】
いくつかの実施例では、各視点は、例えば、Viewpoint Entry()であるISOBMFF構造によって決定される視点id(Viewpoint_id)を有する。当該視点idは視点を分割する。IDパラメータは、可能なデスティネーション視点の視点IDを示す。当該数字パラメータは、現在の視点の可能な視点切り替えの数を示す。
【0058】
いくつかの実施例では、当該トランジションエフェクトパラメータは、
トランジションエフェクトが構成されているか否かを示すトランジションエフェクトフラグ(transition effect flag)と、
特定切り替えのトランジションエフェクトのタイプを示すトランジションエフェクトタイプフラグ(transition effect type flag)と、
特定トランジションエフェクトビデオが記憶された位置を示すトランジションエフェクトインジケータ(transition effect indicator)と、のうちの少なくとも1つのパラメータを含む。
【0059】
いくつかの実施例では、当該トランジションエフェクトは、予め定義されたビデオまたはオーディオ、または、切り替えトランジションが実行されている間に再生することができる他の任意の適切なメディアとすることができる。
【0060】
いくつかの実施例では、トランジションエフェクトのタイプは、オーディオであってもよく、または、暗闇に消えること、鏡像エフェクト、はためき、またはその他のような既知の現実的なトランジションであってもよい。当該トランジションエフェクトは、トランジションエフェクトタイプフラグ(transition effect type flag)によって示すことができる。
【0061】
いくつかの実施例では、当該トランジションエフェクトインジケータは、切り替えトランジションが行われている間に再生することができるビデオに対応するトラックIDを含む。当該トラックIDは、トランジション時に再生されるメディアを識別する。いくつかの実施例では、当該メディアは、VR360コンテンツに格納される。一部のメディアでは、当該トランジションエフェクトインジケータには、トランジション時に再生されるメディアのURL(Uniform Resource Locator、統一資源位置指定子)が含まれている。当業者であれば、当該トランジションエフェクトフラグが、トラックID、URL、またはメディアをアドレス指定することができる任意の既存の技術を含むことができることを理解する。
【0062】
いくつかの実施例では、当該アクティベーションウィンドウパラメータは、
切り替えトランジションのための最小時間が構成されているか否かを示す最小時間フラグ(minimum time flag)であって、最小時間が構成されている場合、トランジションが当該最小時間経過後にのみアクティブ化可能である最小時間フラグと、
最小時間の数値を示す最小時間パラメータ(minimum time parameter)と、
切り替えトランジションのための最大時間が構成されているか否かを示す最大時間フラグ(maximum time flag)であって、最大時間が構成されている場合、トランジションが当該最大時間に達するまでにアクティブ化可能である最大時間フラグと、
最大時間の数値を示す最大時間パラメータ(maximum time parameter)と、のうちの少なくとも1つのパラメータを含む。
【0063】
いくつかの実施例では、当該アクティベーションウィンドウパラメータは、トランジションがアクティブ化された現在の視点メディアタイムラインに対するものである。いくつかの実施例では、切り替えトランジションは、現在の視点メディアタイムラインの任意の時点でアクティブ化することができる。
【0064】
図4a~4dは、本開示のいくつかの実施例を示す。
図4aでは、最小時間フラグと最大時間フラグが構成されている。当該視点メディアタイムライン上の最小時間および最大時間は、視点切り替えのアクティベーションウィンドウを決定する。いくつかの実施例では、
図4aに示すように、アクティベーションウィンドウが現在の視点メディアタイムライン内に予め定義される。いくつかの実施例では、
図4bに示されるように、タイミングメタデータトラック内のViewpoint Switching Struct()を利用することによって、現在の視点のメディアタイムライン上に複数のアクティベーションウィンドウを予め定義することができる。
【0065】
いくつかの実施例では、
図4cに示すように、視点メディアのタイムライン上の最小時間のみが構成され、最大時間は構成されない。これは、当該アクティベーションウィンドウの開始時間のみが最小時間パラメータによって予め構成されており、終了位置は制限されていないことを意味する。言い換えれば、アクティベーションウィンドウの開始点は、当該最小時間であり、終点は、当該視点のメディアタイムラインの終点である。
【0066】
いくつかの実施例では、
図4dに示すように、視点メディアのタイムライン上の最大時間のみが設定され、最小時間は設定されない。これは、当該アクティベーションウィンドウの終了位置のみが最大時間パラメータによって予め定義されており、開始位置は制限されていないことを意味する。言い換えれば、アクティベーションウィンドウの開始点は、当該視点のメディアタイムラインの開始点であり、終点は、当該視点のメディアタイムラインの最大時間である。
【0067】
いくつかの実施例では、当該時間切り替えパラメータは、
タイムオフセットが構成されているか否かを示すタイムライン切り替えオフセットフラグ(timeline-switching-offset flag)と、
オフセットの数値を示すオフセットインジケータ(offset indicator)と、
オフセットの開始点を示す現在関連のフラグ(relative-to-current flag)と、のうちの少なくとも1つのパラメータを含む。
【0068】
いくつかの実施例では、当該絶対オフセットは、オフセットが視点のメディアタイムラインの開始点に対するものであることを意味し、相対オフセットは、オフセットが視点のメディアタイムラインの現在時刻に対するものであることを意味する。
【0069】
一実施例では、タイムライン切り替えオフセットフラグtimeline-switching-offset flag=0且つ当該現在関連のフラグrelative-to-current flag=0の場合、デスティネーション視点に関連付けられた当該視点メディアは、切り替えトランジション後、当該視点メディアのタイムラインの開始点である時間t0から再生する。タイムライン切り替えオフセットフラグtimeline-switching-offset flag=0且つ当該現在関連のフラグrelative-to-current flag=1の場合、デスティネーション視点に関連付けられた当該視点メディアは、切り替えトランジション後、当該視点メディアのタイムラインの現在の時刻である時間tcurrから再生する。当該「現在時刻」とは、視点切り替えトランジションがアクティブになった時点を意味する。タイムライン切り替えオフセットフラグtimeline-switching-offset flag=1の且つ当該現在関連のフラグrelative-to-current flag=0の場合、デスティネーション視点に関連付けられた当該視点メディアは、切り替えトランジション後、時間t0+offsetから再生する。タイムライン切り替えオフセットフラグtimeline-switching-offset flag=1の且つ当該現在関連のフラグrelative-to-current flag=1の場合、デスティネーション視点に関連付けられた当該視点メディアは、切り替えトランジション後、時間tcurr+offsetから再生する。
【0070】
図5は、本開示のVR360アプリケーションのいくつかの実施例を例示的に示す。VR360プレーヤを有するユーザは、ユーザがドアを見ることを可能にする部屋AのビューポートAから、視点Aに関連付けられたVR360メディアをVR360メディアタイムラインの開始点である時刻t0から再生する。ユーザが時間t0に部屋Aから部屋Bに入る時、当該視点Bへのトランジションおよびその初期ビューポートは、ユーザが部屋Bと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。視点Bに関連付けられたVR360メディアも、VR360メディアタイムラインの開始点である時刻t0から再生される。
【0071】
時間tcurrにユーザが部屋Bから部屋Aに戻る時、視点Aに戻るトランジションおよびその初期ビューポートは、ユーザが部屋Bと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。この時、当該視点Aに関連付けられた視点メディアは、現在時刻(tcurr)にトランジションエフェクトビデオが再生されている時点を加える時点から再生し続ける。視点Aに関連付けられた当該メディアは、オフセットoffsetが絶対オフセットである場合には、時点t0+offsetの位置から再生し、オフセットoffsetが相対オフセットである場合には、時点tcurr+offsetの位置から再生し続ける。
【0072】
また、本技術は、当該新たな視点切り替え構造をトランジション特性の要素で埋めることを提案する。以下の項目が含まれている。
トランジションエフェクトは、ユーザのために当該トランジションを実際に再生することに用いられ、このようなトランジションエフェクトは、予め定義されているリスト(本開示の保護範囲ではなく、様々な従来技術から選択できるからである)のうちの1つのidインストラクションであってもよく、トランジション時に再生される内部や外部のビデオストリームを示すためのURLインストラクションまたはISOBMFFのトラックid(track id)によって示される実際の既知の変換(例えば、暗闇に消えること、鏡像エフェクト、はためき……)であってもよい。
【0073】
トランジションがアクティブ化されている間の現在の視点メディアタイムラインに関連付けられたタイムウィンドウ。
デスティネーション視点に関連付けられたメディアのタイムライン内の時間的な切り替え位置に関する情報。
デスティネーション視点に関連付けられたメディア内の空間(ビューポート)的な切り替え位置に関する情報。
【0074】
以下のISOBMFFコードは、本開示の可能な実施例である。
aligned(8) class ViewpointSwitchingStruct () {
unsigned int (8) num_viewpoint_switching;
for (i = 0; i < num_viewpoint_switching; i++) {
unsigned int(16) destination_viewpoint_id;
ViewpointSwitchingTransition();
}
}
aligned(8) class ViewpointSwitchingTransition() {
unsigned int(1) transitione_efect_flag;
unsigned int(1) timeline_switching_offset_flag;
unsigned int(1) relative_to_current_flag;
unsigned int(1) destination_viewport_flag;
unsigned int(1) min_time_flag;
unsigned int(1) max_time_flag;
bit(2) reserved = 0;
// type of transition effect
if (transition_effect_flag) {
unsigned int(8) transition_effect_type[i];
if (i==4) {unsigned int(32) transition_video_track_id; }
if (i==5) { unsigned int(32) transition_video_URL; }
}
// where to switch in timeline of media associated to destination viewpoint
if (timeline_switching_offset_flag) {
signed int (32) t_offset;
}
// which viewport to switch to in the destination viewpoint
if (destination_viewport_flag) {
SphereRegionConfigBox(); // definition of the destination viewport as a sphere region
}
// time window for activation of the switching
if (min_time_flag) { signed int (32) t_min; }
if (max_time_flag) { signed int (32) t_max; }
}
以下のセマンティクスは、上記のISOBMFFプログラム実施例に関連する。
表1は可能なISOBMFFプログラムのセマンティクスを示す。
【0075】
【0076】
【0077】
当業者であれば、本開示のいくつかの実施例において、上記ISOBMFFプログラムを利用することができるが、これらに限定されるものではないことを理解する。なお、上記パラメータの値は一例に過ぎない。
【0078】
現在のOMAF作業文書(Working Draft W18227)と比較して、以上の本開示で定義された視点のISOBMFFボックスは、以下の新たなISOBMFFアーキテクチャに依存する。
【0079】
ViewpointSwitchingStruct()は、視点からの可能な切り替えトランジション数、視点切り替えデスティネーション視点の視点id(viewpoint_id)、および切り替えトランジションの切り替え特性を定義する。
【0080】
本開示のいくつかの実施例では、ViewpointSwitchingStructボックスによって提供される当該切り替えアクティベーションタイムウィンドウ機構は、1つの最小時間および最大時間のみを許容する。現在の視点メディアの再生タイムラインにマルチアクティベーションウィンドウを提供するために、本開示では、動的視点情報のために時間メタデータトラック内にViewpointSwitchingStructボックスを追加することを提案する。
【0081】
本開示のいくつかの実施例では、
当該ビューポートパラメータ(viewport parameter)には、デスティネーションビューポートフラグ(destination_viewport_flag)が含まれており、
それぞれに最大1つの視点がある複数の切り替え可能性(multiple switching possibilities with at most one viewport per switching possibility parameter)は、視点切り替え数(num_viewport_switching)とデスティネーション視点id(destination_viewport_flag)を含み、
当該切り替えエフェクトパラメータ(transition effect parameter)は、トランジションエフェクトフラグ(transition_effect_flag)、トランジションエフェクトタイプ(transition_effect_type)、トランジションビデオトラックid(transition_video_track_id)、およびトランジションビデオURL(transition_video_URL)を含み、
当該時間切り替えパラメータ(time switching parameter)は、タイムライン切り替えオフセットフラグ(timeline_switching_offset_flag)、現在に対するフラグ(relative_to_current_flag)、オフセットフラグ(t_offset)を含み、および、
当該アクティベーションウィンドウパラメータ(activation window parameter)は、最小時間フラグ(min_time_flag)、最大時間フラグ(max_time_flag)、最小時間(t_min)、および最大時間(t_max)を含む。
【0082】
図6は、本開示のVR360アプリケーションのいくつかの実施例を例示的に示す。本開示のいくつかの実施例では、当該VR360アプリケーションは、典型的にOMAFアプリケーションである。本開示のために、以下のストーリーライン経路が記述される可能性がある。
当該OMAFアプリケーションは、ユーザが部屋Bおよび部屋Cを見ることを可能にする推奨ビューポートAを有する部屋Aで開始する。当該視点Aに関するビデオは、t0で開始する。
【0083】
ユーザが部屋Aから部屋Bに入る時、視点Bへのトランジションおよびその初期ビューポートは、ユーザが部屋Bと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。また、視点Bに関するビデオも、その開始点(t0)から開始する。
【0084】
ユーザが部屋Aから部屋Cに入る時、視点Cへのトランジションおよびその初期ビューポートは、ユーザが部屋Cと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。また、視点Cに関するビデオも、その開始点(t0)から開始する。
【0085】
ユーザが部屋Bから部屋Aに戻る時、視点Aに戻るトランジションおよびその初期ビューポートは、ユーザが部屋Cと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。この時、視点Aに関するビデオは、タイムラインの現在時刻(tcurr)から再生し続ける。
【0086】
ユーザが部屋Cから部屋Aに戻る時、視点Aに戻るトランジションおよびその初期ビューポートは、ユーザが部屋Cと部屋Aとの間のドアを通り抜けているかのような視線ポイントをユーザに提示することができる。この時、視点Aに関連付けられたビデオは、タイムラインの現在時刻(t’curr)から再生し続ける。
【0087】
実際には、ユーザの初期視点(ビューポート)は、ユーザがどの部屋から来るか、部屋Bから来るか、部屋Cから来るかによって、実際には異なることに注意されたい。
【0088】
本開示は、以下のうちの少なくとも1つの利点を提供する。
OMAFプレーヤは、視点に関連付けられたユニークなISOBMFFボックスを利用して、任意の時点で、現在の視点からの視点切り替え機能を容易にアクセスすることができる。
【0089】
様々なトランジションエフェクトをサポートできる。例えば、再生された(短い)ビデオは、トラックID(track_id)を利用して同じOMAFアプリケーションファイルに埋め込まれていたり、URLのために遠隔地で提供されていたりすることができる。
【0090】
デスティネーション視点に切り替わる時、ニューメディアの再生開始位置は、絶対オフセットであってもよく、ソース視点メディアの現在の再生時間に対する相対オフセットであってもよい。
【0091】
デスティネーション視点に切り替わる時、特定のビューポートを指定することができる。これにより、例えば、異なるソース視点から同じデスティネーション視点に切り替えられる時、異なるビューポートを持つことを可能にする。
図6に示す例を参照されたい。
【0092】
伝送された任意の視点切り替えに対して、アクティベーションウィンドウを定義することもできる。マルチアクティベーションウィンドウの場合、本開示は、動的視点情報メタデータトラックに伝送する方法をさらに定義している。
【0093】
図7は、本明細書のいくつかの実施例に基づく方法700のフローチャートを示す。当該方法
700は、VR360プレーヤまたはOMAFプレーヤ、または他の同様のデバイスを用いて実行され得る。
【0094】
ステップ701において、VR360アプリケーションにおける視点間で切り替えを行うための構成を取得し、
ステップ702において、当該構成に基づいてVR360アプリケーションにおいて視点切り替えを行う。
【0095】
図3Aから
図6を参照すると、方法700における切り替えトランジションの実施例は、
図3aから
図6と同じである。
【0096】
図8は、本開示のいくつかの実施例を実行するのに適した装置800の簡略化されたブロック図である。
図8に示すように、当該装置800は、1つまたは複数のプロセッサ810と、プロセッサに接続された1つまたは複数のメモリ820と、を含む。当該装置800は、VR360アプリケーションを製造するための装置として利用することができる。
【0097】
本開示のいくつかの実施例では、当該プロセッサ810は、以下の動作を実行するように構成される。
VR360アプリケーションにおいて視点切り替えのための構成を決定し、
当該構成をVR360アプリケーションに伝送する。
【0098】
図3aから
図6を参照すると、切り替えトランジション装置800によって実行されるいくつかの実施例は、
図3aから
図6に示されるような実施例であってもよい。
【0099】
当該プロセッサ810は、参照として例示されたものであり、VR360アプリケーションの製造に適した任意のタイプであってもよく、1つまたは複数の汎用コンピュータ、特定用途コンピュータ、マイクロプロセッサ、デジタルサブシグナルプロセッサ(DSPs)、およびマルチコアプロセッサアーキテクチャに基づくプロセッサを含むことができる。当該装置800は、メインプロセッサを同期させるクロックに時間的に従属する特定用途の集積回路チップなどの複数のプロセッサを有することができる。
【0100】
当該メモリ820は、参照として例示されたものであり、VR360アプリケーションを記憶するのに適した任意のメモリであってもよく、非一時的コンピュータ読み取り可能な記憶媒体、半導体に基づくメモリ装置、磁気メモリ装置およびシステム、光メモリ装置およびシステム、固定メモリおよびリムーバブルメモリなど、任意の適切なデータ記憶技術によって実現され得る。
【0101】
当該メモリ820は、プログラム830のうちの少なくとも一部を記憶する。当該プログラム830は、関連するプロセッサ810によって実行された時、装置800が
図2~
図6のような本開示の実施例を実行することを可能にするプログラム命令を含むと考えられる。すなわち、本開示の実施例は、装置800のプロセッサ810によって実行されるソフトウェア、またはハードウェア、またはハードウェアとソフトウェアとの組み合わせによって実現され得る。
【0102】
図9は、本開示のいくつかの実施例を実行するのに適した装置900の簡略化されたブロック図である。
図8に示すように、当該装置900は、1つまたは複数のプロセッサ910と、プロセッサに接続された1つまたは複数のメモリ920と、を含む。装置900は、VR360アプリケーションを再生するための装置として使用することができる。
【0103】
本開示のいくつかの実施例では、当該装置910は、
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得することと、
当該構成に基づいてVR360アプリケーションの視点間で切り替えを行うことと、を含む動作を実行するように構成される。
【0104】
図3a~
図6を参照すると、当該切り替えトランジション装置900によって実行されるいくつかの実施例は、
図3a~
図6に示されるような実施例であってもよい。
【0105】
いくつかの実施例では、装置900は、プロセッサ910に接続された1つまたは複数の送信機/受信機(TX/RX)940をさらに含むことができる。ある実施例では、当該送信機/受信機(TX/RX)940は、当該装置900を位置づけるように構成される。
【0106】
当該プロセッサ910は、参照として例示されたものであり、VR360アプリケーションを再生するのに適した任意のタイプであってもよく、または、1つまたは複数の汎用コンピュータ、特定用途コンピュータ、マイクロプロセッサ、デジタルサブシグナルプロセッサ(DSPs)、およびマルチコアプロセッサアーキテクチャに基づくプロセッサを含んでもよい。当該装置900は、メインプロセッサを同期させるクロックに時間的に従属する特定用途の集積回路チップなどの複数のプロセッサを有することができる。
【0107】
メモリ920は、参照として例示されたものであり、VR360アプリケーションを記憶するのに適した任意のメモリであってもよく、非一時的コンピュータ読み取り可能な記憶媒体、半導体に基づくメモリ装置、磁気メモリ装置およびシステム、光メモリ装置およびシステム、固定メモリおよびリムーバブルメモリなどの任意の適切なデータ記憶技術によって実現され得る。
【0108】
当該メモリ920は、プログラム930のうちの少なくとも一部を記憶する。プログラム930は、関連するプロセッサ910によって実行された時、装置900が
図7に示すような本開示の実施例に基づいて動作することを可能にするプログラム命令を含むと仮定する。すなわち、本開示の実施例は、装置900のプロセッサ910によって実行されるソフトウェア、またはハードウェア、またはハードウェアとソフトウェアとの組み合わせによって実現され得る。
【0109】
図10は、本開示のいくつかの実施例を実行するのに適した装置1000の簡略化されたブロック図である。装置1000は、VR360プレーヤとして使用することができる。図示するように、装置1000は、
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得するように構成される取得モジュール1010と、
当該構成に基づいてVR360アプリケーションの視点間で切り替えを行うように構成される切り替えモジュール1020と、を含む。
【0110】
当該構成には、
特定視点切り替えの初期ビューポートを示すビューポートパラメータ(viewport parameter)と、
特定視点切り替えの特定トランジションエフェクトを示すトランジションエフェクトパラメータ(transition effect parameter)と、
視点切り替えのうちの少なくとも1つのアクティベーションウィンドウを示すアクティベーションウィンドウパラメータ(activation window parameter)と、
特定視点切り替えにわたってデスティネーション視点のメディアの再生タイムラインの開始位置を示す時間切り替えパラメータ(time switching parameter)と、のいずれかまたはその任意の組み合わせを含む。
【0111】
図3a~
図6を参照すると、当該切り替えトランジション装置1000によって実行されるいくつかの実施例は、
図3a~
図6に示されるような実施例であってもよい。
【0112】
図11は、本開示のいくつかの実施例を実行するのに適した装置1100の簡略化されたブロック図である。当該装置1100は、VR36
0を製造するための装置として利用することができる。図示するように、当該装置1100は、
VR360アプリケーションにおける視点間で切り替えを行うための構成を決定するように構成される決定モジュール
1110と、
当該構成をVR360アプリケーションに伝送するように構成される伝送モジュール
1120と、を含む。
【0113】
当該構成は、
特定視点切り替えの初期ビューポートを示すビューポートパラメータ(viewport parameter)と、
特定視点切り替えの特定トランジションエフェクトを示すトランジションエフェクトパラメータ(transition effect parameter)と、
視点切り替えのうちの少なくとも1つのアクティベーションウィンドウを示すアクティベーションウィンドウパラメータ(activation window parameter)と、
特定視点切り替えにわたってデスティネーション視点のメディア再生タイムラインの開始位置を示す時間切り替えパラメータ(time switching parameter)と、のいずれかまたはその任意の組み合わせを含む。
【0114】
図3a~
図6を参照すると、切り替えトランジション装置1100によって実行されるいくつかの実施例は、
図3a~
図6に示されるような実施例であってもよい。
【0115】
図2および
図7に示された様々なブロックは、方法ステップとして、および/またはコンピュータプログラムコードの動作から生じる動作として、および/または関連機能を実行するように構成されている複数の結合されたロジック回路要素として扱うことができる。本開示の例示的な実施例のうちの少なくともいくつかの態様は、集積回路チップおよびモジュールのような様々なコンポーネントで実現することができ、本開示の例示的な実施例に基づいて動作するように構成可能な集積回路、FPGAまたはASICとして具現化することができる。
【0116】
また、本開示は、上記コンピュータプログラムを含むキャリアを提供することもでき、キャリアは、電子信号、光信号、無線信号、またはコンピュータ読み取り可能な媒体のうちの1つである。コンピュータ読み取り可能な媒体は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、磁気テープ、CD-ROM、DVD、Blu-ray Discなどの光学ディスク、または電子記憶装置であってもよい。
【0117】
本開示のいくつかの実施例では、当該VR360メディアはOMAFメディアであってもよい。本開示のいくつかの実施例では、当該VR360プレーヤはOMAFプレーヤであってもよい。
【0118】
上記説明に基づいて、本開示は、装置、方法、またはコンピュータ読み取り可能な媒体によって提示することができることを当業者は理解することができる。一般的に、これらの様々な可能な実施例は、ハードウェアまたは特定用途の回路、ソフトウェア、ロジック、または上記任意の組み合わせによって実現され得る。例えば、いくつかの態様は、ハードウェアによって実現され得て、他の態様は、コントローラ、マイクロプロセッサまたは他のコンピューティングデバイスによって実行され得るように、ファームウェアまたはソフトウェアによって実現され得るが、本開示はこれらに限定されるものではない。同時に、本開示の例示的な実施例の異なる態様は、ブロック図、フローチャート、または他の図を利用して例示され、説明され得て、ここで説明されるブロック、装置、システム、技術、または方法は、非限定的な例として、ハードウェア、ソフトウェア、ファームウェア、特定用途の回路またはロジック、汎用用途のハードウェアまたはコントローラ、または他のコンピューティングデバイス、またはこれらの組み合わせによって実施され得ることが知られている。
【0119】
上記説明に基づいて、本開示は、装置、方法、またはコンピュータプログラム製品として提示することができることを当業者は理解することができる。一般に、これらの様々な例示的な実施例は、ハードウェアまたは特定ユーザの回路、ソフトウェア、ロジック、またはこれらの任意の組み合わせに適用することができる。例えば、いくつかの態様は、ハードウェアによって実現され得て、他の態様は、コントローラ、マイクロプロセッサまたは他のコンピューティングデバイスによって実行され得るように、ファームウェアまたはソフトウェアによって実現され得るが、本開示はこれらに限定されるものではない。同時に、本開示の例示的な実施例の異なる態様は、ブロック図、フローチャート、または他の図を利用して例示され、説明され得て、ここで説明されるブロック、装置、システム、技術、または方法は、非限定的な例として、ハードウェア、ソフトウェア、ファームウェア、特定用途の回路またはロジック、汎用用途のハードウェアまたはコントローラ、または他のコンピューティングデバイス、またはこれらの組み合わせによって実施され得ることが知られている。
【0120】
本明細書は、多くの具体的な実施の詳細を含むが、これらは、いずれかの開示の範囲または請求できる内容に対する制限として解釈されるべきではなく、特定の開示に特定し得る特徴に対する説明として解釈される。個々の実施例の文脈で本明細書に記載された幾つかの特徴は、単一の実施例で組み合わせて実現することもできる。逆に、単一の実施例の文脈で説明された様々な特徴は、個別に、または任意の適切なサブ組み合わせで実現され得る。さらに、上記の特徴は、最初に請求されているように、いくつかの組み合わせで機能するように説明できるが、場合によっては、請求された組み合わせからの1つまたは複数の特徴を当該組み合わせから削除することができ、請求される組み合わせは、サブ組み合わせまたはサブ組み合わせの変化に対応することができる。
【0121】
同様に、図面には動作が特定の順序で示されているが、これは、示されている特定の順序でまたは順次そのような動作を実行し、または所望の結果を達成するために示されているすべての動作を実行するものとして理解すべきではない。場合によっては、マルチタスク処理や並列処理が有利な場合もある。さらに、上述した実施例における様々なシステムコンポーネントの分離は、全ての実施例において必要であると理解すべきではなく、説明されたプログラムコンポーネントおよびシステムは、通常、単一のソフトウェア製品に統合され得て、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。
【0122】
本開示の上述の例示的な実施例に対する様々な補正、調整は、上記の説明を考慮して、図面を組み合わせて読むと、当業者にとっては明らかになるであろう。任意およびすべての補正は、本開示の非限定的および例示的な実施例の範囲内に入る。さらに、本開示のこれらの実施例の所属する当業者であれば、前述の説明および関連する図面に示される教示の利益を有する、本明細書に記載された開示内容の他の実施例を想到し得る。
【0123】
したがって、本開示の実施例は、開示された特定の実施例に限定されず、補正および他の実施例は、添付の特許請求の範囲に含まれることが意図されていることを理解されたい。ここでは特定の用語が使用されているが、それらは一般的で記述的な意味でのみ使用され、限定するためのものではない。
【手続補正2】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する方法であって、
VR360アプリケーションにおける視点間で切り替えを行うための構成を決定するステップと、
前記VR360アプリケーションにおける視点間で切り替えを行うための前記構成を前記VR360アプリケーションに伝送するステップと、を含む、
視点切り替え能力を伝送する方法。
【請求項2】
前記構成は、
視点または切り替えトランジションに付けられたISOBMFFボックスである、
請求項1に記載の方法。
【請求項3】
前記構成は、
特定視点切り替えの初期ビューポートを示すビューポートパラメータと、
特定視点切り替えの特定トランジションエフェクトを示すトランジションエフェクトパラメータと、
視点切り替えのための少なくとも1つのアクティベーションウィンドウを示すアクティベーションウィンドウパラメータと、
特定視点切り替えにわたってデスティネーション
視点のメディア
の再生の開始位置を示す時間切り替えパラメータと、
のいずれかまたはその任意の組み合わせを含む、
ことを特徴とする請求項1または2に記載の方法。
【請求項4】
前記ビューポートパラメータは、
デスティネーション視点のための初期ビューポートが構成されているか否かを示すビューポートフラグを含む、
請求項3に記載の方法。
【請求項5】
前記構成は複数の切り替え可能性をさらに含み、各切り替え可能性パラメータが最大1つの視点を持ち、
当該パラメータは、
可能な視点切り替えの数を示す数字パラメータと、
視点切り替え中のデスティネーション視点のIDを示すIDパラメータと、
のうちの少なくとも1つのパラメータを含む、
請求項
3に記載の方法。
【請求項6】
前記トランジションエフェクトパラメータは、
トランジションエフェクトが構成されているか否かを示すトランジションエフェクトフラグと、
特定切り替えのトランジションエフェクトのタイプを示すトランジションエフェクトタイプフラグと、
特定トランジションエフェクトビデオが記憶された位置を示すトランジションエフェクトインジケータと、
のうちの少なくとも1つのパラメータを含む、
請求項3に記載の方法。
【請求項7】
当該時間切り替えパラメータは、
タイムオフセットが構成されているか否かを示すタイムライン切り替えオフセットフラグと、
オフセットの数値を示すオフセットインジケータと、
オフセットの開始点を示す現在関連のフラグと、のうちの少なくとも1つのパラメータを含む、
請求項3に記載の方法。
【請求項8】
当該アクティベーションウィンドウパラメータは、
切り替えトランジションのための最小時間が構成されているか否かを示す最小時間フラグであって、最小時間が構成されている場合、トランジションが当該最小時間
経過後にのみアクティブ化可能である、最小時間フラグと、
最小時間の数値を示す最小時間パラメータと、
切り替えトランジションのための最大時間が構成されているか否かを示す最大時間フラグであって、最大時間が構成されている場合、トランジションが当該最大時間
に達するまでにアクティブ化可能である最大時間フラグと、
最大時間の数値を示す最大時間パラメータと、のうちの少なくとも1つのパラメータを含む、
請求項3に記載の方法。
【請求項9】
当該アクティベーションウィンドウパラメータは、再生のタイムメタデータトラックに付けられる、
請求項8に記載の方法。
【請求項10】
仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する方法であって、
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得するステップと、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うステップと、を含む、
仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する方法。
【請求項11】
前記構成は、
視点または切り替えトランジションに付けられたISOBMFFボックスである、
請求項10に記載の方法。
【請求項12】
前記構成は、
特定視点切り替えの初期ビューポートを示すビューポートパラメータと、
特定視点切り替えの特定トランジションエフェクトを示すトランジションエフェクトパラメータと、
視点切り替えのための少なくとも1つのアクティベーションウィンドウを示すアクティベーションウィンドウパラメータと、
特定視点切り替えにわたってデスティネーション
視点のメディ
ア再生の開始位置を示す時間切り替えパラメータと、
のいずれかまたはその任意の組み合わせを含む、
請求項10または11に記載の方法。
【請求項13】
前記ビューポートパラメータは、
デスティネーション視点のための初期ビューポートが構成されているか否かを示すビューポートフラグを含む、
請求項12に記載の方法。
【請求項14】
前記構成は複数の切り替え可能性をさらに含み、各切り替え可能性パラメータが最大1つの視点を持ち、当該パラメータは、
可能な視点切り替えの数を示す数字パラメータと、
視点切り替え中のデスティネーション視点のIDを示すIDパラメータと、のうちの少なくとも1つのパラメータを含む、
請求項12に記載の方法。
【請求項15】
前記トランジションエフェクトパラメータは、
トランジションエフェクトが構成されているか否かを示すトランジションエフェクトフラグと、
特定切り替えのトランジションエフェクトのタイプを示すトランジションエフェクトタイプフラグと、
特定トランジションエフェクトビデオが記憶された位置を示すトランジションエフェクトインジケータと、のうちの少なくとも1つのパラメータを含む、
請求項12に記載の方法。
【請求項16】
前記時間切り替えパラメータは、
タイムオフセットが構成されているか否かを示すタイムライン切り替えオフセットフラグと、
オフセットの数値を示すオフセットインジケータと、
オフセットの開始点を示す現在関連のフラグと、のうちの少なくとも1つのパラメータを含む、
請求項12に記載の方法。
【請求項17】
当該アクティベーションウィンドウパラメータは、
切り替えトランジションのための最小時間が構成されているか否かを示す最小時間フラグであって、最小時間が構成されている場合、トランジションが当該最小時間
経過後にのみアクティブ化可能である最小時間フラグと、
最小時間の数値を示す最小時間パラメータと、
切り替えトランジションのための最大時間が構成されているか否かを示す最大時間フラグであって、最大時間が構成されている場合、トランジションが当該最大時間
に達するまでにアクティブ化可能である最大時間フラグと、
最大時間の数値を示す最大時間パラメータと、のうちの少なくとも1つのパラメータを含む、
請求項12に記載の方法。
【請求項18】
当該アクティベーションウィンドウパラメータは、再生のタイムメタデータトラックに付けられる、
ことを特徴とする請求項17に記載の方法。
【請求項19】
仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する装置であって、
少なくとも1つのメモリと、
少なくとも1つのプロセッサであって、命令を実行し、
VR360アプリケーションにおける視点間で切り替えを行うための構成を決定し、
前記構成を前記VR360アプリケーションに伝送するように構成される前記少なくとも1つのプロセッサと、を含む、
仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する装置。
【請求項20】
仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する装置であって、
少なくとも1つのメモリと、
少なくとも1つのプロセッサであって、命令を実行し、
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得し、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うように構成される前記少なくとも1つのプロセッサと、を含む、
仮想現実360(VR360)アプリケーションにおいて視点切り替え能力を伝送する装置。
【請求項21】
コンピュータ読み取り可能な記憶媒体であって、命令を記憶しており、当該命令は、プロセッサによって呼び出されて実行されるときに、
仮想現実360(VR360)アプリケーションにおける視点間で切り替えを行うための構成を決定することと、
前記構成を前記VR360アプリケーションに伝送することと、
を含む動作を、前記プロセッサにさせる、
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項22】
コンピュータ読み取り可能な記憶媒体であって、命令を記憶しており、当該命令は、プロセッサによって呼び出されて実行されるときに、
仮想現実360(VR360)アプリケーションにおける視点間で切り替えを行うための構成を取得することと、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うことと、
を含む動作を、前記プロセッサにさせる、
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
【請求項23】
VR360アプリケーションにおける視点間で切り替えを行うための構成を決定するように構成される決定モジュールと、
当該構成をVR360アプリケーションに伝送するように構成される伝送モジュールと、を含む、
ことを特徴とする装置。
【請求項24】
VR360アプリケーションにおける視点間で切り替えを行うための構成を取得するように構成される取得モジュールと、
前記構成に基づいて前記VR360アプリケーションの視点間で切り替えを行うように構成される切り替えモジュールと、を含む、
ことを特徴とする装置。
【国際調査報告】