特許 7539417 パノラマメディア再生方法、機器及びコンピュータ読み取り可能な記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-15

(45)【発行日】2024-08-23

(54)【発明の名称】パノラマメディア再生方法、機器及びコンピュータ読み取り可能な記憶媒体

(51)【国際特許分類】

   H04N 5/93 20060101AFI20240816BHJP

   H04N 21/433 20110101ALI20240816BHJP

【ＦＩ】

H04N5/93

H04N21/433

【請求項の数】 16

(21)【出願番号】P 2021573926

(86)(22)【出願日】2019-06-25

(65)【公表番号】

(43)【公表日】2022-09-06

(86)【国際出願番号】 CN2019092846

(87)【国際公開番号】W WO2020258047

(87)【国際公開日】2020-12-30

【審査請求日】2021-12-28

【審判番号】

【審判請求日】2023-11-20

(73)【特許権者】

【識別番号】516180667

【氏名又は名称】北京小米移動軟件有限公司

【氏名又は名称原語表記】Ｂｅｉｊｉｎｇ Ｘｉａｏｍｉ Ｍｏｂｉｌｅ Ｓｏｆｔｗａｒｅ Ｃｏ．，Ｌｔｄ．

【住所又は居所原語表記】Ｎｏ．０１８， Ｆｌｏｏｒ ８， Ｂｕｉｌｄｉｎｇ ６， Ｙａｒｄ ３３， Ｍｉｄｄｌｅ Ｘｉｅｒｑｉ Ｒｏａｄ， Ｈａｉｄｉａｎ Ｄｉｓｔｒｉｃｔ， Ｂｅｉｊｉｎｇ １０００８５， Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002734

【氏名又は名称】弁理士法人藤本パートナーズ

(72)【発明者】

【氏名】シャンペル，マリ－リュック ジョルジュ アンリ

【合議体】

【審判長】畑中 高行

【審判官】片岡 利延

【審判官】高橋 宣博

(56)【参考文献】

【文献】米国特許出願公開第２０１９／００３７２７８号明細書

【文献】特開２０１８－１１０３７５号公報

(58)【調査した分野】(Int.Cl.，ＤＢ名)

H04N 5/93

H04N 21/433

(57)【特許請求の範囲】

【請求項1】

パノラマメディア再生方法であって、
パノラマメディアデータから現在の視角に関連付けられた視角ループ情報を取得するステップと、
前記視角ループ情報に基づいて、前記現在の視角をループ再生するステップと、を含み、
前記視角ループ情報は、最大ループ回数、ループ開始時間及びループアクティブ化時間を含み、
前記最大ループ回数は、パノラマメディアフォーマットプレーヤが前記現在の視角をループさせる最大回数を示すように構成され、前記ループ開始時間は、１つのループが実行される場合、前記現在の視角の再生が再開される、前記現在の視角のパノラマメディア時間軸における時間を示すように構成され、前記ループアクティブ化時間は、前記ループが開始される、前記現在の視角のパノラマメディア時間軸における時間を示すように構成される、
ことを特徴とするパノラマメディア再生方法。

【請求項2】

前記視角ループ情報は、前記最大ループ回数に達したときに、前記現在の視角の再生の最後に発生する視角切り替えの目的視角の視角識別子を示すように構成される目的視角をさらに含み、
前記方法は、
前記最大ループ回数に達したときに、前記現在の視角の再生の最後に前記目的視角に切り替えるステップをさらに含む、
ことを特徴とする請求項１に記載の方法。

【請求項3】

前記パノラマメディアデータから前記現在の視角に関連付けられた視角切り替え情報を取得するステップであって、前記視角切り替え情報は、前記現在の視角から切り替えられた目的視角を示すように構成される目的視角を含むステップと、
前記最大ループ回数に達したときに、前記現在の視角の再生の最後に前記目的視角に切り替えるステップと、をさらに含む、
ことを特徴とする請求項１に記載の方法。

【請求項4】

前記最大ループ回数の値が所定値に設定されている場合、又は前記視角ループ情報に最大ループ回数要素が現れていない場合、前記最大ループ回数は無限回である、
ことを特徴とする請求項２又は３に記載の方法。

【請求項5】

前記視角ループ情報にループ開始時間要素が現れていない場合、前記現在の視角のパノラマメディア時間軸の開始位置から前記現在の視角を再生する、
ことを特徴とする請求項２又は３に記載の方法。

【請求項6】

前記視角ループ情報にループアクティブ化時間要素が現れていない場合、前記現在の視角のパノラマメディア時間軸の最後の位置で１つのループを開始する、
ことを特徴とする請求項２又は３に記載の方法。

【請求項7】

前記視角ループ情報は、ＩＳＯＢＭＦＦ構造として定義される、
ことを特徴とする請求項１～６のいずれかに記載の方法。

【請求項8】

パノラマメディア再生装置であって、
パノラマメディアデータから現在の視角に関連付けられた視角ループ情報を取得するように構成される取得ユニットと、
前記視角ループ情報に基づいて、前記現在の視角をループ再生するように構成される再生ユニットと、を含み、
前記視角ループ情報は、最大ループ回数、ループ開始時間及びループアクティブ化時間を含み、
前記最大ループ回数は、パノラマメディアフォーマットプレーヤが前記現在の視角をループさせる最大回数を示すように構成され、前記ループ開始時間は、１つのループが実行される場合、前記現在の視角の再生が再開される、前記現在の視角のパノラマメディア時間軸における時間を示すように構成され、前記ループアクティブ化時間は、前記ループが開始される、前記現在の視角のパノラマメディア時間軸における時間を示すように構成される、
ことを特徴とするパノラマメディア再生装置。

【請求項9】

前記視角ループ情報は、前記最大ループ回数に達したときに、前記現在の視角の再生の最後に発生する視角切り替えの目的視角の視角識別子を示すように構成される目的視角をさらに含み、前記再生ユニットが、さらに、前記最大ループ回数に達したときに、前記現在の視角の再生の最後に前記目的視角に切り替えるように構成される、
ことを特徴とする請求項８に記載の装置。

【請求項10】

前記取得ユニットが、さらに、前記パノラマメディアデータから前記現在の視角に関連付けられた視角切り替え情報を取得するように構成され、前記視角切り替え情報は、前記現在の視角から切り替えられた目的視角を示すように構成される目的視角を含み、前記再生ユニットが、さらに、前記最大ループ回数に達したときに、前記現在の視角の再生の最後に目的視角に切り替えるように構成される、
ことを特徴とする請求項８に記載の装置。

【請求項11】

前記最大ループ回数の値が所定値に設定されている場合、又は前記視角ループ情報に最大ループ回数要素が現れていない場合、前記最大ループ回数は無限回である、
ことを特徴とする請求項９又は１０に記載の装置。

【請求項12】

前記視角ループ情報にループ開始時間要素が現れていない場合、前記現在の視角のパノラマメディア時間軸の開始位置から前記現在の視角を再生する、
ことを特徴とする請求項９又は１０に記載の装置。

【請求項13】

前記視角ループ情報にループアクティブ化時間要素が現れていない場合、前記現在の視角のパノラマメディア時間軸の最後の位置で１つのループを開始する、
ことを特徴とする請求項９又は１０に記載の装置。

【請求項14】

前記視角ループ情報は、ＩＳＯＢＭＦＦ構造として定義される、
ことを特徴とする請求項８～１３のいずれかに記載の装置。

【請求項15】

プロセッサと、前記プロセッサによって実行可能な命令を記憶するように構成されるメモリと、を含む端末機器であって、
前記プロセッサは、請求項１～７のいずれかに記載の方法におけるステップを実行するように構成される、
ことを特徴とする端末機器。

【請求項16】

命令が記憶されているコンピュータ読み取り可能な記憶媒体であって、
前記命令がプロセッサによって実行される場合、請求項１～７のいずれかに記載の方法におけるステップが実現される、
ことを特徴とするコンピュータ読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、パノラマメディア技術の分野に関し、具体的には、パノラマメディア再生方法、端末機器及びコンピュータ読み取り可能な記憶媒体に関する。

【背景技術】

【0002】

ヘッドマウントディスプレイ及びヘッドホンを利用してパノラマメディアコンテンツに浸っている場合、ユーザがメディアがキャプチャされた空間点及び時間点にいることをシミュレートするように、ユーザの前には、その視聴方向に対応するメディア部分のみが提示される。パノラマメディアアプリケーションで最も普及している形態の１つは、３６０°ビデオとも呼ばれるパノラマビデオである。パノラマビデオは、通常、複数のカメラによって撮像され、３６０°でシーンの全体をカバーする。従来のメディアアプリケーションフォーマットに比べて、パノラマビデオのエンドツーエンド技術（キャプチャから再生まで）は、多様なキャプチャ技術及びビデオ投影技術により、断片化しやすくなる。キャプチャ側から見ると、３６０°ビデオをキャプチャすることができる複数の異なるタイプのカメラを有し、再生側では、異なる処理能力で３６０°ビデオを再生することができる複数の異なる機器を有する。パノラマメディアコンテンツ及び機器の断片化を回避するために、パノラマメディアフォーマット（Ｏｍｎｉｄｉｒｅｃｔｉｏｎａｌ ＭｅｄｉＡ Ｆｏｒｍａｔ、ＯＭＡＦと略称する）標準では、パノラマメディアアプリケーションに使用される標準化されたフォーマットが規定されている。

【0003】

ＯＭＡＦは、３６０°ビデオ、画像、オーディオ及び関連する時系列テキストに焦点を当てた、パノラマメディアアプリケーションをサポートするメディアフォーマットを定義する。

【0004】

動画専門家集団（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ、ＭＰＥＧと略称する）は２０１８年初より、この分野で新たな技術作業を展開し、ＯＭＡＦの技術仕様の新しいバージョンを起草した。

【0005】

当該ＯＭＡＦの技術仕様の新しいバージョンでは、単一ＯＭＡＦアプリケーションにおける多視角がサポートされている。ここで、多視角技術に基づいて単一ＯＭＡＦアプリケーションで視角をループする新たな技術案が提案される。

【0006】

前記背景技術部分に開示された上記情報は、本発明の背景に対する理解を強化するためのものにすぎないので、当業者にとって周知の従来技術を構成しない情報を含むことができる。

【発明の概要】

【0007】

本発明は、パノラマメディア再生方法、端末機器及びコンピュータ読み取り可能な記憶媒体を提供する。

【課題を解決するための手段】

【0008】

本発明の第１の態様によれば、パノラマメディアデータから現在の視角に関連付けられた視角ループ情報を取得するステップと、前記視角ループ情報に基づいて前記現在の視角をループ再生するステップと、を含むパノラマメディア再生方法を提供する。

【0009】

本発明の一実施形態によれば、視角ループ情報は、最大ループ回数、ループ開始時間及びループアクティブ化時間を含み、最大ループ回数は、パノラマメディアフォーマットプレーヤが現在の視角をループさせる最大回数を示すように構成され、ループ開始時間は、１つのループが実行される場合、現在の視角の再生が再開される、現在の視角のパノラマメディア時間軸における時間を示すように構成され、ループアクティブ化時間は、ループが開始される、現在の視角のパノラマメディア時間軸における時間を示すように構成される。

【0010】

本発明の一実施形態によれば、視角ループ情報は、最大ループ回数に達したときに、現在の視角の再生の最後に発生する視角切り替えの目的視角の視角識別子を示すように構成される目的視角をさらに含み、方法は、最大ループ回数に達したときに、現在の視角の再生の最後に目的視角に切り替えるステップをさらに含む。

【0011】

本発明の一実施形態によれば、方法は、パノラマメディアデータから現在の視角に関連付けられた視角切り替え情報を取得するステップであって、視角切り替え情報は、現在の視角から切り替えられた目的視角を示すように構成される目的視角を含むステップと、最大ループ回数に達したときに、現在の視角の再生の最後に目的視角に切り替えるステップと、をさらに含む。

【0012】

本発明の一実施形態によれば、最大ループ回数の値が所定値に設定されている場合、又は視角ループ情報に最大ループ回数が現れていない場合、最大ループ回数は無限回である。

【0013】

本発明の一実施形態によれば、視角ループ情報にループ開始時間が現れていない場合、現在の視角のパノラマメディア時間軸の開始位置から現在の視角を再生する。

【0014】

本発明の一実施形態によれば、視角ループ情報にループアクティブ化時間が現れていない場合、現在の視角のパノラマメディア時間軸の最後の位置で１つのループを開始する。

【0015】

本発明の一実施形態によれば、視角ループ情報は、ＩＳＯＢＭＦＦ構造として定義される。

【0016】

本発明の第２の態様によれば、パノラマメディアデータから現在の視角に関連付けられた視角ループ情報を取得するように構成される取得ユニットと、視角ループ情報に基づいて現在の視角をループ再生するように構成される再生ユニットと、を含むパノラマメディア再生装置を提供する。

【0017】

本発明の一実施形態によれば、視角ループ情報は、最大ループ回数、ループ開始時間及びループアクティブ化時間を含み、ここで、最大ループ回数は、パノラマメディアフォーマットプレーヤが現在の視角をループさせる最大回数を示すように構成され、ループ開始時間は、１つのループが実行される場合、現在の視角の再生が再開される、現在の視角のパノラマメディア時間軸における時間を示すように構成され、ループアクティブ化時間は、ループが開始される、現在の視角のパノラマメディア時間軸における時間を示すように構成される。

【0018】

本発明の一実施形態によれば、視角ループ情報は、最大ループ回数に達したときに、現在の視角の再生の最後に発生する視角切り替えの目的視角の視角識別子を示すように構成される目的視角をさらに含み、再生ユニットは、さらに、最大ループ回数に達したときに、現在の視角の再生の最後に目的視角に切り替えるように構成される。

【0019】

本発明の一実施形態によれば、取得ユニットは、さらに、パノラマメディアデータから現在の視角に関連付けられた視角切り替え情報を取得するように構成され、視角切り替え情報は、現在の視角から切り替えられた目的視角を示すように構成される目的視角を含み、再生ユニットは、さらに、最大ループ回数に達したときに、現在の視角の再生の最後に目的視角に切り替えるように構成される。

【0020】

本発明の一実施形態によれば、最大ループ回数の値が所定値に設定されている場合、又は視角ループ情報に最大ループ回数が現れていない場合、最大ループ回数は無限回である。

【0021】

本発明の一実施形態によれば、視角ループ情報にループ開始時間が現れていない場合、現在の視角のパノラマメディア時間軸の開始位置から現在の視角を再生する。

【0022】

本発明の一実施形態によれば、視角ループ情報にループアクティブ化時間が現れていない場合、現在の視角のパノラマメディア時間軸の最後の位置で１つのループを開始する。

【0023】

本発明の一実施形態によれば、視角ループ情報は、ＩＳＯＢＭＦＦ構造として定義される。

【0024】

本発明の第３の態様によれば、プロセッサと、プロセッサによって実行可能な命令を記憶するように構成されるメモリと、を含む端末機器を提供し、プロセッサは、上記第１の態様のいずれかの方法におけるステップを実行するように構成される。

【0025】

本発明の第４の態様によれば、コンピュータによって実行可能な命令が記憶されているコンピュータ読み取り可能な記憶媒体を提供し、実行可能な命令がプロセッサによって実行される場合、上記第１の態様のいずれかの方法におけるステップが実現される。

【発明の効果】

【0026】

本発明の実施形態により提供される技術案の有益な効果は、視角のループを可能にするメカニズムが提供され、視角ループの情報が定義されることを含むことができる。

【0027】

また、本発明の他の実施例によれば、視角ループの新しいデータ構造の定義に基づいて、先ず、コンテンツ製作者は、無限回のループの代わりに、一定回数のループ方式を正確に使用することができ、これによってコンテンツ製作者がコンテンツメディア時間軸をよりよく管理することができる。次に、コンテンツ製作者は、常に視角開始時に再生を再開するのではなく、ループ開始時間を正確に選択することができる。そして、コンテンツ製作者は、常に視角再生の最後にループを初期化するのではなく、ループをアクティブ化する時間を正確に選択することもでき、例えば、最大ループ回数に達した後に再生されるいくつかの追加のコンテンツを（視角において）定義することができる。ループ自体に境界（アクティブ化時間及び開始時間）を定義できるようになれば、コンテンツ製作者は、ループ中にシームレスに切り替えることもより容易になる。さらに、コンテンツ製作者は、最大ループ回数に達した後の視角再生終了時に発生する他の切り替え効果を正確に利用することもできる。

【0028】

本節では、本発明に記載された技術の様々な実施形態又は例を要約するが、本発明の技術のすべての範囲又はすべての特徴を完全に開示するものではない。

【図面の簡単な説明】

【0029】

以下、本発明の実施形態における技術案をより明確に説明するために、本発明の実施形態を説明するために必要な図面を簡単に紹介する。以下の説明における図面は本発明のいくつかの実施形態を示しているにすぎず、当業者が創造的な労働を払わなくても、これらの図面から他の図面を導き出すことができることは自明なことである。

【図1】可能なアプリケーションシーンに係るＯＭＡＦアプリケーションの例示図である。

【図2】例示的な一実施形態に係るパノラマメディア再生のためのシステムのアーキテクチャ図である。

【図3】例示的な一実施形態に係るパノラマメディア再生方法のフローチャートである。

【図4】例示的な一実施形態に係る別のパノラマメディア再生方法のフローチャートである。

【図5】例示的な一実施形態に係る他のパノラマメディア再生方法のフローチャートである。

【図6】例示的な一実施形態に係るパノラマメディア再生装置のブロック図である。

【図7】例示的な一実施形態に係る端末機器のブロック図である。

【発明を実施するための形態】

【0030】

ここで、本開示の例示的な実施形態を、例示的な実施形態が示されている添付の図面を参照して、より完全に説明する。しかしながら、例示的な実施形態は、様々な形態で実施することができ、本明細書に記載された例に限定されるものと理解すべきではなく、むしろ、これらの実施形態を提供することにより、本発明がより包括的かつ完全になり、例示的な実施形態の考え方が当業者に全面的に伝達される。図面は、本発明の例示的な図にすぎず、必ずしも比例して描かれているわけではない。図面における同じ図面符号は、同じ又は類似の部分を示しているので、その繰り返しの説明は省略する。

【0031】

また、記載された特徴、構造又は特性は、任意の適切な方式で１つ又は複数の実施形態に組み込むことができる。以下の説明において、本発明の実施形態に対する十分な理解を与えるために、様々な具体的な詳細が提供される。しかしながら、当業者であれば、本発明の技術案を実施して前記特定の詳細における１つ以上を省略するか、又は他の方法、装置、ステップなどを採用することができることを理解することができる。他の場合には、周知の構造、材料又は操作は、主客転倒して本発明の各態様が不明確になることを回避するために、詳細に示さない。

【0032】

図１は、可能なナラティブシーンに係るＯＭＡＦアプリケーションの例示図である。図１に示すように、当該ＯＭＡＦアプリケーションシーンが視角Ａ及び視角Ｂを中心に確立されている。以下の特徴は、視角Ａ内のループを定義するために使用される。

【0033】

―視角Ａの持続時間は６０秒である。

【0034】

―視角Ａのループ開始時間は、視角Ａのメディア開始位置から１０秒である。

【0035】

―視角Ａのループアクティブ化時間は、視角Ａのメディア開始位置から５８秒である。

【0036】

―視角Ａの再生終了後に視角Ｂに切り替える。

【0037】

以上の情報に基づいて、可能なナラティブシーンにおいて、これらの視角の配置状況は、図１を参照して説明する。

【0038】

ユーザが暗い部屋（例えば、視角Ａ）に入り、１０秒後に天井のライトがオンになり、ユーザは、周りの環境をよりはっきりと見ることができ、２つのドアを見ることができる。３０秒後に、２つのドアのうちの１つが「バーン」という音を立て、ユーザがこのドアを通過できることを示す。

【0039】

ユーザがそのドアの方向を向いている場合、ドアが「バーン」と閉められているのが見え、そこに行くと強く示唆する。

【0040】

ユーザがそのドアの方向を向いていない場合、その方向で何が起こっているかを示すためのヒントだけを得るかもしれない。視角Ａが１０秒から５８秒の間の部分に最大３回再生可能であり、ユーザに３回のチャンスが与えられ、「バーン」と閉められたドアに気付かせやすくなる。

【0041】

ユーザがそのドアとの対話を決定すると、別の部屋（例えば、別の視角Ｃ）に切り替える。

【0042】

しかし、彼がそのドアと対話しない場合、次のようなイベントが発生する可能性がある。視角Ａが３回ループした後、１５４秒にメインライトがオフになり、２秒後の１５６秒に、ユーザが閉まっていないドアを介して他の部屋（例えば、視角Ｂ）に入る。

【0043】

以上から分かるように、ナラティブに関しては、コンテンツ製作者は、ＯＭＡＦアプリケーションにおける１つ又は複数の視角が１回又は複数回再生されるように、ＯＭＡＦアプリケーション内でいくつかの視角をループさせることをより望んでいる。

【0044】

図２は、例示的な一実施形態に係るパノラマメディア再生のためのシステムのアーキテクチャ図である。

【0045】

図２に示すように、システム１０は、コンテンツサーバ１１と端末機器１２とを含むことができる。例えば、コンテンツサーバ１１は、コンテンツ製作者やコンテンツプロバイダによって配置される。また、コンテンツサーバ１１は、単一のサーバであってもよいし、分散型のサーバクラスタであってもよい。コンテンツサーバ１１には、所定のメディアコンテナファイルフォーマットを有するパノラマメディアデータが格納されている。本発明のいくつかの実施例では、メディアコンテナファイルフォーマットは、ＩＳＯベースメディアファイルフォーマット（ＩＳＯ Ｂａｓｅ Ｍｅｄｉａ Ｆｉｌｅ Ｆｏｒｍａｔ、ＩＳＯＢＭＦＦと略称する）を例とするが、本発明はこれに限定されない。

【0046】

例えば、パノラマメディアデータは、以下のような流れで取得することができる。

【0047】

現実世界の視聴シーンは、オーディオセンサ及び一群のカメラ、又は複数のレンズとセンサとを備えたカメラ機器によりキャプチャ・収集され、キャプチャされた結果は、一群のデジタル画像／ビデオ信号とオーディオ信号である。カメラ／レンズは通常、カメラセット又はカメラ機器の中心点の周辺のすべての方向をカバーするため、３６０度ビデオと呼ばれる。

【0048】

多くの異なるマイク構成を使用してオーディオをキャプチャし、それをチャンネルベースの信号、静的又は動的な（すなわち３Ｄシーン内を移動する）オブジェクト信号、及びシーンベースの信号（例えばハイエンドステレオ）を含むいくつかの異なるコンテンツフォーマットとして記憶することができる。チャンネルベースの信号は、通常、スピーカのデザインに準拠している。パノラマメディアアプリケーションでは、提示された没入型オーディオプログラムのスピーカデザイン信号は、ヘッドホンを介して再生されるようにバイノーラル化される。

【0049】

同じ瞬間の画像をスプライシングし、場合によって回転させて、投影してカプセル化された画像にマッピングする。

【0050】

オーディオについては、収集されたオーディオ信号が固有の没入特性と全方向特性を有するので、スプライシングする必要はない。

【0051】

カプセル化された画像は、符号化された画像又は符号化されたビデオビットストリームとして符号化される。キャプチャされたオーディオは、オーディオビットストリームとして符号化される。そして、符号化された画像、ビデオ及び／又はオーディオは、上記メディアコンテナファイルフォーマットに基づいて、一連の初期化セグメント及びストリーミングメディアセグメントに構成される。ファイルカプセル化装置はまた、カプセル化された画像の提示を支援するように、投影及びパーティションのパッキング情報のようなメタデータをセグメントに含める。

【0052】

これらのセグメントはコンテンツサーバ１１に格納され、配信メカニズムを用いて端末機器１２に伝送される。伝送メカニズムは、例えば、ＨＴＴＰに基づく動的適応ストリーミング伝送プロトコル（Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ、ＤＡＳＨと略称する）又はＭＰＥＧメディア伝送プロトコル（ＭＰＥＧ ｍｅｄｉａ ｔｒａｎｓｐｏｒｔ、ＭＭＴと略称する）であってもよい。

【0053】

端末機器１２は、ＯＭＡＦプレーヤとして、ヘッドマウントディスプレイ又は他の任意のディスプレイ及びヘッドホンを含む機器であってもよい。

【0054】

端末機器１２において、ファイルデコーダは、受信されたセグメントを処理し、符号化されたビットストリームを抽出し、メタデータを解析する。その後、オーディオ、ビデオ及び／又は画像を、復号化された信号に復号化する。現在の視聴方向又はウインドウ、及びファイルから解析された投影、ボール視野、回転、及びパーティションのパッキングメタデータに基づいて、復号化されたカプセル化された画像を、ヘッドマウントディスプレイ又は他のディスプレイ機器のスクリーンに投影する。同様に、復号化されたオーディオも、現在の視聴方向に応じて、例えばヘッドホンを介して提示されることもある。現在の視聴方向は、ヘッドトラッキングによって決定され、眼球トラッキングによって決定されることもある。復号化されたビデオ及びオーディオ信号の適切な部分をレンダラーによってレンダリングするために使用されることに加えて、現在の視聴方向は、ビデオ及びオーディオデコーダの復号化の最適化にも使用され得る。

【0055】

本発明のいくつかの実施例では、生中継の場合、符号化された画像、ビデオ、及び／又はオーディオは、ファイル再生のためにメディアファイルに組み合わせられてもよい。メディアファイルは、上記メタデータをさらに含む。端末機器１２では、デコーダにより入力されるファイルはメディアファイルと同じである。ファイルデコーダは、さらに、ファイルを処理し、符号化されたビットストリームを抽出してメタデータを解析する。このプロセスは、上述した通りであり、ここでは説明を省略する。

【0056】

関連技術では、現在のＯＭＡＦワーキングドラフトは、ＶｉｅｗｐｏｉｎｔＰｏｓＳｔｒｕｃｔ（）、ＶｉｅｗｐｏｉｎｔＧｌｏｂａｌＣｏｏｒｄｉｎａｔｅＳｙｓＲｏｔａｔｉｏｎＳｔｒｕｃｔ（）、ＶｉｅｗｐｏｉｎｔＧｒｏｕｐＳｔｒｕｃｔ（）及びＶｉｅｗｐｏｉｎｔＥｎｔｒｙ（）というＩＳＯＢＭＦ構造によって視角を定義している。ＶｉｅｗｐｏｉｎｔＰｏｓＳｔｒｕｃｔ（）は、グローバル座標系における視角の位置を定義しており、その中には一般的に全地球測位システム（ＧＰＳ）情報が含まれている場合があり、ＶｉｅｗｐｏｉｎｔＧｌｏｂａｌＣｏｏｒｄｉｎａｔｅＳｙｓＲｏｔａｔｉｏｎＳｔｒｕｃｔ（）は、グローバル座標系における視角の方向を定義している。ＶｉｅｗｐｏｉｎｔＧｒｏｕｐＳｔｒｕｃｔ（）は、視角群情報を提供する。ＶｉｅｗｐｏｉｎｔＥｎｔｒｙ（）は、視角ごとに一意の視角識別子ｖｉｅｗｐｏｉｎｔ_ｉｄを定義している。

【0057】

ループ視角のすべての特徴を説明するために、本発明の実施例は、ループが存在する各単一の視角に関連付けられた視角ループ情報を定義するための追加のデータ構造を提案する。これにより、ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）コンテンツの一部（単一の視角の時間部分と理解できる）がループさせるＯＭＡＦアプリケーションを記述することが可能になる。

【0058】

この追加のデータ構造は、ループに関連する特徴要素、例えば、最大ループ回数、目的視角、ループアクティブ化時間、及びループ開始時間を含む。

【0059】

ここで、最大ループ回数要素は、１つの視角ループの最大回数を示すように構成される。本発明のいくつかの実施例では、最大ループ回数は無限回に構成することができる。例えば、最大ループ回数要素を特定の値（例えば、－１）に設定することで無限ループを示す。選択可能に、このデータ構造に最大ループ回数要素が構成されていない場合は、無限ループを表す。

【0060】

目的視角要素は、現在の視角の再生が最大ループ回数に達した後、切り替えられた目的視角を示すように構成される。ループ回数が無限回の場合、目的視角要素を構成しない。

【0061】

関連技術において、視角切り替え情報を定義する新しいデータ構造（例えば、ＶｉｅｗｐｏｉｎｔＳｗｉｔｃｈｉｎｇＳｔｒｕｃｔ（））が提案されている。当該データ構造も、１つの視角から切り替えられた目的視角を示すように構成される目的視角要素を含む。本発明のいくつかの実施例では、視角切り替え情報がこのようなデータ構造によって定義されることが可能な場合、視角ループ情報を定義するためのデータ構造は、目的視角要素を含むべきではない。

【0062】

ループアクティブ化時間要素は、現在の視角に関連付けられたパノラマメディアの時間軸におけるループが発生する時間を示すように構成される。図１に示すシーンを例にとると、ループアクティブ化時間は、ｌｏｏｐ_ａｃｔｉｖａｔｉｏｎ_ｔｉｍｅに示される。

【0063】

ループ開始時間要素は、ループが発生した時にループ再生が切り替わる、現在の視角に関連付けられたパノラマメディアの時間軸における時間を示すように構成される。同様に、図１に示すシーンを例にとると、ループ開始時間はｌｏｏｐ_ｓｔａｒｔ_ｔｉｍｅに示される。

【0064】

以下のＩＳＯＢＭＦＦ構文は、本発明の可能な一実施例である。

【0065】

ａｌｉｇｎｅｄ（８） ｃlaｓｓ Ｖｉｅｗｐｏｉｎｔ Ｌｏｏｐｉｎｇ Ｓｔｒｕｃｔ （） [
ｕｎｓｉｇｎｅｄ ｉｎｔ（１） ｍａｘ_ｌｏｏｐｓ_ｆｌａｇ；
ｕｎｓｉｇｎｅｄ ｉｎｔ（１） ｄｅｓｔｉｎａｔｉｏｎ_ｖｉｅｗｐｏｉｎｔ_ｆｌａｇ;
ｕｎｓｉｇｎｅｄ ｉｎｔ（１） ｌｏｏｐ_ａｃｔｉｖａｔｉｏｎ_ｆｌａｇ;
ｕｎｓｉｇｎｅｄ ｉｎｔ（１） ｌｏｏｐ_ｓｔａｒｔ_ｆｌａｇ;
ｂｉｔ（４） ｒｅｓｅｒｖｅｄ = ;
ｉｆ （ｍａｘ_ｌｏｏｐｓ_ｆｌａｇ） [ ｓｉｇｎｅｄ ｉｎｔ（８） ｍａｘ_ｌｏｏｐｓ;] ／／ -１ ｆｏｒ ｉｎｆｉｎｉｔｅ ｌｏｏｐｓ
ｉｆ（ｄｅｓｔｉｎａｔｉｏｎ_ｖｉｅｗｐｏｉｎｔ_ｆｌａｇ）[
ｕｎｓｉｇｎｅｄ ｉｎｔ（１６） ｄｅｓｔｉｎａｔｉｏｎ_ｖｉｅｗｐｏｉｎｔ_ｉｄ;
]
ｉｆ （ｌｏｏｐ_ａｃｔｉｖａｔｉｏｎ_ｆｌａｇ） [ ｓｉｇｎｅｄ ｉｎｔ（３２） ｌｏｏｐ_ａｃｔｉｖａｔｉｏｎ_ｔｉｍｅ; ]
ｉｆ （ｌｏｏｐ_ｓｔａｒｔ_ｆｌａｇ）[ｓｉｇｎｅｄ ｉｎｔ（３２） ｌｏｏｐ_ｓｔａｒｔ_ｔｉｍｅ;]
]

【0066】

以下のセマンティクスは、前に定義された可能な実施例におけるＩＳＯＢＭＦＦ構文に関連付けられている。

【0067】

-ｍａｘ_ｌｏｏｐｓ_ｆｌａｇが１に等しいということは、ループ最大回数情報が存在することを示す。

【0068】

-ｄｅｓｔｉｎａｔｉｏｎ_ｖｉｅｗｐｏｉｎｔ_ｆｌａｇが１に等しいということは、目的視角情報が存在することを示す。

【0069】

-ｌｏｏｐ_ａｃｔｉｖａｔｉｏｎ_ｆｌａｇが１に等しいということは、ループアクティブ化時間情報が存在することを示す。

【0070】

-ｌｏｏｐ_ｓｔａｒｔ_ｆｌａｇが１に等しいということは、ループ開始時間情報が存在することを示す。

【0071】

-ｍａｘ_ｌｏｏｐｓは、現在の視角でＯＭＡＦプレーヤが実行する最大ループ回数を示す。当該値が－１に設定されている場合、ＯＭＡＦプレーヤは、現在の視角を無限にループさせるか、又はユーザがプレーヤと対話するか、ＶＲコンテンツの再生が終了するまでループさせる。ｍａｘ_ｌｏｏｐｓ_ｆｌａｇが０に等しく、ｍａｘ_ｌｏｏｐｓ情報が設定されていない場合、ｍａｘ_ｌｏｏｐｓはデフォルト値の－１（無限ループ）に設定されるべきである。

【0072】

-ｄｅｓｔｉｎａｔｉｏｎ_ｖｉｅｗｐｏｉｎｔ_ｉｄは、視角が切り替えられた目的視角のｖｉｅｗｐｏｉｎｔ_ｉｄを示し、最大ループ回数（ｍａｘ_ｌｏｏｐｓ）に達すると、当該視角切り替えが、現在の視角の再生の最後に発生する。

【0073】

-ｌｏｏｐ_ａｃｔｉｖａｔｉｏｎ_ｔｉｍｅは、現在の視角のメディア時間軸におけるループが開始される時間を示す。ｌｏｏｐ_ａｃｔｉｖａｔｉｏｎ_ｔｉｍｅがない場合、ループは現在の視角のメディア時間軸の最後に発生するべきである。

【0074】

-ｌｏｏｐ_ｓｔａｒｔ_ｔｉｍｅは、現在の視角のメディア時間軸における時間を示し、ループが実行される場合、現在の視角の再生が当該時間に再開される。ｌｏｏｐ_ｓｔａｒｔ_ｔｉｍｅがない場合、再生は現在の視角のメディア時間軸の開始位置で再開されるべきである。

【0075】

視角ループに関する新しいデータ構造の定義に基づいて、先ず、コンテンツ製作者は、無限回のループの代わりに、一定回数のループ方式を正確に使用することができ、これによってコンテンツ製作者がコンテンツメディア時間軸をよりよく管理することができる。次に、コンテンツ製作者は、常に視角開始時に再生を再開するのではなく、ループ開始時間を正確に選択することができる。そして、コンテンツ製作者は、常に視角再生の最後にループを初期化するのではなく、ループをアクティブ化する時間を正確に選択することもでき、例えば、最大ループ回数に達した後に再生されるいくつかの追加のコンテンツを（視角において）定義することができる。ループ自体に境界（アクティブ化時間及び開始時間）を定義できるようになれば、コンテンツ製作者は、ループ中にシームレスに切り替えることもより容易になる。さらに、コンテンツ製作者は、最大ループ回数に達した後の視角再生終了時に発生する他の切り替え効果を正確に利用することもできる。

【0076】

以下、本発明の実施形態により提供されるパノラマメディア再生方法について説明する。

【0077】

図３は、例示的な一実施形態に係るパノラマメディア再生方法のフローチャートである。例えば、当該方法は、図２における端末機器１２によって実施することができる。

【0078】

図３に示すように、方法２０は、以下のステップＳ２０２及びＳ２０４を含む。

【0079】

ステップＳ２０２において、ＯＭＡＦプレーヤとしての端末機器１２が、パノラマメディアデータから現在の視角に関連付けられた視角ループ情報を取得する。

【0080】

前述したように、現在の視角を複数回再生する必要がある場合、現在の視角に関連付けられた視角ループ情報をパノラマメディアデータに含める必要がある。その後、ＯＭＡＦプレーヤは、パノラマメディアデータから現在の視角に関連付けられた視角ループ情報を取得することができる。

【0081】

ステップＳ２０４において、端末機器１２が、視角ループ情報に基づいて現在の視角をループ再生する。

【0082】

本発明のいくつかの実施例では、前記視角ループ情報は、最大ループ回数、ループ開始時間、及びループアクティブ化時間を含むことができる。最大ループ回数は、ＯＭＡＦプレーヤが前記現在の視角をループ再生すべき最大回数を示すように構成され、ループ開始時間は、１つのループが実行される場合、現在の視角の再生を再開すべきである、現在の視角のパノラマメディア時間軸における時間を示すように構成され、ループアクティブ化時間は、ループが開始される、現在の視角のパノラマメディア時間軸における時間を示すように構成される。

【0083】

本発明のいくつかの実施例では、前記視角ループ情報は、前記最大ループ回数に達したときに、前記現在の視角の再生の最後に発生する視角切り替えの目的視角の視角識別子を示すように構成される目的視角をさらに含む。

【0084】

図４は、例示的な一実施形態に係る別のパノラマメディア再生方法のフローチャートである。視角ループ情報に目的視角がある場合、図４に示すように、方法２０は、次のステップＳ３０６をさらに含むことができる。

【0085】

ステップＳ３０６において、最大ループ回数に達したときに、端末機器１２が、現在の視角の再生の最後に目的視角に切り替える。

【0086】

本発明のいくつかの実施例では、前述したように、現在の視角に関連付けられた視角切り替え情報が定義されている場合、ＯＭＡＦプレーヤは、現在の視角が切り替えられた目的視角を決定するように、視角切り替え情報から目的視角を取得すべきである。視角ループ情報は、ＩＳＯＢＭＦＦ構造として定義することができる。

【0087】

図５は、本発明の例示的な一実施形態に係る他のパノラマメディア再生方法のフローチャートである。現在の視角に関連付けられた視角切り替え情報が定義されている場合、図５に示すように、方法２０は、以下のステップＳ４０６をさらに含むことができる。

【0088】

ステップＳ４０６において、端末機器１２が、パノラマメディアデータから前記現在の視角に関連付けられた視角切り替え情報を取得する。

【0089】

視角切り替え情報は、現在の視角から切り替えられた目的視角を示すように構成される目的視角を含む。

【0090】

なお、図５に示すように、当該ステップは、ステップＳ２０４の前に実行されるべきである。これは、現在の視角をループさせる前に、端末機器１２が視角切り替え情報を取得すべきであることを示す。

【0091】

ステップＳ４０８において、端末機器１２が、最大ループ回数に達したときに、現在の視角の再生の最後に目的視角に切り替える。

【0092】

本発明のいくつかの実施例では、最大ループ回数の値が所定値（例えば、－１）に設定される場合、又は視角ループ情報に最大ループ回数が現れていない場合、最大ループ回数は無限回である。すなわち、ＯＭＡＦプレーヤは、現在の視角を無限回ループさせるか、又はユーザがプレーヤと対話するか、ＶＲコンテンツの再生が終了するまでループさせる。

【0093】

本発明のいくつかの実施例では、視角ループ情報にループ開始時間が現れていない場合、現在の視角のパノラマメディア時間軸の開始位置から現在の視角を再生すべきである。

【0094】

本発明のいくつかの実施例では、視角ループ情報にループアクティブ化時間が現れていない場合、現在の視角のパノラマメディア時間軸の最後の位置でループを開始すべきである。

【0095】

本発明のいくつかの実施例では、視角ループ情報は、ＩＳＯＢＭＦＦ構造、すなわち上記ＩＳＯＢＭＦＦ構造ＶｉｅｗｐｏｉｎｔＬｏｏｐｉｎｇＳｔｒｕｃｔ（）として定義される。

【0096】

上記本発明の実施形態に係るパノラマメディア再生方法によれば、先ず、コンテンツ製作者は、無限回のループの代わりに、一定回数のループ方式を正確に使用することができ、これによってコンテンツ製作者がコンテンツメディア時間軸をよりよく管理することができる。次に、コンテンツ製作者は、常に視角開始時に再生を再開するのではなく、ループ開始時間を正確に選択することができる。そして、コンテンツ製作者は、常に視角再生の最後にループを初期化するのではなく、ループをアクティブ化する時間を正確に選択することもでき、例えば、最大ループ回数に達した後に再生されるいくつかの追加のコンテンツを（視角において）定義することができる。ループ自体に境界（アクティブ化時間及び開始時間）を定義できるようになれば、コンテンツ製作者は、ループ中にシームレスに切り替えることもより容易になる。さらに、コンテンツ製作者は、最大ループ回数に達した後の視角再生終了時に発生する他の切り替え効果を正確に利用することもできる。

【0097】

以下、本発明の実施形態により提供されるパノラマメディア再生装置について説明する。

【0098】

図６は、例示的な一実施形態に係るパノラマメディア再生装置のブロック図である。

【0099】

図６に示すように、装置３０は、取得ユニット３０２及び再生ユニット３０４を含む。

【0100】

取得ユニット３０２は、パノラマメディアデータから現在の視角に関連付けられた視角ループ情報を取得するように構成される。

【0101】

再生ユニット３０４は、視角ループ情報に基づいて現在の視角をループ再生するように構成される。

【0102】

本発明のいくつかの実施例では、視角ループ情報は、最大ループ回数、ループ開始時間及びループアクティブ化時間を含み、ここで、最大ループ回数は、パノラマメディアフォーマットプレーヤが現在の視角をループすべき最大回数を示すように構成され、ループ開始時間は、１つのループが実行される場合、現在の視角の再生を再開すべきである、現在の視角のパノラマメディア時間軸における時間を示すように構成され、ループアクティブ化時間は、ループが開始される、現在の視角のパノラマメディア時間軸における時間を示すように構成される。

【0103】

本発明のいくつかの実施例では、前記視角ループ情報は、最大ループ回数に達したときに、現在の視角の再生の最後に発生する視角切り替えの目的視角の視角識別子を示すように構成される目的視角をさらに含み、再生ユニット３０４は、さらに、最大ループ回数に達したときに、現在の視角の再生の最後に目的視角に切り替えるように構成される。

【0104】

本発明のいくつかの実施例では、取得ユニット３０２は、さらに、パノラマメディアデータから現在の視角に関連付けられた視角切り替え情報を取得するように構成され、ここで、視角切り替え情報は、現在の視角から切り替えられた目的視角を示すように構成される目的視角を含み、再生ユニット３０４は、さらに、最大ループ回数に達したときに、現在の視角の再生の最後に目的視角に切り替えるように構成される。

【0105】

本発明のいくつかの実施例では、最大ループ回数の値が所定値に設定されている場合、又は視角ループ情報に最大ループ回数が現れていない場合、最大ループ回数は無限回である。

【0106】

本発明のいくつかの実施例では、視角ループ情報にループ開始時間が現れていない場合、現在の視角のパノラマメディア時間軸の開始位置から現在の視角を再生すべきである。

【0107】

本発明のいくつかの実施例では、視角ループ情報にループアクティブ化時間が現れていない場合、現在の視角のパノラマメディア時間軸の最後の位置でループを開始すべきである。

【0108】

本発明のいくつかの実施例では、視角ループ情報は、ＩＳＯＢＭＦＦ構造、すなわち上記ＩＳＯＢＭＦＦ構造ＶｉｅｗｐｏｉｎｔＬｏｏｐｉｎｇＳｔｒｕｃｔ（）として定義される。

【0109】

上記本発明の実施形態に係るパノラマメディア再生装置によれば、先ず、コンテンツ製作者は、無限回のループの代わりに、一定回数のループ方式を正確に使用することができ、これによってコンテンツ製作者がコンテンツメディア時間軸をよりよく管理することができる。次に、コンテンツ製作者は、常に視角開始時に再生を再開するのではなく、ループ開始時間を正確に選択することができる。そして、コンテンツ製作者は、常に視角再生の最後にループを初期化するのではなく、ループをアクティブ化する時間を正確に選択することもでき、例えば、最大ループ回数に達した後に再生されるいくつかの追加のコンテンツを（視角において）定義することができる。ループ自体に境界（アクティブ化時間及び開始時間）を定義できるようになれば、コンテンツ製作者は、ループ中にシームレスに切り替えることもより容易になる。さらに、コンテンツ製作者は、最大ループ回数に達した後の視角再生終了時に発生する他の切り替え効果を正確に利用することもできる。

【0110】

図７は、例示的な一実施形態に係る端末機器のブロック図である。例えば、端末機器５００は、ＯＭＡＦプレーヤ、ゲームコンソール、携帯電話などの同様の装置であってもよい。

【0111】

図７に示すように、端末機器５００は、処理コンポーネント５０２、メモリ５０４、電源コンポーネント５０６、マルチメディアコンポーネント５０８、オーディオコンポーネント５１０、入力／出力（Ｉ／Ｏ）インタフェース５１２、センサコンポーネント５１４、及び通信コンポーネント５１６のうちの１つ又は複数のコンポーネントを含むことができる。

【0112】

処理コンポーネント５０２は、表示、データ通信及び記録操作に関連する操作など、端末機器５００の全体の操作を制御する。処理コンポーネント５０２は、命令を実行して上記方法の全部又は一部のステップを完成するための１つ又は複数のプロセッサ５２０を含むことができる。また、処理コンポーネント５０２は、処理コンポーネント５０２と他のコンポーネントとの間のインタラクションを容易にするように、１つ又は複数のモジュールを含むことができる。例えば、処理コンポーネント５０２は、マルチメディアコンポーネント５０８と処理コンポーネント５０２との間のインタラクションを容易にするように、メディアモジュールを含むことができる。

【0113】

メモリ５０４は、端末機器５００での操作をサポートするように、様々なデータを記憶するように構成される。これらのデータの例は、端末機器５００で操作するためのあらゆるアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、画像、動画などを含む。メモリ５０４は、スタティックランダムアクセスメモリ（ＳＲＡＭ）、電気消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、プログラマブル読み出し専用メモリ（ＰＲＯＭ）、読み出し専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク、光ディスクなどの任意のタイプの揮発性又は不揮発性記憶装置、又はそれらの組み合わせによって実現することができる。

【0114】

電源コンポーネント５０６は、端末機器５００の様々なコンポーネントに電源を提供する。電源コンポーネント５０６は、電源管理システムと、１つ又は複数の電源と、端末機器５００の電源の生成、管理及び配分に関連する他のコンポーネントとを含むことができる。

【0115】

マルチメディアコンポーネント５０８は、ヘッドマウントディスプレイ又は端末機器５００とユーザとの間に１つの出力インタフェースを提供する任意の他のディスプレイを含むことができる。さらに、マルチメディアコンポーネント５０８は、端末機器５００とユーザとの間の出力インタフェースを提供するスクリーンを含むことができる。いくつかの実施例では、スクリーンは、液晶ディスプレイ（ＬＣＤ）及びタッチパネル（ＴＰ）を含むことができる。スクリーンがタッチパネルを含む場合、スクリーンは、ユーザからの入力信号を受信するように、タッチスクリーンとして実装することができる。タッチパネルは、タッチパネル上のタッチ、スライド、及びジェスチャーを感知するように、１つ又は複数のタッチセンサを含む。タッチセンサは、タッチ又はスライド動作の境界だけでなく、タッチ又はスライド動作に関する持続時間及び圧力も感知することができる。いくつかの実施例では、マルチメディアコンポーネント５０８は、フロントカメラ及び／又はリアカメラを含む。端末機器５００が撮影モードやビデオモードなどの動作モードにある場合、フロントカメラ及びリアカメラは、外部のマルチメディアのデータを受信することができる。フロントカメラ及びリアカメラは、１つの固定的な光学レンズシステムであってもよいし、焦点距離及び光学ズーム機能を有していてもよい。

【0116】

オーディオコンポーネント５１０は、オーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオコンポーネント５１０は、外部オーディオ信号を受信するように構成されるヘッドホンを含む。受信されたオーディオ信号は、さらにメモリ５０４に記憶されるか、又は通信コンポーネント５１６を介して送信されてもよい。いくつかの実施例において、オーディオコンポーネント５１０は、オーディオ信号を出力するためのスピーカをさらに含む。

【0117】

Ｉ／Ｏインタフェース５１２は、処理コンポーネント５０２と、キーパッド、クリックホイール、ボタンなどの周辺インタフェースモジュールとの間のインタフェースを提供する。これらのボタンは、ホームボタン、音量ボタン、開始ボタン、及びロックボタンを含むが、これらに限定されない。

【0118】

センサコンポーネント５１４は、端末機器５００の様々な態様の状態評価を行うように、１つ又は複数のセンサを含む。例えば、センサコンポーネント５１４は、端末機器５００のオン／オフ状態、端末機器５００のディスプレイとキーボードとの相対位置などのコンポーネントの相対位置を検出することができ、端末機器５００又は端末機器５００の１つのコンポーネントの位置変化、ユーザと端末機器５００との接触の有無、端末機器５００の方位又は加速／減速及び端末機器５００の温度変化を検出することもできる。センサコンポーネント５１４は、いずれかの物理的接触もない近接物体の存在を検出するように構成される近接センサを含むことができる。センサコンポーネント５１４は、ＣＭＯＳ又はＣＣＤ画像センサなどの撮像用の光センサをさらに含むことができる。いくつかの実施例において、センサコンポーネント５１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサをさらに含むことができる。

【0119】

通信コンポーネント５１６は、端末機器５００と他のデバイスとの有線又は無線方式の通信を容易にするように構成される。端末機器５００は、ＷｉＦｉ、２Ｇ又は３Ｇ、４Ｇ又は５Ｇ、又はそれらの組み合わせなどの通信標準に基づく無線ネットワークにアクセスすることができる。例示的な一実施例において、通信コンポーネント５１６は、ブロードキャストチャネルを介して外部ブロードキャスト管理システムからのブロードキャスト信号又はブロードキャスト関連情報を受信する。例示的な一実施例において、通信コンポーネント５１６は、近距離通信を促進するように、近距離通信（ＮＦＣ）モジュールをさらに含む。例えば、ＮＦＣモジュールは、無線周波数認識（ＲＦＩＤ）技術、赤外線データ協会（ＩｒＤＡ）技術、超広帯域無線（ＵＷＢ）技術、ブルートゥース（ＢＴ）技術、及び他の技術に基づいて実現することができる。

【0120】

例示的な実施例において、端末機器５００は、図３～図５に示す実施形態により提供されるパノラマメディア再生方法において端末機器によって実行される操作を実行するように、１つ又は複数のアプリケーション特定用途向け集積回路（ＡＳＩＣｓ）、デジタル信号プロセッサ（ＤＳＰｓ）、デジタル信号処理デバイス（ＤＳＰＤｓ）、プログラマブルロジックデバイス（ＰＬＤｓ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子部品によって実現することができる。

【0121】

端末機器のプロセッサが記憶媒体における命令を実行する場合、非一時的なコンピュータ読み取り可能な記憶媒体は、端末機器に図３～図５に示す実施形態により提供されるパノラマメディア再生方法を実行させる。

【0122】

以上、本発明の例示的な実施形態が具体的に示され説明される。当業者にとっては、本発明は開示された実施形態に限定されるものではないことを理解されたい。むしろ、本発明は、特許請求の範囲の精神及び範囲に含まれる様々な補正及び等価設定を包含することを意図している。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】