特表 2022-545880 コードストリームの処理方法、装置、第１端末、第２端末及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-11-01

(54)【発明の名称】コードストリームの処理方法、装置、第１端末、第２端末及び記憶媒体

(51)【国際特許分類】

   H04N 21/44 20110101AFI20221025BHJP

   H04N 21/235 20110101ALI20221025BHJP

   H04N 21/236 20110101ALI20221025BHJP

   H04N 21/435 20110101ALI20221025BHJP

   H04N 21/81 20110101ALI20221025BHJP

【ＦＩ】

H04N21/44

H04N21/235

H04N21/236

H04N21/435

H04N21/81

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022511181

(86)(22)【出願日】2020-08-19

(85)【翻訳文提出日】2022-02-24

(86)【国際出願番号】 CN2020109928

(87)【国際公開番号】W WO2021032105

(87)【国際公開日】2021-02-25

(31)【優先権主張番号】201910770654.5

(32)【優先日】2019-08-20

(33)【優先権主張国・地域又は機関】CN

(81)【指定国・地域】

(71)【出願人】

【識別番号】511151662

【氏名又は名称】中興通訊股▲ふん▼有限公司

【氏名又は名称原語表記】ＺＴＥ ＣＯＲＰＯＲＡＴＩＯＮ

【住所又は居所原語表記】ＺＴＥ Ｐｌａｚａ，Ｋｅｊｉ Ｒｏａｄ Ｓｏｕｔｈ，Ｈｉ－Ｔｅｃｈ Ｉｎｄｕｓｔｒｉａｌ Ｐａｒｋ，Ｎａｎｓｈａｎ Ｓｈｅｎｚｈｅｎ，Ｇｕａｎｇｄｏｎｇ ５１８０５７ Ｃｈｉｎａ

(74)【代理人】

【識別番号】110002505

【氏名又は名称】特許業務法人航栄特許事務所

(72)【発明者】

【氏名】呉▲チャオ▼

(72)【発明者】

【氏名】呉平

【テーマコード（参考）】

5C164

【Ｆターム（参考）】

5C164SB06P

5C164SB11P

5C164UB01S

5C164UB10P

5C164UB11S

5C164UD44S

(57)【要約】

本願は、コードストリームの処理方法、装置、第１端末、第２端末及び記憶媒体を提出し、当該方法は、パノラマ画像データを取得することと、運動情報を取得することと、前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成することとを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

パノラマ画像データを取得することと、
運動情報を取得することと、
前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成することと、を含む、
コードストリームの処理方法。

【請求項2】

前記運動情報が前記パノラマ画像データと同期に取得され、又は、
前記運動情報が予め設定されたものである、
請求項１に記載のコードストリームの処理方法。

【請求項3】

前記運動情報は、
頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも１つを含む、
請求項１に記載のコードストリームの処理方法。

【請求項4】

前記頭部運動情報は、
頭部絶対位置情報と、頭部相対位置情報と、頭部絶対回転情報と、頭部相対回転情報と、頭部絶対位置情報と頭部絶対回転情報との組合せと、頭部絶対位置情報と頭部相対回転情報との組合せと、頭部相対位置情報と頭部相対回転情報との組合せと、頭部相対位置情と頭部絶対回転情報との組合せとのうちの１つを含む、
請求項３に記載のコードストリームの処理方法。

【請求項5】

前記ボディ運動情報は、
ボディ絶対位置情報と、ボディ相対位置情報と、ボディ絶対回転情報と、ボディ相対回転情報と、ボディ絶対位置情報とボディ絶対回転情報との組合せと、ボディ絶対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ絶対情報との組合せとのうちの１つを含む、
請求項３に記載のコードストリームの処理方法。

【請求項6】

前記視点運動情報は、
視点絶対位置情報と、視点相対位置情報と、視点絶対回転情報と、視点相対回転情報と、視点絶対位置情報と視点絶対回転情報との組合せと、視点絶対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点絶対回転情報との組合せとのうちの１つを含む、
請求項３に記載のコードストリームの処理方法。

【請求項7】

前記運動情報は、少なくとも１グループの運動パラメータ組合せを含み、各グループの前記運動パラメータ組合せについて、対応する運動パラメータクラスタが設定され、
１グループの前記運動パラメータ組合せは、少なくとも頭部運動情報、ボディ運動情報及び視点運動情報のうちの１つを含む、
請求項１に記載のコードストリームの処理方法。

【請求項8】

前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成することは、
前記運動情報が１つ前の時刻の運動情報と同じである場合に、前記パノラマ画像データに基づいてコードストリームを生成することと、
前記運動情報が１つ前の時刻の運動情報と同じである場合に、識別情報を新たな運動情報とし、前記パノラマ画像データ及び前記新たな運動情報に基づいてコードストリームを生成することとのうちの少なくとも１つを含み、
前記識別情報は、前記運動情報が１つ前の時刻の運動情報と同じであることを指示するために使用される、
請求項１に記載のコードストリームの処理方法。

【請求項9】

前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成することは、
前記運動情報を、前記パノラマ画像データに基づいて生成されたコードストリームに書き込むことを含む、
請求項１に記載のコードストリームの処理方法。

【請求項10】

前記運動情報を、前記パノラマ画像データに基づいて生成されたコードストリームに書き込むことは、
前記運動情報を、前記パノラマ画像データに基づいて生成されたコードストリームの、補足強化情報と、ビデオユーザビリティ情報と、システム層メディアアトリビュート記述ユニットのうちの少なくとも１つに書き込むことを含む、
請求項９に記載のコードストリームの処理方法。

【請求項11】

前記コードストリームを記憶又は送信することをさらに含む、
請求項１に記載のコードストリームの処理方法。

【請求項12】

コードストリームを受信することと、
前記コードストリームから運動情報を抽出することと、
前記運動情報が抽出された場合に、抽出された前記運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することと、を含む、
コードストリームの処理方法。

【請求項13】

前記コードストリームから運動情報を抽出することは、
前記コードストリームの、補足強化情報と、ビデオユーザビリティ情報と、システム層メディアアトリビュート記述ユニットのうちの少なくとも１つから運動情報を抽出することを含む、
請求項１２に記載のコードストリームの処理方法。

【請求項14】

抽出された前記運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することは、
前記運動情報に基づいて前記パノラマ画像データから一部のデータを切り取り、目標画像データを取得することを含む、
請求項１２に記載のコードストリームの処理方法。

【請求項15】

前記運動情報は、
頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも１つを含む、
請求項１２に記載のコードストリームの処理方法。

【請求項16】

前記頭部運動情報は、
頭部絶対位置情報と、頭部相対位置情報と、頭部絶対回転情報と、頭部相対回転情報と、頭部絶対位置情報と頭部絶対回転情報との組合せと、頭部絶対位置情報と頭部相対回転情報との組合せと、頭部相対位置情報と頭部相対回転情報との組合せと、頭部相対位置情と頭部絶対回転情報との組合せとのうちの１つを含む、
請求項１５に記載のコードストリームの処理方法。

【請求項17】

前記ボディ運動情報は、
ボディ絶対位置情報と、ボディ相対位置情報と、ボディ絶対回転情報と、ボディ相対回転情報と、ボディ絶対位置情報とボディ絶対回転情報との組合せと、ボディ絶対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ絶対回転情報との組合せとのうちの１つを含む、
請求項１５に記載のコードストリームの処理方法。

【請求項18】

前記視点運動情報は、
視点絶対位置情報と、視点相対位置情報と、視点絶対回転情報と、視点相対回転情報と、視点絶対位置情報と視点絶対回転情報との組合せと、視点絶対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点絶対回転情報との組合せとのうちの１つを含む、
請求項１５に記載のコードストリームの処理方法。

【請求項19】

前記運動情報は、少なくとも１グループの運動パラメータ組合せを含み、
１グループの前記運動パラメータ組合せは、少なくとも頭部運動情報、ボディ運動情報、視点運動情報のうちの１つを含む、
請求項１２に記載のコードストリームの処理方法。

【請求項20】

抽出された前記運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することは、
抽出された前記運動情報が識別情報である場合に、１つ前の時刻の運動情報に基づいて前記パノラマ画像データに対して処理を行って前記目標画像データを取得することを含み、
前記識別情報は、前記運動情報が１つ前の時刻の運動情報と同じであることを指示するために使用される、
請求項１２に記載のコードストリームの処理方法。

【請求項21】

前記運動情報が抽出されなかった場合に、１つ前の時刻の運動情報に基づいて前記パノラマ画像データに対して処理を行って前記目標画像データを取得することをさらに含む、
請求項１２に記載のコードストリームの処理方法。

【請求項22】

前記運動情報は、少なくとも２グループの運動パラメータ組合せを含み、各グループの前記運動パラメータ組合せについて、対応する運動パラメータクラスタが設定され、
抽出された前記運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することは、
選出指令が検出された場合に、前記選出指令に対応する運動パラメータクラスタを決定し、前記運動パラメータクラスタに対応する運動パラメータ組合せに基づいて前記パノラマ画像データに対して処理を行って前記目標画像データを取得することと、
選出指令が検出されなかった場合に、１つ前の時刻の運動パラメータクラスタを現在の時刻の運動パラメータクラスタとし、前記現在の時刻の運動パラメータクラスタに対応する運動パラメータ組合せに基づいて前記パノラマ画像データに対して処理を行って前記目標画像データを取得することと、を含む、
請求項１２に記載のコードストリームの処理方法。

【請求項23】

前記目標画像データに対して符号化を行い、符号化された目標画像データに対して、記憶及び伝送のうちの少なくとも１つの操作を行うことをさらに含む、
請求項１２に記載のコードストリームの処理方法。

【請求項24】

前記目標画像データを表示することをさらに含む、
請求項１２に記載のコードストリームの処理方法。

【請求項25】

パノラマ画像データ及び運動情報を取得するように構成される取得モジュールと、
前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成するように構成される生成モジュールと、を備える、
コードストリームの処理装置。

【請求項26】

コードストリームを受信するように構成される受信モジュールと、
前記コードストリームから運動情報を抽出するように構成される抽出モジュールと、
前記運動情報が抽出された場合に、抽出された前記運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得するように構成される処理モジュールと、を備える、
コードストリームの処理装置。

【請求項27】

少なくとも１つのプロセッサと、
少なくとも１つのプログラムを記憶するように構成される記憶装置とを備え、
前記少なくとも１つのプログラムが前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサは、請求項１から１１のいずれか１項に記載のコードストリームの処理方法を実現する、
第１端末。

【請求項28】

少なくとも１つのプロセッサと、
少なくとも１つのプログラムを記憶するように構成される記憶装置とを備え、
前記少なくとも１つのプログラムが前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサは、請求項１２から２４のいずれか１項に記載のコードストリームの処理方法を実現する、
第２端末。

【請求項29】

コンピュータプログラムが記憶され、
前記コンピュータプログラムがプロセッサによって実行されると、請求項１から２４のいずれか１項に記載のコードストリームの処理方法を実現する、
記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、２０１９年８月２０日に中国専利局に出願された、出願番号が２０１９１０７７０６５４．５である中国特許出願の優先権を主張し、当該出願の全部内容は引用によって本願に組み込まれている。

【0002】

本願は、通信分野に関し、具体的には、コードストリームの処理方法、装置、第１端末、第２端末及び記憶媒体に関する。

【背景技術】

【0003】

没入型ビデオは、ユーザがメディアの内容の発展に関与して、臨場感の体験をするようにさせて、従来と完全に異なるメディアへの感覚をもたらすことができる。ユーザはヘッドマウント表示装置を装着することによって、ビデオの再生過程にリアルタイムで関与することができる。没入型ビデオは従来のビデオと異なり、３６０度パノラマビデオとも呼ばれ、これによってカバーされたビデオ領域がより大きく、範囲がより広くなっている。

【0004】

ユーザが没入型ビデオを観賞する時に、ユーザの視角範囲が限定され、ユーザに観賞されるビデオのシーンは完全な３６０度パノラマビデオであるものではなく、パノラマビデオにおける一部の画面だけであるため、没入型ビデオをユーザに伝送して観賞させる時に、没入型ビデオにおけるどの部分のビデオ画面をユーザに呈示するかは、早急に解決すべき技術問題となっている。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本願は、没入型ビデオにおけるどの部分のビデオ画面をユーザに呈示するかを決定できないという技術問題を効果的に解決できるコードストリームの処理方法、装置、第１端末、第２端末及び記憶媒体を提供する。

【課題を解決するための手段】

【0006】

第１態様では、本願の実施例は、
パノラマ画像データを取得することと、
運動情報を取得することと、
前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成することと、を含む、
コードストリームの処理方法を提供する。

【0007】

第２態様では、本願の実施例は、
コードストリームを受信することと、
前記コードストリームから運動情報を抽出することと、
運動情報が抽出された場合に、抽出された運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することと、を含む、
コードストリームの処理方法を提供する。

【0008】

第３態様では、本願の実施例は、
パノラマ画像データ及び運動情報を取得するように構成される取得モジュールと、
前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成するように構成される生成モジュールと、を備える、
コードストリームの処理装置を提供する。

【0009】

第４態様では、本願の実施例は、
コードストリームを受信するように構成される受信モジュールと、
前記コードストリームから運動情報を抽出するように構成される抽出モジュールと、
運動情報が抽出された場合に、抽出された運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得するように構成される処理モジュールと、を備える、
コードストリームの処理装置を提供する。

【0010】

第５態様では、本願の実施例は、
１つ又は複数のプロセッサと
１つ又は複数のプログラムを記憶するための記憶装置とを備え、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサは、本願の第１態様に記載のコードストリームの処理方法を実現する、
第１端末を提供する。

【0011】

第６態様では、本願の実施例は、
１つ又は複数のプロセッサと、
１つ又は複数のプログラムを記憶するための記憶装置とを備え、
前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサは、本願の第２態様に記載のコードストリームの処理方法を実現する、
第２端末を提供する。

【0012】

第７態様では、本願の実施例は、
コンピュータプログラムが記憶され、
前記コンピュータプログラムがプロセッサによって実行されると、本願の実施例におけるいずれかの方法を実現する、
記憶媒体を提供する。

【0013】

本願の以上の実施例と他の態様及びその実現方式について、図面の簡単な説明、発明を実施するための形態及び特許請求の範囲によって、より多くの説明を提供する。

【図面の簡単な説明】

【0014】

【図1】本願に係る１つのコードストリームの処理方法のフローの模式図である。

【図2】本願に係る他のコードストリームの処理方法のフローの模式図である。

【図3】本願に係る１つのコードストリームの処理装置の構造模式図である。

【図3a】本願に係る更なるコードストリームの処理装置の構造模式図である。

【図4】本願に係る他のコードストリームの処理装置の構造模式図である。

【図4a】本願に係るさらに他のコードストリームの処理装置の構造模式図である。

【図5】本願に係る第１端末の構造模式図である。

【図6】本願に係る第２端末の構造模式図である。

【発明を実施するための形態】

【0015】

本願の目的、技術案及び利点をより明確にするために、以下、図面を参照しながら、本願の実施例を詳細に説明する。なお、実施例及び実施例の特徴は、衝突しない限り、任意の組合せで相互に組み合わせることができる。

【0016】

１つの例示的な実施形態において、図１は本願に係る１つのコードストリームの処理方法のフローの模式図である。当該方法はコードストリームを形成する場合に適用可能であり、形成されたコードストリームは、ユーザに再生される時に、コードストリームにおけるどの部分のビデオ画面をユーザに呈示するかを自動的に決定することができる。当該方法は本願に係るコードストリームの処理装置によって実行可能であり、当該コードストリームの処理装置はソフトウェア及び／又はハードウェアによって実現されて、第１端末に集積されることが可能である。第１端末は、コードストリームの生成装置であってもよい。そのうち、コードストリームはビデオコードストリームであってもよいし、システム層情報を含むメディアストリームであってもよい。生成されたコードストリームは、直接に第１端末でユーザに観賞されてもよいし、第２端末に送信されて観賞されてもよい。観賞する時に、運動情報に基づいて対応する目標画像データを決定して、没入型ビデオにおけるどの部分のビデオ画面をユーザに呈示するかを自動的に決定する技術効果を実現することができる。また、本願のシーンは少なくとも、本願が映画製作に使用され、監督が異なるグループの運動情報、即ち、異なるグループの運動パラメータ組合せを利用し、異なる叙述の手がかりを対応して設計して、対応するコードストリームを取得すること、を含む。ユーザは観賞する時に、自分の好みに応じて異なるグループの運動情報に示されるストーリーのシーンを選出することができ、これにより、異なるユーザが同一のコードストリームを観賞する時に、異なるユーザが異なるグループの運動パラメータ組合せを選出していることにより、観賞されたストーリーのシーンが異なっていることを実現し、本願はスポーツイベントに使用可能であり、異なるスポーツ選手が異なるグループの運動情報に対応し、ユーザが観賞する時に好みのスポーツ選手の運動画面を選択し、即ち、好みのスポーツ選手に対応する運動パラメータ組合せを選出して、好みのスポーツ選手の運動画面を観賞することを実現することができる。

【0017】

一般的な場合に、没入型ビデオは球面形式で採集されたものであり、送信端が球面データを二次元平面データにマッピングし、二次元平面データが符号化された後に配信又は記憶され、受信端が圧縮データを取得した後に、二次元平面データを復号化して再構築してから、二次元平面データをユーザのニーズに応じてレンダリングする。異なるユーザは没入型ビデオを観賞する時に、頭部又はボディの運動によって異なるビデオ画面を観賞することができる。

【0018】

本願は符号化時に、即ち、コードストリームを生成する時に頭部又はボディの運動情報をビデオデータに、即ち、パノラマ画像データに関連付け、復号化して再構築して再生する時に、対応する運動情報によってビデオの再生を制御し、異なるビデオ観賞効果の目的を達成することができる。復号化して再構築して再生する時にも、自分の個人的な好みに応じて、異なる予め設定された視線又はボディの運動軌跡を選択して異なるビデオ観賞効果を取得することができる。異なる視線又はボディの運動軌跡は、異なるグループの運動パラメータ組合せによって示すことができる。

【0019】

図１に示すように、本願に係る１つのコードストリームの処理方法は、Ｓ１１０、Ｓ１２０及びＳ１３０を含む。

【0020】

Ｓ１１０において、パノラマ画像データを取得する。

【0021】

パノラマ画像データは、コードストリームを形成することに使用可能である。コードストリームは没入型ビデオであってもよい。

【0022】

パノラマ画像データは、複数のカメラヘッドによって同時に採集された後に接合されたものであってよいし、単一のカメラヘッドによって平面移動、回転等の操作で複数枚の画像が採集されて接合されたものであってもよいし、人工合成のパノラマ画像データであってもよいし、現存のパノラマ画像データであってもよいし、また、パノラマカメラによって採集されて得られたものであってもよい。

【0023】

第１端末のパノラマ画像データを取得する手段には、残りのデバイスが送信したパノラマ画像データを受信すること、又は、第１端末の採集装置によって取得することが含まれるが、これらに限定されない。採集装置には、少なくとも１つのカメラヘッド及びパノラマカメラのうちの少なくとも一つが含まれるが、これらに限定されない。

【0024】

そのうち、パノラマ画像データは、単一枚の静止画像であってもよいし、ビデオの中の１フレームの画像データであってもよい。

【0025】

Ｓ１２０において、運動情報を取得する。

【0026】

運動情報は、パノラマ画像データが採集される時と同期をとってリアルタイムで取得されてよいし、予め設定されたものであってもよく、ここで限定されずに、パノラマ画像データに関連付けられた運動情報が取得可能であればよい。即ち、本ステップにおいて取得された運動情報は、Ｓ１１０において取得されたパノラマ画像データに関連付けられた運動情報であってもよい。

【0027】

コードストリームは複数フレームのパノラマ画像データを符号化することによって生成することができ、各フレームのパノラマ画像データにはいずれも、対応する運動情報が存在可能であり、本実施例のコードストリームを生成する過程において、パノラマ画像データを対応する運動情報に関連付けることができることを理解すべきである。

【0028】

運動情報には、頭部運動情報、ボディ運動情報及び視点運動情報が含まれるが、これらに限定されない。頭部運動情報には、ユーザの頭部位置情報及び頭部回転情報が含まれてよいし、頭部変化情報、例えば、頭部位置情報と頭部回転情報との組合せが含まれてもよいが、これらに限定されない。ボディ運動情報には、ユーザの、ボディ位置情報、ボディ回転情報及びボディ変化情報、例えば、ボディ位置情報とボディ回転情報との組合せが含まれてもよいが、これらに限定されない。視点運動情報は、ユーザの、視点位置情報、視点回転情報及び視点変化情報、例えば、視点位置情報と視点回転情報との組合せであってもよい。

【0029】

そのうち、位置情報は、グローバル座標系、例えばデカルト座標系における座標情報であってよいし、ローカル座標系における座標情報であってもよい。位置情報には、頭部運動情報、ボディ運動情報及び視点運動情報が含まれるが、これらに限定されない。

【0030】

本実施例における運動情報は、少なくとも１グループの運動パラメータ組合せであってもよい。コードストリームが再生される時に、ユーザは実際の状況に応じて、相応する運動パラメータ組合せを選出し、コードストリームの観賞を行うことができる。各グループの運動パラメータ組合せは、少なくとも頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも１つを含む。運動情報が複数グループの運動パラメータ組合せを含む場合に、運動情報は複数の頭部運動情報を含んでもよい。各グループの運動パラメータ組合せはコードストリームにおける異なるストーリーライン、即ち、異なるビデオ画面、即ち、パノラマ画像データにおける異なる部分の画像に対応することができることを理解すべきである。試合のシーンを例にとると、１グループの運動パラメータ組合せは、１人のスポーツ選手の異なる時刻の画像に対応することができる。また、映画のシーンを例にとると、監督は異なるストーリーの進行方向を設定する必要があれば、コードストリームを生成する時に、複数グループの運動パラメータ組合せを設定することができ、そのうち、各グループの運動パラメータ組合せは異なるストーリーの進行方向に対応し、即ち、各グループの運動パラメータ組合せのユーザに呈示するのはパノラマ画像データにおける異なる部分の画像である。

【0031】

例示的に、表１は頭部運動情報の組織関係表である。ボディ運動情報及び視点運動情報の組織関係表は、頭部運動情報の組織関係表に基づいて適応的な調整を行うことができ、ここでくどくど述べる必要はない。

【0032】

【表1】

【0033】

表１を参照し、記述子は、運動情報に含まれる内容に占用されるビット数を示すことができる。例えば、ｕ（１０）は、１０ビットが占用されることを示すことができる。

【0034】

ここで、ｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ＿ｉｄは、運動情報の識別子と理解すべきであり、異なる頭部運動情報を識別し、即ち、異なる時刻の運動情報に対して区別を行うために使用される。

【0035】

ｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ＿ｃａｎｃｅｌ＿ｆｌａｇは、頭部運動情報のキャンセル標識と理解すべきである。ｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ＿ｃａｎｃｅｌ＿ｆｌａｇが１に等しいと、前の頭部運動情報が不変のまま保持され、即ち、１つ前の時刻の頭部運動情報が不変のまま保持されることを示し、ｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ＿ｃａｎｃｅｌ＿ｆｌａｇが０に等しいと、その後は新たな頭部運動情報となる。

【0036】

ｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇは、頭部運動情報の維持標識と理解すべきである。ｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇが０に等しいと、この頭部運動情報は現在のパノラマ画像データのみに適用し、ｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ＿ｐｅｒｓｉｓｔｅｎｃｅ＿ｆｌａｇが１に等しいと、この頭部運動情報は後続のフレームに引き続き使用可能である。

【0037】

ｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ＿ｃｎｔ＿ｍｉｎｕｓ１プラス１は、運動情報のグループ数を示す。

【0038】

ｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｍｅｎｔ＿ｐａｒａ（）は、頭部運動パラメータを示すことができる。頭部運動パラメータは、頭部絶対位置情報と、頭部相対位置情報と、頭部絶対回転情報と、頭部相対回転情報、頭部絶対位置情報と頭部絶対回転情報との組合せと、頭部絶対位置情報と頭部相対回転情報との組合せと、頭部相対位置情報と頭部相対回転情報との組合せと、頭部相対位置情報と頭部絶対回転情報との組合せとのうちの１つを含む。

【0039】

表２は、頭部運動パラメータの１つの組織形態表である。

【0040】

【表2】

【0041】

表２を参照し、当該表は、頭部絶対位置情報及び頭部絶対回転情報から頭部運動パラメータが組み合わせられることを示すことができる。ここで、（ｏｍｎｉ＿ｈｅａｄ＿ｐｏｓ＿ｘ、ｏｍｎｉ＿ｈｅａｄ＿ｐｏｓ＿ｙ、ｏｍｎｉ＿ｈｅａｄ＿ｐｏｓ＿ｚ）は位置情報の絶対座標成分、即ち、頭部絶対位置情報であってもよい。（ｏｍｎｉ＿ｈｅａｄ＿ｙａｗ、ｏｍｎｉ＿ｈｅａｄ＿ｐｉｔｃｈ、ｏｍｎｉ＿ｈｅａｄ＿ｒｏｌｌ）は絶対回転角度、即ち、頭部絶対回転情報であってもよい。

【0042】

表３は、頭部運動パラメータの他の組織形態表である。

【0043】

【表3】

【0044】

表３を参照し、当該表は、頭部相対位置情報及び頭部相対回転情報から頭部運動パラメータが組み合わせられることを示すことができる。ここで、（ｏｍｎｉ＿ｈｅａｄ＿ｐｏｓ＿ｄｘ、ｏｍｎｉ＿ｈｅａｄ＿ｐｏｓ＿ｄｙ、ｏｍｎｉ＿ｈｅａｄ＿ｐｏｓ＿ｄｚ）は位置情報差値、即ち、頭部相対位置情報であってもよい。（ｏｍｎｉ＿ｈｅａｄ＿ｙａｗ＿ｄｉｆｆ、ｏｍｎｉ＿ｈｅａｄ＿ｐｉｔｃｈ＿ｄｉｆｆ、ｏｍｎｉ＿ｈｅａｄ＿ｒｏｌｌ＿ｄｉｆｆ）は、回転角度差値、即ち、頭部相対回転情報であってもよい。

【0045】

表４は、頭部運動パラメータの更なる組織形態表である。

【0046】

【表4】

【0047】

表４を参照し、ｍｏｖ＿ｔｙｐｅ＿ｃｎｔ＿ｍｉｎｕｓ１プラス１は、運動タイプ数量を示す。

【0048】

ｍｏｖ＿ｔｙｐｅは、運動情報の運動タイプを示すことができ、０が无データを示し、１が頭部絶対位置情報を示し、２が頭部相対位置情報を示し、３が回転角度絶対値、即ち、頭部絶対回転情報を示し、４が回転角度相対値、即ち、頭部絶対回転情報を示す。

【0049】

（ｏｍｎｉ＿ｈｅａｄ＿ｐｏｓ＿ｘ、ｏｍｎｉ＿ｈｅａｄ＿ｐｏｓ＿ｙ、ｏｍｎｉ＿ｈｅａｄ＿ｐｏｓ＿ｚ）は、位置情報の絶対座標成分、即ち、頭部絶対位置情報を示すことができる。

【0050】

（ｏｍｎｉ＿ｈｅａｄ＿ｐｏｓ＿ｄｘ、ｏｍｎｉ＿ｈｅａｄ＿ｐｏｓ＿ｄｙ、ｏｍｎｉ＿ｈｅａｄ＿ｐｏｓ＿ｄｚ）は位置情報差値、即ち、頭部相対位置情報を示すことができる。

【0051】

（ｏｍｎｉ＿ｈｅａｄ＿ｙａｗ、ｏｍｎｉ＿ｈｅａｄ＿ｐｉｔｃｈ、ｏｍｎｉ＿ｈｅａｄ＿ｒｏｌｌ）は、絶対回転角度、即ち、頭部絶対回転情報を示すことができる。

【0052】

（ｏｍｎｉ＿ｈｅａｄ＿ｙａｗ＿ｄｉｆｆ、ｏｍｎｉ＿ｈｅａｄ＿ｐｉｔｃｈ＿ｄｉｆｆ、ｏｍｎｉ＿ｈｅａｄ＿ｒｏｌｌ＿ｄｉｆｆ）は、回転角度差値、即ち、頭部相対回転情報を示すことができる。

【0053】

類似的に、ユーザのボディ運動情報及び視点運動情報は、上記のような表の形式で単独で出現してもよいし、ユーザの頭部運動情報、ボディ運動情報及び視点運動情報の少なくとも１つを上記のような表の形式で現してもよい。そのうち、ボディ運動情報は姿勢運動情報であってもよい。

【0054】

運動情報及びパノラマ画像データを取得する順序は限定されず、同期に取得してもよいし、順次に取得してもよく、例えば、先に運動情報を取得してから、パノラマ画像データを取得する点に留意すべきである。

【0055】

Ｓ１３０において、前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成する。

【0056】

パノラマ画像データ及び運動情報を取得した後に、本ステップは、パノラマ画像データ及び運動情報に基づいてコードストリームを生成することができる。具体的には、コードストリームは、異なる時刻に取得されたパノラマ画像データ及び運動情報を符号化して得られたデータであってもよい。パノラマ画像データを取得した後に、パノラマ画像データをコードストリームに符号化することができる。運動情報は、直接にコードストリームに書き込まれてもよいし、現在の時刻の運動情報と、１つ前の時刻の運動情報とを比較し、現在の時刻の運動情報をコードストリームに書き込むか否かを決定し、又は、コードストリームに書き込まれる内容を決定してもよい点に留意すべきである。

【0057】

例示的に、現在の時刻の運動情報が１つ前の時刻の運動情報と同じである場合に、コードストリームに運動情報を書き込まなくてもよく、又は、形成されたコードストリームの精度を高めるために、１つの識別情報を設定し、識別情報とパノラマ画像データとを関連付けて、識別情報をコードストリームに書き込むことができる。前記識別情報は、前記運動情報が１つ前の時刻の運動情報と同じであることを指示するために使用される。そのうち、前の時刻は、前回に運動情報を取得した時刻であってもよい。

【0058】

本願の実施例に係る１つのコードストリームの処理方法は、パノラマ画像データを取得することと、運動情報を取得することと、前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成することと、を含む。没入型ビデオをユーザに伝送して観賞させる時に、没入型ビデオにおけるどの部分のビデオ画面をユーザに呈示するかを決定できないという技術問題が解決されており、パノラマ画像データ及び運動情報に基づいて生成されたコードストリームは、ユーザが当該コードストリームを観賞する時に、ユーザに呈示する目標画像データを自動的に決定し、即ち、コードストリームにおけるどの部分のビデオ画面をユーザに呈示するかを自動的に決定することができる。そのうち、目標画像データは、運動情報に基づいてパノラマ画像データに対して処理を行って得られたデータである。

【0059】

上記の実施例に基づいて、上記の実施例の変形例が提出されており、なお、説明を簡単にするために、変形例において、上記の実施例と異なる点についてのみ説明する。

【0060】

１つの実施例において、前記運動情報は前記パノラマ画像データと同期に取得され、又は、前記運動情報は予め設定されたものである。

【0061】

１つの実施例において、前記運動情報は、頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも１つを含む。

【0062】

頭部運動情報は、頭部位置を示す情報と理解すべきである。頭部運動情報に含まれる具体的な内容は限定されず、頭部位置を識別可能なものであればよく、位置が絶対位置又は相対位置で示されてもよい。ボディ運動情報は、ボディ位置を示す情報と理解すべきである。ボディ運動情報に含まれる具体的な内容は限定されず、ボディ位置を識別可能なものであればよく、位置が絶対位置又は相対位置で示されてもよい。視点運動情報は、視点位置を示す情報と理解すべきである。視点運動情報に含まれる具体的な内容は限定されず、視点位置を識別可能なものであればよく、位置が絶対位置又は相対位置で示されてもよい。

【0063】

１つの実施例において、前記頭部運動情報は、頭部絶対位置情報と、頭部相対位置情報と、頭部絶対回転情報と、頭部相対回転情報と、頭部絶対位置情報と頭部絶対回転情報との組合せと、頭部絶対位置情報と頭部相対回転情報との組合せと、頭部相対位置情報と頭部相対回転情報との組合せと、頭部相対位置情報と頭部絶対回転情報との組合せとのうちの１つを含む。

【0064】

「相対」は、１つ前の時刻の運動情報に対するというものと考えられる点に留意すべきである。例えば、頭部相対回転情報は、前の時刻の頭部絶対位置情報に対する回転情報であってもよい。

【0065】

１つの実施例において、前記ボディ運動情報は、ボディ絶対位置情報と、ボディ相対位置情報と、ボディ絶対回転情報と、ボディ相対回転情報と、ボディ絶対位置情報とボディ絶対回転情報との組合せと、ボディ絶対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ絶対情報との組合せとのうちの１つを含む。

【0066】

１つの実施例において、前記視点運動情報は、視点絶対位置情報と、視点相対位置情報と、視点絶対回転情報と、視点相対回転情報と、視点絶対位置情報と視点絶対回転情報との組合せと、視点絶対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点絶対回転情報との組合せとのうちの１つを含む。

【0067】

１つの実施例において、前記運動情報は、少なくとも１グループの運動パラメータ組合せを含み、各グループの運動パラメータ組合せについて、対応する運動パラメータクラスタが設定され、１グループの運動パラメータ組合せは、少なくとも頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも１つを含む。

【0068】

運動パラメータクラスタは、異なる運動パラメータ組合せを区別することに使用可能であり、運動パラメータクラスタの具体的な形式は限定されず、対応する運動パラメータ組合せの具体的な内容に応じて決定されることができる。ユーザがコードストリームを観賞する過程において、運動情報が複数グループの運動パラメータ組合せを含めば、ユーザは、指令を選出することによって対応する運動パラメータクラスタを選出して、選出された運動パラメータクラスタに対応する運動パラメータ組合せに基づいて目標画像データを決定することができる。

【0069】

１つの実施例において、前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成することは、前記運動情報が１つ前の時刻の運動情報と同じである場合に、前記パノラマ画像データに基づいてコードストリームを生成することと、前記運動情報が１つ前の時刻の運動情報と同じである場合に、識別情報を新たな運動情報とし、前記パノラマ画像データ及び前記新たな運動情報に基づいてコードストリームを生成することとのうちの少なくとも１つを含み、前記識別情報は、前記運動情報が１つ前の時刻の運動情報と同じであることを指示するために使用される。

【0070】

現在に取得された運動情報が１つ前の時刻の運動情報と同じである場合に、現在の運動情報が変わらないと考えられ、コードストリームを生成する過程において、直接にパノラマ画像データに基づいて生成してもよいし、運動情報を、識別情報を使用して示し、即ち、識別情報を新たな運動情報とし、パノラマ画像データ及び新たな運動情報に基づいてコードストリームを生成してもよい。

【0071】

１つの実施例において、前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成することは、前記運動情報を、前記パノラマ画像データに基づいて生成されたコードストリームに書き込むことを含む。

【0072】

コードストリームを生成する過程において、現在の運動情報と、１つ前の時刻の運動情報とを比較し、直接に運動情報をパノラマ画像データに基づいて生成されたコードストリームに書き込むことができる。

【0073】

１つの実施例において、前記運動情報を前記パノラマ画像データに基づいて生成されたコードストリームに書き込むことは、前記運動情報を、前記パノラマ画像データに基づいて生成されたコードストリームの、補足強化情報（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩ）と、ビデオユーザビリティ情報（Ｖｉｄｅｏ Ｕｓａｂｉｌｉｔｙ Ｉｎｆｏｒｍａｔｉｏｎ、ＶＵＩ）と、システム層メディアアトリビュート記述ユニットのうちの少なくとも１つに書き込むことを含む。そのうち、ＳＥＩの関連標準の情報は、Ｈ．２６４／ＡＶＣとＨ．２６５／ＨＥＶＣを含む。ＶＵＩの関連標準の情報はＨ．２６４／ＡＶＣとＨ．２６５／ＨＥＶＣを含む。

【0074】

表５は、運動情報をＳＥＩに書き込んだ時のＳＥＩの構成表である。

【0075】

【表5】

【0076】

表５を参照し、ｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ（）のデータ構造は、表１のｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ（）のデータ構造に対応しており、頭部運動情報を含んでいる。ＳＥＩ情報から、識別情報がＨＥＡＤ＿ＭＯＶＥＭＥＮＴ＿ＰＡＲＡである情報を取得することができる。

【0077】

類似的に、ユーザのボディ運動情報及び視点運動情報は、表１の形式でＳＥＩに単独で出現してもよいし、ユーザの、頭部運動情報、ボディ運動情報及び視点運動情報を組み合わせてＳＥＩに現してもよい。

【0078】

表６は、運動情報をＶＵＩに書き込んだ時のＶＵＩの構成表である。

【0079】

【表6】

【0080】

表６を参照し、ｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ＿ｆｌａｇの取られた値が１に等しいと、後続に運動情報があることを示す。ｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ（）のデータ構造は、表１のｏｍｎｉ＿ｈｅａｄ＿ｍｏｖｅｍｅｎｔ（）のデータ構造に対応しており、運動情報を含んでいる。

【0081】

１つの実施例において、運動情報をシステム層メディアアトリビュート記述ユニットに書き込んでもよく、例えば、トランスポートストリームでの記述子、ファイルフォーマットでのデータユニット（例えば、Ｂｏｘでのデータユニット）、トランスポートストリームでのメディア記述情報であり、例えば、メディアプレゼンテーション記述（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ、ＭＰＤ）等の情報ユニットである。ＭＰＤに含まれる関連標準の情報はＭＰＥＧ ＤＡＳＨである。

【0082】

１つの実施例において、当該方法は、コードストリームを記憶又は送信することをさらに含む。

【0083】

コードストリームは、送信されることによって、第２端末を使用するユーザに観賞されることができる。

【0084】

以下、本実施例に係るコードストリームの処理方法について、例示的に説明し、本願が提供可能なコードストリームの処理方法は、仮想現実ビデオコードストリームの処理方法であると考えられ、まず、パノラマ画像データを取得し、少なくとも１グループの運動パラメータ組合せを設定し、運動パラメータ組合せをパノラマ画像データのコードストリームに書き込み、コードストリームを送信又は記憶する。本実施例に係る技術案をさらに説明するために、以下、具体的な適用例により本発明の実施例に係る技術案を説明する。

【0085】

以下、上記の様々な方法に対する説明は、各対応方法の具体例に過ぎない。多種の方法を使用する時に、下記の各方法の例を簡単に組み合わせてつながりをつければ、対応する例を得ることができる。

【0086】

一例では、ユーザはデバイスを頭に装着することによって、周囲シーン画像、即ち、パノラマ画像データ及びびユーザ頭部位置情報をリアルタイムで採集し、Ｔ時刻のユーザ頭部位置がＡ点にあり、Ａ点の位置情報をＴ時刻の画像コードストリームに書き込み、Ｔ＋１時刻のユーザ頭部位置がＢ点にあり、Ｂ点の位置情報をＴ＋１時刻の画像コードストリームに書き込み、また、Ａ点に対するＢ点の位置増量情報（Ｂ－Ａ）をＴ＋１時刻の画像コードストリームに書き込んでもよい。ユーザ頭部位置がＴ時刻からＴ＋１時刻まで変わらなければ、即ち、Ａ＝Ｂであれば、位置情報Ｂ又は増量情報（Ｂ－Ａ）をＴ＋１時刻の画像コードストリームに書き込まないこと、又は、識別情報をＴ＋１時刻の画像コードストリームに書き込むことを選択してもよい。

【0087】

パノラマ画像データ及び頭部位置情報は、リアルタイムで採集されたものではなく、ニーズに応じて現存のパノラマビデオに頭部位置情報を加えて得られたものであってもよい点に留意すべきである。

【0088】

一例では、ユーザはデバイスを頭に装着することによって、周囲シーン画像及びユーザ頭部回転角度、即ち、頭部回転情報（頭部相対回転情報又は頭部絶対回転情報を含む）リアルタイムで採集し、Ｔ時刻のユーザ頭部回転角度がαであり、頭部回転角度α情報をＴ時刻の画像コードストリームに書き込み、Ｔ＋１時刻のユーザ頭部回転角度がβであり、頭部回転角度β情報をＴ＋１時刻の画像コードストリームに書き込み、また、βとαとの差値情報（β－α）をＴ＋１時刻の画像コードストリームに書き込んでもよい。ユーザ頭部回転情報がＴ時刻からＴ＋１時刻まで変わらなければ、即ち、α＝βであれば、頭部回転情報β又は差値情報（β－α）をＴ＋１時刻の画像コードストリームに書き込まないこと、又は、識別情報をＴ＋１時刻の画像コードストリームに書き込むことを選択してもよい。

【0089】

パノラマ画像データ及び頭部回転情報は、リアルタイムで採集されたものではなく、ニーズに応じて現存のパノラマビデオに頭部回転情報を加えて得られたものであってもよい点に留意すべきである。

【0090】

一例では、ユーザはデバイスを頭に装着することによって、周囲シーン画像とユーザの頭部位置情報及び頭部回転角度をリアルタイムで採集し、Ｔ時刻のユーザ頭部位置情報がＡであり、Ｔ時刻の頭部回転角度がαであり、ＡとαをＴ時刻の画像コードストリームに書き込み、Ｔ＋１時刻のユーザ頭部位置情報がＢであり、Ｔ＋１時刻の頭部回転角度がβであり、Ｂ情報とβ情報をＴ＋１時刻の画像コードストリームに書き込み、また、ＢとＡとの差値情報（Ｂ－Ａ）及びβとαとの差値情報（β－α）をＴ＋１時刻の画像コードストリームに書き込んでもよいし、Ｂと（β－α）との、又は（Ｂ－Ａ）とβとの組合せ形式をＴ＋１時刻の画像コードストリームに書き込んでもよい。ユーザ頭部回転情報、例えば頭部回転角度がＴ時刻からＴ＋１時刻まで変わらなければ、即ち、Ａ＝Ｂ、α＝βであれば、Ｂ又は（Ｂ－Ａ）、β又は（β－α）をＴ＋１時刻の画像コードストリームに書き込まないこと、又は、識別情報をＴ＋１時刻の画像コードストリームに書き込むことを選択してもよい。

【0091】

パノラマ画像データ、頭部位置情報及び頭部回転情報は、リアルタイムで採集されたものではなく、ニーズに応じて現存のパノラマビデオに頭部位置情報及び頭部回転情報を加えて得られたものであってもよい点に留意すべきである。

【0092】

一例では、現存のパノラマビデオにおいて、ユーザの好み又は予め設定された約束（例えば、ディレクターズ・カット（ｄｉｒｅｃｔｏｒ’ｓ ｃｕｔ））に応じて、同じ時刻のパノラマ画像データに対して、複数グループの運動パラメータ組合せが生成され、各グループの運動パラメータ組合せが頭部位置情報及び頭部回転情報のうちの少なくとも１つを含んでもよい。例えば、Ｔ時刻において、２グループの運動パラメータ組合せは設定され、それぞれ、第１グループの頭部位置情報がＡ１であり、第２グループの頭部位置情報がＡ２であり、Ａ１とＡ２をＴ時刻の画像コードストリームに書き込む。Ｔ＋１時刻の２グループの運動パラメータ組合せはそれぞれ、第１グループの頭部位置情報がＢ１であり、第２グループの頭部位置情報がＢ２であり、Ｂ１情報とＢ２情報をＴ＋１時刻の画像コードストリームに書き込み、また、第１グループの頭部位置情報Ｂ１とＡ１との差値情報（Ｂ１－Ａ１）、第２グループの頭部位置情報Ｂ２とＡ２との差値情報（Ｂ２－Ａ２）を、Ｔ＋１時刻の画像コードストリームに書き込んでもよいし、頭部位置情報及び差値情報を異なる組合せの形式でＴ＋１時刻の画像コードストリームに書き込んでもよい。頭部位置情報がＴ時刻からＴ＋１時刻まで変わらなければ、即ち、Ａ１＝Ｂ１、又はＡ２＝Ｂ２であれば、Ｂ１又は（Ｂ１－Ａ１）、Ｂ２又は（Ｂ２－Ａ２）をＴ＋１時刻の画像コードストリームに書き込まないこと、又は、識別情報をＴ＋１時刻の画像コードストリームに書き込むことを選択してもよい。

【0093】

類似的に、異なるグループの運動パラメータ組合せは、頭部の位置情報及び回転情報の組合せの方式を採用して示すことことができ、ここで、第１グループの運動パラメータ組合せが頭部位置情報を含むもののみを例にとって説明する。運動パラメータ組合せが回転情報を含む場合に、当業者は、上記の例を参照してコードストリームを書き込む具体的な方式を決定することができる。

【0094】

上記頭部位置情報は、ボディ運動情報と、視点運動情報と、ボディ運動情報のうちの少なくとも１つに取り替えられてもよい点に留意すべきである。

【0095】

１つの例示的な実施形態において、本願は１つのコードストリームの処理方法をさらに提供しており、図２は本願に係る他のコードストリームの処理方法のフローの模式図である。当該方法は、コードストリームに基づいてコードストリームにおけるどの部分のビデオ画面をユーザに呈示するか（即ち、目標画像データ）を決定する場合に適用可能である。当該方法は、本願に係るコードストリームの処理装置によって実行可能であり、当該コードストリームの処理装置は、ソフトウェア及び／又はハードウェアによって実現されて、第２端末に集積されることが可能である。本実施例に詳細に記載されていない内容は、上記の実施例を参照することができ、ここでくどくど述べる必要はない。

【0096】

図２に示すように、本願に係るコードストリームの処理方法は、Ｓ２１０、Ｓ２２０及びＳ２３０を含む。

【0097】

Ｓ２１０において、コードストリームを受信する。

【0098】

コードストリームは、第１端末で生成されたコードストリームであってもよい。

【0099】

Ｓ２２０において、前記コードストリームから運動情報を抽出する。

【0100】

コードストリームを受信した後に、コードストリームから運動情報を抽出することができる。運動情報は、コードストリームにおける異なる位置、例えばＳＥＩ、ＶＵＩ、ＭＰＤ等に配置されてもよい。

【0101】

Ｓ２３０において、運動情報が抽出された場合に、抽出された運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得する。

【0102】

コードストリームから運動情報が抽出された場合、抽出された運動情報に基づいて前記抽出された運動情報に対応するパノラマ画像データに対して処理を行い、当該パノラマ画像データの目標画像データを決定することができる。

【0103】

処理の手段には、運動情報に基づいてパノラマ画像データから一部のデータを切り取り、目標画像データを生成することが含まれるが、これらに限定されない。当該目標画像データは直接にユーザに表示されてよいし、第２端末に記憶されてもよいし、符号化されて新たなコードストリームを生成してもよい。

【0104】

本願に係るコードストリームの処理方法は、まず、コードストリームを受信し、そして、前記コードストリームから運動情報を抽出し、運動情報が抽出された場合に、抽出された運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得する。没入型ビデオをユーザに伝送して観賞させる時に、没入型ビデオにおけるどの部分のビデオ画面をユーザに呈示するかを決定できないという技術問題が解決されており、ユーザが当該コードストリームを観賞する時に、コードストリームにおける運動情報に基づいて、ユーザに呈示する目標画像データを自動的に決定すること、即ち、コードストリームにおけるどの部分のビデオ画面をユーザに呈示するかを自動的に決定することができる。

【0105】

上記の実施例に基づいて、上記の実施例の変形例が提出されており、なお、説明を簡単にするために、変形例において、上記の実施例と異なる点についてのみ説明する。

【0106】

１つの実施例において、前記コードストリームから運動情報を抽出することは、前記コードストリームの、補足強化情報と、ビデオユーザビリティ情報と、システム層メディアアトリビュート記述ユニットのうちの少なくとも１つから運動情報を抽出することを含む。

【0107】

１つの実施例において、抽出された運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することは、前記運動情報に基づいてパノラマ画像データから切り取り、目標画像データを取得することを含む。

【0108】

１つの実施例において、前記運動情報は、頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも１つを含む。

【0109】

１つの実施例において、前記頭部運動情報は、頭部絶対位置情報と、頭部相対位置情報と、頭部絶対回転情報と、頭部相対回転情報と、頭部絶対位置情報と頭部絶対回転情報との組合せと、頭部絶対位置情報と頭部相対回転情報との組合せと、頭部相対位置情報と頭部相対回転情報との組合せと、頭部相対位置情と頭部絶対回転情報との組合せとのうちの１つを含む。

【0110】

１つの実施例において、前記ボディ運動情報は、ボディ絶対位置情報と、ボディ相対位置情報と、ボディ絶対回転情報と、ボディ相対回転情報と、ボディ絶対位置情報とボディ絶対回転情報との組合せと、ボディ絶対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ絶対回転情報との組合せとのうちの１つを含む。

【0111】

１つの実施例において、前記視点運動情報は、視点絶対位置情報と、視点相対位置情報と、視点絶対回転情報と、視点相対回転情報と、視点絶対位置情報と視点絶対回転情報との組合せと、視点絶対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点絶対回転情報との組合せとのうちの１つを含む。

【0112】

１つの実施例において、前記運動情報は少なくとも１グループの運動パラメータ組合せを含み、１グループの運動パラメータ組合せは、少なくとも頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも１つを含む。

【0113】

１つの実施例において、抽出された運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することは、抽出された運動情報が識別情報である場合に、１つ前の時刻の運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することを含み、前記識別情報は、前記運動情報が１つ前の時刻の運動情報と同じであることを指示するために使用される。

【0114】

抽出された運動情報が識別情報である場合に、現在の運動情報が１つ前の時刻の運動情報と同じであると考えられ、直接に１つ前の時刻の運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することができる。識別情報の具体的な内容は限定されず、現在の運動情報が１つ前の時刻の運動情報と同じであることを識別可能ものであればよい。

【0115】

１つの実施例において、当該方法は、運動情報が抽出されなかった場合に、１つ前の時刻の運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することをさらに含む。運動情報が抽出されなければ、現在の時刻の運動情報が１つ前の時刻の運動情報と同じであると考えられ、直接に１つ前の時刻の運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することができる。

【0116】

１つの実施例において、抽出された運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することは、前記運動情報が少なくとも２グループの運動パラメータ組合せを含み、且つ選出指令が検出された場合に、前記選出指令に対応する運動パラメータクラスタを決定し、前記運動パラメータクラスタに対応する運動パラメータ組合せに基づいてパノラマ画像データに対して処理を行って目標画像データを取得することと、前記運動情報が少なくとも２グループの運動パラメータ組合せを含み、且つ選出指令が検出されなかった場合に、１つ前の時刻の運動パラメータクラスタを現在の時刻の運動パラメータクラスタとし、前記現在の時刻の運動パラメータクラスタに対応する運動パラメータ組合せに基づいてパノラマ画像データに対して処理を行って目標画像データを取得することと、を含む。

【0117】

運動情報が少なくとも２グループの運動パラメータ組合せを含む場合に、異なる運動パラメータ組合せが異なる目標画像データに対応することができる。ユーザは、運動パラメータクラスタを選出することによって、異なる目標画像データを取得することができ、例えば、第２端末で各グループの運動パラメータ組合せの運動パラメータクラスタが表示され、ユーザに選出されてもよい。運動パラメータクラスタは、各グループの運動パラメータ組合せを区別することに使用可能である。運動パラメータクラスタの命名方式は限定されず、異なるグループの運動パラメータ組合せに対応する目標画像データを区別するために使用されることを容易にできるものである。例えば、試合のシーンを例にとると、運動パラメータクラスタは、スポーツ選手Ａとスポーツ選手Ｂで命名されることができる。

【0118】

選出指令は、運動パラメータクラスタを選出するための指令と理解すべきである。選出指令が検出された後に、前記選出指令に対応する運動パラメータクラスタを決定し、異なる選出指令が異なる運動パラメータクラスタに対応することができる。運動パラメータクラスタが決定された後に、運動パラメータクラスタに対応する運動パラメータ組合せに基づいてパノラマ画像データに対して処理を行い、即ち、運動情報から前記運動パラメータクラスタに対応する運動パラメータ組合せを選出してパノラマ画像データに対して処理を行う。

【0119】

選出指令が検出されなかった場合に、ユーザが現在に運動パラメータ組合せを切り替えていないと考えられ、１つ前の時刻の運動パラメータクラスタに対応する運動パラメータ組合せに基づいてパノラマ画像データに対して処理を行うことができる。

【0120】

１つの実施例において、前記目標画像データに対して符号化を行い、符号化された目標画像データに対して、記憶及び伝送のうちの少なくとも１つの操作を行う。

【0121】

目標画像データが得られた後に、目標画像データに対してビデオ符号化を行い、新たなコードストリームを形成することができる。

【0122】

１つの実施例において、当該方法は、前記目標画像データを表示することをさらに含む。

【0123】

以下、本願の実施例を例示的に説明し、本願において、コードストリームを受信し、コードストリームから運動情報を抽出し、そして、運動情報に基づいて対応するパノラマ画像データに対して処理を行って目標画像データを取得し、目標画像データを表示し、又は、目標画像データに対して符号化を行って新たなコードストリームを形成し、新たなコードストリームを伝送又は記憶する。

【0124】

本実施例に係る技術案をさらに説明するために、以下、具体的な適用例により本発明の実施例に係る技術案を説明する。以下、上記の様々な方法に対する説明は、各対応方法の具体例に過ぎない。多種の方法を使用する時に、下記の各方法の例を簡単に組み合わせてつながりをつければ、対応する例を得ることができる。

【0125】

例１、
Ｔ時刻のコードストリームを取得し、コードストリームから抽出された頭部位置がＡ点にあり、Ａ点の位置情報に基づいてパノラマ画像データにおける一部の画像データ、即ち、目標画像データを取得し、表示装置に一部の画像データを表示する。Ｔ＋１時刻のコードストリームを取得し、コードストリームから抽出された頭部位置がＢ点にあり、Ｂ点の位置情報に基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。

【0126】

Ｔ＋１時刻に取得された頭部運動情報がＡ点に対するＢ点の位置増量情報（Ｂ－Ａ）であれば、新たな位置情報Ｂを先に算出して、Ｂ点の位置情報に基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。

【0127】

Ｔ＋１時刻に取得された頭部運動情報は位置が変わらないと判明すれば、Ｔ時刻のＡ点の位置に基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。

【0128】

例２、
Ｔ時刻のコードストリームを取得し、コードストリームから頭部回転角度αを抽出し、αに基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。Ｔ＋１時刻のコードストリームを取得し、コードストリームから頭部回転角度βを抽出し、βに基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。

【0129】

Ｔ＋１時刻に頭部回転角度αに対する差値情報（β－α）が取得されれば、新たな頭部回転角度βを先に算出して、βに基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。

【0130】

Ｔ＋１時刻に取得された頭部運動情報が変わらないと判明すれば、Ｔ時刻の頭部回転角度αに基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。頭部位置情報が取得されなかった、又は、頭部運動情報が識別情報である場合に、頭部運動情報が変わらないと判明することができる。

【0131】

例３、
Ｔ時刻のコードストリームを取得し、コードストリームからＡ点にある頭部位置及び頭部回転角度αを抽出し、Ａ点の位置及び頭部回転角度αに基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。

【0132】

Ｔ＋１時刻のコードストリームを取得し、コードストリームからＢ点にある頭部位置及び頭部回転角度βを抽出し、Ｂ点の位置及び頭部回転角度βに基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。

【0133】

Ｔ＋１時刻に取得された頭部運動情報がＡ点に対するＢ点の位置増量情報（Ｂ－Ａ）と、頭部回転角度αに対する差値情報（β－α）であれば、新たな位置情報Ｂ及び新たな頭部回転角度βを先に算出して、Ｂ点の位置及び頭部回転角度βに基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。

【0134】

Ｔ＋１時刻に取得された頭部運動情報は位置が変わらないと判明すれば、Ｔ時刻のＡ点の位置及び頭部回転角度αに基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。

【0135】

例４、
Ｔ時刻のコードストリームを取得し、コードストリームから複数グループの頭部運動情報を抽出し、そのうちの１グループの頭部運動情報、例えば第１グループを選出し、第１グループの頭部運動情報に基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示してもよい。

【0136】

Ｔ＋１時刻のコードストリームを取得し、コードストリームから複数グループの頭部運動情報を抽出し、Ｔ時刻に選出された運動情報グループに対応して、第１グループの運動情報を選出し、運動情報が絶対値であれば、直接にこの情報に基づいてパノラマ画像データにおける一部の画像データを取得し、表示装置に一部の画像データを表示する。

【0137】

運動情報が相対値であれば、新たな絶対運動情報を先に算出して、新たな絶対運動情報に基づいてパノラマ画像データにおける一部の画像データを取得し、また、新たな絶対運動情報を算出せず、直接にＴ時刻の位置、例えばＴ時刻の運動情報及び増量頭部運動情報、即ち、Ｔ＋１時刻の相対運動情報（例えば、頭部相対位置情報）に基づいて、パノラマ画像データにおける一部の画像データを取得し、最後に表示装置に一部の画像データを表示してもよい。

【0138】

類似的に、異なるグループの頭部運動情報は、位置情報と回転情報との組合せの方式を採用して示すことことができ、例えば、異なるグループの頭部運動情報は、頭部絶対位置情報と、頭部相対位置情報と、頭部絶対回転情報と、頭部相対回転情報と、頭部絶対位置情報と頭部絶対回転情報との組合せと、頭部絶対位置情報と頭部相対回転情報との組合せと、頭部相対位置情報と頭部相対回転情報との組合せと、頭部相対位置情と頭部絶対回転情報との組合せとのうちの少なくとも１つを含む。

【0139】

類似的に、例１乃至例４の頭部運動情報は、ボディ運動情報と、視点運動情報と、頭部運動情報及び視点運動情報からなるものと、頭部運動情報及びボディ運動情報からなるものと、頭部運動情報と、視点運動情報及びボディ運動情報からなるものと、のうちの少なくとも１つに取り替えられてもよい。

【0140】

コードストリームの処理方法におけるビデオコードストリームは立体ビデオに属し、立体ビデオに適用される時に、運動情報は同時に左視野及び右視野に使用可能である。運動情報は、左視野のみとコードストリームを生成することができるし、右視野のみとコードストリームを生成することができるし、左及び右の視野と一緒にコードストリームを生成することができる点に留意すべきである。

【0141】

本願は、１つのコードストリームの処理装置を提供しており、図３は本願に係る１つのコードストリームの処理装置の構造模式図であり、当該コードストリームの処理装置は第１端末に集積されることが可能である。図３に示すように、当該装置は、パノラマ画像データ及び運動情報を取得するように構成される取得モジュール３１と、前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成するように構成される生成モジュール３２とを備える。

【0142】

そのうち、取得モジュール３１は、運動情報を取得する過程において、運動パラメータを先に取得してもよい。運動パラメータは頭部運動パラメータ、ボディ運動パラメータ及び視点運動パラメータを含む。運動パラメータが取得された後に、上記の表を参照し、相応する補助データ、例えば、運動情報の識別子等を加え、運動情報を取得することができる。

【0143】

運動情報は、ビデオエンコーダに使用されてもよいし、直接に伝送モジュールに使用されてもよい。

【0144】

以下、本実施例に係るコードストリームの処理装置について、例示的に説明し、図３ａは本願に係る更なるコードストリームの処理装置の構造模式図である。図３ａを参照し、当該装置は、球面パノラマビデオ画像データ（即ち、パノラマ画像データ）及び運動データを取得するための取得装置３０１と、運動データに基づいて、ビデオエンコーダ及び伝送モジュールの両方に使用可能な運動情報を生成するための運動情報モジュール３０２と、ビデオ画像データに対して符号化を行い、運動情報を符号化して、コードストリームに対応する位置に、又は、符号化されたビデオコードストリームに加えることができるビデオエンコーダ３０３と、ビデオ符号化データ又はメディアデータに対してネットワークのトランスポート層の符号化を行うための伝送モジュール３０４を備え、そのうち、伝送モジュール３０４は運動情報が含まれるビデオ画像データに対して符号化を行うことができるし、ビデオデータ及び運動情報を単独で符号化することができる。

【0145】

上記の、取得装置３０１、運動情報モジュール３０２、ビデオエンコーダ３０３、伝送モジュール３０４は、専用ハードウェア、又は、適切なソフトウェアと組み合わせて処理を実行可能なハードウェアを使用することによって実現されることができる。このようなハードウェア又は専用ハードウェアは、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、様々な他の回路、様々なプロセッサ等を含んでもよい。プロセッサによって実現される時に、当該機能は、単一の専用プロセッサ、単一の共有プロセッサ、又は、複数の独立したプロセッサ（そのうちのいくつかが共有される可能性がある）によって提供されることができる。ちなみに、プロセッサは、ソフトウェアを実行可能なハードウェアのみというものと理解すべきではなく、デジタルシグナルプロセッサ（ＤＳＰ：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）ハードウェア、ソフトウェアを記憶するためのリードオンリーメモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、及び不揮発性記憶装置を暗黙的に含むことができるが、これらに限定されないものである。

【0146】

本実施例の装置は、ビデオが適用される装置、例えば、携帯電話、コンピュータ、サーバ、セットトップボックス、携帯型移動端末、デジタルカメラ、テレビ放送システムデバイス等であってもよい。

【0147】

本実施例に係るコードストリームの処理装置は、図１に示すような実施例のコードストリームの処理方法を実現するために使用され、本実施例に係るコードストリームの処理装置によって実現される原理及び技術効果は図１に示すような実施例のコードストリームの処理方法と類似して、ここでくどくど述べる必要はない。

【0148】

１つの実施例において、前記運動情報は前記パノラマ画像データと同期に取得され、又は、前記運動情報は予め設定されたものである。

【0149】

１つの実施例において、前記運動情報は、頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも１つを含む。

【0150】

１つの実施例において、前記頭部運動情報は、頭部絶対位置情報と、頭部相対位置情報と、頭部絶対回転情報と、頭部相対回転情報と、頭部絶対位置情報と頭部絶対回転情報との組合せと、頭部絶対位置情報と頭部相対回転情報との組合せと、頭部相対位置情報と頭部相対回転情報との組合せと、頭部相対位置情と頭部絶対回転情報との組合せとのうちの１つを含む。

【0151】

１つの実施例において、前記ボディ運動情報は、ボディ絶対位置情報と、ボディ相対位置情報と、ボディ絶対回転情報と、ボディ相対回転情報と、ボディ絶対位置情報とボディ絶対回転情報との組合せと、ボディ絶対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ絶対情報との組合せとのうちの１つを含む。

【0152】

１つの実施例において、前記視点運動情報は、視点絶対位置情報と、視点相対位置情報と、視点絶対回転情報と、視点相対回転情報と、視点絶対位置情報と視点絶対回転情報との組合せと、視点絶対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点絶対回転情報との組合せとのうちの１つを含む。

【0153】

１つの実施例において、前記運動情報は、少なくとも１グループの運動パラメータ組合せを含み、各グループの運動パラメータ組合せについて、対応する運動パラメータクラスタが設定され、１グループの運動パラメータ組合せは、少なくとも頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも１つを含む。

【0154】

１つの実施例において、生成モジュール３２は、前記運動情報が１つ前の時刻の運動情報と同じである場合に、前記パノラマ画像データに基づいてコードストリームを生成するように構成されるものと、前記運動情報が１つ前の時刻の運動情報と同じである場合に、識別情報を新たな運動情報とし、前記パノラマ画像データ及び前記新たな運動情報に基づいてコードストリームを生成するように構成されるもののうちの少なくとも１つであり、前記識別情報は、前記運動情報が１つ前の時刻の運動情報と同じであることを指示するために使用される。

【0155】

１つの実施例において、生成モジュール３２は、前記運動情報を前記パノラマ画像データに基づいて生成されたコードストリームに書き込むように構成されている。

【0156】

１つの実施例において、生成モジュール３２は、前記運動情報を、前記パノラマ画像データに基づいて生成されたコードストリームの、補足強化情報と、ビデオユーザビリティ情報と、システム層メディアアトリビュート記述ユニットのうちの少なくとも１つに書き込むように構成されている。

【0157】

１つの実施例において、当該装置は、コードストリームを記憶するように構成される記憶モジュールと、コードストリームを送信するように構成される送信モジュールのうちの少なくとも１つをさらに含む。

【0158】

本願は、１つのコードストリームの処理装置をさらに提供しており、図４は本願に係る他のコードストリームの処理装置の構造模式図であり、当該装置は第２端末に集積されることが可能である。図４に示すように、当該装置は、コードストリームを受信するように構成される受信モジュール４１と、前記コードストリームから運動情報を抽出するように構成される抽出モジュール４２と、運動情報が抽出された場合に、抽出された運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得するように構成される処理モジュール４３と、を備える。

【0159】

以下、本願に係るコードストリームの処理装置について、例示的に説明し、図４ａは本願に係るさらに他のコードストリームの処理装置の構造模式図である。当該装置は、ビデオ符号化データ又はメディアデータが含まれるネットワークのトランスポート層データから、復号化を行うための伝送モジュール４０１と、運動情報を解析するための運動情報処理モジュール４０２と、ビデオ画像データを復号化すること、又は、ビデオコードストリームから運動情報を抽出して運動情報処理モジュールに使用させるために使用可能なビデオデコーダ４０３と、パノラマビデオ画像を表示する、又は運動情報に基づいて部分画像を選出して表示するための表示装置４０４と、を含んでもよく、そのうち、伝送モジュール４０１は、運動情報のみを抽出することができるし、運動情報が含まれるビデオ画像データを抽出することができる。

【0160】

上記の、伝送モジュール４０１、運動情報処理モジュール４０２、ビデオデコーダ４０３、表示装置４０４は、専用ハードウェア、又は、適切なソフトウェアと組み合わせて処理を実行可能なハードウェアを使用することによって実現されることができる。このようなハードウェア又は専用ハードウェアは、特定用途向け集積回路（ＡＳＩＣ）、様々な他の回路、様々なプロセッサ等を含んでもよい。プロセッサによって実現される時に、当該機能は、単一の専用プロセッサ、単一の共有プロセッサ、又は、複数の独立したプロセッサ（そのうちのいくつかが共有される可能性がある）によって提供されることができる。ちなみに、プロセッサは、ソフトウェアを実行可能なハードウェアのみというものと理解すべきではなく、デジタルシグナルプロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するためのリードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、及び不揮発性記憶装置を暗黙的に含むことができるが、これらに限定されないものである。

【0161】

本実施例の装置は、ビデオが適用されるデバイス、例えば、携帯電話、コンピュータ、サーバ、セットトップボックス、携帯型移動端末、デジタルカメラ、テレビ放送システムデバイス等であってもよい。

【0162】

本実施例に係るコードストリームの処理装置は、図２に示すような実施例のコードストリームの処理方法を実現するために使用され、本実施例に係るコードストリームの処理装置によって実現される原理及び技術効果は図２に示すような実施例のコードストリームの処理方法と類似して、ここでくどくど述べる必要はない。

【0163】

１つの実施例において、抽出モジュール４２は、具体的に、前記コードストリームの、補足強化情報と、ビデオユーザビリティ情報と、システム層メディアアトリビュート記述ユニットのうちの少なくとも１つから運動情報をするように構成されている。

【0164】

１つの実施例において、処理モジュール４３は、前記運動情報に基づいてパノラマ画像データから切り取り、目標画像データを取得するように構成されている。

【0165】

１つの実施例において、前記運動情報は、頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも１つを含む。

【0166】

１つの実施例において、前記頭部運動情報は、頭部絶対位置情報と、頭部相対位置情報と、頭部絶対回転情報と、頭部相対回転情報と、頭部絶対位置情報と頭部絶対回転情報との組合せと、頭部絶対位置情報と頭部相対回転情報との組合せと、頭部相対位置情報と頭部相対回転情報との組合せと、頭部相対位置情と頭部絶対回転情報との組合せとのうちの１つを含む。

【0167】

１つの実施例において、前記ボディ運動情報は、ボディ絶対位置情報と、ボディ相対位置情報と、ボディ絶対回転情報と、ボディ相対回転情報と、ボディ絶対位置情報とボディ絶対回転情報との組合せと、ボディ絶対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ絶対回転情報との組合せとのうちの１つを含む。

【0168】

１つの実施例において、前記視点運動情報は、視点絶対位置情報と、視点相対位置情報と、視点絶対回転情報と、視点相対回転情報と、視点絶対位置情報と視点絶対回転情報との組合せと、視点絶対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点絶対回転情報との組合せとのうちの１つを含む。

【0169】

１つの実施例において、前記運動情報は少なくとも１グループの運動パラメータ組合せを含み、１グループの運動パラメータ組合せは、少なくとも頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも１つを含む。

【0170】

１つの実施例において、処理モジュール４３は、抽出された運動情報が識別情報である場合に、１つ前の時刻の運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得するように構成されており、前記識別情報は、前記運動情報が１つ前の時刻の運動情報と同じであることを指示するために使用される。

【0171】

１つの実施例において、処理モジュール４３はさらに、運動情報が抽出されなかった場合に、１つ前の時刻の運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得するように構成されている。

【0172】

１つの実施例において、処理モジュール４３は、前記運動情報が少なくとも２グループの運動パラメータ組合せを含み、且つ選出指令が検出された場合に、前記選出指令に対応する運動パラメータクラスタを決定し、前記運動パラメータクラスタに対応する運動パラメータ組合せに基づいてパノラマ画像データに対して処理を行って目標画像データを取得し、前記運動情報が少なくとも２グループの運動パラメータ組合せを含み、且つ選出指令が検出されなかった場合に、１つ前の時刻の運動パラメータクラスタを現在の時刻の運動パラメータクラスタとし、前記現在の時刻の運動パラメータクラスタに対応する運動パラメータ組合せに基づいてパノラマ画像データに対して処理を行って目標画像データを取得するように構成されている。

【0173】

１つの実施例において、当該装置は、前記目標画像データに対して符号化を行い、符号化された目標画像データに対して、記憶及び伝送のうちの少なくとも１つの操作を行うように構成される符号化モジュールをさらに含む。

【0174】

１つの実施例において、当該装置は、前記目標画像データを表示するように構成される表示モジュールをさらに含む。

【0175】

本願の実施例は、第１端末をさらに提供しており、図５は本願に係る第１端末の構造模式図である。図５に示すように、本願に係る第１端末は、１つ又は複数のプロセッサ５１及び記憶装置５２を備え、当該第１端末におけるプロセッサ５１は１つ又は複数であってもよく、図５では、１つのプロセッサ５１を例にとっており、記憶装置５２は１つ又は複数のプログラムを記憶するために使用され、前記１つ又は複数のプログラムは前記１つ又は複数のプロセッサ５１によって実行され、これにより、前記１つ又は複数のプロセッサ５１は本発明の実施例に記載されたようなコードストリームの処理方法を実現する。

【0176】

第１端末は、通信装置５３、入力装置５４及び出力装置５５をさらに含む。

【0177】

第１端末におけるプロセッサ５１、記憶装置５２、通信装置５３、入力装置５４及び出力装置５５は、バス又は他の方式によって接続されてもよく、図５はバスによって接続されたものを例にとっている。

【0178】

入力装置５４は、入力された数字又は文字情報を受信する並びに第１端末のユーザ設定及び機能制御に関するキー信号入力を生成することに使用可能である。入力装置５４には、パノラマ画像データを取得する採集装置及び運動情報を取得する取得装置が含まれるが、これらに限定されない。ここで、取得装置は限定されずに、運動情報を取得可能なものであればよく、例えばセンサである。出力装置５５は、ディスプレイ等の表示装置を含んでもよい。

【0179】

通信装置５３は、受信器及び送信器を含んでもよい。通信装置５３は、プロセッサ５１の制御によって情報の送受信という通信を行うように構成されている。情報には、コードストリーム、パノラマ画像データ及び運動情報が含まれるが、これらに限定されない。

【0180】

記憶装置５２は、コンピュータ可読記憶媒体とし、ソフトウェアプログラム、コンピュータ実行可能なプログラム及びモジュール、例えば、本願の実施例に記載されたコードストリームの処理方法に対応するプログラム指令／モジュール（例えば、コードストリームの処理装置における取得モジュール３１及び生成モジュール３２）を記憶するように構成可能である。記憶装置５２は、プログラム記憶区とデータ記憶区を含んでもよく、そのうち、プログラム記憶区はオペレーティングシステム、少なくとも１つの機能に必要なアプリケーションを記憶可能であり、データ記憶区は第１端末の使用によって作成されたデータ等を記憶可能である。また、記憶装置５２は、高速ランダムアクセスメモリを含んでよく、不揮発性メモリ、例えば、少なくとも１つの磁気ディスクメモリデバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスを含んでもよい。いくつかの実例において、記憶装置５２は、プロセッサ５１に対してリモート設定されたメモリをさらに含んでもよく、これらのリモートメモリはネットワークを介して第１端末に接続可能である。上記ネットワークの実例には、インターネット、社内ネットワーク、ローカルエリアネットワーク、モバイル通信ネットワーク及びこれらの組合せが含まれるが、これらに限定されない。

【0181】

本願の実施例は、第２端末をさらに提供しており、図６は本願に係る第２端末の構造模式図である。図６に示すように、本願に係る第２端末は、１つ又は複数のプロセッサ６１及び記憶装置６２を備え、当該第２端末におけるプロセッサ６１は１つ又は複数であってもよく、図６では、１つのプロセッサ６１を例にとっており、記憶装置６２は１つ又は複数のプログラム記憶するために使用され、前記１つ又は複数のプログラムは前記１つ又は複数のプロセッサ６１によって実行され、これにより、前記１つ又は複数のプロセッサ６１は実現本発明の実施例に記載されたようなコードストリームの処理方法を実現する。

【0182】

第２端末は、通信装置６３、入力装置６４及び出力装置６５をさらに含む。

【0183】

第２端末におけるプロセッサ６１、記憶装置６２、通信装置６３、入力装置６４及び出力装置６５は、バス又は他の方式によって接続されてもよく、図６はバスによって接続されたものを例にとっている。

【0184】

入力装置６４は、入力された数字又は文字情報を受信する並びに第２端末のユーザ設定及び機能制御に関するキー信号入力を生成することに使用可能である。出力装置６５は、ディスプレイ等の表示装置を含んでもよい。

【0185】

通信装置６３は、受信器及び送信器を含んでもよい。通信装置６３は、プロセッサ６１の制御によって情報の送受信という通信を行うように構成されている。情報には、コードストリーム、目標画像データ及び符号化された後の目標画像データが含まれるが、これらに限定されない。

【0186】

記憶装置６２は、コンピュータ可読記憶媒体とし、ソフトウェアプログラム、コンピュータ実行可能なプログラム及びモジュール、例えば、本願の実施例に記載されたコードストリームの処理方法に対応するプログラム指令／モジュール（例えば、コードストリームの処理装置における受信モジュール４１、抽出モジュール４２及び処理モジュール４３）を記憶するように構成可能である。記憶装置６２は、プログラム記憶区とデータ記憶区を含んでもよく、そのうち、プログラム記憶区はオペレーティングシステム、少なくとも１つの機能に必要なアプリケーションを記憶可能であり、記憶データ区は第２端末の使用によって作成されたデータ等を記憶可能である。また、記憶装置６２は、高速ランダムアクセスメモリを含んでよく、不揮発性メモリ、例えば、少なくとも１つの磁気ディスクメモリデバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステートメモリデバイスを含んでもよい。いくつかの実例において、記憶装置６２は、プロセッサ６１に対してリモート設定されたメモリをさらに含んでもよく、これらのリモートメモリはネットワークを介して第２端末に接続可能である。上記ネットワークの実例には、インターネット、社内ネットワーク、ローカルエリアネットワーク、モバイル通信ネットワーク及びこれらの組合せが含まれるが、これらに限定されない。

【0187】

本願の実施例は、記憶媒体をさらに提供しており、前記記憶媒体にコンピュータプログラムが記憶されており、前記コンピュータプログラムがプロセッサによって実行されると、本願の実施例のいずれかに記載のコードストリームの処理方法を実現する。例えば、第１端末に適用するコードストリームの処理方法及び第２端末に適用するコードストリームの処理方法であり、そのうち、第１端末に適用するコードストリームの処理方法が、パノラマ画像データを取得することと、運動情報を取得することと、前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成することと、を含む。

【0188】

第２端末に適用するコードストリームの処理方法は、コードストリームを受信することと、前記コードストリームから運動情報を抽出することと、運動情報が抽出された場合に、抽出された運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することと、を含む。

【0189】

以上は、本願の例示的な実施例に過ぎず、本願の保護範囲を限定するためのものではない。

【0190】

当業者であれば、用語「端末」（第１端末及び第２端末を含む）は、任意の適切なタイプの無線ユーザデバイス、例えば移動電話、携帯型データ処理装置、携帯型ブラウザ端末、ヘッドマウント表示装置又は車載モバイルステーションを含む。

【0191】

一般的には、本願の多種の実施例は、ハードウェア又は専用回路、ソフトウェア、論理又はそれらの任意の組合せで実現可能である。例えば、一部の態様はハードウェアで実現されることができ、他の態様はコントローラ、マイクロプロセッサ又は他のコンピュータ装置によって実行可能なファームウェア又はソフトウェアで実現されることができるが、本願はこれらに限定されるものではない。

【0192】

本願の実施例は、移動装置のデータプロセッサがコンピュータプログラム命令を実行することによって、例えばプロセッサの実体、又はハードウェア、又はソフトウェアとハードウェアとの組合せによって実現されることができる。コンピュータプログラム命令は、アセンブリ命令、命令セットアーキテクチャ（Ｉｎｓｔｒｕｃｔｉｏｎ Ｓｅｔ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＩＳＡ）命令、機械命令、機械関連命令、マイクロコード、ファームウェア命令、状態設定データ、又は、１つ又は複数のプログラミング言語の任意の組合せで書かれたソースコード又はターゲットコードであってもよい。

【0193】

本願の図面の任意の論理の流れのブロック図は、プログラムのステップを示してもよく、又は、互いに接続された論理回路、モジュール及び機能を示してもよく、又は、プログラムのステップと論理回路、モジュールと機能との組合せを示してもよい。コンピュータプログラムはメモリに記憶可能である。メモリは、例えばリードオンリーメモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、光メモリ装置及びシステム（デジタル多用途ディスク（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ、ＤＶＤ）又はディスク（Ｃｏｍｐａｃｔ Ｄｉｓｋ、ＣＤ））等であるが、これらに限定されず、任意の、ローカル技術環境に適合するタイプを有し、且つ、任意の適切なデータ記憶技術を使用して実現されることができる。コンピュータ可読媒体は、非一時的な記憶媒体を含んでもよい。データプロセッサは、例えば汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタルシグナルプロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＧＰＡ）及びマルチコアプロセッサアーキテクチャに基づくプロセッサであるが、これらに限定されず、任意の、ローカル技術環境に適用するタイプであってもよい。

【0194】

例示的で非限定的な例によって、上記で本願の典型的な実施例についての詳細的な説明は提供されている。しかし、図面及び請求の範囲を参照して考慮し、以上の実施例に対する多種の修正及び調整は本願の範囲から逸脱せず、当業者にとって自明である。従って、本願の適切な範囲は請求の範囲によって決定される。

【図1】

【図2】

【図3】

【図3a】

【図4】

【図4a】

【図5】

【図6】

【手続補正書】

【提出日】2022-02-24

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

パノラマ画像データを取得することと、
運動情報を取得することと、
前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成することと、を含む、
コードストリームの処理方法。

【請求項2】

前記運動情報が前記パノラマ画像データと同期に取得され、又は、
前記運動情報が予め設定されたものである、
請求項１に記載のコードストリームの処理方法。

【請求項3】

前記運動情報は、
頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも１つを含む、
請求項１に記載のコードストリームの処理方法。

【請求項4】

前記頭部運動情報は、
頭部絶対位置情報と、頭部相対位置情報と、頭部絶対回転情報と、頭部相対回転情報と、頭部絶対位置情報と頭部絶対回転情報との組合せと、頭部絶対位置情報と頭部相対回転情報との組合せと、頭部相対位置情報と頭部相対回転情報との組合せと、頭部相対位置情と頭部絶対回転情報との組合せとのうちの１つを含む、
請求項３に記載のコードストリームの処理方法。

【請求項5】

前記ボディ運動情報は、
ボディ絶対位置情報と、ボディ相対位置情報と、ボディ絶対回転情報と、ボディ相対回転情報と、ボディ絶対位置情報とボディ絶対回転情報との組合せと、ボディ絶対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ相対回転情報との組合せと、ボディ相対位置情報とボディ絶対回転情報との組合せとのうちの１つを含む、
請求項３に記載のコードストリームの処理方法。

【請求項6】

前記視点運動情報は、
視点絶対位置情報と、視点相対位置情報と、視点絶対回転情報と、視点相対回転情報と、視点絶対位置情報と視点絶対回転情報との組合せと、視点絶対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点相対回転情報との組合せと、視点相対位置情報と視点絶対回転情報との組合せとのうちの１つを含む、
請求項３に記載のコードストリームの処理方法。

【請求項7】

前記運動情報は、少なくとも１グループの運動パラメータ組合せを含み、各グループの前記運動パラメータ組合せについて、対応する運動パラメータクラスタが設定され、
１グループの前記運動パラメータ組合せは、少なくとも頭部運動情報、ボディ運動情報及び視点運動情報のうちの１つを含む、
請求項１に記載のコードストリームの処理方法。

【請求項8】

前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成することは、
前記運動情報が１つ前の時刻の運動情報と同じである場合に、前記パノラマ画像データに基づいてコードストリームを生成することと、
前記運動情報が１つ前の時刻の運動情報と同じである場合に、識別情報を新たな運動情報とし、前記パノラマ画像データ及び前記新たな運動情報に基づいてコードストリームを生成することとのうちの少なくとも１つを含み、
前記識別情報は、前記運動情報が１つ前の時刻の運動情報と同じであることを指示するために使用される、
請求項１に記載のコードストリームの処理方法。

【請求項9】

前記パノラマ画像データ及び前記運動情報に基づいてコードストリームを生成することは、
前記運動情報を、前記パノラマ画像データに基づいて生成されたコードストリームに書き込むことを含み、
前記運動情報を、前記パノラマ画像データに基づいて生成されたコードストリームに書き込むことは、
前記運動情報を、前記パノラマ画像データに基づいて生成されたコードストリームの、補足強化情報と、ビデオユーザビリティ情報と、システム層メディアアトリビュート記述ユニットのうちの少なくとも１つに書き込むことを含む、
請求項１に記載のコードストリームの処理方法。

【請求項10】

コードストリームを受信することと、
前記コードストリームから運動情報を抽出することと、
前記運動情報が抽出された場合に、抽出された前記運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することと、を含む、
コードストリームの処理方法。

【請求項11】

前記コードストリームから運動情報を抽出することは、
前記コードストリームの、補足強化情報と、ビデオユーザビリティ情報と、システム層メディアアトリビュート記述ユニットのうちの少なくとも１つから運動情報を抽出することを含む、
請求項１０に記載のコードストリームの処理方法。

【請求項12】

抽出された前記運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することは、
前記運動情報に基づいて前記パノラマ画像データから一部のデータを切り取り、目標画像データを取得することを含む、
請求項１０に記載のコードストリームの処理方法。

【請求項13】

前記運動情報は、
頭部運動情報、ボディ運動情報及び視点運動情報のうちの少なくとも１つを含む、
請求項１０に記載のコードストリームの処理方法。

【請求項14】

前記運動情報は、少なくとも１グループの運動パラメータ組合せを含み、
１グループの前記運動パラメータ組合せは、少なくとも頭部運動情報、ボディ運動情報、視点運動情報のうちの１つを含む、
請求項１０に記載のコードストリームの処理方法。

【請求項15】

抽出された前記運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することは、
抽出された前記運動情報が識別情報である場合に、１つ前の時刻の運動情報に基づいて前記パノラマ画像データに対して処理を行って前記目標画像データを取得することを含み、
前記識別情報は、前記運動情報が１つ前の時刻の運動情報と同じであることを指示するために使用される、
請求項１０に記載のコードストリームの処理方法。

【請求項16】

前記運動情報が抽出されなかった場合に、１つ前の時刻の運動情報に基づいて前記パノラマ画像データに対して処理を行って前記目標画像データを取得することをさらに含む、
請求項１０に記載のコードストリームの処理方法。

【請求項17】

前記運動情報は、少なくとも２グループの運動パラメータ組合せを含み、各グループの前記運動パラメータ組合せについて、対応する運動パラメータクラスタが設定され、
抽出された前記運動情報に基づいてパノラマ画像データに対して処理を行って目標画像データを取得することは、
選出指令が検出された場合に、前記選出指令に対応する運動パラメータクラスタを決定し、前記運動パラメータクラスタに対応する運動パラメータ組合せに基づいて前記パノラマ画像データに対して処理を行って前記目標画像データを取得することと、
選出指令が検出されなかった場合に、１つ前の時刻の運動パラメータクラスタを現在の時刻の運動パラメータクラスタとし、前記現在の時刻の運動パラメータクラスタに対応する運動パラメータ組合せに基づいて前記パノラマ画像データに対して処理を行って前記目標画像データを取得することと、を含む、
請求項１０に記載のコードストリームの処理方法。

【請求項18】

少なくとも１つのプロセッサと、
少なくとも１つのプログラムを記憶するように構成される記憶装置とを備え、
前記少なくとも１つのプログラムが前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサは、請求項１から９のいずれか１項に記載のコードストリームの処理方法を実現する、
第１端末。

【請求項19】

少なくとも１つのプロセッサと、
少なくとも１つのプログラムを記憶するように構成される記憶装置とを備え、
前記少なくとも１つのプログラムが前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサは、請求項１０から１７のいずれか１項に記載のコードストリームの処理方法を実現する、
第２端末。

【請求項20】

コンピュータプログラムが記憶され、
前記コンピュータプログラムがプロセッサによって実行されると、請求項１から１７のいずれか１項に記載のコードストリームの処理方法を実現する、
記憶媒体。

【手続補正2】

【補正対象書類名】明細書

【補正対象項目名】００９４

【補正方法】変更

【補正の内容】

【0094】

上記頭部位置情報は、ボディ運動情報と、視点運動情報とのうちの少なくとも１つに取り替えられてもよい点に留意すべきである。

【国際調査報告】