特許 6285034 コードストリームの生成と処理方法、装置及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6285034

(24)【登録日】2018年2月9日

(45)【発行日】2018年2月28日

(54)【発明の名称】コードストリームの生成と処理方法、装置及びシステム

(51)【国際特許分類】

   H04N 19/70 20140101AFI20180215BHJP

   H04N 21/235 20110101ALI20180215BHJP

   H04N 21/6336 20110101ALI20180215BHJP

【ＦＩ】

   H04N19/70

   H04N21/235

   H04N21/6336

【請求項の数】21

【全頁数】28

(21)【出願番号】特願2016-542931(P2016-542931)

(86)(22)【出願日】2014年10月15日

(65)【公表番号】特表2017-507522(P2017-507522A)

(43)【公表日】2017年3月16日

(86)【国際出願番号】CN2014088677

(87)【国際公開番号】WO2015096540

(87)【国際公開日】20150702

【審査請求日】2016年12月19日

(31)【優先権主張番号】201310739934.2

(32)【優先日】2013年12月27日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】509024525

【氏名又は名称】ゼットティーイー コーポレーション

【氏名又は名称原語表記】ＺＴＥ ＣＯＲＰＯＲＡＴＩＯＮ

(74)【代理人】

【識別番号】110002066

【氏名又は名称】特許業務法人筒井国際特許事務所

(72)【発明者】

【氏名】リー，ミン

(72)【発明者】

【氏名】ウー，ピン

(72)【発明者】

【氏名】シャン，グオチアン

(72)【発明者】

【氏名】シエ，ユータン

【審査官】 堀井 啓明

(56)【参考文献】

【文献】 MV-HEVC/SHVC HLS: On picture order count[online]， JCTVC-P JCTVC-P0041，インターネット＜URL:http://phenix.it-sudparis.eu/jct/doc_end_user/documents/16_San Jose/wg11/JCTVC-P0041-v1.zip＞

【文献】 Adarsh K. Ramasubramonian Qualcomm Incorporated 5775 Morehouse Drive San Diego, CA 92121, USA，MV-HEVC/SHVC HLS: On picture order count[online]， JCTVC-O JCTVC-O0213，インターネット＜URL:http://phenix.it-sudparis.eu/jct/doc_end_user/documents/15_Geneva/wg11/JCTVC-O0213-v1.zip＞

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８

Ｈ０４Ｎ２１／００−２１／８５８

Ｈ０４Ｎ７／１０

Ｈ０４Ｎ７／１４−７／１７３

Ｈ０４Ｎ７／２０−７／５６

(57)【特許請求の範囲】

【請求項1】

応用需要に応じて、コードストリームの全部及び／又は一部にビデオ画像番号ＰＯＣアライメント操作を実行する必要があるか否かを判断することと、
判断結果に基づいて、前記コードストリームに全部及び／又は一部のＰＯＣアライメント操作を実行するか否かを示す指示情報を含むマーク及び制御情報を前記コードストリームに書き込みすることと、を含むコードストリームの生成方法。

【請求項2】

前記マーク及び制御情報が前記コードストリーム中のパラメーター集合が位置するフィールドに位置して、前記コードストリーム中の前記マーク及び制御情報が位置するパラメーター集合を使用した全部及び／又は一部の画像にＰＯＣアライメント操作を実行するか否かを指示する請求項１に記載の方法。

【請求項3】

前記パラメーター集合が、ビデオパラメーター集合ＶＰＳ、シーケンスパラメーター集合ＳＰＳ、画像パラメーター集合ＰＰＳの中の少なくとも一つを含む請求項２に記載の方法。

【請求項4】

複数の前記パラメーター集合にいずれもＰＯＣアライメント操作を実行するか否かを指示するマーク及び制御情報が含まれていると、パラメーター集合間の引用関係に基づいて、現在のパラメーター集合中のＰＯＣアライメント操作を実行するか否かを指示するマーク及び制御情報で直接及び／又は間接的に引用されたパラメーター集合中の対応するＰＯＣアライメント操作を実行するか否かを指示するマーク及び制御情報をカバーする請求項２に記載の方法。

【請求項5】

前記マーク及び制御情報が前記コードストリーム中のパラメーター集合のフィールド以外のその他の少なくとも画像レイヤに作用するデータ構造に対応するフィールドに位置して、前記コードストリームの前記データ構造の有効作用範囲内の全部及び／又は一部の画像にＰＯＣアライメント操作を実行するか否かを指示する請求項１に記載の方法。

【請求項6】

前記マーク及び制御情報が前記コードストリーム中の補充強化補助情報ＳＥＩが位置するフィールドに位置して、前記補充強化補助情報ＳＥＩの有効範囲内の前記コードストリーム中の全部及び／又は一部の画像にＰＯＣアライメント操作を実行するか否かを指示する請求項１に記載の方法。

【請求項7】

前記マーク及び制御情報が前記コードストリームのシステムレイヤにおけるビデオメディアの属性を記述するフィールドに位置して、システムコードストリームに含まれた前記コードストリームの全部及び／又は一部の画像にＰＯＣアライメント操作を実行するか否かを指示する請求項１に記載の方法。

【請求項8】

前記マーク及び制御情報が前記コードストリームのメディアファイルにおけるビデオメディアの属性を記述するフィールドに位置して、前記メディアファイルに含まれた前記コードストリームの全部及び／又は一部の画像にＰＯＣアライメント操作を実行するか否かを指示する請求項１に記載の方法。

【請求項9】

前記マーク及び制御情報が、ＰＯＣアライメント操作をオン／オフする開始画像位置情報及び／又はＰＯＣアライメント操作をオン／オフする終止画像位置情報を更に含み、
前記マーク及び制御情報を前記コードストリームに書き込みする前、
予測構造と応用需要に応じて、ＰＯＣアライメント操作をオン／オフする一区間の画像放送順又は画像復号化順に従って連続する画像の開始及び／又は終止位置を確定することを更に含む請求項１乃至８の中のいずれかに記載の方法。

【請求項10】

応用需要に応じて、コードストリームの全部及び／又は一部にビデオ画像番号ＰＯＣアライメント操作を実行する必要があるか否かを判断するように構成される判断手段と、
判断結果に基づいて、マーク及び制御情報を前記コードストリームに書き込みするように構成される書き込み手段と、を含み、前記マーク及び制御情報が、前記コードストリームの全部及び／又は一部にＰＯＣアライメント操作を実行するか否かの指示情報を含むコードストリームの生成装置。

【請求項11】

前記マーク及び制御情報が、ＰＯＣアライメント操作をオン／オフする開始画像位置情報及び／又はＰＯＣアライメント操作をオン／オフする終止画像位置情報を更に含み、
予測構造と応用需要に応じて、ＰＯＣアライメント操作をオン／オフする一区間の画像放送順又は画像復号化順に従って連続する画像の開始及び／又は終止位置を確定するように構成される確定手段を更に含む請求項１０に記載の装置。

【請求項12】

コードストリームから、前記コードストリームの全部及び／又は一部にビデオ画像番号ＰＯＣアライメント操作を実行するか否かの指示情報を含むマーク及び制御情報を取得することと、
前記マーク及び制御情報の指示に応じて、前記コードストリーム中のＰＯＣアライメント操作を実行する必要のある全部及び／又は一部の画像にＰＯＣアライメント操作を実行することと、を含み、
前記マーク及び制御情報が前記コードストリーム中のパラメーター集合が位置するフィールドに位置して、前記コードストリーム中の前記マーク及び制御情報が位置するパラメーター集合を使用した全部及び／又は一部の画像にＰＯＣアライメント操作を実行するか否かを指示し、
前記パラメーター集合が、ビデオパラメーター集合ＶＰＳ、シーケンスパラメーター集合ＳＰＳ、画像パラメーター集合ＰＰＳの中の少なくとも一つを含むコードストリームの処理方法。

【請求項13】

複数の前記パラメーター集合にいずれもＰＯＣアライメント操作の実行を指示するマーク及び制御情報が含まれていると、パラメーター集合間の引用関係に基づいて、現在のパラメーター集合中のＰＯＣアライメント操作を実行するか否かを指示するマーク及び制御情報で直接及び／又は間接的に引用されたパラメーター集合中の対応するＰＯＣアライメント操作を実行するか否かを指示するマーク及び制御情報をカバーする請求項１２に記載の方法。

【請求項14】

前記マーク及び制御情報が前記コードストリーム中のパラメーター集合のフィールド以外のその他の少なくとも画像レイヤに作用するデータ構造に対応するフィールドに位置して、前記コードストリームの前記データ構造の有効作用範囲内の全部及び／又は一部の前記画像にＰＯＣアライメント操作を実行するか否かを指示する請求項１２に記載の方法。

【請求項15】

前記マーク及び制御情報が前記コードストリーム中の強化補助情報ＳＥＩが位置するフィールドに位置して、前記強化補助情報ＳＥＩの有効範囲内の前記コードストリーム中の全部及び／又は一部の画像にＰＯＣアライメント操作を実行するか否かを指示する請求項１２に記載の方法。

【請求項16】

前記マーク及び制御情報が前記コードストリームのシステムレイヤにおけるビデオメディアの属性を記述するフィールドに位置して、システムコードストリームに含まれた前記コードストリームの全部及び／又は一部の画像にＰＯＣアライメント操作を実行するか否かを指示する請求項１２に記載の方法。

【請求項17】

前記マーク及び制御情報が前記コードストリームのメディアファイル中のビデオメディアの属性を記述するフィールドに位置して、前記メディアファイルに含まれた前記コードストリームの全部及び／又は一部の画像にＰＯＣアライメント操作を実行するか否かを指示する請求項１２に記載の方法。

【請求項18】

前記マーク及び制御情報の指示に応じて、前記コードストリーム中のＰＯＣアライメント操作を実行する必要のある画像にＰＯＣアライメント操作を実行することが、
前記マーク及び制御情報が位置するフィールドの有効範囲及び前記マーク及び制御情報の値に基づいて、前記コードストリーム中のＰＯＣアライメント操作をオン／オフする画像を確定することと、
ＰＯＣアライメント操作をオンする画像にＰＯＣアライメント操作を実行することと、を含む請求項１２に記載の方法。

【請求項19】

コードストリームから、前記コードストリームの全部及び／又は一部にビデオ画像番号ＰＯＣアライメント操作を実行するか否かの指示情報を含むマーク及び制御情報を取得するように構成される取得手段と、
前記マーク及び制御情報の指示に応じて、前記コードストリーム中のＰＯＣアライメント操作を実行する必要のある全部及び／又は一部の画像にＰＯＣアライメント操作を実行するように構成される実行手段と、を含み、
前記マーク及び制御情報が前記コードストリーム中のパラメーター集合が位置するフィールドに位置して、前記コードストリーム中の前記マーク及び制御情報が位置するパラメーター集合を使用した全部及び／又は一部の画像にＰＯＣアライメント操作を実行するか否かを指示し、
前記パラメーター集合が、ビデオパラメーター集合ＶＰＳ、シーケンスパラメーター集合ＳＰＳ、画像パラメーター集合ＰＰＳの中の少なくとも一つを含むコードストリームの処理装置。

【請求項20】

前記実行手段が、
前記マーク及び制御情報が位置するフィールドの有効範囲及び前記マーク及び制御情報の値に基づいて、前記コードストリーム中のＰＯＣアライメント操作をオン／オフする画像を確定するように構成される確定手段と、
ＰＯＣアライメント操作をオンする画像にＰＯＣアライメント操作を実行するように構成される制御手段と、を含む請求項１９に記載の装置。

【請求項21】

請求項１０又は１１に記載の装置を含むソースデバイスと、
請求項１９又は２０に記載の装置を含むシンクデバイスと、を含むコードストリームを使用した通信システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像伝送技術分野に関し、特に、コードストリームの生成と処理方法、装置及びシステムに関する。

【背景技術】

【0002】

現在制定中の高効率ビデオ符号化（Ｈ．２６５／Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ）標準互換性に基づく三次元ビデオ（Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｖｉｄｅｏ、３ＤＶ）符号化標準ＭＶ−ＨＥＶＣ（ＨＥＶＣ Ｍｕｌｔｉ−ｖｉｅｗ ｖｉｄｅｏ ｃｏｄｉｎｇ ｅｘｔｅｎｓｉｏｎ ｆｒａｍｅｗｏｒｋ）、３Ｄ−ＨＥＶＣ（３Ｄ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、スケーラブルビデオ符号化（Ｓｃａｌａｂｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）において、統一な高層構造設計を用いている。当該統一な設計構造は、「マルチレイヤビデオ符号化」の概念に基づいて、ＭＶ−ＨＥＶＣ や３Ｄ−ＨＥＶＣのテクスチャコンポーネント（Ｔｅｘｔｕｒｅ Ｃｏｍｐｏｎｅｎｔ）とデプスコンポーネント（Ｄｅｐｔｈ Ｃｏｍｐｏｎｅｎｔ）、スケーラブル符号化の異なるスケーラブルレイヤをいずれも抽象的に「レイヤ（Ｌａｙｅｒ）」とし、レイヤ識別子（Ｌａｙｅｒ Ｉｄ）で異なる視点とスケーラブルレイヤを表す。現在、既に発布されたＨ．２６５／ＨＥＶＣ 標準は、「Ｈ．２６５／ＨＥＶＣ Ｖｅｒｓｉｏｎ １」標準と呼ばれている。

【0003】

マルチレイヤビデオの符号化において、同時刻に取得したビデオ画像及びそれに対応する符号化ビットにより１つのアクセスユニット（Ａｃｃｅｓｓ Ｕｎｉｔ、ＡＵ）を構成する。同一のＡＵにおいて、各レイヤ画像は異なる符号化方法を用いることができる。これにより、同一のＡＵにおいて、あるレイヤの画像をランダムポイントのフレーム内符号化ランダムアクセス（Ｉｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ、ＩＲＡＰ）画像とすることができ、その他の１つ又は複数のレイヤは普通のフレーム間、レイヤ間の予測符号化画像である。実際の応用において、異なるレイヤは、ネットワークの伝送状況、ビデオコンテンツの変更状況等に応じて、各自のＩＲＡＰ画像挿入戦略を選択する。例えば、Ｈ．２６５／ＨＥＶＣ との互換性を有する基本レイヤビデオ画像について、頻度の高いＩＲＡＰ画像挿入戦略を採用することができ、強化レイヤビデオ画像は頻度の低いＩＲＡＰ画像挿入戦略を採用することができる。これにより、このようなレイヤごと（ｌａｙｅｒ−ｗｉｓｅ）アクセスするマルチレイヤビデオ符号化構造によって、大きいコードレートの激増が発生した場合、マルチレイヤビデオ符号化コードストリームのランダムアクセス性能を保証できる。

【0004】

マルチレイヤビデオ符号化コードストリームについて、その基本レイヤ（Ｂａｓｅ Ｌａｙｅｒ、ＢＬ）のコードストリームはＨ．２６５／ＨＥＶＣ Ｖｅｒｓｉｏｎ １標準の規範に符合しなければならない。即ち、マルチレイヤビデオ符号化コードストリームは、Ｈ．２６５／ＨＥＶＣ Ｖｅｒｓｉｏｎ １標準に従って設計されたデコーダーが正確に復号化してマルチレイヤビデオ符号化コードストリームからＢＬコードストリームを抽出できるように保証しなければならない。特に、ＭＶ−ＨＥＶＣ と３Ｄ−ＨＥＶＣ の場合、ＢＬは基本視点（Ｂａｓｅ Ｖｉｅｗ）又は独立視点（Ｉｎｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ）に対応し、ＥＬは強化視点（Ｅｎｈａｎｃｅｍｅｎｔ Ｖｉｅｗ）又は非独立視点（Ｄｅｐｅｎｄｅｎｔ Ｖｉｅｗ）に対応する。実際の応用において、マルチレイヤビデオ符号化コードストリームを抽出する方法によって、伝統的な二次元ＴＶ放送のみに用いられる基本視点コードストリーム、三次元立体表示を支援する双視点コードストリーム及び一層豊かな三次元立体表示を支援する多視点コードストリームを取得することができる。

【0005】

Ｈ．２６５／ＨＥＶＣ Ｖｅｒｓｉｏｎ １標準において、ＩＲＡＰ画像のタイプは、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ Ｄｅｃｏｄｉｎｇ Ｒｅｆｒｅｓｈ）画像、ＢＬＡ（Ｂｒｏｋｅｎ Ｌｉｎｋ Ａｃｃｅｓｓ）画像、ＣＲＡ（Ｃｌｅａｎ Ｒａｎｄｏｍ Ａｃｃｅｓｓ）画像の３種類がある。当該３種類の画像はいずれもフレーム内（Ｉｎｔｒａ）符号化方式で符号化を行っていて、その復号化はその他の画像に依存しない。当該３種類の画像タイプの違いは、ビデオ画像番号（Ｐｉｃｔｕｒｅ Ｏｒｄｅｒ Ｃｏｕｎｔ、ＰＯＣ）と復号化画像バッファ領域（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ、ＤＰＢ）についての操作にある。

【0006】

ＰＯＣは、Ｈ．２６５／ＨＥＶＣ Ｖｅｒｓｉｏｎ １における画像放送順を示す番号である。Ｈ．２６５／ＨＥＶＣ Ｖｅｒｓｉｏｎ １標準によると、画像のＰＯＣ値は二つの部分で構成される。ＰｉｃＯｒｄｅｒＣｎｔＶａｌで画像のＰＯＣ値を表すと、ＰｉｃＯｒｄｅｒＣｎｔＶａｌ＝ＰｉｃＯｒｄｅｒＣｎＭｓｂ＋ＰｉｃＯｒｄｅｒＣｎＬｓｂである。ここで、ＰｉｃＯｒｄｅｒＣｎＭｓｂは、画像ＰＯＣ値のＭＳＢ（Ｍｏｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）値であって、ＰｉｃＯｒｄｅｒＣｎＬｓｂは画像ＰＯＣ値のＬＳＢ（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）である。通常、ＰｉｃＯｒｄｅｒＣｎＭｓｂの値は、復号化順に従って現在の画像の前のＴｅｍｐｏｒａｌＩｄが０である画像のＰｉｃＯｒｄｅｒＣｎＭｓｂの値に等しく、ＰｉｃＯｒｄｅｒＣｎＬｓｂの値はスライス（ｓｌｉｃｅ）ヘッダ情報中のｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂフィールドの値に等しい。ｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂフィールドのビット数は、シーケンスパラメーター集合（Ｓｅｑｕａｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＳＰＳ）中のｌｏｇ２＿ｍａｘ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ＿ｍｉｎｕｓ４により確定され、必要なビット数は、ｌｏｇ２＿ｍａｘ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂ＿ｍｉｎｕｓ４＋４に等しい。

【0007】

Ｈ．２６５／ＨＥＶＣ Ｖｅｒｓｉｏｎ １において、現在の画像がＩＤＲ画像であると、ＰｉｃＯｒｄｅｒＣｎＭｓｂの値は０に設定され、スライスヘッダ情報にｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂフィールドを含まなく、ＰｉｃＯｒｄｅｒＣｎＬｓｂの値が０であると認定する。現在の画像がＢＬＡ画像であると、ＰｉｃＯｒｄｅｒＣｎＭｓｂの値は０に設定され、スライスヘッダ情報にｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂフィールドを含んで、ＰｉｃＯｒｄｅｒＣｎＬｓｂの値を確定する。現在の画像がＣＲＡ画像であって、且つフラグＨａｎｄｌｅＣｒａＡｓＢｌａＦｌａｇの値が０であると、通常の方法でＰＯＣを計算する。現在の画像がＣＲＡ画像であって、且つフラグＨａｎｄｌｅＣｒａＡｓＢｌａＦｌａｇの値が１であると、ＢＬＡ画像の方法で該ＣＲＡ画像のＰＯＣ値を計算する。

【0008】

尚、マルチレイヤビデオ符号化標準において、画像タイプや強化レイヤ（Ｅｎｈａｎｃｅｍｅｎｔ Ｌａｙｅｒ、ＥＬ）のスライスヘッダ情報には終始ｓｌｉｃｅ＿ｐｉｃ＿ｏｒｄｅｒ＿ｃｎｔ＿ｌｓｂフィールドが含まれている。

【0009】

これに基づいて、マルチレイヤビデオ符号化コードストリームについて、ＤＰＢ制御中に同時刻の画像を検出するとともに、デコーダーがＰＯＣ値を用いてコードストリームから各ＡＵの開始／終止位置を簡単に確定するように保証するため、ＡＵ中の全ての画像がいずれも同一なＰＯＣ値を有することを求めている。ｌａｙｅｒ−ｗｉｓｅの符号化構造について、ＡＵに同時にＩＲＡＰ画像と非ＩＲＡＰ画像が含まれている可能性がある。これにより、ＩＲＡＰ画像がＩＤＲ画像とＢＬＡ画像であると、該ＡＵに含まれる画像のＰＯＣ値は異なる。よって、ｌａｙｅｒ−ｗｉｓｅ構造である時、ＡＵ中の各画像が同一なＰＯＣを有するように、マルチレイヤビデオ符号化標準にＰＯＣアライメント（ＰＯＣ Ａｌｉｇｎｍｅｎｔ）機能を設計しなければならない。

【0010】

当該問題を解決するため、ＪＣＴ−ＶＣ標準会議提案であるＪＣＴＶＣ−ＮＯ２４４にて、ＰＯＣアライメント方法を提起した。該方法は、スライスヘッダ情報中の予備ビットを利用して、長さが１ビットであるｐｏｃ＿ｒｅｓｅｔ＿ｆｌａｇフィールドを追加することである。当該フィールドの値が１である時、まず通常の方法で画像ＰＯＣ値の復号化を行い、その後、ＤＰＢ中の同一レイヤ（ＢＬを含む）中の画像のＰＯＣ値をその前に計算して得たＰＯＣ値を減少し（即ち、ＰＯＣ平行移動操作）、最後に該スライスが位置する画像のＰＯＣ値を０に設定する。

【0011】

該方法の最も主要な問題点は、そのＢＬコードストリームがＨ．２６５／ＨＥＶＣ Ｖｅｒｓｉｏｎ １標準との互換性を有しない、即ち、Ｈ．２６５／ＨＥＶＣ Ｖｅｒｓｉｏｎ １標準に符合するデコーダーが復号化してマルチレイヤビデオ符号化コードストリームからＢＬコードストリームを抽出して得るように保証することができないことである。

【0012】

該互換性問題を解決するため、ＪＣＴ−ＶＣ会議提案ＪＣＴＶＣ−Ｏ０１４０とＪＣＴＶＣ−Ｏ０２１３において、ＪＣＴＶＣ−Ｎ０２４４に基づいて、ＰＯＣアライメントが必要である時、ＰＯＣ中のＭＳＢのみを０に設定することを提起した。更に、再設定ＰＯＣ値を携帯したフラグのスライスのロスやフレームレートの異なる応用状況に対応できるように、ＪＣＴＶＣ−Ｏ０２１３にＰＯＣアライメントの遅延操作選択肢を追加した。ＪＣＴＶＣ−Ｏ０１７６において、ＩＤＲ画像である時、明示的なスライスヘッドフラグを利用するのではなく、直接にＰＯＣアライメントを行い、また、ＢＬコードストリームのＩＤＲ画像スライスヘッドに予備ビットを追加して、該画像がＣＲＡ画像であってＩＤＲ画像ではない時のＰＯＣ値を計算することが提起され、該計算によって得られたＰＯＣ値はＥＬレイヤＤＰＢに記憶された画像のＰＯＣ平行移動操作に利用される。ＪＣＴＶＣ−Ｏ０２７５において、ｌａｙｅｒ ＰＯＣの概念が提起され、ＥＬレイヤ画像について、２セットの異なるＰＯＣを維持する。ここで、Ｌａｙｅｒ ＰＯＣはＰＯＣアライメント条件を利用せずに得たＰＯＣ値であって、該値は参照画像セット（Ｒｅｆｅｒｅｎｃｅ Ｐｉｃｔｕｒｅ Ｓｅｔ、ＲＰＳ）等の復号化アルゴリズムに関連する操作に用いられる。その他の１セットは、ＰＯＣアライメント処理を経たＰＯＣで、該ＰＯＣは同一のＡＵ中のＢＬ画像のＰＯＣ値と一致し、該ＰＯＣ値は画像の出力、放送プロセスの制御に用いられる。ＪＣＴＶＣ−Ｏ０２７５に提起された方法によると、ＰＯＣアライメントを行う時、ＢＬの情報を使用し、且つ、ＰＯＣアライメントのトリガーに、エンコーダエンコーダ／デコーダーの内部で維持している変数フラグを利用し、該フラグの値はＢＬレイヤの画像タイプと関連つけられる。

【0013】

マルチレイヤビデオの場合、同一のＡＵ中に含まれたレイヤの画像が同一なＰＯＣ値を有するように、殆どがＰＯＣアライメントを行って、画像出力の制御、ＡＵ境界検出等の操作の便宜を図るべきである。しかしながら、一部の応用において、ＰＯＣアライメントを行う必要がない。例えば、非連携の連続放送（ｕｎｃｏｏｒｄｉｎａｔｅｄ ｓｉｍｕｌｃａｓｔ）において、ある時間区間においてＢＬ又は単独のあるＥＬレイヤのビデオコードストリームのみを適用する場合、当該コードストリーム中にＰＯＣアライメントを使用する必要がない。連続放送するコードストリームに抽出、編集、再構築を行う時、コードストリームが発生する過程にもＰＯＣアライメントを使用する必要がない。そして、ハイブリッドスケーラブルビデオ符号化（ｈｙｂｒｉｄ ｓｃａｌａｂｌｅ ｖｉｄｅｏ ｃｏｄｉｎｇ）の場合、そのＢＬとＥＬは異なるビデオ符号化標準に従って符号化を行い、異なる符号化標準にて異なるＰＯＣシステムとＰＯＣに基づく画像出力制御操作方式を利用するので、ハイブリッドスケーラブルビデオ符号化においてもＰＯＣアライメント操作を使用する必要がない。そして、マルチレイヤビデオ符号化コードストリームの場合、システムレイヤ又はメディアファイルのパッケージング時に追加した時間標記情報によって、同時刻に収集された画像の放送時間上のアライメントを実現することができ、この時、ビデオコードストリームにＰＯＣアライメントを行う必要がない。

【0014】

このように、ＪＣＴＶＣ−Ｎ０２４４がＢＬ情報又は予測構造情報に示唆されたものから推定してＰＯＣアライメント操作を実行する方法において明示的なＰＯＣアライメント操作フラグは使用しない。予測構造が一定の条件を満たす時、ＰＯＣアライメント操作を実行する。ＰＯＣアライメント操作が必要でない時、ＰＯＣアライメント操作の一部及び／又は全部を閉じることができない。

【発明の概要】

【発明が解決しようとする課題】

【0015】

既存技術における上記問題に対し、本発明は、少なくとも上記問題を解決できるコードストリームの生成と処理方法、装置及びシステムを提供する。

【課題を解決するための手段】

【0016】

本発明の一実施例によると、応用需要に応じて、コードストリームの全部及び／又は一部にビデオ画像番号ＰＯＣアライメント操作を実行する必要があるか否かを判断することと、判断結果に基づいて、マーク及び制御情報を前記コードストリームに書き込みすることと、を含み、ここで、前記マーク及び制御情報が、前記コードストリームに全部及び／又は一部のＰＯＣアライメント操作を実行するか否かを示す指示情報を含むコードストリームの生成方法を提供する。

【0017】

前記マーク及び制御情報が前記コードストリーム中のパラメーター集合が位置するフィールドに位置して、前記コードストリーム中の前記マーク及び制御情報が位置するパラメーター集合を使用した全部及び／又は一部の画像にＰＯＣアライメント操作を実行するか否かを指示することが好ましい。

【0018】

前記パラメーター集合が、ビデオパラメーター集合ＶＰＳ、シーケンスパラメーター集合ＳＰＳ、画像パラメーター集合ＰＰＳの中の少なくとも１つを含むことが好ましい。

【0019】

複数の前記パラメーター集合にいずれもＰＯＣアライメント操作を実行するか否かを指示するマーク及び制御情報が含まれていると、パラメーター集合間の引用関係に基づいて、現在のパラメーター集合中のＰＯＣアライメント操作を実行するか否かを指示するマーク及び制御情報で直接及び／又は間接的に引用されたパラメーター集合中の対応するＰＯＣアライメント操作を実行するか否かを指示するマーク及び制御情報をカバーすることが好ましい。

【0020】

前記マーク及び制御情報が前記コードストリーム中のパラメーター集合のフィールド以外のその他の少なくとも画像レイヤに作用するデータ構造に対応するフィールドに位置して、前記コードストリームの前記データ構造の有効作用範囲内の全部及び／又は一部の画像にＰＯＣアライメント操作を実行するか否かを指示することが好ましい。

【0021】

前記マーク及び制御情報が前記コードストリーム中の補充強化補助情報ＳＥＩが位置するフィールドに位置して、該ＳＥＩ情報有効範囲内の前記コードストリーム中の全部及び／又は一部の画像にＰＯＣアライメント操作を実行するか否かを指示することが好ましい。

【0022】

前記マーク及び制御情報が前記コードストリームのシステムレイヤにおけるビデオメディアの属性を記述するフィールドに位置して、システムコードストリームに含まれた前記コードストリームの全部及び／又は一部の画像にＰＯＣアライメント操作を実行するか否かを指示することが好ましい。

【0023】

前記マーク及び制御情報が前記コードストリームのメディアファイルにおけるビデオメディアの属性を記述するフィールドに位置して、前記メディアファイルに含まれた前記コードストリームの全部及び／又は一部の画像にＰＯＣアライメント操作を実行するか否かを指示することが好ましい。

【0024】

前記マーク及び制御情報が、ＰＯＣアライメント操作をオン／オフする開始画像位置情報及び／又はＰＯＣアライメント操作をオン／オフする終止画像位置情報を更に含み、前記マーク及び制御情報を前記コードストリームに書き込みする前、予測構造と応用需要に応じて、ＰＯＣアライメント操作をオン／オフする一区間の画像放送順又は画像復号化順に従って連続する画像の開始及び／又は終止位置を確定することを更に含むことが好ましい。

【0025】

本発明の他の一実施例によると、応用需要に応じて、コードストリームの全部及び／又は一部にビデオ画像番号ＰＯＣアライメント操作を実行する必要があるか否かを判断するように構成される判断手段と、判断結果に基づいて、マーク及び制御情報を前記コードストリームに書き込みするように構成される書き込み手段と、を含み、前記マーク及び制御情報が、前記コードストリームの全部及び／又は一部にＰＯＣアライメント操作を実行するか否かの指示情報を含むコードストリームの生成装置を提供する。

【0026】

前記マーク及び制御情報が、ＰＯＣアライメント操作をオン／オフする開始画像位置情報及び／又はＰＯＣアライメント操作をオン／オフする終止画像位置情報を更に含み、前記装置が、予測構造と応用需要に応じて、ＰＯＣアライメント操作をオン／オフする一区間の画像放送順又は画像復号化順に従って連続する画像の開始及び／又は終止位置を確定するように構成される確定手段を更に含むことが好ましい。

【0027】

本発明の他の一実施例によると、コードストリームから、前記コードストリームの全部及び／又は一部にビデオ画像序号ＰＯＣアライメント操作を実行するか否かの指示情報を含むマーク及び制御情報を取得することと、前記マーク及び制御情報の指示に応じて、前記コードストリーム中のＰＯＣアライメント操作を実行する必要のある全部及び／又は一部の画像にＰＯＣアライメント操作を実行することと、を含むコードストリームの処理方法を提供する。

【0028】

前記マーク及び制御情報が前記コードストリーム中のパラメーター集合が位置するフィールドに位置して、前記コードストリーム中の前記マーク及び情報が位置するパラメーター集合を使用した全部及び／又は一部の画像にＰＯＣアライメント操作を実行するか否かを指示することが好ましい。

【0029】

前記パラメーター集合が、ビデオパラメーター集合ＶＰＳ、シーケンスパラメーター集合ＳＰＳ、画像パラメーター集合ＰＰＳの中の少なくとも１つを含むことが好ましい。

【0030】

複数の前記パラメーター集合にいずれもＰＯＣアライメント操作の実行を指示するマーク及び制御情報が含まれていると、パラメーター集合間の引用関係に基づいて、現在のパラメーター集合中のＰＯＣアライメント操作を実行するか否かを指示するマーク及び制御情報で直接及び／又は間接的に引用されたパラメーター集合中の対応するＰＯＣアライメント操作を実行するか否かを指示するマーク及び制御情報をカバーすることが好ましい。

【0031】

前記マーク及び制御情報が前記コードストリーム中のパラメーター集合のフィールド以外のその他の少なくとも画像レイヤに作用するデータ構造に対応するフィールドに位置して、前記コードストリームの前記データ構造の有効作用範囲内の全部及び／又は一部の前記画像にＰＯＣアライメント操作を実行するか否かを指示することが好ましい。

【0032】

前記マーク及び制御情報が前記コードストリーム中の強化補助情報ＳＥＩが位置するフィールドに位置して、該ＳＥＩ情報有効範囲内の前記コードストリーム中の全部及び／又は一部の画像にＰＯＣアライメント操作を実行するか否かを指示することが好ましい。

【0033】

前記マーク及び制御情報が前記コードストリームのシステムレイヤにおけるビデオメディアの属性を記述するフィールドに位置して、システムコードストリームに含まれた前記コードストリームの全部及び／又は一部の画像にＰＯＣアライメント操作を実行するか否かを指示することが好ましい。

【0034】

前記マーク及び制御情報が前記マルチレイヤビデオコードストリームのメディアファイル中のビデオメディアの属性を記述するフィールドに位置して、前記メディアファイルに含まれた前記コードストリームの全部及び／又は一部の画像にＰＯＣアライメント操作を実行するか否かを指示することが好ましい。

【0035】

前記マーク及び制御情報の指示に応じて、前記コードストリーム中のＰＯＣアライメント操作を実行する必要のある画像にＰＯＣアライメント操作を実行することが、前記マーク及び制御情報が位置するフィールドの有効範囲及び前記マーク及び制御情報の値に基づいて、前記コードストリーム中のＰＯＣアライメント操作をオン／オフする画像を確定することと、ＰＯＣアライメント操作をオンする画像にＰＯＣアライメント操作を実行することと、を含むことが好ましい。

【0036】

本発明の他の一実施例によると、コードストリームから、前記コードストリームの全部及び／又は一部にビデオ画像番号ＰＯＣアライメント操作を実行するか否かの指示情報を含むマーク及び制御情報を取得するように構成される取得手段と、前記マーク及び制御情報の指示に応じて、前記コードストリーム中のＰＯＣアライメント操作を実行する必要のある全部及び／又は一部の画像にＰＯＣアライメント操作を実行するように構成される実行手段と、を含むコードストリームの処理装置を提供する。

【0037】

前記実行手段が、前記マーク及び制御情報が位置するフィールドの有効範囲及び前記マーク及び制御情報の値に基づいて、前記コードストリーム中のＰＯＣアライメント操作をオン／オフする画像を確定するように構成される確定手段と、ＰＯＣアライメント操作をオンする画像にＰＯＣアライメント操作を実行するように構成される制御手段と、を含むことが好ましい。

【0038】

本発明の他の一実施例によると、上述したコードストリームの生成装置を含むソースデバイスと、上述したコードストリームの処理装置を含むシンクデバイスと、を含むコードストリームを使用した通信システムを提供する。

【発明の効果】

【0039】

本発明によると、コードストリームを生成する時、コードストリームにコードストリームの全部及び／又は一部にＰＯＣアライメント操作を実行する必要があるか否かの指示及び制御情報を書き込みすることで、ＰＯＣアライメント操作の一部及び／又は全部をオフすることができ、コードストリーム制御の柔軟性を向上させる。

【図面の簡単な説明】

【0040】

ここで説明する図面は本発明を一層理解させるためのもので、本願の一部を構成し、本発明に示す実施例及びその説明は本発明を解釈するもので、本発明を限定するものではない。

【図1】本発明の実施例に係るコードストリームの生成方法１００を示すフローチャートである。

【図2】本発明の実施例に係るコードストリームの生成装置２００の構造を示す図である。

【図3】本発明の実施例に係るコードストリームの処理方法３００を示すフローチャートである。

【図4】本発明の実施例に係るコードストリームの処理装置４００の構造を示す図である。

【図5】本発明の実施例に係るコードストリームを使用した通信システム５００の構造を示す図である。

【発明を実施するための形態】

【0041】

以下、図面を参照しつつ実施例を結合して本発明を詳しく説明する。尚、矛盾しない限り、本願の実施例及び実施例中の特徴を組み合せることができる。

【0042】

ＰＯＣアライメントが必要である場合、エンコーダは既存のＰＯＣアライメント方法でマルチレイヤビデオ符号化コードストリームを生成することができ、デコーダーは既存技術におけるＰＯＣアライメント方法に対応する復号化方法で現在の画像のＰＯＣ値を取得することができる。一部の応用において、ＰＯＣアライメントを必要としない。例えば、非連携の連続放送、ハイブリッドスケーラブルビデオ符号化等の応用に置いて必要としない。

【0043】

よって、本発明の実施例において、マルチレイヤビデオエンコーダ／デコーダーとコードストリームの柔軟性を向上させて様々な応用需要に適応するため、マルチレイヤビデオ符号化の高レイヤのデータのプロセスにおいて、ＰＯＣアライメント操作に対するマーク情報及び対応する操作を増加する。

【0044】

尚、本発明の実施例において、ソースデバイスはエンコーダを含み、マルチレイヤビデオ符号化コードストリームを生成することができ且つ必要なファイル、システムレイヤの処理を行うデバイスを指し、シンクデバイスはデコーダーを含み、必要なファイル、システムレイヤの処理を行い、マルチレイヤビデオ符号化コードストリームの復号化を行うことのできるデバイスを指す。

【0045】

（実施例１）
本発明の実施例によると、コードストリームの生成方法を提供する。

【0046】

図１は本発明の実施例に係るコードストリームの生成方法１００を示すフローチャートである。図１に示すように、本発明の実施例に係るコードストリームの生成方法は、ステップＳ１０２とＳ１０４を含む。ステップＳ１０２において、応用需要（例えば、全部レイヤ又は複数のレイヤの画像に同時に復号化を行って出力するか否か）に応じて、コードストリームの全部及び／又は一部にＰＯＣアライメント操作を実行するか否かを判断する。その後、ステップＳ１０４において、判断結果に基づいて、マーク及び制御情報をコードストリームに書き込みし、ここで、該マーク及び制御情報はコードストリームの全部及び／又は一部にＰＯＣアライメント操作を実行する指示情報を含む。

【0047】

具体的な実施において、ソースデバイスは、コードストリームを伝送する必要がある時、上記ステップＳ１０２とステップＳ１０４を実行し、伝送するコードストリームにＰＯＣアライメント操作マーク及び制御情報を書き込みすることができる。

【0048】

本発明の実施例において、前記コードストリームはマルチレイヤビデオコードストリームであることができ、システムレイヤ上のその他のコードストリームであることもでき、本発明の実施例においては具体的に限定しない。

【0049】

上記ステップＳ１０２〜Ｓ１０４によって、応用の需要に応じて、マルチレイヤビデオ符号化の高レイヤのデータのプロセスにおいて、ＰＯＣアライメント操作に対するマーク及び制御情報と対応する操作を増加して、マルチレイヤビデオエンコーダ／デコーダーとコードストリームの柔軟性を向上させることができる。

【0050】

本発明の実施例において、上記マーク及び制御情報をコードストリームの異なる位置に書き込みすることで、該マーク及び制御情報の作用範囲を表すことができる。本発明の実施例において、上記マーク及び制御情報はコードストリーム中の、ビデオコードストリーム中の既存のパラメーター集合フィールドと、ビデオコードストリーム中のパラメーター集合以外のその他の少なくとも画像レイヤに作用するデータ構造に対応するフィールドと、ビデオコードストリーム中の強化補助情報（ＳＥＩ）が位置するフィールドと、システムレイヤにおけるビデオメディアの属性を記述するフィールドと、メディアファイル中のビデオメディアの属性を記述するフィールドの中の少なくとも１つに位置することができる。

【0051】

また、本発明の実施例において、上記マーク及び制御情報は以下の方式でＰＯＣアライメント操作を実行するか否かを指示することができる：
（１）上記マーク及び制御情報がコードストリーム中のパラメーター集合が位置するフィールドに位置して、コードストリーム中のマーク及び制御情報が位置するパラメーター集合を使用した画像レイヤにＰＯＣアライメント操作を実行するか否かを指示することができる。ここで、パラメーター集合はビデオパラメーター集合、シーケンスパラメーター集合、画像パラメーター集合の中の少なくとも１つを含むことができる。例えば、マーク及び制御情報がビデオパラメーター集合（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＶＰＳ）に位置すると、該マーク及び制御情報の制御範囲はマルチレイヤビデオの全部の画像レイヤであって、マーク及び制御情報がシーケンスパラメーター集合（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＳＰＳ）に位置すると、該マーク及び制御情報の制御範囲は該ＳＰＳを使用したマルチレイヤビデオの画像レイヤであって、マーク及び制御情報が画像パラメーター集合（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＰＰＳ）に位置すると、該マーク及び制御情報の制御範囲は該ＰＰＳを使用したマルチレイヤビデオの画像レイヤである。

【0052】

このような場合、複数の前記パラメーター集合にいずれもＰＯＣアライメント操作を実行するか否かを指示するマーク及び制御情報が含まれていると、パラメーター集合間の引用関係に基づいて、現在のパラメーター集合中のＰＯＣアライメント操作を実行するか否かを指示するマーク及び制御情報で直接及び／又は間接的に引用されたパラメーター集合中の対応するＰＯＣアライメント操作を実行するか否かを指示するマーク及び制御情報をカバーする。

【0053】

（２）上記マーク及び制御情報が前記コードストリーム中のパラメーター集合のフィールド以外のその他の少なくとも画像レイヤに作用するデータ構造に対応するフィールドに位置して、前記コードストリームの前記データ構造が作用する画像レイヤにＰＯＣアライメント操作を実行するか否かを指示する。ここで、該データ構造の作用範囲は少なくとも１つの画像（フレーム画像及び／又はフィールド画像）を含む。

【0054】

（３）上記マーク及び制御情報がコードストリーム中の補充強化情報（Ｓｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩ）に位置して、該ＳＥＩ情報の有効範囲内の前記コードストリーム中の画像にＰＯＣアライメント操作を実行するか否かを指示する。

【0055】

（４）上記マーク及び制御情報が前記コードストリームのシステムレイヤにおけるビデオメディアの属性を記述するフィールド、即ちシステムレイヤ記述子（Ｄｅｓｃｒｉｐｔｏｒ）に位置して、システムコードストリームに含まれた前記コードストリームの全部及び／又は一部の画像にＰＯＣアライメント操作を実行するか否かを指示する。

【0056】

（５）上記マーク及び制御情報が前記マルチレイヤビデオコードストリームのメディアファイル中のビデオメディアの属性を記述するフィールド、即ちファイル記述子（Ｄｅｓｃｒｉｐｔｏｒ）に位置して、前記メディアファイルに含まれたコードストリームの全部と一部にＰＯＣアライメント操作を実行するか否かを指示する。

【0057】

上記マーク及び制御情報は同時に上述した複数の位置に位置して、同時に複数の範囲内の画像にＰＯＣアライメント操作を実行するか否かを指示することもできる。

【0058】

本発明の実施例において、上記マーク及び制御情報は、ＰＯＣアライメント操作をオン／オフする開始画像位置情報及び／又はＰＯＣアライメント操作をオン／オフする終止画像位置情報を更に含むこともできる。すると、図１に示すように、ステップＳ１０４の前、方法１００は、予測構造と応用需要に応じて、ＰＯＣアライメント操作をオン／オフする一区間の画像放送順又は画像復号化順に従って連続する画像の開始及び／又は終止位置を確定する（ステップＳ１０３）ことを更に含むことができる。

【0059】

本発明の実施例において、上記マーク及び制御情報をコードストリームに書き込みした後、該コードストリームを伝送することができ、受信側（シンクデバイスとも呼ばれる）が該マルチレイヤビデオコードストリームを受信し、前記マルチレイヤビデオコードストリームから前記マーク及び制御情報を取得し、前記マーク及び制御情報の指示に応じて、マルチレイヤビデオコードストリームに復号化操作及び／又は放送操作を実行することもできる。例えば、上記マーク及び制御情報に基づいて、ＰＯＣアライメント操作をオン／オフするコードストリームを確定し、復号化及び／又は放送時に、ＰＯＣアライメント操作をオンするコードストリームにＰＯＣアライメントを実行する。

【0060】

（実施例２）
本発明の実施例によると、コードストリームの生成装置を提供し、該装置は実施例１で提供する方法を実施するためのものである。

【0061】

図２は本発明の実施例に係るコードストリームの生成装置２００の構造を示す図で、図２に示すように、生成装置２００は、判断手段２０２と書き込み手段２０４とを含むことができる。ここで、図２に示す各手段の接続関係は例示的なもので、当業者であれば他の接続関係を採用することができ、このような接続関係で各手段が本発明を実現する機能を果たすことができればよい。

【0062】

本明細書において、各手段の機能を専用ハードウェア又は適切なソフトウェアと結合して処理を実行することのできるハードウェアで実現することができる。このようなハードウェア又は専用ハードウェアは、専用集積回路（ＡＳＩＣ）、各種の他の回路、各種のプロセッサ等を含むことができる。プロセッサで実現する時、該機能を単一の専用プロセッサ、単一の共有プロセッサ又は複数の独立したプロセッサ（その中の一部が共有される可能性もある）によって提供することができる。そして、プロセッサをソフトウェアを実行可能なハードウェアのみを指すと理解されるべきではなく、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するための読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、不揮発性メモリを含むがこれに限定されることはない。

【0063】

本発明の実施例において、判断手段２０２は、応用需要に応じて、コードストリームの全部及び／又は一部にビデオ画像番号ＰＯＣアライメント操作を実行する必要があるか否かを判断するように構成される。書き込み手段２０４は、判断手段２０２の判断結果に基づいて、前記マルチレイヤビデオコードストリームの全部及び／又は一部にＰＯＣアライメント操作を実行するか否かの指示情報を含むマーク及び制御情報をコードストリームに書き込みするように構成される。

【0064】

上記実施例１に対応して、書き込み手段２０４は、マルチレイヤビデオコードストリームの異なる位置に上記マーク及び制御情報を書き込みすることで、マルチレイヤビデオコードストリームの全部及び／又は一部でＰＯＣアライメント操作のオン又はオフするか否かを指示することができる。具体的な説明は省略する。

【0065】

上記マーク及び制御情報は、ＰＯＣアライメント操作をオン／オフする開始画像位置情報及び／又はＰＯＣアライメント操作をオン／オフする終止画像位置情報を更に含むことができ、この場合、図２に示すように、装置２００は、予測構造と応用需要に応じて、ＰＯＣアライメント操作をオン／オフする一区間の画像放送順又は画像復号化順に従って連続する画像の開始及び／又は終止位置を確定するように構成される確定手段２０６を更に含むことができる。

【0066】

該装置は、前記マーク及び制御情報が書き込みされた前記コードストリームを出力するように構成される出力手段を更に含むこともできる。

【0067】

本実施例の装置は、ビデオ通信応用中に関連するコードストリームを生成するデバイスであることができ、例えば、携帯電話、コンピューター、サーバ、セットトップボックス、携帯型移動端末、デジタル撮像装置，ＴＶ放送システムデバイス等であることができる。該装置はソースデバイスに位置することができ、該出力装置は、スケーラブルビデオ、多視点ビデオ、多視点深度、多視点ビデオ＋多視点深度の中の少なくとも１種のマルチレイヤビデオ信号を処理することができる。ここで、立体ビデオは多視点ビデオの中の視点数が２である特別な形式である。

【0068】

（実施例３）
上記実施例１で提供した方法に対応して、本発明の実施例によると更に、コードストリームの処理方法を提供し、上記生成されたコードストリームを処理する。

【0069】

図３は本発明の実施例に係るコードストリームの処理方法３００を示すフローチャートで、図３に示すように、本発明の実施例に係るマルチレイヤビデオコードストリームの処理方法３００は主に、ステップＳ３０２とステップＳ３０４を含む。ステップＳ３０２において、コードストリームから、コードストリームの全部及び／又は一部にビデオ画像序号ＰＯＣアライメント操作を実行するか否かの指示情報を含むマーク及び制御情報を取得する。その後、ステップＳ３０４において、上記マーク及び制御情報の指示に基づいて、コードストリーム中のＰＯＣアライメント操作を実行する必要のある部分にＰＯＣ操作を実行する。

【0070】

本実施例において、上記実施例１に対応して、上記マーク及び制御情報はコードストリームの複数のフィールドに位置して、マーク及び制御情報の有効範囲を指示することができ、具体的には実施例１を参照することができ、本実施例中では詳細な説明を省略する。

【0071】

上記実施例１に対応して、マーク及び制御情報をコードストリームの異なる位置に書き込みすることで、コードストリームの異なる部分にＰＯＣアライメント操作を実行するか否かを指示することができ、ステップＳ３０４は、前記マーク及び制御情報が位置するフィールドの有効範囲及び前記マーク及び制御情報の値に基づいて、前記コードストリーム中のＰＯＣアライメント操作をオン／オフする画像を確定することと、ＰＯＣアライメント操作をオンする画像にＰＯＣアライメントを実行することと、を含むことができる。

【0072】

（実施例４）
本発明の実施例によると更に、コードストリームの処理装置を提供し、該装置は実施例３で提供した方法を実施するためのものである。

【0073】

図４は本発明の実施例に係るコードストリームの処理装置４００の構造を示す図で、図４に示すように、処理装置４００は主に、取得手段４０２と実行手段４０４とを含む。ここで、図４に示す各手段の接続関係は例示的なもので、当業者であれば他の接続関係を採用することができ、このような接続関係で各手段が本発明を実現する機能を果たすことができればよい。

【0074】

本明細書において、各手段の機能を専用ハードウェア又は適切なソフトウェアと結合して処理を実行することのできるハードウェアで実現することができる。このようなハードウェア又は専用ハードウェアは、専用集積回路（ＡＳＩＣ）、各種の他の回路、各種のプロセッサ等を含むことができる。プロセッサで実現する時、該機能を単一の専用プロセッサ、単一の共有プロセッサ又は複数の独立したプロセッサ（その中の一部が共有される可能性もある）によって提供することができる。そして、プロセッサをソフトウェアを実行可能なハードウェアのみを指すと理解されるべきではなく、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ソフトウェアを記憶するための読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、不揮発性メモリを含むがこれに限定されることはない
本発明の実施例において、取得手段４０２はコードストリームから、マルチレイヤビデオコードストリームの全部及び／又は一部にビデオ画像序号ＰＯＣアライメント操作を実行するか否かの指示情報を含むマーク及び制御情報を取得するように構成される。実行手段４０６は前記マーク及び制御情報の指示に応じて、前記コードストリーム中のＰＯＣアライメント操作を実行する必要のある部分にＰＯＣアライメントを実行するように構成される。

【0075】

実行手段４０４は、前記マーク及び制御情報が位置するフィールドの有効範囲及び前記マーク及び制御情報の値に基づいて、前記マルチレイヤビデオコードストリーム中のＰＯＣアライメント操作をオン／オフする画像を確定するように構成される確定手段と、ＰＯＣアライメント操作をオンする画像にＰＯＣアライメント操作を実行するように構成される制御手段と、を含むことができる。

【0076】

本実施例の装置はビデオ通信応用中に関連するコードストリームを受信して放送するデバイスであることができ、例えば、携帯電話、コンピューター、サーバ、セットトップボックス、携帯型移動端末、デジタル撮像装置、ＴＶ放送システムデバイス等であることができる。該装置はシンクデバイスに位置することができ、該処理装置は、スケーラブルビデオ、多視点ビデオ、多視点深度、多視点ビデオ＋多視点深度の中の少なくとも１種のマルチレイヤビデオ信号を処理することができる。ここで、立体ビデオは多視点ビデオの中の視点数が２である特別な形式である。

【0077】

（実施例５）
本発明の実施例によると、コードストリームを使用した通信システムを提供する。

【0078】

図５は本発明の実施例に係るコードストリームを使用した通信システム５００の構造を示す図で、図５に示すように、本発明の実施例に係るマルチレイヤビデオコードストリームの伝送システム５００はソースデバイス５０２とシンクデバイス５０４を含む。ここで、ソースデバイス５０２は上記実施例２に記載のコードストリームの生成装置２００を含み、シンクデバイス５０４は上記実施例４に記載のコードストリームの処理装置４００を含む。本実施例において、ソースデバイス５０２は実施例１に記載の方法に従ってコードストリームを生成して出力し、シンクデバイス５０４は該コードストリームを受信して、実施例３に記載の方法に従って該コードストリームに処理を行うことができ、具体的には上記実施例を参照することができ、本実施列においては詳細な説明を省略する。

【0079】

本発明の実施例で提供する技術案を更に説明するため、以下、具体的な実例で本発明の実施例で提供する技術案を説明する。

【0080】

以下の実例で使用するＰＯＣアライメント操作に対する高レイヤのコードストリーム構成方法は、表１と表２に示す構造を採用する。

【0081】

表１と表２に示すように、コードストリームに、全部及び／又は一部のコードストリームにＰＯＣアライメント操作を使用したか否かを示すマーク情報が含まれる。対応するコードストリームにおいて、全部及び／又は一部のコードストリームがＰＯＣアライメント操作を使用したか否かを示す情報の１つ又は複数のビットフィールドを携帯する。

【0082】

表３に示すように、コードストリームに、ＰＯＣアライメント操作をオン又はオフする開始及び／又は終止位置の情報が含まれる。対応するコードストリームにおいて、ＰＯＣアライメント操作をオン又はオフする開始及び／又は終止位置情報の１つ又は複数のビットフィールドを携帯する。

【0083】

【表1】

【0084】

【表2】

【0085】

【表3】

【0086】

ここで、表１中の各フィールドの意味（対応する制御操作）は以下のとおりである：ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値が１である時、コードストリームの復号化中にＰＯＣアライメント操作を使用する必要があることを表す。ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値が０であると、コードストリームの復号化中にＰＯＣアライメント操作を使用しないことを表し、当業者は、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値及びそれが表す意味を他の方式で示すこともでき、本発明の実施例においては具体的に限定しない。ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇはｕ(１)に対応する符号化／復号化方法を使用する。

【0087】

コードストリームにｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇに対応するビットフィールドが存在しないと、対応する変数ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値が１であると認める。

【0088】

表２中の各フィールドの意味（対応する制御操作）は以下のとおりである：ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｄｉｓａｂｌｅ＿ｆｌａｇの値が１である時、コードストリームの復号化にＰＯＣアライメント操作を使用しないことを表す。ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｄｉｓａｂｌｅ＿ｆｌａｇの値が０であると、コードストリームの復号化にＰＯＣアライメント操作を使用することを表す。ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｄｉｓａｂｌｅ＿ｆｌａｇはｕ(１)に対応する符号化／復号化方法を使用する。また、コードストリームにｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｄｉｓａｂｌｅ＿ｆｌａｇに対応するビットフィールドが存在しないと、対応する変数ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｄｉｓａｂｌｅ＿ｆｌａｇの値が０であると認める。尚、当業者はｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｄｉｓａｂｌｅ＿ｆｌａｇの値及びそれが表す意味を他の方式で示すこともでき、本発明の実施例においては具体的に限定しない。

【0089】

表３中の各フィールドの意味（対応する制御操作）は以下のとおりである：ｓｔａｒｔ＿ｉｎｆｏによりＰＯＣアライメント操作をオン又はオフする開始画像位置を指示する。ｓｔａｒｔ＿ｉｎｆｏはｓｅ（ｖ）に対応する符号化／復号化方法を使用する。ｅｎｄ＿ｉｎｆｏによりＰＯＣアライメント操作をオン又はオフする終止画像位置を指示する。ｅｎｄ＿ｉｎｆｏはｓｅ（ｖ）に対応する符号化／復号化方法を使用する。

【0090】

表３中のフィールドを表１と表２中のフィールドと組み合せして使用することができる。表３中のフィールドと表１中のフィールドを組み合せして使用する時、ＰＯＣアライメント操作をオンする開始画像位置と終止画像位置を指示する。表３中のフィールドと表２中のフィールドを組み合せして使用する時、ＰＯＣアライメント操作をオフする開始画像位置と終止画像位置を指示する。

【0091】

表３において、開始画像位置と終止画像位置を、画像のＰＯＣ値、ＰＯＣの最下位ビット（ＬＳＢ）の値、ＰＯＣの最上位ビット（ＭＳＢ）情報，画像タイムスタンプ情報、画像復号化順情報、画像放送順情報の中の１種類又は複種類で示すことができる。

【0092】

表１、表２、表３中のシンタックス要素は１つ又は複数のデータ構造に使用され、表１、表２、表３中のシンタックス要素に対応するビットフィールドは該データ構造に対応するコードストリームに使用されることができる：
（１）ビデオパラメーター集合（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＶＰＳ）、
（２）シーケンスパラメーター集合（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＳＰＳ）、
（３）画像パラメーター集合（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ、ＰＰＳ）、
（４）補充強化情報（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ、ＳＥＩ）、
（５）上記データ構造以外の他の作用範囲が少なくとも１つの画像（フレーム画像及び／又はフィールド画像）を含むデータ構造、
（６）システムレイヤ記述子（Ｄｅｓｃｒｉｐｔｏｒ）、
（７）ファイル記述子（Ｄｅｓｃｒｉｐｔｏｒ）、
（８）ハイブリッド使用。

【0093】

以下の上述した各種の方法についての説明は対応する方法の具体的な実例に過ぎない。同時に複種類の方法を使用する時、以下で説明する方法の実例を簡単に組み合せしたり連結すると、対応する実例を得ることができる。

【0094】

以下の実施方法において、表１と表２のコードストリームフィールドは同一のデータ構造に位置しない。以下の実施方法は表１のコードストリームフィールドｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇを例に説明する。表２のコードストリームフィールドｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｄｉｓａｂｌｅ＿ｆｌａｇの対応する実施方法も同じであって、同一である場合、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｄｉｓａｂｌｅ＿ｆｌａｇの値とｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値が相反することで異なっている。

【0095】

＜実例１＞
本実例において、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇはＶＰＳに位置し、その制御範囲はマルチレイヤビデオの全部レイヤである。その値が１である時、同一のＡＵに含まれた画像が同一なＰＯＣ値を有することを示す。その値が０である時、同一のＡＵに含まれた画像が同一のＰＯＣ値を有することがあれば、異なるＰＯＣ値を有することもあることを示す。

【0096】

ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇフィールドの後、更に表３のビットフィールドを使用して、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇに対応する操作の開始画像位置と終止画像位置を示すこともできる。表３のビットフィールドが存在する時、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇに限定される操作の有効範囲は表３のビットフィールドが指示する開始画像と終止画像及び（画像放送順又は画像復号化順に従った）その間の全部画像を含む。

【0097】

本実例において、マルチレイヤビデオコードストリームの伝送は主に以下のステップを含む：
ソースデバイスが、応用需要（例えば、全部レイヤ又は複数のレイヤ画像を同時に復号化して出力するか否か）に応じて、マルチレイヤビデオにＰＯＣアライメント操作を実行する必要があるか否かを判断する（ステップ１）。

【0098】

ＰＯＣアライメント操作の使用が必要であると、ソースデバイスは、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値を１に設定し、そうでないと、０に設定する。

【0099】

ソースデバイスが、ｕ(１)に対応する符号化方法でｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値をＶＰＳコードストリームに書き込みする（ステップ２）。

【0100】

ソースデバイスが、予測構造と応用需要に応じて、（画像放送順又は画像復号化順に従って）連続する一区間の画像にｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値により指示された操作を実行するか否かを確定する。ＹＥＳであると、ソースデバイスは予測構造と応用需要に応じて、ｓｔａｒｔ＿ｉｎｆｏとｅｎｄ＿ｉｎｆｏの値を確定し、ｓｅ（ｖ）に対応する符号化方法で両方の値をコードストリームに書き込みする（ステップ３）。

【0101】

シンクデバイスは、コードストリームを受信した後、ｕ(１)に対応する復号化方法で、ＶＰＳコードストリームからｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値を取得する（ステップ４）。

【0102】

コードストリームに表３に示すフィールドが存在する時、シンクデバイスは、ｓｅ（ｖ）に対応する復号化方法で、コードストリームからｓｔａｒｔ＿ｉｎｆｏとｅｎｄ＿ｉｎｆｏの値を取得する。シンクデバイスは、ｓｔａｒｔ＿ｉｎｆｏとｅｎｄ＿ｉｎｆｏの値に基づいてｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値に対応する操作の有効画像範囲を確定する。コードストリームに表３に示すフィールドが含まれていないと、シンクデバイスは、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値に対応する操作の有効範囲を、ビデオ符号化シーケンス（Ｃｏｄｅｄ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ、ＣＶＳ）全体に設定する。

【0103】

シンクデバイスがｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値が１であると判断した時、シンクデバイスはＰＯＣ条件を用いてビデオコードストリームにＡＵ境界の区画を行うことができる。シンクデバイスは、「同一のＡＵの出力画像のＰＯＣ値は同一である」をコードストリームのエラー検出と放送操作の制御条件とする。コードストリームの復号化が該制御条件に符合しない時、シンクデバイスはエラー制御メカニズムを実行し、エラーコードのカバー及び／又は情報のフィードバックによってソースデバイスにエラーを報告する。シンクデバイスは、直接にＰＯＣ値に基づいて画像の出力や放送制御を行うことができる。

【0104】

シンクデバイスがｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値が０であると判断した時、シンクデバイスは非ＰＯＣ条件を用いてビデオコードストリームのＡＵ境界を区画することができる。同一のＡＵで取得した画像について、それに対応するシステムレイヤ又はファイル中の時間標記情報が同じであると、シンクデバイスは該時間標記情報に指示された時刻で画像の出力や放送制御を行う。

【0105】

＜実例２＞
本実例において、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇはＳＰＳに位置し、その制御範囲は該ＳＰＳを使用したマルチレイヤビデオのレイヤである。その値が１である時、ＡＵ中の該レイヤの画像がＢＬレイヤの画像（該ＡＵに存在する又は存在すると仮設する）と同一なＰＯＣ値を有することを示す。その値が０である時、ＡＵ中の該レイヤの画像がＢＬレイヤの画像（該ＡＵに存在する又は存在すると仮設する）と同一のＰＯＣ値を有する可能性があれば、異なるＰＯＣ値を有する可能性もある。

【0106】

ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇフィールドの後に、更に、表３のビットフィールドを使用し、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇに対応する操作の開始画像位置と終止画像位置を示すことができる。表３のビットフィールドが存在する時、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇに限定される操作の有効範囲は、表３のビットフィールドにより指示された開始画像と終止画像及びその間（画像放送順又は画像復号化順に従った）の全部画像を含む。

【0107】

本実例において、マルチレイヤビデオコードストリームの伝送は主に以下のステップを含む：
ソースデバイスが、応用需要（例えば、全部レイヤ又は複数のレイヤ画像を同時に復号化して出力するか否か）に応じて、ビデオコードストリーム中の該レイヤの画像とＢＬレイヤの画像にＰＯＣアライメント操作を実行する必要があるか否かを判断する（ステップ１）。

【0108】

ＰＯＣアライメント操作が必要であると、ソースデバイスは、該レイヤで使用したＳＰＳ中のｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値を１に設定し、そうでないと、０に設定する。

【0109】

ソースデバイスは、ｕ(１)に対応する符号化方法でｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値をＳＰＳコードストリームに書き込みする（ステップ２）。

【0110】

ソースデバイスは、予測構造と応用需要に応じて、（画像放送順又は画像復号化順に従って）連続する一区間の画像にｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値により指示された操作を実行するか否かを確定する。ＹＥＳであると、ソースデバイスは、予測構造と応用需要に応じて、ｓｔａｒｔ＿ｉｎｆｏとｅｎｄ＿ｉｎｆｏの値を確定し、ｓｅ（ｖ）に対応する符号化方法で両方の値をコードストリームに書き込みする（ステップ３）。

【0111】

シンクデバイスは、コードストリームを受信した後、ｕ(１)に対応する復号化方法で、ＳＰＳコードストリームからｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値を取得する（ステップ４）。

【0112】

コードストリームに表３に示すフィールドが存在する時、シンクデバイスは、ｓｅ（ｖ）に対応する復号化方法で、コードストリームからｓｔａｒｔ＿ｉｎｆｏとｅｎｄ＿ｉｎｆｏの値を取得する。シンクデバイスは、ｓｔａｒｔ＿ｉｎｆｏとｅｎｄ＿ｉｎｆｏの値に基づいて、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値に対応する操作の有効画像範囲を確定する。コードストリームに表３に示すフィールドが含まれていないと、シンクデバイスは、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値に対応する操作の有効範囲をＣＶＳ全体に確定する。

【0113】

シンクデバイスがｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値が１であると判断した時、シンクデバイスはＰＯＣ条件を用いてビデオコードストリームにＡＵ境界の区画を行うことができる。シンクデバイスは、「ＡＵ中の該レイヤの出力画像のＰＯＣ値が（存在すると仮設する）ＢＬレイヤの画像と同一である」をコードストリームのエラー検出及び放送操作制御条件として設定する。コードストリームの復号化が該制御条件に符合しない時、シンクデバイスはエラー制御メカニズムを実行し、エラーコードのカバー及び／又は情報のフィードバックによってソースデバイスにエラーを報告する。シンクデバイスは直接にＰＯＣ値に基づいて該レイヤの画像とＢＬ画像間で出力と放送の制御を行うことができる。その他の同一のＡＵに位置するがＰＯＣ値が異なる画像について、シンクデバイスは該時間標記情報により指示された時刻で画像の出力や放送制御を行う。

【0114】

シンクデバイスがｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値が０であると判断した時、シンクデバイスは非ＰＯＣ条件を用いてビデオコードストリームにＡＵ境界の区画を行う。同一のＡＵで取得した画像について、それに対応するシステムレイヤ又はファイル中の時間標記情報が同一であると、シンクデバイスは該時間標記情報により指示された時刻で画像の出力や放送制御を行う。

【0115】

＜実例３＞
本実例において、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇがＰＰＳに位置し、その制御範囲は該ＰＰＳを使用したマルチレイヤビデオのレイヤ中の１つ又は複数の画像である。その値が１である時、ＡＵ中の該レイヤの画像がＢＬレイヤの画像（該ＡＵに存在する又は存在すると仮設する）と同一なＰＯＣ値を有する。その値が０である時、ＡＵ中の該レイヤの画像とＢＬレイヤの画像（該ＡＵに存在する又は存在すると仮設する）が同一のＰＯＣ値を有する可能性があれば、異なるＰＯＣ値を有する可能性もある。

【0116】

ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇフィールドの後に更に、表３のビットフィールドを使用して、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇに対応する操作の開始画像位置と終止画像位置を示すことができる。表３のビットフィールドが存在する時、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇに限定される操作の有効範囲は表３のビットフィールドにより指示された開始画像と終止画像及びその間（画像放送順又は画像復号化順に従って）の全部画像を含む。

【0117】

本実例において、マルチレイヤビデオコードストリームの伝送は主に以下のステップを含む：
ソースデバイスが応用需要（例えば、全部レイヤ又は複数のレイヤ画像を同時に復号化して出力するか否か）に応じて、１つ又はある区間の該レイヤの画像とＢＬレイヤの画像にＰＯＣアライメント操作を実行する必要があるか否かを判断する（ステップ１）。

【0118】

ＰＯＣアライメント操作の使用が必要であると、ソースデバイスは、該レイヤが使用したＳＰＳ中のｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値を１に設定し、そうでないと、０に設定する。

【0119】

ソースデバイスは、ｕ(１)に対応する符号化方法でｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値をＰＰＳコードストリームに書き込みする（ステップ２）。

【0120】

ソースデバイスは、予測構造と応用需要に応じて、（画像放送順又は画像復号化順に従って）連続する一区間の画像にｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値に指示された操作を実行するか否かを確定する。ＹＥＳであると、ソースデバイスは予測構造と応用需要に応じて、ｓｔａｒｔ＿ｉｎｆｏとｅｎｄ＿ｉｎｆｏの値を確定し、ｓｅ（ｖ）に対応する符号化方法で両方の値をコードストリームに書き込みする（ステップ３）。

【0121】

シンクデバイスはコードストリームを受信した後、ｕ(１)に対応する復号化方法で、ＰＰＳコードストリームからｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値を取得する（ステップ４）。

【0122】

コードストリームに表３に示すフィールドが存在する時、シンクデバイスはｓｅ（ｖ）に対応する復号化方法で、コードストリームからｓｔａｒｔ＿ｉｎｆｏとｅｎｄ＿ｉｎｆｏの値を取得する。シンクデバイスは、ｓｔａｒｔ＿ｉｎｆｏとｅｎｄ＿ｉｎｆｏの値に基づいてｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値に対応する操作の有効画像範囲を確定する。コードストリームに表３に示すフィールドが含まれていないと、シンクデバイスはｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値に対応する操作の有効範囲をＣＶＳ全体に設定する。

【0123】

シンクデバイスがｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値が１であると判断した時、シンクデバイスはＰＯＣ条件を用いてビデオコードストリームにＡＵ境界の区画を行うことができる。シンクデバイスは「ＡＵ中の該レイヤの出力画像のＰＯＣ値が（存在すると仮設する）ＢＬレイヤの画像と同一である」をコードストリームのエラー検出及び放送操作制御条件として設定する。コードストリームの復号化が該制御条件に符合しない時、シンクデバイスはエラー制御メカニズムを実行し、エラーコードのカバー及び／又は情報のフィードバックによってソースデバイスにエラーを報告する。シンクデバイスは直接にＰＯＣ値に基づいて該レイヤの画像とＢＬ画像間で出力と放送の制御を行うことができる。その他の同一のＡＵに位置するがＰＯＣ値が異なる画像について、シンクデバイスは該時間標記情報により指示された時刻で画像の出力や放送制御を行う。

【0124】

シンクデバイスがｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値が０であると判断した時、シンクデバイスは非ＰＯＣ条件を用いてビデオコードストリームにＡＵ境界の区画を行う。同一のＡＵで取得した画像について、それに対応するシステムレイヤ又はファイル中の時間標記情報が同一であると、シンクデバイスは該時間標記情報により指示された時刻で画像の出力や放送制御を行う。

【0125】

＜実例４＞
本実例において、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇはＳＥＩに位置し、その指示範囲は該ＳＥＩを使用したマルチレイヤビデオのレイヤ中の１つ又は複数の画像である。その値が１である時、ＡＵ中の全部の画像が同一なＰＯＣ値（ＡＵ全体に関連するＳＥＩ）を有することを示し、又はあるＥＬレイヤの画像がＢＬレイヤの画像（該ＡＵに存在する又は存在すると仮設する）と同一なＰＯＣ値（あるＡＵに関連するＳＥＩ）を有することを指示する。その値が０である時、ＡＵ中の全部の画像が同一なＰＯＣ値を有する可能性があれば有しない可能性もある（ＡＵ全体に関連するＳＥＩ）を示し、又はあるＥＬレイヤの画像がＢＬレイヤの画像（該ＡＵに存在する又は存在すると仮設する）と同一なＰＯＣ値を有する可能性があれば有しない可能性もある（あるＡＵに関連するＳＥＩ）ことを指示する。

【0126】

ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇフィールドの後に、更に表３のビットフィールドを使用して、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇに対応する操作の開始画像位置と終止画像位置を示すことができる。表３のビットフィールドが存在する時、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇに限定される操作の有効範囲は表３のビットフィールドにより指示された開始画像と終止画像及びその間（画像放送順又は画像復号化順に従った）の全部画像を含む。

【0127】

本実例において、マルチレイヤビデオコードストリームの伝送は主に以下のステップを含む：
ソースデバイスが、発生したマルチレイヤビデオ符号化コードストリームに基づいて、１つ又はある区間の画像にＰＯＣアライメント操作を使用するか否かを判断する（ステップ１）。

【0128】

ＰＯＣアライメント操作を使用すると、ソースデバイスは、対応するＳＥＩ中のｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値を１に設定し、そうでないと、０に設定する。前記対応するＳＥＩは、ＡＵ全体に関連するＳＥＩ又はあるＥＬレイヤに関連するＳＥＩを指す。

【0129】

ソースデバイスは、ｕ(１)に対応する符号化方法で、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値をＳＥＩコードストリームに書き込みし、ＳＥＩのフィールドをビデオコードストリーム中の関連する位置に挿入する（ステップ２）。

【0130】

ソースデバイスが、予測構造と応用需要に応じて、（画像放送順又は画像復号化順に従って）連続する一区間の画像にｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値により指示された操作を実行するか否かを確定する。ＹＥＳであると、ソースデバイスは予測構造と応用需要に応じて、ｓｔａｒｔ＿ｉｎｆｏとｅｎｄ＿ｉｎｆｏの値を確定し、ｓｅ（ｖ）に対応する符号化方法で、両方の値をコードストリームに書き込みする（ステップ３）。

【0131】

シンクデバイスは、コードストリームを受信した後、ｕ(１)に対応する復号化方法で、ＳＥＩコードストリームからｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値を取得する（ステップ４）。

【0132】

コードストリームに表３に示すフィールドが存在する時、シンクデバイスは、ｓｅ（ｖ）に対応する復号化方法で、コードストリームからｓｔａｒｔ＿ｉｎｆｏとｅｎｄ＿ｉｎｆｏの値を取得する。シンクデバイスは、ｓｔａｒｔ＿ｉｎｆｏとｅｎｄ＿ｉｎｆｏの値に基づいてｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値に対応する操作の有効画像範囲を確定する。コードストリームに表３に示すフィールドが含まれていないと、シンクデバイスはｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値に対応する操作の有効範囲をビデオ符号化シーケンス（Ｃｏｄｅｄ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ、ＣＶＳ）全体に設定する。

【0133】

シンクデバイスがｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値が１であると判断した時、該ＳＥＩがＡＵ全体に関連するＳＥＩであると、シンクデバイスはＰＯＣ条件を用いてビデオコードストリームにＡＵ境界の区画を行うことができる。シンクデバイスは「同一のＡＵの出力画像のＰＯＣ値は同一であるをコードストリームのエラー検出及び放送操作制御条件として設定する。コードストリームの復号化が該制御条件に符合しない時、シンクデバイスはエラー制御メカニズムを実行し、エラーコードのカバー及び／又は情報のフィードバックによってソースデバイスにエラーを報告する。シンクデバイスは直接にＰＯＣ値に基づいて画像の出力と放送の制御を行うこともできる。

【0134】

シンクデバイスがｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値が１であると判断した時、該ＳＥＩがあるＥＬに関連するＳＥＩであると、シンクデバイスは非ＰＯＣ条件を用いてビデオコードストリームにＡＵ境界の区画を行うことができる。シンクデバイスは「ＡＵ中の該レイヤの出力画像のＰＯＣ値が（存在すると仮設する）ＢＬレイヤの画像と同一である」をコードストリームのエラー検出及び放送操作制御条件として設定する。コードストリームの復号化が該制御条件に符合しない時、シンクデバイスはエラー制御メカニズムを実行し、エラーコードのカバー及び／又は情報のフィードバックによってソースデバイスにエラーを報告する。シンクデバイスは直接にＰＯＣ値に基づいて、該レイヤの画像とＢＬ画像間で出力と放送の制御を行うことができる。その他の同一のＡＵに位置するがＰＯＣ値が異なる画像について、シンクデバイスは該時間標記情報により指示された時刻で画像の出力や放送制御を行う。

【0135】

シンクデバイスがｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値が０であると判断した時、シンクデバイスは非ＰＯＣ条件を用いてビデオコードストリームにＡＵ境界の区画を行うことができる。同一のＡＵで取得した画像について、それに対応するシステムレイヤ又はファイル中の時間標記情報が同一であると、シンクデバイスは該時間標記情報により指示された時刻で画像の出力や放送制御を行う。

【0136】

＜実例５＞
本実例において、上記マーク情報はその他の作用範囲が少なくとも１つの画像（フレーム画像及び／又はフィールド画像）を含むデータ構造に位置し、前記その他の作用範囲が少なくとも１つの画像（フレーム画像及び／又はフィールド画像）を含むデータ構造について、該データ構造にその他の復号化に必ず必要なデータ情報が含まれていると、該データ構造は復号化に必要なデータ構造である。この時、該データ構造の作用範囲がマルチレイヤビデオ全体であると、ソースデバイスとシンクデバイスによるｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇに対する操作方法は実例１に類似する。該データ構造の作用範囲がマルチレイヤビデオ中のあるＥＬビデオであると、ソースデバイスとシンクデバイスによるｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇに対する操作方法は実例２に類似する。該データ構造の作用範囲がマルチレイヤビデオ中のあるＥＬ上の１つ又は複数の画像であると、ソースデバイスとシンクデバイスによるｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇに対する操作方法は実例３に類似する。

【0137】

前記その他の作用範囲が少なくとも１つの画像（フレーム画像及び／又はフィールド画像）を含むデータ構造の場合、該データ構造にその他の復号化に必要なデータ情報が含まれていないと、該データ構造は復号化に必要なデータ構造ではない。この時、ソースデバイスとシンクデバイスによるｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇに対する操作方法は実例４に類似する。

【0138】

ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇフィールドの後に更に表３のビットフィールドを使用して、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇに対応する操作の開始画像位置と終止画像位置を示すことができる。表３のビットフィールドが存在する時、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇに限定される操作の有効範囲は表３のビットフィールドにより指示された開始画像と終止画像及びその間（画像放送順又は画像復号化順に従った）の全部画像を含む。

【0139】

実例５が実例１乃至実例４と相違することは、ソースデバイスがｕ(１)に対応する符号化方法でｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値を前記少なくとも１つの画像（フレーム画像及び／又はフィールド画像）を含むデータ構造の対応するコードストリームに書き込みし、シンクデバイスがｕ(１)に対応する復号化方法で前記少なくとも１つの画像（フレーム画像及び／又はフィールド画像）を含むデータ構造の対応するコードストリームからｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇに対応するフィールドを解析して、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値を取得することである。

【0140】

＜実例６＞
本実例において、上記マーク情報はシステム記述子に位置し、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇを含む記述子の作用範囲がシステムコードストリーム中のマルチレイヤビデオ符号化コードストリーム全体である時、ソースデバイスとシンクデバイスによるｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇに対する操作方法は実例４中の「ＡＵ全体に関連するＳＥＩ」である場合の操作方法に類似する。

【0141】

ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇを含む記述子の作用範囲がシステムコードストリームにおけるマルチレイヤビデオ符号化コードストリーム中のあるＥＬコードストリームである時、ソースデバイスとシンクデバイスによるｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇに対する操作方法は実例４中の「あるＥＬレイヤに関連するＳＥＩ」である場合の操作方法に類似する。

【0142】

実例６が実例４と相違することは、ソースデバイスがｕ(１)に対応する又はｕ(１)と同一な符号化方法でｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値を前記記述子の対応するシステムコードストリームに書き込みし、必要であると、ソースデバイスがｓｅ（ｖ）に対応する又はｓｅ（ｖ）と同一な符号化方法でｓｔａｒｔ＿ｉｎｆｏとｅｎｄ＿ｉｎｆｏの値を前記記述子の対応するシステムコードストリームに書き込みし、シンクデバイスがｕ(１)に対応する又はｕ(１)と同一な復号化方法で前記記述子データ構造の対応するシステムコードストリームからｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇに対応するフィールドを解析し、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値を取得し、表３のフィールドがコードストリームに存在すると、シンクデバイスがｓｅ（ｖ）に対応する又はｓｅ（ｖ）と同一な復号化方法でコードストリームからｓｔａｒｔ＿ｉｎｆｏとｅｎｄ＿ｉｎｆｏの値を取得することである。

【0143】

＜実例７＞
本実例において、上記マーク情報はファイル記述子に位置し、実例において、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇを含む記述子の作用範囲がメディアファイルコードストリーム中のマルチレイヤビデオ符号化コードストリーム全体である時、ソースデバイスとシンクデバイスによるｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇに対する操作方法は実例４中の「ＡＵ全体に関連するＳＥＩ」である場合の操作方法に類似する。

【0144】

ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇを含む記述子の作用範囲がメディアファイルコードストリームにおけるマルチレイヤビデオ符号化コードストリーム中のあるＥＬコードストリームである時、ソースデバイスとシンクデバイスによるｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇに対する操作方法は実例４中の「あるＥＬレイヤに関連するＳＥＩ」である場合の操作方法に類似する。

【0145】

実例７が実例４と相違することは、ソースデバイスがｕ(１)に対応する又はｕ(１)と同一な符号化方法でｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値を前記記述子の対応するシステムコードストリームに書き込みし、必要であると、ソースデバイスがｓｅ（ｖ）に対応する又はｓｅ（ｖ）と同一な符号化方法でｓｔａｒｔ＿ｉｎｆｏとｅｎｄ＿ｉｎｆｏの値を前記記述子の対応するシステムコードストリームに書き込みし、シンクデバイスがｕ(１)に対応する又はｕ(１)と同一な復号化方法で前記記述子データ構造の対応するシステムコードストリームからｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇに対応するフィールドを解析し、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値を取得し、表３のフィールドがコードストリームに存在すると、シンクデバイスがｓｅ（ｖ）に対応する又はｓｅ（ｖ）と同一な復号化方法でコードストリームからｓｔａｒｔ＿ｉｎｆｏとｅｎｄ＿ｉｎｆｏの値を取得することである。

【0146】

＜実例８＞
本実例において、ハイブリッド使用方法で上記マーク情報を携帯する。マルチレイヤビデオ符号化コードストリーム構造について、復号化において、ＰＰＳがＳＰＳを引用し、ＳＰＳがＶＰＳを引用する。ここで、ＶＰＳはＳＰＳやＰＰＳより高いレイヤのデータ構造であって、ＳＰＳはＰＰＳより高いデータ構造であるとする。

【0147】

実例において、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇを異なるレイヤのデータ構造で符号化することができる。高レイヤのデータ構造と低レイヤのデータ構造中のｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値が異なる時、低レイヤのデータ構造中のｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇで高レイヤのデータ構造中のｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇをカバーする。表３中のｓｔａｒｔ＿ｉｎｆｏとｅｎｄ＿ｉｎｆｏの値が異なる時、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値の作用範囲は高レイヤのデータ構造中のｓｔａｒｔ＿ｉｎｆｏとｅｎｄ＿ｉｎｆｏによって限定される画像範囲と低レイヤのデータ構造中のｓｔａｒｔ＿ｉｎｆｏとｅｎｄ＿ｉｎｆｏによって限定される画像範囲との最小積集合である。

【0148】

高レイヤのデータ構造と低レイヤのデータ構造中のｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値が同一であるが、表３中のｓｔａｒｔ＿ｉｎｆｏとｅｎｄ＿ｉｎｆｏの値が異なる時、ｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値の作用範囲は高レイヤのデータ構造中のｓｔａｒｔ＿ｉｎｆｏとｅｎｄ＿ｉｎｆｏによって限定された画像範囲と低レイヤのデータ構造中のｓｔａｒｔ＿ｉｎｆｏとｅｎｄ＿ｉｎｆｏによって限定された画像範囲の最大和集合である。

【0149】

ハイブリッド使用方法において、ソースデバイスはまず、入力ビデオ、符号化予測構造と応用需要に応じて、ＰＯＣアライメントを使用するレイヤ、ＰＯＣアライメントを使用する画像の開始／終止位置を含むＰＯＣアライメントの使用方式を確定する。ソースデバイスは、以上の確定情報に基づいて、実例１、実例２、実例３に記載の方法に従って、ＶＰＳ、ＳＰＳ、ＰＰＳ中のｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇ及び必要なｓｔａｒｔ＿ｉｎｆｏとｅｎｄ＿ｉｎｆｏの値を設定し、また対応する符号化方法でそれをコードストリームに書き込みする。同時に、ソースデバイスは応用需要に応じて、実例４、実例６、実例７に記載の方法に従って、ビデオコードストリームに必要な補助情報及びシステムレイヤ、メディアファイルに関連する記述子中の対応するフィールド情報を設定し、また対応する符号化方法でそれをコードストリームに書き込みする。

【0150】

シンクデバイスは受信したコードストリームに処理を行い、実例１、実例２、実例３に記載の方法に従って、ＶＰＳ、ＳＰＳ、ＰＰＳからｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇ及び必要なｓｔａｒｔ＿ｉｎｆｏとｅｎｄ＿ｉｎｆｏの値を取得し、異なる画像区間とレイヤのＰＯＣアライメント使用制御を設定し、また受信したコードストリームに復号化を行う。復号化において、シンクデバイスがビデオ補助情報、システムレイヤ情報、メディアファイル情報中のＰＯＣアライメント記述情報を取得できれば、シンクデバイスは上記各方法に従って受信、復号化中のエラー制御、放送制御手段を設定する。

【0151】

シンクデバイスは非ＰＯＣ条件を用いてビデオコードストリームにＡＵ境界の区画を行うことができる。シンクデバイスは「ＡＵ中の該レイヤの出力画像のＰＯＣ値が（存在すると仮設する）ＢＬレイヤの画像と同一である」をコードストリームのエラー検出及び放送操作制御条件として設定する。コードストリームの復号化が該制御条件に符合しない時、シンクデバイスはエラー制御メカニズムを実行し、エラーコードのカバー及び／又は情報のフィードバックによってソースデバイスにエラーを報告する。シンクデバイスが直接にＰＯＣ値に基づいて該レイヤの画像とＢＬ画像間で出力と放送の制御を行うことができる。その他の同一のＡＵに位置するがＰＯＣ値が異なる画像について、シンクデバイスは該時間標記情報により指示された時刻で画像の出力や放送制御を行う。

【0152】

シンクデバイスがｐｏｃ＿ａｌｉｇｎｍｅｎｔ＿ｅｎａｂｌｅ＿ｆｌａｇの値が０であると判断した時、シンクデバイスは非ＰＯＣ条件を用いてビデオコードストリームにＡＵ境界の区画を行うことができる。同一のＡＵで取得した画像について、それに対応するシステムレイヤ又はファイル中の時間標記情報が同一であると、シンクデバイスは該時間標記情報により指示された時刻で画像の出力や放送制御を行う。

【0153】

上述のように、上記実施例の中の１つで提供する技術案によると、即時通信等の業務について、ユーザが通信を行う前に相手の各端末の情報（例えば、端末の名称、ニックネームとも呼ばれる）を得ることができるので、主動的に通信受信側の端末を選択して通信を行うことができ、相手と通信する前、通信受信側の複数の端末の名称（ニックネーム）を取得して、１つを選択して通信（音声電話、テレビ電話又はメッセージ）を行うことができ、ユーザの体験を向上させる。

【0154】

上述のように、本発明の実施例で提供する方法によると、コードストリームの高レイヤ、補助情報、システムレイヤ記述子等にＰＯＣアライメントに対する記述を増加することができる。同時に、コードストリームの高レイヤ構造でレイヤ記述メカニズムを採用し、コードストリームの生成中に柔軟な制御を行うことができる。

【0155】

上記した本発明の各手段又は各ステップを共通の計算装置によって実現することができ、単独の計算装置に集中させることができれば、複数の計算装置から構成されるネットワークに分布させることもでき、更に計算装置が実行可能なプログラムコードによって実現することもできるので、それらを記憶装置に記憶させて計算装置によって実行することができ、場合によっては、他の順で図に示す又は説明したステップを実行することができ、又は夫々集積回路手段に製作し、又はそれらの中の複数の手段又はステップを単一の集積回路手段に製作して実現できることは当業者にとって明らかなことである。このように、本発明は如何なる特定のハードウェアとソフトウェアの結合にも限定されない。

【0156】

以上は、本発明の好適な実施例に過ぎず、本発明を限定するものではない。当業者であれば本発明に様々な修正や変形が可能である。本発明の精神や原則内での全ての修正、置換、改良などは本発明の保護範囲内に含まれる。

【産業上の利用可能性】

【0157】

本発明の実施例で提供する上記技術案によると、コードストリームを生成する時、コードストリームにコードストリームの全部及び／又は一部にＰＯＣアライメント操作を実行する必要があるか否かの指示及び制御情報を書き込みすることで、ＰＯＣアライメント操作の一部及び／又は全部をオフすることができ、コードストリーム制御の柔軟性を向上させることができる。

【図1】

【図2】

【図3】

【図4】

【図5】