特許 6776229 ビデオデータ処理方法及び装置並びにビデオデータ生成方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6776229

(24)【登録日】2020年10月9日

(45)【発行日】2020年10月28日

(54)【発明の名称】ビデオデータ処理方法及び装置並びにビデオデータ生成方法及び装置

(51)【国際特許分類】

   H04N 19/70 20140101AFI20201019BHJP

【ＦＩ】

   H04N19/70

【請求項の数】11

【全頁数】26

(21)【出願番号】特願2017-520400(P2017-520400)

(86)(22)【出願日】2015年10月15日

(65)【公表番号】特表2017-536027(P2017-536027A)

(43)【公表日】2017年11月30日

(86)【国際出願番号】KR2015010895

(87)【国際公開番号】WO2016060494

(87)【国際公開日】20160421

【審査請求日】2018年10月2日

(31)【優先権主張番号】62/064,557

(32)【優先日】2014年10月16日

(33)【優先権主張国】US

(31)【優先権主張番号】62/077,471

(32)【優先日】2014年11月10日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】リ，タミー

(72)【発明者】

【氏名】ハン，スン−フン

【審査官】 坂東 大五郎

(56)【参考文献】

【文献】 米国特許出願公開第２０１３／０２９４５００（ＵＳ，Ａ１）

【文献】 Ye-Kui Wang et al.，Signaling of Shot Changes，Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG (ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6) 4th Meeting: Klagenfurt, Austria，２００２年 ７月２２日，[JVT-D099]

【文献】 Hendry et al.，Undiscardable Leading Pictures for CRA，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 7th Meeting: Geneva, CH，２０１１年１１月２１日，[JCTVC-G158]

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

符号化されたビデオデータのビットストリームを獲得する段階と、
前記ビットストリーム内の復号可能リーディングピクチャ(decodable-leading picture)のビデオ処理に利用される場面に係わるメタデータ情報を獲得する段階と、
前記復号可能リーディングピクチャに対して、前記場面に係わるメタデータ情報に基づいて、ビデオ処理を行う段階と、を含み、
前記復号可能リーディングピクチャは、現在ＲＡＰ(Random Access Point)ピクチャよりも先にディスプレイされ、
前記復号可能リーディングピクチャは、以前ＲＡＰピクチャを参照せず、前記現在ＲＡＰピクチャによって復号され、
前記復号可能リーディングピクチャの場面に係わるメタデータ情報が、前記現在ＲＡＰピクチャの場面に係わるメタデータ情報と異なるとき、前記復号可能リーディングピクチャの場面に係わるメタデータ情報は、ディスプレイ順序において最も先行する復号可能リーディングピクチャの位置に基づいて獲得されることを特徴とするビデオデータ処理方法。

【請求項2】

前記メタデータ情報を獲得する段階は、
前記ビットストリームの所定位置において、メタデータ情報に係わる識別情報を獲得する段階と、
メタデータ情報のデータベースから、前記獲得したメタデータ情報に係わる識別情報とマッチングする前記メタデータ情報を獲得する段階と、を含むことを特徴とする請求項１に記載のビデオデータ処理方法。

【請求項3】

前記ビットストリームを獲得するチャネルと別個のチャネルを介して、前記メタデータ情報のデータベースを獲得する段階をさらに含むことを特徴とする請求項２に記載のビデオデータ処理方法。

【請求項4】

前記メタデータ情報を獲得する段階は、
ランダムアクセスポイントピクチャが、復号可能リーディングピクチャと同じ場面に属する場合、ディスプレイ順序上、最初の復号可能リーディングピクチャの位置に基づいて、前記ランダムアクセスポイントピクチャ、及び前記復号可能リーディングピクチャが属した場面に係わるメタデータ情報を獲得することを特徴とする請求項１に記載のビデオデータ処理方法。

【請求項5】

ビデオデータを符号化する段階と、
復号可能リーディングピクチャ(decodable-leading picture)のビデオ処理に利用される場面に係わるメタデータ情報を生成する段階と、
前記メタデータ情報を含む、符号化されたビデオデータのビットストリームを生成する段階と、
を含み、
前記復号可能リーディングピクチャは、復号段階で現在ＲＡＰピクチャよりも先にディスプレイされ、
前記復号可能リーディングピクチャは、復号段階で、以前ＲＡＰピクチャを参照せず、前記現在ＲＡＰピクチャによって復号され、
前記復号可能リーディングピクチャの場面に係わるメタデータ情報が前記現在ＲＡＰピクチャの場面に係わるメタデータ情報と異なるとき、前記復号可能リーディングピクチャの場面に係わるメタデータ情報は、ディスプレイ順序において最も先行する復号可能リーディングピクチャの位置に挿入されるビデオデータ生成方法。

【請求項6】

前記ビットストリームを生成する段階は、
前記ビットストリームの所定位置に、メタデータ情報に係わる識別情報を含め、前記ビットストリームを生成することを特徴とする請求項５に記載のビデオデータ生成方法。

【請求項7】

前記ビットストリームを生成する段階は、
ランダムアクセスポイントピクチャが、復号可能リーディングピクチャと同じ場面に属する場合、ディスプレイ順序上、最初の復号可能リーディングピクチャの位置に、前記ランダムアクセスポイントピクチャ、及び前記復号可能リーディングピクチャが属した場面に係わるメタデータ情報を挿入し、前記ビットストリームを生成することを特徴とする請求項５に記載のビデオデータ生成方法。

【請求項8】

請求項１ないし４のうちいずれか１項に記載の方法を具現するためのプログラムが記録されたコンピュータで判読可能な記録媒体。

【請求項9】

請求項５ないし７のうちいずれか１項に記載の方法を具現するためのプログラムが記録されたコンピュータで判読可能な記録媒体。

【請求項10】

符号化されたビデオデータのビットストリームを獲得するビットストリーム獲得部と、
前記ビットストリームを復号するビデオ復号部と、
前記ビットストリーム内の復号可能リーディングピクチャ(decodable-leading picture)のビデオ処理に利用される場面に係わるメタデータ情報を獲得し、前記復号可能リーディングピクチャに対して、前記場面に係わるメタデータ情報に基づいて、ビデオ処理を行うビデオ処理プロセッサと、を含み、
前記復号可能リーディングピクチャは、現在ＲＡＰピクチャよりも先にディスプレイされ、
前記復号可能リーディングピクチャは、以前ＲＡＰピクチャを参照せず、前記現在ＲＡＰピクチャによって復号され、
前記復号可能リーディングピクチャの場面に係わるメタデータ情報が前記現在ＲＡＰピクチャの場面に係わるメタデータ情報と異なるとき、前記復号可能リーディングピクチャの場面に係わるメタデータ情報は、ディスプレイ順序において最も先行する復号可能リーディングピクチャの位置に基づいて獲得されることを特徴とするビデオデータ処理装置。

【請求項11】

ビデオデータを符号化し、復号可能リーディングピクチャ(decodable-leading picture)のビデオ処理に利用される場面に係わるメタデータ情報を生成するビデオ符号化部と、
前記メタデータ情報を含む、符号化されたビデオデータのビットストリームを生成するビットストリーム生成部と、を含み、
前記復号可能リーディングピクチャは、復号段階で現在ＲＡＰピクチャよりも先にディスプレイされ、
前記復号可能リーディングピクチャは、復号段階で、以前ＲＡＰピクチャを参照せず、前記現在ＲＡＰピクチャによって復号され、
前記復号可能リーディングピクチャの場面に係わるメタデータ情報が前記現在ＲＡＰピクチャの場面に係わるメタデータ情報と異なるとき、前記復号可能リーディングピクチャの場面に係わるメタデータ情報は、ディスプレイ順序において最も先行する復号可能リーディングピクチャの位置に挿入されるビデオデータ生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、符号化されたビデオデータ処理方法及びその装置、並びに符号化されたビデオデータ生成方法及びその装置に係わる。

【背景技術】

【0002】

高解像度または高画質のビデオコンテンツを再生、保存することができるハードウェアの開発及び普及によって、高解像度または高画質のビデオコンテンツを効果的に符号化したり復号するビデオコーデックの必要性が増大している。既存のビデオコーデックによれば、ビデオは、ツリー構造の符号化単位に基づいて、制限された符号化方式によって符号化されている。

【0003】

周波数変換を利用して、空間領域の映像データは、周波数領域の係数に変換される。該ビデオコーデックは、周波数変換の迅速な演算のために、映像を所定サイズのブロックに分割し、ブロックごとにＤＣＴ（discrete cosine transformation）変換を行い、ブロック単位の周波数係数を符号化する。カラー映像間の重複性除去のために、既存の圧縮システムは、ブロック基盤の予測を行う。既存の圧縮システムは、ビデオ符号化及びビデオ復号に使用されるパラメータをピクチャ単位で生成する。

【発明の概要】

【発明が解決しようとする課題】

【0004】

ランダムアクセス（random access）のための符号化されたビデオデータ処理方法及びその装置、並びにランダムアクセスのための符号化されたビデオデータ生成方法及びその装置を提供する。本実施形態がなす技術的課題は、前述のような技術的課題に限定されるものではなく、以下の実施形態から、他の技術的課題が類推される。

【課題を解決するための手段】

【0005】

第１側面による符号化されたビデオデータ処理方法は、符号化されたビデオデータのビットストリームを獲得する段階、前記ビットストリーム内のランダムアクセスポイントピクチャ後の復号順序を有するピクチャのビデオ処理に利用されるメタデータ情報を獲得する段階、及び前記ランダムアクセスポイントピクチャ後の復号順序を有するピクチャのうち復号されたビデオデータに対して、前記メタデータ情報に基づいて、ビデオ処理を行う段階を含んでもよい。

【0006】

また、前記メタデータ情報を獲得する段階は、前記ビットストリームの所定位置において、メタデータ情報に係わる識別情報を獲得する段階、及びメタデータ情報のデータベースから、前記獲得したメタデータ情報に係わる識別情報とマッチングする前記メタデータ情報を獲得する段階を含んでもよい。

【0007】

また、前記ビットストリームを獲得するチャネルと別個のチャネルを介して、前記メタデータ情報のデータベースを獲得する段階をさらに含んでもよい。

【0008】

また、前記メタデータ情報を獲得する段階は、前記ビットストリームにおいて、前記ランダムアクセスポイントピクチャの位置と、前記ランダムアクセスポイントピクチャ後の復号順序を有する少なくとも１つのピクチャから構成される場面の場面カット（scene cut）の位置とに基づいて、前記メタデータ情報を獲得することができる。

【0009】

また、前記メタデータ情報を獲得する段階は、前記ランダムアクセスポイントピクチャが、復号可能なリーディングピクチャと同じ場面に属する場合、ディスプレイ順序上、最初に復号可能なリーディングピクチャの位置に基づいて、前記ランダムアクセスポイントピクチャ、及び前記復号可能なリーディングピクチャが属した場面に係わるメタデータ情報を獲得することができる。

【0010】

また、前記メタデータ情報を獲得する段階は、前記ランダムアクセスポイントピクチャが、復号可能なリーディングピクチャと異なる場面に属する場合、前記ランダムアクセスポイントピクチャの位置と、ディスプレイ順序上、最初に復号可能なリーディングピクチャの位置とに基づいて、前記ランダムアクセスポイントピクチャが属した場面に係わるメタデータ情報、及び前記復号可能なリーディングピクチャが属した場面に係わるメタデータ情報を獲得することができる。

【0011】

また、前記場面カットの位置は、各場面に属したピクチャのうち、ディスプレイ順序上で最初ピクチャの位置に該当する。

【0012】

第２側面による符号化されたビデオデータ生成方法は、ビデオデータを符号化する段階、ランダムアクセスポイントピクチャ後の復号順序を有するピクチャのビデオ処理に利用されるメタデータ情報を生成する段階、及び前記メタデータ情報、または前記メタデータ情報に係わる識別情報を含む、符号化されたビデオデータのビットストリームを生成する段階を含んでもよい。

【0013】

また、前記ビットストリームを生成する段階は、前記ビットストリームの所定位置に、前記メタデータ情報に係わる識別情報を含め、前記ビットストリームを生成することができる。

【0014】

また、前記メタデータ情報に係わる識別情報を含んだビットストリームと、前記生成されたメタデータ情報を含むメタデータ情報のデータベースとを別個のチャネルを介してそれぞれ伝送する段階をさらに含んでもよい。

【0015】

また、前記ビットストリームを生成する段階は、前記ランダムアクセスポイントピクチャの位置と、前記ランダムアクセスポイントピクチャ後の復号順序を有する少なくとも１つのピクチャから構成される場面の場面カットの位置とに前記メタデータ情報を挿入し、前記ビットストリームを生成することができる。

【0016】

また、前記ビットストリームを生成する段階は、前記ランダムアクセスポイントピクチャが、復号可能なリーディングピクチャと同じ場面に属する場合、ディスプレイ順序上、最初に復号可能なリーディングピクチャの位置に、前記ランダムアクセスポイントピクチャ、及び前記復号可能なリーディングピクチャが属した場面に係わるメタデータ情報を挿入し、前記ビットストリームを生成することができる。

【0017】

また、前記ビットストリームを生成する段階は、前記ランダムアクセスポイントピクチャが、復号可能なリーディングピクチャと異なる場面に属する場合、前記ランダムアクセスポイントピクチャの位置に、前記ランダムアクセスポイントピクチャが属した場面に係わるメタデータ情報を挿入し、ディスプレイ順序上、最初に復号可能なリーディングピクチャの位置に、前記復号可能なリーディングピクチャが属した場面に係わるメタデータ情報を挿入し、前記ビットストリームを生成することができる。

【0018】

また、前記場面カットの位置は、各場面に属したピクチャのうち、ディスプレイ順序上で最初ピクチャの位置に該当する。

【0019】

第３側面によって、前記符号化されたビデオデータ処理方法、または前記符号化されたビデオデータ生成方法をコンピュータで実行させるためのプログラムが記録されたコンピュータで読取り可能な記録媒体が提供される。

【0020】

第４側面によるビデオデータ処理装置は、符号化されたビデオデータのビットストリームを獲得するビットストリーム獲得部、前記ビットストリームを復号するビデオ復号部、及び前記ビットストリーム内のランダムアクセスポイントピクチャ後の復号順序を有するピクチャのビデオ処理に利用されるメタデータ情報を獲得し、前記ランダムアクセスポイントピクチャ後の復号順序を有するピクチャのうち復号されたビデオデータに対して、前記メタデータ情報に基づいて、ビデオ処理を行うビデオ処理プロセッサを含んでもよい。

【0021】

また、前記ビデオ処理プロセッサは、前記ビットストリームの所定位置において、メタデータ情報に係わる識別情報を獲得し、メタデータ情報のデータベースから、前記獲得したメタデータ情報に係わる識別情報とマッチングする前記メタデータ情報を獲得することができる。

【0022】

また、前記ビデオ処理プロセッサは、前記ビットストリームにおいて、前記ランダムアクセスポイントピクチャの位置と、前記ランダムアクセスポイントピクチャ後の復号順序を有する少なくとも１つのピクチャから構成される場面の場面カットの位置とに基づいて、前記メタデータ情報を獲得することができる。

【0023】

第５側面によるビデオデータ生成装置は、ビデオデータを符号化し、ランダムアクセスポイントピクチャ後の復号順序を有するピクチャのビデオ処理に利用されるメタデータ情報を生成するビデオ符号化部、及び前記メタデータ情報、または前記メタデータ情報に係わる識別情報を含む、符号化されたビデオデータのビットストリームを生成を生成するビットストリーム生成部を含んでもよい。

【0024】

また、前記ビットストリーム生成部は、前記ランダムアクセスポイントピクチャの位置と、前記ランダムアクセスポイントピクチャ後の復号順序を有する少なくとも１つのピクチャから構成される場面の場面カットの位置とに前記メタデータ情報を挿入し、前記ビットストリームを生成することができる。

【発明の効果】

【0025】

本発明によれば、ランダムアクセスが生じる状況において、ビデオビットストリームの適する処理が可能である。

【図面の簡単な説明】

【0026】

【図1】ビデオデータ処理システムについて説明するための図面である。

【図2A】ビデオデータについて説明するための図面である。

【図2B】符号化されたビデオデータについて説明するための図面である。

【図3A】一実施形態によるビデオデータ生成装置の構成について説明するためのブロック図である。

【図3B】一実施形態によるビデオデータ処理装置の構成について説明するためのブロック図である。

【図4】一実施形態によるメタデータ情報に係わる識別情報を利用した、符号化されたビデオデータのビットストリーム生成方式及びビットストリーム処理方式について説明するための図面である。

【図5A】メタデータ情報に係わる識別情報を伝送するメッセージのフォーマットを示した図面である。

【図5B】メタデータ情報に係わる識別情報を伝送するメッセージのフォーマットを示した図面である。

【図6A】一実施形態による、メタデータ情報を挿入させるビデオビットストリーム内の最適位置を考慮した、符号化されたビデオデータのビットストリーム生成方式及びビットストリーム処理方式について説明するための図面である。

【図6B】他の実施形態による、メタデータ情報を挿入させるビデオビットストリーム内の最適位置を考慮した、符号化されたビデオデータのビットストリーム生成方式及びビットストリーム処理方式について説明するための図面である。

【図6C】さらに他の実施形態による、メタデータ情報を挿入させるビデオビットストリーム内の最適位置を考慮した、符号化されたビデオデータのビットストリーム生成方式及びビットストリーム処理方式について説明するための図面である。

【図7A】一実施形態による、符号化されたビデオデータ生成方法に係わるフローチャートである。

【図7B】一実施形態による、符号化されたビデオデータ処理方法に係わるフローチャートである。

【発明を実施するための形態】

【0027】

第１側面による符号化されたビデオデータ処理方法は、符号化されたビデオデータのビットストリームを獲得する段階、前記ビットストリーム内のランダムアクセスポイントピクチャ後の復号順序を有するピクチャのビデオ処理に利用されるメタデータ情報を獲得する段階、及び前記ランダムアクセスポイントピクチャ後の復号順序を有するピクチャのうち復号されたビデオデータに対して、前記メタデータ情報に基づいて、ビデオ処理を行う段階を含んでもよい。

【0028】

以下、添付された図面を参照しながら、ただ例示のための実施形態によって、発明について詳細に説明する。下記実施形態、は発明を具体化するためのものであり、発明の権利範囲を制限したり限定したりするものではないということは、言うまでもない。詳細な説明及び実施形態から、発明が属する技術分野の当業者が容易に類推することができることは、発明の権利範囲に属すると解釈される。

【0029】

本明細書で使用される「構成される」または「含む」というような用語は、明細書上に記載されたさまざまな構成要素、またはさまざまな段階を必ずしもいずれも含むものであると解釈されるものではなく、そのうち一部の構成要素、または一部の段階は、含まれないこともあり、またはさらなる構成要素または段階をさらに含んでもよいとに解釈されなければならない。

【0030】

また、本明細書で使用される「第１」または「第２」というように序数を含む用語は、多様な構成要素についての説明に使用することができるが、前記構成要素は、前記用語によって限定されるものではない。前記用語は、１つの構成要素を他の構成要素から区別する目的のみに使用される。

【0031】

本実施形態は、符号化されたビデオデータ処理方法及びその装置、並びに符号化されたビデオデータ生成方法及びその装置に係わるものであり、以下の実施形態が属する技術分野において当業者に周知である事項については、詳細な説明を省略する。

【0032】

図１は、ビデオデータ処理システム１０について説明するための図面である。図１を参照すれば、ビデオデータ処理システム１０は、ビデオデータ生成装置１００とビデオデータ処理装置２００とを含んでもよい。

【0033】

ビデオデータ生成装置１００は、ビデオ符号化装置にもなる。ビデオデータ生成装置１００は、入力された映像、すなわち、ビデオデータを符号化し、符号化されたビデオデータを生成することができる。

【0034】

ビデオデータ処理装置２００は、ビデオ復号装置にもなる。ビデオデータ処理装置２００は、符号化されたビデオデータを復号し、復号されたビデオデータを生成することができる。

【0035】

ビデオデータ生成装置１００は、符号化されたビデオデータのビットストリーム（以下、ビデオビットストリーム）をビデオデータ処理装置２００に伝送し、ビデオデータ処理装置２００は、ビデオビットストリームを受信することができる。

【0036】

図２Ａは、ビデオデータについて説明するための図面である。

【0037】

該ビデオデータは、ビデオフレーム、言い換えれば、ピクチャの連続である。ビデオデータは、ビデオシーケンス（video sequence）とも呼ばれる。

【0038】

ピクチャのグループ（ＧＯＰ：group of pictures）は、ディスプレイ順序（display order）によって羅列されたピクチャのうち少なくとも１つのピクチャの連続を意味する。

【0039】

該ピクチャは、ビデオブロック、言い換えれば、ＬＣＵｓ（largest coding units）またはＣＴＵｓ（coding treeblock units）の連続である。該ビデオブロックは、輝度（luminance）コンポーネントと彩度（chroma）コンポーネントとを有することができる。

【0040】

該ビデオ符号化装置は、１つのピクチャを複数個のスライスに分けることができる。このとき、スライスは、Ｉスライス、ＰスライスまたはＢスライスにもなる。該Ｉスライスは、イントラ予測モード（intra prediction mode）を利用して予測されたものであり、Ｐスライスは、インタ予測モード（inter prediction mode）を利用して予測されたものであり、Ｂスライスは、双方向インタ予測モード（bi-directional inter prediction mode）を利用して予測されたものを意味する。

【0041】

図２Ａを参照すれば、ビデオデータは、第１ピクチャから第８ピクチャまで複数個のピクチャを含んでいる。該ビデオデータに含まれたピクチャは、ディスプレイ順序による連続的なピクチャでもある。第１ピクチャから第４ピクチャまで、第１ ＧＯＰであり、第５ピクチャから第８ピクチャまで、第２ ＧＯＰである。

【0042】

任意のピクチャは、複数個のスライスに分けられ、そのスライスは、複数個のビデオブロックを含んでもよい。図２Ａを参照すれば、第３ピクチャは、第１スライスと第２スライスとに区分され、それぞれのスライスは、複数個のビデオブロック、すなわち、ＬＣＵを含んでもよい。

【0043】

ビデオ符号化時に、ビデオデータ、ＧＯＰ、ピクチャ、スライス、ＣＵ（coding unit）それぞれは、ビデオ符号化属性を示すシンタックスデータ（syntax data）と係わる。ビデオ復号装置は、ビデオデータを復号するために、かようなシンタックスデータを利用することができる。該シンタックスデータは、シンタックスエレメント（syntax elements）を含むシンタックス構造（syntax structure）であり、パラメータ集合であると見ることができる。例えば、ＨＥＶＣ（high efficiency video coding）においては、ＶＰＳ（video parameter set）、ＳＰＳ（sequence parameter set）、ＰＰＳ（picture parameter set）、ＡＰＳ（adaptive parameter set）などのパラメータ集合を定義している。

【0044】

図２Ｂは、符号化されたビデオデータについて説明するための図面である。

【0045】

符号化されたビデオデータは、復号順序（decoding order）または符号化順序（coding order）によるピクチャの連続である。符号化されたビデオデータは、符号化されたビデオシーケンス（coded video sequence）だも呼ばれる。

【0046】

図２Ｂを参照すれば、符号化されたビデオデータ（coded video data）は、第１ピクチャから第８ピクチャまで、複数個のピクチャを含んでいる。符号化されたビデオデータに含まれたピクチャは、復号順序による連続的なピクチャでもある。すなわち、符号化されたビデオデータは、ディスプレイ順序ではない復号順序によるピクチャの連続であるので、図２Ｂに図示されているように、第５ピクチャと第６ピクチャとの順序が、図２Ａのビデオデータでの第５ピクチャと第６ピクチャとの順序と異なってもよい。言い替えれば、第６ピクチャは、第５ピクチャより先に復号される。

【0047】

図２Ｂを参照すれば、任意の１つのピクチャは、１つのアクセスユニット（access unit）に対応する。該アクセスユニットは、複数個のＮＡＬ（network abstraction layer）ユニットを含んでもよく、１つの符号化されたピクチャを含んでもよい。ＮＡＬユニットは、ＶＣＬ ＮＡＬユニットと、non−ＶＣＬ ＮＡＬユニットとに区分される。該ＶＣＬ ＮＡＬユニットには、ビデオデータの１つのピクチャを構成するスライスに係わるデータが含まれてもよい。該non−ＶＣＬユニットには、スライスに係わるデータ以外の情報、例えば、パラメータ集合に係わるデータが含まれてもよい。

【0048】

図２Ｂを参照すれば、第３ピクチャは、ヘッダ（header）とＮＡＬユニットとの連続からなるということが分かる。従って、符号化されたビデオデータのビットストリーム、すなわち、該ビデオビットストリームは、復号順序による複数個のアクセスユニットの連続であると見ることができ、さらに詳細には、複数個のＮＡＬユニットの連続であると見ることができる。

【0049】

一方、本発明の一実施形態によるビデオデータ生成装置１００は、ビデオビットストリームにメタデータ情報を含めることができる。本発明の一実施形態によるビデオデータ処理装置２００は、該ビデオビットストリームからメタデータ情報を獲得し、復号されたビデオデータに対して、ディスプレイのためのビデオ処理を行うことができる。該メタデータ情報は、ビデオ処理に利用される情報であり、映像品質を高め、オリジナル映像に符合させるために、復号されたビデオデータにも適用されるデータを意味する。例えば、該メタデータ情報は、場面係わる情報であり、場面カット（scene cut）、場面分類（scene classification）、コンテンツの色空間（color space of contents）、色ボリューム（color volume）などに係わる情報にもなる。

【0050】

一方、該メタデータ情報は、それぞれの識別情報を有することができる。同じ識別情報を有するメタデータ情報が伝送される場合、最近伝送されたメタデータ情報が、以前に伝送されたメタデータ情報を部分的に更新したり全体的に代替したりすることができる。また、該メタデータ情報は、以前に伝送されたメタデータ情報を取り消す情報を含んでもよい。該メタデータ情報は、当該メタデータ情報をどのくらい持続させて適用するかということに係わる情報を含んでもよい。該メタデータ情報は、当該メタデータをビデオ処理に利用するとき、適用することができる所定値や条件などを含む少なくとも１つのパラメータを含んでもよい。

【0051】

該メタデータ情報は、ＳＥＩ（supplemental enhancement information）メッセージまたはＳＥＩ ＮＡＬユニットに含まれ、ビデオビットストリームに挿入される。該メタデータ情報は、各場面の開始部分に挿入され、その場面に含まれた複数個のピクチャに対応するビデオ処理時に適用される。このとき、ある場面の開始部分ではない部分にランダムアクセスが発生すれば、その場面に係わるメタデータ情報がなく、映像の品質が低下する。

【0052】

ランダムアクセスが発生しても、各場面に係わるメタデータ情報の損失がないようにするために、ビデオビットストリームに含まれた全てのピクチャの位置に、各ピクチャが属した場面のメタデータ情報を含めることができる。しかし、かような方式は、ビットレートにおいて、オーバーヘッドが発生してしまう。他の方式は、受信したビデオビットストリームを始めから最後まで分析し、ビデオビットストリームに含まれた各ピクチャのメタデータ情報を把握してメモリに保存しておき、ビデオ処理時に活用する方式である。しかし、かような方式は、リアルタイムストリーミングには適用し難く、ビデオビットストリームの受信がすでに完了した場合にのみ適用することができる。

【0053】

以下、ランダムアクセスが発生する状況を考慮し、メタデータ情報を含むビデオビットストリームの生成及び処理について説明する。

【0054】

図３Ａは、一実施形態によるビデオデータ生成装置１００の構成について説明するためのブロック図である。ビデオデータ生成装置１００には、図３Ａに図示された構成以外にも、他の汎用的なハードウェア構成が含まれてもよいという点は、当該技術分野の当業者であるならば、理解することができるであろう。

【0055】

図３Ａを参照すれば、ビデオデータ生成装置１００は、ビデオ符号化部１１０とビットストリーム生成部１３０とを含んでもよい。

【0056】

ビデオ符号化部１１０は、ビデオデータを符号化することができる。ビデオ符号化部１１０は、ビデオデータ生成装置１００に入力されたビデオを、符号化順序（coding order）による符号化されたビデオデータに生成することができる。

【0057】

ビデオ符号化部１１０は、符号化されたビデオデータが、ビデオデータ処理装置２００で復号された後でビデオ処理されるとき、復号されたビデオデータに適用されるメタデータ情報を生成することができる。かようなメタデータ情報は、符号化されたビデオデータに対して、ランダムアクセスが発生する場合にも、ランダムアクセスが発生した地点後、復号順序を有するピクチャが復号された後、ビデオ処理が行われるように準備される。このとき、ランダムアクセスは、符号化されたビデオデータに対して、順次に復号してディスプレイせず、復号及びディスプレーする地点をジャンプしたり、ビデオを付け合せ（splicing）たりする場合などを意味する。

【0058】

言い替えれば、ビデオ符号化部１１０は、各場面の開始部分に挿入され、ビデオ処理に利用されるメタデータ情報を生成したり、ランダムアクセスポイントピクチャ（random access point picture）後の復号順序を有するピクチャのビデオ処理に利用されるメタデータ情報を生成したりすることができる。

【0059】

該ランダムアクセスポイントピクチャは、ランダムアクセスが起きた地点のピクチャを意味する。ランダムアクセスが可能なランダムアクセスポイントにもなるＩＲＡＰ（intra random access point）ピクチャは、ランダムアクセス時、ビデオビットストリームにおいて復号順序上最初のピクチャであり、Ｉスライスのみを含んでもよい。ＩＲＡＰピクチャは、ＣＲＡ（clean random access）ピクチャ、ＢＬＡ（broken link access）ピクチャ、またはＩＤＲ（instantaneous decoding refresh）ピクチャでもある。

【0060】

ＣＲＡピクチャは、ピクチャのグループ（ＧＯＰ）が開かれた（open）構造を有するとき、ランダムアクセスポイントにもなるピクチャである。ＣＲＡピクチャも、ＩＲＡＰピクチャであるので、Ｉスライスのみを含み、ビデオビットストリームにおいて、復号順序上最初のピクチャにもなり、ビデオビットストリーム中間になってもよい。ビデオビットストリームが中間で断絶（cut）されたり、損失されたり、またはピクチャのスプライシングが発生したりし、ＣＲＡピクチャにおいてランダムアクセスが発生すれば、復号順序がＣＲＡピクチャに先行する先行ピクチャは可用ではなくなる（unavailable）。リーディングピクチャの参照ピクチャにもなる先行ピクチャが可用ではなくなれば、可用ではないピクチャを参照するリーディングピクチャは、正常に復号されない。

【0061】

ＢＬＡピクチャは、符号化されたピクチャがスプライシングされたり、ビデオビットストリームが中間で断絶されたりするとき、ランダムアクセスポイントとして、ビデオビットストリーム中間に存在するピクチャを意味する。ＢＬＡピクチャは、ＣＲＡピクチャと類似した機能及び性質を有する。ただし、ランダムアクセスが発生したとき、ＢＬＡピクチャは、新たなシーケンスの始まりと見なされるために、ＣＲＡピクチャと異なり、ＢＬＡピクチャがデコーダに受信されるとき、映像に係わるパラメータ情報が再びいずれも受信される。ＢＬＡピクチャは、ビデオ符号化装置１００からも決まり、ビデオ符号化装置１００から、ビデオビットストリームを受信した外部装置において、ＣＲＡピクチャをＢＬＡピクチャに変更することもできる。例えば、ビデオビットストリームがスプライシングされる場合、ビデオビットストリームを受信した外部装置は、ＣＲＡピクチャをＢＬＡピクチャに変更して映像を復号するビデオ復号装置２００に提供し、このとき、映像に係わるパラメータ情報も、外部装置からビデオ復号装置２００に新たに提供される。

【0062】

一方、ビデオ符号化部１１０は、ビデオデータ処理装置２００において、ランダムアクセスが発生しても、ビデオ処理に利用される各場面のメタデータ情報が損失されないように、ビデオビットストリームの各場面に属する全てのピクチャ位置に含めるためのメタデータ情報に係わる識別情報を生成することもできる。

【0063】

ビットストリーム生成部１３０は、メタデータ情報を含む、符号化されたビデオデータのビットストリームを生成することができる。ビットストリーム生成部１３０は、メタデータ情報を各場面の開始部分に挿入したり、ランダムアクセスが起こるランダムアクセスポイントピクチャ、及び周辺ピクチャを考慮し、メタデータ情報を適切なところに挿入したりすることにより、メタデータ情報を含むビデオビットストリームを生成することができる。ランダムアクセスが起こる場合、飛ばした一部ピクチャとメタデータ情報とは復号されないために、ランダムアクセスポイントピクチャ後の復号順序を有するピクチャに対して、復号後にビデオ処理を行うように、ビデオビットストリームに、メタデータ情報が挿入される位置が重要である。

【0064】

ビットストリーム生成部１３０は、ランダムアクセスポイントピクチャの位置と、ランダムアクセスポイントピクチャ後の復号順序を有する少なくとも１つのピクチャから構成される場面の場面カットの位置とにメタデータ情報を挿入し、ビットストリームを生成することができる。このとき、該場面カットは、複数個のピクチャからなるある場面が、複数個のピクチャからなる他の場面に転換される部分を意味する。該ランダムアクセスポイントピクチャの位置が、任意の場面に対する場面カットの位置に該当すれば、ビットストリーム生成部１３０は、場面カットに対応する場面に係わるメタデータ情報でもって、ランダムアクセスポイントピクチャの位置に挿入するメタデータ情報の代わりをすることができる。同一メタデータ情報を重複して挿入しないようにするためである。

【0065】

場面カットの位置は、各場面に属したピクチャのうち、ディスプレイ順序上で最初ピクチャの位置に該当する。任意の場面に係わるメタデータ情報は、その任意の場面以前の場面に対応する場面カット位置に挿入することができる。それは、メタデータの復号に必要となる時間を考慮し、実際メタデータが適用される場面より以前の場面に対応する場面カット位置に挿入することにより、メタデータの復号によるディレイを最小化したりなくしたりするためである。

【0066】

一方、ビデオビットストリームにおいて、ランダムアクセスポイントピクチャの位置によって、ランダムアクセスポイントピクチャよりディスプレイ順序では先行するが、復号順序では後になるリーディングピクチャ（leading picture）もある。該リーディングピクチャは、正常に復号可能なリーディングピクチャ（decodable leading picture）と、復号不可能なリーディングピクチャとに分けることができる。ランダムアクセスポイントピクチャの位置によって、復号可能なリーディングピクチャが存在しなかったり、ランダムアクセスポイントピクチャと同じであるか、あるいは異なる場面に属する少なくとも１つの復号可能なリーディングピクチャが存在したりする。

【0067】

ビットストリーム生成部１３０は、ランダムアクセスポイントピクチャに対して、リーディングピクチャが存在せず、ランダムアクセスポイントピクチャ位置が、場面カットの位置ではなければ、ランダムアクセスポイントピクチャが属した場面に係わるメタデータ情報を、ランダムアクセスポイントピクチャ位置に挿入し、ビットストリームを生成することができる。

【0068】

ビットストリーム生成部１３０は、ランダムアクセスポイントピクチャに対して、複数個の復号可能なリーディングピクチャが存在する場合、復号可能なリーディングピクチャがいずれもランダムアクセスポイントピクチャと異なる場面に属すれば、ランダムアクセスポイントピクチャが属した場面に係わるメタデータ情報を、ランダムアクセスポイントピクチャ位置に挿入し、復号可能なリーディングピクチャが属した場面に係わるメタデータ情報を、ディスプレイ順序上、最初に復号可能なリーディングピクチャの位置に挿入し、ビットストリームを生成することができる。

【0069】

ビットストリーム生成部１３０は、ランダムアクセスポイントピクチャに対して、複数個の復号可能なリーディングピクチャが存在する場合、復号可能なリーディングピクチャがいずれもランダムアクセスポイントピクチャと同じ場面に属すれば、ディスプレイ順序上、最初に復号可能なリーディングピクチャの位置に、複数個の復号可能なリーディングピクチャが含まれた場面に係わるメタデータ情報を挿入し、ビットストリームを生成することができる。ただし、復号可能なリーディングピクチャにもかかわらず、復号されないか、あるいはビデオビットストリームから除去される場合がある場合に備え、復号可能なリーディングピクチャが、ランダムアクセスポイントピクチャと同じ場面に属するとき、ディスプレイ順序上、最初に復号可能なリーディングピクチャの位置と、ランダムアクセスポイントピクチャの位置とのいずれにもメタデータ情報を挿入し、ビットストリームを生成することもできる。また、復号可能なリーディングピクチャが除去される場合、そのピクチャの位置に含まれていたメタデータ情報を、同じ場面に属したランダムアクセスポイントピクチャの位置に移すこともできる。ビデオ復号過程またはビデオ出力過程において、復号不可能なリーディングピクチャ及び／または復号可能なリーディングピクチャが除去される場合があるからである。

【0070】

一方、ビットストリーム生成部１３０は、メタデータ情報に係わる識別情報を含む、符号化されたビデオデータのビットストリームを生成することもできる。ビデオ符号化部１１０において、メタデータ情報に係わる識別情報を生成した場合、メタデータの代わりに、メタデータ情報に係わる識別情報が含まれるように、ビデオビットストリームを生成することができる。メタデータ情報を直接含めるより、ファイルサイズを小さくし、オーバーヘッドが発生しないように、メタデータに係わる識別情報をビデオビットストリームの所定位置に含めるのである。ただし、ビットストリーム生成部１３０がメタデータ情報に係わる識別情報を含むビデオビットストリームを生成する場合、当該メタデータを除いた当該メタデータをビデオ処理に利用するとき、適用することができる所定値や条件などを含むパラメータを含めてもよい。

【0071】

メタデータ情報を含むメタデータ情報のデータベースは、メタデータ情報に係わる識別情報が含まれたビデオビットストリームと独立した別個のチャネルを介して、ビデオデータ生成装置１００からビデオデータ処理装置２００に伝送される。該メタデータ情報のデータベースは、ビデオデータ処理装置２００の所定保存空間に保存された少なくとも１つのメタデータ情報を意味する。該メタデータ情報のデータベースは、１回または複数回にわたって、ビデオデータ生成装置１００からビデオデータ処理装置２００に伝送され、ビデオデータ処理装置２００に保存される。ビデオデータ処理装置２００は、メタデータ情報に係わる識別情報を利用して、ビデオデータ処理に使用されるメタデータ情報を、メタデータ情報のデータベースから探し出すことができる。該メタデータ情報のデータベースは、ビデオデータ生成装置１００からビデオビットストリームが伝送される以前に、ビデオデータ処理装置２００に伝送されるか、あるいは別個のチャネルを介して共に伝送される。

【0072】

図３Ｂは、一実施形態によるビデオデータ処理装置２００の構成について説明するためのブロック図である。ビデオデータ処理装置２００には、図３Ｂに図示された構成以外にも、他の汎用的なハードウェア構成が含まれてもよいという点は、当該技術分野の当業者であるならば、理解することができるであろう。

【0073】

ビデオデータ処理装置２００は、ビットストリーム獲得部２１０、ビデオ復号部２３０及びビデオ処理プロセッサ２５０を含んでもよい。

【0074】

ビットストリーム獲得部２１０は、ビデオビットストリームを獲得することができる。ビットストリーム獲得部２１０は、ビデオデータ処理装置２００に受信されたビデオビットストリームを獲得し、ビデオ復号部２３０に伝達することができる。

【0075】

ビデオ復号部２３０は、ビデオビットストリームを復号することができる。ビデオ復号部２３０は、符号化されたビデオデータが復号された後、ビデオ処理されるとき、復号されたビデオデータに利用されるメタデータ情報を、ビデオビットストリームから抽出することができる。かようなメタデータ情報は、符号化されたビデオデータに対して、ランダムアクセスが発生する場合、ランダムアクセスポイントピクチャ後の復号順序を有するピクチャが復号された後、ビデオ処理が行われるように、ランダムアクセスポイントピクチャ以後の復号されたビデオデータから抽出することができる。

【0076】

ビデオ処理プロセッサ２５０は、ビデオビットストリームにおいて、ランダムアクセスポイントピクチャ後の復号順序を有するピクチャのビデオ処理に利用されるメタデータ情報を獲得することができる。

【0077】

ビデオ処理プロセッサ２５０は、ビデオビットストリームにおいて、ランダムアクセスポイントピクチャの位置と、ランダムアクセスポイントピクチャ後の復号順序を有する少なくとも１つのピクチャから構成される場面の場面カット（scene cut）の位置とに基づいて、メタデータ情報を獲得することができる。このとき、ランダムアクセスポイントピクチャの位置が、任意の場面に対する場面カットの位置に該当すれば、ビデオ処理プロセッサ２５０は、場面カットに対応する場面に係わるメタデータ情報を、ランダムアクセスポイントピクチャの位置から獲得するメタデータ情報として使用することができる。

【0078】

該場面カットの位置は、各場面に属したピクチャのうち、ディスプレイ順序上で最初ピクチャの位置に該当する。任意の場面に係わるメタデータ情報は、任意の場面以前の場面に対応する場面カット位置で獲得することができる。それは、メタデータの復号によるディレイを最小化するか、あるいはなくするために、メタデータの復号に必要となる時間を考慮し、実際メタデータが適用される場面より以前の場面に対応する場面カット位置にメタデータが挿入された場合である。

【0079】

一方、ランダムアクセスポイントピクチャの位置によって、復号可能なリーディングピクチャが存在しないか、あるいはランダムアクセスポイントピクチャと同じであるか、あるいは異なる場面に属する少なくとも１つの復号可能なリーディングピクチャが存在することができる。

【0080】

ビデオ処理プロセッサ２５０は、ランダムアクセスポイントピクチャに対して、リーディングピクチャが存在せず、ランダムアクセスポイントピクチャ位置が、場面カットの位置ではなければ、ランダムアクセスポイントピクチャ位置に基づき、ランダムアクセスポイントピクチャが属した場面に係わるメタデータ情報を獲得することができる。

【0081】

ビデオ処理プロセッサ２５０は、ランダムアクセスポイントピクチャに対して、複数個の復号可能なリーディングピクチャが存在する場合、復号可能なリーディングピクチャがいずれもランダムアクセスポイントピクチャと異なる場面に属すれば、ランダムアクセスポイントピクチャ位置に基づき、ランダムアクセスポイントピクチャが属した場面に係わるメタデータ情報を獲得し、ディスプレイ順序上、最初に復号可能なリーディングピクチャの位置に基づき、復号可能なリーディングピクチャが属した場面に係わるメタデータ情報を獲得することができる。ビデオ処理プロセッサ２５０は、ランダムアクセスポイントピクチャに対して、複数個の復号可能なリーディングピクチャが存在する場合、復号可能なリーディングピクチャがいずれもランダムアクセスポイントピクチャと同じ場面に属すれば、ディスプレイ順序上、最初に復号可能なリーディングピクチャの位置に基づき、複数個の復号可能なリーディングピクチャが含まれた場面に係わるメタデータ情報を獲得することができる。ただし、復号可能なリーディングピクチャにもかかわらず、復号されないか、あるいはビデオビットストリームから除去される場合がある場合に備え、復号可能なリーディングピクチャがランダムアクセスポイントピクチャと同じ場面に属するとき、ディスプレイ順序上、最初に復号可能なリーディングピクチャの位置と、ランダムアクセスポイントピクチャの位置とのいずれにもメタデータ情報が含まれてもよいので、２つの位置いずれにも基づき、メタデータ情報を獲得することができる。また、復号可能なリーディングピクチャが除去される場合、そのピクチャの位置に含まれていたメタデータ情報が同じ場面に属したランダムアクセスポイントピクチャの位置に移されるので、そのときは、ランダムアクセスポイントピクチャの位置に基づき、メタデータ情報を獲得することができる。

【0082】

ビデオ処理プロセッサ２５０は、ランダムアクセスポイントピクチャ後の復号順序を有するピクチャのうち復号されたビデオデータに対して、獲得したメタデータ情報に基づいて、ビデオ処理を行うことができる。

【0083】

一方、ビデオ処理プロセッサ２５０は、ビデオデータ生成装置１００において、ビデオビットストリームの所定位置にメタデータ情報に係わる識別情報を含め、ビデオビットストリームを伝送した場合、メタデータ情報に係わる識別情報として、メタデータ情報のデータベースからメタデータ情報を獲得することもできる。例えば、メタデータ情報に係わる識別情報は、ビデオビットストリームの各場面に属する全てのピクチャ位置に含まれてもよい。メタデータ情報に係わる識別情報とマッチングするメタデータ情報を、メタデータ情報のデータベースから獲得することができる。メタデータ情報のデータベースは、ビデオビットストリームが受信されるチャネルと別個のチャネルでビデオデータ生成装置１００から受信され、ビデオビットストリームより事前に受信されたものでもある。

【0084】

以下、符号化されたビデオデータのビットストリーム生成する過程と、符号化されたビデオデータのビットストリーム処理する過程とについて具体的な例を挙げて説明する。図４、並びに図５Ａ及び図５Ｂでは、ランダムアクセスに備え、メタデータ情報に係わる識別情報を利用するビデオビットストリームについて詳細に説明し、図６Ａないし図６Ｃでは、ランダムアクセスに備え、メタデータ情報を挿入させるビデオビットストリーム内の最適位置を考慮するビデオビットストリームについて詳細に説明する。

【0085】

図４は、一実施形態による、メタデータ情報に係わる識別情報を利用した、符号化されたビデオデータのビットストリーム生成方式及びビットストリーム処理方式について説明するための図面である。

【0086】

図４を参照すれば、ビデオデータ生成装置１００は、ビデオデータ処理装置２００にビデオビットストリームを伝送することができる。ビデオビットストリームは、ビデオデータ処理装置２００でランダムアクセスが発生しても、ビデオ処理に利用される各場面のメタデータ情報が損失されないように、ビデオビットストリームの各場面に属する全てのピクチャ位置に、メタデータ情報に係わる識別情報を含んでもよい。メタデータ情報に係わる識別情報は、メタデータ情報のＩＤ（identification）、メタデータ情報の位置情報などにもなる。各場面に属する全てのピクチャ位置に、メタデータ情報を直接含めるよりファイルサイズを小さくし、オーバーヘッドが発生しないように、メタデータに係わる識別情報を含めたのである。メタデータ情報に係わる識別情報は、メタデータ情報のデータベースにおいてメタデータ情報を問い合わせ、メタデータ情報を獲得するのに利用される。

【0087】

一方、各場面に属する全てのピクチャに、メタデータ情報に係わる識別情報を含めてもよいが、さらにファイルサイズを小さくするために、メタデータ情報に係わる識別情報の伝送頻度をさらに低めることもできる。例えば、同じ場面に属したピクチャに対して、所定数のピクチャごとに、メタデータ情報に係わる識別情報を伝送することもできる。

【0088】

該メタデータ情報は、メタデータ情報に係わる識別情報が含まれたビデオビットストリームと独立したビデオデータ生成装置１００から、ビデオデータ処理装置２００に伝送される。全てのメタデータ情報を有するデータベースの一部または全部が、ビデオデータ生成装置１００からビデオデータ処理装置２００に伝送される。該メタデータ情報は、ビデオビットストリームが伝送されるチャネルと別個のチャネルで伝送され、ビデオビットストリームより事前に送られる。例えば、ＳＰＳ（sequence parameter set）またはＰＰＳ（picture parameter set）のようなシンタックスデータ（syntax data）が伝送される安全なチャネルを介して、メタデータ情報が伝送される。一部または全てのメタデータ情報は、長ターム（long term）を有して周期的に伝送される。メタデータ情報に係わる識別情報の伝送頻度は、メタデータ情報を問い合わせることができるメタデータ情報のデータベースの伝送頻度より高い。

【0089】

図５Ａ及び図５Ｂは、メタデータ情報に係わる識別情報を伝送するメッセージのフォーマットを示した図面である。

【0090】

図５Ａのメッセージフォーマットは、メタデータ情報に係わる識別情報と、メタデータ情報とをいずれも含む形態であり、メッセージフォーマット内の条件文によって、メタデータ情報が含まれるか否かということが決定される。図５Ａにおいて、「ｍｅｔａ＿ｄａｔａ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ」値が「true」であるならば、メタデータ情報を含んで伝送することができ、「ｍｅｔａ＿ｄａｔａ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ」値が「false」であるならば、メタデータ情報に係わる識別情報だけ含まて伝送することができる。従って、各ピクチャごとに、メタデータ情報に係わる識別情報を含めて伝送させるときは、「ｍｅｔａ＿ｄａｔａ＿ｉｎｆｏ＿ｐｒｅｓｅｎｔ＿ｆｌａｇ」値を「false」に設定して伝送することができる。

【0091】

図５Ｂのメッセージフォーマットは、図５Ａのように、条件文によって伝送するデータ種類を区分せず、メタデータ情報と、メタデータ情報に係わる識別情報とをそれぞれ伝送するために、別途のメッセージフォーマットに作ったものである。図５Ｂにおいて、「ｍｅｔａ＿ｄａｔａ＿ｉｎｆｏ」メッセージフォーマットが、メタデータ情報を伝送することができる形態であり、「ｍｅｔａ＿ｄａｔａ＿ｐｏｉｎｔｅｒ」メッセージフォーマットが、メタデータ情報に係わる識別情報を伝送することができる形態である。従って、各ピクチャごとに、メタデータ情報に係わる識別情報を含めて伝送させるときは、「ｍｅｔａ＿ｄａｔａ＿ｐｏｉｎｔｅｒ」メッセージフォーマットで伝送することができる。

【0092】

図６Ａは、一実施形態による、メタデータ情報を挿入させるビデオビットストリーム内の最適位置を考慮した、符号化されたビデオデータのビットストリーム生成方式及びビットストリーム処理方式について説明するための図面である。

【0093】

図６Ａを参照すれば、ディスプレイ順序と復号順序とが異なる、ビデオデータの一部分を確認することができる。ディスプレイ順序または出力順序（output order）を見れば、第２６ピクチャから第３２ピクチャに該当し、第２６ピクチャから順次にディスプレイされるピクチャの連続であると見ることができる。一方、復号順序（decoding order）を見れば、ディスプレイ順序上で、第２７ピクチャに該当するピクチャが、最も早い復号順序２４に該当し、ディスプレイ順序上で、第３２ピクチャに該当するピクチャが、最も遅い復号順序３４に該当するということが分かる。

【0094】

図６Ａに図示されているように、ランダムアクセスが、ディスプレイ順序上で、第３１ピクチャに該当するピクチャに発生すると仮定する場合、ランダムアクセスポイントピクチャは、ディスプレイ順序上で、第３１ピクチャに該当するピクチャになる。ディスプレイ順序上で、第３１ピクチャに該当するピクチャの復号順序は、２８であるために、復号順序が２８以後のピクチャだけ復号される。従って、ディスプレイ順序上で、第２６ピクチャと第２７ピクチャは、復号順序がそれぞれ２７及び２４であるために、復号されることがない。

【0095】

図６Ａを参照すれば、ディスプレイ順序上で、第２８ピクチャ、第２９ピクチャ、第３０ピクチャは、ランダムアクセスポイントピクチャである第３１ピクチャよりディスプレイ順序は先立つが、復号順序が遅れるので、リーディングピクチャに該当する。特に、それらは、復号可能なリーディングピクチャに該当する。一方、ディスプレイ順序と復号順序とがいずれもランダムアクセスポイントピクチャより遅れるピクチャをトレーリングピクチャ（trailing picture）という。図６Ａを参照すれば、ディスプレイ順序上で第３２ピクチャは、ランダムアクセスポイントピクチャである第３１ピクチャより、ディスプレイ順序と復号順序とがいずれも遅れるので、トレーリングピクチャに該当する。かようなビデオデータを符号化し、ビデオビットストリームに生成する場合、各場面に対応するメタデータ情報を挿入したビデオビットストリームは、ランダムアクセスを考慮し、次のように生成することができる。

【0096】

図６Ａを参照すれば、復号順序が２８であるピクチャにランダムアクセスが発生したので、復号順序が２８以後のピクチャのためのメタデータ情報が、ビデオビットストリーム生成時に挿入されなければならない。図６Ａに図示されているように、復号順序上で２９、３０、３１であるピクチャは、復号可能なリーディングピクチャであり、ランダムアクセスポイントピクチャが属した第２場面と異なる第１場面に該当するピクチャであるので、第１メタデータ情報ｍ１が挿入されなければならない。復号順序上で２８、３４であるピクチャは、第２場面に該当するピクチャであるので、第２メタデータ情報ｍ２が挿入されなければならない。ただし、ビデオビットストリーム生成時、ディスプレイ順序や場面の順序と係わりなく、復号順にピクチャが羅列されるので、メタデータ情報は、復号順序を考慮し、メタデータ情報が最も先に必要なピクチャの位置を優先させ、メタデータ情報を挿入するが、一度挿入されたメタデータ情報については、重複的に含まれないようにしなければならない。

【0097】

図６Ａに図示されているように、ランダムアクセスが発生し、復号順序が２８であるピクチャがランダムアクセスポイントピクチャになる場合、ランダムアクセスポイントピクチャが属した場面である第２場面に係わる第２メタデータ情報がランダムアクセスポイントピクチャの位置に挿入される。このとき、ランダムアクセスポイントピクチャの位置は、ランダムアクセスポイントピクチャの前後位置にもなり、図６Ａに図示されているように、ランダムアクセスポイントピクチャの前に位置するように、第２メタデータ情報を挿入することができる。

【0098】

次に、復号順序が２９、３０、３１であるピクチャは、第１場面に該当するピクチャであり、第１場面に係わる第１メタデータ情報が、第１場面の場面カットの位置に挿入される。このとき、第１場面の場面カットの位置は、第１場面に属したピクチャの前後位置にもなり、特に、第１場面に属したピクチャのうち、ディスプレイ順序上で最初ピクチャの位置にもなる。図６Ａに図示されているように、第１場面に属したピクチャのうち、復号順序が３０であるピクチャがディスプレイ順序上で、最初ピクチャの位置になるので、復号順序が３０であるピクチャの前に位置するように、第１メタデータ情報を挿入することができる。一方、復号順序が２９、３１であるピクチャは、復号順序が３０であるピクチャの前に挿入された第１メタデータ情報を活用することができるので、第１メタデータ情報を重複して挿入する必要がない。

【0099】

次に、復号順序が３２以後のピクチャについても、各ピクチャが属する場面に該当するメタデータ情報を、その場面のカットの位置に挿入するが、すでに挿入されたメタデータ情報は、重複して挿入しない。図６Ａに図示されているように、復号順序が３４であるピクチャは、第２場面に該当するピクチャであるが、第２メタデータ情報は、ランダムアクセスポイントピクチャの前に位置するように、すでに挿入されているので、第２メタデータ情報を重複して挿入しない。

【0100】

このように、ランダムアクセスを考慮して生成された、メタデータ情報を含むビデオビットストリームは、ビデオデータ処理装置２００において、ランダムアクセスが発生する場合、ビデオビットストリームの生成過程の逆過程に基づいて処理される。言い替えれば、ビデオデータ処理装置２００は、ランダムアクセスポイントピクチャ後の復号順序を有するピクチャのうち、復号可能なピクチャが属する各場面に係わるメタデータ情報が、ビデオビットストリームに最初に挿入された位置に基づき、メタデータ情報を獲得し、復号されたピクチャに対して、獲得したメタデータ情報に基づき、ビデオ処理を行うことができる。

【0101】

図６Ｂは、他の実施形態による、メタデータ情報を挿入させるビデオビットストリーム内の最適位置を考慮した、符号化されたビデオデータのビットストリーム生成方式及びビットストリーム処理方式について説明するための図面である。

【0102】

図６Ｂに図示されたビデオデータの一部分は、図６Ａで説明したビデオデータの一部分と、ディスプレイ順序と復号順序とが一致する。ただし、第０場面に該当するピクチャと、第１場面に該当するピクチャとが異なる。言い替えれば、復号可能なリーディングピクチャが、ランダムアクセスポイントピクチャが属した場面と異なる複数個の場面にそれぞれ属する場合である。ディスプレイ順序上で、第２８ピクチャに該当するピクチャが、図６Ａに図示されたところと異なり、第１場面ではない第０場面に属する場合、符号化されたビデオデータのビットストリーム生成方式及びビットストリーム処理方式の差異について以下で説明する。

【0103】

図６Ｂに図示されているように、ランダムアクセスポイントピクチャは、ディスプレイ順序上で、第３１ピクチャに該当するピクチャであり、ディスプレイ順序上で、第３１ピクチャに該当するピクチャの復号順序が２８であるために、復号順序が２８以後のピクチャだけ復号される。ディスプレイ順序上で、第２８ピクチャ、第２９ピクチャ、第３０ピクチャは、復号可能なリーディングピクチャに該当する。ディスプレイ順序上で、第３２ピクチャは、トレーリングピクチャに該当する。かようなビデオデータを符号化し、ビットストリームに生成する場合、各場面に対応するメタデータ情報を挿入したビデオビットストリームは、ランダムアクセスを考慮し、次のように生成することができる。

【0104】

図６Ｂを参照すれば、復号順序が２８であるピクチャに、ランダムアクセスが発生したので、復号順序が２８以後のピクチャのためのメタデータ情報が、ビデオビットストリーム生成時に挿入されなければならない。復号順序上で２９、３０、３１であるピクチャは、復号可能なリーディングピクチャである。このうち、復号順序上で３０であるピクチャは、第０場面に該当するピクチャであるので、第０メタデータ情報ｍ０が、ビデオビットストリーム生成時に挿入されなければならない。復号順序上で２９、３１であるピクチャは、第１場面に該当するピクチャであるので、第１メタデータ情報ｍ１が、ビデオビットストリーム生成時に挿入されなければならない。復号順序上で２８、３４であるピクチャは、第２場面に該当するピクチャであるので、第２メタデータ情報ｍ２が挿入されなければならない。

【0105】

図６Ｂに図示されているように、ランダムアクセスが発生し、復号順序が２８であるピクチャが、ランダムアクセスポイントピクチャになる場合、ランダムアクセスポイントピクチャが属した場面である第２場面に係わる第２メタデータ情報ｍ２が、ランダムアクセスポイントピクチャの前に位置するように、ビデオビットストリームに挿入される。

【0106】

次に、復号順序が２９であるピクチャは、第１場面に該当するピクチャであり、第１場面に係わる第１メタデータ情報ｍ１が第１場面の場面カットの位置に挿入される。図６Ｂに図示されているように、第１場面に属したピクチャのうち、復号順序が２９であるピクチャがディスプレイ順序上で最初ピクチャの位置になるので、第１メタデータ情報ｍ１は、復号順序が２９であるピクチャの前に位置するように、ビデオビットストリームに挿入される。

【0107】

次に、復号順序が３０であるピクチャは、第０場面に該当するピクチャであり、第０場面に係わる第０メタデータ情報ｍ０が、ビデオビットストリームに挿入される必要がある。ただし、図６Ｂに図示されているように、第０場面に属したピクチャのうち復号順序が３０であるピクチャが、唯一復号可能であるので、第０メタデータ情報ｍ０は、復号順序が３０であるピクチャの前に位置するように、ビデオビットストリームに挿入される。

【0108】

次に、復号順序が３１であるピクチャは、復号順序が２９であるピクチャの前にすでに挿入された第１メタデータ情報を活用することができるので、第１メタデータ情報ｍ１を重複して挿入する必要がない。

【0109】

次に、復号順序が３２以後のピクチャについても、各ピクチャが属する場面に該当するメタデータ情報を、その場面のカットの位置に挿入するが、すでに挿入されたメタデータ情報は、重複して挿入しない。図６Ｂに図示されているように、復号順序が３４であるピクチャは、第２場面に該当するピクチャであるが、第２メタデータ情報ｍ２は、ランダムアクセスポイントピクチャの前に位置するように、すでに挿入されているので、第２メタデータ情報を重複して挿入しない。

【0110】

そのように、ランダムアクセスを考慮して生成された、メタデータ情報を含むビデオビットストリームは、ビデオデータ処理装置２００でランダムアクセスが発生する場合、ビデオビットストリームの生成過程の逆過程に基づいて処理される。言い替えれば、ビデオデータ処理装置２００は、ランダムアクセスが発生したランダムアクセスポイントピクチャ後の復号順序を有するピクチャのうち、復号可能なピクチャが属する各場面に係わるメタデータ情報が初めて挿入された位置に基づき、メタデータ情報を獲得し、復号されたピクチャに対して、獲得したメタデータ情報に基づき、ビデオ処理を行うことができる。

【0111】

図６Ｃは、さらに他の実施形態による、メタデータ情報を挿入させるビデオビットストリーム内の最適位置を考慮した、符号化されたビデオデータのビットストリーム生成方式及びビットストリーム処理方式について説明するための図面である。

【0112】

図６Ｃを参照すれば、ディスプレイ順序が、第２６ピクチャから第３６ピクチャに該当し、第２６ピクチャから順次にディスプレイされるピクチャの連続であると見ることができる。一方、ピクチャ間の関係を示した矢印によって、復号順序（decoding order）を見れば、ディスプレイ順序と異なるということが分かる。

【0113】

図６Ｃに図示されているように、ランダムアクセスがディスプレイ順序上で、第３５ピクチャに該当するピクチャに発生すると仮定する場合、ランダムアクセスポイントピクチャは、ディスプレイ順序上で、第３５ピクチャに該当するピクチャになる。ディスプレイ順序上で、第２６ピクチャと第２７ピクチャとに該当するピクチャは、ランダムアクセスポイントピクチャより先立つ符号化順序を有するので、第３５ピクチャに対するランダムアクセスを考慮したビデオビットストリームに該当しない。図６Ｃを参照するとき、第３５ピクチャに対するランダムアクセス発生を考慮したビデオビットストリームには、第３５ピクチャ後の復号順序を有するピクチャだけ該当する。すなわち、復号順序によって、ディスプレイ順序上のピクチャを並べれば、第３５ピクチャ、第３１ピクチャ、第２９ピクチャ、第２８ピクチャ、第３０ピクチャ、第３３ピクチャ、第３２ピクチャ、第３４ピクチャ及び第３６ピクチャが、第３５ピクチャに対するランダムアクセス発生を考慮したビデオビットストリームに該当する。ただし、ディスプレイ順序上の第２８ピクチャないし第３０ピクチャは、復号不可能なリーディングピクチャであり、復号が不可能であるので、第２８ピクチャないし第３０ピクチャのためのメタデータ情報は、ビデオビットストリームに挿入する必要がない。

【0114】

一方、図６Ｃでは、復号可能なリーディングピクチャのうち、第１場面に属する第３２ピクチャ、第３３ピクチャ及び第３４ピクチャに対する第１メタデータ情報ｍ１を、ビデオビットストリームのいずれの位置に入れるかということに係わる２つの方式をいずれも示している。

【0115】

まず、オプション１のビデオビットストリーム（video bitstream of option１）は、メタデータ情報を各場面に属するピクチャのディスプレイ順序上、最初ピクチャの位置に挿入する方式である。それによれば、第１場面に属する第３２ピクチャ、第３３ピクチャ及び第３４ピクチャのうち第３２ピクチャが、ディスプレイ順序上、最初ピクチャに該当するので、第３２ピクチャの前の位置に、第１メタデータｍ１を挿入したということが分かる。前述の図６Ａ及び図６Ｂの場合、各場面に属するピクチャのディスプレイ順序上、最初のピクチャの位置に各場面に対応するメタデータを挿入させた方式であるということが分かる。

【0116】

次に、オプション２のビデオビットストリーム（video bitstream of option ２）は、メタデータ情報を、各場面に属するピクチャの符号化順序上、最初ピクチャの位置に挿入する方式である。それによれば、第１場面に属する第３２ピクチャ、第３３ピクチャ及び第３４ピクチャのうち第３３ピクチャが、復号順序上、最初ピクチャに該当するので、第３３ピクチャの前の位置に、第１メタデータｍ１を挿入したということが分かる。前述の図６Ａ及び図６Ｂの場合、各場面に属するピクチャの復号順序上、最初のピクチャの位置に、各場面に対応するメタデータを挿入させた方式に撚ることも可能である。

【0117】

一方、ランダムアクセスに備えたビデオビットストリーム生成及びビデオビットストリーム処理について、図４及び図５で説明したメタデータ情報に係わる識別情報を利用して、ビットレートを減らす方式と、図６Ａないし図６Ｃで説明したメタデータ情報を挿入させるビデオビットストリーム内の最適位置を考慮する方式とを融合し、ビットストリーム内の最適位置にメタデータ情報に係わる識別情報を伝送する方式を使用することもできる。

【0118】

図７Ａは、一実施形態による、符号化されたビデオデータ生成方法に係わるフローチャートである。先に、ビデオデータ生成装置１００について説明した内容は、以下省略されるにしても、符号化されたビデオデータ生成方法についても、そのまま適用される。

【0119】

段階７１０において、ビデオデータ生成装置１００は、ビデオデータを符号化することができる。ビデオデータ生成装置１００は、入力されたビデオを、符号化順序（coding order）による符号化されたビデオデータを生成することができる。

【0120】

段階７２０において、ビデオデータ生成装置１００は、各場面の開始部分に挿入され、ビデオ処理に利用されるメタデータ情報を生成するか、あるいはランダムアクセスポイントピクチャ後の復号順序を有するピクチャのビデオ処理に利用されるメタデータ情報を生成することができる。ビデオデータ生成装置１００は、符号化されたビデオデータが復号された後、ビデオ処理に利用されるメタデータ情報を生成することができる。かようなメタデータ情報は、符号化されたビデオデータに対してランダムアクセスが発生する場合にも、ランダムアクセスポイントピクチャ後の復号順序を有するピクチャが復号された後、ビデオ処理が行われるように準備することができる。

【0121】

一方、ビデオデータ生成装置１００は、ビデオデータ処理装置２００でランダムアクセスが発生しても、ビデオ処理に利用される各場面のメタデータ情報が損失されないように、ビデオビットストリームの各場面に属する全てのピクチャ位置に含めるためのメタデータ情報に係わる識別情報を生成することもできる。

【0122】

段階７３０において、ビデオデータ生成装置１００は、メタデータ情報、またはメタデータ情報に係わる識別情報を含む、符号化されたビデオデータのビットストリームを生成することができる。ビデオデータ生成装置１００は、メタデータ情報を、各場面の開始部分に挿入するか、あるいはランダムアクセスが起こりうるランダムアクセスポイントピクチャと、周辺のピクチャとを考慮し、メタデータ情報を適切なところに挿入させることにより、メタデータ情報を含むビデオビットストリームを生成することができる。

【0123】

ビデオデータ生成装置１００は、ランダムアクセスポイントピクチャの位置と、ランダムアクセスポイントピクチャ後の復号順序を有する少なくとも１つのピクチャから構成される場面の場面カットの位置とにメタデータ情報を挿入し、ビットストリームを生成することができる。このとき、ランダムアクセスポイントピクチャの位置が、任意の場面に係わる場面カットの位置に該当すれば、ビデオデータ生成装置１００は、場面カットに対応する場面に係わるメタデータ情報でもって、ランダムアクセスポイントピクチャの位置に挿入するメタデータ情報の代わりをすることができる。同一メタデータ情報を重複して挿入しないようにするためである。

【0124】

場面カットの位置は、各場面に属したピクチャのうち、ディスプレイ順序上で、最初ピクチャの位置に該当する。任意の場面に係わるメタデータ情報はそ、の任意の場面以前の場面に対応する場面カット位置に挿入することができる。それは、メタデータの復号に必要となる時間を考慮し、実際メタデータが適用される場面より以前の場面に対応する場面カット位置に挿入することにより、メタデータの復号によるディレイを最小化したりなくしたりするためである。

【0125】

一方、ランダムアクセスポイントピクチャの位置によって復号可能なリーディングピクチャが存在しないか、ランダムアクセスポイントピクチャと同じであるか、あるいは異なる場面に属する複数個の復号可能なリーディングピクチャが存在することがある。

【0126】

ビデオデータ生成装置１００は、ランダムアクセスポイントピクチャに対して、リーディングピクチャが存在せず、ランダムアクセスポイントピクチャ位置が、場面カットの位置ではなければ、ランダムアクセスポイントピクチャが属した場面に係わるメタデータ情報を、ランダムアクセスポイントピクチャ位置に挿入し、ビットストリームを生成することができる。

【0127】

ビデオデータ生成装置１００は、ランダムアクセスポイントピクチャに対して、複数個の復号可能なリーディングピクチャが存在する場合、復号可能なリーディングピクチャが、いずれもランダムアクセスポイントピクチャと異なる場面に属すれば、ランダムアクセスポイントピクチャが属した場面に係わるメタデータ情報を、ランダムアクセスポイントピクチャ位置に挿入し、復号可能なリーディングピクチャが属した場面に係わるメタデータ情報を、ディスプレイ順序上、最初に復号可能なリーディングピクチャの位置に挿入し、ビットストリームを生成することができる。

【0128】

ビデオデータ生成装置１００は、ランダムアクセスポイントピクチャに対して、複数個の復号可能なリーディングピクチャが存在する場合、復号可能なリーディングピクチャが、いずれもランダムアクセスポイントピクチャと同じ場面に属すれば、ディスプレイ順序上、最初に復号可能なリーディングピクチャの位置に、複数個の復号可能なリーディングピクチャが含まれた場面に係わるメタデータ情報を挿入し、ビットストリームを生成することができる。ただし、復号可能なリーディングピクチャにもかかわらず、復号されないか、あるいはビデオビットストリームから除去される場合がある場合に備え、復号可能なリーディングピクチャが、ランダムアクセスポイントピクチャと同じ場面に属するとき、ディスプレイ順序上、最初に復号可能なリーディングピクチャの位置と、ランダムアクセスポイントピクチャの位置とのいずれにもメタデータ情報を挿入し、ビットストリームを生成することもできる。また、復号可能なリーディングピクチャが除去される場合、そのピクチャの位置に含まれていたメタデータ情報を、同じ場面に属したランダムアクセスポイントピクチャの位置に移すようにすることもできる。

【0129】

一方、ビデオデータ生成装置１００は、メタデータ情報に係わる識別情報を含む、符号化されたビデオデータのビットストリームを生成することもできる。ビデオデータ生成装置１００において、メタデータ情報に係わる識別情報を生成した場合、メタデータの代わりに、メタデータ情報に係わる識別情報が含まれるように、ビデオビットストリームを生成することができる。ビデオデータ生成装置１００は、メタデータに係わる識別情報が、ビデオビットストリームの所定位置に含まれるように、ビデオビットストリームを生成することができる。メタデータ情報を含むメタデータ情報のデータベースは、メタデータ情報に係わる識別情報が含まれたビデオビットストリームと独立した別個のチャネルを介して、ビデオデータ生成装置１００から、ビデオデータ処理装置２００に伝送される。

【0130】

図７Ｂは、一実施形態による、符号化されたビデオデータ処理方法に係わるフローチャートである。先に、ビデオデータ処理装置２００について説明した内容は、以下で省略されるにしても、符号化されたビデオデータ処理方法についても、そのまま適用される。

【0131】

段階８１０において、ビデオデータ処理装置２００は、ビデオビットストリームを獲得することができる。ビデオデータ処理装置２００は、獲得したビデオビットストリームを復号することができる。ビデオデータ処理装置２００は、符号化されたビデオデータが復号された後でビデオ処理されるとき、復号されたビデオデータに利用されるメタデータ情報を、ビデオビットストリームから抽出することができる。かようなメタデータ情報は、符号化されたビデオデータに対して、ランダムアクセスが発生する場合、ランダムアクセスポイントピクチャ後の復号順序を有するピクチャが復号された後、ビデオ処理が行われるように、ランダムアクセスポイントピクチャ以後の復号されたビデオデータから抽出することができる。

【0132】

段階８２０において、ビデオデータ処理装置２００は、ビデオビットストリームにおいて、ランダムアクセスポイントピクチャ後の復号順序を有するピクチャのビデオ処理に利用されるメタデータ情報を獲得することができる。

【0133】

ビデオデータ処理装置２００は、ビデオビットストリームにおいて、ランダムアクセスポイントピクチャの位置と、ランダムアクセスポイントピクチャ後の復号順序を有する少なくとも１つのピクチャから構成される場面の場面カット（scene cut）の位置とに基づいて、メタデータ情報を獲得することができる。このとき、ランダムアクセスポイントピクチャの位置が、任意の場面に係わる場面カットの位置に該当すれば、ビデオデータ処理装置２００は、場面カットに対応する場面に係わるメタデータ情報を、ランダムアクセスポイントピクチャの位置から獲得するメタデータ情報として使用することができる。

【0134】

場面カットの位置は、各場面に属したピクチャのうち、ディスプレイ順序上で、最初ピクチャの位置に該当する。任意の場面に係わるメタデータ情報は、任意の場面以前の場面に対応する場面カット位置で獲得することができる。それは、メタデータの復号によるディレイを最小化したりなくしたりするために、メタデータの復号に必要となる時間を考慮し、実際メタデータが適用される場面より以前の場面に対応する場面カット位置に、メタデータが挿入された場合である。

【0135】

一方、ランダムアクセスポイントピクチャの位置によって復号可能なリーディングピクチャが存在しないとか、ランダムアクセスポイントピクチャと同じであるか、あるいは異なる場面に属する少なくとも１つの復号可能なリーディングピクチャが存在することがある。

【0136】

ビデオデータ処理装置２００は、ランダムアクセスポイントピクチャに対して、リーディングピクチャが存在せず、ランダムアクセスポイントピクチャ位置が、場面カットの位置ではなければ、ランダムアクセスポイントピクチャ位置に基づき、ランダムアクセスポイントピクチャが属した場面に係わるメタデータ情報を獲得することができる。

【0137】

ビデオデータ処理装置２００は、ランダムアクセスポイントピクチャに対して、複数個の復号可能なリーディングピクチャが存在する場合、復号可能なリーディングピクチャが、いずれもランダムアクセスポイントピクチャと異なる場面に属すれば、ランダムアクセスポイントピクチャ位置に基づき、ランダムアクセスポイントピクチャが属した場面に係わるメタデータ情報を獲得し、ディスプレイ順序上、最初に復号可能なリーディングピクチャの位置に基づき、復号可能なリーディングピクチャが属した場面に係わるメタデータ情報を獲得することができる。

【0138】

ビデオデータ処理装置２００は、ランダムアクセスポイントピクチャに対して、複数個の復号可能なリーディングピクチャが存在する場合、復号可能なリーディングピクチャがいずれもランダムアクセスポイントピクチャと同じ場面に属すれば、ディスプレイ順序上、最初に復号可能なリーディングピクチャの位置に基づき、複数個の復号可能なリーディングピクチャが含まれた場面に係わるメタデータ情報を獲得することができる。ただし、復号可能なリーディングピクチャにもかかわらず、復号されないか、あるいはビデオビットストリームから除去される場合がある場合に備え、復号可能なリーディングピクチャが、ランダムアクセスポイントピクチャと同じ場面に属するとき、ディスプレイ順序上、最初に復号可能なリーディングピクチャの位置と、ランダムアクセスポイントピクチャの位置とのいずれにも、メタデータ情報が含まれてもよいので、２つの位置いずれにも基づき、メタデータ情報を獲得することができる。また、復号可能なリーディングピクチャが除去される場合、そのピクチャの位置に含まれていたメタデータ情報が、同じ場面に属したランダムアクセスポイントピクチャの位置に移されるので、そのときは、ランダムアクセスポイントピクチャの位置に基づき、メタデータ情報を獲得することができる。

【0139】

一方、ビデオデータ処理装置２００は、ビデオデータ生成装置１００において、ビデオビットストリームの所定位置に、メタデータ情報に係わる識別情報を含めてビデオビットストリームを伝送した場合、メタデータ情報に係わる識別情報として、メタデータ情報のデータベースから、メタデータ情報を獲得することもできる。例えば、メタデータ情報に係わる識別情報は、ビデオビットストリームの各場面に属する全てのピクチャ位置に含まれてもよい。ビデオデータ処理装置２００は、メタデータ情報に係わる識別情報とマッチングするメタデータ情報を、メタデータ情報のデータベースから獲得することができる。メタデータ情報のデータベースは、ビデオビットストリームが受信されるチャネルと別個のチャネルで、ビデオデータ生成装置１００から受信され、ビデオビットストリームより事前に受信されたものでもある。

【0140】

段階８３０において、ビデオデータ処理装置２００は、ランダムアクセスポイントピクチャ後の復号順序を有するピクチャのうち復号されたビデオデータに対して、獲得したメタデータ情報に基づいて、ビデオ処理を行うことができる。

【0141】

一方、前述の本発明の実施形態による符号化されたビデオデータ処理方法、及び符号化されたビデオデータ生成方法は、コンピュータで実行されるプログラムに作成可能であり、コンピュータで読取り可能な記録媒体を利用して、かようなプログラムを動作させる汎用デジタルコンピュータで具現される。かようなコンピュータで読取り可能な記録媒体は、マグネチック記録媒体（例えば、ＲＯＭ（read-only memory）、フロッピー（登録商標）ディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ（compact disc read only memory）、ＤＶＤ（digital versatile disc）など）のような記録媒体を含む。

【0142】

以上、実施形態を中心に説明した。開示された実施形態が属する技術分野において当業者であるならば、開示された実施形態が、本質的な特性から外れない範囲で変形された形態に具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本実施形態による発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、発明の範囲に含まれているものと理解するものである。

【図1】

【図2A】

【図2B】

【図3A】

【図3B】

【図4】

【図5a】

【図5b】

【図6A】

【図6B】

【図6C】

【図7A】

【図7B】