特許 6872538 メディア伝送システムにおけるビデオビットストリームのランダムアクセス及び再生方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6872538

(24)【登録日】2021年4月21日

(45)【発行日】2021年5月19日

(54)【発明の名称】メディア伝送システムにおけるビデオビットストリームのランダムアクセス及び再生方法

(51)【国際特許分類】

   H04N 19/85 20140101AFI20210510BHJP

   H04N 19/70 20140101ALI20210510BHJP

【ＦＩ】

   H04N19/85

   H04N19/70

【請求項の数】9

【全頁数】12

(21)【出願番号】特願2018-518423(P2018-518423)

(86)(22)【出願日】2016年10月12日

(65)【公表番号】特表2018-534850(P2018-534850A)

(43)【公表日】2018年11月22日

(86)【国際出願番号】KR2016011422

(87)【国際公開番号】WO2017065491

(87)【国際公開日】20170420

【審査請求日】2019年7月11日

(31)【優先権主張番号】10-2015-0142468

(32)【優先日】2015年10月12日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】503447036

【氏名又は名称】サムスン エレクトロニクス カンパニー リミテッド

(74)【代理人】

【識別番号】100121382

【弁理士】

【氏名又は名称】山下 託嗣

(72)【発明者】

【氏名】チェ，ビョン−ドゥ

(72)【発明者】

【氏名】パク，キョン−モ

(72)【発明者】

【氏名】ペ，ジェ−ヒョン

(72)【発明者】

【氏名】ソ，ヨン−ワン

(72)【発明者】

【氏名】ソン，ジェ−ヨン

(72)【発明者】

【氏名】ヤン，ヒョン−ク

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特開２０１４−０７２８５４（ＪＰ，Ａ）

【文献】 特開２００８−０６７３６４（ＪＰ，Ａ）

【文献】 国際公開第２０１４／１０７２５０（ＷＯ，Ａ１）

【文献】 国際公開第２０１３／０４４０７５（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１５／０２３７３７７（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２０１５／００８５９３８（ＵＳ，Ａ１）

【文献】 Sachin Deshpande and Andrew Segall，On Leading Pictures，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，9th Meeting: Geneva, Switzerland，２０１２年 ４月，JCTVC-I0275，pp.1-3

【文献】 Kimihiko Kazui et.al.，AHG9: Simple HEVC stream editing，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，11th Meeting: Shanghai, CN，２０１２年１０月，JCTVC-K0140，pp.1-14

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

グループオブピクチャ(ＧＯＰ)を配信するビットストリームを再生する方法であって、
第１のピクチャにランダムアクセスが発生する場合、前記第１のピクチャに続く少なくとも一つの第２のピクチャのネットワーク抽出層(ＮＡＬ)ユニットヘッダーをパーシングして前記少なくとも一つの第２のピクチャのＮＡＬユニットタイプを決定するステップと、
前記決定されたＮＡＬユニットタイプに基づいて前記少なくとも一つの第２のピクチャを前記ビットストリームから除去するステップと、
前記少なくとも一つの第２のピクチャが除去された前記ビットストリームを復号化し表示するステップと、
を有し、
前記第１のピクチャは、前記ビットストリームから除去された少なくとも一つの前記第２のピクチャを復元するために必要とされる時間に相当する復元時間に、追加的に反復して表示されることを特徴とする方法。

【請求項2】

前記ＮＡＬユニットタイプが前記少なくとも一つの第２のピクチャが前記第１のピクチャのリーディングピクチャであることを示す場合に、前記少なくとも一つの第２のピクチャは前記ビットストリームから除去されることを特徴とする請求項１に記載の方法。

【請求項3】

前記少なくとも一つの第２のピクチャの前記ＮＡＬユニットタイプは、ランダムアクセス復号可能リーディングピクチャ(ＲＡＤＬピクチャ)またはランダムアクセススキップリーディングピクチャ(ＲＡＳＬピクチャ)であることを特徴とする請求項２に記載の方法。

【請求項4】

前記第１のピクチャは少なくとも一つのリーディングピクチャを有するクリーンランダムアクセス(ＣＲＡ)ピクチャであることを特徴とする請求項１に記載の方法。

【請求項5】

前記ランダムアクセスは前記ビットストリームのスイッチングにより発生することを特徴とする請求項1に記載の方法。

【請求項6】

グループオブピクチャ(ＧＯＰ)を配信するビットストリームを再生する装置であって、
前記ビットストリームを受信する送受信部と、
第１のピクチャにランダムアクセスが発生する場合、前記第１のピクチャに続く少なくとも一つの第２のピクチャのネットワーク抽出層(ＮＡＬ)ユニットヘッダーをパーシングして前記少なくとも一つの第２のピクチャのＮＡＬユニットタイプを決定し、前記決定したＮＡＬユニットタイプに基づいて前記少なくとも一つの第２のピクチャを前記ビットストリームから除去し、前記少なくとも一つの第２のピクチャが除去された前記ビットストリームを復号化し表示する制御部と、
を含み、
前記制御部は、前記ビットストリームから除去された少なくとも一つの前記第２のピクチャを復元するために必要とされる時間に相当する復元時間に、前記第１のピクチャを追加的に反復して表示する制御を実行することを特徴とする装置。

【請求項7】

前記ＮＡＬユニットタイプが、前記少なくとも一つの第２のピクチャが前記第１のピクチャのリーディングピクチャであることを示す場合に、前記制御部は前記少なくとも一つの第２のピクチャを前記ビットストリームから除去することを特徴とする請求項６に記載の装置。

【請求項8】

前記少なくとも一つの第２のピクチャの前記ＮＡＬユニットタイプはランダムアクセス復号可能リーディングピクチャ(ＲＡＤＬピクチャ)またはランダムアクセススキップリーディングピクチャ(ＲＡＳＬピクチャ)であることを特徴とする請求項７に記載の装置。

【請求項9】

前記第１のピクチャは少なくとも一つのリーディングピクチャを有するクリーンランダムアクセス(ＣＲＡ)ピクチャであることを特徴とする請求項６に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、リアルタイムマルチメディアトランスポートプロトコルにおけるメディア再生方法に関するもので、特に、ＭＰＥＧ(Moving Picture Experts Group)メディアトランスポート(ＭＭＴ)プロトコルにより伝送されるビットストリームのランダムポイントにアクセスして、より高速にメディアを再生するための方法に関する。

【背景技術】

【0002】

ＭＭＴにおいて、ＳＡＰ(Stream Access Point)タイプ２、ＳＡＰタイプ３に対応する位置(ポイント)でランダムアクセス(random access)が発生する場合、端末は、イントラランダムアクセスポイント(ＩＲＡＰ）ピクチャ(picture)を復元できる。

【0003】

端末は、復元されたＩＲＡＰピクチャに関連するリーディングピクチャ(leading picture)をすべて復号化(decoding)した後に、表示順序に従ってリーディングピクチャを表示し、その後ＩＲＡＰピクチャを表示するようになる。すなわち、ランダムアクセスの発生により、端末が関連リーディングピクチャを復号化する時間だけの遅延が発生している。

【0004】

したがって、チャンネルスイッチングまたはビットストリームスイッチングによりランダムアクセスが発生する場合、端末がＩＲＡＰピクチャを復元するためには、リーディングピクチャの個数だけ(復号化及び/または表示による)遅延時間が長くなるという問題が発生する。

【発明の概要】

【発明が解決しようとする課題】

【0005】

したがって、上記した従来技術の問題点を解決するために、本発明の目的は、端末がビットストリームでランダムアクセスを実行する場合に、リーディングピクチャの復号化により発生する遅延を減少させる方法を提供することにある。

【0006】

本発明の他の目的は、端末がビットストリームにランダムアクセスすることで発生する遅延を減少させる場合に、ＰＴ(Presentation Time)同期化を保証する方法を提供することにある。

【課題を解決するための手段】

【0007】

上記のような目的を達成するために、本発明の一態様によれば、グループオブピクチャ(ＧＯＰ)を配信するビットストリームを再生する方法が提供される。その方法は、第１のピクチャにランダムアクセスが発生する場合、第１のピクチャに続く少なくとも一つの第２のピクチャのネットワーク抽出層(ＮＡＬ)ユニットヘッダーをパーシングして、少なくとも一つの第２のピクチャのＮＡＬユニットタイプを決定するステップと、決定されたＮＡＬユニットタイプに基づいて少なくとも一つの第２のピクチャをビットストリームから除去するステップと、少なくとも一つの第２のピクチャが除去されたビットストリームを復号化し表示するステップと、を有する。

【0008】

本発明の他の態様によれば、グループオブピクチャ(ＧＯＰ)を配信するビットストリームを再生する装置が提供される。上記装置は、ビットストリームを受信する送受信部と、第１のピクチャにランダムアクセスが発生する場合、第１のピクチャに続く少なくとも一つの第２のピクチャのネットワーク抽出層(ＮＡＬ)ユニットヘッダーをパーシングして、少なくとも一つの第２のピクチャのＮＡＬユニットタイプを決定し、決定したＮＡＬユニットタイプに基づいて少なくとも一つの第２のピクチャをビットストリームから除去し、少なくとも一つの第２のピクチャが除去されたビットストリームを復号化し表示する制御部とを含む。

【0009】

本発明は、端末のビデオストリーム再生方法において、ＳＡＰタイプ２，３のランダムアクセスポイント（ＲＡＰ）にランダムアクセスが発生したときに、ビットストリーム中のＮＡＬユニットヘッダーをパーシングしてリーディングピクチャの有無を把握し、リーディングピクチャが存在する場合、復号化の前にリーディングピクチャに対応するＮＡＬユニットデータを除去し、後続するトレイルピクチャ（ｔｒａｉｌ ｐｉｃｔｕｒｅ）を復号し表示する方法を提供する。

【0010】

また、本発明は、リーディングピクチャを除去してＩＲＡＰピクチャ及びトレイルピクチャを表示する場合、サーバ側で受信した復号化されたピクチャの構成(composition)ＰＴをリーディングピクチャの個数だけ操り上げて表示する方法を提供する。

【0011】

さらに、本発明は、ＩＲＡＰピクチャを復号化し、ＩＲＡＰピクチャをリーディングピクチャの個数だけ操り上げて表示し、ＩＲＡＰピクチャをリーディングピクチャの個数だけ反復して表示するステップをさらに有する方法を提供する。

【発明の効果】

【0012】

本発明は、ビデオストリームに対するランダムアクセスの発生時に、ビットストリーム中においてＩＲＡＰピクチャ以後にリーディングピクチャが存在する場合、リーディングピクチャを処理し、ビデオシーケンスを表示できる。それによって、本発明による端末は、高速なランダムアクセス再生を可能にし、ＳＡＰタイプ２、またはＳＡＰタイプ３のビットストリームに対してランダムアクセスを実行できる。

【0013】

本発明による端末は、ＳＡＰタイプ２，３に対応するＲＡＰへのランダムアクセスが発生したときに、ビデオビットストリーム中のＮＡＬユニットヘッダーをパーシング(parsing)することで、リーディングピクチャの存在有無を把握できる。リーディングピクチャが存在する場合に、端末は、復号化する前にリーディングピクチャに対応するＮＡＬユニットデータを除去することで、続くトレイルピクチャを高速に復号し表示できる。

【0014】

本発明による端末は、リーディングピクチャを除去し、ＩＲＡＰピクチャ及びトレイルピクチャを表示する場合、サーバから受信した復号化されたピクチャの既存の構成ＰＴを、リーディングピクチャの個数だけ操り上げることができる。

【0015】

本発明による端末は、リーディングピクチャを除去しＩＲＡＰピクチャを復号化した後に、ＩＲＡＰピクチャをリーディングピクチャの個数だけ操り上げて表示し、ＩＲＡＰピクチャをリーディングピクチャの個数だけ反復して表示し、その後、トレイルピクチャを復号し表示することができる。

【図面の簡単な説明】

【0016】

【図1】ＧＯＰ内のクリーンランダムアクセス（ＣＲＡ）ピクチャの復号化と表示を、リーディングピクチャに関連して示す図である。

【図2】ランダムアクセススキップリーディング（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｓｋｉｐｐｅｄ Ｌｅａｄｉｎｇ、ＲＡＳＬ）ピクチャと、ランダムアクセス復号可能リーディング（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｄｅｃｏｄａｂｌｅ Ｌｅａｄｉｎｇ、ＲＡＤＬ）ピクチャとの関係を説明する図である。

【図3】ＩＲＡＰピクチャを表示するまで発生する遅延を示す図である。

【図4】ビットストリームからリーディングピクチャを除去する方法を例示する図である。

【図5】ビットストリーム中のリーディングピクチャを除去し、ＩＲＡＰピクチャを反復表示する方法を示す図である。

【図6】本発明による端末のランダムアクセスをサポートするビットストリーム再生方法を示す図である。

【図7】本発明の実施形態により、ＧＯＰ伝送ビットストリームを再生する端末の構成を概略的に示す図である。

【発明を実施するための形態】

【0017】

以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。

【0018】

下記の説明で、本発明に関連した公知の機能又は構成に関する具体的な説明が本発明の要旨を不明にすると判断された場合に、その詳細な説明を省略する。また、後述する用語は、本発明の機能を考慮して定義されたものであって、ユーザー、オペレータの意図、又は慣例によって変化しうる。したがって、上記用語は、本明細書の全体内容に基づいて定義されなければならない。

【0019】

本発明の詳細な説明に先立って、本明細書で使用される一部用語に対して解析可能な意味の例を提示する。しかしながら、以下に提示する解析例に限定されるものではないことに注意すべきである。

【0020】

サーバは、端末と通信する一つのエンティティであって、基地局、ＮｏｄｅＢ(ＮＢ)、ｅＮｏｄｅＢ(ｅＮＢ)、ＡＰ(Access Point)とも称される。

【0021】

ユーザー装置（端末）(User Equipment）は、基地局と通信する一つのエンティティであって、ＵＥ、移動局(ＭＳ）、移動装備(ＭＥ)、デバイス、ターミナルと称されることもできる。

【0022】

ＩＳＯＢＭＦＦ(ISO Base Media File Format)で定義した６個のＳＡＰタイプのうち、タイプ１のみをサポートするＭＭＴシステムは、各ＭＰＵ(Media Processing Unit)の最初のサンプルをランダムアクセスポイント(ＲＡＰ)アクセスユニット(ＡＵ)として指定し、シグナリングメッセージを通じて第１のＡＵのプレゼンテーション時間(ＰＴ)を知らせる。

【0023】

ＳＡＰタイプ１は、最も広く使われるランダムアクセス方式ではあるが、ＳＡＰタイプ２〜６が有する高速なアクセス、高いコーディング効率等の長所はサポートしない。特に、ＳＡＰタイプ２、タイプ３は、ＨＥＶＣ(High Efficiency Video Coding)で定義されたＣＲＡ(Clean Random Access)、ＢＬＡ(Broken Link Access)のようなリーディングピクチャハンドリングを通じて、ＳＡＰタイプ１に比べて高いコーディング利得を、オープンＧＯＰ(Group Of Picture)を通じて可能にする。ここで、リーディングピクチャは、表示順序上、特定ピクチャより先にある(leading)ピクチャを意味する。

【0024】

図１Ａ及び図１Ｂは、ＧＯＰ内のＣＲＡピクチャの復号化と表示を、リーディングピクチャに関連して示す。

【0025】

図１Ａはピクチャの復号順序(decoding order)を説明し、図１Ｂはピクチャの表示順序を説明する。図１Ａ及び図１Ｂは、例として、ＵＥがＣＲＡピクチャ１００、Ｂピクチャ１０２、Ｂピクチャ１０４をこの順序で復号するが、Ｂピクチャ１０２、Ｂピクチャ１０４、ＣＲＡピクチャ１００の順序で表示する場合を示す。Ｂピクチャ１０２及びＢピクチャ１０４は、ＣＲＡピクチャ１００のリーディングピクチャである。ここで、ＰＯＣ(Picture Of Count）は、ピクチャの表示順序を指示する値として理解できる。Ｂピクチャ１０２はＰＯＣ１４を、Ｂピクチャ１０４はＰＯＣ１５、ＣＲＡピクチャ１００はＰＯＣ１６を有する。

【0026】

ＣＲＡピクチャ１００は、次のような特徴を有する。ＣＲＡピクチャ１００は、符号化されたビデオシーケンスの中でランダムアクセスポイントとして指定される場合、直ちにＣＲＡピクチャ１００から復号化開始を可能に(facilitates)するピクチャである。ＣＲＡを利用する方法は、ＩＤＲ(Instantaneous Decoding Refresh)より(６％程度)向上したコーディング効率を有する。ＣＲＡ方法は、関連するＣＲＡピクチャ１００のリーディングピクチャ(例えば、Ｂピクチャ１０２）が、ＣＲＡピクチャ１００以前の復号化されたピクチャ(例えば、Ｂピクチャ１０６、Ｂピクチャ１０８)を参照として使用することを可能にする。図１Ａにおいて、曲線矢印１１０，１１２は、Ｂピクチャ１０２が以前に復号化されたピクチャ１０６，１０８を参照として利用することを示す。ＣＲＡピクチャ１００がランダムアクセスされると、復号順及び出力順(または表示順)においてＣＲＡピクチャ１００に続くピクチャが復号可能となる。

【0027】

例として、ＩＳＯＢＭＦＦで定義されたＳＡＰタイプの特徴を以下の表に列挙する。

【0028】

【表1】

【0029】

＜表１＞において、Ｔ_ＳＡＰは、特定ＰＴ以後の復号可能時間の合計を示す。Ｔ_ＤＥＣは、復号可能なピクチャの最も早いＰＴを示す。Ｔ_ＥＰＴは、復号可能な/復号不可能なピクチャの最も早いＰＴを示す。Ｔ_ＰＴＦは、ＲＡＰのＰＴを示す。

【0030】

例として、ＨＥＶＣで定義されたＲＡＰタイプを、以下の表に列挙する。

【0031】

【表2】

【0032】

例として、ＨＥＶＣで定義されたリーディングピクチャのタイプを、以下の表に列挙する。

【0033】

【表3】

【0034】

図２は、ＲＡＳＬピクチャとＲＡＤＬピクチャとの関係を示す。

【0035】

ＲＡＤＬピクチャ(Random Access Decodable Leading picture)及びＲＡＳＬピクチャ(Random Access Skipped Leading picture)には、次のような特徴がある。ＲＡＰピクチャから復号化が開始される場合、ＲＡＤＬピクチャは、正確に復号可能なピクチャである。ＲＡＰピクチャにランダムアクセスが発生する場合、ＲＡＳＬピクチャは、正確に復号化されないピクチャである。任意のピクチャがリーディングピクチャである場合、リーディングピクチャは、ＲＡＤＬピクチャまたはＲＡＳＬピクチャであり得る。図２において、ＲＡＰピクチャがＣＲＡピクチャ１００である場合、Ｂピクチャ１０２とＢピクチャ１０４は、ＣＲＡピクチャ１００以後に復号化されるピクチャであるため、復号可能なピクチャ、すなわちＲＡＤＬピクチャである。一方、Ｂピクチャ１０６とＢピクチャ１０８は、ＣＲＡピクチャ１００以前に復号化されなければならないピクチャであるので、ＲＡＰピクチャがＣＲＡピクチャ１００である場合、復号不可能なピクチャ、すなわちＲＡＳＬピクチャである。

【0036】

上記したように、ＭＭＴにおいて、ＳＡＰタイプ２(すなわち、リーディングピクチャを有するＩＤＲピクチャ)、ＳＡＰタイプ３(すなわち、リーディングピクチャを有するＣＲＡまたはＢＬＡピクチャ)に対応するピクチャにランダムアクセスが発生した場合、端末は、ランダムアクセスが発生したピクチャ(すなわち、ＩＲＡＰピクチャ)に関連したリーディングピクチャをすべて復号化した後に表示順序に従ってリーディングピクチャを表示し、ＩＲＡＰピクチャを表示している。したがって、端末は、ピクチャを表示するまでにリーディングピクチャによる遅延を経験する。

【0037】

図３Ａ及び図３Ｂは、ＩＲＡＰピクチャを表示するまでに生じる遅延の例を示す。

【0038】

図３Ａは復号順序の例を示し、図３Ｂは表示順序の例を示す。ビットストリーム内で第１のピクチャ３００にランダムアクセスが発生したが、第１のピクチャ３００がランダムアクセス不可能なピクチャである場合、ランダムアクセスが可能なＩＲＡＰピクチャ３０２が復号化されるまでの遅延３１０が生じることがある。さらに、端末は、ＩＲＡＰピクチャ３０２に関連したリーディングピクチャ３０４，３０５，３０６，３０７を復号化しなければならないので、関係のあるリーディングピクチャ３０４，３０５，３０６，３０７を復号化する時間だけの遅延３１２が発生しうる。例えば、チャンネルスイッチング又はビットストリームスイッチングによりランダムアクセスが発生する場合、端末がＩＲＡＰピクチャを復元するまでに、リーディングピクチャの個数に相当する遅延時間が発生しうる。遅延時間３１４が経過した後に、端末は、リーディングピクチャ３０４，３０５，３０６，３０７を表示し、ＩＲＡＰピクチャ３０２を表示できる。ここで、トレイルピクチャ３０８は、ＩＲＡＰピクチャ３０２に関係なく復号化及び表示されるピクチャを意味する。

【0039】

本発明は、リーディングピクチャの復元(すなわち、復号化及び表示)により発生するランダムアクセスの遅延時間を短縮する技術(方法及び装置)を提案する。

【0040】

本発明による第１の技術は、ビットストリーム中のリーディングピクチャを除去することにある。

【0041】

図４Ａ及び図４Ｂは、ビットストリーム中のリーディングピクチャを除去する方法の例を示す。

【0042】

図４Ａはピクチャの復号順序を説明し、図４Ｂはピクチャの表示順序を説明する。

【0043】

この方法で、ランダムアクセスが発生する場合、端末は、ビットストリームから一部ピクチャ(すなわち、ランダムアクセスが発生したＩＲＡＰピクチャのリーディングピクチャ)を表示せずに除去する。

【0044】

具体的に、ランダムアクセスが発生する場合、端末は、ピクチャごとにＮＡＬ(Network Abstraction Layer)ユニットヘッダー(ＮＵＨ)に記録されるＮＡＬユニットタイプ(ＮＵＴ)に基づいて、リーディングピクチャ４０２，４０３，４０４，４０５が存在するか否かを判定できる。ＨＥＶＣビットストリームの場合、ＲＡＰピクチャの後に続くトレイルピクチャ４０８，４０９は、リーディングピクチャ４０２，４０３，４０４，４０５との依存性(dependency）がない。そのため、ビットストリーム中において、ＲＡＤＬピクチャ及びＲＡＳＬピクチャのようなリーディングピクチャ４０２，４０３，４０４，４０５がすべて除去されても、トレイルピクチャ４０８，４０９の復号化に影響を与えない。したがって、上記方法による端末は、復号化する前にビットストリーム中のリーディングピクチャ４０２，４０３，４０４，４０５を除去することによって、リーディングピクチャ４０２，４０３，４０４，４０５の復号化により発生する遅延時間をなくすことができる。これによって、本発明の方法による端末は、ＩＲＡＰピクチャ４００だけでなく後に続くトレイルピクチャ４０８，４０９をより高速に復元(復号化及び表示)可能になる。

【0045】

具体的に、ＩＲＡＰピクチャ、リーディングピクチャ(例えば、ＲＡＤＬピクチャ、ＲＡＳＬピクチャ)、及びトレイルピクチャのタイプは、符号化されたビットストリームのＮＵＴにより識別できる。例えば、ＨＥＶＣの場合、ピクチャタイプは、ＮＵＨの６ＮＵＴビットにて信号化できる。また、ＩＳＯＢＭＦＦに格納されたＨＥＶＣビットストリームの場合、端末は、ＨＥＶＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘのＨＥＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄにおいて、ＮＡＬユニットごとのＮＵＴ情報を識別することができる。

【0046】

端末は、ＮＵＴ情報に基づいてビットストリーム中のリーディングピクチャを除去し、直ちに(リーディングピクチャの復号化及び表示による遅延時間なしに)ＩＲＡＰピクチャとトレイルピクチャを表示可能になる。

【0047】

このとき、端末は、リーディングピクチャ４０２，４０３，４０４，４０５の個数だけ表示時間４１０を計算し、トレイルピクチャ４０８，４０９を既存のサーバ側から提供されたトレイルピクチャの構成ＰＴから計算された表示時間４１０だけ繰り上げて表示できる。すなわち、端末は、ＩＲＡＰピクチャ４００を復号化した後、リーディングピクチャ４０２，４０３，４０４，４０５を復号化することなくすぐにＩＲＡＰピクチャ４００を表示し、トレイルピクチャ４０８，４０９をＩＲＡＰピクチャ４００の直後に復号し表示することができる。

【0048】

上記の第１の方法において、端末がＩＲＡＰピクチャを表示し、その直後にトレイルピクチャを表示する場合、以後のすべてのピクチャのＰＴを繰り上げなければならない。複数の機器がビットストリームをプレゼンテーションする場合に、いくつかのピクチャのＰＴが繰り上げられたことによりビットストリームが変更された場合、機器間でプレゼンテーションの同期が得られないことがある。そのため、本発明の第２の方法では、ＩＲＡＰピクチャの次に表示されるトレイルピクチャのＰＴを操り上げることなく、ＩＲＡＰピクチャのみを直ちに表示する。第２の方法では、端末は、リーディングピクチャの表示時間中にＩＲＡＰピクチャを繰り返し表示した後、トレイルピクチャの元々のＰＴにおいて、続く復号化されたトレイルピクチャを表示できる。

【0049】

図５Ａ及び図５Ｂは、ビットストリーム中のリーディングピクチャを除去してＩＲＡＰピクチャを反復して表示する方法の例を示す。

【0050】

図５Ａはピクチャの復号順序を説明し、図５Ｂはピクチャの表示順序を説明する。

【0051】

本発明の方法で、ランダムアクセスが発生した場合、端末は、ＤＰＢに格納された一部ピクチャ(すなわち、ランダムアクセスが発生したＩＲＡＰピクチャのリーディングピクチャ)を表示せずに除去する。

【0052】

具体的には、ランダムアクセスが発生した場合、端末は、各ピクチャのＮＵＨに記録されたＮＵＴによって、リーディングピクチャ５０２，５０３，５０４，５０５が存在するか否かを判定できる。ＨＥＶＣビットストリームの場合、ＲＡＰピクチャの後に続くトレイルピクチャ５０８，５０９は、リーディングピクチャ５０２，５０３，５０４，５０５との依存性がない。従って、ＲＡＤＬピクチャ及びＲＡＳＬピクチャのようなリーディングピクチャ５０２，５０３，５０４，５０５がすべて除去されても、トレイルピクチャ５０８，５０９の復号化に影響を与えない。したがって、この方法による端末は、復号化する前に、ビットストリーム中のリーディングピクチャ５０２，５０３，５０４，５０５を除去し、それによってリーディングピクチャ５０２，５０３，５０４，５０５の復号化により発生する遅延時間をなくすことができる。このように、本発明の方法による端末は、ＩＲＡＰピクチャ５００をより高速に復元(復号化及び表示)可能になる。

【0053】

具体的に、ＩＲＡＰピクチャ、リーディングピクチャ(例えば、ＲＡＤＬピクチャ、ＲＡＳＬピクチャ)、及びトレイルピクチャのタイプは、符号化されたビットストリームのＮＵＴにより識別できる。例えば、ＨＥＶＣの場合、当該タイプは、ＮＵＨの６ＮＵＴビットにて信号化できる。また、ＩＳＯＢＭＦＦに格納されたＨＥＶＣビットストリームの場合、端末は、ＨＥＶＣＣｏｎｆｉｇｕｒａｔｉｏｎＢｏｘのＨＥＶＣＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＲｅｃｏｒｄにおいて、ＮＡＬユニットごとのＮＵＴ情報を識別できる。

【0054】

端末は、ＮＵＴ情報に基づいてビットストリーム中のリーディングピクチャを除去後直ちに(リーディングピクチャの復号化及びディスプレイによる遅延時間なしに)、ＩＲＡＰピクチャを表示可能になる。

【0055】

このとき、端末は、リーディングピクチャ５０２，５０３，５０４，５０５の個数に相当する長さの表示時間５１０の間にＩＲＡＰピクチャを反復して表示する。端末は、サーバにて示されたトレイルピクチャの既存の構成ＰＴにおいて、トレイルピクチャ５０８，５０９を表示できる。すなわち、端末は、リーディングピクチャ５０２，５０３，５０４，５０５を復号化することなく、ＩＲＡＰピクチャ５００を復号後直ちに表示し、トレイルピクチャ５０８，５０９を構成ＰＴに表示することにより、機器間でプレゼンテーションを同期化できないとの問題を回避できる。

【0056】

この場合、端末は、すべての他のトレイルピクチャ５０８のＰＴを操り上げることができなくても、ＩＲＡＰピクチャ５００に対しては遅延時間をなくしてＰＴを操り上げることができる。そのため、チャンネルスイッチングなどの理由でランダムアクセスが発生したときに、最初のピクチャをできるだけ早く表示できるとの効果がある。すなわち、時間遅延中に何らの画面も表示されないとの現象を回避できる。

【0057】

図６は、本発明による端末のランダムアクセスをサポートするビットストリーム再生方法を示す。

【0058】

端末は、第１のピクチャ(例えば、ＣＲＡピクチャのようなＩＲＡＰピクチャ)にランダムアクセスが発生した場合、第１のピクチャに続く第２のピクチャのＮＡＬユニットヘッダーをパーシングして第２のピクチャのＮＵＴを決定できる(６００)。例えば、ビットストリームのスイッチングまたは伝送チャンネルのスイッチングが発生した場合に、ビットストリームにランダムアクセスが発生しうる。

【0059】

端末は、決定したＮＵＴに基づいて、第２のピクチャをビットストリームから除去できる(６０２)。第２のピクチャは、表示順において、第１のピクチャ以前のリーディングピクチャであり得る。例えば、第２のピクチャのＮＵＴは、ＲＡＤＬピクチャまたはＲＡＳＬピクチャを指示できる。

【0060】

端末は、第２のピクチャが除去されたビットストリーム中の第１のピクチャ及び第１のピクチャに続くトレイルピクチャを復号化し表示できる(６０４)。このとき、リーディングピクチャに対応する第２のピクチャがビットストリームから除去されているので、第１のピクチャの表示ＰＴは、第１のピクチャの構成ＰＴよりも早い。具体的に、第１のピクチャは、構成ＰＴよりも早く、第２のピクチャを復元するのに必要な時間までに表示される。

【0061】

このとき、トレイルピクチャの表示ＰＴは繰り上げられることもあり、そうでないこともある。例えば、第１のピクチャの表示が第２のピクチャの復元に必要な時間だけ反復して表示される場合、トレイルピクチャのＰＴは繰り上げられない。

【0062】

図７は、本発明の実施形態により、ＧＯＰ伝送ビットストリームを再生する端末の構成を概略的に示す。

【0063】

端末７００は、他の通信装置またはネットワークのエンティティからビットストリームを受信する送受信部７２０と、端末７００のすべての動作を制御する制御部７１０を含むことができる。本発明の第１の方法及び第２の方法で説明した端末のすべての動作は、制御部７１０の制御により実行されることが理解できる。しかしながら、制御部７１０及び送受信部７２０は、必ずしも別の装置で実現されなければならないものではなく、単一チップのような一つの構成部で実現されてもよい。

【0064】

図１乃至図７に示したピクチャ復号化/表示例示図、方法例示図、装置構成図は、本発明の権利範囲を限定するための意図がないことに留意すべきである。すなわち、図１乃至図７に記載された特定ピクチャまたは特定構成部が本発明の実施のための必須構成要素であると解析されてはならなく、一部構成要素のみを含んでも本発明の本質を外れない範囲内で実現することができる。

【0065】

上記した動作は、該当プログラムコードを格納したメモリ装置を通信システムのエンティティ、機能、基地局、または端末装置内の任意の構成部に具備することで実現できる。すなわち、エンティティ、機能、基地局、または端末装置の制御部はメモリ装置内に格納されたプログラムコードをプロセッサ又はＣＰＵにより読み出して実行することによって、上記した動作を実行できる。

【0066】

本明細書で説明されるエンティティ、機能、基地局、または端末装置の多様な構成部と、モジュールはハードウェア回路、例えば相補性金属酸化膜半導体ベースの論理回路、ファームウェア、ソフトウェア及び/またはハードウェアとファームウェア及び/又は機械読み取り可能な媒体に挿入されたソフトウェアとの組み合わせのようなハードウェア回路を用いて動作することもできる。例えば、多様な電気構造及び方法は、トランジスタ、論理ゲート、注文型半導体のような電気回路を用いて実施できる。

【0067】

以上、本発明の詳細な説明においては具体的な実施形態に関して説明したが、特許請求の範囲を外れない限り、様々な変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。したがって、本発明の範囲は、前述の実施形態に限定されるものではなく、特許請求の範囲の記載及びこれと均等なものに基づいて定められるべきである。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【図7】