特許第6126240号(P6126240)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エルジー エレクトロニクス インコーポレイティドの特許一覧

特許6126240トリックプレイサービスを提供する放送信号送受信方法および装置
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6126240
(24)【登録日】2017年4月14日
(45)【発行日】2017年5月10日
(54)【発明の名称】トリックプレイサービスを提供する放送信号送受信方法および装置
(51)【国際特許分類】
   H04N 21/236 20110101AFI20170424BHJP
   H04N 21/472 20110101ALI20170424BHJP
   H04N 19/31 20140101ALI20170424BHJP
   H04N 19/70 20140101ALI20170424BHJP
   H04N 5/76 20060101ALI20170424BHJP
   H04N 5/765 20060101ALI20170424BHJP
   H04N 5/92 20060101ALI20170424BHJP
【FI】
   H04N21/236
   H04N21/472
   H04N19/31
   H04N19/70
   H04N5/76 A
   H04N5/91 L
   H04N5/92 H
【請求項の数】18
【全頁数】53
(21)【出願番号】特願2015-550347(P2015-550347)
(86)(22)【出願日】2014年11月18日
(65)【公表番号】特表2016-506182(P2016-506182A)
(43)【公表日】2016年2月25日
(86)【国際出願番号】KR2014011042
(87)【国際公開番号】WO2015080414
(87)【国際公開日】20150604
【審査請求日】2015年3月24日
(31)【優先権主張番号】61/910,416
(32)【優先日】2013年12月1日
(33)【優先権主張国】US
(31)【優先権主張番号】61/952,140
(32)【優先日】2014年3月13日
(33)【優先権主張国】US
(31)【優先権主張番号】61/954,615
(32)【優先日】2014年3月18日
(33)【優先権主張国】US
(31)【優先権主張番号】61/970,910
(32)【優先日】2014年3月27日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】502032105
【氏名又は名称】エルジー エレクトロニクス インコーポレイティド
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100092624
【弁理士】
【氏名又は名称】鶴田 準一
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100165191
【弁理士】
【氏名又は名称】河合 章
(74)【代理人】
【識別番号】100151459
【弁理士】
【氏名又は名称】中村 健一
(72)【発明者】
【氏名】ファン ソチン
(72)【発明者】
【氏名】オ ヒョンムク
(72)【発明者】
【氏名】ス チョンヨル
(72)【発明者】
【氏名】ユン チュンヒ
【審査官】 長谷川 素直
(56)【参考文献】
【文献】 特開2008−294512(JP,A)
【文献】 米国特許出願公開第2009/0323822(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 21/00−21/858
H04N 19/00−19/98
H04N 5/76
H04N 5/765
H04N 5/91−5/95
(57)【特許請求の範囲】
【請求項1】
ビデオデータをエンコーディングしてビデオエレメンタリストリームを生成するステップと、
前記ビデオエレメンタリストリームを有するPESを生成するステップと、
前記生成されたPESを有するTSを生成するステップであって、
前記TSは、トリックプレイを実行するためのPVRアシスト情報を有し、
前記PVRアシスト情報は、ティアナンバ情報および最大時間識別情報を有し、
前記ティアナンバ情報は、RAPピクチャでないピクチャの時間識別情報値に1を足した値を有するティアナンバを示し、
前記最大時間識別情報は、前記エンコーディングされたビデオデータを有するビデオエレメンタリストリームの最大時間識別情報値を示す、ステップと、
前記生成されたTSを送信するステップと、を有する、放送信号送信方法。
【請求項2】
前記ティアナンバ情報が示すティアナンバは、RAPピクチャに関しては0の値を有する、請求項1に記載の放送信号送信方法。
【請求項3】
前記最大時間識別情報は、前記トリックプレイの速度に関する情報を提供するために用いられる、請求項1に記載の放送信号送信方法。
【請求項4】
前記PVRアシスト情報は、前記TSのアダプテーションフィールドに有される、請求項1に記載の放送信号送信方法。
【請求項5】
前記PVRアシスト情報は、ピクチャが属するセグメントに関する情報が存在するか否かを示すセグメンテーションインフォフラグ情報を有する、請求項1に記載の放送信号送信方法。
【請求項6】
前記PVRアシスト情報は、ピクチャが属するセグメントのidを示すセグメント識別子情報を有する、請求項5に記載の放送信号送信方法。
【請求項7】
前記PVRアシスト情報は、ピクチャが属するプログラムのidを示すプログラム識別子情報を有する、請求項5に記載の放送信号送信方法。
【請求項8】
前記PVRアシスト情報は、各セグメントで再生時間順序が先頭であるピクチャを識別するセグメントスタートフラグ情報および各セグメントで再生時間順序が末尾であるピクチャを識別するセグメントエンドフラグ情報のうち少なくとも一つを有する、請求項5に記載の放送信号送信方法。
【請求項9】
前記PVRアシスト情報は、各プログラムで再生時間順序が先頭であるピクチャを識別するプログラムスタートフラグ情報および各プログラムで再生時間順序が末尾であるピクチャを識別するプログラムエンドフラグ情報のうち少なくとも一つを有する、請求項5に記載の放送信号送信方法。
【請求項10】
TSを受信する受信部と、
前記受信したTSからPESを抽出する第1抽出部と、
前記抽出されたPESからビデオエレメンタリストリームを抽出する第2抽出部と、
前記抽出されたビデオエレメンタリストリームをデコーディングするデコーダと、
前記デコーディングされたビデオデータのトリックプレイを実行するトリックプレイ実行部と、を有し、
前記TSは、前記トリックプレイを実行するためのPVRアシスト情報を有し、
前記PVRアシスト情報は、ティアナンバ情報および最大時間識別情報を有し、
前記ティアナンバ情報は、RAPピクチャでないピクチャの時間識別情報値に1を足した値を有するティアナンバを示し、
前記最大時間識別情報は、エンコーディングされたビデオデータを有するビデオエレメンタリストリームの最大時間識別情報値を示し、
前記トリックプレイ実行部は、前記ティアナンバ情報および前記最大時間識別情報に基づいて、前記デコーディングされたビデオデータのトリックプレイを実行する、放送信号受信装置。
【請求項11】
前記ティアナンバ情報が示すティアナンバは、RAPピクチャに関しては0の値を有する、請求項10に記載の放送信号受信装置。
【請求項12】
前記最大時間識別情報は、前記トリックプレイの速度に関する情報を提供するために用いられる、請求項10に記載の放送信号受信装置。
【請求項13】
前記PVRアシスト情報は、前記TSのアダプテーションフィールドに有される、請求項10に記載の放送信号受信装置。
【請求項14】
前記PVRアシスト情報は、ピクチャが属するセグメントに関する情報が存在するか否かを示すセグメンテーションインフォフラグ情報を有する、請求項10に記載の放送信号受信装置。
【請求項15】
前記PVRアシスト情報は、ピクチャが属するセグメントのidを示すセグメント識別子情報を有する、請求項14に記載の放送信号受信装置。
【請求項16】
前記PVRアシスト情報は、ピクチャが属するプログラムのidを示すプログラム識別子情報を有する、請求項14に記載の放送信号受信装置。
【請求項17】
前記PVRアシスト情報は、各セグメントで再生時間順序が先頭であるピクチャを識別するセグメントスタートフラグ情報および各セグメントで再生時間順序が末尾であるピクチャを識別するセグメントエンドフラグ情報のうち少なくとも一つを有する、請求項14に記載の放送信号受信装置。
【請求項18】
前記PVRアシスト情報は、各プログラムで再生時間順序が先頭であるピクチャを識別するプログラムスタートフラグ情報および各プログラムで再生時間順序が末尾であるピクチャを識別するプログラムエンドフラグ情報のうち少なくとも一つを有する、請求項14に記載の放送信号受信装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、放送信号の送受信に関し、特に、トリックプレイサービスを提供する放送信号の送受信方法、および/または、トリックプレイサービスを提供する放送信号の送受信装置に関する。
【背景技術】
【0002】
近年、高解像度・高品質映像サービスへの需要と関心が非常に高まっている。HDTVに続いて超高精細テレビ(Ultra High Definition TV;UHDTV)が発売されることにより高い解像度の非常に写実的な(realistic)高品質放送サービスが提供され、モバイル市場でも、基本画面解像度がHD級であるスマートフォンが発売されることによりユーザの高解像度および高品質映像への要望が急増する一方である。現在、DTV、DMB、DVD、デジタルカムコーダ、映像ブラックボックス、IPTV、スマートTV、スマートフォンなどを含む様々なマルチメディア機器に用いられるH.264/AVC標準は、高解像度および高画質の映像サービスをサポートするには限界がある。そこで、ITU−T VCEG(Video Coding Experts Group)とISO/IEC MPEG(Moving Picture Experts Group)とは、H.264/AVCに比べて圧縮率がより高く複雑さがより低減された新しい次世代動画像圧縮標準の必要性から、高能率映像符号化(High Efficiency Video Coding;HEVC)という標準化活動を開始し、HEVC最終標準案(Final Draft International Standard;FDIS)を完成した。HEVCは、H.264/AVCに比べて約35%の符号化効率を示す次世代映像圧縮標準であって、HD級映像およびUHD級映像のぼう大なデータを効果的に圧縮するための核心技術として注目されている。世界的なHEVC技術の商用化への努力から、最適化されたHEVCソフトウェアおよびハードウェア標準が市場に登場する見通しである。
【0003】
一方、トリックプレイとは、任意の時間の映像を再生できる機能であるランダムアクセス(random access)と2倍速、4倍速などの倍速機能とを提供するサービスのことを意味する。HEVCのランダムアクセスポイント(random access point;RAP)とH.264のランダムアクセスポイントとの間には差異があるため、HEVCのランダムアクセスポイントのカテゴリを新たに定義する必要がある。また、HEVCではスケーラビリティ(scalability)を提供しており、これを用いてトリックプレイを提供する必要がある。また、従来のCFFメディアファイルフォーマット(media file format)の仕様は、H.264/AVCのトリックプレイに関するフォーマットを定義している。しかし、HEVCでエンコーディングされたコンテンツについては定義しておらず、HEVCでエンコーディングされたコンテンツのデコーディングおよびトリックプレイのために新しいフォーマットを提供する必要がある。
【0004】
トリックプレイを行うために、従来のAVC/H.264ベースでは、ビデオストリームを構成するピクチャを、各ピクチャ間の従属関係(dependency)によってティア(tier)という概念を用いて分類した。そして、受信側は、特定のティア値を持つピクチャのみをデコーディングおよび表示してトリックプレイサービスを提供した。しかし、HEVCでは、ビデオストリームの時間スケーラビリティ(temporal scalability)を基本的に提供しているため、時間スケーラビリティを用いてトリックプレイサービスを提供する方法に関する研究が必要である。なお、ユーザにとっては、提供可能な最大倍速情報を知ることができれば、トリックプレイを利用する上で便利さを感じるだろう。したがって、提供可能な最大倍速情報をユーザに提供できる方法に関する研究が必要である。
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明が達成しようとする課題は、上述した問題点を解決するためのもので、トリックプレイサービスを提供する放送信号を送受信する方法および/または装置を提供することである。
【0006】
なお、本発明が達成しようとする課題は、トリックプレイサービスを提供するトリックプレイ関連情報を提供することである。
【0007】
なお、本発明が達成しようとする課題は、トリックプレイ関連情報をシグナリングする方法を提供することである。
【0008】
なお、本発明が達成しようとする課題は、ユーザに最大倍速情報を提供できるシグナリング方法を提供することである。
【0009】
なお、本発明が達成しようとする課題は、HEVCで基本的に提供する時間スケーラビリティを用いてトリックプレイを提供する方法を提供することである。
【0010】
なお、本発明が達成しようとする課題は、従来のトリックプレイ関連情報を極力そのまま使用しながら、より良いトリックプレイサービスを提供する方法を提供することである。
【課題を解決するための手段】
【0011】
本発明の一実施例に係る放送信号送信方法は、ビデオデータをエンコーディングしてビデオエレメンタリストリーム(video elementary stream)を生成するステップと、ビデオエレメンタリストリームを有するパケット化エレメンタリストリーム(Packetized Elementary Stream;PES)を生成するステップと、生成されたPESを有するトランスポートストリーム(Transport Stream;TS)を生成するステップであって、TSは、トリックプレイ実行のためのパーソナルビデオレコーダ(Personal Video Recorder;PVR)アシスト情報を有し、PVRアシスト情報は、ティアナンバ情報および最大時間識別情報を有し、ティアナンバ情報は、ランダムアクセスポイント(Random Access Point;RAP)ピクチャでないピクチャの時間識別情報値に1を足した値を有するティアナンバを示し、最大時間識別情報は、エンコーディングされたビデオデータを有するビデオエレメンタリストリームの最大時間識別情報値を示す、ステップと、生成されたTSを送信するステップと、を有することができる。
【0012】
好適には、ティアナンバ情報が示すティアナンバは、RAPピクチャでは0の値を有してもよい。
【0013】
好適には、最大時間識別情報は、トリックプレイの速度に関する情報を提供するために用いられてもよい。
【0014】
好適には、PVRアシスト情報は、TSのアダプテーションフィールドに有されてもよい。
【0015】
好適には、PVRアシスト情報は、ピクチャが属するセグメントに関する情報が存在するか否かを示すセグメンテーションインフォフラグ情報を有してもよい。
【0016】
好適には、PVRアシスト情報は、ピクチャが属するセグメントの識別子(identifier;id)を示すセグメント識別子情報を有してもよい。
【0017】
好適には、PVRアシスト情報は、ピクチャが属するプログラムのidを示すプログラム識別子情報を有してもよい。
【0018】
好適には、PVRアシスト情報は、各セグメントで再生時間順序が先頭であるピクチャを識別するセグメントスタートフラグ情報および各セグメントで再生時間順序が末尾であるピクチャを識別するセグメントエンドフラグ情報のうち少なくとも一つを有してもよい。
【0019】
好適には、PVRアシスト情報は、各プログラムで再生時間順序が先頭であるピクチャを識別するプログラムスタートフラグ情報および各プログラムで再生時間順序が末尾であるピクチャを識別するプログラムエンドフラグ情報のうち少なくとも一つを有してもよい。
【0020】
本発明の他の実施例に係る放送信号受信装置は、トランスポートストリーム(Transport Stream;TS)を受信する受信部(tuner)であって、ここで、TSは、トリックプレイ実行のためのパーソナルビデオレコーダ(Personal Video Recorder;PVR)アシスト情報を有し、ここで、PVRアシスト情報は、ティアナンバ情報および最大時間識別情報を有し、ここで、ティアナンバ情報は、ランダムアクセスポイント(Random Access Point;RAP)ピクチャでないピクチャの時間識別情報値に1を足した値を有するティアナンバを示し、最大時間識別情報は、エンコーディングされたビデオデータを有するビデオエレメンタリストリームの最大時間識別情報値を示す、受信部と、受信したTSからパケット化エレメンタリストリーム(Packetized Elementary Stream;PES)を抽出する第1抽出部と、抽出されたPESからビデオエレメンタリストリームを抽出する第2抽出部と、抽出されたビデオエレメンタリストリームをデコーディングするデコーダと、を有することができる。
【0021】
好適には、ティアナンバ情報が示すティアナンバは、RAPピクチャでは0の値を有してもよい。
【0022】
好適には、最大時間識別情報は、トリックプレイの速度に関する情報を提供するために用いられてもよい。
【0023】
好適には、PVRアシスト情報は、TSのアダプテーションフィールドに有されてもよい。
【0024】
好適には、PVRアシスト情報は、ピクチャが属するセグメントに関する情報が存在するか否かを示すセグメンテーションインフォフラグ情報を有してもよい。
【0025】
好適には、PVRアシスト情報は、ピクチャが属するセグメントのidを示すセグメント識別子情報を有してもよい。
【0026】
好適には、PVRアシスト情報は、ピクチャが属するプログラムのidを示すプログラム識別子情報を有してもよい。
【0027】
好適には、PVRアシスト情報は、各セグメントで再生時間順序が先頭であるピクチャを識別するセグメントスタートフラグ情報および各セグメントで再生時間順序が末尾であるピクチャを識別するセグメントエンドフラグ情報のうち少なくとも一つを有してもよい。
【0028】
好適には、PVRアシスト情報は、各プログラムで再生時間順序が先頭であるピクチャを識別するプログラムスタートフラグ情報および各プログラムで再生時間順序が末尾であるピクチャを識別するプログラムエンドフラグ情報のうち少なくとも一つを有してもよい。
【発明の効果】
【0029】
本発明によれば、ユーザにトリックプレイサービスを提供することができる。
【0030】
本発明によれば、ユーザにトリックプレイサービスを提供するためのトリックプレイ関連情報を提供することができる。
【0031】
本発明によれば、ユーザにトリックプレイ関連情報をシグナリングする方法を提供することができる。
【0032】
本発明によれば、トリックプレイサービスにおいてユーザに提供可能な最大倍速情報を提供することができる。
【0033】
本発明によれば、HEVCの時間スケーラビリティを用いてより効率的なトリックプレイサービスを提供することができる。
【0034】
本発明によれば、トリックプレイサービス関連の従来のシステムを極力維持しながらより効率的なトリックプレイサービスを提供することができる。
【0035】
本発明によれば、HEVCビデオストリームの構造をそのまま用いながらトリックプレイサービスを提供することができる。
【0036】
本発明によれば、HEVCビデオストリームの時間idベースの構造を用いてトリックプレイサービスを提供することによって、エンコーディング段階でトリックプレイに用いる特定のピクチャをシグナリングしなくて済むため、より速いエンコーディング速度を提供することができる。
【図面の簡単な説明】
【0037】
図1】本発明の一実施例に係るトリックプレイ方法をシナリオに基づいて示す図である。
図2】本発明の一実施例に係るHEVCベースのストリームをサポートするためのCFF(Common File Format)ボックスの構造(box structure)を示す図である。
図3】本発明の一実施例に係る“hvcn”ボックスのシンタックス(syntax)を示す図である。
図4】本発明の一実施例に係る、Common_Metadataに含まれるHDR(High Dynamic Range)をサポートするエレメントを示す図である。
図5】本発明の一実施例に係る、HEVCストリームの場合のランダムアクセスのためのピクチャタイプを示す図である。
図6】本発明の一実施例に係る、クローズドGOPである場合のトリックプレイの方法を示す図である。(シナリオ1−1)
図7】本発明の一実施例に係る、オープンGOP(open GOP)であって、当該GOPがDLP(decodable leading picture)を含む場合のトリックプレイの方法を示す図である。(シナリオ1−2)
図8】本発明の一実施例に係る、オープンGOPであって、当該GOPがDLPおよびSLP(skipped leading picture)を含む場合のトリックプレイの方法を示す図である。(シナリオ1−2)
図9】本発明の一実施例に係る、オープンGOPであって、当該GOPがSLPを含む場合のトリックプレイの方法を示す図である。(シナリオ1−2)
図10】本発明の一実施例に係る、max_temporal_idが0であるHEVCストリームのトリックプレイをサポートするためのトリックプレイボックス(trick play box)の構成を示す図である。(シナリオ1−2)
図11】本発明の他の実施例に係る、max_temporal_idが0であるHEVCストリームのトリックプレイをサポートするためのトリックプレイボックスの構成を示す図である。(シナリオ1−2)
図12】本発明の一実施例に係る、max_temporal_idが0であるHEVCストリームのトリックプレイをサポートするためのトリックプレイボックスに含まれるpic_typeを説明するための図である。
図13】本発明の一実施例に係る、pic_typeにリーディングピクチャ(leading picture)に関連する内容が含まれない場合、max_temporal_idが0であるHEVCストリームのトリックプレイをサポートするためのトリックプレイボックスの構成を示す図である。(シナリオ1−1)
図14】本発明の他の実施例に係る、pic_typeにリーディングピクチャに関連する内容が含まれない場合、max_temporal_idが0であるHEVCストリームのトリックプレイをサポートするためのトリックプレイボックスの構成を示す図である。(シナリオ1−1)
図15】本発明の一実施例に係る、時間スケーラビリティをサポートするHEVCストリームの構成を示す図である。
図16】本発明の一実施例に係る、時間スケーラビリティをサポートするHEVCストリームにおいて最大倍速を制限してトリックプレイをサポートするためのトリックプレイボックスの構成を示す図である。(シナリオ2)
図17】本発明の他の実施例に係る、時間スケーラビリティをサポートするHEVCストリームにおいて最大倍速を制限してトリックプレイをサポートするためのトリックプレイボックスの構成を示す図である。(シナリオ2)
図18】本発明の一実施例に係る、時間サブレイヤピクチャタイプがTSAである場合のフレームレートの変更方法を示す図である。
図19】本発明の一実施例に係る、時間サブレイヤピクチャタイプがSTSAである場合のフレームレートの変更方法を示す図である。(シナリオ3)
図20】本発明の一実施例に係る、時間スケーラビリティをサポートするHEVCストリームにおいて高倍速のトリックプレイをサポートするためのトリックプレイボックスの構成を示す図である。(シナリオ3)
図21】本発明の他の実施例に係る、時間スケーラビリティをサポートするHEVCストリームにおいて高倍速のトリックプレイをサポートするためのトリックプレイボックスの構成を示す図である。
図22】本発明の一実施例に係る放送信号受信システムの構造を示す図である。
図23】本発明の一実施例に係る受信端の構造を示す図である。
図24】本発明の一実施例に係る、時間id(temporal id)およびティア(tier)を複合的に用いたトリックプレイの方法を示す図である。
図25】本発明の一実施例に係る、従来のティアの概念によるトリックプレイ方法を示す図である。
図26】本発明の一実施例に係る、一つの時間idを一つのティアに1:1でマッピングする方法によるトリックプレイ方法を示す図である。(シナリオA−a)
図27】本発明の他の実施例に係る、一つの時間idを一つのティアに1:1でマッピングする方法によるトリックプレイ方法を示す図である。(シナリオA−a)
図28】本発明の一実施例によって、一つの時間idを一つのティアに1:1でマッピングした結果を示す図である。
図29】本発明の他の実施例によって、一つの時間idを一つのティアに1:1でマッピングした結果を示す図である。
図30】本発明の一実施例に係る、一つの時間idを複数のティアにマッピングする方法によるトリックプレイの方法を示す図である。(シナリオA−b)
図31】本発明の一実施例に係る、時間idとティアとのマッピングのための情報を含むTSパケットのアダプテーションフィールド(adaptation field)の構成を示す図である。
図32】本発明の一実施例に係るHEVC_temporal_id_tier_mapping_infoの構成を示す図である。
図33】本発明の一実施例に係る、HEVC_temporal_id_tier_mapping_infoに含まれるtrick_play_speedフィールドの構成を示す図である。
図34】本発明の一実施例に係るPVR_assist_informationの構成を示す図である。
図35】本発明の一実施例に係る、時間idフレームワークが追加されたPVR_assist_informationの構成を示す図である。(シナリオB−a−a)
図36】本発明の他の実施例に係る、時間idフレームワークが追加されたPVR_assist_informationの構成を示す図である。(シナリオB−a−b)
図37】本発明の一実施例に係る、時間idを用いたトリックプレイをサポートするためのPVR_assist_informationの構成を示す図である。(シナリオB−b)
図38】本発明の一実施例に係る受信装置を示す図である。
図39】本発明の一実施例に係る、ティアフレームワーク(tier framework)とHEVC時間サブレイヤとを比較した図である。
図40】本発明の他の実施例に係るPVR_assist_informationの構成を示す図である。
図41】本発明の一実施例に係る、HEVC時間サブレイヤを用いたトリックプレイ方法を示す図である。
図42】本発明の一実施例に係る放送信号送信方法を示す図である。
図43】本発明の一実施例に係る放送信号受信装置の構造を示す図である。
【発明を実施するための形態】
【0038】
以下、添付の図面および添付の図面に記載された内容を参照して本発明の実施例を詳しく説明するが、本発明はそれらの実施例に制限または限定されるものではない。
【0039】
本明細書で使われる用語は、本発明での機能を考慮すると共に、可能な限り現在広く使われる一般的な用語を選択したが、これは当該分野に従事する技術者の意図、慣例または新しい技術の出現などによって変更されてもよい。また、特定の場合、出願人が任意に選定した用語もあり、その場合、該当する発明の説明箇所でその意味を記載するだろう。したがって、本明細書で使われる用語は、単純な用語の名称ではなくその用語が持つ実質的な意味と本明細書全般にわたる内容とに基づいて解釈されなければならないことは明らかである。
【0040】
本発明の理解および説明の便宜のために、用語および略語について下記の通り定義する。
【0041】
高効率ビデオコーディング(High Efficiency Video Coding;HEVC)は、従来のH.265/AVC技術に比べて約2倍も高い圧縮率を有しながら同様のビデオ品質を提供する高効率ビデオコーディング標準である。
【0042】
時間スケーラビリティ(temporal scalability)は、時間的スケーラビリティを意味し、同一の空間解像度でフレーム周波数が異なるものを符号化する方法を意味する。
【0043】
トリックプレイ(trick play)は、一定時間後の映像をプレイできるランダムアクセスが可能であり、倍速機能を提供する機能を意味する。
【0044】
オープンGOP(Open GOP)は、一つのGOP内のピクチャをエンコーディングするとき、該当するGOPの前に位置するピクチャを参照ピクチャとして用いてエンコーディングできる構造を意味する。すなわち、リーディングピクチャ(leading picture)を含むGOPを意味する。
【0045】
クローズドGOP(Closed GOP)は、一つのGOP内のピクチャをエンコーディングするとき、該当するGOP内のピクチャのみを参照ピクチャとして用いる構造を意味する。すなわち、オープンGOPとは違い、リーディングピクチャを含まない。
【0046】
リーディングピクチャ(leading picture)は、HEVCでIRAP(Intra Random Access Point)ピクチャに比べてデコーディング順序は遅いが、再生順序は早いピクチャを意味する。
【0047】
時間idは、HEVCで時間スケーラビリティをサポートするために導入された用語で、NAL_unit_headerのnuh_temporal_id_plus1によってシグナリングできる。
【0048】
ティア(tier)は、AVCストリームまたはmpeg−2ストリームでトリックプレイをサポートするために導入された用語である。ティアは、TSパケット(TS packet)内のアダプテーションフィールド(adaptation field)に含むことができる。
【0049】
図1は、本発明の一実施例に係るトリックプレイ方法をシナリオに基づいて示す図である。
【0050】
本発明の一実施例によれば、HEVCの時間スケーラビリティを使用するか否かによってトリックプレイのためのシグナリング方法を定義することができる。
【0051】
本発明の一実施例に係るビデオストリームが時間スケーラビリティを提供しないストリームである場合、すなわち、ビデオストリームが、temporal_idが0であるピクチャのみを含む場合において、クローズドGOPであれば、ビデオストリームがリーディングピクチャを含まないため、CFFメディアファイルフォーマットに定義されたdependency_levelおよびpic_typeをシグナリングすることによって、トリックプレイを提供できる(シナリオ1−1)。一方、オープンGOPであれば、pic_typeにリーディングピクチャタイプを含め、dependency_levelをシグナリングすることによって、トリックプレイを提供できる(シナリオ1−2)。
【0052】
本発明の一実施例に係るビデオストリームが時間スケーラビリティベースのストリームである場合、すなわち、ビデオストリームが、temporal_idが0よりも大きいピクチャを含む場合、dependency_level、pic_typeおよびtemporal_sub_layer_pic_typeをシグナリングすることによって、トリックプレイを提供できる。より具体的には、ストリームに含まれるtemporal_idを用いてサポート可能な倍速レベルをシグナリングすることによって、トリックプレイを提供できる(シナリオ2)。また、シナリオ2と同様に、temporal_idを用いてサポート可能な倍速レベルをシグナリングし、さらにtemporal_idが0であるピクチャを用いることによって、倍速のための追加サービスを提供できる(シナリオ3)。
【0053】
同図に表示されたボックスは、ビデオストリームを構成するピクチャを示し、ボックス中に記述されたT_IDは、時間スケーラビリティをサポートするためのtemporal_idを意味できる。
【0054】
図2は、本発明の一実施例に係るHEVCベースのストリームをサポートするためのCFF(Common File Format)ボックスの構造を示す図である。
【0055】
同図で“NL0”、“NL1”および“NL2”は、CFFボックスの包含関係を表し、“Format Req.”は、当該ボックスが存在するか否かとその数を表し、“Specification”は、当該ボックスが定義されている標準書の部分を表し、“Description”は、当該ボックスの説明を表すことができる。“Format Req.”が“+”であれば、当該ボックスが一つ以上存在するということを意味し、“0/1”であれば、当該ボックスが存在するか存在しないかを意味し、“1”であれば、当該ボックスが存在することを意味し、“0”であれば、当該ボックスが存在しないことを意味できる。
【0056】
同図は、本発明の一実施例に係るCFFボックス構造であって、従来のCFFにHEVCのための新しいトリックプレイボックスを追加したものである。また、本発明の一実施例に係るCFFボックス構造は、HEVCベースの nalユニット(nal unit)をサポートするために“hvcn”と略称される ストレージボックス(storage box)を含むことができる。
【0057】
図3は、本発明の一実施例に係る“hvcn”ボックスのシンタックスを示す図である。
【0058】
本発明の一実施例によれば、CFFボックス構造(CFF box structure)は、“hvcn”と略称されるnalユニットストレージボックス(nal unit storage box)を含むことができる。
【0059】
本発明の一実施例によれば、トリックプレイのためにコーデック別にnalユニットストレージボックスを定義できる。
【0060】
本発明の一実施例によれば、トリックプレイのためにコーデック別にnalユニットストレージボックスを定義せず、従来の“trick”ボックスの内部に従来のAVCトリックボックス(AVC trick box)とは別にHEVCトリックボックスを定義できる。また、“trick”ボックスのフラグによって、AVCまたはHEVCトリックプレイ(HEVC trick play)が選択されうる。
【0061】
同図で、HEVCConfigは、HEVCのSPS(Sequence Parameter Set)およびPPS(Picture Parameter Set)を含むことができ、SPSのVUIパラメータなどのビデオ情報を含むことができる。
【0062】
図4は、本発明の一実施例に係る、Common_Metadataに含まれるHDR(High Dynamic Range)をサポートするエレメントを示す図である。
【0063】
本発明の一実施例に係る、xmlボックスで参照しているCommon_Metadataは、HighDynamicRangeエレメントを含むことができる。
【0064】
本発明の一実施例に係るHighDynamicRangeエレメントは、xmlスキーマによる文字列値を有することができ、HighDynamicRangeエレメントは、1個存在してもよく、存在しなくてもよい。
【0065】
本発明の一実施例に係るHighDynamicRangeエレメントは、最小および/または最大輝度値(min.luminanceおよび/またはmax.luminance)を示すことができる。
【0066】
本発明の一実施例に係るHighDynamicRangeエレメントは、最小および/または最大輝度値で分類されるprofile値を示すことができる。例えば、HighDynamicRangeエレメントは、Conventional capacity(min:0.1cd/m2、max:100cd/m2)、Mid capacity(min:0.001cd/m2、max:1000cd/m2)またはHigh capacity(min:0.0001cd/m2、max:10000cd/m2)を示すことができる。
【0067】
図5は、本発明の一実施例に係る、HEVCストリームの場合のランダムアクセスのためのピクチャタイプを示す図である。
【0068】
同図は、HEVCNalユニットタイプ(HEVC Nal unit type)のうち、ランダムアクセスおよびトリックプレイを実行するために基本となり得るピクチャの種類を示す図である。
【0069】
同図で、陰影で表示されたピクチャタイプ(TSA、STSA)は、時間id(temporal ID)が0よりも大きいストリームが含まれる場合、すなわち、時間スケーラビリティが提供される場合に、トリックプレイのために使用可能なHEVC時間サブレイヤピクチャタイプ(HEVC temporal sub-layer picture type)を示すことができる。上述の陰影で表示されたピクチャタイプは、本発明の一実施例に係るシナリオ2および3で用いることができる。
【0070】
本発明の一実施例によれば、ランダムアクセスポイントピクチャ(random access point pictures)は、IDR(Instantaneous Decoding Refresh)、BLA(Broken Link Access)および/またはCRA(Clean Random Access)を含むことができ、リーディングピクチャは、RADL(Random Access Decodable Leading Picture)および/またはRASL(Random Access Skipped Leading Picture)を含むことができ、時間サブレイヤアクセスピクチャ(temporal sub-layer access pictures)は、TSA(Temporal Sub-layer Access)および/またはSTSA(Step-wise Temporal Sub-layer Access)を含むことができる。
【0071】
IDR(Instantaneous Decoding Refresh)ピクチャは、関連するリーディングピクチャを有する場合および/または関連するリーディングピクチャを有しない場合を含むことができる。
【0072】
BLA(Broken Link Access)ピクチャは、関連するRADLピクチャは有するが、関連するRASLピクチャは有しない場合および/または関連するリーディングピクチャを有しない場合を含むことができる。
【0073】
CRA(Clean Random Access)ピクチャは、関連するリーディングピクチャを有する場合を含むことができる。
【0074】
TSA(Temporal Sub-layer Access)ピクチャは、同一のsub−layerで参照されない場合および/または同一のsub−layerで参照される場合を含むことができる。
【0075】
STSA(Step-wise Temporal Sub-layer Access)ピクチャは、同一のsub−layerで参照されない場合および/または同一のsub−layerで参照される場合を含むことができる。
【0076】
図6は、本発明の一実施例に係る、クローズドGOPである場合のトリックプレイの方法を示す図である。(シナリオ1−1)
【0077】
同図は、ビデオストリーム内における最大temporal_id値が0であり、クローズドGOPである場合に、トリックプレイを行う方法を示す図である。ここで、GOPは、Group Of Pictureの略称で、ランダムアクセスを可能にするための符号化されたピクチャのグループを意味する。ここで、クローズドGOPは、リーディングピクチャを含まないGOPを意味し、オープンGOPは、リーディングピクチャを含むGOPを意味できる。ここで、リーディングピクチャとは、HEVCでIRAP(Intra Random Access Point、AVコーデックにおけるランダムアクセスポイントと同じ概念)ピクチャと比べてデコーディング順序は遅いが、表示順序は早いピクチャを意味できる。
【0078】
同図で、一つの四角形のボックスは、一つのピクチャを表すことができる。ここで、ピクチャは、フレームおよび/または画像と同じ意味で使われてもよい。
【0079】
同図で、I1からP9までのピクチャグループは、一つのGOPを表すことができる。ここで、Iピクチャは、MPEG符号化信号で使われる3種類のピクチャ形式の一つで、一つの完全なピクチャを構成するための全てのデータを含むことができる。すなわち、Iピクチャは、他のピクチャを参照しなくてもよい。Pピクチャは、現在のピクチャと再生順序上その前のピクチャとの差異を観察して作られた予測情報と、実際情報と、の差値のみを含むことができる。すなわち、Pピクチャは、再生順序上現在のピクチャの前に存在するピクチャを参照することができる。Bピクチャは、現在のピクチャと、再生順序上現在のピクチャの前に存在するピクチャと、現在のピクチャの後に存在するピクチャと、の間の差異を観察して作られた予測情報のみを含むことができる。すなわち、Bピクチャは、現在のピクチャの前および後に存在するピクチャを参照できる。同図で、矢印はピクチャ間の参照関係を示すことができる。例えば、B3ピクチャは、完全な画像を作るために、I1ピクチャおよびB5ピクチャを参照でき、P9ピクチャはI1ピクチャを参照できる。
【0080】
同図で、四角形の中の数字は、各ピクチャのdependency_levelを示すことができる。例えば、一番目のピクチャは、dependency_levelが1であるピクチャを表し、二番目のピクチャは、dependency_levelが5であるピクチャを表し、三番目のピクチャは、dependency_levelが4であるピクチャを表すことができる。
【0081】
本発明の一実施例によれば、2倍速トリックプレイは、dependency_level値として1乃至4を有するピクチャをデコーディングすることによって行うことができる。4倍速トリックプレイは、dependency_level値として1乃至3を有するピクチャをデコーディングすることによって行うことができる。8倍速トリックプレイは、dependency_level値として1乃至2を有するピクチャをデコーディングすることによって行うことができる。16倍速トリックプレイは、dependency_level値として1を有するピクチャをデコーディングすることによって行うことができる。
【0082】
図7は、本発明の一実施例に係る、オープンGOPであって、当該GOPがデコーディング可能リーディングピクチャを含む場合のトリックプレイの方法を示す図である。(シナリオ1−2)
【0083】
一番目の図は、ビデオストリームをなすピクチャのデコーディング順序を示すものであり、二番目の図は、通常再生速度でビデオストリームをなすピクチャの表示順序を示すものであり、三番目の図は、2倍速トリックプレイ時にビデオストリームをなすピクチャの表示順序を示すものである。
【0084】
二番目の図において、表示されたB0からB6までのピクチャは、デコーディング可能リーディングピクチャを表すことができる。
【0085】
同図において、GOPに含まれるリーディングピクチャは、デコーディング可能リーディングピクチャであるため、二番目の図に示すように、矢印の部分から表示でき、三番目の図に示すようにトリックプレイを行うことができる。ここで、2倍速トリックプレイが行われる場合、各ピクチャのdependency_levelによって、図面に表示された通り、B1、B3、B5、RAPおよびB1ピクチャが表示されうる。ここで、デコーディング可能リーディングピクチャは、RADL(Random Access Decodable leading Picture)を含むことができる。
【0086】
図8は、本発明の一実施例に係る、オープンGOPであって、当該GOPがデコーディング可能リーディングピクチャ(decodable leading picture)およびスキップ可能リーディングピクチャを含む場合のトリックプレイの方法を示す図である。(シナリオ1−2)
【0087】
一番目の図は、ビデオストリームをなすピクチャのデコーディング順序を示すものであり、二番目の図は、通常再生速度でビデオストリームをなすピクチャの表示順序を示すものであり、三番目の図は、2倍速トリックプレイ時にビデオストリームをなすピクチャの表示順序を示すものである。
【0088】
二番目および三番目の図において、表示されたB0からB2までのピクチャがスキップ可能リーディングピクチャを表すことができ、表示されたB3からB6までのピクチャがデコーディング可能リーディングピクチャを表すことができる。
【0089】
同図において、スキップ可能リーディングピクチャは表示されず、トリックプレイができない。したがって、二番目の図に示すように、B3ピクチャから表示可能であり、三番目の図に示すように、B3ピクチャからトリックプレイが可能である。ここで、2倍速トリックプレイが行われる場合、各ピクチャのdependency_levelによって、図面に表示された通り、B3、B5、RAPおよびB1ピクチャが表示されうる。ここで、デコーディング可能リーディングピクチャは、RADLを含むことができ、スキップ可能リーディングピクチャは、RASL(Random Access Skipped Leading Picture)を含むことができる。
【0090】
図9は、本発明の一実施例に係る、オープンGOPであって、当該GOPがスキップ可能リーディングピクチャを含む場合のトリックプレイの方法を示す図である。(シナリオ1−2)
【0091】
一番目の図は、ビデオストリームをなすピクチャのデコーディング順序を示すものであり、二番目の図は、通常再生速度時ビデオストリームをなすピクチャの表示順序を示すものであり、三番目の図は、2倍速トリックプレイ時にビデオストリームをなすピクチャの表示順序を示すものである。
【0092】
二番目および三番目の図において、表示されたB0からB6までのピクチャがスキップ可能リーディングピクチャを表すことができる。
【0093】
同図において、スキップ可能リーディングピクチャは表示されず、トリックプレイができない。したがって、二番目の図で、RAPピクチャから表示でき、2倍速トリックプレイが行われる場合、三番目の図に示すように、RAPおよびB1ピクチャが表示されうる。ここで、スキップ可能リーディングピクチャは、RASLを含むことができる。
【0094】
図10は、本発明の一実施例に係る、max_temporal_idが0であるHEVCストリームのトリックプレイをサポートするためのトリックプレイボックスの構成を示す図である。(シナリオ1−2)
【0095】
同図は、ストリーム内で最大のtemporal_idが0であるストリームをトリックプレイするためのトリックプレイボックスのシグナリング方法を示す図である。
【0096】
本発明の一実施例によれば、“trikhvc”という新しいボックスを定義できる。本発明の一実施例に係るtrikhvcボックスは、sample_count値だけ反復されるforループ内に、pic_typeフィールドおよび/またはdependency_levelフィールドを含むことができる。
【0097】
sample_countは、ストリームに含まれるピクチャの総数を意味できる。ここで、一つのサンプルは一つのピクチャを意味できる。
【0098】
pic_typeフィールドは、HEVCのNAL_unit_typeで定義されたピクチャの種類を示すことができる。トリックプレイのために利用可能な一部のNAL_unit_typeは、本発明の一実施例に係るpic_typeで選択して用いることができる。pic_typeフィールドは、4ビットの値を示すことができる。
【0099】
dependency_levelフィールドは、当該ピクチャの従属レベル(dependency level)を示すことができる。本発明の一実施例に係るdependency_levelは、トリックプレイを行う場合に用いることができる。dependency_levelフィールドは、従来のAVCのトリックプレイボックスで用いられていたdependency_levelフィールドと同様であってもよい。例えば、dependency_levelが3であるサンプルを含めてトリックプレイを行うということは、dependency_levelが1、2または3に該当するサンプルのみをデコーディングして表示するということを意味できる。したがって、dependency_levelは、トリックプレイを行う際に捨ててもよいレイヤのレベルを意味できる。リーディングピクチャが存在する場合にもデコーディング可能リーディングピクチャはdependency_levelを有し、受信側は、従来のトリックプレイ方法と同様に、該当しないピクチャをスキップしながら該当するピクチャのみをデコーディングして表示することができる。dependency_levelフィールドは、6ビットの値を示すことができる。
【0100】
図11は、本発明の他の実施例に係る、max_temporal_idが0であるHEVCストリームのトリックプレイをサポートするためのトリックプレイボックスの構成を示す図である。(シナリオ1−2)
【0101】
同図は、ストリーム内で最大temporal_idが0であるストリームをトリックプレイするためのトリックプレイボックスのシグナリング方法を示す図である。
【0102】
本発明の一実施例によれば、従来定義されていた“trik”というボックスを用いてHEVCストリームのトリックプレイを行うことができる。本発明の一実施例によれば、フラグを用いてAVCまたはHEVCトリックプレイを選択することができる。
【0103】
本発明の一実施例に係るtrikボックスは、フラグ(flag)を用いてビデオコーデック(video codec)に従ってストリームを分離してシグナリングできる。また、sample_count値だけ反復されるforループ内に、pic_typeフィールドおよび/またはdependency_levelフィールドを含むことができる。
【0104】
本発明の一実施例に係るフラグ値が0である場合、trikボックスは、H.264/AVC trick playをシグナリングでき、フラグ値が1である場合、trikボックスは、HEVCトリックプレイをシグナリングできる。
【0105】
sample_countは、ストリームに含まれるピクチャの総数を意味できる。ここで、一つのサンプルは一つのピクチャを意味できる。
【0106】
pic_typeフィールドは、HEVCのNAL_unit_typeで定義されたピクチャの種類を示すことができる。トリックプレイのために利用可能な一部のNAL_unit_typeは、本発明の一実施例に係るpic_typeで選択して用いることができる。本発明の一実施例に係るフラグ値が0の場合、pic_typeフィールドは、2ビットの値を示すことができ、フラグ値が1の場合、4ビットの値を示すことができる。
【0107】
dependency_levelフィールドは、当該ピクチャの従属レベルを示すことができる。本発明の一実施例に係るdependency_levelは、トリックプレイを行う場合に用いることができる。dependency_levelフィールドは、従来のAVCのトリックプレイボックスで用いられたdependency_levelフィールドと同様であってもよい。例えば、dependency_levelが3であるサンプルを含めてトリックプレイを行うということは、dependency_levelが1、2または3に該当するサンプルのみをデコーディングして表示するということを意味できる。したがって、dependency_levelは、トリックプレイを行う際に捨ててもよいレイヤのレベルを意味できる。リーディングピクチャが存在する場合にもデコーディング可能リーディングピクチャはdependency_levelを有し、受信側は、従来のトリックプレイ方法と同様に、該当しないピクチャをスキップしながら該当するピクチャのみをデコーディングして表示できる。dependency_levelフィールドは、6ビットの値を示すことができる。
【0108】
図12は、本発明の一実施例に係る、max_temporal_idが0であるHEVCストリームのトリックプレイをサポートするためのトリックプレイボックスに含まれるpic_typeを説明するための図である。
【0109】
本発明の一実施例に係るpic_typeは、0乃至15の値を有することができる。
【0110】
pic_typeが0である場合、pic_typeは、関連するリーディングピクチャを有しないIDRピクチャを表すことができる。この場合、nal_unit_typeはIDR_N_LPを示すことができる。
【0111】
pic_typeが1の場合、pic_typeは、関連するデコーディング可能リーディングピクチャを有するIDRピクチャを表すことができる。この場合、nal_unit_typeはIDR_W_RADLを示すことができる。
【0112】
pic_typeが2の場合、pic_typeは、関連するリーディングピクチャを有するBLAピクチャを表すことができる。この場合、nal_unit_typeはBLA_N_LPを示すことができる。
【0113】
pic_typeが3の場合、pic_typeは、関連するRADLピクチャを有するが、関連するRASLピクチャを有しないBLAピクチャを表すことができる。この場合、nal_unit_typeはBLA_W_RADLを示すことができる。
【0114】
pic_typeが4の場合、pic_typeは、関連するRADLピクチャおよびRASLピクチャを有するBLAピクチャを表すことができる。この場合、nal_unit_typeはBLA_W_LPを示すことができる。
【0115】
pic_typeが5の場合、pic_typeは、関連するリーディングピクチャを有するCRAピクチャを表すことができる。この場合、nal_unit_typeはCRA_NUTを示すことができる。
【0116】
pic_typeが7の場合、pic_typeは、RADLピクチャを表すことができる。この場合、nal_unit_typeはRADL_NまたはRADL_Rを示すことができる。
【0117】
pic_typeが8の場合、pic_typeは、RASLピクチャを表すことができる。この場合、nal_unit_typeはRASL_NまたはRASL_Rを示すことができる。
【0118】
pic_typeが9の場合、pic_typeは、定められていないIピクチャを表すことができる。
【0119】
pic_type10は、unknown値に該当できる。
【0120】
pic_type11乃至15は、reserved値に該当できる。
【0121】
図13は、本発明の一実施例に係る、pic_typeに、リーディングピクチャと関連する内容が含まれない場合、max_temporal_idが0であるHEVCストリームのトリックプレイをサポートするためのトリックプレイボックスの構成を示す図である。(シナリオ1−1)
【0122】
同図は、ストリーム内で最大のtemporal_idが0であるストリームをトリックプレイするためのトリックプレイボックスのシグナリング方法を示す図である。
【0123】
本発明の一実施例によれば、“trikhvc”という新しいボックスが定義できる。本発明の一実施例に係るtrikhvcボックスは、sample_count値だけ反復されるforループ内に、pic_typeフィールドおよび/またはdependency_levelフィールドを含むことができる。
【0124】
sample_countは、ストリームに含まれるピクチャの総数を意味できる。ここで、一つのサンプルは一つのピクチャを意味できる。
【0125】
pic_typeフィールドは、HEVCのNAL_unit_typeで定義されたピクチャの種類を示すことができる。トリックプレイのために利用可能な一部のNAL_unit_typeは、本発明の一実施例に係るpic_typeで選択して用いることができる。pic_typeフィールドは、3ビットの値を示すことができる。
【0126】
dependency_levelフィールドは、当該ピクチャの従属レベルを示すことができる。本発明の一実施例に係るdependency_levelは、トリックプレイを行う場合に用いることができる。dependency_levelフィールドは、従来のAVCのトリックプレイボックスで用いられたdependency_levelフィールドと同様であってもよい。例えば、dependency_levelが3であるサンプルを含めてトリックプレイを行うということは、dependency_levelが1、2または3に該当するサンプルのみをデコーディングして表示するということを意味できる。したがって、dependency_levelは、トリックプレイを行う際に捨ててもよいレイヤのレベルを意味できる。リーディングピクチャが存在する場合にもデコーディング可能リーディングピクチャはdependency_levelを有し、受信側は、従来のトリックプレイ方法と同様に、該当しないピクチャをスキップしながら該当するピクチャのみをデコーディングして表示できる。dependency_levelフィールドは、5ビットの値を示すことができる。
【0127】
図14は、本発明の他の実施例に係る、pic_typeにリーディングピクチャと関連する内容が含まれない場合、max_temporal_idが0であるHEVCストリームのトリックプレイをサポートするためのトリックプレイボックスの構成を示す図である。(シナリオ1−1)
【0128】
同図は、ストリーム内で最大のtemporal_idが0であるストリームをトリックプレイするためのトリックプレイボックスのシグナリング方法を示す図である。
【0129】
本発明の一実施例によれば、従来定義された“trik”というボックスを用いてHEVCストリームのトリックプレイを行うことができる。本発明の一実施例によれば、フラグを用いてAVCまたはHEVCトリックプレイを選択することができる。
【0130】
本発明の一実施例に係るtrikボックスは、flag、sample_count値だけ反復されるforループ内に、pic_typeフィールドおよび/またはdependency_levelフィールドを含むことができる。
【0131】
本発明の一実施例に係るフラグ値が0の場合、trikボックスはH.264/AVC trick playをシグナリングでき、フラグ値が1の場合、trikボックスはHEVCトリックプレイをシグナリングできる。
【0132】
sample_countは、ストリームに含まれるピクチャの総数を意味できる。ここで、一つのサンプルは一つのピクチャを意味できる。
【0133】
pic_typeフィールドは、HEVCのNAL_unit_typeで定義されたピクチャの種類を示すことができる。トリックプレイのために利用可能な一部のNAL_unit_typeは、本発明の一実施例に係るpic_typeで選択して用いることができる。本発明の一実施例に係るフラグ値が0である場合、pic_typeフィールドは、2ビットの値を示すことができ、フラグ値が1である場合、3ビットの値を示すことができる。
【0134】
dependency_levelフィールドは、当該ピクチャの従属レベルを示すことができる。本発明の一実施例に係るdependency_levelは、トリックプレイを行う場合に用いることができる。dependency_levelフィールドは、従来のAVCのトリックプレイボックスで用いられたdependency_levelフィールドと同様であってもよい。例えば、dependency_levelが3であるサンプルを含めてトリックプレイを行うということは、dependency_levelが1、2または3に該当するサンプルのみをデコーディングして表示するということを意味できる。したがって、dependency_levelは、トリックプレイを行う際に捨ててもよいレイヤのレベルを意味できる。リーディングピクチャが存在する場合にもデコーディング可能リーディングピクチャはdependency_levelを有し、受信側は、従来のトリックプレイ方法と同様に、該当しないピクチャをスキップしながら該当するピクチャのみをデコーディングして表示できる。本発明の一実施例に係るフラグ値が0である場合、dependency_levelフィールドは、6ビットの値を示すことができ、フラグ値が1の場合、5ビットの値を示すことができる。
【0135】
本発明のさらに他の実施例によれば、トリックプレイを行う際、リーディングピクチャは表示されないという制約が含まれる場合に、pic_typeは下記のように構成されてもよい。pic_typeが0の場合、pic_typeは、当該サンプルがunknownサンプルであることを示すことができ、pic_typeが1の場合、pic_typeは、当該サンプルがIDRサンプルであることを示すことができ、pic_typeが2の場合、pic_typeは、当該サンプルがCRAサンプルであることを示すことができ、pic_typeが3の場合、pic_typeは、当該サンプルがBLAサンプルであることを示すことができ、pic_typeが4の場合、pic_typeは、当該サンプルがunconstrained Iサンプルであることを示すことができる。この場合、HEVCストリームに対するpic_typeおよび/またはdependency_levelフィールドに割り当てられるビット数を減らすことができる。ここで、サンプルはピクチャと同じ意味を有することができる。
【0136】
図15は、本発明の一実施例に係る、時間スケーラビリティをサポートするHEVCストリームの構成を示す図である。
【0137】
同図で、四角形のボックスは、ストリームに含まれるピクチャを表すことができ、T_IDは時間idを表すことができる。
【0138】
図16は、本発明の一実施例に係る、時間スケーラビリティをサポートするHEVCストリームにおいて最大倍速を制限してトリックプレイをサポートするためのトリックプレイボックスの構成を示す図である。(シナリオ2)
【0139】
同図は、max_temporal_idが0よりも大きい、すなわち、時間スケーラビリティをサポートするHEVCストリームにおいて、トリックプレイをサポートするために、サポート可能な最大倍速を制限できるようにシグナリングする方法を示す図である。例えば、最大のtemporal_idが2の場合、最大4倍速まで提供することができる。
【0140】
本発明の一実施例によれば、“trikhvc”という新しいボックスが定義できる。本発明の一実施例に係るtrikhvcボックスは、sample_count値だけ反復されるforループ内に、pic_typeフィールド、temporal_sub_layer_pic_typeフィールド、max_temporal_idフィールド、temporal_idフィールド、constraint_trick_play_modeフィールドおよび/またはnext_temporal_idフィールドを含むことができる。
【0141】
sample_countは、ストリームに含まれるピクチャの総数を意味できる。ここで、一つのサンプルは一つのピクチャを意味できる。
【0142】
pic_typeフィールドは、HEVCのNAL_unit_typeで定義されたピクチャの種類を示すことができる。トリックプレイのために利用可能な一部のNAL_unit_typeは、本発明の一実施例に係るpic_typeで選択して用いることができる。pic_typeフィールドは、4ビットの値を示すことができる。
【0143】
temporal_sub_layer_pic_typeフィールドは、当該ピクチャがTSA(Temporal Sub-layer Access)ピクチャかまたはSTSA(Step-wise Temporal Sub-layer Access)ピクチャかを示すことができる。temporal_sub_layer_pic_typeが1であれば、temporal_sub_layer_pic_typeは、当該ピクチャがTSAピクチャであることを示すことができ、temporal_sub_layer_pic_typeが2であれば、temporal_sub_layer_pic_typeは、当該ピクチャがSTSAピクチャであることを示すことができ、temporal_sub_layer_pic_typeが3であれば、temporal_sub_layer_pic_typeは、当該ピクチャがunknownピクチャであることを示すことができる。HEVCは、時間スケーラビリティを提供し、適応的にフレームレートを変更できるように、temporal_sub_layer_access_pictureを分類できる。すなわち、HEVCは、temporal_idが0でないレイヤでTSAピクチャおよびSTSAピクチャに基づいてダイナミックにフレームレートを変更させることができる。TSAとSTSAとは、フレームレートをどのようにおよびどれくらい変更できるかについては差異がありうる。すなわち、TSAとSTSAとは、一度にいくつのtemporal_idをスキップできるかについて差異がありうる。例えば、temporal_idが0の場合、フレームレートは15pであり、temporal_idが1の場合、フレームレートは30pであり、temporal_idが2(max_temporal_id)の場合にフレームレートは60pであるとすると、TSAは、temporal_idが0であるレイヤからtemporal_idが2であるレイヤに直接アクセスできるため、放送システムは、フレームレートが15pであるサービスを提供している途中で、直接、60pであるサービスを提供するように変更できる。一方、STSAは、段階的アクセスしかできないため、temporal_idが0であるレイヤからtemporal_idが1であるレイヤにまずアクセスし、次にtemporal_idが2であるレイヤにアクセスすることができる。したがって、この場合、放送システムは、順次、フレームレートが15pであるサービスを提供している途中で30pであるサービスを提供し、最終的に60pであるサービスを提供することができる。
【0144】
max_temporal_idフィールドは、ストリームに含まれる最大のtemporal_id値を示すことができる。
【0145】
temporal_idフィールドは、HEVCのnuh_temporal_id_plus1の値を用いて計算された時間id値を示すことができる。temporal_idフィールドが有する値は、nuh_temporal_id_plus1の値から1を引いた値を示すことができる。
【0146】
constraint_trick_play_modeフィールドは、提供可能な最大倍速情報を示すことができる。max_temporal_id値を用いて、max_trick_play_mode(提供可能な最大倍速)=2^(max_temporal_id)という式によって、本発明は提供可能な最大倍速をシグナリングすることができる。例えば、最大時間idが2である場合、本発明は、最大、2^2である4倍速を提供できる。本発明の一実施例によれば、本発明は、max_trick_play_modeに上述の式から計算された値より小さい値を割り当てる制限をおくことができる。例えば、max_trick_play_modeの値が1であれば2倍速、2であれば4倍速、3であれば8倍速、4であれば16倍速を示すことができる。ここで、constraint_trick_play_modeは、max_trick_play_modeと同じ意味を有することができる。本発明の一実施例では、max_trick_play_modeより速い倍速はサポートできず、max_trick_play_modeと同じ倍速はサポートできる。また、本発明の一実施例は、計算されたmax_trick_play_mode値より小さい値を割り当てる制限(constraint)をシグナリングすることができる。
【0147】
next_temporal_idフィールドは、temporal_sub_layer_pic_typeによって変更可能な最大フレームレートを知らせるために、移動可能なtemporal_idを示すことができる。例えば、max_temporal_idが2であるストリームにおいて、temporal_idが0であるピクチャのみを表示する4倍速のトリックプレイを提供していたが、通常再生速度(1倍速)に戻そうとするとき、temporal_sub_layer_pic_typeがTSAであれば、next_temporal_idはmax_temporal_id値を有することができる。一方、STSAであれば、next_temporal_idは、temporal_id値に1を足した値を有することができる。
【0148】
図17は、本発明の他の実施例に係る、時間スケーラビリティをサポートするHEVCストリームにおいて最大倍速を制限してトリックプレイをサポートするためのトリックプレイボックスの構成を示す図である。(シナリオ2)
【0149】
同図は、max_temporal_idが0よりも大きい、すなわち、時間スケーラビリティをサポートするHEVCストリームにおいて、トリックプレイをサポートするためにサポート可能な最大倍速を制限できるようにシグナリングする方法を示す図である。例えば、最大のtemporal_idが2の場合、最大4倍速まで提供できる。
【0150】
本発明の一実施例によれば、従来定義された“trik”というボックスを用いてHEVCストリームのトリックプレイを行うことができる。本発明の一実施例によれば、フラグを用いてAVCまたはHEVCトリックプレイを選択することができる。
【0151】
本発明の一実施例に係るtrikボックスは、flag、sample_count値だけ反復されるforループ内に、pic_typeフィールド、dependency_levelフィールド、temporal_sub_layer_pic_typeフィールド、max_temporal_idフィールド、temporal_idフィールド、constraint_trick_play_modeフィールドおよび/またはnext_temporal_idフィールドを含むことができる。
【0152】
sample_countは、ストリームに含まれるピクチャの総数を意味できる。ここで、一つのサンプルは、一つのピクチャを意味できる。
【0153】
pic_typeフィールドは、HEVCのNAL_unit_typeで定義されたピクチャの種類を示すことができる。トリックプレイのために利用可能な一部のNAL_unit_typeは、本発明の一実施例に係るpic_typeで選択して用いることができる。本発明の一実施例に係るフラグ値が0の場合、pic_typeフィールドは2ビットの値を示すことができ、フラグ値が1の場合、4ビットの値を示すことができる。
【0154】
dependency_levelフィールドは、当該ピクチャの従属レベルを示すことができる。本発明の一実施例に係るdependency_levelは、トリックプレイを行う場合に用いることができる。dependency_levelフィールドは、従来のAVCのトリックプレイボックスで用いられたdependency_levelフィールドと同様であってもよい。例えば、dependency_levelが3であるサンプルを含めてトリックプレイを行うということは、dependency_levelが1、2または3に該当するサンプルのみをデコーディングして表示するということを意味できる。したがって、dependency_levelは、トリックプレイを行う際に捨ててもよいレイヤのレベルを意味できる。リーディングピクチャが存在する場合にも、デコーディング可能リーディングピクチャはdependency_levelを有し、受信側は、従来のトリックプレイ方法と同様に、該当しないピクチャをスキップしながら該当するピクチャのみをデコーディングして表示できる。dependency_levelフィールドは、6ビットの値を示すことができる。
【0155】
temporal_sub_layer_pic_typeフィールドは、当該ピクチャがTSA(Temporal Sub-layer Access)ピクチャかまたはSTSA(Step-wise Temporal Sub-layer Access)ピクチャかを示すことができる。temporal_sub_layer_pic_typeが1であれば、temporal_sub_layer_pic_typeは、当該ピクチャがTSAピクチャであることを示すことができ、temporal_sub_layer_pic_typeが2であれば、temporal_sub_layer_pic_typeは、当該ピクチャがSTSAピクチャであることを示すことができ、temporal_sub_layer_pic_typeが3であれば、temporal_sub_layer_pic_typeは、当該ピクチャがunknownピクチャであることを示すことができる。HEVCは、時間スケーラビリティを提供し、適応的にフレームレートを変更できるように、temporal_sub_layer_access_pictureを分類することができる。すなわち、HEVCは、temporal_idが0でないレイヤにおいてTSAピクチャおよびSTSAピクチャに基づいてダイナミックにフレームレートを変更させることができる。TSAとSTSAとは、フレームレートをどのようにおよびどれくらい変更できるかについて差異がありうる。すなわち、TSAとSTSAとは、一度にいくつのtempora_idをスキップできるかについて差異がありうる。例えば、temporal_idが0の場合にフレームレートは15pで、temporal_idが1の場合にフレームレートは30pで、temporal_idが2(max_temporal_id)の場合にフレームレートは60pであるとすると、TSAは、temporal_idが0であるレイヤからtemporal_idが2であるレイヤに直接アクセスできるため、放送システムは、フレームレートが15pであるサービスを提供している途中で、直接、60pであるサービスを提供するように変更することができる。一方、STSAは、段階的アクセスしかできないため、temporal_idが0であるレイヤからtemporal_idが1であるレイヤにまずアクセスし、次にtemporal_idが2であるレイヤにアクセスできる。したがって、この場合、放送システムは、順次、フレームレートが15pであるサービスを提供している途中で30pであるサービスを提供し、最終的に60pであるサービスを提供することができる。
【0156】
max_temporal_idフィールドは、ストリームに含まれる最大のtemporal_id値を示すことができる。
【0157】
temporal_idフィールドは、HEVCのnuh_temporal_id_plus1の値を用いて計算された時間id値を示すことができる。temporal_idフィールドが有する値は、nuh_temporal_id_plus1の値から1を引いた値を示すことができる。
【0158】
constraint_trick_play_modeフィールドは、提供可能な最大倍速情報を示すことができる。max_temporal_id値を用いて、max_trick_play_mode(提供可能な最大倍速)=2^(max_temporal_id)という式によって、本発明は、提供可能な最大倍速をシグナリングすることができる。例えば、最大時間idが2の場合、本発明は、最大、2^2である4倍速を提供することができる。本発明の一実施例によれば、本発明は、max_trick_play_modeに上述の式から計算された値より小さい値を割り当てる制限をおくことができる。例えば、max_trick_play_modeの値が1であれば2倍速、2であれば4倍速、3であれば8倍速、4であれば16倍速を示すことができる。ここで、constraint_trick_play_modeは、max_trick_play_modeと同じ意味を有することができる。
【0159】
next_temporal_idフィールドは、temporal_sub_layer_pic_typeによって変更可能な最大フレームレートを知らせるために、移動可能なtemporal_idを示すことができる。例えば、max_temporal_idが2であるストリームにおいて、temporal_idが0であるピクチャのみを表示する4倍速のトリックプレイを提供していたが、通常再生速度(1倍速)に戻そうとするとき、temporal_sub_layer_pic_typeがTSAであれば、next_temporal_idは、max_temporal_id値を有することができる。一方、STSAであれば、next_temporal_idは、temporal_id値に1を足した値を有することができる。
【0160】
図18は、本発明の一実施例に係る、時間サブレイヤピクチャタイプがTSAである場合のフレームレートの変更方法を示す図である。
【0161】
同図に示すように、時間サブレイヤピクチャタイプがTSAである場合、受信側は、temporal_idが0であるレイヤのストリームのみを表示している途中で、すなわち、4倍速でトリックプレイを行っている途中で、直接1倍速(通常再生速度)で表示することができる。
【0162】
同図に示すように、時間サブレイヤピクチャタイプがTSAである場合、受信側は、temporal_idが0であるピクチャをデコーディングおよび表示している途中で、直接、temporal_idが2であるピクチャをデコーディングおよび表示することができる。
【0163】
図19は、本発明の一実施例に係る、時間サブレイヤピクチャタイプがSTSAである場合のフレームレートの変更方法を示す図である。(シナリオ3)
【0164】
同図に示すように、時間サブレイヤピクチャタイプがSTSAである場合、受信側は、temporal_idが0であるレイヤのストリームのみを表示している途中で、すなわち、4倍速でトリックプレイを行っている途中で、直接1倍速(通常再生速度)で表示することはできず、間に2倍速で表示する処理を経た後、1倍速で表示することができる。したがって、本発明の一実施例に係る時間サブレイヤピクチャタイプがSTSAである場合には、変換が可能な倍速数に対する制限を知らせる方法が必要でありうる。すなわち、next_temporal_idをシグナリングする必要がありうる。
【0165】
同図に示すように、時間サブレイヤピクチャタイプがSTSAであり、4倍速で表示している途中で1倍速で表示しようとする場合、受信側は、temporal_idが0であるピクチャをデコーディングおよび表示している途中で、直接、temporal_idが2であるピクチャをデコーディングおよび表示することはできず、temporal_idが1であるピクチャをデコーディングおよび表示した後、temporal_idが2であるピクチャをデコーディングおよび表示することができる。
【0166】
図20は、本発明の一実施例に係る、時間スケーラビリティをサポートするHEVCストリームにおいて高倍速のトリックプレイをサポートするためのトリックプレイボックスの構成を示す図である。(シナリオ3)
【0167】
本発明の一実施例によれば、“trikhvc”という新しいボックスが定義できる。本発明の一実施例に係るtrikhvcボックスは、sample_count値だけ反復されるforループ内に、pic_typeフィールド、temporal_sub_layer_pic_typeフィールド、max_temporal_idフィールド、temporal_idフィールド、next_temporal_idフィールドおよび/またはdependency_levelフィールドを含むことができる。
【0168】
sample_countは、ストリームに含まれるピクチャの総数を意味できる。ここで、一つのサンプルは一つのピクチャを意味できる。
【0169】
pic_typeフィールドは、HEVCのNAL_unit_typeで定義されたピクチャの種類を示すことができる。トリックプレイに利用可能な一部のNAL_unit_typeは、本発明の一実施例に係るpic_typeで選択して用いることができる。pic_typeフィールドは、4ビットの値を示すことができる。
【0170】
temporal_sub_layer_pic_typeフィールドは、当該ピクチャがTSA(Temporal Sub-layer Access)ピクチャかまたはSTSA(Step-wise Temporal Sub-layer Access)ピクチャかを示すことができる。temporal_sub_layer_pic_typeが1であれば、temporal_sub_layer_pic_typeは、当該ピクチャがTSAピクチャであることを示すことができ、temporal_sub_layer_pic_typeが2であれば、temporal_sub_layer_pic_typeは、当該ピクチャがSTSAピクチャであることを示すことができ、temporal_sub_layer_pic_typeが3であれば、temporal_sub_layer_pic_typeは、当該ピクチャがunknownピクチャであることを示すことができる。HEVCは、時間スケーラビリティを提供し、適応的にフレームレートを変更できるように、temporal_sub_layer_access_pictureを分類することができる。すなわち、HEVCは、temporal_idが0でないレイヤにおいてTSAピクチャおよびSTSAピクチャに基づいてダイナミックにフレームレートを変更させることができる。TSAとSTSAとは、フレームレートをどのようにおよびどれくらい変更できるかについて差異がありうる。すなわち、TSAとSTSAとは、一度にいくつのtempora_idをスキップできるかについて差異がありうる。例えば、temporal_idが0の場合にフレームレートは15pで、temporal_idが1の場合にフレームレートは30pで、temporal_idが2(max_temporal_id)の場合にフレームレートは60pであるとすると、TSAは、temporal_idが0であるレイヤからtemporal_idが2であるレイヤに直接アクセスできるため、放送システムは、フレームレートが15pであるサービスを提供している途中で、直接、60pであるサービスを提供するように変更することができる。一方、STSAは、段階的アクセスしかできないため、temporal_idが0であるレイヤからtemporal_idが1であるレイヤにまずアクセスし、次にtemporal_idが2であるレイヤにアクセスできる。したがって、この場合、放送システムは、順次、フレームレートが15pであるサービスを提供している途中で30pであるサービスを提供し、最終的に60pであるサービスを提供することができる。
【0171】
max_temporal_idフィールドは、ストリームに含まれる最大のtemporal_id値を示すことができる。
【0172】
temporal_idフィールドは、HEVCのnuh_temporal_id_plus1の値を用いて計算された時間id値を示すことができる。temporal_idフィールドが有する値は、nuh_temporal_id_plus1の値から1を引いた値を示すことができる。
【0173】
next_temporal_idフィールドは、temporal_sub_layer_pic_typeによって変更可能な最大フレームレートを知らせるために、移動可能なtemporal_idを示すことができる。例えば、max_temporal_idが2であるストリームにおいて、temporal_idが0であるピクチャのみを表示する4倍速のトリックプレイを提供していたが、通常再生速度(1倍速)に戻そうとするとき、temporal_sub_layer_pic_typeがTSAであれば、next_temporal_idはmax_temporal_id値を有することができる。一方、STSAであれば、next_temporal_idは、temporal_id値に1を足した値を有することができる。
【0174】
dependency_levelフィールドは、当該ピクチャの従属レベルを示すことができる。本発明の一実施例に係るdependency_levelは、トリックプレイを行う場合に用いることができる。dependency_levelフィールドは、従来のAVCのトリックプレイボックスで用いられたdependency_levelフィールドと同様であってもよい。例えば、dependency_levelが3であるサンプルを含めてトリックプレイを行うということは、dependency_levelが1、2または3に該当するサンプルのみをデコーディングして表示するということを意味できる。したがって、dependency_levelは、トリックプレイを行う際に捨ててもよいレイヤのレベルを意味できる。リーディングピクチャが存在する場合にも、デコーディング可能リーディングピクチャはdependency_levelを有し、受信側は、従来のトリックプレイ方法と同様に、該当しないピクチャをスキップしながら該当するピクチャのみをデコーディングして表示することができる。dependency_levelフィールドは、6ビットの値を示すことができる。
【0175】
本発明の一実施例によれば、同図のトリックプレイボックスは、トリックプレイでサポート可能な最大倍速を示すmax_trick_play_modeフィールドを含むことができる。
【0176】
本発明の一実施例によれば、max_temporal_idが2の場合、2倍速トリックプレイサービスを提供するために、受信側は、temporal_idが0および1であるピクチャのみをデコーディングすることができる。また、4倍速トリックプレイサービスを提供するために、受信側は、temporal_idが0であるピクチャのみをデコーディングおよび表示することができる。また、4倍速よりも高倍速のトリックプレイサービスを提供するために、受信側は、temporal_idが0であるピクチャの中でdependency_levelによってピクチャを分類し、該当するdependency_levelを有するピクチャのみをデコーディングおよび表示することによって、4倍速よりも高倍速のトリックプレイサービスを提供することができる。
【0177】
図21は、本発明の他の実施例に係る、時間スケーラビリティをサポートするHEVCストリームにおいて高倍速のトリックプレイをサポートするためのトリックプレイボックスの構成を示す図である。
【0178】
本発明の一実施例によれば、従来定義された“trik”というボックスを用いてHEVCストリームのトリックプレイを行うことができる。本発明の一実施例によれば、フラグを用いてAVCまたはHEVCトリックプレイを選択することができる。
【0179】
本発明の一実施例に係るtrikボックスは、flag、sample_count値だけ反復されるforループ内に、pic_typeフィールド、dependency_levelフィールド、temporal_sub_layer_pic_typeフィールド、max_temporal_idフィールド、temporal_idフィールドおよび/またはnext_temporal_idフィールドを含むことができる。
【0180】
sample_countは、ストリームに含まれるピクチャの総数を意味できる。ここで、一つのサンプルは一つのピクチャを意味できる。
【0181】
pic_typeフィールドは、HEVCのNAL_unit_typeで定義されたピクチャの種類を示すことができる。トリックプレイのために利用可能な一部のNAL_unit_typeは、本発明の一実施例に係るpic_typeで選択して用いることができる。本発明の一実施例に係るフラグ値が0である場合、pic_typeフィールドは2ビットの値を示すことができ、フラグ値が1の場合、4ビットの値を示すことができる。
【0182】
dependency_levelフィールドは、当該ピクチャの従属レベルを示すことができる。本発明の一実施例に係るdependency_levelは、トリックプレイを行う場合に用いることができる。dependency_levelフィールドは、従来のAVCのトリックプレイボックスで用いられたdependency_levelフィールドと同様であってもよい。例えば、dependency_levelが3であるサンプルを含めてトリックプレイを行うということは、dependency_levelが1、2または3に該当するサンプルのみをデコーディングして表示するということを意味できる。したがって、dependency_levelは、トリックプレイを行う際に捨ててもよいレイヤのレベルを意味できる。リーディングピクチャが存在する場合にも、デコーディング可能リーディングピクチャはdependency_levelを有し、受信側は、従来のトリックプレイ方法と同様に、該当しないピクチャをスキップしながら該当するピクチャのみをデコーディングして表示することができる。dependency_levelフィールドは、6ビットの値を示すことができる。
【0183】
temporal_sub_layer_pic_typeフィールドは、当該ピクチャがTSA(Temporal Sub-layer Access)ピクチャかまたはSTSA(Step-wise Temporal Sub-layer Access)ピクチャかを示すことができる。temporal_sub_layer_pic_typeが1であれば、temporal_sub_layer_pic_typeは、当該ピクチャがTSAピクチャであることを示すことができ、temporal_sub_layer_pic_typeが2であれば、temporal_sub_layer_pic_typeは、当該ピクチャがSTSAピクチャであることを示すことができ、temporal_sub_layer_pic_typeが3であれば、temporal_sub_layer_pic_typeは、当該ピクチャがunknownピクチャであることを示すことができる。HEVCは、時間スケーラビリティを提供し、適応的にフレームレートを変更できるように、temporal_sub_layer_access_pictureを分類することができる。すなわち、HEVCは、temporal_idが0でないレイヤにおいてTSAピクチャおよびSTSAピクチャに基づいてダイナミックにフレームレートを変更させることができる。TSAとSTSAとは、フレームレートをどのようにおよびどれくらい変更できるかについて差異がありうる。すなわち、TSAとSTSAとは、一度にいくつのtempora_idをスキップできるかについて差異がありうる。例えば、temporal_idが0の場合にフレームレートは15pで、temporal_idが1の場合にフレームレートは30pで、temporal_idが2(max_temporal_id)の場合にフレームレートは60pであるとすると、TSAは、temporal_idが0であるレイヤからtemporal_idが2であるレイヤに直接アクセスできるため、放送システムは、フレームレートが15pであるサービスを提供している途中で、直接、60pであるサービスを提供するように変更することができる。一方、STSAは、段階的アクセスしかできないため、temporal_idが0であるレイヤからtemporal_idが1であるレイヤにまずアクセスし、次にtemporal_idが2であるレイヤにアクセスできる。したがって、この場合、放送システムは、順次、フレームレートが15pであるサービスを提供している途中で30pであるサービスを提供し、最終的に60pであるサービスを提供することができる。
【0184】
max_temporal_idフィールドは、ストリームに含まれる最大のtemporal_id値を示すことができる。
【0185】
temporal_idフィールドは、HEVCのnuh_temporal_id_plus1の値を用いて計算された時間id値を示すことができる。temporal_idフィールドが有する値は、nuh_temporal_id_plus1の値から1を引いた値を示すことができる。
【0186】
next_temporal_idフィールドは、temporal_sub_layer_pic_typeによって変更可能な最大フレームレートを知らせるために、移動可能なtemporal_idを示すことができる。例えば、max_temporal_idが2であるストリームにおいて、temporal_idが0であるピクチャのみを表示する4倍速のトリックプレイを提供していたが、通常再生速度(1倍速)に戻そうとするとき、temporal_sub_layer_pic_typeがTSAであれば、next_temporal_idはmax_temporal_id値を有することができる。一方、STSAであれば、next_temporal_idはtemporal_id値に1を足した値を有することができる。
【0187】
本発明の一実施例によれば、同図のトリックプレイボックスは、トリックプレイでサポート可能な最大倍速を示すmax_trick_play_modeフィールドを含むことができる。
【0188】
本発明の一実施例によれば、max_temporal_idが2である場合、2倍速トリックプレイサービスを提供するために、受信側は、temporal_idが0および1であるピクチャのみをデコーディングすることができる。また、4倍速トリックプレイサービスを提供するために、受信側は、temporal_idが0であるピクチャのみをデコーディングおよび表示することができる。また、4倍速よりも高倍速のトリックプレイサービスを提供するために、受信側は、temporal_idが0であるピクチャの中でdependency_levelによってピクチャを分類し、該当するdependency_levelを有するピクチャのみをデコーディングおよび表示することによって4倍速よりも高倍速のトリックプレイサービスを提供できる。
【0189】
図22は、本発明の一実施例に係る放送信号受信システムの構造を示す図である。
【0190】
本発明の一実施例に係る放送信号受信システムは、再生装置(player device)22010、記憶装置(storage device)22020、KICサーバ22030、ライセンスサーバ(license server)22040および/またはダウンロードサーバ22050を備えることができる。
【0191】
再生装置22010は、UHDTVを含むことができる。再生装置は、SCSAアプリケーションおよび従来のファイルシステム(traditional file system)を含むことができる。
【0192】
記憶装置22020は、SDカード、USBおよび/またはSSDメモリを含むことができる。記憶装置は、従来のファイルシステムを含むことができる。
【0193】
KICサーバ22030は、個人情報を識別する情報を含むことができる。
【0194】
ライセンスサーバ22040は、コンテンツのライセンスに関連する情報を含むことができる。
【0195】
ダウンロードサーバ22050は、コンテンツおよびコンテンツに関連する情報を含むことができる。
【0196】
本発明の一実施例によれば、再生装置は、コンテンツに対するライセンスを獲得するために次のような処理を行うことができる。まず、記憶装置がライセンスファイル(license file)を含んでいるか否かを確認し、ライセンスファイルを含んでいる場合、ライセンスファイルからコンテンツキー(content key)を取得することができる。記憶装置がライセンスファイルを含んでいない場合、バルクコンテンツ(bulk content)を確認し、バルクコンテンツがライセンスファイルを含む場合、ライセンスファイルからコンテンツキーを取得することができる。そして、コンテンツキーを用いてライセンスサーバからライセンスを取得することができる。
【0197】
本発明の一実施例によれば、受信機は、ダウンロードしたコンテンツを表示するために、当該コンテンツに対するライセンスを取得する必要がありうる。
【0198】
図23は、本発明の一実施例に係る受信端の構造を示す図である。
【0199】
本発明の一実施例に係る受信端は、UHDディスプレイ部23010、セカンドデバイス23020、UHDデコーディング部23030、USB 23040および/またはリモートコントローラ(remote controller)(Voice control(音声コントロール))23050を備えることができる。
【0200】
UHDディスプレイ部23010は、UHDデコーディング部23030を含むことができる。UHDディスプレイ部23010としてUHD TVを含むことができる。
【0201】
セカンドデバイス23020としては、携帯電話、タブレット、ノートパソコンなどを含むことができる。
【0202】
UHDデコーディング部23030は、UHDディスプレイ部23010を含むことができる。UHDデコーディング部23030としてはUHD TVを含むことができる。
【0203】
USB 23040は、他のメモリデバイスであってもよい。本発明の一実施例に係るUSBは、セカンドスクリーン用メタデータ、URLおよび/または再生リスト(presentation list)を記憶することができる。
【0204】
リモートコントローラ23050としては、UHD TVに適したコントローラを含むことができる。
【0205】
本発明の一実施例によれば、UHD TVは、USBに含まれているコンテンツメタデータをセカンドデバイスに送信でき、セカンドデバイスのディスプレイに表示させることができる。まず、ユーザは、USBに、セカンドスクリーンに表示するメタデータ、URLおよび/または再生リストを記憶することができる。UHD TVとセカンドデバイスとは、自動でペアリング(pairing)ができ、このとき、両デバイスは、UPnPベースのSSDPを通して接続可能である。USBをUHD TVに接続すると、UHD TVは、セカンドスクリーンに表示するコンテンツ情報、すなわち、USBに含まれる情報をセカンドデバイスに送信することができる。セカンドデバイスは、UHD TVから伝達された情報を表示することができる。
【0206】
本発明の一実施例によれば、ユーザは、USBにトリックプレイに関する情報を記憶させることができ、トリックプレイに関する情報は、UHD TVに接続されたセカンドデバイスを介して表示できる。
【0207】
図24は、本発明の一実施例に係る、時間idおよびティアを複合的に用いたトリックプレイの方法を示す図である。
【0208】
本発明の一実施例によれば、ティア値は、時間idが0であるピクチャのみに割り当てることができる。
【0209】
同図に示すように、本発明の一実施例に係る受信機は、時間idが0、1、2または3であるピクチャをデコーディングおよび表示することによって通常再生速度のトリックプレイを行うことができ、時間idが0、1または2であるピクチャをデコーディングおよび表示することによって2倍速のトリックプレイを行うことができ、時間idが0または1であるピクチャをデコーディングおよび表示することによって4倍速のトリックプレイを行うことができ、時間idが0であるピクチャをデコーディングおよび表示することによって8倍速のトリックプレイを行うことができる。本発明は、時間idが0であるピクチャに対してそれぞれ異なるティア値を割り当てることによって、8倍速よりも速いトリックプレイを行うことができる。
【0210】
本発明の一実施例によれば、トリックプレイを提供するために次のような方法を用いることができる。PVR_assist_infoディスクリプタを用いるためにティアと時間idとをマッピングすることによって、トリックプレイを提供できる(シナリオA)。PVR_assist_infoディスクリプタに時間idを用いたトリックプレイを含むことによって、トリックプレイを提供できる(シナリオB)。NAL_unit_headerのnuh_temporal_id_plus1情報をパージングして実際のトリックプレイのために必要なパケットのみを選択することによって、トリックプレイを提供できる(シナリオC)。
【0211】
本発明の一実施例に係る時間サブレイヤまたは時間idは、HEVCで時間スケーラビリティをサポートするために導入された用語であって、NAL_unit_headerのnuh_temporal_id_plus1によってシグナリングできる。
【0212】
本発明の一実施例に係るティアは、AVCストリームまたはmpeg−2ストリームにおいてトリックプレイをサポートするために導入された用語である。該ティアは、TSパケット内のアダプテーションフィールドに含めることができる。
【0213】
図25は、本発明の一実施例に係る、従来のティアの概念によるトリックプレイ方法を示す図である。
【0214】
本発明の一実施例に係る従来のティアは、レイヤ間の従属関係を示すことができる。
【0215】
同図に示すように、時間idが3であるピクチャは、ティア値として6を有することができ、時間idが2であるピクチャは、ティア値として4を有することができ、時間idが1であるピクチャは、ティア値として3を有することができ、時間idが0であるピクチャのうち、Iピクチャは、ティア値として1を有することができ、Pピクチャは、ティア値として2を有することができる。すなわち、時間idが0であるピクチャは、同一の時間idを有するが、互いに異なるティア値を有することができる。
【0216】
本発明の一実施例によれば、max_temporal_idを有する、すなわち、dependency_levelが最も高いピクチャは、ティア値として6または7を有することができる。そして、それ以外のtemporal_idを有するピクチャは、ティア値として1乃至5を有することができる。このとき、temporal_idが0であるレイヤに該当するピクチャは、ピクチャのタイプによってティア値として1または2の値を有することができる。
【0217】
図26は、本発明の一実施例に係る、一つの時間idを一つのティアに1:1でマッピングする方法によるトリックプレイ方法を示す図である。(シナリオA−a)
【0218】
本発明の一実施例によれば、時間idは含むが、ティア情報は含まないHEVCストリームに基づいてトリックプレイを提供するために時間idとティアをマッピングする方法を用いることができる。(シナリオA)
【0219】
本発明の一実施例に係るトリックプレイを提供するために、一つの時間idを一つのティアに1:1でマッピングする方法を用いることができ(シナリオA−a)、一つの時間idを複数のティアにマッピングする方法を用いることができる(シナリオA−b)。
【0220】
本発明の一実施例は、上述したシナリオA−aおよびシナリオA−bにおいて、従来のティアが有する意味にかかわらず、時間idの値をそのままティアに1:1でマッピングすることができる。
【0221】
本発明の他の実施例は、上述したシナリオA−aおよびシナリオA−bにおいて、時間idの値をティアに1:1でマッピングするものの、tier6、7は、破棄可能ピクチャ(discardable picture)という従来のティアの意味をそのまま維持して、最大時間idは、tier6または7にマッピングすることができる。
【0222】
上述したシナリオAによれば、従来のPVR_assist_infoディスクリプタの大部分をそのまま用いることができるという長所がある。ただし、本発明の一実施例はHEVCストリームに基づいているため、PVR_assist_infoディスクリプタに含まれる一部のフィールドは修正される必要がある。例えば、PVR_assist_infoディスクリプタに含まれるPVR_assist_tier_m_cumulative_framesフィールドは、PVR_assist_tier_mフィールドを通してtier 1から1.28秒当たり抽出可能な最小フレームの数の値を伝達することができる(This field conveys the value of the intended minimum number of extractable frames per 1.28 sec. from tier 1 through “PVR_assist_teir_m”)と新しく定義できる。
【0223】
同図は、本発明の一実施例であるシナリオA−aによるトリックプレイ方法を示す図である。
【0224】
同図に示すように、時間idが3であるピクチャは、tier 4にマッピングでき、時間idが2であるピクチャはtier 3にマッピングでき、時間idが1であるピクチャはtier 2にマッピングでき、時間idが0であるピクチャはtier 1にマッピングできる。
【0225】
本発明の一実施例であるシナリオAは、8倍速以上のトリックプレイは提供できない。
【0226】
図27は、本発明の他の実施例に係る、一つの時間idを一つのティアに1:1でマッピングする方法によるトリックプレイ方法を示す図である。(シナリオA−a)
【0227】
本発明の一実施例は、前の図とは異なり、時間idの値をティアに1:1でマッピングするものの、tier6、7は破棄可能ピクチャという従来のティアの意味をそのまま維持し、最大時間idをtier 6または7にマッピングすることができる。
【0228】
同図に示すように、時間idが3であるピクチャはtier 6にマッピングでき、時間idが2であるピクチャはtier 3にマッピングでき、時間idが1であるピクチャはtier 2にマッピングでき、時間idが0であるピクチャはtier1にマッピングできる。
【0229】
同図が前の図と異なる点は、最大時間idである時間id 3に該当するピクチャをtier 6にマッピングしたことであろう。
【0230】
図28は、本発明の一実施例によって、一つの時間idを一つのティアに1:1でマッピングした結果を示す図である。
【0231】
同図は、本発明の一実施例に係るシナリオA−aにおいて、従来のティアが有する意味にかかわらず、時間idの値をそのままティアに1:1でマッピングした結果を示している。
【0232】
同図におけるnuh_temporal_idplus1フィールドは、NAL_unit_headerに含まれるフィールドであって、時間idに1を足した値を示すことができる。例えば、nuh_temporal_idplus1フィールド値が1であれば、時間idは0になりうる。したがって、同図に示すように、時間idが0であるピクチャは、tier1にマッピングでき、時間idが1であるピクチャはtier2にマッピングでき、時間idが2であるピクチャはtier3にマッピングでき、時間idが3であるピクチャはtier4にマッピングできる。
【0233】
本発明の一実施例によれば、時間idにマッピングした新しいティアは、従来用いられていたティアの意味と異なってもよい。従来のtier6および7は、破棄可能ピクチャを意味し、tier7はレファレンス(reference)として用いられないピクチャを意味した。しかし、マッピングによって新しく定義されるティアは、従来のtier6および7が持っていた意味を持っていなくてもよい。
【0234】
本発明の一実施例は、時間サブレイヤとティアとが同一の数字を有するようにマッピングでき、トリックプレイを行う際に上述したマッピング情報を用いることができる。
【0235】
図29は、本発明の他の実施例によって、一つの時間idを一つのティアに1:1でマッピングした結果を示す図である。
【0236】
同図は、本発明の他の実施例に係るシナリオA−aにおいて、時間idの値をティアに1:1でマッピングするものの、tier6、7は破棄可能ピクチャであるという従来のティアの意味をそのまま維持して、最大時間idはtier6または7にマッピングした結果を示している。
【0237】
同図におけるnuh_temporal_id_plus1フィールドは、NAL_unit_headerに含まれるフィールドであって、時間idに1を足した値を示すことができる。例えば、nuh_temporal_id_plus1フィールド値が1であれば、時間idは0になりうる。したがって、同図に示すように、時間idが0であるピクチャは、tier1にマッピングでき、時間idが1であるピクチャはtier2にマッピングでき、時間idが2であるピクチャはtier3にマッピングでき、時間idが3であるピクチャはtier6にマッピングできる。
【0238】
本発明の一実施例によれば、時間idにマッピングした新しいティアは、従来用いられていたティアの意味と同様であってもよい。tier6および7は破棄可能ピクチャを意味でき、tier6は、レファレンスとして用いられるピクチャを意味し、tier7は、レファレンスとして用いられないピクチャを意味できる。したがって、上述した通り、nuh_temporal_id_plus1が4であるピクチャは、tier6にマッピングできる。ここで、レファレンスとして用いられないピクチャである場合はtier7にマッピングできる。
【0239】
図30は、本発明の一実施例に係る、一つの時間idを複数のティアにマッピングする方法によるトリックプレイの方法を示す図である。(シナリオA−b)
【0240】
同図に示すように、最大時間idである時間idが1であるピクチャは、tier4または6にマッピングでき、時間idが0である残りの5個のピクチャはtier0乃至3にマッピングできる。
【0241】
本発明の一実施例によれば、時間idにマッピングした新しいティアは、従来用いられていたティアの意味と異なってもよい。従来のtier6および7は、破棄可能ピクチャを意味し、tier7はレファレンスとして用いられないピクチャを意味している。しかし、マッピングによって新しく定義されるティアは、従来のtier6および7が持っていた意味を持たなくてもよい。したがって、同図に示すように、時間idが1であるピクチャは、tier4にマッピングできる。(30010)
【0242】
本発明の他の実施例によれば、時間idにマッピングした新しいティアは、従来用いられていたティアの意味と同様であってもよい。tier6および7は破棄可能ピクチャを意味でき、tier6はレファレンスとして用いられるピクチャを意味し、tier7は、レファレンスとして用いられないピクチャを意味できる。したがって、同図に示すように、時間idが1であるピクチャは、tier6にマッピングできる。(30020)
【0243】
図31は、本発明の一実施例に係る、時間idとティアとのマッピングのための情報を含むTSパケットのアダプテーションフィールドの構成を示す図である。
【0244】
本発明の一実施例は、tierおよびnuh_temporal_id_plus1の値をトリックプレイのための速度情報にマッピングするディスクリプタを提供することができる。
【0245】
本発明の一実施例によれば、従来のトリックプレイのための情報はTSパケットのアダプテーションフィールドに含まれるため、時間idを含むHEVCストリームのトリックプレイのための情報であるHEVC_temporal_id_tier_mapping_infoも、上述したアダプテーションフィールドに含まれてもよい。
【0246】
同図は、TSパケットのアダプテーションフィールドに含まれるデータフィールド(data field)の構成を示す図である。
【0247】
同図に示すように、data_field_tagが0x00であれば、当該データフィールドはreservedであることを示すことができ、0x01であれば、当該データフィールドはAnnouncement switchingデータフィールドであることを示すことができ、0x02であれば、AU_informationに対するデータフィールドであることを示すことができ、0x03であれば、PVR_assist_informationに対するデータフィールドであることを示すことができ、0x04であれば、TSAP time lineに対するデータフィールドであることを示すことができ、0x05であれば、HEVC_temporal_id_tier_mapping_infoに対するデータフィールドであることを示すことができる。
【0248】
本発明の一実施例は、HEVC_temporal_id_tier_mapping_infoディスクリプタを用いて時間idにティア値をマッピングし、PVR_assist_informationディスクリプタを用いてtierベースのトリックプレイを提供することができる。
【0249】
図32は、本発明の一実施例に係るHEVC_temporal_id_tier_mapping_infoの構成を示す図である。
【0250】
本発明の一実施例に係るHEVC_temporal_id_tier_mapping_infoは、included_temporal_id_flagフィールド、temporal_sub_layer_dependency_flagフィールド、max_temporal_id_plus1フィールド、temporal_id_plus1フィールド、curr_tier_numフィールドおよび/またはtrick_play_speedフィールドを含むことができる。
【0251】
included_temporal_id_flagフィールドは、時間idを用いてエンコーディングしたか否かをシグナリングすることができる。
【0252】
temporal_sub_layer_dependency_flagフィールドは、時間サブレイヤ間に従属関係(dependency)があるか否かを示すことができる。すなわち、temporal_sub_layer_dependency_flagフィールドは、下位の時間サブレイヤピクチャが上位の時間サブレイヤピクチャを参照しない場合、1を有する。
【0253】
max_temporal_id_plus1フィールドは最大時間id値を示すことができ、max_temporal_id_plus1フィールドが示す値は、時間idに1を足した値である。
【0254】
temporal_id_plus1フィールドは、NALユニットヘッダ(NAL unit header)に含まれるnuh_temporal_id_plus1が示す値と同じ値を有することができる。
【0255】
curr_tier_numフィールドは、temporal_id_plus1にマッピングされるティア値を示すことができる。
【0256】
trick_play_speedフィールドは、時間id値によって提供可能な最大トリックプレイ速度を示すことができる。
【0257】
if(max_temporal_id_plus1>1)条件文は、max_temporal_id_plus1が1よりも大きい場合を示すことができる。すなわち、時間スケーラビリティが用いられたストリームであることを示すことができ、この場合、時間idを用いてトリックプレイを提供できるため、本発明の一実施例は、従来のPVR_assist_informationを用いるために時間idをティアにマッピングすることができる。
【0258】
本発明の他の実施例は、temporal_id_plus1フィールドを、forループ中でcurr_tier_numフィールドおよびtrick_play_speedフィールドと同じレベルに位置付け、各temporal_idによるティアナンバ(tier number)とトリックプレイのための速度とをシグナリングすることができる。本発明の一実施例は、上述したHEVC_temporal_id_tier_mapping_infoを含むディスクリプタを用いてルックアップテーブルを生成でき、該ルックアップテーブルを用いてPVR_assist_informationのティア関連情報をtemporal_idとして解釈して使用することができる。
【0259】
本発明の他の実施例は、上述したHEVC_temporal_id_tier_mapping_infoからforループを削除し、temporal_id_plus1フィールドが位置しているレベルにcurr_tier_numフィールドおよびtrick_play_speedフィールドを位置させることもできる。本発明の一実施例は、上述したHEVC_temporal_id_tier_mapping_infoを含むディスクリプタを各ピクチャごとにシグナリングすることができる。
【0260】
図33は、本発明の一実施例に係る、HEVC_temporal_id_tier_mapping_infoに含まれるtrick_play_speedフィールドの構成を示す図である。
【0261】
本発明の一実施例に係るtrick_play_speedフィールドが0であれば、提供可能なトリックプレイの倍速は1倍速であり、1であれば、提供可能なトリックプレイの倍速は2倍速であり、2であれば、提供可能なトリックプレイの倍速は4倍速であり、3であれば、提供可能なトリックプレイの倍速は8倍速であり、4であれば、提供可能なトリックプレイの倍速は16倍速であり、5であれば、提供可能なトリックプレイの倍速は32倍速であり、6であれば、提供可能なトリックプレイの倍速は64倍速でありうる。
【0262】
図34は、本発明の一実施例に係るPVR_assist_informationの構成を示す図である。
【0263】
本発明の一実施例に係るPVR_assist_informationは、data_field_tagフィールド、data_field_lengthフィールド、PVR_assist_tier_pic_numフィールド、PVR_assist_block_trick_mode_present_flagフィールド、PVR_assist_pic_struct_present_flagフィールド、PVR_assist_tier_next_pic_in_tier_present_flagフィールド、PVR_assist_substream_info_present_flagフィールド、PVR_assist_extension_present_flagフィールド、PVR_assist_segmentation_info_present_flagフィールド、PVR_assist_tier_m_cumulative_frames_present_flagフィールド、PVR_assist_tier_n_mmco_present_flagフィールド、PVR_assist_reserved_0フィールド、PVR_assist_seg_idフィールド、PVR_assist_prg_idフィールド、PVR_assist_seg_start_flagフィールド、PVR_assist_seg_end_flagフィールド、PVR_assist_prg_start_flagフィールド、PVR_assist_prg_stop_flagフィールド、PVR_assist_scene_change_flagフィールド、PVR_assist_tier_mフィールド、PVR_assist_tier_m_cumulative_framesフィールドおよび/またはPVR_assist_tier_n_mmcoフィールドを含むことができる。
【0264】
data_field_tagフィールドは、当該データフィールドがPVR_assist_informationであることを示すことができる。data_field_tagフィールドは0x03を有することができる。
【0265】
data_field_lengthフィールドは、data_field_tagフィールドおよびdata_field_lengthフィールドを除くPVR_assist_informationの長さを示すことができる。
【0266】
PVR_assist_tier_pic_numフィールドは、PVR_assist_informationに関連するピクチャのティアナンバを示すことができる。最小ティアナンバは0で、最大ティアナンバは7であってもよい。ティアナンバ0は、将来使用するためにリザーブしておいてもよい。本発明の一実施例によれば、HEVCである場合、HEVC RAPピクチャのティアナンバは0であり、HEVC RAPピクチャ以外の残りの全てのピクチャのティアナンバは、時間idに1を足した値であってもよい。本発明の一実施例によれば、このフィールドは、ビデオストリームに含まれるピクチャのティアナンバを示すことができ、ティアナンバ情報と命名できる。ここで、ティアナンバは、時間サブレイヤをシグナリングするために用いることができる。PVR_assist_tier_pic_numは、ティアナンバ情報と命名できる。
【0267】
PVR_assist_block_trick_mode_present_flagフィールドは、前のRAPピクチャにおいてこのフィールドの値が1である場合に、RAPピクチャ以外のピクチャで1の値を有することができる。
【0268】
PVR_assist_pic_struct_present_flagフィールドは、ビデオストリームがAVCまたはHEVCストリームであり、PVR_assist_pict_structフィールドが存在する場合に、1の値を有することができる。
【0269】
PVR_assist_tier_next_pic_in_tier_present_flagフィールドは、PVR_assist_tier_next_pic_in_tierフィールドが存在する場合に1の値を有することができる。
【0270】
PVR_assist_substream_info_present_flagフィールドは、PVR_assist_substream_infoフィールドが存在する場合に1の値を有することができる。
【0271】
PVR_assist_extension_present_flagフィールドは、PVR_assist_segmentation_info_present_flagフィールド、PVR_assist_tier_m_cumulative_frames_present_flagフィールド、PVR_assist_tier_n_mmco_present_flagフィールドおよびPVR_assist_temporal_id_info_present_flagフィールドのいずれか一つの値が1である場合に、1の値を有することができる。
【0272】
PVR_assist_segmentation_info_present_flagフィールドは、PVR_assist_segmentation_infoフィールドが存在する場合に1の値を有することができる。このフィールドは、セグメンテーションインフォフラグ情報と命名でき、ピクチャが属するセグメントに関する情報が存在するか否かを示すことができる。
【0273】
PVR_assist_tier_m_cumulative_frames_present_flagフィールドは、PVR_assist_tier_mフィールドおよびPVR_assist_tier_m_cumulative_framesフィールドが存在する場合に1の値を有することができる。HEVCである場合、このフィールドは0の値を有するように推奨されてもよい。
【0274】
PVR_assist_tier_n_mmco_present_flagフィールドは、PVR_assist_tier_n_mmcoフィールドが存在する場合に1の値を有することができる。HEVCである場合、このフィールドは0の値を有することができる。
【0275】
PVR_assist_seg_idフィールドは、ピクチャの属しているセグメントのidを伝達することができる。このフィールドは、セグメント識別子情報と命名でき、ピクチャが属するセグメントのidを示すことができる。
【0276】
PVR_assist_prg_idフィールドは、ピクチャが属しているプログラムのidを伝達することができる。このフィールドは、プログラム識別子情報と命名でき、ピクチャが属するプログラムのidを示すことができる。
【0277】
PVR_assist_seg_start_flagフィールドは、一つのセグメント内で先頭の再生順序を有するピクチャである場合、1の値を有することができる。このフィールドは、セグメントスタートフラグ情報と命名でき、各セグメントにおいて再生時間順序が先頭であるピクチャを識別することができる。
【0278】
PVR_assist_seg_end_flagフィールドは、一つのセグメント内で末尾の再生順序を有するピクチャである場合、1の値を有することができる。このフィールドは、セグメントエンドフラグ情報と命名でき、各セグメントにおいて再生時間順序が末尾であるピクチャを識別することができる。
【0279】
PVR_assist_prg_start_flagフィールドは、一つのプログラム内で先頭の再生順序を有するピクチャである場合、1の値を有することができる。このフィールドは、プログラムスタートフラグ情報と命名でき、各プログラムで再生時間順序が先頭であるピクチャを識別することができる。
【0280】
PVR_assist_prg_stop_flagフィールドは、一つのプログラム内で末尾の再生順序を有するピクチャである場合、1の値を有することができる。このフィールドは、プログラムエンドフラグ情報と命名でき、各プログラムで再生時間順序が末尾であるピクチャを識別することができる。
【0281】
PVR_assist_scene_change_flagフィールドは、新しい場面(scene)の再生順序上先頭のピクチャである場合に1の値を有することができる。
【0282】
PVR_assist_tier_mフィールドは、PVR_assist_tier_m_cumulative_framesフィールドに関連するティアナンバを示すことができる。HEVCである場合、このフィールドは存在しなくてもよい。
【0283】
PVR_assist_tier_m_cumulative_framesフィールドは、PVR_assist_tier_mフィールドを通してtier1から1秒当たり抽出可能な最小フレームの数の値を伝達することができる。
【0284】
PVR_assist_tier_n_mmcoフィールドは、トリックプレイを行う間にデコーダに無視されてもよいMMCOs下の最小ティアナンバを示すことができる。HEVCである場合、このフィールドは存在しなくてもよい。
【0285】
本発明の一実施例に係るPVR_assist_informationは、PVR_assist_tier_next_pic_tierフィールドをさらに含むことができる。PVR_assist_tier_next_pic_tierフィールドは、PVR_assist_tier_pic_numフィールドが示す値と同じティアナンバを有するピクチャのうち、デコーディング順序上次の順序のピクチャの相対的な位置を示すことができ、ティアネクストピクチャ情報と命名できる。
【0286】
本発明の一実施例に係るPVR_assist_informationは、ビデオデータのトリックプレイを行うためのメタデータを含み、PVRアシスト情報と命名できる。
【0287】
図35は、本発明の一実施例に係る、時間idフレームワークが追加されたPVR_assist_informationの構成を示す図である。(シナリオB−a−a)
【0288】
本発明の一実施例は、TSパケットのアダプテーションフィールドに含まれる従来のPVR_assist_informationにおいて、時間idを用いたトリックプレイを含む方法を提供することができる。すなわち、本発明の一実施例は、時間idフレームワークを提供することができる。
【0289】
本発明の一実施例は、時間idベースの時間スケーラビリティをサポートするために、従来のPVR_assist_tier_pic_numと共にPVR_assist_temporal_id_plus1をシグナリングすることができる。
【0290】
本発明の一実施例によれば、PVR_assist_informationは、PVR_assist_informationの構成を示した前の図で説明した全てのフィールド、PVR_assist_temporal_id_plus1フィールド、PVR_assist_temporal_id_info_present_flagフィールドおよび/またはPVR_assist_max_temporal_id_plus1フィールドを含むことができる。
【0291】
同図で、PVR_assist_informationの構成を示した前の図で説明したフィールドと同じ名称を有するフィールドは、前の図で説明した意味と同じ意味を有することができる。
【0292】
PVR_assist_temporal_id_plus1フィールドは、現在フレームの時間id値を示し、実際にNALユニットヘッダに含まれるnuh_temporal_id_plus1の値と同じ値を示すことができる。
【0293】
PVR_assist_temporal_id_info_present_flagフィールドは、時間idに関連する情報を含むか否かを示すことができる。このフィールドは、PVR_assist_max_temporal_id_plus1フィールドが存在すると、1の値を示すことができる。このフィールドは、RAPピクチャごとに提供できる。
【0294】
PVR_assist_max_temporal_id_plus1フィールドは、最大時間id値を示し、実際に、時間idの最大値に1を足した値を示すことができる。このフィールドは、0乃至6のいずれか一つの値を有することができる。このフィールドは、トリックプレイの速度に関する情報を提供するために用いることができる。
【0295】
本発明の一実施例によれば、トリックプレイの倍速数は、PVR_assist_max_temporal_id_plus1フィールドとPVR_assist_temporal_id_plus1フィールドとの値を用いて計算できる。
【0296】
図36は、本発明の他の実施例に係る、時間idフレームワークが追加されたPVR_assist_informationの構成を示す図である。(シナリオB−a−b)
【0297】
本発明の一実施例は、TSパケットのアダプテーションフィールドに含まれる従来のPVR_assist_informationにおいて、時間idを用いたトリックプレイを含める方法を提供することができる。すなわち、本発明の一実施例は、時間idフレームワークを提供できる。
【0298】
本発明の一実施例は、PVR_assist_tier_pic_numフィールドをそのまま使用し、PVR_assist_tier_pic_numフィールドにPVR_assist_temporal_id_plus1の意味を含めることができる。また、PVR_assist_tier_pic_num_to_temporal_id_flagフィールドを用いて、ティアの意味が変更されたことを知らせることができる。
【0299】
本発明の一実施例によれば、PVR_assist_informationは、PVR_assist_informationの構成を示した前の図で説明した全てのフィールド、PVR_assist_tier_pic_num_to_temporal_id_flagフィールド、PVR_assist_temporal_id_info_present_flagフィールドおよび/またはPVR_assist_max_temporal_id_plus1フィールドを含むことができる。
【0300】
同図で、PVR_assist_informationの構成を示した前の図で説明したフィールドと同じ名称を有するフィールドは、前の図で説明した意味と同じ意味を有することができる。ただし、PVR_assist_tier_pic_numフィールドは、本発明の一実施例によって時間idフレームワークにそのまま用いることができる。すなわち、PVR_assist_tier_pic_numフィールドは、現在フレームの時間id値を示し、実際にNALユニットヘッダに含まれるnuh_temporal_id_plus1の値と同じ値を有することができる。
【0301】
PVR_assist_tier_pic_num_to_temporal_id_flagフィールドは、PVR_assist_tier_pic_numフィールドを時間idを示すフィールドとして用いる場合、1の値を有することができる。
【0302】
PVR_assist_temporal_id_info_present_flagフィールドは、時間idに関連する情報を含むか否かを示すことができる。
【0303】
PVR_assist_max_temporal_id_plus1フィールドは、最大時間id値を示し、実際に、時間idの最大値に1を足した値を示すことができる。
【0304】
本発明の一実施例によれば、トリックプレイの倍速数は、PVR_assist_max_temporal_id_plus1フィールドとPVR_assist_temporal_id_plus1フィールドの意味を有するPVR_assist_tier_pic_numフィールドとの値を用いて計算できる。
【0305】
本発明のさらに他の実施例は、PVR_assist_frameworkという2ビット以上のフィールドをPVR_assist_informationに追加して、PVRを提供するフレームワークの種類を分類することができる。本発明の一実施例は、従来のティア、サブストリームフレームワークおよび時間idフレームワークを分類することができる。この場合、従来のPVR_assist_informationに含まれるフラグ値は用いられなくてもよく、本発明の一実施例は、各フレームワークに該当するタグ値に代えて条件文を構成することができる。
【0306】
図37は、本発明の一実施例に係る、時間idを用いたトリックプレイをサポートするためのPVR_assist_informationの構成を示す図である。(シナリオB−b)
【0307】
本発明の一実施例によるPVR_assist_informationは、data_field_tagフィールド、data_field_lengthフィールド、PVR_assist_temporal_id_plus1フィールド、PVR_assist_substream_info_present_flagフィールド、PVR_assist_extension_present_flagフィールド、PVR_assist_temporal_id_present_flagフィールド、PVR_assist_temporal_sub_layer_dependency_flagフィールド、PVR_assist_max_temporal_id_plus1フィールド、PVR_assist_curr_tier_numフィールドおよび/またはPVR_assist_trick_play_speedフィールドを含むことができる。
【0308】
data_field_tagフィールドは、当該データフィールドがPVR_assist_informationであることを示すことができる。data_field_tagフィールドは0x03を有することができる。
【0309】
data_field_lengthフィールドは、data_field_tagフィールドおよびdata_field_lengthフィールドを除くPVR_assist_informationの長さを示すことができる。
【0310】
PVR_assist_temporal_id_plus1フィールドは、現在フレームの時間id値を示し、実際にNALユニットヘッダに含まれるnuh_temporal_id_plus1の値と同じ値を示すことができる。
【0311】
PVR_assist_substream_info_present_flagフィールドは、PVR_assist_substream_infoフィールドが存在する場合に1の値を有することができる。
【0312】
PVR_assist_extension_present_flagフィールドは、PVR_assist_segmentation_info_present_flagフィールド、PVR_assist_tier_m_cumulative_frames_present_flagフィールドおよびPVR_assist_tier_n_mmco_present_flagフィールドのいずれか一つの値が1である場合に、1の値を有することができる。
【0313】
PVR_assist_temporal_id_info_present_flagフィールドは、時間idに関連する情報を含むか否かを示すことができる。
【0314】
PVR_assist_temporal_sub_layer_dependency_flagフィールドは、時間サブレイヤ間に従属関係があるか否かを示すことができる。すなわち、temporal_sub_layer_dependency_flagフィールドは、下位の時間サブレイヤピクチャが上位の時間サブレイヤピクチャを参照しない場合、1を有する。
【0315】
PVR_assist_max_temporal_id_plus1フィールドは、最大時間id値を示し、実際に、時間idの最大値に1を足した値を示すことができる。
【0316】
PVR_assist_curr_tier_numフィールドは、temporal_id_plus1に該当するティア値を示すことができる。
【0317】
trick_play_speedフィールドは、時間id値によって提供可能な最大トリックプレイ速度を示すことができる。
【0318】
if(PVR_assist_max_temporal_id_plus1>1)条件文は、PVR_assist_max_temporal_id_plus1が1よりも大きい場合を示すことができる。すなわち、時間スケーラビリティが用いられたストリームであることを示すことができ、この場合、時間idを用いてトリックプレイを提供することができる。
【0319】
本発明の他の実施例は、PVR_assist_temporal_id_plus1フィールドを、forループ中でPVR_assist_curr_tier_numフィールドおよびPVR_assist_trick_play_speedフィールドと同じレベルに位置させ、各temporal_idによるティアナンバとトリックプレイのための速度をシグナリングすることができる。
【0320】
本発明のさらに他の実施例は、従来のPVR_assist_tier_pic_numフィールドをそのまま残し、上述したフィールド値をPVR_assist_temporal_id_plus1フィールド値を示すように変更して使用することができる。この場合、PVR_assist_tier_pic_num_to_temporal_id_flagフィールドを用いて、PVR_assist_tier_pic_numフィールドの意味が変更されたことをシグナリングする必要がある。
【0321】
本発明のさらに他の実施例は、ティアを用いずに時間idのみを用いてトリックプレイを提供することができる。すなわち、NAL_unit_headerのnuh_temporal_id_plus1情報をパージングし、実際のトリックプレイのために必要なパケットのみを選択することによって、トリックプレイを提供できる(シナリオC)。例えば、時間idが0から3まで構成されたストリームを2倍速でプレイしようとする場合、本発明の一実施例は、nuh_temporal_id_plus1の値が1、2または3であるTSパケットのみをシステムデコーダ(system decoder)に伝達することによって2倍速トリックプレイを提供できる。
【0322】
図38は、本発明の一実施例に係る受信装置を示す図である。
【0323】
本発明の一実施例に係る受信装置は、受信部(Tuner)38010、復調部(Demodulator)38020、トリックプレイ実行部(Trick play)38030、システムデコーダ/逆多重化部(System decoder and Demux)38040および/またはビデオデコーダ(Video decoder)38050を備えることができる。
【0324】
受信部38010は、放送網、ケーブル網および/またはインターネットを通して送信される放送信号を受信することができる。受信部は、TS(Transport Stream)を受信することができる。ここで、TSは、トリックプレイ実行のためのPVRアシスト情報を含むことができ、PVRアシスト情報は、ティアナンバ情報および/または最大時間識別情報を含むことができる。上記ティアナンバ情報は、RAPピクチャでないピクチャの時間識別情報値に1を足した値を有するティアナンバを示すことができ、上記最大時間識別情報は、エンコーディングされたビデオデータを含むビデオストリームの最大時間識別情報値を示すことができる。
【0325】
復調部38020は、変調方式によって変調された放送信号を復調することができる。
【0326】
トリックプレイ実行部38030は、各シナリオに従う方法によってトリックプレイのためのTSパケットを選択することができる。本発明の一実施例に係るシナリオ1、2および3に関する詳細な説明は、前述した通りである。
【0327】
システムデコーダ/逆多重化部38040は、システム情報をデコーディングでき、多重化された放送信号をエレメンタリストリームごとに分離できる。逆多重化部は、受信した放送信号を逆多重化してビデオストリームを抽出することができる。本発明の一実施例に係る逆多重化部は、本発明の一実施例に係る第1抽出部および/または第2抽出部を含むことができる。第1抽出部は、受信したTSからPES(Packetized Elementary Stream)を抽出することができる。第2抽出部は、抽出されたPESからビデオエレメンタリストリームを抽出することができる。
【0328】
ビデオデコーダ38050は、ビデオストリームをデコーディングすることができる。ビデオデコーダはシステムデコーダおよびトリックプレイ実行部を含むことができ、ビデオデコーダは、PVRアシスト情報に基づいてトリックプレイのために選択されたビデオストリームをデコーディングすることによって、ビデオデータのトリックプレイを行うことができる。ビデオデコーダは、PVRアシスト情報に含まれる時間識別情報および最大時間識別情報に基づいてトリックプレイを行うことができる。
【0329】
本発明の一実施例に係るビデオストリームは、ビデオエレメンタリストリームを表すことができる。
【0330】
図39は、本発明の一実施例に係るティアフレームワークとHEVC時間サブレイヤとを比較したものである。
【0331】
本発明の一実施例に係るHEVC時間サブレイヤの階層構造は、ティアシステムフレームワークに類似している。本発明の一実施例に係る時間idは、ティアナンバにマッチしうる。本発明の一実施例に係るHEVC時間サブレイヤは、ティアシステムフレームワークと類似の方法によってPVRをサポートすることができる。
【0332】
本発明の一実施例に係るHEVC準拠(compliant)エンコーダ/デコーダは、HEVC時間サブレイヤをサポートできる。本発明の一実施例に係る時間idは、HEVCでエンコーディングされたストリーム中に存在できる。ストリームが時間サブレイヤ構造によってエンコーディングされた場合、トリックプレイのためのいかなる特別なエンコーディング構造も必要としない。したがって、本発明の一実施例に係るHEVC時間サブレイヤは、トリックプレイをサポートする場合にエンコーディングの負担を軽減することができる。
【0333】
同図に示すように、ティアフレームワークで、tier7は、参照されない破棄可能ピクチャを意味し、tier6は、参照される破棄可能ピクチャを意味した。しかし、本発明の一実施例に係るHEVC時間サブレイヤは、参照されるピクチャであるか否かを分類しなくてもよい。ティアフレームワークにおいて、tier1はRAPピクチャを示し、tier2はPピクチャを示した。しかし、本発明の一実施例に係るHEVC時間サブレイヤにおいて、時間id0は、IRAPピクチャを含むIピクチャ、PピクチャおよびBピクチャを全て示すことができる。
【0334】
本発明の一実施例によれば、異なるサブレイヤが時間id6および7に指定されてもよい。したがって、ティアナンバ6および7と比較すると、本発明の一実施例によって時間idを用いる場合、追加的な倍速をサポートすることができる。
【0335】
本発明の一実施例によれば、より速い倍速をサポートするために、時間idが0であるベースサブレイヤでフレームの分類が必要でありうる。
【0336】
図40は、本発明の他の実施例に係るPVR_assist_informationの構成を示す図である。
【0337】
本発明の一実施例によれば、デコーディング処理の前にアクセスユニット(access units;AUs)をフィルタリングするために、ビデオレベルに対して与えられた時間idはシステムレベルでシグナリングされうる。
【0338】
本発明の一実施例によれば、時間idが0であるベースサブレイヤでより高い倍速をサポートするために、イントラ(intra)フレームがシグナリングされうる。
【0339】
本発明の一実施例に係るPVR_assist_informationは、data_field_tagフィールド、data_field_lengthフィールド、PVR_assist_temporal_id_plus1フィールド、PVR_assist_temporal_id_info_present_flagフィールド、PVR_assist_intra_picture_flagフィールド、PVR_assist_max_temporal_id_plus1フィールド、PVR_assist_PB_numbers_in_temporal id_zeroフィールド、PVR_assist_reserved_0フィールドおよび/またはPVR_assist_reserved_byteフィールドを含むことができる。
【0340】
data_field_tagフィールドは、当該データフィールドがPVR_assist_informationであることを示すことができる。data_field_tagフィールドは0x03を有することができる。
【0341】
data_field_lengthフィールドは、data_field_tagフィールドおよびdata_field_lengthフィールドを除くPVR_assist_informationの長さを示すことができる。
【0342】
PVR_assist_temporal_id_plus1フィールドは、ピクチャの時間idを示すことができる。実際に、時間idは、このフィールドから1を引いた値を有することができる。このフィールドの最小値は1、最大値は7を有することができる。HEVCストリームの場合、このフィールドの値はnuh_temporal_id_plus1の値と同じ値を有することができる。
【0343】
PVR_assist_temporal_id_info_present_flagフィールドは、PVR_assist_max_temporal_id_plus1フィールドが存在すると、1の値を有することができる。このフィールドは、RAPピクチャに該当するピクチャでのみ提供されうる。
【0344】
PVR_assist_intra_picture_flagフィールドは、現在アクセスユニットがintraピクチャであると、1の値を有することができる。
【0345】
PVR_assist_max_temporal_id_plus1フィールドは、最大時間idを示すことができる。実際に、最大時間idは、このフィールドから1を引いた値を示すことができる。このフィールドは1から7までの値を有することができる。
【0346】
PVR_assist_PB_numbers_in_temporal_Id_zeroフィールドは、時間idが0であるベースサブレイヤでイントラ(intra)フレームk間に存在するイントラフレーム以外のフレームの数を示すことができる。このフィールドは、トリックプレイの速度を推測するために用いることができる。
【0347】
PVR_assist_reserved_0フィールドは、将来使用のために残したフィールドである。
【0348】
PVR_assist_reserved_byteフィールドは、将来使用のために残したフィールドを示すことができる。
【0349】
図41は、本発明の一実施例に係る、HEVC時間サブレイヤを用いたトリックプレイ方法を示す図である。
【0350】
同図で、一番目の図41010は、一つのGOPに該当するピクチャを再生順序によって整列したものである。一番目の図で、Iは、Iピクチャを表すことができ、Bは、Bピクチャを表すことができ、PはPピクチャを表すことができる。また、ピクチャの種類を表すアルファベットの下部の添え字は、再生順序を表すことができる。一番目の図で、矢印は、ピクチャ間の参照関係を示すことができる。
【0351】
同図で、二番目の図41020は、本発明の一実施例に係るHEVC時間サブレイヤを用いてトリックプレイを提供する方法を示すものである。一つの四角形のボックスは一つのピクチャを表すことができる。四角形の中の数字は時間idを示すことができる。四角形の中のx表示は、トリックプレイ時にデコーディングおよび再生されるピクチャを表すことができる。二番目の図に示すように、2倍速から8倍速までのトリックプレイは、HEVC時間サブレイヤによって提供することができる。
【0352】
同図で、三番目の図41030は、本発明の一実施例に係るベースサブレイヤシグナリングを用いてトリックプレイを提供する方法を示すものである。本発明の一実施例は、イントラピクチャのみをデコーディングおよび再生することによって、12倍速、24倍速および48倍速のトリックプレイを提供することができる。
【0353】
図42は、本発明の一実施例に係る放送信号送信方法を示す図である。
【0354】
本発明の一実施例は、次のような処理によって放送信号を送信することができる。まず、本発明の一実施例は、ビデオデータをエンコーディングしてビデオエレメンタリストリームを生成することができる(S42010)。ここで、ビデオエレメンタリストリームは、AVCまたはHEVCコーデックによってエンコーディングできる。次に、本発明の一実施例は、ビデオエレメンタリストリームを含むPES(Packetized Elementary Stream)を生成することができる(S42020)。次に、本発明の一実施例は、PESを含むTS(Transport Stream)を生成することができる(S42030)。ここで、TSは、MPEG−2 TSを表すことができる。本発明の一実施例に係るTSは、トリックプレイ実行のためのPVRアシスト情報を含むことができる。PVRアシスト情報は、受信機またはPVR装置においてビデオデータのトリックプレイを行う上で必要な情報を意味できる。PVRアシスト情報に関する詳細な説明は、図34で前述した。本発明の一実施例に係るPVRアシスト情報は、ティアナンバ情報および/または最大時間識別情報を含むことができる。ティアナンバ情報は、RAPピクチャ以外のピクチャの時間識別情報値に1を足した値を有するティアナンバを表すことができ、最大時間識別情報は、エンコーディングされたビデオデータを含むビデオストリームの最大時間識別情報値を示すことができる。本発明の一実施例に係る最大時間識別情報は、max_temporal_idまたはPVR_assist_max_temporal_idと命名できる。最大時間識別情報に関する詳細な説明は、図32図35図36図37図40で前述した。ティアナンバは、時間サブレイヤをシグナリングするために用いることができる。ティアナンバは、ピクチャ間の従属関係を示すことができる。HEVCである場合、ティアナンバは、時間識別情報と同様に、時間サブレイヤをシグナリングするために用いることができる。ティアナンバ情報は、PVR_assist_tier_pic_numと命名できる。上述したティアナンバ情報に関する詳細な説明は、図34図35図36図39図40で前述した。次に、本発明の一実施例は、生成されたTSを送信することができる(S42040)。ここで、本発明の一実施例は、生成された放送信号を、地上波放送網、ケーブル網およびインターネットの少なくとも一つを通して送信することができる。本発明の他の実施例によれば、ビデオエレメンタリストリームは一つ以上の時間サブレイヤを含むことができ、ここで、時間サブレイヤは、ピクチャのグループを表すことができる。本発明の一実施例に係るエンコーディングされたビデオデータを含むNALユニットのヘッダは、時間識別プラス情報を含むことができる。ここで時間識別プラス情報は、時間識別情報に1を足した値を表すことができ、時間識別情報は、時間サブレイヤを識別する情報を含むことができる。本発明の一実施例に係る時間識別プラス情報は、時間サブレイヤを識別するために用いることができる。時間サブレイヤはtemporal sub−layerと、時間識別情報はtemporal idと、時間識別プラス情報はnuh_temporal_id_plus1と命名できる。本発明の一実施例によれば、PVRアシスト情報は、ビデオエレメンタリストリームの最大時間識別情報値を示す最大時間識別情報を含むことができる。HEVCでエンコーディングされたビデオストリームは複数の時間サブレイヤを有することができ、各時間サブレイヤは時間識別情報によって識別されうる。本発明の一実施例に係る最大時間識別情報は、複数の時間サブレイヤのうち、最大の時間識別情報を有する時間サブレイヤの時間識別情報を意味することができる。本発明の一実施例によれば、PVRアシスト情報は、最大時間識別情報を含むか否かを示す時間識別フラグ情報を含むことができ、ここで、時間識別フラグ情報はRAPごとに提供されうる。時間識別フラグ情報は、PVR_assist_temporal_id_info_present_flagと命名できる。時間識別フラグ情報は、PVRアシスト情報内に最大時間識別情報が含まれていると、1の値を有することができる。AVCストリームである場合、時間識別フラグ情報は0の値を有することができる。本発明の一実施例は、時間識別フラグ情報をRAPごとに提供することによって、最大時間識別情報をRAPごとにシグナリングすることができる。これによって、本発明の一実施例は、トリックプレイの最大倍速情報をRAPごとにシグナリングすることができる。これに関する詳細な説明は図35、40で前述した。
【0355】
本発明の他の実施例によれば、上述したティアナンバ情報が示すティアナンバは、RAPピクチャでは0の値を有することができる。本発明の一実施例に係るティアナンバは、ビデオストリームを構成する各ピクチャごとに定めることができる。本発明の一実施例によれば、RAPピクチャでティアナンバは0を有することができる。本発明の一実施例に係るRAPピクチャは、HEVC DVB_RAPピクチャを意味できる。
【0356】
本発明の他の実施例によれば、最大時間識別情報は、トリックプレイの速度に関する情報を提供するために用いることができる。最大時間識別情報は、トリックプレイの最大倍速に関する情報をシグナリングすることができる。本発明の一実施例は、各時間識別情報に該当するトリックプレイ倍速をシグナリングすることができる。最大時間識別情報をシグナリングすることによって、本発明の一実施例は、ユーザにサービス可能な最大倍速情報を知らせることができ、ユーザの要求に応じてトリックプレイの倍速を決定し、決定された倍速を提供することができる。本発明の一実施例によれば、最大時間識別情報は、0乃至6のいずれか一つの値を有することができる。したがって、本発明の他の実施例によって、時間識別情報値がティアナンバと一対一でマッチする場合、従来定義されているティアナンバの範囲内でマッチしうる。従来ティアナンバは0から7まで定義されている。これに関する詳細な説明は、図35図40で前述した。
【0357】
本発明の他の実施例によれば、上述したPVRアシスト情報は、TSのアダプテーションフィールドに含まれてもよい。ここで、アダプテーションフィールドは、TSパケットのヘッダとペイロードとの間に存在するフィールドであって、データを含むことができる。本発明の一実施例によれば、アダプテーションフィールドは、プライベートデータバイトフィールドを含むことができ、プライベートデータバイトフィールドはPVRアシスト情報を含むことができる。ここで、プライベートデータバイトフィールドはアダプテーションフィールドに含まれ、数個のデータフィールドを含むことができる。上述した数個のデータフィールドのうち一つのデータフィールドは、PVRアシスト情報を含むことができる。
【0358】
本発明の他の実施例によれば、上述したPVRアシスト情報は、ピクチャが属するセグメントに関する情報が存在するか否かを示すセグメンテーションインフォフラグ情報を含むことができる。これに関する詳細な説明は、図34に関する説明部分で前述した。
【0359】
本発明の他の実施例によれば、上述したPVRアシスト情報は、ピクチャが属するセグメントのidを示すセグメント識別子情報を含むことができる。これに関する詳細な説明は、図34に関する説明部分で前述した。
【0360】
本発明の他の実施例によれば、上述したPVRアシスト情報は、ピクチャが属するプログラムのidを示すプログラム識別子情報を含むことができる。これに関する詳細な説明は、図34に関する説明部分で前述した。
【0361】
本発明の他の実施例によれば、上述したPVRアシスト情報は、各セグメントで再生時間順序が先頭であるピクチャを識別するセグメントスタートフラグ情報、および各セグメントで再生時間順序が末尾であるピクチャを識別するセグメントエンドフラグ情報のうち少なくともいずれか一つを含むことができる。これに関する詳細な説明は、図34に関する説明部分で前述した。
【0362】
本発明の他の実施例によれば、上述したPVRアシスト情報は、各プログラムで再生時間順序が先頭であるピクチャを識別するプログラムスタートフラグ情報、および各プログラムで再生時間順序が末尾であるピクチャを識別するプログラムエンドフラグ情報のうち、少なくともいずれか一つを含むことができる。これに関する詳細な説明は、図34に関する説明部分で前述した。
【0363】
図43は、本発明の一実施例に係る放送信号受信装置の構造を示す図である。
【0364】
本発明の一実施例に係る放送信号受信装置43010は、受信部43020、第1抽出部43030、第2抽出部43040および/またはデコーダ43050を含むことができる。
【0365】
受信部は、TS(Transport Stream)を受信することができる。ここで、TSは、トリックプレイ実行のためのPVRアシスト情報を含むことができ、PVRアシスト情報は、ティアナンバ情報および/または最大時間識別情報を含むことができる。上述したティアナンバ情報は、RAPピクチャ以外のピクチャの時間識別情報値に1を足した値を有するティアナンバを示すことができ、上述した最大時間識別情報は、エンコーディングされたビデオデータを含むビデオストリームの最大時間識別情報値を示すことができる。これに関する詳細な説明は、図42の説明部分で前述した。
【0366】
第1抽出部は、受信したTSからPES(Packetized Elementary Stream)を抽出することができる。
【0367】
第2抽出部は、抽出されたPESからビデオエレメンタリストリームを抽出することができる。
【0368】
デコーダは、抽出されたビデオエレメンタリストリームをデコーディングすることができる。
【0369】
同図に示す、本発明の一実施例に係る放送信号受信装置の構成のうち、図38に示した放送信号受信装置の構成と同一の名称を有する構成は、図38に示した放送信号受信装置の構成と同じ機能を担うことができる。
【0370】
同図に示す、本発明の一実施例に係る放送信号受信装置の構成のうち、図42に示した放送信号送信方法の処理に対応する構成は、図42に示した放送信号送信方法の処理に対応する機能を持つことができる。
【0371】
説明の便宜のために各図面を分けて説明したが、各図面で示した実施例を組み合わせて新しい実施例として具現するように設計することも可能である。そして、当業者の必要によって、以前に説明された実施例を実行するためのプログラムが記録されているコンピュータで読み取り可能な記録媒体を設計することも本発明の権利範囲に属する。
【0372】
本発明に係る装置および方法は、上述した実施例の構成および方法が限定的に適用されるものではなく、上述した実施例は様々な変形がなされるように各実施例の全てまたは一部が選択的に組み合わされて構成されてもよい。
【0373】
一方、本発明の映像処理方法は、ネットワークデバイスに備えられたプロセッサが読み取り可能な記録媒体に、プロセッサが読み取り可能なコードとして具現することが可能である。プロセッサが読み取り可能な記録媒体は、プロセッサが読み取り可能なデータが記憶される全ての種類の記録装置を含む。プロセッサが読み取り可能な記録媒体の例には、ROM、RAM、CD−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ記憶装置などがあり、また、インターネットを通した伝送などの搬送波(carrier wave)の形態として具現されるものも含む。また、プロセッサが読み取り可能な記録媒体は、ネットワークで接続されたコンピュータシステムに分散され、分散方式でプロセッサが読み取り可能なコードが記憶されて実行されてもよい。
【0374】
また、以上では本発明の好適な実施例について図示および説明したが、本発明は、上述した特定の実施例に限定されず、特許請求の範囲で請求する本発明の要旨から逸脱することなく、当該発明の属する技術の分野における通常の知識を有する者にとって様々に変形して実施することが可能であることはいうまでもなく、それらの変形実施は本発明の技術的思想や展望から別個として理解されてはならない。
【0375】
なお、当該明細書では物の発明も方法の発明も説明されており、必要によって、両発明の説明は補充的に適用されてもよい。
【実施例】
【0376】
発明の実施例は、前述した通り、発明を実施するための形態で詳述された。
【産業上の利用可能性】
【0377】
本発明は、放送産業全般で利用可能である。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36
図37
図38
図39
図40
図41
図42
図43