(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-07
(45)【発行日】2024-10-16
(54)【発明の名称】映像符号化参照ピクチャリストをシグナリングおよび構築する方法および装置
(51)【国際特許分類】
H04N 19/70 20140101AFI20241008BHJP
H04N 19/577 20140101ALI20241008BHJP
【FI】
H04N19/70
H04N19/577
(21)【出願番号】P 2023198968
(22)【出願日】2023-11-24
(62)【分割の表示】P 2022087414の分割
【原出願日】2013-01-10
【審査請求日】2023-12-25
(32)【優先日】2012-01-19
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】514041959
【氏名又は名称】ヴィド スケール インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】イエ ヤン
(72)【発明者】
【氏名】ヨン ホー
【審査官】岩井 健二
(56)【参考文献】
【文献】国際公開第2012/124961(WO,A2)
【文献】国際公開第2012/099656(WO,A1)
【文献】国際公開第2011/075071(WO,A1)
【文献】Ye-Kui Wang, and Ying Chen,AHG21: On DPB management,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,JCTVC-G314,7th Meeting: Geneva, CH,2011年11月,pp.1-7
【文献】Viktor Wahadaniah, ChongSoon Lim, and Sue Mon Thet Naing,AHG21: Construction and modification of predefined reference picture sets and reference picture list,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,JCTVC-G548,7th Meeting: Geneva, CH,2011年11月,pp.1-21
【文献】Yong He, and Yan Ye,AHG21: Unification of reference picture list modification processes,Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11,JCTVC-H0138_r2,8th Meeting: San Jose, CA, USA,2012年02月,pp.1-14
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 - 19/98
(57)【特許請求の範囲】
【請求項1】
ビデオデコーディングのための方法であって、
現在のスライスに対する参照ピクチャリストにおけるエントリの数を示している第1の構文要素をデコードするステップと、
参照ピクチャの順序付けられたリストが修正されて前記現在のスライスに対する前記参照ピクチャリストを形成することを示し、および、前記参照ピクチャリストにおける各エントリが、インデックスのセットの内の、参照ピクチャの前記順序付けられたリストへのそれぞれのインデックスによって明示的にシグナリングされることを示している第1の値に等しい構文フラグをデコードするステップであって、参照ピクチャの前記順序付けられたリストは、前記現在のスライスに関連付けられた1つ以上の短期参照ピクチャを含んでいる、ステップと、
前記参照ピクチャリストにおける各エントリに対して、インデックスの前記セットの内の、参照ピクチャの前記順序付けられたリストへの前記それぞれのインデックスを規定する構文要素をデコードするステップであって、インデックスの前記セットは、前記参照ピクチャリストにおけるエントリの前記数と同じ数のインデックスを有している、ステップと
を備え
る方法。
【請求項2】
参照ピクチャの前記順序付けられたリストは、前記現在のスライスからの時間的距離によって順序付けされた、前記現在のスライスより時間的に前にある1つ以上の短期参照ピクチャ、次いで、前記現在のスライスからの時間的距離によって順序付けされた、前記現在のスライスより時間的に後にある1つ以上の短期参照ピクチャを含む請求項1に記載の方法。
【請求項3】
参照ピクチャリスト変更の終了を示すのにシグナリングが使用されない請求項1に記載の方法。
【請求項4】
参照ピクチャリスト変更に対する変更のタイプを示すのにシグナリングが使用されない請求項1に記載の方法。
【請求項5】
請求項1の方法のビデオデコーディングのための命令をストアさせたコンピュータ読取り可能媒体。
【請求項6】
ビデオエンコーディングのための方法であって、
現在のスライスに対する参照ピクチャリストにおけるエントリの数を示している第1の構文要素をエンコードするステップと、
参照ピクチャの順序付けられたリストが修正されて前記現在のスライスに対する前記参照ピクチャリストを形成することを示し、および、前記参照ピクチャリストにおける各エントリが、インデックスのセットの内の、参照ピクチャの前記順序付けられたリストへのそれぞれのインデックスによって明示的にシグナリングされることを示している第1の値に等しい構文フラグをエンコードするステップであって、参照ピクチャの前記順序付けられたリストは、前記現在のスライスに関連付けられた1つ以上の短期参照ピクチャを含んでいる、ステップと、
前記参照ピクチャリストにおける各エントリに対して、インデックスの前記セットの内の、参照ピクチャの前記順序付けられたリストへの前記それぞれのインデックスを規定する構文要素をエンコードするステップであって、インデックスの前記セットは、前記参照ピクチャリストにおけるエントリの前記数と同じ数のインデックスを有している、ステップと
を備える方法。
【請求項7】
参照ピクチャの前記順序付けられたリストは、前記現在のスライスからの時間的距離によって順序付けされた、前記現在のスライスより時間的に前にある1つ以上の短期参照ピクチャ、次いで、前記現在のスライスからの時間的距離によって順序付けされた、前記現在のスライスより時間的に後にある1つ以上の短期参照ピクチャを含む請求項6に記載の方法。
【請求項8】
参照ピクチャリスト変更の終了を示すのにシグナリングが使用されない請求項6に記載の方法。
【請求項9】
参照ピクチャリスト変更に対する変更のタイプを示すのにシグナリングが使用されない請求項6に記載の方法。
【請求項10】
請求項6の方法のビデオエンコーディングのための命令をストアさせたコンピュータ読取り可能媒体。
【請求項11】
ビデオデコーディングのための装置において、
1つ以上のプロセッサと、
前記1つ以上のプロセッサに結合されたメモリと
を備え、
前記1つ以上のプロセッサは、
現在のスライスに対する参照ピクチャリストにおけるエントリの数を示している第1の構文要素をデコードし、
参照ピクチャの順序付けられたリストが修正されて前記現在のスライスに対する前記参照ピクチャリストを形成することを示し、および、前記参照ピクチャリストにおける各エントリが、インデックスのセットの内の、参照ピクチャの前記順序付けられたリストへのそれぞれのインデックスによって明示的にシグナリングされることを示している第1の値に等しい構文フラグをデコードし、参照ピクチャの前記順序付けられたリストは、前記現在のスライスに関連付けられた1つ以上の短期参照ピクチャを含んでおり、
前記参照ピクチャリストにおける各エントリに対して、インデックスの前記セットの内の、参照ピクチャの前記順序付けられたリストへの前記それぞれのインデックスを規定する構文要素をデコードし、インデックスの前記セットは、前記参照ピクチャリストのエントリにおける前記数と同じ数のインデックスを有している
よう構成された装置。
【請求項12】
参照ピクチャの前記順序付けられたリストは、前記現在のスライスからの時間的距離によって順序付けされた、前記現在のスライスより時間的に前にある1つ以上の短期参照ピクチャ、次いで、前記現在のスライスからの時間的距離によって順序付けされた、前記現在のスライスより時間的に後にある1つ以上の短期参照ピクチャを含む請求項11に記載の装置。
【請求項13】
参照ピクチャリスト変更の終了を示すのにシグナリングが使用されない請求項11に記載の装置。
【請求項14】
参照ピクチャリスト変更に対する変更のタイプを示すのにシグナリングが使用されない請求項11に記載の装置。
【請求項15】
前記参照ピクチャリストは、参照ピクチャリスト0または参照ピクチャリスト1である請求項11に記載の装置。
【請求項16】
ビデオエンコーディングのための装置において、
1つ以上のプロセッサと、
前記1つ以上のプロセッサに結合されたメモリと
を備え、
前記1つ以上のプロセッサは、
現在のスライスに対する参照ピクチャリストにおけるエントリの数を示している第1の構文要素をエンコードし、
参照ピクチャの順序付けられたリストが修正されて前記現在のスライスに対する前記参照ピクチャリストを形成することを示し、および、前記参照ピクチャリストにおける各エントリが、インデックスのセットの内の、参照ピクチャの前記順序付けられたリストへのそれぞれのインデックスによって明示的にシグナリングされることを示している第1の値に等しい構文フラグをエンコードし、参照ピクチャの前記順序付けられたリストは、前記現在のスライスに関連付けられた1つ以上の短期参照ピクチャを含んでおり、
前記参照ピクチャリストにおける各エントリに対して、インデックスの前記セットの内の、参照ピクチャの前記順序付けられたリストへの前記それぞれのインデックスを規定する構文要素をエンコードし、インデックスの前記セットは、前記参照ピクチャリストのエントリにおける前記数と同じ数のインデックスを有している
よう構成された装置。
【請求項17】
参照ピクチャの前記順序付けられたリストは、前記現在のスライスからの時間的距離によって順序付けされた、前記現在のスライスより時間的に前にある1つ以上の短期参照ピクチャ、次いで、前記現在のスライスからの時間的距離によって順序付けされた、前記現在のスライスより時間的に後にある1つ以上の短期参照ピクチャを含む請求項16に記載の装置。
【請求項18】
参照ピクチャリスト変更の終了を示すのにシグナリングが使用されない請求項16に記載の装置。
【請求項19】
参照ピクチャリスト変更に対する変更のタイプを示すのにシグナリングが使用されない請求項16に記載の装置。
【請求項20】
前記参照ピクチャリストは、参照ピクチャリスト0または参照ピクチャリスト1である請求項16に記載の装置。
【発明の詳細な説明】
【背景技術】
【0001】
デジタル映像信号を圧縮してその信号の記憶必要量および/または伝送帯域幅を低減するために映像符号化システムが広く使用されている。ブロック方式、ウェーブレット方式、およびオブジェクト方式のシステムなどの各種の映像符号化システムの中でも、現在はブロック方式のハイブリッド映像符号化システムが最も広く使用され、運用されている。ブロック方式の映像符号化システムの例は、MPEG1/2/4 part2、H.264/MPEG-4 part 10 AVC(非特許文献1、3)、およびVC-1(非特許文献2)標準などの国際的な映像符号化標準を含む。
【0002】
図1は、汎用的なブロック方式のハイブリッド映像符号化システムのブロック図である。入力映像信号102はブロック単位で処理される。既存のどの映像符号化標準でも映像ブロック単位は16×16画素からなり、そのようなブロック単位は一般に「マクロブロック」または「MB」と呼ばれる。現在、ITU-T/SG16/Q.6/VCEGおよびISO/IEC/MPEGのJCT-VC(Joint Collaborative Team on Video Coding)が、高効率映像符号化(High Efficiency Video Coding)または「HEVC」(非特許文献4)と呼ばれる次世代の映像符号化標準を開発中である。HEVCでは、拡張されたブロックサイズ(「符号化単位」または「CU」と呼ばれる)を使用して、高解像度(1080p以上)の映像信号を効率的に圧縮する。HEVCでは、CUは最大で64×64画素とすることができる。CUはさらに予測単位またはPUに分割することができ、PUに個別の予測方法が適用される。入力された映像ブロック(MBまたはCU)ごとに、空間予測(160)および/または時間予測(162)を行うことができる。空間予測(または「イントラ予測」)では、同じ映像ピクチャ/スライス中の既に符号化された隣接ブロックの画素を使用して現在の映像ブロックを予測する。空間予測は、映像信号に固有の空間的な冗長性を低減する。時間予測(「インター予測」または「動き補償予測」とも呼ばれる)は、既に符号化された映像ピクチャ(一般に「参照ピクチャ」と呼ばれる)の画素を使用して現在の映像ブロックを予測する。時間予測は、映像信号に固有の時間的な冗長性を低減する。所与の映像ブロックについての時間予測信号は、通常、現在のブロックと参照ピクチャ内のその予測ブロックとの間の動きの量および方向を示す1または複数の動きベクトルによってシグナリングされる。また、複数の参照ピクチャがサポートされる場合(H.264/AVCまたはHEVCなど近年の映像符号化標準の場合など)には、映像ブロックごとに、その参照ピクチャのインデックスも併せて送信される。参照ピクチャのインデックスは、再構築しようとする現在の映像ブロックの予測を生成するために、時間予測信号を取得すべき参照ピクチャストア(164)(「復号ピクチャバッファ」または「DPB」とも呼ぶ)内の参照ピクチャを特定する。空間予測および/または時間予測の後、エンコーダのモード決定ブロック(180)が、例えば伝送レート-歪み最適化の方法に基づいて最良の予測モードを選択する。そして現在の映像ブロックから予測ブロックが差し引かれ(116)、予測残余が変換され(104)、量子化される(106)。量子化された残余係数が逆量子化(110)および逆変換(112)されて、再構築された残余を形成し、それが予測ブロック(126)に入れられて再構築された映像ブロックを形成する。さらに、デブロッキングフィルタ、サンプル適応オフセット、および適合ループフィルタなどのインループフィルタリングが再構築された映像ブロックに適用(166)されてから、再構築された映像ブロックが参照ピクチャストア(164)に入れられ、将来の映像ブロックを符号化するために使用される。出力映像ビットストリーム120を形成するために、符号化モード(インターまたはイントラ)、予測モード情報、動き情報、および量子化された残余係数が全てエントロピー符号化部(108)に送られて、さらに圧縮されパックされてビットストリームを形成する。
【0003】
図2は、ブロック方式の映像デコーダの概略ブロック図である。映像ビットストリーム202はまず展開(unpack)され、エントロピー復号部208でエントロピー復号される。符号化モードおよび予測情報は空間予測部260(イントラ符号化の場合)か、または時間予測部262(インター符号化の場合)のどちらかに送られて、予測ブロックを形成する。インター符号化の場合、予測情報は、予測ブロックのサイズ、1または複数の動きベクトル(動きの方向および量を示す)、および1または複数の参照インデックス(予測信号を取得すべき参照ピクチャを示す)を含む。そして、動き補償予測が時間予測部262で適用されて時間予測ブロックを形成する。残余変換係数は、逆量子化部210および逆変換部212に送られて、残余ブロックを再構築する。そして226で予測ブロックと残余ブロックが共に足し合わされる。再構築されたブロックは参照ピクチャストア264に格納される前に、さらにインループフィルタリングをかけてもよい。参照ピクチャストア内の再構築された映像は、その後送出されて表示装置を駆動すると共に、将来の映像ブロックの予測に使用される。
【先行技術文献】
【非特許文献】
【0004】
【文献】ITU-T Rec H.264 and ISO/IEC/MPEG 4 part 10,Advanced video coding for generic audiovisual services, November 2007
【文献】SMPTE 421M,“VC-1 Compressed Video Bitstream Format and Decoding Process,” April 2006
【文献】JM reference software JM18.2,located at hypertext transfer protocol, colon, slash-slash iphome.hhi.de/suehring/tml/download/jml8.2.zip,November,2011
【文献】B.Bross,W.-J.Han,J.-R.Ohm,G.J.Sullivan,T.Wiegand.WD5: Working Draft 5 of High-Efficiency Video Coding.Document no CTVC-Gl 103,November 2011
【文献】K.McCann,S.Sekiguci,B.Bross,W.-J.Han,HM5: HEVC Test Model 5 Encoder Description.Document no JCTVC-G1102,December 2011
【文献】J.Boyce, R.Sjoberg, Y.K.Wang, BoG report: Reference picture buffering and list construction.Document no JCTVC-G1002,November 2011
【文献】D.Flynn,R.Sjoberg,et al,JCTVC AhG report: Reference picture buffering andlist construction.Document no JCTVC-G021,November 2011
【文献】Y.Suzuki,et al,Extension of uni-prediction simplification in B slices.Document no JCTVC-D421 ,January 2011
【文献】B.Bross,W.-J.Han,J.-R.Ohm,G.J.Sullivan,T.Wiegand.WD9: Working Draft 9 of High-Efficiency Video Coding.Document no JCTVC-K1103,October 2012
【発明の概要】
【発明が解決しようとする課題】
【0005】
本明細書には、時間予測(
図1のブロック162および
図2のブロック262を参照されたい)に使用される参照ピクチャのシグナリングを改善するための柔軟性をもたらす方法およびシステムが記載される。詳細には、WD5(HEVC Working Draft 5)(非特許文献4、5)の種々の参照ピクチャリストのためのシグナリング方式および構築処理が改善される。
【課題を解決するための手段】
【0006】
一実施形態によれば、映像データ内の予測されたピクチャを復号するための参照ピクチャリストL0およびL1を生成する方法は、復号ピクチャバッファ(DPB)から参照ピクチャの第1の順序付けリストを生成するステップであって、前記リストは、現在のピクチャよりも時間的に前の参照ピクチャが前記DPBにある場合は、それらの参照ピクチャが前記現在のピクチャからの時間的距離に従って順に列記され、前記現在のピクチャよりも時間的に後の参照ピクチャが前記DPBにある場合はそれらの参照ピクチャが前記現在のピクチャからの時間的距離に従って順に列記され、長期参照ピクチャが前記DPBにある場合はそれらの参照ピクチャが前記DPBに格納されている順序で列記されるように順序付けられる、ステップと、前記DPBから参照ピクチャの第2の順序付けリストを生成するステップであって、前記リストは、前記DPBに前記現在のピクチャよりも時間的に後の参照ピクチャがある場合はそれらの参照ピクチャが前記現在のピクチャからの時間的距離に従って最初に順に列記され、前記現在のピクチャよりも時間的に後の参照ピクチャが前記DPBにある場合はそれらの参照ピクチャが前記現在のピクチャからの時間的距離に従って順に列記され、長期参照ピクチャが前記DPBにある場合はそれらの参照ピクチャが前記DPBに格納されている順序で列記されるように順序付けられる、ステップと、第1の順序付けリストおよび第2の順序付けリストからそれぞれ参照ピクチャを選択することによりリストL0およびL1の少なくとも一方を生成するステップとを含む。
【0007】
別の実施形態によれば、PまたはBスライスヘッダを復号するために参照ピクチャリストのデコーダを初期化する方法は、
cIdx=0
NumRpsCurrTempList=NumRpsStCurr0+NumRpsStCurr1+NumRpsLtCurr
for(i=0;i<NumRpsStCurr0;cIdx++,i++)
RefPicSetCurrTempList0[cIdx]=RefPicSetStCurr0[i]
for(i=0;i<NumRpsStCurr1;cIdx++,i++)
RefPicSetCurrTempList0[cIdx]=RefPicSetStCurr1[i]
for(i=0;i<NumRpsLtCurr;cIdx++,i++)
RefPicSetCurrTempList0[cIdx]=RefPicSetLtCurr[i]
により第1の一時リストRefPicSetCurrTempList0を構築するステップを含む。
【0008】
さらに別の実施形態によれば、複数の参照ピクチャリストの変更をシグナリングする方法は、統一されたシグナリング構文を使用して複数の参照ピクチャリストの変更をシグナリングするステップを含む。
【0009】
もう一つの実施形態によれば、方法は、参照ピクチャリスト内のエントリの数を求めるステップと、前記参照ピクチャリスト内のエントリを特定する値を含むメッセージを生成するステップであって、前記値は、前記参照ピクチャリスト内のエントリの数が2つの場合は1ビットで表され、前記値は、参照ピクチャリスト内のエントリの数が3つ以上の場合は複数ビットで表され、参照ピクチャリスト内のエントリの数が1つの場合は前記メッセージは前記値を省略する、ステップとを含む。
【0010】
もう一つの実施形態によれば、第1の参照ピクチャのリストL0および第2の参照ピクチャのリストL1から、Bスライスの復号に使用される参照ピクチャの結合リストLCを作成する方法は、L0が2つ以上のエントリを含んでいるかどうかを判定するステップと、L1が2つ以上のエントリを含んでいるかどうかを判定するステップと、L0またはL1のいずれかが2つ以上のエントリを含んでいる場合、構文要素ref_idx_list_currを使用して、LCに追加すべき、L0およびL1の少なくとも一方のエントリを示すステップと、L0が1つのみのエントリを含んでいる場合、ref_idx_list_currを0に設定するステップと、L1が1つのみのエントリを含んでいる場合、ref_idx_list_currを0に設定するステップと、ref_idx_list_currの値を使用してLCを作成するステップとを含む。
【0011】
添付図面と共に例として与えられる以下の説明から詳細な理解を得ることができる。
【発明の効果】
【0012】
時間予測に使用される参照ピクチャのシグナリングを改善するための柔軟性をもたらす方法およびシステムが提供される。
【図面の簡単な説明】
【0013】
【
図1】本発明の実施形態を組み込むことが可能なブロック単位のハイブリッド映像符号化方式のブロック図である。
【
図2】本発明の実施形態を組み込むことが可能なブロック単位の映像復号方式のブロック図である。
【
図3】従来技術に係る、複数の参照ピクチャを保持している参照ピクチャストアからの時間単方向予測を示す図である。
【
図4】従来技術の複数の参照ピクチャを使用した時間双方向予測を示す図である。
【
図5】従来技術に係る結合された参照ピクチャリストを構築する処理のフローチャートである。
【
図6】
図5との関連で記載される処理により結合された参照ピクチャリストを構築する処理の一例を示す図である。
【
図7】従来技術に係る結合された参照ピクチャリストを構築するための変更を加えた処理の例を示す図である。
【
図8】L0を例として使用した、従来技術に係るL0およびL1の参照ピクチャリスト変更のフローチャートである。
【
図9】
図8との関連で記載した処理によるL0に対するref_pic_list_modification処理の一例を示す図である。
【
図10】本発明の実施形態による、L0を例として使用した参照ピクチャリスト変更のフローチャートである。
【
図11】本発明の一実施形態の原理による、
図9と同じ例についてのref_pic_list_modification処理の図である。
【
図12A】1または複数の開示される実施形態を実施することが可能な通信システム例のシステム図である。
【
図12B】
図12Aに示す通信システム内で使用することが可能な無線送受信ユニット(WTRU)の例のシステム図である。
【
図12C】
図12Aに示す通信システム内で使用することが可能な例示的無線アクセスネットワークおよび例示的コアネットワークのシステム図である。
【
図12D】
図12Aに示す通信システム内で使用することが可能な例示的無線アクセスネットワークおよび例示的コアネットワークのシステム図である。
【
図12E】
図12Aに示す通信システム内で使用することが可能な例示的無線アクセスネットワークおよび例示的コアネットワークのシステム図である。
【発明を実施するための形態】
【0014】
本明細書で使用される場合、用語「時間予測」、「動き予測」、「動き補償予測」、および「インター予測」は同義で使用され、用語「参照ピクチャストア」、「復号ピクチャバッファ」、および「DPB」は同義で使用される。
【0015】
H.264およびHEVC WD 5で採用された既知の技術によると、単方向予測技術または双方向予測技術を使用して映像ブロックの時間予測が行われることができる。そのような技術で予測を行うために、参照ピクチャリストがシグナリングされ、構築される。単方向予測の場合は、現在のピクチャのブロックが予測される参照ピクチャのリストは1つあればよい。双方向予測の場合は、L0およびL1の2つのリストがあり、各リストから1つの参照ピクチャが選択されて、現在のピクチャのブロックの予測を形成する。さらに、双方向予測技術の提案がなされており(ただし執筆の時点では最新のHEVC WD9(非特許文献9)にはもう取り入れられていない)、これは、最初の2つのリストL0とL1を組み合わせたものであり第3のリストを使用するものであり、このリストを本明細書では「リストLC」と称する。本明細書に記載されるのは、全ての参照ピクチャリストL0、L1および/またはLCの変更の構文(Syntax)をシグナリングするための効率的で統一された技術、並びに結合された参照ピクチャリストLCをシグナリングする技術の方法およびシステムである。
【0016】
図3は、インター予測処理部(例えば
図1のブロック162)によって行われることができる単一の参照ピクチャリスト301による単方向予測を図式的に説明する図である。単方向予測技術によると、参照ピクチャリスト301は、隣接する既に符号化された映像フレームにある映像ブロック、例えばブロック304へのリンクを含むことにより現在の映像ブロックを予測し、従って、時間の相関関係を活用し、映像信号に固有の時間的な冗長性を解消することができる。そのような既に符号化された映像フレームは、復号ピクチャバッファ(DPB、例えば
図1の参照ピクチャストア164)に格納される。H.264/AVCおよびHEVC WD5では、2つ以上の参照ピクチャを使用することができる。
図3では、ref
n(n=0...N-1)と表記するN個の参照ピクチャ303のリストを使用して現在のピクチャ305の映像ブロック307を予測することができる。(mvx,mvy)の動きベクトルで現在のブロック307を予測する基準としてref
mが選択されるものとする。時間予測は次のように行われる。
P(x,y)=ref
m(x-mvx,y-mvy) 式(1)
ref
m(x,y)は、参照ピクチャref
m内の位置(x,y)における画素値であり、P(x,y)が予測されるブロックである。既存の映像符号化システムは、端数のある画素精度のインター予測に対応することができる(非特許文献1、2、4)。動きベクトル(mvx,mvy)が端数のある画素値を有する場合は、補間フィルタが適用されて端数のある画素位置における画素値を得る。
【0017】
式(1)で、時間予測は1つのソース(即ち、refn)から得られ、これは一般に単方向予測と呼ばれる。そのピクチャまたはスライスの中にある全てのブロックが単方向予測を使用して予測されるピクチャまたはスライス(映像ブロックの群)を通例PピクチャまたはPスライスと呼ぶ。
【0018】
時間予測の精度を向上するために、より新しいブロック方式の映像符号化システムは多仮説(multi-hypothesis)予測にも対応しており、この予測では異なる参照ピクチャからの複数の予測信号を合成して予測信号が形成される。通常使用される形態の多仮説予測は双方向予測と呼ばれ、各々が異なる参照ピクチャリストのピクチャから得られる2つの予測信号が組み合わせられて現在のブロックの予測を形成する。
図4は双方向予測の説明を助ける図である。詳細には、2つの参照ピクチャリスト、リスト0 401およびリスト1 403を使用して現在のピクチャの映像ブロックを予測する。リスト0は合計N
0個のピクチャ404を含み、リスト1は合計N
1個のピクチャ404を含んでいる。
図4で、動きベクトル(mvx0,mvy0)を持つリスト0 401のref
m0と、動きベクトル(mvx1,mvy1)を持つリスト1 403のref
m1が選択されて、式(2)のように現在のピクチャ412の予測ブロック410の双方向予測を形成する。
【0019】
【0020】
ここで、P0(x,y)およびP1(x,y)はそれぞれ第1および第2の予測ブロック407および408である。ピクチャまたはスライスは、通例、そのピクチャまたはスライス中のブロックの少なくとも一部が双方向予測を使用して予測される(その他のブロックは単方向予測を使用して予測することができる)場合にBピクチャまたはBスライスと呼ばれる。双方向予測は、MPEG2/4、VC1、H.264、およびHEVCなど、近年の映像符号化標準の全てでサポートされている。
【0021】
予測の後、第1の加算器(
図1の116参照)で予測ブロックP(x,y)が元の映像ブロックから差し引かれて予測残余ブロックを形成する。予測残余ブロックは、変換部104で変換され、量子化部106で量子化される。そして、量子化された残余変換係数ブロックはエントロピー符号化部108に送られてエントロピー符号化され、それによりさらにビットレートを減らす。次いで、エントロピー符号化された残余係数がパックされて、出力映像ビットストリーム120の一部を形成する。
【0022】
Pピクチャ/スライスの参照ピクチャリストの構造は、全てのブロックが単方向予測を使用して予測され、即ち、1つの参照ピクチャリストで済むため、比較的単純である。一方、Bピクチャ/スライスでは、一部のブロックは双方向予測を使用して予測され、他のブロックは単方向予測を使用して予測される場合がある。HEVCでは、双方向予測のための参照ピクチャリスト、即ち、
図4のリスト0(またはL0)401およびリスト1(またはL1)403はH.264/AVCと同じである。ただし、HEVCは、単方向予測のための参照ピクチャリストをBピクチャ/スライスについて形成する方法がH.264/AVCと異なる。H.264/AVCでは、Bピクチャ/スライスの映像ブロックに対する単方向予測は、まず、予測がL0から行われるか、またはL1から行われるかを示し、次いでその特定のリストのref_idxを示す必要がある。HEVCでは、第4回のJCT-VCの会合で、結合参照ピクチャリストの概念が提示された(非特許文献8)。本開示で「LC」と呼ぶ結合リストは、L0とL1を共に組み合わせることによって形成され、LCは、Bピクチャ/スライス内で単方向予測を使用して予測される全てのブロックのための唯一の参照ピクチャリストの役割を果たす。
【0023】
現在HEVCでは、デフォルトで、結合リストLCは、L0およびL1から重複しないピクチャを交互に取り出すことによって形成され、それにより結合リストの冗長性が最小になることを保証している。デフォルトの結合リスト生成のフローチャートを
図5に示す。詳細には、それぞれリストL0、L1およびLCを指すインデックスi、jおよびkが501で初期化されると共に、2つのリストL0およびL1も初期化される。判定ブロック503で、L0の全ての参照ピクチャが検査済みであるかどうかが判定される。全てが検査済みではない場合は、判定ブロック505に進み、L0のインデックスiの参照ピクチャが既に結合リストLCにあるかどうかが判定される。まだ結合リストLCにない場合は、リストLCに追加され、結合リストLCのインデックスが増分される(507)。インデックスiも増分される(509)。一方、L0のインデックスiの参照ピクチャが既に結合リストLCにある場合は、505から直接509に進む。次いで、リストL1のインデックスjにある参照ピクチャに関して基本的に同じ処理が行われる。具体的には、判定ブロック511で、L1内の全ての参照ピクチャが検査済みであるかどうかが判定される。全てが検査済みではない場合は、判定ブロック513に進み、L1のインデックスjにある参照ピクチャが既に結合リストLCにあるかどうかが判定される。まだリストLCにない場合は追加され、LCのインデックスが増分される(515)。L1のインデックスjも増分される(517)。一方、L1のインデックスjの参照ピクチャが既にLCにある場合は、513から直接517に進む。判定ブロック519で理解されるように、この処理は、2つのリストの末尾に達するまで、リストL0とL1それぞれの次の参照ピクチャを交互に検査することにより繰り返される。
【0024】
図5のフローチャートで説明する処理で作成される結合リストLCの一例を
図6に示す。この例では、符号化対象の現在のピクチャは時間的に参照ピクチャ2と4の間にある。また、L0は参照ピクチャRef2、Ref1およびRef4をこの順序で含み、L1は参照ピクチャRef4、Ref5およびRef2をこの順序で含んでいる。
図5の流れに従い、
図6の例は、それぞれL0およびL1の3つの参照ピクチャ各々が既にLCにあるかどうかを交互に調べ、それまでに存在していない参照ピクチャを全てLCに追加することによって結合リストLCを形成する。その結果、
図6の例では、L0の最初の参照ピクチャ(Ref2)、L1の最初の参照ピクチャ(Ref4)、L0の2番目の参照ピクチャ(Ref1)、L1の2番目の参照ピクチャ(Ref5)を順にLCに追加することにより4つの参照ピクチャを含む結合リストLCを形成する。L0の3番目の参照ピクチャ(Ref4)は、L1の最初の参照ピクチャと同じピクチャであるために既にLCに追加されているので飛ばし、L1の3番目の参照ピクチャ(Ref2)は、L0の最初の参照ピクチャと同じピクチャであるために既にLCに追加されているので飛ばす。
【0025】
図6の各リストL0、L1およびLCにおける参照ピクチャの符号化の順序は、参照ピクチャRef4およびRef5(表示の順序では後になる)が現在のピクチャより前に符号化されるため、表示の順序とは異なることに留意されたい。リストL0とL1を往復することによってLCを構築するこのデフォルトの処理では、LCの各エントリが符号化映像列中で重複しないピクチャを表し、従って冗長性を最小にすることを保証する。
【0026】
このデフォルトの処理は参照ピクチャの並べ替え(即ち、デフォルトのリストサイズと異なるリストサイズにすること、リストのエントリをデフォルトの処理と異なる順序にすること、リスト中で一部エントリを繰り返すこと、および/またはリストから一部のエントリを削除すること等)には対応しないので、HEVC WD5では追加的な構文要素が使用されて(下記の表1参照)、結合リストLCの変更処理に対応する。
図7は結合リスト変更の2つの例を示し、第1の例は並べ替えたLCを示し、第2の例は、エントリが繰り返され、デフォルトのLCサイズ(4エントリ)と異なる変更後のLCサイズ(3エントリ)を有するLCを示す。HEVC WD5では、結合参照ピクチャリストLCは、表1の構文表を使用してシグナリングされる。
【0027】
【0028】
参照ピクチャリスト組合せの意味は以下の通りである。
ref_pic_list_combination_flagが1に等しい場合は、参照ピクチャリスト0と参照ピクチャリスト1が組み合わせられて、単方向予測対象のブロックまたは他の予測単位に使用する追加的な結合参照ピクチャリストを生成することを意味する。このフラグが0に等しいときは、参照ピクチャリスト0と参照ピクチャリスト1が全く同じであり、従って参照ピクチャリスト0を結合参照ピクチャリストとして使用できることを意味する。結合参照ピクチャリストは、表1に定義されるループの開始時に空(empty)に設定される。
num_ref_idx_lc_active_minus1+1は、結合参照ピクチャリスト内で参照ピクチャリスト0または参照ピクチャリスト1から選択される参照ピクチャの数を指定する。
ref_pic_list_modification_flag_lcが1に等しい場合は、結合参照ピクチャリストのエントリと参照ピクチャリスト0および参照ピクチャリスト1のエントリとの対応付けを指定するために構文要素pic_from_list_0_flagとref_idx_list_currが存在することを示す。
ref_pic_list_modification_flag_lcが0に等しい場合は、それらの構文要素が存在しないことを示す。結合参照ピクチャリストは、HEVC WD 5の下位条項8.2.2.4に規定されるように初期化される。
pic_from_list_0_flagは、結合参照ピクチャリストに追加される現在の参照ピクチャが参照ピクチャリスト0のピクチャであるか、参照ピクチャリスト1のピクチャであるかを示す。このフラグが1に等しい場合、参照ピクチャリスト0のピクチャであり、CurrRefPicListは参照ピクチャリスト0になる。このフラグが0に等しい場合は、参照ピクチャリスト1のピクチャであり、CurrRefPicListは参照ピクチャリスト1になる。
ref_idx_list_currは、参照ピクチャリストの結合の末尾に付加すべき、CurrRefPicListにあるピクチャの参照インデックスを示す。
【0029】
参照ピクチャリストL0およびL1には変更を加えることができる。参照ピクチャリストL0およびL1の使用を柔軟にするために、デフォルトの構築処理と変更を加えた構築処理もHEVCでサポートされる。L0およびL1についての現在の参照ピクチャリストの構築および変更処理は、2011年11月の第7回のJCT-VCの会合で提示され(非特許文献6、7)、HEVC WD5に採用された(非特許文献4)。HEVC WD5におけるリスト0およびリスト1の参照ピクチャリスト変更の構文を下記の表2に示し、
図8にフローチャート形式で表す。
【0030】
【0031】
参照ピクチャリスト変更の意味は以下の通りである。
【0032】
構文要素list_modification_idcおよびref_pic_set_idxは、初期の参照ピクチャリストから、スライスの復号に使用される参照ピクチャリストへの変更を指定する。
【0033】
ref_pic_list_modification_flag_l0が1に等しい場合は、参照ピクチャリスト0を指定する構文要素list_modification_idcが存在することを示し、ref_pic_list_modification_flag_l0が0に等しい場合は、その構文要素が存在しないことを示す。ref_pic_list_modification_flag_l0が1に等しいとき、ref_pic_list_modification_fiag_l0の後にlist_modification_idcが3に等しくない回数はnum_ref_idx_l0_active_minus1+1を超えてはならない。
【0034】
ref_pic_list_modification_flag_l1が1に等しい場合は、参照ピクチャリスト1を指定する構文要素list_modification_idcが存在することを示し、ref_pic_list_modification_flag_l1が0に等しい場合はその構文要素が存在しないことを示す。ref_pic_list_modification_flag_l1が1に等しい場合、ref_pic_list_modification_fiag_l1の後にlist_modification_idcが3に等しくない回数はnum_ref_idx_l1_active_minus1+1を超えてはならない。
【0035】
list_modification_idcは、ref_pic_set_idxと共に、どの参照ピクチャを対応付けし直すかを指定する。list_modification_idcの値を表3に指定する。ref_pic_list_modification_flag_l0またはref_pic_list_modification_flag_l1の直後の最初のlist_modification_idcの値は3に等しくあってはならない。
【0036】
【0037】
ref_pic_set_idxは、参照ピクチャリストの現在のインデックスで参照される参照ピクチャのRefPicSetStCurr0、RefPicSetStCurr1、または、RefPicSetLtCurrのインデックスを指定する。ref_pic_set_idxの値は、0以上max_num_ref_frames以下の範囲とする。
【0038】
図8は、一例としてL0を使用して、L0およびL1の参照ピクチャリストを変更する処理のフローチャートを示す。参照ピクチャのセット(RefPicSetStCurr0、RefPicSetStCurr1、およびRefPicSetLtCurr)の定義を含む、L0およびL1の詳細な変更処理は、HEVC WD5(非特許文献4)および非特許文献6、7の作業草案部分で得ることができる。以下に、
図8の参照ピクチャセットを簡略的に定義する。
RefPicSetStCurr0:表示順序が早い、即ち、現在のピクチャよりも前の短期参照ピクチャ(例えば
図6のRef1およびRef2)
RefPicSetStCurr1:表示順序が遅い、即ち、現在のピクチャよりも後の短期参照ピクチャ(例えば
図6のRef4およびRef5)
RefPicSetLtCurr:長期参照ピクチャ(
図6には図示せず)
【0039】
801で、リストL0のインデックスがゼロに初期化される。803で、ref_modification_idcが読み込まれる。ref_modification_idcは、0、1、2および3の4つの値を有することができる。3の値は、それ以上変更が行われず、変更処理を終了してよいことを意味する。(0、1または2の値を有するref_modification_idcでシグナリングされる所期の変更を下記でステップ811、813および815との関係で説明する。)従って、判定ステップ805で、ref_modification_idcが3に設定されている場合は、それ以上構文を読み出さない。3以外の値である場合は、807でref_pic_set_idxが読み込まれる。これは、DPBにある3つのピクチャセット(即ち、復号対象の現在のピクチャより「前」のピクチャのセット、「後」のピクチャセット、または長期のピクチャセット)の1つを指すインデックスである。(下記で説明するように、3つのセットのうち特定の1つの選択がステップ811、813および815で行われる)。判定ステップ809で、ref_modification_idcが0であるか、1であるか、または2であるかが判定される。0の場合は、811で、リストL0への現在のインデックスであるRefIdxL0にあるリストL0のエントリが、DPB内で短期の時間的に前の参照ピクチャのセットの中の位置ref_pic_set_idcにある、表示順序がより早い短期参照ピクチャ(即ち、RefPicSetStCurr0)に設定される。そうではなく、1の場合は、813で、リストL0への現在のインデックスであるRefIdxL0にあるリストL0のエントリが、DPB内で短期で時間的に後の参照ピクチャのセット中の位置ref_pic_set_idcにある、符号化対象の現在のピクチャよりも表示順序が遅い短期参照ピクチャ(即ち、RefPicSetStCurr1)に設定される。最後に2の場合は、815で、リストL0への現在のインデックスであるRefIdxL0にあるリストL0のエントリが、DPB内で長期参照ピクチャのセット中の位置ref_pic_set_idcにある長期参照ピクチャ(即ち、RefPicSetLtCurr)に設定される。
【0040】
3つの場合のいずれでも次いで817に進み、リストL0内で今回変更されたエントリの後にあり、今回変更されたエントリと同じピクチャを参照するエントリが全てL0から削除される。819で、リストL0のインデックスが増分され、803に戻る。この処理はref_modification_idcが3の値になり、それ以上変更が行われないことを示すまで継続する。
【0041】
再度L0を例として使用して、
図9に、(1)短期の時間的に前の参照ピクチャセット、即ち、RefPicSetStCurr0にある参照ピクチャRef2およびRef1(この順序)、および(2)短期で時間的に後の参照ピクチャのセット、即ち、RefPicSetStCurr1にある参照ピクチャRef4およびRef5(この順序)、を保持しているDPBについて
図8のフローチャートで概説した参照ピクチャリスト変更処理の結果を示す。説明を簡潔にするために、かつ一般性を失うことなく、
図9の例は、長期参照ピクチャの使用に関連するRefPicSetLtCurrは考慮せず、RefPicSetStCurr1およびRefPicSetStCurr1で示される短期参照ピクチャの使用のみを考慮する。
【0042】
図9に示すように、デフォルトのリストL0は、参照ピクチャRef2、Ref1、Ref4およびRef5から(この順序で)構成される。
図9の例では、L0の最後のエントリの単純な変更が求められる。
図8の処理では、変更が必要ない最初の3つのエントリを含むL0のエントリごとに1度ステップ803~819をループすることが必要となり、また、エントリごとにref_modification_idcとref_pic_set_idxをシグナリングし、その後さらに、処理が終了したことを、値が3のもう1つのref_modification_idcをさらにシグナリングすることによってシグナリングすることが必要となる。従って、対象の変更リストL0に到達するために5ステップが使用される。最後のステップを除く各ステップで、2つの構文要素(list_modification_idcおよびref_pic_set_idx)がシグナリングされ、追加的な変数RefIdxが維持され、増分される。
【0043】
さらに、LCの参照ピクチャリスト変更の処理(上記表1)とL0/L1の変更処理(上記表2および3)を比較すると、HEVC WD5におけるLCの変更処理はL0およびL1とは異なることに留意されたい。詳細には、LCの変更処理の方が単純である。これは、その特定のリスト中のエントリごとに2つの構文要素(list_modification_idcおよびref_pic_set_idx)をシグナリングするのではなく、変更後のLCの各エントリが明示的にシグナリングされるためである。
【0044】
これらのリスト変更処理を統合し、必要なシグナリングが低減されたより単純なL0およびL1のための変更処理を提供する方法が本明細書に記載される。
【0045】
一実施形態では、参照ピクチャリストを結合する処理の効率を改善する方法が提供される。表4は、本発明の一実施形態による結合参照ピクチャリストを形成するための疑似コードを示す。表1(結合リストLCを形成するHEVC WD5の方法の疑似コード)からの変更をアスタリスクで示す。
【0046】
【0047】
構文ref_idx_list_currは、L0(pic_from_list_0_flagが1の場合)、またはL1(pic_from_list_1_flagが0の場合)が2つ以上のエントリを含んでいるときにのみシグナリングされることに留意されたい。これは、対応するリスト(L0またはL1)が1つしかエントリを含まない場合は何も送られる必要がないためである。従って、シグナリングの量が低減される。
【0048】
また、ue(v)を使用する代わりに、te(v)が、ref_idx_list_currをシグナリングするより効率的な手段になる。これは、エントロピー符号化方法te(v)(H.264(非特許文献1)の下位条項9.1)は、ref_idxのような構文要素を符号化するために特に設計されたものであるためである。Ue(v)(指数ゴロム符号として知られる)は、3ビットを使用して値1を送ることができる。一方、te(v)を使用して、はじめにref_idx_list_currにある可能性のある値の数を判定し(L0およびL1を調べることにより)、2つの値しかない場合は、1ビットを使用して構文要素が送られることができる。3つ以上の値がある場合はue(v)を使用することができる。
【0049】
即ち、構文要素がte(v)と符号化される場合は、構文要素の取り得る値の範囲をまず判定する。構文要素について取り得る値の範囲が0~1である場合は、1ビットのみを使用して構文要素を符号化し、それによりシグナリングのオーバーヘッドを節減する。そうでなく、構文要素の範囲が0~xの間である場合(x>1)は、ue(v)を使用して構文要素を符号化する。
【0050】
このように、本システムは、ref_idx_list_currの取り得る値に基づいて判定を行う。構文要素ref_idx_list_currの取り得る値が1つのみの場合は、何も送信されない。これは、他の値に基づいてエンコーダとデコーダの双方でその値を判断できるためである。構文要素ref_idx_list_currの取り得る値が2つある場合は、1ビットが送信される。そうでなく、構文要素ref_idx_list_currの取り得る値が3つ以上ある場合は、ue(v)を使用してref_idx_list_currを符号化する。
【0051】
従って、HEVC WD5と比べてシグナリングオーバーヘッドの節減が実現される。
【0052】
さらに他の実施形態では、L0およびL1を変更するために使用できる、単一の統一された参照ピクチャリスト変更処理が開示される。この実施形態によると、L0およびL1の参照ピクチャリスト変更処理では、表5に示す構文を使用する。表2の疑似コード(即ち、HEVC WD5におけるリスト0およびリスト1の参照ピクチャリスト変更構文)と比較した変更をアスタリスクで示す。
【0053】
【0054】
参照ピクチャリスト変更の意味は以下の通りである。
構文要素ref_pic_set_idxを使用して、初期の参照ピクチャリストから変更後の参照ピクチャリストへの変更を指定する。
ref_pic_list_modification_flag_l0が1に等しいときは、参照ピクチャリスト0を指定するために構文要素ref_pic_set_idxが存在することを示す。
ref_pic_list_modification_flag_l0が0に等しいときは、この構文要素が存在しないことを示す。
ref_pic_list_modification_flag_l1が1に等しいときは、参照ピクチャリスト1を指定する構文要素ref_pic_set_idxが存在することを示す。
ref_pic_list_modification_flag_l1が0に等しいときは、この構文要素が存在しないことを示す。
【0055】
ref_pic_set_idxは、RefPicSetCurrTempListXのピクチャのインデックスを参照ピクチャリストLXの現在の位置に配置することを指定する(Xは、リストL0に関連する場合は0、リストL1に関連する場合は1になる)。構文ref_pic_set_idxは、リストLX内で0以上max_num_ref_frames-1以下の範囲でなければならない。構文要素ref_pic_set_idxが存在しない場合は、0に設定される。
【0056】
この新たな処理は、事例によっては(実際には恐らくは大半の事例で)シグナリングを大幅に減らす。簡単に述べると、表2の構文や
図8のフローチャートのようにリストのエントリごとに行う変更の種類および使用する参照ピクチャのDPBのインデックスをシグナリングする代わりに、本発明の処理は、DPBへのインデックスのみをシグナリングし、リスト変更処理の終了を表す追加的な信号を必要としない。
【0057】
上記の表5に開示する処理では、L0および/またはL1各々の参照ピクチャの中間リストRefPicSetCurrTempListXを使用し、Xは、どちらの被変更リストを検討するかに応じて0または1を表す。この方式では、参照ピクチャリストに対して修正された初期化処理が提供される。この初期化処理は、PまたはBスライスのヘッダを復号する際に呼び出される。PまたはBスライスを復号する際には、RefPicSetStCurr0、RefPicSetStCurr1、またはRefPicSetLtCurrに少なくとも1つの参照ピクチャがある可能性がある。
【0058】
以下の手順が行われてRefPicSetCurrTempList0を構築する。
cIdx=0
NumRpsCurrTempList=NumRpsStCurr0+NumRpsStCurr1+NumRpsLtCurr
for(i=0;i<NumRpsStCurr0;cIdx++,i++)
RefPicSetCurrTempList0[cIdx]=RefPicSetStCurr0[i]
for(i=0;i<NumRpsStCurr1;cIdx++,i++)
RefPicSetCurrTempList0[cIdx]=RefPicSetStCurr1[i]
for(i=0;i<NumRpsLtCurr;cIdx++,i++)
RefPicSetCurrTempList0[cIdx]=RefPicSetLtCurr[i]
【0059】
ref_pic_list_modification_flag_l0が0の場合は、デフォルトのリストL0からの変更は行われず、デフォルトのRefPicList0は、RefPicSetCurrTempList0から最初のnum_ref_idx_l0_active_minus1+1個のエントリを順に取り出すことによって構築される。一方、ref_pic_list_modification_flag_l0が1の場合は、RefPicSetCurrTempList0およびnum_ref_idx_l0_active_minus1を入力とし、RefPicList0(L0)を出力として、参照ピクチャリストL0を変更するための表5の処理が呼び出される。
【0060】
簡単に説明すると、上記の疑似コードは、「前」のピクチャ、「後」のピクチャおよび長期ピクチャの数を加算することによりDPB(即ち、NumRpsCurrTempList)中の参照ピクチャの数を求めてから、最初に「前」ピクチャを(現在のピクチャから最も近い時間距離から最も遠い時間距離の順で)、次に「後」ピクチャを(同じく現在のピクチャから最も近い時間距離から最も遠い時間距離の順で)、次に長期参照ピクチャの順で配置する。
【0061】
以下の手順が実施されてRefPicSetCurrTempList1を構築する。
cIdx=0
NumRpsCurrTempList=NumRpsStCurr0+NumRpsStCurr1+NumRpsLtCurr
for(i=0;i<NumRpsStCurr1;cIdx++,i++)
RefPicSetCurrTempList1[cIdx]=RefPicSetCurr1[i]
for(i=0;i<NumRpsStCurr0;cIdx++,i++)
RefPicSetCurrTempList1[cIdx]=RefPicSetCurr0[i]
for(i=0;i<NumRpsLtCurr;cIdx++,i++)
RefPicSetCurrTempList1[cIdx]=RefPicSetLtCurr[i]
【0062】
ref_pic_list_modification_flag_l1が0の場合は、デフォルトのリストL1からの変更は行われず、デフォルトのRefPicList1は、RefPicSetCurrTempList1から最初のnum_ref_idx_l1_active_minus1+1個のエントリを取り出すことによって構築される。一方、ref_pic_list_modification_flag_l1が1の場合は、RefPicSetCurrTempList1およびnum_ref_idx_l1_active_minus1を入力とし、RefPicList1を出力として、参照ピクチャリストL1を変更するための表5の変更処理が呼び出される。
【0063】
簡単に説明すると、上記の疑似コードは、「前」のピクチャ、「後」のピクチャおよび長期ピクチャの数を加算することによりDPB(即ち、NumRpsCurrTempList)の参照ピクチャの数を求めてから、最初に「後」ピクチャを(現在のピクチャから最も近い時間距離から最も遠い時間距離の順で)、次に「前」ピクチャを(同じく現在のピクチャから最も近い時間距離から最も遠い時間距離の順で)、次に長期参照ピクチャの順で配置する。
【0064】
2つのリストRpsCurrTempLXの作成は、参照ピクチャリストL0およびL1に変更が行われない場合でも有益であることに留意されたい。これは、そのような場合、RpsCurrTempLXの最初の数個のエントリが既にそれぞれリストL0およびL1のデフォルトの順序になっているため、参照ピクチャリストL0およびL1は、単にそれらのエントリを取り出すだけで非常に簡単に作成することができるためである。
【0065】
表5に反映される参照ピクチャリストの変更処理は、入力として、上記の参照ピクチャの配列であるRefPicSetCurrTempLXと、参照ピクチャリストのサイズnum_ref_idx_lX_active_minus1を受け付ける(Xは、変更対象のリストに応じて0または1になる)。この処理の出力は、変更された参照ピクチャリストRefPicListXを含んでいる配列である。
【0066】
図10は、例示的なリストL0について表5のリスト変更処理を説明するフローチャートである。この処理は、リストL1に対しても同様である。1001でリストL0のインデックスがゼロに初期化される。1003で、一時リストRefPicSetCurrTempL0が2つ以上のエントリを含んでいるかどうかが判定される。これは、リストが1つしかエントリを含まない場合はref_pic_set_idxのシグナリングが不要となるためである。リストが1つしかエントリを含まない場合は1004に進み、ref_pic_set_idxはシグナリングされず、代わりにデフォルトで0に設定される。そうでない場合は、1005に進み、中間リストRefPicSetCurrTempList0へのインデックス、ref_pic_set_idxが読み込まれる。1007で、変更リストL0の現在のインデックスにあるエントリが、RefPicSetCurrTempList0リスト内のシグナリングされたインデックス位置ref_pic_set_idxにある値に設定される。次いで、変更されたリストL0のインデックスが増分される(1009)。1011で、L0の最後に達したかどうかが判定される。最後まで達していない場合は1003に戻る。最後まで達した場合は処理が終了する。
【0067】
上記のように、リストの変更が要求されない場合は、
図10の処理は行われず、単にRefPicSetCurrTempListXの最初のnum_ref_idx_lx_active_minus1+1個のエントリが対応するリストLXになる。
【0068】
図11は、提案される本発明の参照ピクチャリスト方式がどのように機能するかを
図9と同じ例で示すものである。
図11を
図9と比べると、
図11の変更処理で使用する構文要素の数は
図9の半分であり、即ち、ref_pic_set_idxおよびlist_modification_idcをシグナリングするのではなく、リストL0の各エントリにつきref_pic_set_idxだけがシグナリングされる。さらに、
図10のフローチャートで説明する処理は、リスト中の各エントリを明示的にシグナリングし、
図8の複雑な処理を必要としない点で、
図8のフローチャートの処理よりも単純である。
【0069】
本明細書に記載されるシステムおよび方法は、有線および無線両方のネットワークを介した映像ストリームの通信に適する。有線ネットワークはよく知られる。各種無線デバイスおよびインフラストラクチャの概要を
図12A~12Bとの関連で提供し、ネットワークの各種要素が本明細書に記載のシステムおよび方法を利用することができる。より具体的には、ベーストランシーバ局(BTS)、Node-B、eNodeB、Home NodeB、Home eNodeB、サイトコントローラ、アクセスポイント(AP)、無線ルータ、メディア認識ネットワークエレメント(MANE)などの基地局、並びに無線送受信ユニット(WTRU)が、符号化された映像データをあるエンティティから別のエンティティに伝達するために上記のシグナリングを生成および/または処理することができる。
【0070】
図12Aは、1または複数の開示される実施形態が実施されうる例示的通信システム100の図である。通信システム100は、音声、データ、映像、メッセージング、放送等のコンテンツを複数の無線ユーザに提供する多重接続システムとすることができる。通信システム100は、複数の無線ユーザが、無線帯域等のシステムリソースの共有を通じてそのようなコンテンツにアクセスできるようにすることができる。例えば、通信システム100は、符号分割多重接続(CDMA)、時分割多重接続(TDMA)、周波数分割多重接続(FDMA)、直交FDMA(OFDMA)、単一キャリアFDMA(SC-FDMA)等の1または複数のチャネルアクセス方法を用いることができる。
【0071】
図12Aに示すように、通信システム100は、無線送信/受信ユニット(WTRU)102a、102b、102cおよび/または102d、無線アクセスネットワーク(RAN)104、コアネットワーク106、公衆交換電話網(PSTN)108、インターネット110および他のネットワーク112を含むが、開示される実施形態は、任意数のWTRU、基地局、ネットワークおよび/またはネットワーク要素を企図することが理解されよう。各WTRU102a、102b、102c、102dは、無線環境で動作および/または通信するように構成された任意種類の装置とすることができる。例えば、WTRU102a、102b、102c、102dは、無線信号を送信および/または受信するように構成され、ユーザ機器(UE)、移動局、固定型または移動型の加入者ユニット、ページャ、携帯電話、携帯情報端末(PDA)、スマートフォン、ラップトップ、ネットブック、パーソナルコンピュータ、無線センサ、消費者家電等を含むことができる。
【0072】
通信システム100は、基地局114aおよび基地局114bも含むことができる。各基地局114a、114bは、WTRU102a、102b、102c、102dの少なくとも1つと無線でインタフェースをとって、コアネットワーク106、インターネット110および/またはネットワーク112等の1または複数の通信ネットワークへのアクセスを助けるように構成された任意種類の装置とすることができる。例えば、基地局114a、114bは、ベーストランシーバ局(BTS)、NodeB、eNodeB、ホームNodeB、ホームeNodeB、サイトコントローラ、アクセスポイント(AP)、無線ルータ等である。図では基地局114a、114bはそれぞれ1つの要素として示すが、基地局114a、114bは、任意数の相互接続された基地局および/またはネットワーク要素を含むことが可能であることが理解されよう。
【0073】
基地局114aはRAN104の一部とすることができ、RAN104も、他の基地局、および/または基地局コントローラ(BSC)、無線ネットワークコントローラ(RNC)、中継ノード等のネットワーク要素(図示せず)を含むことができる。基地局114aおよび/または基地局114bは、セル(図示せず)とも呼ばれる特定の地理的領域内で無線信号を送信および/または受信するように構成されることができる。セルはさらにセルセクタに分割されることができる。例えば、基地局114aに関連付けられたセルが3つのセクタに分割される。従って、一実施形態では、基地局114aは、3つのトランシーバ(Transceiver:送受信機)、即ち、セルのセクタごとに1つのトランシーバを含むことができる。別の実施形態では、基地局114aは多入力多出力(MIMO)技術を用い、セルのセクタごとに複数のトランシーバを利用することができる。
【0074】
基地局114a、114bは、エアインタフェース116を介してWTRU102a、102b、102c、102dの1または複数と通信することができ、エアインタフェースは、任意の適切な無線通信リンク(例えば、無線周波(RF)、マイクロ波、赤外線(IR)、紫外線(UV)、可視光等)とすることができる。エアインタフェース116は、任意の適切な無線アクセス技術(RAT)を使用して確立されることができる。
【0075】
より具体的には、上記のように、通信システム100は多重接続システムとすることができ、CDMA、TDMA、FDMA、OFDMA、SC-FDMA等の1または複数のチャネルアクセス方式を用いることができる。例えば、RAN104内の基地局114aおよびWTRU102a、102b、102cは、総合移動遠隔通信システム(UMTS)地上無線アクセス(UTRA)等の無線技術を実装することができ、その場合、広帯域CDMA(WCDMA(登録商標))を使用してエアインタフェース116を確立することができる。WCDMAは、高速パケットアクセス(HSPA)および/または発展型HSPA(HSPA+)等の通信プロトコルを含むことができる。HSPAは、高速ダウンリンクパケットアクセス(HSDPA)および/または高速アップリンクパケットアクセス(HSUPA)を含むことができる。
【0076】
別の実施形態では、基地局114aおよびWTRU102a、102b、102cは、発展型UMTS地上無線アクセス(E-UTRA)等の無線技術を実装することができ、その場合はLTEおよび/またはLTE-Advanced(LTE-A)を使用してエアインタフェース116を確立することができる。
【0077】
他の実施形態では、基地局114aおよびWTRU102a、102b、102cは、IEEE802.16(即ち、WiMAX)、CDMA2000、CDMA2000 1X、CDMA2000EV-DO、暫定標準2000(IS-2000)、暫定標準95(IS-95)、暫定標準856(IS-856)、GSM(登録商標)(Global System for Mobile Communications)、EDGE(Enhanced Data rates for GSM Evolution)、GSM EDGE(GERAN)等の無線技術を実装することができる。
【0078】
図12Aの基地局114bは、例えば、無線ルータ、ホームNodeB、ホームeNodeBまたはアクセスポイント等であり、職場、住宅、乗り物、施設構内等の限定された領域内で無線接続を容易にする適当なRATを利用することができる。一実施形態では、基地局114bおよびWTRU102c、102dは、IEEE802.11等の無線技術を実装して、無線ローカルエリアネットワーク(WLAN)を確立することができる。別の実施形態では、基地局114bおよびWTRU102c、102dはIEEE802.15等の無線技術を実装して、無線パーソナルエリアネットワーク(WPAN)を確立することができる。さらに別の実施形態では、基地局114bおよびWTRU102c、102dは、セルラー方式のRAT(例えば、WCDMA、CDMA2000、GSM、LTE、LTE-A等)を利用してピコセルまたはフェムトセルを確立することができる。
図12Aに示すように、基地局114bはインターネット110への直接の接続を有することができる。従って、基地局114bは、コアネットワーク106を介してインターネット110にアクセスする必要がない場合もある。
【0079】
RAN104は、コアネットワーク106と通信状態にあり、コアネットワークは、音声、データ、アプリケーションおよび/またはインターネットプロトコルによる音声伝送(VoIP)サービスをWTRU102a、102b、102c、102dの1または複数に提供するように構成された任意種類のネットワークとすることができる。例えば、コアネットワーク106は、呼制御、課金サービス、モバイル位置情報サービス、プリペイド通話、インターネット接続、映像配信等を提供し、かつ/またはユーザ認証等の高レベルのセキュリティ機能を行うことができる。
図12Aには示さないが、RAN104および/またはコアネットワーク106は、RAN104と同じRATまたは異なるRATを用いる他のRANと直接または間接的に通信することが理解されよう。例えば、E-UTRA無線技術を利用するRAN104に接続されるのに加えて、コアネットワーク106は、GSM無線技術を用いる別のRAN(図示せず)とも通信状態にあることができる。
【0080】
コアネットワーク106は、WTRU102a、102b、102c、102dがPSTN108、インターネット110および/または他のネットワーク112にアクセスするためのゲートウェイの役割も果たすことができる。PSTN108は、従来型の電話サービス(POTS)を提供する回線交換電話網を含むことができる。インターネット110は、TCP/IPインターネットプロトコルスイートのTCP、UDPおよびIP等の共通の通信プロトコルを使用する、相互接続されたコンピュータネットワークおよび装置からなる世界規模のシステムを含むことができる。ネットワーク112は、他のサービス提供者に所有および/または運営される有線または無線の通信ネットワークを含むことができる。例えば、ネットワーク112は、RAN104と同じRATまたは異なるRATを用いる1または複数のRANに接続された別のコアネットワークを含むことができる。
【0081】
通信システム100内のWTRU102a、102b、102c、102dの一部または全ては、マルチモード能力を備えることができる。即ち、WTRU102a、102b、102c、102dは、種々の無線リンクを通じて種々の無線ネットワークと通信するための複数のトランシーバを含むことができる。例えば、
図12Aに示すWTRU102cは、セルラー方式の無線技術を用いる基地局114a、およびIEEE802無線技術を用いる基地局114bと通信するように構成されることができる。
【0082】
図12Bは、例示的なWTRU102のシステム図である。
図12Bに示すように、WTRU102は、プロセッサ118、トランシーバ120、送信/受信要素122、スピーカ/マイクロフォン124、キーパッド126、ディスプレイ/タッチパッド128、非リムーバブルメモリ130、リムーバブルメモリ132、電源134、GPSチップセット136および他の周辺機能138を備えることができる。WTRU102は、実施形態との整合性を保ちながら、上述の要素のサブコンビネーションを含むことが可能であることが理解されよう。
【0083】
プロセッサ118は、汎用プロセッサ、特殊目的プロセッサ、従来のプロセッサ、デジタル信号プロセッサ(DSP)、複数のマイクロプロセッサ、DSPコアと関連した1または複数のマイクロプロセッサ、コントローラ、マイクロコントローラ、ASIC、FPGA回路、任意の他の種類の集積回路(IC)、状態機械等である。プロセッサ118は、信号の符号化、データ処理、電力制御、入出力処理、および/またはWTRU102が無線環境で動作することを可能にする他の機能を行うことができる。プロセッサ118はトランシーバ(送受信機)120に結合され、トランシーバ(送受信機)120は送信/受信要素122に結合されることができる。
図12Bではプロセッサ118とトランシーバ120を別個の構成要素として示すが、プロセッサ118とトランシーバ(送受信機)120は電子パッケージやチップに共に一体化されてもよいことが理解されよう。
【0084】
送信/受信要素122は、エアインタフェース116を通じて基地局(例えば基地局114a)との間で信号を送信または受信するように構成されることができる。例えば、一実施形態では、送信/受信要素122は、RF信号を送信および/または受信するように構成されたアンテナとすることができる。別の実施形態では、送信/受信要素122は、例えばIR、UV、または可視光信号を送信および/または受信するように構成されたエミッタ/検出器である。さらに別の実施形態では、送信/受信要素122は、RF信号と光信号の両方を送受信するように構成されることができる。送信/受信要素122は、各種無線信号の任意の組合せを送信および/または受信するように構成されてよいことが理解されよう。
【0085】
また、
図12Bでは送信/受信要素122を1つの要素として示すが、WTRU102は任意数の送信/受信要素122を含むことができる。より具体的には、WTRU102はMIMO技術を用いることができる。そのため、一実施形態では、WTRU102は、エアインタフェース116を通じて無線信号を送受信するために2つ以上の送信/受信要素122(例えば複数のアンテナ)を含むことができる。
【0086】
トランシーバ120は、送信/受信要素122から送信しようとする信号を変調し、送信/受信要素122に受信された信号を復調するように構成されることができる。上記のように、WTRU102はマルチモード能力を有することができる。そのため、トランシーバ120は、WTRU102が例えばUTRAやIEEE802.11等の複数種類のRATを介して通信することを可能にする複数のトランシーバを含むことができる。
【0087】
WTRU102のプロセッサ118は、スピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128(例えば液晶ディスプレイ(LCD)表示装置や有機発光ダイオード(OLED)表示装置)に結合され、それらからユーザ入力データを受け取ることができる。プロセッサ118はまた、スピーカ/マイクロフォン124、キーパッド126、および/またはディスプレイ/タッチパッド128にユーザデータを出力することができる。また、プロセッサ118は、非リムーバブルメモリ130および/またはリムーバブルメモリ132等の任意種類の適切なメモリの情報にアクセスし、データを記憶することができる。非リムーバブルメモリ130は、RAM、ROM、ハードディスク、または他の任意種類のメモリ記憶装置を含むことができる。リムーバブルメモリ132は、加入者識別モジュール(SIM)カード、メモリスティック、セキュアデジタル(SD)メモリカード等を含むことができる。他の実施形態では、プロセッサ118は、サーバや家庭コンピュータ(図示せず)等、物理的にWTRU102にないメモリの情報にアクセスし、データを記憶することができる。
【0088】
プロセッサ118は、電源134から電力を受け取り、その電力をWTRU102中の他の構成要素に分配および/または制御するように構成されることができる。電源134は、WTRU102に電力を供給するのに適した任意の装置でよい。例えば、電源134は、1または複数の乾電池(例えばニッケルカドミウム(NiCd)、ニッケル亜鉛(NiZn)、ニッケル水素(NiMH)、リチウムイオン(Li-ion)等)、太陽電池、燃料電池等を含むことができる。
【0089】
プロセッサ118はGPSチップセット136にも結合され、GPSチップセット136は、WTRU102の現在の位置に関する位置情報(例えば経度および緯度)を提供するように構成されることができる。GPSチップセット136からの情報に加えて、またはその代わりに、WTRU102は、基地局(例えば基地局114a、114b)からエアインタフェース116を介して位置情報を受信する、かつ/または、2つ以上の近隣の基地局から信号が受信されるタイミングに基づいて自身の位置を判定することができる。WTRU102は、実施形態との整合性を保ちながら、任意の適切な位置判定方法で位置情報を取得できることが理解されよう。
【0090】
プロセッサ118はさらに他の周辺機能138に結合され、周辺機能は、追加的な機能、機能性、および/または有線若しくは無線接続を提供する1または複数のソフトウェアおよび/またはハードウェアモジュールを含むことができる。例えば、周辺機能138は、加速度計、電子コンパス、衛星トランシーバ、デジタルカメラ(写真または映像用)、ユニバーサルシリアルバス(USB)ポート、振動装置、テレビトランシーバ、ハンドフリーヘッドセット、Bluetooth(登録商標)モジュール、周波数変調(FM)無線ユニット、デジタル音楽プレーヤ、メディアプレーヤ、ビデオゲームプレーヤモジュール、インターネットブラウザ等を含むことができる。
【0091】
図12Cは、実施形態によるRAN104およびコアネットワーク106のシステム図である。上記のように、RAN104は、UTRA無線技術を用いてエアインタフェース116を介してWTRU102a、102b、102cと通信することができる。RAN104は、コアネットワーク106とも通信状態にあることができる。
図12Cに示すように、RAN104は、NodeB140a、140b、140cを含み、各NodeBは、エアインタフェース116を通じてWTRU102a、102b、102cと通信するために1または複数のトランシーバを備えることができる。NodeB140a、140b、140cは各々、RAN104内の特定のセル(図示せず)に関連付けることができる。RAN104はRNC142a、142bも含むことができる。RAN104は実施形態との整合性を保ちながら、任意数のNodeBおよびRNCを含むことが可能であることが理解されよう。
【0092】
図12Cに示すように、NodeB140a、140bはRNC142aと通信状態にある。また、NodeB140cはRNC142bと通信状態にあることができる。NodeB140a、140b、140cは、Iubインタフェースを介してそれぞれのRNC142a、142bと通信することができる。RNC142a、142bは、Iurインタフェースを介して相互と通信することができる。各RNC142a、142bは、それぞれが接続されたNodeB140a、140b、140cを制御するように構成されることができる。また、各RNC142a、142bは、外部ループ電力制御、負荷制御、アドミッション制御、パケットスケジューリング、ハンドオーバー制御、マクロダイバーシティ、セキュリティ機能、データの暗号化等の他の機能を実行または支援するように構成されることができる。
【0093】
図12Cに示すコアネットワーク106は、メディアゲートウェイ(MGW)144、モバイル交換センター(MSC)146、サービングGPRSサポートノード(SGSN)148、および/またはゲートウェイGPRSサポートノード(GGSN)150を含むことができる。上記の各要素はコアネットワーク106の一部として図示するが、これらの要素の任意の1つはコアネットワークの運営者以外のエンティティにより所有および/または運営されてもよいことが理解されよう。
【0094】
RAN104内のRNC142aは、IuCSインタフェースを介してコアネットワーク106内のMSC146に接続されることができる。MSC146はMGW144に接続されることができる。MSC146およびMGW144は、WTRU102a、102b、102cに、PSTN108等の回線交換ネットワークへのアクセスを提供して、WTRU102a、102b、102cと従来の地上回線通信機器との間の通信を容易にすることができる。
【0095】
RAN104内のRNC142aは、IuPSインタフェースを介してコアネットワーク106のSGSN148にも接続することができる。SGSN148はGGSN150に接続されることができる。SGSN148およびGGSN150は、WTRU102a、102b、102cに、インターネット110等のパケット交換ネットワークへのアクセスを提供して、WTRU102a、102b、102cとIP対応機器との間の通信を容易にできる。
【0096】
上記のように、コアネットワーク106はネットワーク112にも接続され、ネットワーク112は、他のサービス提供者に所有および/または運営される他の有線または無線のネットワークを含むことができる。
【0097】
図12Dは、別の実施形態によるRAN104およびコアネットワーク106のシステム図である。上記のように、RAN104は、E-UTRA無線技術を用いて、エアインタフェース116を通じてWTRU102a、102b、102cと通信することができる。RAN104はコアネットワーク106とも通信状態にあることができる。
【0098】
RAN104はeNodeB160a、160b、160cを含むが、RAN104は実施形態との整合性を保ちながら任意数のeNodeBを含むことが可能であることが理解されよう。eNodeB160a、160b、160cはそれぞれ、エアインタフェース116を通じてWTRU102a、102b、102cと通信するための1または複数のトランシーバを含むことができる。一実施形態では、eNodeB160a、160b、160cはMIMO技術を実装することができる。従って、例えばeNodeB160aは、複数のアンテナを使用してWTRU102aとの間で無線信号を送受信することができる。
【0099】
各eNodeB160a、160b、160cは、特定のセル(図示せず)に関連付けられ、無線リソース管理に関する決定、ハンドオーバーの決定、アップリンクおよび/またはダウンリンクのユーザのスケジューリング等を処理するように構成することができる。
図12Dに示すように、eNodeB160a、160b、160cはX2インタフェースを通じて相互と通信することができる。
【0100】
図12Dに示すコアネットワーク106は、移動性管理ゲートウェイ(MME)162、サービングゲートウェイ164、およびパケットデータネットワーク(PDN)ゲートウェイ166を含むことができる。図では上述の各要素はコアネットワーク106の一部として示すが、それらの要素のいずれか1つは、コアネットワークの運営者以外のエンティティによって所有および/または運営される場合もあることが理解されよう。
【0101】
MME162は、S1インタフェースを介してRAN104内のeNodeB160a、160b、160c各々に接続され、制御ノードの役割を果たすことができる。例えば、MME162は、WTRU102a、102b、102cのユーザの認証、ベアラのアクティブ化/非アクティブ化、WTRU102a、102b、102cの初回のアタッチ時の特定サービングゲートウェイの選択等を担う。MME162は、RAN104と、GSMやWCDMA等の他の無線技術を用いる他のRAN(図示せず)とを切替えるための制御プレーン機能も提供することができる。
【0102】
サービングゲートウェイ164は、S1インタフェースを介してRAN104内の各eNodeB160a、160b、160cに接続されることができる。サービングゲートウェイ164は、一般に、WTRU102a、102b、102cとの間でユーザデータパケットを送信および転送することができる。サービングゲートウェイ164は、他の機能、例えば、eNodeB間のハンドオーバー時にユーザプレーンを固定する、WTRU102a、102b、102cに入手可能なダウンリンクデータがあるときにページングをトリガする、WTRU102a、102b、102cのコンテクストを管理および記憶する等も行うことができる。
【0103】
サービングゲートウェイ164はPDNゲートウェイ166にも接続されて、WTRU102a、102b、102cとIP対応装置間の通信を容易にする。PDNゲートウェイ166は、WTRU102a、102b、102cにインターネット110等のパケット交換ネットワークへのアクセスを提供することができる。
【0104】
コアネットワーク106は、他のネットワークとの通信を容易にすることができる。例えば、コアネットワーク106は、PSTN108等の回線交換ネットワークへのアクセスをWTRU102a、102b、102cに提供して、WTRU102a、102b、102cと従来の陸線通信機器との間の通信を容易にすることができる。例えば、コアネットワーク106は、コアネットワーク106とPSTN108間のインタフェースとして機能するIPゲートウェイ(例えばIPマルチメディアサブシステム(IMS)サーバ)を含むか、またはそれと通信することができる。また、コアネットワーク106は、WTRU102a、102b、102cにネットワーク112へのアクセスを提供することができ、ネットワーク112は、他のサービス提供者に所有および/または運営される他の有線または無線ネットワークを含むことができる。
【0105】
図12Eは、別の実施形態によるRAN104およびコアネットワーク106のシステム図である。RAN104は、IEEE802.16無線技術を使用してエアインタフェース116を通じてWTRU102a、102b、102cと通信するアクセスサービスネットワーク(ASN)とすることができる。下記でさらに述べるように、WTRU102a、102b、102c、RAN104、およびコアネットワーク106の異なる機能エンティティ間の通信リンクが基準点として定義することができる。
【0106】
図12Eに示すように、RAN104は、基地局170a、170b、170cおよびASNゲートウェイ172を含むことができるが、RAN104は、実施形態との整合性を保ちながら任意数の基地局およびASNゲートウェイを含むことが可能であることが理解されよう。基地局170a、170b、170cは各々RAN104内の特定のセル(図示せず)に関連付けられ、各々エアインタフェース116を通じてWTRU102a、102b、102cと通信するための1または複数のトランシーバを含むことができる。一実施形態では、基地局170a、170b、170cはMIMO技術を実装することができる。そのため、例えば基地局170aは、複数のアンテナを使用して、WTRU102aとの間で無線信号を送受信することができる。基地局170a、170b、170cは、ハンドオフのトリガ、トンネルの確立、無線リソース管理、トラフィックの分類、サービス品質(QoS)ポリシーの施行等の移動性管理機能も提供することができる。ASNゲートウェイ172はトラフィック集約点として機能し、ページング、加入者プロファイルのキャッシング、コアネットワーク106へのルーティング等を担うことができる。
【0107】
WTRU102a、102b、102cとRAN104との間のエアインタフェース116は、IEEE802.16仕様を実装するR1基準点として定義することができる。また、WTRU102a、102b、102cはそれぞれ、コアネットワーク106との間に論理インタフェース(図示せず)を確立することができる。WTRU102a、102b、102cとコアネットワーク106との間の論理インタフェースは、認証、権限付与、IPホスト設定管理、および/または移動性管理に使用されるR2基準点として定義することができる。
【0108】
各基地局170a、170b、170c間の通信リンクは、基地局間のWTRUのハンドオーバーおよびデータ転送を容易にするプロトコルを含むR8基準点として定義することができる。基地局170a、170b、170cとASNゲートウェイ172間の通信リンクは、R6基準点として定義することができる。R6基準点は、各WTRU102a、102b、102cに関連する移動事象に基づく移動性管理を容易にするプロトコルを含むことができる。
【0109】
図12Eに示すように、RAN104はコアネットワーク106に接続される。RAN104とコアネットワーク106間の通信リンクは、例えばデータ転送機能および移動性管理機能を容易にするプロトコルを含むR3基準点として定義することができる。コアネットワーク106は、モバイルIPホームエージェント(MIP-HA)174、認証、権限付与、課金(AAA)サーバ176、およびゲートウェイ178を含むことができる。上述の各要素はコアネットワーク106の一部として図示するが、これらの要素のいずれか1つはコアネットワークの運営者以外のエンティティにより所有および/または運営される場合もあることが理解されよう。
【0110】
MIP-HA174は、IPアドレス管理を担い、WTRU102a、102b、102cが異なるASN間および/または異なるコアネットワーク間を移動できるようにする。MIP-HA174は、WTRU102a、102b、102cに、インターネット110等のパケット交換ネットワークへのアクセスを提供して、WTRU102a、102b、102cと、IP対応装置との間の通信を容易にすることができる。AAAサーバ176は、ユーザ認証およびユーザサービスの支援を担うことができる。ゲートウェイ178は、他のネットワークとの相互動作を容易にすることができる。例えば、ゲートウェイ178は、WTRU102a、102b、102cに、PSTN108等の回線交換ネットワークへのアクセスを提供して、WTRU102a、102b、102cと、従来の陸線通信機器との間の通信を容易にすることができる。また、ゲートウェイ178は、WTRU102a、102b、102cに、他のサービス提供者によって所有および/または運営される他の有線または無線ネットワークを含むネットワーク112へのアクセスを提供することができる。
【0111】
図12Eには示さないが、RAN104は他のASNに接続され、コアネットワーク106は他のコアネットワークに接続されることが可能であることが理解されよう。RAN104と他のASNとの間の通信リンクはR4基準点として定義され、RAN104と他のASN間のWTRU102a、102b、102cの移動性を司るプロトコルを含むことができる。コアネットワーク106と他のコアネットワーク間の通信リンクはR5基準点として定義され、R5基準点は、ホームコアネットワークと一時利用される(visited)コアネットワーク間の相互動作を容易にするプロトコルを含むことができる。
【0112】
実施形態
一実施形態では、映像データ内の予測されたピクチャを復号するための参照ピクチャリストL0およびL1を生成する方法が実施され、この方法は、復号ピクチャバッファ(DPB)から参照ピクチャの第1の順序付けリストRefPicSetCurrTempList0を生成するステップであって、リストは、現在のピクチャよりも時間的に前の参照ピクチャがDPBにある場合は、それらの参照ピクチャが現在のピクチャからの時間的距離に従って順に列記され、次いで現在のピクチャよりも時間的に後の参照ピクチャがDPBにある場合はそれらの参照ピクチャが現在のピクチャからの時間的距離に従って順に列記され、次いで長期参照ピクチャがDPBにある場合はそれらの参照ピクチャがDPBに格納されている順序で列記されるように順序付けられる、ステップと、DPBから参照ピクチャの第2の順序付けリストRefPicSetCurrTempList1を生成するステップであって、リストは、DPBに現在のピクチャよりも時間的に後の参照ピクチャがある場合はそれらの参照ピクチャが現在のピクチャからの時間的距離に従って最初に順に列記され、次いで現在のピクチャよりも時間的に後の参照ピクチャがDPBにある場合はそれらの参照ピクチャが現在のピクチャからの時間的距離に従って順に列記され、次いで長期参照ピクチャがDPBにある場合はそれらの参照ピクチャがDPBに格納されている順序で列記されるように順序付けられる、ステップと、RefPicSetCurrTempList0およびRefPicSetCurrTempList1からそれぞれ参照ピクチャを選択することによりリストL0およびL1の少なくとも一方を生成するステップとを含む。
【0113】
本実施形態によると、方法は、リストL0およびL1のどちらかを変更リストとすべきかどうかを判定するステップをさらに含むことができ、リストL0を変更リストとすべき場合は、リストL0を生成するステップは、参照ピクチャリストL0の参照ピクチャごとに、第1の順序付けリストを指す第1のインデックスを受け取り、第1の順序付けリスト内でそのインデックスで特定される参照ピクチャをL0内の対応するエントリに列記するステップを含み、リストL0を変更リストとすべき場合は、リストL1を生成するステップは、参照ピクチャリストL1の参照ピクチャエントリごとに、第2の順序付けリストを指す第2のインデックスを受け取り、第2の順序付けリスト内でそのインデックスで特定される参照ピクチャをL1内の対応するエントリに列記するステップを含む。
【0114】
上記実施形態の1または複数は、リストL0を変更リストとしない場合、リストL0を生成するステップは、第1の指定された数のエントリまでRefPicSetCurrTempList0から順にエントリを取り出すステップを含み、リストL1を変更リストとしない場合、リストL1を生成するステップは、第2の指定された数のエントリまでRefPicSetCurrTempList1から順にエントリを取り出すステップを含むことをさらに含むことができる。
【0115】
上記実施形態の1または複数は、判定するステップは、リストL0に関して構文要素ref_pic_list_modification_flag_l0を読み込み、リストL1に関して構文要素ref_pic_list_modification_flag_l1を読み込むステップを含むことをさらに含むことができる。
【0116】
上記実施形態の1または複数は、第1のインデックスおよび第2のインデックスは、ゼロからDPB内のピクチャ数までの範囲であることをさらに含むことができる。
【0117】
上記実施形態の1または複数は、構文要素ref_pic_set_idxが使用されて第1のインデックスおよび第2のインデックスを指定することをさらに含むことができる。
【0118】
上記実施形態の1または複数は、構文要素ref_pic_list_modification_flag_l1を読み込むステップをさらに含むことができ、ref_pic_list_modification_flag_l1が第1の値に等しい場合は、L1を指定する構文要素ref_pic_set_idxが存在することを示し、ref_pic_list_modification_flag_l1が第2の値に等しい場合は、L1を指定するこの構文要素が存在しないことを示す。
【0119】
上記実施形態の1または複数は、構文要素ref_pic_list_modification_flag_l0を読み込むステップをさらに含むことができ、ref_pic_list_modification_flag_l0が第1の値に等しい場合は、L0を指定する構文要素ref_pic_set_idxが存在することを示し、ref_pic_list_modification_flag_l0が第2の値に等しい場合は、L0を指定するこの構文要素が存在しないことを示す。
【0120】
上記実施形態の1または複数は、構文要素ref_pic_list_modification_flag_l1を読み込むステップをさらに含み、ref_pic_list_modification_flag_l1が第1の値に等しい場合は、L1を指定する構文要素ref_pic_set_idxが存在することを示し、ref_pic_list_modification_flag_l1が第2の値に等しい場合は、L1を指定するこの構文要素が存在しないことを示す。
【0121】
上記実施形態の1または複数は、第1のインデックスが存在しない場合、第1のインデックスはゼロに設定され、第2のインデックスが存在しない場合、第2のインデックスはゼロに設定されることをさらに含むことができる。
【0122】
別の実施形態で、または上記の実施形態のいずれかに関連して、PまたはBスライスヘッダを復号するために参照ピクチャリストのデコーダを初期化することを含む方法は、
cIdx=0
NumRpsCurrTempList=NumRpsStCurr0+NumRpsStCurr1+NumRpsLtCurr
for(i=0;i<NumRpsStCurr0;cIdx++,i++)
RefPicSetCurrTempList0[cIdx]=RefPicSetStCurr0[i]
for(i=0;i<NumRpsStCurr1;cIdx++,i++)
RefPicSetCurrTempList0[cIdx]=RefPicSetStCurr1[i]
for(i=0;i<NumRpsLtCurr;cIdx++,i++)
RefPicSetCurrTempList0[cIdx]=RefPicSetLtCurr[i]
により第1の一時リストRefPicSetCurrTempList0を構築するステップを含みうる。
【0123】
上記実施形態の1または複数は、フラグref_pic_list_modification_flag_l0が0である場合に、RefPicSetCurrTempList0の最初のnum_ref_idx_10_active_minus1+1個のエントリを取り出すことによりリストL0(RefPicList0)を構築するステップをさらに含むことができる。
【0124】
上記実施形態の1または複数は、フラグref_pic_list_modification_flag_l0が1である場合、RefPicSetCurrTempList0およびnum_ref_idx_l0_active_minus1を入力としてピクチャリスト変更処理を呼び出すことによりリストL0を構築するステップをさらに含むことができる。
【0125】
上記実施形態の1または複数は、Bスライスヘッダを復号する場合に、
cIdx=0
NumRpsCurrTempList=NumRpsStCurr0+NumRpsStCurr1+NumRpsLtCurr
for(i=0;i<NumRpsStCurr1;cIdx++,i++)
RefPicSetCurrTempList1[cIdx]=RefPicSetCurr1[i]
for(i=0;i<NumRpsStCurr0;cIdx++,i++)
RefPicSetCurrTempList1[cIdx]=RefPicSetCurr0[i]
for(i=0;i<NumRpsLtCurr;cIdx++,i++)
RefPicSetCurrTempList1[cIdx]=RefPicSetLtCurr[i]
により第2の一時リストRefPicSetCurrTempList1を構築するステップをさらに含みうる。
【0126】
上記実施形態の1または複数は、フラグ(ref_pic_list_modification_flag_l1)が0の場合に、RefPicSetCurrTempList1の最初のnum_ref_idx_ll_active_minus1+1個のエントリを取り出すことによりリストL1(RefPicList1)を構築するステップをさらに含むことができる。
【0127】
上記実施形態の1または複数は、フラグ(ref_pic_list_modification_flag_l1)が1である場合に、RefPicSetCurrTempList1およびnum_ref_idx_ll_active_minus1を入力として参照ピクチャリスト変更処理を呼び出すことによりリストL1(RefPicList1)を構築するステップをさらに含むことができる。
【0128】
上記実施形態の1または複数は、参照ピクチャリスト変更処理を使用してRefPicListXを生成し、Xは対応するリスト0または1を指定し、
refIdxLXを、参照ピクチャリストRefPicListLXを指すインデックスとして設定し、
refIdxLXがnum_ref_idx_lX_active_minus1+1より大きくなるまで
RefPicListX[refIdxLX++]=RefPicSetCurrTempLX[ref_pic_set_idx]
を反復することをさらに含むことができる。
【0129】
別の実施形態で、または上記の実施形態のいずれかに関連して、複数の参照ピクチャリストの変更をシグナリングする方法は、統一されたシグナリング構文を使用して複数の参照ピクチャリストの変更をシグナリングするステップを含むことができる。
【0130】
上記実施形態の1または複数でさらに、複数の参照ピクチャリストは、L0、L1および結合リストLCを含むことができる。
【0131】
上記実施形態の1または複数でさらに、統一されたシグナリング構文は、エントロピー符号化法を使用して参照ピクチャのインデックスを符号化することを含むことができる。
【0132】
上記実施形態の1または複数でさらに、統一されたシグナリング構文は、te(v)を使用して参照ピクチャのインデックスを符号化することを含むことができる。
【0133】
別の実施形態で、または上記の実施形態のいずれかに関連して、方法は、参照ピクチャリスト内のエントリの数を求めるステップと、参照ピクチャリスト内のエントリを特定する値を含むメッセージを生成するステップであって、値は、参照ピクチャリスト内のエントリの数が2つの場合は1ビットで表され、値は、参照ピクチャリスト内のエントリの数が3つ以上の場合は複数ビットで表され、参照ピクチャリスト内のエントリの数が1つの場合は、メッセージは値を省略する、ステップとを含むことができる。
【0134】
上記実施形態の1または複数で、値は、エントリの数が3以上の値であるときue(v)であることができる。
【0135】
上記実施形態の1または複数で、インデックスは、構文要素ref_idx_list_currで指定されることができる。
【0136】
別の実施形態で、または上記の実施形態のいずれかに関連して、第1の参照ピクチャのリストL0および第2の参照ピクチャのリストL1から、Bスライスの復号に使用される参照ピクチャの結合リストLCを作成する方法は、L0が2つ以上のエントリを含んでいるかどうかを判定するステップと、L1が2つ以上のエントリを含んでいるかどうかを判定するステップと、L0またはL1のいずれかが2つ以上のエントリを含んでいる場合、構文要素ref_idx_list_currを使用して、LCに追加すべき、L0およびL1の少なくとも一方のエントリを示すステップと、L0が1つのみのエントリを含んでいる場合、ref_idx_list_currを0に設定するステップと、L1が1つのみのエントリを含んでいる場合、ref_idx_list_currを0に設定するステップと、ref_idx_list_currの値を使用してLCを作成するステップとを含むことができる。
【0137】
上記実施形態の1または複数で、L0が2つ以上のエントリを含んでいるかどうかを判定するステップは、構文要素num_ref_idx_l0_active_minus1がゼロ以上であるかどうかを判定するステップを含み、L1が2つ以上のエントリを含んでいるかどうかを判定するステップは、構文要素num_ref_idx_l1_active_minus1がゼロ以上であるかどうかを判定するステップを含むことができる。
【0138】
結び
上記では特徴および要素について特定の組合せで説明したが、当業者は、各特徴および要素は、単独で、または他の特徴および要素と組み合わせて使用可能なことを理解されよう。本明細書に記載される方法は、コンピュータまたはプロセッサによる実行のためにコンピュータにより読み出し可能な媒体に組み込まれた、コンピュータプログラム、ソフトウェアまたはファームウェアとして実装される。非一時的なコンピュータにより読み出し可能な記憶媒体の例は、これらに限定されないが、ROM、RAM、レジスタ、キャッシュメモリ、半導体メモリ装置、内蔵ハードディスクやリムーバブルディスク等の磁気媒体、光磁気媒体、およびCD-ROMディスクやデジタル多用途ディスク(DVD)等の光学媒体を含む。ソフトウェアと関連したプロセッサが使用されて、WTRU、UE、端末、基地局、RNC、またはホストコンピュータで使用するための無線周波トランシーバを実装することができる。
【0139】
さらに、上記の実施形態では、処理プラットフォーム、コンピューティングシステム、コントローラ、およびプロセッサを内蔵する他の装置が記述される。これらの装置は、少なくとも1つの中央演算処理装置(「CPU」)およびメモリを内蔵することができる。コンピュータプログラミング技術の当業者の慣行に従い、操作または命令の動作内容および記号的表現への参照を各種CPUおよびメモリによって行うことができる。そのような動作および操作または命令は「実行される」、「コンピュータで実行される」、または「CPUで実行される」と表すことができる。
【0140】
当業者は、動作および記号的に表現された操作または命令は、CPUによる電気信号の操作を含むことを理解されよう。電気システムは、結果として電気信号の変換または低下、およびメモリシステム内の記憶位置にデータビットを維持させることができるデータビットを表すことにより、CPUの動作並びに信号の他の処理を再構成する、または他の形で変化させる。データビットが維持される記憶位置は、そのデータビットに対応する、またはそのデータビットを表す、特定の電気、磁気、光学、または有機的な特性を有する物理的な位置である。
【0141】
データビットは、コンピュータによる読み出しが可能な媒体に保持することもでき、そのような媒体は、磁気ディスク、光ディスク、およびCPUにより読み出し可能な他の揮発性(例えば、RAM)または不揮発性(例えば、ROM)大容量記憶システムを含む。コンピュータによる読み出しが可能な媒体は、協働する、または相互に接続されたコンピュータ読み出し可能媒体を含み、そのような媒体は排他的に処理システムに存在するか、または処理システムに対してローカルまたはリモートにある複数の相互接続された処理システムに分散される。例示的な実施形態は上記のメモリに限定されず、他のプラットフォームおよびメモリが記載される方法に対応し得ることが理解される。
【0142】
本出願の記述で使用される要素、動作、または命令はいずれも明示的にその旨を記載しない限り、不可欠または必須と解釈すべきでない。また、本明細書で使用される冠詞「a」は1または複数の項目を含むものとする。1つのみの項目が意図される場合は、用語「1つの(one)」または同様の文言が使用される。さらに、その後に複数の項目の列挙および/または複数の項目の分類が続く用語「~のいずれか」は、本明細書で使用される場合、その項目および/または項目の分類の「いずれか」、「の任意の組合せ」、「のうち任意の複数個」、および/または「のうち任意の複数個の組合せ」を、個々に、または他の項目および/または項目の分類との関連で含むものとする。さらに、本明細書で使用される用語「セット(set)」は、ゼロを含む任意数の項目を含むものとする。さらに、本明細書で使用される用語「数(number)」は、ゼロを含む任意の数を含むものとする。
【0143】
さらに、請求項は、その旨を述べない限り、記載される順序または要素に限定すべきでない。また、請求項における用語「手段」の使用は、米国特許法第112条第6項を援用するものとし、単語「手段」を含まない請求項はいずれもそのような援用を意図しない。
【0144】
本明細書ではシステムおよび方法についてUWB多帯域通信システムに関連して説明したが、マイクロプロセッサ/汎用コンピュータ(図示せず)でソフトウェアとして実施することも可能であることが企図される。特定の実施形態では、各種構成要素の機能のうち1または複数が、汎用コンピュータを制御するソフトウェアとして実装可能である
【産業上の利用可能性】
【0145】
本発明は、デジタル映像符号化に利用することができる。
【符号の説明】
【0146】
100 通信システム
102a、102b、102c、102d 無線送信/受信ユニット
104 RAN
106 コアネットワーク
108 PSTN
110 インターネット
112 他のネットワーク
118 プロセッサ
120 トランシーバ(送受信機)