【文献】
Rickard Sjoberg, Jonatan Samuelsson,Absolute signaling of reference pictures,Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG116th Meeting: Torino, 2011,2011年 7月19日,JCTVC-F493 (version 6)
(58)【調査した分野】(Int.Cl.,DB名)
前記バッファ記述を取得する工程(S1)は、前記現在のピクチャの符号化表現(60)から、参照ピクチャ(40)の第1のリスト及び参照ピクチャ(42)の第2のリストを定義するバッファ記述を取得する工程(S1)を有し、
前記ピクチャ識別子を決定する工程(S3)は、
前記第1のリスト内の第1のリスト順で最初の参照ピクチャを除く参照ピクチャの各々について、前記第1のリスト内の前記第1のリスト順で先行する参照ピクチャのピクチャ識別子と、前記参照ピクチャについてのバッファ記述から取得された、前記第1のリスト内の前記第1のリスト順で先行する参照ピクチャに対する第1の符号付きデルタピクチャ識別子の和に基づいて、前記ピクチャ識別子を算出する工程(S32)と、
前記第2のリスト内の第2のリスト順で最初の参照ピクチャを除く参照ピクチャの各々について、前記第2のリスト内の前記第2のリスト順で先行する参照ピクチャのピクチャ識別子と、前記参照ピクチャについてのバッファ記述から取得された、前記第2のリスト内の前記第2のリスト順で先行する参照ピクチャに対する第2の符号付きデルタピクチャ識別子の和に基づいて、前記ピクチャ識別子を算出する工程(S33)と、を有する
ことを特徴とする請求項1に記載の方法。
前記バッファ記述を取得する工程(S1)は、前記現在のピクチャの符号化表現(60)から、参照ピクチャ(40)の第1のリスト及び参照ピクチャ(42)の第2のリストを定義するバッファ記述を取得する工程(S1)を有し、
前記ピクチャ識別子を決定する工程(S3)は、
前記第1のリスト内の第1のリスト順で最初の参照ピクチャを除く参照ピクチャの各々について、前記第1のリスト内の前記第1のリスト順で先行する参照ピクチャのピクチャ識別子と前記参照ピクチャについてのバッファ記述から取得された、前記第1のリスト内の前記第1のリスト順で先行する参照ピクチャに対する第1の符号なしデルタピクチャ識別子との差に基づいて前記ピクチャ識別子を算出する工程(S32)と、
前記第2のリスト内の第2のリスト順で最初の参照ピクチャを除く参照ピクチャの各々について、前記第2のリスト内の前記第2のリスト順で先行する参照ピクチャのピクチャ識別子と、前記参照ピクチャについてのバッファ記述から取得された、前記第2のリスト内の前記第2のリスト順で先行する参照ピクチャに対する第2の符号なしデルタピクチャ識別子との和に基づいて前記ピクチャ識別子を算出する工程(S33)と、を有する
ことを特徴とする請求項1に記載の方法。
前記ピクチャ識別子を算出する工程(S32)は、前記第1のリスト内の前記第1のリスト順で最初の参照ピクチャを除く参照ピクチャ番号iの各々について、前記ピクチャ識別子POCA(i)をPOCA(i) = POCA(i-1) - absolute_delta_pocA(i)(ここで、POCA(i-1)は前記第1のリスト内の前記第1のリスト順で先行する最も近い参照ピクチャのピクチャ識別子であり、absolute_delta_pocA(i)は前記参照ピクチャについてのバッファ記述から取得された前記第1の符号なしデルタピクチャ識別子である)として算出する工程(S32)を有し、
前記ピクチャ識別子を算出する工程(S33)は、前記第2のリスト内の前記第2のリスト順で最初の参照ピクチャを除く参照ピクチャ番号iの各々について、前記ピクチャ識別子POCB(i)をPOCB(i) = POCB(i-1) + absolute_delta_pocB(i)(ここで、POCB(i-1)は前記第2のリスト内の前記第2のリスト順で先行する最も近い参照ピクチャのピクチャ識別子であり、absolute_delta_pocB(i)は前記参照ピクチャについてのバッファ記述から取得された前記第2の符号なしデルタピクチャ識別子である)として算出する工程(S33)を有する
ことを特徴とする請求項6に記載の方法。
前記現在のピクチャ(10)のピクチャ識別子と前記第1のリスト内の最初の参照ピクチャについてのバッファ記述から取得された、前記現在のピクチャに対する第1のデルタピクチャ識別子との差に基づいて、前記第1のリスト内の最初の参照ピクチャを示すピクチャ識別子を算出する工程(S30)と、
前記現在のピクチャ(10)のピクチャ識別子と、前記第2のリスト内の最初の参照ピクチャについてのバッファ記述から取得された、前記現在のピクチャに対する第2のデルタピクチャ識別子との和に基づいて、前記第2のリスト内の最初の参照ピクチャを示すピクチャ識別子を算出する工程(S31)と、をさらに有する
ことを特徴とする請求項5乃至7のいずれか1項に記載の方法。
前記データ取得器(110)は、前記現在のピクチャの符号化表現(60)から、参照ピクチャ(40)の第1のリスト及び参照ピクチャ(42)の第2のリストを定義するバッファ記述を取得し、
前記ピクチャ識別子決定器(120)は、
前記第1のリスト内の第1のリスト順で最初の参照ピクチャを除く参照ピクチャの各々について、前記第1のリスト内の前記第1のリスト順で先行する参照ピクチャのピクチャ識別子と、前記参照ピクチャについてのバッファ記述から前記データ取得器(110)により取得された、前記第1のリスト内の前記第1のリスト順で先行する参照ピクチャに対する第1の符号付きデルタピクチャ識別子の和に基づいて、前記ピクチャ識別子を算出する第1の識別子算出器(126)と、
前記第2のリスト内の第2のリスト順で最初の参照ピクチャを除く参照ピクチャの各々について、前記第2のリスト内の前記第2のリスト順で先行する参照ピクチャのピクチャ識別子と、前記参照ピクチャについてのバッファ記述から前記データ取得器(110)により取得された、前記第2のリスト内の前記第2のリスト順で先行する参照ピクチャに対する第2の符号付きデルタピクチャ識別子の和に基づいて、前記ピクチャ識別子を算出する第2の識別子算出器(128)と、を有する
ことを特徴とする請求項9に記載の復号器。
前記データ取得器(110)は、前記現在のピクチャの符号化表現(60)から、参照ピクチャ(40)の第1のリスト及び参照ピクチャ(42)の第2のリストを定義するバッファ記述を取得し、
前記ピクチャ識別子決定器(120)は、
前記第1のリスト内の第1のリスト順で最初の参照ピクチャを除く参照ピクチャの各々について、前記第1のリスト内の前記第1のリスト順で先行する参照ピクチャのピクチャ識別子と前記参照ピクチャについてのバッファ記述から前記データ取得器(110)により取得された、前記第1のリスト内の前記第1のリスト順で先行する参照ピクチャに対する第1の符号なしデルタピクチャ識別子との差に基づいて前記ピクチャ識別子を算出する第1の識別子算出器(126)と、
前記第2のリスト内の第2のリスト順で最初の参照ピクチャを除く参照ピクチャの各々について、前記第2のリスト内の前記第2のリスト順で先行する参照ピクチャのピクチャ識別子と、前記参照ピクチャについてのバッファ記述から前記データ取得器(110)により取得された、前記第2のリスト内の前記第2のリスト順で先行する参照ピクチャに対する第2の符号なしデルタピクチャ識別子との和に基づいて前記ピクチャ識別子を算出する第2の識別子算出器(128)と、を有する
ことを特徴とする請求項9に記載の復号器。
前記第1の識別子算出器(126)は、前記第1のリスト内の前記第1のリスト順で最初の参照ピクチャを除く参照ピクチャ番号iの各々について、前記ピクチャ識別子POCA(i)をPOCA(i) = POCA(i-1) - absolute_delta_pocA(i)(ここで、POCA(i-1)は前記第1のリスト内の前記第1のリスト順で先行する最も近い参照ピクチャのピクチャ識別子であり、absolute_delta_pocA(i)は前記参照ピクチャについての前記バッファ記述から取得された前記第1の符号なしデルタピクチャ識別子である)として算出し、
前記第2の識別子算出器(128)は、前記第2のリスト内の前記第2のリスト順で最初の参照ピクチャを除く参照ピクチャ番号iの各々について、前記ピクチャ識別子POCB(i)をPOCB(i) = POCB(i-1) + absolute_delta_pocB(i)(ここで、POCB(i-1)は前記第2のリスト内の前記第2のリスト順で先行する最も近い参照ピクチャのピクチャ識別子であり、absolute_delta_pocB(i)は前記参照ピクチャについてのバッファ記述から取得された前記第2の符号なしデルタピクチャ識別子である)として算出する
ことを特徴とする請求項14に記載の復号器。
前記第1の識別子算出器(126)は、前記現在のピクチャ(10)のピクチャ識別子と前記第1のリスト内の最初の参照ピクチャについてのバッファ記述から前記データ取得器(110)により取得された、前記現在のピクチャに対する第1のデルタピクチャ識別子とに基づいて、前記第1のリスト内の最初の参照ピクチャを示すピクチャ識別子を算出し、
前記第2の識別子算出器(128)は、前記現在のピクチャ(10)のピクチャ識別子と前記第2のリスト内の最初の参照ピクチャについてのバッファ記述から前記データ取得器(110)により取得された、前記現在のピクチャに対する第2のデルタピクチャ識別子とに基づいて、前記第2のリスト内の最初の参照ピクチャを示すピクチャ識別子を算出する
ことを特徴とする請求項13乃至15のいずれか1項に記載の復号器。
【発明を実施するための形態】
【0027】
図中、同一の、あるいは対応する要素に対して同一の参照番号が使用される。
【0028】
本発明の実施形態は、一般的にはビデオストリームの当該技術分野においてフレームとも呼ぶピクチャの符号化及び復号に関する。特に、実施形態は、ビデオの符号化及び復号と関連した参照ピクチャの管理、並びに符号化器から復号器へのこのような参照ピクチャの信号伝送に関する。
【0029】
例えばH.264/MPEG−4 AVC及びHEVCにより示されるビデオ符号化は、現在のピクチャの画素データの符号化及び復号のための予測又は参照として参照ピクチャを利用する。一般的には、これを当技術分野においてインター符号化と呼ぶ。インター符号化において、ピクチャは、このような参照ピクチャに対して符号化及び復号される。符号化ピクチャを復号できるためには、復号器は、現在の符号化ピクチャに対してどの参照ピクチャを使用するかを認識し、且つこれらの参照ピクチャへアクセスできなければならない。一般的には、復号器は、参照ピクチャを格納するために、参照ピクチャバッファとも示される復号ピクチャバッファ(DPB)を使用する。従って、復号ピクチャバッファに格納された参照ピクチャが符号化ピクチャを復号する際に実際に正確な参照ピクチャであることが重要である。そうでない場合、復号器は、復号処理の間に間違った参照ピクチャを使用することになり、その結果、提示されるビデオの品質が低下する。
【0030】
従来技術の手法は、MMCO情報を搬送するピクチャが偶然損失される場合に、背景技術において説明した、正確でない参照ピクチャを使用することに係る問題の影響を受ける可能性がある。従来技術の該問題は、以下のH.264により実現される例により示されうる。復号ピクチャバッファは、ピクチャ識別子300、302及び303を有する3つの短期ピクチャ、並びにピクチャ識別子0及び3を有する2つの長期ピクチャを格納すると仮定する。そして符号化器は、長期ピクチャ0が「参照に使用しない」とマークされるべきことを示すMMCOタイプ2を有する新しい符号化ピクチャを生成してもよい。該符号化ピクチャが復号器において正確に受信されていれば、長期ピクチャ0は参照に使用しないものとしてマーク付けされており、参照ピクチャリストは{300,302,303,3}となっているだろう。しかしながら、MMCOタイプ2コマンドを有する符号化ピクチャが損失される場合、復号器は、長期ピクチャ0が参照に使用しないものとしてマーク付けされるべきであること、及び故に参照ピクチャリストが代わりに{300,302,303,0,3}となることを通知されない。参照ピクチャリストの位置3における参照ピクチャがピクチャにおけるマクロブロックについての予測として使用されるという情報を復号器において受信された次の符号化ピクチャが含む場合、MMCOタイプ2コマンドが損失される場合に問題となる。MMCOタイプ2コマンドが復号器において正確に受信されていた場合、参照ピクチャリストの位置3における参照ピクチャは、該参照ピクチャが参照ピクチャリストの位置3(0から開始する場合)を占有する時に長期ピクチャ3に対応する。しかしながら、MMCOタイプ2コマンドを損失した状態では、参照ピクチャリストの位置3は、代わりに長期ピクチャ0により占有される。これは、長期ピクチャ0からの画素データが長期ピクチャ識別子3からの正確な画素データの代わりに予測基準として使用されることを意味する。
【0031】
従って、従来技術の解決策は、以前に復号ピクチャが正確に受信及び復号されているということに正確な参照ピクチャ管理が依存するという問題がある。
【0032】
本発明の実施形態は、従来技術と比較して根本的に異なる参照ピクチャを信号伝送する方法を使用することにより、従来技術の手法のこれらの問題がなくなる。代わりに、本発明の実施形態は、相対的又は黙示的な方法ではなく、絶対的又は明示的な方法で参照ピクチャに対してどの符号化ピクチャを使用するかを特定する。換言すると、現在のピクチャについての符号化表現、即ちビットストリームは、先行のピクチャの符号化表現に関係なく、参照のためにどんなピクチャを使用するか、即ち参照ピクチャに関する情報を含む。従って、正確な復号ピクチャバッファを維持する論理的な信頼性は、復号器からビットストリームに移ったと言える。その1つの見方は、ピクチャについてのインター予測及び動きベクトル予測のためにどんな参照ピクチャを使用するかに関する情報がピクチャの制御情報に含まれると言うことである。従って、復号ピクチャバッファの状態は、他のピクチャに対して符号化及び復号される全てのピクチャに対して信号伝送される。
【0033】
実施形態によれば、ピクチャは、現在のピクチャを符号化及び復号することを必要とされ、且つ/あるいは復号器におけるピクチャの出力順序に従ってビデオストリームの後続のピクチャを符号化及び復号することを必要とされる参照ピクチャを規定するバッファ記述と関連付けられる。その後、該バッファ記述を規定するバッファ記述情報は、符号化器によりピクチャの符号化表現に含まれるため、現在のピクチャの符号化データと共に復号器に対して使用可能である。
【0034】
実施形態は、ビット効率のよい参照ピクチャを規定するためにバッファ記述を使用する効率的な方法に関する。
【0035】
ピクチャ識別子をバッファ記述において直接信号伝送することは、特に可変長符号化を使用する場合には一般的に効率的でない。それは、ピクチャ識別子が符号化のために多くのビットを必要とする比較的大きい数でありうるからである。また、ビデオストリームにおける現在のピクチャ及び/又は後続のピクチャについての予測基準として使用された参照ピクチャは、一般的には隣接ピクチャである、あるいは少なくともビデオストリームにおける現在のピクチャに近接して存在する。従って、よりビット効率のよい方法は、バッファ記述におけるピクチャ識別子を現在のピクチャのピクチャ識別子についてのデルタピクチャ識別子として規定する方法である。
【0036】
このような方法において、参照ピクチャは、現在のピクチャについてのデルタピクチャ識別子deltaPOCを有するバッファ記述において信号伝送される。その後、参照ピクチャのピクチャ識別子POC(ref)は、POC(ref)=POC(currPic)+deltaPOCとして計算され、式中、POC(currPic)は、現在のピクチャのピクチャ識別子を示す。
【0037】
特定の一実施形態において、同一のピクチャ、即ち同一のdeltaPOCが同一のバッファ記述において2回以上現れなくてもよいように、制限が規定されうる。これにより、バッファ記述は、現在のピクチャに対して信号伝送される各参照ピクチャを明確に且つ明示的に規定できるようになる。しかしながら、これにより、バッファ記述におけるピクチャ識別子の信号伝送が非効率的になる恐れがある。
【0038】
例えば、全ての参照ピクチャが負のデルタピクチャ識別子を有するバッファ記述を仮定する。また、現在のピクチャについてのバッファ記述における最初の参照ピクチャが符号なし可変長符号(UVLC:unsigned variable length code)等の可変長符号を使用して1ビットで符号化されるデルタピクチャ識別子deltaPOC=-1を有すると仮定する。その後、−1のデルタピクチャ識別子は、次の参照ピクチャに対して最短のコードワードとなる。しかしながら、上述の制限をバッファ記述に適用する場合、バッファ記述における該コードワードを有する参照ピクチャが既に存在するため、1ビットで表された−1の値は、次の参照ピクチャに対して禁止される。従って、バッファ記述における第2の参照ピクチャは、UVLCを使用してデルタピクチャ識別子を示すために少なくとも3ビットを使用しなければならない。
【0039】
実施形態は、参照ピクチャを信号伝送するという該制限を解決する。
【0040】
実施形態の一態様は、バッファ記述における参照ピクチャの絶対信号伝送により信号伝送された参照ピクチャの既に復号された識別値を使用して、参照ピクチャの絶対信号伝送により信号伝送された参照ピクチャの識別値を復号する。
【0041】
従って、実施形態は、参照ピクチャがバッファ記述において現れる順序を使用する。従って、バッファ記述における指標iを有する参照ピクチャのピクチャ識別子を復号する際に、バッファ記述において既に復号された参照ピクチャからのピクチャ識別子が使用される。これにより、指標iを有する参照ピクチャについてのピクチャ識別子を信号伝送するビットコストがビットストリームにおいて低下しうる。
【0042】
図2は、複数のピクチャ又はフレームのビデオストリームのピクチャの符号化表現を復号する方法を示すフローチャートである。一般的には方法は、ステップS1から開始し、バッファ記述を識別するバッファ記述情報は、ピクチャの符号化表現から取得される。
【0043】
バッファ記述情報は、ピクチャの符号化表現のいずれかの規定の部分において提供されうるが、一般的にはピクチャの符号化表現における制御情報フィールドにおいて提供される。従って、バッファ記述情報は、ピクチャの符号化表現の制御情報を復号することと関連して、よって好ましくは符号化表現の実際のペイロードデータを復号する前に取得されうる。
【0044】
バッファ記述情報は、適切な位置における制御情報として符号化表現に含まれうる。
図4は、ピクチャの符号化表現60の一例を概略的に示す。符号化表現60は、スライスにおける画素ブロックの符号化画素データを示すビデオペイロードデータ66を含む。符号化表現60は、制御情報を搬送するスライスヘッダ65も含む。スライスヘッダ65は、ビデオペイロード及びネットワーク抽象化層(NAL:Network Abstraction Layer)ヘッダ64と共に、符号化器から出力されるエンティティであるNALユニットを形成する。リアルタイムトランスポートプロトコル(RTP:Real-time Transport Protocol)ヘッダ63、ユーザデータグラムプロトコル(UDP:User Datagram Protocol)ヘッダ62及びインターネットプロトコル(IP:Internet Protocol)ヘッダ61等の更なるヘッダを該NALユニットに追加して、符号化器から復号器に送信可能なデータパケットを形成できる。この形態のNALユニットのパケット化は、ビデオ転送と関連した一例を構成するにすぎない。例えばファイル形式、MPEG−2トランスポートストリーム、MPEG−2プログラムストリーム等のNALユニットを処理する他の方法が可能である。
【0045】
そしてバッファ記述情報は、符号化器及び復号器が準拠する基準により規定されたスライスヘッダ65、別のピクチャヘッダ又は別のデータ構造に含まれうる。
【0046】
ステップS1で取得されたバッファ記述情報は、複数の参照ピクチャを規定する参照ピクチャセット(RPS:Reference Picture Set)とも呼ぶバッファ記述を識別する。従って、バッファ記述は、復号される現在のピクチャについての復号参照として使用される参照ピクチャを規定する。これは、現在のピクチャの画素データが1つ以上の参照ピクチャを参照して復号されることを意味する。あるいは又はさらに、バッファ記述により規定された少なくとも1つの参照ピクチャは、ビデオストリームの後続のピクチャ、即ち現在のピクチャの後に復号されるピクチャについての復号参照として使用可能である。従って、バッファ記述は、復号順序で現在のピクチャに先行し、且つ現在のピクチャ又は復号順序に従って現在のピクチャに後続する本明細書において後続のピクチャと呼ぶいずれかのピクチャについてのインター予測のために使用されてもよい全ての参照ピクチャを規定する。
【0047】
従って、バッファ記述情報は、現在のピクチャと関連付けられた参照ピクチャのセットであるバッファ記述を識別する情報であると考えられうる。バッファ記述情報は、復号順序で現在のピクチャに先行し、且つ現在のピクチャ又は復号順序で現在のピクチャに後続するいずれかのピクチャのインター予測のために使用されてもよい全ての参照ピクチャから構成される。
【0048】
図3は、複数のピクチャ10、40、42、50のビデオストリーム1を示すことで該概念を概略的に示す。現在のピクチャ10は、復号されるツリーブロックとも呼ぶマクロブロック等の画素ブロック30を含む1つ以上のスライス20、22、即ち符号化ユニットを含んでもよい。ピクチャ10、40、42、50の下の矢印は、復号の関係を示す。現在のピクチャ10は、先行の参照ピクチャ40及び後続の参照ピクチャ42に関連して復号される。出力順序に従って現在のピクチャ10に関して、先行の参照ピクチャ40は先行しており、後続の参照ピクチャ42は後続しているが、双方とも復号順序に従って現在のピクチャ10に先行している。該後続の参照ピクチャ42は、復号順序に従ってビデオストリーム1における後続のピクチャ50についての参照ピクチャとしても使用される。
【0049】
オプションであるが好適な
図2の後続のステップS2は、以下においてさらに開示される。
【0050】
次のステップS3は、バッファ記述により規定された参照ピクチャを識別するピクチャ識別子を決定するために、ステップS1で取得されたバッファ記述情報を使用して取得されたバッファ記述を使用する。実施形態によれば、参照ピクチャのピクチャ識別子は、参照ピクチャについてのバッファ記述から取得されたピクチャ識別子情報及びバッファ記述におけるリスト順序に従って参照ピクチャに先行する参照ピクチャについてのバッファ記述から取得されたピクチャ識別子情報に基づいてステップS3で決定される。
【0051】
従って、バッファ記述により規定された所定の参照ピクチャのピクチャ識別子は、バッファ記述により規定された少なくとも1つの先行の参照ピクチャのピクチャ識別子情報に対して決定される。1つ又は複数の該先行の参照ピクチャは、バッファ記述において規定されたリスト順序に従って所定の参照ピクチャに先行する。従って、バッファ記述は、リスト順序で参照ピクチャを一覧表示又は識別する。従って、実施形態は、バッファ記述から取得された所定の参照ピクチャのピクチャ識別子情報だけではなく、いかなる先行の参照ピクチャのピクチャ識別子情報も使用する。
【0052】
特定の一実施形態において、バッファ記述は、参照ピクチャの少なくとも1つのリストを規定する。このようなケースでは、ステップS3は、それぞれの少なくとも1つのリストにおけるリスト順序に従って最初の参照ピクチャを除く少なくとも1つのリストの各参照ピクチャに対して実行されることが好ましい。これは、
図2の線L1により概略的に示される。リスト順序に従って最初の参照ピクチャは、以下においてさらに開示されるステップS2で決定されたピクチャ識別子を有する。従って、バッファ記述がリストにおけるN個の参照ピクチャのリストを規定する場合、ステップS3はN−1回実行されることが好ましい。
【0053】
現在のピクチャのバッファ記述により規定された参照ピクチャのピクチャ識別子がステップS3(及びステップS2)で決定されると、ステップS4に進み、復号ピクチャバッファは、決定されたピクチャ識別子に基づいて復号器において更新される。
【0054】
従って、現在のピクチャのバッファ記述を使用して決定されたピクチャ識別子は、現在のピクチャ及び/又は復号順序に従ってビデオストリームの後続のピクチャを復号するために必要とされる正確な参照ピクチャを格納し且つ含むように復号ピクチャバッファを更新するために使用される。この復号は、当該技術分野において周知であり、一般的にはインター予測及びベクトル復号を使用する。
【0055】
現在のピクチャを復号するために必要とされる正確な参照ピクチャを含むように復号ピクチャバッファが更新されると、ピクチャは、ピクチャの符号化表現と、並びに復号ピクチャバッファに含まれるか、存在するかあるいは格納される参照ピクチャのうちの少なくとも1つとに基づいて復号され、ピクチャの符号化表現に搬送されるバッファ記述情報に基づいて識別される。
【0056】
ステップS4での復号ピクチャバッファの更新は、決定されたピクチャ識別子により識別された参照ピクチャが「参照に使用する」ものとしてマーク付けされる、あるいは「予測に使用する」ものとしてマーク付けされて、該参照ピクチャが現在のピクチャ及び/又はいずれかの後続のピクチャについての復号参照又は予測として使用されることを示すことを意味することが好ましい。好適な一実施形態において、参照ピクチャは、短期参照に使用するもの又は長期参照に使用するものとしてマーク付けされうる。
【0057】
復号ピクチャバッファは、現在のピクチャのバッファ記述により規定されないためにステップS2及びS3で決定されたピクチャ識別子とは異なるピクチャ識別子を有する参照ピクチャを含むことが可能でありうる。一実施形態において、復号ピクチャバッファにおいて使用可能であるがバッファ記述には含まれないピクチャは、「参照に使用されない」もの又は「予測に使用されない」ものとしてマーク付けされる、あるいは復号器により復号ピクチャバッファから除去される。従って、本実施形態において、「参照に使用されない」ものとしてピクチャをマーク付けすること又は参照ピクチャを復号ピクチャバッファから除去することは、復号ピクチャバッファを更新することの一部として、即ち現在のピクチャのビデオペイロードを復号する前に復号器により実行される。
【0058】
更なる実施形態において、復号器により表示するためにバッファ記述に従って復号器により参照に使用しないものとしてマーク付けされるゼロ以上のピクチャが出力される。出力の1つのこのような処理の例は、H.264/MPEG−4 AVCからのバンプ処理である。本明細書において、出力は、表示するために出力することを示す。参照ピクチャとしてどのようなピクチャを使用するか及びどのようなピクチャを出力、即ち表示するかは、H.264及びHEVCにおいて区別される。これは、ピクチャが参照ピクチャとして除去される、即ち参照に使用しないものとしてマーク付けされる前に出力されうること、又はピクチャが出力される前にピクチャを参照に使用しないものとしてマーク付けすることで参照フレームとして除去されうることを意味する。
【0059】
ステップS3と関連して上述したように、参照ピクチャのピクチャ識別子は、適切な参照ピクチャについてのバッファ記述から取得されたピクチャ識別子情報に基づいて、更にはバッファ記述におけるリスト順序に従って適切な参照ピクチャに先行するいずれかの参照ピクチャについてのピクチャ識別子情報に基づいて決定される。
【0060】
ピクチャの符号化表現からステップS1で取得されたバッファ記述から識別されたバッファ記述により規定された参照ピクチャは、当然、バッファ記述におけるリスト順序に従って最初の参照ピクチャに先行するいかなる参照ピクチャも含まない。
【0061】
図2のステップS2は、バッファ記述情報に基づいて該最初の参照ピクチャのピクチャ識別子を決定する方法の一実施形態を規定する。ステップS2は、最初の参照ピクチャについてのバッファ記述から取得されたピクチャ識別子情報及び復号される現在のピクチャのピクチャ識別子に基づいて最初の参照ピクチャのピクチャ識別子を決定する。従って、バッファ記述から取得されたピクチャ識別子情報は、現在のピクチャの実際のピクチャ識別子と組み合わされて、リスト順序に従って最初の参照ピクチャのピクチャ識別子を取得する。
【0062】
特定の一実施形態において、バッファ記述は、参照ピクチャの複数、即ち少なくとも2つのリストを規定でき、これは本明細書においてさらに開示される。このようなケースでは、該リストの各々は、それぞれのリスト順序に従ってそれぞれの最初の参照ピクチャを有する。その後ステップS2は、各リストにおける最初の参照ピクチャのピクチャ識別子を決定することが好ましい。従って、最初のピクチャ識別子のピクチャ識別子を決定する特定の実施形態に対して以下において提供される説明は、各リストにおけるそれぞれの最初の参照ピクチャに適用可能である。
【0063】
図5は、最初のピクチャ識別子を決定する特定の一実施形態を示すフローチャートである。方法は、
図2のステップS1から継続し、ステップS10に進む。該ステップS10は、最初の参照ピクチャについてのデルタピクチャ識別子及び符号識別子をバッファ記述から取得する。本明細書において、absolute_delta_poc(0)はデルタピクチャ識別子を示し、符号は符号識別子を示す。符号識別子は、ビデオストリームにおける現在のピクチャに関連して且つピクチャの出力順序に対して昇順又は降順であるかを示す。従って、符号識別子が「+」を示す場合、参照ピクチャは、出力順序に従って現在のピクチャに後続するが、復号順序で現在のピクチャに先行するのに対し、「−」を示す符号識別子は、参照ピクチャが出力順序及び復号順序に従って現在のピクチャに先行することを示す。
【0064】
次のステップS11は、デルタ識別子、符号識別子及び本明細書においてPOC(currPic)で示される現在のピクチャのピクチャ識別子に基づいて、最初の参照ピクチャのピクチャ識別子を算出する。その後、
図2のステップS3に進み、バッファ記述により規定された残りの参照ピクチャのピクチャ識別子が決定されうる。
【0065】
図6は、
図5のステップS11の特定の一実施形態及び
図2のステップS3の特定の一実施形態を示すフローチャートである。方法は、
図5のステップS10から継続する。次のステップS20は、パラメータdeltaPOC(0)をdeltaPOC(0)=sign×absolute_delta_poc(0)として計算する。その後、最初の参照ピクチャのピクチャ識別子POC(0)は、POC(0)=POC(currPic)+deltaPOC(0)としてステップS21で計算される。
【0066】
後続のステップS22〜S24は、バッファ記述により規定されたいずれかの残りの参照ピクチャ、即ち最初の参照ピクチャでない参照ピクチャについてのピクチャ識別子を決定する一実施形態を示す。該ステップS22〜S24は、バッファ記述における参照ピクチャの各リストに対して実行される。
【0067】
ステップS22は、それぞれのデルタピクチャ識別子absolute_delta_poc(i)を現在のリストにおける最初の参照ピクチャを除くバッファ記述により規定された各参照ピクチャ番号iについてのバッファ記述から取得する。後続のステップS23は、リストが参照ピクチャを昇順で規定する場合にパラメータdeltaPOC(i)をdeltaPOC(i)=deltaPOC(i-1)+absolute_delta_poc(i)として計算し、あるいはリストが参照ピクチャを降順で規定する場合にdeltaPOC(i)=deltaPOC(i-1)-absolute_delta_poc(i)として計算する。特定の一実施形態において、符号化器及び復号器は、双方とも昇順又は降順を使用するように事前設定されることが好ましい。
【0068】
最後に、ステップS24は、参照ピクチャ番号iのピクチャ識別子POC(i)をPOC(i)=POC(currPic)+deltaPOC(i)として計算する。従って、バッファ記述において規定された参照ピクチャのピクチャ識別子は、参照ピクチャについてのバッファ記述から取得された、デルタピクチャ識別子absolute_delta_poc(i)により本実施形態において示されたピクチャ識別子情報及びリスト順序に従って先行の参照ピクチャについてのバッファ記述から取得されたピクチャ識別子情報に基づいて決定される。特定の一実施形態において、ピクチャ識別子は、復号される現在のピクチャのピクチャ識別子、即ちPOC(currPic)に基づいてさらに決定される。従って、ピクチャ識別子POC(i)を算出する一般式は、
であり、式中、signの値に応じて「+」及び「−」を選択する。
【0069】
ステップS22〜S24は、最初の参照ピクチャを除くリストにおける各参照ピクチャに対して実行され、これは線L2により概略的に示される。その後、
図2のステップS4に進む。
【0070】
ステップS20〜S24の順序は、
図6に示されるものとは異なってもよい。一実施形態において、ステップS22、S23により形成されたループが後続するステップS20を最初に実行する。最後に、ピクチャ識別子は、ステップS21及びS24の処理を組み合わせるステップにおいて、最初の参照ピクチャ及び全ての後続の参照ピクチャに対して算出される。
【0071】
上述の実施形態において、バッファ記述における参照ピクチャは、deltaPOC順序、昇順又は降順で順序付けされる。deltaPOCの符号は、最初の参照ピクチャに対してのみ信号伝送されることが好ましく、デルタピクチャ識別子absolute_delta_pocは、バッファ記述における先行の参照ピクチャに対して信号伝送される。バッファ記述における最初の参照ピクチャの場合、absolute_delta_pocは、現在のピクチャに対して信号伝送される。
【0072】
本実施形態において、復号器は、符号識別子に基づいてバッファ記述における最初の参照ピクチャの符号を復号する。その後復号器は、現在のピクチャについての最初の参照ピクチャのabsolute_delta_pocを復号する。その後、最初の参照ピクチャについてのdeltaPOCが算出される。復号器は、1(最初の参照ピクチャが指標0を有する場合)からバッファ記述の終端まで、即ちNrOfPicturesInBufferDescription-1までの範囲の指標iを有するバッファ記述における全ての残りのピクチャについてのabsolute_delta_pocを復号することで継続し、上述したように現在のピクチャについてのdeltaPOCを算出する。
【0073】
特定の一実施形態において、符号化ピクチャの符号化表現から
図2のステップS1で取得されたバッファ記述情報は、参照ピクチャの第1のリスト及び参照ピクチャの第2のリストを規定するバッファ記述を識別する。
【0074】
従って、本実施形態において、バッファ記述は、参照ピクチャの2つのリストの連結から構成される。1つのリストは、正のdeltaPOCを有する参照ピクチャを含み、1つのリストは、負のdeltaPOCを有するピクチャを含む。双方のリストは、昇順でデルタピクチャ識別子absolute_delta_pocにより順序付けされることが好ましく、デルタピクチャ識別子の値は、対応するリストにおける先行の参照ピクチャに対して信号伝送される。
【0075】
本実施形態において、復号器は、以下においてリストA及びリストBで示された2つのリストを復号し、各リストは、ゼロ以上のピクチャデルタ識別子absolute_delta_pocを含んでもよい。双方のリストにおける各指標に対して、値absolute_delta_pocが構文解析される。
【0076】
図7は、本実施形態に係る
図2のステップS2及びS3の一実現例を示すフローチャートである。方法は、
図7のステップS1から継続する。ステップS30は、復号される現在のピクチャのピクチャ識別子と第1のリストにおける最初の参照ピクチャについてのバッファ記述から取得されたデルタピクチャ識別子との差分に基づいて、第1のリストにおける最初の参照ピクチャを識別するピクチャ識別子を算出する。ステップS31は、現在のピクチャのピクチャ識別子と第2のリストにおける最初の参照ピクチャについてのバッファ記述から取得されたデルタピクチャ識別子との和に基づいて、第2のリストにおける最初の参照ピクチャを識別するピクチャ識別子を同様に算出する。
【0077】
特定の一実施形態において、ステップS30は、POC
A(0)=POC(currPic)-absolute_delta_poc
A(0)を算出し、ステップS31は、POC
B(0)=POC(currPic)+absolute_delta_poc
B(0)を算出する。本実施形態において、デルタピクチャ識別子absolute_delta_poc
A(0)及びabsolute_delta_poc
B(0)は、符号なしの値、即ち非負値である。別の一実施形態において、デルタピクチャ識別子は符号付きの値であってよい。このようなケースでは、第1のリストにおける最初の参照ピクチャのデルタピクチャ識別子は非正値であることが好ましく、第2のリストにおける最初の参照ピクチャのデルタピクチャ識別子は非負値であることが好ましい。その後ステップS30は、POC
A(0)=POC(currPic)+absolute_delta_poc
A(0)を算出し、ステップS31は、POC
B(0)=POC(currPic)+absolute_delta_poc
B(0)を算出する。
【0078】
ステップS30及びS31は、いずれかの順序で逐次的に、即ち最初にステップS30及び次にステップステップS31又は最初にステップ31及び次にステップS30で実行されてよい。あるいは、2つのステップS30及びS31は、少なくとも部分的に並列に実行されてよい。
【0079】
後続のステップS32及びS33は、2つのリストにおける残りの参照ピクチャについてのピクチャ識別子を算出する。
【0080】
一実施形態において、ステップS32は、第1のリストにおける先行の参照ピクチャのピクチャ識別子と参照ピクチャについてのバッファ記述から取得された符号なしのデルタピクチャ識別子との差分に基づいて、第1のリスト順序に従って第1のリストにおける最初の参照ピクチャを除く第1のリストにおける各参照ピクチャについてのピクチャ識別子を算出する。ステップS33は、第2のリストにおける先行の参照ピクチャのピクチャ識別子と参照ピクチャについてのバッファ記述から取得された符号なしのデルタピクチャ識別子との和に基づいて、第2のリスト順序に従って第2のリストにおける最初の参照ピクチャを除く第2のリストにおける各参照ピクチャについてのピクチャ識別子を同様に算出する。第1のリスト順序は、減少するピクチャ識別子値の形態であることが好ましいのに対し、第2のリスト順序は、増加するピクチャ識別子値の形態であることが好ましい。例えば、ピクチャ識別子が出力順序を示す場合、第1のリストにおける参照ピクチャは、現在のピクチャの前に表示するために出力され、第2のリストにおける参照ピクチャは、現在のピクチャの後に表示するために出力される。その後、第1のリストにおける参照ピクチャは、ピクチャ識別子値に対して降順のリスト順序で順序付けされ、第2のリストにおける参照ピクチャは、ピクチャ識別子値に対して昇順のリスト順序で順序付けされる。
【0081】
ステップS32の特定の一実施形態は、第1のリストにおけるピクチャ番号iについてのピクチャ識別子POC
A(i)をPOC
A(i)=POC
A(i-1)-absolute_delta_poc
A(i)として計算する。ステップS33は、第2のリストにおけるピクチャ番号iについてのピクチャ識別子POC
B(i)をPOC
B(i)=POC
B(i-1)+absolute_delta_poc
B(i)として同様に計算する。
【0082】
別の一実施形態において、バッファ記述から取得されたデルタピクチャ識別子は、符号付きのデルタピクチャ識別子である。特定の一実現例において、第1のセットにおける参照ピクチャについてのデルタピクチャ識別子は非正値を有することが好ましく、第2のセットにおける参照ピクチャについてのデルタピクチャ識別子は非ゼロ値を有することが好ましい。
【0083】
本実施形態に係るステップS32の一実装例は、第1のリストにおける先行の参照ピクチャのピクチャ識別子と参照ピクチャについてのバッファ記述から取得された符号付きのデルタ識別子との和に基づいて、第1のリストにおける最初の参照ピクチャを除く第1のリストにおける各参照ピクチャについてのピクチャ識別子を算出する。ピクチャ識別子は、POC
A(i)=POC
A(i-1)+absolute_delta_poc
A(i)としてステップS32で計算されることが好ましい。同様にステップS33は、第2のリストにおける先行の参照ピクチャのピクチャ識別子と参照ピクチャについてのバッファ記述から取得された符号付きのデルタ識別子との和に基づいて、第2のリストにおける最初の参照ピクチャを除く第2のリストにおける各参照ピクチャについてのピクチャ識別子を算出する。ピクチャ識別子は、POC
B(i)=POC
B(i-1)+absolute_delta_poc
B(i)としてステップS33で計算されることが好ましい。
【0084】
上述の第1のリスト又は第2のリストにおける先行の参照ピクチャのピクチャ識別子は、最も近い先行の参照ピクチャのピクチャ識別子、即ち所定の参照ピクチャが番号iを有する場合に参照ピクチャ番号i−1であることが好ましい。
【0085】
上述したように、ステップS32及びS33は、第1のリスト及び第2のリストにおける最初のピクチャを除く第1のリスト及び第2のリストにおける各参照ピクチャに対して実行されることが好ましく、これは、
図7の線L3及びL4により概略的に示される。従って、ステップS32は、1からNrOfValuesInListA-1(指標0が第1のリストにおける最初の参照ピクチャを示す場合)までの範囲の全ての指標iに対して実行されることが好ましく、ステップS33は、1からNrOfValuesListB-1(指標0が第2のリストにおける最初の参照ピクチャを示す場合)までの範囲の全ての指標iに対して実行されることが好ましい。
【0086】
ステップS32及びS33は、いずれかの逐次的な順序で又は実際には少なくとも部分的に並列に実行されてよい。その後、
図2のステップS4に進み、復号ピクチャバッファは、ステップS30〜S33で算出されたピクチャ識別子に基づいて更新される。
【0087】
一実施形態において、第1のリストに関連するステップS30及びS32はサブ処理を構成し、第2のステップに関連するステップS31及びS33はサブ処理を構成する。その後2つのサブ処理は、いずれかの順序で逐次的に又は少なくとも部分的に並列に実行されてよい。
【0088】
バッファ記述におけるリスト順序に従って先行の参照ピクチャに対してピクチャ識別子を符号化及び復号することでバッファ記述における参照ピクチャを信号伝送する上述の実施形態は、可変長符号化と関連して特に適している。このような方法において、デルタピクチャ識別子等のピクチャ識別子情報の低い値は、一般的には、記号又はビットの数の点でピクチャ識別子情報のより高い値と比較してより短いコードワードにより示される。
【0089】
例えば、現在のピクチャが48のピクチャ識別子を有し、現在のピクチャがピクチャ識別子46、47、49及び51を有する4つの参照ピクチャを参照して符号化される場合を考える。また、ピクチャ識別子のとり得る最も大きな値が255であるとする。固定長符号化が適用されており且つ互いにピクチャ識別子を符号化しない場合、4×8=32ビットは、これらの4つのピクチャ識別子を信号伝送することを必要とされているだろう。46、47、49及び51を示すために代わりに可変長符号化が使用されている場合、合計32ビットよりさらに長いコードワードが必要とされているだろう。
図7に関連して上述した実施形態が符号なしのデルタピクチャ識別子と共に使用される場合、第1のリストはデルタピクチャ識別子1、1を含み、第2のリストはデルタピクチャ識別子1、2を含む。これらの値1、1、1、2は、32ビットより少ないビット、例えば合計で1+1+1+3=6ビットを使用して可変長符号により効率的に符号化されうる。該有効ビット削減は1つのバッファ記述のみに対するものである。一般的なビデオストリームにおいては、符号化器から復号器に送出された数百又は数千のバッファ記述があってもよい。
【0090】
バッファ記述におけるピクチャ識別子の上述の信号伝送は、固定長符号化を使用する等絶対的に少なくとも1つのピクチャ識別子を規定するリストを用いて補完されうる。例えばバッファ記述は、上述の4つの参照ピクチャ46、47、49及び51を含んでもよく、2等のこれらの4つの参照ピクチャのピクチャ識別子値とはかなり異なるピクチャ識別子値を有する更なる参照ピクチャを選択的に含んでもよい。このようなケースでは、リストにおける現在の参照ピクチャ及び現在の参照ピクチャに先行するいずれかの参照ピクチャについてのバッファ記述から取得されたピクチャ識別子情報に基づいてピクチャ識別子が復号される参照ピクチャの少なくとも1つのリストを含むようにバッファ記述を規定するために符号化の観点からより効率的であってよい。上述の例において、第1のリストは参照ピクチャ46及び47を規定し、第2のリストは参照ピクチャ49及び51を規定する。その後、該少なくとも1つのリスト(本発明の例においては2つのリスト)は、それぞれの参照ピクチャ、即ち例においては参照ピクチャ2の少なくとも1つのピクチャ識別子を含むリストを用いて補完される。その後該ピクチャ識別子は、固定長符号において提供され、且つバッファ記述において規定された他のいかなる参照ピクチャに対しても符号化されないことが好ましい。
【0091】
あるいは、該追加リストは、少なくとも1つの参照ピクチャを規定し、少なくとも1つの参照ピクチャについてのそれぞれのデルタピクチャ識別子を含む。その後、該デルタピクチャ識別子は、現在のピクチャのピクチャ識別子と参照ピクチャのピクチャ識別子との差分を算出することで取得される。その後、該少なくとも1つのデルタピクチャ識別子は、バッファ記述における追加リストにおいて提供され、好ましくは固定長符号において提供されてもよく、あるいは上述のリストと同様に、即ち先行のデルタピクチャ識別子に対して符号化されてもよい。このようなケースでは、可変長符号が使用可能であるが、ビットを節約するために適用可能なオプションのモジュロ演算と共に使用される。
【0092】
図8は、このような追加リストを含むバッファ記述を有する
図2における方法の更なるステップを示すフローチャートである。方法は、
図2のステップS3から継続する。次のステップS40は、それぞれの参照ピクチャの少なくとも1つのピクチャ識別子を含むリストを提供する。該ステップS40は、ピクチャの符号化表現に含まれたバッファ記述情報からリストを取得することで実現可能である。あるいは、リストは、ピクチャの符号化表現の規定の制御情報フィールドから取得されてよい。
【0093】
次のステップS41は、ステップS40で提供されたリストを使用してバッファ記述を変更する。これは、提供されたリストにおいて規定された少なくとも1つのピクチャ識別子が変更又は更新されたバッファ記述を形成するようにバッファ記述から決定されたピクチャ識別子に追加されることを示す。
【0094】
その後ステップS4に進み、復号ピクチャバッファは、変更されたバッファ記述に基づいて更新される。
【0095】
絶対的に符号化された参照ピクチャを記述する別のリストを使用して、好ましくは固定長符号化を使用してバッファ記述を変更する本実施形態は、バッファ記述がデルタピクチャ識別子の高い値を有する参照ピクチャを含む場合にバッファ記述についてのビットレートを低減できる。
【0096】
ピクチャの符号化表現から取得されたバッファ記述情報は、一実施形態において、本質的にバッファ記述を構成できる。従って、ピクチャの符号化表現は、バッファ記述により規定された参照ピクチャのデルタピクチャ識別子等のピクチャ識別子情報を含む。
【0097】
その後該バッファ記述は、符号化器及び復号器が準拠する基準により規定されたスライスヘッダ、別のピクチャヘッダ又は別のデータ構造に含まれうる。一般的には、
図3に示されたようなピクチャ10は、1つ以上のスライス20、22に分解可能であり、各スライスは、ピクチャ10の他のスライスに対して個別に符号化可能及び復号可能である。一実施形態において、所定のピクチャの各スライスヘッダは、同一のバッファ記述情報を含む。これは、ピクチャのスライスのうちの1つのビデオペイロード及び制御情報を搬送するデータパケットが符号化器から復号器への送信において損失される場合でも、ピクチャの残りのスライスの各々がバッファ記述情報のそれぞれのコピーを含むために、ピクチャのこのような残りのスライスが復号器により復号可能でありうることを意味する。
【0098】
別の実施形態において、ピクチャの符号化表現に存在するバッファ記述情報は、必ずしも現在のピクチャのバッファ記述と同一でなくてもよいが、バッファ記述の識別及び取得を可能にする。従って、本実施形態において、ピクチャの符号化表現に存在するバッファ記述情報は、デルタピクチャ識別子等のピクチャ識別子情報を搬送するバッファ記述の方向を指し示し、本明細書において開示されるように参照ピクチャのピクチャ識別子の計算を可能にすることにより、参照ピクチャを間接的に規定する。
【0099】
このようなケースでは、バッファ記述は、ピクチャの符号化表現60に関連付けられたデータ構造により搬送されうる(
図4を参照)。このようなデータ構造の例には、ピクチャパラメータセット(PPS:Picture Parameter Set)67及びシーケンスパラメータセット(SPS:Sequence Parameter Set)68が含まれる。PPS67及び/又はSPS68は、符号化表現60に直接含まれてよいが、一般的にはPPS識別子及び/又はSPS識別子を符号化表現60に含むことでそれらと関連付けられる。例えば各スライスヘッダ65は、現在のピクチャに対してどのPPS67を適用するかを通知するPPS識別子を含むことができる。その結果、適切なPPS67は、PPS67、即ち現在のピクチャに対してどのSPS68を適用するかを通知するSPS識別子を含んでもよい。
【0100】
そしてバッファ記述は、現在のピクチャに割り当てられたPPS67又はSPS68に挿入されうる。このようなケースでは、符号化表現60に存在するPPS識別子又はSPS識別子は、符号化表現60に存在するバッファ記述情報を構成する。その後、該PPS識別子又はSPS識別子は、参照ピクチャを規定するバッファ記述の取得を可能にするため、参照ピクチャを間接的に規定する。
【0101】
PPS67及びSPS68は、符号化表現60に関連付けられ且つ実施形態に係るバッファ記述情報を搬送するために使用可能なデータ構造の例を構成するにすぎない。
【0102】
PPS及びSPSは、一般的にはビデオストリームにおける複数のピクチャの間で共有される。従って、PSS及びSPSにおけるピクチャのバッファ記述は、各々がそれぞれの参照ピクチャを規定する複数の予め定義されたバッファ記述を含む表等のデータ構造を提供することで信号伝送されることが好ましい。
【0103】
その後、生成されたデータ構造の各バッファ記述は、現在のピクチャのピクチャ識別子及びバッファ記述における先行の参照ピクチャのピクチャ識別子情報に基づいて、ピクチャ識別子が算出されうるピクチャ識別子情報に関して本明細書において開示されるように参照ピクチャを規定する。その後各バッファ記述は、データ構造又は表におけるエントリとして提供されうる。
【0104】
データ構造は、符号化器から復号器に信号伝送される。該信号伝送は、種々の実施形態に従って実行可能である。データ構造は、PPS、SPS、新規なパラメータセット、あるいは符号化器及び復号器が準拠する基準により規定された別のデータ構造において実行可能である。このようなケースでは、ピクチャの符号化表現はスライスヘッダ内にPPS識別子やSPS識別子を含む。バッファ記述情報の一部を形成する該PPS識別子又はSPS識別子により、現在のピクチャを復号する際に使用可能なデータ構造の識別が可能になる。
【0105】
現在のピクチャに対してデータ構造のどのバッファ記述を使用するかを規定するために、バッファ記述情報の一部を形成する識別子は、現在のピクチャに対して信号伝送され、ピクチャの符号化表現に含まれる。このような識別子の一例は、バッファ記述がデータ構造において現れる順序でバッファ記述の番号を示す現在のピクチャのスライスヘッダにおいて信号伝送された非負整数である。
【0106】
SPS等にバッファ記述エントリを導入することにより、スライスヘッダにおいて明示的にバッファ記述に信号伝送する付加ビットが減少する。これらのバッファ記述は、同一のシーケンス、即ちビデオストリームにおける複数のスライス/ピクチャに対して使用可能であるため、ピクチャ毎に必要とされるビット数が減少する。
【0107】
更なる一実施形態によれば、複数の予め定義されたバッファ記述を有する一般的なデータ構造におけるエントリ、例えば上記の表におけるエントリについての参照信号伝送と、バッファ記述の明示的な信号伝送とが組み合わせ可能である。このようなケースでは、これらは、現在のピクチャについての最終的なバッファ記述を形成するように、復号器により組み合わせ可能である。明示的な信号伝送と参照信号伝送とを組み合わせる1つの方法は、明示的な信号伝送により記述された参照ピクチャのセットを参照信号伝送により記述された参照ピクチャのセットと結合して、参照ピクチャのジョイントセットを形成することである。
【0108】
特定の一実施形態において、ピクチャの符号化表現は、バッファ記述情報の明示的な信号伝送及び/又はバッファ記述情報の黙示的な信号伝送が現在のピクチャに対して選択されているかを示すフラグを含むことが好ましい。例えば該フラグは、ピクチャの符号化表現のスライスヘッダ又は他の何らかの制御情報フィールドに含まれうる。
【0109】
本明細書において開示された実施形態において、バッファ記述は、バッファ記述により規定された参照ピクチャについてのそれぞれのデルタピクチャ識別子を含むことができる。このようなデルタピクチャ識別子の一実施形態は、上述のパラメータabsolute_delta_pocである。別の一実施形態において、パラメータabsolute_delta_pocは、参照ピクチャのデルタピクチャ識別子に基づいて取得される。例えば、参照ピクチャについてのバッファ記述に含まれたデルタピクチャ識別子は、パラメータabsolute_delta_poc_minus1であってよい。その後、パラメータabsolute_delta_pocは、absolute_delta_poc_minus1+1として取得される。従って、本発明の実施形態は、パラメータabsolute_delta_pocが開示された式においてパラメータabsolute_delta_poc_minus1+1又は同様の変形で置換されるケースも含む。例えば式POC
A(i)=POC
A(i-1)-abslute_delta_poc
A(i)は、POC
A(i)=POC
A(i-1)-(abslute_delta_poc_minus1
A(i)+1)により置換される。
【0110】
図9は、一実施形態に係る参照バッファ方式を示す簡略化されたフローチャートである。この方式において、全ての復号ピクチャバッファは、
図9に示されるような復号ピクチャバッファの記述を使用して、ピクチャの第1のスライスヘッダを構文解析した後ではあるがピクチャ復号の前に適用される。例えばバッファ記述は、明示的に又はPPSあるいはSPSにおいて信号伝送された予め定義されたデータ構造を参照することにより、スライスヘッダにおいて信号伝送される。
【0111】
それにより、実施形態は、復号処理を概念的に大きく変更する。従来のH.264/MPEG−4 AVC及びHEVCの以前の設計において、相対動作は、黙示的に、即ちスライドウィンドウ又は明示的に、即ちMMCOに与えられ、復号器は、これらの相対動作を適用し且つ参照ピクチャ、即ちいずれのピクチャが参照のために使用可能であるかを追跡する信頼性を有する。提案された方式において、参照ピクチャ、即ちいずれのピクチャが参照のために使用可能であるかが現在のピクチャ内で、例えばスライスヘッダにおいて信号伝送されることにより、黙示的且つ明示的に信号伝送された相対動作の必要性を除去する。
【0112】
これは、デルタ情報がMMCO又はスライドウィンドウ処理を使用することから取得されるH.264/MPEG−4 AVCのように、各ピクチャが参照ピクチャ記述の相対記述ではなく、絶対記述を有することを意味する。
【0113】
特定の一実施形態によれば、バッファ記述は、参照ピクチャとして使用されるピクチャについての絶対参照を提供するために、復号ピクチャバッファに必要な全ての参照ピクチャのピクチャ識別子情報を含む。ピクチャ識別子情報は、本明細書において上述したように参照ピクチャのピクチャ識別子を算出するために使用される。
【0114】
バッファ記述の一部ではない復号ピクチャバッファにおける全てのピクチャは、参照に使用しないものとしてマーク付けされることが好ましい。
【0115】
H.264/MPEG−4 AVCにおいて、出力のためにピクチャを配信する処理(
図1において「バンプ」処理と呼ぶ)は、復号の前に、即ちframe_numに欠落があった場合に実行されることもある。「バンプ」処理は、復号及びピクチャマーク付けの後にも実行される。
【0116】
図9の提案された方式において、「バンプ」処理は復号の前に適用される。これにより、出力のためにピクチャを配信する前に復号処理が必要以上に遅延することが示されうる。しかしながら、表示するための最初のピクチャは、復号ピクチャバッファにおける表示されていないピクチャの数がnum_reorder_frames以上になるとすぐに、復号処理工程の後に既に一意に規定されている。従って、復号器は、復号処理工程の直後に表示するために該ピクチャを配信できる。従って、提案された方式の遅延は、現在のHEVC方式の遅延に等しい。
【0117】
オプションの方法において、復号器は、バッファ記述により規定されるが参照ピクチャには存在しない参照ピクチャを紛失しているものとして決定できる。選択的に、隠蔽された又は存在していないピクチャがバッファ記述に基づいて生成でき、紛失しているピクチャに対して決定されたピクチャ識別子を隠蔽された又は存在していないピクチャに割り当てる。
【0118】
上述のピクチャマーク付け処理、バンプ処理及び選択的に存在していないピクチャを生成することは、
図9に示されるように現在のピクチャについてのビデオペイロードデータの実際の復号の前に実行されることが好ましい。
【0119】
実施形態に係るピクチャ識別子として使用可能な使用可能な種々の代替例がある。例えばピクチャ識別子は、復号順序番号、表示順序番号、出力順序番号又は表示順序番号と更なる識別子との組合せ、あるいは実際にはピクチャを明確に識別するために使用可能な他のいずれかの情報であってよい。
【0120】
このようなピクチャ識別子の例には、ピクチャ順序カウント(POC:Picture Order Count)、フレーム番号(frame_num)又はPOC及び更なる識別子(additional_picture_id)を含む。
【0121】
特定の一実施形態において、ピクチャ識別子の実際値は、適切な参照ピクチャを明確に識別するために、更なる情報又は他のデータ、例えばバッファ記述における参照ピクチャの位置(リスト順序の位置)と共に使用される。従って、バッファ記述情報により識別又は取得されたバッファ記述により、適切な参照ピクチャを明確に識別できるようになる。一実施形態において、POC又はPOC+更なる識別子等のピクチャ識別子自体は、参照ピクチャを明確に識別するために使用可能である。
【0122】
参照ピクチャを明確に識別することは、本明細書では、ピクチャ識別子が単独で又は参照ピクチャを規定する順序等のバッファ記述情報の他の情報と共に、参照ピクチャを明示的に識別するために使用されることを示すために使用される。従って、ピクチャ識別子又はピクチャ識別子及び他の情報を与えられることにより、ビデオストリームのピクチャの中から適切な参照ピクチャを識別できるようになる。
【0123】
図10は、複数のピクチャのビデオストリームのピクチャを符号化する方法を示すフローチャートである。一般的には方法は、ステップS50で開始し、ビデオストリームの参照ピクチャは符号化参照として決定される。一実施形態において、ステップS50は、符号化される現在のピクチャについての符号化参照として使用される1つ以上の参照ピクチャを決定する。従って、現在のピクチャの画素データは、1つ以上の参照ピクチャを参照して符号化される。あるいは又はさらに、ステップS50で決定された少なくとも1つの参照ピクチャは、ビデオストリームの後続のピクチャ、即ち現在のピクチャに後続して符号化及び復号されるピクチャについての符号化参照として使用可能である。特定の一実施形態において、S50は、現在のピクチャに対して、ビデオストリームのいずれかの参照ピクチャを現在のピクチャについての符号化参照として、且つ後続のピクチャについての符号化参照として決定する。従って、特定の一実施形態において、ステップS50は、復号順序で現在のピクチャに先行し、且つ現在のピクチャ又は復号順序で現在のピクチャに後続するいずれかのピクチャについてのインター予測のために使用されてもよい全ての参照ピクチャを決定する。
【0124】
次のステップS51は、ステップS50で決定された参照ピクチャの各参照ピクチャについてのそれぞれのピクチャ識別子を提供する。ピクチャ識別子は、参照ピクチャを明確に識別するために、場合によっては他のデータと共に使用される。従って、ピクチャ識別子は、参照ピクチャとして使用されるピクチャについての絶対参照であると考えられうる。これは、ピクチャ識別子及び選択的に他のデータを与えられれば適切な参照ピクチャを正確に識別できることを意味する。
【0125】
ステップS51は、ステップS50で決定された各参照ピクチャに対して実行されることが好ましく、これは線L5により概略的に示される。
【0126】
ステップS51で提供されたピクチャ識別子は、ステップS50で決定された参照ピクチャのヘッダ部分から読み出されうる、あるいはステップS50からの参照ピクチャを示したデータから取得されうる。
【0127】
バッファ記述の各リストにおける最初の参照ピクチャのピクチャ識別子情報を決定することに関連するステップS52は、以下においてさらに開示される。
【0128】
ステップS53は、参照ピクチャのリスト順序に従って最初の参照ピクチャを除くステップS50で決定された参照ピクチャの少なくとも一部分の各参照ピクチャに対して実行される。上述したように参照ピクチャが単一のリストにおいて編成される場合、ステップS53は、最初の参照ピクチャを除く各参照ピクチャに対して実行されることが好ましく、これは線L6により概略的に示される。しかしながら、参照ピクチャが複数のリストにおいて編成される場合、ステップS53は、各リストにおけるそれぞれの最初の参照ピクチャを除く各参照ピクチャに対して実行されることが好ましい。
【0129】
ステップS53は、参照ピクチャを識別するピクチャ識別子及びリスト順序に従って現在のリストにおける先行の参照ピクチャを識別するピクチャ識別子に基づいて、「最初の参照ピクチャでない」参照ピクチャについてのピクチャ識別子情報を決定する。
【0130】
次のステップS54は、参照ピクチャセット(RPS)とも呼ぶバッファ記述の情報を生成する。該情報は、本明細書においてバッファ記述情報で示される。バッファ記述情報は、ステップS53(及びステップS52)で決定されたピクチャ識別子情報に基づいて生成される。該バッファ記述情報は、ステップS50で決定された参照ピクチャ、よってステップS51で提供されたピクチャ識別子を規定、好ましくは明確に規定する。従って、バッファ記述情報から少なくとも1つのピクチャ識別子を導出できる。
【0131】
生成されたバッファ記述情報は、ステップS55で現在のピクチャの符号化表現に挿入される。従って、符号化ピクチャは、ビデオストリームの現在のピクチャ及び/又はいずれかの後続のピクチャを復号するのに必要とされる参照ピクチャを規定且つ識別するために復号器において使用可能なバッファ記述情報を搬送する。
【0132】
ステップS50〜S55を有する
図10の方法は、復号ピクチャバッファをリフレッシュさせるためにいかなるバッファ記述情報も必要としないいかなるIDRピクチャも除くビデオストリームにおける各ピクチャに対して実行されることが好ましい。
【0133】
図10のステップS52は、最初の参照ピクチャ又はバッファ記述におけるリスト毎の最初の参照ピクチャの各々についてのピクチャ識別子情報を決定する。ピクチャ識別子情報は、最初の参照ピクチャを識別するピクチャ識別子に基づいて決定され、ステップS51及び符号化される現在のピクチャのピクチャ識別子において提供される。
【0134】
図11は、
図10における該ステップS52及び後続のステップS53の特定の一実施形態を示すフローチャートである。方法は、
図10のステップS51から継続する。次のステップS60は、最初の参照ピクチャのピクチャ識別子と現在のピクチャのピクチャ識別子との差分に基づいてデルタ値を算出する。後続のステップS61は、デルタ値の絶対値に基づいてデルタピクチャ識別子を決定し、ステップS62は、デルタ値の符号に基づいて符号識別子を決定する。それにより、最初の参照ピクチャのピクチャ識別子情報は、デルタピクチャ識別子及び符号識別子を含む。従って、一実施形態において、deltaPOC(0)=POC(0)-POC(currPic)及びabsolute_delta_poc=|deltaPOC(0)|、並びに符号は、sign(deltaPOC(0))を示す。
【0135】
ステップS63は、最初の参照ピクチャを除く各参照ピクチャ(各リストにおける)についてのデルタ値を算出する。該デルタ値は、参照ピクチャのピクチャ識別子とリスト順序に従って先行の参照ピクチャ(リストにおける)を識別するピクチャ識別子との差分に基づいて算出される。特定の一実施形態において、該デルタ値は、参照ピクチャ番号iに対してdeltaPOC(i)=POC(i)-POC(i-1)として計算される。
【0136】
後続のステップS64は、参照ピクチャについてのデルタピクチャ識別子を決定する。該デルタピクチャ識別子は、ステップS63で算出されたデルタ値とリスト順序に従って先行の参照ピクチャに対して決定されたデルタピクチャ識別子との差分又はリスト順序に従って先行の参照ピクチャに対して決定されたデルタピクチャ識別子とデルタ値との和に基づいて決定される。差分又は和を使用することを選択することは、一実施形態において、符号化器及び復号器が参照ピクチャを昇順又は降順で編成するように構成されるかに依存する。従って、一実施形態において、absolute_delta_poc(i)=deltaPOC(i)±absolute_delta_poc(i-1)である。
【0137】
従って、ステップS63及びS64は、それぞれの最初の参照ピクチャを除くリスト毎の各参照ピクチャに対して実行され、これは線L7により概略的に示される。
【0138】
その後、
図10のステップS54に進む。
【0139】
図12は、
図10のステップS51〜S53の特定の一実施形態を示すフローチャートである。方法は、
図10のステップS50から継続する。次のステップS70は、出力順序等の規定の順序に従って現在のピクチャに先行する
図10のステップS50で決定されたいずれかの参照ピクチャを識別するピクチャ識別子の第1のリストを提供する。同様にステップS71は、規定の順序に従って現在のピクチャに後続する
図10のステップS50で決定されたいずれかの参照ピクチャを識別するピクチャ識別子の第2のリストを提供する。従って、ステップS70は、第1のリストにおける要素、即ちピクチャ識別子の番号を提供し、同様にステップS71は、第2のリストにおける要素の番号を提供する。
【0140】
ステップS70及びS71は、いずれかの順序で逐次的に又は少なくとも部分的に並列に実行されてよい。
【0141】
次のステップS72は、現在のピクチャのピクチャ識別子と第1のリストにおける最初の参照ピクチャのピクチャ識別子との差分に基づいて、第1のリストにおける最初の参照ピクチャについてのデルタピクチャ識別子を決定する。特定の一実施形態において、ステップS72は、absolute_delta_poc
A(0)=POC(currPic)-POC
A(0)を決定する。同様にステップS73は、第2のリストにおける最初の参照ピクチャのピクチャ識別子と現在のピクチャのピクチャ識別子との差分に基づいて、第2のリストにおける最初の参照ピクチャのピクチャ識別子についてのデルタピクチャ識別子を決定する。特定の一実施形態において、ステップS73は、absolute_delta_poc
B(0)=POC
B(0)-POC(currPic)を決定する。
【0142】
ステップS72及びS73は、いずれかの順序で逐次的に又は少なくとも部分的に並列に実行されてよい。
【0143】
ステップS74は、第1のリストにおける最初の参照ピクチャを除く第1のリストにおける残りの参照ピクチャの各々に対して実行され、これは線L8により概略的に示される。ステップS74は、第1のリスト順序に従って第1のリストにおける先行の参照ピクチャのピクチャ識別子と参照ピクチャのピクチャ識別子との差分に基づいてデルタピクチャ識別子を決定する。特定の一実施形態において、ステップS74は、absolute_delta_poc
A(i)=POC
A(i-1)-POC
A(i)を決定する。同様にステップS75は、第2のリストにおける最初の参照ピクチャを除く第2のリストにおける残りの参照ピクチャの各々に対して実行され、これは線L9により概略的に示される。ステップS75は、現在のピクチャを識別するピクチャ識別子と第2のリスト順序に従って第2のリストにおける先行の参照ピクチャのピクチャ識別子との差分に基づいてデルタピクチャ識別子を決定する。特定の一実施形態において、ステップS75は、absolute_delta_poc
B(i)=POC
B(i)-POC
B(i-1)を決定する。その後、参照ピクチャに対して決定されたピクチャ識別子情報は、デルタピクチャ識別子を含む。
【0144】
一実施形態において、ステップS70、S72、S74は第1のリストに関連するサブ処理を形成し、ステップS71、S73、S75は第2のリストに関連する別のサブ処理を形成する。その後2つのサブ処理は、いずれかの順序で逐次的に又は少なくとも部分的に並列に実行されてよい。
【0145】
図8に関連して上述したように、少なくとも1つの参照ピクチャの明示的なピクチャ識別子を含むリスト又は現在のピクチャのピクチャ識別子を使用するがバッファ記述における先行の参照ピクチャピクチャを全く参照せずにこのようなピクチャ識別子の計算を可能にする情報が使用可能である。
図13は、符号化器と関連して該方法を示す。方法は、
図10のステップS54から継続する。次のステップS80は、それぞれの参照ピクチャの少なくとも1つのピクチャ識別子を含むリストを提供する。該リストは、少なくとも1つのピクチャ識別子をバッファ記述から決定されるピクチャ識別子に追加して適切な参照ピクチャの最後のピクチャ識別子を形成することにより、バッファ記述を変更するために使用されるように構成される。該リストは、ピクチャの符号化表現のスライスヘッダ、符号化表現の別の制御情報フィールド、あるいはピクチャの符号化表現と関連付けられたPPS又はSPSに挿入されうる。
【0146】
図15は、一実施形態に係る復号器100を示す概略ブロック図である。復号器100は、複数のピクチャのビデオストリームのピクチャの符号化表現を復号するように構成される。復号器100は、ピクチャ識別子を規定するバッファ記述を識別するバッファ記述情報をピクチャの符号化表現から取得するように構成されたデータ取得器110を備える。ピクチャ識別子決定器120は、参照ピクチャについてのバッファ記述からデータ取得器110により取得されたピクチャ識別子情報に基づいてバッファ記述において規定された参照ピクチャ及びバッファ記述におけるリスト順序に従って参照ピクチャに先行する参照ピクチャを識別するピクチャ識別子を決定するように構成される。復号器100は、ピクチャ識別子決定器120により決定されたピクチャ識別子に基づいて、復号器100のあるいは復号器100に関連付けられた復号ピクチャバッファを更新するように構成されたバッファマネージャ130も備える。
【0147】
特定の一実施形態において、ピクチャ識別子決定器110は、リストにおけるリスト順序に従って最初の参照ピクチャを除くバッファ記述におけるリストの各参照ピクチャについてのピクチャ識別子を決定するように構成される。ピクチャ識別子は、上述したように、参照ピクチャ及びリストにおけるリスト順序に従って参照ピクチャに先行するいずれかの参照ピクチャについてのバッファ記述からデータ取得器110により取得されたピクチャ識別子情報に基づいて決定される。
【0148】
ピクチャ識別子決定器120は、リスト順序に従って最初の参照ピクチャを識別するピクチャ識別子を決定するようにさらに構成されることが好ましい。ピクチャ識別子決定器120は、最初の参照ピクチャについてのバッファ記述からデータ取得器110により取得されたピクチャ識別子情報及び復号器100により復号される現在のピクチャのピクチャ識別子に基づいて該ピクチャ識別子を決定する。
【0149】
特定の一実施形態において、データ取得器110は、バッファ記述から最初の参照ピクチャについてのデルタピクチャ識別子及び符号識別子を取得するように構成される。このようなケースでは、ピクチャ識別子決定器120は、現在のピクチャのデルタピクチャ識別子、符号識別子及びピクチャ識別子に基づいて最初の参照ピクチャのピクチャ識別子を算出するように構成される。
【0150】
図16は、
図15のピクチャ識別子決定器120の一実現例を示す概略ブロック図である。ピクチャ識別子決定器120は、
図15のデータ取得器110により取得された符号識別子及びデルタピクチャ識別子に基づいて最初の参照ピクチャについてのデルタ値deltaPOC(0)=sign×absolute_delta_poc(0)を算出するように構成されたデルタ計算器122を備える。その後識別子計算器124は、ピクチャ識別子をPOC(0)=POC(currPic)+deltaPOC(0)として計算する。
【0151】
データ取得器110は、本実施形態において、少なくとも1つのリストにおける(それぞれの)最初の参照ピクチャを除くバッファ記述において規定された少なくとも1つのリストの各参照ピクチャ番号iについてのそれぞれのデルタピクチャ識別子をバッファ記述から取得するように構成される。その後、
図16のデルタ計算器122は、バッファ記述が少なくとも1つのリストにおける参照ピクチャを昇順で規定する場合にはdeltaPOC(i)=deltaPOC(i-1)+absolute_delta_poc(i)として又はバッファ記述が少なくとも1つのリストにおける参照ピクチャを降順で規定する場合にはdeltaPOC(i)=deltaPOC(i-1)-absolute_delta_poc(i)としてデルタ値を計算するように構成される。特定の順序は、復号器100において事前設定されることが好ましい。
【0152】
識別子計算器124は、参照ピクチャ番号iのピクチャ識別子をPOC(i)=POC(currPic)+deltaPOC(i)として計算するように構成される。
【0153】
特定の一実施形態において、バッファ記述は、参照ピクチャの第1のリスト及び参照ピクチャの第2のリストを規定する。ピクチャ識別子決定器120は、第1のリストにおける最初の参照ピクチャについてのバッファ記述からデータ取得器110により取得されたデルタピクチャ識別子及び現在のピクチャのピクチャ識別子に基づいて、第1のリストにおける最初の参照ピクチャのピクチャ識別子を算出するように構成された第1の識別子計算器126を備えることが好ましい。ピクチャ識別子は、POC
A(0)=POC(currPic)-absolute_delta_poc
A(0)として計算されることが好ましい。同様に第2の識別子計算器128は、第2のリストにおける最初の参照ピクチャについてのバッファ記述からデータ取得器により取得されたデルタピクチャ識別子及び現在のピクチャのピクチャ識別子に基づいて、第2のリストにおける最初の参照ピクチャを識別するピクチャ識別子を算出するように構成される。ピクチャ識別子は、POC
B(0)=POC(currPic)+absolute_delta_poc
B(0)として計算されることが好ましい。上述の実施形態において、符号なしのデルタピクチャ識別子が仮定されている。デルタピクチャ識別子が符号付きの値である場合、ピクチャ識別子は、現在のピクチャのピクチャ識別子と第1のリスト又は第2のリストにおける最初の参照ピクチャの符号付きのデルタピクチャ識別子のそれぞれの和として計算される。
【0154】
第1の識別子計算器126は、第1のリストにおける最初の参照ピクチャを除く第1のリストにおける各参照ピクチャ番号iについてのピクチャ識別子を算出するようにさらに構成される。該ピクチャ識別子は、第1のリスト順序に従って第1のリストにおける先行の参照ピクチャのピクチャ識別子及び参照ピクチャ番号iについてのバッファ記述からデータ取得器110により取得されたデルタピクチャ識別子に基づいて算出される。特定の一実施形態において、第1の識別子計算器126は、デルタピクチャ識別子が符号なしの値の場合にPOC
A(i)=POC
A(i-1)-absolute_delta_poc
A(i)として又はデルタピクチャ識別子が符号付きの値の場合にPOC
A(i)=POC
A(i-1)+absolute_delta_poc
A(i)としてピクチャ識別子を計算する。
【0155】
同様に第2の識別子計算器128は、第2のリストにおける最初の参照ピクチャを除く第2のリストにおける各参照ピクチャ番号iについてのピクチャ識別子を算出するように構成される。ピクチャ識別子は、第2のリスト順序に従って第2のリストにおける先行の参照ピクチャのピクチャ識別子及び参照ピクチャ番号iについてのバッファ記述からデータ取得器110により取得されたデルタピクチャ識別子に基づいて算出される。特定の一実施形態において、第2の識別子計算器128は、ピクチャ識別子をPOC
B(i)=POC
B(i-1)+absolute_delta_poc
B(i)として計算する。デルタピクチャ識別子は、符号なしの値又は符号付きの値である。
【0156】
ピクチャの符号化表現により搬送されたバッファ記述情報は、現在のピクチャ及びビデオストリームのいずれかの後続のピクチャを復号するために復号ピクチャバッファに存在する必要のあるのはどの参照ピクチャであるかを識別するために使用される。それにより、バッファ記述情報は、正確な参照ピクチャを格納するように復号ピクチャバッファを更新することを必要とされる復号器100に情報を提供する。
【0157】
好適な方法において、バッファマネージャ130は、復号ピクチャバッファに格納されるがバッファ記述からのピクチャ識別子のいずれとも関連付けられない全ての参照ピクチャを参照のために未使用のものとしてマーク付けするように構成される。復号ピクチャバッファに存在し且つバッファ記述からのピクチャ識別子のうちのいずれかと関連付けられた参照ピクチャは、代わりに参照のために使用済みのものとしてマーク付けされることが好ましい。
【0158】
復号器100のバッファマネージャ130は、復号器100が現在のピクチャを復号する前にいずれかの参照ピクチャをマーク付けするように構成されることが好ましい。
【0159】
特定の一実施形態において、復号器100は、復号器100が現在のピクチャを復号する前に表示するために復号ピクチャバッファからゼロ以上のピクチャを出力するように構成される。特定の一実施形態において、復号器100は、バッファマネージャ130により参照のために未使用のものとしてマーク付けされたいずれかの参照ピクチャを出力する。
【0160】
バッファマネージャ130が復号ピクチャバッファを更新すると、復号器100は、ピクチャ及び更新された復号ピクチャバッファに格納された少なくとも1つの参照ピクチャに基づいて、ピクチャ、即ちビデオペイロードデータを復号できる。
【0161】
バッファ記述情報は、ピクチャの符号化表現の制御情報において提供されることが好ましい。例えばデータ取得器110は、ピクチャの符号化表現のスライスヘッダからバッファ記述情報を取得するように構成されてよい。このようなケースでは、ピクチャのいずれかの残りのスライスヘッダが同一のバッファ記述情報を搬送することが好ましいため、バッファ記述情報は、現在のピクチャに対して受信された第1のスライスヘッダから取得されることが好ましい。
【0162】
特定の一実施形態において、バッファ記述情報は、上述のピクチャ識別子情報を有するバッファ記述を構成する。それにより、該データは、ピクチャの符号化表現からデータ取得器110により直接取得される。
【0163】
別の一実施形態において、バッファ記述情報はバッファ記述の識別子である。それにより、データ取得器110は、ピクチャの符号化表現から識別子を取得し、ピクチャの符号化表現に対して使用するための正確なバッファ記述を識別するためにそれを使用する。その後識別子は、複数の予め定義されたバッファ記述を含むデータ構造又は表におけるエントリについての識別子であってよい。該データ構造は、ビデオストリームに関連付けられた制御データにより搬送されてよく、例えばPPS又はSPSにおいて提供されてよい。このようなケースでは、バッファ記述情報は、データ構造におけるエントリの識別子、並びにデータ構造を搬送する特定のPPS又はSPSを識別できるPPS及び/又はSPS識別子を含むことが好ましい。
【0164】
特定の一実施形態において、復号器100は、それぞれの参照ピクチャの少なくとも1つのピクチャ識別子を含むリストを提供するように構成されたリスト提供器140を備える。該ピクチャ識別子は、固定長符号において且つバッファ記述におけるいかなる先行の参照ピクチャも参照せずに符号化されることが好ましい。それにより、該リストは、先行の参照ピクチャ識別子に対して符号化及び復号されるバッファ記述の少なくとも1つのリストにおける参照ピクチャとはかなり異なるピクチャ識別子を有するいずれかの奇数の参照ピクチャのピクチャ識別子を含むことができる。
【0165】
リスト提供器により提供された、例えばスライスヘッダ又は実際にはバッファ記述における独立リストから取得された少なくとも1つのピクチャ識別子は、バッファ記述を変更するためにバッファ記述変更器150により使用される。従って、少なくとも1つのピクチャ識別子は、バッファ記述により規定されたピクチャ識別子に追加される。
【0166】
復号器は、ソフトウェアで少なくとも部分的に実現可能である。
図17に示されるようなこのような一実施形態において、復号器300は、ビデオストリームの複数のピクチャの符号化表現を受信するように構成された入力部310を備える。復号器300は、メモリ340に格納されたコンピュータプログラムのコード手段を処理するように構成されたプロセッサ330も備える。コード手段は、プロセッサ330上で実行された時に、複数の参照ピクチャを規定するバッファ記述を識別するバッファ記述情報をピクチャの符号化表現からプロセッサ330に取得させる。さらにコード手段は、参照ピクチャ及びバッファ記述におけるリスト順序に従って参照ピクチャに先行する先行の参照ピクチャについてのバッファ記述情報から取得されたピクチャ識別子情報に基づいて、参照ピクチャを識別するピクチャ識別子をプロセッサ330に決定させる。参照ピクチャは、ビデオストリームにおけるピクチャ及び/又は後続のピクチャについての復号参照として使用される。さらにプロセッサ330は、ピクチャ識別子に基づいて復号ピクチャバッファ330を更新するようにされる。復号器300は、ビデオストリームの復号ピクチャを出力するように構成された出力部320も備える。
【0167】
プロセッサ330は、中央処理装置(CPU:central processing unit)等の汎用又は専用のコンピュータ、プロセッサ又はマイクロプロセッサであってよい。ソフトウェアは、少なくとも
図15のデータ取得器110、ピクチャ識別子決定器120、及びバッファマネージャ130の動作を実施するコンピュータプログラムコード要素又はソフトウェアコード部分を含む。
【0168】
プログラムは、RAM等の1つ以上の適切な揮発性コンピュータ可読媒体又はデータ格納手段、あるいは磁気ディスク、CD−ROM、DVDディスク、ハードディスク等の1つ以上の不揮発性コンピュータ可読媒体又はデータ格納手段上あるいはそれらに、ROM又はフラッシュメモリに全てあるいは部分的に格納されてもよい。データ格納手段は、ローカルデータ格納手段であってよく、あるいはデータサーバ等にリモートで提供される。従って、ソフトウェアは、コンピュータの動作メモリ又はプロセッサにより実行するための同等の処理システムにロードされてもよい。コンピュータ/プロセッサは、上述の機能を実行することだけに専念する必要はなく、他のソフトウェアタスクも実行してもよい。復号器300を規定するために使用されたプログラムコードの例は単一命令多重データ(SIMD:single instruction multiple data)コードを含むが、それに限定されない。
【0169】
あるいは、復号器はハードウェアで実現されてよい。
図15における復号器100のユニット110〜150の機能を実現するために使用及び組み合わせ可能な回路網素子の多くの変形例がある。このような変形例は実施形態により含まれる。復号器100のハードウェアの実現例の特定の例は、デジタル信号プロセッサ(DSP:digital signal processor)ハードウェア、並びに汎用電子回路網及び特定用途向け回路網の双方を含む集積回路技術において実現される。
【0170】
実施形態の一態様によれば、
図14に示されるような受信機200が提供される。受信機200は、ビデオストリームの複数のピクチャの符号化表現を受信するように構成された入力部210を備える。符号化表現は、実施形態に係るバッファ記述情報を搬送する。符号化表現は、複数のピクチャの符号化表現を復号するように構成される
図15又は
図17に示されるような復号器100に転送される。受信機200の出力部220は、ビデオストリームの復号ピクチャを出力するように構成される。受信機200は、ピクチャを復号する際に復号器100により使用される参照ピクチャを格納する復号ピクチャバッファ230も備える。
【0171】
図19は、一実施形態に係る符号化器400を示す概略ブロック図である。符号化器400は、複数のピクチャのビデオストリームのピクチャをピクチャの符号化表現に符号化するように構成される。符号化器400は、ビデオストリームの複数の参照ピクチャをビデオストリームにおけるピクチャ及び/又はいずれかの後続のピクチャについての符号化参照として決定するように構成された参照ピクチャ決定器410を備える。符号化器400のピクチャ識別子提供器420は、参照ピクチャ決定器410により決定された各参照ピクチャのそれぞれのピクチャ識別子を提供するように構成される。ピクチャ識別子提供器420により提供されたピクチャ識別子は、関連付けられた参照ピクチャを識別する。
【0172】
符号化器400は、リスト順序に従って最初の参照ピクチャを除く参照ピクチャ決定器410により決定された参照ピクチャの少なくとも一部の各参照ピクチャについてのピクチャ識別子情報を決定するように構成された情報決定器430も備える。ピクチャ識別子情報は、参照ピクチャのピクチャ識別子及びリスト順序に従って先行の参照ピクチャのピクチャ識別子に基づいて決定される。バッファ記述情報生成器440は、決定されたピクチャ識別子情報に基づいてバッファ記述情報を生成するように構成される。バッファ記述情報生成器440により生成されたバッファ記述情報は、参照ピクチャ決定器410により決定された複数の参照ピクチャを規定するバッファ記述を識別する。
【0173】
データ挿入器450は、バッファ記述情報生成器440により生成されたバッファ記述情報を現在のピクチャの符号化表現に挿入するように符号化器400において実現される。従って、現在のピクチャについてのビデオストリームの符号化ビットストリームは、バッファ記述情報を搬送する。これは、現在のピクチャについての復号ピクチャバッファを更新することでピクチャの符号化表現を復号できるようにするために復号器により必要とされる関連情報、即ちピクチャ識別子を規定するバッファ記述情報をピクチャの符号化表現が搬送することを意味する。
【0174】
情報決定器430は、リスト順序に従って最初の参照ピクチャについてのピクチャ識別子情報を決定するようにさらに構成されることが好ましい。その後、該ピクチャ識別子情報は、最初の参照ピクチャのピクチャ識別子及び現在のピクチャのピクチャ識別子に基づいて決定される。
【0175】
図20は、
図19の情報決定器430の特定の一実現例を示す。情報決定器430は、deltaPOC(0)=POC(0)-POC(currPic)等の最初の参照ピクチャのピクチャ識別子と現在のピクチャのピクチャ識別子との差分に基づいてデルタ値を算出するように構成されたデルタ計算器432を備えることが好ましい。その後デルタ識別子決定器434は、absolute_delta_poc(0)=|deltaPOC(0)|等のデルタ値の絶対値に基づいてデルタピクチャ識別子を決定するように構成される。符号識別子決定器463は、デルタ値の符号に基づいて符号識別子を決定するように構成され、例えば、符号はsign(deltaPOC(0))を示す。その後、最初の参照ピクチャのピクチャ識別子情報は、デルタピクチャ識別子及び符号識別子を含む。
【0176】
バッファ記述は、各々がそれぞれの最初の参照ピクチャを有する参照ピクチャの少なくとも1つのリストを含むことが好ましい。このようなケースでは、デルタピクチャ識別子及び符号識別子は、最初の参照ピクチャの各々に対して決定されうる。あるいは、デルタピクチャ識別子及び符号識別子は、第1のリストの最初の参照ピクチャに対して決定されるのに対し、第2のリストの最初の参照ピクチャは、ピクチャ識別子情報としてデルタピクチャ識別子のみを含み、その後該最初の参照ピクチャは、第1のリストの最初の参照ピクチャについての符号と比較して反対符号を使用する。
【0177】
その後デルタ計算器432は、それぞれの最初の参照ピクチャを除く少なくとも1つのリストの各参照ピクチャ番号iについてのデルタ値を算出するように構成されることが好ましい。デルタ値は、参照ピクチャのピクチャ識別子及びリスト順序に従って先行の参照ピクチャを識別するピクチャ識別子に基づいて、好ましくはdeltaPOC(i)=POC(i)-POC(i-1)等のこれらのピクチャ識別子間の差分に基づいて算出される。その後デルタ識別子434は、デルタ値及び先行の参照ピクチャに対して決定されたデルタピクチャ識別子に基づいて参照ピクチャ番号iについてのデルタピクチャ識別子を決定するように構成される。特定の一実施形態において、デルタ識別子決定器434は、absolute_delta_poc(i)=deltaPOC(i)-absolute_delta_poc(i-1)等のデルタ値と先行のデルタピクチャ識別子との差分に基づいてデルタピクチャ識別子を決定するように構成される。あるいは、デルタ識別子決定器434は、absolute_delta_poc(i)=deltaPOC(i)+absolute_delta_poc(i-1)等のデルタ値と先行のデルタピクチャ識別子との和に基づいてデルタピクチャ識別子を決定するように構成される。これらの代替例のうちのどちらを使用するかは、リストが参照ピクチャを昇順又は降順で順序付けするかに依存し、符号化器400において事前設定されることが好ましい。
【0178】
特定の一実施形態において、ピクチャ識別子提供器420は、出力順序等の規定の順序に従って現在のピクチャに先行する参照ピクチャのピクチャ識別子の第1のリストを提供するように構成される。ピクチャ識別子提供器420は、出力順序等の規定の順序に従って現在のピクチャに後続する参照ピクチャのピクチャ識別子の第2のリストを提供するようにさらに構成される。
【0179】
その後デルタ識別子決定器434は、第1のリスト順序に従って第1のリストにおける最初の参照ピクチャを除く第1のリストにおける各参照ピクチャ番号iについてのデルタピクチャ識別子を決定するように構成されることが好ましい。デルタピクチャ識別子は、absolute_delta_poc
A(i)=POC
A(i-1)-POC
A(i)等の第1のリスト順序に従って第1のリストにおける先行の参照ピクチャのピクチャ識別子と参照ピクチャを識別するピクチャ識別子との差分に基づいて決定されることが好ましい。デルタ識別子決定器434は、第2のリスト順序に従って第2のリストにおける最初の参照ピクチャを除く第2のリストにおける各参照ピクチャ番号iについてのデルタピクチャ識別子も決定する。デルタピクチャ識別子は、absolute_delta_poc
B(i)=POC
B(i)-POC
B(i-1)等の参照ピクチャの識別子と第2のリスト順序に従って第2のリストにおける先行の参照ピクチャを識別するピクチャ識別子との差分に基づいて決定されることが好ましい。別の方法において、符号付きのデルタピクチャ識別子は、本明細書において上述したようにデルタ識別子決定器434により決定される。
【0180】
デルタ識別子決定器430は、absolute_delta_poc
A(0)=POC(currPic)-POC
A(0)等の現在のピクチャのピクチャ識別子と第1のリストにおける最初の参照ピクチャのピクチャ識別子との差分に基づいて、第1のリストにおける最初の参照ピクチャについてのデルタピクチャ識別子を決定するようにさらに構成されることが好ましい。デルタ識別子決定器430は、absolute_delta_poc
B(0)=POC
B(0)-POC(currPic)等の第2のリストにおける最初の参照ピクチャのピクチャ識別子と現在のピクチャのピクチャ識別子との差分に基づいて、第2のリストにおける最初の参照ピクチャについてのデルタピクチャ識別子も決定する。
【0181】
図19の符号化器400は、それぞれの参照ピクチャの少なくとも1つのピクチャ識別子を含むリストを提供するように構成されたリスト提供器460を選択的に備える。該リストは、本明細書において上述したように現在のピクチャに対して生成されたバッファ記述情報により識別されたバッファ記述を変更するために復号器により使用される。
【0182】
好適な一実施形態において、データ挿入器450は、バッファ記述情報をピクチャの符号化表現のそれぞれのスライスヘッダに挿入するように構成される。このようなケースでは、現在のピクチャの各スライスヘッダは、同一のバッファ記述情報を搬送することが好ましい。これにより、ピクチャの別のスライスが偶然損失された場合であっても、所定のスライスを復号できるようになる。
【0183】
ピクチャの符号化表現における制御情報のうちの他の位置も、本明細書において上述したようにバッファ記述情報を搬送するために可能である。
【0184】
ピクチャの符号化表現は、例えばスライスヘッダにおけるバッファ記述情報として情報決定器430により決定されたピクチャ識別子情報を搬送できる。これにより、ピクチャの符号化表現におけるバッファ記述の明示的な信号伝送を提供する。
【0185】
別の一実施形態において、符号化器400は、複数の予め定義されたバッファ記述を含むデータ構造を生成するように構成される。それにより、このような予め定義されたバッファ記述の各々は参照ピクチャを規定する。それにより、データ構造は、ピクチャの復号の間に使用されるバッファ記述を提供するために、ビデオストリームにおける複数のピクチャに対して使用可能である。それにより、バッファ記述情報生成器440は、現在のピクチャに対してピクチャ識別子提供器420により提供されたピクチャ識別子に基づいてデータ構造のバッファ記述を選択するように構成される。それにより、ピクチャ識別子を正確に一致させるバッファ記述が選択され、バッファ記述情報生成器440により生成されたバッファ記述情報は、選択されたバッファ記述の識別子を含む。
【0186】
その後データ構造は、PPS又はSPS等のビデオストリームの符号化表現と関連付けられた制御情報フィールドに挿入されうる。関連制御情報の識別子、即ちPPS識別子又はSPS識別子(ひいては適切なSPSについてのSPS識別子を含むPPSについてのPPS識別子の形態でありうる)は、スライスヘッダ等の現在のピクチャの符号化表現の制御情報に含まれることが好ましい。一実施形態において、それにより、スライスヘッダ又は他の制御情報フィールドは、制御情報識別子及び選択されたバッファ記述の識別子をバッファ記述情報として搬送する。
【0187】
符号化器は、ソフトウェアで少なくとも部分的に実現可能である。
図21に示されるようなこのような一実施形態において、符号化器600は、ビデオストリームの複数のピクチャを入力するように構成された入力部610を備える。符号化器600は、メモリ640に格納されたコンピュータプログラムのコード手段を処理するように構成されたプロセッサ630も備える。コード手段は、プロセッサ630上で実行された時に、ビデオストリームのピクチャに対して、ビデオストリームの参照ピクチャをビデオストリームにおけるピクチャ及び/又は後続のピクチャについての符号化参照としてプロセッサ630に決定させる。さらにプロセッサ630は、各参照ピクチャに対して参照ピクチャを識別するピクチャ識別子を提供し、且つリスト順序に従って最初の参照ピクチャを除く決定された参照ピクチャの少なくとも一部の各参照ピクチャに対して、参照ピクチャのピクチャ識別子及びリスト順序に従って先行の参照ピクチャのピクチャ識別子に基づいてピクチャ識別子情報を決定するようにされる。またプロセッサ630は、ピクチャ識別子情報に基づいて参照ピクチャを規定するバッファ記述を識別するバッファ記述情報を生成するようにされる。さらにプロセッサ630は、バッファ記述情報をピクチャの符号化表現に挿入するようにされる。符号化器600は、ピクチャの符号化表現を出力するように構成された出力部620も備える。
【0188】
プロセッサ630は、中央処理装置(CPU)等の汎用又は専用のコンピュータ、プロセッサ又はマイクロプロセッサであってよい。ソフトウェアは、少なくとも
図19の参照ピクチャ決定器410、ピクチャ識別子提供器420、情報決定器430、バッファ記述情報生成器440及びデータ挿入器450の動作を実施するコンピュータプログラムコード要素又はソフトウェアコード部分を含む。
【0189】
プログラムは、RAM等の1つ以上の適切な揮発性コンピュータ可読媒体又はデータ格納手段、あるいは磁気ディスク、CD−ROM、DVDディスク、ハードディスク等の1つ以上の不揮発性コンピュータ可読媒体又はデータ格納手段上あるいはそれらに、ROM又はフラッシュメモリに全てあるいは部分的に格納されてもよい。データ格納手段は、ローカルデータ格納手段であってよく、あるいはデータサーバ等にリモートで提供される。従って、ソフトウェアは、コンピュータの動作メモリ又はプロセッサにより実行するための同等の処理システムにロードされてもよい。コンピュータ/プロセッサは、上述の機能を実行することだけに専念する必要はなく、他のソフトウェアタスクも実行してもよい。符号化器600を規定するために使用されたプログラムコードの例は単一命令多重データ(SIMD)コードを含むが、それに限定されない。
【0190】
あるいは、符号化器はハードウェアで実現されてよい。
図19における符号化器400のユニット410〜460の機能を実現するために使用及び組み合わせ可能な回路網素子の多くの変形例がある。このような変形例は実施形態により含まれる。符号化器400のハードウェアの実現例の特定の例は、デジタル信号プロセッサ(DSP)ハードウェア、並びに汎用電子回路網及び特定用途向け回路網の双方を含む集積回路技術において実現される。
【0191】
実施形態の一態様によれば、
図18に示されるような送信機500が提供される。送信機500は、ビデオストリームの複数のピクチャ10を受信するように構成された入力部510を備える。ピクチャ10は、複数のピクチャ10を符号化し、複数のピクチャの符号化表現の各々を生成するように構成される
図19又は
図21に示されるような符号化器400に転送される。送信機500の出力部520は、複数のピクチャのそれぞれの符号化表現を実施形態のバッファ記述情報を搬送する符号化ビットストリームとして出力するように構成される。
【0192】
付録
本発明の付録は、提案された2つの実施形態の構文を提示する。
【0195】
上述の実施形態は、本発明のいくつかの説明的な例として理解されるべきである。本発明の範囲から逸脱せずに、種々の変形、組合せ及び変更が実施形態に対して行なわれてもよいことは、当業者には理解されるだろう。特に、異なる実施形態における異なる部分の解決策は、技術的に可能な場合には他の構成で組み合わせ可能である。しかしながら、本発明の範囲は、添付の特許請求の範囲により規定される。