【文献】
Miska M. Hannuksela Srikanth Manchenahally Gopalakrishna Nokia Research Center Visiokatu 1, 33720 Ta,AHG21: Removal of reference picture list modification[online], JCTVC-H JCTVC-H0426,インターネット<URL:http://phenix.it-sudparis.eu/jct/doc_end_user/documents/8_San%20Jose/wg11/JCTVC-H0426-v3.zip>
【文献】
Hendry #221 Yangjae-dong, Seocho-gu,Seoul 137-130,Korea,AHG21: Explicit Reference Pictures Signaling with Output Latency Count Scheme[online], JCTVC-G JCTVC-G166,インターネット<URL:http://phenix.it-sudparis.eu/jct/doc_end_user/documents/7_Geneva/wg11/JCTVC-G166-v3.zip>
(58)【調査した分野】(Int.Cl.,DB名)
前記ビットストリームの第1部分に基づき決定された参照ピクチャセットのインデックス値は前記参照ピクチャセットの個数より小さく、前記ビットストリームの第2部分を用いて獲得される参照ピクチャセットのインデックス値は前記候補参照ピクチャセットの個数と同一であることを特徴とする請求項2に記載の復号化方法。
前記デルタ情報は、前記現在参照ピクチャセットのインデックスと前記候補参照ピクチャセットのインデックスとの差分から1を減じた値を示すことを特徴とする請求項2に記載の復号化方法。
【発明を実施するための形態】
【0015】
以下、本発明の望ましい実施形態について、添付した図面を参照して詳細に説明する。ただし、下記の説明及び添付された図面において、本発明の要旨を不明確にする公知機能または構成に係わる詳細な説明は省略する。また、図面全体にわたり、同一の構成要素は、可能な限り同一の図面符号で示されているということに留意しなければならない。
【0016】
以下で説明する本明細書及び特許請求の範囲に使用された用語や単語は、一般的であったり辞書的であったりする意味に限定して解釈されてはならず、発明者は、自身の発明を最善の方法で説明するための用語として適切に定義することができるという原則に基づいて、本発明の技術的思想に符合する意味及び概念に解釈されなければならない。従って、本明細書に記載された実施形態と、図面に図示された構成は、本発明の最も望ましい一実施形態に過ぎず、本発明の技術的思想をいずれも代弁するものではないので、本出願時点において、それらを代替することができる多様な均等物と変形例とがあり得ることを理解しなければならない。
【0017】
本発明の原理は、任意のイントラフレーム基盤とインターフレーム基盤とのエンコーディング標準に適用される。本明細書全般にわたって使用される「映像」という用語は、「映像」という用語自体だけではなく、「フレーム」、「フィールド」及び「スライス」として関連分野で公知されているビデオイメージ情報の多様な形態を説明するための包括的な用語として使用される。
【0018】
参照映像は、現在映像内のブロックをインター予測するために使用される映像でもある。
【0019】
一般的に、エンコーディング側は、POC(picture order count)値を利用して、参照映像を識別することができる。POC値は、対応する映像の相対的なディスプレイ順序を示す。例えば、低いPOC値を有した映像は、高いPOC値を有する映像より先にディスプレイされる。映像のディスプレイ順序と、デコーディングされる順序は、それぞれ異なる。低いPOC値を有する映像が、高いPOC値を有する映像より先にデコーディングされないこともある。低いPOC値を有する映像が、高いPOC値を有する映像より先にデコーディングされるということも言うまでもない。
【0020】
本発明の一実施形態において、説明された技術は、HEVC(high efficiency video coding high efficiency video coding)標準に基づいて説明したが、それに制限されるものではなく、他のビデオコーディング技術にも適用される。例えば、HEVC標準によって、RPS(reference picture set)について説明したが、RPSは、他の標準にも拡張して適用される。
【0021】
以下、添付された図面を参照し、本発明の望ましい実施形態について説明する。
【0022】
図1A及び
図1Bは、本発明の一実施形態によるビデオ符号化装置の内部構成を示したブロック図である。
【0023】
図1Aを参照すれば、本発明の一実施形態によるビデオ符号化装置100は、RPS決定部101及びシグナリング方法決定部102を含んでもよい。
【0024】
本発明の一実施形態において、RPSは、復号化される現在映像の予測復号化に利用される参照映像の集合を意味するものであり、SPS(sequence parameter set)やスライスヘッダ(slice header)において定義される。SPSは、プロファイル、レベルなどシーケンス全体の符号化に係わる情報が含まれているヘッダ情報であり、インデックスによって識別される複数個のRPSを含んでもよい。スライスヘッダは、SPSで定義されたRPS以外に、追加して定義されたRPSを含んでもよい。追加して定義されたRPSは、前記RPSを含むスライスヘッダと対応する映像で利用される。
【0025】
RPSに属した参照映像は、現在映像を基準にしたPOC値で表示される。すなわち、RPSが利用される現在映像のPOC値を0にするとき、参照映像のPOC値が表示される。RPSには、短期RPS(short term reference picture set)と長期RPS(long term reference picture set)が存在するが、本発明の一実施形態において、以下言及されるRPSは、短期RPSでもある。
【0026】
映像符号化装置100が、スライスヘッダ内でRPSを定義する、すなわち、シグナリングする方法として、インターRPS予測方法がある。インターRPS予測方法によれば、映像符号化装置100は、SPSで既定義のRPSのうち一つのRPSを参照して、現在映像の予測復号化に利用されるRPSが獲得されるように、スライスヘッダ内でRPSをシグナリングすることができる。具体的には、映像符号化装置100は、前記RPSのΔ(delta)RPSと、前記RPSが決定されるのに参照される参照RPSのインデックスとをビットストリームに付加することにより、RPSをシグナリングすることができる。復号化側において、RPSは、参照RPSに、参照RPSと前記RPSとの差であるΔRPSが加えられることによって獲得される。すなわち、参照RPSに属した参照映像のPOC値に、それぞれΔRPSが加えられることによってRPSが獲得される。前記参照RPSは、SPSで既定義の値としてインデックスに識別される。
【0027】
本発明の一実施形態によれば、現在映像の予測復号化に利用されるRPSのΔRPSは、現在映像と以前映像とのPOC値の差と同一であるという点から獲得される。このとき、以前映像は、符号化された順序を基準に、現在映像の以前映像を意味する。それは、現在映像の参照映像は、以前出力される映像の参照映像であるか、あるいは以前デコーディングされた映像の参照映像でなければならないからである。従って、本発明の一実施形態において、RPSのΔRPSは、以前デコーディングされた映像と現在映像とのPOC差から獲得される。従って、ビデオ符号化装置100は、ΔRPSと参照RPSのインデックスとをビットストリームに付加せず、現在映像の予測復号化に利用されるRPSをシグナリングすることができる。このとき、復号化側では、現在映像と以前映像とのPOC値の差からRPSのΔRPSを獲得し、以前映像の予測復号化に利用されたRPSを獲得し、ΔRPSと、以前映像の予測復号化に利用されたRPSとから、現在映像の予測復号化に利用されるRPSを獲得することができる。
【0028】
本発明の一実施形態によるビデオ符号化装置100は、現在映像を予測復号化するときに利用されるRPSを決定し、ビデオ符号化装置100がRPSをシグナリングする方法に基づいて、フラグをビットストリームに付加することができる。また、ビデオ符号化装置100は、決定されたRPSを利用して、現在映像を符号化することができる。
【0029】
RPS決定部101は、現在映像の予測復号化に利用されるRPSを決定することができる。決定されたRPSは、シグナリング方法決定部102によって決定されたシグナリング方法によってシグナリングされる。
【0030】
シグナリング方法決定部102は、RPS決定部101によって決定されたRPSをシグナリングするために、ΔRPSに基づいて、RPSをシグナリングするか否かということを決定し、前記決定された結果に基づいて、RPSをシグナリングすることができる。
【0031】
図1Bを参照すれば、本発明の一実施形態によるビデオ符号化装置100は、RPS決定部110、シグナリング方法決定部120、フラグ挿入部130、映像符号化部140及び出力部150を含んでもよい。
図1BのRPS決定部110及びシグナリング方法決定部120は、
図1AのRPS決定部101及びシグナリング方法決定部102と対応するものであり、重複する説明は省略する。RPS決定部110は、現在映像の予測復号化に利用されるRPSを決定することができる。
【0032】
シグナリング方法決定部120は、現在映像の予測復号化に利用されるRPSをシグナリングする方法を決定することができる。シグナリング方法決定部120は、ΔRPSに基づいて、RPSを決定するか否かということを決定し、決定された結果に基づいて、前記RPSをシグナリングする方法を決定することができる。本発明の一実施形態において、ΔRPSに基づいて、RPSをシグナリングする方法は、二つが存在する。第1シグナリング方法によれば、ビデオ符号化装置100は、復号化側が、現在映像と以前映像とのPOC値に基づいてΔRPSを決定し、前記決定されたΔRPSに基づいて、現在映像の予測復号化に利用されるRPSを決定するようにシグナリングすることができる。また、第2シグナリング方法によれば、ビデオ符号化装置100は、復号化側が、現在映像の予測復号化に利用されるΔRPSと、参照RPSのインデックスとに基づいて、現在映像の予測復号化に利用されるRPSを決定するようにシグナリングすることができる。復号化側は、ビデオ符号化装置100から伝送された参照RPSのインデックスを利用して参照RPSを獲得し、ΔRPSと参照RPSとに基づいて、現在映像の予測復号化に利用されるRPSを決定することができる。
【0033】
フラグ挿入部130は、シグナリング方法決定部120によって決定されたシグナリング方法によって、フラグをビットストリームに付加することができる。具体的には、フラグ挿入部130は、前記第1シグナリング方法と、第2シグナリング方法とに対応するフラグ値を異ならせ、ビットストリームに付加することができる。例えば、フラグ挿入部130は、第1シグナリング方法によって、現在映像の予測復号化に利用されるRPSがシグナリングされる場合、フラグ値を1とすることができる。また、フラグ挿入部130は、現在映像の予測復号化に利用されるRPSが、第2シグナリング方法でシグナリングされる場合、フラグ値を0とすることができる。従って、復号化側は、フラグ値に基づいて、シグナリング方法を決定し、決定されたシグナリング方法によって、現在映像の予測復号化に利用されるRPSを決定することができる。
【0034】
映像符号化部140は、RPS決定部110で決定されたRPSを利用して、現在映像を符号化することができる。符号化された映像は、ビットストリーム形態に変換され、出力部150を介してビデオ復号化装置200(
図2A及び
図2B)に伝送される。
【0035】
出力部150は、符号化された映像と、映像を復号化するのに必要な情報に係わるビットストリームとを出力することができる。フラグ挿入部130によって、ビットストリームに付加されたフラグは、映像を復号化するのに必要な情報であり、ビットストリームに付加して出力部150によって出力される。
【0036】
図2A及び
図2Bは、本発明の一実施形態によるビデオ復号化装置の内部構成を示したブロック図である。
【0037】
図2Aを参照すれば、ビデオ復号化装置200は、RPS決定部201を含んでもよい。
【0038】
RPS決定部201は、復号化される現在映像の予測復号化に利用される参照映像の集合であるRPSを決定するために、ΔRPSに基づいて、RPSを決定するか否かということを決定し、前記決定された結果に基づいて、RPSを決定することができる。
【0039】
図2Bを参照すれば、ビデオ復号化装置200は、受信部210、フラグ獲得部220、RPS決定部230及び映像復号化部240を含んでもよい。
図2BのRPS決定部230は、
図2AのRPS決定部201と対応するものであり、重複する説明は省略する。
【0040】
受信部210は、符号化された映像に係わるビットストリームを受信してパージングすることができる。
【0041】
フラグ獲得部220は、パージングされたビットストリームからRPSを獲得するためのフラグを獲得することができる。フラグ値によって、第1シグナリング方法として、現在映像と以前映像とのPOC値に基づいて、現在映像の予測復号化に利用されるRPSが決定されるか、あるいは第2シグナリング方法として、ビデオ符号化装置100から伝送されたΔRPSと、参照RPSのインデックスとに基づいて、現在映像の予測復号化に利用されるRPSが決定される。
【0042】
RPS決定部230は、フラグ獲得部220によって獲得されたフラグによって、現在映像の予測復号化に利用されるRPSを決定することができる。第1シグナリング方法によれば、RPS決定部230は、現在映像と以前映像とのPOC値の差値に基づいて、RPSのΔRPSを決定し、以前映像の予測復号化に利用されたRPSを決定することができる。そして、RPS決定部230は、決定されたΔRPSを、以前映像の予測復号化に利用されたRPSに加えることにより、現在映像の予測復号化に利用されるRPSを決定することができる。すなわち、ΔRPSの値が、以前映像の予測復号化に利用されたRPSに属した参照映像のPOC値それぞれに加えられた値に基づいて、RPSが決定される。また、第2シグナリング方法によれば、RPS決定部230は、ビデオ符号化装置100から伝送された参照RPSのインデックスを利用して、参照RPSを獲得することができる。また、RPS決定部230は、ビデオ符号化装置100から伝送されたΔRPSを参照RPSに加え、現在映像の予測復号化に利用されるRPSを獲得することができる。すなわち、ΔRPSの値が、参照RPSに属した参照映像のPOC値それぞれに加えられた値に基づいて、RPSが決定される。
【0043】
映像復号化部240は、RPS決定部230によって決定されたRPSを利用して、映像を復号化することができる。
【0044】
図3は、本発明の一実施形態による映像符号化部の内部構成を示したブロック図である。
図3を参照すれば、本発明の一実施形態による映像符号化部300は、動き推定部301、動き補償部302、イントラ予測部303、変換部305、量子化部306)、エントロピー符号化部307、逆量子化部308、逆変換部309、デブロッキング部310及びループ・フィルタリング部311を含んでもよい。
図3の映像符号化部300は、
図1の映像符号化部140と対応する。
【0045】
動き推定部301は、動画を構成する映像のうち、外部から現在入力された映像である現在映像に係わるRPSに属した参照映像を利用して、現在映像の動きを推定することができる。
【0046】
動き補償部302は、現在映像に係わるRPSに属した参照映像を利用して、現在映像の予測映像を生成することができる。さらに詳細に説明すれば、動き補償部302は、動き推定部301によって推定された現在映像の動きを利用して、現在映像の予測映像を生成することができる。
【0047】
イントラ予測部303は、現在映像を構成するブロックのうち、イントラモードに該当するブロックそれぞれに対して予測することにより、現在映像の予測映像を生成することができる。
【0048】
変換部305は、現在映像から予測映像を減算して算出された残差映像を、空間領域から周波数領域に変換することができる。例えば、変換部305は、DHT(discrete Hadamard transform)、DCT(discrete cosine transform)の整数変換などを利用して、残差映像を空間領域から周波数領域に変換することができる。
【0049】
量子化部306は、変換部305によって変換された結果を量子化することができる。
【0050】
エントロピー符号化部307は、量子化部306によって量子化された結果を、エントロピー符号化することにより、ビットストリームを生成することができる。特に、エントロピー符号化部307は、量子化部306によって量子化された結果以外に、動画復号化のための情報、例えば、インター予測に使用されたRPS情報、動きベクトル情報、イントラ予測に使用された隣接ブロックの位置情報などをエントロピー符号化することができる。
【0051】
逆量子化部308は、量子化部306によって量子化された結果を逆量子化することができる。
【0052】
逆変換部309は、逆量子化部308によって逆量子化された結果、すなわち、変換係数値を周波数領域から空間領域に変換することにより、現在映像と予測映像との残差映像を復元することができる。
【0053】
デブロッキング部310とループ・フィルタリング部311は、逆量子化部308によって復元された映像に、適応的にフィルタリングを行うことができる。
【0054】
図4は、本発明の一実施形態による映像復号化部の内部構成を示したブロック図である。
図4を参照すれば、本発明の一実施形態による映像復号化部400は、パージング部401、エントロピー復号化部403、逆量子化部405、逆変換部407、イントラ予測部409、動き補償部415、デブロッキング部411、ループ・フィルタリング部413を含んでもよい。
図4の映像復号化部400は、
図2の映像復号化部240と対応する。
【0055】
パージング部401は、ビットストリームから、復号化対象である符号化された映像データ、及び復号化のために必要な符号化に係わる情報をパージングすることができる。
【0056】
エントロピー復号化部403は、ビットストリームをエントロピー復号化することにより、動画復号化のための情報を復元することができる。
【0057】
逆量子化部405は、エントロピー復号化部403によって復元された値を逆量子化することにより、変換係数値を復元することができる。
【0058】
逆変換部407は、逆量子化部402によって復元された変換係数値を、周波数領域から空間領域に変換することにより、現在映像と予測映像との残差映像を復元することができる。
【0059】
イントラ予測部409は、現在映像を構成するブロックのうち、イントラモードに該当するブロックそれぞれについて復元された現在映像を構成するブロックのうち、現在映像のブロックの隣りに位置した復元ブロックの値から、現在映像のブロックの値を予測することにより、現在映像の予測映像を生成することができる。予測映像に残差映像が加算されることにより、復元映像が生成される。
【0060】
動き補償部415は、現在映像の予測復号化に利用されるRPSに含まれた参照映像から、現在映像の予測映像を生成することができる。予測映像に残差映像が加算されることにより、復元映像が生成される。
【0061】
デブロッキング部411とループ・フィルタリング部413は、復元映像に適応的にフィルタリングを行うことができる。
【0062】
図5は、本発明の一実施形態によるRPSシグナリング方法を示したフローチャートである。
図5を参照すれば、段階S501で、本発明の一実施形態による映像符号化装置100は、現在映像の予測復号化に利用されるRPSを決定することができる。すなわち、映像符号化装置100は、現在映像を符号化するときに参照する映像の集合であるRPSを決定することができる。映像符号化装置100は、SPSで定義されたRPSのうち1つのRPSのインデックスを指し示すことによって決定するか、あるいはSPSで定義されたRPS以外に、スライスヘッダで追加してRPSを定義することができる。本発明の一実施形態によれば、SPSで定義されたRPS以外に、追加してRPSがスライスヘッダで定義される場合、後述する第1シグナリング方法及び第2シグナリング方法によって、RPSが定義される。
【0063】
段階S503で、映像符号化装置100は、ΔRPSに基づいて、RPSが獲得されるか否かということを決定することができる。
【0064】
段階S505で、映像符号化装置100は、前記段階S503で決定された結果に基づいて、RPSをシグナリングすることができる。
【0065】
図6は、本発明の一実施形態によるRPSシグナリング方法を示したフローチャートである。
図6を参照すれば、段階S601で、本発明の一実施形態による映像符号化装置100は、ΔRPSに基づいて、現在映像の予測復号化に利用されるRPSをシグナリングすることができる。
【0066】
段階S603で、映像符号化装置100は、ΔRPSに基づいて、RPSをシグナリングする場合、決定された現在映像の予測復号化に利用されるRPSをシグナリングするために、第1シグナリング方法として、決定された現在映像の予測復号化に利用されるRPSをシグナリングするために、現在映像と以前映像とのPOC値の差に基づいて、RPSが獲得されるか、あるいは第2シグナリング方法として、前記RPSのΔRPSと、前記RPSが決定されるのに参照される参照RPSのインデックスとに基づいて、RPSが獲得されるか否かということを決定することができる。このとき、参照RPSは、SPSで既定義のRPSのうち一つであり、参照RPSは、参照RPSのインデックスによって識別される。映像符号化装置100は、前記2つのシグナリング方法のうち、さらに良好な符号化効率を有するシグナリング方法を決定することができる。例えば、映像符号化装置100は、ビット率歪曲コスト(rate distortion cost)に基づいて、RPSのシグナリング方法を決定することができる。段階S605で、現在映像と以前映像とのPOC値に基づいて、RPSを獲得する第1シグナリング方法で、RPSをシグナリングする場合、段階S607で、1の値を有するフラグをビットストリームの所定領域に付加することができる。それにより、現在映像の予測復号化に利用されるRPSがシグナリングされる。
【0067】
段階S605で、ΔRPSと参照RPSのインデックスとをシグナリングする第2シグナリング方法で、現在映像の予測復号化に利用されるRPSをシグナリングする場合、段階S609で、0の値を有するフラグをビットストリームの所定領域に付加することができる。
【0068】
第2シグナリング方法によれば、映像復号化装置200が、現在映像の予測復号化に利用されるRPSをインターRPS方法によって獲得するためには、現在映像のΔRPSと、参照RPSのインデックス値とが必要であるので、符号化された現在映像のΔRPSと、参照RPSのインデックスとがビットストリームに付加されることが必要である。
【0069】
段階S611で、映像符号化装置100は、現在映像の予測復号化に利用されるRPSを獲得するために参照される参照RPSのインデックスを決定することができる。このとき、映像符号化装置100は、符号化効率を基準に、参照RPSのインデックスを決定することができる。参照RPSは、SPSですでに定義されており、各RPSのインデックスとして識別される。
【0070】
段階S613で、映像符号化装置100は、段階S611で決定された参照RPSのインデックスを利用して、ΔRPSを獲得することができる。映像符号化装置100は、参照RPSのインデックスを利用して、SPSで定義された参照RPSを獲得し、獲得された参照RPSと、現在映像の予測復号化に利用されるRPSとの差を求め、ΔRPSを獲得することができる。
【0071】
さらに、段階S613で、ΔRPSが適用される参照RPSの参照映像を示す値も、共に定義される。例えば、参照RPSが、{−1,1,3,5}であり、現在映像の予測復号化に利用されるRPSとしてシグナリングされるRPSが、{−2,0,2}であり、ΔRPS値が−1であると仮定すれば、参照RPSにΔRPSを適用するとき、4番目の参照映像のPOC値には、ΔRPSが適用されないことにより、決定されたRPSは、前記RPS{−2,0,2}と同一値になる。従って、ΔRPSが適用される参照映像を示す値として、4番目の参照映像の位置が0である{1,1,1,0}が定義される。ΔRPSが適用される参照映像を示す値は、第2シグナリング方法はもとより、第1シグナリング方法でも定義されてシグナリングされる。
【0072】
段階S615で、映像符号化装置100は、参照RPSのインデックスとΔRPSとを符号化し、ビットストリームの所定領域に付加することにより、現在映像の予測復号化に利用されるRPSをシグナリングすることができる。
【0073】
図7は、本発明の一実施形態によるRPS決定方法を示したフローチャートである。
図7を参照すれば、段階S701で、映像復号化装置200は、現在映像の予測復号化に利用されるRPSを決定するために、ΔRPSに基づいて、RPSを決定するか否かということを決定することができる。
【0074】
段階S703で、映像復号化装置200は、段階S701で決定された結果に基づいて、RPSを決定することができる。
【0075】
図8は、本発明の一実施形態によるRPS決定方法を示したフローチャートである。
図8を参照すれば、段階S801で、映像復号化装置200は、ΔRPSに基づいて、RPSを決定する場合、現在映像の予測復号化に利用されるRPSを決定するために、第1シグナリング方法を利用するか、あるいは第2シグナリング方法を利用するかということを示すフラグを獲得することができる。
【0076】
段階S803で、フラグが1であるならば、映像復号化装置200は、以下の段階で、第1シグナリング方法を利用して、現在映像の予測復号化に利用されるRPSを決定することができる。
【0077】
段階S805で、映像復号化装置200は、第1シグナリング方法によって、現在映像と以前映像とのPOC値を獲得することができる。
【0078】
段階S807で、映像復号化装置200は、獲得したPOC値を利用して、現在映像のΔRPSを獲得することができる。すなわち、映像復号化装置200は、前記獲得した現在映像と、以前映像とのPOC値の差値を、現在映像の予測復号化に利用されるRPSのΔRPSとして決定することができる。
【0079】
段階S809で、映像復号化装置200は、RPSを獲得するための参照RPSとして利用される、以前映像の予測復号化に利用されたRPSを獲得することができる。
【0080】
段階S811で、映像復号化装置200は、ΔRPSと、以前映像の予測復号化に利用されたRPSとを利用して、RPSを獲得することができる。すなわち、映像復号化装置200は、以前映像の予測復号化に利用されたRPSに属した参照映像のPOC値に、ΔRPSをそれぞれ加えることにより、RPSを獲得することができる。このとき、ΔRPSが適用される参照映像を示す値をさらに利用して、前記RPSが獲得されもする。
【0081】
一方、段階S803で、映像復号化装置200は、フラグが0であるならば、第2シグナリング方法を利用して、現在映像の予測復号化に利用されるRPSを決定することができる。
【0082】
段階S813で、映像復号化装置200は、ビットストリームの所定領域から、参照RPSのインデックスとΔRPSとを獲得することができる。
【0083】
段階S815で、映像復号化装置200は、段階S813で獲得された参照RPSのインデックスを利用して、参照RPSを獲得することができる。参照RPSは、インデックスとして識別されるSPSで既定義の値でもある。
【0084】
段階S817で、映像復号化装置200は、参照RPSとΔRPSとに基づいて、現在映像の予測復号化に利用されるRPSを決定することができる。すなわち、映像復号化装置200は、参照RPSの各参照映像のPOC値にΔRPSを加えることにより、現在映像の予測復号化に利用されるRPSを獲得することができる。このとき、ΔRPSが適用される参照RPSの参照映像を示す値に基づいて、現在映像の予測復号化に利用されるRPSが決定される。
【0085】
図9は、本発明の一実施形態によるSPSの一例を示した図面である。
図9を参照すれば、SPSには短期RPS個数としてのnum_short_term_ref_pic_sets(1)と、num_short_term_ref_pic_sets(1)の値ほどのshort_term_ref_pic_set(i)(3)とが定義される。SPSには、前述のように、映像の予測復号化に利用される参照映像の集合であるRPSが定義され、それぞれのRPSは、インデックスとして識別される。
【0086】
図10は、本発明の一実施形態によるスライスヘッダの一例を示した図面である。
図10を参照すれば、スライスヘッダで短期RPSが定義される場合、short_term_ref_pic_set_sps_flag(5)値に0が付加される。short_term_ref_pic_set_sps_flag(5)値が0であるならば、スライスヘッダのshort_term_ref_pic_set(num_short_term_ref_pic_sets)(7)で、短期RPSが定義される。スライスヘッダで定義されるRPSは、SPSで定義されたRPS以外の値でもある。
【0087】
図11は、本発明の一実施形態による短期RPSの一例を示した図面である。
図11を参照すれば、short_term_ref_pic_set(idx)で、
図10に図示されたスライスヘッダで定義される短期RPSが定義される。
【0088】
インターRPS方法によって、RPSが定義されるか否かということに基づいて、inter_ref_pic_set_prediction_flag(9)値が決定される。
【0089】
if(inter_ref_pic_set_prediction_flag)(11)で、inter_ref_pic_set_prediction_flag値が1であるならば、idx==num_short_term_ref_pic_sets(13)であるとき、すなわち、RPSのインデックスがSPSで定義された短期RPSの個数と同一であるとき、derived_delta_rps_flag(15)値が決定される。
【0090】
SPSに定義された短期RPSのインデックスは0から(num_short_term_ref_pic_sets−1)の値を有することができる。従って、RPSのインデックスが、SPSに定義された短期RPS個数と同一である場合は、スライスヘッダでSPSに定義されていないRPSを定義する場合に該当する。すなわち、derived_delta_rps_flag(15)値は、スライスヘッダでSPSに定義されていないRPSを定義する場合に決定される。
【0091】
derived_delta_rps_flag(15)値は、本発明の一実施形態において、ビットストリームに付加して獲得されるフラグと対応し、derived_delta_rps_flag(15)値に基づいて、RPSがシグナリングされる。
【0092】
derived_delta_rps_flag(15)が0である場合には、本発明の一実施形態によるビデオ復号化装置200は、ΔRPSと、参照RPSのインデックスとを利用して、現在映像の予測復号化に利用されるRPSを獲得することができる。
【0093】
derived_delta_rps_flag(15)が1の場合には、delta_idx_minus1(19)、delta_rps_sign(21)、abs_delta_rps_minus1(23)から、下記数式(1)及び数式(2)によって、ΔRPSと参照RPSのインデックスとが獲得される。
【0094】
DeltaRPS=(1−2*delta_rps_sign)*(abs_delta_rps_minus1+1) (1)
RIdx=idx−(delta_idx_minus1+1) (2)
前記数式(1)及び数式(2)で、DeltaRPSは、ΔRPS、RIdxは、参照RPSのインデックスである。
【0095】
delta_rps_sign(21)は、0または1の値を有し、それぞれ負数値または正数値を意味する。abs_delta_rps_minus1(23)は、ΔRPSで1が減算された値である。
【0096】
idxは、スライスヘッダで定義される短期RPSのインデックスであり、delta_idx_minus1(19)は、Δインデックス値であり、前記RPSと、参照RPSのインデックス値との差値から1が減算された値である。
【0097】
図12A及び
図12Bは、本発明の一実施形態による映像のRPSの一例を示した図面である。
図12Aは、デコーディング順序とPOCとが同一ではない任意アクセス(random access)でデコーディングされるフレームを示したものであり、
図12Bは、デコーディング順序とPOCとが同一である低遅滞(low delay)でデコーディングされるフレームを示したものである。
【0098】
図12A及び
図12Bを参照すれば、各フレーム別に、POC 25,31、参照映像27,33、ΔRPS 29,35が表示されている。フレーム番号は、デコーディングされる順序によるものである。
【0099】
ΔRPS 29,35は、参照RPSと、現在映像の予測復号化に利用されるRPSとに含まれた各参照映像のPOC値の差値である。このとき、参照映像のPOC値は、現在映像が0であるものを基準にする。
図12Aに図示された各フレームの参照RPSは、以前デコーディングされたフレームの予測復号化に利用されたRPSである。従って、参照映像27,33を参照すれば、それぞれ以前映像と現在映像との予測復号化に利用されるRPSは、ΔRPS 29値ほど差が存在する。
【0100】
例えば、
図12Aで、フレーム4のRPSは、{−1,1,3,7}であり、フレーム5のRPSは、{−1,−3,1,5}である。フレーム5のΔRPSは、−2である。従って、フレーム5のRPSは、ΔRPSをフレーム4のRPSにそれぞれ加えることによって獲得される。すなわち、フレーム5のRPSは、{−1−2=−3,1−2=−1,3−2=1,7−2=5}になる。ただし、RPSのPOC値にΔRPSが加えられる場合は、reference idcs値30によって制限される。すなわち、reference idcs値30が1であるPOC値にのみΔRPSが加えられ、現在映像の予測復号化に利用されるRPSが獲得される。reference idcs値30,36は、前述のΔRPSが適用されるRPSの参照映像を示す値と対応する。
【0101】
一方、ΔRPS 29,35とPOC 25,31を比較すれば、POC 25,31の現在映像と以前映像との差値が、各フレームのΔRPS 29,35と同一である。それは、現在映像の参照映像は、以前出力される映像の参照映像であるか、あるいは以前デコーディングされた映像の参照映像ではなければならないからである。従って、本発明の一実施形態において、ΔRPSは、明示的に符号化されて伝送される必要なしに、ビデオ復号化装置200は、以前デコーディングされた映像と現在映像とのPOC差値を利用して、現在映像の予測復号化に利用されるRPSのΔRPSを獲得することができる。
【0102】
本発明の一実施形態によれば、現在映像の予測復号化に利用されるRPSを獲得するためのΔRPSをシグナリングするために、ビデオ符号化装置がΔRPSを明示的に符号化して伝送する必要なしに、ビデオ復号化装置は、現在映像と以前映像とのPOC値の差を利用して、ΔRPSを獲得することにより、ビデオ符号化装置で符号化されるビット数を減らすことができる。
【0103】
本発明は、コンピュータで読み取り可能な記録媒体に、コンピュータ(情報処理機能を有する装置をいずれも含む)で読み取り可能なコードでもって具現することが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取り可能なデータが保存される全種の記録装置を含む。コンピュータで読み取り可能な記録装置の例としては、ROM(read-only memory)、RAM(random-access memory)、CD(compact disc)−ROM、磁気テープ、フロッピー(登録商標)ディスク、光データ保存装置などがある。
【0104】
たとえ前記説明が多様な実施形態に適用される本発明の新規特徴に焦点を合わせて説明したにしても、本技術分野の当業者であるならば、本発明の範囲を外れずに、前述の装置及び方法の形態、並びに詳細事項において、多様な削除、代替及び変更が可能であるということを理解するであろう。従って、本発明の範囲は、前述のところよりは、特許請求の範囲によって定義される。特許請求の範囲の均等範囲におけるあらゆう変形は、本発明の範囲に包摂されるのである。
【先行技術文献】
【非特許文献】
【0105】
【非特許文献1】引用文献1:TK Tan, CS Boon, AHG21: Inter reference picture set prediction syntax and semantics., Joint Collaborative team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 7th Meeting: Geneva, CH, 21-30 November, 2011, 米国,JCTVC, 2011年11月8日, JCTVC-G198, p.1-p.7
【0106】
以下、本願により教示される手段を例示的に列挙する。
(付記1)
復号化される現在映像の予測復号化に利用される参照映像の集合であるRPS(Reference Picture Set)を決定するために、既定義のRPSのうち一つであり、前記RPSが決定されるのに参照される参照RPSに属した参照映像のPOC値と、前記RPSに属した参照映像のPOC(Picture Order Count)値との差値であるΔRPSに基づいて、RPSを決定するか否かということを決定する段階と、
前記決定された結果に基づいて、前記RPSを決定する段階と、を含むことを特徴とするRPS決定方法。
(付記2)
前記RPSを決定する段階は、
前記決定された結果に基づいて、前記現在映像と以前映像とのPOC値に基づいて、前記ΔRPSが決定され、前記決定されたΔRPSに基づいて、前記RPSが決定されるか、あるいは前記参照RPSの識別値である前記参照RPSのインデックスと前記ΔRPSとに基づいて、前記RPSが決定されるか否かということを示すフラグを獲得する段階と、
前記フラグ値によって、前記RPSを決定する段階と、を含むことを特徴とする付記1に記載のRPS決定方法。
(付記3)
前記RPSは、SPS(sequence parameter Set)で事前に定義されていないRPSであることを特徴とする付記1に記載のRPS決定方法。
(付記4)
前記RPSを決定する段階は、
前記現在映像のPOC値と、前記以前映像のPOC値との差値に基づいて、前記RPSのΔRPSを決定する段階と、
前記RPSのΔRPSと、前記以前映像の予測復号化に利用されたRPSとに基づいて、前記RPSを決定する段階と、を含むことを特徴とする付記2に記載のRPS決定方法。
(付記5)
前記RPSを決定する段階は、
前記ΔRPSと、前記参照RPSのインデックスとを獲得する段階と、
前記参照RPSのインデックスに基づいて、前記参照RPSを獲得する段階と、
前記ΔRPSの値が、前記参照RPSに属した参照映像のPOC値にそれぞれ加えられた値に基づいて、前記RPSを決定する段階と、を含むことを特徴とする付記2に記載のRPS決定方法。
(付記6)
復号化される現在映像の予測復号化に利用される参照映像の集合であるRPS(Reference Picture Set)を決定する段階と、
前記決定されたRPSをシグナリングするために、既定義のRPSのうち一つであり、前記RPSが決定されるのに参照される参照RPSに属した参照映像のPOC(Picture Order Count)値と、前記RPSに属した参照映像のPOC値との差値であるΔRPSに基づいて、RPSをシグナリングするか否かということを決定する段階と、
前記決定された結果に基づいて、前記RPSをシグナリングする段階と、を含むことを特徴とするRPSシグナリング方法。
(付記7)
前記RPSをシグナリングする段階は、
前記決定された結果に基づいて、前記現在映像と以前映像とのPOC値に基づいて、前記ΔRPSが決定され、前記決定されたΔRPSに基づいて、前記RPSが獲得されるか、あるいは前記参照RPSの識別値である前記参照RPSのインデックスと前記ΔRPSとに基づいて、前記RPSが獲得されるか否かということを決定する段階と、
前記決定された結果によって、フラグをビットストリームの所定領域に付加する段階と、を含むことを特徴とする付記6に記載のRPSシグナリング方法。
(付記8)
前記RPSは、SPS(sequence parameter Set)で事前に定義されていないRPSであることを特徴とする付記6に記載のRPSシグナリング方法。
(付記9)
前記現在映像と前記以前映像とのPOC値に基づいて、前記RPSが獲得される場合、
前記RPSのΔRPSは、前記現在映像のPOC値と、前記以前映像のPOC値との差値に基づいて決定され、
前記RPSは、前記RPSのΔRPSと、前記以前映像の予測復号化に利用されたRPSとに基づいて、獲得されることを特徴とする付記7に記載のRPSシグナリング方法。
(付記10)
前記ΔRPSと、前記参照RPSのインデックスとに基づいて、前記RPSが獲得される場合、
前記ΔRPSと、前記参照RPSのインデックスとを、前記ビットストリームの所定領域に付加する段階をさらに含み、
前記参照RPSのインデックスに基づいて獲得された前記参照RPSと、前記ΔRPSとに基づいて、前記RPSが獲得されることを特徴とする付記7に記載のRPSシグナリング方法。
(付記11)
復号化される現在映像の予測復号化に利用される参照映像の集合であるRPS(Reference Picture Set)を決定するために、既定義のRPSのうち一つであり、前記RPSが決定されるのに参照される参照RPSに属した参照映像のPOC(Picture Order Count)値と、前記RPSに属した参照映像のPOC値との差値であるΔRPSに基づいて、RPSを決定するか否かということを決定し、前記決定された結果に基づいて、前記RPSを決定するRPS決定部を含むことを特徴とするビデオ復号化装置。
(付記12)
前記ビデオ復号化装置は、
前記決定された結果に基づいて、前記現在映像と以前映像とのPOC値に基づいて、前記ΔRPSが決定され、前記決定されたΔRPSに基づいて、前記RPSが決定されるか、あるいは前記参照RPSの識別値である前記参照RPSのインデックスと前記ΔRPSとに基づいて、前記RPSが決定されるか否かということを示すフラグを獲得するフラグ獲得部をさらに含み、
前記RPS決定部は、
前記フラグ値によって、前記RPSを決定することを特徴とする付記11に記載のビデオ復号化装置。
(付記13)
前記RPSは、SPS(sequence parameter Set)で事前に定義されていないRPSであることを特徴とする付記11に記載のビデオ復号化装置。
(付記14)
復号化される現在映像の予測復号化に利用される参照映像の集合であるRPSを決定するRPS決定部と、
前記決定されたRPSをシグナリングするために、既定義のRPSのうち一つであり、前記RPSが決定されるのに参照される参照RPSに属した参照映像のPOC(Picture Order Count)値と、前記RPSに属した参照映像のPOC値との差値であるΔRPSに基づいて、前記RPSをシグナリングするか否かということを決定し、前記決定された結果に基づいて、前記RPSをシグナリングするシグナリング方法決定部と、を含むことを特徴とするビデオ符号化装置。
(付記15)
前記シグナリング方法決定部は、
前記決定された結果に基づいて、前記現在映像と以前映像とのPOC値に基づいて、前記ΔRPSが決定され、前記ΔRPSに基づいて、前記RPSが獲得されるか、あるいは前記参照RPSの識別値である前記参照RPSのインデックスと前記ΔRPSとに基づいて、前記RPSが獲得されるか否かということを決定し、
前記決定された結果によって、フラグをビットストリームの所定領域に付加するフラグ挿入部をさらに含むことを特徴とする付記14に記載のビデオ符号化装置。