(58)【調査した分野】(Int.Cl.,DB名)
前記変換及び量子化された差は、前記ブロックの前記元のバージョンと、前記少なくとも1つの基準ブロックと、の間の差を変換及び量子化することによって得られ、前記初期イントラ予測モードは、前記ブロックの前記元のバージョンと、前記少なくとも1つの基準ブロックと、の間の前記差の変換及び量子化されたバージョンの量子化インデックスを修正することによって前記空間パターンに埋め込まれ、前記空間パターンにおける前記ブロックを符号化するために用いられる前記初期イントラ予測モードを埋め込む埋め込み動作は、変換領域において実施される、請求項4記載の方法。
前記変換及び量子化された差は、前記ブロックの前記元のバージョンと、前記少なくとも1つの基準ブロックと、の間の差を変換及び量子化することによって得られ、前記ブロックを符号化するために用いられる前記初期イントラ予測モードは、前記ブロックの前記元のバージョンと、前記少なくとも1つの基準ブロックと、の間の前記差の変換され及び量子化されていないバージョンの大きさを修正することによって前記空間パターンに埋め込まれる、請求項4記載の方法。
前記空間パターンに前記ブロックを符号化するために用いられる前記初期イントラ予測モードを埋め込む埋め込み動作は、変動マトリックスを前記イントラ予測モード残差に追加することによって空間領域で行われ、前記変動マトリックスは、前記変動マトリックス及びイントラ予測モード残差の合計の前記復号化されたバージョンから最小ノルム及びモードを導出させることができるように選択される、請求項4記載の方法。
前記変換及び量子化された差は、前記ブロックの前記元のバージョンと、前記少なくとも1つの基準ブロックと、の間の差を変換及び量子化することによって得られ、前記ブロックを符号化するために用いられる前記初期イントラ予測モードは、前記変換及び前記量子化の前に前記ブロックの前記元のバージョンと、前記少なくとも1つの基準ブロックと、の間の前記差の大きさを修正することによって前記空間パターンに埋め込まれる、請求項7記載の方法。
ビデオデコーダであって、前記ビデオデコーダで画像を再構成するために用いられる復号化されたイントラ予測モード残差について空間パターンを決定することによって、前記画像内の少なくとも1つのブロックについて画像データを復号化する、前記ビデオデコーダと、
前記ブロックの元のバージョンと少なくとも1つの基準ブロックとの間の変換及び量子化された差を逆量子化及び逆変換することによって前記復号化されたイントラ予測モード残差を得るための逆量子化器及び逆変換器と、
前記ブロックを復号化するためのイントラ予測モードを決定するために前記空間パターンを用いる決定回路とを備え、
前記空間パターンは、最確モードを決定するために用いられ、前記最確モードは、前記ブロックを復号化する前記イントラ予測モードを復号化するために用いられ、
前記最確モードは、複数のイントラ予測モードの間から決定され、
前記空間パターンの空間領域分析は、前記復号化されたイントラ予測モード残差における残差ピクセルの傾き、及び前記復号化されたイントラ予測モード残差と、予め定義された方向性ブロックマスクと、の間で計算される相関、のうちの少なくとも1つに基づく、装置。
【背景技術】
【0003】
国際標準化機構/国際電気標準会議(International Organization for Standardization/International Electrotechnical Commission)のMPEG−4 Part 10 AVC(Moving Picture Experts Group-4 Part 10 Advanced Video Coding)標準/ITU−T(International Telecommunication Union, Telecommunication Sector)H.264勧告(以下、「MPEG−4 AVC標準」)は、イントラ符号化用の空間方向予測を用いる最初のビデオ符号化標準である。イントラ符号化用の空間方向予測はより柔軟な予測フレームワークを提供し、それにより符号化効率は、変換領域においてだけで行われた以前の標準を越えて大きく改善される。MPEG−4 AVC標準によれば、空間イントラ予測は、取り囲む利用可能なサンプル、すなわち同一のスライス内でデコーダで利用可能な前に再構成されたサンプルを用いて実行される。輝度サンプルに対して、イントラ予測は4×4ブロック単位(Intra_4x4として示される)、8×8ブロック単位(Intra_8x8として示される)、及び16×16マクロブロック単位(Intra_16x16として示される)で行うことができる。
図1を参照すると、4×4ブロック単位(Intra_4x4)についてのMPEG−4 AVC標準の方向イントラ予測は参照符号100によって概略的に示されている。予測方向は参照符号110によって概して示され、イメージブロックは参照符号120によって概略的に示し、現ブロックは、参照符号130によって概略的に示されている。輝度予測に加えて、個別クロマ予測が実行される。Intra_4x4及びIntra_8x8に対して計9つの予測モード、Intra_16x16に対して4つの予測モード、クロマ成分に対して4つの予測モードがある。エンコーダは、通常、予測と符号化されるべき元のブロックとの間の差異を最小にする予測モードを選択する。更に、I_PCMと示されたイントラ符号化モードは、エンコーダが予測及び変換符号化処理を単に迂回することを可能にする。それはエンコーダがサンプルの値を正確に表し、復号化イメージ品質を制約することなく符号化マクロブロックに含まれ得るビット数について絶対限界を置くことを可能にする。
【0004】
図2を参照すると、MPEG−4 AVC標準のIntra_4x4モードのための予測サンプルのラベル化が参照符号200によって概して示されている。
図2は前に符号化及び再構成され、よって予測を形成するためにエンコーダ及びデコーダで利用可能な現ブロックの上及び左に(大文字A−Mで)サンプルを示している。
【0005】
図3B−Jを参照すると、MPEG−4 AVC標準のIntra_4x4輝度予測モードが参照符号300によって概略的に示されている。予測ブロックのサンプルa,b,c,...,pはIntra_4x4輝度予測モード300を用いてサンプルA−Mに基づいて計算される。
図3B〜Jの矢印はIntra_4x4モード300の各々についての予測の方向を示している。そのIntra_4x4輝度予測モード300はモード0−8を含み、モード0(
図3B、参照符号310によって示されている)は垂直予測モードに対応し、モード1(
図3C、参照符号311によって示されている)は水平予測モードに対応し、モード2(
図3D、参照符号312によって示されている)はDCモードに対応し、モード3(
図3E、参照符号313によって示されている)は斜め左下モードに対応し、モード4(
図3F、参照符号314によって示されている)は斜め右下モードに対応し、モード5(
図3G、参照符号315によって示されている)は垂直右モードに対応し、モード6(
図3H、参照符号316によって示されている)は水平下モードに対応し、モード7(
図3I、参照符号317によって示されている)は垂直左モードに対応し、モード8(
図3J、参照符号318によって示されている)は水平上モードに対応する。
図3AはIntra_4x4モード300の各々に対応した通常の予測方向330を示している。
【0006】
モード3−8において、予測したサンプルは予測サンプルA−Mの重み付け平均から形成される。Intra_8x8は、基本的にIntra_4x4予測と同一のコンセプトを使用するが、予測性能を改善するためにブロックサイズ8x8及び予測器のローパスフィルタリングを使用する。
【0007】
図4A−Dを参照すると、MPEG−4 AVC標準に対応する4つのIntra_16x16モードが参照符号400によって概略的に示されている。4つのIntra_16x16モード400はモード0−3を含み、モード0(
図4A、参照符号411によって示されている)は垂直予測モードに対応し、モード1(
図4B、参照符号412によって示されている)は水平予測モードに対応し、モード2(
図4C、参照符号413によって示されている)はDC予測モードに対応し、モード3(
図4D、参照符号414によって示されている)は平面予測モードに対応する。イントラ符号化マクロブロックの各8x8クロマ成分は、前に符号化された上方及び/又は左のクロマサンプルから予測され、両方のクロマ成分は同一の予測モードを使用する。4つの予測モードは、モードの番号付けが異なることを除いてIntra_16x16に非常に似ている。そのモードは、DC(モード0)、水平(モード1)、垂直(モード2)、及び平面(モード3)である。
【0008】
4×4/8×8/16×16ブロック毎のイントラ予測モードの選択はデコーダに信号が送られなければならず、これは潜在的に非常に多くのビットを必要とする可能性がある。H.264/AVCは非常に多くのビットの使用を避けるためにイントラモードを信号で伝える特定の方法を有している。例としてIntra_4x4の場合には、隣接の4×4ブロックについてのイントラモードが度々相互に関連付けされる。この相互の関連付けを利用するために、予測符号化はイントラモードを信号で伝えるためにH.264/AVCで使用される。
図5を参照すると、現ブロックE及びその隣接のブロックA,B,Cは参照符号500によって概略的に示されている。現ブロック(
図5のブロックE等)毎に、エンコーダ及びデコーダは、ブロックA及びブロックBの予測モードの最小値である最も起きそうな予測モードを計算する。それらの隣接のブロックのいずれかが利用できないならば(例えば、現スライス外又はIntra_4x4モードに符号化されていない)、失われているブロック(A又はB)のための対応するモード値が2(DC予測モード)に設定される。
【0009】
エンコーダは、4×4ブロック毎にフラグ、pre_intra4x4_pred_modeを送信する。フラグが“1”に等しいならば、最も起きそうな予測モードが用いられる。フラグが“0”に等しいならば、他のパラメータrem_intra4x4_pred_modeがモードの変更を示すために送信される。
【0010】
rem_intra4x4_pred_modeが現在の最も起きそうな予測モードより小さいならば、予測モードはrem_intra4x4_pred_modeに設定され、そうでなければ、予測モードは(rem_intra4x4_pred_mode+1)に設定される。
【0011】
このように、現イントラモード(0〜8)を信号で伝えるべく選択したrem_intra4x4_pred_modeを送信するために8つの値(0〜7)だけが要求される。
【0012】
Intra_8x8の信号送信はIntra4x4の場合と同一である。Intra16x16モードで符号化された輝度又はイントラモードで符号化されたクロマについての予測モードは、マクロブロックのヘッダにおいて示され、そのモードの予測符号化はそれらの場合に使用されない。
【0013】
MPEG−4 AVC標準における最も起きそうな予測モードは簡単に計算することができ、予測モードを符号化するために要求されるビット数を減少させるけれども、それは符号化されるべき現ブロックの空間特性ではなく、隣接のブロックの空間特性に基づいている。その結果、それは現ブロックのローカル空間特性をキャッシングすることにおいて最適化ではない。
【0014】
イントラ予測モードを信号で送る方法はイントラ符号化のための現ビデオエンコーダの効率において基本となっている。復号化(再構成)されたイントラ予測の残差(residues)が、選択したイントラ予測モードに高く相互に関連付けされているいくつかの空間パターンを示す傾向にあるように、イントラ予測がビデオ信号の空間相関を完全に取り除くことができないことが観測されている。例えば、垂直パターンを有するイメージについては垂直イントラ予測モードが選択されるべき傾向にある。我々は符号化の残差も垂直パターンを有することを観測している。上述したように、これは元の信号における垂直相関関係を垂直イントラ予測によって完全に除去することができないためである。しかしながら、存在する技術のいずれもイントラ予測モード符号化のためにこの相関関係を利用しなかった。
【発明を実施するための形態】
【0023】
本発明の原理は、イントラ予測モードの効率的なビデオ符号化及び復号化方法及び装置に関する。
【0024】
本説明は、本発明の原理を示している。当然のことながら、その分野の当業者は、本明細書では明確に説明又は示されてはいないけれども、本発明の原理を用い、その趣旨及び範囲内に含まれる様々なアレンジメントを考え出すことができる。
【0025】
本明細書で示された全ての例及び条件付き言語は、読み手が本発明の原理とその技術を促進することに発明者によって寄与されるコンセプトとを理解する手助けとなるように教育的目的を意図としており、そのように特に示された例及び条件に対して限定せずに解釈されるべきである。
【0026】
更に、本発明の原理、態様、及び実施形態を示す本明細書の全ての記載及びその特定の例は、構成的及び機能的な等価物の両方を包含することが意図される。加えて、そのような等価物は、現在知られた等価物及び将来開発されうる等価物、すなわち構成に拘わらず同一の機能を行う開発される要素の両方を含むことが意図される。
【0027】
よって、例えば、本明細書に示されたブロック図は、本発明の原理を実施するための説明的な回路の概念的な観点を表していることが、その分野の当業者に理解されるであろう。同様に、当然のことながら、フローチャート、フロー図、状態変遷図、擬似コード等は、コンピュータ又はプロセッサが明確に示されているか否かであろうと、コンピュータ読み取り可能な媒体においてほぼ表され、コンピュータ又はプロセッサで実行され得る様々な処理を表している。
【0028】
図示された様々な要素の機能は、専用のハードウエア、及び適当なソフトウエアと関連してソフトウエアを実行することができるハードウエアの使用を通して提供されても良い。プロセッサによって提供される場合に、その機能は1つの専用のプロセッサによって、1つの共有のプロセッサによって、又はいくつかは共有されても良い複数の個々のプロセッサによって提供されても良い。更に、用語「プロセッサ(processor)」又は「コントローラ(controller)」の明確な使用はソフトウエアを実行可能なハードウエアに排他的に言及することに解釈されるべきでなく、また、限定されないが、DSP(ディジタルシグナルプロセッサ)ハードウエア、ソフトウエアを保存するROM(リードオンリメモリ)、RAM(ランダムアクセスメモリ)、及び不揮発性記憶装置を暗黙的に含んでも良い。
【0029】
他のハードウエア、従来及び/又はカスタムのハードウエアが含まれても良い。同様に、図に示されたスイッチは単に概念的である。それらの機能はプログラムロジックの動作を通して、専用のロジックを通して、プログラム制御及び専用のロジックのインタラクションを通して、又はマニュアルでも実行されても良く、特定の技術はコンテキストから更に特に理解されるように実施者によって選択可能である。
【0030】
これに関するクレームにおいて、特定の機能を実行する手段として表現されたどの要素も、例えば、a)その機能を行う複数の回路要素の組み合わせ、又はb)その機能を行うためにソフトウエアを実行する適当な回路と組み合わされたファームウエア、マイクロコード等を含む何らかの形式のソフトウエアを含む機能を実行するいくつかの方法を包含するように意図される。本発明の原理は、そのようなクレームによって定義されるように、様々な記載の手段によって提供される機能はクレームが要求する方法で組み合わされ、また一緒にされるという事実において存在する。よって、それらの機能を提供することができるどんな手段も本明細書に示されたそれらに等価であると見なされる。
【0031】
本発明の原理の「1つの実施形態(one embodiment)」又は「実施形態(an embodiment)」及びそれの他の変形についての明細書における言及は、その実施形態と関連して説明された特定の特徴、構成、特性等が本発明の原理の少なくとも1つの実施形態に含まれることを意味する。よって、明細書を通して様々な場所に現れる表現「1つの実施形態において(in one embodiment)」又は「実施形態において(in an embodiment)」及び他の変形例の出現は同一の実施形態について必ずしも全てを参照しない。
【0032】
当然のことながら、次の、例えば、「A/B」、「A及び/又はB」、及び「A及びBの少なくとも1つ」の場合における「/」、「及び/又は」、及び「の少なくとも1つ」のいずれの使用は、第1に記載の選択肢(A)だけの選択、又は第2に記載の選択肢(B)だけの選択、又は両選択肢(A及びB)の選択を含むことを意図している。更に例として、「A、B、及び/又はC」及び「A、B、及びCの少なくとも1つ」の場合に、そのような表現は、第1に記載の選択肢(A)だけの選択、又は第2に記載の選択肢(B)だけの選択、又は第3に記載の選択肢(C)だけの選択、又は第1及び第2に記載の選択肢(A及びB)だけの選択、又は第1及び第3に記載の選択肢(A及びC)だけの選択、又は第2及び第3に記載の選択肢(B及びC)だけの選択、3つの選択肢全て(A及びB及びC)の選択を含むことを意図している。これは、記載された多くの事項に対して、この及び関連した技術における当業者によって実際に明らかなように拡張されても良い。
【0033】
また、本明細書で使用されたように、単語「画像(picture)」及び「イメージ(image)」は、区別しないで使用され、静止画又はビデオシーケンスからの画像に言及する。知られているように、画像はフレーム又はフィールドであっても良い。
【0034】
加えて、本明細書で使用されたように、単語「信号(signal)」は対応するデコーダに対して何かを示していることに言及する。例えば、エンコーダは、イントラ符号化モードのどの特定の1つ、又はセット、又はサブセットがエンコーダ側で用いられたかをデコーダに気付かせるためにイントラ符号化モードの特定の1つ、又はセット、又はサブセットを信号で伝えても良い。このように、同一のイントラ符号化モードがエンコーダ側及びデコーダ側の両方で使用されても良い。よって、例えば、エンコーダは、デコーダがイントラ符号化モードの同一の特定の1つ、又はセット、又はサブセットを使用することができるようにイントラ符号化モードの同一の特定の1つ、又はセット、又はサブセットを送信しても良く、又はデコーダがイントラ符号化モードの同一の特定の1つ、又はセット、又はサブセット、及びその他を既に所有しているならば、信号伝送は、デコーダがイントラ符号化モードの特定の1つ、又はセット、又はサブセットを知って選択することを単に可能にするように使用されても良い。いくつかの実際のイントラ符号化モードの送信を避けることによって、ビットセービングを現実化することができる。当然のことながら、様々な方法で信号伝送を達成することができる。例えば、対応するデコーダに情報を信号で送るために1以上のシンタックス要素、フラグ等を用いることができる。
【0035】
更に、当然のことながら、本発明の原理の1以上の実施形態がMPEG−4 AVC標準について本明細書で説明されるが、本発明の原理はこの標準だけに限定されず、他のビデオ符号化標準、勧告、MPEG−4 AVC標準の拡張を含む、それらの拡張について利用されても良く、また、本発明の原理の趣旨を維持すれば良い。
【0036】
図6を参照すると、本発明の原理が適用可能なビデオエンコーダの例が参照符号600によって概略的に示されている。
【0037】
ビデオエンコーダ600は、結合器685の非反転入力と信号通信する出力を有するフレームオーダリングバッファ610を含んでいる。結合器685の出力は、変換器及び量子化器625の第1の入力と信号通信可能に接続されている。変換器及び量子化器625の出力は、エントロピコーダ645の第1の入力、及び逆変換器及び逆量子化器650の第1の入力と信号通信可能に接続されている。エントロピコーダ645の出力は、結合器690の第1の非反転入力と信号通信可能に接続されている。結合器690の出力は、出力バッファ635の第1の入力と信号通信可能に接続されている。
【0038】
エンコーダコントローラ605の第1の出力は、フレームオーダリングバッファ610の第2の入力、逆変換器及び逆量子化器650の第2の入力、画像タイプ決定モジュール615の入力、マクロブロックタイプ(MBタイプ)決定モジュール620の第1の入力、イントラ予測モジュール660の第2の入力、デブロッキングフィルタ665の第2の入力、動き補償器670の第1の入力動き推定器675の第1の入力、及び基準画像バッファ680の第2の入力と信号通信可能に接続されている。
【0039】
エンコーダコントローラ605の第2の出力は、SEI(Supplemental Enhancement Information) 挿入器630の第1の入力、変換器及び量子化器625の第2の入力、エントロピコーダ645の第2の入力、出力バッファ635の第2の入力、及びSPS(Sequence Parameter Set)及びPSP(Picture Parameter Set) 挿入器640の入力と信号通信可能に接続されている。
【0040】
SEI挿入器630の出力は、結合器690の第2の非反転入力と信号通信可能に接続されている。
【0041】
画像タイプ決定モジュール615の第1の出力は、フレームオーダリングバッファ610の第3の入力と信号通信可能に接続されている。画像タイプ決定モジュール615の第2の出力は、マイクロブロックタイプ決定モジュール620の第2の入力と信号通信可能に接続されている。
【0042】
SPS(Sequence Parameter Set)及びPSP(Picture Parameter Set)挿入器640の出力は、結合器690の第3の非反転入力と信号通信可能に接続されている。
【0043】
逆量子化及び逆変換器650の出力は、結合器619の第1の非反転入力と信号通信可能に接続されている。結合器619の出力は、イントラ予測モジュール660の第1の入力及びデブロッキングフィルタ665の第1の入力と信号通信可能に接続されている。デブロッキングフィルタ665の出力は基準画像バッファ680の第1の入力と信号通信可能に接続されている。基準画像バッファ680の出力は、動き推定器675の第2の入力及び動き補償器670の第3の入力と信号通信可能に接続されている。動き推定器675の第1の出力は、動き補償器670の第2の入力と信号通信可能に接続されている。動き推定器675の第2の出力はエントロピコーダ645の第3の入力と信号通信可能に接続されている。
【0044】
動き補償器670の出力は、スイッチ697の第1の入力と信号通信可能に接続されている。イントラ予測モジュール660の出力は、スイッチ697の第2の入力と信号通信可能に接続されている。マイクロブロックタイプ決定モジュール620の出力は、スイッチ697の第3の入力と信号通信可能に接続されている。スイッチ697の第3の入力は、スイッチの「データ」入力が(コントロール入力、すなわち第3の入力と比較すると)動き補償器670とイントラ予測モジュール660とのいずれによって提供されるべきであるかを決定する。スイッチ697の出力は、結合器619の第2の非反転入力及び結合器685の反転入力と信号通信可能に接続されている。
【0045】
フレームオーダリングバッファ610の第1の入力及びエンコーダコントローラ605の入力は、入力画像を受信するエンコーダ600の入力として利用可能である。更に、SEI(Supplemental Enhancement Information)挿入器630の第2の入力は、メタデータを受信するエンコーダ600の入力として利用可能である。出力バッファ635の出力はビットストリームを出力するエンコーダ600の出力として利用可能である。
【0046】
図7を参照すると、本発明の原理が適用可能なビデオデコーダの例が、参照符号700によって概略的に示されている。
【0047】
ビデオデコーダ700は、エントロピデコーダ745の第1の入力と信号通信可能に接続された出力を有する入力バッファ710を含んでいる。エントロピデコーダ745の第1の出力は、逆変換器及び逆量子化器750の第1の入力と信号通信可能に接続されている。逆変換器及び逆量子化器750の出力は、結合器725の第2の非反転入力と信号通信可能に接続されている。結合器725の出力はデブロッキングフィルタ765の第2の入力及びイントラ予測モジュール760の第1の入力と信号通信可能に接続されている。デブロッキングフィルタ765の第2の出力は、基準画像バッファ780の第1の入力と信号通信可能に接続されている。基準画像バッファ780の出力は動き補償器770の第2の入力と信号通信可能に接続されている。
【0048】
エントロピデコーダ745の第2の出力は、動き補償器770の第3の入力、デブロッキングフィルタ765の第1の入力、及びイントラ予測器760の第3の入力と信号通信可能に接続されている。エントロピデコーダ745の第3の出力はデコーダコントローラ705の入力と信号通信可能に接続されている。デコーダコントローラ705の第1の出力はエントロピデコーダ745の第2の入力と信号通信可能に接続されている。デコーダコントローラ705の第2の出力は、逆変換器及び逆量子化器750の第2の入力と信号通信可能に接続されている。デコーダコントローラ705の第3の出力は、デブロッキングフィルタ765の第3の入力と信号通信可能に接続されている。デコーダコントローラ705の第4の出力は、イントラ予測モジュール760の第2の入力、動き補償器770の第1の入力、及び基準画像バッファ780の第2の入力と信号通信可能に接続されている。
【0049】
動き補償器770の出力は、スイッチ797の第1の入力と信号通信可能に接続されている。イントラ予測モジュール760の出力はスイッチ797の第2の入力と信号通信可能に接続されている。スイッチ797の出力は結合器725の第1の非反転入力と信号通信可能に接続されている。
【0050】
入力バッファ710の入力は、入力ビットストリームを受信するデコーダ700の入力として利用可能である。デブロッキングフィルタ765の第1の出力は、出力画像を出力するデコーダ700の出力として利用可能である。
【0051】
上述のように、本発明の原理はイントラ予測モードの効率的なビデオ符号化及び復号化方法及び装置に関する。上記の従来技術の限定及び欠点を認識し、本発明の原理の1以上の実施形態は(符号化又は復号化されるべき)現ブロックの空間特性を考慮してイントラ予測モード符号化の効率を改善する。
【0052】
イントラ予測は、ビデオ符号化効率を改善することを手助けすることができる。しかしながら、イントラ予測モードの信号伝送は多くのビットを消費する可能性がある。よって、本発明の原理の少なくとも1つの実施形態によれば、我々はイントラ予測モードシンタックスを符号化及び復号化する効率的方法及び装置を開示及び説明する。少なくとも1つの実施形態においては、イントラ予測モードをデコーダに運ぶビットを避ける又は最小化することができるように、復号化されたイントラ予測の残差がイントラ予測モードを符号化するためにサイド情報として用いられる。例えば、少なくとも1つの実施形態において、復号化されたイントラ予測の残差の空間パターンはサイド情報として用いられる。
【0053】
本発明の原理はビデオ符号化及びビデオ復号化から観測された所定の動作を利用する。ビデオコンテンツを符号化するとき、エンコーダはいくつかの基準に従ってイントラ符号化モードを選択し、イントラ予測を行う。一方、残差と呼ばれる予測エラーは、符号化(変換、量子化、及びエントロピ符号化)され、デコーダに送信される。一方、符号化されたイントラ予測の残差は、続くフレームを符号化するための基準として現フレームを再構成するためにエンコーダで復号化される。前述したように、異なるイントラ予測モードは異なる方向を有する。我々は、イントラ予測モードであれば、復号化された予測残差の空間パターンがイントラモードの方向と高い相関関係を有することを観測した。よって、本発明の原理は、この観測を利用し、そのイントラ予測モードを表すビットを節約することができる。
【0054】
(実施形態1)
第1の実施形態(また、本明細書では実施形態1と区別なく呼ばれる)において、エンコーダは最良のイントラ予測モードmを選択し、予測残差を符号化する。そして、エンコーダは、復号化された残差の空間パターンを調べ、イントラ予測モードmを最確モード(most probable mode)として導き出す。エンコーダは、その残差及びモードシンタックス(mode syntax)をデコーダに送信する。デコーダは先ずその残差シンタックスを解析し、その復号化された残差の空間パターンを調べることによって最確モードnを導き出す。そして、そのモードシンタックスは解析され、イントラ予測モードが導き出される。実施形態1において、我々はMPEG−4 AVC標準で使用された方法より更に正確に最確モードを得ることができる。
【0055】
図8を参照すると、本発明の原理の実施形態に応じて現ブロックのイントラ予測モードを符号化する方法の例が参照符号800によって概略的に示されている。特に、方法800は実施形態1の符号化実施の一例を表し、復号化されたイントラ予測残差の空間パターンから最確モードを導き出して現ブロックのイントラ予測モードを復号化することを含む。その方法800は、ロープ限定ブロック810へ制御を渡す開始ブロック805を含んでいる。ロープ限定ブロック810は、0からブロック数−1(num_MBs_minus1)までの範囲を有する変数iを用いて現画像内の各マクロブロックに亘るループを開始し、機能ブロック815へ制御を渡す。機能ブロック815はいくつかの基準に基づいてイントラ予測モードmを選択し、機能ブロック820へ制御を渡す。機能ブロック820はモードmでイントラ予測残差を符号化し、機能ブロック825へ制御を渡す。機能ブロック825はその残差を復号化し、機能ブロック830へ制御を渡す。機能ブロック830は復号化された残差の空間パターンからモードnを導き出し、機能ブロック835へ制御を渡す。機能ブロック835は最確モードとしてのモードnでモードmを符号化し、ロープ限定ブロック840へ制御を渡す。ロープ限定ブロック840は各マクロブロックに亘るループを終了し、 終了ブロック899へ制御を渡す。
【0056】
図9を参照すると、本発明の原理の実施形態に応じて現ブロックのイントラ予測モードを復号化する方法の例が参照符号900によって概略的に示されている。特に、方法900は、実施形態1の復号化実施の一例を表し、復号化されたイントラ予測残差の空間パターンから最確モードを導き出して現ブロックのイントラ予測モードを復号化することを含む。その方法900は、ロープ限定ブロック910へ制御を渡す開始ブロック905を含む。ロープ限定ブロック910は0からマクロブロック数−1(num_MBs_minusl)までの範囲を有する変数iを用いて現画像内の各マクロブロックを亘るループを開始し、機能ブロック915へ制御を渡す。機能ブロック915はイントラ予測残差を復号化し、機能ブロック920へ制御を渡す。機能ブロック920は復号化された残差の空間パターンからモードnを導きだし、機能ブロック925へ制御を渡す。機能ブロック925は最確モードとしてモードnでイントラ予測モードmを復号化し、機能ブロック930へ制御を渡す。機能ブロック930はモードmでブロックを復号化し、ロープ限定ブロック935へ制御を渡す。ロープ限定ブロック935はマクロブロック各々に亘るループを終了し、終了ブロック999へ制御を渡す。
【0057】
実施形態1については、復号化された残差の空間パターンからイントラ予測モードnを導き出すためにいくつかの異なる方法を用いることができる。
【0058】
1.1つの方法は各復号化された残差ピクセルで傾き及びエッジ方向(傾きに対して垂直な単位ベクトルであると定義されている)を計算するためにSobelオペレータを適用することである。エッジ方向は全残差ブロックに亘って平均化され、その導き出されたイントラ予測モードnは平均化エッジ方向に対する最小の角度誤差を有するモードである。ブロックにおける平均傾きの大きさが閾値より小さいならば、DCモードはnとして選択される。nは最確モードとして用いられる。
【0059】
2.他の方法は方向のテクスチャを有するいくつかのテンプレートブロックを予め定義することであり、テクスチャの方向を異なるイントラ予測モードに対応させる。残差ブロックとそれらテンプレートブロックの各々との間の相関関係が計算される。イントラ予測モードnは残差ブロックと最も高い相関関係を有するテンプレートブロックから選択される。
【0060】
3.いくつかの他の方法においては、復号化された残差の空間パターンを変換領域から分析することができる。復号化された残差ブロックは先ず変換される。その変換としては限定されないが、DCT(離散コサイン変換)、DCTの整数実施、アダマール(Hadamard)変換、ウェーブレット変換等を用いることができる。変換されたブロックにおいては、異なる位置における係数は異なる空間パターンに対応する(例えば、第1の変換係数はフラット残差ブロックに対応し、第1の列の係数は異なる期間を有する垂直パターンからなるブロックに対応する)。我々は複数の重要な係数をそれらの大きさが予め定められた閾値より大きいと定義することができる。出力イントラ予測モードnはそれらの重要な係数の位置の関数、又はそれらの重要な係数の大きさ及び位置の両方の関数である。
例:
次は実施形態1を詳細に説明する特定の例である。次の例は上記したMPEG−4 AVC標準に基づいているが、他のビデオ符号化標準、勧告及びその拡張に本発明の原理を適用することができる。
【0061】
(エンコーダ側)
現ブロックがイントラブロックであるとする。エンコーダは、このブロックを符号化する異なるイントラ予測モード(異なるイントラ予測方向)を調べ、最小のレート歪みのコストを有するモードを選択する。mを選択されたイントラ予測モードとする。我々はBを用いて現ブロックを表し、Pを用いて、mを与えたその予測がイントラ予測モードであることを表す。P及びBの両方は2−D N×Nアレイであり、ここで、N×Nはブロックのサイズである。また、予測残差RはN×Nブロックであり、ここでR=B−Pである。
【0062】
残差ブロックは変換され、その複数の変換係数は量子化される。一方、量子化された変換係数はデコーダに送信される。一方、量子化された変換係数はエンコーダで逆量子化された後、逆変換され、復号化された(また再構成されたと呼ばれる)残差係数を生じさせる。我々はKを用いて復号化された残差係数のブロックを表す。
【0063】
Kにおける位置(i,j)毎に、Sobelオペレータは(i,j)で傾きを計算するために適用され、ここで、i,j=0...N−1である。f(i,j)を(i,j)での傾きの絶対的な大きさとし、g(i,j)を(i,j)での傾きの方向とする。更に、我々はh(i,j)=(g(i,j)+90)%180を位置(i,j)でのエッジ方向であると定義し、ここで%は(0,180)の範囲でh(i,j)の値を制限するための変調動作である。
【0064】
我々は平均傾きの大きさf
avg及び平均エッジ方向h
avgを次のように計算する。
【0066】
f
avgがユーザ定義の閾値T(エンコーダ及びデコーダの両方で知られた)より小さいならば、現ブロックmのイントラ予測モードを符号化するために最確モードnとしてDCモードを選択する。
【0067】
f
avgが閾値T以上であるならば、最確モードnは次のように選択される。
【0069】
ここで、angle(k)はイントラ予測モードkの予測方向である。最確モードnはイントラ予測モードmを符号化するために用いられる。
(デコーダ側)
イントラ予測ブロックを復号化するために、デコーダは先ず、量子化変換された残差係数のシンタックスを解析する。逆量子化及び逆変換で、イントラ予測残差は復号化(再構成)される。復号化された残差ブロックに対して、我々はエンコーダ側でと同じ方法を用いて平均傾きの大きさf
avg及び平均エッジ方向h
avgを計算する。
【0070】
f
avgが閾値Tより小さいならば、我々はmとして表す現ブロックのイントラ予測モードを復号化するために最確モードnとしてDCモードを用いる。
【0071】
f
avgが閾値T以上であるならば、最確モードnは次のようにエンコーダと同じ方法で選択される。
【0073】
ここで、angle(k)はイントラ予測モードkの予測方向である。最確モードnはイントラ予測モードmを復号化するために用いられる。
【0074】
(実施形態2)
第2の実施形態において(本明細書では区別なく実施形態2と称する)、2つの最確モード候補がイントラ符号化で使用される。第1の最確モード候補nは復号化された残差の空間パターンを検査することによって導き出される(例えば、実施形態1で説明された方法)。第2の最確モード候補kは異なる方法を用いて導き出される(例えば、限定されないが、MPEG−4 AVC標準における方法)。その2つの最確モード候補が同一、すなわちn=kであるならば、同一の方法がMPEG−4 AVC標準で説明したように用いられる。その2つの最確モード候補が異なるならば、ブーリアン(Boolean)シンタックスflag_mpmが2つの最確モード候補のどちらが使用されるのかを信号で伝えるために送信される。デコーダでは、最確モード候補nは復号化された残差から導き出され、最確モード候補kは他の方法を用いて導き出される。n及びkが異なるならば、flag_mpmはイントラモードの復号化で最確モードを選択するために復号化される。
【0075】
図10を参照すると、本発明の原理の実施形態に応じて現ブロックのイントラ予測モードを符号化する方法の他の例が参照符号1000によって概略的に示されている。特に、方法1000は実施形態2の符号化実施の一例を表し、復号化されたイントラ予測残差の空間パターンからモードを導き出すことを含み、そのモードは現ブロックのイントラ予測モードを符号化するための最確モードとして使用され得る。その方法1000は、ロープ限定ブロック1010へ制御を渡す開始ブロック1005を含む。ロープ限定ブロック1010は0からマクロブロック数−1 (num_MBs_minusl)までの範囲を有する変数iを用いて現画像内の各マクロブロックに亘るループを開始し、機能ブロック1015へ制御を渡す。機能ブロック1015はいくつかの基準に基づいてイントラ予測モードmを選択し、機能ブロック1020へ制御を渡す。機能ブロック1020はモードmでイントラ予測残差を符号化し、機能ブロック1025へ制御を渡す。機能ブロック1025はその残差を復号化し、機能ブロック1030へ制御を渡す。機能ブロック1030は復号化された残差の空間パターンから最確モード候補nを導き出し、機能ブロック1035へ制御を渡す。機能ブロック1035は他の方法を用いて最確モード候補kを導き出し、決定ブロック1040へ制御を渡す。決定ブロック1040はn=kであるか否かを決定する。そうであるならば、制御は機能ブロック1080に渡される。そうでなければ、制御は機能ブロック1045に渡される。
【0076】
機能ブロック1080は最確モードとしてnを設定し、機能ブロック1065へ制御を渡す。機能ブロック1065はモードmを符号化し、機能ブロック1070へ制御を渡す。機能ブロック1070は各マクロブロックに亘るループを終了し、終了ブロック1099へ制御を渡す。
【0077】
機能ブロック1045はいくつかの基準に基づいてnとkとの間で選択し、決定ブロック1050へ制御を渡す。決定ブロック1050は(機能ブロック1045よって前に)nが選択されたか否かを決定する。そうであるならば、制御は機能ブロック1075に渡される。そうでなければ、制御は機能ブロック1055に渡される。
【0078】
機能1075はflag_mpm = 1を送信し、機能ブロック1080へ制御を渡す。
【0079】
機能ブロック1055はflag_mpm = 0を送信し、機能ブロック1060へ制御を渡す。機能ブロック1060は最確モードとしてkを設定し、機能ブロック1065へ制御を渡す。
【0080】
図11を参照すると、本発明の原理の実施形態に応じて現ブロックのイントラ予測モードを復号化する方法の他の例が参照符号1100によって概略的に示されている。特に、方法1100は実施形態2の復号化実施の一例を表し、復号化された予測残差の空間パターンからモードを導き出すことを含み、そのモードは現ブロックのイントラ予測モードを復号化するための最確モードとして使用され得る。方法1100は、ロープ限定ブロック1110へ制御を渡す開始ブロック1105を含む。ロープ限定ブロック1110は0からマクロブロック数−1 (num_MBs_minusl)までの範囲を有する変数iを用いて現画像内の各マクロブロックに亘るループを開始し、機能ブロック1115へ制御を渡す。機能ブロック1115はイントラ予測残差を復号化し、機能ブロック1120へ制御を渡す。機能ブロック1120は復号化された残差の空間パターンから最確モード候補nを導き出し、機能ブロック1125へ制御を渡す。機能ブロック1125は他の方法を用いて最確モード候補kを導き出し、決定ブロック1130へ制御を渡す。決定ブロック1130はn=kであるか否かを決定する。そうであるならば、制御は機能ブロック1165に渡される。そうでないならば、制御は機能ブロック1135に渡される。
【0081】
機能ブロック1165は、最確モードとしてnを設定し、機能ブロック1150へ制御を渡す。機能ブロック1150はイントラ予測モードmを復号化し、機能ブロック1155へ制御を渡す。機能ブロック1155はモードmでそのブロックを復号化し、ロープ限定ブロック1160へ制御を渡す。ロープ限定ブロック1160はマクロブロック各々に亘るループを終了し、終了ブロック1199へ制御を渡す。
【0082】
機能ブロック1135は、flag_mpmを復号化し、決定ブロック1140へ制御を渡す。決定ブロック1140はflag_mpm = 1であるか否かを決定する。そうであるならば、制御は機能ブロック1165に渡される。そうでないならば、制御は機能ブロック1145に渡される。機能ブロック1145は最確モードとしてkを設定し、機能ブロック1150へ制御を渡す。
【0083】
実施形態2については、エンコーダが符号化において最確モードとして2つのモードn及びkから1つを選択する必要がある。その選択基準は限定されないが、次の方法を用いることができる。
【0084】
1 最確モードの選択は、イントラ予測モードを復号化するために必要なビット数に基づいている。
【0085】
2 最確モードの選択は、最確モードとイントラ予測モードとの間のインデックスの差異に基づいている。
【0086】
(実施形態3)
第3の実施形態において(本明細書では区別なく実施形態3と称する)、エンコーダは最良のイントラ予測モードmを選択し、予測残差を符号化する。そして、エンコーダは復号化された残差の空間パターンを調べ、イントラ予測モードのセットを導き出す。導き出されたセットはデフォルトモードセットS(すなわち、Intra 4x4、8x8についての9つのモード及びIntra 16x16についての4つのモード)のサブセットである。エンコードは符号化のためにデフォルトモードセットと導き出されたモードサブセットとの間で選択し、デコーダがブーリアンシンタックスflag_subsetを用いることに気付く。モードサブセットが選択されるならば、flag_subset=1が送信され、そしてそのモードサブセットSと関連付けされたモードインデックスが続く。デフォルトモードセットが選択されるならば、flag_subset=0が送信され、そしてそのデフォルトモードセットと関連付けされたモードインデックスが続く。デコーダは残差シンタックス、flag_subset及びモードインデックスシンタックスを解析する。flag_subset=1であるならば、デコーダは復号化された残差からモードサブセットを導き出す。flag_subset=0であるならば、デコーダはデフォルトモードテーブルを使用する。実施形態3の1つの利点は、我々が候補セットにより少ないモードを有すれば良く、よって、イントラモードのために信号で送るビット数を減らすことができることである。例えば、サブセットが9つのモードに代えて5つのモードだけを含むならば、我々はrem_intra4x4_pred_modeを信号で送るために3ビットに代えて2ビットだけを必要とすれば良い。
【0087】
図12を参照すると、本発明の原理の実施形態に応じて現ブロックのイントラ予測モードを符号化する方法の更に他の例が参照符号1200によって概略的に示されている。特に、方法1200は実施形態3の符号化実施の一例を表し、復号化された予測残差の空間パターンからモードサブセットを導き出すことを含み、そのモードサブセットは現ブロックのイントラ予測モードを符号化するために使用され得る。その方法1200は、ロープ限定ブロック1210へ制御を渡す開始ブロック1205を含む。ロープ限定ブロック1210は0からマクロブロック数−1 (num_MBs_minusl)までの範囲を有する変数iを用いて現画像内の各マクロブロックに亘るループを開始し、機能ブロック1215へ制御を渡す。機能ブロック1215はいくつかの基準に基づいてイントラ予測モードmを選択し、機能ブロック1220へ制御を渡す。機能ブロック1220は、モードmでイントラ予測残差を符号化し、機能ブロック1225へ制御を渡す。機能ブロック1225はさの残差を復号化し、機能ブロック1230へ制御を渡す。機能ブロック1230は復号化された残差の空間パターンからモードサブセットSを導き出し、決定ブロック1235へ制御を渡す。決定ブロック1235はモードmがサブセットSに属するか否かを決定する。そうであるならば、制御は機能ブロック1240に渡される。そうでないならば、制御は機能ブロック1260に渡される。機能ブロック1240はflag_subset = 1を送信し、機能ブロック1245へ制御を渡す。機能ブロック1245はモードサブセットSを使用し、機能ブロック1250へ制御を渡す。機能ブロック1250はモードmを符号化し、ロープ限定ブロック1255へ制御を渡す。ロープ限定ブロック1255は各マクロブロックに亘るループを終了し、終了ブロック1299へ制御を渡す。
【0088】
機能ブロック1260はflag_subset = 0を送信し、機能ブロック1265へ制御を渡す。機能ブロック1265はデフォルトモードセットを使用し、機能ブロック1250へ制御を渡す。
【0089】
図13を参照すると、本発明の原理の実施形態に応じて現ブロックのイントラ予測モードを復号化する方法の更に他の例が参照符号1300によって概略的に示されている。特に、方法1300は実施形態3の復号化実施の一例を表し、復号化された予測残差の空間パターンからモードサブセットを導き出すことを含み、そのモードサブセットは現ブロックのイントラ予測モードを復号化するために使用され得る。その方法1300は、ロープ限定ブロック1310へ制御を渡す開始ブロック1305を含む。ロープ限定ブロック1310は0からマクロブロック数−1 (num_MBs_minusl)までの範囲を有する変数iを用いて現画像内の各マクロブロックに亘るループを開始し、機能ブロック1315へ制御を渡す。機能ブロック1315はイントラ予測残差を復号化し、機能ブロック1320へ制御を渡す。機能ブロック1320はflag_subsetを復号化し、決定ブロック1325へ制御を渡す。決定ブロック1325はflag_subset = 1であるか否かを決定する。そうであるならば、制御は機能ブロック1330に渡される。そうでないならば、制御は機能ブロック1355に渡される。
【0090】
機能ブロック1330は、復号化された残差の空間パターンからサブセットSを導き出し、機能ブロック1335へ制御を渡す。機能ブロック1335は、イントラモードセットとしてサブセットSを使用し、機能ブロック1340へ制御を渡す。
【0091】
機能ブロック1340は、 decodes the イントラ予測モードmを復号化し、機能ブロック1345へ制御を渡す。機能ブロック1345はモードmでブロックを復号化し、ロープ限定ブロック1350へ制御を渡す。ロープ限定ブロック1350はマクロブロックの各々に亘るループを終了し、終了ブロック1399へ制御を渡す。
【0092】
機能ブロック1355は、デフォルトイントラモードセットを使用し、機能ブロック1340へ制御を渡す。
【0093】
実施形態3について、導き出されたモードセットSとデフォルトモードセットとの間での選択のための基準は、限定されないが、次のようにすることができる。
1.使用されたイントラモードmが導き出されたモードサブセットSに含まれるならば、そのモードサブセットSが使用される。そうでないならば、デフォルトセットが使用される。
2.使用されたイントラモードmが導き出されたサブセットSに含まれ、サブセットSにおけるイントラモードのインデックスがデフォルトセットのそれより小さいならば、そのサブセットSが選択される。そうでないならば、デフォルトセットが選択される。
3.使用されたイントラモードmが導き出されたサブセットSに含まれ、このサブセットを用いるモードmの符号化ビットがデフォルトセットを用いるモードmの符号化ビットより小さいならば、サブセットが選択される。そうでないならば、デフォルトセットが選択される。
【0094】
(実施形態4)
第4の実施形態において(本明細書では区別なく実施形態4と称する)、エンコーダは、最良のイントラ予測モードmを選択し、予測残差を符号化する。そして、エンコーダは復号化された残差の空間パターンを調べ、イントラ予測モードnを導き出す。nがmと異なるならば、エンコーダは、導き出されたモードn=mを確かにするためにモードmがその残差に埋め込まれるように復号化された残差を処理する。この実施形態において、我々はイントラモード情報を全く信号で送る必要がない。デコーダは、イントラモードについてシンタックスを必要としない。デコーダはビットストリームから抽出される残差を必要とするだけであり、復号化のためにイントラ予測モードmを推測する。
【0095】
実施形態4について、残差にイントラモードを埋め込む方法は、限定されないが、次のようにすることができる。
1.Xを現ブロックのイントラ予測残差であるとする。モード情報の埋め込みは変換及び量子化の前にXを修正することにより実行され、それ故、空間領域方法である。Xの修正は変動マトリックスTをXに加えることにより達成される。Yを修正された残差ブロック、Y=X+Tとする。変動マトリックスTは最小ノルマ(ノルマは11、12又はその他であることができる)を有し、更にモードmをYの復号化されたバージョンから導き出すことができるように選択される。
2.Xを現ブロックのイントラ予測残差であり、xは、XのDCT変換であるとする。X及びxの両方は現ブロックの同一サイズのマトリックスである。モード情報の埋め込みはDCTマトリックスxを修正することにより実行され、それ故、変換領域方法である。xの修正は変動マトリックスtをxに加えることにより達成される。yを修正された残差DCTブロック、y=x+tとする。変動マトリックスtは最小ノルマ(ノルマは11、12又はその他であることができる)を有し、更にモードmをyの復号化されたバージョンから導き出すことができるように選択される。
3.Xを現ブロックのイントラ予測残差であり、xはXのDCT変換であるとする。ビデオ符号化処理において、xにおけるDCT係数は複数の量子化インデックスによって量子化及び変換される。x’を、xにおけるDCT係数の量子化された複数のインデックスを含むマトリックスであるとする。モード情報の埋め込みは量子化インデックスマトリックスx’を修正することによって実行され、それ故、変換領域方法である。x’の修正は変動マトリックスt’をx’に加えることによって達成される。y’をx’の修正されたバージョン、y’=x’+t’であるとする。変動マトリックスt’は最小ノルマ(ノルマは11、12又はその他であることができる)を有し、更にモードmをy’から導き出すことができるように選択される。
【0096】
図14を参照すると、本発明の原理の実施形態に応じて現ブロックのイントラ予測モードを符号化する方法のまた更に他の例が参照符号1400によって概略的に示されている。特に、方法1400は、実施形態4の符号化実施の一例を表し、復号化された予測残差の空間パターンに現ブロックのイントラ予測モードを埋め込むことを含む。その方法1400は、ロープ限定ブロック1410へ制御を渡す開始ブロック1405を含んでいる。方法1400は、ロープ限定ブロック1410へ制御を渡す開始ブロック1405を含む。ロープ限定ブロック1410は0からマクロブロック数−1 (num_MBs_minusl)までの範囲を有する変数iを用いて現画像内の各マクロブロックに亘るループを開始し、機能ブロック1415へ制御を渡す。機能ブロック1415はいくつかの基準に基づいてイントラ予測モードmを選択し、機能ブロック1420へ制御を渡す。機能ブロック1420はモードmでイントラ予測残差を符号化し、機能ブロック1425へ制御を渡す。機能ブロック1425はその残差を復号化し、機能ブロック1430へ制御を渡す。機能ブロック1430は復号化された残差の空間パターンからモードnを導き出し、決定ブロック1435へ制御を渡す。決定ブロック1435はn=mであるか否かを決定する。そうであるならば、制御はロープ限定ブロック1450に渡される。そうでないならば、制御は機能ブロック1440に渡される。機能ブロック1440は、修正された復号化残差の空間パターンからmを導き出すように残差を修正し、ロープ限定ブロック1450へ制御を渡す。ロープ限定ブロック1450は各マクロブロックに亘るループを終了し、終了ブロック1499へ制御を渡す。
【0097】
図15を参照すると、本発明の原理の実施形態に応じて現ブロックのイントラ予測モードを復号化する方法のまた更に他の例が参照符号1500によって概略的に示されている。特に、方法1500は、実施形態4の復号化実施例の一例を表し、復号化された予測残差の空間パターンから現ブロックのイントラ予測モードを導き出すことを含んでいる。方法1500はロープ限定ブロック1510へ制御を渡す開始ブロック1505を含んでいる。ロープ限定ブロック1510は0からマクロブロック数−1 (num_MBs_minusl)までの範囲を有する変数iを用いて現画像内の各マクロブロックに亘るループを開始し、機能ブロック1515へ制御を渡す。機能ブロック1515はイントラ予測残差を復号化し、機能ブロック1520へ制御を渡す。機能ブロック1520は、復号化された残差の空間パターンからモードmを導き出し、機能ブロック1525へ制御を渡す。機能ブロック1525はモードmでブロックを復号化し、ロープ限定ブロック1530へ制御を渡す。ロープ限定ブロック1530は、マクロブロックの各々に亘るループを終了し、終了ブロック1599へ制御を渡す。
【0098】
(例)
次は実施形態4を詳述する特定の例である。次の例は上記したMPEG−4 AVC標準に基づいているが、他のビデオ符号化標準、勧告及びそれの拡張に本発明の原理を適用することができる。
【0099】
(エンコーダ側)
現ブロックがイントラブロックであるとする。エンコーダは、このブロックを符号化する異なるイントラ予測モード(異なるイントラ予測方向)を調べ、最小のレート歪みのコストを有するモードを選択する。mを選択されたイントラ予測モードとする。我々はBを用いて現ブロックを表し、Pを用いて、mを与えたその予測がイントラ予測モードであることを表す。P及びBの両方は2−D N×Nアレイであり、ここで、N×Nはブロックのサイズである。また、予測残差RはN×Nブロックであり、ここでR=B−Pである。
【0100】
残差ブロックは変換され、その複数の変換係数は量子化される。x’を、DCT係数の量子化された複数のインデックスを含むマトリックスであるとする。その後、量子化された変換係数はエンコーダで逆量子化された後、逆変換され、復号化された(また再構成されたと呼ばれる)残差係数を生じさせる。Kを用いて復号化された残差係数のブロックを表す。
【0101】
イントラ予測モードnは実施形態1の例のように最確モードを導き出す方法を用いてKの空間パターンから導き出される。
【0102】
nがmに等しいならば、残差(x’の要素)の複数の量子化インデックスがビットストリームに書き込まれる。
【0103】
nがmと異なるならば、我々は変動マトリックスt’をx’,y’=x’+t’に加えることによって新しい量子化インデックスマトリックスy’を生成し、ビットストリームに書き込む。マトリックスy’は次の2つの条件を満たすことが必要である。
1.K’をy’の復号化(逆量子化後、逆変換)されたバージョンであるとする。実施形態1の例のように最確モードを導き出す方法を用いてK’の空間パターンから導き出されたイントラ予測モードがモードmである。
2.y’の12ノルマが条件1を満たす全てのマトリックスのうちの最小のものである。
デコーダ側:
イントラ予測ブロックを復号化するために、デコーダは先ず、量子化変換された残差係数のシンタックスを解析する。逆量子化及び逆変換で、イントラ予測残差は復号化(再構成)される。イントラ予測モードmは、実施形態1の例のように最確モードを導き出す方法を用いて復号化されたイントラ予測残差の空間パターンから導き出される。その導き出されたモードmは現ブロックのイントラ予測モードである。
シンタックス:
我々は、異なる実施形態を提供しており、異なる実施形態について、対応するシンタックスは異なる。表1は上記した実施形態2に関係するシンタックス例を示している。
【0105】
表1に示されたシンタックス要素のセマンティックスは次の如くである。
【0106】
1に等しいflag_mpmは、実施形態1で説明された方法を用いて導き出されたモードがイントラ予測モードを復号化するための最確モードとして用いられることを特定する。
【0107】
0に等しいflag_mpmは、代替方法(例えば、MPEG−4 AVC標準における方法)を用いて導き出されたモードがイントラ予測モードを復号化するための最確モードとして用いられることを特定する。
【0108】
表2は、上記した実施形態3に関係するシンタックス例を示している。
【0110】
表2に示すシンタックス要素のセマンティックスは次のようになる。
【0111】
0に等しいflag_mpmは、設定されたデフォルトモードがイントラ予測モードを導き出すために用いられることを特定する。
【0112】
1に等しいflag_mpmは、設定されたデフォルトモードのサブセットがイントラ予測モードを導き出すために用いられることを特定する。
【0113】
本発明の多くの付随する利点/特徴のいくつかは既に説明したが、次に、更にそのいくつかを説明する。例えば、1つの利点/特徴は、ビデオエンコーダで画像を再構成するために用いられた復号化イントラ予測モード残差の空間パターンを決定することによって画像内の少なくとも1つのブロックについての画像データを符号化するビデオエンコーダを有する装置である。その復号化イントラ予測モード残差は、ブロックの元のバージョンと少なくとも1つの基準ブロックとの間における変換及び量子化差異を逆量子化及び逆変換することによって得られる。空間パターンはブロックを符号化するためのイントラ予測モードを決定するために用いられる。
【0114】
他の利点/特徴は、上述したようにビデオエンコーダを有する装置であり、空間パターンは最確モードを決定するために用いられ、最確モードはブロック符号化するためのイントラ予測モードを符号化するために用いられ、最確モードは、複数のイントラ予測モードのうちから決定される。
【0115】
更に他の利点/特徴は、ビデオエンコーダを有する装置であり、空間パターンは最確モードを決定するために用いられ、最確モードはブロック符号化するためのイントラ予測モードを符号化するために用いられ、最確モードは上述したように複数のイントラ予測モードのうちから決定され、更に、空間パターンは、その空間パターンの空間領域分析を行うことによって最確モードを決定するために用いられる。
【0116】
また更に他の利点/特徴は、ビデオエンコーダを有する装置であり、空間パターンは、上記したように、その空間パターンの空間領域分析を行うことによって最確モードを決定するために用いられ、空間領域分析は復号化イントラ予測モード残差における残差ピクセルの傾き、傾き計算の前の事前処理、及び復号化イントラ予測モード残差と予め定められた方向性ブロックマスクとの間で計算された相関関係のうちの少なくとも1つに基づいている。
【0117】
更なる利点/特徴は、ビデオエンコーダを有する装置であり、空間パターンは最確モードを決定するために用いられ、最確モードはブロックを符号化するためのイントラ予測モードを符号化するために用いられ、最確モードは上記したように複数のイントラ予測モードのうちから決定され、空間パターンはその空間パターンの変換領域分析を行うことによって最確モードを決定するために用いられる。
【0118】
更に、他の利点/特徴は、ビデオエンコーダを有する装置であり、空間パターンは上述したようにその空間パターンの変換領域分析を行うことによって最確モードを決定するために用いられ、変換領域分析で利用された変換は離散コサイン変換、離散コサイン変換の整数実施、アダマール変換、ウェーブレット変換のうちの少なくとも1を含んでいる。
【0119】
更に、他の利点/特徴は、ビデオエンコーダを有する装置であり、空間パターンは上述したようにその空間パターンの変換領域分析を行うことによって最確モードを決定するために用いられ、変換領域分析は復号化イントラ予測モード残差についての重要な変換された残差係数の大きさ及び位置のうちの少なくとも1つに基づいている。
【0120】
また、他の利点/特徴は、ビデオエンコーダを有する装置であり、空間パターンは最確モードを決定するために用いられ、最確モードはブロックを符号化するためのイントラ予測モードを符号化するために用いられ、最確モードは上記したように複数のイントラ予測モードのうちから決定され、複数の方法が最確モードを選択するために用いられる。
【0121】
加えて、他の利点/特徴は、ビデオエンコーダを有する装置であり、複数の方法が上述したように最確モードを選択するために用いられ、複数のイントラ予測モードは、最確モードであり得る複数の候補イントラ予測モードを表し、最確モードを選択するために用いられる基準は、複数のイントラ予測モードの各々でブロックを符号化するためのイントラ予測モードを符号化するために要求される各ビット数と、ブロックを符号化するためのイントラ予測モードと複数のイントラ予測モードの各々との間の各インデックス差異とのうちの少なくとも一方から選択される。
【0122】
更に、他の利点/特徴は、上記したようにビデオエンコーダを有する装置であり、イントラモードサブセットは空間パターンを分析することによって導き出され、イントラモードサブセットは全ての利用可能なイントラ予測モードより少なく、モードセットは少なくともデフォルトイントラ予測モードセット及びイントラモードサブセットのうちから決定され、デフォルト予測モードセットは利用可能なイントラ予測モードの全てを含み、モードセットはブロックを符号化するためのイントラ予測モードを符号化するために用いられる。
【0123】
更に、他の利点/特徴は、ビデオエンコーダを有する装置であり、イントラモードサブセットは、空間パターンを分析することによって導き出され、イントラモードサブセットは全ての利用可能なイントラ予測モードより少なく、モードセットは少なくともデフォルトイントラ予測モードセット及びイントラモードサブセットのうちから決定され、デフォルト予測モードセットは、利用可能なイントラ予測モードの全てを含み、モードセットは、上記したようにブロックを符号化するためのイントラ予測モードを符号化するために用いられ、ブロックのイントラ予測モードを符号化するために用いられるモードセットは、インデックスモードサブセット内の初期イントラ符号化モードの存在、イントラモードサブセット内の初期イントラ符号化モードのインデックス、イントラモードサブセットを用いる初期イントラ符号化モードを符号化するために用いられるビット数のうちの少なくとも1つに基づいて少なくともデフォルトイントラ予測モードセット及びイントラモードサブセットのうちから決定され、初期イントラ符号化モードは、復号化されたイントラ予測モード残差を得るために復号化されるブロックについての残差を符号化するために用いられる。
【0124】
また、他の利点/特徴は、上記したようにビデオエンコーダを有する装置であり、初期イントラ予測モードは空間パターンに埋め込まれる。
【0125】
加えて、他の利点/特徴はビデオエンコーダを有する装置であり、初期イントラ予測モードが上記したように空間パターンに埋め込まれ、空間パターンに初期イントラ予測モードを埋め込む埋め込み動作は変換領域で行われる。
【0126】
更に、他の利点/特徴はビデオエンコーダを有する装置であり、空間パターンに初期イントラ予測モードを埋め込む埋め込み動作は上記したように変換領域で行われ、変換及び量子化された差異はブロックの元のバージョンと少なくとも1つの基準ブロックとの間の差異を変換及び量子化することによって得られ、初期イントラ予測モードはブロックの元のバージョンと少なくとも1つの基準ブロックとの間の差異の変換及び量子化されたバージョンの量子化インデックスを修正することによって空間パターンに埋め込まれる。
【0127】
更に、他の利点/特徴はビデオエンコーダを有する装置であり、初期イントラ予測モードは上記したように空間パターンに埋め込まれ、変換及び量子化された差異はブロックの元のバージョンと少なくとも1つの基準ブロックとの間の差異を変換及び量子化することによって得られ、初期イントラ予測モードは、ブロックの元のバージョンと少なくとも1つの基準ブロックとの間の差異の変換及び非量子化バージョンの大きさを修正することによって空間パターンに埋め込まれる。
【0128】
また、他の利点/特徴はビデオエンコーダを有する装置であり、初期イントラ予測モードは上記したように空間パターンに埋め込まれ、空間パターンに初期イントラ予測モードを埋め込む埋め込み動作は空間領域で行われる。
【0129】
加えて、他の利点/特徴はビデオエンコーダを有する装置であり、空間パターンに初期イントラ予測モードを埋め込む埋め込み動作は上記したように空間領域で行われ、変換及び量子化された差異はブロックの元のバージョンと少なくとも1つの基準ブロックとの間の差異を変換及び量子化することによって得られ、初期イントラ予測モードは変換及び量子化の前にブロックの元のバージョンと少なくとも1つの基準ブロックとの間の差異の大きさを修正することによって空間パターンに埋め込まれる。
【0130】
本発明の原理のこれらの及びその他の特徴及び利点は、本明細書で示したことに基づいて関連技術分野の当業者によって容易に確かめられても良い。本発明の原理の開示をハードウエア、ソフトウエア、ファームウエア、特定目的のプロセッサ、又はそれらの組み合わせの様々な形式で実施しても良いことは理解されるべきである。
【0131】
最も好ましくは、本発明の原理の開示はハードウエアとソフトウエアとの組み合わせとして実施される。更に、ソフトウエアはプログラム記憶ユニットに明白に埋め込まれたアプリケーションプログラムとして実施されても良い。アプリケーションプログラムは、適当なアーキテクチャを備えるマシーンにアップロードされ、そして、それによって実行されても良い。好ましくは、そのマシーンは1以上のCPU(中央処理ユニット)、RAM(ランダムアクセスメモリ)、及びI/O(入力/出力)インターフェース等のハードウエアを有するコンピュータプラットフォームで実施される。また、コンピュータプラットフォームはオペレーションシステム及びマイクロ命令コードを含んでも良い。本明細書で説明された様々な処理及び機能は、CPUによって実行され得る、マイクロ命令コードの一部又はアプリケーションプログラムの一部、又はそれらの組み合わせであっても良い。加えて、様々なその他の周辺ユニットは追加のデータ記憶ユニット及び印刷ユニット等のコンピュータプラットフォームに接続されても良い。
【0132】
更に、添付図面に描かれた構成システムコンポーネント及び方法のいくつかは好ましくはソフトウエアで実施されるので、システムコンポーネント間又は処理機能ブロック間の実際の接続は、本発明の原理のプログラム方法に従って異なっても良いことが理解されるべきである。本明細書での開示によれば、関連技術分野の当業者はそれら及び本発明の原理の類似の実施又は構成を意図することができる。
【0133】
実施形態は、添付図面について本明細書で説明したが、本発明の原理それらの正確な実施形態に限定されず、様々な変更及び修正がまた本発明の原理の範囲及び趣旨から離れることなく関連技術分野の当業者によってそれらにもたらされても良いことが理解されよう。そのような変更及び修正の全ては、請求項に示す本願発明の原理の範囲に含まれると意図されている。
(付記1)
ビデオエンコーダを備え、前記ビデオエンコーダで画像を再構成するために用いられる復号化されたイントラ予測モード残差について空間パターンを決定することにより、前記画像内の少なくとも1つのブロックについて画像データを符号化し、
前記復号化されたイントラ予測モード残差は、前記ブロックの元のバージョンと少なくとも1つの基準ブロックとの間の変換及び量子化された差異を逆量子化及び逆変換することによって得られ、
前記空間パターンは、前記ブロックを符号化するためのイントラ予測モードを決定するために用いられる
ことを特徴とする装置。
(付記2)
前記空間パターンは、最確モードを決定するために用いられ、前記最確モードは、前記ブロックを符号化するためのイントラ予測モードを符号化するために用いられ、前記最確モードは、複数のイントラ予測モードのうちから決定されることを特徴とする付記1記載の装置。
(付記3)
前記空間パターンは、前記空間パターンの空間領域分析を行うことによって前記最確モードを決定するために用いられることを特徴とする付記2記載の装置。
(付記4)
前記空間領域分析は、前記復号化されたイントラ予測モード残差における残差ピクセルの傾き、傾き計算の前の事前処理、及び前記復号化されたイントラ予測モード残差と予め定義された方向性ブロックマスクとの間で計算された相関、のうちの少なくとも1つに基づいていることを特徴とする付記3記載の装置。
(付記5)
前記空間パターンは、前記空間パターンの変換領域分析を行うことによって前記最確モードを決定するために用いられることを特徴とする付記2記載の装置。
(付記6)
前記変換領域分析で利用される変換は、離散コサイン変換、前記離散コサイン変換の整数実施、アダマール変換、及びウェーブレット変換のうちの少なくとも1つを含むことを特徴とする付記5記載の装置。
(付記7)
前記変換領域分析は、前記復号化されたイントラ予測モード残差に関して有意な変換された残差係数の大きさ及び位置の少なくとも1つに基づいていることを特徴とする付記5記載の装置。
(付記8)
複数の方法が前記最確モードを選択するために用いられることを特徴とする付記2記載の装置。
(付記9)
前記複数のイントラ予測モードは前記最確モードであり得る複数の候補イントラ予測モードを表し、前記最確モードを選択するために用いられる基準は前記複数のイントラ予測モードの各々でブロックを符号化するための前記イントラ予測モードを符号化するために要求される各ビット数、及び前記ブロックを符号化するための前記イントラ予測モードと前記複数のイントラ予測モードの各々との間の各インデックス差異のうちの少なくとも一方から選択されることを特徴とする付記8記載の装置。
(付記10)
イントラモードサブセットは前記空間パターンを分析することによって導き出され、前記イントラモードサブセットは全ての利用可能なイントラ予測モードより少なく、モードセットは少なくともデフォルトイントラ予測モードセット及び前記イントラモードサブセットのうちから決定され、前記デフォルト予測モードセットは前記利用可能なイントラ予測モードの全てを含み、前記モードセットは前記ブロックを符号化するための前記イントラ予測モードを符号化するために用いられることを特徴とする付記1記載の装置。
(付記11)
前記ブロックの前記イントラ予測モードを符号化するために用いられる前記モードセットは、前記インデックスモードサブセット内の初期イントラ符号化モードの存在、前記イントラモードサブセット内の前記初期イントラ符号化モードのインデックス、前記イントラモードサブセットを用いる前記初期イントラ符号化モードを符号化するために用いられるビット数のうちの少なくとも1つに基づいて少なくとも前記デフォルトイントラ予測モードセット及び前記イントラ予測サブセットのうちから決定され、前記初期イントラ符号化モードは、前記復号化されたイントラ予測モード残差を得るために復号化される前記ブロックについての残差を符号化するために用いられることを特徴とする付記10記載の装置。
(付記12)
前記初期イントラ予測モードは前記空間パターンに埋め込まれていることを特徴とする付記1記載の装置。
(付記13)
前記空間パターンに前記初期イントラ予測モードを埋め込む埋め込み動作は変換領域で行われることを特徴とする付記12記載の装置。
(付記14)
前記変換及び量子化された差異は前記ブロックの元のバージョンと少なくとも1つの基準ブロックとの間の差異を変換及び量子化することによって得られ、前記初期イントラ予測モードは前記ブロックの前記元のバージョンと少なくとも1つの基準ブロックとの間の前記差異の変換及び量子化されたバージョンの量子化インデックスを修正することによって前記空間パターンに埋め込まれることを特徴とする付記13記載の装置。
(付記15)
前記変換及び量子化された差異は前記ブロックの元のバージョンと少なくとも1つの基準ブロックとの間の差異を変換及び量子化することによって得られ、前記初期イントラ予測モードは前記ブロックの元のバージョンと少なくとも1つの基準ブロックとの間の前記差異の変換及び非量子化バージョンの大きさを修正することによって前記空間パターンに埋め込まれることを特徴とする付記12記載の装置。
(付記16)
前記空間パターンに前記初期イントラ予測モードを埋め込む埋め込み動作は空間領域で行われることを特徴とする付記12記載の装置。
(付記17)
前記変換及び量子化された差異は前記ブロックの前記元のバージョンと少なくとも1つの基準ブロックとの間の差異を変換及び量子化することによって得られ、前記初期イントラ予測モードは前記変換及び量子化の前に前記ブロックの前記元のバージョンと前記少なくとも1つの基準ブロックとの間の前記差異の大きさを修正することによって前記空間パターンに埋め込まれることを特徴とする付記16記載の装置。
(付記18)
ビデオエンコーダで画像を再構成するために用いられた復号化されたイントラ予測モード残差についての空間パターンを決定することによって前記画像内に少なくとも1つのブロックのための画像データを埋め込むステップを含み、
前記復号化されたイントラ予測モード残差は前記ブロックの元のバージョンと少なくとも1つの基準ブロックとの間の変換及び量子化された差異を逆量子化及び逆変換することによって得られ、前記空間パターンは前記ブロックを符号化するためのイントラ予測を決定するために用いられることを特徴とするビデオエンコーダにおける方法。
(付記19)
前記空間パターンは最確モードを決定するために用いられ、前記最確モードは前記ブロックを符号化するための前記イントラ予測モードを符号化するために用いられ、前記最確モードは複数のイントラ予測モードのうちから決定されることを特徴とする付記18記載の方法。
(付記20)
前記空間パターンは、前記空間パターンの空間領域分析を行うことによって前記最確モードを決定するために用いられることを特徴とする付記19記載の方法。
(付記21)
前記空間領域分析は前記復号化されたイントラ予測モード残差における残差ピクセルの傾き、傾き計算の前の事前処理、及び前記復号化されたイントラ予測モード残差と事前設定された方向性ブロックマスクとの間の相関関係のうちの少なくとも1に基づいている(830)ことを特徴とする付記20記載の方法。
(付記22)
前記空間パターンは前記空間パターンの変換領域分析を行うことによって前記最確モードを決定するために用いられること特徴とする付記19記載の方法。
(付記23)
前記変換領域分析に利用される変換は離散コサイン変換、前記離散コサイン変換の整数実施、アダマール変換、及びウェーブレット変換のうちの少なくとも1つを含むことを特徴とする付記22記載の方法。
(付記24)
前記変換領域分析は前記復号化されたイントラ予測モード残差についての重要な変換された残差係数の大きさ及び位置の少なくとも1つに基づいていることを特徴とする付記22記載の方法。
(付記25)
複数の方法が前記最確モードを選択するために用いられることを特徴とする付記19記載の方法。
(付記26)
前記複数のイントラ予測モードは、前記最確モードであり得る複数の候補イントラ予測モードを表し、前記最確モードを選択するために用いられる基準は、前記複数のイントラ予測モードの各々で前記ブロックを符号化するための前記イントラ予測モードを符号化するために要求される各ビット数と、前記ブロックを符号化するための前記イントラ予測モードと前記複数のイントラ予測モードの各々との間の各インデックス差異とのうちの少なくとも一方から選択されることを特徴とする付記25記載の方法。
(付記27)
イントラモードサブセットは前記空間パターンを分析することによって導き出され、前記イントラモードサブセットは全ての利用可能なイントラ予測モードより少なく、モードセットは少なくともデフォルトイントラ予測モードセット及び前記イントラモードサブセットのうちから決定され、前記デフォルト予測モードセットは前記利用可能なイントラ予測モードの全てを含み、前記モードセットは前記ブロックを符号化するための前記イントラ予測モードを符号化するために用いられることを特徴とする付記18記載の方法。
(付記28)
前記ブロックの前記イントラ予測モードを符号化するために用いられる前記モードセットは、前記イントラモードサブセットにおける初期イントラ符号化モードの存在、前記イントラモードサブセットにおける前記初期イントラ符号化モードのインデックス、及び前記イントラモードサブセットを用いて前記初期イントラ符号化モードを符号化するために用いられるビット数の少なくとも1つに基づいて少なくともデフォルトイントラ予測モードセット及び前記イントラモードサブセットのうちから決定され、前記初期イントラ符号化モードは前記復号化されたイントラ予測モード残差を得るために復号化される前記ブロックについての残差を符号化するために用いられることを特徴とする付記27記載の方法。
(付記29)
前記初期イントラ予測モードは前記空間パターンに埋め込まれていることを特徴とする付記18記載の方法。
(付記30)
前記空間パターンに前記初期イントラ予測モードを埋め込む埋め込み動作は変換領域で行われることを特徴とする付記29記載の方法。
(付記31)
前記変換及び量子化された差異は前記ブロックの前記元のバージョンと前記少なくとも1つの基準ブロックとの間の差異を変換及び量子化することによって得られ、前記初期イントラ予測モードは前記ブロックの前記元のバージョンと前記少なくとも1つの基準ブロックとの間の前記差異の変換及び量子化されたバージョンの量子化インデックスを修正することによって前記空間パターンに埋め込まれることを特徴とする付記30記載の方法。
(付記32)
前記変換及び量子化された差異は前記ブロックの前記元のバージョンと前記少なくとも1つの基準ブロックとの間の差異を変換及び量子化することによって得られ、前記初期イントラ予測モードは前記ブロックの前記元のバージョンと前記少なくとも1つの基準ブロックとの間の前記差異の変換及び非量子化されたバージョンの大きさを修正することによって前記空間パターンに埋め込まれることを特徴とする付記29記載の方法。
(付記33)
前記空間パターンに前記初期イントラ予測モードを埋め込む埋め込み動作は空間領域で行われることを特徴とする付記29記載の方法。
(付記34)
前記変換及び量子化された差異は前記ブロックの前記元のバージョンと前記少なくとも1つの基準ブロックとの間の差異を変換及び量子化することによって得られ、前記初期イントラ予測モードは前記変換及び前記量子化の前に前記ブロックの前記元のバージョンと前記少なくとも1つの基準ブロックとの間の前記差異の大きさを修正することによって前記空間パターンに埋め込まれることを特徴とする付記33記載の方法。
(付記35)
ビデオデコーダを備え、前記ビデオデコーダで画像を再構成するために用いられた復号化されたイントラ予測モード残差についての空間パターンを決定することによって前記画像内の少なくとも1つのブロックについての画像データを復号化し、
前記復号化されたイントラ予測モード残差は、前記ブロックの元のバージョンと少なくとも1つの基準ブロックとの間の変換及び量子化された差異を逆量子化及び逆変換することによって得られ、前記空間パターンは前記ブロックを復号化するためのイントラ予測モードを決定するために用いられることを特徴とする装置。
(付記36)
前記空間パターンは最確モードを決定するために用いられ、前記最確モードは前記ブロックを復号化するための前記イントラ予測モードを復号化するために用いられ、前記最確モードは複数イントラ予測モードのうちから決定されることを特徴とする付記35記載の装置。
(付記37)
前記空間パターンは前記空間パターンの空間領域分析を行うことによって前記最確モードを決定するために用いられることを特徴とする付記36記載の装置。
(付記38)
前記空間領域分析は前記復号化されたイントラ予測モード残差における残差ピクセルの傾き、傾き計算の前の事前処理、及び前記復号化されたイントラ予測モード残差と予め定義された方向性ブロックマスクとの間で計算された相関関係のうちの少なくとも1つに基づいていることを特徴とする付記37記載の装置。
(付記39)
前記空間パターンは、前記空間パターンの変換領域分析を行うことによって前記最確モードを決定するために用いられることを特徴とする付記36記載の装置。
(付記40)
前記変換領域分析で利用される変換は離散コサイン変換、前記離散コサイン変換の整数実施、アダマール変換、及びウェーブレット変換のうちの少なくとも1つを含むことを特徴とする付記39記載の装置。
(付記41)
前記変換領域分析は前記復号化されたイントラ予測モード残差についての重要な変換された残差係数の大きさ及び位置の少なくとも1つに基づいていることを特徴とする付記39記載の装置。
(付記42)
複数の方法が前記最確モードを選択するために用いられることを特徴とする付記36記載の装置。
(付記43)
前記最確モードの選択は前記ブロックについての前記画像データを含むビットストリームにおいて明白に受信されることを特徴とする付記42記載の装置。
(付記44)
イントラモードサブセットは前記空間パターンを分析することによって導き出され、前記イントラモードサブセットは全ての利用可能なイントラ予測モードより少なく、前記デフォルトセットは前記利用可能なイントラ予測モードの全てを含み、モードセットは前記ブロックについての前記画像データを含むビットストリームにおいて明白に受信され、前記モードセットは前記ブロックを復号化するための前記イントラ予測モードを復号化するために用いられることを特徴とする付記35記載の装置。
(付記45)
前記デコーダは前記復号化されたイントラ予測残差の前記空間パターンから前記初期イントラ予測モードを推測することができることを特徴とする付記35記載の装置。
(付記46)
ビデオデコーダで画像を再構成するために用いられた復号化されたイントラ予測モード残差についての空間パターンを決定することによって前記画像内の少なくとも1つのブロックについての画像データを復号化するステップを含み、
前記復号化されたイントラ予測モード残差は前記ブロックの元のバージョンと少なくとも1つの基準ブロックとの間の変換及び量子化された差異を逆量子化及び逆変換することによって得られ、前記空間パターンは前記ブロックを復号化するためのイントラ予測モードを決定するために用いられることを特徴とするビデオデコーダにおける方法。
(付記47)
前記空間パターンは最確モードを決定するために用いられ、前記最確モードは前記ブロックを復号化するための前記イントラ予測モードを復号化するために用いられ、前記最確モードは複数イントラ予測モードのうちから決定されることを特徴とする付記46記載の方法。
(付記48)
前記空間パターンは前記空間パターンの空間領域分析を行うことによって前記最確モードを決定するために用いられることを特徴とする付記47記載の方法。
(付記49)
前記空間領域分析は前記復号化されたイントラ予測モード残差における残差ピクセルの傾き、傾き計算の前の事前処理、及び前記復号化されたイントラ予測モード残差と予め定義された方向性ブロックマスクとの間で計算された相関関係のうちの少なくとも1つに基づいていることを特徴とする付記48記載の方法。
(付記50)
前記空間パターンは、前記空間パターンの変換領域分析を行うことによって前記最確モードを決定するために用いられることを特徴とする付記47記載の方法。
(付記51)
前記変換領域分析で利用される変換は離散コサイン変換、前記離散コサイン変換の整数実施、アダマール変換、及びウェーブレット変換のうちの少なくとも1つを含むことを特徴とする付記50記載の方法。
(付記52)
前記変換領域分析は前記復号化されたイントラ予測モード残差についての重要な変換された残差係数の大きさ及び位置の少なくとも1つに基づいていることを特徴とする付記50記載の方法。
(付記53)
複数の方法が前記最確モードを選択するために用いられることを特徴とする付記47記載の方法。
(付記54)
前記最確モードの選択は前記ブロックについての前記画像データを含むビットストリームにおいて明白に受信されることを特徴とする付記53記載の方法。
(付記55)
イントラモードサブセットは前記空間パターンを分析することによって導き出され、前記イントラモードサブセットは全ての利用可能なイントラ予測モードより少なく、前記デフォルトセットは前記利用可能なイントラ予測モードの全てを含み、モードセットは前記ブロックについての前記画像データを含むビットストリームにおいて明白に受信され、前記モードセットは前記ブロックを復号化するための前記イントラ予測モードを復号化するために用いられることを特徴とする付記46記載の方法。
(付記56)
前記デコーダは前記復号化されたイントラ予測残差の前記空間パターンから前記初期イントラ予測モードを推測することができることを特徴とする付記46記載の方法。
(付記57)
符号化された非一時的ビデオ信号データを有するコンピュータ読み取り可能記憶媒体であって、
画像を再構成するために用いられた復号化されたイントラ予測モード残差についての空間パターンを決定することによって前記画像内の少なくとも1つのブロックについて復号化された画像データを含み、
前記復号化されたイントラ予測モード残差は前記ブロックの元のバージョンと少なくとも1つの基準ブロックとの間の変換及び量子化された差異を逆量子化及び逆変換することによって得られ、前記空間パターンは前記ブロックを符号化するためのイントラ予測モードを決定するために用いられる
ことを特徴とするコンピュータ読み取り可能記憶媒体。