ホーム > 特許ランキング > サン パテント トラスト
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6484885
(24)【登録日】2019年3月1日
(45)【発行日】2019年3月20日
(54)【発明の名称】符号化方法及び符号化装置
(51)【国際特許分類】
H04N 19/13 20140101AFI20190311BHJP
H04N 19/157 20140101ALI20190311BHJP
H04N 19/184 20140101ALI20190311BHJP
【ＦＩ】
H04N19/13
H04N19/157
H04N19/184
【請求項の数】3
【全頁数】51
(21)【出願番号】特願2017-185323(P2017-185323)
(22)【出願日】2017年9月26日
(62)【分割の表示】特願2016-151407(P2016-151407)の分割
【原出願日】2012年6月22日
(65)【公開番号】特開2018-14755(P2018-14755A)
(43)【公開日】2018年1月25日
【審査請求日】2017年9月26日
(31)【優先権主張番号】61/500,793
(32)【優先日】2011年6月24日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】316002062
【氏名又は名称】サン パテント トラスト
(74)【代理人】
【識別番号】100109210
【弁理士】
【氏名又は名称】新居 広守
(72)【発明者】
【氏名】笹井 寿郎
(72)【発明者】
【氏名】西 孝啓
(72)【発明者】
【氏名】柴原 陽司
(72)【発明者】
【氏名】杉尾 敏康
(72)【発明者】
【氏名】谷川 京子
(72)【発明者】
【氏名】松延 徹
【審査官】
片岡 利延
(56)【参考文献】
【文献】
Wei-Jung Chien et al.，Memory and Parsing Friendly CABAC Context，Joint Collaborative Team on Video Coding (JCT-VC)，２０１１年 ７月２０日，[JCTVC-F606] (version 3) <JCTVC-F606_r2.doc>
【文献】
Thomas Wiegand, Woo-Jin Han, Benjamin Bross, Jens-Rainer Ohm, Gary J. Sullivan，WD3: Working Draft 3 of High-Efficiency Video Coding， Joint Collaborative Team on Video Coding (JCT-VC)，２０１１年 ５月 １日，[JCTVC-E603] (version 3), <JCTVC-E603_d3.doc>
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ １９／００−１９／９８
(57)【特許請求の範囲】
【請求項1】
画像の符号化を制御する制御パラメータを符号化する符号化方法であって、
複数のコンテキストのうち、前記画像に含まれる対象ブロックに使用するコンテキストを決定するコンテキスト決定ステップと、
決定された前記コンテキストを用いて、前記対象ブロックの制御パラメータを算術符号化することでビット列を生成する算術符号化ステップとを含み、
前記コンテキスト決定ステップでは、
前記対象ブロックの制御パラメータが分類される信号種別を判定し、
前記信号種別が第１種別である場合に、前記対象ブロックの左側に隣接する左ブロック及び、前記対象ブロックの上側に隣接する上ブロックの符号化の制御パラメータを共に利用して前記コンテキストを決定し、
前記信号種別が、前記第１種別と異なる第２種別である場合に、前記左ブロック及び前記上ブロックの符号化の制御パラメータを共に利用せずに予め定められた固定値を用いて前記コンテキストを決定し、
前記第１種別には、前記対象ブロックが、複数のブロックに分割されているか否かを示すスプリットフラグ、又は前記対象ブロックを、スキップするか否かを示すスキップフラグが分類され、
前記第２種別には、前記対象ブロックの予測にユニプレディクション及びバイプレディクションのいずれが使用されるかを示すインター予測情報が分類される
符号化方法。
複数のコンテキストのうち、前記画像に含まれる対象ブロックに使用するコンテキストを決定するコンテキスト決定ステップと、
決定された前記コンテキストを用いて、前記対象ブロックの制御パラメータを算術符号化することでビット列を生成する算術符号化ステップとを含み、
前記コンテキスト決定ステップでは、
前記対象ブロックの制御パラメータが分類される信号種別を判定し、
前記信号種別が第１種別である場合に、前記対象ブロックの左側に隣接する左ブロック及び、前記対象ブロックの上側に隣接する上ブロックの符号化の制御パラメータを共に利用して前記コンテキストを決定し、
前記信号種別が、前記第１種別と異なる第２種別である場合に、前記左ブロック及び前記上ブロックの符号化の制御パラメータを共に利用せずに予め定められた固定値を用いて前記コンテキストを決定し、
前記第１種別には、前記対象ブロックが、複数のブロックに分割されているか否かを示すスプリットフラグ、又は前記対象ブロックを、スキップするか否かを示すスキップフラグが分類され、
前記第２種別には、前記対象ブロックの予測にユニプレディクション及びバイプレディクションのいずれが使用されるかを示すインター予測情報が分類される
符号化方法。
【請求項2】
前記第１種別に分類される制御パラメータは、前記第２種別に分類される制御パラメータと同じ、又は、より大きなサイズのデータ単位に属する
請求項１記載の符号化方法。
請求項１記載の符号化方法。
【請求項3】
画像の符号化を制御する制御パラメータを符号化する符号化装置であって、
複数のコンテキストのうち、前記画像に含まれる対象ブロックに使用するコンテキストを決定するコンテキスト決定部と、
決定された前記コンテキストを用いて、前記対象ブロックの制御パラメータを算術符号化することでビット列を生成する算術符号化部とを含み、
前記コンテキスト決定部では、
前記対象ブロックの制御パラメータが分類される信号種別を判定し、
前記信号種別が第１種別である場合に、前記対象ブロックの左側に隣接する左ブロック及び、前記対象ブロックの上側に隣接する上ブロックの符号化の制御パラメータを共に利用して前記コンテキストを決定し、
前記信号種別が、前記第１種別と異なる第２種別である場合に、前記左ブロック及び前記上ブロックの符号化の制御パラメータを共に利用せずに予め定められた固定値を用いて前記コンテキストを決定し、
前記第１種別には、前記対象ブロックが、複数のブロックに分割されているか否かを示すスプリットフラグ、又は前記対象ブロックを、スキップするか否かを示すスキップフラグが分類され、
前記第２種別には、前記対象ブロックの予測にユニプレディクション及びバイプレディクションのいずれが使用されるかを示すインター予測情報が分類される
符号化装置。
複数のコンテキストのうち、前記画像に含まれる対象ブロックに使用するコンテキストを決定するコンテキスト決定部と、
決定された前記コンテキストを用いて、前記対象ブロックの制御パラメータを算術符号化することでビット列を生成する算術符号化部とを含み、
前記コンテキスト決定部では、
前記対象ブロックの制御パラメータが分類される信号種別を判定し、
前記信号種別が第１種別である場合に、前記対象ブロックの左側に隣接する左ブロック及び、前記対象ブロックの上側に隣接する上ブロックの符号化の制御パラメータを共に利用して前記コンテキストを決定し、
前記信号種別が、前記第１種別と異なる第２種別である場合に、前記左ブロック及び前記上ブロックの符号化の制御パラメータを共に利用せずに予め定められた固定値を用いて前記コンテキストを決定し、
前記第１種別には、前記対象ブロックが、複数のブロックに分割されているか否かを示すスプリットフラグ、又は前記対象ブロックを、スキップするか否かを示すスキップフラグが分類され、
前記第２種別には、前記対象ブロックの予測にユニプレディクション及びバイプレディクションのいずれが使用されるかを示すインター予測情報が分類される
符号化装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置に関し、特に、算術符号化又は算術復号を用いる画像復号方法、画像符号化方法、画像復号装置、画像符号化装置及び画像符号化復号装置に関する。
【背景技術】
【0002】
自然画の画像信号は統計的な偏りを有しその偏りは変動的な振る舞いをする。統計の偏りの変動性を利用したエントロピー符号化方式の１つにContext-Based Adaptive Binary Arithmetic Coding (CABAC)が存在する（非特許文献１を参照）。このCABAC方式はITU-T/ISOIEC standard for video coding, H.264/AVC方式に採用されている。
【0003】
以下、CABAC方式で用いられる用語の意味を説明する。
【0004】
（１）"Context-Based Adaptive"(コンテキストに基づき適応)は、符号化及び復号方法を、統計の偏りの変動に適応させることである。つまり、"Context-Based Adaptive"は、あるシンボルを符号化又は復号する場合に、周囲の条件の発生事象にあわせて当該シンボルの発生確率として適切な確率を予測することともいえる。例えば、符号化においては、あるシンボルSの各値の発生確率p(x)を決定する場合に、実際に起こった事象又は事象の列F(z)を条件とした条件付発生確率を用いる。
【0005】
（２）"Binary"(バイナリ)は、シンボルをバイナリ配列で表現することを意味する。多値で表されるシンボルについては、一度bin stringとよばれる二値配列に変形する。そして配列要素の個々について予測確率（条件付確率）を切り替えて用いつつ、２つの値の事象のどちらが発生したかをビット列化する。これにより信号種別の単位よりも詳細な単位（バイナリ要素単位）で値の確率を管理（初期化及び更新）することができる（非特許文献１のFig.2等を参照）。
【0006】
（３）"arithmetic"（算術）とは、前述のビット列生成処理が、表による対応ではなく計算により出力されるということである。H.263、MPEG-4及びH.264での可変長符号表を用いる符号化方式では、発生確率が0.5(50%)より高い発生確率をもつシンボルであっても、シンボルのとりうる値の個々を、１つのバイナリ列（ビット列）に対応させる必要がある。よって、最も確率が高い値についても最短でも１つのシンボルに１ビットを対応付けなければならない。これに対し算術符号化は、事象の高い確率での発生を整数値１ビット以下で表現することができる。例えば、１バイナリ目の値が「０」となる発生確率が0.9(90%)を越えるような信号種別があり、事象として１バイナリ目の値がＮ回連続して「０」であった場合、個々の値「０」に対して１ビットのデータをＮ回出力する必要がなくなる。
【先行技術文献】
【非特許文献】
【0007】
【非特許文献1】Detlev Marpe, et. al., "Context-Based Adaptive Binary Arithmetic Coding in the H.264/AVC Video Compression Standard", IEEE Transaction on circuits and systems for video technology, Vol. 13, No.7, July 2003.
【非特許文献2】Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 4th Meeting: Daegu, KR, 20-28 January, 2011 "WD2: Working Draft 2 of High-Efficiency Video Coding" JCTVC-D503 http://wftp3.itu.int/av-arch/jctvc-site/2011_01_D_Daegu/JCTVC-D503.doc
【非特許文献3】Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 4th Meeting: Daegu, KR, 20-28 January, 2011, "Common test conditions and software reference configurations",JCTVC-E700
【非特許文献4】Gisle Bjontegaard, “Improvements of the BD-PSNR model," ITU-T SG16 Q.6 Document,VCEG-AI11, Berlin, July 2008
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、このような画像符号化方法及び画像復号方法においては、メモリ使用量（使用するメモリ容量）の低減が望まれている。
【0009】
そこで、本発明は、メモリ使用量を削減できる画像符号化方法又は画像復号方法を提供することを目的とする。
【課題を解決するための手段】
【0010】
上記目的を達成するために、本発明の一形態に係る符号化方法は、画像の符号化を制御する制御パラメータを符号化する符号化方法であって、複数のコンテキストのうち、前記画像に含まれる対象ブロックに使用するコンテキストを決定するコンテキスト決定ステップと、決定された前記コンテキストを用いて、前記対象ブロックの制御パラメータを算術符号化することでビット列を生成する算術符号化ステップとを含み、前記コンテキスト決定ステップでは、前記対象ブロックの制御パラメータが分類される信号種別を判定し、前記信号種別が第１種別である場合に、前記対象ブロックの左側に隣接する左ブロック及び、前記対象ブロックの上側に隣接する上ブロックの符号化の制御パラメータを共に利用して前記コンテキストを決定し、前記信号種別が、前記第１種別と異なる第２種別である場合に、前記左ブロック及び前記上ブロックの符号化の制御パラメータを共に利用せずに前記コンテキストを決定し、前記第１種別には、前記対象ブロックが、複数のブロックに分割されているか否かを示すスプリットフラグ、又は前記対象ブロックを、スキップするか否かを示すスキップフラグが分類され、前記第２種別には、前記対象ブロックの予測にユニプレディクション及びバイプレディクションのいずれが使用されるかを示すインター予測情報が分類される。
【発明の効果】
【0011】
本発明は、メモリ使用量を削減できる画像符号化方法又は画像復号方法を提供できる。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
（本発明の基礎となった知見）本発明者は、以下の問題が生じることを見出した。
【0014】
ここで、次世代符号化方式であるHigh-Efficiency Video Coding(HEVC)においても、各種制御パラメータの符号化及び復号におけるコンテキストモデルについての検討が進んでいる（非特許文献２）。制御パラメータとは、符号化ビットストリームに含まれ、符号化処理又は復号処理で用いられるパラメータ（フラグ等）を意味し、具体的には、syntax elementである。
【0015】
コンテキストモデルとは、（１）どのような単位（多値、バイナリ値、又はバイナリ配列(bin string)の個々の要素）の信号に、（２）どのような条件(Condition)を考慮するかを示す情報である。ここで、どのような条件とは、どのような条件の要素数の条件を適用するか、又は、条件として考慮する制御パラメータの信号種別は何がよいかである。この条件を詳細に区分すればするほど、つまり、条件数τ（the number of conditions）を増やせば増やすほど、１つの条件に該当する回数が減る。その結果、条件ごとの学習回数が減ることで、確率の予測の精度が低下する（例えば、非特許文献１の"dilution effect"を参照）。
【0016】
また、条件数を少なくすればするほど、コンテキスト(周囲の条件)が考慮されていないことになり、統計の変動に追従(adaptive)していないことになる。
【0017】
コンテキストのモデル設計には、モデルの設計指針を決定したうえで、画像内容の統計的偏りの検証、又は画像の符号化及び復号を制御する制御パラメータの統計的偏りの検証等の画像に特化した検証を行うことで、その妥当性を考慮する必要がある。
【0018】
H.264では、限定された数の事前事象をシンボルの符号化に用いることをルールの規範としつつ、コンテキストモデルを４つの基本的なタイプ（basic design types）に類型化している。
【0019】
第１及び第２の類型は制御パラメータの符号化及び復号に関する。
【0020】
第１の類型のコンテキストモデルは、２つを上限とする(up to two)の隣接する符号化済の値を利用する（非特許文献１参照）。隣接する２つの符号化済みの値の定義は制御パラメータの信号種別の個々に依存するが、通常左及び上に隣接するブロックに含まれる対応する制御パラメータの値を使う。
【0021】
第２のコンテキストモデルの類型は、発生確率としてバイナリツリーに基づいて、コンテキストを決めるタイプである。具体的には、制御パラメータmb_type及びsub_mb_typeに適用される。
【0022】
第３及び第４の類型は、画像データ等の残差値（residual data）の符号化及び復号に関する。第３の類型では周波数係数（又は量子化係数）のスキャンの順番に応じて、過去に符号化又は復号された値のみを利用する。第４の類型では、復号され累積された値（レベル値）に応じて、コンテキストを決定する。
【0023】
上記第１の類型等の、H.264における確率遷移モデルの設計方針及び実装方法は長く効果が検証されており、現在検討中のHEVCにも適用されるよう検討が進んでいる（非特許文献２を参照）。例えば第１の類型(コンテキストモデル using neighbouring syntax elements)は、制御パラメータalf_cu_flag、 split_coding_unit_flag、skip_flag、merge_flag、intra_chroma_pred_mode、inter_pred_flag、ref_idx_lc、ref_idx_l0、ref_idx_l1、mvd_l0、mvd_l1、mvd_lc、no_residual_data_flag、cbf_luma、cbf_cb及びcbf_crに利用されることが検討されている(非特許文献２の９．３．３．１．１節を参照)。
【0024】
しかしながら、この第１の類型「隣接２ブロックを利用するコンテキストモデル」を利用する符号化については、そのメモリ使用量について、以下の課題があることを本発明者は見出した。
【0025】
図１７は、隣接２ブロックの対応する制御パラメータの値を利用するコンテキストモデルを説明するための図である。また、図１７は、H.264における隣接ブロックを利用するコンテキストモデルを示す。
【0026】
図中のブロックＣは、現在（Current）の符号化又は復号対象である制御パラメータＳＥの値を含む。このＳＥの値を符号化する場合、既に符号化済である上ブロックＡ及び左ブロックＢに含まれる同種の制御パラメータＳＥの値を利用する。具体的には、ブロックＣの制御パラメータＳＥ（又は制御パラメータＳＥのbin stringの１バイナリ目）の値xが「１」であるか「０」であるかの確率p(x)を、上ブロックＡの制御パラメータＳＥの値と左ブロックＢの制御パラメータＳＥの値とを条件とした条件付確率p(x|(condition A (上ブロックの値)かつ condition B(左ブロックの値)))を用いて予測する。
【0027】
図１８は、上ブロックを利用する場合のメモリ使用量の増加を説明するための図である。
【0028】
図中の（xP、yP）は、ブロックＣが含まれるPredictionUnit（PU：動き予測単位）の左上画素位置を示す。ここでブロックＣは、現在の符号化対象の制御パラメータ（例えば、skip_flag）を含むブロックである。また、図中の（xP、yA）は、condition A(上ブロックの制御パラメータskip_flagの値)として用いられる、ブロックＢに含まれる画素位置を示す。図中（xL、yP）は、condition B (左ブロックの制御パラメータskip_flagの値)として用いられる、ブロックＡに含まれる画素位置を示す。
【0029】
この場合、ブロックＣの制御パラメータskip_flagの値を符号化又は復号するために、符号化又は復号装置は、上ブロックＢに含まれる(xP、yA)の位置に対応する、PUのskip_flagの値（又は条件の判定結果）と、左ブロックＡに含まれる（xL、yP）の位置に対応する、PUのskip_flagの値（又は、条件の判定結果）とを保持する必要がある。ここで、このピクチャの横幅が4096ピクセルであるとすると、１つの制御パラメータskip_flagの符号化のために、上ブロック行（図１８に示すLine L）に含まれる全ての判定値を保持する必要がある。つまり、１つの制御パラメータのために、4096ピクセル÷ブロックサイズのメモリ容量が必要となる。
【0030】
ここで、符号化対象のブロックＣのブロックサイズは可変であり、例えば、64×64、16×16、又は4×4等である。また、（xP, yA）を含む上の行（Line L）に含まれるブロックの符号化又は復号時には、後で符号化又は復号されるブロックＣのブロックサイズは予測できない。これは、符号化又は復号装置は、上の行（ブロックＡが含まれる行）の符号化又は復号の時点では、その下の行（ブロックＣが含まれる行）の各ブロックのサイズを知りえないためである。したがって、符号化又は復号装置は、下の行のブロックサイズとして、その制御パラメータが適用されるブロックサイズのうち最小のブロックサイズが用いられる場合を想定し、その最小のブロックサイズ毎に制御パラメータの値（又は判定値）を保持しておかなければならない。なお、図１８の黒丸の位置は、実際には下の行（ブロックＣが含まれる行）の符号化又は復号においてはその条件値が必要ないにもかかわらず保持しておかなければならない条件を示す。
【0031】
さらに、図１８に示す隣接２ブロック（左ブロックＡと上ブロックＢ）は、H.264時点の隣接ブロックの概念を示し、新しい階層ブロック分割の観点は導入されていない。後述するとおり、HEVCで導入が予定されている再帰４分ブロック分割ツリー構造（quad tree partitioning）に適応した制御パラメータに対しては、再帰の実行順、階層深さ、又はブロックの位置に応じて、図１８で示した参照する条件値が意味を成さない場合がある。
【0032】
このように、本発明者は、制御パラメータの算術符号化又は復号において上ブロックの条件値を利用することでメモリ使用量が増加することを見出した。さらに、本発明者は、HEVCではこのメモリ使用量がさらに増加することを見出した。
【0033】
これに対して、本発明の一形態に係る画像復号方法は、算術復号を用いる画像復号方法であって、複数のコンテキストのうち、処理対象ブロックに使用するコンテキストを決定するコンテキスト制御ステップと、制御パラメータが算術符号化されることで得られた、前記処理対象ブロックに対応するビット列を、決定された前記コンテキストを用いて算術復号することで二値配列を復元する算術復号ステップと、前記二値配列を多値化することで前記制御パラメータを復元する多値化ステップとを含み、前記コンテキスト制御ステップでは、前記処理対象ブロックの制御パラメータの信号種別を判定し、前記信号種別が第１種別である場合に、前記処理対象ブロックに隣接する左ブロック及び上ブロックの復号済の制御パラメータを共に利用する第１条件を用いて前記コンテキストを決定し、前記信号種別が、前記第１種別と異なる第２種別である場合に、前記上ブロックの復号済みの制御パラメータを利用しない第２条件を用いて前記コンテキストを決定し、前記第１種別は、"split_coding_unit_flag"、または、"skip_flag"であり、前記第２種別は、"inter_pred_flag"である。
【0034】
これによれば、当該画像復号方法は、メモリ使用量を削減できる。具体的には、当該画像復号方法は、第２種別の制御パラメータに対しては上ブロックの制御パラメータを使用しないので、上ブロックの第２種別の制御パラメータを保持する必要がない。これにより、当該画像復号方法は、画一的に「隣接ブロックの制御パラメータの値に基づいたコンテキストモデルを利用する」として左ブロックと上ブロックとを利用する場合に比してメモリ使用量を削減することができる。さらに、当該画像復号方法は、画像のBD-rate値評価等を損なわずに、適切に第２種別の制御パラメータのメモリ使用量を削減することができる。
【0035】
また、当該画像復号方法は、従来のH.264では考慮されていない、新規なHEVC特有のデータ構造の階層ツリー構造に適したコンテキストの利用、又は、メモリ参照を行うことができる。
【0036】
また、前記第２条件は、前記上ブロック及び前記左ブロックの復号済みの制御パラメータを共に利用しない条件であってもよい。
【0037】
これによれば、当該画像復号方法は、上ブロックに加え、左ブロックの制御パラメータも使用しないことにより、さらにメモリ使用量を削減できる。
【0038】
また、前記コンテキスト制御ステップでは、前記信号種別が前記第２種別である場合に、前記第２条件として、予め定められたコンテキストを前記対象ブロックの算術復号に使用するコンテキストに決定してもよい。
【0039】
これによれば、当該画像復号方法は、処理量を低減できる。
【0040】
また、前記信号種別が前記第２種別である場合に、前記第２条件として、前記処理対象ブロックの制御パラメータの属するデータ単位の階層の深さに応じて前記コンテキストを決定してもよい。
【0041】
これによれば、当該画像復号方法は、メモリ使用量を削減しつつ、適切なコンテキストを選択できる。
【0042】
また、前記コンテキスト制御ステップでは、さらに、前記処理対象ブロックの位置に基づき、前記上ブロックの制御パラメータを復号時に利用できるか否かを判定し、前記上ブロックの制御パラメータを利用できない場合に、前記第２条件を用いて前記コンテキストを決定してもよい。
【0043】
これによれば、当該画像復号方法は、処理量を低減できる。
【0044】
また、前記コンテキスト制御ステップでは、前記処理対象ブロックがスライス境界に属する場合に、前記上ブロックの制御パラメータを復号時に利用できないと判定してもよい。
【0045】
また、前記コンテキスト制御ステップでは、前記処理対象ブロックの制御パラメータの属するデータ単位の階層の深さに応じて前記上ブロックの制御パラメータを復号時に利用できるか否かを判定してもよい。
【0046】
また、前記第２種別は、予め定められたデータ構造を有する制御パラメータであってもよい。
【0047】
また、前記コンテキスト制御ステップでは、さらに、第１単位の制御パラメータの値に基づいて、前記第１単位より小さい第２単位の制御パラメータに対して、前記第１条件を用いて前記コンテキストを決定するか、前記第２条件を用いてコンテキストを決定するかを切り替えてもよい。
【0048】
また、前記"split_coding_unit_flag"は、前記処理対象ブロックが、複数のブロックに分割されているか否かを示し、前記"skip_flag"は、前記処理対象ブロックをスキップするか否かを示し、前記"inter_pred_flag"は、前記処理対象ブロックに、uni-prediction及びbi-predictionのいずれが使用されるかを示してもよい。
【0049】
また、前記画像復号方法は、符号化信号に含まれる、第１規格又は第２規格を示す識別子に応じて、前記第１規格に準拠した復号処理と、前記第２規格に準拠した復号処理とを切り替え、前記ＩＤが第１規格を示す場合に、前記第１規格に準拠した復号処理として、前記コンテキスト制御ステップと、前記算術復号ステップと、前記多値化ステップとを行ってもよい。
【0050】
また、本発明の一形態に係る画像符号化方法は、算術符号化を用いる画像符号化方法であって、処理対象ブロックの制御パラメータを二値化することで二値配列を生成する二値化ステップと、複数のコンテキストのうち、前記処理対象ブロックに使用するコンテキストを決定するコンテキスト制御ステップと、決定された前記コンテキストを用いて前記二値配列を算術符号化することでビット列を生成する算術符号化ステップとを含み、前記コンテキスト制御ステップでは、前記処理対象ブロックの制御パラメータの信号種別を判定し、前記信号種別が第１種別である場合に、前記処理対象ブロックに隣接する左ブロック及び上ブロックの制御パラメータを共に利用する第１条件を用いて前記コンテキストを決定し、前記信号種別が、前記第１種別と異なる第２種別である場合に、前記上ブロックの制御パラメータを利用しない第２条件を用いて前記コンテキストを決定し、前記第１種別は、"split_coding_unit_flag"、または、"skip_flag"であり、前記第２種別は、"inter_pred_flag"である。
【0051】
これによれば、当該画像符号化方法は、メモリ使用量を削減できる。具体的には、当該画像符号化方法は、第２種別の制御パラメータに対しては上ブロックの制御パラメータを使用しないので、上ブロックの第２種別の制御パラメータを保持する必要がない。これにより、当該画像符号化方法は、画一的に「隣接ブロックの制御パラメータの値に基づいたコンテキストモデルを利用する」として左ブロックと上ブロックとを利用する場合に比してメモリ使用量を削減することができる。さらに、当該画像符号化方法は、画像のBD-rate値評価等を損なわずに、適切に第２種別の制御パラメータのメモリ使用量を削減することができる。
【0052】
また、当該画像符号化方法は、従来のH.264では考慮されていない、新規なHEVC特有のデータ構造の階層ツリー構造に適したコンテキストの利用、又は、メモリ参照を行うことができる。
【0053】
また、本発明の一形態に係る画像復号装置は、算術復号を用いる画像復号装置であって、複数のコンテキストのうち、処理対象ブロックの算術復号に使用するコンテキストを決定するコンテキスト制御部と、制御パラメータが算術符号化されることで得られた、前記処理対象ブロックに対応するビット列を、決定された前記コンテキストを用いて算術復号することで二値配列を復元する算術復号部と、前記二値配列を多値化することで前記制御パラメータを復元する多値化部とを含み、前記コンテキスト制御部は、前記処理対象ブロックの制御パラメータの信号種別を判定し、前記信号種別が第１種別である場合に、前記処理対象ブロックに隣接する左ブロック及び上ブロックの復号済の制御パラメータを共に利用する第１条件を用いて前記コンテキストを決定し、前記信号種別が、前記第１種別と異なる第２種別である場合に、前記上ブロックの復号済みの制御パラメータを利用しない第２条件を用いて前記コンテキストを決定し、前記第１種別は、"split_coding_unit_flag"、または、"skip_flag"であり、前記第２種別は、"inter_pred_flag"である。
【0054】
これによれば、当該画像復号装置は、メモリ使用量を削減できる。
【0055】
また、本発明の一形態に係る画像符号化装置は、算術符号化を用いる画像符号化装置であって、処理対象ブロックの制御パラメータを二値化することで二値配列を生成する二値化部と、複数のコンテキストのうち、前記処理対象ブロックに使用するコンテキストを決定するコンテキスト制御部と、決定された前記コンテキストを用いて前記二値配列を算術符号化することでビット列を生成する算術符号化部とを含み、前記コンテキスト制御部は、前記処理対象ブロックの制御パラメータの信号種別を判定し、前記信号種別が第１種別である場合に、前記処理対象ブロックに隣接する左ブロック及び上ブロックの制御パラメータを共に利用する第１条件を用いて前記コンテキストを決定し、前記信号種別が、前記第１種別と異なる第２種別である場合に、前記上ブロックの制御パラメータを利用しない第２条件を用いて前記コンテキストを決定し、前記第１種別は、"split_coding_unit_flag"、または、"skip_flag"であり、前記第２種別は、"inter_pred_flag"である。
【0056】
これによれば、当該画像符号化装置は、メモリ使用量を削減できる。
【0057】
また、本発明の一形態に係る画像符号化復号装置は、前記画像復号装置と、前記画像符号化装置とを含む。
【0058】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【0059】
以下、本発明の一態様に係る画像復号装置および画像符号化装置について、図面を参照しながら具体的に説明する。
【0060】
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【0061】
（実施の形態１）以下、本発明の実施の形態１に係る画像符号化装置について説明する。本発明の実施の形態１に係る画像符号化装置は、算術符号化において、制御パラメータの信号種別に応じて、（１）上ブロックを利用してコンテキストを決定するか、（２）上ブロックを利用せずにコンテキストを決定するか、を切り替える。これにより、画質の劣化を抑制しつつ、メモリ使用量を削減できる。
【0062】
まず、本発明の実施の形態１に係る画像符号化装置の構成を説明する。
【0063】
図１は、本実施の形態に係る画像符号化装置１００のブロック図である。
【0064】
図１に示す画像符号化装置１００は、算術符号化を用いる画像符号化装置であり、入力画像信号１２１を符号化することによりビットストリーム１２４を生成する。この画像符号化装置１００は、制御部１０１と、差分部１０２と、変換及び量子化部１０３と、可変長符号化部１０４と、逆量子化及び逆変換部１０５と、加算部１０６と、画面内予測部１０７と、画面間予測部１０８と、スイッチ１０９とを含む。
【0065】
制御部１０１は、符号化対象の入力画像信号１２１に基づいて制御パラメータ１３０を算出する。例えば、制御パラメータ１３０は、符号化対象の入力画像信号１２１のピクチャタイプを示す情報、符号化対象ブロックの動き予測単位(Prediction Unit PU)のサイズ、及び、動き予測単位の制御情報等を含む。ここで制御パラメータ１３０(Control data)はそれ自身が符号化対象となる。よって、制御部１０１は、この制御パラメータ１３０を、可変長符号化部１０４に出力する。
【0066】
差分部１０２は、ブロック単位の入力画像信号１２１と予測画像信号１２９との差分値（残差値）である残差信号１２２を算出する。
【0067】
変換及び量子化部１０３は、残差信号１２２を周波数係数値に変換し、得られた周波数係数値を量子化することで量子化変換係数１２３(residual data)を生成する。
【0068】
逆量子化及び逆変換部１０５は、量子化変換係数１２３を周波数係数値に逆量子化し、得られた周波数係数値を逆変換することで、復元された残差信号１２５を生成する。
【0069】
加算部１０６は、残差信号１２５と予測画像信号１２９とを加算することで復元画像信号１２６を出力する。
【0070】
画面内予測部１０７は、復元画像信号１２６を用いて画面内予測処理を行うことで予測画像信号１２７を生成する。画面間予測部１０８は、復元画像信号１２６を用いて画面間予測処理を行うことで予測画像信号１２８を生成する。
【0071】
スイッチ１０９は、予測画像信号１２７及び予測画像信号１２８の一方を選択し、選択した信号を予測画像信号１２９として出力する。
【0072】
可変長符号化部１０４は、入力されたブロック毎の量子化変換係数１２３及び制御パラメータ１３０を、前述のCABACを用いて符号化することでビットストリーム１２４を生成する。
【0073】
次に、可変長符号化部１０４の構成を説明する。
【0074】
図２は、可変長符号化部１０４の機能ブロック図である。可変長符号化部１０４は、二値化部１４１と、コンテキスト制御部１４２と、二値算術符号化部１４３とを含む。以下、制御パラメータ１３０の可変長符号化処理について説明する。なお、量子化変換係数１２３の可変長符号化処理については説明を省略するが、例えば、既知の技術を用いて実現できる。
【0075】
二値化部１４１は、制御パラメータ１３０を二値化することで二値配列１５１を生成する。具体的には、二値化部１４１は、非特許文献１におけるII. 1) binarizaion処理を実行する処理部である。この二値化部１４１は、制御パラメータ１３０を信号種別毎に事前に定められた二値化処理方法によりbin stringと呼ばれる二値配列１５１に変換する。なお、信号種別と二値化処理方法の対応については後述する。また、二値化部１４１は、入力された制御パラメータ１３０がflag等の１バイナリ値である場合は、当該制御パラメータ１３０をそのまま二値配列１５１として出力する。
【0076】
コンテキスト制御部１４２は、複数のコンテキスト（確率状態テーブル）のうち、処理対象のブロックに含まれる制御パラメータ１３０の算術符号化に使用するコンテキストを決定する。また、コンテキスト制御部１４２は、決定したコンテキストを指定するコンテキストインデクス１５２を二値算術符号化部１４３へ出力する。
【0077】
具体的には、コンテキスト制御部１４２は、非特許文献１における2)context modeling処理を実行する処理部である。このコンテキスト制御部１４２には、二値算術符号化部１４３が出力した二値配列１５１に含まれる複数の要素が順次入力される。コンテキスト制御部１４２は、制御パラメータ１３０の信号種別とこのバイナリの二値配列１５１中の要素位置とに応じて、複数のコンテキストのうち、このバイナリに使用するコンテキストを選択し、選択したコンテキストを示すインデクスであるコンテキストインデクス１５２を二値算術符号化部１４３に出力する。
【0078】
また、コンテキスト制御部１４２は、コンテキストの状態として、制御パラメータ１３０の二値配列の個々の要素をさらに条件付確率の条件に詳細区分化した数（いわゆるコンテキストインデクス数）の確率状態テーブルを保持しており、この確率状態テーブルを初期化及び更新する。
【0079】
また、コンテキスト制御部１４２は、信号種別毎（二値配列の要素数が２以上である場合は、制御パラメータ１３０の二値配列の要素番号毎のことである。以下同じ）に更なる詳細区分として発生条件τ毎（コンテキスト毎）の状態(probability state index)を保持する。この状態は、「０」または「１」の二値のうち、確率が低い方の発生確率Ｐ(内分比率：典型的には6bitの値)と、確率の高い方がどちらかを示す値（1bit）との合計7bit値である。また、状態を保持するとは初期化及び更新することである。例えば、更新処理とは、H264と同じく64個の有限の状態間の遷移であり、今どの確率状態probability state（すなわちどの確率）にあるかのindexingを変更することである。
【0080】
具体的には、コンテキスト制御部１４２は、二値のうち確率の高いmost probable側の事象Xが発生した場合は、most probable側である確率の割合を少し増加させる。例えば、コンテキスト制御部１４２は、64個のテーブルに対応する確率インデクス(probability state index)の値を1増減させることで、most probable側である確率の割合を少し増加させることができる。他方、(予測された確率に反して)確率の低い方の事象not Xが発生した場合には、コンテキスト制御部１４２は、保持しているmost probableの確率の割合を大きく、所定のスケール係数α（例えば≒0.95)に基づいて減少させる（非特許文献１, Fig 6を参照)。本実施の形態のコンテキスト制御部１４２は、H.264と同様に、このαを考慮した変更に対応するように、対応付けられたテーブルインデクス変更値に基づいて状態を遷移させて保持している。
【0081】
二値算術符号化部１４３は、コンテキスト制御部１４２で決定されたコンテキストを用いて二値配列１５１を算術符号化することでビットストリーム１２４（ビット列）を生成する。
【0082】
具体的には、二値算術符号化部１４３は、非特許文献１における3)binary arithmetic coding処理を実行する処理部である。この二値算術符号化部１４３は、コンテキストインデクス１５２で指定されるコンテキストを用いて、二値配列１５１を算術符号化することでビットストリーム１２４を生成する。ここで算術符号化とは、種々の信号種別の制御パラメータ１３０について発生した事象を確率の累積として扱い、どのような事象がおこったのかを１つの数直線上の所定範囲に範囲を狭めながら対応付けることといえる。
【0083】
まず、二値算術符号化部１４３は、１つの数直線を、コンテキスト制御部１４２から与えられた、バイナリがとりうる２つの値の発生確率に応じて２つの半区間に内分する。実際に発生したバイナリの値(例えば「０」）が、高い確率（0.5を超える確率(例えば0.75)）側の値であった場合には、二値算術符号化部１４３は、数直線中の範囲の下値限値lowを変更せず維持し、今回の確率0.75に、スケール係数0.95を１回乗算した結果に対応する値を新たな幅Rangeに設定する。一方、実際に発生したバイナリの値が、予測された低い確率側の値であった場合には、二値算術符号化部１４３は、範囲の下限値lowを、高い方の確率分移動させ、幅Rangeを低い方の確率に応じて変更させる。このように、確率幅Rangeの乗算結果の累積によって区間を保持するが、確率の低い方の値が連続して発生した場合には幅Rangeの長さが演算で確保できる精度以下になる。この場合、二値算術符号化部１４３は、精度を維持するために幅Rangeを拡大する処理(renorm)を行うとともに現時点の範囲を示すためのビット列を出力する。逆に、確率の高い方（0.95等）の値が連続して発生した場合には、この確率値を乗算したとしても幅Rangeの長さが所定の長さより短くなるまでに何回もの演算（表による実装の場合は状態遷移）を行うことができる。従ってこの場合はビットを出力するまでに累積できるシンボル数が多いことになる。
【0084】
図３は、隣接ブロックの制御パラメータ１３０の値に基づくコンテキストモデルを利用する制御パラメータ１３０を整理した表である。
【0085】
左から列の意味を説明する。
【0086】
(c2)信号種別(syntax element)は、制御パラメータ１３０の信号種別の具体名称を示す。なお、各信号種別の意味は後述する。
【0087】
(c3)二値化方式(binarization scheme)は、直左の列で指定される制御パラメータ１３０(ＳＥ)に適用される二値化方式を示す。なお、二値化処理は、上記二値化部１４１で実行される。また、欄中「固定長」とは、二値化部１４１が、直左の制御パラメータ１３０の値を固定長（Fixed Length）の二値配列(bin string)で出力することを意味する。HEVCにおいて信号種別名が"flag"で終わる信号種別の制御パラメータ１３０は、「０」または「１」のいずれかの値をとる１バイナリ値である。従って、二値化部１４１の出力する二値配列１５１の要素は、第１番目の要素（binIdx = 0）のみであり、第２番目以降の要素(binIdx >= 1の要素は出力しない。つまり、二値化部１４１は、制御パラメータ１３０の値をそのまま二値配列１５１として出力する。
【0088】
また、欄中「可変長」とは、二値化部１４１が、制御パラメータ１３０の値を、その値の発生頻度順に短いバイナリ長になるように対応付けられた可変長のバイナリ列（bin string、又は、二値配列であって要素数≧1）を用いて、二値配列化して出力することを示す。例えば、二値化部１４１は、(Truncated)Unary型、又はUnary型と他の指数のGolomb方式等の複数の方式の組み合わせ等の、信号種別に対応した方式を利用して出力する(非特許文献１、A.Binarizationを参照)。なお、可変長の場合、二値配列１５１の配列要素は１個である場合もあるが、２個以上になることもある。また、後述する画像復号装置の多値化部では、この二値化方式の逆の変換を行うことにより、入力された二値配列を多値又はフラグ値に復元する。
【0089】
(c4) 第１番目要素(binIdx=0)コンテキストインデクスは、コンテキスト制御部１４２が、c3の欄で指定された二値化方式によって生成されたバイナリ配列に含まれる１番目の要素に対して適用するコンテキストインデクス（増分値）の選択肢を示す。欄中に「０、１、２」と記載されている場合、コンテキスト制御部１４２は、３つの確率状態テーブル（コンテキスト）から一つの確率状態テーブルを選択して適用することを意味する。例えば、信号種別"skip_flag"については、この１つの信号種別について、条件で細分化なコンテキストインデクスを３つ用意して、つまり、コンテキストを３つ用意して算術符号化を行うことを意味している。
【0090】
同様に、c4欄中に「０、１、２、３」と記載されている場合、c2欄で指定される信号種別の制御パラメータ１３０の値を、c3欄の二値化方式により二値配列化された二値配列１５１に含まれる第１要素（binIdx = 0）に適用されるコンテキストが０、１、２、または、３の４つの択一であることを意味する。なお、欄中の条件式については後述する。
【0091】
(c5) 左ブロック条件L（condL）は、コンテキスト制御部１４２が、カラムc4において０、１、２の値のいずれかの値を選択するための左ブロックの条件（condition）を示す。この条件は、符号化対象（または復号対象）の制御パラメータに対応する、左ブロックの制御パラメータの値に応じて決定されるtrueまたはfalseの値をとる。
【0092】
例えば、制御パラメータ(ＳＥ)がskip_flagである場合には、skip_flag[xL][yL]の値がtrue(例えば「１」)であればtrueが、false(例えば「０」)であればfalseが出力される。
【0093】
(c6) 上ブロック条件A(condA)は、コンテキスト制御部１４２が、カラムc4に指定された配列要素の符号化及び復号において０、１、２の値のいずれかの値を選択するための上ブロックの条件（condition）を示す。この条件は、符号化対象（または復号対象）の制御パラメータに対応する、上ブロックの制御パラメータの値に応じて決定されるtrueまたはfalseの値をとる。例えば、制御パラメータ(ＳＥ)がskip_flagである場合には、skip_flag[xA][yA]の値がtrue(例えば「１」)であればtrueが、false(例えば「０」)であればfalseが出力される。
【0094】
なお、図示していないが、２ビット以上の信号種別には(c7)「binIdx >= 1に適用するコンテキスト増分値」が対応付けられていている。この(c7)は、コンテキスト制御部１４２が、二値配列の２要素目以降のバイナリ(binIdx >= 1のインデクス値を有するバイナリ配列要素のバイナリ値)に適用するコンテキストモデルを示す。
【0095】
本実施の形態に係る画像符号化方法は、上記左ブロック条件L及び上ブロック条件Aについて制御パラメータ１３０の信号種別に応じて以下の動作を切り替える（異なるパターンを利用して動作する）。
【0096】
(パターン１)２個の隣接ブロック(左ブロック条件Lの判定値と上ブロック条件Aの判定値)を使う。
【0097】
(パターン２)１個の隣接ブロック(左ブロック条件Lの判定値のみ)を使う。
【0098】
(パターン３)０個の隣接ブロックを使う(左ブロック条件Lも上ブロック条件Aも使わない)。
【0100】
まず、二値化部１４１は制御パラメータ１３０の値を、この制御パラメータ１３０の信号種別に対応する方式で二値配列化する（Ｓ１０１）。
【0101】
次に、コンテキスト制御部１４２は、この制御パラメータ１３０の算術符号化に用いるコンテキストの基本値を取得する（Ｓ１０２）。例えば、コンテキスト制御部１４２は、ピクチャタイプ（I、P、B）に応じてこの基本値を決定する。
【0102】
次に、コンテキスト制御部１４２は、制御パラメータ１３０の信号種別に応じて、上記パターン１〜パターン３のいずれかを用いてコンテキスト値を決定する（Ｓ１０３）。ここで、コンテキスト値を決定するとは、コンテキストの基本値に対する調整値（インクリメント値CtxIdxInc）を決定することと等価である。
【0103】
まず、コンテキスト制御部１４２は、制御パラメータ１３０の信号種別を判別する（Ｓ１０３）。制御パラメータ１３０の信号種別がパターン１に対応する第１種別である場合（Ｓ１０４で第１種別）、コンテキスト制御部１４２は、隣接する２つのブロック（ブロックＡとブロックＢ）の各々の制御パラメータの値から導出された判定値を用いコンテキスト値を決定する（Ｓ１０５）。言い換えると、コンテキスト制御部１４２は、左ブロック及び上ブロックの２つの隣接ブロックの制御パラメータを利用する条件を用いてコンテキストを決定する。この場合、コンテキスト制御部１４２は、図３に示す(c5)CondLの判定結果と(c6)condAの判定結果との両方の値を利用する。従って、第１種別の制御パラメータに対してはピクチャの横一列分のデータを保持することになる。
【0104】
一方で、制御パラメータ１３０の信号種別がパターン２に対応する第２種別である場合（Ｓ１０４で第２種別）、コンテキスト制御部１４２は、１個の隣接ブロック（符号化順で直近の隣接ブロック）の制御パラメータの値を用いてコンテキスト値を決定する（Ｓ１０６）。言い換えると、コンテキスト制御部１４２は、上ブロックの制御パラメータを利用しない条件を用いてコンテキストを決定する。
【0105】
一方で、制御パラメータ１３０の信号種別がパターン３に対応する第３種別である場合（Ｓ１０４で第３種別）、コンテキスト制御部１４２は、上ブロック及び左ブロックの制御パラメータを共に利用せずに、固定的にコンテキスト値を決定する（Ｓ１０７）。
【0106】
次に、コンテキスト制御部１４２は、ステップＳ１０２で決定されたコンテキストの基本値に、ステップＳ１０３で決定された増分値を加算することでコンテキストインデクス値を導出する（Ｓ１０８）。
【0107】
最後に、二値算術符号化部１４３は、第１要素のバイナリ値を、ステップＳ１０８で決定されたコンテキストインデクス値で指定されるコンテキスト値を用いて算術符号化することで、ビット列（ビットストリーム１２４）を生成する（Ｓ１０９）。
【0108】
次に、二値配列に含まれる全ての要素に対してステップＳ１０２〜Ｓ１０９の処理の実行が完了していない場合（Ｓ１１０でＮＯ）、可変長符号化部１０４は、二値配列に含まれる次の要素に対して、ステップＳ１０２〜Ｓ１０９の処理を実行する。一方、二値配列に含まれる全ての要素に対してステップＳ１０２〜Ｓ１０９の処理の実行が完了した場合（Ｓ１１０でＹＥＳ）、可変長符号化部１０４は、処理対象ブロックの制御パラメータに対する符号化処理を終了する。
【0109】
以上のように、本実施の形態に係る画像符号化装置１００は、算術符号化において、第１種別の制御パラメータに対しては、上ブロックを利用してコンテキストを決定し、第２種別及び第３種別の制御パラメータに対しては、上ブロックを利用せずにコンテキストを決定する。
【0110】
この構成により、当該画像符号化装置１００は、画一的に「隣接ブロックの制御パラメータの値に基づいたコンテキストモデルを利用する」として左ブロックと上ブロックとを利用する場合に比してメモリ使用量を削減することができる。これにより、当該画像符号化装置１００は、画質の劣化を抑制しつつ、メモリ使用量を削減できる。
【0111】
（実施の形態２）本実施の形態では、上記画像符号化装置１００により生成されたビットストリーム１２４を復号する画像復号装置について説明する。
【0112】
図５は、本実施の形態に係る画像復号装置２００のブロック図である。この画像復号装置２００は、算術復号を用いる画像復号装置であり、ビットストリーム１２４を復号することで画像信号２２９を生成する。ここでビットストリーム１２４は、例えば、上述した画像符号化装置１００により生成されたビットストリーム１２４である。
【0113】
画像復号装置２００は、制御部２０１と、可変長復号部２０２と、逆量子化部２０４と、逆変換部２０５と、加算部２０６と、画面内予測部２０７と、画面間予測部２０８とを含む。
【0114】
画像復号装置２００は、所定の処理単位の符号列ごとに復号処理を行う。ここで処理単位は、例えば、スライス単位、又はブロック単位である。
【0115】
可変長復号部２０２は、ビットストリーム１２４に算術復号を行うことで、制御パラメータ２３０(control data syntax element)と、量子化変換係数２２３(Residual data syntax element値）とを生成する。生成された制御パラメータ２３０は制御部２０１に出力される。
【0116】
制御部２０１は、制御パラメータ２３０に応じて画像復号装置２００に含まれる処理部を制御する。
【0117】
逆量子化部２０４は、量子化変換係数２２３を逆量子化することで直交変換係数２２４を生成する。
【0118】
逆変換部２０５は、直交変換係数２２４を逆変換することで残差信号２２５を復元する。加算部２０６は残差信号２２５と予測画像信号（画像信号２２９）とを加算することで復号画像信号２２６を生成する。
【0119】
画面内予測部２０７は、復号画像信号２２６を用いて画面内予測処理を行うことで予測画像信号２２７を生成する。画面間予測部２０８は、復号画像信号２２６を用いて画面間予測処理を行うことで予測画像信号２２８を生成する。
【0120】
スイッチ２０９は、予測画像信号２２７及び予測画像信号２２８の一方を選択し、選択した信号を画像信号２２９（予測画像信号）として出力する。
【0121】
次に、可変長復号部２０２の構成を説明する。
【0122】
図６は、可変長復号部２０２の構成を示す機能ブロック図である。可変長復号部２０２は、二値算術復号部２４３と、コンテキスト制御部２４２と、多値化部２４１とを含む。以下、制御パラメータ２３０の可変長復号処理について説明する。なお、量子化変換係数２２３の可変長復号処理については説明を省略するが、例えば、既知の技術を用いて実現できる。
【0123】
コンテキスト制御部２４２は、複数のコンテキストのうち、処理対象のブロックの制御パラメータ２３０の算術復号に使用するコンテキストを決定する。また、コンテキスト制御部２４２は、決定したコンテキストを指定するコンテキストインデクス２５２を二値算術復号部２４３へ出力する。
【0124】
具体的には、コンテキスト制御部２４２は、保持する確率遷移モデルとして、図２に示すコンテキスト制御部１４２と同じコンテキストモデルを用いる。二値算術符号化部１４３が64個の確率状態を用いる場合は、二値算術復号部２４３も64個の確率状態を持つ。これは、符号化される数直線上のレンジを、符号化側及び復号側の両方でまったく同じように解釈する必要があるためである。よって、符号化側が、上述したパターン１〜３の３つのパターンから選択したパターンと、同じパターンを復号装置側でも用いる。
【0125】
二値算術復号部２４３は、コンテキスト制御部２４２で決定されたコンテキストを用いてビット列（ビットストリーム１２４）を算術復号することで二値配列２５１を復元する。具体的には、二値算術復号部２４３は、コンテキスト制御部２４２から与えられたコンテキストインデクスにより指定されるコンテキスト（確率状態テーブル）を用いて、入力されたビット列を二値配列２５１に復元する。
【0126】
多値化部２４１は、二値配列２５１を必要であれば多値化することで制御パラメータ２３０に復元する。このように、画像符号化装置１００が備えるコンテキスト制御部１４２と、画像復号装置２００が備えるコンテキスト制御部２４２とは、ある信号種別の制御パラメータの算術符号化及び算術復号時に双方で同じコンテキストモデルを利用する。
【0127】
図７は、可変長復号部２０２が実行する本実施の形態に係る画像復号方法を示すフロー図である。
【0128】
まず、可変長復号部２０２はビットストリーム１２４を取得する（Ｓ２０１）。
【0129】
次に、コンテキスト制御部２４２は、ビットストリーム１２４のデータ構造に応じて復号対象の制御パラメータの信号種別を決定する（Ｓ２０２）。
【0130】
次に、コンテキスト制御部２４２は、復号対象の制御パラメータの算術復号に用いるコンテキストの基本値を決定する（Ｓ２０３）。例えば、コンテキスト制御部２４２は、ピクチャタイプ（I、P、B）に応じてこの基本値を決定する。
【0131】
次に、コンテキスト制御部２４２は、制御パラメータの信号種別に応じて、上記パターン１〜パターン３のいずれかを用いてコンテキスト値を決定する（Ｓ２０４）。ここで、コンテキスト値を決定することとは、コンテキストの基本値に対する調整値（インクリメント値CtxIdxInc）を決定することと等価である。例えば、コンテキスト制御部２４２は、制御パラメータの信号種別に応じてパターン１〜パターン３のいずれを用いるかの判断を、静的に事前に決定された表に従い行なう。
【0132】
コンテキスト制御部２４２は、二値配列２５１に含まれる第１要素のバイナリの値を算術復号により得るために用いるコンテキストの決定に用いる隣接ブロックを、制御パラメータの信号種別に応じて切り替える。
【0133】
まず、コンテキスト制御部２４２は、制御パラメータ２３０の信号種別を判定する（Ｓ２０５）。信号種別がパターン１に対応する第１種別である場合（Ｓ２０５で第１種別）、コンテキスト制御部２４２は、隣接する２つのブロックの各々の制御パラメータを用いてコンテキスト値を決定する（Ｓ２０６）。言い換えると、コンテキスト制御部２４２は、左ブロック及び上ブロックの２つの隣接ブロックの復号済の制御パラメータを利用する条件を用いてコンテキストを決定する。
【0134】
一方、信号種別がパターン２に対応する第２種別である場合（Ｓ２０５で第２種別）、コンテキスト制御部２４２は、１個の隣接ブロック（符号化順で直近の隣接ブロック）の制御パラメータの値を用いてコンテキスト値を決定する（Ｓ２０７）。言い換えると、コンテキスト制御部２４２は、上ブロックの復号済みの制御パラメータを利用しない条件を用いてコンテキストを決定する。
【0135】
一方、信号種別がパターン３に対応する第３種別である場合（Ｓ２０５で第３種別）、コンテキスト制御部２４２は、固定的にコンテキスト値を決定する（Ｓ２０８）。言い換えると、コンテキスト制御部２４２は、上ブロック及び左ブロックの復号済みの制御パラメータを共に利用しない条件を用いてコンテキストを決定する。
【0136】
次に、コンテキスト制御部２４２は、ステップＳ２０３で決定されたコンテキストインデクスの基本値と、ステップＳ２０４で決定された増分値とを加算することでコンテキストインデクス値を決定する（Ｓ２０９）。
【0137】
次に、二値算術復号部２４３は、コンテキスト制御部２４２から与えられたコンテキストインデクス値で示されるコンテキスト値を用いて、二値配列の要素の１つを復号により得る（Ｓ２１０）。
【0138】
次に、二値配列に含まれる全ての要素に対してステップＳ２０３〜Ｓ２１０の処理の実行が完了していない場合（Ｓ２１１でＮＯ）、可変長復号部２０２は、二値配列に含まれる次の要素に対して、ステップＳ２０３〜Ｓ２１０の処理を実行する。
【0139】
一方、二値配列に含まれる全ての要素に対してステップＳ２０３〜Ｓ２１０の処理の実行が完了した場合（Ｓ２１１でＹＥＳ）、多値化部２４１は、上記のステップＳ２０３〜Ｓ２１０の処理を１回以上繰り返すことで得られた二値配列２５１の１個以上の要素を多値化することで制御パラメータ２３０を生成する（Ｓ２１２）。
【0140】
以上より、本実施の形態に係る画像復号装置２００は、算術復号において、第１種別の制御パラメータに対しては、上ブロックを利用してコンテキストを決定し、第２種別及び第３種別の制御パラメータに対しては、上ブロックを利用せずにコンテキストを決定する。
【0141】
この構成により、当該画像復号装置２００は、画一的に「隣接ブロックの制御パラメータの値に基づいたコンテキストモデルを利用する」として左ブロックと上ブロックとを利用する場合に比してメモリ使用を削減することができる。これにより、当該画像復号装置２００は、画質の劣化を抑制しつつ、メモリ使用量を削減できる。
【0142】
なお、多値化部２４１は、二値配列２５１がflag等であり、要素数が１つの場合、つまり、1binaryである場合には、当該二値配列２５１をそのまま出力してもよい。
【0143】
また、上述説明に加え、制御部１０１又は２０１は図示しない信号線を介して各処理部を制御する処理、又はメモリの値を参照する処理等を行ってもよい。
【0144】
また、上記説明では、コンテキスト制御部１４２又は２４２は、パターン１〜パターン３の３つのパターンを制御パラメータの信号種別に応じて切り替えているが、パターン１〜パターン３のうち２つのパターンを信号種別に応じて切り替えてもよい。言い換えると、コンテキスト制御部１４２又は２４２は、制御パラメータの信号種別に応じて、上ブロック条件を利用する／しないを切り替えればよい。
【0145】
また、コンテキスト制御部１４２又は２４２は、このような選択されるコンテキストモデルの切り替え方法（コンテキストモデル増分値を変更する場合も含む、以下同じ）を所定の画像情報に応じて変更してもよい。例えば、コンテキスト制御部１４２又は２４２は、メモリ保持量及び各コンテキストの学習回数に影響する画像の横幅のサイズ又はサンプリングフォーマット等に応じて、この切り替え方針自体をさらに切り替えるとしてもよい。
【0146】
また、上記説明では、説明の簡略化のために、コンテキスト制御部１４２又は２４２が、上ブロック条件を利用する／しないを切り替えるとしたが、コンテキスト制御部１４２又は２４２は、上ブロックがそもそも利用できない場合をこれと組み合わせて適用してもよい。例えば、コンテキスト制御部１４２又は２４２は、処理対象のスライスがエントロピースライスであるか否か（entropy_slice_flag が１であるか０であるか）に応じて、この切り替え方針自体を変更してもよい。同様に、そもそも上隣接ブロックの利用可能性が担保できない場合には、コンテキスト制御部１４２又は２４２は、切り替え方針を、上ブロックを利用しないに変更してもよい。
【0147】
例えば、図８に示すように、コンテキスト制御部１４２又は２４２は、所定の単位のパラメータの値に応じて（Ｓ３０１）、コンテキストモデルの決定方針を第１の決定規範（Ｓ３０２）と、第２の決定規範（Ｓ３０３）とで切り替えてもよい。ここで、所定の単位のパラメータの値に応じてとは、上述したように、スライスがentropy slice であるか否か等に応じてである。また、第１の決定規範とは、図７に示す処理を行う規範である。第２の決定規範とは、図７に示すステップＳ２０４を含まない決定規範であり、例えば従来の決定規範である。これはコンテキストインデクスの増分値を、局所的な所定の単位のパラメータとその単位より大きな単位のパラメータの値とで決定することと等価である。
【0148】
すなわち、コンテキスト制御部１４２又は２４２は、第１の単位の制御パラメータの値に基づいて、第１の単位より小さい単位に適用される決定規範を他の決定規範に切り替えてもよい。
【0149】
また、コンテキスト制御部１４２又は２４２は、画像系列の特徴に応じて、使用する決定規範）を変更してもよい。例えば、コンテキスト制御部１４２又は２４２は、Iピクチャの間隔(IntraPeriod の設定値)に応じて、使用する決定規範を変更してもよい。
【0150】
なお、ここでは、コンテキスト制御部１４２又は２４２は、上記の条件に応じて、決定規範を切り替えるとしたが、上ブロックを利用するか否かを切り替えてもよい。
【0151】
また、コンテキスト制御部１４２又は２４２は、位置的に上ブロックの制御パラメータが符号化又は復号時に利用できるか否かに基づいて、上ブロックの制御パラメータを利用するか否かを決定してもよい。つまり、コンテキスト制御部１４２又は２４２は、処理対象のブロック位置に基づき、上ブロックの制御パラメータを復号時に利用できるか否かを判定し、上ブロックの制御パラメータを利用できない場合に、パターン２又はパターン３を用いてコンテキストを決定してもよい。さらに、コンテキスト制御部１４２又は２４２は、この上ブロックの参照値を利用できるか否かを、ＴＵ、ＣＵ、又はＰＵブロック分割のツリー構造に基づいて決定してもよい。つまり、コンテキスト制御部１４２又は２４２は、処理対象の制御パラメータの属するデータ単位の階層の深さに応じて上ブロックの制御パラメータを復号時に利用できるか否かを判定してもよい。
【0152】
図９は、HEVC規格におけるピクチャとスライスとブロックとの関係を示す図である。１つのピクチャは１以上のスライスに分割されている。図９に示す例ではピクチャは、２つのスライス（SLICE１及びSLICE2）に分割されている。１つのスライスは、複数のブロック３０１(例えば、treeblocks)で構成される。ここで、ブロック３０１は、スライスを所定のサイズに分割した場合に、何かの制御単位として最大の単位であり、その単位を階層分割のrootとした場合のそのrootのサイズである。
【0153】
図９に示す例では、SLICE2は、ブロック３０１Ａ（startTb）からはじまり、ハッチングされたブロック３０１を経由して右下隅のブロックまでの複数のブロックを含む１シーケンスで構成される。なお、図中ハッチングされたブロックは現在の処理対象となる１つのブロック（Treeblock）である。
【0154】
さて、各々のブロック３０１はN×M画素で構成される。また、１つのブロック３０１は内部で再帰的に分割（典型的には4分割）される。つまり、１つのTreeblockは概念的に１つの4分木を構成する(QuadTree)。図９に示すブロック３０１Ｂでは、４分割された右上のブロックが２階層にわたり再帰的に４分割されている。つまり、ブロック３０１Ｂは、左上の0番から右下の9番まで、所定の観点で分割された１０個の論理的なユニットを含む。
【0155】
ここで、観点とは、符号化単位(CU)についてのtree、又はresidual_dataについてのTree等、あるrootを基点に互いに深さの異なりうる複数の木が観念される。ここで各種の制御パラメータの値はいずれかの葉ノードに属することになる。
【0156】
さて、ここで、実際に上ブロックに含まれるある信号種別の制御パラメータの値が「利用できるか(available)否かは」、当該制御パラメータが属する木の種別に依存する。よって、コンテキスト制御部１４２又は２４２は、制御パラメータの属する木の種別に従って決定規範を変更してもよい。これは、シンタクス単位に変更することと等価である。例えば、コンテキスト制御部１４２又は２４２は、適応フィルタについてのalf_param等のデータ構造のデータに対しては、上ブロックを利用しないパターン２またはパターン３を利用し、他のシンタクスについては従来どおりのコンテキストモデル方針（パターン１）を利用してもよい。つまり、上記第２種別又は第３種別は、予め定められたデータ構造を有する制御パラメータであってもよい。また、これは、隣接の定義のツリーの種別によって変わることを意味する。
【0157】
さらに、実際にその制御パラメータの値が利用できるかどうか、又は、メモリ使用量の削減に効果を生じるかは、ブロックの階層関係上の位置に応じて異なる。つまり、コンテキスト制御部１４２又は２４２は、ブロックの階層及び階層内の位置に応じて上ブロックを利用するか否かを切り替えてもよい。
【0158】
例えば、図９に示すブロック３０１Ｂにおける各番号０〜９は、復号順であるとする。この場合、番号４のブロックを符号化又は復号する場合に、番号１のブロック及び番号２のブロックの制御パラメータを利用できる。
【0159】
さらに、メモリ使用量の削減の観点から、コンテキスト制御部１４２又は２４２は、Depth0でないブロックであり、かつ、自己の位置が縦方向分割における２個目以上の要素であれば、上ブロックを利用するパターン１を選択してもよい。ここでdepthとは、rootからの階層数を示す。すなわち、あるブロックをblock[xn],[y0][depth]と規定した場合、処理対象のブロックがblock[xn][(y0) + 1][depth]）が成立するブロックであるか否かに応じて、決定規範を変更してもよい。つまり、図９に示す番号４〜９のブロックに対して上ブロックが利用される。これは、このツリーの符号化又は復号が、図示された番号順（０から始まり９で終わる順番）であれば、番号４〜９のブロックでは、上ブロックに含まれる制御パラメータが利用できることも明らかであるためである。さらに、これらのブロックでは、データの保持は一時的でよいという利点もある。また、このことは、ｘ、ｙ座標に加え階層を含む三次元の位置に応じてコンテキスト値を決定することもいえる。また、上階層のブロックの条件値を下階層のブロックの条件値として利用（踏襲）することが可能である。
【0160】
さらに、コンテキスト制御部１４２又は２４２は、処理対象のブロックと、他のスライスとの位置関係を考慮して、これらの規範を変更してもよい。以下、図９に示す３つのハッチングしたブロック３０１Ａ、３０１Ｂ及び３０１Ｃの例を説明する。
【0161】
ここで、ブロック３０１Ａは、スタートブロックであり、左ブロック及び上ブロックが共に他のスライスに含まれる。ブロック３０１Ｂは、上ブロックが別スライスに含まれる。ブロック３０１Ｃは、上ブロック及び左ブロックが共に、自己のブロックが含まれるスライスと同じスライスに含まれる。コンテキスト制御部１４２又は２４２は、このような条件に応じて、規範を切り替えても良い。つまり、コンテキスト制御部１４２又は２４２は、（１）上ブロックが他のスライスに含まれるか否かに応じて規範を切り替えてもよいし、（２）左ブロックが他のスライスに含まれるか否かに応じて規範を切り替えてもよいし、（３）これらの両方に応じて規範を切り替えてもよい。言い換えると、コンテキスト制御部１４２又は２４２は、処理対象のブロックがスライス境界に属する場合に、上ブロックの制御パラメータを復号時に利用できないと判定してもよい。これにより、例えば、上のスライス１の復号処理が終了していない場合に、スライス２の内部で自己的に情報が得られるか否かを考慮した復号処理が実現できる。
【0162】
以下、階層化された処理単位（多階層ブロック構造）について説明する。図１０は、階層化された処理単位（多階層ブロック構造）を説明するための説明図である。
【0163】
上記画像符号化装置１００は、動画像を処理単位ごとに符号化し、画像復号装置２００は、符号化ストリームを処理単位ごとに復号する。この処理単位は、複数の小さな処理単位に分割され、その小さな処理単位がさらに複数のより小さな処理単位に分割されるように、階層化されている。なお、処理単位が小さいほど、その処理単位がある階層は深く、下位にあり、その階層を示す値は大きい。逆に、処理単位が大きいほど、その処理単位がある階層は浅く、上位にあり、その階層を示す値は小さい。
【0164】
処理単位には、符号化単位（ＣＵ）と予測単位（ＰＵ）と変換単位（ＴＵ）とがある。ＣＵは、最大１２８×１２８画素からなるブロックであり、従来のマクロブロックに相当する単位である。ＰＵは、画面間予測の基本単位である。ＴＵは、直交変換の基本単位であり、そのＴＵのサイズはＰＵと同じか、ＰＵよりも一階層小さいサイズである。ＣＵは、例えば４つのサブＣＵに分割され、そのうちの１つのサブＣＵは、そのサブＣＵと同じサイズのＰＵおよびＴＵを含む（この場合、ＰＵとＴＵは互いに重なった状態にある）。例えば、そのＰＵはさらに４つのサブＰＵに分割され、ＴＵもさらに４つのサブＴＵに分割される。なお、処理単位が複数の小さい処理単位に分割される場合、その小さい処理単位をサブ処理単位という。例えば、処理単位がＣＵの場合では、サブ処理単位はサブＣＵであり、処理単位がＰＵの場合では、サブ処理単位はサブＰＵであり、処理単位がＴＵの場合では、サブ処理単位はサブＴＵである。
【0165】
具体的には、以下のとおりである。
【0166】
ピクチャはスライスに分割される。スライスは最大符号化単位のシーケンスである。最大符号化単位の位置は、最大符号化単位アドレスｌｃｕＡｄｄｒによって示される。
【0167】
最大符号化単位を含むそれぞれの符号化単位は、４つの符号化単位に分割される。その結果、符号化単位の大きさの四分木分割が構成される。符号化単位の位置は、最大符号化単位の左上端のサンプル（画素または係数）を起点とした符号化単位インデクスｃｕＩｄｘによって示される。
【0168】
符号化単位の分割が許可されていない場合、その符号化単位は予測単位として扱われる。符号化単位と同様に、予測単位の位置は、最大符号化単位の左上端のサンプルを起点とした予測単位インデクスｐｕＩｄｘによって示される。
【0169】
予測単位は複数のパーティション（予測単位パーティションまたはサブＰＵ）を含んでいてもよい。予測単位パーティションは、予測単位の左上端のサンプルを起点とした予測単位パーティションインデクスｐｕＰａｒｔＩｄｘによって示される。
【0170】
予測単位は複数の変換単位を含んでいてもよい。符号化単位と同様に、変換単位は４つの小さいサイズの変換単位（サブ変換単位）に分割されてもよい。このことは、残差信号の四分木分割を許可する。変換単位の位置は、予測単位の左上端のサンプルを起点とした変換単位インデクスｔｕＩｄｘによって示される。
【0171】
ここで、各処理単位の定義は以下のとおりである。
【0172】
ＣＴＢ（coding tree block）：正方形領域の四分木分割を特定するための基本単位。ＣＴＢは正方形の多様なサイズを有する。
【0173】
ＬＣＴＢ（largest coding tree block）：スライスにおいて許可される最も大きいサイズのＣＴＢ。スライスは重複しない複数のＬＣＴＢからなる。
【0174】
ＳＣＴＢ（smallest coding tree block）：スライスにおいて許可される最も小さいサイズのＣＴＢ。ＳＣＴＢをより小さいＣＴＢに分割することは許可されていない。
【0175】
ＰＵ（prediction unit）：予測処理を特定するための基本単位。ＰＵのサイズは、分割が許可されていないＣＵのサイズと同じである。ＣＵでは、ＣＵを４つの正方形領域に分割することが許可されているのに対して、ＰＵでは、ＰＵを任意の形状の複数のパーティションに分割することができる。
【0176】
ＴＵ（transform unit）：変換および量子化を特定するための基本単位。
【0177】
ＣＵ（coding unit）：ＣＴＢと同一。
【0178】
ＬＣＵ（largest coding unit）：最も大きいＣＴＢと同一。
【0179】
ＳＣＵ（smallest coding unit）：最も小さいＣＴＢと同一。
【0180】
また、量子化パラメータは、デルタ量子化スケールパラメータ（delta QPまたはQP delta）、量子化オフセットパラメータ、インデクス（Ｑmatrix select idc）および量子化デッドゾーンオフセットパラメータのうちの少なくとも１つを含む。なお、インデクスは、複数の量子化スケールマトリクスから１つを選択するためのものである。
【0181】
デルタ量子化スケールパラメータ（delta QP or QP delta）は、変換係数に適用されるべき量子化スケールパラメータと、シーケンスヘッダまたはスライスヘッダで指定される量子化スケールパラメータ（または、Ｚ走査順で直前の量子化スケールパラメータ）との差分である。
【0182】
量子化オフセットパラメータは、量子化オフセットとも呼ばれ、量子化を行う際の信号の丸め方の調整値（オフセット値）である。したがって、画像符号化装置１００は、量子化を行うときには、その量子化オフセットを符号化し、画像復号装置２００は、その符号化された量子化オフセットを復号する。そして、画像復号装置２００は、変換係数を逆量子化する際には、その量子化オフセットを用いた補正を行う。
【0183】
インデクス（Qmatrix select idc）は、適応量子化マトリクスとも呼ばれ、複数の量子化スケーリングマトリクスから何れの量子化スケーリングマトリクスを用いるかを示すインデクスである。また、Qmatrix select idcは、１つの量子化スケーリングマトリクスしかない場合には、その量子化スケーリングマトリクスを使うか否かを示す。なお、適応用量子化マトリクスはブロック単位（処理単位）で制御可能である。
【0184】
量子化デッドゾーンオフセットパラメータは、適応デッドゾーンとも呼ばれ、デッドゾーンをブロック毎に適応的に変更するための制御情報である。デッドゾーンは、周波数係数が量子化によって０となる幅（量子化後に＋１または−１となる直前の幅）である。
【0185】
なお、上記説明では、パターン３として予め定められた固定値をコンテキスト値として用いる例を述べたが、上ブロック及び左ブロックの制御パラメータを共に利用しない条件であればよく、パターン３として上ブロック及び左ブロックの制御パラメータの条件を含まない条件を用いてもよい。例えば、パターン３として、コンテキスト制御部１４２又は２４２は、制御パラメータの属するデータ単位の階層の深さに応じてコンテキストを決定してもよい。
【0186】
（実施の形態３）本実施の形態では、上記第１種別及び第２種別（又は第３種別）としてどのような信号種別を利用すべきかについて説明する。
【0187】
具体的には、本発明者は、図３(非特許文献２、9.3.3.1.1.1節)に示された信号種別のうち以下の信号種別の個々について検証を行った。個々の信号種別について検証を行ったのは、パラメータが多岐にわたり、１つの信号種別についての検証結果（パターン１〜パターン３のいずれがよいか）から、他の信号種別の各パターンが妥当性を満たすかあるかの予見が困難であるためである。
【0188】
検証は JCTVC-E700, "Common test conditions and software reference configurations"(非特許文献３参照)に記載された構成(設定パラメータ、及びソフトウェアバージョンHM3.0)に準拠する。また、テスト画像の長さは全て49フレームに制限した結果である。
【0189】
本実施の形態に係る画像符号化方法及び画像復号方法はCABACに関するものである。よって、Entropy Codingモードとして、SymbolModeの値が1（# 0:LCEC, 1:CABAC ）である設定値のセットである以下の４つのテストパターンを用いて検証を行った。
【0190】
4.1 Intra, high-efficiency setting4.3 Random access, high-efficiency setting
4.5 Low delay, high-efficiency setting
4.7 Low delay, high-efficiency setting (P slices only)
【0191】
また、評価は、HEVCでの実装評価に統一的な評価尺度として利用されている"BD-RATE"値とよばれる評価値を用いる。Y BD-rate、U BD-rate、及びV BD-rateは、色空間Y, U, VについてのBD-rateであり、評価尺度値である。ここでBD-rateとは、VCEG-AI11（非特許文献４）に記載されている、２組の符号量とPSNRの結果とを積分し、その面積の比によって符号化効率を表した評価値ある。また、BD-rateがマイナスの値を示す場合に符号化効率が良くなったことを示している。比較の基準はパターン１を実装する参照プログラムの出力結果であり、今回の結果は、パターン２及びパターン３の各々のパターン１に対する値を示している。
【0192】
以下、各信号種別の検証結果を説明する。
【0193】
（第１の検証）"split_coding_unit_flag"（第２の検証）"skip_flag"
（第３の検証）"inter_pred_flag"
【0195】
検証においては、検証対象の信号種別のみ、コンテキストモデルをパターン１からパターン２またはパターン３に変更し、他の信号種別、及び非特許文献３で指定する検証用パラメータについては変更をせず検証を行っている。また、図１１の欄中の値で「固定」とは、コンテキスト値（又は増分値）の導出において、「固定」が記載された列の条件（左ブロック条件又は上ブロック条件を用いないことである。つまり、左ブロック条件及び右ブロック条件の一方の条件のみが「固定」の場合は、他方の条件のみが用いられる。また、左ブロック条件及び右ブロック条件の両方が「固定」の場合には、コンテキスト値（又は増分値）として予め定められた値（例えば「０」）が用いられる。
【0196】
信号種別"split_coding_unit_flag"の意味は、以下で定義される。
【0197】
split_coding_unit_flag[x0][y0]は、対象のCUが水平及び垂直のサイズが半分の複数のCUに分割されるか否かを示す。x0及びy0は、画像の左上隅に位置する輝度サンプルを基準とした、対象のCUの左上隅に位置する輝度サンプルの座標を示す。つまり、split_coding_unit_flagは、対象のCUが４分割されているか否かを示す。具体的には、split_coding_unit_flagの値が「１」の場合、対象のCUは分割されており、当該値が「０」の場合、対象のCUは分割されていない。
【0198】
このsplit_coding_unit_flagは、syntaxとしてCoding tree syntaxにデータ構造化される。画像復号装置は、このデータ構造のシンタクスに準じてビット列を解釈する。
【0200】
図１２Ａは、(パターン２)１個の隣接ブロック(左ブロック条件Lの判定値のみ)が用いられる場合の検証結果を示す。図１２Ｂは、(パターン３)０個の隣接ブロックが用いられる(上ブロック条件Lも左も用いられない)場合の検証結果を示す。
【0202】
また、評価値は、左ブロック及び上ブロックの両方を用いるパターン１の場合の評価値との相対的な値を示す評価尺度である。具体的には、評価値が正の値であればその結果はパターン１の場合の評価値(BD-rate)よりも悪い。また、評価値が負の値であればその結果はパターン１の場合の評価値よりも改善されている。
【0203】
この結果によれば、split_coding_unit_flagに関しては、コンテキストモデルのパターンとしてパターン１が優れていることがわかる。言い換えると、パターン２及びパターン３はパターン１より評価値が悪い。
【0204】
従って、コンテキスト制御部１４２及び２４２は、制御パラメータの信号種別が "split_coding_unit_flag" である場合は、BD-rateの観点より、従来通りのコンテキストモデルのパターンであるパターン１を利用してコンテキスト値を決定する。
【0206】
信号種別"skip_flag"の意味は以下で定義される。
【0207】
P又はBスライスを復号する場合において、skip_flag[x0][y0]の値が「１」の場合、当該skip_flag[x0][y0]の後に、予測動きベクトルインデクス以外に、現在のCU用のシンタックスエレメントが存在しないことを意味する。また、skip_flag[x0][y0]の値が「１」の場合、現在のCUがスキップされないことを意味する。x0及びy0は、画像の左上隅に位置する輝度サンプルを基準とした、対象のCUの左上隅に位置する輝度サンプルの座標を示す。つまり、skip_flagは、対象のCUをスキップするか（スキップドブロックとして扱うか）否かを示す。
【0208】
このskip_flagは、syntaxとしてCoding unit syntaxにデータ構造化される。つまり、skip_flagはCUごとに設定される。画像復号装置では、このデータ構造のシンタクスに準じて、ビット列を解釈する。
【0210】
図１４Ａは、(パターン２)１個の隣接ブロック(左ブロック条件Lの判定値のみ)が用いられる場合の検証結果を示す。図１４Ｂは、(パターン３)０個の隣接ブロックが用いられる(上ブロック条件Lも左も用いられない)場合の検証結果を示す。
【0212】
この結果によれば、"skip_flag"に関しては、コンテキストモデルのパターンとしてパターン１が優れていることがわかる。言い換えると、パターン２及びパターン３はパターン１より評価値が悪い。
【0213】
従って、コンテキスト制御部１４２及び２４２は、制御パラメータの信号種別が "skip_flag"である場合は、BD-rateの観点より、従来通りのコンテキストモデルのパターンであるパターン１を利用してコンテキスト値を決定する。
【0215】
信号種別"inter_pred_flag"の意味は以下で定義される。
【0216】
inter_pred_flag[x0][y0]は、テーブル7 11に従い、現在のＰＵに、uni-prediction及びbi-predictionのいずれが使用されるかを示す。x0及びy0は、画像の左上隅に位置する輝度サンプルを基準とした、対象の予測ブロックの左上隅に位置する輝度サンプルの座標を示す。ここで、uni-predictionは、lc（合成リスト）を使用する予測であり、bi-predictionはリスト０及びリスト１を使用する予測である。また、合成リストはリスト０及びリスト１が合成（マージ）されたものである。また、inter_pred_flagは、対象スライスがBスライスの場合にのみ用いられる。
【0217】
このinter_pred_flagは、syntaxとして"Prediction Unit"にデータ構造化される。画像復号化装置では、このデータ構造のシンタクスに準じて、ビット列を解釈する。
【0219】
図１６Ａは、(パターン２)１個の隣接ブロック(左ブロック条件Lの判定値のみ)が用いられる場合の検証結果を示す。図１６Ｂは、(パターン３)０個の隣接ブロックが用いられる(上ブロック条件Lも左も用いられない)場合の検証結果を示す。
【0221】
この結果によれば、前述の第１の検証のsplit_coding_unit_flag、及び、第２の検証のskip_flagとは結果が異なり、このinter_pred_flagに関しては、コンテキストモデルのパターンとしてパターン１と、パターン２またはパターン３との間にBD-rateの大きな差が発生していない。
【0222】
従って、コンテキスト制御部１４２及び２４２は、複数の信号種別の制御パラメータが混在する環境において、特に、信号種別がinter_pred_flagである場合は、隣接ブロックとして上ブロックを利用しないでコンテキスト値を決定する。つまり、コンテキスト制御部１４２及び２４２は、制御パラメータの信号種別がinter_pred_flagである場合は、パターン２又はパターン３を用いてコンテキスト値を決定する。言い換えると、上記第１種別は、"split_coding_unit_flag"、または、"skip_flag"を含み、上記第２種別又は第３種別は、"inter_pred_flag"を含む。これにより、本実施の形態に係る画像符号化装置及び画像復号装置は、BD-rate値の低下を抑えつつ、メモリ使用量を削減することができる。
【0223】
なお、inter_pred_flagに対するパターン２とパターン３とを比較した場合、これらのBD-rateには大きな差が発生していない。よって、inter_pred_flagに対してパターン３を用いることがより好ましい。これにより、さらなるメモリ使用量の削減、及び処理量の削減を実現できる。
【0224】
ここで、スキップモード及びマージモードではない通常のインター予測モードの場合にinter_pred_flagが用いられる。スキップモード及びマージモードでは、処理対象ブロックの動きベクトルとして上ブロック及び左ブロックと同じ動きベクトルが利用されるが、それ以外の通常のインター予測モードでは、処理対象ブロックの動きベクトルとして上ブロック及び左ブロックと異なる動きベクトルが利用される。これにより、inter_pred_flagに対して、パターン１のように上及び左ブロックを利用すると符号化効率が低下すると考えられる。つまり、inter_pred_flagに対してパターン２又はパターン３を用いることで符号化効率を向上させることが可能になる。
【0225】
さらに、上述したように、inter_pred_flagに対して、処理対象ブロックの階層に応じてコンテキスト値を決定することで符号化効率をさらに向上できる。
【0226】
以上、本発明の実施の形態に係る画像符号化装置及び画像復号装置について説明したが、本発明は、この実施の形態に限定されるものではない。
【0227】
例えば、上記実施の形態１〜３に係る、画像符号化装置、画像復号装置及びそれらの変形例の機能のうち少なくとも一部を組み合わせてもよい。
【0228】
また、上記で用いた数字及び論理値は、全て本発明を具体的に説明するために例示するものであり、本発明は例示された数字に制限されない。
【0229】
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
【0230】
また、上記の画像符号化装置による画像符号化方法、及び画像復号装置による画像復号方法における、各ステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
【0231】
（実施の形態４）上記各実施の形態で示した動画像符号化方法（画像符号化方法）または動画像復号化方法（画像復号方法）の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。
【0232】
さらにここで、上記各実施の形態で示した動画像符号化方法（画像符号化方法）や動画像復号化方法（画像復号方法）の応用例とそれを用いたシステムを説明する。当該システムは、画像符号化方法を用いた画像符号化装置、及び画像復号方法を用いた画像復号装置からなる画像符号化復号装置を有することを特徴とする。システムにおける他の構成について、場合に応じて適切に変更することができる。
【0233】
図１９は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０６、ex１０７、ex１０８、ex１０９、ex１１０が設置されている。
【0234】
このコンテンツ供給システムex１００は、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０６からex１１０を介して、コンピュータex１１１、ＰＤＡ（Personal Digital Assistant）ex１１２、カメラex１１３、携帯電話ex１１４、ゲーム機ex１１５などの各機器が接続される。
【0235】
しかし、コンテンツ供給システムex１００は図１９のような構成に限定されず、いずれかの要素を組合せて接続するようにしてもよい。また、固定無線局である基地局ex１０６からex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。
【0236】
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器であり、カメラex１１６はデジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ex１１４は、ＧＳＭ（登録商標）（Global System for Mobile Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＬＴＥ（Long Term Evolution）方式、ＨＳＰＡ(High Speed Packet Access)の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
【0237】
コンテンツ供給システムex１００では、カメラex１１３等が基地局ex１０９、電話網ex１０４を通じてストリーミングサーバex１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラex１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して上記各実施の形態で説明したように符号化処理を行い（即ち、本発明の一態様に係る画像符号化装置として機能する）、ストリーミングサーバex１０３に送信する。一方、ストリーミングサーバex１０３は要求のあったクライアントに対して送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４、ゲーム機ex１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する（即ち、本発明の一態様に係る画像復号装置として機能する）。
【0238】
なお、撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするストリーミングサーバex１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理はクライアントで行っても、ストリーミングサーバex１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラex１１３に限らず、カメラex１１６で撮影した静止画像および／または動画像データを、コンピュータex１１１を介してストリーミングサーバex１０３に送信してもよい。この場合の符号化処理はカメラex１１６、コンピュータex１１１、ストリーミングサーバex１０３のいずれで行ってもよいし、互いに分担して行ってもよい。
【0239】
また、これら符号化・復号化処理は、一般的にコンピュータex１１１や各機器が有するＬＳＩex５００において処理する。ＬＳＩex５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化・復号化処理を行ってもよい。さらに、携帯電話ex１１４がカメラ付きである場合には、そのカメラで取得した動画データを送信してもよい。このときの動画データは携帯電話ex１１４が有するＬＳＩex５００で符号化処理されたデータである。
【0240】
また、ストリーミングサーバex１０３は複数のサーバや複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。
【0241】
以上のようにして、コンテンツ供給システムex１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムex１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利や設備を有さないユーザでも個人放送を実現できる。
【0242】
なお、コンテンツ供給システムex１００の例に限らず、図２０に示すように、デジタル放送用システムex２００にも、上記各実施の形態の少なくとも動画像符号化装置（画像符号化装置）または動画像復号化装置（画像復号装置）のいずれかを組み込むことができる。具体的には、放送局ex２０１では映像データに音楽データなどが多重化された多重化データが電波を介して通信または衛星ex２０２に伝送される。この映像データは上記各実施の形態で説明した動画像符号化方法により符号化されたデータである（即ち、本発明の一態様に係る画像符号化装置によって符号化されたデータである）。これを受けた放送衛星ex２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナex２０４が受信する。受信した多重化データを、テレビ（受信機）ex３００またはセットトップボックス（ＳＴＢ）ex２１７等の装置が復号化して再生する（即ち、本発明の一態様に係る画像復号装置として機能する）。
【0243】
また、ＤＶＤ、ＢＤ等の記録メディアex２１５に記録した多重化データを読み取り復号化する、または記録メディアex２１５に映像信号を符号化し、さらに場合によっては音楽信号と多重化して書き込むリーダ／レコーダex２１８にも上記各実施の形態で示した動画像復号化装置または動画像符号化装置を実装することが可能である。この場合、再生された映像信号はモニタex２１９に表示され、多重化データが記録された記録メディアex２１５により他の装置やシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルex２０３または衛星／地上波放送のアンテナex２０４に接続されたセットトップボックスex２１７内に動画像復号化装置を実装し、これをテレビのモニタex２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。
【0244】
図２１は、上記各実施の形態で説明した動画像復号化方法および動画像符号化方法を用いたテレビ（受信機）ex３００を示す図である。テレビex３００は、上記放送を受信するアンテナex２０４またはケーブルex２０３等を介して映像データに音声データが多重化された多重化データを取得、または出力するチューナex３０１と、受信した多重化データを復調する、または外部に送信する多重化データに変調する変調／復調部ex３０２と、復調した多重化データを映像データと、音声データとに分離する、または信号処理部ex３０６で符号化された映像データ、音声データを多重化する多重／分離部ex３０３を備える。
【0245】
また、テレビex３００は、音声データ、映像データそれぞれを復号化する、またはそれぞれの情報を符号化する音声信号処理部ex３０４、映像信号処理部ex３０５（本発明の一態様に係る画像符号化装置または画像復号装置として機能する）を有する信号処理部ex３０６と、復号化した音声信号を出力するスピーカex３０７、復号化した映像信号を表示するディスプレイ等の表示部ex３０８を有する出力部ex３０９とを有する。さらに、テレビex３００は、ユーザ操作の入力を受け付ける操作入力部ex３１２等を有するインタフェース部ex３１７を有する。さらに、テレビex３００は、各部を統括的に制御する制御部ex３１０、各部に電力を供給する電源回路部ex３１１を有する。インタフェース部ex３１７は、操作入力部ex３１２以外に、リーダ／レコーダex２１８等の外部機器と接続されるブリッジex３１３、ＳＤカード等の記録メディアex２１６を装着可能とするためのスロット部ex３１４、ハードディスク等の外部記録メディアと接続するためのドライバex３１５、電話網と接続するモデムex３１６等を有していてもよい。なお記録メディアex２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。テレビex３００の各部は同期バスを介して互いに接続されている。
【0246】
まず、テレビex３００がアンテナex２０４等により外部から取得した多重化データを復号化し、再生する構成について説明する。テレビex３００は、リモートコントローラex２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ex３１０の制御に基づいて、変調／復調部ex３０２で復調した多重化データを多重／分離部ex３０３で分離する。さらにテレビex３００は、分離した音声データを音声信号処理部ex３０４で復号化し、分離した映像データを映像信号処理部ex３０５で上記各実施の形態で説明した復号化方法を用いて復号化する。復号化した音声信号、映像信号は、それぞれ出力部ex３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファex３１８、ex３１９等に一旦これらの信号を蓄積するとよい。また、テレビex３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアex２１５、ex２１６から多重化データを読み出してもよい。次に、テレビex３００が音声信号や映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビex３００は、リモートコントローラex２２０等からのユーザ操作を受け、制御部ex３１０の制御に基づいて、音声信号処理部ex３０４で音声信号を符号化し、映像信号処理部ex３０５で映像信号を上記各実施の形態で説明した符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ex３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファex３２０、ex３２１等に一旦これらの信号を蓄積するとよい。なお、バッファex３１８、ex３１９、ex３２０、ex３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ex３０２や多重／分離部ex３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。
【0247】
また、テレビex３００は、放送等や記録メディア等から音声データ、映像データを取得する以外に、マイクやカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビex３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号化処理、外部出力のみが可能な構成であってもよい。
【0248】
また、リーダ／レコーダex２１８で記録メディアから多重化データを読み出す、または書き込む場合には、上記復号化処理または符号化処理はテレビex３００、リーダ／レコーダex２１８のいずれで行ってもよいし、テレビex３００とリーダ／レコーダex２１８が互いに分担して行ってもよい。
【0249】
一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ex４００の構成を図２２に示す。情報再生／記録部ex４００は、以下に説明する要素ex４０１、ex４０２、ex４０３、ex４０４、ex４０５、ex４０６、ex４０７を備える。光ヘッドex４０１は、光ディスクである記録メディアex２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアex２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ex４０２は、光ヘッドex４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ex４０３は、光ヘッドex４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアex２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファex４０４は、記録メディアex２１５に記録するための情報および記録メディアex２１５から再生した情報を一時的に保持する。ディスクモータex４０５は記録メディアex２１５を回転させる。サーボ制御部ex４０６は、ディスクモータex４０５の回転駆動を制御しながら光ヘッドex４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。システム制御部ex４０７は、情報再生／記録部ex４００全体の制御を行う。上記の読み出しや書き込みの処理はシステム制御部ex４０７が、バッファex４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成・追加を行うと共に、変調記録部ex４０２、再生復調部ex４０３、サーボ制御部ex４０６を協調動作させながら、光ヘッドex４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ex４０７は例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。
【0250】
以上では、光ヘッドex４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。
【0251】
図２３に光ディスクである記録メディアex２１５の模式図を示す。記録メディアex２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックex２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックex２３１の位置を特定するための情報を含み、記録や再生を行う装置において情報トラックex２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアex２１５は、データ記録領域ex２３３、内周領域ex２３２、外周領域ex２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ex２３３であり、データ記録領域ex２３３より内周または外周に配置されている内周領域ex２３２と外周領域ex２３４は、ユーザデータの記録以外の特定用途に用いられる。情報再生／記録部ex４００は、このような記録メディアex２１５のデータ記録領域ex２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した多重化データの読み書きを行う。
【0252】
以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。
【0253】
また、デジタル放送用システムex２００において、アンテナex２０５を有する車ex２１０で衛星ex２０２等からデータを受信し、車ex２１０が有するカーナビゲーションex２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションex２１１の構成は例えば図２１に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータex１１１や携帯電話ex１１４等でも考えられる。
【0254】
図２４Ａは、上記実施の形態で説明した動画像復号化方法および動画像符号化方法を用いた携帯電話ex１１４を示す図である。携帯電話ex１１４は、基地局ex１１０との間で電波を送受信するためのアンテナex３５０、映像、静止画を撮ることが可能なカメラ部ex３６５、カメラ部ex３６５で撮像した映像、アンテナex３５０で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex３５８を備える。携帯電話ex１１４は、さらに、操作キー部ex３６６を有する本体部、音声を出力するためのスピーカ等である音声出力部ex３５７、音声を入力するためのマイク等である音声入力部ex３５６、撮影した映像、静止画、録音した音声、または受信した映像、静止画、メール等の符号化されたデータもしくは復号化されたデータを保存するメモリ部ex３６７、又は同様にデータを保存する記録メディアとのインタフェース部であるスロット部ex３６４を備える。
【0255】
さらに、携帯電話ex１１４の構成例について、図２４Ｂを用いて説明する。携帯電話ex１１４は、表示部ex３５８及び操作キー部ex３６６を備えた本体部の各部を統括的に制御する主制御部ex３６０に対して、電源回路部ex３６１、操作入力制御部ex３６２、映像信号処理部ex３５５、カメラインタフェース部ex３６３、ＬＣＤ（Liquid Crystal Display）制御部ex３５９、変調／復調部ex３５２、多重／分離部ex３５３、音声信号処理部ex３５４、スロット部ex３６４、メモリ部ex３６７がバスex３７０を介して互いに接続されている。
【0256】
電源回路部ex３６１は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することにより携帯電話ex１１４を動作可能な状態に起動する。
【0257】
携帯電話ex１１４は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する主制御部ex３６０の制御に基づいて、音声通話モード時に音声入力部ex３５６で収音した音声信号を音声信号処理部ex３５４でデジタル音声信号に変換し、これを変調／復調部ex３５２でスペクトラム拡散処理し、送信／受信部ex３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナex３５０を介して送信する。また携帯電話ex１１４は、音声通話モード時にアンテナex３５０を介して受信した受信データを増幅して周波数変換処理およびアナログデジタル変換処理を施し、変調／復調部ex３５２でスペクトラム逆拡散処理し、音声信号処理部ex３５４でアナログ音声信号に変換した後、これを音声出力部ex３５７から出力する。
【0258】
さらにデータ通信モード時に電子メールを送信する場合、本体部の操作キー部ex３６６等の操作によって入力された電子メールのテキストデータは操作入力制御部ex３６２を介して主制御部ex３６０に送出される。主制御部ex３６０は、テキストデータを変調／復調部ex３５２でスペクトラム拡散処理をし、送信／受信部ex３５１でデジタルアナログ変換処理および周波数変換処理を施した後にアンテナex３５０を介して基地局ex１１０へ送信する。電子メールを受信する場合は、受信したデータに対してこのほぼ逆の処理が行われ、表示部ex３５８に出力される。
【0259】
データ通信モード時に映像、静止画、または映像と音声を送信する場合、映像信号処理部ex３５５は、カメラ部ex３６５から供給された映像信号を上記各実施の形態で示した動画像符号化方法によって圧縮符号化し（即ち、本発明の一態様に係る画像符号化装置として機能する）、符号化された映像データを多重／分離部ex３５３に送出する。また、音声信号処理部ex３５４は、映像、静止画等をカメラ部ex３６５で撮像中に音声入力部ex３５６で収音した音声信号を符号化し、符号化された音声データを多重／分離部ex３５３に送出する。
【0260】
多重／分離部ex３５３は、映像信号処理部ex３５５から供給された符号化された映像データと音声信号処理部ex３５４から供給された符号化された音声データを所定の方式で多重化し、その結果得られる多重化データを変調／復調部（変調／復調回路部）ex３５２でスペクトラム拡散処理をし、送信／受信部ex３５１でデジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex３５０を介して送信する。
【0261】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、または映像およびもしくは音声が添付された電子メールを受信する場合、アンテナex３５０を介して受信された多重化データを復号化するために、多重／分離部ex３５３は、多重化データを分離することにより映像データのビットストリームと音声データのビットストリームとに分け、同期バスex３７０を介して符号化された映像データを映像信号処理部ex３５５に供給するとともに、符号化された音声データを音声信号処理部ex３５４に供給する。映像信号処理部ex３５５は、上記各実施の形態で示した動画像符号化方法に対応した動画像復号化方法によって復号化することにより映像信号を復号し（即ち、本発明の一態様に係る画像復号装置として機能する）、ＬＣＤ制御部ex３５９を介して表示部ex３５８から、例えばホームページにリンクされた動画像ファイルに含まれる映像、静止画が表示される。また音声信号処理部ex３５４は、音声信号を復号し、音声出力部ex３５７から音声が出力される。
【0262】
また、上記携帯電話ex１１４等の端末は、テレビex３００と同様に、符号化器・復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。さらに、デジタル放送用システムex２００において、映像データに音楽データなどが多重化された多重化データを受信、送信するとして説明したが、音声データ以外に映像に関連する文字データなどが多重化されたデータであってもよいし、多重化データではなく映像データ自体であってもよい。
【0263】
このように、上記各実施の形態で示した動画像符号化方法あるいは動画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。
【0264】
また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【0265】
（実施の形態５）上記各実施の形態で示した動画像符号化方法または装置と、ＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１など異なる規格に準拠した動画像符号化方法または装置とを、必要に応じて適宜切替えることにより、映像データを生成することも可能である。
【0266】
ここで、それぞれ異なる規格に準拠する複数の映像データを生成した場合、復号する際に、それぞれの規格に対応した復号方法を選択する必要がある。しかしながら、復号する映像データが、どの規格に準拠するものであるか識別できないため、適切な復号方法を選択することができないという課題を生じる。
【0267】
この課題を解決するために、映像データに音声データなどを多重化した多重化データは、映像データがどの規格に準拠するものであるかを示す識別情報を含む構成とする。上記各実施の形態で示す動画像符号化方法または装置によって生成された映像データを含む多重化データの具体的な構成を以下説明する。多重化データは、ＭＰＥＧ−２トランスポートストリーム形式のデジタルストリームである。
【0268】
図２５は、多重化データの構成を示す図である。図２５に示すように多重化データは、ビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム（ＰＧ）、インタラクティブグラフィックスストリームのうち、１つ以上を多重化することで得られる。ビデオストリームは映画の主映像および副映像を、オーディオストリーム（ＩＧ）は映画の主音声部分とその主音声とミキシングする副音声を、プレゼンテーショングラフィックスストリームは、映画の字幕をそれぞれ示している。ここで主映像とは画面に表示される通常の映像を示し、副映像とは主映像の中に小さな画面で表示する映像のことである。また、インタラクティブグラフィックスストリームは、画面上にＧＵＩ部品を配置することにより作成される対話画面を示している。ビデオストリームは、上記各実施の形態で示した動画像符号化方法または装置、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠した動画像符号化方法または装置によって符号化されている。オーディオストリームは、ドルビーＡＣ−３、Ｄｏｌｂｙ Ｄｉｇｉｔａｌ Ｐｌｕｓ、ＭＬＰ、ＤＴＳ、ＤＴＳ−ＨＤ、または、リニアＰＣＭのなどの方式で符号化されている。
【0269】
多重化データに含まれる各ストリームはＰＩＤによって識別される。例えば、映画の映像に利用するビデオストリームには０ｘ１０１１が、オーディオストリームには０ｘ１１００から０ｘ１１１Ｆまでが、プレゼンテーショングラフィックスには０ｘ１２００から０ｘ１２１Ｆまでが、インタラクティブグラフィックスストリームには０ｘ１４００から０ｘ１４１Ｆまでが、映画の副映像に利用するビデオストリームには０ｘ１Ｂ００から０ｘ１Ｂ１Ｆまで、主音声とミキシングする副音声に利用するオーディオストリームには０ｘ１Ａ００から０ｘ１Ａ１Ｆが、それぞれ割り当てられている。
【0270】
図２６は、多重化データがどのように多重化されるかを模式的に示す図である。まず、複数のビデオフレームからなるビデオストリームex２３５、複数のオーディオフレームからなるオーディオストリームex２３８を、それぞれＰＥＳパケット列ex２３６およびex２３９に変換し、ＴＳパケットex２３７およびex２４０に変換する。同じくプレゼンテーショングラフィックスストリームex２４１およびインタラクティブグラフィックスex２４４のデータをそれぞれＰＥＳパケット列ex２４２およびex２４５に変換し、さらにＴＳパケットex２４３およびex２４６に変換する。多重化データex２４７はこれらのＴＳパケットを１本のストリームに多重化することで構成される。
【0271】
図２７は、ＰＥＳパケット列に、ビデオストリームがどのように格納されるかをさらに詳しく示している。図２７における第１段目はビデオストリームのビデオフレーム列を示す。第２段目は、ＰＥＳパケット列を示す。図２７の矢印ｙｙ１，ｙｙ２，ｙｙ３，ｙｙ４に示すように、ビデオストリームにおける複数のＶｉｄｅｏ Ｐｒｅｓｅｎｔａｔｉｏｎ ＵｎｉｔであるＩピクチャ、Ｂピクチャ、Ｐピクチャは、ピクチャ毎に分割され、ＰＥＳパケットのペイロードに格納される。各ＰＥＳパケットはＰＥＳヘッダを持ち、ＰＥＳヘッダには、ピクチャの表示時刻であるＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ−Ｓｔａｍｐ）やピクチャの復号時刻であるＤＴＳ（Ｄｅｃｏｄｉｎｇ Ｔｉｍｅ−Ｓｔａｍｐ）が格納される。
【0272】
図２８は、多重化データに最終的に書き込まれるＴＳパケットの形式を示している。ＴＳパケットは、ストリームを識別するＰＩＤなどの情報を持つ４ＢｙｔｅのＴＳヘッダとデータを格納する１８４ＢｙｔｅのＴＳペイロードから構成される１８８Ｂｙｔｅ固定長のパケットであり、上記ＰＥＳパケットは分割されＴＳペイロードに格納される。ＢＤ−ＲＯＭの場合、ＴＳパケットには、４ＢｙｔｅのＴＰ＿Ｅｘｔｒａ＿Ｈｅａｄｅｒが付与され、１９２Ｂｙｔｅのソースパケットを構成し、多重化データに書き込まれる。ＴＰ＿Ｅｘｔｒａ＿ＨｅａｄｅｒにはＡＴＳ（Ａｒｒｉｖａｌ＿Ｔｉｍｅ＿Ｓｔａｍｐ）などの情報が記載される。ＡＴＳは当該ＴＳパケットのデコーダのＰＩＤフィルタへの転送開始時刻を示す。多重化データには図２８下段に示すようにソースパケットが並ぶこととなり、多重化データの先頭からインクリメントする番号はＳＰＮ（ソースパケットナンバー）と呼ばれる。
【0273】
また、多重化データに含まれるＴＳパケットには、映像・音声・字幕などの各ストリーム以外にもＰＡＴ（Ｐｒｏｇｒａｍ Ａｓｓｏｃｉａｔｉｏｎ Ｔａｂｌｅ）、ＰＭＴ（Ｐｒｏｇｒａｍ Ｍａｐ Ｔａｂｌｅ）、ＰＣＲ（Ｐｒｏｇｒａｍ Ｃｌｏｃｋ Ｒｅｆｅｒｅｎｃｅ）などがある。ＰＡＴは多重化データ中に利用されるＰＭＴのＰＩＤが何であるかを示し、ＰＡＴ自身のＰＩＤは０で登録される。ＰＭＴは、多重化データ中に含まれる映像・音声・字幕などの各ストリームのＰＩＤと各ＰＩＤに対応するストリームの属性情報を持ち、また多重化データに関する各種ディスクリプタを持つ。ディスクリプタには多重化データのコピーを許可・不許可を指示するコピーコントロール情報などがある。ＰＣＲは、ＡＴＳの時間軸であるＡＴＣ（Ａｒｒｉｖａｌ Ｔｉｍｅ Ｃｌｏｃｋ）とＰＴＳ・ＤＴＳの時間軸であるＳＴＣ（Ｓｙｓｔｅｍ Ｔｉｍｅ Ｃｌｏｃｋ）の同期を取るために、そのＰＣＲパケットがデコーダに転送されるＡＴＳに対応するＳＴＣ時間の情報を持つ。
【0274】
図２９はＰＭＴのデータ構造を詳しく説明する図である。ＰＭＴの先頭には、そのＰＭＴに含まれるデータの長さなどを記したＰＭＴヘッダが配置される。その後ろには、多重化データに関するディスクリプタが複数配置される。上記コピーコントロール情報などが、ディスクリプタとして記載される。ディスクリプタの後には、多重化データに含まれる各ストリームに関するストリーム情報が複数配置される。ストリーム情報は、ストリームの圧縮コーデックなどを識別するためストリームタイプ、ストリームのＰＩＤ、ストリームの属性情報（フレームレート、アスペクト比など）が記載されたストリームディスクリプタから構成される。ストリームディスクリプタは多重化データに存在するストリームの数だけ存在する。
【0275】
記録媒体などに記録する場合には、上記多重化データは、多重化データ情報ファイルと共に記録される。
【0276】
多重化データ情報ファイルは、図３０に示すように多重化データの管理情報であり、多重化データと１対１に対応し、多重化データ情報、ストリーム属性情報とエントリマップから構成される。
【0277】
多重化データ情報は図３０に示すようにシステムレート、再生開始時刻、再生終了時刻から構成されている。システムレートは多重化データの、後述するシステムターゲットデコーダのＰＩＤフィルタへの最大転送レートを示す。多重化データ中に含まれるＡＴＳの間隔はシステムレート以下になるように設定されている。再生開始時刻は多重化データの先頭のビデオフレームのＰＴＳであり、再生終了時刻は多重化データの終端のビデオフレームのＰＴＳに１フレーム分の再生間隔を足したものが設定される。
【0278】
ストリーム属性情報は図３１に示すように、多重化データに含まれる各ストリームについての属性情報が、ＰＩＤ毎に登録される。属性情報はビデオストリーム、オーディオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム毎に異なる情報を持つ。ビデオストリーム属性情報は、そのビデオストリームがどのような圧縮コーデックで圧縮されたか、ビデオストリームを構成する個々のピクチャデータの解像度がどれだけであるか、アスペクト比はどれだけであるか、フレームレートはどれだけであるかなどの情報を持つ。オーディオストリーム属性情報は、そのオーディオストリームがどのような圧縮コーデックで圧縮されたか、そのオーディオストリームに含まれるチャンネル数は何であるか、何の言語に対応するか、サンプリング周波数がどれだけであるかなどの情報を持つ。これらの情報は、プレーヤが再生する前のデコーダの初期化などに利用される。
【0279】
本実施の形態においては、上記多重化データのうち、ＰＭＴに含まれるストリームタイプを利用する。また、記録媒体に多重化データが記録されている場合には、多重化データ情報に含まれる、ビデオストリーム属性情報を利用する。具体的には、上記各実施の形態で示した動画像符号化方法または装置において、ＰＭＴに含まれるストリームタイプ、または、ビデオストリーム属性情報に対し、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示す固有の情報を設定するステップまたは手段を設ける。この構成により、上記各実施の形態で示した動画像符号化方法または装置によって生成した映像データと、他の規格に準拠する映像データとを識別することが可能になる。
【0280】
また、本実施の形態における動画像復号化方法のステップを図３２に示す。ステップexＳ１００において、多重化データからＰＭＴに含まれるストリームタイプ、または、多重化データ情報に含まれるビデオストリーム属性情報を取得する。次に、ステップexＳ１０１において、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成された多重化データであることを示しているか否かを判断する。そして、ストリームタイプ、または、ビデオストリーム属性情報が上記各実施の形態で示した動画像符号化方法または装置によって生成されたものであると判断された場合には、ステップexＳ１０２において、上記各実施の形態で示した動画像復号方法により復号を行う。また、ストリームタイプ、または、ビデオストリーム属性情報が、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠するものであることを示している場合には、ステップexＳ１０３において、従来の規格に準拠した動画像復号方法により復号を行う。
【0281】
このように、ストリームタイプ、または、ビデオストリーム属性情報に新たな固有値を設定することにより、復号する際に、上記各実施の形態で示した動画像復号化方法または装置で復号可能であるかを判断することができる。従って、異なる規格に準拠する多重化データが入力された場合であっても、適切な復号化方法または装置を選択することができるため、エラーを生じることなく復号することが可能となる。また、本実施の形態で示した動画像符号化方法または装置、または、動画像復号方法または装置を、上述したいずれの機器・システムに用いることも可能である。
【0282】
（実施の形態６）上記各実施の形態で示した動画像符号化方法および装置、動画像復号化方法および装置は、典型的には集積回路であるＬＳＩで実現される。一例として、図３３に１チップ化されたＬＳＩex５００の構成を示す。ＬＳＩex５００は、以下に説明する要素ex５０１、ex５０２、ex５０３、ex５０４、ex５０５、ex５０６、ex５０７、ex５０８、ex５０９を備え、各要素はバスex５１０を介して接続している。電源回路部ex５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。
【0283】
例えば符号化処理を行う場合には、ＬＳＩex５００は、ＣＰＵex５０２、メモリコントローラex５０３、ストリームコントローラex５０４、駆動周波数制御部ex５１２等を有する制御部ex５０１の制御に基づいて、ＡＶ Ｉ／Ｏex５０９によりマイクex１１７やカメラex１１３等からＡＶ信号を入力する。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリex５１１に蓄積される。制御部ex５０１の制御に基づいて、蓄積したデータは処理量や処理速度に応じて適宜複数回に分けるなどされ信号処理部ex５０７に送られ、信号処理部ex５０７において音声信号の符号化および／または映像信号の符号化が行われる。ここで映像信号の符号化処理は上記各実施の形態で説明した符号化処理である。信号処理部ex５０７ではさらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏex５０６から外部に出力する。この出力された多重化データは、基地局ex１０７に向けて送信されたり、または記録メディアex２１５に書き込まれたりする。なお、多重化する際には同期するよう、一旦バッファex５０８にデータを蓄積するとよい。
【0284】
なお、上記では、メモリex５１１がＬＳＩex５００の外部の構成として説明したが、ＬＳＩex５００の内部に含まれる構成であってもよい。バッファex５０８も１つに限ったものではなく、複数のバッファを備えていてもよい。また、ＬＳＩex５００は１チップ化されてもよいし、複数チップ化されてもよい。
【0285】
また、上記では、制御部ex５０１が、ＣＰＵex５０２、メモリコントローラex５０３、ストリームコントローラex５０４、駆動周波数制御部ex５１２等を有するとしているが、制御部ex５０１の構成は、この構成に限らない。例えば、信号処理部ex５０７がさらにＣＰＵを備える構成であってもよい。信号処理部ex５０７の内部にもＣＰＵを設けることにより、処理速度をより向上させることが可能になる。また、他の例として、ＣＰＵex５０２が信号処理部ex５０７、または信号処理部ex５０７の一部である例えば音声信号処理部を備える構成であってもよい。このような場合には、制御部ex５０１は、信号処理部ex５０７、またはその一部を有するＣＰＵex５０２を備える構成となる。
【0286】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【0287】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【0288】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【0289】
（実施の形態７）上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データを復号する場合、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データを復号する場合に比べ、処理量が増加することが考えられる。そのため、ＬＳＩex５００において、従来の規格に準拠する映像データを復号する際のＣＰＵex５０２の駆動周波数よりも高い駆動周波数に設定する必要がある。しかし、駆動周波数を高くすると、消費電力が高くなるという課題が生じる。
【0290】
この課題を解決するために、テレビex３００、ＬＳＩex５００などの動画像復号化装置は、映像データがどの規格に準拠するものであるかを識別し、規格に応じて駆動周波数を切替える構成とする。図３４は、本実施の形態における構成ex８００を示している。駆動周波数切替え部ex８０３は、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合には、駆動周波数を高く設定する。そして、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ex８０１に対し、映像データを復号するよう指示する。一方、映像データが、従来の規格に準拠する映像データである場合には、映像データが、上記各実施の形態で示した動画像符号化方法または装置によって生成されたものである場合に比べ、駆動周波数を低く設定する。そして、従来の規格に準拠する復号処理部ex８０２に対し、映像データを復号するよう指示する。
【0291】
より具体的には、駆動周波数切替え部ex８０３は、図３３のＣＰＵex５０２と駆動周波数制御部ex５１２から構成される。また、上記各実施の形態で示した動画像復号化方法を実行する復号処理部ex８０１、および、従来の規格に準拠する復号処理部ex８０２は、図３３の信号処理部ex５０７に該当する。ＣＰＵex５０２は、映像データがどの規格に準拠するものであるかを識別する。そして、ＣＰＵex５０２からの信号に基づいて、駆動周波数制御部ex５１２は、駆動周波数を設定する。また、ＣＰＵex５０２からの信号に基づいて、信号処理部ex５０７は、映像データの復号を行う。ここで、映像データの識別には、例えば、実施の形態５で記載した識別情報を利用することが考えられる。識別情報に関しては、実施の形態５で記載したものに限られず、映像データがどの規格に準拠するか識別できる情報であればよい。例えば、映像データがテレビに利用されるものであるか、ディスクに利用されるものであるかなどを識別する外部信号に基づいて、映像データがどの規格に準拠するものであるか識別可能である場合には、このような外部信号に基づいて識別してもよい。また、ＣＰＵex５０２における駆動周波数の選択は、例えば、図３６のような映像データの規格と、駆動周波数とを対応付けたルックアップテーブルに基づいて行うことが考えられる。ルックアップテーブルを、バッファex５０８や、ＬＳＩの内部メモリに格納しておき、ＣＰＵex５０２がこのルックアップテーブルを参照することにより、駆動周波数を選択することが可能である。
【0292】
図３５は、本実施の形態の方法を実施するステップを示している。まず、ステップexＳ２００では、信号処理部ex５０７において、多重化データから識別情報を取得する。次に、ステップexＳ２０１では、ＣＰＵex５０２において、識別情報に基づいて映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものであるか否かを識別する。映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合には、ステップexＳ２０２において、駆動周波数を高く設定する信号を、ＣＰＵex５０２が駆動周波数制御部ex５１２に送る。そして、駆動周波数制御部ex５１２において、高い駆動周波数に設定される。一方、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ステップexＳ２０３において、駆動周波数を低く設定する信号を、ＣＰＵex５０２が駆動周波数制御部ex５１２に送る。そして、駆動周波数制御部ex５１２において、映像データが上記各実施の形態で示した符号化方法または装置によって生成されたものである場合に比べ、低い駆動周波数に設定される。
【0293】
さらに、駆動周波数の切替えに連動して、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を変更することにより、省電力効果をより高めることが可能である。例えば、駆動周波数を低く設定する場合には、これに伴い、駆動周波数を高く設定している場合に比べ、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を低く設定することが考えられる。
【0294】
また、駆動周波数の設定方法は、復号する際の処理量が大きい場合に、駆動周波数を高く設定し、復号する際の処理量が小さい場合に、駆動周波数を低く設定すればよく、上述した設定方法に限らない。例えば、ＭＰＥＧ４−ＡＶＣ規格に準拠する映像データを復号する処理量の方が、上記各実施の形態で示した動画像符号化方法または装置により生成された映像データを復号する処理量よりも大きい場合には、駆動周波数の設定を上述した場合の逆にすることが考えられる。
【0295】
さらに、駆動周波数の設定方法は、駆動周波数を低くする構成に限らない。例えば、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を高く設定し、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、ＬＳＩex５００またはＬＳＩex５００を含む装置に与える電圧を低く設定することも考えられる。また、他の例としては、識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合には、ＣＰＵex５０２の駆動を停止させることなく、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合には、処理に余裕があるため、ＣＰＵex５０２の駆動を一時停止させることも考えられる。識別情報が、上記各実施の形態で示した動画像符号化方法または装置によって生成された映像データであることを示している場合であっても、処理に余裕があれば、ＣＰＵex５０２の駆動を一時停止させることも考えられる。この場合は、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する映像データであることを示している場合に比べて、停止時間を短く設定することが考えられる。
【0296】
このように、映像データが準拠する規格に応じて、駆動周波数を切替えることにより、省電力化を図ることが可能になる。また、電池を用いてＬＳＩex５００またはＬＳＩex５００を含む装置を駆動している場合には、省電力化に伴い、電池の寿命を長くすることが可能である。
【0297】
（実施の形態８）テレビや、携帯電話など、上述した機器・システムには、異なる規格に準拠する複数の映像データが入力される場合がある。このように、異なる規格に準拠する複数の映像データが入力された場合にも復号できるようにするために、ＬＳＩex５００の信号処理部ex５０７が複数の規格に対応している必要がある。しかし、それぞれの規格に対応する信号処理部ex５０７を個別に用いると、ＬＳＩex５００の回路規模が大きくなり、また、コストが増加するという課題が生じる。
【0298】
この課題を解決するために、上記各実施の形態で示した動画像復号方法を実行するための復号処理部と、従来のＭＰＥＧ−２、ＭＰＥＧ４−ＡＶＣ、ＶＣ−１などの規格に準拠する復号処理部とを一部共有化する構成とする。この構成例を図３７Ａのex９００に示す。例えば、上記各実施の形態で示した動画像復号方法と、ＭＰＥＧ４−ＡＶＣ規格に準拠する動画像復号方法とは、エントロピー符号化、逆量子化、デブロッキング・フィルタ、動き補償などの処理において処理内容が一部共通する。共通する処理内容については、ＭＰＥＧ４−ＡＶＣ規格に対応する復号処理部ex９０２を共有し、ＭＰＥＧ４−ＡＶＣ規格に対応しない、本発明の一態様に特有の他の処理内容については、専用の復号処理部ex９０１を用いるという構成が考えられる。特に、本発明の一態様は、算出復号に特徴を有していることから、例えば、算術復号については専用の復号処理部ex９０１を用い、それ以外の逆量子化、デブロッキング・フィルタ、動き補償のいずれか、または、全ての処理については、復号処理部を共有することが考えられる。復号処理部の共有化に関しては、共通する処理内容については、上記各実施の形態で示した動画像復号化方法を実行するための復号処理部を共有し、ＭＰＥＧ４−ＡＶＣ規格に特有の処理内容については、専用の復号処理部を用いる構成であってもよい。
【0299】
また、処理を一部共有化する他の例を図３７Ｂのex１０００に示す。この例では、本発明の一態様に特有の処理内容に対応した専用の復号処理部ex１００１と、他の従来規格に特有の処理内容に対応した専用の復号処理部ex１００２と、本発明の一態様に係る動画像復号方法と他の従来規格の動画像復号方法とに共通する処理内容に対応した共用の復号処理部ex１００３とを用いる構成としている。ここで、専用の復号処理部ex１００１、ex１００２は、必ずしも本発明の一態様、または、他の従来規格に特有の処理内容に特化したものではなく、他の汎用処理を実行できるものであってもよい。また、本実施の形態の構成を、ＬＳＩex５００で実装することも可能である。
【0300】
このように、本発明の一態様に係る動画像復号方法と、従来の規格の動画像復号方法とで共通する処理内容について、復号処理部を共有することにより、ＬＳＩの回路規模を小さくし、かつ、コストを低減することが可能である。
【産業上の利用可能性】
【0301】
本発明は、画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置に適用でき、特に、算術符号化及び算術復号を行う画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置に利用可能である。
【符号の説明】
【0302】
１００ 画像符号化装置１０１ 制御部
１０２ 差分部
１０３ 変換及び量子化部
１０４ 可変長符号化部
１０５ 逆量子化及び逆変換部
１０６、２０６ 加算部
１０７、２０７ 面内予測部
１０８、２０８ 面間予測部
１０９、２０９ スイッチ
１２１ 入力画像信号
１２２、１２５、２２５ 残差信号
１２３、２２３ 量子化変換係数
１２４ ビットストリーム
１２６ 復元画像信号
１２７、１２８、１２９、２２７、２２８ 予測画像信号
１３０、２３０ 制御パラメータ
１４１ 二値化部
１４２、２４２ コンテキスト制御部
１４３ 二値算術符号化部
１５１、２５１ 二値配列
１５２、２５２ コンテキストインデクス
２００ 画像復号装置
２０１ 制御部
２０２ 可変長復号部
２０４ 逆量子化部
２０５ 逆変換部
２２４ 直交変換係数
２２６ 復号画像信号
２２９ 画像信号
２４１ 多値化部
２４３ 二値算術復号部