特許第6039833号(P6039833)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ シャープ株式会社の特許一覧

<>
  • 特許6039833-画像復号装置 図000002
  • 特許6039833-画像復号装置 図000003
  • 特許6039833-画像復号装置 図000004
  • 特許6039833-画像復号装置 図000005
  • 特許6039833-画像復号装置 図000006
  • 特許6039833-画像復号装置 図000007
  • 特許6039833-画像復号装置 図000008
  • 特許6039833-画像復号装置 図000009
  • 特許6039833-画像復号装置 図000010
  • 特許6039833-画像復号装置 図000011
  • 特許6039833-画像復号装置 図000012
  • 特許6039833-画像復号装置 図000013
  • 特許6039833-画像復号装置 図000014
  • 特許6039833-画像復号装置 図000015
  • 特許6039833-画像復号装置 図000016
  • 特許6039833-画像復号装置 図000017
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6039833
(24)【登録日】2016年11月11日
(45)【発行日】2016年12月7日
(54)【発明の名称】画像復号装置
(51)【国際特許分類】
   H04N 19/105 20140101AFI20161128BHJP
   H04N 19/136 20140101ALI20161128BHJP
   H04N 19/157 20140101ALI20161128BHJP
   H04N 19/176 20140101ALI20161128BHJP
   H04N 19/46 20140101ALI20161128BHJP
   H04N 19/52 20140101ALI20161128BHJP
【FI】
   H04N19/105
   H04N19/136
   H04N19/157
   H04N19/176
   H04N19/46
   H04N19/52
【請求項の数】1
【全頁数】45
(21)【出願番号】特願2016-7690(P2016-7690)
(22)【出願日】2016年1月19日
(62)【分割の表示】特願2014-189556(P2014-189556)の分割
【原出願日】2010年12月27日
(65)【公開番号】特開2016-103851(P2016-103851A)
(43)【公開日】2016年6月2日
【審査請求日】2016年1月19日
(31)【優先権主張番号】特願2010-39293(P2010-39293)
(32)【優先日】2010年2月24日
(33)【優先権主張国】JP
(73)【特許権者】
【識別番号】000005049
【氏名又は名称】シャープ株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】特許業務法人HARAKENZO WORLD PATENT & TRADEMARK
(72)【発明者】
【氏名】山本 智幸
【審査官】 山▲崎▼ 雄介
(56)【参考文献】
【文献】 特開2006−128770(JP,A)
【文献】 特開2009−105696(JP,A)
【文献】 特開2007−189276(JP,A)
【文献】 特開平09−261646(JP,A)
【文献】 特開2008−211697(JP,A)
【文献】 特開平07−177519(JP,A)
【文献】 特開2000−050281(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00−19/98
(57)【特許請求の範囲】
【請求項1】
入力画像と予測画像との差を、各予測単位について、予測画像の生成に用いられる予測パラメータと共に符号化することによって得られた符号化データを復号する画像復号装置において、
各予測単位に適用する予測パラメータを復号する予測パラメータ復号手段と、
予測パラメータの集合である縮減セットを生成する縮減セット構築手段と、
基本セットに含まれる予測パラメータを特定する第1予測パラメータを復号するか、または、縮減セットに含まれる予測パラメータを特定する第2予測パラメータを、上記縮減セットに含まれる予測パラメータの数により決定する長さのビット列から復号する第2予測パラメータ復号手段とを備え、
上記縮減セットは、対象予測単位に対する近傍予測単位領域に含まれる予測パラメータを少なくとも1以上含むとともに、上記縮減セットに含まれる予測パラメータ数は、予め定められた予測パラメータよりなる基本セットに含まれる予測パラメータ数未満であり、
上記予測パラメータ復号手段が復号する予測パラメータには、上記第2予測パラメータ復号手段により符号化データに含まれるフラグの値に応じて復号される第1予測パラメータか、または、上記第2予測パラメータ復号手段により符号化データに含まれるフラグの値に応じて復号される第2予測パラメータが含まれるものであり、上記予測パラメータは動き補償予測に用いる動きベクトルであり、
対象予測単位に対する近傍予測単位領域に含まれる少なくとも2以上の予測パラメータに、予測パラメータ間で重複する予測パラメータが存在する場合には、上記重複する予測パラメータのうちの1つを上記縮減セットに含めることを特徴とする画像復号装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を符号化し符号化データを生成する画像符号化装置に関する。また、そのような画像符号化装置を用いて生成された符号化データを復号する画像復号装置に関する。
【背景技術】
【0002】
動画像を効率的に伝送または記録するために、動画像符号化装置が用いられている。具体的な動画像符号化方式としては、例えば、H.264/MPEG−4 AVC(非特許文献1)、および、VCEG(Video Coding Expert Group)における共同開発用コーデックであるKTAソフトウェアに採用されている方式などが挙げられる。
【0003】
このような符号化方式において、動画像を構成する画像(ピクチャ)は、画像を分割することにより得られるスライス、スライスを分割することにより得られるマクロブロック、及び、マクロブロックを分割することより得られるサブブロックからなる階層構造により管理され、普通、サブブロックごとに符号化される。
【0004】
また、このような符号化方式においては、通常、入力画像を符号化/復号化することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像と入力画像との差分データが符号化される。また、予測画像の生成方法としては、フレーム間予測(インター予測)、および、フレーム内予測(イントラ予測)と呼ばれる方法が知られている。
【0005】
インター予測においては、フレーム全体が復号された参照フレーム内の参照画像に対し、動きベクトルを用いた動き補償を適用することによって、予測対象フレーム内の予測画像が生成される。また、インター予測においては、複数の参照画像を参照して予測画像を生成することも可能であり、その際には、各参照画像の画素値に重み係数を乗じた値を用いて予測画像が生成される。
【0006】
一方で、イントラ予測においては、同一フレーム内の局所復号画像に基づいて、当該フレームにおける予測画像が順次生成される。具体的には、イントラ予測においては、通常、単位領域(例えば、マクロブロック)を構成する予測単位(例えば、サブブロック)毎に、予め定められた予測方向(予測モード)群に含まれる予測方向から何れかの予測方向が選択されると共に、局所復号画像における参照画素の画素値を、選択された予測方向に外挿することによって、当該予測対象領域上の予測画素値が生成される。
【0007】
このように、予測画像は、一般に、動きベクトル、重み係数、または、予測モード等の予測パラメータに基づいて生成される。
【先行技術文献】
【非特許文献】
【0008】
【非特許文献1】ITU−T Recommendation H.264(11/07)(2007年11月公開)
【発明の概要】
【発明が解決しようとする課題】
【0009】
しかしながら、動画像復号装置において予測画像を適切に生成するためには、動画像符号化装置において用いられた予測パラメータを符号化し、動画像復号装置に伝達する必要があるため、予測パラメータによって符号化データの符号量が増大するという問題がある。
【0010】
例えば、上述した従来のイントラ予測においては、上記差分データと共に、各予測対象領域に対して、何れの予測モードが選択されたのかを示す情報である予測モード情報を符号化する必要があるため、予測モード情報によって、符号化データの符号量が増大するという問題がある。
【0011】
本発明は、上記の問題に鑑みてなされたものであり、その目的は、符号化効率を犠牲にすることなく、予測パラメータを指定するための符号量を削減することのできる画像符号化装置、および、そのような画像符号化装置によって生成された符号化データを復号することのできる画像復号装置を実現することにある。
【課題を解決するための手段】
【0012】
上記の課題を解決するために、本発明に係る画像符号化装置は、入力画像と予測画像との差を符号化する画像符号化装置において、予測画像を複数の単位領域に分割すると共に、各単位領域に含まれる複数の予測単位を第1のグループまたは第2のグループに分類する分類手段と、上記第1のグループに属する各予測単位における予測画像の生成方法を指定する予測パラメータを、予め定められた予測パラメータよりなる基本セットから選択する第1の選択手段と、上記第2のグループに属する各予測単位における予測画像の生成方法を指定する予測パラメータを、上記第1の選択手段によって選択された予測パラメータの少なくとも一部を含む縮減セットであって、上記基本セットに含まれる予測パラメータの数以下である予測パラメータよりなる縮減セットから選択する第2の選択手段と、上記第1のグループに属する各予測単位について、上記第1の選択手段が何れの予測パラメータを選択したか、及び、上記第2のグループに属する各予測単位について、上記第2の選択手段が何れの予測パラメータを選択したかを符号化する予測パラメータ符号化手段と、を含んでいることを特徴としている。
【0013】
上記のように構成された画像符号化装置によれば、上記第2のグループに属する各予測単位における予測画像の生成方法を指定する予測パラメータを、当該第2のグループと同じ単位領域に含まれる第1のグループに属する各予測単位について上記第1の選択手段によって選択された予測パラメータの少なくとも一部を含む縮減セットであって、上記基本セットに含まれる予測パラメータの数以下である予測パラメータよりなる縮減セットから選択し、上記第2の選択手段が何れの予測パラメータを選択したかを符号化する。
【0014】
ここで、各予測単位に対する予測パラメータは、一般に、当該予測単位の近傍に位置する予測単位に対する予測パラメータと相関があるため、上記第1のグループに属する各予測単位に対して選択された予測パラメータは、上記第2のグループに属する各予測単位に対しても適切な予測パラメータである可能性が高い。すなわち、上記第2のグループに属する各予測単位に対して、上記縮減セットから選択された予測パラメータが適切な予測パラメータである可能性が高い。したがって、上記の構成によれば、符号化効率を低減させることなく、予測パラメータの符号化を行うことができる。
【0015】
また、上記の構成においては、上記縮減セットは、上記第1の選択手段によって選択された予測パラメータの少なくとも一部を含む縮減セットであって、上記基本セットに含まれる予測パラメータの数以下である予測パラメータよりなるセットであるため、上記第2のグループに属する各予測単位について、何れの予測パラメータが選択されたのかを示す情報の符号量を削減することができる。
【0016】
したがって、上記の構成によれば、符号化効率を犠牲にすることなく、予測パラメータを指定するための符号量を削減することができる。
【0017】
また、本発明に係る画像符号化装置は、入力画像と予測画像との差を符号化する画像符号化装置において、各予測単位における予測画像の生成方法を指定する予測パラメータを、該予測単位の近傍に位置する符号化済みの予測単位における予測画像の生成方法を指定する予測パラメータの少なくとも一部を含む縮減セットから選択する選択手段と、各予測単位について、上記選択手段が何れの予測パラメータを選択したかを符号化する予測パラメータ符号化手段と、を含んでいることを特徴としている。
【0018】
一般に、各予測単位に対する予測パラメータは、当該予測単位の近傍に位置する予測単位に対する予測パラメータと相関がある。したがって、上記縮減セットは、当該予測単位における予測画像の生成において最も予測パラメータを含む可能性が高い。また、上記縮減セットは、当該予測単位の近傍に位置する予測単位に対する予測パラメータの少なくとも一部から構成されるため、上記縮減セットに含まれる予測パラメータの数は、当該予測単位以外の予測単位に対する予測パラメータから構成されるパラメータセットに含まれる予測パラメータの数よりも少ない。
【0019】
したがって、本発明に係る画像符号化装置は、上記の構成をとることによって、符号化効率を犠牲にすることなく、符号量の少ない符号化データを生成することができる。
【0020】
また、本発明に係る画像復号装置は、原画像と予測画像との差を、各予測単位について、予測画像の生成方法を指定する複数の予測パラメータのうち何れの予測パラメータが選択されたのかを示す選択情報と共に符号化することによって得られた符号化データを復号する画像復号装置において、予測画像を構成する複数の単位領域の各々に含まれる複数の予測単位を第1のグループまたは第2のグループに分類する分類手段と、上記第1のグループに属する各予測単位についての選択情報を参照し、第1のグループに属する各予測単位における予測画像の生成方法を指定する予測パラメータを、予め定められた予測パラメータよりなる基本セットから選択する第1の選択手段と、上記第2のグループに属する各予測単位についての選択情報を参照し、第2のグループに属する各予測単位における予測画像の生成方法を指定する予測パラメータを、上記第1の選択手段によって選択された予測パラメータの少なくとも一部を含む縮減セットであって、上記基本セットに含まれる予測パラメータの数以下である予測パラメータよりなる縮減セットから選択する第2の選択手段と、を含んでいることを特徴としている。
【0021】
上記のように構成された画像復号装置によれば、上記第2のグループに属する各予測単位における予測画像の生成方法を指定する予測パラメータを、当該第2のグループと同じ単位領域に含まれる第1のグループに属する各予測単位について上記第1の選択手段によって選択された予測パラメータの少なくとも一部を含む縮減セットであって、上記基本セットに含まれる予測パラメータの数以下である予測パラメータよりなる縮減セットから選択することができる。
【0022】
ここで、各予測単位に対する予測パラメータは、一般に、当該予測単位の近傍に位置する予測単位に対する予測パラメータと相関があるため、上記第1のグループに属する各予測単位に対して選択された予測パラメータは、上記第2のグループに属する各予測単位に対しても適切な予測パラメータである可能性が高い。したがって、上記の構成によれば、符号化効率を低減させることなく、より符号量の少ない選択情報から、予測パラメータの復号を行うことができる。
【0023】
また、本発明に係る画像復号装置は、入力画像と予測画像との差を、各予測単位について、予測画像の生成方法を指定する複数の予測パラメータのうち何れの予測パラメータが選択されたのかを示す選択情報と共に符号化することによって得られた符号化データを復号する画像復号装置において、上記選択情報を参照し、各予測単位における予測画像の生成方法を指定する予測パラメータを、該予測単位の近傍に位置する復号済みの予測単位における予測画像の生成方法を指定する予測パラメータの少なくとも一部を含む縮減セットから選択する選択手段を含んでいる、ことを特徴としている。
【0024】
一般に、各予測単位に対する予測パラメータは、当該予測単位の近傍に位置する予測単位に対する予測パラメータと相関がある。したがって、上記縮減セットは、当該予測単位における予測画像の生成において最も予測パラメータを含む可能性が高い。また、上記縮減セットは、当該予測単位の近傍に位置する予測単位に対する予測パラメータの少なくとも一部から構成されるため、上記縮減セットに含まれる予測パラメータの数は、当該予測単位以外の予測単位に対する予測パラメータから構成されるパラメータセットに含まれる予測パラメータの数よりも少ない。
【0025】
したがって、上記の構成に対応する構成を有する画像符号化装置は、符号化効率を犠牲にすることなく、符号量の少ない符号化データを生成することができる。
【0026】
上記の構成を有する画像復号装置は、そのような符号量の少ない符号化データを復号することができる。
【0027】
また、本発明に係る符号化データのデータ構造は、入力画像と予測画像との差を、各予測単位について、予測画像の生成方法を指定する複数の予測パラメータのうち何れの予測パラメータが選択されたのかを示す選択情報と共に符号化することによって得られた符号化データのデータ構造であって、上記符号化データを復号する画像復号装置において、各予測単位における予測画像の生成方法を指定する予測パラメータを、該予測単位の近傍に位置する復号済みの予測単位における予測画像の生成方法を指定する予測パラメータの少なくとも一部を含む縮減セットから選択するために参照される選択情報を含んでいる、ことを特徴としている。
【0028】
一般に、各予測単位に対する予測パラメータは、当該予測単位の近傍に位置する予測単位に対する予測パラメータと相関がある。したがって、上記縮減セットは、当該予測単位における予測画像の生成において最も予測パラメータを含む可能性が高い。また、上記縮減セットは、当該予測単位の近傍に位置する予測単位に対する予測パラメータの少なくとも一部から構成されるため、上記選択情報によって指定される予測パラメータの数は、当該予測単位以外の予測単位に対する予測パラメータから構成されるパラメータセットに含まれる予測パラメータの数よりも少ない。
【0029】
したがって、上記の構成を有する符号化データは、符号化効率を犠牲にすることなく、符号量の削減された符号化データである。
【発明の効果】
【0030】
以上のように、本発明に係る画像符号化装置は、入力画像と予測画像との差を符号化する画像符号化装置において、予測画像を複数の単位領域に分割すると共に、各単位領域に含まれる複数の予測単位を第1のグループまたは第2のグループに分類する分類手段と、上記第1のグループに属する各予測単位における予測画像の生成方法を指定する予測パラメータを、予め定められた予測パラメータよりなる基本セットから選択する第1の選択手段と、上記第2のグループに属する各予測単位における予測画像の生成方法を指定する予測パラメータを、上記第1の選択手段によって選択された予測パラメータの少なくとも一部を含む縮減セットであって、上記基本セットに含まれる予測パラメータの数以下である予測パラメータよりなる縮減セットから選択する第2の選択手段と、上記第1のグループに属する各予測単位について、上記第1の選択手段が何れの予測パラメータを選択したか、及び、上記第2のグループに属する各予測単位について、上記第2の選択手段が何れの予測パラメータを選択したかを符号化する予測パラメータ符号化手段と、を含んでいる。
【0031】
上記のように構成された画像符号化装置によれば、符号化効率を犠牲にすることなく、予測パラメータを指定するための符号量を削減することができる。
【図面の簡単な説明】
【0032】
図1】実施形態に係る動画像復号装置の構成を示すブロック図である。
図2】実施形態に係る動画像復号装置が備えるMB復号部の構成を示すブロック図である。
図3】実施形態に係る動画像復号装置が備える予測パラメータ復号部の構成を示すブロック図である。
図4】予測パラメータ復号部が備えるグループ判定部の動作を説明するための図である。(a)〜(b)は、マクロブロックに含まれる16個のサブブロックの各々が、分類方法Aに基づいて、第1のグループまたは第2のグループの何れかに分類される場合を示しており、(c)〜(d)は、各サブブロックが、分類方法Bに基づいて分類される場合を示しており、(e)〜(f)は、各サブブロックが、分類方法Cに基づいて分類される場合を示している。
図5】H.264/MPEG−4 AVC規格におけるイントラ予測に用いられるイントラ予測モードを、各予測モードに付されたインデックスと共に示す図である。
図6】予測パラメータ復号部が備える縮減セット導出部の動作を説明するための図である。(a)は、縮減セット導出部における縮減セットの生成動作の第1の例を示すフローチャートであり、(b)は、縮減セット導出部における縮減セットの生成動作の第2の例を示すフローチャートであり、(c)は、縮減セット導出部における縮減セットの生成動作の第3の例を示すフローチャートである。
図7】予測パラメータ復号部が備える第2予測パラメータ復号部における復号処理の流れの一例を示すフローチャートである。
図8】予測パラメータ復号部の他の構成例を説明するための図である。(a)は、縮減セット導出部による縮減セットの生成動作を示すフローチャートであり、(b)は、近傍サブブロック領域の一例を示している。
図9】MB復号部が備える予測画像生成部による予測画像の生成処理を説明するためのものであって、4×4画素である予測対象サブブロックの各画素と、当該予測対象サブブロックの周辺の画素とを示す図である。
図10】実施形態に係る動画像符号化装置の構成を示すブロック図である。
図11】実施形態に係る動画像符号化装置が備えるMB符号化部の構成を示すブロック図である。
図12】MB符号化部が備える予測パラメータ決定部の構成を示すブロック図である。
図13】MB符号化部が備える予測パラメータ決定部の動作を説明するための図である。(a)は、第1予測パラメータ決定部が、マクロブロックMBを構成する各サブブロックのうち、第1グループに属する各サブブロックに対して選択した予測モードの例を示しており、(b)は、(a)に示した各予測モードが予測パラメータとして供給された場合に、縮減セット導出部が生成する縮減セットの一例を示しており、(c)は、第2予測パラメータ決定部が、第2グループに属する各サブブロックに対して、(b)に示した縮減セットから選択した予測モードの例を示している。
図14】MB符号化部が備える予測パラメータ符号化部の構成を示すブロック図である。
図15】実施形態に係る動画像符号化装置によって生成され、実施形態に係る動画像復号装置において参照される符号化データのマクロブロック毎のビットストリーム構造を示す図である。
図16】基本パラメータセットの他の例を示す図である。(a)は、水平方向を重視したパラメータセットの一例を示しており、(b)は、垂直方向を重視したパラメータセットの一例を示している。
【発明を実施するための形態】
【0033】
(動画像復号装置)
実施形態に係る動画像復号装置(画像復号装置)1の構成について、図1図9を参照して説明する。動画像復号装置1は、その一部に、H.264/MPEG−4 AVC規格に採用されている技術を用いている動画像符号化装置である。
【0034】
動画像復号装置1は、概略的に言えば、入力される符号化データ#1を復号することによって復号画像#2を生成し、出力する装置である。
【0035】
また、動画像復号装置1は、符号化データ#1の示す画像上の単位領域を複数の予測対象領域(予測単位)に分割し、当該予測対象領域毎に生成された予測画像を用いて、復号画像#2を生成する。
【0036】
以下では、上記単位領域を、H.264/MPEG−4 AVC規格におけるマクロブロックとし、上記予測対象領域を、マクロブロック内のサブブロックとした場合を例に挙げ、説明を行うが、本発明は、これに限定されるものではない。例えば、上記単位領域は、マクロブロックよりも大きな領域としてもよいし、複数のマクロブロックに重複するような領域であってもよい。
【0037】
図1は、動画像復号装置1の構成を示すブロック図である。図1に示すように、動画像復号装置1は、可変長符号逆多重化部11、ヘッダ情報復号部12、MB設定部13、MB復号部14、および、フレームメモリ15を備えている。
【0038】
動画像復号装置1に入力された符号化データ#1は可変長逆多重化部11へ入力される。可変長逆多重化部11は、入力された符号化データ#1を逆多重化することによって、符号化データ#1を、ヘッダ情報に関する符号化データであるヘッダ符号化データ#11aと、マクロブロック(単位領域)に関する符号化データであるMB符号化データ#11bとに分離し、ヘッダ符号化データ#11aをヘッダ情報復号部12に、MB符号化データ#11bをMB設定部13にそれぞれ出力する。
【0039】
ヘッダ情報復号部12では、ヘッダ符号化データ#11aからヘッダ情報#12を復号する。ここで、ヘッダ情報#12は、入力画像のサイズを含む情報である。
【0040】
MB設定部13では、入力されたヘッダ情報#12に基づいて、MB符号化データ#11bを個々のマクロブロックに対応する符号化データ#13に分離し、MB復号部14に対して順次出力する。
【0041】
MB復号部14は、入力された個々のマクロブロックに対応する符号化データ#13を順次復号することにより、個々のマクロブロックに対応する復号画像#2を生成し、出力する。また、復号画像#2は、フレームメモリ15に対しても出力される。MB復号部14の構成については、後述するためここでは説明を省略する。
【0042】
フレームメモリ15には、復号画像#2が記録される。フレームメモリ15には、特定のマクロブロックを復号する時点において、当該マクロブロックよりもラスタスキャン順で先にある全てのマクロブロックに対応する復号画像が記録されている。
【0043】
画像内の全てのマクロブロックに対して、MB復号部14によるマクロブロック単位の復号画像生成処理が終わった時点で、動画像復号装置1に入力された符号化データに対応する復号画像#2の生成処理が完了する。
【0044】
(MB復号部14)
以下では、MB復号部14について、参照する図面を替えてより具体的に説明する。
【0045】
図2は、MB復号部14の構成を示すブロック図である。図2に示すように、MB復号部14は、サブブロック分割部141、予測残差復号部142、サブブロック復号画像生成部143、予測パラメータ復号部144、予測画像生成部145、および、MB復号画像生成部146を備えている。
【0046】
サブブロック分割部141は、マクロブロック単位の符号化データ#13が入力された時点で起動し、マクロブロック(単位領域)を構成する各サブブロック(各予測対象領域)の当該マクロブロック内での位置を示すサブブロック位置情報#141a、および、サブブロック位置情報#141aが示すサブブロックに関する符号化データであるサブブロック符号化データ#141bを所定の順序で順次出力する。なお、マクロブロックのサブブロックへの分割方法は、符号化データ#1を生成する動画像符号化装置において用いられた方法を適用することができる。
【0047】
また、サブブロック分割部141は、後述する第1グループに属するサブブロックに関するサブブロック位置情報#141aおよびサブブロック符号化データ#141bを出力したのち、後述する第2グループに属するサブブロックに関するサブブロック位置情報#141aおよびサブブロック符号化データ#141bを出力するような構成とすることが好ましい。例えば、第1グループに属するサブブロックをラスタスキャン順に走査し、続いて、第2グループに属するサブブロックをラスタスキャン順に走査するような構成とすることが好ましい。また、サブブロック分割部141は、符号化データ#1を生成する動画像符号化装置において用いられた順序と同じ順序で、サブブロック位置情報#141a、および、サブブロック符号化データ#141bを出力するようにしてもよい。
【0048】
予測残差復号部142は、入力されたサブブロック符号化データ#141bに対し可変長符号復号を適用することによって、入力されたサブブロック位置情報#141aを示すサブブロックに対する変換係数を生成する。また、予測残差復号部142は、生成した変換係数に対して、サブブロック位置情報#141aの示すサブブロックのサイズと同一サイズのDCT(Discrete Cosine Transform)の逆変換を適用することによって復号残差#142を生成し、出力する。
【0049】
予測パラメータ復号部144は、サブブロック位置情報#141a、および、サブブロック符号化データ#141bに基づいて、各サブブロックに対する予測パラメータ#144を復号し、出力する。
【0050】
ここで、予測パラメータとは、予測画像の生成に用いられるパラメータのことを指す。予測パラメータの例としては、例えば、イントラ予測における予測モード、動き補償予測における動きベクトル、輝度補償予測における重み係数などが挙げられる。
【0051】
また、予測パラメータ#144には、後述する第1予測パラメータ復号部43から出力される予測パラメータ#43、および、後述する第2予測パラメータ復号部45から出力される予測パラメータ#45が含まれる。予測パラメータ復号部144の具体的な構成および動作については、後述するため、ここでは説明を省略する。
【0052】
予測画像生成部145は、予測パラメータ#144、復号画像#2、および、フレームメモリ15に記録されている復号画像#15に基づいて、予測対象サブブロックに対応する予測画像#145を生成し、出力する。予測画像生成部145における予測画像#145の具体的な生成方法については、後述するため、ここでは説明を省略する。
【0053】
サブブロック復号画像生成部143は、復号残差#142に予測画像#145を加えることによって、サブブロック単位の復号画像であるサブブロック復号画像#143を生成し、出力する。
【0054】
MB復号画像生成部146は、サブブロック単位のサブブロック復号画像#143をマクロブロック毎に蓄積し、マクロブロックを構成する全てのサブブロック復号画像#143を統合することによってマクロブロック単位の復号画像#2を生成し、出力する。生成された復号画像#2は、予測画像生成部145にも供給される。
【0055】
(予測パラメータ復号部144)
続いて、予測パラメータ復号部144の構成について、図3を参照して説明する。
【0056】
図3は、予測パラメータ復号部144の構成を示すブロック図である。図3に示すように、予測パラメータ復号部144は、グループ判定部41、スイッチ部42、第1予測パラメータ復号部43、縮減セット導出部44、および、第2予測パラメータ復号部45を備えている。
【0057】
(グループ判定部41)
グループ判定部41は、サブブロック位置情報#141aが示すサブブロックが、予め定められた複数のグループのうち、何れのグループに属するかを判定し、判定結果を示すグループ情報#41をスイッチ部42に対して出力する。
【0058】
ここで、上記予め定められた複数のグループとは、例えば、符号化データ#1を生成する動画像符号化装置において、各サブブロックが分類された複数のグループのことを指す。すなわち、符号化データ#1を生成する動画像符号化装置において、あるマクロブロックMBに属するサブブロックSB1〜SBNs(NsはマクロブロックMBに属するサブブロックの総数)のそれぞれが、所定の分類方法に基づいて、グループGP1〜GPM(Mは、マクロブロックMBに属するサブブロックが分類されるグループの総数)の何れかに分類されるような場合であって、サブブロックSBnがグループGPmに分類された場合には、上記グループ判定部は、例えば、上記所定の分類方法に基づいて、サブブロック位置情報#141aが示すサブブロックSBnが、グループGPmに属するものであると判定する。
【0059】
以下では、各サブブロックが、2つのグループに分類される場合を例にとり、図4の(a)〜(f)を参照して説明を行う。
【0060】
図4の(a)〜(b)は、マクロブロックMBに含まれる16個のサブブロックの各々が、分類方法Aに基づいて、第1のグループまたは第2のグループの何れかに分類される場合を示す図であり、図4の(c)〜(d)は、各サブブロックが、分類方法Bに基づいて分類される場合を示す図であり、図4の(e)〜(f)は、各サブブロックが、分類方法Cに基づいて分類される場合を示す図である。
【0061】
マクロブロックMBに含まれる各サブブロックは、図4の(a)〜(b)に示すように、各グループに含まれるサブブロックの配置がチェッカーフラッグ状となるように、第1のグループまたは第2のグループに分類されてもよいし、図4の(c)〜(d)に示すように、各グループに含まれるサブブロックが、横方向のみに隣接するように分類されてもよいし、図4の(e)〜(f)に示すように、各グループに含まれるサブブロックが、縦方向のみに隣接するように分類されてもよい。
【0062】
一般に、マクロブロック内の予測パラメータの空間的な相関に応じて、最適な分類方法は異なる。上記の分類方法Aは、縦方向および横方向の何れの空間相関が存在する場合であっても有効な分類方法である。一方で、当該マクロブロック内に斜め方向のエッジが存在するような場合には、上記の分類方法Bおよび分類方法Cが有効である。
【0063】
何れの分類方法が用いられる場合であっても、図4の(a)〜(f)から明らかなように、各サブブロックは、マクロブロックMB内での位置に応じて、第1のグループまたは第2のグループの何れかに分類される。
【0064】
グループ判定部41は、サブブロック位置情報#141aを参照し、符号化データ#1を生成する動画像符号化装置において用いられた分類方法に基づいて、サブブロック位置情報#141aが示すサブブロックが、第1のグループ、または、第2のグループのうち、何れのグループに属するかを判定する。
【0065】
例えば、符号化データ#1を生成する動画像符号化装置において、図4の(a)〜(b)に示すように、分類方法Aに基づいて、マクロブロックMBに属するサブブロックSB1が第2のグループに分類され、サブブロックSB2が第1のグループに分類された場合には、グループ判定部41は、当該分類方法Aに基づき、サブブロック位置情報#141aを参照することによって、サブブロックSB2が、第1のグループに属するものであると判定し、サブブロックSB1が、第2のグループに属するものであると判定する。マクロブロックMBに含まれる他のサブブロックについても同様である。
【0066】
また、符号化データ#1を生成する動画像符号化装置において、マクロブロックごとに異なる分類方法が用いられる場合には、符号化データ#1は、マクロブロックごとに何れの分類方法を用いたかを示すフラグを含むことが好ましい。このようなフラグを参照することによって、グループ判定部41は、マクロブロックごとに分類方法が異なる場合であっても、上記動画像符号化装置において用いられた分類方法に基づいた判定を行うことができる。
【0067】
なお、上記の説明では、マクロブロックに含まれるサブブロックの数が16個であるとしたが、本発明はこれに限定されるものではない(以下同様)。また、マクロブロックMBにおけるサブブロックの分類方法は、上述した例に限定されるものではなく、他の分類方法であってもよい。例えば、第1のグループに属するサブブロックの数と、第2のグループに属するサブブロックの数とが互いに異なるような分類方法であってもよい(以下同様)。
【0068】
(スイッチ部42)
スイッチ部42は、グループ情報#41に基づいて、サブブロック位置情報#141aが示すサブブロックに関する符号化データであるサブブロック符号化データ#141bを、第1予測パラメータ復号部43、または、第2予測パラメータ復号部45のうち、何れかのパラメータ復号部に伝達する。
【0069】
具体的には、スイッチ部42は、グループ判定部41において、サブブロック位置情報#141aの示すサブブロックが第1のグループに属するものであると判定された場合には、上記サブブロック符号化データ#141bを、第1予測パラメータ復号部43に伝達し、グループ判定部41において、サブブロック位置情報#141aの示すサブブロックが第2のグループに属するものであると判定された場合には、上記サブブロック符号化データ#141bを、第2予測パラメータ復号部45に伝達する。
【0070】
(第1予測パラメータ復号部43)
第1予測パラメータ復号部43は、上記サブブロック符号化データ#141bの復号を行うことによって、符号化データ#1を生成する動画像符号化装置において、サブブロック位置情報#141aが示すサブブロック(予測対象サブブロック)の予測に用いられた予測パラメータ#43を復号し、出力する。
【0071】
より具体的には、第1予測パラメータ復号部43は、まず、予測対象サブブロックの上または左のサブブロックの予測に用いられた予測パラメータであって、復号済みの予測パラメータを当該予測対象サブブロックに対する推定値に設定する。
【0072】
続いて、第1予測パラメータ復号部43は、サブブロック符号化データ#141bに含まれるフラグを復号する。
【0073】
当該フラグが、推定値を用いていることを示している場合には、上記推定値を予測対象サブブロックに対する予測パラメータに設定し、当該フラグが推定値を用いていないことを示している場合には、上記フラグ以外の部分から復号された予測パラメータを予測対象サブブロックに対する予測パラメータに設定する。
【0074】
なお、予測対象サブブロックの上または左のサブブロックが復号されていない場合には、予測対象サブブロックの上方または左方の復号済みサブブロックであって、予測対象サブブロックに最も近いサブブロックの予測に用いられた予測パラメータを上記推定値として参照すればよい。
【0075】
なお、復号された予測パラメータ#43は、縮減セット導出部44に対しても供給される。
【0076】
以上の動作によって、縮減セット導出部44には、第1のグループに属する各サブブロックから復号された予測パラメータ#43が供給される。
【0077】
(縮減セット導出部44)
縮減セット導出部44は、予測パラメータ#43を蓄積し、縮減された予測パラメータセットRS(以下、「縮減セットRS」と呼ぶ)を生成する。ここで、縮減セットRSとは、第1のグループに属する各サブブロックから復号された予測パラメータ#43を含むセットである。また、縮減セットRSには、予測パラメータ#43以外の予測パラメータが含まれていてもよい。
【0078】
また、第1のグループに属する複数のサブブロックから、同一の予測パラメータが復号されるような場合には、縮減セット導出部44は、当該同一の予測パラメータについては、1つのみ含むように、縮減セットRSを生成すればよい。換言すれば、縮減セット導出部44は、予測パラメータが重複しないように、縮減セットRSを生成すればよい。例えば、第1のグループに属するサブブロックSB1〜SB16のうち、サブブロックSB1〜SB8のそれぞれから予測パラメータPP1が復号され、サブブロックSB9〜SB16のそれぞれから予測パラメータPP2が復号された場合には、縮減セット導出部44は、予測パラメータPP1および予測パラメータPP2をそれぞれ1つずつ含む縮減セットRSを生成する。
【0079】
以下では、予測パラメータが、H.264/MPEG−4 AVC規格におけるイントラ予測モードである場合を例にとり、縮減セット導出部44による縮減セットRSの生成動作について、図5および図6の(a)〜(c)を参照して説明する。
【0080】
図5は、H.264/MPEG−4 AVC規格におけるイントラ予測に用いられるイントラ予測モード(以下、「予測モード」と呼ぶ)、および、各予測モードに付されたインデックスを示す図である。各イントラ予測モードは、イントラ予測に用いられる予測方向を表しており、図5に示すように、H.264/MPEG−4 AVC規格においては、8方向の予測モード(インデックス0,1,3〜8に対応)、および、DC予測モード(インデックス2に対応)が用いられる。以下では、インデックスIによって指定される予測モードを予測モードIと表すことにする。また、予測モード0〜予測モード8から構成されるパラメータセットを基本パラメータセットと呼ぶことにする。
【0081】
(縮減セットRSの生成例1)
図6の(a)は、縮減セット導出部44における縮減セットRSの生成動作の第1の例を示すフローチャートである。
【0082】
図6の(a)に示すように、まず、縮減セット導出部44は、縮減セットRSを空に設定することによって、縮減セットRSの初期化を行う(ステップS101)。
【0083】
続いて、縮減セット導出部44は、第1のグループに属する各サブブロックから復号された予測パラメータ#43を、縮減セットRSに追加する(ステップS102)。例えば、第1のグループに属する各サブブロックから予測モード1、予測モード6、および、予測モード8が復号された場合には、縮減セット導出部44は、予測モード1、予測モード6、および、予測モード8を、縮減セットRSに追加する。
【0084】
以上の動作を行うことによって、第1の例においては、縮減セット導出部44は、第1のグループに属する各サブブロックから復号された予測パラメータ#43により構成される縮減セットRSを生成することができる。
【0085】
一般に、マクロブロックを構成する各サブブロックに対して最適な予測パラメータ同士には、相関がある。したがって、第1グループに属する各サブブロックに対して選択された予測パラメータは、第2グループに属する各サブブロックに対しても最適な予測パラメータである可能性が高い。また、上記縮減セットRSに含まれる予測モードの数は、基本パラメータセットに含まれる予測パラメータの数よりも少ない。
【0086】
したがって、符号化データ#1を生成する動画像符号化装置は、本例の構成に対応する構成をとることによって、符号化効率を犠牲にすることなく、符号量の少ない符号化データ#1を生成することができる。また、動画像復号装置1は、本例の構成をとることによって、そのように生成された符号量の少ない符号化データ#1を復号することができる。
【0087】
(縮減セットRSの生成例2)
図6の(b)は、縮減セット導出部44における縮減セットRSの生成動作の第2の例を示すフローチャートである。
【0088】
図6の(b)に示すように、まず、縮減セット導出部44は、縮減セットRSを空に設定することによって、縮減セットRSの初期化を行う(ステップS201)。
【0089】
続いて、縮減セット導出部44は、追加パラメータセットASを縮減セットRSに追加する(ステップS202)。ここで、追加パラメータセットASには、頻繁に用いられる傾向にある予測パラメータが含まれていることが好ましい。一般に、H.264/MPEG−4 AVC規格の予測モードにおいては、より小さなインデックスによって指定される予測モードは、イントラ予測においてより頻繁に用いられる傾向があるため、インデックス0〜8のうち小さいインデックスによって指定される予測モードが含まれていることが好ましい。例えば、追加パラメータセットASは、予測モード0(垂直方向予測モード)、予測モード1(水平方向予測モード)、および、予測モード2(DC予測モード)を含むように構成されることが好ましい。
【0090】
また、追加パラメータセットASは、予測モード0、予測モード1、および、予測モード2のうち、少なくとも1つの予測モードが含まれるような構成としてもよい。
【0091】
続いて、縮減セット導出部44は、第1のグループに属する各サブブロックから復号された予測パラメータ#43を、縮減セットRSに追加する(ステップS203)。ただし、縮減セット導出部44は、予測パラメータ#43のうち、縮減セットRSにすでに含まれている予測パラメータについては、重複を避けるため、縮減セットRSに追加しないことが好ましい。例えば、予測パラメータ#43が、予測モード1、および、予測モード4であり、縮減セットRSに予測モード1、および、予測モード2がすでに含まれているような場合には、縮減セット導出部44は、縮減セットRSに予測モード4のみを追加すればよい。
【0092】
以上の動作を行うことによって、第2の例においては、縮減セット導出部44は、第1のグループに属する各サブブロックから復号された予測パラメータ#43と、追加パラメータセットに含まれる予測モードとから構成される縮減セットRSを生成することができる。
【0093】
上記のように縮減セットRSを構築することによって、第1のグループに属する各サブブロックから復号された予測パラメータ#43と、頻繁に用いられる傾向のある予測モードとから構成される縮減セットRSを生成することができる。
【0094】
したがって、符号化データ#1を生成する動画像符号化装置であって、本例のように動作する縮減セット導出部を備えた動画像符号化装置は、予測残差の符号量がより少ない符号化データ#1を生成することができる。また、本例のように動作する縮減セット導出部44を備えた動画像復号装置1は、そのような予測残差の符号量がより少ない符号化データ#1を復号することができる。
【0095】
(縮減セットRSの生成例3)
図6の(c)は、縮減セット導出部44における縮減セットRSの生成動作の第3の例を示すフローチャートである。
【0096】
図6の(c)に示すように、まず、縮減セット導出部44は、縮減セットRSを空に設定することによって、縮減セットRSの初期化を行う(ステップS301)。
【0097】
続いて、縮減セット導出部44は、第1のグループに属する各サブブロックから復号された予測パラメータ#43を、縮減セットRSに追加する(ステップS302)。
【0098】
続いて、縮減セット導出部44は、log2(Np−1)が整数であるか否かを判定する(ス
テップS303)。ここで、Npは、縮減セットRSに含まれる予測パラメータの数であ
る。
【0099】
log2(Np−1)が整数である場合(ステップS303のYes)には、縮減セット導出部44は、縮減セットRSを出力する。
【0100】
log2(Np−1)が整数でない場合(ステップS303のNo)には、縮減セット導出部
44は、所定の予測パラメータを縮減セットに追加し(ステップS304)、再び、ステップS303の処理を行う。ここで、上記所定の予測パラメータとしては、例えば、基本パラメータセットに含まれる予測モード0〜予測モード8のうち、縮減セットRSに含まれていない予測モードであって、インデックスが最小の予測モードをとればよい。
【0101】
上述のように、より小さなインデックスによって指定される予測モードは、イントラ予測において、より頻繁に用いられる傾向がある。したがって、縮減セット導出部44は、本ステップにおいて、イントラ予測において、より頻繁に用いられる傾向のある予測モードを縮減セットに追加することになる。
【0102】
以上の動作を行うことによって、第3の例においては、縮減セット導出部44は、第1のグループに属する各サブブロックから復号された予測パラメータ#43を含む縮減セットであって、2n+1個(nは整数)の予測パラメータを含む縮減セットRSを生成する
ことができる。
【0103】
一般に、推定値と同じであるか否かを示すフラグと共に予測パラメータを可変長符号化する場合には、予測パラメータの数が、2n+1個(nは整数)である場合に、そうでな
い場合に比べて、予測パラメータを可変長符号化する際の圧縮効率が高まるという傾向がある。
【0104】
したがって、縮減セット導出部44は、上記の動作を行うことによって、可変長符号化する際の圧縮効率が高い縮減セットRSを生成することができる。したがって、符号化データ#1を生成する動画像符号化装置であって、本例のように動作する縮減セット導出部を備えた動画像復号装置は、圧縮効率の高い符号化データ#1を生成することができる。また、本例のように動作する縮減セット導出部44を備えた動画像復号装置1は、そのような圧縮効率の高い符号化データ#1を復号することができる。
【0105】
また、予測パラメータ#43の数が、2n+1個(nは整数)でない場合には、縮減セ
ット導出部44は、上記所定の予測パラメータを含むように縮減セットRSを生成することができるので、より頻繁に用いられる傾向のある予測モードを含んだ縮減セットRSを生成することができる。
【0106】
(縮減セットRSの生成例4)
図6の(a)〜(c)に示した3種の縮減セットRSの生成例のいずれにおいても、縮減セット導出部44は、第1のグループに属する各サブブロックから復号された予測パラメータ#43のうち、重複するものを除く全種類の予測パラメータを縮減セットRSに追加している。しかし、第1のグループに属するサブブロックから復号された予測パラメータを、全種類ではなく一部の種類のみを追加するような構成としてもよい。
【0107】
具体的には、第1のグループに属するサブブロックから復号された予測パラメータの集合において、出現割合が所定の値よりも高い予測パラメータのみを縮減セットRSに追加するような構成としてもよい。ここで、予測パラメータの出現割合とは、例えば、第1のグループに属するサブブロックのうち当該予測パラメータが割り付けられたサブブロックの数を、第1のグループに属する全サブブロックの数で割り算することによって定義することができる。例えば、第1のグループに属する全サブブロックの数がNfであり、第1
のグループに属するサブブロックのうち予測パラメータPaが復号され割り付けられたサ
ブブロックの数がNpaであるとすると、予測パラメータPの出現割合は、Npa/Nfによって定義することができる。また、上記出現割合は、百分率によって表現することもできる。
【0108】
また、本生成例を、第1のグループに8つのサブブロック(サブブロックSB1〜SB8)が属している場合について、より具体的に説明すれば以下のとおりである。
【0109】
例えば、サブブロックSB1、SB2、SB3、SB4に対して予測モード0が復号され、サブブロックSB5、SB6に対して予測モード1が復号され、サブブロックSB7に対して予測モード2が復号され、サブブロックSB8に対して予測モード3が復号された場合であって、上記所定の値を40パーセントに設定した場合には、上記出現割合が50パーセントである予測モード0のみが縮減セットRSに追加される。一方で、上記所定の値を20パーセントに設定した場合には、上記出現割合が50パーセントである予測モード0、および、上記出現割合が25パーセントである予測モード1が縮減セットRSに追加される。
【0110】
一般に、マクロブロックに含まれるサブブロックの数が多い場合には、縮減セットRSに多数の予測パラメータが含まれてしまうことによって、符号量を効果的に削減することが困難になる場合も生じ得る。
【0111】
本生成例によれば、縮減セット導出部44は、第1のグループに属するサブブロックから復号された予測パラメータの集合において、出現割合が所定の値よりも高い予測パラメータのみを縮減セットRSに追加するので、サブブロックの数が多い場合に符号量を効果的に削減することが困難になる場合が生じるという上記の課題を解決することができる。
【0112】
以上、縮減セットRSの生成例1〜4において説明したように、縮減セットRSは、第1のグループに属する予測パラメータに基づいて生成することができる。より厳密には、縮減セットRSは、少なくとも、第1のグループに属する予測パラメータの種類、または、第1のグループに属する各予測パラメータの出現割合、のいずれかに基づいて生成することができる。
【0113】
(第2予測パラメータ復号部45)
続いて、第2予測パラメータ復号部45の動作について、図7を参照して説明する。第2予測パラメータ復号部45は、サブブロック符号化データ#141bに含まれる各サブブロックについての符号化データのうち、グループ判定部41において、第2のグループに属すると判定された各サブブロックの予測に用いられる予測パラメータPを復号する。
【0114】
換言すれば、第2予測パラメータ復号部45は、サブブロック符号化データ#141bに含まれる、予測パラメータに関する情報であって、第2のグループに属する各サブブロックについての予測パラメータに関する情報を参照し、第2のグループに属する各サブブロックの予測に用いられる予測パラメータPを復号する。
【0115】
また、復号された予測パラメータPは、予測パラメータ#45として、出力される。
【0116】
図7は、第2予測パラメータ復号部45における復号処理の流れの一例を示すフローチャートである。
【0117】
図7に示すように、まず、第2予測パラメータ復号部45は、縮減セットRSに含まれる予測パラメータの数Nを計数する(ステップS501)。
【0118】
続いて、第2予測パラメータ復号部45は、縮減セットRSに含まれる予測パラメータの数Nが1であるか否かを判定する(ステップS502)。
【0119】
N=1である場合(ステップS502のYes)、第2予測パラメータ復号部45は、縮減セットに含まれる唯一の予測パラメータを予測パラメータPに設定する(ステップS503)。
【0120】
N=1でない場合(ステップS502のNo)、第2予測パラメータ復号部45は、予測パラメータ推定値Qを導出する(ステップS504)。ここで、予測パラメータ推定値Qとは、予測対象サブブロックの上または左に隣接するサブブロックの予測に用いられた予測パラメータのことである。また、予測対象サブブロックの上または左に隣接するサブブロックが復号されていない場合には、予測対象サブブロックの上方または左方の復号済みサブブロックであって、予測対象サブブロックに最も近いサブブロックの予測に用いられた予測パラメータを上記推定値Qとすればよい。
【0121】
続いて、第2予測パラメータ復号部45は、復号対象の予測パラメータが、予測パラメータ推定値Qと同一であるか否かのフラグを復号し、復号した値を変数aに代入する。
【0122】
以下では、予測パラメータ推定値Qが、縮減セットRSに含まれる何れかの予測パラメータと同一である場合を例に挙げ説明する。また、以下では、変数aの値が1である場合が、復号対象の予測パラメータが予測パラメータ推定値Qと同一である場合に対応し、変数aの値が1でない場合が、復号対象の予測パラメータが予測パラメータ推定値Qと同一でない場合に対応するものとして説明を行う。
【0123】
続いて、第2予測パラメータ復号部45は、変数aの値が1であるか否かを判定する(ステップS506)。
【0124】
変数aの値が1である場合(ステップS506のYes)には、予測パラメータ推定値Qを、予測パラメータPに設定する(ステップS507)。
【0125】
変数aの値が1でない場合(ステップS506のNo)には、第2予測パラメータ復号部45は、縮減セットRSに含まれる予測パラメータの数Nが2であるか否かの判定を行う(ステップS508)。
【0126】
N=2である場合(ステップS508のYes)、第2予測パラメータ復号部45は、縮減セットRSに含まれる予測パラメータであって、予測パラメータ推定値Qに一致しない予測パラメータを予測パラメータPに設定する(ステップS509)。
【0127】
N=2でない場合(ステップS508のNo)、第2予測パラメータ復号部45は、ceil(log2(N−1))ビットの長さのビット列を復号し、復号した値を変数bに代入する(ステップS510)。ここで、ceil(…)は、括弧内の値以上の整数のうち、最小の整数を値にもつ天井関数である(以下同様)。したがって、ceil(…)は、括弧内の値が正である場合には、括弧内の値を切り上げ整数化する関数であると表現することもできる。
【0128】
例えば、N=5である場合、第2予測パラメータ復号部45は、ceil(log2(5−1))=2ビットの長さのビット列を復号し、復号した値を変数bに代入する。ここで、変数bの値は、ビット列の長さが2ビットであることに対応して、b=0、1、2、3のうち、何れかの値をとる。
【0129】
続いて、第2予測パラメータ復号部45は、縮減セットRSに含まれる予測パラメータであって、予測パラメータ推定値Qに一致しない予測パラメータのうち、(b+1)番目に小さいインデックスを有する予測パラメータを、予測パラメータPに設定する(ステップS511)。
【0130】
例えば、変数bの値が0である場合には、第2予測パラメータ復号部45は、縮減セットRSに含まれる予測パラメータであって、予測パラメータ推定値Qに一致しない予測パラメータのうち、1番目に小さいインデックスを有する予測パラメータを、予測パラメータPに設定する。
【0131】
なお、ステップS504において説明した処理によって導出された予測パラメータ推定値Qが、縮減セットRSに含まれる何れの予測パラメータとも同一でない場合には、上記予測パラメータ推定値Qとして、縮減セットRSに含まれる予測パラメータのうち、最も小さいインデックスが付された予測パラメータを用いればよい。
【0132】
以上が、第2予測パラメータ復号部45による復号処理の一例である。第2予測パラメータ復号部は、上記のような処理によって復号された予測パラメータPを予測パラメータ#45として出力する。
【0133】
以上のように、動画像復号装置1は、原画像と予測画像との差を、各予測単位について、予測画像の生成方法を指定する複数の予測パラメータのうち何れの予測パラメータが選択されたのかを示す選択情報と共に符号化することによって得られた符号化データを復号する画像復号装置であって、予測画像を構成する複数の単位領域の各々に含まれる複数の予測単位を第1のグループまたは第2のグループに分類する分類手段(グループ判定部41)を備え、上記選択情報のうち、第1のグループに属する各予測単位についての選択情報である第1の選択情報(サブブロック符号化データ#141bに含まれる、予測パラメータに関する情報であって、第1のグループに属する各サブブロックについての予測パラメータに関する情報)を参照し、第1のグループに属する各予測単位における予測画像の生成方法を指定する予測パラメータを、予め定められた予測パラメータよりなる基本セットから選択する第1の選択手段(第1予測パラメータ復号部43)と、上記選択情報のうち、第2のグループに属する各予測単位についての選択情報である第2の選択情報(サブブロック符号化データ#141bに含まれる、予測パラメータに関する情報であって、第2のグループに属する各サブブロックについての予測パラメータに関する情報)を参照し、第2のグループに属する各予測単位における予測画像の生成方法を指定する予測パラメータを、上記第1の選択手段(第1予測パラメータ復号部43)によって選択された予測パラメータの少なくとも一部を含む縮減セットであって、上記基本セットに含まれる予測パラメータの数以下である予測パラメータよりなる縮減セットRSから選択する第2の選択手段(第2予測パラメータ復号部45)と、を含んでいることを特徴としている。
【0134】
(予測パラメータ復号部144の他の構成例)
予測パラメータ復号部144に関する上記の説明においては、縮減セット導出部44がマクロブロック毎に縮減セットRSを生成する構成について述べたが、本発明はこれに限定されるものではない。
【0135】
予測パラメータ復号部144においては、例えば、縮減セット導出部44が、サブブロック毎に縮減セットRSを生成し、第2予測パラメータ復号部45が、サブブロック毎に生成された縮減セットRSに基づいて、予測対象サブブロックに対する予測パラメータを復号するような構成としてもよい。
【0136】
このような構成においては、縮減セット導出部44は、図8の(a)に示すように、以下の処理を行うことによって縮減セットRSを生成することができる。
【0137】
(ステップS701)
まず、縮減セット導出部44は、縮減セットRSを空に設定することによって、縮減セットRSの初期化を行う。
【0138】
(ステップS702)
続いて、縮減セット導出部44は、予測対象サブブロックの周辺のサブブロックから構成される領域を近傍サブブロック領域NSRに設定する。
【0139】
図8の(b)は、近傍サブブロック領域NSRの一例を示す図である。図8の(b)に示すように、近傍サブブロック領域NSRは、例えば、予測対象サブブロックの周辺のサブブロックであって、予測対象サブブロックからの距離が、サブブロックを単位として1〜3市街地距離以内であるサブブロックから構成することができる。ここで、市街地距離とは、2点間の座標に対して、各座標の差の絶対値の和によって定義される距離のことである。
【0140】
また、図8の(b)に示すように、近傍サブブロック領域NSRは、一般に、予測対象サブブロックが属するマクロブロック以外のマクロブロックに属するサブブロックを含んでいてもよい。
【0141】
(ステップS703)
続いて、縮減セット導出部44は、近傍サブブロック領域NSRに含まれる各サブブロックに対する予測パラメータのうち、復号済みの予測パラメータを縮減セットRSに追加する。
【0142】
なお、近傍サブブロック領域NSRに含まれる複数のサブブロックに対して同一の予測パラメータが対応している場合には、縮減セット導出部44は、縮減セットRSに対して、当該同一のパラメータを1つのみ追加すればよい。
【0143】
以上の動作を行うことによって、縮減セット導出部44は、マクロブロック毎に縮減セットRSを生成することができる。また、第2予測パラメータ復号部45は、サブブロック毎に生成された縮減セットRSに基づいて、予測対象サブブロックに対する予測パラメータを復号することができる。
【0144】
一般に、予測対象サブブロックに対する予測パラメータは、当該予測対象サブブロックの周辺のサブブロックに対する予測パラメータと相関がある。したがって、上記の処理によって生成された縮減セットRSに含まれる予測パラメータは、第2グループに属するサブブロックの予測において最も適切な予測パラメータを含む可能性が高い。また、上記の処理によって生成された縮減セットRSに含まれる予測パラメータの数は、一般に、第1のグループに対して選択可能な予測パラメータの数に比べて、少ない。
【0145】
したがって、符号化データ#1を生成する動画像符号化装置は、上記の構成に対応する構成をとることによって、符号化効率を犠牲にすることなく、符号量の少ない符号化データ#1を生成することができる。また、動画像復号装置1は、上記の構成をとることによって、そのように生成された符号量の少ない符号化データ#1を復号することができる。
【0146】
なお、近傍サブブロック領域NSRに含まれる複数のサブブロックについて、復号済みの予測パラメータが存在しない場合には、第2予測パラメータ復号部45は、例えば、基本パラメータセットから予測パラメータを選択するような構成とすればよい。
【0147】
また、本構成例における縮減セット44は、(縮減セットRSの生成例1)〜(縮減セットRSの生成例4)において説明した処理とほぼ同様の処理によって、縮減セットRSを導出するような構成としてもよい。ただし、その場合、(縮減セットRSの生成例1)〜(縮減セットRSの生成例4)における「第1のグループ」を、本構成例における「近傍サブブロック領域NSR」と読み替えるものとする。
【0148】
また、上記の説明では、縮減セットRSは、第2のグループに対して用いられるものとしたが、本発明はこれに限定されるものではない。上述した処理は、マクロブロック内の全てのサブブロックに対して適用することができる。すなわち、マクロブロック内の全てのサブブロックに対して、サブブロック毎に生成された縮減セットRSに基づいて、予測パラメータを復号するような構成としてもよい。
【0149】
符号化データ#1を生成する動画像符号化装置は、上記の構成に対応する構成をとることによって、マクロブロック内の全てのサブブロックに対する予測パラメータの符号量をさらに削減することができる。したがって、上記動画像符号化装置は、符号量のより少ない符号化データ#1を生成することができる。また、動画像復号装置1は、上記の構成をとることによって、そのように生成された符号化データ#1を復号することができる。
【0150】
(予測画像生成部145)
以下では、予測画像生成部145における予測画像#145の生成処理について説明する。
【0151】
予測画像生成部145は、予測パラメータ#144の示す予測方向(予測モード)に応じて、予測画像#145(予測対象サブブロック)における各画素(予測対象画素)の予測画素値を、例えば、以下のように生成する。なお、以下では、予測パラメータ#144が、図5に示す予測モード0〜予測モード8のうち何れかである場合を例に挙げ説明を行う。
【0152】
予測画像生成部145は、予測対象画素に対して、予測パラメータ#144の示す予測モードを割り付けた後、以下の動作を行う。
【0153】
・割り付けられた予測モードが予測モード2(DC予測)以外である場合、予測画像生成部145は、予測対象画素の画素位置を始点とする、予測方向の逆方向を向いた仮想線分上に位置する復号済み画素のうち、当該画素に最も近い画素(以下、最近接画素と呼ぶ)の画素値を、当該予測対象画素の画素値とする。また、最近接画素の画素値、および、最近接画素の周辺の画素の画素値を用いて算出される値を、当該予測対象画素の画素値としてもよい。
【0154】
・割り付けられた予測モードが予測モード2である場合であって、予測対象サブブロックの上側に隣接するサブブロック(以下、上サブブロックと呼ぶ)および左側に隣接するサブブロック(以下、左サブブロックとよぶ)が復号済みである場合には、上サブブロックの最下列の画素の画素値および左サブブロックの最右列の画素の画素値の平均値を、予測対象画素の画素値とする。
【0155】
・割り付けられた予測モードが予測モード2である場合であって、上サブブロックが復号済みであり、左サブブロックが復号済みでない場合には、上サブブロックの最下列の画素の画素値、および、予測対象サブブロックの左方のサブブロックであって予測対象サブブロックに最も近いサブブロック(以下、左最近接サブブロックと呼ぶ)内の最右列の画素の画素値、の平均値を、予測対象画素の画素値とする。
【0156】
・割り付けられた予測モードが予測モード2である場合であって、上サブブロックが復号済みでなく、左サブブロックが復号済みである場合には、予測対象サブブロックの上方のサブブロックであって予測対象サブブロックに最も近いサブブロック(以下、上最近接サブブロックと呼ぶ)内の最下列の画素の画素値、および、左サブブロックの最右列の画素の画素値、の平均値を、予測対象画素の画素値とする。
【0157】
・割り付けられた予測モードが予測モード2である場合であって、上サブブロック、および、左サブブロックの何れも復号済みでない場合には、上最近接サブブロックの最下列の画素の画素値、および、左最近接サブブロックの最右列の画素の画素値、の平均値を、予測対象画素の画素値とする。
【0158】
以下では、予測対象サブブロックが4×4画素である場合における、予測画像生成部145による予測画像#145の生成処理の例を図9を参照してより具体的に説明する。
【0159】
図9は、4×4画素である予測対象サブブロックの各画素(予測対象画素)と、当該予測対象サブブロックの周辺の画素(参照画素)とを示す図である。図9に示すように、予測対象画素には符号a〜p、参照画素には符号A〜Mを付し、画素X(Xはa〜p、A〜Mの何れか)の画素値をXと表すことにする。また、参照画素A〜Mは、何れも復号済みであるとする。
【0160】
(予測モード0)
割り付けられた予測モードが予測モード0である場合、予測画像生成部145は、画素値a〜pを、以下の式
a,e,i,m=A,
b,f,j,n=B,
c,g,k,o=C,
d,h,l,p=D
によって生成する。
【0161】
(予測モード2)
割り付けられた予測モードが予測モード2(DC予測)である場合、予測画像生成部145は、画素値a〜pを以下の式
a〜p=ave(A,B,C,D,I,J,K,L)
によって生成する。ここで、ave(…)は、括弧内に含まれる要素の平均をとることを示している。
【0162】
(予測モード4)
割り付けられた予測モードが予測モード4である場合、予測画像生成部145は、画素値a〜pを以下の式
d=(B+(C×2)+D+2)>>2,
c,h=(A+(B×2)+C+2)>>2,
b,g,l=(M+(A×2)+B+2)>>2,
a,f,k,p=(I+(M×2)+A+2)>>2,
e,j,o=(J+(I×2)+M+2)>>2,
i,n=(K+(J×2)+I+2)>>2,
m=(L+(K×2)+J+2)>>2
によって生成する。ここで、「>>」は右シフト演算を表し、任意の正の整数x、sに対し、x>>sの値は、x÷(2^s)の少数部分を切り捨てた値と等しい。
【0163】
また、予測画像生成部145は、上記の予測モード以外の予測モードに対しても、同様の方法によって画素値a〜pを算出することができる。
【0164】
<動画像復号装置に関する付記事項>
以上、本発明に係る動画像復号装置について説明を行ったが、本発明は、以上の構成に限定されるものではない。
【0165】
(付記事項1)
例えば、第2予測パラメータ復号部45は、符号化データ#1に含まれるフラグに応じて、予測パラメータ#45を復号する際に縮減セットRSを利用するか否かを切り替えるような構成としてもよい。
【0166】
より具体的には、例えば、第2予測パラメータ復号部45は、符号化データ#1に含まれるフラグの値が1である場合には、縮減セットRSを用いて予測パラメータ#45を復号し、符号化データ#1に含まれるフラグの値が0である場合には、縮減セットRSに代えて、基本パラメータセットを用いて予測パラメータ#45を復号するような構成としてもよい。
【0167】
このような構成とすることによって、予測パラメータ#45を復号する際の処理量を減らすことができる。
【0168】
(付記事項2)
また、第2予測パラメータ復号部45は、マクロブロックに含まれるサブブロックの数に応じて、予測パラメータ#45を復号する際に縮減セットRSを利用するか否かを切り替えるような構成としてもよい。
【0169】
より具体的には、マクロブロックに含まれるサブブロックの数が16個以上である場合には、縮減セットRSを用いて予測パラメータ#45を復号し、マクロブロックに含まれるサブブロックの数が16個未満である場合には、縮減セットRSに代えて、基本パラメータセットを用いて予測パラメータ#45を復号するような構成としてもよい。
【0170】
このような構成とすることによって、予測パラメータ#45を復号する際の処理量を減らすことができる。
【0171】
(付記事項3)
また、以上の説明においては、基本パラメータセットとして、図5に示すような予測パラメータのセットを用いたが、本発明はこれに限定されるものではない。
【0172】
例えば、予測パラメータ復号部144は、基本パラメータセットとして、図16(a)に示すような、水平方向を重視したパラメータセット、または、図16(b)に示すような、垂直方向を重視したパラメータセットを用いるような構成としてもよい。
【0173】
より具体的には、例えば、予測パラメータ復号部144は、マクロブロック内に水平方向のエッジが存在するような場合には、基本パラメータセットとして、図16(a)に示すような、水平方向を重視したパラメータセットを用い、マクロブロック内に垂直方向のエッジが存在するような場合には、基本パラメータセットとして、図16(b)に示すような、垂直方向を重視したパラメータセットを用いるような構成とすることが可能である。
【0174】
また、そのような複数の基本パラメータセットを選択的に用いる場合であって、図16(a)または(b)に示すパラメータセットが基本パラメータセットに選択された場合には、第2予測パラメータ復号部45は、縮減セットRSを用いて予測パラメータ#45を復号し、図5に示すパラメータセットが基本パラメータセットに選択された場合には、第2予測パラメータ復号部45は、縮減セットRSに代えて、当該基本パラメータセットを用いて予測パラメータ#45を復号するような構成としてもよい。
【0175】
このような構成とすることによって、マクロブロック内の画像の特性に応じて、縮減セットRSを利用することができる。
【0176】
(動画像符号化装置)
以下では、本実施形態に係る動画像符号化装置(画像符号化装置)2について、図10図14を参照して説明する。図10は、動画像符号化装置2の構成を示すブロック図である。図10に示すように、動画像符号化装置2は、ヘッダ情報決定部21、ヘッダ情報符号化部22、MB設定部23、MB符号化部24、可変長符号多重化部25、MB復号部26、および、フレームメモリ27を備えている。
【0177】
動画像符号化装置2は、概略的に言えば、入力画像#100を符号化することによって符号化データ#1を生成し、出力する装置である。
【0178】
ヘッダ情報決定部21は、入力画像#100に基づいて、ヘッダ情報を決定する。決定されたヘッダ情報はヘッダ情報#21として出力される。ヘッダ情報#21には、入力画像#100の画像サイズが含まれる。ヘッダ情報#21は、MB設定部23に入力されると共に、ヘッダ情報符号化部22に供給される。
【0179】
ヘッダ情報符号化部22は、ヘッダ情報#21を符号化し、符号化済ヘッダ情報#22を出力する。符号化済ヘッダ情報#22は、可変長符号多重化部25に供給される。
【0180】
MB設定部23は、ヘッダ情報#21に基づいて、入力画像#100を複数のマクロブロックに分割し、各マクロブロックに関するマクロブロック画像#23を出力する。マクロブロック画像#23は、MB符号化部24に順次供給される。
【0181】
MB符号化部24は、順次入力されるマクロブロック画像#23を符号化し、MB符号化データ#24を生成する。生成されたMB符号化データ#24は、可変長符号多重化部25に供給される。MB符号化部24の構成については、後述するため、ここでは説明を省略する。
【0182】
可変長符号多重化部25は、符号化済ヘッダ情報#22と、MB符号化データ#24とを多重化することによって符号化データ#1を生成し、出力する。
【0183】
MB復号部26は、入力された個々のマクロブロックに対応するMB符号化データ#24を順次復号することにより、個々のマクロブロックに対応する復号画像#26を生成し、出力する。復号画像#26は、フレームメモリ27に供給される。
【0184】
フレームメモリ27には、入力された復号画像#26が記録される。特定のマクロブロックを符号化する時点では、当該マクロブロックよりもラスタスキャン順で先にある全てのマクロブロックに対応する復号画像がフレームメモリに記録されている。
【0185】
(MB符号化部24)
以下では、MB符号化部24について、参照する図面を替えてより具体的に説明する。
【0186】
図11は、MB符号化部24の構成を示すブロック図である。図11に示すように、MB符号化部24は、サブブロック分割部241、予測パラメータ決定部242、予測パラメータ符号化部243、予測残差生成部244、変換係数符号化部245、予測残差復号部246、サブブロック復号画像生成部247、予測画像生成部248、および、MB符号化データ生成部249を備えている。
【0187】
サブブロック分割部241は、マクロブロック画像#23を複数のサブブロックに分割し、マクロブロックを構成する各サブブロックの当該マクロブロック内での位置を示すサブブロック位置情報#241a、および、サブブロック位置情報#241aが示すサブブロックに関する画像データであるサブブロック画像#241bを所定の順序で順次出力する。
【0188】
なお、サブブロック分割部241は、後述する第1グループに属するサブブロックに関するサブブロック位置情報#241a、および、サブブロック画像#241bを出力したのち、後述する第2グループに属するサブブロックに関するサブブロック位置情報#241a、および、サブブロック画像#241bを出力するような構成とすることが好ましい。例えば、第1グループに属するサブブロックをラスタスキャン順に走査し、続いて、第2グループに属するサブブロックをラスタスキャン順に走査するような構成とすることが好ましい。
【0189】
予測パラメータ決定部242は、サブブロック位置情報#241aが示すサブブロックに関する予測画像の生成に用いられる予測パラメータ#242を決定し、出力する。また、予測パラメータ符号化部243は、予測パラメータ#242を符号化し、符号化予測パラメータ#243を出力する。予測パラメータ決定部242および予測パラメータ符号化部243の構成については、後述するため、ここでは説明を省略する。
【0190】
予測残差生成部244は、サブブロック位置情報#241aに基づいて、予測対象となるサブブロックを特定し、当該サブブロックにおける、サブブロック画像#241bと、予測画像生成部248によって生成された予測画像#248との差分画像である予測残差#244を生成する。
【0191】
変換係数符号化部245は、予測残差#244に対して、サブブロックのサイズと同一のサイズの周波数変換を適用して、予測残差#244の変換係数を生成する。
【0192】
また、変換係数符号化部245は、上記変換係数を量子化して量子化変換係数#245aを生成した後、当該量子化変換係数#245aに対して、CABACやCAVLC等の可変長符号化方法を適用して可変長符号を生成し、当該可変長符号を符号化データ#245bとして出力する。
【0193】
予測残差復号部246は、量子化変換係数#245aを逆量子化し、その後、周波数変換の逆変換(逆周波数変換)を適用することによって、復号残差#246を生成して出力する。
【0194】
なお、予測残差生成部244、変換係数符号化部245、および、予測残差復号部246による上記の処理は、本発明を限定するものではない。例えば、変換係数符号化部245は、上記周波数変換を省略し、予測残差を直接量子化するようにしてもよい。
【0195】
サブブロック復号画像生成部247は、予測画像#248と復号残差#246とを加算することによってサブブロック復号画像#247を生成し、出力する。
【0196】
予測画像生成部248は、予測パラメータ#242、復号画像#27、および、サブブロック復号画像#247に基づいて、予測対象サブブロックに対応する予測画像#248を生成し、出力する。予測画像生成部248における予測画像#248の具体的な生成方法は、例えば、上述した予測画像生成部145における予測画像#145の生成方法と同様の方法を適用することができる。
【0197】
MB符号化データ生成部249は、各サブブロックに関する符号化データ#245b、および、各サブブロックに関する符号化予測パラメータ#243を蓄積し、マクロブロック単位に統合することによって、マクロブロック単位の符号化データであるMB符号化データ#24を生成し、出力する。
【0198】
以下では、参照する図面を替えて、予測パラメータ決定部242、および、予測パラメータ符号化部243について説明する。
【0199】
(予測パラメータ決定部242)
図12は、予測パラメータ決定部242の構成を示すブロック図である。図12に示すように、予測パラメータ決定部242は、グループ判定部51、スイッチ部52、第1予測パラメータ決定部53、縮減セット導出部54、および、第2予測パラメータ決定部55を備えている。
【0200】
グループ判定部51は、サブブロック位置情報#241aが示すサブブロックを、複数のグループのうち何れかのグループに分類し、分類結果を示すグループ情報#51をスイッチ部52に対して出力する。
【0201】
グループ判定部51は、例えば、すでに説明した図4の(a)〜(f)のように、各サブブロックを、第1のグループまたは第2のグループの何れかに分類することができる。
【0202】
また、グループ判定部51は、マクロブロックごとに異なる分類方法を用いて、各サブブロックを複数のグループのうち何れかのグループに分類してもよい。例えば、マクロブロックMB1を構成する各サブブロックを、図4の(a)〜(b)に示すように、2つのグループに分類し、マクロブロックMB1と異なるマクロブロックMB2を構成する各サブブロックを、図4の(c)〜(d)に示すように、2つのグループに分類するような構成としてもよい。このように、各マクロブロックに対して、複数の分類方法のうち、何れかの分類方法を用いる場合には、グループ判定部51は、何れの分類方法を用いたかを示すフラグを出力することが好ましい。当該フラグを、符号化データ#1を復号する動画像復号装置に伝送することによって、当該動画像復号装置は、グループ判定部51において何れの分類方法が用いられたかを識別することができる。
【0203】
スイッチ部52は、グループ情報#51に基づいて、サブブロック位置情報#241aが示すサブブロックに関する符号化データであるサブブロック符号化データ#241bを、第1予測パラメータ決定部53、または、第2予測パラメータ決定部55のうち、何れかのパラメータ決定部に伝達する。
【0204】
具体的には、スイッチ部52は、グループ判定部51において、サブブロック位置情報#241aの示すサブブロックが第1のグループに分類された場合には、上記サブブロック符号化データ#241bを、第1予測パラメータ決定部53に伝達し、グループ判定部51において、サブブロック位置情報#241aの示すサブブロックが第2のグループに分類された判定された場合には、上記サブブロック符号化データ#241bを、第2予測パラメータ決定部45に伝達する。
【0205】
第1予測パラメータ決定部53は、復号画像#27、サブブロック復号画像#247、および、サブブロック符号化データ#241bに基づいて、第1グループに属する各サブブロックに関する予測画像の生成に用いられる予測パラメータ#53を決定(選択)し、出力する。また、予測パラメータ#53は、縮減セット導出部54にも供給される。
【0206】
例えば、予測パラメータが、H.264/MPEG−4 AVC規格におけるイントラ予測モードである場合には、第1予測パラメータ決定部53は、第1グループに属する各サブブロックに対して、すでに説明した図5に示した基本パラメータセットのうち、何れかの予測モードを選択し、出力する。
【0207】
なお、第1予測パラメータ決定部53における具体的な予測パラメータ#53の決定方法は、本発明を限定するものではないが、例えば、第1予測パラメータ決定部53は、第1グループに属する各サブブロックに対して、当該サブブロックにおける予測画像と入力画像#100との差分が最も小さくなるように予測パラメータ#53を決定するようにすればよい。例えば、第1予測パラメータ決定部53は、第1グループに属するサブブロックSB1に対して、基本パラメータセットのうち、予測モード1を用いて生成された予測画像と入力画像#100との差分が最も小さくなるような場合には、当該サブブロックSB1に対して、予測モード1を選択し、第1グループに属するサブブロックSB2に対して、基本パラメータセットのうち、予測モード2を用いて生成された予測画像と入力画像#100との差分が最も小さくなるような場合には、当該サブブロックSB2に対して、予測モード2を選択するような構成とすればよい。
【0208】
図13の(a)は、第1予測パラメータ決定部53が、マクロブロックMBを構成する各サブブロックのうち、第1グループに属する各サブブロックに対して選択した予測モードの例を示す図である。図13の(a)に示した例では、第1予測パラメータ決定部53によって、第1グループに属する各サブブロックに対して、予測モード1、予測モード6、または、予測モード8のうち、何れかの予測モードが選択されている。本例においては、予測モード1、予測モード6、および、予測モード8は、予測パラメータ#53として、縮減セット導出部54に供給される。
【0209】
以上の動作によって、縮減セット導出部54には、第1のグループに属する各サブブロックに関する予測パラメータ#53が供給される。
【0210】
縮減セット導出部54の構成は、すでに説明した縮減セット導出部44と同様である。すなわち、縮減セット導出部54は、予測パラメータ#53を用いて、縮減セットRSを生成する。縮減セット導出部54における縮減セットRSの生成方法は、すでに説明した縮減セット導出部44における縮減セットRSの生成方法と同様である。
【0211】
なお、縮減セット導出部54において、複数の生成方法が選択的に用いられるような場合には、縮減セット導出部54は、何れの生成方法を選択したのかを示すフラグを出力することが好ましい。当該フラグを、符号化データ#1を復号する動画像復号装置に伝送することによって、当該動画像復号装置は、縮減セット導出部54において何れの生成方法が用いられたかを識別することができる。
【0212】
図13の(b)は、図13の(a)に示した各予測モードが予測パラメータ#53として供給された場合に、縮減セット導出部54が生成する縮減セットRSの一例を示す図である。図13の(b)に示すように、本例においては、縮減セットRSは、予測モード1、予測モード8、および、予測モード6から構成されている。
【0213】
第2予測パラメータ決定部55は、第2グループに属する各サブブロックに関する予測画像の生成に用いられる予測パラメータ#55を、縮減セットRSに含まれる予測パラメータから選択し、出力する。
【0214】
第2予測パラメータ決定部55における具体的な予測パラメータ#55の決定方法は、本発明を限定するものではないが、例えば、第2予測パラメータ決定部55は、第2グループに属する各サブブロックに対して、当該サブブロックにおける予測画像が最も適切に生成できる予測パラメータ#55を、縮減セットRSに含まれる予測パラメータから選択するようにすればよい。
【0215】
図13の(c)は、第2予測パラメータ決定部55が、マクロブロックMBを構成する各サブブロックのうち、第2グループに属する各サブブロックに対して、図13の(b)に示した縮減セットRSから選択した予測モードの例を示す図である。図13の(c)に示すように、第2ブロックに属する各サブブロックに対して、図13の(b)に示した縮減セットRSに含まれる予測モード1、予測モード6、または、予測モード8のうち何れかの予測モードが選択されている。
【0216】
一般に、マクロブロックを構成する各サブブロックに対して最適な予測パラメータ同士には、相関がある。したがって、第1グループに属する各サブブロックに対して選択された予測パラメータは、第2グループに属する各サブブロックに対しても最適な予測パラメータである可能性が高い。
【0217】
また、上述のように、第2予測パラメータ決定部55は、第2グループに属する各サブブロックに対する予測パラメータ#55を縮減セットRSに含まれる予測パラメータから選択するので、縮減セットRSを用いない場合に比べて、予測パラメータ#55の符号量を削減することができる。
【0218】
例えば、後述するように、推定値と同じであるか否かを示すフラグと共に予測モードを符号化する場合、図13の(b)に示した縮減セットRSに含まれる3つの予測モードは、ceil(log2(3−1))=1ビットの符号量を用いて符号化することができる。一方で、第2予測パラメータ決定部55が、縮減セットRSを用いずに、9つの予測モードから構成される基本パラメータセットから予測パラメータを選択する場合には、ceil(log2(9
−1))=3ビットの符号量が必要になる。また、上記の例においては、第2グループは
8個のサブブロックから構成されているため、縮減セットRSを用いることによって、縮減セットRSを用いない場合に比べて、マクロブロック毎に、3×8−1×8=16ビットの符号量を削減することができる。
【0219】
一般に、推定値と同じであるか否かを示すフラグと共に予測パラメータを符号化する場合、第1グループに属する各サブブロックに対して選択可能な予測パラメータの数をNfs、縮減セットRSに含まれる予測パラメータの数をNrs、第2グループに含まれるサブブロックの数をNgsと表すことにすると、縮減セットRSを用いることによって、縮減セットRSを用いない場合に比べて、マクロブロック毎に、Ngs×(ceil(log2(Nfs−1))−ceil(log2(Nrs−1)))ビットの符号量を削減することができる。
【0220】
このように、縮減セットRSを用いることによって、符号化効率を犠牲にすることなく、予測パラメータの符号化に必要な符号量を削減することができる。
【0221】
(予測パラメータ決定部242の他の構成例)
予測パラメータ決定部242に関する上記の説明においては、縮減セット導出部54がマクロブロック毎に縮減セットRSを生成する構成について述べたが、本発明はこれに限定されるものではない。
【0222】
すなわち、予測パラメータ決定部242においては、縮減セット導出部54が、サブブロック毎に縮減セットRSを生成し、第2予測パラメータ決定部55が、サブブロック毎に生成された縮減セットRSに基づいて、予測対象サブブロックに対する予測パラメータを決定するような構成としてもよい。
【0223】
このような構成においては、縮減セット導出部54は、(予測パラメータ復号部144の他の構成例)の(ステップS701)〜(ステップS703)において説明した縮減セット導出部44の動作と同様の動作を行うような構成とすればよい。ただし、(予測パラメータ復号部144の他の構成例)の(ステップS701)〜(ステップS703)における、復号済みの予測パラメータは、本例においては、符号化済みの予測パラメータに対応する。
【0224】
これによって、縮減セット導出部54は、サブブロック毎に縮減セットRSを生成することができる。また、第2予測パラメータ決定部55は、サブブロック毎に生成された縮減セットRSに基づいて、予測対象サブブロックに対する予測パラメータを決定することができる。
【0225】
一般に、予測対象サブブロックに対する予測パラメータは、当該予測対象サブブロックの周辺のサブブロックに対する予測パラメータと相関がある。したがって、上記の処理によって生成された縮減セットRSに含まれる予測パラメータは、第2グループに属するサブブロックの予測において最も適切な予測パラメータを含む可能性が高い。また、上記の処理によって生成された縮減セットRSに含まれる予測パラメータの数は、一般に、第1のグループに対して選択可能な予測パラメータの数に比べて、少ない。
【0226】
したがって、動画像符号化装置1は、上記の構成をとることによって、符号化効率を犠牲にすることなく、符号量の少ない符号化データ#1を生成することができる。
【0227】
なお、近傍サブブロック領域NSRに含まれる複数のサブブロックについて、符号化済みの予測パラメータが存在しない場合には、第2予測パラメータ決定部55は、例えば、基本パラメータセットから予測パラメータを選択するような構成とすればよい。
【0228】
また、本構成例における縮減セット導出部54は、(縮減セットRSの生成例1)〜(縮減セットRSの生成例4)において説明した処理とほぼ同様の処理によって、縮減セットRSを導出するような構成としてもよい。ただし、その場合、(縮減セットRSの生成例1)〜(縮減セットRSの生成例4)における「第1のグループ」を、本構成例における「近傍サブブロック領域NSR」と読み替えるものとする。
【0229】
また、上記の説明では、縮減セットRSは、第2のグループに対して用いられるものとしたが、本発明はこれに限定されるものではない。上述した処理は、マクロブロック内の全てのサブブロックに対して適用することができる。すなわち、マクロブロック内の全てのサブブロックに対して、サブブロック毎に生成された縮減セットRSに基づいて、予測パラメータを決定するような構成としてもよい。
【0230】
上記の構成をとることによって、マクロブロック内の全てのサブブロックに対する予測パラメータの符号量を削減することができる。したがって、動画像符号化装置1は、上記の構成をとることにより、符号量のより少ない符号化データ#1を生成することができる。
【0231】
(予測パラメータ符号化部243)
続いて、図14を参照して、予測パラメータ符号化部243について説明する。図14は、予測パラメータ符号化部243の構成を示すブロック図である。図14に示すように、予測パラメータ符号化部243は、グループ判定部61、スイッチ部62、第1予測パラメータ符号化部63、縮減セット導出部64、および、第2予測パラメータ符号化部65を備えている。
【0232】
グループ判定部61は、すでに説明したグループ判定部51とほぼ同様の構成である。すなわち、グループ判定部61は、サブブロック位置情報#241aが示すサブブロックを、予め定められた複数のグループのうち何れかのグループに分類し、分類結果を示すグループ情報#61をスイッチ部62に対して出力する。なお、グループ判定部61は、グループ判定部51において用いられた分類方法と同じ分類方法を用いて、各サブブロックを予め定められた複数のグループのうち何れかのグループに分類すればよい。
【0233】
スイッチ部62は、グループ情報#61に基づいて、サブブロック位置情報#241aが示すサブブロックに関する予測パラメータ#242を、第1予測パラメータ符号化部63、または、第2予測パラメータ符号化部65のうち、何れかのパラメータ符号化部に伝達する。
【0234】
具体的には、スイッチ部62は、グループ判定部61において、サブブロック位置情報#241aの示すサブブロックが第1のグループに分類された場合には、上記予測パラメータ#242を、第1予測パラメータ符号化部63、および、縮減セット導出部64に伝達し、グループ判定部61において、サブブロック位置情報#241aの示すサブブロックが第2のグループに分類された場合には、上記予測パラメータ#242を、第2予測パラメータ符号化部65に伝達する。
【0235】
第1予測パラメータ符号化部63は、第1グループに属する各サブブロックに関する予測パラメータ#242を符号化することによって、符号化予測パラメータ#63を生成し、出力する。
【0236】
具体的には、第1予測パラメータ符号化部63は、まず、第1グループに属する各サブブロックの周辺のサブブロックに対して選択された予測パラメータを当該サブブロックに対する推定値に設定する。
【0237】
続いて、第1予測パラメータ符号化部63は、当該サブブロックに対して選択された予測パラメータが、推定値と異なるか否かを示すフラグを符号化し、さらに、当該サブブロックに対して選択された予測パラメータが推定値と異なる場合には、当該予測パラメータを符号化する。
【0238】
ここで、各サブブロックの予測パラメータが基本パラメータセットから選択されている場合には、予測パラメータは、フラグを含めて1ビットまたは4ビットの符号によって表現することができる。
【0239】
上記のように、推定値を用いた符号化を行うことによって、第1グループに属する各サブブロックに関する予測パラメータ#242を符号化する際の圧縮率を高めることができる。
【0240】
なお、第1予測パラメータ符号化部63は、第1グループに属する各サブブロックに関する予測パラメータ#242をそのまま符号化するような構成としてもよい。
【0241】
縮減セット導出部64は、第1グループに属するサブブロックに関する予測パラメータ#242を用いて、縮減セットRSを生成する。縮減セット導出部64における縮減セットRSの生成方法は、すでに説明した縮減セット導出部44における縮減セットRSの生成方法と同様であるので、ここでは説明を省略する。
【0242】
第2予測パラメータ符号化部65は、縮減セットRSに含まれる予測パラメータ、すなわち、第2グループに属する各サブブロックに対して選択された予測パラメータを符号化することによって、符号化予測パラメータ#65を生成し、出力する。
【0243】
具体的には、第2予測パラメータ符号化部65は、まず、第2グループに属する各サブブロックの周辺のサブブロックに対して選択された予測パラメータを当該サブブロックに対する推定値に設定する。
【0244】
縮減セットRSに含まれる予測パラメータ数Nrsが1である場合には、何も符号化せずに第2予測パラメータの符号化処理を終了する。
【0245】
続いて、第2予測パラメータ符号化部65は、当該サブブロックに対して選択された予測パラメータが、推定値と異なるか否かを示すフラグを符号化し、さらに、当該サブブロックに対して選択された予測パラメータが、推定値と異なる場合には、当該予測パラメータを符号化する。
【0246】
ここで、Nrsが2である場合には、第2予測パラメータの符号化処理を終了する。
【0247】
それ以外の場合には、縮減セットに含まれている予測パラメータは、ceil(log2(Nrs−1))ビットの符号によって表現することができる。
【0248】
また、縮減セットRSに含まれている予測パラメータの数Nrsは、一般に、第1グループに対して選択可能な予測パラメータの数よりも少ない。
【0249】
したがって、縮減セットRSを用いることによって、第2グループに属する各サブブロックに対して選択された予測パラメータを、より少ない符号量で符号化することができる。
【0250】
また、上記のように、推定値を用いた符号化を行うことによって、第2グループに属する各サブブロックに関する予測パラメータ#242を符号化する際の圧縮率を高めることができる。
【0251】
なお、第2予測パラメータ符号化部65は、第2グループに属する各サブブロックに対して選択された予測パラメータをそのまま符号化するような構成としてもよい。
【0252】
<動画像符号化装置に関する付記事項>
以上、本発明に係る動画像符号化装置2について説明を行ったが、本発明は、以上の構成に限定されるものではない。
【0253】
(付記事項1’)
例えば、第2予測パラメータ決定部55は、予測パラメータのマクロブロック内での空間相関の大小に応じて、縮減セットRSを利用するか否かを判定し、空間相関が小さい場合には、縮減セットRSを利用せずに予測パラメータ#55を決定するような構成としてもよい。また、動画像符号化装置2は、第2予測パラメータ決定部55が縮減セットRSを利用せずに予測パラメータ#55を決定する場合には、縮減セットRSを利用しないことと示すフラグを符号化し、動画像復号装置に伝達するような構成とすることが好ましい。
【0254】
このような構成とすることによって、予測パラメータの空間相関が小さい場合には、縮減セットRSを用いずに予測パラメータ#55を決定することができるので、予測パラメータを決定するための処理量を抑えることができる。
【0255】
(付記事項2’)
また、第2予測パラメータ決定部55は、マクロブロックに含まれるサブブロックの数に応じて、予測パラメータ#55を決定する際に縮減セットRSを利用するか否かを切り替えるような構成としてもよい。
【0256】
より具体的には、マクロブロックに含まれるサブブロックの数が16個以上である場合には、縮減セットRSを用いて予測パラメータ#55を決定し、マクロブロックに含まれるサブブロックの数が16個未満である場合には、縮減セットRSに代えて、基本パラメータセットを用いて予測パラメータ#45を決定するような構成としてもよい。
【0257】
このような構成とすることによって、予測パラメータの空間相関が小さい場合に、縮減セットRSを用いずに予測パラメータ#55を決定することができるので、予測パラメータを決定するための処理量を抑えることができる。
【0258】
(付記事項3’)
また、予測パラメータ決定部242は、マクロブロック内の画像の特性に応じて、基本パラメータセットとして、図16(a)に示すような、水平方向を重視したパラメータセット、または、図16(b)に示すような、垂直方向を重視したパラメータセットを用いるような構成としてもよい。
【0259】
例えば、予測パラメータ決定部242は、マクロブロック内に水平方向のエッジが存在するような場合には、基本パラメータセットとして、図16(a)に示すような、水平方向を重視したパラメータセットを用い、マクロブロック内に垂直方向のエッジが存在するような場合には、基本パラメータセットとして、図16(b)に示すような、垂直方向を重視したパラメータセットを用いるような構成とすることが可能である。
【0260】
また、複数の基本パラメータセットを選択的に用いる場合であって、図16(a)または(b)に示すパラメータセットが基本パラメータセットに選択された場合には、第2予測パラメータ決定部55は、縮減セットRSを用いて予測パラメータ#55を決定し、図5に示すパラメータセットが基本パラメータセットに選択された場合には、第2予測パラメータ決定部55は、縮減セットRSに代えて、当該基本パラメータセットを用いて予測パラメータ#55を復号するような構成としてもよい。
【0261】
このような構成とすることによって、マクロブロック内の画像の特性に応じて、縮減セットRSを利用することができるので、予測パラメータの符号量を効果的に削減することができる。
【0262】
(符号化データ#1のデータ構造)
以下では、動画像符号化装置2によって生成される符号化データ#1のデータ構造について図15を参照して説明する。
【0263】
図15は、符号化データ#1のマクロブロック毎のビットストリーム#MBSのビットストリーム構造を示す図である。図15に示すように、ビットストリーム#MBSは、マクロブロックに含まれるサブブロックSB1〜SBN(ここで、Nは、マクロブロックにおけるサブブロックの数)に関する情報であるサブブロック情報#SB1〜#SBN(ここで、Nは、マクロブロックにおけるサブブロックの数)を含んでいる。
【0264】
また、図15に示すように、各サブブロック情報#SBn(1≦n≦N)は、マクロブロックにおけるサブブロックSBnの位置を示す情報であるサブブロック位置情報#Lnと、サブブロックSBnに対応付けられた予測パラメータを示す予測パラメータ情報#Pnとを含んでいる。
【0265】
サブブロック位置情報#Lnは、符号化データ#1を復号する動画像復号装置において、マクロブロックにおけるサブブロックSBnの位置を特定するために参照される情報である。特に、上述した動画像復号装置1においては、サブブロック位置情報#Lnは、サブブロックSBnをグループに分類するために参照される情報である。
【0266】
予測パラメータ情報#Pnは、符号化データ#1を復号する動画像復号装置において、サブブロックSBnに対応付けられた予測パラメータを特定するための情報である。特に、上述した動画像復号装置1においては、予測パラメータ情報#Pnは、サブブロックSBnが属するグループに対して選択可能な予測パラメータのうち何れかの予測パラメータを示す情報である。
【0267】
例えば、サブブロックSBnが、第1のグループに属する場合であって、第1グループに対して選択可能な予測パラメータから構成される予測パラメータセットが基本パラメータセットである場合には、予測パラメータ情報#Pnは、基本パラメータセットに含まれる予測モード0〜8のうち何れかの予測モードを示す情報である。
【0268】
また、サブブロックSBnが、第2のグループに属する場合である場合には、予測パラメータ情報#Pnは、縮減セットRSに含まれる予測パラメータのうち何れかの予測パラメータを示す情報である。
【0269】
また、符号化データ#1が、推定値と同じであるか否かを示すフラグと共に予測モードを符号化することによって生成されたデータである場合には、予測パラメータ情報#Pnは、ceil(log2(N−1))ビットの符号によって表現される。ここで、Nは、サブブロックSBnが属するグループに対して選択可能な予測パラメータの数である。
【0270】
一般に、縮減セットRSに含まれる予測パラメータの数は、第1グループに対して選択可能な予測パラメータの数よりも少ない。したがって、符号化データ#1に含まれる予測パラメータの符号量は、縮減セットRSを用いない場合に比べて、少ない。
【0271】
具体的には、符号化データ#1が、推定値と同じであるか否かを示すフラグと共に予測モードを符号化することによって生成されたデータである場合には、予測パラメータ情報#Pnの符号量は、縮減セットRSを用いない場合に比べて、ceil(log2(Nfs−1))−ceil(log2(Nrs−1))ビット少ない。ここで、Nfsは、第1グループに属する各サブブロックに対して選択可能な予測パラメータの数であり、Nrsは、縮減セットRSに含まれる予測パラメータの数である。
【0272】
このように、縮減セットRSを用いることによって、符号化データ#1の符号量を削減することができる。
【0273】
なお、符号化データ#1にサブブロック位置情報#Lnは含まなくてもよい。例えば、符号化時と復号時に共通のサブブロックスキャン順をあらかじめ設定しておけば、符号化データ#1中の何番目のサブブロックかという情報に基づいて、サブブロック位置を決定できる。
【0274】
<他の予測パラメータへの適用例>
以上の説明においては、予測パラメータとして、主にイントラ予測における予測モードを例にとり説明を行ったが、本発明はこれに限定されるものではなく、一般に、動画像の符号化処理/復号化処理において予測画像を生成する際に用いられる他のパラメータに対しても適用することができる。
【0275】
以下では、予測パラメータが動き補償予測における動きベクトルである場合への適用例、および、予測パラメータが輝度補償予測における重み係数である場合への適用例について説明する。
【0276】
(動きベクトルへの適用例)
動き補償予測においては、予測対象サブブロックの予測に用いる復号済画像上の領域の位置が、動きベクトルと呼ばれる予測パラメータを用いて表現される。
【0277】
動きベクトルは、要素の数が画像サイズおよび精度(補間精度)に依存する予測パラメータセットの中から選択される。例えば、画像の幅(横方向の画素数)がW、高さ(縦方向の画素数)がH、補間精度が0.25画素である場合には、動きベクトルVは、次式によって定義される予測パラメータセットSから選択される。
【0278】
S≡{V|V=((N/4),(M/4))
ここで、N、Mは、0≦N<4W、0≦M<4Hを満たす整数である。
【0279】
予測パラメータがこのような動きベクトルである場合には、第1予測パラメータ決定部53は、例えば、第1グループに属するサブブロック毎に動きベクトルを決定し、割り付ければよい。また、第1パラメータ復号部43は、第1グループに属するサブブロック毎に動きベクトルを復号することができる。
【0280】
縮減セット導出部44、54は、第1グループに属する各サブブロックに割り付けられた動きベクトルから縮減セットRSを生成することができる。また、縮減セット導出部44、54は、すでに述べたように、予測対象サブブロックの周辺のサブブロックに割り付けられた動きベクトルから縮減セットRSを生成するようにしてもよい。
【0281】
動画像復号装置1、および、動画像符号化装置2の備える他の各部についても、予測パラメータが予測モードである場合と同様の動作を行うことによって、符号化データ#1に含まれる予測パラメータの符号量を削減することができる。
【0282】
なお、予測パラメータが動きベクトルである場合には、縮減セット導出部44、54は、例えば、予測対象サブブロックの周辺のサブブロックに割り付けられた動きベクトルとの差分ベクトルのノルムが一定値以下となるような動きベクトルを縮減セットRSに追加するような構成としてもよい。
【0283】
一般に、予測パラメータが動きベクトルである場合には、予測パラメータセットは多数の予測ベクトルを含む。例えば、上記予測パラメータセットSに含まれる動きベクトルの数は、W=2000、H=1000すると、8000×4000である。
【0284】
一方で、縮減セットRSに蓄積される動きベクトルの数は、第1グループに属するサブブロックの数、または、予測対象サブブロックの周辺のサブブロックの数が上限となる。例えば、図8の(b)に示した近傍サブブロック領域NSRに含まれるサブブロックを用いたとしても、縮減セットRSに蓄積される動きベクトルの数は、高々24である。
【0285】
したがって、符号化/復号化対象の画像の特性如何によっては、予測対象サブブロックの周辺のサブブロックに割り付けられた動きベクトルのみから縮減セットRSを生成したとしても、縮減セットRSには、十分な数の動きベクトルが蓄積されないため、予測精度が低下し、残差データの符号量が増大する可能性がある。予測対象サブブロックの周辺のサブブロックに割り付けられた動きベクトルとの差分ベクトルのノルムが一定値以下となるような動きベクトルを縮減セットRSに追加することによって、残差データの符号量を増大させることなく、予測パラメータの符号量を削減することができる。
【0286】
(輝度補償予測における重み係数への適用例)
輝度補償予測においては、予測対象サブブロックが動き補償予測のために参照する複数の参照ピクチャの輝度の各々に重み係数を乗じた値を用いて、当該予測対象サブブロックの輝度を予測する。
【0287】
本発明は、予測パラメータを上記重み係数とする場合に対しても適用することができる。例えば、縮減セット導出部44、54は、予測対象サブブロックの周辺のサブブロックに割り付けられた重み係数から縮減セットRSを生成する構成とすればよい。
【0288】
なお、重み係数に対して本発明を適用する場合には、重み係数がとる各々の値を、予め総数の定められた複数の代表値へ対応付け、当該代表値を、予測パラメータとして用いるような構成としてもよい。
【0289】
例えば、重み係数の値Wが、0≦W≦1を満たす全ての実数値(または、既定の桁数の値)をとりうるような場合には、(n/X)≦Wn≦((n+1)/X)を満たす全ての
重み係数の値Wnを代表値wに対応付け、代表値wを予測パラメータとして用いるような
構成としてもよい。ここでXは自然数、nは0≦n≦X−1を満たす整数である。このような対応付けを行うことによって、0≦W≦1を満たす全ての実数値を、総数がXである代表値Wnのセットにマップすることができる。また、Xの具体的な値は、例えば、符号化データの符号量がより小さくなるように設定すればよい。
【0290】
このように、予測パラメータとして用いられる要素の数を予め定められた数に制限することによって、重み係数を直接予測パラメータとして用いる場合に比べて、符号化データの符号量を削減することができる。
【0291】
(付記事項)
本発明に係る画像符号化装置は、入力画像と予測画像との差を符号化する画像符号化装置において、予測画像を複数の単位領域に分割すると共に、各単位領域に含まれる複数の予測単位を第1のグループまたは第2のグループに分類する分類手段と、上記第1のグループに属する各予測単位における予測画像の生成方法を指定する予測パラメータを、予め定められた予測パラメータよりなる基本セットから選択する第1の選択手段と、上記第2のグループに属する各予測単位における予測画像の生成方法を指定する予測パラメータを、上記第1の選択手段によって選択された予測パラメータの少なくとも一部を含む縮減セットであって、上記基本セットに含まれる予測パラメータの数以下である予測パラメータよりなる縮減セットから選択する第2の選択手段と、上記第1のグループに属する各予測単位について、上記第1の選択手段が何れの予測パラメータを選択したか、及び、上記第2のグループに属する各予測単位について、上記第2の選択手段が何れの予測パラメータを選択したかを符号化する予測パラメータ符号化手段と、を含んでいることを特徴としている。
【0292】
上記のように構成された画像符号化装置によれば、上記第2のグループに属する各予測単位における予測画像の生成方法を指定する予測パラメータを、当該第2のグループと同じ単位領域に含まれる第1のグループに属する各予測単位について上記第1の選択手段によって選択された予測パラメータの少なくとも一部を含む縮減セットであって、上記基本セットに含まれる予測パラメータの数以下である予測パラメータよりなる縮減セットから選択し、上記第2の選択手段が何れの予測パラメータを選択したかを符号化する。
【0293】
ここで、各予測単位に対する予測パラメータは、一般に、当該予測単位の近傍に位置する予測単位に対する予測パラメータと相関があるため、上記第1のグループに属する各予測単位に対して選択された予測パラメータは、上記第2のグループに属する各予測単位に対しても適切な予測パラメータである可能性が高い。すなわち、上記第2のグループに属する各予測単位に対して、上記縮減セットから選択された予測パラメータが適切な予測パラメータである可能性が高い。したがって、上記の構成によれば、符号化効率を低減させることなく、予測パラメータの符号化を行うことができる。
【0294】
また、上記の構成においては、上記縮減セットは、上記第1の選択手段によって選択された予測パラメータの少なくとも一部を含む縮減セットであって、上記基本セットに含まれる予測パラメータの数以下である予測パラメータよりなるセットであるため、上記第2のグループに属する各予測単位について、何れの予測パラメータが選択されたのかを示す情報の符号量を削減することができる。
【0295】
したがって、上記の構成によれば、符号化効率を犠牲にすることなく、予測パラメータを指定するための符号量を削減することができる。
【0296】
また、上記縮減セットは、上記第1の選択手段によって選択された予測パラメータであって、互いに異なる全ての予測パラメータのみを含む、ことが好ましい。
【0297】
上記構成によれば、縮減セットに含まれる予測パラメータの数を、より少なくできるため、符号量をより削減することができる。より詳細に説明すると、一般的に予測パラメータには空間的な相関があるため、特定の領域内の各予測単位に対し最適な予測パラメータの分布には偏りが生じる。そのため、特定の領域内では、基本セットに含まれる多様な予測パラメータの一部のみが利用される確率が高い。したがって、特定の領域内で第1の選択手段により選択された予測パラメータの集合は、基本セットに含まれる予測パラメータの集合よりも要素数が少ない場合が多い。それゆえに、第1の選択手段によって選択された、重複しない全ての予測パラメータの集合を縮減セットとすることで、縮減セットの要素数を少なくすることができる。
【0298】
また、上記複数の単位領域の各々は、当該画像符号化装置における符号化単位である、ことが好ましい。
【0299】
上記構成によれば、上記縮減セットの生成処理を、符号化単位(例えば、H.264/MPEG−4 AVC規格におけるマクロブロック)毎に一度だけ実行すればよいため、縮減セット生成のための処理量を削減することができる。
【0300】
また、本発明に係る画像符号化装置においては、上記第1のグループに属する予測単位と上記第2のグループに属する予測単位とが市松模様状(チェッカーボード状)に配置されている、ことが好ましい。
【0301】
一般に、各予測単位における予測パラメータは、近傍の予測単位における予測パラメータと相関がある。
【0302】
上記の構成によれば、上記第1のグループに属する予測単位と上記第2のグループに属する予測単位とが市松模様状(チェッカーボード状)に配置されているため、上記第1のグループに属する各予測単位について選択された予測パラメータは、上記第2のグループに属する各予測単位についても、適切な予測パラメータである可能性が高い。
【0303】
したがって、上記の構成によれば、符号化効率を犠牲にすることなく、予測パラメータの符号化に必要な符号量を削減することができる。
【0304】
また、上記予測パラメータは、イントラ予測における予測モードを指定するものであってもよい。
【0305】
上記の構成によれば、符号化効率を犠牲にすることなく、イントラ予測における予測モードの符号化に必要な符号量を削減することができる。
【0306】
また、上記第2の選択手段は、上記第2のグループに属する予測単位上の予測画像の生成方法を規定する予測パラメータを、上記第1の選択手段によって選択された予測パラメータを含む縮減セットであって、イントラ予測における垂直方向予測モード、水平方向予測モード、および、DC予測モードの少なくとも何れか1を含む縮減セットから選択する、ことが好ましい。
【0307】
一般に、垂直方向予測モード、水平方法予測モード、および、DC予測モードは、イントラ予測において、選択される頻度の高い予測モードである。
【0308】
上記の構成によれば、上記第2の選択手段は、上記第2のグループに属する予測単位上の予測画像の生成方法を規定する予測パラメータを、上記第1の選択手段によって選択された予測パラメータを含む縮減セットであって、イントラ予測における垂直方向予測モード、水平方向予測モード、および、DC予測モードの少なくとも何れか1を含む縮減セットから選択することができるので、上記第2のグループに属する予測単位上の予測画像を生成する際の予測精度を低減させることなく、符号量を削減することができる。
【0309】
また、上記第2の選択手段は、上記第1のグループと上記第2のグループとを含む単位領域内の予測単位数が予め定められた閾値以上の場合に、上記縮減セットから予測パラメータを選択し、そうでない場合に、上記基本セットから予測パラメータを選択する、構成としてもよい。
【0310】
上記の構成によれば、単位領域内の予測単位数が、所定の値未満の場合には、上記基本セットから予測パラメータを選択することができるので、予測パラメータを選択するための処理量を削減することができる。
【0311】
本発明に係る画像符号化装置においては、上記基本セットが単位領域毎に設定可能であり、上記第2の選択手段は、上記第1のグループと上記第2のグループとを含む単位領域に対して設定された基本セットが特定の条件を満たす場合に、上記縮減セットから予測パラメータを選択し、そうでない場合に、上記基本セットから予測パラメータを選択する、構成としてもよい。
【0312】
上記の構成によれば、上記基本セットが単位領域毎に設定可能であり、上記第2の選択手段は、上記第1のグループと上記第2のグループとを含む単位領域に対して設定された基本セットが特定の条件を満たす場合に、上記縮減セットから予測パラメータを選択し、そうでない場合に、上記基本セットから予測パラメータを選択することができるので、予測パラメータを選択するための処理量を削減しつつ、符号量を削減することができる。
【0313】
また、本発明に係る画像符号化装置は、入力画像と予測画像との差を符号化する画像符号化装置において、各予測単位における予測画像の生成方法を指定する予測パラメータを、該予測単位の近傍に位置する符号化済みの予測単位における予測画像の生成方法を指定する予測パラメータの少なくとも一部を含む縮減セットから選択する選択手段と、各予測単位について、上記選択手段が何れの予測パラメータを選択したかを符号化する予測パラメータ符号化手段と、を含んでいることを特徴とする画像符号化装置であると表現することもできる。
【0314】
一般に、各予測単位に対する予測パラメータは、当該予測単位の近傍に位置する予測単位に対する予測パラメータと相関がある。したがって、上記縮減セットは、当該予測単位における予測画像の生成において最も予測パラメータを含む可能性が高い。また、上記縮減セットは、当該予測単位の近傍に位置する予測単位に対する予測パラメータの少なくとも一部から構成されるため、上記縮減セットに含まれる予測パラメータの数は、当該予測単位以外の予測単位に対する予測パラメータから構成されるパラメータセットに含まれる予測パラメータの数よりも少ない。
【0315】
したがって、本発明に係る画像符号化装置は、上記の構成をとることによって、符号化効率を犠牲にすることなく、符号量の少ない符号化データを生成することができる。
【0316】
また、上記予測パラメータ符号化手段は、上記第2の選択手段が何れの予測パラメータを選択したかを示す符号として、上記第1の選択手段が何れの予測パラメータを選択したかを示す符号よりも符号長の短い符号を用いる、ことが好ましい。
【0317】
上記の構成によれば、上記予測パラメータ符号化手段は、上記第2の選択手段が何れの予測パラメータを選択したかを示す符号として、上記第1の選択手段が何れの予測パラメータを選択したかを示す符号よりも符号長の短い符号を用いることができるので、上記第2のグループに属する各予測単位について、何れの予測パラメータが選択されたのかを示す情報をより短い符号長の符号を用いて符号化することができる。
【0318】
また、上記第2の選択手段は、上記第2のグループに属する予測単位上の予測画像の生成方法を規定する予測パラメータを、上記第1の選択手段によって選択された予測パラメータを含む縮減セットであって、2n+1個(nは任意の自然数)の予測パラメータより
なる縮減セットから選択する、ことが好ましい。
【0319】
一般に、2n+1個(nは任意の自然数)の要素からなる要素群を符号化する場合、2n+1個以外の要素からなる要素群を符号化する場合に比べて、圧縮効率が向上する。
【0320】
上記の構成によれば、上記第2のグループに属する予測単位上の予測画像の生成方法を規定する予測パラメータを、上記第1の選択手段によって選択された予測パラメータを含む縮減セットであって、2n+1個(nは任意の自然数)の予測パラメータよりなる縮減
セットから何れの予測パラメータが選択されたのかを符号化することができるので、予測パラメータを符号化する際の圧縮効率を高めることができるという更なる効果を奏する。
【0321】
また、本発明に係る画像復号装置は、原画像と予測画像との差を、各予測単位について、予測画像の生成方法を指定する複数の予測パラメータのうち何れの予測パラメータが選択されたのかを示す選択情報と共に符号化することによって得られた符号化データを復号する画像復号装置において、予測画像を構成する複数の単位領域の各々に含まれる複数の予測単位を第1のグループまたは第2のグループに分類する分類手段と、上記第1のグループに属する各予測単位についての選択情報を参照し、第1のグループに属する各予測単位における予測画像の生成方法を指定する予測パラメータを、予め定められた予測パラメータよりなる基本セットから選択する第1の選択手段と、上記第2のグループに属する各予測単位についての選択情報を参照し、第2のグループに属する各予測単位における予測画像の生成方法を指定する予測パラメータを、上記第1の選択手段によって選択された予測パラメータの少なくとも一部を含む縮減セットであって、上記基本セットに含まれる予測パラメータの数以下である予測パラメータよりなる縮減セットから選択する第2の選択手段と、を含んでいることを特徴としている。
【0322】
上記のように構成された画像復号装置によれば、上記第2のグループに属する各予測単位における予測画像の生成方法を指定する予測パラメータを、当該第2のグループと同じ単位領域に含まれる第1のグループに属する各予測単位について上記第1の選択手段によって選択された予測パラメータの少なくとも一部を含む縮減セットであって、上記基本セットに含まれる予測パラメータの数以下である予測パラメータよりなる縮減セットから選択することができる。
【0323】
ここで、各予測単位に対する予測パラメータは、一般に、当該予測単位の近傍に位置する予測単位に対する予測パラメータと相関があるため、上記第1のグループに属する各予測単位に対して選択された予測パラメータは、上記第2のグループに属する各予測単位に対しても適切な予測パラメータである可能性が高い。したがって、上記の構成によれば、符号化効率を低減させることなく、より符号量の少ない選択情報から、予測パラメータの復号を行うことができる。
【0324】
また、上記縮減セットは、上記第1の選択手段によって選択された予測パラメータであって、互いに異なる全ての予測パラメータのみを含む、ことが好ましい。
【0325】
上記の構成によれば、縮減セットに含まれる予測パラメータの数をより削減できるため、符号量を更に削減することができる。
【0326】
また、上記複数の単位領域の各々は、当該画像復号装置における復号単位である、ことが好ましい。
【0327】
上記構成によれば、上記縮減セットの生成処理を、復号単位(例えば、H.264/MPEG−4 AVC規格におけるマクロブロック)毎に一度だけ実行すればよいため、縮減セット生成のための処理量を削減することができる。
【0328】
また、本発明に係る画像復号装置においては、上記第1のグループに属する予測単位と上記第2のグループに属する予測単位とが市松模様状(チェッカーボード状)に配置されている、ことが好ましい。
【0329】
一般に、各予測単位における予測パラメータは、近傍の予測単位における予測パラメータと相関がある。
【0330】
上記の構成に対応する構成を有する画像符号化装置によれば、上記第1のグループに属する予測単位と上記第2のグループに属する予測単位とが市松模様状(チェッカーボード状)に配置されているため、上記第2のグループに属する各予測単位について、適切な予測パラメータを選択することができる。したがって、上記の構成に対応する構成を有する画像符号化装置によれば、符号化効率を犠牲にすることなく、予測パラメータの符号化に必要な符号量を削減することができる。
【0331】
上記の構成を有する画像復号装置によれば、そのように符号量が削減された符号化データを復号することができる。
【0332】
また、本発明に係る画像復号装置においては、上記予測パラメータは、イントラ予測における予測モードを指定するものであってもよい。
【0333】
上記の構成によれば、符号化効率を犠牲にすることなく、イントラ予測における予測モードの符号量の削減された符号化データを復号することができる。
【0334】
また、上記第2の選択手段は、上記第2のグループに属する予測単位上の予測画像の生成方法を規定する予測パラメータを、上記第1の選択手段によって選択された予測パラメータを含む縮減セットであって、イントラ予測における垂直方向予測モード、水平方向予測モード、および、DC予測モードの少なくとも何れか1を含む縮減セットから選択する、ことが好ましい。
【0335】
一般に、垂直方向予測モード、水平方法予測モード、および、DC予測モードは、イントラ予測において、選択される頻度の高い予測モードである。
【0336】
上記の構成に対応する構成を有する画像符号化装置によれば、上記第2の選択手段は、上記第2のグループに属する予測単位上の予測画像の生成方法を規定する予測パラメータを、上記第1の選択手段によって選択された予測パラメータを含む縮減セットであって、イントラ予測における垂直方向予測モード、水平方向予測モード、および、DC予測モードの少なくとも何れか1を含む縮減セットから選択することができるので、上記第2のグループに属する予測単位上の予測画像を生成する際の予測精度を低減させることなく、符号量を削減することができる。
【0337】
上記の構成を有する画像復号装置によれば、そのような符号量の少ない符号化データを復号することができる。
【0338】
また、上記第2の選択手段は、上記第1のグループと上記第2のグループとを含む単位領域内の予測単位数が予め定められた閾値以上の場合に、上記縮減セットから予測パラメータを選択し、そうでない場合に、上記基本セットから予測パラメータを選択する、構成としてもよい。
【0339】
上記の構成によれば、単位領域内の予測単位数が、所定の値未満の場合には、上記基本セットから予測パラメータを選択することができるので、予測パラメータを選択するための処理量を削減することができる。
【0340】
また、本発明に係る画像復号装置においては、上記基本セットが単位領域毎に設定可能であり、上記第2の選択手段は、上記第1のグループと上記第2のグループとを含む単位領域に対して設定された基本セットが特定の条件を満たす場合に、上記縮減セットから予測パラメータを選択し、そうでない場合に、上記基本セットから予測パラメータを選択する、構成としてもよい。
【0341】
上記の構成によれば、上記基本セットが単位領域毎に設定可能であり、上記第2の選択手段は、上記第1のグループと上記第2のグループとを含む単位領域に対して設定された基本セットが特定の条件を満たす場合に、上記縮減セットから予測パラメータを選択し、そうでない場合に、上記基本セットから予測パラメータを選択することができるので、予測パラメータを選択するための処理量を削減しつつ、符号量の削減された符号化データを復号することができる。
【0342】
また、本発明に係る画像復号装置は、入力画像と予測画像との差を、各予測単位について、予測画像の生成方法を指定する複数の予測パラメータのうち何れの予測パラメータが選択されたのかを示す選択情報と共に符号化することによって得られた符号化データを復号する画像復号装置において、上記選択情報を参照し、各予測単位における予測画像の生成方法を指定する予測パラメータを、該予測単位の近傍に位置する復号済みの予測単位における予測画像の生成方法を指定する予測パラメータの少なくとも一部を含む縮減セットから選択する選択手段を含んでいる、ことを特徴とする画像復号装置であると表現することもできる。
【0343】
一般に、各予測単位に対する予測パラメータは、当該予測単位の近傍に位置する予測単位に対する予測パラメータと相関がある。したがって、上記縮減セットは、当該予測単位における予測画像の生成において最も予測パラメータを含む可能性が高い。また、上記縮減セットは、当該予測単位の近傍に位置する予測単位に対する予測パラメータの少なくとも一部から構成されるため、上記縮減セットに含まれる予測パラメータの数は、当該予測単位以外の予測単位に対する予測パラメータから構成されるパラメータセットに含まれる予測パラメータの数よりも少ない。
【0344】
したがって、上記の構成に対応する構成を有する画像符号化装置は、符号化効率を犠牲にすることなく、符号量の少ない符号化データを生成することができる。
【0345】
上記の構成を有する画像復号装置は、そのような符号量の少ない符号化データを復号することができる。
【0346】
また、上記第2の選択手段は、上記第2のグループに属する予測単位上の予測画像の生成方法を規定する予測パラメータを、上記第1の選択手段によって選択された予測パラメータを含む縮減セットであって、2n+1個(nは任意の自然数)の予測パラメータより
なる縮減セットから選択する、ことが好ましい。
【0347】
一般に、2n+1個(nは任意の自然数)の要素からなる要素群を符号化する場合、2n+1個以外の要素からなる要素群を符号化する場合に比べて、圧縮効率が向上する。
【0348】
上記の構成によれば、このように圧縮効率の高い符号化データを復号することができる。
【0349】
また、本発明に係る符号化データのデータ構造は、入力画像と予測画像との差を、各予測単位について、予測画像の生成方法を指定する複数の予測パラメータのうち何れの予測パラメータが選択されたのかを示す選択情報と共に符号化することによって得られた符号化データのデータ構造であって、上記符号化データを復号する画像復号装置において、各予測単位における予測画像の生成方法を指定する予測パラメータを、該予測単位の近傍に位置する復号済みの予測単位における予測画像の生成方法を指定する予測パラメータの少なくとも一部を含む縮減セットから選択するために参照される選択情報を含んでいる、ことを特徴としている。
【0350】
一般に、各予測単位に対する予測パラメータは、当該予測単位の近傍に位置する予測単位に対する予測パラメータと相関がある。したがって、上記縮減セットは、当該予測単位における予測画像の生成において最も予測パラメータを含む可能性が高い。また、上記縮減セットは、当該予測単位の近傍に位置する予測単位に対する予測パラメータの少なくとも一部から構成されるため、上記選択情報によって指定される予測パラメータの数は、当該予測単位以外の予測単位に対する予測パラメータから構成されるパラメータセットに含まれる予測パラメータの数よりも少ない。
【0351】
したがって、上記の構成を有する符号化データは、符号化効率を犠牲にすることなく、符号量の削減された符号化データである。
【0352】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【0353】
本発明は、画像を符号化し符号化データを生成する画像符号化装置、そのような画像符号化装置を用いて生成された符号化データを復号する画像復号装置に好適に適用することができる。
【符号の説明】
【0354】
1 動画像復号装置
14 MB復号部
144 予測パラメータ復号部
41 グループ判定部(分類手段)
42 スイッチ部
43 第1予測パラメータ復号部(第1の選択手段)
44 縮減セット導出部
45 第2予測パラメータ復号部(第2の選択手段)
2 動画像符号化装置
24 MB符号化部
242 予測パラメータ決定部
51 グループ判定部(分類手段)
52 スイッチ部
53 第1予測パラメータ決定部(第1の選択手段)
54 縮減セット導出部
55 第2予測パラメータ決定部(第2の選択手段)
243 予測パラメータ符号化部(予測パラメータ符号化手段)
248 予測画像生成部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16