特許 5674911 画像符号化復号化装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5674911

(24)【登録日】2015年1月9日

(45)【発行日】2015年2月25日

(54)【発明の名称】画像符号化復号化装置

(51)【国際特許分類】

   H04N 19/70 20140101AFI20150205BHJP

   H04N 19/105 20140101ALI20150205BHJP

   H04N 19/16 20140101ALI20150205BHJP

   H04N 19/176 20140101ALI20150205BHJP

【ＦＩ】

   H04N19/70

   H04N19/105

   H04N19/16

   H04N19/176

【請求項の数】1

【全頁数】28

(21)【出願番号】特願2013-269636(P2013-269636)

(22)【出願日】2013年12月26日

(62)【分割の表示】特願2013-10395(P2013-10395)の分割

【原出願日】2003年9月25日

(65)【公開番号】特開2014-90486(P2014-90486A)

(43)【公開日】2014年5月15日

【審査請求日】2013年12月26日

(31)【優先権主張番号】特願2002-289303(P2002-289303)

(32)【優先日】2002年10月1日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】514136668

【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ

【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(72)【発明者】

【氏名】角野 眞也

(72)【発明者】

【氏名】近藤 敏志

(72)【発明者】

【氏名】安倍 清史

【審査官】 坂東 大五郎

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

ピクチャを符号化する画像符号化装置と、符号化されたピクチャを復号化する画像復号化装置とから構成される画像符号化復号化装置であって、
前記画像符号化装置は、前記ピクチャをブロック単位で符号化する画像符号化装置であって、
前記ピクチャを構成するブロックをフレーム符号化する場合には、前記ブロックが参照する参照フレームの画素値とフレーム重み係数とを用いて予測画像を生成し、前記ブロックをフィールド符号化する場合には、前記ブロックが参照する参照フィールドの画素値とフィールド重み係数とを用いて予測画像を生成する、動き補償部と、
（１）前記ピクチャがフレームで構成され、かつ、前記ピクチャを構成するブロック毎にフレーム符号化するかフィールド符号化するかを適応的に切り替える場合には、前記フレーム重み係数を符号化し、前記予測画像を用いて符号化されたピクチャと前記符号化されたフレーム重み係数とを含む符号化信号を出力し、（２）前記ピクチャがフレームで構成され、かつ、前記ピクチャを構成する全てのブロックをフレーム符号化する場合には、前記フレーム重み係数を符号化し、前記予測画像を用いて符号化されたピクチャと前記符号化されたフレーム重み係数とを含む符号化信号を出力し、（３）前記ピクチャがフィールドで構成され、かつ、前記ピクチャを構成する全てのブロックをフィールド符号化する場合には、前記フィールド重み係数を符号化し、前記予測画像を用いて符号化されたピクチャと前記符号化されたフィールド重み係数とを含む符号化信号を出力する、可変長符号化部と、を備え、
前記画像復号化装置は、前記符号化信号に含まれる符号化されたピクチャをブロック単位で復号化する画像復号化装置であって、
（i）前記ピクチャがフレームで構成され、かつ、前記ピクチャを構成するブロックをフレーム符号化するかフィールド符号化するかを適応的に切り替えるように前記ピクチャが符号化されている場合には、前記符号化信号に含まれる符号化されたフレーム重み係数を復号化し、前記復号化されたフレーム重み係数からフィールド重み係数を生成し、（ii）前記ピクチャがフレームで構成され、かつ、前記ピクチャに含まれる全てのブロックがフレーム符号化されている場合には、前記符号化信号に含まれる符号化されたフレーム重み係数を復号化し、（iii）前記ピクチャがフィールドで構成され、かつ、前記ピクチャに含まれる全てのブロックがフィールド符号化されている場合には、前記符号化信号に含まれる符号化されたフィールド重み係数を復号化する、可変長復号化部と、
（i）前記ピクチャがフレームで構成され、かつ、前記ピクチャを構成するブロックをフレーム符号化するかフィールド符号化するかを適応的に切り替えるように前記ピクチャが符号化され、かつ、前記ピクチャを構成するブロックがフレーム符号化されている場合には、前記復号化されたフレーム重み係数を用いて、前記ブロックが参照する参照フレームの画素値をスケーリングすることにより、予測画像を生成し、前記ピクチャがフレームで構成され、かつ、前記ピクチャを構成するブロックをフレーム符号化するかフィールド符号化するかを適応的に切り替えるように前記ピクチャが符号化され、かつ、前記ブロックがフィールド符号化されている場合には、前記生成されたフィールド重み係数を用いて、前記ブロックが参照する参照フィールドの画素値をスケーリングすることにより、予測画像を生成し、（ii）前記ピクチャに含まれる全てのブロックがフレーム符号化されている場合には、前記復号化されたフレーム重み係数を用いて、前記ブロックが参照する参照フレームの画素値をスケーリングすることにより、予測画像を生成し、（iii）前記ピクチャに含まれる全てのブロックがフィールド符号化されている場合には、前記復号化されたフィールド重み係数を用いて、前記ブロックが参照する参照フィールドの画素値をスケーリングすることにより、予測画像を生成する、動き補償部と、
前記生成された予測画像を用いて、前記ピクチャを復元する加算部と、
を備え、
前記フィールド重み係数は、前記ピクチャがフレームで構成され、かつ、前記ピクチャを構成するブロック毎にフレーム符号化するかフィールド符号化するかを適応的に切り替える場合には、前記フレーム重み係数から生成される、
ことを特徴とする画像符号化復号化装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画像の符号化復号化装置に関し、特に重み係数を用いて動き予測を行う符号化復号化装置およびその方法に関する。

【背景技術】

【0002】

近年、音声、画像、その他のコンテンツ等を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を単一の端末によって入手又は伝達できるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等が関連づけられて表わされたものをいうが、上記従来の情報メディアをマルチメディアの対象とするためには、その情報をディジタル形式にして表すことが必須条件となる。

【0003】

ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４Kbits（電話品質）、さらに動画については１秒当たり１００Mbits（現行テレビ受信品質）以上の情報量が必要となるので、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４Kbits/s〜
１．５Mbits/sの伝送速度を持つサービス総合ディジタル網（ISDN : Integreted Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。

【0004】

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ITU-T（国際電気通信連合 電気通信標準化部門）で国際標準化されたH.261やH.263規格の動画圧縮技術が用いられている。また、ＭＰＥＧ-１規格の情報圧縮技術によると、通常の音楽用CD（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

【0005】

ここで、ＭＰＥＧ（Moving Picture Experts Group）とは、動画像信号圧縮の国際規格であり、ＭＰＥＧ−１は、動画像信号を１．５Mbpsまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ−１規格を対象とする伝送速度が主として約１．５Mbpsに制限されていることから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ-２では、動画像信号が２〜１５Mbpsに圧縮される。さらに現状では、ＭＰＥＧ−１、ＭＰＥＧ−２と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11） によって、ＭＰＥＧ−１、ＭＰＥＧ−２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ−４が規格化された（例えば、非特許文献１参照）。ＭＰＥＧ−４では、低ビットレートで効率の高い符号化が可能になるだけでなく、伝送路誤りが発生しても画質劣化を小さくできる強力な誤り耐性技術も導入されている。また、ＩＳＯ／ＩＥＣとＩＴＵでは、次世代画像符号化方式として、ＭＰＥＧ−４ＡＶＣ／ＩＴＵ Ｈ．２６４の標準化が共同で進められている。

【0006】

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで、時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは、１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。

【0007】

図１９は、ピクチャの種類と参照関係の一例を示す図である。図１９において、斜線のハッチングを施したピクチャは、他のピクチャに参照されるため、メモリに保存されるピクチャを表す。図１９における矢印は、被参照ピクチャから参照ピクチャへの方向を示す。また、ピクチャの並びは表示順で示している。

【0008】

Ｉ０（Picture 0）は、画面内符号化ピクチャ（Ｉピクチャ）であり、他のピクチャと
は独立して（即ち、他のピクチャを参照することなしに）符号化されるピクチャである。Ｐ４（Picture 4）及びＰ７（Picture 7）は、前方向予測符号化ピクチャ（Ｐピクチャ）であり、時間的に過去に位置するＩピクチャ又は他のＰピクチャを参照することによって予測符号化がなされるピクチャである。Ｂ１〜Ｂ３（Picture 1〜Picture 3）、Ｂ５（Picture 5）及びＢ６（Picture 6）は、双方向予測符号化ピクチャ（Ｂピクチャ）であり、時間的に前後に位置する他のピクチャを参照することによって予測符号化がなされるピクチャである。

【0009】

図２０は、ピクチャの種類と参照関係の他の例を示す図である。図２０が図１９と異なる点は、Ｂピクチャが参照するピクチャの時間的な位置が、必ずしも時間的に前後に位置するピクチャに限らない点である。例えば、Ｂ５（Picture 5）の場合であれば、Ｉ０（Picture 0）、Ｐ３（Picture 3）及びＰ６（Picture 6）のうち、任意の２つのピクチャを参照することが可能である。つまり、時間的に過去に位置するＩ０およびＰ３を参照することが可能である。このような参照の仕方については、2001年9月時点のMPEG-4 AVC/H.264 規格案で既に認められている。これにより、従来に比べ、より適切な予測画像を選択するための範囲が広がり、圧縮率の向上を図ることが可能となる。

【0010】

図２１は、画像データのストリーム構造の一例を示す図である。図２１に示されように、ストリームは、ヘッダ等の共通情報領域とＧＯＰ（Group Of Picture）領域から構成されている。ＧＯＰ領域は、ヘッダ等の共通情報領域と複数のピクチャ（picture ）領域から構成されている。ピクチャ領域は、ヘッダ等の共通情報領域と複数のスライス（slice）データ領域から構成される。スライスデータ領域は、ヘッダ等の共通情報領域と複数のマクロブロック（macro block）データ領域から構成される。

【0011】

また、ピクチャ共通情報領域には、後述する重み付け予測を行うための重み係数が参照ピクチャに応じてそれぞれ記述される。

【0012】

また、ストリームが連続したビットストリームでなく、細切れのデータの単位であるパケット等で伝送する場合はヘッダ部とヘッダ以外のデータ部を分離して別に伝送してもよい。その場合は、図２１のようにヘッダ部とデータ部が１つのビットストリームとなることはない。しかしながら、パケットの場合は、ヘッダ部とデータ部の伝送する順序が連続しなくても、対応するデータ部に対応するヘッダ部が別のパケットで伝送されるだけであり、１つのビットストリームとなっていなくても、概念は図２１で説明したビットストリームの場合と同じである。

【0013】

次に、従来の画像符号化方法における重み付け予測処理について説明する。

【0014】

図２２は、フレーム単位で重み付け予測処理を行う場合の模式図である。

【0015】

図２２（ａ）に示されるように、１つのフレームを参照する場合、現在の符号化対象ブロックに対応する予測画像の画素値Ｑは、参照するｉ番目のフレーム（Frame i）における参照対象ブロックの画素値をＰ０とすると、下記の式（１）に示すような重み付け予測式によって算出することができる。また、図２２（ｂ) に示されるように、２つのフレームを参照する場合、予測画像の画素値Ｑは、参照するｉ番目およびｊ番目のフレーム（Frame iおよびFrame j）における参照対象ブロックの画素値をＰ０、Ｐ１とすると、下記の式（２）に示すような重み付け予測式によって算出することができる。

【0016】

Ｑ＝（Ｐ０×Ｗ０＋Ｄ）／Ｗ２ （１）
Ｑ＝（Ｐ０×Ｗ０＋Ｐ１×Ｗ１＋Ｄ）／Ｗ２ （２）

【0017】

ここで、Ｗ０およびＷ１が重み係数、Ｄがバイアス成分（ＤＣ成分）、Ｗ２が正規化係数である。

【0018】

図２３は、フィールド単位で重み付け予測処理を行う場合の模式図である。

【0019】

図２３（ａ）に示されるように、１つのフレーム（即ち、２つのフィールド）を参照する場合、現在の符号化対象ブロックに対応する予測画像の画素値Ｑａ、Ｑｂは、参照するｉ番目のフレーム（Frame i）を構成するフィールド２×ｉ＋１、２×ｉそれぞれにおける参照対象ブロックの画素値をＰ０ａ、Ｐ０ｂとすると、下記の式（３）および式（４）に示すような重み付け予測式によって算出することができる。また、図２３（ｂ）に示されるように、２つのフレームを参照する場合、予測画像の画素値Ｑａ、Ｑｂは、参照するｉ番目およびｊ番目のフレーム（Frame iおよびFrame j）を構成するフィールド２×ｉ＋１、２×ｉ、２×ｊ＋１、２×ｊそれぞれにおける参照対象ブロックの画素値Ｐ０ａ、Ｐ０ｂ、Ｐ１ａ、Ｐ１ｂとすると、下記の式（５）および式（６）に示すような重み付け予測式によって算出することができる。

【0020】

Ｑａ＝（Ｐ０ａ×Ｗ０ａ＋Ｄａ）／Ｗ２ａ （３）
Ｑｂ＝（Ｐ０ｂ×Ｗ０ｂ＋Ｄｂ）／Ｗ２ｂ （４）
Ｑａ＝（Ｐ０ａ×Ｗ０ａ＋Ｐ１ａ×Ｗ１ａ＋Ｄａ）／Ｗ２ａ （５）
Ｑｂ＝（Ｐ０ｂ×Ｗ０ｂ＋Ｐ１ｂ×Ｗ１ｂ＋Ｄｂ）／Ｗ２ｂ （６）

【0021】

ここで、Ｗ０ａ、Ｗ０ｂ、Ｗ１ａ、Ｗ１ｂが重み係数、Ｄａ、Ｄｂがバイアス成分、Ｗ２が正規化係数である。

【0022】

図２４は、従来の画像符号化装置１００の機能構成を示すブロック図である。この画像符号化装置１００は、入力される画像信号Vin の圧縮符号化（例えば、可変長符号化）を行い、この圧縮符号化によって変換されたビットストリームである画像符号化信号Str を出力する装置であり、動き検出ユニットＭＥ、動き補償ユニットＭＣ、減算ユニットＳｕｂ、直交変換ユニットＴ、量子化ユニットＱ、逆量子化ユニットＩＱ、逆直交変換ユニットＩＴ、加算ユニットＡｄｄ、ピクチャメモリPicMem、スイッチＳＷおよび可変長符号化ユニットＶＬＣを備えている。

【0023】

画像信号Vin は、減算ユニットＳｕｂおよび動き検出ユニットＭＥに入力される。減算ユニットＳｕｂは、入力された画像信号Vin と予測画像の差分値を計算し、直交変換ユニットＴに出力する。直交変換ユニットＴは、差分値を周波数係数に変換し、量子化ユニットＱに出力する。量子化ユニットＱは、入力された周波数係数を量子化し、量子化値を可変長符号化ユニットＶＬＣに出力する。

【0024】

逆量子化ユニットＩＱは、量子化値を逆量子化して周波数係数に復元し、逆直交変換ユニットＩＴに出力する。逆直交変換ユニットＩＴは、周波数係数から画素差分値に逆周波数変換し、加算ユニットＡｄｄに出力する。加算ユニットＡｄｄは、画素差分値と動き補償ユニットＭＣから出力される予測画像とを加算して復号化画像とする。スイッチＳＷは、当該復号化画像の保存が指示された場合に「ＯＮ」になり、復号化画像はピクチャメモリPicMemに保存される。

【0025】

一方、画像信号Vin がマクロブロック単位で入力される動き検出ユニットＭＥは、ピクチャメモリPicMemに格納されている復号化画像を探索対象とし、最も入力画像信号に近い画像領域を検出することによってその位置を指し示す動きベクトルＭＶを決定する。動きベクトルの検出は、マクロブロックをさらに分割したブロック単位で行われる。このとき、複数のピクチャを参照ピクチャとして使用することができるため、参照するピクチャを指定するための識別番号（ピクチャ番号Index）がブロックごとに必要となる。ピクチャ番号Indexによって、ピクチャメモリPicMem中の各ピクチャが有するピクチャ番号との対応を取ることにより参照ピクチャを指定することが可能となる。

【0026】

動き補償ユニットＭＣは、上記処理によって検出された動きベクトルおよびピクチャ番号Indexを用いて、ピクチャメモリPicMemに格納されている復号化画像から予測画像生成に必要な画像領域を取り出す。得られた画像領域の画素値に対して、動き補償ユニットＭＣは、ピクチャ番号Indexに関連付けされた重み係数を用いた重み付け予測による補間処理等の画素値変換処理を施すことによって最終的な予測画像を特定する。

【0027】

図２５は、上記図２４の従来の画像符号化装置１００における可変長符号化ユニットＶＬＣの機能構成の概略を示すブロック図である。可変長符号化ユニットＶＬＣは、ＭＶ符号化部１０１、量子化値符号化部１０２、重み係数符号化部１０３、インデックス符号化部１０４、ＡＦＦ識別情報符号化部１０５および多重化部１０６を備えている。

【0028】

ＭＶ符号化部１０１は、動きベクトルを符号化し、量子化値符号化部１０２は、量子化値Qcoefを符号化する。また、重み係数符号化部１０３は、重み係数Weightを符号化し、インデックス符号化部１０４は、ピクチャ番号Indexを符号化する。ＡＦＦ識別情報符号化部１０５は、ＡＦＦ識別信号ＡＦＦを符号化する（ＡＦＦ識別信号ＡＦＦについては後述する）。多重化部１０６は、ＭＶ符号化部１０１、量子化値符号化部１０２、重み係数符号化部１０３、インデックス符号化部１０４、ＡＦＦ識別情報符号化部１０５から出力された各符号化信号を多重化し、画像符号化信号Strを出力する。

【0029】

図２６は、従来の画像復号化装置２００の機能構成を示すブロック図である。

【0030】

画像復号化装置２００は、上記画像符号化装置１００が符号化した画像符号化信号Str を復号化することができる装置であり、可変長復号化ユニットＶＬＤ、動き補償ユニットＭＣ、加算ユニットＡｄｄ、ピクチャメモリPicMem、逆量子化ユニットＩＱ、および逆直交変換ユニットＩＴを備えている。

【0031】

画像符号化信号Str が入力されると、可変長復号化ユニットＶＬＤは、入力された画像符号化信号Str から符号化されている動き差分ベクトルＭＶ、ピクチャ番号を表すインデックスおよび重み係数Weightを分離し、動き補償ユニットＭＣに出力する。さらに、可変復号化ユニットＶＬＤは、入力された画像符号化信号Str に含まれる、符号化されている量子化値Qcoefを復号化して逆量子化ユニットＩＱに出力する。

【0032】

動き補償ユニットＭＣは、可変長復号化ユニットＶＬＤから出力される動きベクトル、およびピクチャ番号Indexを用いて、ピクチャメモリPicMemに格納されている復号化画像から予測画像生成に必要な画像領域を取り出す。この得られた画像に対する重み係数Weightを用いて、重み付け予測による補間処理等の画素値変換処理を施すことによって予測画像を生成する。

【0033】

逆量子化ユニットＩＱは、量子化値を逆量子化して周波数係数に復元し、逆直交変換ユニットＩＴに出力する。逆直交変換ユニットＩＴは、周波数係数から画素差分値に逆周波数変換し、加算ユニットＡｄｄに出力する。加算ユニットＡｄｄは、画素差分値と動き補償ユニットＭＣから出力される予測画像とを加算して復号化画像とする。この復号化画像は、以降の画面間予測での参照に使用する場合ピクチャメモリPicMemに格納される。また、この復号化画像は復号化画像信号Voutとして外部に出力される。

【0034】

図２７は、上記図２６の従来の画像復号化装置２００における可変長復号化ユニットＶＬＤの機能構成の概略を示すブロック図である。

【0035】

可変長復号化ユニットＶＬＤは、分離部２０１、ＭＶ復号化部２０２、量子化値復号化部２０３、重み係数復号化部２０４、インデックス復号化部２０５およびＡＦＦ識別情報復号化部２０６を備えている。

【0036】

画像符号化信号Str が可変長復号化ユニットＶＬＤに入力されると、分離部２０１は、入力された画像符号化信号Strを分離し、符号化されている動き差分ベクトルＭＶをＭＶ復号化部２０２に、符号化されている量子化値Qcoefを量子化値復号化部２０３に、符号化されている重み係数Weightを重み係数復号化部２０４に、符号化されているピクチャ番号Indexをインデックス復号化部２０５に、符号化されているＡＦＦ識別信号ＡＦＦ（以下の説明では「ＡＦＦ」と略す。）をＡＦＦ識別情報復号化部２０６にそれぞれ出力する。

【0037】

ＭＶ復号化部２０２は、符号化されている差分ベクトルを復号化し、動きベクトルＭＶを出力する。

【0038】

同様に、量子化値復号化部２０３は量子化値を、重み係数復号化部２０４は重み係数Weightを、インデックス復号化部２０５はピクチャ番号Indexを、ＡＦＦ識別情報復号化部２０６はＡＦＦをそれぞれ復号化して出力する。

【先行技術文献】

【非特許文献】

【0039】

【非特許文献1】ＩＳＯ（国際標準化機構）のＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４規格書

【発明の概要】

【発明が解決しようとする課題】

【0040】

しかしながら、従来の重み付き予測符号化では、ピクチャ単位で符号化するが、ブロックは常に同じピクチャ（フレームもしくはフィールドの一方）について符号化・復号化することしか想定されていない。従って、重み係数はピクチャで１組しか符号化／復号化されない。

【0041】

このため、ブロック単位でフィールドとフレームを切り替えることで、動き予測の効率が向上する可能性があるにも拘らず、従来は、重み係数をピクチャ単位で１つしか送れないため、ブロック単位でフィールドとフレームを切り替えても、予測効率が悪く、圧縮率を向上させることができない。

【0042】

そこで、本発明では、上記課題に鑑みてなされたものであり、ブロック単位でフィールドとフレームを切り替えた場合であっても、好適に重み係数を対応付けることが可能な画像符号化復号化装置を提供することを目的とする。

【課題を解決するための手段】

【0043】

上記目的を達成するために、本発明に係る画像符号化復号化装置の一形態は、ピクチャを符号化する画像符号化装置と、符号化されたピクチャを復号化する画像復号化装置とから構成される画像符号化復号化装置であって、前記画像符号化装置は、前記ピクチャをブロック単位で符号化する画像符号化装置であって、前記ピクチャを構成するブロックをフレーム符号化する場合には、前記ブロックが参照する参照フレームの画素値とフレーム重み係数とを用いて予測画像を生成し、前記ブロックをフィールド符号化する場合には、前記ブロックが参照する参照フィールドの画素値とフィールド重み係数とを用いて予測画像を生成する、動き補償部と、（１）前記ピクチャがフレームで構成され、かつ、前記ピクチャを構成するブロック毎にフレーム符号化するかフィールド符号化するかを適応的に切り替える場合には、前記フレーム重み係数を符号化し、前記予測画像を用いて符号化されたピクチャと前記符号化されたフレーム重み係数とを含む符号化信号を出力し、（２）前記ピクチャがフレームで構成され、かつ、前記ピクチャを構成する全てのブロックをフレーム符号化する場合には、前記フレーム重み係数を符号化し、前記予測画像を用いて符号化されたピクチャと前記符号化されたフレーム重み係数とを含む符号化信号を出力し、（３）前記ピクチャがフィールドで構成され、かつ、前記ピクチャを構成する全てのブロックをフィールド符号化する場合には、前記フィールド重み係数を符号化し、前記予測画像を用いて符号化されたピクチャと前記符号化されたフィールド重み係数とを含む符号化信号を出力する、可変長符号化部とを備え、前記画像復号化装置は、前記符号化信号に含まれる符号化されたピクチャをブロック単位で復号化する画像復号化装置であって、（i）前記ピクチャがフレームで構成され、かつ、前記ピクチャを構成するブロックをフレーム符号化するかフィールド符号化するかを適応的に切り替えるように前記ピクチャが符号化されている場合には、前記符号化信号に含まれる符号化されたフレーム重み係数を復号化し、前記復号化されたフレーム重み係数からフィールド重み係数を生成し、（ii）前記ピクチャがフレームで構成され、かつ、前記ピクチャに含まれる全てのブロックがフレーム符号化されている場合には、前記符号化信号に含まれる符号化されたフレーム重み係数を復号化し、（iii）前記ピクチャがフィールドで構成され、かつ、前記ピクチャに含まれる全てのブロックがフィールド符号化されている場合には、前記符号化信号に含まれる符号化されたフィールド重み係数を復号化する、可変長復号化部と、（i）前記ピクチャがフレームで構成され、かつ、前記ピクチャを構成するブロックをフレーム符号化するかフィールド符号化するかを適応的に切り替えるように前記ピクチャが符号化され、かつ、前記ピクチャを構成するブロックがフレーム符号化されている場合には、前記復号化されたフレーム重み係数を用いて、前記ブロックが参照する参照フレームの画素値をスケーリングすることにより、予測画像を生成し、前記ピクチャがフレームで構成され、かつ、前記ピクチャを構成するブロックをフレーム符号化するかフィールド符号化するかを適応的に切り替えるように前記ピクチャが符号化され、かつ、前記ブロックがフィールド符号化されている場合には、前記生成されたフィールド重み係数を用いて、前記ブロックが参照する参照フィールドの画素値をスケーリングすることにより、予測画像を生成し、（ii）前記ピクチャに含まれる全てのブロックがフレーム符号化されている場合には、前記復号化されたフレーム重み係数を用いて、前記ブロックが参照する参照フレームの画素値をスケーリングすることにより、予測画像を生成し、（iii）前記ピクチャに含まれる全てのブロックがフィールド符号化されている場合には、前記復号化されたフィールド重み係数を用いて、前記ブロックが参照する参照フィールドの画素値をスケーリングすることにより、予測画像を生成する、動き補償部と、前記生成された予測画像を用いて、前記ピクチャを復元する加算部とを備え、前記フィールド重み係数は、前記ピクチャがフレームで構成され、かつ、前記ピクチャを構成するブロック毎にフレーム符号化するかフィールド符号化するかを適応的に切り替える場合には、前記フレーム重み係数から生成される。

【0044】

たとえば、上記画像符号化復号化装置を構成する画像符号化装置の一形態は、ピクチャをブロック単位で符号化する画像符号化装置であって、前記ピクチャを構成するブロックをフレーム符号化する場合には、前記ブロックが参照する参照フレームの画素値とフレーム重み係数とを用いて予測画像を生成し、前記ブロックをフィールド符号化する場合には、前記ブロックが参照する参照フィールドの画素値とフィールド重み係数とを用いて予測画像を生成する、動き補償部と、（１）前記ピクチャがフレームで構成され、かつ、前記ピクチャを構成するブロック毎にフレーム符号化するかフィールド符号化するかを適応的に切り替える場合には、前記フレーム重み係数を符号化し、前記予測画像を用いて符号化されたピクチャと前記符号化されたフレーム重み係数とを含む符号化信号を出力し、（２）前記ピクチャがフレームで構成され、かつ、前記ピクチャを構成する全てのブロックをフレーム符号化する場合には、前記フレーム重み係数を符号化し、前記予測画像を用いて符号化されたピクチャと前記符号化されたフレーム重み係数とを含む符号化信号を出力し、（３）前記ピクチャがフィールドで構成され、かつ、前記ピクチャを構成する全てのブロックをフィールド符号化する場合には、前記フィールド重み係数を符号化し、前記予測画像を用いて符号化されたピクチャと前記符号化されたフィールド重み係数とを含む符号化信号を出力する、可変長符号化部とを備え、前記フィールド重み係数は、前記ピクチャがフレームで構成され、かつ、前記ピクチャを構成するブロック毎にフレーム符号化するかフィールド符号化するかを適応的に切り替える場合には、前記フレーム重み係数から生成されることを特徴とする。

【0045】

なお、上記目的を達成するために、本発明は、上記画像符号化復号化装置の特徴的な構成手段をステップとする画像符号化復号化方法として実現したり、それらの方法の全てのステップを含むプログラムとして実現することもできる。そして、そのプログラムは、上記方法を実現し得る装置が備えるＲＯＭ等に格納しておくだけでなく、ＣＤ−ＲＯＭ等の記録媒体や通信ネットワーク等の伝送媒体を介して流通させることもできる。

【発明の効果】

【0046】

本発明に係る画像符号化復号化装置によれば、ブロック単位でフィールド／フレームの切替を実現し、予測効率を改善し、圧縮率を向上させることが可能となる。

【0047】

さらに、本発明に係る画像符号化復号化装置によれば、フィールド重み係数からフレーム重み係数を生成し、フレーム重み係数からフィールド重み係数を生成するので、フレーム重み係数又はフィールド重み係数の一方を省略して送信することが可能となり、伝送効率の改善ができる。よって、その実用的価値は高い。

【図面の簡単な説明】

【0048】

【図1】実施の形態１における可変長符号化ユニットの機能構成の概要を示すブロック図である。

【図2】実施の形態１における可変長復号化ユニットの機能構成の概要を示すブロック図である。

【図3】（ａ）は、実施の形態１におけるピクチャ領域の共通情報領域のうち、「header」の詳細なデータ構造の一例である。（ｂ）は、「ＡＦＦ」が無く、「ピクチャ重み係数」として「フィールド重み係数」のみが送信される場合の例である。（ｃ）は、「ピクチャフレーム符号化情報」が「１」で「ＡＦＦ」が「０」のため、ブロック単位でフィールドとフレームを切り替えることができない場合の例である。

【図4】実施の形態１における「ピクチャフレーム符号化情報」が「１」でピクチャがフレーム単位で符号化されている場合の可変長復号化ユニットにおける重み係数に関する符号化処理の流れを示すフローチャートである。

【図5】（ａ）は、実施の形態１の変形例におけるピクチャ領域の共通情報領域のうち、「header」の詳細なデータ構造の一例である。（ｂ）は、「ピクチャフレーム符号化情報」が「０」で常にフィールド符号化のため「ＡＦＦ」が無く、「ピクチャ重み係数」として「フィールド重み係数」のみが送信される場合の例である。（ｃ）は、「ピクチャフレーム符号化情報」が「１」で「ＡＦＦ」が「０」のため、ブロック単位でフィールドとフレームを切り替えることができない場合の例である。

【図6】実施の形態１の変形例における「ピクチャフレーム符号化情報」が「１」でピクチャがフレーム単位で符号化されている場合の可変長復号化ユニットにおける重み係数に関する符号化処理の流れを示すフローチャートである。

【図7】図２の可変長復号化ユニットにおける「ピクチャフレーム符号化情報」が「１」でピクチャがフレーム単位で符号化されている場合の重み係数に関する復号化処理の流れを示すフローチャートである。

【図8】（ａ）は、実施の形態２におけるピクチャ領域の共通情報領域のうち、「header」の詳細なデータ構造の一例であり、「ＡＦＦ」に「１」が設定され、「Field係数有無情報」に「１」が設定されている例である。（ｂ）は、（ａ）と同様の図であり、「ＡＦＦ」に「１」が設定され、「Field係数有無情報」に「０」が設定されている例である。（ｃ）は、「ＡＦＦ」に「０」が設定されているため、ブロック単位でフィールドとフレームの切替を行わない例である。

【図9】実施の形態２における可変長符号化ユニットにおける重み係数に関する符号化処理の流れを示すフローチャートである。

【図10】実施の形態２における可変長復号化ユニットにおける重み係数に関する復号化処理の流れを示すフローチャートである。

【図11】（ａ）は、実施の形態３におけるピクチャ領域のデータ構造例を示す図であり、「ＡＦＦ」に「１」が設定され、「Frame係数有無情報」に「１」が設定されている例である。（ｂ）は、（ａ）と同様の図であり、「ＡＦＦ」に「１」が設定され、「Frame係数有無情報」に「０」が設定されている例である。（ｃ）は、「ＡＦＦ」に「０」が設定されているため、ブロック単位でフィールドとフレームの切替を行わない例である。

【図12】実施の形態３における可変長符号化ユニットにおける重み係数に関する符号化処理の流れを示すフローチャートである。

【図13】実施の形態３における可変長復号化ユニットにおける重み係数に関する復号化処理の流れを示すフローチャートである。

【図14】上記実施の形態１、２及び３の画像符号化方法及び画像復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示した説明図である。（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示した説明図である。（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示した説明図である。

【図15】コンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。

【図16】携帯電話の一例を示す図である。

【図17】携帯電話の内部構成を示すブロック図である。

【図18】ディジタル放送用システムの全体構成を示すブロック図である。

【図19】ピクチャの種類と参照関係の一例を示す図である。

【図20】ピクチャの種類と参照関係の他の例を示す図である。

【図21】画像データのストリーム構造の一例を示す図である。

【図22】（ａ）は、１枚のフレームを参照して重み付け予測処理を行う場合の模式図である。（ｂ）は、２枚のフレームを参照して重み付け予測処理を行う場合の模式図である。

【図23】（ａ）は、それぞれに対応する第１又は第２のフィールドを参照して重み付け予測処理を行う場合の模式図である。（ｂ）は、それぞれに対応する第１又は第２のフィールドを２枚参照して重み付け予測処理を行う場合の模式図である。

【図24】従来の画像符号化装置の機能構成を示すブロック図である。

【図25】従来の画像符号化装置における可変長符号化ユニットの機能構成の概略を示すブロック図である。

【図26】従来の画像復号化装置の機能構成を示すブロック図である。

【図27】従来の画像復号化装置における可変長復号化ユニットの機能構成の概略を示すブロック図である。

【発明を実施するための形態】

【0049】

以下、本発明に係る実施の形態について、図面を参照しながら詳細に説明する。

【0050】

（実施の形態１）
本実施の形態に係る画像符号化方法を実現する画像符号化装置の機能構成は、可変長符号化ユニットＶＬＣを除き、上述した従来の画像符号化装置１００と同じである。また、本実施の形態に係る画像復号化方法を実現する画像復号化装置の機能構成は、可変長復号化ユニットＶＬＤを除き、上述した従来の画像復号化装置２００と同じである。

【0051】

このため、以下では、従来と異なる可変長符号化ユニットＶＬＣおよび可変長復号化ユニットＶＬＤについて重点的に説明する。

【0052】

図１は、本実施の形態における可変長符号化ユニットＶＬＣの機能構成の概要を示すブロック図である。図１に示されるように、可変長符号化ユニットＶＬＣは、ＭＶ符号化部１０１、量子化値符号化部１０２、フィールド重み係数符号化部１１、フレーム重み係数符号化部１２、インデックス符号化部１０４、重み係数モード判定部１３、ＡＦＦ識別情報符号化部１０５、スイッチ１４、１５および多重化部１０６を備える。なお、以下では、上記従来の可変長符号化ユニットＶＬＣと同じ機能構成については同じ符号を付し、その説明は省略する。

【0053】

スイッチ１４、１５は、重み係数モード判定部１３の判定結果に基づいて、入力された重み係数Weightの送信先をフィールド重み係数符号化部１１にするかフレーム重み係数符号化部１２にするかについて、ＯＮ／ＯＦＦの制御を行う。

【0054】

フィールド重み係数符号化部１１は、入力された重み係数Weightをフィールド重み係数として符号化する。フレーム重み係数符号化部１２は、入力された重み係数Weightをフレーム重み係数として符号化する。

【0055】

重み係数モード判定部１３は、ＡＦＦの値および重み係数Weightの値に基づいて、フィールド／フレームの判定を行い、その判定結果をスイッチ１４、１５及び多重化部１０６に通知する。

【0056】

図２は、本実施の形態における可変長復号化ユニットＶＬＤの機能構成の概要を示すブロック図である。図２に示されるように、可変長復号化ユニットＶＬＤは、分離部２１、ＭＶ復号化部２０２、量子化値復号化部２０３、フィールド重み係数復号化部２２、フレーム重み係数復号化部２３、重み係数生成部２４、インデックス復号化部２０５、ＡＦＦ識別情報復号化部２０６およびスイッチ２６〜２８を備える。なお、以下では、上記従来の可変長復号化ユニットＶＬＤと同じ機能構成については同じ符号を付し、その説明は省略する。

【0057】

分離部２１は、入力された画像符号化信号Strを分離し、符号化されている動きベクトルＭＶをＭＶ復号化部２０２に、符号化されている量子化値Qcoefを量子化値復号化部２０３に、符号化されている重み係数Weightをフィールド重み係数復号化部２２又はフレーム重み係数復号化部２３、及び重み係数生成部２４に、符号化されているピクチャ番号Indexをインデックス復号化部２０５に、符号化されているＡＦＦをＡＦＦ識別情報復号化部２０６に、それぞれ出力する。

【0058】

フィールド重み係数復号化部２２は、入力された重み係数Weightをフィールド重み係数として復号化する。フレーム重み係数復号化部２３は、入力された重み係数Weightをフレーム重み係数として復号化する。

【0059】

重み係数生成部２４は、必要に応じてフレーム重み係数からフィールド重み係数を生成する。例えば、ブロック単位でフレーム／フィールドの切替を行なう場合で、フィールド重み係数が符号化されていないためにフレーム重み係数からフィールド重み係数を生成する必要がある場合である。

【0060】

図３は、本実施の形態におけるピクチャ領域のデータ構造例を示す図である。図３（ａ）は、ピクチャ領域における共通情報領域のうち、「header」の詳細なデータ構造の一例である。図３（ａ）の例では、「header」は、ピクチャがフレーム単位であるかフィールド単位であるかを示す「ピクチャフレーム符号化情報」を有している。「ピクチャフレーム符号化情報」が「１」の場合は更に「ＡＦＦ」というブロック単位でフィールドとフレームを切り換えるか否かを示すフラグを有している。例えば、「ＡＦＦ」が「１」の場合は、ブロック単位でフィールドとフレームを切り換えることを表わす。図２１（ａ）に示されているように、「ＡＦＦ」が「１」の場合は、「フィールド重み係数」と「フレーム重み係数」の全てを送信する。なお、「フィールド重み係数」には、「第１フィールド重み係数」と「第２フィールド重み係数」が含まれている。

【0061】

「ピクチャフレーム符号化情報」が「０」の場合は、ピクチャがフィールド単位で符号化されており、ブロック単位でフィールドとフレームを切り替えることができない。従って、図３（ｂ）に示すように「ＡＦＦ」が無く、「ピクチャ重み係数」として「フィールド重み係数」のみが送信される。図３（ｃ）は、「ピクチャフレーム符号化情報」が「１」で「ＡＦＦ」が「０」の場合であり、ブロック単位でフィールドとフレームを切り替えることができない。従って、「ピクチャ重み係数」として「フレーム重み係数」のみが送信される。

【0062】

図４は、本実施の形態における「ピクチャフレーム符号化情報」が「１」でピクチャがフレーム単位で符号化されている場合の可変長復号化ユニットＶＬＤにおける重み係数に関する符号化処理の流れを示すフローチャートである。

【0063】

最初に、「ＡＦＦ」の値が「１」で、ブロック単位でフレーム／フィールドの切替が行なう場合は（Ｓ１０：はい）、"ブロック単位の切替あり"を示すＡＦＦを符号化し（Ｓ１３）、フレーム重み係数およびフィールド重み係数を符号化する（Ｓ１４、Ｓ１５）。

【0064】

一方、「ＡＦＦ」の値が「０」で、ブロック単位でフレーム／フィールドの切替を行なわない場合は（Ｓ１０：いいえ）、"ブロック単位の切替なし"を示す「ＡＦＦ」の値「０」を符号化し（Ｓ１１）、ピクチャの重み係数を符号化する（Ｓ１２）。

【0065】

（変形例）
図５は、本実施の形態の変形例におけるピクチャ領域のデータ構造例を示す図である。図５（ａ）は、ピクチャ領域における共通情報領域のうち、「header」の詳細なデータ構造の一例である。図５（ａ）の例では、「header」は、ピクチャがフレーム単位であるかフィールド単位であるかを示す「ピクチャフレーム符号化情報」を有している。例えば、「ピクチャフレーム符号化情報」が「１」（即ち、ピクチャがフレーム単位である）の場合は、更に「ＡＦＦ」という、ブロック単位でフィールドとフレームを切り替えるか否かを示すフラグを有している。例えば、「ＡＦＦ」が「１」の場合は、ブロック単位でフィールドとフレームを切り替えることを表すこととする。図５（ａ）に示されているように、「ＡＦＦ」が「１」の場合は、「フレーム重み係数」を送信し、「フィールド重み係数」は、「フレーム重み係数」を流用することとする。

【0066】

「ピクチャフレーム符号化情報」が「０」の場合は、ピクチャがフィールド単位で符号化されることを表す。この場合は、ブロック単位でフレーム／フィールドの切り替えは行われない。従って、図５（ｂ）に示すように「ＡＦＦ」がない場合は、「ピクチャ重み係数」として「フィールド重み係数」のみが送信されることを意味する。図５（ｃ）は、「ピクチャフレーム符号化情報」が「１」で「ＡＦＦ」が「０」の場合であり、ブロック単位でフレーム／フィールドの切り替えは行われず、常にフレームで符号化される。従って、「ピクチャ重み係数」として「フレーム重み係数」のみが送信されることとなる。

【0067】

図６は、本実施の形態の変形例における「ピクチャフレーム符号化情報」が「１」でピクチャがフレーム単位で符号化されている場合の可変長符号化ユニットＶＬＣにおける重み係数に関する符号化処理の流れを示すフローチャートである。

【0068】

最初に、「ＡＦＦ」の値が「１」で、ブロック単位でフレーム／フィールドの切替を行う場合は（Ｓ１０：はい）、"ブロック単位の切替あり"を示す「ＡＦＦ」を符号化し（Ｓ１３）、フレーム重み係数を符号化する（Ｓ１５）。

【0069】

一方、「ＡＦＦ」の値が「０」で、ブロック単位でフレーム／フィールドの切替を行わない場合は（Ｓ１０：いいえ）、"ブロック単位の切替なし"を示す「ＡＦＦ」の値「０」を符号化し（Ｓ１１）、ピクチャフレーム符号化情報に基いて「フィールド重み係数」または「フレーム重み係数」のいずれか一方でブロックの符号化単位と一致する方を「ピクチャ重み係数」として符号化する（Ｓ１２）。

【0070】

図７は、上記図２の可変長復号化ユニットＶＬＤにおける「ピクチャフレーム符号化情報」が「１」で、ピクチャがフレーム単位で符号化されている場合の重み係数に関する復号化処理の流れを示すフローチャートである。また、図７は、上記図６の符号化処理に対応する復号化処理に係るフローチャートである。 最初に、可変長復号化ユニットＶＬＤは、「ＡＦＦ」を復号化する（Ｓ２０）。これにより、「ＡＦＦ」の値が「１」で、ブロック単位でフレーム／フィールドの切り替えが行われていることを示す場合は（Ｓ２１：はい）、フレーム重み係数を復号化し（Ｓ２３）、フレーム重み係数に基づいて（例えば、フレーム重み係数を流用して）、フィールド重み係数を生成する（Ｓ２４）。

【0071】

一方、「ＡＦＦ」の値が「０」で、ブロック単位でフレーム／フィールドの切替が行われていないことを示す場合は（Ｓ２１：いいえ）、「ピクチャ重み係数」としての「フィールド重み係数」または「フィールド重み係数」の何れかを復号化する（Ｓ２２）。

【0072】

以上のように、本実施の形態に係る画像符号化方法及び画像復号化方法を用いることにより、ブロック単位でフィールド／フレームの切替を実現し、予測効率を改善し、最終的に圧縮率を向上させることが可能となる。さらに、「フィールド重み係数」が符号化されていない場合であっても、可変長復号化ユニットＶＬＤにおいて「フレーム重み係数」から「フィールド重み係数」を生成するので、支障なく上記ブロック単位のフィールド／フレームの切替を行うことが可能となる。

【0073】

（実施の形態２）
本実施の形態では、上記実施の形態１におけるピクチャ領域のデータ構造が異なる場合の例について説明する。

【0074】

図８は、本実施の形態におけるピクチャ領域のデータ構造例を示す図である。この図８は、ピクチャ領域における共通情報領域のうち、「header」の詳細なデータ構造を示す図である。本実施の形態では、「ピクチャフレーム符号化情報」が「１」でピクチャがフレーム単位で符号化されている場合とし、フィールド重み係数を省略し得る場合の「header」の構造例について説明する。

【0075】

図８（ａ）および図８（ｂ）に示されるように、「header」は、「ＡＦＦ」に加え「Field係数有無情報」を有している。この「Field係数有無情報」は、フィールド重み係数があるか否かを示すフラグである。例えば、フィールド重み係数がある場合は「１」、フィールド重み係数を省略する場合は「０」に設定することとする。

【0076】

図８（ａ）は、「ＡＦＦ」に「１」が設定され、上記「Field係数有無情報」に「１」が設定されている例であり、フィールド重み係数についても送信する場合を示す。なお、「フィールド重み係数」には、上記実施の形態１の場合と同様に「第１フィールド重み係数」と「第２フィールド重み係数」が含まれている。

【0077】

図８（ｂ）は、「ＡＦＦ」に「１」が設定され、上記「Field係数有無情報」に「０」が設定されている例である。

【0078】

図８（ｃ）は、「ＡＦＦ」に「０」が設定されているため、ブロック単位でフィールドとフレームの切替を行わない例である。

【0079】

図９は、本実施の形態における可変長符号化ユニットＶＬＣにおける重み係数に関する符号化処理の流れを示すフローチャートである。

【0080】

最初に、「ＡＦＦ」の値が「１」で、ブロック単位でフレーム／フィールドの切替を行う場合は（Ｓ１０：はい）、ブロック単位の切替があることを示す「ＡＦＦ」を符号化する（Ｓ３１）。

【0081】

さらに、フィールド重み係数がフレーム重み係数から生成可能か否かを判定し（Ｓ３２）、可能な場合は、フィールド重み係数を生成することを示す情報およびフレーム重み係数を符号化する（Ｓ３６、Ｓ３７）。なお、フィールド重み係数がフレーム重み係数から生成しない場合は、フィールド重み係数があるか否かを示す情報、フレーム重み係数およびフィールド重み係数を符号化する（Ｓ３３〜Ｓ３５）。

【0082】

一方、「ＡＦＦ」の値が「０」で、ブロック単位でフレーム／フィールドの切替が行わない場合は（Ｓ１０：いいえ）、上記図６のフローチャートと同じである（Ｓ１１、Ｓ１２）。

【0083】

図１０は、上記図２の可変長復号化ユニットＶＬＤにおける重み係数に関する復号化処理の流れを示すフローチャートである。また、図１０は、上記図９の符号化処理に対応する復号化処理に係るフローチャートである。

【0084】

最初に、可変長復号化ユニットＶＬＤは、「ＡＦＦ」を復号化し（Ｓ２０）、「ＡＦＦ」の値が「１」で、ブロック単位でフレーム／フィールドの切替が行われていることを示す場合は（Ｓ２１：はい）、フィールド重み係数の有無を示す情報を復号化する（Ｓ４１）。

【0085】

次に、フィールド重み係数があるか否かを判定し（Ｓ４２）、フィールド重み係数がない場合は、フレーム重み係数を復号化し（Ｓ４５）、フレーム重み係数からフィールド重み係数を生成する（Ｓ４６）。なお、フィールド重み係数がある場合は、フレーム重み係数およびフィールド重み係数を復号化する（Ｓ４３、Ｓ４４）。

【0086】

一方、「ＡＦＦ」の値が「０」で、ブロック単位でフレーム／フィールドの切替が行われていないことを示す場合は（Ｓ２１：いいえ）、ピクチャ重み係数を復号化する（Ｓ２２）。

【0087】

以上のように、本実施の形態に係る画像符号化方法及び画像復号化方法を用いることにより、ブロック単位でフィールド／フレームの切替を実現する。さらに、フィールド重み係数が省略されている場合であっても、フレーム重み係数から生成することを可能とする。

【0088】

（実施の形態３）
本実施の形態では、上記実施の形態１におけるピクチャ領域のデータ構造が異なる場合のその例について説明する。

【0089】

図１１は、本実施の形態におけるピクチャ領域のデータ構造例を示す図である。この図１１は、ピクチャ領域における共通情報領域のうち、「ピクチャフレーム符号化情報」が「１」でピクチャがフレーム単位で符号化されている場合とし、「header」の詳細なデータ構造を示す図である。本実施の形態では、フレーム重み係数を省略し得る場合の「header」の構造例について説明する。

【0090】

図１１（ａ）および図１１（ｂ）に示されるように、「header」は、「ＡＦＦ」に加え「Frame係数有無情報」を有している。この「Frame係数有無情報」は、フレーム重み係数があるか否かを示すフラグである。例えば、フレーム重み係数がある場合は「１」、フレーム重み係数を省略する場合は「０」に設定することとする。

【0091】

図１１（ａ）は、「ＡＦＦ」に「１」が設定され、上記「Frame係数有無情報」に「１」が設定されている例であり、フレーム重み係数についても送信する場合を示す。図１１（ｂ）は、「ＡＦＦ」に「１」が設定され、上記「Frame係数有無情報」に「０」が設定されている例である。図１１（ｃ）は、「ＡＦＦ」に「０」が設定されているため、ブロック単位でフィールドとフレームの切替を行わない例である。

【0092】

図１２は、本実施の形態における可変長符号化ユニットＶＬＣにおける重み係数に関する符号化処理の流れを示すフローチャートである。

【0093】

最初に、「ＡＦＦ」の値が「１」で、ブロック単位でフレーム／フィールドの切替が行う場合は（Ｓ１０：はい）、ブロック単位の切替があることを示す「ＡＦＦ」を符号化する（Ｓ５１）。

【0094】

さらに、フレーム重み係数をフィールド重み係数から生成するか否かを判定し（Ｓ５２）、生成する場合は、フレーム重み係数を生成することを示す情報およびフィールド重み係数を符号化する（Ｓ５６、Ｓ５７）。なお、フレーム重み係数をフィールド重み係数から生成しない場合は（Ｓ５２：いいえ）、フレーム重み係数があるか否かを示す情報、フィールド重み係数およびフレーム重み係数を符号化する（Ｓ５３〜Ｓ５５）。

【0095】

一方、「ＡＦＦ」の値が「０」で、ブロック単位でフレーム／フィールドの切替を行わない場合は（Ｓ１０：いいえ）、上記図６のフローチャートと同じ符号化を行う（Ｓ１１、Ｓ１２）。

【0096】

図１３は、上記図２の可変長復号化ユニットＶＬＤにおける重み係数に関する復号化処理の流れを示すフローチャートである。また、図１３は、上記図１２の符号化処理の流れに対応する復号化処理に係るフローチャートである。

【0097】

最初に、可変長復号化ユニットＶＬＤは、「ＡＦＦ」を復号化し（Ｓ２０）、「ＡＦＦ」の値が「１」で、ブロック単位でフレーム／フィールドの切替が行われていることを示す場合は（Ｓ２１：はい）、フレーム重み係数の有無を示す情報を復号化する（Ｓ６１）。

【0098】

次に、フレーム重み係数があるか否かを判定し（Ｓ６２）、フレーム重み係数がない場合は（Ｓ６２：はい）、フィールド重み係数を復号化し（Ｓ６５）、フィールド重み係数からフレーム重み係数を生成する（Ｓ６６）。なお、フレーム重み係数がある場合は（Ｓ６２：いいえ）、フィールド重み係数およびフレーム重み係数を復号化する（Ｓ６３、Ｓ６４）。

【0099】

一方、「ＡＦＦ」の値が「０」で、ブロック単位でフレーム／フィールドの切替が行われていないことを示す場合は（Ｓ２１：いいえ）、ピクチャ重み係数を復号化する（Ｓ２２）。

【0100】

以上のように、本実施の形態に係る画像符号化方法及び画像復号化方法を用いることにより、ブロック単位でフィールド／フレームの切替を実現する。さらに、フレーム重み係数が省略されている場合であっても、フィールド重み係数から生成することを可能とする。

【0101】

（実施の形態４）
さらに、上記各実施の形態で示した画像符号化方法及び画像復号化方法を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。

【0102】

図１４は、上記各実施の形態の画像符号化方法及び画像復号化方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。

【0103】

図１４（ｂ）は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１４（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。

【0104】

また、図１４（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。画像符号化方法及び画像復号化方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムを、フレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより画像符号化方法及び画像復号化方法を実現する上記画像符号化方法及び画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。

【0105】

なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。

【0106】

（実施の形態５）
さらにここで、上記実施の形態で示した画像符号化方法や画像復号化方法の応用例とそれを用いたシステムを説明する。

【0107】

図１５は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。

【0108】

このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（personal digital assistant）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。

【0109】

しかし、コンテンツ供給システムｅｘ１００は、上記図１５のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。

【0110】

カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（登録商標）（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。

【0111】

また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。

【0112】

このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。

【0113】

このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。

【0114】

その一例として携帯電話について説明する。

【0115】

図１６は、上記実施の形態で説明した画像符号化方法及び画像復号化方法を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記憶メディアｅｘ２０７、携帯電話ｅｘ１１５に記憶メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記憶メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を
格納したものである。

【0116】

さらに、携帯電話ｅｘ１１５について図１７用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Liquid Crystal Display）制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。

【0117】

電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。

【0118】

携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また、携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。

【0119】

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。

【0120】

データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データを、カメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。

【0121】

画像符号化部ｅｘ３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。

【0122】

多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。

【0123】

データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信信号を変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。

【0124】

また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより符号化画像データと音声データとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。

【0125】

次に、画像復号化部ｅｘ３０９は、本願発明で説明した画像復号化装置を備えた構成であり、符号化画像データを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

【0126】

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１８に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体である蓄積メディアｅｘ４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像符号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。

【0127】

更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。

【0128】

なお、カーナビゲーションｅｘ４１３の構成は、例えば図１７に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。

【0129】

また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。

【0130】

このように、上記実施の形態で示した画像符号化方法及び画像復号化方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。

【0131】

また、本発明は、かかる上記の実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。

【産業上の利用可能性】

【0132】

本発明は、ブロック単位でフレーム／フィールドを切り替えて動き予測を行う画像符号化装置によって符号化された信号を復号化する画像復号化装置およびそれらの方法に適用可能であり、特に重み係数を用いて動き予測を行う画像符号化装置によって符号化された信号を復号化する画像復号化装置およびそれらの方法などに有用である。

【符号の説明】

【0133】

PicMem ピクチャメモリ
Ａｄｄ 加算ユニット
Ｓｕｂ 減算ユニット
ＭＥ 動き検出ユニット
ＭＣ 動き補償ユニット
Ｔ 直交変換ユニット
ＩＴ 逆直交変換ユニット
Ｑ 量子化ユニット
ＩＱ 逆量子化ユニット
ＶＬＣ 可変長符号化ユニット
ＶＬＤ 可変長復号化ユニット
ＳＷ スイッチ
Ｓｅ セクタ
Ｃｓ コンピュータシステム
ＦＤ フレキシブルディスク
ＦＤＤ フレキシブルディスクドライブ
１１ フィールド重み係数符号化部
１２ フレーム重み係数符号化部
１３ 重み係数モード判定部
１４、１５ スイッチ
２１ 分離部
２２ フィールド重み係数復号化部
２３ フレーム重み係数復号化部
２４ 重み係数生成部
２６〜２８ スイッチ
１００ 画像符号化装置
１０１ ＭＶ符号化部
１０２ 量子化値符号化部
１０３ 重み係数符号化部
１０４ インデックス符号化部
１０５ ＡＦＦ識別情報符号化部
１０６ 多重化部
１１６ カメラ
２００ 画像復号化装置
２０１ 分離部
２０２ ＭＶ復号化部
２０３ 量子化値復号化部
２０４ 重み係数復号化部
２０５ インデックス復号化部
２０６ ＡＦＦ識別情報復号化部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】