特許 6557589 符号化装置、復号装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6557589

(24)【登録日】2019年7月19日

(45)【発行日】2019年8月7日

(54)【発明の名称】符号化装置、復号装置、及びプログラム

(51)【国際特許分類】

   H04N 19/61 20140101AFI20190729BHJP

【ＦＩ】

   H04N19/61

【請求項の数】10

【全頁数】18

(21)【出願番号】特願2015-237822(P2015-237822)

(22)【出願日】2015年12月4日

(65)【公開番号】特開2017-103722(P2017-103722A)

(43)【公開日】2017年6月8日

【審査請求日】2018年10月29日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】根本 慎平

(72)【発明者】

【氏名】松尾 康孝

(72)【発明者】

【氏名】境田 慎一

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特開２００５−１１７１９６（ＪＰ，Ａ）

【文献】 国際公開第２０１１／０２４６０２（ＷＯ，Ａ１）

【文献】 国際公開第１９９８／０５４８４１（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２００３／０１５４１７３（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

フィッティング関数を用いて符号化する符号化装置であって、
入力画像を複数のブロックに分割してブロック画像を生成するブロック分割部と、
前記ブロック画像を予測した予測ブロック画像を生成する予測部と、
前記ブロック画像と前記予測ブロック画像との差を示す残差ブロック画像に対して変換処理を行い、ブロックごとの変換係数を算出する変換部と、
前記ブロックごとの変換係数の一次元配列を曲線近似し、近似曲線を規定するためのフィッティング関数の係数を含むフィッティング関数情報を生成するカーブフィッティング部と、
前記フィッティング関数情報、及び前記予測ブロック画像の予測に必要な予測情報のエントロピー符号化を行ってビットストリームを生成するエントロピー符号化部と、
前記フィッティング関数情報に基づいて前記近似曲線を求め、該近似曲線によって規定されるデータを二次元に配列して前記ブロックごとの変換係数を復元する逆カーブフィッティング部と、
前記復元された変換係数に対して逆変換を行い、前記残差ブロック画像を復元する逆変換部と、を備え、
前記予測部は、前記復元された残差ブロック画像及び前記予測ブロック画像を加算した復号済みの画像を参照して前記予測ブロック画像を生成することを特徴とする符号化装置。

【請求項2】

前記カーブフィッティング部は、
前記変換係数をブロックごとに所定の方向にスキャンして一次元配列化した一次元配列データを生成する一次元配列データ生成部と、
前記一次元配列データに対して１以上のフィッティング関数を用いて曲線近似するフィッティング部と、
を備えることを特徴とする、請求項１に記載の符号化装置。

【請求項3】

前記カーブフィッティング部は、
前記変換係数をブロックごとに複数の方向にスキャンして、一次元配列化した複数の一次元配列データを生成する一次元配列データ生成部と、
前記複数の一次元配列データに対して、それぞれ１以上のフィッティング関数を用いて曲線近似するフィッティング部と、を備え、
前記エントロピー符号化部は、前記スキャンの方向ごとに前記フィッティング関数情報のエントロピー符号化を行い、コスト値に基づく最適なスキャン方向を決定し、該スキャン方向で生成されたビットストリーム、及び該スキャン方向を識別するための識別情報を出力することを特徴とする、請求項１に記載の符号化装置。

【請求項4】

前記ブロックごとの変換係数を量子化ステップで除算して量子化係数を生成する量子化部と、
前記量子化係数に量子化ステップを乗ずることにより前記ブロックごとの変換係数を復元する逆量子化部と、を更に備え、
前記逆変換部は、前記逆量子化部及び前記逆カーブフィッティング部により復元された変換係数に対して逆変換を行い、前記残差ブロック画像を復元し、
前記エントロピー符号化部は、前記フィッティング関数情報及び前記量子化係数のエントロピー符号化を行い、コスト値に基づき符号化効率が優れているほうのビットストリームを出力することを特徴とする、請求項１から３のいずれか一項に記載の符号化装置。

【請求項5】

前記ブロックごとの変換係数を量子化ステップで除算する量子化部を更に備え、
前記カーブフィッティング部は、前記量子化部により除算された変換係数の一次元配列を１以上のフィッティング関数を用いて曲線近似し、該フィッティング関数の係数を含むフィッティング関数情報を生成し、
前記逆カーブフィッティング部は、前記フィッティング関数情報に基づいて前記近似曲線を求め、該近似曲線によって規定されるデータを二次元に配列して前記量子化部により除算された変換係数を復元し、
前記逆カーブフィッティング部により生成された変換係数に量子化ステップを乗ずることにより前記ブロックごとの変換係数を復元する逆量子化部を更に備え、
前記逆変換部は、前記逆量子化部により復元された変換係数に対して逆変換を行い、前記残差ブロック画像を復元することを特徴とする、請求項１から３のいずれか一項に記載の符号化装置。

【請求項6】

フィッティング関数を用いて符号化されたビットストリームを復号する復号装置であって、
前記ビットストリームを復号して、近似曲線を規定するためのフィッティング関数の係数を含むフィッティング関数情報、及びブロック画像の予測に必要な予測情報を取得するエントロピー復号部と、
前記フィッティング関数情報に基づいて近似曲線を求め、該近似曲線によって規定されるデータを二次元に配列しブロックごとの変換係数を復元する逆カーブフィッティング部と、
前記変換係数に対して逆変換を行って残差ブロック画像を復元する逆変換部と、
前記予測情報に従って前記ブロック画像を予測した予測ブロック画像を生成する予測部と、
前記残差ブロック画像及び前記予測ブロック画像を加算して復号ブロック画像を生成する加算部と、を備え、
前記予測部は、復号済みの前記復号ブロック画像を参照して前記予測ブロック画像を生成することを特徴とする復号装置。

【請求項7】

前記エントロピー復号部は、量子化係数を更に取得し、
前記量子化係数に量子化ステップを乗ずることによりブロックごとの変換係数を復元する逆量子化部を更に備え、
前記逆変換部は、前記逆量子化部又は前記逆カーブフィッティング部により復元された変換係数に対して逆変換を行い、前記残差ブロック画像を復元することを特徴とする、請求項６に記載の復号装置。

【請求項8】

前記逆カーブフィッティング部により復元された第１の変換係数に量子化ステップを乗ずることによりブロックごとの第２の変換係数を復元する逆量子化部を更に備え、
前記逆変換部は、前記第２の変換係数に対して逆変換を行って前記残差ブロック画像を復元することを特徴とする、請求項６に記載の復号装置。

【請求項9】

コンピュータを、請求項１から５のいずれか一項に記載の符号化装置として機能させるためのプログラム。

【請求項10】

コンピュータを、請求項６から８のいずれか一項に記載の復号装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像を符号化する符号化装置、符号化されたデータを復号する復号装置、及びそれらのプログラムに関する。

【背景技術】

【0002】

従来、画像（静止画像又は動画像）や音声を伝送又は保存する際のデータ量を圧縮するために、符号化方式の研究が行われている。近年、映像符号化技術では８Ｋ−ＳＨＶに代表されるような超高解像度映像の普及も進んでおり、膨大なデータ量の動画像を放送波やＩＰ網で伝送するための手法として、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣや、ＩＴＵ−Ｔ Ｈ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣなどの符号化方式が知られている。この高圧縮符号化方式では、ブロック分割、直交変換、量子化、エントロピー符号化、イントラ予測、動き補償などの要素技術を組み合わせて高効率化を実現している（例えば、非特許文献１参照）。

【0003】

上述した従来の符号化方式では、直交変換処理後の変換係数に重み付け量子化を行っており、視覚的に目立たない高周波成分に対しては粗い量子化を施し、信号成分上で重要な低周波成分に対しては細かい量子化を施すことで、視覚特性を考慮した圧縮処理を行っている。また、一般的に高周波成分側の多くの係数は小さな値を示し量子化後にはほぼゼロになるため、量子化後のデータ量を減らすことができる。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】大久保榮監修、「インプレス標準教科書シリーズ Ｈ．２６５／ＨＥＶＣ教科書」、株式会社インプレスジャパン、２０１３年１０月２１日

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来の符号化方式では量子化によってデータ圧縮が行える半面、低周波成分側の非ゼロ数値データは圧縮しきれず効率化に限界がある。また、連続する非ゼロ数値データが大きな計数値だと、それに連動してデータ量が増加してしまう。さらに、高圧縮率を目指すために高周波成分側にゼロを連続させるような粗い量子化をすると、主観的な画質が著しく損なわれてしまうという課題があった。

【0006】

かかる事情に鑑みてなされた本発明の目的は、従来の符号化方式に比べて符号化効率を改善することが可能な符号化装置、復号装置、及びプログラムを提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本発明に係る符号化装置は、フィッティング関数を用いて符号化する符号化装置であって、入力画像を複数のブロックに分割してブロック画像を生成するブロック分割部と、前記ブロック画像を予測した予測ブロック画像を生成する予測部と、前記ブロック画像と前記予測ブロック画像との差を示す残差ブロック画像に対して変換処理を行い、ブロックごとの変換係数を算出する変換部と、前記ブロックごとの変換係数の一次元配列を曲線近似し、近似曲線を規定するためのフィッティング関数の係数を含むフィッティング関数情報を生成するカーブフィッティング部と、前記フィッティング関数情報、及び前記予測ブロック画像の予測に必要な予測情報のエントロピー符号化を行ってビットストリームを生成するエントロピー符号化部と、前記フィッティング関数情報に基づいて前記近似曲線を求め、該近似曲線によって規定されるデータを二次元に配列して前記ブロックごとの変換係数を復元する逆カーブフィッティング部と、前記復元された変換係数に対して逆変換を行い、前記残差ブロック画像を復元する逆変換部と、を備え、前記予測部は、前記復元された残差ブロック画像及び前記予測ブロック画像を加算した復号済みの画像を参照して前記予測ブロック画像を生成することを特徴とする。

【0008】

さらに、本発明に係る符号化装置において、前記カーブフィッティング部は、前記変換係数をブロックごとに所定の方向にスキャンして一次元配列化した一次元配列データを生成する一次元配列データ生成部と、前記一次元配列データに対して１以上のフィッティング関数を用いて曲線近似するフィッティング部と、を備えることを特徴とする。

【0009】

さらに、本発明に係る符号化装置において、前記カーブフィッティング部は、前記変換係数をブロックごとに複数の方向にスキャンして、一次元配列化した複数の一次元配列データを生成する一次元配列データ生成部と、前記複数の一次元配列データに対して、それぞれ１以上のフィッティング関数を用いて曲線近似するフィッティング部と、を備え、前記エントロピー符号化部は、前記スキャンの方向ごとに前記フィッティング関数情報のエントロピー符号化を行い、コスト値に基づく最適なスキャン方向を決定し、該スキャン方向で生成されたビットストリーム、及び該スキャン方向を識別するための識別情報を出力することを特徴とする。

【0010】

さらに、本発明に係る符号化装置において、前記ブロックごとの変換係数を量子化ステップで除算して量子化係数を生成する量子化部と、前記量子化係数に量子化ステップを乗ずることにより前記ブロックごとの変換係数を復元する逆量子化部と、を更に備え、前記逆変換部は、前記逆量子化部又は前記逆カーブフィッティング部により復元された変換係数に対して逆変換を行い、前記残差ブロック画像を復元し、前記エントロピー符号化部は、前記フィッティング関数情報及び前記量子化係数のエントロピー符号化を行い、コスト値に基づき符号化効率が優れているほうのビットストリームを出力することを特徴とする。

【0011】

さらに、本発明に係る符号化装置において、前記ブロックごとの変換係数を量子化ステップで除算する量子化部を更に備え、前記カーブフィッティング部は、前記量子化部により除算された変換係数の一次元配列を１以上のフィッティング関数を用いて曲線近似し、該フィッティング関数の係数を含むフィッティング関数情報を生成し、前記逆カーブフィッティング部は、前記フィッティング関数情報に基づいて前記近似曲線を求め、該近似曲線によって規定されるデータを二次元に配列して前記量子化部により除算された変換係数を復元し、前記逆カーブフィッティング部により生成された変換係数に量子化ステップを乗ずることにより前記ブロックごとの変換係数を復元する逆量子化部を更に備え、前記逆変換部は、前記逆量子化部により復元された変換係数に対して逆変換を行い、前記残差ブロック画像を復元することを特徴とする。

【0012】

また、上記課題を解決するため、本発明に係る復号装置は、フィッティング関数を用いて符号化されたビットストリームを復号する復号装置であって、前記ビットストリームを復号して、近似曲線を規定するためのフィッティング関数の係数を含むフィッティング関数情報、及びブロック画像の予測に必要な予測情報を取得するエントロピー復号部と、前記フィッティング関数情報に基づいて近似曲線を求め、該近似曲線によって規定されるデータを二次元に配列しブロックごとの変換係数を復元する逆カーブフィッティング部と、前記変換係数に対して逆変換を行って残差ブロック画像を復元する逆変換部と、前記予測情報に従って前記ブロック画像を予測した予測ブロック画像を生成する予測部と、前記残差ブロック画像及び前記予測ブロック画像を加算して復号ブロック画像を生成する加算部と、を備え、前記予測部は、復号済みの前記復号ブロック画像を参照して前記予測ブロック画像を生成することを特徴とする。

【0013】

さらに、本発明に係る復号装置において、前記エントロピー復号部は、量子化係数を更に取得し、前記量子化係数に量子化ステップを乗ずることによりブロックごとの変換係数を復元する逆量子化部を更に備え、前記逆変換部は、前記逆量子化部又は前記逆カーブフィッティング部により復元された変換係数に対して逆変換を行い、前記残差ブロック画像を復元することを特徴とする。

【0014】

さらに、本発明に係る復号装置において、前記逆カーブフィッティング部により復元された第１の変換係数に量子化ステップを乗ずることによりブロックごとの第２の変換係数を復元する逆量子化部を更に備え、前記逆変換部は、前記第２の変換係数に対して逆変換を行って前記残差ブロック画像を復元することを特徴とする。

【0015】

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記符号化装置として機能させることを特徴とする。

【0016】

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記復号装置として機能させることを特徴とする。

【発明の効果】

【0017】

本発明によれば、従来の符号化方式に比べて符号化効率を改善することができるようになる。

【図面の簡単な説明】

【0018】

【図1】本発明の第１の実施形態に係る符号化装置の構成例を示すブロック図である。

【図2】本発明の第１の実施形態に係る符号化装置におけるカーブフィッティング部の第１の構成例を示すブロック図である。

【図3】本発明の第１の実施形態に係る符号化装置におけるカーブフィッティング部によるスキャン方向の例を示す図である。

【図4】本発明の第１の実施形態に係る符号化装置におけるカーブフィッティング部によるカーブフィッティングの一例を示す図である。

【図5】本発明の第１の実施形態に係る符号化装置におけるカーブフィッティング部の第２の構成例を示すブロック図である。

【図6】本発明の第２の実施形態に係る符号化装置の構成例を示すブロック図である。

【図7】本発明の第３の実施形態に係る符号化装置の構成例を示すブロック図である。

【図8】本発明の第４の実施形態に係る復号装置の構成例を示すブロック図である。

【図9】本発明の第４の実施形態に係る復号装置における逆カーブフィッティング部の構成例を示すブロック図である。

【図10】本発明の第５の実施形態に係る復号装置の構成例を示すブロック図である。

【図11】本発明の第６の実施形態に係る復号装置の構成例を示すブロック図である。

【発明を実施するための形態】

【0019】

以下、本発明の実施形態について、符号化装置について説明した後、復号装置について説明する。

【0020】

（第１の実施形態）
本発明の第１の実施形態に係る符号化装置について、以下に説明する。図１に、本発明の第１の実施形態に係る符号化装置の構成例を示す。図１に示す符号化装置１は、ブロック分割部１１と、減算部１２と、変換部１３と、カーブフィッティング部１４と、逆カーブフィッティング部１５と、逆変換部１６と、加算部１７と、記憶部１８と、予測部１９と、エントロピー符号化部２０とを備える。

【0021】

ブロック分割部１１は、入力画像を複数のブロックに分割し、ブロック画像を減算部１２及び予測部１９に出力する。ブロックのサイズは可変サイズであってもよく、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素とする。

【0022】

減算部１２は、ブロック分割部１１から入力されたブロック画像の各画素値から、後述する予測部１９から入力された予測ブロック画像の各画素値を減じた残差ブロック画像を生成し、変換部１３に出力する。

【0023】

変換部１３は、減算部１２から入力された残差ブロック画像に対して直交変換などの変換処理を行って変換係数を算出し、ブロックごとの変換係数をカーブフィッティング部１４に出力する。なお、変換部１３は直交変換以外の変換を行ってもよい。

【0024】

カーブフィッティング部１４は、変換部１３から入力されたブロックごとの変換係数の一次元配列を１以上のフィッティング関数を用いて曲線近似する。そして、近似曲線を規定するための１以上のフィッティング関数の係数を含む情報であるフィッティング関数情報を逆カーブフィッティング部１５及びエントロピー符号化部２０に出力する。

【0025】

図２に、カーブフィッティング部１４の第１の構成例を示す。図２に示すカーブフィッティング部１４は、一次元配列データ生成部１４１と、フィッティング部１４２とを備える。

【0026】

一次元配列データ生成部１４１は、変換部１３から入力された変換係数をブロックごとに所定の方向にスキャンして一次元配列化した一次元配列データを生成し、フィッティング部１４２に出力する。スキャンの読込み順は、例えば視覚的に重要な成分から順番に配置するような一次元配列データにすると、その範囲にフィッティングを集中させることができるため、フィッティング部１４２で視覚特性を考慮したフィッティングが可能となる。ブロック画像のサイズが８×８画素である場合、一次元配列データ生成部１４１から６４個の変換係数がスキャン順にフィッティング部１４２に入力される。

【0027】

変換部１３が離散コサイン変換のような直交変換を行った場合、自然映像では一般的に、低周波成分ほど値が大きく、高周波成分ほど値が小さくなる。そのため変換係数が低周波数成分から高周波数成分まで順方向、もしくは逆方向に漸進的に変化するような順番にスキャンすると、フィッティング関数の数を少なくすることができる。このようなスキャン方法は、ＩＴＵ−Ｔ Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣで使用されるジグザグスキャンや、ＩＴＵ−Ｔ Ｈ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣで使用される斜め方向スキャンなど、任意のスキャン方法を用いることができる。

【0028】

図３に、ブロック画像のサイズが８×８画素である場合の、一次元配列データ生成部１４１によるスキャン方向の例を示す。図３（ａ）（ｂ）はジグザグスキャンのスキャン方向を示しており、図３（ｃ）（ｄ）は斜めスキャンのスキャン方向を示しており、図３（ｅ）（ｆ）は４×４画素のサブブロックごとの斜めスキャンのスキャン方向を示している。

【0029】

フィッティング部１４２は、一次元配列データ生成部１４１から入力された一次元配列データに対して１以上のフィッティング関数を用いてカーブフィッティングを行うことにより、この変換係数を近似する近似曲線を生成する。そしてフィッティング関数情報をエントロピー符号化部２０に出力する。カーブフィッティングは、例えば最小二乗法により行うことができる。

【0030】

カーブフィッティングに複数のフィッティング関数を用いた場合には、フィッティング関数情報にフィッティング関数の種類も含める。また、フィッティング関数情報にフィッティング関数の数を含めてもよい。また、カーブフィッティングにどのフィッティング関数を使用するかの情報（関数の種類、関数の数）を予め符号化装置と復号装置との間で共有しておき、フィッティング関数情報をフィッティング関数の係数のみとして、圧縮効率を上げるようにしてもよい。フィッティング関数の数が少数になるほど符号化劣化が激しいが高圧縮となり、フィッティング関数の数が多数になるほど符号化劣化を防ぐがデータ量は多くなる。

【0031】

フィッティング関数の種類としては、多項式、指数関数、対数関数、分数関数、三角関数、ｓｉｎｃ関数、円錐曲線（楕円・放物線・双曲線）、シグモイド関数や、ベッセル関数、ポアソン分布、ガウス分布、ラプラス分布、ローレンツ分布、ランダウ分布などの確率分布の確率密度（質量）関数などである。カーブフィッティングに使用するフィッティング関数の数は１つでもよいし、複数でもよい。

【0032】

例えば、フィッティング関数が正規分布の確率密度関数である場合、フィッティング関数は式（１）で表され、フィッティング関数の係数は、大きさＡ、平均値μ、及び標準偏差σである。フィッティング関数の係数を指定することで、フィッティング関数の形状は決定される。

【0033】

【数1】

【0034】

図４に、カーブフィッティングの一例を示す。ここでは、８×８画素の画像ブロックで、ローレンツ分布の確率密度関数（ローレンツ関数）を１つ、ガウス分布の確率密度関数（ガウス関数）を２つ用いてカーブフィッティング行っている。横軸は一次元配列データ生成部１４１による６４個の変換係数のスキャン順番を表しており、縦軸は変換係数を表している。なお、変換係数は負の値もとるが、ここでは分かり易くするために正の値のみとしている。

【0035】

カーブフィッティングでは、目的に合わせたフィッティングが可能である。例えば前段で離散コサイン変換を行った場合について考えた場合、ジグザグスキャンのようにスキャン要素が低周波成分側から高周波成分側へ分離ができるようなスキャンを行う際には、視覚特性上重要となるＤＣ成分のデータ値を変化させないようなフィッティングを行ったり、低周波成分側にフィッティングを集中させたり、低周波成分から高周波成分まで万遍なくフィッティングを分散させたりすることが可能である。

【0036】

逆カーブフィッティング部１５は、カーブフィッティング部１４から入力されたフィッティング関数情報に基づいて近似曲線を求める。そして、該近似曲線によって規定されるデータを一次元配列データ生成部１４１と逆方向にスキャンし二次元に配列してブロックごとの変換係数を復元し、逆変換部１６に出力する。

【0037】

逆変換部１６は、逆カーブフィッティング部１５から入力された変換係数に対して、変換部１３で行った変換の逆変換を行って残差ブロック画像を復元し、加算部１７に出力する。例えば、変換部１３が離散コサイン変換を行った場合には、逆変換部１６は逆離散コサイン変換を行う。

【0038】

加算部１７は、逆変換部１６から入力された残差ブロック画像と、予測部１９から入力された予測ブロック画像の各画素値とを加算し、その結果を復号ブロック画像として記憶部１８に出力する。

【0039】

記憶部１８は、加算部１７から入力された復号ブロック画像を記憶するメモリである。

【0040】

予測部１９は、記憶部１８に記憶された復号済みの復号画像を参照して、対象ブロック内の画素値を予測して予測ブロック画像を生成し、減算部１２及び加算部１７に出力する。また、予測ブロック画像の生成に必要な情報である予測情報（動きベクトルやイントラ予測モード）をエントロピー符号化部２０に出力する。

【0041】

エントロピー符号化部２０は、カーブフィッティング部１４から入力されたフィッティング関数情報、及び予測部１９から入力された予測情報に対して、エントロピー符号化を行い、データ圧縮を行ってビットストリームを生成し、符号化装置１の外部に出力する。エントロピー符号化は、０次指数ゴロム符号やＣＡＢＣ（Context-Adaptive Binary Arithmetic Coding；コンテキスト適応型２値算術符号）など、任意のエントロピー符号化方式を用いることができる。

【0042】

（カーブフィッティングの変形例）
つぎに、カーブフィッティングの変形例について説明する。図５に、カーブフィッティング部１４の第２の構成例を示す。図５に示すカーブフィッティング部１４は、一次元配列データ生成部１４１と、フィッティング部１４２とを備える。

【0043】

変形例では、一次元配列データ生成部１４１は、変換部１３から入力された変換係数を、ブロックごとに複数の方向にスキャンして、一次元配列化した複数の一次元配列データを生成し、フィッティング部１４２に出力する。また、一次元配列データ生成部１４１は、スキャンした方向を識別するための情報であるスキャン方向識別情報をエントロピー符号化部２０に出力する。

【0044】

フィッティング部１４２は、一次元配列データ生成部１４１から入力された複数の一次元配列データに対して、それぞれ１以上のフィッティング関数を用いてカーブフィッティングを行うことにより、この変換係数を近似する複数の近似曲線を生成する。そして、フィッティング関数情報を逆カーブフィッティング部１５及びエントロピー符号化部２０に出力する。

【0045】

この場合、エントロピー符号化部２０は、一次元配列データ生成部１４１によるスキャンの方向ごとに、フィッティング関数情報及び予測情報を入力する。そして、フィッティング関数情報及び予測情報に対して、スキャン方向ごとにエントロピー符号化を行ってビットストリームを生成し、それぞれのコスト値を算出する。ここで、コスト値とは、符号化データ情報量及び歪み量からなるコスト関数により決定される値であり、コスト値に基づき符号化効率を評価することができる。仮にコスト値が小さいほど符号化効率が優れているとみなせるようなコスト関数を適用するとすれば、コスト値を最小化することでレートと歪みに基づいた最適化処理を実現することができる。エントロピー符号化部２０は、コスト値に基づく最適なスキャン方向を決定し、該スキャン方向で生成されたビットストリーム、及び該スキャン方向を識別するための識別情報を符号化装置１の外部に出力する。

【0046】

上述したように、符号化装置１は、カーブフィッティング部１４により、ブロックごとの変換係数の一次元配列を１以上のフィッティング関数を用いて曲線近似し、フィッティング関数情報を出力する。そのため、符号化装置１は、符号化するデータ量を従来よりも減らすことができ、符号化効率を改善することが可能となる。また、低周波成分側の非ゼロ数値データの大きさや個数の影響を少なくした圧縮が可能となり、また高周波成分側の係数値データについても、ベースラインとなるフィッティング関数を使うことで非ゼロ数値データを連続して残すことが可能となる。その結果、ゼロ数値を連続させるような従来の量子化処理による符号化劣化を改善することができるようになる。

【0047】

また、符号化装置１は、カーブフィッティング部１４により、変換係数を複数の方向にスキャンして複数のフィッティング関数情報を生成し、エントロピー符号化部２０により、スキャンの方向ごとにフィッティング関数情報のエントロピー符号化を行い、コスト値に基づく最適化処理を行うようにしてもよい。このようにブロックごとに最適化処理を行うことにより、更に符号化劣化を改善することができるようになる。

【0048】

（第２の実施形態）
つぎに、本発明の第２の実施形態に係る符号化装置について説明する。図６に、第２の実施形態に係る符号化装置の構成例を示す。図６に示す符号化装置２は、ブロック分割部１１と、減算部１２と、変換部１３と、カーブフィッティング部１４と、逆カーブフィッティング部１５と、逆変換部１６と、加算部１７と、記憶部１８と、予測部１９と、エントロピー符号化部２０と、量子化部２１と、逆量子化部２２と、選択部２３とを備える。第２の実施形態の符号化装置２は、第１の実施形態の符号化装置１と比較して、量子化部２１、逆量子化部２２、及び選択部２３を更に備える点が相違する。その他の構成については第１の実施形態と同様であるため、適宜説明を省略する。

【0049】

選択部２３は、変換部１３から入力されたブロックごとの変換係数を、カーブフィッティング部１４又は量子化部２１に出力する。

【0050】

量子化部２１は、変換部１３から入力されたブロックごとの変換係数を量子化ステップで除算して量子化することにより量子化係数を生成し、逆量子化部２２及びエントロピー符号化部２０に出力する。量子化ステップは、変換係数ごとに変化させてもよい。

【0051】

逆量子化部２２は、量子化部２１から入力された量子化係数に対し、量子化ステップを乗ずることによりブロックごとの変換係数を復元し、逆変換部１６に出力する。

【0052】

逆変換部１６は、逆量子化部２２及び逆カーブフィッティング部１５により復元された変換係数に対して、それぞれ変換部１３で行った変換の逆変換を行って残差ブロック画像を復元する。

【0053】

エントロピー符号化部２０は、カーブフィッティング部１４から入力されたフィッティング関数情報、量子化部２１から入力された量子化係数、及び予測部１９から入力された予測情報に対して、任意のエントロピー符号化を適用し、データ圧縮を行う。そして、フィッティング関数情報及び量子化係数のエントロピー符号化を行い、コスト値に基づき符号化効率が優れているほうのビットストリームを符号化装置２の外部に出力する。また、フィッティング関数情報と量子化係数のいずれを伝送したか（カーブフィッティング部１４による処理と量子化部２１による処理のいずれを選択したか）を識別するための識別情報を出力する。

【0054】

上述したように、符号化装置２は、同一の入力画像に対して、カーブフィッティング部１４によるフィッティング処理と、量子化部２１による量子化処理をそれぞれ行う。そのため、従来の量子化処理と、本発明に適用されるフィッティング処理とを比較して符号化効率が優れているほうを選択することができ、更に符号化劣化を改善することができるようになる。

【0055】

（第３の実施形態）
つぎに、本発明の第３の実施形態に係る符号化装置について説明する。図７に、第３の実施形態に係る符号化装置の構成例を示す。図７に示す符号化装置３は、ブロック分割部１１と、減算部１２と、変換部１３と、カーブフィッティング部１４と、逆カーブフィッティング部１５と、逆変換部１６と、加算部１７と、記憶部１８と、予測部１９と、エントロピー符号化部２０と、量子化部２１と、逆量子化部２２とを備える。第３の実施形態の符号化装置３は、第１の実施形態の符号化装置１と比較して、量子化部２１及び逆量子化部２２を備える点が相違する。その他の構成については第１の実施形態と同様であるため、適宜説明を省略する。

【0056】

量子化部２１は、変換部１３から入力されたブロックごとの変換係数を、量子化マトリックスを用いて量子化ステップで除算して量子化することにより量子化係数を生成し、カーブフィッティング部１４に出力する。

【0057】

カーブフィッティング部１４は、量子化部２１から入力された量子化係数を一次元配列化したデータに１以上のフィッティング関数を用いてカーブフィッティングを適用する。そして、カーブフィッティングに用いたフィッティング関数の係数を含むフィッティング関数情報を逆カーブフィッティング部１５及びエントロピー符号化部２０に出力する。

【0058】

逆カーブフィッティング部１５は、カーブフィッティング部１４から入力されたフィッティング関数情報に基づいて近似曲線を求める。そして、該近似曲線によって規定されるデータを一次元配列データ生成部１４１と逆方向にスキャンし二次元に配列してブロックごとの変換係数を復元し、逆量子化部２２に出力する。

【0059】

逆量子化部２２は、逆カーブフィッティング部１５から入力された変換係数に対し、量子化ステップを乗ずることによりブロックごとの変換係数を復元し、逆変換部１６に出力する。

【0060】

逆変換部１６は、逆量子化部２２により復元された変換係数に対して、変換部１３で行った変換の逆変換を行って残差ブロック画像を復元する。

【0061】

エントロピー符号化部２０は、カーブフィッティング部１４から入力されたフィッティング関数情報、量子化部２１から入力された量子化情報、及び予測部１９から入力された予測情報に対して、任意のエントロピー符号化を適用し、データ圧縮を行ってビットストリームを外部に出力する。

【0062】

上述したように、符号化装置３は、量子化部２１による従来の量子化処理後にカーブフィッティング部１４によるフィッティング処理を行う。一般的に量子化マトリックスを使った重み付け量子化処理を行った後の一次元配列データは、量子化処理前の一次元配列データに比べると低周波成分側の形状が滑らかになっており高周波成分側のピークが削減されているため、よりカーブフィッティングに適した形状になっていることが考えられ、少ない個数のフィッティング関数でフィッティングできると予想される。したがって、符号化装置３は、従来の量子化処理における符号化劣化を許容してでもデータ量の削減を優先させたい場合に有効である。

【0063】

なお、上述した符号化装置１，２，３として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置１，２，３の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

【0064】

（第４の実施形態）
つぎに、本発明の第４の実施形態に係る復号装置について説明する。図８に、本発明の第４の実施形態に係る復号装置の構成例を示す。図８に示す復号装置４は、エントロピー復号部３１と、逆カーブフィッティング部３２と、逆変換部３３と、加算部３４と、記憶部３５と、予測部３６とを備え、符号化装置１により符号化されたデータ（画像の変換係数をフィッティング関数を用いて符号化したビットストリーム）を復号する。

【0065】

エントロピー復号部３１は、符号化装置１のエントロピー符号化部２０と対をなし、エントロピー符号化部２０で符号化されたビットストリームを復号し、近似曲線を規定するための１以上のフィッティング関数の係数を含む情報であるフィッティング関数情報、及びブロック画像の予測処理に必要な情報である予測情報を取得する。そして、フィッティング関数情報を逆カーブフィッティング部３２に出力し、予測情報を予測部３６に出力する。

【0066】

逆カーブフィッティング部３２は、エントロピー復号部３１から入力されたフィッティング関数情報に基づいて近似曲線を求める。そして、該近似曲線によって規定されるデータを二次元に配列してブロックごとの変換係数を復元し、逆変換部３３に出力する。

【0067】

図９に、逆カーブフィッティング部３２の構成例を示す。図９に示す例では、逆カーブフィッティング部３２は、逆フィッティング部３２１と、二次元配列データ生成部３２２とを備える。

【0068】

逆フィッティング部３２１は、エントロピー復号部３１から入力されたフィッティング関数情報に基づいて近似曲線を求め、二次元配列データ生成部３２２に出力する。

【0069】

二次元配列データ生成部３２２は、逆フィッティング部３２１から入力された近似曲線から、ブロック画像の画素数分の変換係数を算出する。近似曲線をｙ＝ｆ（ｘ）とすると、例えばブロック画像のサイズが８×８画素である場合、ｆ（０），ｆ（１），・・・，ｆ（６３）が変換係数となる。そして、二次元配列データ生成部３２２は、符号化装置１のカーブフィッティング部１４による配列変換を元に戻すように二次元に配列することでブロックごとの変換係数を復元し、逆変換部３３に出力する。

【0070】

二次元配列データ生成部３２２は、符号化装置１のカーブフィッティング部１４による配列変換のスキャン方向を識別するための情報であるスキャン方向識別情報を取得した場合には、スキャン方向識別情報により識別されるスキャン方向と逆方向にスキャンして二次元に配列する。

【0071】

逆変換部３３は、逆カーブフィッティング部３２から入力された変換係数に対して逆変換を行って残差ブロック画像を復元し、加算部３４に出力する。逆変換は符号化装置１の逆変換部１６と同じ処理である。

【0072】

加算部３４は、逆変換部３３から入力された残差ブロック画像と、予測部３６から入力された予測ブロック画像の各画素値とを加算し、その結果を復号ブロック画像として記憶部３５、及び復号装置４の外部に出力する。

【0073】

記憶部３５は、加算部３４から入力された復号ブロック画像を記憶するメモリである。

【0074】

予測部３６は、記憶部３５に記憶された復号済みの復号ブロック画像を参照し、エントロピー復号部３１から入力された予測情報に従って予測処理を行って予測ブロック画像を生成し、加算部３４に出力する。

【0075】

上述したように、復号装置４は、逆カーブフィッティング部３２により、フィッティング関数情報に基づいて近似曲線を求め、該近似曲線によって規定されるデータを二次元に配列してブロックごとの変換係数を復元する。フィッティング関数を用いたフィッティング処理を行うことにより、量子化による符号化劣化を改善することができるようになる。

【0076】

（第５の実施形態）
つぎに、本発明の第５の実施形態に係る復号装置について説明する。図１０に、本発明の第５の実施形態に係る復号装置の構成例を示す。図１０に示す復号装置５は、エントロピー復号部３１と、逆カーブフィッティング部３２と、逆変換部３３と、加算部３４と、記憶部３５と、予測部３６と、逆量子化部３７と、選択部３８とを備え、符号化装置２により符号化されたデータを復号する。第５の実施形態に係る復号装置５は、第４の実施形態に係る復号装置４と比較して、逆カーブフィッティング部３２と並列に逆量子化部３７を更に備える点が相違する。その他の構成については第４の実施形態と同様であるため、適宜説明を省略する。

【0077】

エントロピー復号部３１は、符号化装置２のエントロピー符号化部２０と対をなし、エントロピー符号化部２０で圧縮されたデータを復号し、フィッティング関数情報、量子化係数、及び予測情報を取得する。そして、フィッティング関数情報を逆カーブフィッティング部３２に出力し、量子化係数を逆量子化部３７に出力し、予測情報を予測部３６に出力する。

【0078】

逆カーブフィッティング部３２は、エントロピー復号部３１から入力されたフィッティング関数情報に基づいて近似曲線を求める。そして、該近似曲線によって規定されるデータを二次元に配列してブロックごとの変換係数を復元し、逆変換部３３に出力する。

【0079】

逆量子化部３７は、エントロピー復号部３１から入力された量子化係数に対し、量子化ステップを乗ずることによりブロックごとの変換係数を復元し、逆変換部３３に出力する。

【0080】

逆変換部３３は、逆カーブフィッティング部３２又は逆量子化部３７から入力された変換係数に対して逆変換を行って残差ブロック画像を復元し、加算部３４に出力する。

【0081】

上述したように、復号装置５は、逆カーブフィッティング部３２と並列に逆量子化部３７を備えるため、符号化装置２により符号化されたデータを復号することができる。

【0082】

（第６の実施形態）
つぎに、本発明の第６の実施形態に係る復号装置について説明する。図１１に、本発明の第６の実施形態に係る復号装置の構成例を示す。図１１に示す復号装置６は、エントロピー復号部３１と、逆カーブフィッティング部３２と、逆変換部３３と、加算部３４と、記憶部３５と、予測部３６と、逆量子化部３７とを備え、符号化装置３により符号化されたデータを復号する。第６の実施形態に係る復号装置６は、第４の実施形態に係る復号装置４と比較して、逆カーブフィッティング部３２と直列に逆量子化部３７を更に備える点が相違する。その他の構成については第４の実施形態と同様であるため、適宜説明を省略する。

【0083】

エントロピー復号部３１は、符号化装置３のエントロピー符号化部２０と対をなし、エントロピー符号化部２０で圧縮されたデータを復号し、フィッティング関数情報及び予測情報を取得する。そして、フィッティング関数情報を逆カーブフィッティング部３２に出力し、予測情報を予測部３６に出力する。

【0084】

逆カーブフィッティング部３２は、エントロピー復号部３１から入力されたフィッティング関数情報に基づいて近似曲線を求める。そして、該近似曲線によって規定されるデータを二次元に配列してブロックごとの変換係数を復元し、逆量子化部３７に出力する。

【0085】

逆量子化部３７は、逆カーブフィッティング部３２から入力された変換係数に対し、量子化ステップを乗ずることによりブロックごとの変換係数を復元し、逆変換部３３に出力する。量子化ステップは符号化装置３から取得してもよいし、予め符号化装置３と共通の量子化テーブルを有していてもよい。

【0086】

逆変換部３３は、逆量子化部３７から入力された変換係数に対して逆変換を行って残差ブロック画像を復元し、加算部３４に出力する。

【0087】

上述したように、復号装置６は、逆カーブフィッティング部３２と直列に逆量子化部３７を備えるため、符号化装置３により符号化されたデータを復号することができる。

【0088】

なお、上述した復号装置４，５，６として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、復号装置４，５，６の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

【0089】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0090】

１，２，３ 符号化装置
４，５，６ 復号装置
１１ ブロック分割部
１２ 減算部
１３ 変換部
１４ カーブフィッティング部
１５ 逆カーブフィッティング部
１６ 逆変換部
１７ 加算部
１８ 記憶部
１９ 予測部
２０ エントロピー符号化部
２１ 量子化部
２２ 逆量子化部
２３ 選択部
３１ エントロピー復号部
３２ 逆カーブフィッティング部
３３ 逆変換部
３４ 加算部
３５ 記憶部
３６ 予測部
３７ 逆量子化部
１４１ 一次元配列データ生成部
１４２ フィッティング部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】