特許 7475842 画像復号装置、制御方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-19

(45)【発行日】2024-04-30

(54)【発明の名称】画像復号装置、制御方法、およびプログラム

(51)【国際特許分類】

   H04N 19/44 20140101AFI20240422BHJP

   H04N 19/63 20140101ALI20240422BHJP

   H04N 19/169 20140101ALI20240422BHJP

   H04N 19/85 20140101ALI20240422BHJP

   H04N 1/64 20060101ALI20240422BHJP

【ＦＩ】

H04N19/44

H04N19/63

H04N19/169 300

H04N19/85

H04N1/64

【請求項の数】 12

(21)【出願番号】P 2019213302

(22)【出願日】2019-11-26

(65)【公開番号】P2021087054

(43)【公開日】2021-06-03

【審査請求日】2022-11-08

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100125254

【弁理士】

【氏名又は名称】別役 重尚

(72)【発明者】

【氏名】坂本 大輔

【審査官】間宮 嘉誉

(56)【参考文献】

【文献】特開２００５－２６０３７３（ＪＰ，Ａ）

【文献】特開平３－２７３７６１（ＪＰ，Ａ）

【文献】特開２００３－１０１７８９（ＪＰ，Ａ）

【文献】特開２０１９－２８７４６（ＪＰ，Ａ）

【文献】特開２０２０－１９８４６３（ＪＰ，Ａ）

【文献】特開２００９－４９６３７（ＪＰ，Ａ）

【文献】特表２０１０－５０３２５４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １／４１－ １／４１９

Ｈ０４Ｎ １／６４

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００－１９／９８

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

画像データに対して周波数変換を行うことにより得られた複数のサブバンドデータを、サブバンド毎に量子化して符号化することにより得られた符号化データを復号する画像復号装置であって、
前記符号化データを復号する復号手段と、
前記復号手段により復号したデータを逆量子化して、複数のサブバンドデータを取得する逆量子化手段と、
前記逆量子化手段により取得した前記複数のサブバンドデータに対して推論を実行することにより、量子化により劣化したデータが復元された複数のサブバンドデータを取得する推論手段であって、前記複数のサブバンド毎に、サブバンドに対応する推論パラメータを用いて、当該サブバンドに対応するサブバンドデータに対して推論を実行する推論手段と、を備え、
前記推論手段は、
前記複数のサブバンドにそれぞれ対応するように学習された推論パラメータである第１の推論パラメータを用いて、前記複数のサブバンドデータに対する第１の推論を実行し、
学習された第２の推論パラメータを用いて、前記第１の推論によって復元された後のサブバンドデータに対する第２の推論を実行する、ことを特徴とする画像復号装置。

【請求項2】

前記第１の推論パラメータは、前記複数のサブバンドにそれぞれ対応するようにニューラルネットワークによって学習された重みおよびバイアスであり、
前記推論手段は、前記重みおよび前記バイアスが設定されるニューラルネットワークを備える、ことを特徴とする請求項１に記載の画像復号装置。

【請求項3】

前記推論手段は、前記第１の推論を実行する第１の推論手段と、前記第２の推論を実行する第２の推論手段とを備える、ことを特徴とする請求項１に記載の画像復号装置。

【請求項4】

前記推論手段は、前記第１の推論パラメータを用いて前記第１の推論を実行した後に、前記第１の推論パラメータを前記第２の推論パラメータに切り替えて前記第２の推論を実行する、ことを特徴とする請求項１に記載の画像復号装置。

【請求項5】

前記第２の推論は、符号化される前の画像データの画素データを用いて学習された前記第２の推論パラメータを用いた推論である、ことを特徴とする請求項１から請求項４のいずれか１項に記載の画像復号装置。

【請求項6】

前記第２の推論は、符号化される前のＲＡＷ画像データを用いて学習された前記第２の推論パラメータを用いた、前記第１の推論の後に取得されたＲＡＷ画像データに対する推論である、ことを特徴とする請求項１から請求項４のいずれか１項に記載の画像復号装置。

【請求項7】

前記第２の推論は、符号化される前の色プレーン毎の画像データを用いて学習された前記第２の推論パラメータを用いた、前記第１の推論の後に取得された色プレーン毎の画像データに対する推論である、ことを特徴とする請求項１から請求項４のいずれか１項に記載の画像復号装置。

【請求項8】

前記第１の推論において、１以上のサブバンドに対応する推論をスキップする、ことを特徴とする請求項１から請求項７のいずれか１項に記載の画像復号装置。

【請求項9】

スキップされる前記推論は、所定の圧縮率を上回るサブバンドに対応する推論である、ことを特徴とする請求項８に記載の画像復号装置。

【請求項10】

前記推論パラメータは圧縮率毎に学習される、ことを特徴とする請求項１から請求項９のいずれか１項に記載の画像復号装置。

【請求項11】

画像データに対して周波数変換を行うことにより得られた複数のサブバンドデータを、サブバンド毎に量子化して符号化することにより得られた符号化データを復号する画像復号装置の制御方法であって、
前記符号化データを復号する復号工程と、
前記復号工程で復号したデータを逆量子化して、複数のサブバンドデータを取得する逆量子化工程と、
前記逆量子化工程で取得した前記複数のサブバンドデータに対して推論を実行することにより、量子化により劣化したデータが復元された複数のサブバンドデータを取得する推論工程であって、前記複数のサブバンド毎に、サブバンドに対応する推論パラメータを用いて、当該サブバンドに対応するサブバンドデータに対して推論を実行する推論工程と、を備え、
前記推論工程は、
前記複数のサブバンドにそれぞれ対応するように学習された推論パラメータである第１の推論パラメータを用いて、前記複数のサブバンドデータに対する第１の推論を実行し、
学習された第２の推論パラメータを用いて、前記第１の推論によって復元された後のサブバンドデータに対する第２の推論を実行する、ことを特徴とする制御方法。

【請求項12】

コンピュータを、請求項１から請求項１０のいずれか１項に記載された画像復号装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、符号化されたデータを復号する画像復号装置、制御方法、およびプログラムに関する。

【背景技術】

【0002】

近年、ＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサを採用した撮像素子を有するデジタルカメラやデジタルカムコーダ等の撮像装置が使用されている。以上のようなイメージセンサにおいては、センサ表面に設けられたカラーフィルタアレイ（ＣＦＡ）によって１画素が１つの色成分を構成する。ＣＦＡを用いることによって、例えば、図１に示すような周期的なパターンで色成分（Ｒ（赤）、Ｇ０（緑）、Ｂ（青）、Ｇ１（緑））が配置されたベイヤー配列の画像データ（以下、ＲＡＷデータと称することがある）が取得される。

【0003】

人間の視覚特性は、輝度成分に対して相対的に高い感度を有している。以上の知見に基づき、一般的なベイヤー配列においては、図１に示すように、輝度成分をより多く含む緑成分の画素数が、赤成分の画素数および青成分の画素数よりもそれぞれ２倍となるように割り当てられている。

【0004】

したがって、ＲＡＷデータの各画素は１つの色成分の情報のみを有する。撮像装置の画像処理において、ＲＡＷデータに対してデモザイク処理を実行することによって各画素が赤、青、緑の色成分を有することとなる。一般には、ＲＡＷデータに対するデモザイク処理によって取得されたＲＧＢ信号、またはＲＧＢ信号から変換されたＹＵＶ信号を符号化した画像データが撮像装置に記録される。

【0005】

以上のデモザイク処理によって各画素がＲＧＢまたはＹＵＶの３つの色成分を有することとなった画像データは、元のＲＡＷデータの３倍のデータ量を必要とする。したがって、デモザイク処理を実行していないＲＡＷデータ自体を直接的に符号化して記録することによりデータ容量を低減する手法が提案されている。例えば、特許文献１には、ＲＡＷデータをＲ、Ｇ０、Ｂ、Ｇ１の４つの色プレーンに分離した後に符号化する手法が開示されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００３－１２５２０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

上記した符号化に関し、ウェーブレット変換等の周波数変換によって周波数帯（例えば、サブバンド）毎にデータを符号化する場合、周波数帯毎に量子化の程度が異なるケースが存在する。以上のように符号化されたデータを周波数帯に関わらず一括して処理すると、元のデータを精度良く復元できないという課題がある。

【0008】

以上の事情に鑑み、本発明は、符号化されたデータをより高精度に復元することができる画像復号装置、制御方法、およびプログラムを提供することを目的とする。

【課題を解決するための手段】

【0009】

上記目的を達成するために、本発明の画像復号装置は、画像データに対して周波数変換を行うことにより得られた複数のサブバンドデータを、サブバンド毎に量子化して符号化することにより得られた符号化データを復号する画像復号装置であって、前記符号化データを復号する復号手段と、前記復号手段により復号したデータを逆量子化して、複数のサブバンドデータを取得する逆量子化手段と、前記逆量子化手段により取得した前記複数のサブバンドデータに対して推論を実行することにより、量子化により劣化したデータが復元された複数のサブバンドデータを取得する推論手段であって、前記複数のサブバンド毎に、サブバンドに対応する推論パラメータを用いて、当該サブバンドに対応するサブバンドデータに対して推論を実行する推論手段と、を備え、前記推論手段は、前記複数のサブバンドにそれぞれ対応するように学習された推論パラメータである第１の推論パラメータを用いて、前記複数のサブバンドデータに対する第１の推論を実行し、学習された第２の推論パラメータを用いて、前記第１の推論によって復元された後のサブバンドデータに対する第２の推論を実行する、ことを特徴とする。

【発明の効果】

【0010】

本発明によれば、符号化されたデータをより高精度に復元することができる。

【図面の簡単な説明】

【0011】

【図1】ベイヤー配列の説明図である。

【図2】本発明の第１実施形態に係る画像符号化装置の構成を例示するブロック図である。

【図3】本発明の第１実施形態におけるプレーン変換の説明図である。

【図4】本発明の第１実施形態における可逆５－３ＤＷＴ変換の説明図である。

【図5】本発明の第１実施形態におけるサブバンド分解についての説明図である。

【図6】本発明の第１実施形態に係る画像復号装置の構成を例示するブロック図である。

【図7】本発明の第１実施形態における可逆５－３逆ＤＷＴ変換の説明図である。

【図8】本発明の第１実施形態に係る周波数劣化復元部の構成を例示するブロック図である。

【図9】本発明の第１実施形態に係るニューロンの構成を例示する図である。

【図10】本発明の第１実施形態に係るニューラルネットワークの構成を例示する図である。

【図11】本発明の第１実施形態に係るニューラルネットワークの別の構成を例示する図である。

【図12】本発明の第１実施形態に係るニューラルネットワークの学習過程の説明図である。

【図13】本発明の第２実施形態に係る画像復号装置の構成を例示するブロック図である。

【図14】量子化によるＤＷＴ係数の情報喪失の説明図である。

【図15】本発明の第２実施形態に係るニューラルネットワークの学習過程の説明図である。

【図16】本発明の第２実施形態における圧縮率に応じた復元処理を示すフローチャートである。

【図17】本発明の第２実施形態に係る画像復号装置の他の構成を例示するブロック図である。

【図18】本発明の第３実施形態に係る画像復号装置の構成を例示するブロック図である。

【図19】本発明の変形例における４×４ＤＣＴの量子化マトリクスおよび学習・推論グループの説明図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施形態について添付図面を参照しながら詳細に説明する。以下に説明される各実施形態は、本発明を実現可能な構成の一例に過ぎない。以下の各実施形態は、本発明が適用される装置の構成や各種の条件に応じて適宜に修正または変更することが可能である。また、以下の各実施形態に含まれる要素の組合せの全てが本発明を実現するに必須であるとは限られず、要素の一部を適宜に省略することが可能である。したがって、本発明の範囲は、以下の各実施形態に記載される構成によって限定されるものではない。また、相互に矛盾のない限りにおいて実施形態内に記載された複数の構成を組み合わせた構成も採用可能である。

【0013】

＜第１実施形態＞
本発明の第１実施形態に係る画像復号装置６０を説明するのに先立ち、画像復号装置６０によって復号されるべき符号化データの生成について、図２から図６を参照して説明する。

【0014】

図２は、本発明の実施形態に係る画像符号化装置２０の構成を例示するブロック図である。図２に示すように、画像符号化装置２０は、プレーン変換部２００、周波数変換部２０１、量子化部２０２、量子化パラメータ設定部２０３、およびエントロピー符号化部２０４を含む。

【0015】

本実施形態において、符号化方式としてＪＰＥＧ２０００が例示され、周波数変換方式として可逆５－３ＤＷＴ変換が例示される。しかしながら、本発明は以上の方式に限定されず、任意の符号化方式および周波数変換方式が採用され得る。また、本実施形態の量子化パラメータは、ＤＷＴ変換によって分割されたサブバンド（周波数帯）毎に設定される。

【0016】

プレーン変換部２００は、撮像素子を含む撮像手段から入力される画像データ（ＲＡＷデータ）に対して色分離を実行する。すなわち、プレーン変換部２００は、図３に示すように、ベイヤー配列の色要素を含むＲＡＷデータを、色プレーン（Ｒ、Ｇ０、Ｇ１、Ｂ）毎の独立したプレーンデータに分解して、周波数変換部２０１に出力する。

【0017】

周波数変換部２０１は、プレーン変換部２００から入力されるプレーンデータに対して、それぞれウェーブレット変換を実行して、サブバンド毎に変換係数（サブバンド係数）を生成し、量子化部２０２に出力する。変換係数は、対象データ（すなわち、プレーンデータ）とウェーブレットとの相関を示す値である。前述したように、周波数変換部２０１は、ウェーブレット変換として可逆５－３ＤＷＴ変換を実行する。

【0018】

図４および図５を参照して、可逆５－３ＤＷＴ変換（以下、単に「ＤＷＴ変換」と称する）について説明する。図４は、プレーン変換部２００から出力された画素データ（プレーンデータ）に対するＤＷＴ変換によって生成される変換係数（ＤＷＴ係数）を説明する説明図である。図５は、サブバンド分解についての説明図である。

【0019】

周波数変換部２０１が、画素データａ，ｂ，ｃ，ｄ，ｅに対してＤＷＴ変換を実行すると、高周波成分のＤＷＴ係数ｂ’，ｄ’が生成される。より具体的には、周波数変換部２０１は、画素データａ，ｂ，ｃに対して以下の式（１）を適用してＤＷＴ係数ｂ’を生成すると共に、画素データｃ，ｄ，ｅに対して以下の式（２）に適用してＤＷＴ係数ｄ’を生成する。なお、高周波成分のＤＷＴ係数を生成する式（１）および式（２）は、使用する画素データが互いに相違しているが型は同一である。
ｂ’＝ｂ－（ａ＋ｃ）／２ ……式（１）
ｄ’＝ｄ－（ｃ＋ｅ）／２ ……式（２）

【0020】

次いで、周波数変換部２０１が、画素データｃおよび高周波成分のＤＷＴ係数ｂ’，ｄ’に対してＤＷＴ変換を実行すると、低周波成分のＤＷＴ係数ｃ”が生成される。より具体的には、画素データｃおよびＤＷＴ係数ｂ’，ｄ’に対して以下の式（３）を適用してＤＷＴ係数ｃ”を生成する。
ｃ”＝ｃ＋（ｂ’＋ｄ’＋２）／４ ……式（３）

【0021】

なお、周波数変換部２０１は、式（３）に代えて、画素データａ，ｂ，ｃ，ｄ，ｅに対して以下の式（４）を適用してＤＷＴ係数ｃ”を生成してもよい。
ｃ”＝（ａ＋２ｂ＋６ｃ＋２ｄ－ｅ）／８ ……式（４）

【0022】

周波数変換部２０１が、上述した１次元のＤＷＴ変換を垂直方向および水平方向に亘ってプレーンデータに対して実行することで、図５（ａ）に示すような分解レベル１の４つのサブバンド画像の信号が取得される。すなわち、以上のＤＷＴ変換によって、１つのプレーン画像が４つのサブバンド画像１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨに分解される。図５において、「Ｈ」は高周波成分を示し、「Ｌ」は低周波成分を示す。例えば、図５（ａ）の右下の「１ＨＨ」は、水平方向および垂直方向の双方が高周波成分（Ｈ）である分解レベル１のサブバンドを示す。

【0023】

図５（ａ）に示すように、分解レベル１の各サブバンドの水平方向および垂直方向の係数の数は、入力された画素データのそれぞれの係数の数の半分である。また、図５（ｂ）に示すように、サブバンド１ＬＬに対してさらにＤＷＴ変換を実行した分解レベル２の各サブバンドの水平方向および垂直方向の係数の数は、分解レベル１のサブバンドのそれぞれの係数の数の半分である。

【0024】

量子化部２０２は、周波数変換部２０１から入力されるサブバンド毎のＤＷＴ係数（変換係数）を、後述する量子化パラメータ設定部２０３によって設定された量子化パラメータに従って量子化して、エントロピー符号化部２０４に出力する。

【0025】

量子化パラメータ設定部２０３は、ユーザからの指示等によって設定された圧縮率にしたがって、各サブバンドのＤＷＴ係数を量子化する際の量子化パラメータを特定して、量子化部２０２に設定する。一般に、サブバンドの周波数がより高いほど、またはサブバンドの分解レベルが低いほど、より強く量子化が実行されるようにパラメータを設定することで、同一の符号量で画質を向上させることができる。以上のようなサブバンドほど、量子化した際の視覚的な影響が小さいからである。本例において、分解レベル２までの周波数変換を実行する場合は、量子化の強度が２ＨＨ＞２ＨＬ≒２ＬＨ＞１ＨＨ＞１ＨＬ≒１ＬＨ＞１ＬＬとなるように、量子化パラメータ設定部２０３がパラメータを設定すると好適である。

【0026】

エントロピー符号化部２０４は、量子化部２０２において量子化されたＤＷＴ係数および量子化パラメータを符号化して符号化データを生成し、符号化ストリームとして出力する。以上の符号化においては、例えば、ＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）等のエントロピー符号化が実行される。

【0027】

次いで、本発明の第１実施形態に係る画像復号装置６０の構成および復号手法について説明する。画像復号装置６０は、上記した画像符号化装置２０が生成した符号化データ（サブバンド符号化された画像データ）を以下に説明するように復号して、元の画像データ（ベイヤー配列のＲＡＷデータ）を復元する。

【0028】

図６は、本発明の第１実施形態に係る画像復号装置６０の構成を例示するブロック図である。図６に示すように、画像復号装置６０は、エントロピー復号部６００、逆量子化部６０１、周波数劣化復元部６０２、逆周波数変換部６０３、ベイヤー変換部６０４、および周波数パラメータ設定部６０５を機能ブロックとして含む。

【0029】

以上の機能ブロックによって実行される以下の本実施形態の処理は、画像復号装置６０が有する１以上の制御プロセッサが、ＲＯＭ等の不揮発メモリ内のプログラムをＲＡＭ等の揮発メモリに展開して実行することによって実現される。上記した本実施形態の処理には、本実施形態による後述の学習モデル（ニューラルネットワーク）を用いた学習および推論が含まれる。

【0030】

エントロピー復号部６００は、ＥＢＣＯＴのようなエントロピー符号化手法によって符号化されたＤＷＴ係数および量子化パラメータを復号して、復号されたＤＷＴ係数を取得し、逆量子化部６０１に出力する。

【0031】

逆量子化部６０１は、エントロピー復号部６００から入力された復号後のＤＷＴ係数を、量子化パラメータを用いて逆量子化して、逆量子化されたＤＷＴ係数を取得し、周波数劣化復元部６０２に出力する。

【0032】

周波数パラメータ設定部６０５は、サブバンド毎および圧縮率毎に学習されたニューラルネットワークのパラメータ（重みおよびバイアス）を、復号される符号化ストリームの圧縮率に応じて選択して周波数劣化復元部６０２に設定する。以下、ニューラルネットワーク（Neural Network）を「ＮＮ」と省略することがある。

【0033】

周波数劣化復元部６０２（推論手段）は、逆量子化部６０１から入力された逆量子化後のＤＷＴ係数に対し、周波数パラメータ設定部６０５が設定した推論パラメータを有するＮＮを適用して、量子化により劣化したＤＷＴ係数を推論によって復元する。周波数劣化復元部６０２の構成およびパラメータの学習過程については後に詳述される。

【0034】

逆周波数変換部６０３は、周波数劣化復元部６０２から入力された復元後のＤＷＴ係数に対して逆周波数変換（逆ＤＷＴ変換）を施して、色プレーン（Ｒ、Ｇ０、Ｇ１、Ｂ）毎の独立したプレーンデータを再構成する。再構成されたプレーンデータはベイヤー変換部６０４に出力される。

【0035】

図７を参照して、逆周波数変換部６０３が実行する逆ＤＷＴ変換である可逆５－３ＤＷＴ逆変換について説明する。図７において、ＤＷＴ係数ａ’，ｃ’，ｅ’は高周波の周波数変換係数であり、ＤＷＴ係数ｂ”，ｄ”は低周波の周波数変換係数である。逆周波数変換部６０３がＤＷＴ係数ａ’，ｂ”，ｃ’，ｄ”，ｅ’に対して逆ＤＷＴ変換を実行すると、画素データｂ，ｃ，ｄが生成される。より具体的には、逆周波数変換部６０３は、ＤＷＴ係数ａ’，ｂ”，ｃ’に対して以下の式（５）を適用して画素データｂを生成すると共に、ＤＷＴ係数ｃ’，ｄ”，ｅ’に対して以下の式（６）を適用して画素データｄを生成する。なお、画素データを生成する式（５）および式（６）は、使用するＤＷＴ係数が互いに相違しているが型は同一である。図７の２行目の画素データｂ，ｄは、ＤＷＴ変換開始位置の画素の０番目とした時の各プレーンにおける偶数番目の画素データを示す。
ｂ＝ｂ”－（ａ’＋ｃ’＋２）／４ ……式（５）
ｄ＝ｄ”－（ｃ’＋ｅ’＋２）／４ ……式（６）

【0036】

次いで、逆周波数変換部６０３が、ＤＷＴ係数ｃ’および画素データｂ，ｄに対して逆ＤＷＴ変換を実行すると、画素データｃが生成される。より具体的には、ＤＷＴ係数ｃ’および画素データｂ，ｄに対して以下の式（７）を適用して画素データｃを生成する。図７の３行目の画素データｃは、ＤＷＴ変換開始位置の画素の０番目とした時の各プレーンにおける奇数番目の画素データを示す。
ｃ＝ｃ’＋（ｂ＋ｄ）／２ ……式（７）

【0037】

逆周波数変換部６０３は、水平方向および垂直方向に亘って上記した逆ＤＷＴ変換を繰り返し実施することによって、各プレーンの画素データを再構成する。

【0038】

ベイヤー変換部６０４は、逆周波数変換部６０３において再構成された色プレーン（Ｒ、Ｇ０、Ｇ１、Ｂ）毎の独立したプレーンデータを、ベイヤー配列のＲＡＷ画像に再合成し、ＲＡＷ画像に相当するＲＡＷデータを出力する。

【0039】

次いで、周波数劣化復元部６０２における学習モデル（ニューラルネットワーク）を用いた劣化ＤＷＴ係数の推論による復元について、図８から図１２を参照して詳細に説明する。図５（ａ）に示すような分解レベル１のＤＷＴ係数における劣化復元を例示して説明する。

【0040】

図８に示すように、周波数劣化復元部６０２は、１ＬＬ復元部８００、１ＨＬ復元部８０１、１ＬＨ復元部８０２、および１ＨＨ復元部８０３を有する。すなわち、周波数劣化復元部６０２は、４つのサブバンド１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨにそれぞれ対応する４つの復元部８００，８０１，８０２，８０３を有する。

【0041】

図示のように、１ＬＬ復元部８００は、逆量子化部６０１から入力された１ＬＬサブバンドのＤＷＴ係数（サブバンドデータ）に対して、対応するパラメータを設定したＮＮを適用して推論を実行し、量子化による劣化を復元した１ＬＬサブバンドを出力する。他の復元部８０１，８０２，８０３も同様に、それぞれ、逆量子化部８０１からのサブバンドのＤＷＴ係数に対して、対応するパラメータを設定したＮＮを適用して、量子化による劣化を復元したサブバンドのＤＷＴ係数を出力する。

【0042】

１ＬＬ復元部８００、１ＨＬ復元部８０１、１ＬＨ復元部８０２、および１ＨＨ復元部８０３におけるＮＮの構成は、同一であっても互いに異なっていてもよい。他方、１ＬＬ復元部８００、１ＨＬ復元部８０１、１ＬＨ復元部８０２、および１ＨＨ復元部８０３におけるＮＮのパラメータ（重み、バイアス）は、互いに異なっている。

【0043】

図９は、復元部８００～８０３におけるニューラルネットワークの演算単位であるニューロン９００の構成を例示する図である。本実施形態のＮＮは、複数のニューロン９００を含む。ニューロン９００は、複数の入力値ｘ_１～ｘ_Ｎに対して、重みｗ_１～ｗ_Ｎ、バイアスｂ、および活性化関数による演算を行って出力値ｙを出力する。より詳細には以下の通りである。

【0044】

ニューロン９００は、以下の式（８）に示すように、重みｗ_１～ｗ_Ｎおよびバイアスｂを用いて値ｘ’を算出する。重みｗ_１～ｗ_Ｎおよびバイアスｂは、後述される学習過程によって可変に決定される値であって、前述のように復元部８００～８０３毎に異なる値を取り得るパラメータである。

【0045】

【数1】

【0046】

次いで、ニューロン９００は、算出された値ｘ’を活性化関数に入力して出力ｙを算出する。活性化関数は、シグモイド関数やＲｅＬＵ関数（Rectified Linear Unit）等の非線形関数である。

【0047】

シグモイド関数に対して値ｘ’を与えた場合の出力値ｙは、以下の式（９）によって求められる。

【0048】

【数2】

【0049】

ＲｅＬＵ関数に対して値ｘ’を与えた場合の出力値ｙは、以下の式（１０）によって求められる。

【0050】

【数3】

【0051】

図１０は、復元部８００～８０３におけるＮＮの構成を例示する図である。図１０に示すように、本実施形態のＮＮは、入力層１０００と第１中間層１００１と第２中間層１００２と出力層１００３とを有する４層構造を有する。

【0052】

連続する２つの層は１以上のニューロン９００によって接続される。前段の層の出力値がニューロン９００に入力され、前述の演算処理による出力値が後段の層に出力される。

【0053】

入力層１０００に入力されるデータｉｎ_０～ｉｎ_Ｎの個数と出力層１００３から出力されるデータｏｕｔ_０～ｏｕｔ_Ｎの個数とは一致する。他方、第１中間層１００１のデータｍｉｄ_００～ｍｉｄ_０ｐの個数および第２中間層１００２のデータｍｉｄ_１１～ｍｉｄ_１ｑの個数は、入力層１０００および出力層１００３のデータ個数と一致しなくてよい。したがって、２つの層を接続するニューロン９００の個数は、１以上の任意の数であってよい。

【0054】

入力層１０００に入力されるデータｉｎ_０～ｉｎ_Ｎはサブバンド毎のＤＷＴ係数であり、出力層１００３から出力されるデータｏｕｔ_０～ｏｕｔ_Ｎは劣化が復元されたサブバンド毎のＤＷＴ係数である。すなわち、１ＬＬ復元部８００のＮＮには、１ＬＬサブバンドのＤＷＴ係数が入力され、推論によって劣化が復元された１ＬＬサブバンドのＤＷＴ係数が出力される。他の復元部８０１，８０２，８０３にも同様に、それぞれ、１ＨＬサブバンド、１ＬＨサブバンド、１ＨＨサブバンドのＤＷＴ係数が入力され、劣化が復元された１ＨＬサブバンド、１ＬＨサブバンド、１ＨＨサブバンドのＤＷＴ係数が出力される。

【0055】

図１１は、復元部８００～８０３におけるＮＮの他の構成を例示する図である。図１１に示すように、本実施形態の別のＮＮは、入力層１１００と第１中間層１１０１と第２中間層１１０２と出力層１１０３とを有する４層構造を有する。

【0056】

図１１のＮＮは、離れている層（入力層１１００および第２中間層１１０２）が直接的に接続されるスキップコネクションを含む。入力層１１００と第１中間層１１０１との間の破線矢印が、スキップされている箇所を示している。図示の通り、入力層１１００のデータｉｎ_０，ｉｎ_１は、第１中間層１１０１をスキップして第２中間層１１０２に直接的に出力されている。以上のように、復元部８００～８０３は、スキップレイヤーを含むＮＮであってよい。

【0057】

復元部８００～８０３の少なくとも１つが図１０に示される構造のＮＮを有し、復元部８００～８０３の他の少なくとも１つが図１１に示される構造のＮＮを有してもよい。

【0058】

図１２は、本発明の第１実施形態に係るニューラルネットワークの学習過程の説明図である。本実施形態では、以下に説明するように、復元のためのパラメータ（重みｗ_１～ｗ_Ｎ、バイアスｂ）がサブバンド毎に学習される。図１２では、１ＨＨサブバンドに関する学習過程を説明するが、他のサブバンド（１ＨＬサブバンド、１ＬＨサブバンド、１ＨＨサブバンド）についても同様の学習過程を適用できる。

【0059】

概略的には、本実施形態の学習過程において、入力データはサブバンド毎のＤＷＴ係数であり、出力データは量子化による劣化が復元された復元ＤＷＴ係数であり、教師データは量子化劣化の無い元画像の未劣化ＤＷＴ係数である。

【0060】

画像符号化装置２０の量子化部２０２によって量子化された１ＨＨサブバンドのＤＷＴ係数１２００が、周波数劣化復元部６０２の１ＨＨ復元部８０３に入力される。周波数パラメータ設定部６０５は、１ＨＨサブバンド用の周波数パラメータ（重み、バイアス）を１ＨＨ復元部８０３に設定する。なお、１ＨＨ復元部８０３に設定される周波数パラメータの初期値は任意に設定され、例えば乱数によって決定された値が設定される。

【0061】

１ＨＨ復元部８０３は、設定された周波数パラメータを適用したＮＮを用いて、１ＨＨサブバンドのＤＷＴ係数１２００の量子化による劣化を復元して、１ＨＨサブバンドの復元ＤＷＴ係数１２０１を出力する。出力された復元ＤＷＴ係数１２０１はパラメータ更新部１２０３に入力される。

【0062】

加えて、パラメータ更新部１２０３には、教師データとして１ＨＨサブバンドの原画に相当する未劣化ＤＷＴ係数１２０２が入力される。未劣化ＤＷＴ係数１２０２は、画像符号化装置２０の周波数変換部２０１が出力するＤＷＴ係数であって、量子化による劣化が生じていないＤＷＴ係数である。

【0063】

パラメータ更新部１２０３は、入力された復元ＤＷＴ係数１２０１と未劣化ＤＷＴ係数１２０２との比較結果を示す指標を求め、誤差逆伝播法等の更新手法に従って１ＨＨサブバンド用の周波数パラメータを更新する。上記の指標として、例えば、ピーク信号対雑音比（ＰＳＮＲ）や差分絶対値和（ＳＡＤ）を用いることができる。ピーク信号対雑音比を指標として用いる場合、パラメータ更新部１２０３は指標の値が増大するように周波数パラメータを更新する。差分絶対値和を指標として用いる場合、パラメータ更新部１２０３は指標の値が減少するように周波数パラメータを更新する。

【0064】

以上と同様の処理が、他のサブバンドに対応する復元部８００～８０２に関して実行される。

【0065】

以上の学習処理を、大量の画像データ（復元ＤＷＴ係数１２０１および未劣化ＤＷＴ係数１２０２の組）を用いて実行することによって、周波数パラメータ設定部６０５が周波数劣化復元部６０２に設定する周波数パラメータが決定される。

【0066】

一般に、量子化の程度は、サブバンドの周波数および分解レベルによって相異なる。例えば、高周波や低レベルのサブバンドは、視覚的な劣化を低減するために比較的強く量子化される一方、低周波や高レベルのサブバンドは比較的弱く量子化される。上記した本実施形態の構成によれば、量子化の程度が相異なる複数のサブバンドについてそれぞれ学習処理を実行することによって、周波数劣化復元部６０２のパラメータがサブバンド毎に調整されるから、より高精度に画像を復元できる。

【0067】

なお、以上の学習処理は、ユーザが選択可能な圧縮率（デジタルカメラにおいては記録画質）毎に実行されてよい。圧縮率毎に学習を実行して周波数パラメータを設定することで、圧縮率毎の劣化度を反映したより適切な復元を実現できる。

【0068】

＜第２実施形態＞
以下、本発明の第２実施形態について説明する。なお、以下に例示する各実施形態において、作用、機能が第１実施形態と同等である要素については、以上の説明で参照した符号を流用して各々の説明を適宜に省略する。

【0069】

図１３は、本発明の第２実施形態に係る画像復号装置１３０の構成を例示するブロック図である。図１３に示すように、画像復号装置１３０は、エントロピー復号部６００ないし周波数パラメータ設定部６０５に加え、画素劣化復元部１３００および画素パラメータ設定部１３０１を機能ブロックとして含む。第１実施形態と同様、以上の機能ブロックによって実行される以下の本実施形態の処理は、画像復号装置１３０が有する１以上の制御プロセッサが、ＲＯＭ等の不揮発メモリ内のプログラムをＲＡＭ等の揮発メモリに展開して実行することによって実現される。

【0070】

画素パラメータ設定部１３０１は、圧縮率毎に学習された画素パラメータ（重み、バイアス）を、復号すべき符号化ストリームの圧縮率に応じて選択し、画素劣化復元部１３００に設定する。

【0071】

画素劣化復元部１３００（推論手段）は、ベイヤー変換部６０４が出力したベイヤー配列のＲＡＷ画像に対し、画素パラメータ設定部１３０１が設定した推論パラメータを有するＮＮを適用して、量子化により劣化した画素データを推論によって復元する。

【0072】

図１４を参照して、周波数領域および画素領域における２段階の復元処理が好適である理由を説明する。図１４は、ＤＷＴ係数の最大値が１０２３（＝２^１０－１）である場合において５１１（＝２^９－１）を単位（量子化ステップ）として比較的強い量子化を実行したときの量子化前後の値の変化を例示している。図１４（ａ）は量子化前のＤＷＴ係数を示し、図１４（ｂ）は量子化後のＤＷＴ係数を示す。

【0073】

図示のように、量子化前のＤＷＴ係数が５１１未満である場合、量子化によってそのＤＷＴ係数は０になる（すなわち、ＤＷＴ係数が失われる）。また、量子化前のＤＷＴ係数が５１１以上であって量子化後のＤＷＴ係数が０にならなくても、量子化前のＤＷＴ係数に対する誤差が値０～５１０の範囲で生じる。圧縮率が比較的高い場合（例えば、分解レベルが低く高周波である１ＨＨサブバンドに対して）、比較的強い量子化が適用されるので周波数領域における復元が困難となることがある。

【0074】

そこで、本実施形態では、周波数領域において完全には復元できなかった画質の劣化を、他のサブバンドをも参照して構成される画素領域に基づいて推論し補完することによって、より高精度な（より原画に近い）復元を実現する。

【0075】

図１５は、本発明の第２実施形態に係るニューラルネットワークの学習過程の説明図である。

【0076】

画像符号化装置２０の量子化部２０２によって量子化された１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨサブバンドのＤＷＴ係数１５００が、周波数劣化復元部６０２（推論手段）に入力される。周波数パラメータ設定部６０５は、第１実施形態と同様に、サブバンド毎の学習によって更新された周波数パラメータ（重み、バイアス）を周波数劣化復元部６０２に設定する。

【0077】

周波数劣化復元部６０２は、以上のように周波数パラメータを適用したＮＮを用いて、量子化によって劣化したＤＷＴ係数１５００を復元して、逆周波数変換部６０３に出力する。

【0078】

逆周波数変換部６０３は、周波数劣化復元部６０２から入力された復元後のＤＷＴ係数に対して逆周波数変換（逆ＤＷＴ変換）を施して、色プレーン（Ｒ、Ｇ０、Ｇ１、Ｂ）毎の独立したプレーンデータを再構成する。再構成されたプレーンデータはベイヤー変換部６０４に出力される。

【0079】

ベイヤー変換部６０４は、逆周波数変換部６０３において再構成された色プレーン（Ｒ、Ｇ０、Ｇ１、Ｂ）毎の独立したプレーンデータを、ベイヤー配列のＲＡＷ画像に再合成し、ＲＡＷ画像に相当するＲＡＷデータを出力する。出力されたＲＡＷデータは画素劣化復元部１３００に入力される。

【0080】

画素劣化復元部１３００は、画素パラメータ設定部１３０１によって設定された画素パラメータを適用したＮＮを用いて、量子化により劣化したＲＡＷ画像内の画素データを復元して、復元ＲＡＷ画像１５０１を出力する。復元ＲＡＷ画像１５０１は、画素パラメータ更新部１５０２に入力される。

【0081】

加えて、画素パラメータ更新部１５０２には、教師データとして原画ＲＡＷ画像１５０３が入力される。原画ＲＡＷ画像１５０３は、画像符号化装置２０に入力されるＲＡＷ画像データであって、量子化による劣化が生じていないＲＡＷ画像データである。

【0082】

画素パラメータ更新部１５０２は、入力された復元ＲＡＷ画像１５０１と原画ＲＡＷ画像１５０３との比較結果を示す指標を求め、誤差逆伝播法等の更新手法に従って画素パラメータを更新する。上記の指標として、例えば、ピーク信号対雑音比（ＰＳＮＲ）や差分絶対値和（ＳＡＤ）を用いることができる。ピーク信号対雑音比を指標として用いる場合、画素パラメータ更新部１５０２は指標の値が増大するように画素パラメータを更新する。差分絶対値和を指標として用いる場合、画素パラメータ更新部１５０２は指標の値が減少するように画素パラメータを更新する。

【0083】

以上の学習処理を、大量の画像データ（復元ＲＡＷ画像１５０１および原画ＲＡＷ画像１５０３の組）を用いて実行することによって、画素パラメータ設定部１３０１が画素劣化復元部１３００に設定する画素パラメータが決定される。

【0084】

上記した本実施形態の構成によれば、第１実施形態と同様の技術的効果が奏される。加えて、周波数領域における復元処理では復元が困難である場合がある画質劣化が、画素領域における復元処理によって補完されるので、より高精度に画像を復元できる。

【0085】

なお、以上の学習処理は、ユーザが選択可能な圧縮率（デジタルカメラにおいては記録画質）毎に実行されてよい。圧縮率毎に学習を実行して画素パラメータを設定することで、圧縮率毎の劣化度を反映したより適切な復元を実現できる。

【0086】

本実施形態において、周波数劣化復元部６０２に含まれる１つ以上の復元部８００～８０３における処理（学習・推論）がスキップされる構成が採用されてもよい。前述のように、分解レベルが低く高周波であるサブバンドに対しては比較的強い（圧縮率が比較的高い）量子化が実行されるので、周波数領域における学習および推論を適切に実行することが困難である場合がある。本構成では、周波数領域における学習および推論が困難なサブバンド（周波数帯）の復元を、画素領域による復元処理によってカバーすることで、より高精度に画像を復元できる。加えて、所定のサブバンドに関する周波数領域の学習および推論がスキップされるので、学習処理および推論処理を実行する時間並びに学習し記憶すべき周波数パラメータを削減できる。

【0087】

以上の構成において、さらに、所定の圧縮率α（閾値）を上回る圧縮率が適用される場合に限って、所定のサブバンドに関する処理（学習・推論）がスキップされてもよい。図１６は、適用すべき圧縮率が所定の圧縮率αを上回る場合に、周波数劣化復元部６０２の１ＨＨ復元部８０３による処理がスキップされるときの周波数劣化復元部６０２の処理を示すフローチャートである。

【0088】

ステップＳ１６００において、周波数劣化復元部６０２は、ユーザによって設定された圧縮率が所定の圧縮率αよりも小さいか否かを判定する。

【0089】

設定された圧縮率がαより小さい場合（Ｓ１６００：ＹＥＳ）、処理はステップＳ１６０１に進む。ステップＳ１６０１において、周波数劣化復元部６０２は、ＮＮ（１ＨＨ復元部８０３）を用いた１ＨＨサブバンドのＤＷＴ係数の復元処理を含む各サブバンドの復元処理を実行して、復元後の各サブバンドのＤＷＴ係数を出力する。

【0090】

設定された圧縮率がα以上である場合（Ｓ１６００：ＮＯ）、処理はステップＳ１６０２に進む。ステップＳ１６０２において、周波数劣化復元部６０２は、ＮＮ（１ＨＨ復元部８０３）を用いた１ＨＨサブバンドのＤＷＴ係数の復元処理をスキップし、未処理の１ＨＨサブバンドのＤＷＴ係数を出力する。他のサブバンドについては、第１実施形態と同様に周波数劣化復元部６０２（復元部８００～８０２）が復元処理を実行して、復元後のＤＷＴ係数を出力する。

【0091】

上記した本実施形態では、画素劣化復元がベイヤーＲＡＷ画像データにおいて実行されるが、逆周波数変換後の色プレーン毎に画素劣化復元が実行されてもよい。図１７は、逆周波数変換後に画素劣化復元を実行する画像復号装置１３０の他の構成を例示するブロック図である。図１７に示すように、本構成においては、画素劣化復元部１３００が、ベイヤー変換部６０４の後段ではなく逆周波数変換部６０３の後段に配置される。なお、本構成による学習処理および推論処理は、上記した本実施形態のＲＡＷ画像に関する処理を、そのまま色プレーン（Ｒ、Ｇ０、Ｇ１、Ｂ）毎に適用すればよい。

【0092】

＜第３実施形態＞
図１８は、本発明の第３実施形態に係る画像復号装置１８０の構成を例示するブロック図である。図１８に示すように、画像復号装置１８０は、エントロピー復号部６００、逆量子化部６０１、逆周波数変換部６０３、およびベイヤー変換部６０４を機能ブロックとして含む。加えて、画像復号装置１８０は、画素・周波数劣化復元部１８０２および画素・周波数パラメータ設定部１８０５を機能ブロックとして含む。画素・周波数劣化復元部１８０２（推論手段）は、前述した実施形態の周波数劣化復元部６０２と画素劣化復元部１３００とを統合した要素である。画素・周波数パラメータ設定部１８０５は、周波数パラメータ設定部６０５と画素パラメータ設定部１３０１とを統合した要素である。前述の実施形態と同様、以上の機能ブロックによって実行される以下の本実施形態の処理は、画像復号装置１８０が有する１以上の制御プロセッサが、ＲＯＭ等の不揮発メモリ内のプログラムをＲＡＭ等の揮発メモリに展開して実行することによって実現される。

【0093】

周波数領域における周波数パラメータの学習、および画素領域における画素パラメータの学習については、前述した実施形態と同様に実行されるので、詳細な説明を省略する。

【0094】

画素・周波数パラメータ設定部１８０５は、サブバンド毎および圧縮率毎に学習された周波数パラメータ（重み、バイアス）を、復号すべき符号化ストリームの圧縮率に応じて選択し、画素・周波数劣化復元部１８０２に設定する。

【0095】

画素・周波数劣化復元部１８０２は、逆量子化部６０１から入力された逆量子化後のＤＷＴ係数に対し、画素・周波数パラメータ設定部１８０５が設定した推論パラメータを有するＮＮを適用して、量子化により劣化したＤＷＴ係数を推論によって復元する。

【0096】

上記したＤＷＴ係数の復元後、画素・周波数パラメータ設定部１８０５は、圧縮率毎に学習された画素パラメータ（重み、バイアス）を、復号すべき符号化ストリームの圧縮率に応じて選択し、画素・周波数劣化復元部１８０２に設定する。

【0097】

逆周波数変換部６０３は、画素・周波数劣化復元部１８０２から入力された復元後のＤＷＴ係数に対して逆周波数変換（逆ＤＷＴ変換）を施して、色プレーン（Ｒ、Ｇ０、Ｇ１、Ｂ）毎の独立したプレーンデータを再構成する。再構成されたプレーンデータはベイヤー変換部６０４に出力される。

【0098】

ベイヤー変換部６０４は、逆周波数変換部６０３において再構成された色プレーン（Ｒ、Ｇ０、Ｇ１、Ｂ）毎の独立したプレーンデータを、ベイヤー配列のＲＡＷ画像に再合成し、ＲＡＷ画像に相当するＲＡＷデータを出力する。出力されたＲＡＷデータは画素・周波数劣化復元部１８０２に入力される。

【0099】

画素・周波数劣化復元部１８０２は、ベイヤー変換部６０４が出力したベイヤー配列のＲＡＷ画像に対し、画素・周波数パラメータ設定部１８０５が設定した画素パラメータを有するＮＮを適用して、量子化により劣化した画素データを推論によって復元する。

【0100】

上記した本実施形態の構成によれば、第１実施形態および第２実施形態と同様の技術的効果が奏される。加えて、本構成では、周波数劣化復元部６０２と画素劣化復元部１３００とを統合した画素・周波数劣化復元部１８０２と、周波数パラメータ設定部６０５と画素パラメータ設定部１３０１とを統合した画素・周波数パラメータ設定部１８０５とが用いられる。結果として、第２実施形態と比較して、復元処理に用いるＮＮの回路規模を低減できる。

【0101】

＜変形例＞
以上、本発明の好ましい実施の形態について説明したが、本発明は上述した実施の形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

【0102】

周波数劣化復元部６０２、画素劣化復元部１３００、および画素・周波数劣化復元部１８０２が有するＮＮは、それぞれ、上記した処理を実行可能な任意のネットワーク構成を有し得る。例えば、上記した各復元部（推論手段）が、ＣＮＮ（Convolution Neural Network）を有してもよいし、ＤＢＰ（Deep Brief Network）を有してもよい。また、上記した実施の形態においては、４層のＮＮが例示されるが、上記した処理を実行可能な任意の層数のＮＮが採用され得る。

【0103】

第１実施形態および第２実施形態の周波数劣化復元部６０２は、サブバンド毎のＮＮ（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ復元部８００，８０１，８０２，８０３）を有する。しかしながら、周波数劣化復元部６０２は、１つのＮＮ（復元部）のみを有し、サブバンド毎にパラメータ（重み、バイアス）を切り替えるように学習および推論を実行してもよい。以上の構成によれば、周波数劣化復元部６０２が１つのＮＮのみを有するので、回路規模を削減できる。他方、周波数劣化復元部６０２がサブバンド毎のＮＮを有する構成においては、複数のサブバンドに対する復元処理を並列的に実行できるので、本変形例の構成と比較して処理時間を削減できる。

【0104】

上記した実施形態の構成では、ＲＡＷ画像に対する周波数変換方式としてウェーブレット変換が用いられるが、他の周波数変換方式が用いられてもよい。例えば、Ｈ．２６４規格にて用いられる４×４ＤＣＴ（離散コサイン変換）が採用されてよい。図１９は、４×４ＤＣＴの量子化マトリクスおよび学習・推論グループの説明図である。

【0105】

Ｈ．２６４規格においては、符号化の対象である画像を１６×１６サイズのマクロブロック単位で分割した上で、４×４単位でのＤＣＴを実行して符号化する。Ｈ．２６４規格は、視覚的な影響が小さい高周波成分を比較的強く量子化する一方、視覚的な影響が大きい低周波成分を比較的弱く量子化するために、図１９に示すような量子化マトリクスを採用する。図１９に示される数値は、イントラ予測時における量子化マトリクスの初期値である。図１９に示される数値、すなわち量子化マトリクスに含まれる値は、量子化パラメータから求められる量子化ステップに乗算される値であって、周波数が高いほど大きな値を取る。同一値に相当する周波数成分は同一の強度で量子化が実行される。したがって、同一値を１つのグループとして、または、周波数帯毎にグループ分けし、グループ毎に、学習・推論を実行することによって、上記実施形態のようなサブバンド毎の学習・推論と同様の技術的効果を実現できる。すなわち、本変形例においては、図１９においてそれぞれ点線で囲まれた周波数帯グループ（ａ）～（ｇ）毎に学習処理および推論処理が実行される。

【0106】

本発明は、上述の実施の形態の１以上の機能を実現するプログラムを、ネットワークや記憶媒体を介してシステムや装置に供給し、そのシステム又は装置のコンピュータの１つ以上のプロセッサがプログラムを読み出して実行する処理でも実現可能である。また、本発明は、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0107】

６０ 画像復号装置
１３０ 画像復号装置
１８０ 画像復号装置
６００ エントロピー復号部
６０１ 逆量子化部
６０２ 周波数劣化復元部（推論手段）
６０３ 逆周波数変換部
６０４ ベイヤー変換部
６０５ 周波数パラメータ設定部
１２０３ パラメータ更新部
１３００ 画素劣化復元部（推論手段）
１３０１ 画素パラメータ設定部
１５０２ 画素パラメータ更新部
１８０２ 画素・周波数劣化復元部（推論手段）
１８０５ 画素・周波数パラメータ設定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】