特許 7469865 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-09

(45)【発行日】2024-04-17

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   H04N 19/117 20140101AFI20240410BHJP

   H04N 19/14 20140101ALI20240410BHJP

   H04N 19/169 20140101ALI20240410BHJP

   H04N 19/44 20140101ALI20240410BHJP

   H04N 19/63 20140101ALI20240410BHJP

   H04N 19/85 20140101ALI20240410BHJP

   G06N 3/02 20060101ALI20240410BHJP

【ＦＩ】

H04N19/117

H04N19/14

H04N19/169 300

H04N19/44

H04N19/63

H04N19/85

G06N3/02

【請求項の数】 12

(21)【出願番号】P 2019194728

(22)【出願日】2019-10-25

(65)【公開番号】P2021069059

(43)【公開日】2021-04-30

【審査請求日】2022-10-13

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】望月 成記

【審査官】田中 純一

(56)【参考文献】

【文献】特開２０１９－０８７７７８（ＪＰ，Ａ）

【文献】特開２０１９－０２９８０２（ＪＰ，Ａ）

【文献】特開２００１－２６８３６８（ＪＰ，Ａ）

【文献】特開２０１７－２２４９６５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０３５９５７９（ＵＳ，Ａ１）

【文献】特開２００９－２０６７３７（ＪＰ，Ａ）

【文献】米国特許第０６６７８４２１（ＵＳ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００ － １９／９８

Ｇ０６Ｆ １８／００ － １８／４０

Ｇ０６Ｎ ３／００ － ９９／００

(57)【特許請求の範囲】

【請求項1】

不可逆符号化したサブバンドデータを含んだ符号化ＲＡＷデータを復号する復号手段と、
前記復号したサブバンドデータに基づいて、画像の明度および複雑度の少なくとも一方についての複数の分類のうちの１つを判定する判定手段と、
前記判定された分類に対応する補正データを取得する取得手段と、
前記復号したサブバンドデータを周波数逆変換したデータを、前記補正データに基づいて補正して、復号後のＲＡＷデータとする補正手段と、
を有することを特徴とする画像処理装置。

【請求項2】

前記取得手段は、前記周波数逆変換したデータと、前記判定された分類に対応する推論パラメータとを用いた推論処理により、前記補正データを取得することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記取得手段は、前記周波数逆変換したデータを入力とし、前記判定された分類に対応する推論パラメータをニューロンの重みとして用いるニューラルネットワークを用いて前記補正データを取得することを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記補正手段は、前記周波数逆変換したデータに前記補正データを合成比率に基づいて合成することにより前記周波数逆変換したデータを補正することを特徴とする請求項１から請求項３のいずれか１項に記載の画像処理装置。

【請求項5】

前記合成比率が前記判定された分類に基づくことを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記合成比率がユーザにより設定されることを特徴とする請求項４に記載の画像処理装置。

【請求項7】

前記判定手段は、前記サブバンドデータのうち、低周波成分のサブバンドデータおよび高周波成分のサブバンドデータの少なくとも一方に基づいて前記複数の分類のうちの１つを判定することを特徴とする請求項１から請求項６のいずれか１項に記載の画像処理装置。

【請求項8】

前記符号化ＲＡＷデータが、ＲＡＷデータを変換した複数のチャネルのそれぞれをサブバンド符号化したデータであり、
前記判定手段、前記取得手段、前記補正手段は、前記チャネルごとの前記復号したサブバンドデータを対象として前記判定、前記取得、および前記補正を行う、ことを特徴とする請求項１から請求項７のいずれか１項に記載の画像処理装置。

【請求項9】

前記不可逆符号化が量子化であり、
前記複数の分類が、画像の明度および複雑度の少なくとも一方に加え、前記量子化に用いられた量子化パラメータについての分類であることを特徴とする請求項１から請求項７のいずれか１項に記載の画像処理装置。

【請求項10】

前記複数のチャネルが、前記ＲＡＷデータの生成に用いられた撮像素子に設けられたカラーフィルタの色成分に基づくことを特徴とする請求項８に記載の画像処理装置。

【請求項11】

画像処理装置が実行する画像処理方法であって、
不可逆符号化したサブバンドデータを含んだ符号化ＲＡＷデータを復号する復号工程と、
前記復号したサブバンドデータに基づいて、画像の明度および複雑度の少なくとも一方についての複数の分類のうちの１つを判定する判定工程と、
前記判定された分類に対応する補正データを取得する取得工程と、
前記復号したサブバンドデータを周波数逆変換したデータを、前記補正データに基づいて補正して、復号後のＲＡＷデータとする補正工程と、
を有することを特徴とする画像処理方法。

【請求項12】

コンピュータを、請求項１から請求項１０のいずれか１項に記載の画像処理装置が有する各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像処理装置および画像処理方法に関し、特には復号技術に関する。

【背景技術】

【0002】

デジタルカメラの撮像素子に多く用いられている単板式のカラーイメージセンサには、予め定められた複数色のフィルタが規則的に配置されたカラーフィルタが設けられている。色の組み合わせや配置方法が異なる様々なカラーフィルタが知られているが、図２に示す原色ベイヤ配列のカラーフィルタが代表的である。

【0003】

原色ベイヤ配列のカラーフィルタは２×２を１単位としてＲ（赤）、Ｇ１（緑）、Ｇ２（緑）、Ｂ（青）のフィルタが周期的に配列されている。撮像素子の１画素あたり１つのフィルタが設けられるため、１回の撮影で得られる画像データを構成する画素データは、ＲＧＢのうち１つの色成分の情報しか有していない。この状態の画像データをＲＡＷ画像データと呼ぶ。

【0004】

ＲＡＷ画像データはそのまま表示するには適していない。そのため、一般には様々な画像処理を適用して、ＲＡＷ画像データを汎用機器で表示可能な形式（例えばＪＰＥＧ形式やＭＰＥＧ形式）に変換してから記録している。しかしながら、変換の過程でデータ量の削減などのために不可逆的な画像処理が適用されることから、変換前のＲＡＷ画像データを記録可能なデジタルカメラも存在する。

【0005】

ＲＡＷ画像データのデータ量は、撮像素子の画素数増加に伴って非常に大きくなっている。そのため、連写速度の向上や記録媒体の容量節約などを目的として、データ量を削減（圧縮）してから記録することも提案されている（特許文献１）。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１９－４４２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１ではデータ量の圧縮効率を高めるため、量子化処理を用いた不可逆的な圧縮方法を適用している。そして、不可逆圧縮されたＲＡＷ画像データを復号した後に、汎用的な形式の画像データに変換する画像処理を適用すると、明度が低く、かつ明度の変化が少ない（平坦な）領域ほど、量子化誤差による画質の低下が視認されやすい。

【0008】

従来、このような不可逆圧縮されたＲＡＷデータについて、画像処理後の画質低下を抑制できるように復号する方法は提案されていなかった。そこで、本発明は、不可逆符号化されたＲＡＷ画像データを、画質低下を抑制するように復号可能な画像処理装置および画像処理方法の提供を目的とする。

【課題を解決するための手段】

【0009】

上述の目的は、不可逆符号化したサブバンドデータを含んだ符号化ＲＡＷデータを復号する復号手段と、復号したサブバンドデータに基づいて、画像の明度および複雑度の少なくとも一方についての複数の分類のうちの１つを判定する判定手段と、判定された分類に対応する補正データを取得する取得手段と、復号したサブバンドデータを周波数逆変換したデータを、補正データに基づいて補正して、復号後のＲＡＷデータとする補正手段と、を有することを特徴とする画像処理装置によって達成される。

【発明の効果】

【0010】

本発明によれば、不可逆符号化されたＲＡＷ画像データを、画質低下を抑制するように復号可能な画像処理装置および画像処理方法を提供することができる。

【図面の簡単な説明】

【0011】

【図1】実施形態に係る復号装置が復号する符号化ＲＡＷデータを生成する符号化装置の構成例を示すブロック図

【図2】ベイヤ配列のＲＡＷデータに関する模式図

【図3】実施形態におけるチャネル変換の例を示す図

【図4】実施形態における周波数変換（サブバンド分割）の例を示す図

【図5】実施形態における予測符号化方法の例を示す図

【図6】実施形態における符号量制御に関する量子化制御単位の例を示す図

【図7】実施形態における画質制御に関する量子化制御単位の例を示す図

【図8】実施形態における量子化制御単位とＲＡＷデータの関係を示す図

【図9】実施形態に係る復号装置の構成例を示すブロック図

【図10】第１実施形態における特徴判定部の動作に関するフローチャート

【図11】実施形態における補正データ生成部の構成例を示す図

【図12】第１実施形態における特徴判定部の動作に関するフローチャート

【発明を実施するための形態】

【0012】

以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0013】

なお、以下の実施形態で説明する符号化装置および復号装置は、画像データを処理可能な電子機器において実現することができる。このような電子機器には、デジタルカメラ、コンピュータ機器（パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡなど）、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器にも適用可能である。

【0014】

●（第１実施形態）
（符号化装置の説明）
まず、実施形態に係る復号装置が復号する符号化データを生成する符号化装置について図１に示すブロック図を参照しながら説明する。なお、本実施形態では撮像素子に原色ベイヤ配列のカラーフィルタが設けられているものとするが、本発明はカラーフィルタの種類に依存しない。

【0015】

符号化装置１００は、チャネル変換部１０１、周波数変換部１０２、量子化パラメータ生成部１０３、量子化部１０４、およびエントロピー符号化部１０５を有する。これら各部は、ＡＳＩＣなどの専用ハードウェア回路により、またはＤＳＰやＣＰＵなどの汎用プロセッサでプログラムを実行することにより実施することができる。

【0016】

符号化装置１００には、図２に示した原色ベイヤ配列のカラーフィルタを有する撮像素子から読み出された画像データ（ＲＡＷデータ）が入力される。ここではＡ／Ｄ変換が撮像素子内で、あるいは撮像素子から読み出された後で適用され、デジタル形式のＲＡＷデータが入力されるものとする。

【0017】

チャネル変換部１０１は、ＲＡＷデータを複数のデータ群（チャネル）に変換する。図３に、チャネル変換部１０１による変換例を模式的に示す。例えば、ベイヤ配列において同じ種類のフィルタが設けられた画素を１つのチャネルに変換し、Ｒ、Ｇ１、Ｇ２、Ｂの４つのチャネルを生成することができる。あるいは、Ｒ、Ｇ１、Ｇ２、Ｂの繰り返し単位ごとに、以下の式１により求めたＣ０～Ｃ３をチャネルとして生成してもよい（図３（ａ））。
式１
Ｃ０＝ａ＋ｃ
Ｃ１＝Ｂ－Ｇ２
Ｃ２＝Ｒ－Ｇ１
Ｃ３＝ｂ－ａ
ただし、ａ＝Ｇ２＋［Ｃ１／２］、ｂ＝Ｇ１＋［Ｃ２／２］、ｃ＝［Ｃ３／２］であり、［］は床関数を表し、［ｘ］はｘを超えない最大の整数である。

【0018】

なお、図３（ｂ）や図３（ｃ）に示すように、ＲをＧ１またはＧ２とまとめて１つのチャネルとして３つのチャネルへ変換してもよい。これらは例示であり、変換後のチャネル数や変換方法は他の方法であってもよい。

【0019】

周波数変換部１０２は、チャネルごとに所定の分解レベル（以降、ｌｅｖと呼ぶ）の離散ウェーブレット変換を適用し、サブバンドデータに分割する。周波数変換部１０２は得られたサブバンドデータ（変換係数）を量子化パラメータ生成部１０３および量子化部１０４へ出力する。

【0020】

図４（ａ）は、ｌｅｖ＝１の離散ウェーブレット変換を実現するためのフィルタバンクの構成を示しており、ｌｐｆ（ｚ）はローパスフィルタ、ｈｐｆ（ｚ）はハイパスフィルタ、↓２は２：１ダウンサンプリングである。ｌｐｆ（ｚ）およびｈｐｆ（ｚ）の伝達関数は以下の通りである。
lpf(z)=(-z^-2 + 2z^-1 + 6 + 2z¹- z² )/8 式２
hpf(z)=(-z^-1 +2 -z¹)/2 式３
１段目で垂直方向、２段目で水平方向の処理を行うことにより、２次元の離散ウェーブレット変換が実現できる。

【0021】

図４（ａ）のフィルタバンクを適用することで、各チャネルのデータは図４（ｂ）に示すように１つの低周波数サブバンド（ＬＬ）データと３つの高周波数サブバンド（ＨＬ、ＬＨ、ＨＨ）データへ分割される。分解レベル（ｌｅｖ）が１よりも大きい場合、低周波数サブバンド（ＬＬ）データに対してフィルタバンクを繰り返し適用する。

【0022】

例えばｌｅｖ＝３の場合、各チャネルデータは図４（ｃ）に示すように３ＬＬから１ＨＨまでの１０のサブバンドデータに分割される。なお、ここでは離散ウェーブレット変換を式１、２に示すように５タップのｌｐｆ（ｚ）と３タップのｈｐｆ（ｚ）で構成しているが、タップ数および係数が異なるフィルタを用いてもよい。

【0023】

量子化パラメータ生成部１０３は、周波数変換部１０２が生成したサブバンドデータ（変換係数）の量子化処理に用いる量子化パラメータを生成する。量子化パラメータ生成部１０３は、予め設定されたデータ量の圧縮率（削減率）から得られる目標符号量に基づいて、符号量を制御する単位領域ごとに共通した量子化パラメータ（ＱｐＢｒ）を生成する。なお、目標符号量にもとづく符号量の制御方法については公知の方法を用いることができるため、ここでは詳細に関する説明を省略する。

【0024】

図５は、各チャネルデータにｌｅｖ＝３の離散ウェーブレット変換を適用した場合について、符号量を制御する（量子化パラメータを決定する）単位領域を示している。レベル３のサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）については垂直方向１×水平方向Ｎ（Ｎは整数）のサブバンドデータ×全チャネルを単位領域とする。レベル２のサブバンド（２ＨＬ，２ＬＨ，２ＨＨ）については垂直方向２×水平方向Ｎのサブバンドデータ×全チャネルを単位領域とする。レベル１のサブバンド（１ＨＬ，１ＬＨ，１ＨＨ）については垂直方向４×水平方向Ｎのサブバンドデータ×全チャネルを単位領域とする。

【0025】

量子化パラメータ生成部１０３は、符号化対象の単位領域について予め定められた目標符号量と発生符号量とを比較する。そして、量子化パラメータ生成部１０３は、次の同種の単位領域についての発生符号量が目標符号量に近づくようにフィードバック制御を行い、単位領域ごとの量子化パラメータ（ＱｐＢｒ）を生成する。なお、発生符号量の制御を行わない場合、量子化パラメータ生成部１０３は、１画面分のサブバンドデータ全てに共通した量子化パラメータ（ＱｐＢｒ）を設定または生成すればよい。

【0026】

ここで、量子化パラメータ生成部１０３では、生成した量子化パラメータ（ＱｐＢｒ）を画質制御の観点から調整することができる。例えば量子化パラメータ生成部１０３は、周波数変換部１０２により入力されたサブバンドデータを所定のサブバンドデータ単位に評価した結果により量子化パラメータを調整することができる。これにより、量子化パラメータ生成部１０３は、ＲＡＷデータの特性に応じた画質制御を実現する量子化パラメータを生成することができる。例えば量子化パラメータ生成部１０３は、低周波サブバンドに応じて明度領域を分離し、明度領域ごとに量子化の強弱を調整するような量子化パラメータを生成することができる。

【0027】

図６（ａ）は、各チャネルデータにｌｅｖ＝３の離散ウェーブレット変換を適用した場合について、画質制御に関してサブバンドデータの評価、および量子化パラメータの更新を行う単位領域を示している。レベル３のサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）については垂直方向１×水平方向１のサブバンドデータ×全チャネルを単位領域とする。レベル２のサブバンド（２ＨＬ，２ＬＨ，２ＨＨ）については垂直方向２×水平方向２のサブバンドデータ×全チャネルを単位領域とする。レベル１のサブバンド（１ＨＬ，１ＬＨ，１ＨＨ）については垂直方向４×水平方向４のサブバンドデータ×全チャネルを単位領域とする。量子化パラメータ生成部１０３は、単位領域ごとの量子化パラメータ（ＱｐＢｓ）を生成する。したがって、画質制御に関する量子化パラメータ（ＱｐＢｓ）とサブバンドデータとの関係は、図６（ｂ）に示すようになる。ただし、単位領域は図６に示したものに限定されない。

【0028】

画質制御に関わるサブバンドデータの評価は、以下の様に行うことができる。量子化パラメータ生成部１０３は、例えば３ＬＬのサブバンドデータを低周波成分として評価し、１ＨＬ，１ＬＨ，１ＨＨのサブバンドデータを高周波成分として評価する。そして、量子化パラメータ生成部１０３は、低周波成分の振幅が小さい程、量子化が細かく行われるように（量子化パラメータが小さくなるように）、符号量制御により生成した量子化パラメータ（ＱｐＢｒ）を調整する。また、量子化パラメータ生成部１０３は、高周波成分の振幅が大きい程、粗い量子化が行われるように（量子化パラメータが大きくなるように）量子化パラメータ（ＱｐＢｒ）を調整する。量子化パラメータ（ＱｐＢｒ）の調整は、例えばフィードフォワード制御によってゲインやオフセットを調整することにより実現できる。なお、画質制御を目的とした量子化パラメータの調整を行なわない場合、量子化パラメータ生成部１０３は量子化パラメータ（ＱｐＢｒ）をそのまま調整後の量子化パラメータ（ＱｐＢｓ）として用いることができる。

【0029】

以上のように生成された量子化パラメータ（ＱｐＢｓ）は、図７に示すように、８×８画素×全チャネルの領域、すなわちＲＡＷデータの１６×１６画素の領域についての量子化に用いることができる。

【0030】

次に、量子化パラメータ生成部１０３は、以下の式４にしたがって、全チャネル、全サブバンドに共通の量子化パラメータＱｐＢｓから、各チャネル、各サブバンド個別の量子化パラメータＱｐＳｂを生成する。
QpSb[i][j]= QpBs ×α[i][j]+β[i][j] 式４
ここで、
QpSb：各チャネル、各サブバンド個別量子化パラメータ
QpBs：全チャネル、全サブバンド共通量子化パラメータ
α：傾き
β：切片
ｉ：チャネルインデックス（本実施形態では0～3）
ｊ：サブバンドインデックス（本実施形態では0～9）
である。

【0031】

傾きαおよび切片βは、チャネルおよびサブバンドに個別な変数である。したがって、傾きαおよび切片βを調整することにより、チャネルごと、かつサブバンドごとの柔軟な量子化制御が可能である。

【0032】

量子化部１０４は、周波数変換部１０２から供給されるサブバンドデータ（変換係数）に、量子化パラメータ生成部１０３から供給される量子化パラメータを用いた量子化処理を適用する。量子化部１０４は、量子化後のサブバンドデータ（変換係数）と量子化パラメータ（ＱｐＢｓ）と、傾きαおよび切片βとをエントロピー符号化部１０５へ出力する。

【0033】

エントロピー符号化部１０５は、量子化部１０４から入力される、量子化後のサブバンドデータ（変換係数）を、サブバンドごとにラスタースキャン順で予測差分型エントロピー符号化する。エントロピー符号化部１０５は、例えば図８に示すように、符号化対象のサブバンドデータｘの周辺に位置する４つのサブバンドデータａ，ｂ，ｃ，ｄに基づくＭＥＤ(Median Edge Detectection)予測により予測値ｐｄを生成する。そして、エントロピー符号化部１０５は、符号化対象データｘの値ｘｄと予測値ｐｄとの差分（ｘｄ－ｐｄ）をエントロピー符号化方式で符号化する。

【0034】

符号化には例えばハフマン符号化、ゴロム符号化など、公知のエントロピー符号化方式を用いることができる。なお、予測値の算出やエントロピー符号化を他の方式で行ってもよい。エントロピー符号化部１０５は、量子化パラメータ（ＱｐＢｓ）、傾きαおよび切片β、およびチャネル変換部１０１におけるチャネル変換方法を特定可能な情報を、符号化ＲＡＷデータを格納するファイルに例えばメタデータとして含める。

【0035】

エントロピー符号化部１０５は、符号化ＲＡＷデータ格納するファイル（符号化ＲＡＷデータファイル）を外部に出力する。符号化ＲＡＷデータファイルは例えば符号化装置１００を備える電子機器により、電子機器からアクセス可能な記憶媒体や記録装置に記録される。エントロピー符号化部１０５はさらに、各サブバンドについて、ライン単位の発生符号量を量子化パラメータ生成部１０３に通知する。以上のように、符号化装置１００は符号化データを生成する。

【0036】

（復号装置の説明）
次に、上述した方法で生成された符号化ＲＡＷデータを復号する復号装置９００について、図９に示すブロック図を参照して説明する。復号装置９００は、エントロピー復号部９０１、逆量子化部９０２、周波数逆変換部９０３、特徴判定部９０４、補助データ生成部９０５、合成部９０６、およびチャネル逆変換部９０７を有する。これら各部（機能ブロック）は、ＡＳＩＣなどの専用ハードウェア回路により、不揮発性メモリに記憶されたプログラムをＤＳＰやＣＰＵなどの汎用プロセッサによってシステムメモリに読み込んで実行することにより、あるいはその組み合わせにより実現できる。以下では便宜上、各機能ブロックが自律的に、他の機能ブロックと連携しながら動作するように説明する。

【0037】

エントロピー復号部９０１は、符号化ＲＡＷデータファイルから符号化ＲＡＷデータを抽出する。この際、エントロピー復号部９０１は、メタデータとして含まれている情報についても抽出し、情報を他のブロックに供給する。エントロピー復号部９０１は、例えば量子化パラメータ（ＱｐＢｓ）および傾きαおよび切片βを逆量子化部９０２へ、チャネル変換方法を特定可能な情報をチャネル逆変換部９０７へ供給する。エントロピー復号部９０１は、符号化ＲＡＷデータに対してエントロピー復号処理を適用し、サブバンドデータ（変換係数）を取得する。エントロピー復号部９０１は、取得したサブバンドデータ（変換係数）を逆量子化部９０２へ供給する。

【0038】

逆量子化部９０２は、エントロピー復号部９０１から供給される量子化パラメータ（ＱｐＢｓ）、傾きαおよび切片βに基づいて、各チャネル、各サブバンドに対して個別の量子化パラメータ（ＱｐＳｂ）を生成する。そして、逆量子化部９０２は、エントロピー復号部９０１から供給されるサブバンドデータ（変換係数）に対し、生成した量子化パラメータを用いた逆量子化処理を適用する。逆量子化部９０２は、逆量子化後のサブバンドデータ（変換係数）を周波数逆変換部９０３および特徴判定部９０４に供給する。

【0039】

周波数逆変換部９０３は、逆量子化部９０２から供給されたサブバンドデータ（変換係数）に対して周波数逆変換処理を適用してチャネルデータを生成し、補助データ生成部９０５および合成部９０６へ供給する。

【0040】

特徴判定部９０４は、逆量子化部９０２から供給されたサブバンドデータ（変換係数）を用いて特徴判定を行い、符号化ＲＡＷデータに対応する、予め定められた複数の分類の１つを特定する。特徴判定部９０４の動作について、図１０（ａ）に示すフローチャートを用いて説明する。

【0041】

特徴判定部９０４は、図６（ｂ）に示した、量子化パラメータ（ＱｐＢｓ）を用いて量子化されるサブバンドデータ（変換係数）について、チャネルデータごとに、サブバンドデータに基づいて特徴判定を行う。特徴判定部９０４は例えば明度および複雑度に基づく特徴判定を行い、明度と複雑度との組み合わせに応じた複数の分類のうち、チャネルデータに対応する１つの分類を特定する。特徴判定に用いる項目は、不可逆符号化に起因する画質低下の大きさに関連する項目の１つ以上とすることができる。上述のように、不可逆符号化（量子化）による画質低下は暗い領域や平坦な領域で目立ちやすい。そのため、本実施形態では明るさと複雑さという２つの項目によって特徴判定を行っている。

【0042】

ここでは符号化ＲＡＷデータが、所定のチャネルごとにｌｅｖ＝３の離散ウェーブレット変換を適用して得られたサブバンドデータの符号化データであるものとする。また、説明および理解を容易にするため、明度および複雑度がそれぞれ２段階であるものとする。具体的には、図１０（ｂ）に示すように、明度については明度閾値ｄｃｔｈを用いて「明」と「暗」の２つに区分する。また、複雑度については複雑度閾値ａｃｔｈを用いて「複雑」と「平坦」の２つに区分する。なお、図１０（ｂ）では便宜上、明度閾値ｄｃｔｈが明度範囲の中心に、複雑度閾値ａｃｔｈがＡＣ成分の割合の範囲の中心に位置する様に記載しているが、閾値は最小値と最大値の中央値でなくてもよい。また、分類の項目数は２に限らず、３以上や１つ（例えば明度および複雑度の一方）であってもよい。さらに、項目あたりの分割数についても、２に限らず、３以上としてもよい。

【0043】

まずＳ１００１で特徴判定部９０４は、低周波成分であるサブバンド３ＬＬの変換係数ｃｏｅｆ（ｄｃ）と明度閾値ｄｃｔｈとを比較することにより明度を判定する。変換係数ｃｏｅｆ（ｄｃ）が明度閾値ｄｃｔｈ以上であれば、特徴判定部９０４はサブバンド３ＬＬの変換係数ｃｏｅｆ（ｄｃ）の明度を「明」と判定し、処理をＳ１００２に進める。また、変換係数ｃｏｅｆ（ｄｃ）が明度閾値ｄｃｔｈ未満であれば、特徴判定部９０４はサブバンド３ＬＬの変換係数ｃｏｅｆ（ｄｃ）の明度を「暗」と判定し、処理をＳ１００３に進める。

【0044】

Ｓ１００２およびＳ１００３で特徴判定部９０４は、高周波成分であるサブバンド１ＨＨの変換係数ｃｏｅｆ（ａｃ）と複雑度閾値ａｃｔｈとを比較することにより複雑度を判定する。図６（ｂ）に示す例では、サブバンドデータ１ＨＨの変換係数ｃｏｅｆ（ａｃ）は１６個存在するため、ここでは変換係数の平均値を複雑度閾値ａｃｔｈとを比較するものとする。

【0045】

変換係数ｃｏｅｆ（ａｃ）が複雑度閾値ａｃｔｈ以上であれば、特徴判定部９０４はサブバンド１ＨＨの変換係数ｃｏｅｆ（ａｃ）の複雑度を「複雑」と判定し、処理をＳ１００４またはＳ１００６に進める。また、変換係数ｃｏｅｆ（ａｃ）が複雑度閾値ａｃｔｈ未満であれば、特徴判定部９０４はサブバンド１ＨＨの変換係数ｃｏｅｆ（ａｃ）の複雑度を「平坦」と判定し、処理をＳ１００５またはＳ１００７に進める。

【0046】

Ｓ１００４で特徴判定部９０４は、サブバンドの評価を行ったチャネルデータに対応する分類を「明・複雑」と判定して、判定処理を終了する。
Ｓ１００５で特徴判定部９０４は、サブバンドの評価を行ったチャネルデータに対応する分類を「明・平坦」と判定して、判定処理を終了する。
Ｓ１００６で特徴判定部９０４は、サブバンドの評価を行ったチャネルデータに対応する分類を「暗・複雑」と判定して、判定処理を終了する。
Ｓ１００７で特徴判定部９０４は、サブバンドの評価を行ったチャネルデータに対応する分類を「暗・平坦」と判定して、判定処理を終了する。

【0047】

特徴判定部９０４は、図１０（ａ）に示す処理をチャネルデータごとに実行し、判定結果の分類を示す分類情報を補助データ生成部９０５および合成部９０６へ供給する。

【0048】

補助データ生成部９０５は、分類ごとの学習済みの推論パラメータを適用したニューラルネットワークを用い、チャネルデータごとに、復号データを補正するための補助データ（補正データ）を生成もしくは取得する推論処理部である。図１１（ａ）に、補助データ生成部９０５が用いることのできるニューラルネットワーク１１００の構成例を示す。

【0049】

ニューラルネットワーク１１００は、入力層１１０１、第１中間層１１０２、第２中間層１１０３および出力層１１０４の４層を有し、各層がニューロン１１０５で接続される。ニューロン１１０５は、図１１（ｂ）に示す構成を有し、式５に示すように入力値ｘ _１ ～ｘ _Ｎ 、重みｗ _１ ～ｗ _Ｎ 、およびバイアスｂに基づいてｘ'を求める。

【数1】

【0050】

ニューロン１１０５のそれぞれに適用する重みｗ _１ ～ｗ _Ｎ およびバイアスｂは、分類情報に対応した学習済みの推論パラメータとして予め準備しておく。具体的には、特徴判定部９０４が用いるのと同様の分類について、符号化前のＲＡＷデータを教師データとして分類ごとに個別に学習されたものである。なお、第１中間層１１０２および第２中間層１１０３が有するニューロン１１０５についても、同様に推論パラメータを予め準備しておく。図１１では第１中間層１１０２のニューロン数がＮより少ないが、これは単なる例示であり、中間層におけるニューロン数がＮ以上であってもよい。

【0051】

補助データ生成部９０５は、図１１（ｃ）に示すようなパラメータ選択部１１１０を有する。パラメータ選択部１１１０は、図１１（ｄ）に示すように、特徴判定部９０４から供給される分類情報に基づき予め準備された複数の分類別推論パラメータの１つを選択してニューラルネットワーク１１００に供給する。なお、分類別の推論パラメータは、補助データ生成部９０５の外部から更新可能であってよい。

【0052】

ニューロン１１０５は、式５で求めたｘ’を非線形の関数であるシグモイド関数（式６）、ランプ関数（式７）などの活性化関数に入力し、ｙを出力する。
y=1/(1+e^-x’) 式６
y=0 (x’≦0)，y=x’ (x’＞0) 式７

【0053】

なお、ニューラルネットワーク１１００およびニューロン１１０５の構成は図１１に示したものに限定されない。ニューラルネットワーク１１００の入力層１１０１にチャネルデータを入力することにより、第１中間層１１０２、第２中間層１１０３を経て最終的に出力層１１０４から符号化劣化を補正するための補助データが得られる。補助データ生成部９０５は、補助データを合成部９０６へ供給する。

【0054】

合成部９０６は、予め用意された分類別の合成比率から、特徴判定部９０４から入力される分類結果に対応する合成比率を選択する。そして、合成部９０６は、周波数逆変換部９０３から入力されるチャネルデータと、補助データ生成部９０５から入力される補助データとを、選択した合成比率に基づいて合成することにより、チャネルデータを補正する。合成部９０６は、補正後のチャネルデータを生成する。分類に応じた補正強度をユーザが調整できるように、合成比率をユーザが設定可能であってよい。また、合成比率は全ての分類に共通であってもよい。合成部９０６は、補正後のチャネルデータをチャネル逆変換部９０７に出力する。

【0055】

チャネル逆変換部９０７は、合成部９０６から入力される１画面分の補正後のチャネルデータを、１画面分のベイヤ配列のＲＡＷデータへ復元する（チャネル逆変換）。チャネル逆変換部９０７の処理は、符号化装置１００のチャネル変換部１０１と逆の処理である。なお、チャネル変換方法が既知でない場合には、符号化ＲＡＷデータを格納するデータファイルに例えばメタデータとしてチャネル変換方法を特定可能な情報を符号化時に含めておく。そして、チャネル逆変換部９０７は、この情報に基づいてチャネル逆変換を行う。チャネル変換方法を特定可能な情報は、エントロピー復号部９０１がチャネル逆変換部９０７に供給してもよい。

【0056】

本実施形態の復号装置は、サブバンドデータを不可逆符号化することによって得られた符号化ＲＡＷデータを復号する際、サブバンドデータに基づいて、画像の特徴に応じて予め定められた複数の分類のうち、ＲＡＷデータに対応する１つを特定する。特徴は、例えば明るさや画像の複雑さなど、不可逆符号化による画質低下の視認性に影響を与える項目の１つ以上とすることができる。そして、復号装置は、分類結果に応じた補正データを用いてＲＡＷデータを補正するようにした。補正データは例えば分類ごとに学習された推論パラメータである。これにより、不可逆符号化に起因する画質の低下を画像の特徴に応じて適切に補正することができ、復号後のＲＡＷデータの品質を高めることができる。

【0057】

●（第２実施形態）
次に、本発明の第２実施形態について説明する。本実施形態に係る復号装置は、特徴判定部９０４の動作以外は第１実施形態と同様である。したがって、以下では本実施形態における特徴判定部９０４の動作を重点的に説明する。

【0058】

図１２は、本実施形態における特徴判定部９０４の動作に関するフローチャートである。特徴判定部９０４は、第１実施形態と同様にサブバンドデータを明度と複雑度に関して図１０（ｂ）に示した４種類に分類したのち、さらに量子化パラメータに応じて２種類に分類する。したがって、本実施形態に係る特徴判定部９０４は、チャネルデータを８種類に分類する。なお、本実施形態においても分類の項目の種類や数、項目ごとの分割数は単なる例示である。

【0059】

Ｓ１２０１～Ｓ１２０３は図１０のＳ１００１～Ｓ１００３と同様の処理であるため説明を省略する。
Ｓ１２０４、Ｓ１２０５、Ｓ１２０６、Ｓ１２０７で特徴判定部９０４は、量子化パラメータ（ＱｐＢｓ）と量子化パラメータの閾値であるＱｔｈとを比較し、量子化レンジを判定する。特徴判定部９０４は、量子化パラメータがＱｔｈ以上であれば、処理をＳ１２０８、Ｓ１２１０、Ｓ１２１２、Ｓ１２１４にそれぞれ進め、量子化パラメータがＱｔｈ未満であれば、処理をＳ１２０９、Ｓ１２１１、Ｓ１２１３、Ｓ１２１５にそれぞれ進める。

【0060】

Ｓ１２０８で特徴判定部９０４は、サブバンドの評価を行ったチャネルデータを、「明・複雑１」に分類して、判定処理を終了する。
Ｓ１２０９で特徴判定部９０４は、サブバンドの評価を行ったチャネルデータを、「明・複雑２」に分類して、判定処理を終了する。
Ｓ１２１０で特徴判定部９０４は、サブバンドの評価を行ったチャネルデータを、「明・平坦１」に分類して、判定処理を終了する。
Ｓ１２１１で特徴判定部９０４は、サブバンドの評価を行ったチャネルデータを、「明・平坦２」に分類して、判定処理を終了する。
Ｓ１２１２で特徴判定部９０４は、サブバンドの評価を行ったチャネルデータを、「暗・複雑１」に分類して、判定処理を終了する。
Ｓ１２１３で特徴判定部９０４は、サブバンドの評価を行ったチャネルデータを、「暗・複雑２」に分類して、判定処理を終了する。
Ｓ１２１４で特徴判定部９０４は、サブバンドの評価を行ったチャネルデータを、「暗・平坦１」に分類して、判定処理を終了する。
Ｓ１２１５で特徴判定部９０４は、サブバンドの評価を行ったチャネルデータを、「暗・平坦２」に分類して、判定処理を終了する。

【0061】

量子化パラメータを可変とする場合、平坦な領域ほど大きな量子化パラメータを用いるのが一般的である。したがって、量子化パラメータは複雑度に関する項目である。量子化パラメータ（ＱｐＢｓ）がＱｔｈ以上である場合よりも、Ｑｔｈ未満である場合の方が複雑度が高いと考えられる。

【0062】

なお、本実施形態では、補助データ生成部９０５のパラメータ選択部１１１０に８つの分類に応じた推論パラメータを用意しておく。これにより、特徴判定部９０４による分類結果に応じた適切な推論パラメータを用いてチャネルデータを補正することができる。

【0063】

このように、本実施形態では第１実施形態の効果に加え、チャネルデータを量子化パラメータの大きさによっても分類することにより、画像の特徴に加え、量子化パラメータの大きさに起因する画質低下も考慮してサブバンドデータを補正することができる。

【0064】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0065】

本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更および変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0066】

９００…復号装置、９０１…エントロピー復号部、９０２…逆量子化部、９０３…周波数逆変換部、９０４…特徴判定部、９０５…補助データ生成部、９０６…合成部、９０７…チャネル逆変換部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】