特許 6101009 階調削減符号化装置、階調復元復号装置及びそれらのプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6101009

(24)【登録日】2017年3月3日

(45)【発行日】2017年3月22日

(54)【発明の名称】階調削減符号化装置、階調復元復号装置及びそれらのプログラム

(51)【国際特許分類】

   H04N 1/41 20060101AFI20170313BHJP

   H04N 19/117 20140101ALI20170313BHJP

   H04N 19/136 20140101ALI20170313BHJP

   H04N 19/196 20140101ALI20170313BHJP

   H04N 19/63 20140101ALI20170313BHJP

   H04N 19/85 20140101ALI20170313BHJP

【ＦＩ】

   H04N1/41 B

   H04N19/117

   H04N19/136

   H04N19/196

   H04N19/63

   H04N19/85

【請求項の数】7

【全頁数】26

(21)【出願番号】特願2012-135795(P2012-135795)

(22)【出願日】2012年6月15日

(65)【公開番号】特開2014-3370(P2014-3370A)

(43)【公開日】2014年1月9日

【審査請求日】2015年5月1日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(74)【代理人】

【識別番号】100064414

【弁理士】

【氏名又は名称】磯野 道造

(74)【代理人】

【識別番号】100111545

【弁理士】

【氏名又は名称】多田 悦夫

(72)【発明者】

【氏名】松尾 康孝

(72)【発明者】

【氏名】境田 慎一

(72)【発明者】

【氏名】三須 俊枝

(72)【発明者】

【氏名】岩村 俊輔

【審査官】 畑中 高行

(56)【参考文献】

【文献】 特開平０４−０９７６８１（ＪＰ，Ａ）

【文献】 特開２００６−０７４７７７（ＪＰ，Ａ）

【文献】 特表２００７−５０４７０９（ＪＰ，Ａ）

【文献】 Yasutaka Matsuo et al.，REDUCING NOISE IN HIGH-RESOLUTION VIDEO SEQUENCES BY USING WAVELET SHRINKAGE IN THE TEMPORAL-SPATIAL DOMAIN，Picture Coding Symposium, 2009. PCS 2009，IEEE，２００９年 ５月 ６日，p.1-4

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１／４１−１／４１９

Ｈ０４Ｎ１９／００−１９／９８

Ｇ０６Ｔ１／００−９／４０

(57)【特許請求の範囲】

【請求項1】

原画像の階調を削減する階調削減符号化装置であって、
前記原画像が入力され、入力された前記原画像に時空間方向の周波数解析処理を行って、予め設定された第１閾値以上の周波数成分から孤立点成分を抽出し、抽出した前記孤立点成分のレベルを雑音レベルとして検出する雑音レベル検出手段と、
前記原画像を、前記雑音レベル以下の画素で構成される雑音画像と、前記雑音レベルを超える画素で構成される信号画像とに分離する画像分離手段と、
前記雑音画像に階調削減処理を行って、前記雑音画像の階調を削減した低階調雑音画像を生成する低階調雑音画像生成手段と、
前記信号画像に空間方向の周波数解析処理を行って、前記信号画像の画素毎に全周波数帯域に対する予め設定された低周波数帯域の割合を算出し、算出した前記割合が予め設定された第２閾値以上となる画素領域をグラデーション領域として検出するグラデーション領域検出手段と、
前記信号画像のグラデーション領域の階調数が前記雑音画像の階調数よりも高くなるように前記信号画像のグラデーション領域に前記階調削減処理を行って、当該グラデーション領域の階調を削減した低階調信号画像を生成する低階調信号画像生成手段と、
前記低階調雑音画像と前記低階調信号画像との合成画像である階調削減画像を生成する画像合成手段と、
前記階調削減画像を符号化した符号化画像を生成する符号化手段と、
を備えることを特徴とする階調削減符号化装置。

【請求項2】

前記符号化画像を復号した復号画像を生成する復号手段と、
フィルタ係数として異なる分散値が予め設定され、前記フィルタ係数毎に、エッジ保存型フィルタを前記復号画像に適用することで、前記復号画像の各画素の階調値が重み付けられた階調重み情報を生成する階調重み情報生成手段と、
前記原画像から、前記原画像の階調値毎の画素数を示す階調値ヒストグラムを算出する階調値ヒストグラム算出手段と、
前記フィルタ係数毎に、前記復号画像で同一階調値の画素について、前記階調重み情報による並び順を算出し、前記階調値ヒストグラムを参照して、前記同一階調値の画素数と、前記同一階調値に対応する伸長階調値及び前記伸長階調値の間にある中間階調値の画素数の割合とに基づいて、算出した前記並び順で前記同一階調値の画素に前記伸長階調値又は前記中間階調値を割り当てた中間階調復元画像を生成する中間階調復元画像生成手段と、
前記フィルタ係数毎の中間階調復元画像と、前記原画像とを所定サイズのブロックに分割し、前記ブロック毎に、前記原画像に最も類似する中間階調復元画像のフィルタ係数である最適フィルタ情報を生成する最適フィルタ情報生成手段と、
をさらに備えることを特徴とする請求項１に記載の階調削減符号化装置。

【請求項3】

前記低階調雑音画像生成手段及び前記低階調信号画像生成手段は、前記階調削減処理として、ロイド−マックス法を用いることを特徴とする請求項１又は請求項２に記載の階調削減符号化装置。

【請求項4】

原画像の階調を削減した階調削減画像が符号化された符号化画像を用いて、削減された前記階調を復元する階調復元復号装置であって、
請求項１に記載の階調削減符号化装置から前記符号化画像が入力され、入力された前記符号化画像を復号した復号画像を生成する復号手段と、
所定のフィルタ係数によるエッジ保存型フィルタを前記復号画像に適用することで、前記復号画像の各画素の階調値が重み付けられた階調重み情報を生成する階調重み情報生成手段と、
前記原画像の階調値毎の画素数を示す階調値ヒストグラムが予め設定される階調値ヒストグラム設定手段と、
前記復号画像で同一階調値の画素について、前記階調重み情報による並び順を算出し、前記階調値ヒストグラムを参照して、前記同一階調値の画素数と、前記同一階調値に対応する伸長階調値及び前記伸長階調値の間にある中間階調値の画素数の割合とに基づいて、算出した前記並び順で前記同一階調値の画素に前記伸長階調値又は前記中間階調値を割り当てた中間階調復元画像を生成する中間階調復元画像生成手段と、
を備えることを特徴とする階調復元復号装置。

【請求項5】

前記階調重み情報生成手段は、請求項２に記載の階調削減符号化装置から最適フィルタ情報が入力され、入力された前記最適フィルタ情報が示すフィルタ係数を設定することを特徴とする請求項４に記載の階調復元復号装置。

【請求項6】

原画像の階調を削減するために、コンピュータを、
前記原画像が入力され、入力された前記原画像に時空間方向の周波数解析処理を行って、予め設定された第１閾値以上の周波数成分から孤立点成分を抽出し、抽出した前記孤立点成分のレベルを雑音レベルとして検出する雑音レベル検出手段、
前記原画像を、前記雑音レベル以下の画素で構成される雑音画像と、前記雑音レベルを超える画素で構成される信号画像とに分離する画像分離手段、
前記雑音画像に階調削減処理を行って、前記雑音画像の階調を削減した低階調雑音画像を生成する低階調雑音画像生成手段、
前記信号画像に空間方向の周波数解析処理を行って、前記信号画像の画素毎に全周波数帯域に対する予め設定された低周波数帯域の割合を算出し、算出した前記割合が予め設定された第２閾値以上となる画素領域をグラデーション領域として検出するグラデーション領域検出手段、
前記信号画像のグラデーション領域の階調数が前記雑音画像の階調数よりも高くなるように前記信号画像のグラデーション領域に前記階調削減処理を行って、当該グラデーション領域の階調を削減した低階調信号画像を生成する低階調信号画像生成手段、
前記低階調雑音画像と前記低階調信号画像との合成画像である階調削減画像を生成する画像合成手段、
前記階調削減画像を符号化した符号化画像を生成する符号化手段、
として機能させるための階調削減符号化プログラム。

【請求項7】

原画像の階調を削減した階調削減画像が符号化された符号化画像を用いて、削減された前記階調を復元するために、コンピュータを、
請求項１に記載の階調削減符号化装置から前記符号化画像が入力され、入力された前記符号化画像を復号した復号画像を生成する復号手段、
所定のフィルタ係数によるエッジ保存型フィルタを前記復号画像に適用することで、前記復号画像の各画素の階調値が重み付けられた階調重み情報を生成する階調重み情報生成手段、
前記原画像の階調値毎の画素数を示す階調値ヒストグラムが予め設定される階調値ヒストグラム設定手段、
前記復号画像で同一階調値の画素について、前記階調重み情報による並び順を算出し、前記階調値ヒストグラムを参照して、前記同一階調値の画素数と、前記同一階調値に対応する伸長階調値及び前記伸長階調値の間にある中間階調値の画素数の割合とに基づいて、算出した前記並び順で前記同一階調値の画素に前記伸長階調値又は前記中間階調値を割り当てた中間階調復元画像を生成する中間階調復元画像生成手段、
として機能させるための階調復元復号プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、原画像の階調を削減する階調削減符号化装置、削減された階調を復元する階調復元復号装置、及び、それらのプログラムに関する。

【背景技術】

【0002】

従来から、階調削減処理として、ロイド−マックス法が知られている（非特許文献１）。この非特許文献１に記載の技術は、画像内で出現頻度が高い階調値付近により多くの階調数を割り当てるものである。

【0003】

また、従来から、階調復元処理として、ダイナミックレンジを拡大するためにトーンマッピングに用いるトーンスケール関数を生成する手法が知られている（特許文献１）。この特許文献１に記載の技術は、低階調側をゼロとし、高階調側を変換関数に合わせて変換するトーンスケール関数を生成して、階調を復元するものである。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００２−２０９１５１号公報（特許第４２４６４２８号公報）

【非特許文献】

【0005】

【非特許文献1】“A genetic Lloyd-Max image quantization algorithm”,P.Scheunders,Pattern Recognition Letters,Vol.17,issue 4,p.547-556.1996

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかし、前記した従来技術では、低階調雑音階調値やグラデーション階調値を考慮していないため、圧縮効率が悪く、擬似輪郭が発生する可能性が高いという問題があった。言い換えるなら、前記した従来技術では、画像に含まれる雑音成分と、雑音以外の信号成分とを区別していないため、擬似輪郭が発生する可能性が高くなる。

【0007】

そこで、本発明は、前記した問題を解決し、圧縮効率を改善し、擬似輪郭の発生を抑制できる階調削減符号化装置、階調復元復号装置及びそれらのプログラムを提供することを課題とする。

【課題を解決するための手段】

【0008】

前記した課題に鑑みて、本願第１発明に係る階調削減符号化装置は、原画像の階調を削減する階調削減符号化装置であって、雑音レベル検出手段と、画像分離手段と、低階調雑音画像生成手段と、グラデーション領域検出手段と、低階調信号画像生成手段と、画像合成手段と、符号化手段と、を備えることを特徴とする。

【0009】

かかる構成によれば、階調削減符号化装置は、雑音レベル検出手段によって、原画像が入力され、入力された原画像に時空間方向の周波数解析処理を行って、予め設定された第１閾値以上の周波数成分から孤立点成分を抽出し、抽出した孤立点成分のレベルを雑音レベルとして検出する。また、階調削減符号化装置は、画像分離手段によって、原画像を、雑音レベル以下の画素で構成される雑音画像と、雑音レベルを超える画素で構成される信号画像とに分離する。

【0010】

また、階調削減符号化装置は、低階調雑音画像生成手段によって、雑音画像に階調削減処理を行って、雑音画像の階調を削減した低階調雑音画像を生成する。そして、階調削減符号化装置は、グラデーション領域検出手段によって、信号画像の画素毎に空間方向の周波数解析処理を行って、信号画像の全周波数帯域に対する予め設定された低周波数帯域の割合を算出し、算出した割合が予め設定された第２閾値以上となる画素領域をグラデーション領域として検出する。さらに、階調削減符号化装置は、低階調信号画像生成手段によって、信号画像のグラデーション領域に階調削減処理を行って、グラデーション領域の階調を削減した低階調信号画像を生成する。

【0011】

すなわち、階調削減符号化装置は、低階調信号画像生成手段によって、原画像の雑音成分と、雑音以外の信号成分とを区別し、信号画像のグラデーション領域の階調数が雑音画像の階調数よりも高くなるように、階調を削減する。このため、階調削減符号化装置は、雑音成分のデータ量を少なくすると共に、信号成分の階調数を高くすることができる。

【0012】

また、階調削減符号化装置は、画像合成手段によって、低階調雑音画像と低階調信号画像との合成画像である階調削減画像を生成する。そして、階調削減符号化装置は、符号化手段によって、階調削減画像を符号化した符号化画像を生成する。

【0013】

また、本願第２発明に係る階調削減符号化装置は、符号化画像を復号した復号画像を生成する復号手段と、フィルタ係数として異なる分散値が予め設定され、フィルタ係数毎に、エッジ保存型フィルタを復号画像に適用することで、復号画像の各画素の階調値が重み付けられた階調重み情報を生成する階調重み情報生成手段と、原画像から、原画像の階調値毎の画素数を示す階調値ヒストグラムを算出する階調値ヒストグラム算出手段と、フィルタ係数毎に、復号画像で同一階調値の画素について、階調重み情報による並び順を算出し、階調値ヒストグラムを参照して、同一階調値の画素数と、同一階調値に対応する伸長階調値及び伸長階調値の間にある中間階調値の画素数の割合とに基づいて、算出した並び順で同一階調値の画素に伸長階調値又は中間階調値を割り当てた中間階調復元画像を生成する中間階調復元画像生成手段と、フィルタ係数毎の中間階調復元画像と、原画像とを所定サイズのブロックに分割し、ブロック毎に、原画像に最も類似する中間階調復元画像のフィルタ係数である最適フィルタ情報を生成する最適フィルタ情報生成手段と、をさらに備えることを特徴とする。
かかる構成によれば、階調削減符号化装置は、最適フィルタ情報をサイド情報として、階調復元復号装置に出力することができる。

【0014】

また、本願第３発明に係る階調削減符号化装置は、低階調雑音画像生成手段及び低階調信号画像生成手段が、階調削減処理として、ロイド−マックス法を用いることを特徴とする。
かかる構成によれば、階調削減符号化装置は、原画像で出現頻度が高い階調値付近に階調数を多く割り当てて、出現頻度が低い階調値付近に割り当てられる階調数を少なくすることができる。

【0015】

また、本願第４発明に係る階調復元復号装置は、原画像の階調を削減した階調削減画像が符号化された符号化画像を用いて、削減された階調を復元する階調復元復号装置であって、復号手段と、階調重み情報生成手段と、階調値ヒストグラム設定手段と、中間階調復元画像生成手段と、を備えることを特徴とする。

【0016】

かかる構成によれば、階調復元復号装置は、復号手段によって、本願第１発明に係る階調削減符号化装置から符号化画像が入力され、入力された符号化画像を復号した復号画像を生成する。すなわち、階調復元復号装置は、雑音成分のデータ量が少なく、信号成分の階調数が高い符号化画像から、階調を復元する。

【0017】

また、階調復元復号装置は、階調重み情報生成手段によって、所定のフィルタ係数によるエッジ保存型フィルタを復号画像に適用することで、復号画像の各画素の階調値が重み付けられた階調重み情報を生成する。そして、階調復元復号装置は、階調値ヒストグラム設定手段によって、原画像の階調値毎の画素数を示す階調値ヒストグラムが予め設定される。

【0018】

また、階調復元復号装置は、中間階調復元画像生成手段によって、復号画像で同一階調値の画素について、階調重み情報による並び順を算出し、階調値ヒストグラムを参照して、同一階調値の画素数と、同一階調値に対応する伸長階調値及び伸長階調値の間にある中間階調値の画素数の割合とに基づいて、算出した並び順で同一階調値の画素に伸長階調値又は中間階調値を割り当てた中間階調復元画像を生成する。つまり、中間階調復元画像生成手段は、階調の空間連続性を考慮して、各画素に伸長階調値又は中間階調値を割り当てる。

【0019】

また、本願第５発明に係る階調復元復号装置は、階調重み情報生成手段が、本願第２発明に係る階調復元復号装置から最適フィルタ情報が入力され、入力された最適フィルタ情報が示すフィルタ係数を設定することを特徴とする。
かかる構成によれば、階調復元復号装置は、最適フィルタ情報をサイド情報として利用することができる。

【0020】

なお、本願第１発明に係る階調削減符号化装置は、ＣＰＵ、メモリ、ハードディスク等のハードウェア資源を備える一般的なコンピュータを、前記した各手段として協調動作させる階調削減符号化プログラムによって実現することもできる。この階調削減符号化プログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

【0021】

また、本願第４発明に係る階調復元復号装置は、ＣＰＵ、メモリ、ハードディスク等のハードウェア資源を備える一般的なコンピュータを、前記した各手段として協調動作させる階調復元復号プログラムによって実現することもできる。この階調復元復号プログラムは、通信回線を介して配布しても良く、ＣＤ−ＲＯＭやフラッシュメモリ等の記録媒体に書き込んで配布してもよい。

【発明の効果】

【0022】

本発明によれば、以下のような優れた効果を奏する。
本願第１，４発明によれば、原画像の雑音成分と、雑音以外の信号成分とを区別して階調を削減する。従って、本願第１，４発明によれば、雑音成分のデータ量を少なくすると共に、信号成分の階調数を高くできるため、圧縮効率を改善し、擬似輪郭の発生を抑制することができる。

【0023】

本願第２，５発明によれば、最適フィルタ情報をサイド情報として利用できるため、階調値をより正確に復元することができる。
本願第３発明によれば、原画像で出現頻度が高い階調値付近に階調数を多く割り当てて、出現頻度が低い階調値付近に割り当てられる階調数を少なくし、階調値をより正確に復元することができる。

【図面の簡単な説明】

【0024】

【図1】本発明の第１実施形態に係る階調削減符号化装置及び階調復元復号装置の構成を示すブロック図である。

【図2】図１の階調削減手段の構成を示すブロック図である。

【図3】図２のグラデーション領域検出手段が生成するパワースペクトルを示す図である。

【図4】図１の階調復元・最適フィルタ情報生成手段の構成を示すブロック図である。

【図5】本発明の第１実施形態において、伸長階調値及び中間階調値を説明する図である。

【図6】図４の中間階調値復元手段による中間階調値の復元を説明する図であり、（ａ）は復号画像を示し、（ｂ）は周辺階調重み情報を示し、（ｃ）は中間階調復元画像を示す。

【図7】図１の階調復元手段の構成を示すブロック図である。

【図8】図７の階調値ヒストグラム設定手段において、復号画像ヒストグラムの算出を説明する図である。

【図9】図７の階調値ヒストグラム設定手段において、階調値ヒストグラム設定の第２例を説明する図である。

【図10】図７の階調値ヒストグラム設定手段において、階調値ヒストグラム設定の第３例を説明する図である。

【図11】図１の階調削減符号化装置及び階調復元復号装置の動作を示すフローチャートである。

【図12】図１１の階調削減画像生成処理の動作を示すフローチャートである。

【図13】図１１の階調復元・最適フィルタ情報生成処理の動作を示すフローチャートである。

【図14】本発明の第２実施形態に係る階調削減符号化装置及び階調復元復号装置の構成を示すブロック図である。

【図15】図１１の階調削減符号化装置及び階調復元復号装置の動作を示すフローチャートである。

【図16】本発明の変形例１において中間階調値の復元を説明する図であり、（ａ）は復号画像を示し、（ｂ）は周辺階調重み情報を示し、（ｃ）は中間階調復元画像を示す。

【発明を実施するための形態】

【0025】

以下、本発明の各実施形態について、適宜図面を参照しながら詳細に説明する。なお、各実施形態において、同一の機能を有する手段には同一の符号を付し、説明を省略した。

【0026】

（第１実施形態）
［階調削減符号化装置の構成］
図１を参照し、本発明の第１実施形態に係る階調削減符号化装置１の構成について、説明する。
図１に示すように、階調復元システム１０００は、階調の削減及び復元を行うものであり、階調削減符号化装置１と、階調復元復号装置２とを備える。
階調削減符号化装置１は、原画像の階調を削減するものであり、階調削減手段１０と、符号化手段１１と、復号手段１２と、階調復元・最適フィルタ情報生成手段１３とを備える。

【0027】

＜階調削減手段＞
図２，図３を参照し、階調削減手段１０について、説明する（適宜図１参照）。
図２に示すように、階調削減手段１０は、階調削減画像を生成するものである。このため、階調削減手段１０は、雑音レベル検出手段１００と、画像分離手段１０１と、低階調雑音画像生成手段１０２と、グラデーション領域検出手段１０３と、低階調信号画像生成手段１０４と、画像合成手段１０５とを備える。

【0028】

まず、階調削減手段１０の入出力について、説明する。
この階調削減手段１０は、外部から原画像が入力される。
また、階調削減手段１０は、生成した階調削減画像を符号化手段１１に出力し、階調変換コードブックを階調復元・最適フィルタ情報生成手段１３に出力する。

【0029】

ここで、原画像とは、例えば、人物、風景等を撮影した一般的な画像である。また、ＣＧ（コンピュータグラフィックス）で作成したＣＧ画像は、階調の空間連続性が乏しいため、この原画像から除かれる。
また、階調削減画像とは、原画像の階調を削減した画像である。

【0030】

次に、階調削減手段１０が備える各手段の処理について、説明する。
雑音レベル検出手段１００は、原画像に時空間方向の周波数解析処理を行って、予め設定された第１閾値以上の周波数成分から孤立点成分を抽出する。そして、雑音レベル検出手段１００は、抽出した孤立点成分のレベルを雑音レベルとして検出するものである。

【0031】

具体的には、雑音レベル検出手段１００は、周波数解析処理として、ウェーブレット分解を用いる。すなわち、雑音レベル検出手段１００は、時間方向に連続した原画像の列を時空間方向でウェーブレット分解し、その時空間周波数成分のうち、予め設定された周波数以上の高周波数成分から孤立点成分を抽出する。このとき、原画像に複数の孤立点が含まれる場合、雑音レベル検出手段１００は、抽出した全孤立点成分のうち、レベルがゼロ以外となる孤立点成分の中央値を、雑音レベルとして検出してもよい。
なお、孤立点とは、全ての近傍８画素と階調値が異なる画素のことである。

【0032】

ここで、白色雑音は、ランダム雑音のため、時空間方向の何れにも相関が低い孤立点成分となる。つまり、原画像を時空間方向にウェーブレット分解した時空間周波数成分は、時空間何れの方向でも変動（画素値差分）が大きくなる。ただし、エッジなどの連続した高周波成分は、時空間高周波帯域にも連続して現れる。そこで、雑音レベル検出手段１００は、時空間高周波帯域の白色雑音成分を、原画像の孤立点成分として抽出する。

【0033】

また、雑音レベル検出手段１００は、抽出した孤立点成分のＲＭＳ（二乗平均平方根）を雑音レベルとして検出する。そして、雑音レベル検出手段１００は、原画像と、検出した雑音レベルとを画像分離手段１０１に出力する。

【0034】

画像分離手段１０１は、雑音レベル検出手段１００から入力された原画像を、雑音レベル以下の画素で構成される雑音画像と、雑音レベルを超える画素で構成される信号画像とに分離するものである。そして、画像分離手段１０１は、分離した雑音画像を低階調雑音画像生成手段１０２に出力し、分離した信号画像をグラデーション領域検出手段１０３に出力する。

【0035】

低階調雑音画像生成手段１０２は、画像分離手段１０１から入力された雑音画像に階調削減処理を行って、雑音画像の階調を削減した低階調雑音画像を生成するものである。このため、低階調雑音画像生成手段１０２は、低階調雑音画像再量子化初期値決定手段１０２ａと、低階調雑音画像再量子化手段１０２ｂとを備える。

【0036】

低階調雑音画像再量子化初期値決定手段１０２ａは、雑音画像を再量子化するときに必要となる低階調雑音画像再量子化初期値を決定するものである。つまり、低階調雑音画像再量子化初期値決定手段１０２ａは、雑音レベルＬ_Ｎ以下が粗く量子化されるように、低階調雑音画像再量子化初期値を決定する。例えば、０からＬ_Ｎ以下までのレベルでは、量子化ステップがＬ_Ｎ／２＾Δステップであるとする。この場合、低階調雑音画像再量子化初期値決定手段１０２ａは、例えば、０からＬ_Ｎ以下までのレベルでは、量子化ステップをＬ_Ｎ／２＾（Δ＋１）ステップとして決定する。

【0037】

そして、低階調雑音画像再量子化初期値決定手段１０２ａは、決定した量子化ステップの最小値及び最大値と、最小値と最大値との間になるステップ値とを、低階調雑音画像再量子化初期値として低階調雑音画像再量子化手段１０２ｂに出力する。さらに、低階調雑音画像再量子化初期値決定手段１０２ａは、雑音画像をトレーニングセット（学習データ）として、低階調雑音画像再量子化手段１０２ｂに出力する。

【0038】

低階調雑音画像再量子化手段１０２ｂは、低階調雑音画像再量子化初期値決定手段１０２ａから入力された低階調雑音画像再量子化初期値を用いて、雑音画像に階調削減処理を行い、雑音画像階調変換コードブックと、低階調雑音画像を生成するものである。そして、低階調雑音画像再量子化手段１０２ｂは、雑音画像階調変換コードブックと、生成した低階調雑音画像とを画像合成手段１０５に出力する。
なお、この階調削減処理は、雑音画像の分離元となる原画像が既に量子化されているため、再量子化とも呼ばれる。

【0039】

＜＜ロイド−マックス法＞＞
ここで、低階調雑音画像再量子化手段１０２ｂが、階調削減処理としてロイド−マックス法を用いるため、このロイド−マックス法を詳細に説明する。
ロイド−マックス法において、原画像の階調数をΔビット削減する場合を考える。この場合、原画像をトレーニングセットとして、初期階調変換コードブック（低階調雑音画像再量子化初期値）を随時更新しながら、原画像における階調値の重みに応じた階調変換コードブック（雑音画像階調変換コードブック）と、この階調変換コードブックにより階調を削減した画像とを生成する。このロイド−マックス法を用いることで、原画像で出現頻度が高い階調値付近を細かく再量子化し、出現頻度が低い階調値付近を粗く再量子化することができる。

【0040】

例えば、原画像の階調数を１０ビット（階調値＝０〜１０２３、階調数＝１０２４）とし、階調削減画像の階調数を８ビット（階調値＝０〜２５５、階調数＝２５６）とし、Δ＝２ビットとする。この場合、初期階調変換コードブックでは、下記の表１に示すように、変換前階調値が、原画像の階調値を２＾Δで割って余りを切り捨てた階調値となる。また、変換後階調値が、変換前階調値を２＾Δ倍した階調値となる。

【0041】

【表1】

【0042】

なお、ロイド−マックス法は、例えば、参考文献「“A genetic Lloyd-Max image quantization algorithm”,P.Scheunders,Pattern Recognition Letters,Vol.17,issue 4,p.547-556.1996」に記載されている。

【0043】

グラデーション領域検出手段１０３は、画像分離手段１０１から入力された信号画像の画素毎に、空間方向の周波数解析処理を行って信号画像の全周波数帯域に対する予め設定された低周波数帯域の割合を算出する。そして、グラデーション領域検出手段１０３は、算出した割合が予め設定された第２閾値以上となる画素領域をグラデーション領域として検出するものである。

【0044】

具体的には、グラデーション領域検出手段１０３は、周波数解析処理として、デシメーション（間引き）なしのウェーブレット分解を用いる。すなわち、グラデーション領域検出手段１０３は、デシメーションなしでｎ階（ｎは１以上の整数）のウェーブレット分解を信号画像に行い、図３に示すように、信号画像の画素毎にパワースペクトル９０を求める。

【0045】

また、グラデーション領域検出手段１０３は、信号画像の画素毎に、全周波数帯域Ｆでのパワーと、低周波数帯域Ｆ／８でのパワーとの割合を算出する。具体的には、グラデーション領域検出手段１０３は、図３のパワースペクトル９０において、低周波数帯域を示すドット部分の面積と、全周波数帯域を示すドット部分及び白地部分の合計面積とを算出する。また、グラデーション領域検出手段１０３は、信号画像の画素毎に、合計面積に対するドット部分の面積の割合を算出する。そして、グラデーション領域検出手段１０３は、算出した割合が第２閾値（例えば、９９％）以上となる画素で構成される画素領域を、グラデーション領域として検出する。さらに、グラデーション領域検出手段１０３は、検出したグラデーション領域を示すグラデーション領域情報を生成し、生成したグラデーション領域情報と、信号画像とを低階調信号画像生成手段１０４に出力する。

【0046】

なお、図３では、デシメーションなしで３階のウェーブレット分解が行われており（ｎ＝３）、低周波数帯域が全周波数帯域の１／８に設定されている。
また、グラデーション領域とは、被写体の内部のように、各画素の階調値が滑らかに連続する領域のことである。

【0047】

低階調信号画像生成手段１０４は、グラデーション領域検出手段１０３から入力されたグラデーション領域情報を参照し、信号画像のグラデーション領域に階調削減処理を行って、信号画像の階調を削減した低階調信号画像を生成するものである。このため、低階調信号画像生成手段１０４は、低階調信号画像再量子化初期値決定手段１０４ａと、低階調信号画像再量子化手段１０４ｂとを備える。

【0048】

低階調信号画像再量子化初期値決定手段１０４ａは、信号画像を再量子化するときに必要となる低階調信号画像再量子化初期値を決定するものである。つまり、低階調信号画像再量子化初期値決定手段１０４ａは、雑音レベルＬ_Ｎより上のレベルについて、低階調信号画像再量子化初期値を決定する。通常、Ｌ_Ｎから最大階調値までのレベルでは、量子化ステップがＬ_Ｎ／２＾Δステップであるとする。この場合、低階調信号画像再量子化初期値決定手段１０４ａは、例えば、Ｌ_Ｎから最大階調値までのレベルでは、量子化ステップをＬ_Ｎ／２＾（Δ−１）ステップとして決定する。

【0049】

そして、低階調信号画像再量子化初期値決定手段１０４ａは、決定した量子化ステップの最小値及び最大値と、最小値と最大値との間になるステップ値とを、低階調信号画像再量子化初期値として低階調信号画像再量子化手段１０４ｂに出力する。

【0050】

さらに、低階調信号画像再量子化初期値決定手段１０４ａは、信号画像をトレーニングセットとして、低階調信号画像再量子化手段１０４ｂに出力する。
ここで、ロイド−マックス法では、グラデーション領域の階調頻度を大きくしたトレーニングセットを用いることで、グラデーション領域に多くの階調値が割り当てることができる。このため、低階調信号画像再量子化初期値決定手段１０４ａは、出力する信号画像のグラデーション領域に含まれる画素の階調値をα倍することが好ましい。例えば、αは、１．１や２．２のように、１を超える値で設定できる。

【0051】

低階調信号画像再量子化手段１０４ｂは、低階調信号画像再量子化初期値決定手段１０４ａから入力された低階調信号画像再量子化初期値（ロイド−マックス法の初期階調変換コードブック）を用いて、信号画像のグラデーション領域に階調削減処理を行い、信号画像階調変換コードブック（ロイド−マックス法の階調変換コードブック）と、低階調信号画像とを生成するものである。そして、低階調信号画像再量子化手段１０４ｂは、信号画像階調変換コードブックと、生成した低階調信号画像とを画像合成手段１０５に出力する。
なお、低階調信号画像再量子化手段１０４ｂは、低階調雑音画像再量子化手段１０２ｂと同様、階調削減処理としてロイド−マックス法を用いるため、詳細な説明を省略する。

【0052】

画像合成手段１０５は、低階調雑音画像再量子化手段１０２ｂから入力された低階調雑音画像と、低階調信号画像再量子化手段１０４ｂから入力された低階調信号画像とを合成し、階調削減画像を生成するものである。

【0053】

また、画像合成手段１０５は、雑音画像階調変換コードブックと信号画像階調変換コードブックとを合わせて、階調変換コードブックを生成する。この階調変換コードブックは、前記した表１と同様、変換前階調値及び変換後階調値をデータ項目として有する。例えば、雑音レベルＬ_Ｎ＝４０の場合、階調変換コードブックは、４０以下のレベルを粗く再量子化し、４０を超えるレベルを細かく再量子化するコードブックとなる。

【0054】

ここで、階調変換コードブックの変換後階調値は、伸長階調値と呼ばれることがある。また、変換後階調値の間にある階調値は、中間階調値と呼ばれることがある。例えば、階調変換コードブックに変換後階調値＝０，４，８，１２が含まれている場合を考える。この場合、伸長階調値は、０，４，８，１２となる。また、中間階調値は、伸長階調値０，４の間にある１〜３と、伸長階調値４，８の間にある５〜７と、伸長階調値８，１２の間にある９〜１１とになる。

【0055】

＜符号化手段＞
図１に戻り、階調削減符号化装置１の構成について、説明する。
符号化手段１１は、階調削減手段１０から入力された階調削減画像を符号化することで、符号化画像を生成するものである。例えば、符号化手段１１は、ＭＰＥＧ（Moving Picture Expert Group）−４ ＡＶＣ（Advanced Video Coding）／Ｈ．２６４、ＨＥＶＣ（High Efficiency Video Coding）等の符号化手法を用いる。そして、符号化手段１１は、生成した符号化画像を復号手段１２と、階調復元復号装置２とに出力する。

【0056】

＜復号手段＞
復号手段１２は、符号化手段１１から入力された符号化画像を復号することで、復号画像を生成するものである。ここで、復号手段１２は、符号化手段１１の符号化手法に対応した復号手法を用いる。そして、復号手段１２は、生成した復号画像を階調復元・最適フィルタ情報生成手段１３に出力する。

【0057】

＜階調復元・最適フィルタ情報生成手段＞
図４〜図６を参照し、階調復元・最適フィルタ情報生成手段１３について、説明する（適宜図１参照）。
図４に示すように、階調復元・最適フィルタ情報生成手段１３は、復号画像を用いて、後記する階調復元復号装置２が階調を復元するときに必要な最適フィルタ情報を生成するものである。このため、階調復元・最適フィルタ情報生成手段１３は、周辺階調重み情報生成手段（階調重み情報生成手段）１３０と、階調値ヒストグラム算出手段１３１と、中間階調値復元手段（中間階調復元画像生成手段）１３２と、最適フィルタ情報生成手段１３３とを備える。

【0058】

まず、階調復元・最適フィルタ情報生成手段１３の入出力について、説明する。
階調復元・最適フィルタ情報生成手段１３は、外部から原画像と、後記するフィルタ情報群及びブロック分割情報とが入力される。また、階調復元・最適フィルタ情報生成手段１３は、階調削減手段１０から階調変換コードブックが入力され、復号手段１２から復号画像が入力される。
また、階調復元・最適フィルタ情報生成手段１３は、生成した最適フィルタ情報と、階調変換コードブックとを階調復元復号装置２に出力する。

【0059】

＜＜周辺階調重み情報生成手段＞＞
次に、階調復元・最適フィルタ情報生成手段１３が備える各手段の処理について、説明する。
周辺階調重み情報生成手段１３０は、フィルタ情報群に設定されたフィルタ情報（フィルタ係数）毎に、エッジ保存型フィルタを復号画像に適用することで、復号画像の各画素の階調値が重み付けられた周辺階調重み情報（階調重み情報）を生成するものである。

【0060】

このフィルタ情報群は、ガウシアン分散値σ_１，σ_２を示すフィルタ情報が異なる値で設定されたものである。例えば、フィルタ情報群は、ガウシアン分散値σ_１＝０．１，１．１，２．１，３．１，・・・というように、１．０刻みで異なるフィルタ情報が複数設定される（ガウシアン分散値σ_２も同様）。

【0061】

本実施形態では、周辺階調重み情報生成手段１３０は、エッジ保存型フィルタとして、下記の式（１）で定義されたバイラテラル(bilateral)なガウシアンフィルタを用いて、それぞれのフィルタ情報で周辺階調重み情報Ｏ（ｉ，ｊ）を生成する。すなわち、周辺階調重み情報生成手段１３０は、フィルタ情報を用いた畳込処理により、復号画像の各画素の階調値Ｉ（ｉ，ｊ）に空間距離Ｄ_１及び輝度距離Ｄ_２による重み付けを行う。このとき、周辺階調重み情報生成手段１３０は、ラスタスキャンを行うように画素位置（ｉ，ｊ）を変化させて、復号画像の全ての画素から、フィルタ情報毎に周辺階調重み情報Ｏ（ｉ，ｊ）を生成する。そして、周辺階調重み情報生成手段１３０は、フィルタ情報群と、フィルタ情報毎に生成した周辺階調重み情報Ｏ（ｉ，ｊ）と、復号画像とを中間階調値復元手段１３２に出力する。

【0062】

【数1】

【0063】

この式（１）では、階調値（輝度値）Ｉ、空間距離Ｄ_１、輝度距離Ｄ_２、画素の水平位置ｉ、画素の垂直位置ｊ、ガウシアンフィルタを適用する画素領域のサイズＳ、及び、ガウシアン分散値σで表される。
また、ｍ，ｎは、例えば、ガウシアンフィルタの領域サイズＳが３の場合、−３から３までの値をとる。
以後、周辺階調重み情報は、各画素の階調値を重み付けた値であるため、重み付き階調値と呼ぶことがある。

【0064】

＜＜階調値ヒストグラム算出手段＞＞
階調値ヒストグラム算出手段１３１は、原画像から、原画像の階調値毎の画素数を示す階調値ヒストグラムを算出するものである。本実施形態では、階調値ヒストグラム算出手段１３１は、図５に示すように、階調値＝０〜１０２３の画素数を示す階調値ヒストグラム９１を算出する。そして、階調値ヒストグラム算出手段１３１は、生成した階調値ヒストグラム９１を中間階調値復元手段１３２に出力する。
なお、図５の階調値ヒストグラム９１では、一部階調値のみを図示した。

【0065】

＜＜中間階調値復元手段＞＞
図６に示すように、中間階調値復元手段１３２は、フィルタ情報毎に、周辺階調重み情報生成手段１３０から入力された復号画像９２で同一階調値の画素について、周辺階調重み情報９３による並び順を算出する。そして、中間階調値復元手段１３２は、階調値ヒストグラムを参照して、同一階調値の画素数と、同一階調値に対応する伸長階調値及び中間階調値の画素数の割合とに基づいて、算出した並び順で同一階調値の画素に伸長階調値又は中間階調値を割り当てた中間階調復元画像９４を生成するものである。

【0066】

ここで、中間階調値復元手段１３２は、階調変換コードブックを用いて、復号画像の階調値を変換（伸長）して、階調伸長画像を生成する。そして、中間階調値復元手段１３２は、生成した階調伸長画像において、この階調伸長画像で抜けている中間階調値を、以下のように復元する。

【0067】

このとき、中間階調値復元手段１３２は、復号画像９２の最小階調値（例えば、０）から最大階調値（例えば、２５５）までを順に指定階調値（同一階調値）として指定し、指定階調値の画素に対して処理を行う。

【0068】

以下、説明を簡易にするために、指定階調値＝３２であり、復号画像９２に指定階調値＝３２の画素が１００個含まれることとする。また、図５に示すように、指定階調値＝３２の場合、伸長階調値＝１２８と、中間階調値＝１２７，１２９，１３０とが対応することとする。つまり、復号画像９２での指定階調値＝３２には、中間階調復元画像９４での階調値１２７〜１３０が対応する。

【0069】

また、図５の階調値ヒストグラム９１では、階調値＝１２７の画素数が１９であり、階調値＝１２８の画素数が２９であり、階調値＝１２９の画素数が２７であり、階調値＝１３０の画素数が２５であることとする（階調値１２７〜１３０で画素数の合計が１００）。

【0070】

図６では、エッジＥｇの付近に着目し、各画素の階調値を５，８，３２といった数値で表し、指定階調値＝３２の画素を符号ａ，ｂ，ｃ，ｄで図示した（丸付きの数値）。
また、１００個存在する指定階調値＝３２の画素のうち、４個の画素ａ，ｂ，ｃ，ｄに着目して説明する。

【0071】

中間階調値復元手段１３２は、図６（ａ）に示すように、復号画像９２から、指定階調値＝３２の画素ａ，ｂ，ｃ，ｄを検出する。そして、中間階調値復元手段１３２は、検出した画素ａ，ｂ，ｃ，ｄの位置情報（画素座標）を生成する。

【0072】

また、中間階調値復元手段１３２は、図６（ｂ）に示すように、全画素分の周辺階調重み情報９３から、位置情報で特定される画素ａ，ｂ，ｃ，ｄの重み付き階調値＝３３，３７，３４，２８を抽出する。

【0073】

そして、中間階調値復元手段１３２は、図６（ｂ）に示すように、復号画像９２で指定階調値＝３２の画素ａ，ｂ，ｃ，ｄについて、重み付き階調値による並び順を算出するものである。つまり、中間階調値復元手段１３２は、１００個存在する指定階調値＝３２の画素を重み付き階調値の昇順で並び替えて、各画素の並び順を算出する。図６（ｂ）では、画素ａ，ｂ，ｃ，ｄの並び順を上付き数値で図示し、画素ａが４２番目であり、画素ｂが８７番目であり、画素ｃが６３番目であり、画素ｄが３１番目となっている。

【0074】

さらに、中間階調値復元手段１３２は、図６（ｃ）に示すように、図５の階調値ヒストグラム９１を参照して、重み付き階調値の並び順で、指定階調値＝３２の画素ａ，ｂ，ｃ，ｄに伸長階調値＝１２８又は中間階調値＝１２７，１２９，１３０を割り当てる。前記したように、指定階調値＝３２の画素は、合計１００個である。また、図５の階調値ヒストグラム９１において、階調値が１２７，１２８，１２９，１３０となる画素数の割合は、１９：２９：２７：２５となっている。このため、中間階調値復元手段３５は、１００個存在する指定階調値＝３２の画素に対し、重み付き階調値の昇順で、１９個の画素に中間階調値＝１２７、２９個の画素に伸長階調値＝１２８、２７個の画素に中間階調値＝１２９、２５個の画素に中間階調値＝１３０をそれぞれ割り当てる。従って、画素ａ，ｂ，ｃ，ｄは、それぞれ、階調値＝１２８，１３０，１２９，１２８が割り当てられる。

【0075】

このように、中間階調値復元手段１３２は、図６の処理を全ての指定階調値の画素に対して行い、全ての画素に階調値＝０〜１０２３を割り当てた中間階調復元画像９４を生成する。さらに、中間階調値復元手段１３２は、全ての周辺階調重み情報を用いて、平滑化の程度が異なる中間階調復元画像９４を複数生成する。その後、中間階調値復元手段１３２は、生成した複数の中間階調復元画像９４と、フィルタ情報群と、階調変換コードブックとを最適フィルタ情報生成手段１３３に出力する。

【0076】

最適フィルタ情報生成手段１３３は、外部から入力されたブロック分割情報を参照し、複数の中間階調復元画像と、原画像とを所定サイズのブロックに分割する。そして、最適フィルタ情報生成手段１３３は、ブロック毎に、原画像に最も類似する中間階調復元画像のフィルタ情報を最適フィルタ情報として生成するものである。
このブロック分割情報は、中間階調復元画像及び原画像を分割するブロックのサイズを表す情報であり、手動で設定される。

【0077】

具体的には、最適フィルタ情報生成手段１３３は、複数の中間階調復元画像及び原画像を、ブロック分割情報で指定された同一サイズのブロックに分割する。また、最適フィルタ情報生成手段１３３は、同一位置のブロック毎に、原画像の画素と各中間階調復元画像の対応画素との階調値の差分二乗和を求める。そして、最適フィルタ情報生成手段１３３は、同一位置のブロック毎に、各中間階調復元画像のうち、差分二乗和が最小になる中間階調復元画像を最も類似する中間階調復元画像として求める。さらに、最適フィルタ情報生成手段１３３は、最も類似する中間階調復元画像を生成したときの全ブロック分のフィルタ情報を、最適フィルタ情報として生成する。

【0078】

［階調復元復号装置の構成］
図１に戻り、本発明の第１実施形態に係る階調復元復号装置２の構成について、説明する。
階調復元復号装置２は、符号化画像及び最適フィルタ情報を用いて、削減された階調を復元するものであり、復号手段２０と、階調復元手段２１とを備える。

【0079】

＜復号手段＞
復号手段２０は、階調削減符号化装置１から入力された符号化画像を復号することで、復号画像を生成するものである。ここで、復号手段２０は、復号手段１２と同様の復号手法を用いる。そして、復号手段２０は、生成した復号画像を階調復元手段２１に出力する。

【0080】

＜階調復元手段＞
図７を参照し、階調復元手段２１について、説明する（適宜図１参照）。
階調復元手段２１は、最適フィルタ情報を用いて、復号画像の階調を復元するものである。このため、階調復元手段２１は、周辺階調重み情報生成手段（階調重み情報生成手段）２１０と、階調値ヒストグラム設定手段２１１と、中間階調値復元手段（中間階調復元画像生成手段）２１２とを備える。

【0081】

まず、階調復元手段２１の入出力について、説明する。
階調復元手段２１は、階調削減符号化装置１から階調変換コードブックと、最適フィルタ情報とが入力される。また、階調復元手段２１は、復号手段２０から復号画像が入力される。
また、階調復元手段２１は、生成した中間階調復元画像を外部に出力する。

【0082】

次に、階調復元手段２１が備える各手段の処理について、階調復元・最適フィルタ情報生成手段１３と異なる点を説明する。
周辺階調重み情報生成手段２１０は、最適フィルタ情報をフィルタ情報の初期値として設定し、この最適フィルタ情報によるエッジ保存型フィルタを復号画像に適用することで、復号画像の各画素の階調値が重み付けられた周辺階調重み情報を生成するものである。
つまり、周辺階調重み情報生成手段２１０は、フィルタ情報群の代わりに最適フィルタ情報を用いて、周辺階調重み情報を１つ生成する。他の点、周辺階調重み情報生成手段２１０は、周辺階調重み情報生成手段１３０と同様のため、詳細な説明を省略する。

【0083】

階調値ヒストグラム設定手段２１１は、階調値ヒストグラムが予め設定されるものである。ここで、階調値ヒストグラム設定手段２１１は、以下で説明する第１例〜第３例の何れかの手法で階調値ヒストグラムを予め設定する（図８〜図１０参照）。

【0084】

＜階調値ヒストグラムの設定：第１例＞
この第１例は、階調値ヒストグラム算出手段１３１（図４）で生成された階調値ヒストグラムをそのまま設定する手法である。つまり、階調値ヒストグラム設定手段２１１は、階調値ヒストグラム算出手段１３１から階調値ヒストグラムが入力され、入力された階調値ヒストグラムをそのまま設定する。この第１例によれば、階調値ヒストグラム設定手段２１１は、階調値ヒストグラムを生成する必要がないため、演算処理の高速化を図ることができる。
なお、第１例を用いる場合、階調値ヒストグラム設定手段２１１に復号画像を入力する必要がない。

【0085】

＜階調値ヒストグラムの設定：第２例＞
この第２例は、推定により階調値ヒストグラム９１を設定する手法である
階調値ヒストグラム設定手段２１１は、原画像と復号画像との階調数の比（例えば、１０２４／２５６＝４）が、復元倍率として予め設定されている。

【0086】

また、図８に示すように、階調値ヒストグラム設定手段２１１は、復号画像で階調値毎の画素数を示す復号画像ヒストグラム９５を算出する。本実施形態では、復号画像の階調数＝２５６である。従って、階調値ヒストグラム設定手段２１１は、階調値＝０，１，２，３，・・・，２５５の復号画像ヒストグラム９５を算出する。

【0087】

そして、図９に示すように、階調値ヒストグラム設定手段２１１は、算出した復号画像ヒストグラム９５（図８）の階調値に復元倍率を乗じて、階調値ヒストグラム９１の伸長階調値を算出する。本実施形態では、復元倍率が４であり、復号画像ヒストグラム９５の階調値＝０，１，２，３，・・・，２５５である。従って、階調値ヒストグラム設定手段２１１は、階調値ヒストグラム９１の伸長階調値＝０，４，８，１２，・・・，１０２０を算出する。このとき、階調値ヒストグラム９１の画素数（縦軸）は、図８の復号画像ヒストグラム９５と同じ値になる。つまり、図８の符号α_０，α_１，α_２，α_３における階調値（横軸）を４倍したものが、図９の符号α_０，α_１，α_２，α_３となる。

【0088】

さらに、階調値ヒストグラム設定手段２１１は、一般的な画像で各画素の階調値が滑らかに連続する性質を利用して、最小二乗法により中間階調値の画素数を推定する。図９では、中間階調値は、伸長階調値０，４の間にある１〜３と、伸長階調値４，８の間にある５〜７と、伸長階調値８，１２の間にある９〜１１とになる。まず、階調値ヒストグラム設定手段２１１は、最小二乗法を用いて、伸長階調値０，４の間にある中間階調値１〜３の画素数を推定する。具体的には、階調値ヒストグラム設定手段２１１は、階調値ヒストグラム９１で伸長階調値＝０，４の画素数を結ぶように、最小二乗直線β_１を引く。すなわち、最小二乗直線β_１は、伸長階調値＝０，４の間にある中間階調値＝１〜３の画素数を推定したものになる。従って、階調値ヒストグラム設定手段２１１は、この最小二乗直線β_１が示す値を中間階調値＝１〜３の画素数として推定する。その後、階調値ヒストグラム設定手段２１１は、最小二乗直線β_１と同様に最小二乗直線β_２，β_３を引いて、中間階調値＝５〜７，９〜１１の画素数を求め、階調値ヒストグラム９１を推定する。この第２例によれば、階調値ヒストグラム設定手段２１１は、階調値ヒストグラムにおいて、中間階調値の画素数が滑らかに連続し、中間階調値の正確性をより向上させることができる。
なお、階調値ヒストグラム設定手段２１１は、全ての階調値で画素数を推定することは言うまでもない。

【0089】

＜階調値ヒストグラムの設定：第３例＞
この第３例は、コピーにより階調値ヒストグラム９１を設定する手法である
階調値ヒストグラム設定手段２１１は、第２例と同様、復号画像ヒストグラム９５（図８）を算出し、伸長階調値を算出する。つまり、図８の符号α_０，α_１，α_２，α_３における階調値を４倍したものが、図１０の符号α_０，α_１，α_２，α_３となる。

【0090】

また、図１０に示すように、階調値ヒストグラム設定手段２１１は、中間階調値を伸長階調値と同じ値としてコピーする。例えば、伸長階調値４を基準として、復元倍率＝４の階調値だけ前後する中間階調値＝３，５，６に着目する。この場合、階調値ヒストグラム設定手段２１１は、伸長階調値４の画素数を中間階調値＝３，５，６の画素数としてコピーする。つまり、階調値ヒストグラム９１では、階調値＝３〜６の画素数が同じ値となる。

【0091】

これと同様、階調値ヒストグラム設定手段２１１は、伸長階調値＝８の画素数を中間階調値＝７，９，１０の画素数としてコピーし、伸長階調値＝１２の画素数を中間階調値＝１１，１３，１４の画素数としてコピーする。このようにして、階調値ヒストグラム設定手段２１１は、全ての階調値の画素数を示す階調値ヒストグラム９１を生成する。この第３例によれば、階調値ヒストグラム設定手段２１１は、簡易な演算処理で階調値ヒストグラムを生成するため、演算処理の高速化を図ることができる。
なお、階調値ヒストグラム設定手段２１１は、階調値ヒストグラム９１に負の階調値が存在しないため、伸長階調値＝０の画素数を中間階調値＝１，２の画素数としてコピーする。

【0092】

図７に戻り、階調復元手段２１の説明を続ける。
中間階調値復元手段２１２は、復号画像で同一階調値の画素について、周辺階調重み情報による並び順を算出する。そして、中間階調値復元手段２１２は、階調値ヒストグラムを参照して、同一階調値の画素数と、同一階調値に対応する伸長階調値及び中間階調値の画素数の割合とに基づいて、算出した並び順で同一階調値の画素に伸長階調値又は中間階調値を割り当てた中間階調復元画像を生成するものである。
なお、中間階調値復元手段２１２は、中間階調復元画像を１つ生成する以外、中間階調値復元手段１３２と同様のため、詳細な説明を省略する。

【0093】

［階調削減符号化装置の動作］
図１１を参照し、図１の階調削減符号化装置１の動作について、説明する（適宜図１参照）。
階調削減符号化装置１は、階調削減手段１０によって、階調削減画像を生成する（ステップＳ１０：階調削減画像生成処理）。
階調削減符号化装置１は、符号化手段１１によって、階調削減画像を符号化することで、符号化画像を生成する（ステップＳ１１）。

【0094】

階調削減符号化装置１は、復号手段１２によって、符号化画像を復号することで、復号画像を生成する（ステップＳ１２）。
階調削減符号化装置１は、階調復元・最適フィルタ情報生成手段１３によって、復号画像を用いて、最適フィルタ情報を生成する（ステップＳ１３：階調復元・最適フィルタ情報生成処理）。

【0095】

＜階調削減画像生成処理＞
図１２を参照し、図１１の階調削減画像生成処理について、説明する。
階調削減手段１０は、雑音レベル検出手段１００によって、原画像に時空間方向の周波数解析処理を行って、第１閾値以上の周波数成分から孤立点成分を抽出し、抽出した孤立点成分のレベルを雑音レベルとして検出する（ステップＳ１００）。

【0096】

階調削減手段１０は、画像分離手段１０１によって、原画像を、雑音レベル以下の画素で構成される雑音画像と、雑音レベルを超える画素で構成される信号画像とに分離する（ステップＳ１０１）。

【0097】

階調削減手段１０は、低階調雑音画像再量子化初期値決定手段１０２ａによって、雑音レベルが粗く量子化されるように、低階調雑音画像再量子化初期値を決定する（ステップＳ１０２）。

【0098】

階調削減手段１０は、低階調雑音画像再量子化手段１０２ｂによって、低階調雑音画像再量子化初期値を用いて、雑音画像に階調削減処理を行い、雑音画像階調変換コードブックと、低階調雑音画像を生成する（ステップＳ１０３）。

【0099】

階調削減手段１０は、グラデーション領域検出手段１０３によって、信号画像の画素毎に、空間方向の周波数解析処理を行って信号画像の全周波数帯域に対する低周波数帯域の割合を算出し、算出した割合が第２閾値以上となる画素領域をグラデーション領域として検出する（ステップＳ１０４）。

【0100】

階調削減手段１０は、低階調信号画像再量子化初期値決定手段１０４ａによって、低階調信号画像再量子化初期値を決定する（ステップＳ１０５）。

【0101】

階調削減手段１０は、低階調信号画像再量子化手段１０４ｂによって、低階調信号画像再量子化初期値を用いて、信号画像に階調削減処理を行い、信号画像階調変換コードブックと、低階調信号画像とを生成する（ステップＳ１０６）。

【0102】

階調削減手段１０は、画像合成手段１０５によって、低階調雑音画像と、低階調信号画像とを合成して、階調削減画像を生成する。また、階調削減手段１０は、画像合成手段１０５によって、雑音画像階調変換コードブックと信号画像階調変換コードブックとを合わせて、階調変換コードブックを生成する（ステップＳ１０７）。

【0103】

＜階調復元・最適フィルタ情報生成処理＞
図１３を参照し、図１１の階調復元・最適フィルタ情報生成処理について、説明する。
階調復元・最適フィルタ情報生成手段１３は、周辺階調重み情報生成手段１３０によって、フィルタ情報毎に、エッジ保存型フィルタを復号画像に適用することで、周辺階調重み情報を生成する（ステップＳ１３０）。
階調復元・最適フィルタ情報生成手段１３は、階調値ヒストグラム算出手段１３１によって、階調値ヒストグラムを算出する（ステップＳ１３１）。

【0104】

階調復元・最適フィルタ情報生成手段１３は、中間階調値復元手段１３２によって、フィルタ情報毎に、復号画像で同一階調値の画素について、周辺階調重み情報による並び順を算出する。また、階調復元・最適フィルタ情報生成手段１３は、中間階調値復元手段１３２によって、階調値ヒストグラムを参照して、同一階調値の画素数と、同一階調値に対応する伸長階調値及び中間階調値の画素数の割合とに基づいて、中間階調復元画像を生成する（ステップＳ１３２）。

【0105】

階調復元・最適フィルタ情報生成手段１３は、最適フィルタ情報生成手段１３３によって、ブロック分割情報を参照し、複数の中間階調復元画像と、原画像とを所定サイズのブロックに分割し、ブロック毎に最適フィルタ情報を生成する（ステップＳ１３３）。

【0106】

［階調復元復号装置の動作］
図１１に戻り、図１の階調復元復号装置２の動作について、説明する（適宜図１参照）。
階調復元復号装置２は、復号手段２０によって、ステップＳ１１で生成された符号化画像を復号することで、復号画像を生成する（ステップＳ２０）。
階調復元復号装置２は、階調復元手段２１によって、ステップＳ１３で生成された最適フィルタ情報を用いて、復号画像の階調を復元する（ステップＳ２１）。

【0107】

以上のように、本発明の第１実施形態に係る階調削減符号化装置１は、原画像の雑音成分と、雑音以外の信号成分とを区別して階調を削減する。従って、階調削減符号化装置１及び階調復元復号装置２は、雑音成分のデータ量を少なくすると共に、信号成分の階調数を高くできるため、圧縮効率を改善し、擬似輪郭の発生を抑制することができる。

【0108】

さらに、階調削減符号化装置１及び階調復元復号装置２は、最適フィルタ情報をサイド情報として利用できるため、階調値をより正確に復元することができる。
さらに、階調削減符号化装置１は、ロイド−マックス法により、原画像で出現頻度が高い階調値付近に階調数を多く割り当てて、出現頻度が低い階調値付近に割り当てられる階調数を少なくし、階調値をより正確に復元することができる。

【0109】

（第２実施形態）
［階調削減符号化装置の構成］
図１４を参照し、本発明の第２実施形態に係る階調削減符号化装置１Ａの構成について、第１実施形態と異なる点を説明する。
階調削減符号化装置１Ａは、最適フィルタ情報を生成しない点が第１実施形態と異なる。このため、階調削減符号化装置１Ａは、階調削減手段１０と、符号化手段１１とを備える。
なお、階調削減符号化装置１Ａの各手段は、図１と同様のため、詳細な説明を省略する。

【0110】

［階調復元復号装置の構成］
階調復元復号装置２Ａは、予め設定されたフィルタ情報の初期値（初期フィルタ情報）を用いて、削減された階調を復元するものである。このため、階調復元復号装置２Ａは、復号手段２０と、階調復元手段２１Ａとを備える。

【0111】

なお、復号手段２０は、図１と同様のため、詳細な説明を省略する。
また、階調復元手段２１Ａは、初期フィルタ情報を手動で設定する以外、図１の階調復元手段２１と同様のため、詳細な説明を省略する。

【0112】

［階調削減符号化装置の動作］
図１５を参照し、図１４の階調削減符号化装置１Ａの動作について、説明する（適宜図１４参照）。
階調削減符号化装置１Ａは、階調削減手段１０によって、原画像の階調を削減した階調削減画像を生成する（ステップＳ１０）。
階調削減符号化装置１Ａは、符号化手段１１によって、階調削減画像を符号化することで、符号化画像を生成する（ステップＳ１１）。

【0113】

［階調復元復号装置の動作］
図１４の階調復元復号装置２Ａの動作について、説明する（適宜図１４参照）。
階調復元復号装置２Ａは、復号手段２０によって、ステップＳ１１で生成された符号化画像を復号することで、復号画像を生成する（ステップＳ２０）。
階調復元復号装置２Ａは、階調復元手段２１Ａによって、初期フィルタ情報を用いて、復号画像の階調を復元する（ステップＳ２１Ａ）。

【0114】

以上のように、本発明の第２実施形態に係る階調削減符号化装置１Ａ及び階調復元復号装置２Ａは、第１実施形態と同様、圧縮効率を改善し、擬似輪郭の発生を抑制することができる。
さらに、階調削減符号化装置１Ａは、最適フィルタ情報を生成する必要がないため、演算処理の高速化を図ることができる。

【0115】

以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、その趣旨を変えない範囲で実施することができる。実施形態の変形例を以下に示す。

【0116】

（変形例１）
各実施形態では、式（１）のガウシアンフィルタを用いることとして説明したが、本発明のエッジ保存型フィルタは、これに限定されない。
つまり、周辺階調重み情報生成手段１３０は、エッジ保存型フィルタとして、下記の式（２）で定義されたモノラテラル（monolateral）なガウシアンフィルタを用いることもできる。この式（２）は、式（１）から輝度距離Ｄ_２に関する項を削除したものである。

【0117】

【数2】

【0118】

＜中間階調復元画像の比較＞
式（２）のガウシアンフィルタを用いた場合でも、階調復元・最適フィルタ情報生成手段１３の各手段は、第１実施形態と同様の処理により、中間階調復元画像９４Ａを生成する。しかし、生成した中間階調復元画像９４Ａは、式（１）及び式（２）のようにガウシアンフィルタが異なるため、中間階調復元画像９４と異なる階調値を有することになる。そこで、図１６を参照し、式（１）及び式（２）のガウシアンフィルタで生成した中間階調復元画像の相違について、説明する（適宜図１，図６参照）。

【0119】

中間階調値復元手段１３２は、図１６（ａ）に示すように、復号画像９２から、指定階調値＝３２の画素ａ，ｂ，ｃ，ｄを検出する。この処理結果は、図６（ａ）と何ら変わることがない。

【0120】

また、中間階調値復元手段１３２は、図１６（ｂ）に示すように、全ての画素の周辺階調重み情報９３Ａから、画素ａ，ｂ，ｃ，ｄの重み付き階調値３３，３４，３３，１９を抽出する。つまり、図６（ｂ）及び図１６（ｂ）では、式（１）及び式（２）のようにガウシアンフィルタが異なるため、画素ａ，ｂ，ｃ，ｄの重み付き階調値が異なっている。

【0121】

そして、中間階調値復元手段１３２は、図１６（ｂ）に示すように、画素ａ，ｂ，ｃ，ｄについて、重み付き階調値の並び順を算出し、重み付き階調値の並び順で画素ａ，ｂ，ｃ，ｄに伸長階調値＝１２８又は中間階調値＝１２７，１２９，１３０を割り当てる。図１６（ｂ）では、画素ａが３６番目であり、画素ｂが６５番目であり、画素ｃが３７番目であり、画素ｄが４番目である。従って、画素ａ，ｂ，ｃ，ｄは、それぞれ、階調値１２８，１２９，１２９，１２７が割り当てられる。

【0122】

ここで、図６（ｃ）の中間階調復元画像９４では、画素ｂ，ｃ，ｄの階調値＝１３０，１２９，１２８である。一方、図１６（ｃ）の中間階調復元画像９４Ａでは、画素ｂ，ｃ，ｄの階調値＝１２９，１２８，１２７である。つまり、画素ｂ，ｃ，ｄの階調値は、中間階調復元画像９４が中間階調復元画像９４Ａよりも高く、エッジＥｇの右側に位置する画素の階調値との差もより大きくなる。以上より、中間階調復元画像９４ＡではエッジＥｇが十分に鮮明であり、中間階調復元画像９４ではエッジＥｇが極めて鮮明になることがわかる。

【0123】

（変形例２）
第２実施形態では、階調削減処理としてロイド−マックス法を用いることとして説明したが、階調削減処理は、これに限定されない。
第２実施形態において、階調削減手段１０は、階調削減処理として、切り捨て処理を用いることもできる。

【0124】

この切り捨て処理では、原画像の階調数をΔビット削減する場合、原画像の階調値を２＾Δで割って余りを切り捨てて、階調削減画像を生成することになる。この切り捨て処理が簡易な演算のため、階調削減手段１０は、演算処理を高速化することができる。

【0125】

例えば、原画像の階調数を１０ビットとし、階調削減画像の階調数を８ビットとし、Δ＝２ビットとする。この場合、切り捨て処理において、階調変換コードブックでは、変換前階調値が、原画像の階調値を２＾Δで割って余りを切り捨てた階調値となる。また、変換後階調値が、変換前階調値を２＾Δ倍した階調値となる。従って、階調変換コードブックは、前記した表１と同一になる。

【0126】

（変形例３）
第２実施形態において、階調削減手段１０は、階調削減処理として、四捨五入処理を用いることもできる。

【0127】

この四捨五入処理では、原画像の階調数をΔビット削減する場合、原画像の階調値を２＾Δで割って余りを四捨五入し、階調削減画像を生成することになる。この四捨五入処理が簡易な演算のため、階調削減手段１０は、演算処理を高速化することができる。

【0128】

例えば、原画像の階調数を１０ビットとし、階調削減画像の階調数を８ビットとし、Δ＝２ビットとする。この場合、四捨五入処理において、階調変換コードブックでは、変換前階調値が、原画像の階調値を２＾Δで割って余りを四捨五入した階調値となる。また、変換後階調値が、変換前階調値を２＾Δ倍した階調値となる。従って、階調変換コードブックは、前記した表１と同一になる。

【符号の説明】

【0129】

１，１Ａ 階調削減符号化装置
１０ 階調削減手段
１１ 符号化手段
１２ 復号手段
１３ 階調復元・最適フィルタ情報生成手段
１００ 雑音レベル検出手段
１０１ 画像分離手段
１０２ 低階調雑音画像生成手段
１０２ａ 低階調雑音画像再量子化初期値決定手段
１０２ｂ 低階調雑音画像再量子化手段
１０３ グラデーション領域検出手段
１０４ 低階調信号画像生成手段
１０４ａ 低階調信号画像再量子化初期値決定手段
１０４ｂ 低階調信号画像再量子化手段
１０５ 画像合成手段
１３０ 周辺階調重み情報生成手段（階調重み情報生成手段）
１３１ 階調値ヒストグラム算出手段
１３２ 中間階調値復元手段（中間階調復元画像生成手段）
１３３ 最適フィルタ情報生成手段
２，２Ａ 階調復元復号装置
２０ 復号手段
２１，２１Ａ 階調復元手段
２１０ 周辺階調重み情報生成手段（階調重み情報生成手段）
２１１ 階調値ヒストグラム設定手段
２１２ 中間階調値復元手段（中間階調復元画像生成手段）
１０００，１０００Ａ 階調復元システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】