特許 6722651 画像のタイプに応じて圧縮アルゴリズムを選択する方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6722651

(24)【登録日】2020年6月24日

(45)【発行日】2020年7月15日

(54)【発明の名称】画像のタイプに応じて圧縮アルゴリズムを選択する方法

(51)【国際特許分類】

   H04N 19/12 20140101AFI20200706BHJP

   H04N 19/14 20140101ALI20200706BHJP

   H04N 19/172 20140101ALI20200706BHJP

   H04N 19/593 20140101ALI20200706BHJP

   H04N 19/63 20140101ALI20200706BHJP

【ＦＩ】

   H04N19/12

   H04N19/14

   H04N19/172

   H04N19/593

   H04N19/63

【請求項の数】14

【全頁数】11

(21)【出願番号】特願2017-503569(P2017-503569)

(86)(22)【出願日】2015年7月9日

(65)【公表番号】特表2017-530578(P2017-530578A)

(43)【公表日】2017年10月12日

(86)【国際出願番号】FR2015000142

(87)【国際公開番号】WO2016012667

(87)【国際公開日】20160128

【審査請求日】2018年7月2日

(31)【優先権主張番号】14/01695

(32)【優先日】2014年7月24日

(33)【優先権主張国】FR

(73)【特許権者】

【識別番号】516106748

【氏名又は名称】コリン，ジャン−クロード

(74)【代理人】

【識別番号】110002398

【氏名又は名称】特許業務法人小倉特許事務所

(72)【発明者】

【氏名】ジェルヴェ，タン マルク−エリック

(72)【発明者】

【氏名】ルベ，ブルノ

(72)【発明者】

【氏名】ベッソー，ニコラス

(72)【発明者】

【氏名】ギミオ，イヴ

(72)【発明者】

【氏名】プティフィス，ミカエル

(72)【発明者】

【氏名】ローク，セバスティアン

【審査官】 坂東 大五郎

(56)【参考文献】

【文献】 特開平０７−１１１５９５（ＪＰ，Ａ）

【文献】 特開平１１−２５２５６３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０１５８４００（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００７／０２０１７５１（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

画像の少なくとも１つのカラーレイヤーの全ての画素の光度値の分布を表す指標を計算し，
前記指標を所定の閾値と比較して，画像の少なくとも１つのカラーレイヤー全体の画像のタイプを決定し，決定した画像のタイプに応じて，以下の３つのクラスのうちの１つに画像を分類し;
前記画像のタイプがグラフィックタイプなら，第１のクラス，
前記画像のタイプが高コントラストタイプなら，第２のクラス，
前記画像のタイプが低コントラストタイプなら，第３のクラス，
画像のクラスに応じて，圧縮処理のタイプを選択し，
画像が前記第１のクラスである場合，カラーレイヤーの画素の元の値と，前記レイヤーに隣接する画素の復元値との差分処理を行い：
画像が前記第３のクラスである場合，周波数処理を行い，
画像が前記第２のクラスである場合，
ロス無し，又は準ロス無しでの圧縮の場合，カラーレイヤーの画素の元の値と，前記レイヤーの隣接する画素の復元値との差分からなる処理を使用した圧縮を行い，
その他の場合，周波数処理を行う，
ことを特徴とする画像を圧縮するための方法。

【請求項2】

前記計算は，前記画像の光度を表すカラーレイヤー上で実行されることを特徴とする請求項１記載の方法。

【請求項3】

各色相について，色相値（ｋ＝０〜２５５）に対応する各色相で，画像を分類するために，
この色相を持つ画素数ｎ（ｋ）が計算され，次いで，
対象とする色相（ｋ）の画素数ｎ（ｋ）と，その近傍の画素数の所定比率分との間の差分を取ることにより，色相の集中の指標が計算され，次いで，
前記色相の集中の指標（Ｅ（ｋ））は，所定の閾値より高くなるよう維持され，これらの集中の指標の各々は，画素の総数に従った係数で除算されて画像のサイズに応じて換算され，次いで，
カラーレイヤー全体にわたって各色相について取得された前記色相の集中の指標（Ｅ（ｋ））の結果を集計して求めたメトリック（ＦＤ，ＦＤ２）を前記光度の分布を表す指標とする
ことを特徴とする請求項２記載の方法。

【請求項4】

それぞれの前記所定比率は，近傍のうち最も遠い行で最も減少されるようにしたことを特徴とする請求項３記載の方法。

【請求項5】

前記近傍として，１つ隣の行（ｋ−１及びｋ＋１）及び２つ隣の行（ｋ−２及びｋ＋２）が使用され，１つ隣の行の各々，即ち対象とする色相（ｋ）のすぐ隣の行に対し８０％の前記所定比率を適用し，２つ隣の行の各々，即ち１つ隣の行のすぐ隣の行に対しては２０％の前記所定比率を適用することを特徴とする請求項３又は４記載の方法。

【請求項6】

近傍の値に適用される前記所定比率の合計は１に等しいことを特徴とする請求項３〜５何れか１項記載の方法。

【請求項7】

保持された集中の指標の各々は，１より大きい数で巾乗されることを特徴とする請求項３〜６何れか１項記載の方法。

【請求項8】

保持された集中の指標の各々は，２で巾乗されることを特徴とする請求項７記載の方法。

【請求項9】

前記光度の分布を表す指標の計算を，最も代表的なカラーレイヤーを選択して行い，該最も代表的なカラーレイヤーを選択する前に，比色変換が入力データに適用されることを特徴とする請求項１〜８何れか１項記載の方法。

【請求項10】

ＹＣｒＣｂ変換が，ＲＧＢ又はＢＧＲタイプの入力データに対して適用されることを特徴とする請求項９記載の方法。

【請求項11】

入力データ又は比色変換後のデータはＹＣｂＣｒ又はＹＵＶタイプであり，画像の光度を表しているカラーレイヤーはカラーレイヤーＹであることを特徴とする請求項１〜１０何れか１項記載の方法。

【請求項12】

前記指標の計算は，画像全体に渡る特有のＲＧＢの組合せ数を計算することを含むことを特徴とする請求項１記載の方法。

【請求項13】

画像全体に渡る特有のＲＧＢの組合せ数は，画像の画素の数に従った係数により除算されることを特徴とする請求項１２記載の方法。

【請求項14】

画像全体に渡る特有のＲＧＢの組合せ数，又は画像の画素の数に従った係数により除算された画像全体に渡る特有のＲＧＢの組合せ数は，前記指標として一組の閾値と比較され，次いで，この画像は以下のルールに従って分類される，
第１の閾値未満であれば，この画像は第１のクラスに分類され，
第１の閾値より大きい第２の閾値を超えるときには，この画像は第３のクラスに分類され，
第１の閾値と第２の閾値との間にあれば，この画像は第２のクラスに分類される，
ことを特徴とする請求項１２又は１３記載の方法。

【発明の詳細な説明】

【発明の詳細な説明】

【0001】

画像は，全く異なるタイプに属し得る。特に，明瞭なラインからなる非常に「グラフィック」な画像と，多くの色彩のグラデーションからなる，より「自然」な画像とがある。

【0002】

各々の圧縮アルゴリズムは，独自のデータ表現を使用している。例えば，ウェーブレットによる圧縮では，周波数変換により画像を連続するサブ画像に分割するのに対して，或るコーデック，特に本願出願人により開発されたものは，画像の数値間の差分を取っている。

【0003】

したがって，本発明は，画像データのタイプを使用して最良のデータの表現を符号化時に自動的に選択し，ファイルヘッダに含められた情報を使用して復元時に逆変換を実行するコーデックを規定することを提案する。

【0004】

アルゴリズムのタイプの各々は，ある程度，或る画像のタイプに適合されている。特に，周波数表現は，低コントラストの画像に非常に良く適合するのに対して，差分表現は，グラフィックや高コントラストの画像に良く適合する。

【0005】

方法の各々（差分／ウェーブレット）は，ロス有り又はロス無しのモードで使用できる。変換は，レイヤーの各々に個別に適用される。これに対して，変換のタイプの選択は，例えば，予めＹＣｂＣｒ変換を受けている画像の場合にはＹ，或いは，ロス無しの比色変換（transformation colorimetrique）の場合には画像の最も光度を表すレイヤーのように，最も代表的と考えられるレイヤーに適用される。

【0006】

使用されるアルゴリズムがウェーブレットによる圧縮であるときには，この変換は，ウェーブレットと二値符号化の特有な実施により，又はＪｐｅｇ２０００若しくはＰＧＦのような標準的なフォーマットを使用して実行できる。以下の例では，これには限定されないが，使用するウェーブレットのフォーマットはＪｐｅｇ２０００及びＰＧＦである。

【0007】

使用されるアルゴリズムが差分による変換であるときには，この差分による変換は，同一のレイヤーで２つの隣接する画素の値間の差分を取り，次いで，所定の除数Ｑでこの差分を量子化することにより構成される。誤差が伝搬しないように，以下に定義される復元値に対して差分が取られる。同様に，もし，２方向に差分を取ることが可能なら，復元値を使用して，最も低い差分を生成するであろう方向が決定される。それから，圧縮時と復元時との差分が計算される。

【0008】

より詳細な方法では，この符号化の方法は，以下のようにして実行される。

【0009】

変換される行列は，二次元での画像のレイヤーを表すものとして考える。以下のような命名法が適用される。
Ｖ_i,jは行列の初期値であり，ｉは行番号を示し，ｊは列番号を示す。
Ｃ_i,jは対応する圧縮値を示し，Ｄ_i,jは対応する復元値を示す。
したがって，５×５行列において数値の配置は以下のようになる。

【0010】

以下の数値で，同様に，量子化係数Ｑ＝３で，各Ｖ_i,jについての数値例を取り上げる。

差分は，１番から最後まで，左から右に，各行毎に取られる。
最初の値Ｖ_1,1は，そのまま保持される。
最初の水平ラインでは，各値Ｖ_１,ｊについて，それの左に位置する復元値Ｄ_1,j-1に対して差分が取られ，それから，これらが量子化され，丸め（arrondit）られる。このことから，以下のようになる。
Ｄ_1,1＝Ｃ_1,1＝Ｖ_1,1＝０；
Ｃ_1,2＝ＲＯＵＮＤ（（Ｖ_1,2−Ｄ_1,1）／Ｑ）＝ＲＯＵＮＤ（（０−０）／３）＝０
Ｄ_1,2＝ＲＯＵＮＤ（Ｄ_1,1＋（Ｃ_1,2＊Ｑ））＝ＲＯＵＮＤ（０＋０＊３）＝０

行の終わりまで，同様である。

【0011】

これに続く行の各々について，前記行の第１のボックスの圧縮値Ｃ_i,1は，現在の値Ｖ_i,1と上述のすぐ上の復元値Ｄ_i-1,1との間の差分を取ることにより，計算される。
したがって，これは，例えば第２の行を算出する。
Ｃ_2,1＝ＲＯＵＮＤ（（Ｖ_2,1−Ｄ_1,1）／Ｑ）＝ＲＯＵＮＤ（（０−０）／３）＝０
Ｄ_2,1＝ＲＯＵＮＤ（Ｄ_1,1＋（Ｃ_2,1＊Ｑ））＝ＲＯＵＮＤ（０＋（０＊３））＝０

【0012】

その行のこれに続く値の各々に関して，もし，（Ｄ_i-1,j−Ｄ_i-1,j-1）が絶対値として（Ｄ_i,j-1−Ｄ_i-1,j-1）より小さい場合，値Ｖ_i,jの各々について，差分は水平方向に計算され，そして，反対の場合には，差分は垂直方向に計算される。

【0013】

このことから，値Ｖ_2,2については：
・（Ｄ_1,2−Ｄ_1,1）の絶対値は０；
・（Ｄ_2,1−Ｄ_1,1）の絶対値は０；
・２つの値が等しいとき，垂直差分が選択される；
・したがって，圧縮値は次のように計算される：Ｃ_2,2＝ＲＯＵＮＤ（（Ｖ_2,2−Ｄ_1,2）／Ｑ）＝ＲＯＵＮＤ（（０−０）／３）＝０
・それから，復元値が計算される：Ｄ_2,2＝ＲＯＵＮＤ（Ｄ_1,2＋（Ｃ_2,2＊Ｑ）＝ＲＯＵＮＤ（０＋０＊３）＝０

このことから，値Ｖ_2,3については：
・（Ｄ_1,3−Ｄ_1,2）の絶対値は０；
・（Ｄ_2,2−Ｄ_1,2）の絶対値は０；
・２つの値が等しいとき，垂直差分が選択される；
・したがって，圧縮値は次のように計算される：Ｃ_2,3＝ＲＯＵＮＤ（（Ｖ_2,3−Ｄ_1,3）／Ｑ）＝ＲＯＵＮＤ（（２５５−０）／３）＝８５
・それから，復元値が計算される：Ｄ_2,3＝ＲＯＵＮＤ（Ｄ_1,3＋（Ｃ_2,3＊Ｑ））＝ＲＯＵＮＤ（０＋８５＊３）＝２５５

【0014】

このことから，値Ｖ_2,4については：
・（Ｄ_1,4−Ｄ_1,3）の絶対値は０；
・（Ｄ_2,3−Ｄ_1,3）の絶対値は２５５；
・前者の差分（水平）値の方が小さいので，水平差分が選択される；
・したがって，圧縮値は次のように計算される：Ｃ_2,4＝ＲＯＵＮＤ（（Ｖ_2,4−Ｄ_2,3）／Ｑ）＝ＲＯＵＮＤ（（２５３−２５５）／３）＝−１
・次いで，復元値が計算される：Ｄ_2,4＝ＲＯＵＮＤ（Ｄ_2,3＋（Ｃ_2,4＊Ｑ））＝ＲＯＵＮＤ（２５５−１＊３）＝２５２

【0015】

反復処理を通じて，この行列について，以下のような圧縮及び復元値が取得される。

Ｑ＝１のとき，この変換はロス無しであり，Ｑ＞１のとき，この変換はロスを伴う。

【0016】

このデータの変換は，「ＡＰＥ」と呼ばれている。
この「ＡＰＥ」変換が一度実行されると，ＲＬＥ（ランレングス符号）変換が適用され，それから，取得されたデータがＢｚｉｐ２アルゴリズムを使って圧縮される。それから，各レイヤーの画像について，一連の圧縮が続けられる：ＡＰＥ，ＲＬＥ，Ｂｚｉｐ

【図面の簡単な説明】

【0017】

なし

【0018】

この実施形態では，ウェーブレットによる２つの方法による圧縮，例えばＪｐｅｇ２０００及びＰＧＦ，並びに，上述の一連の圧縮ＡＰＥ，ＲＬＥ，Ｂｚｉｐが，３つの異なる画像に対して適用される。
・図１は，白の背景に多数の文字が含まれる画面のコピーであり，「グラフィック」タイプの画像の例を示している。
・図２は，ビルや空と光などとの間に高いコントラストがある街での写真である。これは，「高コントラスト」タイプの画像の例を表している。
・図３は，多彩な色彩のグラデーションが含まれている航空ショーの写真である。これは，「低コントラスト」タイプの画像の例を表している。

【0019】

これらの方法（ＡＰＥ／ＲＬＥ／Ｂｚｉｐ，Ｊｐｅｇ２０００，ＰＧＦ）の各々の有効性は，ＰＳＮＲカーブと呼ばれるものを使用して表され，これは，圧縮し，復元した後の，復元画像の質を表している。各符号化パラメータは，ファイルサイズと，０と１００との間のＰＳＮＲとして参照される質の値に対応する。ＰＳＮＲは，標準的な計測法であり，ここでは，レイヤーＹに対し計算され，１００が実現可能な最高の質であり，ロスの無い圧縮に対応する。圧縮は，等価なサイズならより良いＰＳＮＲを有するときに，又は等価なＰＳＮＲのときにはサイズがより小さい場合に，他方に対しより高い性能を有すると考察される。

【0020】

図４及び以下の表は，図１に示される画像についての画像サイズに係るＰＳＮＲでの変化を示している。

【0021】

図５及び以下の表は，図２に示される画像についての画像サイズに係るＰＳＮＲでの変化を示している。

【0022】

図６及び以下の表は，図３に示される画像についての画像サイズに係るＰＳＮＲでの変化を示している。

【0023】

したがって，以下のことが観察される。
・ウェーブレットを使用する符号化は，サイズ／質のパフォーマンスが近接する傾向があるのに対して，ＡＰＥで取得した結果は全く異なる。
・画像１（グラフィック画像）の場合，全ての場合について，ＡＰＥの方が優れている。
・画像２（高コントラスト画像）の場合，ＡＰＥの方が高品質の点では良いが，最も高圧縮なのはウェーブレットによる符号化である。
・画像３（低コントラスト画像）の場合，全ての場合について，ウェーブレットによる符号化の方が優れている。

【0024】

本発明の第１の実施形態では，比色変換，この例ではＹＣｂＣｒの後に，アルゴリズムの選択が行われる。

【0025】

アルゴリズムの選択のために，以下が実行される。
・最も代表的なレイヤー（理想的にはＹ）で，各値の数がカウントされる。
・図７に示すように，値のヒストグラムが構築される。
・通常では０と２５５との間となる各値ｋについて，この値がレイヤーに存在する回数ｎ（ｋ）が記録される。

【0026】

したがって，このレイヤーの画素の数は，ｎ（ｋ）の総計に等しくなる。

・メトリック「ＦＤ２」は，ヒストグラムの「ピーク」特性の概念を提供している。

・メトリックＦＤ２は，画像のレイヤーの全部に渡って，又は一部に対して実行される。
・ＦＤ２が高くなる程，値はより集中している。

【0027】

したがって，異なるタイプの画像は異なる等級に属することが容易に分かり，この式は真に識別力がある。

【0028】

・画像は以下のように区分される。
・ＦＤ２＞０．０７５：グラフィック画像（１）
・ＦＤ２＞ １０^-4 ：高コントラスト画像（２）
・それ以外：低コントラスト画像（３）

【0029】

・もし，ＦＤ２＞０．０７５なら，差分による変換，例えばＡＰＥ＋ＲＬＥ＋ｚｌｉｂが選択される。
・高コントラスト画像の場合，差分による変換，例えばロス無し及び準ロス無しモードのＡＰＥ＋ＲＬＥ＋ｚｌｉｂが選択され，さもなければ，ウェーブレットによる符号化が選択される。
・低コントラスト画像の場合，ウェーブレットによる符号化，例えばＪＰＥＧ又はＰＧＦタイプが全ての場合に実行される。
・画像のタイプがファイルヘッダに保存される。
・復元時に，画像タイプに応じて逆の処理が実行される。

【0030】

第２の実施形態では，当該画像に特有のＲＧＢカラーの３色組の数がカウントされ，これは，好ましくは画像の画素数に従った係数により除算することにより画像のサイズに応じて換算されている。画像のサイズに応じて換算されている画像の特有のＲＧＢカラーの３色組の数が，所定の閾値未満のときには，この画像はグラフィック画像であると考えられ，これが第１の閾値より大きい第２の閾値を超えるときには，この画像は低コントラスト画像であると考えられる。これら２つの閾値の間にあれば，この画像は高コントラスト画像であると考えられる。

【0031】

第１の実施形態と同様の変換が，その後適用される。
・高コントラスト画像の場合，差分による変換，例えばロス無し及び準ロス無しモードのＡＰＥ＋ＲＬＥ＋ｚｌｉｂが，さもなければ，ウェーブレットによる符号化が選択される。
・低コントラスト画像の場合，ウェーブレットによる符号化，例えばＪＰＥＧ又はＰＧＦタイプが全ての場合に実行される。
・画像のタイプがファイルヘッダに保存される。
・復元時に，画像タイプに応じて逆の処理が実行される。

【0032】

より一般的には：
以下の特徴を有する，画像を圧縮するための方法が提案される。
画像の少なくとも１つのレイヤーの全てに渡って画素の光度の分布を表す指標を計算し，
前記指標を所定の閾値と比較して，少なくとも１つのレイヤーの全体の画像のタイプを決定し，決定した画像のタイプに応じて，画像を以下の３つのクラスのうちの１つに分類する；
前記画像のタイプがグラフィックタイプなら，第１のクラス，
前記画像のタイプが高コントラストタイプなら，第２のクラス，
前記画像のタイプが低コントラストタイプなら，第３のクラス，
画像のクラスに応じて圧縮処理タイプを選択する;
画像が第１のクラスなら差分処理を行い，
画像が第３のクラスなら，好ましくはウェーブレットを使用する，周波数処理を行い，
画像が第２のクラスなら:
ロス無し又は準ロス無しの圧縮を選択する場合，差分処理を行い，
その他の場合，好ましくはウェーブレットを使用した周波数処理を行う。

【0033】

好適には，この計算は，その画像の最も特徴的なレイヤー（例えばレイヤーＹ）の全てに渡って実行される。

【0034】

好適には，これらのステップは，入力データに対して，ロスを伴う又はロスを伴わない比色変換に先立って行うことができる。例えば，ＲＧＢ入力データに対してＹＣｂＣｒ変換が適用できる。

【0035】

色相の値（８ビットのレイヤーの場合，好ましくはｋ＝０〜２５５）に対応する各色相で画像を分類するために，各色相についてこの色相を持つ画素数ｎ（ｋ）が計算され，それから，値ｋの周辺の画像の色相の集中の指標が，例えば：
Ｅ（ｋ）＝ｎ（ｋ）−０．４（ｎ（ｋ−１）＋ｎ（ｋ＋１））−０．１（ｎ（ｋ−２）＋ｎ（ｋ＋２）），
で計算される。
この計算は，対象とする色相（ｋ）の画素数ｎ（ｋ）と，その近傍の画素数，好ましくは１つ隣の行（ｋ−１及びｋ＋１）及び２つ隣の行（ｋ−２及びｋ＋２）の画素数の所定比率分との間の差分を取ることにより行われ，それぞれの前記所定比率は，近傍のうち最も遠い行において最も減少され，例えば１つ隣の行の各々，即ち対象とする色相（ｋ）のすぐ隣の行に対しては８０％であり，２つ隣の行の各々，即ち１つ隣の行のすぐ隣の行に対して例えば２０％である。

【0036】

好ましくは，近傍の値に対する前記所定比率の合計は１に等しい。この例では，比率の合計は，実際上１に等しい。
（０．４＋０．４＋０．１＋０．１＝１）

【0037】

値ｋ周辺の色相の集中に関する指標（Ｅ（ｋ））は，次いで，所定の閾値より高い値，好ましくは集中を表す正の指標，即ちＭａｘ（Ｅ（ｋ），０）に維持され，そして，集中の指標の各々は，画像のサイズに応じて，例えば画像の画素の総数（Ｎ）で除算されて換算される。

【0038】

好ましくは，画像のタイプの間のより良い識別のため，即ちクラス分けを容易にするために，Ｍａｘ（Ｅ（ｋ））／Ｎの結果は，厳密に１より大きい値，好ましくは２で，巾乗される。

【0039】

次いで，レイヤーの全てのこれらの結果を集計することで，好ましくは，レイヤーの色相の全てに渡って取得された結果の総和を取ることにより，メトリック（ＦＤ）が取得される。そのような例は以下に示される。
ＦＤ２＝Σ（Ｍａｘ（Ｅ（ｋ））／Ｎ）² ｋは０から２５５まで変化

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】