7643034 画像処理装置、及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-03

(45)【発行日】2025-03-11

(54)【発明の名称】画像処理装置、及び画像処理プログラム

(51)【国際特許分類】

   G06T 5/94 20240101AFI20250304BHJP

【ＦＩ】

G06T5/94

【請求項の数】 6

(21)【出願番号】P 2020210536

(22)【出願日】2020-12-18

(65)【公開番号】P2022097133

(43)【公開日】2022-06-30

【審査請求日】2023-11-20

(73)【特許権者】

【識別番号】000005496

【氏名又は名称】富士フイルムビジネスイノベーション株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】鳴海 翔太

(72)【発明者】

【氏名】佐々木 信

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１１－１３０４３７（ＪＰ，Ａ）

【文献】特開２０１６－１００７８６（ＪＰ，Ａ）

【文献】特開２０１０－１０２４２６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ５／９４

(57)【特許請求の範囲】

【請求項1】

プロセッサを備え、
前記プロセッサは、
第１デバイスで画像を表現可能な範囲を表す第１色域に対する、第２デバイスで画像を表現可能な範囲を表す第２色域の割合に応じて、画像の視認性を補正するための再現パラメータを基準値から変更する度合いを変更して、前記再現パラメータを調整し、
変更後の前記再現パラメータは、画素値が予め定めた基準を満たす暗部領域の平均輝度及び前記暗部領域を複数の明度階層に分けた明度階層ごとの平均輝度を用いて導出される画像処理装置。

【請求項2】

プロセッサを備え、
前記プロセッサは、
第１デバイスで画像を表現可能な範囲を表す第１色域に対する、第２デバイスで画像を表現可能な範囲を表す第２色域の割合に応じて、画像の視認性を補正するための再現パラメータを基準値から変更する度合いを変更して、前記再現パラメータを調整し、
変更後の前記再現パラメータは、画素値が予め定めた基準を満たす暗部領域の平均輝度と、前記暗部領域の大きさとから導出される画像処理装置。

【請求項3】

前記暗部領域の大きさが大きいほど前記再現パラメータが高い請求項２に記載の画像処理装置。

【請求項4】

前記第１色域に対する前記第２色域の割合である圧縮率が大きいほど、前記基準値から変更する度合いが大きい請求項１～３の何れか１項に記載の画像処理装置。

【請求項5】

前記プロセッサは、
前記第１デバイスで画像の画素を表現可能な範囲を表す第１色域に対する、前記第２デバイスで画像の画素を表現可能な範囲を表す第２色域の割合に応じて、前記再現パラメータを前記基準値から変更する度合いを変更して、前記再現パラメータを調整する、
請求項１～４のいずれか１項に記載の画像処理装置。

【請求項6】

コンピュータを、請求項１～５のいずれか１項に記載の画像処理装置として機能させるための画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、及び画像処理プログラムに関する。

【背景技術】

【0002】

特許文献１には、画像内の画素値の平均値を算出し、前記画像内の画素値の最大値を算出し、前記画像内の画素値の最小値を算出し、前記最大値から前記平均値を引いた値と前記最小値との間の区間の画素値を取る画素に対して、前記区間外の画素よりも輝度を増加する階調変換特性を用いて前記画像内の画素値を置換することを特徴とする画像処理方法が開示されている。

【0003】

特許文献２には、レティネックス理論に基づき、入力画像を補正した出力画像データを生成してする画像表示装置であって、前記入力画像をフィルタにより照明光成分と反射光成分に分離する分離手段、前記分離された照明光成分を、その明るさを調整する照明光成分調整パラメータによって調整することにより、補正後照明光成分を算出する補正後照明光成分算出手段、前記補正後照明光成分に基づいて、前記出力画像データを生成する生成手段、を備え、前記補正後照明光成分算出手段は、前記分離手段が分離した前記照明光成分と、この照明光成分の低階調成分の強調度を調整した調整照明光成分とを混合加算する度合いを前記照明光成分調整パラメータに基づいて決定した、前記補正後照明光成分を演算すること、を特徴とする画像表示装置が開示されている。

【0004】

特許文献３には、輝度画像における特定明度領域の分布及び暗部平坦領域の大きさの少なくとも何れか一方に関する特性を示す特性情報を取得する特性情報取得手段と、前記特性情報に基づいて、前記輝度画像の画質に影響を与える特定の成分の強調度合いを示す強調度合い情報を生成する強調度合い情報生成手段と、前記輝度画像の前記特定の成分が前記強調度合い情報により示される強調度合いで強調されるように再現された輝度再現画像を生成する輝度再現画像生成手段とを備え、前記特性情報取得手段は、前記輝度画像における複数の明度の各明度の領域の凝集度合いを示す凝集度合い情報を、当該輝度画像における特定明度領域の分布に関する特性を示す前記特性情報として取得し、前記強調度合い情報生成手段は、前記凝集度合い情報と、前記複数の明度の各明度の重みとに基づいて、前記強調度合い情報を生成することを特徴とする画像処理装置が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００８－２７１３１６号公報

【文献】特許第５２４７９１０号公報

【文献】特許第６３５７８８１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

例えば、液晶ディスプレイなどの第１デバイスで出力する画像に適用する再現パラメータを、プリンタなどの第２デバイスで出力する場合にそのまま適用しようとしても、各デバイス間で出力可能な色域が異なり、第１デバイスで使用する再現パラメータは、第２デバイスで使用するための適切な再現パラメータではない場合もある。

【0007】

本発明は、第１デバイスで出力する画像に適用する再現パラメータを、第２デバイスにそのまま適用する場合に比べ、第２デバイスで出力する画像の視認性を向上できる画像処理装置及び画像処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0008】

第１態様に係る画像処理装置は、プロセッサを備え、前記プロセッサは、第１デバイスで画像を表現可能な範囲を表す第１色域に対する、第２デバイスで画像を表現可能な範囲を表す第２色域の割合に応じて、画像の視認性を補正するための再現パラメータを基準値から変更する度合いを変更して、前記再現パラメータを調整する。

【0009】

第２態様に係る画像処理装置においては、前記再現パラメータは、画素値が予め定めた基準を満たす暗部領域の平均輝度を用いて導出される。

【0010】

第３態様に係る画像処理装置においては、前記再現パラメータは、前記暗部領域を複数の明度階層に分けた明度階層ごとの平均輝度を用いて導出される。

【0011】

第４態様に係る画像処理装置は、前記再現パラメータは、前記平均輝度と、前記暗部領域の大きさとから導出される。

【0012】

第５態様に係る画像処理装置は、前記暗部領域の大きさが大きいほど前記再現パラメータが高い。

【0013】

第６態様に係る画像処理装置は、前記第１色域に対する前記第２色域の割合である圧縮率が大きいほど、前記基準値から変更する度合いが大きい。

【0014】

第７態様に係る画像処理装置は、前記プロセッサは、前記第１デバイスで画像の画素を表現可能な範囲を表す第１色域に対する、前記第２デバイスで画像の画素を表現可能な範囲を表す第２色域の割合に応じて、前記再現パラメータを前記基準値から変更する度合いを変更して、前記再現パラメータを調整する。

【0015】

第８態様に係る画像処理プログラムは、コンピュータを、第１態様～第７態様のいずれか１つに記載の画像処理装置として機能させる。

【発明の効果】

【0016】

第１態様によれば、第１デバイスで出力する画像に適用する再現パラメータを、第２デバイスにそのまま適用する場合に比べ、第２デバイスで出力する画像の視認性を向上できる、という効果を有する。

【0017】

第２態様によれば、暗部領域を基準にして、視認性を補正することができる、という効果を有する。

【0018】

第３態様によれば、暗部領域全体の平均輝度を用いる場合に比べ、より最適に視認性を補正することができる、という効果を有する。

【0019】

第４態様によれば、暗部領域全体の平均輝度のみを用いる場合に比べ、より最適に視認性を補正することができる、という効果を有する。

【0020】

第５態様によれば、暗部領域の大きさが大きいほど基準値から変更する度合いを小さくする最適な再現パラメータを導出することができる、という効果を有する。

【0021】

第６態様によれば、圧縮率が大きいほど基準値から変更する度合いを大きくする最適な再現パラメータを導出することができる、という効果を有する。

【0022】

第７態様によれば、画像の画素情報に基づいて再現パラメータを調整することができ、デバイスに応じて再現パラメータを調整する場合に比べ、より適切な再現パラメータを決定することができる、という効果を有する。

【0023】

第８態様によれば、第１デバイスで出力する画像に適用する再現パラメータを、第２デバイスにそのまま適用する場合に比べ、第２デバイスで出力する画像の視認性を向上できる、画像処理プログラムを提供することができる。

【図面の簡単な説明】

【0024】

【図1】本発明の実施形態に係る画像処理システムの概略構成図である。

【図2】本発明の第１の実施形態に係る画像処理装置の概略ブロック図である。

【図3】本発明の第１の実施形態に係る画像形成装置の概略ブロック図である。

【図4】本発明の第１の実施形態に係る画像処理装置の機能構成の例を示すブロック図である。

【図5】本発明の第１の実施形態に係る暗部領域について説明するための風景画像の例を示した図である。

【図6】本発明の第１の実施形態に係る暗部領域について説明するための風景画像の例を示した図である。

【図7】本発明の第１の実施形態に係る暗部領域の画素数の比率と対応付けた係数ａの例を示した図である。

【図8】入力デバイスと出力デバイスとの色域の例をａ＊、ｂ＊平面上に示した図である。

【図9】入力デバイスと出力デバイスとの色域の例をＬ＊、ａ＊平面上に示した図である。

【図10】圧縮率と再現パラメータ低減度合いとを対応付けた関数の例を示した図である。

【図11】本発明の第１の実施形態に係る情報処理装置の動作の一例を示すフローチャートである。

【図12】本発明の第２の実施形態に係る係数ａ（ｒ）を一次関数とした場合の、暗部領域の画素数の比率と対応付けた係数ａ（ｒ）の例を示した図である。

【図13】本発明の第２の実施形態に係る係数ａ（ｒ）を多次元関数とした場合の、暗部領域の画素数の比率と対応付けた係数ａ（ｒ）の例を示した図である。

【図14】暗部領域について説明するための風景画像を、低輝度領域である、窓のみを抽出するような明度を明度階層とし、当該明度階層で二値化した画像の例を示した図である。

【図15】暗部領域について説明するための風景画像を、低中輝度階層である、窓と木を抽出するような明度を明度階層とし、当該明度階層で二値化した画像の例を示した図である。

【図16】本発明の第３の実施形態に係る画像処理装置の機能構成の例を示すブロック図である。

【発明を実施するための形態】

【0025】

（発明の背景）
現在、スマートフォンやタブレットなどのＩＣＴ（Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ）デバイスの普及により、誰でも「簡単に」、「どこでも」画像を撮影することできる。このように利便性は向上した一方で、使用環境の多様化により、逆光や影などの照明などの影響を受けた画像の視認性を高めることが重要視されている。

【0026】

画像処理の分野では、好ましい再現や視認性の向上を目的に、ガンマ補正、彩度強調、帯域強調、コントラスト強調、ダイナミックレンジ補正など、輝度や色に関する補正や強調が行われている。

【0027】

一般的に、上記のような、補正・強調処理を行う場合、ソフトウェアのＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）上でモードや強度を指定できるものや、ソフトウェア内部で最適再現パラメータを機械的に決定するもの、さらに両者を組み合わせたものもある。機械的に最適再現パラメータを決めるためには、その再現の善し悪しを表す評価指標が必要であり、画像のヒストグラムや周波数などから算出した画像の特徴量を指標として、その特徴量に応じて補正するケースが多い。

【0028】

これに対し、本実施の形態は、出力のデバイスの色域を考慮し、かつ視覚特性を考慮した特徴量に応じて最適な再現パラメータを決定し、暗部の視認性を改善するものである。

【0029】

（第１の実施形態）
以下、本開示の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素および部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0030】

図１は、本実施形態に係る画像処理システム１０の概略構成を示す図である。

【0031】

図１に示すように、画像処理システム１０は、画像処理装置１００と、画像形成装置２００とが、ネットワークなどの通信手段に接続されて構成されている。なお、通信手段としては、後述するように、インターネット、イントラネットやイーサネット（登録商標）などの各種ネットワークを適用することができる。また、図１では、画像処理装置１００を２台と、画像形成装置２００を１台の例を示しているが、この数に限定するものではない。ここで、画像処理装置１００は、本実施形態では、パーソナルコンピュータ（ＰＣ）である。また、画像形成装置２００は、プリント機能などの各種の機能を有するものである。なお、画像形成装置２００は、プリント機能の他に、コピー機能、ファクシミリ機能、スキャナー機能などを有してもよい。

【0032】

図２は、本実施形態に係る画像処理装置１００のハードウェア構成を示すブロック図である。

【0033】

図２に示すように、画像処理装置１００は、プロセッサの一例であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３、ストレージ１０４、入力部１０５、表示部１０６、通信部１０７を有する。各構成は、バス１０８を介して相互に通信可能に接続されている。

【0034】

ＣＰＵ１０１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ１０１は、ＲＯＭ１０２又はストレージ１０４からプログラムを読み出し、ＲＡＭ１０３を作業領域としてプログラムを実行する。ＣＰＵ１０１は、ＲＯＭ１０２又はストレージ１０４に記録されているプログラムにしたがって、上記各構成の制御および各種の演算処理を行う。本実施形態では、ＲＯＭ１０２又はストレージ１０４には、プログラムが格納されている。

【0035】

ＲＯＭ１０２は、各種プログラムおよび各種データを格納する。ＲＡＭ１０３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ１０４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、および各種データを格納する。

【0036】

入力部１０５は、マウス等のポインティングデバイス、およびキーボードを含み、各種の入力を行うために使用される。

【0037】

表示部１０６は、第１デバイスの一例であって、例えば、液晶ディスプレイである。表示部１０６は、ＣＰＵ１０１の制御に基づき各種の情報を表示する。また、表示部１０６は、タッチパネル方式を採用して、入力部１０５として機能してもよい。本明細書にあっては、液晶ディスプレイを入力デバイスとして説明する。

【0038】

通信部１０７は、画像形成装置２００や、図示しないサーバ装置等の他の機器と通信するためのものであり、例えば、公衆回線、インターネット、イントラネット、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。

【0039】

図３は、本実施形態に係る画像形成装置２００のハードウェア構成を示すブロック図である。

【0040】

図３に示すように、画像形成装置２００は、プロセッサの一例であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３、ストレージ２０４、入力部２０５、表示部２０６、文書読取部２０７、画像形成部２０８、通信部２０９を有する。各構成は、バス２１０を介して相互に通信可能に接続されている。

【0041】

ＣＰＵ２０１は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２０１は、ＲＯＭ２０２又はストレージ２０４からプログラムを読み出し、ＲＡＭ２０３を作業領域としてプログラムを実行する。ＣＰＵ２０１は、ＲＯＭ２０２又はストレージ２０４に記録されているプログラムにしたがって、上記各構成の制御および各種の演算処理を行う。本実施形態では、ＲＯＭ２０２又はストレージ２０４には、プログラムが格納されている。

【0042】

ＲＯＭ２０２は、各種プログラムおよび各種データを格納する。ＲＡＭ２０３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ２０４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、および各種データを格納する。

【0043】

入力部２０５は、マウス等のポインティングデバイス、およびキーボードを含み、各種の入力を行うために使用される。

【0044】

表示部２０６は、例えば、液晶ディスプレイである。表示部２０６は、ＣＰＵ２０１の制御に基づき各種の情報を表示する。また、表示部２０６は、タッチパネル方式を採用して、入力部２０５として機能してもよい。

【0045】

文書読取部２０７は、画像形成装置２００の上部に設けられた図示しない自動送り装置の給紙台に置かれた文書を１枚ずつ取り込み、取り込んだ文書を光学的に読み取って画像情報を得るものである。あるいは、文書読取部２０７は、プラテンガラスなどの台に置かれた文書を光学的に読み取って画像情報を得るものである。

【0046】

画像形成部２０８は、第２デバイスの一例であって、画像処理装置１００から得られた画像情報に基づく画像、又は文書読取部２０７による読み取りによって得られた画像情報を、紙などの記録媒体に形成、すなわち、印刷するものである。本明細書にあっては、画像形成部を出力デバイスとして説明する。

【0047】

通信部２０９は、画像処理装置１００や、図示しないサーバ装置等の他の機器と通信するためのものであり、例えば、公衆回線、インターネット、イントラネット、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。

【0048】

また、通信部２０９は、画像形成装置２００を公衆回線に接続し、ＦＡＸ（Ｆａｃｓｉｍｉｌｅ）機能を有する他の画像形成装置と文書読取部２０７による読み取りによって得られた画像情報を送受信するものである。

【0049】

画像処理装置１００は、上記のハードウェア資源を用いて、各種の機能を実現する。画像処理装置１００が実現する機能構成について説明する。

【0050】

図４は、画像処理装置１００の機能構成の例を示すブロック図である。

【0051】

（色空間変換部１１）
色空間変換部１１は、ディスプレイなどで表示されるｓＲＧＢなど入力デバイスＲＧＢ画像を明度・色度の色空間、例えば、ＣＩＥ Ｌ＊，ａ＊，ｂ＊色空間へと変換する。ここで、ＣＩＥ Ｌ＊，ａ＊，ｂ＊の各成分は、それぞれ明度、赤－緑方向の色度、青－黄方向の色度を表す。本実施の形態では、ａ＊、ｂ＊を色度成分、Ｌ＊を輝度成分とする。なお、Ｌαβ，ＣＡＭ０２，ＨＳＶなど、明暗成分と色度成分に分離できる色空間であれば何でもよい。

【0052】

（視認性再現部１４）
視認性再現部１４は、輝度画像に対して視認性を高める再現を行うことにより、輝度再現画像を生成する。かかる再現を行う処理は、本実施の形態では、Ｒｅｔｉｎｅｘ原理を用いた再現処理とする。Ｒｅｔｉｎｅｘ原理を用いた再現処理を数式１の再現式を用いて説明する。なお、本明細書では、ハット記号を、数式中では文字の真上に付すが、文中では文字の後ろに付すものとする。

【0053】

【数1】

【0054】

ここで、数式１の再現式を例とすると、Ｉ（ｘ，ｙ）は、原画像の画素値、αは強調するための再現パラメータを意味する。また、Ｉ_Ｒ（ｘ，ｙ）は推定した反射率成分の画素値であり、Ｉ＾（ｘ，ｙ）は再現後の画像の画素値を表すものとする。よって、Ｉ＾（ｘ，ｙ）は、α＝０であれば、原画像の画素値を表し、α＝１であれば反射率画像の画素値を表す。なお、Ｒｅｔｉｎｅｘ再現式はいくつか提案されているが、反射率成分の重みを変えるような式であれば数式１に限定されず、どのようなものを用いても構わない。また、（ｘ，ｙ）は画像の位置を表すものとする。
輝度画像の位置（ｘ，ｙ）に対する画素値をＩ（ｘ，ｙ）とすると、Ｒｅｔｉｎｅｘモデルでは、以下のように、Ｉ（ｘ，ｙ）を照明成分Ｌ（ｘ，ｙ）と反射率成分Ｒ（ｘ，ｙ）に分ける。

【0055】

【数2】

【0056】

数式２からわかるように、１つの値を２つの値に分離することは、一般に不良設定問題と呼ばれる。不良設定問題では、なんらかの方法を用いて、照明成分か反射率成分の片方を推定しなければ、もう一方は求めることができない。

【0057】

そこで、視認性再現部１４では、Ｉ（ｘ，ｙ）を基にＬ（ｘ，ｙ）を推定する。視覚認知の１つの特性として、網膜に入った光の１点（画像では１つの画素）の知覚量は、１点の周辺輝度の平均に影響することが知られている。周辺輝度は推定された照明成分に相当し、照明推定モデルは以下の関数のコンボリューションとなる。

【0058】

【数3】

【0059】

ここで、ｋは画像処理のフィルタサイズの画素分で積分した場合に１になるように正規化する係数、σは平滑化度合い（スケール）を表す。σが大きいほどぼかしの強いコンボリューション画像となる。なお、上記の数式３は一例であり、同様な結果（平滑化）になるフィルタであればいかなるものでもよい。例えば、数式２を変形した形で、エッジ保存を行う平滑化フィルタとして知られるバイラテラルフィルタがあるが、これを用いてもよいものとする。

【0060】

Ｒｅｔｉｎｅｘ原理によれば、人の視覚特性は、注目領域の周辺から照明光を推定していることが知られている。平滑化した画像は、推定された照明光を表すが、シーンによって適するスケールが異なるため、例えば、照明光の推定は、以下の数式４のように多層画像のスケール１からスケールＮで加重平均を行うのが望ましい。

【0061】

【数4】

【0062】

ここで、Ｌ（ｘ，ｙ）は推定される照明光画像の画素を、Ｇ_ｎ（ｘ，ｙ）はスケールｎの数式１を、Ｉ（ｘ，ｙ）は画像の画素を、Ｗ_ｎはスケールｎの重みを、「×」を「○」で囲んだ記号は畳み込みを表す。なお、Ｗ_ｎは簡易的に１／Ｎとしてもよいし、層に応じて、可変でもよい。そして、このように算出されたＬ（ｘ，ｙ）を照明成分画像とする。

【0063】

ところで、数式２によれば、推定された照明成分を基に、以下の数式５のように反射率Ｒ（ｘ，ｙ）を算出することができる。

【0064】

【数5】

【0065】

すなわち、輝度画像の画素値Ｉ（ｘ，ｙ）と、照明成分画像の画素値Ｌ（ｘ，ｙ）とを用いて、反射率Ｒ（ｘ，ｙ）を算出する。この反射率Ｒ（ｘ，ｙ）を画素値とする画像が反射率画像である。

【0066】

また、例えば、数式１に示すように、数式５の反射率Ｒ（ｘ，ｙ）と輝度画像Ｉ（ｘ，ｙ）、再現パラメータαによって視認性再現輝度画像を生成する。

【0067】

この再現パラメータαによって、視認性が大きく影響を受ける。このため、本実施形態では、再現パラメータ解析部１２で画像の特徴量から入力デバイス空間での再現パラメータを推定し、出力デバイス最適再現パラメータ算出部１３で出力デバイスの色域を考慮した最適再現パラメータを決定するようにしている。

【0068】

（再現パラメータ解析部１２）
再現パラメータ解析部１２では、入力デバイス空間での画像の特徴量から再現パラメータを推定する。ここでは、例として、図５及び６の風景画像を用いて説明する。図５では、木の部分と建物の窓が、視認性が悪く暗部領域であり、図６では、木の部分と建物の部分が、視認性が悪く暗部領域である。図５と図６とでは、木の明るさは同じであるが、建物の明るさが図６の方が暗いため、画像全体での視認性としては、図６の方が悪くなる。そこで、図６の方が再現パラメータの強度を強めるべき画像と判断される。

【0069】

上記の例のとおり、暗部領域が同じ明るさであれば、暗部領域が大きい方が視認性は悪くなるため、画像の特徴量としては、画像全体の画素数に対する暗部領域の画素数の比率（暗部領域の大きさ）と暗部領域の平均輝度の２つを用いる。ここでは、輝度成分を用いて説明する。入力デバイスＲＧＢ画像を変換した輝度画像をＬ＊（ｘ，ｙ）とする。そして、Ｌ＊（ｘ，ｙ）をある閾値に基づいて、最大を１、最小を０に二値化した画像をＬ＊’（ｘ，ｙ）とする。

【0070】

特徴量である暗部領域の画素数の比率ｒは、画像の全画素数をＮ’、暗部領域の画素数をＮとすると、数式６にように表すことができる。

【0071】

【数6】

【0072】

また、暗部領域の平均輝度Ｌ＊ａｖｅは、Ｌ＊（ｘ，ｙ）、Ｌ＊’（ｘ，ｙ）を用いて数式７のように表すことができる。

【0073】

【数7】

【0074】

再現パラメータαは、数式６、７で算出した特徴量を用いて算出するが、ここでは、暗部領域の平均輝度をベースに算出する例として説明する。
まず、再現パラメータを暗部領域の平均輝度のみを用いて推定する場合、数式８のように表すことができる。

【0075】

【数8】

【0076】

ここで、ａは係数で、予め実施した官能評価実験などで決定した再現パラメータを最小二乗法などで誤差が最小になるように決定した係数とする。

【0077】

（出力デバイス最適再現パラメータ算出部１３）
出力デバイス最適再現パラメータ算出部１３は、あらかじめデータとして保持していた、入力デバイス（液晶ディスプレイ）と出力デバイス（画像形成部２０８）の色域の圧縮率を用いて、出力デバイス最適再現パラメータを決定する。

【0078】

一般的に、入力デバイスと出力デバイスの色域が異なる場合、出力デバイスで再現できない色を再現可能な色に変換する必要がある。例として、図８及び図９を用いて説明する。図８は、ａ＊ｂ＊平面を切り出し、入力デバイスと出力デバイス色域を示している。図９は、Ｌ＊ａ＊ｂ＊空間から、Ｌ＊ａ＊平面を切り出し、入力デバイスと出力デバイス色域を示している。ここで、入力デバイスの方が出力デバイスより色域が大きいため、点Ａを点Ａ’、点Ｂを点Ｂ’というように入力デバイスの色を出力デバイスで再現できる色に変換する必要がある。変換手法としては、例えば、色の差を数値化した「色差」という尺度を用いて、その色差が最小になるように変換する方法や色相を維持しながら色差を最小化する方法などがある。

【0079】

ところで、これらデバイスの色域は、一般的には、複数の様々な色の集合である。デバイスが、液晶ディスプレイ（表示部１０６）の場合には、液晶ディスプレイ上に表示した色を直接計測し、プリンタ（画像形成部２０８）の場合には、紙などに出力したパッチのサンプルを計測することで、そのデバイスの色域を定義することができる。なお、計測する色は、ＩＳＯなどの国際標準で決められたデータを用いる場合が多い。

【0080】

ここで、両デバイス間の色域の大きさの比率、すなわち、Ｌ＊ａ＊ｂ＊空間における両デバイス間の体積の比率を圧縮率として表す。例えば、図８及び図９の入力デバイスの色域（第１色域）に対する出力デバイスの色域（第２色域）の体積を比較し、体積比が０．５の場合、圧縮率を５０％とする。そして、この圧縮率を用いて、最適再現パラメータを決定する。

【0081】

具体的には、入力デバイスの方が色域は広いため、有色領域は鮮やかに再現され、暗い領域は暗く再現される。そのため、入力デバイスの色域で再現パラメータを算出すると、色域が狭い出力デバイスの色域で算出した再現パラメータよりも大きくなり、出力デバイス空間では強すぎてしまうことになる。そこで、図１０に示すような関係から、圧縮率５０％の場合の再現パラメータを、入力デバイスと出力デバイスとの色域が同じ場合の基準値（１．０）から変更する再現パラメータ低減度合いである係数Ｋを算出する。出力デバイス最適再現パラメータα’は、この係数Ｋと再現パラメータ解析部１２で算出した再現パラメータαを用いて、数式９の通り表すことができる。

【0082】

【数9】

【0083】

最終的に、視認性再現部１４の数式１のαを数式９のα’として計算することで、出力デバイスの色域を考慮した、視認性再現輝度画像を生成することができる。

【0084】

なお、ここでは、圧縮率と再現パラメータ低減度合いの関係を線形直線で示したが、圧縮率が大きくなるほど、再現パラメータ低減度合いの値が小さくなる、あるいは値が変わらないような関係であれば、非線形な曲線を含め、どのような関数形状を用いても構わない。また、圧縮率算出の例として、体積を用いたが、例えば、Ｌ＊が２０以下の暗部領域のみの体積を用いてもよいし、Ｌ＊の１軸で圧縮率を算出しても構わない。

【0085】

（逆色空間変換部１５）
逆色空間変換部１５は、ＣＩＥ Ｌ＊，ａ＊，ｂ＊色空間からＲＧＢ色空間へと逆変換する。これにより、視認性再現輝度画像を生成し、出力デバイスの一例である画像形成部２０８に印刷させる画像を生成することできる。

【0086】

次に、画像処理装置１００の作用について説明する。

【0087】

図１１は、輝度再現画像を生成する場合の画像処理装置１００の動作の一例を示すフローチャートである。

【0088】

図１１に示すように、ステップＳ１００において、画像処理装置１００のＣＰＵ１０１により、出力デバイスに出力する際に、暗部領域の平均輝度が算出される。そして、次のステップＳ１０１に進む。

【0089】

ステップＳ１０１において、画像処理装置１００のＣＰＵ１０１により、ステップＳ１００において算出された平均輝度に基づいて、再現パラメータが算出される。そして、次のステップＳ１０２に進む。
ステップＳ１０２において、画像処理装置１００のＣＰＵ１０１により、出力デバイスに出力される輝度画像と、ステップＳ１０１において算出された再現パラメータに基づいて、数式１により輝度再現画像が生成される。そして、処理を終了する。

【0090】

（第２の実施形態）
つぎに、第２の実施形態について説明する。
上述した第１の実施形態は、再現パラメータを暗部領域の平均輝度のみを用いて推定する例で説明した（数式８参照）。本第２の実施形態では、暗部領域の大きさ（画素数）の比率を考慮して再現パラメータを推定する。

【0091】

ここでは、上述した第１の実施の形態と異なる部分を中心に説明し、重複する部分については説明を簡略又は省略する。

【0092】

ここで、暗部領域の画素数の比率を考慮するため、数式１０に示すように、第１の実施形態で説明した数式８の係数ａを暗部領域の画素数の比率の関数である係数ａ（ｒ）に置き換える。

【0093】

【数10】

【0094】

例えば、数式１０の係数ａ（ｒ）が１次関数を仮定すると、数式１１のように表すことができる。

【0095】

【数11】

すると、再現パラメータは、数式１０より、数式１２のように表すことができる。

【0096】

【数12】

【0097】

数式１２の通り、数式８の係数ａを暗部領域の画素数の比率の関数とすることで、暗部領域の画素数の比率も考慮した再現パラメータを推定できるようになる。これを、図を用いて説明すると、数式８の場合は、図７のように、暗部領域の大きさ（画素数）の比率によらず係数は一定となる。一方、数式１１の場合は、図１２のように、暗部領域の画素数の比率に応じて、係数が変化する。このように、暗部領域の画素数の比率が大きくなるほど、係数を高くすることで、同じ暗部の平均輝度であったとしても、再現パラメータを高くすることができる。なお、先ほど同様に、ａ_０、ａ_１は係数で、予め実施した官能評価実験などで決定した再現パラメータを最小二乗法などで誤差が最小になるように決定した係数としてもよい。

【0098】

なお、例として、係数a(r)を1次関数を仮定したが、多次元関数にすることで、図１３のように、暗部領域の画素数の比率に対する係数の関係が非線形となり、より高精度に再現パラメータを推定できるようになる。
具体的には、a(r)が多次関数と仮定すると、数式１３のように表すことができる。

【0099】

【数13】

【0100】

また、これまでの例では、ある明度階層における閾値に基づいて特徴量を算出し、再現パラメータを算出していたが、数式１４に表すように、複数の明度階層で特徴量を算出し、再現パラメータを決定してもよい。

【0101】

【数14】

【0102】

例えば、n = 1の場合、数式１４を展開すると、数式１５の通り表すことができる。

【0103】

【数15】

【0104】

複数の明度階層の設定方法として、図５を例に説明する。例えば、図５の低輝度領域である、窓のみを抽出するような明度を１つ目の明度階層とする。この明度階層で二値化した画像を図１４に示す。この明度階層で算出する特徴量を数式１５の右辺の第一項で表す。次に、図５の低中輝度階層である、窓と木を抽出するような明度を２つ目の明度階層とする。この明度階層で二値化した画像を図１５に示す。この明度階層で算出した特徴量を数式１５の右辺の第二項で表す。すなわち、暗部領域を複数の明度階層に分けた明度階層ごとの平均輝度を用いて再現パラメータを決定している。
このように、複数の明度階層を用いることで、複数の明度階層での特徴量を考慮することができるので、明度階層によってパラメータに対する重みを変えることができ、より汎用性高く、推定できるようになる。ａ_０、ａ_１に関わる係数は、予め実施した官能評価実験などで決定した再現パラメータを最小二乗法などで誤差が最小になるように決定してもよいし、暗部の明度階層ほど重みが強くなるように決定してもよい。

【0105】

（第３の実施形態）
つぎに、第３の実施形態について説明する。

【0106】

上述した第１の実施形態、第２の実施形態ではあらかじめ入力デバイスに対する出力デバイスの色域の圧縮率を情報として保持し、その圧縮率を用いて一律に計算するため、デバイスに依存して圧縮率は変わるが、画像に依存して変わることはなかった。本第３の実施形態では、入力画像の画素情報に基づいて圧縮率を計算するため、画像に依存して圧縮率が変わることを特徴としている。これによって、画像によって、より適切に出力デバイス最適再現パラメータを決定することができるようになる。

【0107】

ここでは、上述した第１の実施形態及び第２の実施形態と異なる部分を中心に説明し、重複する部分については説明を簡略又は省略する。

【0108】

本発明の第３の実施形態を表すブロック図を図１６に示す。色空間変換部１１、再現パラメータ解析部１２、出力デバイス最適再現パラメータ算出部１３、視認性再現部１４、逆色空間変換部１５は第１の実施形態と同じものとする。

【0109】

色域圧縮色空間変換部２１は、入力デバイスのＲＧＢ画像に対し、あらかじめ保持していた出力デバイスのプロファイルに基づいて、出力デバイスの色域に圧縮した明度・色度の色空間、例えば、ＣＩＥ Ｌ＊，ａ＊，ｂ＊色空間へと変換する。ここで、ＣＩＥ Ｌ＊，ａ＊，ｂ＊の各成分は、それぞれ明度、赤－緑方向の色度、青－黄方向の色度を表す。本実施の形態では、ａ＊、ｂ＊を色度成分、Ｌ＊を輝度成分とする。なお、Ｌαβ，ＣＡＭ０２，ＨＳＶなど、明暗成分と色度成分に分離できる色空間であれば何でもよい。

【0110】

色域圧縮率算出部２２は、色空間変換部１１により変換された入力デバイスのＲＧＢ画像の色度成分と輝度成分と、色域圧縮色空間変換部２１により変換された出力デバイスの色域に圧縮した色度成分と輝度成分とを画素毎に比較して、圧縮率を算出する。算出方法は、第１の実施形態及び第２の実施形態と基本的に同じであるが、算出の際に用いるデータが入力の画像情報となる。すなわち、色域圧縮色空間変換部２１により取得された全ての画素のａ＊、ｂ＊とＬ＊と、色空間変換部１１により変換された全ての画素のａ＊、ｂ＊とＬ＊とに基づき、ＲＧＢ画像の各画素の圧縮率を算出する。

【0111】

なお、上記各実施形態では、画像処理のプログラムがＲＯＭ１０２又は記憶部（ストレージ）１０４に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0112】

本発明は、上述した第１の実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

【0113】

また、上述した各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えばＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、等）や、専用のプロセッサ（例えばＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。

【0114】

また、上述した実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は上述した各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。

【符号の説明】

【0115】

１００ 画像処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ ストレージ
１０５ 入力部
１０６ 表示部
１０７ 通信部
１０８ バス
２００ 画像形成装置
２０１ ＣＰＵ
２０２ ＲＯＭ
２０３ ＲＡＭ
２０４ ストレージ
２０５ 入力部
２０６ 表示部
２０７ 文書読取部
２０８ 画像形成部
２０９ 通信部
２１０ バス
１１ 色空間変換部
１２ 再現パラメータ解析部
１３ 出力デバイス最適再現パラメータ算出部
１４ 視認性再現部
１５ 逆色空間変換部
２１ 色域圧縮色空間変換部
２２ 色域圧縮率算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】