特許 6771134 画像補正方法及び画像補正装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6771134

(24)【登録日】2020年10月1日

(45)【発行日】2020年10月21日

(54)【発明の名称】画像補正方法及び画像補正装置

(51)【国際特許分類】

   H04N 1/407 20060101AFI20201012BHJP

   G06T 5/00 20060101ALI20201012BHJP

【ＦＩ】

   H04N1/407

   G06T5/00 735

【請求項の数】9

【全頁数】14

(21)【出願番号】特願2016-209871(P2016-209871)

(22)【出願日】2016年10月26日

(65)【公開番号】特開2017-85570(P2017-85570A)

(43)【公開日】2017年5月18日

【審査請求日】2019年7月9日

(31)【優先権主張番号】201510707594.4

(32)【優先日】2015年10月27日

(33)【優先権主張国】CN

(73)【特許権者】

【識別番号】000136136

【氏名又は名称】株式会社ＰＦＵ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】ジアオ・ジィレェ

(72)【発明者】

【氏名】ファヌ・ウエイ

(72)【発明者】

【氏名】孫 俊

【審査官】 野口 俊明

(56)【参考文献】

【文献】 特開２００１−１３６４３８（ＪＰ，Ａ）

【文献】 特開２０１５−１５３４２４（ＪＰ，Ａ）

【文献】 特開２００３−１７９７３７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １／４０−１／４０９

Ｇ０６Ｔ ５／００

(57)【特許請求の範囲】

【請求項1】

画像における各画素を前景画素又は背景画素に分類する分類ステップと、
前記前景画素に隣接する背景画素の輝度及び輝度の勾配に基づいて前記前景画素に対応する背景の輝度を推定し、前記前景画素における背景を充填し、充填された背景及び前記背景画素に基づいて前記画像の背景照明画像を取得する背景充填ステップと、
前記画像における各画素の輝度値及び前記背景照明画像に基づいて、前記画像を補正する補正ステップと、を含み、
前記分類ステップにおいて、前記画像における画素の輝度の勾配及び彩度に基づいて分類を行う、画像補正方法。

【請求項2】

前記背景充填ステップにおいて、前記前景画素に対応する背景の輝度を推定するステップは、
前記前景画素に隣接する全ての背景画素において、有効な勾配を有する背景画素を決定するステップと、
決定された有効な勾配を有する背景画素のうち各背景画素について、該背景画素の輝度及び輝度の勾配に基づいて前記前景画素に対応する背景の輝度の推定値を計算するステップと、
前記各背景画素について算出された推定値を平均化し、前記前景画素に対応する背景の輝度を取得するステップと、を含み、
前記有効な勾配を有する背景画素のうち各背景画素について、前記前景画素と該画素との連結方向において、該画素に隣接する画素は背景画素である、請求項１に記載の画像補正方法。

【請求項3】

前記画像における全ての背景画素の輝度値に基づいて、昼光照明強度を推定する昼光照明強度推定ステップ、をさらに含む、請求項１に記載の画像補正方法。

【請求項4】

前記昼光照明強度推定ステップにおいて、前記画像における全ての背景画素の輝度値の平均値に基づいて、前記昼光照明強度を推定する、請求項３に記載の画像補正方法。

【請求項5】

前記補正ステップにおいて、前記画像における各画素の輝度値及び前記背景照明画像、並びに前記昼光照明強度に基づいて、前記画像を補正する、請求項３又は４に記載の画像補正方法。

【請求項6】

前記分類ステップにおいて、前記前景画素に対して膨張処理を行う、請求項１に記載の画像補正方法。

【請求項7】

前記背景充填ステップにおいて、充填された背景を背景画素として、反復により前記画像の背景照明画像を取得する、請求項１に記載の画像補正方法。

【請求項8】

前記背景充填ステップにおいて、取得された背景照明画像を平滑化する、請求項１に記載の画像補正方法。

【請求項9】

画像における各画素を前景画素又は背景画素に分類する分類手段と、
前記前景画素に隣接する背景画素の輝度及び輝度の勾配に基づいて前記前景画素に対応する背景の輝度を推定し、前記前景画素における背景を充填し、充填された背景及び前記背景画素に基づいて前記画像の背景照明画像を取得する背景充填手段と、
前記画像における各画素の輝度値及び前記背景照明画像に基づいて、前記画像を補正する補正手段と、を含み、
前記分類手段は、前記画像における画素の輝度の勾配及び彩度に基づいて、前記画像における各画素を前景画素又は背景画素に分類する、画像補正装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理の分野に関し、具体的に、不均一な照明の画像を効果的に補正できる画像補正方法及び画像補正装置に関する。

【背景技術】

【0002】

デジタルカメラは、携帯性及び高解像度を有するため、多くの場合にスキャナの代わりに画像文書の取得装置とされている。しかし、撮影環境における非自然光の影響を受けるため、画像では照明が不均一であることが発生しやすい場合はある。図１は、照明が不均一である画像を例示的に示す図である。図１に示す不均一な照明は、後続の画像処理に多くの困難をもたらしてしまう。従来の照明補正方法は、フィルタリング又はフィッティングの方法を用いて背景を全体的に推定しているが、前景情報を十分に利用できず、背景の照明変化を適切に反映しにくい。

【発明の概要】

【発明が解決しようとする課題】

【0003】

以下、本発明の主旨を理解させるため、本発明を簡単に説明する。なお、これらの説明は、本発明を限定するものではない。以下の説明は、本発明の肝心又は重要な部分を決定するものではなく、本発明の範囲を限定することではない。その目的は、その後の詳しい説明の前文として、ある概念を簡単に説明するものに過ぎない。

【0004】

本発明は、上記の問題点を鑑みたものであり、照明が不均一である画像を効果的に補正できる、新しく、堅牢な画像補正方法及び画像補正装置を提供することを目的とする。

【課題を解決するための手段】

【0005】

本発明の一の態様では、画像における各画素を前景画素又は背景画素に分類する分類ステップと、前記前景画素に隣接する背景画素の輝度及び輝度の勾配に基づいて前記前景画素に対応する背景の輝度を推定し、前記前景画素における背景を充填し、充填された背景及び前記背景画素に基づいて前記画像の背景照明画像を取得する背景充填ステップと、前記画像における各画素の輝度値及び前記背景照明画像に基づいて、前記画像を補正する補正ステップと、を含む、画像補正方法を提供する。

【0006】

本発明の他の態様では、画像における各画素を前景画素又は背景画素に分類する分類手段と、前記前景画素に隣接する背景画素の輝度及び輝度の勾配に基づいて前記前景画素に対応する背景の輝度を推定し、前記前景画素における背景を充填し、充填された背景及び前記背景画素に基づいて前記画像の背景照明画像を取得する背景充填手段と、前記画像における各画素の輝度値及び前記背景照明画像に基づいて、前記画像を補正する補正手段と、を含む、画像補正装置をさらに提供する。

【0007】

本発明の他の態様では、上記本発明の方法を実現するためのコンピュータプログラムコード及びコンピュータプログラムプロダクト、並びに上記本発明の方法を実現するためのコンピュータプログラムコードを記録するコンピュータ読み取り可能な記憶媒体をさらに提供する。

【0008】

以下の明細書の部分では本発明の実施例の他の態様を説明し、本発明の実施例を十分に公開するための好ましい実施例を詳細に説明するが、その実施を限定しない。

【図面の簡単な説明】

【0009】

下記図面の詳細の説明を通じて、本発明の実施例の上記の目的、他の目的、特徴及び利点はより明確になる。図面におけるユニットは、単なる本発明の原理を示すものである。図面において、同一又は類似する技術的特徴又はユニットは、同一又は類似する記号で示されている。

【図1】照明が不均一である画像を例示的に示す図である。

【図2】本発明の実施例の画像補正方法のフローの例を示すフローチャートである。

【図3a】画像の輝度勾配画像の例を示す図である。

【図3b】画像の彩度画像の例を示す図である。

【図3c】画像を前景と背景に分類する例を示す図である。

【図4】本発明の実施例の背景充填テンプレートの例を示す図である。

【図5】本発明の実施例の背景照明画像の例を示す図である。

【図6】補正後の画像の例を示す図である。

【図7】本発明の実施例の画像補正装置の機能的構成の例を示すブロック図である。

【図8】本発明の実施例に適用可能な情報処理装置であるパーソナルコンピュータの例示的な構成を示すブロック図である。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら本発明の例示的な実施例を詳細に説明する。説明の便宜上、明細書には実際の実施形態の全ての特徴が示されていない。なお、実際に実施する際に、開発者の具体的な目標を実現するために、特定の実施形態を変更してもよい、例えばシステム及び業務に関する制限条件に応じて実施形態を変更してもよい。また、開発作業が非常に複雑であり、且つ時間がかかるが、本公開の当業者にとって、この開発作業は単なる例の作業である。

【0011】

なお、本発明を明確にするために、図面には本発明に密に関連する装置の構成要件及び／又は処理のステップのみが示され、本発明と関係のない細部が省略される。

【0012】

以下は、図面を参照しながら本発明の実施例を詳細に説明する。

【0013】

まず、図２を参照しながら本発明の実施例の画像補正方法のフローの例を説明する。図２は本発明の実施例の画像補正方法のフローの例を示すフローチャートである。

【0014】

図２に示すように、本発明の実施例の画像補正方法は、分類ステップＳ２０２、背景充填ステップＳ２０４及び補正ステップＳ２０６を含んでもよい。以下は、各ステップにおける処理をそれぞれ詳細に説明する。

【0015】

まず、分類ステップＳ２０２において、画像における各画素を前景画素又は背景画素に分類する。

【0016】

好ましくは、分類ステップＳ２０２において、元の画像をＨＳＶ色空間に変換してもよく、Ｈチャネル、Ｓチャネル及びＶチャネルは色の色相、彩度及び輝度をそれぞれ表す。Ｓチャネル及びＶチャネルの情報を用いて前景と背景に分類してもよい。

【0017】

好ましくは、分類ステップＳ２０２において、画像における画素の輝度の勾配及び彩度に基づいて分類を行ってもよい。

【0018】

前景と背景とにより効果的に分類するために、勾配情報及び彩度情報両方を用いて背景から前景を抽出してもよい。通常、画像の背景部分は、輝度の変化が緩く、彩度が比較的に低いという特徴を有する。このため、比較的に大きい勾配情報は前景のエッジを表すために用いられ、比較的に高い彩度は前景の内容を表示するために用いられてもよい。

【0019】

図３ａは画像の輝度勾配画像の例を示す。図３ｂは画像の彩度画像の例を示す。具体的には、図１に示す画像について、図３ａ及び図３ｂはＶチャネルにおけるＳｏｂｅｌ演算子に基づく輝度勾配画像及びＳチャネルにおける彩度画像をそれぞれ示している。

【0020】

好ましくは、画像における画素の輝度の勾配が第１閾値よりも大きく、或いは彩度が第２閾値よりも大きい場合は、該画素が前景画素であると決定する。

【0021】

好ましくは、第１閾値又は第２閾値は経験に応じて決定されてもよく、当業者にとって第１閾値又は第２閾値の他の決定方法を想到でき、本発明はこれに限定されない。

【0022】

好ましくは、分類ステップにおいて、前景画素に対して膨張（ｅｘｐａｎｓｉｏｎ）処理を行ってもよい。

【0023】

輝度勾配画像と彩度画像の組み合わせ結果は画像の前景情報を表し、画像二値化及び膨張処理により、前景画素と背景画素の分離を行う。図３ｃは画像を前景と背景に分類する例を示す図である。具体的には、図３ｃは、図１に示す画像を前景と背景に分類した図を示し、白色は前景画素を表し、黒色は背景画素を表す。

【0024】

好ましくは、画像における各画素を前景画素と背景画素に分類するように、フレーム間差分の方法を用い、又は色若しくは奥行き情報に基づいて前景と背景の分類を行ってもよい。

【0025】

背景充填ステップＳ２０４において、前景画素に隣接する背景画素の輝度及び輝度の勾配に基づいて前景画素に対応する背景の輝度を推定し、前景画素に位置する背景を充填し、充填された背景及び背景画素に基づいて画像の背景照明画像を取得してもよい。

【0026】

背景充填ステップＳ２０４において、背景の照明をよりよく表すために、分類ステップＳ２０２において取得された前景画素又は背景画素に分類された画像について、前景画素の所在する点に対して背景充填を行い、充填された背景及び背景画素に基づいて背景照明画像を取得する。

【0027】

好ましくは、背景充填ステップＳ２０４において、前景画素に対応する背景の輝度を推定するステップは、前景画素に隣接する全ての背景画素において、有効な勾配を有する背景画素を決定するステップと、決定された有効な勾配を有する背景画素のうち各背景画素について、該背景画素の輝度及び輝度の勾配に基づいて前景画素に対応する背景の輝度の推定値を計算するステップと、各背景画素について算出された推定値を平均化し、前景画素に対応する背景の輝度を取得するステップと、を含んでもよい。ここで、有効な勾配を有する背景画素のうち各背景画素について、前景画素と該画素との連結方向において、該画素に隣接する画素は背景画素である。

【0028】

好ましくは、背景充填ステップＳ２０４において、充填された背景を背景画素として、反復により画像の背景照明画像を取得してもよい。

【0029】

好ましくは、背景充填は５×５のテンプレートに基づくものであってもよい。図４は本発明の実施例の背景充填テンプレートの例を示す図である。図４に示すように、テンプレート中心は座標位置が（ｉ，ｊ）の前景画素（説明の便宜上、以下は、該前景画素を前景画素（ｉ，ｊ）と略称する）であり、ｄ_１、ｄ_２、…、ｄ_８それぞれは示されるテンプレート周辺のテンプレート中心（即ち前景画素（ｉ，ｊ））に指向する方向の背景輝度勾配である。Ｖ（ｘ，ｙ）で元の画像における位置（ｘ，ｙ）における画素の輝度を表してもよい。

【0030】

有効な勾配を有する背景画素は、以下のように定義されている。前景画素と該画素との連結方向において、該画素に隣接する画素は背景画素である。例えば、位置（ｉ−１，ｊ−１）及び位置（ｉ−２，ｊ−２）における画素が共に背景画素である場合は、前景画素（ｉ，ｊ）と画素（ｉ−１，ｊ−１）との連結方向において該画素（ｉ−１，ｊ−１）に隣接する画素（ｉ−２，ｊ−２）が背景画素であるため、位置（ｉ−１，ｊ−１）における画素は有効な勾配を有する背景画素である。Ｖ（ｉ−１，ｊ−１）及びＶ（ｉ−２，ｊ−２）で位置（ｉ−１，ｊ−１）及び位置（ｉ−２，ｊ−２）における背景画素の輝度をそれぞれ表す場合は、その間の有効な勾配ｄ_１＝Ｖ（ｉ−２，ｊ−２）−Ｖ（ｉ−１，ｊ−１）。逆に、位置（ｉ−１，ｊ−１）の画素が背景画素であっても、位置（ｉ−２，ｊ−２）における画素が背景画素でない場合に、位置（ｉ−１，ｊ−１）における画素は有効な勾配を有する背景画素ではなく、ｄ_１は無効である。

【0031】

好ましくは、前景画素に隣接する８個の画素について、有効な勾配を有する背景画素を順次決定してもよい。また、前景画素に隣接する上、下、左及び右の方向の４つの画素について、有効な勾配を有する背景画素を順次決定してもよい。また、前景画素に隣接する斜めの対角方向の４つの画素について、有効な勾配を有する背景画素を順次決定してもよい。

【0032】

前景画素（ｉ，ｊ）について、前景画素に隣接する背景画素のうち、有効な勾配を有する背景画素がｍ個であると仮定し、即ち該前景画素の周辺にｍ個の有効な勾配ｄ_ｎ（ｎ＝ｋ_１，ｋ_２，…，ｋ_ｍ）が存在すると仮定する。

【0033】

決定されたｍ個の有効な勾配を有する背景画素のうち各背景画素の輝度Ｖ（ｉ−ｉ_ｎ，ｊ−ｊ_ｎ）及び勾配ｄ_ｎ（ｎ＝ｋ_１，ｋ_２，…，ｋ_ｍ）に基づいて、前景画素（ｉ，ｊ）に対応する背景の輝度の推定値がＶ（ｉ−ｉ_ｎ，ｊ−ｊ_ｎ）−ｄ_ｎであると算出してもよい。

【0034】

最後に、該算出された推定値を平均化し、前景画素（ｉ，ｊ）に対応する背景の輝度Ｖ’（ｉ，ｊ）を取得できる。

【0035】

即ち、下記の式（１）に従って、前景画素（ｉ，ｊ）に対応する背景の輝度値（即ち位置（ｉ，ｊ）における背景の輝度値）Ｖ’（ｉ，ｊ）を推定してもよい。

【数1】

【0036】

以上は、５×５テンプレートに基づいて背景充填を行う例を説明した。以上は単なる一例であり、本発明の実施例を限定するものではなく、他のサイズのテンプレートを用いて背景充填を行ってもよい。また、複数のサイズのテンプレートを用いて背景充填を行ってもよい。例えば、５×５テンプレート及び８×８テンプレートを用いて、各テンプレートに基づく背景充填後の結果に異なる重みを付けて、その後に加算を行ってもよい。

【0037】

充填された背景を背景画素として、他の前景画素に対応する背景の輝度値を推定し、反復により全ての前景画素に対応する背景の輝度値を推定し、即ち全ての前景画素の所在する点について背景充填を行ってもよい。

【0038】

このように、充填された背景及び背景画素に基づいて、背景照明画像を取得できる。

【0039】

好ましくは、背景充填ステップＳ２０４において、取得された背景照明画像を平滑化する。図５は本発明の実施例の背景照明画像の例を示す図である。ここで、Ｖ’（ｘ，ｙ）を用いて背景照明画像における位置（ｘ，ｙ）における輝度値を表してもよい。

【0040】

補正ステップＳ２０６において、画像における各画素の輝度値及び背景照明画像に基づいて、画像を補正してもよい。

【0041】

例えば、補正ステップＳ２０６において、画像における各画素の輝度値と背景照明画像における各画素の輝度値との減算を行って、画像を補正してもよい。

【0042】

また、前景光線の影響を低減するために、昼光照明強度を考慮して画像を補正してもよい。

【0043】

好ましくは、本発明の実施例の画像補正方法は、画像における全ての背景画素の輝度値に基づいて、昼光照明強度を推定する昼光照明強度推定ステップ、をさらに含んでもよい。

【0044】

好ましくは、昼光照明強度推定ステップにおいて、画像における全ての背景画素の輝度値の平均値に基づいて、昼光照明強度を推定してもよい。即ち、前景と背景に分類して得られた背景領域の全ての画素について輝度平均値を求め、昼光照明強度ν_ｅを推定してもよい。

【0045】

好ましくは、補正ステップＳ２０６において、画像における各画素の輝度値及び背景照明画像、並びに昼光照明強度に基づいて、画像を補正してもよい。

【0046】

例えば、元の画像における各画素の輝度値Ｖ（ｘ，ｙ）、背景照明画像における各輝度値Ｖ’（ｘ，ｙ）及び昼光照明強度ν_ｅに基づいて、下記の式（２）に従って補正後の画像の輝度値を取得してもよい。

【数2】

【0047】

最後に、補正後の画像をＨＳＶ色空間からＲＧＢ色空間に変換する。

【0048】

図６は補正後の画像の例を示す図である。具体的には、図６は、図１に示す画像を補正して得られた画像を示している。図６に示すように、補正後の画像は、図１に示す画像における不均一な照明を除去した。

【0049】

以上のことから、本発明の実施例の画像補正方法によれば、画像の輝度勾配情報及び彩度情報に基づいて前景と背景に分類し、輝度勾配情報及び隣接領域情報を十分に利用して背景輝度を充填することで、照明が不均一である画像に対して輝度補正を効果的に行うことができる。

【0050】

本発明は、上記方法の実施例に対応する装置の実施例をさらに提供する。

【0051】

図７は本発明の実施例の画像補正装置７００の機能的構成の例を示すブロック図である。

【0052】

図７に示すように、本発明の実施例の画像補正装置７００は、分類部７０２、背景充填部７０４及び補正部７０６を含んでもよい。以下は、各部の機能的構成を説明する。

【0053】

分類部７０２は、画像における各画素を前景画素又は背景画素に分類する。

【0054】

好ましくは、分類部７０２は、元の画像をＨＳＶ色空間に変換してもよい。Ｓチャネル及びＶチャネルの情報を用いて前景と背景に分類してもよい。

【0055】

好ましくは、分類部７０２は、画像における画素の輝度の勾配及び彩度に基づいて分類を行ってもよい。

【0056】

好ましくは、画像における画素の輝度の勾配が第１閾値よりも大きく、或いは彩度が第２閾値よりも大きい場合は、該画素が前景画素であると決定する。

【0057】

好ましくは、第１閾値又は第２閾値は経験に応じて決定されてもよく、当業者にとって第１閾値又は第２閾値の他の決定方法を想到でき、本発明はこれに限定されない。好ましくは、分類部７０２は、前景画素に対して膨張処理を行ってもよい。

【0058】

具体的な画像における画素の輝度の勾配及び彩度に基づいて前景画素と背景画素に分類する方法は上記方法実施例の対応箇所の説明を参照してもよく、ここで重複する説明が省略される。

【0059】

好ましくは、画像における各画素を前景画素と背景画素に分類するように、フレーム間差分の方法を用い、又は色若しくは奥行き情報に基づいて前景と背景の分類を行ってもよい。

【0060】

背景充填部７０４は、前景画素に隣接する背景画素の輝度及び輝度の勾配に基づいて前景画素に対応する背景の輝度を推定し、前景画素に位置する背景を充填し、充填された背景及び背景画素に基づいて画像の背景照明画像を取得してもよい。

【0061】

背景充填部７０４は、背景の照明をよりよく表すために、分類ステップＳ２０２において取得された前景画素又は背景画素に分類された画像について、前景画素の所在する点に対して背景充填を行い、充填された背景及び背景画素に基づいて背景照明画像を取得する。

【0062】

好ましくは、背景充填部７０４は、前景画素に対応する背景の輝度を推定する際に、前景画素に隣接する全ての背景画素において、有効な勾配を有する背景画素を決定し、決定された有効な勾配を有する背景画素のうち各背景画素について、該背景画素の輝度及び輝度の勾配に基づいて前景画素に対応する背景の輝度の推定値を計算し、各背景画素について算出された推定値を平均化し、前景画素に対応する背景の輝度を取得してもよい。ここで、有効な勾配を有する背景画素のうち各背景画素について、前景画素と該画素との連結方向において、該画素に隣接する画素は背景画素である。

【0063】

好ましくは、背景充填部７０４は、充填された背景を背景画素として、反復により画像の背景照明画像を取得してもよい。

【0064】

具体的な画像の背景照明画像の取得方法は上記の方法実施例の対応箇所の説明を参照してもよく、ここで重複する説明が省略される。

【0065】

好ましくは、背景充填部７０４は、取得された背景照明画像を平滑化する。

【0066】

補正部７０６は、画像における各画素の輝度値及び背景照明画像に基づいて、画像を補正してもよい。

【0067】

例えば、補正部７０６は、画像における各画素の輝度値と背景照明画像における各画素の輝度値との減算を行って、画像を補正してもよい。

【0068】

また、前景光線の影響を低減するために、昼光照明強度を考慮して画像を補正してもよい。

【0069】

好ましくは、本発明の実施例の画像補正装置は、画像における全ての背景画素の輝度値に基づいて、昼光照明強度を推定する昼光照明強度推定部、をさらに含んでもよい。

【0070】

好ましくは、昼光照明強度推定部は、画像における全ての背景画素の輝度値の平均値に基づいて、昼光照明強度を推定してもよい。即ち、前景と背景に分類して得られた背景領域の全ての画素について輝度平均値を求め、昼光照明強度を推定してもよい。

【0071】

好ましくは、補正部７０６は、画像における各画素の輝度値及び背景照明画像、並びに昼光照明強度に基づいて、画像を補正してもよい。

【0072】

具体的な昼光照明強度に基づいて画像を補正する方法は上記方法実施例の対応する箇所の説明を参照してもよく、ここで重複する説明が省略される。

【0073】

最後に、補正後の画像をＨＳＶ色空間からＲＧＢ色空間に変換する。

【0074】

以上のことから、本発明の実施例の画像補正装置によれば、画像の輝度勾配情報及び彩度情報に基づいて前景と背景に分類し、輝度勾配情報及び隣接領域情報を十分に利用して背景輝度を充填することで、照明が不均一である画像に対して輝度補正を効果的に行うことができる。

【0075】

なお、以上は本発明の実施例の画像補正装置の機能的構成を説明しているが、これは単なる例示的なものであり、制限的なものではなく、当業者は本発明の原理に基づいて上記実施例を補正し、例えば各実施例における機能的ブロックを追加、削除、又は組み合わせてもよく、このような補正は本発明の範囲内のものである。

【0076】

また、ここの装置実施例は上記方法実施例に対応するものであり、装置実施例に詳細に説明されていない内容は方法実施例の対応箇所の説明を参照してもよく、ここでその説明が省略される。

【0077】

なお、本発明の実施例の記憶媒体及びプログラムプロダクトにおける機器が実行可能な命令は上記画像補正方法を実行するように構成されてもよいため、ここで詳細に説明されていない内容は上記の対応箇所の説明を参照してもよく、ここで重複する説明が省略される。

【0078】

また、上記機器が実行可能な命令を格納したプログラムプロダクトの記憶媒体も本発明の開示に含まれる。記憶媒体はフロッピーディスク、光ディスク、光磁気ディスク、メモリカード、メモリスティック等を含む。

【0079】

なお、上記処理及び装置はソフトウェア及び／又はファームウェアにより実現されてもよい。ソフトウェアおよび/またはファームウェアにより実現する場合、記憶媒体またはネットワークを通じて専用ハードウェア構造を有するコンピュータ、例えば、図８に示されたような汎用コンピュータ８００に当該ソフトウェアを構成するプログラムをインストールし、当該コンピュータは、各種類のプログラムがインストールされたときに、各種の機能等を実行することができる。

【0080】

図８では、セントラル・プロセッシング・ユニット(ＣＰＵ)８０１は、読み取り専用メモリ（ＲＯＭ)８０２に格納されたプログラムまたは記憶部８０８からランダム・アクセス・メモリ(ＲＡＭ)８０３にアップロードされたプログラムにより各種の処理を実行する。ＲＡＭ８０３には、必要に応じてＣＰＵ８０１が各種の処理を実行するときに必要なデータを記憶する。

【0081】

ＣＰＵ８０１、ＲＯＭ８０２とＲＡＭ８０３はバス８０４を介して互いに連結する。入力/出力インターフェース８０５もバス８０４に接続される。

【0082】

以下の構成部も入力/出力インターフェース８０５に接続される：キーボードやマウス等を含む入力部８０６；例えばブラウン管（ＣＲＴ）や液晶ディスプレイ（ＬＣＤ）等のモニタやスピーカー等を含む出力部８０７；ハードディスク等を含む記憶部８０８；例えばLANカード等のネットワークインタフェースカードやモデム等を含む通信部８０９。また、通信部８０９はネットワーク、例えばインターネットを介して通信処理を行う。

【0083】

必要に応じて、ドライブ部８１０も入力/出力インターフェース８０５に接続される。取り外し可能な媒体８１１、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体記憶装置等を、必要に応じてドライブ部８１０に挿入し、その中から読み出されたコンピュータプログラムは必要に応じて記憶部８０８にインストールされる。

【0084】

ソフトウェアを通じて前記一連の処理を実現する場合、ネットワーク、例えばインターネット、または記憶媒体、例えば取り外し可能な媒体８１１からソフトウェアを構成するプログラムをインストールする。

【0085】

当業者が理解されるように、ここでの記憶媒体は、図８に示されたような、中にプログラムが記憶され、設備と分離して配布しユーザにプログラムを提供する取り外し可能な媒体８１１には限らない。取り外し可能な媒体８１１の例として、磁気ディスク(フロッピーディスク(登録商標)を含む)、光ディスク(コンパクトディスク（ＣＤ）による読み出し専用メモリ(ＣＤ−ＲＯＭ)とデジタル多用途ディスク(ＤＶＤ)を含む)、光磁気ディスク（ミニディスク(ＭＤ)(登録商標)を含む)と半導体記憶装置などを含む。また、記憶媒体は、ＲＯＭ８０２や記憶部８０８に含まれるハードディスクであっても良い。その中にプログラムが記憶され、且つそれを記憶する設備と一緒にユーザに配布される。

【0086】

以上は図面を参照しながら本発明の好ましい実施例を説明しているが、本発明は上記の例に限定されない。当業者は、添付された特許請求の範囲の範囲内に各種の変更及び修正を行ってもよく、これらの変更又は修正も本発明の技術的な範囲内のものである。

【0087】

例えば、上記の実施例における１つのユニットに含まれる複数の機能は異なる装置によりそれぞれ実現されてもよい。好ましくは、上記の実施例における複数のユニットにより実現される複数の機能は異なる装置によりそれぞれ実現されてもよい。また、上記機能の１つは複数のユニットにより実現されてもよい。なお、このような構成は本発明の技術的範囲内のものである。

【0088】

また、明細書では、フローチャートにおけるステップは時間順で実行されてもよいし、並行又は単独で実行されてもよい。なお、時間順で処理されるステップは、該順序を変更してもよい。

【0089】

また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
画像における各画素を前景画素又は背景画素に分類する分類ステップと、
前記前景画素に隣接する背景画素の輝度及び輝度の勾配に基づいて前記前景画素に対応する背景の輝度を推定し、前記前景画素における背景を充填し、充填された背景及び前記背景画素に基づいて前記画像の背景照明画像を取得する背景充填ステップと、
前記画像における各画素の輝度値及び前記背景照明画像に基づいて、前記画像を補正する補正ステップと、を含む、画像補正方法。
（付記２）
前記分類ステップにおいて、
前記画像における画素の輝度の勾配及び彩度に基づいて分類を行う、付記１に記載の画像補正方法。
（付記３）
前記背景充填ステップにおいて、前記前景画素に対応する背景の輝度を推定するステップは、
前記前景画素に隣接する全ての背景画素において、有効な勾配を有する背景画素を決定するステップと、
決定された有効な勾配を有する背景画素のうち各背景画素について、該背景画素の輝度及び輝度の勾配に基づいて前記前景画素に対応する背景の輝度の推定値を計算するステップと、
前記各背景画素について算出された推定値を平均化し、前記前景画素に対応する背景の輝度を取得するステップと、を含み、
前記有効な勾配を有する背景画素のうち各背景画素について、前記前景画素と該画素との連結方向において、該画素に隣接する画素は背景画素である、付記１に記載の画像補正方法。
（付記４）
前記画像における全ての背景画素の輝度値に基づいて、昼光照明強度を推定する昼光照明強度推定ステップ、をさらに含む、付記１に記載の画像補正方法。
（付記５）
前記昼光照明強度推定ステップにおいて、前記画像における全ての背景画素の輝度値の平均値に基づいて、前記昼光照明強度を推定する、付記４に記載の画像補正方法。
（付記６）
前記補正ステップにおいて、前記画像における各画素の輝度値及び前記背景照明画像、並びに前記昼光照明強度に基づいて、前記画像を補正する、付記４又は５に記載の画像補正方法。
（付記７）
前記分類ステップにおいて、前記前景画素に対して膨張処理を行う、付記１に記載の画像補正方法。
（付記８）
前記背景充填ステップにおいて、充填された背景を背景画素として、反復により前記画像の背景照明画像を取得する、付記１に記載の画像補正方法。
（付記９）
前記背景充填ステップにおいて、取得された背景照明画像を平滑化する、付記１に記載の画像補正方法。
（付記１０）
画像における各画素を前景画素又は背景画素に分類する分類手段と、
前記前景画素に隣接する背景画素の輝度及び輝度の勾配に基づいて前記前景画素に対応する背景の輝度を推定し、前記前景画素における背景を充填し、充填された背景及び前記背景画素に基づいて前記画像の背景照明画像を取得する背景充填手段と、
前記画像における各画素の輝度値及び前記背景照明画像に基づいて、前記画像を補正する補正手段と、を含む、画像補正装置。
（付記１１）
前記分類手段は、前記画像における画素の輝度の勾配及び彩度に基づいて分類を行う、付記１０に記載の画像補正装置。
（付記１２）
前記背景充填手段は、前記前景画素に対応する背景の輝度を推定する際に、
前記前景画素に隣接する全ての背景画素において、有効な勾配を有する背景画素を決定し、
決定された有効な勾配を有する背景画素のうち各背景画素について、該背景画素の輝度及び輝度の勾配に基づいて前記前景画素に対応する背景の輝度の推定値を計算し、
前記各背景画素について算出された推定値を平均化し、前記前景画素に対応する背景の輝度を取得し、
前記有効な勾配を有する背景画素のうち各背景画素について、前記前景画素と該画素との連結方向において、該画素に隣接する画素は背景画素である、付記１０に記載の画像補正装置。
（付記１３）
前記画像における全ての背景画素の輝度値に基づいて、昼光照明強度を推定する昼光照明強度推定手段、をさらに含む、付記１０に記載の画像補正装置。
（付記１４）
前記昼光照明強度推定手段は、前記画像における全ての背景画素の輝度値の平均値に基づいて、前記昼光照明強度を推定する、付記１３に記載の画像補正装置。
（付記１５）
前記補正手段は、前記画像における各画素の輝度値及び前記背景照明画像、並びに前記昼光照明強度に基づいて、前記画像を補正する、付記１３又は１４に記載の画像補正装置。
（付記１６）
前記分類手段は、前記前景画素に対して膨張処理を行う、付記１０に記載の画像補正装置。
（付記１７）
前記背景充填手段は、充填された背景を背景画素として、反復により前記画像の背景照明画像を取得する、付記１０に記載の画像補正装置。
（付記１８）
前記背景充填手段は、取得された背景照明画像を平滑化する、付記１０に記載の画像補正装置。

【図1】

【図2】

【図3a】

【図3b】

【図3c】

【図4】

【図5】

【図6】

【図7】

【図8】