特許 6877052 画像処理方法及び画像処理方法を実行する画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6877052

(24)【登録日】2021年4月30日

(45)【発行日】2021年5月26日

(54)【発明の名称】画像処理方法及び画像処理方法を実行する画像処理装置

(51)【国際特許分類】

   H04N 17/04 20060101AFI20210517BHJP

   H04N 5/66 20060101ALI20210517BHJP

   G06T 5/00 20060101ALI20210517BHJP

【ＦＩ】

   H04N17/04 C

   H04N5/66 A

   G06T5/00 705

【請求項の数】6

【全頁数】20

(21)【出願番号】特願2018-566702(P2018-566702)

(86)(22)【出願日】2017年2月9日

(86)【国際出願番号】JP2017004717

(87)【国際公開番号】WO2018146765

(87)【国際公開日】20180816

【審査請求日】2019年8月27日

(73)【特許権者】

【識別番号】503193351

【氏名又は名称】株式会社イクス

(74)【代理人】

【識別番号】100148518

【弁理士】

【氏名又は名称】松田 純一

(74)【代理人】

【識別番号】100160314

【弁理士】

【氏名又は名称】西村 公芳

(74)【代理人】

【識別番号】100134038

【弁理士】

【氏名又は名称】野田 薫央

(72)【発明者】

【氏名】村瀬 浩

【審査官】 佐野 潤一

(56)【参考文献】

【文献】 実開平０２−０５７６７４（ＪＰ，Ｕ）

【文献】 国際公開第２０１６／００９４９３（ＷＯ，Ａ１）

【文献】 国際公開第２０１４／０５０２２２（ＷＯ，Ａ１）

【文献】 特開２００２−０７７６４５（ＪＰ，Ａ）

【文献】 特開平０４−２２０８８２（ＪＰ，Ａ）

【文献】 特開昭６０−０１０９２５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １７／００

Ｈ０４Ｎ ５／２１

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／６６

Ｇ０６Ｔ ５／００

Ｇ０９Ｇ ５／００

(57)【特許請求の範囲】

【請求項1】

ピクセルが周期的に配列された表示パネルの表示画像を画素が周期的に配列されたカメラで撮像し、該カメラの撮像画像を処理する画像処理方法において、
前記カメラで前記表示画像をフォーカスして撮像するフォーカス画像撮像ステップと、
該フォーカス画像撮像ステップの撮像画像にハイパスフィルタを適用し、該撮像画像に生じたモアレに対応する空間周波数成分を除去又は低減させて第１画像を生成する第１画像生成ステップと、
前記カメラで前記表示画像をデフォーカスして撮像するデフォーカス画像撮像ステップと、
該デフォーカス画像撮像ステップの撮像画像に補正フィルタを適用し、該補正フィルタで前記デフォーカス画像撮像ステップの撮像画像の空間周波数成分の減衰を補正する撮像画像補正ステップと、
該撮像画像補正ステップで補正した前記デフォーカス画像撮像ステップの撮像画像にローパスフィルタを適用して第２画像を生成する第２画像生成ステップと、
前記第１画像と前記第２画像とを合成して前記モアレを消失又は抑制させた第３画像を生成する第３画像生成ステップと、を備え、
前記撮像画像補正ステップは、前記デフォーカス画像撮像ステップの撮像画像の空間周波数成分を前記ローパスフィルタの空間周波数特性に倣うように補正し、
前記ハイパスフィルタの透過率と前記ローパスフィルタの透過率との和が任意の空間周波数において一定値となることを特徴とする画像処理方法。

【請求項2】

前記撮像画像補正ステップは、
前記デフォーカス画像撮像ステップの撮像画像を複数の領域に分割する領域分割ステップを有し、
該領域分割ステップによって分割した前記各領域に含まれる空間周波数成分に該空間周波数成分に対応する予め求められたフィルタ係数を乗じることによって、前記各領域に含まれる空間周波数成分を前記フォーカス画像撮像ステップの撮像画像の空間周波数成分に一致するように補正することを特徴とする請求項１に記載の画像処理方法。

【請求項3】

前記領域分割ステップは、
前記デフォーカス画像撮像ステップの撮像画像を一の領域と他の領域とを互いにオーバラップさせて分割し、
分割した前記各領域のオーバラップさせた任意の部分における係数の和が一定値となる特性を有する窓関数を前記各領域に付与することを特徴とする請求項２に記載の画像処理方法。

【請求項4】

画素が周期的に配列され、ピクセルが周期的に配列された表示パネルの表示画像を撮像するカメラを備え、該カメラによる撮像画像を処理する画像処理装置において、
前記カメラによって前記表示画像がフォーカスされて撮像された撮像画像からモアレに対応する空間周波数成分を除去又は低減して第１画像を生成するハイパスフィルタと、
前記カメラによって前記表示画像がデフォーカスされて撮像された撮像画像の空間周波数の減衰を補正する補正フィルタと、
該補正フィルタで補正された前記デフォーカスされて撮像された撮像画像の空間周波数成分のうち低空間周波数成分のみを抽出して第２画像を生成するローパスフィルタと、
前記第１画像と前記第２画像とを合成して前記モアレを消失又は抑制させた第３画像を生成する画像合成部と、を備え、
前記補正フィルタは、前記カメラによって前記表示画像がデフォーカスされて撮像された撮像画像の空間周波数を前記ローパスフィルタの空間周波数特性に倣うように補正し、
前記ハイパスフィルタの透過率と前記ローパスフィルタの透過率との和が任意の空間周波数において一定値となることを特徴とする画像処理装置。

【請求項5】

デフォーカスして撮像した前記撮像画像を複数の領域に分割し、
分割した前記各領域に含まれる空間周波数成分に該空間周波数成分に対応する予め求められたフィルタ係数を乗じることによって、前記各領域に含まれる空間周波数成分をフォーカスして撮像した撮像画像の空間周波数成分に一致するように補正することを特徴とする請求項４に記載の画像処理装置。

【請求項6】

デフォーカスして撮像した前記撮像画像を一の領域と他の領域とを互いにオーバラップさせて分割し、
分割した前記各領域のオーバラップさせた任意の部分における係数の和が一定値となる特性を有する窓関数を前記各領域に付与することを特徴とする請求項５に記載の画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理方法及び画像処理方法を実行する画像処理装置、特に、ピクセルが周期的に配列された表示パネルに表示された画像を、画素が周期的に配列されたカメラで撮像し、撮像した画像からモアレを除去又は抑制する画像処理方法及びこの画像処理方法を実行する画像処理装置に関する。

【背景技術】

【0002】

ピクセルが周期的に配列された、液晶パネルや有機ＥＬパネル等の表示パネルの画像を、撮像面上の画素が周期的に配列された固体撮像素子カメラで撮像する場合は、ピクセルが配列される周期と画素が配列される周期との間にズレが生じることに起因して、干渉縞とも称されるモアレが、撮像された画像に発生することとなる。

【0003】

モアレが発生した撮像画像に基づいてピクセルの輝度を測定すると、表示パネル上でモアレに対応する位置にあるピクセルの輝度が暗く測定されること等によって輝度を正確に測定することができないことから、モアレによる影響を抑制する必要がある。

【0004】

このような対策として、本発明の発明者は、特許文献１として、フォーカス画像とデフォーカス画像とを合成することによってモアレを除去する画像処理方法を提案した。この画像処理方法では、表示パネルのフォーカス画像及びデフォーカス画像を撮像し、撮像した各画像を画像処理装置のハイパスフィルタ及びローパスフィルタでフィルタリングして、画像処理を行う。

【0005】

図１５は、この画像処理方法による画像処理のプロセスを示す図であり、（ａ）はフォーカス画像及びデフォーカス画像の空間周波数特性を示す図、（ｂ）はハイパスフィルタ及びローパスフィルタのフィルタ特性を示す図、（ｃ）はフォーカス画像及びデフォーカス画像をフィルタリングした後の空間周波数特性を示す図、（ｄ）はフィルタリングした後の各画像を合成した画像の空間周波数特性を示す図である。

【0006】

図１５（ａ）で示すように、フォーカス画像の空間周波数ｆ１は、空間周波数領域が０からナイキスト周波数ｆ_Ｎまでの範囲に亘って、ゲインが１の近傍に出力される。このフォーカス画像では、低空間周波数領域でかつナイキスト周波数の１／１０以下の領域において、モアレＭが発生している。一方、デフォーカス画像の空間周波数ｆ２は、空間周波数領域が０からナイキスト周波数ｆ_Ｎの範囲に移行するに従って漸次減衰している。

【0007】

図１５（ｂ）で示すように、この画像処理方法に用いられる画像処理装置における、フィルタ特性Ｆ１を有するハイパスフィルタ及びフィルタ特性Ｆ２を有するローパスフィルタによって、フォーカス画像の空間周波数ｆ１から高空間周波数成分を抽出し、デフォーカス画像の空間周波数ｆ２から低空間周波数成分を抽出する。

【0008】

このとき、フォーカス画像の空間周波数ｆ１からは高空間周波数成分のみが抽出されることから、低空間周波数領域において発生しているモアレＭが除去される。

【0009】

図１５（ｃ）で示すように、ハイパスフィルタによるフィルタリング後のフォーカス画像の空間周波数特性、及びローパスフィルタによるフィルタリング後のデフォーカス画像の空間周波数特性は、任意の空間周波数について「ハイパスフィルタの透過率＋ローパスフィルタの透過率＝１」が成立する相特性補償の特性を呈する。

【0010】

フィルタリング後のフォーカス画像及びデフォーカス画像を合成すると、合成した画像の周波数特性は、図１５（ｄ）で示すように、空間周波数領域が０からナイキスト周波数ｆ_Ｎの範囲に亘ってほぼ平坦となる空間周波数特性ｆ３を呈し、任意の空間周波数において「合成後の周波数特性＝フォーカス後の空間周波数特性」が成立する。したがって、表示パネルの輝度を測定するに際し、モアレが適切に除去される一方で、解像度が良好な画像を合成することができる。

【先行技術文献】

【特許文献】

【0011】

【特許文献1】ＷＯ２０１６／００９４９３Ａ１

【発明の概要】

【発明が解決しようとする課題】

【0012】

ところで、所望の空間周波数領域においてモアレを発生させるには、表示パネルとカメラとの離間距離や、カメラで表示パネルを撮像する角度を精緻に設定する必要がある。

【0013】

例えば、６６００×４４００の画素のカメラで表示パネルを撮像する場合において、図１５（ａ）で示した、極めて低い空間周波数領域にモアレＭを集約させて発生させるには、カメラで表示パネルを撮像する角度の許容誤差をおよそ±０．０９°以下とする必要がある。

【0014】

カメラで表示パネルを撮像する角度をこのように設定することは可能ではあるものの、設定には比較的長時間を要することから、例えば秒単位といった極めて短時間での生産性の効率化が求められる表示パネルの製造の現場においては、実際に装備をすることが困難である。

【0015】

一方、設定に時間をかけないで、カメラで表示パネルを撮像する角度の許容誤差をおよそ±１°とした場合は、図１６（ａ）で示すように、ナイキスト周波数の１／１０以下の領域から離れてモアレＭが発生することとなる。

【0016】

この場合において、モアレＭを除去すべく特許文献１の画像処理方法で画像処理を行うと、デフォーカス画像の空間周波数が高空間周波数領域に移行するに従って急速に減衰していることに起因して、図１６（ｂ）で示すように、合成後の画像の空間周波数ｆ３では、低空間周波数領域に凹みができてしまうことになる。

【0017】

したがって、この場合は、任意の空間周波数について「合成後の周波数特性＝フォーカス画像の周波数特性」が成立しないことから、良好な解像度の画像を合成することができないことが懸念される。

【0018】

本発明は、上記事情に鑑みてなされたものであり、カメラで表示パネルを撮像する角度の設定に時間をかけなくとも、画像の解像度の低下を招くことなく、モアレによる影響を抑制することができる画像処理方法及び画像処理方法を実行する画像処理装置を提供することを課題とするものである。

【課題を解決するための手段】

【0019】

上記課題を解決するための第１の画像処理方法は、ピクセルが周期的に配列された表示パネルの表示画像を画素が周期的に配列されたカメラで撮像し、該カメラの撮像画像を処理する画像処理方法において、前記カメラで前記表示画像をフォーカスして撮像するフォーカス画像撮像ステップと、該フォーカス画像撮像ステップの撮像画像にハイパスフィルタを適用し、該撮像画像に生じたモアレに対応する空間周波数成分を除去又は低減させて第１画像を生成する第１画像生成ステップと、前記カメラで前記表示画像をデフォーカスして撮像するデフォーカス画像撮像ステップと、該デフォーカス画像撮像ステップの撮像画像に補正フィルタを適用し、該補正フィルタで前記デフォーカス画像撮像ステップの撮像画像の空間周波数成分の減衰を補正する撮像画像補正ステップと、該撮像画像補正ステップで補正した前記デフォーカス画像撮像ステップの撮像画像にローパスフィルタを適用して第２画像を生成する第２画像生成ステップと、前記第１画像と前記第２画像とを合成して前記モアレを消失又は抑制させた第３画像を生成する第３画像生成ステップと、を備え、前記撮像画像補正ステップは、前記デフォーカス画像撮像ステップの撮像画像の空間周波数成分を前記ローパスフィルタの空間周波数特性に倣うように補正し、前記ハイパスフィルタの透過率と前記ローパスフィルタの透過率との和が任意の空間周波数において一定値となることを特徴とする。

【0020】

この構成によれば、フォーカスして撮像した撮像画像にハイパスフィルタを適用して生成した第１画像と、デフォーカスして撮像した撮像画像にローパスフィルタを適用して生成した第２画像とを合成して第３画像を生成するに際し、デフォーカスして撮像した撮像画像の空間周波数の減衰が、補正フィルタによって補正される。

【0021】

これにより、第３画像を合成するに際して、モアレに対応する空間周波数成分をハイパスフィルタで除去又は低減させて生成した第１画像と、補正フィルタによって補正されたうえでローパスフィルタが適用されて生成された第２画像とを合成すると、補正フィルタによって補正された空間周波数成分によって、ハイパスフィルタで除去又は低減された空間周波数成分が補間される。

【0022】

したがって、モアレを除去しやすいような極めて低い空間周波領域にモアレを発生させることを目的として、カメラで表示パネルの表示画像を撮像する角度を精緻に設定する必要がないことから、カメラの設定に時間をかけることなく、モアレが適切に除去又は低減された、解像度が良好な第３画像を容易に生成することができる。

【0023】

第２の画像処理方法は、第１の画像処理方法において、前記撮像画像補正ステップは、前記デフォーカス画像撮像ステップの撮像画像を複数の領域に分割する領域分割ステップを有し、該領域分割ステップによって分割した前記各領域に含まれる空間周波数成分に該空間周波数成分に対応する予め求められたフィルタ係数を乗じることによって、前記各領域に含まれる空間周波数成分を前記フォーカス画像撮像ステップの撮像画像の空間周波数成分に一致するように補正することを特徴とする。

【0024】

この構成によれば、複数の領域に分割した各領域に含まれる空間周波数成分に、予め求められたフィルタ係数を乗じると、各領域に含まれる空間周波数成分が、フォーカスして撮像した撮像画像の空間周波数成分と一致することから、デフォーカスして撮像した撮像画像の空間周波数の減衰が補正される。

【0025】

第３の画像処理方法は、第２の画像処理方法において、前記領域分割ステップは、前記デフォーカス画像撮像ステップの撮像画像を一の領域と他の領域とを互いにオーバラップさせて分割し、分割した前記各領域のオーバラップさせた任意の部分における係数の和が一定値となる特性を有する窓関数を前記各領域に付与することを特徴とする。

【0026】

この構成によれば、デフォーカスして撮像した撮像画像を、一の領域と他の領域とを互いにオーバラップさせて複数の領域に分割し、そのうえで、分割した各領域のオーバラップさせた任意の部分における係数の和が一定値となる特性を有する窓関数をこれら各領域に付与する。

【0027】

これにより、撮像画像を複数の領域に分割した際に生じる各領域の間の不連続が抑制される。

【0028】

上記課題を解決するための第４の画像処理装置は、画素が周期的に配列され、ピクセルが周期的に配列された表示パネルの表示画像を撮像するカメラを備え、該カメラによる撮像画像を処理する画像処理装置において、前記カメラによって前記表示画像がフォーカスされて撮像された撮像画像からモアレに対応する空間周波数成分を除去又は低減して第１画像を生成するハイパスフィルタと、前記カメラによって前記表示画像がデフォーカスされて撮像された撮像画像の空間周波数の減衰を補正する補正フィルタと、該補正フィルタで補正された前記デフォーカスされて撮像された撮像画像の空間周波数成分のうち低空間周波数成分のみを抽出して第２画像を生成するローパスフィルタと、前記第１画像と前記第２画像とを合成して前記モアレを消失又は抑制させた第３画像を生成する画像合成部と、を備え、前記補正フィルタは、前記カメラによって前記表示画像がデフォーカスされて撮像された撮像画像の空間周波数を前記ローパスフィルタの空間周波数特性に倣うように補正し、前記ハイパスフィルタの透過率と前記ローパスフィルタの透過率との和が任意の空間周波数において一定値となることを特徴とする。

【0029】

この構成によれば、フォーカスして撮像した撮像画像にハイパスフィルタを適用して生成した第１画像と、デフォーカスして撮像した撮像画像にローパスフィルタを適用して生成した第２画像とを合成して第３画像を生成するに際し、デフォーカスして撮像した撮像画像の空間周波数の減衰が、補正フィルタによって補正される。

【0030】

これにより、第３画像を合成するに際して、モアレに対応する空間周波数成分をハイパスフィルタで除去又は低減させて生成した第１画像と、補正フィルタによって補正されたうえでローパスフィルタが適用されて生成された第２画像とを合成すると、補正フィルタによって補正された空間周波数成分によって、ハイパスフィルタで除去又は低減された空間周波数成分が補間される。

【0031】

したがって、モアレを除去しやすいような極めて低い空間周波領域にモアレを発生させることを目的として、カメラで表示パネルの表示画像を撮像する角度を精緻に設定する必要がないことから、カメラの設定に時間をかけることなく、モアレが適切に除去又は低減された、解像度が良好な第３画像を容易に生成することができる。

【0032】

第５の画像処理装置は、第４の画像処理装置において、デフォーカスして撮像した前記撮像画像を複数の領域に分割し、分割した前記各領域に含まれる空間周波数成分に該空間周波数成分に対応する予め求められたフィルタ係数を乗じることによって、前記各領域に含まれる空間周波数成分をフォーカスして撮像した撮像画像の空間周波数成分に一致するように補正することを特徴とする。

【0033】

この構成によれば、複数の領域に分割した各領域に含まれる空間周波数成分に、予め求められたフィルタ係数を乗じると、各領域に含まれる空間周波数成分が、フォーカスして撮像した撮像画像の空間周波数成分と一致することから、デフォーカスして撮像した撮像画像の空間周波数の減衰が補正される。

【0034】

第６の画像処理装置は、第５の画像処理装置において、デフォーカスして撮像した前記撮像画像を一の領域と他の領域とを互いにオーバラップさせて分割し、分割した前記各領域のオーバラップさせた任意の部分における係数の和が一定値となる特性を有する窓関数を前記各領域に付与することを特徴とする。

【0035】

この構成によれば、デフォーカスして撮像した撮像画像を、一の領域と他の領域とを互いにオーバラップさせて複数の領域に分割し、そのうえで、分割した各領域のオーバラップさせた任意の部分における係数の和が一定値となる特性を有する窓関数をこれら各領域に付与する。

【0036】

これにより、撮像画像を複数の領域に分割した際に生じる各領域の間の不連続が抑制される。

【発明の効果】

【0037】

この発明によると、カメラの設定に時間をかけることなく、モアレが適切に除去又は低減された、解像度が良好な第３画像を容易に生成することができる。

【図面の簡単な説明】

【0038】

【図1】本発明の実施の形態に係る画像処理装置の概略を説明するブロック図である。

【図2】同じく、本実施の形態に係るハイパスフィルタ及びローパスフィルタのフィルタ特性を表す概念図である。

【図3】同じく、本実施の形態に係るデフォーカスして撮像した撮像画像の二次元空間周波数特性を表す概念図である。

【図4】同じく、本実施の形態に係る撮像画像の空間周波数成分のフィルタ特性を表す概念図である。

【図5】同じく、本実施の形態に係る撮像画像を複数の領域に分割した状態を表す概念図である。

【図6】同じく、本実施の形態に係る補正フィルタのフィルタ特性を表す概念図である。

【図7】同じく、本実施の形態に係る画像処理装置による画像処理を概念的に示す図であり、（ａ）はハイパスフィルタ及びローパスフィルタのフィルタ特性にフォーカスして撮像した撮像画像の空間周波数特性及びデフォーカスして撮像した撮像画像の空間周波数特性を重ねた図、（ｂ）は補正フィルタによる補正の概略を示す図である。

【図8】同じく、本実施の形態に係る窓関数の係数を表す図である。

【図9】同じく、本実施の形態に係る窓関数を分割した撮像画像の各領域に付与した状態を示す概念図である。

【図10】同じく、本実施の形態に係る画像処理装置による画像処理作業のプロセスを示したフローチャートである。

【図11】同じく、本実施の形態に係る画像処理装置によってアライメントパターンを表示させた状態を表す図である。

【図12】同じく、本実施の形態に係る画像処理装置による画像処理のプロセスを示す図である。

【図13】同じく、本実施の形態に係る画像処理装置によって生成された第３画像の空間周波数成分を示す図である。

【図14】同じく、本実施の形態に係る画像処理装置の低空間周波数処理部による画像処理作業のプロセスを示したフローチャートである。

【図15】従来の画像処理方法による画像処理のプロセスを示す図である。

【図16】同じく、従来の画像処理方法による画像処理のプロセスを示す図である。

【発明を実施するための形態】

【0039】

次に、本発明の実施の形態について、図１〜図１４に基づいて説明する。なお、本実施の形態において、表示パネルが、画質調整型の有機ＥＬパネルである場合を例として説明する。

【0040】

図１は、本実施の形態に係る画像処理装置の概略を説明するブロック図、図２及び図３は、本実施の形態に係るハイパスフィルタ及びローパスフィルタのフィルタ特性を表す概念図である。この画像処理装置の説明に先立って、本実施の形態の有機ＥＬパネルの概略を説明する。

【0041】

有機ＥＬパネル２０は、Ｒ（赤）、Ｇ（緑）及びＢ（青）のサブピクセルを有するピクセルが周期的に配置されたディスプレイ２１を備える。このディスプレイ２１は、画像信号が入力されると、ＲＯＭ２２ａを内蔵した画質調整回路２２によって、後述する補正データに従った画像信号が出力されて、その表示ムラの低減が図られる。

【0042】

画像処理装置１は、このような有機ＥＬパネル２０の製造工程の最終段階において、その画質を調整する装置であり、カメラ２、画像処理部３、パターン発生部４及びＲＯＭライタ５を備える。

【0043】

カメラ２は、本実施の形態では、固体撮像素子（ＣＣＤ）を搭載したカメラによって構成され、有機ＥＬパネル２０の表示画像を撮像する。

【0044】

このカメラ２は、本実施の形態では、カメラ２で有機ＥＬパネル２０を撮像する角度の許容誤差を、例えばおよそ±０．０９°以下のように精密に設定されることなく、設定に時間をかけないで、許容誤差を例えば±１°とされた撮像位置Ｘに配置される。

【0045】

画像処理部３は、カメラ２で撮像した画像を処理する装置であり、制御部１０、記憶部１１、ハイパスフィルタ１２、ローパスフィルタ１３、低空間周波数処理部１４、画像合成部１５及び補正データ生成部１６を備え、有機ＥＬパネル２０の表示画像を撮像した撮像画像について各種の処理を行う。

【0046】

パターン発生部４は、有機ＥＬパネル２０に所定のパターン画像（例えば、後述のアライメントパターンＰ_Ａや輝度測定用パターン）を表示させ、ＲＯＭライタ５は、補正データ生成部１５において生成される後述の補正データを、画質調整回路２２に内蔵されたＲＯＭ２２ａに書き込む装置である。

【0047】

次に、画像処理部３の各部の具体的な構成について説明する。

【0048】

制御部１０は、画像処理部３の各部の制御を行うとともに、カメラ２による撮像、パターン発生部４による有機ＥＬパネル２０の画像表示及びＲＯＭライタ５によるＲＯＭ２２ａへの書込みを制御し、記憶部１１には、カメラ２による撮像画像等が記憶される。

【0049】

ハイパスフィルタ１２は、カメラ２によりフォーカスして撮像した撮像画像にモアレが発生した場合に、そのモアレに対応する低空間周波数領域の成分を除去又は低減させるもので、図２に破線で示すフィルタ特性Ｆ１を有する。フォーカスして撮像した撮像画像にハイパスフィルタ１２が適用されて、第１画像が生成される。

【0050】

一方、ローパスフィルタ１３は、カメラ２によりデフォーカスして撮像した撮像画像の低空間周波数領域の成分を抽出するもので、図２に破線で示すフィルタ特性Ｆ２を有する。デフォーカスして撮像した撮像画像にローパスフィルタ１３が適用されて、第２画像が生成される。

【0051】

これらハイパスフィルタ１２及びローパスフィルタ１３は、本実施の形態では、図２で示すように、空間周波数領域が０からナイキスト周波数ｆ_Ｎまでの範囲に亘って、任意の空間周波数について「ハイパスフィルタの透過率＋ローパスフィルタの透過率＝１」が成立する相特性補償型の回路構成が採用される。

【0052】

なお、ハイパスフィルタ１２及びローパスフィルタ１３のフィルタ特性は、図２で示したとおりであるが、撮像画像は、実際には二次元の画像であることから、フィルタ特性も二次元で表現され、そのフィルタ特性は図３で示すような二次元の関数となる。

【0053】

低空間周波数処理部１４は、デフォーカスして撮像した撮像画像にローパスフィルタ１３を適用する前に、ローパスフィルタ１３によって抽出される撮像画像の空間周波数成分のうち低空間周波数成分を予め補正するものである。

【0054】

この低空間周波数処理部１４は、本実施の形態では、画像分割部１４ａ、画像分割部１４ａと直列に配置されたフーリエ変換部１４ｂ、フーリエ変換部１４ｂと直列に配置された補正フィルタ１４ｃ、及び画像分割部１４ａとフーリエ変換部１４ｂとの間に配置された窓関数付与部１４ｄを備える。

【0055】

画像分割部１４ａは、カメラ２によりデフォーカスして撮像した撮像画像の空間周波数成分のうち補正の対象とならない極めて低い空間周波数成分を分離したり結合したりする。

【0056】

一方、低空間周波数成分を補正するにあたり、有機ＥＬパネル２０は、図４で示すように、その領域によって撮像画像の空間周波数成分のフィルタ特性が異なることから、そのフィルタ特性に応じたフィルタ係数を乗じて補正すべく、画像分割部１４ａは、デフォーカスして撮像した撮像画像を、例えば図５で示すように複数の領域ｓに分割する（ブロック化）とともに、分割した各領域ｓを結合する。

【0057】

ここで、撮像画像を図５のように分割すると、補正処理の後に、分割した複数の領域ｓの間が不連続となってしまうことから、本実施の形態では、撮像画像を一の領域ｓと他の領域ｓとの複数の領域に分割するに際して、互いに隣接する各領域ｓの間をオーバラップさせて分割する。

【0058】

フーリエ変換部１４ｂは、デフォーカスして撮像した撮像画像をフーリエ変換によって空間周波数成分に変換する一方、空間周波数成分に変換した撮像画像を逆フーリエ変換によって、二次元の撮像画像に変換する。

【0059】

補正フィルタ１４ｃは、デフォーカスして撮像した撮像画像にローパスフィルタ１３を適用する場合に抽出される低空間周波数成分に、予め求められたフィルタ係数を乗じることによって補正するものであり、図６に破線で示すフィルタ特性Ｆ３を有する。この補正フィルタ１４ｃにおける補正処理を、図７に基づいて説明する。

【0060】

図７は、本実施の形態に係る画像処理装置１による画像処理を概念的に示す図であり、（ａ）はハイパスフィルタ１２及びローパスフィルタ１３のフィルタ特性にフォーカスして撮像した撮像画像の空間周波数特性及びデフォーカスして撮像した撮像画像の空間周波数特性を重ねた図、（ｂ）は補正フィルタ１４ｃによる補正の概略を示す図である。

【0061】

図７（ａ）で示すように、フォーカスして撮像した撮像画像の空間周波数成分はｆ１で示され、デフォーカスして撮像した撮像画像の空間周波数成分はｆ２で示される。デフォーカスして撮像した撮像画像の空間周波数成分ｆ２は、低空間周波数成分から高空間周波数成分に移行するに従って減衰しており、本実施の形態では、この部分の空間周波数成分が補正フィルタ１４ｃによって補正される。

【0062】

図７（ｂ）で示すように、デフォーカスして撮像した撮像画像の空間周波数成分は、ｆ２で示される。補正フィルタ１４ｃは、ゲインを引き上げるフィルタ特性Ｆ３を有することから、デフォーカスして撮像した撮像画像の空間周波数成分ｆ２は、フォーカスして撮像した撮像画像の空間周波数成分ｆ１とほぼ一致する、ローパスフィルタ１３の空間周波数特性Ｆ２に倣うように補正される。

【0063】

この補正は、本実施の形態では、デフォーカスして撮像した撮像画像の空間周波数成分ｆ２に対応して予め求められたフィルタ係数が乗じられることによって実行される。

【0064】

具体的には、デフォーカスして撮像した撮像画像を複数の領域ｓに分割した際に、各領域ｓに含まれる空間周波数成分に対応する予め求められたフィルタ係数、本実施の形態ではフォーカスして撮像した撮像画像の空間周波数成分に一致するようなフィルタ係数が予め求められており、この係数が乗じられることによって補正が実行される。

【0065】

窓関数付与部１４ｄは、複数の領域ｓに分割された、デフォーカスして撮像した撮像画像の各領域ｓに、各領域ｓを覆う図８で示す窓関数Ｗを付与する。

【0066】

この窓関数Ｗは、図９で示すように、分割した各領域ｓのオーバラップさせた任意の部分（一例として、図９において斜線を付した部分）における係数の和がいずれも一定値、本実施の形態では１となる特性を有する。

【0067】

すなわち、各領域ｓに付与される窓関数Ｗは、本実施の形態では、一の領域ｓのおよそ中心部分を覆う部分がゲインのピーク点であって、一の領域ｓの中心部分から他の領域ｓと隣接する隣接部分に向かうに従ってゲインが漸次低減する形状をした窓関数が用いられる。

【0068】

窓関数付与部１４ｄは、本実施の形態では、撮像画像を複数の各領域ｓに分割すること、及び補正フィルタ１４ｃでフィルタ係数を各領域ｓに乗じることによって生じる複数の各領域ｓの間の不連続を効率的に除去する観点から、各領域ｓのオーバラップする部分の空間周波数の係数の和が１となる窓関数Ｗを、補正フィルタ１４ｃによる補正の前後に亘って付与する。

【0069】

画像合成部１５は、ハイパスフィルタ１２を適用して生成された第１画像と、ローパスフィルタ１３を適用して生成された第２画像とを足し合わせて、新たな第３画像を合成する。

【0070】

補正データ生成部１６は、画像合成部１５で合成された第３画像に基づいて、画像信号の出力を調整することによって有機ＥＬパネル２０の輝度ムラを低減させる補正データを生成する。

【0071】

次に、本実施の形態に係る画像処理装置１による画像処理作業について、画像処理装置１による処理作業のプロセスを示した図１０のフローチャートに基づいて説明する。

【0072】

まず、カメラ２が、図１で示した撮像位置Ｘに位置決めされた状態において、ステップＳ１において、制御部１０が、有機ＥＬパネル２０に第１アライメントパターンとなるアライメントパターンＰ_Ａを表示させる。

【0073】

このアライメントパターンＰ_Ａは、図１１に示すように、ディスプレイ２１上で既知の位置にある特定のピクセルが点灯し、ドットＤが縦横に配列されることにより構成される。

【0074】

ステップＳ２において、制御部１０は、有機ＥＬパネル２０に表示させたアライメントパターンＰ_Ａをカメラ２でフォーカスして撮像する。アライメントパターンＰ_Ａを撮像した後、ステップＳ３において、有機ＥＬパネル２０の全てのピクセルを点灯させ、ディスプレイ２１の全面にわたり輝度測定用パターンを表示させる。

【0075】

ステップＳ４において、有機ＥＬパネル２０に表示させた輝度測定用パターンをカメラ２でフォーカスして撮像する（フォーカス画像撮像ステップ）。

【0076】

一方、ステップＳ５において、アライメントパターンＰ_Ａの撮像画像のドットＤが写るカメラ２の画素を検出する（第１アライメントステップ）。

【0077】

すなわち、アライメントパターンＰ_Ａを構成するピクセルは既知であるから、そのピクセルの像がカメラ２のどの画素に受光されるかを検出することによって、フォーカス撮像時のピクセルと画素との対応関係が求められる。

【0078】

この求められた対応関係に基づいて、ステップＳ６において、フォーカスして撮像した画像にアライメント処理を行う。

【0079】

ステップＳ７において、制御部１０は、ステップＳ６において得られたアライメント処理後の撮像画像にハイパスフィルタ１２を適用する。

【0080】

ハイパスフィルタ１２を適用することによって、図１２（ａ）に示すように、フォーカスして撮像した撮像画像の空間周波数成分ｆ１のうち、モアレＭに対応する部分を含む低空間周波数成分ｆ１ａがカットされて残余の空間周波数成分ｆ１ｂが抽出され、第１画像が生成される（第１画像生成ステップ）。

【0081】

生成された第１画像は、ステップＳ８において、記憶部１１に記憶される。

【0082】

このように第１画像を生成した後、ステップＳ９において、有機ＥＬパネル２０に第２アライメントパターンとなるアライメントパターンＰ_Ａを表示させる。

【0083】

なお、本実施の形態では、第１アライメントパターンと第２アライメントパターンとが同じアライメントパターンＰ_Ａである場合を説明しているが、第１アライメントパターンと第２アライメントパターンとで異なるアライメントパターンを用いてもよい。

【0084】

ステップＳ１０において、有機ＥＬパネル２０に表示させたアライメントパターンＰ_Ａをカメラ２でデフォーカスして撮像する。アライメントパターンＰ_Ａを撮像した後、ステップＳ１１において、ステップＳ３と同様に、有機ＥＬパネル２０の全面に輝度測定用パターンを表示させる。

【0085】

ステップＳ１２において、有機ＥＬパネル２０に表示させた輝度測定用パターンをカメラ２でデフォーカスして撮像する（デフォーカス画像撮像ステップ）。

【0086】

続いて、ステップＳ１３において、アライメントパターンＰ_Ａの撮像画像のドットＤが写るカメラ２の画素を検出する（第２アライメントステップ）。

【0087】

アライメントパターンＰ_Ａを構成するピクセルの像がカメラ２のどの画素に受光されるかを検出してデフォーカス撮像時のピクセルと画素との対応関係が求められ、この対応関係に基づいて、ステップＳ１４において、デフォーカスして撮像した画像にアライメント処理を行う。

【0088】

ステップＳ１５において、制御部１０は、ステップＳ１４において得られたアライメント処理後の撮像画像に、低空間周波数処理部１４による画像処理を実行する（撮像画像補正ステップ）。この低空間周波数処理部１４による画像処理の内容については、後述する。

【0089】

ステップＳ１６において、制御部１０は、ステップＳ１５において得られた画像処理後の撮像画像の空間周波数にローパスフィルタ１３を適用する。

【0090】

ローパスフィルタ１３を適用することによって、図１２に示すように、ハイパスフィルタ１２で除去した空間周波数成分ｆ１ａに対応する空間周波数成分ｆ２ａが抽出されるとともに、残余の空間周波数成分ｆ２ｂがカットされ、第２画像が生成される（第２画像生成ステップ）。

【0091】

生成された第２画像は、ステップＳ１７において、記憶部１１に記憶される。

【0092】

このように、第１画像及び第２画像を生成した後、ステップＳ１８において、画像合成部１５により、第１画像と第２画像とが足し合わせられる。

【0093】

これにより、第３画像が合成され（第３画像生成ステップ）、輝度測定用パターンについてモアレを消失又は抑制させた画像が生成される。この第３画像とアライメントデータにより、有機ＥＬパネル２０を構成するピクセルの輝度が求められる。

【0094】

なお、１ピクセルごとの輝度を測定する場合は、各画素に投影される部分のピクセルの輝度を、ピクセルが投影された部分の画素の出力を測定することによって、１ピクセルの輝度として測定してもよい。

【0095】

一方、ステップＳ１９において、第３画像に基づいて補正データが生成され、ステップＳ２０において、生成された補正データがＲＯＭライタ５によって画質調整回路２２のＲＯＭ２２ａに書き込まれる。

【0096】

ＲＯＭ２２ａに補正データが書き込まれることによって、有機ＥＬパネル２０に画質調整回路２２が実装される。

【0097】

かかる画質調整回路２２を実装した有機ＥＬパネル２０では、画像信号が入力されると、画質調整回路２２によってＲＯＭ２２ａに書き込まれた補正データが参照され、参照された補正データに従った画像信号が出力され、有機ＥＬパネル２０の表示ムラの低減が図られる。

【0098】

上記構成の画像処理装置１では、フォーカスして撮像した画像からモアレに対応する部分を含む空間周波数成分ｆ１ａを、ハイパスフィルタ１２を適用してカットして残余の空間周波数成分ｆ１ｂを抽出して第１画像を生成する。

【0099】

一方、デフォーカスして撮像した画像にローパスフィルタ１３を適用して、ハイパスフィルタ１２で除去した空間周波数成分ｆ１ａに対応する空間周波数成分ｆ２ａのみを抽出して、第２画像を生成する。

【0100】

かかる第１画像及び第２画像が画像合成部１５によって足し合わせられて、第１画像からモアレがカットされることによって損なわれた空間周波数成分ｆ１ａが、第２画像から抽出された空間周波数成分ｆ２ａによって補間されて、モアレを消失又は抑制させた第３画像が生成される。

【0101】

したがって、モアレが適切に除去されたうえで、図１３で示すような、低空間周波数領域から高空間周波数領域のほぼ全域に亘って平坦な空間周波数成分ｆ３を有する、解像度が良好な第３画像を生成することができる。

【0102】

しかも、本実施の形態では、ハイパスフィルタ１２とローパスフィルタ１３の透過率の和は、一定値である１となるように回路構成がなされる。

【0103】

したがって、空間周波数領域における空間周波数成分の抽出漏れがないことから、空間周波数成分の損失がなく、解像度の高い第３画像を生成することができる。

【0104】

さらに、第３画像を合成するために用いられる第１画像及び第２画像を生成する際には、本実施の形態では、有機ＥＬパネル２０のピクセルとカメラ２の画素とのアライメントが決定されて第１画像及び第２画像が生成される。したがって、ピクセルと画素との対応関係の適切な結びつけが行われて、良好な第３画像を生成することができる。

【0105】

このように、有機ＥＬパネル２０の輝度を測定するに際して、モアレが適切に除去されかつ解像度が良好な第３画像が生成されることから、この第３画像に基づいて、適切な補正データを生成することができる。

【0106】

その結果、正確に測定した輝度に基づいて生成された補正データによって、有機ＥＬパネル２０の画質が調整され、表示ムラの低減が図られる。これにより、個体ごとの製品のバラツキが抑制された有機ＥＬパネル２０を得ることができる。

【0107】

次に、低空間周波数処理部１４による画像処理作業について、低空間周波数処理部１４による処理作業のプロセス（撮像画像補正ステップ）を示した図１４のフローチャートに基づいて説明する。

【0108】

まず、ステップＳ１５−１において、デフォーカスして撮像した撮像画像の空間周波数成分ｆ２のうち、例えば図７（ａ）の矢線Ｘで示される領域の極めて低い空間周波数成分については、減衰したり増幅したりといった変化がほとんど発生しないことから、補正フィルタ１４ｃでこの部分の補正を行うことによって演算量が増大することを回避すべく、本実施の形態では、この低空間周波数成分が画像分割部１４ａによって分離される。

【0109】

ステップＳ１５−２において、画像分割部１４ａが、デフォーカスして撮像した撮像画像を複数の領域ｓに分割する。撮像画像を複数の領域ｓに分割する際には、分割する一の領域ｓと隣接する他の領域ｓとの間をオーバラップさせて分割する（領域分割ステップ）。

【0110】

撮像画像を複数の領域ｓに分割した後、ステップＳ１５−３において、窓関数付与部１４ｄが、分割した各領域ｓに、各領域ｓを覆う窓関数Ｗの平方根である窓関数√Ｗを付与する。この窓関数√Ｗは、補正フィルタ１４ｃによる補正処理の前後において二度に亘って付与されることから、二乗したときに窓関数Ｗと同じ値となる窓関数Ｗの平方根となる形状を有する。

【0111】

その後、ステップＳ１５−４において、フーリエ変換部１４ｂが、デフォーカスして撮像した撮像画像をフーリエ変換して空間周波数成分に変換し、ステップＳ１５−５において、複数に分割された領域ｓに含まれる空間周波数成分にそれぞれ対応して予め求められたフィルタ係数を乗じる。これにより、デフォーカスして撮像された撮像画像の空間周波数成分ｆ２が、フォーカスして撮像した撮像画像の空間周波数成分ｆ１に一致するように補正される。

【0112】

このように、複数に分割された領域ｓごとに、各領域ｓに対応して予め求められたフィルタ係数を乗じて補正をすることから、撮像画像を分割しないで補正をする場合に比べて演算処理の時間が短縮される。これにより、画像処理の高速化が実現される。

【0113】

フィルタ係数を乗じた後、ステップＳ１５−６において、フーリエ変換部１４ｂが、空間周波数成分に変換した撮像画像を、逆フーリエ変換によって二次元の撮像画像に変換する。

【0114】

ステップＳ１５−７において、デフォーカスして撮像した撮像画像を分割した各領域ｓに、各領域ｓを覆う窓関数Ｗを再度、付与する。このように、ステップＳ１５−３で窓関数√Ｗを付与し、かつステップＳ１５−７で窓関数√Ｗを付与することで、分割した各領域ｓのオーバラップさせた任意の部分における係数の和がいずれも一定値となる。

【0115】

このとき、本実施の形態では、撮像画像を複数の各領域ｓに分割した後と、フィルタ係数を乗じた後とに窓関数√Ｗを付与することから、撮像画像を複数の各領域ｓに分割すること、及び補正フィルタ１４ｃでフィルタ係数を各領域ｓに乗じることによって生じる複数の各領域ｓの間の不連続を効率的に除去することができる。

【0116】

ステップＳ１５−８において、画像分割部１４ａが、分割した撮像画像を結合するとともに、ステップＳ１５−１において分離した空間周波数成分ｆ２のうちの低空間周波数成分を、ステップ１５−９において、画像分割部１４ａが結合する。

【0117】

低空間周波数処理部１４で、上記のステップに沿って画像処理された撮像画像に、図１０で示したステップＳ１６において、ローパスフィルタ１３が適用される。

【0118】

このように、フォーカスして撮像した撮像画像にハイパスフィルタ１２を適用して生成した第１画像と、デフォーカスして撮像した撮像画像にローパスフィルタ１３を適用して生成した第２画像とを合成して第３画像を生成するに際し、デフォーカスして撮像した撮像画像の空間周波数ｆ２が低空間周波数領域から高空間周波数領域に移行するに従って急速に減衰することが、補正フィルタ１４ｃによって補正される。

【0119】

したがって、第３画像を合成するに際して、モアレＭに対応する部分を含む低空間周波数成分ｆ１ａをハイパスフィルタ１２で除去して抽出した高空間周波数成分ｆ１ｂを有する第１画像と、補正フィルタ１４ｃによって低空間周波数成分ｆ２ａが補正されたうえで生成された第２画像とを合成すると、補正フィルタ１４ｃによって補正された低空間周波数成分ｆ２ａによって、ハイパスフィルタ１２で除去した低空間周波数成分ｆ１ａが補てんされる。

【0120】

その結果、モアレを除去しやすいような極めて低い空間周波数領域にモアレを発生させることを目的として、カメラ２で有機ＥＬパネル２０を撮像する角度を精緻に設定する必要がないことから、カメラ２で有機ＥＬパネル２０を撮像する角度を設定することに時間をかけることなく、低空間周波数領域から高空間周波数領域のほぼ全域に亘って平坦な空間周波数成分ｆ３を有する、解像度が良好な第３画像を生成することができる。

【0121】

デフォーカスして撮像した撮像画像を補正フィルタ１４ｃで補正する場合には、撮像画像を複数の領域ｓに分割し、分割した各領域ｓに含まれる空間周波数成分に対応して予め求められたフィルタ係数を乗じることによって補正する。

【0122】

この予め求められたフィルタ係数を、各領域ｓに含まれる空間周波数成分に乗じると、本実施の形態では、各領域ｓに含まれる空間周波数成分が、フォーカスして撮像した撮像画像のハイパスフィルタによって減衰される領域の空間周波数成分ｆ１ａと一致することから、デフォーカスして撮像した撮像画像の空間周波数の減衰が補正される。

【0123】

さらに、デフォーカスして撮像した撮像画像を複数の領域ｓに分割することで生じる各領域ｓの間の不連続を抑制する観点から、画像分割部１４ａは、撮像画像を複数の領域ｓに分割する際に、各領域ｓを互いにオーバラップさせて分割する。

【0124】

その上で、本実施の形態では、窓関数付与部１４ｄが、分割した各領域ｓのオーバラップする部分の係数の和が１となる窓関数Ｗを、各領域ｓに付与することから、複数の各領域ｓの間の不連続が効率的に除去される。

【0125】

なお、本発明は上記実施の形態に限定されることはなく、発明の趣旨を逸脱しない範囲で種々変更可能である。上記実施の形態では、画像をフォーカスする撮像及び画像をデフォーカスする撮像が、単一のカメラ２によって撮像される場合を説明したが、フォーカスする撮像及びデフォーカスする撮像をそれぞれ別個のカメラによって実行してもよい。

【0126】

これにより、画像処理装置１による処理作業の工程作業時間（タクトタイム）が短縮化される。

【0127】

上記実施の形態では、画像処理装置１が、有機ＥＬパネル２０の画質を調整する場合を説明したが、例えば、液晶パネルやプラズマディスプレイ、あるいは投影型のプロジェクタ等であってもよい。

【符号の説明】

【0128】

１ 画像処理装置
２ カメラ
３ 画像処理部
１０ 制御部
１２ ハイパスフィルタ
１３ ローパスフィルタ
１４ 低空間周波数処理部
１４ｃ 補正フィルタ
２０ 有機ＥＬパネル（表示パネル）
Ｆ１ ハイパスフィルタのフィルタ特性
Ｆ２ ローパスフィルタのフィルタ特性
Ｆ３ 補正フィルタのフィルタ特性
Ｍ モアレ
ｓ 領域
Ｗ 窓関数

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】