(58)【調査した分野】(Int.Cl.,DB名)
表示部、参照画像データを格納した記憶部、前記表示部に表示される参照画像を用いて補正データを生成する補正データ生成部、および前記補正データを用いて画像データを補正する画像データ補正部を含む電子機器の本体と、
前記参照画像を撮像することによって撮像画像データを取得する撮像部と
を備え、
前記表示部は、前記電子機器の製造段階で生成された初期補正データによって前記参照画像データを補正した修正参照画像データに基づいて前記参照画像を表示し、
前記補正データ生成部は、前記撮像画像データまたは前記撮像画像データに基づくデータと、前記参照画像データまたは前記参照画像データに基づくデータとの比較結果に基づいて前記補正データを生成し、
前記補正データ生成部は、前記撮像画像データまたは前記撮像画像データに基づくデータと前記参照画像データまたは前記参照画像データに基づくデータとの差分に基づいて、前記電子機器の使用開始後の表示部において表示むらが生じている座標および前記表示むらの明暗を判定し、前記初期補正データに基づいて、前記電子機器の製造段階の前記表示部において初期表示むらが生じている座標と前記初期表示むらの明暗を判定し、前記表示むらの明暗のいずれかの判定結果、および、前記初期表示むらの明暗のいずれかの判定結果の特定の組合せに基づいて、前記特定の組合せに該当する座標の階調値を補正し、前記特定の組合せに該当しない座標の階調値を維持するように前記補正データを生成し、
前記画像データ補正部は、生成された前記補正データ及び前記初期補正データを用いて前記画像データを補正する、
補正画像生成システム。
【発明を実施するための形態】
【0014】
(第1実施形態の機器構成)
以下、図面を参照しながら、本発明の第1実施形態の補正画像生成システムが説明される。
図1A〜1Cは、本実施形態の補正画像生成システムの機器構成を斜視図で示している。なお、本実施形態を含む以下の実施形態では、一般的に、表示部が表示する表示画像に何らかのむらが生じている状態を「表示むら」とし、「表示むら」は、色度むら、および輝度むらなどの表示画像のむらの状態を含むものとする。また、各図面において、同じ機能を有する部分には、同一の符号が付されている。
【0015】
図1Aに示される機器構成は、補正画像生成システムが、タブレットPC(Personal Computer)またはスマートフォンなどの携帯機器10Aとして一体化されている場合を示している。携帯機器10Aは、1個の電子機器としての本体11に携帯機器10Aとしての諸機能を発揮するための様々な装置を内蔵しており、静止画または動画を表示する表示部20と、静止画または動画を撮像する撮像部30などを備えている(
図1Aでは、表示部20および撮像部30は、それぞれ、鏡Mに映し出されている。)。つまり、この機器構成では、撮像部30は、表示部20とともに本体11に内蔵されることによって、本体11と一体的に形成されている。
【0016】
携帯機器の本体11は、例えば、略直方体形状に形成されており、略直方体形状を構成する面の1つである第1面11a(
図1Aでは、第1面11aは、鏡Mに映し出されている)と、第1面11aの反対面である第2面11bとを有している。そして、表示部20の表示面20aと撮像部30の撮像窓30aが第1面11aの方向に露出するように、表示部20および撮像部30が本体11に取り付けられている。ここで、
図1Aに示される機器構成では、撮像部30は、常時、本体11から突出して形成されていてもよく、使用時のみに、本体11から突出するように(つまり、必要な時だけ、本体11から突出するように、モータまたはバネなどの駆動機構を撮像部30または本体11に装備するように)本体11から出入自在に形成されていてもよい。つまり、表示部20の表示面20aと撮像部30の撮像窓30aが、第1面11aの方向に露出するように取り付けられていれば、表示部20および撮像部30が、本体11の第1面11aに取り付けられているか、本体11から突出しているかを問わない。このような携帯機器10Aの構成では、撮像部30の撮像窓30aは、表示部20の表示面20aと同じ方向を向くので、携帯機器10Aの表示部20を鏡Mに映し出すことによって、撮像部30は、表示部20の表示画像を撮像することができる。
【0017】
図1Bに示される機器構成は、補正画像生成システムが、電子機器の本体11から脱着自在な撮像部30を備えた携帯機器10Bである場合を示している。具体的には、例えば、本体11が、雌の電気コネクタ111を備え、撮像部30は、対応する雄の電気コネクタ121を備えることによって、撮像部30は、雌雄の電気コネクタ111、121の機械的結合による有線通信を介して、本体11と通信することができる。撮像部30は、Bluetooth(登録商標)やWi−Fi(登録商標)などの無線通信によっても、本体11と通信可能に接続できてもよい。また、撮像部30は、嵌合などの機械的結合による有線通信、および無線通信の双方で本体11と通信可能に接続できてよい。電気コネクタ111、121の雌雄は、反対であってもよく、撮像部30は、本体11の専用部品であってもよいし、他のシステムとの共用部品であってもよい。つまり、この機器構成では、撮像部30は、本体11への装着と装着の解除を行う脱着機構を備えている。
【0018】
図1Cに示される機器構成は、補正画像生成システムが、例えば、表示機器としての電子機器の本体11と、撮像機器としての別機器12である撮像部30を備える2つの機器を有するシステム10Cである場合を示している。
図1Cに示される例では、撮像部30は、ケーブル線13などの有線によって、本体11と通信可能に接続されているが、無線によって、本体11と通信可能に接続されてもよい。つまり、この機器構成では、撮像部30は、本体11と別機器12で形成されており、撮像部30は、有線または無線によって、本体11と接続されている。
【0019】
このような本実施形態において、表示部20に表示される表示画像に含まれる表示むらを解消する概略手順を、
図1Aに示される携帯機器10Aの機器構成を例として、
図1A、2および3を参照しながら説明する。
図2は、電子機器の使用開始後から時間を経過した携帯機器10Aの第1面11aを示しており、修正参照画像データに基づいて、表示部20に参照画像を表示させた際の様子を示している。ここで、「参照画像」とは、表示画像に含まれる表示むらを視覚的に認識するために用いられる画像を指し、「参照画像データ」とは、参照画像を表示するための基礎となる画像データを指すものとする。また、「初期補正データ」とは、電子機器の製造段階で生じていた初期表示むらを解消するために、画像データを補正するデータを指し、「修正参照画像データ」とは、初期補正データによって参照画像データを補正したデータを指すものとする。なお、「製造段階」とは、表示部20を備える電子機器が出荷されるまでの製造プロセスにおけるいずれかの段階を指すものとし、本体11の製造プロセスのみならず、表示部20の製造プロセスおよび電子機器を完成させるまでの表示部20などの構成要素の製造プロセスを含むものとする。
【0020】
例えば、参照画像データが、単一階調値のグレースケールの画像データである場合、修正参照画像データに基づいて表示部20に参照画像を表示した際には、主として、サブ画素を構成するTFTなどのスイッチング素子特性の製造ばらつきに起因して生じる初期表示むらは解消されているので、表示部20には、表示面20a全面に一様なコントラストのグレー画像が表示画像として表示されるべきである。しかしながら、例えば、表示部20の画素を構成する素子毎に、電子機器の使用開始後の特性の経時劣化が一様ではないために、明るく表示される部分(以下、「表示むらの明部」という)U2、U3と、暗く表示される部分(以下、「表示むらの暗部」という)U1、U4が表示画像に生じている。これらの表示むらの明部U2、U3と暗部U1、U4は、電子機器の使用開始後に生じた表示むらのみを反映しており、主として、各サブ画素を構成する有機EL素子などの画素素子の特性の経時劣化のばらつきに起因して生じる。ユーザは、表示むらU1〜U4を視認した場合、例えば、表示部20のタッチ操作により、後述する画像制御プログラムの実行を開始させる。そして、
図1Aに示されるように、ユーザは、鏡Mに表示画像を映し出した後、
図3に示されるように、撮像部30を用いて表示部20の表示画像を撮像することによって、撮像画像データを取得する。この際、鏡Mにおいて映し出される画像は、表示画像の鏡像である。その後、本体11に格納された画像制御プログラムは、後述するように、撮像画像データから表示画像に対応する部分のみをトリミングする画像処理を行い、得られたトリミング後の撮像画像データなどを参照画像データなどと比較することによって、電子機器の使用開始後の表示むらU1〜U4を解消するための補正データの生成を携帯機器10Aに実行させる。そして、得られた補正データに基づいて、表示部20に表示する任意の画像データを補正することによって、携帯機器10Aの表示部20には、表示むらU1〜U4が解消された表示画像が表示される。このように、鏡Mを用いることによって、撮像部30が電子機器の本体11と一体となった携帯機器10Aである場合でも、本体11と別体である撮像装置を別途準備しなくても、表示画像の鏡像を撮像することで、撮像画像データを取得することができる。
【0021】
図1Bに示される携帯機器10Bの機器構成、および、
図1Cに示されるシステム10Cの機器構成では、撮像部30を表示部20と直接対向させることができるので、必ずしも、
図1Aに示される携帯機器10Aのように鏡Mに表示画像を映し出す必要はなく、撮像部30によって、表示画像を直接的に撮像してもよい。
【0022】
すなわち、本実施形態の各機器構成は、携帯機器10A、10Bまたはシステム10Cの本体11内に、後述するように、電子機器の使用開始後の表示部20の経時劣化の度合いに合わせて任意の画像データを補正するための諸機能が備えられている。そのため、ユーザは、電子機器の使用開始後に経時劣化による表示むらが生じた場合に、表示部20を新品に交換する必要はないので、交換のために、わざわざ、修理店に機器を持ち込んだり、修理オペレータを呼んだりすることなく、簡単な手法で、ユーザ自らによって、意図するタイミングで、表示部20の表示むらを適切に解消することができる。
【0023】
(第1実施形態のブロック構成)
次に、上述の機器構成の補正画像生成システムのブロック構成の概要が説明される。
図4に、本発明の第1実施形態の補正画像生成システムの構成の概要がブロック図で示されている。なお、
図1Aの携帯機器10A、
図1Bの携帯機器10B、および
図1Cのシステム10Cは、
図4中では、補正画像生成システム10として示されている。
【0024】
本実施形態の補正画像生成システム10は、
図4に示されるように、表示部20と、撮像部30と、制御部40と、検出部50とを備えている。
【0025】
表示部20は、画像データに基づいて画像を表示する部分であって、例えば、アクティブマトリクス型の有機EL表示パネルや液晶表示パネルなどによって構成される表示パネル21と、表示パネルを駆動させる表示駆動部22とを備えている。
【0026】
表示パネル21は、
図5に示されるように、表示画像を構成する画素を含み、1つの画素は、赤色光、緑色光、および青色光をそれぞれ発光するR(赤)サブ画素、G(緑)サブ画素、およびB(青)サブ画素などによって構成される複数のサブ画素211(
図5では、説明の簡略化のために、1つのサブ画素211のみを示している)を備えている。そして、例えば、表示パネル21が有機EL表示パネルである場合、各サブ画素211は、赤色光、緑色光、または青色光の発光強度を調整する有機EL素子によって構成される画素素子211eと、画素素子211eに電力を供給するためのTFTなどによって構成される駆動用スイッチング素子211dと、サブ画素211を選択するためのTFTなどによって構成される選択用スイッチング素子211sと、電荷を蓄えるコンデンサなどによって構成される容量素子211cと、データ信号および走査信号がそれぞれ入力されるデータ線21Dおよび走査線21Sなどを備えている。
【0027】
また、表示駆動部22は、データ信号を生成して、これをデータ線21Dに供給するデータ線駆動部22Dと、走査信号を生成して、これを走査線21Sに供給する走査線駆動部22Sとを備えている。
【0028】
具体的には、走査線21Sは、選択用スイッチング素子211sのゲート電極と接続され、走査線21Sにハイレベルの走査信号が入力された場合、選択用スイッチング素子211sがONとなる。他方、データ線21Dは、選択用スイッチング素子211sのソース電極およびドレイン電極の一方と接続され、選択用スイッチング素子211sがONとなった場合に、選択用スイッチング素子211sのソース電極およびドレイン電極の他方と接続されている駆動用スイッチング素子211dのゲート電極にデータ信号に応じたデータ電圧Vを入力する。データ電圧Vは、駆動用スイッチング素子211dのゲート電極とソース電極またはドレイン電極との間に接続された容量素子211cによって、所定期間、保持される。
【0029】
駆動用スイッチング素子211dのドレイン電極およびソース電極の一方は、電源電極Vpと接続されており、他方は、画素素子211eのアノード電極と接続されている。画素素子211eのカソード電極は、共通電極Vcに接続されている。そして、上述した所定期間に、駆動用スイッチング素子211dがONとなった場合に、データ電圧値Vに応じて、画素素子211eに素子電流値Iが流れることで、
図6に示されるような特性で赤色光、緑色光、または青色光がデータ電圧値Vに応じて輝度Lで発光される。なお、データ電圧値Vと輝度Lとの関係については、後述される。
【0030】
このように、表示パネル21を構成する多数の画素に含まれる各サブ画素211の画素素子211eがデータ信号および走査信号によって制御されるので、任意の画像データに基づいて、表示部20は、表示面20aに画像を表示することができる。そして、本実施形態の補正画像生成システム10は、主として、画素素子211eの発光特性の経時劣化を補完するために、後述する補正データを生成する。これと同時に、この補正データにより、選択用スイッチング素子211sおよび駆動用スイッチング素子211dのスイッチング素子特性の経時劣化も補完される。
【0031】
図4に戻り、撮像部30は、被写体を撮像する部分であり、
図1Aなどに示される撮像窓30aから入射する被写体からの光を撮像画像データとして取得する撮像素子31と、撮像素子31の撮像面に被写体を結像させるレンズ群32と、撮像素子31およびレンズ群32の少なくとも一方を変位させるアクチュエータ33とを備えている。
【0032】
撮像素子31は、CCD(Charge-Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどによって構成される。撮像素子31は、後述する照度調整信号に基づいて、撮像感度を調整できてもよい。
【0033】
レンズ群32は、被写体にピントを合わせるフォーカスレンズと、撮像素子31の撮像面に被写体の結像が納まるように光路を補正する補正レンズと、絞りの大きさ、およびシャッター速度を変化させることによって、撮像素子31の露出量を調整する絞り機構およびシャッター機構などを備えている。なお、本明細書において、「被写体にピントを合わせる」、および、これに類する表現は、被写体の結像面と撮像素子の撮像面とのずれが許容範囲(焦点深度)内に収まり、見かけ上、被写体にピントが合う状態を指すものとする。
【0034】
アクチュエータ33は、ボイスコイルモータ、ピエゾ素子、または形状記憶合金などからなり、撮像素子31またはレンズ群32の補正レンズと結合されている。アクチュエータ33が、後述する手振れ補正信号に基づいて、撮像部30の揺れを打ち消す方向に撮像素子31またはレンズ群32の補正レンズを撮像部30に対して相対変位させることによって、いわゆる手振れによる撮像画像データへの悪影響が抑制される。この構成に代えて、撮像素子31およびレンズ群32を一つのユニットとし、このユニットをアクチュエータ33と結合させてもよい。この場合、アクチュエータ33が一体的な撮像素子31およびレンズ群32を撮像部30に対して相対変位させることによって、手振れによる撮像画像データへの悪影響が抑制される。
【0035】
また、アクチュエータ33は、レンズ群32のフォーカスレンズと結合されている。これにより、アクチュエータ33が、後述する焦点調整信号に基づいて、フォーカスレンズを変位させるので、撮像部30は、被写体に自動的に焦点を合わせることができる。さらに、アクチュエータ33はレンズ群32の絞り機構およびシャッター機構と結合されており、後述する照度調整信号が入力されることによって、撮像部30は、絞りの大きさとシャッター速度をそれぞれ調整することができる。また、アクチュエータ33は、被写体に一度ピントが合わせられた場合に、被写体が動いても自動的に追尾してピントを合わせ続けるようにフォーカスレンズを変位させてもよい。
【0036】
制御部40は、補正画像生成システム10を構成する各部分の制御およびデータの演算処理などを行う部分であって、CPU(Central Processing Unit)と、DRAM(Dynamic Random Access Memory)またはSRAM(Static Random Access Memory)などのRAM(Random Access Memory)と、フラッシュメモリまたはEEPROM(Electrically Erasable Programmable Read-Only Memory)などのROMと、これらの周辺回路などを備えている。制御部40は、後述する記憶部48として機能するROMに格納されている制御プログラムを実行することができ、その際に、後述する一時記憶部49として機能するRAMを作業領域として用いる。制御部40は、ROMに格納された画像制御プログラムを実行することによって、補正データ生成部41、画像データ補正部42、手振れ補正部43、焦点調整部44、露出調整部45、操作判定部46、操作画像生成部47、記憶部48、および一時記憶部49として機能する。
【0037】
補正データ生成部41は、表示部20に表示される表示画像の表示むらを解消するために、画像データを補正する補正データを生成する部分であり、画像処理部411と、階調差生成部412と、表示むら判定部413と、階調調整部414と、補正値生成部415などを備えている。具体的には、補正データ生成部41は、表示部20に表示された画像の表示画像データまたは表示画像データに基づくデータと参照画像データまたは参照画像データに基づくデータとの比較結果によって、補正データを生成する。ここで、「表示画像データに基づくデータ」は、表示画像データを反転させたデータおよびその画像データの階調値を調整したデータを含み、「参照画像データに基づくデータ」は、参照画像データを反転させたデータを含む。また、「画像データを反転させる」とは、画像データの座標の各行において、中央列を対称軸として対称な2つの座標間でそれぞれの階調値を入れ替える、いわゆる画像データを「左右反転」させることを指す。また、「階調値を調整する」とは、表示画像の明暗のコントラストが変更されるように、対応する画像データの全座標の階調値を一様に変更することを指す。
【0038】
ここで、本実施形態では、表示画像データとして、撮像部30が撮像することによって取得した撮像画像データを用いる。つまり、本実施形態では、表示部20に表示された表画像の表示画像データを撮像画像データとして取得する。また、後述するように、補正データ生成部41は、表示部20を含む携帯機器10A、10Bやシステム10Cの表示機器などの電子機器の使用開始後に生じる表示むらを補正する補正データだけでなく、初期補正データを生成する際に用いられてもよい。補正データは、画像データの各座標(表示パネル21の1画素に対応するアドレス)に対応して生成される。ここで、「座標」は、1画素または1サブ画素に対応する画像データ中の1つの座標だけでなく、表示面20aを等しく分割した表示エリアに対応する画像データ中の座標群を含むものとする。つまり、補正データ生成部41は、1画素または1サブ画素に対応する画像データ中の座標毎ではなく、表示エリアに対応する座標群毎に、補正データを算出してもよい。
【0039】
画像処理部411は、撮像画像データから表示画像に対応する部分のみをトリミングする画像処理を行うことによって、補正データを生成する際に用いるべき撮像画像データとする。また、画像処理部411は、
図1Bに示されるような、撮像部30が本体11と脱着自在な機器構成の場合、後述する脱着検出信号が入力されることによって、撮像部30の本体11への脱着状態を判定することが好ましい。また、携帯機器10Bとしての機器構成において、撮像部30が本体11から取り外されていると判定される場合、または、
図1Cに示されるような、システム10Cとしての機器構成の場合に、画像処理部411は、撮像部30によって撮像された参照画像が鏡Mに映し出された鏡像であるか否かを判定することが好ましい。画像処理部411は、後述するように、例えば、撮像画像データまたは撮像画像データに基づくデータに含まれる認識マークRに基づいて、この判定を実行できてもよい。
【0040】
参照画像が鏡像である状態で撮像された場合、取得された撮像画像データを参照画像データと単純に比較できない。そこで、画像処理部411は、参照画像が鏡像であると判定する場合には、撮像画像データと、参照画像データとの比較を容易にするために、撮像画像データおよび参照画像データのいずれか一方を反転させる画像処理を行うことが好ましい。この場合、補正データ生成部41は、反転させた撮像画像データと参照画像データとの比較結果、または、撮像画像データと反転させた参照画像データとの比較結果に基づいて補正データを生成することが好ましい。なお、撮像画像データは、様々な表示むらを含み得るので、例えば、不規則に輝度が変化するような表示むらを含むこともある。その場合、撮像画像データを反転させると、表示むらに対応する座標が微妙にずれるなどの画像処理エラーを生じることがある。他方、参照画像データは、階調値が不規則に変化しないように用意され得るので、参照画像データを反転させても、上述の画像処理エラーが生じにくい。したがって、比較すべき一対のデータのいずれかを反転させる場合は、参照画像データを反転させる方が好ましいことがある。特に、前述した画像処理エラーは、撮像部30の画素数が、表示部20の画素数と比較して少ない場合に顕著になり得る。したがって、撮像部30の画素数が、表示部20の画素数と比較して少ない場合には、参照画像データを反転させることが、特に好ましい。
【0041】
修正参照画像データを用いて表示部20に表示される参照画像は、電子機器の製造段階に生じていた初期表示むらが解消された状態で表示されるので、この参照画像に生じた表示むらは、電子機器の使用開始後に生じたものということになる。この場合、ユーザは、この使用開始後の表示むらが視認できる程度になった時点で、後述する画像制御プログラムを実行させることによって、表示むらを解消することができる利点がある。
【0042】
画像処理部411は、
図1Bおよび1Cに示される機器構成の場合に、後述するように、撮像画像の向きを判定し、撮像部30によって撮像された参照画像の向きが表示部20によって表示された参照画像の向きと異なる場合、撮像画像データの向きを参照画像データの向きと一致させる画像処理を行うことが好ましい。
【0043】
階調差生成部412は、撮像画像データまたは後述する階調調整部414によって生成される修正撮像画像データと、参照画像データとの差分である階調差データを生成する。ここで、修正参照画像データに基づいて表示部20に表示された参照画像では、電子機器の使用開始後の表示むらのみが反映されているので、電子機器の使用開始後に生じた表示むらに対応する座標の階調差データが「0」以外の値となる。また、階調差生成部412は、携帯機器10A、10Bや表示機器10Cなどの電子機器の製造段階においても同様に、撮像画像データまたは修正撮像画像データと参照画像データとの差分である初期階調差データを生成してもよい。
【0044】
表示むら判定部413は、階調差生成部412から入力される階調差データに基づいて、電子機器の使用開始後の表示部20において、表示むらが生じている座標および表示むらの明暗を判定する。具体的には、例えば、表示むら判定部413は、階調差データにおいて、「0」である座標を表示むらがないものとし、正の値の座標を輝度むらの明部であるとし、負の値の座標を輝度むらの暗部である判定する。また、表示むら判定部413は、同様の手法により、記憶部48に格納された初期階調差データに基づいて、製造段階の表示部20において、初期表示むらが生じている座標と初期表示むらの明暗とを判定してもよい。
【0045】
階調調整部414は、撮像画像データの階調値(参照画像における全体的な輝度)が、後述する露出調整部45などによる調整によっても、比較すべき参照画像データの階調値と十分に合致しない場合に、撮像画像データの階調値を調整した修正撮像画像データを生成する。具体的には、階調調整部414は、撮像画像データの階調値を各座標において一定の値で乗算することによって、乗算後の撮像画像データの階調値が参照画像データの階調値と最も合致する乗算値を算出し、算出した乗算値を用いて撮像画像データの各座標の階調値を乗算した修正撮像画像データを生成する。なお、露出調整部45の調整により、撮像画像データの階調値が、参照画像データの階調値と最も合致するように生成されている場合には、階調調整部414は、撮像画像データを修正しなくてもよい。
【0046】
補正値生成部415は、撮像画像データまたは修正撮像画像データに基づいて、画像データの階調値とサブ画素211の画素素子211eに入力されるデータ電圧値Vなどとの関係から、座標毎の補正パラメータを補正値テーブルとして生成する。また、補正値生成部415は、表示むら判定部413から入力される階調差データによる表示むらの明暗のいずれかの判定結果、および、初期階調差データによる初期表示むらの明暗のいずれか一方の判定結果の特定の組合せに基づいて、特定の組合せに該当する座標の階調値を補正し、特定の組合せに該当しない座標の階調値を維持するように補正データを生成してもよい。具体的には、後述する画像処理方法の実施形態のように、例えば、表示むらの暗部であって、初期表示むらの暗部でもある座標の階調値を維持し、それ以外の表示むらの座標の階調値を調整することによって、補正データを生成してもよい。また、補正値生成部415は、電子機器の製造段階においても同様に、撮像画像データまたは修正撮像画像データに基づいて、座標毎の初期補正パラメータを初期補正値テーブルとして生成してもよい。なお、上述した階調差データおよび補正値テーブルは、補正データに含まれ、上述した初期階調差データおよび初期補正値テーブルは、初期補正データに含まれる。
【0047】
ここで、本実施形態では、電子機器の使用開始後の表示むらのみが反映された撮像画像データ、修正撮像画像データ、または、これらのいずれかの画像データを反転させたデータと、参照画像データまたはこれを反転させたデータとの比較結果に基づいて補正データを生成するので、補正データ生成部41は、電子機器の使用開始後に生じた表示むらを解消する座標毎の補正パラメータを補正値テーブルとして生成することになる。
【0048】
画像データ補正部42は、補正データ生成部41によって生成された補正データを用いて、任意の画像データを補正する部分であり、座標発生部421と、補正データ出力部422と、乗算器423と、加算器424などを備えている。
【0049】
図7に示されるように、座標発生部421は、画像データに同期した同期信号に基づいて、画像データ中の座標と対応する座標信号を生成し、補正データ出力部422に入力する。
【0050】
補正データ出力部422は、座標信号に応じた補正パラメータを乗算器423および加算器424に出力する。具体的には、補正データ出力部422は、記憶部48に格納された初期補正値テーブルおよび補正値テーブルから読み出すことで、これらを一時記憶部49に格納し、その後に、座標発生部421から入力された座標信号の座標に対応する座標の初期補正パラメータおよび補正パラメータを乗算器423および加算器424に出力する。つまり、補正データ出力部422は、電子機器の製造段階で生じた初期表示むらを初期補正パラメータによって補正し、電子機器の使用開始後に生じた表示むらを補正パラメータによって補正する。なお、補正データ出力部422は、必要に応じ、初期補正パラメータおよび補正パラメータのいずれか一方のみを読み出し、これを乗算器423および加算器424に出力してもよい。
【0051】
図4に戻り、手振れ補正部43は、後述する手振れ検出部51によって生成される手振れ検出信号に基づいて、撮像素子31またはレンズ群32の補正レンズを変位させるための手振れ補正信号を生成する。なお、上述のように、撮像素子31およびレンズ群32が一つのユニットとして、このユニットが一体的に変位する場合、手振れ補正部43は、ユニットを変位させるための手振れ補正信号を生成する。
【0052】
なお、手振れ補正部43は、撮像部30に通常よりも露光時間を短くして撮像した複数の画像データを取得させ、それらを位置合わせして重ね合わせることによって、撮像部30の揺れを打ち消すように、撮像データの画像処理を行う機能を備えてもよい。この場合には、撮像画像データの手振れを電子的に補正するため、手振れ検出部51は設けられなくてもよく、手振れ補正部43は、手振れ補正信号の生成に代えて、手振れによる悪影響のない撮像画像データを生成する。また、手振れ補正部43は、撮像部30によって取得された撮像画像データからぼけ関数(PSF:Point Spread Function)を推定し、ウィーナフィルタなどで画像を復元することによって、手振れによる悪影響のない撮像画像データを生成してもよい。この場合も、上述した理由と同じ理由から、手振れ検出部51は設けられなくてもよく、手振れ補正部43は、手振れ補正信号の生成に代えて、手振れによる悪影響のない撮像画像データを生成する。
【0053】
焦点調整部44は、焦点センサ52によって生成される焦点ずれ検出信号に基づいて、レンズ群32のフォーカスレンズを変位させることにより、被写体に焦点を合わせるための焦点調整信号を生成する。
【0054】
露出調整部45は、照度センサ53によって生成される照度検出信号に基づいて、撮像素子31の撮像感度、レンズ群32の絞り機構およびシャッター機構の少なくとも一つを調整するための照度調整信号を生成する。また、露出調整部45は、照度検出信号に基づいて、補正画像生成システム10の周囲の照度が所定値以下か否かを示す照度判定信号を生成する。
【0055】
操作判定部46は、ユーザーインターフェース55によって生成される操作信号などに基づいて、補正画像生成システム10の各部にプログラムの次のステップを実行させる制御信号を生成する。
【0056】
操作画像生成部47は、露出調整部45によって生成される照度判定信号などに基づいて、ユーザがタッチパネルを操作する際の操作画像を表示するための特定の操作画像データを記憶部48に格納された複数の操作画像データの中から選択し、選択した操作画像データを画像データに重畳する。
【0057】
記憶部48は、各種データを格納する部分であり、書き換え可能な不揮発性の記憶媒体によって構成される。参照画像データ、初期補正データ、補正画像生成システム10の製造段階の諸特性のデータ、操作画像データなどを格納している。また、記憶部48は、修正参照画像データを格納していてもよい。さらに、記憶部48は、補正データ生成部41によって生成される補正データを格納し得る。また、記憶部48は、補正データによって修正参照画像データを補正したデータなどを格納し得てもよい。
【0058】
一時記憶部49は、電子機器の動作中に、記憶部48に格納された補正データなどのデータを読み出すことで、データを一時的に格納する部分であり、格納されたデータが読み出される読み出し速度が記憶部48より速い揮発性の記憶媒体によって構成される。一時記憶部49は、電子機器の動作中に、記憶部48から補正データを読み出すことで、補正データを一時的に格納し得る。
【0059】
検出部50は、補正画像生成システム10の内部または外部の物理量を検出信号として検出する部分であり、手振れ検出部51と、焦点センサ52と、照度センサ53と、脱着検出部54と、ユーザーインターフェース55を備えている。
【0060】
手振れ検出部51は、撮像部30の揺れによって生じる角速度および加速度を角速度検知信号および加速度検知信号としてそれぞれ検出するジャイロセンサ511および加速度センサ512を備えており、撮像部30の揺れを角速度検知信号および加速度検知信号を含む手振れ検出信号として検出する。
【0061】
焦点センサ52は、例えば、位相差センサ、コントラストセンサ、またはこれらの両方を備えており、撮像部30の撮像素子31における被写体のピントのずれを焦点ずれ検出信号として検出する。
【0062】
照度センサ53は、例えば、フォトトランジスタまたはフォトダイオードなどによって構成され、補正画像生成システム10の周囲の照度を照度検出信号として検出する。
【0063】
脱着検出部54は、補正画像生成システム10が、
図1Bに示されるように、本体11から取外し自在な撮像部30を備えた携帯機器10Bである場合に、撮像部30と本体11との脱着状態を脱着検出信号として検出する。具体的には、脱着検出部54は、例えば、電気コネクタ111、121に設けられる嵌合検知用の一対の端子間の導通状態によって、撮像部30が本体11に装着されているか否かを検出する。
【0064】
ユーザーインターフェース55は、例えば、タッチパネル、ボタン、または、音声認識ユニットなどによって構成され、ユーザの指示を操作信号として検出する。ユーザーインターフェース55がタッチパネルである場合、タッチパネルは、表示パネル21上に配置され、表示パネル21からの発光光を透過するように、透光性の材料によって構成される。
【0065】
(第2実施形態)
次に、上述の補正画像生成システムを用いた本発明の第2実施形態の画像制御方法が、
図8A〜9Bに示されるフローチャートを参照しながら、説明される。ここで、フローチャートに表わされた画像制御方法は、補正画像生成システム内のCPUなどを含むコンピュータが、ROMに記憶される画像制御プログラムを読み出し、RAMを作業領域として、
図4等に示される補正画像生成システムの各部分の機能を発揮させることによって実行される。
【0066】
まず、例えば、ユーザが表示部20に表示された所定の表示に触れることによって、制御部40のCPUは、画像制御プログラムを開始し、補正画像生成システム10の各部分に以下の各ステップを行わせるように、画像制御プログラムを実行する。つまり、ユーザは、表示部20に表示された表示画像に生じた表示むらU1〜U4を視認し、これを解消したいと感じるようなユーザ自らが意図するタイミングで、画像制御プログラムを実行することができる。具体的には、例えば、ユーザが、予め表示部20に表示された「表示むら補正開始」の表示に触れることによって、ユーザーインターフェース55が、操作信号を生成し、CPUは、生成された操作信号に基づいて、画像制御プログラムを実行する。
【0067】
次に、表示部20は、修正参照画像データに基づいて、参照画像を表示する(
図8AのS10)。この際、表示部20に表示された参照画像において、電子機器の製造段階に生じていた初期表示むらは解消されている。上述したように、この初期表示むらは、主として、サブ画素211を構成する駆動用スイッチング素子211dおよび選択用スイッチング素子211sのスイッチング素子特性の製造ばらつきに起因して生じていたものである。記憶部48には修正参照画像データが予め格納されており、表示部20は、格納された修正参照画像データに基づいて、参照画像を表示する。これに代えて、記憶部48に初期補正データと共に参照画像データが予め格納されていてもよい。この場合、画像データ補正部42が、初期補正データを用いて参照画像データを補正することによって修正参照画像データを生成し、表示部20が、生成された修正参照画像データに基づいて、参照画像を表示する。参照画像を表示するために用いられるデータは、記憶部48から読み出されることで、画像制御プログラムの開始時に、一時記憶部49に格納されるようにしてもよい。なお、表示パネル21の表示特性に合うように、好ましくは、修正参照画像データに対してガンマ補正などの所定の補正が行われた上で、表示部20は参照画像を表示する。
【0068】
ここで、本実施形態で用いる参照画像データについて説明する。参照画像データは、複数の静止画像データからなり、例えば、単一の階調値を有する複数の画像データを含んでいる。具体的には、表示パネル21のサブ画素211が、Rサブ画素、Gサブ画素、およびBサブ画素によって構成される場合、参照画像データは、赤色の単一階調値、緑色の単一階調値、および青色の単一階調値を有する画像データを各色、複数の異なる階調値毎に設けた複数の画像データを有する画像データ群であることが好ましい。例えば、画像データが8ビット(256階調)の場合、参照画像データとして、階調の中央値の近傍の階調値(例えば、階調値が100)、階調の中央値より大きい階調値(例えば、階調値が200)、および階調の中央値より小さい階調値(例えば、階調値が50)の赤色、緑色、および青色でそれぞれ3個(合計9個)の画像データを記憶部48に格納しておく。このように参照画像データを用いれば、特定色のサブ画素211の素子の劣化を視覚的に認識しやすい。また、参照画像データが多数あれば、後述する各座標の補正値パラメータが正確に生成される。しかしながら、あまりに多くの参照画像データがあっても、表示画像の画質の改善に手間が掛かるため、記憶部48は、異なる階調値で各色、2個〜5個の参照画像データを格納していることが好ましい。また、参照画像データは、単一階調値のグレースケールの画像データを複数の異なる階調値毎に設けた複数の画像データを有する画像データ群であってもよい。グレースケールの画像は、複数色のサブ画素211の発光の混合光によって構成されるため、後述するように、一回の参照画像の撮像で複数色のサブ画素211の表示むらを特定することができるので、補正データの生成ステップの時間が削減できる。この場合には、記憶部48は、異なる階調値で、3個〜5個の参照画像データを格納していることが好ましい。また、参照画像データは、複数の単一色の帯状領域を有する、いわゆるカラーバーを表示するための画像データ、または、色または濃淡が連続的または段階的に変化する、いわゆるグラデーション表示を行うための画像データなどの規則的な階調値の変化を有する画像データであってもよく、これらの画像データを複数備えた画像データ群であってもよい。
【0069】
修正参照画像データは、初期表示むらが解消されるように、初期補正データを用いて参照画像データを補正したデータであるため、上述したように、参照画像データが単一の階調値を有する画像データである場合には、修正参照画像データは、初期補正データによる補正により、複数の階調値を有する画像データとなる。また、参照画像データが規則的な階調値の変化を有する画像データである場合には、修正参照画像データは、初期補正データによる補正により、不規則な階調値の変化を有する画像データとなる。
【0070】
次に、ユーザは、表示むらを解消するための補正が必要か否かを判断する(S11)。具体的には、例えば、表示部20が参照画像を表示した後に、時間間隔をおいて、操作画像生成部47は、「補正必要」および「補正不要」のような2つの操作画像データを修正参照画像データに重畳した画像データに基づく操作画像を表示部20に表示させる。そして、ユーザは、表示部20に表示された参照画像の視認の結果、表示むらU1〜U4を確認した場合、「補正必要」の操作画像を触れることによって、S12に進む。この表示むらU1〜U4は、上述したように、主として、各サブ画素を構成する有機EL素子などの画素素子の発光特性の経時劣化のばらつきに起因して生じている。他方、ユーザが表示むらU1〜U4を確認しなかった場合、「補正不要」の操作画像を触れることによって、画像制御プログラムが終了する。
【0071】
ユーザが、表示むらを解消するための補正が必要であると判断した場合、露出調整部45は、照度が規定値以下か否かを判定する(S12)。具体的には、露出調整部45が、補正画像生成システム10の周囲の照度が規定値以下と判定した場合、操作画像生成部47は、露出調整部45が生成する照度判定信号に基づいて、「表示画像を撮って下さい」のような操作画像データを用いた操作画像を表示部20に表示させる。これにより、ユーザは、表示部20に表示された参照画像を撮像するように促される。ユーザが、参照画像の撮像の準備が完了した後、上記操作画像に触れることによって、ユーザーインターフェース55は、操作信号を生成し、撮像部30は、操作信号に基づいて操作判定部46によって生成される制御信号によって、起動する。
【0072】
他方、露出調整部45が、周囲の照度が所定値を超えると判定した場合、露出調整部45が生成する照度判定信号に基づいて、操作画像生成部47は、例えば、「照明を暗くしましたか?」または「暗い場所に移動しましたか?」などのような操作画像データを用いた操作画像を表示部20に表示させる。ユーザは、操作画像によって、周囲の照明を暗くしたり、暗い場所へ移動したりするように促される。そして、例えば、ユーザが暗い場所に移動した後、上記操作画像に触れることによって、ユーザーインターフェース55は、操作信号を生成し、露出調整部45は、操作信号に基づいて操作判定部46によって生成される制御信号によって、再度照度を判定する。
【0073】
次に、撮像部30は、参照画像を撮像することによって、撮像画像データを取得する(S20)。撮像画像データの取得は、S12が完了した後、ユーザが、上述した「表示画像を撮って下さい」のような操作画像に触れることによって、撮像部30が起動した後、自動的に開始される。撮像画像データの取得は、参照画像データが画像データ群によって構成される場合、表示部20が画像データ群を構成する複数の画像データに基づく複数の参照画像を連続的に表示し、撮像部30が各参照画像を撮像することによって行われる。補正画像生成システム10が、
図1Aに示されるように、撮像部30が本体11と一体的に形成されている携帯機器10Aとしての機器構成である場合、撮像部30は、一般的に、参照画像の鏡像を撮像することよって、撮像画像データを取得する。つまり、ユーザが、携帯機器10Aを携えて鏡Mの前に立ち、携帯機器10Aの第1面11aを鏡Mに映し出した状態で、表示部20に表示された参照画像を撮像部30により撮像する。他方、補正画像生成システム10が、
図1Cに示されるように、撮像部30が本体11と別機器12で形成されているシステム10Cとしての機器構成である場合、撮像部30は、一般的に、参照画像を直接撮像することよって、撮像画像データを取得する。つまり、ユーザが、撮像部30を携えて本体11と対向するように立った状態で、表示部20に表示された参照画像を撮像部30により撮像する。なお、補正画像生成システム10が、
図1Bに示されるように、撮像部30が本体11から脱着自在である携帯機器10Bである場合、前者、後者のいずれの手法でも、参照画像を撮像し得ることになる。
【0074】
なお、制御信号によって、撮像部30が起動すると、手振れ検出部51は手振れ検出信号を生成して、これを手振れ補正部43に入力し、手振れ補正部43は、入力された手振れ検出信号に基づいて、手振れ補正信号を生成して、この手振れ補正信号を撮像部30のアクチュエータ33に入力することが好ましい。この場合、アクチュエータ33は、入力された手振れ補正信号に基づいて、撮像部30に対して撮像素子31またはレンズ群32を相対的に変位させる。これにより、いわゆる「手振れ」が撮像画像に生じないにくくなる。
【0075】
また、焦点センサ52は、焦点ずれ検出信号を生成して、これを焦点調整部44に入力し、焦点調整部44は、入力された焦点ずれ検出信号に基づいて、焦点調整信号を生成して、これを撮像部30のアクチュエータ33に入力することが好ましい。この場合、アクチュエータ33は、入力された焦点調整信号に基づいて、撮像素子31に対してレンズ群32のフォーカスレンズを相対的に変位させる。これにより、いわゆる「ピントぼけ」が撮像画像データ中に生じにくくなる。また、アクチュエータ33は、被写体に一度ピントが合わせられると、被写体が動いても自動的に追尾してピントを合わせ続けるようにフォーカスレンズを変位させてもよい。これにより、補正画像生成システム10が、携帯機器10A、10Bである場合にも、参照画像の撮像が容易になる。
【0076】
さらに、照度センサ53は、照度検出信号を生成して、これを露出調整部45に入力し、露出調整部45は、入力された照度検出信号に基づいて、照度調整信号を生成して、これを撮像部30のアクチュエータ33に入力することが好ましい。この場合、アクチュエータ33は、入力された照度調整信号に基づいて、レンズ群32の絞り機構およびシャッター機構の絞りの大きさ、およびシャッター速度をそれぞれ調整する。これにより、撮像画像データの階調値が適切に調整され、撮像画像データまたは撮像画像データに基づくデータと参照画像データまたは参照画像データに基づくデータとの比較が行いやすくなる。
【0077】
S20の後、補正データ生成部41は、撮像画像データまたは撮像画像データに基づくデータと参照画像データまたは参照画像データに基づくデータとの比較結果に基づいて補正データを生成する(S30)。S30は、S20が完了した段階で、自動的に行われてもよいし、S20が完了した後に、「表示むらを補正しますか?」のような操作画像が自動的に表示され、ユーザがこの操作画像に触れることによって、行われてもよい。ここで、
図1Bに示されるような、撮像部30が本体11と脱着自在な機器構成である場合、または、
図1Cに示されるような、撮像部30が本体11と別機器である機器構成である場合には、本体11に対する撮像部30の相対的な位置が固定されていない。そのため、これらの機器構成においては、参照画像が直接撮像されている場合(撮像される参照画像が鏡像でない場合)も、鏡Mに映った参照画像が撮像されている場合(撮像される参照画像が鏡像である場合)もあり得る。しかしながら、
図1Bに示されるような機器構成の場合であっても、撮像部30が本体11に装着されている場合には、
図1Aに示されるような携帯機器としての機器構成の場合と同様に、通常、ユーザは、鏡Mに映った参照画像を撮像する。そこで、
図1Bに示されるような機器構成において、前述した脱着検出部54から出力された脱着検出信号に基づいて、撮像部30が本体11に装着されていると判定される場合には、補正データ生成部41の画像処理部411は、「鏡の使用あり」と判定してもよい。ここで、「鏡の使用あり」とは、撮像部30によって撮像された参照画像が鏡像であることを意味し、「鏡の使用なし」とは、撮像部30によって撮像された参照画像が鏡像でないことを意味するものとする。また、
図1Aに示されるような、撮像部30が本体11と一体的な機器構成である場合にも、通常、ユーザは、鏡Mに映った参照画像を撮像するため、画像処理部411は、「鏡の使用あり」として判定してもよい。
【0078】
他方、
図1Bに示される機器構成において、撮像部30が本体11から取り外されていると判定される場合、または、
図1Cに示される機器構成の場合に、鏡Mの使用の有無を判定できるようにするため、画像処理部411は、表示部20の表示面20aに表示されるか、または、本体11の第1面11aの表示面20a周辺の部分(本体11の第1面11aの額縁部分)に設けられた認識マークRを検出することによって、鏡Mの使用の有無を判定することが好ましい。なお、「第1面11a」は、本体11において表示部20の表示面20aが露出している表面である。例えば、認識マークを表示面20aに表示する場合(図示せず)、特定の座標エリア(例えば、表示面の四隅のうちの一つにおいて一定の領域を占める座標エリア)のみに他のエリアの階調値と異なる階調値を有する画像データが、参照画像データまたは修正参照画像データとして用意されることが好ましい。つまり、表示面20aに表示される参照画像において特定の座標エリアが、鏡Mの使用の有無を検出するための認識マークとなる。そして、画像処理部411は、撮像部30によって取得された撮像画像データから表示面20aの一部に表示される認識マークを検出することにより、鏡Mの使用の有無を判定する。また、
図1Bまたは1Cに示される機器構成の場合に、ユーザによる撮像部30の携帯状態によって、撮像部30は、上下が逆さまの状態で参照画像を撮像したり、傾いた状態で参照画像を撮像したりする場合もあり得るため、認識マークは、撮像画像データの向き(撮像部30によって撮像された参照画像の向き)を検出するために用いられてもよい。参照画像データまたは修正参照画像データは、認識マークを含んだ状態で記憶部48に格納されていてもよいし、参照画像データまたは修正参照画像データとは別に、認識マークに対応する画像データが記憶部48に格納されていて、表示部20に参照画像を表示する際に、認識マークに対応する画像データを参照画像データまたは修正参照画像データに重畳することによって、認識マークを含む参照画像を表示してもよい。
【0079】
認識マークRが本体11に設けられる場合、画像処理部411は、撮像部30によって取得された撮像画像データから表示面20a周辺の部分に設けられた認識マークRを検出することにより、撮像画像データの向き、および鏡Mの使用の有無を判定する。ここで、鏡Mの使用の有無および撮像画像データの向きを判定するために認識マークRを必ずしも追加的に設けなくてもよい。たとえば、認識マークRとして、特定の形状、模様、色彩などが、本体11の第1面11aの表示面20a周辺の部分に印刷または刻印されていてもよい。たとえば、第1面11aに表示されているロゴマークが認識マークRとして用いられてもよい。なお、
図1Cに示されるような機器構成の場合には、ユーザは、参照画像を直接撮像する可能性が高いため、画像処理部411は、鏡Mの使用の有無を考慮することなく、「鏡の使用なし」として判定してもよい。また、撮像部30の撮像窓が略長方形の本体11の第1面11aの縦横の中央線から外れる位置となるように、撮像部30を本体11に設ければ、撮像部30の撮像窓30aが認識マークRとなり得る。
【0080】
そして、画像処理部411は、認識マークRの検出結果に基づいて、「鏡の使用あり」と判定する場合には、撮像画像データおよび参照画像データのいずれか一方を反転させる画像処理を行うことが好ましい。なお、
図1Aに示される機器構成の場合、または、
図1Bに示される機器構成であって、撮像部30が本体11に装着された状態で撮像画像データが取得された場合には、画像処理部411は、撮像画像データの取得時に、予め「鏡の使用あり」と判定してもよい。また、画像処理部411は、前述したように、撮像画像データの向きが参照画像データの向き(表示部20によって表示される参照画像の向き)と異なる場合には、撮像画像データの向きを参照画像データの向きと一致させる画像処理を行ってもよい。この場合、参照画像が−θ度(θ:0度〜360度の任意の角度)で傾いた状態の撮像部30で撮像されると、画像処理部411は、撮像画像データの座標を+θ度で変換する(撮像された参照画像をθ度だけ回転させる)。
【0081】
このように、機器構成に応じ、鏡Mの使用の有無や撮像画像データの向きを判定し、撮像画像データの反転や向きの補正をする画像処理を行った後、画像処理部411は、
図3に示されるように、撮像画像データから参照画像の部分をトリミングしてもよい。以下では、説明の便宜のため、このような画像処理が行われた撮像画像データを単に撮像画像データという。また、参照画像データを反転させたデータも、単に、参照画像データという。
【0082】
露出調整部45によって撮像画像データの階調値が調整されても、撮像画像データの階調値が参照画像データの階調値と十分に合致しない(撮像された撮像画像のコントラストが表示された表示画像のコントラストと合わない)場合、階調調整部414は、撮像画像データの各座標の階調値を一定の値で乗算することによって、乗算後の撮像画像データの階調値が参照画像データの階調値と最も合致する乗算値を算出する。この場合、階調調整部414は、算出した乗算値を用いて撮像画像データの各座標の階調値を乗算した修正撮像画像データを生成する。具体的には、撮像画像データの各座標の階調値が参照画像データの各座標の階調値と一番多く合致する乗算値で、撮像画像データの各座標の階調値を乗算することによって、修正撮像画像データを生成する。なお、上述したように、撮像画像データは、ガンマ補正などの所定の補正がなされた後の修正参照画像データに基づいて表示された参照画像であるため、合致させるべき参照画像データにも、ガンマ補正などの所定の補正がなされている。一方、上述したように、撮像画像データの階調値が、予め、参照画像データの階調値と最も合致するように生成されている場合には、階調調整部414は、修正撮像画像データを生成しなくてもよい。この場合、以下で説明される各座標の補正パラメータの生成において、修正撮像画像データではなく、撮像画像データが用いられる。
【0083】
次に、階調差生成部412は、修正撮像画像データと参照画像データとの座標毎の差分である階調差データを生成する。ここで、階調差生成部412は、ユーザが視認できない表示むらに過敏にならないように、差分値が許容値を超える座標を抽出することによって、階調差データを生成してもよい。この場合、差分値が許容値を超える座標については、実際の差分値が階調差テーブルに格納され、差分値が許容値以内の階調値の座標については、差分値が「0」として階調差テーブルに格納される。階調差テーブルの値が「0」の座標は、表示むらが生じていない座標とされ、この座標について、後述するように、補正値生成部415は、補正パラメータを生成しない。階調差生成部412は、許容値として、例えば、全座標の階調値の標準偏差σとしたとき、0.5σ〜1.0σの間の値とすることが好ましい。
【0084】
その後、補正値生成部415は、階調調整部414から入力された修正撮像画像データに基づいて、画像データの階調値とサブ画素211の画素素子211eに供給する電力との関係から、座標毎の補正パラメータを格納した補正値テーブルを生成する。具体的には、サブ画素211に入力されるデータ電圧値Vと画素素子211eから発光される光の輝度Lとの関係(以下、「V−L特性」という)は、
図6のグラフに示される。表示むらが生じていないサブ画素211のV−L特性およびこれに対応するガンマ補正後の画像データの階調値Gと画素素子211eの輝度Lとの特性(G−L特性)は、表示部20または補正画像生成システム10の製造段階の諸特性の測定結果によって取得されており、記憶部48に格納されている。例えば、表示むらが生じていないサブ画素211のV−L特性C0は、[数式1]で表される。
【0085】
L=α×(V−V
0) [数式1]
(V
0:オフセット電圧、α:V−L曲線のゲイン)
【0086】
数式1に対応する、ガンマ補正後の画像データの階調値Gと輝度Lとの特性(G−L特性)は、[数式2]で表される。
【0087】
L=β×G [数式2]
(β:G−L曲線のゲイン)
【0088】
表示むらの明部または暗部となって、表示むらが生じているサブ画素211のそれぞれのV−L特性C1、C2は、[数式3]で表される。
【0089】
L=(α+Δα)×(V−(V
0+ΔV
0)) [数式3]
(ΔV
0:オフセット電圧のずれ量、Δα:V−L曲線のゲインのずれ量)
【0090】
数式3に対応する、G−L特性は、[数式4]で表される。
【0091】
L=(β+Δβ)×(G−ΔG
0) [数式4]
(ΔG
0:階調値のずれ量、Δβ:G−L曲線のゲインのずれ量)
【0092】
したがって、表示むらが生じているサブ画素211では、画像データの階調値Gを[数式5]に示される階調値G’に変換すれば表示むらを生じない。
【0093】
G’=ΔG
0+(Δβ/(β+Δβ))×G [数式5]
【0094】
このように、G−L曲線のゲインのずれ量を考慮した乗算値A([数式5]では、(Δβ/(β+Δβ)))、および、G−L特性における階調値Gのずれ量を考慮した加算値B([数式5]では、ΔG
0)を算出する。補正値生成部415は、[数式4]を用いて、画像データにおける表示むらが生じている座標の2種類のずれ量(ΔG
0、Δβ)を算出することによって、表示むらを解消するための乗算値Aおよび加算値Bによって構成される補正パラメータを生成する。
【0095】
補正値生成部415は、補正パラメータの生成を、例えば、以下のように行う。
例えば、まず、補正値生成部415は、階調差データにおいて差分値が「0」でない、表示むらが生じているとされる座標を特定する。次に、補正値生成部415は、修正撮像画像データおよび参照画像データにおいて、特定した座標の階調値G
U1およびG
R1をそれぞれ照合する(階調値G
R1は、意図していたサブ画素211の輝度に対応する階調値を示し、階調値G
U1は、表示むらにより意図していない輝度となった実際のサブ画素211の輝度に対応する階調値を示す)。また、補正値生成部415は、[数式2]を用いて、階調値G
R1での意図していたサブ画素211の輝度L
R1(
図6中のV−L特性C0において、データ電圧値VがV1である場合の輝度L
Rに対応)を算出する。これに対して、階調値G
U1での実際のサブ画素211の輝度L
U1(
図6中のV−L特性C1またはC2において、データ電圧値VがV1である場合の輝度L
Uに対応)は、画像データの階調値がサブ画素211の輝度Lに比例することから、[数式6]で表される。
【0096】
L
U1=G
U1/G
R1×L
R1 [数式6]
【0097】
このようにして、表示むらが生じているサブ画素211における階調値G
R1の際の輝度L
U1と算出することができる。さらに、上述した手法と同じ手法で、別の階調値G
R2における表示むらが生じているサブ画素211の輝度L
U2を算出する。つまり、[数式4]では、求めるべき補正パラメータが2つ(AおよびB)あるため、上述した手法を用いることにより、補正値生成部415は、2つの異なる階調値の修正参照画像データに基づく2つの異なる参照画像から2組の階調値および電流値を取得し、[数式4]からずれ量(ΔG
0、Δβ)を表示むらが生じているサブ画素211毎に算出する。そして、補正値生成部415は、算出されたずれ量(ΔG
0、Δβ)および[数式5]から乗算値Aおよび加算値Bをさらに算出することにより、1つのサブ画素211の補正パラメータを生成し、これを表示むらが生じているサブ画素211毎に行うことにより、各サブ画素211に対応する画像データの座標の補正パラメータを格納した補正値テーブルを生成する。表示パネル21のサブ画素211が、Rサブ画素、Gサブ画素、およびBサブ画素によって構成される場合、補正値生成部415は、上述した赤色の参照画像データ、緑色の参照画像データ、および青色の参照画像データに基づく赤色の参照画像、緑色の参照画像、および青色の参照画像をそれぞれ2つ撮像することによって、各色について、2つの修正撮像画像データを取得し、これにより得られる2組の階調値および電流値と[数式4]〜[数式6]から各色の補正パラメータを生成する。生成された補正パラメータを格納した補正値テーブルは、上述した階調差データと共に補正データに含まれる。これにより、電子機器の使用開始後に生じた表示むらを解消するための補正データが得られる。生成された補正データは、例えば、一時記憶部49に格納される。上述した初期補正データは、これと同じ手法により、電子機器の製造段階で生じていた表示むらを補正するために電子機器の製造段階で生成された補正データであり、予め、記憶部48に格納されている。
【0098】
ここでは、ずれ量(ΔG
0、Δβ)が2つあるとして、2つの補正パラメータを生成したが、ずれ量が1つのみ(ΔG
0、または、Δβ)として、補正パラメータ(AまたはB)を生成してもよい。乗算値Aおよび加算値Bは、それぞれ、ずれ量ΔβおよびΔG
0の一方のみに依存するため、ずれ量が1つのみとする場合、補正パラメータも1つとなる。この場合、算出すべき補正パラメータが1つであるため、1組の電圧値と電流値(つまり、1個の撮像画像データ)と数式2から補正パラメータの値を生成することができる。さらに、撮像部30が、3つ以上(n個)の異なる階調値の参照画像データを撮像することによって3つ以上(n個)の異なる撮像画像データを取得し、階調値が近接する2組の階調値および電流値と[数式4]〜[数式6]から、複数(n−1個)のずれ量(ΔG
0、Δβ)を算出することによって、補正パラメータを生成してもよい。この場合、ある近接する2つの階調値の間の階調値には、これら2組の階調値および電流値を用いて生成された補正パラメータが適用され、別の近接する2つの階調値の間の階調値には、これら2組の階調値および電流値を用いて算出された別の補正パラメータが適用される。これにより、より正確な補正パラメータが得られる。
【0099】
補正値生成部415は、表示むらが生じている座標と表示むらが生じていない座標とのガンマ補正前の参照画像データの階調値が一致するとして、G−L特性を補正する補正パラメータを生成してもよい。この場合、補正値生成部415は、ガンマ補正されていないG−L特性から補正パラメータを生成するため、ガンマ補正を包含した補正パラメータを格納した補正値テーブルを生成することになる。また、補正パラメータの生成は、上述の方法に限定されず、参照画像データの階調値G(ガンマ補正の前後を問わない)、データ電圧値V、および、サブ画素211の輝度Lのいずれか2つの相関を示す任意の関数を用い、用いた関数のずれ量を算出し、算出したずれ量から補正パラメータを生成してもよい。補正パラメータを用いた乗算や加算などにより、CPUが何らかの形で、表示むらを解消するための画像データの補正を行なえればよい。
【0100】
S30の後、画像データ補正部42は、補正データを用いて修正参照画像データが補正された2次参照画像データを生成する(S31)。
図7に示されるように、まず、画像データ補正部42は、ガンマ補正用LUTに基づいて、修正参照画像データの階調値を変換することによって、各座標で一様に、ガンマ補正する。この際、ガンマ補正用LUTは、画像処理速度を早めるために、記憶部48から読み出されることで、一時記憶部49に予め格納されていることが好ましい。これと並行して、画像データ補正部42は、画像データと同期した同期信号を座標発生部421に入力し、座標発生部421は、入力された同期信号に基づいて、画像信号に含まれる各座標の階調信号と対応する座標信号を生成し、補正データ出力部422に入力する。補正データ出力部422は、入力された座標信号に対応する表示むらが生じている座標の補正パラメータを一時記憶部49に格納された補正値テーブルから読み出して、乗算値Aを乗算器423に、加算値Bを加算器424にそれぞれ出力する(S31では、
図7の構成とは異なり、生成された補正データは未だ記憶部48に格納されていない)。これにより、補正データを用いて修正参照画像データが補正された2次参照画像データが得られる。上述したように、修正参照画像データではなく、初期補正データと共に参照画像データが記憶部48に格納されている場合、補正データ出力部422は、補正パラメータに加え、初期補正値テーブルの初期補正パラメータを記憶部48から読み出して、初期補正パラメータの乗算値Aおよび補正パラメータの乗算値Aを乗算器423に、初期補正パラメータの加算値Bおよび補正パラメータの加算値Bを加算器424にそれぞれ出力することにより、2次参照画像データが得られる。なお、この場合、初期補正値テーブルは、予め一時記憶部49に格納されていることが好ましい。
【0101】
S31の後、表示部20は、2次参照画像データに基づく2次参照画像を表示する(S32)。
図4に示されるように、S31において生成された2次参照画像データは、2次参照画像データの同期信号とともに、表示駆動部22に入力される。その後、
図5に示されるように、表示駆動部22のデータ線駆動部22Dおよび走査線駆動部22Sは、所定のデータ処理を行うことによって、それぞれデータ信号および操作信号が生成する。そして、表示パネル21は、データ信号および操作信号に基づいて、補正された画像を表示することとなる。
【0102】
S32の後、ユーザは、2次参照画像に表示むらが生じているか否かを判定する(S33)。例えば、S32が終了した後に、操作画像生成部47は、「表示むらアリ」、「表示むらナシ」のような2つの操作画像データを用いた操作画像を表示部20に表示させる。そして、ユーザが、操作画像の「表示むらアリ」または「表示むらナシ」のいずれかの操作画像に触れることにより、ユーザーインターフェース55は、操作信号を生成し、操作判定部46は、操作信号に応じた制御信号を生成する。また、S32において、2次参照画像を撮像することにより、自動的に表示むらの有無を判定してもよい。具体的には、まず、撮像部30が、2次参照画像を撮像することで、撮像画像データを取得する。次に、上述した手法と同様に、修正撮像画像データを生成し、階調差生成部412が、修正撮像画像データと参照画像データとの間の階調差データを生成する。そして、表示むら判定部413が、例えば、±1階調値〜±2階調値を許容値として、生成された階調差データに許容値を超える座標がない場合に、表示むらが生じていないと判定し、そうでない場合に、表示むらが生じていないと判定してもよい。
【0103】
2次参照画像に表示むらが生じている場合には、表示部20は、操作判定部46が生成した操作信号に応じて、再度、S11〜S33を繰り返すために、修正参照画像データに基づいて、参照画像を表示する(S10)。なお、2度目以降の繰返しの際には、S11およびS12の少なくとも一方が省略されてもよい。2次参照画像に表示むらが生じていない場合には、補正値生成部415は、操作判定部46が生成した操作信号に応じて、修正参照画像データの補正に用いた補正データを記憶部48に格納する(S34)。これに加え、補正値生成部415は、補正データによって修正参照画像データを補正したデータを記憶部48に格納してもよく、修正参照画像データが記憶部48に保管されていた場合には、修正参照画像データを、補正データによって修正参照画像データを補正したデータに置き換えてもよい。これにより、補正データの生成プロセスが完了する。
【0104】
S34の後、画像データ補正部42は、S30と同じ手法で、記憶部48に格納された最新の補正データを用いて任意の画像データを補正する(
図8BのS40)。ここで、任意の画像データは、S34の後に、表示部20が表示する表示画像に対応する全ての画像データであり、静止画の画像データと動画の画像データの両方を含む。この際、本実施形態により得られる補正データは、電子機器の使用開始後に生じた表示むらを解消するための補正データであるため、初期表示むらをも解消するために、補正データに加え、初期補正データを用いて画像データを補正する。具体的には、
図7に示されるように、補正データ出力部422は、初期補正データの初期補正値テーブルおよび補正データの補正値テーブルを記憶部48から読み出すことで、これらを一時記憶部49に格納する。その後、画像データ補正部42は、一時記憶部49に格納された初期補正値テーブルの初期補正パラメータおよび補正値テーブルの補正パラメータを読み出し、初期補正パラメータの乗算値Aおよび補正パラメータの乗算値Aを乗算器423に、初期補正パラメータの加算値Bおよび補正パラメータの加算値Bを加算器424にそれぞれ入力することによって、全ての画像データを補正する。そして、上述した手法と同じステップによって、新たな補正データが記憶部48に格納されるまでの間、画像データ補正部42は、この補正データを用いて画像データを補正する。
【0105】
一時記憶部49は、上述したように、揮発性の記憶媒体によって構成されるので、電子機器の電源がオフされた際に、格納されていた初期補正テーブルおよび補正値テーブルは消去される。しかしながら、電子機器の電源がオンされた際に、画像データ補正部42が、初期補正テーブルおよび補正値テーブルを記憶部48から読み出すことで、これらを一時記憶部49に格納させる。これにより、画像データ補正部42は、電子機器の動作中に、より読み出し速度の速い記憶媒体から初期補正データおよび補正データを読み出すことができるので、表示むらを補正するための画像データの画像処理速度が速くなる。一方、電子機器の電源がオフされる際には、最新の補正データが不揮発性の記憶媒体によって構成される記憶部48に格納され続けることで、電子機器の電源がオンされる毎に、補正データを生成する必要がなくなる。しかしながら、画像データ補正部42は、記憶部48から直接、初期補正テーブルおよび最新の補正値テーブルを読み出し、これらを乗算器423および加算器424に出力することで、画像データを補正してもよい。この場合、一時記憶部49を設ける必要がなくなる。なお、一時記憶部49が初期補正データおよび補正データを格納する場合、格納されるデータは、上述したように、初期補正テーブルおよび補正値テーブルだけでなく、初期補正データおよび補正データを構成する全てのデータであってもよい。
【0106】
S40の後、表示部20は、補正された画像データに基づいて画像を表示する(S50)。これにより、製造段階において生じた初期表示むらだけでなく、使用開始後の経時劣化による表示むらを解消した表示画像が表示部20に表示される。
【0107】
このように構成された補正画像生成システム、画像制御方法、および画像制御プログラムによれば、表示部20が、電子機器の製造段階で生成された初期補正データによって参照画像データを補正した修正参照画像データに基づいて参照画像を表示している。そのため、表示むらを解消するための補正データを生成しようとする際に、表示部20には、初期補正データによって既に解消されている初期表示むらを反映した参照画像は表示されず、使用開始後に生じた表示むらのみを反映した参照画像が表示される。したがって、ユーザは、主として、有機EL素子などの画素素子211eの経時劣化に起因する電子機器の使用開始後の経時劣化を的確に把握することができるので、表示画像の補正が必要となる適切な時期に、補正データ生成部41に補正データを生成させることができる。
【0108】
また、補正データを生成する補正データ生成部41と、補正データを用いて画像データを補正する画像データ補正部42が、表示部20と一体的に本体11に備えられているため、補正画像生成システム10が本体11と一体的に撮像部30を備える機器構成か否かを問わず、本体11を操作するユーザが意図するタイミングで、画像制御プログラムの実行によって、何度でも、経時劣化した表示部20の画質を改善することができる。つまり、本体11がユーザに届けられた段階において、製造段階で表示部20に発生した初期表示むらを解消するために生成された初期補正データが本体11の記憶部48に格納されている。したがって、初期補正データを用いることによって、初期表示むらが解消された画像が表示部20に表示される。しかしながら、表示パネル21の画素素子211eの経時劣化の違いに伴い、再び表示部20に表示むらが生じてしまう。このような場合に、ユーザが表示部20の表示むらを把握した際に、画像制御プログラムの実行によって、補正データ生成部41が、撮像画像データまたは修正撮像画像データと参照画像データとの比較結果に基づいて、補正データを生成し、画像データ補正部42が、補正データによって、その後の全ての画像データを補正することができる。これにより、ユーザは、使用開始後の表示部20の表示むらを何度でも解消することができる。
【0109】
使用開始後の表示むらを解消するために、複数回、補正データを生成した場合、それより前に生成された補正データは削除されてもよい。または、新たに生成された補正データを前回の補正データと置き換えてもよい。しかしながら、初期表示むらを解消するため、および、電子機器の出荷時の状態に何時でも戻すことができるようにするために、初期補正データは削除されないことが好ましい。また、S10〜S34までの一連のステップを完了する毎に、記憶部48は、新たに生成された補正データによって修正参照画像データを補正したデータを格納してもよく、記憶部48が修正参照画像データを格納している場合、修正参照画像データを、補正データによって修正参照画像データを補正したデータに置き換えてもよい。
【0110】
さらに、補正データ生成部41は、初期表示むらを含む全ての表示むらを補正するのではなく、電子機器の使用開始後に生じた表示むらのみを補正する補正データを生成するため、補正データを生成する際の補正データ生成部41への負荷が小さくなる。そのため、電子機器を安定に動作させながら短時間で補正データを生成することができる。
【0111】
また、本体11の記憶部48に格納された同じ画像制御プログラムに基づいて、製造段階では、初期補正データが生成され、使用段階では、その後の補正データが生成されるので、初期補正データとその後の補正データとの互換性を考慮する必要がなくなる。これにより、後述する実施形態のように、使用開始後に同じ画像制御プログラムの実行によって、製造段階の初期表示むらが生じていた表示部20のサブ画素211を把握することができる。これにより、製造段階の初期表示むらを考慮して、補正データを生成することができる。
【0112】
一時記憶部49から補正データが読み出される場合には、画像データ補正部42が、より読み出し速度が速い記憶媒体から補正データを読み出すことで、表示むらを補正するための画像処理速度が速くなるので、動画のようなデータサイズが大きい画像データの場合であっても、画像データの補正がスムーズに行われるようになる。一方、記憶部48から補正データが読み出される場合には、一時記憶部49を設ける必要がなくなるため、補正画像生成システム10の構成が簡素化される。
【0113】
(第3実施形態)
本発明の第3実施形態の画像制御方法では、第2実施形態のS30において、補正値生成部415は、電子機器の使用開始後の表示むらの暗部が初期表示むらの暗部と一致する場合に、一致する表示むらの暗部の座標の階調値を維持し、それ以外の表示むらの座標の階調値を調整することによって、補正データを生成する。これについて、
図9Aに示されるフローチャートに基づいて、本実施形態が説明される。なお、本実施形態は、第2実施形態と比較して、補正データを生成するステップ(S30)のみが異なるため、異なる点についてのみ、以下で説明される。
【0114】
まず、S20の後、表示むら判定部413は、階調差生成部412から入力される階調差データに基づいて、使用開始後の表示むらが生じている座標について、表示むらの明部であるか暗部であるかを判定する(S301)。
具体的には、表示むら判定部413は、階調差データの値が0である座標を表示むらがないとし、階調差データの値が正の値の座標を明るい表示むらがあり、階調差データの値が負の値の座標を暗い表示むらがあるとする。
【0115】
S301において、その座標の表示むらが暗部であると判定する場合、表示むら判定部413は、記憶部48に格納された初期階調差データに基づいて、その座標において、初期表示むらが生じていたかを判定する(S302)。
具体的には、表示むら判定部413は、初期階調差データの値が0である座標を初期表示むらがないとし、初期階調差データの値が0でない座標を初期表示むらがあるとする。なお、初期階調差データは、記憶部48から読み出されることで、予め一時記憶部49に格納されていてもよい。
【0116】
S302において、初期表示むらが生じていると判定する場合、表示むら判定部413は、初期階調差データに基づいて、その座標の初期表示むらが明部であるか暗部であるかを判定する(S303)。
具体的には、表示むら判定部413は、初期階調差データの値が正の値である座標の初期表示むらを明部とし、初期階調差データの値が負の値である座標の初期表示むらを暗部とする。
【0117】
S303において、表示むら判定部413が、その座標の初期表示むらが暗部であると判定する場合、補正値生成部415は、その座標において、表示むらが生じていない座標と同様に、補正パラメータを生成しない(S304)。他方、そうでない場合(つまり、S301において、表示むら判定部413が、表示むらの明部と判定する場合、S302において、表示むら判定部413が、初期表示むらの座標でないと判定する場合、および、S303において、表示むら判定部413が、初期表示むらの明部であると判定する場合)、補正値生成部415は、上述した通り、補正パラメータを生成する(S305)。
【0118】
S304およびS305の後、補正値生成部415は、表示むらが生じている全ての座標について、補正パラメータの生成が終了しているかどうかを判定する(S306)。終了している場合には、
図8Aに示されるS31に移行し、終了していない場合には、補正値生成部415は、補正パラメータの生成が終了してない座標について、S301を行う。
【0119】
このような構成である本実施形態では、初期表示むらの暗部であり、かつ、使用開始後の表示むらの暗部である座標については、補正パラメータを生成しない。つまり、製造段階における初期表示むらの暗部であり、かつ、使用開始後の表示むらの暗部である座標に対応するサブ画素211では、画素素子211eの発光特性の経時劣化が進んでいる。このような画素素子211eを他素子と同様に発光させるためには、他素子より大きい電力を供給するように、画像データの階調値を補正する必要がある。このような画像データの補正によって、画素素子211eの劣化を促進させてしまう。本実施形態では、そのようなサブ画素211に対応する画像データの階調値については、補正を行わないため、経時劣化の促進が抑制される。
【0120】
なお、本実施形態以外の画像制御を行なってもよく、例えば、S30において、補正値生成部415は、使用開始後の表示むらの明部が電子機器の製造段階の初期表示むらの明部と一致する場合に、一致する表示むらの明部の階調値を維持し、一致する表示むらの明部以外の階調値を調整することによって、補正データを生成してもよい。この場合、表示むらとして大半を占める暗部が補正データの生成によって解消されるので、表示部20に表示される画像の画質を効率的に向上させることができる。
【0121】
(第4実施形態)
本発明の第4実施形態の画像制御方法では、第2実施形態のS30において、補正値生成部415は、撮像画像データにおける、表示むらの明部の階調値を調整し、表示むらの暗部の階調値を維持することによって、補正データを生成する。これについて、
図9Bに示されるフローチャートに基づいて、本実施形態が説明される。なお、本実施形態は、第3実施形態と同様に、補正データを生成するステップ(S30)が、第2実施形態と異なるため、異なる点についてのみ、以下で説明される。
【0122】
まず、S20の後、表示むら判定部413は、第3実施形態と同様に、階調差生成部412から入力される階調差データに基づいて、表示むらが生じている座標について、表示むらが、明部であるか暗部であるかを判定する(S301)。
【0123】
S301において、表示むら判定部413が、その座標の表示むらが暗部であると判定する場合、補正値生成部415は、その座標において、表示むらが生じていない座標と同様に、補正パラメータを生成しない(S304)。他方、そうでない場合(つまり、S301において、表示むら判定部413が、表示むらの明部であると判定する場合)、補正値生成部415は、上述した通り、補正パラメータを生成する(S305)。
【0124】
S304およびS305の後、補正値生成部415は、表示むらが生じている全ての座標について、補正パラメータの生成が終了しているかどうかを判定する(S306)。終了している場合には、
図8Aに示されるS31を実行し、終了していない場合には、補正値生成部415は、補正パラメータの生成が終了してない座標について、S301を行う。
【0125】
このような構成である本実施形態では、使用開始後に表示むらの暗部となっている座標については、補正パラメータを生成しない。つまり、使用開始後も表示むらの暗部である座標に対応するサブ画素211では、今後、画素素子211eの発光特性の経時劣化が進んでいくことが予想される。このような画素素子211eを他素子と同様に発光させるためには、他素子より大きい電力を供給するように、画像データの階調値を補正する必要がある。この画像データの補正によって、画素素子211eの劣化を促進させてしまう。本実施形態では、そのようなサブ画素211に対応する画像データの階調値については、補正を行わないため、経時劣化の促進が抑制される。
【0126】
なお、本実施形態以外の画像制御を行なってもよく、例えば、S30において、補正値生成部415は、撮像画像データにおける、表示むらの暗部の階調値を調整し、表示むらの明部の階調値を維持することによって、補正データを生成してもよい。この場合、表示むらとして目立つ暗い表示むらが解消されるので、表示部20に表示される画像の画質を効率的に向上させることができる。
【0127】
(その他の実施形態)
第2〜第4実施形態の画像制御方法は、補正画像生成システム10に含まれるコンピュータが、事前に用意された画像制御プログラムを用いることによって、実現される。画像制御プログラムは、上述されたような、補正画像生成システム10に含まれる記憶部48のROMだけでなく、CD−ROM、DVD−ROM、半導体メモリ、磁気ディスク、光磁気ディスク、磁気テープなどのコンピュータで読み取り可能な非一時的(non-transitory)な記録媒体に記録されてもよい。画像制御プログラムは、コンピュータによって記録媒体から読み出されることによって実行される。また、画像制御プログラムは、インターネット等のネットワークを介して配布可能な伝送媒体であってもよい。
【0128】
(まとめ)
本発明の態様1に係る補正画像生成システムは、表示部、参照画像データを格納した記憶部、前記表示部に表示される参照画像を用いて補正データを生成する補正データ生成部、および前記補正データを用いて画像データを補正する画像データ補正部を含む電子機器の本体と、前記参照画像を撮像することによって撮像画像データを取得する撮像部と
を備え、前記表示部は、前記電子機器の製造段階で生成された初期補正データによって前記参照画像データを補正した修正参照画像データに基づいて前記参照画像を表示し、前記補正データ生成部は、前記撮像画像データまたは前記撮像画像データに基づくデータと、前記参照画像データまたは前記参照画像データに基づくデータとの比較結果に基づいて前記補正データを生成する。
【0129】
本発明の態様1の構成によると、表示部には、電子機器の製造段階ではなく、使用開始後に生じた表示むらのみ反映した参照画像が表示されるので、ユーザは、使用開始後の電子機器の経時劣化を的確に把握することができる。これにより、ユーザは、表示画像の補正が必要となる適切な時期に、補正データ生成部に補正データを生成させることができる。また、補正データ生成部は、初期表示むらを含む全ての表示むらを補正するのではなく、電子機器の使用開始後に生じた表示むらのみを補正する補正データを生成するため、補正データを生成する際の補正データ生成部への負荷が小さくなる。そのため、電子機器を安定に動作させながら短時間で補正データを生成することができる。
【0130】
本発明の態様2に係る補正画像生成システムでは、上記態様1において、前記補正データ生成部は、前記撮像画像データまたは前記撮像画像データに基づくデータと前記参照画像データまたは前記参照画像データに基づくデータとの差分に基づいて、前記電子機器の使用開始後の表示部において表示むらが生じている座標および前記表示むらの明暗を判定し、前記初期補正データに基づいて、前記電子機器の製造段階の表示部において初期表示むらが生じている座標と前記初期表示むらの明暗を判定することが好ましい。
【0131】
本発明の態様2の構成によると、本体の使用開始後の表示むらの明暗と本体の製造段階の初期表示むらの明暗の両方を判定することができるので、表示むらの履歴を把握することができる。
【0132】
本発明の態様3に係る補正画像生成システムでは、上記態様2において、前記補正データ生成部は、前記表示むらの明暗のいずれかの判定結果、および、前記初期表示むらの明暗のいずれかの判定結果の特定の組合せに基づいて、前記特定の組合せに該当する座標の階調値を補正し、前記特定の組合せに該当しない座標の階調値を維持するように前記補正データを生成することが好ましい。
【0133】
本発明の態様3の構成によると、表示むらの履歴に応じて、例えば、経時劣化が進んでいる画素に対応する座標の画像データを補正しないように、補正データを生成することができる。
【0134】
本発明の態様4に係る補正画像生成システムでは、上記態様1〜3のいずれか1態様において、前記参照画像データは、単一の階調値を有する画像データであり、前記修正参照画像データは、複数の階調値を有する画像データであることが好ましい。
【0135】
本発明の態様4の構成によると、単純な参照画像データを用いることによって、補正データ生成部が、表示むらを解消するための補正データを適切に生成することができるので、補正画像生成システムに対する負荷が低減される。
【0136】
本発明の態様5に係る補正画像生成システムでは、上記態様1〜3のいずれかの1態様において、前記参照画像データは、規則的な階調値の変化を有する画像データであり、前記修正参照画像データは、不規則な階調値の変化を有する画像データであることが好ましい。
【0137】
本発明の態様5の構成によると、単純な参照画像データを用いることによって、補正データ生成部が、表示むらを解消するための補正データを適切に生成することができるので、補正画像生成システムに対する負荷が低減される。
【0138】
本発明の態様6に係る補正画像生成システムでは、上記態様1〜5のいずれかの1態様において、前記記憶部は、書き換え可能な不揮発性の記憶媒体であることが好ましい。
【0139】
本発明の態様6の構成によると、補正画像生成システムの動作後も、適宜生成された補正データなどの様々なデータを不揮発性の記憶部に格納し続けることができる。これにより、次回動作時も、補正データ生成システムは、記憶部に格納されたデータを用いることができる。
【0140】
本発明の態様7に係る補正画像生成システムでは、上記態様6において、格納されたデータが読み出される読み出し速度が前記記憶部より速い揮発性の一時記憶部をさらに備えることが好ましい。
【0141】
本発明の態様7の構成によると、一時記憶部に必要なデータを格納することにより、補正画像生成システムの動作速度が速くなるので、補正画像生成システムの動作がスムーズになる。
【0142】
本発明の態様8に係る補正画像生成システムでは、上記態様7において、前記記憶部は、前記補正データ生成部が生成した前記補正データを格納し、前記一時記憶部は、前記電子機器の動作中に、前記記憶部から前記補正データを読み出すことで、前記補正データを一時的に格納し、前記画像データ補正部は、前記一時記憶部に格納される前記補正データを読み出すことで、前記画像データを補正することが好ましい。
【0143】
本発明の態様8の構成によると、画像データ補正部が、記憶部ではなく一時記憶部から補正データを読み出すので、補正データを用いて画像データを補正するための画像処理速度が速くなる。したがって、画像データの補正がスムーズに行われる。
【0144】
本発明の態様9に係る画像制御方法は、所定の画像データに基づいて、参照画像を表示する第1ステップと、前記参照画像を撮像することによって、撮像画像データを取得する第2ステップと、前記撮像画像データを用いて補正データを生成する第3ステップと、前記補正データを用いて画像データを補正する第4ステップとを含み、前記所定の画像データは、前記参照画像を表示する表示部を含む電子機器の製造段階で生成された初期補正データによって参照画像データを補正した修正参照画像データであり、前記撮像画像データまたは前記撮像画像データに基づくデータと、前記参照画像データまたは前記参照画像データに基づくデータとの比較結果に基づいて前記補正データを生成する。
【0145】
本発明の態様9の構成によると、表示部には、電子機器の製造段階ではなく、使用開始後に生じた表示むらのみ反映した参照画像が表示されるので、ユーザは、使用開始後の電子機器の経時劣化を的確に把握することができる。これにより、ユーザは、表示画像の補正が必要となる適切な時期に、補正データを生成させることができる。また、初期表示むらを含む全ての表示むらを補正するのではなく、電子機器の使用開始後に生じた表示むらのみを補正する補正データを生成するため、補正データを生成する際の負荷が小さくなる。そのため、電子機器を安定に動作させながら短時間で補正データを生成することができる。
【0146】
本発明の態様10に係る画像制御方法では、上記態様9において、前記第3ステップにおいて、前記撮像画像データにおける、表示むらの明部の階調値を調整し、前記表示むらの暗部の階調値を維持する前記補正データを生成することが好ましい。
【0147】
本発明の態様10の構成によると、経時劣化が進んでいることが予想される使用開始後の表示むらの暗部を構成する部分の表示部における表示特性の経時劣化が抑制される。
【0148】
本発明の態様11に係る画像制御方法では、上記態様9において、前記第3ステップにおいて、前記撮像画像データにおける、表示むらの暗部の階調値を調整し、前記表示むらの明部の階調値を維持する前記補正データを生成することが好ましい。
【0149】
本発明の態様11の構成によると、表示むらとして目立つ暗い表示むらが解消されるので、表示部に表示される画像の画質を効率的に向上させることができる。
【0150】
本発明の態様12に係る画像制御方法では、上記態様9において、前記第3ステップにおいて、前記撮像画像データにおける、表示むらの明部の階調値および暗部の階調値の両方を調整する前記補正データを生成することが好ましい。
【0151】
本発明の態様12の構成によると、表示むらの明暗が共に解消されるので、表示部に表示される画像の画質を大幅に向上させることができる。
【0152】
本発明の態様13に係る画像制御プログラムは、画像データに基づいて画像を表示する表示部、参照画像データを格納した記憶部、前記画像データの補正データを生成する補正データ生成部、および前記画像データを補正する画像データ補正部を備える電子機器の本体と、被写体を撮像する撮像部とを含む補正画像生成システムにおける前記画像の表示むらを補正させるための画像制御プログラムにおいて、前記表示部に、前記電子機器の製造段階で生成された初期補正データによって前記参照画像データを補正した修正参照画像データに基づいて、参照画像を表示させる第1ステップと、前記撮像部に、前記参照画像を撮像させることによって、撮像画像データを取得させる第2ステップと、前記補正データ生成部に、前記撮像画像データまたは前記撮像画像データに基づくデータと前記参照画像データまたは前記参照画像データに基づくデータとの比較結果に基づいて前記補正データを生成させる第3ステップと、前記画像データ補正部に、前記補正データを用いて前記画像データを補正させる第4ステップとを前記補正画像生成システムに実行させる。
【0153】
本発明の態様13の構成によると、表示部には、電子機器の製造段階ではなく、使用開始後に生じた表示むらのみ反映した参照画像が表示されるので、ユーザは、使用開始後の電子機器の経時劣化を的確に把握することができる。これにより、ユーザは、表示画像の補正が必要となる適切な時期に、補正データ生成部に補正データを生成させることができる。また、補正データ生成部は、初期表示むらを含む全ての表示むらを補正するのではなく、電子機器の使用開始後に生じた表示むらのみを補正する補正データを生成するため、補正データを生成する際の補正データ生成部への負荷が小さくなる。そのため、電子機器を安定に動作させながら短時間で補正データを生成することができる。
【0154】
本発明の態様14に係る記録媒体は、上記態様13の画像制御プログラムを記録した、コンピュータで読み取り可能な非一時的な記録媒体である。
【0155】
本発明の態様14の構成によると、記憶された画像制御プログラムの実行によって、本体を操作するユーザが意図するタイミングで、何度でも、補正データ生成部に補正データを生成させることができる。したがって、画像データ補正部に補正データを用いて補正させた画像データによって、経時劣化した表示部の画質を改善させることができる。
補正画像生成システムは、表示部、参照画像データを格納した記憶部、表示部に表示される参照画像を用いて補正データを生成する補正データ生成部、および補正データを用いて画像データを補正する画像データ補正部を含む電子機器の本体と、参照画像を撮像することによって撮像画像データを取得する撮像部とを備える。表示部は、電子機器の製造段階で生成された初期補正データによって参照画像データを補正した修正参照画像データに基づいて参照画像を表示し、補正データ生成部は、撮像画像データまたは撮像画像データに基づくデータと、参照画像データまたは参照画像データに基づくデータとの比較結果に基づいて補正データを生成する。