特表-13161349IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧
再表2013-161349画像処理装置、および画像処理方法、並びにプログラム
(19)【発行国】日本国特許庁(JP)
【公報種別】再公表特許(A1)
(11)【国際公開番号】WO/0
(43)【国際公開日】2013年10月31日
【発行日】2015年12月24日
(54)【発明の名称】画像処理装置、および画像処理方法、並びにプログラム
(51)【国際特許分類】
   H04N 9/07 20060101AFI20151201BHJP
【FI】
   H04N9/07 A
【審査請求】有
【予備審査請求】未請求
【全頁数】48
【出願番号】特願2014-512387(P2014-512387)
(21)【国際出願番号】PCT/0/0
(22)【国際出願日】2013年2月14日
(31)【優先権主張番号】特願2012-98544(P2012-98544)
(32)【優先日】2012年4月24日
(33)【優先権主張国】JP
(81)【指定国】 AP(BW,GH,GM,KE,LR,LS,MW,MZ,NA,RW,SD,SL,SZ,TZ,UG,ZM,ZW),EA(AM,AZ,BY,KG,KZ,RU,TJ,TM),EP(AL,AT,BE,BG,CH,CY,CZ,DE,DK,EE,ES,FI,FR,GB,GR,HR,HU,IE,IS,IT,LT,LU,LV,MC,MK,MT,NL,NO,PL,PT,RO,RS,SE,SI,SK,SM,TR),OA(BF,BJ,CF,CG,CI,CM,GA,GN,GQ,GW,ML,MR,NE,SN,TD,TG),AE,AG,AL,AM,AO,AT,AU,AZ,BA,BB,BG,BH,BN,BR,BW,BY,BZ,CA,CH,CL,CN,CO,CR,CU,CZ,DE,DK,DM,DO,DZ,EC,EE,EG,ES,FI,GB,GD,GE,GH,GM,GT,HN,HR,HU,ID,IL,IN,IS,JP,KE,KG,KM,KN,KP,KR,KZ,LA,LC,LK,LR,LS,LT,LU,LY,MA,MD,ME,MG,MK,MN,MW,MX,MY,MZ,NA,NG,NI,NO,NZ,OM,PA,PE,PG,PH,PL,PT,QA,RO,RS,RU,RW,SC,SD,SE,SG,SK,SL,SM,ST,SV,SY,TH,TJ,TM,TN,TR,TT,TZ,UA,UG,US,UZ,VC
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニー株式会社
(74)【代理人】
【識別番号】100093241
【弁理士】
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【弁理士】
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100086531
【弁理士】
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】100095496
【弁理士】
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】110000763
【氏名又は名称】特許業務法人大同特許事務所
(72)【発明者】
【氏名】斎藤 泰
【テーマコード(参考)】
5C065
【Fターム(参考)】
5C065AA01
5C065BB13
5C065CC01
5C065DD17
5C065EE05
5C065EE09
5C065GG02
5C065GG13
5C065GG21
5C065GG22
5C065GG23
(57)【要約】
画像の局所的ハイライト領域に発生する偽色補正を行う装置、方法を提供する。RGBW配列画像からRGB配列画像を生成するデータ変換処理に際して偽色画素を検出し、偽色画素であるか否かに応じて異なるRGBW各色対応の低域信号を算出し、算出した低域信号を適用した補間処理によりRGBW配列を変換してRGB配列画像を生成する。補間処理においては、W低域信号mWと、RGB各低域信号mR,mG,mBが局所領域で比例関係にあるとの仮定に基づいて各低域信号を利用して行う。低域信号は、注目画素が偽色画素である場合、注目画素近傍の画素値寄与率を離間画素より相対的に低くした係数を持つローパスフィルタを適用して算出する。
【特許請求の範囲】
【請求項1】
RGBW配列画像を入力画像とし、RGB配列画像を出力画像として生成するデータ変換処理部を有し、
前記データ変換処理部は、
前記入力画像の偽色画素を検出し、検出情報を出力する偽色検出部と、
前記偽色検出部から検出情報を入力し、検出情報に応じて処理態様を変更してRGBW各色対応の低域信号を算出する低域信号算出部と、
前記低域信号算出部の算出した低域信号を適用した画素補間により、前記入力画像のRGBW配列の画素変換を実行してRGB配列画像を生成する画素補間部を有し、
前記補間処理部は、
W画素の低域信号mWと、RGB各画素の低域信号mR,mG,mBが、局所領域で比例関係にあるとの仮定に基づいて補間画素値を算出する画像処理装置。
【請求項2】
前記低域信号算出部は、
前記偽色検出部から注目画素が偽色画素であるとの検出情報を入力した場合、
前記注目画素の近傍画素の画素値寄与率を注目画素から離れた画素より相対的に低くしたローパスフィルタ係数を設定したローパスフィルタを適用して低域信号を算出する請求項1に記載の画像処理装置。
【請求項3】
前記低域信号算出部は、
前記偽色検出部から注目画素が偽色画素でないとの検出情報を入力した場合、
注目画素の近傍画素の画素値寄与率を注目画素から離れた画素より相対的に高くしたローパスフィルタ係数を設定したローパスフィルタを適用して低域信号を算出する請求項1に記載の画像処理装置。
【請求項4】
前記偽色検出部は、
前記入力画像における局所的な高輝度領域である局所的ハイライト領域の存在の有無を検出し、注目画素が局所的ハイライト領域に含まれる場合に、該注目画素を偽色画素であると判定する請求項1に記載の画像処理装置。
【請求項5】
前記偽色検出部は、
注目画素近傍のW画素の勾配情報を検出し、2つの直交方向のいずれにおいても注目画素近傍のW画素値が周囲W画素値より高い場合に、前記注目画素が局所的な高輝度領域である局所的ハイライト領域に含まれ、該注目画素が偽色画素であると判定する請求項1に記載の画像処理装置。
【請求項6】
前記偽色検出部は、
(a)注目画素近傍に設定した複数の斜め右下がりライン各々の複数のW画素の画素値に基づいて各ライン対応のW画素低周波成分信号を算出し、注目画素に近い複数の内側ラインのW画素低周波成分信号最大値と、注目画素から遠い複数の外側ラインのW画素低周波成分信号最大値の差分値Diff1と閾値Thr1との比較処理、
(b)注目画素近傍に設定した複数の斜め右上がりライン各々の複数のW画素の画素値に基づいて各ライン対応のW画素低周波成分信号を算出し、注目画素に近い複数の内側ラインのW画素低周波成分信号最大値と、注目画素から遠い複数の外側ラインのW画素低周波成分信号最大値の差分値Diff2と閾値Thr2との比較処理、
を実行し、
上記(a),(b)の2つの比較結果として、いずれも、差分値が閾値より大きい場合に注目画素が偽色画素であると判定する請求項1に記載の画像処理装置。
【請求項7】
前記偽色検出部は、
前記入力画像における局所的な高輝度領域である局所的ハイライト領域にW画素とG画素が集中する場合、または、前記局所的ハイライト領域にW画素とR画素とB画素が集中する場合に発生する偽色の検出を行う請求項1に記載の画像処理装置。
【請求項8】
前記偽色検出部は、
前記入力画像から画素値の高いW画素を検出し、
検出した高画素値のW画素構成パターンと、予めメモリに記録された局所的高輝度領域形状である登録ハイライト領域パターンとを比較し、
検出した高画素値のW画素構成パターンが、前記登録ハイライト領域パターンに一致する場合に、前記高画素値のW画素構成パターンに含まれる画素を偽色画素であると判定する請求項1に記載の画像処理装置。
【請求項9】
前記低域信号算出部は、
前記偽色検出部が高画素値のW画素構成パターンに一致すると判定した登録ハイライト領域パターンに応じて、ハイライト領域の画素値寄与率をハイライト領域外の画素より相対的に低くしたローパスフィルタ係数を設定したローパスフィルタを適用して低域信号を算出する請求項8に記載の画像処理装置。
【請求項10】
画像処理装置において実行する画像処理方法であり
データ変換処理部が、RGBW配列画像を入力画像とし、RGB配列画像を出力画像として生成するデータ変換処理を実行し、
前記データ変換処理において、
前記入力画像の偽色画素を検出し、検出情報を出力する偽色検出処理と、
前記検出情報を入力し、検出情報に応じて処理態様を変更してRGBW各色対応の低域信号を算出する低域信号算出処理と、
前記低域信号を適用した画素補間により、前記入力画像のRGBW配列の画素変換を実行してRGB配列画像を生成する画素補間処理を実行し、
前記補間処理において、
W画素の低域信号mWと、RGB各画素の低域信号mR,mG,mBが、局所領域で比例関係にあるとの仮定に基づく補間画素値を算出する画像処理方法。
【請求項11】
画像処理装置において画像処理を実行させるプログラムであり
データ変換処理部に、RGBW配列画像を入力画像とし、RGB配列画像を出力画像として生成させるデータ変換処理ステップを実行させ、
前記データ変換処理ステップにおいて、
前記入力画像の偽色画素を検出し、検出情報を出力する偽色検出処理と、
前記検出情報を入力し、検出情報に応じて処理態様を変更してRGBW各色対応の低域信号を算出する低域信号算出処理と、
前記低域信号を適用した画素補間により、前記入力画像のRGBW配列の画素変換を実行してRGB配列画像を生成する画素補間処理を実行させ、
前記補間処理において、
W画素の低域信号mWと、RGB各画素の低域信号mR,mG,mBが、局所領域で比例関係にあるとの仮定に基づく補間画素値を算出させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。特に、画像に発生する偽色の補正処理を実行する画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【0002】
例えば、図1に示すように木漏れ日をカメラで撮影したときに、点線丸で囲んだハイライト領域h1〜h5が緑色やマゼンタ色に着色する現象が見られる。
図2(a)はRGB画素からなる従来の多くのカメラにおいて利用されているベイヤ配列である。
図2(b)は、最近のカメラで利用が進んでいるRGBW配列である。RGB各画素は、各々がRまたはGまたはBの各波長領域の光を選択的に透過するフィルタを備えた画素であり、W画素は、RGBの各波長光ほぼ全ての可視光を透過するフィルタを備えた画素である。
【0003】
この図2(b)に示すようなW画素を含むRGBW配列の撮像素子を有するカメラで図1に示すような画像、すなわち木漏れ日のように数画素程度の小さい面積の高輝度領域を含む画像を撮影すると、この小さい高輝度領域であるハイライト領域h1〜h5に緑色やマゼンタ色等の偽色が発生することがある。
以下、この数画素程度の小さい面積のハイライト領域に発生する偽色を輝点偽色と呼ぶ。
【0004】
輝点偽色の発生原理について図3を用いて説明する。
例えば、図3(a)に示すように、ハイライト領域の面積が小さく、ハイライト領域の画素がほぼW画素とG画素のみで構成されている場合、G画素の画素値が、周囲のR画素やB画素の画素値に比べて相対的に大きくなる。その結果、色バランスが崩れて緑色に着色する。
また、例えば、図3(b)に示すように、ハイライト領域の面積が小さく、ハイライト領域の画素がほぼW画素とR画素とB画素によって構成されている場合、R画素とB画素の画素値が、周囲のG画素の画素値に比べて相対的に大きくなる。その結果、色バランスが崩れてマゼンタ色に着色する。
このように、高輝度部分であるハイライト領域に含まれる画素の構成によって様々なパターンの偽色、すなわち輝点偽色が発生すると考えられる。
【0005】
このような輝点偽色を低減するには、偽色発生領域に光学ローパスフィルタを用いた補正を行う処理が有効と考えられる。すなわち、撮像素子に入射する光の高周波成分を低減して、極端な画素値変化をなだらかな変化に補正する処理である。しかし、この方法では解像度の低下を引き起こすため、画質の劣化につながり、適切とは言えない。
【0006】
なお、一般にパープルフリンジと呼ばれている偽色を低減する技術が、例えば特許文献1(特開2009−124598号公報)や特許文献2(特開2006−14261号公報)に記載されている。
パープルフリンジは、主にカメラに備えられたレンズの収差が原因であり、白飛びしているハイコントラストのエッジの周辺に発生する偽色である。
しかし、上述の輝点偽色は、必ずしも白飛びしていない画素領域でも発生するため、従来のパープルフリンジを低減する処理では対応できない場合が存在する。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2009−124598号公報
【特許文献2】特開2006−14261号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
本開示は、上記の問題点に鑑みてなされたものであり、数画素程度の小さい面積の高輝度領域(ハイライト領域)に発生する偽色を検出して補正を行うことにより、高画質な画像を出力する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【0009】
また、本開示の一実施例構成においては、デモザイク前のW(ホワイト)画素を含んだ配列のモザイク画像を処理対象として入力し、数画素程度の小さい面積の高輝度領域(ハイライト領域)に発生する偽色を検出して補正を行うことにより、高画質な画像を出力する画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【0010】
本開示の第1の側面は、
RGBW配列画像を入力画像とし、RGB配列画像を出力画像として生成するデータ変換処理部を有し、
前記データ変換処理部は、
前記入力画像の偽色画素を検出し、検出情報を出力する偽色検出部と、
前記偽色検出部から検出情報を入力し、検出情報に応じて処理態様を変更してRGBW各色対応の低域信号を算出する低域信号算出部と、
前記低域信号算出部の算出した低域信号を適用した画素補間により、前記入力画像のRGBW配列の画素変換を実行してRGB配列画像を生成する画素補間部を有し、
前記補間処理部は、
W画素の低域信号mWと、RGB各画素の低域信号mR,mG,mBが、局所領域で比例関係にあるとの仮定に基づいて補間画素値を算出する画像処理装置にある。
【0011】
さらに、本開示の画像処理装置の一実施態様において、前記低域信号算出部は、前記偽色検出部から注目画素が偽色画素であるとの検出情報を入力した場合、前記注目画素の近傍画素の画素値寄与率を注目画素から離れた画素より相対的に低くしたローパスフィルタ係数を設定したローパスフィルタを適用して低域信号を算出する。
【0012】
さらに、本開示の画像処理装置の一実施態様において、前記低域信号算出部は、前記偽色検出部から注目画素が偽色画素でないとの検出情報を入力した場合、注目画素の近傍画素の画素値寄与率を注目画素から離れた画素より相対的に高くしたローパスフィルタ係数を設定したローパスフィルタを適用して低域信号を算出する。
【0013】
さらに、本開示の画像処理装置の一実施態様において、前記偽色検出部は、前記入力画像における局所的な高輝度領域である局所的ハイライト領域の存在の有無を検出し、注目画素が局所的ハイライト領域に含まれる場合に、該注目画素を偽色画素であると判定する。
【0014】
さらに、本開示の画像処理装置の一実施態様において、前記偽色検出部は、注目画素近傍のW画素の勾配情報を検出し、2つの直交方向のいずれにおいても注目画素近傍のW画素値が周囲W画素値より高い場合に、前記注目画素が局所的な高輝度領域である局所的ハイライト領域に含まれ、該注目画素が偽色画素であると判定する。
【0015】
さらに、本開示の画像処理装置の一実施態様において、前記偽色検出部は、(a)注目画素近傍に設定した複数の斜め右下がりライン各々の複数のW画素の画素値に基づいて各ライン対応のW画素低周波成分信号を算出し、注目画素に近い複数の内側ラインのW画素低周波成分信号最大値と、注目画素から遠い複数の外側ラインのW画素低周波成分信号最大値の差分値Diff1と閾値Thr1との比較処理、(b)注目画素近傍に設定した複数の斜め右上がりライン各々の複数のW画素の画素値に基づいて各ライン対応のW画素低周波成分信号を算出し、注目画素に近い複数の内側ラインのW画素低周波成分信号最大値と、注目画素から遠い複数の外側ラインのW画素低周波成分信号最大値の差分値Diff2と閾値Thr2との比較処理を実行し、上記(a),(b)の2つの比較結果として、いずれも、差分値が閾値より大きい場合に注目画素が偽色画素であると判定する。
なお、閾値Thr1と閾値Thr2は、固定値としてもよいし、ユーザによって設定可能な値としてもよいし、自動的に計算されてもよい。
【0016】
さらに、本開示の画像処理装置の一実施態様において、前記偽色検出部は、前記入力画像における局所的な高輝度領域である局所的ハイライト領域にW画素とG画素が集中する場合、または、前記局所的ハイライト領域にW画素とR画素とB画素が集中する場合に発生する偽色の検出を行う。
【0017】
さらに、本開示の画像処理装置の一実施態様において、前記偽色検出部は、前記入力画像から画素値の高いW画素を検出し、検出した高画素値のW画素構成パターンと、予めメモリに記録された局所的高輝度領域形状である登録ハイライト領域パターンとを比較し、検出した高画素値のW画素構成パターンが、前記登録ハイライト領域パターンに一致する場合に、前記高画素値のW画素構成パターンに含まれる画素を偽色画素であると判定する。
【0018】
さらに、本開示の画像処理装置の一実施態様において、前記低域信号算出部は、前記偽色検出部が高画素値のW画素構成パターンに一致すると判定した登録ハイライト領域パターンに応じて、ハイライト領域の画素値寄与率をハイライト領域外の画素より相対的に低くしたローパスフィルタ係数を設定したローパスフィルタを適用して低域信号を算出する。
【0019】
さらに、本開示の第2の側面は、
画像処理装置において実行する画像処理方法であり
データ変換処理部が、RGBW配列画像を入力画像とし、RGB配列画像を出力画像として生成するデータ変換処理を実行し、
前記データ変換処理において、
前記入力画像の偽色画素を検出し、検出情報を出力する偽色検出処理と、
前記検出情報を入力し、検出情報に応じて処理態様を変更してRGBW各色対応の低域信号を算出する低域信号算出処理と、
前記低域信号を適用した画素補間により、前記入力画像のRGBW配列の画素変換を実行してRGB配列画像を生成する画素補間処理を実行し、
前記補間処理において、
W画素の低域信号mWと、RGB各画素の低域信号mR,mG,mBが、局所領域で比例関係にあるとの仮定に基づく補間画素値を算出する画像処理方法にある。
【0020】
さらに、本開示の第3の側面は、
画像処理装置において画像処理を実行させるプログラムであり
データ変換処理部に、RGBW配列画像を入力画像とし、RGB配列画像を出力画像として生成させるデータ変換処理ステップを実行させ、
前記データ変換処理ステップにおいて、
前記入力画像の偽色画素を検出し、検出情報を出力する偽色検出処理と、
前記検出情報を入力し、検出情報に応じて処理態様を変更してRGBW各色対応の低域信号を算出する低域信号算出処理と、
前記低域信号を適用した画素補間により、前記入力画像のRGBW配列の画素変換を実行してRGB配列画像を生成する画素補間処理を実行させ、
前記補間処理において、
W画素の低域信号mWと、RGB各画素の低域信号mR,mG,mBが、局所領域で比例関係にあるとの仮定に基づく補間画素値を算出させるプログラムにある。
【0021】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【0022】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【0023】
本開示の一実施例の構成によれば、画像の局所的ハイライト領域に発生する偽色補正を行う装置、方法が実現される。
具体的には、RGBW配列画像からRGB配列画像を生成するデータ変換処理に際して偽色画素を検出し、偽色画素であるか否かに応じて異なるRGBW各色対応の低域信号を算出し、算出した低域信号を適用した補間処理によりRGBW配列を変換してRGB配列画像を生成する。補間処理においては、W低域信号mWと、RGB各低域信号mR,mG,mBが局所領域で比例関係にあるとの仮定に基づいて各低域信号を利用して行う。低域信号は、注目画素が偽色画素である場合、注目画素近傍の画素値寄与率を離間画素より相対的に低くした係数を持つローパスフィルタを適用して算出する。
これらの処理により、RGBW配列画像をRGB配列に変換するリモザイク処理に併せて、画像の局所的ハイライト領域に発生する偽色の補正を実行し、偽色を除去または低減した高品質な画像を生成して出力することが可能となる。
【図面の簡単な説明】
【0024】
図1】ハイライト領域に発生する輝点偽色の発生について説明する図である。
図2】撮像装置の画素配列の構成例について説明する図である。
図3】輝点偽色の発生するハイライト領域について説明する図である。
図4】本開示の画像処理装置の構成例について説明する図である。
図5】本開示の画像処理装置のデータ変換処理部の構成例について説明する図である。
図6】本開示の画像処理装置の実行する画素補間処理について説明する図である。
図7】輝点偽色の発生するハイライト領域について説明する図である。
図8】本開示の画像処理装置の偽色検出部の実行する処理について説明する図である。
図9】本開示の画像処理装置の偽色検出部の実行する処理について説明する図である。
図10】本開示の画像処理装置の偽色検出部の実行する処理について説明する図である。
図11】本開示の画像処理装置の偽色検出部の実行する処理について説明する図である。
図12】本開示の画像処理装置の偽色検出部の実行する処理について説明する図である。
図13】本開示の画像処理装置の偽色検出部の実行する処理について説明する図である。
図14】本開示の画像処理装置の偽色検出部の実行する処理について説明する図である。
図15】本開示の画像処理装置の偽色検出部の実行する処理について説明する図である。
図16】本開示の画像処理装置の偽色検出部の実行する処理について説明する図である。
図17】本開示の画像処理装置の低域信号算出部の実行する処理について説明する図である。
図18】本開示の画像処理装置の低域信号算出部の実行する処理について説明する図である。
図19】本開示の画像処理装置の低域信号算出部の実行する処理について説明する図である。
図20】本開示の画像処理装置の低域信号算出部の実行する処理について説明する図である。
図21】本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
図22】本開示の画像処理装置の偽色検出部の実行する処理について説明する図である。
図23】本開示の画像処理装置の低域信号算出部の実行する処理について説明する図である。
図24】本開示の画像処理装置の偽色検出部の実行する処理について説明する図である。
図25】本開示の画像処理装置の低域信号算出部の実行する処理について説明する図である。
図26】本開示の画像処理装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。
【発明を実施するための形態】
【0025】
以下、図面を参照しながら本開示の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
1.本開示の画像処理装置の第1実施例の構成と処理について
2.偽色検出部と低域信号算出部の変形例について
3.本開示の画像処理装置の処理による効果について
4.本開示の構成のまとめ
【0026】
[1.本開示の画像処理装置の第1実施例の構成と処理について]
本開示の画像処理装置は、RGB各色の波長光を選択的に透過するRGBフィルタに加え、RGB各波長光をすべて透過するホワイト(W:White)対応のフィルタを含むRGBW型のカラーフィルタを持つ撮像素子(イメージセンサ)の取得データに対する処理を行う。
【0027】
具体的には、輝度信号の主成分となる画素が市松状に配置され、残りの部分に色情報成分となる複数色の画素が配置された2次元画素配列信号を解析して画素変換を行う。なお、輝度信号の主成分となる色は、白色または緑色である。
【0028】
本開示の画像処理装置は、図2(b)に示すような、ホワイト(W:White)を含む例えばRGBW型のカラーフィルタを持つ撮像素子(イメージセンサ)の取得データを、図2(a)に示すRGB配列(例えばベイヤ配列)に変換する処理を実行する。以下、このようなカラー配列の変換処理をリモザイク処理と呼ぶ。なお、リモザイク処理の詳細については、例えば、特開2011−182354号公報に記載があり、本開示の画像処理装置においてもこの開示されたリモザイク処理を適用できる。
【0029】
本開示の画像処理装置は、この変換処理(リモザイク処理)に際して、輝点偽色を補正する処理を実行する。輝点偽色とは前述したように、数画素程度の小さい面積のハイライト領域に発生する偽色である。
【0030】
図4以下を参照して、本開示の一実施例に係る画像処理装置の構成例および処理例について説明する。
図4は、本開示の画像処理装置の一実施例に係る撮像装置100の構成例を示す図である。撮像装置100は、光学レンズ105、撮像素子(イメージセンサ)110、信号処理部120、メモリ130、制御部140を有する。
【0031】
なお、図4に示す撮像装置100は本開示の画像処理装置の一態様である。本開示の画像処理装置には、例えばPCなどの装置も含まれる。PC等の画像処理装置は、図4に示す撮像装置100の光学レンズ105、撮像素子110を持たず、その他の構成要素から構成され、撮像素子100の取得データの入力部、または記憶部を持つ構成となる。具体的には撮像装置100は、スチルカメラ、ビデオカメラなどであり、画像処理装置100にはPCなど画像処理の可能な情報処理装置が含まれる。
【0032】
以下では、撮像装置100を、本発明の画像処理装置の代表例として説明する。図4に示す撮像装置100の撮像素子(イメージセンサ)110は、図2(b)のようなホワイト(W)を持つRGBW配列181を持つフィルタを備えた構成である。具体的には、輝度信号の主成分となる画素が市松状に配置され、残りの部分に色情報成分となる複数色の画素が配置された2次元画素配列信号を解析して画素変換を行う。なお、輝度信号の主成分となる色は、白色または緑色である。
【0033】
以下に説明する実施例において、撮像素子(イメージセンサ)110は、
赤色近傍の波長を透過する赤(R)、
緑色近傍の波長を透過する緑(G)、
青色近傍の波長を透過する青(B)、
RGBのほぼすべての波長光を透過するホワイト(W)、
これら4種類の分光特性を持つフィルタを備えた撮像素子である。
【0034】
このRGBW配列181フィルタを持つ撮像素子110は、光学レンズ105を介してRGBWいずれかの光を各画素単位で受光し、光電変換により受光信号強度に対応する電気信号を生成して出力する。この撮像素子110によってRGBW4種類の分光から成るモザイク画像が得られる。
撮像素子(イメージセンサ)110の出力信号は信号処理部120のデータ変換処理部200に入力される。
【0035】
データ変換処理部200は、RGBW配列181からRGB配列182への変換処理を実行する。データ変換処理部200は、この画素配列変換処理に際して、輝点偽色の補正処理を実行する。
【0036】
データ変換処理部200が生成したRGB配列182、すなわち、ベイヤ配列を持つデータは、従来のカメラ等の撮像素子によって得られるカラー配列を持つデータである。このカラー配列データは、RGB信号処理部250に入力される。
【0037】
RGB信号処理部250は、従来のカメラ等に備えられた信号処理部と同様の処理を実行する。具体的にはデモザイク処理、ホワイトバランス調整処理、γ補正処理などを実行してカラー画像183を生成する。生成したカラー画像183はメモリ130に記録される。
【0038】
制御部140は、これら一連の処理の制御を実行する。例えば、一連の処理を実行させるプログラムがメモリ130に格納されており、制御部140は、メモリ130から読み出したプログラムを実行して一連の処理を制御する。
【0039】
データ変換処理部200の詳細構成について図5を参照して説明する。データ変換処理部200は、RGBW配列181からRGB配列182への変換処理(リモザイク処理)を実行する。さらに、この処理に際して輝点偽色を低減するための処理を併せて実行する。
【0040】
データ変換処理部200への入力画素単位は、輝点偽色の低減および画素配列変換処理として実行する画素値変換の処理対象画素を中心とした7画素×7画素とする。すなわち処理対象画素を中心とした7×7画素の参照領域を設定した処理を行う。なお、処理対象画素は、順次変更され、データ変換処理部200は、各画素について順次、処理を行う。
なお、入力画素単位として設定する参照領域の大きさを7画素×7画素とする設定は一例であり、この大きさ以外の大きさの領域を入力画素単位(参照領域)として設定してもよい。
【0041】
データ変換処理部200は、図5に示すように、偽色検出部201、低域信号算出部202、画素補間部203を有する。
画素補間部203は、撮像素子110の出力であるRGBW配列181を持つ画像をRGB配列182となるように、入力画素単位領域の中心の画素を補間する。
【0042】
この画素補間処理は、例えば設定予定のRGBいずれかと同一の色の画素を7×7画素の参照領域から選択して、これらの選択画素値を参照画素として参照画素の画素値を適用して処理対象画素、すなわち7×7画素の中心画素の画素値を算出する処理として行われる。
なお、この補間処理においては、エッジ方向を考慮した参照画素の選択処理や、参照領域のW画素素とRGB画素の相関を利用する方法など既存の様々な方法が適用できる。
【0043】
図6を参照して、入力画素単位(ここでは7画素×7画素)の中心のW画素をG画素に補間する場合の補間処理例について説明する。
図6(a)には、画素変換対象とする注目画素であるW画素を中心とした入力画素単位(7×7画素領域)を示している。
【0044】
まず、この入力画素単位(7×7画素領域)を参照領域として、参照領域のW画素の画素値に基づいてW画素の低域信号mWを算出する。
例えば、参照領域のW画素の画素値に対するローパスフィルタ適用処理などによって低域信号mWを算出る。
同じく入力画素単位(参照領域)内のG画素からG画素の低域信号を算出する。これを低域信号mGとする。
【0045】
画素変換対象とする注目画素であるW画素の画素値をwとする。このとき、注目画素位置に設定するG画素、すなわち補間されるG画素の値Gは、以下に示す(式1)に従って算出する。
G=mG/mW×w ・・・・(式1)
【0046】
この補間処理は、局所領域ではW画素の低域信号mWとG画素の低域信号mGがほぼ比例するという推定に基づく補間処理である。
すなわち、本実施例において設定する7×7画素の参照領域のような狭い局所領域では図6(b)に示すようなW画素の低域信号mWとG画素の低域信号mGの比例関係が成立すると推定し、比例関係に基づいて、上記(式1)に従ってW画素位置のG画素値を推定する。
【0047】
なお、RGBW画素配列をRGB画素配列に変換する場合、上記のW画素をG画素に変換する処理以外に、
G画素をRまたはB画素に変換する処理、
R画素をB画素に変換する処理、
B画素をR画素に変換する処理、
これらの各処理が必要となる。
【0048】
これらの変換処理を行う場合、例えば7×7の参照領域にのような局所領域において、
W画素の低域信号mWとG画素の低域信号mGとの比例関係、
W画素の低域信号mWとR画素の低域信号mRとの比例関係、
W画素の低域信号mWとB画素の低域信号mBとの比例関係、
これらの関係が成立すると仮定して、例えば、注目画素間変換先の画素色に応じて、参照領域のW画素をその画素色に設定して、注目画素の画素値を算出する。
なお、この補間処理は、本出願人の先の出願である特開2011−182354号公報に記載があり、本開示の画像処理装置においてもこの開示された処理を適用できる。
【0049】
なお、本開示の処理では、この画素補間部203の画素値変換処理において適用するRGBW画素対応の低域信号mR,mG,mB,mWの算出処理態様を輝点偽色の検出有無に応じて変更する処理を行う。
図5の偽色検出部201において、注目画素が輝点偽色画素であるか否かを判定し、この判定情報を低域信号算出部202に出力する。
【0050】
低域信号算出部202は、この判定情報に応じて、画素補間部203の画素値変換処理において適用するRGBW画素対応の低域信号mR,mG,mB,mWの算出処理態様を変更して、低域信号mR,mG,mB,mWを算出し、算出した低域信号mR,mG,mB,mWを画素補間部203に出力する。
画素補間部203は、低域信号算出部202から入力した低域信号mR,mG,mB,mWを適用して、RGBW画素配列をRGB画素配列に変換するリモザイク処理としての画素補間処理を行う。
なお、画素補間部203の実行する画素補間処理は、低域信号算出部202から入力した低域信号mR,mG,mB,mWを利用する以外は、本出願人の先の出願である特開2011−182354号公報に記載がある処理に従った処理となる。
【0051】
以下、偽色検出部201における輝点偽色の検出処理と、低域信号算出部202における低域信号(mR,mG,mB,mW)の算出処理について説明する。
【0052】
偽色検出部201は、入力画素単位(7×7画素)を参照領域として、この参照領域内のW画素の画素値を適用して輝点偽色の検出処理を実行する。
先に図3を参照して説明したように輝点偽色は、例えば、図3(a)に示すように、局所領域、すなわち数画素程度の高輝度領域であるハイライト領域の画素がW画素とG画素のみである場合、G画素の画素値が、周囲のR画素やB画素の画素値に比べて相対的に大きくなる。その結果、色バランスが崩れて緑色に着色する。
また、例えば、図3(b)に示すように、ハイライト領域の画素がW画素とR画素とB画素によって構成されている場合、R画素とB画素の画素値が、周囲のG画素の画素値に比べて相対的に大きくなる。その結果、色バランスが崩れてマゼンタ色に着色する。このように、高輝度部分であるハイライト領域に含まれる画素の構成によって様々なパターンの偽色、すなわち輝点偽色が発生すると考えられる。
【0053】
以下では、一例として、図3(a)に示すようにハイライト領域の画素がほぼW画素とG画素のみである場合に発生する緑色の偽色を検出する処理について説明する。
図7(a)〜(c)は、図3(a)と同様、緑色の偽色が発生するハイライト領域の構成例を示している。点線丸で囲んだ領域がハイライト領域を表している。
【0054】
偽色検出部201は、データ変換処理部200における画素値変換(リモザイク処理)の処理対象となる注目画素を中心とした入力画素単位(7×7画素)を入力し、注目画素がハイライト領域に含まれるか否か、すなわち輝点偽色画素であるか否かを判定する。
図7(a)〜(c)は、注目画素がハイライト領域に含まれる場合、すなわち、注目画素が輝点偽色画素である場合の例である。図7(a)〜(c)に示す点線丸で囲んだハイライト領域は、ほぼG画素とW画素によって構成されている。
【0055】
偽色検出部201の処理例について、図8以下を参照して説明する。
図8図9に示す処理例は、入力画素単位(7×7画素)の中心画素(注目画素)がW画素(W4)であり、中心画素(W4)の左隣接画素と下隣接画素がG画素である場合の処理例である。
【0056】
偽色検出部201は、入力画素単位がこのような配列を持つ場合、中心画素(注目画素)が緑色の偽色を発生させる輝点偽色画素であるか否かを図8図9に示す処理によって判定する。
【0057】
まず、図8(1a)に示すように、中心のW画素(W4)の左と下にG画素が位置する場合、以下に示す式(式2a)〜(式2d)に従って、out_up、in_up、in_dn、out_dnを求める。なお、W0〜W11は、図8(1a)に示すW画素の画素値を表す。
out_up=(W0+2×W1+W2)/4 ・・・(式2a)
in_up=(W3+2×W4+W5)/4 ・・・(式2b)
in_dn=(W6+2×W7+W8)/4 ・・・(式2c)
out_dn=(W9+2×W10+W11)/4 ・・・(式2d)
【0058】
なお、ここで、
out_up、in_up、in_dn、out_dnは、いずれも、7×7画素の入力画素単位である参照領域内の斜め右下がり方向の複数のW画素の画素値の平均値や重み付け加算によって生成するW画素低周波信号である。
すなわち、各斜め右下がり方向ライン対応のW画素低周波信号である。
【0059】
本処理例では、out_up、in_up、in_dn、out_dnは、いずれも斜め右下がり方向の3つのW画素の画素値を1:2:1の割合で重み付け加算した値である。
in_up、in_dnは、参照領域の中心に最近接する2つの斜め右下がりライン[上側ライン(in_up)、下側ライン(in_dn)]、各ラインの3つのW画素に基づくW画素低周波信号である。
out_upはin_upの上方向に隣接する斜め右下がりラインの3つのW画素に基づくW画素低周波信号である。
out_dnはin_dnの下方向に隣接する斜め右下がりラインの3つのW画素に基づくW画素低周波信号である。
【0060】
これら4つの算出値、out_up、in_up、in_dn、out_dn中、参照領域の中心位置に近い2つの算出値in_up、またはin_dnの値が大きく、中心から離れた2つの算出値out_up、またはout_dnの値が小さいときは、中心付近のG画素がハイライト領域に含まれ、偽色が発生している可能性が高いと判定する。
【0061】
具体的には、斜め右下がりラインの4つのW画素低周波信号out_up、in_up、in_dn、out_dnから、
中心に近い2つのW画素低周波信号in_up、in_dnの最大値max(in_up,in_dn)と、
中心から遠い値2つのW画素低周波信号out_up、out_dnの最大値max(out_up,out_dn)と、
これらの2つの最大値の差分値Diff1を算出する。
【0062】
すなわち、4つの斜め右下がりラインに直交する斜め右上がり方向のW画素の差分値Diff1を算出して、以下に示す(式3)を満たせば、注目画素が偽色発生画素である可能性が高いと判定し、(式3)を満たしていない場合は、偽色発生画素でないと判定する。
Diff1=max(in_up,in_dn)−max(out_up,out_dn)
Diff1>Thr1 ・・・・・(式3)
【0063】
なお、上記(式3)において、
max(A,B)は、AとBの大きい値を返す関数、
Thr1は閾値、
である。
なお、閾値Thr1は、固定値としてもよいし、ユーザによって設定可能な値としてもよいし、自動的に計算されてもよい。
【0064】
図8(1b)は、注目画素が偽色発生画素である可能性が高いと判定する場合のout_up、in_up、in_dn、out_dn、および閾値Thr1の対応例を示している。
図8(1c)は、注目画素が偽色発生画素ではないと判定する場合のout_up、in_up、in_dn、out_dn、および閾値Thr1の対応例を示している。
【0065】
先に説明した(式3)を満たす場合、すなわち、
Diff1>Thr1 ・・・・・(式3)
上記(式3)を満たす場合は、さらに、参照領域の斜め右下がり方向のW画素の画素値を用いた判定処理を行う。
【0066】
図9を参照して、参照領域の斜め右下がり方向のW画素の画素値を用いた判定処理について説明する。
図9(2a)は図8(1a)と同様、中心のW画素(W4)の左と下にG画素が位置する7×7画素の参照領域を示している。
【0067】
偽色検出部201は、図9(2a)に示すように、中心のW画素(W4)の左と下にG画素が位置する場合、以下に示す式(式4a)〜(式4e)に従って、out_up、in_up、center,in_dn、out_dnを求める。なお、W0〜W9は、図9(2a)に示すW画素の画素値を表す。
【0068】
out_up=(W0+W1)/2 ・・・(式4a)
in_up=(W2+W3)/2 ・・・(式4b)
center=(W4+W5)/2 ・・・(式4c)
in_dn=(W6+W7)/2 ・・・(式4d)
out_dn=(W8+W9)/2 ・・・(式4e)
【0069】
なお、ここで、
out_up、in_up、center,in_dn、out_dnは、いずれも、参照領域内の斜め右上がり方向の複数のW画素の画素値の平均値や重み付け加算によって算出するW画素低周波信号である。
本処理例では、斜め右上がり方向の2つのW画素の画素値を1:1の割合で重み付け加算した値である。
【0070】
centerは参照領域の中心付近のG画素に最近接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
in_upはcenterの上方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
in_dnはcenterの下方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
out_upはin_upの上方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
out_dnはin_dnの下方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
【0071】
これら5つの算出値、out_up、in_up、center,in_dn、out_dn中、参照領域の中心位置に近い3つの算出値in_up、またはin_dn、またはcenterの値が大きく、中心から離れた2つの算出値out_up、またはout_dnの値との差が大きいときは、中心付近のG画素がハイライト領域に含まれ、偽色が発生している可能性が高いと判定する。
【0072】
具体的には、斜め右上がりラインの5つのW画素低周波信号out_up、in_up、center,in_dn、out_dnから、
中心に近い3つのW画素低周波信号in_up、center,in_dnの最大値max(in_up,center,in_dn)と、
中心から遠い値2つのW画素低周波信号out_up、out_dnの最大値max(out_up,out_dn)と、
これらの2つの最大値の差分値Diff2を算出する。
【0073】
すなわち、5つの斜め右上がりラインに直交する斜め右下がり方向のW画素の差分値Diff2を算出して、以下に示す(式5)を満たせば、注目画素が偽色発生画素である可能性が高いと判定し、(式5)を満たしていない場合は、偽色発生画素でないと判定する。
Diff2=max(in_up,center,in_dn)−max(out_up,out_dn)
Diff2>Thr2 ・・・・・(式5)
【0074】
なお、上記(式5)において、
max(A,B,C)は、AとBとCの中で最も大きい値を返す関数、
Thr2は閾値、
である。
なお、閾値Thr2は、固定値としてもよいし、ユーザによって設定可能な値としてもよいし、自動的に計算されてもよい。
【0075】
図9(2b)は、注目画素が偽色発生画素である可能性が高いと判定する場合のout_up、in_up、center,in_dn、out_dn、および閾値Thr2の対応例を示している。
図9(2c)は、注目画素が偽色発生画素ではないと判定する場合のout_up、in_up、center,in_dn、out_dn、および閾値Thr2の対応例を示している。
【0076】
偽色検出部201は、最終的に、
前述の(式3)と(式5)の2つの判定式の双方を満足する場合、注目画素が偽色発生画素であると判定し、いずれか一方でも満足しない場合は、注目画素が偽色発生画素でないと判定する。
【0077】
すなわち、
Diff1>Thr1 ・・・・・(式3)
Diff2>Thr2 ・・・・・(式5)
上記の2つの判定式を満足する場合のみ、注目画素が偽色発生画素であると判定する。
判定結果は、低域信号算出部202に出力する。
【0078】
図8図9を参照して説明した偽色判定処理は、入力画素単位である7×7画素の中心画素(注目画素)がW画素であり、中心W画素の左と下にG画素が隣接する場合の処理である。
次に、図10図11を参照して、入力画素単位である7×7画素の中心画素(注目画素)がW画素であり、中心W画素の右と上にG画素が隣接する場合の偽色判定処理例について説明する。
【0079】
偽色検出部201は、図10(3a)に示すように入力画素単位の中心画素画素がW画素(W7)であり、中心W画素の右と上にG画素が隣接する場合、以下に示す式(式6a)〜(式6d)に従って、out_up、in_up、in_dn、out_dnを求める。なお、W0〜W11は、図10(3a)に示すW画素の画素値を表す。
out_up=(W0+2×W1+W2)/4 ・・・(式6a)
in_up=(W3+2×W4+W5)/4 ・・・(式6b)
in_dn=(W6+2×W7+W8)/4 ・・・(式6c)
out_dn=(W9+2×W10+W11)/4 ・・・(式6d)
【0080】
上記式は、先に図8を参照して説明した(式2a)〜(式2d)と同様であり、
out_up、in_up、in_dn、out_dnは、いずれも、参照領域内の斜め右下がり方向の複数のW画素の画素値に基づくW画素低周波信号である。
本処理例では、斜め右下がり方向の3つのW画素の画素値を1:2:1の割合で重み付け加算した値である。
in_up、in_dnは、参照領域の中心に最近接する2つの斜め右下がりライン[上側ライン(in_up)、下側ライン(in_dn)]、各ラインの3つのW画素に基づくW画素低周波信号である。
out_upはin_upの上方向に隣接する斜め右下がりラインの3つのW画素に基づくW画素低周波信号である。
out_dnはin_dnの下方向に隣接する斜め右下がりラインの3つのW画素に基づくW画素低周波信号である。
【0081】
これら4つの算出値、out_up、in_up、in_dn、out_dn中、参照領域の中心位置に近い2つの算出値in_up、またはin_dnの値が大きく、中心から離れた2つの算出値out_up、またはout_dnの値が小さいときは、中心付近のG画素がハイライト領域に含まれ、偽色が発生している可能性が高いと判定する。
【0082】
具体的には、先に図8を参照して説明した処理と同様、斜め右下がりラインの4つのW画素低周波信号out_up、in_up、in_dn、out_dnから、
中心に近い2つのW画素低周波信号in_up、in_dnの最大値max(in_up,in_dn)と、
中心から遠い2つのW画素低周波信号out_up、out_dnの最大値max(out_up,out_dn)と、
これらの2つの最大値の差分値Diff1を算出する。
【0083】
すなわち、4つの斜め右下がりラインに直交する斜め右上がり方向のW画素の差分値Diff1を算出して、以下に示す(式7)を満たせば、注目画素が偽色発生画素である可能性が高いと判定し、(式7)を満たしていない場合は、偽色発生画素でないと判定する。
Diff1=max(in_up,in_dn)−max(out_up,out_dn)
Diff1>Thr1 ・・・・・(式7)
【0084】
なお、上記(式7)において、
max(A,B)は、AとBの大きい値を返す関数、
Thr1は閾値、
である。
【0085】
図10(3b)は、注目画素が偽色発生画素である可能性が高いと判定する場合のout_up、in_up、in_dn、out_dn、および閾値Thr1の対応例を示している。
図10(3c)は、注目画素が偽色発生画素ではないと判定する場合のout_up、in_up、in_dn、out_dn、および閾値Thr1の対応例を示している。
【0086】
先に説明した(式7)を満たす場合、すなわち、
Diff1>Thr1 ・・・・・(式7)
上記(式7)を満たす場合は、さらに、参照領域の斜め右下がり方向のW画素の画素値を用いた判定処理を行う。
【0087】
図11を参照して、参照領域の斜め右下がり方向のW画素の画素値を用いた判定処理について説明する。
図11(4a)は図10(3a)と同様、中心のW画素(W5)の右と上にG画素が位置する7×7画素の参照領域を示している。
【0088】
偽色検出部201は、図11(4a)に示すように、中心のW画素(W5)の左と下にG画素が位置する場合、以下に示す式(式8a)〜(式8e)に従って、out_up、in_up、center,in_dn、out_dnを求める。なお、W0〜W9は、図11(4a)に示すW画素の画素値を表す。
【0089】
out_up=(W0+W1)/2 ・・・(式8a)
in_up=(W2+W3)/2 ・・・(式8b)
center=(W4+W5)/2 ・・・(式8c)
in_dn=(W6+W7)/2 ・・・(式8d)
out_dn=(W8+W9)/2 ・・・(式8e)
【0090】
なお、ここで、
out_up、in_up、center,in_dn、out_dnは、いずれも、参照領域内の斜め右上がり方向の複数のW画素の画素値に基づくW画素低周波信号である。
本処理例では、斜め右上がり方向の2つのW画素の画素値を1:1の割合で重み付け加算した値である。
【0091】
centerは参照領域の中心付近のG画素に最近接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
in_upはcenterの上方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
in_dnはcenterの下方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
out_upはin_upの上方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
out_dnはin_dnの下方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
【0092】
これら5つの算出値、out_up、in_up、center,in_dn、out_dn中、参照領域の中心位置に近い3つの算出値in_up、またはin_dn、またはcenterの値が大きく、中心から離れた2つの算出値out_up、またはout_dnの値との差が大きいときは、中心付近のG画素がハイライト領域に含まれ、偽色が発生している可能性が高いと判定する。
【0093】
具体的には、斜め右上がりラインの5つのW画素低周波信号out_up、in_up、center,in_dn、out_dnから、
中心に近い3つのW画素低周波信号in_up、center,in_dnの最大値max(in_up,center,in_dn)と、
中心から遠い値2つのW画素低周波信号out_up、out_dnの最大値max(out_up,out_dn)と、
これらの2つの最大値の差分値Diff2を算出する。
【0094】
すなわち、5つの斜め右上がりラインに直交する斜め右下がり方向のW画素の差分値Diff2を算出して、以下に示す(式9)を満たせば、注目画素が偽色発生画素である可能性が高いと判定し、(式9)を満たしていない場合は、偽色発生画素でないと判定する。
Diff2=max(in_up,center,in_dn)−max(out_up,out_dn)
Diff2>Thr2 ・・・・・(式9)
【0095】
なお、上記(式9)において、
max(A,B,C)は、AとBとCの中で最も大きい値を返す関数、
Thr2は閾値、
である。
【0096】
図11(4b)は、注目画素が偽色発生画素である可能性が高いと判定する場合のout_up、in_up、center,in_dn、out_dn、および閾値Thr2の対応例を示している。
図11(4c)は、注目画素が偽色発生画素ではないと判定する場合のout_up、in_up、center,in_dn、out_dn、および閾値Thr2の対応例を示している。
【0097】
偽色検出部201は、最終的に、
前述の(式7)と(式9)の2つの判定式の双方を満足する場合、注目画素が偽色発生画素であると判定し、いずれか一方でも満足しない場合は、注目画素が偽色発生画素でないと判定する。
【0098】
すなわち、
Diff1>Thr1 ・・・・・(式7)
Diff2>Thr2 ・・・・・(式9)
上記の2つの判定式を満足する場合のみ、注目画素が偽色発生画素であると判定する。
判定結果は、低域信号算出部202に出力する。
【0099】
偽色検出部201の実行する処理例として、
(A)中心画素がW画素であり、中心W画素の左と下にG画素が隣接する場合(図8図9)、
(B)中心画素がW画素であり、中心W画素の右と上にG画素が隣接する場合(図10図11)、
これらの各場合において、緑色の輝点偽色が発生しているか否かを判定する処理例を説明した。
【0100】
入力画素単位の設定は、この他にも様々な設定があるが、この他の設定の場合にも、偽色検出部201は、基本的には同様の処理、すなわち、以下の2つの比較処理に基づく判定処理を実行する。
(1)斜め右下がりラインの複数のW画素の画素値に基づいて算出する差分値Diff1と閾値Thr1との比較処理、
(2)斜め右上がりラインの複数のW画素の画素値に基づいて算出する差分値Diff2と閾値Thr2との比較処理、
これらの2つの比較結果として、いずれも、差分値が閾値より大きい場合に注目画素が輝点偽色画素であると判定する。
偽色検出部201は、これらの判定処理を実行し、判定結果を低域信号算出部202に出力する。
【0101】
次に、図3(b)に示すようにハイライト領域の画素がほぼW画素とR,B画素のみである場合に発生する緑色の偽色を検出する処理について説明する。図3(b)に示すように、ハイライト領域の画素がW画素とR画素とB画素によって構成されている場合、R画素とB画素の画素値が、周囲のG画素の画素値に比べて相対的に大きくなる。その結果、色バランスが崩れてマゼンタ色に着色する。
【0102】
図12(a)〜(e)は、図3(b)と同様、マゼンダ色の偽色が発生するハイライト領域の構成例を示している。点線丸で囲んだ領域がハイライト領域を表している。
【0103】
偽色検出部201の処理例について、図13以下を参照して説明する。
図13図14に示す処理例は、入力画素単位(7×7画素)の中心画素(注目画素)がR画素である場合の処理例である。
図13は、斜め右下がりラインの複数のW画素の画素値に基づいて算出する差分値Diff1と閾値Thr1との比較処理、
図14は、斜め右上がりラインの複数のW画素の画素値に基づいて算出する差分値Diff2と閾値Thr2との比較処理、
これらの処理例を示している。
【0104】
図13に示す例は、先に説明した図8図10の処理と同様の処理である。ただし、入力画素単位の中心がR画素である点が異なる。
参照領域の中心に近い位置から複数の斜め右下がりラインを設定し、各ライン上の複数のW画素値を用いてW画素の低周波信号、すなわちW低域信号を算出して、より中心に近い複数ラインの最大W低周波信号値と、中心から遠い複数ラインの最大W低周波信号値との差分値を算出する。すなわち4つの斜め右下がりラインに直交する斜め右上がり方向のW画素の差分値をDiff1として算出する。さらに、算出した差分値Diff1と予め既定した閾値Thr1とを比較する。
【0105】
この処理は、先に図8を参照して説明した[(式2a)〜(式2d)、(式3)]、および図10を参照して説明した[(式6a)〜(式6d)、(式7)]に従った処理と同様の処理である。
【0106】
差分値Diff1が予め既定した閾値Thr1より大きい場合は、注目画素が輝点偽色画素である可能性があり、さらに、図14に示す処理、すなわち、斜め右上がりラインの複数のW画素の画素値に基づいて算出する差分値Diff2と閾値Thr2との比較処理を実行する。
【0107】
図14に示す例は、先に説明した図9図11の処理と類似する処理である。ただし、入力画素単位の中心がR画素である点が異なる。さらに、6本の斜め右上がりラインを設定して利用している点が異なる。
【0108】
偽色検出部201は、図14(6a)に示すように、中心にR画素が位置する場合、以下に示す式(式10a)〜(式10f)に従って、out_up、in_up、center,in_dn、out_dnを求める。なお、W0〜W11は、図14(6a)に示すW画素の画素値を表す。
【0109】
out_up=(W0+W1)/2 ・・・(式10a)
mid_up=(W2+W3)/2 ・・・(式10b)
in_up=(W4+W5)/2 ・・・(式10c)
in_dn=(W6+W7)/2 ・・・(式10d)
mid_dn=(W8+W9)/2 ・・・(式10e)
out_dn=(W10+W11)/2 ・・・(式10f)
【0110】
なお、ここで、
out_up、mid_up,in_up、in_dn、mid_dn,out_dnは、いずれも、参照領域内の斜め右上がり方向の複数のW画素の画素値の平均値や重み付け加算によって算出するW画素低周波信号である。
本処理例では、斜め右上がり方向の2つのW画素の画素値を1:1の割合で重み付け加算した値である。
【0111】
in_upは中心R画素の上方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
in_dnは中心R画素の下方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
mid_upはin_upの上方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
mid_dnはin_dnの下方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
out_upはmid_upの上方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
out_dnはmid_dnの下方向に隣接する斜め右上がりラインの2つのW画素に基づくW画素低周波信号である。
【0112】
これら6つの算出値、out_up、mid_up,in_up、in_dn、mid_dn,out_dn中、参照領域の中心位置に近い4つの算出値mid_up,in_up、in_dn、またはmid_dnの値が大きく、中心から離れた2つの算出値out_up、またはout_dnの値との差が大きいときは、中心付近のR画素がハイライト領域に含まれ、偽色が発生している可能性が高いと判定する。
【0113】
具体的には、斜め右上がりラインの6つのW画素低周波信号out_up、mid_up,in_up、in_dn、mid_dn,out_dnから、
中心に近い4つのW画素低周波信号mid_up,in_up、in_dn,mid_dnの最大値max(mid_up,in_up,in_dn,mid_dn)と、
中心から遠い値2つのW画素低周波信号out_up、out_dnの最大値max(out_up,out_dn)と、
これらの2つの最大値の差分値Diff2を算出する。
【0114】
すなわち、6つの斜め右上がりラインに直交する斜め右下がり方向のW画素の差分値Diff2を算出して、以下に示す(式11)を満たせば、注目画素が偽色発生画素である可能性が高いと判定し、(式11)を満たしていない場合は、偽色発生画素でないと判定する。
Diff2=max(mid_up,in_up,in_dn,mid_dn)−max(out_up,out_dn)
Diff2>Thr2 ・・・・・(式11)
【0115】
なお、上記(式11)において、
max(A,B,C)は、AとBとCの中で最も大きい値を返す関数、
Thr2は閾値、
である。
なお、閾値Thr2は、固定値としてもよいし、ユーザによって設定可能な値としてもよいし、自動的に計算されてもよい。
【0116】
図14(6b)は、注目画素が偽色発生画素である可能性が高いと判定する場合のout_up、mid_up,in_up、in_dn、mid_dn,out_dn、および閾値Thr2の対応例を示している。
図14(6c)は、注目画素が偽色発生画素ではないと判定する場合のout_up、mid_up,in_up、in_dn、mid_dn,out_dn、および閾値Thr2の対応例を示している。
【0117】
このように、偽色検出部201は、図13図14を参照して説明した処理に従って、以下の判定式を満たすか否かを判定する。
Diff1>Thr1
Diff2>Thr2
上記の2つの判定式を満足する場合のみ、注目画素が偽色発生画素であると判定する。
判定結果は、低域信号算出部202に出力する。
【0118】
図15図16は、中心画素がB画素である場合の処理例を示している。
図15は、斜め右下がりラインの複数のW画素の画素値に基づいて算出する差分値Diff1と閾値Thr1との比較処理、
図16は、斜め右上がりラインの複数のW画素の画素値に基づいて算出する差分値Diff2と閾値Thr2との比較処理、
これらの処理例を示している。
【0119】
これらの処理は、中心画素がB画素に置き換わった以外は、図13図14を参照して説明した処理と同様の処理となる。
【0120】
このように、偽色検出部201は、中心画素がR,B画素である場合にも、
Diff1>Thr1、
Diff2>Thr2、
上記の2つの式の双方を満たすか否かの判定を行い、満たす場合、注目画素は輝点偽色画素であると判定する。
上記2つの式の少なくともいずれかを満たさな場合は、注目画素は輝点偽色画素でないと判定し、判定結果を低域信号算出部へ202に出力する。
【0121】
このように、偽色検出部201は、以下の2つの比較処理に基づく判定処理を実行する。
(1)注目画素近傍に設定した複数の斜め右下がりライン各々の複数のW画素の画素値に基づいて各ライン対応のW画素低周波成分信号を算出し、注目画素に近い複数の内側ラインのW画素低周波成分信号最大値と、注目画素から遠い複数の外側ラインのW画素低周波成分信号最大値の差分値Diff1と閾値Thr1との比較処理。
(2)注目画素近傍に設定した複数の斜め右上がりライン各々の複数のW画素の画素値に基づいて各ライン対応のW画素低周波成分信号を算出し、注目画素に近い複数の内側ラインのW画素低周波成分信号最大値と、注目画素から遠い複数の外側ラインのW画素低周波成分信号最大値の差分値Diff2と閾値Thr2との比較処理。
【0122】
これらの2つの比較処理結果として、いずれも、差分値が閾値より大きい場合に注目画素が輝点偽色画素であると判定する。
偽色検出部201は、これらの判定処理を実行し、判定結果を低域信号算出部202に出力する。
【0123】
次に、低域信号算出部202の処理について説明する。
低域信号算出部202は、画素補間部203で使用するR画素、G画素、B画素のいずれかの低域信号(mR,mG,mB)と、W画素の低域信号(mW)をそれぞれ算出する。
【0124】
低域信号算出部202は、画素補間部203における補間処理対象となる注目画素、すなわち入力単位画素(7×7画素)の中心の注目画素が輝点偽色画素であるか否かの判定結果を偽色検出部201から入力する。
【0125】
偽色検出部201から注目画素が輝点偽色画素でないとの判定結果を入力した場合は、低域信号算出部202は、予め既定した第1のローパスフィルタ(LPF)係数、すなわち、注目画素位置、すなわち参照領域の中心に近い画素ほど大きい係数とした通常のLPF係数を用いて低域信号を算出する。
【0126】
一方、偽色検出部201から注目画素が輝点偽色画素であるとの判定結果を入力した場合は、低域信号算出部202は、偽色の補正効果を高めた第2のローパスフィルタ(LPF)係数を適用して低域信号を算出する。
この第2のローパスフィルタ(LPF)係数は、変換対象となる注目画素位置、すなわち7×7の入力画素単位である参照領域の中心に近い画素に対する係数を小さく設定した係数である。この処理は、ハイライト領域にある画素値の影響を抑えて補間画素値を算出するための処理である。
このような処理を行うことで、ハイライト領域の画素値の影響を抑制し、偽色の低減を図っている。
【0127】
低域信号算出部202は、このように、RGBW各色信号に対する低域信号mR,mG,mB,mWを算出する。すなわち、低域信号算出部202は、以下の処理を選択的に実行する。
注目画素が偽色画素であると判定された場合は、注目画素に近い領域の参照画素の画素値寄与率を低く設定し、注目画素から遠い周辺領域の参照画素の画素値寄与率を高く設定したローパスフィルタ(LPF)係数を適用した低域信号算出処理を行う。
注目画素が偽色画素でないと判定された場合は、注目画素に近い領域の参照画素の画素値寄与率を高く設定し、注目画素から遠い周辺領域の参照画素の画素値寄与率を低く設定したローパスフィルタ(LPF)係数を適用した低域信号算出処理を行う。
【0128】
LPFの係数の例について図17以下を参照して説明する。
図17に示す例は、入力画素単位の中心画素がW画素であり、中心のW画素の左と下にG画素が位置する場合のG信号の低域信号mGの算出処理に適用するLPFの設定例である。
【0129】
図17(1a)は、入力画素単位の一例を示しており、中心画素がW画素であり、中心のW画素の左と下にG画素が位置する場合のG信号の低域信号mGの算出処理に適用するG画素を太枠で示している。
【0130】
図17(1b)は、中心画素である注目画素が偽色画素でないと判定された場合の第1のローパスフィルタ(LPF)係数、すなわち、注目画素位置、すなわち参照領域の中心に近い画素ほど大きい係数とした通常のLPF係数の設定例である。
【0131】
図17(1c)は、入力画素単位の中心画素である注目画素が偽色画素であると判定された場合の第2のローパスフィルタ(LPF)係数、すなわち、注目画素位置、すなわち参照領域の中心に近い画素ほど小さい係数としたLPF係数の設定例である。
【0132】
中心画素である注目画素が偽色画素でないと判定された場合に、注目画素位置に対応するG低域信号mGは、図17(1a)に示す参照領域内の12個のG画素の画素値に対して、図17(1b)に示す係数(1/32〜6/32)を各画素位置のG画素値に乗じて加算した値とする。
【0133】
一方、中心画素である注目画素が偽色画素であると判定された場合に、注目画素位置に対応するG低域信号mGは、図17(1a)に示す参照領域内の12個のG画素の画素値に対して、図17(1c)に示す係数(0/16〜3/16)を各画素位置のG画素値に乗じて加算した値とする。
【0134】
図17(1b),(1c)のLPF係数の設定において大きく異なる点は、中心に近い2つのG画素に対する係数であり、中心画素である注目画素が偽色画素でないと判定された場合には大きな係数が設定され、中心画素である注目画素が偽色画素であると判定された場合には小さな係数が設定される。
【0135】
この処理により、中心画素である注目画素が偽色画素でないと判定された場合には、G低域信号mGは、参照領域の中心に近いG画素値が大きく反映された値となる。
一方、中心画素である注目画素が偽色画素であると判定された場合には、G低域信号mGは、参照領域の中心に近いG画素値の反映が0または抑制された値となる。
【0136】
なお、図17に示す係数設定例は一つの具体例であり、この他の係数設定としてもよい。ただし、中心画素である注目画素が偽色画素でないと判定された場合には、参照領域の中心に近い画素ほど大きい係数とし、注目画素が偽色画素であると判定された場合には、参照領域の中心に近い画素ほど小さい係数としたLPF係数を設定する。
【0137】
図18に示す例は、入力画素単位の中心画素がW画素であり、中心のW画素の右と上にG画素が位置する場合のG信号の低域信号mGの算出処理に適用するLPFの設定例である。
【0138】
図18(2a)は、入力画素単位の一例を示しており、中心画素がW画素であり、中心のW画素の右と上にG画素が位置する場合のG信号の低域信号mGの算出処理に適用するG画素を太枠で示している。
【0139】
図18(2b)は、中心画素である注目画素が偽色画素でないと判定された場合の第1のローパスフィルタ(LPF)係数、すなわち、注目画素位置、すなわち参照領域の中心に近い画素ほど大きい係数とした通常のLPF係数の設定例である。
【0140】
図18(2c)は、入力画素単位の中心画素である注目画素が偽色画素であると判定された場合の第2のローパスフィルタ(LPF)係数、すなわち、注目画素位置、すなわち参照領域の中心に近い画素ほど小さい係数としたLPF係数の設定例である。
【0141】
中心画素である注目画素が偽色画素でないと判定された場合に、注目画素位置に対応するG低域信号mGは、図18(2a)に示す参照領域内の12個のG画素の画素値に対して、図18(2b)に示す係数(1/32〜6/32)を各画素位置のG画素値に乗じて加算した値とする。
【0142】
一方、中心画素である注目画素が偽色画素であると判定された場合に、注目画素位置に対応するG低域信号mGは、図18(2a)に示す参照領域内の12個のG画素の画素値に対して、図18(2c)に示す係数(0/16〜3/16)を各画素位置のG画素値に乗じて加算した値とする。
【0143】
図18(2b),(2c)のLPF係数の設定において大きく異なる点は、中心に近い2つのG画素に対する係数であり、中心画素である注目画素が偽色画素でないと判定された場合には大きな係数が設定され、中心画素である注目画素が偽色画素であると判定された場合には小さな係数が設定される。
【0144】
この処理により、中心画素である注目画素が偽色画素でないと判定された場合には、G低域信号mGは、参照領域の中心に近いG画素値が大きく反映された値となる。
一方、中心画素である注目画素が偽色画素であると判定された場合には、G低域信号mGは、参照領域の中心に近いG画素値の反映が0または抑制された値となる。
【0145】
なお、図18に示す係数設定例は一つの具体例であり、この他の係数設定としてもよい。ただし、中心画素である注目画素が偽色画素でないと判定された場合には、参照領域の中心に近い画素ほど大きい係数とし、注目画素が偽色画素であると判定された場合には、参照領域の中心に近い画素ほど小さい係数としたLPF係数を設定する。
【0146】
図17図18に示す例は、入力単位画素領域の中心がW画素の場合のG低域信号mGの算出に適用するLPF係数設定例である。
この他の入力単位画素設定の場合の様々な低域信号mR,mG,mB,mWの算出処理においても、低域信号算出部202は、やはり同様の処理を実行して低域信号算出処理を行う。
すなわち、参照領域の中心画素である注目画素が偽色画素でないと判定された場合には、参照領域の中心に近い画素ほど大きい係数とし、注目画素が偽色画素であると判定された場合には、参照領域の中心に近い画素ほど小さい係数としたLPF係数を設定したローパスフィルタ適用処理を実行して、低域信号mR,mG,mB,mWの算出処理を実行する。
【0147】
図19に示す例は、入力画素単位の中心画素がR画素である場合のB信号の低域信号mBの算出処理に適用するLPFの設定例である。
【0148】
図19(3a)は、入力画素単位の一例を示しており、中心画素がR画素である場合のB信号の低域信号mBの算出処理に適用するB画素を太枠で示している。
【0149】
図19(3b)は、中心画素である注目画素が偽色画素でないと判定された場合の第1のローパスフィルタ(LPF)係数、すなわち、注目画素位置、すなわち参照領域の中心に近い画素ほど大きい係数とした通常のLPF係数の設定例である。
【0150】
図19(3c)は、入力画素単位の中心画素である注目画素が偽色画素であると判定された場合の第2のローパスフィルタ(LPF)係数、すなわち、注目画素位置、すなわち参照領域の中心に近い画素ほど小さい係数としたLPF係数の設定例である。
【0151】
中心画素である注目画素が偽色画素でないと判定された場合に、注目画素位置に対応するB低域信号mBは、図19(3a)に示す参照領域内の8個のB画素の画素値に対して、図19(3b)に示す係数(1/32〜9/32)を各画素位置のB画素値に乗じて加算した値とする。
【0152】
一方、中心画素である注目画素が偽色画素であると判定された場合に、注目画素位置に対応するB低域信号mBは、図19(3a)に示す参照領域内の8個のB画素の画素値に対して、図19(3c)に示す係数(0/16〜3/16)を各画素位置のB画素値に乗じて加算した値とする。
【0153】
図19(3b),(3c)のLPF係数の設定において大きく異なる点は、中心に近い2つのB画素に対する係数であり、中心画素である注目画素が偽色画素でないと判定された場合には大きな係数が設定され、中心画素である注目画素が偽色画素であると判定された場合には小さな係数が設定される。
【0154】
この処理により、中心画素である注目画素が偽色画素でないと判定された場合には、B低域信号mBは、参照領域の中心に近いB画素値が大きく反映された値となる。
一方、中心画素である注目画素が偽色画素であると判定された場合には、B低域信号mBは、参照領域の中心に近いB画素値の反映が0または抑制された値となる。
【0155】
なお、図19に示す係数設定例は一つの具体例であり、この他の係数設定としてもよい。ただし、中心画素である注目画素が偽色画素でないと判定された場合には、参照領域の中心に近い画素ほど大きい係数とし、注目画素が偽色画素であると判定された場合には、参照領域の中心に近い画素ほど小さい係数としたLPF係数を設定する。
【0156】
図20に示す例は、入力画素単位の中心画素がB画素である場合のR信号の低域信号mRの算出処理に適用するLPFの設定例である。
【0157】
図20(4a)は、入力画素単位の一例を示しており、中心画素がB画素である場合のR信号の低域信号mRの算出処理に適用するR画素を太枠で示している。
【0158】
図20(4b)は、中心画素である注目画素が偽色画素でないと判定された場合の第1のローパスフィルタ(LPF)係数、すなわち、注目画素位置、すなわち参照領域の中心に近い画素ほど大きい係数とした通常のLPF係数の設定例である。
【0159】
図20(4c)は、入力画素単位の中心画素である注目画素が偽色画素であると判定された場合の第2のローパスフィルタ(LPF)係数、すなわち、注目画素位置、すなわち参照領域の中心に近い画素ほど小さい係数としたLPF係数の設定例である。
【0160】
中心画素である注目画素が偽色画素でないと判定された場合に、注目画素位置に対応するR低域信号mRは、図20(4a)に示す参照領域内の8個のR画素の画素値に対して、図20(4b)に示す係数(1/32〜9/32)を各画素位置のR画素値に乗じて加算した値とする。
【0161】
一方、中心画素である注目画素が偽色画素であると判定された場合に、注目画素位置に対応するR低域信号mRは、図20(4a)に示す参照領域内の8個のR画素の画素値に対して、図20(4c)に示す係数(0/16〜3/16)を各画素位置のR画素値に乗じて加算した値とする。
【0162】
図20(4b),(4c)のLPF係数の設定において大きく異なる点は、中心に近い2つのB画素に対する係数であり、中心画素である注目画素が偽色画素でないと判定された場合には大きな係数が設定され、中心画素である注目画素が偽色画素であると判定された場合には小さな係数が設定される。
【0163】
この処理により、中心画素である注目画素が偽色画素でないと判定された場合には、R低域信号mRは、参照領域の中心に近いR画素値が大きく反映された値となる。
一方、中心画素である注目画素が偽色画素であると判定された場合には、R低域信号mRは、参照領域の中心に近いR画素値の反映が0または抑制された値となる。
【0164】
なお、図20に示す係数設定例は一つの具体例であり、この他の係数設定としてもよい。ただし、中心画素である注目画素が偽色画素でないと判定された場合には、参照領域の中心に近い画素ほど大きい係数とし、注目画素が偽色画素であると判定された場合には、参照領域の中心に近い画素ほど小さい係数としたLPF係数を設定する。
【0165】
低域信号算出部202は、このように、処理対象画素である入力画素単位の中心の注目画素が輝点偽色であるか否かの判定情報を偽色検出部から入力し、入力情報に応じて異なるLPF係数を設定したLPF適用処理により、RGBW各信号の低域信号mR,mG,mB,mWを算出して画素補間部203に出力する。
【0166】
画素補間部203は、低域信号算出部202から入力するRGBW各信号の低域信号mR,mG,mB,mWを適用して、RGBWの画素配列をRGB配列に変換する画素補間処理、すなわちリモザイク処理を行う。
【0167】
なお、前述したように、画素補間部203の実行する画素補間処理は、低域信号算出部202から入力した低域信号mR,mG,mB,mWを利用する以外は、本出願人の先の出願である特開2011−182354号公報に記載がある処理に従った処理となる。
【0168】
すなわち、画素補間部203は、RGBW画素配列をRGB画素配列に変換する処理として、以下の処理を実行する。
W画素をG画素に変換する処理、
G画素をRまたはB画素に変換する処理、
R画素をB画素に変換する処理、
B画素をR画素に変換する処理、
これらの各処理を行う。
【0169】
これらの変換処理を行う場合、例えば7×7の参照領域にのような局所領域において、
W画素の低域信号mWとG画素の低域信号mGとの比例関係、
W画素の低域信号mWとR画素の低域信号mRとの比例関係、
W画素の低域信号mWとB画素の低域信号mBとの比例関係、
これらの関係が成立すると仮定して、例えば、注目画素間変換先の画素色に応じて、参照領域のW画素をその画素色に設定して、注目画素の画素値を算出する。
この処理に際して、低域信号算出部202から入力するRGBW各信号の低域信号mR,mG,mB,mWを適用する。
【0170】
低域信号算出部202から入力するRGBW各信号の低域信号mR,mG,mB,mWは、変換処理対象となる注目画素が輝点偽色であると判定された場合には、その輝点偽色領域の近傍の画素値の反映度が低く抑えられた信号となり、結果として、画素補間部203は、偽色の影響を抑えた補間画素値を設定することが可能となる。
【0171】
本開示の画像処理装置のデータ変換処理部の実行する処理シーケンスについて、図21に示すフローチャートを参照して説明する。
【0172】
図21に示すフローチャートは、RGBW配列をRGB配列に変換する場合の1つの変換対象画素に対する処理シーケンスであり、変換対象画素を含む参照画素領域、例えば7×7画素領域を入力してデータ変換処理部において実行する処理である。各処理画素に対して、図21に示すフローに従った処理が順次実行されることになる。
【0173】
まず、ステップS101において、参照領域の斜め右上がり方向のWの差分値Diff1を求める。
次に、ステップS102でDiff1と閾値Thr1とを比較する。
【0174】
これらの処理は、図5に示す偽色検出部201の実行する処理であり、図8図10図12を参照して説明した処理である。
参照領域の中心に近い位置から複数の斜め右下がりラインを設定し、各ライン上の複数のW画素値を用いてW低域信号を算出して、より中心に近い複数ラインの最大W低周波信号値と、中心から遠い複数ラインの最大W低周波信号値との差分値を算出する。すなわち4つの斜め右下がりラインに直交する斜め右上がり方向のW画素の差分値をDiff1として算出する。
さらに、算出した差分値Diff1と予め既定した閾値Thr1とを比較する。
【0175】
ステップS102のDiff1と閾値Thr1との比較処理結果として、
Diff1が閾値Thr1より大きい場合(Yes)には、ステップS103へ進む。Diff1が閾値Thr1より大きくない場合(No)には、ステップS106へ進む。
【0176】
Diff1が閾値Thr1より大きくない場合(No)は、注目画素が輝点偽色でないと判定された場合であり、ステップS106へ進み、注目画素に近い参照画素のLPF係数を相対的に高く設定したローパスフィルタ(LPF)の適用処理により、必要な低域信号を算出する。なお必要な低域信号とは、画素補間部203で実行する注目画素の変換処理に適用するために必要な低域信号である。低域信号mR,mG,mB,mWの少なくとも1つ以上の低域信号を算出する。
【0177】
この低域信号算出処理は、図5に示す低域信号算出部202の処理である。
例えば図17(1b)、図18(2b)に示すように、注目画素に近い参照画素のLPF係数を相対的に高く設定したローパスフィルタ(LPF)の適用処理により低域信号を算出する。
【0178】
一方、ステップS102のDiff1と閾値Thr1との比較処理結果として、
Diff1が閾値Thr1より大きいと判定された場合(Yes)には、ステップS103へ進む。
この場合は、注目画素が輝点偽色発生画素である可能性があると判定された場合である。この場合は、ステップS103に進む。
【0179】
ステップS103において、参照領域の斜め右下がり方向のWの差分値Diff2を求める。
次に、ステップS104でDiff2と閾値Thr2とを比較する。
【0180】
これらの処理は、図9図11図13を参照して説明した処理である。
参照領域の中心に近い位置から複数の斜め右上がりラインを設定し、各ライン上の複数のW画素値を用いてW低域信号を算出して、より中心に近い複数ラインの最大W低周波信号値と、中心から遠い複数ラインの最大W低周波信号値との差分値を算出する。すなわち例えば5つの斜め右上がりラインに直交する斜め右下がり方向のW画素の差分値をDiff2として算出する。
さらに、算出した差分値Diff2と予め既定した閾値Thr2とを比較する。
【0181】
ステップS104のDiff2と閾値Thr2との比較処理結果として、
Diff2が閾値Thr2より大きい場合(Yes)には、ステップS105へ進む。Diff2が閾値Thr2より大きくない場合(No)には、ステップS106へ進む。
【0182】
Diff2が閾値Thr2より大きくない場合(No)は、注目画素が輝点偽色でないと判定された場合であり、ステップS106へ進み、注目画素に近い参照画素のLPF係数を相対的に高く設定したローパスフィルタ(LPF)の適用処理により、必要な低域信号を算出する。なお必要な低域信号とは、画素補間部203で実行する注目画素の変換処理に適用するために必要な低域信号である。低域信号mR,mG,mB,mWの少なくとも1つ以上の低域信号を算出する。
【0183】
この低域信号算出処理は、図5に示す低域信号算出部202の処理である。
例えば図17(1b)、図18(2b)に示すように、注目画素に近い参照画素のLPF係数を相対的に高く設定したローパスフィルタ(LPF)の適用処理により低域信号を算出する。
【0184】
一方、ステップS104のDiff2と閾値Thr2との比較処理結果として、
Diff2が閾値Thr2より大きいと判定された場合(Yes)には、ステップS105へ進む。
この場合は、注目画素が輝点偽色発生画素であると判定された場合である。この場合は、ステップS105に進む。
【0185】
ステップS105では、注目画素に近い参照画素のLPF係数を相対的に低く設定したローパスフィルタ(LPF)の適用処理により、必要な低域信号を算出する。なお必要な低域信号とは、画素補間部203で実行する注目画素の変換処理に適用するために必要な低域信号である。低域信号mR,mG,mB,mWの少なくとも1つ以上の低域信号を算出する。
【0186】
この低域信号算出処理は、図5に示す低域信号算出部202の処理である。
例えば図17(1c)、図18(2c)に示すように、注目画素に近い参照画素のLPF係数を相対的に低く設定したローパスフィルタ(LPF)の適用処理により低域信号を算出する。
【0187】
ステップS107では、ステップS105において生成した低域信号、またはステップS106において生成した低域信号、いずれかを適用して注目画素の補間画素値を算出する。
この処理は、図5に示す画素補間部203の実行する処理である。
【0188】
画素補間部203は、注目画素が輝点偽色であると判定された場合は、ステップS105において生成した低域信号を用い、注目画素が輝点偽色でないと判定された場合は、ステップS106において生成した低域信号を用いて補間処理を行う。
【0189】
具体的には、注目画素が輝点偽色であると判定された場合は、注目画素に近い参照画素のLPF係数を相対的に低く設定したローパスフィルタ(LPF)の適用処理により生成した低域信号を用いた補間処理を行う。
一方、注目画素が輝点偽色でないと判定された場合は、注目画素に近い参照画素のLPF係数を相対的に高く設定したローパスフィルタ(LPF)の適用処理により生成した低域信号を用いた補間処理を行う。
【0190】
これらの処理により、輝点偽色であると判定した画素領域の補間画素値は、輝点偽色の影響が低減された補間画素値の設定が行われることになる。
なお、図21に示す処理は、例えば図4に示すメモリ130に格納されたプログラムに従って、制御部140の制御の下で実行される。
【0191】
図4図5に示すデータ変換処理部200は、上述した処理によって、偽色補正とリモザイク処理結果としてのRGB配列182に従った画像を生成してRGB信号処理部250に出力する。
【0192】
RGB信号処理部250は、従来のカメラ等に備えられた信号処理部と同様の処理を実行する。具体的にはデモザイク処理、ホワイトバランス調整処理、γ補正処理などを実行してカラー画像183を生成する。生成したカラー画像183はメモリ130に記録される。
【0193】
[2.偽色検出部と低域信号算出部の変形例について]
上述した実施例において、偽色検出部201は、図21のフローにおけるステップS102の判定処理、すなわち、
Diff1>Thr1、
さらに、ステップS104の判定処理、すなわち、
Diff2>Thr2、
これらの2つの判定式が満足する場合に、注目画素が輝点偽色の発生画素であると判定していた。
【0194】
また、低域信号算出部は、注目画素が輝点偽色画素であるか否かに応じて、先に図17図18を参照して説明したように、異なるLPF係数を適用した低域信号の算出処理を実行するものとして説明した。
【0195】
偽色検出部201における偽色の検出処理と、低域信号算出部202の低域信号算出処理は、これらの処理に限られるものではなく、その他の処理を実行する構成としてもよい。その一例について以下、説明する。
【0196】
図22は、中心のW画素の左と下にG画素が位置する場合で、輝点偽色が発生するハイライト領域の例を示している。図22(a)〜(g)の点線枠内がハイライト領域である。
【0197】
偽色検出部201は、入力画素単位、すなわち7×7画素の参照領域のW画素に着目して、画素値の高いW画素を検出する。さらに、この高画素値を持つW画素が、図22(a)〜(g)に示すハイライト領域のいずれかの領域内のW画素のパターンと一致するか否かを判定する。なお、該当するW画素の配置の求め方は、パターンマッチングなど、一般的に用いられている方法を適用することが可能である。
【0198】
画素値の高いW画素が、図22(a)〜(g)に示すハイライト領域のいずれかの領域内のW画素のパターンと一致する場合、これらの画素領域は輝点偽色の発生領域であると判定する。
【0199】
次に、低域信号算出部202では、偽色検出部201で求めたW画素の配置に対応するLPFを選択して、画素補間処理に適用する低域信号を算出する。
図23には、G信号の低域信号mGの算出に適用するLPF係数の設定例を示している。
図23(a)〜(g)は、それぞれ図22(a)〜(g)のハイライト領域に対応して利用する低域信号mGの算出に適用するLPF係数の設定例である。
【0200】
図23(a)〜(g)に示すLまたはHの記載された画素がG画素であり、
Lは相対的に低いLPF係数の設定画素、
Hは相対的に高いLPF係数の設定画素、
これらを示している。
【0201】
図23(a)〜(g)に示すように、ハイライト領域内のG画素位置のLPF係数は相対的に小さくした設定としている。
例えば、図22(a)に示す4画素のハイライト領域が検出された場合、図23(a)に示すLPF係数の設定で入力画素単位を畳み込み演算することにより、所望の低域信号を得る。
図23(a)に示すLPF係数は、図22(a)に示すハイライト領域内のG画素位置の係数のみがLであり、その他のG画素位置の係数はHとなっている。
このような係数を適用したローパスフィルタを利用して低域信号mGを算出することで、ハイライト領域のG画素値の影響を低減した低域信号mGを算出できる。
【0202】
この他の図22(b)〜(g)に示すハイライト領域の場合も同様であり、図23(b)〜(g)に示すようにハイライト領域の画素値の寄与率を低くした低域信号が算出される。
【0203】
低域信号算出部202は、このように、注目画素位置がハイライト領域に含まれる場合、そのハイライト領域の形状に応じて、ハイライト領域の構成画素値の寄与率を低くした低域信号を算出して画素補間部203に出力する。
【0204】
図24は、ハイライト領域がW,R,B画素によって構成される例を示している。図24(a)〜(h)の点線枠内がハイライト領域である。
【0205】
偽色検出部201は、入力画素単位、すなわち7×7画素の参照領域のW画素に着目して、画素値の高いW画素を検出する。さらに、この高画素値を持つW画素が、図24(a)〜(h)に示すハイライト領域のいずれかの領域内のW画素のパターンと一致するか否かを判定する。なお、該当するW画素の配置の求め方は、パターンマッチングなど、一般的に用いられている方法を適用することが可能である。
【0206】
画素値の高いW画素が、図24(a)〜(h)に示すハイライト領域のいずれかの領域内のW画素のパターンと一致する場合、これらの画素領域は輝点偽色の発生領域であると判定する。
【0207】
次に、低域信号算出部202では、偽色検出部201で求めたW画素の配置に対応するLPFを選択して、画素補間処理に適用する低域信号を算出する。
図25には、B信号の低域信号mBの算出に適用するLPF係数の設定例を示している。
図25(a)〜(h)は、それぞれ図24(a)〜(h)のハイライト領域に対応して利用する低域信号mBの算出に適用するLPF係数の設定例である。
【0208】
図25(a)〜(h)に示すLまたはHの記載された画素がB画素であり、
Lは相対的に低いLPF係数の設定画素、
Hは相対的に高いLPF係数の設定画素、
これらを示している。
【0209】
図25(a)〜(h)に示すように、ハイライト領域内のB画素位置のLPF係数は相対的に小さくした設定としている。
例えば、図24(a)に示す4画素のハイライト領域が検出された場合、図25(a)に示すLPF係数の設定で入力画素単位を畳み込み演算することにより、所望の低域信号を得る。
図25(a)に示すLPF係数は、図24(a)に示すハイライト領域内のB画素位置の係数のみがLであり、その他のB画素位置の係数はHとなっている。
このような係数を適用したローパスフィルタを利用して低域信号mBを算出することで、ハイライト領域のB画素値の影響を低減した低域信号mBを算出できる。
【0210】
この他の図24(b)〜(h)に示すハイライト領域の場合も同様であり、図25(b)〜(h)に示すようにハイライト領域の画素値の寄与率を低くした低域信号が算出される。
【0211】
低域信号算出部202は、このように、注目画素位置がハイライト領域に含まれる場合、そのハイライト領域の形状に応じて、ハイライト領域の構成画素値の寄与率を低くした低域信号を算出して画素補間部203に出力する。
【0212】
画素補間部203は、低域信号算出部202が算出したハイライト領域の構成画素値の寄与率を低くした低域信号を利用した補間処理を実行する。
この処理により、ハイライト領域の計所に応じた最適な低域信号の算出が可能となり、ハイライト領域の画素値の寄与率を低くした最適な画素補間が実現される。
【0213】
図26は、本実施例に従って、輝点偽色の検出、低域信号の算出、画素補間を行う場合のフローチャートを示した図である。
図26に示すフローチャートは、先に説明した図21に示すフローと同様、RGBW配列をRGB配列に変換する場合の1つの変換対象画素に対する処理シーケンスであり、変換対象画素を含む参照画素領域、例えば7×7画素領域を入力してデータ変換処理部において実行する処理である。各処理画素に対して、図26に示すフローに従った処理が順次実行されることになる。
以下に各ステップについて説明する。
【0214】
まず、ステップS201で参照領域から、画素値の大きいW画素の配置パターンを検出する。
次に、ステップS202において、ステップS201で検出した高画素値のW画素配置パターンが、予めメモリに登録済みのハイライト領域のパターンに一致するか否かを判定する。メモリには、例えば図22(a)〜(g)に示すハイライト領域パターンが登録されている。
これらの処理は、図5に示す偽色検出部201の実行する処理である。
【0215】
ステップS202において、検出した高画素値のW画素配置パターンと一致する登録パターンがないと判定した場合(No)は、ステップS204へ進む。
この場合は、注目画素が輝点偽色でないと判定された場合であり、ステップS204へ進み、注目画素に近い参照画素のLPF係数を相対的に高く設定したローパスフィルタ(LPF)の適用処理により、必要な低域信号を算出する。なお必要な低域信号とは、画素補間部203で実行する注目画素の変換処理に適用するために必要な低域信号である。低域信号mR,mG,mB,mWの少なくとも1つ以上の低域信号を算出する。
【0216】
この低域信号算出処理は、図5に示す低域信号算出部202の処理である。
例えば図17(1b)、図18(2b)に示すように、注目画素に近い参照画素のLPF係数を相対的に高く設定したローパスフィルタ(LPF)の適用処理により低域信号を算出する。
【0217】
一方、ステップS202において、検出した高画素値のW画素配置パターンと一致する登録パターンが検出された場合(Yes)は、ステップS203へ進む。
【0218】
ステップS203では、検出した高画素値のW画素配置パターンと一致する登録パターンに対応するLPF係数を選択して、偽色補正を兼ねた処理を実行可能とした低域信号を算出する。
この低域信号算出処理は、図5に示す低域信号算出部202の処理である。
低域信号算出部202は、偽色検出部201から、高画素値のW画素配置パターンと一致する登録パターン情報を入力し、この情報に応じて、その登録パターンに対応するLPF係数を設定したローパスフィルタ(LPF)の適用処理により低域信号を算出する。
【0219】
すなわち、高画素値のW画素配置パターンと一致する登録パターンが図22(a)である場合は、図23(a)に示す注目画素に近い参照画素のLPF係数を相対的に低く設定したローパスフィルタ(LPF)の適用処理により低域信号を算出する。
高画素値のW画素配置パターンと一致する登録パターンが、その他の図22(b)〜(g)である場合も同様であり、それぞれの場合において、図23(b)〜(g)に示す注目画素に近い参照画素のLPF係数を相対的に低く設定したローパスフィルタ(LPF)の適用処理により低域信号を算出する。
【0220】
ステップS205では、ステップS203において生成した低域信号、またはステップS204において生成した低域信号、いずれかを適用して注目画素の補間画素値を算出する。
この処理は、図5に示す画素補間部203の実行する処理である。
【0221】
画素補間部203は、注目画素が輝点偽色であると判定された場合は、ステップS203において生成した低域信号を用い、注目画素が輝点偽色でないと判定された場合は、ステップS204において生成した低域信号を用いて補間処理を行う。
【0222】
具体的には、注目画素が輝点偽色であると判定された場合は、図23(a)〜(g)に示すように注目画素に近い参照画素のLPF係数を相対的に低く設定したローパスフィルタ(LPF)の適用処理により生成した低域信号を用いた補間処理を行う。
一方、注目画素が輝点偽色でないと判定された場合は、注目画素に近い参照画素のLPF係数を相対的に高く設定したローパスフィルタ(LPF)の適用処理により生成した低域信号を用いた補間処理を行う。
【0223】
これらの処理により、輝点偽色であると判定した画素領域の補間画素値は、輝点偽色の影響が低減された補間画素値の設定が行われることになる。
なお、図26に示す処理は、例えば図4に示すメモリ130に格納されたプログラムに従って、制御部140の制御の下で実行される。
【0224】
図4図5に示すデータ変換処理部200は、上述した処理によって、偽色補正とリモザイク処理結果としてのRGB配列182に従った画像を生成してRGB信号処理部250に出力する。
【0225】
RGB信号処理部250は、従来のカメラ等に備えられた信号処理部と同様の処理を実行する。具体的にはデモザイク処理、ホワイトバランス調整処理、γ補正処理などを実行してカラー画像183を生成する。生成したカラー画像183はメモリ130に記録される。
【0226】
[3.本開示の画像処理装置の処理による効果について]
上述した本開示の画像処理装置の処理を行うことで、例えば以下の効果が得られる。
(a)木漏れ日などの撮像面において小さい面積で発生する偽色を低減することができる。
(b)パープルフリンジなどのように白飛びしていない場合でも偽色を低減することが可能となる。
(c)光学ローパスフィルタを用いて解像度を落とす方法と比較して、画質の劣化が少ない補正ができる。
(d)デモザイク前のRAWデータに適用することができるため、イメージセンサ内などに組み込むことが可能である。
(e)カラーフィルタにホワイト画素を含んだ配列の画像に対して適用することが可能である。
例えば、これらの効果を奏することができる。
【0227】
[4.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【0228】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) RGBW配列画像を入力画像とし、RGB配列画像を出力画像として生成するデータ変換処理部を有し、
前記データ変換処理部は、
前記入力画像の偽色画素を検出し、検出情報を出力する偽色検出部と、
前記偽色検出部から検出情報を入力し、検出情報に応じて処理態様を変更してRGBW各色対応の低域信号を算出する低域信号算出部と、
前記低域信号算出部の算出した低域信号を適用した画素補間により、前記入力画像のRGBW配列の画素変換を実行してRGB配列画像を生成する画素補間部を有し、
前記補間処理部は、
W画素の低域信号mWと、RGB各画素の低域信号mR,mG,mBが、局所領域で比例関係にあるとの仮定に基づいて補間画素値を算出する画像処理装置。
【0229】
(2)前記低域信号算出部は、前記偽色検出部から注目画素が偽色画素であるとの検出情報を入力した場合、前記注目画素の近傍画素の画素値寄与率を注目画素から離れた画素より相対的に低くしたローパスフィルタ係数を設定したローパスフィルタを適用して低域信号を算出する前記(1)に記載の画像処理装置。
(3)前記低域信号算出部は、前記偽色検出部から注目画素が偽色画素でないとの検出情報を入力した場合、注目画素の近傍画素の画素値寄与率を注目画素から離れた画素より相対的に高くしたローパスフィルタ係数を設定したローパスフィルタを適用して低域信号を算出する前記(1)または(2)に記載の画像処理装置。
【0230】
(4)前記偽色検出部は、前記入力画像における局所的な高輝度領域である局所的ハイライト領域の存在の有無を検出し、注目画素が局所的ハイライト領域に含まれる場合に、該注目画素を偽色画素であると判定する前記(1)〜(3)いずれかに記載の画像処理装置。
(5)前記偽色検出部は、注目画素近傍のW画素の勾配情報を検出し、2つの直交方向のいずれにおいても注目画素近傍のW画素値が周囲W画素値より高い場合に、前記注目画素が局所的な高輝度領域である局所的ハイライト領域に含まれ、該注目画素が偽色画素であると判定する前記(1)〜(4)いずれかに記載の画像処理装置。
【0231】
(6)前記偽色検出部は、(a)注目画素近傍に設定した複数の斜め右下がりライン各々の複数のW画素の画素値に基づいて各ライン対応のW画素低周波成分信号を算出し、注目画素に近い複数の内側ラインのW画素低周波成分信号最大値と、注目画素から遠い複数の外側ラインのW画素低周波成分信号最大値の差分値Diff1と閾値Thr1との比較処理、(b)注目画素近傍に設定した複数の斜め右上がりライン各々の複数のW画素の画素値に基づいて各ライン対応のW画素低周波成分信号を算出し、注目画素に近い複数の内側ラインのW画素低周波成分信号最大値と、注目画素から遠い複数の外側ラインのW画素低周波成分信号最大値の差分値Diff2と閾値Thr2との比較処理を実行し、上記(a),(b)の2つの比較結果として、いずれも、差分値が閾値より大きい場合に注目画素が偽色画素であると判定する前記(1)〜(5)いずれかに記載の画像処理装置。
【0232】
(7)前記偽色検出部は、前記入力画像における局所的な高輝度領域である局所的ハイライト領域にW画素とG画素が集中する場合、または、前記局所的ハイライト領域にW画素とR画素とB画素が集中する場合に発生する偽色の検出を行う前記(1)〜(6)いずれかに記載の画像処理装置。
【0233】
(8)前記偽色検出部は、前記入力画像から画素値の高いW画素を検出し、検出した高画素値のW画素構成パターンと、予めメモリに記録された局所的高輝度領域形状である登録ハイライト領域パターンとを比較し、検出した高画素値のW画素構成パターンが、前記登録ハイライト領域パターンに一致する場合に、前記高画素値のW画素構成パターンに含まれる画素を偽色画素であると判定する前記(1)〜(7)いずれかに記載の画像処理装置。
【0234】
(9)前記低域信号算出部は、前記偽色検出部が高画素値のW画素構成パターンに一致すると判定した登録ハイライト領域パターンに応じて、ハイライト領域の画素値寄与率をハイライト領域外の画素より相対的に低くしたローパスフィルタ係数を設定したローパスフィルタを適用して低域信号を算出する前記(8)に記載の画像処理装置。
【0235】
さらに、上記した装置およびシステムにおいて実行する処理の方法や、処理を実行させるプログラムおよびプログラムを記録した記録媒体も本開示の構成に含まれる。
【0236】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【0237】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【0238】
以上、説明したように、本開示の一実施例の構成によれば、画像の局所的ハイライト領域に発生する偽色補正を行う装置、方法が実現される。
具体的には、RGBW配列画像からRGB配列画像を生成するデータ変換処理に際して偽色画素を検出し、偽色画素であるか否かに応じて異なるRGBW各色対応の低域信号を算出し、算出した低域信号を適用した補間処理によりRGBW配列を変換してRGB配列画像を生成する。補間処理においては、W低域信号mWと、RGB各低域信号mR,mG,mBが局所領域で比例関係にあるとの仮定に基づいて各低域信号を利用して行う。低域信号は、注目画素が偽色画素である場合、注目画素近傍の画素値寄与率を離間画素より相対的に低くした係数を持つローパスフィルタを適用して算出する。
これらの処理により、RGBW配列画像をRGB配列に変換するリモザイク処理に併せて、画像の局所的ハイライト領域に発生する偽色の補正を実行し、偽色を除去または低減した高品質な画像を生成して出力することが可能となる。
【符号の説明】
【0239】
100 撮像装置
105 光学レンズ
110 撮像素子(イメージセンサ)
120 信号処理部
130 メモリ
140 制御部
181 RGBW配列
182 RGB配列
183 カラー画像
200 データ変換処理部
201 偽色検出部
202 低域信号算出部
203 画素補間部
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図24
図26
図1
図23
図25
【国際調査報告】