知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6083897
(24)【登録日】2017年2月3日
(45)【発行日】2017年2月22日
(54)【発明の名称】撮像装置及び画像信号処理装置
(51)【国際特許分類】
H04N 9/07 20060101AFI20170213BHJP
H04N 9/04 20060101ALI20170213BHJP
【ＦＩ】
H04N9/07 C
H04N9/04 B
【請求項の数】7
【全頁数】24
(21)【出願番号】特願2013-38134(P2013-38134)
(22)【出願日】2013年2月28日
(65)【公開番号】特開2014-165891(P2014-165891A)
(43)【公開日】2014年9月8日
【審査請求日】2015年5月20日
(73)【特許権者】
【識別番号】000153443
【氏名又は名称】株式会社 日立産業制御ソリューションズ
(74)【代理人】
【識別番号】100100310
【弁理士】
【氏名又は名称】井上 学
(72)【発明者】
【氏名】廣岡 慎一郎
(72)【発明者】
【氏名】勝木 学
(72)【発明者】
【氏名】塩川 淳司
(72)【発明者】
【氏名】野中 雄一
【審査官】
大室 秀明
(56)【参考文献】
【文献】
特開２００３−２３４９５０（ＪＰ，Ａ）
【文献】
特開２００７−３３６１７２（ＪＰ，Ａ）
【文献】
特開２００９−００４８９３（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｎ ５／２２２−５／２５７
Ｈ０４Ｎ ９／０４−９／１１
Ｈ０４Ｎ ９／４４−９／７８
(57)【特許請求の範囲】
【請求項1】
撮像手段と、
前記撮像手段より入力された画像信号を信号処理して輝度信号および色信号を生成する信号処理手段と、
前記撮像手段の光学条件、露光、または、前記信号処理手段の信号処理の入出力特性、のうち少なくとも一の撮影条件を制御する制御手段と、
を備え、
前記信号処理手段は、前記生成された色信号より色ノイズ成分を抽出して補正する色ノイズ補正手段を有し、
前記制御手段は、前記撮影条件の情報に応じて前記色ノイズ補正手段による補正の補正パラメータを制御し、
前記撮影条件の情報は、前記信号処理手段の信号処理の入出力特性であることを特徴とする撮像装置。
前記撮像手段より入力された画像信号を信号処理して輝度信号および色信号を生成する信号処理手段と、
前記撮像手段の光学条件、露光、または、前記信号処理手段の信号処理の入出力特性、のうち少なくとも一の撮影条件を制御する制御手段と、
を備え、
前記信号処理手段は、前記生成された色信号より色ノイズ成分を抽出して補正する色ノイズ補正手段を有し、
前記制御手段は、前記撮影条件の情報に応じて前記色ノイズ補正手段による補正の補正パラメータを制御し、
前記撮影条件の情報は、前記信号処理手段の信号処理の入出力特性であることを特徴とする撮像装置。
【請求項2】
請求項１に記載の撮像装置であって、
前記色ノイズ補正手段は、前記生成された輝度信号に基づく補正特性により、前記色信号から色ノイズ成分を抽出して補正し、
前記制御手段は、前記信号処理手段より取得した前記信号処理手段における輝度成分に対する信号処理の入出力特性を用いて前記輝度信号に基づく補正特性を制御することを特徴とする撮像装置。
前記色ノイズ補正手段は、前記生成された輝度信号に基づく補正特性により、前記色信号から色ノイズ成分を抽出して補正し、
前記制御手段は、前記信号処理手段より取得した前記信号処理手段における輝度成分に対する信号処理の入出力特性を用いて前記輝度信号に基づく補正特性を制御することを特徴とする撮像装置。
【請求項3】
請求項１に記載の撮像装置であって，
前記色ノイズ補正手段は、前記信号処理手段より入力された輝度信号よりエッジ量を検出して該エッジ量に基づく補正特性で前記信号処理手段より入力された色信号から色ノイズ成分を抽出して補正し、
前記制御手段は、前記信号処理手段より取得した前記信号処理手段における輝度成分に対する信号処理の入出力特性を用いて前記輝度信号に基づく補正特性を制御することを特徴とする撮像装置。
前記色ノイズ補正手段は、前記信号処理手段より入力された輝度信号よりエッジ量を検出して該エッジ量に基づく補正特性で前記信号処理手段より入力された色信号から色ノイズ成分を抽出して補正し、
前記制御手段は、前記信号処理手段より取得した前記信号処理手段における輝度成分に対する信号処理の入出力特性を用いて前記輝度信号に基づく補正特性を制御することを特徴とする撮像装置。
【請求項4】
請求項１に記載の撮像装置であって、
前記色ノイズ補正手段は、前記信号処理手段より入力された色信号の色相または飽和度に基づく補正特性で前記信号処理手段より入力された色信号から色ノイズ成分を抽出して補正し、
前記制御手段は、前記信号処理手段より取得した前記信号処理手段における色成分に対する信号処理の入出力特性を用いて前記色信号の色相または飽和度に基づく補正特性を制御することを特徴とする撮像装置。
前記色ノイズ補正手段は、前記信号処理手段より入力された色信号の色相または飽和度に基づく補正特性で前記信号処理手段より入力された色信号から色ノイズ成分を抽出して補正し、
前記制御手段は、前記信号処理手段より取得した前記信号処理手段における色成分に対する信号処理の入出力特性を用いて前記色信号の色相または飽和度に基づく補正特性を制御することを特徴とする撮像装置。
【請求項5】
請求項１に記載の撮像装置であって、
前記制御手段は、前記信号処理手段より入力された輝度信号および色信号を基に撮影時の色温度を推定し，推定した色温度より前記信号処理手段の色成分に対する信号処理の入出力特性を制御するホワイトバランス制御を行い、
前記撮影条件の情報として前記推定した色温度または前記色成分に対する信号処理の入出力特性を含むことを特徴とする撮像装置。
前記制御手段は、前記信号処理手段より入力された輝度信号および色信号を基に撮影時の色温度を推定し，推定した色温度より前記信号処理手段の色成分に対する信号処理の入出力特性を制御するホワイトバランス制御を行い、
前記撮影条件の情報として前記推定した色温度または前記色成分に対する信号処理の入出力特性を含むことを特徴とする撮像装置。
【請求項6】
請求項５に記載の撮像装置であって、
前記制御手段は前記信号処理手段の出力する輝度信号および色信号を基にホワイトバランスの適正度を評価し、
前記撮影条件の情報として前記ホワイトバランスの適正度を含むことを特徴とする撮像装置。
前記制御手段は前記信号処理手段の出力する輝度信号および色信号を基にホワイトバランスの適正度を評価し、
前記撮影条件の情報として前記ホワイトバランスの適正度を含むことを特徴とする撮像装置。
【請求項7】
請求項６に記載の撮像装置であって、
前記制御手段は、前記ホワイトバランスの適正度が所定の閾値より低い場合は前記色ノイズ補正手段の色ノイズ補正が弱まるように制御することを特徴とする撮像装置。
前記制御手段は、前記ホワイトバランスの適正度が所定の閾値より低い場合は前記色ノイズ補正手段の色ノイズ補正が弱まるように制御することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置及び画像信号処理装置に関する。
【背景技術】
【0002】
本技術分野の背景技術として、特開２００７−１２９５２４号公報（特許文献１）がある。該公報には「三原色の各信号のゲインに応じて適切に色ノイズを除去する」ことを目的とし，「このデジタルカメラでは、色ノイズ除去処理を行う際、ステップＳ３１０でホワイトバランスゲインＲｃ，Ｂｃを読み出した後、ステップＳ３２０でホワイトバランスゲインＲｃ，Ｂｃの各値に対応するフィルタ処理回数ｎを読み出し、ステップＳ３３０で色差信号Ｃｒ，Ｃｂに対しその読み出したフィルタ処理回数ｎだけローパスフィルタを施すことにより平滑化処理を行う。したがって、ホワイトバランスゲインＲｃ，Ｂｃを用いてＲ，Ｂの値を変更したことにより色ノイズの大きさが変化したときであっても適切に色ノイズを除去することができる。」 と記載されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００７−１２９５２４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
撮像装置において色信号のばらつきによる色ノイズを補正することで撮像画像の画質改善が実現できる。ただし，色ノイズ補正の前処理で色信号に対するゲイン処理やガンマ処理などの信号レベルを変換する処理が行われた場合，色ノイズの特性も変化する。そこで，色ノイズ補正の前処理で色信号に対して行われた信号処理の特性を踏まえて色ノイズ補正処理を制御することが望ましい。前記特許文献１では，輪郭部分では混色し色再現が低下するなど十分な改善効果が得られないという問題がある。
【0005】
本発明は，より高画質な画像を得ることが可能な撮像装置又は画像信号処理装置を提供するものである。例えば，前処理の信号処理の特性を踏まえて色ノイズ成分の判定を行い補正することで，被写体や撮影シーン，撮影条件によらず適切な色ノイズ補正による高画質化を実現する。
【課題を解決するための手段】
【0006】
本願において開示される発明のうち代表的なものの概要を簡単に説明すれば、次の通りである。（１）撮像手段と，前記撮像手段より入力された画像信号を信号処理して輝度信号および色信号を生成する信号処理手段と，前記撮影手段の光学条件、露光、または、前記信号処理手段の信号処理の入出力特性、のうち少なくとも一の撮影条件を制御する制御手段と，を備え、前記信号処理手段は、前記生成された色信号より色ノイズ成分を抽出して補正する色ノイズ補正手段を有し、前記制御手段は、前記撮影条件の情報に応じて前記色ノイズ補正手段による補正の補正パラメータを制御することを特徴とする撮像装置である。
（２）撮像画像を入力する画像入力手段と，前記画像入力手段より入力された撮像画像の撮像時の光学条件、露光、または、信号処理の信号処理条件、のうち少なくとも一つの撮影条件を入力する制御情報入力手段と，前記画像入力手段より入力された画像の色ノイズ成分を抽出して補正する色ノイズ補正手段と， 前記色ノイズ補正手段の色ノイズ成分の補正条件を制御する色ノイズ補正制御手段と，を備え，前記色ノイズ補正制御手段は、前記制御情報入力手段より取得した撮影条件の情報に応じて前記色ノイズ補正手段による補正の補正パラメータを制御することを特徴とする画像信号処理装置である。
【発明の効果】
【0007】
本発明によれば，より高画質な画像を得ることが可能な撮像装置又は画像信号処理装置を提供することができる。
【図面の簡単な説明】
【0008】
【図1】本発明の第１実施例に係る撮像装置を示す模式図である。
【図2】本発明の第１実施例に係る撮像装置の色ノイズ補正部の一例を示す模式図である。
【図3】本発明の第１実施例に係る撮像装置の色ノイズ補正強度決定処理の一例を示す図である。
【図4(a)】本発明の第１実施例に係る撮像装置の色差ゲイン制御に連動した色ノイズ補正処理の補正パラメータの制御を示す図である。
【図4(b)】本発明の第１実施例に係る撮像装置の色差ゲインが１倍の場合の色差空間中の補正範囲を示す図である。
【図4(c)】本発明の第１実施例に係る撮像装置の色差ゲインが１．５倍の場合の色差空間中の補正範囲を示す図である。
【図5】本発明の第１実施例に係る撮像装置の色ノイズ補正制御処理シーケンスの一例を示す図である。
【図6】本発明の第２実施例に係る撮像装置の色ノイズ補正部の一例を示す模式図である。
【図7(a)】本発明の第２実施例に係る撮像装置の輝度に応じた補正強度の算出処理を示す図である。
【図7(b)】本発明の第２実施例に係る撮像装置の輝度ガンマ制御に連動した色ノイズ補正処理の補正特性の制御を示す図である。
【図8】本発明の第２実施例に係る撮像装置の色ノイズ補正制御処理シーケンスの一例を示す図である。
【図9(a)】本発明の第３実施例に係る撮像装置の輝度および輝度エッジに応じた補正強度の算出処理を示す図である。
【図9(b)】本発明の第３実施例に係る撮像装置の輝度ガンマ制御に連動した色ノイズ補正処理の補正特性の制御を示す図である。
【図10】本発明の第３実施例に係る撮像装置の色ノイズ補正制御処理シーケンスの一例を示す図である。
【図11】本発明の第４実施例に係る撮像装置の色ノイズ補正制御処理の一例を示す第一の図である。
【図12】本発明の第４実施例に係る撮像装置の色ノイズ補正制御処理シーケンスの一例を示す第一の図である。
【図13】本発明の第４実施例に係る撮像装置の色ノイズ補正強度決定処理の一例を示す図である。
【図14(a)】本発明の第４実施例に係る撮像装置のホワイトバランスが適正に動作した場合の色ノイズ補正制御処理である。
【図14(b)】本発明の第４実施例に係る撮像装置のホワイトバランスが適正に動作していない場合の色ノイズ補正制御処理である。
【図15】本発明の第４実施例に係る撮像装置の色ノイズ補正制御処理シーケンスの一例を示す第二の図である。
【図16】本発明の第５実施例に係る撮像装置の色ノイズ補正制御処理の一例を示す図である。
【図17】本発明の第５実施例に係る撮像装置の色ノイズ補正制御処理シーケンスの一例を示す図である。
【図18】本発明の第６実施例に係る画像信号処理装置を示す模式図である。
【発明を実施するための形態】
【0009】
以下、本発明の実施の形態に係る撮像装置について図面を用いて説明する。
【実施例1】
【0010】
図１は，本発明の第１実施例に係る撮像装置を示す模式図である。本実施例に係る撮像装置は、撮像部１と、カメラ信号処理部２と、カメラ制御部３と、入力部４と、パラメータ格納部５とを適宜用いて構成される。尚、図１における各構成間の矢印は必ずしもこれに限られず、構成の追加・削除・置換等、変形例に応じて適宜削除・変更しても構わない。
【0011】
撮像部１は，例えば，レンズ１０１，アイリス１０２，撮像素子１０３，ＡＦＥ部１０４，ＡＤ部１０５を適宜用いて構成され，レンズ１０１及びアイリス１０２を介してＣＣＤまたはＣＭＯＳなどの撮像素子１０３に受光した光学像を光電変換し，ＣＤＳやＡＧＣなどのＡＦＥ部１０４でアナログ信号処理を実施してＡＤ部１０５でデジタル信号に変換し撮像データとして出力する。なお，図１に示す撮像部１の構成はあくまで一例であり，例えばズーム倍率や合焦点位置を可変とするためにレンズ１０１が複数のズームレンズやフォーカスレンズからなるレンズ群であっても構わない。また，逆にレンズ１０１が一枚のパンフォーカスレンズであっても構わない。あるいは，アイリス１０２を備えない構成でも構わない。このようなズーム倍率や合焦点位置や絞りの調整機能の要否などに応じて撮像部１の構成要素を取捨した場合でも，本発明は問題なく適用することが可能である。
【0012】
カメラ信号処理部２は，所定の入出力特性に基づく信号処理を行うことで，撮像部１より入力した撮像データから映像信号を生成し不図示の映像表示部や映像記録部や映像圧縮部などに出力するものであり、例えば，輝度／色信号生成部２０１，輝度ガンマ部２０２，輝度ゲイン部２０３，ＷＢ補正部２０４，色ガンマ部２０５，色差変換部２０６，色差ゲイン部２０７，色ノイズ補正部２０８を適宜用いて構成される。
【0013】
輝度／色信号生成部２０１は撮像部１より入力した撮像データに対してマトリクス演算を行うことで輝度信号と色信号を生成する。輝度信号は例えば画素ごとの輝度値を示す信号であり，色信号は例えば画素ごとのＲＧＢ成分の大きさを示す信号である。生成された輝度信号に対しては輝度ガンマ部２０２でガンマ処理を，輝度ゲイン部２０３でゲイン処理を行い，輝度信号を補正する。一方，生成された色信号に対しては，ＷＢ補正部２０４でＲＧＢ成分の成分ごとのゲイン処理を，色ガンマ部２０５でガンマ処理を，色差変換部２０６でＲＧＢ組成の色信号から色差信号へ変換するためのマトリクス演算処理を，色差ゲイン部２０７で色差信号に対するゲイン処理を，色ノイズ補正部２０８で色ノイズ補正処理を，それぞれ行い，色信号を補正する。色ノイズ補正部２０８における色ノイズ補正処理の詳細は図２を用いて後述する。
【0014】
カメラ信号処理部２は，これらの処理により高画質で，かつ所定のフォーマットに沿った輝度信号や色信号を映像信号として出力できる。なお，図１に示すカメラ信号処理部２の構成はあくまで一例であり，主要な信号処理の一部を記載している。そのため，各々の信号処理の順番や処理回数を変えても良いし，不図示の信号処理を加えても良い。例えば，輝度ゲイン処理を輝度ガンマ処理の後段だけでなく前段でも行い，非線形処理を行う前に輝度信号の信号レベルの正規化が調整できる構成であっても良い。また，各々の信号処理の過程や前後で信号の平均値や度数分布，高周波成分の度合いなどを演算して明るさ評価値や焦点評価値やホワイトバランス評価値としてカメラ制御部３に出力しても良い。この場合，後述のカメラ制御部３が評価値を参照してフォーカスや露光，信号処理の入出力特性を制御できる。また，カメラ信号処理部２が輝度ノイズ補正処理やトーンマッピング処理，エッジ強調処理などの処理を行ったり，不図示の映像メモリを介して異なるタイミングで撮影した映像の情報を用いることで，ワイドダイナミックレンジ処理や３次元ノイズリダクション処理を行ったりすることでさらなる高画質化を図っても構わない。また，各々の信号処理の過程や後段でデジタルズーム処理や被写体認識処理などを行い高機能化を図っても構わない。このような画質目標や機能の要否に応じてカメラ信号処理部２の構成要素を取捨した場合でも，色ノイズ補正部２０８を備えていれば本発明は問題なく適用することが可能である。
【0015】
カメラ制御部３は，カメラ信号処理部２より取得した評価値や，入力部４より取得したユーザ入力情報などを用いて，撮像部１やカメラ信号処理部２の撮影条件を制御するものであり、例えば，撮像制御部３０１，ＷＢ制御部３０２，ガンマ制御部３０３，ゲイン制御部３０４，色ノイズ補正部３０５を適宜用いて構成される。ここで，撮影条件とは，撮像部１における光学条件や露光の状態，カメラ信号処理部２における各々の信号処理の入出力特性などを示す。すなわち、例えば，撮像部１におけるレンズ１０１のズーム倍率やフォーカス位置，アイリス１０２の絞り量すなわちＦ値，撮像素子１０２のシャッタ時間や感度特性，ＡＦＥ部１０３のアナログゲイン，カメラ信号処理部２におけるマトリクス処理のマトリクス係数やゲイン処理のゲイン量やガンマ処理のガンマ特性，色ノイズ補正処理部２０８の補正強度などに相当する各種パラメータを示す。
【0016】
撮像制御部３０１はカメラ信号処理部２より取得した焦点評価値や明るさ評価値を用いてこれらの評価値が所定の目標値に近づくように撮像部１におけるレンズ１０１のフォーカス位置やアイリス１０２の絞り量や撮像素子１０２のシャッタ時間や感度特性やＡＦＥ部１０３のアナログゲインなどを制御する。焦点評価値としては例えば輝度信号の高周波成分の積分値を用いることができ，焦点評価値が最大となるフォーカス位置を主要被写体に対する合焦点位置とみなすことができる。また，明るさ評価値としては例えば輝度信号の平均値や度数分布を用いることができ，明るさ評価値が所定のレベルや分布に最も近づく絞り量やシャッタ時間やアナログゲインを適正露光とみなすことができる。これによりシーンや被写体に適したフォーカシングや露光が自動で実現できる。または，入力部４より取得したユーザ入力情報を元にレンズ１０１のズーム倍率やフォーカス位置や撮像素子１０２のシャッタ時間や感度特性やＡＦＥ部１０３のアナログゲインを制御する。これにより，ユーザが手動で所望の調整を行える。
【0017】
ＷＢ制御部３０２はカメラ信号処理部２より取得したホワイトバランス評価値が所定の目標値に近づくようにカメラ信号処理部２におけるＷＢ補正部２０４のＲＧＢ成分の成分ごとのゲイン量を制御する。これによりシーンや被写体に適したホワイトバランスが自動で実現できる。ホワイトバランス評価値としては例えば無彩色被写体の色信号の平均色相や平均飽和度を用いることができ，ホワイトバランス評価値が無彩色に最も近づくＲＧＢ成分の成分ごとのゲイン量を最適なゲイン量とみなすことができる。これにより撮影シーンの色温度が変動した場合でもホワイトバランス補正が自動で実現できる。または，入力部４より取得したユーザ入力情報を元にカメラ信号処理部２におけるＷＢ補正部２０４のＲＧＢ成分の成分ごとのゲイン量を制御し，複数の色温度の光源が存在する場合など自動制御でのホワイトバランスが困難な場合でもユーザが手動で所望の調整を行えるようにしても良い。ガンマ制御部３０３は入力部４より取得したユーザ入力情報を元にカメラ信号処理部２における輝度ガンマ部２０２の輝度信号に対するガンマ特性や色ガンマ部２０５の色信号に対するガンマ特性をそれぞれ制御する。これにより低照度被写体の明るさや色の濃さを手動で調整できる。または，撮像制御部３０１の露光制御の情報に連動して制御を行っても良い。また，入出力特性がガンマに限らず非線形のトーンカーブになるようにし，暗所や明所など所望の領域の信号を伸長することで，所望の明るさの領域の視認性を向上できるようにしても良い。
【0018】
ゲイン制御部３０４は入力部４より取得したユーザ入力情報を基にカメラ信号処理部２における輝度ゲイン部２０３の輝度信号に対するゲイン量や色差ゲイン部２０７の色差信号に対するゲイン特性をそれぞれ制御する。これにより映像全体の明るさや色の濃さを手動で調整できる。または，撮像制御部３０１の露光制御の情報に連動して制御を行っても良い。色ノイズ補正部３０５は他の撮影条件，すなわち，撮像制御部３０１における光学条件または露光の制御情報，または，ＷＢ制御部３０２におけるホワイトバランスの制御情報，または，ガンマ制御部３０３におけるガンマの制御情報，または，ゲイン制御部３０４におけるゲインの制御情報を用いてカメラ信号処理部２における色ノイズ補正部２０８の色ノイズ補正の補正パラメータを制御する。これにより，ズーム倍率やフォーカス位置や絞り量などの光学特性や，絞り量やシャッタ速度やアナログゲイン量などの露光特性や，ガンマやゲインなどの信号処理の入出力特性に依存して変化する色ノイズを各々の特性に応じて補正し，撮影シーンや被写体に関わらず色ノイズを適切に低減して画質を向上することができる。なお，色ノイズ補正制御部３０５の色ノイズ補正制御の詳細については，図２を用いて後述する。また，カメラ制御部３の各々の制御において，制御の目標値や演算に用いる係数などはパラメータ格納部５に保存したパラメータを読み出して使用する。
【0019】
入力部４はボタンやタッチパネルなどの不図示のユーザ入力装置やＬＡＮやＲＳ−２３２Ｃなどのネットワークで接続された不図示の外部機器からユーザ入力をカメラ制御部３に入力する。これにより，カメラ制御部３は各々の制御においてユーザ入力を元に制御の目標値や特性の変更を行う，自動制御と手動制御を切り替える，あるいは，手動制御の制御値を決定する，といったことが可能となる。
【0020】
パラメータ格納部５は不揮発性の記録媒体を備え，カメラ制御部３が用いる制御の目標値や演算に用いる係数などを格納する。これによりパラメータ格納部５の記録する各種のパラメータを変更することで，出荷後の調整や，カメラごとの個別調整が容易になる。また，パラメータ格納部５は色ノイズ補正制御部３０５がカメラ制御部３の他の撮影条件に応じて補正パラメータを制御する際の，撮影条件と補正パラメータの対応をテーブルデータとして格納しても良い。このとき，色ノイズ補正制御部３０５はカメラ制御部３の他の撮影条件が所定の撮影条件の場合に対応する補正パラメータを読み出して使用し，また，対応する所定の撮影条件がない場合は近傍の撮影条件に対応する補正パラメータ，あるいは，複数の近傍の撮影条件に対応する補正パラメータから補間演算した補正パラメータを使用して用いることで，演算コストを低減し，処理時間の短縮やプログラム容量の低減を図ることができる。
【0021】
図２は，本発明の第１実施例に係る撮像装置の色ノイズ補正部２０８の詳細の一例を示す模式図であり、色ノイズ補正部２０８の色ノイズ補正処理の一例を示すために，図１で示した撮像装置の色ノイズ補正部２０８および色ノイズ補正制御部３０５のみを抽出して記載したものである。
【0022】
色ノイズ補正部２０８は、補正目標値算出部２０８＿１と，補正強度算出部２０８＿２と，補正部２０８＿３とを適宜用いて構成される。補正目標値算出部２０８＿１は色差ゲイン部２０７より入力された色信号より補正目標値を算出する。補正目標値とは着目画素について色ノイズ補正後の色信号の目標値であり，理想的には色ノイズのない色信号である。補正目標値は例えば着目画素の近傍領域の色信号の平均値から算出することができ，この場合画素単位で大きさの異なるノイズの影響を低減した色信号が取得できる。また，被写体の輪郭や模様のある領域では近傍領域内に異なる色を持つ複数の被写体が存在する可能性があるため，着目画素の近傍領域のうち着目画素との色信号の差分が所定の閾値以下の画素のみの色信号の平均値を替わりに用いても良く，この場合は着目画素とは異なる色を持つ被写体の影響を除外することができる。このとき，閾値は予め定めた固定値や，補正目標値算出部２０８＿１が色ノイズ補正制御部３０５より取得した補正パラメータに基づいて決定した値などを用いることができる。補正強度算出部２０８＿２は色ノイズ補正制御部３０５より取得した補正パラメータに基づき，補正目標値算出部２０８＿１で算出した補正目標値と着目画素の色信号とを比較して色ノイズ成分を推定し，着目画素における補正強度を決定する。補正強度の決定方法は図３を用いて後述する。補正部２０８＿３は補正目標値算出部２０８＿１で算出した補正目標値と補正強度算出部２０８＿２で決定した補正強度を用いて着目画素の色信号の補正を行い，出力する。着目画素の色信号の補正は，例えば着目画素の色信号を補正強度の大きさに応じた割合で補正目標値に近づけることで実現できる。これにより，色ノイズ補正部２０８は色ノイズ補正制御部３０５の制御する補正パラメータに従って，色信号の色ノイズ成分を推定し，補正することが可能となる。
【0023】
図３は，本発明の第１実施例に係る撮像装置の色ノイズ補正強度決定処理の一例を示す図である。図３に示す色ノイズ補正強度決定処理は，図２で示した補正強度算出部２０８＿２で実行される。図３においてａは色ノイズ推定のための第１の閾値，ｂは色ノイズ推定のための第２の閾値，ｄは色差空間上における着目画素の色信号と補正目標値との差分で，色差空間上における着目画素の色信号と補正目標値との差分ｄと色ノイズ補正強度決定処理の決定する補正強度ｋとの関係を示している。色ノイズ推定は着目画素の色信号と補正目標値との差分ｄと第１の閾値ａおよび第２の閾値ｂを比較することで行う。すなわち，着目画素の色信号と補正目標値との差分ｄが第１の閾値ａより小さい場合はｄが着目画素の色信号に発生した色ノイズ成分であると推定して補正強度を最大にし，第２の閾値ｂより大きい場合は色ノイズ以外の影響，すなわち着目画素の近傍領域内で異なる色の複数の被写体が存在していると推定して補正強度を最小にし，第１の閾値ａより大きく第２の閾値ｂより小さい場合は両方の影響が混在している可能性があると推定して、差分dの値が大きくなるにつれて補正強度が徐々に小さくなるように決定する。このように決定した補正強度を用いることで，補正部２０８＿３は被写体の平坦部では色信号の色ノイズ成分を低減し，一方で，被写体の輪郭部では色再現が低下するのを抑制できる。また，色ノイズ補正制御部３０５は補正パラメータとして，色ノイズのノイズレベルの特性を考慮して，第１の閾値ａや第２の閾値ｂを制御することで色ノイズ推定し補正を行う補正範囲を制御し，補正強度の最大値ｋｍａｘを制御することで色ノイズ補正の強さを制御することができる。そのため，カメラ制御部３の撮影条件に応じてこれらの補正パラメータを制御することで，撮影条件が変わることで色ノイズの特性が変わっても補正でき，撮影シーンや被写体に関わらない適切な色ノイズ補正の制御が可能となる。
【0024】
図４は，本発明の第１実施例に係る撮像装置の色ノイズ補正制御処理の一例を示す図である。図４では，カメラ制御部３における撮影条件の制御に連動した色ノイズ補正制御処理の一例として，カメラ信号処理部２における色差ゲイン部２０７の色差ゲインの量の制御に連動して色ノイズ補正部２０８を制御する場合の例を示す。図４において図４（ａ）は色差ゲイン制御に連動した色ノイズ補正処理の補正パラメータの制御を示す図であり，図４（ｂ）は色差ゲインが１倍の場合の色差空間中の補正範囲を示す図であり，図４（ｃ）は色差ゲインが１．５倍の場合の色差空間中の補正範囲を示す図である。図４（ａ）に示す色ノイズ補正制御処理は，図１または図２で示した色ノイズ補正制御部３０５で実行される。
【0025】
図４（ａ）に示すように，色ノイズ補正制御部３０５は色差ゲインが大きくなるにつれて補正強度の最大値ｋｍａｘや第１の閾値ａや第２の閾値ｂも大きくなるように制御する。例えば，図４（ｂ）で示す色差ゲインが１倍の場合に対し，図４（ｃ）で示す色差ゲインが１．５倍の場合では着目画素の色信号と補正目標値との差分ｄは１．５倍になる。このとき，色ノイズ補正制御部３０５が補正範囲も１．５倍になるように制御することでいずれの色差ゲインの場合でも同様に色ノイズを推定することが可能である。これにより，カメラ制御が自動制御やユーザ操作の手動制御の結果により色差ゲインを大きくした場合に，色差ゲインが大きくなることで色ノイズに起因して発生する色信号のばらつきが大きくなっても同様の色ノイズ補正の効果が得られるようになる。
【0026】
なお，図４（ａ）の例では，色差ゲインが最小値と最大値のときの補正強度や補正範囲にそれぞれ対応する補正強度制御値ｋｍａｘ１，ｋｍａｘ２および補正範囲制御値ａ１，ａ２，ｂ１，ｂ２を基に，現在の色差ゲインに対応する補正強度の最大値ｋｍａｘや第１の閾値ａや第２の閾値ｂを補間演算している。このとき，３点以上の複数の色差ゲインに対応する複数の補正強度制御値や補正範囲制御値を用意して，現在の色差ゲインに対応する補正強度や補正範囲を近傍の制御値から補間して算出する構成としても良い。また，色差ゲインと補正強度や補正範囲との関係を関数で近似し，関数の係数を制御値として，現在の色差ゲインに対応する補正強度や補正範囲を関数を基に算出する構成としても良い。このような演算を行うことで，色差ゲインに対しノイズレベルが非線形に変化するような特性を持っていてもノイズレベルの近似精度が高くなるため，高精度に色ノイズの補正を行うことが可能となる。
【0027】
図５は，本発明の第１実施例に係る撮像装置の色ノイズ補正制御処理シーケンスの一例を示す図である。図５に示す色ノイズ補正制御処理シーケンスは，図１または図２で示した色ノイズ補正制御部３０５で実行される。図５に示す色ノイズ補正制御処理シーケンスにおいて，ＳＴ０５０１ではパラメータ格納部５より補正強度制御値ｋｍａｘ１，ｋｍａｘ２および補正範囲制御値ａ１，ａ２，ｂ１，ｂ２をそれぞれ取得する。ＳＴ０５０２ではゲイン制御部３０４より色差ゲインの制御値を取得する。ＳＴ０５０３では現在の色差ゲインの制御値に対応する 補正強度ｋｍａｘと補正範囲ａ，ｂを補正強度制御値ｋｍａｘ１，ｋｍａｘ２および補正範囲制御値ａ１，ａ２，ｂ１，ｂ２を用いて図４（ａ）に示すような特性から算出する。ＳＴ０５０４では算出結果を 補正強度算出部２０８＿２に転送する。これにより補正強度算出部２０８＿２は色差ゲインの制御値に対して最適な補正強度の算出を適時行うことが可能となる。なお，ＳＴ０５０１におけるパラメータ格納部５からの補正強度制御値および補正範囲制御値の取得は毎回実施するものに限られず、電源投入時に一度だけ行う，あるいはパラメータ格納部５に格納した値が更新された場合のみ行うことにして，処理負荷を低減しても良い。
【0028】
なお，図４および図５ではカメラ信号処理部２における色差ゲイン部２０７の色差ゲインの量の制御に連動して色ノイズ補正部２０８を制御する場合の例を示したが，他の撮影条件の制御に対しても同様に連動して色ノイズ補正部２０８を制御することができる。例えば，図１に示したアイリス１０２の搾り量やＡＦＥ部１０４におけるアナログゲインの大きさによっても色ノイズのばらつきが大きくなることを考慮して，色ノイズ補正制御部３０５が撮像制御部３０１より絞り量やアナログゲインの大きさやシャッタ時間や撮像素子の入出力特性といった露光制御の制御値を取得して色ノイズ補正部２０８の補正パラメータを制御しても良い。また，複数の撮影条件の制御値を取得し組み合わせて用いて色ノイズ補正部２０８の補正パラメータを制御しても良い。その場合，例えばパラメータ格納部５に格納する補正強度制御値や補正範囲制御値を色差ゲインとアナログゲインの２軸に対応する二次元情報として格納し，補正強度算出部２０８＿２が現在の色差ゲインとアナログゲインに対応する補正強度と補正範囲を補間演算して算出することで複数の撮影条件の制御値に連動することが可能である。あるいは複数の撮影条件の制御値に対し，段階的に色ノイズ補正部２０８の補正パラメータを制御することで，撮影条件全体に応じた色ノイズの特性を考慮して色ノイズの補正を行うことも可能である。その場合，例えばパラメータ格納部５に格納する補正強度制御値や補正範囲制御値を色差ゲインに対する一次元情報とアナログゲインに対する一次元情報としてそれぞれ格納し，補正強度算出部２０８＿２がまず現在の色差ゲインに対応する補正強度と補正範囲を補間演算して算出したのち，現在のアナログゲインに対応して補正するような演算を行うことで複数の撮影条件の制御値に連動することが可能であり，この場合は制御値が増えた場合に格納するパラメータの数を低減できる。
【0029】
また，色ノイズ補正部２０８が他の撮影条件の制御に連動して補正範囲や補正強度以外の補正パラメータを制御しても良い。例えば，補正目標値算出部２０８＿１が補正目標値の算出を行う際に，着目画素の近傍領域のうち着目画素との色信号の差分が所定の閾値以下の画素のみの色信号の平均値を替わりに用いる場合に，閾値を他の撮影条件の制御に連動して制御することで，カメラの撮影条件が変わっても適切に着目画素とは異なる色を持つ被写体の影響を除外することができる。
【0030】
このように本実施例によれば，カメラの撮影条件に応じて色ノイズ補正の補正パラメータを制御することで，撮影シーンや被写体が変わった場合でも常に適切な色ノイズ補正を行い，画質を向上することが可能となる。
【実施例2】
【0031】
図６は，本発明の第２実施例に係る撮像装置の色ノイズ補正部の一例を示す模式図である。第２の実施例に係る撮像装置の他の構成は第１実施例と同様であり、同様の構成については同番号を付して適宜説明を省略する。ここでは、相違する色ノイズ補正部を主として説明する。図６では、色ノイズ補正部２０８’の色ノイズ補正処理の一例を示すために，撮像装置の色ノイズ補正部２０８’および色ノイズ補正制御部３０５のみを抽出して記載したものである。
【0032】
色ノイズ補正部２０８’は、補正目標値算出部２０８’＿１と，補正強度算出部２０８’＿２と，補正部２０８’＿３と，補正強度特性算出部２０８’＿４とを適宜用いて構成され，図２で示した本発明の第１実施例に係る撮像装置の色ノイズ補正部の一例を示す模式図との構成上の相違は、補正強度特性算出部２０８’＿４を備えた点である。補正目標値算出部２０８’＿１および補正部２０８’＿３は図２で示した本発明の第１実施例に係る撮像装置の色ノイズ補正部の一例を示す模式図と同様の動作を行う。補正強度特性算出部２０８’＿４は，輝度ゲイン部２０３より入力された輝度信号または色差ゲイン部２０７より入力された色信号に応じて補正強度算出部２０８’＿２の算出する補正強度の特性を算出する。補正強度特性算出部２０８’＿４が，輝度信号や色信号の代わりに，輝度信号または色信号に対してバンドパスフィルタ処理やハイパスフィルタ処理を行うことで得られる特定周波数成分などの特徴量に応じて補正強度算出部２０８’＿２の算出する補正強度の特性を算出しても良い。補正強度算出部２０８’＿２は色ノイズ補正制御部３０５より取得した補正パラメータと補正強度特性算出部２０８’＿４より取得した補正強度の特性に基づき，補正目標値算出部２０８’＿１で算出した補正目標値と着目画素の色信号とを比較して色ノイズ成分を推定し，着目画素における補正強度を決定する。これにより，色ノイズ補正部２０８’は色ノイズ補正制御部３０５の制御する補正パラメータに従って，色信号の色ノイズ成分を推定し，補正することが可能であり，かつ，入力信号の輝度や色に応じて補正特性を異ならせることが可能となる。すなわち，例えば，特定の範囲の輝度または色相または飽和度を持つ画素の補正強度を強めたり弱めたりすることが可能となる。
【0033】
図７は，本発明の第２実施例に係る撮像装置の色ノイズ補正制御処理の一例を示す図である。図７では，カメラ制御部３における撮影条件の制御に連動した色ノイズ補正制御処理の一例として，色ノイズ補正部２０８’が輝度に応じて補正強度の特性を変化させる構成で，かつ，カメラ信号処理部２における輝度ガンマ部２０２の輝度ガンマのガンマ特性の制御に連動して色ノイズ補正部２０８’を制御する場合の例を示す。図７において図７（ａ）は輝度に応じた補正強度の算出処理を示す図であり，図７（ｂ）は輝度ガンマ制御に連動した色ノイズ補正処理の補正特性の制御を示す図である。図７（ａ）に示す輝度ガンマに応じた補正強度算出処理は図６で示した補正強度特性算出部２０８’＿４で，図７（ｂ）に示す輝度に応じた色ノイズ補正特性制御処理は図６で示した色ノイズ補正制御部３０５で実行される。
【0034】
図７（ａ）に示すように，補正強度特性算出部２０８’＿４は入力した輝度信号が所定の輝度閾値ｌｔｈより大きくなるにつれて補正強度ｋも大きくなるような補正強度特性となるように補正強度輝度補正値ｌｗを算出する。補正強度輝度補正値ｌｗを用いて補正強度の最大値ｋｍａｘを補正することで，高輝度部の補正強度が大きくなり，低輝度部の補正強度が小さくなるような補正強度特性とすることができる。これにより，高輝度部で色ノイズが目立ちやすい場合に高輝度部の色ノイズのみ強めに補正し，低輝度部では色ノイズ補正による弊害が出にくいようにすることが可能である。図７（ｂ）に示すように，色ノイズ補正制御部３０５はガンマ制御部３０３が制御する輝度ガンマのガンマ係数が大きくなるにつれて輝度閾値ｌｔｈも大きくなるように制御する。例えば輝度ガンマのガンマ係数が０すなわちリニアの入出力特性のときの輝度閾値ｌｔｈ１に対し，ガンマ係数が大きくなった場合はｌｔｈ１と同じ入力輝度に対する出力輝度であるｌｔｈ２を輝度閾値とする。これにより，カメラ制御が自動制御やユーザ操作の手動制御の結果により輝度ガンマを大きくした場合でも，輝度信号と色信号に対し独立な信号処理を行っていることを勘案して輝度ガンマ制御の影響を受けずに同様の補正特性で色ノイズ補正の効果が得られるようになる。
【0035】
図８は，本発明の第２実施例に係る撮像装置の色ノイズ補正制御処理シーケンスの一例を示す図である。図８に示す色ノイズ補正制御処理シーケンスは，図６で示した色ノイズ補正制御部３０５で実行される。図８に示す色ノイズ補正制御処理シーケンスにおいて，ＳＴ０８０１ではパラメータ格納部５より補正強度制御値ｋｍａｘ１，ｋｍａｘ２および補正範囲制御値ａ１，ａ２，ｂ１，ｂ２をそれぞれ取得する。ＳＴ０８０２ではゲイン制御部３０４より色差ゲインの制御値を取得する。ＳＴ０８０３では現在の色差ゲインの制御値に対応する 補正強度ｋｍａｘと補正範囲ａ，ｂを補正強度制御値ｋｍａｘ１，ｋｍａｘ２および補正範囲制御値ａ１，ａ２，ｂ１，ｂ２を用いて図４（ａ）に示すような特性から算出する。ＳＴ０８０４では算出結果を 補正強度算出部２０８＿２に転送する。ＳＴ０８０５ではパラメータ格納部５より補正強度輝度補正値制御値ｌｗ１,ｌｗ２ および輝度閾値制御値ｌｔｈ１，ｌｔｈ２をそれぞれ取得する。ＳＴ０８０６ではガンマ制御部３０３より輝度ガンマの制御値を取得する。ＳＴ０８０７では現在の輝度ガンマの制御値に対応する輝度閾値ｌｔｈを輝度閾値制御値ｌｔｈ１，ｌｔｈ２を用いて図７（ｂ）に示すような特性から算出する。ＳＴ０８０８では算出結果と補正強度輝度補正値制御値ｌｗ１,ｌｗ２とを補正強度特性算出部２０８’＿４に転送する。これにより補正強度特性算出部２０８’＿４が輝度ガンマの制御値に対して輝度に応じた補正強度の特性を算出し，算出した補正強度の特性に基づいて，補正強度算出部２０８’＿２は色差ゲインの制御値に対して最適な補正強度の算出を適時行うことが可能となる。
【0036】
このように本実施例によれば，高輝度部で目立つ色ノイズを補正する場合に，カメラの撮影条件に応じて色ノイズ補正の補正パラメータを制御することで，撮影シーンや被写体が変わった場合でも常に適切に高輝度部の色ノイズ補正を行い，画質を向上することが可能となる。
【実施例3】
【0037】
図９は，本発明の第３実施例に係る撮像装置の色ノイズ補正制御処理の一例を示す図である。装置構成としては、第２実施例に係る撮像装置と同様であり、各構成の詳細については適宜説明を省略する。図９では，カメラ制御部３における撮影条件の制御に連動した色ノイズ補正制御処理の一例として，色ノイズ補正部２０８’が輝度および輝度エッジに応じて補正強度の特性を変化させる構成で，かつ，カメラ信号処理部２における輝度ガンマ部２０２の輝度ガンマのガンマ特性の制御に連動して色ノイズ補正部２０８を制御する場合の例を示す。図９において図９（ａ）は輝度および輝度エッジに応じた補正強度の算出処理を示す図であり，図９（ｂ）は輝度ガンマ制御に連動した色ノイズ補正処理の補正特性の制御を示す図である。図９（ａ）に示す輝度に応じた補正強度算出処理は図６で示した補正強度特性算出部２０８’＿４で，図９（ｂ）に示す輝度ガンマに応じた色ノイズ補正特性制御処理は図６で示した色ノイズ補正制御部３０５で実行される。
【0038】
図９（ａ）に示すように，補正強度特性算出部２０８’＿４は入力した輝度信号の輝度エッジ量が所定の輝度エッジ閾値ｅｔｈより大きくなるにつれて補正強度ｋも大きくなるような補正強度特性となるように補正強度輝度エッジ補正値ｅｗを算出する。輝度エッジ量は，例えば補正強度特性算出部２０８’＿４は入力した輝度信号に対し前処理としてバンドパスフィルタ処理やハイパスフィルタ処理を行うことで取得できる。補正強度輝度エッジ補正値ｅｗや図７（ａ）で示した補正強度輝度補正値ｌｗを用いて補正強度の最大値ｋｍａｘを補正することで，高輝度部や輝度エッジ部の補正強度が大きくなり，低輝度部や輝度平坦部の補正強度が小さくなるような補正強度特性とすることができる。これにより，高輝度のエッジ部で発生しやすい，レンズ収差等に起因する偽色をノイズとして補正し，かつ，低輝度部や輝度平坦部では色ノイズ補正による弊害が出にくいようにすることが可能である。図９（ｂ）に示すように，色ノイズ補正制御部３０５はガンマ制御部３０３が制御する輝度ガンマのガンマ係数が大きくなるにつれて輝度エッジ閾値ｅｔｈが小さくなるように制御する。例えば輝度ガンマのガンマ係数が０すなわちリニアの入出力特性のときの所定の２入力間の出力輝度差である輝度エッジ閾値ｅｔｈ１に対し，ガンマ係数が大きくなった場合は同じ入力間における出力輝度差であるｅｔｈ２を輝度エッジ閾値とする。これにより，カメラ制御が自動制御やユーザ操作の手動制御の結果により輝度ガンマを大きくした場合でも，輝度信号と色信号に対し独立な信号処理を行っていることを勘案して輝度ガンマ制御の影響を受けずに同様の補正特性で色ノイズ補正の効果が得られるようになる。
【0039】
図１０は，本発明の第３実施例に係る撮像装置の色ノイズ補正制御処理シーケンスの一例を示す図である。図１０に示す色ノイズ補正制御処理シーケンスは，図６で示した色ノイズ補正制御部３０５で実行される。図１０に示す色ノイズ補正制御処理シーケンスにおいて，ＳＴ１００１ではパラメータ格納部５より補正強度制御値ｋｍａｘ１，ｋｍａｘ２および補正範囲制御値ａ１，ａ２，ｂ１，ｂ２をそれぞれ取得する。ＳＴ１００２ではゲイン制御部３０４より色差ゲインの制御値を取得する。ＳＴ１００３では現在の色差ゲインの制御値に対応する 補正強度ｋｍａｘと補正範囲ａ，ｂを補正強度制御値ｋｍａｘ１，ｋｍａｘ２および補正範囲制御値ａ１，ａ２，ｂ１，ｂ２を用いて図４（ａ）に示すような特性から算出する。ＳＴ１００４では算出結果を 補正強度算出部２０８’＿２に転送する。ＳＴ１００５ではパラメータ格納部５より補正強度輝度補正値制御値ｌｗ１,ｌｗ２，補正強度輝度エッジ補正値制御値ｅｗ１,ｅｗ２，輝度閾値制御値ｌｔｈ１，ｌｔｈ２および輝度エッジ閾値制御値ｅｔｈ１，ｅｔｈ２をそれぞれ取得する。ＳＴ１００６ではガンマ制御部３０３より輝度ガンマの制御値を取得する。ＳＴ１００７では現在の輝度ガンマの制御値に対応する輝度閾値ｌｔｈを輝度閾値制御値ｌｔｈ１，ｌｔｈ２を用いて図７（ｂ）に示すような特性から算出し，輝度エッジ閾値ｅｔｈを輝度エッジ閾値制御値ｅｔｈ１，ｅｔｈ２を用いて図９（ｂ）に示すような特性から算出する。ＳＴ１００８では算出結果と補正強度輝度補正値制御値ｌｗ１,ｌｗ２，補正強度輝度エッジ補正値制御値ｅｗ１,ｅｗ２とを補正強度特性算出部２０８’＿４に転送する。これにより補正強度算出部２０８’＿４が輝度ガンマの制御値に対して輝度および輝度エッジ量に応じた補正強度の特性を算出し，算出した補正強度の特性に基づいて，補正強度算出部２０８’＿２は色差ゲインの制御値に対して最適な補正強度の算出を適時行うことが可能となる。
【0040】
このように本実施例によれば，高輝度エッジ部に発生する偽色をノイズとして補正する場合に，カメラの撮影条件に応じて色ノイズ補正の補正パラメータを制御することで，撮影シーンや被写体が変わった場合でも常に適切に高輝度エッジ部に発生する偽色の補正を行い，画質を向上することが可能となる。
【実施例4】
【0041】
図１１は，本発明の第４実施例に係る撮像装置の色ノイズ補正制御処理の一例を示す第一の図である。装置構成としては、第２実施例に係る撮像装置と同様であり、各構成の詳細については適宜説明を省略する。図１１では，カメラ制御部３における撮影条件の制御に連動した色ノイズ補正制御処理の一例として，色ノイズ補正部２０８’が色相および飽和度に応じて補正強度の特性を変化させる構成で，かつ，カメラ信号処理部２におけるＷＢ補正部２０４のホワイトバランスゲインの制御に連動して色ノイズ補正部２０８を制御する場合の例を示す。図１１に示すホワイトバランス制御に応じた色ノイズ補正特性制御処理は図６で示した色ノイズ補正制御部３０５で実行される。
【0042】
図１１に示すように，補正強度特性算出部２０８’＿４は所定の色相および飽和度の範囲の色ノイズを補正対象とするように実施範囲を決定する。これにより，目立ちやすい特定の色成分を持つ色ノイズのみを補正することができる。なお，図１１では色ノイズ補正の実施範囲を円状で図示しているが，これは説明を簡略にするためのものである。実際には，色成分ごとに補正範囲が可変になるような楕円形状にしても良いし，矩形にして色差平面上で範囲の内外の判定の処理が簡単に行える用にしても良い。また，実施範囲内のみを補正対象とする場合に限られず，実施範囲の内外で補正強度を変える，あるいは，実施範囲の中心からの距離に応じて補正強度が連続的に変わるような補正強度特性としても構わない。図１１に示すように，色ノイズ補正制御部３０５はＷＢ制御部３０２が制御するホワイトバランスゲインに応じて色ノイズ補正の実施範囲を制御する。例えば，色温度Ａにおける黒点がＷＢ制御によるホワイトバランスゲインによりどの程度移動するかを踏まえて色ノイズ補正の実施範囲を移動するように制御する。ここで，黒点とは無彩色の被写体の色差空間上の点であり，ホワイトバランスが撮影時の色温度に応じて適正に動作していた場合には色差空間上の原点に一致するものとする。これにより，カメラ制御が自動制御やユーザ操作の手動制御の結果によりホワイトバランスゲインを制御し，ホワイトバランスゲインが変わることで色ノイズの特性が変化しても同様の色ノイズ補正の効果が得られるようになる。
【0043】
図１２は，本発明の第４実施例に係る撮像装置の色ノイズ補正制御処理シーケンスの一例を示す第一の図である。図１２に示す色ノイズ補正制御処理シーケンスは，図６で示した色ノイズ補正制御部３０５で実行される。図１２に示す色ノイズ補正制御処理シーケンスにおいて，ＳＴ１２０１ではＷＢ制御部３０２よりホワイトバランス制御値を取得する。ＳＴ１２０２ではホワイトバランス制御値を基に撮影シーンの色温度を推定する。これは例えば予め代表的なホワイトバランス制御値に対応する色温度を参照テーブルの形で格納しておき，実際の制御値から近傍の代表値に対応する色温度あるいはその補完値を使用すれば良い。ＳＴ１２０３ではパラメータ格納部５より推定した色温度に対応する色ノイズ実施範囲を取得する。これは例えばパラメータ格納部５が予め代表的な色温度に対応する色ノイズ実施範囲を格納し，推定した色温度の近傍の代表値に対応する色ノイズ実施範囲あるいはその補完値を使用すれば良い。また，パラメータ格納部５がホワイトバランスのための色成分ごとのゲイン量に対し，多次元の参照テーブルとして色ノイズ実施範囲を格納し，ＳＴ１２０３で色温度の推定情報の変わりに直接ホワイトバランスゲインの制御値から色ノイズ実施範囲を参照する形としても良い。ＳＴ１２０４では色ノイズ実施範囲を補正強度特性算出部２０８’＿４に転送する。これにより補正強度算出部２０８’＿４がホワイトバランスの制御値に対して色相および飽和度に応じた補正強度の特性を算出し，算出した補正強度の特性に基づいて，補正強度算出部２０８’＿２が最適な補正強度の算出を適時行うことが可能となる。
【0044】
図１３は，本発明の第４実施例に係る撮像装置の色ノイズ補正強度決定処理の一例を示す図である。図１３に示す色ノイズ補正強度決定処理は，図６で示した色ノイズ補正部２０８’において補正目標値算出部２０８’＿１の算出する補正目標値が色差空間上の原点すなわち無彩色であり，補正部２０８’＿３は着目画素の色信号を補正強度算出部２０８’＿２で決定した補正強度の大きさに応じた割合で補正目標値に近づけるような制御とした場合の補正強度を算出するための処理の例であり，補正強度算出部２０８’＿２で実行される。
【0045】
図１３においてａは色ノイズ推定のための第１の閾値，ｂは色ノイズ推定のための第２の閾値で，色差空間上における着目画素の色信号の原点からの距離すなわち飽和度に応じた色ノイズ補正強度決定処理の決定する補正強度ｋとの関係を示している。色ノイズ推定は着目画素の色信号の飽和度と第１の閾値ａおよび第２の閾値ｂを比較することで行う。すなわち，着目画素の色信号の飽和度が第１の閾値ａより小さい場合，すなわち飽和度が非常に小さい場合は無彩色被写体の着目画素の色信号に発生した色ノイズ成分であると推定して補正強度を最大にし，第２の閾値ｂより大きい場合は色ノイズ以外の影響，すなわち着目画素が色を持つ被写体の内部に存在していると推定して補正強度を最小にし，第１の閾値ａより大きく第２の閾値ｂより小さい場合は両方の影響が混在している可能性があると推定して補正強度が徐々に小さくなるように決定する。このように決定した補正強度を用いることで，補正部２０８’＿３は無彩色の被写体では色信号の色ノイズ成分を低減し，一方で，色を持つ被写体では色再現が低下するのを抑制できる。また，色ノイズ補正制御部３０５は補正パラメータとして，色ノイズのノイズレベルの特性を考慮して，第１の閾値ａや第２の閾値ｂを制御することで色ノイズ推定し補正を行う補正範囲を制御し，補正強度の最大値ｋｍａｘを制御することで色ノイズ補正の強さを制御することができる。そのため，カメラ制御部３の撮影条件に応じてこれらの補正パラメータを制御することで，撮影条件が変わることで色ノイズの特性が変わっても補正でき，撮影シーンや被写体に関わらない適切な色ノイズ補正の制御が可能となる。
【0046】
図１４は，本発明の第４実施例に係る撮像装置の色ノイズ補正制御処理の一例を示す第二の図である。図１４では，カメラ制御部３における撮影条件の制御に連動した色ノイズ補正制御処理の一例として，色ノイズ補正部２０８’が飽和度に応じて補正強度を変化させる構成で，かつ，カメラ信号処理部２におけるＷＢ補正部２０４のホワイトバランスゲインの制御に連動して色ノイズ補正部２０８’を制御する場合の例を示す。図１４に示すホワイトバランス制御に応じた色ノイズ補正制御処理は図６で示した色ノイズ補正制御部３０５で実行される。図１４において，図１４（ａ）はホワイトバランスが適正に動作した場合の色ノイズ補正制御処理であり，図１４（ｂ）はホワイトバランスが適正に動作していない場合の色ノイズ補正制御処理である。
【0047】
図１４（ａ）に示すように，色ノイズ補正制御部３０５は撮影時のホワイトバランスが適正に動作している場合は補正強度算出部２０８’＿２の算出する補正強度ｋが大きくなるように補正強度の最大値ｋｍａｘを大きくする。これにより，目立ちやすい無彩色の被写体上の色ノイズを補正することが可能となる。一方，図１４（ｂ）に示すように，色ノイズ補正制御部３０５は撮影時のホワイトバランスが適正に動作していない場合は補正強度算出部２０８’＿２の算出する補正強度ｋが小さくなるように補正強度の最大値ｋｍａｘを小さく，あるいは０にする。これにより，ホワイトバランスが合っていないために無彩色の被写体に光源に起因する色が付着していて，無彩色以外の被写体が光源の影響で無彩色になった場合に，誤って無彩色以外の被写体のみ減色され不自然な映像となることを防ぐことができる。
【0048】
図１５は，本発明の第４実施例に係る撮像装置の色ノイズ補正制御処理シーケンスの一例を示す第二の図である。図１５に示す色ノイズ補正制御処理シーケンスは，図６で示した色ノイズ補正制御部３０５で実行される。図１５に示す色ノイズ補正制御処理シーケンスにおいて，ＳＴ１５０１ではパラメータ格納部５より補正強度制御値ｋｍａｘ１，ｋｍａｘ２，補正範囲制御値ａ１，ａ２，ｂ１，ｂ２を取得する。ＳＴ１５０２ではＷＢ制御部よりホワイトバランス適正度を取得する。ホワイトバランス適正度はＷＢ制御部３０２において，例えば，飽和度が閾値以下の画素数の割合や，色差信号の補正後の平均値，あるいはホワイトバランスゲインの制御値，などとして取得すれば良い。ＳＴ１５０３ではホワイトバランス適正度を所定の閾値と比較してホワイトバランスが適正に動作しているかどうかを判定する。例えば，色差信号の補正後の平均値が閾値より大きい場合やホワイトバランスゲインの制御値が制御可能な範囲の最大値または最小値でリミットされている場合は，ホワイトバランスが十分に合わずに補正しきれていないと判定する。判定処理の結果，ホワイトバランスが適正に動作していると判定した場合はＳＴ１５０４に進み，適正に動作していないと判定した場合はＳＴ１５０６に進む。ＳＴ１５０４ではゲイン制御部３０４より色差ゲインの制御値を取得する。ＳＴ１５０５では現在の色差ゲインの制御値に対応する 補正強度ｋｍａｘと補正範囲ａ，ｂを補正強度制御値ｋｍａｘ１，ｋｍａｘ２および補正範囲制御値ａ１，ａ２，ｂ１，ｂ２を用いて図４（ａ）に示すような特性から算出する。ＳＴ１５０６では補正強度ｋｍａｘに０を設定する。ＳＴ１５０７では算出結果を 補正強度算出部２０８’＿２に転送する。これによりホワイトバランスが適正に動作している場合には補正強度算出部２０８’＿２は色差ゲインの制御値に対して最適な補正強度の算出を行い，ホワイトバランスが適正に動作していない場合は補正をオフにして誤補正を防止することが可能となる。
【0049】
このように本実施例によれば，カメラのホワイトバランス制御に応じて色ノイズ補正の補正パラメータを制御することで，撮影シーンの色温度が変わった場合でも常に適切な色ノイズ補正を行い，画質を向上することが可能となる。
【実施例5】
【0050】
図１６は，本発明の第５実施例に係る撮像装置の色ノイズ補正制御処理の一例を示す図である。装置構成としては、第２実施例に係る撮像装置と同様であり、各構成の詳細については適宜説明を省略する。図１６では，カメラ制御部３における撮影条件の制御に連動した色ノイズ補正制御処理の一例として，色ノイズ補正部２０８’が色相および飽和度に応じて補正強度の特性を変化させる構成で，かつ，撮像部１におけるレンズ１０１のズーム倍率の制御に連動して色ノイズ補正部２０８を制御する場合の例を示す。図１６に示すズーム制御に応じた色ノイズ補正特性制御処理は図６で示した色ノイズ補正制御部３０５で実行される。
【0051】
図１６に示すように，補正強度特性算出部２０８’＿４は所定の色相および飽和度の範囲の色ノイズを補正対象とするように実施範囲を決定する。これにより，目立ちやすい特定の色成分を持つ色ノイズのみを補正することができる。色ノイズ補正制御部３０５は撮像制御部３０１が制御するレンズ１０１のズーム倍率に応じて色ノイズ補正の実施範囲を制御する。例えばズーム倍率がＮ１倍の時の色ノイズ補正の実施範囲に対し，撮像制御部３０１がズーム倍率がＮ２倍になるようにレンズを制御すると，色ノイズ補正制御部３０５はズーム倍率がＮ２倍のときに対応する色ノイズ補正の実施範囲をパラメータ取得部５より取得し切り替える。これにより，ズーム倍率に応じて色ノイズの特性が変化しても同様の色ノイズ補正の効果が得られるようになる。例えば，レンズ収差等に起因する偽色をノイズとして補正する場合に，レンズ収差はズーム倍率によって異なるため，偽色の特性もズーム倍率によって変化するが，このような場合でもズーム倍率に関わらず偽色の補正効果が得られる。なお，色ノイズ補正制御部３０５が撮像制御部３０１が制御するレンズ１０１のズーム倍率だけでなく，レンズ１０１のフォーカス位置やアイリス１０２の絞り量などの諸処の光学条件に応じて色ノイズ補正の実施範囲を制御しても良いし，補正強度などの他の補正パラメータを制御してももちろん良い。
【0052】
図１７は，本発明の第５実施例に係る撮像装置の色ノイズ補正制御処理シーケンスの一例を示す図である。図１７に示す色ノイズ補正制御処理シーケンスは，図６で示した色ノイズ補正制御部３０５で実行される。図１７に示す色ノイズ補正制御処理シーケンスにおいて，ＳＴ１７０１では撮像制御部３０１よりズームレンズの位置の制御情報を取得する。ＳＴ１７０２では取得したズームレンズの位置に対応する 色ノイズ実施範囲がパラメータ格納部５に格納済みかを判定し，格納済みの場合はＳＴ１７０３に，対応する色ノイズ実施範囲がない場合はＳＴ１７０４に進む。ＳＴ１７０３ではパラメータ格納部５よりズームレンズの位置に対応する色ノイズ実施範囲を取得する。ＳＴ１７０４ではパラメータ格納部５より色ノイズ実施範囲が存在する複数の近傍のズームレンズの位置の色ノイズ実施範囲を取得し，補間演算して現在のズームレンズの位置における色ノイズ実施範囲を算出する。ＳＴ１７０５では色ノイズ実施範囲を補正強度特性算出部２０８’＿４に転送する。これにより補正強度算出部２０８’＿４がズーム倍率の制御値に対して補正強度算出部２０８’＿２が最適な補正強度の算出を適時行うことが可能となる。
【0053】
このように本実施例によれば，カメラの光学条件の制御に応じて色ノイズ補正の補正パラメータを制御することで，カメラの光学条件が変わった場合でも常に適切な色ノイズ補正を行い，画質を向上することが可能となる。
【実施例6】
【0054】
図１８は，本発明の第６実施例に係る画像信号処理装置を示す模式図である。図１８において６は画像信号入力部，７はカメラ制御情報入力部，２０８”は色ノイズ補正部，３０５は色ノイズ補正制御部であり，図１に示した色ノイズ補正部２０８に対して輝度ゲイン部２０３および色差ゲイン部２０７の代わりに画像信号入力部６から画像信号を，色ノイズ補正制御部３０５に撮像制御部３０１，ＷＢ制御部３０２，ガンマ制御部およびゲイン制御部３０４の代わりにカメラ制御情報入力部７からそれぞれのカメラ制御情報を入力する構成としたものである。
【0055】
図１８に示した画像信号処理装置において，画像信号入力部６は他の撮像装置や記録媒体などから画像信号を入力する。画像信号入力部６が必要に応じて圧縮された映像に対する伸長処理やるフォーマット変換処理を行うことで色ノイズ補正処理を行うのに都合の良い形式の画像信号に変換して入力しても良い。
【0056】
カメラ制御情報入力部７は画像信号入力部６より入力した画像信号が撮影された際のカメラ制御情報を入力する。例えば，画像信号入力部６が他の撮像装置から画像信号を入力する場合は他の撮像装置のカメラ制御情報をネットワークを介して取得すれば良いし，記録媒体から画像信号を入力する場合は予め記録した画像信号に撮影時のカメラ制御情報がメタデータとして埋め込まれている場合はメタデータを読み出して入力すれば良い。または，ユーザ入力部を備えユーザの操作によりカメラ制御情報を手動で入力できる構成でも構わない。色ノイズ補正制御部３０５はカメラ制御情報入力部７より入力したカメラ制御情報を元に色ノイズ補正部２０８”における補正目標値算出部２０８”＿１や補正強度算出部２０８”＿２や補正強度特性算出部２０８”＿３のそれぞれの補正パラメータを制御し，色ノイズ補正部２０８”が色ノイズ補正制御部３０５の制御する補正パラメータに基づいて画像信号入力部６より入力した画像信号に対して色ノイズ補正処理を行うことで，他の撮像装置や記録媒体などから入力した画像信号においても撮影シーンや被写体によらず常に適切に色ノイズ補正を行い，画質を向上することが可能となる。
【0057】
このように本実施によれば，画像信号処理装置においても，カメラの撮影条件に応じて色ノイズ補正の補正パラメータを制御することで，撮影シーンや被写体が変わった場合でも常に適切な色ノイズ補正を行い，画質を向上することが可能となる。
【0058】
以上のように、各実施例に係る装置によれば、被写体や撮影シーン、撮影条件によらず適切な色ノイズ補正を行って高画質化を実現する撮像装置並びに画像信号処理装置を提供することが可能となる。なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0059】
また、上記の各構成は、それらの一部又は全部が、ハードウェアで構成されても、プロセッサでプログラムが実行されることにより実現されるように構成されてもよい。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
【符号の説明】
【0060】
１ 撮像部２ カメラ信号処理部
３ カメラ制御部
４ 入力部
５ パラメータ格納部
１０１ レンズ
１０２ アイリス
１０３ 撮像素子
１０４ ＡＦＥ部
１０５ ＡＤ部
２０１ 輝度／色信号生成部
２０２ 輝度ガンマ部
２０３ 輝度ゲイン部
２０４ ＷＢ補正部
２０５ 色ガンマ部
２０６ 色差変換部
２０７ 色差ゲイン部
２０８ 色ノイズ補正部
３０１ 撮像制御部
３０２ ＷＢ制御部
３０３ ガンマ制御部
３０４ ゲイン制御部
３０５ 色ノイズ補正制御部
２０８＿１ 補正目標値算出部
２０８＿２ 補正強度算出部
２０８＿３ 補正部
２０８＿４ 補正強度特性算出部
６ 画像信号入力部
７ カメラ制御情報入力部