特許 6407768 撮像装置、画像処理方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6407768

(24)【登録日】2018年9月28日

(45)【発行日】2018年10月17日

(54)【発明の名称】撮像装置、画像処理方法およびプログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20181004BHJP

   H04N 5/243 20060101ALI20181004BHJP

【ＦＩ】

   H04N5/232 290

   H04N5/243

【請求項の数】9

【全頁数】16

(21)【出願番号】特願2015-42967(P2015-42967)

(22)【出願日】2015年3月4日

(65)【公開番号】特開2016-163277(P2016-163277A)

(43)【公開日】2016年9月5日

【審査請求日】2017年7月18日

(73)【特許権者】

【識別番号】000001225

【氏名又は名称】日本電産コパル株式会社

(74)【代理人】

【識別番号】100095407

【弁理士】

【氏名又は名称】木村 満

(74)【代理人】

【識別番号】100132883

【弁理士】

【氏名又は名称】森川 泰司

(74)【代理人】

【識別番号】100175019

【弁理士】

【氏名又は名称】白井 健朗

(74)【代理人】

【識別番号】100180817

【弁理士】

【氏名又は名称】平瀬 実

(72)【発明者】

【氏名】清野 譲

【審査官】 藤原 敬利

(56)【参考文献】

【文献】 特開２０１０−０４５５３４（ＪＰ，Ａ）

【文献】 特開２００２−０９４８１０（ＪＰ，Ａ）

【文献】 特開２０１０−０５０６１３（ＪＰ，Ａ）

【文献】 特開平０５−１９１７１９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２− ５／２５７

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ５／５０

Ｇ０６Ｔ ９／００ − ９／４０

(57)【特許請求の範囲】

【請求項1】

撮像処理により被写体の画像データを生成し、前記被写体の画像データを出力する画像データ生成手段と、
前記画像データ生成手段が出力した画像データが表す画像の中の輪郭線を強調するように、該画像データの該輪郭線に該当する画素の輝度値を、補正パラメータを用いて補正し、該輪郭線に該当する画素の輝度値を補正された画像データを出力する強調補正手段と、
前記強調補正手段が出力した画像データの輝度値が閾値以下である画素の輝度値を０とする補正処理を行い、該補正処理を行われた画像データを出力する出力補正手段と、
前記被写体の照度が低いほど、前記輪郭線を強調する程度を下げるように、前記補正パラメータを制御し、前記被写体の照度が低いほど、前記出力補正手段が出力する画像データの輝度値の最大値を低くするように制御する補正制御手段と、
を備える撮像装置。

【請求項2】

撮像処理により被写体の画像データを生成し、前記被写体の画像データを出力する画像データ生成手段と、
前記画像データ生成手段が出力した画像データが表す画像の中の輪郭線を強調するように、該画像データの該輪郭線に該当する画素の輝度値を、補正パラメータを用いて補正し、該輪郭線に該当する画素の輝度値を補正された画像データを出力する強調補正手段と、
前記強調補正手段が出力した画像データの輝度値が閾値以下である画素の輝度値を０とする補正処理を行い、該補正処理を行われた画像データを出力する出力補正手段と、
前記被写体の照度が低いほど、前記輪郭線を強調する程度を下げるように、前記補正パラメータを制御し、前記被写体の照度が低いほど、前記出力補正手段が出力する画像データの輝度値を０とする閾値を高くするように制御する補正制御手段と、
を備える撮像装置。

【請求項3】

前記画像データ生成手段は、前記被写体の像を電気信号に変換し、前記電気信号を出力する撮像素子部と、前記撮像素子部が出力した前記電気信号を、前記被写体の画像データが表す画像の明るさを所定の明るさにするように増幅する自動増幅度制御回路とを備え、
前記補正制御手段は、前記自動増幅度制御回路が前記電気信号を増幅した増幅度を、前記被写体の照度として、前記補正パラメータを制御する、
請求項１又は２に記載の撮像装置。

【請求項4】

撮像装置の周囲の照度を示す照度情報を取得する照度取得手段を備え、
前記補正制御手段は、前記照度取得手段が取得した照度情報が示す照度を、前記被写体の照度として、前記補正パラメータを制御する、
請求項１乃至３のいずれか１項に記載の撮像装置。

【請求項5】

前記補正制御手段は、前記強調補正手段が出力した画像データの輝度値を小さくするように補正する、
請求項１乃至４のいずれか１項に記載の撮像装置。

【請求項6】

画像データを生成するステップと、
前記画像データに含まれる被写体の画像の輪郭線を強調し、前記被写体の照度が低いほど、前記画像データに含まれる被写体の画像の輪郭線を強調する程度が小さくなるように、前記画像データの輪郭線に該当する画素の輝度値を補正するステップと、
前記輪郭線に該当する画素の輝度値を補正された前記画像データの輝度値が閾値以下である画素の輝度値を０と補正するステップと、
前記被写体の照度が低いほど、前記輪郭線に該当する画素の輝度値を補正された前記画像データの輝度値の最大値を低くするように補正するステップと、
を含む、画像処理方法。

【請求項7】

画像データを生成するステップと、
前記画像データに含まれる被写体の画像の輪郭線を強調し、前記被写体の照度が低いほど、前記画像データに含まれる被写体の画像の輪郭線を強調する程度が小さくなるように、前記画像データの輪郭線に該当する画素の輝度値を補正するステップと、
前記被写体の照度が低いほど、閾値を高くして、前記輪郭線に該当する画素の輝度値を補正された前記画像データの輝度値が前記閾値以下である画素の輝度値を０と補正するステップと、
を含む、画像処理方法。

【請求項8】

コンピュータに
画像データに含まれる被写体の画像の輪郭線を強調し、前記被写体の照度が低いほど、前記画像データに含まれる被写体の画像の輪郭線を強調する程度が小さくなるように、前記画像データの輪郭線に該当する画素の輝度値を補正する処理、
前記輪郭線に該当する画素の輝度値を補正された前記画像データの輝度値が閾値以下である画素の輝度値を０と補正する処理、
前記被写体の照度が低いほど、前記輪郭線に該当する画素の輝度値を補正された前記画像データの輝度値の最大値を低くするように補正する処理、
を実行させるプログラム。

【請求項9】

コンピュータに
画像データに含まれる被写体の画像の輪郭線を強調し、前記被写体の照度が低いほど、前記画像データに含まれる被写体の画像の輪郭線を強調する程度が小さくなるように、前記画像データの輪郭線に該当する画素の輝度値を補正する処理、
前記被写体の照度が低いほど、閾値を高くして、前記輪郭線に該当する画素の輝度値を補正された前記画像データの輝度値が前記閾値以下である画素の輝度値を０と補正する処理、
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、画像処理方法およびプログラムに関する。

【背景技術】

【0002】

車載カメラ等では、暗所での撮像時にはＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ：自動増幅度制御）回路の増幅度を高くすることにより、撮像対象物を見やすくする処理を行っている。その際に、ＡＧＣ回路の増幅度が高くなりすぎることによって、ノイズ成分が目立った画像になってしまう場合がある。

【0003】

例えば、特許文献１が開示する技術は、低照度時に、ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）補正を行わないように回路を切り替えることにより、上記の問題を解決しようとしている。

【先行技術文献】

【特許文献】

【0004】

特開２００９−１９４６５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、特許文献１が開示する技術では、ＭＴＦ補正を行わないとしても、ＡＧＣ回路により入力信号を最大レベルまで増幅するため、ノイズによるチカチカ感を十分に除去できないという問題がある。

【0006】

本発明は、以上の問題に鑑みてなされたものであり、暗所で撮像した画像データをノイズ感の少ない画像データに補正可能な、撮像装置、撮像方法（例えば、画像処理方法）やプログラムを提供することを目的とする。
本発明の撮像装置等は、例えば、暗所における被写体の撮像を目的としているものである。暗所における被写体の撮像は、例えば、監視カメラとしての撮像、車載用などの乗物用カメラとしての撮像（夜間における車道の車線確認や白線確認や歩行者確認や障害物確認、電車の夜間走行時の線路確認や障害物確認など）が挙げられる。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本発明に係る撮像装置は、
撮像処理により画像データを生成する画像データ生成手段と、
前記画像データ生成手段が出力した画像データが表す画像中の輪郭線を強調するように、画像データの輪郭線に該当する画素の輝度値を補正パラメータを用いて補正する強調補正手段と、
この撮像装置の周囲の照度が低いほど、前記輪郭線を強調する程度を下げるように、前記補正パラメータを制御する補正制御手段と、
を備えることを特徴とする。

【0008】

また、前記画像データ生成手段は、画像データを増幅する自動増幅度制御回路を備え、
前記補正制御手段は前記自動増幅度制御回路の増幅度に従って、前記補正パラメータを制御してもよい。

【0009】

また、撮像装置の周囲の照度を示す照度情報を取得する照度取得手段を備え、
前記補正制御手段は、前記照度取得手段が取得した照度情報が示す照度に従って、前記補正パラメータを制御してもよい。

【0010】

また、前記強調補正手段が出力した画像データの輝度値が閾値以下である画素の輝度値を０とする補正処理を行う出力補正手段をさらに備えてもよい。

【0011】

また、前記補正制御手段は、前記強調補正手段が出力した画像データの輝度値を小さくするように補正してもよい。

【0012】

また、前記補正制御手段は、撮像装置の周囲の照度情報に基づいて、周囲の照度が低いほど前記出力補正手段が出力する画像データの輝度値の最大値を低くするように制御してもよい。

【0013】

また、前記補正制御手段は、撮像装置の周囲の照度情報に基づいて、周囲の照度が低いほど前記出力補正手段が出力する画像データの輝度値を０とする閾値を高くするように制御してもよい。

【発明の効果】

【0014】

本発明によれば、暗所で撮像した画像データをノイズ感の少ない画像データに補正可能な、撮像装置、撮像方法（例えば、画像処理方法）やプログラムを提供することができる。

【0015】

また、本発明によれば、撮像した画像データをハレーション感やチカチカ感を抑制したノイズ感の少ない画像に補正することができる。

【0016】

自動増幅度制御回路の増幅度に従って、前記補正パラメータを制御することにより、よりノイズ感の少ない画像を得ることができる。

【0017】

照度取得手段が取得した照度情報が示す照度に従って、前記補正パラメータを制御することにより、よりノイズ感の少ない画像を得ることができる。

【0018】

強調補正手段が出力した画像データの輝度値が閾値以下である画素の輝度値を０とする補正処理を行うことにより、より引き締まった印象を与える画像に補正することができる。

【0019】

強調補正手段が出力した画像データの輝度値を小さくするように補正することにより、よりハレーション感やチカチカ感を抑制したノイズ感の少ない画像に補正することができる。

【0020】

周囲の照度が低いほど前記出力補正手段が出力する画像データの輝度値の最大値を低くするように制御することにより、よりノイズ感の少ない画像を得ることができる。

【0021】

周囲の照度が低いほど前記出力補正手段が出力する画像データの輝度値を０とする閾値を高くするように制御することにより、より引き締まった印象を与える画像に補正することができる。

【図面の簡単な説明】

【0022】

【図1】実施形態１に係る撮像装置のハードウエア構成図である。

【図2】実施形態１に係る画像データ生成部の構成図と制御部の機能構成図である。

【図3】ベイヤー補完について説明するための図である。（ａ）は、赤緑青を配置したベイヤーパタンの例である。（ｂ）は、色情報の補完方法について説明するための図である。

【図4】輪郭線を強調する補正について説明するための図である。（ａ）は輪郭線に該当する画素とその周囲の画素の輝度値を示す図である。（ｂ）は３×３の補正フィルタについて説明するための図であり、（ｃ）はその実施例である。（ｄ）は、補正パラメータＹの設定例について説明するための図である。

【図5】実施形態１に係るガンマ補正部の補正方法について説明するための図である。

【図6】ガンマ補正処理に使用する変換テーブル（Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）の例である。

【図7】実施形態１に係る撮像装置の撮像処理について説明するためのフローチャート図である。

【図8】実施形態１に係るガンマ補正処理について説明するためのフローチャート図である。

【図9】変形例２に係る照度取得部について説明するための図である。

【図10】（ａ）はＡＧＣ回路に入力される画像データの輝度の分布の例を示し、（ｂ）はＡＧＣ回路から出力される画像データの輝度の分布の例を示す。

【図11】変形例３に係るガンマ補正処理について説明するための図である。

【図12】変形例４に係るガンマ補正処理について説明するための図である。

【図13】変形例４に係るガンマ補正処理について説明するための図である。

【発明を実施するための形態】

【0023】

以下、本発明の実施形態に係る撮像装置と撮像方法（例えば、画像処理方法）について、図面を参照しながら説明する。なお、図面中同一又は相当する部分には同一符号を付す。

【0024】

（実施形態１）
まず、実施形態１に係る撮像装置と撮像方法について、図１〜図８を参照して説明する。
本実施形態に係る撮像装置１００は、低照度時のノイズを抑制する機能を有し、図１に示すように、画像データ生成部１１０と、操作部１２０と、表示部１３０と、外部Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１４０と、記憶部１５０と、制御部１６０と、から構成される。

【0025】

画像データ生成部１１０は、被写体のデジタル画像データを出力する。画像データ生成部１１０の詳細は図２を参照して後述する。
操作部１２０は、スイッチなどの機構部品、タッチパネルから構成され、指示、データ等を入力する。
表示部１３０は、液晶ディスプレイなどから構成され、画像を表示する。
外部Ｉ／Ｆ１４０は、パーソナルコンピュータ、外部ディスプレイなどの外部装置に接続するためのインターフェイスである。
記憶部１５０は、フラッシュメモリなどから構成され、撮像した画像データなどを記憶する。

【0026】

制御部１６０は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１６１と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６２と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１６３と、を備える。ＲＯＭ１６１は、撮像処理及び補正処理を行うための制御プログラムを格納する。制御プログラムは、後述するベイヤー補完処理、シャープ補正処理、ガンマ補正処理を行うための処理プログラムを含む。ＲＡＭ１６２は、ＣＰＵ１６３のワークエリアとして機能する。ＣＰＵ１６３は、ＲＯＭ１６１に格納されている制御プログラムを実行することにより、画像データ生成部１１０が出力する画像データを処理する。処理の詳細については後述する。

【0027】

画像データ生成部１１０は、図２に示すように、光学系素子部１１１と、撮像素子部１１２と、ＡＧＣ回路部１１３と、Ａ／Ｄ変換部１１４と、を備える。

【0028】

光学系素子部１１１は、レンズ群などから構成され、光学像を撮像素子部１１２の撮像面に結像する。
撮像素子部１１２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の撮像素子から構成され、撮像面に結像された画像をアナログ画像信号に変換する。

【0029】

ＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）回路部１１３は、撮像した画像が所定の明るさになるように、ゲインを調整しつつアナログ画像信号を増幅する。具体的には、暗所で撮像した画像は高いゲインで、明るい場所で撮像した画像は低いゲインで増幅する。

【0030】

Ａ／Ｄ（Ａｎａｌｏｇ ｔｏ Ｄｉｇｉｔａｌ）変換部１１４は、ＡＧＣ回路部１１３から出力されたアナログ画像信号を８ビットのデジタル画像データに変換する。

【0031】

次に、図１に示す制御部１６０の機能を図２を参照して説明する。
制御部１６０は、画像データ生成部１１０が出力した画像データを表示部１３０に表示した際に、撮像対象の輪郭を見やすくするとともに、画像のチカチカ感などのノイズ感を少なくするように画像データを補正処理する。その処理を行うために、制御部１６０は、機能的に、ベイヤー補完部２０１と、シャープ補正部２０２と、ガンマ補正部２０３と、補正制御部２０４と、を備える。

【0032】

ベイヤー補完部２０１は、撮像素子部１１２の１素子がＲ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の１色輝度のデータしか出力しないため、足りない色の輝度データを周囲の画素の輝度データから補完するベイヤー補完処理を行う。例えば、撮像素子部１１２の画素が、図３（ａ）に示す色配置であるとすると、例えば、「Ｇ_３２」の画素は、緑の輝度情報のみを有し、赤や青に関する輝度情報を有していない。そこで、ベイヤー補完部２０１は、図３（ｂ）に示す近隣の画素の輝度データを用いて、「Ｇ_３２」の位置での赤の輝度情報「Ｒ’_３２」と青の輝度情報「Ｂ’_３２」を、例えば、式（１）と（２）により求める。
Ｒ’_３２＝（Ｒ_３１＋Ｒ_３３）／２ ・・・（１）
Ｂ’_３２＝（Ｂ_２２＋Ｂ_４２）／２ ・・・（２）

【0033】

ベイヤー補完部２０１は、同様の処理を全画素に施し、赤、緑、青の画像データを生成する。

【0034】

図２に戻って、シャープ補正部２０２は、画像の輪郭線（エッジ）を抽出し、輪郭線を際立たせる（強調する）シャープ処理（強調処理）を行う。輪郭線抽出処理方法としては、Ｓｏｂｅｌ法、Ｒｏｂｅｒｔｓ法、Ｐｒｅｗｉｔｔ法などが知られている。シャープ補正部２０２は、これらの手法をＲ、Ｇ、Ｂの各画像データに適用し、輪郭線に該当する画素を特定する。次に、シャープ補正部２０２は、特定した輪郭線に該当する画素の輝度値を補正することによって、輪郭線を際立たせる処理を行う。例えば、シャープ補正部２０２は、図４（ｂ）に例示する３×３の補正用フィルタを、Ｒ、Ｇ、Ｂの画像データ中の輪郭線に該当する画素に適用することにより、輪郭線を強調したＲ、Ｇ、Ｂの画像データを生成する。例えば、処理対象の画素が、図４（ａ）に示す画像データ中の画素Ｘ_２２であると仮定すると、式（３）により画素Ｘ_２２の補正後の輝度値Ｘ’_２２を求め、求めた輝度値Ｘ’_２２を画素値とする画像を生成する。
Ｘ’_２２＝Σ（Ａ_ｉｊ×Ｘ_ｉｊ） ・・・（３）
ｉ＝１〜３、ｊ＝１〜３

【0035】

補正制御部２０４は、暗所で撮像された暗い画像で、ＡＧＣ回路部１１３のゲインが非常に高くなった場合でも、ノイズによるチカチカ感が生じず、明るい場所で撮像された明るい画像で、ＡＧＣ回路部１１３のゲインが小さい場合でも、ハレーション感が生じないように、補正用フィルタの各パラメータを設定する。
本実施形態では、一例として、図４（ｃ）に例示するように、輪郭線に該当する画素Ａ_２２以外の画素の補正パラメータを−１に固定し、Ａ_２２の画素の補正パラメータ値ＹをＡＧＣ回路部１１３のゲイン（被写体の照度）により、図４（ｄ）に示すように制御する。

【0036】

より具体的には、補正制御部２０４は、図４（ｄ）に示すように、ＡＧＣ回路部１１３のゲイン（増幅度情報）に基づいて、ＡＧＣ回路部１１３のゲインが大きいほど小さくなって輪郭を強調する程度が小さくなり、ゲインが小さいほど大きくなって輪郭を強調する程度が大きくなるように補正パラメータＹを制御する。すなわち、周囲が暗いほど（被写体の照度が低いほど）、輪郭線に該当する画素を強調する程度が小さく、周囲が明るいほど（被写体の照度が高いほど）、輪郭線に該当する画素を強調する程度が大きくなるように、補正パラメータＹを制御する。

【0037】

暗所における撮像では、ＡＧＣ回路部１１３のゲインが高くなり、ノイズ成分も強調されてしまう。さらに、周囲との輝度差が小さいので、輪郭線の誤判定の可能性が高くなる。この条件のもとで補正パラメータＹを大きくすると、輪郭線であると誤判定をした画素も強調されるためにノイズ感が増し、観察者が受ける違和感が大きくなる。そこで、仮に誤判定をした場合でも、画像全体として違和感を与えないようにするために、周囲が暗いほど輪郭線に該当する画素を強調しないように補正パラメータＹを制御する。

【0038】

また、照度が第１の基準値より低い場合と、第１の基準値より高い第２の基準値より高い場合に、補正パラメータＹを変更せずに維持することにより、過度の補正が抑えられる。これにより、観察者に与える違和感を抑えることができる。
なお、以上の説明では、輪郭線を全て検出した後に輪郭線を強調する処理を行うように説明したが、輪郭線の検出と輪郭線の強調補正とを並行して処理してもよい。

【0039】

図２に戻って、ガンマ補正部２０３は、表示するディスプレイ等の特性によって発色特性にバラツキが生じないように、シャープ補正部２０２が出力した画像データを補正する。さらに、ガンマ補正部２０３は、暗所で撮像した画像データでもノイズ感の少ない画像となるように画像データを補正する。詳細について図５を用いて説明する。

【0040】

通常のガンマ補正では、ディスプレイ等の非線形性を補正するため、図５に一点鎖線３２０で示すように、入力値に対する出力値が、０から徐々に立ち上がって、最大値が２５５（８ビット）となる変換特性を用いる。

【0041】

これに対し、ガンマ補正部２０３は、入力データの値が所定の閾値以下である場合には、出力を０とし、さらに、出力データの値に上限値が設定された変換特性を用いる。具体的には、図５に示すように、入出力変換特性に、カット領域３３０と制限領域３４０が設定される。カット領域３３０は、その上限値を閾値として、閾値以下の入力データに対する出力データを全て０とする領域である。また、制限領域３４０は、出力データの値が、制限領域３４０の下限値以下に設定される領域である。カット領域３３０の上限値（閾値）及び制限領域３４０の下限値は、表示部１３０の動作特性によって調整される値であり、実験等により予め決める。本実施形態では、閾値を２０とし、制限領域３４０の下限値を２３０とする。この閾値と下限値を満たす図５に実線で示す変換特性曲線３１０に対応する変換テーブル（ＬＵＴ：Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）２０５が作成され、予め、記憶部１５０に格納される。なお、ＬＵＴ２０５は、ＲＧＢのそれぞれについて作成される。ガンマ補正部２０３は、ＬＵＴ２０５を記憶部１５０から読み出し、シャープ補正部２０２から出力された画像データの輝度値をＬＵＴ２０５に適用して変換し、表示部１３０に供給する。

【0042】

ＬＵＴ２０５の例を図６に示す。ガンマ補正部２０３は、シャープ補正部２０２から取得した画像データの輝度値を、このＬＵＴ２０５を用いて、０から２０までの輝度値は一律に出力輝度値を０に変換し、且つ、輝度値が最大でも２３０となるように変換する。

【0043】

補正制御部２０４は、前述したように、ＡＧＣ回路部１１３の増幅度情報に基づいて、シャープ補正部２０２が輪郭線に該当する画素の輝度を強調するために使用する補正パラメータを制御する。補正制御部２０４は、ＡＧＣ回路部１１３のゲインが高いほど（周囲の照度が低いほど）、輪郭線を強調する程度が低くなるように、補正パラメータＹを制御する。

【0044】

次に、上記構成を有する撮像装置１００の撮像処理及び補正処理を、図７を参照して説明する。
ユーザの操作部１２０を介した指示に応答し、制御部１６０は、撮像素子部１１２に撮像を指示する。これにより、図７に示す撮像処理が開始する。

【0045】

処理を開始すると、まず、撮像素子部１１２は、光学系素子部１１１を介して入力された光学画像を、アナログ画像信号に変換し、出力する（ステップＳ１０）。ＡＧＣ回路部１１３は、出力されたアナログ画像信号を、平均輝度が所定のレベルになるようにゲインを調整して増幅する（ステップＳ１１）。この時、ＡＧＣ回路部１１３はゲインを制御部１６０の補正制御部２０４に通知する。なお、ゲインを、画像全体の平均輝度値ではなく、画像の中央部分や、フォーカスされている部分の輝度に基づいて調整することが望ましい。

【0046】

Ａ／Ｄ変換部１１４は、ＡＧＣ回路部１１３からの増幅されたアナログ画像信号をデジタル画像データに変換する（ステップＳ１２）。本実施形態では、８ビットのＡ／Ｄ変換器を使用するので、０から２５５の８ビットのデジタルの画像データに変換する。

【0047】

ベイヤー補完部２０１は、デジタル画像データをベイヤー補完処理し（ステップＳ１３）、ＲＧＢ３色の画像データを生成する。

【0048】

シャープ補正部２０２は、図４を用いて前述したように、ＡＧＣ回路部１１３のゲインに基づいて、画像データ中の輪郭線を際立たせる補正処理を行う（ステップＳ１４）。具体的には、補正制御部２０４は、ステップＳ１１でＡＧＣ回路部１１３から通知された増幅度に従って、図４（ｃ）に示す補正フィルタの補正パラメータＹの値を、図４（ｄ）に示すように制御する。シャープ補正部２０２は、その補正フィルタを使用して、輪郭線に該当する画素の輝度を、被写体の照度が高い程、輪郭がより際立つ（強調の程度が高い）ように画像データを補正する。

【0049】

次に、ガンマ処理部２０３は、シャープ補正処理が終わった画像データにガンマ補正処理を行う（ステップＳ１５）。
図８に示すフローチャートを用いて、具体的に説明する。ガンマ補正部２０３には、図５に示すカット領域３３０と制限領域３４０とが設定された変換特性曲線３１０に従って作成されたＬＵＴ２０５が記憶部１５０に格納されている。ガンマ補正部２０３は、ＬＵＴ２０５を記憶部１５０から読み出し（ステップＳ２１）、各画素の輝度値をＬＵＴ２０５に適用し、出力値を得る（ステップＳ２２）。
これにより、入力した画像データのうち０から２０まで輝度値は、一律に出力輝度値が０に変換され、且つ、輝度値が最大でも２３０となるように変換される。全ての画素につて変換処理が終了するまでステップＳ２２の処理を継続し（ステップＳ２３：Ｎｏ）、全ての画素の変換処理が完了するとガンマ補正処理は終了し（ステップＳ２３：Ｙｅｓ）、図７の処理に戻る。

【0050】

以上の処理で、本実施形態に係る撮像装置１００における画像データの撮像処理が終了する（ステップＳ１５）。
制御部１６０は、この最終画像データを表示部１３０に表示する。

【0051】

以上に説明したように、本実施形態に係る撮像装置１００は、図４（ｄ）に示したように、周囲（被写体）の照度が高くなるほど輪郭線を強調する程度を強くし、照度が低くなるほど輪郭線を強調する程度を弱くするように補正パラメータを制御する。これにより、暗所での撮像時においてもノイズ感の少ない画像を得ることができる。

【0052】

また、照度が第１の基準値より低い場合と、第１の基準値より高い第２の基準値より高い場合に、補正パラメータを変更せずに維持することにより、過度の補正が抑えられる。これにより、違和感を与える画像が生成される事態を防止できる。

【0053】

また、ガンマ補正処理において、カット領域３３０を考慮した変換特性曲線３１０に基づく輝度の補正処理を行う。これにより、低輝度の画像が輝度０に補正され、エッジ効果により、引き締まった印象を与える画像に補正することができる。また、出力データの最大値を抑えた入出力変換特性に基づく輝度の補正を行うことにより、ＡＧＣ回路部１１３のゲインが非常に高くなった場合でも、ハレーション感やチカチカ感を抑制し、ノイズ感の少ない画像を得ることができる。

【0054】

従って、暗所で撮像された画像であっても、ノイズが目立たず、また、観察者にチカチカ感を与えない画像が表示部１３０に表示される。

【0055】

（変形例１）
上記実施の形態においては、ガンマ補正部２０３は、ＲＧＢ各色の画像データの輝度値が２０以下の場合に、輝度値を０に補正した。この補正の場合、例えば、画像がＲＧＢ三原色の何れかに近い色の場合に、表示色が不自然になるおそれがある。この問題を避けるため、例えば、ＲＧＢ３色の輝度値の平均が２０以下となった画素について、その画素のＲＧＢ全ての輝度値を０に設定するようにしてもよい。

【0056】

（変形例２）
実施形態１では、ＡＧＣ回路部１１３のゲインから、撮像装置の周囲の照度を間接的に求めた。
この発明は、これに限定されず、図９に例示するように、画像データ生成部１１０内に照度取得部１１５を設け、照度取得部１１５で取得した照度からシャープ補正部２０２が補正に使用する補正パラメータＹを制御するように構成してもよい。

【0057】

撮像装置の周囲の照度情報を得る方法として、撮像素子部１１２の出力を照度情報として使用することもできる。また、シャッタースピードやレンズの絞り情報など、撮像装置の周囲の照度と相関性がある情報に基づいて、シャープ補正部２０２における補正パラメータＹを制御してもよい。

【0058】

（変形例３）
実施形態１では、ノイズによるチカチカ感を抑制するために、制限領域３４０の下限値を２３０（出力画像データの取り得る値の上限値を２２９）に固定した。制限領域３４０の下限値を固定すると、ＡＧＣ回路部１１３のゲインが大きくない場合まで、輝度のダイナミックレンジを狭めてしまうことになる。そこで、制限領域３４０の下限値を周囲の照度（ＡＧＣ回路部１１３のゲイン）に基づいて可変制御するようにしてもよい。

【0059】

例えば、暗所で撮像した場合、図１０（ａ）に示すように、ＡＧＣ回路部１１３に入力される画像データには、輝度が低い領域３５０に分布する輝度データが圧倒的に多くなる。このため、暗所で撮像した画像データの平均輝度は低く、ＡＧＣ回路部１１３は高いゲインで画像データを増幅する。

【0060】

従って、図１０（ａ）に示す輝度が低い領域３５０の輝度分布は、図１０（ｂ）に示すように出力のダイナミックレンジのほぼ中央の領域３５１に変換される。一方、輝度が少し明るい領域３６０の輝度分布は、領域３６１の輝度分布に変換される。ＡＧＣ回路部１１３の最大出力には制限があるので、領域３６０に該当する画素の多くは、ＡＧＣ回路部１１３の最大出力値となる。その結果、ＡＧＣ回路部１１３が出力する画像データは、図１０（ｂ）に示す領域３６１のようにほぼ均一な高輝度の画素を多く含むことになる。

【0061】

このような均一な高輝度の画素を多く含む画像は、制限領域３４０の下限値を２３０に下げたとしても、ハレーションを起こしたようなテカテカした印象を与える画像になる恐れがある。また、ノイズ成分も高いゲインで増幅されるため、チカチカ感の強い画像になる恐れがある。

【0062】

この問題を解決するために、本変形例３では、ＡＧＣ回路部１１３のゲインが高いほど制限領域３４０の下限値を低く設定した変換特性曲線を作成する。図１１を用いて説明すると、ＡＧＣ回路部１１３のゲインが高くなるにしたがって、制限領域３４０の下限値を２５５、２３０、２００のように低く設定する。制限領域３４０の最小値は、ＡＧＣ回路１１３のゲインが最大の時に画像の違和感が生じない値に設定する。そして、その下限値のそれぞれに対応する変換特性曲線３１２、変換特性曲線３１３、変換特性曲線３１４を作成する。逆の見方をすると、ＡＧＣ回路部１１３のゲインが高くない場合には、制限領域の下限値を上げることによって、輝度のダイナミックレンジを広くすることができる。変換特性曲線のそれぞれに対応する変換テーブルは、予め、記憶部１５０内に格納しておく。

【0063】

補正制御部２０４は、ＡＧＣ回路部１１３のゲインに基づいて変換テーブル２０５を選択する。ガンマ補正部２０３は、補正制御部２０４が選択した変換テーブル２０５を使用して入力された画像データの輝度を変換する。その結果、周囲の照度が低いほど最大輝度値が低い値となるように輝度が変換される。このように、最大輝度を下げることによって、ＡＧＣ回路１１３のゲインが非常に高くなった場合でも、ハレーションを起こしたような印象を与える画像となる恐れを低減する効果がある。また、高いゲインで増幅されたノイズに起因するチカチカ感も低減する効果がある。その一方、周囲の照度が低くない場合には、輝度のダイナミックレンジが広い画像を得ることができる。

【0064】

変形例３の技術では、ＡＧＣ回路１１３のゲインに対応した多くの変換テーブル２０５を準備していることが望ましい。しかし、記憶部１５０に記憶しておく変換テーブル２０５の数を増加すると、必要とするメモリ量も増大することになる。一方、関数引きで変換処理を行う場合は、演算処理負荷が重くなる場合がある。どちらの方式を選ぶかは、処理速度と処理負荷と必要とするメモリ量を考慮して決定する。

【0065】

（変形例４）
ＡＧＣ回路部１１３で増幅された後の輝度が低い領域には、画像を識別するために有効な情報はほとんど含まれておらず、カット領域の輝度を０に補正した方がエッジ効果により引き締まった印象を与える画像を得られると考えられる。実施形態１では、この考えに基づいて、カット領域３３０の上限値（閾値）を固定値（２０）とする場合について説明した。この技術的思想を拡張した変形例として、周囲の照度情報に基づいて、出力の輝度を０に補正するか否かを判別するための閾値を可変制御する技術について説明する。

【0066】

周囲が大変暗くＡＧＣ回路部１１３のゲインがかなり高い場合、ガンマ補正部２０３に入力される画像データの輝度がごく低い領域には、画像を識別するために有効な情報はほとんど含まれていない。ＡＧＣ回路部１１３のゲインが高いほど、この有効な情報を含まない輝度領域は広くなる。したがって、この画像を識別するために有効な情報をほとんど含まない輝度の領域をカット領域３３０としても失う情報はほとんど無い。周囲の輝度と閾値との対応付けは、閾値以下の情報が失われることによる画像の劣化と、エッジ効果による見やすさの向上との兼ね合いを考慮して決める。

【0067】

具体的な実現手段について、図１２を用いて説明する。周囲の照度が低い（ＡＧＣ回路部１１３のゲインが高い）ほど、図１２に示すカット領域を広く設定する。具体的には、周囲が暗くＡＧＣ回路部１１３のゲインが高いほど、閾値を（例えば２０よりも）高く設定する。また、周囲が明るくＡＧＣ回路部１１３のゲインが低いほど、閾値を（例えば２０よりも）低く設定する。そして、この閾値を満たす変換特性曲線（変換特性曲線３１５、変換特性曲線３１６、変換特性曲線３１７）を作成し、対応する変換テーブルを作成して記憶部１５０内に格納しておく。

【0068】

補正制御部２０４は、カット領域３３０の上限値である閾値の異なる変換テーブル２０５の中から、ＡＧＣ回路部１１３のゲインに基づいて、変換テーブル２０５を選択する。ガンマ補正部２０３は、選択された変換テーブル２０５を用いて、シャープ補正部２０２が出力した画像データの輝度値を変換する。具体的には、周囲の照度が低くＡＧＣ回路部１１３のゲインが高いほど、カット領域の上限値（閾値）が高い変換テーブル２０５を用いて、シャープ補正部２０２が出力した画像データを変換し、表示部１３０に供給する。その結果、暗所で撮像した画像をより引き締まった印象を与える画像に補正することができる。その一方、周囲の照度が低くない場合には、輝度のダイナミックレンジが広い画像を得ることができる。

【0069】

なお、周囲の照度情報に基づいて、変形例３で説明した制限領域の下限値と、変形例４で説明したカット領域の上限値の両方を制御することもできる。具体的には、周囲の照度が低いほど（ＡＧＣ回路部１１３のゲインが高いほど）、制限領域３４０の下限値を低く設定するとともに、カット領域３３０の上限値である閾値を高く設定する。図１３で説明すると、変換特性曲線３１５、変換特性曲線３１８、変換特性曲線３１９のように周囲の照度に対応する変換特性曲線を作成する。

【0070】

（その他）
なお、実施形態１の説明では、図４（ｂ）に示す補正パラメータＡ_２２以外のパラメータをＡ_ｉｊ＝−１に固定する場合について図４（ｃ）を用いて説明したが、補正パラメータＡの値も周囲の照度情報に基づいて可変制御してもよい。例えば、前述したように、ＡＧＣ回路部１１３のゲインが高くなると、図１０（ｂ）を用いて説明した高輝度領域３６１に該当する画素が増える。そのため、シャープ補正部２０２に入力される画像データの輝度は２５５に近い画素が増える。その２５５に近い輪郭線に該当する画素の輝度値を高くするために、補正に使用するパラメータＹを大きくしても輝度値は２５５以上にはならない。したがって、輪郭線に該当する画素と輪郭線の周囲の画素との輝度差を大きくするために行うシャープ補正の効果が働かない。このような状況を考慮して、輪郭線に該当する画素の輝度値が高いほど補正パラメータＡに設定する値を小さくし、輪郭線に該当する画素の周囲８画素の輝度値を下げるように制御してもよい。

【0071】

以上、本発明の実施形態や変形例（以下「実施形態等」と記載する）について図面を参照して詳述してきたが、具体的な構成はこれらの実施形態等に限られるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれる。

【符号の説明】

【0072】

１００…撮像装置、１１０…画像データ生成部、１２０…操作部、１３０…表示部、１４０…外部Ｉ／Ｆ、１５０…記憶部、１６０…制御部、１６１…ＲＯＭ、１６２…ＲＡＭ、１６３…ＣＰＵ、１１１…光学系素子部、１１２…撮像素子部、１１３…ＡＧＣ回路部、１１４…Ａ／Ｄ変換部、１１５…照度取得部、２０１…ベイヤー補完部、２０２…シャープ補正部、２０３…ガンマ補正部、２０４…補正制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】