特許 7340772 撮像装置、および、画像調整方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-08-31

(45)【発行日】2023-09-08

(54)【発明の名称】撮像装置、および、画像調整方法

(51)【国際特許分類】

   H04N 23/72 20230101AFI20230901BHJP

   H04N 23/76 20230101ALI20230901BHJP

   H04N 25/78 20230101ALI20230901BHJP

【ＦＩ】

H04N23/72

H04N23/76

H04N25/78

【請求項の数】 11

(21)【出願番号】P 2019070554

(22)【出願日】2019-04-02

(65)【公開番号】P2020170917

(43)【公開日】2020-10-15

【審査請求日】2022-01-24

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】秦野 敏信

(72)【発明者】

【氏名】牧田 哲哉

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１２－１１９９９７（ＪＰ，Ａ）

【文献】特開２０１３－０５５４９５（ＪＰ，Ａ）

【文献】特開２００５－２４４５５９（ＪＰ，Ａ）

【文献】特開２０１６－０６６８９２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／７２

Ｈ０４Ｎ ２３／７６

Ｈ０４Ｎ ２５／７８

(57)【特許請求の範囲】

【請求項1】

被写体を撮像する際の明るさを調整する第１の明るさ調整部と、
前記第１の明るさ調整部により調整された明るさで撮像された前記被写体のアナログ画像信号の明るさを調整する第２の明るさ調整部と、
前記第２の明るさ調整部により調整された明るさの前記アナログ画像信号をＡ／Ｄ変換するＡ／Ｄ変換部と、
前記Ａ／Ｄ変換されたデジタル画像信号の明るさを調整する第３の明るさ調整部と、
前記第３の明るさ調整部により明るさ調整された前記デジタル画像信号における低照度部を、ガンマ特性を用いたリアルタイム変更調整によりゲインアップさせるゲインアップ調整部と、を含み、
前記第１の明るさ調整部は、露光時間を調整する露光時間調整部であり、
前記第２の明るさ調整部は、前記アナログ画像信号の出力振幅を調整するアナログゲイン調整部であり、
前記第３の明るさ調整部は、前記デジタル画像信号の出力振幅を調整するデジタルゲイン調整部であり、
前記ゲインアップ調整部は、前記デジタル画像信号のデジタルゲインが最大値近傍となるような低照度状態において、２つ以上のガンマ特性の混合処理による中間特性で前記低照度部を前記ゲインアップさせ、
前記ゲインアップ調整部は、前記２つ以上のガンマ特性の混合処理による中間特性で前記低照度部を前記ゲインアップさせる際に、前記２つ以上のガンマ特性の結果に対してそれぞれゲイン掛けした後、加算する構成に対して、２つ以上のゲイン係数の関係がαと１－α（α：０～１）としてαの値を調整する、撮像装置。

【請求項2】

前記２つ以上のゲイン係数の関係がαと１－α（α：０～１）としてαの値を調整するに際し、測光検出処理で得られた輝度レベルの値に相関性を持たせてαの値をリアルタイムに自動調整する、請求項１に記載の撮像装置。

【請求項3】

前記測光検出処理で得られた輝度レベルの値に相関性を持たせてαの値をリアルタイムに自動調整する際、目標輝度レベルの値に対して前記ゲイン係数α＝１となり、当該目標輝度レベルの減少に伴いαも徐々に減少し、任意設定の最小値に対して係数α＝０となるよう設定する、請求項２に記載の撮像装置。

【請求項4】

前記第１の明るさ調整部、前記第２の明るさ調整部、前記第３の明るさ調整部が明るさの調整を行う際、前記被写体の明るさに対して前記ガンマ特性を用いた前記リアルタイム変更調整を開始するときの明るさレベルを調整するために、前記デジタルゲイン調整部の値を最大値から任意の値に低下させた値に調整することで、前記ゲイン係数αが変化し始める明るさポイントを設定する、請求項１～３の何れか１項に記載の撮像装置。

【請求項5】

前記２つ以上のガンマ特性の設定は、それぞれ任意に設定可能である、請求項１～４の何れか１項に記載の撮像装置。

【請求項6】

被写体を撮像する際の明るさを調整する第１の明るさ調整部と、
前記第１の明るさ調整部により調整された明るさで撮像された前記被写体のアナログ画像信号の明るさを調整する第２の明るさ調整部と、
前記第２の明るさ調整部により調整された明るさの前記アナログ画像信号をＡ／Ｄ変換するＡ／Ｄ変換部と、
前記Ａ／Ｄ変換されたデジタル画像信号の明るさを調整する第３の明るさ調整部と、
前記第３の明るさ調整部により明るさ調整された前記デジタル画像信号における低照度部を、ガンマ特性を用いたリアルタイム変更調整によりゲインアップさせるゲインアップ調整部と、を含み、
前記第１の明るさ調整部は、露光時間を調整する露光時間調整部であり、
前記第２の明るさ調整部は、前記アナログ画像信号の出力振幅を調整するアナログゲイン調整部であり、
前記第３の明るさ調整部は、前記デジタル画像信号の出力振幅を調整するデジタルゲイン調整部であり、
前記第１の明るさ調整部、前記第２の明るさ調整部、前記第３の明るさ調整部が明るさの調整を行う際、前記被写体の明るさに対して前記ガンマ特性を用いた前記リアルタイム変更調整を開始するときの明るさレベルを調整するために、前記デジタルゲイン調整部の値を最大値から任意の値に低下させた値に調整することで、ゲイン係数αが変化し始める明るさポイントを設定する、撮像装置。

【請求項7】

前記ゲインアップ調整部は、前記デジタル画像信号のデジタルゲインが最大値近傍となるような低照度状態において、２つ以上のガンマ特性の混合処理による中間特性で前記低照度部を前記ゲインアップさせる、請求項６に記載の撮像装置。

【請求項8】

前記ゲインアップ調整部は、前記２つ以上のガンマ特性の混合処理による中間特性で前記低照度部を前記ゲインアップさせる際に、前記２つ以上のガンマ特性の結果に対してそれぞれゲイン掛けした後、加算する構成に対して、２つ以上のゲイン係数の関係がαと１－α（α：０～１）としてαの値を調整する、請求項７に記載の撮像装置。

【請求項9】

前記２つ以上のゲイン係数の関係がαと１－α（α：０～１）としてαの値を調整するに際し、測光検出処理で得られた輝度レベルの値に相関性を持たせてαの値をリアルタイムに自動調整する、請求項８に記載の撮像装置。

【請求項10】

前記２つ以上のガンマ特性の設定は、それぞれ任意に設定可能である、請求項７～９のいずれか１項に記載の撮像装置。

【請求項11】

被写体を撮像する際の明るさを調整する第１の明るさ調整工程と、
前記第１の明るさ調整工程により調整された明るさで撮像された前記被写体のアナログ画像信号の明るさを調整する第２の明るさ調整工程と、
前記第２の明るさ調整部により調整された明るさの前記アナログ画像信号をＡ／Ｄ変換するＡ／Ｄ変換工程と、
前記Ａ／Ｄ変換されたデジタル画像信号の明るさを調整する第３の明るさ調整工程と、
前記第３の明るさ調整工程により明るさ調整された前記デジタル画像信号における低照度部を、ガンマ特性を用いたリアルタイム変更調整によりゲインアップさせるゲインアップ調整工程と、を含み、
前記ゲインアップ調整工程は、前記デジタル画像信号のデジタルゲインが最大値近傍となるような低照度状態において、２つ以上のガンマ特性の混合処理による中間特性で前記低照度部を前記ゲインアップさせ、
前記ゲインアップ調整工程は、前記２つ以上のガンマ特性の混合処理による中間特性で前記低照度部を前記ゲインアップさせる際に、前記２つ以上のガンマ特性の結果に対してそれぞれゲイン掛けした後、加算する構成に対して、２つ以上のゲイン係数の関係がαと１－α（α：０～１）としてαの値を調整する、画像調整方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、撮像装置、および、画像調整方法に関する。

【背景技術】

【0002】

近年、自動車業界において、自動運転を実現するためのセンシング技術開発が活況を呈している。代表的な画像情報入力装置である車載カメラは、小型で車両デザインを重視した自由な配置で取り付けできることが望まれ、運転者はもちろん車両ＥＣＵ（Electronic Control Unit）は、車載カメラの映像情報により、車両の後方はもとより、車両の全周囲にわたっての車外状況を視認・検知できるようになってきている。

【0003】

このような車載カメラにおいては、昼夜問わず視認性の高い映像を出力するもの、例えば、夜間における路面上の障害物被写体の視認性を人の視覚以上にあげてかつ、ヘッドライトなどのスポット高輝度被写体の視認性も担保して、運転者の画像視認による安全確認ができるようにするものが望まれている。

【0004】

そして、入力信号のダイナミックレンジを広げる方法として、Ａ／Ｄ変換後の信号処理のダイナミックレンジを規定設定するに際し、一回の露光データに対して、第２の高ゲインと第１の低ゲインの比をＡＤ変換器のダイナミックレンジに乗じた値を信号処理のダイナミックレンジとして規定設定する技術が開示されている（例えば、特許文献１）。

【0005】

また、入力した画像信号から所定の出力ビット長の輝度信号及び色差信号を出力する画像信号処理装置において、入力した画像信号のダイナミックレンジを拡張する増幅手段と、ダイナミックレンジが拡張された画像信号に基づいてＲＧＢ信号を算出する手段と、ＲＧＢ信号に対してＲＧＢγ補正を行ない、出力ビット長よりもビット拡張した信号として出力するＲＧＢγ補正手段と、ＲＧＢγ補正手段によりビット拡張されたＲＧＢ信号に基づいて輝度信号及び色差信号を算出する変換手段と、算出された輝度信号の出力レベルが出力ビット長に収まるように非線形補正を行なう非線形補正手段を備える技術が開示されている（例えば、特許文献２）。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００２－３３９５６号公報

【文献】国際公開第２００７／１０８３１７号

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、上記特許文献１、２では、撮像装置の動画出力に対してガンマ特性を有効活用することにより夜間の視認性を人の視覚以上にリアルタイムに向上させることに関しては考えられていない。

【0008】

そこで本開示は、上記課題に鑑み、撮像装置の動画出力に対してガンマ特性を有効活用することにより夜間の視認性を人の視覚以上にリアルタイムに向上させる技術を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記課題を解決するために本開示の撮像装置は、被写体を撮像する際の明るさを調整する第１の明るさ調整部と、前記第１の明るさ調整部により調整された明るさで撮像された前記被写体のアナログ画像信号の明るさを調整する第２の明るさ調整部と、前記第２の明るさ調整部により調整された明るさの前記アナログ画像信号をＡ／Ｄ変換するＡ／Ｄ変換部と、前記Ａ／Ｄ変換されたデジタル画像信号の明るさを調整する第３の明るさ調整部と、前記第３の明るさ調整部により明るさ調整された前記デジタル画像信号における低照度部を、ガンマ特性を用いたリアルタイム変更調整によりゲインアップさせるゲインアップ調整部と、を含み、前記第１の明るさ調整部は、露光時間を調整する露光時間調整部であり、前記第２の明るさ調整部は、前記アナログ画像信号の出力振幅を調整するアナログゲイン調整部であり、前記第３の明るさ調整部は、前記デジタル画像信号の出力振幅を調整するデジタルゲイン調整部であり、前記ゲインアップ調整部は、前記デジタル画像信号のデジタルゲインが最大値近傍となるような低照度状態において、２つ以上のガンマ特性の混合処理による中間特性で前記低照度部を前記ゲインアップさせ、前記ゲインアップ調整部は、前記２つ以上のガンマ特性の混合処理による中間特性で前記低照度部を前記ゲインアップさせる際に、前記２つ以上のガンマ特性の結果に対してそれぞれゲイン掛けした後、加算する構成に対して、２つ以上のゲイン係数の関係がαと１－α（α：０～１）としてαの値を調整する。

【0013】

また、本開示の撮像装置は、前記２つ以上のゲイン係数の関係がαと１－α（α：０～１）としてαの値を調整するに際し、測光検出処理で得られた輝度レベルの値に相関性を持たせてαの値をリアルタイムに自動調整する。

【0014】

また、本開示の撮像装置は、前記測光検出処理で得られた輝度レベルの値に相関性を持たせてαの値をリアルタイムに自動調整する際、目標輝度レベルの値に対して前記ゲイン係数α＝１となり、当該目標輝度レベルの減少に伴いαも徐々に減少し、任意設定の最小値に対して係数α＝０となるよう設定する。

【0015】

また、本開示の撮像装置は、前記第１の明るさ調整部、前記第２の明るさ調整部、前記第３の明るさ調整部が明るさの調整を行う際、前記被写体の明るさに対して前記ガンマ特性を用いた前記リアルタイム変更調整を開始するときの明るさレベルを調整するために、前記デジタルゲイン調整部の値を最大値から任意の値に低下させた値に調整することで、前記ゲイン係数αが変化し始める明るさポイントを設定する。

【0016】

また、本開示の撮像装置は、前記２つ以上のガンマ特性の設定は、それぞれ任意に設定可能である。

【0017】

また、本開示の画像調整方法は、被写体を撮像する際の明るさを調整する第１の明るさ調整工程と、前記第１の明るさ調整工程により調整された明るさで撮像された前記被写体のアナログ画像信号の明るさを調整する第２の明るさ調整工程と、前記第２の明るさ調整部により調整された明るさの前記アナログ画像信号をＡ／Ｄ変換するＡ／Ｄ変換工程と、前記Ａ／Ｄ変換されたデジタル画像信号の明るさを調整する第３の明るさ調整工程と、前記第３の明るさ調整工程により明るさ調整された前記デジタル画像信号における低照度部を、ガンマ特性を用いたリアルタイム変更調整によりゲインアップさせるゲインアップ調整工程と、を含み、前記ゲインアップ調整工程は、前記デジタル画像信号のデジタルゲインが最大値近傍となるような低照度状態において、２つ以上のガンマ特性の混合処理による中間特性で前記低照度部を前記ゲインアップさせ、前記ゲインアップ調整工程は、前記２つ以上のガンマ特性の混合処理による中間特性で前記低照度部を前記ゲインアップさせる際に、前記２つ以上のガンマ特性の結果に対してそれぞれゲイン掛けした後、加算する構成に対して、２つ以上のゲイン係数の関係がαと１－α（α：０～１）としてαの値を調整する。

【発明の効果】

【0018】

本開示によれば、撮像装置の動画出力に対してガンマ特性を有効活用することにより夜間の視認性を人の視覚以上にリアルタイムに向上させる技術を提供することができる。

【図面の簡単な説明】

【0019】

【図1】本開示の実施形態に係る代表的な撮像装置の信号処理機能の構成を示す図である。

【図2】本開示の実施形態に係る輝度信号調整処理部の内部構成を示す図である。

【図3】本開示の実施形態に係る２つ以上の入出力非線形特性の混合処理による低照度部のゲインアップを説明するための図である。

【図4】本開示の実施形態に係る明るさ調整機能の環境照度に対する連携動作を説明するための図である。

【発明を実施するための形態】

【0020】

以下、本開示の実施形態に係る撮像装置について説明する。

【0021】

（撮像装置の信号処理機能の構成）
まず、本開示の実施形態に係る代表的な撮像装置の信号処理機能の構成について、図１を用いて説明する。

【0022】

撮像装置１は、前処理部１０と、後処理部２０を備える。前処理部１０は、イメージセンサ露光時間調整部１１、アナログゲイン調整部１２、Ａ／Ｄ変換処理部１３、デジタルゲイン調整部１４、ＷＤＲ（Wide Dynamic Range）撮像入力データ合成処理部１５を含む。

【0023】

撮像装置１の信号処理機能は、イメージセンサを介して撮像された被写体の光学像のアナログ画像信号をデジタル画像信号に変換して輝度信号と色信号を出力するデジタルカメラである。

【0024】

撮像装置１に設けられるイメージセンサ（図示なし）は、ＣＣＤ（Charge Coupled Device）型又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）型等に代表されるイメージセンサである。

【0025】

イメージセンサの受光面に結像された被写体の光学像のアナログ画像信号は、イメージセンサ内に２次元配置された各フォトダイオード（画素）によって入射光量に応じた量の信号電荷に変換さる。

【0026】

そして、図示しないドライバ回路から与えられるパルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。

【0027】

イメージセンサに設けられたイメージセンサ露光時間調整部１１は、シャッタゲートパルスのタイミング制御によって各フォトダイオード（画素）の電荷蓄積時間（シャッタスピード）を調整する露光時間調整（電子シャッター）機能（第１の明るさ調整）を有している。イメージセンサの動作（露光時間、読み出し等）はＣＰＵ（図示なし）により制御される。イメージセンサからは、アナログ画像信号がアナログゲイン調整部１２に出力される。

【0028】

アナログゲイン調整部１２は、入力されたアナログ画像信号の出力振幅をゲイン調整することにより明るさ調整（第２の明るさ調整）する。明るさ調整後のアナログ画像信号は、Ａ／Ｄ変換処理部１３に出力される。

【0029】

Ａ／Ｄ変換処理部１３は、入力されたアナログ画像信号をＡ／Ｄ変換によりデジタル画像信号に変換する。変換されたデジタル画像信号は、デジタルゲイン調整部１４に出力される。

【0030】

デジタルゲイン調整部１４は、入力されたデジタル画像信号の出力振幅を調整することにより明るさ調整（第３の明るさ調整）する。

【0031】

以上により、イメージセンサ露光時間調整部１１による第１の明るさ調整と、アナログゲイン調整部１２による第２の明るさ調整と、デジタルゲイン調整部１４による第３の明るさ調整と、を組み合わせて画像信号の明るさを調整することにより、被写体の撮像環境における照度変化に対応することができる。

【0032】

被写体の撮像環境の照度が明るい場合、前処理部１０において、イメージセンサ露光時間調整部１１による露光時間調整により露光時間を短くし、アナログゲイン調整部１２によりアナログゲインを小さくし、デジタルゲイン調整部１４によりデジタルゲインを小さくする。このようにして、被写体の撮像環境の照度が明るい場合において、所望のデジタルデータ値の明るさをもつ画像データを後処理部２０へ出力することができる。

【0033】

一方、被写体の撮像環境の照度が暗い場合、前処理部１０において、イメージセンサ露光時間調整部１１による露光時間調整により露光時間を長くし、アナログゲイン調整部１２によりアナログゲインを大きくし、デジタルゲイン調整部１４によりデジタルゲインを大きくする。このようにして、被写体の撮像環境の照度が明るい場合において、所望のデジタルデータ値の明るさをもつ画像データを後処理部２０へ出力することができる。

【0034】

前処理部１０におけるイメージセンサ露光時間調整部１１による第１の明るさ調整、アナログゲイン調整部１２による第２の明るさ調整、デジタルゲイン調整部１４による第３の明るさ調整により出力レベルが調整された画像信号（画像データ）はＷＤＲ撮像入力データ合成処理部１５に入力される。

【0035】

従来のイメージセンサは、１つの露光時間により撮像された画像信号を１フレーム毎に出力するものが主流であったが、近年、ワイドダイナミックレンジ（ＷＤＲ）対応、ハイダイナミックレンジ（ＨＤＲ）対応のセンサが主流になってきている。これらのセンサによる読み出し制御の特徴としては、１フレーム毎に２種類の露光時間で撮像を行うことにより明るさの違う２種類の画像信号を並列出力できることである。

【0036】

また、アナログゲイン調整部１２とＡ／Ｄ変換処理部１３を２つ具備し、各々の調整値を２種類の異なる値に設定することにより、明るさの異なる２種類の画像信号を同時並列出力することができる。

【0037】

ＷＤＲ撮像入力データ合成処理部１５は、同時に並列出力される明るさの違う画像信号を合成して１系統の合成画像信号を生成し、合成した合成画像信号（合成画像データ）を後処理部（カラー画像処理部）２０に出力する。

【0038】

後処理部２０は、輝度信号調整処理部（ゲインアップ調整部）２１と色信号調整処理部２２と測光輝度レベル検出処理部（図示なし）で構成される。この後処理部２０による調整は、ＣＰＵにより制御される。

【0039】

輝度信号調整処理部２１は、主に同時化処理（カラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理）、ガンマ補正処理、輝度信号生成処理、輪郭強調処理、オフセットレベル調整処理等の各種処理を実施する。また、輝度信号調整処理部２１には、ガンマ特性（非線形特性）入出力調整部２１ａを備える。

【0040】

色信号調整処理部２２は、主に同時化処理（カラーフィルタ配列に伴う色信号の空間的なズレを補間して各点の色を計算する処理）、ホワイトバランス（ＷＢ）調整処理、色ガンマ補正処理、色信号調整処理等の各種処理を実施する。

【0041】

測光輝度レベル検出部は、後処理部２０に入力された合成画像信号の輝度レベルを検出する測光検出処理を実施する。なお、測光輝度レベル検出部による測光検出処理は、輝度信号調整処理部２１の前段で実施される場合と、輝度信号調整処理部２１における処理として実施される場合がある。

【0042】

（後処理部２０における輝度信号調整処理部２１の内部構成）
次に、後処理部２０における輝度信号調整処理部２１の内部構成を、図２を用いて説明する。

【0043】

後処理部２０における合成画像データの画像調整は、輝度信号調整処理部２１におけるガンマ特性入出力調整部２１ａで行われる。

【0044】

一般的には、入力された画像信号の入力値に対して非線形な出力特性をもたせて出力することができ、入力された画像データのうち小レベルの画像データを持ち上げてかつ大レベルの画像データを抑えて弧を描くガンマ補正の非線形特性曲線を１種類有している。

【0045】

しかしながら、本開示の実施形態では、ガンマ補正の非線形特定曲線として２種類の非線形特性曲線を有しており、同時並列処理が可能である。２種類の非線形特性曲線における第１の非線形特性曲線に対して第２の非線形特性曲線は、第１の非線形特性曲線よりも相対的に入力された画像データにおける小レベルの画像信号をより持ち上げ、かつ、画像データにおける大レベルの画像信号をより抑えて弧を描くガンマ補正の非線形特性曲線である。

【0046】

この２種類の非線形特性曲線を用いて非線形特性のリアルタイム変更調整を行うにあたり、２つの入出力非線形特性出力の混合処理により、２種類の非線形特性曲線の中間非線形特性で低照度部のゲインアップ調整を行うことができる構成をとる。

【0047】

２つの非線形特性曲線の中間非線形特性曲線を可変できるゲインアップ調整を行うにあたり、２つの非線形特性結果にそれぞれのゲインを掛けた後、加算する構成をとることにより、２つのゲイン係数の関係がαと１-α（α：０～１）としてαの値を調整する。２つのゲイン係数であるαと１-αは、係数を加算することにより１になるように設定することが調整の特徴である。

【0048】

（２つ以上の入出力非線形特性の混合処理による低照度部のゲインアップ）
次に、本開示の実施形態に係る２つ以上の入出力非線形特性の混合処理による低照度部のゲインアップについて図３を用いて説明する。

【0049】

この図３において、昼間に撮像された画像データのガンマ特性がガンマ特性［１］、もしくは、ガンマ特性［１］´である。また、低照度部のゲインをアップして夜間の視認性を高くした夜間のガンマ特性がガンマ特性［２］の非線形特性である。このグラフのＸ軸は入力信号データレベルを示し、Ｙ軸が出力信号データレベルを示す。

【0050】

ＷＤＲ撮像入力データ合成処理部１５から明るさの異なる２種類の画像データを合成して１系統の合成データとして出力された合成画像データは、輝度信号調整処理部２１のガンマ特性入出力調整部２１ａに入力される。

【0051】

その際、ガンマ特性入出力調整部２１ａに入力される合成画像データの入力信号のレンジは、その最大値が図３に示す入力信号データレンジの最大値に合うように調整されて入力される。

【0052】

入力される合成画像データに非線形特性を持たせる際、例えば、入力データ範囲を大きく３つに分け、低照度部（ＷＤＲ撮像データＬ（Ｌｏｗ））、中間照度部（ＷＤＲ撮像データＭ（Ｍｉｄｄｌｅ））、高照度部（ＷＤＲ撮像データＨ（Ｈｉｇｈ））として、非線形特性グラフの変化に対して特徴づけを行う。このようにすることで、第１の非線形特性曲線に対して第２の非線形特性曲線は相対的に画像データにおける小レベルの画像信号をより持ち上げて、かつ、画像データにおける大レベルの画像信号をより抑えて弧を描く非線形特性をとる。

【0053】

また、［１］に示す非線形特性と［２］に示す非線形特性を２つのゲイン係数となるαと、１－α（加算して１となる）と、を設定し、それぞれの非線形特性出力に乗算して加算することにより［１］の非線形特性と［２］の非線形特性の中間特性として出力することができる。

【0054】

また、昼間のガンマ特性を［１］´として調整することにより、［１］´の非線形特性と［２］の非線形特性の中間特性として出力することができる。

【0055】

そして、２つの非線形特性の中間特性を生成する際、係数αを０から少しずつ増加させることにより、画像の変化として滑らかに変更することができる。

【0056】

図４は、本開示の実施形態に係る明るさ調整機能の環境照度に対する連携動作を説明するための図である。

【0057】

まず、連携動作を実現する従来からの一般的な一例を図４に基づいて説明する。

【0058】

環境照度の変化に対する撮像装置１の自動明るさ調整機能の動作は、イメージセンサの露光時間調整機能とアナログゲイン調整機能とデジタルゲイン調整機能が連動して動作する。

【0059】

図４において左に行くにしたがい環境照度の明るい状態（昼間）となり、右に行くにしたがい環境照度が暗い状態（夜間）を示している。

【0060】

ここで、環境照度が明るい状態から徐々に暗い状態に遷移していく際の、一般的な撮像装置による自動明るさ調整機能の動作について説明する。

【0061】

まず、明るい時はイメージセンサの露光時間調整が動作してイメージセンサの露光時間の出力レベルが所望の値に収束するように動作する。このとき、アナログゲイン調整値は最小値であり、デジタルゲイン調整値も最小値である（第１の状態）。

【0062】

上記第１の状態よりさらに暗くなるのに従い、イメージセンサの露光時間の出力レベルが最大値である１／３０秒（３０ｆｐｓ動作）となる。続いて、アナログゲイン調整値が最小値から徐々に大きくなり、Ａ／Ｄ変換処理部１３に入力される画像信号のレベルが所望の値に収束するように動作する（第２の状態）。

【0063】

上記第２の状態よりさらに暗くなるのに従い、イメージセンサの露光時間が最大値である１／３０秒（３０ｆｐｓ動作）となり、アナログゲイン調整値も最大値となる。続いて、デジタルゲイン調整値が最小値から徐々に大きくなり、Ａ／Ｄ変換処理部１３によるＡ／Ｄ変換後の画像信号が所望の値に収束するように動作する（第３の状態）。

【0064】

上記第３の状態よりさらに暗くなるのに従い、イメージセンサの露光時間が最大値である１／３０秒（３０ｆｐｓ動作）となり、アナログゲイン調整値も最大値、デジタルゲイン調整値も最大値となる。よって、Ａ／Ｄ変換後の画像信号は所望の値に収束しない。そして、さらに暗くなるにしたがって信号データは黒レベル値に近づいていく（第４の状態）。

【0065】

このように、一般的な撮像装置では、環境照度が明るい状態から暗い状態に繊維していく場合、上記第１の状態～第４の状態による連携動作で明るさ調整を行う。

【0066】

逆に環境照度が暗い状態（夜間）から徐々に明るい状態（昼間）へ遷移する場合、上記第１の状態～第４の状態とは逆の連携動作を行う。

【0067】

具体的には、上記第４の状態から明るくなるのに従い、画像信号のレベルが黒レベルから徐々に大きくなり、Ａ／Ｄ変換後の画像信号は所望の値に近づいてくる（第５の状態）。

【0068】

上記第５の状態からさらに明るくなるのに従い、デジタルゲイン調整値はＭＡＸ値から徐々に小さくなるように調整し、Ａ／Ｄ変換後の画像信号が所望の値に収束するように動作する（第６の状態）。

【0069】

上記第６の状態からさらに明るくなるのに従い、デジタルゲイン調整値はＭＩＮ値となり、続いて、アナログゲイン調整値が最大値から徐々に小さくなり、Ａ／Ｄ変換処理部１３に入力される画像信号のレベルが所望の値に収束するように動作する（第７の状態）。

【0070】

上記第７の状態からさらに明るくなるのに従い、デジタルゲイン調整値とアナログゲイン調整値がＭＩＮ値となり、続いて、イメージセンサの露光時間の最大値の１／３０秒（３０ｆｐｓ動作）から徐々に小さくなり、イメージセンサの露光時間の出力レベルが所望の値に収束するように動作する（第８の状態）。

【0071】

上記第８の状態からさらに明るくなるのに従い、イメージセンサの露光時間の出力レベルはＭＩＮ値となり、さらに明るくなるとイメージセンサ露光時間の出力レベルは飽和レベルに近づいていく。そして、所望の値に収束することができなくなり、白レベル値に近づいていく。また、Ａ／Ｄ変換前後の画像信号も飽和値に近づいていく（第９の状態）。

【0072】

上記第１の状態～第４の状態、および、上記第５の状態～第９状態に示した一般的なカメラの連携動作による明るさ調整においては、本開示であるガンマ特性（非線形特性）は１種類の特性であり、代表的な特性は図３に示す［１］のガンマ特性である。

【0073】

次に、連携動作を実現する本開示の調整方法に関して図４に基づいて説明する。

【0074】

まず、環境照度が明るい状態から徐々に暗い状態に遷移していく際の自動明るさ調整機能の動作について説明する。環境照度が明るい状態から徐々に暗い状態に遷移していく際の自動明るさ調整機能の動作は、上記第１の状態～第３の状態に示した動作と同じ動作を行う。

【0075】

次に上記第４の状態より、さらに暗くなるのに従い、イメージセンサの露光時間の出力レベルが最大値の１／３０秒（３０ｆｐｓ動作）となり、続いて、アナログゲイン調整値が最大値となり、続いて、デジタルゲイン調整値が最大値となる。よって、Ａ／Ｄ変換後の画像信号は所望の値に収束できない。そこで、さらに暗くなるのに従い、夜間の視認性を向上させる調整として２つのガンマ特性（非線形特性）を用いた混合処理により画像信号における入力信号データレンジの低照度側を持ち上げる動作を行う。

【0076】

上記混合処理では、使用する２つのゲイン係数の関係がαと１－α（α：０～１）としてαの値を調整するに対し、本開示の調整方法では、測光輝度レベル検出処理部の測光検出処理で得られた輝度レベルデータの値に相関性を持たせてαの値を自動調整する。

【0077】

図４では検出輝度レベルがＹ＝ＡからＹ＝Ｂに値が低下していく際、Ａの値に対応してα＝０、Ｂの値に対してα＝１を対応させる。そして、さらに暗くなるのに従い、徐々にＡからＢに向かって小さくなる輝度レベルの検出データ値に相関性をもたせる。これにより、輝度レベルの検出データ値の減少に対してαが０から１（ＭＡＸ値）に増加する増加特性として自動で変化させることができる。

【0078】

なお、Ａの値に対してα＝１と対応させた場合、さらに暗くなるのに従い、徐々に小さくなっていく輝度レベルの検出データ値に相関性をもたせる。これにより、輝度レベルの検出データ値の増加に対してαが１から０（ＭＩＮ値）に減少する減少特性としてαが１から０のＭＩＮ値に自動で変化させることができる。

【0079】

その後、さらに暗くなるのに従い、測光輝度レベル検出処理部の測光検出処理で得られた輝度レベルの検出データ値は、黒レベル値（Ｙ＝０）に近づいていく。

【0080】

測光輝度レベル検出処理部の測光検出処理で得られた輝度レベルの検出データ値に相関性を持たせて動作させるに際し、目標輝度レベルの値に対して上記ゲイン係数α＝０となり、目標輝度レベルの減少に伴いαを徐々に増加させ、任意設定の最小値に対して係数α＝１となるよう調整する。

【0081】

また、測光輝度レベル検出処理部の測光検出処理で得られた輝度レベルの検出データ値に相関性を持たせて動作させるに際し、目標輝度レベルの値に対して上記ゲイン係数α＝１となり、目標輝度レベルの減少に伴いαも徐々に減少させ、任意設定の最小値に対して係数α＝０となるよう調整する。

【0082】

次に環境照度が暗い状態から徐々に明るい状態に遷移していく際の自動明るさ調整機能の動作について説明する。

【0083】

まず、最も暗い状態より、徐々に明るい状態に遷移していくに従い、輝度レベルの検出データ値が黒レベル値より徐々に上昇する。

【0084】

さらに上昇し検出値がＢの値より大きくなると、夜間の視認性を向上させる調整である２つのガンマ特性（非線形特性）を用いた混合処理により入力信号データレンジの低照度側を持ち上げる動作を行う。

【0085】

上記混合処理では、使用する２つのゲイン係数の関係がαと１－α（α：０～１）として、再び測光輝度レベル検出処理部の測光検出処理で得られた輝度レベルデータの値に相関性を持たせてαの値を自動調整する。

【0086】

図４では検出輝度レベルがＹ＝ＢからＹ＝Ａに値が上昇していく際、Ｂの値に対してα＝１、Ａの値に対してα＝０、を対応させる。そして、さらに明るくなるのに従い、徐々にＢからＡに向かって大きくなる輝度レベルの検出データ値に相関性をもたせる。これにより、輝度レベルの検出データ値の増加に対してαが１から０（ＭＩＮ値）に減少する減少特性として自動で変化させることができる。

【0087】

なお、Ａの値に対してα＝１と対応させ、Ｂの値に対してα＝０と対応させた場合、さらに明るくなるのに従い徐々に大きくなっていく輝度レベルの検出データ値に相関性をもたせる。これにより、輝度レベルの検出データ値の増加に対してαが０から１（ＭＡＸ値）に増加する増加特性として自動で変化させることができる。

【0088】

その後、さらに明るくなるのに従い、測光輝度レベル検出処理部の測光検出処理で得られた輝度レベルの検出データ値は、露光時間調整機能、アナログゲイン調整機能、デジタルゲイン調整機能を用いた自動ゲイン調整収束状態により得られる値となる。

【0089】

その後、さらに明るくなるのに従い、一般的な撮像装置と同様に、上記第６の状態～第９の状態による状態遷移での自動調整連携動作となる。

【0090】

（付記事項）
撮像装置１による画像調整方法であって、電子シャッター（露光時間）調整、Ａ／Ｄ前ゲイン調整、Ａ／Ｄ後のデジタルゲイン調整を行うに際して、被写体の明るさに対して信号処理内部のガンマ特性機能を用いた入出力非線形特性のリアルタイム変更調整が開始する明るさレベルを調整するために、デジタルゲインのＭＡＸ値を任意の値に下げた値に調整することで、ゲイン係数αが変化し始める明るさポイントを設定することができる。

【0091】

撮像装置１による画像調整方法であって、夜間の低照度路面上障害物被写体の視認性を上げるとともに、ヘッドライトなどのスポット高輝度被写体の視認性も担保するため、ＷＤＲ（ワイドダイナミックレンジ）センサが撮像している複数のゲイン設定と露光設定より得られた複数の露光データの合成被写データをガンマ特性（入出力非線形特性）の入力信号データレンジ内の入るように調整し、映像信号処理出力データレンジ内で諧調を担保することにより、飽和クリップによる白とびを発生させずに照度のダイナミックレンジが非常に広く視認性を担保した好適な画像出力ができる撮像装置１を提供することができる。

【産業上の利用可能性】

【0092】

本開示によれば、撮像装置の動画出力に対してガンマ特性を有効活用することにより夜間の視認性を人の視覚以上にリアルタイムに向上させる技術を提供することができる。

【符号の説明】

【0093】

１ 撮像装置
１０ 前処理部
１１ イメージセンサ露光時間調整部
１２ アナログゲイン調整部
１３ Ａ／Ｄ変換処理部
１４ デジタルゲイン調整部
１５ ＷＤＲ撮像入力データ合成処理部
２０ 後処理部
２１ 輝度信号調整処理部
２１ａ ガンマ特性入出力調整部
２２ 色信号調整処理部

【図1】

【図2】

【図3】

【図4】