特許 6411644 ヒストグラム拡散を伴う自動車両カメラ装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6411644

(24)【登録日】2018年10月5日

(45)【発行日】2018年10月24日

(54)【発明の名称】ヒストグラム拡散を伴う自動車両カメラ装置

(51)【国際特許分類】

   G06T 5/00 20060101AFI20181015BHJP

   G06T 1/00 20060101ALI20181015BHJP

   G06T 5/40 20060101ALI20181015BHJP

   H04N 5/243 20060101ALI20181015BHJP

   H04N 5/235 20060101ALI20181015BHJP

【ＦＩ】

   G06T5/00 740

   G06T1/00 330A

   G06T5/40

   H04N5/243

   H04N5/235 100

【請求項の数】14

【全頁数】12

(21)【出願番号】特願2017-517762(P2017-517762)

(86)(22)【出願日】2015年10月2日

(65)【公表番号】特表2017-533505(P2017-533505A)

(43)【公表日】2017年11月9日

(86)【国際出願番号】EP2015072786

(87)【国際公開番号】WO2016050954

(87)【国際公開日】20160407

【審査請求日】2017年4月14日

(31)【優先権主張番号】102014114328.0

(32)【優先日】2014年10月2日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】514189527

【氏名又は名称】コノート、エレクトロニクス、リミテッド

【氏名又は名称原語表記】ＣＯＮＮＡＵＧＨＴ ＥＬＥＣＴＲＯＮＩＣＳ ＬＴＤ．

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100082991

【弁理士】

【氏名又は名称】佐藤 泰和

(74)【代理人】

【識別番号】100137523

【弁理士】

【氏名又は名称】出口 智也

(72)【発明者】

【氏名】マーク、パトリック、グリフィン

【審査官】 鹿野 博嗣

(56)【参考文献】

【文献】 米国特許出願公開第２０１３／００７６９７４（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００９／０２５１５６３（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００６／０２７４１６１（ＵＳ，Ａ１）

【文献】 特開２００９−０５８３７７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ５／００

Ｇ０６Ｔ １／００

Ｇ０６Ｔ ５／４０

Ｈ０４Ｎ ５／２３５

Ｈ０４Ｎ ５／２４３

(57)【特許請求の範囲】

【請求項1】

自動車両（３）用のカメラ装置（４）を動作させるための方法であって、
前記カメラ装置（４）の画像センサ（５）によって前記カメラ装置（４）の環境（８）の生画像（Ｒ）を与えるステップと、
画像処理装置（６）によって前記生画像（Ｒ）から出力画像（Ｉ）を生成するステップであって、前記画像処理装置は、ヒストグラム拡散（１２）の拡散関数（１３）を用いて、前記生画像（Ｒ）の各ピクセルのそれぞれの入力ピクセル値（Ｌｉ）から、前記出力画像（Ｉ）の対応するピクセルのそれぞれの１つの出力ピクセル値（Ｌｏ）を決定する、ステップと、
を含む方法において、
前記環境（８）の明るさ（Ｂ１，Ｂ２）に応じた前記カメラ装置（４）の少なくとも１つのパラメータ値（Ｓ，Ｇ）が取得され、取得された前記少なくとも１つのパラメータ値（Ｓ，Ｇ）に応じて前記出力ピクセル値（Ｌｏ）における限界値（Ｌ）が前記拡散関数（１３）で設定され、
前記拡散関数（１３）の限界値（Ｌ）は、前記出力画像（Ｉ）のピクセル値（Ｌｏ）のヒストグラム（Ｈｏ）がピクセル値（Ｌｏ）の最大可能ダイナミックレンジ（Ｄｍａｘ）よりも小さいダイナミックレンジ（Ｄｏ）を有するように設定されることを特徴とする方法。

【請求項2】

前記限界値（Ｌ）が前記生画像（Ｒ）の入力ピクセル値（Ｌｉ）のヒストグラム（Ｈｉ）とは無関係に設定されることを特徴とする請求項１に記載の方法。

【請求項3】

前記拡散関数（１３）により、前記入力ピクセル値（Ｌｉ）として、前記生画像（Ｒ）のピクセルの明度値（Ｌｉ）及び／又は明度がそれぞれ前記出力画像（Ｉ）の対応するピクセルの前記出力ピクセル値（Ｌｏ）に対してマッピングされることを特徴とする請求項１から２のいずれか一項に記載の方法。

【請求項4】

前記出力ピクセル値（Ｌｏ）に関して最小値が前記限界値（Ｌ）により設定されることを特徴とする請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記最小値が大きく設定されればされるほど、前記環境（８）が暗くなることを特徴とする請求項４に記載の方法。

【請求項6】

前記限界値（Ｌ）が段階的に切り換えられることを特徴とする請求項１から５のいずれか一項に記載の方法。

【請求項7】

第１の切り換えステップ（１８）が０．３ルクス〜０．８ルクスの範囲内であり、第２の切り換えステップが１．５ルクス〜２．５ルクスの範囲内であり、第３の切り換えステップが８ルクス〜１２ルクスの範囲内であり、前記第３の切り換えステップでは、前記限界値（Ｌ）が好ましくは最小値又は最大値に設定されることを特徴とする請求項６に記載の方法。

【請求項8】

前記少なくとも１つのパラメータ値が明度センサのセンサ値を含み、前記明度センサの取得範囲が前記環境へ向けられることを特徴とする請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記少なくとも１つのパラメータ値は、前記生画像（Ｒ）の生成時に調整される露光期間（Ｓ）を含むことを特徴とする請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記少なくとも１つのパラメータ値は、前記生画像（Ｒ）の生成時に調整される画像センサゲイン（Ｇ）を含むことを特徴とする請求項１から９のいずれか一項に記載の方法。

【請求項11】

前記少なくとも１つのパラメータ値は、前記生画像（Ｒ）の生成時に調整される絞り値（Ａ）を含むことを特徴とする請求項１から１０のいずれか一項に記載の方法。

【請求項12】

前記画像センサ（５）の温度（Ｔ）が取得され、取得された温度（Ｔ）に応じて前記限界値（Ｌ）が設定されることを特徴とする請求項１から１１のいずれか一項に記載の方法。

【請求項13】

自動車両（３）用のカメラ装置（４）であって、
前記カメラ装置（４）の環境（８）の生画像（Ｒ）を与えるための画像センサ（５）と、
ヒストグラム拡散（１２）に基づいて前記生画像（Ｒ）から出力画像（Ｉ）を生成するための画像処理装置（６）と、
を含むカメラ装置（４）において、
前記カメラ装置（４）は、請求項１から１２のいずれか一項に記載の方法を行うようになっていることを特徴とするカメラ装置（４）。

【請求項14】

請求項１３に記載の少なくとも１つのカメラ装置（４）を伴う自動車両（３）。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、自動車両用のカメラ装置を動作させるための方法に関する。カメラ装置の環境の生画像は、カメラ装置の画像センサによって与えられる。画像処理装置により、出力画像がヒストグラム拡散に基づいて生画像から生成される。方法を行うためのカメラ装置及びカメラ装置を伴う自動車両も本発明と関連付けられる。

【背景技術】

【0002】

画像センサを用いて生画像を生成する際には、この生画像が望ましくないほど低いダイナミックレンジを有する可能性がある。生画像が、例えば、そのピクセル値がそれぞれ明度ごとに８ビットにより或いは輝度値又は明度値に関して８ビットにより表されるピクセルを有する場合、各色における又は明るさにおける各ピクセルは、実質的に全部で２５６個の異なる値、例えば０〜２５５のピクセル値を有し得る。それに対応して、画像センサの生画像には、そのピクセル値が最も小さい最も暗いピクセルと、そのピクセル値が最も大きい最も明るいピクセルとが存在する。最も暗いピクセルと最も明るいピクセルとによって制限される値区間が生画像のダイナミックレンジに相当する。例えば、最も暗いピクセルが３０の明度値を有するとともに最も明るいピクセルが１２０の明度値を有する場合には、生画像が３０〜１２０のダイナミックレンジを有する。これは、０から２５５にまで及ぶ最大可能ダイナミックレンジ（８ビットピクセル値を伴う）よりも低い。

【0003】

ダイナミックレンジを向上させるためにヒストグラム拡散が知られており、このヒストグラム拡散は、拡散関数を用いて、生画像の各ピクセルのそれぞれの入力ピクセル値から、出力画像の対応するピクセルのそれぞれの１つの出力ピクセル値を決定する。その結果、出力画像を生画像の代わりに更に使用することができる。従来技術では、最も暗いピクセル、一例では値３０が値０に対してマッピングされるように拡散関数を設計することが知られている。最も明るいピクセル、一例では値１２０が、最大可能ピクセル値に対して、したがって例えば２５５に対してマッピングされる。したがって、ピクセルは、最も暗いピクセルと最も明るいピクセルとの間で、拡散関数により、例えば線形補間により又はいわゆるＳ字カーブにより補間される。ヒストグラム拡散により、出力画像中の画像コントラストは、生画像と比べて向上する。

【0004】

自動車両用カメラ装置を使用する際には、全ての状況で画像コントラストは重要でない。ヒストグラム拡散による画像コントラストの向上によって画像領域の認識可能性が悪化される状況が観察されてきた。これにより、自動車両のドライバーは、例えば自動車両を駐車させるための支援としてカメラ装置をもはや使用できなくなる。とりわけ、特に低い周辺光の場合、したがって自動車両の環境の明るさが所定の閾値を下回る場合には、ヒストグラム拡散により、既に比較的暗い生画像中の画像領域がヒストグラム拡散によって更に暗くされることが確認されてきた。その結果、ドライバーは、出力画像中の画像細部をもはや認識できない。

【0005】

現在の視覚システムは、画像に対するヒストグラムストレッチングを単純な有効無効機能として可能する場合がある。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は、カメラ装置におけるヒストグラム拡散を捕捉状況に適合させるという目的に基づく。

【課題を解決するための手段】

【0007】

目的は独立請求項の主題によって解決される。本発明の有利な進展は、従属請求項の特徴から明らかである。

【0008】

本発明によれば、自動車両用のカメラ装置を動作させるための方法が提供される。カメラ装置の画像センサ、例えば、白黒画像センサ又はカラー画像センサ又は赤外線画像センサにより、カメラ装置の環境の生画像が与えられる。生画像は、例えば、車両外部又は車両内部の環境領域を表すことができる。また、画像センサは、生画像シーケンスを生成するビデオ画像センサであってもよい。ここでは、方法をそれぞれの生画像ごとに個別に行うことができる。生画像は例えばＸ×Ｙピクセルのサイズを有することができ、その場合、Ｘ及びＹはそれぞれ例えば４０〜６００の範囲内となり得る。

【0009】

出力画像が画像処理装置によって生画像から生成される。画像処理装置は、例えば、カメラハウジングに組み込まれるコントローラ又は回路であってもよい。画像処理装置は、例えば、ＤＳＰ（デジタル信号プロセッサ）又はマイクロコントローラを有することができる。画像処理装置は、生画像の各ピクセルのそれぞれの入力ピクセル値から、出力画像の対応するピクセルのそれぞれの１つの出力ピクセル値を決定する。ここで、対応するとは、ピクセルが同じ画像座標又はピクセル座標を有することができることを意味する。画像処理装置は、ヒストグラムストレッチング又はヒストグラム拡散のストレッチング関数又は拡散関数を使用する。既に説明したように、拡散関数は、例えば、線形又は直線拡散関数或いはＳ字カーブ関数であってもよい。

【0010】

本発明に係る方法では、環境の明るさに応じたカメラ装置の少なくとも１つのパラメータ値が取得される。したがって、少なくとも１つのパラメータ値は、環境の明るさと関連がある。少なくとも１つの取得されたパラメータ値に応じて、出力ピクセル値における少なくとも１つの限界値が拡散関数で設定される。したがって、例えば最大値及び／又は最小値を設定できる。言い換えると、出力画像は、最も暗いピクセル及び／又は最も明るいピクセルがそれぞれ限界値によって制限されるピクセルを有し、最も暗いピクセルの場合には下端が又は最も明るいピクセルの場合には上端がそれぞれの限界値によって制限される。

【0011】

また、自動車両用のカメラ装置は、本発明に係る方法の一実施形態を行うようになっている発明とも関連付けられる。このため、カメラ装置は、生画像を与えるための画像センサを有し、この画像センサは、カメラ装置の環境を表す又は撮像する。更に、カメラ装置は、生画像から出力画像を生成するための画像処理装置を有し、この場合、出力画像は、ヒストグラム拡散に基づいて生成される。ここで、カメラ装置は、本発明に係る方法の一実施形態を行う。

【0012】

本発明により、環境の明るさに応じた少なくとも１つのパラメータ値に基づいて、生画像が生成された捕捉状況の光が低い又は高いかどうかが信号で伝えられるという利点が生じる。その結果、これに対応して、ヒストグラム拡散は、以下の状況が生じるように限界値により適合され得る。したがって、環境の明るさの明度値が所定の最小値よりも小さい場合には、０よりも大きい限界値によって、特に、生画像中で既に非常に暗い画像領域が出力画像中でかなり暗く見えることを防止される。同様に、最大値よりも小さい対応する限界値により、生画像の明るい画像領域がかなり明るく見え、それにより、出力画像中で露出オーバーにされ、その結果、認識が難しくなることが防止される。

【0013】

本発明の一実施形態において、拡散関数の限界値は、出力画像のピクセル値のヒストグラムがピクセル値の最大可能ダイナミックレンジよりも小さいダイナミックレンジを有するように設定される。これにより、最初に説明されたように幾つかの露光状況で不都合となり得る画像コントラストの最大化が回避される。

【0014】

本発明の一実施形態において、限界値は、生画像の入力ピクセル値のヒストグラムとは無関係に設定される。言い換えると、生画像のダイナミックレンジは限界値に何ら影響を与えない。これにより、好適には、出力画像のピクセルの最小明度が確保される。

【0015】

本発明の一実施形態では、拡散関数により、入力ピクセル値として、生画像のピクセルの明度値及び／又は明度がそれぞれ出力画像の対応するピクセルの出力ピクセル値に撮像される。ピクセルの輝度である明度値に対する拡散関数の適用は、湾曲した拡散関数を伴う場合でさえ色歪みを回避できるという利点を有する。明度における拡散関数の使用は、赤、緑、青（ＲＧＢ）の明度を示す生画像のピクセルのピクセル値を費用をかけて変換する必要がないという利点を有する。

【0016】

本発明の一実施形態では、出力ピクセル値における最小値が限界値によって決定される。言い換えると、出力画像の全てのピクセルにおける最小明度が設定される。これにより、最小明度よりも小さい明度値を伴う環境明度により、出力画像の全てのピクセルが少なくとも最小値を有するという利点が生じる。

【0017】

この場合、最小値が好ましくは大きく設定されればされるほど、環境が暗くなる。言い換えると、環境の明るさの第２の明度値よりも小さい、環境の明るさの第１の明度値が存在する。このとき、第２の明度値のために設定される第２の最小値よりも大きい第１の最小値が第１の明度値に設定される。

【0018】

限界値は、少なくとも１つのパラメータ値に応じて連続的に設定され得る。しかしながら、好ましい実施形態では、限界値が段階的に切り換えられる。これにより、ヒストグラム拡散が切り換えステップ間でその撮像挙動を変えないという利点が生じる。これは、下流側の画像処理アルゴリズムの収束挙動に有利に作用する。

【0019】

一実施形態では、第１の切り換えステップが０．３ルクス〜０．８ルクスの環境の明るさの範囲内にある。第２の切り換えステップは、好ましくは、１．５ルクス〜２．５ルクスの環境の明るさの範囲内にある。第３の切り換えステップは８ルクス〜１２ルクスの範囲内となり得る。第３の切り換えステップ又は更なる切り換えステップにおいて、限界値は、該限界値が最小明度であるか又は最大明度であるかどうかにしたがって最小値又は最大値に設定されることが好ましい。好ましくは、最小値が０である。すなわち、ヒストグラム拡散は、最後の切り換えステップにより、より高い明度値で、出力画像のピクセル値のヒストグラムが最大ダイナミックレンジを有するように行われる。

【0020】

本発明の一実施形態では、明るさを信号で伝える少なくとも１つのパラメータ値は、明度センサのセンサ値を含む。言い換えると、環境の明るさは、明度センサを用いて直接に測定される。ここで、明度センサの取得範囲は、環境へと向けられる。この実施形態により、環境内の明るさに関する情報がセンサ値を伴って直接に存在するという利点が生じる。

【0021】

本発明の一実施形態において、少なくとも１つのパラメータ値は、生画像を生成する際に調整される露光期間を含む。また、露光期間における他の表記は、閉鎖時間又はシャッタースピードである。露光のための単位は例えば１／１００ｓ又は１／８０ｓである。

【0022】

一実施形態において、少なくとも１つのパラメータ値は、生画像を生成する際に調整される画像センサゲインを含む。また、画像センサゲインにおける他の表記はゲイン又はＩＳＯ値である。ＩＳＯ値における例は、１００ＩＳＯ、２００ＩＳＯ、３．４００ＩＳＯである。

【0023】

本発明の一実施形態において、少なくとも１つのパラメータ値は、生画像を生成する際に調整されるシャッター値を含む。また、シャッター値における他の表記は絞り値である。絞り値における例は、Ｆ５及びＦ１１である。

【0024】

露光期間、ゲイン、及び、絞り値の捕捉パラメータの３つの前述したパラメータ値は、それらが例えば露光制御器により生画像を生成する際に既に決定されるという利点を有する。そのような露光制御器は、自動露光調整をもたらす従来のカメラ装置に存在する装置であってもよい。したがって、３つの前述したパラメータは、普通は、通常のカメラタイプに既に存在しており、限界値を設定するために別々に決定される必要がない
更なる利点は、画像センサの温度が取得されて取得された温度に応じて限界値が設定される場合に生じる。これにより、出力画像中の画像センサのセンサノイズをマスキングする又は減らすことができる。

【0025】

また、自動車両も本発明と関連付けられる。本発明に係る自動車両は、本発明に係るカメラ装置の少なくとも１つの実施形態を有する。本発明に係る自動車両は、例えば、乗用車又はトラック又は旅客バスとして構成され得る。カメラ装置は、例えば、駐車支援として又は暗視支援として構成可能である、或いは、自動車両の後部座席にいる搭乗者を観察するために自動車両内部に設けることもできる。

【0026】

以下、本発明の実施形態について説明する。

【図面の簡単な説明】

【0027】

【図1】従来技術に係るヒストグラム拡散を例示するための図。

【図2】本発明に係る自動車両の一実施形態の概略図。

【図3】本発明に係る方法にしたがったヒストグラム拡散を示す図。

【図4】図３の場合以外の限界値が設定される方法を例示するための図。

【図5】生画像における典型的なヒストグラムを伴う図。

【発明を実施するための形態】

【0028】

以下に説明される実施形態は、本発明の好ましい実施形態である。しかしながら、実施形態では、実施形態の説明される構成要素がそれぞれ互いに独立に考慮されるべき発明の個々の特徴を表し、それぞれの特徴も、互いに独立に発明を創出し、それにより、個々の態様で又は示される組み合わせ以外で発明の構成要素と見なすこともできる。また、記載される実施形態を既に説明した発明の更なる特徴で補うこともできる。

【0029】

図１には、ヒストグラム拡散が、それが従来技術から知られるように示される。入力ヒストグラムＨｉが示され、この入力ヒストグラムＨｉは、カメラセンサの生画像のピクセルのピクセル値から形成され得るヒストグラムである。図示の例では、また、更なる例でも、各ピクセルが０〜２５５の範囲内であってもよいピクセル値、すなわち、８ビットピクセル値を有することができるものとする。ピクセル値は、例えば、ピクセルの輝度値Ｌｉ又は色相値であってもよい。最小明度値はＬｍｉｎによって示される。最大明度値はＬｍａｘによって示される。生画像のダイナミックレンジＤｉが明度値Ｌｍｉｎ，Ｌｍａｘによって規定される。

【0030】

入力ヒストグラムＨｉを図５に示される態様で形成することができる。図５には、生画像の入力輝度値Ｌｉに関して、０〜２５５の想定し得るそれぞれの輝度値ごとに、対応する輝度値Ｌｉを有するピクセルの数Ｃ（カウント）がどのように決定されるのかが示される。これにより、入力ヒストグラムＨｉがもたらされる。

【0031】

図１には、生画像の各ピクセルのそれぞれのピクセル値のピクセル単位の変換によって生画像から出力画像の対応するピクセルにおけるピクセル値を生成するために、入力輝度値Ｌｉを拡散関数１によってどのように出力輝度値Ｌｏに対してマッピングできるのかが例示される。これにより、出力画像が生じる。この出力画像は、拡散関数１に応じて出力ヒストグラムＨｏを有する。

【0032】

従来技術によれば、拡散関数１は、生画像の最小明度値Ｌｍｉｎが最小輝度値０に対してマップされるように選択される。生画像の最大明度値Ｌｍａｘは、最大可能輝度値、ここでは２５５にマッピングされる。より良い方向付けのために、図には恒等関数２も記録される。拡散関数１により、出力ヒストグラムＨｏは、フルダイナミックレンジＤｍａｘを有する輝度値をもつ。言い換えると、最大ダイナミックレンジＤｍａｘは値０と値２５５とを含む。

【0033】

図２には、例えば乗用車であってもよい自動車両３が示される。自動車両３はカメラ装置４を有することができ、カメラ装置４はカメラセンサ５と画像処理装置６とを含むことができる。カメラセンサ５の捕捉範囲７を例えば自動車両３の環境８へ、例えば（図示のように）自動車両３の前方領域へ又は自動車両３の後方領域へ（図示せず）又は自動車両３の車両内部へ向けることができる。それ自体知られる態様で、画像センサ５が個々の生画像Ｒの画像シーケンスを生成するようになっていてもよい。生画像Ｒを生成するため、したがって環境８の捕捉のために、露光期間Ｓ（シャッタースピード）、絞りＡ（開口度）、及び／又は、画像センサゲイン又はゲインＧを設定することができ、このとき、これらは生画像Ｒの捕捉パラメータに相当する。図示の例において、環境８の生画像Ｒ中には、自動車両３の前方に位置される道路９、家１０、及び、木１１が映し出される。図示の例では、生画像Ｒが比較的暗いと仮定されるようになっている。言い換えると、環境８内の明るさは、それが例えば夜間運転やトンネル内での運転において生じ得るように比較的低くてもよい。これから、生画像Ｒにおける入力ヒストグラムＨｉは、それが図２にも典型的に示されるような結果となる。輝度値Ｌｉは、ここでは２５５と見なすことができる最大可能輝度値に達しない。

【0034】

ヒストグラム拡散１２を画像処理装置６によって与えることができる。ヒストグラム拡散１２は、例えば、画像処理装置６のプロセッサのプログラムモジュールによって実現され得る。プロセッサ６は、例えば、デジタル信号処理プロセッサ（ＤＳＰ）であってもよい。ヒストグラム拡散は、パラメータとして限界値Ｌ（限界）を有することができるパラメータ化可能な拡散関数１３を含むことができる。拡散関数１３を用いて、図１の拡散関数１に関連して既に説明した態様で、生画像Ｒから出力画像Ｉを生成することができる。ここでは、出力画像Ｉは、生画像Ｒの全明度よりも大きい全明度を有することができる。図２には、出力画像Ｉの出力輝度値Ｌｏに関して出力ヒストグラムＨｏも示される。ここでは、拡散関数１３の限界値Ｌは、出力ヒストグラムＨｏのヒストグラム値における最小値を成す。

【0035】

自動車両３では、出力画像Ｉが更なる車両構成要素１４へ送信されるようにすることができる。車両構成要素１４は例えばスクリーンなどの表示装置であってもよい。このとき、自動車両３のドライバーは、表示装置で出力画像Ｉを見ることができ、これにより環境８が見える。しかしながら、車両構成要素１４は、例えば、ドライバーを自動車両３の運転時に支援できるドライバー支援システムであってもよい。例えば、このとき、車両構成要素１４は画像認識装置を含むことができ、この画像認識装置により、道路８及び／又は家１０及び／又は木１１、すなわち、一般的には物体を出力画像Ｉ中で認識できる。

【0036】

図３及び図４では、２つの捕捉状況に関してヒストグラム拡散１２の作用が説明される。

【0037】

このため、図３及び図４にはそれぞれ、図１に関連して既に説明された態様と同じ態様で、生画像Ｒの入力ヒストグラムＨｉと、ヒストグラム拡散１２後の出力画像Ｉの出力ヒストグラムＨｏとが示される。ヒストグラム拡散１２は、曲線パラメータとして限界値Ｌを有することができる拡散関数１３を用いて行われる。図示の例において、限界値Ｌは、出力画像Ｉのピクセルの出力輝度値Ｌｏにおける最小値である。言い換えると、限界値Ｌにより、拡散関数１３の下限Ｕの縦座標設定又は縦座標変位１５を決定できる。拡散関数１３では、拡散関数１３の下限Ｕの横座標位置１６及び上限Ｏの横座標位置１７を、横座標値としての下限Ｕが入力ヒストグラムＨｉの最小値Ｌｍｉｎに対応するとともに上限Ｏの横座標値１７が入力ヒストグラムＨｉの最大値Ｌｍａｘに対応するように設定できる。

【0038】

自動車両３では、環境８の明るさに応じて又は明るさと関連付けられるパラメータ値、例えば露光期間Ｓ及び／又はゲインＧに応じて限界値Ｌを設定できる。このため、図２に示されるように、露光期間Ｓ又はゲインＧを例えば画像センサ５から画像処理装置６へ送信することができる。図示の例では、環境明度値Ｂ１に関して、閉鎖期間Ｓ及び／又はゲインＧにおける値が生じてしまっており、これにより限界値Ｌが画像処理装置６によって値Ｌ１に設定されてしまっている。これに対応して、下限Ｌ１から最大値、ここでは２５５にまで及ぶ出力ヒストグラムＨｏがもたらされ、それにより、出力ヒストグラムＨｏは、最大ダイナミックレンジＤｍａｘよりも小さいダイナミックレンジＤｏを有する。

【0039】

図４には捕捉状況が示され、この捕捉状況では、該捕捉状況の明度値Ｂ２が図３に示される捕捉状況の明度値Ｂ１よりも小さい。言い換えると、それは、より低い明度での生画像Ｒの捕捉である。画像処理装置６により、この例では、限界値が、それに対応して、例えば切り換え演算１８によって値Ｌ１から値Ｌ１よりも大きい値Ｌ２へと切り換えられた。これにより、出力ヒストグラムＨｏのダイナミックレンジＤｏが減少する。

【0040】

したがって、撮像装置が見る環境の光レベルを調節する限界がヒストグラムストレッチングに適用される。シーンの光レベルは、これらの読み取り値に基づき、画像の露光制御及びゲイン制御を監視することによって決定可能であり、我々は、非常に低い光及び少ない明るさで更に明るい画像を与えるとともに僅かに高い光レベルで更に高いコントラストを与えるために、画像のヒストグラムストレッチング限界を調整できる。

【0041】

ヒストグラムストレッチングは画像のコントラストを増大させる。ヒストグラムストレッチングは、システムで有効化又は無効化できる。有効化は、最大グレースケールから最小グレースケールにわたってヒストグラムストレッチングを画像に適用する。限界をヒストグラムのスケールに適用できる。画像処理装置は、撮像装置の露光ゲインに基づいて（言い換えると、撮像装置が見るシーンの光レベルに基づいて）動的に更新され得る限界をヒストグラムで適用する。ヒストグラムのレベルを更に低く制限することにより、我々は、非常に低い光レベルで画像をより明るくすることができる（コントラストの低下）。この副次的効果として、光レベルが光レベル１０ルクスの画像を増大させるようになる。

【0042】

この発明は、非常に低い光でより低いレベルのヒストグラムにおいて限界をもたらす（画像を明るくする）が、シーンがより明るくなるにつれて限界を動的に更新し、したがって、シーンのコントラストが維持される。

【0043】

本発明の望ましい効果は、非常に低い光レベル（約０．５ルクス）で限界Ｌ２を有するとともに、撮像装置の露光制御及びゲイン制御を読み取って、２ルクスの光レベルでヒストグラムを限界１に動的に更新するようになっている。その後、画像の露光ゲインが１０ルクス以上の光レベルに対応する値になった時点で（例えば、画像を明るくすることがもはや必要とされないとき）、無限ヒストグラムストレッチング画像に切り換わる（コントラストを可能な最大値まで増大させる）。

【0044】

望ましい成果の使用例のケース：
非常に低い光レベル（０．５ルクス）（露光値及びゲイン値が高くなる）で、我々はヒストグラムＡ（限界Ｌ２）を適用することを望む。０．５ルクスで、無限ヒストグラムストレッチングは高いコントラストを有するが、画像はあまり明るくない。我々は、限界２を伴うヒストグラムＡを適用することを望む。これは、暗いピクセルをいかにして明るくできるかに対して限界を適用し、それにより、より暗い輝度値をより明るい輝度値まで引き寄せる。この発明の望ましい効果は、非常に低い光レベルで限界２ヒストグラムを有するようになっている（画像を明るくする）。我々は、コントラストを下げ過ぎることなくある程度まで明るくすることしかできない。

【0045】

より高い光レベル（２ルクス）（露光値及びゲイン値が０．５ルクス未満である）で、我々はヒストグラムＢ（限界Ｌ１）を適用することを望む。２ルクスで、無限ヒストグラムストレッチングは、コントラストが高いが依然としてやや暗い画像を与える。我々は、高いコントラストレベルを維持しつつ画像を僅かに明るくする限界１を伴うヒストグラムＢを適用することを望む。

【0046】

ヒストグラム限界を動的に更新するために、我々は、画像のゲイン値及び露光値を使用する。

【0047】

撮像装置露光＝ｅ
撮像装置ゲイン＝ｇ
限界１露光／ゲイン閾値＝Ｅ１又はＧ１
限界２露光／ゲイン閾値＝Ｅ２又はＥ２
無限＝Ｅ３又はＧ３
ヒストグラムストレッチング限界＝Ｌ
サンプル論理：
Ｉｆ ｅ＞Ｅ１ ｏｒ ｇ＞Ｇ１
｛
Ｌ＝ｌｉｍｉｔ＿１
｝
ｅｌｓｅ ｉｆ ｅ＞Ｅ２ ｏｒ ｇ＞Ｇ２
｛
Ｌ＝ｌｉｍｉｔ＿２
｝
ｅｌｓｅ ｉｆ ｅ＞Ｅ３ ｏｒ ｇ＞Ｇ３
｛
Ｌ＝ｎｏ ｌｉｍｉｔ＝０
｝
加えて、本発明は、限界計算へのノイズの影響を軽減するために撮像装置温度に応じて限界を調整できる。

【0048】

全体的に、例は、画像センサ露光期間及び／又は画像センサゲインに応じて限界を調整するために動的限界を伴うヒストグラム拡散を本発明によってどのように与えることができるかを示す。

【図1】

【図2】

【図3】

【図4】

【図5】