特許 6606181 視程検出のためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6606181

(24)【登録日】2019年10月25日

(45)【発行日】2019年11月13日

(54)【発明の名称】視程検出のためのシステムおよび方法

(51)【国際特許分類】

   G01C 3/00 20060101AFI20191031BHJP

   G06T 7/00 20170101ALI20191031BHJP

   H04N 5/225 20060101ALI20191031BHJP

   H04N 5/232 20060101ALI20191031BHJP

   H04N 5/235 20060101ALI20191031BHJP

【ＦＩ】

   G01C3/00 110

   G06T7/00 650A

   H04N5/225 300

   H04N5/232 290

   H04N5/235 300

【請求項の数】8

【全頁数】14

(21)【出願番号】特願2017-524398(P2017-524398)

(86)(22)【出願日】2015年11月4日

(65)【公表番号】特表2018-503061(P2018-503061A)

(43)【公表日】2018年2月1日

(86)【国際出願番号】US2015059014

(87)【国際公開番号】WO2016073590

(87)【国際公開日】20160512

【審査請求日】2017年7月25日

(31)【優先権主張番号】62/076,223

(32)【優先日】2014年11月6日

(33)【優先権主張国】US

【前置審査】

(73)【特許権者】

【識別番号】500115826

【氏名又は名称】ジェンテックス コーポレイション

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100095898

【弁理士】

【氏名又は名称】松下 満

(74)【代理人】

【識別番号】100098475

【弁理士】

【氏名又は名称】倉澤 伊知郎

(74)【代理人】

【識別番号】100130937

【弁理士】

【氏名又は名称】山本 泰史

(72)【発明者】

【氏名】ファルブ デイヴィッド エム

(72)【発明者】

【氏名】ライト デイヴィッド ジェイ

(72)【発明者】

【氏名】ジェロミン オリヴァー エム

(72)【発明者】

【氏名】シュト ジェレミー エイ

(72)【発明者】

【氏名】ムリージョ アマージャ セルヒオ イー

【審査官】 河内 悠

(56)【参考文献】

【文献】 米国特許出願公開第２０１０／００２７８３８（ＵＳ，Ａ１）

【文献】 特表２０１０−５１８７４６（ＪＰ，Ａ）

【文献】 特開２００７−２６５２７７（ＪＰ，Ａ）

【文献】 特開２００２−１４０３８（ＪＰ，Ａ）

【文献】 特開２０１２−４３３５９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｃ ３／００

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ５／２３５

(57)【特許請求の範囲】

【請求項1】

車両に対する視程を算出するためのシステムであって、
ハイダイナミックレンジ画像センサシステムであって、
複数のピクセルを含むピクセルアレイと、
前記ピクセルアレイの各ピクセルと電気通信しており、単一の画像フレーム内の画像データの各ピクセルにつき別個のピクセル値を読み出すように動作可能な、読み出し回路構成と、
前記読み出し回路構成と通信する少なくとも一つのプロセッサと、を備え、前記プロセッサが、
前記画像データに基づいて色調画像を計算し、
当該色調画像内の色調エッジの数に基づいて当該色調画像の色変化の量を計算し、
前記色調画像の色変化の量に基づいて前記車両からの視程を算出する、ように動作可能である、ハイダイナミックレンジ画像センサシステムを備える、システム。

【請求項2】

前記プロセッサは、色調変化の所定の閾値を超える前記色調画像内の色調変化に応じて前記色調画像内の色調エッジを識別するようにさらに動作可能である、請求項１に記載のシステム。

【請求項3】

前記色調エッジが、前記ピクセルアレイのうちの少なくとも二つの隣接したピクセルの前記別個のピクセル値の間で識別されるコントラストに基づいて識別される、請求項２に記載のシステム。

【請求項4】

前記読み出し回路は、更に、前記単一の画像フレーム内で複数の露出時間を識別するように構成されており、
前記複数の露光時間の各々が、各ピクセルにつき複数の積分期間から選択される、請求項１〜３のいずれか一項に記載のシステム。

【請求項5】

各ピクセルについての前記積分期間が、前記ピクセルの各々の露光と複数の既定の露光閾値との比較に応答して識別される持続時間に対応する、請求項４に記載のシステム。

【請求項6】

前記複数の積分期間のうちの選択された積分期間が、各ピクセルの前記露光を前記複数の既定の露光閾値と比較することによって決定される、請求項５に記載のシステム。

【請求項7】

前記視程が、少なくとも二つの隣接したピクセル間の比較から決定され、前記隣接したピクセルの各々が、前記複数の積分期間のうちの異なる積分期間からの露光値を有する、請求項４に記載のシステム。

【請求項8】

視程を識別するように構成された装置であって、
画像センサシステムであって、
複数のピクセルを含むピクセルアレイと、
前記ピクセルアレイの各ピクセルと電気通信している読み出し回路構成であって、画像フレーム内の各ピクセルのピクセルデータをキャプチャする、読み出し回路構成と、
前記ピクセルアレイの前記ピクセルデータに基づいて色調アレイを識別し、当該色調アレイ内の色調エッジの数に基づいて当該色調アレイの色変化の量を計算し、前記色調アレイの色変化の量に基づいて前記視程を識別するように構成された、少なくとも一つのプロセッサと、を備え、
前記画像フレームは、単一時間の一場面を示す画像データを表すものである
画像センサシステムを備える、装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は全体として、視程検出のためのシステムおよび方法に関し、より具体的には、視程検出のために構成されたハイダイナミックレンジ画像センサシステムに関する。

【発明の概要】

【0002】

本開示の一態様によれば、車両からの視程を算出するためのシステムが開示される。該システムは、複数のピクセルを含むピクセルアレイを備える、ハイダイナミックレンジ画像センサシステムを備える。該画像センサは、該ピクセルアレイの各ピクセルと電気通信している読み出し回路構成をさらに含む。該読み出し回路構成は、単一の画像フレーム内の各ピクセルにつき複数の露光時間のうちの一つに対応する別個のピクセル値を読み出しするように動作可能である。該システムは、該読み出し回路構成と通信する少なくとも一つのプロセッサをさらに備える。該プロセッサは、複数の画像処理アルゴリズムに基づいて車両からの視程を算出するように動作可能である。

【0003】

本開示の別の態様によれば、視程を識別するように構成された装置が開示される。該装置は、ピクセルアレイを有する画像センサシステムを備える。該ピクセルアレイは、複数のピクセル及び読み出し回路構成を備える。該読み出し回路構成は、ピクセルアレイの各ピクセルと電気通信しており、第一の積分期間に対応する第一のピクセルについての第一のピクセル値をキャプチャするように動作可能である。該読み出し回路構成は、更に、第二の積分期間に対応する第二のピクセルについての第二のピクセル値をキャプチャするように動作可能である。第二のピクセルは、ピクセルアレイにおいて第一のピクセルに隣接する。該装置は、第一のピクセル値と第二のピクセル値との間のコントラストに基づいて視程を識別するように構成された、少なくとも一つのプロセッサをさらに備える。

【0004】

本開示の更に別の態様によれば、車両に対する視程を検出するための方法が開示される。該方法は、第一の積分期間でピクセルアレイのうちの第一のピクセルについての第一のピクセル値をキャプチャする工程を含む。第一の積分期間は、複数の画像フレームのうちの現在の画像フレーム内の複数の選択可能な積分期間から選択される。さらに、該方法は、当該現在の画像フレーム内の第二の積分期間でピクセルアレイのうちの第二のピクセルについての第二のピクセル値をキャプチャする工程を含む。第二のピクセルは、ピクセルアレイにおいて第一のピクセルに隣接している。第一のピクセル値が第二のピクセル値と比較されて、当該現在のコントラスト値が決定される。現在のコントラスト値に基づいて、物体が識別される。物体の現在のコントラストが、当該物体の複数の以前のコントラスト値と比較されて、視程が決定される。

【0005】

本開示のこれら及び他の特徴、利点、並びに目的は、以下の明細書、特許請求の範囲、及び添付の図面を参照することにより、当業者にさらに理解され、認識されよう。

【図面の簡単な説明】

【0006】

本開示は、詳細な説明および添付の図面からより完全に理解されることになろう。

【0007】

【図1】画像センサシステムのブロック図である。

【0008】

【図2】画像センサシステムのピクセルアレイのブロック図である。

【0009】

【図3】低下した視認性を有する場面に対応する、ハイダイナミックレンジ画像センサによってキャプチャされた画像フレームの例証図である。

【0010】

【図4】見通しの良い状態における典型的な視認性を有する場面に対応する、ハイダイナミックレンジ画像センサによってキャプチャされた画像フレームの例証図である。

【0011】

【図5A】第一の時間での場面に対応する、ハイダイナミックレンジ画像センサによってキャプチャされた画像フレームの例証図である。

【0012】

【図5B】本開示による第二の時間での場面に対応する、ハイダイナミックレンジ画像センサによってキャプチャされた画像フレームの例証図である。

【発明を実施するための形態】

【0013】

本発明の例証される実施形態は、主に、画像センサシステムおよびその方法に関連する、方法の工程および装置の構成要素の組み合わせに属する。したがって、本装置の構成要素および方法の工程は、該当する場合、本明細書の説明の利益を得る当業者には容易に明らかとなろう詳細によって本開示を不明瞭にしないように、本開示の実施形態の理解に関係する特定の詳細のみを示す図面において、慣習的記号によって表されている。さらに、説明および図面において、同様の数字は、同様の要素を表す。

【0014】

本文書において、第一および第二とか、上および下などといった関係を示す用語は、一つの実体または動作を別の実体または動作から区別するために使用され、かかる実体または動作間の何らかの実際のかかる関係または順序を必ずしも要求ないし暗示するものではない。「備える／含む（ｃｏｍｐｒｉｓｅｓ、ｃｏｍｐｒｉｓｉｎｇ）」という用語、またはそれらの任意の他の変形は、要素の一覧を備える／含むプロセス、方法、物品、または装置が、それらの要素のみを含むのではなく、明示的に列挙されていないか、あるいは、かかるプロセス、方法、物品、もしくは装置にとって本質的でない他の要素をも含み得るように、非排他的な包含を網羅することが意図されたものである。

【0015】

図１および図２を参照すると、本開示に従ってハイダイナミックレンジ画像センサシステム１０が示される。システム１０の画像センサ１２は、複数の行１８および列２０を形成する複数のピクセル１６を含むピクセルアレイ１４を含む。システム１０は、ピクセルアレイ１４と通信するイメージャメモリ２６をさらに備える。イメージャメモリ２６は、複数のピクセル１６のうちの少なくとも一部分についてのピクセル値を記憶するように動作可能な複数のメモリセルを有して構成されている。画像センサ１２は、プロセッサ３２を備えるコントローラ３０と電気通信している。プロセッサ３２は、画像センサ１２からの画像データを受信および処理するように構成されている。

【0016】

プロセッサ３２は、画像データに対応する画像フレーム処理し、視程を算出するように構成されている。視程は、車両運転者に見えている車道のおおよその距離に対応し得る。システム１０は、日よけ、オーバーヘッドコンソール、センターコンソール、ダッシュボード、プリズム式のバックミラー、Ａピラーなどの車両アクセサリ内において、または車両内の任意の他の好適な場所に、搭載されてもよい。コントローラは、処理中に種々の命令および／または画像データを記憶するために利用され得る、コントローラメモリ３３、例えばランダムアクセスメモリ（ＲＡＭ）をさらに備える。コントローラ３０およびプロセッサ３２は、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ、プログラマブルロジックユニット、離散回路構成、またはそれらの任意の組み合わせを使用して実装することができる。さらに、マイクロコントローラは、一つよりも多くのマイクロプロセッサを使用して実装されてもよい。

【0017】

コントローラ３０は、複数の入力、例えば、速度入力３４、操舵入力３６、および車両バス３８と通信して示される。速度入力３４は、速度計、または車両の速度に対応するデータを測定し通信するように動作可能な任意のデバイスを介して、車両の速度を通信する信号を提供する。操舵入力３６は、操舵データ、例えば、車両の舵輪および／または前輪の操舵角を通信するように構成されている。速度データおよび操舵データを、コントローラ３０において画像データと組み合わせて利用して、画像データにおいて識別された物体の、車両に対する位置および／または距離を決定してもよい。車両バス３８は、コントローラエリアネットワーク（ＣＡＮ）バスなどの任意の好適な標準通信バスを使用して実装されてもよい。車両バス３８は、多様な追加情報をコントローラ３０に提供するように構成されてもよい。

【0018】

いくつかの実装形態において、システム１０はさらに、少なくとも一つの照明コントローラ４０、例えば、前照灯ドライブ４２、霧灯ドライブ４４、および／または尾灯ドライブ４６と組み合わせて実装されてもよい。照明コントローラ４０の各々は、コントローラ３０によって算出された視程に応答して、車両の前照灯、霧灯、および／または尾灯から放射される照明の強度を制御するように構成されてもよい。例えば、コントローラ３０は、ロービーム設定およびハイビーム設定で照明を放射するよう前照灯を制御するように動作可能であり得る。かかる実施形態において、プロセッサ３２は、ロービームの前照灯およびハイビームの前照灯を制御するよう前照灯ドライブ４２に信号を出力するように構成されている。画像センサ１２からの画像データは、コントローラ３０が前照灯ドライブ４２を介してホスト車両上の前照灯を調整し得るように、車両の動作環境に対応する追加情報を提供してもよい。前照灯制御システムの少なくとも一つの実装形態は、Ｊｏｓｅｐｈ Ｓｔａｍらによる１９９８年９月１８日出願の「ＣＯＮＴＩＮＵＯＵＳＬＹ ＶＡＲＩＡＢＬＥ ＨＥＡＤＬＡＭＰ ＣＯＮＴＲＯＬ」と題される米国特許第６，０４９，１７１号に教示され、この開示は当該参照により本明細書に組み込まれる。

【0019】

いくつかの実装形態において、システム１０は、コントローラ３０によって算出された視程に応答して、少なくとも一つの車両点灯デバイスの点灯レベルを複数の点灯レベルの中で調整するように動作可能であり得る。例えば、コントローラ３０は、視程に応答して、前照灯、霧灯、および／または尾灯を複数の点灯強度に調整するように構成されてもよい。いくつかの実装形態において、点灯デバイスは、光源のデューティーサイクルに対応する多様な強度で照明を放射するように動作可能な光源を備えてもよい。かかる実装形態において、照明コントローラ４０のうちの少なくとも一つは、光源に供給される制御信号のデューティーサイクルを調整することによって、その対応する光源から放射される照明の出力強度を変動させるように動作可能であり得る。かかる実施形態において、コントローラは、点灯デバイスの強度を、コントローラによって検出された視認性に対応する三つ以上の強度にわたって制御するように動作可能であり得る。

【0020】

種々の実装形態において、システム１０は、多様な制御スキームに基づいて照明コントローラ４０を制御するように動作可能であり得る。いくつかの実装形態において、システムを利用して、それぞれ低視認性および高視認性に応答して霧灯を選択的に作動または作動停止するように、制御信号を霧灯ドライブ４４に送信してもよい。いくつかの実装形態において、システムは、前照灯および／または尾灯の輝度レベルを制御するように、制御信号を前照灯ドライブ４２および／または尾灯ドライブ４６のうちの一つ以上に送信するように構成されてもよい。システムはまた、視程の増加または減少に応答して、前照灯のロービームまたはハイビーム設定を選択的に作動または作動停止するように動作可能であってもよく、また、一つ以上の特化されたビームパターン（例えば、「全天候」ビームパターン）を作動するように構成されてもよい。いくつかの実装形態において、コントローラ３０はまた、低視認性に基づいて危険な速度状態を識別するために車両バス３８を介して速度制御信号を出力するように動作可能であり得る。速度制御信号に応答して、車両の一つ以上の制御システムは、車両運転者が低視認性状態において注意して運転することを確実にするように、車両の速度を制限してもよい。

【0021】

車両点灯デバイスの光源は、多様な形態の光源に対応してもよい。いくつかの実装形態において、光源は、発光ダイオード（ＬＥＤ）、有機ＬＥＤ、および／または他の固体光源の形態であってもよい。かかるデバイスは、各点灯デバイスのデューティーサイクルを制御するように信号を照明コントローラ４０に送達することにより、任意の数の強度で照明を放射するよう、コントローラ３０によって調整されてもよい。かかる構成において、コントローラ３０は、車両点灯デバイスの各々がコントローラ３０によって算出される視程に相対して増加または減少し得る複数の強度で照明を放射するよう構成され得るように、照明コントローラ４０の各々に制御信号を供給するように動作可能であり得る。

【0022】

次に図２を参照すると、コントローラ３０と通信している画像センサ１２が示される。コントローラ３０は、イメージャメモリと通信しており、画像センサ１２の画像キャプチャ動作を制御するように構成されている。画像センサ１２は、ハイダイナミックレンジイメージに対応する画像データをキャプチャするために、ピクセルアレイ１４の各ピクセル１６に対応するピクセルデータおよび／または露光データを一時的に記憶するように構成され得る。画像データは、一つ以上の読み出し回路によって画像センサ１２のピクセルアレイ１４からの読み出され得る。ピクセルアレイは、レンズまたは口径を通して受信され得る照明を測定するように構成された光感応素子の形態での複数のピクセル１６を含む。

【0023】

画像センサ１２は、画像データをキャプチャするように動作可能である任意のデバイスに対応してもよい。一実装形態において、画像センサ１２のピクセルアレイ１４は、ＣＭＯＳ画像センサ、例えば、ＣＭＯＳアクティブピクセルセンサ（ＡＰＳ）または電荷結合素子（ＣＣＤ）を含み得る。ピクセルアレイのピクセル１６の各々は、光センサ、光センサのアレイ、または照明をキャプチャするように構成された任意のセンサの群に対応し得る。光センサの各々は、ピクセルアレイ１４におけるピクセル値を測定するように動作可能であり得る。コントローラ３０は、少なくとも一つの読み出し回路からアナログまたはデジタル形態で供給される画像データからのデータを処理するように動作可能な、任意のプロセッサまたはコントローラを備えてもよい。例えば、コントローラ３０は、複数のプロセッサ、マルチコアプロセッサ、または、プロセッサと回路と周辺処理デバイスとの任意の組み合わせ、として実装されてもよい。

【0024】

画像センサ１２は、ＩＣダイ上に集積回路（ＩＣ）として集積されたイメージャメモリ２４を含む。ＩＣダイは、シリコン、アルミニウム、銅、またはＩＣを製造するのに利用され得る他の材料のものであってもよい。イメージャメモリ２４は、限られた材料を使用して最小のフットプリントを有するＩＣが実装され得るように、画像センサ１２のパッケージに含まれる。メモリを含むＩＣの構築は、種々の空間削減および処理上の利益を含むが、メモリの製造費用の増加に対応する場合がある。そのようなものとして、本明細書で考察される本方法およびシステムは、画像センサ１２のための改善された費用削減を提供し得る。イメージャメモリは、種々のメモリの形態、例えば、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、およびデジタル情報を記憶するように構成された他のメモリの形態を含んでもよい。メモリセルの各々は、イメージャメモリ内のアドレス指定可能なメモリ場所に対応してもよく、ピクセルアレイ１４の各ピクセル１６の解像度に対応する容量を有してもよい。

【0025】

ピクセルアレイ１４は、ピクセルの群に対応する行１８および列２０で配列され得る。ピクセルの群の各々は、画像センサ１２またはコントローラ３０の構成要素として配設され得る一つ以上のＡ／Ｄ変換器によって読み取られ得る。一つ以上のＡ／Ｄ変換器は、高速Ａ／Ｄ変換器に対応してもよい。いくつかの実装形態において、Ａ／Ｄ変換器は、ピクセルアレイ１４内のピクセル１６の特定の解像度を測定するのに必要とされる解像度に対応する、高いサンプリングレートおよび解像度を有してもよい。一般に、Ａ／Ｄ変換器は、露光時間に対応する行シーケンス時間の間、ピクセルの群（例えば、ピクセルの行または列）につき行走査シーケンスで複数のサンプルをデジタル化するように動作可能である、サンプリングレートを有し得る。露光時間は、ピクセルアレイ１４の各ピクセル１６が積分期間の間に露光される、経時的期間に対応してもよい。一旦ピクセルアレイ１４の各ピクセル１６が飽和レベルまたは総積分時間に達すると、各ピクセルについてのピクセルデータおよび露光データがイメージャメモリ２６の中に記憶され得る。一旦単一の画像フレームの露光時間がピクセルの群（例えば、行１８または列２０）のうちの少なくとも一つについて経過すると、コントローラ３０は、画像データを読み出し、当該画像データを利用して、車両からの視程を決定し得る。

【0026】

いくつかの実施形態において、画像センサ１２は、ピクセルアレイ１４の各ピクセル１６について、ハイダイナミックレンジを有する画像データを検出するように動作可能であり得る。例えば、いくつかの実装形態において、視程は、画像データにおいて検出された一つ以上の物体のコントラストのレベルに基づいて検出され得る。ピクセルアレイ１４からの画像データにおける物体５２は、長い露光時間を有する一つ以上の暗くなったピクセルに対応し得る。物体５２の境界５４は、短い露光時間を有する一つ以上の明るいピクセルに対応し得る。このようにして、コントローラ３０は、単一の画像フレーム内で、物体５２、および、境界５４と物体５２との間の相対的なコントラスト、を識別し得る。

【0027】

画像センサ１２は、ピクセル１６の各々の露光を複数の選択可能な積分期間のうちの一つに類別することによって、ピクセル１６の各々の積分期間を検出するように構成されてもよい。例えば、単一の画像フレームをキャプチャする間、画像センサ１２は、ピクセルの各々の露光値を複数回サンプリングして、各ピクセルに四つの選択可能な積分時間のうちの一つを割り当てるべきかどうかを決定してもよい。第一の積分期間の間、ピクセル１６のうちの一つについてのサンプルが、ピクセルが飽和するであろうことを示す（例えば、サンプリングされたピクセル値が既定の閾値を上回る）場合、コントローラ３０は、第一の積分期間をそのピクセルに割り当て、当該ピクセルを条件付きでリセットするであろう。ピクセル１６のうちの一つについてのサンプルが、ピクセルが飽和しないであろうことを示す（例えば、サンプリングされたピクセル値が既定の閾値を下回る）場合、コントローラ３０は、そのピクセルがより長い第二の積分期間を通して積分し続けることを許容するであろう。このようにして、隣接したピクセルについて、例えば、物体５２および境界５４を画定するコントラストなどの高レベルのコントラストが、キャプチャされ得る。

【0028】

物体５２と境界５４との間のコントラストにより画定される、物体５２のエッジ５６を正確にキャプチャすることによって、画像センサ１２は、隣接したピクセルについて、単一の画像フレーム内で短い露光データおよび長い露光データを正確にキャプチャするように動作可能である。本明細書で考察されるように、画像センサ１２は、各々が次のより長い選択可能な積分期間よりも約１６倍短い、四つの選択可能な積分期間にわたって画像データをキャプチャすることによって、ハイダイナミックコントラストを有する画像データをキャプチャするように動作可能であり得る。このようにして、コントローラ３０は、車両からの視程が正確かつ迅速に算出され得るように、単一の画像フレーム内で物体５２と境界５４との間のコントラストを識別し得る。

【0029】

画像センサ１２は、各々が次のより長い選択可能な積分期間よりも約１６倍短い、四つの選択可能な積分期間にわたって画像データをキャプチャするように構成されているものとして説明されるが、種々の積分期間が利用されてもよい。例えば、画像センサ１２は、各々が次のより長い選択可能な積分期間よりも約８倍短い、六つの選択可能な積分期間を有するように構成されてもよい。例示的な実装形態において、画像センサは、各々が次のより長い選択可能な積分期間よりも約４倍短い、八つの選択可能な積分期間を有するように構成されてもよい。そのようなものとして、画像センサ１２は、多様な構成で実装されてもよく、単一の画像フレーム内の各ピクセルにつき複数の露光時間のうちの一つに対応する別個のピクセル値をキャプチャするように動作可能であり得る。

【0030】

画像データは、複数のメモリ場所においてイメージャメモリ２６に記憶されてもよい。複数のメモリ場所は、各ピクセル１６についての積分期間、利得（ゲイン）、および解像度の識別用インデックスを記憶するように構成されてもよい。複数のメモリ場所は、各ピクセル１６についての画像データを記憶するように構成された複数のビットを含んでもよい。条件付きリセットの後、各ピクセル１６は、さらなる条件付きリセットの可能性があることを条件として、露光時間の残りにわたって再び積分を開始してもよい。

【0031】

本明細書で考察されるハイダイナミックレンジ画像センサとして動作するように構成された画像センサの例は、Ｊｏｎ Ｈ．Ｂｅｃｈｔｅｌらによる２００７年１２月６日出願の「ＨＩＧＨ ＤＹＮＡＭＩＣ ＲＡＮＧＥ ＩＭＡＧＩＮＧ ＤＥＶＩＣＥ」と題される米国特許第８，２８９，４３０号、Ｊｏｎ Ｈ．Ｂｅｃｈｔｅｌらによる２００８年４月２５日出願の「ＨＩＧＨ ＤＹＮＡＭＩＣ ＲＡＮＧＥ ＩＭＡＧＩＮＧ ＤＥＶＩＣＥ」と題される米国特許第８，３０５，４７１号、Ｄａｎｉｅｌ Ｖａｎ Ｂｌｅｒｋｏｍらによる２００９年１月２８日出願の「ＩＭＡＧＩＮＧ ＤＥＶＩＣＥ」と題される米国特許第８，３７８，２８４号、およびＤａｎｉｅｌ Ｖａｎ Ｂｌｅｒｋｏｍらによる２００９年１月２８日出願の「ＩＭＡＧＩＮＧ ＤＥＶＩＣＥ」と題される米国特許第８，１４４，２２３号、ならびに２００８年４月９日出願の「ＩＭＡＧＩＮＧ ＤＥＶＩＣＥ」と題される米国特許出願第１２／０８２，２１５号、Ｊｏｎ Ｈ．Ｂｅｃｈｔｅｌによる２００８年６月１１日出願の「ＩＭＡＧＩＮＧ ＤＥＶＩＣＥ」と題される米国特許出願第１２／１５７，４７６号、およびＪｏｎ Ｈ．Ｂｅｃｈｔｅｌによる２０１３年２月１４日出願の「ＨＩＧＨ ＤＹＮＡＭＩＣ ＲＡＮＧＥ ＩＭＡＧＥＲ ＳＹＳＴＥＭ」と題される米国特許出願第１３／７６６，８６７号に開示され、これらの全ては参照によりそれらの全体が本明細書に組み込まれる。画像データの処理の例は、Ｊｅｒｅｍｙ Ｃ．Ａｎｄｒｕｓによる２０１０年２月１日出願の「ＤＩＧＩＴＡＬ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ ＡＮＤ ＳＹＳＴＥＭＳ ＩＮＣＯＲＰＯＲＡＴＩＮＧ ＴＨＥ ＳＡＭＥ」と題される米国特許出願第１２／６５８，００２号、Ｊｏｎ Ｈ．Ｂｅｃｈｔｅｌによる２０１０年２月１日出願の「ＤＩＧＩＴＡＬ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ ＡＮＤ ＳＹＳＴＥＭＳ ＩＮＣＯＲＰＯＲＡＴＩＮＧ ＴＨＥ ＳＡＭＥ」と題される米国特許出願第１２／６９７，６００号、Ｊｏｎ Ｈ．Ｂｅｃｈｔｅｌによる２０１０年５月２７日出願の「ＩＭＰＲＯＶＥＤ ＤＩＧＩＴＡＬ ＩＭＡＧＥ ＰＲＯＣＥＳＳＩＮＧ ＦＯＲ ＣＡＬＣＵＬＡＴＩＮＧ Ａ ＭＩＳＳＩＮＧ ＣＯＬＯＲ ＶＡＬＵＥ」と題される米国特許出願第１２／７８８，５７４号、およびＢｅｎｊａｍｉｎ Ｃｈａｙｋｉｎによる２００８年２月２１日出願の「ＭＥＴＨＯＤ ＡＮＤ ＳＹＳＴＥＭ ＦＯＲ ＰＲＯＶＩＤＩＮＧ ＩＭＡＧＥＳ ＡＮＤ ＧＲＡＰＨＩＣＳ」と題される米国特許出願第１２／０３４，７４８号に開示され、これらの全ては参照によりそれらの全体が本明細書に組み込まれる。

【0032】

例示的な実装形態において、画像センサ１２は、ハイダイナミックレンジ画像センサであり、ここで各ピクセル１６は、複数の利用可能な積分期間のうちの任意の一つにわたって独立して積分するように構成されている。複数の利用可能な積分期間は、全てが同時に終了する、同時の入れ子にされた積分期間であってもよい。いくつかの実装形態において、各ピクセル１６は、積分期間を独立して選択するように構成されており、コントローラ３０もまた、各ピクセル１６につき積分期間を独立して選択するように構成されてもよく、またはこれらの組み合わせであり得る。ピクセルアレイ１４の各ピクセル１６は、フレーム毎に単回、少なくとも一つのＡ／Ｄ変換器によって読み出しされ得る。

【0033】

次に図３および４を参照すると、それぞれ、低下した視認性を有する場面および見通しの良い状態における典型的な視認性を有する場面について、画像センサ１２によってキャプチャされた画像フレームの例証図が示されている。本明細書で考察されるように、コントローラ３０は、画像センサ１２からのハイダイナミックレンジ画像データ６２を利用して、車両からの視程を算出してもよい。視程は、水平線境界コントラストアルゴリズム、エッジコントラストアルゴリズム、色コントラスト、および画像テクスチャアルゴリズムのうちの一つ以上に基づいて算出されてもよい。これらのアルゴリズムのうちの一つ以上を利用することによって、車両からの視程は、隣接したピクセル間で識別され得るハイダイナミックレンジ、ならびに本明細書に開示されるアルゴリズムの特定の工程および組み合わせに起因して、改善された正確さをもって算出され得る。

【0034】

水平線境界コントラストアルゴリズムは、画像データにおいてピクセル６４の群を検出するように構成されている。ピクセルの群の各々は、空と地面上の物体との間の境界を含む、画像データ６２における連続したピクセルの部分またはパッチに対応し得る。水平線境界コントラストアルゴリズムは、ピクセルの群の各々において空と物体との間のコントラストを分析することによって、車両からの視程をモニタリングする。一般に、例えば霧のかかった状態の間に、視程が減少するとき、ピクセルの群６４に位置する空と物体との間のコントラストは減少する。

【0035】

水平線境界コントラストアルゴリズムの第一の工程は、画像データ６２におけるピクセルの群６４を識別する工程を含み得る。ピクセルの群は、画像データ６２を形成するピクセルの全てまたはピクセルの群６４における平均ピクセル強度を算出することによって識別され得る。いくつかの実装形態において、ピクセルの群は、ピクセルの１５×１５の群に対応してもよい。コントローラ３０は、ピクセルの群６４の各々を画像データ６２の上から下向き方向に処理し、群の各々を平均ピクセル強度閾値およびピクセルエッジカウント閾値と比較するように構成されてもよい。ピクセルエッジカウントは、ピクセルの群６４の各々において識別されるエッジまたはコントラスト形成部分に対応してもよい。コントローラ３０は、複数の垂直列の各々についてピクセル６４の群が地上／空の境界６６として識別されるまで、ピクセルの群６４の各々を処理してもよい。

【0036】

コントローラ３０は、各ピクセル群６４におけるエッジの数および各ピクセル群におけるピクセルの平均ピクセル強度を算出することによって、ピクセルの群６４の各々を地上／空の境界６６の一部分として識別し得る。地上／空の境界６６に対応するピクセル群６４は、エッジの数がピクセルエッジカウント閾値を超えており、平均ピクセル強度がピクセル強度閾値を下回っていることに基づいて、コントローラ３０によって識別されてもよい。地上／空の境界６６におけるピクセルの各群６４を構成するピクセル１６は、次いで、コントローラ３０によって垂直方向勾配が算出されるように処理される。当該勾配は、画像データ６２において、空６８に対応するピクセルの強度またはピクセル値と、地上７０および／または物体に対応するピクセルの強度またはピクセル値との差異をキャプチャする。

【0037】

垂直方向勾配は、空６８と地上７０との間のコントラストの表現に対応する。コントローラ３０は次いで、車両の前の道路７６の消尽点７４の近くにある道路ピクセルの群７２を識別し得る。勾配値は次いで、当該場面の距離部分について代表的な勾配強度プロファイルが算出されるようにフィルタリングされる。コントローラ３０は次いで、当該勾配強度プロファイルを、線形および二次曲線モデルに適合させ、これにより勾配プロファイルを視程にマッピングする。視程は次いで、コントローラメモリ３３に記憶され得るサンプリングデータに基づいて決定される。一般に、より低い勾配プロファイルは、より短い車両からの視程に対応する。

【0038】

色コントラストメトリックは、画像における色変化の量を測定するように構成されている。車両からの視程は、画像データにおける色の相対的強度に基づいて決定される。例えば、実質的に見通しの良い視認性状態を有する場面は、低下した視認性状態を有する場面と比べて、より顕著な色を有し得る。画像の大きな部分にわたる色変化の低減を測定することによって、コントローラ３０は、色変化の欠如を視認性低下に相関付けるように動作可能である。

【0039】

図３および図４に示されるように、第一の物体８２および第二の物体８４の第一の色は、空６８の第二の色とは異なり得る。図３に示される低下した視認性を有する場面に対応する画像データ６２において、物体８２および８４と空６８との間の色の差異は、図４におけるよりも明瞭性が低い。より具体的には、場面に関する視程を識別するために、コントローラ３０は、画像データ６２について各ピクセル１６の色調画像を計算し、マッピングし得る。コントローラ３０は、比較的大きな色調の変化が生じるピクセルを示すために、色調閾値を超える色調の変化に対応する色調画像のエッジを検出するように動作可能である。コントローラ３０は次いで、画像における色変化の量についてのメトリックを得るために、色調画像において見出されるエッジの数を算出してもよい。色調画像におけるこのエッジの総和計算は、当該画像にわたるプロファイルを垂直方向および水平方向に測定するために、様々な方法で行われる。このようにして、システム１０は、画像センサ１２からのハイダイナミックレンジ画像データ６２をさらに利用して、車両からの視程を識別し得る。

【0040】

次に図５Ａおよび５Ｂを参照すると、それぞれ、第一の時間９２および第二の時間９４での場面に対応する、画像センサ１２によってキャプチャされた画像フレームの例証図が示される。物体エッジコントラストアルゴリズムは、車両が物体９６に近づくにつれて物体９６のコントラストが増加する率を識別するように構成されている。物体９６の最初の識別に基づいて、コントローラ３０は、画像データ６２の複数のフレーム内で物体９６を識別し得る。複数の画像フレーム内で物体９６が識別された後、コントローラ３０は次いで、物体９６のコントラストがおおよそゼロであった距離を計算してもよく、同様に車両からの視程を計算してもよい。

【0041】

物体９６のコントラストがおおよそゼロであった距離は、画像データ６２のサブセットを水平バンドに分け、それらのバンドを垂直方向エッジフィルタに通して処理することによって、算出される。物体９６は、複数のフレームの間で相関する強い垂直方向エッジを追跡することによって、コントローラ３０によって複数のフレームを通して追跡され得る。速度入力３４から受信された速度データおよび画像センサ１２のフレームレートに基づいて、コントローラ３０は、フレーム間でエッジが移動した距離を算出するように動作可能である。強い垂直方向エッジおよびフレームレートに基づいて、追跡されたエッジの距離マップがコントローラ３０によって作成され得る。

【0042】

追跡されたエッジの距離マップを用いて、追跡されたエッジと背景９８とのコントラストが次いで、コントローラ３０によって一定期間にわたって比較され得る。距離マップにおける経時的な追跡されたエッジの場所に基づいて、コントラスト測定値およびそれらのそれぞれの計算された距離の対応する群に線が適合される。コントラスト測定値およびそれらのそれぞれの計算された距離の群についての最良適合の線を次いで使用して、コントラストがおおよそゼロである距離を予測する。このおおよその距離で、コントローラ３０は、車両からの視程を識別し得る。

【0043】

画像テクスチャアルゴリズムは、車両からの視程を推定するために、高周波数成分について画像データ６２を分析するように構成されている。このアルゴリズムを利用することによって、コントローラ３０は、画像データにおけるテクスチャの変化を識別して、車両からの視程を推定するように動作可能である。高視認性および比較的見通しの良い状態に対応する場面において、道路表面１０２および空１０４は、一般に滑らかであり、実質的な低周波数成分を有する。低下した視認性を有する場面において、道路表面１０２および空１０４のテクスチャは、増加したテクスチャおよび実質的な高周波数成分を有し得る。画像データ６２の相対的テクスチャを特徴付けることによって、コントローラ３０は、車両からの視程を算出するように動作可能である。

【0044】

画像データ６２のテクスチャは、画像データをハイパスフィルタで最初にフィルタリングすることによって、コントローラ３０により算出され得る。フィルタから出力された画像データ６２は次いで、コントローラ３０によって正規化および量子化されて、画像データ６２のテクスチャが測定される。測定されたテクスチャに基づいて、テクスチャプロファイルが、画像センサ１２によってキャプチャされた複数の画像フレームについて算出される。複数の画像フレームの各々は次いで、当該場面における現在の状態に対応する視程に相関付けられる。本明細書に記載されるように、コントローラは、場面に関する視程を正確に算出するために単独でまたは組み合わせて利用され得る複数の方法によって、車両からの視程を決定するように動作可能である。

【0045】

いくつかの実施形態において、コントローラ３０により、画像データ６２から決定される視程を利用して、前照灯ドライブ４２、霧灯ドライブ４４、および／または尾灯ドライブ４６の点灯強度を制御してもよい。例えば、コントローラは、少なくとも一つの照明コントローラ４０と通信している種々の点灯デバイス、例えば、前照灯、霧灯、および／または尾灯から放射される照明の強度を変動させるように動作可能であり得る。車両からの視程が減少するにつれて、コントローラ３０は、減弱された視認性を識別し得て、それに応じて点灯デバイスのうちの少なくとも一つの強度を増加または減少させ得る。例えば、コントローラ３０は、視認性が５０メートル未満であることに応答して、信号を尾灯ドライブ４６に送信することによって、車両の尾灯の強度を増加させ得る。コントローラ３０から信号を受信することに応答して、尾灯ドライブ４６は、尾灯から放射される照明の強度を増加させるために、尾灯に供給されるドライブ信号のデューティーサイクルを増加させ得る。このようにして、システム１０は、コントローラ３０が車両からの視程の変化を検出することに応答して、点灯デバイスのうちの少なくとも一つの強度を制御するように動作可能である。

【0046】

コントローラ３０は、種々の増分で車両からの視程を算出するように動作可能であり得る。いくつかの実施形態において、コントローラ３０は、１００ｍ〜４００ｍの視程では５０ｍの増分で、０ｍ〜１００ｍの視程では１０ｍの増分で、車両からの視程を算出するように動作可能であり得る。例えば、コントローラ３０は、車両により近い視程については第一の増分精度で、車両からより遠い視程については第二の増分精度で、視認性を算出するように構成されてもよい。第一の増分精度は、第二の増分精度よりも精確である。このようにして、コントローラは、視程が低視程状態に対応する潜在的に危険な運転状態へと減少していることに応答して、車両からの視程の算出において増加する精度を提供するように動作可能である。

【0047】

本開示は、画像センサ１２からのハイダイナミックレンジ画像データ６２を利用して、車両からの視程を算出するように構成されているシステム１０を実現する。視程は、水平線境界コントラストアルゴリズム、エッジコントラストアルゴリズム、色コントラスト、および画像テクスチャアルゴリズムのうちの一つ以上に基づいて算出され得る。これらのアルゴリズムのうちの一つ以上を利用することによって、車両からの視程は、開示される種々の工程および動作において、隣接したピクセル間で識別され得る画像データ６２のハイダイナミックレンジに起因して、改善された正確さをもって算出され得る。

【0048】

本明細書に記載される本開示の実施形態は、ある特定の非プロセッサ回路と併せて、本明細書に記載される画像センサシステムおよびその方法の機能のうちのいくつか、ほとんど、または全てを実装する一つ以上の従来のプロセッサ、ならびに、一つ以上のプロセッサを制御する固有の記憶されたプログラム命令、からなり得ることが理解されよう。非プロセッサ回路には、信号ドライバ、クロック回路、電源回路、および／またはユーザ入力デバイスが含まれ得るが、これらに限定されない。そのようなものとして、これらの機能は、分類システムを使用または構築するのに用いられる方法の工程として解釈され得る。代替的に、いくつかまたは全ての機能は、記憶されたプログラム命令を有しない状態機械によって、または、各機能もしくは機能のうちある特定のもののいくつかの組み合わせがカスタムロジックとして実装される一つ以上の特定用途向け集積回路（ＡＳＩＣ）において、実装されることが可能である。当然のことながら、これらの二つのアプローチの組み合わせを使用することが可能である。故に、これらの機能のための方法および手段が本明細書に記載されてきた。さらに、当業者であれば、例えば、利用可能な時間、現在の技術、および経済的配慮によって動機付けられる、有意の努力および多くの設計選択にもかかわらず、本明細書に開示される概念および原理によって導かれるとき、最小限の実験をもってかかるソフトウェア命令およびプログラムならびにＩＣを容易に生成可能であろうことが予想される。

【0049】

上述の構成要素は、本明細書に明示的に記載されていない追加的または代替的方法で組み合わされ得ることが、当業者によって理解されるはずである。当業者および本開示の教示を適用する者であれば、本開示の種々の実装形態の修正形態に想到するであろう。したがって、図面に示され、上述される実施形態は、単に例証を目的とするものであり、本開示の範囲を限定することを意図するものではないことが理解される。本発明の範囲は、均等論を含む特許法の原理に従って解釈される、以下の特許請求の範囲によって規定される。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】