特許第6416085号(P6416085)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ブライトウェイ ビジョン リミテッドの特許一覧

特許6416085適用可能な被写界深度を使用するゲーテッド撮像
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6416085
(24)【登録日】2018年10月12日
(45)【発行日】2018年10月31日
(54)【発明の名称】適用可能な被写界深度を使用するゲーテッド撮像
(51)【国際特許分類】
   H04N 5/225 20060101AFI20181022BHJP
   G01S 17/93 20060101ALI20181022BHJP
   G01S 17/42 20060101ALI20181022BHJP
   G01S 17/89 20060101ALI20181022BHJP
   H04N 5/232 20060101ALI20181022BHJP
【FI】
   H04N5/225 600
   G01S17/93
   G01S17/42
   G01S17/89
   H04N5/232 290
【請求項の数】19
【全頁数】21
(21)【出願番号】特願2015-514674(P2015-514674)
(86)(22)【出願日】2013年5月23日
(65)【公表番号】特表2015-527761(P2015-527761A)
(43)【公表日】2015年9月17日
(86)【国際出願番号】IL2013050448
(87)【国際公開番号】WO2013179280
(87)【国際公開日】20131205
【審査請求日】2016年5月19日
(31)【優先権主張番号】61/652,518
(32)【優先日】2012年5月29日
(33)【優先権主張国】US
(73)【特許権者】
【識別番号】514264525
【氏名又は名称】ブライトウェイ ビジョン リミテッド
(74)【代理人】
【識別番号】100111202
【弁理士】
【氏名又は名称】北村 周彦
(72)【発明者】
【氏名】グラウアー,ヨアヴ
(72)【発明者】
【氏名】ダヴィデ,オファー
(72)【発明者】
【氏名】リーヴァイ,エヤル
(72)【発明者】
【氏名】ダヴィデ,ヤアラ
(72)【発明者】
【氏名】ガルテン,ハイム
(72)【発明者】
【氏名】クレルボイム,アロン
(72)【発明者】
【氏名】リフシッツ,シャロン
(72)【発明者】
【氏名】シェイク, オーレン
【審査官】 大西 宏
(56)【参考文献】
【文献】 特表2005−535220(JP,A)
【文献】 特開2010−256291(JP,A)
【文献】 特開2010−061304(JP,A)
【文献】 米国特許出願公開第2012/0050074(US,A1)
【文献】 米国特許出願公開第2005/0269481(US,A1)
【文献】 欧州特許出願公開第01540373(EP,A1)
【文献】 欧州特許出願公開第02539197(EP,A1)
【文献】 中国特許出願公開第102834309(CN,A)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 5/222− 5/257
G01S 7/48 − 7/58
G01S 17/00 −17/95
(57)【特許請求の範囲】
【請求項1】
移動プラットフォームからリアルタイムでシーンを撮像する方法であって、
シーンの予備被写界深度(DOF)のパラメータと関連する、プラットフォームの速度を含む境界条件を取得することと、
光源のパラメータを制御することにより、前記境界条件に基づきパルス光ビームで光源を使用して前記シーンを照らし、前記光源は少なくとも1番目と2番目の照明場(FOI)を有し、該各FOIは少なくとも一つの異なるDOFを利用することと、
前記境界条件に基づきセンサーアレイの各画素又は画素群のパラメータを制御することと、
前記パルス光ビームと同期する1以上の露光に基づき、前記DOFのパラメータと関連する前記境界条件に従って前記シーンの1以上のゲーテッド画像を達成するように、前記センサーアレイを使用して1以上の前記シーンの画像を捕えることと、
更新されたDOFのパラメータを生み出すためにデータ処理アルゴリズムを使用して前記捕えた少なくとも1つの画像を分析することと、
前記更新されたDOFのパラメータと更新された境界条件とに基づき、前記センサーアレイの各画素又は画素群の更新されたパラメータと更新された光源のパラメータの少なくとも1つにより、前記照らすこと、前記制御すること、及び前記捕えることを繰り返すことと、
前記センサーアレイの異なる画素又は画素群に異なるDOF(スライス)を蓄積することと、
を備えていることを特徴とする方法。
【請求項2】
前記光源のパラメータは、前記パルス光ビームとその開度のパルスのパラメータを備えている請求項1に記載の方法。
【請求項3】
前記境界条件は、地形幾何学、地形、シーンの視認性、及び検出されることが要求される物体の種類の少なくとも1つを備えている請求項1に記載の方法。
【請求項4】
前記パルスのパラメータは、パルスの振幅、パルスの期間、パルスの周波数、パルスの形状、パルスの位相、及びパルスのデューティサイクルの少なくとも1つを備えている請求項2に記載の方法。
【請求項5】
前記センサーアレイの各画素又は画素群のパラメータは、ゲイン、露光の期間、露光の回数、露光の立ち上がり/立ち下がり時間、蓄積されたパルスの偏光、及び露光のデューティサイクルの少なくとも1つを備えている請求項1に記載の方法。
【請求項6】
昼間に実行され、前記光源の前記パルス光ビームの強さレベルは昼光レベルに打ち勝つのに十分であり、前記シーンのDOFによる物体からの反射が分析で区別可能となっている請求項1に記載の方法。
【請求項7】
前記分析することは、前記シーンのDOF内の少なくとも1つの特定の物体に向けられる前記パルス光ビームの強さレベル及び開度を考慮して前記特定の物体からの反射を分析することにより、前記センサーアレイからの前記特定の物体の距離を推定することをさらに含んでいる請求項3に記載の方法。
【請求項8】
前記照らすことは、角と広角の少なくとも2つの光ビームを使用して前記シーンを照らすことにより行われる請求項1に記載の方法。
【請求項9】
前記照らすことは、同一のフレームで捕えられる角と広角の少なくとも2つの光ビームを使用して前記シーンを照らすことにより行われる請求項1に記載の方法。
【請求項10】
前記捕えることは、2以上の異なるDOFのパラメータで実行される請求項1に記載の方法。
【請求項11】
前記シーンの物体の少なくとも幾つかは再帰反射性であり、前記シーンの物体の少なくとも幾つかは拡散反射性であり、前記分析することは、物体から反射の強さ及び幾何学的な特徴の閾値を設定すると共に該閾値と比較することにより、前記再帰反射性の物体と前記拡散反射性の物体とを区別するように行われる請求項1に記載の方法。
【請求項12】
移動プラットフォームからリアルタイムでシーンの画像を生成するためのゲーテッド撮像システムであって、
少なくとも1番目と2番目の照明場(FOI)を有し、該各FOIが少なくとも一つの異なるDOFを利用するパルス光源と、
センサーアレイと、
コンピュータプロセッサーと、
を備え、前記パルス光源は、パルス光ビームとその開度のパルスのパラメータを制御することにより、プラットフォームの速度を含む特定の境界条件に基づき、前記シーンの被写界深度(DOF)のための前記特定の境界条件を受け取ると共に、前記パルス光ビームで前記シーンを照らすように構成されており、
前記コンピュータプロセッサーは、前記特定の境界条件に基づき前記センサーアレイの各画素又は画素群のパラメータを制御するように構成され、
前記センサーアレイは前記シーンの1以上の画像を捕え、前記捕えることは、前記パルス光ビームと同期する1以上の露光に基づいており、前記特定の境界条件で前記シーンのゲーテッド画像を達成し、
前記コンピュータプロセッサーは、データ処理アルゴリズムを使用して少なくとも1つの捕えられた画像を分析し、分析されたスライスパラメータを生み出すように構成され、
前記パルス光源、前記センサーアレイ、及び前記コンピュータプロセッサーは、前記分析されたスライスパラメータ及び更新された境界条件に基づき、更新されたパラメータで前記照らすこと、前記制御すること、及び前記捕える事を繰り返すように構成され、前記センサーアレイの各画素又は画素群のパラメータは各画素又は画素群が異なるDOF(スライス)を蓄積するように制御されることを特徴とするシステム。
【請求項13】
前記特定の境界条件は、地形幾何学、地形、シーンの視認性、及び前記スライスの物体の種類の少なくとも1つをさらに備えている請求項12に記載のシステム。
【請求項14】
前記パルスのパラメータは、パルスの振幅、パルスの期間、パルスの周波数、パルスの形状、パルスの位相、及びパルスのデューティサイクルの少なくとも1つを備えている請求項12に記載のシステム。
【請求項15】
前記シーンの少なくとも幾つかの物体は再帰反射性であり、前記シーンの少なくとも幾つかの物体は拡散反射性であり、前記分析することは、前記物体から反射の強さ及び幾何学的な特徴の閾値を設定すると共に該閾値と比較することにより、前記再帰反射性の物体と前記拡散反射性の物体とを区別するように行われる請求項12に記載のシステム。
【請求項16】
シーンの少なくとも幾つかの物体が再帰反射性で、前記シーンの少なくとも幾つかの物体が拡散反射性であり、少なくとも1番目と2番目の照明場(FOI)を有し、該各FOIが少なくとも一つの異なるDOFを利用するパルス光でシーンを照らすことと、
前記照らすことでセンサーアレイを同期させ、前記シーンのゲーテッド画像を生成することと、
前記物体から反射の強さ及び幾何学的な特徴の閾値を設定すると共に該閾値と比較することにより、前記再帰反射性の物体と前記拡散反射性の物体とを区別するように前記ゲーテッド画像を分析することと、
を備え、
前記ゲーテッド画像からの前記DOFパラメータは得られた境界条件と関連し、前記境界条件に基づき前記センサーアレイの各画素又は画素群のパラメータを制御することをさらに備え、前記センサーアレイの各画素又は画素群のパラメータは各画素又は画素群が異なるDOF(スライス)を蓄積するように制御されることを特徴とするゲーテッド撮像方法。
【請求項17】
前記異なるDOFは、少なくとも閉ゲーテッド撮像距離のための広いFOIと長ゲーテッド撮像距離のための狭いFOIを供給する請求項1〜11のいずれか1の請求項に記載の方法。
【請求項18】
前記異なるDOFは、少なくとも閉ゲーテッド撮像距離のための広いFOIと長ゲーテッド撮像距離のための狭いFOIを供給する請求項12〜15のいずれか1の請求項に記載のシステム。
【請求項19】
前記異なるDOFは、少なくとも閉ゲーテッド撮像距離のための広いFOIと長ゲーテッド撮像距離のための狭いFOIを供給する請求項16に記載のゲーテッド撮像方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、一般に、適用可能な被写界深度を使用するゲーテッド撮像システムにより昼間及び夜間の画像を向上させる分野に関し、特に、車両使用に適用可能な撮像システム及びそのようなシステムで実施される操作方法に関する。
【背景技術】
【0002】
短パルスレーザー照明及び撮像用ゲーテッドカメラを使用する車両のための、「暗視撮像システムを備えた車両及び方法」という名称の米国特許No. 7,733,462 B2 や「アクティブな暗視システム」という名称の米国特許No. 6,730,913 B2 では、ゲーテッド撮像に基づき、低視野環境(夜間、又は雨、雪等のような低視程の夜間)の間、自動車の視野条件を改善させる装置が説明されている。しかしながら、上記引用されたいずれの文献も視聴者が被写界深度に基づき画像を向上させることについて開示していない。
【発明の概要】
【課題を解決するための手段】
【0003】
幾つかの実施の形態によれば、適用可能な被写界深度を使用してゲーテッド撮像を成し遂げる方法がここに提供されている。その方法は、シーンにおいて予備の被写界深度(DOF)と関連する境界条件を取得する段階と、光源のパラメータを制御することにより、特定の前記境界条件に基づきパルス光ビームで光源を使用して前記シーンを照らす段階と、前記境界条件に基づきセンサーアレイのパラメータを制御する段階と、前記パルス光ビームと同期する1以上の露光に基づき、前記DOFのパラメータと関連する前記境界条件に従って前記シーンのゲーテッド画像を達成するように、前記センサーアレイを使用して1以上の前記シーンの画像を捕える段階と、更新されたDOFのパラメータを生み出すためにデータ処理アルゴリズムを使用して前記捕えた少なくとも1つの画像を分析する段階と、前記更新されたDOFのパラメータと更新された境界条件とに基づき、更新されたセンサーアレイのパラメータと更新された光源のパラメータの少なくとも1つにより、前記照らすこと、前記制御すること、及び前記捕えることを繰り返す段階と、を備えている。
【図面の簡単な説明】
【0004】
本発明は、添付図面と関連させて詳細に説明される実施の形態からより容易に理解されるだろう。
図1】本発明による車両に取り付けられるゲーテッド撮像システムの一般図の平面図である。
図2】本発明の好適な実施の形態によるゲーテッド撮像システムの一実施の形態の一例を概略的に示す図である。
図3】本発明の実施の形態によるゲーテッド撮像システムの被写界深度の一実施の形態の一例を概略的に示す図である。
図4】本発明の実施の形態によるゲーテッド撮像システムの自動障害物検出の一実施の形態を示すフローチャートである。
図5】本発明の実施の形態によるゲーテッド撮像システムの自動障害物検出の一実施の形態の例を示している。
図6】本発明の実施の形態によるゲーテッド撮像システムの自動障害物検出の一実施の形態の例を示している。
図6A】本発明の実施の形態によるゲーテッド撮像システムの曲線部検出の出力例を示している。
図7】本発明の実施の形態によるゲーテッド撮像システムの各種被写界深度画像の例を示している。
図8】本発明の実施の形態によるゲーテッド撮像システムの各種被写界深度画像の例を示している。
図9】本発明の実施の形態によるゲーテッド撮像システムの各種被写界深度画像の例を示している。
図10】本発明の実施の形態によるゲーテッド撮像システムの目標範囲の推定の一実施の形態の一例を概略的に示す図である。
図11】本発明の実施の形態によるゲーテッド撮像システムの目標範囲の推定の一実施の形態の一例を概略的に示す図である。
図12】本発明の実施の形態による昼間におけるゲーテッド撮像システムの被写界深度の使用例を示している。
図13】本発明の幾つかの実施の形態による典型的な実施例のシミュレーションで使用される式及び単位を示している。
図13A】本発明の幾つかの実施の形態による典型的な実施例のシミュレーションで使用される式及び単位を示している。
図13B】本発明の幾つかの実施の形態による典型的な実施例のシミュレーションで使用される式及び単位を示している。
図13C】本発明の幾つかの実施の形態による典型的な実施例のシミュレーションで使用される式及び単位を示している。
図13D】本発明の幾つかの実施の形態による典型的な実施例のシミュレーションで使用される式及び単位を示している。
図14】本発明の実施の形態による夜間におけるゲーテッド撮像システムの被写界深度の使用例を示している。
図15】本発明の実施の形態による昼間における交通標識調節光源の例を示している。
図16】本発明の実施の形態によるシステムゲーテッド光源のないゲーテッド撮像システムのゲーティング領域の一実施の形態の一例を概略的に示している。
図17】本発明の実施の形態によるシステムゲーテッド光源を有する場合とその光源を有しない場合のゲーテッド撮像システムのゲーティング領域の一実施の形態の一例を概略的に示している。
図18】本発明の実施の形態によるゲーテッド撮像システムの複数の照明光源フィールドと複数の被写界深度の一実施の形態の一例を概略的に示している。
図19】本発明の実施の形態によるゲーテッド撮像システムの適用可能な被写界深度(「スライス」)の決定の一実施の形態を示すフローチャートである。
【発明を実施するための形態】
【0005】
ゲーテッド撮像システムは、昼間の条件、夜間の条件、光変調物体の撮像(例えば、交通標識等のような高繰返し光点滅)、及び低視程の条件である。さらに、蓄積された目標物に関して自動警報機構の条件でリアルタイムに選択的な被写界深度(以下において「スライス」と呼ぶことがある)に基づき、目標物(すなわち、自動車、オートバイ、歩行者等のような物体の種類)の検出を可能にする。ゲーテッド撮像システムは、携帯され、静止及び又は移動プラットフォームに取り付けられてもよい。ゲーテッド撮像システムは、水中プラットフォーム、地上プラットフォーム又は空中プラットフォームで使用されてもよい。ここでは、ゲーテッド撮像システムのための好適なプラットフォームは車両である。ゲーテッド撮像システムは、「暗視撮像システムを備えた車両及び方法」という名称の米国特許No. 7,733,462 B2 のような従来技術で説明されている。(自由空間における)光源パルスは、TLaser=2×{(R0−Rmin)/}として定義され、それらのパラメータは以下のインデックスで定義されている。(自由空間における)ゲーテッドカメラのオン時間は、TII=2×{(Rmax−Rmin)/c}として定義される。(自由空間における)ゲーテッドカメラのオフ時間は、TOff=(2×Rmin)/cとして定義され、cは光速、R0,Rmin及びRmaxは特定の範囲である。ゲーテッド撮像は、TLaser,TII及びTOffの時間同期による範囲の関数として感度を作るために利用される。
【0006】
以下において、単一の「ゲート」(すなわち、単一の光源パルス照明の後にセンサー読み出し毎の少なくとも単一のセンサーの露光)は、上記定義された特定のTLaser,TII及びTOffのタイミングを利用する。以下において、「ゲーティング」(すなわち、単一の光源パルス照明の後に単一のセンサーの露光、及び単一の光源パルス照明の後に一連のセンサー読み出しを終える単一のセンサーの露光)は、上記定義された各順の特定のTLaser,TII及びTOffのタイミングを利用する。以下において、被写界深度(「スライス」)は、見えたシーンの特定の蓄積された像を供給する少なくとも単一のゲート又はゲーティングを利用する。各DOFは少なくとも以下のR0,Rmin及びRmaxを含む一定のDOFパラメータを有していてもよい。
【0007】
図1は、例えば、車両の前方の環境を照らすため、非可視スペクトル(例えば、LED及び又はレーザー源によるNIR)のゲーテッド光源10を含むゲーテッド撮像システム60を備えた車両20を示している。ゲーテッド撮像システム60は、画像ゲーティングのために設けられるカメラ(センサーアレイ)40を含み、例えば、好適なゲーテッドカメラはゲーテッド相補型金属酸化物半導体(GCMOS)であってもよい。ゲーテッド撮像システム60はシステムコントロール30を備え、ディスプレイ、音声型警報及び触覚型警報のようなヒューマン・マシン・インターフェース(HMI)を動作させてもよい。
【0008】
図2は開示された実施の形態に関するゲーテッド撮像システム60の内部モジュールを示している。すなわち、ゲーテッド撮像カメラ(センサーアレイ)40はゲーテッドカメラ/センサー72を備えている。ゲーテッドカメラ/センサーの光学モジュール71はゲーテッド光源10により供給されるものに等しい電磁波長を操作及び検出するように設けられている。ゲーテッドカメラ/センサーの光学モジュール71はさらにゲーテッドカメラ/センサー72の光に敏感な領域に入射光の焦点を合わせるように設けられている。ゲーテッドカメラ/センサーの光学モジュール71はさらに一定の波長のスペクトルを濾過するために設けられ、バンドパスフィルタによって実行され、及び又は、各種変更を濾過するように設けられている。さらに、ゲーテッドカメラ/センサー72は、電磁気変調を検出可能に設けられ、ゲーテッド又は変調光源10から発生する電磁気信号を検出するために設けられる同期機構を含んでいる。ゲーテッド撮像カメラ(センサーアレイ)40はさらに、画像及び信号処理75、ゲーテッド撮像制御30(ゲーテッド撮像カメラ40とは別に配置されてもよい)、及び電気インターフェース35を含んでいる。ゲーテッド撮像制御30は、起動及び制御77を介してゲーテッド光源10のパルスに対してカメラゲーティング/露光のゲーティングの同期化を(制御73を介して)供給すると共に、画像及び信号処理75に対して(74を介して)システムパラメータを供給する。画像及び信号処理75に供給されるシステムパラメータは、車両パラメータ(例えば、車速、ワイパー操作等)及び又はパラメータ(例えば、フレーム毎のパルス/露光の数、カメラ/センサーのゲイン、タイミング等)を含んでいてもよい。画像及び信号処理75は、カメラ/センサー72からの画像及び又は85のビデオを介する外部センサーからのさらなる画像を結合(連合)してもよい。画像及び信号処理75はさらに、ADASの特徴(例えば、歩行者検出、車線逸脱警報、交通標識認識、物体範囲推定等)のようなリアルタイム処理(コンピュータ認識)を供給する。さらなるインターフェースは、車両通信バス35、データインターフェース87を介して、ゲーテッド撮像システムのドライバーHMI70及びビデオ出力端子86に、ADAS特徴のように、出力を供給される。ビデオ出力端子86は、ADAS特徴のオーバーレイのハイライト化を有する(例えば、歩行者検出警報のために接する長方形、車線逸脱警報のための車線の重なり等)。(車両の電気供給路84を介して供給される)電源76はゲーテッド撮像カメラ40及び制御30に所望の電圧を供給する。
【0009】
別の実施の形態では、視覚を基本とするようなHMI70は、幾何学的な考慮及び又はゲーテッド画像に基づき(すなわち、ゲーテッド撮像カメラ40及びゲーテッド光源10の特定のゲーティング/露光時間に基づき)カメラの視野(FOV)の画像目標に対する範囲の推定を含んでいる。さらに、ゲーテッド画像の視覚表示は車両20の速度に基づいても良く、表示画像はより高速(例えば、時速50km超)で拡大され、より低速(例えば、時速50km以下)で縮小される。
【0010】
図2は、偏光を投影及び又は濾過するために設けられる光源の光学モジュール82を含む、不可視スペクトル(すなわち、750〜2,000nm)の少なくとも単一のゲーテッド光源10を示している。光源の光学モジュール82はさらに、光を拡散させる(例えば、ホログラフィックディフューザ、光学レンズ等)と共に1以上の照明面(FOD)を投影させるように設けられている。ゲーテッド光源10はパルス及び又は変調光源81(例えば、LED、レーザー、フラッシュランプ等)をさらに含み、パルス照明又は変調照明を供給する。ゲーテッド光源10は、電気的方法(例えば、熱電クーラー)、及び又は当業者であれば分かるような、適切な機械的方法及び又は照明の波長を安定化させるための光学的方法及び装置に基づく、光源の波長コントローラ80を含んでいても良い。ゲーテッド光源10は、光源コントローラ78と、車両の電気供給路84を介して供給する電源79とをさらに含んでいる。光源コントローラ78は、パルス又は変調照明を駆動するように設けられ、光源の波長コントローラ80を制御すると共にゲーテッド撮像コントロール30から起動信号を受信するように設けられている。ゲーテッド光源10は組み込みテストを制御及び供給するように設けられる車両通信バス83への通信インターフェース35をさらに含んでいても良い。光源10のパルスパラメータは、パルスの振幅、パルスの期間、パルスの周波数、パルスの形状、パルスの位相、及びパルスのデューティサイクルを含んでいても良い。
【0011】
図3は特定の距離120で車両に取り付けられるFOV150を有するゲーテッドカメラ(センサーアレイ)40を示している。ゲーテッド光源10(図示せず)はゲーテッドカメラ40に同期する視認画像(130及び100で輪郭を描く)を示し、ゲーティング(前記で定義)を供給する。ゲーテッドカメラ(センサーアレイ)40は完全な被写界深度(130及び100で輪郭を描く)の反射したゲーテッド光源エネルギーを吸収する。ゲーテッドカメラ(センサーアレイ)40はまた、不可視のゲーテッド光源からの、少なくとも単一の選択的に照らされたシーンの被写界深度(「スライス」)(130,100及び110で輪郭を描かれる140)を蓄積しても良い。次表は各被写界深度の必要なタイミングの例を提供する。
【0012】
【0013】
ゲーテッド撮像システムはリアルタイムで蓄積画像を処理し、(追加のセンサーを有する及び又は有しない)画像を融合し、視認画像の関連のある物体(例えば、車両の軌跡の歩行者、交通標識の生成、道路の穴等)に自動的に警報を出し、及び又は強調する。ゲーテッド撮像システムはまた、そのシステムの処理及び又は未処理の画像を表示するディスプレイ装置及び又はシステム画像の処理された特徴のための音声警報を含んでいても良い。
【0014】
ゲーテッドカメラFOV及び又はゲーテッド光源は観察されたシーンの関数として操作中に移動されても良い。例えば、観察された道路が上向きのシーンでは、ゲーテッドシステムは上向きに回転され、右に曲がる道路では、ゲーテッドシステムは道路の曲がりと同様の角度で右に回転される。ゲーテッドシステムの回転は、機械的構造、電子機械的エンジン、電子工学的構造を介して制御されても良い。
【0015】
図4は、夜間及び厳しい天候条件(例えば、雨、雪等)の夜間におけるゲーテッド撮像システムの高い検出確率(POD)及び低い誤警報率(FAR)の自動障害物検出のフローチャートを示している。以下の自動障害物検出は20個の有効な目標物のカメラ画素以下の低いカメラの目標物の解像度に適用可能である(例えば、システム及び約15の有効な目標物の画素を供給するカメラIFOV≒0.4mrad から150mに立っている1mの高さの歩行者のような目標物)。フローチャートの入力はゲーテッド撮像システムで撮られる少なくとも2つの画像である。第1の画像(図4の画像#1,202)はシーンの完全な被写界深度(DOF)画像であり、連続する第2の画像(図4の画像#2,201)はシーンの選択的なDOF(「スライス」)画像である。動作検出処理ブロック(203)は、歩行者の歩行、自転車乗り等のような垂直及び又は水平の目標物の動作を検出する。動作検出処理ブロックは、観察されたシーンに関してゲーテッド撮像プラットフォーム(例えば、車両)の「エゴモーション(Egomotion)」(すなわち、不動のシーンに関するカメラの動作を推定することに関する)動作を考慮に入れても良い。候補検出処理ブロック(204)は所定の特徴により目標物を抽出する。例えば、歩行者は垂直エッジに応答するフィルターにより抽出される垂直の特徴を有している。主に、車線検出処理ブロックにより供給される道路及びその近くの道路の縁に(すなわち、ゲーテッドシステムの軌跡の関連の目標物だけ)注意が向けられる。上記した3つの処理ブロックの出力を結合することは、関連する目標物だけを供給する候補スクリーニング処理ブロック(206)で行われる。図4の画像#2は動作及び候補検出処理ブロックの入力であり、選択的なDOF/「スライス」(例えば、観察された画像の所定のセグメント)に基づき、さらなる目標物のスクリーニングを行う。図4の画像#1(完全なDOF)は完全なシーン画像による画像#2(選択的なDOF/「スライス」)に関して車線検出処理ブロック(205)の入力であることが好ましく、低い誤検出の高い検出確率で車線検出を可能にする。歩行者の検出のフローチャートの幾つかの処理ブロックの出力例が図5に示されている。この処理画像の入力は完全なDOF画像である(例えば、画像#1は上述した処理ブロックの入力である)。2つの境界線は、紫色(車線検出ブロックの出力)、青色/黄色の長方形(候補検出ブロックの出力)、及び黄色の長方形(候補スクリーニングブロックの出力だが動作検出ブロックを実行しない)のアルゴリズムにより示されており、車線検出の外側の候補は除外される。歩行者検出のフローチャートの幾つかの処理ブロックの別の出力例は図6に示されている。上側の処理画像の入力は選択的なDOF/「スライス」画像であり(例えば、画像#2は上述した処理ブロックの入力である)、下側の処理画像の入力は完全なDOF画像である(例えば、画像#1は上述した処理ブロックの入力である)。1つは候補スクリーニング処理ブロックの入力に関してDOF/「スライス」の上側画像の利点に気付くことができる。図4のフローチャートに戻ると、特徴抽出処理ブロック(207)は別の目標物スクリーニング層を供給するように実行される。このブロックは各目標物のタイプの特徴に具体的に設計されている。例えば、歩行者は典型的な幅/高さ比、Cyが多数のセグメントのY中心であるCy/長さ比、セグメントの2つの部分の間のセグメントの下側部分の最大差である交差する脚の差を有し、或いは、歩行者が歩行している場合にその脚は逆「V」形状を形成する。障害物認識処理ブロック(208)は特徴抽出処理ブロックと一致する目標物だけを抽出し、ドライバーHMIに最終の強調及び又は表明される高いPOD及び低いFAR目標物検出入力を障害物検出処理ブロック(209)に供給する。
【0016】
図4の車線検出処理ブロックはまた、ゲーテッド画像(完全なDOF又は選択的なDOF)に基づき道路の曲線部を検出する。この検出された情報(道路の曲線部の角度及び又は道路の曲線部の距離)は車両のヘッドランプの照射及び又はヘッドランプの照射形状を移動させ、図6Aに示されているように運転者が運転経路を予測するのを助けることができる。
【0017】
ゲーテッド撮像システムFOVにおける目標物の検出は、夜間及び厳しい気候条件(例えば、雨、雪等)における画像センサー及び光源のタイミング領域(ゲーティング)に関連する選択的なDOF(「スライス」)により行われる。例えば、「スライス」(例えば、観察画像のセグメント)の実施は目標物が関連のDOFでのみ蓄積される仮想スキャナとして動作する。その「スライス」画像は、シーンに対してクラッターの削減及び物体のコントラスト向上により、物体の検出のため(例えば、システム画像処理、運転者の肉眼等)、完全なDOF画像に対して、より良好な信号雑音比を可能にする。クラッターは探索中の目標物に関してシーンのテクスチャとして考えられる。(歩行者に対して)強烈なクラッターは多数の車両、ポール等の都会の風景であることがある。例として、システムの完全なDOF画像は25mから250mまでで、所望なDOF(「スライス」)は150mから250mであり、別の実施例は、システムの完全なDOFが25mから250mで、所望なDOF(「スライス」)が25mから100mである。
【0018】
図7はゲーテッド撮像システムにより撮られた画像を示しており、上側の画像は25mから250mの完全なDOF画像で撮られており、下側に連続する画像は150mから200mの所望なDOF(「スライス」)で撮られている。道路の右側の歩行者は療法の画像で目立っているが、歩行者の前のクラッター(すなわち、150m以下)及び歩行者の後ろのクラッター(すなわち、200m以上)は完全なDOF(すなわち、25mから250mまで)に対して所望なDOF(「スライス」)画像において低くなっている。
【0019】
図8はゲーテッド撮像システムにより撮られた画像を示しており、上側の画像は25mから250mの完全なDOF画像で撮られており、下側に連続する画像は150mから200mの所望なDOF(「スライス」)で撮られている。傘を持っている歩行者が約75mの距離で道路を渡っており、完全なDOF画像でのみ目立っている。この例では、所望なDOF(「スライス」)画像は仮想スキャナとして動作し、目標物(この例では、歩行者)は、目標物が関連するDOFで照らされていない(例えば、目立っている)事実によって、(図4のフローチャートに示されているように)自動目標物検知により表されていない。
【0020】
図9はゲーテッド撮像システムにより撮られた画像を示しており、上側の画像は10mから200mの完全なDOF画像により撮られており、下側に連続する画像は10mから50mの所望なDOF(「スライス」)で撮られている。歩行者は約25mの距離で画像の右側を走っており、両方の画像でのみ目立っている。この例では、所望なDOF(「スライス」)画像は、自動又は非自動の歩行者検出方法により単純な画像入力を与える、連続する完全なDOF画像より非常に少ないクラッター(すなわち、背景のデータ)を有する。選択的なDOF(「スライス」)による目標物検出はクラッターに基づいており、よって、ゲーテッド撮像の最大SNR画像が夜間及び厳しい天候条件(例えば、雨、雪等)において受信される時、「スライス」からの目標物の最適な反射信号が蓄積されるであろう。この方法は以下のステップにより行われる。
【0021】
・ステップ1:目標物は上述及び図4に示されているように自動的に検出され、或いは幾つかの他の方法によって検出される。例えば、目標物はカメラフレーム#Nで検出される。
【0022】
・ステップ2:「スライス」の同期のタイミング(すなわち、TLaser,TII及びTOffのようなゲーテッド光源のタイミングとゲーテッドカメラのタイミングの関数であるパラメータ)は目標物があるDOFの特定のセグメントを蓄積するように設定される。ゲーテッドカメラのFOVにおける目標物の寸法及び又は位置の幾何学的な考察は「スライス」のタイミングのための「一次」距離の推定を提供する。
・ステップ3:ステップ2から蓄積される「スライス」の画像における目標物(すなわち、カメラフレーム#Nで検出される目標物)のSNRを計算する。
【0023】
・ステップ4:TLaser,TII及びTOffのような「スライス」の同期タイミングのパラメータを調整し、「スライス」の深度を短くすることにより及び又はR0を増加させ及び又はRminを増加させ及び又はRmaxを減少させることにより、次の「スライス」の蓄積された画像においてより良い目標物のSNRを達成する。例えば、目標物がステップ1で検出された場合である。「スライス」はステップ2で説明されているように100mから200mの距離から反射された照明信号を蓄積するように定義される。計算された目標物のSNR(ステップ3)がステップ1の以前の目標物のSNRより小さい場合、次の「スライス」を調整し、100mから150m又は150mから200m等の距離から反射される照明信号を蓄積する。
・ステップ5:ステップ3等に戻る。
【0024】
ゲーテッド撮像システムは、車速及び又は観察される風景の道路の幾何学的なもの及び又は道路状態に関連する所望なDOF(「スライス」)でのみ目標物を処理及び又は表示及び又は検出する。車速はGPSにより及び又は車両通信バスを介して及び又は蓄積された画像間のゲーテッド撮像システムの画像の変化に基づいて与えられる。道路の幾何学的なものは図4のフローチャートで示されているように曲線部の検出及び又は地図に関連するGPSの位置により与えられる。例えば、夜間及び厳しい天候条件(例えば、雨、雪等)の夜間の道路の幾何学的なDOF(「スライス」)に従属する場合には、直線道路でDOF(「スライス」)が150mから250mで、曲線道路でDOF(「スライス」)が25mから150mであろう。別の例では、道路条件のDOF(「スライス」)に従属する場合には、乾燥した道路でDOF(「スライス」)が150mから250mで、濡れた道路でDOF(「スライス」)が25mから150mであろう。濡れた道路及び又はオイル漏れは、鏡の反射率の性状により又は(濡れた道路に適用可能な)車両の雨センサーのような他の外部の兆候及び又は(濡れた道路に適用可能な)天候放送から検出される。この方法は運転者及び又はシステム撮像処理に対する不適切なクラッター(データ)を削減することができ、運転者への潜在的な危険性を強調することができる。
【0025】
図10及び図11は夜間及び厳しい天候条件(例えば、雨、雪等)におけるゲーテッド撮像システムによる目標物の距離の推定方法を示している。ゲーテッド撮像システムは各蓄積されたフレームの少なくとも1つの選択的なDOF(「スライス」)を処理し、観察及び照らされた風景の物体の距離を推定し、それはゲーテッドカメラ及びゲーテッド光源の同期のタイミング領域(ゲーティング)に関連する。例えば、特定のゲーティングのシーケンスは特定の選択的なDOF(「スライス」)に直接関連している。距離の推定は光源のパルスの上昇及び降下時間及びゲーテッドカメラのGCMOSの遮蔽特性(オン及びオフ期間)に基づき、そのため、これらのパラメータが早くなると距離の推定はより正確になる。
【0026】
図10は上側部分において、単一フレーム/画像の単一DOF(「スライス」、400)における2つの物体(目標物401及び402)を示している。下側部分には、異なる単一フレーム/画像の2つの異なるDOF(「スライス」、401及び402)における同じ2つの物体(目標物401及び402)を示している。図11は複数の異なるDOF(「スライス」、450、460及び470)における単一の物体(目標物403)を示している。各DOFの特定の同期タイミングに基づき、R0及び又はRmin及び又はRmaxが抽出される。例えば、50ナノ秒の次数のゲートのオン/オフ時間のゲーテッドカメラで畳み込まれる50ナノ秒の次数の上昇/降下時間の光源は±15mの次数のDOF範囲を推定する。
【0027】
ゲーテッド撮像システムは昼間及び又は夜間及び又は低視程状態の間に物体の距離及び又はタイプを検出及び又は推定する。これは、読み出しフレーム毎の少なくとも単一の光源のパルス及びゲートのシーケンスに基づき、選択的なDOF(「スライス」)を有する可能性に直接関係する。この方法は観察された風景における高強度の照明光源のピーク電力の反射を利用する。高反射物体(すなわち、ランベルトのような拡散性のない目標物)は、交通標識の再帰反射器、車両の再帰反射光及び又は再帰反射ステッカー、交通照明の再帰反射器等のようなこの技術で検出される。再帰反射器からの強い照明は拡散性反射器より3段階の次数であり、昼間光の状態でさえ背景の信号比に対して良好なゲーテッド撮像システムの信号を可能にする(すなわち、太陽による高照度)。この方法は、背景から「強調する(Highlighting)」関連の目標物を供給し、幾何学的考察及び又は他の方法に基づき、関連する距離の推定をより迅速かつ簡単に行うことができる。その方法は(図13に示されている計算例によって)以下のように行われる。
【0028】
・フレーム「#1(活動型フレーム):単一読み出しフレーム毎の少なくとも単一の光源パルス及びカメラのゲートシーケンス(ゲーティング)である。少なくとも単一の光源パルス及びカメラのゲートシーケンス(ゲーティング)はフレーム#1の終わりにできるだけ近い期間に行われる。少なくとも単一の光源パルスは関連波長における周囲の放射照度おり高いピーク電力でなければならない。このフレーム#1の例は図12に示されている。
【0029】
フレーム#2(受動型フレーム):フレーム#1に連続する単一の読み出しフレーム毎の光パルスのない単一のカメラゲートである。光パルスのない単一ゲートはフレーム#2の初期にできるだけ近い期間に行われる。この方法により、フレーム#1(活動型フレーム)及びフレーム#2(受動型フレーム)は、カメラのゲート期間が両フレームで同一の場合に同様の周囲の光を蓄積する。このフレーム#2の例は図12に示されている。
【0030】
・フレーム#3(「強調する(Highlighting)」非常に反射する物体):フレーム#1をフレーム#2から引いて信号の閾値を設定する。この方法は風景において非常に反射する物体を露光する周囲の光の背景を除去する。フレーム#1のセンサーのゲート/光のパルス及びフレーム#2のセンサーのゲートのタイミング(すなわち、各フレームの位置)は、各フレームにおいて比較的同様に蓄積される背景の信号を供給するこれらの事象の近くのためより良い目標物SNRを供給する。このフレーム#3の例は図12に示されている。
【0031】
画像におけるこの取得されたデータを結合することにより背景から「強調する(Highlighting)」関連の目標物(すなわち、風景において非常に反射する物体)である。例えば、交通標識、車両照明の再帰反射器、車両のプレートナンバー等である。フレーム#3における「強調する(Highlighting)」関連の目標物の例は図12に示されている。
・目標物のタイプの検出:これは目標物の反射率の動作に基づき、目標物のタイプは推測される(ランベルト、再帰反射器又は周囲の光源)。
【0032】
目標物の範囲の推定:「強調された」目標物の領域においてのみ範囲推定アルゴリズムを実行する。幾何学的考察に基づく範囲推定アルゴリズムは車両の再帰反射器の間の予め公知な距離及び又は車両のプレートのサイズ及び又は後方車両の照明の間の距離等に基づいている。図12に示されているフレーム#3の「強調された」車両後部の再帰反射器の検出例に基づき、その範囲は42.8mと推定される(測定値から5%以下の誤差)。この範囲推定のさらなるパラメータは、車両後部の再帰反射器の間の距離が1.1mで、ゲーテッドカメラIFOV≒0.45mrad である。
【0033】
ゲーテッド撮像システムは夜間及び又は夜間の低視程条件における物体の距離及びタイプを検出及び又は推定する。これは、センサーの読み出しフレーム毎の少なくとも単一の光源パルス及びゲートシーケンス(ゲーティング)に基づき選択的にDOF(「スライス」)を有する可能性に直接関係する。この方法は観察された風景において高強度の照明光源のピーク電力の反射を利用する。非常に反射する物体(すなわち、ランベルトのように拡散しない目標物)は、交通標識の再帰反射器、車両の再帰反射ライト及び又は再帰反射器のステッカー、交通ライトの再帰反射器等のようなこの技術において検出される。再帰反射器からの強い照射は拡散反射より3等級の次数であり、良好なゲーテッドシステムの信号雑音比(SNR)とすることができる。この方法は、背景から「強調する」関連の目標物を供給し、幾何学的考察及び又は他の方法に基づき、より迅速且つ簡単に関連する距離を推定することができる。その方法は図14に示されている。
【0034】
・フレーム#1(名目のフレーム):読み出しフレーム毎の少なくとも単一の光源パルス及びカメラのゲートシーケンス(ゲーティング)である。通常、この画像は1000ゲートの次数における単一の読み出しフレーム毎に幾つかのゲートシーケンスに基づいている。フレーム#1の例は図14に示されている。
【0035】
・フレーム#2(活動型フレーム):フレーム#1に連続する単一の読み出しフレーム毎の少なくとも単一の光源パルス及びカメラのゲートシーケンス(ゲーティング)である。少なくとも単一の光源パルス及びゲートシーケンス(ゲーティング)はフレーム#1の終わりにできるだけ近い期間に行われる。通常、この画像は10ゲートの次数における単一の読み出しフレーム毎に幾つかのゲートシーケンスに基づいている。このフレーム#2の例は図14に示されている。
【0036】
・フレーム#3(受動型フレーム):フレーム#2に連続する単一の読み出しフレーム毎の光パルスのない単一のカメラゲートである。光パルスのない単一ゲートはフレーム#2の初期にできるだけ近い期間に行われる。この方法により、フレーム#2(活動型フレーム)及びフレーム#3(受動型フレーム)は、両方の画像において同様の像を蓄積する。このフレーム#3の例は図14に示されている。
【0037】
・目標物のタイプの検出:目標物のタイプは目標物(フレーム#2及びフレーム#3)の反射率の作用に基づき、推測される(ランベルト、再帰反射器目標物又は周囲の光源)。異なる目標物の例は図14に示されている。
【0038】
・目標物の範囲の推定:これは、ランベルト目標物、再帰反射器目標物又は周囲の光源目標物のような予め定義された特性を有する領域のみで範囲推定アルゴリズムを実行する。幾何学的考察に基づく範囲推定アルゴリズムは車両の再帰反射器の間の予め公知な距離及び又は車両のプレートのサイズ及び又は後方車両の照明間の距離等に基づいている。図12の例に基づき、反対側車両に対する範囲推定は110mと推定される(測定値から5%以下の誤差)。この範囲推定のさらなるパラメータは、反対側車両のヘッドランプの間の距離が1.5mで、ゲーテッドカメラIFOV≒0.45mrad である。
【0039】
図15は昼間において非ゲーテッドカメラで撮られた4枚の連続画像を示している。これらの画像は光パルス幅変調(PWM)による各画像において光変調された目標物の異なる部分(この場合には画像の上側部分の交通標識)を取得する問題を示している。ゲーテッド撮像システムはゲーテッド撮像カメラFOVにおいて光変調又はパルスの物体の像(例えば、光の明滅を頻繁に繰り返す交通標識等)を写す。
【0040】
図16はゲーテッド光源の必要がないゲーテッド撮像カメラ40を利用する技術を示している。変調周波数で「ロックする(locking)」(例えば、特定のゲートを開放し、光源の変調周波数に直接関係する信号を調べる)こと、及び又はセンサーフレーム(320)の読み出し毎に異なるタイミングシーケンス(330,350及び370)において異なる時間長の露光340,360及び380で(すなわち、光源の変調周波数を「知る」ことなく)システムのカメラの複数のゲート(「G」で示す)による。印310はゲーテッドカメラ40のサイクルにおけるあるタイミングシーケンスを示している。
【0041】
図17はゲーテッド撮像システム60がシステムから及び又はシステムの光源の照射なしに及び又は追加の撮像センサー(例えば、熱センサー、CMOS,CCD等)で得られる少なくとも2枚の画像(フレーム)から融合される画像を処理及び又は融合及び又は表示する方法を示している。図17のフレーム#1は光源を使用しない受動型フレーム(図14のフレーム#3と同様)であり、図17のフレーム#2は活動型フレーム(図14のフレーム#1又はフレーム#2と同様)である。活動型フレームはタイミングシーケンスを有し、照射パルスの後にセンサーの露光の一定の遅れ(よって、上記定義されるゲーティング)が続く。照射パルス(「L」で示す)は異なる期間(235,255及び265)の後に遅れ(237,257及び267)が続く。センサーフレーム(240)の読み出し毎にNサイクルまで異なるタイミングシーケンス(230,250及び670)においてセンサーの異なる露光期間(345、365及び385)となる。印310はゲーテッドカメラ40のサイクルにおける一定のタイミングシーケンスを示している。ヒュージング受動型フレーム及び活動型フレームは改善された画像の融合フレームを提供する。
【0042】
GCMOS等に基づくもののようなゲーテッドカメラ、ゲーティング(光蓄積)のタイミングは各画素と別のものとが異なり或いは各アレイ(幾つかの画素又は画素群)とがGCMOSの別のものと異なる。この方法は各ゲーテッド画素(又はゲーテッドアレイ)に異なるDOF(「スライス」)を蓄積させることができる。これは各画素又は画素群の起動機構を制御することにより達成される。
【0043】
そのようなゲーテッド撮像システムは、フレームの読み出し毎にゲート数を下げること及び又はゲート時間長を制限すること及び又はゲーテッドカメラを再び下げることに直接関係するゲーテッドカメラの短いゲート(すなわち、露光時間/光蓄積)により、高強度の周囲の光レベルの間(すなわち、昼間、夜間に車両に入ってくる高い又は低いフロントヘッドライト等)の撮像センサーのブルーミングの問題を克服する。ブルーミングはまた、各画素と別のものとの間の高いアンチブルーミング比により、GCMOS等のように、ゲーテッドカメラで処理される(すなわち、画素から隣の画素への信号拡散の流出を減少させる)。例えば、最初のフレームが50ナノ秒の単一の露光を有し、連続するフレームが16ミリ秒の単一の露光を有する場合、最初のフレームと連続するフレームとの間に110dBのダイナミックレンジを可能にする。
【0044】
ゲーテッド光源10は、例えば、閉ゲーテッド撮像距離(例えば、水平24度、垂直8度で100mまで照射するFOI)のための広いFOI/開度(130及び100で輪郭が描かれている)及び長ゲーテッド撮像距離(例えば、水平8度、垂直8度で100mから200mまで照射するFOI)のための2番目の狭いFOI/開度に示されているように、FOV150の少なくとも一つのゲーテッドカメラ40を有する1つの照明場(FOI)/開度以上である。上記例に戻ると、200mまで照射する単一の広いFOIを有するものはデュアルFOIより約400%のエネルギーを要求する。この方法は単一のFOI照明に関してゲーテッド光源の電力消費を削減させ、上述したような短く長い距離の各種機能を保持する。各FOI(開度)は少なくとも単一の異なるDOFを利用し、例えば、狭いFOIは150mから250mのDOF(190,170及び180で輪郭を描かれている160)を有し、広いFOI(130,110及び100で輪郭を描かれている140)は10mから100mのDOFを有している。この技術は視聴者及び又はシステムの自動検出に対してFOIが一定であり及び又はDOFが単一のFOIに限定される他の画像システムと比較する利点を与える。さらに、各ゲーテッド撮像FOIは、異なるスペクトル幅及び又は異なる偏光及び又は異なるゲーティングのタイミング(すなわち、TLaser,TII及びTOff)及び又はゲーテッド光源パルスの形状(すなわち、上昇/降下時間)のような異なる電子光学パラメータを有している。これにより、観察された標識の蓄積されたデータ/信号の別の層をゲーテッドシステムに与えることができる。
【0045】
図19はゲーテッド撮像システムの適応可能なDOF処理のフローチャート(500)を示している。ステップ510では、シーンにおける予備的なDOFパラメータ(すなわち、一定のR0,Rmin及びRmax)を伴う(プラットフォームの速度、地形幾何学、地形学、シーンの視界、DOFでの検出に要求される物体のタイプ等のような)境界条件を得る。ステップ520及びステップ530では、特定のDOF(単一の読み出しセンサーアレイフレーム毎に1つ以上)がゲーテッド光源のパラメータ(例えば、開度及び、パルスの振幅、パルスの期間、パルスの周波数、パルスの形状、パルスの位相、及びパルスのデューティサイクル等のようなパルスのパラメータ)及びゲーテッドカメラ(センサーアレイ)のパラメータ(例えば、ゲイン、露光の期間、露光の周波数、露光の上昇/降下時間、蓄積されたパルスの偏光、及び露光のデューティサイクル)を制御することにより、設定される(TLaser,TII及びTOff)。ステップ540では、少なくとも単一のゲーテッド画像がDOFパラメータを伴う境界条件に従ってゲーテッドカメラ(センサーアレイ)で取得される。ステップ550では、特定のDOF(「スライス」)が分析された取得画像の少なくとも1つ及び又は(変更される)境界条件に基づき調整/更新される。
図1
図2
図3
図4
図5
図6
図6A
図7
図8
図9
図10
図11
図12
図13
図13A
図13B
図13C
図13D
図14
図15
図16
図17
図18
図19