(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-05-30
(45)【発行日】2022-06-07
(54)【発明の名称】車両制御のためのリアルタイムＨＤＲビデオ
(51)【国際特許分類】
H04N 5/235 20060101AFI20220531BHJP
H04N 5/225 20060101ALI20220531BHJP
H04N 5/232 20060101ALI20220531BHJP
【ＦＩ】
H04N5/235 500
H04N5/225 800
H04N5/232 380
【請求項の数】
13
(21)【出願番号】P 2019529136
(86)(22)【出願日】2017-08-07
(65)【公表番号】
(43)【公表日】2019-09-05
(86)【国際出願番号】 US2017045683
(87)【国際公開番号】W WO2018031441
(87)【国際公開日】2018-02-15
【審査請求日】2020-07-29
(31)【優先権主張番号】62/372,527
(32)【優先日】2016-08-09
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】519045125
【氏名又は名称】コントラスト， インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】カイザー， ウィリー シー．
(72)【発明者】
【氏名】トッチ， ノラ
(72)【発明者】
【氏名】トッチ， マイケル ディー．
【審査官】高野 美帆子
(56)【参考文献】
【文献】米国特許出願公開第２０１３／０２５０１１３（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１３／００２１４４７（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１４／０１５２６９４（ＵＳ，Ａ１）
【文献】特開２０１３－０２７０２１（ＪＰ，Ａ）
【文献】特開２００７－０９６５１０（ＪＰ，Ａ）
【文献】特開２００９－０１７１５７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１０／０２２５７８３（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２３５
Ｈ０４Ｎ ５／２２５
Ｈ０４Ｎ ５／２３２
(57)【特許請求の範囲】
【請求項1】
ＨＤＲシステムであって、リアルタイムＨＤＲビデオを生産するように動作可能であるＨＤＲカメラと、
前記ＨＤＲカメラおよび車両の制御システムと通信するように構成されている処理システムであって、前記処理システムは、前記ＨＤＲビデオに基づいて、前記車両の環境内の特徴の特性を判定し、前記特性に基づいて、前記車両の動作の変更を指示する命令を前記制御システムに発行するように動作可能である、処理システムと
を備え、前記ＨＤＲカメラは、少なくとも、処理デバイスに結合された第１のセンサおよび第２のセンサを備え、前記第１のセンサは、高露光センサであり、前記第２のセンサは、前記第１のセンサよりも低い露光を有し、前記ＨＤＲカメラは、ピクセル値を前記第１のセンサおよび前記第２のセンサのそれぞれから、フレーム独立様式において、前記処理デバイス上のパイプラインを通してストリーミングするように構成され、前記パイプラインは、カーネル演算と融合モジュールとを含み、前記カーネル演算は、ピクセル値が前記第１のセンサおよび前記第２のセンサのそれぞれからストリーミングされるにつれて、前記第１のセンサ上の所与のピクセルに関して、前記所与のピクセルを囲繞するピクセルの近傍からの値を検査し、前記ピクセルの近傍内の飽和した値を識別し、前記第２のセンサ上の対応する近傍からの情報を使用して、前記所与のピクセルに関する値を推定することによって、前記ピクセル値に作用し、前記融合モジュールは、前記ピクセル値を融合し、前記ＨＤＲビデオをリアルタイムで生産する、システム。
【請求項2】
前記ＨＤＲカメラは、前記車両の周囲の３６０度ビューを捕捉する、請求項１に記載のシステム。
【請求項3】
前記捕捉された３６０度ビューは、環状形状であり、さらに、前記処理システムは、デラッピングプロセスを実施し、前記３６０度ビューを長方形パノラマ画像に変換する、請求項２に記載のシステム。
【請求項4】
検出および測距センサをさらに備え、前記処理システムは、前記検出および測距センサを用いて、オブジェクトを検出し、ＨＤＲカメラを用いて、前記オブジェクトを検出し、前記ＨＤＲビデオ内のオブジェクトの画像を前記検出および測距システムを介して判定されたオブジェクトの検出された範囲と相関させるように動作可能である、請求項３に記載のシステム。
【請求項5】
前記処理システムは、前記３６０度ビュー内の前記環境内のグレアを検出し、前記ＨＤＲカメラを使用して、前記グレアによって影響される前記環境の一部のＨＤＲ画像を捕捉するように動作可能である、請求項２に記載のシステム。
【請求項6】
前記カメラはさらに、レンズと、少なくとも１つのビーム分割器とを備える、請求項１に記載のシステム。
【請求項7】
前記命令は、前記車両にブレーキをかけるよう指示する、請求項６に記載のシステム。
【請求項8】
前記第１のセンサ、前記第２のセンサ、前記レンズ、および前記少なくとも１つのビーム分割器は、光の入射ビームを受信し、前記光のビームを、少なくとも、前記第１のセンサ上に衝突する第１の経路と、前記第２のセンサ上に衝突する第２の経路とに分割するように配列されている、請求項７に記載のシステム。
【請求項9】
前記ビーム分割器は、前記光の大部分を前記第１の経路に指向し、前記光のより少ない量を前記第２の経路に指向する、請求項８に記載のシステム。
【請求項10】
前記第１の経路および前記第２の経路は、それぞれ、前記第１のセンサおよび前記第２のセンサ上に衝突し、光レベル以外光学的に同じである画像を生成する、請求項９に記載のシステム。
【請求項11】
前記処理デバイスは、前記パイプラインを含む、フィールドプログラマブルゲートアレイまたは特定用途向け集積回路を備える、請求項１０に記載のシステム。
【請求項12】
前記パイプラインは、前記ピクセル値がフローする順序において、前記ピクセル値が前記処理デバイス上に前記第１のセンサおよび前記第２のセンサからストリーミングされるにつれて、前記ピクセル値を同期させるための同期モジュールと、
前記カーネル演算と、
前記融合モジュールと、
デモザイク処理モジュールと、
トーンマッピングオペレータと
を含む、請求項１１に記載のシステム。
【請求項13】
前記パイプラインはさらに、色補正モジュール、ＨＤＲ変換モジュール、およびＨＤＲ圧縮モジュールのうちの１つ以上を備える、請求項１２に記載のシステム。【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本出願は、２０１６年８月９日に出願された米国仮出願第６２／３７２，５２７号に対して優先権を主張する。上記文献の内容は、参照することによって援用される。
本出願は、２０１６年８月９日に出願された米国仮出願第６２／３７２，５２７号に対して優先権を主張する。上記文献の内容は、参照することによって援用される。
【0002】
（技術分野）
本発明は、自律走行車両のためのシステムに関する。
本発明は、自律走行車両のためのシステムに関する。
【背景技術】
【0003】
（背景）
いくつかの企業が、自律走行（すなわち、自動運転）車両を製造している。Ｎｅｖａｄａ州では、自動運転車およびトラックは、道路を法的に使用することができると宣言されている。他の州も、Ｎｅｖａｄａの後に続き、道路上の任意の数の自律走行タクシー、トレーラトラック、プライベート高級車、および他のそのような車両を許可するであろうことが可能性として考えられる。
いくつかの企業が、自律走行（すなわち、自動運転）車両を製造している。Ｎｅｖａｄａ州では、自動運転車およびトラックは、道路を法的に使用することができると宣言されている。他の州も、Ｎｅｖａｄａの後に続き、道路上の任意の数の自律走行タクシー、トレーラトラック、プライベート高級車、および他のそのような車両を許可するであろうことが可能性として考えられる。
【0004】
残念ながら、自律走行車両は、従来の車と同一限界の多くを被る。例えば、車両が慎重に運転される場合でも、予測不能環境内での運転に付随する事故のリスクがある。加えて、可視性または静止摩擦等の物理的限界も、従来の車と変わりなく、自律走行車両に当てはまる。突然の視界不良、判別不能車道マーカ、激しい豪雨または猛吹雪条件、ならびに夜間の黒っぽい衣類または暗色動物は全て、路上で安全にナビゲートする車両の能力に干渉し得るものの実施例である。ライダおよびレーダをカメラと組み合わせて使用する、自律走行車両でも、種々の不良条件では、事故を被りやすい。したがって、自律走行車両の広範な実装および使用を補助するための改良された技術の必要がある。
【発明の概要】
【課題を解決するための手段】
【0005】
（要約）
本発明は、リアルタイム高ダイナミックレンジ（ＨＤＲ）カメラを利用する、自律走行車両のためのシステムを提供する。本発明において使用するためのＨＤＲカメラは、複数の画像センサからのピクセル値のパイプライン処理を備え、車両の環境のビューを、リアルタイムで、フレーム独立様式において、車両が動作するにつれて提供する。ピクセル値が、カメラの画像センサによって提供されるにつれて、それらの値は、ビデオ情報を使用する前に、画像全体またはフレームを待機して、収集する任意の要件を伴わずに、直接、パイプライン処理動作を通して、ＨＤＲシステムにストリーミングされる。パイプラインは、画像の飽和した部分とより少ない光の画像の対応する部分を置換し、場面の非常に少ない光の部分および非常に強く照らされた部分を含むように拡張するダイナミックレンジを伴う、ビデオをストリーミングすることによって、異なる光レベルで撮影された画像を融合するように動作する。ダイナミックレンジが、高いため、車両は、場面が、近づいて来る車両のヘッドライトまたは太陽光等の明るい光によって占められている場合でも、ぼんやりし、判別することが困難な特徴を検出する。ＨＤＲビデオカメラは、車両の主要な道路視認システムであり得る、またはパノラマカメラ等の他の検出システムまたはライダもしくはレーダのような検出および測距システムと協働し得る。
本発明は、リアルタイム高ダイナミックレンジ（ＨＤＲ）カメラを利用する、自律走行車両のためのシステムを提供する。本発明において使用するためのＨＤＲカメラは、複数の画像センサからのピクセル値のパイプライン処理を備え、車両の環境のビューを、リアルタイムで、フレーム独立様式において、車両が動作するにつれて提供する。ピクセル値が、カメラの画像センサによって提供されるにつれて、それらの値は、ビデオ情報を使用する前に、画像全体またはフレームを待機して、収集する任意の要件を伴わずに、直接、パイプライン処理動作を通して、ＨＤＲシステムにストリーミングされる。パイプラインは、画像の飽和した部分とより少ない光の画像の対応する部分を置換し、場面の非常に少ない光の部分および非常に強く照らされた部分を含むように拡張するダイナミックレンジを伴う、ビデオをストリーミングすることによって、異なる光レベルで撮影された画像を融合するように動作する。ダイナミックレンジが、高いため、車両は、場面が、近づいて来る車両のヘッドライトまたは太陽光等の明るい光によって占められている場合でも、ぼんやりし、判別することが困難な特徴を検出する。ＨＤＲビデオカメラは、車両の主要な道路視認システムであり得る、またはパノラマカメラ等の他の検出システムまたはライダもしくはレーダのような検出および測距システムと協働し得る。
【0006】
リアルタイムストリーミングＨＤＲビデオカメラを使用することによって、ＨＤＲシステムは、車両が特徴に応答して制御され得るように十分に急速に、環境内のそれらの特徴を検出および解釈することができる。例えば、不良に照らされた道路標識が、システムによって読み取られることができるだけではなく、予期しない危険も、事故が回避されるように間に合うように、確認および処理されることができる。カメラは、ＨＤＲであるため、危険は、環境がヒト視覚的検出を困難または不可能にさせるであろう場合でも、検出され得る。複数のセンサが、異なる光レベルで動作するため、目を眩ますような太陽が場面内に現れる場合でも、低露光センサが、道路上の障害物の画像を形成することができる。カメラは、ＨＤＲビデオを制御システムにリアルタイムでストリーミングするため、制御システムは、環境の突然の変化に応答することができる。例えば、車両は、あるオブジェクトが車道内に予想外に現れる場合、ブレーキをかけることができる。車両は、見え難いオブジェクトを検出および解釈するため、かつ車両は、予期しない特徴にリアルタイムで反応可能であるため、損失の大きい衝突は、回避されるであろう。自律走行車両の動作は、より安全であり、それらの車両を広範囲の商業用および娯楽用の使用のために好適なものにするであろう。
【0007】
ある側面では、本発明は、車両のためのＨＤＲシステムを提供する。本システムは、リアルタイムＨＤＲビデオを生産するように動作可能である、ＨＤＲカメラと、処理システムとを含む。処理システムは、ＨＤＲカメラおよび車両の制御システムと通信する。ＨＤＲビデオを使用して、処理システムは、車両の環境内のアイテムの外観を判定し、制御システムに、アイテムの外観に基づいて、車両の動作の変更を指示する命令を発行する。
【0008】
ＨＤＲシステムは、車両が工場から出荷される際、車両のＯＥＭ部品として据え付けられることができる。ＨＤＲシステムは、ＯＥＭ車両製造業者に販売され、例えば、アセンブリライン上で車両の中に統合される、または販売業者オプションとして追加される、コンポーネントであることができる。ＨＤＲシステムは、例えば、既存の車両と併用されるために、消費者に販売される、アフターマーケット付属品であることができる。
【0009】
ＨＤＲシステムは、車両のナビゲーション、安全性、またはエンターテインメントシステムを拡張させること等によって、完全自律走行車両内において、運転手補助特徴の一部として、または主要運転機能外の付属機能性を提供するために採用され得る、機能性をもたらす。ＨＤＲシステムは、車線マークを読み取り、車両を車線内に保つことを補助してもよい。本システムは、例えば、ＨＤＲカメラを使用して、路上標識または他の目印を読み取り、ナビゲーション補助を提供してもよい。加えて、または代替として、ＨＤＲカメラは、沈下、バンプ、くぼみ、工事、金属板等の道路条件を検出および解釈し、そのような特徴のための車の電子サスペンションダンピングを設定するために使用されてもよい。本システムは、１つ以上のＨＤＲカメラを使用して、情報を収集し、例えば、道路の建設等の大規模な地図作成計画およびナビゲーションまたは緊急サービスシステムのための事業用データベースのために、情報をサーバにフィードしてもよい。好ましい実施形態では、ＨＤＲカメラベースのシステムは、完全自律走行車両の有用性および安全性を改良するために使用される。本明細書により詳細に議論されるように、完全自律走行車両は、ＨＤＲビデオカメラベースのシステムを使用して、道路および環境内のあらゆる様式の詳細を完全に確認および解釈し、動作時、最適化された安全性および効率を提供することができる。
【0010】
ＨＤＲシステムは、消費者の「乗用車」または相乗り用の車もしくはレンタカー等の自動車の一部として、またはそこで使用するために提供されてもよい。そのような車両は、典型的には、２～７つの座席と、セダン、コンパクトＳＵＶまたはＣＵＶ、ＳＵＶ、ワゴン、クーペ、軽トラック、ロードスター、またはスポーツカー等の形状因子とを有するであろう。加えて、または代替として、ＨＤＲシステムは、貨物トラック、セミトレーラー、バス、または他の載荷車両の一部として、またはそこで使用するために提供されてもよい。ＨＤＲシステムは、ＨＵＭＶＥＥ、戦車、ジープ、消防車、警察車両、救急車、爆弾部隊車両、人員輸送車等、軍事または緊急応答車両の一部として、またはそこで使用するために提供されてもよい。ＨＤＲシステムは、フォークリフト、物流設備内の倉庫用ロボット、オフィス用メールカート、ゴルフカート、パーソナルモビリティデバイス、自律走行現金輸送車、Ｈｏｌｌｙｗｏｏｄ映画撮影機台、遊園地の乗り物、軌道式または無軌道式鉱石運搬車、またはその他等、多目的車両の一部として、またはそこで使用するために提供されてもよい。ＨＤＲシステムは、船舶、飛行機、電車、または潜水艦等の非道路走行車両の一部として、またはそこで使用するために提供されてもよい。実際、ＨＤＲカメラは、暗闇、急速に明滅する光、極めて明るい光、予期しないまたは予測不能な照明の変化、明滅する緊急光、ゲルまたは他のデバイスを通してフィルタリングされた光、暗視照明等、ヒトの眼にあまり好適ではない照明条件下で動作する、車両のための特定の利点をもたらすことが見出され得る。したがって、ヒトによってのみ制御される車両と比較して、制御システムを使用する車両は、夜間、地下、Ｔｉｍｅｓ Ｓｑｕａｒｅ、雷鳴を伴う嵐、住宅火災または森林火災、非常道路条件、戦闘、深海ダイビング、鉱山等の環境内においてより良好な性能を発揮し得る。
【0011】
ＨＤＲシステムは、軍事または緊急車両の一部として、またはそこで使用するために提供されてもよい。リアルタイムＨＤＲビデオカメラは、多忙な環境内の多数の入力等、ヒトが処理することが困難である、または遠く離れた非常に小さな事物等、入力を検出することが難しいであろう、種々の入力を検出し、それに応答する能力を提供する。一実施例にすぎないが、ＨＤＲシステムを使用する飛行中隊は、相互ならびに周囲の雲、鳥、地形等を検出し、それに応答し、例えば、完璧な隊形で長距離にわたって飛行し、さらに、種々の地形にわたって、ある臨界高度下で飛行しながら、隊形を維持し得る。いくつかの実施形態では、ＨＤＲシステムは、軍事または緊急車両のためのものであり、自動操縦を提供する、または機能性を補助する。オペレータは、ある時間にわたって車両を制御するようにシステムを設定することができる。加えて、または代替として、本システムは、万一、オペレータが、意識を失う、注意が逸れる、パニックボタンを押下する等の場合、オペレータに介入するようにプログラムされることができる。例えば、本システムは、眼追跡装置または心拍数モニタ等の生理学的センサに接続されることができ、万一、そのようなセンサがある閾値を超える値（例えば、非常に低いまたは上昇心拍数、不自然または抑制された眼移動、もしくは目下の進行経路に向かって指向されていない眼移動）を検出する場合、バックアップ動作モードを開始することができる。本システムは、車両をある保持パターン下に設置する、例えば、パイロットが睡眠中、数時間にわたって、高高度で旋回飛行するように動作されることができる。様々な特徴および機能性が、車両によって提供され得ることを理解されるであろう。
【0012】
好ましい実施形態では、本システムは、リアルタイムＨＤＲビデオカメラと、カメラおよび車両の制御システムと通信する、処理システムとを含む。車両の制御システムは、典型的には、車両のＯＥＭ電子制御ユニット（ＥＣＵ）、例えば、車両内に据え付けられる（例えば、防火壁にボルト留めされる）プロセッサに結合されるメモリと、燃料噴射マッピング、トルク感知／トルクベクトリング、操向等の制御機能とを含む、ハードウェアユニットを含むであろう。ＨＤＲカメラの処理システムは、車両ＥＣＵと「会話」するようにプログラムされる。車両は、ＥＣＵ機能性を提供する、１つ以上のユニットを有してもよいことを理解されたい。本明細書で使用されるように、ＥＣＵは、車両上でともに動作する、全てのそのようなユニットを指すと見なされ得る。
【0013】
好ましい実施形態では、ＨＤＲカメラは、処理デバイスに結合される、複数の画像センサ（順に、処理システムにリンクされ得る）を有する。ＨＤＲカメラは、ピクセル値を画像センサから、フレーム独立様式において、処理デバイス上のパイプラインを通してストリーミングする。パイプラインは、飽和したピクセル値を識別する、カーネル演算と、ピクセル値を融合し、ＨＤＲビデオをリアルタイムで生産するための融合モジュールとを含む。
【0014】
カメラは、車両上に定常搭載されてもよい。カメラは、ある方向に向けられてもよい、または移動してもよい。例えば、カメラは、３６０度回転してもよい。ＨＤＲカメラは、例えば、環状形状の画像を捕捉する定常３６０度カメラまたは回転する指向性カメラのいずれかである、車両の周囲の３６０度ビューを捕捉する、３６０度カメラであってもよい。捕捉された３６０度ビューが環状形状である、実施形態では、処理システムは、デワーピングプロセスを実施し、３６０度ビューを長方形パノラマ画像に変換してもよい（例えば、ヒトへの表示のために）。
【0015】
ある実施形態では、本システムは、検出および測距センサ（概して、レーダまたはライダセンサ）と協働する、またはそれを含むように動作可能である。処理システムは、検出および測距センサを用いて、オブジェクトを検出し、ＨＤＲカメラを用いて、オブジェクトを検出し、ＨＤＲビデオ内のオブジェクトの画像と検出および測距システムを介して判定されたオブジェクトの検出された範囲を相関させるように動作可能であってもよい。
【0016】
本システムは、種々の特徴および利点を提供する。例えば、ＨＤＲカメラシステムは、特に、高グレア条件下で動作するように適合されてもよい。例えば、夜間の混雑時間の間、都市を運転する際、処理システムは、３６０度ビュー内の環境内のグレアを検出し、ＨＤＲカメラを使用して、グレアによって影響される環境の一部のＨＤＲ画像を捕捉するように動作可能であってもよい。本システムは、特に、光レベルが重要な情報を提供する状況に応答するように適合されてもよい。例えば、ＨＤＲカメラは、別の車両のテールライト等のアイテムの外観を検出し、テールライトの照明ステータスを検出することができる。ＨＤＲビデオは、太陽光の直接または反射されたビューを含む場合でも、ＨＤＲカメラは、場面内で移動するオブジェクトの存在を検出することができる。
【0017】
ＨＤＲカメラ自体は、好ましくは、レンズと、少なくとも１つのビーム分割器とを含む。複数の画像センサは、少なくとも高露光（ＨＥ）センサと、中間露光（ＭＥ）センサとを含む。ＨＥセンサ、ＭＥセンサ、レンズ、および少なくとも１つのビーム分割器は、光の入射ビームを受信し、光のビームをＨＥセンサ上に衝突する少なくとも第１の経路と、ＭＥセンサ上に衝突する第２の経路とに分割するように配列されてもよい。ビーム分割器は、光の大部分を第１の経路に、光のより少ない量を第２の経路に指向する。好ましい実施形態では、第１の経路および第２の経路は、それぞれ、ＨＥおよびＭＥセンサ上に衝突し、光レベル以外光学的に同じである画像を生成する。ＨＤＲカメラの処理デバイスは、パイプラインを含む、フィールドプログラマブルゲートアレイまたは特定用途向け集積回路であってもよい。いくつかの実施形態では、カーネル演算は、複数の画像センサのそれぞれからストリーミングされるにつれて、ＨＥセンサ上の所与のピクセルに関して、所与のピクセルを囲繞するピクセルの近傍からの値を検査し、ピクセルの近傍内の飽和した値を見出し、ＭＥセンサ上の対応する近傍からの情報を使用して、所与のピクセルに関する値を推定することによって、ピクセル値に作用する。随意に、パイプラインは、ピクセル値がフローする順序において、ピクセル値が処理デバイス上に複数の画像センサからストリーミングされるにつれて、ピクセル値を同期させるための同期モジュールと、カーネル演算と、融合モジュールと、デモザイク処理モジュールと、トーンマッピングオペレータとを含んでもよい。
【0018】
ある側面では、本発明は、リアルタイムＨＤＲビデオを生産するように動作可能である、ＨＤＲカメラと、車両の動作のために構成される、制御システムと、処理システムとを含む、車両を提供してもよい。処理システムは、ＨＤＲビデオに基づいて、車両の環境内のアイテムの外観を判定し、制御システムに、アイテムの外観に基づいて、車両の動作の変更を行わせるように動作可能である。好ましくは、ＨＤＲカメラは、処理デバイスに結合される、複数の画像センサを含み、ＨＤＲカメラは、フレーム独立様式において、処理デバイス上のパイプラインを通して複数の画像センサのそれぞれからのピクセル値をストリーミングされるように構成され、パイプラインは、飽和したピクセル値を識別する、カーネル演算と、ピクセル値を融合し、ＨＤＲビデオをリアルタイムで生産する、融合モジュールとを含む。
【0019】
車両は、車両の周囲の３６０度ビューを捕捉する、３６０度カメラを含んでもよい。いくつかの実施形態では、捕捉された３６０度ビューは、環状形状であり、処理システムは、デワーピングプロセスを実施し、３６０度ビューを長方形パノラマ画像に変換する。３６０度カメラ自体が、パイプライン処理を実施する、リアルタイムＨＤＲビデオカメラであってもよい。加えて、または代替として、ＨＤＲビデオカメラは、３６０度カメラの動作を補完してもよい。例えば、処理システムは、３６０度ビュー内の環境内のグレアを検出し、ＨＤＲカメラを使用して、グレアによって影響される環境の一部のＨＤＲ画像を捕捉してもよい。本発明のシステムはまた、車両上の離散位置に設置される、別個のリンクされたカメラを含んでもよい。
【0020】
いくつかの実施形態では、車両は、レーダまたはライダデバイス等の検出および測距センサを含む。処理システムは、検出および測距センサとＨＤＲカメラの両方を用いて、オブジェクトを検出し、ＨＤＲビデオ内のオブジェクトの画像と検出および測距システムを介して判定されたオブジェクトの検出された範囲を相関させる。
【0021】
処理システムおよび制御システムは、アイテムの外観に基づいて、車両の動作の変更を行う。一実施例では、アイテムは、別の車両のテールライトであり、外観の判定は、テールライトの照明ステータスを検出することを含む。別の実施例では、ＨＤＲビデオは、太陽光を含み、アイテムは、移動するオブジェクトであり、外観の判定は、アイテムが存在することを判定することを含む。
【0022】
好ましい実施形態では、ＨＤＲカメラは、複数の画像センサと、単一レンズとを使用する。画像センサは全て、光レベル以外同じである（例えば、組成および露光時間において）画像を捕捉する。ＨＤＲカメラは、レンズと、少なくとも１つのビーム分割器とを含んでもよい。複数の画像センサは、好ましくは、少なくとも、高露光（ＨＥ）センサと、中間露光（ＭＥ）センサとを含む。ＨＥセンサ、ＭＥセンサ、レンズ、および少なくとも１つのビーム分割器は、入射光のビームを受信し、光のビームを、少なくとも、ＨＥセンサに衝突する第１の経路と、ＭＥセンサに衝突する第２の経路とに分割するように配列されてもよい。ビーム分割器は、光の大部分を第１の経路に指向し、より少ない量の光を第２の経路に指向する。第１の経路および第２の経路は、ＨＥおよびＭＥセンサに衝突し、それぞれ、光レベル以外光学的に同じである画像を生成する。
【0023】
ある実施形態では、処理デバイスは、パイプラインを含む、フィールドプログラマブルゲートアレイまたは特定用途向け集積回路を備える。カーネル演算は、複数の画像センサのそれぞれからストリーミングされるにつれて、ＨＥセンサ上の所与のピクセルに関して、所与のピクセルを囲繞するピクセルの近傍からの値を検査し、ピクセルの近傍内の飽和した値を見出し、ＭＥセンサ上の対応する近傍からの情報を使用して、所与のピクセルに関する値を推定することによって、ピクセル値に作用してもよい。いくつかの実施形態では、パイプラインは、ピクセル値がフローする順序において、ピクセル値が処理デバイス上に複数の画像センサからストリーミングされるにつれて、ピクセル値と同期するための同期モジュールと、カーネル演算と、融合モジュールと、デモザイク処理モジュールと、トーンマッピングオペレータとを含む。パイプラインはさらに、色補正モジュール、ＨＤＲ変換モジュール、およびＨＤＲ圧縮モジュールのうちの１つ以上を含んでもよい。
【0024】
本発明の側面は、車両を動作させるための方法を提供する。本方法は、車両上のＨＤＲカメラを介して、光を受信するステップを含む。ビーム分割器は、センサ上の複数のピクセル毎に値を捕捉する、複数の画像センサ上に光を分割する。分割ステップとともに、本方法は、好ましくは、ピクセル値を、カーネル演算を使用して、飽和したピクセル値を識別する、処理デバイスと、ピクセル値を融合し、ＨＤＲビデオをリアルタイムで生産する、融合モジュールとにストリーミングするステップを含む。本方法は、ビデオをデモザイク処理するステップを含んでもよい。本方法は、処理システムによって、ＨＤＲビデオに基づいて、車両の環境内のアイテムの外観を判定するステップと、アイテムの外観に基づいて、制御システムに車両の動作の変更を行わせるステップとを含む。車両は、好ましくは、自律走行車両である。
本発明は、例えば、以下の項目を提供する。
（項目１）
ＨＤＲシステムであって、
リアルタイムＨＤＲビデオを生産するように動作可能であるＨＤＲカメラと、
前記ＨＤＲカメラおよび車両の制御システムと通信するように構成されている処理システムであって、前記処理システムは、前記ＨＤＲビデオに基づいて、前記車両の環境内の特徴の特性を判定し、前記制御システムに、前記特性に基づいて、前記車両の動作の変更を指示する命令を発行するように動作可能である、処理システムと
を備える、システム。
（項目２）
前記ＨＤＲカメラは、処理デバイスに結合された複数の画像センサを備え、前記ＨＤＲカメラは、ピクセル値を前記複数の画像センサのそれぞれから、フレーム独立様式において、パイプラインを通して、前記処理デバイス上にストリーミングするように構成され、前記パイプラインは、飽和したピクセル値を識別するカーネル演算と、前記ピクセル値を融合し、前記ＨＤＲビデオをリアルタイムで生産する、融合モジュールとを含む、項目１に記載のシステム。
（項目３）
前記ＨＤＲカメラは、前記車両の周囲の３６０度ビューを捕捉する、項目２に記載のシステム。
（項目４）
前記捕捉された３６０度ビューは、環状形状であり、さらに、前記処理システムは、デラッピングプロセスを実施し、前記３６０度ビューを長方形パノラマ画像に変換する、項目３に記載のシステム。
（項目５）
検出および測距センサをさらに備え、前記処理システムは、前記検出および測距センサを用いて、オブジェクトを検出し、ＨＤＲカメラを用いて、前記オブジェクトを検出し、前記ＨＤＲビデオ内のオブジェクトの画像と前記検出および測距システムを介して判定されたオブジェクトの検出された範囲を相関させるように動作可能である、項目４に記載のシステム。
（項目６）
前記処理システムは、前記３６０度ビュー内の前記環境内のグレアを検出し、前記ＨＤＲカメラを使用して、前記グレアによって影響される前記環境の一部のＨＤＲ画像を捕捉するように動作可能である、項目２に記載のシステム。
（項目７）
前記カメラはさらに、レンズと、少なくとも１つのビーム分割器とを備える、項目２に記載のシステム。
（項目８）
前記複数の画像センサは、少なくとも高露光（ＨＥ）センサと、中間露光（ＭＥ）センサとを含む、項目７に記載のシステム。
（項目９）
前記ＨＥセンサ、前記ＭＥセンサ、前記レンズ、および前記少なくとも１つのビーム分割器は、光の入射ビームを受信し、前記光のビームを、少なくとも、前記ＨＥセンサ上に衝突する第１の経路と、前記ＭＥセンサ上に衝突する第２の経路とに分割するように配列されている、項目８に記載のシステム。
（項目１０）
前記ビーム分割器は、前記光の大部分を前記第１の経路に、前記光のより少ない量を前記第２の経路に指向する、項目９に記載のシステム。
（項目１１）
前記第１の経路および前記第２の経路は、それぞれ、前記ＨＥおよび前記ＭＥセンサ上に衝突し、光レベル以外光学的に同じである画像を生成する、項目１０に記載のシステム。
（項目１２）
前記処理デバイスは、前記パイプラインを含む、フィールドプログラマブルゲートアレイまたは特定用途向け集積回路を備える、項目１１に記載のシステム。
（項目１３）
前記カーネル演算は、前記ＨＥセンサ上の所与のピクセルに関して、前記所与のピクセルを囲繞するピクセルの近傍からの値を検査し、前記ピクセルの近傍内の飽和した値を見出し、前記ＭＥセンサ上の対応する近傍からの情報を使用して、前記所与のピクセルに関する値を推定することによって、前記複数の画像センサのそれぞれからストリーミングされるにつれて、ピクセル値に作用する、項目１２に記載のシステム。
（項目１４）
前記パイプラインは、前記ピクセル値がフローする順序において、
前記ピクセル値が前記処理デバイス上に前記複数の画像センサからストリーミングされるにつれて、前記ピクセル値を同期させるための同期モジュールと、
前記カーネル演算と、
前記融合モジュールと、
デモザイク処理モジュールと、
トーンマッピングオペレータと
を含む、項目１３に記載のシステム。
（項目１５）
前記パイプラインはさらに、色補正モジュール、ＨＤＲ変換モジュール、およびＨＤＲ圧縮モジュールのうちの１つ以上を備える、項目１４に記載のシステム。
本発明は、例えば、以下の項目を提供する。
（項目１）
ＨＤＲシステムであって、
リアルタイムＨＤＲビデオを生産するように動作可能であるＨＤＲカメラと、
前記ＨＤＲカメラおよび車両の制御システムと通信するように構成されている処理システムであって、前記処理システムは、前記ＨＤＲビデオに基づいて、前記車両の環境内の特徴の特性を判定し、前記制御システムに、前記特性に基づいて、前記車両の動作の変更を指示する命令を発行するように動作可能である、処理システムと
を備える、システム。
（項目２）
前記ＨＤＲカメラは、処理デバイスに結合された複数の画像センサを備え、前記ＨＤＲカメラは、ピクセル値を前記複数の画像センサのそれぞれから、フレーム独立様式において、パイプラインを通して、前記処理デバイス上にストリーミングするように構成され、前記パイプラインは、飽和したピクセル値を識別するカーネル演算と、前記ピクセル値を融合し、前記ＨＤＲビデオをリアルタイムで生産する、融合モジュールとを含む、項目１に記載のシステム。
（項目３）
前記ＨＤＲカメラは、前記車両の周囲の３６０度ビューを捕捉する、項目２に記載のシステム。
（項目４）
前記捕捉された３６０度ビューは、環状形状であり、さらに、前記処理システムは、デラッピングプロセスを実施し、前記３６０度ビューを長方形パノラマ画像に変換する、項目３に記載のシステム。
（項目５）
検出および測距センサをさらに備え、前記処理システムは、前記検出および測距センサを用いて、オブジェクトを検出し、ＨＤＲカメラを用いて、前記オブジェクトを検出し、前記ＨＤＲビデオ内のオブジェクトの画像と前記検出および測距システムを介して判定されたオブジェクトの検出された範囲を相関させるように動作可能である、項目４に記載のシステム。
（項目６）
前記処理システムは、前記３６０度ビュー内の前記環境内のグレアを検出し、前記ＨＤＲカメラを使用して、前記グレアによって影響される前記環境の一部のＨＤＲ画像を捕捉するように動作可能である、項目２に記載のシステム。
（項目７）
前記カメラはさらに、レンズと、少なくとも１つのビーム分割器とを備える、項目２に記載のシステム。
（項目８）
前記複数の画像センサは、少なくとも高露光（ＨＥ）センサと、中間露光（ＭＥ）センサとを含む、項目７に記載のシステム。
（項目９）
前記ＨＥセンサ、前記ＭＥセンサ、前記レンズ、および前記少なくとも１つのビーム分割器は、光の入射ビームを受信し、前記光のビームを、少なくとも、前記ＨＥセンサ上に衝突する第１の経路と、前記ＭＥセンサ上に衝突する第２の経路とに分割するように配列されている、項目８に記載のシステム。
（項目１０）
前記ビーム分割器は、前記光の大部分を前記第１の経路に、前記光のより少ない量を前記第２の経路に指向する、項目９に記載のシステム。
（項目１１）
前記第１の経路および前記第２の経路は、それぞれ、前記ＨＥおよび前記ＭＥセンサ上に衝突し、光レベル以外光学的に同じである画像を生成する、項目１０に記載のシステム。
（項目１２）
前記処理デバイスは、前記パイプラインを含む、フィールドプログラマブルゲートアレイまたは特定用途向け集積回路を備える、項目１１に記載のシステム。
（項目１３）
前記カーネル演算は、前記ＨＥセンサ上の所与のピクセルに関して、前記所与のピクセルを囲繞するピクセルの近傍からの値を検査し、前記ピクセルの近傍内の飽和した値を見出し、前記ＭＥセンサ上の対応する近傍からの情報を使用して、前記所与のピクセルに関する値を推定することによって、前記複数の画像センサのそれぞれからストリーミングされるにつれて、ピクセル値に作用する、項目１２に記載のシステム。
（項目１４）
前記パイプラインは、前記ピクセル値がフローする順序において、
前記ピクセル値が前記処理デバイス上に前記複数の画像センサからストリーミングされるにつれて、前記ピクセル値を同期させるための同期モジュールと、
前記カーネル演算と、
前記融合モジュールと、
デモザイク処理モジュールと、
トーンマッピングオペレータと
を含む、項目１３に記載のシステム。
（項目１５）
前記パイプラインはさらに、色補正モジュール、ＨＤＲ変換モジュール、およびＨＤＲ圧縮モジュールのうちの１つ以上を備える、項目１４に記載のシステム。
【図面の簡単な説明】
【0025】
【発明を実施するための形態】
【0026】
（詳細な説明）
自律走行車両は、全体的先進運転支援システム（ＡＤＡＳ）の一部として、種々のデジタルセンサを使用する。ＡＤＡＳは、運転上の決定を行うために、複数のデータソースおよびセンサからの入力に依拠する。ＡＤＡＳは、安全性およびより良好な運転のため、車両システムを自動化する、適合させる、または向上させるために車両内に含まれる。ＡＤＡＳは、運転手に潜在的問題をアラートする技術をもたらすことによって、衝突および事故を回避する、または安全保護を実装し、車両の制御を引き継ぐことによって、衝突を回避するように設計される、特徴を含む。適応特徴は、照明を自動化する、アダプティブ・クルーズ・コントロールを提供する、制動を自動化する、ＧＰＳまたはトラフィック警告を組み込む、スマートフォンに接続する、運転手に他の車または危険をアラートする、車両を正しい車線内に保つ、または「盲点」内の対象を監視してもよい。本明細書で使用されるように、ＡＤＡＳは、車両を制御するためにともに動作する、コンポーネントの全てを指すと見なされ得る（例えば、カメラ、加えて、ＥＣＵ、加えて、検出器等）。ＡＤＡＳのコンポーネントは、車に内蔵される、アフターマーケットアドオンパッケージとして追加される、または両方の組み合わせであってもよい。ＡＤＡＳは、自動撮像、ライダ、レーダ、画像処理、コンピュータビジョン、および車内ネットワーキングを含む、複数のデータソースからの入力を使用してもよい。車両間（Ｖ２Ｖ）または車両／インフラストラクチャ（移動電話またはＷｉ－Ｆｉデータネットワーク等）システムと称される、他の車両等の主要車両プラットフォームと別個の他のソースからの付加的入力も、可能性として考えられる。
自律走行車両は、全体的先進運転支援システム（ＡＤＡＳ）の一部として、種々のデジタルセンサを使用する。ＡＤＡＳは、運転上の決定を行うために、複数のデータソースおよびセンサからの入力に依拠する。ＡＤＡＳは、安全性およびより良好な運転のため、車両システムを自動化する、適合させる、または向上させるために車両内に含まれる。ＡＤＡＳは、運転手に潜在的問題をアラートする技術をもたらすことによって、衝突および事故を回避する、または安全保護を実装し、車両の制御を引き継ぐことによって、衝突を回避するように設計される、特徴を含む。適応特徴は、照明を自動化する、アダプティブ・クルーズ・コントロールを提供する、制動を自動化する、ＧＰＳまたはトラフィック警告を組み込む、スマートフォンに接続する、運転手に他の車または危険をアラートする、車両を正しい車線内に保つ、または「盲点」内の対象を監視してもよい。本明細書で使用されるように、ＡＤＡＳは、車両を制御するためにともに動作する、コンポーネントの全てを指すと見なされ得る（例えば、カメラ、加えて、ＥＣＵ、加えて、検出器等）。ＡＤＡＳのコンポーネントは、車に内蔵される、アフターマーケットアドオンパッケージとして追加される、または両方の組み合わせであってもよい。ＡＤＡＳは、自動撮像、ライダ、レーダ、画像処理、コンピュータビジョン、および車内ネットワーキングを含む、複数のデータソースからの入力を使用してもよい。車両間（Ｖ２Ｖ）または車両／インフラストラクチャ（移動電話またはＷｉ－Ｆｉデータネットワーク等）システムと称される、他の車両等の主要車両プラットフォームと別個の他のソースからの付加的入力も、可能性として考えられる。
【0027】
ここでは、ＡＤＡＳの中に統合され得るリアルタイムＨＤＲビデオカメラを伴う、自律走行車両のための制御システムが、提供される。リアルタイムＨＤＲビデオの使用は、帯域幅および待ち時間を少量に保ちながら（リアルタイム）、コントラスト比、色情報、および安全性機能のために必要とされる重要な詳細を増加させることによって、ＡＤＡＳ全体を通した全ての撮像センサからのデータの品質を増加させ得る。
【0028】
ＨＤＲシステムは、車両のナビゲーション、安全性、またはエンターテインメントシステムを拡張させること等によって、完全自律走行車両内、運転手補助特徴の一部として、または主要運転機能外の付属機能性を提供するために採用され得る、機能性をもたらす。本システムは、例えば、ＨＤＲカメラを使用して、路上標識または他の目印を読み取り、ナビゲーション補助を提供してもよい。加えて、または代替として、ＨＤＲカメラは、沈下、バンプ、くぼみ、工事、金属板等の道路条件を検出および解釈し、そのような特徴のための車の電子サスペンションダンピングを設定するために使用されてもよい。本システムは、１つ以上のＨＤＲカメラを使用して、情報を収集し、例えば、道路の建設等の大規模な地図作成計画およびナビゲーションまたは緊急サービスシステムのための事業用データベースのために、情報をサーバにフィードしてもよい。好ましい実施形態では、ＨＤＲカメラベースのシステムは、完全自律走行車両の有用性および安全性を改良するために使用される。本明細書により詳細に議論されるように、完全自律走行車両は、ＨＤＲビデオカメラベースのシステムを使用して、道路および環境内のあらゆる様式の詳細を完全に確認および解釈し、動作時、最適化された安全性および効率を提供することができる。
【0029】
本発明の実施形態は、軍事車両のためのＨＤＲシステムを提供する。本システムは、リアルタイムＨＤＲビデオを生産するように動作可能である、ＨＤＲカメラと、処理システムとを含む。処理システムは、ＨＤＲカメラおよび車両の制御システムと通信する。ＨＤＲビデオを使用して、処理システムは、車両の環境内のアイテムの外観を判定し、制御システムに、アイテムの外観に基づいて、車両の動作の変更を指示する命令を発行する。処理システムは、武器または標的追跡システム、ナビゲーションシステム、制御システム、またはそれらの組み合わせとインターフェースをとるようにプログラムされることができる。車両は、例えば、リアルタイムＨＤＲビデオカメラを使用して、本質的に、悪照明条件下にあり、悪条件地形を通して運転する、Ｈｕｍｖｅｅまたは人員輸送車であってもよい。ＨＤＲビデオカメラは、ヒトオペレータのためのディスプレイを提供することができる、車両は、自律走行することができる、または車両は、ヒトオペレータを補助する、自律走行システムを有することができる。カメラは、ＨＤＲであるため、爆発等の明るい光の突然の閃光は、環境を確認およびナビゲートするＨＤＲシステムの能力を損なわせない。
【0030】
本発明の実施形態は、船舶のためのＨＤＲシステムを提供する。本システムは、リアルタイムＨＤＲビデオを生産するように動作可能である、ＨＤＲカメラと、処理システムとを含む。処理システムは、ＨＤＲカメラおよび船舶の制御システムと通信する。ＨＤＲビデオを使用して、処理システムは、船舶の環境内のアイテムの外観を判定し、制御システムに、アイテムの外観に基づいて、船舶を制御する命令を発行する。船舶は、本質的に、水によって囲繞され、車道と同一の視覚的キューをもたらさない。波間の隆起および谷が、空中の砕波波頭および海泡とともに、ヒトの眼に見えることが予期されるアンカポイントのタイプを伴うことなく、突然の明るい太陽光の輝きの場面および急速に変化するコントラスト場面を提示し得る。ヒトは、港へと航行することに試みることに注意力を消耗し、波のうねりを理解するための注意力が残っていない状態となり得る。さらに、波頭および海泡ならびに全てのブイが示す内容を読み取ることは、本質的に、広大な海におけるいりくんだパターン（空間および時間的の両方において）の視覚的コントラストに起因して、ヒトにとって困難であり得る。加えて、絶え間のない永久に続く波の喧騒は、内耳の平衡手段に対する手掛かりを与えず、上下および左右を含む、絶対基準フレームを正しく知覚するために必要なヒトオペレータの運動感覚を失わせ得る。ＨＤＲシステムは、波の表面を読み取り、ブイおよび他のナビゲーションマーカを検出および解釈し、船舶を制御する音を補助し得る。随意に、ＨＤＲシステムは、全地球測位システム、コンパス、レベル、または他のそのような計器と通信し、絶対基準フレームを維持してもよい。本システムは、海底を読み取る、または障害物を予期し得る、ソナーシステムと相互作用する、またはそれを含んでもよい。処理システムは、本情報を合成し、例えば、船舶を造船台から海に運転し、港から航行する、自動運転モード等の有用な利点をもたらすことができる
【0031】
本発明の実施形態は、船舶、飛行機、または道路走行車両等の車両のための自動運転モードを提供する、ＨＤＲシステムを提供する。本システムは、リアルタイムＨＤＲビデオを生産するように動作可能である、ＨＤＲカメラと、処理システムとを含む。処理システムは、ＨＤＲカメラおよび車両の制御システムと通信する。ＨＤＲビデオを使用して、処理システムは、環境内のアイテム、ナビゲーション目標、目印等を識別し、ヒトの関与を伴わずに、車両の動作を制御する。
【0032】
図１は、ＨＤＲカメラ２０１と、処理システム１１３とを備える、ＨＤＲシステムを含む、車両１０１を示す。ＨＤＲカメラ２０１は、リアルタイムＨＤＲビデオを生成する。ＨＤＲカメラ２０１は、処理システム１１３を通した車両の動作のために構成される、制御システム１２５と通信する。制御システム１２５は、概して、車両１０１を動作させる、スロットル、ブレーキ、操向等を含む、またはそれと相互作用する。制御システム１２５は、燃料噴射器を動作させる、電子制御ユニット（ＥＣＵ）と、直接、車両１０１を動作させる、システム、モータ、スイッチ、およびコンピュータとを含むと見なされ得る。処理システム１１３は、ＨＤＲカメラ２０１からの画像と併用され、それらの画像からの情報に基づいて、有意義な決定を行う、プロセッサ（例えば、チップ）、メモリ、プログラミング、アセット（例えば、マップ、学習されたパターン等）を含む。
【0033】
ＨＤＲシステムは、車両が工場から出荷される際、車両のＯＥＭ部品として据え付けられることができる。ＨＤＲシステムは、ＯＥＭ車両製造業者に販売され、例えば、アセンブリライン上で車両の中に統合される、または販売業者オプションとして追加される、コンポーネントであることができる。ＨＤＲシステムは、例えば、既存の車両と併用されるために、消費者に販売される、アフターマーケット付属品であることができる。いったん車両上に据え付けられると、ＨＤＲシステムは、車両のＡＤＡＳの一部であると見なされ得る。
【0034】
ＡＤＡＳは、制御システム１２５と、処理システム１１３とを含む。車両１０１は、随意に、ＡＤＡＳの一部として、レーダデバイス、ライダデバイス、その他、またはそれらの組み合わせ等の検出および測距センサ１３１を含む。処理システム１１３は、ＨＤＲビデオに基づいて、車両の環境内のアイテムの外観を判定し、制御システムに、アイテムの外観に基づいて、車両の動作の変更を行わせる。好ましい実施形態では、ＨＤＲカメラ２０１は、処理デバイスに結合される、複数の画像センサを備え、ＨＤＲカメラ２０１は、フレーム独立様式において、処理デバイス上のパイプラインを通して複数の画像センサのそれぞれからのピクセル値をストリーミングされるように構成される。以下により詳細に議論されるように、パイプラインは、飽和したピクセル値を識別する、カーネル演算と、ピクセル値を融合し、ＨＤＲビデオをリアルタイムで生産する、融合モジュールとを含む。車両１０１はまた、車両の周囲の３６０度ビューを捕捉する、３６０度カメラ１２９を含んでもよい。
【0035】
ＨＤＲシステムは、消費者自動車および作業車両（例えば、セミトレーラー、バス等）等の道路走行車およびトラックを含む、任意の好適な車両の一部として、またはそこで使用するために提供されてもよい。ある実施形態では、ＨＤＲシステムは、軍事または緊急応答車両（例えば、ジープ、救急車、人員輸送車、ＨＵＭＶＥＥ）の一部として、またはそこで使用するために提供される。ＨＤＲシステムは、フォークリフトまたはパーソナルモビリティデバイス等の多目的車両の一部として、またはそこで使用するために提供されてもよい。ＨＤＲシステムは、船舶、飛行機、電車、または潜水艦等の非道路走行車両の一部として、またはそこで使用するために提供されてもよい
【0036】
ＨＤＲシステムは、ヒトの眼および知能によって知覚され得るものを上回るダイナミックレンジにわたるものを含む、非常に高ダイナミックレンジを横断して「確認」する利点をもたらす。ＨＤＲシステムは、ヒトより優れたダイナミックレンジを横断してアイテムを検出することができるだけではなく、本システムは、ヒトの意識および思考プロセスにおける限界によって生じる知覚問題を被らない。例えば、路肩での激しい車の衝突等のある顕著な光景が、ヒト知覚の周縁にある場合、ヒトは、先の道路への注意を犠牲にして、その光景に注意を向ける傾向がある。ＨＤＲシステムは、そのような現象を被らない。ヒトが、光景に注意を払う場合、残っている注意力を前方の道路に払い得るが、限定されたコントラストによって特徴付けられる道路内の特徴（明るい空の背景を伴う、路上を横切る白色トラック）は、ヒト知覚の閾値を超え得ない。車両が、従来のカメラを装備する場合、明るい白色の空の背景に対する白色トラックは、提示される限定されたコントラストに起因して、知覚され得ない。したがって、ＨＤＲシステムは、従来のカメラおよびヒト知覚の限界によって提示される道路進行中の懸念に対処する。それらの理由から、ＨＤＲシステムは、過剰照明条件を伴う環境、刺激に溢れた環境、または予期しないおよび予測し難いコンテンツを含む他の環境下、特定の利点を有し得る。
【0037】
例えば、ＨＤＲカメラは、暗闇、急速に明滅する光、極めて明るい光、予期しないまたは予測不能な照明の変化、明滅する緊急光、ゲルまたは他のデバイスを通してフィルタリングされた光、暗視照明等、ヒトの眼にあまり好適ではない照明条件下で動作する、車両のための特定の利点をもたらすことが見出され得る。したがって、ヒトによってのみ制御される車両と比較して、制御システムを使用する車両は、夜間、地下、Ｔｉｍｅｓ Ｓｑｕａｒｅ、雷鳴を伴う嵐、住宅火災または森林火災、非常道路条件、戦闘、深海ダイビング、鉱山等の環境内においてより良好な性能を発揮し得る。一実施例を与えるために、法執行中、自動車運転者が警察の車に異常な頻度で衝突することは、公知の問題である。任意の機構によって拘束されるわけではないが、警察車両の明滅する光は、路肩に停まっているとき、そこから物事を推定するヒト知覚の能力を損なわせる、非一定信号を発すると理論化され得る。従来の車両が、定常特徴に向かって運転する場合、ヒトの知能は、目先のその特徴の同様の相対的位置付けを推測する。事実上、警察車両の閃光は、そのような知能的推測を行う能力を損なわせ得る。したがって、運転手は、明滅する光を伴う停止車両を避けて操向する、進行経路を予期不能となり得る。ＨＤＲシステムは、そのような限界を被らない。処理システム１１３は、明度または明滅率にかかわらず、警察の車のライトを検出する。本システムは、ＨＤＲであるため、警察の車が、暗闇下で路肩にあり得ることはあまり重要ではない。ＨＤＲカメラは、リアルタイムで動作するため、本システムは、目先の車両の相対的位置付けを推測し、衝突を回避することができる。
【0038】
さらに言うと、特に、ＨＤＲシステムを軍事または緊急車両上に含むことは、それらの車両が明滅する光の近傍で頻繁に動作することが予期され得るため、貴重であり得る。ＨＤＲシステムは、極端なタイミング（頻繁なパルスまたは明滅）または極端な強度を含む、極端な光を伴う任意の状況において、有益であり得る。
【0039】
図２は、車両１０１の運転席に着座しているヒトによって見られ、また、ＨＤＲカメラ２０１によって記録され得る、場面を図示する。描写される場面では、車両１０１は、まもなく太陽が沈もうとしている時間に、幹線道路を西に向かって進行している。太陽は、幹線道路の縁によって画定される近似消尽点における、水平線の近傍に現れている。したがって、ヒトの眼には、場面は、非常に明るい光源によって占められている。眼球生理学の本質によって、ヒトの眼は、光レベルに対する適応を受ける。場面は、高ルミネセンスレベルによって特徴付けられるため、ヒトの眼は、錐体機構を使用して、明所視で動作する（桿体機構を使用した暗所視と比較して）。その結果、ヒトの眼は、場面内のある特徴を判別不能である。図２では、ボックスが、注意を幹線道路標識に向けるために、破線で描かれている。
【0040】
図３は、ＨＤＲカメラ２０１によって確認され得るような幹線道路標識を図示する。ＨＤＲカメラ２０１は、高ダイナミックレンジを横断して画像を検出可能であるため、幹線道路標識は、他の非常に明るいオブジェクトが場面内にある場合でも、撮像および解釈されることができる。したがって、ＡＤＡＳ内の光学キャラクタ認識またはパターン認識モジュールは、車両１０１が標識に接近するにつれて、標識のコンテンツを解釈することができる。図示される実施例では、ＡＤＡＳは、州間高速自動車道８５に追従するための命令を含み得る、事前に設定されたナビゲーション命令のセット下で動作してもよい。幹線道路標識の解釈に応じて、車両１０１は、標識によって示されるように適切な車線に移動するように制御されるであろう。
【0041】
図４は、ＡＤＡＳ内の種々のセンサによって提供されるような視野を図示する。ＡＤＡＳは、アダプティブ・クルーズ・コントロールにおいて使用され得る、長距離レーダシステム１４０７を含んでもよい。ライダシステム１４１３は、緊急制動、歩行者検出、および衝突回避において使用されてもよい。長距離レーダシステム１４０７およびライダシステム１４１３はそれぞれ、検出および測距システムの実施例であり、それぞれ、検出および測距センサ１３１のうちの１つ以上を使用してもよい。
【0042】
カメラシステム１４２５は、交通標識認識、パーキングアシスト、周囲ビュー、および／または車線逸脱警告において使用されてもよい。短距離レーダシステム１４２９（別の検出および測距システム）は、クロストラフィックアラートを提供するために使用されてもよい。超音波システム１４３５は、例えば、パーキングアシストのために含まれてもよい。ＨＤＲカメラ２０１は、これらのシステムのいずれか内に含まれてもよい。好ましい実施形態では、ＨＤＲカメラは、ライダシステム１４１３およびカメラシステム１４２５のいずれかまたは両方のコンポーネントとして含まれる。
【0043】
ＨＤＲカメラ２０１は、「標準的」視野を含んでもよいが、いくつかの実施形態では、ＨＤＲカメラは、３６０度カメラ１２９のために使用される。種々の実施形態が、本発明の範囲内であるが、いくつかの実施形態では、３６０度カメラ１２９は、略「環状」形状を保有する、リアルタイムＨＤＲビデオをストリーミングする。
【0044】
図５は、３６０度カメラ１２９によって捕捉された環状形状のビュー６０１を示す。いくつかの実施形態では、処理システム１１３は、デワーピングプロセスを実施し、３６０度ビューを長方形パノラマ画像に変換する。デワーピングは、必要ではないことが見出される場合もあり、制御システム１２５が車両の動作のために環状形状のビュー６０１を使用することは、有益であり得る。制御システム１２５は、ビューに偏らず、環状形状のリアルタイムＨＤＲビデオを使用して、重要な特徴を検出および解釈することが可能であり得る。しかしながら、例えば、ヒト観察のための画面上への表示のために、環状形状のビューから「ワーピング除去」することが所望され得る。処理システム１１３は、環状形状のビューを「標準的」ビューに変換するためのモジュールを含む。
【0045】
図６は、デワーピングプロセス後の環状形状のビュー６０１に対応する、標準的ビューを図示する。正方形エリア６２５は、環状形状のビュー６０１内に差し込まれた同一正方形エリアとの視覚的比較のために差し込まれている。所与の３６０度カメラ１２９に関して、環状形状のビュー６０１から標準的ビューへの変換は、概して、カメラの寿命にわたって実質的に一貫するであろう。故に、処理システム１１３は、図５に示されるような正方形エリア６２５を図６に示されるようなものに変換するための単純変換動作を含むようにプログラムされてもよい。環状形状のビュー６０１内の各ピクセルの場所が、ｘ，ｙ座標を使用して規定され得る場合、単純一次方程式系が、当業者によって判定され得るように、それらの座標を標準的ビューに変換し得る。
【0046】
処理システム１１３は、ＨＤＲカメラとＡＤＡＳを統合する、種々の特徴および機能性に寄与し得る。
【0047】
車両１０１のいくつかの実施形態では、ＡＤＡＳの１つ以上のコンポーネントは、オブジェクトを検出し、それらのオブジェクトまでの距離（または距離の範囲）を判定するように動作することができる。例えば、長距離レーダシステム１４０７は、検出および測距センサ１３１として動作し、車道内の他の車両を検出し、それらの車両に関する範囲を判定可能であり得る。ＨＤＲカメラ２０１は、検出および測距能力によって提供される情報を補足または補完するために使用されてもよい。例えば、処理システム１１３は、検出および測距センサを用いて、オブジェクトを検出し、ＨＤＲカメラ２０１を用いて、オブジェクトを検出し、ＨＤＲビデオ内のオブジェクトの画像と検出および測距システムを介して判定されたオブジェクトの検出された範囲を相関させるように動作可能であってもよい。
【0048】
別の実施例として、処理システム１１３は、３６０度ビュー内の環境内のグレアを検出し、ＨＤＲカメラ２０１を使用して、グレアによって影響される環境の一部のＨＤＲ画像を捕捉するように動作可能であってもよい。
【0049】
ＨＤＲカメラ２０１の使用によって提供される１つの利点は、そのような計器が、特に、貴重である情報が、主に、光レベルにおける差異によって提供される、場面の有意義な解釈を行うために非常に好適であるということである。実施例として、暗色ブレーキライトおよび照明されたブレーキ光との間の差異は、有意な情報を自動車の動作に提供するが、主に、光レベルにおける差異として露見する。したがって、いくつかの実施形態では、ＨＤＲカメラ２０１は、別の車両上のテールライト、方向指示灯、またはブレーキライト等のアイテムの外観を判定し、テールライトの照明ステータスを検出する際に有用である。
【0050】
本システムによって提供される機能性の中核は、リアルタイムＨＤＲビデオを生産するように動作する、ＨＤＲカメラ２０１である。ＨＤＲカメラ２０１は、処理システム１１３を通した車両の動作のために構成される、制御システム１２５に接続される。好ましい実施形態では、ＨＤＲカメラ２０１は、処理デバイスに結合される、複数の画像センサを備え、ＨＤＲカメラ２０１は、フレーム独立様式において、処理デバイス上のパイプラインを通して複数の画像センサのそれぞれからのピクセル値をストリーミングされるように構成される。パイプラインは、飽和したピクセル値を識別する、カーネル演算と、ピクセル値を融合し、ＨＤＲビデオをリアルタイムで生産する、融合モジュールとを含む。車両１０１はまた、車両の周囲の３６０度ビューを捕捉する、３６０度カメラ１２９を含んでもよい。
【0051】
図７は、ＨＤＲカメラ２０１を示す。ＨＤＲカメラ２０１は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ）等の処理デバイス２１９を含む。複数の画像センサ２６５は、処理デバイス２１９に結合される。ＨＤＲカメラ２０１は、フレーム独立様式において、処理デバイス２１９上のパイプライン２３１を通して複数の画像センサ２６５のそれぞれからのピクセル値５０１をストリーミングされるように構成される。パイプライン２３１は、飽和したピクセル値５０１を識別する、カーネル演算４１３と、ピクセル値５０１を融合し、ＨＤＲ画像を生産する、融合モジュールとを含む。
【0052】
カーネル演算４１３は、ＨＥセンサ２１３上の所与のピクセルに関して、所与のピクセルを囲繞するピクセルの近傍６０１からの値を検査し、ピクセルの近傍６０１内の飽和した値を見出し、ＭＥセンサ２１１上の対応する近傍６０１からの情報を使用して、所与のピクセルに関する値を推定することによって、複数の画像センサ２６５のそれぞれからストリーミングされるにつれて、ピクセル値５０１に作用する。
【0053】
ＨＤＲカメラ２０１の種々のコンポーネントは、印刷回路基板２０５を介して、接続されてもよい。ＨＤＲカメラ２０１はまた、メモリ２２１と、随意に、プロセッサ２２７（ＡＲＭマイクロコントローラのような汎用プロセッサ等）とを含んでもよい。ＨＤＲカメラ２０１はさらに、入出力デバイス２３９またはディスプレイ２６７のうちの１つ以上を含む、またはそれに接続されてもよい。メモリは、ＲＡＭまたはＲＯＭを含むことができ、好ましくは、少なくとも１つの有形非一過性媒体を含む。プロセッサ２２７は、Ｉｎｔｅｌ（Ｓａｎｔａ Ｃｌａｒａ，ＣＡ）によって商標名ＸＥＯＮ Ｅ７で販売されているプロセッサまたはＡＭＤ（Ｓｕｎｎｙｖａｌｅ，ＣＡ）によって商標名ＯＰＴＥＲＯＮ ６２００で販売されているプロセッサ等、当技術分野において公知の任意の好適なプロセッサであってもよい。本発明による入力／出力デバイスは、ビデオディスプレイユニット（例えば、液晶ディスプレイまたはＬＥＤディスプレイ）、キー、ボタン、信号生成デバイス（例えば、スピーカ、チャイム、または光）、タッチスクリーン、加速度計、マイクロホン、セルラー無線周波数アンテナ、メモリカードのためのポート、および、例えば、ネットワークインターフェースカード（ＮＩＣ）、Ｗｉ－Ｆｉカード、またはセルラーモデムであることができる、ネットワークインターフェースデバイスを含んでもよい。ＨＤＲカメラ２０１は、記憶デバイス２４１を含む、またはそれに接続されてもよい。複数のセンサは、好ましくは、複数のセンサ２６５が光レベル以外同じである画像を同時に受信することを可能にする、配列で提供される。
【0054】
図８は、複数のセンサ２６５のための配列を示す。複数のセンサは、好ましくは、少なくとも、高露光（ＨＥ）センサ２１３と、中間露光（ＭＥ）センサ２１１とを含む。各画像センサは、その独自のカラーフィルタアレイ３０７を有してもよい。カラーフィルタアレイ３０７は、各ピクセルが赤色、緑色、または青色光のいずれかを受信するように、Ｂａｙｅｒフィルタとして動作してもよい。当技術分野において公知のように、Ｂａｙｅｒフィルタは、センサからストリーミングされるピクセル値のシーケンスが、所定のパターンにおける赤色、緑色、青色に関する値に対応するように、赤色、緑色、青色、緑色カラーフィルタの反復グリッドを含む。
【0055】
ＨＤＲカメラ２０１は、レンズ３１１と、少なくとも１つのビーム分割器３０１とを含んでもよい。ＨＥセンサ２１３、ＭＥセンサ２１１、レンズ３１１、および少なくとも１つのビーム分割器３０１は、光の入射ビーム３０５を受信し、光のビーム３０５を、少なくとも、ＨＥセンサ２１３上に衝突する第１の経路と、ＭＥセンサ２１１上に衝突する第２の経路との中に分割するように配列される。好ましい実施形態では、ＨＤＲカメラ２０１は、３つの撮像センサ上に同時に集束されるように、部分的反射表面のセットを使用して、単一写真レンズ３１１からの光を分割する。好ましい実施形態では、光は、ビーム分割器のうちの１つを通して、再度、逆施行され、３つのサブ画像は、赤色、緑色、および青色に分割されないが、代わりに、その光レベルを除き光学的に同じである。図３に示される本設計は、車両１０１が、カメラに進入する光の大部分を使用して、ＨＤＲ画像を捕捉することを可能にする。
【0056】
いくつかの実施形態では、光学分割システムは、空気／プラスチック界面におけるＦｒｅｓｎｅｌ反射に依拠し、したがって、その実際の透過率／反射率（Ｔ／Ｒ）値が角度の関数である、２つのコーティングされていない２ミクロン厚のプラスチックビーム分割器を使用する。ガラスもまた、好適な材料オプションである。一実施形態では、第１のビーム分割器３０１は、４５°角度であり、９２／８の近似Ｔ／Ｒ比率を有し、これは、カメラレンズ３１１からの光の９２％が、第１のビーム分割器３０１を通して伝送され、高露光（ＨＥ）センサ２１３上に直接指向されることを意味する。ビーム分割器３０１は、第１のものと同一光学性質を有するが、光経路に対して９０°角度に位置付けられ、９４／６の近似Ｔ／Ｒ比率を有する、第２のコーティングされていないビーム分割器３１９に向かって、レンズ３１１からの光の８％を上向きに反射させる（図３に示されるように）。
【0057】
上向きに反射された全光の８％のうち、９４％（または全光の７．５２％）は、第２のビーム分割器３１９を通して伝送され、中間露光（ＭＥ）センサ２１１上に集束される。本上向きに反射された光の他の６％（または全光の０．４８％）は、第２のビーム分割器３１９によって、第１のビーム分割器３０１（再び、４５°である）に向かって下方に逆反射され、それを通して９２％（または全光の０．４４％）が、低露光（ＬＥ）センサ２６１上に伝送および集束される。本配列を用いることで、ＨＥ、ＭＥおよびＬＥセンサは、それぞれ、カメラレンズ３１１によって集められた全光の９２％、７．５２％、および０．４４％を用いて画像を捕捉する。したがって、カメラレンズ３１１によって集められた全光のうちの合計９９．９６％が、画像センサによって捕捉される。したがって、ＨＥおよびＭＥ露光は、１２．２倍（３．６１絞り値）分離され、ＭＥおよびＬＥは、１７．０倍（４．０９絞り値）分離され、これは、本構成がセンサのダイナミックレンジを７．７絞り値拡張させるように設計されることを意味する。
【0058】
本ビーム分割器配列は、ＨＤＲカメラ２０１を光効率的にする。すなわち、レンズ３１１によって集められた全光のわずか０．０４％のみが、無駄となる。これはまた、全３つのセンサが同一場面を「確認」することを可能にし、したがって、全３つの画像は、その光レベル以外光学的に同じである。当然ながら、描写される実施形態２０１の装置では、ＭＥ画像は、奇数回の反射を受け、したがって、他の画像と比較して、左右反転されるが、これは、ソフトウェア内で容易に修正される。好ましい実施形態では、３つのセンサは、独立して、直接、同期モジュールを含む、パイプラインの中に入射ピクセル値をストリーミングされる。本同期モジュールは、複数のセンサからシステムへのデータ到着時間におけるわずかな段階相違を補正することができる。
【0059】
したがって、ビーム分割器３０１は、光の大部分を第１の経路に、光のより少ない量を第２の経路に指向することが分かる。好ましくは、第１の経路および第２の経路は、それぞれ、ＨＥセンサ２１３およびＭＥセンサ２１１上に衝突し、光レベル以外光学的に同じである画像を生成する。描写される実施形態では、ＨＤＲカメラ２０１は、低露光（ＬＥ）センサを含む。
【0060】
好ましい実施形態では、ピクセル値は、シーケンスで、ＨＥセンサ２１３、ＭＥセンサ２１１、およびＬＥセンサ２６１から、直接、処理デバイス２１９にストリーミングされる。それらのシーケンスは、それらが処理デバイス２１９上に到着するにつれて同期されなくてもよい。
【0061】
ＨＤＲカメラ２０１（１）は、（１）運動を考慮するための画像操作を必要としない、光学的に整合された複数の露光画像を同時に捕捉し、（２）利用可能な画像センサのダイナミックレンジを拡張し（一実施形態では、７撮影絞り値を上回って）、（３）実装が安価であり、（４）単一の標準的カメラレンズ３１１を利用し、（５）レンズ３１１からの光を効率的に使用する。ＨＤＲカメラはまた、随意に、（１）露光において３つを上回る絞り値分だけ分離された画像を組み合わせ、（２）事前にデモザイク処理されたピクセルデータを空間的に混成し、望ましくないアーチファクトを低減させ、（３）放射測定的に正しいＨＤＲ画像を生産し、（４）利用可能な最高忠実性（最低量子化雑音）ピクセルデータを使用する。
【0062】
図９は、ＨＤＲカメラ２０１上の処理デバイス２１９を示す。記載されるように、処理デバイス２１９は、１つ以上のＦＰＧＡ、ＡＳＩＣ、または他の集積回路によって提供されてもよい。センサからのピクセル値は、処理デバイス２１９上のパイプライン２３１を通してストリーミングされる。処理デバイス２１９内のパイプライン２３１は、ピクセル値５０１がフローする順序において、ピクセル値５０１が処理デバイス２１９上に複数の画像センサ２６５からストリーミングされるにつれて、ピクセル値５０１を同期させるための同期モジュール４０５と、カーネル演算４１３と、融合モジュール４２１と、デモザイク処理モジュール４２５と、トーンマッピングオペレータ４２７とを含む。パイプライン２３１は、色補正モジュール、ＨＤＲ変換モジュール、およびＨＤＲ圧縮モジュール等の１つ以上の補助モジュール４３１を含んでもよい。
【0063】
動作時、光は、レンズを通して、ＨＤＲカメラ２０１に進入し、光を複数の画像センサ上に衝突する異なる経路に分割する、１つ以上のビーム分割器に衝合する。各画像センサは、次いで、センサのピクセル毎のピクセル値の形態で信号を捕捉する。各センサは、ピクセルのアレイを含む。任意の好適なサイズのピクセルアレイが、含まれてもよい。いくつかの実施形態では、センサのうちの１つ以上は、１９２０×１０８０ピクセルを有する。光が、センサに衝突するにつれて、ピクセル値は、センサから接続された処理デバイスにストリーミングされる。ピクセル値は、複数のセンサのそれぞれから、フレーム独立様式において、パイプラインを通して、処理デバイス２１９上にストリーミングされる。パイプライン２３１は、飽和したピクセル値を識別する、カーネル演算１３５を含む。ピクセル値５０１は、融合１３９される。典型的には、融合された画像は、デモザイク処理１４５され、これは、表示、伝送、記憶、またはブロードキャスト１５１され得る、ＨＤＲ画像を生産する。車両１０１の動作時、複数の画像センサは全て、単一レンズ３１１を通して、画像を同時に捕捉１２５する。パイプライン２３１およびカーネル演算１３５は、フィールドプログラマブルゲートアレイまたは特定用途向け集積回路等の集積回路によって提供されてもよい。画像センサはそれぞれ、カラーフィルタアレイ３０７を含んでもよい。好ましい実施形態では、ＨＤＲ画像は、融合ステップ１３９後、デモザイク処理１４５される。複数の画像センサは、好ましくは、光レベルを除き光学的に同じである画像を捕捉する。
【0064】
ある特徴は、ピクセル値５０１がフレーム独立様式においてパイプライン処理されることである。ピクセル値５０１のシーケンスが、ピクセル値５０１を画像センサ上の全てのピクセルから受信することを待機せずに、処理デバイス２１９を通してストリーミング１２９および融合１３９される。これは、取得１２５、ストリーミング１２９、および融合１３９ステップが、処理デバイス２１９上のいずれの場所も、完全画像を記憶しないように、ピクセル値５０１のシーケンスを、パイプライン２３１を通して、処理デバイス２１９上にストリーミング１２９することによって実施されてもよいことを意味する。ピクセル値は、パイプラインを通してストリーミングされるため、最終ＨＤＲビデオ信号は、リアルタイムで生産される。リアルタイムとは、カメラからのＨＤＲビデオが、カメラが場面を捕捉するのと本質的に同時に表示され得ることを意味する（例えば、信号がセンサから表示するために進行する速度からビデオのフレームを上回らない待ち時間を差し引いた速度において）。画像データを後処理することに関する要件は存在せず、かつ画像の「フレーム」全体を捕捉、記憶、比較、または処理することに関する要件も存在しない。
【0065】
出力は、ＨＤＲカメラ２０１が、異なる露光レベルにおける複数のセンサを使用して、複数の同型画像（すなわち、光レベル以外同じ）を捕捉し、それらを融合するため、ＨＤＲビデオ信号である。高露光（ＨＥ）センサからのデータは、画像の一部が暗い場合に使用され、中間露光（ＭＥ）（またはそれより低い）センサからのデータは、画像の一部がより明るく照明される場合に使用される。ＨＤＲカメラ２０１は、ＨＥおよびＭＥ（および随意に、ＬＥ）画像を融合し、ＨＤＲビデオ信号を生産する。具体的には、ＨＤＲカメラ２０１は、画像内の飽和したピクセルを識別し、それらの飽和したピクセルとより低い露光のセンサから導出される値を置換する。好ましい実施形態では、画像センサのうちの１つ上の第１のピクセルからの第１のピクセル値は、ある規定されたレベル、例えば、最大可能ピクセル値の少なくとも９０％を上回る場合、飽和していると識別される。
【0066】
図１０は、ピクセル値５０１が処理デバイス２１９上に複数の画像センサ２６５からストリーミングされるにつれて、ピクセル値５０１を同期させるための同期モジュール４０５の動作を示す。図５に描写されるように、ＨＥ＿１ピクセル値およびＭＥ＿１ピクセル値は、同期モジュール４０５にほぼ同時に到着する。しかしながら、ＨＥ＿２ピクセル値は、ＭＥ＿２と比較して遅れて到着し、ＬＥピクセル値のシーケンス全体が、遅れて到着するであろう。同期モジュール４０５は、先に到着したピクセル値を巡回させ、それらを対応する後に着信するピクセル値と同時に解放する、小ラインバッファを含有することができる。同期されたピクセル値は、次いで、パイプライン２３１を通してカーネル演算４１３にストリーミングされる。
【0067】
図１１は、ピクセル値がカーネル演算４１３に提示される方法を図示する。図１１の上部分は、ＨＥセンサ２１３を描写する。各正方形は、センサ２１３の１つのピクセルを描写する。白色中心を伴う、塗り潰された黒色ボックスは、考慮のための所与のピクセル６１５と、所与のピクセル６１５を囲繞するピクセルの近傍６０１とを図示するために描かれている。塗り潰された黒色ボックスは、実際には、センサ２１３（ＣＭＯＳ動画撮影用カメラセンサ等）上には現れず、単に近傍６０１が含むものを図示し、近傍６０１がピクセル値５０１のシーケンス６２１がカーネル演算４１３に提示されるときに現れる状態を理解することを補助するために描かれている。
【0068】
図１１の下部分は、同期モジュール４０５後、それらがカーネル演算４１３の中にストリーミングされるにつれたピクセル値のシーケンス６２１を示す。センサ２１３上のピクセルの近傍６０１からのピクセル値５０１は、依然として、例証を補助するために、「黒く塗り潰されている」。考慮下の所与のピクセル６１５は、２つの黒色ピクセルによって両側が囲繞されているため、センサ上のピクセルの列から容易に見分けることができる。２つのシーケンス６２１が存在し、そのうちの１つは、描写されるＨＥセンサ２１３から生じ、そのうちの１つは、ＭＥセンサ２１１から生じる。
【0069】
ピクセル値５０１をカーネル演算４１３を通してストリーミングされるステップは、ＨＥセンサ２１３上の第１のピクセル６１５を囲繞するピクセルの近傍６０１からの値を検査し、ピクセルの近傍６０１内の飽和した値を見出し、ＭＥセンサ２１１からの対応する近傍６１３からの情報を使用して、第１のピクセル６１５に関する値を推定するステップを含む。これは、以下により詳細に説明されるであろう。これを遂行するために、処理デバイスは、異なるセンサからの対応するピクセル値間で比較を行わなければならない。これは、考慮下のピクセル６１５を近傍６０１からの各ピクセルに隣接させて、かつ別のセンサ上の対応する近傍からの各ピクセルに隣接させて設置する方式において、ピクセル値をカーネル演算を通してストリーミングされることが有用であり得る。
【0070】
図１２は、パイプラインが、以下のピクセル値、すなわち、センサ２１３上の右に１つ目のピクセルからのピクセル値、センサ２１３上の右に２つ目のピクセルからのピクセル値、左に１つ目のピクセルからのピクセル値、左に２つ目のピクセルからのピクセル値のそれぞれに隣接させて現在のピクセル６１５を設置するように、回路をモデル化するアプローチを示す。図１２に示されるように、データは、パイプラインの本部分の中にフローし、さらに４回コピーされる。コピー毎に、異なりかつ具体的な量の遅延が、主分岐に追加される。５つのコピー全てが、並行してフローし続ける。したがって、全５つのコピーを横断した同時スナップショットは、所与の現在のピクセル値６１５および近傍６０１からの他のピクセル値を網羅する。このように、現在処理されているピクセルの両側のピクセル値が、現在処理されているピクセルとともに、その処理ステップにおいて使用されることができる。したがって、処理デバイスは、同時に、所与のピクセルのピクセル値を読み取り、近傍の値と比較することができる。図１２に図示されるアプローチは、比較のために、上側および下側近傍、対角線近傍、ならびに別のセンサ上の対応する近傍からのピクセル値に拡張されることができる。したがって、いくつかの実施形態では、ピクセル値５０１をカーネル演算４１３を通してストリーム１２９させるステップは、一時的に、第１のピクセルからの値をピクセルの近傍６０１から生じる各値に近接させて設置する、ピクセル値５０１を処理デバイス２１９内の経路６２１を通してストリーム１２９させるステップを含む。
【0071】
近傍比較は、飽和したピクセルに関する置換値を使用すべきかどうかと、どの置換値を使用すべきかとを判定するために使用されてもよい。近傍比較を使用するアプローチは、融合の議論の後に以下でさらに議論される。置換値は、ピクセル値５０１のシーケンス６２１が融合モジュール４２１によって融合１３９されるときに使用されるであろう。融合１３９するステップは、飽和したピクセル値５０１の少なくともいくつかをＨＤＲ画像から除外する。
【0072】
異なる露光を伴うＬＤＲ画像のセットからのＨＤＲ画像を融合するための以前のアルゴリズムは、典型的には、ＬＤＲ画像をデモザイク処理し、近傍ピクセル情報を考慮せずに、データをピクセル毎に融合した後に行われる。
【0073】
最少数のカメラセンサを用いて可能な最広ダイナミックレンジを捕捉するために、ＬＤＲ画像を従来のＨＤＲ取得方法を用いてよりも露光上さらに離して位置付けることが好ましい。先行技術方法は、量子化および雑音効果のため、望ましくないアーチファクトをもたらし、それらの問題は、あるトーンマッピングオペレータ（ＴＭＯ）が適用されるとき、悪化される。それらのＴＭＯは、ダイナミックレンジが圧縮されると、画像内でわずかな勾配差を増幅させ、それらを可視にし、融合アーチファクトも同様に増幅させる。
【0074】
図１３は、アーチファクトを低減させる（例えば、参照することによって組み込まれる、「Ｄｅｂｅｖｅｃ ａｎｄ Ｍａｌｉｋ，１９９７，Ｒｅｃｏｖｅｒｉｎｇ ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｒａｄｉａｎｃｅ ｍａｐｓ ｆｒｏｍ ｐｈｏｔｏｇｒａｐｈｓ，Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＣＭ ＳＩＧＧＲＡＰＨ １９９７：３６９－３７８」における融合アルゴリズムで使用される加重係数と比較して）、融合のアプローチを図示する。図８における「ＨＥセンサ」、「ＭＥセンサ」、および「ＬＥセンサ」バーは、３つのセンサによって測定された場面照明の範囲を提示する。
【0075】
例証のために、本システムは、１６のみの一意の明るさ値を測定し、センサが、露光において１絞り値のみ（２倍）分離される、４ビットセンサ（ＨＤＲカメラ２０１内で使用され得るような１２ビットセンサとは対照的に）を用いて簡略化される。ＣＭＯＳセンサは、略線形関係を入射露光とその出力値との間に呈するため、３つのセンサからの値は、従来の対数スケールの代わりに、入射放射照度の線形関数としてグラフ化される。
【0076】
常時、Ｄｅｂｅｖｅｃ ａｎｄ Ｍａｌｉｋのもの等の単純加重関数を用いて、全３つのセンサからのデータを使用する、先行技術アルゴリズムによる画像の融合は、アーチファクトを導入する。先行技術では、各センサからのデータは、点線によって示されるように、三角関数を用いて加重され、したがって、ＬＥセンサからのデータが、ＨＥセンサのものより粗く量子化される場合でも、低明るさ値（示されるサンプル照明レベルのように）におけるＬＥセンサからの寄与は、ゼロではない。
【0077】
本発明の方法は、対照的に、可能な限りより高い露光センサからのデータを使用し、飽和の近傍にあるとき、次により暗いセンサからのデータ内に混成させる。
【0078】
図１３は、ＬＥセンサが場面放射照度を他の２つのセンサより粗く測定することを示す。例えば、ＨＥセンサは、ＬＥセンサが単一インクリメントを記録する前に、勾配内で４つの異なるピクセル値を測定し得る。加えて、常時、ある程度の少量の雑音がピクセル値に存在し、ＬＥセンサ内の±１の誤差は、本実施例に関しては、ＨＥセンサ内の１２の値範囲に及ぶ。Ｄｅｂｅｖｅｃ ａｎｄ Ｍａｌｉｋのアルゴリズムは、これらの値をともに混成するが、ＨＤＲカメラ２０１は、可能である場合、最長露光センサ（より低雑音）のみからのピクセル値を使用し、ピクセルが飽和に近づくと、次により暗い露光内に混成させる。
【0079】
ある実施形態では、ＨＤＲカメラ２０１は、ＬＤＲ画像を融合するとき、個々のピクセルのみを検査するのではなく、また、脱雑音プロセスに役立つための付加的情報を提供し得る、近傍ピクセル６０１（図１１参照）も考慮する。
【0080】
本発明による融合１３９の一側面は、可能な最も明るく最も良好に露光されるセンサからのピクセルデータを排他的に使用することである。したがって、ＨＥ画像からのピクセルが、可能な限り使用され、ＭＥ画像内のピクセルは、ＨＥピクセルが飽和に近づく場合のみ使用される。対応するＭＥピクセルが、飽和レベルを下回る場合、ＭＥピクセルがＨＥピクセルを１２．２倍下回る放射照度を受信することを前提として、カメラの応答曲線に基づいて、ＨＥピクセルに関連してそれを調節する、係数によって乗算される。
【0081】
図１４は、ピクセル値を調節するための係数を求めるために使用される、カメラ応答曲線９０１を示す。３センサ実施形態では、ＨＥセンサが飽和レベルを上回るとき、対応するＭＥピクセルが飽和レベルを上回る場合、類似プロセスが、低露光ＬＥ画像内の同一ピクセルに適用される。
【0082】
それらが飽和するまで、ＨＥセンサからの値を排他的に使用し、次いで、単に、次のセンサに切り替える、「勝者総取り方式」アプローチによる融合は、遷移が生じる場所で黒白縞状アーチファクトをもたらすことが見出され得る。そのような黒白縞状アーチファクトを回避するために、ＨＤＲカメラ２０１は、随意に、２つのセンサ間のピクセル値を空間的に混成することによって、１つのセンサから次のセンサに遷移する。これを行うために、ＨＤＲカメラ２０１は、評価されているピクセル６１５の周囲の近傍６０１を走査する（図６参照）。本領域内の任意の近傍ピクセルが飽和される場合、考慮下のピクセルは、ピクセルクロストークまたは漏出を受け得、ＨＤＲカメラ２０１は、近傍６０１内のその近傍に基づいて、ピクセルに関する値を推定するであろう。
【0083】
ＨＤＲカメラ２０１は、デモザイク処理が飽和した領域内の色を破損させ得るため、個々のＢａｙｅｒカラーフィルタアレイ画像をデモザイク処理１４５することに先立って、融合１３９を行う。例えば、場面の明るい橙色セクションは、飽和した赤色ピクセルを有し得る一方、緑色および青色ピクセルは、該当しない。画像が、ＨＤＲの中に融合される前にデモザイク処理される場合、デモザイク処理された橙色は、飽和した赤色ピクセルデータおよび非飽和緑色／青色ピクセルデータから算出されるであろう。その結果、橙色セクションの色相は、正しくなく再現されるであろう。これらのアーチファクトを回避するために、ＨＤＲカメラ２０１は、デモザイク処理に先立って、ＨＤＲ融合を行う。
【0084】
画像が、デモザイク処理ステップに先立って融合されるため、ＨＤＲカメラ２０１は、好ましくは、放射照度の代わりに、ピクセル値を用いて機能する。放射測定的に正しいＨＤＲ画像を生産するために、ＨＤＲカメラ２０１は、これらが波長の関数として若干変化するため、ピクセル色毎に適切なビーム分割器透過率値を使用して、ＨＥ、ＭＥ、およびＬＥセンサの放射照度レベルを整合させる。ＨＤＲカメラ２０１は、異なる値を使用して、色チャネルのそれぞれを整合させるが、便宜上、プロセスは、平均値を用いて説明される。ピクセル値は、カメラ応答曲線９０１を通して転換され、結果として生じる放射照度は、露光レベル比率（ＨＥ／ＭＥに関しては平均１２．２倍）によって調節され、本新しい放射照度値は、カメラ応答曲線９０１を通して新しいピクセル値に逆転換される。
【0085】
図１４は、ＨＥ、ＭＥ、およびＬＥセンサの放射照度レベルを整合させるための３ステップＨＤＲ変換プロセスを示す。ＨＤＲ変換プロセスは、ピクセル比率曲線に到達するために全てのＨＥピクセル値（例えば、１から４０９６）に対して行われてもよく、これは、同一放射照度に関して各ＭＥピクセル値をＨＥセンサ上の対応するピクセル値に転換するためのスケーリング係数を与える。実際は、別個のピクセル比率曲線が、Ｂａｙｅｒパターンにおいて色（Ｒ、Ｇ、Ｂ）毎に計算される。ピクセル値をＨＥおよびＭＥ画像間（またはＭＥおよびＬＥ画像間）で比較するとき、単純乗算器が、使用されてもよい、またはピクセル比率曲線は、ルックアップテーブル（ＬＵＴ）として使用され、４０９６未満のＨＥピクセル値をＭＥピクセル値に、またはその逆に転換してもよい。ＨＥピクセル値が、飽和されると、ピクセル比率曲線は、そこで得られる最後の値（約８）を使用して拡張される。
【0086】
カメラ応答曲線９０１は、ブラケット露光のセットを求め、露光とピクセル値（線形ドメイン内のスケール定数内）を関連させる単調増加関数を解法することによって測定されることができる。未加工カメラデータから算出され得る曲線を示すが、線形最良適合から算出された曲線もまた、使用され得る。カメラが場面放射照度をピクセル値に転換する方法を示す、カメラ応答曲線を与える。所与のＨＥ値に関してとられるべきＭＥピクセル値を算出するために、ＨＥピクセル値（１）は、最初に、場面放射照度（２）に転換され、これは、次に、１２．２の我々のＨＥ／ＭＥ減衰比率によって除算される。本新しい放射照度値（３）は、カメラ応答曲線を通して予期されるＭＥピクセル値（４）に転換される。本グラフは、略線形であるが、有意な平滑化または線形適合の適用を伴わずに未加工データから算出されるため、それほど完璧ではない。３つの画像の放射照度レベルが整合されると、融合１３９は、行われてもよい。
【0087】
融合１３９の例証的実施例では、２つの位置合わせされたＬＤＲ画像（１つは、高露光画像ＩＨＥであり、もう１つは、中間露光画像ＩＭＥである）が、ＨＤＲ画像ＩＨＤＲの中に融合１３９されることになる。融合１３９は、高露光画像ＩＨＥ内の情報を用いて開始され、次いで、必要に応じて、次により暗い露光画像ＩＭＥからのデータ内で組み合わせられる。上記で説明された遷移アーチファクトを低減させるために、ＨＤＲカメラ２０１は、Ｎ（ｘ，ｙ）として示されるように、周囲（２ｋ＋１）×（２ｋ＋１）ピクセル近傍６０１からの情報を考慮することによって、各ピクセル場所（ｘ，ｙ）に作用する。
【0088】
図１１に図示されるようないくつかの実施形態では、ＨＤＲカメラ２０１は、５×５ピクセル近傍６０１（ｋ＝２）を使用して、その値がある具体的量、例えば、最大ピクセル値の９０％（例えば、センサ２１３が１２ビットＣＭＯＳセンサである場合、４０９６）を上回る場合、ピクセルが飽和したと定義する。
【0089】
ある実施形態では、融合１３９は、センサ２１３上のピクセル６１５およびその近傍６０１（図６参照）に関する４つのケース毎に、具体的動作を含む。
ケース１：ピクセル６１５は、飽和されておらず、近傍６０１も、飽和したピクセルを有しておらず、したがって、ピクセル値は、そのまま使用される。
ケース２：ピクセル６１５は、飽和されていないが、近傍６０１が、１つ以上の飽和したピクセルを有し、したがって、近傍内に存在する飽和の量に応じて、ＩＨＥ（ｘ，ｙ）におけるピクセル値と次により暗い露光ＩＭＥ（ｘ，ｙ）におけるものとの間で混成する。
ケース３：ピクセル６１５は、飽和したが、近傍６０１は、１つ以上の飽和されていないピクセルを有し、これは、ＩＨＥ（ｘ，ｙ）に関する値をより良好に推定するために使用され得る。すなわち、近傍内の飽和されていないピクセルと中心ピクセルとの間のＭＥ画像内のピクセル値の比率を計算し、ＭＥ比率の本マップを使用して、考慮下の飽和したピクセルの実際の値を推定する。
ケース４：ピクセル６１５は、飽和されており、近傍６０１内の全てのピクセルも、飽和されており、したがって、高露光画像からの有効情報は存在せず、ＭＥ画像を使用して、ＩＨＤＲ（ｘ，ｙ）＝ＩＭＥ（ｘ，ｙ）を設定する。
ケース１：ピクセル６１５は、飽和されておらず、近傍６０１も、飽和したピクセルを有しておらず、したがって、ピクセル値は、そのまま使用される。
ケース２：ピクセル６１５は、飽和されていないが、近傍６０１が、１つ以上の飽和したピクセルを有し、したがって、近傍内に存在する飽和の量に応じて、ＩＨＥ（ｘ，ｙ）におけるピクセル値と次により暗い露光ＩＭＥ（ｘ，ｙ）におけるものとの間で混成する。
ケース３：ピクセル６１５は、飽和したが、近傍６０１は、１つ以上の飽和されていないピクセルを有し、これは、ＩＨＥ（ｘ，ｙ）に関する値をより良好に推定するために使用され得る。すなわち、近傍内の飽和されていないピクセルと中心ピクセルとの間のＭＥ画像内のピクセル値の比率を計算し、ＭＥ比率の本マップを使用して、考慮下の飽和したピクセルの実際の値を推定する。
ケース４：ピクセル６１５は、飽和されており、近傍６０１内の全てのピクセルも、飽和されており、したがって、高露光画像からの有効情報は存在せず、ＭＥ画像を使用して、ＩＨＤＲ（ｘ，ｙ）＝ＩＭＥ（ｘ，ｙ）を設定する。
【0090】
３つのＬＤＲ画像が存在するとき、上記のプロセスは、単に、２回目の反復において繰り返され、ＩＨＤＲとＩＨＥおよびＩＬＥとＩＭＥを置換する。このように、データは、最低露光に向かって進みながら、より高い露光から融合１３９され、より高い露光データが飽和またはその近傍にあるとき、データは、より低い露光からのみ使用される。
【0091】
これは、全３つの色チャネルを考慮して、図９のものに類似するカメラ応答曲線を使用して、デモザイク処理１４５され、ピクセル値から放射照度に転換され得る、ＨＤＲ画像を生産する。最終ＨＤＲフルカラー画像は、次いで、トーンマッピングされてもよい（例えば、ＦＤＲＴｏｏｌｓ、ＨＤＲ Ｅｘｐｏｓｅ、Ｐｈｏｔｏｍａｔｉｘ等の商業用ソフトウェアパッケージを用いて）
【0092】
ＨＤＲカメラ２０１は、カメラ本体内に搭載される３つのＳｉｌｉｃｏｎ Ｉｍａｇｉｎｇ ＳＩ－１９２０ＨＤ最高仕様動画撮影用ＣＭＯＳセンサを使用して実装されてもよい。それらのセンサは、標準的Ｂａｙｅｒカラーフィルタアレイとともに、１９２０×１０８０ピクセル（５平方ミクロン）を有し、約１０絞り値（雑音を除外する）のダイナミックレンジを測定することができる。センサは、カメラを小ピンホール光源に照準し、ＨＥセンサを下方に係止し、次いで、止めねじを調節し、ＭＥおよびＬＥセンサを整合させることによって整合される。
【0093】
カメラ本体は、Ｈａｓｓｅｌｂｌａｄレンズマウントを含み、高性能相互交換可能商業用レンズの使用を可能にしてもよい。ビーム分割器に関して、装置は、Ｅｄｍｕｎｄ Ｏｐｔｉｃｓによって販売されているもの等のコーティングされていないペンシルビーム分割器［製品番号ＮＴ３９－４８２］を含んでもよい。好ましくは、複数の画像センサは、少なくとも高露光（ＨＥ）センサ２１３と、中間露光（ＭＥ）センサ２１１とを含み、融合は、飽和されていないＨＥピクセル値５０１と、飽和したピクセル値に対応するＭＥピクセル値５０１との使用を含む。複数のセンサはさらに、低露光（ＬＥ）センサ２６１を含んでもよく、カーネル演算は、ＨＥセンサ２１３およびＭＥセンサ２１１の両方から生じる飽和したピクセル値５０１を識別するステップを含んでもよい。ピクセル値は、パイプラインを通してストリーミングされるため、飽和したピクセル値５０１の少なくともいくつかは、処理デバイス２１９において複数の画像センサの全てのピクセルからの値を受信する前に識別されることが可能であり、融合動作は、依然として、後に着信するピクセル値５０１をカーネル演算４１３を通してストリーム１２９させながら、シーケンスの一部の融合１３９を開始するステップを含んでもよい。
【0094】
ビーム分割器、レンズ、またはフィルタ等の光学コンポーネントは、「スペクトル的に中立」であると標識される場合でも、伝送される光の量に若干の波長依存差を有し得ることを理解されたい。すなわち、各画像センサは、その独自の「色補正空間」を有すると言え、それによって、そのセンサからの画像は、その色補正空間から真の色に補正される必要がある。光学システムは、較正されることができ（例えば、較正カードの写真を撮影することによって）、色補正行列が、画像センサ毎に、記憶されることができる。ＨＤＲビデオパイプラインは、次いで、ピクセル値を１つのセンサから別のセンサの色補正空間に向かって調節する反直感的ステップを行うことができ、これは、ある場合には、色を真の色から微調整することを伴い得る。これは、１つのセンサからのＲＧＢ値のベクトルを他のセンサの色補正行列の逆数によって乗算することによって遂行されてもよい。第２のセンサに対する本色補正後、ストリームは、融合され、結果として生じるＨＤＲビデオ信号は、真の色に色補正される（例えば、ＲＧＢベクトルを適用可能な色補正行列によって乗算することによって）。本色補正プロセスは、各画像センサのスペクトル差を考慮する。
【0095】
図１５は、ＨＤＲパイプラインが複数のセンサのそれぞれのスペクトル特性における差異を補正し得る、色補正プロセス１００１を示す。センサ間の若干の波長依存差を補正するために、電子入力と電子出力との間の関係が、既知の入力を使用して実験的に測定されることができる。センサ毎に、補正係数を算出することによって、センサによって検出された情報は、さらなる処理に先立って補正されることができる。したがって、いくつかの実施形態では、パイプライン２３１は、色補正のためのモジュールを含む。色補正プロセスのステップは、パイプラインに沿った複数の場所において適用されてもよく、したがって、色補正は、ＦＰＧＡ上の異なる場所において具体的モジュールを介して実装されてもよい。併せて、それらのモジュールは、色補正プロセス１００１を実装する、色補正モジュールと称され得る。
【0096】
色補正プロセス１００１は、２つのセンサからの画像を融合する前に、その色補正空間からの１つのセンサのデータを別のセンサの色補正空間に転換する。融合された画像データは、次いで、第３のセンサからの画像データと組み合わせられる前に、その第３のセンサの色補正空間に転換されることができる。プロセスは、所望に応じた数のセンサに関して繰り返されてもよい。全てのセンサの画像が、組み合わせられた後、最終の組み合わせられた画像は、デモザイク処理１４５されてもよく、次いで、真の色に色補正されてもよい。
【0097】
色補正プロセス１００１は、１つのセンサから次のセンサに色情報を保存するように、２つの画像が一度に融合される段階において、複数のセンサからの画像が融合されることを可能にする。例示的目的のために、図１５では、ＨＥセンサからのＨＥピクセル値は、ＭＥセンサからのＭＥピクセル値と融合される。融合の結果は、次いで、ＬＥセンサからのＬＥピクセル値と融合される。
【0098】
色補正プロセス１００１を誘導する基本原理は、最初に、暗画像を次の最明画像の色補正空間に転換し、次いで、２つの「非デモザイク処理」（またはカラーフィルタアレイ［ＣＦＡ］Ｂａｙｅｒパターン化）画像をともに融合することである。
【0099】
色補正プロセス１００１は、ＭＥセンサ、ＬＥセンサ、およびＳＥセンサを伴うＨＤＲカメラ２０１に関して、３つの一般的段階、すなわち、ＳＥ色補正空間（ＣＣＳ）段階、ＭＥ色補正空間段階、およびＬＥ色補正空間段階を含む。色補正プロセスは、最初に、ＳＥ色補正空間段階から開始し、これは、最初に、ＬＥピクセル値をデモザイク処理１０４５するステップと、次いで、結果として生じるベクトルをＭＥ画像の色補正空間に変換１０５１するステップを含む。デモザイク処理プロセス１０４５は、ピクセル毎に、フルカラーＲＧＢベクトル値をもたらす。
【0100】
デモザイク処理１０４５された後、ＬＥ画像データが、次に、ＭＥ色補正空間に変換１０４５される。本目的は、ＬＥピクセルの色（ここでは、ＲＧＢベクトルによって説明される）をＭＥアレイの色（ＭＥアレイの色の不完全性の全てを伴う）に整合することである。変換１０５１を行うために、ＬＥ ＲＧＢベクトルは、色補正行列によって変換１０５１される。例えば、等式１－３は、色補正行列を使用して、それぞれ、ＨＥ、ＭＥ、およびＬＥセンサに関する色値を補正する方法を示す。等式１は、色補正行列を使用して、ＨＥセンサの色値を補正する方法を示し、値Ａ１－Ａ９を含む、３×３行列係数は、ピクセル値を強化または弱化させるために選択された係数を表し、ＲＧＢ行列（ＲＬＥ、ＧＬＥ、およびＢＬＥ）は、ＬＥセンサからのデモザイク処理されたＲＧＢ出力信号を表す。ある場合には、３×３行列係数は、デモザイク処理された出力を期待（すなわち、いわゆる「真」）値に対して比較することによって導出されることができる。例えば、３×３行列係数は、デモザイク処理されたＲＧＢ出力値と基準色チャート（例えば、Ｍａｃｂｅｔｈチャート）からの基準値との間の最小２乗多項式モデル化によって導出されることができる。同様に、等式２は、色補正行列を使用して、ＭＥセンサの色値を補正する方法を示し、ＲＧＢ行列（ＲＭＥ、ＧＭＥ、およびＢＭＥ）は、ＭＥセンサからのデモザイク処理されたＲＧＢ出力信号を表し、等式３は、色補正行列を使用して、ＳＥセンサの色値を補正する方法を示し、ＲＧＢ行列（ＲＭＥ、ＧＭＥ、およびＢＭＥ）は、ＳＥセンサからのデモザイク処理されたＲＧＢ出力信号を表す。
等式１－［Ａ］、すなわち、ＬＥセンサのための色補正行列を使用してＳＥピクセル値を補正する。
等式２－［Ｂ］、すなわち、ＭＥセンサのための色補正行列を使用してＭＥピクセル値を補正する。
等式３－［Ｃ］、すなわち、ＳＥセンサに関する色補正行列を使用してＳＥピクセル値を補正する。
等式１－［Ａ］、すなわち、ＬＥセンサのための色補正行列を使用してＳＥピクセル値を補正する。
等式２－［Ｂ］、すなわち、ＭＥセンサのための色補正行列を使用してＭＥピクセル値を補正する。
等式３－［Ｃ］、すなわち、ＳＥセンサに関する色補正行列を使用してＳＥピクセル値を補正する。
【0101】
画像を第１の色補正空間（ＣＣＳ）から第２の色補正空間に転換するために、１つ以上のセンサからの色補正行列が、使用されることができる。本プロセスは、色補正空間間の転換または色補正空間の較正と称され得る。第１の色補正空間または第２の色補正空間のいずれも、捕捉された画像の真の色を正確に反映させていない。第１および第２の色補正空間両方とも、ずれを有し、それらのずれは、一般に、相互から異なる。したがって、各センサからのＲＧＢ値は、真の色として現れるために、それらのＲＧＢ値に関する一意の色補正行列によって乗算されなければならない。
本発明は、画像をＬＥセンサの色補正空間からＭＥセンサの色補正空間に転換するための方法を含み、以下の等式４に図示される。
等式４－ＬＥピクセル値をＬＥ色補正空間からＭＥ色補正空間に転換する。
本発明は、画像をＬＥセンサの色補正空間からＭＥセンサの色補正空間に転換するための方法を含み、以下の等式４に図示される。
等式４－ＬＥピクセル値をＬＥ色補正空間からＭＥ色補正空間に転換する。
【0102】
等式４では、ＬＥセンサのピクセル値（Ｒ、Ｇ、Ｂ）は、ＬＥセンサの補正行列［Ｃ］によって乗算され、次いで、ＭＥセンサの補正行列［Ｂ］の逆数によって乗算される。結果は、ＭＥセンサの色補正空間内にある、ピクセル値（Ｒ、Ｇ、Ｂ）のセットとなる。
【0103】
本発明の方法は、２つのセンサからの画像が、正確に組み合わせられる、または融合され得るように、第２のセンサの色補正空間と第１のセンサの色補正空間の整合を可能にする。２つのセンサからの画像をＨＤＲ画像の中に組み合わせることに先立って、第２の色補正空間の全てのずれを第１の色補正空間に適用するための方法は、これまで知られていない。複数のＣＦＡセンサからのデータを組み合わせるための典型的方法は、画像を組み合わせることに先立って、各センサのデータを較正された色カードから測定された「真」値に色補正することに依拠する。これは、ＨＤＲシステムにおいて問題となり、より明るいセンサの画像は、飽和した有意な部分を有し、その飽和した部分は、実際には、組み合わせるとき、より暗いセンサの画像から利用されているはずであることが知られている。飽和したピクセルに基づいて、色情報を有する画像を色補正することは、色を誤識別させるであろう。したがって、ＨＤＲシステムでは、画像を組み合わせることに先立って、より明るい画像（例えば、「真」色値）を色補正することは、色をモザイクパターン化画像から作成する際、飽和したピクセルデータの使用のため、色が誤識別されることにつながるであろう。本理由から、我々は、以下を規定する。（１）より暗い画像は、その色情報をより明るい画像の色空間に整合するように変換させ、（２）本変換されたより暗い画像は、より明るい画像と組み合わせられ、次いで、（３）最終の組み合わせられた画像は、「真」色値に色変換される。
【0104】
本発明に提供される解決策は、より暗いセンサからのデータの［（ａ）デモザイク処理１０４５、（ｂ）色補正１０５１、および（ｃ）モザイク処理１０５７］ステップを行い、それによって、全てのデータが、より暗いセンサのデータとより明るいセンサのデータを融合するステップに先立って、その非デモザイク処理された状態に正確に戻されることを確実にすることによって、本飽和ピクセル色誤識別問題を回避する。
【0105】
さらに、２つのセンサからの画像の融合に先立って、本発明は、２つのセンサの色補正空間を整合させる。本変換は、２つの画像（第１および第２の色補正空間センサから）が非デモザイク処理されたフォーマットでピクセル毎に正確に融合され得ることを確実にする。これは、特に、第２のセンサの色補正空間が「真の」色補正空間と異なることが既知であるとき、１つのセンサの色補正空間を第２のセンサの色補正空間に整合させるように変化させるというように、一見、反直感的であるように考えられ得る。しかしながら、これは、（１）より明るいセンサの色情報が融合に先立ってデモザイク処理されないことと、（２）画像の融合に先立って両センサからの色データがともに整合されることとを確実にする際に重要な特徴である。色補正プロセス１００１は、それ自体が処理デバイス２１９上のパイプライン２３１内のカーネルとして実装され得る、行列を使用する。したがって、色補正プロセス１００１は、それらがピクセル値を受信するにつれて、カーネルが適用されるため、ＨＤＲパイプラインワークフローと互換性がある。
【0106】
ＬＥ情報が、ＬＥ色補正空間からＭＥ色補正空間に変換１０５１された後、変換された値は、モザイク処理１０５７される（すなわち、デモザイク処理プロセスが逆転される）。変換されたスカラーピクセル値は、ここでは、ＭＥセンサによって検出されたＢａｙｅｒパターン化スカラーＭＥピクセル値に匹敵し、プロセス１００１は、ＭＥおよびＨＥ非デモザイク処理（すなわち、スカラー）センサデータの融合１０６１を含む。
【0107】
ＭＥ色補正空間内の融合された非デモザイク処理画像は、次いで、デモザイク処理１０６７される。本デモザイク処理１０６４は、上記に説明されるデモザイク処理１０４５に類似するが、デモザイク処理プロセスを受けるＣＦＡピクセル値は、ここでは、ＭＥ色補正空間と関連付けられる。デモザイク処理１０６７は、ＭＥ色空間内のＲＧＢベクトルを生産する。それらのＲＧＢベクトルは、ＨＥ色空間に変換１０７１される一方、また、色補正される（［Ｂ］［Ａ］－１［ＲＧＢ］）。等式２は、色補正行列を使用して、ＭＥセンサの色値を補正する方法を示す。色補正されたＭＥ情報は、ＭＥ色補正行列をＳＥ色補正行列の逆数によって乗算することによって、ＭＥ色補正空間からＨＥ色補正空間に変換１０７１される。
【0108】
ＭＥ情報が、ＭＥ色補正空間からＨＥ色補正空間に変換１０７１された後、変換されたベクトルは、モザイク処理１０７５される（すなわち、デモザイク処理プロセスが逆転される）。これは、変換されたＭＥ ＣＦＡ Ｂａｙｅｒパターン化ピクセル値が、ＨＥセンサによって検出されたＨＥピクセル値と融合１０７９することを可能にする。色補正プロセス１００１における本時点で、ＨＥおよびＭＥセンサによって検出された変換された色情報は、ここで、ＨＥセンサによって検出された色情報に整合するように較正される。本新しく融合された色値データセットは、ここでは、ＨＥ色補正空間２０５内の色値を表す。
【0109】
色処理およびトーンマッピング後、パイプラインは、ＨＤＲビデオ信号を生産する。
【0110】
図１６は、車両１０１内に含まれ得る、情報フローを図示する。ＨＤＲビデオは、融合された非圧縮データとして処理システム１１３に送信されてもよい。これは、車両ＥＣＵ、情報ネットワーク、または両方を使用して遂行されてもよい。処理システム１１３またはカメラ２０１は、トーンマッピングオペレータ４２７を含んでもよい。トーンマッピングは、ＨＤＲビデオを標準的画面上での表示のために好適な「標準的ダイナミックレンジ」（ＳＤＲ）に変換する。リアルタイムでトーンマッピングされた信号は、車両１０１内の運転手または同乗者に表示されてもよい（例えば、ダッシュボード画面、無線パーソナルデバイス上の画面上に、またはヘッドアップディスプレイ（ＨＵＤ）を介して）。
【0111】
ＨＤＲカメラ２０１のうちの１つ以上は、同時に、かつ複数のカメラのビューをともにスティッチングする必要なく、３６０度リアルタイムで視認し得る、単一レンズシステムと併用されることができる。ＨＤＲは、一般的に、太陽光または視野内の他の明るい源を有するため、３６０度同時視認のために好ましい。ＨＤＲの拡張された光範囲能力は、場面が最も暗い陰影から最も明るい照らされるエリアまで可視であることを確実にする。処理システム１１３は、センサ融合およびレーダ／ライダハンドオフに関連し得るデータサブセットのために、３６０°ラッピング解除およびワーピング解除をリアルタイムで実施することができる。加えて、または代替として、３６０°ビューの一部は、基本表示目的のために（レーダと異なり）運転手または同乗者に提示されてもよい。本センサは、車の方向および進路に対して容易に較正され、一意の場所および／または方角データを提供することができる。
【0112】
いくつかの実施形態では、パイプラインは、リアルタイムで、ＳＤＲ信号をＨＤＲ信号から減算する（ＨＤＲ－ＳＤＲ＝残留物）、減算のためのモジュールを含むことができる。減算モジュールからのフローは、一対のストリーム、すなわち、ＳＤＲビデオ信号および残留信号である。好ましくは、色情報は全て、ＳＤＲ信号内にある。本段階で、ＨＤＲ信号は、好適な演算（例えば、ＪＰＥＧまたは類似物）によって、ＨＤＲ圧縮を受けてもよい。対のストリームは、８ビットＳＤＲ信号と、ＨＤＲ表示を提供する、圧縮されたＨＤＲ残留信号とを含む。
【0113】
図１７は、車両を動作させるための方法１７０１のステップを図示する。方法１７０１は、車両１０１上のＨＤＲカメラ２０１を介して、光を受信するステップ１７０７を含む。ビーム分割器３０１は、センサ上の複数のピクセル毎に値を捕捉１７２５する複数の画像センサ２６５上に、光を分割１７１３する。
【0114】
ピクセル値は、飽和したピクセル値を識別１７３５するためのカーネル演算と、ピクセル値を融合１７３９し、ＨＤＲビデオをリアルタイムで生産するための融合モジュールとを使用する、処理デバイス２１９にストリーミング１７２９される。ビデオは、好ましくは、デモザイク処理される。処理システム１１３は、ＨＤＲビデオに基づいて、車両１０１の環境内のアイテムの外観を判定１７４５し、制御システムに、アイテムの外観に基づいて、車両１０１の動作の変更１７５１を行わせる。車両は、好ましくは、自律走行車両である。
【0115】
車両１０１の環境内のアイテムの外観の判定１７４５は、制御システムに、そのようなアクションの種々の実施例を含み得る、車両１０１の動作の変更１７５１を行わせ得る。例えば、ＡＤＡＳは、あるアイテムが車道上に新たに現れた（例えば、イヌが道路上に飛び出した）ことを判定し、ブレーキを動作させることによって、車両の動作を変更させることができる。別の実施例では、ＡＤＡＳは、道路が濡れているまたは雪が積もっているようであることを判定することができ、車両を慎重に減速させることができる。さらなる実施例に関して、ＡＤＡＳは、オブジェクトがヒトの眼またはＳＤＲカメラによって検出することが非常に困難であろう場合でも（例えば、明るい空に対する白色トラック）オブジェクトが場面内に現れていることを判定し、操向および／または制動補正を適用し、車両１０１にオブジェクトを回避させることができる。さらなる実施例では、ＡＤＡＳは、ＨＤＲカメラを使用して、非常に少ない光の条件下でも、車両１０１の背後の私道に障害物がないようであることを判定することができ、車両に、そのエンジンをかけさせ、車庫からバックして出庫させることができる。他の判定および動作も、当業者に明白となるであろう。
【0116】
図１８は、方法１７０１が有益な可用性を有し得る、場面を描写する。本場面では、明るい太陽光が、ヒトの眼が車両の正面のあらゆるアイテムを見ることを困難にする。しかしながら、ダイナミックレンジのそのような問題は、ＨＤＲカメラ２０１によって対処される。ＨＤＲカメラ２０１は、例えば、車両１０１の正面の車の運転手が、ブレーキを軽く踏み、前方の可能性として考えられる注意の必要な条件を示していることを判定し得る。ＡＤＡＳは、車両１０１を減速させることができる。
【0117】
ＨＤＲシステムは、軍事または緊急車両の一部として、またはそこで使用するために提供されてもよい。リアルタイムＨＤＲビデオカメラは、多忙な環境内の多数の入力等、ヒトが処理することが困難である、または遠く離れた非常に小さな事物等、入力を検出することが難しいであろう、種々の入力を検出し、それに応答する能力を提供する。一実施例にすぎないが、ＨＤＲシステムを使用する飛行中隊は、相互ならびに周囲の雲、鳥、地形等を検出し、それに応答し、例えば、完璧な隊形で長距離にわたって飛行し、さらに、種々の地形にわたって、ある臨界高度下で飛行しながら、隊形を維持し得る。いくつかの実施形態では、ＨＤＲシステムは、軍事または緊急車両のためのものであり、自動操縦を提供する、または機能性を補助する。オペレータは、ある時間にわたって車両を制御するようにシステムを設定することができる。加えて、または代替として、本システムは、万一、オペレータが、意識を失う、注意が逸れる、パニックボタンを押下する等の場合、オペレータに介入するようにプログラムされることができる。例えば、本システムは、眼追跡装置または心拍数モニタ等の生理学的センサに接続されることができ、万一、そのようなセンサがある閾値を超える値（例えば、非常に低いまたは上昇心拍数、不自然または抑制された眼移動、もしくは目下の進行経路に向かって指向されていない眼移動）を検出する場合、バックアップ動作モードを開始することができる。本システムは、車両をある保持パターン下に設置する、例えば、パイロットが睡眠中、数時間にわたって、高高度で旋回飛行するように動作されることができる。様々な特徴および機能性が、車両によって提供され得ることを理解されるであろう。
【0118】
図１９は、方法１７０１が車両を動作させることを補助するために使用され得る、別の場面を図示する。車両は、Ｇａｒｄｅｎ Ｓｔａｔｅ Ｐａｒｋｗａｙを探すためのナビゲーション命令下で動作し得る。図１９に描写される標識への接近に応じて、ＳＤＲカメラは、低光条件に起因して、適切な標識を読取不可能であり得、ヒト関与者は、有効情報の過負荷に起因して、標識を検出不可能であり得る。しかしながら、ＨＤＲカメラ２０１および処理システム１１３（ＯＣＲまたはパターン認識を使用して）は、Ｇａｒｄｅｎ Ｓｔａｔｅ Ｐａｒｋｗａｙに関する標識が、そのような道路が前方にあることを示す矢印とともに現れていることを判定する。ＡＤＡＳは、その情報を使用して、車両１０１を道路に沿って進ませることができる。加えて、ＨＤＲカメラ２０１は、車線マークを検出し、第２車線が前方方向に進む最も近い車線であることを示すために使用されてもよい。さらに、ＨＤＲカメラ２０１は、第２車線内の車両の照明されたブレーキライト光を検出してもよい。したがって、ＨＤＲカメラは、ＡＤＡＳに車線を第２車線に変更し、車両１０１を停止させ、進む機会を待機し、車両１０１をＧａｒｄｅｎ Ｓｔａｔｅ Ｐａｒｋｗａｙにもたらすために必要な情報を提供する。
【0119】
（参照による引用）
特許、特許出願、特許刊行物、雑誌、書籍、論文、ウェブコンテンツ等の他の文書の参照および引用が、本開示全体を通して行なわれる。そのような文書は全て、あらゆる目的のために、参照することによって、全体として本明細書に組み込まれる。
特許、特許出願、特許刊行物、雑誌、書籍、論文、ウェブコンテンツ等の他の文書の参照および引用が、本開示全体を通して行なわれる。そのような文書は全て、あらゆる目的のために、参照することによって、全体として本明細書に組み込まれる。
【0120】
（均等物）
本明細書に図示および説明されるものに加え、本発明およびその多くのさらなる実施形態の種々の修正が、本明細書に引用される科学および特許文献の参考文献を含む、本書の全内容から、当業者に明白となるであろう。本明細書における主題は、その種々の実施形態およびその均等物における本発明の実践に適合され得る、重要な情報、例示、および指針を含有する。
本明細書に図示および説明されるものに加え、本発明およびその多くのさらなる実施形態の種々の修正が、本明細書に引用される科学および特許文献の参考文献を含む、本書の全内容から、当業者に明白となるであろう。本明細書における主題は、その種々の実施形態およびその均等物における本発明の実践に適合され得る、重要な情報、例示、および指針を含有する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】