特許 7080328 低光および高光レベル撮像用の単一光学部品

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-05-26

(45)【発行日】2022-06-03

(54)【発明の名称】低光および高光レベル撮像用の単一光学部品

(51)【国際特許分類】

   H04N 5/235 20060101AFI20220527BHJP

   H04N 5/225 20060101ALI20220527BHJP

   H04N 5/232 20060101ALI20220527BHJP

   G03B 15/00 20210101ALI20220527BHJP

   G03B 11/00 20210101ALI20220527BHJP

【ＦＩ】

H04N5/235 500

H04N5/225 400

H04N5/225 300

H04N5/232 290

G03B15/00 V

G03B11/00

【請求項の数】 19

(21)【出願番号】P 2020534472

(86)(22)【出願日】2018-12-18

(65)【公表番号】

(43)【公表日】2021-03-25

(86)【国際出願番号】 US2018066335

(87)【国際公開番号】W WO2019133348

(87)【国際公開日】2019-07-04

【審査請求日】2020-08-11

(31)【優先権主張番号】15/856,194

(32)【優先日】2017-12-28

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】317015065

【氏名又は名称】ウェイモ エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】ハーマリン，ブレンダン

【審査官】鈴木 明

(56)【参考文献】

【文献】米国特許出願公開第２０１７／０３５９５６８（ＵＳ，Ａ１）

【文献】特開２００６－１６６０００（ＪＰ，Ａ）

【文献】特開２０１２－２０８２０９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２２２－５／２５７

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １１／００

(57)【特許請求の範囲】

【請求項1】

光学システムであって、
シーンからの入射光を受容するように構成された少なくとも１つの一次光学素子と、
前記少なくとも１つの一次光学素子に光学的に結合された複数のリレーミラーと、
前記複数のリレーミラーに光学的に結合されたレンズと、
前記レンズから集束光を受容するように構成された画像センサと、を含み、前記画像センサが、第１の感光領域と、第２の感光領域と、を含み、前記少なくとも１つの一次光学素子と、前記複数のリレーミラーと、前記レンズとの組み合わせが、第１の集束光部分および第２の集束光部分を形成するように前記入射光と相互作用し、前記第１の集束光部分が、前記第１の感光領域上に前記シーンの第１の画像部分を形成し、前記第２の集束光部分が、前記第２の感光領域上に前記シーンの第２の画像部分を形成し、前記第１および第２の感光領域が、重なり合わず、前記第１の集束光部分が、第１の光強度を有し、前記第２の集束光部分が、第２の光強度を有し、前記第１の光強度が、前記第２の光強度よりも大きい、光学システム。

【請求項2】

前記光学システムが、車両をさらに含み、前記画像センサが、前記車両の環境の少なくとも一部分の画像を捕捉するように動作可能である、請求項１に記載の光学システム。

【請求項3】

前記第１の光強度が、前記第２の光強度よりも少なくとも１０倍大きい、または前記第２の光強度が、前記第１の光強度の約１パーセントである、請求項１に記載の光学システム。

【請求項4】

前記画像センサが、複数の画素を含み、前記複数の画素のうち少なくとも１つの画素が、ＣＭＯＳセンサ、ＣＣＤセンサ、シリコン光電子増倍管（ＳｉＰＭ）、単一光子アバランシェ検出器（ＳＰＡＤ）、またはアバランシェ光伝導体を含む、請求項１に記載の光学システム。

【請求項5】

前記少なくとも１つの一次光学素子および前記複数のリレーミラーが、共通の光軸の周囲に配置される、請求項１に記載の光学システム。

【請求項6】

前記少なくとも１つの一次光学素子が、前記複数のリレーミラーに向かって光を反射するように構成された環状のミラー表面を含む、請求項５に記載の光学システム。

【請求項7】

前記複数のリレーミラーが、第１の反射表面と、第２の反射表面と、を含み、前記第１の感光領域が、前記第１の反射表面を介して前記第１の集束光部分を受容し、前記第２の感光領域が、前記第２の反射表面を介して前記第２の集束光部分を受容する、請求項１に記載の光学システム。

【請求項8】

前記第１の反射表面が、前記第２の反射表面よりも高い反射率を有する、請求項７に記載の光学システム。

【請求項9】

前記第１の感光領域と前記第２の感光領域との間に、光バッフルをさらに含む、請求項１に記載の光学システム。

【請求項10】

前記第１の感光領域が、第１の複数の画素を含み、前記第２の感光領域が、第２の複数の画素を含み、第３の複数の画素が、第１の複数の画素と第２の複数の画素との間に配置される、請求項１に記載の光学システム。

【請求項11】

コントローラをさらに含み、前記コントローラが、動作を実行するように命令を実行し、前記動作が、
前記第１の感光領域において、前記第１の集束光部分を受容することと、
前記受容した第１の集束光部分に基づいて、前記第１の画像部分を決定することと、
前記第２の感光領域において、前記第２の集束光部分を受容することと、
前記受容した第２の集束光部分に基づいて、前記第２の画像部分を決定することと、
前記第１の画像部分および前記第２の画像部分に基づいて、少なくとも１つの高ダイナミックレンジ画像を決定することと、を含む、請求項１に記載の光学システム。

【請求項12】

少なくとも１つのフィルタをさらに含み、前記少なくとも１つのフィルタが、減光フィルタ、偏光フィルタ、スペクトルフィルタ、バンドパスフィルタ、ローパスフィルタ、またはハイパスフィルタのうちの少なくとも１つを含む、請求項１に記載の光学システム。

【請求項13】

前記少なくとも１つのフィルタが、前記第１の集束光部分または前記第２の集束光部分のうちの少なくとも１つをフィルタリングするように構成される、請求項１２に記載の光学システム。

【請求項14】

前記少なくとも１つのフィルタが、前記画像センサ、前記レンズ、前記少なくとも１つの一次光学素子、または前記複数のリレーミラーのうちの少なくとも１つに結合される、請求項１２に記載の光学システム。

【請求項15】

光学システムであって、
レンズ本体であって、前記レンズ本体の遠位端に開口部を含み、前記開口部が、シーンから光を受容するように構成されている、レンズ本体と、
前記レンズ本体内の一次光学素子と、
前記一次光学素子に光学的に結合された複数のリレーミラーであって、前記一次光学素子が、前記シーンからの光を前記複数のリレーミラーに向けて反射するように構成されており、前記複数のリレーミラーが、前記シーンからのリレー光のそれぞれの部分を形成するように構成されている、複数のリレーミラーと、
前記複数のリレーミラーに光学的に結合されたレンズと、
第１の感光領域と、第２の感光領域と、を有する、画像センサであって、前記レンズが、第１の集束光部分および第２の集束光部分を形成するようにリレー光のそれぞれの部分と相互作用し、前記第１の集束光部分が、前記第１の感光領域上に前記シーンの第１の画像部分を形成し、前記第２の集束光部分が、第２の感光領域上に前記シーンの第２の画像部分を形成し、前記第１および第２の感光領域が、重なり合わず、前記第１の集束光部分が、第１の光強度を有し、前記第２の集束光部分が、第２の光強度を有し、前記第１の光強度が、前記第２の光強度よりも大きい、画像センサと、
メモリと、少なくとも１つのプロセッサと、を含む、コントローラと、を含み、前記コントローラが、動作を実行するように前記メモリに格納された命令を実行し、前記動作が、
前記第１の感光領域において、前記第１の集束光部分を受容することと、
前記受容した第１の集束光部分に基づいて、前記第１の画像部分を決定することと、
前記第２の感光領域において、前記第２の集束光部分を受容することと、
前記受容した第２の集束光部分に基づいて、前記第２の画像部分を決定することと、
前記第１の画像部分および前記第２の画像部分に基づいて、少なくとも１つの高ダイナミックレンジ画像を決定することと、を含む、光学システム。

【請求項16】

前記第１の光強度が、前記第２の光強度より少なくとも１０倍大きい、請求項１５に記載の光学システム。

【請求項17】

前記第１の画像部分および前記第２の画像部分に基づいて、少なくとも１つの高ダイナミックレンジ画像を決定することが、非線形トーンマッピングアルゴリズム、非線形放射輝度マッピングアルゴリズム、またはカラーアピアランスモデルのうちの少なくとも１つを適用することを含む、請求項１６に記載の光学システム。

【請求項18】

前記画像センサが、ＣＭＯＳセンサ、ＣＣＤセンサ、シリコン光電子増倍管（ＳｉＰＭ）、単一光子アバランシェ検出器（ＳＰＡＤ）、またはアバランシェ光伝導体のうちの少なくとも１つを含む、請求項１５に記載の光学システム。

【請求項19】

前記第１の感光領域と前記第２の感光領域との間に、光バッフルをさらに含む、請求項１５に記載の光学システム。

【発明の詳細な説明】

【背景技術】

【0001】

関連出願の相互参照
本出願は、２０１７年１２月２８日に出願された米国特許出願第１５／８５６，１９４号の優先権を主張し、その全体を参照することにより本明細書に援用される。

【0002】

本明細書に別段の断りのない限り、本項に記載の資料は、本出願の特許請求の範囲に対する先行技術ではなく、本項に含めることよって先行技術であると認められるものでもない。

【0003】

高ダイナミックレンジ撮像は、共通のシーンの複数の画像フレームを捕捉することによって実行され得、各画像フレームは、異なる露出条件を有する。複数の画像フレームは、トーンマッピングプロセスにおいて組み合わされて、下層の画像センサで可能となるよりも広いダイナミックレンジにわたって、共通シーンの画像詳細を含む高ダイナミックレンジ画像を提供し得。

【0004】

代替的に、高ダイナミックレンジ撮像は、同一または類似の時間に共通シーンの画像を各々捕捉し得る複数のカメラを用いて実行され得る。複数のカメラによって捕捉された画像は、トーンマッピングプロセスにおいて組み合わされ得る。

【0005】

しかしながら、これらの高ダイナミックレンジ撮像システムおよび方法は、（例えば、複数の画像を捕捉するための）長い露出時間または複雑なハードウェア設定（例えば、複数のカメラ）を必要とし得る。さらに、従来の技術は、複数の画像を異なる時間で捕捉することを含み得る。このような場合、変化の激しいシーンを捕捉する際には、非同期画像取得が課題となり得る。

【発明の概要】

【0006】

本開示は、共通の光路および単一の画像センサを含み得る光学システムを用いたマルチビュー範囲の撮像に関する。光学システムは、一次光学素子と、単一の画像センサ上の２つの異なる光学的感受性領域に入射するように共通シーンからの入射光を分割するように構成された１つ以上の反射リレー表面と、を含み得る。そのような光学システムは、長い露出時間または複雑なハードウェアを必要とせずに、高ダイナミックレンジ、ハイパースペクトルセンシング、または他の同期画像捕捉動作を提供することができる。

【0007】

第１の態様では、光学システムが提供される。光学システムは、シーンからの入射光を受容するように構成された少なくとも１つの一次光学素子を含む。光学システムはまた、少なくとも１つの一次光学素子に光学的に結合された複数のリレーミラーを含む。光学システムはまた、複数のリレーミラーに光学的に結合されたレンズを含む。光学システムはまた、レンズから集束光を受容するように構成された画像センサを含む。画像センサは、第１の感光領域と、第２の感光領域と、を含む。少なくとも１つの一次光学素子と、複数のリレーミラーと、レンズと、の組み合わせは、第１の集束光部分および第２の集束光部分を形成するように前記入射光と相互作用する。第１の集束光部分は、第１の感光領域上にシーンの第１の画像部分を形成する。第２の集束光部分は、第２の感光領域上にシーンの第２の画像部分を形成する。第１および第２の感光領域は重なり合わない。

【0008】

第２の態様では、光学システムが提供される。光学システムは、レンズ本体を含み、レンズ本体は、レンズ本体の遠位端に開口部を含む。開口部は、シーンから光を受容するように構成されている。光学系はまた、レンズ本体内に一次光学素子を含む。光学システムは、一次光学素子に光学的に結合された複数のリレーミラーをさらに含む。一次光学素子は、シーンからの光を複数のリレーミラーに向かって反射するように構成される。複数のリレーミラーは、シーンからの光からリレー光のそれぞれの部分を形成するように構成される。光学システムは、複数のリレーミラーに光学的に結合されたレンズと、第１の感光領域および第２の感光領域を有する画像センサと、をなおもさらに含む。レンズは、第１の集束光部分および第２の集束光部分を形成するようにリレー光のそれぞれの部分と相互作用する。第１の集束光部分は、第１の感光領域上にシーンの第１の画像部分を形成し、第２の集束光部分は、第２の感光領域上にシーンの第２の画像部分を形成する。第１および第２の感光領域は重なり合わない。光学システムはさらに、メモリと、少なくとも１つのプロセッサと、を有する、コントローラを含む。コントローラは、動作を行うようにメモリに格納された命令を実行する。動作は、第１の感光領域において、第１の集束光部分を受容することと、受容した第１の集束光部分に基づいて、第１の画像部分を決定することとを含む。動作はまた、第２の感光領域において、第２の集束光部分を受容することを含む。動作は、受容した第２の集束光部分に基づいて、第２の画像部分を決定することをなおもさらに含む。動作はさらに、第１の画像部分および第２の画像部分に基づいて、少なくとも１つの高ダイナミックレンジ画像を決定することを含む。

【0009】

他の態様、実施形態、および実装形態は、当業者には、以下の詳細な説明を添付の図面を適宜参照して読み取ることにより明らかになるであろう。

【図面の簡単な説明】

【0010】

【図1】は、例示的な実施形態による光学システムを示す。

【図2A】は、例示的な実施形態による光学システムを示す。

【図2B】は、例示的な実施形態による光学システムを示す。

【図3】は、例示的な実施形態による合成画像を示す。

【発明を実施するための形態】

【0011】

例示的な方法、デバイス、およびシステムが本明細書において説明される。「例（ｅｘａｍｐｌｅ）」および「例示的（ｅｘｅｍｐｌａｒｙ）」という語は、本明細書においては、「例、事例、または例示としての役割を果たす（ｓｅｒｖｉｎｇ ａｓ ａｎ ｅｘａｍｐｌｅ，ｉｎｓｔａｎｃｅ，ｏｒ ｉｌｌｕｓｔｒａｔｉｏｎ）」ことを意味するために使用されることを理解されたい。本明細書において「例」または「例示的」であるとして説明される任意の実施形態または特徴は、他の実施形態または特徴よりも好ましい、または有利であると必ずしも解釈されるべきではない。本明細書において提示される主題の範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。

【0012】

このように、本明細書において説明される例示的な実施形態は、限定を意味するものではない。本明細書において概略説明され、図に例示される本開示の態様は、多種多様な異なる構成で配置する、置き換える、組み合わせる、分離する、および設計することができ、これらの構成の全てが本明細書において想到される。

【0013】

さらに、文脈が異なることを示唆していない限り、これらの図の各図に示されている特徴は、互いに組み合わせて使用することができる。このように、図は一般に、例示される全ての特徴が実施形態ごとに必要である訳ではないという理解の下に、１つ以上の概略実施形態の構成態様として考えられるべきである。

【0014】

Ｉ．概要
画像捕捉システムのダイナミックレンジを増加させるために、同じシーンの２つの画像（例えば、複数の視像）を作成するが、画像センサの２つの異なる部分上で入射光の異なる光強度または他の異なる特性を有する光学デバイスを提供することができる。光学デバイスは、例えば、９９％反射表面と、１％反射表面と、を含む、内部ビームスプリッタ（例えば、全内部反射ビームスプリッタ）であり得る。これらの２つの表面からの反射により、同じ画像センサに入射した同じシーンの２つの別々の画像を作成することができ、一方の画像は、他方の画像の光強度の１％の光強度を有する。いくつかの実施形態では、画像センサの異なる領域間の光のにじみを防止するデバイス（例えば、光バッフル）が使用され得る。

【0015】

本開示は、同じシーンの複数の視像を提供する。視像は、それぞれ同じ画像センサによって実質的に同時に捕捉され得るが、該画像センサは、（より高品質の画像センサと比較して）比較的低いダイナミックレンジを有し得る。光学スプリッタおよび／または他のタイプの反射光学素子を利用することにより、同じシーンの複数の視像は、同じ画像センサに投影され得る。

【0016】

いくつかの実施形態では、シーンの各異なる視像は、異なるフィルタ（例えば、減光、偏光、色など）と相互作用することができる。そのようなシステムでは、所望の視差を、色、偏光などの間に有益に与え得る。

【0017】

このような画像捕捉システムの様々な用途が想到されるが、具体的な用途としては、自律型および／または半自律型の車両で利用される撮像システムが含まれ得る。つまり、運転する状況においては、車両は高ダイナミックレンジの照明状態（明るい太陽と比較的薄暗い交通信号、または暗い夜と対向車の明るいヘッドライト）に直面することがある。したがって、本明細書で説明する単一光学部品のマルチビュー光学システムは、車両に組み込むことができ（例えば、車両の外または内面に結合される）、車両の環境における物体、危険物、および／または他の対象物をより良くおよび／またはより信頼性高く識別するように操作可能である。

【0018】

ＩＩ．例示的な光学システム
図１は例示的な実施形態による光学システム１００を示す。光学システム１００は、一次光学素子１１０を含む。一次光学素子１１０は、シーンからの入射光１０１を受容するように構成される。

【0019】

例示的な実施形態では、光学システム１００は車両を含み得る。そのような状況において、光学システム１００の少なくともいくつかの他の要素は、車両上または車両内に配置することができ、該車両には半自律型または完全自律型の車両が含まれ得る。例えば、光学システム１００のいくつかの要素は、車両のルーフ、サイドミラー、前面、側面、背面、またはいずれかの外装部分に固定的にまたは取り外し可能に取り付けることができる。追加的にまたは代替的に、光学システム１００のいくつかの要素は、車両の内部表面または一部に結合され得る。例示的な実施形態では、光学システム１００のいくつかの要素は、車両の室内キャビンに、完全にまたは部分的に取り付けられ得、車両の走行方向に関して、前方を向く視野を有するように配置され得る。他の取り付け位置および／または視野配向が想到される。

【0020】

光学システム１００はまた、一次光学素子１１０に光学的に結合される複数のリレーミラー１２０を含む。光学システム１００は、複数のリレーミラー１２０に光学的に結合されたレンズ１３０をさらに含む。なおもさらに、光学システム１００は、レンズ１３０から集束光を受容するように構成された画像センサ１４０を含む。

【0021】

いくつかの実施形態では、一次光学素子１１０は、入射光１０１を所望の方法で（例えば、複数のリレーミラー１２０に向かって）反射することができる反射表面（例えば、ミラーなど）を含み得る。例示的な実施形態では、一次光学素子１１０は、レンズ管またはレンズ本体内に、レンズ管の内壁に沿って環状の配列で配置され得る。このような状況において、一次光学素子１１０の反射表面は、入射光１０１を複数のリレーミラー１２０に向かって反射するように、角度付けられ得る。しかしながら、一次光学素子１１０の他の配置または設置が可能であり、想到される。さらに、本開示のいくつかの実施形態は、単一の一次光学素子を含むことができるが、他の実施形態は、複数の一次光学素子を含み得る。一次光学素子１１０は、１つ以上の反射表面を含み得るとして本明細書に記載されているが、一次光学素子１１０は、入射光を複数のリレーミラー１２０に方向付けるように構成された別のタイプの光学素子であり得ることも理解されるであろう。このように、一次光学素子１１０は、他の可能性として、１つ以上の光ファイバ、プリズム、導波路、レンズなどを含み得る。

【0022】

いくつかの例では、一次光学素子１１０および複数のリレーミラー１２０は、共通の光軸の周りに配置され得る。そのような状況においては、一次光学素子１１０は、複数のリレーミラー１２０に向かって光を反射するように構成された傾斜した環状のミラー表面を含み得る。

【0023】

複数のリレーミラー１２０は、それぞれの反射表面を含むことができ、これはリレー光（例えば、第１のリレー光１０３および第２のリレー光１０４）のそれぞれの部分をレンズ１３０に方向付けるように構成され得る。

【0024】

いくつかの実施形態では、複数のリレーミラー１２０のそれぞれの反射表面と、一次光学素子１１０とは、金属コーティングまたは高反射（ＨＲ）誘電体コーティング（例えば、高および低屈折率の材料の交互の周期的な積層）で形成され得る。いくつかの状況においては、反射防止（ＡＲ）コーティングは、本開示に記載されたそれぞれの反射表面および／または他の光学素子に適用され得る。

【0025】

画像センサ１４０は、第１の感光領域１４２と、第２の感光領域１４４と、を含む。画像センサ１４０のそれぞれの感光領域は、複数の感光素子（例えば、画素）を含み得る。このような状況では、複数の画素のうちの少なくとも１つの画素は、相補的金属酸化膜半導体（ＣＭＯＳ）センサ、電荷結合素子（ＣＣＤ）センサ、シリコン光電子増倍管（ＳｉＰＭ）、単一光子アバランシェ検出器（ＳＰＡＤ）、またはアバランシェ光伝導体を含み得る。他のタイプの感光素子、またはより一般的には電磁スペクトル感受素子（例えば、マイクロボロメータ）が、本開示に関連して可能であり、想到される。

【0026】

第１の感光領域１４２は、第１の複数の画素を包含し、第２の感光領域１４４は、第２の複数の画素を包含し得る。いくつかの実施形態では、第３の複数の画素を、第１の複数の画素と第２の複数の画素との間に配置し得る。すなわち、第３の複数の画素は、第１の感光領域１４２と第２の感光領域１４４との間の介在領域にある、画像センサ１４０の画素を含み得る。

【0027】

いくつかの実施形態では、画像センサ１４０は、撮像されるシーンと比較して、比較的低いダイナミックレンジの画像センサを含み得る。このような状況において、シーンは、複数のオクターブにわたる広いダイナミックレンジを含み得、さらには不連続的であり得る。例えば、シーンは、シーンのある領域では５～１０００ルクス、シーンの他の領域では５０００～６０００ルクスの範囲であり得る。例として、シーンの明るい部分は、明るい日中の空に対応し得る。このような状況において、シーンの相対的な薄暗い部分は、影に覆われた地面または他の暗い物体に対応し得る。他の光レベルが本明細書において可能であり、想到されることが理解されるであろう。

【0028】

例示的な実施形態では、一次光学素子１１０、複数のリレーミラー１２０、およびレンズ１３０の組み合わせは、第１の集束光部分１０５および第２の集束光部分１０６を形成するように、入射光１０１と相互作用する。第１の集束光部分１０５は、第１の感光領域１４２上に、シーンの第１の画像部分を形成する。第２の集束光部分１０６は、第２の感光領域１４４上に、シーンの第２の画像部分を形成する。第１の感光領域１４２と、第２の感光領域１４４とは、重なり合っていない。

【0029】

いくつかの実施形態では、複数のリレーミラー１２０は、第１の反射表面と、第２の反射表面と、を含む。そのような状況において、第１の感光領域１４２は第１の反射表面を介して、第１の集束光部分１０５を受容し、第２の感光領域１４４は、第２の反射表面を介して、第２の集束光部分１０６を受容する。場合によっては、第１の反射表面は、第２の反射表面よりも高い反射率を有することができ、逆もまた同様である。

【0030】

いくつかの例では、光学システム１００は、第１の感光領域１４２と第２の感光領域１４４との間に、光バッフル１６０を含み得る。光バッフル１６０は、例えば、光を吸収または遮断するように構成された不透明材料を含み得る。光バッフル１６０は、第１の感光領域１４２と第２の感光領域１４４との間に配置され得る。そのような状況において、光バッフル１６０は、それぞれの感光領域の間に、壁部分を含み得る。しかしながら、光バッフル１６０は、他の形状および形態を採り得る。

【0031】

様々な実施形態では、第１の集束光部分１０５は、第１の光強度を有し、第２の集束光部分１０６は、第２の光強度を有する。このような状況において、第１の光強度は、第２の光強度の少なくとも１０倍大きくあり得る。例えば、第２の光強度は、第１の光強度の約１パーセントであり得る。他の光強度の違い－より小さい光強度とより大きい光強度の両方－も本開示では可能であり、想到される。

【0032】

光学システム１００が車両に結合されている状況では、画像センサ１４０は、車両の環境の少なくとも一部分の画像を捕捉するように動作可能であり得る。

【0033】

光学システム１００は、コントローラ１５０も含み得る。コントローラ１５０は、少なくとも１つのプロセッサ１５２と、メモリ１５４と、を含み得る。コントローラ１５０。コントローラ１５０は、車両上に配設されたコンピュータ、外部コンピュータ、またはスマートフォン、タブレットデバイス、パーソナルコンピュータ、ウェアラブルデバイスなどのモバイルコンピューティングプラットフォームを含み得る。追加的に、または代替的に、コントローラ１５０は、クラウドサーバなどの遠隔に位置するコンピュータシステムを含み得るか、またはそれに接続され得る。例示的な実施形態では、コントローラ１５０は、本明細書に記載された様々なブロックまたはステップとして、動作の一部または全てを実行するように構成され得る。

【0034】

一例として、少なくとも１つのプロセッサ１５２は、一定の動作を実施するために、メモリ１５４に格納された命令を実行することができる。動作は、本明細書に記載される機能、ブロック、またはステップのいくつか、または全てを含み得る。いくつかの実施形態では、異なるコンピューティングデバイスまたはコントローラが、本明細書に記載される様々な機能、ブロック、またはステップを様々な組み合わせで実施することができる。

【0035】

動作は、第１の感光領域１４２において第１の集束光部分１０５を受容することを含み得る。言い換えれば、シーンからの入射光１０１の一部が、複数のリレーミラー１２０のうちの少なくとも１つのリレーミラーに向かう反射光１０２として、一次光学素子１１０によって反射され得る。少なくとも１つのリレーミラーは、第１のリレー光１０３を、レンズ１３０に向かって反射し得る。第１のリレー光１０３とレンズ１３０との間の相互作用により、第１の集束光部分１０５を形成し得る。第１の集束光部分１０５は、第１の感光領域１４２に向かって方向付けられ、および／または入射し得る。第１の感光領域１４２において、第１の集束光部分１０５を受容することは、物理的（機械的）シャッタを作動させること、および／または第１の感光領域１４２に対応する電子シャッタを始動させることを含み得る。

【0036】

動作は、受容した第１の集束光部分１０５に基づいて、第１の画像部分を決定することも含み得る。別の言い方をすれば、画像センサ１４０およびコントローラ１５０は、第１の感光領域１４２において受容した光に基づいて、第１の画像部分を形成し得る。

【0037】

動作はさらに、第２の感光領域において、第２の集束光部分１０６を受容することを含むことができる。言い換えれば、シーンからの入射光１０１の一部が、複数のリレーミラー１２０のうちの少なくとも１つのリレーミラーに向かう反射光１０２として、一次光学素子１１０によって反射され得る。少なくとも１つのリレーミラーは、第２のリレー光１０４を、レンズ１３０に向かって反射し得る。第２のリレー光１０４とレンズ１３０との間の相互作用により、第２の集束光部分１０６を形成し得る。第２の集束光部分１０６は、第２の感光領域１４４に向かって方向付けられ、および／または入射し得る。第２の感光領域１４４において、第２の集束光部分１０６を受容することは、物理的（機械的）シャッタを作動させること、および／または第２の感光領域１４４に対応する電子シャッタを始動させることを含み得る。

【0038】

動作は、受容した第２の集束光部分１０６に基づいて、第２の画像部分を決定することをなおもさらに含み得る。言い換えれば、画像センサ１４０およびコントローラ１５０は、第２の感光領域１４４において受容した光に基づいて、第２の画像部分を形成し得る。

【0039】

例示的な実施形態では、画像センサ１４０は、第１の画像部分および第２の画像部分を、実質的に同時に取得するように構成され得る。すなわち、第１の画像部分は、第２の画像部分と同じ期間にわたって、取得され得る。代替的に、第１の画像部分は、第２の画像部分が取得される期間と部分的に重複する期間中に、取得され得る。言い換えれば、第１の画像部分および第２の画像部分は、それぞれの重複しない期間中に取得され得るが、取得される必要はない。

【0040】

例示的な実施形態では、第１の画像部分および第２の画像部分は、実質的に共通のシーンに関する情報を含み、画像データファイルとして格納され得る。画像データファイルは、ＲＡＷ、ＪＰＥＧ、ＴＩＦ、画像交換ジフォーマット（ＧＩＦ）、ＭＰＥＧ、または別のタイプの画像ファイル形式などの画像ファイル形式で、配置し得る。

【0041】

動作は、第１の画像部分および第２の画像部分に基づいて、少なくとも１つの高ダイナミックレンジ画像を決定することも含んでいる。

【0042】

第１の画像部分、第２の画像部分、および／または少なくとも１つの高ダイナミックレンジ画像は、メモリ１５４に格納され得る。追加的にまたは代替的に、第１の画像部分、第２の画像部分、および／または少なくとも１つの高ダイナミックレンジ画像は、他の場所に送信および／または記憶され得る。

【0043】

いくつかの実施形態では、光学システム１００は、追加的にまたは代替的に、少なくとも１つのフィルタを含み得る。少なくとも１つのフィルタは、減光フィルタ、偏光フィルタ、スペクトルフィルタ、バンドパスフィルタ、ローパスフィルタ、またはハイパスフィルタのうちの少なくとも１つを含み得る。光と相互作用するように構成される他のタイプの透過または反射光学フィルタ、または光学素子も、本開示において想到される。

【0044】

そのような状況では、少なくとも１つのフィルタを、第１の集束光部分または第２の集束光部分のうちの少なくとも１つをフィルタリングするように、構成し得る。

【0045】

さらに、少なくとも１つのフィルタを、画像センサ、レンズ、少なくとも１つの一次光学素子、または複数のリレーミラーのうちの少なくとも１つに光学的に結合することができる。

【0046】

図２Ａおよび２Ｂは、例示的な実施形態による光学システム２００を示す。まず図２Ａを参照すると、光学システム２００は、光学システム２００の少なくともいくつかの要素を保護、および／または収容するように構成された本体を含み得る。例えば、本体の一部分は、レンズ本体２１２を含み得る。

【0047】

レンズ本体２１２の一部分は、開口部２１３を含み得る。開口部２１３は、レンズ本体２１２の遠位端に存在し得る。開口部２１３は、シーン２８０から光を受容するように構成、配置、および／または成形し得る。シーン２８０は、光学システム２００の外部の環境の一部分であり得る。すなわち、シーン２８０には、光学システム２００の視野を含み得る。

【0048】

光学システム２００はまた、レンズ本体２１２内に、一次光学素子２１０を含み得る。いくつかの実施形態では、一次光学素子２１０は、反射表面（例えば、表面２１０ａおよび表面２１０ｂ）を含み得る。

【0049】

光学システム２００は、レンズ本体２１２内に、複数のリレーミラー２２０と、少なくとも１つのレンズ２３０と、をさらに含み得る。複数のリレーミラー２２０は、一次光学素子２１０と、少なくとも１つのレンズ２３０とに、光学的に結合される。例えば、一次光学素子２１０の表面２１０ａから反射された入射光は、複数のリレーミラー２２０の第１のリレーミラー表面２２０ａに向かって方向付けられ－、相互作用－し得る。同様に、一次光学素子２１０の表面２１０ｂから反射された入射光は、複数のリレーミラー２２０のうちの第２のリレーミラー２２０ｂに向かって方向付けられ得る。図２Ａおよび２Ｂには、２「対」の一次光学素子表面およびリレーミラーのみが示されているが、本開示の関連の中で、一次光学素子表面およびリレーミラーの「対」を追加することも可能であり、想到されることが理解されるであろう。

【0050】

いくつかの実施形態では、表面２２０ａおよび２２０ｂのそれぞれの反射特性は異なっていてもよい。例えば、表面２２０ａは、ほぼ１（例えば、０．９８）の正規化反射率を有し、表面２２０ｂは、０．０２の正規化反射率を有し得る。表面２２０ａおよび２２０ｂは、１と０との間で変化する正規化反射率値を有し得ることが理解されるであろう。さらに、表面２２０ａおよび２２０ｂのそれぞれの反射率値は、波長または偏光などの入射光の特性に基づいて、変化し得る。例えば、表面２２０ａまたは２２０ｂのうちの少なくとも１つは、他の光の波長または波長帯と比較して、異なる反射率値で、光の所望の波長または波長帯を反射するように、構成し得る。表面２２０ａおよび２２０ｂの異なる反射率値の結果として、異なる反射光強度が、画像センサ２４０のそれぞれの部分に提供され得る。

【0051】

例えば、一次光学素子２１０、および／または複数のリレーミラー２２０は、光学システム２００の光軸２７０に対して、連続的または不連続的な環状の配列で配置され得る。例えば、一次光学素子２１０は、入射光を光軸および複数のリレーミラー２２０に向かって反射するように、内側に傾斜した連続的に湾曲するミラーを含み得る。同様に、複数のリレーミラー２２０は、レンズ２３０に向かって光を反射するように、光軸２７０から離れるよう傾斜した連続的な表面または表面の不連続的な組を含み得る。

【0052】

光学システム２００は、画像センサ２４０を含む。画像センサ２４０は、第１の感光領域２４０ａと、第２の感光領域２４０ｂと、を含み得る。例示的な実施形態では、第１の感光領域２４０ａと、第２の感光領域２４０ｂとは、空間的に重ならない。

【0053】

画像センサ２４０は、ＣＭＯＳセンサ、ＣＣＤセンサ、シリコン光電子増倍管（ＳｉＰＭ）、単一光子アバランシェ検出器（ＳＰＡＤ）、またはアバランシェ光伝導体のうちの少なくとも１つを含み得る。さらに、画像センサ２４０は、感光デバイスまたは画素の配列を含み得る。本明細書の他の箇所に記載されているように、画像センサ２４０は、実質的に同じ期間にわたって、第１の感光領域２４０ａと、第２の感光領域２４０ｂとから画像を捕捉するように構成され得る。例示的な実施形態では、画像捕捉期間中に、第１の感光領域２４０ａは、第２の感光領域２４０ｂと比較して、異なるゲイン設定（例えば、ＩＳＯまたは感度）を使用して操作され得る。第１の感光領域２４０ａと第２の感光領域２４０ｂとの間の露出を調整する他の方法は、本明細書において想到される。

【0054】

例示的な実施形態では、複数のリレーミラー２２０を、一次光学素子２１０に光学的に結合することができる。さらに、一次光学素子２１０は、シーン２８０からの光を、複数のリレーミラー２２０に向かって反射するように構成され得る。そのような状況において、複数のリレーミラー２２０は、シーン２８０からの光から、リレー光のそれぞれの部分を形成するように構成される。リレー光は、レンズ２３０に向かって方向付けられ得る。いくつかの実施形態では、レンズ２３０は、画像センサ２４０上にリレー光を集束させ、および／またはリレー光を画像センサ２４０に方向付けるように構成され得る。

【0055】

いくつかの実施形態では、光学システム２００は、光バッフル２６０を含み得る。光バッフル２６０は、１つ以上の光吸収性の「壁」または部分を含み得る。光バッフル２６０は、第１の感光領域２４０ａと第２の感光領域２４０ｂとの間に設置され得る。光バッフル２６０は、画像センサ２４０のそれぞれの感光領域の間、または光学システム２００の部分間で、迷光が「漏れる」のを防止するように構成され得る。追加的にまたは代替的に、光学システム２００は、迷光を減少させ、明視野を修正または形成し、および／またはゴースト反射を減少させるように構成された他の要素を含み得る。そのような他の要素には、バッフル、絞り、ミラー、レンズ、コーティング、光導体、光ファイバ、または他の光学材料がさらに含まれ得る。

【0056】

いくつかの実施形態では、光学システム２００は、フィルタ２７２を含み得る。図２Ａおよび２Ｂは、レンズ本体２１２の遠位端の近くにあるものとしてフィルタ２７２を示しているが、本明細書ではフィルタ２７２は他の位置でも可能であり、想到される。例えば、フィルタ２７２は、一次光学素子２１０の１つ以上の表面、および／または複数のリレーミラー２２０の１つ以上の表面に結合され得る。いくつかの実施形態では、フィルタ２７２は、第１の感光領域２４０ａにおいて受容した光とは相互作用するが、第２の感光領域２４０ｂにおいて受容した光とは相互作用しないか、またはその逆であっても良い。

【0057】

図２Ｂは例示的な実施形態による光学システム２００を示す。図２Ｂは、図２Ａに類似しているが、光学システム２００における特定の光路に近似する例示的な光線も図示している。

【0058】

開口部２１３は、シーン２８０からの入射光を受容するように構成され得る。入射光は、開口部２１３の全領域を通ってレンズ本体２１２に入射しても良いが、明確にするために、ここでは入射光の２つの部分－第１の入射光部分２０１ａおよび第２の入射光部分２０１ｂ－のみが図示されている。他の入射光部分が光学システム２００によって受容され得、本開示では、他の全てのそのような部分が想到されることが理解されるであろう。

【0059】

例示的な実施形態では、第１の入射光部分２０１ａは、一次光学素子２１０と相互作用し得る。例えば、第１の入射光部分２０１ａは、表面２１０ａで反射され、反射光２０２ａとして複数のリレーミラー２２０に向かって方向付けられ得る。すなわち、反射光２０２ａは、第１のリレーミラー表面２２０ａと相互作用し得る。

【0060】

そのような状況において、第１のリレーミラー表面２２０ａは、リレー光部分２０３ａとして、光をレンズ２３０に向かって反射し得る。レンズ２３０は、リレー光部分２０３ａを集束させるように、リレー光部分２０３ａと相互作用し、第１の集束光部分２０４ａを提供し得る。第１の集束光部分２０４ａは、画像センサ２４０の第１の感光領域２４０ａに向かって方向付けられ得る。

【0061】

同様に、第２の入射光部分２０１ｂは、一次光学素子２１０と相互作用することができる。例えば、第２の入射光部分２０１ｂは、表面２１０ｂで反射され、反射光２０２ｂとして複数のリレーミラー２２０に向かって方向付けられ得る。反射光２０２ｂは、第２のリレーミラー面２２０ｂと相互作用し得る。

【0062】

そのような状況では、第２のリレーミラー面２２０ｂは、リレー光部分２０３ｂとして、光をレンズ２３０に向かってを反射し得る。レンズ２３０は、リレー光部分２０３ｂを集束させるように、リレー光部分２０３ｂと相互作用し、第２の集束光部分２０４ｂを形成し得る。第２の集束光部分２０４ｂは、画像センサ２４０の第２の感光領域２４０ｂに向かって方向付けられ得る。

【0063】

第１の集束光部分２０４ａは、第１の感光領域２４０ａ上に、シーン２８０の第１の画像部分を形成することができ、第２の集束光部分２０４ｂは、第２の感光領域２４０ｂ上に、シーン２８０の第２の画像部分を形成することができる。いくつかの実施形態では、第１の集束光部分２０４ａは第１の光強度を有することができ、第２の集束光部分２０４ｂは第２の光強度を有する。そのような状況では、第１の光強度は、第２の光強度よりも少なくとも１０倍大きい。それに応じて、第１の画像部分は、第２の画像部分と比較して、シーン２８０のはるかに明るい画像を表し得る。

【0064】

いくつかの実施形態では、光学システム２００は、コントローラ（図２Ａまたは２Ｂには図示せず）を含み得る。コントローラは、メモリと、少なくとも１つのプロセッサと、を含み得る。コントローラは、動作を行うようにメモリに格納された命令を実行する。動作は、第１の感光領域２４０ａにおいて、第１の集束光部分２０４ａを受容することを含み得る。動作はまた、受容した第１の集束光部分２０４ａに基づいて、第１の画像部分を決定することも含み得る。動作は、第２の感光領域２４０ｂにおいて、第２の集束光部分２０４ｂを受容することをなおもさらに含み得る。動作はまた、受容した第２の集束光部分２０４ｂに基づいて、第２の画像部分を決定することも含み得る。

【0065】

例示的な実施形態では、コントローラは、第１の画像部分および第２の画像部分に基づいて、少なくとも１つの高ダイナミックレンジ画像を決定するように動作可能であり得る。例えば、第１の画像部分および第２の画像部分に基づいて、少なくとも１つの高ダイナミックレンジ画像を決定することは、非線形トーンマッピングアルゴリズム、非線形放射輝度マッピングアルゴリズム、またはカラーアピアランスモデルのうちの少なくとも１つの適用を含み得る。高ダイナミックレンジ画像を提供するように、第１の画像部分と第２の画像部分を組み合わせる他の方法も可能であることが理解されるであろう。例えば、高ダイナミックレンジ画像は、第１または第２の画像部分のいずれかと比較して、露出不足または露出過度の領域が少ないことがある。高ダイナミックレンジ画像は、画像の特定の領域において、または特定の動作条件において、第１の画像部分または第２の画像部分のいずれかよりもさらなる詳細を提供し得る。例えば、高ダイナミックレンジ画像は、非常に明るい（例えば、十分な日光、太陽を覗き込む、積極的に照明されたシーンなど）または非常に暗い（夜）撮像状況において、より高品質な物体識別情報を提供し得る。明るいヘッドライトのある夜のシーン、または比較的薄暗い交通信号のある明るい昼間のシーンなど、他の高ダイナミックレンジのシーンも想到される。すなわち、第１の画像部分および第２の画像部分は、より信頼性の高い、または曖昧さの少ない物体識別情報を提供するように、組み合わされ得るか、または別様に利用され得る。

【0066】

「第１の画像部分」および「第２の画像部分」－およびそれらの組み合わせ－を本明細書に記載しているが、他の画像数および／または画像部分も可能であることが理解されるであろう。例えば、対応する複数の画像部分を提供するように、画像センサ２４０上の複数の感光領域を利用し得る。複数の画像部分のうちの少なくとも一部が、高ダイナミックレンジ画像を形成するように組み合わされ得る。

【0067】

さらに、第１の画像部分および第２の画像部分の同時画像捕捉が想到されるが、他の画像捕捉シーケンスが可能である。例えば、第１および第２の画像部分は、異なる照明または画像捕捉（例えば、露出）条件下で、異なる時間で捕捉され得る。また、バースト撮像モードは、本開示の範囲内で想到される。すなわち、複数の画像が、画像バーストで捕捉され得る（例えば、短時間で連続して捕捉された画像）。複数の画像のうちの少なくとも一部が組み合わされて、本明細書で説明する高ダイナミックレンジ画像を提供し得る。追加的にまたは代替的に、本明細書で説明されるシステムおよび動作により、複数の高ダイナミックレンジ画像－、例えば、高ダイナミックレンジ画像集合またはビデオストリームを提供し得る。

【0068】

図３は、例示的な実施形態による合成画像３００を示す。合成画像３００は、第１の画像部分３１０と、第２の画像部分３２０と、を含む。第１の画像部分３１０は、屋外シーンの一般的に露出過度の画像を含み得る。第２の画像部分３２０は、屋外シーンの一般的に露出不足の画像を含み得る。言い換えれば、合成画像３００は、第１の画像部分３１０および第２の画像部分３２０を、合成画像３００内の異なる非重複位置にあるものとして含み得る。代替的にまたは追加的に、合成画像３００は、第１の画像部分３１０および第２の画像部分３２０を、少なくとも部分的に重なり合うものとして含み得る。

【0069】

本明細書で説明されるように、第１の画像部分３１０および第２の画像部分３２０からの情報は、高ダイナミックレンジ画像を提供するように、組み合わされ得るか、または別の方法で操作され得る。例えば、この状況では、高ダイナミックレンジ画像により、照明された交通信号の正確な色情報、第１画像部分３１０の露出過度領域のより細かな詳細、および第２の画像部分３２０の露出不足領域のより細かな詳細が提供され得る。同じシーンの複数の画像を組み合わせるか、または別の方法で利用することにより、高ダイナミックレンジ情報を得る他の方法も、本明細書で想到される。

【0070】

図に示されている特定の配置は、限定であるとみなされるべきではない。他の実施形態は、所定の図に示される各要素をより多く、またはより少なく含むことができることを理解されたい。さらに、図示される要素のうちのいくつかは、組み合わせることができる、または省略することができる。なおもさらには、例示的な実施形態は、図に示されていない要素を含むことができる。

【0071】

情報の処理を表すステップまたはブロックは、本明細書において説明される方法または技術の特定の論理機能を実行するように構成することができる回路に対応することができる。代替的にまたは追加的に、情報の処理を表すステップまたはブロックは、モジュール、セグメント、物理コンピュータ（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは特定用途向け集積回路（ＡＳＩＣ））、またはプログラムコードの一部（関連データを含む）に対応することができる。プログラムコードは、特定の論理機能または処理を方法または技術において実行するプロセッサにより実行可能な１つ以上の命令を含むことができる。プログラムコードおよび／または関連データは、ディスク、ハードドライブ、または他の記憶媒体を含む、ストレージデバイスのような任意のタイプのコンピュータ可読媒体に格納することができる。

【0072】

コンピュータ可読媒体は、レジスタメモリ、プロセッサキャッシュ、およびランダムアクセスメモリ（ＲＡＭ）のような、データを短期間にわたって格納するコンピュータ可読媒体のような非一時的なコンピュータ可読媒体を含むこともできる。コンピュータ可読媒体は、プログラムコードおよび／またはデータを長期間にわたって格納する非一時的なコンピュータ可読媒体も含むこともできる。このように、コンピュータ可読媒体は、例えばリードオンリーメモリ（ＲＯＭ）、光ディスクまたは磁気ディスク、コンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）のような補助ストレージまたは長期永続的ストレージを含むことができる。コンピュータ可読媒体は、任意の他の揮発性または不揮発性ストレージシステムとすることもできる。コンピュータ可読媒体は、例えばコンピュータ可読記憶媒体、または有形のストレージデバイスであると考えることができる。

【0073】

様々な例および実施形態が開示されてきたが、他の例および実施形態が当業者には明らかであろう。開示された様々な例および実施形態は、例証の目的のためであり、限定することを意図されておらず、その真の範囲は、以下の特許請求の範囲により示される。

【図1】

【図2A】

【図2B】

【図3】