IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ウェイモ エルエルシーの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-10-07
(54)【発明の名称】焦点面近くの窓遮蔽物イメージャ
(51)【国際特許分類】
   G01S 7/497 20060101AFI20220930BHJP
【FI】
G01S7/497
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022505301
(86)(22)【出願日】2020-07-20
(85)【翻訳文提出日】2022-03-22
(86)【国際出願番号】 US2020042729
(87)【国際公開番号】W WO2021025850
(87)【国際公開日】2021-02-11
(31)【優先権主張番号】16/532,688
(32)【優先日】2019-08-06
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】317015065
【氏名又は名称】ウェイモ エルエルシー
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100126480
【弁理士】
【氏名又は名称】佐藤 睦
(72)【発明者】
【氏名】シェパード,ラルフ
(72)【発明者】
【氏名】ドロズ,ピエール-イヴ
(72)【発明者】
【氏名】ラスト,マシュー
(72)【発明者】
【氏名】レメシュ,ブライス
【テーマコード(参考)】
5J084
【Fターム(参考)】
5J084AA05
5J084AC02
5J084AD01
5J084BA04
5J084BA05
5J084BA20
5J084BA36
5J084BA40
5J084BA50
5J084BB02
5J084BB07
5J084BB11
5J084BB21
5J084BB28
5J084CA03
5J084CA65
5J084CA67
5J084EA20
(57)【要約】
本開示は、光学システムおよびそれらの動作の方法に関する。例示的な光学システムは、光学構成要素と、光信号を放出するように構成された1つ以上の光源と、を含む。光信号は、光学構成要素と相互作用して相互作用光信号を提供する。光学システムはまた、相互作用光信号の少なくとも一部を、検出光信号として検出するように構成された検出器を含む。光学システムは加えて、1つ以上の光源に光信号を放出させることと、検出器から検出光信号を受信することとを含む動作を実施するように構成されたコントローラを含む。動作はまた、検出光信号に基づいて、1つ以上の欠陥が、光学構成要素に関連するものであると決定することを含む。
【選択図】図2
【特許請求の範囲】
【請求項1】
光学システムであって、
光学構成要素と、
光信号を放出するように構成された1つ以上の光源であって、前記光信号が、前記光学構成要素と相互作用して相互作用光信号を提供する、1つ以上の光源と、
前記相互作用光信号の少なくとも一部を、検出光信号として検出するように構成された検出器と、
少なくとも1つのプロセッサおよび少なくとの1つのメモリを備えるコントローラと、を備え、前記少なくとも1つのプロセッサが、前記少なくとの1つのメモリに記憶された命令を実行して動作を実施し、前記動作が、
前記1つ以上の光源に前記光信号を放出させることと、
前記検出器からの検出光信号に基づいて、1つ以上の欠陥が、前記光学構成要素に関連するものであると決定することと、を含む、光学システム。
【請求項2】
前記光学システムが、
光軸と、
焦点面を画定する前記光軸に沿った焦点距離と、
前記焦点面に沿って配置された画像センサと、をさらに備え、前記検出器が、前記焦点面に沿って配置されている、請求項1に記載の光学システム。
【請求項3】
前記画像センサが、複数の光検出器素子を含み、前記検出器が、前記光検出器素子のうちの少なくとも一部を含む、請求項2に記載の光学システム。
【請求項4】
前記検出器が、光検出軸に沿った前記検出光信号を検出するように配置され、前記光検出軸が、前記光軸に対して少なくとも5度、軸外れである、請求項2に記載の光学システム。
【請求項5】
前記1つ以上の光源が、発光ダイオード(LED)、レーザ、LEDのアレイ、またはレーザのアレイを備える、請求項1に記載の光学システム。
【請求項6】
前記光信号が、全内部反射を介して前記光学構成要素内で反射されるような角度で前記光学構成要素内に向けられる、請求項1に記載の光学システム。
【請求項7】
前記1つ以上の光源が、前記光学構成要素の第1の端部に隣接して位置付けられ、前記光信号が、前記第1の端部を介して前記光学構成要素内に結合する、請求項6に記載の光学システム。
【請求項8】
前記検出器が、前記光学構成要素の第2の端部に位置付けられ、前記第2の端部が、前記第1の端部の反対側にある、請求項7に記載の光学システム。
【請求項9】
前記1つ以上の光源が、前記光学構成要素内に少なくとも部分的に埋め込まれている、請求項1に記載の光学システム。
【請求項10】
前記光学構成要素が、外側光学窓を備え、前記外側光学窓が、湾曲した形状を有する、請求項1に記載の光学システム。
【請求項11】
前記検出器が、電荷結合デバイス(CCD)、CCDの一部、カメラの画像センサ、またはカメラの画像センサの一部、のうちの少なくとも1つを備える、請求項1に記載の光学システム。
【請求項12】
前記検出器が、シリコン光電子増倍管(SiPM)、アバランシェフォトダイオード(APD)、単一光子アバランシェ検出器(SPAD)、極低温検出器、フォトダイオード、またはフォトトランジスタを含む、請求項1に記載の光学システム。
【請求項13】
前記検出器の第1の領域に光学的に結合された第1の光学フィルタと、前記検出器の第2の領域に光学的に結合された第2の光学フィルタと、をさらに備え、前記第1の光学フィルタおよび前記第2の光学フィルタが、異なる範囲の波長を選択し、前記第1の光学フィルタによって選択された前記波長範囲が、前記光信号の波長を含み、前記第2の光学フィルタによって選択された前記波長範囲が、前記光信号の前記波長を含まず、前記動作が、
前記検出器の前記第1の領域によって提供された第1の画像部分を、前記検出器の前記第2の領域によって提供された第2の画像部分と比較することと、
前記比較に基づいて、前記1つ以上の欠陥のうちの少なくとも1つの欠陥タイプを決定することと、をさらに含む、請求項1に記載の光学システム。
【請求項14】
前記光信号の波長が、有機蛍光化合物の励起波長に対応し、前記検出器が、前記有機蛍光化合物の発光波長を通過させ、かつ前記有機蛍光化合物の前記励起波長を遮断する光学フィルタを備え、前記検出光信号の少なくとも一部が、前記発光波長を含み、前記動作が、
前記検出光信号に基づいて、1つ以上の有機蛍光化合物が、前記光学構成要素の表面上に存在すると決定することをさらに含む、請求項1に記載の光学システム。
【請求項15】
方法であって、
1つ以上の光源に光信号を放出させることであって、前記光信号が、光学システムの光学構成要素と相互作用して相互作用光信号を提供する、放出させることと、
前記光学システムのハウジング内に配置された検出器によって、前記相互作用光信号の少なくとも一部を検出光信号として検出することと、
前記検出光信号に基づいて、1つ以上の欠陥が、前記光学構成要素に関連するものであると決定することと、を含む、方法。
【請求項16】
1つ以上の欠陥が、前記光学構成要素に関連するものであるという決定に応じて是正措置を講じることをさらに含む、請求項15に記載の方法。
【請求項17】
是正措置を講じることが、
前記検出器または前記光学構成要素のうちの少なくとも1つを、洗浄、修理、再較正、交換、もしくは再調整するか、または使用中止にすることを含む、請求項16に記載の方法。
【請求項18】
前記1つ以上の光源に前記光信号を放出させることが、前記1つ以上の光源に、全内部反射を介して前記光学構成要素内で反射されるような角度で前記光学構成要素に向けて前記光信号を放出させることを含む、請求項15に記載の方法。
【請求項19】
前記1つ以上の欠陥のうちの少なくとも1つの欠陥タイプを決定することをさらに含み、前記欠陥タイプが、引っかき傷、亀裂、汚れ、変形、ゴミ、気泡、不純物、劣化、変色、不完全な透明度、反り、または水滴、のうちの少なくとも1つを含む、請求項15に記載の方法。
【請求項20】
車両であって、
少なくとも1つの光学システムを備え、前記光学システムが、
光学構成要素と、
光信号を放出するように構成された1つ以上の光源であって、前記光信号が、前記光学構成要素と相互作用して相互作用光信号を提供する、1つ以上の光源と、
前記相互作用光信号の少なくとも一部を、検出光信号として検出するように構成された検出器と、
少なくとも1つのプロセッサおよび少なくとも1つのメモリを備えるコントローラと、を備え、前記少なくとも1つのプロセッサが、前記少なくとも1つのメモリに記憶された命令を実行して動作を実施し、前記動作が、
前記1つ以上の光源に前記光信号を放出させることと、
前記検出器から前記検出光信号を受信することと、
前記検出光信号に基づいて、1つ以上の欠陥が、前記光学構成要素に関連するものであると決定することと、含む、車両。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2019年8月6日に出願された米国特許出願第16/532,688号の利益を主張し、その内容は、参照により本明細書に組み込まれる。
【背景技術】
【0002】
光検出と測距(LIDAR)デバイスは、光パルスを環境に放射し、各光パルスのそれぞれの飛行時間を決定することによって、所与の環境内の物体までの距離を推定し得る。各光パルスの飛行時間は、環境内の反射物体までの距離を推定するため、および/または環境内の反射物体を示す三次元点群を作成するために使用することができる。しかしながら、光パルスの光路に沿った光学収差および/または欠陥は、誤った点群および/または距離情報につながる可能性がある。
【発明の概要】
【0003】
例示的な実施形態は、LIDARデバイスまたは別のタイプの光学システム(例えば、カメラ)の光学構成要素上の遮蔽物(例えば、ゴミの存在)またはその中の欠陥(例えば、亀裂、不純物、引っかき傷、ボイド、気泡など)を検出するための方法およびシステムに関する。
【0004】
第1の態様では、光学システムが提供される。光学システムは、光学構成要素および光信号を放出するように構成された1つ以上の光源を含む。光信号は、光学構成要素と相互作用して相互作用光信号を提供する。光学システムはまた、相互作用光信号の少なくとも一部を検出光信号として検出するように構成された検出器を含む。光学システムは加えて、少なくとも1つのプロセッサおよび少なくとも1つのメモリを有する、コントローラを含む。少なくとも1つのプロセッサは、少なくとも1つのメモリ内に記憶された命令を実行して動作を実施する。動作には、1つ以上の光源に光信号を放出させること、および検出器から検出光信号を受信することが含まれる。動作は加えて、検出光信号に基づいて、1つ以上の欠陥が光学構成要素に関連するものであると決定することを含む。
【0005】
第2の態様では、方法が提供される。本方法は、1つ以上の光源に光信号を放出させることを含む。光信号は、光学システムの光学構成要素と相互作用して相互作用光信号を提供する。本方法はまた、光学システムのハウジング内に配置された検出器によって、相互作用光信号の少なくとも一部を検出光信号として検出することを含む。本方法は加えて、検出光信号に基づいて、1つ以上の欠陥が光学構成要素に関連するものであると決定することを含む。
【0006】
他の態様、実施形態、および実装形態は、当業者には、以下の詳細な説明を添付の図面を適宜参照して読み取ることにより明らかになるであろう。
【図面の簡単な説明】
【0007】
図1】例示的な実施形態による、環境と相互作用する光学システムを示す。
図2A】例示的な実施形態による光学システムを示す。
図2B】例示的な実施形態による、図2Aの光学システムの一部を示す。
図2C】例示的な実施形態による、図2Aの光学システムの一部を示す。
図2D】例示的な実施形態による、図2Aの光学システムの一部を示す。
図2E】例示的な実施形態による、図2Aの光学システムの一部を示す。
図3A】例示的な実施形態による光学システムを示す。
図3B】例示的な実施形態による、図3Aの光学システムの一部を示す。
図3C】例示的な実施形態による、図3Aの光学システムの一部を示す。
図4】例示的な実施形態による、光学システムの画像を示す。
図5A】例示的な実施形態による、車両を示す。
図5B】例示的な実施形態による、車両を示す。
図5C】例示的な実施形態による、車両を示す。
図5D】例示的な実施形態による、車両を示す。
図5E】例示的な実施形態による、車両を示す。
図6】例示的な実施形態による、方法を示す。
【発明を実施するための形態】
【0008】
例示的な方法、デバイス、およびシステムが、本明細書に記載されている。「例」および「例示的」という語は、本明細書においては、「例、事例、または例示としての役割を果たす」ことを意味するために使用されることを理解されたい。本明細書において「例」または「例示的」であるとして説明されるいずれの実施形態または特徴も、他の実施形態または特徴よりも好ましい、または有利であると必ずしも解釈されるべきではない。本明細書に提示される主題の範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。
【0009】
したがって、本明細書に記載される例示的な実施形態は、限定的であることを意味するものではない。本明細書において概略説明され、図に示される本開示の態様は、多種多様な異なる構成で配置、置換、組み合わせ、分離、および設計が可能であり、これらの構成のすべてが、本明細書で想定される。
【0010】
さらに、文脈上特段の示唆がある場合を除き、各図に示された特徴を、互いに組み合わせて使用することができる。このように、図は一般に、例示されるすべての特徴が実施形態ごとに必要であるわけではないという理解の下に、1つ以上の全体的な実施形態の構成要素の態様として見られるべきである。
【0011】
I.概要
カメラおよび画像センサは、シーンの画像をキャプチャするために使用されるデバイスである。いくつかのカメラ(フィルムカメラなど)は、化学的にフィルム上の画像をキャプチャする。他のカメラ(デジタルカメラなど)は、(例えば、電荷結合デバイス(CCD)または相補型金属酸化膜半導体(CMOS)センサを使用して)画像データを電気的にキャプチャする。カメラで捕捉した画像を分析して、その内容を判定できる。例えば、プロセッサは、物体の形状、色、サイズなどを含む以前に分類された物体のライブラリに基づいてシーンにおける物体を識別するために機械学習アルゴリズムを実行する場合がある(例えば、このような機械学習アルゴリズムは、ロボット工学、または他の用途のコンピュータビジョンに適用され得る)。
【0012】
カメラは、カメラを互いに区別できる様々な特徴を有し得る。例えば、カメラおよび/またはカメラによってキャプチャされた画像は、絞りサイズ、F値、露出時間、シャッタースピード、被写界深度、焦点距離、国際標準化機構(ISO)の感度(またはゲイン)、ピクセルサイズ、センサ解像度、露出距離などの値によって識別されてもよい。これらの特徴は、レンズ、画像センサ、および/またはカメラの追加のファセットに基づいてもよい。さらに、これらの特徴は、単一のカメラ内で調整可能であってもよい(例えば、カメラのレンズの絞りを写真間で調整できる)。
【0013】
光検出と測距(LIDAR)デバイスは、所与の環境内の物体までの距離を推定し得、または推定するために使用され得る。例えば、LIDARシステムのエミッタサブシステムは、近赤外線の光パルスを放射することができ、その光パルスは、LIDARシステムの環境内の物体と相互作用し得る。光パルスの少なくとも一部は、LIDARに向かって元に戻り(例えば、反射または散乱に起因して)、受信機サブシステムによって検出することができる。従来の受信機サブシステムは、複数の検出器、および高い時間分解能(例えば、約400ps)を有するそれぞれの光パルスの到達時間を判定するように構成された対応するコントローラを含み得る。LIDARシステムと所与の物体との間の距離は、所与の物体と相互作用する対応する光パルスの飛行時間に基づいて決定され得る。さらに、LIDARデバイスからのデータを使用して、光検出器によって検出されたパルスに基づいて点群(例えば、三次元点群)を生成し得る。
【0014】
場合によっては、カメラまたはLIDARデバイス内の光学構成要素の不完全さにより、対応するキャプチャ画像または生成された点群内に収差が生じ得る。例えば、引っかき傷、亀裂、汚れ、変形、ゴミ、ボイド、気泡、不純物、劣化、変色、不完全な透明度、反り、または水滴などにより、シーンからの光が画像センサ/光検出器の意図しない/不適切な領域に向けさられる場合があり、シーンからの光が画像センサ/光検出器に到達するのを妨げられる場合があり、またはさもなければ、光が画像センサ/光検出器に到達する前にシーンからの光が変更される(例えば、偏光または波長が変更される)場合がある。このような収差は、不適切な物体識別、距離決定、またはその他のエラーを引き起こす可能性がある。このようなエラーは、次に、カメラまたはLIDARデバイスからデータを受信する自律型車両の動作に影響を与える可能性がある。
【0015】
例示的な実施形態は、LIDARデバイスまたはカメラの光学構成要素上の遮蔽物(例えば、ゴミの存在)またはその中の欠陥(例えば、亀裂、不純物、引っかき傷、ボイド、気泡など)を検出するための方法およびシステムに関する。例えば、例示的な方法およびシステムは、LIDARデバイスの外側窓上の汚染(例えば、汚れ、水、氷など)の検出に関連し得る。
【0016】
本明細書に開示される検出技術は、診断試験が行われている光学構成要素を照らすために、光源から光信号を放出することを含み得る。いくつかの実施形態では、光源は、光学構成要素の1つ以上の表面を照らすことができる。一例として、光学構成要素の照らされる表面は、光学システムの焦点面またはその近くに位置する1つ以上のカメラによって画像化することができる。いくつかの実施形態では、カメラは、光学システムのメイン画像センサに組み込むことができる。他の実施形態では、カメラは、光学構成要素を画像化して、遮蔽物特徴(例えば、汚れ、水、氷など)または他のタイプの収差を引き起こす要素(例えば、亀裂、引っかき傷など)について検査するように、光学システムのハウジング内の他の場所に取り付けることができる。カメラによってキャプチャされた画像に基づいて、欠陥または遮蔽物を特定することができる。
【0017】
このようなシナリオにおいて、カメラは、LIDARまたはカメラシステムのメイン画像センサ上に位置する、ローカライズされた、または分散されたピクセルのグループを含むことができる。さらに、収差検出に利用されるメイン画像センサ上のピクセルは、レンズおよび/または他の光学素子に光学的に結合され得、その結果、光学構成要素の画像は、画像キャプチャ時に再構成され得る。例えば、レンズは、メイン画像センサの収差感知部分に結合された1つ以上のマイクロレンズを含むことができる。
【0018】
他の実施形態では、光源から放射された光は、光学構成要素の一端で(例えば、光学窓の縁に沿って)光学構成要素内に結合され得る。その後、光は全内部反射(TIR)を介して光学構成要素の本体全体に伝播され得る。光学構成要素上に遮蔽物が存在しないか、光学構成要素内に欠陥が存在しない場合、光信号は、光学構成要素の反対側端部に伝播し得る(例えば、そこで吸収性バッフルによって吸収され、光学構成要素から自由空間に結合され、または光検出器によって検出される)。しかしながら、光学構成要素上に遮蔽物が存在する場合、または光学構成要素内に欠陥が存在する場合、少なくとも部分的に、光信号は方向が変えられ(例えば、カメラシステム/LIDARデバイスの光検出器へ、または遮蔽物/欠陥を検出するために使用される別の光検出器へ)および/または吸収され得る。光信号の検出に基づいて(例えば、光信号の強度および/または光信号の存在に基づいて)、欠陥/遮蔽物の存在が、識別され得る(例えば、非一時的、コンピュータ可読媒体に記憶された命令を実行するコンピューティングデバイスによって)。
【0019】
いくつかの実施形態では、光学構成要素内/光学構成要素上に存在する欠陥/ゴミのタイプ(例えば、光学構成要素内の亀裂対光学構成要素上の泥)もまた、光信号の強度および/または存在に基づいて決定され得る。例えば、光源は、1つ以上の発光ダイオード(LED)またはレーザを含み得る。LEDまたはレーザは、様々な実施形態において、光学構成要素に隣接して位置付けられ(例えば、アレイ内に)、および/または光学構成要素内に埋め込まれ得る。さらに、光源によって放出される光信号の光学的品質(例えば、波長および/または偏光)は、光学構成要素を潜在的に塞ぐ可能性のある様々なタイプのゴミ(例えば、泥、葉、昆虫、雨、雪など)に対応するように事前に決定され得る。例えば、葉から反射するか、または有機蛍光化合物で蛍光を発生することが知られている波長は、光源によって生成され得る。追加的または代替的に、光源によって放出される光信号の光学的品質(例えば、波長および/または偏光)は、光学構成要素内に潜在的に存在する可能性のある様々なタイプの欠陥(例えば、亀裂、変形、気泡など)に対応するように事前に決定され得る。
【0020】
全内部反射を達成するために、光信号は、光学構成要素および周囲の媒体の屈折率に基づいて全内部反射を達成するような角度で光学構成要素内に結合され得る(例えば、光信号は、比較的高い入射角で光学構成要素内に結合され得る)。いくつかの実施形態では、光学構成要素は、カメラシステムまたはLIDARシステムの外側または内部レンズであり得る。あるいは、光学構成要素は、カメラ/LIDARシステムの光学系と外部環境との間に配置された外側光学窓(例えば、ドーム)であり得る。外側光学窓が使用される実施形態では、外側光学窓は、光信号の全内部反射を増強するように設計され得る。例えば、外側光学窓は、光信号の反射角が外側光学窓の曲率に対して比較的浅くなる(例えば、それによって全内部反射条件が満たされることを確実にする)ように、比較的薄くてもよい。そのような外側光学窓は、様々な実施形態において、半球形であり得るか、または半円筒として形作られ得る。
【0021】
LIDARデバイス/カメラが適切に機能することを確実にするために、診断試験が繰り返し間隔で実行され得る。例えば、診断試験は、対応する光学構成要素の上または中に欠陥が存在するかどうかを判断するために、日、時間、分、30秒、5秒、秒、500ミリ秒、100ミリ秒、50ミリ秒、10ミリ秒、5ミリ秒、1ミリ秒ごとなどで実行され得る。対応する光学構成要素に関連する欠陥を検出すると、是正措置が取られ得る。例えば、光学構成要素は、洗浄(例えば、ワイパを使用して洗浄)、修理(例えば、保守技術者による)、交換(例えば、新しい光学構成要素と)、再調整などが行われ得る。加えて、取られる是正措置は、検出された欠陥のタイプに対応し得る。例えば、光学構成要素上に遮蔽物が検出された場合、ワイパが作動され得、一方、光学構成要素内の亀裂が検出された場合、交換用の光学構成要素が注文および/または設置され得る。
【0022】
なおさらに、いくつかの実施形態では、エスカレーションプロトコルも用いることができる。例えば、欠陥が検出された場合、光学構成要素の洗浄ルーチンを用いてもよい。洗浄ルーチンを用いた後、別の診断試験が実行されてもよい。同じ欠陥が光学構成要素上/光学構成要素内に依然として存在する場合、再調整/再較正ルーチンが用いられ得る。追加の診断試験を実行した後、欠陥が光学構成要素上/光学構成要素内に依然として存在する場合、交換用の光学構成要素を設置することができる。さらに別の診断試験を実行した後、欠陥が光学構成要素上/光学構成要素内に依然として存在する場合、LIDARシステム/カメラの使用を注意する場合がある。中間診断試験のいずれか中に、欠陥が修正されたことが代わりに検出された場合、エスカレーションプロトコルはリセットされ得、追加の検出イベントは実行されなくてもよい。
【0023】
II.例示的な光学システム
図1は、例示的な実施形態による光学システム100を示している。光学システム100は、光学構成要素110および1つ以上の光源120を含む。様々な実施形態において、光学構成要素110は、レンズを含むことができる。このようなシナリオにおいて、光学構成要素110は、1つ以上の平凸レンズ、プリズムレンズ、円柱レンズ、円錐レンズ、および/または他のタイプのレンズを含むことができる。しかしながら、フィルタ、フィルム、ミラー、窓、拡散板、格子、および/またはプリズムなどの他のタイプの光学構成要素が、想定され、可能である。
【0024】
例示的な実施形態では、1つ以上の光源120は、発光ダイオード(LED)、レーザ、LEDのアレイ、またはレーザのアレイを含むことができる。本開示の文脈内で、他の発光デバイスが想定され、可能であることが理解されよう。そのようなシナリオでは、光源120は、光信号122を放出するように構成することができる。光信号122は、光学構成要素110と相互作用して相互作用光信号124を提供する。
【0025】
光学システム100はまた、検出器130を含む。検出器130は、相互作用光信号124の少なくとも一部を検出光信号126として検出するように構成された光感応デバイスであり得る。いくつかのシナリオでは、検出器130は、電荷結合デバイス(CCD)、CCDの一部、カメラの画像センサ、またはカメラの画像センサの一部のうちの少なくとも1つを含むことができる。追加的または代替的に、検出器130は、シリコン光電子増倍管(SiPM)、アバランシェフォトダイオード(APD)、単一光子アバランシェ検出器(SPAD)、極低温検出器、フォトダイオード、またはフォトトランジスタを含むことができる。本明細書で、他の感光性デバイスまたはシステムが可能であり、想定されている。
【0026】
いくつかの実施形態では、光学システム100は、画像センサ140を含み得る。例えば、画像センサ140は、複数の電荷結合デバイス(CCD)素子および/または複数の相補型金属酸化膜半導体(CMOS)素子を含むことができる。いくつかの実施形態では、光学システム100は、複数の画像センサを含むことができる。例示的な実施形態では、画像センサ140は、赤外線スペクトル(例えば、約700ナノメートル~約1000ナノメートル)および/または可視スペクトル内(例えば、約400ナノメートル~約700ナノメートル)の光を検出するように構成することができる。本明細書では、画像センサ140を使用して、他のスペクトル範囲の光(例えば、8~12ミクロンの波長を有する長波長赤外線(LWIR)光)を感知することが可能であり、想定されている。
【0027】
画像センサ140は、画像センサフォーマットに従って構成(例えば、サイズ決めまたは寸法決め)することができる。例えば、画像センサ140は、フルフレーム(例えば、35ミリメートル)フォーマットのセンサを含むことができる。追加的または代替的に、画像センサ140は、APS-C(例えば、対角28.4mm)または1インチ(例えば、対角15.86mm)フォーマットなどの「クロップセンサ」フォーマットを含むことができる。本開示の範囲内で、他の画像センサフォーマットが想定され、可能である。
【0028】
光学システム100は、コントローラ150を加えて含む。いくつかの実施形態では、コントローラ150は、画像センサ140に電気的に結合された読み出し集積回路(ROIC)であり得る。コントローラ150は、フィールドプログラマブルゲートアレイ(FPGA)または特定用途向け集積回路(ASIC)のうちの少なくとも1つを含む。追加的または代替的に、コントローラ150は、1つ以上のプロセッサ152とメモリ154とを含むことができる。1つ以上のプロセッサ152は、汎用プロセッサまたは特殊用途プロセッサ(例えば、デジタル信号プロセッサなど)を含むことができる。1つ以上のプロセッサ152は、メモリ154に記憶されているコンピュータ可読プログラム命令を実行するように構成され得る。いくつかの実施形態では、1つ以上のプロセッサ152は、本明細書に記載の機能および動作の少なくともいくつかを提供するためにプログラム命令を実行し得る。
【0029】
メモリ154は、1つ以上のプロセッサ152によって読み取りまたはアクセスされ得る1つ以上のコンピュータ可読記憶媒体を含むか、またはその形態をとることができる。1つ以上のコンピュータ可読記憶媒体は、1つ以上のプロセッサ152の少なくとも1つと全体的または部分的に一体化され得る光メモリ、磁気メモリ、有機メモリ、もしくは他のメモリ、またはディスクストレージのような揮発性および/または不揮発性ストレージ構成要素を含むことができる。いくつかの実施形態では、メモリ154は、単一の物理デバイス(例えば、1つの光学、磁気、有機、もしくは他のメモリ、またはディスクストレージユニット)を使用して実装され得るが、他の実施形態では、メモリ154は、2つ以上の物理デバイスを使用して実装することができる。
【0030】
上記のように、メモリ154は、光学システム100の動作に関連するコンピュータ可読プログラム命令を含むことができる。少なくとも1つのプロセッサ152は、少なくとも1つのメモリ154内に記憶された命令を実行して動作を実施する。
【0031】
動作は、1つ以上の光源120に光信号122を放出させることを含む。いくつかの実施形態では、光信号122は、光学構成要素110を通して、光学システム100の環境10に向かって放出され得る。
【0032】
動作はまた、検出器130から検出光信号126を受信することを含む。
【0033】
動作はまた、検出光信号126に基づいて、1つ以上の欠陥118が、光学構成要素110に関連するものである(例えば、光学構成要素110の本体116内、または第1の光学構成要素表面112および/または第2の光学構成要素表面114を含む光学構成要素110の表面上に存在する)と決定することを含む。
【0034】
図2Aは、例示的な実施形態による光学システム200を示す。光学システム200は、光学システム100と同様または同一であり得る。いくつかの実施形態は、画像センサの焦点面に、または隣接して配置された小型カメラおよびLEDイルミネータを含むことができる。そのようなシナリオでは、画像平面は、画像に実質的な遮蔽物を引き起こすことなく、遮蔽物検出カメラに検出の機会を与えるのに十分にまばらであり得る。
【0035】
例えば、いくつかの実施形態では、光学システム200は、光軸206を含むことができる。光学システム200はまた、焦点面202を画定する光軸206に沿った焦点距離204を含むことができる。様々な実施形態において、光学システム200は、複数の光学素子(例えば、レンズ)110b~110gを含むことができる。例えば、光学素子110b~110gは、光学レンズアセンブリのレンズを含むことができる。
【0036】
いくつかの実施形態では、画像センサ140は、焦点面202に沿って配置することができる。そのようなシナリオでは、検出器130もまた、焦点面202に沿って配置することができる。
【0037】
図2Aに示されるように、いくつかの実施形態では、検出器130は、光検出軸に沿った検出光信号126を検出するように配置することができ、光検出軸は、光軸206に対してゼロ以外のオフセット角度210で(例えば、少なくとも5度、軸外れで)配置されている。
【0038】
図2Bは、例示的な実施形態による、図2Aの光学システム200の一部220を示す。いくつかの実施形態では、画像センサ140は、複数の光検出器素子222(例えば、256ピクセル、1000ピクセル、最大20メガピクセル以上)を含むことができる。そのようなシナリオでは、検出器130は、光検出器素子222のうちの少なくとも一部を含むことができる。例えば、検出器130は、100×100ピクセルのメガピクセルスケール画像センサアレイを含むことができる。検出器130は、画像センサ140全体のうちのより多くのまたはより少ない光検出器素子を含むことができることが理解されよう。
【0039】
図2Cは、例示的な実施形態による、図2Aの光学システム200の一部230を示す。図2Cに示されるように、画像センサ140は、複数の検出器(例えば、検出器130aおよび検出器130b)を含むことができる。例えば、複数の検出器は、画像センサ140の複数のピクセルに対応することができる。
【0040】
図2Dは、例示的な実施形態による、図2Aの光学システム200の一部240を示す。図2Dに示されるように、検出器130は、検出器の第1の領域上に第1の光学フィルタ242、および検出器130の第2の領域上に第2の光学フィルタ244を含むことができる。そのようなシナリオでは、第1の光学フィルタ242および第2の光学フィルタ244は、波長の異なる範囲(例えば、スペクトル通過帯域)を選択するように構成することができる。
【0041】
いくつかの実施形態では、検出器130は、1つ以上のマイクロレンズ246を含むことができる。マイクロレンズ246は、検出器130、第1の光学フィルタ242、および/または第2の光学フィルタ244に光学的に結合することができる。
【0042】
いくつかの実施形態では、第1の光学フィルタ242に対応する波長範囲は、光信号122の波長を含むことができる。追加的または代替的に、第2の光学フィルタ244に対応する波長範囲は、光信号122の波長を含まないように構成することができる。そのようなシナリオでは、コントローラ150によって実施される動作はまた、検出器130の第1の領域によって提供された第1の画像部分を、検出器130の第2の領域によって提供された第2の画像部分と比較することを含むことができる。比較に基づいて、1つ以上の欠陥のうちの少なくとも1つの欠陥タイプ(例えば、引っかき傷、虫、汚れ、水、雪、亀裂など)を決定することができる。
【0043】
図2Eは、例示的な実施形態による、図2Aの光学システム200の一部250を示す。いくつかの実施形態では、光信号122の波長は、有機蛍光化合物(例えば、フルオロフォア)の励起波長に対応することができる。そのようなシナリオでは、検出器130は、有機蛍光化合物の発光波長を通過させ、有機蛍光化合物の励起波長を遮断する光学フィルタ(例えば、第1の光学フィルタ242)を含むことができる。そのようなシナリオでは、検出光信号126の少なくとも一部は、発光波長を含むことができる。いくつかの実施形態では、動作はまた、検出光信号126に基づいて、1つ以上の有機蛍光化合物(例えば、欠陥118)が光学構成要素110aの表面上に存在すると決定することを含むことができる。そのような特徴は、欠陥118が、特定の有機蛍光化合物(例えば、ホタルの「スプラッタ」)を有する昆虫であり得るかどうかに関する情報を提供することができる。
【0044】
図3Aは、例示的な実施形態による光学システム300を示す。光学システム300は、図1および図2A図2Eを参照して図示および説明したような、光学システム100および/または光学システム200のそれと様々な態様において同様または同一であり得る。いくつかの実施形態では、光信号122は、全内部反射302を介して光学構成要素110aの本体116内で反射されるように、光学構成要素110aの本体116内に向けることができる。いくつかの実施形態では、光信号122は、全内部反射302を達成するように、所望の角度で本体116内に向けることができる。
【0045】
例示的な実施形態では、1つ以上の光源120を、光学構成要素110aの第1の端部304に隣接して位置付けることができる。そのようなシナリオでは、光信号122は、第1の端部304を介して光学構成要素110a内に光学的に結合し得る。
【0046】
図3Bは、例示的な実施形態による、図3Aの光学システム300の一部320を示す。そのようなシナリオでは、検出器130は、光学構成要素110aの第1の端部304の反対側にある光学構成要素110aの第2の端部322に位置付けることができる。
【0047】
追加的または代替的に、光学構成要素110aは、1つ以上の光源120が少なくとも部分的に光学構成要素110a内に埋め込まれるように、1つ以上の光源120上にオーバーモールドすることができる。したがって、1つ以上の光源120は、光学構成要素110a内に埋め込まれるか、そうでなければ光学構成要素110aに光学的および物理的に結合され得る。
【0048】
図3Cは、例示的な実施形態による、図3Aの光学システム300の一部330を示す。いくつかの例では、光学構成要素110aは、外側光学窓(例えば、透明なハウジング)であってもよい。このようなシナリオでは、外側光学窓を湾曲させることができる(例えば、半球形または半円筒形)。外側光学窓は、他の形状または形態を有することができることが理解されよう。
【0049】
図4は、例示的な実施形態による、光学構成要素の様々な画像400を示す。画像400は、画像センサ(例えば、画像センサ140)および/または検出器(例えば、検出器130)からの出力を含むことができる。一例として、画像400は、光学構成要素110aの内部表面からの画像を含み得る。しかしながら、本明細書の他の箇所で説明されているように、他の光学構成要素を画像化することができる。
【0050】
様々な実施形態において、画像400は、窓なし402、白色拡散板404、水の液滴406、定規408、きれいな窓510、汚れた窓412、および他の異物414を示すことができる。いくつかの実施形態では、様々な画像400は、コントローラ150および/または別のコンピューティングデバイスによる画像分析を受けることができる。そのようなシナリオでは、コントローラ150および/または別のコンピューティングデバイスは、画像分析に基づいて、遮蔽物のタイプ(例えば、水の液滴、きれいな/汚れた窓など)を決定することができる。
【0051】
いくつかの実施形態では、光学システム100、光学システム200、および/または光学システム300を組み込んだ1つ以上のセンサユニットは、以下に説明するように、車両に取り付けられるか、または別の方法で搭載することができる。
【0052】
III.例示的車両
図5A図5B図5C図5D、および図5Eは、例示的実施形態による、車両500を示している。車両500は、半自律型車両または完全自律型車両であり得る。図5は、車両500を自動車(例えば、乗客用バン)であるものとして示しているが、車両500は、センサおよびその環境についての他の情報を使用してその環境内で操縦することができる別のタイプの自律型車両、ロボット、またはドローンを含み得ることが理解されよう。
【0053】
車両500は、1つ以上のセンサシステム502、504、506、508、および510を含み得る。いくつかの実施形態では、センサシステム502、504、506、508、および510は、図1図2A図2E、および図3A図3Cに関連して図示および説明されるような、光学システム100、200、および/または300を含むことができる。言い換えれば、本明細書の他の箇所で説明されている光学システムは、車両500に結合することができ、および/または車両500の様々な動作と組み合わせて利用することができる。一例として、光学システム100、200、および/または300は、センサシステム502、504、506、508、および510内に、またはそれらと組み合わせて実装することができ、これは、車両500の自動運転または他のタイプのナビゲーション、計画、および/もしくはマッピング動作に利用することができる。
【0054】
1つ以上のセンサシステム502、504、506、508、および510が、車両500の特定の場所に示されているが、より多くのまたはより少ないセンサシステムが、車両500で利用され得ることが理解されよう。さらに、そのようなセンサシステムの場所は、図5A図5B図5C図5D、および図5Eに示されているセンサシステムの場所と比較して、調整、修正、または他の方法で変更することができる。
【0055】
いくつかの実施形態では、1つ以上のセンサシステム502、504、506、508、および510は、追加的または代替的に、LIDARセンサを含むことができる。例えば、LIDARセンサは、所与の平面(例えば、x-y平面)に対して様々な角度にわたって配置された複数の発光体デバイスを含むことができる。例えば、センサシステム502、504、506、508、および510のうちの1つ以上は、車両500の周りの環境を光パルスで照らすように、所与の平面に垂直な軸(例えば、z軸)の周りを回転するように構成され得る。反射光パルスの様々な態様(例えば、経過飛行時間、偏光、強度など)を検出することに基づいて、環境に関する情報が決定され得る。
【0056】
例示的な実施形態では、センサシステム502、504、506、508、および510は、車両500の環境内の物理的物体に関係し得るそれぞれの点群情報を提供するように構成され得る。車両500ならびにセンサシステム502、504、506、508、および510は、特定の特徴を含むものとして示されているが、他のタイプのセンサシステムが本開示の範囲内で想定されることが理解されよう。
【0057】
例示的な実施形態は、複数の発光体デバイスを有するシステムを含むことができる。システムは、LIDARデバイスの送信ブロックを含むことができる。例えば、システムは、車両(例えば、自動車、トラック、オートバイ、ゴルフカート、航空機、ボートなど)のLIDARデバイスとすることができ、またはその一部とすることができる。複数の発光体デバイスの各発光体デバイスは、それぞれのビーム仰角に沿って光パルスを放射するように構成される。本明細書の他の箇所に記載されるように、それぞれのビーム仰角は、基準角度または基準面に基づくことができる。いくつかの実施形態では、基準面は、車両500の運動軸に基づき得る。
【0058】
単一の発光体デバイスを有するLIDARシステムが本明細書で説明および図示されているが、複数の発光体デバイス(例えば、単一のレーザダイ上に複数のレーザバーを有する発光体デバイス)を有するLIDARシステムも想定される。例えば、1つ以上のレーザダイオードによって放射される光パルスは、システムの環境の周りに制御可能に向けられ得る。光パルスの放射の角度は、例えば、機械的走査ミラーおよび/または回転モータなどの走査デバイスによって調整することができる。例えば、走査デバイスは、所与の軸の周りを往復運動で回転する、および/または垂直軸の周りを回転することができる。別の実施形態では、発光体デバイスは、各光パルスと相互作用するときのプリズムミラー角度の角度に基づいて光パルスを環境に放射させることができる、回転するプリズムミラーに向けて光パルスを放射することができる。追加的にまたは代替的に、走査光学系および/または他のタイプの電気光学機械デバイスは、環境の周りの光パルスを走査することが可能である。
【0059】
いくつかの実施形態では、本明細書に記載されるように、単一の発光体デバイスは、可変ショットスケジュールに従って、および/またはショット当たりの可変電力で光パルスを放射することができる。すなわち、各レーザパルスまたはショットの放射電力および/またはタイミングは、ショットのそれぞれの仰角に基づくことができる。さらにまた、可変ショットスケジュールは、LIDARシステムから、またはLIDARシステムを支持する所与の車両の表面(例えば、フロントバンパー)からの所与の距離で所望の垂直間隔を提供することに基づくことができる。実施例として、発光体デバイスからの光パルスが下向きに向けられるとき、目標までの予想される最大距離がより短いことに起因して、ショット当たりの電力が低下する可能性がある。逆に、基準面の上の仰角で発光体デバイスによって放射された光パルスは、より長い距離を移動するパルスを適切に検出するのに十分な信号対雑音比を提供するように、ショット当たりの電力が比較的より高い場合がある。
【0060】
いくつかの実施形態では、ショット当たりの電力/エネルギーは、動的な様式でショットごとに制御することができる。他の実施形態では、ショット当たりの電力/エネルギーは、いくつかのパルスの連続セット(例えば、10個の光パルス)について制御することができる。すなわち、光パルス列の特性は、パルス当たりの基準および/または数パルス当たりの基準に変更することができる。
【0061】
図5A図5Eは、車両500に取り付けられた様々なLIDARセンサを示しているが、車両500は、カメラ、超音波センサ、および/またはレーダセンサなどの他のタイプのセンサを組み込むことができることが理解されよう。
【0062】
IV.例示的な方法
図6は、例示的な実施形態による方法600を示している。方法600は、本明細書で明示的に例証されるか、そうでなければ開示されるものよりも少ないまたは多いステップまたはブロックを含み得ることが理解されよう。さらにまた、方法600のそれぞれのステップまたはブロックは、任意の順序で実行されてもよく、各ステップまたはブロックは、1回以上実行されてもよい。いくつかの実施形態では、方法600のブロックまたはステップの一部またはすべては、図1図2A図2E図3A図3C、および図5A図5Eに関連して図示および説明されるように、光学システム100、200、300および/または車両500の要素に関連し得る。
【0063】
ブロック602は、1つ以上の光源(例えば、光源120)に光信号(例えば、光信号122)を放出させることを含む。光源に光信号を放出させることは、1つ以上の光パルスを生成するように、パルサ回路に電流または電圧パルスを光源に送信させることを含み得る。いくつかの実施形態では、光信号122は、光学システム(例えば、光学システム100)の光学構成要素(例えば、光学構成要素110)と相互作用して相互作用光信号(例えば、相互作用光信号124)を提供する。
【0064】
ブロック604は、光学システムのハウジング内に配置された検出器(例えば、検出器130)において、相互作用光信号の少なくとも一部を、検出光信号(例えば、検出光信号126)として検出することを含む。例示的な実施形態では、検出光信号を受信することは、光学構成要素上の1つ以上の欠陥を示す情報を受信することを含み得る。そのようなシナリオでは、情報は、光学構成要素の画像および/または光学システムの環境からの光子強度に関しての情報を含むことができる。
【0065】
ブロック606は、検出光信号に基づいて、少なくとも1つの欠陥(例えば、欠陥118)が光学構成要素に関連するものであると決定することを含む。一例として、欠陥は、光学構成要素の本体(例えば、本体116)内、または光学構成要素の表面(例えば、第1の光学構成要素表面112または第2の光学構成要素表面114)上に存在する可能性がある。いくつかの実施形態では、少なくとも1つの欠陥を決定することは、検出器または画像センサから受信した情報に対して画像分析(例えば、物体認識)を実行することを含み得る。一例として、検出器または画像センサは、図4を参照して図示および説明されているもののような画像を提供することができる。
【0066】
いくつかの実施形態では、方法600は、1つ以上の欠陥が、光学構成要素の本体内、または光学構成要素の表面上に存在すると決定された場合に、是正措置を講じることを加えて含むことができる。
【0067】
様々な実施形態において、是正措置を講じることは、検出器または光学構成要素の少なくとも1つを、洗浄、修理、再較正、交換、もしくは再調整するか、または使用中止にすることを含むことができる。
【0068】
例示的な実施形態では、1つ以上の光源に光信号を放出させることは、1つ以上の光源に、全内部反射を介して光学構成要素の本体内で反射されるような角度で光学構成要素の本体に向かって光信号を放出させることを含むことができる。
【0069】
追加的または代替的に、方法600は、少なくとも1つの欠陥の欠陥タイプを決定することを含むことができ、欠陥タイプは、引っかき傷、亀裂、汚れ、変形、ゴミ、気泡、不純物、劣化、変色、不完全な透明度、反り、または水滴(例えば、水の液滴)のうちの少なくとも1つを含む。
【0070】
図に示されている特定の配置は、限定と見なされるべきではない。他の実施形態が、所与の図に示される各要素をより多く、またはより少なく含んでもよいことを理解されたい。さらに、図示される要素のうちのいくつかは、組み合わされ、または省略されてもよい。さらにまた、図示の実施形態は、図示されていない要素を含んでもよい。
【0071】
情報の処理を表すステップまたはブロックは、本明細書に記載の方法または技術の特定の論理機能を実行するように構成することができる回路に対応することができる。代替的または追加的に、情報の処理を表すステップまたはブロックは、モジュール、セグメント、またはプログラムコード(関連データを含む)の一部に対応することができる。プログラムコードは、特定の論理機能または論理動作を方法または技術において実装するための、プロセッサにより実行可能な1つ以上の命令を含むことができる。プログラムコードおよび/または関連データは、ディスク、ハードドライブ、または他の記憶媒体を含む、記憶デバイスなどの任意のタイプのコンピュータ可読媒体に記憶させることができる。
【0072】
コンピュータ可読媒体は、レジスタメモリ、プロセッサキャッシュ、およびランダムアクセスメモリ(RAM)のような、データを短期間記憶するコンピュータ可読媒体などの非一時的コンピュータ可読媒体も含むことができる。コンピュータ可読媒体はまた、プログラムコードおよび/またはデータを長期間にわたって記憶する非一時的コンピュータ可読媒体も含むことができる。このように、コンピュータ可読媒体は、例えば、読み取り専用メモリ(ROM)、光ディスクまたは磁気ディスク、コンパクトディスク読み取り専用メモリ(CD-ROM)のような二次的なまたは長期永続的な記憶装置を含むことができる。コンピュータ可読媒体はまた、任意の他の揮発性または不揮発性の記憶システムとすることもできる。コンピュータ可読媒体は、例えば、コンピュータ可読記憶媒体、または有形の記憶デバイスと考えることができる。
【0073】
様々な実施例および実施形態が開示されてきたが、他の実施例および実施形態が当業者にとって明らかであろう。様々な開示された実施例および実施形態は、例示の目的のためであり、限定することを意図するものではなく、その真の範囲は、以下の特許請求の範囲により示される。
図1
図2A
図2B
図2C
図2D
図2E
図3A
図3B
図3C
図4
図5A
図5B
図5C
図5D
図5E
図6
【国際調査報告】