ホーム > 特許ランキング > ウェイモ エルエルシー
知財求人 - 知財ポータルサイト「IP Force」
特開2024-38989光検出および測距（ＬｉＤＡＲ）装置ならびにカメラにおける欠陥検出のための時間的に変調された光の放射
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024038989
(43)【公開日】2024-03-21
(54)【発明の名称】光検出および測距（ＬｉＤＡＲ）装置ならびにカメラにおける欠陥検出のための時間的に変調された光の放射
(51)【国際特許分類】
G01S 17/89 20200101AFI20240313BHJP
G01S 7/497 20060101ALI20240313BHJP
G01C 3/06 20060101ALI20240313BHJP
G01S 17/86 20200101ALI20240313BHJP
G01S 17/931 20200101ALN20240313BHJP
【ＦＩ】
G01S17/89
G01S7/497
G01C3/06 120Q
G01C3/06 140
G01S17/86
G01S17/931
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2023126531
(22)【出願日】2023-08-02
(31)【優先権主張番号】17/930,441
(32)【優先日】2022-09-08
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
２．ＺＩＧＢＥＥ
(71)【出願人】
【識別番号】317015065
【氏名又は名称】ウェイモ エルエルシー
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100126480
【弁理士】
【氏名又は名称】佐藤 睦
(72)【発明者】
【氏名】シェパード，ラルフ エイチ．
(72)【発明者】
【氏名】ウォン，アンディ
(72)【発明者】
【氏名】サルズベリー，チェイス
(72)【発明者】
【氏名】クライン，リーガン
【テーマコード（参考）】
2F112
5J084
【Ｆターム（参考）】
2F112AD01
2F112BA07
2F112CA05
2F112CA12
2F112DA25
2F112DA28
2F112EA05
2F112FA03
2F112FA21
2F112FA35
2F112FA45
2F112GA01
5J084AA05
5J084AB01
5J084AC02
5J084AD01
5J084AD05
5J084BA04
5J084BA13
5J084BA34
5J084BA40
5J084CA26
5J084CA31
5J084CA65
5J084EA01
(57)【要約】
【課題】光検出および測距（ＬｉＤＡＲ）装置ならびにカメラにおける時間的に変調された光の放射および欠陥検出に関する。
【解決手段】例示的な実施形態は、方法を含む。方法は、光学構成要素を用いて第一の検出器によって、周囲環境に対応するバックグラウンド信号を検出することを含む。方法はまた、第一の光源によって、第一の光信号で光学構成要素の第一の部分を照明することを含む。さらに、方法は、光学構成要素の第一の部分の本体内または光学構成要素の第一の部分の表面上に一つまたは複数の欠陥が存在する場合、第一の検出器によって第一の光信号を検出することを含む。さらに、方法は、光学構成要素の第一の部分の本体内または光学構成要素の第一の部分の表面上に一つまたは複数の欠陥が存在する場合、コンピューティングデバイスによって判断することを含む。
【選択図】図１２
【解決手段】例示的な実施形態は、方法を含む。方法は、光学構成要素を用いて第一の検出器によって、周囲環境に対応するバックグラウンド信号を検出することを含む。方法はまた、第一の光源によって、第一の光信号で光学構成要素の第一の部分を照明することを含む。さらに、方法は、光学構成要素の第一の部分の本体内または光学構成要素の第一の部分の表面上に一つまたは複数の欠陥が存在する場合、第一の検出器によって第一の光信号を検出することを含む。さらに、方法は、光学構成要素の第一の部分の本体内または光学構成要素の第一の部分の表面上に一つまたは複数の欠陥が存在する場合、コンピューティングデバイスによって判断することを含む。
【選択図】図１２
【特許請求の範囲】
【請求項1】
光学構成要素を用いて第一の検出器によって、周囲環境に対応するバックグラウンド信号を検出することと、
第一の光源によって、第一の変調周波数に従って変調される第一の光信号で前記光学構成要素の第一の部分を照明することであって、センシング装置は、前記光学構成要素を用いて前記周囲環境内の物体を検出するように構成されることと、
前記光学構成要素の前記第一の部分の本体内または前記光学構成要素の前記第一の部分の表面上に一つまたは複数の欠陥が存在する場合、前記第一の検出器によって前記第一の光信号を検出することと、
前記光学構成要素の前記第一の部分の前記本体内または前記光学構成要素の前記第一の部分の前記表面上に一つまたは複数の欠陥が存在する場合、前記検出されたバックグラウンド信号および前記検出された第一の光信号に基づいて、コンピューティングデバイスによって判断することであって、前記光学構成要素の前記第一の部分の前記本体内または前記光学構成要素の前記第一の部分の前記表面上に一つまたは複数の欠陥が存在する場合、前記検出されたバックグラウンド信号および前記検出された第一の光信号に基づいて判断することは、前記第一の変調周波数に基づいて、前記検出されたバックグラウンド信号と前記検出された第一の光信号とを明確にすることを含むことと、を含む方法。
第一の光源によって、第一の変調周波数に従って変調される第一の光信号で前記光学構成要素の第一の部分を照明することであって、センシング装置は、前記光学構成要素を用いて前記周囲環境内の物体を検出するように構成されることと、
前記光学構成要素の前記第一の部分の本体内または前記光学構成要素の前記第一の部分の表面上に一つまたは複数の欠陥が存在する場合、前記第一の検出器によって前記第一の光信号を検出することと、
前記光学構成要素の前記第一の部分の前記本体内または前記光学構成要素の前記第一の部分の前記表面上に一つまたは複数の欠陥が存在する場合、前記検出されたバックグラウンド信号および前記検出された第一の光信号に基づいて、コンピューティングデバイスによって判断することであって、前記光学構成要素の前記第一の部分の前記本体内または前記光学構成要素の前記第一の部分の前記表面上に一つまたは複数の欠陥が存在する場合、前記検出されたバックグラウンド信号および前記検出された第一の光信号に基づいて判断することは、前記第一の変調周波数に基づいて、前記検出されたバックグラウンド信号と前記検出された第一の光信号とを明確にすることを含むことと、を含む方法。
【請求項2】
前記第一の光信号は第一の波長範囲内にあり、一つまたは複数の欠陥が存在する場合、判断することは、前記第一の波長範囲に基づいて、前記検出されたバックグラウンド信号と前記検出された第一の光信号とを明確にすることをさらに含む、請求項１に記載の方法。
【請求項3】
第二の光源によって、第二の変調周波数に従って変調された第二の光信号で前記光学構成要素の第二の部分を照明することであって、前記第二の変調周波数は前記第一の変調周波数とは異なり、前記第二の光信号は第二の波長範囲内にあり、前記第二の波長範囲は前記第一の波長範囲と重ならないことと、
前記光学構成要素の前記第二の部分の本体内または前記光学構成要素の前記第二の部分の表面上に一つまたは複数の欠陥が存在する場合、第二の光検出器によって前記第二の光信号を検出することと、
前記光学構成要素の前記第二の部分の前記本体内または前記光学構成要素の前記第二の部分の前記表面上に一つまたは複数の欠陥が存在する場合、前記検出されたバックグラウンド信号および前記検出された第二の光信号に基づいて、コンピューティングデバイスによって判断することであって、前記光学構成要素の前記第二の部分の前記本体内または前記光学構成要素の前記第二の部分の前記表面上に一つまたは複数の欠陥が存在する場合、前記検出されたバックグラウンド信号および前記検出された第二の光信号に基づいて判断することは、前記第二の変調周波数および前記第二の波長範囲に基づいて、前記検出されたバックグラウンド信号と前記検出された第二の光信号とを明確にすることを含むことと、を含む、請求項２に記載の方法。
前記光学構成要素の前記第二の部分の本体内または前記光学構成要素の前記第二の部分の表面上に一つまたは複数の欠陥が存在する場合、第二の光検出器によって前記第二の光信号を検出することと、
前記光学構成要素の前記第二の部分の前記本体内または前記光学構成要素の前記第二の部分の前記表面上に一つまたは複数の欠陥が存在する場合、前記検出されたバックグラウンド信号および前記検出された第二の光信号に基づいて、コンピューティングデバイスによって判断することであって、前記光学構成要素の前記第二の部分の前記本体内または前記光学構成要素の前記第二の部分の前記表面上に一つまたは複数の欠陥が存在する場合、前記検出されたバックグラウンド信号および前記検出された第二の光信号に基づいて判断することは、前記第二の変調周波数および前記第二の波長範囲に基づいて、前記検出されたバックグラウンド信号と前記検出された第二の光信号とを明確にすることを含むことと、を含む、請求項２に記載の方法。
【請求項4】
前記第一の波長範囲が第一の種類の欠陥に対応し、前記第二の波長範囲が第二の種類の欠陥に対応する、請求項３に記載の方法。
【請求項5】
前記光学構成要素の前記第一の部分と前記光学構成要素の前記第二の部分が少なくとも部分的に重なり合う、請求項３に記載の方法。
【請求項6】
前記周囲環境に対応する前記バックグラウンド信号が、前記第一の波長範囲内の光を含まない、請求項２に記載の方法。
【請求項7】
前記光学構成要素の前記第一の部分が、前記光学構成要素の全体を占めない、請求項１に記載の方法。
【請求項8】
第二の変調周波数に従って変調された第二の光信号で前記光学構成要素の第二の部分を、第二の光源によって照明することであって、前記第二の変調周波数は前記第一の変調周波数とは異なり、前記光学構成要素の前記第二の部分は、前記光学構成要素の前記第一の部分と重なり合わないことと、
前記光学構成要素の前記第二の部分の本体内または前記光学構成要素の前記第二の部分の表面上に一つまたは複数の欠陥が存在する場合、第二の光検出器によって前記第二の光信号を検出することと、
前記光学構成要素の前記第二の部分の前記本体内または前記光学構成要素の前記第二の部分の前記表面上に一つまたは複数の欠陥が存在する場合、前記検出されたバックグラウンド信号および前記検出された第二の光信号に基づいて、前記コンピューティングデバイスによって判断することであって、前記光学構成要素の前記第二の部分の前記本体内または前記光学構成要素の前記第二の部分の前記表面上に一つまたは複数の欠陥が存在する場合、前記検出されたバックグラウンド信号および前記検出された第二の光信号に基づいて判断することは、前記第二の変調周波数に基づいて、前記検出されたバックグラウンド信号と前記検出された第二の光信号とを明確にすることを含むことと、をさらに含む、請求項７に記載の方法。
前記光学構成要素の前記第二の部分の本体内または前記光学構成要素の前記第二の部分の表面上に一つまたは複数の欠陥が存在する場合、第二の光検出器によって前記第二の光信号を検出することと、
前記光学構成要素の前記第二の部分の前記本体内または前記光学構成要素の前記第二の部分の前記表面上に一つまたは複数の欠陥が存在する場合、前記検出されたバックグラウンド信号および前記検出された第二の光信号に基づいて、前記コンピューティングデバイスによって判断することであって、前記光学構成要素の前記第二の部分の前記本体内または前記光学構成要素の前記第二の部分の前記表面上に一つまたは複数の欠陥が存在する場合、前記検出されたバックグラウンド信号および前記検出された第二の光信号に基づいて判断することは、前記第二の変調周波数に基づいて、前記検出されたバックグラウンド信号と前記検出された第二の光信号とを明確にすることを含むことと、をさらに含む、請求項７に記載の方法。
【請求項9】
前記光学構成要素の前記第一の部分および前記光学構成要素の前記第二の部分は、前記光学構成要素全体にわたって縞模様または市松模様のうちの少なくとも一部を形成する、請求項８に記載の方法。
【請求項10】
前記光学構成要素の前記第一の部分を前記第一の光信号で照明することは、
前記第一の光信号を前記光学構成要素の前記第一の部分の前記本体内に結合することと、
全反射を使用して前記光学構成要素の前記第一の部分の前記本体を通して前記第一の光信号を伝播させることと、を含む、請求項１に記載の方法。
前記第一の光信号を前記光学構成要素の前記第一の部分の前記本体内に結合することと、
全反射を使用して前記光学構成要素の前記第一の部分の前記本体を通して前記第一の光信号を伝播させることと、を含む、請求項１に記載の方法。
【請求項11】
前記第一の光源は前記センシング装置の焦点面内に配置されてもよく、または前記第一の検出器は前記センシング装置の前記焦点面に配置される、請求項１に記載の方法。
【請求項12】
前記センシング装置はイメージセンサーを備え、前記第一の検出器は前記イメージセンサーの少なくとも一部である、請求項１に記載の方法。
【請求項13】
前記検出されたバックグラウンド信号が、前記イメージセンサーを使用して取り込まれた一つまたは複数のバックグラウンド画像に対応し、前記検出された第一の光信号が、前記イメージセンサーを使用して取り込まれた一つまたは複数の欠陥画像に対応し、前記第一の変調周波数に基づいて、前記検出されたバックグラウンド信号と前記検出された第一の光信号とを明確にすることは、前記一つまたは複数のバックグラウンド画像を使用して前記一つまたは複数の欠陥画像からバックグラウンド除去を実行することを含む、請求項１２に記載の方法。
【請求項14】
前記検出されたバックグラウンド信号が、前記イメージセンサーを使用して取り込まれた一つまたは複数のバックグラウンド画像に対応し、前記検出された第一の光信号は、前記イメージセンサーを使用して取り込まれた一つまたは複数の欠陥画像に対応し、画像ストリームは、前記一つまたは複数のバックグラウンド画像と前記一つまたは複数の欠陥画像を含み、前記第一の変調周波数に基づいて、前記検出されたバックグラウンド信号と前記検出された第一の光信号とを明確にすることは、ローパスフィルターを前記画像ストリームに適用することを含む、請求項１２に記載の方法。
【請求項15】
前記第一の検出器が前記センシング装置の一部ではない、請求項１に記載の方法。
【請求項16】
前記明確化された、検出された第一の光信号に機械学習モデルを適用することによって、前記一つまたは複数の欠陥のうちの少なくとも一つの欠陥の種類を判断することをさらに含む、請求項１に記載の方法。
【請求項17】
欠陥の前記種類が、
前記光学構成要素内の引っかき傷、亀裂、汚れ、変形、気泡、不純物、劣化、変色、不完全な透明性、あるいはゆがみ、または、
前記光学構成要素上の水滴、汚れ、ほこり、泥、落ち葉、雨、雪、みぞれ、ひょう、氷、もしくは昆虫の残留物を含む、請求項１６に記載の方法。
前記光学構成要素内の引っかき傷、亀裂、汚れ、変形、気泡、不純物、劣化、変色、不完全な透明性、あるいはゆがみ、または、
前記光学構成要素上の水滴、汚れ、ほこり、泥、落ち葉、雨、雪、みぞれ、ひょう、氷、もしくは昆虫の残留物を含む、請求項１６に記載の方法。
【請求項18】
前記光学構成要素の前記第一の部分の前記本体内または前記光学構成要素の前記第一の部分の前記表面上に一つまたは複数の欠陥が存在する場合、判断することに応答して、一つまたは複数の修復作業を行うことをさらに含む、請求項１に記載の方法。
【請求項19】
光学構成要素と、
前記光学構成要素を用いて周囲環境内の物体を検出するように構成されるセンシング装置と、
第一の変調周波数に従って変調された第一の光信号で前記光学構成要素の第一の部分を照明するように構成される第一の光源と、
第一の検出器であって、
前記光学構成要素を用いて、前記周囲環境に対応するバックグラウンド信号を検出し、かつ、
前記光学構成要素の前記第一の部分の本体内または前記光学構成要素の前記第一の部分の表面上に一つまたは複数の欠陥が存在する場合、前記第一の光信号を検出するように構成される、第一の検出器と、
前記光学構成要素の前記第一の部分の前記本体内または前記光学構成要素の前記第一の部分の前記表面上に一つまたは複数の欠陥が存在する場合、前記検出されたバックグラウンド信号および前記検出された第一の光信号に基づいて判断するように構成されるコンピューティングデバイスであって、前記光学構成要素の前記第一の部分の前記本体内または前記光学構成要素の前記第一の部分の前記表面上に一つまたは複数の欠陥が存在する場合、前記検出されたバックグラウンド信号および前記検出された第一の光信号に基づいて判断することは、前記第一の変調周波数に基づいて、前記検出されたバックグラウンド信号と前記検出された第一の光信号とを明確にすることを含む、コンピューティングデバイスと、を備えるシステム。
前記光学構成要素を用いて周囲環境内の物体を検出するように構成されるセンシング装置と、
第一の変調周波数に従って変調された第一の光信号で前記光学構成要素の第一の部分を照明するように構成される第一の光源と、
第一の検出器であって、
前記光学構成要素を用いて、前記周囲環境に対応するバックグラウンド信号を検出し、かつ、
前記光学構成要素の前記第一の部分の本体内または前記光学構成要素の前記第一の部分の表面上に一つまたは複数の欠陥が存在する場合、前記第一の光信号を検出するように構成される、第一の検出器と、
前記光学構成要素の前記第一の部分の前記本体内または前記光学構成要素の前記第一の部分の前記表面上に一つまたは複数の欠陥が存在する場合、前記検出されたバックグラウンド信号および前記検出された第一の光信号に基づいて判断するように構成されるコンピューティングデバイスであって、前記光学構成要素の前記第一の部分の前記本体内または前記光学構成要素の前記第一の部分の前記表面上に一つまたは複数の欠陥が存在する場合、前記検出されたバックグラウンド信号および前記検出された第一の光信号に基づいて判断することは、前記第一の変調周波数に基づいて、前記検出されたバックグラウンド信号と前記検出された第一の光信号とを明確にすることを含む、コンピューティングデバイスと、を備えるシステム。
【請求項20】
光学構成要素の第一の部分の本体内または前記光学構成要素の前記第一の部分の表面上に一つまたは複数の欠陥が存在する場合、検出されたバックグラウンド信号および検出された第一の光信号に基づいて判断するように構成されるコンピューティングデバイスであって、前記光学構成要素の前記第一の部分の前記本体内または前記光学構成要素の前記第一の部分の前記表面上に一つまたは複数の欠陥が存在する場合、前記検出されたバックグラウンド信号および前記検出された第一の光信号に基づいて判断することは、第一の変調周波数に基づいて、前記検出されたバックグラウンド信号と前記検出された第一の光信号とを明確にすることを含み、
前記検出されたバックグラウンド信号は周囲環境に対応し、前記光学構成要素を用いて第一の検出器によって検出され、
センシング装置は、前記光学構成要素を用いて前記周囲環境内の物体を検出するように構成され、
前記光学構成要素の前記第一の部分は、第一の光源による前記第一の光信号によって照明され、
前記第一の光信号は、前記第一の変調周波数に従って変調され、
前記第一の光信号は、前記光学構成要素の前記第一の部分の前記本体内または前記光学構成要素の前記第一の部分の前記表面上に一つまたは複数の欠陥が存在する場合、前記第一の検出器によって検出される、コンピューティングデバイス。
前記検出されたバックグラウンド信号は周囲環境に対応し、前記光学構成要素を用いて第一の検出器によって検出され、
センシング装置は、前記光学構成要素を用いて前記周囲環境内の物体を検出するように構成され、
前記光学構成要素の前記第一の部分は、第一の光源による前記第一の光信号によって照明され、
前記第一の光信号は、前記第一の変調周波数に従って変調され、
前記第一の光信号は、前記光学構成要素の前記第一の部分の前記本体内または前記光学構成要素の前記第一の部分の前記表面上に一つまたは複数の欠陥が存在する場合、前記第一の検出器によって検出される、コンピューティングデバイス。
【発明の詳細な説明】
【背景技術】
【0001】
本明細書に別段の記載がない限り、この章の説明は、本出願の特許請求の範囲の先行技術ではなく、この章に含めることにより先行技術であると認められるべきではない。
【0002】
光検出および測距（ＬｉＤＡＲ）装置は、周囲環境に光パルスを発して、各光パルスのそれぞれの飛行時間を決定することによって、周囲環境内の物体までの距離を推定することができる。各光パルスの飛行時間を使用して、周囲環境内の反射物体までの距離を推定する、および／または周囲環境内の反射物体を示す三次元点群を作り出すことができる。さらに、カメラを使用して、周囲環境内の一つまたは複数の物体の画像を取り込むことができる。このような画像は、物体検出および回避方法（例えば、自動または半自動モードで動作する車両内）で使用されることができる。しかし、ＬｉＤＡＲ装置および／またはカメラの一つまたは複数の光路に沿った欠陥は、誤った検出（例えば、誤った点群、またはぼやけたおよび／もしくは不明瞭な画像）につながる可能性がある。
【発明の概要】
【0003】
本明細書に記載の例示的な実施形態は、ＬｉＤＡＲ装置またはカメラの光学構成要素上またはそこの一つまたは複数の欠陥の存在を検出するために使用される検出器を含む。例えば、ＬｉＤＡＲ装置またはカメラには、周囲環境の検出に使用されるレンズおよび／または光学窓が含まれる場合がある。レンズおよび／または光学窓には、時々一つまたは複数の欠陥（例えば、内部亀裂、外側のごみ、または外側の水滴）が発生する場合がある。欠陥を検出するために、本明細書に記載の実施形態は、光源を使用して光学窓の一部または全体を照明することを含むことができる。光源からの照明には、構造化照明または波長固有の照明が含まれてもよい。さらに、照明は時間の経過とともに（例えば、変調周波数に基づいて）変化する場合がある。照明の特性を使用して、（例えば、周囲環境の所望の検出に対応する）バックグラウンド信号と欠陥に対応する信号とを明確にすることができる。欠陥を特定すると、一つまたは複数の修復作業（例えば、光学構成要素の洗浄、光学構成要素の交換、または後処理での欠陥の影響の排除）が実行されることができる。
【0004】
第一の態様では、方法が提供される。方法は、光学構成要素を用いて第一の検出器によって、周囲環境に対応するバックグラウンド信号を検出することを含む。方法はまた、第一の光源によって、第一の変調周波数に従って変調された第一の光信号で光学構成要素の第一の部分を照明することを含む。センシング装置は、光学構成要素を用いて周囲環境内の物体を検出するように構成される。さらに、方法は、光学構成要素の第一の部分の本体内または光学構成要素の第一の部分の表面上に一つまたは複数の欠陥が存在する場合、第一の検出器によって第一の光信号を検出することを含む。さらに、方法は、光学構成要素の第一の部分の本体内または光学構成要素の第一の部分の表面上に一つまたは複数の欠陥が存在する場合、検出されたバックグラウンド信号および検出された第一の光信号に基づいて、コンピューティングデバイスによって判断することを含むことができる。光学構成要素の第一の部分の本体内または光学構成要素の第一の部分の表面上に一つまたは複数の欠陥が存在する場合、検出されたバックグラウンド信号および検出された第一の光信号に基づいて判断することは、第一の変調周波数に基づいて、検出されたバックグラウンド信号と検出された第一の光信号とを明確にすることを含む。
【0005】
第二の態様では、システムが提供される。システムは、光学構成要素を備える。システムはまた、光学構成要素を用いて周囲環境内の物体を検出するように構成されるセンシング装置を備える。さらに、システムは、第一の変調周波数に従って変調された第一の光信号で光学構成要素の第一の部分を照明するように構成される第一の光源を備える。さらに、システムは、第一の検出器を備える。第一の検出器は、光学構成要素を用いて、周囲環境に対応するバックグラウンド信号を検出するように構成されている。第一の検出器はまた、光学構成要素の第一の部分の本体内または光学構成要素の第一の部分の表面上に一つまたは複数の欠陥が存在する場合に、第一の光信号を検出するように構成される。さらに、システムは、光学構成要素の第一の部分の本体内または光学構成要素の第一の部分の表面上に一つまたは複数の欠陥が存在する場合、検出されたバックグラウンド信号および検出された第一の光信号に基づいて判断するように構成されるコンピューティングデバイスを備える。光学構成要素の第一の部分の本体内または光学構成要素の第一の部分の表面上に一つまたは複数の欠陥が存在する場合、検出されたバックグラウンド信号および検出された第一の光信号に基づいて判断することは、第一の変調周波数に基づいて、検出されたバックグラウンド信号と検出された第一の光信号とを明確にすることを含む。
【0006】
第三の態様では、コンピューティングデバイスが提供される。コンピューティングデバイスは、光学構成要素の第一の部分の本体内または光学構成要素の第一の部分の表面上に一つまたは複数の欠陥が存在する場合、検出されたバックグラウンド信号および検出された第一の光信号に基づいて判断するように構成される。光学構成要素の第一の部分の本体内または光学構成要素の第一の部分の表面上に一つまたは複数の欠陥が存在する場合、検出されたバックグラウンド信号および検出された第一の光信号に基づいて判断することは、第一の変調周波数に基づいて、検出されたバックグラウンド信号と検出された第一の光信号とを明確にすることを含む。検出されたバックグラウンド信号は周囲環境に対応し、光学構成要素を用いて第一の検出器によって検出された。センシング装置は、光学構成要素を用いて周囲環境内の物体を検出するように構成される。光学構成要素の第一の部分は、第一の光源による第一の光信号によって照明された。第一の光信号は、第一の変調周波数に従って変調された。第一の光信号は、光学構成要素の第一の部分の本体内または光学構成要素の第一の部分の表面上に一つまたは複数の欠陥が存在する場合、第一の検出器によって検出された。
【0007】
これらの並びに他の態様、利点、及び代替物は、当業者には、以下の詳細な説明を添付の図面を適宜参照して読み取ることにより明らかになるであろう。
【図面の簡単な説明】
【0008】
【0009】
【0010】
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【0030】
【0031】
【0032】
【0033】
【0034】
【0035】
【0036】
【0037】
【0038】
【0039】
【0040】
【0041】
【発明を実施するための形態】
【0042】
例示的な方法及びシステムが本明細書で企図されている。本明細書において説明される任意の実施形態又は特徴の例は、必ずしも他の実施形態又は特徴よりも好ましいか、又は有利であると解釈されるべきではない。さらに、本明細書において説明される例示的な実施形態は、限定的であることを意味するものではない。開示されるシステム及び方法の特定の態様は、多種多様な異なる構成で配置し、組み合わせることができ、これらの構成の全てが、本明細書において企図されることは容易に理解されよう。加えて、図に示される特定の配置は、限定としてみなされるべきではない。他の実施形態は、所定の図に示されるそれぞれの要素をより多く、又はより少なく含むことができることが理解されるべきである。追加的に、例解される要素のうちのいくつかは、組み合わせされ得るか、又は省略され得る。なおさらに、例示的な実施形態は、図に例解されていない要素を含み得る。
【0043】
本明細書に説明されるＬｉＤＡＲ装置は、一つ以上の光エミッターと、一つ以上の光エミッターによって放出され、ＬｉＤＡＲ装置を取り囲む環境内の一つ以上の物体によって反射される光を検出するために使用される一つ以上の検出器と、を含み得る。一例として、周囲環境は、建物の内側又は建物の外側などの、内部又は外部環境を含み得る。追加的又は代替的に、周囲環境は、車両の内部を含み得る。なおさらに、周囲環境は、道路の周り及び／又は道路上の周辺を含み得る。周囲環境にある物体の例としては、限定されるものではないが、他の車両、交通標識、歩行者、自転車に乗る人、道路表面、建物、地形などが挙げられる。追加的に、一つ以上の光エミッターは、ＬｉＤＡＲ自体の局所環境中に光を放出し得る。例えば、一つ以上の光エミッターから放出された光は、ＬｉＤＡＲのハウジング及び／又はＬｉＤＡＲに結合された表面若しくは構造と相互作用し得る。場合によっては、ＬｉＤＡＲは、車両に取り付けられ得、その場合、一つ以上の光エミッターは、車両の周辺内の物体と相互作用する光を放出するように構成され得る。光エミッターは、他の可能性の中でも、光ファイバ増幅器、レーザーダイオード、発光ダイオード（ＬＥＤ）を含み得る。
【0044】
ＬｉＤＡＲ装置および／またはカメラは、周囲環境を感知するために使用されることができる。例えば、ＬｉＤＡＲ装置を用いて、自動運転車両の周囲の環境に関連付けられた点群を生成することができ、その点群は、自動運転車両によって物体の検出および回避のために使用されることができる。このようなＬｉＤＡＲ装置および／またはカメラは、一つまたは複数の光学構成要素を備えることができる。例えば、ＬＩＤＡＲ装置および／またはカメラは、光学窓、ミラー、レンズなどを備えることができる。
【0045】
場合によっては、カメラまたはＬＩＤＡＲ装置内の光学構成要素上またはその内の一つまたは複数の欠陥の結果、取り込まれた画像／生成された点群に悪影響を及ぼす可能性がある。例えば、引っかき傷、亀裂、汚れ、変形、気泡、不純物、劣化、変色、不完全な透明性、ゆがみ、水滴、汚れ、ほこり、泥、落ち葉、雨、雪、みぞれ、ひょう、氷、昆虫の残留物等は、場面からの光をイメージセンサー／光検出器の意図しない／不適切な領域に向けさせる可能性が有り、場面からの光がイメージセンサー／光検出器に到達するのさえも妨げる可能性があり、望ましくないクロストークが発生したり、あるいは光がイメージセンサー／光検出器に到達する前に場面からの光が変更されたりする（例えば、偏光または波長が変更される）可能性がある。このような欠陥により、物体識別／距離検出が不適切になり、または反射信号が完全になくなる可能性がある。自動運転車両の用途では、物体識別／距離検出が不適切であると、交通機関の速度低下または衝突につながる可能性がある。
【0046】
このような欠陥を検出する（そして場合によってはその後修復作業を行う）ために、本明細書に開示の装置は、周囲環境を感知するために使用されるＬｉＤＡＲ装置／カメラの光学構成要素のうちの一つまたは複数の画像を取り込むために使用される別の検出器（例えば、「欠陥検出カメラ」と呼ばれることもある別のカメラ）を備えることができる。欠陥検出カメラによって取り込まれた画像を解析して、特定の光学構成要素に一つまたは複数の欠陥が存在するかどうか、特定の光学構成要素上の一つまたは複数の欠陥の位置、特定の光学構成要素上の一つまたは複数の欠陥のサイズ、および／または特定の光学構成要素上の一つまたは複数の欠陥の種類を判断することができる。さらに、欠陥検出カメラは、周囲環境に関するデータを収集するために使用されるＬｉＤＡＲ装置／カメラに関連付けられた一つまたは複数の検出器に隣接して配置されることができる。追加的にまたは代替的に、専用の欠陥検出カメラを使用する代わりに、本明細書に開示の装置は、欠陥を識別するために検出システム内にすでに存在するセンシング装置（例えば、検出器）を利用することができる。例えば、（例えば、カメラの）イメージセンサーが周囲環境内の物体を識別するために使用されている場合、そのイメージセンサーはまた、カメラの光学構成要素の欠陥を識別するために使用できる画像を取り込むためにも使用されることができる。欠陥検出のための画像は、例えば、物体検出に使用される画像と（例えば、その一部として）連続的にまたは同時に取り込まれることができる。あるいは、一つまたは複数の画像は、（例えば、画像の第一の部分内の）物体検出と（例えば、画像の第二の部分内の）欠陥検出の両方に使用されることができる。
【0047】
いくつかの実施形態では、欠陥検出カメラによって取り込まれた画像は、バックグラウンド光（例えば、グレア）の影響を受けやすい、および／またはバックグラウンド光によって悪影響を受ける可能性がある。例えば、欠陥検出カメラによって取り込まれた画像に太陽が含まれている場合、その画像を使用して光学構成要素に関連する欠陥を検出することが困難である可能性がある。これは、欠陥検出カメラのダイナミックレンジが低い場合（例えば、周囲の場面に存在するダイナミックレンジの強度と比較して低い場合）に特に当てはまる。
【0048】
本明細書に記載の実施形態は、時間的に変調された光シーケンスを使用して監視されている一つまたは複数の光学構成要素を照明することによって、欠陥検出に使用される検出器（例えば、スタンドアロン型の欠陥検出カメラまたはハイブリッド型の物体検出／欠陥検出カメラ）によって取り込まれた画像へのバックグラウンド光の影響を軽減する。時間的に変調された光シーケンスは、波長変調および／または空間変調を含むことができる。時間的に変調された光シーケンスは、欠陥検出カメラのイメージセンサーの近傍に配置された一つまたは複数の光源（例えば、ＬＥＤ）によって提供されることができる。追加的にまたは代替的に、照明は、監視されている一つまたは複数の光学構成要素に隣接して配置される一つまたは複数の光源（例えば、ＬＥＤ）によって行われてもよい。例えば、一つまたは複数の光源は、光信号が欠陥に遭遇しない限り、または欠陥に遭遇するまで、全反射によって光学構成要素（例えば、レンズ）内を伝播する光信号を提供するように配置されてもよく、その場合、光信号は光学構成要素から結合され、欠陥検出カメラに向けられる。
【0049】
光源がどこに配置されているかに関係なく、変調された光シーケンスは、バックグラウンドに対してあらゆる欠陥を強調するために、特定の方式（例えば、符号化）に従って変調されることができる。変調方式に従ってバックグラウンドに対して欠陥を強調できるため、フィルターが欠陥検出カメラで取り込まれた一連の画像（例えばビデオ）に後で適用され、一連の画像内のバックグラウンドから欠陥を分離し（例えば、明確にし）、それによって欠陥をより容易に同定できるようにする。
【0050】
変調方式は、時間的におよび／または空間的に光を変調することができる。例えば、一連の構造化照明を使用して、比較的均一なバックグラウンドに対して光学的欠陥を強調することができる。一実施形態では、例えば、第一の時間工程において、変調方式は、光学構成要素に沿った一連の帯状領域を照明する。その後、第二の時間工程で、変調方式は、一連の帯状領域を反転する（例えば、以前に照明されていた領域が現在照明されず、以前は照明されなかった領域は現在照明されている）ことができる。あるいは、市松模様を使用することもできる。他の構造化照明方式も可能である。一つまたは複数の光源のそれぞれは、監視されている光学構成要素の異なる照明領域（例えば、所定の時間工程で照明されている異なる帯状領域）に対応することができる。さらに、一つまたは複数の光源のそれぞれは、一つまたは複数の光学系（例えば、レンズまたは結合光学系）を備えてもよい。
【0051】
同様に、変調方式は、時間および／または波長で光を変調することができる。例えば、異なる波長（例えば、可視光および／または赤外波長）の一連の照明を使用して、（例えば、時間が経過しても色が変化しない、または時間の経過とともにゆっくりと色が変化する周囲環境内の物体を含む）比較的均一なバックグラウンドに対する光学的欠陥を強調することができる。一実施形態では、例えば、第一の持続時間の緑色照明と、それに続く第二の持続時間の青色照明と、それに続く第三の持続時間の赤色照明とを含む変調方式が使用されてもよい。一つまたは複数の光源のそれぞれは、異なる照明波長に対応してもよい。さらに、一つまたは複数の光源のそれぞれは、一つまたは複数の光学系（例えば、レンズまたはフィルター）を備えてもよい。
【0052】
どの変調方式が使用されるかに関係なく、照明は変調周波数に従って変調されることができる。取り込まれた画像のどの部分がバックグラウンド（例えば、周囲環境）に対応するのか、欠陥がある場合はどの部分が欠陥に対応するのかを明確にするために、この変調周波数は、後で（例えば、欠陥検出カメラによって取り込まれた画像／ビデオを解析するコンピューティングデバイスによって）使用される可能性がある。さらに、いくつかの実施形態では、使用される変調の種類は、欠陥の種類（例えば、欠陥が雨なのか粉塵なのか）を判断するのに役立つことができる。
【0053】
以下の説明及び添付図面は、様々な例示的な実施形態の特徴を明らかにする。提供される実施形態は、例としてのものであり、限定することを意図するものではない。したがって、図面の寸法は、必ずしも縮尺どおりではない。
【0054】
ここで、本開示の範囲内の例示的なシステムをより詳細に説明する。例示的なシステムは、自動車に実装され得るか、又は自動車の形態を採り得る。追加的に、例示的なシステムはまた、車、トラック（例えば、ピックアップトラック、バン、トラクタ、またはトラクタトレーラー）、オートバイ、バス、飛行機、ヘリコプタ、ドローン、芝刈り機、ブルドーザ、ボート、潜水艦、全地形対応車両、スノーモービル、航空機、レクリエーション車両、遊園地車両、農機具又は農業用車両、建設機械又は建設車両、倉庫設備又は倉庫車両、工場設備又は工場車両、トラム、ゴルフカート、電車、トロリー、歩道運搬車両、ロボットデバイスなどの、様々な車両において実装され得るか、又は様々な車両の形態を採り得る。他の車両も同じく可能である。さらに、いくつかの実施形態では、例示的なシステムは、車両を含まない場合がある。
【0055】
ここで図を参照すると、図１は、自律モードで完全に又は部分的に動作するように構成され得る、例示的な車両１００を例解する機能ブロック図である。より具体的には、車両１００は、コンピューティングシステムから制御命令を受信することを通して、人間の相互作用なしに自律モードで動作し得る。自律モードにおける動作の一部として、車両１００は、センサーを使用して、周囲環境の物体を検出し、場合によっては識別して、安全なナビゲーションを可能にし得る。追加的に、例示的な車両１００は、車両１００のいくつかの機能が車両１００の人間の運転手によって制御され、車両１００のいくつかの機能がコンピューティングシステムによって制御される、部分的に自律（すなわち、半自律）モードで動作し得る。例えば、車両１００はまた、運転手がステアリング、加速、及びブレーキなどの車両１００の動作を制御することを可能にするサブシステムを含み得るが、一方で、コンピューティングシステムは、周囲環境内の他の物体（例えば、車両）に基づいて、車線逸脱警告／車線維持支援又はアダプティブクルーズコントロールなどの支援機能を実施する。
【0056】
本明細書に説明されるように、部分的自律運転モードでは、車両が一つ以上の運転動作（例えば、レーンセンタリング、アダプティブクルーズコントロール、先進運転支援システム（ＡＤＡＳ）、または緊急ブレーキを実施するためのステアリング、ブレーキ、及び／又は加速）を支援するが、人間の運転手は、車両の周囲を状況的に認識し、支援された運転動作を監督することが期待される。ここで、車両が特定の状況で全ての運転タスクを実施し得るが、人間の運転手は、必要に応じて制御を行う責任を負うことが期待される。
【0057】
簡略化及び簡潔化のために、様々なシステム及び方法が自律車両と併せて以下に説明されているが、これら又は同様のシステム及び方法は、完全自律運転システム（すなわち、部分的に自律運転システム）のレベルに達しない様々な運転支援システムで使用され得る。米国では、自動車技術者協会（ＳＡＥ）は、車両が運転をどの程度多く、又はどの程度少なく制御するかを示すために、異なるレベルの自動化された運転動作を定義しているが、米国又は他の国における異なる組織が、レベルを異なって分類し得る。より具体的には、本開示のシステム及び方法は、ステアリング、ブレーキ、加速、レーンセンタリング、アダプティブクルーズコントロールなど、及び他の運転手サポートを実装するＳＡＥレベル２の運転支援システムで使用され得る。開示されるシステム及び方法は、限定された（例えば、高速道路）条件下で自律運転が可能なＳＡＥレベル３の運転支援システムで使用され得る。同様に、開示されるシステム及び方法は、ほとんどの通常の運転状況下で自律的に動作し、人間のオペレータの時折の注意のみを必要とする、ＳＡＥレベル４の自動運転システムを使用する車両に使用され得る。全てのそのようなシステムでは、正確なレーン推定は、運転手の入力又は制御（例えば、車両が移動中）なしで自動的に実施され、車両測位及びナビゲーションの改善された信頼性、並びに自律運転、半自律運転、及び他の運転支援システムの全体的な安全性を結果的にもたらす。上記のように、ＳＡＥが自動運転動作のレベルを分類する方式に加えて、米国又は他の国における他の組織は、自動運転動作のレベルを異なって分類し得る。限定されるものではないが、本明細書の開示されるシステム及び方法は、これらの他の組織の自動運転動作のレベルによって定義される運転支援システムに使用され得る。
【0058】
図１に示されるように、車両１００は、推進システム１０２、センサーシステム１０４、制御システム１０６、一つ以上の周辺機器１０８、電源１１０、データストレージ１１４を有するコンピューターシステム１１２（コンピューティングシステムとも称され得る）、及びユーザーインターフェース１１６などの様々なサブシステムを含み得る。他の例では、車両１００は、各々複数の要素を含み得る、より多いか又はより少ないサブシステムを含み得る。車両１００のサブシステム及び構成要素は、様々な方法で相互接続され得る。加えて、本明細書で説明される車両１００の機能は、追加の機能的又は物理的構成要素に分割されるか、又は実施形態内でより少ない機能的若しくは物理的構成要素に組み合わされ得る。例えば、制御システム１０６及びコンピューターシステム１１２は、様々な動作に従って車両１００を動作させる単一のシステムに組み合わされ得る。
【0059】
推進システム１０２は、車両１００に対して動力付き運動を提供するように動作可能な一つ以上の構成要素を含み得、他の可能な構成要素の中でも、エンジン／モーター１１８、エネルギー源１１９、トランスミッション１２０、及び車輪／タイヤ１２１を含み得る。例えば、エンジン／モーター１１８は、エネルギー源１１９を機械的エネルギーに変換するように構成され得、他の可能なオプションの中でも、内燃エンジン、電気モーター、蒸気エンジン、又はスターリングエンジンのうちの一つ又は組み合わせに対応し得る。例えば、いくつかの実施形態では、推進システム１０２は、ガソリンエンジン及び電気モーターなどの多数のタイプのエンジン及び／又はモーターを含み得る。
【0060】
エネルギー源１１９は、完全に又は部分的に、車両１００の一つ以上のシステム（例えば、エンジン／モーター１１８）に動力を供給し得るエネルギー源を表す。例えば、エネルギー源１１９は、ガソリン、ディーゼル、他の石油ベースの燃料、プロパン、他の圧縮ガスベースの燃料、エタノール、ソーラパネル、電池、及び／又は他の電力源に対応することができる。いくつかの実施形態では、エネルギー源１１９は、燃料タンク、電池、コンデンサ、及び／又はフライホイールの組み合わせを含み得る。
【0061】
トランスミッション１２０は、エンジン／モーター１１８からの機械動力を、車輪／タイヤ１２１及び／又は車両１００の他の可能なシステムに伝達し得る。したがって、トランスミッション１２０は、他の可能な構成要素の中でもとりわけ、ギアボックス、クラッチ、ディファレンシャル、及び駆動シャフトを含み得る。駆動シャフトは、一つ以上の車輪／タイヤ１２１に接続する車軸を含み得る。
【0062】
車両１００の車輪／タイヤ１２１は、例示的な実施形態内で様々な構成を有し得る。例えば、車両１００は、他の可能な構成の中でも、一輪車、自転車／オートバイ、三輪車、又は自動車／トラックの四輪の形態で存在し得る。したがって、車輪／タイヤ１２１は、様々な方法で車両１００に接続することができ、金属及びゴムなどの異なる材料で存在することができる。
【0063】
センサーシステム１０４は、他の可能なセンサーの中でも特に、全地球測位システム（ＧＰＳ）１２２、慣性計測装置（ＩＭＵ）１２４、レーダー１２６、ＬｉＤＡＲ１２８、カメラ１３０、ステアリングセンサー１２３、及びスロットル／ブレーキセンサー１２５などの様々なタイプのセンサーを含むことができる。いくつかの実施形態では、センサーシステム１０４は、車両１００の内部システムを監視するように構成されたセンサー（例えば、Ｏ２モニター、燃料計、エンジンオイル温度、またはブレーキ摩耗）も含み得る。
【0064】
ＧＰＳ１２２は、地球に対する車両１００の位置に関する情報を提供するように動作可能なトランシーバを含み得る。ＩＭＵ１２４は、一つ以上の加速度計及び／又はジャイロスコープを使用する構成を有し得、慣性加速度に基づいて車両１００の位置及び配向の変化を感知し得る。例えば、ＩＭＵ１２４は、車両１００が静止しているか、又は動いている間に車両１００のピッチ及びヨーを検出し得る。
【0065】
レーダー１２６は、物体の速さ及び方位を含めて、無線信号を使用して、車両１００の周囲環境内の物体を感知するように構成された一つ以上のシステムを表すことができる。したがって、レーダー１２６は、無線信号を送信及び受信するように構成されたアンテナを含み得る。いくつかの実施形態では、レーダー１２６は、車両１００の周囲環境の測定値を得るように構成された取り付け可能なレーダーに対応し得る。
【0066】
ＬｉＤＡＲ１２８は、他のシステム構成要素の中でも特に、一つ以上のレーザ源、レーザスキャナ、及び一つ以上の検出器を含み得、コヒーレントモード（例えば、ヘテロダイン検出を使用）又はインコヒーレント検出モード（すなわち、飛行時間モード）で動作し得る。いくつかの実施形態では、ＬｉＤＡＲ１２８の一つ以上の検出器は、特に感度の高い検出器（例えば、アバランシェフォトダイオード）であり得る、一つ以上の光検出器を含み得る。いくつかの例では、そのような光検出器は、単一光子（例えば、単一光子アバランシェダイオード（ＳＰＡＤ））を検出することが可能であり得る。さらに、そのような光検出器は、アレイ内に配置され得る（例えば、シリコン光電子増倍管（ＳｉＰＭ）のように）（例えば、直列の電気接続を通して）。いくつかの例では、一つ以上の光検出器は、ガイガーモードで動作するデバイスであり、ＬｉＤＡＲは、そのようなガイガーモード動作のために設計されたサブ構成要素を含む。
【0067】
カメラ１３０は、車両１００の周囲環境の画像を捕捉するように構成された、一つ以上のデバイス（例えば、静止カメラ、ビデオカメラ、熱画像カメラ、ステレオカメラ、またはナイトビジョンカメラ）を含み得る。
【0068】
ステアリングセンサー１２３は、車両１００のステアリング角度を感知し得、これは、ステアリングホイールの角度を測定すること、又はステアリングホイールの角度を表す電気信号を測定することを含み得る。いくつかの実施形態では、ステアリングセンサー１２３は、車両１００の前方軸に対する車輪の角度を検出するなど、車両１００の車輪の角度を測定し得る。ステアリングセンサー１２３はまた、ステアリングホイールの角度、ステアリングホイールの角度を表す電気信号、及び車両１００の車輪の角度の組み合わせ（又はサブセット）を測定するように構成され得る。
【0069】
スロットル／ブレーキセンサー１２５は、車両１００のスロットル位置又はブレーキ位置のいずれかの位置を検出し得る。例えば、スロットル／ブレーキセンサー１２５は、アクセルペダル（スロットル）及びブレーキペダルの両方の角度を測定し得るか、又は、例えば、アクセルペダル（スロットル）の角度及び／又はブレーキペダルの角度を表し電気信号を測定し得る。スロットル／ブレーキセンサー１２５はまた、エンジン／モーター１１８（例えば、バタフライバルブ又はキャブレタ）にエネルギー源１１９のモジュレーションを提供する物理的機構の一部を含み得る、車両１００のスロットルボディの角度を測定し得る。追加的に、スロットル／ブレーキセンサー１２５は、車両１００のロータ上の一つ以上のブレーキパッドの圧力、又はアクセルペダル（スロットル）及びブレーキペダルの角度の組み合わせ（又はサブセット）、アクセルペダル（スロットル）及びブレーキペダルの角度を表す電気信号、スロットルボディの角度、並びに少なくとも一つのブレーキパッドが車両１００のロータに加える圧力、を測定し得る。他の実施形態では、スロットル／ブレーキセンサー１２５は、スロットル又はブレーキペダルなどの車両のペダルに加えられた圧力を測定するように構成され得る。
【0070】
制御システム１０６は、ステアリングユニット１３２、スロットル１３４、ブレーキユニット１３６、センサー融合アルゴリズム１３８、コンピュータービジョンシステム１４０、ナビゲーション／経路探索システム１４２、及び障害物回避システム１４４など、車両１００をナビゲートすることを支援するように構成された構成要素を含み得る。より具体的には、ステアリングユニット１３２は、車両１００の方位を調整するように動作可能であり得、スロットル１３４は、エンジン／モーター１１８の動作スピードを制御して、車両１００の加速を制御し得る。ブレーキユニット１３６は、車両１００を減速することができ、これは、摩擦を使用して車輪／タイヤ１２１を減速することを伴い得る。いくつかの実施形態では、ブレーキユニット１３６は、車両１００の一つ以上のシステムによるその後の使用のために、車輪／タイヤ１２１の運動エネルギーを電流に変換し得る。
【0071】
センサー融合アルゴリズム１３８は、カルマンフィルタ、ベイジアンネットワーク、又はセンサーシステム１０４からのデータを処理することができる他のアルゴリズムを含み得る。いくつかの実施形態では、センサー融合アルゴリズム１３８は、個々の物体及び／若しくは特徴の評価、特定の状況の評価、並びに／又は所与の状況内の可能性のある影響の評価など、着信センサーデータに基づくアセスメントを提供し得る。
【0072】
コンピュータービジョンシステム１４０は、移動中である物体（例えば、他の車両、歩行者、自転車に乗る人、または動物）及び移動中ではない物体（例えば、信号機、車道境界、スピードバンプ、またはくぼみ）を判定するために画像を処理及び分析するように動作可能なハードウェア及びソフトウェア（例えば、中央処理装置（ＣＰＵ）などの汎用プロセッサー、グラフィカルプロセシングユニット（ＧＰＵ）又はテンソルプロセシングユニット（ＴＰＵ）などの専用プロセッサー、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、揮発性メモリ、不揮発性メモリ、または一つ以上の機械学習モデル）を含み得る。したがって、コンピュータービジョンシステム１４０は、物体認識、ストラクチャフロムモーション（ＳＦＭ）、ビデオ追跡、及び、例えば、物体を認識し、環境をマッピングし、物体を追跡し、物体のスピードを推定するためなどにコンピュータービジョンで使用される他のアルゴリズムを使用し得る。
【0073】
ナビゲーション／経路探索システム１４２は、車両１００の運転経路を判定することができ、これは、動作中にナビゲーションを動的に調整することを伴い得る。したがって、ナビゲーション／経路探索システム１４２は、数ある情報源の中でも特に、センサー融合アルゴリズム１３８、ＧＰＳ１２２、及びマップからのデータを使用して、車両１００をナビゲートし得る。障害物回避システム１４４は、センサーデータに基づいて潜在的な障害物を評価し、車両１００のシステムに潜在的な障害物を回避させるか、又は別様に切り抜けさせ得る。
【0074】
図１に示されるように、車両１００はまた、無線通信システム１４６、タッチスクリーン１４８、内部マイクロフォン１５０、及び／又はスピーカー１５２などの周辺機器１０８を含み得る。周辺機器１０８は、ユーザーがユーザーインターフェース１１６と相互作用するための制御又は他の要素を提供し得る。例えば、タッチスクリーン１４８は、車両１００のユーザーに情報を提供し得る。ユーザーインターフェース１１６はまた、タッチスクリーン１４８を介してユーザーからの入力を受け入れ得る。周辺機器１０８はまた、車両１００が、他の車両のデバイスなどのデバイスと通信することを可能にし得る。
【0075】
無線通信システム１４６は、一つ以上のデバイスと直接又は通信ネットワークを介して無線で通信し得る。例えば、無線通信システム１４６は、符号分割多重アクセス（ＣＤＭＡ）、エボリューションデータ最適化（ＥＶＤＯ）、モバイル通信用グローバルシステム（ＧＳＭ）／汎用パケット無線サービス（ＧＰＲＳ）などの３Ｇセルラー通信、又は４Ｇワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（ＷｉＭＡＸ）若しくはロングタームエボリューション（ＬＴＥ）などのセルラー通信、又は５Ｇを使用することができる。代替的に、無線通信システム１４６は、ＷＩＦＩ（登録商標）又は他の可能な接続を使用して無線ローカルエリアネットワーク（ＷＬＡＮ）と通信し得る。無線通信システム１４６はまた、例えば、赤外線リンク、Ｂｌｕｅｔｏｏｔｈ、又はＺｉｇＢｅｅを使用してデバイスと直接通信し得る。様々な車両通信システムなどの他の無線プロトコルが、本開示の文脈内で可能である。例えば、無線通信システム１４６は、車両及び／又は路側給油所間の公共及び／又は私的データ通信を含み得る一つ以上の専用狭域通信（ＤＳＲＣ）デバイスを含み得る。
【0076】
車両１００は、構成要素に電力を供給するための電源１１０を含み得る。電源１１０は、いくつかの実施形態では、再充電可能なリチウムイオン又は鉛蓄電池を含み得る。例えば、電源１１０は、電力を提供するように構成された一つ以上の電池を含み得る。車両１００はまた、他のタイプの電源を使用して得る。例示的な実施形態では、電源１１０とエネルギー源１１９とが、統合されて単一のエネルギー源になり得る。
【0077】
車両１００はまた、そこに説明されている動作などの動作を行うためのコンピューターシステム１１２を含み得る。したがって、コンピューターシステム１１２は、データストレージ１１４などの非一時的なコンピューター可読媒体に記憶された命令１１５を実行するように動作可能な少なくとも一つのプロセッサー１１３（少なくとも一つのマイクロプロセッサーを含み得る）を含み得る。いくつかの実施形態では、コンピューターシステム１１２は、車両１００の個々の構成要素又はサブシステムを分散方式で制御するように機能し得る複数のコンピューティングデバイスを表し得る。
【0078】
いくつかの実施形態では、データストレージ１１４は、図１に関連して上述したものを含めて、車両１００の様々な機能を実行するための、プロセッサー１１３によって実行可能な命令１１５（例えば、プログラム論理）を含み得る。データストレージ１１４は、推進システム１０２、センサーシステム１０４、制御システム１０６、及び周辺機器１０８のうちの一つ以上にデータを送信する、データを受信する、相互作用する、及び／又は制御する命令を含む追加の命令も含み得る。
【0079】
命令１１５に加えて、データストレージ１１４は、情報の中でもとりわけ、道路地図、経路情報などのデータを記憶し得る。そのような情報は、自律モード、半自律モード、及び／又は手動モードにおける車両１００の動作中に、車両１００及びコンピューターシステム１１２によって使用され得る。
【0080】
車両１００は、車両１００のユーザーに情報を提供するか、又は車両１００のユーザーから入力を受信するためのユーザーインターフェース１１６を含み得る。ユーザーインターフェース１１６は、タッチスクリーン１４８上に表示され得るコンテンツ及び／又はインタラクティブ画像のレイアウトを制御する又は制御を可能にし得る。さらに、ユーザーインターフェース１１６は、無線通信システム１４６、タッチスクリーン１４８、マイクロフォン１５０、及びスピーカー１５２などの周辺機器１０８のセット内の一つ以上の入力／出力デバイスを含むことができる。
【0081】
コンピューターシステム１１２は、様々なサブシステム（例えば、推進システム１０２、センサーシステム１０４、または制御システム１０６）から、およびユーザーインターフェース１１６から受信した入力に基づいて、車両１００の機能を制御し得る。例えば、コンピューターシステム１１２は、推進システム１０２及び制御システム１０６によって生成された出力を推定するために、センサーシステム１０４からの入力を利用し得る。実施形態に応じて、コンピューターシステム１１２は、車両１００及びそのサブシステムの多くの態様を監視するように動作可能であり得る。いくつかの実施形態では、コンピューターシステム１１２は、センサーシステム１０４から受信した信号に基づいて、車両１００の一部又は全ての機能を無効にし得る。
【0082】
車両１００の構成要素は、それらのそれぞれのシステム内又は外部の他の構成要素と相互接続された方式で機能するように構成され得る。例えば、例示的な実施形態では、カメラ１３０は、自律又は半自律モードで動作している車両１００の周囲環境の状態に関する情報を表すことができる複数の画像を捕捉することができる。周囲環境の状態は、車両が動作している道路のパラメータを含み得る。例えば、コンピュータービジョンシステム１４０は、道路の複数の画像に基づいて、傾斜（勾配）又は他の特徴を認識することが可能であり得る。追加的に、ＧＰＳ１２２とコンピュータービジョンシステム１４０によって認識された特徴との組み合わせは、具体的な道路パラメータを判定するために、データストレージ１１４に記憶された地図データとともに使用され得る。さらに、レーダー１２６及び／若しくはＬｉＤＡＲ１２８、並びに／又はいくつかの他の環境マッピング、範囲、及び／若しくは測位センサーシステムもまた、車両の周囲についての情報を提供し得る。
【0083】
言い換えると、様々なセンサー（入力指標センサー及び出力指標センサーと呼ぶことができる）とコンピューターシステム１１２との組み合わせが相互作用して、車両を制御するために提供される入力の指標又は車両の周囲の指標を提供することができる。
【0084】
いくつかの実施形態では、コンピューターシステム１１２は、無線システム以外のシステムによって提供されるデータに基づいて、様々な物体に関する判定を行い得る。例えば、車両１００は、車両の視野内の物体を感知するように構成されたレーザ又は他の光学センサーを有し得る。コンピューターシステム１１２は、様々なセンサーからの出力を使用して、車両の視野内の物体に関する情報を判定し得、様々な物体までの距離及び方向情報を判定し得る。コンピューターシステム１１２はまた、様々なセンサーからの出力に基づいて、物体が望ましいか、又は望ましくないかを判定し得る。
【0085】
図１は、車両１００の様々な構成要素（すなわち、無線通信システム１４６、コンピューターシステム１１２、データストレージ１１４、及びユーザーインターフェース１１６）を車両１００に統合されているものとして示しているが、これらの構成要素のうちの一つ以上は、車両１００とは別個に取り付けられるか又は関連付けられ得る。例えば、データストレージ１１４は、部分的又は完全に、車両１００とは別個に存在することができる。したがって、車両１００は、別個に又は一緒に位置し得るデバイス要素の形態で提供され得る。車両１００を構成するデバイス要素は、有線及び／又は無線方式で一緒に通信可能に結合され得る。
【0086】
図２Ａ～２Ｅは、図１を参照して車両１００に関連して説明される機能の一部又は全てを含み得る例示的な車両２００（例えば、完全自律車両、半自律車両）を示す。車両２００は、例解目的で、側面ミラーを有するバンとして図２Ａ～２Ｅに例解されているが、本開示は、そのように限定されるものではない。例えば、車両２００は、トラック、乗用車、セミトレーラートラック、オートバイ、ゴルフカート、オフロード車両、農業用車両、又は本明細書の他の箇所で説明される任意の他の車両（例えば、バス、ボート、飛行機、ヘリコプタ、ドローン、芝刈り機、ブルドーザ、潜水艦、全地形対応車両、スノーモービル、航空機、レクリエーション車両、遊園地車両、農機具、建設機械もしくは建設車両、倉庫設備もしくは倉庫車両、工場設備もしくは工場車両、トラム、電車、トロリー、歩道運搬車両、またはロボットデバイス）を表し得る。
【0087】
例示的な車両２００は、一つ以上のセンサーシステム２０２、２０４、２０６、２０８、２１０、２１２、２１４、及び２１８を含み得る。いくつかの実施形態では、センサーシステム２０２、２０４、２０６、２０８、２１０、２１２、２１４、及び／又は２１８は、一つ以上の光学システム（例えば、カメラ）、一つ以上のＬｉＤＡＲ、一つ以上のレーダー、一つ以上の慣性センサー、一つ以上の湿度センサー、一つ以上の音響センサー（例えば、マイクロフォン、もしくはソナーデバイス）、又は車両２００を取り囲む環境についての情報を感知するように構成された一つ以上の他のセンサーを表し得る。言い換えると、現在既知又は今後作り出される任意のセンサーシステムは、車両２００に結合され得、及び／又は車両２００の様々な動作と併せて利用され得る。一例として、ＬｉＤＡＲは、自動運転、又は車両２００の他のタイプのナビゲーション、計画、知覚、及び／若しくはマッピング動作に利用され得る。加えて、センサーシステム２０２、２０４、２０６、２０８、２１０、２１２、２１４、及び／又は２１８は、本明細書に説明されるセンサー（例えば、一つ以上のＬｉＤＡＲ及びレーダー、一つ以上のＬｉＤＡＲ及びカメラ、一つ以上のカメラ及びレーダー、一つ以上のＬｉＤＡＲ、カメラ、及びレーダー）の組み合わせを表し得る。
【0088】
図２Ａ～Ｅに描写されるセンサーシステム（例えば、２０２、２０４）の数、場所、及びタイプが、自律又は半自律車両のそのようなセンサーシステムの場所、数、及びタイプの非限定的な例として意図されていることに留意されたい。そのようなセンサーの代替的な数、場所、タイプ、及び構成が可能である（例えば、車両サイズ、形状、空気力学、燃料経済、美観、又はコストを低減するか、特殊な環境若しくは適用状況に適合するための他の条件と適合するために）。例えば、センサーシステム（例えば、２０２、２０４）は、車両（例えば、場所２１６にある）上の様々な他の場所に配設され得、車両２００の内部及び／又は周囲環境に対応する視野を有し得る。
【0089】
センサーシステム２０２は、車両２００の上部に取り付けられ、車両２００を取り囲む環境についての情報を検出し、情報の指標を出力するように構成された一つ以上のセンサーを含み得る。例えば、センサーシステム２０２は、カメラ、レーダー、ＬｉＤＡＲ、慣性センサー、湿度センサー、及び音響センサー（例えば、マイクロフォン、ソナーデバイス）の任意の組み合わせを含み得る。センサーシステム２０２は、センサーシステム２０２内の一つ以上のセンサーの配向を調整するように動作可能であり得る一つ以上の可動マウントを含み得る。一実施形態では、可動マウントは、車両２００の周囲の各方向から情報を得るようにセンサーを走査することができる回転プラットフォームを含み得る。別の実施形態では、センサーシステム２０２の可動マウントは、特定の角度及び／又は方位角及び／又は仰角の範囲内で走査するように移動可能であり得る。センサーシステム２０２は、他の取り付け場所も考えられ得るが、車の屋根上に取り付けられ得る。
【0090】
追加的に、センサーシステム２０２のセンサーは、様々な場所に分散され得、単一の場所に併置される必要はない。さらに、センサーシステム２０２の各センサーは、センサーシステム２０２の他のセンサーとは独立して移動又は走査されるように構成され得る。追加的又は代替的に、複数のセンサーは、センサー場所２０２、２０４、２０６、２０８、２１０、２１２、２１４、及び／又は２１８のうちの一つ以上に取り付けられ得る。例えば、センサー場所に取り付けられた二つのＬｉＤＡＲ装置が存在し得、並びに／又はセンサー場所に取り付けられた一つのＬｉＤＡＲ装置及び一つのレーダーが存在し得る。
【0091】
一つ以上のセンサーシステム２０２、２０４、２０６、２０８、２１０、２１２、２１４、及び／又は２１８は、一つ以上のＬｉＤＡＲセンサーを含み得る。例えば、ＬｉＤＡＲセンサーは、所与の平面（例えば、ｘ－ｙ平面）に対してある角度範囲にわたって配設された複数の光エミッタデバイスを含み得る。例えば、センサーシステム２０２、２０４、２０６、２０８、２１０、２１２、２１４、及び／又は２１８のうちの一つ以上は、車両２００を取り囲む環境を光パルスで照明するように、所与の平面に垂直な軸（例えば、ｚ軸）の周りを回転又は枢動するように構成され得る。反射光パルスの様々な態様（例えば、経過した飛行時間、偏光、および／または強度）の検出に基づいて、周囲環境についての情報が判定され得る。
【0092】
例示的な実施形態では、センサーシステム２０２、２０４、２０６、２０８、２１０、２１２、２１４、及び／又は２１８は、車両２００の周囲環境内の物理的物体に関連し得るそれぞれの点群情報を提供するように構成され得る。車両２００、並びにセンサーシステム２０２、２０４、２０６、２０８、２１０、２１２、２１４、及び２１８は、特定の特徴を含むものとして例解されているが、他のタイプのセンサーシステムが本開示の範囲内で企図されることが理解されよう。さらに、例示的な車両２００は、図１の車両１００に関連して説明される構成要素のいずれかを含むことができる。
【0093】
例示的な構成では、一つ以上のレーダーが車両２００上に位置し得る。上記のＲＡＤＡＲ１２６と同様に、一つ以上のＲＡＤＡＲは、電波（例えば、３０Ｈｚ～３００ＧＨｚの周波数を有する電磁波）を送信及び受信するように構成されたアンテナを含み得る。そのような電波は、車両２００の周囲環境内の一つ以上の物体の距離及び／又は速度を判定するために使用され得る。例えば、一つ以上のセンサーシステム２０２、２０４、２０６、２０８、２１０、２１２、２１４、及び／又は２１８は、一つ以上のレーダーを含み得る。いくつかの例では、一つ以上のレーダーが、車両２００の後部付近に位置して（例えば、センサーシステム２０８、２１０）、電波反射物体の存在に関して、車両２００の背面付近の環境を能動的に走査し得る。同様に、一つ以上のレーダーが、車両２００の前方付近に位置して（例えば、センサーシステム２１２、２１４）、車両２００の前方付近の環境を能動的に走査し得る。レーダーは、例えば、車両２００の他の特徴によって塞がれることなく、車両２００の前進路を含む領域を照明するのに好適な場所に位置付けられ得る。例えば、レーダーは、フロントバンパー、フロントヘッドライト、カウル、及び／若しくはフードなどに埋め込まれる、並びに／又はそれらに若しくはそれらの近くに取り付けられ得る。さらに、一つ以上の追加のレーダーは、リアバンパー、サイドパネル、ロッカーパネル、及び／又は車台などに、又はそれらの近くにそのようなデバイスを含めることなどによって、電波反射物体の存在に関して、車両２００の側面及び／又は後方を能動的に走査するように位置し得る。
【0094】
車両２００は、一つ以上のカメラを含み得る。例えば、一つ以上のセンサーシステム２０２、２０４、２０６、２０８、２１０、２１２、２１４、及び／又は２１８は、一つ以上のカメラを含み得る。カメラは、車両２００の周囲環境の複数の画像を捕捉するように構成されている、静止カメラ、ビデオカメラ、熱画像カメラ、ステレオカメラ、ナイトビジョンカメラなどの感光性機器であり得る。この目的のために、カメラは、可視光を検出するように構成され得、追加的又は代替的に、赤外光又は紫外光などのスペクトルの他の部分からの光を検出するように構成され得る。カメラは、二次元検出器であり得、任意選択的に、三次元空間の感度範囲を有し得る。いくつかの実施形態では、カメラは、例えば、カメラから周囲環境内のいくつかの点までの距離を示す二次元画像を生成するように構成された範囲検出器を含み得る。この目的のために、カメラは、一つ以上の範囲検出技法を使用し得る。例えば、カメラは、構造化光技法を使用することによって範囲情報を提供することができ、この構造化光技法では、車両２００が、格子又は市松模様などの所定の光パターンで周囲環境内の物体を照明し、カメラを使用して、環境周囲からの所定の光パターンの反射を検出する。反射光パターンの歪みに基づいて、車両２００は、物体上の点までの距離を判定し得る。所定の光パターンは、赤外光、又はそのような測定に好適な他の波長の放射線を含み得る。いくつかの例では、カメラは、車両２００のフロントガラスの内側に取り付けられ得る。具体的には、カメラは、車両２００の配向に対して前方視から画像を捕捉するように位置付けられ得る。カメラの他の取り付け場所及び視野角も使用され得、車両２００の内部又は外部のいずれであり得る。また、カメラは、調整可能な視野を提供するように動作可能な関連する光学素子を有し得る。さらにまた、カメラは、パン／チルト機構などを介して、カメラの指向角を変えるように、可動マウントを用いて車両２００に取り付けられ得る。
【0095】
車両２００はまた、車両２００の周囲環境を感知するために使用される一つ以上の音響センサーを含み得る（例えば、センサーシステム２０２、２０４、２０６、２０８、２１０、２１２、２１４、２１６、２１８のうちの一つ以上が、一つ以上の音響センサーを含み得る）。音響センサーは、車両２００を取り囲む環境の流体（例えば、空気）中の音響波（すなわち、圧力差）を感知するために使用されるマイクロフォン（例えば、圧電マイクロフォン、コンデンサマイクロフォン、リボンマイクロフォン、および／またはマイクロ電気機械システム（ＭＥＭＳ）マイクロフォン）を含み得る。そのような音響センサーは、車両２００の制御戦略が基づき得る周囲環境中の音（例えば、サイレン、人間の発話、動物の音、および／または警報）を識別するために使用され得る。例えば、音響センサーがサイレン（例えば、移動性サイレン、および／または消防車のサイレン）を検出する場合、車両２００は、減速する、及び／又は道路の縁にナビゲートし得る。
【0096】
図２Ａ～２Ｅには示されていないが、車両２００は、無線通信システム（例えば、図１の無線通信システム１４６と同様の、及び／又は図１の無線通信システム１４６に加えて）を含み得る。無線通信システムは、車両２００の外部又は内部のデバイスと通信するように構成され得る無線送信機及び無線受信機を含み得る。具体的には、無線通信システムは、例えば、車両通信システム又は道路給油所において、他の車両及び／又はコンピューティングデバイスと通信するように構成されたトランシーバを含み得る。このような車両通信システムの例としては、ＤＳＲＣ、無線周波数識別（ＲＦＩＤ）、及びインテリジェントトランスポートシステム向けに提案された他の通信規格が挙げられる。
【0097】
車両２００は、これら示されたものに加えて、又はその代わりに一つ以上の他の構成要素を含み得る。追加の構成要素は、電気的又は機械的機能を含み得る。
【0098】
車両２００の制御システムは、複数の可能な制御戦略の中から制御戦略に従って車両２００を制御するように構成され得る。制御システムは、車両２００に結合されたセンサー（車両２００上又は車両２００外）から情報を受信し、その情報に基づいて制御戦略（及び関連する運転挙動）を修正し、修正された制御戦略に従って車両２００を制御するように構成され得る。制御システムは、センサーから受信した情報を監視し、運転状態を継続的に評価するようにさらに構成され得、また、運転状態の変化に基づいて、制御戦略及び運転挙動を修正するように構成され得る。例えば、一つの目的地から別の目的地までの、車両によって取られる経路は、運転条件に基づいて修正され得る。追加的又は代替的に、速度、加速度、転回角度、車間距離（すなわち、現在の車両の前方の車両までの距離）、レーン選択などは、全て、運転条件の変化に応答して修正され得る。
【0099】
上記のように、いくつかの実施形態では、車両２００は、バンの形態を採り得るが、代替形態もまた可能であり、本明細書で企図される。したがって、図２Ｆ～２Ｉは、車両２５０がセミトラックの形態を採る実施形態を例解する。例えば、図２Ｆは、車両２５０の正面図を例解し、図２Ｇは、車両２５０の等角図を例解する。車両２５０がセミトラックである実施形態では、車両２５０は、トラクタ部分２６０及びトレーラー部分２７０（図２Ｇに例解される）を含み得る。図２Ｈ及び２Ｉは、それぞれ、トラクタ部分２６０の側面図及び上面図を提供する。上記に例解される車両２００と同様に、図２Ｆ～２Ｉに例解される車両２５０はまた、様々なセンサーシステム（例えば、図２Ａ～２Ｅを参照して示され、説明されるセンサーシステム２０２、２０６、２０８、２１０、２１２、２１４と同様）を含み得る。いくつかの実施形態では、図２Ａ～２Ｅの車両２００は、いくつかのセンサーシステム（例えば、センサーシステム２０４）の単一コピーのみを含み得るが、図２Ｆ～２Ｉに例解される車両２５０は、そのセンサーシステム（例えば、例解されるように、センサーシステム２０４Ａ及び２０４Ｂ）の複数のコピーを含み得る。
【0100】
図面及び全体的説明は、所与の車両形態（例えば、セミトラック車両２５０又はバン車両２００）を参照し得るが、本明細書に説明される実施形態は、様々な車両の文脈（例えば、車両のフォームファクタを考慮するために採用される修正を用いて）で等しく適用され得ることが理解される。例えば、バン車両２００の一部であるとして説明又は例解されるセンサー及び／又は他の構成要素もまた、セミトラック車両２５０で使用され得る（例えば、ナビゲーション並びに／又は障害物検出及び回避のために）。
【0101】
図２Ｊは、様々なセンサー視野（例えば、上記の車両２５０と関連付けられる）を例解する。上記のように、車両２５０は、複数のセンサー／センサーユニットを含有し得る。様々なセンサーの場所は、例えば、図２Ｆ～２Ｉに開示されるセンサーの場所に対応し得る。しかしながら、場合によっては、センサーは、他の場所を有し得る。図面の簡略化のために、センサー場所参照番号は、図２Ｊから省略される。車両２５０の各センサーユニットについて、図２Ｊは、代表的な視野（例えば、２５２Ａ、２５２Ｂ、２５２Ｃ、２５２Ｄ、２５４Ａ、２５４Ｂ、２５６、２５８Ａ、２５８Ｂ、及び２５８Ｃとしてラベル付けされた視野）を例解する。センサーの視野は、センサーが物体を検出し得る角度領域（例えば、方位角領域及び／又は仰角領域）を含み得る。
【0102】
図２Ｋは、例示的な実施形態による、車両（例えば、図２Ｆ～２Ｊを参照して示され、説明される車両２５０）のセンサーに対するビームステアリングを例解する。様々な実施形態では、車両２５０のセンサーユニットは、レーダー、ＬｉＤＡＲ、ソナーなどであり得る。さらに、いくつかの実施形態では、センサーの動作中、センサーは、センサーの視野内で走査され得る。例示的なセンサーに対する様々な異なる走査角度が、領域２７２として示されており、各々は、センサーが動作している角度領域を示す。センサーは、それが動作している領域を、定期的に又は反復的に変化させ得る。いくつかの実施形態では、複数のセンサーが、領域２７２を測定するために車両２５０によって使用され得る。加えて、他の領域が、他の例に含まれ得る。例えば、一つ以上のセンサーは、車両２５０のトレーラー２７０の態様及び／又は車両２５０の前方の領域を測定し得る。
【0103】
いくつかの角度において、センサーの動作領域２７５は、トレーラー２７０の後輪２７６Ａ、２７６Ｂを含み得る。したがって、センサーは、動作中に後輪２７６Ａ及び／又は後輪２７６Ｂを測定し得る。例えば、後輪２７６Ａ、２７６Ｂは、センサーによって送信されたＬｉＤＡＲ信号又はレーダー信号を反射し得る。センサーは、後輪２７６Ａ、２７６から反射された信号を受信し得る。それゆえに、センサーによって収集されるデータは、車輪からの反射からのデータを含み得る。
【0104】
センサーがレーダーであるときなどの、いくつかの事例では、後輪２７６Ａ、２７６Ｂからの反射は、受信されたレーダー信号内のノイズとして現れ得る。結果として、レーダーは、後輪２７６Ａ、２７６Ｂが、センサーから離れるようにレーダー信号を向ける事例では、増強された信号対雑音比で動作し得る。
【0105】
図３は、例示的な実施形態による、自律又は半自律車両に関連する様々なコンピューティングシステム間の無線通信の概念例解図である。特に、無線通信は、ネットワーク３０４を介して、リモートコンピューティングシステム３０２と車両２００との間で発生し得る。無線通信はまた、サーバーコンピューティングシステム３０６とリモートコンピューティングシステム３０２との間、及びサーバーコンピューティングシステム３０６と車両２００との間でも発生し得る。
【0106】
車両２００は、場所間で乗客又は物体を輸送することができる様々なタイプの車両に対応することができ、上で考察される車両のうちの任意の一つ以上の形態を採り得る。場合によっては、車両２００は、制御システムがセンサー測定値を使用して目的地間で車両２００を安全にナビゲートすることを可能にする自律又は半自律モードで動作し得る。自律又は半自律モードで動作しているとき、車両２００は、乗客の有無にかかわらずナビゲートし得る。結果として、車両２００は、所望の目的地間で乗客を拾い、降ろし得る。
【0107】
リモートコンピューティングシステム３０２は、本明細書で説明されるものを含むがこれに限定されないリモートアシスタンス技術に関連する任意のタイプのデバイスを表し得る。例の中で、リモートコンピューティングシステム３０２は、（ｉ）車両２００に関係する情報を受信し、（ｉｉ）インターフェースを提供し、それを通して、次に人間のオペレータが情報に気付き、情報に関係する応答を入力することができ、（ｉｉｉ）応答を車両２００に、又は他のデバイスに送信するように構成された任意のタイプのデバイスを表し得る。リモートコンピューティングシステム３０２は、ワークステーション、デスクトップコンピューター、ラップトップ、タブレット、携帯電話（例えば、スマートフォン）、及び／又はサーバーなどの、様々な形態を採り得る。いくつかの例では、リモートコンピューティングシステム３０２は、ネットワーク構成で一緒に動作する複数のコンピューティングデバイスを含み得る。
【0108】
リモートコンピューティングシステム３０２は、車両２００のサブシステム及び構成要素と同様又は同一の一つ以上のサブシステム及び構成要素を含み得る。少なくとも、リモートコンピューティングシステム３０２は、本明細書で説明する様々な動作を実行するように構成されたプロセッサーを含むことができる。いくつかの実施形態では、リモートコンピューティングシステム３０２は、タッチスクリーン及びスピーカーなどの入力／出力デバイスを含むユーザーインターフェースも含み得る。他の例も同じく可能である。
【0109】
ネットワーク３０４は、リモートコンピューティングシステム３０２と車両２００との間の無線通信を可能にするインフラストラクチャを表す。ネットワーク３０４はまた、サーバーコンピューティングシステム３０６とリモートコンピューティングシステム３０２との間、及びサーバーコンピューティングシステム３０６と車両２００との間の無線通信を可能にする。
【0110】
リモートコンピューティングシステム３０２の位置は、例の範囲内で変わることができる。例えば、リモートコンピューティングシステム３０２は、ネットワーク３０４を介した無線通信を有する車両２００からリモート位置にあり得る。別の例では、リモートコンピューティングシステム３０２は、車両２００とは別個であるが、人間のオペレータが車両２００の乗客又は運転手と相互作用することができる、車両２００内のコンピューティングデバイスに対応し得る。いくつかの例では、リモートコンピューティングシステム３０２は、車両２００の乗客によって操作可能なタッチスクリーンを備えたコンピューティングデバイスであり得る。
【0111】
いくつかの実施形態では、リモートコンピューティングシステム３０２によって行われる本明細書で説明される動作は、追加的又は代替的に、車両２００によって（すなわち、車両２００の任意のシステム又はサブシステムによって）行われ得る。言い換えると、車両２００は、車両の運転手又は乗客が相互作用することができるリモートアシスタンス機構を提供するように構成され得る。
【0112】
サーバーコンピューティングシステム３０６は、ネットワーク３０４を介してリモートコンピューティングシステム３０２及び車両２００と（又は、場合によっては、リモートコンピューティングシステム３０２及び／若しくは車両２００と直接）無線通信するように構成され得る。サーバーコンピューティングシステム３０６は、車両２００及びそのリモートアシスタンスに関する情報を受信し、記憶し、判定し、かつ／又は送信するように構成された任意のコンピューティングデバイスを表し得る。このように、サーバーコンピューティングシステム３０６は、リモートコンピューティングシステム３０２及び／又は車両２００によって行われるものとして本明細書で説明される任意の動作又はそのような動作の部分を行うように構成され得る。リモートアシスタンスに関連する無線通信のいくつかの実施形態では、サーバーコンピューティングシステム３０６を利用できるが、他の実施形態では利用できない。
【0113】
サーバーコンピューティングシステム３０６は、本明細書に説明される様々な動作を行うように構成されたプロセッサー、並びにリモートコンピューティングシステム３０２及び車両２００から情報を受信し、それらに情報を提供するための無線通信インターフェースなどの、リモートコンピューティングシステム３０２及び／又は車両２００のサブシステム及び構成要素と同様又は同一の一つ以上のサブシステム及び構成要素を含み得る。
【0114】
上記の様々なシステムは、様々な動作を行い得る。ここで、これらの動作及び関連する特徴について説明する。
【0115】
上の考察に沿えば、コンピューティングシステム（例えば、リモートコンピューティングシステム３０２、サーバーコンピューティングシステム３０６、車両２００にローカルなコンピューティングシステム）は、カメラを使用して自律又は半自律車両の周囲環境の画像を捕捉するように動作し得る。概して、少なくとも一つのコンピューティングシステムが画像を分析して、可能であれば自律又は半自律車両を制御することができる。
【0116】
いくつかの実施形態では、自律又は半自律動作を容易にするために、車両（例えば、車両２００）は、車両を取り囲む環境内の物体を表すデータ（本明細書では「環境データ」とも称される）を様々な方式で受信し得る。車両のセンサーシステムは、周囲環境の物体を表す環境データを提供し得る。例えば、車両は、カメラ、レーダー、ＬｉＤＡＲ、マイクロフォン、無線ユニット、及び他のセンサーを含む様々なセンサーを有し得る。これらのセンサーの各々は、各それぞれのセンサーが受信する情報について、環境データを車両内のプロセッサーに通信し得る。
【0117】
一例では、カメラが、静止画像及び／又はビデオを捕捉するように構成され得る。いくつかの実施形態では、車両は、異なる配向に位置付けられた二つ以上のカメラを有し得る。また、いくつかの実施形態では、カメラは、異なる方向で画像及び／又はビデオを捕捉するために移動することが可能であり得る。カメラは、車両の処理システムによる後の処理のために、捕捉された画像及びビデオをメモリに記憶するように構成され得る。捕捉された画像及び／又はビデオは、環境データであり得る。さらに、カメラは、本明細書で説明されるようなイメージセンサーを含み得る。
【0118】
別の例では、レーダーが、車両の近くの様々な物体によって反射される電磁信号を送信し、次いで物体から反射する電磁信号を捕捉するように構成され得る。捕捉された反射電磁信号は、レーダー（又は処理システム）が電磁信号を反射した物体について様々な判定を行うことを可能にし得る。例えば、様々な反射物体までの距離及び位置が判定され得る。いくつかの実施形態では、車両は、異なる配向に二つ以上のレーダーを有し得る。レーダーは、車両の処理システムによる後の処理のために、捕捉された情報をメモリに記憶するように構成され得る。レーダーによって捕捉された情報は、環境データであり得る。
【0119】
別の例では、ＬｉＤＡＲが、車両近くの標的物体によって反射される電磁信号（例えば、気体若しくはダイオードレーザ、又は他の可能な光源からのものなどの赤外光）を送信するように構成され得る。ＬｉＤＡＲは、反射された電磁（例えば、赤外光）信号を取得することが可能であり得る。捕捉された反射電磁信号は、測距システム（又は処理システム）が様々な物体までの距離を判定することを可能にし得る。ＬｉＤＡＲはまた、標的物体の速度又はスピードを判定することができ、それを環境データとして記憶することができる。
【0120】
追加的に、一例では、マイクロフォンが、車両の周囲の環境のオーディオを捕捉するように構成され得る。マイクロフォンで捕捉された音は、緊急車両のサイレン及び他の車両の音を含み得る。例えば、マイクロフォンは、救急車、消防自動車、警察車両のサイレンの音を捕捉し得る。処理システムは、捕捉されたオーディオ信号が緊急車両を示していることを識別することが可能であり得る。別の例では、マイクロフォンは、オートバイからの排気など、別の車両の排気の音を捕捉し得る。処理システムは、捕捉されたオーディオ信号がオートバイを示していることを識別することが可能であり得る。マイクロフォンによって捕捉されたデータは、環境データの一部分を形成し得る。
【0121】
さらに別の例では、ラジオユニットが、Ｂｌｕｅｔｏｏｔｈ信号、８０２．１１信号、及び／又は他の無線技術信号の形態を採り得る電磁信号を送信するように構成され得る。第一の電磁放射信号は、無線ユニットに位置する一つ以上のアンテナを介して送信され得る。さらに、第一の電磁放射信号は、多くの異なる無線信号モードのうちの一つで送信され得る。しかしながら、いくつかの実施形態では、自律又は半自律車両の近くに位置するデバイスからの応答を要求する信号モードで第一の電磁放射信号を送信することが望ましい。処理システムは、ラジオユニットに返信された応答に基づいて近くのデバイスを検出し、この通信された情報を環境データの一部分として使用することが可能であり得る。
【0122】
いくつかの実施形態では、処理システムは、車両の周囲環境をさらに判定するために、様々なセンサーからの情報を組み合わせることが可能であり得る。例えば、処理システムは、レーダー情報及び捕捉された画像の両方からのデータを組み合わせて、別の車両又は歩行者が自律又は半自律車両の前にいるかどうかを判定し得る。他の実施形態では、センサーデータの他の組み合わせが、処理システムによって使用されて、周囲環境についての判定を行い得る。
【0123】
自律モード（又は半自律モード）で動作している間、車両はほとんど又はまったく人間の入力なしでその動作を制御し得る。例えば、人間のオペレータが住所を車両に入力した場合、車両は、人間からの更なる入力なしに（例えば、人間がブレーキ／アクセルペダルを操縦したり触れたりする必要がなく）、指定された目的地まで運転することが可能であり得る。さらに、車両が自律的又は半自律的に動作している間、センサーシステムは、環境データを受信している場合がある。車両の処理システムは、様々なセンサーから受信した環境データに基づいて車両の制御を変更し得る。一部の実施例では、車両は、様々なセンサーからの環境データに応答して車両の速度を変更しうる。車両は、障害物を回避し、交通法に従うなどのために速度を変えうる。車両での処理システムが車両の近くの物体を識別すると、車両は速度を変更するか、または別の方法で動きを変えることが可能でありうる。
【0124】
車両が物体を検出したが物体の検出に十分自信がない場合、車両は、人間のオペレータ（若しくはより強力なコンピューター）に、（ｉ）物体が実際に周囲環境内に存在するかどうかを確認する（例えば、実際に一時停止標識があるか、若しくは実際に一時停止標識がないか）、（ｉｉ）車両の物体の識別が正しいかどうかを確認する、（ｉｉｉ）識別が正しくなかった場合、識別を訂正する、及び／又は（ｉｖ）自律又は半自律車両に対して補足的な命令を提供する（若しくは現在の命令を修正する）などの、一つ以上のリモートアシスタンスタスクを行うよう要求することができる。リモートアシスタンスタスクにはまた、人間のオペレータが車両の動作を制御するための命令を提供する（例えば、人間のオペレータが、物体は一時停止標識であると判定した場合、一時停止標識で停止するよう車両に命令する）ことが含まれるが、いくつかのシナリオでは、物体の識別に関連する人間のオペレータのフィードバックに基づいて、車両自体が自身の動作を制御する場合がある。
【0125】
これを容易にするために、車両は、周囲環境の物体を表す環境データを分析して、閾値未満の検出信頼度を有する少なくとも一つの物体を判定し得る。車両のプロセッサーは、様々なセンサーからの環境データに基づいて周囲環境の様々な物体を検出するように構成され得る。例えば、一実施形態では、プロセッサーは、車両が認識するのに重要であり得る物体を検出するように構成され得る。このような物体には、歩行者、自転車に乗る人、街路標識、他の車両、他の車両のインジケータ信号、及び捕捉された環境データで検出された他の様々な物体が含まれ得る。
【0126】
検出信頼度は、判定された物体が周囲環境内で正しく識別されている、又は周囲環境内に存在している可能性を示し得る。例えば、プロセッサーは、受信した環境データにおける画像データ内の物体の物体検出を行い、少なくとも一つの物体が、閾値を超える検出信頼度を有すると識別することができないことに基づいて、その物体が閾値を下回る検出信頼度を有すると判定し得る。物体の物体検出又は物体認識の結果が決定的でない場合、検出信頼度が低いか、又は設定閾値を下回っている場合がある。
【0127】
車両は、環境データのソースに応じて、様々な方法で周囲環境の物体を検出し得る。いくつかの実施形態では、環境データは、カメラから来る、画像又はビデオデータであり得る。他の実施形態では、環境データはＬｉＤＡＲから来る場合がある。車両は、捕捉された画像又はビデオデータを分析して、画像又はビデオデータ内の物体を識別し得る。方法及び装置は、周囲環境の物体があるかについて、画像及び／又はビデオデータを監視するように構成され得る。他の実施形態では、環境データは、レーダー、オーディオ、又は他のデータであり得る。車両は、レーダー、オーディオ、又は他のデータに基づいて周囲環境の物体を識別するように構成され得る。
【0128】
いくつかの実施形態では、物体を検出するために車両が使用する技術は、既知のデータのセットに基づき得る。例えば、環境物体に関連するデータは、車両に位置するメモリに記憶され得る。車両は、受信したデータを記憶されたデータと比較して、物体を判定し得る。他の実施形態では、車両は、データの文脈に基づいて物体を判定するように構成され得る。例えば、工事に関連する街路標識は、概してオレンジ色を有し得る。したがって、車両は、道路脇近くに位置するオレンジ色の物体を、工事関連の街路標識として検出するように構成され得る。追加的に、車両の処理システムは、捕捉されたデータ内の物体を検出すると、それはまた各物体の信頼度を計算することができる。
【0129】
さらに、車両はまた、信頼度閾値を有し得る。信頼度閾値は、検出される物体のタイプに応じて異なり得る。例えば、別の車両のブレーキライトなど、車両からの迅速な応答アクションを要求し得る物体については、信頼度閾値が低くなり得る。しかしながら、他の実施形態では、検出された全ての物体について、信頼度閾値が同じであり得る。検出された物体に関連付けられた信頼度が信頼度閾値より高い場合、車両は、物体が正しく認識されたと想定し、その想定に基づいて車両の制御を応答的に調整し得る。
【0130】
検出された物体と関連付けられた信頼度が信頼度閾値より低い場合、車両が講じるアクションは変わり得る。いくつかの実施形態では、車両は、低い信頼度レベルにもかかわらず、検出された物体が存在するかのように反応することがある。他の実施形態では、車両は、検出された物体が存在しないかのように反応することがある。
【0131】
車両は、周囲環境の物体を検出すると、特定の検出された物体と関連付けられた信頼度も計算することができる。信頼度は、実施形態に応じて様々な方法で計算され得る。一例では、周囲環境の物体を検出すると、車両は、環境データを既知の物体に関連する所定のデータと比較し得る。環境データと所定のデータとの一致が近いほど、信頼度はより高くなる。他の実施形態では、車両は、環境データの数学的分析を使用して、物体と関連付けられた信頼度を判定し得る。
【0132】
物体が閾値を下回る検出信頼度を有するとの判定に応答して、車両は、リモートコンピューティングシステムに、物体の識別とともにリモートアシスタンスの要求を送信し得る。上で考察されるように、リモートコンピューティングシステムは、様々な形態を採り得る。例えば、リモートコンピューティングシステムは、車両とは別個の車両内のコンピューティングデバイスであるが、それによって人間のオペレータが車両の乗客又は運転手と相互作用することができる、リモートアシスタンス情報を表示するためのタッチスクリーンインターフェースなどであり得る。追加的又は代替的に、別の例として、リモートコンピューティングシステムは、車両の近くではない場所に位置するリモートコンピューター端末又は他のデバイスであり得る。
【0133】
リモートアシスタンスの要求は、画像データ、オーディオデータなどの、物体を含む環境データを含み得る。車両は、ネットワーク（例えば、ネットワーク３０４）上で、いくつかの実施形態では、サーバー（例えば、サーバーコンピューティングシステム３０６）を介してリモートコンピューティングシステムに環境データを送信し得る。リモートコンピューティングシステムの人間のオペレータは、次に、要求に応答するための基礎として環境データを使用し得る。
【0134】
いくつかの実施形態では、物体が信頼度閾値を下回る信頼度を有するとして検出された場合、物体には予備識別が与えられ得、車両は、予備識別に応答して車両の動作を調整するように構成され得る。そのような動作の調整は、他の可能な調整の中でも特に、車両を停止する、車両を人間制御モードに切り替える、車両の速度（例えば、スピード及び／又は方向）を変更するという形態を採り得る。
【0135】
他の実施形態では、車両が閾値を満たす、又は超える信頼度を有する物体を検出した場合でも、車両は検出された物体に従って動作し得る（例えば、物体が一時停止標識として高い信頼度で識別された場合に停止する）が、車両が検出された物体に従って動作するのと同時に（又は後で）リモートアシスタンスを要求するように構成され得る。
【0136】
図４Ａは、例示的な実施形態による、システムのブロック図である。特に、図４Ａは、システムコントローラー４０２、ＬｉＤＡＲ装置４１０、複数のセンサー４１２、及び複数の制御可能な構成要素４１４を含むシステム４００を示す。システムコントローラー４０２は、プロセッサー４０４、メモリ４０６、及びメモリ４０６上に記憶され、機能を実施するためにプロセッサー４０４によって実行可能な命令４０８を含む。
【0137】
プロセッサー４０４は、一つ以上の汎用マイクロプロセッサー（例えば、シングルコア又はマルチコアを有する）及び／又は一つ以上の専用マイクロプロセッサーなどの一つ以上のプロセッサーを含み得る。一つ以上のプロセッサーは、例えば、一つ以上の中央処理装置（ＣＰＵ）、一つ以上のマイクロコントローラー、一つ以上のグラフィカルプロセシングユニット（ＧＰＵ）、一つ以上のテンソルプロセシングユニット（ＴＰＵ）、一つ以上のＡＳＩＣ、及び／又は一つ以上のフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含み得る。ソフトウェア命令を実行するように構成される他のタイプのプロセッサー、コンピューター、又はデバイスもまた、本明細書において企図される。
【0138】
メモリ４０６は、限定なしで、リードオンリーメモリ（ＲＯＭ）、プログラマブルリードオンリーメモリ（ＰＲＯＭ）、消去可能なプログラマブルリードオンリーメモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、不揮発性ランダムアクセスメモリ（例えば、フラッシュメモリ）、固体ドライブ（ＳＳＤ）、ハードディスクドライブ（ＨＤＤ）、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、デジタルテープ、リード／ライト（Ｒ／Ｗ）ＣＤ、Ｒ／Ｗ ＤＶＤなどを含み得る、非一時的なコンピューター可読媒体などのコンピューター可読媒体を含み得る。
【0139】
以下でさらに説明されるＬｉＤＡＲ装置４１０は、光を放出する（例えば、光パルスで）ように構成された複数の光エミッター、及び光（例えば、光パルスの反射部分）を検出するように構成された一つ以上の光検出器を含む。ＬｉＤＡＲ装置４１０は、光検出器の出力から三次元（３Ｄ）点群データを生成し、３Ｄ点群データをシステムコントローラー４０２に提供し得る。システムコントローラー４０２は、次に、３Ｄ点群データ上で動作を実施して、周囲環境（例えば、周囲環境内の物体の相対位置、エッジ検出、物体検出、および／または近接感知）の特性を判定し得る。
【0140】
同様に、システムコントローラー４０２は、複数のセンサー４１２からの出力を使用して、システム４００の特性及び／又は周囲環境の特性を判定し得る。例えば、センサー４１２は、ＧＰＳ、ＩＭＵ、画像捕捉デバイス（例えば、カメラ）、光センサー、熱センサー、並びにシステム４００及び／又は周囲環境に関連するパラメータを示す他のセンサーのうちの一つ以上を含み得る。ＬｉＤＡＲ装置４１０は、例として、センサー４１２とは別個のものとして描写されており、いくつかの例では、センサー４１２の一部として、又はセンサー４１２としてみなされ得る。
【0141】
システム４００並びに／又はＬｉＤＡＲ装置４１０及びセンサー４１２からの出力に基づいてシステムコントローラー４０２によって判定された周囲環境の特性に基づいて、システムコントローラー４０２は、制御可能な構成要素４１４を制御して、一つ以上のアクションを実施し得る。例えば、システム４００は、車両に対応し得、その場合、制御可能な構成要素４１４は、車両のブレーキシステム、転回システム、及び／又は加速システムを含み得、システムコントローラー４０２は、ＬｉＤＡＲ装置４１０及び／又はセンサー４１２から判定された特性（例えば、システムコントローラー４０２が車両を自律又は半自律モードで制御するとき）に基づいて、これらの制御可能な構成要素の態様を変更し得る。例の中で、ＬｉＤＡＲ装置４１０及びセンサー４１２はまた、システムコントローラー４０２によって制御可能である。
【0142】
図４Ｂは、例示的な実施形態による、ＬｉＤＡＲ装置のブロック図である。特に、図４Ｂは、複数の光エミッター４２４及び一つ以上の光検出器、例えば、複数の光検出器４２６を制御するように構成されたコントローラー４１６を有する、ＬｉＤＡＲ装置４１０を示す。ＬｉＤＡＲ装置４１０は、複数の光エミッター４２４のそれぞれの光エミッターへの電力を選択及び提供するように構成されたファイアリング回路４２８をさらに含み、複数の光検出器４２６のそれぞれの光検出器を選択するように構成されたセレクタ回路４３０を含み得る。コントローラー４１６は、プロセッサー４１８、メモリ４２０、及びメモリ４２０上に記憶された命令４２２を含む。
【0143】
プロセッサー４０４と同様に、プロセッサー４１８は、一つ以上の汎用マイクロプロセッサー及び／又は一つ以上の専用マイクロプロセッサーなどの一つ以上のプロセッサーを含み得る。一つ以上のプロセッサーは、例えば、一つ以上のＣＰＵ、一つ以上のマイクロコントローラー、一つ以上のＧＰＵ、一つ以上のＴＰＵ、一つ以上のＡＳＩＣ、及び／又は一つ以上のＦＰＧＡを含み得る。ソフトウェア命令を実行するように構成される他のタイプのプロセッサー、コンピューター、又はデバイスもまた、本明細書において企図される。
【0144】
メモリ４０６と同様に、メモリ４２０は、限定されるものではないが、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、不揮発性ランダムアクセスメモリ（例えば、フラッシュメモリ）、ＳＳＤ、ＨＤＤ、ＣＤ、ＤＶＤ、デジタルテープ、Ｒ／Ｗ ＣＤ、Ｒ／Ｗ ＤＶＤなどの非一時的コンピューター可読媒体などのコンピューター可読媒体を含み得る。
【0145】
命令４２２は、メモリ４２０上に記憶され、プロセッサー４１８によって実行可能であり、３Ｄ点群データを生成するために、及び３Ｄ点群データを処理するために（又はシステムコントローラー４０２などの別のコンピューティングデバイスによって３Ｄ点群データを処理することをおそらく容易にするために）、ファイアリング回路４２８及びセレクタ回路４３０を制御することに関連する機能を実施する。
【0146】
コントローラー４１６は、光のパルスを放出するために、光エミッター４２４を使用することによって、３Ｄ点群データを判定し得る。放出時間は、各光エミッターに対して確立され、放出時間の相対場所も追跡される。様々な物体などのＬｉＤＡＲ装置４１０の周囲環境の態様は、光のパルスを反射する。例えば、ＬｉＤＡＲ装置４１０が道路を含む周囲環境にある場合、そのような物体は、車両、標識、歩行者、路面、建設用コーンなどを含み得る。いくつかの物体は、反射光の強度が光パルスを反射する物体のタイプを示し得るように、他のものよりもより反射性が高い場合がある。さらに、物体の表面は、ＬｉＤＡＲ装置４１０に対して異なる位置にあり、したがって、光パルスの一部分を反射して、ＬｉＤＡＲ装置４１０に戻すのに多少の時間がかかり得る。したがって、コントローラー４１６は、反射光パルスが光検出器によって検出される検出時間、及び検出時間における光検出器の相対位置を追跡し得る。放出時間と検出時間との間の時間差を測定することによって、コントローラー４１６は、光パルスが受信される前にどの程度の距離を移動するか、したがって、対応する物体の相対距離を判定し得る。放出時間及び検出時間における相対位置を追跡することによって、コントローラー４１６は、ＬｉＤＡＲ装置４１０に対する光パルス及び反射光パルスの配向、したがって、物体の相対的な配向を判定し得る。受信された光パルスの強度を追跡することによって、コントローラー４１６は、物体がどの程度反射するかを判定し得る。この情報に基づいて判定される３Ｄ点群データは、したがって、検出された反射光パルス（例えば、デカルト座標系などの座標系内などの）の相対位置及び各反射光パルスの強度を示し得る。
【0147】
ファイアリング回路４２８は、光パルスを放出するための光エミッターを選択するために使用される。同様に、セレクタ回路４３０は、光検出器からの出力をサンプリングするために使用される。
【0148】
上記のように、さまざまな種類の欠陥が、センシング装置（ＬｉＤＡＲ装置またはカメラ）によって行われる測定に悪影響を及ぼす可能性がある。例えば、一部のセンシング装置は、一つまたは複数の光学構成要素（例えば、レンズ、ミラー、導波路、および／またはウィンドウ）を含む場合があり、そのような光学構成要素内またはその一部上に一つまたは複数の欠陥があると、周囲環境の不適切な検出を引き起こす可能性がある。例えば、光学窓（例えば、カメラまたはＬｉＤＡＲが周囲環境の画像を取り込む光学素子）が、光学窓の一つもしくは複数の部分内（例えば、本体内部）の、一つまたは複数の引っかき傷、亀裂、汚れ、変形、気泡、不純物（例えば、光学ウィンドウのガラスもしくはプラスチック内の化学的不純物）、劣化（例えば、経時的な光学特性の低下）、変色、不完全な透明性、またはゆがみから悪い影響を受ける場合がある。追加的または代替的に、このような光学窓は、光学窓の一つまたは複数の部分上に（例えば、周囲環境と接する光学窓の一つまたは複数の部分上に、すなわち光学窓の一つまたは複数の外側部分上に）水滴、汚れ、ほこり、泥、落ち葉、雨、雪、みぞれ、ひょう、氷、または昆虫の残留物（つまり、昆虫の死骸の残骸）から悪い影響を受ける可能性がある。他の種類の欠陥の可能性もあり、本明細書で考慮されることが理解される。さらに、このような欠陥は、光信号を減衰させ、光信号を不明瞭にし、光信号を遮断し、光信号を散乱させ、光信号の方向を変え、あるいは周囲環境から受信する光信号と干渉する可能性がある。
【0149】
図５Ａは、システム４００の光学構成要素５０４（例えば、光学窓）上の欠陥５０２から悪い影響を受けている例示的なシステム（例えば、図４Ａを参照して示され説明されたシステム４００）を示す。欠陥５０２は、光学構成要素５０４の外側上の単一の葉として示されているが、これは単に例示を目的として示されており、（例えば、光学構成要素５０４上または光学構成要素５０４内に）任意の数および／または種類の欠陥の可能性もあることが理解される。例示するように、欠陥５０２は、光エミッター（例えば、図４Ｂに示され例示されるようなＬｉＤＡＲ装置４１０の光エミッター４２４）によって発せられる光信号、および／または光検出器（例えば、図４Ｂに示され例示されるＬｉＤＡＲ装置４１０の光検出器４２６）によって検出されようとしている光信号と干渉する可能性がある。したがって、図５Ａに示すように、欠陥５０２は、光エミッター４２４／光検出器４２６を使用する周囲環境の測定に影響を及ぼす可能性がある。
【0150】
図５Ａと同様に、図５Ｂはシステム４００の光学構成要素５０４（例えば、光学窓）上の欠陥５０２から悪い影響を受けている例示的なシステム（例えば、図４Ａを参照して示され説明されたシステム４００）を示す。欠陥５０２は、光学構成要素５０４の外側上の単一の葉として示されているが、これは単に例示を目的として示されており、（例えば、光学構成要素５０４上または光学構成要素５０４内に）任意の数および／または種類の欠陥の可能性もあることが理解される。例示するように、欠陥５０２は、周囲環境の画像を取り込もうとするイメージセンサー５０６（例えば、カメラ、例えば図１を参照して示し説明したカメラ１３０のイメージセンサー）の光路５１０と干渉する可能性がある。いくつかの実施形態では、イメージセンサー５０６は、電荷結合素子（ＣＣＤ）または他の種類のイメージセンサーを含んでもよい。図５Ｂに示すように、欠陥５０２は、イメージセンサー５０６を使用する周囲環境の測定に影響を及ぼす可能性がある。
【0151】
欠陥（例えば、図５Ａおよび５Ｂを参照して示しおよび説明した欠陥５０２）の悪影響を軽減することが望ましい場合がある。これは、一つまたは複数の欠陥の存在を検出し、その後一つまたは複数の修復作業（例えば、問題の光学構成要素を洗浄する、問題の光学構成要素を交換する、問題の光学構成要素のすべてまたは一部の使用をやめる、センサーによって光学構成要素を用いて取得されたデータに欠陥の影響を含むものとしてフラグを立て、欠陥の影響を補償するためにセンサーによって光学構成要素を用いて取得されたデータに対して後処理を実行する）を実行することにより行うことができる。一つまたは複数の欠陥の存在を検出するために、本明細書に記載の技術が実行されることができる。さらに、このような技術は、本明細書に記載の一つまたは複数のデバイスまたはシステムを使用して実行されることができる。
【0152】
図６Ａは、欠陥検出構成要素を備えるＬｉＤＡＲ装置６００を例示する。ＬｉＤＡＲ装置６００は、ＬｉＤＡＲ装置６００の一つまたは複数の光学構成要素上の一つまたは複数の欠陥の存在（例えば、および位置）を検出するために使用されることができる。例示するように、ＬｉＤＡＲ装置６００は、光エミッターのアレイ（例えば、図４Ｂを参照して例示され説明されたＬｉＤＡＲ装置４１０の光エミッター４２４）、光検出器のアレイ（例えば、図４Ｂを参照して例示され説明されたＬｉＤＡＲ装置４１０の光検出器４２６）、光学構成要素（例えば、図５Ａおよび図５Ｂを参照して例示され説明された光学構成要素５０４）、一つまたは複数の光源６０２（例えば、アレイ状に配置される光源）、および一つまたは複数の検出器６０４を備えることができる。
【0153】
（例えば、図４Ｂを参照して示され説明された光エミッター４２４／光検出器４２６と同様に）光エミッター４２４／光検出器４２６は、周囲環境を検出するためにＬｉＤＡＲ装置６００によって使用されることができる。図６Ａの破線で示されるように、光エミッター４２４は、（例えば、光学構成要素５０４が光学窓、レンズ、および／もしくは導波路である場合、）光学構成要素５０４を通って発信される、または（例えば、光学構成要素５０４が鏡である場合、）光学構成要素５０４から反射される、ならびに周囲環境に発信される一つもしくは複数の光信号を発することができる。光信号は、周囲環境に関する情報（例えば、飛行時間に基づく周囲環境内の物体までの距離など）を提供するために、周囲環境内の物体によって反射され、（例えば、再び光学構成要素５０４を通って）光検出器４２６に向けられる場合がある。しかし、図６Ｂに例示するように、欠陥５０２（例えば、図５Ａを参照して示されおよび説明された欠陥５０２）が存在する場合、欠陥５０２は、周囲環境用の光信号と干渉する可能性がある（例えば、光信号の方向を変えるおよび／または光信号を散乱する可能性がある）。これにより、検出事象が見逃されたり、誤って変更されたりする可能性がある（例えば、周囲環境に関する不正確なデータが取得されることになる）。
【0154】
光エミッター４２４／光検出器４２６は、光源６０２および／または検出器６０４を収容するために、特定の方法で配置され、サイズ設定されおよび／または向きを合わせられることができる。例えば、光エミッター４２４および光検出器４２６は、ＬｉＤＡＲ装置６００内の光エミッター４２４／光検出器４２６に隣接する十分な空間を持つ焦点面に沿って（例えば、ＬｉＤＡＲ装置６００内の一つまたは複数のレンズの焦点距離に基づいて）配置され、光源６０２および／または検出器６０４を収容することができる（例えば、よって光源６０２および／または検出器６０４がＬｉＤＡＲ装置６００の焦点面に沿って配置されることもできる）。様々な実施形態では、図６Ａに示すように、光エミッター４２４／光検出器４２６は、互いに、および／または光源６０２／検出器６０４に対して平行であってもよい。別の実施形態では、光エミッター４２４／光検出器４２６は、互いに対して、および／または光源６０２／検出器６０４に対して角度をなしていても（例えば、垂直であっても）よい。
【0155】
光学構成要素５０４は、ＬｉＤＡＲ装置６００の発信経路および／または受信経路の一部であってもよい。例えば、光学構成要素５０４は、光信号が周囲環境に発信される、または周囲環境から受信される光学窓を備えることができる。追加的にまたは代替的に、光学構成要素５０４は、レンズ、ミラー等を備えてもよい。光学構成要素５０４を使用して、周囲環境を感知するために使用される光信号を方向付けるおよび／または変更することができる。
【0156】
ＬｉＤＡＲ装置６００の欠陥検出構成要素（例えば、光源６０２および／または検出器６０４）は、光学構成要素５０４内またはその上（例えば、外側上）に存在する一つまたは複数の欠陥を同定するために使用されることができる。例えば、図６Ａの実線で例示するように、光源６０２は、一つまたは複数の光信号を発することができる。一つまたは複数の欠陥が存在する場合、このような光信号は、欠陥によって（例えば、欠陥から反射されて）検出器６０４に向けて方向を変えられ、かつ検出器６０４によって検出されることができる。例えば、図６Ａに例示するように、欠陥が存在しない場合、光源６０２からの欠陥検出信号は、ＬｉＤＡＲ装置６００の外に伝播し、および／または検出器６０４以外のＬｉＤＡＲ装置６００の部分に向けられる。しかし、図６Ｂに例示するように、欠陥５０２（例えば、図５Ａを参照して示されおよび説明されたような欠陥）が存在する場合、欠陥５０２は、光源６０２からの欠陥検出信号を検出器６０４へ反射するか、あるいは方向を変える可能性がある。したがって、検出器６０４に対応する検出事象は、光学構成要素５０４内またはその上に一つまたは複数の欠陥が存在するかどうかを判断するために使用されることができる。
【0157】
光源６０２は、一つまたは複数のＬＥＤ、一つまたは複数のレーザーダイオード、一つまたは複数の蛍光灯等を含んでもよい。さらに、例示するように、光源６０２は、アレイ状に配置されてもよい。しかし、他の実施形態では、信号光源６０２のみがＬｉＤＡＲ装置６００内に存在してもよいことが理解される。複数の光源６０２を有する実施形態（例えば、図６Ａおよび図６Ｂと同様の実施形態）では、光源６０２はそれぞれ同じ光源であっても異なる光源であってもよい。例えば、二つ以上の光源６０２は、異なる照明パワー／強度、異なる照明波長、異なる照明偏光、異なる焦点距離、異なる放射角度等を有することができる。さらに、いくつかの実施形態では、光源６０２のうちの一つまたは複数は、調整可能であることができる。例えば、一つまたは複数の光源６０２は、それぞれの光源６０２の位置および／または向き（例えば、結果的に放射方向）を変更するために、モーターおよび／または機械ステージを使用して連結されてもよい。例えば、一つまたは複数の光源６０２は、光学構成要素５０４の異なる部分を経時的に走査して欠陥を検出するために連結されてもよい。追加的にまたは代替的に、一つまたは複数の光源６０２は、異なる発光特性を提供するために（例えば、技術者によって、またはコントローラーによって制御されるアクチュエーターを機械的に使用して）交換できる一つまたは複数のフィルターを備えてもよい。例えば、一つまたは複数の光源６０２は、ベースライン発光強度を有し、異なる偏光が混合された白色ＬＥＤを含むことができる。色フィルターを交換してその光源６０２の出力波長を変更することができ、減光フィルターを交換してその光源６０２の発光強度を変更することができ、または偏光フィルターを交換してその光源６０２の偏光放射を変更することができる。さらに、いくつかの実施形態では、複数のフィルターを同時に使用して（例えば、カスケード接続して）、光源６０２によって出力される欠陥検出信号を様々な方法で修正することができる。
【0158】
いくつかの実施形態では、光源６０２は、光エミッター４２４／光検出器４２６検出システムの焦点面に配置されることができる。さらに、光源６０２に関連付けられた（例えば、光源６０２に関連付けられた一つまたは複数のレンズによって規定される）焦点距離は、欠陥５０２の検出を強化するために、光源６０２と光学構成要素５０４との間の距離に対応することができる。同様に、検出器６０４に関連付けられた（例えば、検出器６０４に関連付けられた一つまたは複数のレンズによって規定される）焦点距離は、欠陥５０２の検出を強化するために、検出器６０４と光学構成要素５０４との間の距離に対応することができる。さらに、光源６０２はセンシング装置の焦点面（例えば、図６Ａおよび図６Ｂに示すように、光エミッター４２４／光検出器４２６検出システムに対応する焦点面）に配置されることができるが、これがすべての実施形態に該当する訳ではないことが理解される。
【0159】
上記のように、一つまたは複数の欠陥５０２が存在するかどうかを判断するために、検出器６０４を用いて、光源６０２から発せられる欠陥検出信号を、これらの信号が一つまたは複数の欠陥５０２から方向を変えられ／反射される際に検出することができる。いくつかの実施形態では、検出器６０４は、ＣＣＤまたは他の単一のイメージセンサーを含んでもよい。あるいは、いくつかの実施形態では、検出器６０４は、一つまたは複数の光検出素子（例えば、ＡＰＤ、ＳＰＡＤ、ＳｉＰＭ、フォトダイオード、および／またはフォトレジスター）を含んでもよい。さらに、いくつかの実施形態では、検出器６０４は、アレイ状に配置されてもよい。例えば、検出器６０４は、光検出素子のアレイを含んでもよく、アレイ内の光検出素子の数は、対応する光源６０２のアレイ内の光源６０２の数に対応する（すなわち、検出器アレイ内の検出器６０４と光源アレイ内の光源６０２とを１対１対応とすることができる）。さらに、検出器アレイ内の検出器６０４の位置／向きは、光源アレイの光源６０２に対応する放射ベクトルに基づき（例えば、それに対応するように設計され）、一つまたは複数の欠陥５０２から反射される欠陥検出信号が検出器６０４によって検出可能である。
【0160】
図６Ｂは、図６ＡのＬｉＤＡＲ装置６００を例示する。しかし、図６Ａの図とは異なり、図６Ｂでは、（例えば、図５Ａを参照して示されおよび説明された欠陥５０２と同様の）欠陥が存在する可能性がある。例示するように、欠陥５０２は、周囲環境を調査することを目的とする、光エミッター４２４によって発信された光信号を反射し、そして光信号を光検出器４２６に向け直す可能性がある。また例示するように、方向を変えられた光信号は、欠陥５０２と相互作用した後に拡散あるいは分散される可能性がある。図６Ｂに示すように、光源６０２によって発せられる欠陥検出光信号は、欠陥５０２と相互作用し（例えば、欠陥５０２によって反射され）、検出器６０４に向けられることができる。
【0161】
図７Ａおよび７Ｂは、例示的な実施形態によるカメラ７００を例示する。図６Ａおよび６Ｂに例示されるＬｉＤＡＲ装置６００と同様に、カメラ７００は、光学構成要素を用いて周囲環境の物体を検出するように構成されるセンシング装置を備えることができる。しかし、図６Ａおよび６ＢのＬｉＤＡＲ装置６００とは異なり、カメラ７００のセンシング装置はイメージセンサー（例えば、図５Ｂを参照して示されおよび説明されたイメージセンサー５０６）であってもよい。例示するように、イメージセンサー５０６は、光学構成要素（例えば、図５を参照して示されおよび説明された光学構成要素５０４）を通る光路（例えば、図５Ｂを参照して示されおよび説明された光路）を通して周囲環境の画像を取り込むように構成されることができる。図６Ａおよび図６ＢのＬｉＤＡＲ装置６００と同様に、カメラ７００は、一つまたは複数の欠陥５０２の存在（例えば、および位置）を検出するために使用される一つまたは複数の光源６０２および一つまたは複数の検出器６０４を備えることができる。例えば、図７Ｂに例示するように（例えば、図６Ｂの配置と同様に）、光源６０２は、光学構成要素５０４内またはその上になんらかの欠陥５０２が存在するかどうかを判断するために、欠陥５０２から反射され／方向を変えられ、検出器６０４によって検出される欠陥検出信号を発することができる。
【0162】
図６Ａ～７Ｂを参照して上述したように、いくつかの実施形態では、システム（例えば、ＬｉＤＡＲ装置６００またはカメラ７００）は、（例えば、一つまたは複数の光源６０２および一つまたは複数の検出器６０４を備える）専用の欠陥検出システムを備えることができる。しかし、他の実施形態も可能であることが理解される。例えば、図８Ａおよび８Ｂに例示されるように、いくつかの実施形態は、ハイブリッドシステム８００を備えることができる。図８Ａおよび８Ｂに示されるハイブリッドシステム８００は、（例えば、図８Ｂに示されるように）光学構成要素５０４内またはその上の欠陥５０２から方向を変えられ／反射されることができる欠陥検出信号を発するように構成される光源６０２を備える。しかし、図６Ａ～７Ｂとは異なり、反射され／方向を変えられた欠陥検出信号は、専用の欠陥検出器によって検出されない可能性がある。代わりに、ハイブリッドシステム８００は、反射され／方向を変えられた欠陥検出信号を検出するために使用されるハイブリッドイメージセンサー８０２を備えることができる。
【0163】
図８Ｂに例示するように、ハイブリッドイメージセンサー８０２は、反射欠陥検出信号を検出することと、光学構成要素５０４通る光路（例えば、図５Ｂを参照して示されおよび説明された光路５１０）を通して周囲環境の画像を取り込むこととの両方を行うように構成されることができる。ハイブリッドイメージセンサー８０２は、図７Ａおよび７Ｂに例示されるのと同じ種類のイメージセンサーであってもよい。例えば、ハイブリッドイメージセンサー８０２はＣＣＤを含んでもよい。いくつかの実施形態では、ハイブリッドイメージセンサー８０２は、光を方向付け、焦点を合わせ、あるいは変えるように構成される一つまたは複数の集積化光学構成要素（例えば、レンズおよび／またはミラー）を含むことができる。例えば、ハイブリッドイメージセンサー８０２は、周囲環境からの光を、反射され／方向を変えられた欠陥検出信号とは異なるハイブリッドイメージセンサー８０２の領域に向けるように構成される集積光学構成要素を備えてもよい。いくつかの実施形態では、欠陥検出に使用される画像は、周囲環境内の物体を検出するために取り込まれた画像とともに光路５１０を通って、ハイブリッドイメージセンサー８０２によって断続的に取り込まれることができる。例えば、一連の画像はハイブリッドイメージセンサー８０２によって取り込まれることができ、一連の画像には、一つまたは複数の光源６０２が欠陥検出信号を使用して光学構成要素５０４を照明している画像の後に、一つまたは複数の光源６０２が光学構成要素５０４を照明しない画像が含まれる。
【0164】
さらに、上記のように、欠陥検出システムの一つまたは複数の光源（例えば、図６Ａ～８Ｂに例示される光源６０２）は、センシング装置（例えば、図６Ａおよび６Ｂの光エミッター４２４／光検出器４２６の組み合わせ、図７Ａおよび７Ｂのイメージセンサー５０６、または図８Ａおよび８Ｂのハイブリッドイメージセンサー８０２）の焦点面に配置されることができる。しかし、これはそうである必要はないことが理解される。例えば、様々な実施形態では、一つまたは複数の光源６０２は、センシング装置よりも光学構成要素５０４に近くても、または光学構成要素５０４から遠く離れて配置されてもよい。しかし、さらに他の実施形態では、一つまたは複数の光源は、図６Ａ～８Ｂに例示されるものとは全く異なる方法で光学構成要素５０４を照明することができる。例えば、図９Ａおよび９Ｂは、全反射を使用して（すなわち、欠陥検出信号が光学構成要素５０４の内面から内部反射されるような角度で、光学構成要素５０４内で欠陥検出信号を伝播することによって）光学構成要素を照明するように構成される光源６０２を有するカメラ９００の実施形態を例示する。さらに、図９Ａおよび９Ｂに例示するように、一つまたは複数の光源９０２は、欠陥検出信号が光学構成要素５０４にエッジ結合するように、光学構成要素５０４のエッジに隣接して（例えば、一列におよび／またはアレイ状に）配置されることができる。
【0165】
図９Ａに例示するように、欠陥５０２が存在しない場合、欠陥検出信号は、全反射によって光学構成要素５０４の一端から反対側の端まで伝播する（例えば、光学構成要素５０４から出る）ことができる。いくつかの実施形態では、別の検出器（例えば、別の欠陥検出器）は、光学構成要素５０４の光源９０２とは反対側の端部に配置されることができる。別の欠陥検出器が光源９０２から発さられた欠陥検出信号を検出した場合、光学窓５０４内またはその上に欠陥が存在しないと判断されることができる。追加的にまたは代替的に、別の欠陥検出器はまた、別の欠陥検出器によって報告された相対信号強度の解析により、欠陥が存在するかどうかを判断することができる。例えば、別の欠陥検出器が、（例えば、一つまたは複数の光源９０２によって発せられる欠陥検出信号の強度に基づいて、および／または、別の欠陥検出器による以前の、例えば欠陥が存在しない校正測定中の検出強度に基づいて、）ゼロではないが、予想される強度を下回る強度を有する信号を検出する場合、光学窓５０４内またはその上に欠陥が存在すると判断されることができる。
【0166】
しかし、光学窓５０４内またはその上に欠陥が存在する場合（例えば、図９Ｂに例示するように）、一つまたは複数の光源９０２からの欠陥検出信号のうちの一つまたは複数が、欠陥５０２から方向を変えられ／反射されることができる。その後、方向を変えられ／反射される欠陥検出信号は、光学構成要素５０４からハイブリッドイメージセンサー８０２に向けて発信されることができる。例えば、図９Ｂの実線で例示するように、一つまたは複数の欠陥検出信号が欠陥５０２から（例えば、光路５１０に沿って）反射され、ハイブリッドイメージセンサー８０２によって検出されることができる。図８Ａおよび８Ｂに関して上述したように、ハイブリッドイメージセンサー８０２は、欠陥検出信号および周囲環境からの光の両方を含む単一の画像を検出することができる。追加的にまたは代替的に、いくつかの実施形態では、複数の画像（例えば、一つまたは複数の欠陥検出信号を使用して光学構成要素５０４を照明する光源９０２を有するいくつかの画像、および欠陥検出信号を使用して光学構成要素５０４を照明しない光源９０２を有するいくつかの画像）が取り込まれることができる。図９Ａおよび９Ｂは、ハイブリッドイメージセンサー８０２を備えるカメラ９００を例示するが、全反射を使用して伝播される欠陥検出信号を使用する他の実施形態も可能であり、本明細書で考えられることが理解される。例えば、図６Ａおよび６ＢのＬｉＤＡＲ装置６００は、光源６０２を図９Ａおよび９Ｂに例示する光源９０２で置き換えることができる。同様に、図７Ａおよび７Ｂのカメラ７００は、光源６０２を図９Ａおよび９Ｂに例示する光源９０２で置き換えることができる。
【0167】
上述したように、バックグラウンド信号（例えば、周囲の場面に対応する信号）と欠陥検出信号とを明確にするのは困難な場合がある。例えば、図８Ａおよび８Ｂのハイブリッドシステム８００のハイブリッドイメージセンサー８０２を使用して画像が取り込まれる場合、（もしあれば）画像のどの部分が一つまたは複数の欠陥の存在によって影響を受けるかを判断することが困難な場合がある。したがって、本明細書で説明される技術は、（例えば、物体の検出と回避に使用される）バックグラウンド信号と（例えば、光学構成要素５０４内またはその上に一つまたは複数の欠陥が存在するかどうかを判断するために使用される）欠陥検出信号とを明確にしやすくするために、一つまたは複数の光源６０２を時間変調することができる。
【0168】
時間変調のための一つの技術は、一つまたは複数の構造化照明パターンに従って一つまたは複数の光源６０２を使用して光学構成要素を照明することを含む。いくつかの実施形態では、これには、第一の期間中に第一の持続時間の間、一つまたは複数の光源６０２を使用して光学構成要素５０４の半分を照明することと、その後、第二の期間中に第二の持続時間の間、一つまたは複数の光源６０２を使用して光学構成要素５０４の残りの半分を照明することとを含むことができる。例えば、二つの光源６０２があってもよく、一つは第一の期間中に光学構成要素５０４の左半分を照明し、もう一つは第二の期間中に光学構成要素５０４の右半分を照明する。第一および第二の期間中の検出事象（例えば、ハイブリッドイメージセンサー８０２を使用して取り込まれた画像、または、図６Ａ～７Ｂに例示されるＬｉＤＡＲシステムの場合には、検出器６０４によって検出される光）を、光源が周囲環境を照明していない時の周囲環境の検出と比較することによって、（例えば、周囲環境内の物体を示す）バックグラウンド信号と、（例えば、光学構成要素５０４内またはその上の一つまたは複数の欠陥の存在、および場合によっては位置を示す）欠陥信号とを容易に明確にすることができる。例えば、第一の期間中に光学構成要素５０４の左半分のみが照明され、第二の期間中に光学構成要素５０４の右半分のみが照明される実施形態では、光学構成要素５０４の左半分に欠陥が存在するかどうかを判断する場合、コンピューティングデバイスは、第一の期間中にハイブリッドイメージセンサー８０２によって取り込まれた画像を、光学構成要素５０４のどの部分も照明されなかった期間中にハイブリッドイメージセンサー８０２によって取り込まれた画像と比較することができる。追加的にまたは代替的に、第一の期間および第二の期間中に取り込まれた画像（または、図６Ａ～７Ｂに例示されるＬｉＤＡＲシステムの場合には、検出器６０４によって検出された光）は、互いに比較されて、一つまたは複数の欠陥の存在および／または位置を判断することができる。
【0169】
様々な実施形態では、一つまたは複数の光源６０２によって光学構成要素５０４上に生成される構造化照明パターンは、変化することができる。いくつかの実施形態では、例えば、光源６０２は、光学構成要素５０４上の二つの構造化照明パターンを単に交互に入れ替えてもよい。例えば、図１０Ａおよび１０Ｂに例示するように、構造化照明パターン（例えば、光学構成要素５０４が湾曲レンズまたは湾曲した外部光学窓に対応する場合）は、交互の市松模様であってもよい（例えば、白色領域が照明領域を表し、黒色領域が照明しない領域を表す）。場合によっては、光源６０２内には市松模様の各正方形に対応する単一の光源があってもよく、したがって、光学構成要素５０４上のそれぞれの正方形を照明するか照明しないためにそれぞれオンまたはオフにすることができる。あるいは、調整可能なマスクを単一の光源または光源のアレイ上に配置し、光学構成要素５０４の様々な部分を選択的に照明するために使用することができる。また、市松模様の代わりに、（例えば、図１０Ｃおよび１０Ｄに例示するように）二つの交互の縞模様を構造化照明パターンに代わりに使用することもできる。このような縞模様は、光学構成要素５０４が曲面レンズまたは外部光学窓である場合に使用することができ、ならびに／または光源６０２は、例えば、（例えば、図９Ａおよび図９Ｂと同様の）全反射によって光学構成要素５０４を通って欠陥信号を伝播するエッジ結合光源であってもよい。
【0170】
図１１Ａおよび１１Ｂは、例えば、図１０Ｃおよび図１０Ｄの交互の縞模様に従って光学構成要素５０４が連続的に照明されている場合の、ハイブリッドイメージセンサー８０２を使用して取り込まれた一連の画像（すなわち、画像ストリーム）を例示する。図１１Ａおよび１１Ｂの画像の濃い帯状領域は、一つまたは複数の光源６０２によって現在照明されていない光学構成要素５０４（例えば、ハイブリッドイメージセンサー８０２が周囲環境の画像を取り込む光学窓）の部分を表し、一方、図１１Ａおよび図１１Ｂの画像の他の帯状領域は、一つまたは複数の光源６０２によって現在照明されている光学構成要素５０４の部分を表す。図１１Ａおよび１１Ｂは例示のみを目的として提供されており、本明細書に記載の技術を使用して取り込まれる画像は実際には物理的に明るい領域および暗い領域を含まない可能性があることが理解される。むしろ、図１１Ａおよび１１Ｂの明領域および暗領域は、使用される照明パターンを説明するのを助けるために単に使用されている。図１１Ａでは、光学構成要素５０４の内部または上に欠陥は存在しない。したがって、現在どの照明パターンが使用されているかに関係なく、画像の様々な部分は同じように見える。したがって、異なる時間における、場面の異なる領域を比較することによって、コンピューティングデバイスは欠陥が存在しないと判断することができる。しかし、図１１Ｂでは、光学構成要素５０４内またはその上に欠陥が存在する。この欠陥は、取り込まれた画像に欠陥アーティファクト１１０２をもたらす可能性がある。欠陥アーティファクト１１０２は、例えば、ぼけである場合がある。図１１Ｂに例示するように、欠陥アーティファクト１１０２は、一つまたは複数の光源６０２によって現在照明されている領域に（例えば、所定の照明パターン内で照明される帯状領域に）存在する可能性がある。したがって、現在照明されている帯状領域をさまざまな画像間で比較することによって（または、現在照明されている帯状領域の画像を、以前に取り込まれた光学構成要素５０４への照明が全くされていない画像と比較することによって）、欠陥の存在および／または位置が特定されることができる。このような技術は、（例えば、検出システムが配置されている自動モードまたは半自動モードで動作している車両の相対運動の結果として）バックグラウンド信号（例えば、周囲環境）が時間の経過とともに変化する場合、欠陥を特定するのに特に役立つ。例えば、バックグラウンド信号が変化している間、構造化照明パターンは一貫したままであるため、一連の取り込まれた画像（または、図６Ａ～７Ｂに例示されるＬｉＤＡＲシステムの場合、検出器６０４によって検出される光）は、欠陥を検出するのに特に有用であることができる。なぜなら、欠陥の存在および／または位置は時間の経過とともに変化しない（または、バックグラウンド信号よりもはるかに長い時間の尺度で変化する）からである。
【0171】
様々な実施形態では、様々な数および／または種類のパターンが使用できることが理解される。例えば、いくつかの実施形態では、三つ以上の照明パターン（例えば、３、４、５、６、７、８、９、および／または１０）の照明シーケンスがあってもよい。例えば、図１０Ａおよび図１０Ｂに例示される市松模様の領域の異なるサブセットからなる複数のパターンを連続的に照明することができる。このような追加のパターンを使用して、光学構成要素５０４上の一つまたは複数の欠陥の位置を判断するのを支援することができる。さらに、いくつかの実施形態では、図１０Ａおよび図１０Ｂに例示される様々な数または方向の市松模様の正方形、図１０Ｃおよび図１０Ｄに例示される様々な数または方向の縞模様、全く異なる形状（例えば、三角形パターン、五角形パターン、および／または六角形電子版活用法パターン）等であってもよい。
【0172】
バックグラウンド信号と欠陥信号とを明確にするのに役立つ構造化照明パターンの使用に加えて、またはその代わりに、照明波長の時間変調を使用することができる。例えば、一つまたは複数の光源６０２は、第一の期間、第一の波長（例えば、第一の波長帯域／範囲内、例えば５ｎｍの波長範囲内）で欠陥検出信号を使用して、光学構成要素５０４の一部（例えば、全部）を照明することができる。第一の波長は、周囲環境には存在しそうにない（例えば、全く存在しない）波長であってもよい。これは、バックグラウンド信号と欠陥検出信号とを明確にするのにさらに役立つことができる。第一の波長を使用して光学構成要素５０４の一部（例えば、全部）を照明した後、一つまたは複数の光源６０２は、（ｉ）（第一の波長帯域と重ならない、または少なくとも部分的に重なり合う）第二の波長（例えば、第二の波長帯域／範囲内、例えば、５ｎｍ波長範囲内）の欠陥検出信号を使用して、光学構成要素５０４の同じ部分（例えば、全部）を照明する、（ｉｉ）白色光（例えば、広範囲の波長にわたる光）を使用して光学構成要素５０４の同じ部分（例えば、全部）を照明する、または、（ｉｉｉ）光学構成要素５０４の一部（例えば、全部）を全く照明しない、ことができる。
【0173】
図１１Ｃおよび図１１Ｄは、（例えば、一つまたは複数の光源６０２によって）照明波長の時間変調が使用されている間に、（例えば、図８Ａおよび図８Ｂのハイブリッドイメージセンサー８０２によって）取り込まれた一連の画像（すなわち、画像ストリーム）を例示する。例えば、一つまたは複数の光源６０２は、各一連の第一および第三の取り込み画像中に電源がオフになっていた可能性があり、各一連の二番目に取り込まれた画像中に、電源がオンになっており、第一の波長を使用して光学構成要素５０４を照明している可能性がある。図１１Ａおよび図１１Ｂと同様に、図１１Ｃおよび図１１Ｄは例示のみを目的として提供されており、本明細書に記載の技術を使用して取り込まれる画像は実際には明暗に見えない可能性があることが理解される。むしろ、図１１Ｃおよび図１１Ｃの明暗は、光学構成要素５０４への照明が存在する場合と、存在しない場合とを例示し易くするためだけに使用されている。図１１Ｃの一連の画像では、光学構成要素５０４内またはその上に欠陥は存在しなかった。しかし、図１１Ｄでは、欠陥が光学構成要素５０４内またはその上に存在し、それが、一連の画像に存在し、かつ第二の画像で最も顕著な欠陥アーティファクト１１０４を生じさせた。図１１Ｂの画像と同様に、図１１Ｄの画像を相互に比較することによって、光学構成要素５０４内またはその上の欠陥の存在および／または位置を容易に特定することができる。
【0174】
周囲環境に存在する可能性が低い（例えば、全く存在しない）波長に基づいて、一つまたは複数の光源６０２の照明波長を選択することに加えて、またはその代わりに、照明波長は、特定の種類の欠陥を検出するように選択されてもよい。例えば、緑の葉を検出し易くするために、可視スペクトルの緑色部分内の照明波長を選択することができる。他の種類の欠陥については別の波長も可能であり、本明細書で企図される。さらに、いくつかの実施形態では、異なる波長で一連の照明を使用して、様々な種類の欠陥を特定することができる。例えば、赤色の波長、その後青色の波長、その後緑色の波長を使用して、光学構成要素５０４を照明することができる。次いで、欠陥に対応する取り込まれた画像内の相対強度に基づいて、欠陥の着色および／または反射率が決定されることができる。例えば、青色照明に対応する取り込まれた画像内の欠陥アーティファクトの強度が強く、他の二つの取り込まれた画像内の欠陥アーティファクトの強度が比較的弱い場合、欠陥は青色であると判断されることができる。同様に、緑色と赤色の照明に対応する取り込まれた画像では欠陥アーティファクトの強度が中程度に強いが、青色照明に対応する取り込まれた画像では欠陥アーティファクトの強度が比較的弱い場合、欠陥は黄色であると判断されることができる。他の組み合わせも可能であり、本明細書で企図される。特定された色合いを用いて、例えば欠陥の種類を判断することができる。
【0175】
本明細書に記載のように、スペクトル（例えば、波長）形式と空間（例えば、構造化照明）形式の両方の時間変調を実行して、バックグラウンド信号に関連する欠陥を特定し易くすることができる。どの種類の変調が使用されるか（または両方が使用されるか）に関係なく、変調周波数を使用できる。例えば、光学構成要素５０４を照明するために使用される一つまたは複数の光源６０２は、変調周波数（例えば、１Ｈｚ、２Ｈｚ、３Ｈｚ、４Ｈｚ、５Ｈｚ、１０Ｈｚ、２０Ｈｚ、３０Ｈｚ、４０Ｈｚ、および／または５０Ｈｚ）に従って光学構成要素５０４を断続的に照明することができる。このような変調周波数は、光源６０２の電源を（例えば、コントローラーを使用して）所定の速度でオンおよびオフにすることによって達成されることができる。さらに、使用される変調周波数は、静的であっても、または（例えば、コントローラーによって制御される）可変であってもよい。例えば、変調周波数は、バックグラウンド信号が変化する時間の尺度に基づいて（例えば、検出システムが設置されている車両の速度に基づいて）（例えば、コントローラーによって）調整されることができる。変調周波数に従って一つまたは複数の光源６０２を変調することにより、バックグラウンド信号から欠陥検出信号を分離する追加のまたは代替の方法が提供される。例えば、光学構成要素５０４を照明するときに一つまたは複数の光源６０２が比較的低い周波数で変調された場合、画像ストリームから欠陥検出信号のみを取り出すために、ハイブリッドイメージセンサー８０２によって取り込まれた画像ストリーム（例えば、ビデオ）にフィルター（例えば、ローパスフィルター）を適用することができる。
【0176】
さらに、いくつかの実施形態では、複数の変調周波数を使用してもよい。例えば、（例えば、図１０Ａ～１０Ｄに示すような）構造化照明を使用する場合、光学構成要素５０４の異なる領域が、異なる変調周波数に従って断続的に照明されることができる。例えば、縞模様の第一の縞は第一の変調周波数に従って周期的に照明され、縞模様の第二の縞は第二の変調周波数に従って周期的に照明されることができる。同様に、時間変化するスペクトル照明を使用する場合、異なる照明波長が、異なる変調周波数に従って光学構成要素５０４を断続的に照明することができる。例えば、（例えば、第一の光源からの）第一の波長は、第一の変調周波数に従って周期的に光学構成要素５０４の一部（例えば、全部）を照明することができ、一方、（例えば、第二の光源からの）第二の波長は、第二の変調周波数に従って周期的に光学構成要素５０４の一部（例えば、全部）を照明することができる。さらに、いくつかの実施形態では、時間変化する構造化照明と時間変化するスペクトル照明の両方を一緒に使用することができる。このような実施形態では、これらの異なる照明方式には、異なる変調周波数を使用できる。それらがどのように使用されるかに関係なく、異なる変調周波数により、（例えば、欠陥の位置、欠陥の種類等を判断するために使用されることができる）欠陥検出信号のさらなる分離を可能にすることができる。
【0177】
欠陥検出信号とバックグラウンド信号とを明確にする際、または欠陥検出信号とバックグラウンド信号とを明確にする過程で、一つまたは複数の機械学習モデルを使用して、欠陥が存在するかどうか、欠陥の位置、および／または欠陥の種類を判断することができる。例えば、特定の種類の欠陥、光学構成要素５０４上の欠陥の特定の位置、および／または欠陥の有無に対応するラベル付きトレーニングデータに基づいてトレーニングされた分類器を使用することができる。追加的にまたは代替的に、光学構成要素５０４内またはその上に一つまたは複数の欠陥が存在すると判断されると、一つまたは複数の修復作業（例えば、問題の光学構成要素を洗浄する、問題の光学構成要素を交換する、問題の光学構成要素のすべてまたは一部の使用をやめる、センサーによって光学構成要素を用いて取得されたデータに欠陥の影響を含むものとしてフラグを立て、欠陥の影響を補償するためにセンサーによって光学構成要素を用いて取得されたデータに対して後処理を実行する）を行うことができる。いくつかの実施形態では、行われる修復作業の種類は、一つまたは複数の欠陥の判断された位置に基づいて、および／または一つまたは複数の欠陥の判断された欠陥の種類に基づいて判断されることができる。
【0178】
図１２は、例示的な実施形態による、方法１２００のフローチャート図である。いくつかの実施形態では、方法１２００は、ＬｉＤＡＲ装置またはカメラ内の欠陥を検出するために実行されることができる。いくつかの実施形態では、方法１２００は、システム（例えば、図６Ａおよび６Ｂに例示されるＬｉＤＡＲ装置６００、図７Ａおよび７Ｂに例示されるカメラ７００、図８Ａおよび８Ｂに例示されるハイブリッドシステム８００、および／または図９Ａおよび９Ｂに例示されるカメラ９００）によって実行されることができる。
【0179】
ブロック１２０２では、方法１２００は、光学構成要素を用いて第一の検出器によって、周囲環境に対応するバックグラウンド信号を検出することを含むことができる。
【0180】
ブロック１２０４では、方法１２００は、第一の光源によって、第一の変調周波数に従って変調された第一の光信号で光学構成要素の第一の部分を照明することを含むことができる。センシング装置は、光学構成要素を用いて周囲環境内の物体を検出するように構成されることができる。
【0181】
ブロック１２０６では、方法１２００は、光学構成要素の第一の部分の本体内または光学構成要素の第一の部分の表面上に一つまたは複数の欠陥が存在する場合、第一の検出器によって第一の光信号を検出することを含むことができる。
【0182】
ブロック１２０８では、方法１２００は、光学構成要素の第一の部分の本体内または光学構成要素の第一の部分の表面上に一つまたは複数の欠陥が存在する場合、検出されたバックグラウンド信号および検出された第一の光信号に基づいて、コンピューティングデバイスによって検出することを含むことができる。光学構成要素の第一の部分の本体内または光学構成要素の第一の部分の表面上に一つまたは複数の欠陥が存在する場合、検出されたバックグラウンド信号および検出された第一の光信号に基づいて判断することは、第一の変調周波数に基づいて、検出されたバックグラウンド信号と検出された第一の光信号とを明確にすることを含むことができる。
【0183】
方法１２００のいくつかの実施形態では、第一の光信号は、第一の波長範囲内であってもよい。一つまたは複数の欠陥が存在する場合、判断することは、第一の波長範囲に基づいて、検出されたバックグラウンド信号と検出された第一の光信号とを明確にすることをさらに含むことができる。
【0184】
いくつかの実施形態では、方法１２００は、第二の光源によって、第二の変調周波数に従って変調された第二の光信号で光学構成要素の第二の部分を照明することを含むことができる。第二の変調周波数は、第一の変調周波数と異なっていてもよい。第二の光信号は、第二の波長範囲内にあることができる。第二の波長範囲は、第一の波長範囲と重なり合わなくてもよい。方法１２００はまた、光学構成要素の第二の部分の本体内または光学構成要素の第二の部分の表面上に一つまたは複数の欠陥が存在する場合、第二の光検出器によって第二の光信号を検出することを含むことができる。加えて、方法１２００は、光学構成要素の第二の部分の本体内または光学構成要素の第二の部分の表面上に一つまたは複数の欠陥が存在する場合、検出されたバックグラウンド信号および検出された第二の光信号に基づいて、コンピューティングデバイスによって判断することを含むことができる。光学構成要素の第二の部分の本体内または光学構成要素の第二の部分の表面上に一つまたは複数の欠陥が存在する場合、検出されたバックグラウンド信号および検出された第二の光信号に基づいて判断することは、第二の変調周波数および第二の波長範囲に基づいて、検出されたバックグラウンド信号と検出された第二の光信号とを明確にすることを含むことができる。
【0185】
方法１２００のいくつかの実施形態では、第一の波長範囲は第一の種類の欠陥に対応し、第二の波長範囲は第二の種類の欠陥に対応することができる。
【0186】
方法１２００のいくつかの実施形態では、光学構成要素の第一の部分と光学構成要素の第二の部分は少なくとも部分的に重なり合うことができる。
【0187】
方法１２００のいくつかの実施形態では、周囲環境に対応するバックグラウンド信号は、第一の波長範囲内の光を含まない場合がある。
【0188】
方法１２００のいくつかの実施形態では、光学構成要素の第一の部分は、光学構成要素の全体を占めていなくてもよい。
【0189】
いくつかの実施形態では、方法１２００は、第二の光源によって、第二の変調周波数に従って変調された第二の光信号で光学構成要素の第二の部分を照明することを含むことができる。第二の変調周波数は、第一の変調周波数と異なっていてもよい。光学構成要素の第二の部分は、光学構成要素の第一の部分と重なり合わなくてもよい。方法１２００はまた、光学構成要素の第二の部分の本体内または光学構成要素の第二の部分の表面上に一つまたは複数の欠陥が存在する場合、第二の光検出器によって第二の光信号を検出することを含むことができる。加えて、方法１２００は、光学構成要素の第二の部分の本体内または光学構成要素の第二の部分の表面上に一つまたは複数の欠陥が存在する場合、検出されたバックグラウンド信号および検出された第二の光信号に基づいて、コンピューティングデバイスによって判断することを含むことができる。光学構成要素の第二の部分の本体内または光学構成要素の第二の部分の表面上に一つまたは複数の欠陥が存在する場合、検出されたバックグラウンド信号および検出された第二の光信号に基づいて判断することは、第二の変調周波数に基づいて、検出されたバックグラウンド信号と検出された第二の光信号とを明確にすることを含むことができる。
【0190】
方法１２００のいくつかの実施形態では、光学構成要素の第一の部分および光学構成要素の第二の部分は、光学構成要素全体にわたって縞模様または市松模様のうちの少なくとも一部を形成することができる。
【0191】
方法１２００のいくつかの実施形態では、光学構成要素の第一の部分は、第一の照明シーケンスに従って第一の光源で照明されてもよい。さらに、方法１２００は、第二の光源によって、第一の変調周波数に従って変調された第二の光信号で光学構成要素の第二の部分を照明することを含むことができる。光学構成要素の第二の部分は、光学構成要素の第一の部分と重なり合わなくてもよい。光学構成要素の第二の部分は、第二の照明シーケンスに従って第二の光源で照明されてもよい。第二の照明シーケンスは、第一の照明シーケンスと異なっていてもよい。方法１２００はまた、光学構成要素の第二の部分の本体内または光学構成要素の第二の部分の表面上に一つまたは複数の欠陥が存在する場合、第二の光検出器によって第二の光信号を検出することを含むことができる。さらに、方法１２００は、光学構成要素の第二の部分の本体内または光学構成要素の第二の部分の表面上に一つまたは複数の欠陥が存在する場合、検出されたバックグラウンド信号および検出された第二の光信号に基づいて、コンピューティングデバイスによって判断することを含むことができる。光学構成要素の第二の部分の本体内または光学構成要素の第二の部分の表面上に一つまたは複数の欠陥が存在する場合、検出されたバックグラウンド信号および検出された第二の光信号に基づいて判断することは、第一の変調周波数に基づいて、検出されたバックグラウンド信号と検出された第二の光信号とを明確にすることを含むことができる。
【0192】
方法１２００のいくつかの実施形態では、第一の検出器はセンシング装置の一部でなくてもよい。
【0193】
方法１２００のいくつかの実施形態では、第一の光信号で光学構成要素の第一の部分を照明することは、第一の光信号を光学構成要素の第一の部分の本体内に結合することを含むことができる。光学構成要素の第一の部分を第一の光信号で照明することはまた、全反射を使用して光学構成要素の第一の部分の本体を通して第一の光信号を伝播させることを含むことができる。
【0194】
方法１２００のいくつかの実施形態では、第一の光源はセンシング装置の焦点面内に配置されてもよく、または第一の検出器はセンシング装置の焦点面に配置される。
【0195】
方法１２００のいくつかの実施形態では、センシング装置はイメージセンサーを備えてもよく、第一の検出器はイメージセンサーの少なくとも一部である。
【0196】
方法１２００のいくつかの実施形態では、検出されたバックグラウンド信号は、イメージセンサーを使用して取り込まれた一つまたは複数のバックグラウンド画像に対応することができる。検出された第一の光信号は、イメージセンサーを使用して取り込まれた一つまたは複数の欠陥画像に対応することができる。第一の変調周波数に基づいて、検出されたバックグラウンド信号と検出された第一の光信号とを明確にすることは、一つまたは複数のバックグラウンド画像を使用して一つまたは複数の欠陥画像からバックグラウンド除去を実行することを含むことができる。
【0197】
方法１２００のいくつかの実施形態では、検出されたバックグラウンド信号は、イメージセンサーを使用して取り込まれた一つまたは複数のバックグラウンド画像に対応することができる。検出された第一の光信号は、イメージセンサーを使用して取り込まれた一つまたは複数の欠陥画像に対応することができる。画像ストリームは、一つまたは複数のバックグラウンド画像および一つまたは複数の欠陥画像を含むことができる。第一の変調周波数に基づいて、検出されたバックグラウンド信号と検出された第一の光信号とを明確にすることは、ローパスフィルターを画像ストリームに適用することを含むことができる。
【0198】
方法１２００のいくつかの実施形態では、第一の検出器はセンシング装置の一部でなくてもよい。
【0199】
いくつかの実施形態では、方法１２００は、明確化され、検出された第一の光信号に機械学習モデルを適用することによって、一つまたは複数の欠陥のうちの少なくとも一つの欠陥の種類を判断することを含むことができる。
【0200】
方法１２００のいくつかの実施形態では、欠陥の種類は、光学構成要素内の引っかき傷、亀裂、汚れ、変形、気泡、不純物、劣化、変色、不完全な透明性、またはゆがみを含んでもよい欠陥の種類は、追加的または代替的に、光学構成要素上の水滴、汚れ、ほこり、泥、落ち葉、雨、雪、みぞれ、ひょう、氷、または昆虫の残留物を含む。
【0201】
いくつかの実施形態では、方法１２００は、光学構成要素の第一の部分の本体内または光学構成要素の第一の部分の表面上に一つまたは複数の欠陥が存在する場合、判断することに応答して、一つまたは複数の修復作業を行うことを含むことができる。
【0202】
本開示は、本出願に説明される特定の実施形態に関して限定されるものではなく、特定の実施形態は、様々な態様の例解として意図されるものである。当業者には明らかなことであるが、多くの修正及び変形を本開示の趣旨及び範囲から逸脱することなく行うことができる。本明細書において列挙される方法及び装置に加えて、本開示の範囲内の機能的に同等の方法及び装置は当業者には、これまでの説明から明らかであろう。このような修正及び変形は、添付の特許請求の範囲内にあることが意図されている。
【0203】
上記の詳細な説明は、添付の図面を参照して、開示されたシステム、デバイス、及び方法の様々な特徴及び機能を説明している。図では、文脈が別の方法で指示しない限り、同様の記号は、典型的には、同様の構成部品を同一に扱っている。本明細書に記載の、および図中の実施形態例は、限定的であることを意味するものではない。本明細書において提示される主題の範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。本明細書で概して説明され、かつ図に例解されている、本開示の態様は、多種多様な異なる構成で配置、置換、結合、分離、及び設計することができ、その全てが明示的に企図されることは容易に理解されよう。
【0204】
図における、また本明細書において考察されるメッセージフロー図、シナリオ、及びフローチャートのいずれか又は全てに関して、各ステップ、ブロック、動作、及び／又は通信は、実施形態例に従った情報の処理及び／又は情報の送信を表し得る。代替的な実施形態は、これらの例示的な実施形態の範囲内に含まれる。これらの代替的な実施形態では、例えば、ステップ、ブロック、送信、通信、要求、応答、および／またはメッセージとして記載される動作は、関連する機能に応じて、実質的に同時にまたは逆の順序でなど、示されたものまたは論じられたものとは異なる順序で実行することができる。さらに、それより多いか又は少ないブロック及び／又は動作を、本明細書で考察されるメッセージフロー図、シナリオ、及びフローチャートのいずれかで使用することができ、これらのメッセージフロー図、シナリオ、及びフローチャートは、部分的に又は全体として互いに組み合わせることができる。
【0205】
情報の処理に相当するステップ、ブロック、又は動作は、本明細書に説明される方法又は技法の特定の論理機能を果たすように構成され得る回路網に対応し得る。代替的に又は追加的に、情報の処理に相当するステップ又はブロックは、モジュール、セグメント、又はプログラムコード（関連データを含む）の一部分に対応し得る。プログラムコードには、特定の論理演算又は動作を方法又は技法において実施するためのプロセッサーにより実行可能な一つ以上の命令を含めることができる。プログラムコード及び／又は関連データは、ＲＡＭ、ディスクドライブ、ソリッドステートドライブ、又は別の記憶媒体を含む記憶デバイスなど、いずれのタイプのコンピューター可読媒体にも記憶され得る。
【0206】
さらに、一つ以上の情報送信に相当するステップ、ブロック、又は動作は、同じ物理デバイスにおけるソフトウェアモジュール及び／又はハードウェアモジュール間の情報送信に対応し得る。しかしながら、他の情報送信は、様々な物理デバイスにおけるソフトウェアモジュール及び／又はハードウェアモジュール間の情報送信であり得る。
【0207】
図に示される特定の配置は、限定としてみなされるべきではない。他の実施形態は、所与の図に示されるそれぞれの要素をより多く、またはより少なく含むことができることが理解されるべきである。さらに、例示された要素の一部は、組み合わせられえ、または省略されうる。なおさらに、実施形態例は、図に示されていない要素を含みうる。
【0208】
様々な態様及び実施形態が本明細書に開示されているが、他の態様及び実施形態が、当業者には明らかであろう。本明細書に開示される様々な態様及び実施形態は、例解を目的とするものであり、限定することを意図するものではなく、真の範囲は、以下の特許請求の範囲によって示される。
【図1】
【図2A】
【図2B】
【図2C】
【図2D】
【図2E】
【図2F】
【図2G】
【図2H】
【図2I】
【図2J】
【図2K】
【図3】
【図4A】
【図4B】
【図5A】
【図5B】
【図6A】
【図6B】
【図7A】
【図7B】
【図8A】
【図8B】
【図9A】
【図9B】
【図10A】
【図10B】
【図10C】
【図10D】
【図11A】
【図11B】
【図11C】
【図11D】
【図12】
【外国語明細書】