IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ウェイモ エルエルシーの特許一覧

特開2024-95977光検出および測距(ライダー)装置に関連する欠陥を監視するためのクリーニングプロトコルの使用
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024095977
(43)【公開日】2024-07-11
(54)【発明の名称】光検出および測距(ライダー)装置に関連する欠陥を監視するためのクリーニングプロトコルの使用
(51)【国際特許分類】
   G01S 7/497 20060101AFI20240704BHJP
   G01S 17/86 20200101ALI20240704BHJP
   G01C 3/06 20060101ALI20240704BHJP
【FI】
G01S7/497
G01S17/86
G01C3/06 120Q
G01C3/06 140
【審査請求】有
【請求項の数】20
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023190776
(22)【出願日】2023-11-08
(31)【優先権主張番号】18/148,619
(32)【優先日】2022-12-30
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
2.ZIGBEE
(71)【出願人】
【識別番号】317015065
【氏名又は名称】ウェイモ エルエルシー
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100126480
【弁理士】
【氏名又は名称】佐藤 睦
(72)【発明者】
【氏名】ペーテルス,ルーカス
(72)【発明者】
【氏名】サルズベリー,チェイス
(72)【発明者】
【氏名】サチデフ,カニカ
(72)【発明者】
【氏名】ワハター,ルーク
(72)【発明者】
【氏名】ブドリク,タデウシュ
(72)【発明者】
【氏名】オナル,ケイナー
(72)【発明者】
【氏名】ス,ローガン
【テーマコード(参考)】
2F112
5J084
【Fターム(参考)】
2F112AD01
2F112BA15
2F112CA05
2F112FA35
2F112FA45
2F112GA01
2F112GA10
5J084AA05
5J084AA07
5J084AB01
5J084AB07
5J084AC02
5J084BA02
5J084BA20
5J084BA36
5J084BA48
5J084CA14
5J084CA23
5J084CA31
5J084CA65
5J084CA80
5J084EA17
5J084EA20
(57)【要約】
【課題】装置に関連する欠陥を監視する。
【解決手段】例示的な実施形態は、クリーニングプロトコルを使用して、光検出および測距(ライダー)装置に関連する欠陥を監視することに関する。例示的な実施形態は、方法を含む。方法は、クリーニング装置を使用して、光検出および測距(ライダー)装置の一つまたは複数の光学構成要素にクリーニングプロトコルを適用することを含む。方法はまた、ライダー装置の発光体から、一つまたは複数の光信号を放射することを含む。さらに、方法は、ライダー装置の光検出器によって、一つまたは複数の光信号の反射を検出することを含む。さらに、方法は、一つまたは複数の光信号の検出された反射に基づき、ライダー装置のコントローラーによって、一つまたは複数の欠陥が一つまたは複数の光学構成要素内またはクリーニング装置内に存在すると決定することを含む。
【選択図】図9
【特許請求の範囲】
【請求項1】
クリーニング装置を使用して、光検出および測距(ライダー)装置の一つまたは複数の光学構成要素にクリーニングプロトコルを適用することと、
前記ライダー装置の発光体から、一つまたは複数の光信号を放射することと、
前記ライダー装置の光検出器によって、前記一つまたは複数の光信号の反射を検出することと、
前記一つまたは複数の光信号の前記検出された反射に基づき、コントローラーによって、一つまたは複数の欠陥が前記一つまたは複数の光学構成要素内または前記クリーニング装置内に存在すると決定することとを含む、方法。
【請求項2】
前記クリーニングプロトコルを適用することが、
前記クリーニング装置の噴霧器から、前記一つまたは複数の光学構成要素のうちの少なくとも一つ上にクリーニング溶液を噴霧することと、
前記クリーニング装置の加圧空気供給源によって、前記少なくとも一つの光学構成要素上に加圧空気を印加することと、を含む、請求項1に記載の方法。
【請求項3】
前記一つまたは複数の欠陥が疎水性コーティングの劣化を含み、前記劣化が前記疎水性コーティングの疎水性の低減に対応する、請求項1に記載の方法。
【請求項4】
前記一つまたは複数の光信号を放射することが、一連の光信号を放射することを含み、前記一つまたは複数の光信号の前記反射を検出することが、前記一つまたは複数の光信号の一連の反射を検出することを含む、請求項1に記載の方法。
【請求項5】
一つまたは複数の欠陥が前記一つまたは複数の光学構成要素内または前記クリーニング装置内に存在すると決定することが、
経時的な前記一つまたは複数の光信号の前記一連の反射の強度のプロットを生成することと、
前記生成されたプロットを関数にフィッティングすることと、を含む、請求項4に記載の方法。
【請求項6】
一つまたは複数の欠陥が前記一つまたは複数の光学構成要素内または前記クリーニング装置内に存在すると決定することが、前記生成されたプロットが適合する前記関数を、前記ライダー装置の較正中に生成された較正関数と比較することをさらに含む、請求項5に記載の方法。
【請求項7】
前記生成されたプロットが適合される前記関数が、指数関数を含み、前記指数関数のピーク値および時間定数が、メリットの図を表す、請求項5に記載の方法。
【請求項8】
一つまたは複数の欠陥が前記一つまたは複数の光学構成要素内または前記クリーニング装置内に存在すると決定することが、前記ライダー装置の周囲環境における気象状態を説明することを含む、請求項5に記載の方法。
【請求項9】
前記ライダー装置の前記周囲環境における前記気象状態を説明することが、前記気象状態に基づき、前記強度のプロットに一つまたは複数のオフセットを適用することを含む、請求項8に記載の方法。
【請求項10】
前記決定された一つまたは複数の欠陥が存在することに基づき、是正措置を実行することをさらに含む、請求項1に記載の方法。
【請求項11】
前記クリーニングプロトコルを適用することが、
前記クリーニング装置の噴霧器から、前記一つまたは複数の光学構成要素のうちの少なくとも一つ上にクリーニング溶液を噴霧することと、
前記クリーニング装置のワイパーによって、前記少なくとも一つの光学構成要素を拭き取って、前記クリーニング溶液を除去することと、を含む、請求項1に記載の方法。
【請求項12】
一つまたは複数の光学構成要素と、
一つまたは複数の光信号を放射するように構成される発光体と、
前記一つまたは複数の光信号の反射を検出するように構成される光検出器と、を含む、光検出および測距(ライダー)装置と、
クリーニングプロトコルを前記一つまたは複数の光学構成要素に適用するように構成されるクリーニング装置と、
前記一つまたは複数の光信号の前記検出された反射に基づき、一つまたは複数の欠陥が前記一つまたは複数の光学構成要素内または前記クリーニング装置内に存在すると決定するように構成されるコントローラーとを含む、システム。
【請求項13】
前記クリーニング装置が、噴霧器および加圧空気供給源を含み、
前記クリーニングプロトコルを適用することが、
前記クリーニング装置の噴霧器から、前記一つまたは複数の光学構成要素のうちの少なくとも一つ上にクリーニング溶液を噴霧することと、
前記クリーニング装置の加圧空気供給源によって、前記少なくとも一つの光学構成要素上に加圧空気を印加することと、を含む、請求項12に記載のシステム。
【請求項14】
前記一つまたは複数の欠陥が疎水性コーティングの劣化を含み、前記劣化が前記疎水性コーティングの疎水性の低減に対応する、請求項12に記載のシステム。
【請求項15】
前記一つまたは複数の光信号を放射することが、一連の光信号を放射することを含み、前記一つまたは複数の光信号の前記反射を検出することが、前記一つまたは複数の光信号の一連の反射を検出することを含む、請求項12に記載のシステム。
【請求項16】
一つまたは複数の欠陥が前記一つまたは複数の光学構成要素内または前記クリーニング装置内に存在すると決定することが、
経時的な前記一つまたは複数の光信号の前記一連の反射の強度のプロットを生成することと、
前記生成されたプロットを関数にフィッティングすることと、を含む、請求項15に記載のシステム。
【請求項17】
一つまたは複数の欠陥が前記一つまたは複数の光学構成要素内または前記クリーニング装置内に存在すると決定することが、前記生成されたプロットが適合する前記関数を、前記ライダー装置の較正中に生成された較正関数と比較することをさらに含む、請求項16に記載のシステム。
【請求項18】
前記生成されたプロットが適合される前記関数が、指数関数を含み、前記指数関数のピーク値および時間定数が、メリットの図を表す、請求項16に記載のシステム。
【請求項19】
一つまたは複数の欠陥が前記一つまたは複数の光学構成要素内または前記クリーニング装置内に存在すると決定することが、前記ライダー装置の周囲環境における気象状態を説明することを含む、請求項16に記載のシステム。
【請求項20】
光検出および測距(ライダー)装置の光検出器によって検出された一つまたは複数の光信号の反射に対応するデータを受信し、前記一つまたは複数の光信号が、クリーニングプロトコルを前記ライダー装置の一つまたは複数の光学構成要素に適用するクリーニング装置に応答して、前記ライダー装置の発光体によって放射され、
前記受信したデータに基づき、一つまたは複数の欠陥が前記一つまたは複数の光学構成要素内または前記クリーニング装置内に存在すると決定するように構成される、コンピューティング装置。
【発明の詳細な説明】
【技術分野】
【0001】
背景
本明細書に別段の記載がない限り、この章の説明は、本出願の特許請求の範囲の先行技術ではなく、この章に含めることにより先行技術であると認められるべきではない。
【背景技術】
【0002】
光検出および測距(ライダー)装置は、周囲環境に光パルスを発して、各光パルスのそれぞれの飛行時間を決定することによって、周囲環境内の物体までの距離を推定することができる。各光パルスの飛行時間を使用して、周囲環境内の反射物体までの距離を推定する、および/または周囲環境内の反射物体を示す三次元点群を作り出すことができる。さらに、カメラを使用して、周囲環境内の一つまたは複数の物体の画像を取り込むことができる。このような画像は、物体検出および回避方法(例えば、自動または半自律モードで動作する車両内)で使用されることができる。しかし、ライダー装置および/またはカメラの一つまたは複数の光路に沿った欠陥は、誤った検出(例えば、誤った点群、またはぼやけたおよび/もしくは不明瞭な画像)につながり得る。
【発明の概要】
【0003】
例示的な実施形態は、クリーニングプロトコルを使用して、ライダー装置に関連付けられる欠陥を監視することを含む技術に関する。これらの技術は、クリーニングプロトコルを適用するためにクリーニング装置を使用することを伴い得る。例えば、クリーニングプロトコルは、ライダー装置に関連付けられる一つまたは複数の構成要素(例えば、光学窓、レンズ、疎水性コーティング、またはミラーなどの一つまたは複数の光学構成要素)上にクリーニング溶液をスプレーすることを含み得る。クリーニングプロトコルが進行するにつれて、例えば、クリーニング溶液が乾燥し始めるか、またはそうでなければ除去されるとき(例えば、クリーニング装置のワイパーを使用して一つまたは複数の光学構成要素を拭き取ることによって、またはクリーニング装置の加圧空気供給源を使用して一つまたは複数の光学構成要素上に加圧空気を印加することによって)、ライダー装置の発光体は光信号を放射し得る。これらの光信号は、(例えば、一つまたは複数の光学構成要素から、または一つまたは複数の光学構成要素上もしくはその中の一つまたは複数の欠陥から)反射され、その後、ライダー装置の光検出器によって検出され得る。これらの検出された光信号を分析することによって、コンピューティング装置(例えば、ライダー装置のコントローラー)は、一つまたは複数の欠陥が一つまたは複数の光学構成要素内および/またはクリーニング装置内に存在するかどうかを決定してもよく、さらに、識別された欠陥に基づき、光学構成要素の一つまたは複数の品質(例えば、光学品質および疎水性品質)を決定し得る。
【0004】
第一の態様では、方法が提供される。方法は、ライダー装置のクリーニング装置を使用して、ライダー装置の一つまたは複数の光学構成要素にクリーニングプロトコルを適用することを含む。方法はまた、ライダー装置の発光体から、一つまたは複数の光信号を放射することを含む。さらに、方法は、ライダー装置の光検出器によって、一つまたは複数の光信号の反射を検出することを含む。さらに、方法は、一つまたは複数の光信号の検出された反射に基づき、ライダー装置のコントローラーによって、一つまたは複数の欠陥が一つまたは複数の光学構成要素内またはクリーニング装置内に存在すると決定することを含む。
【0005】
第二の態様では、システムが提供される。システムは、ライダー装置を含む。ライダー装置は、一つまたは複数の光学構成要素を含む。ライダー装置は、一つまたは複数の光信号を発するように構成される発光体も含む。さらに、ライダー装置は、一つまたは複数の光信号の反射を検出するように構成される光検出器を含む。システムはまた、クリーニングプロトコルを一つまたは複数の光学構成要素に適用するように構成されるクリーニング装置を含む。さらに、システムは、一つまたは複数の光信号の検出された反射に基づき、一つまたは複数の欠陥が一つまたは複数の光学構成要素内またはクリーニング装置内に存在すると決定するように構成されるコントローラーを含む。
【0006】
第三の態様では、コンピューティング装置が提供される。コンピューティング装置は、ライダー装置によって検出された一つまたは複数の光信号の反射に対応するデータを受信するように構成される。一つまたは複数の光信号は、ライダー装置のクリーニング装置がライダー装置の一つまたは複数の光学構成要素にクリーニングプロトコルを適用するのに応答して、ライダー装置の発光体によって放射された。コンピューティング装置はまた、受信したデータに基づき、一つまたは複数の欠陥が一つまたは複数の光学構成要素内またはクリーニング装置内に存在すると決定するように構成される。
【0007】
これらの並びに他の態様、利点、および代替物は、当業者には、以下の詳細な説明を添付の図面を適宜参照して読み取ることにより明らかになるであろう。
【図面の簡単な説明】
【0008】
図1図1は、例示的な実施形態による、車両を例解する機能ブロック図である。
【0009】
図2A図2Aは、例示的な実施形態による、車両の物理的構成の例解図である。
【0010】
図2B図2Bは、例示的な実施形態による、車両の物理的構成の例解図である。
【0011】
図2C図2Cは、例示的な実施形態による、車両の物理的構成の例解図である。
【0012】
図2D図2Dは、例示的な実施形態による、車両の物理的構成の例解図である。
【0013】
図2E図2Eは、例示的な実施形態による、車両の物理的構成の例解図である。
【0014】
図2F図2Fは、例示的な実施形態による、車両の物理的構成の例解図である。
【0015】
図2G図2Gは、例示的な実施形態による、車両の物理的構成の例解図である。
【0016】
図2H図2Hは、例示的な実施形態による、車両の物理的構成の例解図である。
【0017】
図2I図2Iは、例示的な実施形態による、車両の物理的構成の例解図である。
【0018】
図2J図2Jは、例示的な実施形態による、さまざまなセンサーの視野の例解図である。
【0019】
図2K図2Kは、例示的な実施形態による、センサーに対するビームステアリングの例解図である。
【0020】
図3図3は、例示的な実施形態による、自律または半自律車両に関連するさまざまなコンピューティングシステム間の無線通信の概念例解図である。
【0021】
図4A図4Aは、例示的な実施形態による、ライダー装置を含むシステムのブロック図である。
【0022】
図4B図4Bは、例示的な実施形態による、ライダー装置のブロック図である。
【0023】
図5図5は、例示的な実施形態による、ライダー装置および関連する疎水性コーティングの例解図である。
【0024】
図6A図6Aは、例示的な実施形態による物体検出の例解図である。
【0025】
図6B図6Bは、例示的な実施形態によるクロストーク検出の例解図である。
【0026】
図6C図6Cは、例示的な実施形態によるクロスフィードバック検出の例解図である。
【0027】
図6D図6Dは、例示的な実施形態による遮蔽検出の例解図である。
【0028】
図7A図7Aは、例示的な実施形態による、クリーニングプロトコルを適用するクリーニング装置を有するシステムの例解図である。
【0029】
図7B図7Bは、例示的な実施形態による、クリーニングプロトコルを適用するクリーニング装置を有するシステムの例解図である。
【0030】
図8A図8Aは、例示的な実施形態による、検出された反射光信号の強度のプロット、および検出された反射光信号の強度のプロットに関連付けられる適合される関数の例解図である。
【0031】
図8B図8Bは、例示的な実施形態による、システムのフリートに対して決定されたメトリックの散乱プロットである。
【0032】
図9図9は、例示的な実施形態による、方法のフローチャート例解図である。
【発明を実施するための形態】
【0033】
例示的な方法およびシステムが本明細書で企図される。本明細書において説明される任意の例示的な実施形態または特徴の例は、必ずしも他の実施形態または特徴よりも好ましいか、または有利であると解釈されるべきではない。さらに、本明細書において説明される例示的な実施形態は、限定的であることを意味するものではない。開示されたシステムおよび方法の特定の態様は、多種多様な異なる構成で配置し、組み合わせることができ、これらの構成の全てが、本明細書において企図されることは容易に理解されよう。加えて、図に示される特定の配置は、限定としてみなされるべきではない。他の実施形態は、所定の図に示されるそれぞれの要素をより多く、またはより少なく含むことができることが理解されるべきである。追加的に、例解される要素のうちのいくつかは、組み合わせされ得るか、または省略され得る。なおさらに、例示的な実施形態は、図に例解されていない要素を含み得る。
【0034】
本明細書に説明されるライダー装置は、一つまたは複数の発光体と、一つまたは複数の発光体によって放射され、ライダー装置を取り囲む環境内の一つまたは複数の物体によって反射される光を検出するために使用される一つまたは複数の検出器と、を含み得る。一例として、周囲環境は、建物の内側または建物の外側などの、内部または外部環境を含み得る。追加的または代替的に、周囲環境は、車両の内部を含み得る。なおさらに、周囲環境は、道路の周りおよび/または道路上の周辺を含み得る。周囲環境にある物体の例としては、限定されるものではないが、他の車両、交通標識、歩行者、自転車に乗る人、道路表面、建物、地形などが挙げられる。追加的に、一つまたは複数の発光体は、ライダー自体の局所環境中に光を放射し得る。例えば、一つまたは複数の発光体から放射された光は、ライダーのハウジングおよび/またはライダーに結合される表面もしくは構造と相互作用し得る。場合によっては、ライダーは、車両に取り付けられ得、その場合、一つまたは複数の発光体は、車両の周辺内の物体と相互作用する光を放射するように構成され得る。発光体は、他の可能性の中でも、光ファイバー増幅器、レーザーダイオード、発光ダイオード(LED)を含み得る。
【0035】
ライダー装置および/またはカメラは、周囲環境を感知するために使用されることができる。例えば、ライダー装置を用いて、自律車両の周囲の環境に関連付けられる点群を生成することができ、その点群は、自律車両によって物体の検出および回避のために使用されることができる。このようなライダー装置および/またはカメラは、一つまたは複数の光学構成要素を含み得る。例えば、ライダー装置および/またはカメラは、光学窓、ミラー、レンズなどを含み得る。
【0036】
場合によっては、カメラまたはライダー装置内の光学構成要素上または光学構成要素内の一つまたは複数の欠陥の結果として、キャプチャーされた画像や生成された点群が悪影響を受ける可能性がある(例えば、開口部の汚れおよび/または開口部の経時劣化の結果として)。例えば、引っかき傷、亀裂、汚れ、変形、気泡、不純物、劣化、変色、不完全な透明性、ゆがみ、水滴、汚れ、ほこり、泥、落ち葉、雨、雪、みぞれ、ひょう、氷、等は、ライダーの発光体から照射される光をイメージセンサー/光検出器の意図しない/不適切な領域に向けさせる可能性が有り、ライダーの発光体から照射される光がイメージセンサー/光検出器に到達するのさえも妨げる可能性があり、望ましくないクロストークまたは内部反射をもたらし、あるいは光がイメージセンサー/光検出器に到達する前にライダーの発光体から照射される光を変更させたりする(例えば、偏光または波長が変更される)可能性がある。このような欠陥により、物体識別や距離検出が不適切になる可能性がある。自律車両の用途では、物体識別/距離検出が不適切であると、交通機関の速度低下または衝突につながり得る。このように、多くのライダー装置/カメラ(例えば、自律車両に搭載されたライダー装置/カメラ)はまた、ライダー装置/カメラの構成要素をクリーニングするために使用され得るクリーニング装置(例えば、ワイパー、クリーニングノズル/噴霧器、および加圧空気を適用するように構成されるエアコンプレッサー)を含んでもよい。例えば、ライダー装置は、ライダー装置の外部窓上にクリーニング溶液を堆積させるために使用されるクリーニングスプレー、および/またはクリーニング溶液を堆積させた後に外部窓から除去するために使用されるワイパーを含んでもよい。
【0037】
本明細書に記載の例示的な実施形態は、一つまたは複数の欠陥の存在を特定するための技術を提供する。さらに、例示的な実施形態は、追加の検出構成要素(例えば、追加の光学系、エミッター、およびセンサー)なしで破片の検出を可能にする。例えば、経時的に一つまたは複数の構成要素(例えば、外部窓上の表面上の疎水性コーティングの劣化状態)上の破片(例えば、凝縮、雪、および雨)の存在を検出および/または状態を監視するために、一つまたは複数のクリーニング構成要素を使用して、一つまたは複数の構成要素に水分を塗布し得る。例えば、噴霧器を使用して、外部窓の表面の疎水性コーティングに水またはクリーニング溶液を塗布し得る。その後、水/クリーニング溶液および/またはライダー装置の内部構成要素から反射された光信号(例えば、クロスフィードバック信号、クロストーク信号、およびライダー装置の外部の物体と相互作用する信号)を分析して、疎水性コーティングの健全性(例えば、劣化量)を決定し得る。例えば水/クリーニング溶液から反射(または部分的に反射)され、次いで、光検出器によって検出される発光体によって放射される一つまたは複数の光信号は、較正測定値(例えば、ライダー装置が製造ライン上にあるか、または組み立てられている時に作られる)に比較され、疎水性コーティングの現在の状態を決定する(例えば、液滴がどのように、疎水性コーティングの表面上でしずくになる、および/または液滴が疎水性コーティングからどの程度迅速に脱落するか)。一部の実施形態では、光信号の検出は、一つまたは複数の追加のクリーニング技術が実施される間(例えば、加圧空気の一つまたは複数の適用、すなわち、エア吹出が発生している間に)に発生し得る。
【0038】
反射光信号を分析することが、経時的な反射光信号の強度を監視することを含み得る。例えば、クリーニング溶液をライダー装置の光学窓上に噴霧すると、光学窓に向かって放射される光信号は、ライダー装置の検出器に向かって実質的に反射されて戻ってもよい。これは、(例えば、窓上のクリーニング溶液の液滴からの反射に基づき)短い移動時間で比較的高強度の検出光信号をもたらし得る。逆に、クリーニング溶液が光学窓から蒸発する/光学窓から移動する(例えば、クリーニング装置による加圧空気の印加に起因して)と、短い時間窓(例えば、短い移動時間に対応する)内で検出される光信号の強度は減少し得る(例えば、より少ない量のクリーニング溶液の液滴が光学窓上に存在するため)。こうした減少は、さまざまな実施形態において、ライダー装置の全ての光検出器または光検出器のサブセットのみに対応するデータで観察され得る。しかしながら、経時的にこの減少を監視することによって(例えば、時間に対して検出された反射強度をプロットすることによって)、傾向を観察することができる。この傾向は、一つまたは複数の曲線/関数に適合させることができる。例えば、ライダー装置のコントローラーは、傾向を指数関数的減衰関数に適合させ得る。こうした適合される指数関数的減衰関数は、一つまたは複数のメリットの図を有し得る。例えば、指数関数的減衰に関連付けられる初期値/ピーク値および時間定数を、メリットの図として使用し得る。これらのメリットの図は、経時的に追跡し、および/または一つまたは複数の較正測定値と比較して、ライダー装置の状態(例えば、光学窓の健全性、およびクリーニング装置自体の健全性)を決定することができる。例えば、指数関数的減衰関数の初期値が較正測定値と比較して低すぎる場合、クリーニング装置の噴霧器が光学構成要素の表面に十分な液体を提供していない(例えば、クリーニング装置内のクリーニング溶液を再充填する必要がある)という表示であり得る。別の方法として、時間定数が較正測定値と比較して高すぎる場合、関連する疎水性コーティングが劣化した(例えば、疎水性の減少をもたらす)という表示であり得る。他のタイプの適合機能および/または他のメリットの図も可能であり、本明細書で企図される。
【0039】
いくつかの実施形態では、検出された信号の分析(例えば、較正測定との比較)は、疎水性コーティングの状態を決定する際に、追加的な要因を考慮に入れ得る。例えば噴霧器が疎水性コーティングに水/クリーニング溶液を塗布する場合であるが、周囲環境において、追加的に降雨/降雪である場合(例えば、レーダーデバイスなどの補助センサーによって決定されるように)一連の検出された光信号は、降雨/雪が存在しない一連の信号をシミュレートするように人工的に修正されてもよく(例えば、一連の検出された光信号の強度にオフセットを適用してもよい)、次に、そのシミュレーションされた一連の信号を較正測定値と比較し得る。別の方法として、疎水性コーティングの状態を決定するために、ランタイム測定値を比較することができる(例えば、ランタイム測定が行われた時の環境条件に基づき)さまざまな環境条件で行われた較正測定値のバンクがあり得る。
【0040】
ライダー装置の構成要素の状態/健全性を監視するために、こうしたクリーニング技術は、定期的な間隔で実施(および対応する光信号が分析)され得る。例えば、月に一回、週に一回、一日一回、一時間一回、15分に一回、一分に一回など、ライダー装置は、クリーニングプロトコルを実施し、反射光信号の特性の学習を行ってもよい。追加的にまたは代替的に、クリーニング技術は、トリガーイベントに応答して実施され得る(および対応する光信号が分析される)。例えば、ユーザー(例えば、自律車両内のライダ)は、クリーニングを要求するために、または構成要素信頼性分析を実施するべきであることを示すために、(例えば、車両のユーザーインターフェイスを介して、またはモバイルデバイス上のモバイルアプリケーションを使用して)一つまたは複数の信号を、ライダー装置に送信し得る。こうした信号を受信すると、ライダー装置はクリーニングプロトコルを開始し得る。他のトリガーイベントも可能であり、本明細書で企図される(例えば、気象イベント、フリート管理デバイスなどのオフボードコンピューティング装置からの通信、周囲環境で検出された一つまたは複数の物体が不適切に識別されたという、ライダー装置のコントローラーによる決定、検出されたクロスフィードバック信号または検出されたクロストーク信号など、一つまたは複数の検出された光信号が、所与の強度閾値を超えているという、ライダーコントローラーによってなされる決定)。
【0041】
さらに、本明細書に記載の技術を使用して、一つまたは複数の欠陥が、ライダー装置に関連付けられる一つまたは複数の構成要素内に存在する(例えば、一つまたは複数の光学構成要素の劣化、一つまたは複数の光学構成要素内に存在する一つまたは複数の欠陥、および一つまたは複数の光学構成要素上の破片)と決定すると、適切な是正措置が開始され得る。例えば、追加のクリーニングプロトコルが実施され得る(例えば、より長いクリーニングプロトコルまたはより高濃度の溶液または強化された加圧気流を使用するクリーニングプロトコルなど、漸増されたクリーニングプロトコルが実施され得る)。別の方法として、一つまたは複数の欠陥に関連付けられる一つまたは複数の光学構成要素は、修理または交換され得る。さらに他の実施形態では、一つまたは複数の欠陥に関連付けられる一つまたは複数の光学構成要素を介して捕捉されたデータは、潜在的なレビューのためにフラグ付けされてもよく、および/または潜在的に信頼できないとしてフラグ付けされ得る。さらに他の実施形態では、後処理は、一つまたは複数の光学構成要素内に存在する欠陥の影響を説明するために、一つまたは複数の光学構成要素を介して捕捉されたデータに対して行われてもよい。例えば、欠陥が周囲環境内の物体に対する見かけ範囲の減少をもたらす場合、範囲に対するオフセットを適用してデータを補正し得る。同様に、欠陥が周囲環境の物体によって反射される光信号の見かけの強度の減少をもたらす場合、強度に対するオフセットを適用してデータを補正し得る。
【0042】
以下の説明および添付図面は、さまざまな例示的な実施形態の特徴を明らかにする。提供される実施形態は、例としてのものであり、限定することを意図するものではない。従って、図面の寸法は、必ずしも縮尺どおりではない。
【0043】
ここで、本開示の範囲内の例示的なシステムをより詳細に説明する。例示的なシステムは、自動車に実装され得るか、または自動車の形態を採り得る。追加的に、例示的なシステムはまた、車、トラック(例えば、ピックアップトラック、バン、トラクタ、およびトラクタトレーラーなど)、オートバイ、バス、飛行機、ヘリコプタ、ドローン、芝刈り機、ブルドーザ、ボート、潜水艦、全地形対応車両、スノーモービル、航空機、レクリエーション車両、遊園地車両、農機具または農業用車両、建設機械または建設車両、倉庫設備または倉庫車両、工場設備または工場車両、トラム、ゴルフカート、電車、トロリー、歩道運搬車両、ロボットデバイスなどの、さまざまな車両において実装され得るか、またはさまざまな車両の形態を採り得る。他の車両も同じく可能である。さらに、いくつかの実施形態では、例示的なシステムは、車両を含み得ない。
【0044】
ここで図を参照すると、図1は、自律モードで完全にまたは部分的に動作するように構成され得る、例示的な車両100を例解する機能ブロック図である。より具体的には、車両100は、コンピューティングシステムから制御命令を受信することを通して、人間の相互作用なしに自律モードで動作し得る。自律モードにおける動作の一部として、車両100は、センサーを使用して、周囲環境の物体を検出し、場合によっては識別して、安全なナビゲーションを可能にし得る。追加的に、例示的な車両100は、車両100のいくつかの機能が車両100の人間の運転手によって制御され、車両100のいくつかの機能がコンピューティングシステムによって制御される、部分的に自律(すなわち、半自律)モードで動作し得る。例えば、車両100はまた、運転手がステアリング、加速、およびブレーキなどの車両100の動作を制御することを可能にするサブシステムを含み得るが、一方で、コンピューティングシステムは、周囲環境内の他の物体(例えば、車両)に基づき、車線逸脱警告/車線維持支援またはアダプティブクルーズコントロールなどの支援機能を実施する。
【0045】
本明細書に説明されるように、部分的自律運転モードでは、車両が一つまたは複数の運転動作(例えば、レーンセンタリング、アダプティブクルーズコントロール、先進運転支援システム(ADAS)、および緊急ブレーキを実施するためのステアリング、ブレーキ、および/または加速)を支援するが、人間の運転手は、車両の周囲を状況的に認識し、支援された運転動作を監督することが期待される。ここで、車両が特定の状況で全ての運転タスクを実施し得るが、人間の運転手は、必要に応じて制御を行う責任を負うことが期待される。
【0046】
簡略化および簡潔化のために、さまざまなシステムおよび方法が自律車両と併せて以下に説明されるが、これらまたは同様のシステムおよび方法は、完全自律運転システム(すなわち、部分的に自律運転システム)のレベルに達しないさまざまな運転支援システムで使用され得る。米国では、自動車技術者協会(SAE)は、車両が運転をどの程度多く、またはどの程度少なく制御するかを示すために、異なるレベルの自動化された運転動作を定義しているが、米国または他の国における異なる組織が、レベルを異なって分類し得る。より具体的には、開示されたシステムおよび方法は、ステアリング、ブレーキ、加速、レーンセンタリング、アダプティブクルーズコントロールなど、および他の運転手サポートを実装するSAEレベル2の運転支援システムで使用され得る。開示されたシステムおよび方法は、限定された(例えば、高速道路)条件下で自律運転が可能なSAEレベル3の運転支援システムで使用され得る。同様に、開示されたシステムおよび方法は、ほとんどの通常の運転状況下で自律的に動作し、人間のオペレーターの時折の注意のみを必要とする、SAEレベル4の自動運転システムを使用する車両に使用され得る。全てのそのようなシステムでは、正確なレーン推定は、運転手の入力または制御(例えば、車両が移動中)なしで自動的に実施され、車両測位およびナビゲーションの改善された信頼性、並びに自律運転、半自律運転、および他の運転支援システムの全体的な安全性を結果的にもたらす。上記のように、SAEが自動運転動作のレベルを分類する方式に加えて、米国または他の国における他の組織は、自動運転動作のレベルを異なって分類し得る。限定されるものではないが、本明細書の開示されたシステムおよび方法は、これらの他の組織の自動運転動作のレベルによって定義される運転支援システムに使用され得る。
【0047】
図1に示されるように、車両100は、推進システム102、センサーシステム104、制御システム106、一つまたは複数の周辺装置108、電源110、データストレージ114を有するコンピューターシステム112(コンピューティングシステムとも称され得る)、およびユーザーインターフェイス116などのさまざまなサブシステムを含み得る。他の例では、車両100は、各々複数の要素を含み得る、より多いかまたはより少ないサブシステムを含み得る。車両100のサブシステムおよび構成要素は、さまざまな方法で相互接続され得る。加えて、本明細書で説明される車両100の機能は、追加の機能的または物理的構成要素に分割されるか、または実施形態内でより少ない機能的もしくは物理的構成要素に組み合わされ得る。例えば、制御システム106およびコンピューターシステム112は、さまざまな動作に従って車両100を動作させる単一のシステムに組み合わされ得る。
【0048】
推進システム102は、車両100に対して動力付き運動を提供するように動作可能な一つまたは複数の構成要素を含み得、他の可能な構成要素の中でも、エンジン/モーター118、エネルギー源119、トランスミッション120、および車輪/タイヤ121を含み得る。例えば、エンジン/モーター118は、エネルギー源119を機械的エネルギーに変換するように構成され得、他の可能なオプションの中でも、内燃エンジン、電気モーター、蒸気エンジン、またはスターリングエンジンのうちの一つまたは組み合わせに対応し得る。例えば、いくつかの実施形態では、推進システム102は、ガソリンエンジンおよび電気モーターなどの多数のタイプのエンジンおよび/またはモーターを含み得る。
【0049】
エネルギー源119は、完全にまたは部分的に、車両100の一つまたは複数のシステム(例えば、エンジン/モーター118)に動力を供給し得るエネルギー源を表す。例えば、エネルギー源119は、ガソリン、ディーゼル、他の石油ベースの燃料、プロパン、他の圧縮ガスベースの燃料、エタノール、ソーラパネル、電池、および/または他の電力源に対応することができる。いくつかの実施形態では、エネルギー源119は、燃料タンク、電池、コンデンサー、および/またはフライホイールの組み合わせを含み得る。
【0050】
トランスミッション120は、エンジン/モーター118からの機械動力を、車輪/タイヤ121および/または車両100の他の可能なシステムに伝達し得る。従って、トランスミッション120は、他の可能な構成要素の中でもとりわけ、ギアボックス、クラッチ、ディファレンシャル、および駆動シャフトを含み得る。駆動シャフトは、一つまたは複数の車輪/タイヤ121に接続する車軸を含み得る。
【0051】
車両100の車輪/タイヤ121は、例示的な実施形態内でさまざまな構成を有し得る。例えば、車両100は、他の可能な構成の中でも、一輪車、自転車/オートバイ、三輪車、または自動車/トラックの四輪の形態で存在し得る。従って、車輪/タイヤ121は、さまざまな方法で車両100に接続することができ、金属およびゴムなどの異なる材料で存在することができる。
【0052】
センサーシステム104は、他の可能なセンサーの中でも特に、全地球測位システム(GPS)122、慣性測定ユニット(IMU)124、レーダー126、ライダー128、カメラ130、ステアリングセンサー123、およびスロットル/ブレーキセンサー125などのさまざまなタイプのセンサーを含むことができる。いくつかの実施形態では、センサーシステム104は、車両100の内部システムを監視するように構成されるセンサー(例えば、Oモニター、燃料計、エンジンオイル温度、およびブレーキ摩耗)も含み得る。
【0053】
GPS122は、地球に対する車両100の位置に関する情報を提供するように動作可能なトランシーバーを含み得る。IMU124は、一つまたは複数の加速度計および/またはジャイロスコープを使用する構成を有し得、慣性加速度に基づき車両100の位置および配向の変化を感知し得る。例えば、IMU124は、車両100が静止しているか、または動いている間に車両100のピッチおよびヨーを検出し得る。
【0054】
レーダー126は、物体の速さおよび方位を含めて、無線信号を使用して、車両100の周囲環境内の物体を感知するように構成される一つまたは複数のシステムを表すことができる。従って、レーダー126は、無線信号を送信および受信するように構成されるアンテナを含み得る。いくつかの実施形態では、レーダー126は、車両100の周囲環境の測定値を得るように構成される取り付け可能なレーダーに対応し得る。
【0055】
ライダー128は、他のシステム構成要素の中でも特に、一つまたは複数のレーザー源、レーザースキャナー、および一つまたは複数の検出器を含み得、コヒーレントモード(例えば、ヘテロダイン検出などを使用)またはインコヒーレント検出モード(すなわち、飛行時間モード)で動作し得る。いくつかの実施形態では、ライダー128の一つまたは複数の検出器は、特に感度の高い検出器(例えば、アバランシェフォトダイオード)であり得る、一つまたは複数の光検出器を含み得る。いくつかの例では、そのような光検出器は、単一光子(例えば、単一光子アバランシェダイオード(SPAD))を検出することが可能であり得る。さらに、そのような光検出器は、アレイ内に配置され得る(例えば、シリコン光電子増倍管(SiPM)のように)(例えば、直列の電気接続を通して)。いくつかの例では、一つまたは複数の光検出器は、ガイガーモードで動作するデバイスであり、ライダーは、そのようなガイガーモード動作のために設計されたサブ構成要素を含む。
【0056】
カメラ130は、車両100の周囲環境の画像をキャプチャーするように構成される、一つまたは複数の装置(例えば、静止カメラ、ビデオカメラ、熱画像カメラ、ステレオカメラ、およびナイトビジョンカメラ)を含み得る。
【0057】
ステアリングセンサー123は、車両100のステアリング角度を感知し得、これは、ステアリングホイールの角度を測定すること、またはステアリングホイールの角度を表す電気信号を測定することを含み得る。いくつかの実施形態では、ステアリングセンサー123は、車両100の前方軸に対する車輪の角度を検出するなど、車両100の車輪の角度を測定し得る。ステアリングセンサー123はまた、ステアリングホイールの角度、ステアリングホイールの角度を表す電気信号、および車両100の車輪の角度の組み合わせ(またはサブセット)を測定するように構成され得る。
【0058】
スロットル/ブレーキセンサー125は、車両100のスロットル位置またはブレーキ位置のいずれかの位置を検出し得る。例えば、スロットル/ブレーキセンサー125は、アクセルペダル(スロットル)およびブレーキペダルの両方の角度を測定し得るか、または、例えば、アクセルペダル(スロットル)の角度および/またはブレーキペダルの角度を表し電気信号を測定し得る。スロットル/ブレーキセンサー125はまた、エンジン/モーター118(例えば、バタフライバルブおよびキャブレタ)にエネルギー源119のモジュレーションを提供する物理的機構の一部を含み得る、車両100のスロットルボディの角度を測定し得る。追加的に、スロットル/ブレーキセンサー125は、車両100のロータ上の一つまたは複数のブレーキパッドの圧力、またはアクセルペダル(スロットル)およびブレーキペダルの角度の組み合わせ(またはサブセット)、アクセルペダル(スロットル)およびブレーキペダルの角度を表す電気信号、スロットルボディの角度、並びに少なくとも一つのブレーキパッドが車両100のロータに加える圧力、を測定し得る。他の実施形態では、スロットル/ブレーキセンサー125は、スロットルまたはブレーキペダルなどの車両のペダルに加えられた圧力を測定するように構成され得る。
【0059】
制御システム106は、ステアリングユニット132、スロットル134、ブレーキユニット136、センサー融合アルゴリズム138、コンピュータービジョンシステム140、ナビゲーション/経路探索システム142、および障害物回避システム144など、車両100をナビゲートすることを支援するように構成される構成要素を含み得る。より具体的には、ステアリングユニット132は、車両100の方位を調整するように動作可能であり得、スロットル134は、エンジン/モーター118の動作スピードを制御して、車両100の加速を制御し得る。ブレーキユニット136は、車両100を減速することができ、これは、摩擦を使用して車輪/タイヤ121を減速することを伴い得る。いくつかの実施形態では、ブレーキユニット136は、車両100の一つまたは複数のシステムによるその後の使用のために、車輪/タイヤ121の運動エネルギーを電流に変換し得る。
【0060】
センサー融合アルゴリズム138は、カルマンフィルター、ベイジアンネットワーク、またはセンサーシステム104からのデータを処理することができる他のアルゴリズムを含み得る。いくつかの実施形態では、センサー融合アルゴリズム138は、個々の物体および/もしくは特徴の評価、特定の状況の評価、並びに/または所与の状況内の可能性のある影響の評価など、着信センサーデータに基づくアセスメントを提供し得る。
【0061】
コンピュータービジョンシステム140は、移動中である物体(例えば、他の車両、歩行者、自転車に乗る人、または動物)および移動中ではない物体(例えば、交通信号機、車道境界、スピードバンプ、またはくぼみ)を決定するために画像を処理および分析するように動作可能なハードウェアおよびソフトウェア(例えば、中央処理装置(CPU)などの汎用プロセッサー、グラフィック処理ユニット(GPU)またはテンソル処理ユニット(TPU)などの専用プロセッサー、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、揮発性メモリー、不揮発性メモリー、または一つまたは複数の機械学習モデル)を含み得る。従って、コンピュータービジョンシステム140は、物体認識、ストラクチャフロムモーション(SFM)、ビデオ追跡、および、例えば、物体を認識し、環境をマッピングし、物体を追跡し、物体のスピードを推定するためなどにコンピュータービジョンで使用される他のアルゴリズムを使用し得る。
【0062】
ナビゲーション/経路探索システム142は、車両100の運転経路を決定することができ、これは、動作中にナビゲーションを動的に調整することを伴い得る。従って、ナビゲーション/経路探索システム142は、数ある情報源の中でも特に、センサー融合アルゴリズム138、GPS122、およびマップからのデータを使用して、車両100をナビゲートし得る。障害物回避システム144は、センサーデータに基づき潜在的な障害物を評価し、車両100のシステムに潜在的な障害物を回避させるか、または別様に切り抜けさせ得る。
【0063】
図1に示されるように、車両100はまた、無線通信システム146、タッチスクリーン148、内部マイクロフォン150、および/またはスピーカー152などの周辺機器108を含み得る。周辺機器108は、ユーザーがユーザーインターフェイス116と相互作用するための制御または他の要素を提供し得る。例えば、タッチスクリーン148は、車両100のユーザーに情報を提供し得る。ユーザーインターフェイス116はまた、タッチスクリーン148を介してユーザーからの入力を受けいれ得る。周辺機器108はまた、車両100が、他の車両のデバイスなどのデバイスと通信することを可能にし得る。
【0064】
無線通信システム146は、一つまたは複数の装置と直接または通信ネットワークを介して無線で通信し得る。例えば、無線通信システム146は、符号分割多重アクセス(CDMA)、エボリューションデータ最適化(EVDO)、モバイル通信用グローバルシステム(GSM)/汎用パケット無線サービス(GPRS)などの3Gセルラー通信、または4Gワールドワイドインターオペラビリティフォーマイクロウェーブアクセス(WiMAX)もしくはロングタームエボリューション(LTE)などのセルラー通信、または5Gを使用することができる。代替的に、無線通信システム146は、WIFI(登録商標)または他の可能な接続を使用して無線ローカルエリアネットワーク(WLAN)と通信し得る。無線通信システム146はまた、例えば、赤外線リンク、Bluetooth、またはZigBeeを使用してデバイスと直接通信し得る。さまざまな車両通信システムなどの他の無線プロトコルが、本開示の文脈内で可能である。例えば、無線通信システム146は、車両および/または路側給油所間の公共および/または私的データ通信を含み得る一つまたは複数の専用狭域通信(DSRC)デバイスを含み得る。
【0065】
車両100は、構成要素に電力を供給するための電源110を含み得る。電源110は、いくつかの実施形態では、再充電可能なリチウムイオンまたは鉛蓄電池を含み得る。例えば、電源110は、電力を提供するように構成される一つまたは複数の電池を含み得る。車両100はまた、他のタイプの電源を使用して得る。例示的な実施形態では、電源110とエネルギー源119とが、統合されて単一のエネルギー源になり得る。
【0066】
車両100はまた、そこに説明される動作などの動作を行うためのコンピューターシステム112を含み得る。従って、コンピューターシステム112は、データストレージ114などの非一時的なコンピューター可読媒体に記憶された命令115を実行するように動作可能な少なくとも一つのプロセッサー113(少なくとも一つのマイクロプロセッサーを含み得る)を含み得る。いくつかの実施形態では、コンピューターシステム112は、車両100の個々の構成要素またはサブシステムを分散方式で制御するように機能し得る複数のコンピューティング装置を表し得る。
【0067】
いくつかの実施形態では、データストレージ114は、図1に関連して上述したものを含めて、車両100のさまざまな機能を実行するための、プロセッサー113によって実行可能な命令115(例えば、プログラム論理)を含み得る。データストレージ114は、推進システム102、センサーシステム104、制御システム106、および周辺機器108のうちの一つまたは複数にデータを送信する、データを受信する、相互作用する、および/または制御する命令を含む追加の命令も含み得る。
【0068】
命令115に加えて、データストレージ114は、情報の中でもとりわけ、道路地図、経路情報などのデータを記憶し得る。そのような情報は、自律モード、半自律モード、および/または手動モードにおける車両100の動作中に、車両100およびコンピューターシステム112によって使用され得る。
【0069】
車両100は、車両100のユーザーに情報を提供するか、または車両100のユーザーから入力を受信するためのユーザーインターフェイス116を含み得る。ユーザーインターフェイス116は、タッチスクリーン148上に表示され得るコンテンツおよび/またはインタラクティブ画像のレイアウトを制御するまたは制御を可能にし得る。さらに、ユーザーインターフェイス116は、無線通信システム146、タッチスクリーン148、マイクロフォン150、およびスピーカー152などの周辺機器108のセット内の一つまたは複数の入力/出力デバイスを含むことができる。
【0070】
コンピューターシステム112は、さまざまなサブシステム(例えば、推進システム102、センサーシステム104、または制御システム106)から、およびユーザーインターフェイス116から受信した入力に基づき、車両100の機能を制御し得る。例えば、コンピューターシステム112は、推進システム102および制御システム106によって生成された出力を推定するために、センサーシステム104からの入力を利用し得る。実施形態に応じて、コンピューターシステム112は、車両100およびそのサブシステムの多くの態様を監視するように動作可能であり得る。いくつかの実施形態では、コンピューターシステム112は、センサーシステム104から受信した信号に基づき、車両100の一部または全ての機能を無効にし得る。
【0071】
車両100の構成要素は、それらのそれぞれのシステム内または外部の他の構成要素と相互接続される方式で機能するように構成され得る。例えば、例示的な実施形態では、カメラ130は、自律または半自律モードで動作している車両100の周囲環境の状態に関する情報を表すことができる複数の画像をキャプチャーすることができる。周囲環境の状態は、車両が動作している道路のパラメーターを含み得る。例えば、コンピュータービジョンシステム140は、道路の複数の画像に基づき、傾斜(勾配)または他の特徴を認識することが可能であり得る。追加的に、GPS122とコンピュータービジョンシステム140によって認識された特徴との組み合わせは、具体的な道路パラメーターを決定するために、データストレージ114に記憶された地図データとともに使用され得る。さらに、レーダー126および/もしくはライダー128、並びに/またはいくつかの他の環境マッピング、範囲、および/もしくは測位センサーシステムもまた、車両の周囲についての情報を提供し得る。
【0072】
言い換えると、さまざまなセンサー(入力指標センサーおよび出力指標センサーと呼ぶことができる)とコンピューターシステム112との組み合わせが相互作用して、車両を制御するために提供される入力の指標または車両の周囲の指標を提供することができる。
【0073】
いくつかの実施形態では、コンピューターシステム112は、無線システム以外のシステムによって提供されるデータに基づき、さまざまな物体に関する決定を行い得る。例えば、車両100は、車両の視野内の物体を感知するように構成されるレーザーまたは他の光学センサーを有し得る。コンピューターシステム112は、さまざまなセンサーからの出力を使用して、車両の視野内の物体に関する情報を決定し得、さまざまな物体までの距離および方向情報を決定し得る。コンピューターシステム112はまた、さまざまなセンサーからの出力に基づき、物体が望ましいか、または望ましくないかを決定し得る。
【0074】
図1は、車両100のさまざまな構成要素(すなわち、無線通信システム146、コンピューターシステム112、データストレージ114、およびユーザーインターフェイス116)を車両100に統合されるものとして示すが、これらの構成要素のうちの一つまたは複数は、車両100とは別個に取り付けられるかまたは関連付けられ得る。例えば、データストレージ114は、部分的または完全に、車両100とは別個に存在することができる。従って、車両100は、別個にまたは一緒に位置し得るデバイス要素の形態で提供され得る。車両100を構成するデバイス要素は、有線および/または無線方式で一緒に通信可能に結合され得る。
【0075】
図2A~2Eは、図1を参照して車両100に関連して説明された機能の一部または全てを含み得る例示的な車両200(例えば、完全自律車両または半自律車両)を示す。車両200は、例解目的で、側面ミラーを有するバンとして図2A~2Eに例解されるが、本開示は、そのように限定されるものではない。例えば、車両200は、トラック、乗用車、セミトレーラートラック、オートバイ、ゴルフカート、オフロード車両、農業用車両、または本明細書の他の箇所で説明される任意の他の車両(例えば、バス、ボート、飛行機、ヘリコプタ、ドローン、芝刈り機、ブルドーザ、潜水艦、全地形対応車両、スノーモービル、航空機、レクリエーション車両、遊園地車両、農機具、建設機械または建設車両、倉庫設備または倉庫車両、工場設備または工場車両、トラム、電車、トロリー、歩道運搬車両、およびロボットデバイス)を表し得る。
【0076】
例示的な車両200は、一つまたは複数のセンサーシステム202、204、206、208、210、212、214、および218を含み得る。いくつかの実施形態では、センサーシステム202、204、206、208、210、212、214、および/または218は、一つまたは複数の光学システム(例えば、カメラ)、一つまたは複数のライダー、一つまたは複数のレーダー、一つまたは複数の慣性センサー、一つまたは複数の湿度センサー、一つまたは複数の音響センサー(例えば、マイクロフォン、およびソナーデバイス)、または車両200を取り囲む環境についての情報を感知するように構成される一つまたは複数の他のセンサーを表し得る。言い換えると、現在既知または今後作り出される任意のセンサーシステムは、車両200に結合され得、および/または車両200のさまざまな動作と併せて利用され得る。一例として、ライダーは、自動運転、または車両200の他のタイプのナビゲーション、計画、知覚、および/もしくはマッピング動作に利用され得る。加えて、センサーシステム202、204、206、208、210、212、214、および/または218は、本明細書に説明されるセンサー(例えば、一つまたは複数のライダーおよびレーダー、一つまたは複数のライダーおよびカメラ、一つまたは複数のカメラおよびレーダー、一つまたは複数のライダー、カメラ、およびレーダー)の組み合わせを表し得る。
【0077】
図2A~Eに描写されるセンサーシステム(例えば、202、および204)の数、場所、およびタイプが、自律または半自律車両のそのようなセンサーシステムの場所、数、およびタイプの非限定的な実施例として意図されることに留意されたい。そのようなセンサーの代替的な数、場所、タイプ、および構成が可能である(例えば、車両サイズ、形状、空気力学、燃料経済、美観、またはコストを低減するか、特殊な環境もしくは適用状況に適合するための他の条件と適合するために)。例えば、センサーシステム(例えば、202、および204)は、車両(例えば、場所216にある)上のさまざまな他の場所に配設され得、車両200の内部および/または周囲環境に対応する視野を有し得る。
【0078】
センサーシステム202は、車両200の上部に取り付けられ、車両200を取り囲む環境についての情報を検出し、情報の指標を出力するように構成される一つまたは複数のセンサーを含み得る。例えば、センサーシステム202は、カメラ、レーダー、ライダー、慣性センサー、湿度センサー、および音響センサー(例えば、マイクロフォン、およびソナーデバイス)の任意の組み合わせを含み得る。センサーシステム202は、センサーシステム202内の一つまたは複数のセンサーの配向を調整するように動作可能であり得る一つまたは複数の可動マウントを含み得る。一実施形態では、可動マウントは、車両200の周囲の各方向から情報を得るようにセンサーを走査することができる回転プラットフォームを含み得る。別の実施形態では、センサーシステム202の可動マウントは、特定の角度および/または方位角および/または仰角の範囲内で走査方式で移動可能であり得る。センサーシステム202は、他の取り付け場所も考えられ得るが、車の屋根上に取り付けられ得る。
【0079】
追加的に、センサーシステム202のセンサーは、さまざまな場所に分散され得、単一の場所に併置される必要はない。さらに、センサーシステム202の各センサーは、センサーシステム202の他のセンサーとは独立して移動または走査されるように構成され得る。追加的または代替的に、複数のセンサーは、センサー場所202、204、206、208、210、212、214、および/または218のうちの一つまたは複数に取り付けられ得る。例えば、センサー場所に取り付けられた二つのライダー装置が存在し得、並びに/またはセンサー場所に取り付けられた一つのライダー装置および一つのレーダーが存在し得る。
【0080】
一つまたは複数のセンサーシステム202、204、206、208、210、212、214、および/または218は、一つまたは複数のライダーセンサーを含み得る。例えば、ライダーセンサーは、所与の平面(例えば、x-y平面)に対してある角度範囲にわたって配設された複数の光エミッターデバイスを含み得る。例えば、センサーシステム202、204、206、208、210、212、214、および/または218のうちの一つまたは複数は、車両200を取り囲む環境を光パルスで照明するように、所与の平面に垂直な軸(例えば、z軸)の周りを回転または枢動するように構成され得る。反射光パルスのさまざまな態様(例えば、経過した飛行時間、偏光、および強度)の検出に基づき、周囲環境についての情報が決定され得る。
【0081】
例示的な実施形態では、センサーシステム202、204、206、208、210、212、214、および/または218は、車両200の周囲環境内の物理的物体に関連し得るそれぞれの点群情報を提供するように構成され得る。車両200、並びにセンサーシステム202、204、206、208、210、212、214、および218は、特定の特徴を含むものとして例解されるが、他のタイプのセンサーシステムが本開示の範囲内で企図されることが理解されよう。さらに、例示的な車両200は、図1の車両100に関連して説明される構成要素のいずれかを含むことができる。
【0082】
例示的な構成では、一つまたは複数のレーダーが車両200上に位置し得る。上記のレーダー126と同様に、一つまたは複数のレーダーは、電波(例えば、30Hz~300GHzの周波数を有する電磁波など)を送信および受信するように構成されるアンテナを含み得る。そのような電波は、車両200の周囲環境内の一つまたは複数の物体の距離および/または速度を決定するために使用され得る。例えば、一つまたは複数のセンサーシステム202、204、206、208、210、212、214、および/または218は、一つまたは複数のレーダーを含み得る。いくつかの例では、一つまたは複数のレーダーが、車両200の後部付近に位置して(例えば、センサーシステム208、および210)、電波反射物体の存在に関して、車両200の背面付近の環境を能動的に走査し得る。同様に、一つまたは複数のレーダーが、車両200の前方付近に位置して(例えば、センサーシステム212、214)、車両200の前方付近の環境を能動的に走査し得る。レーダーは、例えば、車両200の他の特徴によって塞がれることなく、車両200の前進路を含む領域を照明するのに好適な場所に位置付けられ得る。例えば、レーダーは、フロントバンパー、フロントヘッドライト、カウル、および/もしくはフードなどに埋め込まれる、並びに/またはそれらにもしくはそれらの近くに取り付けられ得る。さらに、一つまたは複数の追加のレーダーは、リアバンパー、サイドパネル、ロッカーパネル、および/または下部走行体などに、またはそれらの近くにそのようなデバイスを含めることなどによって、電波反射物体の存在に関して、車両200の側面および/または後方を能動的に走査するように位置し得る。
【0083】
車両200は、一つまたは複数のカメラを含み得る。例えば、一つまたは複数のセンサーシステム202、204、206、208、210、212、214、および/または218は、一つまたは複数のカメラを含み得る。カメラは、車両200の周囲環境の複数の画像をキャプチャーするように構成される、静止カメラ、ビデオカメラ、熱画像カメラ、ステレオカメラ、ナイトビジョンカメラなどの感光性機器であり得る。この目的のために、カメラは、可視光を検出するように構成され得、追加的または代替的に、赤外光または紫外光などのスペクトルの他の部分からの光を検出するように構成され得る。カメラは、二次元検出器であり得、任意選択的に、三次元空間の感度範囲を有し得る。いくつかの実施形態では、カメラは、例えば、カメラから周囲環境内のいくつかの点までの距離を示す二次元画像を生成するように構成される範囲検出器を含み得る。この目的のために、カメラは、一つまたは複数の範囲検出技法を使用し得る。例えば、カメラは、構造化光技法を使用することによって範囲情報を提供することができ、この構造化光技法では、車両200が、格子またはチェッカーボード模様などの所定の光パターンで周囲環境内の物体を照明し、カメラを使用して、環境周囲からの所定の光パターンの反射を検出する。反射光パターンの歪みに基づき、車両200は、物体上の点までの距離を決定し得る。所定の光パターンは、赤外光、またはそのような測定に好適な他の波長の放射線を含み得る。いくつかの例では、カメラは、車両200のフロントガラスの内側に取り付けられ得る。具体的には、カメラは、車両200の配向に対して前方視から画像をキャプチャーするように位置付けられ得る。カメラの他の取り付け場所および視野角は車両200の内部または外部のいずれであろうが、使用され得る。また、カメラは、調整可能な視野を提供するように動作可能な関連する光学素子を有し得る。さらにまた、カメラは、パン/チルト機構などを介して、カメラの指向角を変えるように、可動マウントを用いて車両200に取り付けられ得る。
【0084】
車両200はまた、車両200の周囲環境を感知するために使用される一つまたは複数の音響センサーを含み得る(例えば、センサーシステム202、204、206、208、210、212、214、216、218のうちの一つまたは複数が、一つまたは複数の音響センサーを含み得る)。音響センサーは、車両200を取り囲む環境の流体(例えば、空気)中の音響波(すなわち、圧力差)を感知するために使用されるマイクロフォン(例えば、圧電マイクロフォン、コンデンサーマイクロフォン、リボンマイクロフォン、およびマイクロ電気機械システム(MEMS)マイクロフォン)を含み得る。そのような音響センサーは、車両200の制御ストラテジーが基づき得る周囲環境中の音(例えば、サイレン、人間の発話、動物の音、および警報)を識別するために使用され得る。例えば、音響センサーがサイレン(例えば、移動性サイレン、および/または消防車のサイレン)を検出する場合、車両200は、減速する、および/または道路の縁にナビゲートし得る。
【0085】
図2A~2Eには示されていないが、車両200は、無線通信システム(例えば、図1の無線通信システム146と同様の、および/または図1の無線通信システム146に加えてなど)を含み得る。無線通信システムは、車両200の外部または内部のデバイスと通信するように構成され得る無線送信機および無線受信機を含み得る。具体的には、無線通信システムは、例えば、車両通信システムまたは道路給油所において、他の車両および/またはコンピューティング装置と通信するように構成されるトランシーバーを含み得る。このような車両通信システムの例としては、DSRC、無線周波数識別(RFID)、およびインテリジェントトランスポートシステム向けに提案された他の通信規格が挙げられる。
【0086】
車両200は、これら示されたものに加えて、またはその代わりに一つまたは複数の他の構成要素を含み得る。追加の構成要素は、電気的または機械的機能を含み得る。
【0087】
車両200の制御システムは、複数の可能な制御ストラテジーの中から制御ストラテジーに従って車両200を制御するように構成され得る。制御システムは、車両200に結合されるセンサー(車両200上または車両200外)から情報を受信し、その情報に基づき制御ストラテジー(および関連する運転挙動)を修正し、修正された制御ストラテジーに従って車両200を制御するように構成され得る。制御システムは、センサーから受信した情報を監視し、駆動条件を継続的に評価するようにさらに構成され得、また、駆動条件の変化に基づき、制御ストラテジーおよび運転挙動を修正するように構成され得る。例えば、一つの目的地から別の目的地までの、車両によって取られる経路は、駆動条件に基づき修正され得る。追加的または代替的に、速度、加速度、転回角度、車間距離(すなわち、現在の車両の前方の車両までの距離)、レーン選択などは、全て、駆動条件の変化に応答して修正され得る。
【0088】
上記のように、いくつかの実施形態では、車両200は、バンの形態を採り得るが、代替形態もまた可能であり、本明細書で企図される。従って、図2F~2Iは、車両250がセミトラックの形態を採る実施形態を例解する。例えば、図2Fは、車両250の正面図を例解し、図2Gは、車両250の等角図を例解する。車両250がセミトラックである実施形態では、車両250は、トラクタ部分260およびトレーラー部分270(図2Gに例解される)を含み得る。図2Hおよび2Iは、それぞれ、トラクタ部分260の側面図および上面図を提供する。上記に例解される車両200と同様に、図2F~2Iに例解される車両250はまた、さまざまなセンサーシステム(例えば、図2A~2Eを参照して示され、説明されるセンサーシステム202、206、208、210、212、214と同様)を含み得る。いくつかの実施形態では、図2A~2Eの車両200は、いくつかのセンサーシステム(例えば、センサーシステム204)の単一コピーのみを含み得るが、図2F~2Iに例解される車両250は、そのセンサーシステム(例えば、例解されるように、センサーシステム204Aおよび204B)の複数のコピーを含み得る。
【0089】
図面および全体的説明は、所与の車両形態(例えば、セミトラック車両250またはバン車両200)を参照し得るが、本明細書に説明される実施形態は、さまざまな車両の文脈(例えば、車両のフォームファクタを考慮するために採用される修正を用いて)で等しく適用され得ることが理解される。例えば、バン車両200の一部であるとして説明または例解されるセンサーおよび/または他の構成要素もまた、セミトラック車両250で使用され得る(例えば、ナビゲーション並びに/または障害物検出および回避のために)。
【0090】
図2Jは、さまざまなセンサー視野(例えば、上記の車両250と関連付けられる)を例解する。上記のように、車両250は、複数のセンサー/センサーユニットを含有し得る。さまざまなセンサーの場所は、例えば、図2F~2Iに開示されるセンサーの場所に対応し得る。しかしながら、場合によっては、センサーは、他の場所を有し得る。図面の簡略化のために、センサー場所参照番号は、図2Jから省略される。車両250の各センサーユニットについて、図2Jは、代表的な視野(例えば、252A、252B、252C、252D、254A、254B、256、258A、258B、および258Cとしてラベル付けされた視野)を例解する。センサーの視野は、センサーが物体を検出し得る角度領域(例えば、方位角領域および/または仰角領域)を含み得る。
【0091】
図2Kは、例示的な実施形態による、車両(例えば、図2F~2Jを参照して示され、説明される車両250)のセンサーに対するビームステアリングを例解する。さまざまな実施形態では、車両250のセンサーユニットは、レーダー、ライダー、ソナーなどであり得る。さらに、いくつかの実施形態では、センサーの動作中、センサーは、センサーの視野内で走査され得る。例示的なセンサーに対するさまざまな異なる走査角度が、領域272として示されており、各々は、センサーが動作している角度領域を示す。センサーは、それが動作している領域を、定期的にまたは反復的に変化させ得る。いくつかの実施形態では、複数のセンサーが、領域272を測定するために車両250によって使用され得る。加えて、他の領域が、他の例に含まれ得る。例えば、一つまたは複数のセンサーは、車両250のトレーラー270の態様および/または車両250の前方の領域を測定し得る。
【0092】
いくつかの角度において、センサーの動作領域275は、トレーラー270の後輪276A、276Bを含み得る。従って、センサーは、動作中に後輪276Aおよび/または後輪276Bを測定し得る。例えば、後輪276A、276Bは、センサーによって送信されたライダー信号またはレーダー信号を反射し得る。センサーは、後輪276A、276から反射された信号を受信し得る。それゆえに、センサーによって収集されるデータは、車輪からの反射からのデータを含み得る。
【0093】
センサーがレーダーであるときなどの、いくつかの事例では、後輪276A、276Bからの反射は、受信されたレーダー信号内のノイズとして現れ得る。結果として、レーダーは、後輪276A、276Bが、センサーから離れるようにレーダー信号を向ける事例では、増強された信号対雑音比で動作し得る。
【0094】
図3は、例示的な実施形態による、自律または半自律車両に関連するさまざまなコンピューティングシステム間の無線通信の概念例解図である。特に、無線通信は、ネットワーク304を介して、リモートコンピューティングシステム302と車両200との間で発生し得る。無線通信はまた、サーバーコンピューティングシステム306とリモートコンピューティングシステム302との間、およびサーバーコンピューティングシステム306と車両200との間でも発生し得る。
【0095】
車両200は、場所間で乗客または物体を輸送することができるさまざまなタイプの車両に対応することができ、上で考察される車両のうちの任意の一つまたは複数の形態を採り得る。場合によっては、車両200は、制御システムがセンサー測定値を使用して目的地間で車両200を安全にナビゲートすることを可能にする自律または半自律モードで動作し得る。自律または半自律モードで動作しているとき、車両200は、乗客の有無にかかわらずナビゲートし得る。結果として、車両200は、所望の目的地間で乗客を拾い、降ろし得る。
【0096】
リモートコンピューティングシステム302は、本明細書で説明されるものを含むがこれに限定されないリモートアシスタンス技術に関連する任意のタイプのデバイスを表し得る。例の中で、リモートコンピューティングシステム302は、(i)車両200に関係する情報を受信し、(ii)インターフェイスを提供し、それを通して、次に人間のオペレーターが情報に気付き、情報に関係する応答を入力することができ、(iii)応答を車両200に、または他のデバイスに送信するように構成される任意のタイプのデバイスを表し得る。リモートコンピューティングシステム302は、ワークステーション、デスクトップコンピューター、ラップトップ、タブレット、携帯電話(例えば、スマートフォン)、および/またはサーバーなどの、さまざまな形態を採り得る。いくつかの例では、リモートコンピューティングシステム302は、ネットワーク構成で一緒に動作する複数のコンピューティング装置を含み得る。
【0097】
リモートコンピューティングシステム302は、車両200のサブシステムおよび構成要素と同様または同一の一つまたは複数のサブシステムおよび構成要素を含み得る。少なくとも、リモートコンピューティングシステム302は、本明細書で説明するさまざまな動作を実行するように構成されるプロセッサーを含むことができる。いくつかの実施形態では、リモートコンピューティングシステム302は、タッチスクリーンおよびスピーカーなどの入力/出力デバイスを含むユーザーインターフェイスも含み得る。他の例も同じく可能である。
【0098】
ネットワーク304は、リモートコンピューティングシステム302と車両200との間の無線通信を可能にするインフラストラクチャを表す。ネットワーク304はまた、サーバーコンピューティングシステム306とリモートコンピューティングシステム302との間、およびサーバーコンピューティングシステム306と車両200との間の無線通信を可能にする。
【0099】
リモートコンピューティングシステム302の位置は、例の範囲内で変わることができる。例えば、リモートコンピューティングシステム302は、ネットワーク304を介した無線通信を有する車両200からリモート位置にあり得る。別の実施例では、リモートコンピューティングシステム302は、車両200とは別個であるが、人間のオペレーターが車両200の乗客または運転手と相互作用することができる、車両200内のコンピューティング装置に対応し得る。いくつかの例では、リモートコンピューティングシステム302は、車両200の乗客によって操作可能なタッチスクリーンを備えたコンピューティング装置であり得る。
【0100】
いくつかの実施形態では、リモートコンピューティングシステム302によって行われる本明細書で説明される動作は、追加的または代替的に、車両200によって(すなわち、車両200の任意のシステムまたはサブシステムによって)行われ得る。言い換えると、車両200は、車両の運転手または乗客が相互作用することができるリモートアシスタンス機構を提供するように構成され得る。
【0101】
サーバーコンピューティングシステム306は、ネットワーク304を介してリモートコンピューティングシステム302および車両200と(または、場合によっては、リモートコンピューティングシステム302および/もしくは車両200と直接)無線通信するように構成され得る。サーバーコンピューティングシステム306は、車両200およびそのリモートアシスタンスに関する情報を受信し、記憶し、決定し、かつ/または送信するように構成される任意のコンピューティング装置を表し得る。このように、サーバーコンピューティングシステム306は、リモートコンピューティングシステム302および/または車両200によって行われるものとして本明細書で説明される任意の動作またはそのような動作の部分を行うように構成され得る。リモートアシスタンスに関連する無線通信のいくつかの実施形態では、サーバーコンピューティングシステム306を利用できるが、他の実施形態では利用できない。
【0102】
サーバーコンピューティングシステム306は、本明細書に説明されるさまざまな動作を行うように構成されるプロセッサー、並びにリモートコンピューティングシステム302および車両200から情報を受信し、それらに情報を提供するための無線通信インターフェイスなどの、リモートコンピューティングシステム302および/または車両200のサブシステムおよび構成要素と同様または同一の一つまたは複数のサブシステムおよび構成要素を含み得る。
【0103】
上記のさまざまなシステムは、さまざまな動作を行い得る。ここで、これらの動作および関連する特徴について説明する。
【0104】
上の考察に沿えば、コンピューティングシステム(例えば、リモートコンピューティングシステム302、サーバーコンピューティングシステム306、および車両200にローカルなコンピューティングシステム)は、カメラを使用して自律または半自律車両の周囲環境の画像をキャプチャーするように動作し得る。一般に、少なくとも一つのコンピューティングシステムが画像を分析して、可能であれば自律または半自律車両を制御することができる。
【0105】
いくつかの実施形態では、自律または半自律動作を容易にするために、車両(例えば、車両200)は、車両を取り囲む環境内の物体を表すデータ(本明細書では「環境データ」とも称される)をさまざまな方式で受信し得る。車両のセンサーシステムは、周囲環境の物体を表す環境データを提供し得る。例えば、車両は、カメラ、レーダー、ライダー、マイクロフォン、無線ユニット、および他のセンサーを含むさまざまなセンサーを有し得る。これらのセンサーの各々は、各それぞれのセンサーが受信する情報について、環境データを車両内のプロセッサーに通信し得る。
【0106】
一例では、カメラが、静止画像および/またはビデオをキャプチャーするように構成され得る。いくつかの実施形態では、車両は、異なる配向に位置付けられる二つ以上のカメラを有し得る。また、いくつかの実施形態では、カメラは、異なる方向で画像および/またはビデオをキャプチャーするために移動することが可能であり得る。カメラは、車両の処理システムによる後の処理のために、キャプチャーされた画像およびビデオをメモリーに記憶するように構成され得る。キャプチャーされた画像および/またはビデオは、環境データであり得る。さらに、カメラは、本明細書で説明されるようなイメージセンサーを含み得る。
【0107】
別の実施例では、レーダーが、車両の近くのさまざまな物体によって反射される電磁信号を送信し、次いで物体から反射する電磁信号を捕捉するように構成され得る。捕捉された反射電磁信号は、レーダー(または処理システム)が電磁信号を反射した物体についてさまざまな決定を行うことを可能にし得る。例えば、さまざまな反射物体までの距離および位置が決定され得る。いくつかの実施形態では、車両は、異なる配向に二つ以上のレーダーを有し得る。レーダーは、車両の処理システムによる後の処理のために、捕捉された情報をメモリーに記憶するように構成され得る。レーダーによって捕捉された情報は、環境データであり得る。
【0108】
別の実施例では、ライダーが、車両近くの標的物体によって反射される電磁信号(例えば、気体もしくはダイオードレーザー、または他の可能な光源からのものなどの赤外光)を送信するように構成され得る。ライダーは、反射された電磁(例えば、赤外光)信号を取得することが可能であり得る。捕捉された反射電磁信号は、測距システム(または処理システム)がさまざまな物体までの距離を決定することを可能にし得る。ライダーはまた、標的物体の速度またはスピードを決定することができ、それを環境データとして記憶することができる。
【0109】
追加的に、一例では、マイクロフォンが、車両の周囲環境のオーディオをキャプチャーするように構成され得る。マイクロフォンで捕捉された音は、緊急車両のサイレンおよび他の車両の音を含み得る。例えば、マイクロフォンは、救急車、消防自動車、警察車両のサイレンの音を捕捉し得る。処理システムは、捕捉された音声信号が緊急車両を示すことを識別することが可能であり得る。別の実施例では、マイクロフォンは、オートバイからの排気など、別の車両の排気の音を捕捉し得る。処理システムは、捕捉された音声信号がオートバイを示すことを識別することが可能であり得る。マイクロフォンによって捕捉されたデータは、環境データの一部分を形成し得る。
【0110】
さらに別の実施例では、ラジオユニットが、Bluetooth信号、802.11信号、および/または他の無線技術信号の形態を採り得る電磁信号を送信するように構成され得る。第一の電磁放射信号は、無線ユニットに位置する一つまたは複数のアンテナを介して送信され得る。さらに、第一の電磁放射信号は、多くの異なる無線信号モードのうちの一つで送信され得る。しかしながら、いくつかの実施形態では、自律または半自律車両の近くに位置するデバイスからの応答を要求する信号モードで第一の電磁放射信号を送信することが望ましい。処理システムは、ラジオユニットに返信された応答に基づき近くのデバイスを検出し、この通信された情報を環境データの一部分として使用することが可能であり得る。
【0111】
いくつかの実施形態では、処理システムは、車両の周囲環境をさらに決定するために、さまざまなセンサーからの情報を組み合わせることが可能であり得る。例えば、処理システムは、レーダー情報およびキャプチャーされた画像の両方からのデータを組み合わせて、別の車両または歩行者が自律または半自律車両の前にいるかどうかを決定し得る。他の実施形態では、センサーデータの他の組み合わせが、処理システムによって使用されて、周囲環境についての決定を行い得る。
【0112】
自律モード(または半自律モード)で動作している間、車両はほとんどまたはまったく人間の入力なしでその動作を制御し得る。例えば、人間のオペレーターが住所を車両に入力した場合、車両は、人間からのさらなる入力なしに(例えば、人間がブレーキ/アクセルペダルを操縦したり触れたりする必要がなく)、指定された目的地まで運転することが可能であり得る。さらに、車両が自律的または半自律的に動作している間、センサーシステムは、環境データを受信し得る。車両の処理システムは、さまざまなセンサーから受信した環境データに基づき車両の制御を変更し得る。一部の実施例では、車両は、さまざまなセンサーからの環境データに応答して車両の速度を変更し得る。車両は、障害物を回避し、交通法に従うなどのために速度を変え得る。車両での処理システムが車両の近くの物体を識別すると、車両は速度を変更するか、または別の方法で動きを変えることが可能であり得る。
【0113】
車両が物体を検出したが物体の検出に十分自信がない場合、車両は、人間のオペレーター(もしくはより強力なコンピューター)に、(i)物体が実際に周囲環境内に存在するかどうかを確認する(例えば、実際に一時停止標識があるか、もしくは実際に一時停止標識がないか)、(ii)車両の物体の識別が正しいかどうかを確認する、(iii)識別が正しくなかった場合、識別を訂正する、および/または(iv)自律または半自律車両に対して補足的な命令を提供する(もしくは現在の命令を修正する)などの、一つまたは複数のリモートアシスタンスタスクを行うよう要求することができる。リモートアシスタンスタスクにはまた、人間のオペレーターが車両の動作を制御するための命令を提供する(例えば、人間のオペレーターが、物体は一時停止標識であると決定した場合、一時停止標識で停止するよう車両に命令する)ことが含まれるが、いくつかのシナリオでは、物体の識別に関連する人間のオペレーターのフィードバックに基づき、車両自体が自身の動作を制御し得る。
【0114】
これを容易にするために、車両は、周囲環境の物体を表す環境データを分析して、閾値未満の検出信頼度を有する少なくとも一つの物体を決定し得る。車両のプロセッサーは、さまざまなセンサーからの環境データに基づき周囲環境のさまざまな物体を検出するように構成され得る。例えば、一実施形態では、プロセッサーは、車両が認識するのに重要であり得る物体を検出するように構成され得る。このような物体には、歩行者、自転車に乗る人、街路標識、他の車両、他の車両のインジケーター信号、および捕捉された環境データで検出された他のさまざまな物体が含まれ得る。
【0115】
検出信頼度は、決定された物体が周囲環境内で正しく識別される、または周囲環境内に存在している可能性を示し得る。例えば、プロセッサーは、受信した環境データにおける画像データ内の物体の物体検出を行い、少なくとも一つの物体が、閾値を超える検出信頼度を有すると識別することができないことに基づき、その物体が閾値を下回る検出信頼度を有すると決定し得る。物体の物体検出または物体認識の結果が決定的でない場合、検出信頼度が低いか、または設定閾値を下回っている場合がある。
【0116】
車両は、環境データのソースに応じて、さまざまな方法で周囲環境の物体を検出し得る。いくつかの実施形態では、環境データは、カメラから来る、画像またはビデオデータであり得る。他の実施形態では、環境データはライダーから来る場合がある。車両は、キャプチャーされた画像またはビデオデータを分析して、画像またはビデオデータ内の物体を識別し得る。方法および装置は、周囲環境の物体があるかについて、画像および/またはビデオデータを監視するように構成され得る。他の実施形態では、環境データは、レーダー、オーディオ、または他のデータであり得る。車両は、レーダー、オーディオ、または他のデータに基づき周囲環境の物体を識別するように構成され得る。
【0117】
いくつかの実施形態では、物体を検出するために車両が使用する技術は、既知のデータのセットに基づき得る。例えば、環境物体に関連するデータは、車両に位置するメモリーに記憶され得る。車両は、受信したデータを保存されたデータと比較して、物体を決定し得る。他の実施形態では、車両は、データの文脈に基づき物体を決定するように構成され得る。例えば、工事に関連する街路標識は、一般にオレンジ色を有し得る。従って、車両は、道路脇近くに位置するオレンジ色の物体を、工事関連の街路標識として検出するように構成され得る。追加的に、車両の処理システムは、捕捉されたデータ内の物体を検出すると、それはまた各物体の信頼度を計算することができる。
【0118】
さらに、車両はまた、信頼度閾値を有し得る。信頼度閾値は、検出される物体のタイプに応じて異なり得る。例えば、別の車両のブレーキライトなど、車両からの迅速な応答アクションを要求し得る物体については、信頼度閾値が低くなり得る。しかしながら、他の実施形態では、検出された全ての物体について、信頼度閾値が同じであり得る。検出された物体に関連付けられる信頼度が信頼度閾値より高い場合、車両は、物体が正しく認識されたと想定し、その想定に基づき車両の制御を応答的に調整し得る。
【0119】
検出された物体と関連付けられる信頼度が信頼度閾値より低い場合、車両が講じるアクションは変わり得る。いくつかの実施形態では、車両は、低い信頼レベルにもかかわらず、検出された物体が存在するかのように反応し得る。他の実施形態では、車両は、検出された物体が存在しないかのように反応し得る。
【0120】
車両は、周囲環境の物体を検出すると、特定の検出された物体と関連付けられる信頼度も計算することができる。信頼度は、実施形態に応じてさまざまな方法で計算され得る。一例では、周囲環境の物体を検出すると、車両は、環境データを既知の物体に関連する所定のデータと比較し得る。環境データと所定のデータとの一致が近いほど、信頼度はより高くなる。他の実施形態では、車両は、環境データの数学的分析を使用して、物体と関連付けられる信頼度を決定し得る。
【0121】
物体が閾値を下回る検出信頼度を有するとの決定に応答して、車両は、リモートコンピューティングシステムに、物体の識別とともにリモートアシスタンスの要求を送信し得る。上で考察されるように、リモートコンピューティングシステムは、さまざまな形態を採り得る。例えば、リモートコンピューティングシステムは、車両とは別個の車両内のコンピューティング装置であるが、それによって人間のオペレーターが車両の乗客または運転手と相互作用することができる、リモート支援情報を表示するためのタッチスクリーンインターフェイスなどであり得る。追加的または代替的に、別の実施例として、リモートコンピューティングシステムは、車両の近くではない場所に位置するリモートコンピューター端末または他のデバイスであり得る。
【0122】
リモートアシスタンスの要求は、画像データ、オーディオデータなどの、物体を含む環境データを含み得る。車両は、ネットワーク(例えば、ネットワーク304)上で、いくつかの実施形態では、サーバー(例えば、サーバーコンピューティングシステム306)を介してリモートコンピューティングシステムに環境データを送信し得る。リモートコンピューティングシステムの人間のオペレーターは、次に、要求に応答するための基礎として環境データを使用し得る。
【0123】
いくつかの実施形態では、物体が信頼度閾値を下回る信頼度を有するとして検出された場合、物体には予備識別が与えられ得、車両は、予備識別に応答して車両の動作を調整するように構成され得る。そのような動作の調整は、他の可能な調整の中でも特に、車両を停止する、車両を人間制御モードに切り替える、車両の速度(例えば、スピードおよび/または方向)を変更するという形態を採り得る。
【0124】
他の実施形態では、車両が閾値を満たす、または超える信頼度を有する物体を検出した場合でも、車両は検出された物体に従って動作し得る(例えば、物体が一時停止標識として高い信頼度で識別された場合に停止する)が、車両が検出された物体に従って動作するのと同時に(または後で)リモートアシスタンスを要求するように構成され得る。
【0125】
図4Aは、例示的な実施形態による、システムのブロック図である。特に、図4Aは、システムコントローラー402、ライダー装置410、複数のセンサー412、および複数の制御可能な構成要素414を含むシステム400を示す。システムコントローラー402は、プロセッサー404、メモリー406、およびメモリー406上に記憶され、機能を実施するためにプロセッサー404によって実行可能な命令408を含む。
【0126】
プロセッサー404は、一つまたは複数の汎用マイクロプロセッサー(例えば、シングルコアまたはマルチコアを有する)および/または一つまたは複数の専用マイクロプロセッサーなどの一つまたは複数のプロセッサーを含み得る。一つまたは複数のプロセッサーは、例えば、一つまたは複数の中央処理装置(CPU)、一つまたは複数のマイクロコントローラー、一つまたは複数のグラフィック処理ユニット(GPU)、一つまたは複数のテンソル処理ユニット(TPU)、一つまたは複数のASIC、および/または一つまたは複数のフィールドプログラマブルゲートアレイ(FPGA)を含み得る。ソフトウェア命令を実行するように構成される他のタイプのプロセッサー、コンピューター、またはデバイスもまた、本明細書において企図される。
【0127】
メモリー406は、限定なしで、読み出し専用メモリー(ROM)、プログラマブル読み出し専用メモリー(PROM)、消去可能なプログラマブル読み出し専用メモリー(EPROM)、電気的に消去可能なプログラマブル読み出し専用メモリー(EEPROM)、不揮発性ランダムアクセスメモリー(例えば、フラッシュメモリー)、固体ドライブ(SSD)、ハードディスクドライブ(HDD)、コンパクトディスク(CD)、デジタルビデオディスク(DVD)、デジタルテープ、リード/ライト(R/W)CD、R/W DVDなどを含み得る、非一時的なコンピューター可読媒体などのコンピューター可読媒体を含み得る。
【0128】
以下でさらに説明されるライダー装置410は、光を放射する(例えば、光パルスで)ように構成される複数の発光体、および光(例えば、光パルスの反射部分)を検出するように構成される一つまたは複数の光検出器を含む。ライダー装置410は、光検出器の出力から三次元(3D)点群データを生成し、3D点群データをシステムコントローラー402に提供し得る。システムコントローラー402は、次に、3D点群データ上で動作を実施して、周囲環境(例えば、周囲環境内の物体の相対位置、エッジ検出、物体検出、および/または近接感知)の特性を決定し得る。
【0129】
同様に、システムコントローラー402は、複数のセンサー412からの出力を使用して、システム400の特性および/または周囲環境の特性を決定し得る。例えば、センサー412は、GPS、IMU、画像捕捉装置(例えば、カメラ)、光センサー、熱センサー、並びにシステム400および/または周囲環境に関連するパラメーターを示す他のセンサーのうちの一つまたは複数を含み得る。ライダー装置410は、例として、センサー412とは別個のものとして描写されており、いくつかの例では、センサー412の一部として、またはセンサー412としてみなされ得る。
【0130】
システム400並びに/またはライダー装置410およびセンサー412からの出力に基づきシステムコントローラー402によって決定された周囲環境の特性に基づき、システムコントローラー402は、制御可能な構成要素414を制御して、一つまたは複数のアクションを実施し得る。例えば、システム400は、車両に対応し得、その場合、制御可能な構成要素414は、車両のブレーキシステム、転回システム、および/または加速システムを含み得、システムコントローラー402は、ライダー装置410および/またはセンサー412から決定された特性(例えば、システムコントローラー402が車両を自律または半自律モードで制御するとき)に基づき、これらの制御可能な構成要素の態様を変更し得る。例の中で、ライダー装置410およびセンサー412はまた、システムコントローラー402によって制御可能である。
【0131】
図4Bは、例示的な実施形態による、ライダー装置のブロック図である。特に、図4Bは、複数の発光体424および一つまたは複数の光検出器、例えば、複数の光検出器426などを制御するように構成されるコントローラー416を有する、ライダー装置410を示す。ライダー装置410は、複数の発光体424のそれぞれの発光体への電力を選択および提供するように構成されるファイアリング回路428をさらに含み、複数の光検出器426のそれぞれの光検出器を選択するように構成されるセレクタ回路430を含み得る。コントローラー416は、プロセッサー418、メモリー420、およびメモリー420上に記憶された命令422を含む。
【0132】
プロセッサー404と同様に、プロセッサー418は、一つまたは複数の汎用マイクロプロセッサーおよび/または一つまたは複数の専用マイクロプロセッサーなどの一つまたは複数のプロセッサーを含み得る。一つまたは複数のプロセッサーは、例えば、一つまたは複数のCPU、一つまたは複数のマイクロコントローラー、一つまたは複数のGPU、一つまたは複数のTPU、一つまたは複数のASIC、および/または一つまたは複数のFPGAを含み得る。ソフトウェア命令を実行するように構成される他のタイプのプロセッサー、コンピューター、またはデバイスもまた、本明細書において企図される。
【0133】
メモリー406と同様に、メモリー420は、限定されるものではないが、ROM、PROM、EPROM、EEPROM、不揮発性ランダムアクセスメモリー(例えば、フラッシュメモリー)、SSD、HDD、CD、DVD、デジタルテープ、R/W CD、R/W DVDなどの非一時的コンピューター可読媒体などのコンピューター可読媒体を含み得る。
【0134】
命令422は、メモリー420上に記憶され、プロセッサー418によって実行可能であり、3D点群データを生成するために、および3D点群データを処理するために(またはシステムコントローラー402などの別のコンピューティング装置によって3D点群データを処理することをおそらく容易にするために)、ファイアリング回路428およびセレクタ回路430を制御することに関連する機能を実施する。
【0135】
コントローラー416は、光のパルスを放射するために、発光体424を使用することによって、3D点群データを決定し得る。放射時間は、各発光体に対して確立され、放射時間の相対場所も追跡される。さまざまな物体などのライダー装置410の周囲環境の態様は、光のパルスを反射する。例えば、ライダー装置410が道路を含む周囲環境にある場合、そのような物体は、車両、標識、歩行者、路面、建設用コーンなどを含み得る。いくつかの物体は、反射光の強度が光パルスを反射する物体のタイプを示し得るように、他のものよりもより反射性が高い場合がある。さらに、物体の表面は、ライダー装置410に対して異なる位置にあり、従って、光パルスの一部分を反射して、ライダー装置410に戻すのに多少の時間がかかり得る。従って、コントローラー416は、反射光パルスが光検出器によって検出される検出時間、および検出時間における光検出器の相対位置を追跡し得る。放出時間と検出時間との間の時間差を測定することによって、コントローラー416は、光パルスが受信される前にどの程度の距離を移動するか、従って、対応オブジェクトの相対距離を決定し得る。放出時間および検出時間における相対位置を追跡することによって、コントローラー416は、ライダー装置410に対する光パルスおよび反射光パルスの配向、従って、物体の相対的な配向を決定し得る。受信された光パルスの強度を追跡することによって、コントローラー416は、物体がどの程度反射するかを決定し得る。この情報に基づき決定される3D点群データは、従って、検出された反射光パルス(例えば、デカルト座標系などの座標系内の)の相対位置および各反射光パルスの強度を示し得る。
【0136】
発射回路428は、光パルスを放射するための発光体を選択するために使用される。同様に、セレクタ回路430は、光検出器からの出力をサンプリングするために使用される。
【0137】
上記のように、さまざまな種類の欠陥が、検出装置(ライダー装置またはカメラ)によって行われる測定に悪影響を及ぼす可能性がある。例えば、一部の検出装置は、一つまたは複数の光学構成要素(例えば、レンズ、ミラー、導波路、光学コーティングおよび/またはウィンドウ)を含む場合がありそのような光学構成要素内またはその一部上に一つまたは複数の欠陥があると、周囲環境の不適切な検出を引き起こす可能性がある。例えば、光学窓(例えば、カメラまたはライダーが周囲環境の画像を取り込む光学素子)が、光学窓の一つもしくは複数の部分内(例えば、本体内部)の、一つまたは複数の引っかき傷、亀裂、汚れ、変形、気泡、不純物(例えば、光学窓のガラスもしくはプラスチック内の化学的不純物)、劣化(例えば、経時的な光学特性の低下)、変色、不完全な透明性、またはゆがみから悪い影響を受ける場合がある。追加的または代替的に、このような光学窓は、光学窓の一つまたは複数の部分上に(例えば、周囲環境と接する光学窓の一つまたは複数の部分上に、すなわち光学窓の一つまたは複数の外側部分上に)水滴、汚れ、ほこり、泥、落ち葉、雨、雪、みぞれ、ひょう、氷、または昆虫の残留物(つまり、昆虫の死骸の残骸)から悪い影響を受ける可能性がある。欠陥の追加的な例として、一つまたは複数の光学構成要素は、光学コーティング(例えば、反射防止コーティングと、疎水性コーティングと、偏光フィルターと、を含み、色彩フィルターと、中性密度フィルター)を含み得る。およびこうした光学コーティングは、光学コーティングの周囲環境への曝露の結果(例えば、風、凝縮、昆虫、沈殿、周囲温度変動、周囲圧力変動、紫外線光への暴露、またはほこり/汚れの蓄積により)として経時的に劣化し得る(例えば、その反射防止特性、疎水性特性、またはフィルター特性の低下に悩まされる)。さらに、いくつかの実施形態では、欠陥は、光学構成要素が除去されるべき時点(例えば、動作前)後に光学構成要素上に残っている一つまたは複数の保護層(例えば、保護フィルム)を含み得る。こうした保護フィルムは、検出に悪影響を及ぼし得る望ましくないまたは十分に特徴付けられていない光学特性を有し得る。他の種類の欠陥の可能性もあり、本明細書で考慮されることが理解される。さらに、このような欠陥は、光信号を減衰させ、光信号を不明瞭にし、光信号を遮断し、光信号を散乱させ、光信号の方向を変え、あるいは周囲環境から受信する光信号と干渉し得る。上記を考慮すると、欠陥という用語は、一つまたは複数の構成要素の表面上に存在する破片(例えば、外部環境から、または内部からライダー装置へ)、ならびに一つまたは複数の構成要素内の欠陥(例えば、製造の欠陥、および劣化)の両方を広く包含すると理解される。
【0138】
図5は、例示的なシステム500(例えば、図4Aを参照して示され、説明されるシステム400と類似)を示す。システム500は、ライダー装置410(例えば、発光体424および光検出器426を含む)を含み得る。さらに、図示するように、システム500は、ライダー装置410上またはその内部に光学構成要素502(例えば、疎水性コーティングなどの光学コーティング)を含み得る(例えば、ライダー装置410の光学窓上の光学コーティング)。上述のように、いくつかの実施形態では、光学構成要素502は、ライダー装置410の性能を劣化させる(例えば、図5に示すように、光検出器426によって検出される発光体424からの光信号の内部反射をもたらす)欠陥(例えば、劣化および破片)に悩まされ得る。こうした欠陥は、裸眼に見える(例えば、葉)か、または裸眼に見えない(例えば、小さな破片または小さな亀裂、変形、および屈折率の変化)場合がある。さらに、光学構成要素502の外部に単一の欠陥が存在し得るが、任意の数および/またはタイプの欠陥も可能であることが理解される(例えば、光学構成要素502上またはその内部)。
【0139】
内部反射によって図5に例示するように、欠陥は、発光体(例えば、図4Bに示され例示されるようなライダー装置410の発光体424)によって発せられる光信号、および/または光検出器(例えば、図4Bに示され例示されるライダー装置410の光検出器426)によって検出されようとしている光信号と干渉し得る。従って、図5に示すように、欠陥は、発光体424/光検出器426を使用する周囲環境の測定に影響を及ぼす可能性がある。
【0140】
欠陥の悪影響を軽減することが望ましくあり得る。これは、一つまたは複数の欠陥の存在を検出し、その後一つまたは複数の是正措置(例えば、問題の光学構成要素を洗浄する、問題の光学構成要素を交換する、問題の光学構成要素の全てまたは一部の使用をやめる、センサーによって光学構成要素を用いて取得されたデータに欠陥の影響を含むものとしてフラグを立て、欠陥の影響を補償するためにセンサーによって光学構成要素を用いて取得されたデータに対して後処理を実行する)を実行することにより行うことができる。一つまたは複数の欠陥の存在を検出するために、本明細書に記載の技術が実行されることができる。さらに、このような技術は、本明細書に記載の一つまたは複数の装置またはシステムを使用して実行されることができる。
【0141】
一部の実施形態では、光学構成要素(例えば、図5の光学構成要素502)内の一つまたは複数の欠陥の存在を検出することが、一つまたは複数のタイプの欠陥信号を感知することを含み得る。図6A~6Dは、ライダー装置によって検出できるさまざまなタイプの信号を図示する。ライダー装置によって検出され得る異なるタイプの信号の曖昧さを解き、それらの曖昧さのない信号を分析することによって、どの種類の欠陥が存在するか、どの程度存在するか、およびどの種類の欠陥が存在するかについての決定がなされ得る。
【0142】
図6Aは、周囲環境(例えば、欠陥の不在下)の物体602を検出するシステムを示す。システムは、ライダー装置(例えば、図4A~5を参照して示され、説明されるライダー装置410)と、ライダー装置の一つまたは複数の構成要素(例えば、ライダー装置のハウジング内に画定される光学窓604)上に位置付けられ得る光学構成要素(例えば、図5を参照して示され、説明される光学構成要素502)とを含み得る。図示されるように、発光体424A、424Bおよび対応する光検出器426A、426Bは、周囲環境内の物体602を検出するためにライダー装置によって使用され得る(例えば、図4Bを参照して説明され、図示される発光体424および光検出器426と同様))。例えば、図6Aの矢印によって例示されるように、第一の発光体424Aおよび第二の発光体424Bは各々、光学窓604および光学構成要素502(例えば、光学構成要素502が光学コーティングである場合)を通して周囲環境に伝送される一つまたは複数の光信号を放射し得る。光信号は、周囲環境に関する情報(例えば、飛行時間に基づく周囲環境内の物体602までの距離)を提供するために、周囲環境内の物体602によって反射され、対応する第一の光検出器426Aおよび第二の光検出器426Bに(例えば、再び光学窓604/光学構成要素502を通って)導かれ得る。図6Aは、二つの発光体424A、424B、二つの光検出器426A、426B、および光学構成要素502を示すが、発光体、光検出器、および光学構成要素の他の数および/または配置も可能であり、本明細書で企図されることが理解される。例えば、一部の実施形態では、システムは、発光体のアレイ(例えば、二つより多い発光体)および対応する光検出器のアレイ(例えば、二つより多い光検出器)を含み得る。アレイは、同じチャネル内の発光体および光検出器が互いに隣接するように配設され得る。追加的に、または代替的に、一部の実施形態は、複数の光学構成要素および/または光学構成要素の異なるタイプ/位置を含み得る。
【0143】
特定の状況下(例えば、図6Aに図示したものとは異なる)では、光検出器426A、426Bによって検出された光信号は、発光体424A、424Bによって放射され、その後、周囲環境内の標的物体602以外の何かによって反射され得る。さらに他の状況(例えば、図6Aに図示したものとは異なる)では、光検出器426A、426Bによって検出される光信号は、それらの光信号が意図されていない光検出器426A、426Bに向けられるように反射されていてもよい。図6Bおよび図6Cは、上述の状況の例を示す。例えば、図6Bは、クロストーク検出の例を示し、図6Cは、クロスフィードバック検出の例を示す。
【0144】
時には、周囲環境内の特定の物体と相互作用するとき、発光体424A、424Bによって放射される光信号は、クロストークをもたらし得る。例えば、図6Bに示すように、第一の発光体424Aは、周囲環境に光信号を放射し得る。一般に、放射光信号が低または中程度の反射率を有する表面によって反射されると、低または中程度の強度の反射光信号が第一の検出器426Aに戻される可能性がある。しかし図6Bに示すように、第一の発光体424Aから周囲環境に放射された光信号が、高いまたは非常に高い反射率を有する物体によって反射される場合(例えば、逆反射器612などの、道路標識の一部であり得る、閾値を超える反射率、)、反射信号の強度は、それに応じて高くてもよく、および/または反射信号は、光検出器426A、426B上に入射するときに(開花効果と呼ばれることもある)、それに応じてより大きな検出可能な領域を占めてもよい。図6Bに示すように、高強度の反射光信号は、放射信号のチャネル(例えば、第一の光検出器426A)に対応する、単に意図された光検出器ではなく、複数の光検出器426A、426Bを照射し得る。例えば、高強度の反射光信号は、第一の光検出器426Aに加えて、第二の光検出器426Bを照射し得る。従って、第二の光検出器426Bは、クロストークを検出する(すなわち、第一の発光体424Aの放射信号から生じるクロストーク信号を検出する)ことができ、これは、第二の光検出器426Bが第一のチャネルからの光によって、望ましくない影響をうけうることを意味する(例えば、第二の光検出器426Bの検出に基づき、ノイズまたは不適切な検出イベントを引き起こす可能性がある)。
【0145】
ライダー装置内のどの光検出器(例えば、図4Bを参照して図示され説明された光検出器426のどれ)が所与の反射信号を検出できるか(例えば、どの光検出器426がクロストークの影響を受けやすいか)は、反射信号の強度(例えば、周囲環境における表面の反射率に基づく)、光検出器426の感度、ライダー装置内の光検出器426の位置、ライダー装置内の光検出器426の向き(例えば、光検出器426の方位角/ヨー角方向および/または仰角/ピッチ角方向)、および周囲環境における反射物体までの距離に依存し得る。例えば、反射光信号は周囲環境を伝播するにつれて減衰/発散し得るため(例えば、周囲環境の塵、煙などにより)、ライダー装置と反射物体間の距離が離れるほど、光信号の強度が減少する可能性がある。結果として、高反射率物体から反射された光信号の結果としてクロストークを検出する、ライダー装置内の光検出器426の数は、ライダー装置が高反射率物体に近いほど大きくなり得る。
【0146】
特定の状況下では、光検出器426A、426Bによって検出された光信号は、発光体424A、424Bによって放射され、その後、周囲環境内の標的物体以外の物体によって反射され得る。例えば、図6Cに示すように、欠陥622が存在し得る(例えば、泥または凝縮などの破片、劣化、および光学構成要素502内または光学構成要素502上に存在する屈曲/反り)。例示するように、欠陥622は、周囲環境を調査することを目的とする、発光体424A、424Bによって発信された光信号を反射し、そして光信号を光検出器426A、426Bに向け直す可能性がある。さらに、第一の発光体424Aは、周囲環境の物体から反射されたときに第一の光検出器426Aを意図する光信号を発してもよく(例えば、図6Aに図示するように)、第二の発光体424Bは、周囲環境の物体から反射されたときに第二の光検出器426Bを意図する光信号を発し得る(例えば、図6Aに図示するように)。しかしながら、こうした放射光信号が欠陥622から反射されると、それらは意図しない光検出器に向けられ得る。例えば、第一の発光体424Aによって放射される光信号は、第二の光検出器426Bに向けられ、かつそれによって検出されてもよく、第二の発光体426Bによって放射される光信号は、第一の光検出器426Aに向けられ、かつそれによって検出され得る(例えば、図6Cに図示するように)。一部の実施形態では、こうした方向転換された光信号は、欠陥622と相互作用した後に部分的に拡散またはその他の方法で分散され得る。こうした光信号は、欠陥622によって、それらの光信号が元々意図されていない光検出器に再配向されるため、こうした再配向される光信号は、本明細書では「クロスフィードバック信号」と呼んでもよい。言い換えれば、一つのチャネルの発光体から放射された一つまたは複数の光信号が内部反射(例えば、システムの一つまたは複数の光学構成要素上または一つまたは複数の光学構成要素内の欠陥から)され、再配向されるときに、クロスフィードバック信号が発生し、その結果、その光信号を検出する異なるチャネル(例えば、隣接するチャネル)の光検出器をもたらす。図6Cは、欠陥622によって再配向される「クロスフィードバック信号」を示すが、欠陥がない場合でも、ゼロでない強度を有する「クロスフィードバック信号」が検出され得ることが理解される。例えば、ライダー装置の一つまたは複数の光学構成要素(例えば、レンズおよびミラー)からの内部反射は、クロスフィードバック信号として検出され得る。欠陥の非存在下であっても、「クロスフィードバック信号」が検出され得るが、いくつかの実施形態では、検出された「クロスフィードバック信号」の強度は、欠陥の非存在下よりも欠陥の存在下において高い場合があることが理解される。
【0147】
さまざまな技術を使用して、他の信号から「クロスフィードバック信号」の曖昧さをなくし得る。例えば、「クロスフィードバック信号」は、他の信号よりも検出サイクル中に検出器に早く到着し得る。このように、検出イベントに関連付けられるタイミング窓に基づき、検出された信号は、クロスフィードバックまたは非クロスフィードバックのいずれかとして標識され得る。いくつかの実施形態では、光検出器の付勢(例えば、光検出器に使用されるSiPMの付勢)は、クロスフィードバックを検出することができるが、非クロスフィードバックは検出できないように設定され得る。例えば、光検出器は、それを超えるクロスフィードバックが発生する検出距離に対応する、ある特定の時間が経過した後に付勢解除され得る。
【0148】
図6Cは、光学構成要素502およびライダー装置の外部にある欠陥622が、発光体424A、424Bによって放射される光信号を反射/再配向する実施例を示すが、当然のことながら、他の実施形態も可能であり、本明細書で企図される。例えば、クロスフィードバック信号は、内部光学系(ミラーやレンズ)からの反射および/またはシステム内(例えば、発光体424A、424Bおよび光検出器426A、426Bに関連するライダー装置内)の機械的構成要素(例えば、マウント、アクチュエーター、モーター)に基づいて検出され得る。
【0149】
クロストークおよびクロスフィードバック信号(例えば、図6Bおよび図6Cを参照して示され、説明されるように)は、システムに関連する欠陥のタイプ(例えば、光学構成要素502に関連する欠陥)を識別するのに有用であり得る。例えば、ライダー装置の光検出器426によって検出された信号は、クロストークおよび/またはクロスフィードバック信号の存在、不在、位置、および/または強度(例えば、強度波形)を決定するために(例えば、図4Aおよび4Bに図示したシステムコントローラー402またはライダーコントローラー416などのコンピューティング装置によって)分析され得る。次に、クロストークおよび/またはクロスフィードバック信号の決定された存在、不在、位置、および/または強度(例えば、強度波形)を較正測定値(例えば、欠陥が存在しないことが分かっている場合、特定のタイプの欠陥が存在する場合、および/または欠陥が既知の位置に存在する場合に取得される)と比較することによって、一つまたは複数の欠陥の存在、不在、タイプ、および/または位置の決定を行うことができる。クロストーク信号およびクロスフィードバック信号(例えば、ライダー装置の光検出器426によって検出される)を使用してこうした決定を行うことに加えて、またはその代わりに、イメージセンサー(例えば、カメラ)によってキャプチャーされた画像を使用して欠陥を識別することができる。
【0150】
図6Dに示すように、イメージセンサー632(例えば、電荷結合デバイス(CCD))は、光学構成要素502(例えば、光学構成要素502の全体、または光検出器426、426Bによって検出可能な光信号が移動する光学構成要素502の一部分)の画像をキャプチャーするように配置され得る。追加的にまたは代替的に、イメージセンサー632は、光学窓604および/またはライダー装置の内部部分の画像をキャプチャーするように構成され得る。図6Dに示すように、イメージセンサー632は、光検出器426A、426Bに関連付けられる焦点面に位置付けられてもよい。図6Dには図示されていないが、当然のことながら、追加の構成要素を使用して、イメージセンサー632が光学構成要素502またはシステムの他の部分の画像をキャプチャーするのを支援し得る。例えば、一つまたは複数のレンズ、写真フラッシュ、ミラー、開口などは、イメージセンサー632と関連して使用されて、画像をキャプチャーし得る。
【0151】
光学構成要素502またはシステムの他の部分の画像をキャプチャーすると、光学構成要素502(またはシステムの他の部分)の何パーセントが、存在する場合、一つまたは複数の欠陥622によって(例えば、泥、凝縮、亀裂、および変形によって)閉塞されるかを決定するために、画像が分析され得る(例えば、コンピューティング装置によって)。こうした画像分析は、機械学習モデル(例えば、既知の遮蔽率を有する、一つまたは複数の標識された訓練画像で訓練された分類器)を使用して実施され得る。決定される遮蔽の割合は、画像が取り込まれた時点でシステムに関連する欠陥622の存在、不在、位置、および/またはタイプを特徴付けるために使用される、(検出されたクロストーク信号および/またはクロスフィードバック信号の強度、位置、タイミングなどに加えて)の追加的なメトリックを表し得る。上述のクロストーク信号およびクロスフィードバック信号と同様に、画像内に捕捉された遮蔽の割合および/または遮蔽の位置は、光学構成要素502上または光学構成要素502内に存在する欠陥の存在、不在、位置、および/またはタイプについて決定するために、一つまたは複数の較正画像または較正メトリック(例えば、遮蔽の較正割合)と比較され得る(例えば、コンピューティング装置によって)。
【0152】
上述のように、クロストーク信号(例えば、ライダー装置410の光検出器426によって検出される)、クロスフィードバック信号(例えば、ライダー装置410の光検出器426によって検出される)、および/または閉塞率(例えば、イメージセンサー632によってキャプチャーされた画像に基づきコンピューティング装置によって決定される)は、システム(例えば、ライダー装置410および/または関連する光学構成要素502)に関連する欠陥を分析するために使用され得る。これを考慮すると、クロストーク信号、クロスフィードバック信号、および/または経時的な遮蔽の割合の変化を使用して、経時的な欠陥の変化を特徴付けることができる。さらに、しかしながら、一部のタイプの欠陥は、システムの挙動に基づき経時的に発生する。例えば、光学構成要素502が疎水性コーティングであり、一つまたは複数の水滴が光学構成要素502に塗布される場合(例えば、雨および/または凝縮の結果として)、これらの水滴は凝集し、時間経過に伴い光学構成要素502から脱落するべきである。経時的なクロスフィードバック信号、クロストーク信号、および/または閉塞の割合の進化を監視することによって、疎水性コーティングの疎水性品質(例えば、疎水性コーティングから水がどの程度速く/完全に凝集/脱落するか)に関する決定を行うことができる。言い換えれば、疎水性コーティングの劣化(例えば、周囲環境への曝露の結果としての化学的劣化または物理的劣化)などの欠陥(例えば、疎水性の低下をもたらす)を経時的に監視することができる。同様に、光学構成要素502内に一つまたは複数の欠陥(例えば、気泡、亀裂、不完全な透明性、および屈曲)が存在する場合、こうした欠陥の発生は、クロストーク信号、クロスフィードバック信号、および/または経時的な遮蔽の割合を監視することによって監視され得る。例えば、クロストーク信号、クロスフィードバック信号、および/または経時的な遮蔽の割合を分析することによって、光学構成要素502の亀裂が経時的に拡大しているかどうかを決定することができる。時間に関する他のタイプの欠陥監視(例えば、さまざまなタイプの光学構成要素)も可能であり、全体を通して説明される信号およびメトリックを使用して本明細書で企図される。
【0153】
上記を考慮して、本明細書に記載の技術は、システム(例えば、光学構成要素502内またはその上)に一つまたは複数の欠陥を意図的に導入し、その後、さまざまなメトリック(例えば、クロストーク信号、クロスフィードバック信号、および/またはキャプチャーされた画像に基づくメトリック)を経時的に監視して、システムの状態(例えば、システム内に存在する欠陥を適切に処理、除去、対処、説明することなどを行うシステムの能力)を決定することを含み得る。図7Aおよび7Bは、欠陥を意図的に導入し、それらの欠陥の経時的な取り扱いを監視する一つの技術を図示する。特に、図7Aおよび図7Bは、ライダー装置(例えば、図4Aおよび図4Bを参照して示され説明されるライダー装置410)、光学構成要素(例えば、図5~6Dを参照して示され説明される光学構成要素502)、およびクリーニング装置を含むシステム700を図示する。図示するように、クリーニング装置は、噴霧器710および加圧空気供給源720を含み得る。図7Aおよび図7Bに図示したクリーニング装置は、例としてのみ提供されており、他のクリーニング装置も可能であり、本明細書で企図される(例えば、フロントガラスワイパーなどの一つまたは複数のワイパー、デフロスターなどのヒーター、冷却ユニット、ファン、真空、およびモーター、遠心分離ユニット、機械的ステージ、または振動器などのアクチュエーターを含むクリーニング装置)。なおさらに、一部の実施形態では、クリーニング装置は、複数の目的を果たし得る。例えば、クリーニング装置は、ライダー装置410の一つまたは複数の構成要素を回転させる(例えば、周囲環境に対してライダー装置410の発光体424および光検出器426を回転させる)ために使用されるモーターを含んでもよい。モーターがライダー装置410を回す時、これにより、発光体424および光検出器426が周囲環境のより大きな部分を(例えば、周囲環境を方位角的に走査することによって)分析することが可能になり得る。加えて、モーターがライダー装置410を回す時、モーターは、(例えば、以前に適用されたクリーニング溶液を除去することによって、またはライダー装置410から凝縮、雨、雪、および破片を除去することによって)ライダー装置410をクリーニングするように機能し得る。図7Aおよび7Bのシステム700は、図7Aおよび7Bに図示するように、多段階クリーニングプロトコルを実施するように構成され得る。
【0154】
図7Aは、クリーニングプロトコルの工程を図示する。図示するように、クリーニングプロトコルは、システム700の一つまたは複数の構成要素に(例えば、光学構成要素502の外部表面に)クリーニング溶液712を適用する噴霧器710を含み得る。クリーニング溶液712は、光学構成要素502の外部表面の一部分に、または光学構成要素502の外部表面全体に塗布され得る。いくつかの実施形態では、クリーニング溶液712は、例えば、噴霧器710のノズルを介して塗布され得る。噴霧器710はまた、噴霧器710をライダー装置410および/または光学構成要素502の特定の領域に向けるように構成される一つまたは複数のアクチュエーター(例えば、モーターおよびステージ)を含んでもよい。さらに、クリーニング溶液712は、さまざまな濃度(例えば、脱イオン水およびイソプロピルアルコール)のさまざまな化合物を含み得る。さらに、クリーニングプロトコルは、塗布されるクリーニング溶液712の所定のまたは選択可能な数の噴霧(例えば、1回の噴霧、2回の噴霧、3回の噴霧、4回の噴霧、5回の噴霧、6回の噴霧、7回の噴霧、8回の噴霧、9回の噴霧、および10回の噴霧)を含み得る。噴霧の数が1より大きい場合、噴霧の回数は、適用周波数(例えば、0.25Hz、0.5Hz、0.75Hz、1Hz、1.5Hz、2Hz、および2.5Hz)に従って、あらかじめ定義されたまたは選択可能な期間(例えば、5秒、10秒、20秒、30秒、および1分)にわたって(例えば、均等に)分布され得る。なおさらに、クリーニングプロトコルは、定期的なスケジュール(例えば、30分に一回、一時間に一回、四時間に一回、12時間に一回、一日一回、二日に一回、四日に一回、週一回、二週間に一回、および月に一回)に従って開始され得る。追加的または代替的に、クリーニングプロトコルは、(例えば、モバイルアプリケーションまたはブラウザベースのアプリケーションを介して命令を提供するユーザーから、ライダーコントローラー416から、およびシステムコントローラー402から)要求に応答して開始され得る。なおさらに、クリーニングプロトコルは、一つまたは複数の閾値が満たされる(例えば、検出されたクロスフィードバック信号の強度または数が所定の閾値を上回るという、ライダーコントローラー416による決定)ことに応答して開始され得る。
【0155】
矢印によって図示されるように、クリーニング溶液712がシステム700の一つまたは複数の構成要素に塗布される間、ライダー装置410の発光体424は、一つまたは複数の光信号を発し得る。これらの光信号は、光学構成要素502の表面に適用されるクリーニング溶液712によって反射され、その後、ライダー装置410の光検出器426によって検出され得る。従って、こうした検出された信号は、それらの信号が光信号を放射した対応する発光体424とは異なるチャネルの光検出器426に向けられているときに、(図6Cに関して上記に示され、かつ説明されるように)クロスフィードバック信号を表し得る。
【0156】
図7Bは、クリーニングプロトコルの別の工程を図示する。図示するように、クリーニングプロトコルは、加圧空気722をシステム700の一つまたは複数の構成要素(例えば、光学構成要素502の外部表面)に印加する加圧空気供給源720を含み得る。加圧空気722は、(例えば、図7Aを参照して示され、説明されるように)クリーニング溶液712の塗布後に適用され得る。加圧空気722は、光学構成要素502の外部表面の一部分(例えば、クリーニング溶液712が光学構成要素502の一部分にのみ適用された場合に、クリーニング溶液712が適用された部分)に、または光学構成要素502の外部表面の全体に適用され得る。加圧空気供給源720はまた、加圧空気供給源720を、ライダー装置410および/または光学構成要素502の特定の領域に向けるように構成される一つまたは複数のアクチュエーター(例えば、モーターおよびステージ)を含んでもよい。さらに、クリーニングプロトコルは、加圧空気722の所定のまたは選択可能な回数の適用(例えば、一回の吹出、二回の吹出、三回の吹出、四回の吹出、五回の吹出、六回の吹出、七回の吹出、八回の吹出、九回の吹出、および十回の吹出)を含み得る。吹出回数が一回よりも大きい場合、吹出回数は、適用周波数(例えば、0.25Hz、0.5Hz、0.75Hz、1Hz、1.5Hz、2Hz、および2.5Hz)に従って、あらかじめ定義されたまたは選択可能な期間(例えば、5秒、10秒、20秒、30秒、および1分)にわたって(例えば、均等に)分布され得る。なおさらに、図7Bに図示したクリーニングプロトコルの工程は、図7Aに図示したクリーニングプロトコルの工程の完了に応答して開始され得る。
【0157】
矢印によって図示されるように、加圧空気722がシステム700の一つまたは複数の構成要素に印加される間、ライダー装置410の発光体424は、一つまたは複数の光信号を放射し得る。これらの光信号は、光学構成要素502の表面上のクリーニング溶液712によって反射され、その後、ライダー装置410の光検出器426によって検出され得る。従って、こうした検出された信号は、それらの信号が、光信号を放射した対応する発光体424とは異なるチャネルの光検出器426に向けられているときに、(例えば、図6Cに関して上記に示され、かつ説明されるように)クロスフィードバック信号を表し得る。
【0158】
上記の説明によって示されるように、光信号は、発光体424によって放射され、クリーニング装置によるクリーニングプロトコルの実施中に光検出器426によって検出され得る。検出された光信号を分析することによって、欠陥の存在、欠陥の不在、欠陥の位置、欠陥のタイプ、および/またはシステム700内の欠陥の時間進化(例えば、光学構成要素502の外部表面上)に関する決定を行うことができる。こうした決定は、例えば、システムコントローラー402および/またはライダーコントローラー416によって行われてもよい。さらに、こうした決定を使用して、システム700の一つまたは複数の構成要素の健全性を推定することができる。例えば、(例えば、クリーニングプロトコル中の加圧空気722の印加によって)光学構成要素502の外部表面から除去されるクリーニング溶液712の時間進化に基づき、光学構成要素502の疎水性品質について(例えば、光学構成要素502が疎水性コーティングであるか、または疎水性コーティングを含むとき)決定を行うことができる(例えば、システムコントローラー402および/またはライダーコントローラー416によって)。これらの決定された疎水性品質は、経時的に(例えば、周囲環境への曝露による)疎水性コーティングの劣化のレベルを示し得る。劣化のより低いレベルは、例えば、印加された加圧空気722による、クリーニング溶液712の大きくなったしずく、および/またはクリーニング溶液712のより速い脱落に対応し得る。他の品質は、類似の技術を使用して分析することができ、また本明細書でも企図される(例えば、偏光、反射率、吸収率、透過率、および屈折率などの光学品質)。
【0159】
検出された光信号に基づき、システム700の一つまたは複数の構成要素の品質について決定するための例示的な技術を、図8Aおよび8Bを参照して以下でさらに詳細に説明する。一部の実施形態では、一つまたは複数の構成要素の品質に関するこうした決定は、クリーニングプロトコル(例えば、図7Aおよび図7Bに図示したクリーニングプロトコル)が実施されるたびに実施され得る。別の方法として、一つまたは複数の構成要素の品質に関するこうした決定は、クリーニングのサブセットに対してのみ(例えば、クリーニングプロトコルが実施される二回ごとに、クリーニングプロトコルが実施される三回ごとに、およびクリーニングプロトコルが実施される四回ごとに)、および/または特定のタイプのクリーニングに対してのみ(例えば、光学構成要素502がクリーニングされるときにのみ、および噴霧器710/加圧空気供給源720がクリーニングに関与しているときにのみ)実施され得る。
【0160】
クリーニングプロトコルは、システム700をクリーニングする(例えば、光学構成要素502の外部表面から破片または他の閉塞をクリーニングする)目的で開始され得る。しかしながら、一部の実施形態では、クリーニングプロトコルは、システム700の一つまたは複数の構成要素に対して診断を実施する唯一の意図で開始され得る(例えば、光学構成要素502の現在の状態を決定するために)。クリーニング装置は、システム700に欠陥を適用することができる(例えば、噴霧器710を使用して光学構成要素502にクリーニング溶液712を適用すること)一つまたは複数の構成要素を含み得るため、クリーニングプロトコルを開始することが、欠陥をシステム700に導入し、監視することができる、単純で、反復可能、かつ一貫したプロセスであり得る。さらに、こうしたプロセスは、(例えば、周囲環境からの沈殿の結果として生じる欠陥とは対照的に)反復可能かつ一貫しているため、結果を一つの診断試験から別の診断試験と比較することができる(例えば、経時的にシステム700の構成要素の健全性を正確に監視するプロセスを可能にする)。さまざまな実施形態では、システム700の一つまたは複数の構成要素の診断を実施するために開始されるクリーニングプロトコルは、標準化されたクリーニングプロトコル(例えば、システム700を単純にクリーニングするために実施されるのと同じ条件下での同じクリーニングプロトコル)であり得る。別の方法として、システム700の一つまたは複数の構成要素の診断を実施するために開始されるクリーニングプロトコルは、その診断能力を強化するように変更されるクリーニングプロトコルであり得る(例えば、標準的なクリーニングプロトコルおよび異なるクリーニング装置を使用するクリーニングプロトコルとは異なる強度または持続時間のクリーニングプロトコル)。
【0161】
さらに、図7Aおよび図7Bを参照して示され、説明されるように、発光体424は、一つまたは複数の欠陥から反射され、一つまたは複数の光検出器426によって検出される光信号を放射し得る。しかしながら、発光体424によって放射される光信号の一部の部分は、存在する欠陥(例えば、クリーニング溶液712)によって影響を受けない周囲環境に通過し得ることが理解される。次いで、こうした光信号は、周囲環境の物体から反射され、ライダー装置410の対応する光検出器426に再配向され、かつそれらによって検出され得る(例えば、図6Aに図示するプロセスと類似する)。これを考慮すると、光検出器426によって検出される光信号の一部は、クロスフィードバック信号を表し得る(例えば、従って、光学構成要素502の診断を実施するために使用され得る)が、他の光信号は、依然として、周囲環境(例えば、それぞれの光信号の飛行時間に基づき、周囲環境内の物体までの距離)についての情報を提供するために使用され得る。いくつかの実施形態では、クロスフィードバック信号は、飛行時間に基づき物体反射信号から曖昧さをなくし得る(例えば、光学構成要素502から5cmなどの閾値距離に近い距離を表す飛行時間に対応する信号は、クロスフィードバック信号を表すと決定され得る)。追加的に、または代替的に、クロスフィードバック信号は、経験的データに基づき物体反射信号から曖昧さをなくし得る(例えば、特定の発光体/光検出器チャネルが、クリーニングプロトコルが実施されるときにクロスフィードバック信号を検出し、従って、それらのチャネルからの信号が、実行時にクロスフィードバック信号とみなされるという決定が、較正中に行われ得る)。物体検出信号に対応するそれらの検出された信号からのデータは、(例えば、システムコントローラー402および/またはライダーコントローラー416によって)三次元点群(欠陥を含むそれらの領域に対応する欠落点を有する点群にもかかわらず)に配設され得る。このようにして、周囲環境の部分的な検出が、(i)システムの構成要素の診断試験と同じ放射/検出サイクルの間、および/または(ii)クリーニング装置を使用してクリーニングプロトコルを実施する間起こり得る:。
【0162】
上述のように、一つまたは複数のクリーニングプロトコルの適用中に検出された光信号(例えば、クロスフィードバック信号)を使用して、システム700の一つまたは複数の構成要素の品質について決定することができる(例えば、経時的な一つまたは複数の欠陥の状態を追跡することによって)。こうした決定を行う一つの方法は、こうしたクロスフィードバック信号の強度を経時的に追跡することを含む。例えば、光信号が放射され、対応するクロスフィードバック信号が検出されるたびに、検出されたクロスフィードバック信号の強度(例えば、光信号に対応する強度波形の最大強度/ピーク強度)、および検出されたクロスフィードバック信号に関連付けられるタイムスタンプが記録され得る(例えば、システムコントローラー402またはライダーコントローラー416に関連付けられるメモリー内に格納される)。検出されたクロスフィードバック信号が経時的に捕捉される光検出器426は、光検出器426のアレイ内の光検出器426が、クロスフィードバックの最大強度を検出する、および/または光検出器426のアレイ内の光検出器426が、欠陥の存在と最も高い相関を有するクロスフィードバックを検出する経験的研究に基づき選択され得る。経時的な一連のタイムスタンプおよび関連する強度を記録すると(例えば、加圧空気722の追加吹出が光学構成要素502に適用されると)、検出されたクロスフィードバック信号に対する強度対時間のプロットを行うことができる。図8Aは、こうしたプロットを図示する。
【0163】
プロット802は、経時的(例えば、秒単位)のクロスフィードバック信号の測定される強度(例えば、任意の単位)を表す。他の実施形態では、さまざまな時点で検出される際に、一つの光検出器に対応する一つのクロスフィードバック信号の強度を単にプロットするのではなく、クロスフィードバック強度の平均を一連の時点で記録することができる。例えば、設定された期間(例えば、長さ1μs、5μs、10μs、20μs、および50μsを有する)内で検出される任意のクロスフィードバック信号は、その期間内の他のクロスフィードバック信号と一緒にグループ化されてもよく、およびその期間におけるクロスフィードバック信号の強度は、平均化され、関連するタイムスタンプで記憶され得る。次に、これらの平均強度対時間のプロットを生成し得る。こうしたプロットは、図8Aと類似して見えてもよい(例えば、平均強度を表すプロット802を、時間とともに、秒単位で含む)。
【0164】
強度対時間(または平均強度対時間)のプロット802が生成されると、そのプロット802は、曲線(例えば、指数曲線、二次曲線、対数曲線、および線形曲線)に適合され得る。例えば、図8Aに示すように、プロット802は、曲線804に嵌合され得る。適合曲線の式からのさまざまな値を使用して、基礎となるシステムのさまざまな特徴を評価することができる。例えば、図8Aに示すように、適合曲線804は、以下の形態の式を有し得る:
f(t)=A-t/τ+Afinal
式中、f(t)は、時間tでの強度値であり、A+Afinalは、時間t=0での曲線804の初期値(すなわち、ピーク値)であり、Afinalは、t→∞としての曲線804の最終値であり、τは、指数関数的減衰に関連する時間定数である。
【0165】
曲線804は、経時的な一つまたは複数の欠陥の時間進化と相関するため、値A0、final、およびτのそれぞれは、問題の構成要素(例えば、疎水性コーティングの疎水性)および/またはクリーニング装置の品質を評価するために使用され得る情報を提供し得る。例えば、試験中の疎水性コーティングの場合、Aは、疎水性コーティング上の水/クリーニング溶液に、大きな水滴が疎水性コーティング上に形成される、および/または疎水性コーティングに付着することを拒否させる疎水性コーティングの能力に関連し得る一方、τは疎水性コーティングから脱落する疎水性コーティングの能力に関連し得る。追加的または代替的に、特定の特徴が適合される曲線804に存在する場合(例えば、A+Afinalが非常に高い場合)、クリーニング装置について一つまたは複数の決定を行うことができる(例えば、クリーニング装置は、詰まりを有し、噴霧器710を介して適切な量のクリーニング溶液712を塗布できない)。曲線804から抽出されたメトリックを、例えば、較正測定中に決定されたのと同じメトリックと比較することができる。例えば、較正曲線は、その品質(例えば、疎水性)が良好に特徴付けられる光学構成要素(例えば、疎水性コーティング)上のクロスフィードバック信号の類似の測定値に曲線を適合させることによって生成され得る(例えば、疎水性特性が製造許容差内で特定される、全く新しい疎水性コーティング、または疎水性特性がそれらの最も現実的な値である、完全に分解された疎水性コーティング)。次に、較正曲線のA+Afinal、およびτの値は、システムコントローラー402またはライダーコントローラー416に関連付けられるメモリー内に格納されてもよく、および/またはシステムコントローラー402/ライダーコントローラー416によってアクセス可能なサーバーメモリー内に格納され得る(例えば、インターネットまたは他のデータネットワークを介して)。
【0166】
診断試験を実施するとき、A0、final、およびτの決定された値は、光学構成要素502の品質を決定するために、A0、final、およびτの一つまたは複数の較正値と比較され得る。例えば、A0、final、およびτの決定された値は、理想的な光学構成要素(例えば、新品の光学構成要素)に対して記録されたA、Afinal、およびτの較正値と比較され得る。A0、final、およびτの決定された値のうちの一つまたは複数が、理想的な光学構成要素(例えば、1%を超える差、5%以上の差、10%を超える差、15%を超える差、20%を超える差、および25%超の差)に対する、A0、final、およびτの較正値からの閾値差よりも大きい場合、次に、光学構成要素の一つまたは複数の品質が欠損していると決定され得る(例えば、疎水性コーティングの疎水性が経時的に劣化している)。
【0167】
0、final、およびτの決定された値を閾値と単に比較することに加えて、またはその代わりに、代替的なメトリックを生成することができる。例えば、単一の対数メトリックを使用して、テスト中の光学構成要素がテストに「合格する」か、または診断試験に「不合格である」かを決定することができる:
【数1】

式中、Aは、時間t=0での測定される初期値(すなわち、ピーク値)から、適合される指数関数的減衰に関連付けられるAfinalを引いた値であり、A0calibrationは、時間t=0における初期値(すなわち、ピーク値)から、以前の較正測定値(または複数の較正測定値の平均)に対する適合される指数関数的減衰に関連付けられるAfinal calibrationを引いた値であり、τは、フィッティングされた指数関数的減衰に関連付けられる時間定数であり、τcalibrationは、以前の較正測定値(または複数の較正測定値の平均)に対する適合される指数関数的減衰に関連付けられる時間定数であり、CおよびCは、試験中の光学構成要素が合格または不合格を決定する際のAおよびτの値の相対的な重要性を調整するように修正され得る調整可能な定数である。こうした定数は、一連の光学構成要素の研究に基づき調整され得る(例えば、光学構成要素の性能品質がどの最も重要であるかを決定するために)。合格/不合格メトリックの値は計算され、次いで閾値と比較されて、光学構成要素が合格または不合格であるかどうかを決定し得る。例えば、閾値0を使用して、光学構成要素が合格するか、または不合格であるかを決定し得る(例えば、0以上のメトリックが合格し、0未満のメトリックが不合格となる)。光学構成要素が「不合格である」と決定された場合、一つまたは複数の是正措置が実施され得る(例えば、光学構成要素に追加のクリーニングプロトコルまたは異なるクリーニングプロトコルを適用し、光学構成要素を交換し、技術者による修理のために光学構成要素にフラグを立て、光学構成要素または関連するライダー装置を停止し、光学構成要素の欠陥を説明するためにライダー装置によってなされる測定値を調整する)。いくつかの実施形態では、単一の閾値の代わりに、合格/不合格メトリックを比較できる複数の閾値があり得る。例えば、メトリックが1以上である場合、光学構成要素は合格し、メトリックが0以上かつ1以下である場合、光学構成要素は条件付きで合格し(例えば、何らかの是正措置を必要とし)、メトリックが0未満である場合、光学構成要素は不合格となる(例えば、交換を必要とする)。
【0168】
図8Aに示す例示的な適合曲線804は、指数関数的減衰関数に対応するが、他のタイプの機能も可能であり、本明細書で企図されることが理解される。例えば、線形関数または二次関数も使用され得る。指数関数ではなく異なるタイプの関数が使用される場合、メリットの数値も異なってもよい。例えば、線形関数が使用される場合、代わりに勾配およびy切片をメリットの図として使用し得る。
【0169】
いくつかの実施形態では、有害な気象状態は、クリーニングプロトコルの適用中に取られた測定値(例えば、検出されたクロスフィードバック信号)に影響を与え得る。例えば、雨が降っている場合、光学構成要素502(例えば、図7Aに図示するように)に塗布されるクリーニング溶液712に加えて、雨が光学構成要素502上に堆積され得る。このように、クロスフィードバック測定を実施するとき、光学構成要素502に追加的な欠陥(例えば、追加的な水滴)があり得る。このように、降雨中に決定される適合曲線に関連付けられるメリットの任意の数値(例えば、A0、final、τ、または合格/不合格メトリック)は、そうでなければ降雨がないときとは異なってもよい。これを考慮すると、これらのメリットの数値に基づき、基礎となる光学構成要素502についてなされる任意の決定は、信頼でき得ない。本明細書の実施形態は、これを補償するための複数の技術を提供する。例えば、クロスフィードバック信号の強度を、クリアな気象状態で行われた較正測定値と比較するのではなく、代わりに、それらは雨中に行われた較正測定値と比較され得る(例えば、新品の疎水性コーティングは、雨中で較正試験を受けている場合がある)。追加的に、または代替的に、オフセットは、クロスフィードバック信号の検出された強度および/または検出された強度に基づき決定されるメトリックのいずれかに適用され得る。例えば、降雨条件中に検出されたクロスフィードバック強度の各々は、その検出された強度を固定量(例えば、5%、10%、15%など、または1arb.単位、2arb.単位、および3arb.単位)によって調整することができる。同様に、Afinalまたはτの値は、雨を説明すると決定された後に調整することもできる。例えば、決定されたτは、5%、10%、15%など、または1秒、2秒、3秒などだけ減少され得る。
【0170】
本明細書に提供される実施例は雨用であるが、他の有害な気象状態(例えば、雪、風、曇り、跳ね、およびハイル)も、同様の様式で対処され得ることが理解される。さらに、存在する有害な気象状態のタイプおよび/またはこうした気象状態の強度(例えば、降雨/分および風速)は、システム700に関連付けられる他のセンサー(例えば、図1を参照して示され、説明される車両100のレーダー126)によって検出されてもよく、または別の装置(例えば、インターネット上の管理サーバーから)によってライダー装置410に送信され得る。こうした気象状態の強度を使用して、クロスフィードバック信号および/または決定されたメトリックの強度の各々が調整される度合いを決定することができる(例えば、第一のレベルでの降雨/分は5%の減少に対応し、第二のレベルでの降雨/分は10%の減少に対応する)。クロスフィードバック信号および/または決定されたメトリックの強度の調整が、気象状態(例えば、降雨量/分量)に依存する程度は、さまざまな気象状態中に取得された以前の較正測定値に基づき決定され得る。
【0171】
クロスフィードバック信号の強度を曲線804にフィッティングし、次いで、フィッティングされた曲線804に関連するメリット(例えば、時間定数)の図に基づき、基礎となる光学構成要素の品質について決定するための技術が上述される。いくつかの実施形態では、一つまたは複数のメリットの図に対する閾値は、機械学習モデルを使用して決定され得る。例えば、分類器は、基礎となる光学構成要素の品質が知られていた較正実験中に捕捉されたクロスフィードバック強度値に対応する標識された訓練データを使用して訓練され得る。代替的に、強度値をプロットし、次いで、プロットされた値に曲線をフィッティングするのではなく、基礎となる光学構成要素の品質が既知であるときに、クロスフィードバック信号自体(例えば、経時的なクロスフィードバック信号強度変動に対応する全強度波形)に対応するラベル付けされた訓練データを使用して、機械学習モデル(例えば、分類器)を訓練することができる。次に、診断試験を実施するとき、一連の検出されたクロスフィードバック信号(例えば、全強度波形)を機械学習モデルに供給して、基礎となる光学構成要素の品質を決定することができる。
【0172】
図8Aは、光学構成要素502の健全性を評価するためにクリーニングプロトコル中に検出されたクロスフィードバック信号の分析を示すが、これは、単に例として提供され、他の信号が追加的または代替的に検出および分析され得ることが理解される。例えば、クロストーク信号(図6Bを参照して上述および記載される)を検出することができ、および/または画像(図6Dを参照して上述および記載される)をキャプチャーすることができる。これらのクロストーク信号および/または画像も分析されて、光学構成要素502の状態に関するメリットの図を決定することができる。さらに、さらに他の信号を検出/分析することができる。例えば、発光体424によって放射される光信号の内部反射は、光検出器426によって検出され、分析され得る(例えば、それらの光信号がクロスフィードバック信号を表さない場合であっても、すなわち、光信号が、ライダー装置410の同じチャネルにおいて、発光体424/光検出器426によってそれぞれ放射/検出された場合)。
【0173】
クリーニングプロトコル(例えば、A0、final、τ、または合格/不合格メトリック)中にクロスフィードバック信号を分析することによって決定されるメリットの図は、フリート全体を特徴付けるためにも使用され得る。例えば、図8Bは、フリートにわたるいくつかの光学構成要素812の散乱プロットである。例えば、光学構成要素812の各々は、車両のフリート内の異なる車両のライダー装置410上の疎水性コーティングを表し得る。図8Bに示すように、各光学構成要素812は、上記のプロセスを使用して分析されて、A値およびτ値(例えば、フリート管理サーバーなど、単一の装置に送信される結果)を決定し得る。これらの値に基づき、光学構成要素812の各々は、散乱プロット上に配置される。さらに、Aおよびτに依存するため、合格/不合格メトリックの位置を示す曲線814が図8Bの散乱プロット上に配置される。曲線上の、または曲線814の上方および左側にある任意の光学構成要素812は、例えば、合格/不合格メトリックの下の812「合格する」光学構成要素に対応し得るが、曲線814の下方および右側にある任意の光学構成要素812は合格/不合格メトリックの元で「不具合する」光学構成要素812に対応し得る。こうした散乱プロットは、後でアクセス/レビューするために、メモリー(例えば、フリート管理サーバー)内に格納され得る。
【0174】
図8Bの散乱プロットを確認することによって、フリートにわたる光学構成要素812の全体的な健全性を評価し得る。例えば、多数の光学構成要素812が、合格/不合格メトリックの元で「不具合」カテゴリーに入る場合、異なるタイプの光学構成要素812(例えば、異なるタイプの疎水性コーティング)が、フリートで現在使用されるものを置き換えるべきであると決定され得る。追加的に、または代替的に、異なるタイプの光学構成要素812(例えば、異なるタイプの疎水性コーティング)がフリートにわたって用いられる場合、異なるタイプの光学構成要素812の相対的性能を比較して、あるタイプが別のタイプよりも優れているかどうかを決定することができる。図8Bの散乱プロットを使用して、閾値を設定することもできる。例えば、光学構成要素812のフリートの80%が合格/不合格メトリックの元で「合格」に対応するべきであると決定される場合、図8Bの散乱プロットのレビューは、「合格」と「不合格」を分ける曲線814を置く場所を決定するのに役立ち得る。
【0175】
図8Bの図は、光学構成要素812のフリートに対して提供されるが、同様のプロットが、さまざまな時点で単一の光学構成要素に対して生成され得ることも理解される。例えば、単一の光学構成要素をさまざまな時点で分析して、各時点で対応するA値およびτ値を決定し得る。その後、さまざまな時点に対するAおよびτの組み合わせの各々を、散乱プロット上にプロットすることができる。こうした散乱プロットをレビューすることによって、経時的な光学構成要素の利点の図の分析を行うことができる。さらに、図8Bには二つのメリットの図のみがプロットされるが、他の散乱プロット(例えば、三次元およびn次元)において、散乱プロットが二つ以上のメリットの図を追跡するために使用されることもできることが理解される。追加的または代替的に、「合格」と「不合格」とを分割する複数の曲線(または三次元またはn次元散乱プロットの場合の平面)が用いられてもよい(例えば、複数の閾値が考慮される場合)。
【0176】
図9は、例示的な実施形態による、方法900のフローチャート図である。いくつかの実施形態では、方法900は、システム(例えば、図7Aおよび7Bに示されるシステム700)によって実行され得る。方法900は、ユーザーからの要求に応答して(例えば、モバイルアプリケーションを介して送信される)、一つまたは複数の光学構成要素が欠陥を有し得ると決定されることに応答して(例えば、一つまたは複数の光学構成要素によって以前に検出されたデータに基づき)、など起動時(例えば、ライダー装置410が、物体検出および回避のための使用を開始する際、またはライダー装置410を含む車両がデポを離れる際)、規則的な間隔で実施され得る(例えば、一時間に一回、6時間に一回、12時間に一回、一日一回、および週に一回)。
【0177】
ブロック902で、方法900は、クリーニング装置を使用して、ライダー装置の一つまたは複数の光学構成要素にクリーニングプロトコルを適用することを含み得る。
【0178】
ブロック904で、方法900は、ライダー装置の発光体から、一つまたは複数の光信号を放射することを含み得る。
【0179】
ブロック906において、方法900は、ライダー装置の光検出器によって、一つまたは複数の光信号の反射を検出することを含むことができる。
【0180】
ブロック908で、方法900は、一つまたは複数の光信号の検出された反射に基づき、コントローラーによって、一つまたは複数の欠陥が一つまたは複数の構成要素内またはクリーニング装置内に存在すると決定することを含み得る。
【0181】
方法900のいくつかの実施形態では、ブロック902は、クリーニング装置の噴霧器から、一つまたは複数の光学構成要素のうちの少なくとも一つ上にクリーニング溶液を噴霧することを含み得る。ブロック902はまた、クリーニング装置の加圧空気供給によって、少なくとも一つの光学構成要素上に加圧空気を印加することを含み得る。
【0182】
方法900の一部の実施形態では、一つまたは複数の欠陥は疎水性コーティングの劣化を含み得る。分解は、疎水性コーティングの疎水性の低下に対応し得る。
【0183】
方法900のいくつかの実施形態では、ブロック904は、一連の光信号を放射することを含み得る。さらに、ブロック906は、一つまたは複数の光信号の一連の反射を検出することを含み得る。
【0184】
方法900のいくつかの実施形態では、ブロック908は、経時的な一つまたは複数の光信号の一連の反射の強度のプロットを生成することと、生成されたプロットを関数にフィッティングすることと、を含み得る。
【0185】
方法900のいくつかの実施形態では、ブロック908は、生成されたプロットが適合する関数を、ライダー装置の較正中に生成された較正関数と比較することを含み得る。
【0186】
方法900のいくつかの実施形態では、生成されたプロットが適合される関数は、指数関数を含み得る。さらに、指数関数のピーク値および時間定数は、メリットの図を表し得る。
【0187】
方法900のいくつかの実施形態では、ブロック908は、ライダー装置の周囲環境における気象状態を説明することを含み得る。さらに、一部の実施形態では、ライダー装置の周囲環境における気象状態を説明することが、気象状態に基づき強度のプロットに一つまたは複数のオフセットを適用することを含み得る。
【0188】
一部の実施形態では、方法900はまた、存在する決定された一つまたは複数の欠陥に基づき、是正措置を実施することを含んでもよい。
【0189】
方法900のいくつかの実施形態では、ブロック902は、クリーニング装置の噴霧器から、一つまたは複数の光学構成要素のうちの少なくとも一つ上にクリーニング溶液を噴霧することを含み得る。ブロック902はまた、クリーニング装置のワイパーによって、クリーニング溶液を除去するための少なくとも一つの光学構成要素を拭き取ることを含み得る。
【0190】
本開示は、本出願に説明される特定の実施形態に関して限定されるものではなく、特定の実施形態は、さまざまな態様の例解として意図されるものである。当業者には明らかなことであるが、多くの修正および変形を本開示の趣旨および範囲から逸脱することなく行うことができる。本明細書において列挙される方法および装置に加えて、本開示の範囲内の機能的に同等の方法および装置は当業者には、これまでの説明から明らかであろう。このような修正および変形は、添付の特許請求の範囲内にあることが意図される。
【0191】
上記の詳細な説明は、添付の図面を参照して、開示されたシステム、デバイス、および方法のさまざまな特徴および機能を説明している。図では、文脈が別の方法で指示しない限り、同様の記号は、典型的には、同様の構成部品を同一に扱っている。本明細書および図に説明される例示的な実施形態は、限定することを意図しているものではない。本明細書において提示される主題の範囲から逸脱することなく、他の実施形態を利用することができ、他の変更を行うことができる。本明細書で一般に説明され、かつ図に例解される、本開示の態様は、多種多様な異なる構成で配置、置換、結合、分離、および設計することができ、その全てが明示的に企図されることは容易に理解されよう。
【0192】
図における、また本明細書において考察されるメッセージフロー図、シナリオ、およびフローチャートのいずれかまたは全てに関して、各ステップ、ブロック、動作、および/または通信は、例示的な実施形態に従った情報の処理および/または情報の送信を表し得る。代替の実施形態は、これらの例示的な実施形態の範囲内に含まれる。これらの代替の実施形態では、例えば、ステップ、ブロック、送信、通信、要求、応答、および/またはメッセージとして記載される動作は、関連する機能に応じて、実質的に同時にまたは逆の順序でなど、示されたものまたは論じられたものとは異なる順序で実行することができる。さらに、それより多いかまたは少ないブロックおよび/または動作を、本明細書で考察されるメッセージフロー図、シナリオ、およびフローチャートのいずれかで使用することができ、これらのメッセージフロー図、シナリオ、およびフローチャートは、部分的にまたは全体として互いに組み合わせることができる。
【0193】
情報の処理に相当するステップ、ブロック、または動作は、本明細書に説明される方法または技法の特定の論理機能を果たすように構成され得る回路網に対応し得る。代替的にまたは追加的に、情報の処理に相当するステップまたはブロックは、モジュール、セグメント、またはプログラムコード(関連データを含む)の一部分に対応し得る。プログラムコードには、特定の論理演算または動作を方法または技法において実施するためのプロセッサーにより実行可能な一つまたは複数の命令を含めることができる。プログラムコードおよび/または関連データは、RAM、ディスクドライブ、ソリッドステートドライブ、または別の記憶媒体を含む記憶装置など、いずれのタイプのコンピューター可読媒体にも記憶され得る。
【0194】
さらに、一つまたは複数の情報送信に相当するステップ、ブロック、または動作は、同じ物理デバイスにおけるソフトウェアモジュールおよび/またはハードウェアモジュール間の情報送信に対応し得る。しかしながら、他の情報送信は、さまざまな物理デバイスにおけるソフトウェアモジュールおよび/またはハードウェアモジュール間の情報送信であり得る。
【0195】
図に示される特定の配置は、限定としてみなされるべきではない。他の実施形態は、所与の図に示されるそれぞれの要素をより多く、またはより少なく含むことができることが理解されるべきである。さらに、例解された要素のうちのいくつかは、組み合わされ得るか、または省略され得る。さらに、例示的な実施形態は、図に例解されていない要素を含み得る。
【0196】
さまざまな態様および実施形態が本明細書に開示されるが、他の態様および実施形態が、当業者には明らかであろう。本明細書に開示されるさまざまな態様および実施形態は、例解を目的とするものであり、限定することを意図するものではなく、真の範囲は、以下の特許請求の範囲によって示される。
図1
図2A
図2B
図2C
図2D
図2E
図2F
図2G
図2H
図2I
図2J
図2K
図3
図4A
図4B
図5
図6A
図6B
図6C
図6D
図7A
図7B
図8A
図8B
図9
【外国語明細書】