(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-06-02
(54)【発明の名称】車両正常性モニタ
(51)【国際特許分類】
G01M 17/007 20060101AFI20230526BHJP
B60R 16/02 20060101ALI20230526BHJP
G07C 5/00 20060101ALI20230526BHJP
【ＦＩ】
G01M17/007 H
B60R16/02 650J
G07C5/00 Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022562413
(86)(22)【出願日】2021-04-12
(85)【翻訳文提出日】2022-10-13
(86)【国際出願番号】 US2021026906
(87)【国際公開番号】W WO2021216313
(87)【国際公開日】2021-10-28
(31)【優先権主張番号】16/856,597
(32)【優先日】2020-04-23
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/856,733
(32)【優先日】2020-04-23
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】518156417
【氏名又は名称】ズークス インコーポレイテッド
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】モーリス ヘンリ アンドレ クレーセンス
(72)【発明者】
【氏名】ポール チョイン
【テーマコード（参考）】
3E138
【Ｆターム（参考）】
3E138AA07
3E138CA03
3E138CC01
3E138GA03
3E138MA03
3E138MB02
3E138MB03
3E138MB08
3E138MB09
3E138MB13
3E138MB20
3E138MC12
3E138MC20
3E138MD05
(57)【要約】
車両の正常性を監視し予測するための技術を開示する。いくつかの例では、センサデータ（例えば、オーディオデータ）を使用して、車両コンポーネントに関連付けられたセンサシグネチャを作成し得る。センサシグネチャを、車両コンポーネントの寿命にわたって車両コンポーネントに関連付けられた１つまたは複数の第２のセンサシグネチャと比較して、車両コンポーネントに関連付けられた動作ステータスの変化を決定し得る。いくつかの例では、機械学習モデルをトレーニングして、機械学習モデルに入力されたセンサデータに基づいて、車両コンポーネントおよび／または車両コンポーネントの動作ステータスを識別し得る。このようにして、センサデータを機械学習モデルに入力し得、機械学習モデルは、対応する車両コンポーネントおよび／またはコンポーネントに関連付けられた動作ステータスを出力し得る。
【特許請求の範囲】
【請求項1】
車両のコンポーネントに関連付けられた動作ステータスを示す第１のセンサシグネチャを受信することと、前記車両の前記コンポーネントを起動させることと、
前記車両のセンサから、前記コンポーネントに関連付けられたデータを受信することと、
前記データに少なくとも部分的に基づいて、前記コンポーネントに関連付けられた第２のセンサシグネチャを決定することと、
前記第１のセンサシグネチャと前記第２のセンサシグネチャとの間の関連付けを決定することと、
前記関連付けに少なくとも部分的に基づいて、前記コンポーネントに関連付けられた前記動作ステータスを出力することと、
を含む方法。
【請求項2】
前記コンポーネントと同じタイプの別のコンポーネントに関連付けられた第２のデータを受信することと、前記第２のデータに少なくとも部分的に基づいて、前記第１のセンサシグネチャを決定することと、
をさらに含む請求項１に記載の方法。
【請求項3】
前記車両の前記コンポーネントを起動させながら、動作パラメータに従って前記車両の別のコンポーネントの動作を制御することをさらに含み、前記動作パラメータが、速度、ステアリング角、制動条件、位置、温度、または時刻の少なくとも１つを含む、請求項１または２に記載の方法。
【請求項4】
前記センサがマイクロフォンを含み、前記データが前記コンポーネントおよびバックグラウンドノイズに関連付けられたオーディオデータを含み、前記第２のセンサシグネチャを決定することが、前記データを処理して、前記バックグラウンドノイズを除去することをさらに含む、請求項１乃至３のいずれか一項に記載の方法。
【請求項5】
前記第２のセンサシグネチャに少なくとも部分的に基づいて、前記動作ステータスを決定することをさらに含み、前記動作ステータスは、前記コンポーネントに関連付けられた摩耗の表示、前記コンポーネントに関連付けられた予測される故障時間、または前記コンポーネントに関連付けられた異常の表示の少なくとも１つを含む、請求項１乃至４のいずれか一項に記載の方法。
【請求項6】
前記動作ステータスに少なくとも部分的に基づいて、前記車両または前記コンポーネントの少なくとも１つに整備を受けさせることをさらに含む、請求項１乃至５のいずれか一項に記載の方法。
【請求項7】
前記第１のセンサシグネチャまたは前記第２のセンサシグネチャの少なくとも１つが、経時的に前記センサからの測定値のデータ時系列を含み、前記車両に関連付けられた１つまたは複数の動作パラメータに関連付けられている、請求項１乃至６のいずれか一項に記載の方法。
【請求項8】
前記コンポーネントに関連付けられた前記動作ステータスを出力することは、前記動作ステータスを示すデータを前記車両に関連付けられたリモート監視システムに送信することを含む、請求項１乃至７のいずれか一項に記載の方法。
【請求項9】
前記データを前記車両のローカルメモリに格納することと、ネットワークを介して、前記車両に関連付けられたリモートコンピューティングシステムにデータを送信することと、
さらに含む、請求項１乃至７のいずれか一項に記載の方法。
【請求項10】
センサが、マイクロフォン、慣性測定ユニット（ＩＭＵ）、加速度計、または圧電センサを含む、請求項１乃至９のいずれか一項に記載の方法。
【請求項11】
前記センサが、前記車両の前記コンポーネントに関連付けられた音を位置決めするための１つまたは複数のマイクロフォンを含む、請求項１乃至９のいずれか一項に記載の方法。
【請求項12】
前記第１のセンサシグネチャは、第１の時間に前記コンポーネントに関連付けられたオーディオデータに少なくとも部分的に基づいており、前記第２のセンサシグネチャは、前記第１の時間に続く第２の時間に前記コンポーネントに関連付けられたオーディオデータに少なくとも部分的に基づいている
請求項１乃至１１のいずれか一項に記載の方法。
【請求項13】
前記第１のセンサシグネチャと前記第２のセンサシグネチャとの間の前記関連付けを決定することは、前記第１のセンサシグネチャと前記第２のセンサシグネチャとの間の変動が閾値変動よりも大きいことを決定することと、
前記変動が前記閾値変動よりも大きいことに少なくとも部分的に基づいて、前記コンポーネントに関連付けられた前記動作ステータスを出力することと、
を含む、請求項１乃至１２のいずれか一項に記載の方法。
【請求項14】
１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに請求項１乃至請求項１３のいずれか一項に記載の方法を実行させる命令を格納した１つまたは複数の非一時的コンピュータ可読記憶媒体。
【請求項15】
１つまたは複数のプロセッサと、命令を格納する１つまたは複数のコンピュータ可読媒体と、を含むシステムであって、
前記命令は前記１つまたは複数のプロセッサによって実行されると、前記システムに、請求項１乃至１３のいずれか一項に記載の方法を実行させる、システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両正常性モニタに関する。
【背景技術】
【0002】
車両は、車両の寿命にわたって摩耗する、故障する、またはそうでなければ、整備または交換を必要とする可能性のある広範囲の個々のコンポーネントまたはシステムを含む。今日の多くの車両は、コンポーネントの摩耗を診断し検出するために定期的な整備に依存している。いくつかの車両は、ユーザに定期な整備の実施を促し得る。さらに、いくつかの車両は、個々のコンポーネントが故障するまたは磨耗する場合に、ユーザに通知する。しかし、この時には、コンポーネントの修理は不便であり得る、または車両のダウンタイムを生じさせ得る。さらに、コンポーネントが修復不可能な損傷を受けた可能性があり、したがって、コンポーネントを交換するためにより多くの費用が発生する。さらに、コンポーネントの故障はまた、車両の他のコンポーネントの損傷および／または故障を引き起こし得る、さらに、修理費用および／またはコンポーネントを修理および／または交換するために必要な労働量を増大させる。
【0003】
［関連出願］
このＰＣＴ国際出願は、２０２０年４月２３日に出願された米国特許出願第１６／８５６，５９７号、および２０２０年４月２３日に出願された米国特許出願第１６／８５６，７３３号の優先権を主張し、これらは両方とも参照により本明細書に組み込まれる。
このＰＣＴ国際出願は、２０２０年４月２３日に出願された米国特許出願第１６／８５６，５９７号、および２０２０年４月２３日に出願された米国特許出願第１６／８５６，７３３号の優先権を主張し、これらは両方とも参照により本明細書に組み込まれる。
【図面の簡単な説明】
【0004】
詳細な説明は、添付図面を参照して説明される。図において、参照番号の一番左の桁は、その参照番号が最初に現れる図を識別する。異なる図における同じ参照番号の使用は、類似または同一のコンポーネントまたは特徴を示す。
【0005】
【0006】
［詳細な説明］
上述したように、車両は、車両の寿命にわたって摩耗する、故障する、あるいは整備または交換を必要とする可能性のある広範囲の個々のコンポーネントまたはシステムを含み得る。ユーザに車両を整備するように思い出させる、またはコンポーネントが故障したときにユーザに通知する既存のアプローチは、ここまでに、コンポーネントの整備はユーザにとって不便であり得る、コンポーネントが回復不能な損傷を経験し得る、および／またはコンポーネントの故障が車両の他のコンポーネントに損傷を引き起こし得るため、不十分である。
上述したように、車両は、車両の寿命にわたって摩耗する、故障する、あるいは整備または交換を必要とする可能性のある広範囲の個々のコンポーネントまたはシステムを含み得る。ユーザに車両を整備するように思い出させる、またはコンポーネントが故障したときにユーザに通知する既存のアプローチは、ここまでに、コンポーネントの整備はユーザにとって不便であり得る、コンポーネントが回復不能な損傷を経験し得る、および／またはコンポーネントの故障が車両の他のコンポーネントに損傷を引き起こし得るため、不十分である。
【0007】
本出願は、車両の正常性を監視するためのシステムおよび方法を記載する。いくつかの例では、車両は、車両の寿命を通じて車両の１つまたは複数のコンポーネントに関連付けられたセンサデータを連続的または定期的に収集する１つまたは複数のセンサ（例えば、マイクロフォン、慣性測定ユニット（ＩＭＵｓ）、温度センサ、画像センサ、圧電センサ、圧力センサ、加速度計、大気質センサ、電圧センサ、電流センサなど）を含み得る。このセンサデータは、車両の１つまたは複数のコンポーネントに関連付けられたセンサシグネチャを含み得る。さらに、車両および／または車両に関連付けられたコンピュータ監視システムは、車両のコンポーネントに関連付けられたセンサシグネチャにおける変化を、経時的に決定することが可能であり得る。コンポーネントのセンサシグネチャの変化を決定することに基づいて、車両のコンポーネントに関連付けられた動作ステータスを決定し得る。限定ではなく例として、「動作ステータス」は、使用された寿命のパーセンテージおよび／またはコンポーネントの残り（例えば、使用寿命の５０％、残り寿命の７５％など）のような車両のコンポーネントに関連付けられた摩耗の表示、コンポーネントが故障する可能性があるまで車両が走行し得る時間および／または距離（例えば、コンポーネントの故障まで１０時間、コンポーネントの故障まで１００マイルなど）のようなコンポーネントに関連付けられた故障時間（time-to-failure）、または１つまたは複数の故障状態のようなコンポーネントに関連付けられた異常の表示、を含み得る。このようにして、車両の正常性および／または車両コンポーネントの正常性を車両の寿命を通じてより正確に監視し得、コンポーネントのセンサシグネチャの変化を使用して摩耗を検出し、および／または故障を予測し得、これは、コンポーネントが故障する前におよび最も都合の良いときに、整備を実行することを可能とする。さらに、いくつかの例では、本技術を、車両上に既に存在するセンサを使用して実施し得、その結果、本明細書に記載された技術の少なくとも一部を実施するために追加のハードウェアを必要としない。
【0008】
いくつかの例では、第１のセンサシグネチャ（例えば、ベースライン、初期、オリジナルなどの）が、車両のコンポーネントについて決定され得る。第１のセンサシグネチャは、１つまたは複数のマイクロフォンによってキャプチャされた音響シグネチャ、１つまたは複数のＩＭＵによってキャプチャされた慣性測定値、１つまたは複数の温度センサによってキャプチャされた温度測定値、１つまたは複数の画像センサからの画像、および／またはこれらのセンサおよび／または他のセンサの組み合わせを含み得る。第１のセンサシグネチャは、コンポーネントのベンチテスト中に、またはコンポーネントと同じタイプ(例えば、同じまたは同等の部品番号、メーカー、モデル、カテゴリなど)のコンポーネントの故障および／または異常を過去に経験した別の車両によってキャプチャされたセンサデータに基づいて、決定し得る。追加的または代替的に、第１のセンサは、第１の時点(例えば、車両が最初に作動した（commissioned）とき、またはコンポーネントが整備に入れられたときの車両に関連付けられた「テストモード」の間)で決定され得る。最初に、車両は、コンポーネントに関連付けられたセンサデータをキャプチャし得るように、コンポーネントを１つまたは複数の条件下で起動させることに関連付けられた１つまたは複数の動作を実行し得る。例えば、暖房換気空調（ＨＶＡＣ）システムのファンのケースでは、車両は、その利用可能な設定（例えば、高、中、低など）の全てをファンに実行させ得る。いくつかの例では、車両は、様々な動作コンディション下でコンポーネントに関連付けられたセンサシグネチャを分離するために、複数の異なる条件下で（例えば、ＨＶＡＣシステムの温度設定が複数の異なる温度に設定されている間、車両が異なる速度で移動している間、１つまたは複数のドアまたは窓が開閉されているなど）、利用可能な設定の全てにわたってファンを付加的に運転し得る。次に、センサデータを使用して、コンポーネントの第１のセンサシグネチャを決定し得る。さらに、第２のセンサシグネチャ（例えば、プログレッシブ、リアルタイム、電流などの）を、第１の時間および／またはテストモードに続く第２の時間において、車両のコンポーネントについて、決定し得る。次いで、コンポーネントに関連付けられた動作ステータスを決定するために、第２のセンサシグネチャを第１のセンサシグネチャと比較し得る。車両は、本明細書に記載された技術を実行して、車両の任意のまたは全てのコンポーネントについてセンサシグネチャを決定し得る。このようにして、コンポーネントおよび／または車両の正常性を、リアルタイムで、およびコンポーネントが故障する前に決定し得る。加えて、これらの技術は、人間の干渉なしにコンポーネントの故障および／または異常を決定することを可能にする（例えば、無人および／または自律車両の場合、コンポーネントが摩耗している、故障している、またはそうでなければ、異常を経験しているときを決定するために、車両の乗員が存在しない可能性があるとき）。
【0009】
本明細書で使用されるように、「センサシグネチャ」は、経時的な１つまたは複数のセンサからの一連の測定値を表すデータを含み得る。センサデータのサンプルレートおよび特性は、使用されるセンサデータのタイプに依存して変化し得る。いくつかの例では、センサシグネチャは未処理のセンサデータを含み得、他の例では、センサデータはフィルタリングされ（例えば、ノイズを除去するために）、圧縮され、またはそうでなければ、処理されてセンサシグネチャを取得し得る。いくつかの例では、センサシグネチャを、センサデータの１つまたは複数の特徴を表すベクトルまたは行列として表し得る。いくつかの例では、オーディオデータのコンテキストなどにおいて、センサシグネチャは、ＭＰ３、アドバンストオーディオコーディング（ＡＡＣ）、Ｏｐｕｓ、Ｖｏｒｂｉｓなどのような既知のオーディオ符号化フォーマットで記憶されたデジタルオーディオデータを含み得る。少なくともいくつかの例では、センサシグネチャは、フーリエ変換、ラプラス変換、主成分分析、高調波分解、および／またはそれに関連付けられた特徴を決定する任意の他の方法などの未処理のセンサデータから得られた情報を含み得るが、これらに限定されない。
【0010】
複数のセンサシグネチャ（例えば、第１のセンサシグネチャおよび第２のセンサシグネチャ）は、使用されるセンサデータのタイプ、センサシグネチャのフォーマット、および／またはセンサシグネチャが比較される基準に依存する様々な異なる比較技術を使用して比較され得る。例えば、オーディオデータのコンテキストにおいて、比較される基準は、周波数（周波数のセットを含む）、大きさ、調性、波形の視覚的外観などを含み得る。限定ではなく例として、センサシグネチャは、時間領域における類似性（シフトありおよび／またはシフトなし）、周波数領域における類似性（シフトありおよび／またはシフトなし）、および／またはエネルギーまたはパワーにおける類似性に基づいて比較され得る。いくつかの例では、これらのまたは他の基準のいずれかまたはすべての加重表現に基づいて比較を実行できる。全体の一般的な相関を測定するために、および／または閾値を超える相関ベクトル内の値のみにわたって（例えば、ノイズ、エコーなどをフィルタリングするために）、相関ベクトル全体にわたって比較を行うことができる。
【0011】
いくつかの例では、機械学習モデルをトレーニングして、センサデータおよび／またはセンサシグネチャに関連付けられた車両の１つまたは複数のコンポーネントを決定し得る。例えば、特定タイプのセンサデータ（例えば、オーディオデータ、ＩＭＵデータ、画像データなど）および／またはセンサシグネチャに基づいて、機械学習モデルは、特定のセンサデータおよび／またはセンサシグネチャを生成／生成した車両のコンポーネントを決定し得る。追加的または代替的に、機械学習モデルは、個々のコンポーネントに対するセンサシグネチャの変化を検出するように、および／または車両のコンポーネントに関連付けられた動作ステータスを決定するようにトレーニングされ得る。例えば、センサデータおよび／またはセンサシグネチャを機械学習モデルに入力し得、これに応答して、機械学習モデルは、センサデータおよび／またはセンサシグネチャを生成したコンポーネントに関連付けられた対応する動作ステータスを決定および／または出力し得る。いくつかの例では、機械学習モデルをトレーニングして、車両のコンポーネントが、故障を経験する、またはそうでなければ、整備を必要としていると予測されるまでの推定された時間の量を決定し得る。このようにして、車両および／またはコンポーネントの整備を故障前の都合の良い時間に行い、それによって、コストのかかるダウンタイムを回避し、他のコンポーネントへの損傷を回避し得る。さらに、いくつかの例では、定期的な予防用の整備を回避し得、整備は必要な場合にのみ実施され得る。これは、不必要なダウンタイムを回避し、予防上の理由で車両コンポーネントを時期尚早に交換および／または修理する代わりに、車両コンポーネントがその最大寿命に到達することを可能にできる。本明細書に記載される技術は、実センサデータ（例えば、オーディオデータ、加速度計データ、電圧測定値、電流測定値、画像データ、圧電センサデータ、圧力データ、温度データなど）を使用して、コンポーネントに関連付けられたセンサシグネチャを決定し、次いで、それらのセンサシグネチャを経時的に評価して車両の正常性を正確に監視することによって、車両の実質的に任意のコンポーネントを監視するように構成可能である。
【0012】
限定ではなく一例として、本出願による車両の正常性を監視する方法は、車両のコンポーネントを第１の時点で起動し、車両のセンサから、車両のコンポーネントに関連付けられた第１のデータを第１の時点で受信することを含み得る。このようにして、第１の時点で車両のコンポーネントに関連付けられた第１のセンサシグネチャを、第１のデータに少なくとも部分的に基づいて決定し、記憶し得る。第１のデータは、オーディオデータ、慣性測定値、画像データなどの第１のセンサデータを含み得る。第１のセンサシグネチャは、いくつかの例では、ベースラインセンサシグネチャを含み得る。追加または代替の例では、車両のコンポーネントに関連付けられた動作ステータスを示す第１のセンサシグネチャを記憶し得る。このようにして、第１のセンサシグネチャは、当該コンポーネントと同様のコンポーネントに関連付けられたベンチテストセンサデータに基づき、または同様のコンポーネントの故障および／または他の異常を経験した別の車両の１つまたは複数のセンサによってキャプチャされた記憶ログデータに基づき得る。例えば、車両のブレーキシステムのケースでは、ブレーキパッドは、一般に、ブレーキパッドが摩耗の閾値量（例えば、８０％、８５％、９０％など）を経験した後に、ブレーキパッドにきしみ音を生じさせる摩耗インジケータを含む。ベンチテスト中に、磨耗の閾値量を経験したブレーキパッドを使用して（例えば、別の車両で使用されていること、人工的に機械加工されていることなどによって）、システムが使用する第１のセンサシグネチャ（例えば、ベースライン音響シグネチャ）を確立し得る。少なくともいくつかの例では、そのような第１のセンサシグネチャを、テスト中の車両（および／またはコンポーネント、サブコンポーネントなど）の動作コンディション（またはパラメータ）に関連付け得る。非限定的な例として、第１のセンサシグネチャは、エンジン速度、他のコンポーネントの動作ステータス（例えば、ＨＶＡＣ温度および／またはファン速度）、ブレーキ圧力などに関連付けられ得る。
【0013】
本明細書で使用されるように、「第１の時間」、「第２の時間」、「第３の時間」などは、特定の時点を含み得る、および／またはある期間を含み得る。いくつかの例では、第１の時間は、車両が最初に作動したときに実行されるテスト状態に対応し得る。追加的または代替的に、車両のコンポーネントが整備に入れられた（例えば、交換、修理など）ときにテスト状態を実施し得る。いくつかの例では、第２の時間、第３の時間などは、車両の正常性を監視するために第１の時間の後に実行される診断状態に対応し得る。第２のおよび後続の時間は、周期的（例えば、毎日、毎週、毎月など）であり得る、および／または１つまたは複数のイベント（例えば、車両が整備外であるとき、車両が充電しているとき、車両が駐車しているとき、車両が輸送中であるときなど）によってトリガされ得る。
【0014】
いくつかの例では、本方法は、第２の時間に、車両コンポーネントに関連付けられた第２のセンサシグネチャを決定および／または記憶することを含み得る。第２のセンサシグネチャは、いくつかの例では、漸進的なセンサシグネチャを含み得、第２の時間は、上述した第１の時間の後であり得る。さらに、第２のセンサシグネチャを決定することは、第２のデータに少なくとも部分的に基づき得る。少なくとも１つの例において、第２のセンサシグネチャを決定するために、方法は、車両に第２の時間にコンポーネントを起動させることを含み得る。このようにして、車両コンポーネントに関連付けられた第２のデータを、第２の時間にセンサから受信し得る。第２のデータは、オーディオデータ、慣性測定値、画像データなどの第２のセンサデータを含み得る。
【0015】
いくつかの例では、本方法は、第１のセンサシグネチャと第２のセンサシグネチャとの間に変動および／または関連付けが存在するか否かを決定することを含み得る。変動および／または関連付けが存在する場合、本方法は、第１のセンサシグネチャと第２のセンサシグネチャとの間の変動に少なくとも部分的に基づいて、コンポーネントに関連付けられた動作ステータスを決定および／または出力することを含み得る。追加的または代替的に、本方法は、変動が閾値変動より大きいか否かを決定することを含み得、変動が閾値変動より大きいことに少なくとも部分的に基づいて、コンポーネントに関連付けられた動作ステータスを決定および／または出力し得る。いくつかの例では、本方法は、第１のセンサシグネチャ、第２のセンサシグネチャ、および／または第１のセンサシグネチャと第２のセンサシグネチャとの間の変動および／または関連付けに少なくとも部分的に基づいて、車両のコンポーネントに関連付けられた推定される故障時間（例えば、コンポーネントが故障し得るまでの推定マイル数、整備の時間など）を決定することを含み得る。この推定される故障時間は、さらに出力され、記録され、および／または車両に関連付けられたリモート監視システムに送信され得る。いくつかの例では、第１のセンサシグネチャと第２のセンサシグネチャとの間の変動および／または関連を決定することは、とりわけ、各センサシグネチャの周波数および／または大きさの比較に少なくとも部分的に基づき得る。追加的または代替的に、第１のセンサシグネチャと第２のセンサシグネチャとの間の変動および／または関連付けを決定することは、それぞれのセンサシグネチャ（例えば、どの周波数がバックグラウンドノイズに対して際立っているか）および／または車両および／またはコンポーネントに関連付けられた動作コンディション（例えば、毎分回転数（ＲＰＭ）、速度、ステアリング角、温度など）の調性分析を実行することに少なくとも部分的に基づき得る。少なくともいくつかの例では、そのような比較は、例えば、車両および／または他のコンポーネントの動作パラメータに基づき得る。現在の動作パラメータが現在のパラメータと異なるような例では、補間または外挿を使用して、第１の特徴を変更し、および／または比較のための閾値差を調整し得る。
【0016】
いくつかの例では、センサシグネチャ（例えば、第１のセンサシグネチャおよび／または第２のセンサシグネチャ）の決定は、センサデータ（例えば、第１のデータおよび／または第２のデータ）の処理に少なくとも部分的に基づき得る。例えば、センサデータがオーディオデータを含む場合、オーディオデータは、車両のコンポーネントに関連付けられた音響シグネチャ、ならびにバックグラウンドノイズを含み得る。したがって、オーディオデータを処理（例えば、フィルタリング）して、オーディオデータからバックグラウンドノイズの少なくとも一部を除去し得る。このようにして、コンポーネントに起因するオーディオシグネチャの部分を分離し得、および／またはオーディオデータの音響シグネチャの品質を改善して車両の正常性をより良く監視し得る。さらに、センサデータを処理することは、センサデータの信号対雑音比に対する制限を設定すること、センサデータの目標周波数を設定すること、センサデータに高速フーリエ変換（ＦＦＴ）処理を実行してセンサデータを時間領域から周波数領域に変換することなどを含むことを含み得る。
【0017】
いくつかの例では、上記のように第１のデータおよび第２のデータを受信するために第１の時間および第２の時間に車両のコンポーネントを起動する一方で、本方法は、動作パラメータに従って第１の時間および第２の時間に車両の１つまたは複数の他のコンポーネントの動作を制御することをさらに含み得る。例えば、起動しているコンポーネントがＨＶＡＣシステムのファンである場合、次いで、車両は動作パラメータに従って他のコンポーネントの動作を制御しながら（例えば、車両が異なる速度で移動している間、車両が停止している間、１つまたは複数のドアまたは窓を開閉している間など）、様々な設定を通じてファンを動かし得る。このようにして、起動しているコンポーネントを様々な動作コンディション下で分離して、センサシグネチャを記録し得る。さらに、動作パラメータに従って他のコンポーネントの動作を制御することは、センサシグネチャに関連付けられたより一貫性のある測定を可能にし得る。追加の例では、動作パラメータは、車両の速度、コンポーネントの速度（例えば、並進または回転）、ステアリング角、環境空気温度、環境湿度、環境天候（例えば雨、雪、晴れなど）、コンポーネント温度、時刻、気圧（例えば、高度）などを含み得る。
【0018】
いくつかの例では、方法はさらに、車両および／またはコンポーネントを整備させることを含み得る。車両および／またはコンポーネントを整備させることは、コンポーネントの動作ステータス、コンポーネントの推定される故障時間、コンポーネントのセンサシグネチャなどに、少なくとも部分的に基づき得る。さらに、車両および／またはコンポーネントを整備させることは、車両が整備される必要があるという表示を出力すること、車両が整備される時間をスケジューリングすること、車両を整備場所まで自律的にナビゲートさせること、および／またはこれらの組み合わせを含み得る。
【0019】
いくつかの例では、第１のセンサシグネチャと第２のセンサシグネチャとの間の変動が閾値変動より大きいかどうかを決定することは、第３のセンサシグネチャに少なくとも部分的に基づき得る。第３のセンサシグネチャは、車両のコンポーネント、または別の車両の同一または類似のコンポーネントの故障した動作ステータスに関連付けられ得る。
【0020】
様々な例では、車両コンポーネントに関連付けられた実際の状態を経時的に測定して、車両コンポーネントに関連付けられた損傷モデルを生成し得る。例えば、車両コンポーネントによって経験される実際の状態（例えば、力、圧力、電流、温度など）に関連付けられた測定を経時的に行い得る。これらの測定は、コンポーネントに関連付けられた摩耗および／または損傷モデルを作成するために経時的に記録および評価され得、このモデルを、既知の動作限界（例えば、金属の疲労および／またはストレス状態、サイクル数、回転数、動作時間など）と比較して、いつコンポーネントを修理および／または交換すべきか、いつコンポーネントが故障および／または異常を経験し得るかなど、を決定し得る。少なくとも１つの例では、圧力センサを力の代用として使用して、車両の本体上の荷重入力を決定し得る。さらに、ストレス－ひずみ関係を車両のコンポーネントについて評価し得る（例えば、マイナーのルールおよび／または累積損傷モデルを使用して）。
【0021】
本明細書に記載されるように、機械学習モデルは、車両のコンポーネントに関連付けられた動作ステータスを予測するようにトレーニングされ得る。限定ではなく例として、本出願に従って機械学習モデルをトレーニングする方法は、車両の１つまたは複数のセンサによって以前にキャプチャされた記憶されたセンサデータを受信することを含み得る。センサデータは、オーディオデータ、慣性測定ユニット（ＩＭＵ）データ、温度データ、画像データ、電圧測定、電流測定などを含み得る。いくつかの例では、センサデータを生成した車両のコンポーネントについて、動作ステータスを決定または知り得る。追加的または代替的に、センサデータを生成した車両のコンポーネントの識別を決定または知り得る。少なくとも１つの例では、センサデータはトレーニングデータを含み得る。トレーニングデータは、トレーニングデータがキャプチャされた時点でのコンポーネントのグランドトゥルース動作ステータスの指定（例えば、車両のコンポーネントに関連付けられた摩耗の表示、コンポーネントに関連付けられた故障時間、コンポーネントに関連付けられた異常の表示など）を含むようにラベル付けされ得る。追加的または代替的に、トレーニングデータは、トレーニングデータが表すコンポーネントの識別の指定を含むようにラベル付けされ得る。様々な例において、トレーニングデータは、別の車両の１つまたは複数の他のセンサによってキャプチャされた第２のセンサデータを含み得る。第２のセンサデータは、さらに、第２車両のコンポーネントに関連付けられ得る。グランドトゥルースの指定は、手動で生成され得る、またはコンポーネントに関連付けられた過去の整備ログデータに基づいて自動的に生成され得る。
【0022】
いくつかの例では、本方法は、センサデータを機械学習モデルに入力することと、機械学習モデルから、車両のコンポーネントに関連付けられた予測される動作ステータスを受信することとを含み得る。限定ではなく例として、機械学習モデルは、ペナルティ付き線形回帰モデル、線形回帰モデル、決定木、ロジスティック回帰モデル、サポートベクトルマシン（ＳＶＭ）、ナイーブ・ベイズ・モデル、ｋ－最近傍モデル、ｋ－平均モデル、ニューラルネットワーク、または他の論理、モデル、またはアルゴリズムを単独でまたは組み合わせて含むおよび／または利用し得る。
【0023】
いくつかの例では、グラウンドトゥルース動作ステータス（例えば、測定されたまたは実際の動作ステータス）と、機械学習モデルによる予測される動作ステータスの出力との間の差を決定し得る。そのケースでは、整備中の車両コンポーネントの動作ステータスを正確に予測することが可能であるトレーニングされた機械学習モデルを取得するために、差に少なくとも部分的に基づいて、機械学習モデルの１つまたは複数のパラメータを変更および／または調整し得る。
【0024】
様々な例において、センサデータは、機械学習モデルに入力される前に処理および／またはフィルタリングされ得る。例えば、オーディオデータを含むセンサデータのケースでは、オーディオデータは、車両のコンポーネントに関連付けられた音響シグネチャおよびバックグラウンドノイズを、少なくとも含み得る。従って、本方法は、オーディオデータのバックグラウンドノイズを識別し、バックグラウンドノイズを含むオーディオデータの少なくとも一部を処理して、バックグラウンドノイズがより少ない処理済みのオーディオデータを生成することを含むことなど、を含み得る。さらに、センサデータを処理することは、センサデータの信号対雑音比に対する制限を設定すること、センサデータの目標周波数を設定すること、センサデータに高速フーリエ変換（ＦＦＴ）処理を実行してセンサデータを時間領域から周波数領域に変換することなどを含み得る。したがって、少なくともいくつかの例では、処理済みのオーディオデータを機械学習モデルに入力し得る。
【0025】
いくつかの例では、機械学習モデルは、センサデータを生成したコンポーネントの位置を予測し得る。例えば、車両の１つまたは複数のセンサがマイクロフォンのアレイを含む例では、機械学習モデルは、オーディオセンサデータを生成したコンポーネントの位置を予測し得る。例として、コンポーネントがオーディオデータを生成する場合、アレイの第１のマイクロフォンの第１のオーディオ信号の強度は、第１のマイクロフォンが第２のマイクロフォンよりもコンポーネントに近い位置にあることに部分的に基づいて、アレイの第２のマイクロフォンの第２のオーディオ信号の強度よりも大きい場合がある（以下同様）。このようにして、それぞれの信号の強度に基づいて、オーディオデータの生成に関連付けられた車両のコンポーネントの予測された位置を予測し得る。さらに、機械学習モデルは、コンポーネントの予測された位置に少なくとも部分的に基づいて、オーディオデータの生成に関連付けられたコンポーネントのアイデンティティを予測し得る。
【0026】
様々な例では、トレーニングされた機械学習モデルを推論モードで（例えば、車両の動作中に）使用して、車両コンポーネントの動作ステータスを予測し得る。例えば、第２のセンサデータは、車両の１つまたは複数のセンサによってキャプチャされ、トレーニングされた機械学習モデルに連続的に、周期的に、および／または１つまたは複数の条件に応答して入力し得る。このようにして、トレーニングされた機械学習モデルは、車両のコンポーネントに関連付けられた動作ステータス（例えば、コンポーネントの実際および／または測定された動作ステータスと同じ予測される動作ステータス）を出力し得る。
【0027】
上述の例示的方法を含む本出願に記載される例示的な技術は、車両、車両コンピューティングデバイス、ロボット、車両に関連付けられたリモートコンピューティングシステム、機械学習モデルなどによって実行される方法として実施され得る。追加的または代替的に、本明細書に記載される例示的な技術は、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行されたときに、例示的な技術の様々な動作の１つまたは複数をシステムに実行させる命令を記憶する１つまたは複数のコンピュータ可読媒体とを含むシステムとして実装され得る。追加的または代替的に、本明細書に記載される例示的な技術は、コンピューティングデバイス（例えば、プロセッサ、車両コンピューティングデバイス、リモートコンピューティングシステムなど）によって実行されたときに、例示的な技術の様々な動作の１つまたは複数をコンピューティングデバイスに実行させる命令を格納する非一時的なコンピュータ可読記憶媒体として実装され得る。
【0028】
本明細書に記載される例のいくつかは、車両コンポーネントの動作状態を検出するためにオーディオデータを使用することに言及しているが、いくつかの例では、車両および／または車両のコンポーネントの動作状態を監視するために、オーディオデータに加えてまたは代わりに他のタイプのセンサデータを使用し得る。例えば、本明細書に記載された他のタイプのセンサのいずれかの出力は、機械学習モデルの入力として、センサシグネチャを生成するために、オーディオデータに加えてまたはその代わりに使用され得る。
【0029】
これらおよび他の態様は、添付の図面を参照して以下にさらに説明される。図面は単なる例示的な実施形態であり、特許請求の範囲を限定するものと解釈されるべきではない。例えば、例示的な車両は、人間の制御または介入なしに位置間をナビゲートすることが可能である自律車両として示され、説明されているが、本明細書に記載された技術は、非自律および／または半自律車両にも適用可能である。また、例示的な車両はコーチ式座席を有するものとして図示されているが、他の座席構成が企図される。本出願による車両は、任意の数の乗客（例えば、０、１、２、３、４、５、６、７、８など）を収容するように構成され得る。さらに、図示の例は客室を含むが、他の例では、車両は客室を有さない場合がある（例えば、貨物車両、配送車両、建設車両などのケースにおいて）。さらに、本明細書に記載される技術は、陸上車両、空中車両、水上車両、ロボットなどに適用可能である。
【0030】
［例示的な車両アーキテクチャ］
図１は、複数のセンサ１０２Ａ乃至１０２Ｎ（以下、まとめて「センサ１０２」という）（Ｎは１以上の任意の数を表す）を含む例示的な車両１００の概略図である。この例では、車両１００は、人間の制御または介入なしに位置間をナビゲートすることが可能である双方向自律車両である。本明細書で使用されるように、双方向車両は、車両の第１の方向への走行と、車両の反対の第２の方向への走行との間を切り替えるように構成された車両である。換言すれば、車両１００の固定された「前方」または「後方」は存在しない。むしろ、その時点で先頭である車両１００の長手方向端部が「前方」となり、後尾の長手方向端部が「後方」となる。しかし、上述したように、本明細書に記載した技術を、自律、半自律、または手動駆動の車両、およびロボットなどを含む双方向車両以外の車両に適用してもよい。
図１は、複数のセンサ１０２Ａ乃至１０２Ｎ（以下、まとめて「センサ１０２」という）（Ｎは１以上の任意の数を表す）を含む例示的な車両１００の概略図である。この例では、車両１００は、人間の制御または介入なしに位置間をナビゲートすることが可能である双方向自律車両である。本明細書で使用されるように、双方向車両は、車両の第１の方向への走行と、車両の反対の第２の方向への走行との間を切り替えるように構成された車両である。換言すれば、車両１００の固定された「前方」または「後方」は存在しない。むしろ、その時点で先頭である車両１００の長手方向端部が「前方」となり、後尾の長手方向端部が「後方」となる。しかし、上述したように、本明細書に記載した技術を、自律、半自律、または手動駆動の車両、およびロボットなどを含む双方向車両以外の車両に適用してもよい。
【0031】
図１に示すように、センサ１０２は、車両１００の外部の様々な場所に配置され得る。図示の例では、センサ１０２は、ドア開口部上方の車両１００の第１の側面（図１に示す側）にアレイ状に配置された第１のセンサ１０２Ａ、第２のセンサ１０２Ｂ、および第３のセンサ１０２Ｃを含む。第４のセンサ１０２Ｄおよび第５のセンサ１０２Ｅは、それぞれ、車両の先頭および後尾の端部の車両の頂部付近の第１の側面に配置されている。第６のセンサ１０２Ｆ、第７のセンサ１０２Ｇ、第８のセンサ１０２Ｈ、および第９のセンサ１０２Ｎは、第４のセンサ１０２Ｄおよび第５のセンサ１０２Ｅの下方の第１の側面に沿って配置されている。この例では、第４のセンサ１０２Ｄおよび第６のセンサ１０２Ｆは一般的に車両の第１の角部に配置されており、一方で、第５のセンサ１０２Ｅおよび第９のセンサ１０２Ｎは車両１００の第２の角部に配置されている。この例では、第７のセンサ１０２Ｇは第１のドアパネル１０４Ａの外側に配置され、第８のセンサ１０２Ｈは第２のドアパネル１０４Ｂの外側に配置されている。図１には示されていないが、追加のセンサを車両１００の反対側の側面の同様の位置に配置し得る。限定ではなく例として、センサ１０２は、１つまたは複数のマイクロフォン、弾性表面波（ＳＡＷ）センサ、慣性測定ユニット（ＩＭＵｓ）、温度センサ、画像センサ（例えば、カメラ）、ｌｉｄａｒセンサ、ｒａｄａｒセンサ、飛行時間（ＴＯＦ）センサ、ｓｏｎａｒセンサ、圧力センサ、ひずみゲージ、湿度センサ、地理位置センサ（例えば、ＧＰＳセンサ）、環境センサ、圧電センサ、加速度計、大気質センサ、電圧センサ、電流センサなどを含み得る。さらに、第１のセンサは第１のセンサタイプ（例えば、マイクロフォン）を含み得、第２のセンサは第２のセンサタイプ（例えば、ＩＭＵ）を含み得るなどのように、センサ１０２は複数の異なるタイプのセンサを含み得る。いくつかの例では、センサは、１つまたは複数のセンサタイプ（例えば、マイクロフォンと画像センサの両方であるセンサ）を含み得る。車両１００は、図１に示すセンサよりも多くのまたは少ないセンサを含み得る。例えば、図１には複数のセンサ１０２を含むように示されているが、車両１００は、いくつかの例において、単一のセンサのみを含み得る。さらに、車両１００上のセンサ１０２の位置は例示の目的のためであり、センサ１０２は、車両１００の内部および／または外部を含む、図１に示された位置とは異なる車両１００の位置に配置され得ることが企図される。
【0032】
車両のセンサ１０２は、様々な目的のために使用され得る。例えば、センサ１０２（例えば、画像センサ、ｌｉｄａｒセンサ、ｒａｄａｒセンサなど）の少なくとも一部は、センサデータを車両の知覚システムに提供して、車両が車両の環境内のオブジェクトを検出および分類すること、および／または環境内の車両の位置を特定することを可能にし得る。別の例として、センサ１０２（例えば、ＧＰＳセンサ、ＩＭＵｓなど）の少なくとも一部は、車両の位置および／または運動データを、知覚システム、ナビゲーションシステム、または車両の他のシステムに提供し得る。追加的または代替的に、センサ１０２の少なくともいくつかは、車両を制御または相互作用するために、車両のユーザからの入力（例えば、車両の乗客によって提供される口述の、タッチ、および／またはジェスチャーコマンド）をキャプチャするために使用され得る。いくつかの例では、また、これらのセンサのいずれかまたは全てを使用して、車両のコンポーネントの動作に関連付けられたデータをキャプチャし得る。このようにして、いくつかの例では、車両の既存のセンサを活用して、車両または車両のコンポーネントの動作ステータスを監視し得る。いくつかの例では、センサ１０２はまた、車両のコンポーネントの動作に関連付けられたデータをキャプチャするように特別に設計され配置された追加のセンサを含み得る。
【0033】
いくつかの例では、センサ１０２Ａ、１０２Ｂ、および１０２Ｃのようなセンサのアレイを使用し得る。そのような例では、アレイ内のセンサ１０２を使用して、センサデータに関連付けられた方向性を決定し得る。一例として、センサのアレイが、車両コンポーネントによって生成されたオーディオデータをキャプチャするためのマイクロフォンのアレイを含む場合、次いで、マイクロフォンのアレイによってキャプチャされたオーディオデータは、オーディオデータを生成したコンポーネントの位置を決定するため、および／またはオーディオデータが寄与できる異なるコンポーネント間を識別するために使用され得る。例えば、アレイの第１のマイクロフォンがアレイの第２のマイクロフォンよりもコンポーネントに近い場合、次いで、第１のマイクロフォンによってキャプチャされた第１のオーディオデータは、第２のマイクロフォンによってキャプチャされた第２のオーディオデータよりも強いオーディオ信号を含み得、以下同様である。したがって、第１のオーディオデータ、第２のオーディオデータ、第３のオーディオデータなどにおける異なる信号の強度に基づいて、オーディオデータを生成したコンポーネントの方向および／または位置を決定し得る。追加または代替の例では、センサを車両１００の４つの象限（quadrant）のそれぞれに配置して、コンポーネントの位置を特定し得る。例えば、第１のマイクロフォンは、車両１００の第１の象限（例えば、前および左象限）に配置され得、第２のマイクロフォンは、車両１００の第２の象限（例えば、前および右象限）に配置され得、第３のマイクロフォンは、車両１００の第３の象限（例えば、後および左象限）に配置され得、第４のマイクロフォンは、車両１００の第４の象限（例えば、後および右象限）に配置され得る。この「象限」用語のコンテキストにおいて、用語「前方」は、車両の第１の端部（双方向車両の場合には、車両の先頭の端部または後尾の端部のいずれかであり得る）を指し、「後方」は、前方／第１の端部に対向する車両の第２の端部を指す。
【0034】
いくつかの例では、センサ１０２Ｇおよび１０２Ｈなどの１つまたは複数のセンサは、車両１００上に、１つまたは複数のコンポーネントに近接して、配置され得る。図１の例では、センサ１０２Ｇおよび１０２Ｈは、ドアパネル１０４Ａおよび１０４Ｂにそれぞれ配置されている。このようにして、センサ１０２Ｇおよび／またはセンサ１０２Ｈは、少なくとも１つの例において、ドアパネル１０４Ａおよび１０４Ｂが正しく動作しているか否かを示すデータをキャプチャし得る。例えば、センサ１０２Ｇおよび／または１０２Ｈは、ドアパネル１０４Ａおよび／または１０４Ｂの１つまたは複数が振動を経験していることを示すセンサデータをキャプチャし得る。したがって、振動を示すこのセンサデータを使用して、ドアパネル１０４Ａおよび／または１０４Ｂの１つまたは複数が適切に閉じていない（例えば、ドアパネルの一方または両方が半開きである、軌道から外れている、オブジェクトによって妨げられているなど）ことを決定し得る。追加的または代替的に、センサデータは、ドアおよび／または窓シール１０６Ａ、１０６Ｂ、および１０６Ｃの１つまたは複数が適切にシールされていない（例えば、シールの１つが磨耗または故障している）ことを示し得る。追加的または代替的に、センサデータは、車両のホイールのような他の近くのコンポーネントからのオーディオを含み得、これは近くのコンポーネントの状態（例えば、タイヤの摩耗状態、ブレーキの状態など）を示し得る。
【0035】
図２は、複数の内部センサ２０２Ａ乃至２０２Ｍ（集合的に「内部センサ２０２」、ここでＭは１以上の任意の整数）を含む、車両１００などの車両の例示的な内部の概略図である。図示の例では、内部センサ２０２は、車両１００のルーフ、ヘッドライナー、またはトリム部品に配置された第１のセンサ２０２Ａ、第２のセンサ２０２Ｂ、および第３のセンサ２０２Ｃを含む。いくつかの例では、第１のセンサ２０２Ａ、第２のセンサ２０２Ｂ、および第３のセンサ２０２Ｃは、車両１００の中心線に沿って長手方向にアレイ状に配置され得る。第４のセンサ２０２Ｄおよび第５のセンサ２０２Ｅは、それぞれ、車両の先頭のおよび後尾の端部の車両の客室の上部付近の第１の側面に配置されている。図示していないが、同様のセンサを車両の反対側の第２の側面に配置できる。第６のセンサ２０２Ｆおよび第７のセンサ２０２Ｇは、それぞれ、客室の先頭のおよび後尾の端部内に、乗員のほぼ頭部または肩の高さに配置される。この例では、第１のドアパネル１０４Ａの内側に第８のセンサ２０２Ｈが配置され、第２のドアパネル１０４Ｂの外側に第９のセンサ１０２Ｊが配置されている。第１０のセンサ２０２Ｋおよび第１１のセンサ２０２Ｍは、車両の１つまたは複数の機械システムまたはコンポーネントに近接して配置される。図２には示されていないが、追加のセンサを車両１００の反対の側面の同様の位置に配置し得る。いくつかの例では、車両１００の内部は、図２に示すセンサよりも多くのまたは少ないセンサを含み得る。例えば、図２には複数のセンサ２０２を含むように示されているが、車両１００は、いくつかの例において、単一のセンサのみを含み得る。さらに、車両１００の内部におけるセンサ２０２の位置は、例示の目的であり、センサ２０２は、車両１００の図２に示された位置とは異なる位置に配置され得ることを理解されたい。
【0036】
この例では、車両１００は取り外し可能なドライブアセンブリ２０４Ａおよび２０４Ｂ（集合的に「ドライブアセンブリ２０４」）を含む。いくつかの例において、車両１００は、車両の実質的に全ての主要なシステムおよび／またはコンポーネントがドライブアセンブリ２０４上に配置されるように構成され得る。例えば、各ドライブアセンブリ２０４は、推進システム、電力供給システム（バッテリ、燃料電池、燃焼エンジンなどを含む）および関連する電子機器、ステアリングシステム、ブレーキシステム、サスペンションシステム、ＨＶＡＣシステム、ホイールおよびタイヤアセンブリ、ならびに前述のシステムのための関連する制御およびアクチュエータの一部または全部を含み得る。いくつかの例では、ドライブアセンブリ２０４はまた、外部照明、本体パネル、フェイシャ、および／またはセンサ２０２Ｋおよび２０２Ｍなどのセンサを含み得る。取り外し可能なドライブアセンブリを含まない他の例では、センサ２０２およびこれらのシステムまたはコンポーネントのいずれかまたはすべてが、車両のフレームまたは本体に結合され得る。
【0037】
いくつかの例では、センサ２０２は、それぞれのドライブアセンブリ２０４の１つまたは複数のコンポーネントに関連付けられたセンサデータをキャプチャし得る。センサデータは、オーディオデータ、ビデオデータ、ＩＭＵデータ、温度データ、または本明細書に記載される他のタイプのセンサのいずれかに関連付けられたデータなどの１つまたは複数のタイプのセンサデータを含み得る。センサデータは、車両の１つまたは複数の異なるコンポーネントを表す、またはそれに関連付けられ得る。例えば、センサデータは、ブレーキシステムがきしみ音を発生させていることを示すオーディオデータ、車両の等速（ＣＶ）ジョイントが振動またはノッキングしていることを示すＩＭＵデータ、ＨＶＡＣシステムのコンプレッサベアリングが故障していることを示すオーディオデータなどを含み得る。いくつかの例では、センサ２０２は、センサ２０２Ａ、２０２Ｂ、および２０２Ｃなどのセンサのアレイを含み得る。このようにして、センサデータを使用して、ドライブアセンブリ２０４、ドライブアセンブリ２０４Ａまたはドライブアセンブリ２０４Ｂのいずれがセンサデータの生成に関連付けられているかを決定し得る。
【0038】
この例におけるドライブアセンブリ２０４は取り外し可能であり、コンポーネントの摩耗または故障の場合には、容易に取り外して別のドライブアセンブリと交換できる。次に、ドライブモジュールのコンポーネントは、ドライブアセンブリのコンポーネントに関連付けられたセンサデータから決定されたセンサシグネチャに基づいて整備を受けることができる。いくつかの例では、本明細書に記載されるように、車両１００のコンポーネントに関連付けられた動作ステータスを決定することに基づいて、ドライブアセンブリを、新しいブレーキシステム、新しいパワーユニット、新しいＨＶＡＣシステム、新しいセンサシステムなどを含むドライブアセンブリにスワップアウトし得る。一例では、ドライブアセンブリのブレーキシステムが劣化した動作ステータスを有すると決定することに少なくとも部分的に基づいて（例えば、ブレーキのきしみ音に対応するオーディオセンサシグネチャに基づいて）、新しいブレーキシステムをドライブアセンブリに設置し得、または既存のブレーキシステムを整備し得る。別の例では、センサシグネチャ（例えば、電圧センサ、電流センサ、温度センサ、および／または他のセンサに基づく）は、バッテリが不調であり（例えば、完全に充電されていない、過充電されている、温度が過剰であるなど）、交換する必要があることを示し得る。
【0039】
図１を参照して上述したように、車両１００は、ドアパネル１０４Ａおよび１０４Ｂ（集合的に「ドアパネル１０４」と称する）と、ドアおよび／または窓シール１０６Ａ、１０６Ｂ、および１０６Ｃ（集合的に「ドア／窓シール１０６」と称する）とを含む。ドア／窓シール１０６は、雨、水、雪、泥、ガス、臭気などの外部要素がドアおよび／または窓の継ぎ目を通して車両１００の内部に入らないように、車両１００のドアおよび／または窓の継ぎ目をシールする。さらに、ドア／窓シール１０６は、ノイズ、冷気、暖気などがドアおよび／または窓の継ぎ目を通って車両１００の内部に入らないようにドアおよび／または窓の継ぎ目を遮断し得る。一例として、ドア／窓シール１０６は、ゴム、プラスチック、シリコン、織物、それらの複合物、またはドアパネル１０４と車体との間および／または窓とドアパネル１０４との間の継ぎ目をふさぐ他の材料を含み得る。
【0040】
いくつかの例では、センサ２０２は、ドア／窓シール１０６に関連付けられたセンサデータをキャプチャして、ドアシール１０６に関連付けられた状態および／または動作ステータスを決定し得る。例えば、センサ２０２は、車両１００が車道を移動している間に、車両１００の内部に関連付けられた周囲ノイズを表すオーディオデータをキャプチャし得る。このオーディオデータに基づいて、車両１００の室内の周囲ノイズに対して漸進的な（例えば、第２の）センサシグネチャを決定し得る。この漸進的なセンサシグネチャは、ドア／窓シール１０６に関連付けられた動作コンディション（例えば、ドアシール１０６が適切にシールされているか否か）を決定するために、車両内部の周囲ノイズに関連付けられたベースライン（例えば、第１の）センサシグネチャと比較され得る。漸進的なセンサシグネチャが、閾値量（例えば、振幅、周波数、および／または他の特性の変化）だけベースラインシグネチャと異なる場合、次に、動作ステータスは、ドア／窓シール１０６の１つまたは複数が故障した、損傷した、またはそうでなければ、修理が必要であることを示し得る。さらに、センサ２０２のアレイが使用される例では、センサシグネチャはまた、故障した動作ステータスが関連付けられている特定のドアパネル１０４またはドア／窓シール１０６を示し得る。この例の変動では、この例のセンサ２０２は、車両の内部および／または外部に配置された圧力センサを追加的または代替的に含み得、ベースラインおよび漸進的なセンサシグネチャは、車両の内部および／または外部で行われた圧力測定値に、少なくとも部分的に基づき得る。ここでも、漸進的なセンサシグネチャが閾値量（例えば、絶対内部圧力の変化、車両の内部と外部との間の圧力差の変化など）だけベースラインシグネチャと異なる場合、次いで、動作ステータスは、ドア／窓シール１０６の１つまたは複数が故障した、損傷している、またはそうでなければ、修理が必要であることを示し得る。
【0041】
図３は、車両１００のドライブアセンブリ２０４などの車両の例示的なドライブアセンブリの分解図であり、複数のコンポーネントおよび１つまたは複数のセンサを含む。図示の例では、ドライブアセンブリ２０４は、ドライブアセンブリ２０４の個々のコンポーネントまたはシステムに近接して配置された第１のセンサ３００Ａおよび第２のセンサ３００Ｂ（集合的に「センサ３００」と呼ばれる）を含む。図示の例では、ドライブアセンブリ２０４は、推進システム（駆動モータ３０２、ギアボックス３０４、車軸３０６を含む）、ブレーキシステム（ロータディスク３０８およびキャリパ３１０を含む）、電力システム（インバータ３１２を含む）、ＨＶＡＣシステム（空調コンプレッサ３１４を含む）、冷却システム（冷却ポンプ３２２を含む）、ホイールアセンブリ３１６、およびセンサシステム（センサ３００を含む）を含む。
【0042】
例では、センサ３００（および／またはセンサ１０２および／またはセンサ２０２）は、ドライブアセンブリ２０４の様々なコンポーネントおよび／または車両１００の他のコンポーネントのいずれかに関連付けられたセンサデータをキャプチャし得る。限定ではなく例として、センサ３００（および／またはセンサ１０２および／またはセンサ２０２）の少なくとも１つは、音波３２０を表すオーディオデータをキャプチャするオーディオセンサ（例えば、マイクロフォン）を含み得る。いくつかの例では、音波３２０は、車両１００を減速させるためにブレーキシステムを起動させる際にブレーキシステムによって放出され得る。さらに、いくつかの例では、センサ３００（および／またはセンサ１０２および／またはセンサ２０２）は、推進システムのコンポーネント（例えば、駆動モータ３０２、ギアボックス３０４、および／または車軸３０６）の１つが振動していることを示す慣性センサデータをキャプチャし得、これは、それぞれのコンポーネントの摩耗または故障を示し得る。いくつかの例では、センサ３００（および／またはセンサ１０２および／またはセンサ２０２）は、推進システムの１つまたは複数のコンポーネントの位置が位置合わせされておらず、調整する、交換する、またはそうでなければ整備する必要があることを示す画像データをキャプチャするための画像センサを含み得る。さらに別の例として、センサ３００（および／またはセンサ１０２および／またはセンサ２０２）は、空調コンプレッサ３１４、コンデンサ、熱交換器、および／または換気ファン（不図示）などのＨＶＡＣシステムのコンポーネントに関連付けられたセンサデータ（例えば、オーディオデータ、温度データ、圧力データ、これらの組み合わせ、および／または他のデータ）をキャプチャし得る。上記は、本明細書に記載された技術に従って車両のコンポーネントの動作コンディションを監視するために使用できるセンサおよびセンサデータのほんの数例にすぎない。
【0043】
［例示的なシステムアーキテクチャ］
図４は、本明細書に記載される技術を実施するための例示的なシステム４００のブロック図である。いくつかの例では、システム４００は、図１、２、３などの他の図を参照して本明細書に記載される例の１つまたは複数の特徴、コンポーネント、および／または機能性を含み得る。
図４は、本明細書に記載される技術を実施するための例示的なシステム４００のブロック図である。いくつかの例では、システム４００は、図１、２、３などの他の図を参照して本明細書に記載される例の１つまたは複数の特徴、コンポーネント、および／または機能性を含み得る。
【0044】
システム４００は、車両４０２を含み得る。いくつかの例では、車両４０２は、車両１００に関して上述した特徴、コンポーネント、および／または機能性の一部または全てを含み得る。例えば、車両４０２は双方向車両を含み得る。図４に示すように、車両４０２はまた、車両コンピューティングデバイス４０４、１つまたは複数のセンサシステム４０６、１つまたは複数のエミッタ４０８、１つまたは複数の通信接続部４１０、１つまたは複数の直接接続部４１２、および／または１つまたは複数のドライブアセンブリ４１４を含み得る。
【0045】
車両コンピューティングデバイス４０４は、いくつかの例では、１つまたは複数のプロセッサ４１６と、１つまたは複数のプロセッサ４１６と通信可能に結合されたメモリ４１８とを含むことができる。図示の例では、車両４０２は自律車両であるが、車両４０２は任意の他のタイプの車両（例えば、自動車、トラック、バス、航空機、船舶、列車など）、または図４に示すようなコンポーネントを有する任意の他のシステム（例えば、ロボットシステム、自動組立／製造システムなど）とすることができる。例において、１つまたは複数のプロセッサ４１６は、メモリ４１８に格納された命令を実行して、１つまたは複数の車両コンピューティングデバイス４０４のために１つまたは複数の動作を実行し得る。
【0046】
１つまたは複数の車両コンピューティングデバイス４０４のメモリ４１８は、位置推定コンポーネント４２０、知覚システム４２２、計画コンポーネント４２４、１つまたは複数のシステムコントローラ４２６、マップコンポーネント４２８、監視コンポーネント４３０、フィルタリングコンポーネント４３２、車両４０２の１つまたは複数のコンポーネントに関連付けられた１つまたは複数のセンサシグネチャ４３４、および／またはセンサデータ４３６を記憶する。説明のためにメモリ４１８に存在するものとして図４に示されているが、位置推定コンポーネント４２０、知覚システム４２２、計画コンポーネント４２４、１つまたは複数のシステムコントローラ４２６、マップコンポーネント４２８、監視コンポーネント４３０、フィルタリングコンポーネント４３２、車両４０２の１つまたは複数のコンポーネントに関連付けられた１つまたは複数のセンサシグネチャ４３４、および／またはセンサデータ４３６は、追加的または代替的に、車両４０２にアクセス可能とすることができる（例えば、１つまたは複数のコンピューティングデバイス４４０のメモリ４４４のような、車両４０２から遠隔のメモリに記憶される、またはそうでなければアクセス可能である）ことが企図される。
【0047】
少なくとも１つの例において、位置推定コンポーネント４２０は、センサシステム４０６からデータを受信して、車両４０２の位置および／または方向（例えば、ｘ、ｙ、ｚ位置、ロール、ピッチ、またはヨーの１つまたは複数）を決定する機能を含むことができる。例えば、位置推定コンポーネント４２０は、環境のマップを含む、および／または要求／受信しでき、マップ内の自律車両の位置および／または方向を連続的に決定できる。いくつかの例では、位置推定コンポーネント４２０は、１つまたは複数のセンサシステム４０６によってキャプチャされる、または１つまたは複数の他のデバイス（例えば、コンピューティングデバイス４４０）から受信される画像データ、ｌｉｄａｒデータ、ｒａｄａｒデータ、ＩＭＵデータ、ＧＰＳデータ、ホイールエンコーダデータなどに基づいて、ＳＬＡＭ（simultaneous localization and mapping）、ＣＬＡＭＳ（calibration, localization and mapping, simultaneously）、相対ＳＬＡＭ、バンドル調整、非線形最小二乗最適化などを利用して、自律車両の位置を正確に決定できる。いくつかの例において、位置推定コンポーネント４２０は、軌道を生成するためにおよび／またはマップデータを検索するために、車両４０２の様々なコンポーネントにデータを提供して、自律車両の初期位置を決定できる。
【0048】
いくつかの例において、知覚システム４２２は、オブジェクトトラッキング、検出、セグメンテーション、および／または分類を実行するための機能を含むことができる。いくつかの例では、知覚システム４２２は、車両４０２に近接したエンティティの存在および／またはエンティティタイプとしてのエンティティの分類（例えば、車、歩行者、自転車、動物、建物、樹木、路面、縁石、歩道、未知など）を示す処理済みのセンサデータを提供できる。追加および／または代替の例では、知覚システム４２２は、検出されたエンティティ（例えば、トラッキングされたオブジェクト）および／またはエンティティが位置する環境に関連付けられた１つまたは複数の特徴を示す処理済みのセンサデータを提供できる。いくつかの例では、エンティティに関連付けられた特性は、ｘ位置（グローバル位置および／またはローカル位置）、ｙ位置（グローバル位置および／またはローカル位置）、ｚ位置（グローバル位置および／またはローカル位置）、方向（例えば、ロール、ピッチ、ヨー）、エンティティタイプ（例えば、分類）、エンティティの速度、エンティティの加速度、エンティティの範囲（サイズ）などを含むことができるが、これらに限定されない。環境に関連付けられた特性は、環境内の別のエンティティの存在、環境内の別のエンティティの状態、時刻、曜日、季節、気象条件、暗闇／光の表示などを含むことができるが、これらに限定されない。
【0049】
一般に、計画コンポーネント４２４は、車両４０２が環境内を横断するために辿るべき経路を決定できる。例えば、計画コンポーネント４２４は、様々なルートおよび軌跡、および様々な詳細レベルを決定できる。例えば、計画コンポーネント４２４は、第１の場所（例えば、現在の場所）から第２の場所（例えば、目標場所）まで移動するルートを決定できる。この説明の目的のために、ルートは、２つの場所の間を移動するための一連の経由地点とすることができる。例として、経由地点は、通り、交差点、全地球測位システム（ＧＰＳ）座標などを含み得る。さらに、計画コンポーネント４２４は、第１の場所から第２の場所へのルートの少なくとも一部に沿って自律車両をガイドするための命令を生成できる。少なくとも１つの例では、計画コンポーネント４２４は、一連の経由地点における第１の経由地点から一連の経由地点における第２の経由地点へ自律車両をどのようにガイドするかを決定できる。いくつかの例では、命令は、軌道または軌道の一部とすることができる。いくつかの例では、複数の軌道を、receding horizon技術に従って実質的に同時に生成でき（例えば、技術的許容範囲内で）、複数の軌道の１つが、車両４０２がナビゲートするために選択される。いくつかの例では、計画コンポーネント４２４は、車両の１つまたは複数のコンポーネントについてセンサシグネチャが生成されるテストモード中に１つまたは複数の動作を実行するように車両４０２を制御する命令を生成できる。例えば、計画コンポーネント４２４は、車両が一定速度で移動している間にコンポーネントのオーディオシグネチャをキャプチャできるように、コンポーネントが起動されている間の期間に、一定速度で移動するように車両をガイドし得る。
【0050】
少なくとも１つの例において、車両コンピューティングデバイス４０４は、車両４０２のステアリング、推進、制動、安全、エミッタ、通信、コンポーネント、および他のシステムを制御するように構成できる１つまたは複数のシステムコントローラ４２６を含むことができる。これらのシステムコントローラ４２６は、ドライブアセンブリ４１４の対応するシステムおよび／または車両４０２の他のコンポーネントと通信および／または制御できる。
【0051】
いくつかの例では、車両４０２は、センサシステム４０６の１つまたは複数のセンサ（例えば、車両１００のセンサ１０２、２０２、および／または３００）を使用してそれらの状態を監視し、コンポーネントに関連付けられたセンサシグネチャを生成するために、１つまたは複数のコンポーネントの動作を制御し得る。いくつかの例では、車両コンピューティングデバイス４０４は、最初の時点（例えば、車両が最初に作動したとき、または新しいコンポーネントが整備に入れられたとき）に「テストモード」を実施し得る。最初に、車両４０２は、コンポーネントに関連付けられたセンサデータが１つまたは複数のセンサシステム４０６によってキャプチャされ得るように、１つまたは複数の条件下でコンポーネントを起動させることに関連付けられた１つまたは複数の動作を実行し得る。例えば、暖房換気空調（ＨＶＡＣ）システムのファンのケースでは、システムコントローラ４２６は、ファンを制御して、その利用可能な設定（例えば、高、中、低など）の全てを実行し得、一方、計画コンポーネント４２４は、様々な動作コンディション下で当該コンポーネントに関連付けられたセンサシグネチャを分離するために、１つまたは複数の他のシステムコントローラ４２６に対して、１つまたは複数のドアまたは窓を開閉するなどした状態で車両を制御して環境を異なる速度で横断するように指示する。計画コンポーネント４２４は、再び、１つまたは複数のシステムコントローラ４２６に、テストモードを実施するように車両を制御させ得、一方、センサシステム４０６は、センサデータをキャプチャして、第１の時間に続く第２の時間において、車両のコンポーネントについての第２の（例えば、漸進的、リアルタイム、現在などの）センサシグネチャを生成する。次いで、コンポーネントに関連付けられた動作ステータスを決定するために、第２のセンサシグネチャを第１のセンサシグネチャと比較し得る。
【0052】
メモリ４１８は、さらに、環境内をナビゲートするために車両４０２によって使用できる１つまたは複数のマップ（不図示）を維持および／または更新するためのマップコンポーネント４２８を含むことができる。この説明の目的のために、マップは、２次元、３次元、またはＮ次元でモデル化された任意の数のデータ構造とすることができ、これらは、トポロジー（交差点など）、通り、山岳地帯、道路、地形（terrain）、および環境一般などの環境に関する情報を提供することが可能であるが、これらに限定されない。いくつかの例では、マップは、テクスチャ情報（例えば、色情報（例えば、ＲＧＢ色情報、Ｌａｂ色情報、ＨＳＶ／ＨＳＬ色情報）など）、強度情報（例えば、ｌｉｄａｒ情報、ｒａｄａｒ情報など）、空間情報（例えば、メッシュ上に投影された画像データ、個々の「サーフェル」（例えば、個々の色および／または強度に関連付けられたポリゴン））、反射情報（例えば、鏡面反射情報、再帰反射情報、ＢＲＤＦ情報、ＢＳＳＲＤＦ情報など）を含むことができるが、これらに限定されない。一例では、マップは環境の３次元メッシュを含むことができる。いくつかの例では、マップの個々のタイルが環境の個別の部分を表し、必要に応じて作業メモリ内にロードできるように、マップをタイルフォーマットで記憶できる。少なくとも１つの例において、１つまたは複数のマップは、少なくとも１つのマップ（例えば、画像および／またはメッシュ）を含むことができる。いくつかの例において、車両４０２は、マップに少なくとも部分的に基づいて制御できる。すなわち、マップを、位置推定コンポーネント４２０、知覚システム４２２、および／または計画コンポーネント４２４と関連して使用して、車両４０２の位置を決定すること、環境内のオブジェクトを識別すること、および／または環境内をナビゲートするルートおよび／または軌道を生成することができる。
【0053】
いくつかの例では、１つまたは複数のマップは、ネットワーク４３８を介してアクセス可能なリモートコンピューティングデバイス（コンピューティングデバイス４４０など）上に記憶できる。いくつかの例では、複数のマップは、例えば特徴（例えば、エンティティのタイプ、時刻、曜日、季節など）に基づいて記憶できる。複数のマップを記憶することは、同様のメモリ要件を有するが、マップ内のデータへのアクセスできる速度を向上できる。
【0054】
監視コンポーネント４３０は、車両の全体および／または個々のコンポーネントまたはシステムとしての車両の状態または動作ステータスを監視するように構成されている。監視コンポーネント４３０は、１つまたは複数のセンサシステム４０６からセンサデータを受信し、センサデータを使用して、車両４０２および／またはドライブアセンブリ４１４の１つまたは複数のコンポーネントに関連付けられた現在の動作ステータスを推定し、および／または将来の動作状態を予測する。監視コンポーネント４３０は、車両の実質的に任意のコンポーネントの状態を監視できる。監視コンポーネント４３０によって監視できるコンポーネントの範囲のいくつかの例示的な例としては、推進システム（例えば、モータ、ギアボックス、ドライブトレーンなど）、エネルギー貯蔵システム（例えば、バッテリ、燃料電池、燃焼エンジンなど）、ブレーキシステム、ステアリングシステム、ドアシール、ＨＶＡＣシステム、冷却システム、コンピューティングシステムなどを含む。上述したように、動作ステータスは、とりわけ、コンポーネントの使用済みおよび/または残りの寿命のパーセンテージ（例えば、使用済み寿命５０％、残り寿命７５％など）などの車両のコンポーネントに関連付けられた摩耗の表示、コンポーネントが故障しそうになるまでに車両が移動し得る時間および／または距離の量（例えば、コンポーネントの故障まで１０時間、コンポーネントの故障まで１００マイルなど）などのコンポーネントに関連付けられた故障時間、または１つまたは複数の故障状態などのコンポーネントに関連付けられた異常の表示を含み得る。例えば、監視コンポーネント４３０は、センサシステム４０６のオーディオセンサ（例えば、マイクロフォン）によってキャプチャされたセンサデータ４３６からオーディオデータを受信し、オーディオデータに関連付けられた車両４０２のコンポーネント、オーディオデータに関連付けられたコンポーネントの位置、および／またはコンポーネントに関連付けられた動作ステータスを予測し得る。予測は、単一のオーディオデータ記録または複数のオーディオデータ記録に基づいて行うことができる。
【0055】
車両コンピューティングデバイス４０４のメモリ４１８は、センサシステム４０６によってキャプチャされたセンサデータをフィルタリングおよび／または処理するためのフィルタリングコンポーネント４３２をさらに含み得る。一例として、フィルタリングコンポーネント４３２は、車両４０２のオーディオセンサによってキャプチャされたオーディオデータを処理して、オーディオデータに関連付けられたバックグラウンドノイズを除去し得る。例えば、オーディオデータが車両４０２のコンポーネントに関連付けられたオーディオシグネチャとバックグラウンドノイズとを含む場合、フィルタリングコンポーネント４３２は、コンポーネントに関連付けられたオーディオシグネチャを識別して、バックグラウンドノイズの少なくとも一部をフィルタリングし得る。追加的または代替的に、フィルタリングコンポーネント４３２は、コンポーネントのオーディオシグネチャに関してオーディオデータのバックグラウンドノイズを識別し、オーディオデータからバックグラウンドノイズの少なくとも一部を除去し得る。フィルタリングコンポーネント４３２は、オーディオ信号のフィルタリングに関して説明されているが、フィルタリングコンポーネント４３２は、画像センサデータ、慣性センサデータ、温度センサデータ、圧力センサデータ、環境センサデータなどの、車両４０２の様々なセンサから受信された任意のタイプのセンサデータをフィルタリングし得る。
【0056】
いくつかの例では、メモリ４１８は、車両４０２のコンポーネントに関連付けられた１つまたは複数のセンサシグネチャ４３４を記憶し得る。追加的または代替的に、センサシグネチャ４３４は、車両４０２とは異なる他の車両のコンポーネントに関連付けられ得る。センサシグネチャ４３４は、車両４０２の様々なコンポーネントに対する様々なタイプのセンサシグネチャを含み得る。例えば、センサシグネチャ４３４は、車両の特定のコンポーネント（例えば、ブレーキシステム）に関連付けられた１つまたは複数のオーディオセンサシグネチャと、同じ特定のコンポーネントまたは異なるコンポーネント（例えば、ＨＶＡＣシステム）に関連付けられた１つまたは複数の画像センサシグネチャとを含み得る。いくつかの実施例では、センサシグネチャ４３４は、車両４０２のコンポーネントに関連付けられた１つまたは複数のベースラインセンサシグネチャを含み得、追加的または代替的に、車両４０２のコンポーネントに関連付けられた１つまたは複数の漸進的なセンサシグネチャ（例えば、コンポーネントのそれぞれの寿命を通じて更新され続けるセンサシグネチャ）を含み得る。このようにして、センサシグネチャ４３４は、車両４０２のコンポーネントに関連付けられた動作ステータスを決定するために使用され得る。
【0057】
いくつかの例において、センサシグネチャ４３４は、ネットワーク４３８を介してコンピューティングデバイス４４０に送信され得る。追加的または代替的に、センサシグネチャ４３４は、ネットワーク４３８を介してコンピューティングデバイス４４０から受信され得る。
【0058】
メモリ４１８はまた、車両４０２のセンサシステム４０６の１つまたは複数のセンサによってキャプチャされたセンサデータ４３６を記憶し得る。センサデータ４３６は、未処理のセンサデータ（例えば、車両４０２のセンサによってキャプチャされたセンサデータ）および／または処理済みのセンサデータ（例えば、センサによってキャプチャされた後にフィルタリングコンポーネント４３２によって処理されたセンサデータ）を含み得る。センサデータ４３６は、上述のセンサシグネチャ４３４の１つまたは複数を決定するために使用され得る。追加的または代替的に、センサデータ４３６を使用して、車両４０２のコンポーネントに関連付けられた動作ステータスを決定し得る。いくつかの例では、センサデータ４３６は、ネットワーク４３８を介してコンピューティングデバイス４４０に送信され、ログデータ４４８および／またはトレーニングデータ４５２として使用され得る。
【0059】
いくつかの例では、本明細書で説明されるメモリに記憶されたコンポーネントの一部または全ての態様は、任意のモデル、アルゴリズム、および／または機械学習アルゴリズムを含むことができる。例えば、いくつかの例では、知覚システム４２２、計画コンポーネント４２４、監視コンポーネント４３０、およびフィルタリングコンポーネント４３２などのメモリ４１８（および以下でさらに詳細に説明する、メモリ４４４）内のコンポーネントは、ニューラルネットワークとして実装できる。例えば、監視コンポーネント４３０は、車両４０２の１つまたは複数のコンポーネントの動作ステータスを予測するようにトレーニングされた機械学習モデル（例えば、ニューラルネットワーク）を含み得る。
【0060】
本明細書に記載されるように、例示的なニューラルネットワークは、一連の接続された層を介して入力データを渡して出力を生成する生物学的にインスパイアされたアルゴリズムである。ニューラルネットワークにおける各層はまた、別のニューラルネットワークを含むことができ、または任意の数の層（畳み込みであるか否かにかかわらず）を含むことができる。本開示のコンテキストにおいて理解できるように、ニューラルネットワークは機械学習を利用でき、それは、学習されたパラメータに基づいて出力が生成される、そのようなアルゴリズムの広範なクラスを指すことができる。
【0061】
ニューラルネットワークのコンテキストで説明したが、任意のタイプの機械学習をこの開示と一致させて使用できる。機械学習アルゴリズムは、例えば、限定しないが、回帰アルゴリズム（例えば、通常の最小二乗回帰（ＯＬＳＲ）、線形回帰、ロジスティック回帰、ステップワイズ回帰、多変量適応回帰スプライン（ＭＡＲＳ）、局所的に推定されたスカープロット平滑化（ＬＯＥＳＳ））、インスタンスベースのアルゴリズム（例えば、リッジ回帰、最小絶対収縮および選択演算子（ＬＡＳＳＯ）、弾性ネット、最小角度回帰（ＬＡＲＳ））、決定木アルゴリズム（例えば、分類および回帰木（ＣＡＲＴ）、反復二分法３（ＩＤ３）、カイ二乗自動相互作用検出（ＣＨＡＩＤ）、決定切り株、条件付き決定木））、ベイジアンアルゴリズム（例えば、単純ベイズ、ガウス単純ベイズ、多項単純ベイズ、平均１依存推定量（ＡＯＤＥ）、ベイジアン信念ネットワーク（ＢＮＮ）、ベイジアンネットワーク）、クラスタリングアルゴリズム（例えば、ｋ平均、ｋ中央値、期待値最大化（ＥＭ）、階層的クラスタリング）、相関ルール学習アルゴリズム（例えば、パーセプトロン、バックプロパゲーション、ホップフィールドネットワーク、動径基底関数ネットワーク（ＲＢＦＮ））、ディープラーニングアルゴリズム（例えばディープボルツマンマシーン（ＤＢＭ）、ディープブリーフネットワーク（ＤＢＮ）、重畳型ニューラルネットワーク（ＣＮＮ）、スタック・オートエンコーダ）、次元数削減アルゴリズム（例えば主成分分析（ＰＣＡ）、主成分回帰（ＰＣＲ）、部分最小二乗回帰（ＰＬＳＲ）、サモンマッピング、多次元スケーリング（ＭＤＳ）、射影追跡、線形判別分析（ＬＤＡ）、混合判別分析（ＭＤＡ）、二次判別分析（ＱＤＡ）、柔軟判別分析（ＦＤＡ））、アンサンブルアルゴリズム（例えば、ブースティング、ブートストラップ集計（バギング）、アダブースト、スタック一般化（ブレンディング）、勾配ブースティングマシン（ＧＢＭ）、勾配ブースティング回帰ツリー（ＧＢＲＴ）、ランダムフォレスト）、ＳＶＭ（サポートベクターマシン）、教師あり学習、教師なし学習、半教師あり学習などを含むことができる。アーキテクチャの追加の例は、ＲｅｓＮｅｔ５０、ＲｅｓＮｅｔ１０１、ＶＧＧ、ＤｅｎｓｅＮｅｔ、ＰｏｉｎｔＮｅｔなどのニューラルネットワークを含む。
【0062】
少なくとも１つの例では、センサシステム４０６は、ｌｉｄａｒセンサ、ｒａｄａｒセンサ、超音波トランスデューサ、ｓｏｎａｒセンサ、位置センサ（例えば、ＧＰＳ、コンパスなど）、慣性センサ（例えば、慣性測定ユニット（ＩＭＵｓ）、加速度計、磁力計、ジャイロスコープなど）、画像センサ（例えば、カメラ、ＲＧＢ、ＩＲ、強度、深さなど）、オーディオセンサ（例えば、マイクロフォン）、ホイールエンコーダ、環境センサ（例えば、温度センサ、湿度センサ、光センサ、圧力センサなど）、温度センサ（例えば、車両コンポーネントの温度を測定するための）などを含むことができる。センサシステム４０６は、これらのまたは他のタイプのセンサのそれぞれの複数のインスタンスを含むことができる。いくつかの例では、センサシステム４０６の個々のセンサの位置は、それぞれ、図１の外部センサ１０２Ａ乃至１０２Ｎおよび／または図２の内部センサ２０２Ａ乃至Ｍの位置に対応できる。例えば、ｌｉｄａｒセンサは、車両４０２の角部、前部、後部、側部、および／または上部に配置された個々のｌｉｄａｒセンサを含むことができる。別の例として、画像センサは、車両４０２の外部および／または内部の周りの様々な位置に配置された複数の画像センサを含むことができる。さらに別の例として、オーディオセンサは、車両４０２の外部および／または内部の様々な位置に配置された複数のオーディオセンサを含むことができる。さらに、オーディオセンサは、オーディオデータの方向性を決定するための複数のオーディオセンサのアレイを含むことができる。センサシステム４０６は、車両コンピューティングデバイス４０４に入力を提供できる。追加的または代替的に、センサシステム４０６は、１つまたは複数のネットワーク４３８を介して、１つまたは複数のコンピューティングデバイス４４０に、所定の時間の経過後、ほぼリアルタイムなどで、特定の周波数でセンサデータを送信できる。
【0063】
車両４０２はまた、光および／または音を放出するための１つまたは複数のエミッタ４０８を含むことができる。この例示のエミッタ４０８は車両４０２の乗客と通信する内部オーディオおよびビジュアルエミッタを含む。一例として、内部エミッタは、スピーカー、光、記号、ディスプレイ画面、タッチ画面、触覚エミッタ（例えば、振動および／またはフォースフィードバック）、機械式アクチュエータ（例えば、シートベルトテンショナ、シートポジショナ、ヘッドレストポジショナなど）などを含むことができる。この例示のエミッタ４０８はまた、外部エミッタを含む。一例として、この例示の外部エミッタは、走行の方向または車両のアクションの他のインジケータ（例えば、インジケータライト、標識、ライトアレイなど）を信号で送るためのライト、および音響ビームステアリング技術を備える、１つまたは複数の歩行者または他の近くの車両と音声で通信するための１つまたは複数のオーディオエミッタ（例えば、スピーカー、スピーカーアレイ、ホーンなど）を含む。
【0064】
車両４０２はまた、車両４０２と１つまたは複数の他のローカルまたはリモートコンピューティングデバイスとの間の通信を可能にする１つまたは複数の通信接続部４１０を含むことができる。例えば、通信接続部４１０は、車両４０２および／またはドライブアセンブリ４１４上の他のローカルコンピューティングデバイスとの通信を容易にできる。また、通信接続部４１０は、車両４０２が他の近くのコンピューティングデバイス（例えば、他の近くの車両、交通信号など）と通信することを可能にできる。通信接続部４１０はまた、車両４０２がリモート操作コンピューティングデバイスまたは他のリモートサービスと通信することを可能にする。
【0065】
通信接続部４１０は、車両コンピューティングデバイス４０４を別のコンピューティングデバイス（例えば、コンピューティングデバイス４４０）および／またはネットワーク４３８などのネットワークに接続するための物理的および／または論理的インターフェースを含むことができる。例えば、通信接続部４１０は、ＩＥＥＥ８０２．１１規格によって定義された周波数を介するようなＷｉ－Ｆｉベースの通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの短距離無線周波数、セルラ通信（例えば、２Ｇ、３Ｇ、４Ｇ、４Ｇ ＬＴＥ、５Ｇなど）、またはそれぞれのコンピューティングデバイスが他のコンピューティングデバイスとインターフェースで接続することを可能にする任意の適切な有線または無線通信プロトコルを可能にできる。
【0066】
少なくとも１つの例において、車両４０２の直接接続部４１２は、１つまたは複数のドライブアセンブリ４１４を車両４０２の本体に結合するための物理的インターフェースを提供できる。例えば、直接接続部４１２は、ドライブアセンブリ４１４と車両４０２との間でエネルギー、流体、空気、データなどの伝達を可能にできる。いくつかの例では、直接接続部４１２はさらに、ドライブアセンブリ４１４を車両４０２の本体に取り外し可能に固定できる。
【0067】
少なくとも１つの例において、車両４０２は、１つまたは複数のドライブアセンブリ４１４を含むことができる。いくつかの例では、車両４０２は単一のドライブアセンブリ４１４を有することができる。少なくとも１つの例において、車両４０２が複数のドライブアセンブリ４１４を有する場合、個々のドライブアセンブリ４１４を、車両４０２の対向する長手方向端部（例えば、先頭および後部の端部、前方および後方など）に配置できる。少なくとも１つの例において、ドライブアセンブリ４１４は、ドライブアセンブリ４１４および／または車両４０２の周囲の状態を検出するための１つまたは複数のセンサシステムを含むことができる。一例として、センサシステムは、ドライブシステムのホイールの回転を感知するための１つまたは複数のホイールエンコーダ（例えば、回転エンコーダ）と、ドライブシステムの方向および加速度を測定するための慣性センサ（例えば、慣性測定ユニット、加速度計、ジャイロスコープ、磁力計など）と、画像センサ、ドライブシステムの周囲のオブジェクトを音響的に検出するための超音波センサ、ｌｉｄａｒセンサ、ｒａｄａｒセンサ、オーディオセンサなどを含むことができる。ホイールエンコーダなどの一部のセンサは、ドライブアセンブリ４１４に固有とすることができる。場合によっては、ドライブアセンブリ４１４上のセンサシステムは、車両４０２の対応するシステム（例えば、センサシステム４０６）と重複または補足できる。
【0068】
ドライブアセンブリ４１４は、高電圧バッテリ、車両を推進するモータ、バッテリからの直流を他の車両システムで使用する交流に変換するインバータ、ステアリングモータおよびステアリングラック（電動とすることができる）を含むステアリングシステム、油圧または電気アクチュエータを含むブレーキシステム、油圧および／または空気圧コンポーネントを含むサスペンションシステム、トラクションの損失を軽減し制御を維持するブレーキ力分散用の安定性制御システム、ＨＶＡＣシステム、照明（例えば、車両の外部周囲を照らすヘッド／テールライトなどの照明）、および１つまたは複数の他のシステム（例えば、冷却システム、安全システム、車載充電システム、ＤＣ／ＤＣコンバータ、高電圧ジャンクション、高電圧ケーブル、充電システム、充電ポートなどの他の電装コンポーネント）を含む多くの車両システムを含むことができる。加えて、ドライブアセンブリ４１４は、センサシステムからデータを受信して前処理し、様々な車両システムの動作を制御できるドライブアセンブリコントローラを含むことができる。いくつかの例では、ドライブアセンブリコントローラは、１つまたは複数のプロセッサと、１つまたは複数のプロセッサと通信可能に結合されたメモリとを含むことができる。メモリは、ドライブアセンブリ４１４の様々な機能を実行する１つまたは複数のシステムを記憶できる。さらに、ドライブアセンブリ４１４はまた、それぞれのドライブアセンブリによる１つまたは複数の他のローカルまたはリモートコンピューティングデバイスとの通信を可能にする１つまたは複数の通信接続部を含み得る。
【0069】
少なくとも１つの例では、本明細書で説明するメモリに記憶されたコンポーネントは、上述のようにセンサデータを処理でき、１つまたは複数のネットワーク４３８を介して１つまたは複数のコンピューティングデバイス４４０にそれらのそれぞれの出力を送信できる。少なくとも１つの例では、本明細書で説明するメモリに記憶されたコンポーネントは、特定の周波数で、所定の時間の経過後に、ほぼリアルタイムなどで、それらのそれぞれの出力を１つまたは複数のコンピューティングデバイス４４０に送信できる。
【0070】
いくつかの例では、車両４０２は、ネットワーク４３８を介して１つまたは複数のコンピューティングデバイス４４０にセンサデータ４３６を送信できる。いくつかの例では、車両４０２は未処理のセンサデータをコンピューティングデバイス４４０に送信できる。他の例では、車両４０２は、処理済みのセンサデータおよび／またはセンサデータの表現をコンピューティングデバイス４４０に送信できる。いくつかの例では、車両４０２は、特定の周波数で、所定の時間の経過後に、ほぼリアルタイムなどで、センサデータをコンピューティングデバイス４４０に送信できる。いくつかの例では、車両４０２は、１つまたは複数のログファイルとして、センサデータ４３６（未処理のまたは処理済みの）をコンピューティングデバイス４４０に送信できる。
【0071】
コンピューティングデバイス４４０は、１つまたは複数のプロセッサ４４２と、１つまたは複数のプロセッサ４４２に通信可能に結合され得るメモリ４４４とを含むことができる。メモリ４４４は、トレーニングコンポーネント４４６、ログデータ４４８、機械学習コンポーネント４５０、トレーニングデータ４５２、車両４０２のコンポーネントなどの車両コンポーネントに関連付けられた１つまたは複数のセンサシグネチャ４５４、および／または故障ログ４５６を記憶し得る。
【0072】
ログデータ４４８は、運転中にセンサデータをキャプチャし記憶した車両（例えば、車両１００および／または他の車両など）のコンピューティングシステムから得られた過去のおよび／または予め記録されたセンサデータを含み得る。ログデータ４４８は、未処理のセンサデータおよび／または処理済みのセンサデータを含み得る。ログデータ４４８は、いくつかの例では、画像センサ、ｌｉｄａｒセンサ、ｒａｄａｒセンサ、ＴＯＦセンサ、ｓｏｎａｒセンサ、全地球測位システムセンサ、オーディオセンサ、ＩＭＵｓ、および／またはこれらの任意の組み合わせなど、車両上の複数のセンサシステムによってキャプチャされた融合された知覚データを含み得る。ログデータ４４８は、追加的または代替的に、オブジェクト（例えば、歩行者、車両、建物、道路表面など）の意味分類を含む分類データ、および／または環境を通じて動的オブジェクトとして分類されたオブジェクトの動きに対応するセンサデータおよび／または追跡データにおいて表されたコンポーネントを含み得る。追跡データは、経時的な複数の異なるオブジェクトの複数の軌跡を含み得る。
【0073】
トレーニングコンポーネント４４６は、ログデータ４４８を使用してトレーニングデータ４５２を生成できる。例えば、トレーニングコンポーネント４４６は、車両コンポーネントに関連付けられたセンサデータを、センサデータに関連付けられた車両コンポーネントの１つまたは複数の測定パラメータおよび／または特性でラベル付けできる。センサデータおよび／または測定されたパラメータまたは特性は、ログデータ４４８、センサシグネチャ４５４、および／または故障ログ４５６から取得され得る。ラベルは、車両コンポーネント（例えば、ブレーキシステム、ＨＶＡＣシステム、ドア／窓シールなど）に関連付けられた動作ステータス（例えば、正常、故障、故障時間など）および／またはセンサデータがキャプチャされた時点および／またはセンサデータがキャプチャされた時点から１回以上経過した時点における車両コンポーネントの他の任意の特性の表示を含み得る。例えば、ラベルは、センサデータにおいて表されるコンポーネントが後日（例えば、センサデータがキャプチャされてから１００時間後）に故障したことを示し得る。次いで、トレーニングコンポーネント４４６は、トレーニングデータ４５２を使用して機械学習コンポーネント４５０をトレーニングし、センサデータを入力として受信することに少なくとも部分的に基づいて、車両コンポーネントに関連付けられた現在および／または将来の動作ステータスを予測できる。さらに、トレーニングコンポーネント４４６は、トレーニングデータ４５２を使用して、機械学習コンポーネント４５０をトレーニングし、センサデータの入力の受信に基づいて、車両コンポーネントの任意の他の特性（例えば、センサデータに関連付けられた車両コンポーネントの識別、車両内のコンポーネントの位置、コンポーネントの摩耗量の指標、コンポーネントの残存寿命など）を予測できる。
【0074】
コンピューティングデバイス４４０のメモリ４４４は、さらに、車両４０２および／または別の車両のコンポーネントなど、車両のコンポーネントに関連付けられた１つまたは複数のセンサシグネチャ４５４を記憶し得る。センサシグネチャ４５４は、車両の様々なコンポーネントに対する様々なタイプのセンサシグネチャを含み得る。例えば、センサシグネチャ４５４は、車両のコンポーネントに関連付けられた１つまたは複数のオーディオ／音響センサシグネチャ、同じコンポーネントおよび／または異なるコンポーネント（例えば、ＨＶＡＣシステム）に関連付けられた１つまたは複数の画像センサシグネチャを含み得る。センサシグネチャは、単一のセンサモダリティのセンサデータ（例えば、オーディオデータ、または画像データ、またはＩＭＵデータなど）に基づき得る、または複数の異なるセンサモダリティのデータ（例えば、オーディオデータ、画像データ、ＩＭＵデータ、および／または他のセンサデータ）に基づき得る。いくつかの例では、センサシグネチャ４５４は、１つまたは複数の車両のコンポーネントに関連付けられた１つまたは複数の初期またはベースラインセンサシグネチャを含み得、追加的または代替的に、コンポーネントの寿命を通じて取得されたコンポーネントに関連付けられた１つまたは複数の後続または漸進的なセンサシグネチャを含み得る。そのケースでは、後続のセンサシグネチャを初期センサシグネチャと比較して、各コンポーネントの動作ステータスの変化を決定できる。このようにして、センサシグネチャ４５４は、車両４０２または他の車両のコンポーネントに関連付けられた動作ステータスを決定するために使用し得る。いくつかの例では、センサシグネチャ４５４は、ネットワーク４３８を介して車両コンピューティングデバイス４０４に送信され得る。
【0075】
いくつかの例では、メモリ４４４は故障ログ４５６を含み得、車両１００および／または車両４０２などの１つまたは複数の車両に関連付けられた故障または異常が故障ログ４５６に記録され得る。故障ログ４５６は、検出された故障または異常な測定の表示、および関係するコンポーネント／システムの識別子（例えば、車両コンポーネントの故障した動作ステータスに関連付けられたセンサシグネチャ）を含み得る。故障ログ４５６はまた、故障または異常測定（例えば、車両コンポーネントの寿命の少なくとも一部にわたる一連の漸進的なセンサシグネチャ）に至る動作コンディションのスナップショットを記憶し得る。コンピューティングデバイス４４０のメモリに存在するものとして、図４に示されているが、少なくともいくつかの例では、故障ログ４５６は車両４０２に局所的に記憶され得る。いくつかの例では、故障ログ４５６は、コンポーネントの動作ステータスを予測するために、機械学習コンポーネント４５０および／または監視コンポーネント４３０の機械学習モデルをトレーニングする際に使用するログデータ４４８にラベル付けするために使用され得る。さらに、少なくともいくつかの例では、故障ログ４５６は、車両４０２によってコンピューティングデバイス４４０に報告され得る。この報告は、定期的に（例えば、毎日、毎時など）、または特定のイベント（例えば、衝突の検出、整備場所への移動、コンポーネントの動作ステータスの変化の検出、コンポーネントに関連付けられたセンサシグネチャの変化など）が発生したときに発生し得る。
【0076】
車両４０２のプロセッサ４１６およびコンピューティングデバイス４４０のプロセッサ４４２は、データを処理し、本明細書に記載された動作を実行する命令を実行することが可能である任意の適切なプロセッサとすることができる。限定ではなく例として、プロセッサ４１６および４４２は、１つまたは複数の中央処理デバイス（ＣＰＵ）、グラフィックス処理デバイス（ＧＰＵ）、または電子データを処理してその電子データをレジスタおよび／またはメモリに記憶できる他の電子データに変換する任意の他のデバイスまたはデバイスの一部を含むことができる。いくつかの例では、集積回路（例えば、ＡＳＩＣなど）、ゲートアレイ（例えば、ＦＰＧＡなど）、および他のハードウェアデバイスはまた、符号化された命令を実装するように構成されている限り、プロセッサとみなすることができる。
【0077】
メモリ４１８および４４４は、非一時的コンピュータ可読媒体の例である。メモリ４１８および４４４は、本明細書に記載された方法および様々なシステムに起因する機能を実施するためのオペレーティングシステムおよび１つまたは複数のソフトウェアアプリケーション、命令、プログラム、および／またはデータを格納できる。様々な実施形態において、メモリは、スタティックランダムアクセスメモリ（ＳＲＡＭ）、同期ダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュ型メモリ、または情報を記憶することが可能な任意の他のタイプのメモリなどの任意の適切なメモリ技術を使用して実装できる。本明細書に記載されるアーキテクチャ、システム、および個々の要素は、多くの他の論理的、プログラム的、および物理的なコンポーネントを含むことができ、添付の図に示されるそれらは、本明細書の説明に関連する単なる例である。
【0078】
理解できるように、本明細書で説明されるコンポーネントは、説明の目的のために分割されて記載される。しかし、様々なコンポーネントによって実行される動作は、組み合わされる、または任意の他のコンポーネントにおいて実行できる。
【0079】
図４は分散システムとして図示されているが、代替の例では、車両４０２のコンポーネントをコンピューティングデバイス４４０に関連付けることができ、および／またはコンピューティングデバイス４４０のコンポーネントを車両４０２に関連付けることができることに留意されたい。すなわち、車両４０２は、コンピューティングデバイス４４０に関連付けられた１つまたは複数の機能を実行でき、逆もまた同様である。さらに、機械学習コンポーネント４５０の態様は、本明細書に記載されるデバイスのいずれかで実行できる。
【0080】
［例示的な方法］
図５、図６、および図７は、車両コンポーネントの正常性を監視すること、センサデータを処理すること、機械学習モデルを使用することを含む例示的な方法を示すフローチャートである。図５、図６、および図７に示す方法は、便宜上および理解を容易にするために、図１乃至図４に示す車両および／またはコンピューティングデバイスの１つまたは複数を参照して説明されている。しかし、図５、図６、および図７に示す方法は、図１乃至図４に示す車両および／またはコンピューティングデバイスを使用して実行されることに限定されず、本願に記載される他の車両、コンピューティングデバイス、コンピューティングシステム、および／またはドライブアセンブリ、ならびに本明細書に記載されるもの以外の車両、コンピューティングデバイス、コンピューティングシステム、および／またはドライブアセンブリのいずれかを使用して実施され得る。さらに、本明細書に記載される車両、コンピューティングデバイス、コンピューティングシステム、および／またはドライブアセンブリモジュールは、図５、図６、および図７に示す方法を実行することに限定されない。
図５、図６、および図７は、車両コンポーネントの正常性を監視すること、センサデータを処理すること、機械学習モデルを使用することを含む例示的な方法を示すフローチャートである。図５、図６、および図７に示す方法は、便宜上および理解を容易にするために、図１乃至図４に示す車両および／またはコンピューティングデバイスの１つまたは複数を参照して説明されている。しかし、図５、図６、および図７に示す方法は、図１乃至図４に示す車両および／またはコンピューティングデバイスを使用して実行されることに限定されず、本願に記載される他の車両、コンピューティングデバイス、コンピューティングシステム、および／またはドライブアセンブリ、ならびに本明細書に記載されるもの以外の車両、コンピューティングデバイス、コンピューティングシステム、および／またはドライブアセンブリのいずれかを使用して実施され得る。さらに、本明細書に記載される車両、コンピューティングデバイス、コンピューティングシステム、および／またはドライブアセンブリモジュールは、図５、図６、および図７に示す方法を実行することに限定されない。
【0081】
図５は、車両の正常性および／または車両コンポーネントの正常性を監視するための例示的な方法５００を示すフローチャートである。動作５０２において、方法５００は、車両のコンポーネントに関連付けられた動作ステータスを示す第１のセンサシグネチャを受信することを含む。いくつかの例において、センサシグネチャは、コンポーネントに関連付けられた故障または他の異常を経験した別の車両のセンサによってキャプチャされたログデータを含み得る。追加的または代替的に、第１のセンサシグネチャは、テストベンチ上で生成および／またはシミュレートされ得る。少なくとも１つの例において、第１のセンサシグネチャは、車両のテストモード中に、車両のコンポーネントを起動し、車両の１つまたは複数のセンサを介してコンポーネントに関連付けられたセンサデータをキャプチャすることによって決定し得る。
【0082】
動作５０４において、方法５００は、車両のコンポーネントを起動することを含む。一例として、起動されるべき車両コンポーネントがブレーキシステムを含む場合、車両は特定の速度（例えば、１０ＭＰＨ、２５ＭＰＨなど）まで加速し、次いで、ブレーキシステムを適用して、車両の速度を低下させ、および／または車両を停止させ得る。別の例として、起動されるべき車両コンポーネントがＨＶＡＣシステムを含む場合、次いで、車両は、空調コンプレッサ、換気ファンなどの様々なＨＶＡＣシステムコンポーネントをオンまたはオフにし得る。さらに別の例として、起動されるべき車両コンポーネントがドア／窓シールを含む場合、車両は、特定の速度まで加速し、および／または特定の速度（例えば、２５ＭＰＨ）を維持し得、その結果、車両の客室内の周囲ノイズに対応するオーディオデータをキャプチャできる。さらに、いくつかの例では、起動されるコンポーネントに起因するセンサデータの一部を分離するために、車両コンポーネントを起動する間に、車両の１つまたは複数の他のシステムまたはコンポーネントを変化させ得る。さらに、いくつかの例では、複数のコンポーネントを組み合わせて起動して、様々なコンポーネント間の相互作用または関係を識別し得る。例えば、ドア／窓シールを試験するケースにおいて、ＨＶＡＣシステムをオンおよびオフにして、客室圧力の変化がドア／窓シールが客室をシールする能力に影響を及ぼすかどうかを決定し得る。
【0083】
動作５０６において、方法５００は、車両のセンサから、車両のコンポーネントに関連付けられたデータを受信することを含む。いくつかの例では、センサは、オーディオセンサ（例えば、マイクロフォン）、画像センサ（例えば、カメラ）、慣性センサ（例えば、ＩＭＵ）、温度センサ、運動センサ、加速度計、または本明細書に記載される他のセンサタイプのいずれかを含み得る。さらに、データは、オーディオデータ、画像データ、慣性データ、温度データ、圧力データ、電圧測定値、電流測定値、または本明細書に記載される他のタイプのセンサデータを含み得る。データは、いくつかの例において、１つまたは複数の有線および／または無線通信チャネルを介して受信され得る。
【0084】
動作５０８において、方法５００はデータを処理することを含む。いくつかの例では、第１のデータは未処理のセンサデータを含み得る。したがって、センサデータを処理して、処理済のセンサデータを生成し得る。いくつかの例では、図６を参照して以下にさらに詳細に説明するように、センサデータの処理は、センサデータからデータの一部（例えば、バックグラウンドノイズ）を除去および／または低減すること、および／または特定のコンポーネントに関連付けられたセンサデータの一部を分離することを含み得る。
【0085】
動作５１０において、方法５００は、車両のコンポーネントに関連付けられた第２のセンサシグネチャを決定することを含む。第２のセンサシグネチャを、データの受信に少なくとも部分的に基づいて決定し得る。いくつかの例では、第２のセンサシグネチャは、センサデータの１回のキャプチャに基づいて決定され得る、追加または代替の例では、センサデータをキャプチャする複数のインスタンスに基づき得る。いくつかの例では、第２のセンサシグネチャは、車両コンポーネントの動作ステータスを決定するために以前のセンサデータおよび／またはセンサシグネチャ（例えば第１のセンサシグネチャ）と比較するために使用される漸進的なセンサシグネチャを含み得る。少なくとも１つの例において、第２のセンサシグネチャは、車両コンポーネントの寿命を通じて、連続的に、定期的に（例えば、毎時間、毎日、毎週、毎月など）、またはトリガイベント（例えば、オブジェクトとの衝突、充電、コンポーネントの整備、車両がオフラインであるまたは現在使用されていないことなど）の発生時に監視される漸進的なセンサシグネチャを含み得る。
【0086】
動作５１２において、方法５００は、第１のセンサシグネチャと第２のセンサシグネチャとの間の関連付けを決定することを含む。いくつかの例において、関連付けを決定することは、第１のセンサシグネチャと第２のセンサシグネチャとの間の変動または類似性の少なくとも１つを決定することを含み得る。関連付けを決定することは、第１のセンサシグネチャと第２のセンサシグネチャを比較して、変動または類似性の少なくとも１つを決定することを含み得る。動作５１４において、方法５００は、関連付けが存在するかどうか（例えば、変動が閾値変動より大きいかどうか、類似性が閾値範囲内にあるかどうかなど）を決定することを含む。第１のセンサシグネチャと第２のセンサシグネチャとの間の関連付けが存在しない、重要でない、またはそうでなければ閾値範囲内にない場合、次いで、方法５００は動作５１６に進み得る。しかし、第１のセンサシグネチャと第２のセンサシグネチャとの間の関連付けが存在する場合、次いで、方法５００は動作５１８に進み得る。
【0087】
動作５１６において、方法５００は、第１のアクションを実行することを含み得る。いくつかの例では、第１のアクションを実行することは、車両コンポーネントの動作ステータスが変化したが、その変化は重大ではないという通知をリモートコンピューティングシステムに送信することを含み得る。追加的または代替的に、第１のアクションは、車両のメモリ（例えば、車両コンピューティングデバイス４０４のメモリ４１８）または車両から遠隔であり、車両によってアクセス可能なコンピューティングシステムおよび／またはデバイスのメモリ（例えば、コンピューティングデバイス４４０のメモリ４４４）に、第２のセンサシグネチャおよび／または第２のデータを記録または記憶することを含み得る。
【0088】
動作５１８において、方法５００は、第２のアクションを実行することを含み得る。いくつかの例では、第２のアクションは、車両のコンポーネントに関連付けられた動作ステータスを決定および／または出力することを含み得る。上述したように、動作ステータスは、コンポーネントの使用済みおよび/または残りの寿命のパーセンテージ（例えば、使用済み寿命５０％、残り寿命７５％など）などの車両のコンポーネントに関連付けられた摩耗の表示、コンポーネントが故障しそうになるまでに車両が移動し得る時間および／または距離の量（例えば、コンポーネントの故障まで１０時間、コンポーネントの故障まで１００マイルなど）などのコンポーネントに関連付けられた故障時間、または１つまたは複数の故障状態などのコンポーネントに関連付けられた異常の表示を含み得る。いくつかの例では、動作ステータスおよび／または故障までの推定時間を決定することは、データ、第２のセンサシグネチャ、第１のセンサシグネチャと第２のセンサシグネチャとの間の関連付け、車両のコンポーネントが使用された時間の量、車両コンポーネントが取り付けられた状態で車両が走行したマイル数などに、少なくとも部分的に基づき得る。例えば、センサシグネチャのそれぞれをコンポーネントの動作ステータス平均の故障時間などのそれぞれと関連付けるルックアップテーブルを記憶し得る。このようにして、ルックアップテーブルのセンサシグネチャを第２のセンサシグネチャに少なくとも部分的に基づいて識別し得、対応する動作ステータス、故障時間などを決定し得る。少なくとも１つの例では、第２のアクションを実行することは、リモートコンピューティングシステムに動作ステータスを送信することを含み得る。いくつかの例では、リモートコンピューティングシステムは、自律車両の車群（fleet）を監視するリモート監視システムと関連付け得る。
【0089】
図６は、動作５０６におけるセンサデータの処理の追加の詳細を含む例示的な方法６００を示すフローチャートである。上述したように、動作５０６において、方法５００はセンサデータを処理することを含み得る。いくつかの例では、センサデータは未処理のセンサデータを含み得る。したがって、センサデータを処理して、処理済のセンサデータを生成し得る。さらに、処理済みのセンサデータを使用して、センサデータに関連付けられた１つまたは複数の特性を決定し得る。例えば、処理済みのセンサデータを使用して、センサデータのタイプ（例えば、オーディオデータ、画像データなど）を決定し得る。
【0090】
動作６０２において、方法６００は、センサデータがオーディオデータを含むことを決定することを含み得る。図示するように、オーディオデータは、いくつかの例では、車両コンポーネントに関連付けられた少なくとも音響シグネチャおよびバックグラウンドノイズを表し得る。限定ではなく例として、オーディオデータは、ブレーキシステムのきしみ音に関連付けられた音響シグネチャと、例えば他の車両コンポーネント、環境ノイズ、車両に近接する歩行者のノイズ、他の車両のノイズなどに関連付けられたバックグラウンドノイズとを表し得る。
【0091】
動作６０４において、方法６００は、オーディオデータによって表されるバックグラウンドノイズ、または車両コンポーネントに関連付けられた音響シグネチャの少なくとも１つを識別することを含み得る。いくつかの例では、バックグラウンドノイズおよび／または音響シグネチャを識別することは、車両に関連付けられた状態に少なくとも部分的に基づき得る。一例として、車両がブレーキシステムを起動させて車両を減速させている場合、次いで、車両コンピューティングデバイスは、オーディオデータがブレーキシステムに関連付けられた音響シグネチャを含み得ることを認識し得る。したがって、車両コンピューティングデバイスは、オーディオデータを処理できるように、この情報を使用して、オーディオデータの音響シグネチャを識別し得る。
【0092】
動作６０６において、方法６００は、オーディオデータを処理して、未処理のセンサデータよりも少ないバックグラウンドノイズを含む処理済みのオーディオデータを生成することを含み得る。いくつかの例では、オーディオデータを処理することは、コンポーネントのバックグラウンドノイズおよび／または音響シグネチャの少なくとも１つを含むオーディオデータの少なくとも一部を処理することを含み得る。追加的または代替的に、オーディオデータを処理することは、バックグラウンドノイズまたは音響シグネチャのみを含むオーディオデータの一部を処理することを含み得る。
【0093】
動作６０８において、方法６００は、オーディオデータの処理を継続するかどうかを決定することを含み得る。例えば、オーディオデータは、処理済みのオーディオデータを生成するために、１回以上の追加の回数、再処理され得る。いくつかの例では、オーディオデータが処理されるたびに、前に処理済みのオーディオデータよりもさらに少ないバックグラウンドノイズを有する処理済みのオーディオデータがもたらされ得る。したがって、動作６０８において、方法６００は、動作６０６を繰り返すことによって、オーディオデータの処理（例えば、オーディオデータの再処理）を継続し得る。しかし、処理済みのオーディオデータが十分である場合（例えば、処理済みのオーディオデータが閾値回数処理されている場合、処理済みのオーディオデータが閾値量未満のバックグラウンドノイズを含む場合など）、次いで、方法６００は動作６１０に進み得る。
【0094】
動作６１０において、方法６００は、処理済みのオーディオデータを車両のコンピューティングデバイスに提供することを含み得る。追加的または代替的に、処理済みのオーディオデータは、リモートコンピューティングデバイス／システムに提供され得る。このように、車両のコンピューティングデバイスおよび／またはリモートコンピューティングデバイス／システムは、処理済みのオーディオデータを利用して、処理済みのオーディオデータに関連付けられたセンサシグネチャを決定し、および／または車両コンポーネントに関連付けられた動作ステータスを決定し得る。
【0095】
図７は、機械学習モデルを使用して車両の正常性を監視するための例示的な方法７００を示すフローチャートである。動作７０２において、方法７００は、車両のコンポーネントに関連付けられた動作ステータスを示すセンサデータを受信することを含む。いくつかの例では、センサデータは、コンポーネントに関連付けられた故障または他の異常を経験した車両のセンサによってキャプチャされたログデータを含み得る。追加的または代替的に、センサデータは、テストベンチ上で生成および／またはシミュレートされ得る。少なくとも１つの例では、センサデータは、車両のテストモード中に、車両のコンポーネントを起動し、車両の１つまたは複数のセンサを介してコンポーネントに関連付けられたセンサデータをキャプチャすることによってキャプチャし得る。様々な例において、センサデータは、オーディオデータ、ＩＭＵデータ、加速度計データ、画像データ、圧力データ、温度データ、電圧測定値、電流測定値などを含み得る。センサデータは、ＨＶＡＣシステム、ブレーキシステム、窓／ドアシール、車両の回転機械、または車両の任意の他のコンポーネントなどの車両のコンポーネントに関連付け得る。センサデータは、車両コンピューティングデバイス４０４などの車両のコンピューティングデバイスにおいて、および／またはコンピューティングデバイス４４０などのリモートコンピューティングデバイスにおいて受信され得る。追加的または代替的に、センサデータは、車両コンピューティングデバイス４０４のメモリに記憶され、後でコンピューティングデバイス４４０にアップロードされ得る。
【0096】
動作７０４において、方法７００は、センサデータを生成することに関連付けられた車両のコンポーネント（例えば、ブレーキシステム、ＨＶＡＣシステムなど）を決定することを含み、動作７０６において、方法７００は、コンポーネントに関連付けられた動作ステータスを決定することを含み得る。いくつかの例では、車両のコンポーネントおよび／または動作ステータスは、機械学習モデルをトレーニングするためのラベル付きトレーニングデータを生成するために人間のラベラ（human labeler）によって決定され得る。追加的または代替的に、車両のコンポーネントおよび／または動作ステータスは、動作中のコンポーネントに関連付けられたセンサデータの１つまたは複数のインスタンスおよび後の時点におけるコンポーネントの故障または故障の表示を含むログデータ４４８および／または故障ログ４５６などの以前に記憶されたデータに基づいて自動的に決定され得る。
【0097】
少なくとも１つの例では、センサデータをトレーニングデータとして使用し得る。トレーニングデータは、トレーニングデータが表すコンポーネントの動作ステータスの事前に構成された指定を含み得る。動作ステータスの事前に構成された指示は、本明細書に記載された動作ステータス指示のいずれかとし得、予め記憶されたログデータおよび／またはコンポーネントに関連付けられた故障ログに基づき得る。追加的または代替的に、トレーニングデータは、トレーニングデータが表すコンポーネントの識別の事前に構成された指定を含み得る。様々な例において、トレーニングデータは、別の車両の１つまたは複数の他のセンサによってキャプチャされた第２のセンサデータを含み得る。第２のセンサデータは、さらに、第２の車両のコンポーネントに関連付けられ得る。
【0098】
動作５０６において、方法７００は、第１のデータを処理することを含む。いくつかの例では、第１のデータは未処理のセンサデータを含み得る。したがって、センサデータを処理して、処理済のセンサデータを生成し得る。いくつかの例では、上述の図６を参照して説明したように、センサデータを処理することは、センサデータからデータの一部（例えば、バックグラウンドノイズ）を除去および／または低減すること、および／または関心のあるコンポーネントに起因するセンサデータの一部を分離することを含み得る。
【0099】
動作７０８において、方法７００は、センサデータを機械学習モデルに入力することを含む。いくつかの例では、センサデータは未処理のセンサデータを含み得る。追加的または代替的に、センサデータは、処理済みのセンサデータ（例えば、１つまたは複数のフィルタリングアルゴリズムに従ってフィルタリングされたセンサデータ）を含み得る。限定ではなく例として、機械学習モデルは、ペナルティ付き線形回帰モデル、線形回帰モデル、決定木、ロジスティック回帰モデル、サポートベクトルマシン（ＳＶＭ）、ナイーブ・ベイズ・モデル、ｋ－最近傍モデル、ｋ－平均モデル、ニューラルネットワーク、または他の論理、モデル、またはアルゴリズムを単独でまたは組み合わせて含むおよび／または利用し得る。
【0100】
動作７１０において、方法７００は、機械学習モデルから車両のコンポーネントに関連付けられた予測される動作ステータスを受信することを含む。いくつかの例では、予測される動作ステータスを、機械学習モデルへの１つまたは複数の事前の入力に少なくとも部分的に基づいて、機械学習モデルによって予測し得る。追加的または代替的に、予測される動作ステータスは、事前の不正確な予測を行う機械学習モデルに基づく機械学習モデルのパラメータに対する１つまたは複数の変更に少なくとも部分的に基づいて、機械学習モデルによって予測され得る。いくつかの例では、予測される動作ステータスは、車両のコンポーネントに関連付けられた摩耗の表示、コンポーネントに関連付けられた予測および／または推定される故障時間、および／またはコンポーネントに関連付けられた異常の表示を含み得る。
【0101】
動作７１２において、方法７００は、動作ステータス（例えば、７０６で決定された実際のまたは測定された動作ステータス）と予測される動作ステータスとの間に差があるかどうかを決定することを含み得る。いくつかの例では、機械学習モデルをトレーニングしている人間のオペレータによって、差を決定し得る。追加的または代替的に、機械学習モデルをトレーニングしているコンピュータによって、差を決定し得る。
【0102】
いくつかの例では、動作ステータスと予測される動作ステータスとの間に差が存在しない場合がある（例えば、機械学習モデルは正しい予測を行った）。そのケースでは、動作７１４において、方法７００は、動作７０２に戻ることを決定して、追加のセンサデータを用いて機械学習モデルをトレーニングし続け得る。例えば、機械学習モデルは、正しい予測される動作ステータス出力の閾値数よりも大きな出力を有していない場合がある。追加的または代替的に、差が存在しない場合には、次いで、機械学習モデルは適切にトレーニングされていると決定し得、トレーニングを中止し得る。
【0103】
しかし、動作ステータスと予測される動作ステータスとの間に差が存在する場合には、次いで、動作７１４において、方法７００は、動作７１６に進むことを決定し得る。動作７１６において、方法７００は、トレーニングされた機械学習モデルを取得するために、機械学習モデルの１つまたは複数のパラメータを変更して、差を最小化することを含み得る。例えば、機械学習モデルアルゴリズムのパラメータは、機械学習モデルから増加したおよび/またはより頻繁な正しい予測を取得するように調整され得る。機械学習モデルの１つまたは複数のパラメータを調整した後、方法７００は、いくつかの例において、動作７０８に進み、センサデータを機械学習モデルに再入力し得る。しかし、方法７００は、動作７０２、７０４、７０６などの他の動作に進み得る。このようにして、機械学習モデルは、機械学習モデルが正しい予測を行うかどうかを決定するように、同じセンサデータを用いて再度トレーニングされ得る。
【0104】
いくつかの例では、トレーニングされた機械学習モデルは、車両コンピューティングデバイスなどの車両に局所的に格納されたメモリに存在し得る、および／またはサーバコンピューティングデバイスまたは車両のリモート監視システムに関連付けられたコンピューティングデバイスなどの車両から遠隔に格納されたメモリに存在し得る。
【0105】
上述の方法５００、６００、および７００は、ハードウェア、ソフトウェア、またはそれらの組み合わせにおいて実施できる動作のシーケンスを表す論理フローグラフにおけるブロックの集合として図示されている。ソフトウェアのコンテキストにおいて、ブロックは、１つまたは複数のプロセッサによって実行されると、列挙された動作を実行する、１つまたは複数のコンピュータ可読記憶媒体に記憶されたコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令は、特定の機能を実行するか、または特定の抽象データ型を実施するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。動作が記載される順序は、限定として解釈されるように意図されておらず、任意の数の記載されたブロックを任意の順序でおよび／または並列に組み合わせて、プロセスを実施できる。いくつかの実施形態では、プロセスの１つまたは複数のブロックを完全に省略し得る。さらに、方法５００、６００および７００を、全体または部分的に互いにまたは他の方法と組み合わし得る。
【0106】
本明細書に記載された様々な技術は、コンピュータ可読ストレージに記憶され、１つまたは複数のコンピュータのプロセッサまたは図に示されたような他のデバイスによって実行されるプログラムモジュールなどのコンピュータ実行可能命令またはソフトウェアのコンテキストで実施され得る。一般に、プログラムモジュールは、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含み、特定のタスクを実行するための動作ロジックを定義する、または特定の抽象データ型を実装する。
【0107】
他のアーキテクチャを使用して、記載された機能を実施し得、本開示の範囲内にあることが意図される。さらに、説明のために責任の特定の配分が上記で定義されているが、様々な機能および責任は、状況に応じて、異なる手段で配分および分割され得る。
【0108】
同様に、ソフトウェアは、様々な方法で、異なる手段を用いて記憶され、配布され得る、上述した特定のソフトウェアストレージおよび実行構成は、多くの異なる手段で変更され得る。したがって、上述の技術を実施するソフトウェアは、具体的に記載されるメモリの形態に限定されない様々なタイプのコンピュータ可読媒体に配布され得る。
【0109】
［例示的な発明内容］
このセクションの例示的な発明内容のいずれかは、他の例示的な発明内容のいずれかまたは本明細書に記載される他の例または実施形態のいずれかと共に使用され得る。
このセクションの例示的な発明内容のいずれかは、他の例示的な発明内容のいずれかまたは本明細書に記載される他の例または実施形態のいずれかと共に使用され得る。
【0110】
Ａ．１つまたは複数のプロセッサと、命令を記憶した１つまたは複数のコンピュータ可読媒体と、を含むシステムであって、前記命令は、前記１つまたは複数のプロセッサに実行されると、前記システムに、第１の時間に、車両のコンポーネントを起動させることと、前記車両のオーディオセンサから、前記車両の前記コンポーネントに関連付けられた第１のオーディオデータを前記第１の時間に受信することと、前記第１のオーディオデータの処理に少なくとも部分的に基づいて、前記車両の前記コンポーネントに関連付けられた第１のセンサシグネチャを決定することと、前記第１のセンサシグネチャを記憶することと、第２のオーディオデータに少なくとも部分的に基づいて、前記第１の時間に続く第２の時間に前記車両の前記コンポーネントに関連付けられた第２のセンサシグネチャを決定することと、前記第１のセンサシグネチャと前記第２のセンサシグネチャとの間の変動が閾値変動よりも大きいことを決定することと、前記変動が前記閾値変動よりも大きいことに少なくとも部分的に基づいて、前記コンポーネントに関連付けられた動作ステータスを出力することと、を含む動作を実行させる、システム。
【0111】
Ｂ．前記車両の前記コンポーネントに関連付けられた前記第２のセンサシグネチャを決定することは、前記車両の前記コンポーネントを起動させることと、前記オーディオセンサから、前記車両の前記コンポーネントに関連付けられた前記第２のオーディオデータを受信することと、前記第２のオーディオデータを処理することに少なくとも部分的に基づいて、前記車両の前記コンポーネントに関連付けられた前記第２のセンサシグネチャを決定することと、を含む、段落Ａに記載のシステム
【0112】
Ｃ．前記動作が、動作パラメータに従って、前記第１の時間における前記車両の別のコンポーネントの動作を制御することと、前記動作パラメータに従って前記第２の時間における前記他のコンポーネントの動作を制御することとをさらに含み、前記動作パラメータが、速度、ステアリング角度、制動条件、位置、温度、または時刻の少なくとも１つを含む、段落ＡまたはＢのいずれか１つに記載のシステム。
【0113】
Ｄ．前記第１のオーディオデータの少なくとも一部が、前記コンポーネントおよび前記バックグラウンドノイズに起因するオーディオデータを含み、前記第１のオーディオデータを処理することが、前記第１のオーディオデータをフィルタリングして、前記バックグラウンドノイズを除去することを含む、段落Ａ乃至Ｃのいずれか１つに記載のシステム。
【0114】
Ｅ．前記第１のセンサシグネチャと前記第２のセンサシグネチャとの間の前記変動が前記閾値変動よりも大きいと決定することは、前記第１のセンサシグネチャおよび前記第２のセンサシグネチャの周波数、大きさ、または調性の少なくとも１つに少なくとも部分的に基づいている、段落Ａ乃至Ｄのいずれか１つに記載のシステム。
【0115】
Ｆ．車両のコンポーネントに関連付けられた動作ステータスを示す第１のセンサシグネチャを受信することと、前記車両の前記コンポーネントを起動させることと、前記車両のセンサから、前記コンポーネントに関連付けられたデータを受信することと、前記データに少なくとも部分的に基づいて、前記コンポーネントに関連付けられた第２のセンサシグネチャを決定することと、前記第１のセンサシグネチャと前記第２のセンサシグネチャとの間の関連付けを決定することと、前記関連付けに少なくとも部分的に基づいて、前記コンポーネントに関連付けられた前記動作ステータスを出力することと、を含む方法。
【0116】
Ｇ．前記コンポーネントと同じタイプの別のコンポーネントに関連付けられた第２のデータを受信することと、前記第２のデータに少なくとも部分的に基づいて、前記第１のセンサシグネチャを決定することと、をさらに含む、段落Ｆに記載の方法。
【0117】
Ｈ．前記車両の前記コンポーネントを起動させながら、動作パラメータに従って前記車両の別のコンポーネントの動作を制御することをさらに含み、前記動作パラメータが、速度、ステアリング角、制動条件、位置、温度、または時刻の少なくとも１つを含む、段落Ｆまたは段落Ｇのいずれか１つに記載の方法。
【0118】
Ｉ．前記センサがマイクロフォンを含み、前記データが前記コンポーネントおよびバックグラウンドノイズに関連付けられたオーディオデータを含み、前記第２のセンサシグネチャを決定することが、前記データを処理して、前記バックグラウンドノイズを除去することをさらに含む、段落Ｆ乃至Ｈのいずれか１つに記載の方法。
【0119】
Ｊ．前記第２のセンサシグネチャに少なくとも部分的に基づいて、前記動作ステータスを決定することをさらに含み、前記動作ステータスは、前記コンポーネントに関連付けられた摩耗の表示、前記コンポーネントに関連付けられた予測される故障時間、または前記コンポーネントに関連付けられた異常の表示の少なくとも１つを含む、段落Ｆ乃至Ｉのいずれか１つに記載の方法。
【0120】
Ｋ．前記動作ステータスに少なくとも部分的に基づいて、前記車両または前記コンポーネントの少なくとも１つに整備を提供させることをさらに含む、段落Ｆ乃至Ｊのいずれか１つに記載の方法。
【0121】
Ｌ．前記第１のセンサシグネチャまたは前記第２のセンサシグネチャの少なくとも１つが、経時的に前記センサからの測定値のデータ時系列を含み、前記車両に関連付けられた１つまたは複数の動作パラメータに関連付けられている、段落Ｆ乃至Ｋのいずれか１つに記載の方法。
【0122】
Ｍ．前記コンポーネントに関連付けられた前記動作ステータスを出力することは、前記動作ステータスを示すデータを前記車両に関連付けられたリモート監視システムに送信することを含む、段落Ｆ乃至Ｌのいずれか１つに記載の方法。
【0123】
Ｎ．前記データを前記車両のローカルメモリに格納することと、ネットワークを介して、前記車両に関連付けられたリモートコンピューティングシステムにデータを送信することと、をさらに含む、段落Ｆ乃至Ｍのいずれか１つに記載の方法。
【0124】
Ｏ．センサが、マイクロフォン、慣性測定ユニット（ＩＭＵ）、加速度計、または圧電センサを含む、段落Ｆ乃至Ｎのいずれか１つに記載の方法。
【0125】
Ｐ．前記センサが、前記車両の前記コンポーネントに関連付けられた音を位置決めするための１つまたは複数のマイクロフォンを含む、段落Ｆ乃至Ｏのいずれか１つに記載の方法。
【0126】
Ｑ．命令を記憶する１つまたは複数の非一時的コンピュータ可読記憶媒体であって、前記命令は１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに車両のコンポーネントに関連付けられた動作ステータスを示す第１のセンサシグネチャを受信することと、前記車両の前記コンポーネントを起動させることと、前記車両のセンサから、前記コンポーネントに関連付けられたデータを受信することと、前記データに少なくとも部分的に基づいて、前記コンポーネントに関連付けられた第２のセンサシグネチャを決定することと前記第１のセンサシグネチャと前記第２のセンサシグネチャとの間の関連付けに少なくとも部分的に基づいて、前記コンポーネントに関連付けられた動作ステータスを出力することと、を含む動作を実行させる、１つまたは複数の非一時的コンピュータ可読記憶媒体。
【0127】
Ｒ．前記センサがマイクロフォンを含み、前記データが前記コンポーネントおよび前記バックグラウンドノイズに関連付けられたオーディオデータを含み、前記第２のセンサシグネチャを決定することが、前記データを処理して、前記バックグラウンドノイズを除去することをさらに含む、段落Ｑに記載の１つまたは複数の非一時的コンピュータ可読記憶媒体。
【0128】
Ｓ．前記動作が、前記第２のセンサシグネチャに少なくとも部分的に基づいて、前記動作ステータスを決定することをさらに含み、前記動作ステータスは、前記コンポーネントに関連付けられた摩耗の表示、前記コンポーネントに関連付けられた予測される故障時間、または前記コンポーネントに関連付けられた異常の表示の少なくとも１つを含む、段落ＱまたはＲのいずれか１つに記載の１つまたは複数の非一時的コンピュータ可読記憶媒体。
【0129】
Ｔ．前記動作が前記コンポーネントと同じタイプの別のコンポーネントに関連付けられた第２のデータを受信することと、前記第２のデータに少なくとも部分的に基づいて、前記第１のセンサシグネチャを決定することと、をさらに含む、段落Ｑ乃至Ｓのいずれか１つに記載の１つまたは複数の非一時的コンピュータ可読記憶媒体。
【0130】
Ｕ．１つまたは複数のプロセッサと、命令を記憶した１つまたは複数のコンピュータ可読媒体と、を含むシステムであって、前記命令は、前記１つまたは複数のプロセッサに実行されると、前記１つまたは複数のプロセッサに、車両の１つまたは複数のセンサによってキャプチャされたセンサデータを受信することであって、前記センサデータは、前記車両のコンポーネントに関連付けられた動作ステータスを示すオーディオデータを含む、ことと、前記オーディオデータを生成することに関連付けられた前記車両の前記コンポーネントを決定することと、前記車両の前記コンポーネントに関連付けられた前記動作ステータスを決定することと、機械学習モデルに前記オーディオデータを入力することと、前記機械学習モデルから、前記車両の前記コンポーネントに関連付けられた予測される動作ステータスを受信することと、前記コンポーネントに関連付けられた前記予測される動作ステータスと、前記コンポーネントに関連付けられた前記動作ステータスとの間の差を決定することと、前記車両の前記コンポーネントの前記動作ステータスを予測するようにトレーニングされたトレーニングされた機械学習モデルを取得するために、前記差に少なくとも部分的に基づいて、前記機械学習モデルの１つまたは複数のパラメータを変更して前記差を最小化することと、を含む動作を実行させる、システム。
【0131】
Ｖ．前記機械学習モデルが、ペナルティ化された線形回帰モデルまたは決定木の少なくとも１つを含む、段落Ｕに記載のシステム。
【0132】
Ｗ．前記オーディオデータは、前記コンポーネントおよびバックグラウンドノイズに関連付けられた少なくとも音響シグネチャを表し、前記動作は、前記オーディオデータの前記バックグラウンドノイズを識別することと、前記オーディオデータの少なくとも一部を処理して、前記バックグラウンドノイズの少なくとも一部を除去して、処理済みのオーディオデータを生成することと、機械学習モデルに処理済みのオーディオデータを入力することと、をさらに含む、段落ＵまたはＶのいずれか１つに記載のシステム。
【0133】
Ｘ．前記動作が、前記車両の前記１つまたは複数のセンサによってキャプチャされた追加のセンサデータを受信することであって、前記追加のセンサデータは追加のオーディオデータを含む、ことと、前記トレーニングされた機械学習モデルに前記追加オーディオデータを入力することと、前記トレーニングされた機械学習モデルから、前記追加のオーディオデータに少なくとも部分的に基づいて、前記コンポーネントに関連付けられた前記動作ステータスを受信することと、をさらに含む、段落Ｕ乃至Ｗのいずれか１つに記載のシステム。
【0134】
Ｙ．車両のコンポーネントに関連付けられた動作ステータスを示すセンサデータを受信することと、前記センサデータに少なくとも部分的に基づいて、前記コンポーネントに関連付けられた前記動作ステータスを決定することと、機械学習モデルに前記センサデータを入力することと、前記機械学習モデルから、前記車両の前記コンポーネントに関連付けられた予測される動作ステータスを受信することと、前記予測される動作ステータスに少なくとも部分的に基づいて、前記機械学習モデルのパラメータを変更して、トレーニングされた機械学習モデルを取得することと、を含む方法。
【0135】
Ｚ．前記センサデータは、前記コンポーネントと同じタイプの別のコンポーネントの故障を経験した第２の車両からの記憶されたログデータを含む、段落Ｙに記載の方法。
【0136】
ＡＡ．前記予測される動作ステータスは、前記コンポーネントに関連付けられた摩耗の表示、前記コンポーネントに関連付けられた予測される故障時間、または前記コンポーネントに関連付けられた異常の表示の少なくとも１つを含む、段落Ｙまたは段落Ｚのいずれか１つに記載の方法。
【0137】
ＢＢ．前記コンポーネントと同じタイプを有する複数のコンポーネントのセンサデータに少なくとも部分的に基づいて、前記車両の前記コンポーネントに関連付けられた平均の故障時間を決定することと、前記機械学習モデルから、前記車両の前記コンポーネントに関連付けられた推定される故障時間を受信することと、をさらに含み、前記機械学習モデルの前記パラメータを変更することはさらに、前記平均の故障時間と前記推定される故障時間との差に少なくとも部分的に基づいている、段落Ｙ乃至ＡＡのいずれか１つに記載の方法。
【0138】
ＣＣ．前記センサデータが、前記コンポーネントおよびバックグラウンドノイズに関連付けられた少なくとも音響シグネチャを表すオーディオデータを含み、前記方法が、前記オーディオデータの前記バックグラウンドノイズを識別することと、前記オーディオデータを処理して、前記バックグラウンドノイズの少なくとも一部を除去して、処理済みのオーディオデータを生成することと、前記機械学習モデルに前記処理済みのオーディオデータを入力することと、をさらに含む、段落Ｙ乃至ＢＢのいずれか１つに記載の方法。
【0139】
ＤＤ．前記センサデータが、オーディオデータまたは慣性測定ユニット（ＩＭＵ）データの少なくとも１つの一連の測定値を含む、段落Ｙ乃至ＣＣのいずれか１つに記載の方法。
【0140】
ＥＥ．前記センサデータが、第１の音響センサからの第１のオーディオデータおよび第２の音響センサからの第２のオーディオデータを含み、前記方法が、前記第１のオーディオデータおよび前記第２のオーディオデータに少なくとも部分的に基づいて、前記コンポーネントまたは前記コンポーネントの位置の１つまたは複数を決定することと、をさらに含む、段落Ｙ乃至ＤＤのいずれか１つに記載の方法。
【0141】
ＦＦ．前記車両の前記１つまたは複数のセンサによってキャプチャされた第２のセンサデータを受信することと、前記トレーニングされた機械学習モデルに前記第２のセンサデータを入力することと、前記トレーニングされた機械学習モデルから、前記車両の前記コンポーネントに関連付けられた前記動作ステータスを受信することと、をさらに含む、段落Ｙ乃至ＥＥのいずれか１つに記載の方法。
【0142】
ＧＧ．命令を記憶する１つまたは複数の非一時的コンピュータ可読記憶媒体であって、前記命令は１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに、車両のコンポーネントに関連付けられた動作ステータスを示すセンサデータを受信することと、前記センサデータに少なくとも部分的に基づいて、前記コンポーネントに関連付けられた前記動作ステータスを決定することと、機械学習モデルに前記センサデータを入力することと、前記機械学習モデルから、前記車両の前記コンポーネントに関連付けられた予測される動作ステータスを受信することと、前記予測される動作ステータスに少なくとも部分的に基づいて、前記機械学習モデルのパラメータを変更して、トレーニングされた機械学習モデルを取得することと、を含む動作を実行させる、１つまたは複数の非一時的コンピュータ可読記憶媒体。
【0143】
ＨＨ．前記センサデータは、前記コンポーネントと同じタイプの別のコンポーネントの故障を経験した第２の車両からの記憶されたログデータを含む、段落ＧＧに記載の１つまたは複数の非一時的コンピュータ可読記憶媒体。
【0144】
ＩＩ．前記予測される動作ステータスは、前記コンポーネントに関連付けられた摩耗の表示、前記コンポーネントに関連付けられた予測される故障時間、または前記コンポーネントに関連付けられた異常の表示の少なくとも１つを含む、段落ＧＧまたはＨＨのいずれか１つに記載の１つまたは複数の非一時的コンピュータ可読記憶媒体。
【0145】
ＪＪ．前記動作が前記コンポーネントと同じタイプを有する複数のコンポーネントに関連付けられた平均の故障時間を決定することと、前記機械学習モデルから、前記車両の前記コンポーネントに関連付けられた推定される故障時間を受信することと、をさらに含み、前記機械学習モデルの前記パラメータを変更することはさらに、前記平均の故障時間と前記推定される故障時間との間の差に少なくとも部分的に基づいている、段落ＧＧ乃至ＩＩのいずれか１つに記載の１つまたは複数の非一時的コンピュータ可読記憶媒体。
【0146】
ＫＫ．前記センサデータが、オーディオデータまたは慣性測定ユニット（ＩＭＵ）データの少なくとも１つの経時的な一連の測定値を含む、段落ＧＧ乃至ＪＪのいずれか１つに記載の１つまたは複数の非一時的コンピュータ可読記憶媒体。
【0147】
ＬＬ．前記センサデータが、前記コンポーネントおよびバックグラウンドノイズに関連付けられた少なくとも音響シグネチャを表すオーディオデータを含み、前記動作が、前記オーディオデータの前記バックグラウンドノイズを識別することと、前記オーディオデータを処理して、前記バックグラウンドノイズの少なくとも一部を除去して、処理済みのオーディオデータを生成することと、前記機械学習モデルに、前記処理済みのオーディオデータを入力することと、をさらに含む、段落ＧＧ乃至ＫＫのいずれか１つに記載の１つまたは複数の非一時的コンピュータ可読記憶媒体。
【0148】
ＭＭ．前記センサデータが、第１の音響センサからの第１のオーディオデータおよび第２の音響センサからの第２のオーディオデータを含み、前記方法が、前記第１のオーディオデータおよび前記第２のオーディオデータに少なくとも部分的に基づいて、前記コンポーネントまたは前記コンポーネントの位置の１つまたは複数を決定することと、をさらに含む、段落ＧＧ乃至ＬＬのいずれか１つに記載の１つまたは複数の非一時的コンピュータ可読記憶媒体。
【0149】
ＮＮ．前記動作が前記車両の前記１つまたは複数のセンサによってキャプチャされた第２のセンサデータを受信することと、前記トレーニングされた機械学習モデルに前記第２のセンサデータを入力することと、前記トレーニングされた機械学習モデルから、前記車両の前記コンポーネントに関連付けられた前記動作ステータスを受信することと、をさらに含む、段落ＧＧ乃至ＭＭのいずれか１つに記載の１つまたは複数の非一時的コンピュータ可読記憶媒体。
【0150】
上述の例示の発明内容は１つの特定の実施形態に関して説明しているが、この文書のコンテキストでは、例示の発明内容はまた、方法、デバイス、システムおよび／またはコンピュータ可読媒体、および／またはその他の実施形態を介して実施できることを理解されたい。さらに、例Ａ乃至ＮＮのいずれかは、単独で、または他の１つもしくは複数の例Ａ乃至ＮＮと組み合わせて実装され得る。
【0151】
［結論］
本明細書で説明する技術の１つまたは複数の例について説明したが、様々な変更、追加、置換、およびそれらの同等物が、本明細書で説明する技術の範囲内に含まれる。
本明細書で説明する技術の１つまたは複数の例について説明したが、様々な変更、追加、置換、およびそれらの同等物が、本明細書で説明する技術の範囲内に含まれる。
【0152】
例示の説明では、本明細書の一部を形成する添付の図面を参照するが、これは例示として請求される主題の具体的な例を示す。他の例を使用でき、構造的変更などの変更または代替を行うことできることを理解されたい。そのような例示、変更または代替は、意図して請求される主題に関する範囲から必ずしも逸脱するものではない。本明細書のステップは特定の順序で提示できるが、いくつかのケースでは、説明したシステムおよび方法の機能を変更することなく、特定の入力を異なる時間または異なる順序で提供するように、順序を変更できる。開示された手順をまた異なる順序で実行できる。さらに、本明細書にある様々な計算は開示された順序で実行される必要はなく、計算の代替順序を使用する他の例を容易に実装できる。並べ替えに加えて、計算はまた、同じ結果となるサブ計算に分解できる。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【国際調査報告】