知財求人 - 知財ポータルサイト「IP Force」
▶ エヌイーシー ラボラトリーズ アメリカ インクの特許一覧
特表2024-544906不具合検出のためのマルチモダリティデータ解析エンジン
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-05
(54)【発明の名称】不具合検出のためのマルチモダリティデータ解析エンジン
(51)【国際特許分類】
G08G 1/16 20060101AFI20241128BHJP
B60W 50/02 20120101ALI20241128BHJP
B60W 60/00 20200101ALI20241128BHJP
【ＦＩ】
G08G1/16 C
B60W50/02
B60W60/00
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024527428
(86)(22)【出願日】2022-11-11
(85)【翻訳文提出日】2024-05-15
(86)【国際出願番号】 US2022049646
(87)【国際公開番号】W WO2023086533
(87)【国際公開日】2023-05-19
(31)【優先権主張番号】63/278,568
(32)【優先日】2021-11-12
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/984,413
(32)【優先日】2022-11-10
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】504080663
【氏名又は名称】エヌイーシー ラボラトリーズ アメリカ インク
【氏名又は名称原語表記】ＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ．
(74)【代理人】
【識別番号】100123788
【弁理士】
【氏名又は名称】宮崎 昭夫
(74)【代理人】
【識別番号】100127454
【弁理士】
【氏名又は名称】緒方 雅昭
(72)【発明者】
【氏名】タン、 ルーアン
(72)【発明者】
【氏名】チェン、 ユンコン
(72)【発明者】
【氏名】チェン、 ウェイ
(72)【発明者】
【氏名】チェン、 ハイフォン
(72)【発明者】
【氏名】チェン、 ジェンジャン
(72)【発明者】
【氏名】小林 佑嗣
【テーマコード（参考）】
3D241
5H181
【Ｆターム（参考）】
3D241BA60
3D241BB72
3D241CE01
3D241CE04
3D241CE05
3D241CE07
3D241DA44Z
3D241DB02Z
3D241DB05Z
5H181AA01
5H181BB05
5H181BB20
5H181CC03
5H181CC04
5H181CC14
5H181FF04
5H181FF25
5H181FF27
5H181FF33
5H181LL07
5H181LL08
5H181LL09
(57)【要約】
車両の走行動作に関する不具合検出のためのシステム及び方法は、複数の異なるタイプの車両センサから複数のモダリティの入力データストリームを収集し、グリッドベースの特徴抽出器を用いて入力データストリームから１つまたは複数の特徴を抽出し、グリッドベースの特徴抽出器の複数のセルのいずれかに位置するオブジェクトの空間属性を取得することを含む。相互アテンションベースの異常検出及び時系列ベースの異常検出のそれぞれによって生成された残差スコアに基づいて１つまたは複数の異常が検出される。予め設定された不具合スコアの閾値を超える、相互アテンションベースの異常検出と時系列ベースの異常検出の残差スコアを統合することで特定される、生成された総不具合スコアに基づいて、１つまたは複数の不具合が特定される。特定された１つまたは複数の不具合に基づいて車両の走行動作が制御される。
【選択図】図２
【選択図】図２
【特許請求の範囲】
【請求項1】
車両の走行動作に関する不具合検出のための方法であって、複数の異なるタイプの車両センサから複数のモダリティの入力データストリームを収集するステップと、
グリッドベースの特徴抽出器を用いて前記入力データストリームから１つまたは複数の特徴を抽出するステップと、
前記グリッドベースの特徴抽出器の複数のセルのいずれかに位置するオブジェクトの空間属性を取得するステップと、
相互アテンションベースの異常検出及び時系列ベースの異常検出のそれぞれによって生成された残差スコアに基づいて１つまたは複数の異常を検出するステップと、
予め設定された不具合スコアの閾値を超える、前記相互アテンションベースの異常検出と前記時系列ベースの異常検出の残差スコアを統合することで特定される、生成された総不具合スコアに基づいて、１つまたは複数の不具合を特定するステップと、
特定された１つまたは複数の不具合に基づいて前記車両の走行動作を制御するステップと、
を有する方法。
【請求項2】
前記相互アテンションベースの異常検出は、前記オブジェクトの空間属性及び車両システムデータを使用し、前記時系列ベースの異常検出は、検出中に前記車両システムデータを使用する、請求項１に記載の方法。
【請求項3】
前記オブジェクトは、１つまたは複数の危険な状況を表す環境オブジェクトである、請求項１に記載の方法。
【請求項4】
前記グリッドベースの特徴抽出器は９つのセルを含み、前記車両は前記グリッドベースの特徴抽出器の中央のセル内に配置される、請求項１に記載の方法。
【請求項5】
前記車両の走行動作中に前記収集するステップ、前記抽出するステップ、前記取得するステップ、前記検出するステップ及び前記特定するステップを反復して繰り返すことにより、前記車両の走行動作中に追加の不具合がリアルタイムに継続して検出される、請求項１に記載の方法。
【請求項6】
前記相互アテンションベースの異常検出は、受信した環境データをエンコードし、経時的なアテンションステージでクエリと照合される、１つまたは複数のキーを生成することで、アテンション計算ステージで環境アテンション重みを生成するステップと、
前記環境アテンション重みを前記車両の履歴システムデータにクロス適用して、次のタイムステップでの値の予測を生成するステップと、
実際の値と予測値との間の損失関数を最小化するために、予測の１つまたは複数のパラメータを調整してモデルを訓練するステップと、
をさらに含む、請求項１に記載の方法。
【請求項7】
前記総不具合スコアは、【数1】
【請求項8】
車両の走行動作に関する不具合検出のためのシステムであって、コンピュータで読み取り可能な非一時的な記録媒体に動作可能に接続された１つまたは複数のプロセッサを備え、
前記プロセッサが、
複数の異なるタイプの車両センサから複数のモダリティの入力データストリームを収集するステップと、
グリッドベースの特徴抽出器を用いて前記入力データストリームから１つまたは複数の特徴を抽出するステップと、
前記グリッドベースの特徴抽出器の複数のセルのいずれかに位置するオブジェクトの空間属性を取得するステップと、
相互アテンションベースの異常検出及び時系列ベースの異常検出のそれぞれによって生成された残差スコアに基づいて１つまたは複数の異常を検出するステップと、
予め設定された不具合スコアの閾値を超える、前記相互アテンションベースの異常検出と前記時系列ベースの異常検出の残差スコアを統合することで特定される、生成された総不具合スコアに基づいて、１つまたは複数の不具合を特定するステップと、
特定された１つまたは複数の不具合に基づいて前記車両の走行動作を制御するステップと、
を実行するように構成された、システム。
【請求項9】
前記相互アテンションベースの異常検出は、前記オブジェクトの空間属性及び車両システムデータを使用し、前記時系列ベースの異常検出は、検出中に前記車両システムデータを使用する、請求項８に記載のシステム。
【請求項10】
前記オブジェクトは、１つまたは複数の危険な状況を表す環境オブジェクトである、請求項８に記載のシステム。
【請求項11】
前記グリッドベースの特徴抽出器は９つのセルを含み、前記車両は前記グリッドベースの特徴抽出器の中央のセル内に配置される、請求項８に記載のシステム。
【請求項12】
前記車両の走行動作中に前記収集するステップ、前記抽出するステップ、前記取得するステップ、前記検出するステップ及び前記特定するステップを反復して繰り返すことにより、前記車両の走行動作中に追加の不具合がリアルタイムに継続して検出される、請求項８に記載のシステム。
【請求項13】
前記相互アテンションベースの異常検出は、受信した環境データをエンコードし、経時的なアテンションステージでクエリと照合される、１つまたは複数のキーを生成することで、アテンション計算ステージで環境アテンション重みを生成するステップと、
前記環境アテンション重みを前記車両の履歴システムデータにクロス適用して、次のタイムステップでの値の予測を生成するステップと、
実際の値と予測値との間の損失関数を最小化するために、予測の１つまたは複数のパラメータを調整してモデルを訓練するステップと、
をさらに含む、請求項８に記載のシステム。
【請求項14】
前記総不具合スコアは、【数2】
【請求項15】
車両の走行動作に関する不具合検出のためのプロセッサデバイスに動作可能に接続された、コンピュータで読み取り可能なプログラムを含む前記コンピュータで読み取り可能な非一時的な記録媒体であって、前記コンピュータで読み取り可能なプログラムが前記コンピュータで実行されると、前記コンピュータが、
複数の異なるタイプの車両センサから複数のモダリティの入力データストリームを収集するステップと、
グリッドベースの特徴抽出器を用いて前記入力データストリームから１つまたは複数の特徴を抽出するステップと、
前記グリッドベースの特徴抽出器の複数のセルのいずれかに位置するオブジェクトの空間属性を取得するステップと、
相互アテンションベースの異常検出及び時系列ベースの異常検出のそれぞれによって生成された残差スコアに基づいて１つまたは複数の異常を検出するステップと、
予め設定された不具合スコアの閾値を超える、前記相互アテンションベースの異常検出と前記時系列ベースの異常検出の残差スコアを統合することで特定される、生成された総不具合スコアに基づいて、１つまたは複数の不具合を特定するステップと、
特定された１つまたは複数の不具合に基づいて前記車両の走行動作を制御するステップと、
を実行する、コンピュータで読み取り可能な非一時的な記録媒体。
【請求項16】
前記相互アテンションベースの異常検出は、前記オブジェクトの空間属性及び車両システムデータを使用し、前記時系列ベースの異常検出は、検出中に前記車両システムデータを使用する、請求項１５に記載のコンピュータで読み取り可能な非一時的な記録媒体。
【請求項17】
前記グリッドベースの特徴抽出器は９つのセルを含み、前記車両は前記グリッドベースの特徴抽出器の中央のセル内に配置される、請求項１５に記載のコンピュータで読み取り可能な非一時的な記録媒体。
【請求項18】
前記車両の走行動作中に前記収集するステップ、前記抽出するステップ、前記取得するステップ、前記検出するステップ及び前記特定するステップを反復して繰り返すことにより、前記車両の走行動作中に追加の不具合がリアルタイムに継続して検出される、請求項１５に記載のコンピュータで読み取り可能な非一時的な記録媒体。
【請求項19】
前記相互アテンションベースの異常検出は、受信した環境データをエンコードし、経時的なアテンションステージでクエリと照合される、１つまたは複数のキーを生成することで、アテンション計算ステージで環境アテンション重みを生成するステップと、
前記環境アテンション重みを前記車両の履歴システムデータにクロス適用して、次のタイムステップでの値の予測を生成するステップと、
実際の値と予測値との間の損失関数を最小化するために、予測の１つまたは複数のパラメータを調整してモデルを訓練するステップと、
をさらに含む、請求項１５に記載のコンピュータで読み取り可能な非一時的な記録媒体。
【請求項20】
前記総不具合スコアは、【数3】
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車両センサ用のマルチモダリティデータ解析エンジンに関し、より具体的には、車両の走行動作中に車両センサで収集される複数の異なるタイプのデータの解析に基づいて、車両の自律、半自律及び／または通知支援運転のリアルタイムな不具合検出の精度を向上させることに関する。
【背景技術】
【0002】
従来の自律走行車、半自律走行車及び／または通知支援車両は、車両の様々な位置（例えば、前方、後方、左、右等）に配置された複数のカメラを用いて、車両の走行動作中に周囲のエリアの完全な３６０度のビューを構築することで、自律運転に関連するデータを収集する。従来のカメラベースの自動運転システムは、各カメラで撮影されたビューを正確に描写するが、そのようなシステムを使用する場合、特定のオブジェクトとの距離等に関連する特徴を判定することが困難または不可能なことがある。さらに、このようなカメラベースの自動運転システムは、一般的に視界が悪い状況（夜間、霧、雨、雪等）ではうまく機能せず、データの解析精度が低下したり、車両の走行動作タスク（加速、ブレーキ、障害物の通知等）の性能が低下したりする可能性がある。
【発明の概要】
【0003】
本発明の一態様によれば、複数の異なるタイプの車両センサから複数のモダリティの入力データストリームを収集し、グリッドベースの特徴抽出器を用いて前記入力データストリームから１つまたは複数の特徴を抽出し、前記グリッドベースの特徴抽出器の複数のセルのいずれかに位置するオブジェクトの空間属性を取得することを含む、車両の走行動作に関する不具合検出のための方法が提供される。相互アテンションベースの異常検出及び時系列ベースの異常検出のそれぞれによって生成された残差スコアに基づいて１つまたは複数の異常が検出される。予め設定された不具合スコアの閾値を超える、前記相互アテンションベースの異常検出と前記時系列ベースの異常検出の残差スコアを統合することで特定される、生成された総不具合スコアに基づいて、１つまたは複数の不具合が特定される。特定された１つまたは複数の不具合に基づいて車両の走行動作が制御される。
【0004】
本発明の別の態様によれば、複数の異なるタイプの車両センサから複数のモダリティの入力データストリームを収集し、グリッドベースの特徴抽出器を用いて前記入力データストリームから１つまたは複数の特徴を抽出し、前記グリッドベースの特徴抽出器の複数のセルのいずれかに位置するオブジェクトの空間属性を取得するように構成された、プロセッサ装置を含む、車両の走行動作に関する不具合検出のためのシステムが提供される。相互アテンションベースの異常検出及び時系列ベースの異常検出のそれぞれによって生成された残差スコアに基づいて１つまたは複数の異常が検出される。予め設定された不具合スコアの閾値を超える、前記相互アテンションベースの異常検出と前記時系列ベースの異常検出の残差スコアを統合することで特定される、生成された総不具合スコアに基づいて、１つまたは複数の不具合が特定される。特定された１つまたは複数の不具合に基づいて車両の走行動作が制御される。
【0005】
本発明の別の態様によれば、複数の異なるタイプの車両センサから複数のモダリティの入力データストリームを収集し、グリッドベースの特徴抽出器を用いて前記入力データストリームから１つまたは複数の特徴を抽出し、前記グリッドベースの特徴抽出器の複数のセルのいずれかに位置するオブジェクトの空間属性を取得することを含む、車両の走行動作に関する不具合検出のための方法をコンピュータに実行させるように構成されたコンテンツを含むコンピュータで読み取り可能な非一時的な記録媒体が提供される。相互アテンションベースの異常検出及び時系列ベースの異常検出のそれぞれによって生成された残差スコアに基づいて１つまたは複数の異常が検出される。予め設定された不具合スコアの閾値を超える、前記相互アテンションベースの異常検出と前記時系列ベースの異常検出の残差スコアを統合することで特定される、生成された総不具合スコアに基づいて、１つまたは複数の不具合が特定される。特定された１つまたは複数の不具合に基づいて車両の走行動作が制御される。
【0006】
これら及び他の特徴並びに利点は、以下の例示的な実施形態の詳細な説明を添付の図面と併せて読むことで明らかになるであろう。
【0007】
本開示では、後述するように、以下の図面を参照しながら好ましい実施形態について詳細に説明する。
【図面の簡単な説明】
【0008】
【0009】
【0010】
【0011】
【0012】
【0013】
【0014】
【0015】
【0016】
【0017】
【0018】
【発明を実施するための形態】
【0019】
本発明の実施形態によれば、車両センサから収集された複数の異なるタイプのデータの解析に基づく、車両の走行動作中にリアルタイムな不具合検出の精度が向上した、車両の自律、半自律及び／または通知支援運転のためのシステム及び方法が提供される。
【0020】
本発明の態様によれば、様々な実施形態において、車両の自律、半自律及び／または通知支援運転のために、複数の異なるタイプのセンサ（例えば、カメラ、レーダー、近接センサ、ＬＩＤＡＲ、ＧＰＳ等）を車両（例えば、自動車、航空機、ドローン、ボート、ロケット式宇宙船等）に取り付けて利用できる。説明を簡単にするために、本発明の実施形態による、自律、半自律及び／または通知支援運転が可能なこのような車両を、以下では「自律走行車」と呼ぶ。
【0021】
様々な実施形態において、複数の異なるタイプのセンサを備えた自律走行車は、複数のフォーマット（例えば、「マルチモダリティ」）のセンサデータを収集することが可能であり、車両の走行動作中に相互アテンション（cross-attention）ベースの不具合検出に関して、異なるセンサから複数のデータモダリティ（例えば、異なるタイプのセンサからの異なるタイプのデータ）を統合できる。多くのデータ解析タスク（障害検出、自律運転支援システム（ＡＤＡＳ）の不具合検出、ＡＤＡＳビデオ検索等）に関して、従来のシステムでは、一般に単一のデータモダリティのみに依存しているため、精度が低くなる。
【0022】
本発明の実施形態による、自律走行車の走行動作を制御するためにマルチモダリティデータを利用すると、リアルタイムなデータ解析タスク（例えば、自律走行車の様々な機能の自律制御のための車両及び／または外部条件のデータ解析）の精度を高めることができる。さらに、本発明の態様によれば、マルチモダリティデータのこのような利用及び解析により、自律走行車の走行動作中の複数のあらゆる自律タスクの精度及び信頼性が向上する。
【0023】
以下でさらに詳細に説明するように、様々な実施形態において、本発明は、従来の自律走行システムでは適切に対処できない様々な問題を解決するために利用できる。例えば、複数の車両センサを用いてマルチモダリティデータを収集する場合、ロウ（raw）センサデータは動的でノイズが多くなり、データ解析タスクの精度が低下する可能性がある。本発明の態様によれば、本発明は、車両の走行動作中に相互アテンションに基づく不具合検出のための入力としてマルチモダリティセンサデータを利用する。
【0024】
さらに、従来のシステムのように、単一のモダリティのみを利用して解析結果を判定することは、少なくとも部分的には困難であり得る。これは、単一のモダリティでは範囲が限られており、自律走行車の制御タスクの正確な解析及び判定に十分なデータを提供できないためである。本発明の態様によれば、本発明は、車両及び周囲の環境の完全かつ正確なビューを得るために、複数の異なるタイプのセンサからの複数のモダリティのデータを用いることで、異常及び不具合検出のためのそのようなデータ解析の精度を少なくとも部分的に向上させることができる。
【0025】
様々な実施形態において、マルチモダリティデータは、異なるソース及びセンサから収集することが可能であり、それぞれがデータを収集し、監視対象システムの異なる態様を記述できる。異常検出タスクを実行する場合、あるモダリティの影響を他のモダリティに適用することが、計算速度や精度にとって重要になる場合がある。本発明の態様によれば、本発明は、相互アテンションベースの異常検出エンジンを用いて、マルチモダリティデータから異常を検出し、さらに複数のタイプの車両のいずれかの自律運転支援システム（ＡＤＡＳ：Autonomic Driving Assistant System）における不具合解析のために異常検出エンジンのアプリケーションを利用できる。
【0026】
いくつかの実施形態において、ＡＤＡＳの入力は、例えば車両に搭載された異なるセンサからのマルチモーダルシーケンスのセットであり、取得されたデータには、システムデータ及び／または環境データが含まれる。センサを用いて収集されるシステムデータには、車両（電気自動車、飛行機、ボート、位置等）の複数のタイプのシステム状態（速度、加速度、旋回角度、ブレーキ性能、トランスミッション性能等）に関するデータが含まれ、これらのデータは、車両の走行動作前または走行動作中に１つまたは複数のセンサ（ＣＡＮＢｕｓセンサ、ＧＰＳセンサ等）から収集できる。
【0027】
センサを用いて収集される環境データには、車両の周囲の環境（例えば、オブジェクト検出、車線検出、道路の危険検出等）を表すデータが含まれ、１つまたは複数のセンサ（例えば、ＬＩＤＡＲセンサ、カメラ、近接センサ、温度センサ、レーダー等）から収集できる。本発明の態様によれば、いくつかの実施形態において、このようなデータは不規則な時系列フォーマットで収集してもよく（他の実施形態では、固定された次元の規則的な時系列で収集してもよい）、不規則な時系列フォーマットで収集されたデータは、さらなる処理のために規則的な時系列フォーマットに変換及び変形されてもよい。車両のＬＩＤＡＲセンサデータは非常に動的でノイズが多いことに留意されたい。また、本発明の態様によれば、本発明は、マルチモダリティデータから判定された有用な特徴を取得するための特殊な処理ツールを含み、差分ベースのシステムを用いて車両の走行動作前及び／または走行動作中にＡＤＡＳの不具合を効果的に検出できる。
【0028】
本発明の態様によれば、いくつかの実施形態において、（収集されたシステム及び／または環境データに基づいて判定できる）ＡＤＡＳ不具合タスクの出力は、時間に沿った不具合スコア（例えば、時系列フォーマット）であり、スコアが予め定義されたしきい値よりも大きい場合、不具合がエンドユーザに報告され、及び／またはコントローラがナビゲーション（またはその他の車両タスク）を自動的に調整して不具合を考慮に入れることができる。不具合とは、環境に応じた自動車の誤った走行動作（障害物を回避しない、障害物が存在しないのに障害物を回避するために車線を変更する、道路から外れて運転する等）のことであり、データの単一モードにおけるパターン／値の変化のみを用いる従来のシステムでは、少なくとも車両の走行動作中のマルチモーダルデータの収集及び／または使用が限られているため、不具合を特定できないことがよくある。例えば、自動車が分岐点に進入するときに速度を落とす必要があるため、実際に自動車が速度を落とした場合、たとえ速度の値が変化したとしても、それは不具合として識別されるべきではない。しかし、本発明の態様によれば、分岐点に進入するときに自動車がブレーキ動作を実行せず、速度値が変わらない場合は、これを不具合として特定し、ユーザに報告する、または車両の走行動作中に修正動作を開始する必要がある。
【0029】
様々な実施形態において、本システム及び方法は、複数のモダリティからのデータを統合し、不具合検出及び／または自律走行車のナビゲーションに関して複数のモダリティの変化に基づいて判断を下すことができる。既存の最先端の異常検出アルゴリズムは、単一または少数の次元でのみ機能するため、そのような不具合を効果的に検出できない。実際、従来のシステムでは、１つまたは少数のセンサの異常値／外れ値を検出することしかできず、与えられた環境に基づく不具合（リアクションエラー等）を検出することができない。
【0030】
対照的に、本発明は、様々な実施形態において、マルチモダリティデータ用の相互アテンションベースの解析エンジンを使用し、車両データのＡＤＡＳ不具合検出に該エンジンを適用することで、車両の走行動作中の不具合の識別を高精度で高速に実現できる。アテンションは環境の変化に関する測定結果に相当する。相互アテンションベースの機構は、環境の変化の影響を車両（自律走行車、エゴカー等）のシステムデータに適用し、様々な環境における車両の通常のリアクションを記録するモデルを構築できる。本発明の態様によれば、いくつかの実施形態において、オンラインテストステップでは、不具合検出エンジンは、まず車両の現在の環境（例えば、環境認識）を判定し、続いてシステムデータに対する不具合検出に対応したモデルを選択できる。
【0031】
様々な実施形態において、相互アテンション機構を使用することで、環境認識ベースの異常／不具合検出を実行することが可能であり、従来の異常検出システムは１つまたは非常に少ない周囲の環境のみで機能するため、本発明は、不具合の計算及び識別の精度及び速度に関して、少なくとも部分的には従来のシステム及び方法よりも優れている。本発明の態様によれば、本発明は、複数の動的環境から複数のタイプのデータを考慮して利用することが可能であり、車両の走行動作中の複雑な不具合パターンの検出において比較的高い精度を達成できる。
【0032】
本明細書に記載する実施形態は、全てハードウェアで実現してもよく、全てソフトウェアで実現してもよく、ハードウェアとソフトウェアの両方の要素を含んでいてもよい。好ましい実施形態において、本発明は、ファームウェア、常駐ソフトウェア、マイクロコード等を含むが、これらに限定されないソフトウェアでも実現可能である。
【0033】
実施形態には、コンピュータもしくは任意の命令実行システムによって使用される、または関連して使用されるプログラムコードを提供する、コンピュータで使用可能な、またはコンピュータで読み取り可能な媒体からアクセスできる、コンピュータプログラム製品を含んでもいてよい。コンピュータで使用可能な、またはコンピュータで読み取り可能な媒体には、命令実行システム、機器、もしくは装置によって使用される、または関連して使用されるプログラムを格納、伝達、伝搬または転送する任意の機器を含んでいてもよい。該媒体は、磁気媒体、光学媒体、電子媒体、電磁気媒体、赤外線媒体または半導体システム（または機器もしくは装置）、あるいは伝搬媒体であってもよい。該媒体には、半導体または固体メモリ、磁気テープ、取り外し可能なコンピュータディスケット、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、リジッド磁気ディスク及び光ディスク等のコンピュータで読み取り可能な媒体を含んでいてもよい。
【0034】
各コンピュータプログラムは、汎用または専用のプログラム可能なコンピュータによって読み取り可能な機械可読の記録媒体または装置（プログラムメモリまたは磁気ディスク等）に有形に格納され、記録媒体または装置がコンピュータによって読み取られて本明細書に記載する手順が実行されるとき、コンピュータの動作を設定し制御する。本発明のシステムは、コンピュータプログラムで構成されたコンピュータで読み取り可能な記録媒体で具体化されるものとも考えられ、そのように構成された記録媒体は、コンピュータを特定の予め定義された方法で動作させて、本明細書で説明される機能を実行させる。
【0035】
プログラムコードを格納及び／または実行するのに適したデータ処理システムは、システムバスを介してメモリ要素に直接または間接的に接続された少なくとも１つのプロセッサを備えていてもよい。このメモリ要素には、処理の実行中にバルクメモリ装置からコードが検索される回数を減らすために、プログラムコードの実際の実行中に用いられるローカルメモリ、バルクメモリ装置及び少なくともいくつかのプログラムコードを一時的に記憶するキャッシュメモリを備えていてもよい。システムには、入出力またはＩ／Ｏ装置（限定されるものではないが、キーボード、ディスプレイ、ポインティング装置等を含む）が、直接またはＩ／Ｏコントローラを介して接続されてもよい。
【0036】
システムには、ネットワークアダプタを接続して、介在するプライベートネットワークやパブリックネットワークを介してデータ処理システムを他のデータ処理システム、あるいはリモートプリンタや記憶装置と接続できるようにしてもよい。モデム、ケーブルモデム及びイーサネット（登録商標）カードは、現在利用可能なタイプのネットワークアダプタのほんの一例である。
【0037】
本発明の態様は、本発明の実施形態による方法、システム及びコンピュータプログラム製品のフローチャート図及び／またはブロック図を参照して以下で説明される。フローチャート及び／またはブロック図の各ブロック、並びにフローチャート及び／またはブロック図のブロックの組み合わせは、コンピュータプログラム命令によって実現できることに留意されたい。
【0038】
図中のフローチャート及びブロック図は、本発明の様々な実施形態によるシステム、方法及びコンピュータプログラム製品の実装のアーキテクチャ、機能及び動作を示している。フローチャートまたはブロック図における各ブロックは、指定された論理機能を実現するための１つまたは複数の実行可能な命令を含むモジュール、セグメントまたはコードの一部を表すことが可能であり、本発明のいくつかの代替実装において、ブロック内に記載された機能は、図に記載された順序とは異なって発生する場合がある。例えば、連続して表示される２つのブロックは、実際には、特定の実施形態の機能に応じて、ほぼ同時に実行されることもあり、逆の順序で実行されることもあり、他の順序で実行されることもある。
【0039】
また、ブロック図及び／またはフローチャート図の各ブロック、並びにブロック図及び／またはフローチャート図内のブロックの組み合わせは、特定の機能／動作を実行する特定用途のハードウェアシステム、または本発明の原理による、特定用途のハードウェアとコンピュータ命令の組み合わせで実現できることにも留意されたい。
【0040】
【0041】
いくつかの実施形態において、処理システム１００は、システムバス１０２を介して他のコンポーネントと動作可能に接続された少なくとも１つのプロセッサ（ＣＰＵ）１０４を含む。システムバス１０２には、キャッシュ１０６、リードオンリーメモリ（ＲＯＭ）１０８、ランダムアクセスメモリ（ＲＡＭ）１１０、入出力（Ｉ／Ｏ）アダプタ１２０、サウンドアダプタ１３０、ネットワークアダプタ１４０、ユーザインタフェースアダプタ１５０及びディスプレイアダプタ１６０が動作可能に接続されている。
【0042】
第１の記憶装置１２２及び第２の記憶装置１２４は、Ｉ／Ｏアダプタ１２０によってシステムバス１０２に動作可能に接続されている。第１の記憶装置１２２及び第２の記憶装置１２４は、ディスク記憶装置（例えば、磁気または光ディスク記憶装置）、固体磁気装置等のいずれであってもよい。第１の記憶装置１２２及び第２の記憶装置１２４は、同じタイプの記憶装置であってもよく、異なるタイプの記憶装置であってもよい。
【0043】
スピーカ１３２は、サウンドアダプタ１３０によってシステムバス１０２に動作可能に接続されている。トランシーバ１４２は、ネットワークアダプタ１４０によってシステムバス１０２に動作可能に接続されている。ディスプレイ装置１６２は、ディスプレイアダプタ１６０によってシステムバス１０２に動作可能に接続されている。本発明の態様によれば、システムバス１０２には、１つまたは複数のセンサ１６４（例えば、カメラ、近接センサ、ＬＩＤＡＲデータ、ＧＰＳデータ、時系列信号検出器等）が、任意の適切な接続システムまたは方法（例えば、Ｗｉ－Ｆｉ、有線、ネットワークアダプタ等）によってさらに接続されていてもよい。
【0044】
第１のユーザ入力装置１５２、第２のユーザ入力装置１５４及び第３のユーザ入力装置１５６は、ユーザインタフェースアダプタ１５０によってシステムバス１０２に動作可能に接続されている。ユーザ入力装置１５２、１５４及び１５６は、キーボード、マウス、キーパッド、画像キャプチャ装置、モーションセンシング装置、マイクロフォン、あるいはこれらの装置のうちの少なくとも２つの装置の機能を組み込んだ装置等のいずれであってもよい。もちろん、本発明の原理の主旨を維持しながら、他のタイプの入力装置を使用してもよい。ユーザ入力装置１５２、１５４及び１５６は、同じタイプのユーザ入力装置であってもよく、異なるタイプのユーザ入力装置であってもよい。ユーザ入力装置１５２、１５４及び１５６は、処理システム１００に情報を入力し、処理システム１００から情報を出力するために使用される。
【0045】
もちろん、処理システム１００は、当業者であれば容易に思いつくような他の要素（図示せず）を含んでもよく、特定の要素を省略することも可能である。例えば、当業者であれば容易に理解できるが、処理システム１００には、その詳細な実装に応じて他の様々なタイプの入力装置及び／または出力装置を含むことができる。例えば、無線及び／または有線による様々な入力装置及び／または出力装置を使用できる。さらに、当業者であれば容易に理解できるが、様々な構成の追加プロセッサ、コントローラ、メモリ等を使用することも可能である。処理システム１００の上記及び他の変形例は、本明細書で提供される本原理の教示によって当業者であれば容易に考えられるであろう。
【0046】
さらに、図２、図３、図６、図７、図８、図１０及び図１１に関連して以下で説明するシステム２００、３００、６００、７００、８００、１０００及び１１００は、本発明のそれぞれの実施形態を実施するためのシステムであることに留意されたい。本発明の態様によれば、処理システム１００の一部または全ては、システム２００、３００、６００、７００、８００、１０００及び１１００の要素の１つまたは複数に実装されていてもよい。
【0047】
さらに、処理システム１００は、本明細書に記載する方法の少なくとも一部、例えば、図２、３、４、５及び９に関連して以下でそれぞれ説明する方法２００、３００、４００、５００及び９００の少なくとも一部を実行できると理解される。同様に、本発明の態様によれば、システム２００、３００、６００、７００、８００、１０００及び１１００の一部または全ては、それぞれ図２、３、４、５及び９の方法２００、３００、４００、５００及び９００の少なくとも一部を実行するために使用されてもよい。
【0048】
本明細書で用いる「ハードウェアプロセッササブシステム」または「ハードウェアプロセッサ」という用語は、１つ以上の特定のタスクを実行するために協働するプロセッサ、メモリ、ソフトウェアまたはそれらの組み合わせを指すことができる。有用な実施形態において、ハードウェアプロセッササブシステムは、１つまたは複数のデータ処理要素（例えば、論理回路、処理回路、命令実行装置等）を含むことができる。１つまたは複数のデータ処理要素は、中央処理装置、グラフィックス処理装置及び／または個別のプロセッサまたはコンピューティング要素ベースのコントローラ（例えば、論理ゲート等）を含めることができる。ハードウェアプロセッササブシステムは、１つ以上のオンボードメモリ（例えば、キャッシュ、専用メモリアレイ、読み出し専用メモリ等）を含むことができる。任意の実施形態において、ハードウェアプロセッササブシステムは、オンボードまたはオフボードとすることができる、またはハードウェアプロセッササブシステム（例えば、ＲＯＭ、ＲＡＭ、基本入出力システム（ＢＩＯＳ）等）で用いるための専用の１つ以上のメモリを含むことができる。
【0049】
いくつかの実施形態において、ハードウェアプロセッササブシステムは、１つまたは複数のソフトウェア要素を含み、実行することができる。１つまたは複数のソフトウェア要素は、オペレーティングシステム及び／または１つまたは複数のアプリケーション及び／または特定の結果を達成するための特定のコードを含むことができる。
【0050】
他の実施形態において、ハードウェアプロセッササブシステムは、指定された結果を達成するために１つまたは複数の電子処理機能を実行する専用回路を含むことができる。そのような回路は、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）及び／またはプログラマブルロジックアレイ（ＰＬＡ）を含んでいてもよい。
【0051】
本発明の実施形態による、ハードウェアプロセッササブシステムのこれらの変形例及び他の変形例も考慮される。
【0052】
図２を参照すると、図２は、本発明の実施形態による、車両の自律、半自律及び／または通知支援運転のための車両センサからの複数の異なるタイプのデータの解析に基づいて不具合を検出するシステム及び方法２００の高レベル図を例示的に示している。
【0053】
一実施形態において、車両２０２（例えば、自律走行車、飛行機、ボート等）は、車両２０２の走行動作中に環境条件２１２に関する複数の異なるタイプのデータを収集できる１つまたは複数のセンサ２１０（例えば、ＬＩＤＡＲ、ＧＰＳ、レーダー、カメラ、マイク等）を含んでいてもよい。本発明の態様によれば、環境条件データは、コンピュータで読み取り可能な記録媒体２０４に保存してもよく、プロセッサデバイス２０６を用いて（例えば、異常及び／または不具合に関して）解析してもよく、自動車両コントローラ２０８を用いて、例えば検出された不具合に基づいて、車両２０２を自動で制御（例えば、加速、ブレーキ、方向転換、ライトの有効化／無効化及び／またはその他の車両機能の実行)してもよい。本発明の態様によれば、車両システムデータ２１８（例えば、速度、加速、ブレーキ等）は、プロセッサデバイス２０６を用いて収集してもよく、システムデータ２１８は、プロセッサデバイス２０６を用いて解析してもよく（例えば、異常及び／または不具合に関して)、車両２０２は、自動車両コントローラ２０８を用いて、例えば検出された不具合に基づいて自動で制御（例えば、加速、ブレーキ、方向転換、ライトの有効化／無効化及び／またはその他の車両機能の実行）してもよい。
【0054】
いくつかの実施形態において、ブロック２２０で車両システムデータ２１８から特徴を抽出し、ブロック２１４において環境条件データ２１２から特徴を抽出する。アテンションは環境に基づいて計算され、ブロック２１６における相互アテンションを用いてシステム測定値（システムデータ２１８等）に相互適用される。本発明の態様によれば、ブロック２２２において重みを特定及び／または適用し、ブロック２２４において重み付けされた特徴を生成できる。異常検出エンジン２２６は、受信した重み付けされた特徴２２４に「異常なし」２２８、「既知の異常」２３２及び／または「未知の異常」２３６が含まれるか否かを判定し、その判定結果に基づいて、対応するコマンドを推奨及び／または実行できる。様々な実施形態において、ブロック２２８で異常が特定されない場合、コントローラ２０８は何も動作せず、ブロック２３２で既知の異常が特定された場合、コントローラ２０８は、ブロック２３４で修正動作（例えば、車線変更、ブレーキ、加速等）を実行し、ブロック２３６で未知の異常が特定された場合、コントローラ２０８は、動作を実行する前に重み付けされた特徴２２４のさらなる解析を実行するようにプロセッサデバイス２０６に指示する。いくつかの実施形態において、ブロック２３６で未知の異常が特定された場合、コントローラ２０８は、異常が特定されるまで車両を徐々に減速させ、路肩に寄せて停止させてもよいが、本発明の態様によれば、他の実施形態において、未知の異常２３６が車両２０２またはその乗員に対する差し迫った危険ではないと判定した場合、ブロック２３８におけるさらなる解析中は車両の走行動作を継続してもよい。
【0055】
ここで図３を参照すると、図３は、本発明の実施形態による、車両の自律、半自律及び／または通知支援運転のための車両センサからの複数の異なるタイプのデータの解析に基づく相互アテンションベースの不具合検出のためのシステム及び方法３００の高レベルビューを示す図を例示的に示している。
【0056】
一実施形態において、車両３０４（例えば、自律走行車）の運転状態３０４（例えば、車線変更、ブレーキ、加速等）を識別してもよく、車両システムデータ３０６を識別してブロック３０６で収集し、異常検出エンジン３０８による異常検出に使用してもよい。環境条件／運転動作の検出はブロック３１０で実行できる。
【0057】
ブロック３１２において、車両３０２の適切な動作を特定することが可能であり、これには、例えば環境の変化がある場合（例えば、障害物３０１が途中で検出された場合）にブロック３１４で車線変更動作を実行して障害物３０１を回避することや、ブロック３１６で障害物に反応せずに道路の新しい車線にとどまる車線変更動作等が含まれる。本発明の態様によれば、ブロック３１８において、車両３０２の走行動作に関する不適切な動作（例えば、不具合）が判別される。不適切な動作には、例えば、別の車両３０３が既に目的の車線にいるときにブロック３２０で車線変更動作を実行する等、不適切な状況で車線を変更することや、ブロック３２２で追い越しを試みたときに禁止領域（例えば、路肩、道路外等）へ車線変更動作を実行すること等が含まれる。この例示的な実施形態において、説明を容易にするため、車線変更の運転動作をブロック３１４、３１６、３２０及び３２２で示しているが、本発明の様々な態様によれば、あらゆる種類の運転動作または環境条件の検出が実行できることを理解されたい。
【0058】
いくつかの実施形態において、ブロック３１０の環境条件／運転動作の検出データは、ブロック３２４で相互アテンションを用いて解析され、車両システムデータ３０６は、異常検出エンジン３０８に入力され、車両システムデータ３０６及び／またはブロック３１０の環境条件／運転動作の検出データにおいて１つまたは複数の異常を検出できる。本発明の態様によれば、ブロック３２６で検出された異常が不具合であるか否かを判定し、ブロック３２８で不具合スコアを特定及び／または出力し、複数の自律運転タスクのいずれかで使用できる。
【0059】
以下では、システム及び方法３００は、自律走行車の制御に関するものとして説明するが、本発明の態様によれば、本発明の原理は他のサイバーフィジカルシステム（例えば、スマートシティ（カメラ、ビデオ、温度センサ等)、スマートハウス等）にも適用できることを理解されたい。
【0060】
図４を参照すると、図４は、本発明の実施形態による、車両の自律、半自律及び／または通知支援運転のための車両センサからの複数の異なるタイプのデータの解析に基づく相互アテンションベースの不具合検出の高レベルの方法４００を示すブロック／フロー図を例示的に示している。
【0061】
様々な実施形態によれば、ブロック４０２でマルチモダリティデータ（例えば、様々なタイプ／フォーマットの環境データ及び車両データ）をキャプチャ及び／または受信し、ブロック４０４で該データから特徴取得を実行できる。本発明の態様によれば、ブロック４０６で車両システムデータ及び／または環境条件データ内の１つまたは複数の異常及び／または不具合が特定され、ブロック４０８で不具合スコアが生成される。これについては、図５、６、７及び８を参照して以下でさらに詳しく説明する。
【0062】
図５を参照すると、図５は、本発明の実施形態による、車両の自律、半自律及び／または通知支援運転のための多次元センサデータから特徴を抽出するためのグリッドベースの特徴取得の方法５００を示す図を例示的に示している。
【0063】
いくつかの実施形態において、車両５２０に配置された１つまたは複数のセンサ（例えば、ＬＩＤＡＲセンサ、ビデオカメラ、近接センサ、赤外線センサ、マイク、速度センサ等）からの入力データストリームが監視され、グリッドベースの特徴取得方法５００を用いてセンサデータから特徴を抽出するためのデータが収集及び／または受信される。説明し易くするため、以下で記載するセンサデータはＬＩＤＡＲセンサデータであるが、本発明の様々な態様によれば、他のタイプのセンサデータも使用できることを理解されたい。
【0064】
車両が周囲の環境を感知するために使用できる主要なセンサはＬＩＤＡＲセンサであることに留意されたい。そのようなセンサは、レーザーレーダー信号の反射によって周囲のオブジェクトや車線を検出できる。ＬＩＤＡＲデータのフォーマットは、検出されたオブジェクトのシーケンスとして記述することが可能であり、オブジェクトには、例えば車両５２０の速度、サイズ、加速度及び位置等のオブジェクト属性が含まれる。車両の走行動作に関するＬＩＤＡＲデータを利用する際の問題は、各タイムスタンプで検出されるオブジェクトが通常一定でないことである。例えば、タイムスタンプＴ１では車両５２０の周囲に２０個のオブジェクトがあり、タイムスタンプＴ２では自車両の周囲に３０個のオブジェクトがある場合がある。本発明の態様によれば、本発明は、第１のステップとして、動的に変化するオブジェクト検出データから一定数の特徴を取得できる。
【0065】
いくつかの実施形態において、グリッドベースの特徴取得方法５００は、空間領域を９つのセル（５０２、５０４、５０６、５０８、５１０、５１２、５１４、５１６及び５１８）を有するグリッドに分割し、車両５２０をセル５１０（例えば、中央のセル）に配置することで特徴抽出に利用できる。そのため、本実施形態では、車両５２０を囲むセルが８つある。本発明の態様によれば、各セルは予め定義された長さ及び幅を有し、セル内に位置する検出されたオブジェクト（例えば、５０１、５０５、５０９及び５１１）のみが考慮されて解析され、９つのセルの外側に位置する検出されたオブジェクト（例えば、５０３、５０７、５１３及び５１５）は、車両５２０から十分に離れていると判定され、グリッドベースの取得中は無視できるため、特徴抽出に関して考慮または解析しなくてもよい。
【0066】
本発明の態様によれば、いくつかの実施形態において、各セル（５０２、５０４、５０６、５０８、５１０、５１２、５１４、５１６及び５１８）に関して、オブジェクトの空間属性及び該オブジェクトを取得し、例えば、オブジェクト番号、最も近いオブジェクトのサイズ、最も近いオブジェクトとの距離、最も近いオブジェクトの速度等を含めることができるため、検出されたオブジェクトの数や合計数の変化に関係なく、９つのセルから常に一定数の特徴が得られる。
【0067】
図６を参照すると、図６には、本発明の実施形態による、車両の自律、半自律及び／または通知支援運転のための車両センサからの複数の異なるタイプのデータの解析に基づく相互アテンションベースの不具合検出のためのシステム及び方法６００を示す図が例示的に示されている。
【0068】
本発明の態様によれば、様々な実施形態において、異常及び／または不具合の検出のために２つの検出器を使用できる。１つの検出器は、相互アテンションベースの検出器６０２であり、相互アテンション６０８を実行するための入力として環境データ６０６とシステムデータ６１０の両方を使用できる。本発明の態様によれば、ブロック６１３で１つまたは複数の異常が検出され、ブロック６１４で残差スコア（残差Ａ）が判定されて出力される。利用される別の検出器は、長短期記憶（ＬＳＴＭ：long short-term memory）ベースの時系列検出器６０４であり、いくつかの実施形態において、ブロック６２２における異常検出の入力としてシステムデータ６２０のみを使用し、別の残差スコア（残差Ｖ）を判定してブロック６２４で出力する。
【0069】
なお、残差スコア（残差Ａ６１４及び残差Ｖ６２４）は、システムデータ６１０、６２０の予測値と実際の値との差であり、図７及び図８を参照して以下でさらに詳細に説明する。相互アテンションベース検出器６０２とＬＳＴＭベースの検出器６０４とは、値を予測するために通常のデータによって訓練することが可能であり、訓練ステップ中の予測値と実際の値との差を最小にできる。オンラインテストステップにおいて、比較的大きな差異（例、高い残差スコア）が観察された場合、異なる動作（例、異常）が発生していることを示している可能性があるが、そのような異常の検出は必ずしも不具合が存在することを意味するわけではない。本発明の態様によれば、いくつかの実施形態において、残差Ａ６１４と残差Ｖ６２４とはスコア統合器６２６に入力されて結合され、不具合スコア生成器６２８は、スコア統合器６２６で結合されたデータを用いて、ブロック６２８の両方の残差の比較結果から生成された不具合スコアに基づいて不具合が存在するか否かを判定できる。
【0070】
いくつかの実施形態において、スコア統合器６２６は、残差スコア（例えば、図７のブロック７５４と図８のブロック８１４）を比較し、それらを解析してブロック６２８で最終的な不具合スコアを特定できる。本発明の態様によれば、最終的な不具合スコア６２８は次のように計算できる。
スコアの残差Ａが残差Ｖよりも小さい場合、システムデータの変化が環境の変化に適応していることを示しており、システムは環境の変化に対して適切にリアクションしていると判定でき、不具合は発見されない。本発明の態様によれば、スコアの残差Ａが残差Ｖよりも大きい場合、システムデータの変化（運転動作等）が環境の変化（道路上の障害物等）に対して適切でないと判定されたことを示している、または環境の変化に対して適切と考える動作とは逆の動作であっても、システムが環境の変化に対して不適切なリアクションを実行し、その結果、不具合が発見されてユーザに報告することを示している。
【数1】
【0071】
図７を参照すると、図７には、本発明の実施形態による、車両の自律、半自律及び／または通知支援運転のための車両センサからの複数の異なるタイプのデータの解析に基づく相互アテンションベースの不具合検出のためのシステム７００を示す図が例示的に示されている。
【0072】
本発明の態様によれば、一実施形態において、相互アテンションベースの不具合検出システム７００は、アテンション計算ステージ７０１と残差生成ステージ７０３との２つの主なステージを含む。アテンション計算ステージ７０１では、環境データ（Ｘ）７０２が時間の経過と共に収集及び／または入力として受信される（例、Ｘ1７０４、Ｘ2７０６、...、Ｘt-1７０８)。環境データ（Ｘ1７０４、Ｘ2７０６、...、Ｘt-1７０８)は、ＬＳＴＭエンコーダ７１０によってエンコードされ、ｈ1７１４、ｈ2７１６、...、ｈt-1７１８を含むブロック７１２の対応するキー（ｈ）を生成する。本発明の態様によれば、タイムスタンプｔの環境データ（Ｘt）７３０は、ＬＳＴＭエンコーダ７３２を通過し、クエリ７３４として使用される。クエリは、経時的なアテンションモジュール７２０内のキー（ｈt）７３６と照合され、α1７２４、α2７２６、．．．αt-1７２８を含む、対応するアテンション重み（α）７２２を生成する。
【0073】
いくつかの実施形態において、残差生成ステージ７０３では、ブロック７３８で相互アテンションを実行することで、環境アテンション重み７２２を、ｙ1７４４、ｙ2７４６、…、ｙｔ-1７４８を含むシステムデータ７４２（Ｙ）（例えば、リアルタイムまたは履歴システムデータ）にクロス適用できる。Ｘ1７０４、Ｘ2７０６、...、Ｘt-1７０８の重みは、ｙ1７４４、ｙ2７４６、…、ｙｔ-1７４８に乗算するために使用してもよく、アテンション重み付けシステムデータ（ｙ1７４４、ｙ2７４６、…、ｙｔ-1７４８）は、予測モジュール損失関数（ｙt－ｙt'）2７５０を用いて時刻ｔの値（ｙt）を予測し、予測値（ｙt’）７５２を生成するために使用してもよい。本発明の態様によれば、ｙtとｙt'との差は、ブロック７５４で残差Ａとして出力できる。モデル訓練ステージにおいて、ＬＳＴＭエンコーダ、経時的なアテンションモジュール及び予測モジュールのパラメータを調整して、損失関数（ｙt－ｙt'）2７５０を最小化できる。ここで、ｙtは実際の値であり、ｙt'は予測値（ｙt'）７５２を表している。本発明の態様によれば、オンラインテストステージにおいて、（ｙt－ｙt'）の差は、残差Ａスコア７５４として出力し、さらなる処理及び／または解析に利用できる。
【0074】
次に、図６、７及び１１を参照すると共に、図８を参照すると、図８には、本発明の実施形態による、車両の自律、半自律及び／または通知支援運転のための車両センサからの複数の異なるタイプのデータの解析に基づく異常検出のためのシステム８００を示す図が例示的に示されている。
【0075】
いくつかの実施形態において、異常検出器（例えば、ＬＴＳＭ）は、相互アテンションベースの検出残差生成ステージ（図７のブロック７０３で示す）と同様の方法で利用できるが、本実施形態では、異常検出器は相互アテンションステージを含まない。システムデータ（Ｙ）８０２（ｙ1８０４、ｙ2８０６、…、ｙｔ-1８０８）（例えば、リアルタイムまたは履歴）は、収集及び／または入力として受信され、予測モジュール損失関数（ｙt－ｙt'）８１０で使用されて、時刻ｔ（例えば、ｙt”）８１２における値を予測できる。ここで、ｙtとｙt'との差は、ブロック８１４で残差Ｖ
として出力できる。モデル訓練ステージでは、予測モジュール８１０のパラメータを調整して、損失関数（ｙt－ｙt”）2を最小化できる。ここで、ｙtは実際の値を表し、ｙt”は予測値を表す。本発明の態様によれば、オンラインテストステージでは、（ｙt－ｙt”）2の差を残差Ｖスコア８１４として出力できる。
【数2】
【0076】
いくつかの実施形態において、（図６のブロック６２６及び図１１のブロック１１１４で示す）スコア統合器は、図７のブロック７５４及び図８のブロック８１４からの残差スコアを比較し、それらを解析して最終的な不具合スコアを特定できる。本発明の態様によれば、最終的な不具合スコア６２８は次のように計算できる。
スコアの残差Ａが残差Ｖよりも小さい場合、システムデータの変化が環境の変化に適応していることを示しており、システムは環境の変化に対して適切にリアクションしていると判定でき、不具合は発見されない。本発明の態様によれば、スコアの残差Ａが残差Ｖよりも大きい場合、システムデータの変化（運転動作等）が環境の変化（道路上の障害物等）に対して適切でないと判定されたことを示している、または環境の変化に対して適切と考える動作とは逆の動作であっても、システムが環境の変化に対して不適切なリアクションを実行し、その結果、不具合が発見されてユーザに報告することを示している。
【数3】
【0077】
図９を参照すると、図９には、本発明の実施形態による、車両の自律、半自律及び／または通知支援運転のための車両センサからの複数の異なるタイプのデータの解析に基づく相互アテンションベースの不具合検出の方法９００を示すブロック／フロー図が例示的に示されている。
【0078】
本発明の態様によれば、様々な実施形態において、ブロック９０２において、１つまたは複数の車両センサ（例えば、ビデオカメラ、センサ、ＬＩＤＡＲ、ＧＰＳ、マイク等）からマルチモダリティ入力データストリーム（例えば、環境データ及び／または車両システムデータ）を収集及び／または任意の適切な送信／受信手段で入力データ（例えば、環境データ、道路データ等）として受信する。ブロック９０４において、グリッドベースの特徴抽出器を用いて１つまたは複数の入力データストリームから潜在的な特徴を抽出する。
【0079】
ブロック９０６において、グリッドベースの特徴抽出器における各セルの１つまたは複数のオブジェクトの空間属性（例えば、オブジェクト番号、最も近いオブジェクトのサイズ、速度、車両との距離等）を取得する。ブロック９０８において、異常及び／または不具合の検出、不具合スコアの生成及び／またはモデルの訓練を実行する。本発明の態様によれば、ブロック９１０における相互アテンションベースの異常検出、ブロック９１２におけるＬＳＴＭ時系列ベースの異常検出、ブロック９１４における不具合スコアの統合及び／またはブロック９１６における総不具合スコアの生成を含めてもよい。
【0080】
いくつかの実施形態において、ブロック９１８において、検出された異常及び／または生成された総不具合スコアに基づいて、車両の複数の走行動作（例えば、加速、旋回、ブレーキ、照明またはその他の車両機能の調整等）のいずれかを自動で制御できる。本発明の態様によれば、ブロック９０２における収集、ブロック９０４における抽出、ブロック９０６における取得、ブロック９０８における不具合検出／不具合スコア生成／モデル訓練(ブロック９１０、９１２、９１４及び９１６を含む)、並びにブロック９１８における車両の制御走行動作は、車両の走行動作前、走行動作中及び／または走行動作後に繰り返し実行し、追加の不具合を検出及び／または報告し、新たに検出される不具合及び／または異常を考慮して、ブロック９１８における車両の自動制御を調整できる。
【0081】
図１０を参照すると、図１０には、本発明の一実施形態による、車両の自律、半自律及び／または通知支援運転のための車両センサからの複数の異なるタイプのデータの解析に基づいて相互アテンションベースの不具合検出を利用する例示的な車両を含む例示的なシステム１０００を示す図が例示的に示されている。
【0082】
システム１０００は、自律走行車１２を含むことができる。一実施形態において、自律走行車１２は自動車であってもよい。他の実施形態において、自律走行車１２には、ボート、飛行機、ヘリコプター、トラック、ボート等が含まれる。自律走行車１２には推進システム１８が含まれていてもよい。飛行する実施形態の場合、推進システム１８には、自律走行車１２を飛行させるためのプロペラまたはその他のエンジンを含んでいてもよい。別の実施形態において、推進システム１８は車輪または線路を含んでいてもよい。別の実施形態において、推進システム１８にはジェットエンジンまたはホバー技術を含んでいてもよい。推進システム１８には、内燃機関、電気モータ等を含む１つまたは複数のモータを含んでいてもよい。
【0083】
自律走行車１２は、動力源２０を含んでいてもよい。動力源２０には、１つまたは複数のバッテリ、液体燃料（ガソリン、アルコール、ディーゼル等)、あるいはその他のエネルギー源を含む、またはこれらを使用してもよい。別の実施形態において、動力源２０は、１つまたは複数の太陽電池または１つまたは複数の燃料電池を含んでいてもよい。別の実施形態において、動力源２０は燃焼ガス（例えば、水素）を含んでいてもよい。
【0084】
自律走行車１２には、コンピューティング機能及び制御を装備してもよい。自律走行車１２にはプロセッサ２２を含んでいてもよい。自律走行車１２にはトランシーバ２４を含んでいてもよい。一実施形態において、トランシーバ２４を全地球測位システム（ＧＰＳ）に接続し、共通の座標系において他の車両に対する自律走行車１２の位置を生成して警告してもよい。トランシーバ２４は、セルラーネットワークシステムと通信できるように装備できる。このようにして、信号強度等に基づく携帯電話基地局間の三角測量に基づいて、自律走行車の位置を計算できる。トランシーバ２４には、ＷＩＦＩ（登録商標）または同等の無線システムが含まれる。プロセッサ２２、トランシーバ２４及び位置情報は、自律走行車１２の誘導制御システム２６で利用できる。
【0085】
自律走行車１２は、記憶装置２８を含むことができる。記憶装置２８には、ソリッドステートストレージまたはソフトストレージが含まれ、自律走行車１２の他のシステムと連携し、データを記録し、アルゴリズムまたはプログラムを実行し、車両の制御等を行う。記憶装置２８には、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）または本アプリケーションに有用なその他のタイプのメモリを含めることができる。
【0086】
自律走行車１２には、自律走行車１２の利用前、利用中及び／または利用後に複数の異なるデータタイプのデータを収集するための１つまたは複数のセンサ１４（例えば、カメラ、近接センサ、ＬＩＤＡＲ、レーダー、ＧＰＳ等）が含まれる。１つまたは複数のセンサ１４は、自律走行車１２の周囲のエリアを視認し、センサデータを自律走行車１２の自律運転支援システム（ＡＤＡＳ）データ処理及び解析エンジン３０、並びに誘導制御システム２６に入力できる。１つまたは複数のセンサ１４は、自律走行車１２の周囲のオブジェクト（例えば、他の車両、建物、街灯柱、歩行者１６、木等）及び／または車両内部の機能及び／または車両コンポーネントの状態を検出できる。本発明の様々な態様によれば、１つまたは複数のセンサ１４で取得されたデータは、自律走行車１２のＡＤＡＳエンジン３０によって処理され、例えば自律走行車１２の推進システム１８を調整して自律走行車１２の周囲のオブジェクトを回避するために誘導制御システム２６で利用される。
【0087】
図１１を参照すると、図１１には、本発明の実施形態による、車両の自律、半自律及び／または通知支援運転のための車両センサからの複数の異なるタイプのデータの解析に基づく、相互アテンションベースの不具合検出のためのシステム１１００を示す図が例示的に示されている。
【0088】
本発明の態様によれば、いくつかの実施形態において、１つまたは複数のセンサ１１０２（例えば、ＬＩＤＡＲ、ＧＰＳ、スマートセンサ、カメラ、ＩｏＴデバイス等）のデータを収集し、センサ１１０２からのデータストリームは、コンピューティングネットワーク１１０４（例えば、ＷｉＦｉ（登録商標）、無線、４Ｇ、５Ｇ、ＣＡＮバス、ＬＡＮ、ＷＡＮ、有線等）を介して送信され、車両１１１８または車両１１１８から遠隔に配備される１つまたは複数のプロセッサデバイス１１２０を用いて解析される。特徴抽出器１１０６は、センサ１１０２から収集及び／または受信されたデータから特徴を抽出できる。特徴は、オブジェクト／空間属性取得デバイス１１０８によってさらに処理され、相互アテンションベースの異常検出器１１１０及び／またはＬＳＴＭ時系列ベースの異常検出器１１１２を用いて異常及び／または不具合が識別される。
【0089】
本発明の態様によれば、様々な実施形態において、相互アテンションベースの異常検出器１１１０及び／またはＬＳＴＭ時系列ベースの異常検出器１１１２によって検出された異常は、不具合スコア統合器１１１４に出力され、不具合スコア統合器１１１４は、検出器１１１０及び／または１１１２から受信したデータを結合し、不具合スコア生成器１１１６への入力として使用し、１つまたは複数の不具合スコアを生成できる。ニューラルネットワーク訓練デバイス１１２２を使用すると、例えば、１つまたは複数のセンサ１１０２によって取得された新しいデータを用いてニューラルネットワークを繰り返し訓練することで、異常及び／または不具合の検出精度及び検出速度をさらに向上させることができる。
【0090】
本発明の態様によれば、様々な実施形態において、１つまたは複数のコントローラデバイス１１２４は、異常及び／または不具合スコアがユーザに選択可能な予め設定された不具合スコアの閾値を超える不具合及び／または車両の走行動作中に特定された特定のイベントの判定に応答して、複数の車両の走行動作（例えば、加速、ブレーキ、ライト等）のいずれかを調整するために利用できる。
【0091】
図１１に示す実施形態では、各要素はバス１１０１によって相互接続されている。但し、他の実施形態では、他のタイプの接続も使用できる。さらに、一実施形態において、システム１１００の要素の少なくとも１つはプロセッサベース及び／またはロジック回路であり、１つまたは複数のプロセッサデバイス１１２０を含むことができる。さらに、１つまたは複数の要素が個別の要素として示される場合があるが、他の実施形態では、これらの要素は１つの要素として組み合わせられる場合がある。逆もまた適用可能であり、１つまたは複数の要素が別の要素の一部である可能性がある一方で、他の実施形態では、１つまたは複数の要素がスタンドアロン要素として実装される場合がある。システム１１００の要素のこれらのバリエーション及び他のバリエーションは、本明細書で提供される本原理の教示を前提として、本原理の意図を維持しながら、当業者によって容易に決定される。
【0092】
本明細書において本発明の「一実施形態」または「実施形態」、並びにその他の変形例への言及は、実施形態に関連して説明される特定の特徴、構造、特性等が本発明の少なくとも一実施形態に含まれることを意味する。したがって、本明細書の様々な場所に現れる「一実施形態では」または「実施形態では」という語句、及びその他のバリエーションは、必ずしも全て同じ実施形態を指しているわけではない。しかし、本明細書で提供される本発明の教示を考慮すると、１つまたは複数の実施形態の特徴を組み合わせることができることは理解されるはずである。
【0093】
例えば、「Ａ／Ｂ」、「Ａ及び／またはＢ」、並びに「Ａ及びＢのうちの少なくとも１つ」の場合における「／」、「及び／または」、並びに「うちの少なくとも１つ」のうちのいずれかの使用は、第１に挙げた選択肢（Ａ）のみの選択、第２に挙げた選択肢（Ｂ）のみの選択、または両方の選択肢（Ａ及びＢ）の選択を含むことを意図したものと理解すべきである。さらに例を挙げれば、「Ａ、Ｂ及び／またはＣ」、並びに「Ａ、Ｂ及びＣのうちの少なくとも１つ」の場合、このような表現法は、第１に挙げた選択肢（Ａ）のみの選択、第２に挙げた選択肢（Ｂ）のみの選択、第３に挙げた選択肢（Ｃ）のみの選択、第１及び第２に挙げた選択肢（Ａ及びＢ）のみの選択、第１及び第３に挙げた選択肢（Ａ及びＣ）のみの選択、第２及び第３に挙げた選択肢（Ｂ及びＣ）のみの選択、または３つの選択肢全て（Ａ及びＢ及びＣ）の選択を含むことを意図したものである。上述した例は、列挙される多数の項目に応じて拡大適用される。
【0094】
上記は、あらゆる観点において説明的かつ典型的であって限定的でないものと理解されるべきであり、本明細書で開示する本発明の範囲は、詳細な説明から決定されるべきではなく、特許法で認められた最大限の広さに基づいて解釈される特許請求の範囲から決定されるべきである。本明細書中に図示及び記載されている実施形態は、本発明の原理を説明するものにすぎず、本発明の範囲及び主旨から逸脱することなく当業者は様々な変更を実施することができることを理解されたい。当業者は、本発明の範囲及び精神から逸脱することなく、様々な他の特徴の組み合わせを実施できる。以上、本発明の態様について、特許法で要求される細部及び詳細な事項と共に説明したが、特許証で保護されることを要求する特許請求の範囲は、添付の特許請求の範囲に示されている。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【国際調査報告】