特開 2022-179383 ジョイントリスクの位置特定を完了し、かつ運転シナリオにおいて推論するためのシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022179383

(43)【公開日】2022-12-02

(54)【発明の名称】ジョイントリスクの位置特定を完了し、かつ運転シナリオにおいて推論するためのシステム及び方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221125BHJP

   G06V 20/10 20220101ALI20221125BHJP

   B60W 40/02 20060101ALI20221125BHJP

   B60W 60/00 20200101ALI20221125BHJP

   G08G 1/16 20060101ALI20221125BHJP

【ＦＩ】

G06T7/00 650B

G06V20/10

B60W40/02

B60W60/00

G08G1/16 C

【審査請求】有

【請求項の数】20

【出願形態】ＯＬ

(21)【出願番号】P 2022078721

(22)【出願日】2022-05-12

(31)【優先権主張番号】63/191,581

(32)【優先日】2021-05-21

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/388,256

(32)【優先日】2021-07-29

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100120891

【弁理士】

【氏名又は名称】林 一好

(74)【代理人】

【識別番号】100160794

【弁理士】

【氏名又は名称】星野 寛明

(74)【代理人】

【識別番号】100126000

【弁理士】

【氏名又は名称】岩池 満

(72)【発明者】

【氏名】マーラ・スリカンス

【テーマコード（参考）】

3D241

5H181

5L096

【Ｆターム（参考）】

3D241BA49

3D241CE02

3D241CE05

3D241CE08

3D241DC25Z

3D241DC30Z

3D241DC31Z

3D241DC34Z

3D241DC39Z

3D241DC50Z

3D241DC59Z

5H181AA01

5H181BB20

5H181CC04

5H181LL01

5H181LL02

5H181LL04

5H181LL06

5L096AA06

5L096BA04

5L096CA04

5L096FA16

5L096HA04

5L096HA11

(57)【要約】      （修正有）

【課題】ジョイントリスクの位置特定を完了し、かつ、運転シナリオにおいて推論するためのシステム、コンピュータ実装方法及び記憶媒体を提供する。
【解決手段】ジョイントリスクの位置特定を完了し、かつ運転シナリオにおいて推論する方法は、エゴエージェントの運転シーンに関連付けられた複数の画像を受信することと、複数の画像に関連付けられた画像データをエンコーダに入力することと、エゴエージェントの運転シーン内に位置する重要な交通エージェント及び重要な交通インフラストラクチャのうちの少なくとも１つを識別するデコーダに連結された特徴を入力することと、を含む。
【選択図】図４

【特許請求の範囲】

【請求項1】

ジョイントリスクの位置特定を完了し、かつ運転シナリオにおいて推論するためのコンピュータ実装方法であって、
エゴエージェントの運転シーンに関連付けられた複数の画像を受信することと、
前記複数の画像に関連付けられた画像データをエンコーダに入力することであって、エンコードされた視覚的特徴及びエンコードされたオプティカルフロー特徴が、前記画像データから抽出されており、かつ前記エゴエージェントの前記運転シーンに関連付けられた連結された特徴に連結されている、入力することと、
前記連結された特徴を、前記エゴエージェントの前記運転シーン内に位置する重要な交通エージェント及び重要な交通インフラストラクチャのうちの少なくとも１つを識別するデコーダに入力することと、
前記エゴエージェントの少なくとも１つのシステムを制御して、前記エゴエージェントの前記運転シーン内に位置する前記重要な交通エージェント及び前記重要な交通インフラストラクチャのうちの少なくとも１つを説明するための応答を提供することと、を含む、コンピュータ実装方法。

【請求項2】

前記エンコードされた視覚的特徴が、前記エゴエージェントの前記運転シーンの画像属性及び特徴を含み、前記画像属性及び特徴が、前記運転シーンの各時間ステップでキャプチャされた前記画像の各々の複数の画素の各々内に含まれている前記運転シーンの視覚的観点に関する、請求項１に記載のコンピュータ実装方法。

【請求項3】

前記エンコードされたオプティカルフロー特徴が、複数の時間ステップにわたって前記運転シーン内に含まれるオブジェクトの運動に関し、前記エンコードされたオプティカルフロー特徴が、前記交通エージェントの動きによって引き起こされる２つ以上の連続する画像フレーム間の交通エージェントの運動の見掛けの変化をキャプチャする、請求項２に記載のコンピュータ実装方法。

【請求項4】

前記デコーダが、交通エージェント、交通インフラストラクチャ、画像レベル質疑応答、オブジェクト位置特定、及びオブジェクトレベル質疑応答に関連付けられた複数のアノテーションを提供するために分析されているアノテーションスキーマを含む、推論モジュールデータセット（ドラマデータセット）を有する事前トレーニングされた運転リスク評価メカニズムにアクセスする、請求項１に記載のコンピュータ実装方法。

【請求項5】

前記連結された特徴を前記デコーダに入力することが、前記ドラマデータセットにアクセスすることと、前記エゴエージェントの前記運転シーン内に位置する前記重要な交通エージェント及び前記重要な交通インフラストラクチャのうちの少なくとも１つを、前記ドラマデータセット内に含まれる前記複数のアノテーションに基づいて識別することと、を含む、請求項４に記載のコンピュータ実装方法。

【請求項6】

前記デコーダが、前記連結された特徴をデコードして、前記複数のアノテーションに基づくキャプションを予測及び生成するように構成されており、前記キャプションが、リスクに関する質問、前記エゴエージェントの意図、前記運転シーンのシーン分類、並びに前記重要な交通エージェント及び前記重要な交通インフラストラクチャのうちの少なくとも１つの位置に関する運転提案に基づく特定の運転シナリオに関する説明、分類、カテゴリー化、及び推奨を提供する、請求項５に記載のコンピュータ実装方法。

【請求項7】

前記運転シーン内に位置する各交通エージェントに関連付けられた交通エージェント特徴、及び前記運転シーン内に位置する各交通インフラストラクチャに関連付けられた交通インフラストラクチャ特徴が、エンコードされたグローバルシーン特徴に連結されており、前記キャプションが、前記エンコードされたグローバルシーン特徴との交通エージェント特徴及び交通インフラストラクチャ特徴の前記連結に基づく前記ドラマデータセット内に含まれている前記複数のアノテーションに基づく、請求項６に記載のコンピュータ実装方法。

【請求項8】

前記応答を提供するために前記エゴエージェントの少なくとも１つのシステムを制御することが、前記エゴエージェントの表示ユニットを制御して、計算され、かつ前記エゴエージェントの前記運転シーン内に位置する前記重要な交通エージェント及び前記重要な交通インフラストラクチャのうちの少なくとも１つの周りで拡張された、少なくとも１つの境界ボックスを提示して、前記ドラマデータセットの分析に基づいて決定された前記キャプションと一致させることを含む、請求項７に記載のコンピュータ実装方法。

【請求項9】

前記応答を提供するために前記エゴエージェントの少なくとも１つのシステムを制御することが、前記エゴエージェントの音声システムを制御して、特に、前記重要な交通エージェント及び前記重要な交通インフラストラクチャのうちの少なくとも１つの存在、位置、説明、及び重要性に関する、前記キャプションに基づくアラートを提供することを含み、前記キャプションが、前記重要な交通エージェント及び前記重要な交通インフラストラクチャのうちの少なくとも１つについて前記エゴエージェントを誘導するための運転提案を含む、請求項７に記載のコンピュータ実装方法。

【請求項10】

ジョイントリスクの位置特定を完了し、かつ運転シナリオにおいて推論するためのシステムであって、
命令を記憶しているメモリを備え、前記命令が、プロセッサによって実行されると、前記プロセッサに、
エゴエージェントの運転シーンに関連付けられた複数の画像を受信することと、
前記複数の画像に関連付けられた画像データをエンコーダに入力することであって、エンコードされた視覚的特徴及びエンコードされたオプティカルフロー特徴が、前記画像データから抽出されており、かつ前記エゴエージェントの前記運転シーンに関連付けられた連結された特徴に連結されている、入力することと、
前記連結された特徴を、前記エゴエージェントの前記運転シーン内に位置する重要な交通エージェント及び重要な交通インフラストラクチャのうちの少なくとも１つを識別するデコーダに入力することと、
前記エゴエージェントの少なくとも１つのシステムを制御して、前記エゴエージェントの前記運転シーン内に位置する前記重要な交通エージェント及び前記重要な交通インフラストラクチャのうちの少なくとも１つを説明するための応答を提供することと、を行わせる、システム。

【請求項11】

前記エンコードされた視覚的特徴が、前記エゴエージェントの前記運転シーンの画像属性及び特徴を含み、前記画像属性及び特徴が、前記運転シーンの各時間ステップでキャプチャされた前記画像の各々の複数の画素の各々内に含まれている前記運転シーンの視覚的観点に関する、請求項１０に記載のシステム。

【請求項12】

前記エンコードされたオプティカルフロー特徴が、複数の時間ステップにわたって前記運転シーン内に含まれているオブジェクトの運動に関し、前記エンコードされたオプティカルフロー特徴が、前記交通エージェントの動きによって引き起こされる２つ以上の連続する画像フレーム間の交通エージェントの運動の見掛けの変化をキャプチャする、請求項１１に記載のシステム。

【請求項13】

前記デコーダが、交通エージェント、交通インフラストラクチャ、画像レベル質疑応答、オブジェクト位置特定、及びオブジェクトレベル質疑応答に関連付けられた複数のアノテーションを提供するために分析されているアノテーションスキーマを含む、推論モジュールデータセット（ドラマデータセット）を有する事前トレーニングされた運転リスク評価メカニズムにアクセスする、請求項１０に記載のシステム。

【請求項14】

前記連結された特徴を前記デコーダに入力することが、前記ドラマデータセットにアクセスすることと、前記エゴエージェントの前記運転シーン内に位置する前記重要な交通エージェント及び前記重要な交通インフラストラクチャのうちの少なくとも１つを、前記ドラマデータセット内に含まれる前記複数のアノテーションに基づいて識別することと、を含む、請求項１３に記載のシステム。

【請求項15】

前記デコーダが、前記連結された特徴をデコードして、前記複数のアノテーションに基づくキャプションを予測及び生成するように構成されており、前記キャプションが、リスクに関する質問、前記エゴエージェントの意図、前記運転シーンのシーン分類、並びに前記重要な交通エージェント及び前記重要な交通インフラストラクチャのうちの少なくとも１つの位置に関する運転提案に基づく特定の運転シナリオに関する説明、分類、カテゴリー化、及び推奨を提供する、請求項１４に記載のシステム。

【請求項16】

前記運転シーン内に位置する各交通エージェントに関連付けられた交通エージェント特徴及び前記運転シーン内に位置する各交通インフラストラクチャに関連付けられた交通インフラストラクチャ特徴が、エンコードされたグローバルシーン特徴に連結されており、前記キャプションが、前記エンコードされたグローバルシーン特徴との交通エージェント特徴及び交通インフラストラクチャ特徴の前記連結に基づく前記ドラマデータセット内に含まれている前記複数のアノテーションに基づく、請求項１５に記載のシステム。

【請求項17】

前記応答を提供するために前記エゴエージェントの少なくとも１つのシステムを制御することが、前記エゴエージェントの表示ユニットを制御して、計算され、かつ前記エゴエージェントの前記運転シーン内に位置する前記重要な交通エージェント及び前記重要な交通インフラストラクチャのうちの少なくとも１つの周りで拡張された、少なくとも１つの境界ボックスを提示して、前記ドラマデータセットの分析に基づいて決定された前記キャプションと一致させることを含む、請求項１６に記載のシステム。

【請求項18】

前記応答を提供するために前記エゴエージェントの少なくとも１つのシステムを制御することが、前記エゴエージェントの音声システムを制御して、特に、前記重要な交通エージェント及び前記重要な交通インフラストラクチャのうちの少なくとも１つの存在、位置、説明、及び重要性に関する、前記キャプションに基づくアラートを提供することを含み、前記キャプションが、前記重要な交通エージェント及び前記重要な交通インフラストラクチャのうちの少なくとも１つについて前記エゴエージェントを誘導するための運転提案を含む、請求項１６に記載のシステム。

【請求項19】

命令を記憶している非一時的コンピュータ可読記憶媒体であって、前記命令がプロセッサを含むコンピュータによって実行されると、方法を実行し、前記方法が、
エゴエージェントの運転シーンに関連付けられた複数の画像を受信することと、
前記複数の画像に関連付けられた画像データをエンコーダに入力することであって、エンコードされた視覚的特徴及びエンコードされたオプティカルフロー特徴が、前記画像データから抽出されており、かつ前記エゴエージェントの前記運転シーンに関連付けられた連結された特徴に連結されている、入力することと、
前記連結された特徴を、前記エゴエージェントの前記運転シーン内に位置する重要な交通エージェント及び重要な交通インフラストラクチャのうちの少なくとも１つを識別するデコーダに入力することと、
前記エゴエージェントの少なくとも１つのシステムを制御して、前記エゴエージェントの前記運転シーン内に位置する前記重要な交通エージェント及び前記重要な交通インフラストラクチャのうちの少なくとも１つを説明するための応答を提供することと、を含む、非一時的コンピュータ可読記憶媒体。

【請求項20】

前記応答を提供するために前記エゴエージェントの少なくとも１つのシステムを制御することが、前記エゴエージェントの音声システムを制御して、特に、前記重要な交通エージェント及び前記重要な交通インフラストラクチャのうちの少なくとも１つの存在、位置、説明、及び重要性に関する、キャプションに基づくアラートを提供することを含み、前記キャプションが、前記重要な交通エージェント及び前記重要な交通インフラストラクチャのうちの少なくとも１つについて前記エゴエージェントを誘導するための運転提案を含む、請求項１９に記載の非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、２０２１年５月２１日に出願された米国特許仮出願第６３／１９１，５８１号の優先権を主張し、参照により本明細書に明示的に組み込まれる。

【背景技術】

【0002】

運転シーン内の重要なオブジェクトを識別することは、進歩した運転と進歩した運転支援システムにおける下流タスクの基本要素であり得る。状況認識は、インテリジェント車両において高レベルの自動化を達成するための重要な要件である。インテリジェントモビリティのための状況認識の重要な態様は、運転者の視点からのリスクの知覚に対して説明可能なネットワークを作成するための能力、及びそれらのリスクを運転者に通信する方法を確立するための能力である。

【発明の概要】

【0003】

一態様によれば、ジョイントリスクの位置特定を完了し、かつ運転シナリオにおいて推論するためのコンピュータ実装方法は、エゴエージェントの運転シーンに関連付けられた複数の画像を受信することを含む。コンピュータ実装方法はまた、複数の画像に関連付けられた画像データをエンコーダに入力することを含む。エンコードされた視覚的特徴及びエンコードされたオプティカルフロー特徴は、画像データから抽出され、エゴエージェントの運転シーンに関連付けられた連結された特徴に連結されている。コンピュータ実装方法は、エゴエージェントの運転シーン内に位置する重要な交通エージェント及び重要な交通インフラストラクチャのうちの少なくとも１つを識別するデコーダに連結された特徴を入力することを追加的に含む。コンピュータ実装方法は、エゴエージェントの少なくとも１つのシステムを制御して、エゴエージェントの運転シーン内に位置する重要な交通エージェント及び重要な交通インフラストラクチャのうちの少なくとも１つを説明する応答を提供することを更に含む。

【0004】

別の態様によれば、ジョイントリスクの位置特定を完了し、かつ運転シーンにおいて推論するためのシステムは、命令を記憶するメモリを含み、命令は、プロセッサによって実行されるとき、プロセッサに、エゴエージェントの運転シーンに関連付けられた複数の画像を受信させる。この命令はまた、プロセッサに、複数の画像に関連付けられた画像データをエンコーダに入力させる。エンコードされた視覚的特徴及びエンコードされたオプティカルフロー特徴は、画像データから抽出され、エゴエージェントの運転シーンに関連付けられた連結された特徴に連結されている。命令は、追加的に、エゴエージェントの運転シーン内に位置する重要な交通エージェント及び重要な交通インフラストラクチャのうちの少なくとも１つを識別するデコーダに、連結された特徴をプロセッサに入力するようにさせる。命令は更に、プロセッサに、エゴエージェントの少なくとも１つのシステムを制御させ、エゴエージェントの運転シーン内に位置する重要な交通エージェント及び重要な交通インフラストラクチャのうちの少なくとも１つを説明する応答を提供する。

【0005】

更に別の態様によれば、非一時的コンピュータ可読記憶媒体は命令を記憶し、命令は、プロセッサを含むコンピュータによって実行されると、エゴエージェントの運転シーンに関連付けられた複数の画像を受信することを含む方法を実行する。コンピュータ実装方法はまた、複数の画像に関連付けられた画像データをエンコーダに入力することを含む。エンコードされた視覚的特徴及びエンコードされたオプティカルフロー特徴は、画像データから抽出され、エゴエージェントの運転シーンに関連付けられた連結された特徴に連結されている。コンピュータ実装方法は、重要な交通エージェント、及びエゴエージェントの運転シーン内に位置する重要な交通インフラストラクチャのうちの少なくとも１つを識別するデコーダに連結された特徴を入力することを追加的に含む。コンピュータ実装方法は、エゴエージェントの少なくとも１つのシステムを制御して、重要な交通エージェント、及びエゴエージェントの運転シーン内に位置する重要な交通インフラストラクチャのうちの少なくとも１つを説明する応答を提供することを更に含む。

【図面の簡単な説明】

【0006】

本開示に特徴的であると考えられる新規な特徴は、添付の特許請求の範囲に記載される。以下の説明において、明細書及び図面を通して、同様の部分にはそれぞれ同一の符号を付す。図面は必ずしも縮尺どおりに描画されておらず、明確性及び簡潔さのために、特定の図面は、誇張された又は一般化された形態で示され得る。しかしながら、本開示自体、並びにその好ましい使用モード、更なる目的及び進歩は、添付図面と併せて読むと、例示的な実施形態の以下の詳細な説明を参照することによって最も良く理解されるであろう。

【0007】

【図1】本開示の例示的実施形態による、ジョイントリスクの位置特定の完成及び運転シナリオにおける推論のための例示的なシステムの概略図である。

【0008】

【図2】本開示の例示的な実施形態による、推論モジュールデータセットを備えた事前トレーニングされた運転リスク評価メカニズム内に含まれるデータの例示的な実施例である。

【0009】

【図3】本開示の例示的な実施形態による、ニューラルネットワークのエンコーダ－デコーダ構造の概略図である。

【0010】

【図4】本開示の例示的な実施形態による、ニューラルネットワークのエンコーダを利用して、ニューラルネットワークのデコーダに連結された画像フローデータを出力するための方法のプロセスフロー図である。

【0011】

【図5】本開示の例示的な実施形態による、連結画像フローデータをデコードし、１つ以上の重要な交通エージェント、及び／又はエゴエージェントの運転シーン内に位置する重要な交通インフラストラクチャに関連付けられた運転リスク応答を提供するための方法のプロセスフロー図である。

【0012】

【図6A】本開示の例示的な実施形態による、特定の運転シナリオについて分析される複数のアノテーションの例示的な実施例である。

【0013】

【図6B】本開示の例示的な実施形態による、特定の運転シナリオについて分析される複数のアノテーションの例示的な実施例である。

【0014】

【図6C】本開示の例示的な実施形態による、特定の運転シナリオについて分析される複数のアノテーションの例示的な実施例である。

【0015】

【図6D】本開示の例示的な実施形態による、特定の運転シナリオについて分析される複数のアノテーションの例示的な実施例である。

【0016】

【図7A】本開示の例示的な実施形態による、キャプションと一致するようにニューラルネットワークによって決定され得る境界ボックスの提示の例示的な実施例である。

【0017】

【図7B】本開示の例示的な実施形態による、キャプションと一致するようにニューラルネットワークによって決定され得る境界ボックスの提示の例示的な実施例である。

【0018】

【図7C】本開示の例示的な実施形態による、キャプションと一致するようにニューラルネットワークによって判定され得る境界ボックスの提示の例示的な実施例である。

【0019】

【図7D】本開示の例示的な実施形態による、キャプションと一致するようにニューラルネットワークによって判定され得る境界ボックスの提示の例示的な実施例である。

【0020】

【図8】本開示の一例示的実施形態による、ジョイントリスクの位置特定を完成して運転シナリオにおいて推論するための方法のプロセスフロー図である。

【発明を実施するための形態】

【0021】

以下は、本明細書で用いられる選択された用語の定義を含む。定義は、用語の範囲内に含まれかつ実施に使用され得る構成要素の様々な実施例及び／又は形態を含む。実施例は、限定することを意図するものではない。

【0022】

本明細書で使用される場合、「バス」とは、コンピュータ内部又はコンピュータ間の他のコンピュータ構成要素に操作可能に接続された、相互接続されたアーキテクチャを指す。バスは、コンピュータ構成要素間でデータを転送することができる。バスは、とりわけ、メモリバス、メモリコントローラ、周辺バス、外部バス、クロスバースイッチ、及び／又はローカルバスであってもよい。バスはまた、とりわけ、媒体配向システム輸送（media oriented systems transport、ＭＯＳＴ）、コントローラエリアネットワーク（controller area network、ＣＡＮ）、ローカル相互接続ネットワーク（local interconnect network、ＬＩＮ）などのプロトコルを使用して、車両内部の構成要素を相互接続する、車両バスであってもよい。

【0023】

本明細書で使用される場合、「コンピュータ通信」とは、２つ以上のコンピューティングデバイス（例えば、コンピュータ、パーソナルデジタルアシスタント、携帯電話、ネットワークデバイス）間の通信を指し、例えば、ネットワーク転送、ファイル転送、アプレット転送、電子メール、ハイパーテキスト転送プロトコル（hypertext transfer protocol、ＨＴＴＰ）転送などであってもよい。コンピュータ通信は、例えば、とりわけ、無線システム（例えば、ＩＥＥＥ８０２．１１）、イーサネットシステム（例えば、ＩＥＥＥ８０２．３）、トークンリングシステム（例えば、ＩＥＥＥ８０２．５）、ローカルエリアネットワーク（local area network、ＬＡＮ）、広域ネットワーク（wide area network、ＷＡＮ）、ポイントツーポイントシステム、回路スイッチングシステム、パケットスイッチングシステムを介して発生し得る。

【0024】

本明細書で使用される場合、「ディスク」又は「ドライブ」とは、磁気ディスクドライブ、ソリッドステートディスクドライブ、フロッピーディスクドライブ、テープドライブ、Ｚｉｐドライブ、フラッシュメモリカード、及び／又はメモリスティックであってもよい。更に、ディスクは、ＣＤ－ＲＯＭ（コンパクトディスクＲＯＭ）、ＣＤ記録可能ドライブ（CD recordable drive、ＣＤ－Ｒドライブ）、ＣＤ書き換え可能ドライブ（CD rewritable drive、ＣＤ－ＲＷドライブ）、及び／又はデジタルビデオＲＯＭドライブ（digital video ROM、ＤＶＤ－ＲＯＭ）であってもよい。ディスクは、コンピューティングデバイスのリソースを制御する又は割り振るオペレーティングシステムを記憶することができる。

【0025】

本明細書で使用される場合、「メモリ」は、揮発性メモリ及び／又は不揮発性メモリを含んでもよい。不揮発性メモリとしては、例えば、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、読み取り専用メモリ）、ＰＲＯＭ（ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ、プログラム可能な読み取り専用メモリ）、ＥＰＲＯＭ（ｅｒａｓａｂｌｅ ＰＲＯＭ、消去可能なＰＲＯＭ）、及びＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ ｅｒａｓａｂｌｅ ＰＲＯＭ、電気的に消去可能なＰＲＯＭ）を挙げることができる。揮発性メモリとしては、例えば、ＲＡＭ（ランダムアクセスメモリ）、同期型ＲＡＭ（synchronous RAM、ＳＲＡＭ）、ダイナミックＲＡＭ（dynamic RAM、ＤＲＡＭ）、同期型ＤＲＡＭ（synchronous DRAM、ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（double data rate SDRAM、ＤＤＲ ＳＤＲＡＭ）、及びダイレクトＲＡＭバスＲＡＭ（direct RAM bus RAM、ＤＲＲＡＭ）を挙げることができる。メモリは、コンピューティングデバイスのリソースを制御する又は割り振るオペレーティングシステムを記憶することができる。

【0026】

本明細書で使用される場合、「モジュール」は、機能若しくは行動を実行するため、並びに／又は別のモジュール、メソッド、及び／若しくはシステムからの機能若しくは行動を引き起こすための、命令を記憶する非一時的コンピュータ可読媒体、機械上で実行される命令、ハードウェア、ファームウェア、機械で実行中のソフトウェア、及び／又はそれぞれの組み合わせを含むが、これらに限定されない。モジュールはまた、論理、ソフトウェア制御マイクロプロセッサ、別個の論理回路、アナログ回路、デジタル回路、プログラムされた論理デバイス、実行命令を含むメモリデバイス、論理ゲート、ゲートの組み合わせ、及び／又は他の回路構成要素を含んでもよい。複数のモジュールは、１つのモジュールに組み合わされてもよく、単一モジュールは、複数のモジュール間に分散されてもよい。

【0027】

「操作可能な接続」、又はエンティティが「操作可能に接続される」ことによる接続は、信号、物理的通信、及び／又は論理的通信が、送信及び／又は受信され得るものである。操作可能な接続は、無線インターフェース、物理的インターフェース、データインターフェース、及び／又は電気インターフェースを含んでもよい。

【0028】

本明細書で使用される場合、「プロセッサ」は、信号を処理し、一般的なコンピューティング及び演算機能を行う。プロセッサによって処理された信号は、デジタル信号、データ信号、コンピュータ命令、プロセッサ命令、メッセージ、ビット、ビットストリーム、又は受信、送信、及び／若しくは検出され得る他の手段を含んでもよい。一般に、プロセッサは、複数の単一及びマルチコアのプロセッサ及びコプロセッサ並びに他の複数の単一及びマルチコアのプロセッサ及びコプロセッサアーキテクチャを含む、多種の様々なプロセッサであってもよい。プロセッサは、様々な機能を実行するための様々なモジュールを含んでもよい。

【0029】

本明細書で使用される場合、「車両」は、１人以上の人間の乗員を運ぶことができ、任意の形態のエネルギーによって電力供給される、任意の移動車両を指し得る。「車両」という用語には、限定するものではないが、自動車、トラック、バン、ミニバン、ＳＵＶ、オートバイ、スクータ、ボート、ゴーカート、アミューズメントライドカー、鉄道輸送、水上バイク、及び航空機が含まれる。場合によっては、モータ車両は、１つ以上のエンジンを含む。更に、「車両」という用語は、１人以上の人間の乗員を運ぶことができ、電気電池によって電力供給される１つ以上の電気モータによって、完全に又は部分的に電力供給される、電気車両（electric vehicle、ＥＶ）を指し得る。ＥＶは、電池電気自動車（battery electric vehicle、ＢＥＶ）及びプラグインハイブリッド電気自動車（plug-in hybrid electric vehicle、ＰＨＥＶ）を含んでもよい。追加的に、「車両」という用語は、任意の形態のエネルギーによって動力を供給される、自律型車両及び／又は自動運転型車両を指し得る。自律型車両は、１人以上の人間の乗員を運んでいても運んでいなくてもよい。更に、「車両」という用語は、所定の経路又は自由移動車両で自動化又は非自動化される車両を含んでもよい。

【0030】

本明細書で使用される場合、「値」及び「レベル」とは、とりわけ、百分率、非数値、離散的な状態、離散値、連続値などの数値、又は他の種類の値若しくはレベルを含むことができるが、これらに限定されない。「Ｘの値」又は「Ｘのレベル」という用語は、この詳細な説明全体を通じて、及び特許請求の範囲で使用される場合、Ｘの２つ以上の状態を区別するための任意の数値又は他の種類の値を指す。例えば、場合によっては、Ｘの値又はレベルは、０％～１００％の割合として与えられてもよい。他の場合には、Ｘの値又はレベルは、１～１０の範囲の値であり得る。更に他の場合では、Ｘの値又はレベルは数値でなくてもよいが、「非Ｘ」、「わずかにＸ」、「Ｘ」、「非常にＸ」、及び「極Ｘ」などの所与の離散した状態と関連付けることができる。
Ｉ．システムの概要

【0031】

ここで図面を参照すると、示されているものは、１つ以上の例示的な実施形態を例示する目的のためであり、それらを限定する目的のためではなく、図１は、本開示の例示的な実施形態による、ジョイントリスクの位置特定を完了し、かつ運転シナリオにおいて推論するための例示的システムの概略図である。システム１００の構成要素、並びに本明細書で考察される他のシステム、ハードウェアアーキテクチャ、及びソフトウェアアーキテクチャの構成要素は、様々な実施形態のために異なるアーキテクチャに組み合わされるか、省略されるか、又は編成されてもよい。

【0032】

概して、システム１００は、エゴエージェント１０２を含み、これは、なかでも１つ以上のアプリケーション、オペレーティングシステム、エージェントシステム、及びサブシステムユーザインターフェースを実行する電子制御ユニット（electronic control unit、ＥＣＵ）１０４を含む。ＥＣＵ１０４はまた、運転リスク評価メカニズム及びアラートアプリケーション（運転リスクアラートアプリケーション）１０６を実行することができ、これらは、ニューラルネットワーク１０８を利用して、エゴエージェント１０２の運転シーンに関連付けられた複数の画像を分析して、１つ以上の交通エージェント及び／又は交通インフラストラクチャを識別するように構成され得る。

【0033】

エゴエージェント１０２は、限定するものではないが、車両、モータサイクル、モータ付き自転車／スクータ、建設車両、航空機などを含み得、これらは、１つ以上の交通エージェントを含み得る、エゴエージェント１０２の運転シーン内で移動することができる。エゴエージェント１０２の運転シーンは、エゴエージェント１０２を包囲し得る所定の近傍を含むことができ、これは、１つ以上の道路、経路、誘導路などを含むことができ、その上で、エゴエージェント１０２が、１つ以上の交通エージェントに加えて移動することができる。

【0034】

１つ以上の交通エージェントは、限定され得るものではないが、追加の車両（例えば、自動車、トラック、バス）、歩行者、モータサイクル、自転車、スクータ、建設／製造用の車両／装置（例えば、可動クレーン、フォークリフト、ブルドーザ）、航空機などを含むことができ、これらはエゴエージェント１０２の運転シーン内に位置し、その中を移動することができる。運転シーンはまた、交通インフラストラクチャを含むことができ、限定され得るものではないが、交通信号灯（例えば、赤色、青色、黄色）、交通標識（例えば、停止標識、ゆずれ標識、横断歩道標識）、車道マーキング（例えば、横断歩道マーキング、停止マーキング、車線合流マーキング）、及び／又は追加的な道路付属物（例えば、建設用クッションドラム、交通コーン、ガードレール、コンクリートバリアなど）を含み得る。

【0035】

例示的な実施形態では、運転リスクアラートアプリケーション１０６は、ニューラルネットワーク１０８を利用して、エゴエージェント１０２の運転シーンに関連付けられた複数の画像を分析し、エゴエージェント１０２、１つ以上の代替交通エージェントの動作に影響を及ぼし得、並びに／又は、現在の時間ステップ及び／若しくは１つ以上の将来の時間ステップでエゴエージェント１０２の１つ以上の経路と潜在的に重複し得る、潜在的な運転リスクとして説明される１つ以上の交通エージェントを決定するように構成され得る。そのような交通エージェントは、重要な交通エージェントとして分類され得る。

【0036】

運転リスクアラートアプリケーション１０６はまた、ニューラルネットワーク１０８を利用して、潜在的な運転リスクに関連付けられるとして説明される交通インフラストラクチャを決定するように構成され得、このリスクはエゴエージェント１０２の動作、並びに／又は、現在の時間ステップ、及び／若しくは１つ以上の将来の時間ステップにおいて、運転シーン内に位置する１つ以上の交通エージェントに影響を及ぼし得る。そのような交通インフラストラクチャは、重要な交通インフラストラクチャとして分類され得る。特に、潜在的な運転リスクは、リスクとして判定され得、このリスクは、エゴエージェント１０２、及び／又はエゴエージェント１０２の運転シーン内のエゴエージェント１０２の動作に影響を及ぼし得る１つ以上の交通エージェントによる、特定の運転応答、及び／又は運転操縦を必要とし得る。

【0037】

以下で論じられるように、運転リスクアラートアプリケーション１０６は、エゴエージェント１０２のカメラシステム１１２から提供される画像データの形態の運転シーンの複数の画像を受信するように構成され得る。換言すると、画像データは、エゴエージェント１０２の運転シーンの複数の画像に属することができ、これらは、エゴエージェント１０２の運転シーン（例えば、エゴエージェント１０２の所定の近傍内の１つ以上の道路）をキャプチャするカメラシステム１１２の１つ以上のカメラ（図示せず）によってキャプチャされ得る。

【0038】

運転リスクアラートアプリケーション１０６は、画像データをニューラルネットワーク１０８のエンコーダデコーダ構造（図３に示す）に入力して、画像データから視覚的特徴及びオプティカルフロー特徴を抽出するように構成され得る。視覚的特徴及びオプティカルフロー特徴が分析され、エゴエージェント１０２の運転シーン内に位置する交通エージェント及び交通インフラストラクチャと、エゴエージェント１０２の運転シーン内の交通エージェントなどの動的オブジェクトの運動と、に関連付けられ得る属性を、エンコードされた特徴として様々な時間ステップにおいて複数の画像から決定されたように決定することができる。

【0039】

以下で論じられるように、視覚的特徴及びオプティカルフロー特徴は、デコーダに連結され、かつ入力され得、１つ以上の特定の交通エージェントを、エゴエージェント１０２の運転シーン内の潜在的な運転リスクとして説明される重要な交通エージェントとして決定し、並びに／又はエゴエージェント１０２の運転シーン内に位置する特定の交通インフラストラクチャを、エゴエージェント１０２によって、及び／若しくは１つ以上の交通エージェントによって説明される重要な交通インフラストラクチャとして決定する。

【0040】

したがって、ニューラルネットワーク１０８は、重要な交通エージェント及び重要な交通インフラストラクチャの分析及び判定に関する二層アプローチを提供することができる。第１の層は、エゴエージェント１０２が、１つ以上の交通エージェント及び／又は特定の交通インフラストラクチャによってどのように影響を受け得るかを考慮することができ、１つ以上の重要な交通エージェント及び／又は重要な交通インフラストラクチャを決定する。例えば、第１の層は、エゴエージェント１０２の経路を横断し得る歩行者、又はエゴエージェント１０２の前方にあり得る赤色の交通信号灯を説明するために、どのようにエゴエージェント１０２が減速し、制動するかを考慮することができる。第２の層は、特定の交通エージェントが、互いに、及び／又は特定の交通インフラストラクチャによって、どのように影響を受け得るかを考慮することができる。例えば、第２の層は、特定の交通エージェントが、特定の交通エージェントの前方で減速している別の交通エージェントによって、どのように影響され得るかを考慮し得る。

【0041】

二層アプローチを使用して運転シーンの理解を判定するために、ニューラルネットワーク１０８は、推論モジュールデータセット（ドラマデータセット）１１２を備える事前トレーニングされた運転リスク評価メカニズムにアクセスすることができ、データセットは、アノテーションスキーマを含み得、アノテーションスキーマは、重要な交通エージェント、重要な交通インフラストラクチャ、並びに／又は重要な交通エージェント及び重要な交通インフラストラクチャの判定に対するエゴエージェント１０２の動作に関連し得るエゴエージェント１０２の運転シーンに関連付けられた複数のアノテーションを提供するために分析されることができる。ニューラルネットワーク１０８は、エゴエージェント１０２の動作に関連し得る、及び／又は二層アプローチに基づいて重要な交通エージェントとして判定され得る特定の交通エージェントに影響を及ぼし得る、重要な交通エージェント及び／又は重要な交通インフラストラクチャの境界ボックスを決定することができる。

【0042】

ニューラルネットワーク１０８は、ドラマデータセット１１０内のデータに基づいて判定されたアノテーションに基づいたキャプションを生成することができ、キャプションは、リスク、エゴエージェント１０２の意図、運転シーンのシーン分類、及び運転提案についての質問に基づき得る特定の運転シナリオについての説明、分類、カテゴリー化、及び推奨を提供することができる。運転リスクアラートアプリケーション１０６は、キャプション、並びに重要な交通エージェント及び／又は重要な交通インフラストラクチャに対して計算された境界ボックスに関するニューラルネットワーク１０８によって出力されたデータを受信するように構成することができ、かつ、エゴエージェント１０２のオペレータ１３６（例えば、運転者）に、アノテーションに基づいてニューラルネットワーク１０８によって生成されたキャプションを提示する１つ以上の視覚アラート及び／又は音声アラートを提供することができる。

【0043】

１つ以上の実施形態では、キャプションは、重要な交通エージェント及び／又は重要な交通インフラストラクチャについて、現在の時間ステップ、及び／若しくは１つ以上の将来の時間ステップにおけるエゴエージェント１０２に影響を及ぼし得るか、並びに／又は、特定の交通エージェントが、現在の時間ステップ及び／若しくは１つ以上の将来の時間ステップでの互いの及び／若しくは特定の交通インフラストラクチャによっていかに影響され得るか、の詳細をオペレータ１３６に提供することができる。そのようなキャプションは、連結された画像フローデータのデコードに基づいて、ドラマデータセット１１０から取り出されるアノテーションデータに基づき得る。

【0044】

例示的な実施形態では、ドラマデータセット１１０は、運転シーン内に含まれる重要な交通エージェント及び／又は重要な交通インフラストラクチャと関連付けられ得る運転リスクの視覚的な推論を提供することができる。ニューラルネットワーク１０８は、ドラマデータセット１１０にアクセスして、連結された画像フローデータを、エゴエージェント１０２の様々な運転シナリオに関連付けられた視覚的推論能力の範囲に関して分析することができる。

【0045】

図２の例示的な実施例に示されるように、ドラマデータセット１１０は、画像（例えば、ビデオ）レベル質問に関する画像レベルＱ／Ａ２０２を含み得、これらの質問は、運転リスクがエゴエージェント１０２に広く行き渡っている場合、エゴエージェント１０２の動的センサ１２４によって提供される動的データに基づき得るエゴエージェント１０２の意図、エゴエージェント１０２の運転シーンのシーン分類、並びに判定された重要な交通エージェント及び／又は重要な交通インフラストラクチャのオブジェクト位置特定２０４に関連付けられた様々な運転シナリオに関連付けられ得る１つ以上の提案を含み得る。画像レベルＱ／Ａ２０２は、リスク及びシーン属性、並びにエゴの意図及び行動提案などのエゴ行動特徴に対処するようにフォーマットされた質問に回答するように構成され得る。いくつかの質問は、何のリスクが知覚されているか、又は運転リスクを和らげるためのオペレータの潜在的な行動が何であり得るかを問い合わせる。一構成においては、キャプションを提供するために利用され得る有効な回答は、ブール形式（すなわち、はい又はいいえ）、又は複数のオプションからの単一の選択（例えば、停止、減速、移動開始、マージなど）などの閉形式に含まれ得る。

【0046】

以下でより詳細に論じられるように、オブジェクト位置特定２０４は、それぞれの重要な交通エージェント及び／又は重要な交通インフラストラクチャの周りで計算され得る境界ボックスに関連付けられ得る。ドラマデータセット１１０は、アノテーションデータに関連付けられたオブジェクトレベルＱ／Ａ２０６を含み得、アノテーションデータは、視覚的属性、運動属性、位置的属性、運動方向、及び交通エージェント挙動に影響を及ぼし得る外部要因に関して、交通エージェント及び／又は交通インフラストラクチャに関連付けられたオブジェクトレベルの質疑応答を含み得る。

【0047】

一構成では、エゴエージェント１０２に関連する運転シナリオがリスクを伴うと決定された場合、オブジェクトレベルＱ／Ａ２０６に基づいて、オブジェクト／レベルの質問が回答され得る。オブジェクトレベルＱ／Ａ２０６は、自由形式又はオープンエンドの応答を可能にする質問を構成することができる基本動作（なにが、どれが、どこで、なぜ、どのように）を含み得る。単一選択の回答に加えて、より複雑な推論が利用され、観察からの高レベルの意味論の理解を表すことができる。図２に表されるように、例示的な回答が示されており、これらは、問い合わせオブジェクトタイプ（なにが）、視覚的属性及び運動属性（どれが）、場所及び運動方向（どこで）、リスクについての推論又は相互作用の記述（なぜ）、並びに関係の影響（どのように）などの視覚的推論の基本動作に対応している。

【0048】

特に、ドラマデータセット１１０は、「なにの」各重要な交通エージェント／静的オブジェクトが、エージェントラベルに対するか、に関するデータを含み得る。エージェントラベルは、交通エージェント及び／又は交通インフラストラクチャの各々に関する短い説明を含み得る。例えば、エージェントラベルは、歩行者、サイクリスト、車両、白色のトラック、緑色のスクータ、建設作業者、子供、赤色の交通信号灯、停止標識、ゆずれ標識、横断歩道などを含み得る。

【0049】

ドラマデータセット１１０内に含まれるデータはまた、視覚的属性及び運動属性に分割され得るエージェントレベル属性に基づく推論を説明するアノテーションを含む「どれが」に関するデータアノテーションを判定するために分析され得る。視覚的属性は、交通エージェント及び／又は交通インフラストラクチャがどのように見えるか、（すなわち、個人／歩行者交通エージェントについての色、衣服、オブジェクト、及び活動、車両交通エージェントについてのタイプ及び色、交通インフラストラクチャの標識／名称及び状態）を説明することができる。運動属性は、各重要な交通エージェントがどのように移動するかを説明することができる。例えば、そのような説明は、「横断を待機している」、「立っている」（歩行者エージェントに適用可能）、「駐車された」、「車線変更中」（車両エージェントに適用可能）を含み得る。

【0050】

ドラマデータセット１１０内に含まれるデータは、運転シーン内に位置する交通エージェント及び／又は交通インフラストラクチャの場所及び運動方向を含む、「どこで」に関するデータアノテーションを判定するために追加的に分析され得る。重要な交通エージェントの場所は、運転シーン内の１つ以上の重要な交通エージェントの各々のそれぞれの位置であり、運転シーンの交通インフラストラクチャ、道路／経路、及び／又は、エゴエージェント１０２の位置（例えば、エゴエージェント１０２に関連する交差点又は位置）に関して関連付けられている。運動方向は、「ある場所又は車線から、別の場所又は車線へ」を説明できる。

【0051】

更に、ドラマデータセット１１０内に含まれるデータは、重要な交通エージェントの挙動の原因を説明する「なぜ」に関するデータアノテーションを判定するために分析され得、これは、重要な交通エージェント及び／又は重要な交通インフラストラクチャの判定に関してニューラルネットワーク１０８によって利用される二層アプローチの第２の層に基づくことができる。ドラマデータセット１１０内に含まれるデータは、更に分析され、重要な交通エージェント及び／又は重要な交通インフラストラクチャの各々がどのようにエゴエージェント１０２に影響を与えているかを説明する、「どのように」に関するデータアノテーションを判定することができる。

【0052】

したがって、ドラマデータセット１１０を分析すると、ニューラルネットワーク１０８のデコーダによって出力されるデータに基づいて、画像レベルの詳細、オブジェクトの位置特定ベースの詳細、及びオブジェクトレベルの詳細に加えて、運転シーン内の１つ以上の重要な交通エージェント、及び／又は、交通インフラストラクチャを説明する処理された境界ボックスに加えて、キャプションが出力され得る。例示的な実施形態では、運転リスクアラートアプリケーション１０６は、ニューラルネットワーク１０８のデコーダによって処理された境界ボックスを含む視覚アラートを提供することができる。境界ボックスは、１つ以上のそれぞれの重要な交通エージェント及び／又は重要な交通インフラストラクチャの周りに拡張され得、これは、ドラマデータセット１１０（図７Ａ～図７Ｄに表されるように）の分析に基づいて決定されたキャプションと一致するように、ニューラルネットワーク１０８によって判定され得る。

【0053】

境界ボックスは、重要な交通エージェント及び／又は重要な交通インフラストラクチャ、並びに画像レベルＱ／Ａ２０２と、オブジェクト位置特定２０４と、オブジェクトレベルＱ／Ａ２０６と、に基づくキャプションを含むことができ、キャプションは、ニューラルネットワーク１０８の機械学習／深層学習技術を通じたドラマデータセット１１０の分析に基づいて決定され得、特に、特定の交通エージェント及び／又は交通インフラストラクチャの存在、位置、説明、及び重要性に関する視覚アラートをオペレータ１３６に提供して潜在的運転リスクに関するオペレータの注意を引いて、潜在的運転リスクの各々にどのように対抗するかの提案を提供する。

【0054】

１つ以上の実施形態において、運転リスクアラートアプリケーション１０６は、音声アラートを提供することができる。音声アラートは、キャプションに基づき、特に、特定の交通エージェント及び／又は交通インフラストラクチャの存在、位置、説明、及び重要性に関するアラートをオペレータ１３６に提供して、潜在的な運転リスクに関するオペレータの注意を引き、かつエゴエージェント１０２を誘導するための１つ以上の運転提案をオペレータ１３６に提供して、１つ以上の運転リスクを説明することができる。例えば、キャプションは、エゴエージェント１０２の音声システム（図示せず）を介してオペレータ１３６に音声で述べられ、特に、特定の交通エージェント及び／又は交通インフラストラクチャの存在、位置、説明、及び重要性に関するアラートをオペレータに提供し、かつエゴエージェント１０２を誘導するための１つ以上の運転提案をオペレータ１３６に提供して、１つ以上の運転リスクを説明することができる。

【0055】

いくつかの構成では、音声アラートは、境界ボックスの近傍で拡張され得る１語／２語の短い説明の視覚アラートを伴ってオペレータ１３６に１つ以上の運転提案についてアラートして、エゴエージェント１０２を誘導することができる。いくつかの実施形態では、運転リスクアラートアプリケーション１０６は、１つ以上の重要な交通エージェント及び／又は重要な交通インフラストラクチャを説明するために、エゴエージェント１０２と関連付けられ得るエージェント自律制御を提供するために利用され得る自律制御コマンドを提供するように構成され得る。いくつかの場合、自律制御コマンドは、キャプション内に含まれる１つ以上の運転提案に基づいて、エゴエージェント１０２の運転シーン内の潜在的な運転リスクを説明するためにエゴエージェント１０２のオペレータ１３６に提供され得る１つ以上の視覚アラート及び／又は音声アラートを補足することができる。

【0056】

一実施形態では、運転リスクアラートアプリケーション１０６はまた、ニューラルネットワーク１０８によって判定されるように、様々なタイプの重要な交通エージェント及び／又は重要な交通インフラストラクチャと関連付けられ得る補足データを備えたドラマデータセット１１０を読み込むように構成され得る。したがって、ドラマデータセット１１０は、重要な交通エージェント及び／又は重要な交通インフラストラクチャの判定を微調整するために利用され得るデータでニューラルネットワーク１０８を継続的にトレーニングするために、更新されたデータで継続的に読み込まれ得る。ニューラルネットワーク１０８はまた、エゴエージェント１０２が、エゴエージェント１０２の運転シーン内の潜在的な運転リスクを説明することを可能にする目的のためのエンコード及びデコードの将来の反復中に利用される１つ以上の将来時点において、重要な交通エージェント、重要な交通インフラストラクチャ、及びエゴエージェント１０２の運転シーンに関連付けられたキャプションを微調整するように継続的にトレーニングされ得る。

【0057】

運転リスクアラートアプリケーション１０６は、重要なエージェント位置特定、重要な交通インフラストラクチャ位置特定、キャプション、及び視覚的質疑応答タスクの技術の改善を提供して、視覚アラート、音声アラートを使用する、及び／又はジョイントリスクの位置特定を完了して、かつ様々な運転シナリオにおいて推論するための自律コマンドを介してそれらを説明する、重要な交通エージェント及び／又は重要な交通インフラストラクチャの自然言語記述を提供するように構成され得る。それによって、この機能性は、視覚的推論能力の範囲を適用するために利用されることができ、様々な時点での異なる運転シーンに基づき得る様々な運転シナリオにおける潜在的な運転リスクに対抗する。

【0058】

引き続き図１を参照すると、ＥＣＵ１０４は、限定するものではないが、カメラシステム１１２、記憶ユニット１１６、ヘッドユニット１１８、自律型コントローラ１２０、システム／制御ユニット１２２、及び動的センサ１２４を含むエゴエージェント１０２の複数の追加の構成要素に動作可能に接続されるように構成され得る。１つ以上の実施形態では、ＥＣＵ１０４は、マイクロプロセッサ、１つ以上の特定用途向け集積回路（application-specific integrated circuit、ＡＳＩＣ）、又は他の同様のデバイスを含んでもよい。ＥＣＵ１０４はまた、内部処理メモリ、インターフェース回路、及びデータを転送して、コマンドを送信して、エゴエージェント１０２の複数の構成要素と通信するためのバスラインを含むことができる。

【0059】

ＥＣＵ１０４はまた、エゴエージェント１０２内で（例えば、１つ以上の構成要素間で）データを内部に送信し、外部ホスト型コンピューティングシステム（例えば、エゴエージェント１０２の外部）と通信するための通信デバイス（図示せず）を含むことができる。概して、ＥＣＵ１０４は、記憶ユニット１１６内に記憶される１つ以上のアプリケーション、オペレーティングシステム、システム、及びサブシステムユーザインターフェースなどを実行するために、記憶ユニット１１６と通信することができる。

【0060】

一例において、エゴエージェント１０２のヘッドユニット１１８を通して１つ以上の視覚アラート及び／又は音声アラートを提供するためにオペレータ１３６によって操作され得る、エゴエージェント１０２の１つ以上の高度な運転者アシストシステム（ＡＤＡＳ）（図示せず）を制御する１つ以上のコマンドが提供されることができる。ヘッドユニット１１８は、エゴエージェント１０２のシステム／制御ユニット１２２に動作可能に接続されることができる。例えば、ヘッドユニット１１８は、エゴエージェント１０２の音声システムに動作可能に接続されることができ、運転リスクアラートアプリケーション１０６から通信されるコマンドに基づいてオペレータ１３６に提供されるキャプションを含み得る１つ以上の音声アラートを提供する。ヘッドユニット１１８はまた、１つ以上の表示ユニット（図示せず）に動作可能に接続され得る。ヘッドユニット１１８は、１つ以上の重要な交通エージェント及び／又は重要な交通インフラストラクチャの周りに計算された境界ボックスを提示することができる１つ以上の視覚アラートを提供する運転リスクアラートアプリケーション１０６からコマンドを受信するように構成され得る。

【0061】

１つ以上の実施形態では、１つ以上の表示ユニットは、様々なフォームファクタ、形状、サイズ、設計、及び／又は構成で構成され得る。例えば、１つ以上の表示ユニットは、センタースタック、ダッシュボード、及び／又はエゴエージェント１０２の１つ以上のフロント部分及び／又はリア部分内に含まれる液晶ディスプレイ（liquid crystal display、ＬＣＤ）デバイスを含み得るフラットパネルディスプレイで構成され得る。いくつかの実施形態では、１つ以上の表示ユニットは、エゴエージェント１０２のフロントガラスの上に、運転リスクアラートアプリケーション１０６によって提供される１つ以上の視覚アラートを投影するヘッドアップディスプレイを含み得る。

【0062】

一実施形態では、ＥＣＵ１０４は、自律型コントローラ１２０と通信して、エゴエージェント１０２が、完全に自律的に運転されるか、又は特定の方法で半自律的に運転されるように操作するための自律運転コマンドを実行することができる。前述のように、この自律運転コマンドは、エージェント自律制御を提供する運転リスクアラートアプリケーション１０６によって提供されるコマンドに基づくことができ、エゴエージェント１０２を周囲環境内で誘導するためにエゴエージェント１０２に関連付けられることができ、１つ以上の重要な交通エージェント及び重要な交通インフラストラクチャを説明する。自律運転コマンドは、運転リスクアラートアプリケーション１０６によって提供されるコマンドに基づくことができ、周囲環境内でエゴエージェント１０２を誘導して、周囲環境内で移動するためのエゴエージェント１０２の１つ以上の機能をドラマデータセット１１０の分析に基づいてニューラルネットワーク１０８によって提供され得るキャプション及びデータアノテーションに基づいて自律的に制御する。

【0063】

一構成では、限定されるものではないが、エンジン制御ユニット、ブレーキ制御ユニット、トランスミッション制御ユニット、操舵制御ユニットなどを含む１つ以上のシステム／制御ユニット１２２に１つ以上のコマンドを提供することができ、運転リスクアラートアプリケーション１０６によって出力される１つ以上の自律コマンドに基づいて、エゴエージェント１０２が自律的に運転されるように制御し、エゴエージェント１０２の運転シーン内でエゴエージェント１０２を誘導する。特に、エゴエージェント１０２の１つ以上の機能は、１つ以上の視覚アラート及び／又は音声アラートを補足してエゴエージェント１０２の運転シーン内の潜在的な運転リスクを説明するキャプション内に含まれた１つ以上の運転提案に基づき得る方法で運転シーン内を移動するように自律的に制御され得る。

【0064】

１つ以上の実施形態では、システム／制御ユニット１２２は、エゴエージェント１０２の動的センサ１２４に操作可能に接続され得る。動的センサ１２４は、１つ以上のシステム、サブシステム、制御システムなどからの入力を受信するように構成され得る。一実施形態では、動的センサ１２４は、エゴエージェント１０２のコントローラエリアネットワーク（Controller Area Network、ＣＡＮ）の一部として含まれ得、１つ以上のシステム、サブシステム、制御システムなどのために利用されるように、動的データをＥＣＵ１０４に提供するように構成され得る。動的センサ１２４は、限定されるものではないが、位置センサ、進行方向センサ、速度センサ、操舵速度センサ、操舵角センサ、スロットル角度センサ、加速度計、磁力計、ジャイロスコープ、ヨーレートセンサ、制動力センサ、車輪速度センサ、車輪回転角度センサ、変速機ギヤセンサ、温度センサ、ＲＰＭセンサ、ＧＰＳ／ＤＧＰＳセンサなど（個々のセンサは図示せず）を含み得る。

【0065】

１つの構成では、動的センサ１２４は、１つ以上の運転操作が行われる際、及び／又はエゴエージェント１０２が自律的に運転されるように制御される際、エゴエージェント１０２のリアルタイム動的性能と関連付けられる１つ以上の値（例えば、数値レベル）の形態の動的データを提供することができる。以下で論じられるように、動的センサ１２４によって出力される動的データは、運転シーン内で進行するときに、エゴエージェント１０２のリアルタイム動的操作に関連付けられ得る。動的データが、ニューラルネットワーク１０８に提供され、エゴエージェント１０２の意図を決定するために分析されることができる。エゴエージェント１０２の意図は、運転シーン内の１つ以上の将来の時間ステップにおける、エゴエージェント１０２の意図した軌道、及びエゴエージェント１０２の１つ以上の位置及び／又は場所に関係し得る。エゴエージェント１０２の意図は、エゴエージェント１０２の速度、操舵角度、制動速度などに基づいて決定され得る。

【0066】

引き続き図１を参照すると、エゴエージェント１０２のカメラシステム１１２は、１つ以上のカメラ（図示せず）を含み得、カメラは１つ以上の方向で、１つ以上の領域に位置付けられることができ、エゴエージェント１０２の運転シーンの１つ以上の画像（例えば、エゴエージェント１０２が移動している車道の画像）をキャプチャする。カメラシステム１１２の１つ以上のカメラは、限定されるものではないが、ダッシュボード、バンパ、フロント照明ユニット、フェンダ、及びフロントガラスの様々な部分を含む、エゴエージェント１０２の外部フロント部分に配設され得る。一実施形態では、１つ以上のカメラは、ＲＧＢカメラとして構成され得、これは、ＲＧＢ帯域をキャプチャすることができ、道路車線マーキング、道路／経路マーカ、及び／又は道路／経路インフラストラクチャ（例えば、ガードレール）に関するオブジェクト外観に関するリッチ情報をキャプチャするように構成されている。

【0067】

他の実施形態では、１つ以上のカメラは、三次元画像の形態で、環境情報をキャプチャするように構成された立体カメラとして構成されてもよい。１つ以上の構成では、１つ以上のカメラは、エゴエージェント１０２の視野からのエゴエージェント１０２の現在地の１つ以上の第１の人物視点のＲＧＢ画像／ビデオをキャプチャするように構成されてもよい。一実施形態では、カメラシステム１１２は、１つ以上のＲＧＢ画像／ビデオ（例えば、画像のシーケンス）を、運転リスクアラートアプリケーション１０６に通信されて分析される画像データに変換するように構成されてもよい。

【0068】

以下で論じられるように、カメラシステム１１２によって提供される画像データは、ニューラルネットワーク１０８に入力されるように運転リスクアラートアプリケーション１０６に提供され得る。したがって、ニューラルネットワーク１０８のエンコーダは、画像データから視覚的特徴及びオプティカルフロー特徴を抽出して、エゴエージェント１０２の運転シーン内に位置する交通エージェント及び交通インフラストラクチャと、エゴエージェント１０２の運転シーン内の交通エージェントなどの動的オブジェクトの運動と、に関連付けられ得る属性を、エンコードされた特徴として様々な時間ステップにおいて複数の画像から決定されたように決定することができる。

【0069】

一実施形態では、ニューラルネットワーク１０８は、ＯＥＭ、サードパーティ管理者、及び／又は、運転リスクアラートアプリケーション１０６の動作に関連付けられたデータを管理するデータセットマネージャによって所有、操作、及び／又は管理され得る外部サーバ１１４にホストされ得る。外部サーバ１１４は、運転リスクアラートアプリケーション１０６を実行するように構成され得るプロセッサ１２６によって動作可能に制御され得る。特に、プロセッサ１２６は、１つ以上のアプリケーション、オペレーティングシステム、データベースなどを実行するように構成され得る。プロセッサ１２６はまた、内部処理メモリ、インターフェース回路、及びデータを転送し、コマンドを送信し、外部サーバ１１４の複数の構成要素と通信するためのバスラインを含むことができる。

【0070】

一実施形態では、プロセッサ１２６は、外部サーバ１１４のメモリ１２８に動作可能に接続され得る。概して、プロセッサ１２６は、メモリ１２８と通信して、メモリ１２８内に記憶された１つ以上のアプリケーション、オペレーティングシステム、などを実行することができる。一実施形態では、メモリ１２８は、運転リスクアラートアプリケーション１０６と関連付けられた１つ以上の実行可能なアプリケーションファイルを記憶することができる。

【0071】

例示的な実施形態では、外部サーバ１１４は、ニューラルネットワーク１０８を記憶するように構成され得る。ニューラルネットワーク１０８は、長・短記憶回帰型ニューラルネットワーク（ＬＳＴＭニューラルネットワーク）として構成され得る。ＬＳＴＭニューラルネットワークとして、ニューラルネットワーク１０８は、機械学習／深層学習技術を実行して、複数の画像及びビデオなどのデータポイントのシーケンスを処理及び分析することができ、分類を出力し、時系列データに基づいて予測を行う。図３に示すように、ニューラルネットワーク１０８は、エンコーダ３０２及びデコーダ３１０を含み得る。以下でより詳細に論じられるように、エンコーダ３０２は、エゴエージェント１０２のカメラシステム１１２から入力された画像データに基づいて、視覚的特徴及びオプティカルフロー特徴をエンコードするために利用され得る。

【0072】

デコーダ３１０は、運転シーン内の重要な交通エージェント及び／又は重要な交通インフラストラクチャを判定し、重要な交通エージェント及び／又は重要な交通インフラストラクチャの周りの境界ボックスを計算し、ドラマデータセット１１０内に含まれるデータの抽出及び分析に基づいて対応するキャプションを生成するように構成され得る。上述のように、キャプションは、現在の時間ステップ及び／若しくは１つ以上の将来の時間ステップでエゴエージェント１０２に影響を及ぼし得る重要な交通エージェント及び／若しくは重要な交通インフラストラクチャに関して、並びに／又は、特定の交通エージェントが、現在の時間ステップ及び／若しくは１つ以上の将来の時間ステップで互いに、並びに／又は、特定の交通インフラストラクチャによってどのように影響され得るかを、オペレータ１３６に詳細を提供することができる。
ＩＩ．運転リスクアラートアプリケーション及び関連する方法

【0073】

運転リスクアラートアプリケーション１０６の構成要素を、ここで、例示的な実施形態に従って、かつ図１を引き続き参照して説明する。例示的な実施形態では、運転リスクアラートアプリケーション１０６は、記憶ユニット１１６上に記憶され、エゴエージェント１０２のＥＣＵ１０４によって実行され得る。別の実施形態では、運転リスクアラートアプリケーション１０６は、外部サーバ１１４のメモリ１２８に記憶され得、エゴエージェント１０２のＥＣＵ１０４によって実行されるエゴエージェント１０２のテレマティクス制御ユニットによってアクセスされ得る。

【0074】

運転リスクアラートアプリケーション１０６の一般的な機能性について、ここで、論じる。例示的な実施形態では、運転リスクアラートアプリケーション１０６は、ジョイントリスクの位置特定を完了し、かつ、運転シナリオにおける推論をするように構成され得る複数のモジュール１３０～１３４を含み得る。複数のモジュール１３０～１３４は、データ受信モジュール１３０、重要なオブジェクト決定モジュール１３２、及びエージェント制御モジュール１３４を含み得る。しかしながら、運転リスクアラートアプリケーション１０６は、モジュール１３０～１３４の代わりに含まれる１つ以上の追加のモジュール及び／又はサブモジュールを含み得ることが理解される。

【0075】

図４は、本開示の例示的な実施形態による、ニューラルネットワーク１０８のエンコーダ３０２を利用して、連結された画像フローデータをニューラルネットワーク１０８のデコーダ３１０に出力するための方法４００のプロセスフロー図である。図４は、図１及び図３の構成要素を参照して説明されるが、図４の方法４００は、他のシステム／構成要素と共に使用され得ることを理解されたい。方法４００は、ブロック４０２で開始することができ、方法４００は、エゴエージェント１０２の運転シーンに関連付けられた画像データを受信することを含み得る。

【0076】

例示的な実施形態では、１つ以上の過去の時間ステップ及び／又は現在の時間ステップにおいて、運転リスクアラートアプリケーション１０６のデータ受信モジュール１３０は、カメラシステム１１２と通信して、エゴエージェント１０２の複数の時間ステップ（過去の時間ステップ及び現在の時間ステップ）におけるエゴエージェント１０２の運転シーンのトリミングされていない画像／ビデオに関連付けられた画像データを収集するように構成され得る。

【0077】

いくつかの構成では、画像データは、特定の時間ステップでキャプチャされた、エゴエージェント１０２の運転シーンの１つ以上の第１の人物視点のＲＧＢ画像／ビデオに関連し得る。画像データは、１つ以上の時間ステップにおける、エゴエージェント１０２の運転シーン内の道路車線マーキング、道路／経路マーカ、道路／経路インフラストラクチャに関するオブジェクト外観についてのリッチ情報を含むように構成され得る。いくつかの実施形態では、データ受信モジュール１３０は、１つ以上の時点において評価されるように、記憶ユニット１１６上に画像データをパッケージ化して、記憶してもよい。

【0078】

方法４００は、ブロック４０４に進んでもよく、方法４００は、ニューラルネットワーク１０８のエンコーダ３０２に画像データを入力することを含むことができる。例示的な実施形態では、エゴエージェント１０２の運転シーンに関連付けられた画像データを受信すると、データ受信モジュール１３０は、画像データを運転リスクアラートアプリケーション１０６の重要なオブジェクト決定モジュール１３２に通信するように構成され得る。

【0079】

一実施形態では、重要なオブジェクト決定モジュール１３２は、画像データを分析するように構成され得、エゴエージェント１０２の運転シーンの画像属性及び特徴を含む画像ベースの特徴データＩを抽出することができる。画像の属性及び特徴は、エゴエージェント１０２の運転シーンの各時間ステップでキャプチャされた画像及び／又はビデオの各々の複数のピクセルの各々内に含まれ得る運転シーンの視覚的態様に関し得る。そのような視覚的属性は、運転シーン内に位置する１つ以上の交通エージェント、及び／又は運転シーン内に位置する交通インフラストラクチャなどの、エゴエージェント１０２に影響を及ぼし得るオブジェクトを含み得る。更に、視覚的属性は、道路の構成、車線、自然特徴（例えば、林、樹木）、及び／又は運転シーン内に位置し得る人工特徴物（建物、コンクリートバリア）に関し得る環境情報を含み得る。

【0080】

重要なオブジェクト決定モジュール１３２は、画像データを分析するように更に構成され得、光フロー特徴データＦを抽出することができ、これは、各複数の画像の複数のピクセル内に含まれるそれぞれの画像プレーン上での複数の時間ステップ（例えば、現在の時間ステップまでの過去の時間ステップ）にわたる運動、及び／又はエゴエージェント１０２の運転シーンの各時間ステップでキャプチャされたビデオに関し得る。光フロー特徴データは、それぞれの交通エージェントの運きによって引き起こされる２つ以上の（それぞれの時間ステップに関連付けられた）連続するフレーム間のそれぞれの交通エージェントなどの動的オブジェクトの運動の見掛けの変化をキャプチャし得る。

【0081】

図３に示すように、重要なオブジェクト決定モジュール１３２は、外部サーバ１１４に記憶されたニューラルネットワーク１０８にアクセスして、画像ベースの特徴データＩ及びオプティカルフロー特徴データＦを、機械学習／深層学習技術を使用してニューラルネットワーク１０８のエンコーダ３０２に入力するように構成され得る。図３及び図４を引き続き参照すると、図４の方法４００は、ブロック４０６に進み得、方法４００は、視覚的特徴及びオプティカルフロー機能を抽出することを含み得る。

【0082】

例示的な実施形態では、ニューラルネットワーク１０８のエンコーダ３０２は、視覚的特徴エンコーダを使用してエンコーダ３０２に入力された画像ベースの特徴データＩ上で視覚的特徴抽出３０４を実行するように構成され得る。エンコーダ３０２はまた、光フロー特徴エンコーダを使用してエンコーダ３０２に入力された光フロー特徴データＦ上でフロー特徴抽出３０６を実行するように構成され得る。特に、画像ベースの特徴データＩに関連付けられた各画像Ｉ_ｔ及び各オプティカルフロー画像Ｆ_ｔを時間ステップｔで考慮すると、エンコーダ３０２は、視覚的特徴抽出３０４を介して視覚的フロー特徴、及び特徴抽出３０６を介してオプティカルフロー特徴を抽出するように構成され得る。一構成では、各オプティカルフロー画像Ｆ_ｔが、２つの画像フレームＩ_ｔ及びＩ_ｔ－１を備えるフローネット２．０によって生成され得、エゴエージェント１０２の運転シーン内の交通エージェントなどのオブジェクトの運動をキャプチャする。

【0083】

一実施形態では、視覚的特徴及びオプティカルフロー特徴をエンコードするために、エンコーダ３０２は、バックボーンネットワークとしてＩｍａｇｅｎｅｔで事前トレーニングされたＲｅｓＮｅｔ－１０１モデルを利用し得る。両方の特徴が、元のＲｅｓＮｅｔ－１０１構造、及び適応平均プーリング層が、１４×１４×２０４８の固定された埋め込まれたサイズを出力として得るために加えられる前に、２つの層から抽出される。

【0084】

視覚的特徴抽出３０４及びフロー特徴抽出３０６の実行時に、方法４００は、ブロック４０８に進み得、方法４００は、視覚的特徴及びオプティカルフロー機能を連結して出力特徴を生成することを含み得る。例示的な実施形態では、エンコーダ３０２は、視覚的特徴抽出３０４を介して画像ベースの特徴データＩから抽出された画像フロー特徴、及びオプティカルフローデータＦから抽出されたオプティカルフロー特徴を連結するように構成され得る。画像フロー特徴及びオプティカルフロー特徴が、連結され、連結された画像フローデータＥ_ｔを出力特徴として生成することができる。特に、画像フロー特徴及びオプティカルフロー特徴は、Ｅ_ｔ＝［Φ_ｖ（Ｉ_ｔ），Φ_ｆ（Ｆ_ｔ）］として結合され得る。

【0085】

方法４００は、ブロック４１０に進み得、方法４００は、出力特徴をニューラルネットワーク１０８のデコーダ３１０に入力することを含み得る。例示的な実施形態では、ニューラルネットワーク１０８は、連結された画像フローデータをエンコーダ３０２の出力特徴Ｅ_ｔとしてデコーダ３１０に入力するように構成され得る。以下で論じられるように、デコーダ３１０は、エゴエージェント１０２の運転シーン内の潜在的な運転リスクとして説明される重要な交通エージェントとして１つ以上の特定の交通エージェントを決定し、並びに／又はエゴエージェント１０２によって説明される、及び／若しくは１つ以上の交通エージェントによって説明される、エゴエージェント１０２の運転シーン内に位置する特定の交通インフラストラクチャを決定するように構成され得る。

【0086】

図５は、本開示の例示的な実施形態による、連結画像フローデータをデコードして、エゴエージェント１０２の運転シーン内に位置する１つ以上の重要な交通エージェント及び／又は重要な交通インフラストラクチャに関連付けられた運転リスク応答を提供するための方法５００のプロセスフロー図である。図５は、図１及び図３の構成要素を参照して説明されるが、図５の方法５００は、他のシステム／構成要素と共に使用されてもよいことを理解されたい。

【0087】

方法５００は、ブロック５０２で開始することができ、方法５００は、ドラマデータセット１１０にアクセスすることと、１つ以上の重要な交通エージェント及び／又は重要な交通インフラストラクチャを決定することと、を含み得る。例示的な実施形態では、デコーダ３１０は、連結された画像フローデータＥをデコードしてキャプション予測３１２を完了するように構成され得、ＲＯＩプーリング３１４は、それぞれの計算された境界ボックスに対してキャプションデコードの性能を改善するために実行され得る。

【0088】

重要なオブジェクト位置特定３１６は、重要な交通エージェント及び／又は重要な交通インフラストラクチャを識別して、ドラマデータセット１１０の分析に基づいてそれぞれの境界ボックスを計算するために利用され得る。境界ボックスは、重要な交通エージェント及び／又は重要な交通インフラストラクチャ、並びに、画像レベルＱ／Ａ２０２、オブジェクト位置特定２０４、及びニューラルネットワーク１０８の機械学習／深層学習技術を介したドラマデータセット１１０の分析に基づいて決定され得るオブジェクトレベルＱ／Ａ２０６に基づくキャプションを含み得る。

【0089】

一構成では、基本的な多層層パーセプトロン（multi-layer perceptron、ＭＬＰ）が、重要なオブジェクト位置特定モデルに利用され得る。重要なオブジェクト位置特定３１６を実行するデコーダ３１０の重要なオブジェクト位置特定モジュールのアーキテクチャは、境界ボックスに回帰するＭＬＰ層と同様である。重要なオブジェクト位置特定３１６は、現在の時間ステップ及び／又は１つ以上の将来の時間ステップにおいて、エゴエージェント１０２に影響を及ぼし得る１つ以上の重要な交通エージェント及び／又は重要な交通インフラストラクチャの周りで計算される境界ボックスのデコードに関する。したがって、境界ボックス

【数1】

は、入力がＲｅｓＮｅｔ特徴（Ｅ）又は自己注意特徴（Ｈ_ｂ）である、重要な交通エージェント及び／又は重要な交通インフラストラクチャの各々に対して予測及び計算される。

【0090】

方法５００は、ブロック５０４に進み得、方法５００は、重要な交通エージェント及び／又は重要な交通インフラストラクチャに関連付けられた１つ以上のキャプションを予測することを含み得る。一実施形態では、デコーダ３１０は、リスク、エゴエージェント１０２の意図、運転シーンのシーン分類、及び運転提案に関する質問に基づき得る、特定の運転シナリオに関する説明、分類、カテゴライズ化、及び推奨を提供することができる、ドラマデータセット１１０内のデータに基づいて決定されるアノテーションに基づいて、キャプションをデコードし、予測し、及び生成するように構成され得る。

【0091】

一実施形態では、デコーダ３１０は、キャプション

【数2】

を予測し、そこではデコーダ３１０のアーキテクチャに応じて、入力は、ＲｅｓＮｅｔ特徴（Ｅ）又はＲＯＩプール機能（Ｅ_ａ）になる。ＲＯＩプーリング３１４は、キャプション予測を改善するための重要なオブジェクト位置特定３１６の後に完了され得る。運転シーンＥのエンコードされたグローバル特徴から固定されたサイズのテンソルへ、重要なオブジェクトの位置特定を通じて生成された予測境界ボックス

【数3】

を使用して重要な交通エージェント及び重要な交通インフラストラクチャの特徴（Ｅ_ａ，Ｅ_ｉ）を決定するために、ＲＯＩプーリング３１４が完了され得る。エージェントの特徴Ｅ_ａ及び／又は交通インフラストラクチャの特徴Ｅ_ｉは、グローバルシーン特徴Ｅ，Ｈ_ｃ＝［Ｅ_ａ，Ｅ_ｉ，φ（Ｅ）］と連結されており、ドラマデータセット１１０の分析に基づいて、キャプション予測３１２に競合する、ニューラルネットワーク１０８のキャプション生成デコーダに入力として供給される。再帰型キャプション生成デコーダは、Ｈ_ｃを初期隠れ状態ｈ_０＝Ж（Ｈ_ｃ）に変換して、キャプションを再帰的にデコードする。φは、異なる例では異なるＭＬＰ層である。

【0092】

図６Ａ～図６Ｄの例示的な実施例に示されるように、キャプションは、グローバルシーン特徴Ｅ，Ｈ_ｃ＝［Ｅ_ａ，Ｅ_ｉ，φ（Ｅ）］と連結されている各重要な交通エージェントの特徴Ｅ_ａ及び／又は重要な交通インフラストラクチャの特徴Ｅ_ｉに基づき得るドラマデータセット１１０内に含まれる視覚的シナリオに基づいて提供されるアノテーションに基づき得る。したがって、リスクに関するアノテーション、動的センサ１２４で提供される動的データに基づき得るエゴエージェント１０２の意図、エゴエージェント１０２の運転シーンの属性（例えば、道路のタイプ）、及び１つ以上の提案が提供され得る。

【0093】

更に、問い合わせオブジェクトタイプ（なにが）、視覚的及び運動の属性（どれが）、場所及び運動の方向（どこで）、リスクについての推論又は相互作用の記述（なぜ）、及び関係の影響（どのように）などの、視覚的推論の基本動作に関連付けられたアノテーションが決定され得る。したがって、このアノテーションに基づき得る、予測されたキャプションが生成され得る。いくつかの実施形態では、図６Ａ～図６Ｂに示されるように、キャプションは、ドラマデータセット１１０から抽出されたアノテーションに基づくセンテンスとして生成され得る。

【0094】

図６Ａ～図６Ｄに示すように、アノテーションに基づくキャプションは、重要な交通エージェント及び重要な交通インフラストラクチャの分析及び決定に対する二層アプローチに関する形式で提供され得る。第１の層は、１つ以上の重要な交通エージェント及び／又は重要な交通インフラストラクチャを決定するために、１つ以上の交通エージェント及び／又は特定の交通インフラストラクチャによって、エゴエージェント１０２が、どのように影響を受け得るかを考慮することができる。例えば、図６Ａに示されるように、第１の層は、どのようにエゴエージェント１０２が減速して制動するかを考慮して、エゴエージェント１０２の経路を横断するときに交差点の中央で左折する白色のハチッババック交通エージェントを説明することができる。第２の層は、特定の交通エージェントが、互いに、及び／又は特定の交通インフラストラクチャによって、どのように影響を受け得るかを考慮することができる。例えば、図６Ｄに示すように、第２の層は、赤色の交通信号灯の交通インフラストラクチャによって、特定の交通エージェントサイクリストが、どのように影響を受け得るかを考慮し得る。

【0095】

例示的な実施形態では、ニューラルネットワーク１０８のデコーダ３１０は、重要な交通エージェント及び／又は重要な交通インフラストラクチャの各々に対して予測され、計算された、１つ以上の生成された境界ボックス

【数4】

に関連付けられたデータ、並びに１つ以上の生成された予測されたキャプションを運転リスクアプリケーション１０６の重要オブジェクト決定モジュール１３２に出力するように構成され得る。重要なオブジェクト決定要因モジュール１３２は、境界ボックス及びキャプションに関するそれぞれのデータを運転リスクアラートアプリケーション１０６のエージェント制御モジュール１３４に通信するように構成され得る。

【0096】

図５を引き続き参照すると、方法５００は、ブロック５０６に進み得、方法５００は、エゴエージェント１０２の１つ以上のシステム／制御ユニットにコマンドを送信して運転リスク応答を提供することを含み得る。例示的な実施形態では、エージェント制御モジュール１３４は、キャプション、重要な交通エージェント及び／又は重要な交通インフラストラクチャに対して計算された境界ボックスに関して、ニューラルネットワーク１０８によって出力されたデータを分析するように構成され得、エゴエージェント１０２のＥＣＵ１０４、ヘッドユニット１１８、システム／制御ユニット１２２、及び／又は自律型コントローラ１２０に１つ以上のコマンドを通信して、運転リスク応答を提供することができる。

【0097】

一実施形態では、運転リスク応答は、ニューラルネットワーク１０８のデコーダ３１０によって処理された境界ボックスを含む視覚アラートの形態で提供され得る。図７Ａ～図７Ｄの例示的な実施例に示されるように、一実施形態において、エゴエージェント１０２の１つ以上の表示ユニットは、境界ボックスを提示するために利用され得、境界ボックスは、ドラマデータセット１１０の分析に基づいて決定されたキャプションと一致するように、ニューラルネットワーク１０８によって決定され得る１つ以上のそれぞれの重要な交通エージェント及び／又は重要な交通インフラストラクチャの周りで計算及び拡張され得る。キャプションは、現在の時間ステップ及び／若しくは１つ以上の将来の時間ステップで、エゴエージェント１０２に影響を及ぼし得る重要な交通エージェント及び／若しくは重要な交通インフラストラクチャに関する詳細、並びに／又は、現在の時間ステップ及び／若しくは１つ以上の将来の時間ステップで特定の交通エージェントが、互いに、及び／若しくは特定の交通インフラストラクチャによってどのように影響され得るかに関する詳細をオペレータ１３６に提供することができる。

【0098】

いくつかの構成では、エージェント制御モジュール１３４は、１つ以上のコマンドをシステム／制御ユニット１２２に送信し、キャプションに基づき得る音声アラートを提供するように構成され得る。例えば、図７Ｃを参照すると、「交通信号灯は、交差点にあるエゴ車線に対して赤色です．．．完全停止してください。」というキャプションが、エゴエージェント１０２の音声システムを介してオペレータ１３６に音声で述べられ、それぞれの境界ボックス内の表示ユニット上に提示される、特に、特定の交通エージェント及び／又は交通インフラストラクチャの存在、位置、説明、及び重要性に関するアラートをオペレータに提供することができる。この機能性は、オペレータ１３６に１つ以上の運転提案を提供して、１つ以上の運転リスクを説明するために、エゴエージェント１０２を誘導することができる。

【0099】

いくつかの構成では、音声アラートは、境界ボックスの近傍で拡張され得る１語／２語の短い説明の視覚アラートを伴ってオペレータ１３６に１つ以上の運転提案についてアラートして、エゴエージェント１０２を誘導することができる。１つ以上の実施形態では、運転リスクアラートアプリケーション１０６は、１つ以上の重要な交通エージェント及び／又は重要な交通インフラストラクチャを説明するために、エゴエージェント１０２と関連付けられ得るエージェント自律制御を提供するために利用され得る自律制御コマンドを提供するように構成され得る。いくつかの場合、自律制御コマンドは、キャプション内に含まれる１つ以上の運転提案に基づくことができ、エゴエージェント１０２の運転シーン内の潜在的な運転リスクを説明するためにエゴエージェント１０２のオペレータ１３６に提供され得る１つ以上の視覚アラート及び／又は音声アラートを補足する。

【0100】

図８は、本開示の例示的な実施形態による、ジョイントリスク位置特定を完了し、かつ、運転シナリオにおいて推論するための方法８００のプロセスフロー図である。図８は、図１及び図３の構成要素を参照して説明されるが、図８の方法５００は、他のシステム／構成要素と共に使用され得ることを理解されたい。方法８００は、ブロック８０２において開始することができ、方法８００は、エゴエージェント１０２の運転シーンに関連付けられた複数の画像を受信することを含み得る。

【0101】

方法８００は、ブロック８０４に進み得、方法８００は、複数の画像に関連付けられた画像データをエンコーダ３０２に入力することを含み得る。一実施形態では、エンコードされた視覚的特徴及びオプティカルフロー特徴は、画像データから抽出され、エゴエージェント１０２の運転シーンに関連付けられた連結された特徴に連結される。方法８００は、ブロック８０６に進み得、方法８００は、エゴエージェント１０２の運転シーン内に位置する重要な交通エージェント及び重要な交通インフラストラクチャのうちの少なくとも１つを識別する連結された特徴をデコーダ３１０に入力することを含む。方法８００は、ブロック８０８に進み得、方法８００は、エゴエージェント１０２の運転シーン内に位置する重要な交通エージェント及び重要な交通インフラストラクチャのうちの少なくとも１つを説明する応答を提供するために、エゴエージェント１０２の少なくとも１つのシステムを制御することを含み得る。

【0102】

上述の説明から、本開示の様々な例示的な実施形態がハードウェアで実装され得ることが明らかであるべきである。更に、様々な例示的な実施形態は、本明細書で詳細に説明される操作を行うために少なくとも１つのプロセッサによって読み取り及び実行され得る、揮発性又は不揮発性メモリなどの非一時的機械可読記憶媒体上に記憶された命令として実施されてもよい。機械可読記憶媒体は、パーソナルコンピュータ又はラップトップコンピュータ、サーバ、又は他のコンピューティングデバイスなどの機械によって読み取り可能な形態で情報を記憶するための任意のメカニズムを含んでもよい。したがって、非一時的機械可読記憶媒体は、一時信号を除外するが、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイス、及び同様の記憶媒体を含むがこれらに限定されない揮発性及び不揮発性メモリの両方を含んでもよい。

【0103】

本明細書の任意のブロック図は、本開示の原理を具現化する例示的な回路の概念図を表すことを当業者は理解すべきである。同様に、任意のフローチャート、フロー図、状態遷移図、擬似コードなどは、そのようなコンピュータ又はプロセッサが明示的に示されているか否かにかかわらず、機械可読媒体に実質的に表され、コンピュータ又はプロセッサによって実行され得る様々なプロセスを表すことが理解されるであろう。

【0104】

上記に開示された及び他の特徴並びに機能又はこれらの代替物若しくは変形の様々な実施が、望ましくは多くの他の異なるシステム又はアプリケーションに組み合わされ得ることが理解されるであろう。また、当業者であれば、現在予測されていない、又は予期されていない様々な代替例、修正例、変形例、又は改良例を連続的に行うことができ、これらも添付の特許請求の範囲によって包含されることが意図される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図6D】

【図7A】

【図7B】

【図7C】

【図7D】

【図8】