知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2025-01-09
(54)【発明の名称】協調型運転監督を強化するための意識度チェッカ
(51)【国際特許分類】
G08G 1/16 20060101AFI20241226BHJP
【ＦＩ】
G08G1/16 F
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024537534
(86)(22)【出願日】2022-12-09
(85)【翻訳文提出日】2024-06-20
(86)【国際出願番号】 US2022081290
(87)【国際公開番号】W WO2023122439
(87)【国際公開日】2023-06-29
(31)【優先権主張番号】17/559,733
(32)【優先日】2021-12-22
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】522273632
【氏名又は名称】アライバー ソフトウェア エルエルシー
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100163522
【弁理士】
【氏名又は名称】黒田 晋平
(72)【発明者】
【氏名】シャビン・マハデヴァン
(72)【発明者】
【氏名】レイチェル・グレイ・アレクサンダー
(72)【発明者】
【氏名】ステッフェン・クーン
【テーマコード（参考）】
5H181
【Ｆターム（参考）】
5H181AA01
5H181CC04
5H181CC11
5H181CC14
5H181FF04
5H181FF25
5H181FF27
5H181FF33
5H181LL09
5H181LL20
(57)【要約】
装置は、インターフェースおよび制御回路を含む。インターフェースは、（ｉ）ビークルのビークルプラットフォームからの複数のセンサ信号からのセンサベースの情報およびビークルの環境に関する環境情報を受信し、（ｉｉ）ビークルプラットフォームに１つまたは複数の制御信号を提示するように構成され得る。制御回路は、（ｉ）ビークルプラットフォームおよび運転者監視システムからの複数のセンサ信号のうちの１つまたは複数に応答して、運転者の注意力状態が注意状態にあるか不注意状態にあるかを検出し、（ｉｉ）ビークルプラットフォームおよび運転者監視システムからの複数のセンサ信号のうちの１つまたは複数を監視することによって、運転者が十分に注意を払っているかどうかを評価し、（ｉｉｉ）ビークルの環境に対する運転者の知覚がインターフェースによって受信された環境情報およびセンサベースの情報に対応するかどうかを判定するために、運転者と積極的に対話することによって、ビークルの環境に対する運転者の意識度を維持するように構成され得る。
【特許請求の範囲】
【請求項1】
装置であって、（ｉ）ビークルのビークルプラットフォームからの複数のセンサ信号からのセンサベースの情報および前記ビークルの環境に関する環境情報を受信し、（ｉｉ）前記ビークルプラットフォームに１つまたは複数の制御信号を提示するように構成されるインターフェースと、
（ｉ）前記ビークルプラットフォームおよび運転者監視システムからの前記複数のセンサ信号のうちの１つまたは複数に応答して、運転者の注意力状態が注意状態にあるか不注意状態にあるかを検出し、（ｉｉ）前記ビークルプラットフォームおよび前記運転者監視システムからの前記複数のセンサ信号のうちの前記１つまたは複数を監視することによって、前記運転者が十分に注意を払っているかどうかを評価し、（ｉｉｉ）前記ビークルの前記環境に対する前記運転者の知覚が前記インターフェースによって受信された前記環境情報および前記センサベースの情報に対応するかどうかを判定するために、前記運転者と積極的に対話することによって、前記ビークルの前記環境に対する前記運転者の意識度を維持するように構成される制御回路と
を備える、装置。
【請求項2】
前記センサベースの情報が、レーダー検出、視覚検出、ビークルスピード、イグニッションステータス、窓およびドアロックステータス、タイヤ圧力、ＨＶＡＣステータス、並びに前記運転者の路上視線ステータスのうちの１つまたは複数を含み、前記環境情報が、前記ビークルの周囲に存在するオブジェクトおよび他のビークル、前記ビークルの周囲のオブジェクトおよび他のビークルのタイプ、陸標、交通信号、道路標識、並びに気象条件のうちの１つまたは複数を含む、
請求項１に記載の装置。
【請求項3】
前記制御回路が、（ｉ）前記運転者の前記注意力状態を伝える第１の制御信号を生成し、（ｉｉ）前記運転者が前記オートメーションシステム機能に対して前記ビークルを安全に操作し続けるのに十分に注意を払っているかどうかの評価を伝える第２の制御信号を生成するように構成される運転者注意力推定器を備える、請求項１に記載の装置。
【請求項4】
前記運転者注意力推定器が、第１の持続時間を有する第１のウィンドウ中に前記運転者の前記注意力状態を判定し、前記第１の制御信号を生成するように構成される注意力モニタと、
第２の持続時間を有する第２のウィンドウ中に前記運転者が十分に注意を払っているかどうかの前記評価を生成し、前記第２の制御信号を生成するように構成される人間マシン対話モニタと、
前記ビークルの前記環境に対する前記運転者の前記知覚が前記環境情報および前記センサベースの情報に対応するかどうかを判定し、前記運転者の意識度状態の評価を伝える第３の制御信号を生成するように構成される意識度チェッカと
を備える、請求項３に記載の装置。
【請求項5】
前記意識度チェッカが、前記ビークルの前記環境について前記運転者と通信するようにさらに構成される、請求項３に記載の装置。
【請求項6】
前記意識度チェッカが、前記ビークルの前記環境に対する前記運転者の前記知覚について質問し、
前記運転者から受信された回答を、前記インターフェースによって受信された前記環境情報および前記センサベースの情報と比較するようにさらに構成される、請求項５に記載の装置。
【請求項7】
前記人間マシン対話モニタが、前記注意力モニタの複数の運転者意識度状態と、前記意識度チェッカによって提供される前記運転者の前記意識度ステータスとを監視するようにさらに構成される、請求項４に記載の装置。
【請求項8】
前記注意力モニタの前記複数の運転者意識度状態が、意識している状態、一時的に意識していない状態、意識していない状態、およびループ外状態のうちの１つまたは複数を含み、前記意識度チェッカによって通信される前記意識度ステータスが、満足状態、警戒状態、および非アクティブ化要求状態のうちの１つまたは複数を含む、
請求項７に記載の装置。
【請求項9】
前記人間マシン対話モニタが、前記注意力モニタの前記複数の運転者意識度状態および前記意識度チェッカによって通信される前記意識度ステータスの各々に対してそれぞれの閾値を使用するようにさらに構成される、請求項８に記載の装置。
【請求項10】
前記運転者の前記知覚が、前記インターフェースによって受信された前記環境情報および前記センサベースの情報と所定の閾値だけ異なるとき、前記人間マシン対話モニタが、前記ビークルの操作を前記運転者に移譲し、前記ビークルのオートメーションシステム機能を安全に停止させるようにさらに構成される、請求項９に記載の装置。
【請求項11】
前記注意力モニタの前記複数の運転者意識度状態および前記意識度チェッカによって通信される前記意識度ステータスの各々についての前記それぞれの閾値が、プログラム可能である、請求項９に記載の装置。
【請求項12】
前記意識度チェッカが、前記運転者の意識度プロファイルを追跡および学習することによって、経時的に自らをカスタマイズするようにさらに構成される、請求項４に記載の装置。
【請求項13】
前記制御回路が、前記閾値を超えていないときに前記ビークルの前記オートメーションシステムの動作をアクティブ化または維持し、前記閾値を超えているときに前記ビークルの操作を前記オートメーションシステムから前記運転者に安全に移譲するように構成されるフィーチャモードマネージャをさらに備える、請求項４に記載の装置。
【請求項14】
前記フィーチャモードマネージャが、前記ビークルの人間マシンインターフェースを介して前記ビークルの制御を引き継ぐように前記運転者に警告を送信し、前記ビークルプラットフォームへの減速要求を生成することによって前記オートメーションシステムのオートパイロット機能の性能を低下させるように構成される、請求項１３に記載の装置。
【請求項15】
ビークルのオートメーションシステム機能を制御する方法であって、（ｉ）ビークルプラットフォームからの複数のセンサ信号からのセンサベースの情報と、（ｉｉ）前記ビークルの環境に関する環境情報とを受信するステップと、
前記ビークルプラットフォームからの前記複数のセンサ信号のうちの１つまたは複数に応答して、運転者の注意力状態が注意状態にあるか不注意状態にあるかを検出するステップと、
前記ビークルプラットフォームからの前記複数のセンサ信号のうちの前記１つまたは複数を監視するステップによって、前記運転者が十分に注意を払っているかどうかを評価するステップと、
前記ビークルの前記環境に対する前記運転者の知覚が前記インターフェースによって受信された前記環境情報および前記センサベースの情報に対応するかどうかを判定するために、前記運転者と積極的に対話することによって、前記ビークルの前記環境に対する前記運転者の意識度を維持するステップと
を含む、方法。
【請求項16】
（ｉ）前記運転者の前記注意力状態を伝える第１の制御信号を生成し、（ｉｉ）前記運転者が前記オートメーションシステム機能に対して前記ビークルを安全に操作し続けるのに十分に注意を払っているかどうかの評価を伝える第２の制御信号を生成し、（ｉｉｉ）前記運転者に前記ビークルの前記環境について問い合わせるために、前記ビークルの電子制御ユニットの運転者注意力推定器を使用するステップをさらに含む、請求項１５に記載の方法。
【請求項17】
前記運転者注意力推定器が、第１の持続時間を有する第１のウィンドウ中に前記運転者の前記注意力状態を判定し、前記第１の制御信号を生成するように構成される注意力モニタと、
第２の持続時間を有する第２のウィンドウ中に前記運転者が十分に注意を払っているかどうかの前記評価を生成し、前記第２の制御信号を生成するように構成される人間マシン対話モニタと、
前記ビークルの前記環境についてのクエリを前記運転者に提示し、前記運転者からの前記クエリに対する応答に基づいて、前記ビークルの前記環境に対する前記運転者の前記知覚が前記ビークルプラットフォームからの前記環境情報および前記複数のセンサ信号のうちの前記１つまたは複数に対応するかどうかを判定し、前記運転者の意識度状態の評価を伝える第３の制御信号を生成するように構成される意識度チェッカと
を備える、請求項１６に記載の方法。
【請求項18】
前記意識度チェッカが、前記注意力モニタの複数の運転者意識度状態を監視し、
前記ビークルの前記環境のデジタル知覚を構築するために、前記ビークルの前記ビークルプラットフォームからの前記環境情報および前記複数のセンサ信号を監視するようにさらに構成される、請求項１７に記載の方法。
【請求項19】
前記ビークルの人間マシンインターフェースを使用して、前記ビークルの前記環境に関する前記クエリを前記運転者に提示し、前記運転者からの前記クエリに対する応答を受信するステップをさらに含む、請求項１８に記載の方法。
【請求項20】
第１の動作状態では、前記意識度チェッカが連続的に動作するように構成され、第２の動作状態では、前記運転者の前記注意度が、前記オートメーションシステム機能にとって前記ビークルを安全に操作し続けるのに不十分であるときに、前記意識度チェッカが動作することが可能になる、
請求項１７に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、概して、先進運転支援システムに関し、より具体的には、協調型運転監督を強化するための意識度チェッカを実装する方法および／または装置に関する。
【背景技術】
【0002】
監督付き先進運転支援システム（advanced driver assistance systems、ＡＤＡＳ）クルージングフィーチャ（ＳＡＥ Ｌ０～Ｌ２＋）は、世界的に普及しつつあり、今後数年で主流になると予想されている。ＡＤＡＳクルージングフィーチャの安全性ケースについての一般的な設計レベルの仮定は、運転者が、運転環境を監視することによって運転タスクの安全性に対して単独で責任を負うと予想されるということである。しかしながら、最近導入された同様のフィーチャから分かるように、設計レベルの仮定と現実世界での使用との間には、様々な理由で大きな乖離が存在する。いくつかの例示的な理由には、以下が挙げられる：運転者が監督行動中に頻繁にチェックアウトすること；フィーチャ能力が過大評価されること（例えば、オートメーションの誤信）；フィーチャが、意図せずに誤用される、および／または意図的に悪用されること；目が路上に向いていて、手がステアリング上にあることは、必ずしも運転に集中しているとは限らないこと；「誰が何をするのか」（例えば、人間対オートメーション）に混乱が生じる可能性があること。その結果、支援付き運転フィーチャを使用するときに運転監督への関与から運転者が解放されることは、現実世界では道路上の事故および許容できないリスクをもたらしている。安全であると考えられているオートパイロットフィーチャは、より注意散漫な運転者を作り出している。協調型運転支援システムを定期的に使用する運転者は、注意散漫な状態で運転する可能性がほぼ倍になる。
【0003】
協調型運転監督を強化するための意識度チェッカを実装することが望ましい。
【発明の概要】
【0004】
本発明は、インターフェースおよび制御回路を備える装置に関する。インターフェースは、（ｉ）ビークルのビークルプラットフォームからの複数のセンサ信号からのセンサベースの情報およびビークルの環境に関する環境情報を受信し、（ｉｉ）ビークルプラットフォームに１つまたは複数の制御信号を提示するように構成され得る。制御回路は、（ｉ）ビークルプラットフォームおよび運転者監視システムからの複数のセンサ信号のうちの１つまたは複数に応答して、運転者の注意力状態が注意状態にあるか不注意状態にあるかを検出し、（ｉｉ）ビークルプラットフォームおよび運転者監視システムからの複数のセンサ信号のうちの１つまたは複数を監視することによって、運転者が十分に注意を払っているかどうかを評価し、（ｉｉｉ）ビークルの環境に対する運転者の知覚がインターフェースによって受信された環境情報およびセンサベースの情報に対応するかどうかを判定するために、運転者と積極的に対話することによって、ビークルの環境に対する運転者の意識度を維持するように構成され得る。
【0005】
本発明の実施形態は、以下の詳細な説明並びに添付の特許請求の範囲および図面から明らかになるであろう。
【図面の簡単な説明】
【0006】
【図1】本開示の一実施形態によるシステムを示す図である。
【図3】本発明の例示的な実施形態による、意識度チェッカを含む先進運転支援システム（ＡＤＡＳ）フィーチャ制御の実装を示す図である。
【図4】本発明の例示的な実施形態による、運転者とシステムとの間の例示的な対話を示す図である。
【図5】本発明の例示的な実施形態による、運転者とシステムとの間の例示的な対話を示す図である。
【図6】本発明の例示的な実施形態による、運転者とシステムとの間の例示的な対話を示す図である。
【図7】本発明の例示的な実施形態による、運転者とシステムとの間の例示的な対話を示す図である。
【図8】本発明の例示的な実施形態による、運転者とシステムとの間の例示的な対話を示す図である。
【図9】本発明の例示的な実施形態による、運転者とシステムとの間の例示的な対話を示す図である。
【図10】本発明の例示的な実施形態による、運転者とシステムとの間の例示的な対話を示す図である。
【図11】本発明の例示的な実施形態による、運転者とシステムとの間の例示的な対話を示す図である。
【図12】本発明の例示的な実施形態による、運転者とシステムとの間の例示的な対話を示す図である。
【図13】本開示の例示的な実施形態による、意識度チェックプロセスを示す図である。
【図14】本発明の例示的な実施形態による、先進運転支援システム（ＡＤＡＳ）フィーチャ制御システムを実装する電子制御ユニットを示す図である。
【発明を実施するための形態】
【0007】
本発明の実施形態は、（ｉ）ＡＤＡＳ監督のタスクをより協調的にし、（ｉｉ）注意散漫となった後に反応的にエスカレートする代わりに、運転者に積極的に関与し、（ｉｉｉ）悪い監督挙動（負の尺度）を罰するよりも、協調を介して良好な関与（正の尺度）を報奨することに着目し、（ｉｖ）フィーチャがアクティブであるときに運転環境を監視するように運転者に注意を促し、それによって非運転関連タスク関与（non-driving related task involvement、ＮＤＲＴ）の可能性を低減し、（ｖ）対話型安全性という考え方を探求するために、ユーザインターフェースとして車載デジタルアシスタントを採用し、（ｖｉ）対話および肯定的な強化を通じて、人間と自律性の協調を可能にし、（ｖｉｉ）支援付き運転中の運転者関与検出に３レベルの監視を提供し、かつ／または（ｖｉｉｉ）１つまたは複数の集積回路として実装され得る、協調型運転監督を強化するための意識度チェッカを提供することを含む。
【0008】
協調運転フィーチャには、運転者に対する監督の期待を明確にし、運転者が状況認識を失わないことを確実にする義務がある。様々な実施形態では、ＡＤＡＳ監督のタスクは、運転者の注意散漫が検出された後に反応的にエスカレートする応答の代わりに、運転者に積極的に関与することによって、より協調的に行われる。様々な実施形態では、悪い監督挙動（負の尺度）を罰するよりも、協調を介して良好な関与（正の尺度）を報奨することに着目したシステムが提供され得る。一例では、フィーチャ制御システムは、フィーチャがアクティブであるときに運転環境を監視するように運転者に注意を促し、それによって、二次的な非運転関連タスク（ＮＤＲＴ）関与の可能性を低減し得る。
【0009】
一例では、新たなコンポーネント（例えば、ハードウェア、ソフトウェア、またはそれらの組み合わせ）が実装され得る。新しいコンポーネントは、一般に、意識度チェッカと呼ばれる。一例では、意識度チェッカは、（下記のＥ－Ｇａｓ３レベル監視におけるレベル３と同様の）対話型安全性の考え方を探求するために、ユーザインターフェースとして車載デジタルアシスタントを採用し得る。意識度チェッカは、一般に、対話および肯定的な強化を介して人間と自律性の協調を可能にする。
【0010】
一例では、運転者監視概念は、３つのレベルで実行され得る。第１のレベル（またはレベル１）は、既存のシステム（例えば、ハイパー渋滞支援（hyper traffic jam assistance、ＨＴＪＡ）注意力モニタ）と同様に実装され得る。第２のレベル（例えば、レベル２）は、参照によりその全体が本明細書に組み込まれる、２０２１年１０月４日に出願された同時係属中の米国特許出願第１７／４９３１４４号に開示されている人間マシン対話モニタ（human machine interaction monitor、ＨＭＩＭ）と同様に実装され得る。第３のレベル（例えば、レベル３）は、運転者が自律フィーチャの監督に集中しているかどうかを検出するための意識度チェッカ（awareness checker、ＡＣ）として実装され得る。一例では、レベル１は機能レベルとして指定され得、レベル２は機能監視レベルとして指定され得、レベル３はコントローラ監視レベルとして指定され得る。
【0011】
一例では、レベル１は、エンジン制御機能（例えば、要求されるエンジントルクの実現、コンポーネント監視、および障害が検出された場合にシステム反応を制御するための入力／出力変数診断）を含むことができる。一例では、レベル２は、（例えば、計算されたトルク値またはビークル加速度などを監視することによって）レベル１機能ソフトウェアの欠陥プロセスを検出し得る。障害が検出された場合、システム反応がトリガされ得る。一例では、レベル３は、監視モジュールを実装し得る。監視モジュールは、質問－回答プロセス中に正しく実行されたプログラムをテストする機能コントローラ（例えば、ＡＳＩＣまたはコントローラ）の独立した部分であってもよい。市場における現在のシステムは、単一レベルの関与モニタリングしか提供せず、多くの場合、予測可能な誤用および悪用の影響を受けやすい。様々な実施形態では、支援運転中の運転者関与検出のための業界初の３レベル監視が提供され得る。
【0012】
図１を参照すると、本発明の一実施形態によるシステムを示す図が示されている。一例では、システム（または装置）９０は、先進運転支援システム（ＡＤＡＳ）を実装し得る。様々な実施形態では、システム９０は、ビークルプラットフォーム９２、運転者監視システム（driver monitoring system、ＤＭＳ）９４、人間マシン（またはビークル）インターフェース（human machine interface、ＨＭＩ）９６、環境監視システム（environmental monitoring system、ＥＭＳ）９８、および機能制御モジュール１００を備え得る。様々な実施形態では、ビークルプラットフォーム９２、運転者監視システム（ＤＭＳ）９４、環境監視システム（ＥＭＳ）９８、および機能制御モジュール１００は、自動車用安全度水準（Automotive Safety Integrity Level、ＡＳＩＬ）として実装され得、一方、人間マシンインターフェース（ＨＭＩ）９６は、品質管理（Quality Management、ＱＭ）として実装され得る。
【0013】
自動車用安全度水準（ＡＳＩＬ）は、ＩＳＯ２６２６２－道路車両の機能安全規格によって定義されたリスク分類スキームである。これは、自動車産業向けのＩＥＣ６１５０８で使用される安全度水準（Safety Integrity Level、ＳＩＬ）を適応させたものである。ＡＳＩＬ分類は、リスクを許容可能なレベルに保つためにＩＳＯ２６２６２規格に準拠する必要がある安全要件を定義するのに役立つ。ＡＳＩＬは、ビークル操作シナリオの重大性、露出度、および制御可能性の観点から潜在的に危険シナリオのリスク分析を実施することによって確立される。危険シナリオに対する安全性目標には、結果的にＡＳＩＬ要件が含まれている。ＡＳＩＬの範囲は、危険シナリオが事故に発展する最も高いリスクおよびその結果として生じる安全要件を保証するために適用されるべき最高度の厳格さを表すＡＳＩＬ Ｄから、許容できないリスクを伴う自動車危険シナリオがなく、したがって、ＩＳＯ２６２６２安全プロセスの下で管理する安全要件がないアプリケーションを表すＱＭまで及ぶ。「品質管理」を指すレベルＱＭは、危険事象に関連するリスクが不合理なものではなく、したがってＩＳＯ２６２６２に準拠した安全対策を必要としないことを意味する。介在しているレベル（ＡＳＩＬ Ｃ、ＡＳＩＬ Ｂ、およびＡＳＩＬ Ａ）は、単に、危険リスクレベルの様々な程度、並びに必要とされる保証および工学的な厳密性の程度の範囲である。
【0014】
この規格は、機能的安全性を「電気または電子システムの誤動作挙動が原因で引き起こされる危険による不合理なリスクがないこと」と定義している。ＡＳＩＬは、危険シナリオの重大性、確率および制御可能性に基づいて、自動車コンポーネントをＩＳＯ２６２６２に適合させるための安全要件を定めている。エアバッグ、アンチロックブレーキ、およびパワーステアリングのようなシステムは、それらの故障に関連するリスクが最も高いので、ＡＳＩＬ Ｄグレードの安全性保証に適用される最高の厳密性を必要とする。安全範囲についてそれとは反対に、ワイパーシステムのようなコンポーネントが必要とするのは、ＡＳＩＬ Ａグレードのみである。ヘッドライトおよびブレーキライトは、一般に、リア衝突の危険性が原因でリアライトと同様にＡＳＩＬ Ｂとするべきであり、一方、自動緊急ブレーキシステムは、一般に、意図しない減速に関連する危険性のためにＡＳＩＬ Ｃとするべきである。
【0015】
一例では、ビークルプラットフォーム９２、ＤＭＳ９４、ＨＭＩ９６、およびＥＭＳ９８は、機能制御モジュール１００に入力信号を提供し得る。一例では、ビークルプラットフォーム９２は、いくつかの入力信号（例えば、「ビークルスピード」、「窓およびドアロックステータス」、「タイヤ空気圧」、「ＨＶＡＣステータス」など）を提供し得る。信号「ビークルスピード」は、ビークル（縦方向）スピードを機能制御モジュール１００に通信し得る。信号「窓およびドアロックステータス」は、窓が開いているか閉じているか、およびドアが開いているか閉じているか、ロックされているかまたはロック解除されているかを通信し得る。信号「タイヤ空気圧」は、ビークルのタイヤの膨張ステータス（例えば、ｐｓｉ）を通信し得る。信号「ＨＶＡＣステータス」は、エアコン（air conditioner、ＡＣ）またはヒータ（heater、ＨＴＲ）が稼働しているかどうか、ブロワスピード、客室温度などを通信し得る。ＤＭＳ９４は、運転者の意識度に関する情報（例えば、運転者の目の動き、運転者の手の位置、ステアリング角度、ブレーキおよびアクセルペダル位置など）を伝える入力信号を提供し得る。
【0016】
一例では、ＨＭＩ９６は、第１の入力信号（例えば、「アクティブ化要求」）、第２の入力信号（例えば、「非アクティブ化要求」）、および第３の信号（例えば、「運転者応答」）を機能制御モジュール１００に提供し得る。信号「アクティブ化要求」は、機能制御モジュール１００によって制御されるＡＤＡＳフィーチャをアクティブ化するための運転者からの要求を通信し得る。信号「非アクティブ化要求」は、機能制御モジュール１００によって制御されるＡＤＡＳフィーチャを非アクティブ化するための運転者からの要求を通信し得る。信号「運転者応答」は、ＨＭＩ９６を介して（例えば、アバタまたは車載パーソナルアシスタントによって）運転者に提示されるクエリに対する運転者からの応答を通信し得る。いくつかの実施形態では、ＨＭＩ９６は任意選択で、ビークルを操作する特定の運転者に関する情報を伝える入力信号（例えば、「運転者情報」）を提示することができる。様々な実施形態では、信号「ビークルスピード」は、ＡＳＩＬとして実装され得、信号「アクティブ化要求」、「非アクティブ化要求」、および「運転者応答」は、ＱＭとして実装され得る。
【0017】
一例では、機能制御モジュール１００は、ビークルプラットフォーム９２およびＨＭＩ９６に出力信号を提供し得る。一例では、機能制御モジュール１００は、出力信号（例えば、「減速要求」）をビークルプラットフォーム９２に提示し得る。信号「減速要求」は、機能制御モジュール１００がビークルを安全に停止させることを可能にするように構成され得る。様々な実施形態では、信号「減速要求」はＡＳＩＬとして実装され得る。機能制御モジュール１００はまた、いくつかの信号（例えば、「運転者警告」、「運転者への質問」、「運転者のタスクへの集中度ステータス」など）をＨＭＩ９６に提示し得る。信号「運転者警告」は、ＨＭＩ９６に特定の警告を運転者に対して提示させるための情報を通信し得る。信号「運転者への質問」は、ＨＭＩ９６に特定の質問を運転者に対して提示させるための情報を通信し得る。信号「運転者のタスクへの集中度ステータス」は、ＨＭＩ９６に特定のアバタ状態を運転者に対して提示させるための情報を通信し得る。様々な実施形態では、信号「運転者警告」および「運転者への質問」は、ＱＭとして実装され得る。信号「運転者のタスクへの集中度ステータス」が、環境監視のタスクにおいて運転者と積極的に協調するためにのみ利用され、安全性ケースを間接的にのみ支援する様々な実施形態では、信号「運転者のタスクへの集中度ステータス」は、ＱＭとして実装され得る。信号「運転者のタスクへの集中度ステータス」が、機能制御モジュール１００の安全性関連要素によってサブスクライブされている実施形態では、信号「運転者のタスクへの集中度ステータス」は、ＡＳＩＬとして実装され得る。
【0018】
一例では、機能制御モジュール１００は、ブロック（または回路）１０２とブロック（または回路）１０４とを備え得る。ブロック１０２は、運転者意識度推定器（driver awareness estimator、ＤＡＥ）として実装され得る。ブロック１０４は、ＡＤＡＳフィーチャモードマネージャとして実装され得る。一例では、ブロック１０４は、オートパイロットモードマネージャとして実装され得る。しかしながら、他の自律的フィーチャが適宜に実装されてもよい。様々な実施形態では、ブロック１０２および１０４は、一般に、ＡＳＩＬとして実装される。一例では、信号「ビークルスピード」は、ブロック１０２の第１の入力およびブロック１０４の第１の入力に提示され得る。ＤＭＳ９４からの信号は、ブロック１０２の第２の入力に提示され得る。ＨＭＩ９６からの信号は、ブロック１０２の第３の入力およびブロック１０４の第２の入力に提示され得る。ＥＭＳ９８からの信号は、ブロック１０２の第４の入力に提示され得る。ブロック１０２は、１つの信号（例えば、「意識度レベル」）をブロック１０４の第３の入力に提示し、１つの信号（例えば、「十分に注意を払っている」）をブロック１０４の第４の入力に提示し得る。信号「意識度レベル」および「十分に注意を払っている」は、ＡＳＩＬとして実装され得る。ＨＭＩ９６が信号「運転者情報」を機能制御モジュール１００に提供する実施形態では、信号「運転者情報」は、ブロック１０２の第５の入力に提示され得る。信号「運転者情報」は、ＱＭとして実装され得る。
【0019】
様々な実施形態では、ブロック１０２は、運転者が注意を払っているかどうかを系統的に検出し、運転者がもはや注意を払っていないときに適切な安全状態に至らせるための運転者意識度推定器（ＤＡＥ）として構成され得る。一例では、運転者意識度推定器１０２は、（ｉ）ＨＭＩ９６を介していくつか（例えば、３つ）の異なるレベルで警告を生成する運転者意識度レベルエスカレートレジームを提供し、（ｉｉ）（例えば、二次的または非運転関連タスクへの関与からの）短期共有視覚的注意力に関連する注意力の不足を検出し、（ｉｉｉ）注意散漫となった後に反応的にエスカレートする代わりに、運転者に積極的に関与し、（ｉｖ）オートメーションフィーチャがアクティブであるときに運転環境を監視するように運転者に注意を促し、それによって非運転関連タスク（ＮＤＲＴ）関与の可能性を低減し得る。
【0020】
一例では、運転者意識度推定器１０２は、ブロック（または回路）１１０、ブロック（または回路）１１２、およびブロック（または回路）１１４を備え得る。ブロック１１０は、注意力（または意識度）モニタとして実装され得る。ブロック１１２は、人間マシン対話モニタ（ＨＭＩＭ）として実装され得る。ブロック１１４は、意識度チェッカ（ＡＣ）として実装され得る。様々な実施形態では、ブロック１１０および１１２は、一般に、ＡＳＩＬとして実装される。信号「運転者のタスクへの集中度ステータス」が、環境監視のタスクにおいて運転者と積極的に協調するためにのみ利用され、安全性ケースを間接的にのみ支援する様々な実施形態では、ブロック１１４は、ＱＭとして実装され得る。信号「運転者のタスクへの集中度ステータス」が機能制御モジュール１００の安全性関連要素（例えば、ブロック１１０、ブロック１１２など）によってサブスクライブされている実施形態では、ブロック１１４は、ＡＳＩＬとして実装され得る。
【0021】
一例では、信号「ビークルスピード」は、ブロック１１０の第１の入力、ブロック１１２の第１の入力、およびブロック１１４の第１の入力に提示され得る。ＤＭＳ９４からの信号は、ブロック１１０の第２の入力、ブロック１１２の第２の入力、およびブロック１１４の第２の入力に提示され得る。ＨＭＩ９６からの信号は、ブロック１１４の第３の入力に提示され得る。ＥＭＳ９８からの信号は、ブロック１１４の第４の入力に提示され得る。ブロック１１０は、信号「意識度レベル」をブロック１１２の第３の入力およびブロック１１４の第５の入力に提示し得る。信号「意識度レベル」は、ＡＳＩＬとして実装され得る。ブロック１１２は、信号「十分に注意を払っている」をブロック１０４の第３の入力に提示し得る。信号「十分に注意を払っている」は、ＡＳＩＬとして実装され得る。ブロック１１４は、出力信号として信号（例えば、「運転者のタスクへの集中度ステータス」）を提示し得る。一例では、信号「運転者のタスクへの集中度ステータス」は、ブロック１１４による運転者の意識度レベルの決定をビークルの外部および内部環境に通信し得る。一例では、信号「運転者のタスクへの集中度ステータス」は、機能制御モジュール１００の他のモジュールによる使用のためにローカルメモリに記憶され得る。
【0022】
信号「運転者のタスクへの集中度ステータス」が、環境監視のタスクにおいて運転者と積極的に協調するためにのみ利用され、安全性ケースを間接的にのみ支援する様々な実施形態では、信号「運転者のタスクへの集中度ステータス」は、ＱＭとして実装され得る。信号「運転者のタスクへの集中度ステータス」がブロック１１０および／またはブロック１１２によってサブスクライブされている実施形態では、信号「運転者のタスクへの集中度ステータス」は、ＡＳＩＬとして実装され得る。ＨＭＩ９６が信号「運転者情報」を機能制御モジュール１００に提供する実施形態では、信号「運転者情報」は、ブロック１１２の第５の入力およびブロック１１４の第６の入力に提示され得る。信号「運転者情報」は、ＱＭとして実装され得る。
【0023】
様々な実施形態では、ブロック１１０、ブロック１１２、およびブロック１１４は、運転者が注意を払っているかどうかを系統的に検出し、運転者がもはや注意を払っていないときに適切な安全状態に至らせるための運転者意識度推定器（ＤＡＥ）として構成され得る。一例では、注意力モニタ１１０は、ＨＭＩ９６を介していくつか（例えば、３つ）の異なるレベルで警告を生成する運転者意識度レベルエスカレートレジームを提供し得、（例えば、二次タスクへの関与からの）短期共有視覚的注意力に関連する注意力の不足を検出し得る。注意力モニタ１１０は、運転者の視覚的注意力を追跡し分類するためのアルゴリズムを採用する、現在市場で販売されている既存の製品注意力追跡フィーチャと同様に実装され得る。
【0024】
様々な実施形態では、運転者意識度推定器（ＤＡＥ）１０２は、運転者を運転タスクに関与させ続ける際の多くの人的要因に関連する課題が原因で、運転者を機能的に警戒させ続ける（それによって安全性目標を満たす）ために、注意力モニタ１１０のみに依存しない。様々な実施形態では、運転者意識度推定器（ＤＡＥ）１０２は、現在の市場において文書化されている同様のフィーチャの予知可能な誤用、および悪用のタイプを説明し得る。例えば、誤用は、注意力モニタ１１０が運転者を「完全に意識している」とラベル付けし、それによって、機能制御モジュール１００によって制御されるオートメーションフィーチャがアクティブに保たれる一方で、何らかの危険事象が生じた場合に運転者が介入することができないというエッジケースをもたらす可能性がある。それゆえに、本発明の一実施形態による運転者意識度推定器（ＤＡＥ）１０２は、一般に、ＨＭＩＭ１１２およびＡＣ１１４を利用して、注意力モニタ１１０に対して安全性ネットとしての機能を果たすにはもはや十分に注意を払っていない運転者を系統的に検出する追加の機能性を提供する。
【0025】
ＨＭＩＭ１１２は、一般に、ＨＭＩ９６が稼働していないとき、または運転者の誤用があるときに、注意力の不足を検出するように構成される。一例では、ＨＭＩＭ１１２は、注意力モニタ１１０によって使用される持続時間（またはウィンドウ）よりも長い持続時間にわたって、注意力モニタ１１０によって報告される意識度レベル間の切り換え挙動を分析することによって、運転者の路外視線分布パターンを調べ得る。いくつかの実施形態では、ＨＭＩＭ１１２はまた、意識度チェッカ１１４によって報告される信号「運転者のタスクへの集中度ステータス」をサブスクライブし、分析することによって、ビークルの周囲環境に対する運転者の意識度を調べ得る。様々な実施形態では、長期視線分布パターンおよび運転者のタスクへの集中度ステータスは、ビークルプラットフォーム９２の運動感覚性および縦方向制御に影響を及ぼすために使用され得る。
【0026】
一例では、ＨＭＩＭ１１２は、注意力モニタ１１０によって報告される注意度状態間の切り換え挙動に基づくより長期の評価に着目し得る。所与の時間ウィンドウにおける（例えば、意識度状態の時間分布によってキャプチャされる）運転者の意識度レベルを監視することによって、調整可能な（またはプログラム可能な）移行回数および各意識度状態内の許容可能な合計時間が定義され得る。絶対的基準として支援運転（例えば、アダプティブクルーズコントロール（adaptive cruise control、ＡＣＣ）など）視線挙動を使用して、運転者関与は、視線分布パターンに基づいて計算され得る。ＨＭＩＭ１１２が信号「運転者のタスクへの集中度ステータス」もまたサブスクライブしている実施形態では、ＨＭＩＭ１１２は、運転者関与を計算（または評価）するときに、信号「運転者のタスクへの集中度ステータス」の異なる状態間の移行を考慮に入れるように構成され得る。ＨＭＩＭ１１２は、一般に、運転者の長期視線パターンおよび／またはタスクへの集中度ステータスを評価し、次いで、運転者への制御の移転およびビークルの安全状態への移行を（例えば、信号「減速要求」などを介して）トリガすることによって、運転者が、より長い持続時間にわたるより低い意識度状態（これは運転者制御性に影響を及ぼし得る）に繰り返し入ることを防止する。一例では、ＨＭＩＭ１１２は、参照によりその全体が本明細書に組み込まれる、２０２１年１０月４日に出願された同時係属中の米国特許出願第１７／４９３，１４４号に開示されている人間マシン対話モニタ（ＨＭＩＭ）と同様に実装され得る。
【0027】
ＡＣ１１４は、運転者注意度を評価するための運転者意識度推定器（ＤＡＥ）１０２の一部として実装され得る。一例では、監督付きハイウェイオートメーションがアクティブであるとき、ＤＡＥ１０２は、キャビン内の運転者監視カメラによって提供される路上視線情報を使用して、（例えば、注意力モニタ１１０を介して）運転者注意力レベルを監視することができる。路上視線情報に基づいて、運転者意識度レベルは、意識している、一時的に意識していない、意識していない、およびループ外という４つの異なる状態に分類され得る。一例では、運転者が意識していると評価された直後に、ＡＣ１１４は、（例えば、肯定的な強化または報奨技法を使用して）運転者を継続的に意識している状態に積極的に維持するように構成され得る。
【0028】
一例では、運転者を意識している状態に維持することは、環境センサによって知覚されるビークルの近傍の外界および／またはキャビン内センサによって知覚されるキャビン内のビークルのステータスに関する質問を尋ねることによって達成され得る。質問の具体的な内容は、（例えば、ビークルプラットフォーム９２および環境監視システム９８からの）ＡＣ１１４の手元の利用可能な情報に基づいて動的に変化してもよい。例えば、ＡＣ１１４は、ＡＣ１１４が（例えば、インターネットから、またはビークルの外部のビューを映すカメラなどから）現在の気象状況を意識していない限り、気象条件について尋ねることができない。ビークルにインターネットへの接続がない場合、ＡＣ１１４は、路側オブジェクトまたは交通標識に関連する質問を尋ねてもよく、この質問は、フィーチャ制御モジュール１００の知覚またはロケーション特定モジュールによって提供される情報に対して検証され得る。一例では、運転者による応答に基づいて、運転者のタスクへの集中度ステータスは、３つの異なる状態、すなわち、ハッピー（または心配なし）、心配、および警戒に分類され得る。
【0029】
図２を参照すると、本発明の例示的な実施形態による、意識度チェッカを含む先進運転支援システム（ＡＤＡＳ）フィーチャ制御の環境監視システムの実装を示す図が示されている。一例では、機能制御モジュール１００は、ロケーション特定回路１０３、マップインターフェース１０５、および知覚回路１０９をさらに備え得る。一例では、環境監視システム９８は、ブロック（または回路）２１０、ブロック（または回路）２１２、ブロック（または回路）２１４、ブロック（または回路）２１６、およびブロック（または回路）２１８を備え得る。回路２１０は、高解像度（high-definition、ＨＤ）デジタルマップを実装し得る。回路２１２は、衛星ベースの測位を実装し得る。一例では、回路２１２は、全地球測位システム（global positioning system、ＧＰＳ）または全地球航法衛星システム（global navigation satellite system、ＧＮＳＳ）受信機を備え得る。回路２１２は、受信された衛星信号に基づいてビークルの位置を特定するように構成され得る。回路２１４は、いくつかのカメラ（例えば、前方監視カメラ、リア監視カメラ、いくつかのコーナービューカメラ、いくつかのサイドビューカメラなど）を実装し得る。回路２１６は、いくつかのレーダーセンサ（例えば、前方監視レーダー、コーナーおよび／またはサイド監視レーダー、リア監視レーダーなど）を実装し得る。回路２１８は、ワイヤレス通信インターフェースを実装し得る。回路２１８は、気象情報を（例えば、インターネットから）取得するように構成され得る。
【0030】
回路２１０は、衛星ベースの測位回路２１２から生の位置情報（例えば、緯度、経度など）を受信し得る入力を有し得る。生の位置データに応答して、回路２１０は、ロケーション特定回路１０３の入力およびマップインターフェース回路１０５の入力にマップホライズンデータを提示するように構成され得る。回路２１２はまた、生の位置データをロケーション特定回路１０３に提示するように構成され得る。ロケーション特定回路１０３は、ビークルロケーション情報をマップインターフェース回路１０５に提示するように構成され得る。マップインターフェース回路１０５は、ＨＤマップ２１０から受信されたマップホライズンデータと、ロケーション特定回路１０３から受信されたビークルロケーション情報とに応答して、マップベースの環境情報（例えば、陸標および交通標識情報）を生成するように構成され得る。マップインターフェース回路１０５は、マップベースの環境情報を意識度チェッカ１１４の入力に提示するように構成され得る。
【0031】
回路２１４は、前方監視カメラ（forward looking camera、ＦＬＣ）２２０を含むがこれに限定されないいくつかの車載カメラを備え得る。前方監視カメラ（ＦＬＣ）２２０は、ロケーション特定モジュール（または回路）１０３の入力および知覚モジュール（または回路）１０９の入力に、視覚検出を伝える１つまたは複数の信号（例えば、「視覚検出」）を提示し得る。回路２１６は、フロントコーナー／サイドレーダー（front corner/side radars、ＦＣＲ＆ＦＳＲまたはＦＣＳＲ）２２２および前方監視レーダー（forward looking radar、ＦＬＲ）２２４を含み得るが、これらに限定されない。回路２１６は、レーダー検出を伝える１つまたは複数の信号（例えば、「レーダー検出」）を、回路１０３の入力および回路１０９の入力に提示し得る。一例では、フロントコーナー／サイドレーダー（ＦＣＳＲ）２２２は、レーダー検出を伝える信号「レーダー検出」の第１の部分を回路１０３の入力に提示し得、前方監視レーダー（ＦＬＲ）２２４は、レーダー検出を伝える信号「レーダー検出」の第２の部分を知覚モジュール１０９の第２の入力に提示し得る。ロケーション特定回路１０３は、衛星ベースの測位回路２１２から受信された生の位置データ、ＨＤマップ２１０から受信されたマップホライズンデータ、ＦＬＣ２２０から受信された視覚検出、およびＦＣＳＲ２２２から受信されたレーダー検出に応答して、マップインターフェース１０５に提示されるビークルロケーション情報を生成するように構成され得る。
【0032】
知覚モジュール１０９は、前方監視カメラ（ＦＬＣ）２２０からの視覚検出および前方監視レーダー（ＦＬＲ）２２４からのレーダー検出に応答して、静的および動的オブジェクト報告を伝える信号を生成するように構成され得る。知覚モジュール１０９によって生成された静的および動的オブジェクト報告信号は、意識度チェッカ１１４の入力に提示され得る。
【0033】
一例では、知覚モジュール１０９は、ソフトウェアコンポーネントとして実装され得る。一例では、知覚モジュール１０９は、ハイパー渋滞支援（Hyper Traffic Jam Assistance、ＨＴＪＡ）などのＳＡＥ Ｌ２＋のオートメーションフィーチャにおいて利用され得る。様々な実施形態では、知覚モジュール１０９は、（ｉ）陸標、交通標識および信号機、歩行者、並びに他のオブジェクトの存在を検出し、（ｉｉ）対向交通を分析するために、ＦＬＣ２２０からの画像データと、いくつかのＦＣＳＲ２２２ａ～２２２ｂおよびＦＬＲ２２４からのポイントクラウドデータとを利用してもよく、これらは、（例えば、運転者に提示される質問の主題として）運転者の意識度状態を判定するために意識度チェッカ１１４によってさらに利用され得る。知覚モジュール１０９は、一般に、車載センサのセンサ融合を実施する。知覚モジュール１０９は、一般に、（ｉ）陸標、交通標識および信号機、歩行者、並びに他のオブジェクトの存在を検出し、（ｉｉ）ビークルの周囲の環境内のオブジェクト（またはターゲット）を追跡し、（ｉｉｉ）対向交通を分析するために、ＦＬＣ２２０からの画像データと、ＦＣＳＲ２２２ａ～２２２ｂおよびＦＬＲ２２４からのポイントクラウドデータとを融合する。
【0034】
一例では、知覚モジュール１０９は、車載センサデータに基づいてビークルの周囲環境内のオブジェクトを検出し得る。一例では、知覚モジュール１０９によって検出されるオブジェクトは、マップデータ内で識別されたオブジェクトに対するクロスチェックとして使用され得る。例えば、マップデータは、道路およびそのセグメントを記述してもよく、建物および他のアイテムまたはオブジェクト（例えば、街灯柱、横断歩道、縁石など）、車線または車線セグメントのロケーションおよび方向（例えば、駐車車線、屈折車線、自転車車線、または特定の道路内の他の車線のロケーションおよび方向）、交通規制データ（例えば、標識、信号機、または他の交通規制デバイスのロケーションおよび指示）、および／またはＡＤＡＳシステム９０がビークルの周囲環境を把握し知覚するのを支援する情報を提供する任意の他のマップデータを記述してもよい。
【0035】
一例では、知覚モジュール１０９は、ビークルの周囲環境内のオブジェクトのうちの１つまたは複数についての状態を判定するように構成され得る。一例では、状態は、一般に１つまたは複数のオブジェクトの現在の状態（またはフィーチャ）を記述する。一例では、各オブジェクトの状態は、各オブジェクトの現在のロケーション（または位置）の推定値、各オブジェクトの現在のスピード（または速度）、各オブジェクトの現在の加速度、各オブジェクトの現在の進行方向、各オブジェクトの現在の向き、各オブジェクトの（例えば、境界多角形または多面体などの境界形状によって表される）サイズ／形状／フットプリント、タイプ／クラス（例えば、ビークル、歩行者、自転車など）、各オブジェクトのヨーレート、各オブジェクトのビークルからの距離、各オブジェクトとビークルとの接触までの最小経路、各オブジェクトとビークルとの接触までの最小持続時間、および／または他の状態情報を記述し得る。別の例では、知覚モジュール１０９はまた、（例えば、境界多角形または多面体などの境界形状によって表される）オブジェクトのないエリアを検出するように構成され得る。別の例では、知覚モジュール１０９は、各オブジェクトについての状態情報を経時的に更新するように構成され得る。したがって、知覚モジュール１０９は、自ビークルの近くにある他のビークルなどのオブジェクトを検出し、経時的に追跡し得る。
【0036】
一例では、知覚モジュール１０９は、オブジェクトなしエリア（object free area、ＯＦＡ）モジュール（または回路）、ターゲット追跡（target tracking、ＴＴ）モジュール（または回路）、および静的知覚（static perception、ＳＰ）モジュール（または回路）を含むが、これらに限定されない、いくつかのモジュールを備え得る。別の例では、知覚モジュール１０９はまた、車載センサベースの情報から自己生成マップ情報を生成するために使用され得る、道路推定および電子ホライズン再構築モジュール（図示せず）を備え得る。一例では、オブジェクトなしエリアモジュールは、オブジェクトのないエリアを検出するように構成され得る。一例では、オブジェクトなしエリアモジュールは、オブジェクトのない各エリアを表す境界多角形または多面体などの境界形状を提示し得る多角形出力を有し得る。一例では、ターゲット追跡モジュールは、自ビークルの近くにある他のビークルなどのオブジェクトを検出して経時的に追跡するように構成され得る。ターゲット追跡モジュールは、ターゲット追跡出力を提示し得る出力を有し得る。一例では、ＯＦＡモジュールの多角形出力およびターゲット追跡モジュールのターゲット追跡出力は、静的知覚モジュールの入力に提示され得る。静的知覚モジュールは、ＯＦＡモジュールから受信された多角形出力およびターゲット追跡モジュールから受信されたターゲット追跡出力に応答して、意識度チェッカ１１４に提示される静的および動的オブジェクト報告信号を生成するように構成され得る。
【0037】
動き評価に関しては、静的知覚モジュールは、交通の方向および検出の信頼度を提供するために、ターゲット追跡モジュールのターゲット追跡出力からのオブジェクト情報を、ＯＦＡモジュールのオブジェクトなしエリア（ＯＦＡ）多角形出力の分析と組み合わせて使用し得る。陸標、交通標識および信号機、歩行者、並びに他のオブジェクトの検出に関しては、静的知覚モジュールは、一般に、ターゲット追跡出力からのオブジェクト情報を、ＯＦＡ多角形出力の分析と組み合わせて利用して、交差点タイプ、オブジェクトタイプ、オブジェクトロケーション、陸標ロケーション、および交差点／オブジェクト／陸標信頼度を提供する。
【0038】
意識度チェッカ１１４は、知覚モジュール１０９の静的知覚モジュールから受信された静的および動的オブジェクト報告信号、マップインターフェース１０５から受信された陸標および交通標識情報、回路２１８から受信された気象情報、意識度モニタ１１０から受信された運転者意識度レベル、およびビークルプラットフォーム９２から受信された信号に基づいて、信号「運転者のタスクへの集中度ステータス」を生成するように構成され得る。意識度チェッカ１１４は、機能制御モジュール１００の他のモジュールによる使用のために信号「運転者のタスクへの集中度ステータス」を記憶するように構成され得る。一例では、注意力モニタ１１０は、運転者の意識度レベルをエスカレートさせるかどうかの決定において使用するために、信号「運転者のタスクへの集中度ステータス」をサブスクライブし得る。別の例では、ＨＭＩＭ１１２は、運転者が十分に注意を払っているかどうかの判定において使用するために、信号「運転者のタスクへの集中度ステータス」をサブスクライブし得る。
【0039】
図３を参照すると、本発明の例示的な実施形態によるシステム１００の実装を示す図が示されている。一例では、装置（またはシステム）１００は、ビークル５０内に全体的にまたは少なくとも部分的に搭載され得る。一例では、システム（または装置）１００は、先進運転支援システム（ＡＤＡＳ）電子制御ユニット（electronic control unit、ＥＣＵ）９０の一部として実装され得る。様々な実施形態では、運転者注意度推定器（ＤＡＥ）１０２を実装しているシステム１００は、ビークル５０のＡＤＡＳ ＥＣＵ９０内に実装され得る。ＡＤＡＳ ＥＣＵ９０は、ビークル５０のビークルプラットフォーム９２に接続され得る。ビークル５０は、運転者監視システム（ＤＭＳ）９４、人間マシンインターフェース（ＨＭＩ）９６、前方監視カメラ（ＦＬＣ）２２０、いくつかのコーナーレーダーセンサ２２２ａ～２２２ｄ、いくつかのフロントサイドレーダーセンサ（図示せず）、前方監視レーダー（ＦＬＲ）センサ２２４、高解像度（ＨＤ）マップ受信機２３０、全地球的航法衛星システム（ＧＮＳＳ）受信機２３２、および慣性測定ユニット（inertial measurement unit、ＩＭＵ）２３４を含み得る。いくつかの実施形態では、ビークル５０はまた、ＬＩＤＡＲセンサおよび／またはソナーセンサ（図示せず）を含み得る。
【0040】
前方監視カメラ（ＦＬＣ）２２０は、一般に、ビークル５０の前のオブジェクトおよび道路地物を検出および識別するために使用される。一例では、前方監視カメラ（ＦＬＣ）２２０は、１００度の視野（field of view、ＦＯＶ）を有する立体視を提供するように構成され得る。一例では、前方監視カメラ（ＦＬＣ）２２０は、道路標示（例えば、車線標示など）、道路標識、信号機、構造物などを検出するために使用され得る。コーナーレーダーセンサ２２２ａ～２２２ｄおよび前方監視レーダー（ＦＬＲ）センサ２２４（並びに存在するとき、ＬＩＤＡＲおよび／またはソナーセンサ）は、一般に、オブジェクトを検出および追跡するために使用される。一例では、コーナーレーダーセンサ２２２ａ～２２２ｄの各々は、１４０度のＦＯＶを有し得る。一例では、前方監視レーダーセンサ（ＦＬＲ）２２４は、２つのＦＯＶ、すなわち、長距離感知用の１８度ＦＯＶと短距離感知用の９０度ＦＯＶを有し得る。ＩＭＵ２３４は、一般に、向き、角速度および加速度、並びにビークル５０に作用する力を報告する。
【0041】
一例では、ＤＭＳ９４、ＨＤマップ受信機２３０、ＧＮＳＳ受信機２３２、ＦＬＣ２２０、ＦＣＲ２２２ａ～２２２ｂ、およびＦＬＲ２２４は、システム９０に接続され得る。一例では、ＤＭＳ９４、ＨＤマップ受信機２３０、ＧＮＳＳ受信機２３２、ＦＬＣ２２０、ＦＣＲ２２２ａ～２２２ｂ、およびＦＬＲ２２４は、ビークル５０の１つまたは複数のビークルバスを介してシステム９０に接続され得る。別の例では、ＤＭＳ９４、ＨＤマップ受信機２３０、ＧＮＳＳ受信機２３２、ＦＬＣ２２０、ＦＣＲ２２２ａ～２２２ｂ、およびＦＬＲ２２４は、ワイヤレスプロトコルを介してシステム９０に接続され得る。一例では、ＤＭＳ９４は、運転者注意度情報をシステム９０に伝達し得る。ＦＬＣ２２０は、周囲の道路情報（例えば、車線幅、マーカータイプ、車線マーカー横断インジケーション、およびビデオ）をシステム９０に伝達し得る。ＧＮＳＳ受信機２３２は、位置データ（例えば、緯度値、経度値、調整情報、および信頼度情報）をシステム９０に伝達し得る。ＨＤマップ受信器２３０は、マップデータをシステム９０に転送し得る。
【0042】
ＦＬＣ２２０は、光学センサを実装し得る。様々な実施形態では、ＦＬＣ２２０は光学カメラであり得る。ＦＬＣ２２０は、一般に、周囲の道路の情報（または画像データ）をシステム９０に提供するように動作する。道路情報は、車線幅データ、マーカータイプデータ、車線変更インジケータ、およびＦＬＣ２２０の視野内のビークル５０の前方の道路のビデオを含み得るが、これらに限定されない。様々な実施形態では、ＦＬＣ２２０はカラーカメラであり得る。色は、無地黄色の車線マーカー（例えば、一番左の車線マーカー）と無地白色の車線マーカー（例えば、一番右の車線マーカー）とを区別するのに有用であり得る。様々な実施形態では、ＦＬＣ２２０は、ＦＬＣ２２０の視野の中心にある少なくとも現在の車線について推定車線幅を提供し得る。いくつかの実施形態では、ＦＬＣ２２０は、中央車線に隣接する車線（単数または複数）について推定車線幅を提供し得る。他の実施形態では、ＦＬＣ２２０は、ＦＬＣ２２０の視野内のすべての車線について推定車線幅を提供し得る。車線幅は、ＦＬＣ２２０において実装される標準的な画像認識方法および標準的な分析方法を使用して決定され得る。ＦＬＣ２２０はまた、ＦＬＣ２２０の視野内のすべての車線マーカーを識別し得る。ＦＬＣ２２０が車線マーカーを横断すると、ＦＬＣ２２０は、車線変更が生じていることをシステム９０に通知し得る。車線マーカーおよび車線変更の識別は、ＦＬＣ２２０において実装される標準的な画像認識方法および標準的な分析方法を使用して決定され得る。ＦＬＣ２２０は、ビークルバスまたはワイヤレスプロトコルを介して道路情報をシステム９０に転送し得る。
【0043】
１つまたは複数の他のタイプのセンサが、ＦＬＣ２２０とともに使用され得る。例示的なセンサは、レーダーセンサ、光検出および測距（ＬｉＤＡＲ）センサ、慣性センサ、熱画像センサ、および／または音響センサを含み得るが、これらに限定されない。センサのうちのいくつかは、道路の左境界および右境界の推定を提供するために、道路の側部上のオブジェクトを検出し得る。左境界および右境界から、道路の幅が計算され得る。計算された幅から、いくつの車線がおそらく幅内に収まるかの推定が、標準的な車線幅に基づいて行われ得る。その後、センサは、ビークル５０上のセンサから道路の左境界および右境界までの相対距離と、推定車線数とに基づいて、ビークル５０が占有している現在の車線を推定し得る。車線横断は、推定車線数と、左境界および／または右境界までの相対距離の変化とに基づいて、センサによって判定され得る。
【0044】
システム９０は、制御回路（例えば、電子制御ユニット）を実装し得る。システム９０は、一般に、ビークル５０が占有している現在の車線を追跡し続け、ビークル５０の現在位置を現在の車線の中央に補正するように動作する。追跡は、ＧＮＳＳ受信機２３２において受信された衛星位置データ、ＨＤマップ受信機２３０から受信されたマップデータ、ＦＬＣ２２０からの視覚検出並びにＦＣＲ２２２ａ～２２２ｂおよびＦＬＲ２２４から受信されたレーダー検出において受信された道路情報に基づき得る。衛星位置データは、調整値および対応する信頼度値を含み得る。
【0045】
ＧＮＳＳ受信機２３２は、衛星航法デバイスを実装し得る。様々な実施形態では、ＧＮＳＳ受信機２３２は、全地球測位システム（ＧＰＳ）受信機を含み得る。他のタイプの衛星航法デバイスは、特定のアプリケーションの設計基準を満たすように実装され得る。ＧＮＳＳ受信機２３２は、一般に、いくつかの衛星から受信されたＧＮＳＳ信号に基づいてビークル５０の緯度データおよび経度データを提供するように動作する。ＧＮＳＳ受信機２３２はまた、システム９０から受信された調整値および対応する信頼度値に基づいて、緯度データおよび経度データを調整するように動作し得る。信頼度値は、０（例えば、信頼できない）から１（例えば、信頼できる）までの範囲を有し得る。信頼度値が高閾値を上回る（例えば、０．７超）場合、ＧＮＳＳ受信機２３２は、調整値に従って緯度データおよび経度データを補正し得る。信頼度値が低閾値を下回る（例えば、０．３未満）場合、ＧＮＳＳ受信機２３２は調整値を無視し得る。信頼度値が高閾値と低閾値との間にある場合、ＧＮＳＳ受信機２３２は、緯度データと経度データの両方に、信頼度に基づく線形重み付けである補正を適用し得る。
【0046】
ＨＤマップ受信機２３０は、無線周波数受信機を実装し得る。ＨＤマップ受信機２３０は、アンテナ（図示せず）からマップデータを受信するように動作し得る。マップデータは、デジタル形式に変換され、システム９０に提示され得る。
【0047】
図４～図１２を参照すると、本発明の一実施形態による運転者と運転者意識度チェックシステムとの間の例示的な対話を示す図が示されている。一例では、ＡＣ１１４は、図１および図２に関して上記で説明したように構成され得る。一例では、ＡＣ１１４は、注意力モニタ１１０の出力を監視するように構成され得る。一例では、ＡＣ１１４は、運転者がアクティブなオートメーションフィーチャを安全に監督するのに十分に意識していないことに応答して、いつ制御を運転者に移譲し、ビークルを安全停止モードに入らせるかを決定するために、注意力モニタ１１０および／またはＨＭＩＭ１１２によって利用され得る運転者のタスクへの集中度評価を提供するように構成され得る。
【0048】
図４を参照すると、オートメーションフィーチャがアクティブ化されているときの意識度チェッカ（ＡＣ）１１４を示す図が示されている。運転者の視点からのビークルのコックピット（またはキャビンまたは客室）内のビューを示す絵５００ａが示されている。一例では、運転者は、（例えば、ステアリングホイールハブ、ダッシュボードなどにあるボタンを押して）オートメーションフィーチャをアクティブ化する。オートメーションフィーチャがアクティブ化されたことに応答して、ＡＣ１１４は、（例えば、信号「意識度レベル」を使用して）運転者の状態を評価する。
【0049】
図５を参照すると、オートメーションフィーチャがアクティブ化されているときのＡＣ１１４を示す図が示されている。運転者の視点からのビークルのコックピット内のビューを示す絵５００ｂが示されている。運転者は、高速道路上でＡＤＡＳフィーチャがアクティブのままにハンズフリーで運転している。意識度チェッカ１１４が、運転者が注意を払っていると判定したとき、意識度チェッカ１１４は、仮想アシスタントにハッピー状態を反映するように信号を送る。一例では、ハッピーの反映は、ＨＭＩ９６のディスプレイ上の笑顔アバタとして実装され得る。別の例では、ハッピー状態は、アバタの色（例えば、ハッピーについては緑色）によって示されてもよい。別の例では、ハッピー状態は、周囲光、音声などを使用してビークルのキャビン全体にわたって表示され得る。
【0050】
図６を参照すると、肯定的な強化によって運転者の意識度を積極的にチェックするＡＣ１１４を示す図が示されている。運転者の視点からのビークルのコックピット内のビューを示す絵５００ｃが示されている。一例では、意識度チェッカ１１４は、仮想アシスタントに（例えば、褒め言葉で）肯定的な強化を提供するように信号を送り得る。それに応答して、仮想アシスタントは、ビークルのオーディオシステムのスピーカを使用して、「道をしっかり見て私たちの安全を守ってくれるあなたが大好き！」、「他の車と安全な距離を保つのが上手ですね」などのメッセージを運転者に与え得る。他のメッセージが適宜に実行されてもよい。
【0051】
図７を参照すると、運転者の意識度を積極的にチェックするＡＣ１１４を示す図が示されている。運転者の視点からのビークルのコックピット内のビューを示す絵５００ｄが示されている。一例では、意識度チェッカ１１４は、ビークルの環境に関する質問を尋ねるように仮想アシスタントに周期的に信号を送り得る。それに応答して、仮想アシスタントは、ビークルのオーディオシステムのスピーカを使用して、「前の車は何色ですか？」などの質問をしてもよい。
【0052】
図８を参照すると、質問に対する運転者の応答に基づいて運転者の意識度を評価するＡＣ１１４を示す図が示されている。運転者の視点からのビークルのコックピット内のビューを示す絵５００ｅが示されている。一例では、運転者は、仮想アシスタントによって提示された質問に正解する。一例では、仮想アシスタントは、質問に正解したこと対して、（例えば、ディスプレイ上に微笑むアバタの顔を提示し続けることなどによって）ハッピーを反映し得る。
【0053】
図９を参照すると、質問に対する運転者の応答に基づいて運転者の意識度を評価するＡＣ１１４を示す図が示されている。運転者の視点からのビークルのコックピット内のビューを示す絵５００ｆが示されている。一例では、運転者は、仮想アシスタントによって提示された質問に不正解し得る。一例では、運転者が質問に不正解したとき、仮想アシスタントは、警戒状態を示すことによって、質問に不正解であったことに対する心配の状態を反映し得る。一例では、警戒状態は、心配表情を有するアバタを提示することによって示され得る。別の例では、警戒状態は、アバタの色を（例えば、黄色に）変えることによって示され得る。一例では、仮想アシスタントは、ビークルのオーディオシステムのスピーカを使用して、「確かですか？」または「前の車を見ていますか？」などのフォローアップ質問を運転者に尋ね得る。
【0054】
図１０を参照すると、運転者が不注意であることを検出するＡＣ１１４を示す図が示されている。運転者の視点からのビークルのコックピット内のビューを示す絵５００ｇが示されている。一例では、運転者は、高速道路上でＡＤＡＳフィーチャがアクティブのままにハンズフリーで運転する可能性がある。一例では、運転者は、テキストメッセージをチェックし、不注意になり得る。絵５００ｈでは、ＨＭＩ９６の一部であるダッシュボード上のディスプレイが、道路に注意を払うように運転者に警告し得る。運転者が不注意であることに応答して、仮想アシスタントは警戒状態を反映し得る。
【0055】
図１１を参照すると、運転者が不注意であることを検出するＡＣ１１４を示す図が示されている。運転者の視点からのビークルのコックピット内のビューを示す絵５００ｈが示されている。絵５００ｈでは、ＨＭＩ９６の一部であるダッシュボード上のディスプレイが、道路に注意を払うように運転者に警告する。一例では、ＡＣ１１４は、ＨＭＩＭ１１２と協働して、運転者の注意を目の前のタスクに復帰させ得る。一例では、仮想アシスタントは、ＨＭＩ９６を介して提示された警戒要求状態を、ディスプレイを用いて反映し得る。一例では、仮想アシスタントはまた、ビークルのオーディオシステムのスピーカを使用して、「道を見てください！」というメッセージを運転者に与え得る。
【0056】
図１２を参照すると、運転者が注意散漫であり続けていると判定した後のＡＣ１１４を示す図が示されている。運転者の視点からのビークルのコックピット内のビューを示す絵５００ｉが示されている。一例では、ＨＭＩ９６の一部であるダッシュボード上のディスプレイは、運転者にビークルの制御を取るように警告するために、注意力モニタ１１０および／またはＨＭＩＭ１１２によって使用され得る。意識度チェッカ１１４が注意力モニタ１１０および／またはＨＭＩＭ１１２と協働して動作する実施形態では、仮想アシスタントは、ＨＭＩ９６によって提示された非アクティブ化要求を反映し得る。一例では、仮想アシスタントは、心配を反映し、ビークルのオーディオシステムのスピーカを使用して、「制御を取ってください！」というメッセージを運転者に与え得る。非アクティブ化要求状態はまた、パーソナルアシスタンスアバタの色を（例えば、赤色に）変えることによって示され得る。ビークルは、５ｋｐｈに減速し始め得る。
【0057】
一般に、ＡＣ１１４は、信号「運転者のタスクへの集中度ステータス」を使用することによって、運転者のタスクへの集中度ステータスの通知を提供し得る。ＡＣ１１４が、運転者が注意を払っていると判定すると、ＡＣ１１４は、信号「運転者のタスクへの集中度ステータス」を、運転者の意識度レベルにハッピーを反映させるように設定し得る。ＡＣ１１４が、運転者が監督タスクを意識しているように見えないと判定すると、ＡＣ１１４は、信号「運転者のタスクへの集中度ステータス」をハッピー以外の状態に設定することによって通知を提供し得る。いくつかの実施形態では、ＡＣ１１４は、信号「運転者のタスクへの集中度ステータス」によって提示されるレベルにおいて、エスカレーションスキーム（例えば、ハッピー（緑）、心配（黄）、高まる心配（赤）など）を実装し得る。
【0058】
いくつかの実施形態では、注意力モニタ１１０および／またはＨＭＩＭ１１２は、運転者によって示されている意識度の十分性の評価において、信号「運転者のタスクへの集中度ステータス」を利用し得る。一例では、注意力モニタ１１０は、信号「運転者のタスクへの集中度ステータス」に基づいて、意識している状態と一時的に意識していない状態との間で移行するように構成され得る。一例では、ＨＭＩＭ１１２は、信号「運転者のタスクへの集中度ステータス」のレベルの移行を追跡し、それぞれの閾値に基づいて評価を行い得る。注意力モニタ１１０および／またはＨＭＩＭ１１２は、次いで、意識度（または注意力）レベルが特定のオートメーションフィーチャにとって不十分であると考えられるとき、運転者がビークルの操作を引き継ぐ要求を開始し、オートメーションフィーチャを安全に中止し得る。高速でオートメーションフィーチャの活動を中止することは同様に安全でない可能性があるので、特に運転者が意識していないことが分かっているとき、ＨＭＩ９６を使用して、運転者がビークルの操作を引き継ぐ要求を提示し得る。一例では、注意力モニタ１１０および／またはＨＭＩＭ１１２は、協調動作を完全に中止する前に、オートメーションフィーチャの動作を安全状態にゆっくりと落とす（例えば、安全なスピードおよび／または安全停止に減速する）ことによって、安全な移行を容易にし得る。しかしながら、特定の状況またはアプリケーションの設計基準を満たすために、協調動作を中止するための他の戦略が実装されてもよい。
【0059】
図１３を参照すると、本発明の一実施形態による例示的な意識度チェックプロセスを示す流れ図が示されている。一例では、方法（またはプロセス）６００は、運転者を継続的に意識している状態に積極的に維持するように実装され得る。一例では、方法６００は、意識度チェッカ１１４によって実行され得る。一例では、方法６００は、肯定的な強化または報奨技法を使用し得る。一例では、方法６００は、ステップ（または状態）６０２、ステップ（または状態）６０４、判定ステップ（または状態）６０６、ステップ（または状態）６０８、ステップ（または状態）６１０、ステップ（または状態）６１２、ステップ（または状態）６１４、判定ステップ（または状態）６１６、ステップ（または状態）６１８を含み得る。方法６００は、ステップ６０２で開始し、判定ステップ６０４に進み得る。
【0060】
判定ステップ６０４において、方法６００は、オートメーションフィーチャ（例えば、オートパイロット、アダプティブクルーズコントロール、ハイパー渋滞アシスタンスなど）がアクティブ化されているかどうかを判定し得る。一例では、方法６００は、運転者が注意力モニタ１１０によって意識している状態にあると考えられるかどうかを判定するために、信号「意識度レベル」をサブスクライブし得る。オートメーションフィーチャがアクティブ化されていない、または運転者が意識している状態にあると考えられない場合、方法６００は、判定ステップ６０４に留まり得る。オートメーションフィーチャがアクティブ化されており、運転者が意識している状態にあると考えられる場合、方法６００はステップ６０６に進み得る。
【0061】
ステップ６０６において、方法６００は、ビークルの周囲に関する環境情報およびビークル内の状況を取得し得る。一例では、方法６００は、環境センサ（例えば、カメラ、レーダー、ワイヤレス通信トランシーバ、慣性測定ユニット、高解像度マップ、衛星信号受信機など）によって知覚されるビークルの近傍の外界に関する情報、および／またはキャビン内センサ（例えば、カメラ、レーダー、ＨＶＡＣセンサなど）によって知覚されるキャビン内のビークルのステータスを利用し得る。一例では、環境情報は、必要に応じて参照するために電子制御ユニット（ＥＣＵ）のメモリに記憶され得る。一例では、環境情報の取得は、オートメーションフィーチャがアクティブである間、連続プロセスであり得る。
【0062】
ステップ６０８において、方法６００は、環境センサによって知覚されるビークルの近傍の外界、および／またはキャビン内センサによって知覚されるキャビン内のビークルのステータスに関して運転者に質問することによって、運転者を「意識している状態」に維持するように構成され得る。一例では、方法６００は、様々なセンサから（例えば、ビークルプラットフォーム９２および環境監視システム９８から）入手可能な情報に基づいて、質問の具体的な内容を決定し得る。一例では、方法６００は、利用可能な情報に基づいて尋ねられる質問を動的に変えるように構成され得る。例えば、意識度チェッカ１１４は、意識度チェッカ１１４が現在の気象状態に関する（例えば、インターネット、ビークルの外部のビューを有するカメラなどから）環境情報を有していない限り、気象条件について尋ねることができない。ビークルにインターネットへの接続がない場合、意識度チェッカ１１４は、路側オブジェクトまたは交通標識に関連する質問を尋ねてもよく、この質問は、フィーチャ制御モジュール１００の知覚またはロケーション特定モジュールによって提供される情報に対して検証され得る。方法６００が運転者に尋ねる質問を選択すると、方法６００はステップ６１０に進み得る。
【0063】
ステップ６１０において、方法６００は、選択された質問を提示し、運転者からの応答を待ち得る。一例では、意識度チェッカ１１４は、ビークルの人間マシンインターフェース（ＨＭＩ）９６を利用して、質問を運転者に通信し、質問に対する回答を運転者から受信するように構成され得る。一例では、意識度チェッカ１１４は、ビークルのラジオまたはインフォテインメントシステムのスピーカを使用して、質問を行うように構成され得る。一例では、意識度チェッカ１１４は、ビークルプラットフォームまたはビークルのインフォテインメントシステムのマイクロフォンを使用して、質問に対する回答を受信するように構成され得る。質問に対する回答が受信されると、方法６００は判定ステップ６１２に進み得る。
【0064】
判定ステップ６１２において、方法６００は、運転者から受信された回答が、環境センサによって知覚されるビークルの近傍の外界に関する情報および／またはキャビン内センサによって知覚されるキャビン内のビークルのステータスと一致するかどうかを判定し得る。運転者からの回答が、ビークルの近傍の外界および／またはキャビン内のビークルのステータスに関する情報とほぼ一致するとき、方法６００はステップ６０４に戻り得る。運転者からの回答が、ビークルの近傍の外界および／またはキャビン内のビークルのステータスに関する情報と一致しないとき、方法６００はステップ６１４に進み得る。
【0065】
様々な実施形態では、意識度チェッカ１１４は、一般に、処罰ではなく肯定的な強化または報奨技法を使用するように構成され得る。ステップ６１４において、方法６００は、不正確であると知覚される回答に対して否定的に反応する（例えば、フィーチャを非アクティブ化する、運転者の間違いを正すなど）のではなく、（例えば、回答を確認するなどの）フォローアップ質問を運転者に冷静に尋ね得る。運転者から応答が受信されると、方法６００は判定ステップ６１６に進み得る。
【0066】
判定ステップ６１６において、方法６００は、運転者から受信されたフォローアップ回答が、環境センサによって知覚されるビークルの近傍の外界に関する情報および／またはキャビン内センサによって知覚されるキャビン内のビークルのステータスと一致するかどうかを判定し得る。運転者からの回答が、ビークルの近傍の外界および／またはキャビン内のビークルのステータスに関する情報とほぼ一致するとき、方法６００はステップ６０４に戻り得る。運転者からの回答が、ビークルの近傍の外界に関する情報および／またはキャビン内のビークルのステータスと依然として一致しないとき、方法６００は、ステップ６１８に進み得る。ステップ６１８において、方法６００は、定義されたエスカレーションスキームに従って、意識度チェッカ１１４によって維持されるタスクへの集中度ステータスの値を変更し得る。プロセス６００は、次いで、ステップ６０４に戻り得る。
【0067】
注意力モニタ１１０および／または人間マシン対話モニタ（ＨＭＩＭ）１１２の構成に応じて、タスクへの集中度ステータスの値の変更は、注意力モニタ１１０および／またはＨＭＩＭ１１２によって（例えば、注意力モニタ１１０およびＨＭＩＭ１１２のそれぞれのエスカレーションスキームに従って）使用されてよく、ビークルプラットフォーム９２の運動学および縦方向制御に影響を及ぼすために使用され得る。
【0068】
図１４を参照すると、本発明の例示的な実施形態による先進運転支援システム（ＡＤＡＳ）フィーチャ制御システムを実装する電子制御モジュールを示す図が示されている。一例では、装置８００は、電子制御ユニットまたはモジュール（ＥＣＵ）を実装し得る。一例では、電子制御モジュール（ＥＣＵ）８００は、ドメインコントローラ（domain controller、ＤＣ）として実装され得る。別の例では、ＥＣＵ８００は、アクティブ安全性ドメインマスタ（active safety domain master、ＡＳＤＭ）として実装され得る。様々な実施形態では、ＥＣＵ８００は、ビークルのＡＤＡＳコンポーネントの１つまたは複数のフィーチャ（または機能）のアクティブ化を制御するように構成され得る。様々な実施形態では、機能制御１００は、ＥＣＵ８００内に実装され得る。
【0069】
一例では、ＥＣＵ８００は、ビークルプラットフォーム９２、運転者監視システム（ＤＭＳ）９４、人間マシンインターフェース（ＨＭＩ）９６、および環境監視システム（ＥＭＳ）９８に接続され得る。一例では、環境監視システム（ＥＭＳ）９８は、ＨＤマップ受信機２１０、ＧＮＳＳ受信機２１２、カメラ２１４、レーダーセンサ２１６、ワイヤレス通信トランシーバ２１８、慣性監視ユニット（ＩＭＵ）２３０、およびビークルの電子バス８０２を備え得る。一例では、ＥＣＵ８００は、（ｉ）信号「ビークルスピード」、「非アクティブ化要求」、「アクティブ化要求」、「運転者応答」、および「運転者情報」をビークルシステムから受信し、（ｉｉ）信号「減速要求」、「運転者への質問」、「運転者のタスクへの集中度ステータス」、および「運転者警告」をビークルのシステムに通信するように構成され得る。
【0070】
一例では、ＥＣＵ８００は、ブロック（または回路）８０２に接続され得る。回路８０２は、ビークルの電子バスを実装し得る。電子バス８０２は、ＥＣＵ８００と、ビークルプラットフォーム９２、ＤＭＳ９４、ＨＭＩ９６、ＨＤマップ受信機２１０、ＧＮＳＳ受信機２１２、カメラ２１４（例えば、前方監視カメラ（ＦＬＣ）２２０）並びにコーナービューカメラ、サイドビューカメラおよび／またはリアビューカメラ）、レーダー２１６（例えば、コーナー／サイドレーダーセンサ２２２ａ～２２２ｎ、前方監視レーダー（ＦＬＲ）センサ２２４など）、ワイヤレス通信トランシーバ２１８、および慣性測定ユニット２３０との間でデータを転送するように構成され得る。いくつかの実施形態では、電子バス８０２は、ビークルコントローラエリアネットワーク（Controller Area Network、ＣＡＮ）バスとして実装され得る。電子バス８０２は、電子ワイヤードネットワークおよび／またはワイヤレスネットワーク（例えば、Ｗｉ－Ｆｉ、ＢＬＵＥＴＯＯＴＨ（登録商標）、ＺＩＧＢＥＥ（登録商標）など）として実装され得る。一般に、電子バス８０２は、デジタル信号（例えば、シリアルバス、配線および／またはインターフェースによって接続された電子バス、ワイヤレスインターフェースなど）の形態で情報の共有を可能にするように、ビークル５０の１つまたは複数のコンポーネントを接続し得る。
【0071】
ＥＣＵ８００は、一般に、ブロック（または回路）８２０、ブロック（または回路）８２２、およびブロック（または回路）８２４を備える。回路８２０は、プロセッサを実装し得る。回路８２２は、通信ポートを実装し得る。回路８２４はメモリを実装し得る。他のブロック（図示せず）（例えば、フィルタ、クロック／タイマ、Ｉ／Ｏポート、電源コネクタ、インターフェースなど）が実装され得る。モジュール８００によって実装される回路の数および／またはタイプは、特定の実装形態の設計基準に従って変更され得る。
【0072】
プロセッサ８２０は、マイクロコントローラ、マルチスレッドマイクロプロセッサ、またはそれらの任意の組みわせとして実装され得る。プロセッサ８２０は、ロケーション特定モジュール１０３を実装するブロック（または回路）、モード管理１０４を実装するブロック（または回路）、知覚モジュール１０９を実装するブロック（または回路）、注意力モニタ１１０を実装するブロック（または回路）、人間マシン対話モニタ１１２を実装するブロック（または回路）、意識度チェッカ１１４を実装するブロック（または回路）、ＧＮＳＳモジュールを実装するブロック（または回路）８５０、および／またはマップモジュールを実装するブロック（または回路）８５２を備え得る。一例では、マップモジュール８５２はマップインターフェース１０５を実装し得る。プロセッサ８２０は、フィルタおよびクロック（図示せず）などの他のコンポーネントを備え得る。いくつかの実施形態では、プロセッサ８２０は、処理機能性を実装する組み合わせ（例えば、集積）チップセットであり得る。
【0073】
いくつかの実施形態では、プロセッサ８２０は、いくつかの別個の回路（例えば、マイクロコントローラ、マルチスレッドマイクロプロセッサ、デジタル信号プロセッサ（digital signal processor、ＤＳＰ）、グラフィックス処理ユニット（graphics processing unit、ＧＰＵ）など）で構成され得る。プロセッサ８２０の設計および／またはプロセッサ８２０の様々なコンポーネントの機能性は、特定の実装形態の設計基準に従って変更され得る。プロセッサ８２０は、ビークルプラットフォーム９２、通信ポート８２２、および／またはメモリ８２４との間でデータを送受信するように示されている。しかしながら、プロセッサ８２０は、特定のアプリケーションの設計基準を満たすために追加のデータおよび／または制御パスを実装するように構成され得る。
【0074】
一例では、メモリ８２４は、ブロック（または回路）８６０とブロック（または回路）８６２とを備え得る。ブロック８６０は、運転者意識度（または注意度）推定器（ＤＡＥ）１０２およびモードマネージャ１０４によって利用されるデータを記憶し得る。ブロック８６２は、コンピュータ可読命令（例えば、プロセッサ８２０によって可読な命令）を記憶し得る。一例では、ＤＡＥデータ８６０は、様々なデータセット８７０ａ～８７０ｎを記憶し得る。一例では、データセット８７０ａは、意識度状態（またはレベル）を記憶するために、注意力モニタ１１０によって利用され得る。例えば、データセット８７０ａは、一時的に意識していない状態、意識していない状態、およびループ外状態への移行の経過を追跡し得る。一例では、データセット８７０ｂは、注意度状態（またはレベル）、長期視線分布、一時的に意識していない状態への移行のカウント、意識していない状態への移行のカウント、ループ外状態への移行のカウントなどを記憶するために、人間マシン対話モニタ（ＨＭＩＭ）１１２によって利用され得る。一例では、データセット８７０ｃは、運転者のタスクへの集中度ステータスを記憶するために、意識度チェッカ１１４によって利用され得る。一例では、データセット８７０ｄは、運転者に問い合わせるために使用され得る質問のルックアップテーブルまたはデータベースを記憶するために、意識度チェッカ１１４によって利用され得る。一例では、データセット８７０ｅは、ＨＭＩＭ１１２および意識度チェッカ１１４によって使用され得る運転者情報を記憶するために利用され得る。メモリ８２４はまた、他のデータセット８７０ｎ（例えば、環境データなど）を記憶するように構成され得る。
【0075】
一例では、他のデータセット８７０ｎは、ビークルの様々なセンサ（例えば、ＦＬＣ、ＦＬＲ、ＦＣＲ、ＦＣＳ、ＩＭＵなど）から受信されたデータを変換するために使用されるパラメータ（例えば、係数）および／または較正データを含み得る。一例では、較正データ８７０ｎは、多くの係数セット（例えば、センサの各々に対して１つの係数セット）を提供し得る。較正データ８７０ｎは更新可能であり得る。例えば、較正データ８７０ｎは、現在の値をセンサの係数として記憶し得、センサからのデータがドリフトすると、モジュール８００は、精度を維持するために較正データ８７０ｎを更新し得る。較正データ８７０ｎのフォーマットは、特定の実装形態の設計基準に基づいて様々であり得る。
【0076】
様々な他のタイプのデータが、ＤＡＥデータ８６０の一部としてデータセット８７０ｎに記憶され得る。例えば、他のデータ８７０ｎは、複数の運転者の視線分布を記憶し得る。例えば、他のデータ８７０ｎは、較正データの過去のデータ値および／または較正データの現在のデータ値を記憶し得る。較正データの過去のデータ値と現在のデータ値とを比較して、較正データの潜在的な将来の値を外挿および／または予測するために使用される傾向を決定し得る。
【0077】
プロセッサ８２０は、記憶されているコンピュータ可読命令（例えば、メモリ８２４に記憶されている命令８６２）を実行するように構成され得る。プロセッサ８２０は、記憶されている命令８６２に基づいて１つまたは複数のステップを実施し得る。一例では、命令８６２のステップは、プロセッサ８２０によって実行／実施され得、注意力モニタ１１０、人間マシン対話モニタ１１２、意識度チェッカ１１４、ロケーション特定モジュール１０３、マップインターフェース１０５、知覚モジュール１０９、およびモードマネージャ１０４のうちの１つまたは複数を実装し得る。プロセッサ８２０によって実行される命令および／または実施される命令８６２の順序は、特定の実装形態の設計基準に従って変更され得る。
【0078】
通信ポート８２２は、モジュール８００が、ビークルプラットフォーム９２、運転者監視システム９４、人間マシンインターフェース９６、および環境監視システム９８などの外部デバイスと通信することを可能にし得る。例えば、モジュール８００は、外部電子バス８０２に接続されていることが示されている。一例では、モジュール８００からの情報は、運転者への表示および／または提示のためにインフォテインメントデバイスに通信され得る。別の例では、ポータブルコンピューティングデバイス（例えば、スマートフォン、タブレットコンピュータ、ノートブックコンピュータ、スマートウォッチなど）へのワイヤレス接続（例えば、Ｗｉ－Ｆｉ、ＢＬＵＥＴＯＯＴＨ（登録商標）、セルラなど）は、モジュール８００からの情報がユーザに表示および／または他の方法で（例えば、聴覚的になど）通信されることを可能にし得る。
【0079】
いくつかの実施形態では、ＥＣＵ８００は、フィルタおよびクロックをさらに備え得る。フィルタは、線形二次推定を実施するように構成され得る。例えば、フィルタはカルマンフィルタを実装し得る。一般に、フィルタは、入力データに対して再帰的に動作して、統計的に最適な推定値を生成し得る。例えば、フィルタは、ＧＮＳＳモジュール８５０およびマップモジュール８５２によって利用される位置座標を計算するために、および／または位置座標の精度を推定するために使用され得る。いくつかの実施形態では、フィルタは別個のモジュールとして実装され得る。いくつかの実施形態では、フィルタは、メモリ８２４（例えば、記憶されている命令８６２）の一部として実装され得る。フィルタの実装は、特定の実装の設計基準に従って変更され得る。クロックは、時間を決定および／または追跡するように構成され得る。クロックによって決定された時間は、タイムスタンプとして他のデータ８７０ｎに記憶され得る。いくつかの実施形態では、クロックは、ＧＮＳＳ受信機２１２から受信されたタイムスタンプ同士を比較するように構成され得る。
【0080】
モジュール８００は、チップセット、システムオンチップ（system on chip、ＳｏＣ）および／またはディスクリートデバイスとして構成され得る。例えば、モジュール８００は、電子制御ユニット（ＥＣＵ）として実装され得る。いくつかの実施形態では、モジュール８００は、１つまたは複数のＡＤＡＳフィーチャ／機能のアクティブ化を制御するように構成され得る。
【0081】
ＨＭＩ警告メッセージに関する最先端のＡＳＩＬがないことを考慮すると、本発明の実施形態によるＨＭＩＭ１１２およびＡＣ１１４の根本的な目的は、起こり得る危険事象に対する監督運転者の十分な制御可能性を保証する監視機能性を提供することである。一例では、ＨＭＩＭ１１２およびＡＣ１１４は、運転者関与を確実にすることによって十分な制御可能性を達成し得る。一例では、ＨＭＩＭ１１２およびＡＣ１１４は、注意度の尺度として、視線分布パターンおよび運転者のタスクへの集中度ステータスを監視することによって、運転者関与を確実にし得る。様々な実施形態では、ＨＭＩＭ１１２およびＡＣ１１４の何度かの例示的な機能性反復が、意思決定中の誤判定を軽減するために実装され得る。
【0082】
一例では、ＨＭＩＭ１１２は、ＨＭＩ警告の前および後の目の視線シフトにおけるデルタ変化をチェックして、警告が運転者に伝達されているかどうかを判定し、ＨＭＩメッセージの見落としを防止し得る。例えば、ＨＭＩＭ１１２は、運転者監視システム９４のカメラからリアルタイムで「目が路上に向いている」ことを示す信号をサブスクライブし得る。「目が路上に向いている」ことを示す信号は、各エスカレーション警告後に、視線分布に改善があるかどうかを迅速に評価するためのフィードバックとして使用され得る。改善がなければ、ＨＭＩＭ１１２は適切にフェイルセーフを行い得る。
【0083】
別の例では、ＤＭＳ９４のカメラおよび注意力モニタ注意力レベルからの誤判定を回避するために、予想されるよりも長い持続時間にわたって運転者が「意識している」状態にあると注意力モニタ１１０が報告するとき、ＨＭＩＭ１１２は、意図的に運転者の目を一時的に道路から逸らせようと試み得る。運転者がより長い持続時間にわたって「意識している」と報告されていたとき、ＨＭＩＭ１１２は、（例えば、車載センサ、ＧＮＳＳ、ＨＤマップなどからの環境情報をサブスクライブすることによって、運転者の注意力を道路から逸らせることが安全であると判断されたときに）運転者の注意を道路から逸らせるための方向指定プロンプトを送信し、フロントエンド信号チェーン（例えば、ＤＭＳ９４、注意力モニタ１１０、意識度チェッカ１１４など）が、注意力が逸らされたことを検出するかどうかを検証し得る。検出しなければ、ＨＭＩＭ１１２は適切にフェイルセーフを行い得る。
【0084】
別の例では、他のキャビンセンサリー情報を入力としてＨＭＩＭ１１２およびＡＣ１１４に統合して、全体論的な運転者状態推定を形成し得る。目が路上に向いていることに加えて、ＨＭＩＭ１１２およびＡＣ１１４は、手がステアリングホイール上にあること、ペダル情報、座席センサ、シートベルトステータスなどをサブスクライブして、全体論的な運転者状態推定モデルを形成し得る。ＨＭＩＭ１１２およびＡＣ１１４は、これらの入力の各々からのフィードバックを活用して、不注意度を検出および緩和し得る。
【0085】
さらに別の例では、ＨＭＩＭ１１２およびＡＣ１１４は、個々の運転者ごとに運転者注意度プロファイルをベースライン化して、特定の運転者のベースラインに対する不注意度を追跡するように、人工知能／機械学習（artificial intelligence/machine learning、ＡＩ／ＭＬ）ベースの非決定論的アルゴリズムを用いて開発され得る。様々な実施形態では、各ビークルは汎用ＨＭＩＭ１１２およびＡＣ１１４を実装してもよく、汎用ＨＭＩＭ１１２およびＡＣ１１４は、手動運転中の運転者の視線分布に対して運転者の不注意度プロフィールをベースライン化することによって、同じ運転者の不注意度プロフィールを追跡し、学習することによって、経時的に自らをカスタマイズし得る。監督付き運転中の不注意度は、その後、不注意度が以前の手動運転中に記された閾値を超えると、フラグを立てられ得る。
【0086】
本明細書で「ｂｅ動詞（is(are)）」と併せて使用される用語「してよい、し得る（may）」および「概して、一般に（generally）」は、説明が例示であるという意図を伝えることを目的としており、本開示において提示される具体例と本開示に基づいて導出され得る代替例の両方を包含するのに十分に広いと考えられる。本明細書で使用される用語「してよい、し得る」および「概して、一般に」は、対応する要素を省略するのが望ましいこと、または可能であることを必ずしも意味するものと解釈されるべきではない。
【0087】
「ａ」～「ｎ」としての様々なコンポーネント、モジュール、および／または回路の指定は、本明細書で使用されるとき、単一のコンポーネント、モジュール、および／若しくは回路、または複数のそのようなコンポーネント、モジュール、および／若しくは回路のいずれかを開示し、「ｎ」の指定は、任意の特定の整数を意味するために適用される。各々が「ａ」～「ｎ」で指定されたインスタンス（またはオカレンス）を有する異なるコンポーネント、モジュール、および／または回路は、これら異なるコンポーネント、モジュール、および／または回路が、一致する数のインスタンスまたは異なる数のインスタンスを有し得ることを示し得る。「ａ」と指定されたインスタンスは、複数のインスタンスのうちの最初のインスタンスを表し得、インスタンス「ｎ」は、複数のインスタンスのうちの最後のインスタンスを指し得るが、特定の数のインスタンスを意味するものではない。
【0088】
本発明は、その実施形態を参照して具体的に示され、説明されているが、当業者であれば、本発明の範囲から逸脱することなく、形態および詳細における様々な変更が行われ得ることを理解するであろう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【国際調査報告】