特表 2024-537813 マンマシン対話モニタ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-10-16

(54)【発明の名称】マンマシン対話モニタ

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241008BHJP

【ＦＩ】

G08G1/16 F

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024519715

(86)(22)【出願日】2022-09-22

(85)【翻訳文提出日】2024-03-29

(86)【国際出願番号】 US2022044402

(87)【国際公開番号】W WO2023059444

(87)【国際公開日】2023-04-13

(31)【優先権主張番号】17/493,144

(32)【優先日】2021-10-04

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】522273632

【氏名又は名称】アライバー ソフトウェア エルエルシー

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100163522

【弁理士】

【氏名又は名称】黒田 晋平

(72)【発明者】

【氏名】レイチェル・アレクサンダー

(72)【発明者】

【氏名】シャビン・マハデヴァン

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB20

5H181CC03

5H181CC04

5H181CC11

5H181CC14

5H181FF27

5H181FF33

5H181FF35

5H181LL08

5H181LL09

5H181LL20

(57)【要約】

装置は、インターフェースおよび制御回路を備える。インターフェースは、車両プラットフォームからセンサ信号を受信してよく、1つまたは複数の制御信号を車両プラットフォームに提示してよい。制御回路は、(i)第1の持続時間を有する第1のウィンドウ中に車両プラットフォームからのセンサ信号のうちの1つまたは複数に応答して、運転者が注意深い状態にいるのかまたは不注意な状態にいるのかを検出してよく、(ii)センサ信号を監視すること、および第1の持続時間よりも長い第2の持続時間を有する第2のウィンドウ中の運転者の注意状態の変化がしきい値を超えるかどうかを判定することによって、運転者が十分に注意深いかどうかを査定してよく、(iii)しきい値を超えたとき、車両の操作を運転者に遷移させ車両の自動化システム機能を安全に中断してよい。

【特許請求の範囲】

【請求項1】

装置であって、
車両の車両プラットフォームから複数のセンサ信号を受信し、かつ1つまたは複数の制御信号を前記車両プラットフォームに提示するように構成されるインターフェースと、
(i)第1の持続時間を有する第1のウィンドウ中に前記車両プラットフォームからの前記複数のセンサ信号のうちの1つまたは複数に応答して、運転者の注意状態が注意深い状態であるのかまたは不注意な状態であるのかを検出し、(ii)前記車両プラットフォームからの前記複数のセンサ信号のうちの前記1つまたは複数を監視すること、および前記第1の持続時間よりも長い第2の持続時間を有する第2のウィンドウ中の前記運転者の前記注意状態の変化がしきい値を超えるかどうかを判定することによって、前記運転者が十分に注意深いかどうかを査定し、(iii)前記しきい値を超えたとき、前記車両の操作を前記運転者に遷移させ、かつ前記車両の自動化システム機能を安全に中断するように構成される、制御回路と
を備える、装置。

【請求項2】

前記制御回路が、(i)前記第1の持続時間を有する前記第1のウィンドウ中に前記運転者の前記注意状態を通信する第1の制御信号を生成し、(ii)前記車両を操作することを前記自動化システム機能が安全に継続するために、前記運転者が十分に注意深いかどうかの査定を通信する第2の制御信号を生成するように構成される、運転者注意推定器を備える、請求項1に記載の装置。

【請求項3】

前記運転者注意推定器が、
前記第1の持続時間を有する前記第1のウィンドウ中の前記運転者の前記注意状態を決定し、かつ前記第1の制御信号を生成するように構成される注意モニタと、
前記第2の持続時間を有する前記第2のウィンドウ中に前記運転者が十分に注意深いかどうかの前記査定を生成し、かつ前記第2の制御信号を生成するように構成されるマンマシン対話モニタと
を備える、請求項2に記載の装置。

【請求項4】

前記マンマシン対話モニタが、前記車両のマンマシンインターフェースが前記運転者と成功裏に通信しているかどうかを査定するようにさらに構成される、請求項3に記載の装置。

【請求項5】

前記マンマシン対話モニタが、前記運転者が前記注意モニタを悪用しているかどうかを判定するようにさらに構成される、請求項3に記載の装置。

【請求項6】

前記マンマシン対話モニタが、前記注意モニタの複数の運転者意識状態を監視するようにさらに構成される、請求項3に記載の装置。

【請求項7】

前記注意モニタの前記複数の運転者意識状態が、意識状態、一時的な無意識状態、および無意識状態、ならびにループ外状態のうちの1つまたは複数を備える、請求項6に記載の装置。

【請求項8】

前記マンマシン対話モニタが、前記注意モニタの前記複数の運転者意識状態の各々に対するそれぞれのしきい値を使用するようにさらに構成される、請求項6に記載の装置。

【請求項9】

前記注意モニタの前記複数の運転者意識状態の各々に対する前記それぞれのしきい値がプログラム可能である、請求項8に記載の装置。

【請求項10】

前記注意モニタの前記複数の運転者意識状態の各々に対する前記それぞれのしきい値が、前記第2の持続時間を有する前記第2のウィンドウ中の、前記意識状態から対応する運転者意識状態への遷移の最大許容回数を備える、請求項8に記載の装置。

【請求項11】

前記マンマシン対話モニタが、前記運転者の不注意プロファイルを追跡および学習することによってそれ自体を経時的にカスタマイズするようにさらに構成される、請求項8に記載の装置。

【請求項12】

前記マンマシン対話モニタが、手動運転中に前記運転者の視線分布に対して前記運転者の前記不注意プロファイルをベースライン化することによって、前記運転者の前記不注意プロファイルを学習するようにさらに構成される、請求項11に記載の装置。

【請求項13】

前記制御回路が、前記しきい値が超えられないときに前記車両の前記自動化システムの操作をアクティブ化または維持し、前記しきい値を超えたときに前記車両の操作を前記自動化システムから前記運転者に安全に移管するように構成される、機能モードマネージャをさらに備える、請求項3に記載の装置。

【請求項14】

前記機能モードマネージャが、前記車両のマンマシンインターフェースを介して、前記車両の制御を引き継ぐために前記運転者へ警告を送信し、かつ前記車両プラットフォームへの減速度要求を生成することによって前記自動化システムのオートパイロット機能の実行を格下げするように構成される、請求項13に記載の装置。

【請求項15】

車両の自動化システム機能を制御する方法であって、
車両の車両プラットフォームから複数のセンサ信号を受信するステップと、
第1の持続時間を有する第1のウィンドウ中に前記車両プラットフォームからの前記複数のセンサ信号のうちの1つまたは複数に応答して、運転者の注意状態が注意深い状態であるのかまたは不注意な状態であるのかを検出するステップと、
前記車両プラットフォームからの前記複数のセンサ信号のうちの前記1つまたは複数を監視するステップ、および前記第1の持続時間よりも長い第2の持続時間を有する第2のウィンドウ中の前記運転者の前記注意状態の変化がしきい値を超えるかどうかを判定するステップによって、前記運転者が十分に注意深いかどうかを査定するステップと、
前記しきい値を超えたとき、前記車両の操作を前記運転者に移管し前記車両の前記自動化システム機能を安全に中断するステップと
を備える、方法。

【請求項16】

(i)前記第1の持続時間を有する前記第1のウィンドウ中に前記運転者の前記注意状態を通信する第1の制御信号を生成し、(ii)前記車両を操作することを前記自動化システム機能が安全に継続するために、前記運転者が十分に注意深いかどうかの査定を通信する第2の制御信号を生成するために、前記車両の電子制御ユニットの運転者注意推定器を使用するステップをさらに備える、請求項15に記載の方法。

【請求項17】

前記運転者注意推定器が、
前記第1の持続時間を有する前記第1のウィンドウ中の前記運転者の前記注意状態を決定し前記第1の制御信号を生成するように構成される注意モニタと、
前記第2の持続時間を有する前記第2のウィンドウ中に前記運転者が十分に注意深いかどうかの前記査定を生成し前記第2の制御信号を生成するように構成されるマンマシン対話モニタと
を備える、請求項16に記載の方法。

【請求項18】

前記車両のマンマシンインターフェースが前記運転者と成功裏に通信しているかどうかを査定するために、前記マンマシン対話モニタを使用するステップをさらに備える、請求項17に記載の方法。

【請求項19】

前記マンマシン対話モニタが、
前記注意モニタの複数の運転者意識状態を監視し、
前記注意モニタの前記複数の運転者意識状態の各々に対するそれぞれのしきい値を使用する
ようにさらに構成される、請求項17に記載の方法。

【請求項20】

前記注意モニタの前記複数の運転者意識状態の各々に対する前記それぞれのしきい値が、前記第2の持続時間を有する前記第2のウィンドウ中の、意識状態から対応する運転者意識状態への遷移の最大許容回数を備える、請求項19に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、本出願の譲受人に譲渡され、その内容全体がすべての目的のために本明細書によって参照により本明細書に組み込まれる、"HUMAN MACHINE INTERACTION MONITOR"と題する2021年10月4日に出願された米国特許出願第17/493,144号の利益を主張する。

【0002】

本発明は、一般に、高度運転者支援システムに関し、より詳細には、マンマシン対話モニタを実施するための方法および/または装置に関する。

【背景技術】

【0003】

今日の市場における既製の運転者注意追跡機能は、運転者の視覚的な注意を追跡しカテゴリー化するためのアルゴリズムを採用する。しかしながら、運転者を運転タスクに従事させる際の数多くの人的要因関連の課題に起因して、運転者を機能的に用心深く保つ(またそれによって、安全性目標を満たす)ために運転者注意追跡機能のみに依拠することができるとは限らない。予想可能な誤用、および今日の市場において文書化されている類似の機能の乱用のタイプが、考慮に入れられる必要がある。誤用は、完全に意識しているとして運転者注意追跡機能が運転者にラベル付けし、それによって、任意の危険なイベントの場合に運転者が介入できない間、自動化機能をアクティブにさせる、エッジケースをもたらすことがある。したがって、運転者注意追跡機能に対してセーフティネットとして機能するのにもはや十分に注意深くない運転者を検出する必要がある。

【0004】

支援型(共同的)運転自動化の監督中の運転者従事を保証するために、マンマシン対話モニタを実施することが望ましいはずである。

【発明の概要】

【課題を解決するための手段】

【0005】

本明細書で説明する少なくともいくつかの実施形態は、インターフェースおよび制御回路を備える装置に関係する。インターフェースは、車両の車両プラットフォームから複数のセンサ信号を受信し、1つまたは複数の制御信号を車両プラットフォームに提示するように構成されてよい。制御回路は、(i)第1の持続時間を有する第1のウィンドウ中に車両プラットフォームからの複数のセンサ信号のうちの1つまたは複数に応答して、運転者の注意状態が注意深い状態であるのかまたは不注意な状態であるのかを検出し、(ii)車両プラットフォームからの複数のセンサ信号のうちの1つまたは複数を監視すること、および第1の持続時間よりも長い第2の持続時間を有する第2のウィンドウ中の運転者の注意状態の変化がしきい値を超えるかどうかを判定することによって、運転者が十分に注意深いかどうかを査定し、(iii)しきい値を超えたとき、車両の操作を運転者に遷移させ車両の自動化システム機能を安全に中断するように構成されてよい。

【0006】

実施形態は、以下の発明を実施するための形態ならびに添付の特許請求の範囲および図面から明らかとなろう。

【図面の簡単な説明】

【0007】

【図1】本開示の一実施形態によるシステムを示す図である。

【図2】運転者注意深さの尺度として視線挙動を利用する例示的な実装形態を示す図である。

【図3】本開示の一実施形態によるシステムの例示的な動作状態を示すフロー図である。

【図4】本開示の例示的な実施形態による高度運転者支援システム(ADAS:advanced driver-assistance system)マンマシン対話モニタの実装形態を示す図である。

【図5】許容できる運転者注意深さおよび許容できない運転者注意深さに対する例示的な基準を示す図である。

【図6】本開示の一実施形態によるシステムの例示的な動作を示す図である。

【図7】本開示の例示的な実施形態による、運転者とシステムとの間の例示的な対話を示す図である。

【図8】本開示の例示的な実施形態による、運転者とシステムとの間の例示的な対話を示す図である。

【図9】本開示の例示的な実施形態による、運転者とシステムとの間の例示的な対話を示す図である。

【図10】本開示の例示的な実施形態による、運転者とシステムとの間の例示的な対話を示す図である。

【図11】本開示の例示的な実施形態による、運転者とシステムとの間の例示的な対話を示す図である。

【図12】本開示の例示的な実施形態による、運転者とシステムとの間の例示的な対話を示す図である。

【図13】本開示の例示的な実施形態による、運転者とシステムとの間の例示的な対話を示す図である。

【図14】本開示の例示的な実施形態による、高度運転者支援システム(ADAS)機能制御システムを実施する電子制御ユニットを示す図である。

【発明を実施するための形態】

【0008】

例示的な実施形態は、(i)車両のマンマシン(または、車両)インターフェース(HMI:human machine interface)を介していくつかの(たとえば、3つの)異なるレベルにおいて警告を生成する運転者意識レベル上昇レジームを提供してよく、(ii)(たとえば、2次的なタスクへの関与からの)短期間共有される視覚的な注意に関係する不十分な注意を検出してよく、(iii)予想可能な誤用、および市場において文書化されている類似の機能の乱用のタイプを考慮に入れてよく、(iv)完全に意識しているとして運転者がラベル付けされ、それによって、危険なイベントの場合に運転者が介入できない間、自動化機能をアクティブにさせる、エッジケースを検出および軽減してよく、(v)もはや運転者注意追跡機能に対してセーフティネットとして機能するのに十分に注意深くない運転者を系統的に検出するための追加の機能性を提供してよく、(vi)HMIが作動していないかまたは運転者誤用があるときに不注意の不十分な検出を検出してよく、(vii)意識モニタが道路外の視線挙動を追跡する継続時間よりも長い継続時間にわたって視線分布を追跡してよく、(viii)車両の運動感覚および縦方向制御に影響を及ぼすためにマンマシン対話監視と意識監視の両方からの出力を利用してよく、かつ/あるいは(ix)1つまたは複数の集積回路として実装されてよい、マンマシン対話モニタを提供することを含む。

【0009】

運転者が注意深くない限り動作可能でなくなるように、一般に、部分的(共同的)な運転自動化機能に安全性目標(たとえば、米国自動車技術者協会レベル2～3(SAE L2+))が課される。注意深い運転者は、機能限定に起因して生じることがある危険なイベントを軽減するために適時に介入することができる。横方向および縦方向のステアリング機能を想定するSAE L2+自動化システムとともに、運転者不注意が今日の主要な関心事である。安全性事例は、自動化システムの動作能力における限定に達する危険な状況の中で、十分に注意深い運転者が制御権を握ることができることに依存する。依然としてユーザを適切な注意遵守に適応させながら、安全かつ知的な共同的運転システムを設計して自動化を通じて必要なユーザ価値を提供すべき、常に増大するニーズがある。したがって、運転者が注意深いかどうかを系統的に検出するとともに運転者がもはや注意深くないときに適切な安全状態に到達するための解決策の必要がある。

【0010】

注意遵守を最良に達成するために、運転者に対する明瞭で一貫した精神的モデルが確立される必要がある。自動化システムの能力および制限の運転者理解は、運転者がどのように自動化システムと対話するのかを十分に特徴づけてよい。運転者に対する精神的モデルの正確な表現は、(i)適時介入が必要とされる安全性重大状況に運転者がどのくらいの可能性で応答することになるのか、(ii)過剰な依拠または不十分な使用につながることがある、システムにおける信用の発展、および(iii)システムの動作の、運転者が有する全体的な概念にとって、重大である。

【0011】

注意散漫にさせる2次的なタスクに運転者が従事する可能性を含む、半自動化システムが運転者の情報処理能力および認知オフローディングに影響を及ぼす程度が、特に複雑な関心事である。運転者の役割がフルタイムの能動的な操作者から間欠的に受動的な監督者にシフトするとき、システム設計は、運転者が依然として運転環境およびシステムステータスの重大な変化を認知できることを保証する必要がある。

【0012】

様々な実施形態では、運転者にフィードバックを提供すること、運転者挙動を経時的に評価すること、および運転者意識が許容できるレベルにあるときに高度運転者支援システム(ADAS)機能性を有効にすることを含む、運転者意識を監視するための方法およびシステムが提供される。様々な実施形態では、運転者の注意レベルを経時的に監視し、(たとえば、車両のマンマシンインターフェース(HMI)を使用して)運転者にフィードバック(たとえば、警告)を提供するために、運転者意識推定器(DAE:driver awareness estimator)が実装されてよい。HMIは、概して、運転者と車両との間の接続を提供し、その結果、運転者意識推定器システムによって、拡張された時間期間にわたって警告への運転者の反応が観測されてよい。一例では、本開示の一実施形態によるシステムは、運転者注意査定の品質を改善するために、DAEを使用して行われた観測を利用してよい。一例では、様々なADAS機能は、拡張された時間期間にわたって監視された運転者挙動が特定のしきい値を超えると無効化されてよい。様々な実施形態では、システムは改善された運転者注意を提供してよい。システムはまた、運転者が車両の運転者監視システム(DMS:driver monitoring system)を作動しないようにする(たとえば、欺く、悪用するなど)可能性を低減してよい。

【0013】

様々な実施形態では、DAEは、概して、2つの別個の機能性、すなわち、注意(または、意識)モニタおよびマンマシン対話モニタ(HMIM:human machine interaction monitor)を備える。注意モニタは、時間の短い(たとえば、数秒間の)ウィンドウ中の運転者の状態(たとえば、道路上注視(eyes on the road)、不注意、一時的な無意識、ループ外、居眠りなど)を決定するように機能してよい。一例では、注意モニタは、目のまばたき、または運転者が使用する見通し線、たとえば、車両の運転者監視システムからの視線追跡情報を追跡してよく、次いで、運転者が無意識であるかどうかまたは不注意であるかどうかを判定してよい。一例では、注意モニタは、運転者監視システムのカメラを使用して視線追跡を実行してよい。注意モニタはまた、車両の中のパーソナルデバイスまたは各デバイスが使用されているかどうかをチェックしてよく、次いで、運転者が不注意であるかどうかを判定してよい。注意モニタは、速度、ステアリング角、および車両の速度の変動性などの運転情報に基づいて、運転者の状態をさらに決定してよい。一例では、注意モニタは、マンマシンインターフェース(HMI)を介していくつかの(たとえば、3つの)異なるレベルにおいて警告を生成する運転者意識レベル上昇レジームを提供してよく、(たとえば、2次的なタスクへの関与からの)短期間共有される視覚的な注意に関係する不十分な注意を検出してよい。注意モニタは、運転者の視覚的な注意を追跡しカテゴリー化するためのアルゴリズムを採用する、今日の市場における既存の注意追跡機能と同様に実装されてよい。

【0014】

様々な実施形態では、DAEは、運転者を運転タスクに従事させる際の数多くの人的要因関連の課題に起因して、運転者を機能的に用心深く保つ(またそれによって、安全性目標を満たす)ために注意モニタのみに依拠するとは限らない。様々な実施形態では、DAEは、予想可能な誤用、および今日の市場において文書化されている類似の機能の乱用のタイプを考慮に入れてよい。たとえば、誤用は、完全に意識しているとして注意モニタが運転者にラベル付けし、それによって、任意の危険なイベントの場合に運転者が介入できない間、自動化機能をアクティブにさせる、エッジケースをもたらす場合がある。したがって、本開示の一実施形態によるDAEは、概して、もはや注意モニタに対してセーフティネットとして機能するのに十分に注意深くない運転者を系統的に検出するための追加の機能性を含む。追加の機能性は、概して、本開示の一実施形態によるマンマシン対話モニタ(HMIM)によって提供される。HMIMは、概して、注意モニタの上部に安全性の追加のレイヤを設けて、運転者不注意のより多角的な査定を行う。

【0015】

図1を参照すると、本開示の一実施形態によるシステムを示す図が示される。一例では、システム(または、装置)90は、高度運転者支援システム(ADAS)を実施してよい。様々な実施形態では、システム90は、車両プラットフォーム92、運転者監視システム(DMS)94、マンマシン(または、車両)インターフェース(HMI)96、および機能制御モジュール100を備えてよい。様々な実施形態では、車両プラットフォーム92、運転者監視システム(DMS)94、および機能制御モジュール100は、自動車用安全度水準(ASIL:Automotive Safety Integrity Level)として実装されてよく、マンマシンインターフェース(HMI)96は、品質管理(QM:Quality Management)として実装されてよい。

【0016】

自動車用安全度水準(ASIL)は、ISO26262 - 道路車両向け機能的安全性規格によって規定されたリスク分類方式である。これは、自動車産業のためのIEC61508において使用される安全度水準(SIL:Safety Integrity Level)の適合である。ASIL分類は、許容できるレベルにリスクを保つためにISO26262規格に沿うことが必要とされる、安全性要件を規定する助けとなる。ASILは、車両操作シナリオの重大度、暴露、および制御可能性を見ることにより潜在的に危険なシナリオのリスク分析を実行することによって確立される。その危険なシナリオに対する安全性目標は、今度はASIL要件を搬送する。ASILは、災害に変わる危険なシナリオの最も高い程度のリスク、および得られた安全性要件の保証において適用されるために必要とされる最も高い程度の厳しさを表す、ASIL Dから、許容できないリスクを有する自動車の危険なシナリオを伴わない、したがって、ISO26262安全性プロセスの下で管理すべき安全性要件がない、適用例を表すQMまでにわたる。「品質管理」を指すレベルQMとは、危険なイベントに関連するリスクが不合理でなく、したがって、ISO26262による安全性尺度を必要としないことを意味する。介在するレベル(ASIL C、ASIL B、およびASIL A)は、単に危険リスクレベルの様々な程度および必要とされる保証の程度の範囲である。

【0017】

規格は、機能上の安全性を「電気システムまたは電子システムの、誤動作する挙動によって引き起こされる危険に起因する不合理なリスクがないこと」として規定する。ASILは、自動車の構成要素がISO26262に準拠するために、危害の確率および重大度に基づいて安全性要件を確立する。エアバッグ、アンチロックブレーキ、およびパワーステアリングのようなシステムは、それらの障害に関連するリスクが最も大きいので、ASIL D等級(安全性保証に適用される最高の厳しさ)を必要とする。安全性スペクトルの他端において、ワイパーシステムのような構成要素はASIL A等級しか必要としない。ヘッドライトおよびブレーキライトは、一般に、後方の光が後方の衝突のリスクに起因することになるのでASIL Bであることになるが、自動緊急ブレーキシステムは、一般に、意図しない減速度に関連するリスクに起因してASIL Cであることになる。

【0018】

一例では、車両プラットフォーム92、DMS94、およびHMI96は、入力信号を機能制御モジュール100に提供してよい。一例では、車両プラットフォーム92は、車両速度を通信する入力信号(たとえば、VEHICLE SPEED)を機能制御モジュール100に提供してよい。DMS94は、運転者意識に関する情報(たとえば、運転者の目の動き、運転者の手の位置、ステアリング角など)を通信する入力信号を提供してよい。一例では、HMI96は、第1の入力信号(たとえば、ACTIVATION REQUEST)および第2の入力信号(たとえば、DEACTIVATION REQUEST)を機能制御モジュール100に提供してよい。信号ACTIVATION REQUESTは、機能制御モジュール100によって制御されるADAS機能をアクティブ化するための、運転者からの要求を通信してよい。信号DEACTIVATION REQUESTは、機能制御モジュール100によって制御されるADAS機能を非アクティブ化するための、運転者からの要求を通信してよい。いくつかの実施形態では、HMI96は、車両を操作する特定の運転者についての情報を通信する入力信号(たとえば、DRIVER INFO)を随意に提示してよい。様々な実施形態では、信号VEHICLE SPEEDおよびDECELERATION REQUESTはASILとして実装されてよく、信号ACTIVATION REQUESTおよびDEACTIVATION REQUESTはQMとして実装されてよい。

【0019】

一例では、機能制御モジュール100は、車両プラットフォーム92およびHMI96に出力信号を提供してよい。一例では、機能制御モジュール100は、車両プラットフォーム92に出力信号(たとえば、DECELERATION REQUEST)を提示してよい。信号DECELERATION REQUESTは、機能制御モジュール100が車両を安全停止に持ってくることを可能にするように構成されてよい。機能制御モジュール100は、信号(たとえば、DRIVER WARNING)をHMI96に提示してよい。信号DRIVER WARNINGは、HMI96に、特定の警告を運転者に提示させるために、情報を通信してよい。様々な実施形態では、信号DRIVER WARNINGはQMとして実施されてよい。

【0020】

一例では、機能制御モジュール100は、ブロック(または、回路)102、ブロック(または、回路)104、およびブロック(または、回路)106を備えてよい。ブロック102は、注意(または、意識)モニタとして実装されてよい。ブロック104は、マンマシン対話モニタ(HMIM)として実装されてよい。ブロック106は、ADAS機能モードマネージャとして実装されてよい。一例では、ブロック106は、オートパイロットモードマネージャとして実装されてよい。様々な実施形態では、ブロック102、104、および106は、一般に、ASILとして実装される。一例では、信号VEHICLE SPEEDは、ブロック102の第1の入力部、ブロック104の第1の入力部、およびブロック106の第1の入力部に提示されてよい。DMS94からの信号は、ブロック102の第2の入力部およびブロック104の第2の入力部に提示されてよい。ブロック102は、信号(たとえば、AWARENESS LEVEL)をブロック104の第3の入力部およびブロック106の第2の入力部に提示してよい。信号AWARENESS LEVELはASILとして実装されてよい。ブロック104は、信号(たとえば、SUFFICIENTLY ATTENTIVE)をブロック106の第3の入力部に提示してよい。信号SUFFICIENTLY ATTENTIVEはASILとして実装されてよい。HMI96が信号DRIVER INFOを機能制御モジュール100に提供する実施形態では、信号DRIVER INFOは、ブロック104の第4の入力部に提示されてよい。

【0021】

様々な実施形態では、ブロック102およびブロック104は、運転者が注意深いかどうかを系統的に検出し、もはや運転者が注意深くないときに適切な安全状態に達するための、運転者意識推定器(DAE)として構成されてよい。一例では、注意モニタ102は、HMI96を介していくつかの(たとえば、3つの)異なるレベルにおいて警告を生成する運転者意識レベル上昇レジームを提供してよく、(たとえば、2次的なタスクへの関与からの)短期間共有される視覚的な注意に関係する不十分な注意を検出してよい。注意モニタ102は、運転者の視覚的な注意を追跡しカテゴリー化するためのアルゴリズムを採用する、今日の市場における既存の既製の注意追跡機能と同様に実装されてよい。

【0022】

様々な実施形態では、運転者意識推定器(DAE)は、運転者を運転タスクに従事させる際の数多くの人的要因関連の課題に起因して、運転者を機能的に用心深く保つ(またそれによって、安全性目標を満たす)ために注意モニタ102のみに依拠するとは限らない。様々な実施形態では、運転者意識推定器(DAE)は、予想可能な誤用、および今日の市場において文書化されている類似の機能の乱用のタイプを考慮に入れてよい。たとえば、誤用は、完全に意識しているとして注意モニタ102が運転者にラベル付けし、それによって、任意の危険なイベントの場合に運転者が介入できない間、機能制御モジュール100によって制御される自動化機能をアクティブにさせる、エッジケースをもたらすことがある。したがって、本開示の一実施形態による運転者意識推定器(DAE)は、概して、もはや注意モニタ102に対してセーフティネットとして機能するのに十分に注意深くない運転者を系統的に検出するための追加の機能性を提供するために、HMIM104を利用する。

【0023】

HMIM104は、概して、HMI96が作動していないかまたは運転者誤用があるときに不十分な注意を検出するように構成される。一例では、HMIM104は、注意モニタ102によって使用される継続時間(または、ウィンドウ)よりも長い継続時間にわたって注意モニタ102によって報告される意識レベルの間のトグル挙動を分析することによって、運転者の道路外の視線分布パターンを見てよい。様々な実施形態では、車両プラットフォーム92の運動感覚および縦方向制御に影響を及ぼすために、長期間の視線分布パターンが使用されてよい。一例では、HMIM104は、注意モニタ102によって報告される注意深さ状態の間のトグル挙動に基づく、もっと長期間の査定に焦点を当ててよい。所与の時間ウィンドウの中で(たとえば、意識状態の時間分布によってキャプチャされるような)運転者の意識レベルを監視することによって、調整可能(または、プログラム可能)な回数の遷移および意識の各状態内の全許容時間が規定されてよい。判断基準として支援型運転(たとえば、適応走行制御(ACC:adaptive cruise control)など)視線挙動を使用して、運転者従事が視線分布パターンに基づいて計算されてよい。HMIM104は、概して、運転者のもっと長期間の視線パターンを査定し、次いで、運転者への制御の移管および安全状態への車両の遷移を(たとえば、信号DECELERATION REQUESTなどを介して)トリガすることによって、運転者制御可能性に影響を及ぼす場合がある、より長い継続時間にわたって運転者がより低い意識状態の中に繰り返し入ることを防止する。

【0024】

図2を参照すると、運転者注意深さの尺度として視線挙動を利用する運転者意識推定器の例示的な実装形態を示す図が示される。ますます高度な教師ありシステムの設計は、ループの中の人間の重要な役割に起因して複雑である。成功している設計は、警告された障害、沈黙の障害、および制御の他の遷移の間に、必要とされるとき、運転者が従事し引き継ぐことができることを保証する。強制警戒システムを開発することは、ユーザ知覚、認知、および応答挙動の深い理解を伴う。一例では、注意モニタ102は、概して、HMI96を介していくつかの異なるレベルにおいて警告を生成してよい運転者意識レベル上昇レジームを実施し、(たとえば、2次的なタスクへの関与からの)短期間共有される視覚的な注意に関係する不十分な注意を検出する。一例では、注意モニタ102は、意識レベルを決定するために短い持続時間の時間ウィンドウ110にわたって運転者視線挙動108を観測してよい。一例では、短い時間期間(たとえば、数秒間)にわたって運転者がその時間のうちの50%で道路外注視であるか、またはもっと長い時間期間(たとえば、短い期間の4～5倍長い)にわたって運転者がその時間のうちの30%で道路外注視である場合、注意モニタ102は運転者が意識していないことを示してよい。一例では、注意モニタ102は、3つの異なるレベル、すなわち、一時的に無意識、無意識、ループ外において、警告を生成してよい。一例では、その個数の警告は、限定はしないが、聴覚リマインダおよび視覚リマインダ、触覚リマインダ(たとえば、シート振動)、ハンズオン、低減された推進力、引継ぎ要求、ならびに安全停止への減速を含んでよい。

【0025】

一例では、HMIM104は、運転者が十分に意識があるかどうかを判定するために、長い持続時間の時間ウィンドウ112にわたって運転者視線挙動108を観測してよい。一例では、HMIM104は、注意モニタ102よりも長い時間期間にわたって道路外の視線分布を見ることによって、(たとえば、HMI96が通常はQMであることを仮定すれば)HMI96が望まれるように作動していないか、または誤用があるときに、不十分な注意を検出してよい。一例では、HMIM104は、HMI96が首尾よく信号を運転者へ送信しているかどうかを検出するためにHMI96および注意モニタ102を利用するように構成されてよい。たとえば、ハードウェア障害または追跡障害は、一般に、運転者がHMI96から信号を受信していないことを意味する。別の例では、HMIM104は、運転者がシステム90を悪用している(乱用している)かどうかを検出するためにHMI96および注意モニタ102を利用するように構成されてよい。たとえば、運転者は、意識状態と一時的な無意識状態との間でバウンドすることにより道路外注視時間を継続的に最大化することによって、システムを誤用している場合がある。

【0026】

図3を参照すると、本開示の一実施形態によるHMIMシステムの例示的な動作状態を示すフロー図が示される。一例では、機能制御プロセス200は、本開示の一実施形態によるHMIMシステムの複数の状態を備えてよい。一例では、複数の状態は、いくつかの機能状態およびいくつかの運転者意識状態を備えてよい。様々な実施形態では、HMIM104は、(たとえば、運転者意識推定器(DAE)の運転者意識状態の時間分布によってキャプチャされるような)運転者の意識レベルを監視し、遷移の許容回数および/または特定のDAE状態内の全許容時間を規定する。一例では、制御プロセス(または、方法)200は、ステップ(または、状態)202、ステップ(または、状態)204、ステップ(または、状態)206、ステップ(または、状態)208、ステップ(または、状態)210、ステップ(または、状態)212、ステップ(または、状態)214、ステップ(または、状態)216、ステップ(または、状態)218、ステップ(または、状態)220、ステップ(または、状態)222、ステップ(または、状態)224、ステップ(または、状態)226、ステップ(または、状態)228、ステップ(または、状態)230、ステップ(または、状態)232、ステップ(または、状態)234、およびステップ(または、状態)236を備えてよい。

【0027】

一例では、プロセス200は、ADAS機能オフを伴う状態202において開始してよく、状態204に遷移してよい。状態204では、ADAS機能は、アクティブ化に対して準備ができていない。ADAS機能は、アクティブ化にとって動作設計領域(ODD:operational design domain)条件210が適切となるまで、アクティブ化に対して準備ができていないままであってよい。動作設計領域(ODD)安全性概念は、困難な動作状況にさらされるのを減らすことによって、米国自動車技術者協会レベル2～3(SAE L2+)運転者支援機能が受容可能に安全であることを保証する。困難な動作状況とは、高度運転者支援システム(ADAS)の知られている能力の外側にあるものと判定される動作状況であり、したがって、危険と見なされる。ODD安全性概念の目標とは、危険シナリオにさらされるのを最小化するために動作状況のうちの少なくとも99%を識別できることである。

【0028】

アクティブ化にとってODD条件210が適切であるとき、プロセス200は状態206に移動してよい。状態206では、ADAS機能はアクティブ化に対して準備ができている。運転者が状態212(たとえば、ステアリングホイール上の両手、および道路上注視)にいるものと観測されるまで、プロセス200は状態206のままであってよい。運転者が状態212にいるとき、プロセス200は、運転者アクティブ化要求214を受信すると状態208に移動してよい。状態208では、ADAS機能はアクティブである。ADAS機能がアクティブであって、プロセス200は、DAE状態220～226の時間分布によってキャプチャされるような運転者の意識レベルを監視してよい。

【0029】

プロセス200は、意識状態遷移の許容回数および/または特定のDAE状態内の全許容時間を規定してよい。一例では、プロセス200は、特定の持続時間(たとえば、N分間)、ならびに道路上注視観測230に基づいて運転者が意識していると見なされる運転者意識状態220から、それぞれ、運転者意識状態222、224、および226への、遷移の回数(たとえば、I、J、およびK回)を設定してよい。一例では、プロセス200は、運転者が一時的な無意識状態222にあるものと見なされるかどうかを判定するための第1の基準(または、しきい値)232(たとえば、運転者が状態222に入る回数がI回以上である)、運転者が無意識状態224にあるものと見なされるかどうかを判定するための第2の基準(または、しきい値)234(たとえば、運転者が状態224に入る回数がJ回以上である)、および運転者がループ外状態226にあるものと見なされるかどうかを判定するための第3の基準(または、しきい値)236(たとえば、運転者が状態226に入る回数がK回以上である)を設定してよい。一例では、値I、J、およびKは、選択された特定の持続時間中のそれぞれの運転者意識状態の遷移の最大許容回数を表してよい。一例では、選択された特定の持続時間中に基準232、234、および236のうちの1つまたは複数が満たされるとき、プロセス200は状態240に移動してよい。一例では、持続時間N、ならびに基準232、234、および236は、プログラム可能であってよい。一例では、しきい値I、J、およびKは類似であってよく、または異なってもよい。一例では、しきい値I、J、およびKは、特定の運転者のプロファイルに基づいて設定されてよい。一例では、基準232、234、および236は、HMIM104が特定の運転者の挙動(たとえば、視線挙動)分布を学習するにつれて修正されてよい。

【0030】

状態240では、プロセス200は、車両の操作を引き継ぐとともに安全と見なされる特定の速度(たとえば、5kph)まで車両推進力を低減するように運転者に通知してよい。プロセス200は、次いで、状態204に移動してよく、ここで、運転者が特定のアクションを取る(たとえば、イグニッションスイッチを入れ直す)まで、ADAS機能はアクティブ化に対して準備ができていないままである。

【0031】

図4を参照すると、本開示の例示的な実施形態によるシステム100の実装形態を示す図が示される。一例では、装置(または、システム)100は、完全に車両50内に、または少なくとも部分的に車両50内に搭載されてよい。一例では、システム(または、装置)100は、高度運転者支援システム(ADAS)電子制御ユニット(ECU:electronic control unit)90の一部として実装されてよい。様々な実施形態では、運転者注意深さ推定器(DAE)を実施するシステム100が、車両50のADAS ECU90内に実装されてよい。ADAS ECU90は、車両50の車両プラットフォーム92に接続されてよい。車両50は、運転者監視システム(DMS)94、マンマシンインターフェース(HMI)96、前方監視カメラ(FLC:forward looking camera)250、いくつかのコーナーレーダーセンサ252a～252d、いくつかの正面レーダーセンサ(図示せず)、前方監視レーダー(FLR:forward looking radar)センサ254、高精細(HD)マップレシーバ260、グローバルナビゲーション衛星システム(GNSS)レシーバ262、および慣性測定ユニット(IMU:inertial measurement unit)264を含んでよい。いくつかの実施形態では、車両50はまた、LIDARセンサおよび/またはソナーセンサ(図示せず)を含んでよい。

【0032】

前方監視カメラ(FLC)250は、概して、車両50の前方の物体および道路特徴を検出および識別するために使用される。一例では、前方監視カメラ(FLC)250は、100度の視野(FOV:field of view)を有する立体視映像を提供するように構成されてよい。一例では、前方監視カメラ(FLC)250は、道路標示(たとえば、車線標示など)、道路標識、交通信号灯、構造物などを検出するために使用されてよい。コーナーレーダーセンサ252a～252dおよび前方監視レーダー(FLR)センサ254(および、存在するときはLIDARおよび/またはソナーセンサ)は、概して、物体を検出および追跡するために使用される。一例では、コーナーレーダーセンサ252a～252dの各々は、140度のFOVを有してよい。一例では、前方監視レーダーセンサ(FLR)254は、2つのFOV、すなわち、長距離感知用の18度のFOVおよび短距離感知用の90度のFOVを有してよい。IMU264は、概して、方位、角速度および加速度、ならびに車両50上で作用する力を報告する。

【0033】

一例では、DMS94、HDマップレシーバ260、GNSSレシーバ262、FLC250、FCR252a～252b、およびFLR254は、システム90に接続されてよい。一例では、DMS94、HDマップレシーバ260、GNSSレシーバ262、FLC250、FCR252a～252b、およびFLR254は、車両50の1つまたは複数の車両バスを介してシステム90に接続されてよい。別の例では、DMS94、HDマップレシーバ260、GNSSレシーバ262、FLC250、FCR252a～252b、およびFLR254は、ワイヤレスプロトコルを介してシステム90に接続されてよい。一例では、DMS94は、運転者注意深さ情報をシステム90に伝達してよい。FLC250は、周辺道路情報(たとえば、車線幅、マーカータイプ、車線マーカー交差表示、およびビデオ)をシステム90に伝達してよい。GNSSレシーバ262は、位置データ(たとえば、緯度値、経度値、調整情報、および信頼性情報)をシステム90に伝達してよい。HDマップレシーバ260は、マップデータをシステム90に転送してよい。

【0034】

FLC250は、光学センサを実装してよい。様々な実施形態では、FLC250は光学カメラであってよい。FLC250は、概して、周辺道路情報(または、画像データ)をシステム90に提供するように動作可能である。道路情報は、限定はしないが、FLC250の視野内の車両50の前方の道路の車線幅データ、マーカータイプデータ、車線変更インジケータ、およびビデオを含んでよい。様々な実施形態では、FLC250はカラーカメラであってよい。カラーは、白色実線車線マーカー(たとえば、一番右の車線マーカー)から黄色実線車線マーカー(たとえば、一番左の車線マーカー)の間を区別するために有用であってよい。様々な実施形態では、FLC250は、FLC250の視野の中心における少なくとも現在の車線に対して、推定される車線幅を提供してよい。いくつかの実施形態では、FLC250は、中央車線に隣接する車線に対して、推定される車線幅を提供してよい。他の実施形態では、FLC250は、FLC250の視野内の車線のすべてに対して、推定される車線幅を提供してよい。車線幅は、FLC250の中で実施される標準的な画像認識方法および標準的な分析方法を使用して決定されてよい。FLC250はまた、FLC250の視野内のすべての車線マーカーを識別してよい。FLC250が車線マーカーを横切るとき、FLC250は車線変更が行われていることをシステム90に通知してよい。車線マーカーおよび車線変更の識別は、FLC250の中で実施される標準的な画像認識方法および標準的な分析方法を使用して決定されてよい。FLC250は、車両バスまたはワイヤレスプロトコルを介して道路情報をシステム90に転送してよい。

【0035】

1つまたは複数の他のタイプのセンサが、FLC250と連携して使用されてよい。例示的なセンサは、限定はしないが、レーダーセンサ、光検出および測距(LiDAR)センサ、慣性センサ、サーマルイメージングセンサ、ならびに/または音響センサを含んでよい。センサのうちのいくつかは、道路の左の境界および右の境界の推定を行うために道路の側部上の物体を検出してよい。左の境界および右の境界から、道路の幅が計算されてよい。計算された幅から、標準的な車線幅に基づいて、その幅内におそらく何本の車線が適合するのかという推定が行われてよい。その後、センサは、道路の左の境界および右の境界までの車両50上のセンサの相対距離、ならびに車線の推定される本数に基づいて、車両50が占有する現在の車線を推定してよい。車線交差は、車線の推定される本数、ならびに左の境界および/または右の境界までの相対距離の変化に基づいて、センサによって決定されてよい。

【0036】

システム90は、制御回路(たとえば、電子制御ユニット)を実装してよい。システム90は、概して、車両50が占有する現在の車線を追跡し、車両50の現在位置を現在の車線の中心に補正するように、動作可能である。追跡は、GNSSレシーバ262において受信される衛星位置データ、HDマップレシーバ260から受信されるマップデータ、ならびにFLC250からの映像検出ならびにFCR252a～252bおよびFLR254から受信されるレーダー検出の中で受信される道路情報に基づいてよい。衛星位置データは、調整値および対応する信頼性値を含んでよい。

【0037】

GNSSレシーバ262は、衛星ナビゲーションデバイスを実装してよい。様々な実施形態では、GNSSレシーバ262は全地球測位システム(GPS)レシーバを含んでよい。特定の適用例の設計基準を満たすために、他のタイプの衛星ナビゲーションデバイスが実装されてよい。GNSSレシーバ262は、概して、いくつかの衛星から受信されるGNSS信号に基づいて車両50の緯度データおよび経度データを提供するように動作可能である。GNSSレシーバ262はまた、システム90から受信される調整値および対応する信頼性値に基づいて緯度データおよび経度データを調整するように動作可能であってよい。信頼性値は、0(たとえば、信頼できない)から1(たとえば、信頼できる)までの範囲を有してよい。信頼性値が、高いしきい値を上回る(たとえば、>0.7)場合、GNSSレシーバ262は、調整値ごとに緯度データおよび経度データを補正してよい。信頼性値が、低いしきい値を下回る(たとえば、<0.3)場合、GNSSレシーバ262は調整値を無視してよい。信頼性値が、高いしきい値と低いしきい値との間にある場合、GNSSレシーバ262は、信頼性の程度に基づく線形の重み付けである補正を緯度データと経度データの両方に適用してよい。

【0038】

HDマップレシーバ260は無線周波数レシーバを実装してよい。HDマップレシーバ260は、アンテナ(図示せず)からマップデータを受信するように動作可能であってよい。マップデータは、デジタル形式に変換されてよくシステム90に提示されてよい。

【0039】

図5を参照すると、許容できる運転者注意深さおよび許容できない運転者注意深さに対する例示的な基準を示す図が示される。一例では、グラフ300は、許容できる運転者意識分布を表す曲線302、および許容できない運転者注意分布を表す曲線304を示す。一例では、曲線302は、概して、特定の集団に対する所望の制御可能性をもたらす視線分布を表す。曲線304は、概して、特定の集団に対する所望の制御可能性をもたらさない視線分布を表す。

【0040】

一例では、注意モニタ102は、概して、HMI96を介していくつかの異なるレベル(たとえば、306、308、および310)において警告を生成してよい運転者意識レベル上昇レジームを実施し、(たとえば、2次的なタスクへの関与からの)短期間共有される視覚的な注意に関係する不十分な注意を検出する。一例では、注意モニタ102は、意識レベルを決定するために短い継続時間にわたって運転者視線挙動を観測してよい。一例では、短い時間期間(たとえば、数秒間)にわたって運転者がその時間のうちの50%で道路外注視であるか、またはもっと長い時間期間(たとえば、短い期間の4～5倍長い)にわたって運転者がその時間のうちの30%で道路外注視である場合、注意モニタ102は運転者が意識していないことを示してよい。一例では、注意モニタ102は、3つの異なるレベル、すなわち、一時的に無意識、無意識、ループ外において、警告を生成してよい。しかしながら、特定の適用例の設計基準を満たすために他の個数のレベルが実施されてよい。

【0041】

一例では、その個数の警告は、限定はしないが、聴覚リマインダおよび視覚リマインダ、触覚リマインダ(たとえば、シート振動)、ハンズオン、低減された推進力、引継ぎ要求、ならびに安全停止への減速を含んでよい。一例では、一時的な無意識レベルの場合、注意モニタ102は、聴覚リマインダおよび視覚リマインダを備える警告306を生成してよい。無意識レベルの場合、注意モニタ102は、聴覚リマインダおよび視覚リマインダ+シート振動、ハンズオン、および低減された推進力を備える、警告308を生成してよい。ループ外レベルの場合、注意モニタ102は、聴覚リマインダおよび視覚リマインダ、シート振動、ハンズオン、低減された推進力+引継ぎ要求、および車両を安全停止まで減速することを備える、警告310を生成してよい。

【0042】

一例では、HMIM104は、概して、注意モニタ102の出力を追跡し、そうした出力は、概して、x軸に示すような運転者に対する不注意のレベルを提供する。任意の時間において、視線分布が、特定の集団に対する所望の制御可能性をもたらす視線分布(たとえば、曲線302)から特定の集団に対する所望の制御可能性をもたらさない視線分布(たとえば、曲線304)に変化する場合、HMIM104は、制御をアサートしてよく、その瞬間における注意モニタ102が運転者は意識していると告げる場合でも、運転者が「不十分に注意深い」ことを示してよい。HMIM104および注意モニタ102は、概して、異なる計画対象時間(time horizon)の中で動作する。

【0043】

図6を参照すると、本開示の一実施形態による、HMIMシステムの例示的な動作を示す図が示される。一例では、注意モニタ102は、運転者の目が道路上にあることを示す第1の状態および運転者の目が道路上にないことを示す第2の状態を有する信号を提示するように構成されてよい。一例では、HMIM104は、特定の時間期間(たとえば、15分間)の間に注意モニタ102によって不注意の状態が出力されるにつれて、不注意の状態(たとえば、一時的に無意識、無意識、およびループ外)をキャプチャおよびインクリメントする(すなわち、計数または累積する)ように構成されてよい。図示の例では、運転者は、意識状態と一時的な無意識状態との間でバウンドしている。運転者が一時的な無意識状態に入るたびに、HMIM104は、(たとえば、不注意な状態ごとに遷移の回数のカウントをインクリメントすることによって)不注意のインシデントをログ記録する。HMIM104が分時間ウィンドウ内で6つのインシデント(遷移)をキャプチャ(累積)すると、HMIM104は、制御を運転者に戻して遷移させるとともに車両を安全停止モードの中に送る。一例では、分時間ウィンドウ内に運転者が無意識状態の中に3回またはループ外状態の中に1回入ることによって、類似の結果もトリガされてよい。

【0044】

図7～図13を参照すると、本開示の一実施形態による、運転者と運転者注意深さ推定システムとの間の例示的な対話を示す図が示される。一例では、HMIM104は、図6に関して上記で説明したように構成されてよい。一例では、HMIM104は、15分間の期間(監視持続時間)を使用して注意モニタ102による出力を監視するように構成されてよい。一例では、HMIM104は、15分間の時間ウィンドウ内で運転者が一時的に無意識であるという6つのインシデントのキャプチャに応答して、制御を運転者に戻して遷移させるとともに車両を安全停止モードの中に送るように構成されてよい。15分間の時間ウィンドウ内に運転者が無意識状態の中に3回またはループ外状態の中に1回入ることによって、類似の結果もトリガされてよい。

【0045】

図7を参照すると、15分間の時間ウィンドウ内で運転者が一時的に無意識であるという第1のインシデントをHMIM104がキャプチャすることを示す図が示される。運転者の観点からの車両のコックピット内の眺めを示すピクチャ500aおよびピクチャ500bが図示される。ディスプレイ502aは、不注意の任意のインシデントの前に、制御を運転者に戻して遷移させるとともに車両を安全停止モードの中に送るべきかどうかを判定するためにHMIM104によって使用される基準に対して、現在のステータスを示す。運転者の注意がどこに導かれるのかを示す、円504aが示される。一例では、運転者は、ハイウェイ上でADAS機能がアクティブであってハンズフリー運転している。運転者の注意は前方の道路に向いている。注意モニタ102は、意識状態から一時的な無意識状態、無意識状態、またはループ外状態への、いかなる遷移も報告していない。

【0046】

ピクチャ500bでは、ディスプレイ502bは、15分間の時間ウィンドウの中への4分における、注意モニタ102によって運転者が一時的に無意識であるとしてラベル付けされるという第1のインシデントの後、制御を運転者に戻して遷移させるとともに車両を安全停止モードの中に送るべきかどうかを判定するためにHMIM104によって使用される基準に対して、現在のステータスを示す。一時的に無意識であるとして注意モニタ102が運転者にラベル付けしたときに、運転者の注意がどこに導かれるのかを示す、円504bが示される。一例では、運転者はテキストメッセージを受信し、運転者の注意は前方の道路から電話に移る。HMI96は、道路に注意を払うように運転者に警告する。HMIM104は、一時的に無意識である基準を1つのインシデントだけインクリメントする。

【0047】

図8を参照すると、15分間の時間ウィンドウ内で運転者が一時的に無意識であるという第2のインシデントをHMIM104がキャプチャすることを示す図が示される。運転者の観点からの車両のコックピット内の眺めを示すピクチャ500cおよびピクチャ500dが図示される。ディスプレイ502cは、15分間のウィンドウの中への4分における不注意の第1のインシデントに続いて、制御を運転者に戻して遷移させるとともに車両を安全停止モードの中に送るべきかどうかを判定するためにHMIM104によって使用される基準に対して、現在のステータスを示す。運転者の注意がどこに導かれるのかを示す、円504cが示される。一例では、運転者は注意要求に応じた。運転者は、ハイウェイ上でADAS機能がアクティブのままであってハンズフリー運転している。運転者の注意は前方の道路に向いている。

【0048】

ピクチャ500dでは、ディスプレイ502dは、15分間の時間ウィンドウの中への6分における、注意モニタ102によって運転者が一時的に無意識であるとしてラベル付けされるという第2のインシデントの後、制御を運転者に戻して遷移させるとともに車両を安全停止モードの中に送るべきかどうかを判定するためにHMIM104によって使用される基準に対して、現在のステータスを示す。一時的に無意識であるとして注意モニタ102が運転者にラベル付けしたときに、運転者の注意がどこに導かれるのかを示す、円504dが示される。一例では、運転者は別のテキストメッセージを受信し、運転者の注意は前方の道路から電話に移る。HMI96は、道路に注意を払うように運転者に警告する。HMIM104は、一時的に無意識である基準を1つのインシデントだけインクリメントして合計2つのインシデントにする。

【0049】

図9を参照すると、15分間の時間ウィンドウ内で運転者が一時的に無意識であるという第3のインシデントをHMIM104がキャプチャすることを示す図が示される。運転者の観点からの車両のコックピット内の眺めを示すピクチャ500eおよびピクチャ500fが図示される。ディスプレイ502eは、15分間のウィンドウの中への6分における不注意の第2のインシデントに続いて、制御を運転者に戻して遷移させるとともに車両を安全停止モードの中に送るべきかどうかを判定するためにHMIM104によって使用される基準に対して、現在のステータスを示す。運転者の注意がどこに導かれるのかを示す、円504eが示される。一例では、運転者は注意要求に応じた。運転者は、ハイウェイ上でADAS機能がアクティブのままであってハンズフリー運転している。運転者の注意は再び前方の道路に向いている。

【0050】

ピクチャ500fでは、ディスプレイ502fは、15分間の時間ウィンドウの中への10分における、注意モニタ102によって運転者が一時的に無意識であるとしてラベル付けされるという第3のインシデントの後、制御を運転者に戻して遷移させるとともに車両を安全停止モードの中に送るべきかどうかを判定するためにHMIM104によって使用される基準に対して、現在のステータスを示す。一時的に無意識であるとして注意モニタ102が運転者にラベル付けしたときに、運転者の注意がどこに導かれるのかを示す、円504fが示される。一例では、運転者は車両のグローブボックスの中の品物を探して注意散漫になる。HMI96は、道路に注意を払うように運転者に警告する。HMIM104は、一時的に無意識である基準を1つのインシデントだけインクリメントして合計3つのインシデントにする。

【0051】

図10を参照すると、15分間の時間ウィンドウ内で運転者が一時的に無意識であるという第4のインシデントをHMIM104がキャプチャすることを示す図が示される。運転者の観点からの車両のコックピット内の眺めを示すピクチャ500gおよびピクチャ500hが図示される。ディスプレイ502gは、15分間のウィンドウの中への10分における不注意の第3のインシデントに続いて、制御を運転者に戻して遷移させるとともに車両を安全停止モードの中に送るべきかどうかを判定するためにHMIM104によって使用される基準に対して、現在のステータスを示す。運転者の注意がどこに導かれるのかを示す、円504gが示される。一例では、運転者は注意要求に応じた。運転者は、ハイウェイ上でADAS機能がアクティブのままであってハンズフリー運転している。運転者の注意は再び前方の道路に向いている。

【0052】

ピクチャ500hでは、ディスプレイ502hは、15分間の時間ウィンドウの中への12分における、注意モニタ102によって運転者が一時的に無意識であるとしてラベル付けされるという第4のインシデントの後、制御を運転者に戻して遷移させるとともに車両を安全停止モードの中に送るべきかどうかを判定するためにHMIM104によって使用される基準に対して、現在のステータスを示す。一時的に無意識であるとして注意モニタ102が運転者にラベル付けしたときに、運転者の注意がどこに導かれるのかを示す、円504hが示される。一例では、運転者は車両のグローブボックスの中の品物を探して注意散漫になる。HMI96は、道路に注意を払うように運転者に警告する。HMIM104は、一時的に無意識である基準を1つのインシデントだけインクリメントして合計4つのインシデントにする。

【0053】

図11を参照すると、15分間の時間ウィンドウ内で運転者が一時的に無意識であるという第5のインシデントをHMIM104がキャプチャすることを示す図が示される。運転者の観点からの車両のコックピット内の眺めを示すピクチャ500iおよびピクチャ500jが図示される。ディスプレイ502iは、15分間のウィンドウの中への12分における不注意の第4のインシデントに続いて、制御を運転者に戻して遷移させるとともに車両を安全停止モードの中に送るべきかどうかを判定するためにHMIM104によって使用される基準に対して、現在のステータスを示す。運転者の注意がどこに導かれるのかを示す、円504iが示される。一例では、運転者は注意要求に応じた。運転者は、ハイウェイ上でADAS機能がアクティブのままであってハンズフリー運転している。運転者の注意は再び前方の道路に向いている。

【0054】

ピクチャ500jでは、ディスプレイ502jは、15分間の時間ウィンドウの中への13分における、注意モニタ102によって運転者が一時的に無意識であるとしてラベル付けされるという第5のインシデントの後、制御を運転者に戻して遷移させるとともに車両を安全停止モードの中に送るべきかどうかを判定するためにHMIM104によって使用される基準に対して、現在のステータスを示す。一時的に無意識であるとして注意モニタが運転者にラベル付けしたときに、運転者の注意がどこに導かれるのかを示す、円504jが示される。一例では、運転者は、車両の窓の外で車両によって通過する風景を見て注意散漫になる。HMI96は、道路に注意を払うように運転者に警告する。HMIM104は、一時的に無意識である基準を1つのインシデントだけインクリメントして合計5つのインシデントにする。

【0055】

図12を参照すると、15分間の時間ウィンドウ内で運転者が一時的に無意識であるという第6のインシデントをHMIM104がキャプチャすることを示す図が示される。運転者の観点からの車両のコックピット内の眺めを示すピクチャ500kおよびピクチャ500lが図示される。ディスプレイ502kは、15分間のウィンドウの中への13分における不注意の第5のインシデントに続いて、制御を運転者に戻して遷移させるとともに車両を安全停止モードの中に送るべきかどうかを判定するためにHMIM104によって使用される基準に対して、現在のステータスを示す。運転者の注意がどこに導かれるのかを示す、円504kが示される。一例では、運転者は注意要求に応じた。運転者は、ハイウェイ上でADAS機能がアクティブのままであってハンズフリー運転している。運転者の注意は前方の道路に向いている。

【0056】

ピクチャ500lでは、ディスプレイ502lは、15分間の時間ウィンドウの中への15分における、注意モニタ102によって運転者が一時的に無意識であるとしてラベル付けされるという第6のインシデントの後、制御を運転者に戻して遷移させるとともに車両を安全停止モードの中に送るべきかどうかを判定するためにHMIM104によって使用される基準に対して、現在のステータスを示す。一時的に無意識であるとして注意モニタ102が運転者にラベル付けしたときに、運転者の注意がどこに導かれるのかを示す、円504lが示される。一例では、運転者は通話を受信し、運転者の注意は前方の道路から電話に移る。HMI96は、道路に注意を払うように運転者に警告する。HMIM104は、一時的に無意識である基準を1つのインシデントだけインクリメントして合計6つのインシデントにする。

【0057】

図13を参照すると、15分間の時間ウィンドウ内で運転者が一時的に無意識であるという第6のインシデントをキャプチャした後のHMIM104を示す図が示される。運転者の観点からの車両のコックピット内の眺めを示すピクチャ500mが図示される。ディスプレイ502mは、20分における不注意の第6のインシデントに続いて、制御を運転者に戻して遷移させるとともに車両を安全停止モードの中に送るべきかどうかを判定するためにHMIM104によって使用される基準に対して、現在のステータスを示す。運転者の注意がどこに導かれるのかを示す、円504mが示される。一例では、HMIM104は、15分間の期間内で運転者が不注意であるという6つのインシデントに応答して、制御を運転者に戻して遷移させADAS機能を安全に中断する。HMI96は、車両の制御権を握るように運転者に警告する。車両は5kphまで減速し始める。

【0058】

概して、何かが間違っていることをHMIM104が決定すると、HMIM104は、運転者が車両の操作を引き継ぎ自動化機能を安全に中断することを要求する。高速度において自動化機能のアクティビティを中断することも安全でない場合があるので、特に運転者が意識していないと知られているとき、HMIM104は、運転者が車両の操作を引き継ぐための要求を提示するためにHMI96を使用してよい。一例では、HMIM104は、共同的な操作を完全に中断する前に自動化機能の操作を安全な状態までゆっくりと格下げすること(たとえば、安全速度および/または安全停止まで減速すること)によって、安全な遷移を容易にしてよい。しかしながら、特定の状況または適用例の設計基準を満たすために、共同的な操作を中断するための他の方策が実施されてよい。

【0059】

図14を参照すると、本開示の例示的な実施形態による、高度運転者支援システム(ADAS)機能制御システムを実施する電子制御モジュールを示す図が示される。一例では、装置800は、電子制御ユニットまたはモジュール(ECU)を実装してよい。一例では、電子制御モジュール(ECU)800は、領域コントローラ(DC:domain controller)として実装されてよい。別の例では、ECU800は、アクティブ安全性領域マスタ(ASDM:active safety domain master)として実装されてよい。様々な実施形態では、ECU800は、車両のADAS構成要素の1つまたは複数の機能(feature)(または、機能(function))のアクティブ化を制御するように構成されてよい。様々な実施形態では、運転者注意深さ推定器100がECU800内に実装されてよい。一例では、ECU800は、車両プラットフォーム92、運転者監視システム(DMS)94、マンマシンインターフェース(HMI)96、(電子バスを実装してよい)回路802、ならびに車両のマップおよびセンサ804に接続されてよい。一例では、ECU800は、(i)車両システムから信号VEHICLE SPEED、DEACTIVATION REQUEST、ACTIVATION REQUEST、およびDRIVER INFOを受信し、信号DECELERATION REQUESTおよびDRIVER WARNINGを車両のシステムに通信するように構成されてよい。

【0060】

一例では、ECU800は、ブロック(または、回路)802に接続されてよい。回路802は電子バスを実装してよい。回路802は、ECU800と車両プラットフォーム92、DMS94、HMI96、ならびにマップおよびセンサ804(たとえば、HDマップレシーバ260、GNSSレシーバ262、前方監視カメラ(FLC)250、コーナー/サイドレーダーセンサ252a～252n、前方監視レーダー(FLR)センサ254、および慣性測定ユニット264)との間でデータを転送するように構成されてよい。いくつかの実施形態では、回路802は、車両コントローラエリアネットワーク(CAN)バスとして実装されてよい。回路802は、電子有線ネットワークおよび/またはワイヤレスネットワークとして実装されてよい。概して、回路802は、デジタル信号の形態での情報の共有(たとえば、シリアルバス、ワイヤリングおよび/またはインターフェースによって接続される電子バス、ワイヤレスインターフェースなど)を可能にするために、車両50の1つまたは複数の構成要素を接続してよい。

【0061】

ECU800は、概して、ブロック(または、回路)820、ブロック(または、回路)822、ブロック(または、回路)824、ブロック(または、回路)826、およびブロック(または、回路)828を備える。回路820はプロセッサを実装してよい。回路822は通信ポートを実装してよい。回路824はフィルタを実装してよい。回路826はクロックを実装してよい。回路828はメモリを実装してよい。他のブロック(図示せず)(たとえば、I/Oポート、電力コネクタ、インターフェースなど)が実装されてよい。モジュール800によって実装される回路の個数および/またはタイプは、特定の実装形態の設計基準に従って様々である場合がある。

【0062】

回路820は、マイクロコントローラ、マルチスレッドマイクロプロセッサ、またはそれらの任意の組合せとして実装されてよい。回路820は、注意モニタ102を実施するブロック(または、回路)、マンマシン対話モニタ104を実施するブロック(または、回路)、および/またはモード管理106を実施するブロック(または、回路)を備えてよい。回路820は他の構成要素(図示せず)を備えてよい。いくつかの実施形態では、回路820は、処理機能性を実施する組み合わせられた(たとえば、統合された)チップセットであってよい。いくつかの実施形態では、回路820は、いくつかの別個の回路(たとえば、マイクロコントローラ、マルチスレッドマイクロプロセッサ、デジタル信号プロセッサ(DSP)、グラフィックス処理ユニット(GPU)など)が備えられてよい。回路820の設計および/または回路820の様々な構成要素の機能性は、特定の実装形態の設計基準に従って様々である場合がある。車両プラットフォーム92、回路822、および/または回路828へデータを送信し、かつ/またはそれらからデータを受信する、回路820が示される。

【0063】

回路828は、ブロック(または、回路)860およびブロック(または、回路)862を備えてよい。ブロック860は、運転者意識(または、注意深さ)推定器(DAE)データを記憶してよい。ブロック862は、コンピュータ可読命令(たとえば、回路820によって読取り可能な命令)を記憶してよい。DAEデータ860は、様々なデータセット870a～870nを記憶してよい。たとえば、データセット870a～870nは、一時的な無意識状態への遷移のカウント870a、無意識状態への遷移のカウント870b、ループ外状態への遷移のカウント870c、長期間の視線分布870d、運転者情報870e、および/または他のデータ870nを備えてよい。

【0064】

一例では、他のデータ870nは、センサ(たとえば、FLC、FLR、FCR、FCS、およびIMU)から受信されたデータを変換するために使用されるパラメータ(たとえば、係数)を備えてよい。較正データ870nは、係数の多くのセット(たとえば、センサの各々に対して係数の1つのセット)を提供してよい。較正データ870nは更新可能であってよい。たとえば、較正データ870nは、センサに対する係数として、またセンサドリフトからのデータとして、現在の値を記憶してよく、モジュール800は、確度を維持するために較正データ870nを更新してよい。較正データ870nのフォーマットは、特定の実装形態の設計基準に基づいて変わる場合がある。

【0065】

様々な他のタイプのデータ(たとえば、他のデータ870n)が、DAEデータ860の一部として記憶されてよい。たとえば、他のデータ870nは、複数の運転者に対する視線分布を記憶してよい。たとえば、他のデータ870nは、較正データの過去のデータ値および/または較正データの現在のデータ値を記憶してよい。較正データに対する潜在的な将来の値を外挿および/または予測するために使用される動向を決定するために、較正データの過去および現在のデータ値が比較されてよい。

【0066】

回路820は、記憶されたコンピュータ可読命令(たとえば、回路828の中に記憶された命令862)を実行するように構成されてよい。回路820は、記憶された命令862に基づいて1つまたは複数のステップを実行してよい。一例では、命令862のステップは、回路820によって実行(execute)/実行(perform)されてよく、注意モニタ102、マンマシン対話モニタ104、およびモードマネージャ106のうちの1つまたは複数を実施してよい。回路820によって実行される命令および/または実行される命令862の順序は、特定の実装形態の設計基準に従って様々である場合がある。

【0067】

回路822は、モジュール800がマップおよびセンサ804、車両プラットフォーム92、運転者監視システム94、ならびにマンマシンインターフェース96などの外部デバイスと通信することを可能にしてよい。たとえば、外部回路802に接続されるモジュール800が示される。一例では、モジュール800からの情報は、運転者への表示のためにインフォテインメントデバイスに通信されてよい。別の例では、ポータブルコンピューティングデバイス(たとえば、スマートフォン、タブレットコンピュータ、ノートブックコンピュータ、スマートウォッチなど)へのワイヤレス接続(たとえば、Wi-Fi、Bluetooth、セルラーなど)が、モジュール800からの情報がユーザに表示されることを可能にしてよい。

【0068】

回路824は、線形2次推定を実行するように構成されてよい。たとえば、回路824はKalmanフィルタを実装してよい。概して、統計的に最適な推定値を生成するために、回路824が入力データに対して再帰的に動作してよい。たとえば、位置座標870aを計算し、かつ/または位置座標870aの確度を推定するために、回路824が使用されてよい。いくつかの実施形態では、回路824は別個のモジュールとして実装されてよい。いくつかの実施形態では、回路824は、回路828の一部(たとえば、記憶された命令862)として実装されてよい。回路824の実装形態は、特定の実装形態の設計基準に従って様々である場合がある。

【0069】

回路826は、時間を決定および/または追跡するように構成されてよい。回路826によって決定される時間は、タイムスタンプデータ870cとして記憶されてよい。いくつかの実施形態では、回路826は、GNSSレシーバから受信されたタイムスタンプを比較するように構成されてよい。

【0070】

モジュール800は、チップセット、システムオンチップ(SoC)、および/または個別デバイスとして構成されてよい。たとえば、モジュール800は電子制御ユニット(ECU)として実装されてよい。いくつかの実施形態では、モジュール800は、1つまたは複数のADAS機能(feature)/機能(function)のアクティブ化を制御するように構成されてよい。

【0071】

HMI警告メッセージにおいて最先端のASILがないことを仮定すれば、本開示の一実施形態によるHMIM104の基礎をなす目的は、起こり得る危険なイベントへの監督する運転者の十分な制御可能性を保証する監視機能性を提供することである。一例では、HMIM104は、運転者従事を保証することによって十分な制御可能性を達成してよい。一例では、HMIM104は、注意深さの尺度として視線分布パターンを監視することによって運転者従事を保証してよい。様々な実施形態では、意思決定中の偽陽性を軽減するために、HMIM104の数回の例示的な機能性反復が実施されてよい。

【0072】

一例では、HMIM104は、警告が運転者に伝達されているかどうかを判定するために、またHMIメッセージの欠損に対して保護するために、HMI警告の前後の目の視線シフトのデルタ変化をチェックしてよい。たとえば、HMIM104は、運転者監視システム94のカメラからリアルタイムで「道路上注視」を示す信号をサブスクライブしてよい。「道路上注視」を示す信号は、各上昇警告の後に視線分布における改善があるかどうかを急速に評価するためのフィードバックとして使用されてよい。そうでない場合、HMIM104は適切にフェイルセーフしてよい。

【0073】

別の例では、DMS94のカメラおよび注意モニタ注意レベルからの偽陽性に対して保護するために、予想されるよりも長い持続時間にわたって運転者が「意識」状態にいることを注意モニタ102が報告するとき、HMIM104は、瞬間的に運転者の目を道路外に持っていくことを意図的に試みてよい。より長い継続時間にわたって運転者が「意識」しているものと報告されているとき、HMIM104は、(オンボードセンサ、GNSS、HDマップなどからの環境情報をサブスクライブすることによって、そうするために安全であると判定されるとき)運転者の注意を道路から離れてそらすために、導かれたプロンプトを送信してよく、そらされた注意をフロントエンド信号チェーン(たとえば、DMS94、注意モニタ102など)が検出するかどうかを検証してよい。そうでない場合、HMIM104は適切にフェイルセーフしてよい。

【0074】

別の例では、全体論的な運転者状態推定値を形成するための入力として、他のキャビンセンサ情報がHMIM104の中に統合されてよい。道路上注視情報に加えて、HMIM104は、全体論的な運転者状態推定モデルを形成するために、ステアリングホイール上の両手、ペダル情報、シートセンサ、シートベルトステータスなどをサブスクライブしてよい。HMIM104は、不注意を検出および軽減するために、これらの入力の各々からのフィードバックを活用してよい。

【0075】

さらに別の例では、HMIM104は、個々の運転者ごとに運転者注意深さプロファイルをベースライン化し特定の運転者のベースラインに対して不注意を追跡するために、人工知能/機械学習(AI/ML)ベースの非決定論的アルゴリズムを用いて開発されてよい。様々な実施形態では、各車両は、手動運転中に同じ運転者の視線分布に対して運転者の不注意プロファイルをベースライン化することにより、運転者の不注意プロファイルを追跡しそれについて学習することによって、それ自体を経時的にカスタマイズしてよい包括的なHMIM104を実施してよい。教師あり運転中の不注意は、次いで、前の手動運転中に言及されたしきい値を不注意が超えると、フラグ付けされてよい。

【0076】

"is(are)"および動詞と一緒に本明細書で使用されるときの"may"および"generally"という用語は、説明が例示的であるという意図を伝えることが意図され、本開示において提示される具体例と本開示に基づいて導出されることが可能である代替例の両方を包含するのに十分に広いものと考えられる。本明細書で使用するような"may"および"generally"という用語は、対応する要素を省略することの望ましさまたは可能性を必ずしも暗示するものと解釈されるべきでない。

【0077】

"a"～"n"としての様々な構成要素、モジュール、および/または回路の指定は、本明細書で使用されるとき、任意の特定の整数を意味するために"n"指定が適用されて、単数の構成要素、モジュール、および/もしくは回路、または複数のそのような構成要素、モジュール、および/もしくは回路のいずれかを開示する。"a"～"n"という指定を伴うインスタンス(または、出現)を各々が有する異なる構成要素、モジュール、および/または回路は、異なる構成要素、モジュール、および/または回路が、一致する数のインスタンスまたは異なる数のインスタンスを有してよいことを示してよい。"a"に指定されるインスタンスは、複数のインスタンスのうちの最初を表してよく、インスタンス"n"は、複数のインスタンスのうちの最後を指してよいが、特定の数のインスタンスを暗示しない。

【0078】

例示的な実施形態が詳細に図示および説明されているが、本開示の範囲を逸脱することなく、形態および詳細の様々な変更が加えられてよい。

【符号の説明】

【0079】

50 車両
90 システム、装置、高度運転者支援システム(ADAS)電子制御ユニット(ECU)
92 車両プラットフォーム
94 運転者監視システム(DMS)
96 マンマシンインターフェース(HMI)
100 機能制御モジュール
102 注意モニタ
104 マンマシン対話モニタ(HMIM)
106 モード管理、モードマネージャ
108 運転者視線挙動
110 短い持続時間の時間ウィンドウ
112 長い持続時間の時間ウィンドウ
200 機能制御プロセス
210 動作設計領域(ODD)条件
214 運転者アクティブ化要求
220 運転者意識状態
222 一時的な無意識状態
224 無意識状態
226 ループ外状態
230 道路上注視観測
232 第1の基準
234 第2の基準
236 第3の基準
250 前方監視カメラ(FLC)
252 コーナーレーダーセンサ
254 前方監視レーダー(FLR)センサ
260 高精細(HD)マップレシーバ
262 グローバルナビゲーション衛星システム(GNSS)レシーバ
264 慣性測定ユニット(IMU)
302 許容できる運転者意識分布を表す曲線
304 許容できない運転者注意分布を表す曲線
306 警告
308 警告
310 警告
500 ピクチャ
502 ディスプレイ
800 装置、電子制御モジュール(ECU)
802 外部回路
804 マップおよびセンサ
860 DAEデータ
862 命令
870 データセット
870a 一時的な無意識状態への遷移のカウント、位置座標
870b 無意識状態への遷移のカウント
870c ループ外状態への遷移のカウント、タイムスタンプデータ
870d 長期間の視線分布
870e 運転者情報
870n 他のデータ、較正データ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【国際調査報告】