特許 7542651 応答能力を決定するための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-22

(45)【発行日】2024-08-30

(54)【発明の名称】応答能力を決定するための方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20240823BHJP

【ＦＩ】

G08G1/16 F

【請求項の数】 10

(21)【出願番号】P 2022570404

(86)(22)【出願日】2021-04-01

(65)【公表番号】

(43)【公表日】2023-06-19

(86)【国際出願番号】 EP2021058735

(87)【国際公開番号】W WO2021233604

(87)【国際公開日】2021-11-25

【審査請求日】2022-11-17

(31)【優先権主張番号】102020003018.1

(32)【優先日】2020-05-19

(33)【優先権主張国・地域又は機関】DE

(73)【特許権者】

【識別番号】598051819

【氏名又は名称】メルセデス・ベンツ グループ アクチェンゲゼルシャフト

【氏名又は名称原語表記】Ｍｅｒｃｅｄｅｓ－Ｂｅｎｚ Ｇｒｏｕｐ ＡＧ

【住所又は居所原語表記】Ｍｅｒｃｅｄｅｓｓｔｒａｓｓｅ １２０，７０３７２ Ｓｔｕｔｔｇａｒｔ，Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100176946

【弁理士】

【氏名又は名称】加藤 智恵

(74)【代理人】

【識別番号】110003649

【氏名又は名称】弁理士法人真田特許事務所

(72)【発明者】

【氏名】ラルーシ リハブ

【審査官】佐藤 吉信

(56)【参考文献】

【文献】国際公開第２０１８／１５８９５０（ＷＯ，Ａ１）

【文献】特開２０１６－１１５０２３（ＪＰ，Ａ）

【文献】独国特許出願公開第１０２０１８２１７１８３（ＤＥ，Ａ１）

【文献】特開２０１８－２０６３６６（ＪＰ，Ａ）

【文献】特開２０１９－０１１０２６（ＪＰ，Ａ）

【文献】特開２０１８－１５１７６５（ＪＰ，Ａ）

【文献】特開２０１５－１８５０８８（ＪＰ，Ａ）

【文献】特開２０２０－０５２６４３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／００－９９／００

Ｂ６０Ｗ １０／００－１０／３０

Ｂ６０Ｗ ３０／００－６０／００

(57)【特許請求の範囲】

【請求項1】

運転者観察カメラの撮像画像データにより、車両（１）の自動走行モードにおいて車両ユーザ（２）の応答能力を決定するための方法であって、
－前記車両側に存在するデジタル地図データにより、及び／又は前記車両側で検知されたセンサデータにより、前記車両ユーザ（２）の視野において、現在の車両周辺に少なくとも１つの規定の関連物体（Ｏ）が存在するかが決定され、
－前記現在の車両周辺において前記少なくとも１つの規定の関連物体（Ｏ）が検知された場合、検知された前記少なくとも１つの規定の関連物体（Ｏ）に前記車両ユーザ（２）がどの程度の継続時間及び／又は頻度で視線を向けたかが、前記運転者観察カメラの撮像画像データにより決定され、
－自動走行モードで走行した場合における前記車両ユーザ（２）の所定の場所又は状況に応じた視線挙動と手動走行モードで走行した場合における前記車両ユーザ（２）の前記所定の場所又は状況に応じた視線挙動とを比較した結果に基づいて、前記継続時間が規定の最小継続時間を下回る場合、及び／又は前記視線変更頻度が規定の最小頻度を下回る場合、前記車両ユーザ（２）の前記応答能力が備わっていないと評価される
ことを特徴とする、応答能力を決定するための方法。

【請求項2】

物体（Ｏ）は、前記車両（１）の手動走行モードにおいて前記車両ユーザ（２）の前記視野内に規定の継続時間及び／又は頻度で存在する場合、及び前記車両ユーザ（２）による車両制御時に考慮される場合に、関連すると決定される
ことを特徴とする、請求項１に記載の応答能力を決定するための方法。

【請求項3】

前記車両（１）の前方、側方、及び／又は後方に存在する少なくとも１台の別の車両（３）、道路標識（５）、交通信号機、警告灯、車線区分線、視線誘導標、ガードレール、誘導標識、及び／又は橋脚が、前記車両ユーザ（２）の前記応答能力を決定する際に物体（Ｏ）として規定され、かつ／又は関連物体（Ｏ）として考慮される
ことを特徴とする、請求項１又は２に記載の応答能力を決定するための方法。

【請求項4】

規定の物体（Ｏ）のサイズ、視認性、相対位置、及び／又は絶対位置が、前記車両ユーザ（２）の前記視野に関連して決定され、かつ／又は考慮される
ことを特徴とする、請求項１から３のいずれか一項に記載の応答能力を決定するための方法。

【請求項5】

前記車両ユーザ（２）の視線方向が、前記視野を決定するために外挿される視線ベクトル（Ｖ）として決定される
ことを特徴とする、請求項１から４のいずれか一項に記載の応答能力を決定するための方法。

【請求項6】

前記視線ベクトル（Ｖ）の開始点（Ｃ）として、前記車両ユーザ（２）の両瞳孔（６）の間の中間点が規定される
ことを特徴とする、請求項５に記載の応答能力を決定するための方法。

【請求項7】

規定の関連物体（Ｏ）の形状及び／又はサイズに応じて、前記規定の関連物体の周囲に領域が画定される
ことを特徴とする、請求項１から６のいずれか一項に記載の応答能力を決定するための方法。

【請求項8】

複数の物体（Ｏ）が検知された場合、規定の関連物体（Ｏ）に関する視認性が、前記物体（Ｏ）の位置、サイズ、及び／又は材質特性により評価される
ことを特徴とする、請求項１から７のいずれか一項に記載の応答能力を決定するための方法。

【請求項9】

視線挙動分析により、前記車両ユーザに固有の方法で知覚度及び／又は状況認識が決定される
ことを特徴とする、請求項１から８のいずれか一項に記載の応答能力を決定するための方法。

【請求項10】

前記車両ユーザ（２）の前記応答能力が備わっていないと評価された場合、前記車両ユーザ（２）が規定の時間内に受信確認する必要のある少なくとも１つの通知が前記車両（１）内に出力される
ことを特徴とする、請求項１から９のいずれか一項に記載の応答能力を決定するための方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、運転者観察カメラの撮像画像データにより、車両の自動走行モードにおいて車両ユーザの応答能力を決定するための方法に関する。

【背景技術】

【0002】

独国特許第１０ ２０１５ ００１ ６８６（Ｂ４）号から、自動車の自動走行モードにおいて運転者の応答能力を認識するための方法及び装置が公知である。ここで、応答能力の第１の評価は運転者のカメラ観察により行われ、応答能力の第２の評価は運転者による操作ユニットへの操作の認識により行われる。第１の評価及び／又は第２の評価で応答能力が備わっていると認識された場合、応答能力は備わっていると分類される。運転者のカメラ観察による、応答能力の第１の評価では、所定の時間間隔の最小の一部分の間、運転者の少なくとも片方の目が開いている場合に、備わっているとの分類がなされる。操作ユニットが運転者以外の人員によって又はリズミカルに操作される場合、応答能力は備わっていないと分類される。

【0003】

更に、独国特許第１０ ２０１６ ０１１ ２４６（Ａ１）号には、車両の少なくとも１人の乗員の状態を監視するための方法が記載されている。その方法では、交互にオンとオフとに切り替えられる少なくとも１つの光源を使用して、乗員の頭部に照明が当てられる。乗員の目から反射した光は、少なくとも１つのセンサを使用して検知され、加えて、光源による照明に応じて反射が変化するか否か、かつ乗員の少なくとも片方のまぶたの活動及び／又は頭部の動きが検知されるか否かが確認される。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の目的は、車両の自動走行モードにおいて車両ユーザの応答能力を決定するための方法を提供することである。

【課題を解決するための手段】

【0005】

上記の目的は、本発明により、請求項１に記載の特徴を有する方法を用いて解決される。

【0006】

本発明の有利な実施形態は、従属請求項の主題である。

【0007】

本発明によれば、運転者観察カメラの撮像画像データにより、車両の自動走行モードにおいて車両ユーザの応答能力を決定するための方法では、前記車両側に存在するデジタル地図データにより、及び／又は前記車両側で検知されたセンサデータにより、前記車両ユーザの視野において、現在の車両周辺に少なくとも１つの規定の関連物体が存在するかが決定される。前記現在の車両周辺において前記少なくとも１つの規定の関連物体が検知された場合、検知された前記少なくとも１つの規定の関連物体に前記車両ユーザがどの程度の継続時間及び／又は頻度で視線を向けたかが、前記運転者観察カメラの撮像画像データにより決定され、決定された継続時間が規定の最小継続時間を下回る場合、及び／又は決定された視線変更頻度が規定の最小頻度を下回る場合、前記車両ユーザの前記応答能力が備わっていないと評価される。

【0008】

本方法を適用することにより、車両が運転タスクを完全に実行する自動走行モード中に、車両の車両ユーザの応答能力を決定することができる。ここで、車両ユーザとは、手動走行モードで車両の運転タスクを実行する人であると理解されたい。

【0009】

特に、システムで決定された引き継ぎ要求時に運転タスクに関して車両ユーザが正しく応答できるか、また現在の状況を正しく感知できるかを判断するために、応答能力が決定される。ここでの状況認識には、状況に応じて関連する物体及び／又は車両の外側の領域を見て、それらを知覚できることが求められる。

【0010】

本方法の一実施形態において、物体は、前記車両の手動走行モードにおいて前記車両ユーザの前記視野内に規定の継続時間及び／又は頻度で存在する、すなわち前記車両ユーザが規定の継続時間及び／又は頻度で視線を前記物体に向けた場合、かつ、前記車両ユーザによる車両制御時に考慮される場合に、関連すると決定される。

【0011】

記録された画像データにより、車両ユーザが規定の関連物体を全く見なかった又は比較的短時間しか見なかったことが検知された場合、車両ユーザは規定の関連物体を知覚しておらず、したがって少なくとも応答能力が低いと解釈される。

【0012】

本方法の考えられる一実施形態では、前記車両の前方、側方、及び／又は後方に存在する少なくとも１台の別の車両、道路標識、交通信号機、警告灯、車線区分線、視線誘導標、ガードレール、誘導標識、及び／又は橋脚が、前記車両ユーザの前記応答能力を決定する際に物体として規定され、かつ／又は関連物体として考慮される。

【0013】

そのような物体は、車両の制御、ひいては車両の手動走行モードにおける車両ユーザの運転の仕方に影響を与える可能性があり、かつ／又は影響を与えるはずであるから、関連するものとみなされ、そのように規定される。

【0014】

本発明の一発展形態では、規定の物体のサイズ、視認性、相対位置、及び／又は絶対位置が、前記車両ユーザの前記視野に関連して決定され、かつ／又は考慮される。これにより、車両ユーザがそのように決定された物体を車両から全体的に見える位置にいるかを確認することができる。

【0015】

加えて、本方法の一実施形態では、前記車両ユーザの視線方向が、前記視野を決定するために外挿される視線ベクトルとして決定される。特に、車両の外側の視線ベクトルが外挿され、外挿された視線ベクトルが規定の関連物体に当たるか、ひいては規定の関連領域が車両ユーザの視野内に存在するかが決定される。

【0016】

特に、本方法の考えられる更なる一実施形態では、前記視線ベクトルの開始点として、前記車両ユーザの両瞳孔の間の中間点が規定される。特に、車両ユーザの頭部が前方を向いて両眼が正面を見ている場合に、開始点として両瞳孔の間の中間点が規定される。視線ベクトルの開始点を規定することは、既定の関連物体を領域として特にフロントガラス上に転写し、車両ユーザがこの領域を見ているかをその領域から決定するのに用いられる。

【0017】

更なる一実施形態では、既定の関連物体の形状及び／又はサイズに応じて、前記規定の関連物体の周囲に領域が画定される。特に、物体が比較的複雑な形状及び／又はサイズを有する場合に、規定の関連物体の周囲に領域が画定される。この画定された領域が小さいほど、視線対物体のより正確な割り当てが可能となり、その結果、規定の関連物体が車両ユーザの視野内に存在するかを検出でき、その規定の関連物体がそのようなものであると車両ユーザによって認識されることが可能となる。

【0018】

複数の物体が検知された場合、考えられる一実施形態では、規定の関連物体に関する視認性が、前記物体の位置、サイズ、及び／又は材質特性により評価される。すなわち、規定の関連物体の視認性が確認されることで、規定の関連物体が車両ユーザの視野内にあり、別の物体によって覆われていないことを可能な限り保証することができる。したがって、規定の関連物体が車両ユーザにとって視認可能であるかが確認される。

【0019】

考えられる一発展形態では、視線挙動分析により、前記車両ユーザに固有の方法で知覚度及び／又は状況認識が決定される。この場合、車両ユーザの視線挙動は、通常の視線挙動と比較される。その比較は、特に、手動走行モード中に検出された車両ユーザの視線挙動及び自動走行モード中の視線挙動に基づいているため、車両ユーザが規定の関連物体、例えば道路標識を車両の自動走行モードにおいて知覚したか否かを決定することができる。

【0020】

車両ユーザの視線挙動に基づいて、特に運転タスクの引き継ぎのための応答能力が備わっていないと評価された場合、前記車両ユーザが規定の時間内に受信確認する必要のある少なくとも１つの通知が前記車両内に出力される。

【0021】

ここで、その通知は、車両ユーザの応答能力を回復するために出力され、これにより車両ユーザは、引き継ぎ要求時にその指示に応じることができる。

【0022】

以下、図面を参照して本発明の例示的な実施形態をより詳細に説明する。

【図面の簡単な説明】

【0023】

【図1】車両内の車両ユーザの視線ベクトルを含む３つの概略図である。

【図2】異なる２つの位置でそれぞれの視線ベクトルを有する車両ユーザの概略図である。

【図3】視線ベクトルの開始点がマークされた車両ユーザの概略正面図及び概略側面図である。

【図4】異なる２つの位置にいる車両ユーザ及びフロントガラス上に転写された物体の領域の概略図である。

【図5】車両の自動走行モードにおいて車両ユーザの応答能力を決定するための方法手順の概略図である。

【発明を実施するための形態】

【0024】

互いに対応する部分は、全ての図において同一の符号が付けられている。

【0025】

図１には、２つの車線Ｆ１、Ｆ２を含む車道区画Ｆの異なる３つの図が示されており、それらの図では、車両１が右車線Ｆ１を走行し、手動走行モードにおける車両１の運転者である、図２～図４に示された車両ユーザ２の視線ベクトルＶも併せて示されている。別の車両３は、上図及び中央図では同様に右車線Ｆ１を走行し、下図では左車線Ｆ２を走行している。

【0026】

車両ユーザ２の視線ベクトルＶは、３つの図の全てで同一であり、車両ユーザ２はそれぞれ異なる物体Ｏを観察している。

【0027】

第１の上図では、視線ベクトルＶが、車両１に先行して走行する物体Ｏとしての別の車両３に向けられている。

【0028】

第２の中央図では、車両１が左車線Ｆ２へ車線変更しようとしており、車両１は既に方向転換しているため、視線ベクトルＶは左車線Ｆ２に向けられている。

【0029】

第３の下図では、別の車両３が左車線Ｆ２を走行しているとともに車両１が右車線Ｆ１を走行しており、車両ユーザ２の視線ベクトルＶは正面、すなわち右車線Ｆ１に向けられている。

【0030】

以下、車両１の自動走行モードにおいて車両ユーザ２の応答能力を決定するための方法を説明する。この方法では、車両ユーザ２の視線挙動が検知かつ分析される。

【0031】

車両１には、走行運転中に、その走行運転が自動又は手動で行われるかにかかわらず画像データを連続的に撮像する運転者観察カメラ（詳細は図示せず）が配置されており、運転者観察カメラの撮像範囲は車両ユーザ２に向けられている。

【0032】

運転者観察カメラが記録した画像データにより、車両ユーザ２の視線方向、すなわち視線ベクトルＶが決定される。

【0033】

図１には、３つの図により、車両ユーザ２の視線が向けられている、車両１の外側の物体Ｏ及び／又は領域を認識するのに視線ベクトルＶが不十分であることが具体的に示されている。

【0034】

視線ベクトルＶ及び車両１の幾何学データにより、車両ユーザ２が、例えば、車両１のフロントガラス４を通して車両１の外側を見ているか、すなわち車両ユーザ２の視線がフロントガラス４に向けられているかを決定することができる。その場合、車両ユーザ２の視線が車両１の外側の特定の物体Ｏ及び／又は特定の領域に向けられているかを割り当てることは不可能である。

【0035】

本方法を使用して、車両ユーザ２の決定された視線ベクトルＶと、車両１の外側で検出された物体Ｏ及びその特性（例えばサイズ及び位置など）とに基づき、車両ユーザ２がこの物体Ｏを見ていたかが決定される。

【0036】

車両ユーザ２が物体Ｏ及び／又は領域を見るということは、車両ユーザ２の視線がこの物体Ｏ及び／又はこの領域に向けられており、物体Ｏ及び／又は領域が最小継続時間にわたって車両ユーザ２の視野内に存在することを意味する。

【0037】

以下、車両ユーザ２による物体Ｏの感知に関して本方法を説明するが、領域の感知も本方法により同様に実行される。

【0038】

車両ユーザ２の視線が車両１の外側の物体Ｏにどの程度の長さ向けられていたかの決定により、状況の知覚にほとんど又は全く寄与しない、車両ユーザ２の無意識で比較的短時間の視線が考慮されることを、可能な限り排除することができる。

【0039】

車両１の外側の物体Ｏが車両ユーザ２の視野内に存在することを決定するために、車両１の外側の視線ベクトルＶが外挿される。特に、図２に示すように、外挿された視線ベクトルＶが物体Ｏに当たると、物体Ｏが車両ユーザ２によって感知され、かつ知覚される。

【0040】

特に、図２は、２つの着座位置Ｓ１、Ｓ２にいる車両ユーザ２及び対応する外挿された視線ベクトルＶ、車両１の非常に簡略化されたフロントガラス４及び車両１の外側の２つの物体Ｏを示している。ここで、車両ユーザ２は、フロントガラス４に対してより近い下方の着座位置Ｓ１において、速度制限を示す道路標識５を物体Ｏとして観察し、破線で示す他方のより離れた着座位置Ｓ２において、別の車両３を物体Ｏとして観察する。

【0041】

車両ユーザ２は、それぞれの着座位置において異なる物体Ｏを観察するが、車両ユーザ２の視線は、フロントガラス４に関して唯一の点Ｐに向けられている。

【0042】

図２に示すように、特定の物体Ｏが比較的複雑な形状及び／又はサイズである場合、物体Ｏの周囲に領域を画定してもよい。図２に記載の例示的な本実施形態によれば、物体Ｏとしての道路標識５が仮想矩形Ｒによって囲まれている。これに代えて、物体Ｏを取り囲む画定された領域として異なる形状を設けてもよく、この領域が小さいほど、視線対物体の割り当てがより正確になる。

【0043】

加えて、特に複数の物体Ｏが同一の領域内に存在する場合に、物体Ｏの視認性が確認される。例えば、車両ユーザ２の視界から車両ユーザ２の視野内に２つの物体Ｏが存在する場合、車両ユーザ２の外挿された視線ベクトルＶは、両方の物体Ｏに当たり得る。そのような場合は、より遠い物体Ｏがより近い物体Ｏによって遮蔽されると推定され、車両ユーザ２の視線はより近い物体Ｏに割り当てられる。

【0044】

物体Ｏの視認性及び別の物体Ｏによる物体Ｏの遮蔽の評価には、物体Ｏの位置、サイズ、及び／又は材料特性を用いてもよい。

【0045】

一実施形態では、物体Ｏが車両ユーザ２の視野内に存在するかを決定するために、物体Ｏ又は物体Ｏの領域が、表面Ａ１、Ａ２、特にフロントガラス４上に転写される。その場合、フロントガラス４の表面Ａ１、Ａ２上への物体Ｏの転写は、図４に示すように、例えば、図３に示した視線ベクトルＶの開始点Ｃ及び特に開始点Ｃに対する物体Ｏの相対位置、並びに表面Ａ１、Ａ２の幾何学的データなどの、いくつかのパラメータに依存する。

【0046】

図３は、視線ベクトルＶの開始点Ｃの例示的な確定を示しており、ここでは、頭部８が前方を向いた状態で両眼７が真っ直ぐ正面を見ている場合に、車両ユーザ２の両瞳孔６の間の中間点として開始点Ｃが規定されている。

【0047】

頭部８の位置決めの結果、開始点Ｃの位置が例えば側方に変化する場合、より詳細に図４に示すように、これに対応して表面Ａ１、Ａ２がフロントガラス４上に配置される。この理由から、車両ユーザ２の身長及び着座位置は、フロントガラス４の表面Ａ１、Ａ２上への物体Ｏの転写に間接的な影響を与える。

【0048】

図４は、２つの異なる着座位置Ｓ１、Ｓ２にいる車両ユーザ２を、別の車両３の形態でフロントガラス４の表面Ａ１、Ａ２上に転写された物体Ｏの領域と共に示している。

【0049】

更に、図４には、物体Ｏの２つの表面Ａ１、Ａ２を有するフロントガラス４の正面図が示されている。

【0050】

車両ユーザ２が着座位置Ｓ１にいる場合、物体Ｏは、別の車両３の形態でフロントガラス４の表面Ａ１上に転写されるのに対し、別の着座位置Ｓ２では、物体Ｏは、フロントガラス４の別の表面Ａ２に転写される。すなわち、物体Ｏは、特にそれぞれの着座位置Ｓ１、Ｓ２に関連して、フロントガラス４の複数の表面Ａ１、Ａ２上に転写される。

【0051】

本方法では、知覚度及び／又は知覚品質を決定するために、視線挙動分析が実施される。車両ユーザ２の視線挙動は、特に車両１の手動走行モードにおける自身の通常の視線挙動と比較される。したがって、車両１の自動走行モードにおいて、車両ユーザ２が規定の関連物体Ｏ、例えば特定の道路標識５を知覚しているか、かつ／又は、どの程度の知覚度で知覚しているか、かつ／又はどの程度の知覚品質で知覚しているかを、特に決定することができる。複数の手動運転操作中、規定の関連物体Ｏの種類、例えば道路標識５に関する車両ユーザ２の視線挙動もまた、物体Ｏに関する自身の視線挙動と比較することができる。

【0052】

例えば、規定の関連物体Ｏに対し、視線が全く検出されない、又は比較的短い時間、特に最小継続時間を下回る視線しか検出されない場合、車両ユーザ２が規定の関連物体Ｏを知覚していない、かつ／又は知覚度及び／若しくは知覚品質が比較的低いと推論することができる。この場合、規定の関連物体Ｏ、特に道路標識５が、ダッシュボードの表示領域に表示されてもよい。

【0053】

一方、視線挙動分析により、車両ユーザ２が規定の関連物体Ｏを十分に知覚したと判断された場合、その関連物体Ｏは表示されない。

【0054】

通常の視線挙動が、車両ユーザ２に固有の方法で決定されるだけでなく、場所かつ／又は状況に応じて決定されることもまた考えられる。車両ユーザ２が頻繁に同じ経路を走行する場合は、車両ユーザ２の変動する視線挙動を、それぞれの経路の特定の場所において確認することができる。

【0055】

考えられる一実施形態では、本方法により、特定の運転状態及び／又は車両ユーザ２の状態で視線挙動分析が実施される。例えば、車両ユーザ２に運転タスクを引き継がせる要求がシステムで決定された場合に、車両ユーザ２の知覚度及び／若しくは知覚品質、又は状況認識を評価するために、車両ユーザ２の視線挙動が分析されてもよい。

【0056】

対応する結果は、車両ユーザ２への運転責任の引き渡し時にシステム側で考慮することができる。例えば、車両ユーザ２は、特定の行動の実施、例えば車線変更を比較的突発的に決定する。その場合、特に視線挙動分析により、車両ユーザ２がこの行動に関連する物体Ｏの全てを感知していない、すなわち見ていないことが決定される。例えば、車両ユーザ２が後方から接近する別の車両３を見ておらず、車両ユーザ２がこれに関して知らされ、かつ／又は意図した行動がシステム側で抑制されたりサポートされなかったりする。

【0057】

更なる一実施形態では、複数の車両ユーザ２の視線データが、多数派の視線挙動を決定するために使用される。これにより、いずれの物体Ｏが関連物体Ｏとして規定され得るか、また如何なる知覚度及び／又は知覚品質で大部分の車両ユーザ２がこれらの物体Ｏを観察するのかを決定することができる。例えば、これらの物体Ｏは、別の車両３、道路標識５、交通信号機、警告灯、車線区分線、視線誘導標、ガードレール、誘導標識、橋脚等である。

【0058】

すなわち、車両ユーザ２の視線挙動により、車両ユーザ２が十分な知覚度及び／若しくは十分な知覚品質又は十分な状況認識を有しているかが決定される。

【0059】

上記の場合であれば、車両ユーザ２の応答能力が備わっていると評価される。知覚度の低下及び／若しくは知覚品質の低下又は状況認識の低下が疑われる場合には、車両ユーザ２の応答能力が備わっていないと評価される。

【0060】

特に、車両ユーザ２が、例えば、規定の関連物体Ｏのうちの１つに視線を向けていない、又は視線持続時間に関する最小継続時間が満たされていない場合に、応答能力が備わっていないと評価される。

【0061】

代替的に又は追加的に、視線変更頻度が最小頻度を下回る場合、すなわち決定された視線変更頻度が規定の頻度閾値を下回る場合に、応答能力が備わっていないと評価される。視線変更頻度は、異なる物体Ｏへの視線変更の間の平均継続時間を特定することによって決定される。この継続時間が短いほど、視線変更頻度が高くなる。

【0062】

比較的低い視線変更頻度は、車両ユーザ２の注意散漫を示唆する可能性があり、その注意散漫は、自動走行モードで許可されていない副次的活動に起因する可能性がある。場合によっては、車両ユーザ２が副次的活動に集中しすぎており、車両１の外側の規定の関連物体Ｏにほとんど又は全く視線を向けない可能性があるため、副次的活動は自動走行モードに対して許可されていない。

【0063】

上述のように、規定の関連物体Ｏは、車両ユーザ２が車両１の手動走行モードにおける同様の運転状況で観察する物体Ｏであって、手動走行モードに関する意思決定、すなわち車両制御に関連する物体Ｏである。

【0064】

車両１が現在走行している車道区画Ｆにおける、そのような関連物体Ｏの位置は、車両１側に存在するデジタル地図データにより、及び／又は車両１側で検知されたセンサデータにより決定される。

【0065】

上述のように、車両ユーザ２の応答能力が備わっていないと評価された場合、応答能力を取り戻す又は回復するための措置が、特に車両１側で開始される。

【0066】

開始される措置は、車両１内における車両ユーザ２への通知の出力であり、車両ユーザ２は自身の応答能力を証明するためにその通知に対して規定の時間内に受信確認する必要がある。規定の継続時間以内に、また任意で設けられた１以上のレベルのエスカレート後にも、必要な受信確認が行われない場合には、車両ユーザ２が運転タスクを引き受けるように要求される。車両ユーザ２がこの要求にも規定の継続時間以内に従わなかった場合、車両１は自動走行モードにおいて安全な停止状態へと慎重に移行させられる。

【0067】

撮像画像データにより、運転者観察カメラが車両ユーザ２の睡眠事象を認識する場合もまた、同様の動作が行われる。睡眠事象は、車両ユーザ２が自身の両眼７を数秒間（瞬間的睡眠）以上閉じたときに生じる。

【0068】

車両ユーザ２の視線変更頻度の決定に加えて、運転者観察カメラが記録した画像データもまた、車両ユーザ２が制御を引き受け可能な位置にいるか、すなわち車両ユーザ２が車両１の運転タスクを引き継げる位置にいるかを決定するところまで評価されてもよい。

【0069】

顔認識により、車両ユーザ２の頭部８が、記録された画像データにおいて認識され、頭部８が規定の有効領域内に存在するかが確認される。

【0070】

更に、車両ユーザ２が車両座席にいるように装う不正行為事例を回避するために、記録された画像データに関して、例えば写真や人形などによる偽装が画像処理方法により認識される。これにより、例えば、車両ユーザ２が自身の車両座席を離れて車両１の後部へと這い入ることを可能な限り排除できる。

【0071】

車両ユーザ２が自身の車両座席にいない、又は引き受け可能な位置にいないことが決定された場合、自動走行モードが終了されるか、又は自動走行モードが起動されていない場合には起動が許可されない。

【0072】

更に、独国特許第１０ ２０１５ ００１ ６８６（Ｂ４）号に記載のように、車両ユーザ２の運転動作を検知し、車両ユーザ２の瞬目率及び頭部８の動きを検知して車両ユーザ２の活動を決定し、これに基づき車両ユーザ２の応答能力に関する推論を導き出してもよい。

【0073】

図５には、運転者観察カメラの撮像画像データにより、車両１の自動走行モードにおいて車両ユーザ２の応答能力を決定するための方法手順に関する概要が示されている。

【0074】

第１の方法ステップＶ１では、車両１側に存在する地図データにより、及び／又は車両１側で検知したセンサデータにより、車両１の前方の直近周辺に規定の関連物体Ｏが存在すると決定される。

【0075】

第２の方法ステップＶ２では、運転者観察カメラの画像データにより、車両ユーザ２の視線方向が検知され、第３の方法ステップＶ３では、検知された規定の関連物体Ｏが分類され、第４の方法ステップＶ４では、視線対物体の割り当てが行われる。特に、分類は、関連物体Ｏが道路標識５、特に標識板、すなわち、通常の標識板、速度表示を有する道路標識５、若しくはカーブにおける速度表示を有する道路標識５、又は先行車であるかが決定されるまで実行される。先行車の場合には、別の車両３が車両１の車線Ｆ１を走行しているかに応じて区別がなされる。

【0076】

車両ユーザ２の視線方向により、規定の関連物体Ｏが車両ユーザ２の視野内に存在していると決定できる場合、第５の方法ステップＶ５では、車両ユーザ２の視線挙動により、車両ユーザ２が規定の関連物体Ｏに関する特性を感知できるかが決定される。

【0077】

車両ユーザ２の通常の視線挙動は、車両１の記憶装置に記憶されており、第６の方法ステップＶ６において呼び出され、第７の方法ステップＶ７では、車両ユーザ２の通常の視線挙動が、分類された関連物体Ｏに関して決定される。

【0078】

第８の方法ステップＶ８では、自動走行モードにおける車両ユーザ２の現在の視線挙動が、特に車両１の手動走行モードにおける通常の視線挙動と比較される。

【0079】

次いで、第９の方法ステップＶ９では、知覚度及び／又は知覚品質が評価され、その知覚度及び／又は知覚品質は、第１０の方法ステップＶ１０において目標知覚度又は目標知覚品質と比較される。

【0080】

第１１の方法ステップＶ１１では、規定の関連物体Ｏに関する知覚が確認され、確認が達成されない場合、車両ユーザ２の応答能力が備わっていないと評価される。

【図1】

【図2】

【図3】

【図4】

【図5】