特許 6768390 車両の乗員の視線方向を推定する方法および装置、ならびに車両の乗員に特有の頭部動作増強パラメータを決定する方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6768390

(24)【登録日】2020年9月25日

(45)【発行日】2020年10月14日

(54)【発明の名称】車両の乗員の視線方向を推定する方法および装置、ならびに車両の乗員に特有の頭部動作増強パラメータを決定する方法および装置

(51)【国際特許分類】

   G06T 7/60 20170101AFI20201005BHJP

【ＦＩ】

   G06T7/60

【請求項の数】12

【外国語出願】

【全頁数】15

(21)【出願番号】特願2016-145108(P2016-145108)

(22)【出願日】2016年7月25日

(65)【公開番号】特開2017-27604(P2017-27604A)

(43)【公開日】2017年2月2日

【審査請求日】2019年7月11日

(31)【優先権主張番号】10 2015 214 116.0

(32)【優先日】2015年7月27日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】591245473

【氏名又は名称】ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

(74)【代理人】

【識別番号】100140109

【弁理士】

【氏名又は名称】小野 新次郎

(74)【代理人】

【識別番号】100075270

【弁理士】

【氏名又は名称】小林 泰

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100101373

【弁理士】

【氏名又は名称】竹内 茂雄

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(72)【発明者】

【氏名】ハンス−ヨアヒム・ビーク

【審査官】 粕谷 満成

(56)【参考文献】

【文献】 特開２００８−１４６３５６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／６０

(57)【特許請求の範囲】

【請求項1】

車両（１００）の乗員（１０２）の視線方向（１３０）を推定する方法（５００）において、
車両（１００）の乗員（１０２）に特有の頭部動作増強パラメータ（２０６，γ）を決定するステップ（３００）であって、
目の偏心度が、目（１１６）の休止位置から目（１１６）の最新の動きを終了する目（１１６）の固定位置が達成されるまでの動きにおける乗員（１０２）の目（１１６）の向き（７０２）の角度差（Ａ_Ｅ）を表し、頭部の偏心度が、頭部（１１４）の休止位置（６０２）から頭部（１１４）の最新の動作を終了する頭部（１１４）の頭部固定位置（２０８）が達成されるまでの動作における乗員（１０２）の頭部（１１４）の向き（７００）の角度差（Ａ_Ｈ）を表す場合に、少なくとも１回対象を注視した場合の乗員（１０２）の目の偏心度および頭部の偏心度についてのセンサデータ（１２６）を使用して、対象を注視した場合に乗員（１０２）に特有の頭部動作パターン（２０４）を形成する形成ステップ（３０２）と、
特有の頭部動作パターン（２０４）を使用して、乗員（１０２）に特有の頭部動作増強パラメータ（２０６，γ）を決定するステップ（３０４）と、
を含むステップ（５００）と、
車両（１００）の乗員（１０２）の視線方向（１３０）を推定するステップ（４００）であって、
最新の頭部動作の角速度に関するセンサデータ（１２０）を使用して、乗員（１０２）の頭部（１１４）の最新の頭部動作を終了する頭部固定位置（２０８）を検出するステップ（４０４）と、
乗員（１０２）の視線方向（１３０）を推定するために、頭部固定位置（２０８）と、対象を注視した場合に乗員に特有の頭部動作パターン（２０４）の関数である頭部動作増強パラメータ（２０６，γ）とを組み合わせる組合せステップ（４０８）と、
を含むステップ（４００）と、
を含む方法。

【請求項2】

請求項１に記載の方法（５００）において、
前記検出するステップ（４０４）における、前記最新の頭部動作の角速度に関するセンサデータ（１２０）が、前記頭部（１１４）の休止位置（６０２）と頭部（１１４）の頭部固定位置（２０８）との間に形成される角度における角速度を表す、
方法（５００）。

【請求項3】

請求項１または２に記載の方法（５００）において、前記推定するステップ（４００）が更に、
最新の頭部動作の角度の関数として、複数の頭部動作増強パラメータから頭部動作増強パラメータ（２０６，γ）を選択する選択ステップ（４０６）を含む方法（５００）。

【請求項4】

請求項１〜３までのいずれか一項に記載の方法（５００）において、前記推定するステップ（４００）が更に、
車両（１００）の光学センサ（１１０）のインターフェイスを介して乗員（１０２）の最新の頭部動作の角速度に関する前記センサデータ（１２０）を読み取る読取ステップ（４０２）を、
含む方法（５００）。

【請求項5】

請求項１〜４のいずれか一項に記載の方法（５００）において、
前記乗員（１０２）に特有の頭部動作パターン（２０４）を形成する形成ステップ（３０２）で、複数回対象を注視した場合の前記乗員（１０２）の目の偏心度についての多数のセンサデータ（１２６）および頭部の偏心度についての多数のセンサデータ（１２８）の平均値を基にする、
方法（５００）。

【請求項6】

請求項１〜５のいずれか一項に記載の方法（５００）において、
前記乗員（１０２）に特有の頭部動作パターン（２０４）を形成する形成ステップ（３０２）を、所定の較正時間に、および／または車両（１００）内の光学検出範囲（１２２）で行う、
方法（５００）。

【請求項7】

請求項１〜６のいずれか一項に記載の方法（５００）において、
前記乗員（１０２）に特有の頭部動作増強パラメータ（２０６，γ）を決定する決定ステップ（３０４）で、頭部の偏心度に関するセンサデータ（１２８）に対応する前記頭部動作パターン（２０４）の頭部偏心値と、目の偏心度に関するセンサデータ（１２６）に対応する頭部動作パターン（２０４）の目の偏心値との割算を行い、頭部の偏心値が割算の被除数を形成し、目の偏心値が割算の除数を形成する、
方法（５００）。

【請求項8】

請求項１〜７のいずれか一項に記載の方法（５００）において、
前記乗員（１０２）に特有の頭部動作増強パラメータ（２０６，γ）を決定する決定ステップ（３０４）で、あらかじめ設定された値が特有の頭部動作増強パラメータ（２０６，γ）として初期設定され、所定の時間間隔をおいて乗員（１０２）の目の偏心度の最新のセンサデータ（１２６）の値および頭部の偏心度の最新のセンサデータ（１２８）の値を更新および／または変更する、
方法（５００）。

【請求項9】

請求項１〜８のいずれか一項に記載の方法（５００）において、前記車両（１００）の乗員（１０２）に特有の頭部動作増強パラメータ（２０６，γ）を決定するステップ（３００）が更に、
対象を注視した場合の前記乗員（１０２）の目（１１６）の動きの角速度に関するセンサデータ（１１８）を使用して目の固定位置を検出するステップを、
含む方法（４００）。

【請求項10】

請求項１〜９のいずれか一項に記載の方法（５００）を実施するように構成された装置（１１２）。

【請求項11】

請求項１〜９のいずれか一項に記載の方法（５００）を実施するように構成されたコンピュータプログラム。

【請求項12】

請求項１１に記載のコンピュータプログラムが記憶されている機械読取可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、独立請求項の前提部分に記載の方法または装置に関する。本発明は、さらにコンピュータプログラムに関する。

【背景技術】

【0002】

観察者である人の視線方向の推定は種々異なる技術システムで使用される。例えば、論文「ドライバの注意力のビデオに基づいた監視および走行支援システムの調整」（イルメナウ工科大学、２０１０年）において、最新の頭部の向きに依存して車両のドライバの視線方向を推定する方法を的確に記述している。この推定を利用して、ドライバがまだ道路に視線を向けているかどうか、交通状況に注意深く従っているかどうかを検出し、必要に応じて、走行支援システム、例えば警告システムの動作を調整する。

【0003】

観察者の目の動きを測定することによって、観察者の視線方向をより正確に推定することができる。目の動きは、ビデオに基づいたヘッドトラッキングシステムおよび／またはアイトラッキングシステム、すなわち、観察者の頭部および／または目の動きの追跡システムを使用して測定することができる。これらのシステムは、一般にまず一義的な顔の特徴に基づいて観察者の頭部動作を推定する。第２ステップでは、観察者の目および目の特徴、例えば瞳孔、強膜または角膜反射が検出される。これらの特徴を使用して、目の回転を推定し、観察者の視線方向をより正確に推定する。

【0004】

例えば、国際公開第０１／５２７２２号パンフレットは、使用者の視線方向を検出するための装置を記載しており、この装置は、使用者の目に向けて光線を生成するように配置された光源と、目において反射された光線を検出するための検出器とを備える。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】国際公開第０１／５２７２２号パンフレット

【非特許文献】

【0006】

【非特許文献1】論文「ドライバの注意力のビデオに基づいた監視および走行支援システムの調整」（イルメナウ工科大学、２０１０年）（Trefflich, Benjamin. Videogestutzte Uberwachung der Fahreraufmerksamkeit und Adaption von Fahrerassistenzsystemen. Diss. Ilmenau, Techn. Univ., Diss., 2010, 2010.）

【発明の概要】

【0007】

このような背景を考慮して、ここで説明する方式では、車両の乗員の視線方向を推定する方法およびこの方法を使用した装置、車両の乗員に特有の頭部動作増強パラメータを決定する方法およびこの方法を使用した装置、および独立請求項に記載の適切なコンピュータプログラムを説明する。従属請求項に記載の措置により、独立請求項に記載の装置の有利な構成および改良が可能である。

【0008】

ここで説明する構成では、観察者の頭部動作と目の動きとの関係に関する情報に基づいて、観察者の視線方向を推定することが可能である。

【0009】

この新しい構成は、人が向きを変える動作は頭部動きおよび目の動きを含むという事実を利用しており、対象を注視する場合のこれら２つの動きの既知の関係、すなわち、一方では経時変化、他方では２つの動きの相違を利用する。

【0010】

ここで提案する方式によって、目の回転に関する情報が提供されておらず、視線方向の推定のために頭部の向きに関する情報しか提供されていない場合に、観察者の視線方向をより正確に推定することが可能になる。このようにしてセンサデータの隙間を埋めることができ、ヘッドトラッキングシステムまたはアイトラッキングシステムの信頼性が高められる。

【0011】

ここで説明した構成により可能となる視線方向の推定では、検出範囲が制限されていることによってセンサデータが不十分な周辺環境においても、観察者の視線方向変化の推定の確実性が改善される。

【0012】

車両の乗員の視線方向を推定する方法を説明する。この方法は、
最新の頭部動作の角速度に関するセンサデータを使用して、乗員の最新の頭部動作が終了する頭部固定位置を検出するステップと；
乗員の視線方向を推定するために、頭部固定位置と、対象を注視する場合のその乗員に特有の頭部動作パターンの関数である頭部動作増強パラメータとを組み合わせる組合せステップと
を含む。

【0013】

この方法は、道路を走行する車両で実施することができる。乗員は、車両のドライバであってもよい。推定したい乗員の視線方向は、少なくとも２つの位置データを使用して、例えば３次元空間におけるベクトルを用いて示すことができ、最新の頭部動作の終了時に、乗員が乗員を包囲する環境のどの範囲を注視したかについての情報を提供することができる。

【0014】

最新の頭部動作は、ヨー軸または横軸（ピッチ軸）を中心とした頭部の回転動作であってもよい。この場合、回転もしくは旋回動作は、動作の大きさに応じた角度をなす。頭部固定位置は、乗員が頭部動作の終了後に頭部を再び安定的に保持した時点における頭部の位置または向きを表してもよい。車両の光学センサによって検出され、電気信号の形式で供給された画像情報を、頭部動作の角速度に関するセンサデータとして用いてもよい。

【0015】

頭部動作パターンは、対象を注視するために目の回転および補足的な頭部回転を行う場合の人の癖または傾向を表してもよい。頭部動作パターンは数式によって記述することもできる。頭部動作パターンを数学的に決定する場合に、注視する際に特有の目の回転および補足的な特有の頭部回転との比率を生成するために、頭部動作パターンの関数として頭部動作増強パラメータを形成してもよい。この場合、頭部動作増強パラメータとして、調整可能な値が設けられる。この値は、目の回転と頭部の回転の比率と異なる他の大きさの関数であってもよい。

【0016】

この方法は、例えば制御装置において、ソフトウェアまたはハードウェアで実行してもよいし、ソフトウェアとハードウェアとからなる混合形式で実行してもよい。

【0017】

一実施形態では、検出ステップで、センサデータが、頭部休止位置と頭部固定位置との間に形成される角度における角速度を表してもよい。この場合、検出された頭部動作の角速度を表すセンサデータから頭部固定位置が検出される。ここで説明した方式のこのような実施形態では、現在の車両において既に設けられていることの多いセンサ装置によって簡単に検出される動作を、視線方向を推定するという形でさらに使用できるという利点をもたらす。すなわち、休止位置と頭部固定位置との間に形成される角度におけるこの動きは、既に供給されているセンサ信号値から決定することもでき、したがって、ここで提案した方式を実施するためにはわずかな数値的または回路技術的な手間しか必要としない。

【0018】

別の実施形態によれば、この方法は、最新の頭部動作の角度の関数として、複数の頭部動作増強パラメータの内から頭部動作増強パラメータを選択する選択ステップを含む。このようにして、保存された値を使用してコンピュータ容量を節約することができる。

【0019】

さらにこの方法は、車両の光学センサのインターフェイスを介して乗員の最新の頭部動作の角速度についてのセンサデータを読み取る読取ステップを含む。このようにして、常に更新しながら最新のセンサデータを供給することができる。

【0020】

さらに車両の乗員に特有の頭部動作増強パラメータを決定する方法を説明する。この方法は、
目の偏心度が、休止位置からの目の最新の動きが終了する固定位置までの動きにおける乗員の目の向きの角度差を表し、頭部の偏心度は、休止位置からの最新の頭部動作が終了する固定位置までの動作における乗員の頭部の向きの角度差を表す場合に、少なくとも１回対象を注視した場合の乗員の目の偏心度および頭部の偏心度についてのセンサデータを使用して、対象を注視した場合の乗員に特有の頭部動作パターンを形成する形成ステップと；
特有の頭部動作パターンを使用して、乗員に特有の頭部動作増強パラメータを決定するステップと
を含む。

【0021】

角度差は角度として理解することができる。目の偏心度は、ここでは休止位置における目の視線方向と、対象を注視した後、すなわち、対象を注視するか、または対象を追跡するために目を動かした後の目の視線方向との間の角度であってもよい。目の固定位置は、目が対象を注視した場合の目の位置もしくは視線方向として理解することもできる。頭部の偏心度は、対象を注視するために頭部が回転される角度として理解することができる。目の偏心度と頭部の偏心度は、大きさが異なっていてもよい。なぜなら、例えば対象を注視するためにはまず目が対象に向けて側方に回転され、頭部は、追従する緩慢な動きによって同様に対象に向けて回転され、この場合に頭部は目と同じくらい遠くまで回転されなくてもよいからである。

【0022】

この方法は、例えば制御装置において、ソフトウェアまたはハードウェアで実行してもよいし、ソフトウェアとハードウェアとからなる混合形式で実行してもよい。

【0023】

方法の一実施形態によれば、乗員に特有の頭部動作パターンを形成する形成ステップでは、複数回対象を注視した場合の乗員の目の偏心度の多数のセンサデータおよび頭部の偏心度の多数のデータの平均値を基にしてもよい。この実施形態によって、測定エラーを容易に補正することができる。

【0024】

さらに、乗員に特有の頭部動作パターンを形成する形成ステップは、所定の較正時間に、および／または車両内の光学検出範囲で行うことができる。このようにして、さらに乗員に特有の頭部動作パターンを容易に形成することができる。

【0025】

乗員に特有の頭部動作増強パラメータを決定するステップでは、頭部の偏心度に関するセンサデータに対応する頭部動作パターンの頭部偏心値と、目の偏心度に関するセンサデータに対応する頭部動作パターンの目の偏心値との割算が行われる。この場合、頭部偏心値は割算の被除数を形成し、目の偏心値は割算の除数を形成してもよい。ここで説明した方式のこのような実施形態は、頭部動作増強パラメータの導出を数値的または回路技術的に極めて簡単に実現することができ、したがって、ここで提案した方式を安価に実施することもできるという利点を提供する。

【0026】

乗員に特有の頭部動作増強パラメータを決定するステップで、あらかじめ設定された値が特有の頭部動作増強パラメータとして初期設定され、乗員の目の偏心度の最新のセンサデータ値および頭部の偏心度の最新のセンサデータ値が所定の時間間隔をおいて更新および／または変更されることも好ましい。したがって、頭部動作増強パラメータを提供する際の遅延時間は特に短い。

【0027】

この方法は、別の実施形態によれば、対象を注視した場合の乗員の目の動きの角速度に関するセンサデータを使用して目の固定位置を検出するステップを含んでいてもよい。好ましくは、頭部動作増強パラメータを特に正確に決定することができる。

【0028】

さらに、車両の乗員の視線方向を推定する方法を説明する。この方法は、上記方法の実施形態のステップを実施する。

【0029】

この方法も、例えば制御装置において、ソフトウェアまたはハードウェアで実行してもよいし、ソフトウェアとハードウェアとからなる混合形式で実行してもよい。

【0030】

ここで説明した方式により、ここで説明した方法の他の実施形態のステップを、さらに適宜な装置において実施、制御もしくは変更するように構成された装置も得られる。装置として構成された本発明の実施形態によって、本発明の基礎をなす課題を迅速かつ効率的に解決することもできる。

【0031】

この場合、装置は、センサ信号を処理し、センサ信号の関数として制御信号および／またはデータ信号を出力する電気機器として理解することもできる。装置は、ハードウェアおよび／またはソフトウェアによって形成することもできるインターフェイスを備えていてもよい。ハードウェアとして構成されている場合、インターフェイスは、例えば、装置の種々異なる機能を含む、いわゆる「システムＡＳＩＣ」の一部であってもよい。しかしながら、インターフェイスは、固有の集積回路であるか、または少なくとも部分的に個別の構成部材からなっていることも可能である。ソフトウェアとして構成されている場合には、インターフェイスは、例えば、他のソフトウェアモジュールと共にマイクロコントローラに設けられているソフトウェアモジュールであってもよい。

【0032】

コンピュータプログラム製品、またはプログラムコードを備えるコンピュータプログラムも有利であり、プログラムコードは、機械読取可能な担体またはメモリ媒体、例えば半導体メモリ、ハードディスクメモリ、または光学メモリなどに保存されていてもよく、特にプログラム製品またはプログラムがコンピュータまたは装置で実施される場合に上記いずれかの実施形態にしたがって方法ステップを実行、変更および／または制御するために使用される。

【図面の簡単な説明】

【0033】

【図1】一実施例にしたがって車両の乗員の視線方向を推定するための装置を備える車両の原理図である。

【図2】一実施例にしたがって車両の乗員の視線方向を推定するための装置を示すブロック線図を示す。

【図3】一実施例にしたがって車両の乗員に特有の頭部動作増強パラメータを決定する方法を示すフロー図である。

【図4】一実施例にしたがって車両の乗員の視線方向を推定する方法を示すフロー図である。

【図5】一実施例にしたがって車両の乗員の視線方向を推定する方法を示すフロー図である。

【図6】一実施例にしたがって特有の頭部動作パターンの関数として頭部動作を示す概略図である。

【図7】一実施例にしたがって特有の頭部動作パターンの関数として頭部動作を示す概略図である。

【図8】一実施例にしたがって特有の頭部動作パターンの関数として頭部動作を示す概略図である。

【発明を実施するための形態】

【0034】

以下に説明する本発明の好ましい実施例を様々な図面に示し、同様に作用する部材には、同じ符号または同様の符号を使用し、これらの部材については繰り返し説明しない。

【0035】

図１は、車両１００の原理図を示す。車両１００は、乗用車またはトラックなどの道路を走行する車両である。さらに車両１００の乗員１０２、ここではドライバが示されている。

【0036】

車両１００は、乗員１０２の頭部および目の動きを追跡またはトラッキングするためのビデオに基づいた動作追跡システム１０４を備える。以下では、動作追跡システム１０４をヘッドトラッキングシステムまたはアイトラッキングシステム１０４とも呼ぶ。ヘッドトラッキングシステムまたはアイトラッキングシステム１０４の課題は、特に乗員１０２が車両１００のドライバである場合に、乗員１０２が交通状況に視線を向けたか否かを確認することである。したがって、以下では乗員１０２を観察者１０２と呼ぶこともある。ヘッドトラッキングシステムまたはアイトラッキングシステム１０４の適宜なデータを使用して、必要に応じて車両１００のドライバアシストシステムまたは警告システムを起動することもできる。

【0037】

一般に、最新の頭部または目の位置および向きを決定するヘッドトラッキングシステムおよびアイトラッキングシステムの能力は、システムおよびシステムの検出範囲の一般的な信頼性に依存している。ヘッドトラッキングは、一般にアイトラッキングよりも信頼性がある。なぜなら、追跡可能な表情の数がより多く、表情はより大きく、明るい太陽光などの外部の妨害作用を受けにくいからである。例えば、アイトラッキングシステムは、太陽などの明るい外部光源によって妨害されやすい角膜の小さい光沢表面の測定に基づいて作動することが多い。このような光沢表面は、角膜反射またはプルキニエ像の概念で知られている。

【0038】

ヘッドトラッキングは、一般にアイトラッキングよりも大きい検出範囲を用いて作動する。頭側部、例えば耳の一部などの可視的特徴に基づいて、頭部の向きを決定することもできる。これは、広範囲の頭部回転が行われる状況、例えば車両内で肩越しに見る場合に好都合である。この場合、頭部は一般に９０度まで回転される。このような状況では、システムはおそらくまだ頭部を追跡もしくはトラッキングできるが、しかしながら、もはや目をトラッキングするために目の特徴を検出することはできない。

【0039】

要約すれば、目の向きに基づいて観察者の視線方向を推定する方が、頭部の向きに基づいて推定するよりも正確であるが、しかしながら、データが得られる確実性が低いという欠点を有するといえる。

【0040】

図１に示した例示的なヘッド・アイトラッキングシステム１０４は、少なくとも第１光学センサ１０８および第２光学センサ１１０を備える車両カメラ装置１０６もしくは車両カメラシステム１０６と、一実施例にしたがって乗員１０２の視線方向を推定するための装置１１２とを含む。

【0041】

車両カメラ装置１０６は、車両内部空間に配置されている。第１光学センサ１０８および第２光学センサ１１０は乗員１０２の頭部１１４に向けられている。この場合、第１光学センサ１０８は、乗員１０２の目１１６の動き、特に回転運動を検出するように構成されている。第２光学センサ１１０は、乗員１０２の頭部１１４の動き、特に回転運動を検出するように構成されている。この場合、第１光学センサ１０８および第２光学センサ１１０は、組み込まれたセンサユニット、例えばビデオカメラなどの一部であり、それぞれのモジュールは、第１センサ信号の出力時に目の動きを検出する場合には第１光学センサ１０８として、第２センサ信号の出力時に頭部の動きを検出する場合には第２光学センサ１１０として理解することができる。したがって、一般に両方の光学センサ１０８および１１０は、頭部姿勢および目の向きを計算することができるビデオカメラなどの組み込まれたセンサである。計算能力の違いは、上述のように、関連する特徴の見え方が異なることによって生じる（例えば、頭部姿勢を推定するための鼻孔と目の向きを推定するための角膜反射）。

【0042】

装置１１２は、乗員１０２の最新の目の動きの角速度に関するセンサデータ１１８を使用して、最新の目の動きが終了する目１１６の固定位置を決定し、乗員１０２の最新の頭部動作の角速度に関するセンサデータ１２０を使用して、最新の頭部動きが終了する頭部１１４の固定位置を決定するように構成されている。

【0043】

一実施例によれば、センサデータ１１８は、最新の目の動き開始前の目１１６の休止位置と、最新の目の動きの終了時の目１１６の固定位置との間に形成される角度における角速度を表す。同様に、センサデータ１２０は、最新の頭部１１４の動き開始前の休止位置と、最新の頭部動作の終了時の頭部１１４の固定位置との間に形成される角度における角速度を表す。

【0044】

目の動きを検出するための第１光学センサ１０８の検出範囲１２２は、頭部の動きを検出するための第２光学センサの検出範囲１２４よりも小さい。観察者１０２が頭部１１４を大きく左方向または右方向に回転させた場合、頭部１１４は第２光学センサ１１０の検出範囲１２４の内部に留まるが、目１１６は第１光学センサ１０８の検出範囲１２２の外側へ移動する。したがって、このように大きい頭部回転の終了時にはもはや目の固定位置を確認することはできず、乗員１０２の視線方向を決定するために目の固定位置を使用することはできない。

【0045】

さらに装置１１２は、対象を注視した場合の乗員１０２の目１１６の偏心度についてのセンサデータ１２６および乗員１０２の頭部１１４の偏心度についてのセンサデータ１２８を使用して、乗員１０２に特有の頭部動作パターンを形成し、この頭部動作パターンに基づいて、乗員１０２に特有の頭部動作増強パラメータを決定するように構成されている。

【0046】

この場合、目の偏心度は、対象を注視し、目１１６が固定位置に到達した場合の乗員１０２の目１１６の向きと目１１６の休止位置との角度差を表す。頭部の偏心度は、対象が注視され、頭部１１４の固定位置に到達した場合の乗員１０２の頭部１１４の向きと頭部１１４の休止位置との角度差を表す。

【0047】

装置１１２は、乗員１０２の目１１６の最新の固定位置についてのセンサデータが供給されていない場合に、頭部固定位置および頭部動作増強パラメータを使用して乗員１０２の視線方向１３０を推定するように構成されている。

【0048】

実施例にしたがって、装置１１２は乗員１０２に特有の頭部動作増強パラメータの代わりに、対象を注視した場合の目および頭部の動きの経験的データに基づいて生成された一般的な頭部動作増強パラメータを使用することもできる。

【0049】

図１に示す構成では、ヘッドおよびアイトラッキングシステム１０４はビデオに基づいており、正面から観察者１０２に向けられた単一の車両カメラ装置１０６を備える。しかしながら、ここで説明した装置１１２は、他の装置またはビデオに基づいていないヘッドトラッキングシステムおよび／またはアイトラッキングシステムと組み合わせて使用することもできる。

【0050】

ヘッドおよびアイトラッキングシステム１０４は、一定の時間間隔をおいて、例えば毎秒６０回の走査を行い、最新の視線方向角度の測定値を供給する。ヘッドおよびアイトラッキングシステム１０４は、特定の走査率に束縛されない。

【0051】

図２は、図１に示した乗員の視線方向を推定するための装置１１２の実施例のブロック線図を示す。装置１１２は、車両の乗員に特有の頭部動作増強パラメータを決定するための装置２００および乗員の視線方向を推定するための装置２０２を含む。

【0052】

装置２００は、適切なインターフェイスを介して、対象を注視した場合の乗員の目の偏心度のセンサデータ１２６および頭部の偏心度のセンサデータ１２８を読み取り、センサデータ１２６，１２８を使用して、乗員に特有の頭部動作パターン２０４を形成するように構成されている。さらに装置２００は、特有の頭部動作パターン２０４を使用して、乗員に特有の頭部動作増強パラメータ２０６を決定し、装置２０２に供給するように構成されている。

【0053】

装置２０２は、適切なインターフェイスを介して、乗員の最新の頭部動作の角速度に関するセンサデータ１２０を読み取り、センサデータ１２０を使用して、最新の頭部動作が終了する乗員の頭部の頭部固定位置２０８を決定するように構成されている。さらに装置２０２は、頭部動作増強パラメータ２０６および頭部固定位置２０８を使用して、乗員の視線方向１３０を推定するように構成されている。

【0054】

一実施例によれば、装置１１２は、頭部動作について供給された角度情報を分析するように構成されており、例えば３つのモジュールを含む。

【0055】

第１モジュールは、頭部動作の動特性を分析し、いつ頭部が比較的安定した向き、すなわち、頭部固定位置２０８に到達したか、もしくは頭部の固定が行われたかを決定する。人の方位もしくは向きを変える動作は、一般に急激な目の動き「サッカード」を含み、このような目の動きには、頭部のゆっくりとした補正動作が続く。この下位システムは、供給された頭部の角度情報から速度を計算し、いつ補正動作が終了したかを決定する。

【0056】

次に第２モジュールは視線方向１３０を決定する。目の情報が提供されている場合、すなわち、乗員の目が、割り当てられたセンサの検出範囲内に位置し、外部の妨害作用が生じていない場合には、最新の視線情報が目の情報から直接に推定される。目の情報が提供されていない場合には、視線方向１３０は頭部の情報のみから推定される。この場合、システムは最新の安定した頭部の向き２０８に基づいて視線方向１３０を推定する。このモジュールは、視線方向（Ａ）１３０を次のように：
Ａ＝γＡ_Ｈ
計算する。

【0057】

この場合、Ａ_Ｈは、頭部の向き２０８の偏心度のセンサデータ１２８、すなわち、０度の休止位置からの角度差を表す。γは、観察者に特有の増強パラメータ２０６を表す。この個別の増強パラメータ２０６は、所定の偏心度をもって目標対象を注視する場合に人によって頭部の回転の仕方が異なるという事情による。

【0058】

代替的な構成では、様々な個人に関して有効な一般的な増強率調整について、例えば、回転が１５度未満の動きの場合には増強率を小さくし、動きがこれよりも広範囲の場合には増強率を大きくするといった演繹的な知識をもたらすことができる。段階的な増強関数にこの知識を取り入れてもよい。

【0059】

第３モジュールは、個人の増強パラメータγ２０６の計算を行う。この増強パラメータ２０６は、目の情報および頭部の情報が提供されている場合、すなわち、例えば目が、割り当てられたセンサの検出範囲内に位置し、外部の妨害作用が生じてない場合に行われる視線方向の変更に基づいて、直接に推定される。この場合には、対象を注視した場合に目および頭部の偏心度を比較するためにデータを収集することができる。増強パラメータ２０６は、次の式：

【数1】

によって推定される。

【0060】

この場合、γは複数の注視ｉの平均的な増強率として推定される。個人の注視の増強率は、注視した場合の頭部Ａ_Ｈおよび目Ａ_Ｅの偏心度の係数である。これについては図７も参照されたい。注視は目の動きを含み、目の動きには、これに伴う頭部動作および頭部固定が続く。目の固定は、異なる方法によって決定することができ、例えば、目が比較的安定している場合には、上述のように頭部の固定と同様に測定することによって決定することもできる。

【0061】

一実施例によれば、増強パラメータ２０６の初期推定は、所定の較正段階における固定値から生成することができ、較正段階には、観察者は頭部および目の検出範囲内に留まるよう指示される。

【0062】

代替的には、増強パラメータ２０６はあらかじめ設定された値によって開始され、この値はトラッキング時間中に連続的に更新され、両方のセンサ、すなわち、頭部の検出センサおよび目の検出センサによって、固定値データが提供される場合にはいつも観察者それぞれの頭部の回転の仕方に合わせて調整される。別の言い方をすれば、この場合、増強パラメータ２０６は、頭部および目の固定値の移動するウィンドウに基づいて計算される。

【0063】

図３は、車両の乗員に特有の頭部動作増強パラメータを決定する方法３００の一実施例を示すフロー図である。方法３００は、図２に示した車両の乗員に特有の頭部動作増強パラメータを決定する装置によって実施することができる。

【0064】

生成ステップ３０２では、物体を注視した場合に乗員に特有の頭部動作パラメータが生成される。このために、乗員が対象を注視した場合の乗員の目の偏心度および頭部の偏心度についてのセンサデータが使用される。決定ステップ３０４では、特有の頭部動作パターンを使用して、乗員に特有の頭部動作増強パラメータが決定される。

【0065】

図４は、車両の乗員の視線方向を推定する方法４００の一実施例のフロー図を示す。方法４００は、図２に示した乗員の視線方向を推定する装置によって実施することができる。

【0066】

読取ステップ４０２では、車両の光学センサのインターフェイスを介して、乗員の最新の頭部動作の角速度についてのセンサデータが読み取られる。検出ステップ４０４では、角速度に関するセンサデータを使用して、最新の頭部動作が終了する頭部固定位置が検出される。

【0067】

選択ステップ４０６では、複数の頭部動作増強パラメータから１つの頭部動作増強パラメータが頭部動作の角度の関数として選択され、この頭部動作増強パラメータは、対象を注視した場合に特有の人の頭部動作パターンの関数である。組合せステップ４０８では、乗員の視線方向を推定するために頭部固定位置および頭部動作増強パラメータが組み合わされる。

【0068】

図５は、車両の乗員の視線方向を推定する方法５００の一実施例のフロー図を示す。方法５００は、図１および図２に示した視線方向を推定するための装置によって実施することができる。方法５００は、第１プロセス部分５０２で、図３に示した車両の乗員に特有の頭部動作増強パラメータを決定するための方法の一実施例のステップを実施し、第２プロセス部分５０４で、図４に示した車両の乗員の視線方向を推定する方法の一実施例のステップを実施する。

【0069】

ここで提案した頭部および目の座標に基づいて視線方向を推定する構成をさらに視覚化するために、図６から図８は、対象を注視した場合の例示的な頭部および目の偏心度を伴う頭部回転を概略的に示す。

【0070】

それぞれ、観察者１０２の頭部１１４が平面図で示されている。頭部１１４の回転軸線６００を起点とする円形部分は、観察者１０２の目の動きを検出するために頭部１１４に向けられた第１光学センサ（図６から図８に示していない）の例示的な検出範囲１２２を表している。回転軸線６００を起点とする別の円形部分は、観察者１０２の頭部動作を検出するために頭部１１４に向けられた第２光学センサ（同様に図６から図８に示していない）の例示的な検出範囲１２４を表している。

【0071】

図６は、実線によって図面に示した０度の休止位置６０２で観察者１０２の頭部１１４を示している。観察者１０２は、検出範囲１２２，１２４のちょうど中央で頭部１１４を真っ直ぐに保持している。頭部および目の動きもしくは向きは、割り当てられたセンサによって検出され、頭部の向きは頭部の検出範囲１２４内で検出され、目の向きは目の検出範囲１２２内でのみ検出される。

【0072】

図７は、物体を注視するために右方向に頭部回転を開始した場合の頭部１１４を示している。頭部１１４は、０度の休止位置６０２から外側に既にわずかに移動している。回転軸線６００を起点とする第１のベクトルは、注視プロセスにおける乗員１０２の最新の頭部の向き７００を示している。回転軸線６００を起点とする第２のベクトルは、注視プロセスにおける乗員１０２の最新の目の向き７０２を示している。乗員１０２に特有の頭部の向き７００と目の向き７０２の間の違いが明らかに示されている。

【0073】

第１ベクトル７００と休止位置６０２とによって形成される第１の角度は、注視した場合の乗員１０２に特有の頭部の偏心度Ａ_Ｈを示している。第２ベクトル７０２と休止位置６０２とによって形成される第２の角度は、注視した場合の乗員１０２に特有の目の偏心度Ａ_Ｅを示している。

【0074】

乗員１０２に特有の頭部動作パターンは、例示的な注視において休止位置６０２からの頭部の向き７００の角度差Ａ_Ｈと、休止位置６０２からの目の向き７０２の角度差Ａ_Ｅとの間の差に基づいている。

【0075】

図８は、頭部の動きが終了して頭部固定位置が得られた場合の頭部１１４を示す。観察者１０２の目は、割り当てられたセンサによって検出可能な検出範囲１２２の外側に位置する。この場合、目の位置もしくは向きを追跡することはできない。最新の頭部の向き７００は、標準的に、実際の視線方向について極めて不正確な予測しかもたらさない。ここに提案した構成にしたがって実施される増強率による調整は、より良好で正確な視線方向の予測を実現する。

【0076】

ここで提案した構成のための可能な使用分野は、例えば、人の動きを検出するためのセンサ技術、特にドライバ監視カメラおよびドライバ監視システムと連携して頭部または目の動きを追跡する技術である。

【0077】

実施例が、第１の特徴および第２の特徴の間に「および／または」の接続詞を含む場合には、この実施例は、ある実施形態によれば第１の特徴および第２の特徴の両方を備えており、別の実施形態によれば第１の特徴のみ、または第２の特徴のみを備えているものとして読み取られるべきである。

【符号の説明】

【0078】

１００ 車両
１０２ 乗員（観察者）
１０４ 動作追跡システム（ヘッドトラッキングシステム、アイトラッキングシステム）
１０６ 車両カメラ装置（車両カメラシステム）
１０８ 第１光学センサ
１１０ 第２光学センサ
１１２ 装置
１１４ 頭部
１１６ 目
１１８ センサデータ
１２０ センサデータ
１２２ 目の検出範囲
１２４ 頭部の検出範囲
１２６ センサデータ
１２８ センサデータ
１３０ 視線方向
２００ 装置
２０２ 装置
２０４ 頭部動作パターン
２０６ 増強パラメータ
２０８ 頭部固定位置、頭部の向き
３００ 方法
３０２ 生成ステップ
３０４ 決定ステップ
４００ 方法
４０２ 読取ステップ
４０４ 検出ステップ
４０６ 選択ステップ
４０８ 組合せステップ
５００ 方法
５０２ 第１プロセス部分
５０４ 第２プロセス部分
６００ 回転軸線
６０２ 休止位置
７００ 頭部の向き（第１ベクトル）
７０２ 目の向き（第２ベクトル）
Ａ_Ｅ 角度差、偏心度
Ａ_Ｈ 角度差、偏心度
ｉ 注視

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】