特開 2024-160953 車両運転者の転回の意思を特定する装置及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024160953

(43)【公開日】2024-11-15

(54)【発明の名称】車両運転者の転回の意思を特定する装置及び方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241108BHJP

   G06V 20/59 20220101ALI20241108BHJP

   G06T 7/20 20170101ALI20241108BHJP

   G06V 40/16 20220101ALI20241108BHJP

   G06V 10/82 20220101ALI20241108BHJP

   G06T 7/00 20170101ALI20241108BHJP

【ＦＩ】

G08G1/16 C

G06V20/59

G06T7/20 300B

G06V40/16 C

G06V10/82

G06T7/00 350C

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024068164

(22)【出願日】2024-04-19

(31)【優先権主張番号】10 2023 111 205.8

(32)【優先日】2023-05-02

(33)【優先権主張国・地域又は機関】DE

(71)【出願人】

【識別番号】398037767

【氏名又は名称】バイエリシエ・モトーレンウエルケ・アクチエンゲゼルシヤフト

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100221981

【弁理士】

【氏名又は名称】石田 大成

(74)【代理人】

【識別番号】100191938

【弁理士】

【氏名又は名称】高原 昭典

(72)【発明者】

【氏名】ドーリン・アイテアヌ

【テーマコード（参考）】

5H181

5L096

【Ｆターム（参考）】

5H181AA01

5H181CC03

5H181CC04

5H181CC12

5H181CC14

5H181FF27

5H181FF32

5H181LL04

5L096AA03

5L096AA06

5L096BA04

5L096BA08

5L096BA18

5L096CA04

5L096DA02

5L096FA67

5L096FA69

5L096HA11

(57)【要約】

【課題】車両運転者の転回の意思を特定する装置及び方法を提供する。
【解決手段】装置は、車両の内室の描写を有する画像の画像シーケンスを検出し、画像に対応する画像データを生成するように形成された、車両の内室カメラと、画像データを処理するように形成された処理ユニットとを有し、処理ユニットが、内室カメラの画像データに基づき車両外部における車両運転者１０４のフォーカス範囲を第１の結果として特定し、車両のオドメトリデータに基づき、特定されたフォーカス範囲の方向への車両の転回の可能性を第２の結果として特定するように形成され、転回を可能とするオドメトリデータが他の原因を有するかどうかを周囲検出ユニットによってチェックし、該チェックの結果を第３の結果として特定するように形成され、特定された３つの結果に基づいて転回の意思を確認するように形成されている。
【選択図】図３

【特許請求の範囲】

【請求項1】

車両（１０２）の内室に配置され、該内室の範囲のそれぞれ１つの描写を有する画像（２００）を有する少なくとも１つの画像シーケンスを検出し、前記画像（２００）に対応する画像データを生成するように形成された、前記車両（１０２）の内室カメラ（１３４）と、
前記画像データを処理するように形成された処理ユニット（１３８）と
を有する、車両運転者の転回の意思を特定する装置であって、
前記処理ユニット（１３８）が、前記内室カメラ（１３４）の画像データに基づき前記車両（１０２）の外部における前記車両運転者（１０４）のフォーカス範囲（３４０）を第１の結果として特定するように形成されており、
前記処理ユニット（１３８）が、前記車両（１０２）のオドメトリデータに基づき、特定された前記フォーカス範囲（３４０）の方向への前記車両（１０２）の転回の可能性を第２の結果として特定するように形成されており、
前記処理ユニット（１３８）が、転回を可能とする前記オドメトリデータが他の原因を有するかどうかを周囲検出ユニットによってチェックし、該チェックの結果を第３の結果として特定するように形成されており、
前記処理ユニット（１３８）が、特定された前記３つの結果に基づいて転回の意思を確認するように形成されている
ことを特徴とする装置。

【請求項2】

前記処理ユニット（１３８）が、前記第１の結果を特定するために、前記車両（１０２）の少なくとも１つの転回の可能性（３５２，３５４）が前記車両運転者（１０４）の視覚的な把握範囲に存在するかどうか、及び前記転回の可能性が特定された前記フォーカス範囲（３４０）にあるかどうかをチェックするように形成されていることを特徴とする請求項１に記載の装置。

【請求項3】

前記処理ユニット（１３８）が、前記周囲検出ユニットによって提供される前記車両（１０２）の周囲の周囲情報に基づき、前記車両運転者（１０４）の視覚的な把握範囲における前記車両（１０２）のあり得る転回方向（３５２，３５４）を特定し、これに基づき第１の結果をチェックするように形成されており、前記処理ユニット（１３８）が、該チェックの結果に基づき前記第１の結果を変更するように形成されていることを特徴とする請求項１又は２に記載の装置。

【請求項4】

前記処理ユニット（１３８）が、前記第２の結果を特定するために、前記車両のオドメトリデータに基づき、危険のない転回が可能であるかどうかをチェックするように形成されていることを特徴とする請求項１～３のいずれか１項に記載の装置。

【請求項5】

前記処理ユニット（１３８）が、前記第２の結果を特定するために、前記車両運転者（１０４）及び／又は前記車両（１０２）に割り当てて記憶されたオドメトリデータ並びに前記車両（１０２）のオドメトリデータに基づき、前記車両運転者（１０４）の転回の意思が存在し得るかどうかをチェックするように形成されていることを特徴とする請求項１～４のいずれか１項に記載の装置。

【請求項6】

前記処理ユニット（１３８）が、前記第３の結果を特定するために、前記車両（１０２）のオドメトリデータについて交通に起因する理由が存在するかどうかをチェックするように形成されていることを特徴とする請求項１～５のいずれか１項に記載の装置。

【請求項7】

前記処理ユニット（１３８）が、前記車両（１０２）の外部の前記フォーカス範囲（３４０）が所定の転回方向において存在する場合に肯定的な前記第１の結果を特定するように形成されていること、
前記処理ユニット（１３８）が、特定された前記フォーカス範囲の方向への前記車両（１０２）の転回がオドメトリデータにより可能とされる場合に肯定的な前記第２の結果を特定するように形成されていること、
前記処理ユニット（１３８）が、特定されたオドメトリデータが他の原因を有していない場合に肯定的な前記第３の結果を特定するように形成されていること、
前記処理ユニット（１３８）が、前記３つの結果の全てが肯定的である場合にのみ転回の意思を確認すること
を特徴とする請求項１～６のいずれか１項に記載の装置。

【請求項8】

前記処理ユニット（１３８）が、第１の結果として、前記車両（１０２）の外部の転回の意思に起因するフォーカス範囲（３４０）の存在の確率を特定するように形成されていること、
前記処理ユニット（１３８）が、第２の結果として、オドメトリデータに基づき、特定された前記フォーカス範囲（３４０）の方向への前記車両（１０２）の転回の確率を特定するように形成されていること、
前記処理ユニット（１３８）が、少なくとも、前記３つの結果に基づき全体確率を特定し、特定された該全体確率があらかじめ設定して記憶された限界値を上回る場合に転回の意思を確認するように形成されていること
を特徴とする請求項１～７のいずれか１項に記載の装置。

【請求項9】

前記処理ユニット（１３８）が、前記車両（１０２）の出力ユニット（１１０，１１６，１１８）を介して情報を前記車両運転者（１０４）に出力し、走行方向指示器を操作するように形成されていること、又は前記車両運転者（１０４）が取り消さない場合には、前記走行方向指示器があらかじめ設定した時間の後に自動的に作動されることを特徴とする請求項１～８のいずれか１項に記載の装置。

【請求項10】

前記処理ユニット（１３８）が、前記第１の結果を特定するために、複数秒のあらかじめ設定された時間にわたって前記車両運転者（１０４）の視線方向を検出し、前記車両（１０２）の外部へ向いた前記車両運転者（１０４）の視線に基づき、前記フォーカス範囲（３４０）を特定し、好ましくは該視線のヒートマップ（３３０，３４０）を特定するように形成されていることを特徴とする請求項１～９のいずれか１項に記載の装置。

【請求項11】

前記処理ユニット（１３８）が、前記第１の結果を特定するために、複数秒のあらかじめ設定された時間にわたって前記車両運転者（１０４）の頭部－目－回転を検出し、検出された該頭部－目－回転に基づき、前記フォーカス範囲（３４０）、特にヒートマップ（３３０，３４０）を特定するように形成されていることを特徴とする請求項１～１０のいずれか１項に記載の装置。

【請求項12】

前記処理ユニット（１３８）が、前記第２の結果を特定するために、複数秒のあらかじめ設定された時間にわたってオドメトリパターンを検出し、前記車両運転者（１０４）及び／又は前記車両（１０２）について記憶されたオドメトリパターンと比較するように形成されていることを特徴とする請求項１～１１のいずれか１項に記載の装置。

【請求項13】

前記処理ユニット（１３８）が、前記第２の結果を特定するために、あり得る転回方向（３５２，３５４）を特定し、特定された該転回方向（３５２，３５４）への転回操縦の安全な実行のために妥当性のある必要な走行インターバルを特定し、転回の意思の妥当性チェックのために、現在の走行速度データ及び走行方向データでの特定された該走行インターバルの実行の可能性をチェックするように形成されていることを特徴とする請求項１～１２のいずれか１項に記載の装置。

【請求項14】

前記処理ユニット（１３８）が、前記第３の結果を特定するために、現在の走行速度データ及び走行方向データの基礎となる物体が自車走行軌道にあるかどうか、及び／又は認識された物体の軌道の前記自車走行軌道との衝突若しくは接近を予測可能かどうかをチェックするように形成されていることを特徴とする請求項１～１３のいずれか１項に記載の装置。

【請求項15】

車両運転者の転回の意思を特定する方法であって、
車両（１０２）の内室に配置された該車両（１０２）の内室カメラ（１３４）を用いて、該内室の範囲のそれぞれ１つの描写を有する画像（２００）を有する少なくとも１つの画像シーケンスと、前記画像（２００）に対応する画像データとが生成され、
前記画像データが処理され、
前記内室カメラ（１３４）の画像データに基づき、前記車両（１０２）外部における前記車両運転者（１０４）のフォーカス範囲（３４０）が第１の結果として特定され、
前記車両（１０２）のオドメトリデータに基づき、特定された前記フォーカス範囲（３４０）の方向への前記車両（１０２）の転回の可能性が第２の結果として特定され、
転回を可能とするオドメトリデータが他の原因を有するかどうかが周囲検出ユニットによってチェックされ、該チェックの結果が第３の結果として特定され、
特定された前記３つの結果に基づいて転回の意思が確認される
ことを特徴とする方法。

【発明の詳細な説明】

【技術分野】

【0001】

車両運転者の転回（右左折）の意思を特定する装置及び方法においては、車両の内室に配置された車両のカメラを用いて、内室の範囲のそれぞれ１つの描写を有する画像を有する少なくとも１つの画像シーケンスが検出され、画像に対応し処理される画像データが生成される。

【背景技術】

【0002】

特許文献１には、運転者による走行方向指示器の操作がない場合に原動機付き車両の走行方向指示器を制御する方法が開示されており、運転者が車線変更又は転回のための走行操縦を意図していることが認識装置によって認識され、運転者の意図が認識されると、走行方向指示器が作動される。

【0003】

特許文献２には、車両の機能を制御する方法が開示されており、車両が現在ある交通状況が特定される。これに代えて、又はこれに加えて、車両の運転者の動作及び所定の交通状況についての情報が評価され、車両の走行方向指示器が評価の結果に依存して設定される。

【0004】

特許文献３には、車両のウインカを作動させるシステムが開示されている。車両が曲がり角に接近することをナビゲーションシステムが確認すると、対応する方向においてウインカ信号が自動的に作動されることが可能である。

【0005】

基本的には、ルートが既知でないときでも、及び／又はナビゲーション情報が提供されないときでも、車両運転者の転回の意思を確実に特定することが望ましい。特に、誤った走行方向指示を確実に回避すべきである。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】独国特許出願公開第１０２０１６２２０５１８号明細書

【特許文献2】独国特許出願公開第１０２０１７２０６６０５号明細書

【特許文献3】米国特許出願公開第２０１２／００８９３００号明細書

【発明の概要】

【発明が解決しようとする課題】

【0007】

したがって、公知の従来技術を基礎として、本発明の課題は、車両運転者の転回の意思を特定する装置及び方法を提供することにある。

【課題を解決するための手段】

【0008】

当該課題は、請求項１による特徴を有する装置と、独立請求項の特徴を有する方法とによって解決される。有利な発展形態は、各従属請求項に記載されている。

【0009】

請求項１の特徴を有する装置によって、車両運転者の転回の意思が存在するか否かを容易かつ信頼性をもって特定することが可能である。これに基づき、車両の走行方向指示器、すなわちウインカが正確に設定されているかをチェックすることが可能である。好ましくは、転回の意思が特定されなかった場合には、誤って作動された走行方向指示器を非作動とすることが可能である。これに代えて、又はこれに加えて、走行方向指示器を作動させる指示を車両運転者へ発出することが可能であり、及び／又は車両の走行方向指示器を自動的に作動させることが可能である。これにより、道路交通における安全性を高めることが可能である。

【0010】

内室カメラは、車両のルームミラーに統合された、又はルームミラーのガウジングに統合された内室カメラ、運転者及び／又は助手席の乗員の上方で天井範囲及び／又は運転者側及び／又は助手席の乗員側のＡピラーに配置された内室カメラであり得る。これにより、車両の乗員を容易かつ確実に検出することが可能である。さらに、内室カメラの視野が１００～１５０°における検出角度を有していれば有利であり、内室カメラは、好ましくは単眼カメラ及び／又はＲＧＢ－ＩＲカメラである。これにより、特に、画像処理は、撮影されたＩＲ画像に基づき処理ユニットによって行うことが可能である。また、車両運転者を検知し、車両運転者の動作に基づき転回の意思が存在するか否かを内室カメラの画像データに基づき特定するために、内室カメラの十分大きな視野が存在する。

【0011】

処理ユニットが、第１の結果を特定するために、車両の少なくとも１つの転回の可能性が車両運転者の視覚的な把握範囲に存在するかどうか、及び転回の可能性が特定された前記フォーカス範囲にあるかどうかをチェックするように形成されていれば、有利である。これにより、転回の意思に関連するフォーカス範囲への車両運転者のフォーカスが存在するかどうか、特にフォーカス範囲に道路又は進入路があるかどうかを確実に特定することが可能である。フォーカスは、特にヒートマップを用いて特定されることが可能である。

【0012】

さらに、処理ユニットが、周囲検出ユニットによって提供される車両の周囲の周囲情報に基づき、車両運転者の視覚的な把握範囲における車両のあり得る転回を特定し、これに基づき第１の結果をチェックするように形成されており、処理ユニットが、該チェックの結果に基づき第１の結果を変更するように形成されていれば、有利である。周囲検出ユニットは、ライダ（ＬＩＤＡＲ）ユニット、レーダユニット及び／又はフロントカメラ、特にステレオフロントカメラであってよい。このとき、周囲検出ユニットは、特に車両前方の範囲及び車両前方側方の範囲を検出するとともに、車両周囲の好ましくは３Ｄ画像を生成する。これにより、フォーカス範囲に転回の可能性が存在するかどうかを容易にチェックすることが可能である。

【0013】

また、処理ユニットが、第２の結果を特定するために、車両のオドメトリデータに基づき、危険のない転回が可能であるかどうかをチェックするように形成されていれば、有利である。車両のオドメトリデータは、特に、操舵角、速度及び／又は加速度（正及び負の加速度）を含む。これにより、フォーカス範囲に転回の可能性が存在するかどうかを容易にチェックすることが可能である。

【0014】

また、処理ユニット、第２の結果を特定するために、車両運転者及び／又は車両に割り当てて記憶されたオドメトリデータ並びに車両のオドメトリデータに基づき、車両運転者の転回の意思が存在し得るかどうかをチェックするように形成されていれば、有利である。これにより、車両運転者の転回の意思が、あり得るかどうか、あるいはその通常の走行態様に基づきあり得るかどうかの更に正確なチェックを行うことが可能である。

【0015】

また、処理ユニットが、第３の結果を特定するために、車両のオドメトリデータについて交通に起因する理由が存在するかどうかをチェックするように形成されていれば、有利である。このような交通に起因する理由は、前方を走行する車両、走行路を横断する歩行者、一時停止標識又は優先通行権の交通標識に対する車両運転者の反応、速度制限又は黄色若しくは赤色の表示を有する交通信号設備であり得る。これにより、特定されるオドメトリデータについての他の原因を考慮又は除外することが可能であることを保証することができる。これにより、転回の意思の特定を更に改善することが可能である。

【0016】

さらに、処理ユニットが、フォーカス範囲が車両の外部において特定された場合に肯定的（ポジティブ）な第１の結果を特定するように形成されていれば、有利である。処理ユニットは、フォーカス範囲が車両の外部のみならず特に重心について予想される転回方向にある場合にのみ肯定的な第１の結果を特定するように形成されることも可能である。これにより、まっすぐな方向への車両運転者の直接関連しない視線も車両の外部にあるものの第１の結果の特定時に転回の意図の検知には考慮されないままであり得る。さらに、処理ユニットは、特定されたフォーカス範囲の方向への車両の転回がオドメトリデータにより可能とされるか、又は排除されない場合に肯定的な第２の結果を特定するように形成されることが可能である。また、処理ユニットは、特定されたオドメトリデータが他の原因を有していない場合に肯定的な第３の結果を特定するように形成されることが可能である。処理ユニットは、３つの結果の全てが肯定的である場合にのみ転回の意思を確認することが可能である。これにより、車両運転者の転回の意思を確実に特定することが可能である。

【0017】

処理ユニットが、第１の結果として、車両の外部の転回の意思に起因するフォーカス範囲の存在の確率を特定するように、第２の結果として、オドメトリデータに基づき、特定されたフォーカス範囲の方向への車両の転回の確率を特定するように、及び第３の結果として、特定されたオドメトリデータが他の原因を有するかどうかの確率を特定するように形成されることも可能である。

【0018】

処理ユニットは、少なくとも、３つの結果に基づき全体確率を特定し、特定された全体確率があらかじめ設定して記憶された限界値を上回る場合に転回の意思を確認するように形成されることが可能である。３つの個別確率がそれぞれ限界値と比較され、当該比較の結果に基づき全体結果が特定される場合も有利である。特に、全ての個別確率が各限界値を上回っていれば、肯定的な全体結果を特定することが可能である。これに代えて、全体結果は、転回の意思が存在するか否かを特定するためにここでもあらかじめ設定されて記憶された限界値と比較される全体確率であってよい。上述の全ての限界値は、車両運転者に関連して設定されることができ、特に、車両、車両のキー又は車両運転者に割り当てられたクラウドストレージに記憶されることが可能である。

【0019】

さらに、処理ユニットは、車両の出力ユニットを介して情報を車両運転者に出力し、走行方向指示器を操作するように形成され、又は車両運転者が取り消さない場合には、走行方向指示器があらかじめ設定した時間の後に自動的に作動されるように形成されることが可能である。これにより、車両の正確な走行方向指示を作動させることが可能である。これにより、道路交通における安全性が高められる。

【0020】

好ましくは、処理ユニットは、第１の結果を特定するために、複数秒のあらかじめ設定された時間にわたって車両運転者の視線方向を検出し、車両の外部へ向いた車両運転者の視線に基づき、フォーカス範囲を特定するように形成されている。特に、ヒートマップが、視線又は視線方向に基づいて作成され、車両運転者が転回の意思を有さない交通状況において特定された、車両運転者の少なくとも１つのヒートマップと比較される。

【0021】

フォーカス範囲の特定時あるいはヒートマップの特定時には、例えばインストルメントクラスタ（複合計器）、インストルメントパネル、ルームミラー及び外部ミラー（サイドミラー）のような車両内部へ向けられた車両運転者の視線は、考慮されないか、あるいは除外される。これにより、フォーカス範囲及びヒートマップを正確に決定することが可能である。

【0022】

処理ユニットは、第１の結果を特定するために、複数秒のあらかじめ設定された時間にわたって車両運転者の頭部－目－回転を検出し、検出された頭部－目－回転に基づき、フォーカス範囲を特定するように形成されることが可能である。例えば、評価アルゴリズム又は人工ニューラルネットワークを頭部－目－回転及び／又はフォーカス範囲の特定のために用いることが可能である。これにより、異なる車両運転者タイプにおいて、転回の意思の確実な検知が容易に可能である。

【0023】

また、処理ユニットは、第２の結果を特定するために、複数秒のあらかじめ設定された時間にわたってオドメトリパターンを検出し、車両運転者及び／又は車両について記憶されたオドメトリパターンと比較するように形成されることが可能である。これにより、車両運転者が実際に転回の意思を有しているかどうかを容易にチェックすることが可能である。

【0024】

処理ユニットが、第２の結果を特定するために、（例えば地図データに基づき、又はビデオ解析を基礎として）あり得る転回方向を特定し、（例えば特定されたカーブ半径及び車両の速度を用いて）特定された転回方向への転回操縦の安全な実行のために妥当性チェックするために形成されていれば、有利である。このために、必要な走行インターバルを特定することができ、転回の意思の妥当性チェックのために、現在の走行速度データ及び走行方向データでの特定された走行インターバルを特定することが可能である。また、特定された転回方向への転回操縦の安全な実行のために妥当性のある必要な走行インターバルを特定し、転回の意思の妥当性チェックのために、現在の走行速度データ及び走行方向データでの特定された走行インターバルの実行の可能性をチェックすることも可能である。これにより、車両運転者が実際に転回の意思を有しているかどうかを容易にチェックすることが可能である。

【0025】

処理ユニットが、第３の結果を特定するために、現在の走行速度データ及び走行方向データの基礎となる、例えば車両、人及び／又は不動の対象物のような物体が自車走行軌道にあるかどうか、及び／又は認識された物体の軌道の前記自車走行軌道との衝突若しくは接近を予測可能かどうかをチェックするように形成されていれば、有利である。衝突あるいは接近が予測されない場合には、転回の意思の可能性が高められるか、又は既に特定された転回の意思を確認することが可能である。これによっても、車両運転者が実際に転回の意思を有しているかどうかを容易にチェックすることが可能である。

【0026】

本願の意味合いでの転回の意思は、道路への転回又は進入のほか、車線変更の意思又は転回の意思も含み得る。

【0027】

同等の方法の請求項の特徴を有する方法は、（特許）請求される装置と同一の利点を有している。方法は、須知と同一の特徴をもって、特に装置へ向けられた従属請求項の特徴をもって発展形成されることができる。

【0028】

以下に、本発明の実施例を図面に基づいて詳細に説明する。

【図面の簡単な説明】

【0029】

【図1】車両の運転席（コックピット）の概略的な斜視図である。

【図2】カメラによって撮影された車両の内室の第１の画像を概略的に示す図である。

【図3】車両の車両運転者の視線方向の特定を概略的に示す図である。

【図4】図３による車両運転者の視線方向のヒートマップを有するグラフである。

【図5】転回の意思を有さない走行部分での、あらかじめ設定された時間にわたる車両運転者の蓄積された視線方向のヒートマップを有するグラフである。

【図6】別の走行部分での、あらかじめ設定された時間にわたる車両運転者の蓄積された視線方向のヒートマップを有するグラフである。

【図7】図５によるヒートマップと図６によるヒートマップの差異を有するヒートマップを有するグラフである。

【図8】転回可能性を特定するために重ね合わせられた周囲データを有する、図７によるヒートマップを有するグラフである。

【発明を実施するための形態】

【0030】

図１には、車両１０２の運転席（コックピット）１００の概略的な斜視図が示されている。車両運転者１０４は、車両１０２の運転席１０６に着座している。加えて、運転席１００は、中央のインフォメーションディスプレイ（ＣＩＤ）１０８と、ヘッドアップディスプレイ１１０と、グラフィカルインストルメントクラスタ（複合計器）１１２とを含んでおり、これらは、車両１０２のダッシュボード１１４に配置されている。上記表示要素１０８，１１０，１１２は、それぞれ車両１０２の出力ユニットの機能ユニットを形成しており、当該機能ユニットは、車両運転者１０４及び／又は別の乗員２０６（図２参照）に情報を出力するように形成されている。車両１０２のエンタテインメントシステムの少なくとも１つのスピーカ１１６も同様に運転席１００に配置されている。スピーカ１１６も、出力ユニットの機能ユニットを形成している。出力ユニットの機能ユニットは、オーディオ再生及び／又はビデオ再生のための再生ユニットとしても用いられる。

【0031】

運転席１００は、操作要素１２０を有するステアリングホイール１１８と、ギヤセレクトスイッチ（シフトレバー）１２２と、ペダル類１２４と、回転つまみ及び押しボタン機能及び／又はタッチ入力フィールド（スクリーン）を有する入力ユニット１２６とを更に含んでいる。当該入力ユニット１２６は、エルゴコマンダー（ＥＲＧＯ ＣＯＭＭＡＮＤＥＲ）とも呼ばれる。

【0032】

車両１０２のフロントガラス１２８の上部範囲には、ルームミラー１３２と、当該ルームミラー１３２に統合された内室カメラ１３４とが配置されている。内室カメラ１３４は、車両１０２の内室の少なくとも１つの範囲の描写を有する画像を検出するように形成されてルームミラー１３２に統合されている。具体的には、内室カメラ１３４の視野は、車両の運転席１０６及び助手席２０２の方向へ向けられている。

【0033】

内室カメラ１３４によって撮影された例示的な画像２００が図２に示されている。内室カメラ１３４は、特に、時間的に連続した画像を特にビデオストリームの形態で検出し、画像２００に対応した画像データを生成し、処理ユニットとして用いられる制御ユニット１３８へ当該画像データを伝達するように形成されている。

【0034】

制御ユニット１３８はデータ出力部１４０及びデータ入力部１４２を有しており、これらデータ出力部及びデータ入力部は、車両１０２の別のユニット、例えば別のカメラ、センサ、入力ユニット、出力ユニット及びアシストシステムの制御ユニットと接続するために用いられる。

【0035】

制御ユニット１３８は通信モジュール１４４を更に含んでおり、当該通信モジュールは、遠距離通信ネットワーク、特に移動無線ネットワークとの接続を構築するために形成されている。

【0036】

また、車両１０２の内室における別のカメラをＡピラー又は車両運転者１０４の上方に配置することが可能である。内室カメラ１３４及び／又は別の内室カメラを用いて、車両１０２の使用中に車両運転者１０４の視線方向を検出することが可能である。

【0037】

図２には、内室カメラ１３４によって撮影された車両１０２の内室の画像２００が概略的に示されている。内室カメラ１３４は、単に例示的に１２０°の視野を有している。カメラ１３４がＲＧＢ－ＩＲ内室カメラであれば特に有利である。他の実施形態では、内室カメラ１３４は、１５０°以上の範囲における視野も有することが可能である。内室カメラ１３４は、車両の運転席１０６、助手席２０２及び後部座席２０４の方向へ向けられている。図２に示された状況では、車両運転者１０４は運転席１０６に着座しており、別の乗員２０６は助手席２０２に着座している。したがって、本実施形態では、別の乗員２０６は助手席の乗員２０６である。画像２００では、車両運転者はスマートウォッチ１３６を身に着けており、助手席の乗員２０６はタブレットコンピュータ２０８を保持している。

【0038】

図３には、車両１０２の車両運転者１０４の視線方向の特定が概略的に示されている。図示説明のために、水平方向の回転角度３０２の目盛りと、垂直方向の回転角度３０４の目盛りとが図示されている。回転角度３０２，３０４は、車両１０２の車両座標系に関するものであってよい。車両運転者１０４の視線方向ベクトル３００は、図３に図示された走行状況において、－１７．５°の水平方向の回転角度３０２と、＋２．５°の垂直方向の回転角度３０４とを有している。ヒートマップを作成するために、水平方向の回転角度３０２及び垂直方向の回転角度３０４の座標系は、５°×５°の大きさの視線方向セグメント３０６に分割される。視線方向ベクトル３００は、視線方向セグメント３０６を通って延びている。

【0039】

図４には、内室カメラ１３４の撮影された１つの画像に基づき検出された視線ベクトル３００、すなわち図３による走行状況の現在の視線方向セグメント３０６のヒートマップ３１０を有するグラフが示されている。

【0040】

水平方向の回転角度３０２及び垂直方向の回転角度３０４の２つの成分を有する視線方向ベクトル３００は、通常の、すなわち転回（右左折）操縦、車線変更操縦又は転回操縦を伴わない走行部分では、５～９０分の範囲の所定の期間にわたって蓄積して検出される。これにより、車両運転者１０４の個別の「通常挙動」が特定される。このことは、図５に示された、車両運転者１０４の蓄積された視線方向３００のヒートマップ３２０を有するグラフにおいて、転回部分を有さない走行部分においてあらかじめ設定された９０分の時間にわたって示されている。このようなヒートマップ３２０は、長期ヒートマップ（ＬＯＮＧ ＴＥＲＭ ＨＥＡＴＭＡＰ）とも呼ばれる。ヒートマップ３２０及び後続の図のヒートマップにおける数字は、対応する視線方向セグメント３０６における視線ベクトル３００の存在をパーセントで示すものである。ヒートマップ３１０，３２０及び別の図のヒートマップは、５°の角度ステップで分解されている。他の実施形態では、より大きな、又はより小さな角度ステップを用いることが可能である。

【0041】

図６には、別の走行部分において、２～６０秒の範囲、特に５秒のあらかじめ設定された短い時間にわたる、車両運転者１０４の蓄積された視線方向のヒートマップ３３０を有するグラフが示されている。当該別の走行部分においては、車両運転者１０４が現在転回の意思を有しているか、又は有していないかがチェックされるべきである。したがって、ヒートマップ３３０は、現在の走行状況の一時的なヒートマップ３３０である。これは、短期ヒートマップ（ＳＨＯＲＴ ＴＥＲＭ ＨＥＡＴＭＡＰ）３３０とも呼ばれる。当該別の走行部分においては、車両運転者の転回の意思が存在するかどうかがチェックされるべきである。

【0042】

本願の意味合いでの転回の意思は、道路への転回又は進入のほか、車線変更の意思又は転回の意思も含み得る。

【0043】

短期ヒートマップ３３０は、中心ミラー及びサイドミラー並びに車両のその他の内室への車両運転者１０４の視線の考慮を伴わずに、基準として用いられる長期ヒートマップ３２０と同様に作成される。ここで、例えば、評価時に、水平方向の回転角度３０２のセグメントのみが－１５°～－２５°の範囲で考慮され、垂直方向の回転角度が０～５°の範囲で考慮される。他の実施形態では、別の範囲／視線角度セグメントは、検出されることができないか、あるいはヒートマップ３１０～３３０の作成時に考慮されることができない。

【0044】

図７には、ヒートマップ３３０における対応する値がヒートマップ３２０における値よりも大きい場合に、図６によるヒートマップ３３０と図５によるヒートマップ３２０の差異に基づき特定された差異ヒートマップ３４０を有するグラフが示されている。

【0045】

差異ヒートマップ３４０は、以下のように演算されることができる：
画像セグメントＳＥＧＳＴ（Ｈ，Ｖ）の値＞画像セグメントＳＥＧＬＴ（Ｈ，Ｖ）の値であれば、画像セグメントの値ＳＥＧＤ（Ｈ，Ｖ）＝ＳＥＧＳＴ（Ｈ，Ｖ）－ＳＥＧＬＴ（Ｈ，Ｖ）であり、そうでなければ、画像セグメントの値ＳＥＧＤ（Ｈ，Ｖ）＝０であり、
ＳＥＧＳＴ＝短期ヒートマップ３３０の位置Ｈ（水平）及びＶ（垂直）における画像セグメントの値
ＳＥＧＬＴ－長期ヒートマップ３２０の位置Ｈ（水平）及びＶ（垂直）における画像セグメントの値
ＳＥＧＤ－差異ヒートマップ３４０の位置Ｈ（水平）及びＶ（垂直）における画像セグメントの値
である。

【0046】

したがって、差異ヒートマップ３４０は、転回の意思に関連する車両運転者１０４のフォーカス範囲を表示している。つづいて、最も確率が高い転回オプションを特定するために、差異ヒートマップ３４０の画像セグメントＳＥＧＤ（Ｈ，Ｖ）を周囲にマッピングすることが可能である。マッピングは、車両１０２の固有移動（自車移動）の補償（補整）を必要とする。簡易な図示のために、図８には、スナップショットにおいて転回の可能性を特定するための重ねられた周囲データを有する図７による差異ヒートマップ３４０をもったグラフが示されている。周囲との差異ヒートマップ３４０の重ね合わせは、２Ｄ地図データ３５０によって行われた。他の実施形態では、３Ｄ地図データ又はフロントカメラの２Ｄカメラデータ若しくは３Ｄカメラデータ又は車両１０２の他の周囲検出ユニット（ライダ、レーダ）により提供される周囲情報を重ね合わせに用いることも可能である。

【0047】

車両運転者の視認範囲における存在する全ての転回オプションは、地図データ及び／又はフロントカメラデータ及び／又は周囲検出ユニットのセンサデータに基づき特定される。図８による実施例では、脇道３５２及び脇道３５４が転回オプションとして特定された。特定された各転回オプション３５２，３５４について、差異ヒートマップ３４０におけるフォーカス点のセグメント化及び重み付けに関連してそれぞれ転回確率が特定される。例えば、脇道３５４への転回オプションの転回確率は１０％であり、脇道３５２への転回オプションの転回確率は第１の結果として７５％が特定される。

【0048】

制御ユニット１３８は、車両１０２のオドメトリ（走行距離計による測定、走行距離計測法）データに基づいて、特定されたフォーカス範囲の方向への車両１０２の転回の可能性を第２の結果として特定する。

【0049】

さらに、制御ユニット１３８は、周囲検出ユニットによって提供される周囲情報に基づいて、転回を可能とさせるオドメトリデータが他の原因を有するかどうかをチェックし、チェックの結果を第３の結果として特定する。

【0050】

制御ユニット１３８は、特定された３つの結果に基づき、車両運転者１０４の転回の意思が存在するか否かを確かめる（特定する）。これに基づき、車両１０２の走行方向指示器（ウインカ）を自動的に作動させることができるか、又は走行方向指示器を作動させるよう車両運転者１０４に通知が出力される。

【0051】

さらに、同一方向への近傍に位置する２つの転回オプション３５２，３５４を有する図８に図示された交通状況において走行方向指示器が自動的に作動される場合には、脇道３５２への転回のための走行方向指示器のセットが早くとも脇道３５４における車両の傍らの通過後すぐに自動的に行われるように、作動の時点を選択することが可能である。これにより、危険な状況の回避によって安全性を高めることが可能である。例えば、脇道３５２への転回の意思があるものの走行方向指示器の作動が脇道３５４の手前であると、脇道３５４から来る車両は、自車両１０２の転回の意思を誤って認識し、自車１０２が位置する道路へ進入することにつながり得る。

【0052】

上述の処理ステップ、特に画像データを処理するステップ及びヒートマップの作成は、処理ユニットとして用いられる制御ユニット１３８によって行われる。

【0053】

図１～図８に基づき説明した実施例では、少なくとも内室カメラ１３４及び制御ユニット１３８が、車両１０２の車両運転者１０４の転回の意思を特定するための装置を形成する。図１～図８に示され、上述の説明で挙げた別の要素及び特徴は、車両１０２の車両運転者１０４の転回の意思を特定するための装置の一部であり得る。同様に、装置に基づいて説明される方法ステップも（特許）請求される方法の一部であり得る。

【符号の説明】

【0054】

１００ 運転席
１０２ 車両
１０４ 車両運転者
１０６ 運転席
１０８ 中央のインフォメーションディスプレイ
１１０ ヘッドアップディスプレイ
１１２ グラフィカルインストルメントクラスタ
１１４ ダッシュボード
１１６ スピーカ
１１８ ステアリングホイール
１２０ 操作要素
１２２ ギヤセレクトスイッチ
１２４ ペダル類
１２６ 入力ユニット
１２８ フロントガラス
１３０ マイク
１３２ ルームミラー
１３４ 内室カメラ
１３６ スマートウォッチ
１３８ 制御ユニット
１４０ データ出力部
１４２ データ入力部
１４４ 通信インタフェース
２００ 画像
２０２ 助手席
２０４ 後部座席
２０６ 助手席の乗員
２０８ タブレットコンピュータ
３００ 視線方向ベクトル
３０２ 水平方向の回転角度の目盛り
３０４ 垂直方向の回転角度の目盛り
３１０，３２０，３３０，３４０ ヒートマップ
３５０ 地図データ
３５２，３５４ 脇道

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【外国語明細書】