2024-161969 視認判定装置及び視認判定装置の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024161969

(43)【公開日】2024-11-21

(54)【発明の名称】視認判定装置及び視認判定装置の制御方法

(51)【国際特許分類】

   G08G 1/16 20060101AFI20241114BHJP

【ＦＩ】

G08G1/16 A

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023077075

(22)【出願日】2023-05-09

(71)【出願人】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(71)【出願人】

【識別番号】000004260

【氏名又は名称】株式会社デンソー

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100187311

【弁理士】

【氏名又は名称】小飛山 悟史

(74)【代理人】

【識別番号】100161425

【弁理士】

【氏名又は名称】大森 鉄平

(72)【発明者】

【氏名】藤野 次郎

(72)【発明者】

【氏名】原 健一郎

(72)【発明者】

【氏名】川上 悟

(72)【発明者】

【氏名】森本 寛

(72)【発明者】

【氏名】山田 健太

【テーマコード（参考）】

5H181

【Ｆターム（参考）】

5H181AA01

5H181BB20

5H181CC03

5H181CC04

5H181CC12

5H181CC14

5H181CC27

5H181FF27

5H181FF33

5H181LL01

5H181LL02

5H181LL04

5H181LL09

(57)【要約】

【課題】対象物に対するドライバーの視認判定の精度を向上させる。
【解決手段】車両の外部センサにより検出された対象物をドライバーが視認しているか否かを判定する視認判定装置であって、車両のドライバモニタカメラによりドライバーの視線ベクトルを推定すると共に、ドライバーの視線ベクトルを基準としてドライバーのアイポイントから離れるほど円錐状に広がる視線円錐領域を推定する視線円錐領域推定部と、視線円錐領域と対象物との重なりからドライバーが対象物を視認しているか否かを判定する視認判定部と、を備え、視線円錐領域推定部は、ドライバーの顔向きに応じて視線円錐領域を推定する。
【選択図】図５

【特許請求の範囲】

【請求項1】

車両の外部センサにより検出された対象物をドライバーが視認しているか否かを判定する視認判定装置であって、
前記車両のドライバモニタカメラにより前記ドライバーの視線ベクトルを推定すると共に、前記ドライバーの視線ベクトルを基準として前記ドライバーのアイポイントから離れるほど円錐状に広がる視線円錐領域を推定する視線円錐領域推定部と、
前記視線円錐領域と前記対象物との重なりから前記ドライバーが前記対象物を視認しているか否かを判定する視認判定部と、
を備え、
前記視線円錐領域推定部は、前記ドライバーの顔向きに応じて前記視線円錐領域を推定する、視認判定装置。

【請求項2】

前記視線円錐領域推定部は、前記ドライバーの顔向きが前記車両の前方向から逸れている場合、前記ドライバーの顔向きが前記前方向を向いている場合と比べて前記アイポイントからの距離による前記視線円錐領域の拡大率を大きくする、請求項１に記載の視認判定装置。

【請求項3】

前記視線円錐領域推定部は、前記ドライバーの顔向きが前記車両の前方向を向いている場合、前記視線ベクトルに直交する断面が縦長の楕円形状となる前記視線円錐領域を推定し、前記ドライバーの顔向きが前記車両の前方向から横に逸れている場合、前記断面が横長の楕円形状となる前記視線円錐領域を推定する、請求項１又は２に記載の視認判定装置。

【請求項4】

前記視線円錐領域推定部は、前記車両の車速が車速判定閾値以上である場合、前記車速が前記車速判定閾値未満である場合と比べて前記アイポイントからの距離による前記視線円錐領域の拡大率を小さくする、請求項１又は２に記載の視認判定装置。

【請求項5】

前記視線円錐領域推定部は、前記車両が旋回中である場合、前記車両が旋回中ではない場合と比べて、前記視線ベクトルに直交する断面が前記車両の旋回方向に拡大するように前記視線円錐領域を推定する、請求項１又は２に記載の視認判定装置。

【請求項6】

前記視線円錐領域推定部は、前記ドライバーから見た前記対象物の移動速度が移動速度閾値以上である場合、前記ドライバーから見た前記対象物の移動方向に前記視線ベクトルに直交する断面が拡大するように前記視線円錐領域を推定する、請求項１又は２に記載の視認判定装置。

【請求項7】

前記視線円錐領域推定部は、前記ドライバーが前記対象物を視認していると判定した後、前記ドライバーが前記対象物を視認していないと判定するまでの間、前記ドライバーが前記対象物を視認していると判定する前と比べて、前記視線円錐領域の拡大率を大きくする、請求項１又は２に記載の視認判定装置。

【請求項8】

車両の外部センサにより検出された対象物をドライバーが視認しているか否かを判定する視認判定装置の制御方法であって、
前記車両のドライバモニタカメラにより前記ドライバーの視線ベクトルを推定すると共に、前記ドライバーの視線ベクトルを基準として前記ドライバーのアイポイントから離れるほど円錐状に広がる視線円錐領域を推定し、
前記ドライバーの顔向きに応じて前記視線円錐領域を推定し、
前記視線円錐領域と前記対象物との重なりから前記ドライバーが前記対象物を視認しているか否かを判定する、視認判定装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視認判定装置及び視認判定装置の制御方法に関する。

【背景技術】

【0002】

従来、視認判定装置に関する技術文献として、特開２０１４―１２０１１３号公報が知られている。この公報には、ドライバモニタカメラの撮像画像から運転者の視線位置、視線円、及び視野領域を検出し、フロントカメラの撮像画像から車両進行方向前方にある特徴物を検出し、各検出結果に基づいて特徴物への運転者の視認態様を特定する装置が示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４―１２０１１３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、ドライバーの顔向きによってはドライバモニタカメラの撮像画像に基づく視線ベクトルの推定精度が低下する。視線ベクトルの推定精度の低下によりドライバーが視認している対象物をドライバーが視認していないと誤判定するおそれがあった。

【課題を解決するための手段】

【0005】

本発明の一態様は、車両の外部センサにより検出された対象物をドライバーが視認しているか否かを判定する視認判定装置であって、車両のドライバモニタカメラによりドライバーの視線ベクトルを推定すると共に、ドライバーの視線ベクトルを基準としてドライバーのアイポイントから離れるほど円錐状に広がる視線円錐領域を推定する視線円錐領域推定部と、視線円錐領域と対象物との重なりからドライバーが対象物を視認しているか否かを判定する視認判定部と、を備え、視線円錐領域推定部は、ドライバーの顔向きに応じて視線円錐領域を推定する。

【0006】

本発明の一態様に係る視認判定装置によれば、ドライバーの顔向きによってドライバモニタカメラの撮像画像に基づく視線ベクトルの推定精度が低下することから、顔向きに応じて視線円錐領域を推定することで対象物に対するドライバーの視認判定の精度を向上させることができる。

【0007】

本発明の一態様に係る視認判定装置において、視線円錐領域推定部は、ドライバーの顔向きが車両の前方向から逸れている場合、ドライバーの顔向きが前方向を向いている場合と比べてアイポイントからの距離による視線円錐領域の拡大率を大きくしてもよい。
この視認判定装置によれば、ドライバーの顔向きが車両前方から逸れている場合には、ドライバモニタカメラの撮像画像に基づく視線ベクトルの推定精度が低下するため、視線円錐領域の拡大率を大きくすることで対象物に対するドライバーの視認判定の精度を向上させることができる。

【0008】

本発明の一態様に係る視認判定装置において、視線円錐領域推定部は、ドライバーの顔向きが車両の前方向を向いている場合、視線ベクトルに直交する断面が縦長の楕円形状となる視線円錐領域を推定し、ドライバーの顔向きが車両の前方向から横に逸れている場合、断面が横長の楕円形状となる視線円錐領域を推定してもよい。
この視認判定装置によれば、ドライバーの顔向きが車両の前方向を向いている場合には車両のピッチ方向における視線ベクトルの推定精度が低いため断面が縦長の楕円形状となる視線円錐領域を推定する。また、ドライバーの顔向きが車両の前方向から横に逸れている場合には車両のヨー方向における視線ベクトルの推定精度が低くなるため断面が横長の楕円形状となる視線円錐領域を推定する。これにより、この視認判定装置では、対象物に対するドライバーの視認判定の精度を向上させることができる。

【0009】

本発明の一態様に係る視認判定装置において、視線円錐領域推定部は、車両の車速が車速判定閾値以上である場合、車速が車速判定閾値未満である場合と比べてアイポイントからの距離による視線円錐領域の拡大率を小さくしてもよい。
この視認判定装置によれば、車速が高い場合にはドライバーの有効視野角が狭まることから、車速が車速判定閾値以上である場合に視線円錐領域の拡大率を小さくする。これにより、この視認判定装置では、対象物に対するドライバーの視認判定の精度を向上させることができる。

【0010】

本発明の一態様に係る視認判定装置において、視線円錐領域推定部は、車両が旋回中である場合、車両が旋回中ではない場合と比べて、視線円錐領域の視線ベクトルに直交する断面を車両の旋回方向に拡大してもよい。
この視認判定装置によれば、車両が旋回中である場合にはドライバーが旋回先を意識して見ると考えることができることから、視線円錐領域の視線ベクトルに直交する断面を車両の旋回方向に拡大することで、対象物に対するドライバーの視認判定の精度を向上させることができる。

【0011】

本発明の一態様に係る視認判定装置において、視線円錐領域推定部は、ドライバーから見た対象物の移動速度が移動速度閾値以上である場合、ドライバーから見た対象物の移動方向に視線ベクトルに直交する断面が拡大するように視線円錐領域を推定してもよい。
この視認判定装置によれば、ドライバーから見た対象物の移動速度が早い場合には、ドライバーは対象物の移動を考慮して視認しようとすることから、対象物の移動方向に視線ベクトルに直交する断面が拡大するように視線円錐領域を推定することで、対象物に対するドライバーの視認判定の精度を向上させることができる。

【0012】

本発明の一態様に係る視認判定装置において、視線円錐領域推定部は、ドライバーが対象物を視認していると判定した後、ドライバーが対象物を視認していないと判定するまでの間、ドライバーが対象物を視認している前と比べて、視線円錐領域の拡大率を大きくしてもよい。
この視認判定装置によれば、一度視認した対象物からドライバーが視線を少しずらしても対象物を視認している可能性が高いと考えられることから、視線円錐領域の拡大率を大きくすることで対象物に対するドライバーの視認判定の精度を向上させることができる。

【0013】

本発明の他の態様は、車両の外部センサにより検出された対象物をドライバーが視認しているか否かを判定する視認判定装置の制御方法であって、車両のドライバモニタカメラによりドライバーの視線ベクトルを推定すると共に、ドライバーの視線ベクトルを基準としてドライバーのアイポイントから離れるほど円錐状に広がる視線円錐領域を推定し、ドライバーの顔向きに応じて視線円錐領域を推定し、視線円錐領域と対象物との重なりからドライバーが対象物を視認しているか否かを判定してもよい。

【0014】

本発明の他の態様に係る視認判定装置の制御方法によれば、ドライバーの顔向きによってドライバモニタカメラの撮像画像に基づく視線ベクトルの推定精度が低下することから、顔向きに応じて視線円錐領域の大きさを推定することで対象物に対するドライバーの視認判定の精度を向上させることができる。

【発明の効果】

【0015】

本発明の各態様によれば、対象物に対するドライバーの視認判定の精度を向上させることができる。

【図面の簡単な説明】

【0016】

【図1】一実施形態に係る視認判定装置を示すブロック図である。

【図2】ドライバーの視線ベクトルを説明するための平面図である。

【図3】（ａ）ドライバーが対象物を視認している状況を説明するための図である。（ｂ）ドライバーが対象物を視認していない状況を説明するための図である。

【図4】（ａ）視線円錐領域の断面の一例を示す図である。（ｂ）拡大率を大きくした場合の視線円錐領域の断面の一例を示す図である。

【図5】（ａ）視線円錐領域の縦長の断面の一例を示す図である。（ｂ）視線円錐領域の横長の断面の一例を示す図である。

【図6】視認判定処理の一例を示すフローチャートである。

【図7】（ａ）車速に応じた視線円錐領域推定処理の一例を示すフローチャートである。（ｂ）車両の旋回に応じた視線円錐領域推定処理の一例を示すフローチャートである。

【図8】（ａ）対象物の移動速度に応じた視線円錐領域推定処理の一例を示すフローチャートである。（ｂ）ドライバーの視認状況に応じた視線円錐領域推定処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0017】

以下、本発明の実施形態について図面を参照して説明する。

【0018】

図１は、一実施形態に係る視認判定装置１００を示すブロック図である。図１に示す視認判定装置１００は、乗用車又は貨物車などの車両に搭載され、車両のドライバーが車両外部の対象物を視認しているか否かを判定する装置である。車両に高度な運転支援機能が搭載されたとしてもドライバーには周辺監視を行う義務があり、ドライバーが対象物を適切に視認していることを判定することが求められている。

【0019】

［視認判定装置の構成］
以下、本実施形態に係る視認判定装置１００の構成について説明する。図１に示すように、視認判定装置１００は、装置を統括的に管理する視認判定ＥＣＵ[Electronic Control Unit]１０を備えている。視認判定ＥＣＵ１０は、ＣＰＵ[Central Processing Unit]とＲＯＭ[Read OnlyMemory]又はＲＡＭ[Random Access Memory]などの記憶部を有する電子制御ユニットである。視認判定ＥＣＵ１０では、例えば、記憶部に記憶されているプログラムをＣＰＵで実行することにより各種の機能を実現する。視認判定ＥＣＵ１０は、複数の電子ユニットから構成されていてもよい。

【0020】

視認判定ＥＣＵ１０は、ドライバモニタカメラ１、外部センサ２、内部センサ３、及びＨＭＩ［Human Machine Interface］４と接続されている。

【0021】

ドライバモニタカメラ１は、車両のドライバーを撮像するためのカメラである。ドライバモニタカメラ１は、ＣＣＤ［Charge Coupled Device］又はＣＩＳ［CMOS Image Sensor］などの撮像素子を有するデジタルカメラとすることができる。ドライバモニタカメラ１は、例えば運転席正面のステアリングコラムのカバー上に設けられ、所定のフレームレートでドライバーの頭部を撮像する。ドライバモニタカメラ１は、運転席の前のインストルメントパネルに埋め込まれていてもよく、インストルメントパネルの上部に設けられていてもよい。ドライバモニタカメラ１は、複数台のカメラから構成されていてもよい。ドライバモニタカメラ１は、ドライバー撮像画像を視認判定ＥＣＵ１０へ送信する。

【0022】

外部センサ２は、車両の周辺の状況を検出する検出機器である。外部センサ２は、カメラ及びレーダセンサのうち少なくとも一つを含む。カメラは、車両の外部状況を撮像する撮像機器である。カメラは、例えば車両のフロントガラスの裏側に設けられ、車両の前方を撮像する。カメラには、車両の周囲の複数方向を撮像する複数台の撮像機器が含まれていてもよい。カメラは、車両の外部状況に関する撮像情報を視認判定ＥＣＵ１０へ送信する。

【0023】

レーダセンサは、電波（例えばミリ波）又は光を利用して車両の周囲の物体を検出する検出機器である。レーダセンサには、例えば、ミリ波レーダ又はライダー［LIDAR：Light Detection and Ranging］が含まれる。レーダセンサには、車両の周囲の複数方向において物体を検出するため複数の検出機器が含まれていてもよい。レーダセンサは、検出した物体の情報を視認判定ＥＣＵ１０へ送信する。

【0024】

内部センサ３は、車両の走行状態を検出する検出機器である。内部センサ３は、車速センサ、及びヨーレートセンサを含む。車速センサは、車両の速度を検出する検出器である。車速センサは、検出した車速情報（車輪速情報）を視認判定ＥＣＵ１０に送信する。

【0025】

ヨーレートセンサは、車両の重心の鉛直軸周りのヨーレート（回転角速度）を検出する検出器である。ヨーレートセンサとしては、例えばジャイロセンサを用いることができる。ヨーレートセンサは、検出した車両のヨーレート情報を視認判定ＥＣＵ１０へ送信する。

【0026】

ＨＭＩ４は、視認判定ＥＣＵ１０とドライバーとの間で情報の入出力を行うためのインターフェイスである。ＨＭＩ４は、例えば、車室内に設けられたディスプレイ、スピーカーなどを備えている。ＨＭＩ４は、視認判定ＥＣＵ１０からの制御信号に応じて、ディスプレイの画像出力及びスピーカーからの音声出力を行う。ディスプレイは、ＭＩＤ［Multi Information Display］であってもよく、ナビゲーションシステムのディスプレイであってもよく、ＨＵＤ［Head Up Display］であってもよい。ＨＭＩ４は、各種のインジケータを備えていてもよい。

【0027】

次に、視認判定ＥＣＵ１０の機能的構成について説明する。視認判定ＥＣＵ１０は、対象物認識部１１、視線円錐領域推定部１２、及び視認判定部１３を有している。なお、以下に説明する視認判定ＥＣＵ１０の機能の一部は、車両と通信可能なサーバにおいて実行される態様であってもよい。

【0028】

対象物認識部１１は、外部センサ２の検出結果に基づいて、車両外部の対象物を認識する。対象物とは、車両のドライバーが視認する対象となる物である。対象物には、例えば他車両、自転車、パーソナルモビリティ、歩行者などの移動体が含まれる。対象物には、信号機、道路標識、道路案内板、路面表示などの静止物が含まれてもよい。対象物はドライバーが視認可能な距離内に位置しているものに限定されてもよい。対象物は車両前方に位置するものに限定されてもよい。

【0029】

対象物認識部１１は、車両に対する対象物の相対位置及び車両に対する対象物の相対速度を認識する。対象物認識部１１は、外部センサ２におけるカメラの撮像画像とレーダセンサの検出結果を統合したセンサフュージョンにより対象物の認識を行ってもよい。対象物の認識については周知の技術を用いることができるため詳細な説明を省略する。

【0030】

対象物認識部１１は、外部センサ２の検出結果に基づいて、ドライバーから見た対象物の位置を認識してもよい。ドライバーから見た対象物の位置とは、ドライバーのアイポイントから見た対象物の位置を意味する。

【0031】

ドライバーのアイポイントとは、車室内で運転席に着座しているドライバーの目が存在すると仮定される位置である。ドライバーのアイポイントは、三次元空間における座標として表現されてもよい。ドライバーのアイポイントは、例えば車体を基準として設定される。ドライバーのアイポイントは、固定の位置であってもよく、調整可能な位置であってもよい。

【0032】

ドライバーのアイポイントは、ドライバモニタカメラ１の撮像したドライバー撮像画像から認識されたドライバーの目の位置に基づいて調整されてもよい。ドライバーのアイポイントは、運転席の位置（例えばシートクッションの前後位置）に応じて調整されてもよい。ドライバーのアイポイントは、運転席のシートバックの傾きに応じて調整されてもよい。ドライバーのアイポイントは、視認判定装置１００に共有されたドライバーの背の高さや座高などの個人情報に基づいて調整されてもよい。ドライバーのアイポイントは、その他の周知の技術を用いて調整することができる。

【0033】

対象物認識部１１は、例えばセンサフュージョンによる対象物の認識結果を踏まえて、ドライバーから見た対象物の位置を求める。対象物認識部１１は、外部センサ２のカメラの撮像画像をドライバーのアイポイントから見た画像となるように視点変換処理を行うことで、ドライバーから見た対象物の位置を求めてもよい。対象物認識部１１は、ドライバーから見た対象物の位置の時間変化に基づいて、ドライバーから見た対象物の移動速度を算出する。また、対象物認識部１１は、ドライバーから見た対象物のサイズを認識する。

【0034】

対象物認識部１１は、対象物の種別を認識してもよい。対象物の種別とは、四輪車、二輪車、歩行者、信号機、道路標識などの種別である。対象物認識部１１は、例えばパターンマッチングにより対象物の種別を認識する。対象物認識部１１は、種別ごとに予め用意された画像パターンを用いたマッチングにより、外部センサ２のカメラの撮像画像から対象物の種別を認識してもよい。

【0035】

なお、対象物の各種の認識については、機械学習モデルを用いて実行されてもよい。機械学習モデルは、例えば畳込みニューラルネットワーク（ＣＮＮ）などのニューラルネットワークである。ニューラルネットワークは、複数の畳込み層およびプーリング層を含む複数の層を含むことができる。ニューラルネットワークとしては、ディープラーニングによる深層学習ネットワークが用いられてもよい。

【0036】

視線円錐領域推定部１２は、車両のドライバモニタカメラ１の撮像したドライバーの撮像画像に基づいてドライバーの視線ベクトルを推定すると共に、ドライバーの視線ベクトルを基準とした視線円錐領域を推定する。また、視線円錐領域推定部１２は、ドライバーの顔向きの認識も行う。

【0037】

ドライバーの視線ベクトルは、ドライバーのアイポイントを始点として直線上に延びるドライバーの視線に対応する三次元空間上のベクトルである。視線ベクトルの推定方法としては、例えば顔向きと角膜反射法により計測された瞳孔の中心位置とを用いて推定する方法がある。視線ベクトルの推定に機械学習モデルを用いてもよい。視線ベクトルの推定については周知の技術であるため詳細な説明を省略する。なお、視線ベクトルは、必ずしも長さを含む必要はなく、視線方向と言う意味で用いることができる。

【0038】

ここで、図２は、ドライバーの視線ベクトルを説明するための平面図である。図２に、車両Ｍ、車両Ｍの走行する道路Ｒ、歩行者５０（対象物）、視線ベクトルＥＢを示す。歩行者５０は、車両Ｍの前方の横断歩道を渡ろうとしている歩行者である。歩行者５０の進行方向を矢印Ｐとして示す。図２に示すように、視線ベクトルＥＢは、車両Ｍのドライバーが対象物である歩行者５０に向けた視線に相当する。

【0039】

図３（ａ）は、視線円錐領域の一例を示す図である。図３（ａ）に、ドライバーのアイポイントＥＰを起点として視線ベクトルＥＢから広がる視線円錐領域ＥＣを示す。また、図３（ａ）に、対象物である歩行者５０に対するドライバーの視認を判定するときに用いるバウンディングボックス６０を示す。バウンディングボックス６０は三次元空間に設定され、例えば歩行者５０を最小の体積で囲う矩形のボックスとして設定される。なお、バウンディングボックス６０の設定は必須ではない。なお、図３（ｂ）は、ドライバーが対象物を視認していない状況を説明するための図である。図３（ｂ）の状況については後述する。

【0040】

図３（ａ）に示すように、視線円錐領域推定部１２は、ドライバーのアイポイントＥＰから延びる視線ベクトルＥＢを基準として視線円錐領域ＥＣを推定する。視線円錐領域ＥＣは、ドライバーの視線ベクトルＥＢに広がりを持たせた円錐状の領域である。なお、視線円錐領域ＥＣは厳密な円錐形状である必要はない。視線円錐領域ＥＣの断面形状は、円形状や楕円形状に限られず、全体的に円や楕円に近い形状であればよい。

【0041】

視線円錐領域推定部１２は、対象物ごとに異なる大きさの視線円錐領域を推定してもよい。視線円錐領域推定部１２は、同時に複数の対象物が存在する場合には、ドライバーの視線ベクトルに対して各対象物の視認判定に用いられる複数の視線円錐領域を推定することができる。

【0042】

視線円錐領域ＥＣは、ドライバーの有効視野角を考慮して推定されてもよい。有効視野は、人の視野の中心部に位置し、高い解像度で物体を認識できる領域である。有効視野角（有効視野の視野角）には個人差があるが例えば２０°とすることができる。有効視野の外側には広範囲の周辺視野が存在する。周辺視野は、低い解像度で物体を認識できる領域である。視線円錐領域推定部１２は、視線円錐領域ＥＣの頂角として有効視野角を用いてもよい。なお、視線円錐領域推定部１２は、有効視野角と関係ない値を視線円錐領域ＥＣの頂角として推定してもよい。

【0043】

視線円錐領域推定部１２は、視線ベクトルＥＢの推定精度を考慮して、視線円錐領域ＥＣを推定することができる。視線ベクトルＥＢの推定精度には、ドライバーの顔向きが与える影響が大きい。

【0044】

視線円錐領域推定部１２は、ドライバーの顔向きに応じて視線円錐領域ＥＣを推定する。視線円錐領域推定部１２は、ドライバモニタカメラ１のドライバー撮像画像に基づいて、ドライバーの顔向きを認識する。ドライバーの顔向きの認識については周知の技術を用いることができるため詳細な説明を省略する。

【0045】

具体的に、視線円錐領域推定部１２は、ドライバーの顔向きが車両Ｍの前方向から逸れている場合、ドライバーの顔向きが車両Ｍの前方向を向いている場合と比べてアイポイントＥＰからの距離による視線円錐領域ＥＣの拡大率を大きくする。

【0046】

ドライバーの顔向きが車両Ｍの前方向を向いている場合とは、例えばアイポイントＥＰを通過する車両Ｍの前後軸に並行な軸線に対してドライバーの顔向きが設定角度範囲内に含まれる場合である。設定角度範囲は、例えばドライバモニタカメラ１が視線ベクトルを高精度に推定できる範囲に対応する。設定角度範囲は、ドライバモニタカメラ１の仕様によって変更されてもよく、ドライバモニタカメラ１とアイポイントＥＰとの位置関係に応じて変更されてもよい。ドライバーの顔向きが車両Ｍの前方向から逸れている場合とは、ドライバーの顔向きが設定角度範囲外となる場合である。なお、ドライバーの顔向きが逸れる方向は横方向に限定されず、上下方向が含まれてもよい。

【0047】

ここで、図４（ａ）は、視線円錐領域ＥＣの断面の一例を示す図である。図４（ｂ）は、拡大率を大きくした場合の視線円錐領域ＥＣの断面の一例を示す図である。図４（ｂ）の視線円錐領域ＥＣの断面は、図４（ａ）の断面と比べて大きい円となっている。視線円錐領域推定部１２は、ドライバーの顔向きが車両Ｍの前方向を向いている場合には、図４（ａ）に示す大きさの視線円錐領域ＥＣを推定する。視線円錐領域推定部１２は、ドライバーの顔向きが車両Ｍの前方向から逸れている場合、図４（ｂ）に示すように図４（ａ）と比べて大きい大きさの視線円錐領域ＥＣを推定する。

【0048】

視線円錐領域推定部１２は、ドライバーの顔向きが逸れるほどドライバモニタカメラ１の撮像画像を用いた視線ベクトルの推定精度が低下するおそれがあるため、ドライバーの顔向きが車両Ｍの前方向から逸れている場合に視線円錐領域ＥＣの拡大率を大きくすることで、対象物に対するドライバーの視認判定の精度を向上させることができる。

【0049】

また、視線円錐領域推定部１２は、ドライバーの顔向きが車両Ｍの前方向を向いている場合、視線ベクトルＥＢに直交する断面が縦長の楕円形状となる視線円錐領域ＥＣを推定し、ドライバーの顔向きが車両Ｍの前方向から横に逸れている場合、断面が横長の楕円形状となる視線円錐領域を推定してもよい。縦長とは、視線ベクトルＥＢに直交する断面の横方向の長さと比べて縦方向（上下方向）の長さが長いことを意味する。同様に、横長とは、視線ベクトルＥＢに直交する断面の縦方向の長さと比べて横方向の長さが長いことを意味する。

【0050】

ここで、図５（ａ）は、視線円錐領域ＥＣの縦長の断面の一例を示す図である。図５（ｂ）は、視線円錐領域ＥＣの横長の断面の一例を示す図である。視線円錐領域推定部１２は、ドライバーの顔向きが車両Ｍの前方向を向いている場合、図５（ａ）に示すように断面が縦長の楕円形状となる視線円錐領域ＥＣを推定する。視線円錐領域推定部１２は、ドライバーの顔向きが車両Ｍの前方向から横に逸れている場合、図５（ｂ）に示すように断面が横長の楕円形状となる視線円錐領域を推定する。

【0051】

視線円錐領域推定部１２は、ドライバーの顔向きが車両Ｍの前方向を向いている場合には車両Ｍのピッチ方向における視線ベクトルの推定精度が低くなりやすいため、視線円錐領域ＥＣの断面を縦長の楕円形状とすることで、ドライバーが対象物を視認していないと誤判定してしまうことを避けることができる。同様に、視線円錐領域推定部１２は、ドライバーの顔向きが車両Ｍの横方向に逸れている場合には車両Ｍのヨー方向における視線ベクトルの推定精度が低くなりやすいため、視線円錐領域ＥＣの断面を横長の楕円形状とすることで、対象物に対するドライバーの視認判定の精度を向上させることができる。

【0052】

視線ベクトルＥＢの推定精度は、上述したドライバーの顔向きの他、ドライバーの顔を照らす光の状況、眼鏡やメイク、顔つきなどの個人差によって変化する。視線ベクトルＥＢの推定精度は、例えば外からの強い光がドライバーの顔にあたってドライバーの目の周りに白飛びが発生した場合に低下する。視線ベクトルＥＢの推定精度は、外からの光のあたり方によりドライバーの顔の目の周りだけが影となった場合にも低下する。

【0053】

視線ベクトルＥＢの推定精度は、ドライバーが眼鏡を掛けている場合、ドライバーが眼鏡を掛けていない場合と比べて低下する場合がある。視線ベクトルＥＢの推定精度は、眼鏡の縁の形状などによっても変化する。視線ベクトルＥＢの推定精度は、目の周りにアイライナーやつけまつげなどのメイクが施されている場合、メイクの影響で低下するおそれがある。視線ベクトルＥＢの推定精度は、ドライバーの個人差として高齢などでまぶたが下がり気味である場合に低下するおそれがある。視線円錐領域推定部１２は、上述したような視線ベクトルＥＢの推定精度の低下要因が存在する場合、推定精度の低下要因が存在しない場合と比べて、視線円錐領域ＥＣの拡大率を大きくしてもよい。

【0054】

また、視線円錐領域推定部１２は、車両Ｍの車速に応じて視線円錐領域ＥＣを推定してもよい。ドライバーの有効視野角は、車速によって変化することが知られている。具体的に、視線円錐領域推定部１２は、車両Ｍの車速が車速判定閾値以上である場合、車速が車速判定閾値未満である場合と比べてアイポイントＥＰからの距離による視線円錐領域ＥＣの拡大率を小さくしてもよい。車速判定閾値は予め設定された値の閾値である。車速判定閾値は４０ｋｍ／ｈであってもよく、５０ｋｍ／ｈであってもよく、６０ｋｍ／ｈであってもよい。車速判定閾値の値は特に限定されない。

【0055】

視線円錐領域推定部１２は、車速が高い場合にはドライバーの有効視野角が狭まることから、車速が車速判定閾値以上である場合に視線円錐領域ＥＣの拡大率を小さくすることで、対象物に対するドライバーの視認判定の精度を向上させることができる。

【0056】

なお、視線円錐領域推定部１２は、有効視野角を全ドライバー共通の固定値としてもよく、ドライバーの個人認証を行っている場合にはドライバーごとに個別に値を設定してもよい。ドライバーの個別の有効視野角の値は、例えばドライバーの年齢、身長、性別などから設定することができる。視線円錐領域推定部１２は、ドライバーの運転者登録時にフロントガラス上に仮想の対象物を投影してドライバーが視認していると考える範囲で視線を動かして貰うなどすることで、有効視野角に関するドライバー検査を行ってもよい。視線円錐領域推定部１２は、有効視野角に関するドライバー検査の結果を踏まえてドライバーの個別の有効視野角の値を設定してもよい。

【0057】

更に、視線円錐領域推定部１２は、車両Ｍの走行状態に応じて視線円錐領域ＥＣを推定してもよい。具体的に、視線円錐領域推定部１２は、車両Ｍが旋回中である場合、車両Ｍが旋回中ではない場合と比べて、視線ベクトルＥＢに直交する断面が車両Ｍの旋回方向（右方向又は左方向）に拡大するように視線円錐領域を推定してもよい。

【0058】

視線円錐領域推定部１２は、例えば内部センサ３のヨーレートセンサの検出したヨーレート情報に基づいて、車両Ｍが旋回中であるか否かを判定する。視線円錐領域推定部１２は、車両Ｍのヨーレートが旋回閾値以上である場合、車両Ｍが旋回中であると判定する。視線円錐領域推定部１２は、車両Ｍの操舵角に基づいて車両Ｍが旋回中であるか否かの判定を行ってもよい。視線円錐領域推定部１２は、車両Ｍの操舵角が旋回操舵角閾値以上である場合、車両Ｍは旋回中であると判定する。旋回閾値及び旋回操舵角閾値は予め設定された値の閾値である。

【0059】

視線円錐領域推定部１２は、車両Ｍが旋回中である場合、断面が車両Ｍの旋回方向に拡大するように視線円錐領域ＥＣを推定する。図５（ｂ）を参照して説明すると、視線円錐領域推定部１２は、例えば旋回方向が図５（ｂ）に示す矢印Ｐと一致する場合、図５（ｂ）に示すように旋回方向に断面が拡大された視線円錐領域ＥＣを推定する。このとき、視線円錐領域ＥＣの縦幅は、車両Ｍが旋回していない場合と同一であってもよく、車両Ｍが旋回していない場合と比べて短くしてもよい。

【0060】

視線円錐領域推定部１２は、車両が旋回中である場合にはドライバーが旋回先を意識して見ると考えることができることから、視線円錐領域の視線ベクトルに直交する断面を車両の旋回方向に拡大することで、対象物に対するドライバーの視認判定の精度を向上させることができる。

【0061】

また、視線円錐領域推定部１２は、ドライバーから見た対象物の移動速度が移動速度閾値以上である場合、ドライバーから見た対象物の移動方向に断面が拡大するように視線円錐領域ＥＣを推定してもよい。ドライバーから見た対象物の移動速度は、上述した対象物認識部１１により認識される。移動速度閾値は予め設定された値の閾値である。

【0062】

図５（ｂ）を参照して説明すると、視線円錐領域推定部１２は、例えば歩行者５０の移動速度が移動速度閾値以上である場合、図５（ｂ）に示すように断面が歩行者５０の進行方向Ｐに拡大された視線円錐領域ＥＣを推定する。視線円錐領域推定部１２は、ドライバーが移動速度が早い対象物の移動を考慮して視認しようとすると考えられることから、対象物の移動方向に断面が拡大するように視線円錐領域を推定することで、対象物に対するドライバーの視認判定の精度を向上させることができる。

【0063】

また、視線円錐領域推定部１２は、ドライバーが対象物を視認していると判定された後、ドライバーが対象物を視認していないと判定されるまでの間、ドライバーが対象物を視認している前と比べて、視線円錐領域ＥＣの拡大率を大きくしてもよい。対象物の視認判定は後述する視認判定部１３で行われる。

【0064】

図４（ａ）及び図４（ｂ）を参照して説明すると、視線円錐領域推定部１２は、例えば図４（ａ）に示すドライバーが歩行者５０を視認していると判定された後、ドライバーが歩行者５０を視認していないと判定されるまでの間、ドライバーが対象物を視認する前の図４（ａ）と比べて図４（ｂ）のように視線円錐領域ＥＣの拡大率を大きくする。視線円錐領域推定部１２は、一度視認した対象物からドライバーが視線を少しずらしても対象物を視認している可能性が高いと考えられることから、視線円錐領域の拡大率を大きくすることで対象物に対するドライバーの視認判定の精度を向上させることができる。

【0065】

更に、視線円錐領域推定部１２は、対象物の認識精度（対象物の位置や対象物のサイズの認識精度）を考慮して、視線円錐領域ＥＣを推定してもよい。対象物の認識精度は、外部センサ２の検出誤差、車両Ｍと対象物との相対速度などによって変化する。外部センサ２の検出誤差の求め方については周知の技術を用いることができるため詳細な説明を省略する。

【0066】

視線円錐領域推定部１２は、外部センサ２の検出誤差が誤差閾値以上である場合、検出誤差が誤差閾値未満である場合と比べて、対象物の認識精度が低下している可能性があることから視線円錐領域ＥＣの拡大率を大きくしてもよい。

【0067】

視線円錐領域推定部１２は、車両Ｍと対象物との相対速度が相対速度閾値以上である場合、車両Ｍと対象物との相対速度が相対速度閾値未満である場合と比べて、対象物の認識精度が低下している可能性があることから、視線円錐領域ＥＣの拡大率を大きくしてもよい。誤差閾値及び相対速度閾値は予め設定された値の閾値である。

【0068】

視線円錐領域推定部１２は、対象物のサイズを誤って大きく認識するサイズ誤認識が生じている場合には、サイズ誤認識が生じていない場合と比べて、視線円錐領域ＥＣの拡大率を小さくしてもよい。サイズ誤認識の発生は外部センサ２の検出誤差やフュージョン情報に含まれるサイズ推定誤差の情報から判定できる。サイズ誤認識の発生は周知の技術により判定できる。

【0069】

また、視線円錐領域推定部１２は、車両Ｍに対する対象物の位置に応じて視線円錐領域ＥＣを推定してもよい。具体的に、視線円錐領域推定部１２は、対象物の位置が車両Ｍの前方向から横に逸れているほど、断面が横に長い視線円錐領域ＥＣを推定してもよい。また、視線円錐領域推定部１２は、対象物の種別に応じて視線円錐領域ＥＣを推定してもよい。具体的に、視線円錐領域推定部１２は、対象物の種別が二輪車である場合、対象物の種別が四輪車である場合と比べて見落としやすいことから、視線円錐領域ＥＣの拡大率を小さくしてもよい。二輪車の他、歩行者など見落としやすい対象物に対して視線円錐領域ＥＣの拡大率の縮小を適用することができる。

【0070】

視認判定部１３は、対象物認識部１１の認識した対象物と視線円錐領域推定部１２の推定したドライバーの視線円錐領域ＥＣとに基づいて、ドライバーが対象物を視認しているか否かを判定する。視認判定部１３は、例えば、車両Ｍ又はドライバーのアイポイントＥＰを基準とした三次元空間の座標系における視線円錐領域ＥＣと対象物との重なりからドライバーが対象物を視認しているか否かを判定する。

【0071】

視認判定部１３は、例えば視線円錐領域ＥＣと対象物との重なり割合が視認判定閾値以上である場合にドライバーが対象物を視認していると判定する（図３（ａ）参照）。視認判定部１３は、視線円錐領域ＥＣと対象物との重なり割合が視認判定閾値未満である場合にはドライバーが対象物を視認していないと判定する（図３（ｂ）参照）。視認判定閾値は予め設定された値の閾値である。視認判定閾値は三割であってもよく、四割であってもよく、五割であってもよい。視認判定閾値の値は特に限定されない。

【0072】

重なり割合とは、視線円錐領域ＥＣに対して対象物が重なる割合である。重なり割合の算出には対象物そのものを用いてもよく、図３及び図４に示すようなバウンディングボックス６０を用いてもよい。

【0073】

視認判定部１３は、平面座標系における視線円錐領域ＥＣと対象物との重なりからドライバーが対象物を視認しているか否かを判定してもよい。視認判定部１３は、ドライバーのアイポイントＥＰが基準となるように視点変換された撮像画像上に対象物及び視線円錐領域ＥＣを投影し、撮像画像上における視線円錐領域ＥＣの範囲に対して対象物の占める割合を重なり割合として算出してもよい。視認判定部１３は、その他の周知の技術を用いて対象物と視線円錐領域ＥＣとの重なり割合を算出してもよい。視認判定部１３は、視線円錐領域ＥＣと対象物との重なり割合が視認判定閾値以上である場合にドライバーが対象物を視認していると判定する。

【0074】

視認判定部１３は、三次元空間の座標系又は平面座標系における視線円錐領域ＥＣと対象物との重なりから、機械学習モデルを用いてドライバーが対象物を視認しているか否かを判定してもよい。

【0075】

視認判定部１３は、視線円錐領域ＥＣと対象物との重なり割合が視認判定閾値以上である状態が一定時間継続した場合に、ドライバーが対象物を視認していると判定する態様であってもよい。視認判定部１３は、夜間である場合には、昼間である場合と比べて、一定時間を長い時間に変更してもよい。一定時間は、対象物の種別に応じて異なる時間が設定されていてもよい。

【0076】

視認判定部１３は、視認判定結果を踏まえてドライバーに対する注意喚起又は情報提供を行ってもよい。視認判定部１３は、ＨＭＩ４に制御信号を送信することにより、ドライバーに対する注意喚起又は情報提供を実行する。視認判定部１３は、例えば、ＨＭＩ４のスピーカーの音出力又はディスプレイへの画像表示によりドライバーが視認していない対象物の存在の注意喚起を行う。視認判定部１３は、スピーカーの音出力又はディスプレイへの画像表示によりドライバーが視認している対象物に関する情報提供を行ってもよい。その他、視認判定部１３は、ドライバーの対象物の視認判定結果を車両Ｍの運転支援システムや自動運転システムに送信してもよい。

【0077】

［視認判定装置の制御方法］
次に、本実施形態に係る視認判定装置１００の制御方法について図面を参照して説明する。図６は、視認判定処理の一例を示すフローチャートである。視認判定処理は、例えば車両Ｍのイグニッションがオン状態となっている場合に実行される。

【0078】

図６に示すように、視認判定装置１００の視認判定ＥＣＵ１０は、Ｓ１０として、対象物認識部１１により車両Ｍの外部の対象物を認識したか否かを判定する。対象物認識部１１は、例えばセンサフュージョンにより対象物を認識する。視認判定ＥＣＵ１０は、対象物を認識したと判定された場合（Ｓ１０：ＹＥＳ）、Ｓ１１に移行する。視認判定ＥＣＵ１０は、対象物を認識したと判定されなかった場合（Ｓ１０：ＮＯ）、視認判定処理を終了する。視認判定ＥＣＵ１０は、一定時間の経過後Ｓ１０から処理を繰り返す。

【0079】

Ｓ１１において、視認判定ＥＣＵ１０は、視線円錐領域推定部１２によりドライバーの顔向きを認識する。視線円錐領域推定部１２は、ドライバモニタカメラ１のドライバー撮像画像に基づいてドライバーの顔向きを認識する。その後、視認判定ＥＣＵ１０はＳ１２に移行する。

【0080】

Ｓ１２において、視認判定ＥＣＵ１０は、視線円錐領域推定部１２によりドライバーの視線ベクトルＥＢを推定する。視線円錐領域推定部１２は、ドライバモニタカメラ１のドライバー撮像画像に基づいて、ドライバーのアイポイントＥＰから延びるドライバーの視線ベクトルＥＢを推定する。その後、視認判定ＥＣＵ１０はＳ１３に移行する。なお、ドライバーの顔向きの認識とドライバーの視線ベクトルＥＢの推定は同時に行われてもよい。

【0081】

Ｓ１３において、視認判定ＥＣＵ１０は、視線円錐領域推定部１２によりドライバーの顔向きが車両Ｍの前方向から逸れているか否かを判定する。視認判定ＥＣＵ１０は、ドライバーの顔向きが車両Ｍの前方向から逸れていると判定された場合（Ｓ１３：ＹＥＳ）、Ｓ１４に移行する。視認判定ＥＣＵ１０は、ドライバーの顔向きが車両Ｍの前方向から逸れていると判定されなかった場合（Ｓ１３：ＮＯ）、Ｓ１５に移行する。

【0082】

Ｓ１４において、視認判定ＥＣＵ１０は、視線円錐領域推定部１２により、後述するＳ１５の場合と比べて拡大した視線円錐領域ＥＣを推定する。拡大した視線円錐領域ＥＣとは、アイポイントＥＰからの距離による視線円錐領域ＥＣの拡大率を大きくしたと言う意味である。視線円錐領域推定部１２は、視線ベクトルＥＢを基準として円錐状に広がる視線円錐領域ＥＣを設定する。なお、視線円錐領域推定部１２は、図５（ｂ）に示すような断面が横長の視線円錐領域ＥＣを推定してもよい。その後、視認判定ＥＣＵ１０は、Ｓ１６に移行する。

【0083】

Ｓ１５において、視認判定ＥＣＵ１０は、視線円錐領域推定部１２により視線円錐領域ＥＣを推定する。ここでは、ドライバーの顔向きに応じた視線円錐領域ＥＣの拡大は行わない。なお、視線円錐領域推定部１２は、図５（ａ）に示すような断面が縦長の視線円錐領域ＥＣを推定してもよい。その後、視認判定ＥＣＵ１０は、Ｓ１６に移行する。

【0084】

Ｓ１６において、視認判定ＥＣＵ１０は、視認判定部１３により視線円錐領域ＥＣと対象物との重なり割合が視認判定閾値以上であるか否かを判定する。視認判定ＥＣＵ１０は、視線円錐領域ＥＣと対象物との重なり割合が視認判定閾値以上であると判定された場合（Ｓ１６：ＹＥＳ）、Ｓ１７に移行する。視認判定ＥＣＵ１０は、視線円錐領域ＥＣと対象物との重なり割合が視認判定閾値以上であると判定されなかった場合（Ｓ１６：ＮＯ）、Ｓ１８に移行する。

【0085】

Ｓ１７において、視認判定ＥＣＵ１０は、視認判定部１３によりドライバーが対象物を視認していると判定する。視認判定部１３は、ドライバーの視認判定結果を車両Ｍの運転支援システム又は自動運転システムに送信する。その後、視認判定ＥＣＵ１０は、視認判定処理を終了し、一定時間の経過後Ｓ１０から処理を繰り返す。

【0086】

Ｓ１８において、視認判定ＥＣＵ１０は、視認判定部１３によりドライバーが対象物を視認していないと判定する。視認判定部１３は、ドライバーの視認判定結果を車両Ｍの運転支援システム又は自動運転システムに送信する。その後、視認判定ＥＣＵ１０は、視認判定処理を終了し、一定時間の経過後Ｓ１０から処理を繰り返す。

【0087】

視認判定ＥＣＵ１０は、ドライバーの顔向き以外の各種状況に応じて視線円錐領域ＥＣを推定してもよい。図７（ａ）は、車速に応じた視線円錐領域推定処理の一例を示すフローチャートである。視線円錐領域推定処理は、例えば図６のフローチャートにおけるＳ１２とＳ１３の間で実行することができる。視線円錐領域推定処理は、Ｓ１４又はＳ１５とＳ１６の間で実行されてもよい。後述する各種の視線円錐領域推定処理についても同様である。

【0088】

図７（ａ）に示すように、視認判定ＥＣＵ１０は、Ｓ２０として、視線円錐領域推定部１２により車両Ｍの車速が車速判定閾値以上であるか否かを判定する。視認判定ＥＣＵ１０は、車速が車速判定閾値以上であると判定された場合（Ｓ２０：ＹＥＳ）、Ｓ２１に移行する。視認判定ＥＣＵ１０は、車速が車速判定閾値以上であると判定されなかった場合（Ｓ２０：ＮＯ）、Ｓ２２に移行する。

【0089】

Ｓ２１において、視認判定ＥＣＵ１０は、視線円錐領域推定部１２により視線円錐領域ＥＣを推定する。この場合は車速に応じた視線円錐領域ＥＣの変更は行われない。その後、視認判定ＥＣＵ１０は、視線円錐領域推定処理を終了する。

【0090】

Ｓ２２において、視認判定ＥＣＵ１０は、視線円錐領域推定部１２によりＳ２１の場合と比べて縮小した視線円錐領域ＥＣを推定する。縮小した視線円錐領域ＥＣとは、アイポイントＥＰからの距離による視線円錐領域ＥＣの拡大率を小さくしたと言う意味である。その後、視認判定ＥＣＵ１０は、視線円錐領域推定処理を終了する。

【0091】

図７（ｂ）は、車両の旋回に応じた視線円錐領域推定処理の一例を示すフローチャートである。図７（ｂ）に示すように、視認判定ＥＣＵ１０は、Ｓ３０として、視線円錐領域推定部１２により車両Ｍが旋回中であるか否かを判定する。視線円錐領域推定部１２は、車両Ｍのヨーレート又は車両Ｍの操舵角に基づいて車両Ｍが旋回中であるか否かを判定する。視認判定ＥＣＵ１０は、車両Ｍが旋回中であると判定された場合（Ｓ３０：ＹＥＳ）、Ｓ３１に移行する。視認判定ＥＣＵ１０は、車両Ｍが旋回中であると判定されなかった場合（Ｓ３０：ＮＯ）、Ｓ３２に移行する。

【0092】

Ｓ３１において、視認判定ＥＣＵ１０は、視線円錐領域推定部１２により、後述するＳ３２の場合と比べて車両Ｍの旋回方向に拡大した視線円錐領域ＥＣを推定する。車両Ｍの旋回方向に拡大した視線円錐領域ＥＣとは、視線ベクトルＥＢに直交する断面が車両Ｍの旋回方向に拡大された視線円錐領域ＥＣを意味する。その後、視認判定ＥＣＵ１０は、視線円錐領域推定処理を終了する。

【0093】

Ｓ３２において、視認判定ＥＣＵ１０は、視線円錐領域推定部１２により視線円錐領域ＥＣを推定する。この場合は車両Ｍの旋回に応じた視線円錐領域ＥＣの変更は行われない。その後、視認判定ＥＣＵ１０は、視線円錐領域推定処理を終了する。

【0094】

図８（ａ）は、対象物の移動速度に応じた視線円錐領域推定処理の一例を示すフローチャートである。図８（ａ）に示すように、視認判定ＥＣＵ１０は、Ｓ４０として、視線円錐領域推定部１２によりドライバーから見た対象物の移動速度が移動速度閾値以上であるか否かを判定する。視認判定ＥＣＵ１０は、ドライバーから見た対象物の移動速度が移動速度閾値以上であると判定された場合（Ｓ４０：ＹＥＳ）、Ｓ４１に移行する。視認判定ＥＣＵ１０は、ドライバーから見た対象物の移動速度が移動速度閾値以上であると判定されなかった場合（Ｓ４０：ＮＯ）、Ｓ４２に移行する。

【0095】

Ｓ４１において、視認判定ＥＣＵ１０は、視線円錐領域推定部１２により、後述するＳ４２の場合と比べて対象物の移動方向に拡大した視線円錐領域ＥＣを推定する。対象物の移動方向に拡大した視線円錐領域ＥＣとは、視線ベクトルＥＢに直交する断面が対象物の移動方向に拡大された視線円錐領域ＥＣを意味する。その後、視認判定ＥＣＵ１０は、視線円錐領域推定処理を終了する。

【0096】

Ｓ４２において、視認判定ＥＣＵ１０は、視線円錐領域推定部１２により視線円錐領域ＥＣを推定する。この場合は対象物の移動速度に応じた視線円錐領域ＥＣの変更は行われない。その後、視認判定ＥＣＵ１０は、視線円錐領域推定処理を終了する。

【0097】

図８（ｂ）は、ドライバーの視認状況に応じた視線円錐領域推定処理の一例を示すフローチャートである。図８（ｂ）に示すように、視認判定ＥＣＵ１０は、Ｓ５０として、視線円錐領域推定部１２により、視認判定処理の対象物がドライバーが視認していると判定されている対象物であるか否かを判定する。視認判定ＥＣＵ１０は、ドライバーが視認していると判定されている対象物であると判定された場合（Ｓ５０：ＹＥＳ）、Ｓ５１に移行する。視認判定ＥＣＵ１０は、ドライバーが視認していると判定されている対象物であると判定されなかった場合（Ｓ５０：ＮＯ）、Ｓ５２に移行する。

【0098】

Ｓ５１において、視認判定ＥＣＵ１０は、視線円錐領域推定部１２により、後述するＳ５２の場合と比べて拡大した視線円錐領域ＥＣを推定する。その後、視認判定ＥＣＵ１０は、視線円錐領域推定処理を終了する。

【0099】

Ｓ５２において、視認判定ＥＣＵ１０は、視線円錐領域推定部１２により視線円錐領域ＥＣを推定する。この場合は対象物の視認の有無に応じた視線円錐領域ＥＣの変更は行われない。その後、視認判定ＥＣＵ１０は、視線円錐領域推定処理を終了する。

【0100】

以上説明した本実施形態に係る視認判定装置１００（及び視認判定装置１００の制御方法）によれば、ドライバーの顔向きによってドライバモニタカメラ１の撮像画像に基づく視線ベクトルＥＢの推定精度が低下することから、顔向きに応じて視線円錐領域ＥＣを推定することで対象物に対するドライバーの視認判定の精度を向上させることができる。

【0101】

また、視認判定装置１００によれば、ドライバーの顔向きが車両Ｍの前方向を向いている場合には車両Ｍのピッチ方向における視線ベクトルの推定精度が低いため断面が縦長の楕円形状となる視線円錐領域ＥＣを推定し、ドライバーの顔向きが車両Ｍの前方向から横に逸れている場合には車両Ｍのヨー方向における視線ベクトルの推定精度が低くなるため断面が横長の楕円形状となる視線円錐領域ＥＣを推定することで、対象物に対するドライバーの視認判定の精度を向上させることができる。

【0102】

また、視認判定装置１００によれば、車速が高い場合にはドライバーの有効視野角が狭まることから、車速が車速判定閾値以上である場合に視線円錐領域の拡大率を小さくすることで、対象物に対するドライバーの視認判定の精度を向上させることができる。

【0103】

更に、視認判定装置１００によれば、車両Ｍが旋回中である場合にはドライバーが旋回先を意識して見ると考えることができることから、視線円錐領域ＥＣの視線ベクトルに直交する断面を車両Ｍの旋回方向に拡大することで、対象物に対するドライバーの視認判定の精度を向上させることができる。

【0104】

また、視認判定装置１００によれば、ドライバーから見た対象物の移動速度が早い場合には、ドライバーは対象物の移動を考慮して視認しようとすることから、対象物の移動方向に視線ベクトルに直交する断面が拡大するように視線円錐領域ＥＣを推定することで、対象物に対するドライバーの視認判定の精度を向上させることができる。

【0105】

また、視認判定装置１００によれば、一度視認した対象物からドライバーが視線を少しずらしても対象物を視認している可能性が高いと考えられることから、視線円錐領域ＥＣの拡大率を大きくすることで対象物に対するドライバーの視認判定の精度を向上させることができる。

【0106】

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の推定、改良を施した様々な形態で実施することができる。

【符号の説明】

【0107】

１…ドライバモニタカメラ、２…外部センサ、１０…視認判定ＥＣＵ、１１…対象物認識部、１２…視線円錐領域推定部、１３…視認判定部、５０…歩行者（対象物）、１００…視認判定装置、ＥＢ…視線ベクトル、ＥＣ…視線円錐領域、ＥＰ…アイポイント、Ｍ…車両。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】