特開 2022-110740 開眼度算出装置及び開眼度算出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022110740

(43)【公開日】2022-07-29

(54)【発明の名称】開眼度算出装置及び開眼度算出方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220722BHJP

   B60W 40/08 20120101ALI20220722BHJP

【ＦＩ】

G06T7/00 660A

B60W40/08

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2021006344

(22)【出願日】2021-01-19

(71)【出願人】

【識別番号】000001487

【氏名又は名称】フォルシアクラリオン・エレクトロニクス株式会社

(74)【代理人】

【識別番号】110001081

【氏名又は名称】特許業務法人クシブチ国際特許事務所

(72)【発明者】

【氏名】関根 信昭

(72)【発明者】

【氏名】古郡 弘滋

(72)【発明者】

【氏名】古澤 克志

(72)【発明者】

【氏名】吉成 公一

【テーマコード（参考）】

3D241

5L096

【Ｆターム（参考）】

3D241CE05

3D241DD04Z

5L096AA06

5L096BA04

5L096CA04

5L096DA02

5L096GA30

5L096HA09

5L096JA11

5L096JA18

(57)【要約】

【課題】開眼度の算出精度の劣化を抑制した開眼度算出装置を提供する。
【解決手段】開眼度算出装置１は、車両の運転席の右斜め前方に配置された第１撮影部１０Ａと、運転席の左斜め前方に配置された第２撮影部１０Ｂと、第１撮影部１０Ａの第１画像と、第２撮影部１０Ｂの第２画像との少なくとも一方に基づき、運転者が眼鏡を着用しているか否かを判定する眼鏡着用判定部５３と、第１画像及び第２画像から運転者の両眼の位置を特定する特徴点をそれぞれ検出する特徴点検出部５５と、記運転者が眼鏡を着用している場合に、特徴点検出部５５の検出結果に基づき、運転者の眼の開眼度の判定に使用する画像として第１画像又は第２画像のいずれか一方を選択する選択部５７と、選択された第１画像又は第２画像のいずれか一方から検出した特徴点に基づき、運転者の眼の開眼度を算出する算出部５９とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

車両の運転席の右斜め前方に配置され、前記運転席に着座した運転者の顔を含む第１画像を撮影する第１撮影部と、
前記運転席の前方又は左斜め前方に配置され、前記運転席に着座した運転者の顔を含む第２画像を撮影する第２撮影部と、
前記第１画像及び前記第２画像の少なくとも一方に基づき、前記運転者が眼鏡を着用しているか否かを判定する判定部と、
前記第１画像及び前記第２画像から前記運転者の両眼の位置を特定する特徴点をそれぞれ検出する検出部と、
前記運転者が眼鏡を着用している場合に、前記検出部の検出結果に基づき、前記運転者の眼の開眼度の判定に使用する画像として前記第１画像又は前記第２画像のいずれか一方を選択する選択部と、
前記選択部が選択した前記第１画像又は前記第２画像のいずれか一方から検出した特徴点に基づき、前記運転者の眼の開眼度を算出する算出部と、
を備えることを特徴とする開眼度算出装置。

【請求項2】

前記選択部は、前記運転者が眼鏡を着用している場合に、前記第１画像から検出した特徴点の数に基づき、特徴点の検出精度に劣化が生じているか否かを左右の眼ごとに判定し、前記第２画像から検出した特徴点の数に基づき、特徴点の検出精度に劣化が生じているか否かを左右の眼ごとに判定し、
判定結果に基づき、前記運転者の眼の開眼度の判定に使用する画像として前記第１画像又は前記第２画像のいずれか一方を選択する、ことを特徴とする請求項１記載の開眼度算出装置。

【請求項3】

車両の運転席の右斜め前方に配置された第１撮影部により、前記運転席に着座した運転者の顔を含む第１画像を撮影するステップと、
前記運転席の前方又は左斜め前方に配置された第２撮影部により、前記運転席に着座した運転者の顔を含む第２画像を撮影するステップと、
前記第１画像及び前記第２画像の少なくとも一方に基づき、前記運転者が眼鏡を着用しているか否かを判定するステップと、
前記第１画像及び前記第２画像の少なくとも一方に基づき、前記運転者が眼鏡を着用しているか否かを判定するステップと、
前記第１画像及び前記第２画像から前記運転者の両眼の位置を特定する特徴点をそれぞれ検出するステップと、
前記運転者が眼鏡を着用している場合に、特徴点の検出結果に基づき、前記運転者の眼の開眼度の判定に使用する画像として前記第１画像又は前記第２画像のいずれか一方を選択するステップと、
選択された前記第１画像又は前記第２画像のいずれか一方から検出した特徴点に基づき、前記運転者の眼の開眼度を算出するステップと、
を有することを特徴とする開眼度算出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、開眼度算出装置及び開眼度算出方法に関する。

【背景技術】

【0002】

従来、車両の運転者の顔を撮影し、撮影した画像から運転者の眼を検出して眼の開眼度を算出する装置が知られている。
例えば、特許文献１は、被験者の眼の撮影画像にも基づいて被験者の眼の開眼度に関する開眼度データを取得する開眼度データ取得手段と、開眼度データ取得手段が取得した開眼度データに基づいて被験者の開眼度を判定する開眼度判定手段を備える開眼度判定装置を開示する。開眼度判定手段は、開眼度データ取得手段が取得した開眼度データの内で、開眼度データが示す被験者の左右の眼の開眼度の尤度が高い方の眼の開眼度データに基づいて被験者の開眼度を判定している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１１－１５２２１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

運転者が眼鏡を着用している場合、外光の影響により眼の検出精度が劣化する場合がある。このため、外光の影響を低減して眼の検出精度の低下を抑制する技術が求められている。
特許文献1に開示の開眼度データ取得手段は、開眼度の尤度が低い側の眼の開眼度を棄却する構成を開示するが、両眼の尤度が共に低下してしまった場合、開眼度を判定することができず、判定を継続することができない。

【0005】

本発明は上記事情に鑑みてなされたものであり、外光の影響による眼の検出精度の劣化を抑制し、開眼度の算出精度の低下を抑制した開眼度算出装置及び開眼度算出方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

かかる目的を達成するために本発明の開眼度算出装置は、車両の運転席の右斜め前方に配置され、前記運転席に着座した運転者の顔を含む第１画像を撮影する第１撮影部と、前記運転席の前方又は左斜め前方に配置され、前記運転席に着座した運転者の顔を含む第２画像を撮影する第２撮影部と、前記第１画像及び前記第２画像の少なくとも一方に基づき、前記運転者が眼鏡を着用しているか否かを判定する判定部と、前記第１画像及び前記第２画像から前記運転者の両眼の位置を特定する特徴点をそれぞれ検出する検出部と、前記運転者が眼鏡を着用している場合に、前記検出部の検出結果に基づき、前記運転者の眼の開眼度の判定に使用する画像として前記第１画像又は前記第２画像のいずれか一方を選択する選択部と、前記選択部が選択した前記第１画像又は前記第２画像のいずれか一方から検出した特徴点に基づき、前記運転者の眼の開眼度を算出する算出部と、を備えることを特徴とする。

【発明の効果】

【0007】

本発明によれば、外光の影響による眼の検出精度の劣化を抑制し、開眼度の算出精度の低下を抑制することができる。

【図面の簡単な説明】

【0008】

【図1】開眼度算出装置の構成の一例を示す図である。

【図2】車室内での第１撮影部及び第２撮影部の設置位置を示す図である。

【図3】撮影部の設置位置と、眼鏡への映り込み状態との関係を示す図である。

【図4】撮影部の設置位置と、眼鏡への映り込み状態との関係を示す図である。

【図5】開眼度算出装置の動作を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、図面を参照して本発明の開眼度算出装置及び開眼度算出方法の実施形態を説明する。

【0010】

図１は、開眼度算出装置１の全体構成の一例を示す図である。
開眼度算出装置１は、撮影部１０及び制御装置３０を備え、車両に搭載される。撮影部１０は、第１撮影部１０Ａと第２撮影部１０Ｂとを備える。

【0011】

図２は、車両内での第１撮影部１０Ａ及び第２撮影部１０Ｂの設置位置を示す図である。
第１撮影部１０Ａは、車両の運転席の右斜め前方に設置される。第１撮影部１０Ａは、運転席に着座した運転者を撮影し、運転者の顔画像を含む第１画像を生成する。第１撮影部１０Ａは、生成した第１画像を制御装置３０に出力する。制御装置３０は、入力された第１画像をメモリ３３に一時的に記憶させる。

【0012】

第２撮影部１０Ｂは、車両の運転席の左斜め前方に設置される。第２撮影部１０Ｂは、運転席に着座した運転者を撮影し、運転者の顔画像を含む第２画像を生成する。第２撮影部１０Ｂは、生成した第２画像を制御装置３０に出力する。制御装置３０は、入力された第２画像をメモリ３３に一時的に記憶させる。

【0013】

第１撮影部１０Ａは、例えば、運転席側のＡピラー２１や、ダッシュボード２３の右端に設置される。図２には、第１撮影部１０Ａを運転席側のＡピラー２１に設置した例を示す。
第２撮影部１０Ｂは、例えば、ダッシュボード２３やセンタークラスター２５、センターコンソールに設置される。例えば、第２撮影部１０Ｂをダッシュボードに設置する場合、車両の車幅方向の中央の位置又は助手席側に設置される。図２には、第１撮影部１０Ａをセンタークラスター２５に設置した例を示す。

【0014】

第２撮影部１０Ｂは、運転席に着座した運転者の正面、すなわち運転席の前方に設置してもよい。第２撮影部１０Ｂを運転者の正面に設置する場合、例えば、ダッシュボードや、コラムカバーの上面、ステアリングホイール等に第２撮影部１０Ｂを設置可能である。

【0015】

制御装置３０は、入出力インターフェイス３１、メモリ３３及びプロセッサ５０を備え、第１撮影部１０Ａ及び第２撮影部１０Ｂと通信可能に接続される。本実施形態では、制御装置３０は、ＥＣＵ（Electronic Control Unit）により構成される。

【0016】

入出力インターフェイス３１は、通信バスに接続され、通信バスに接続された外部の装置と相互にデータ通信を行う。通信バスは、イーサネット（登録商標）や、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）等の規格に従うバスである。また、外部の装置には、例えば、自動運転を制御するＥＣＵや、運転者の状態を判定するＥＣＵが含まれる。

【0017】

メモリ３３は、プロセッサ５０が実行するプログラムやデータ等を不揮発的に記憶する記憶装置である。メモリ３３は、磁気的記憶装置、フラッシュＲＯＭ（Read Only Memory）等の半導体記憶素子、或いはその他の種類の不揮発性記憶装置により構成される。また、メモリ３３は、プロセッサ５０のワークエリアを構成するＲＡＭ（Random Access Memory）を含んでもよい。メモリ３３は、プロセッサ５０により処理されるデータや、プロセッサ５０が実行するプログラム等を記憶する。
プロセッサ５０は、単一のプロセッサで構成されてもよいし、複数のプロセッサがプロセッサ５０として機能する構成であってもよい。

【0018】

制御装置３０は、機能的構成として、顔領域抽出部５１、眼鏡着用判定部５３、特徴点検出部５５、選択部５７及び算出部５９を備える。これらの機能は、プロセッサ５０が、プログラムに従った演算を行うことで実現される機能である。眼鏡着用判定部５３は、判定部に相当し、特徴点検出部５５は、検出部に相当する。

【0019】

顔領域抽出部５１は、メモリ３３に記憶された第１画像及び第２画像を取得する。
顔領域抽出部５１は、第１画像から運転者の顔に対応する領域（以下「顔領域」という。）を抽出する。顔領域抽出部５１は、肌色領域抽出等の公知の手法を用いて顔領域を抽出する。また、顔領域抽出部５１は、第２画像についても同様に、公知の手法を用いて顔領域を抽出する。

【0020】

眼鏡着用判定部５３は、第１画像及び第２画像の少なくとも一方を解析して、運転者が眼鏡を着用しているか否かを判定する。例えば、眼鏡着用判定部５３は、メモリ３３に予め記憶させた眼鏡着用画像と、第１画像及び第２画像少なくとも一方とを比較して、運転者が眼鏡を着用しているか否かを判定する。眼鏡着用画像とは、眼鏡を着用した運転者の顔を撮影した画像である。
また、眼鏡着用判定部５３は、第１画像及び第２画像の少なくとも一方にエッジ検出等画像処理を行って眼鏡のつるの部分を検出し、つるの部分が検出された場合に、運転者が眼鏡を着用していると判定してもよい。

【0021】

特徴点検出部５５は、運転者の両眼の位置の特定に使用する特徴点を第１画像及び第２画像からそれぞれ検出する。眼の特徴点には、目頭や目尻、瞳孔の位置等が含まれる。また、特徴点検出部５５は、眼の輪郭を表す複数の特徴点を検出してもよい。

【0022】

選択部５７は、運転者の眼の開眼度の算出に使用する画像を選択する。選択部５７は、特徴点検出部５５が検出した特徴点の数に基づいて特徴点の検出状態に劣化が生じているか否かを判定し、判定結果に基づいて眼の開眼度の算出に使用する画像を選択する。
ここで、撮影部１０の設置位置と、外光の位置との関係について図３及び図４を参照しながら説明する。

【0023】

図３は、運転席の正面に撮影部１０を設置し、外光の位置を変更した場合の眼鏡への画像の映り込み状態を検証した結果を示す図である。なお、図３及び図４には、外光として、赤外光の光源７０を使用した場合の結果を示す。
図３（Ａ）は、光源７０が運転者の右斜め３０°に位置したときの眼鏡への画像の映り込み状態を示す図である。この場合、図３（Ａ）に示すように、眼鏡の右眼側のレンズに光源７０の光が映り込み、右眼の検出精度が劣化する。

【0024】

図３（Ｂ）は、光源７０が運転者の正面に位置したときの眼鏡への画像の映り込み状態を示す図である。この場合、図３（Ｂ）に示すように、眼鏡の左右のレンズに光源７０の光が映り、両眼の検出精度が劣化する。

【0025】

図３（Ｃ）は、光源７０が運転者の左斜め３０°に位置したときの眼鏡への画像の映り込み状態を示す図である。この場合、図３（Ｃ）に示すように、眼鏡の左側のレンズに光源７０の光が映り込み、左眼の検出精度が劣化する。

【0026】

図３（Ａ）～図３（Ｃ）に示すように、撮影部１０を運転席の正面に設置した場合、左右の少なくとも一方のレンズに光の映り込みが生じ、運転者の眼の検出精度が劣化する。

【0027】

図４は、撮影部１０を運転席の右斜め３０°に設置し、外光の位置を変更した場合の眼鏡への画像の映り込み状態を検証した結果を示す図である。
図４（Ａ）は、光源７０が運転者の右斜め３０°に位置したときの眼鏡への画像の映り込み状態を示す図である。この場合、図４（Ａ）に示すように、眼鏡への光源７０の映り込みは生じていない。

【0028】

図４（Ｂ）は、光源７０が運転者の正面に位置したときの眼鏡への画像の映り込み状態を示す図である。この場合、図４（Ｂ）に示すように、眼鏡の右側のレンズに光源７０の光が映り込み、右眼の検出精度が劣化する。

【0029】

図４（Ｃ）は、光源７０が運転者の左斜め３０°に位置したときの眼鏡への画像の映り込み状態を示す図である。この場合、図４（Ｃ）に示すように、眼鏡の左右のレンズに光源７０の光が映り込み、左右の両眼の検出精度が劣化する。

【0030】

図４（Ａ）～図４（Ｃ）に示すように、撮影部１０を運転席の右斜め前方に設置した場合、光源７０も運転席の右斜め前方に位置している場合を除き、左右の少なくとも一方のレンズに光の映り込みが生じ、運転者の眼の検出精度を劣化させる。

【0031】

図３及び図４を参照すると明らかなように、撮影部１０の設置数が１台の場合、外乱光の位置によらず、外乱光の影響を受けないようにすることはできない。このため、本実施形態の開眼度算出装置１は、車両に第１撮影部１０Ａ及び第２撮影部１０Ｂの２つの撮影部１０を搭載し、これらの撮影部１０により運転者を撮影する。開眼度算出装置１は、撮影された第１画像及び第２画像のうち、特徴点の検出精度の劣化度が低いほうの画像を選択し、選択した画像を用いて運転者の眼の開眼度を算出する。

【0032】

選択部５７は、第１画像から検出した右眼の特徴点の数を、予め設定されたしきい値と比較して、右眼の特徴点の検出状態に劣化が生じているか否かを判定する。選択部５７は、第１画像から検出した右眼の特徴点の数がしきい値以下の場合、右眼の特徴点の検出状態に劣化が生じていると判定する。
また、選択部５７は、第１画像から検出した左眼の特徴点、第２画像から検出した右眼の特徴点、及び第２画像から検出した左眼の特徴点について、それぞれしきい値と比較して、検出状態に劣化が生じているか否かを判定する。

【0033】

次に、選択部５７は、検出状態に劣化が生じているか否かの判定結果に基づき、眼の開眼度を算出する画像として、第１画像と第２画像のいずれか一方を選択する。
例えば、選択部５７は、第１画像から検出した右眼及び左眼の特徴点の検出状態に劣化が生じていないと判定し、第２画像から検出した右眼及び左眼の少なくとも一方の特徴点の検出状態に劣化が生じていると判定した場合、眼の開眼度を算出する画像として第１画像を選択する。
同様に、選択部５７は、第２画像から検出した右眼及び左眼の特徴点の検出状態に劣化が生じていないと判定し、第１画像から検出した右眼及び左眼の少なくとも一方の特徴点の検出状態に劣化が生じていると判定した場合、眼の開眼度を算出する画像として第２画像を選択する。

【0034】

また、選択部５７は、第１画像から検出した右眼及び左眼の特徴点の検出状態の劣化具合と、第２画像から検出した右眼及び左眼の特徴点の検出状態の劣化具合とが同一である場合、予め設定された画像（第１画像又は第２画像）を、眼の開眼度を算出する画像として選択してもよい。
また、選択部５７は、第１画像から検出した片方の眼の特徴点と、第２画像から検出した他方の眼の特徴点との検出状態とに劣化が生じていないと判定した場合、算出部５９に、第１画像から検出した片方の眼の特徴点と、第２画像から検出した他方の眼の特徴点とに基づいて眼の開眼度を算出させてもよい。例えば、選択部５７は、第１画像から検出した左眼の特徴点と、第２画像から検出した右眼の特徴点との検出状態とに劣化が生じていない場合、これらの眼の特徴点に基づいて眼の開眼度を算出させる。

【0035】

例えば、第１撮影部１０Ａが運転席の右斜め前に設置され、第２撮影部１０Ｂが運転席の正面に設置されていると仮定する。
外乱光が運転席の右斜め前方に位置する場合、図４（Ａ）に示すように第１画像には光源７０の光は映らず、図３（Ａ）に示すように第２画像には右眼のレンズに光源７０の光が映る。このため、第２画像から検出する右眼の特徴点の検出状態は、第１画像から検出する右眼の特徴点の検出状態よりも劣化する。従って、選択部５７は、第１撮影部１０Ａの撮影した第１画像を、開眼度を算出する画像として選択する。

【0036】

外乱光が運転席の正面に位置する場合、図４（Ｂ）に示すように第１画像には右眼のレンズに光源７０の光が映り、図３（Ｂ）に示すように第２画像には両眼のレンズに光源７０の光が映る。このため、第２画像から検出する左眼の特徴点の検出状態は、第１画像から検出する左眼の特徴点の検出状態よりも劣化する。従って、選択部５７は、第１撮影部１０Ａの撮影した第１画像を、開眼度を算出する画像として選択する。

【0037】

外乱光が運転席の左斜め前方に位置する場合、図４（Ｃ）に示すように第１画像には両眼のレンズに光源７０の光が映り、図３（Ｃ）に示すように第２画像には左眼のレンズに光源７０の光が映る。このため、第１画像から検出する右眼の特徴点の検出状態は、第２画像から検出する右眼の特徴点の検出状態よりも劣化する。従って、選択部５７は、第２撮影部１０Ｂの撮影した第２画像を、開眼度を算出する画像として選択する。

【0038】

算出部５９は、選択部５７により選択された画像から検出された特徴点に基づいて眼の開眼度を算出する。また、算出部５９は、運転者が眼鏡を着用していない場合、第１画像及び第２画像の少なくとも一方から検出された両眼の特徴点に基づき、両眼の開眼度を算出する。

【0039】

算出部５９は、例えば、以下の方法により開眼度を算出する。
まず、算出部５９は、特徴点として検出された目尻又は目頭を含む一定領域に対して横ソーベルフィルタを適用し、エッジを強調したエッジ画像を作成する。次に、算出部５９は、目尻又は目頭を中心に、ベジェ曲線等の複数の曲線をエッジ画像上に投影し、そのベジェ曲線上のエッジの強度、すなわち、エッジ画像の画素値を算出する。算出部５９は、複数のベジェ曲線の中からエッジの強度が最も強いものを、上下の瞼曲線として選択する。算出部５９は、上下の瞼曲線の中点における差に基づいて開眼度を算出する。
算出部５９は、算出した開眼度を入出力Ｉ／Ｆ３１を介して外部の装置に出力する。

【0040】

図５は、制御装置３０の動作を示すフローチャートである。
図５に示すフローチャートを参照しながら制御装置３０の動作について説明する。
制御装置３０は、眼の開眼度の算出開始を指示する信号を、入出力Ｉ／Ｆ３１を介して外部の装置から入力されたか否かを判定する（ステップＳ１）。外部の装置には、例えば、車両の自動運転を制御するＥＣＵや、運転者の状態を判定するＥＣＵが含まれる。

【0041】

制御装置３０は、算出開始を指示する信号が入力された場合（ステップＳ１／ＹＥＳ）、第１撮影部１０Ａ及び第２撮影部１０Ｂに撮影の開始を指示する（ステップＳ２）。第１撮影部１０Ａ及び第２撮影部１０Ｂは撮影を実行し、撮影によって生成した第１画像及び第２画像を制御装置３０に出力する。第１画像及び第２画像は、制御装置３０のメモリ３３に一時的に記憶される。

【0042】

次に、制御装置３０は、メモリ３３から第１画像及び第２画像を読み出し、第１画像及び第２画像から両眼の特徴点をそれぞれ検出する（ステップＳ４）。制御装置３０は、検出した特徴点の情報をメモリ３３に記憶させる。

【0043】

次に、制御装置３０は、メモリ３３に記憶した眼鏡着用画像を読み出し、読み出した眼鏡着用画像と、第１画像又は第２画像とを比較して、運転者が眼鏡を着用しているか否かを判定する（ステップＳ４）。
制御装置３０は、運転者が眼鏡を着用していないと判定した場合（ステップＳ４／ＮＯ）、第１画像又は第２画像から検出した特徴点に基づいて両眼の開眼度を算出する（ステップＳ７）。ここで、制御装置３０は、特徴点の検出状態に基づき、開眼度を算出する画像を選択してもよい。

【0044】

また、制御装置３０は、運転者が眼鏡を着用していると判定した場合（ステップＳ４／ＹＥＳ）、ステップＳ３で検出した特徴点の数に基づき、検出状態に劣化が生じている眼を検出する（ステップＳ５）。制御装置３０は、左右の眼ごとに検出した特徴点の数をしきい値と比較して、検出状態に劣化が生じている眼を検出する。また、制御装置３０は、第１画像と第２画像とでそれぞれ検出状態に劣化が生じている眼を検出する。

【0045】

次に、制御装置３０は、第１画像から検出した特徴点に基づき劣化が生じていると判定した眼の数と、第２画像から検出した特徴点の数に基づき劣化が生じていると判定した眼の数とを比較する（ステップＳ６）。制御装置３０は、検出状態に劣化が生じていると判定した眼の数が同数である場合（ステップＳ６／ＹＥＳ）、第１画像又は第２画像から検出した特徴点に基づいて両眼の開眼度を算出する（ステップＳ７）。

【0046】

また、制御装置３０は、検出状態に劣化が生じていると判定した眼の数が同数ではない場合（ステップＳ６／ＮＯ）、開眼度の算出に使用する画像として、検出状態に劣化が生じている眼の数が少ないほうの画像を選択する（ステップＳ８）。制御装置３０は、開眼度の算出に使用する画像を選択すると、選択した画像から検出した特徴点に基づき両眼の特徴点を検出する（ステップＳ９）。

【0047】

制御装置３０は、ステップＳ７又はステップＳ９の処理後、開眼度を算出する処理の終了を指示する信号が入力されたか否かを判定する（ステップＳ１０）。制御装置３０は、処理の終了を指示する信号が入力されていない場合（ステップＳ１０／ＮＯ）、ステップＳ３の処理に戻り、メモリ３３から第１画像及び第２画像を読み出し、読み出した画像から特徴点を検出する（ステップＳ３）。また、制御装置３０は、処理の終了を指示する信号が入力された場合（ステップＳ１０／ＹＥＳ）、この処理フローを終了させる。

【0048】

以上説明したように本実施形態の開眼度算出装置１は、第１撮影部１０Ａ、第２撮影部１０Ｂ、眼鏡着用判定部５３、特徴点検出部５５、選択部５７及び算出部５９を備える。
第１撮影部１０Ａは、車両の運転席の右斜め前方に配置され、運転席に着座した運転者の顔を含む第１画像を撮影する。
第２撮影部１０Ｂは、運転席の左斜め前方に配置され、運転席に着座した運転者の顔を含む第２画像を撮影する。

【0049】

眼鏡着用判定部５３は、第１画像及び第２画像の少なくとも一方に基づき、運転者が眼鏡を着用しているか否かを判定する。
特徴点検出部５５は、第１画像及び第２画像から運転者の両眼の位置を特定する特徴点をそれぞれ検出する。
選択部５７は、運転者が眼鏡を着用している場合に、特徴点検出部５５の検出結果に基づき、運転者の眼の開眼度の判定に使用する画像として第１画像又は第２画像のいずれか一方を選択する。
算出部５９は、選択部５７が選択した第１画像又は第２画像のいずれか一方から検出した特徴点に基づき、運転者の眼の開眼度を算出する。

【0050】

従って、特徴点検出部５５の検出結果に基づき、運転者の眼の開眼度の判定に使用する画像を選択し、選択した画像を使用して開眼度を算出するため、開眼度の算出精度の劣化を抑制することができる。

【0051】

また、選択部５７は、運転者が眼鏡を着用している場合に、第１画像から検出した特徴点の数に基づき、特徴点の検出精度に劣化が生じているか否かを左右の眼ごとに判定し、第２画像から検出した特徴点の数に基づき、特徴点の検出精度に劣化が生じているか否かを左右の眼ごとに判定する。
また、選択部５７は、判定結果に基づき、運転者の眼の開眼度の判定に使用する画像として第１画像又は第２画像のいずれか一方を選択する。
従って、特徴点の検出結果に劣化が生じていないほうの画像を選択して運転者の眼の開眼度を算出することができ、開眼度の算出精度の劣化を抑制することができる。

【0052】

上述した実施形態は、あくまでも本発明の一態様を示すものであり、本発明の主旨を逸脱しない範囲で任意に変形及び応用が可能である。
例えば、開眼度の算出に使用する画像を、画像から検出した特徴点の検出精度に基づいて選択したが、第１画像と第２画像とのいずれを選択するのかを、予め設定された時間帯により選択してもよい。例えば、昼間の時間帯は、第１撮影部１０Ａにより撮影された第１画像を開眼度の算出に使用する画像として選択し、夜間の時間帯は、センタークラスターやセンターコンソールに設置された第２撮影部１０Ｂの撮影した第２画像を開眼度の算出に使用する画像として選択する。
第２撮影部１０Ｂをセンタークラスターやセンターコンソールに設置し、夜間の時間帯は、この第２撮影部１０Ｂの撮影した第２画像を開眼度の算出に使用することで、対向車線を走行するライトの光の影響を低減することができる。

【0053】

また、上述の実施形態では、プログラムがメモリ３３に記憶されているが、本発明の実施形態はこれに限定されない。プログラムは、例えば、不図示の通信装置を介してネットワークからメモリ３３にダウンロードされ、その後、プロセッサ５０により実行されるようにしてもよい。また、例えば、開眼度算出装置１に接続された記憶媒体から、メモリ３３にロードされるようにしてもよい。

【0054】

また、図１は、本願発明を理解容易にするために、開眼度算出装置１の機能構成を主な処理内容に応じて分類して示した概略図であり、開眼度算出装置１の各々の構成は、処理内容に応じて、さらに多くの構成要素に分類することもできる。また、１つの構成要素が更に多くの処理を実行するように分類することもできる。また、各構成要素の処理は、１つのハードウェアで実行されてもよいし、複数のハードウェアで実行されてもよい。また、各構成要素の処理は、１つのプログラムで実現されてもよいし、複数のプログラムで実現されてもよい。

【0055】

また、図５に記載のフローチャートの処理単位は、開眼度算出装置１の処理を理解容易にするために、主な処理内容に応じて分割したものである。処理単位の分割の仕方や名称によって、本願発明が制限されることはない。開眼度算出装置１の処理は、処理内容に応じて、更に多くの処理単位に分割することもできる。また、１つの処理単位がさらに多くの処理を含むように分割することもできる。また、フローチャートの処理順序も、図示した例に限られるものではない。

【符号の説明】

【0056】

１ 開眼度算出装置
１０Ａ 第１撮影部
１０Ｂ 第２撮影部
２１ Ａピラー
２３ ダッシュボード
２５ センタークラスター
３０ 制御装置
３１ 入出力Ｉ／Ｆ
３３ メモリ
５０ プロセッサ
５１ 顔領域抽出部
５３ 眼鏡着用判定部
５５ 特徴点検出部
５７ 選択部
５９ 算出部
７０ 光源

【図1】

【図2】

【図3】

【図4】

【図5】