特許 7557389 視線検出装置、視線検出システム、及び視線検出方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-18

(45)【発行日】2024-09-27

(54)【発明の名称】視線検出装置、視線検出システム、及び視線検出方法

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240919BHJP

   G06T 7/00 20170101ALI20240919BHJP

   G08G 1/16 20060101ALI20240919BHJP

【ＦＩ】

G06T7/20 300B

G06T7/00 300F

G06T7/00 650Z

G08G1/16 F

【請求項の数】 9

(21)【出願番号】P 2021021375

(22)【出願日】2021-02-15

(65)【公開番号】P2022123912

(43)【公開日】2022-08-25

【審査請求日】2023-12-18

(73)【特許権者】

【識別番号】000006895

【氏名又は名称】矢崎総業株式会社

(74)【代理人】

【識別番号】110001771

【氏名又は名称】弁理士法人虎ノ門知的財産事務所

(72)【発明者】

【氏名】伊東 祐介

【審査官】合田 幸裕

(56)【参考文献】

【文献】特開２００９－２７６８４８（ＪＰ，Ａ）

【文献】特開２００４－２３４４９４（ＪＰ，Ａ）

【文献】特開２００９－２６５７２２（ＪＰ，Ａ）

【文献】特開２０１０－１５７０７３（ＪＰ，Ａ）

【文献】特開２０１２－０１１８１０（ＪＰ，Ａ）

【文献】特開２０１９－１５９９８３（ＪＰ，Ａ）

【文献】国際公開第２０１７／２０３７６９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２０

Ｇ０６Ｔ ７／００

Ｇ０８Ｇ １／１６

ＩＥＥＥ Ｘｐｌｏｒｅ

ＪＳＴＰｌｕｓ（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

車両の運転者の顔を撮影して前記運転者の顔を含む運転者画像を時系列で取得する画像取得部と、
前記運転者画像から前記運転者の顔を含む顔領域を検出し、前記顔領域内で前記運転者の眼を含む眼領域を検出する処理部と、
前記運転者に対して特定の動作を促す内容の報知を行う報知部と、を備え、
前記処理部は、
前記眼領域を検出した場合は、前記眼領域に基づく前記運転者の視線を検出して前記視線に関する視線情報を生成し、
前記運転者画像から前記顔領域を検出できなかった場合は、前記運転者の眼の存在が推定される推定眼部領域内で前記眼領域を検出し、
前記運転者画像における予め設定された位置に設定された前記推定眼部領域内で前記眼領域を検出できなかった場合は、前記報知部による前記報知を行い、
報知前の前記運転者画像に対する報知後の前記運転者画像において、変化した変化領域があるか否かを判定し、
前記変化領域があると判定した場合は、前記変化領域を含むように前記運転者画像における前記推定眼部領域の位置を更新し、更新後の推定眼部領域内で前記眼領域を検出する、
ことを特徴とする視線検出装置。

【請求項2】

前記処理部は、
報知前の前記運転者画像に対する報知後の前記運転者画像のヒストグラムを比較し、前記ヒストグラムにおいて輝度に差分がある領域を前記変化領域であると判定する、
請求項１に記載の視線検出装置。

【請求項3】

前記ヒストグラムにおける輝度の差分は、
前記運転者の両眼のうち、少なくとも片眼の開閉動作により生じたものである、
請求項２に記載の視線検出装置。

【請求項4】

前記処理部は、
前記運転者画像から前記顔領域を検出できず、かつ前記推定眼部領域内で前記眼領域を検出した場合、検出した前記眼領域が前記運転者の眼に対応するものか否かを判定し、前記運転者の眼に対応するものでないと判定したときは、前記推定眼部領域の位置を更新する、
請求項１～３のいずれか１項に記載の視線検出装置。

【請求項5】

前記処理部は、
前記眼領域が前記運転者の眼に対応するものか否かを、前記推定眼部領域内の前記眼領域の高さ方向の位置が規定値以内か否かで判定する、
請求項４に記載の視線検出装置。

【請求項6】

前記処理部は、
検出した前記眼領域が前記運転者の眼に対応するものであると判定した場合、前記推定眼部領域内で検出された前記眼領域に基づいて前記視線を検出し、当該視線が前記運転者の眼に対応するものか否かを判定し、前記運転者の眼に対応するものでないと判定したときは、前記推定眼部領域の位置を更新する、
請求項４または５に記載の視線検出装置。

【請求項7】

前記処理部は、
前記視線が前記運転者の眼に対応するものか否かを、前記視線が交差し、かつ前記推定眼部領域内の前記眼領域の高さ方向の位置が規定値以内か否かで判定する、
請求項６に記載の視線検出装置。

【請求項8】

車両の運転者の顔を撮影して前記運転者の顔を含む運転者画像を時系列で取得する画像取得装置と、
前記運転者画像から前記運転者の顔を含む顔領域を検出し、前記顔領域内で前記運転者の眼を含む眼領域を検出する処理装置と、
前記運転者に対して特定の動作を促す内容の報知を行う報知装置と、を備え、
前記処理装置は、
前記眼領域を検出した場合は、前記眼領域に基づく前記運転者の視線を検出して前記視線に関する視線情報を生成し、
前記運転者画像から前記顔領域を検出できなかった場合は、前記運転者の眼の存在が推定される推定眼部領域内で前記眼領域を検出し、
前記運転者画像における予め設定された位置に設定された前記推定眼部領域内で前記眼領域を検出できなかった場合は、前記報知装置による前記報知を行い、
報知前の前記運転者画像に対する報知後の前記運転者画像において、変化した変化領域があるか否かを判定し、
前記変化領域があると判定した場合は、前記変化領域を含むように前記運転者画像における前記推定眼部領域の位置を更新し、更新後の推定眼部領域内で前記眼領域を検出する、
ことを特徴とする視線検出システム。

【請求項9】

画像取得部が、車両の運転者の顔を撮影して前記運転者の顔を含む運転者画像を時系列で取得する画像取得工程と、
処理部が、前記運転者画像から前記運転者の顔を含む顔領域を検出し、前記顔領域内で前記運転者の眼を含む眼領域を検出する処理工程と、
報知部が、前記運転者に対して特定の動作を促す内容の報知を行う報知工程と、を備え、
前記処理工程は、前記処理部が、
前記眼領域を検出した場合は、前記眼領域に基づく前記運転者の視線を検出して前記視線に関する視線情報を生成し、
前記運転者画像から前記顔領域を検出できなかった場合は、前記運転者の眼の存在が推定される推定眼部領域内で前記眼領域を検出し、
前記運転者画像における予め設定された位置に設定された前記推定眼部領域内で前記眼領域を検出できなかった場合は、前記報知工程による前記報知を行い、
報知前の前記運転者画像に対する報知後の前記運転者画像において、変化した変化領域があるか否かを判定し、
前記変化領域があると判定した場合は、前記変化領域を含むように前記運転者画像における前記推定眼部領域の位置を更新し、更新後の推定眼部領域内で前記眼領域を検出する、
ことを特徴とする視線検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視線検出装置、視線検出システム、及び視線検出方法に関する。

【背景技術】

【0002】

人の顔画像から視線検出を行なう場合、カメラにより取得した運転者画像を下処理した後、顔検出及び眼検出を行ってから視線を検出している。マスク等の遮蔽物により顔が適切に検出できない場合、眼が存在するであろう領域を推定することで、眼の誤検出を回避することが出来る（例えば、特許文献１－４参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００９－２７６８４８号公報

【文献】特開２０１４－０６３２８１号公報

【文献】特開２０１８－１６３４１１号公報

【文献】特開２０１８－１３２９７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、運転者画像内で実際の運転者の眼に対応する眼領域が、予め運転者画像内に設定された運転者の眼が存在するであろう推定眼領域とずれている場合、眼の位置を検出することができないことから、視線検出が困難になる。例えば、運転者画像内で実際の眼に対応する眼領域の位置が推定眼領域よりも下側にあった場合、運転者画像内の顔領域の中で最も眼らしい画像部分を検出するか、もしくは、それらが無い場合は未検出となる。そのため、運転者の視線検出を精度良く行う点で改善の余地がある。

【0005】

本発明は、運転者の視線検出を継続的に精度良く行うことができる視線検出装置、視線検出システム、及び視線検出方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、本発明に係る視線検出装置は、車両の運転者の顔を撮影して前記運転者の顔を含む運転者画像を時系列で取得する画像取得部と、前記運転者画像から前記運転者の顔を含む顔領域を検出し、前記顔領域内で前記運転者の眼を含む眼領域を検出する処理部と、前記運転者に対して特定の動作を促す内容の報知を行う報知部と、を備え、前記処理部は、前記眼領域を検出した場合は、前記眼領域に基づく前記運転者の視線を検出して前記視線に関する視線情報を生成し、前記運転者画像から前記顔領域を検出できなかった場合は、前記運転者の眼の存在が推定される推定眼部領域内で前記眼領域を検出し、前記運転者画像における予め設定された位置に設定された前記推定眼部領域内で前記眼領域を検出できなかった場合は、前記報知部による前記報知を行い、報知前の前記運転者画像に対する報知後の前記運転者画像において、変化した変化領域があるか否かを判定し、前記変化領域があると判定した場合は、前記変化領域を含むように前記運転者画像における前記推定眼部領域の位置を更新し、更新後の推定眼部領域内で前記眼領域を検出する、ことを特徴とする。

【発明の効果】

【0007】

本発明に係る視線検出装置、視線検出システム、及び視線検出方法は、運転者の視線検出を継続的に精度良く行うことができる、という効果を奏する。

【図面の簡単な説明】

【0008】

【図1】図１は、実施形態に係る視線検出装置の概略構成を示す模式図である。

【図2】図２は、実施形態に係る視線検出装置における視線検出方法の処理手順を示すフローチャート図（その１）である。

【図3】図３は、実施形態に係る視線検出装置における視線検出方法の処理手順を示すフローチャート図（その２）である。

【図4】図４は、実施形態に係る視線検出装置で扱われる運転者画像の一例を示す模式図である。

【図5】図５（Ａ）は、運転者画像の推定眼部領域内で眼領域が検出できない状態の一例を示す模式図、図５（Ｂ）は、運転者画像の推定眼部領域外で運転者が閉眼した状態の一例を示す模式図、図５（Ｃ）は、運転者画像の推定眼部領域を更新した状態の一例を示す模式図である。

【図6】図６は、運転者画像における変化領域の有無の判定方法を説明するための模式図である。

【図7】図７（Ａ）、図７（Ｂ）は、運転者画像にて設定された推定眼部領域の位置の更新を説明するための模式図である。

【発明を実施するための形態】

【0009】

以下に、本発明の実施形態に係る視線検出装置、視線検出システム、及び視線検出方法について図面を参照しつつ詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。以下の実施形態における構成要素には、いわゆる当業者が容易に想定できるもの、あるいは実質的に同一のものが含まれる。また、以下の実施形態における構成要素は、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。

【0010】

［実施形態］
図１に示す本実施形態の視線検出装置１は、自動車等の車両２に搭載され、車両２に乗車した運転者２０の視線を検出するものである。視線検出装置１は、カメラ１２と、処理部１３と、報知部１４とを含んで構成される。

【0011】

カメラ１２は、画像取得部または画像取得装置の一例であり、車両２の運転者２０の顔２１を撮影して運転者２０の顔２１を含む運転者画像３０を時系列で取得するものである。カメラ１２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型のイメージセンサ、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型イメージセンサ等を有するデジタルカメラで構成される。カメラ１２は、車両２の車室１０内の運転席に着座している運転者２０の顔２１を撮影するために、例えば運転席前方のメータユニット内、または、コラムカバー上部に設置される。カメラ１２は、処理部１３に電気的に接続されており、取得した運転者画像３０に対応する映像信号を、当該運転者画像３０の撮影時刻等を含む各種画像情報と共に、処理部１３に出力する。

【0012】

処理部１３は、処理装置の一例であり、カメラ１２から入力された運転者画像３０を画像処理し、運転者画像３０から運転者２０の顔２１を含む矩形状の顔領域３１を検出し、顔領域３１内で運転者２０の眼２２，２３を含む眼領域３３を検出するものである。ここで眼領域３３は、例えば黒目（瞳孔または虹彩）を含む。また、処理部１３は、眼領域３３を検出した場合、眼領域３３に基づく運転者２０の視線を検出して視線に関する視線情報を生成し、車載装置（例えば、運転者２０の居眠り等を把握するための装置等）に出力する。視線情報は、例えば、運転者２０の視線に対応する視線角度、撮影時刻等が含まれる。

【0013】

処理部１３は、運転者画像３０から顔領域３１を検出できなかった場合、運転者２０の眼２２，２３の存在が推定される推定眼部領域３２内で眼領域３３を検出する。推定眼部領域３２は、例えば、アイレンジのうち、運転者が着座状態で所定割合（例えば、９５％）の運転者の眼の位置が含まれる矩形状の領域である。または、推定眼部領域３２は、運転者画像３０において運転者２０の眼が存在してほしい領域である。ここでアイレンジは、車両において運転者の両眼の位置の分布を統計的に表したものである。運転者２０のアイポイントは、アイレンジ内に位置するものと想定される。推定眼部領域３２は、運転者画像３０における予め設定された位置に設定される。つまり、推定眼部領域３２は、運転者画像３０において、上記所定割合の運転者２０の眼２２，２３の位置が含まれる領域である。

【0014】

処理部１３は、例えば、視線検出装置１における各種処理機能を実現する処理回路（不図示）を有する。処理回路は、例えば、プロセッサによって実現される。プロセッサとは、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の回路を意味する。処理部１３は、例えば、不図示の記憶回路（記憶部）から読み出したプログラムを実行することにより、各処理機能を実現する。また、処理部１３は、複数の運転者画像３０を、運転者画像３０の撮影時刻に関連付けて記憶部に記憶することが可能であり、記憶部に記憶された運転者画像３０を読み出して画像処理することができる。

【0015】

処理部１３は、視線検出モードと、画像差分検出モードとを有する。視線検出モードは、上述したように、運転者画像３０から顔領域３１を検出し、顔領域３１内で運転者２０の眼２２，２３を含む眼領域３３を検出するモードである。画像差分検出モードは、視線検出モードにて一定の条件を満たした場合に、報知部１４による運転者２０に対する報知により、運転者２０に特定の動作を実行してもらうことで、推定眼部領域３２を更新するモードである。ここで報知部１４による運転者２０に対する報知とは、運転者２０に対して特定の動作を促す内容の報知である。この特定の動作には、運転者２０の片眼（眼２２または眼２３）の開閉動作、口の開閉動作等が含まれる。また、特定の動作には、運転者２０の顔の一部の動きが分かるものであれば、運転者２０の片眼や口の開閉動作に限定されるものではない。運転者２０に対して行う報知の内容は、安全運転を考慮して、運転者が車両２のハンドルから両手を話すことなく実行できるもの、画像差分モードにおける画像変化が検出できるものであることが好ましい。報知の内容としては、例えば、特定の動作が運転者２０の片眼の開閉動作である場合、「ウィンクを数回行ってください」等である。運転者２０以外に車両２に人が乗車している場合、「ドライバはウィンクを数回行ってください」としてもよい。または、安全な車両運行を考慮し、「安全を考慮しつつ短いウィンクを数回行ってください」としてもよい。または、「ドライバの視線が検出できません」と報知した後に、「ドライバはウィンクを数回行ってください」としてもよい。

【0016】

処理部１３は、視線検出モードにて一定の条件を満たした場合に、視線検出モードと、画像差分検出モードとを切り替える。処理部１３は、運転者画像３０から顔領域３１を検出できず、かつ、推定眼部領域３２内で眼領域３３を検出できなかった場合に、視線検出モードから画像差分検出モードに切り替える。また、処理部１３は、運転者画像３０から顔領域３１を検出できず、かつ、推定眼部領域３２内で検出された眼領域３３に基づいて運転者２０の視線を検出し、当該視線に対応する視線情報が運転者２０の眼２２，２３に対応するものでなかった場合に視線検出モードから画像差分検出モードに切り替える。処理部１３は、画像差分モードが終了した場合は、画像差分モードから視線検出モードに切り替える。具体的には、処理部１３は、運転者画像３０の所定位置に予め設定されていた推定眼部領域３２の位置を更新した場合は、画像差分モードから視線検出モードに切り替える。処理部１３は、報知部１４に電気的に接続されており、報知部１４に対して報知信号を出力する。

【0017】

報知部１４は、報知装置の一例であり、運転者２０に対して眼の動作を促す内容の報知を行うものである。報知部１４は、例えば、運転席前方のインストルメントパネル内、または、運転席側のドアトリム内に配置される。報知部１４は、例えば、スピーカ等の音声出力器であり、処理部１３から入力した報知信号に基づいて音声を出力する。報知部１４は、単独で構成されるが、車両２に搭載されたオーディオユニット内、メータユニット内、ナビゲーションシステム内の音声出力器を利用するものであってもよい。

【0018】

次に、視線検出装置１における視線検出方法の処理手順について図２を参照して説明する。図２に示す処理は、処理部１３が記憶部から読みだしたプログラムを実行することにより、各ステップが順次行われる。

【0019】

ステップＳ１０では、カメラ１２は、車両２のエンジン等が始動すると、運転者２０を撮影して映像信号を出力する。処理部１３は、カメラ１２から映像信号を１フレーム分取り込む。

【0020】

ステップＳ１１では、処理部１３は、顔検出処理を行う。具体的には、処理部１３は、グレースケール化を含む、画像のデータ形式の変換（下処理）を行う。例えば、１フレーム内の画素位置毎に、輝度を「０～２５５」の範囲の階調で表す８ビットデータを、撮影時のフレーム内走査方向に合わせて縦方向及び横方向に並べた二次元（２Ｄ）配列の画像データを生成する。

【0021】

処理部１３は、例えば「Ｖｉｏｌａ－Ｊｏｎｅｓ法」を用いて顔検出を行い、１フレームの二次元画像データの中から顔を含む領域を顔領域３１として抽出する。すなわち、顔の陰影差を特徴とし「Ｂｏｏｓｔｉｎｇ」を用いた学習によって作成された検出器を使って顔の領域を抽出する。「Ｖｉｏｌａ－Ｊｏｎｅｓ法」の技術は、例えば以下の文献に示されている。「Ｐ．ｖｉｏｌａ ａｎｄ Ｍ．Ｊ．Ｊｏｎｅｓ，Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ Ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ，ＩＥＥＥ ＣＶＰＲ（２００１）．」

【0022】

ステップＳ１２では、処理部１３は、ステップＳ１１の顔検出処理で運転者画像３０から顔領域３１が検出されたか否かを判定する。顔領域３１が検出された場合、ステップＳ１３に進む。一方、顔領域３１が検出されなかった場合、ステップＳ１６に進む。

【0023】

ステップＳ１３では、処理部１３は、顔領域３１の中から、例えば、上述したＶｉｏｌａ－Ｊｏｎｅｓ法を用いて眼領域３３を検出する。処理部１３は、例えば、眼球３Ｄモデルを用いるモデルベース手法によって視線を検出する場合、眼球中心を推定する。ここでは、検出した眼の矩形領域の中心座標を眼球中心と仮定する。例えば、目尻、目頭位置に基づき眼球中心を決定する方法や、顔の特徴点より骨格を推定し同時に眼球中心位置を算出する方法を利用することも想定される。

【0024】

ステップＳ１４では、処理部１３は、視線検出処理を行う。具体的には、処理部１３は、検出した眼領域３３に基づいて、運転者２０の視線に対応する視線角度を算出し、当該視線角度に対して、必要に応じてデータの平均化、ノイズ除去等を行い、運転者２０の視線に関する視線情報を生成する。

【0025】

ステップＳ１５では、処理部１３は、ステップＳ１４（またはステップＳ１８）で生成した視線情報を検出結果として出力して、本処理を終了する。

【0026】

一方、ステップＳ１６では、処理部１３は、予め設定された推定眼部領域３２に対して眼検出処理を行う。具体的には、処理部１３は、推定眼部領域３２内で、例えば、上述したＶｉｏｌａ－Ｊｏｎｅｓ法を用いて眼領域３３を検出する。

【0027】

ステップＳ１７では、処理部１３は、ステップＳ１６で検出した眼領域３３に基づいて、運転者画像３０における眼領域３３、すなわち両眼２２，２３の推定眼部領域３２内の高さ方向の位置が規定値以内か否かを判定する。この判定の結果、両眼２２，２３の高さ方向の位置が規定値以内である場合は、ステップＳ１８へ進む。一方、両眼２２，２３の高さ方向の位置が規定値以内でない場合は、図３のステップＳ２０へ進む。このように、運転者画像３０から顔領域３１が検出できず、かつ、実際の眼２２，２３の位置と眼領域３３の位置とが乖離していると、眼領域３３の検出において、もっとも眼らしいものを検出したり、眼領域３３の未検出となる。例えば、眼領域３３の高さ方向の位置が規定値よりも離れている場合、もしくは未検出の場合は、実際の眼２２，２３の位置が眼領域３３と乖離していると言える。

【0028】

ステップＳ１８では、処理部１３は、ステップＳ１４における視線検出処理と同様に、ステップＳ１６で検出された眼領域３３に対して視線検出処理を行う。

【0029】

ステップＳ１９では、処理部１３は、ステップＳ１８で検出された運転者２０の視線が運転者２０の眼２２，２３に対応するものか否かを判定する。具体的には、処理部１３は、運転者２０の視線に対応する視線情報に基づいて視線が交差し、検出された両眼２２，２３の推定眼部領域３２内の高さ方向の位置が規定値以内であるか否かを判定する。この判定の結果、運転者２０の視線が交差しており、検出された両眼２２，２３の推定眼部領域３２内の高さ方向の位置が規定値以内である場合は、ステップＳ１５へ進む。一方、運転者２０の視線が交差しており、検出された両眼２２，２３の推定眼部領域３２内の高さ方向の位置が規定値以内でない場合は、図３のステップＳ２０へ進む。このように、両眼２２，２３の推定眼部領域３２内の高さ方向の位置が規定値内にあったとしても眼でないものを検出していた場合、両眼２２，２３の視線方向は交差しない、もしくは規定値を超えた視線位置を示すこととなる。

【0030】

図３のステップＳ２０では、処理部１３は、画像差分検出モードに切り替えて、ステップＳ２１～ステップＳ２４を実行する。

【0031】

ステップＳ２１では、処理部１３は、報知部１４に対して報知信号を出力し、上述したように、報知部１４から運転者２０に対して眼２２，２３の動作を促す内容の報知を行う。

【0032】

次に、ステップＳ２２では、処理部１３は、報知前の運転者画像３０Ａと報知後の運転者画像３０Ｂ，３０Ｃとを比較して画像変化を検出する。処理部１３は、報知前の運転者画像３０Ａに対する報知後の運転者画像３０Ｂ，３０Ｃにおいて、変化した変化領域３５を検出する。

【0033】

処理部１３は、報知部１４による報知時刻、運転者画像３０の撮影時刻を参照し、例えば図５の（Ａ）に示す報知時刻前の運転者画像３０Ａを読み出す。運転者画像３０Ａでは、眼領域３３が推定眼部領域３２外に存在している。処理部１３は、図６に示すように、グレースケール化された運転者画像３０Ａの画像フレームにおいて、縦方向を数ピクセル単位（黒眼もしくは瞳孔と同等）に区切り、各範囲においてグレースケールヒストグラムを算出する。次に、処理部１３は、報知時刻、撮影時刻に基づいて、例えば図５の（Ｂ）に示す報知時刻後の運転者画像３０Ｂを読み出す。運転者画像３０Ｂでは、一方の眼２２が閉眼し、他方の眼２３が開眼している。処理部１３は、同様にして、グレースケール化された運転者画像３０Ｂの画像フレームにおいて、縦方向を数ピクセル単位（黒眼もしくは瞳孔径と同等）に区切り、各範囲においてグレースケールヒストグラムを算出する。次に、処理部１３は、報知時刻、撮影時刻に基づいて、例えば図５の（Ｃ）に示す報知時刻後で、かつ運転者画像３０Ｂの撮影時刻後の運転者画像３０Ｃを読み出す。運転者画像３０Ｃでは、両眼２２，２３が開眼している。処理部１３は、同様にして、グレースケール化された運転者画像３０Ｃの画像フレームにおいて、縦方向を数ピクセル単位（黒眼もしくは瞳孔径と同等）に区切り、各範囲においてグレースケールヒストグラムを算出する。次に、処理部１３は、運転者画像３０Ａ，３０Ｂ，３０Ｃのグレースケールヒストグラムを比較して、報知前後における画像の変化を検出する。運転者画像３０における眼２２，２３が存在する範囲では、画像フレーム間で開眼時と閉眼時に黒眼もしくは瞳孔による低輝度スケール帯域の分布が変化するため、グレースケールヒストグラムにおいて輝度に差分がある領域を変化領域３５として決定する。なお、本実施形態では、単に輝度の差分がある領域を変化領域としているが、輝度の差分が閾値以上ある領域を変化領域としてもよい。また、グレースケールヒストグラムにおける輝度の差分は、運転者２０の両眼２２，２３のうち、少なくとも片眼の開閉動作により生じたものである。

【0034】

ステップＳ２３では、処理部１３は、報知前の運転者画像３０Ａに対する報知後の運転者画像３０Ｂにおいて、変化した変化領域３５があるか否かを判定する。変化領域３５がある場合はステップＳ２４へ進む。一方、変化領域３５がない場合は、ステップＳ２１へ戻り、報知部１４から運転者２０に対して眼２２，２３の動作を促す内容の報知を行う。なお、変化領域３５が検出できず、報知部１４による報知を繰り返す場合は、運転者２０に対する報知の内容を異なるように構成してもよい。

【0035】

ステップＳ２４では、処理部１３は、図６に示すように、変化領域３５を含むように運転者画像３０における推定眼部領域３２の位置を更新し、画像差分検出モードを終了して（ステップＳ２５）、図２のステップＳ１６以降の処理を行う。例えば、ステップＳ１６では、処理部１３は、図６に示すように、更新後の推定眼部領域３２Ａに対して眼検出処理を行う。具体的には、処理部１３は、更新前の推定眼部領域３２ではなく、更新後の推定眼部領域３２Ａ内で、例えばＶｉｏｌａ－Ｊｏｎｅｓ法を用いて眼領域３３を検出する。

【0036】

以上説明した視線検出装置１は、処理部１３が、運転者画像３０における推定眼部領域３２内で眼領域３３を検出できなかった場合、報知部１４により片眼の開閉動作を含む特定の動作を促す内容の報知を行う。処理部１３は、報知前の運転者画像３０Ａに対する報知後の運転者画像３０Ｂ，３０Ｃにおいて、変化した変化領域３５があると判定したときは、当該変化領域３５を含むように推定眼部領域３２の位置を更新し、更新後の推定眼部領域３２Ａ内で眼領域３３を検出する。

【0037】

上記構成により、顔領域３１を検出できず、予め設定された推定眼部領域３２以外に眼領域３３があったとしても、当該眼領域３３を検出することができるので、視線を検出できず視線情報を生成できない状態があっても一時的なものとして、従来に比べて継続的に精度良く運転者の視線検出を行うことができる。また、図６の（Ａ）、図６の（Ｂ）に示すように、顔２１の一部を覆うマスク２５などの遮蔽物を装着した運転者２０の視線情報を容易に取得することが出来る。また、運転者２０の姿勢が崩れたりした場合でも、運転者２０に眼の動作を促す報知を与えることで、未検出の眼領域３３を再度検出することが出来る。また、運転者２０への報知に対する応答の可否を判定することができるので、例えば、運転者２０の意識消失の検出をすることが出来る。また、特別な機器を使用することがないので、視線検出装置１を、例えば車載のドライバーモニタシステム等に搭載することが出来る。

【0038】

また、視線検出装置１は、処理部１３が、運転者画像３０から顔領域３１を検出できず、かつ、推定眼部領域３２内で検出された眼領域３３に基づいて視線を検出した場合、当該視線に対応する視線情報が運転者２０の眼２２，２３に対応するものでないときは、推定眼部領域３２の位置を更新する。これにより、視線検出ができたとしても、それが実際の眼に基づくものでない場合があることから、誤った視線検出を抑制することができる。また、視線情報として取得したとしても、それが実際の眼２２，２３に対応するものでない場合に、視線情報として扱わないことから、精度が高い視線情報を取得することができる。

【0039】

また、視線検出装置１は、報知部１４が、片眼の開閉動作を促す報知を行う。これにより、運転者２０に対して運転時の安全に配慮した簡単な動作を行ってもらうことができる。

【0040】

また、本実施形態における視線検出方法は、処理部１３が、処理工程にて、運転者画像３０における推定眼部領域３２内で眼領域３３を検出できなかった場合、報知部１４による報知を行う。処理部１３は、処理工程にて、報知前の運転者画像３０Ａに対する報知後の運転者画像３０Ｂ，３０Ｃにおいて、変化した変化領域３５があると判定したときは、当該変化領域３５を含むように推定眼部領域３２の位置を更新し、更新後の推定眼部領域３２Ａ内で眼領域３３を検出する。これにより、上述した視線検出装置１により得られる効果と同様の効果を得ることができる。

【0041】

［変形例］
なお、上記実施形態では、本発明を視線検出装置１に適用した場合について説明したが、カメラ１２と、処理部１３に相当する処理装置と、報知部１４に相当する報知装置とを備える視線検出システムに適用しても、上述した効果を得ることが可能である。

【0042】

また、本発明は、運転者２０の身長が極端に高い、若しくは、低い場合に、顔２１の一部が運転者画像３０外にはみ出ることで正確に顔検出が行えないときでも、上述した効果を得ることが可能である。

【0043】

また、顔領域３１の検出が出来ず、かつ眼領域３３の検出及び視線検出ができない場合には、運転者２０の姿勢崩れの他にも、右左折時や安全確認のための適切な行動の場合も含まれる。これらを検出しないようにするために、例えば、一定時間検出できなかった場合にのみ画像差分検出モードを実行するように構成してもよい。また、視線検出装置１を車載の地図情報やナビゲーション情報と連携させることで、運転者２０の行動が適切な運転行動なのか、それとは無関係な検出エラーなのかを分けて判断することが出来る。

【0044】

上記実施形態では、報知部１４は、運転者２０に対して音声による報知を行っているが、これに限らず、車載のヘッドアップディスクプレイ等による視覚的な報知であっても、それら両方であってもよい。

【0045】

上記実施形態では、報知部１４が、片眼の開閉動作を促す報知を行うが、これに限定されるものではない。例えば、両眼の開閉動作を促す報知を行うように構成してもよい。なお、両眼の開閉動作を促す場合、瞬きとの区別、及び運転時の安全に配慮したものであることが好ましい。

【0046】

また、上記実施形態及び変形例では、処理部１３は、単一のプロセッサによって各処理機能が実現されるものとして説明したがこれに限らない。処理部１３は、複数の独立したプロセッサを組み合わせて各プロセッサがプログラムを実行することにより各処理機能が実現されてもよい。また、処理部１３が有する処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、処理部１３が有する処理機能は、その全部又は任意の一部をプログラムにて実現してもよく、また、ワイヤードロジック等によるハードウェアとして実現してもよい。

【0047】

また、上記実施形態及び変形例では、視線検出装置１は、自動車等の車両２に適用されているが、これに限定されず、例えば車両２以外の船舶や航空機等に適用してもよい。また、視線検出装置１は、カメラ１２と、処理部１３と、報知部１４とに分かれているが、これに限定されず、一体で構成されていてもよい。

【0048】

以上で説明したプロセッサによって実行されるプログラムは、記憶回路等に予め組み込まれて提供される。なお、このプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルで、コンピュータで読み取り可能な記憶媒体に記録されて提供されてもよい。また、このプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることにより提供又は配布されてもよい。

【符号の説明】

【0049】

１ 視線検出装置
２ 車両
１０ 車室
１２ カメラ
１３ 処理部
１４ 報知部
２０ 運転者
２１ 顔
２２，２３ 眼
２５ マスク
３０，３０Ａ，３０Ｂ，３０Ｃ 運転者画像
３１ 顔領域
３２，３２Ａ 推定眼部領域
３３ 眼領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】