特許 6350145 顔向き検出装置及び車両用警告システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6350145

(24)【登録日】2018年6月15日

(45)【発行日】2018年7月4日

(54)【発明の名称】顔向き検出装置及び車両用警告システム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20180625BHJP

   G08G 1/16 20060101ALI20180625BHJP

   G06T 7/20 20170101ALI20180625BHJP

   B60R 21/00 20060101ALI20180625BHJP

   B60K 35/00 20060101ALI20180625BHJP

【ＦＩ】

   G06T7/70 B

   G08G1/16 C

   G06T7/20 300B

   B60R21/00 630Z

   B60K35/00 Z

【請求項の数】8

【全頁数】13

(21)【出願番号】特願2014-183587(P2014-183587)

(22)【出願日】2014年9月9日

(65)【公開番号】特開2016-57839(P2016-57839A)

(43)【公開日】2016年4月21日

【審査請求日】2016年11月9日

(73)【特許権者】

【識別番号】502324066

【氏名又は名称】株式会社デンソーアイティーラボラトリ

(74)【代理人】

【識別番号】100106149

【弁理士】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(72)【発明者】

【氏名】吉澤 顕

【審査官】 佐藤 卓馬

(56)【参考文献】

【文献】 国際公開第２００９／０９１０２９（ＷＯ，Ａ１）

【文献】 特開２００８−０２１２６６（ＪＰ，Ａ）

【文献】 特開２０００−１４２２８２（ＪＰ，Ａ）

【文献】 特開２００８−２２６１６３（ＪＰ，Ａ）

【文献】 特開２００５−３５２５３１（ＪＰ，Ａ）

【文献】 特開２０１０−２２５０８９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／７０

Ｂ６０Ｋ ３５／００

Ｂ６０Ｒ ２１／００

Ｇ０６Ｔ ７／２０

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

対象者の顔を含む画像を撮像する撮像手段（１０）と、
前記撮像手段によって撮像された画像において前記対象者の顔を認識する顔認識手段（Ｓ１００）と、
前記顔認識手段の認識結果から、前記対象者の顔が向いている角度を算出する角度算出手段（Ｓ１１０）と、
前記対象者の顔が向いている角度の時間的な変化の大きさを示す、前記対象者の顔向きの角速度を算出する角速度算出手段（Ｓ１２０）と、
前記対象者の顔向きの角度が所定角度範囲を超えて、前記顔認識手段が前記対象者の顔を認識できなくなった場合に、前記角速度算出手段が算出済みの角速度に基づき、前記対象者の顔向きの角度を推定する角度推定手段（Ｓ２００）と、を備えることを特徴とする顔向き検出装置。

【請求項2】

前記角度推定手段は、前記対象者の顔向きの角度が所定角度範囲を超えて、前記顔認識手段が前記対象者の顔を認識できなくなった以降の経過時間分だけ、前記角速度にて顔向きの角度を変化させたものとして、前記対象者の顔向きの角度を推定することを特徴とする請求項１に記載の顔向き検出装置。

【請求項3】

前記撮像手段によって撮像された前記画像において、前記対象者の顔領域の動きを検出する動き検出手段（Ｓ１８０）を備え、
前記角度推定手段は、前記動き検出手段により検出される前記対象者の顔領域の動きが止まったときに、前記経過時間と前記角速度とに基づき、前記対象者の顔向きの角度を推定することを特徴とする請求項２に記載の顔向き検出装置。

【請求項4】

前記撮像手段によって撮像された前記画像において、前記対象者の顔領域の動きを検出する動き検出手段（Ｓ１８０）と、
前記角度推定手段が前記対象者の顔向きの角度は前記所定角度範囲を一方向に越えた角度と推定しているとき、前記動き検出手段により、その角度を前記所定角度範囲の方向に戻す動きが検出され、その後、その動きが止まったことが検出されたときに、前記顔認識手段が前記対象者の顔を認識できない場合、前記対象者は左右に首を振る動作を行ったことを検出する首振り動作検出手段と、を備えることを特徴とする請求項１乃至３のいずれか１項に記載の顔向き検出装置。

【請求項5】

前記対象者は、車両の運転者であり、
前記撮像手段は、ステアリングホイールを間に挟んで、前記運転者に正対する位置に配置され、
前記ステアリングホイールの操舵角度を検出する検出手段を備え、
前記動き検出手段は、前記検出手段によって検出される操舵角度に応じて、前記画像に前記ステアリングホイールの一部が映し出される領域を特定し、その領域を除外した残りの領域において、前記対象者の顔領域の動きを検出することを特徴とする請求項３又は４に記載の顔向き検出装置。

【請求項6】

前記動き検出手段は、前記運転者の顔領域のほぼ全体が、前記ステアリングホイールの影に隠れてしまう角度範囲において、前記対象者の顔領域の動きの検出を中止することを特徴とする請求項５に記載の顔向き検出装置。

【請求項7】

前記角度推定手段は、前記顔認識手段が前記対象者の顔を認識できなくなった直前の、前記対象者の顔向きの角度が所定の角度閾値よりも大きく、かつ、顔向きの角速度が所定の角速度閾値よりも大きい場合に、前記対象者の顔向きの角度が所定角度範囲を超えたことによって、前記顔認識手段が前記対象者の顔を認識できなくなったものとみなすことを特徴とする請求項１乃至６のいずれか１項に記載の顔向き検出装置。

【請求項8】

請求項１乃至７のいずれか１項に記載の顔向き検出装置（１４）と、
前記対象者は、車両の運転者であり、当該運転者が車両を発進させようとしていることを検出する発進検出手段と、
前記発進検出手段により前記運転者が車両を発進させようとしていることが検出されたとき、前記顔向き検出装置による検出結果に基づいて、前記運転者が前記車両の左右方向を確認したか否かを判定する判定手段と、
前記判定手段によって、前記運転者は前記車両の左右方向を確認していないと判定された場合、前記運転者に警告を与える警告手段（２０）と、を備えることを特徴とする車両用警告システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象者の顔が向いている方向を検出する顔向き検出装置、及びこの装置を利用して、車両の発進時に警告を行う車両用警告システムに関する。

【背景技術】

【0002】

例えば、特許文献１には、運転者の脇見の有無を判定するための脇見判定装置が記載されている。この脇見判定装置は、顔向き角度算出手段を備え、この顔向き角度算出手段は、顔撮像部で撮像された運転者の顔画像データに基づいて顔向き角度を算出する。顔向き角度算出手段は、顔画像データから正常に顔部品を抽出することができないと、顔向き角度の算出が不能である旨の情報を脇見判定手段に供給する。また、脇見判定装置は、顔画像データに基づいて顔向き角度が顔向き角度検知限界範囲外となる可能性が有ると判定した場合に範囲外可能性フラグを立てるフラグ制御手段を有する。脇見判定手段は、範囲外可能性フラグが立った状態で、顔向き角度算出手段から顔向き角度の算出が不能である旨の情報を得た場合に、運転者が脇見状態にあると判定する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１４−１１５８５９号

【発明の概要】

【発明が解決しようとする課題】

【0004】

上述した特許文献１の装置では、顔向き角度算出手段が顔画像データから顔向き角度を算出することができないことに基づき、顔向き角度が検知限界範囲外であるとみなされる場合に、運転者が脇見状態にあると判定し、運転者に警告を与えるようにしている。

【0005】

しかしながら、例えば、信号機の無い交差点で一旦停止した後に右左折する場合など、運転者は、通常、左右方向を直接目視にて確認する。また、複数車線からなる道路を走行中に車線変更を行う場合などには、ルームミラーやサイドミラーだけでは死角があるため、運転者は、斜め後方を直接目視する必要がある。

【0006】

このように、日常的な運転シーンにおいて、運転者は左右方向や、斜め後方に顔を向けることがある。それにも係わらず、特許文献１の装置のように、顔向き角度の算出が不能である場合に、一律に運転者が脇見状態にあると判定し警告を行うようにすると、運転者は必要な確認行動を取っているにも係わらず警告を受けることになり、運転者に不快さや煩わしさを感じさせることになる。

【0007】

本発明は、上述した点に鑑みてなされたものであり、対象者の顔向きの角度が、画像データから対象者の顔が認識できる角度範囲を越えた場合であっても、対象者の顔向きの角度を検出することが可能な顔向き検出装置を提供することを第１の目的とする。また、この顔向き検出装置を利用して、車両の発進時に有効な警告を行うことが可能な車両用警告システムを提供することを第２の目的とする。

【課題を解決するための手段】

【0008】

上記第１の目的を達成するために、本発明による顔向き検出装置（１４）は、
対象者の顔を含む画像を撮像する撮像手段（１０）と、
撮像手段によって撮像された画像において対象者の顔を認識する顔認識手段（Ｓ１００）と、
顔認識手段の認識結果から、対象者の顔が向いている角度を算出する角度算出手段（Ｓ１１０）と、
対象者の顔が向いている角度の時間的な変化の大きさを示す、対象者の顔の向きの角速度を算出する角速度算出手段（Ｓ１２０）と、
対象者の顔もしくは視線の向きの角度が所定角度範囲を超えて、顔認識手段が対象者の顔を認識できなくなった場合に、角速度算出手段が算出済みの角速度に基づき、対象者の顔の向きの角度を推定する角度推定手段と、を備えることを特徴とする。

【0009】

本発明によれば、対象者の顔の向きの角度が所定角度範囲を超えて、顔認識手段が対象者の顔を認識できなくなった場合であっても、角度推定手段が、算出済みの、対象者の顔向きの角速度に基づいて、対象者の顔の向きの角度を推定することができる。従って、従来技術のように、顔向き角度が検知限界範囲外であるとみなされる場合に、一律に脇見状態にあると判定することなく、推定した顔向きの角度に基づき、対象者の確認行動等を判定することが可能となる。その結果、脇見等の判定精度を高めることができ、不適切な警報等を行うことを抑制することができる。

【0010】

また、上記第２の目的を達成するために、本発明による車両用警告システムは、
上述した顔向き検出装置（１４）と、
対象者は、車両の運転者であり、当該運転者が車両を発進させようとしていることを検出する発進検出手段と、
発進検出手段により運転者が車両を発進させようとしていることが検出されたとき、顔向き検出装置による検出結果に基づいて、運転者が車両の左右方向を確認したか否かを判定する判定手段と、
判定手段によって、運転者は車両の左右方向を確認していないと判定された場合、運転者に警告を与える警告手段（２０）と、を備えることを特徴とする。

【0011】

車両が発進して、交差点に進入しようとする場合や、踏切を通過しようとする場合など、運転者は、左右を十分に確認することが求められる。本発明では、運転者の顔を認識できない角度範囲においても、顔向きの角度を推定可能な顔向き検出手段を備えているので、運転者による、左右方向の確認動作を高精度に検出することができる。そのため、本発明によれば、左右方向の確認が重要となる車両の発進時に、実効性のある警告を行うことが可能となる。

【0012】

上記括弧内の参照番号は、本発明の理解を容易にすべく、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、なんら本発明の範囲を制限することを意図したものではない。

【0013】

また、上述した特徴以外の、特許請求の範囲の各請求項に記載した技術的特徴に関しては、後述する実施形態の説明及び添付図面から明らかになる。

【図面の簡単な説明】

【0014】

【図1】実施形態による顔向き検出装置を車両に適用した場合の車両用警報システムの構成の一例を示す構成図である。

【図2】（ａ）は、顔向き検出装置が、運転者の顔の認識結果に基づいて、運転者の顔向きの角度を検知可能な検知範囲を説明するための説明図であり、（ｂ）は、運転者の顔向きの角度が検知範囲を外れた状態を示す図である。

【図3】顔向き角度の推定を含む、顔向き検知部において実行される処理を示したフローチャートである。

【図4】前画像と現画像との時系列画像において、顔の主要な要素としての目、鼻、口の各領域に関して算出された動きベクトルの一例を示す図である。

【図5】図３のフローチャートに示す処理によって、顔向き角度がどのように推定されるかの具体例を説明するためのタイミングチャートである。

【図6】実施形態の変形例を説明するためのタイミングチャートである。

【発明を実施するための形態】

【0015】

以下、本発明の実施形態による顔向き検出装置について、図面を参照しつつ詳細に説明する。図１は、本実施形態による顔向き検出装置１４を車両に適用した場合の車両用警報システム１の構成の一例を示す構成図である。まず、この図１を参照しつつ、顔向き検出装置１４の構成について説明する。

【0016】

図１に示すように、顔向き検出装置１４は、カメラ１０と、顔向き検知部１２とを備えている。

【0017】

カメラ１０は、運転席に着座した運転者の顔全体の画像を撮像する運転席カメラである。カメラ１０は、運転者に正対するように、例えば、各種の計器が配置されるインストルメントパネル内や、ステアリングシャフトを内包するステアリングコラムの上面に配設される。そして、カメラ１０は、周期的に運転者の顔を含む画像を撮像して、顔向き検知部１２へ出力する。

【0018】

顔向き検知部１２は、例えば、公知のマイクロコンピュータを備え、所定の制御プログラムを実行することにより、カメラ１０によって撮像された運転者の顔を含む画像に基づき、運転者の顔向きの角度を検出したり、顔向き角度の推定値を算出したりするものである。ただし、顔向き検知部１２は、ＡＳＩＣなど、専用の集積回路によって構成することも可能である。

【0019】

顔向き検知部１２によって検出される顔向きの角度は、例えば、運転者の正面方向を０度とし、その正面方向から右方向への回転角度を正の角度、左方向への回転角度を負の角度として表すことができる。また、顔向き検知部１２は、運転者の顔向きの角度を、水平方向（左右方向）の動きとして２次元的に求めても良いし、水平方向及び上下方向の動きとして３次元的に求めても良い。

【0020】

顔向き検知部１２は、運転者の顔向き角度を検出する場合、まず、カメラ１０が撮像した画像において、運転者の顔が含まれる顔領域を定め、その顔領域中において、顔を構成する主要な要素（目、鼻、口など）を認識する。そして、顔向き検知部１２は、認識した主要な要素の相対的な位置関係に基づいて、運転者の顔向き角度を算出する。

【0021】

顔向き検知部１２は、顔を構成する主要な要素を認識する場合、画像に映し出された要素が、探索している要素に該当する確からしさ（信頼度）も併せて算出する。例えば、顔向き検知部１２は、画像に映し出された顔の要素の形状、大きさ、明度分布、色合いなどが、探索している要素とどの程度類似しているかに基づいて、確からしさ（信頼度）を算出することができる。そして、顔向き検知部１２は、算出した確からしさ（信頼度）を、所定の基準値と比較し、確からしさ（信頼度）が低ければ、顔の主要な要素が認識できていないと判定する。

【0022】

また、顔向き検知部１２は、運転者の顔向きの角度として、運転者の視線方向の角度を検出するものであっても良い。視線方向の角度を検出する場合には、顔向き検知部１２は、運転者の眼球の向きを画像解析により求める。そして、顔向き検知部１２は、運転者の顔向き角度を基準として、眼球の向きから運転者の視線方向の角度を算出する。この場合も、運転者の顔向き角度が基準となるので、上記した例と同様に、画像に映し出された要素が、探索している要素に該当する確からしさ（信頼度）が算出される。

【0023】

このようにして、顔向き検知部１２は、運転者の顔向きの角度（視線方向の角度）を検出して、後述する処理装置１６に出力する。

【0024】

上述したように、顔向き検知部１２は、カメラ１０が撮像した画像から、運転者の顔を構成する主要な要素を認識することにより、顔向きの角度を検出する。この場合、図２（ａ）に示すように、運転者の顔向き角度が正面を中心とする所定角度範囲（検知範囲）内に収まっていれば、カメラ１０によって撮像された画像において、運転者の顔の主要な要素を認識することができ、顔向きの角度を検出することができる。

【0025】

一方、図２（ｂ）に示すように、運転者の顔向きの角度が所定角度範囲（検知範囲）を超えてしまうと、撮像された画像には、運転者の顔の主要な要素が十分に映し出されなくなってしまう。そのため、上述した確からしさ（信頼度）が閾値以下に低下してしまい、主要な要素が認識できないと判定されることになる。このため、図２（ａ）、（ｂ）に示す検知範囲としての所定角度範囲は、撮像された画像において、顔の主要な要素が認識でき、確からしさ（信頼度）が閾値よりも大きくなる範囲ということもできる。

【0026】

以上のような理由から、運転者の顔向き角度が所定角度範囲外となると、運転者の顔を構成する主要な要素の認識結果から、運転者の顔向きの角度が検出できなくなってしまう。

【0027】

そこで、本実施形態では、運転者の顔向き角度が所定角度範囲を超えた場合であっても、顔向き検知部１２が運転者の顔向き角度を推定により算出できるようにしたことを特徴とするものである。以下、この顔向き角度の推定を含む、顔向き検知部１２において実行される処理について、図３のフローチャートなどを参照しつつ、詳細に説明する。

【0028】

顔向き検知部１２は、まず、ステップＳ１００において、上述したように、カメラ１０によって撮像された画像において運転者の顔の主要な要素の認識処理を行う。そして、ステップＳ１１０において、ステップＳ１００にて認識された各要素の確からしさを示す信頼度Ｆｒ（ｔ）を算出するとともに、認識した主要な要素の相対的な位置関係から顔向き角度Ｆθ（ｔ）を算出する。

【0029】

続くステップＳ１２０では、運転者の顔向き角速度Ｆθｖ（ｔ）を算出する。この顔向き角速度Ｆθｖ（ｔ）は、ステップＳ１００にて認識された顔の主要な要素の動きベクトルに基づいて算出される。より具体的には、前の周期で入力された画像（前画像）における顔の主要な要素の位置と、現在の周期で入力された画像（現画像）における顔の主要な要素の位置とが異なっている場合、それら前画像と原画像とにおける位置の差分から、動きの大きさ、方向を示す動きベクトルを求める。

【0030】

例えば、図４は、前画像と現画像との時系列画像において、顔領域の同じ部位を映し出している領域として、顔の主要な要素である目、鼻、口の領域が探索された例を示している。図４に示す例では、顔の主要な要素としての目、鼻、口の領域に関して、各領域の動きベクトルが算出されている。この場合、顔向き角速度Ｆθｖ（ｔ）は、例えば、複数の動きベクトルの平均から求めることができる。ただし、いずれか１つもしくは選択された幾つかの領域の動きベクトルの平均から顔向き角速度Ｆθｖ（ｔ）を求めても良い。

【0031】

このように、本実施形態では、顔の主要な要素を認識し、その認識した要素の領域の動きベクトルから顔向き角速度Ｆθｖ（ｔ）を算出するので、顔向き角速度Ｆθｖ（ｔ）を高精度に算出することができる。

【0032】

続くステップＳ１３０では、ステップＳ１１０において算出された信頼度Ｆｒ（ｔ）が閾値Ｒよりも大きいか否かが判定される。この場合、例えば、認識された主要な要素のそれぞれの信頼度Ｆｒ（ｔ）を個々に閾値Ｒと比較し、１つでも閾値Ｒ以下との判定がなされた場合、信頼度Ｆｒ（ｔ）は閾値Ｒ以下と判定しても良い。あるいは、例えば顔の主要な要素のそれぞれの信頼度Ｆｒ（ｔ）の平均値を求め、その平均値を閾値Ｒと比較しても良い。ステップＳ１３０において、信頼度Ｆｒ（ｔ）は、閾値Ｒよりも大きいと判定された場合、ステップＳ１４０の処理に進み、閾値以下と判定された場合、ステップＳ１６０の処理に進む。

【0033】

ステップＳ１４０では、今回の周期で算出された顔向き角度Ｆθ（ｔ）を、前周期の顔向き角度Ｆθ（ｔ−１）として保存するとともに、今回の周期で算出された顔向き角速度Ｆθｖ（ｔ）を、前周期の顔向き角速度Ｆθｖ（ｔ−１）として保存する。このステップＳ１４０の処理により、顔向き角度が所定角度範囲に属する間、常に、最新の顔向き角度Ｆθ（ｔ）及び顔向き角速度Ｆθｖ（ｔ）が、前周期の顔向き角度Ｆθ（ｔ−１）及び前周期の顔向き角速度Ｆθｖ（ｔ−１）として保存されるようになる。そして、ステップＳ１５０において、今回の周期で算出された顔向き角度Ｆθ（ｔ）を処理装置１６に出力する。処理装置１６については後述する。

【0034】

一方、ステップＳ１６０では、前周期の顔向き角度Ｆθ（ｔ−１）の絶対値が所定の閾値θよりも大きく、かつ、前周期の顔向き角速度Ｆθｖ（ｔ−１）の絶対値が閾値θｖよりも大きいか否かが判定される。あるいは、前周期の顔向き角度Ｆθ（ｔ−１）が０より大きい場合には、顔向き角度Ｆθ（ｔ−１）及び顔向き角速度Ｆθｖ（ｔ−１）とも、閾値θ、θｖよりも大きいか否かを判定し、前周期の顔向き角度Ｆθ（ｔ−１）が０より小さい場合には、顔向き角度Ｆθ（ｔ−１）及び顔向き角速度Ｆθｖ（ｔ−１）とも、閾値−θ、−θｖよりも小さいか否かを判定しても良い。

【0035】

つまり、ステップＳ１６０では、前周期の顔向き角度Ｆθ（ｔ−１）が、検知範囲としての所定角度範囲の境界近傍にあり、そのときの顔向き角速度Ｆθｖ（ｔ−１）が、次の周期での顔向き角度Ｆθ（ｔ）が所定角度範囲を超える程度の大きさを有するか否かを判定するのである。このステップＳ１６０において肯定判定された場合、ステップＳ１３０において信頼度Ｆｒ（ｔ）が閾値Ｒ以下に低下したと判定された原因が、顔向き角度Ｆθ（ｔ）が所定角度範囲（検知範囲）を越えたためであるとみなすことができる。そのため、この場合には、ステップＳ１７０以降の処理に進む。一方、ステップＳ１６０において否定判定された場合には、頼度Ｆｒ（ｔ）が閾値Ｒ以下に低下したと判定された原因が、顔向き角度Ｆθ（ｔ）が所定角度範囲（検知範囲）を越えたこと以外にあるとみなし、ステップＳ１００の処理に戻る。

【0036】

ステップＳ１７０では、運転者の顔向きの角度が所定角度範囲を超えてからの経過時間をカウントするためのタイマーをスタートさせる。そして、ステップＳ１８０において、カメラ１０から繰り返し入力される画像に基づいて、顔領域の動きを角速度として検出する。さらに、ステップＳ１９０において、検出した顔領域の動きに基づいて、顔領域の動きが停止したか否かを判定する。なお、顔領域の動きが停止したか否かは、顔領域の動きを示す角速度が閾値Ｍより大きければ、顔領域の動きは継続しており、閾値Ｍ以下となったとき、顔領域の動きは停止したと判定することができる。

【0037】

運転者の顔向き角度が所定角度範囲（検知範囲）を超えている場合であっても、顔領域には、運転者の横顔が映し出されたり、運転者がメガネや髪飾りなどを着けている場合には、それらの装着品が映し出されたりする。従って、時間的に連続して入力された時系列画像において、同じ部位が映し出されている画像領域を対応づけ、その対応付けられた画像領域の位置の差分から、動きベクトルを求め、その動きベクトルから顔領域の動きを示す角速度を求めることが可能である。

【0038】

ただし、この場合の角速度は、運転者の顔の主要な要素の動きベクトルに基づくものではないので、相対的に精度が低くなる可能性があることは否めない。そのため、本実施形態では、顔領域の動きを示す角速度を、顔向き角度の推定値の算出に直接的に用いずに、顔領域の動きが停止したか否か判断するために用いるようにしている。

【0039】

ここで、顔領域の動きを示す角速度の算出方法について説明する。顔領域の動きを示す角速度の算出方法として、種々の方法を採用することができる。例えば１つの方法として、１周期前に入力された画像において、顔領域を多数の小領域に分割する。そして、分割された小領域と同じサイズの探索領域を、現周期において入力された画像の顔領域に適用して、その探索領域を少しづつ移動させることにより、分割された各小領域と同じ部位を映し出している画像領域を探索する。このようにして、小領域と同じ部位の画像領域が探索されると、同じ部位を映し出している領域の移動量及び移動方向、すなわち動きベクトルを求めることができる。動きベクトルが求められれば、時系列画像の入力周期の間隔を元いて、顔領域の動きを示す角速度を算出することができる。

【0040】

また、別の方法として、顔領域における同じ部位の画像領域の探索に、いわゆるＳＩＦＴ（Scale-Invariant Feature Transform）特徴量やＳＵＲＦ（Speed-Up Robust Features）特徴量などを利用することも可能である。

【0041】

ステップＳ１９０において、顔領域の動きを示す角速度が閾値Ｍ以下と判定され、顔領域の動きが停止したとみなせる場合、ステップＳ２００の処理に進む。一方、顔領域の動きを示す角速度が閾値Ｍよりも大きいと判定されると、カメラ１０から新たな画像が入力され、その新たな画像に基づき、顔領域の動きを示す角速度が閾値Ｍ以下と判定されるようになるまで、ステップＳ１９０の処理が繰り返される。

【0042】

ステップＳ２００では、ステップＳ１７０にてカウントをスタートさせたタイマーをストップさせる。そして、タイマーによりカウントされた経過時間Ｔを記録する。

【0043】

続くステップＳ２１０では、以下の数式１に従って、運転者の顔向き角度の推定値Ｒθを求める。
（数１）
Ｒθ＝Ｆθ（ｔ−１）＋Ｆθｖ（ｔ−１）×Ｔ

【0044】

つまり、所定角度範囲を超える直前の顔向き角度Ｆθ（ｔ−１）から、タイマーによってカウントした経過時間Ｔの間、運転者は所定角度範囲を超える直前の顔向き角速度Ｆθｖ（ｔ−１）にて顔向き角度を変化させたものと仮定して、顔向き角度の推定値Ｒθを求める。

【0045】

続くステップＳ２２０では、算出された顔向き角度の推定値Ｒθを処理装置１６に出力する。

【0046】

上述した図３のフローチャートに示す処理によって、顔向き角度がどのように推定されるかの具体例を、図５のタイミングチャートを参照して説明する。図５のタイミングチャートには、運転者が正面を向いている状態（顔向き角度０度）から、右方向へ９０度以上、顔向き角度を変化させ、その後、顔向き正面に戻した例を示している。

【0047】

図５において、右方向への運転者の顔向き角度が検知範囲内である限り、顔向き検知部１２は、運転者の顔の主要な要素の認識結果に基づいて、運転者の顔向きの角度を検出することができる。さらに、運転者の顔の主要な要素の動きベクトルに基づいて、運転者の顔向き角速度を算出することができる。しかし、運転者の顔向き角度が増加し、検知範囲を越えた時点で、顔向き検知部１２は、運転者の顔の主要な要素の認識ができなくなり、そのため、それ以降、運転者の顔向き角度や顔向き角速度を検出することができなくなる。

【0048】

本実施形態では、図５に示すように、運転者の顔向き角度が検知範囲を超える直前の顔向き角速度Ｆθｖ（ｔ−１）を保存している。さらに、運転者の顔向き角度が検知範囲を超えてからの経過時間Ｔをタイマーにてカウントする。このタイマーのカウントは、顔領域の動きを示す角速度が所定の閾値Ｍ以下となり、運転者の顔領域の動きが停止したとみなされるときまで継続される。このため、タイマーがカウントする経過時間Ｔは、顔向き角度が検知範囲を超えてから、運転者の顔領域の動きが停止するまでの時間を示すものとなる。

【0049】

そして、本実施形態では、運転者の顔領域の動きが停止したとみなされた時点で、保存されている顔向き角速度Ｆθｖ（ｔ−１）と経過時間Ｔとに基づいて、顔向き角度の推定値Ｒθを算出する。つまり、上述したように、顔向き角度が検知範囲を超えてから、運転者の顔領域の動きが停止するまでの経過時間Ｔの間、運転者は、保存されている顔向き角速度Ｆθｖ（ｔ−１）にて顔向き角度を変化させたものと仮定して、顔向き角度の推定値Ｒθを算出する。このように、本実施形態では、相対的に精度の高い顔向き角速度Ｆθｖ（ｔ−１）を用いて顔向き角度の推定値Ｒθを算出するので、実際の顔向き角度に近似した推定値Ｒθを算出することができる。そして、このようにして算出された顔向き角度の推定値Ｒθは、図５に示すように、顔向き角度が検知範囲内となって、顔向き角度の検出が再開された時点でキャンセルされる。

【0050】

次に、顔向き検出装置１４以外の車両用警報システム１の構成について説明する。図１に示すように、車両用警報システム１は、顔向き検出装置１４の他に、処理装置１６、車両情報取得部１８、警報装置２０を備えている。

【0051】

処理装置１６には、顔向き検出装置１４によって検出される運転者の顔向き角度に加え、車両情報取得部１８からの情報が入力される。

【0052】

車両情報取得部１８は、例えば、他の制御装置と通信を行う通信インターフェースからなる。この車両情報取得部１８は、処理装置１６が必要とする車両情報（車速やブレーキ操作情報など）を保有している他の制御装置と通信を行い、その車両情報を取得する。また、車両情報取得部１８は、必要な車両情報を検出する各種のセンサ（車速センサ、ブレーキスイッチなど）であっても良い。

【0053】

処理装置１６は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータを有し、ＣＰＵが、ＲＡＭの一時記憶機能を利用しつつＲＯＭに記憶されているプログラムを実行することで、運転者の脇見や、車両の発進時に十分な安全確認がなされていないことを判定し、警告するための処理を実行する。例えば、処理装置１６は、顔向き検出装置１４から入力された運転者の顔向き角度が、正面を中心とする所定角度範囲（検知範囲よりも小さい）を外れている時間が所定時間以上となったとき、運転者は脇見をしていると判定する。そして、処理装置１６は、警報装置２０に対して脇見警告を行うよう指示する。

【0054】

警報装置２０は、処理装置１６から脇見警告を行うように指示を受けると、例えば、警告音を発したり、音声や画面表示により運転者に警告メッセージを与えたりして、運転者に脇見をしないよう注意を促す。

【0055】

また、処理装置１６は、車速及びブレーキ操作情報に基づいて、運転者が車両を発進させようとしていることを判定したとき、それまでに、顔向き検出装置１４から入力された運転者の顔向き角度に基づいて、運転者が左右の安全を確認したかを判定する。例えば、車速がほぼゼロで、運転者がブレーキペダルから足を離したことが検出されたとき、運転者は車両を発進させようとしていると判定することができる。また、運転者が、左右それぞれの方向へ、所定角度以上かつ所定時間以上、顔向き角度を変化させた場合に、処理装置１６は、運転者が左右の安全を確認したと判定することができる。

【0056】

処理装置１６は、運転者が車両を発進させようとしていると判定したとき、車両の運転者が左右の安全を十分に確認していないと判定すると、警報装置２０に対して、確認が不十分であることを警告するよう指示する。警報装置２０は、確認不十分の警告指示を受けると、警告音や警告メッセージにより、運転者への警告を行う。これにより、運転者に左右の確認を行い、安全運転を行うよう促すことができる。

【0057】

例えば、車両が発進して、信号機の無い交差点に進入しようとする場合や、踏切を通過しようとする場合など、運転者は、左右を十分に確認することが求められる。本実施形態では、運転者の顔を認識できない所定角度範囲においても、顔向きの角度を推定可能であるため、運転者による左右方向の確認動作を高精度に検出することができる。そのため、本実施形態によれば、左右方向の確認が重要となる車両の発進時に、実効性のある警告を行うことが可能となる。

【0058】

なお、例えば、処理装置１６に道路地図情報を入力し、発進時に特に左右方向の確認が重要となるポイント（例えば、信号機の無い交差点、踏切など）を判別させ、そのポイントにおいてのみ、左右方向の安全確認が十分になされた否かの判定を行って、安全確認が不十分である場合に警告を行うようにしても良い。

【0059】

以上、本発明の好ましい実施形態について説明したが、本発明は、上述した実施形態になんら制限されることなく、本発明の主旨を逸脱しない範囲において、種々変形して実施することが可能なものである。

【0060】

例えば、上述した実施形態では、顔領域の動きが停止したと判定したタイミングで、顔向き角度の推定値Ｒθを算出する例について説明した。しかしながら、顔領域の動きが継続している間も、例えば所定時間毎に、その時点までの経過時間から、顔向き角度の推定値Ｒθを算出して、処理装置１６に出力するようにしても良い。

【0061】

また、顔向き検出装置１４は、運転者の顔向きの角度が検知範囲を一方向に越えた角度であると推定しているとき、上述した顔領域の動き検出により、顔向きの角度を検知範囲方向に大きく戻す動きが検出され、その後、その動きが止まったことが検出されたときに、運転者の顔の主要な要素が認識できない場合、運転者が左右に首を振る動作を行ったことを検出する首振り動作検出機能を備えても良い。

【0062】

例えば図６のタイミングチャートに示すように、運転者は、左右方向の確認時に、素早くかつ大きく顔向き角度を変化させる場合がある。このような場合、運転者が顔向き角度を変化させる角速度が速すぎて、運転者の顔を明瞭に映し出した画像が取得できないなどの理由から、顔向き角度を検出できない可能性がある。しかし、少なくとも顔領域の動きベクトルから、運転者が顔向き角度を変化させたことは検出できる。

【0063】

そのため、運転者の顔向き角度が検知範囲外にある状態から、その顔向き角度を検知範囲方向に戻す、運転者の顔領域の動きが検出されたにも係わらず、その動きが停止したとき、運転者の顔向き角度が検知範囲外である場合には、上述したように、運転者が左右に大きく首を振る動作を行ったと検出しても良い。

【0064】

また、上述した実施形態では、カメラ１０は、インストルメントパネル内やステアリングコラムの上面に設置される例について説明した。このような位置にカメラ１０を設置した場合、カメラと運転者との間には、ステアリングホイールが介在するため、ステアリングホイールの操舵角度によっては、ステアリングのスポーク部分などが、カメラ１０の撮像する画像に映り込むことがある。そのため、顔向き検知部１２に、予め、ステアリングホイールの操舵角度と、スポーク部分などの映り込み領域との関係を記憶させておくとともに、ステアリングホイールの操舵角度を検出する操舵角センサの検出信号が入力するように構成することが好ましい。

【0065】

このような構成を採用することにより、顔向き検知部１２は、操舵角センサの検出信号に基づき、画像において、ステアリングホイールの一部（スポーク部分など）が映し出される領域を特定することができる。そのため、顔向き検知部１２は、スポーク部分などの映り込み領域を除外した残りの領域において、運転者の顔領域の動きを検出することが可能となり、スポーク部分の映り込み領域の動きベクトルから、顔領域の動きを誤検出することを防止することができる。さらに、運転者の顔領域のほぼ全体が、ステアリングホイールの影に隠れてしまう操舵角度範囲がある場合には、顔向き検知部１２は、その操舵角度範囲において、運転者の顔領域の動きの検出を中止することが好ましい。

【0066】

また、上述した実施形態では、顔向き検出装置を、車両の運転者の顔向き角度を検出するために用いる例について説明したが、車両以外の乗り物（例えば、船舶や飛行機）に適用しても良いし、あるいはプラントのオペレータ等の脇見検出に適用しても良い。

【符号の説明】

【0067】

１０ カメラ
１２ 顔向き検知部
１４ 顔向き検出装置
１６ 処理装置
１８ 車両情報取得部
２０ 警報装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】