特許 7107178 映像検出装置、映像検出方法および映像検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-19

(45)【発行日】2022-07-27

(54)【発明の名称】映像検出装置、映像検出方法および映像検出プログラム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20220720BHJP

   G06T 7/20 20170101ALI20220720BHJP

   G08G 1/16 20060101ALI20220720BHJP

【ＦＩ】

G06T7/70 B

G06T7/20 300B

G08G1/16 F

【請求項の数】 9

(21)【出願番号】P 2018211631

(22)【出願日】2018-11-09

(65)【公開番号】P2020077338

(43)【公開日】2020-05-21

【審査請求日】2020-12-25

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】小磯 久

【審査官】佐藤 実

(56)【参考文献】

【文献】特開平０７－２９６２９９（ＪＰ，Ａ）

【文献】特開平０９－０３５０７０（ＪＰ，Ａ）

【文献】特開２００５－３３９２８８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０８Ｇ １／１６

(57)【特許請求の範囲】

【請求項1】

被撮像体の顔を撮影した映像を取得する映像取得部と、
前記映像取得部によって取得された映像から左右の目を認識する映像認識部と、
前記映像認識部により認識された左右の目の位置に基づいて水平に対する傾斜角を推定する傾斜角推定部と、を備え 、
前記傾斜角推定部は、映像フレーム間における差分を求めること、および映像フレーム間で平均化すること、の少なくとも一方を行うことにより傾斜角を推定す ることを特徴とする映像検出装置。

【請求項2】

前記傾斜角推定部は、前記映像認識部により左右の目の少なくとも一方が一定期間認識されない場合、次に最初に認識される左右の目に基づいて推定される傾斜角によって推定している傾斜角をリセットすることを特徴とする請求項１に記載の映像検出装置。

【請求項3】

前記傾斜角推定部により推定した傾斜角が所定角度を超える頻度を算出する傾斜頻度算出部と、
を備えることを特徴とする請求項１または２に記載の映像検出装置。

【請求項4】

前記傾斜角推定部により推定した傾斜角に基づいて左右の目の傾きを補正する傾き補正部と、
前記傾き補正部により補正された左右の目の開度を算出する開度算出部と、
を備えることを特徴とする請求項１または２に記載の映像検出装置。

【請求項5】

前記映像認識部により認識された左右の目に基づいて、被撮像体の眠気の度合を判定する眠気判定部と、
を備えることを特徴とする請求項１から４のいずれか１項に記載の映像検出装置。

【請求項6】

被撮像体の顔を撮影した映像を取得する映像取得部と、
前記映像取得部によって取得された映像から左右の目を認識する映像認識部と、
前記映像認識部により認識された左右の目の位置に基づいて水平に対する傾斜角を推定する傾斜角推定部と、
前記傾斜角推定部により推定した傾斜角が所定角度を超える頻度を算出する傾斜頻度算出部と、
を備えることを特徴とする映像検出装置。

【請求項7】

前記映像認識部により認識された左右の目に基づいて、被撮像体の眠気の度合を判定する眠気判定部と、
を備えることを特徴とする請求項６に記載の映像検出装置。

【請求項8】

被撮像体の顔を撮影した映像を取得する映像取得ステップと、
前記映像取得ステップによって取得された映像から左右の目を認識する映像認識ステップと、
前記映像認識ステップにより認識された左右の目の位置に基づいて水平に対する傾斜角を推定する傾斜角推定ステップと、を備え 、
前記傾斜角推定ステップは、映像フレーム間における差分を求めること、および映像フレーム間で平均化すること、の少なくとも一方を行うことにより傾斜角を推定す ることを特徴とする映像検出方法。

【請求項9】

被撮像体の顔を撮影した映像を取得する映像取得ステップと、
前記映像取得ステップによって取得された映像から左右の目を認識する映像認識ステップと、
前記映像認識ステップにより認識された左右の目の位置に基づいて水平に対する傾斜角を推定する傾斜角推定ステップと、
をコンピュータに実行させ 、
前記傾斜角推定ステップは、映像フレーム間における差分を求めること、および映像フレーム間で平均化すること、の少なくとも一方を行うことにより傾斜角を推定す ることを特徴とする映像検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像検出装置、映像検出方法および映像検出プログラムに関する。

【背景技術】

【0002】

例えば車両に搭載されるドライブレコーダ等では、車両の外部や車室内を撮像して得られる映像を記憶装置に記憶する。車室内を撮像する場合、車室内の様子を映像として記憶することや、運転者を中心に映像を記憶することなどが行われる。

【0003】

例えば、特許文献１には、撮影される人物の顔に相当する顔領域を含む原画像の画像データに基づいて、原画像中の人物の両目に相当する位置をそれぞれ検出する画像処理方法が開示されている。この画像処理方法は、検出された原画像中の人物の両目に相当する位置が、原画像に対して予め設定されている基準線またはこの基準線に直交する直線に平行な同一直線上に位置するように、原画像を修正して、修正画像データを作成する。この画像処理方法は、原画像中の人物の顔に相当する顔領域の傾きを自動的に修正し、例えば証明写真の作成などに用いられる。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００３－３１９１６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の従来の画像処理方法は、証明写真のような静止画像に対して左右の目の位置を検出して画像を修正することを考慮しているが、動画像として取得される映像に対して適用することについては考慮されていなかった。また、従来の画像処理方法では、映像から認識される左右の目の開度や傾き等の目の動きに基づいて、被撮像体の状態を推定することは検討されていなかった。

【0006】

本発明は、斯かる事情に鑑みてなされたものであり、その目的とするところは、被撮像体の顔を撮像した映像から時々刻々における左右の目の傾きを推定し、更には被撮像体の状態を推定することができる映像検出装置、映像検出方法および映像検出プログラムを提供することにある。

【課題を解決するための手段】

【0007】

本発明のある態様の映像検出装置は、被撮像体の顔を撮影した映像を取得する映像取得部と、前記映像取得部によって取得された映像から左右の目を認識する映像認識部と、前記映像認識部により認識された左右の目の位置に基づいて水平に対する傾斜角を推定する傾斜角推定部と、を備える。

【0008】

また本発明の別の態様は映像検出方法である。この映像検出方法は、被撮像体の顔を撮影した映像を取得する映像取得ステップと、前記映像取得ステップによって取得された映像から左右の目を認識する映像認識ステップと、前記映像認識ステップにより認識された左右の目の位置に基づいて水平に対する傾斜角を推定する傾斜角推定ステップと、を備える。

【発明の効果】

【0009】

本発明によれば、被撮像体の顔を撮像した映像から時々刻々における左右の目の傾きを推定することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態１に係る映像検出装置を含むドライバーモニターの構成を示すブロック図である。

【図2】映像フレームにおける左右の目の傾斜について説明するための模式図である。

【図3】回転補正された左右の目について説明するための模式図である。

【図4】映像検出装置における眠気の度合の判定処理の手順を示すフローチャートである。

【図5】傾斜角推定部により推定された左右の目の傾斜角の例を示すグラフである。

【図6】開度算出部により算出された左右の目の開度の例を示すグラフである。

【図7】実施形態２に係る映像検出装置を含むドライバーモニターの構成を示すブロック図である。

【発明を実施するための形態】

【0011】

以下、本発明を好適な実施の形態をもとに図１から図７を参照しながら説明する。各図面に示される同一または同等の構成要素、部材には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面における部材の寸法は、理解を容易にするために適宜拡大、縮小して示される。また、各図面において実施の形態を説明する上で重要ではない部材の一部は省略して表示する。

【0012】

（実施形態１）
図１は、実施形態１に係る映像検出装置３０を含むドライバーモニター１００の構成を示すブロック図である。ドライバーモニター１００は、車両に搭載され、車両の車室内を時間的に連続して撮影する。ドライバーモニター１００は撮影した映像を記録するようにしてもよいし、記録せずに破棄してもよい。ドライバーモニター１００は、例えば車両のフロントガラスの下方におけるダッシュボード上などに配置される。ドライバーモニター１００の映像検出装置３０は、被撮像体として、例えば車両に搭乗している運転者を被撮像体として撮像し、撮像された被撮像体の顔から左右の目を認識する。映像検出装置３０は、左右の目の水平に対する傾斜角（以下、水平に対する傾斜角を単に傾斜角と呼ぶ。）を時々刻々推定する。

【0013】

映像検出装置３０は、推定した左右の目の傾斜角に基づいて、左右の目が概ね水平に配置されるように左右の目の傾きを回転補正する。映像検出装置３０は、回転補正した左右の目の開度を算出し、算出した開度から眠気の度合を判定する。また、映像検出装置３０は、左右の目の傾斜角が所定角を超える頻度を算出し、算出した頻度から眠気の度合を判定する。

【0014】

映像検出装置３０は、推定した左右の目の傾斜角に基づいて、撮像された映像自体を左右の目が概ね水平に配置されるように回転補正してもよい。また、撮像された映像のうち顔検出枠のみ、或いは顔検出枠とその周辺部分の画像を回転補正してもよく、更には左右の目以外の他の顔の部位を用いて回転補正してもよい。また、映像検出装置３０は、推定した左右の目の傾斜角、左右の目の開度、および左右の目の傾斜角が所定角を超える頻度等の情報を外部装置へ出力してもよく、更には記録する映像に付随する情報として記録してもよい。

【0015】

ドライバーモニター１００は、撮像部１０、記録部２０、映像検出装置３０、外部入力部４０および外部出力部４１等を備える。撮像部１０は、例えばＣＣＤ等の検出器を有するカメラであり、車両に搭乗している例えば運転者を被撮像体として撮像する。撮像部１０は、時間的に連続して映像を取得し、後述する映像検出装置３０の映像取得部３１へ送出する。

【0016】

記録部２０は、例えばＳＤカードやＵＳＢメモリ等の着脱可能な媒体や、ハードディスクなどであり、映像取得部３１で取得された映像を記録し、削除することができるものとする。以下、記録部２０が設けられた構成について説明するが、ドライバーモニター１００が映像を記録する部分を持たない場合には記録部２０は設けなくてもよい。記録部２０は、ドライバーモニター１００に着脱可能とすることで、ドライバーモニター１００から取り外し、別のＰＣ等で映像を再生等することができる。

【0017】

外部入力部４０は、車両の速度情報および位置情報等を外部装置から取得する。また外部出力部４１は、推定した左右の目の傾斜角、左右の目の開度、および左右の目の傾斜角が所定角を超える頻度等の情報を外部装置へ出力する。ドライバーモニター１００は、外部入力部４０によって取得した速度情報および位置情報等を映像に付加して記録するようにしてもよい。

【0018】

映像検出装置３０は、映像取得部３１、映像認識部３２、傾斜角推定部３３、傾き補正部３４、開度算出部３５および眠気判定部３６を有する。映像検出装置３０は、例えばＣＰＵなどによって構成され、コンピュータプログラムに従って動作することによって、上述の各部による処理を実行する。記憶部３０ａは、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク記憶装置等のデータ記憶装置によって構成されており、映像検出装置３０で実行するコンピュータプログラム等を記憶する。また記憶部３０ａは、撮像された映像から被撮像体の顔や目等を認識するための認識用辞書を記憶している。

【0019】

映像取得部３１は、撮像部１０において撮影された映像を取得してデータ圧縮等の処理を行い、記録部２０に出力する。尚、映像取得部３１は、撮像部１０を含んで構成されていてもよい。

【0020】

映像認識部３２は、記憶部３０ａに記憶された認識用辞書に基づいて、映像取得部３１から入力された映像から被撮像体の顔や左右の目を認識する。記憶部３０ａに記憶した認識用辞書には、顔や目等の形状データ等が含まれており、映像認識部３２は、映像に表われている形状パターンを抽出し、認識用辞書に含まれる形状データと照合することによって左右の目を認識する。映像認識部３２は、様々な分野において開発されてきた公知の画像認識処理の手法を用いて、映像から左右の目を認識することができる。

【0021】

傾斜角推定部３３は、映像認識部３２によって認識された左右の目の位置に基づいて、左右の目の傾斜角を時々刻々と推定する。図２は、映像フレームにおける左右の目の傾斜について説明するための模式図である。傾斜角推定部３３は、左右の目の中心点Ｐ１およびＰ２を求め、中心点Ｐ１およびＰ２を結ぶ直線Ｍ１と、映像フレームＦにおける基準線となる水平線Ｌとがなす角度を傾斜角θとして推定する。左右の目の中心点Ｐ１およびＰ２は、映像認識部３２によって認識された左右の目における瞳の中心点として求められる。

【0022】

直線Ｍ１は左右の目が並ぶ方向を示しているが、例えば図２に示すように目の輪郭における接線を示す直線Ｍ２を求め、直線Ｍ２と水平線Ｌとがなす角度を傾斜角θとして推定してもよい。このほか、左右の目の目尻同士を結ぶ直線や、目頭同士を結ぶ直線などを求め、これらの直線と水平線Ｌとがなす角度を傾斜角θとして推定してもよい。

【0023】

傾斜角推定部３３は、左右の目の傾斜角θを連続する映像フレームごとに独立的に推定してもよい。また傾斜角推定部３３は、１つ前の映像フレームにおける傾斜角θ（ｎ－１）で、現時点の映像フレームを回転補正した後、映像認識部３２によって左右の目を認識した後、傾斜角の変化量Δθ（ｎ）を算出し、現在の映像フレームにおける傾斜角θ（ｎ）を推定してもよい。このとき、傾斜角θ（ｎ）は次のように表される。
θ（ｎ）＝θ（ｎ－１）＋Δθ（ｎ）
現時点の映像フレームをθ（ｎ－１）で一旦回転補正することにより、左右の目の傾きが小さくなって映像認識が容易になり、変化量Δθ（ｎ）をより正確に求めることができる。

【0024】

また、傾斜角推定部３３は、連続する映像フレーム間で平均化して左右の目の傾斜角を推定するようにしてもよい。左右の目が細かく動いて傾斜角の微動が生じる場合、映像フレーム間で左右の目の傾斜角を平均化することで、左右の目の大きな動きが把握し易くなる。

【0025】

また、傾斜角推定部３３は、左右の目の少なくとも一方が所定期間に亘って映像認識されず傾斜角を推定することができない場合には、次に最初に認識される左右の目の位置に基づいて推定される傾斜角で推定している傾斜角をリセットするようにしてもよい。また、傾斜角推定部３３は、左右の目の少なくとも一方が撮像部１０の画角から外れた場合、一瞬画角から外れてすぐに画角内で左右の目が検出され得る場合に備えて、画角から外れる直前に推定された傾斜角を保持するようにしてもよい。

【0026】

傾き補正部３４は、傾斜角推定部３３によって推定した傾斜角θに基づいて、左右の目が映像フレームＦにおける基準線である水平線Ｌと平行に配置されるように、左右の目の傾きを回転補正する。図３は、回転補正された左右の目について説明するための模式図である。傾き補正部３４は、左右の目の並び方向を示す直線Ｍ１が映像フレームＦにおける基準線である水平線となるように、左右の目を一体的に回転補正する。

【0027】

開度算出部３５は、傾き補正部３４によって回転補正された左右の目の開度を算出する。図３に示すように、開度算出部３５は、右目の中心点Ｐ１を通る鉛直線Ｎ１と、右目の上縁部および下縁部との交点間の距離Ｅ１を求める。同様に、開度算出部３５は、左目の中心点Ｐ２を通る鉛直線Ｎ２と、左目の上縁部および下縁部との交点間の距離Ｅ２を求める。開度算出部３５は、距離Ｅ１およびＥ２自体を開度として定義してもよいし、被撮像体において平均的な距離Ｅｎを測定し、比率（Ｅ１／Ｅｎ）および比率（Ｅ２／Ｅｎ）を開度として定義してもよい。また、開度算出部３５は、被撮像体において最大の距離Ｅｍを測定し、比率（Ｅ１／Ｅｍ）および比率（Ｅ２／Ｅｍ）を開度として定義するなどしてもよい。

【0028】

眠気判定部３６は、映像認識部３２によって認識された左右の目の動きに基づいて被撮像体に生じている眠気の度合を判定する。眠気判定部３６は、開度算出部３５によって算出された左右の目の開度に基づいて眠気の度合を判定する。眠気判定部３６は、例えば左右の目の開度について所定の閾値を定め、開度が該閾値以上である場合に眠気の度合が「小」と、該閾値未満である場合に眠気の度合が「大」であると判定する。また、眠気判定部３６は、左右の目の開度について２以上の複数の閾値を定め、多段階で眠気の度合を判定するようにしてもよい。さらに、眠気判定部３６は、左右の目の開度そのものを眠気の度合として判定するものであってもよい。

【0029】

映像取得部３１によって取得された映像は、上述のようにデータ圧縮等の映像処理を行って記録部２０で記録されるが、傾斜角推定部３３によって時々刻々推定される左右の目の傾斜角に基づいて回転補正した後、記録部２０で記録されてもよい。

【0030】

次に映像検出装置３０の動作について、眠気の度合の判定処理に基づいて説明する。図４は、映像検出装置３０における眠気の度合の判定処理の手順を示すフローチャートである。ドライバーモニター１００は、撮像部１０によって撮影した映像の映像フレームを映像検出装置３０の映像取得部３１で取得している（Ｓ１）。

【0031】

映像認識部３２は、前回推定された傾斜角θ（ｎ－１）によって映像フレームを回転補正し（Ｓ２）、左右の目を映像認識する（Ｓ３）。映像認識部３２は、ステップＳ２において初期状態である場合には、前回推定された傾斜角θ（ｎ－１）を０ｄｅｇであるとすればよい。

【0032】

傾斜角推定部３３は、ステップＳ３によって認識された左右の目の中心点Ｐ１およびＰ２を求めて傾斜角の変化量Δθ（ｎ）を算出する（Ｓ４）。傾斜角推定部３３は、現時点における左右の目の傾斜角θ（ｎ）を前回推定された傾斜角θ（ｎ－１）に傾斜角の変化量Δθ（ｎ）を加算して推定する（Ｓ５）。図５は、傾斜角推定部３３により推定された左右の目の傾斜角の例を示すグラフである。図５において横軸は時間ｔを縦軸は傾斜角θを表している。傾斜角推定部３３によって時々刻々左右の目の傾斜角を推定することにより、傾斜角の変化が小さいケースや、傾斜角の変化が大きいケースなどが現れる。

【0033】

傾き補正部３４は、ステップＳ５において推定された現時点における左右の目の傾斜角θ（ｎ）によって左右の目を回転補正する（Ｓ６）。傾き補正部３４での回転補正によって、例えば図３に示すように左右の目が並ぶ方向が概ね水平となる。開度算出部３５は、回転補正された左右の目の開度を算出する（Ｓ７）。図６は、開度算出部３５により算出された左右の目の開度の例を示すグラフである。図６において横軸は時間ｔを縦軸は目の開度を表している。開度算出部３５によって時々刻々左右の目の開度を推定することにより、開度の変化が小さいケースや、開度の変化が大きいケースなどが現れる。尚、目の開度は、左目および右目ごとに算出されるが、左目および右目ごとに独立的に扱ってもよいし、平均化や、最大値または最小値のいずれかを採用するようにしてもよい。

【0034】

眠気判定部３６は、開度算出部３５により算出された目の開度を閾値と比較判定することにより眠気の度合を判定し（Ｓ８）、処理を終了する。図６に示すように、眠気判定部３６は、例えば１つの閾値と目の開度とを比較判定し、目の開度が閾値以上である場合には眠気の度合が「小」であると、閾値未満である場合には眠気の度合が「大」であると判定する。

【0035】

映像検出装置３０は、被撮像体としての車両の運転者を撮像した映像を取得し、左右の目を映像認識し、左右の目の傾斜角を時々刻々推定することができる。映像検出装置３０は、左右の目の傾きを傾き補正部３４により回転補正し、開度算出部３５により左右の目の開度を算出することで簡単で正確に目の開度を算出することができる。また、映像検出装置３０は、推定した左右の目の傾斜角に基づいて傾きを補正し、被撮像体の状態として眠気の度合を判定することができる。

【0036】

また上述のように、傾斜角推定部３３において、傾斜角の変化分Δθ（ｎ）、即ち映像フレーム間における差分を時々刻々と求めて傾斜角を推定する。映像検出装置３０は、１つ前の映像フレームにおける傾斜角によって傾きが補正された映像フレームにおいて左右の目を映像認識することで、左右の目の映像認識が容易に行える。

【0037】

また傾斜角推定部３３において映像フレーム間で平均化して傾斜角を推定することで、左右の目が細かく動いて傾斜角の微動が生じる場合にも、左右の目の大きな動きが把握し易くなる。

【0038】

また傾斜角推定部３３は、映像認識部３２により左右の目の少なくとも一方が一定期間認識されない場合には、次に最初に認識される左右の目に基づいて推定される傾斜角によってリセットして、傾斜角の推定において生じた不連続や不安定状態からリカバリーすることができる。

【0039】

（実施形態２）
実施形態１では左右の目の開度に基づいて被撮像体の状態としての眠気の度合を判定したが、左右の目の傾斜角が所定角度を超える頻度を算出することによって眠気の度合を判定するようにしてもよい。図７は、実施形態２に係る映像検出装置３０を含むドライバーモニター１００の構成を示すブロック図である。実施形態２に係る映像検出装置３０では、傾斜頻度算出部３７を設けており、以下に特に説明する以外の構成および動作は実施形態１において説明した構成および動作と同様であり、記載の簡潔のため説明を省略する。

【0040】

傾斜頻度算出部３７は、一定時間の間に左右の目の傾斜角が所定角度を超える回数をカウントして、左右の目の傾斜の頻度を算出する。眠気判定部３６は、傾斜頻度算出部３７により算出された左右の目の傾斜の頻度と所定の閾値とを比較判定し、頻度が該閾値以上である場合に眠気の度合が「大」であり、該閾値未満である場合に眠気の度合が「小」であると判定する。また、眠気判定部３６は、左右の目の傾斜の頻度について２以上の複数の閾値を定め、多段階で眠気の度合を判定するようにしてもよい。さらに、眠気判定部３６は、左右の目の傾斜の頻度そのものを眠気の度合として判定するものであってもよい。

【0041】

また、傾斜頻度算出部３７は、一定時間の間に左右の目の傾斜角が所定角度を超える時間を計測して得られるデューティを左右の目の傾斜の頻度として算出してもよい。眠気判定部３６による左右の目の傾斜の頻度と所定の閾値との比較判定は、上述と同様である。眠気判定部３６は、傾斜頻度算出部３７によって算出されるデューティに基づき、左右の目の傾斜角が所定角度を超える時間が長い場合に眠気の度合が「大」であり、所定角度を超える時間が短い場合に眠気の度合が「小」であると判定する。

【0042】

実施形態１および２において、被撮像体の状態として眠気の度合を判定する例を示したが、左右の目に表われる被撮像体の状態として、気持ちの不安や感情的な喜怒の度合、身体的な疲れの度合などを判定するようにしてもよい。

【0043】

次に、上述の各実施形態に係る映像検出装置３０、映像検出方法および映像検出プログラムの特徴を説明する。
実施形態に係る映像検出装置３０は、映像取得部３１、映像認識部３２および傾斜角推定部３３を備える。映像取得部３１は被撮像体の顔を撮影した映像を取得する。映像認識部３２は、映像取得部３１によって取得された映像から左右の目を認識する。傾斜角推定部３３は、映像認識部３２により認識された左右の目の位置に基づいて水平に対する傾斜角を推定する。これにより、映像検出装置３０は、被撮像体の顔を撮像した映像から時々刻々における左右の目の傾きを推定することができる。

【0044】

また、傾斜角推定部３３は、映像フレーム間における差分を求めて左右の目の傾斜角を推定する。これにより、映像検出装置３０は、映像フレームの傾きを補正しつつ左右の目を映像認識するので、左右の目の映像認識が容易に行える。

【0045】

また、傾斜角推定部３３は、映像フレーム間で平均化して左右の目の傾斜角を推定する。これにより、映像検出装置３０は、左右の目が細かく動いて傾斜角の微動が生じる場合にも、左右の目の大きな動きが把握し易くなる。

【0046】

また、傾斜角推定部３３は、映像認識部３２により左右の目の少なくとも一方が一定期間認識されない場合、次に最初に認識される左右の目に基づいて推定される傾斜角によって推定している傾斜角をリセットする。これにより、映像検出装置３０は、傾斜角の推定において生じた不連続や不安定状態からリカバリーすることができる。

【0047】

また、映像検出装置３０は、傾き補正部３４および開度算出部３５を備える。傾き補正部３４は、傾斜角推定部３３により推定した傾斜角に基づいて左右の目の傾きを補正する。開度算出部３５は、傾き補正部３４により補正された左右の目の開度を算出する。これにより、映像検出装置３０は、左右の目の傾斜を回転補正した上で簡単で正確に目の開度を算出することができる。

【0048】

また、映像検出装置３０は、傾斜角推定部３３により推定した傾斜角が所定角度を超える頻度を算出する傾斜頻度算出部３７を備える。これにより、映像検出装置３０は、取得した映像から左右の目の傾斜頻度を求めて出力することができ、例えば、傾斜頻度を被撮像体の眠気の度合の判定などに利用することができる。

【0049】

また、映像検出装置３０は、映像認識部３２により認識された左右の目に基づいて、被撮像体の眠気の度合を判定する眠気判定部３６を備える。これにより、映像検出装置３０は、被撮像体の状態として眠気の度合を判定することができる。

【0050】

実施形態に係る映像検出方法は、映像取得ステップ、映像認識ステップおよび傾斜角推定ステップを備える。映像取得ステップは、被撮像体の顔を撮影した映像を取得する。映像認識ステップは、映像取得ステップによって取得された映像から左右の目を認識する。傾斜角推定ステップは、映像認識ステップにより認識された左右の目の位置に基づいて水平に対する傾斜角を推定する。この映像検出方法によれば、被撮像体の顔を撮像した映像から時々刻々における左右の目の傾きを推定することができる。

【0051】

実施形態に係る映像検出プログラムは、映像取得ステップ、映像認識ステップおよび傾斜角推定ステップをコンピュータに実行させる。映像取得ステップは、被撮像体の顔を撮影した映像を取得する。映像認識ステップは、映像取得ステップによって取得された映像から左右の目を認識する。傾斜角推定ステップは、映像認識ステップにより認識された左右の目の位置に基づいて水平に対する傾斜角を推定する。この映像検出プログラムによれば、被撮像体の顔を撮像した映像から時々刻々における左右の目の傾きを推定することができる。

【0052】

以上、本発明の実施の形態をもとに説明した。これらの実施の形態は例示であり、いろいろな変形および変更が本発明の特許請求範囲内で可能なこと、またそうした変形例および変更も本発明の特許請求の範囲にあることは当業者に理解されるところである。従って、本明細書での記述および図面は限定的ではなく例証的に扱われるべきものである。

【符号の説明】

【0053】

３０ 映像検出装置、 ３１ 映像取得部、 ３２ 映像認識部、
３３ 傾斜角推定部、 ３４ 傾き補正部、 ３５ 開度算出部、
３６ 眠気判定部、 ３７ 傾斜頻度算出部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】