特許 7342746 映像処理装置、映像処理方法および映像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-04

(45)【発行日】2023-09-12

(54)【発明の名称】映像処理装置、映像処理方法および映像処理プログラム

(51)【国際特許分類】

   G03B 15/05 20210101AFI20230905BHJP

   G03B 15/00 20210101ALI20230905BHJP

   G03B 15/03 20210101ALI20230905BHJP

   G03B 15/02 20210101ALI20230905BHJP

   G03B 7/16 20210101ALI20230905BHJP

   G03B 5/00 20210101ALI20230905BHJP

   H04N 23/611 20230101ALI20230905BHJP

   H04N 23/72 20230101ALI20230905BHJP

【ＦＩ】

G03B15/05

G03B15/00 V

G03B15/03 F

G03B15/02 F

G03B15/00 Q

G03B7/16

G03B5/00 L

H04N23/611

H04N23/72

【請求項の数】 8

(21)【出願番号】P 2020042921

(22)【出願日】2020-03-12

(65)【公開番号】P2021144150

(43)【公開日】2021-09-24

【審査請求日】2022-12-28

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】小磯 久

【審査官】登丸 久寿

(56)【参考文献】

【文献】特開２０１４－１７９６８６（ＪＰ，Ａ）

【文献】特開２０１４－１０９９５８（ＪＰ，Ａ）

【文献】特開２０１７－００４３８９（ＪＰ，Ａ）

【文献】特開２０１０－０２８６３５（ＪＰ，Ａ）

【文献】特開２００７－０２６２１３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０３Ｂ １５／０５

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ １５／０３

Ｇ０３Ｂ １５／０２

Ｇ０３Ｂ ７／１６

Ｇ０３Ｂ ５／００

Ｈ０４Ｎ ２３／６１１

Ｈ０４Ｎ ２３／７２

(57)【特許請求の範囲】

【請求項1】

被撮像体の顔へ光を照射する光照射部と、
前記被撮像体の顔を撮影した映像を取得する映像取得部と、
前記映像取得部によって取得された前記映像から顔の少なくとも一部分における動きの速度を検出する動き検出部と、
前記映像取得部によって取得された前記映像から目の開状態および閉状態を検出する目開閉検出部と、
前記動き検出部によって検出された前記速度および前記目開閉検出部によって検出された目の開閉状態に基づいて、前記映像取得部におけるシャッターの開期間、および前記光照射部による発光強度を変化させる撮像制御部と、
を備えることを特徴とする映像処理装置。

【請求項2】

前記動き検出部は、前記映像から目部分における瞬きの速度を検出することを特徴とする請求項１に記載の映像処理装置。

【請求項3】

前記動き検出部は、前記映像から視線の動きの速度を検出することを特徴とする請求項１に記載の映像処理装置。

【請求項4】

前記動き検出部は、前記映像から顔が振れる動きの速度を検出することを特徴とする請求項１に記載の映像処理装置。

【請求項5】

前記被撮像体のブレ量を検出するブレ量検出部を更に備え、
前記撮像制御部は、前記ブレ量検出部によって検出された前記ブレ量に応じてシャッターの開期間および発光強度を変化させることを特徴とする請求項１に記載の映像処理装置。

【請求項6】

前記動き検出部によって検出された前記速度に基づいて、前記映像取得部によって取得する前記映像のフレームレートを変化させることを特徴とする請求項１から５のいずれか１項に記載の映像処理装置。

【請求項7】

被撮像体の顔へ光を照射する光照射ステップと、
前記被撮像体の顔を撮影した映像を取得する映像取得ステップと、
前記映像取得ステップによって取得された前記映像から顔の少なくとも一部分における動きの速度を検出する動き検出ステップと、
前記映像取得ステップによって取得された前記映像から目の開状態および閉状態を検出する目開閉検出ステップと、
前記動き検出ステップによって検出された前記速度および前記目開閉検出ステップによって検出された目の開閉状態に基づいて、前記映像取得ステップにおけるシャッターの開期間、および前記光照射ステップによる発光強度を変化させる撮像制御ステップと、
を備えることを特徴とする映像処理方法。

【請求項8】

被撮像体の顔へ光を照射する光照射ステップと、
前記被撮像体の顔を撮影した映像を取得する映像取得ステップと、
前記映像取得ステップによって取得された前記映像から顔の少なくとも一部分における動きの速度を検出する動き検出ステップと、
前記映像取得ステップによって取得された前記映像から目の開状態および閉状態を検出する目開閉検出ステップと、
前記動き検出ステップによって検出された前記速度および前記目開閉検出ステップによって検出された目の開閉状態に基づいて、前記映像取得ステップにおけるシャッターの開期間、および前記光照射ステップによる発光強度を変化させる撮像制御ステップと、
をコンピュータに実行させることを特徴とする映像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像処理装置、映像処理方法および映像処理プログラムに関する。

【背景技術】

【0002】

例えば車両に搭載されるドライバーモニター等の映像処理装置では、車室内を撮影して得られる映像を記憶装置に記憶する。映像処理装置は、車室内の様子を映像として記憶することや、運転者を中心に映像を記憶することなどが行われる。

【0003】

例えば特許文献１には、ストロボ使用を適正に制御するブレ防止カメラが開示されている。ブレ防止カメラは、カメラの手ブレ量をブレ量検出部で検出し、被写体の輝度に基づいてストロボ非使用時のシャッター速度をシャッター速度決定部によって決定する。ブレ防止カメラは、シャッター速度決定部によって決定されたストロボ非使用時のシャッター速度に対するブレ量をブレ量予測部によって予測する。ブレ防止カメラは、ブレ量予測部の出力に基づいて、ストロボを発光させるか否かをストロボ発光決定部によって判断する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平０６－３１３９１８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１に記載の従来のブレ防止カメラは、ストロボの発光または非発光を適正に制御するが、ストロボが発光している場合にその発光強度を増減するように可変とするものではない。例えば、ドライバーモニターにおいて車両の運転者等の顔に対して赤外光などの光を一定の発光強度で照射して撮影すると、運転者の目にとって負担となってしまう。本発明者は、車両の運転者等における目開閉度等の状態を分析するために目の輪郭等の動きを検出する場合、動きの速度に応じてシャッターの開期間や発光強度を変えることで目への負担を軽減し得ることに気付いた。

【0006】

本発明は、斯かる事情に鑑みてなされたものであり、その目的とするところは、光の照射による目への負担を軽減することができる映像処理装置、映像処理方法および映像処理プログラムを提供することにある。

【課題を解決するための手段】

【0007】

本発明のある態様の映像処理装置は、被撮像体の顔へ光を照射する光照射部と、前記被撮像体の顔を撮影した映像を取得する映像取得部と、前記映像取得部によって取得された前記映像から顔の少なくとも一部分における動きの速度を検出する動き検出部と、前記動き検出部によって検出された前記速度が所定の閾値よりも遅い場合には、前記映像取得部におけるシャッターの開期間を長くして前記光照射部による発光強度を小さくし、前記速度が所定の閾値よりも速い場合には、前記映像取得部におけるシャッターの開期間を短くして前記光照射部による発光強度を大きくする撮像制御部と、を備える。

【0008】

また本発明の別の態様は映像処理方法である。この映像処理方法は、被撮像体の顔へ光を照射する光照射ステップと、前記被撮像体の顔を撮影した映像を取得する映像取得ステップと、前記映像取得ステップによって取得された前記映像から顔の少なくとも一部分における動きの速度を検出する動き検出ステップと、前記動き検出ステップによって検出された前記速度が所定の閾値よりも遅い場合には、前記映像取得ステップにおけるシャッターの開期間を長くして前記光照射ステップによる発光強度を小さくし、前記速度が所定の閾値よりも速い場合には、前記映像取得ステップにおけるシャッターの開期間を短くして前記光照射ステップによる発光強度を大きくする撮像制御ステップと、を備える。

【0009】

また本発明の別の態様は映像処理プログラムである。この映像処理プログラムは、被撮像体の顔へ光を照射する光照射ステップと、前記被撮像体の顔を撮影した映像を取得する映像取得ステップと、前記映像取得ステップによって取得された前記映像から顔の少なくとも一部分における動きの速度を検出する動き検出ステップと、前記動き検出ステップによって検出された前記速度が所定の閾値よりも遅い場合には、前記映像取得ステップにおけるシャッターの開期間を長くして前記光照射ステップによる発光強度を小さくし、前記速度が所定の閾値よりも速い場合には、前記映像取得ステップにおけるシャッターの開期間を短くして前記光照射ステップによる発光強度を大きくする撮像制御ステップと、をコンピュータに実行させる。

【発明の効果】

【0010】

本発明によれば、光の照射による目への負担を軽減することができる。

【図面の簡単な説明】

【0011】

【図1】実施形態１に係る映像処理装置の構成を示すブロック図である。

【図2】図２（ａ）～図２（ｃ）は、動き検出部による動きの検出例を示す模式図である。

【図3】シャッターの開期間を短くする場合を示すタイミングチャートである。

【図4】シャッターの開期間を長くした場合を示すタイミングチャートである。

【図5】映像処理装置におけるシャッターおよび発光強度の変更処理の手順を示すフローチャートである。

【図6】実施形態２に係る映像処理装置の構成を示すブロック図である。

【発明を実施するための形態】

【0012】

以下、本発明を好適な実施の形態をもとに図１から図６を参照しながら説明する。各図面に示される同一または同等の構成要素、部材には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において実施の形態を説明する上で重要ではない部材の一部は省略して表示する。

【0013】

（実施形態１）
図１は、実施形態１に係る映像処理装置１００の構成を示すブロック図である。映像処理装置１００は、例えばドライバーモニターであり、車両に搭載され、車両の車室内の乗員を時間的に連続して撮影する。映像処理装置１００は撮影した映像を記録するようにしてもよいし、記録せずに破棄してもよい。映像処理装置１００は、例えば車両のフロントガラスの下方におけるダッシュボード上などに配置される。映像処理装置１００は、例えば車両に搭乗している運転者を被撮像体として撮影し、撮影された被撮像体の顔全体、または目などの顔の部位を認識する。

【0014】

映像処理装置１００は、夜間やトンネル内などの暗い場面でも被撮像体が認識できるように、被撮像体の顔に赤外光などの光を照射して撮影する。撮影の際に用いる赤外光は、運転者等の視覚では認識し難い性質があるものの、発光強度をより抑制することで目の負担を軽減することができる。

【0015】

映像処理装置１００によって撮影された映像は、例えば左右の目の輪郭を判別し、目の開閉度や、左右の目の傾きなど目の部分に関する分析に用いられる。本実施形態では、顔の部分、例えば目などの状態に関する分析機能に関して記載を省略するが、映像処理装置１００において、目の開閉度や左右の目の傾き等に関する分析機能を設けてもよい。また映像処理装置１００によって蓄積または出力される映像に基づいて、外部装置において顔の部分に関する分析を行うようにしてもよい。尚、目の開閉度や左右の目の傾き等の分析機能は、例えば、被撮像体における眠気の度合判定や、感情状態（例えば平常状態や緊張状態など）の判定などに用いられる。

【0016】

映像処理装置１００は、撮像部１０、光照射部１１、記録部２０、映像処理部３０、外部入力部４０および外部出力部４１、画像精度検出部５０等を備える。撮像部１０は、例えばＣＣＤ等の検出器を有するカメラであり、車両に搭乗している例えば運転者を被撮像体として撮影する。撮像部１０は、時間的に連続して映像を取得し、後述する映像取得部３１へ送出する。

【0017】

光照射部１１は、夜間等の暗い時でも運転者等の被撮像体が撮影できるように、適宜、赤外光などの光を被撮像体、とくに顔部分に照射する。光照射部１１から照射される光の発光強度は、後述する映像処理部３０の撮像制御部３４によって設定される。また光照射部１１によって照射される光の発光期間は、シャッターの開期間と一致することが好ましいが、シャッターの開期間との間で多少の時間ずれがあってもよい。

【0018】

記録部２０は、例えばＳＤカードやＵＳＢメモリ等の着脱可能な媒体や、ハードディスクなどであり、映像取得部３１で取得された映像を記録し、削除することができるものとする。以下、記録部２０が設けられた構成について説明するが、映像処理装置１００が映像を記録する部分を持たない場合には記録部２０は設けなくてもよい。記録部２０は、映像処理装置１００に着脱可能とすることで、映像処理装置１００から取り外し、別のＰＣ等で映像を再生等することができる。

【0019】

外部入力部４０は、車両の速度情報および位置情報等を外部装置から取得する。また外部出力部４１は、映像処理部３０によって処理された映像情報等を外部装置へ出力する。映像処理装置１００は、外部入力部４０によって取得した速度情報および位置情報等を映像に付加して記録または外部へ出力するようにしてもよい。

【0020】

映像処理部３０は、映像取得部３１、映像認識部３２、動き検出部３３および撮像制御部３４を有する。映像処理部３０は、例えばＣＰＵなどによって構成され、コンピュータプログラムに従って動作することによって、上述の各部による処理を実行する。記憶部３０ａは、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク記憶装置等のデータ記憶装置によって構成されており、映像処理部３０で実行するコンピュータプログラム等を記憶する。また記憶部３０ａは、撮影された映像から被撮像体の顔や目等を認識するための認識用辞書を記憶している。

【0021】

映像取得部３１は、撮像部１０において撮影された映像を取得してデータ圧縮等の処理を行い、記録部２０に出力する。尚、映像取得部３１は、撮像部１０を含んで構成されていてもよい。映像取得部３１において被撮像体を撮影するシャッターの開期間は、後述する撮像制御部３４によって設定される。また映像フレームのフレームレートについても撮像制御部３４によって設定される。

【0022】

映像認識部３２は、記憶部３０ａに記憶された認識用辞書に基づいて、映像取得部３１から入力された映像から被撮像体の顔や目を認識する。記憶部３０ａに記憶した認識用辞書には、顔や目等の形状データ等が含まれており、映像認識部３２は、映像に表われている形状パターンを抽出し、認識用辞書に含まれる形状データと照合することによって顔や目等を認識する。映像認識部３２は、様々な分野において開発されてきた公知の画像認識処理の手法を用いて、映像から顔や目等を認識することができる。

【0023】

動き検出部３３は、被撮像体の顔の少なくとも一部分における動きを検出しており、とくに動きの速度を検出する。図２（ａ）～図２（ｃ）は、動き検出部３３による動きの検出例を示す模式図である。動き検出部３３は、図２（ａ）に示すように、映像認識部３２によって認識された目の部分において、瞬きの速度を検出して撮像制御部３４へ出力する。目の瞬きは、時々刻々に目の輪郭部分が上下へ移動する動きによって発生する。

【0024】

目の瞬きの速度が遅い場合には、映像取得部３１におけるシャッターの開期間を長くしても、目の瞬きによって発生する目の開状態および閉状態を認識することができる。逆に目の瞬きの速度が速い場合には、映像取得部３１におけるシャッターの開期間が長いと、目の瞬きによって発生する目の開状態および閉状態を認識することができなくなるので、シャッターの開期間を短く設定しておく必要がある。

【0025】

また、動き検出部３３は、図２（ｂ）に示すように、映像認識部３２によって認識された目の部分において、視線の動きの速度を検出して撮像制御部３４へ出力する。目の視線の動きは、時々刻々に瞳の部分が左右や上下へ移動する動きによって発生する。

【0026】

視線の動きの速度が遅い場合には、映像取得部３１におけるシャッターの開期間を長くしても、視線の動きを撮影した映像から画像認識することができる。また、視線の動きの速度が速い場合には、映像取得部３１におけるシャッターの開期間を短く設定しておく必要がある。

【0027】

また、動き検出部３３は、図２（ｃ）に示すように、映像認識部３２によって認識された顔全体について、顔全体が振れる動きの速度を検出して撮像制御部３４へ出力する。顔が振れる動きは、時々刻々に顔の輪郭や特定の部分（例えば鼻部分）が左右や上下へ移動する動きによって発生する。

【0028】

顔が振れる動きの速度が遅い場合には、映像取得部３１におけるシャッターの開期間を長くしても、顔が振れる動きを撮影した映像から画像認識することができる。また、顔が振れる動きの速度が速い場合には、映像取得部３１におけるシャッターの開期間を短く設定しておく必要がある。

【0029】

撮像制御部３４は、動き検出部３３によって検出された被撮像体の顔の少なくとも一部分における動きの速度に基づいて、映像取得部３１におけるシャッターの開期間、および光照射部１１による発光強度を変化させる設定を行う。図３はシャッターの開期間を短くした場合を示すタイミングチャートであり、図４はシャッターの開期間を長くした場合を示すタイミングチャートである。

【0030】

被撮像体の顔の少なくとも一部分における動きの速度が速い場合、図３に示すように映像取得部３１におけるシャッターの開期間を短い値Ｌ１とし、光照射部１１による発光強度を大きい値Ｐ２に設定する。撮像制御部３４は、被撮像体の顔の少なくとも一部分における動きの速度について所定の閾値を予め定めておき、動き検出部３３から入力された顔の少なくとも一部分における動きの速度が閾値以上である場合に動きの速度が速いとし、閾値未満である場合に動きの速度が遅いとする。

【0031】

被撮像体の顔の少なくとも一部分における動きの速度が遅い場合、図４に示すように映像取得部３１におけるシャッターの開期間を長い値Ｌ２（Ｌ２＞Ｌ１）とし、光照射部１１による発光強度を小さい値Ｐ１（Ｐ１＜Ｐ２）に設定する。撮像制御部３４は、被撮像体の顔の少なくとも一部分における動きの速度について所定の閾値を予め定めておき、動き検出部３３から入力された顔の少なくとも一部分における動きの速度が閾値以上である場合に動きの速度が速いとし、閾値未満である場合に動きの速度が遅いとする。尚、シャッターの開期間であるＬ１およびＬ２、並びに発光強度Ｐ１およびＰ２は、夜間等の暗い環境や被撮像体の顔の動きの速度などを想定して予め定めておくようにしてもよい。

【0032】

撮像制御部３４は、被撮像体の顔の少なくとも一部分における動きの速度が遅い場合は、動きの速度が速い場合に比べて、映像取得部３１におけるシャッターの開期間を長くし、光照射部１１による発光強度を小さく設定する。また、撮像制御部３４は、被撮像体の顔の少なくとも一部分における動きの速度に応じて、シャッターの開期間、および発光強度を連続的に変化させて設定するようにしてもよい。

【0033】

上述のように、被撮像体の顔の少なくとも一部分における動きとは、目の瞬き、視線の動き、および顔が振れる動きなどであり、撮像制御部３４は、これらの動きに応じて、シャッターの開期間および発光強度を変化させて設定する。

【0034】

画像精度検出部５０は、被撮像体の顔や、顔の目や鼻などの部分の画像認識精度を検出し、十分な画像認識精度が確保されているかを確認する。画像認識精度は、例えば、目や鼻等の顔の部分や、顔の輪郭などが、隣接する部分と区別して認識可能であるかどうかの尺度であり、具体的には境界部分の画像ぼけの程度等を指標とする。

【0035】

また、目の開閉度および目の傾き等を分析する場合には、分析が可能な程度に画像精度が確保されているかを確認するようにしてもよい。目の開閉度および目の傾き等を分析する場合、例えば、まぶた、白目および瞳の各部分の輝度値が、それぞれの部分を区別可能な程度に差を有しているかが問題となり、各部分の輝度値の差に基づいて画像精度を規定するようにしてもよい。即ち、各部分の輝度値の差が小さい場合に画像精度が低く、輝度値の差が大きい場合に画像精度が高いなどとする。

【0036】

例えば、シャッターの開期間を短い値から長い値に変化させるとき、画像認識精度が所定の閾値よりも良好である場合に、撮像制御部３４は、シャッターの開期間を長い値に設定変更する。撮像制御部３４は、シャッターの開期間を長い値に設定変更した後、画像認識精度が十分に確保できない場合には、シャッターの開期間を短い値に戻す。同様に、例えば、発光強度を大きい値から小さい値に変化させるとき、画像認識精度が所定の閾値よりも良好である場合に、撮像制御部３４は、発光強度を小さい値に設定変更する。撮像制御部３４は、発光強度を小さい値に設定変更した後、画像認識精度が十分に確保できない場合には、発光強度を大きい値に戻す。

【0037】

また撮像制御部３４は、シャッターの開期間を長い値に設定変更する場合に、画像精度検出部５０での画像認識精度が良好であることを確認しつつ、徐々にシャッター開期間を短い値から長い値に設定変更していくようにしてもよい。同様に、撮像制御部３４は、発光強度を小さい値に設定変更する場合に、画像精度検出部５０での画像認識精度が良好であることを確認しつつ、徐々に発光強度を大きい値から小さい値に設定変更していくようにしてもよい。

【0038】

次に映像処理装置１００の動作について、シャッターおよび発光強度の変更処理に基づいて説明する。図５は、映像処理装置１００におけるシャッターおよび発光強度の変更処理の手順を示すフローチャートである。映像処理装置１００の光照射部１１は被撮像体への光の照射を開始し（Ｓ１）、撮像部１０で撮影された被撮像体の映像を映像取得部３１によって取得する（Ｓ２）。映像認識部３２によって被撮像体の顔の少なくとも一部分を画像認識し、認識された部分の動きの速度を動き検出部３３によって検出する（Ｓ３）。

【0039】

撮像制御部３４は、動き検出部３３によって検出された動きの速度が所定の閾値以上であるか否かを判定する（Ｓ４）。撮像制御部３４は、被撮像体の顔の少なくとも一部分の動きの速度が閾値以上であると判定した場合（Ｓ４：ＹＥＳ）、映像取得部３１におけるシャッターの開期間を短い値とし、光照射部１１による発光強度を大きい値に設定し（Ｓ５）、処理を終了する。但し、撮像制御部３４は、ステップＳ４における判定前からシャッターの開期間が短く、発光強度を大きい値に設定されている場合には、当該設定状態を維持する。

【0040】

撮像制御部３４は、ステップＳ４において被撮像体の顔の少なくとも一部分の動きの速度が閾値未満であると判定した場合（Ｓ４：ＮＯ）、映像取得部３１におけるシャッターの開期間を長い値とし、光照射部１１による発光強度を小さい値に設定し（Ｓ６）、処理を終了する。

【0041】

撮像制御部３４は、更に、ステップＳ６の後に取得される映像に対して画像精度検出部５０によって検出される画像認識精度が低下した場合、シャッターの開期間を短い値とし、光照射部１１による発光強度を大きい値に設定変更するようにしてもよい。また、上述のように、撮像制御部３４は、被撮像体の顔の少なくとも一部分における動きの速度に応じて、シャッターの開期間、および発光強度を連続的に変化させて設定するようにしてもよい。

【0042】

映像処理装置１００は、被撮像体の顔の少なくとも一部分の動きの速度が所定の閾値よりも遅い場合には、映像取得部３１におけるシャッターの開期間を長い値とし、光照射部１１による発光強度を小さい値に設定する。映像処理装置１００は、発光強度を小さい値に設定することによって被撮像体の目の負担を軽減し、シャッターの開期間を長い値に設定することによって被撮像体に対して撮影に必要な光量を照射して明るい映像を取得することができる。

【0043】

映像処理装置１００は、被撮像体の顔の少なくとも一部分の動きの速度が所定の閾値よりも速い場合には、映像取得部３１におけるシャッターの開期間を短い値とし、光照射部１１による発光強度を大きい値に設定する。映像処理装置１００は、シャッターの開期間を短い値に設定することによって被撮像体の顔の少なくとも一部分の動きが速い場合に画像認識精度の低下を抑制し、発光強度を大きい値に設定することによって明るい映像を取得することができる。

【0044】

映像処理装置１００は、動き検出部３３によって、被撮像体の顔の少なくとも一部分の動きとして、目の瞬き、視線の動き、および顔が振れる動きなどを検出する。被撮像体における目の瞬きの速度に応じてシャッターの開期間および発光強度を変化させることで、目の開状態および閉状態の映像を確実に取得することができる。

【0045】

また視線の動きの速度に応じてシャッターの開期間および発光強度を変化させることで、視線の動きを捉えた映像を確実に取得することができる。同様に、顔が振れる動きの速度に応じてシャッターの開期間および発光強度を変化させることで、被撮像体が左右および上下のどの方向を向いているかを捉えた映像を確実に取得することができる。

【0046】

（実施形態２）
図６は実施形態２に係る映像処理装置１００の構成を示すブロック図である。実施形態２における映像処理装置１００は、実施形態１における構成にブレ量検出部３５を更に備える。ブレ量検出部３５は、例えば映像処理装置１００が搭載される車両の振動などによって生じる被撮像体の映像におけるブレ量を、映像取得部３１によって取得した映像におけるエッジ部分の２重映りやボケ具合から検出する。

【0047】

撮像制御部３４は、ブレ量検出部３５によって検出したブレ量に応じて、シャッターの開期間Ｌ１およびＬ２、並びに発光強度Ｐ１およびＰ２の値を変化させる。撮像制御部３４は、ブレ量が大きい場合には、シャッターの開期間が短く、発光強度が大きくなるように設定する。また、撮像制御部３４は、ブレ量が小さい場合には、シャッターの開期間が長く、発光強度が小さくなるように設定する。

【0048】

映像処理装置１００は、ブレ量検出部３５によって検出したブレ量に応じて、シャッターの開期間Ｌ１およびＬ２、並びに発光強度Ｐ１およびＰ２の値を変化させることで、画像認識精度の低下を抑制しつつ、被撮像体の目への負担を軽減することができる。

【0049】

（変形例）
上述の各実施形態では、映像のフレームレートを変更しない範囲で、シャッターの開期間および発光強度を可変とする例を示したが、更に映像のフレームレートを変化させるようにしてもよい。撮像制御部３４は、被撮像体の顔の少なくとも一部分における動きの速度が遅くブレ量も少ない場合、目の開閉度や左右の目の傾き等の分析のための画像認識精度が十分に確保される範囲で、映像取得部３１によって取得する映像のフレームレートを下げるように設定してもよい。

【0050】

映像処理装置１００は、撮像制御部３４によって、取得する映像のフレームレートを下げ、さらにシャッターの開期間を長くして発光強度を小さくすることで、被撮像体の目への負担をより軽減することができる。

【0051】

また上述の各実施形態において、動き検出部３３によって、被撮像体の顔の少なくとも一部分の動きとして、目の瞬き、視線の動き、および顔が振れる動きなどを検出する例を示したが、口や鼻等の動きを検出するようにしてもよい。また、動き検出部３３は、被撮像体の顔の少なくとも一部分の動きとして、目の瞬きおよび視線の動きなどの一または複数の動きを検出してもよい。撮像制御部３４は、一または複数の動きの速度に基づいて、シャッターの開期間および発光強度を変化させるようにしてもよい。

【0052】

また撮像制御部３４は、被撮像体に対して照射される外光が強く、光量が十分に確保されている場合には、光照射部１１による発光強度を０に設定してもよい。撮像制御部３４は、光量に余裕があれば、画像認識精度を上げるためにシャッターの開期間を短く設定してもよい。また映像処理装置１００は、更に目の開状態および閉状態を映像から検出する目開閉検出部（図示略）を設け、目が閉じている場合には、画像認識精度を優先して、シャッターの開期間を短く、発光強度を大きくしてもよい。

【0053】

また映像処理装置１００は、光照射部１１において用いる光源の波長帯をカットするサングラス等の存在を検知し、被撮像体が該当するサングラスを着用している場合には、画像認識精度を優先して、シャッターの開期間を短く、発光強度を大きくしてもよい。

【0054】

次に、上述の各実施形態および変形例に係る映像処理装置１００、映像処理方法および映像処理プログラムの特徴を説明する。
映像処理装置１００は、光照射部１１、映像取得部３１、動き検出部３３および撮像制御部３４を備える。光照射部１１は被撮像体の顔へ光を照射する。映像取得部３１は被撮像体の顔を撮影した映像を取得する。動き検出部３３は、映像取得部３１によって取得された映像から顔の少なくとも一部分における動きの速度を検出する。撮像制御部３４は、動き検出部３３によって検出された速度が所定の閾値よりも遅い場合には、映像取得部３１におけるシャッターの開期間を長くして光照射部１１による発光強度を小さくし、速度が所定の閾値よりも速い場合には、映像取得部３１におけるシャッターの開期間を短くして光照射部１１による発光強度を大きくする。これにより、映像処理装置１００は、発光強度を小さい値に設定し、光の照射による被撮像体の目の負担を軽減することができる。

【0055】

また動き検出部３３は、映像から目部分における瞬きの速度を検出する。これにより、映像処理装置１００は、目の瞬きの速度に応じてシャッターの開期間および発光強度を変化させ、目の開状態および閉状態の映像を確実に取得することができる。

【0056】

また動き検出部３３は、映像から視線の動きの速度を検出する。これにより、映像処理装置１００は、視線の動きの速度に応じてシャッターの開期間および発光強度を変化させ、視線の動きを捉えた映像を確実に取得することができる。

【0057】

また動き検出部３３は、映像から顔が振れる動きの速度を検出する。これにより、映像処理装置１００は、顔が振れる動きの速度に応じてシャッターの開期間および発光強度を変化させることで、被撮像体が左右および上下のどの方向を向いているかを捉えた映像を確実に取得することができる。

【0058】

映像処理装置１００は、被撮像体のブレ量を検出するブレ量検出部３５を更に備える。撮像制御部３４は、ブレ量検出部３５によって検出されたブレ量に応じてシャッターの開期間および発光強度を変化させる。これにより、映像処理装置１００は、画像認識精度の低下を抑制しつつ、被撮像体の目への負担を軽減することができる。

【0059】

また映像処理装置１００は、動き検出部３３によって検出された速度に基づいて、映像取得部３１によって取得する映像のフレームレートを変化させる。これにより、映像処理装置１００は、取得する映像のフレームレートを下げ、さらにシャッターの開期間を長くして発光強度を小さくすることで、被撮像体の目への負担をより軽減することができる。

【0060】

映像処理方法は、光照射ステップ、映像取得ステップ、動き検出ステップおよび撮像制御ステップを備える。光照射ステップは被撮像体の顔へ光を照射する。映像取得ステップは被撮像体の顔を撮影した映像を取得する。動き検出ステップは、映像取得ステップによって取得された映像から顔の少なくとも一部分における動きの速度を検出する。撮像制御ステップは、動き検出ステップによって検出された速度が所定の閾値よりも遅い場合には、映像取得ステップにおけるシャッターの開期間を長くして光照射ステップによる発光強度を小さくし、速度が所定の閾値よりも速い場合には、映像取得ステップにおけるシャッターの開期間を短くして光照射ステップによる発光強度を大きくする。この映像処理方法によれば、発光強度を小さい値に設定し、光の照射による被撮像体の目の負担を軽減することができる。

【0061】

映像処理プログラムは、光照射ステップ、映像取得ステップ、動き検出ステップおよび撮像制御ステップをコンピュータに実行させる。光照射ステップは被撮像体の顔へ光を照射する。映像取得ステップは被撮像体の顔を撮影した映像を取得する。動き検出ステップは、映像取得ステップによって取得された映像から顔の少なくとも一部分における動きの速度を検出する。撮像制御ステップは、動き検出ステップによって検出された速度が所定の閾値よりも遅い場合には、映像取得ステップにおけるシャッターの開期間を長くして光照射ステップによる発光強度を小さくし、速度が所定の閾値よりも速い場合には、映像取得ステップにおけるシャッターの開期間を短くして光照射ステップによる発光強度を大きくする。この映像処理プログラムによれば、発光強度を小さい値に設定し、光の照射による被撮像体の目の負担を軽減することができる。

【0062】

以上、本発明の実施の形態をもとに説明した。これらの実施の形態は例示であり、いろいろな変形および変更が本発明の特許請求範囲内で可能なこと、またそうした変形例および変更も本発明の特許請求の範囲にあることは当業者に理解されるところである。従って、本明細書での記述および図面は限定的ではなく例証的に扱われるべきものである。

【符号の説明】

【0063】

１１ 光照射部、 ３１ 映像取得部、 ３３ 動き検出部、
３４ 撮像制御部、 ３５ ブレ量検出部、 １００ 映像処理装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】