知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-09-11
(45)【発行日】2023-09-20
(54)【発明の名称】画像処理装置、画像処理方法および画像処理プログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20230912BHJP
【ＦＩ】
G06T7/20 300B
【請求項の数】
8
(21)【出願番号】P 2019164718
(22)【出願日】2019-09-10
(65)【公開番号】P2021043665
(43)【公開日】2021-03-18
【審査請求日】2022-08-05
(73)【特許権者】
【識別番号】000006895
【氏名又は名称】矢崎総業株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】▲高▼橋 勇氣
【審査官】藤原 敬利
(56)【参考文献】
【文献】特開２００６－２２８０６１（ＪＰ，Ａ）
【文献】特開２０１８－１０１２１１（ＪＰ，Ａ）
【文献】特開２０１７－０１０３３７（ＪＰ，Ａ）
【文献】特開２０００－１４２１６４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００ － ７／９０
Ｇ０６Ｖ １０／００ －２０／９０
Ｇ０６Ｖ ４０／００ －４０／７０
Ｇ０８Ｇ １／００ －９９／００
Ｈ０４Ｎ ５／２２２－ ５／２５７
Ｈ０４Ｎ ７／１８
(57)【特許請求の範囲】
【請求項1】
顔を含むように撮影された画像に対してデータ処理を行うデータ処理部を備える画像処理装置であって、前記データ処理部は、
前記画像中の顔及び黒目を検出する顔追従モード部と、
前記画像中の黒目を検出する眼球追従モード部と、
前記顔追従モード部及び前記眼球追従モード部のうち何れか一方に前記黒目の検出を実行させる切替部と、を有し、
前記切替部は、前記顔の動きが大きい場合に、前記顔追従モード部による検出を実行させ、前記顔の動きが小さい場合に、前記眼球追従モード部による検出を実行させる、
画像処理装置。
【請求項2】
請求項１に記載の画像処理装置であって、前記顔追従モード部は、前記画像に対してデータ処理を行い前記顔が撮影されている顔領域を検出し、前記顔領域に対してデータ処理を行い目が撮影されている目領域を検出し、前記目領域に対してデータ処理を行い黒目を検出し、
前記眼球追従モード部は、前記画像のうち、直近に実行された前記顔追従モード部により検出された前記顔領域又は前記目領域に対してデータ処理を行い前記黒目を検出する、
画像処理装置。
【請求項3】
請求項１又は２に記載の画像処理装置であって、前記顔追従モード部による検出時に、前記画像内における前記顔の基準の第１変位量を求める第１変位量算出部を備え、
前記切替部は、前記第１変位量が第１所定値よりも小さい場合に、前記顔の動きが小さいと判定して、前記顔追従モード部から前記眼球追従モード部に切り替える、
画像処理装置。
【請求項4】
請求項３に記載の画像処理装置であって、前記第１変位量算出部は、前記画像内における前記顔のエッジ点を抽出し、当該抽出したエッジ点の中心を前記顔の基準とする、又は、前記画像内における前記顔の特徴点を前記顔の基準とする、
画像処理装置。
【請求項5】
請求項１～４何れか１項に記載の画像処理装置であって、前記眼球追従モード部による検出時に、前記画像内における目の基準の第２変位量を求める第２変位量算出部を備え、
前記切替部は、前記第２変位量が第２所定値よりも大きい場合に、前記顔の動きが大きいと判定して、前記眼球追従モード部から前記顔追従モード部に切り替える、
画像処理装置。
【請求項6】
請求項５に記載の画像処理装置であって、前記第２変位量算出部は、前記画像内における前記目のエッジ点を抽出し、当該抽出したエッジ点の中心を前記目の基準とする、又は、前記画像内における前記目の特徴点を前記目の基準とする、
画像処理装置。
【請求項7】
顔を含むように撮影された画像に対してデータ処理を行う画像処理方法であって、前記画像中の顔及び黒目を検出する顔追従ステップと、
前記画像中の黒目を検出する眼球追従ステップと、
前記顔追従ステップ及び前記眼球追従ステップのうち何れか一方に前記黒目の検出を実行させる切替ステップと、を有し、
前記切替ステップは、前記顔の動きが大きい場合に、前記顔追従ステップによる検出を実行させ、前記顔の動きが小さい場合に、前記眼球追従ステップによる検出を実行させる、
画像処理方法。
【請求項8】
コンピュータに請求項７に記載の画像処理方法の各ステップを実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【背景技術】
【0002】
従来より、人物の顔をカメラで撮影して得た画像のデータを処理して瞳孔または虹彩（黒目）を検出する画像処理装置が提案されている（特許文献１～３）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１８－８８２３６号公報
【文献】特開２０１８－１８３５３２号公報
【文献】特開２０１８－２２３４９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、眼球運動は非常に微細な運動であるため、高速かつ高解像度で撮影した画像のデータを処理する必要があり、高性能の画像処理装置を用いる必要があった。
【0005】
本発明は、上述した事情に鑑みてなされたものであり、その目的は、処理負担の低減を図った画像処理装置、画像処理方法および画像処理プログラムを提供することにある。
【課題を解決するための手段】
【0006】
前述した目的を達成するために、本発明に係る画像処理装置、画像処理方法および画像処理プログラムは、下記［１］～［８］を特徴としている。
［１］
顔を含むように撮影された画像に対してデータ処理を行うデータ処理部を備える画像処理装置であって、
前記データ処理部は、
前記画像中の顔及び黒目を検出する顔追従モード部と、
前記画像中の黒目を検出する眼球追従モード部と、
前記顔追従モード部及び前記眼球追従モード部のうち何れか一方に前記黒目の検出を実行させる切替部と、を有し、
前記切替部は、前記顔の動きが大きい場合に、前記顔追従モード部による検出を実行させ、前記顔の動きが小さい場合に、前記眼球追従モード部による検出を実行させる、
画像処理装置であること。
［２］
［１］に記載の画像処理装置であって、
前記顔追従モード部は、前記画像に対してデータ処理を行い前記顔が撮影されている顔領域を検出し、前記顔領域に対してデータ処理を行い目が撮影されている目領域を検出し、前記目領域に対してデータ処理を行い黒目を検出し、
前記眼球追従モード部は、前記画像のうち、直近に実行された前記顔追従モード部により検出された前記顔領域又は前記目領域に対してデータ処理を行い前記黒目を検出する、
画像処理装置であること。
［３］
［１］又は［２］に記載の画像処理装置であって、
前記顔追従モード部による検出時に、前記画像内における前記顔の基準の第１変位量を求める第１変位量算出部を備え、
前記切替部は、前記第１変位量が第１所定値よりも小さい場合に、前記顔の動きが小さいと判定して、前記顔追従モード部から前記眼球追従モード部に切り替える、
画像処理装置であること。
［４］
［３］に記載の画像処理装置であって、
前記第１変位量算出部は、前記画像内における前記顔のエッジ点を抽出し、当該抽出したエッジ点の中心を前記顔の基準とする、又は、前記画像内における前記顔の特徴点を前記顔の基準とする、
画像処理装置であること。
［５］
［１］～［４］何れか１に記載の画像処理装置であって、
前記眼球追従モード部による検出時に、前記画像内における目の基準の第２変位量を求める第２変位量算出部を備え、
前記切替部は、前記第２変位量が第２所定値よりも大きい場合に、前記顔の動きが大きいと判定して、前記眼球追従モード部から前記顔追従モード部に切り替える、
画像処理装置であること。
［６］
［５］に記載の画像処理装置であって、
前記第２変位量算出部は、前記画像内における前記目のエッジ点を抽出し、当該抽出したエッジ点の中心を前記目の基準とする、又は、前記画像内における前記目の特徴点を前記目の基準とする、
画像処理装置であること。
［７］
顔を含むように撮影された画像に対してデータ処理を行う画像処理方法であって、
前記画像中の顔及び黒目を検出する顔追従ステップと、
前記画像中の黒目を検出する眼球追従ステップと、
前記顔追従ステップ及び前記眼球追従ステップのうち何れか一方に前記黒目の検出を実行させる切替ステップと、を有し、
前記切替ステップは、前記顔の動きが大きい場合に、前記顔追従ステップによる検出を実行させ、前記顔の動きが小さい場合に、前記眼球追従ステップによる検出を実行させる、
画像処理方法であること。
［８］
コンピュータに［７］に記載の画像処理方法の各ステップを実行させるための画像処理プログラムであること。
［１］
顔を含むように撮影された画像に対してデータ処理を行うデータ処理部を備える画像処理装置であって、
前記データ処理部は、
前記画像中の顔及び黒目を検出する顔追従モード部と、
前記画像中の黒目を検出する眼球追従モード部と、
前記顔追従モード部及び前記眼球追従モード部のうち何れか一方に前記黒目の検出を実行させる切替部と、を有し、
前記切替部は、前記顔の動きが大きい場合に、前記顔追従モード部による検出を実行させ、前記顔の動きが小さい場合に、前記眼球追従モード部による検出を実行させる、
画像処理装置であること。
［２］
［１］に記載の画像処理装置であって、
前記顔追従モード部は、前記画像に対してデータ処理を行い前記顔が撮影されている顔領域を検出し、前記顔領域に対してデータ処理を行い目が撮影されている目領域を検出し、前記目領域に対してデータ処理を行い黒目を検出し、
前記眼球追従モード部は、前記画像のうち、直近に実行された前記顔追従モード部により検出された前記顔領域又は前記目領域に対してデータ処理を行い前記黒目を検出する、
画像処理装置であること。
［３］
［１］又は［２］に記載の画像処理装置であって、
前記顔追従モード部による検出時に、前記画像内における前記顔の基準の第１変位量を求める第１変位量算出部を備え、
前記切替部は、前記第１変位量が第１所定値よりも小さい場合に、前記顔の動きが小さいと判定して、前記顔追従モード部から前記眼球追従モード部に切り替える、
画像処理装置であること。
［４］
［３］に記載の画像処理装置であって、
前記第１変位量算出部は、前記画像内における前記顔のエッジ点を抽出し、当該抽出したエッジ点の中心を前記顔の基準とする、又は、前記画像内における前記顔の特徴点を前記顔の基準とする、
画像処理装置であること。
［５］
［１］～［４］何れか１に記載の画像処理装置であって、
前記眼球追従モード部による検出時に、前記画像内における目の基準の第２変位量を求める第２変位量算出部を備え、
前記切替部は、前記第２変位量が第２所定値よりも大きい場合に、前記顔の動きが大きいと判定して、前記眼球追従モード部から前記顔追従モード部に切り替える、
画像処理装置であること。
［６］
［５］に記載の画像処理装置であって、
前記第２変位量算出部は、前記画像内における前記目のエッジ点を抽出し、当該抽出したエッジ点の中心を前記目の基準とする、又は、前記画像内における前記目の特徴点を前記目の基準とする、
画像処理装置であること。
［７］
顔を含むように撮影された画像に対してデータ処理を行う画像処理方法であって、
前記画像中の顔及び黒目を検出する顔追従ステップと、
前記画像中の黒目を検出する眼球追従ステップと、
前記顔追従ステップ及び前記眼球追従ステップのうち何れか一方に前記黒目の検出を実行させる切替ステップと、を有し、
前記切替ステップは、前記顔の動きが大きい場合に、前記顔追従ステップによる検出を実行させ、前記顔の動きが小さい場合に、前記眼球追従ステップによる検出を実行させる、
画像処理方法であること。
［８］
コンピュータに［７］に記載の画像処理方法の各ステップを実行させるための画像処理プログラムであること。
【0007】
上記［１］の構成の画像処理装置によれば、顔追従モード部が、画像から顔及び黒目を検出し、眼球追従モード部が、画像から黒目を検出する。これにより、顔の検出が必要ないときは、眼球追従モード部が黒目の検出のみを行い、顔検出を省略できるので、処理負担の低減を図ることができる。
更に、上記［１］の構成の画像処理装置によれば、眼球追従モード部及び顔追従モード部の何れか一方に黒目の検出を実行させることができる。
更に、上記［１］の構成の画像処理装置によれば、顔の動きが大きい場合、顔を検出して精度向上を図り、顔の変動が小さい場合、黒目だけ検出して処理負担の低減を図ることができる。
上記［２］の構成の画像処理装置によれば、眼球追従モード部が、顔追従モード部により検出された顔領域又は目領域を利用して、黒目を検出する。これにより、眼球追従モード部が、顔領域又は目領域の検出を省略できるので、より一層、処理負担の低減を図ることができる。
上記［３］、［４］の構成の画像処理装置によれば、顔追従モード部による検出時には、顔の基準の第１変位量を求めることにより、顔の動きが小さいことを容易に判定できる。
上記［５］、［６］の構成の画像処理装置によれば、眼球追従モード部による検出時には、目の基準の第２変位量を求めることにより、顔の動きが大きいことを容易に判定できる。
上記［７］、［８］の構成の画像処理方法及び画像処理プログラムによれば、顔追従ステップで、画像から顔及び黒目を検出し、眼球追従ステップで、画像から黒目を検出する。これにより、顔の検出が必要ないときは、眼球追従ステップが黒目の検出のみを行い、顔検出を省略できるので、処理負担の低減を図ることができる。
更に、上記［１］の構成の画像処理装置によれば、眼球追従モード部及び顔追従モード部の何れか一方に黒目の検出を実行させることができる。
更に、上記［１］の構成の画像処理装置によれば、顔の動きが大きい場合、顔を検出して精度向上を図り、顔の変動が小さい場合、黒目だけ検出して処理負担の低減を図ることができる。
上記［２］の構成の画像処理装置によれば、眼球追従モード部が、顔追従モード部により検出された顔領域又は目領域を利用して、黒目を検出する。これにより、眼球追従モード部が、顔領域又は目領域の検出を省略できるので、より一層、処理負担の低減を図ることができる。
上記［３］、［４］の構成の画像処理装置によれば、顔追従モード部による検出時には、顔の基準の第１変位量を求めることにより、顔の動きが小さいことを容易に判定できる。
上記［５］、［６］の構成の画像処理装置によれば、眼球追従モード部による検出時には、目の基準の第２変位量を求めることにより、顔の動きが大きいことを容易に判定できる。
上記［７］、［８］の構成の画像処理方法及び画像処理プログラムによれば、顔追従ステップで、画像から顔及び黒目を検出し、眼球追従ステップで、画像から黒目を検出する。これにより、顔の検出が必要ないときは、眼球追従ステップが黒目の検出のみを行い、顔検出を省略できるので、処理負担の低減を図ることができる。
【発明の効果】
【0008】
本発明によれば、処理負担の低減を図った画像処理装置、画像処理方法および画像処理プログラムを提供できる。
【0009】
以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態（以下、「実施形態」という。）を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
本発明の画像処理装置、画像処理方法および画像処理プログラムに関する具体的な実施形態について、各図を参照しながら以下に説明する。
【0012】
＜本実施形態が適用される環境の具体例＞
車両に搭載した画像処理装置の配置状態の具体例を図１に示す。
図１に示した例では、車両の車室内１０にカメラ１２および処理部１３（データ処理部）が設置されている。具体的には、運転席に着座している人物１１、すなわち運転者の目の領域１１ａを含む顔などをカメラ１２で撮影できるように、運転席前方のメータユニット内、あるいはコラムカバーの箇所にカメラ１２が設置されている。
車両に搭載した画像処理装置の配置状態の具体例を図１に示す。
図１に示した例では、車両の車室内１０にカメラ１２および処理部１３（データ処理部）が設置されている。具体的には、運転席に着座している人物１１、すなわち運転者の目の領域１１ａを含む顔などをカメラ１２で撮影できるように、運転席前方のメータユニット内、あるいはコラムカバーの箇所にカメラ１２が設置されている。
【0013】
処理部１３は、カメラ１２が人物１１の顔を撮影して得られる二次元画像データを処理して、目の領域１１ａのデータから視線１１ｂの方向を示す情報を推定する。処理部１３が推定した視線１１ｂの情報は、代表例として、車両を運転する運転者が安全確認のための視線移動をしているかどうかを車載装置が認識するために利用できる。勿論、このような視線の情報は様々な用途が利用可能である。したがって、本発明の画像処理装置は、例えば図１中の処理部１３、あるいはその一部として構成することが想定される。
【0014】
＜本実施形態の画像処理装置の動作の概要＞
また、本実施形態の画像処理装置は、図２に示すように、顔追従モード、眼球追従モードの２つのモードで各々視線１１ｂの方向を示す情報を推定することができる。本実施形態では、画像処理装置は、顔が大きく動いて落ち着かない場合（条件Ｂ）、顔追従モードへ移行する。即ち、人物１１が、注視と注視との間の大きな視線移動や、脇見、姿勢変動などの動作を行い、顔が大きく動いている場合、画像処理装置は顔追従モードとなる。顔追従モードにおいて画像処理装置は、カメラ１２で１フレーム撮影する毎に、撮影された１フレームの画像に対してデータ処理を行い、顔及び黒目を検出して、顔向き及び視線１１ｂの方向を推定する。
また、本実施形態の画像処理装置は、図２に示すように、顔追従モード、眼球追従モードの２つのモードで各々視線１１ｂの方向を示す情報を推定することができる。本実施形態では、画像処理装置は、顔が大きく動いて落ち着かない場合（条件Ｂ）、顔追従モードへ移行する。即ち、人物１１が、注視と注視との間の大きな視線移動や、脇見、姿勢変動などの動作を行い、顔が大きく動いている場合、画像処理装置は顔追従モードとなる。顔追従モードにおいて画像処理装置は、カメラ１２で１フレーム撮影する毎に、撮影された１フレームの画像に対してデータ処理を行い、顔及び黒目を検出して、顔向き及び視線１１ｂの方向を推定する。
【0015】
一方、画像処理装置は、顔の動きが少ない場合（条件Ａ）、眼球追従モードへ移行する。即ち、人物１１が、顔を動かさずに物を注視している場合や、顔を動かさずに目だけで物を追跡している場合、画像処理装置は眼球追従モードとなる。顔追従モードにおいて画像処理装置は、カメラ１２で１フレーム撮影する毎に、撮影された１フレームの画像に対してデータ処理を行い、黒目の位置を検出して、この結果から視線１１ｂの方向を推定する。顔追従モードにおいて画像処理装置は、顔の検出を行わない。
【0016】
本実施形態の画像処理装置は、条件Ａになると顔追従モードから眼球追従モードに切り替え、条件Ｂになると眼球追従モードから顔追従モードに切り替える。この条件Ａ、Ｂについての詳細は、後述する。また、画像処理装置は、電源投入直後は、人物１１の認証を行う初期設定を行い、初期設定後は顔追従モードに切り替わる。
【0017】
＜顔追従モードにおける視線検出アルゴリズムの概要＞
本発明に係る実施形態の画像処理装置が実行する顔追従モードにおける視線検出アルゴリズムの概要を説明する。図３は、本発明に係る実施形態の画像処理装置が実行する顔追従モードにおける視線検出アルゴリズムの概要を示すフローチャートである。画像処理装置のコンピュータが所定のプログラムを実行することにより、顔追従モード部として機能し、図３に示した顔追従モードにおける視線検出アルゴリズムに従って動作が順次行われる。
本発明に係る実施形態の画像処理装置が実行する顔追従モードにおける視線検出アルゴリズムの概要を説明する。図３は、本発明に係る実施形態の画像処理装置が実行する顔追従モードにおける視線検出アルゴリズムの概要を示すフローチャートである。画像処理装置のコンピュータが所定のプログラムを実行することにより、顔追従モード部として機能し、図３に示した顔追従モードにおける視線検出アルゴリズムに従って動作が順次行われる。
【0018】
カメラ１２は、人物１１の顔を含む領域の映像を一定の周期で常時撮影し、映像の信号を出力する。画像処理装置のコンピュータ（以下、単に「画像処理装置」と略す）は、ステップＳ１１でカメラ１２から映像の信号を１フレーム分取り込む。
【0019】
次のステップＳ１２では、画像処理装置は、例えば「Viola-Jones法」を用いて人物１１の顔検出を行い、１フレームの二次元画像データの中から顔を含む領域を矩形の顔領域Ｒ１（図４参照）として検出する。すなわち、画像処理装置は、顔の陰影差を特徴とし「Boosting」を用いた学習によって作成された検出器を使って顔領域Ｒ１を抽出する。「Viola-Jones法」の技術は、例えば以下の文献に示されている。
「P.viola and M.J.Jones,"Rapid Object Detection Using a Boosted Cascade of Simple Features," IEEE CVPR(2001).」
「P.viola and M.J.Jones,"Rapid Object Detection Using a Boosted Cascade of Simple Features," IEEE CVPR(2001).」
【0020】
次のステップＳ１３では、画像処理装置は、ステップＳ１２で検出した顔領域Ｒ１に対してデータ処理を行い、顔の特徴点（目、鼻、口、輪郭など）を検出する。これは、画像処理ライブラリ「Dlib」で実装されている方法や、有償の顔検出ライブラリを用いることができる。なお、顔検出ライブラリには、画像を入力すると顔検出と顔特徴点とを出力するものもあり、その場合はステップＳ１２の顔検出とステップＳ１３の特徴点検出の処理をセットで使用することができる。
【0021】
次のステップＳ１４では、画像処理装置は、人物１１の顔の向きを検出する顔向き検出を行う。この顔向きは、顔の特徴点モデルと、ステップＳ１３で検出された顔の特徴点位置と、の対応関係により検出することができる。
【0022】
次のステップＳ１５では、画像処理装置は、１フレームの二次元画像データに基づいて人物１１の姿勢の検出を行う。これは、人物１１の肩から頭にかけたシルエットをモデル化して当てはめる方法や、肩、肘、鼻などのキーポイントを検出する方法を適応することができる。なお、ステップＳ１５の姿勢検出については省略してもよい。
【0023】
次のステップＳ１６では、画像処理装置は、画像から黒目を検出する。このステップＳ１６の処理の詳細について図５を参照して説明する。まず、ステップＳ１６１において、画像処理装置は、ステップＳ１２で検出した顔領域Ｒ１の中から、例えば「Viola-Jones法」を用いて目の矩形の領域である目領域Ｒ２（図４参照）を検出する。
【0024】
本実施形態では後述する眼球３Ｄモデルを用いるモデルベース手法によって視線１１ｂを検出する場合を想定しているので、眼球中心を特定する必要がある。この眼球中心をステップＳ１６２で推定する。ここでは、ステップＳ１６１で検出した目領域Ｒ２の中心座標を眼球中心と仮定する。なお、例えばステップＳ１３で特徴点として検出した目尻、目頭位置に基づき眼球中心を決定する方法や、顔の特徴点より骨格を推定し同時に眼球中心位置を算出する方法を利用することも想定される。
【0025】
ステップＳ１６３では、ステップＳ１６１で抽出した目領域Ｒ２のデータについて、テンプレートマッチングの手法を適用して、瞳孔３３または虹彩３２の粗探索を行う。具体的には、目領域Ｒ２を二値化した画像に対して、テンプレートとして黒丸画像をマッチングさせて最も尤度の大きかった黒丸画像の画像中心（黒丸の中心）の座標を目領域Ｒ２中の瞳孔３３または虹彩３２の中心位置とし、最も尤度の大きかった黒丸画像の半径を目領域Ｒ２中の瞳孔３３または虹彩３２の半径とする。なお、ステップＳ１６３の処理は、目領域Ｒ２中の瞳孔３３または虹彩３２の中心位置及び半径に関しておおよその目処をつけるために行うものである。
【0026】
ステップＳ１６４では、画像処理装置は、Ｓ１６３で探索した瞳孔３３または虹彩３２の中心位置及び半径を利用し、パーティクルフィルタの手法を適用して、より精度の高い瞳孔３３または虹彩３２の中心位置及び半径を検出する。ここでは、ステップＳ１６３で粗探索した瞳孔３３または虹彩３２の中心位置を起点として眼球モデルを回転させ、瞳孔３３または虹彩３２の形状候補を取り出し、それらの候補と目領域Ｒ２のエッジ画像の相関関数の尤度計算によって瞳孔３３または虹彩３２部分を正確に検出する。この内容の詳細については、特開２０１８－８８２３６号公報に記載されているため、ここでは詳細な説明について省略する。なお、黒目検出についてはこれに限らず、一般の画像処理手法を用いてもよい。
【0027】
次のステップＳ１７（図３）では、画像処理装置は、ステップＳ１６で検出された瞳孔または虹彩（黒目）の中心位置及び眼球中心位置に基づいて人物１１の視線１１ｂの方向を検出する。
【0028】
次のステップＳ１８では、画像処理装置は、検出した顔の位置、顔特徴点位置、顔の向き、姿勢、視線１１ｂの方向等の情報を保存すると共に、アプリケーションの必要に応じて出力した後、ステップＳ１１に戻る。これにより、ステップＳ１１～Ｓ２０のループ状の処理を繰り返すことで、１フレーム毎にリアルタイムでの顔向き、視線検出を実現する。
【0029】
次に、視線１１ｂの方向を検出するためにの眼球の３Ｄ（三次元）モデルおよび２Ｄ（二次元）画像の関係を図６に示す。図６に示した眼球３Ｄモデル３０において、この眼球は眼球中心３１と、半径Ｒとで表される球体である。また、この眼球の表面に円形形状の虹彩３２があり、虹彩３２の中央に円形形状の瞳孔３３がある。
【0030】
したがって、視線１１ｂの方向は、眼球中心３１から虹彩３２または瞳孔３３の中央に向かう方向として特定でき、水平面内の基準方向に対する回転角度ヨー（yaw）、および上下方向の基準方向に対する回転角度ピッチ（pitch）により表すことができる。また、虹彩３２または瞳孔３３の中心座標は、眼球中心３１を基準とした場合、眼球半径Ｒ、ヨー（yaw）、およびピッチ（pitch）により表すことができる。
【0031】
一方、カメラ１２が撮影する映像は特定の２次元平面を表している。したがって、カメラ１２の撮影で得た二次元画像３４を眼球３Ｄモデル３０に適用する場合には、二次元／三次元の相互変換を行う必要がある。そこで、例えば次の計算式を用いて変換する。
【0032】
Ｘ＝－Ｒ×ｃｏｓ（ｐｉｔｃｈ）×ｓｉｎ（ｙａｗ） …（１）
Ｙ＝Ｒ×ｓｉｎ（ｐｉｔｃｈ） …（２）
Ｘ：二次元画像平面状での眼球中心３１からのｘ方向の距離
Ｙ：二次元画像平面状での眼球中心３１からのｙ方向の距離
Ｙ＝Ｒ×ｓｉｎ（ｐｉｔｃｈ） …（２）
Ｘ：二次元画像平面状での眼球中心３１からのｘ方向の距離
Ｙ：二次元画像平面状での眼球中心３１からのｙ方向の距離
【0033】
＜眼球追従モードにおける視線検出アルゴリズムの概要＞
本発明にかかる実施形態の画像処理装置が実行する眼球追従モードにおける視線検出アルゴリズムの概要を説明する。図７は、本発明に係る実施形態の画像処理装置が実行する眼球追従モードにおける視線検出アルゴリズムの概要を示すフローチャートである。画像処理装置のコンピュータが所定のプログラムを実行することにより、眼球追従モード部として機能し、図７に示した眼球追従モードにおける視線検出アルゴリズムに従って動作が順次行われる。
本発明にかかる実施形態の画像処理装置が実行する眼球追従モードにおける視線検出アルゴリズムの概要を説明する。図７は、本発明に係る実施形態の画像処理装置が実行する眼球追従モードにおける視線検出アルゴリズムの概要を示すフローチャートである。画像処理装置のコンピュータが所定のプログラムを実行することにより、眼球追従モード部として機能し、図７に示した眼球追従モードにおける視線検出アルゴリズムに従って動作が順次行われる。
【0034】
画像処理装置は、ステップＳ２１でカメラ１２からの映像の信号を１フレーム分取り込む。次のステップＳ２２では、画像処理装置は、取り込んだ１フレーム分の画像のうち、直前（直近）の顔追従モードのステップＳ１２で検出した顔領域Ｒ１に対応する領域（以下単に「顔領域Ｒ１」と略記）から瞼を検出する。詳しくは、画像処理装置は、図５のステップＳ１６１と同様に、顔領域Ｒ１の中から、目領域Ｒ２を検出する。その後、画像処理装置は、目領域Ｒ２にエッジフィルタを用いてエッジ特徴量を抽出し、目頭位置を起点として瞼形状を模した円弧を探索する。瞼を検出することで、顔向き変動を伴う目の動き／瞬目を区別することができ、眼球追従精度が向上する。また、瞬目は「眼球運動のリセット機能」でもあるため、眼球運動解釈のための重要な情報となる。なお、ステップＳ２２の瞼検出については省略してもよい。
【0035】
次のステップＳ２３では、画像処理装置は、上記目領域Ｒ２から目頭を検出する。目頭は基本的な画像処理手法である、テンプレートマッチングを用いて検出することができる。また、エッジ方向を特徴点として、目頭の固有の形を探索する手法を用いてもよい。
【0036】
次のステップＳ２４では、画像処理装置は、黒目を検出する。上述したステップＳ２２で目領域Ｒ２が既に検出されているので、ステップＳ２４において、画像処理装置は、図５のステップＳ１６２～Ｓ１６４と同様のデータ処理を実行して、瞳孔３３または虹彩３２（黒目）を検出する。
【0037】
次のステップＳ２５では、画像処理装置は、ステップＳ２４で検出した瞳孔３３または虹彩３２の中心位置及び半径に基づいて、ステップＳ１７と同様に、視線１１ｂの方向を検出する。
【0038】
次のステップＳ２６では、画像処理装置は、検出した視線１１ｂの方向から視線１１ｂの運動角、視線１１ｂの速度を求めて、求めた視線１１ｂの運動角、速度やステップＳ２２、Ｓ２３で検出した瞼、目頭の検出結果に基づいて、例えば跳躍運動（サッカード）、追従運動、視運動性眼振、固視運動、前庭動眼反射といった複数種類の眼球運動を検出する。
【0039】
次のステップＳ２７では、画像処理装置は、検出した視線１１ｂの方向の情報、眼球運動を保存すると共に、アプリケーションの必要に応じて出力した後、ステップＳ２１に戻る。これにより、ステップＳ２１～Ｓ２７のループ状の処理を繰り返すことで、１フレーム毎にリアルタイムでの視線１１ｂ及び眼球運動の検出を実現する。
【0040】
＜初期設定におけるアルゴリズムの概要＞
本発明の実施形態の画像処理相違が実行する設定モードのアルゴリズムの概要を説明する。図８は、本発明に係る実施形態の画像処理装置が実行する初期設定におけるアルゴリズムの概要を示すフローチャートである。画像処理装置のコンピュータが所定のプログラムを実行することにより、図８に示した設定モードにおけるアルゴリズムに従って動作が順次行われる。
本発明の実施形態の画像処理相違が実行する設定モードのアルゴリズムの概要を説明する。図８は、本発明に係る実施形態の画像処理装置が実行する初期設定におけるアルゴリズムの概要を示すフローチャートである。画像処理装置のコンピュータが所定のプログラムを実行することにより、図８に示した設定モードにおけるアルゴリズムに従って動作が順次行われる。
【0041】
画像処理装置は、ステップＳ３１でカメラ１２からの映像の信号を１フレーム分取り込む。次のステップＳ３２～Ｓ３５では、画像処理装置は、上述したステップＳ１２～Ｓ１５と同様に、顔検出、顔特徴点検出、顔向き検出、姿勢検出を行う。その後、ステップＳ３６では、画像処理装置は、上述したステップＳ３２～Ｓ３５により検出した結果に基づいて、人物１１が予め登録された運転者のうちどの運転者であるか個人認証を行う。その後、ステップＳ３７において、画像処理装置は、検出した顔の位置、顔特徴点位置、顔の向き、視線１１ｂの方向の情報を保存すると共に、アプリケーションの必要に応じて出力した後、処理を終了する。画像処理装置は、図２に示すように、この初期設定を終了した後は自動的に顔追従モードでの視線検出を行う。なお、個人認証において、人物１１が予め登録された運転者のいずれでもない場合は、エラーとなる。
【0042】
＜顔追従モードから眼球追従モードへ遷移する条件Ａ＞
画像処理装置のコンピュータは、切替部として機能し、人物１１の顔の動きが少なくなると、顔追従モードから眼球追従モードに遷移する。この顔の動きが少ない、との判断は下記のようにして行う。画像処理装置のコンピュータは、第１変位量算出部として機能し、顔領域Ｒ１から顔の予め定めた基準点（基準）を求め、求めた基準点の動きが少ない場合、顔の動きが少なくなると判断する。本実施形態では、基準点としてはステップＳ１３の顔特徴点で検出した鼻や目頭などの特徴点を基準点とする。具体的には、下記の式（３）の式を満たすとき（顔の基準点の第１変位量ΔＦＰが、閾値ＶＴａより小さいとき）、顔の動きが少ないと判断する。
ΔＦＰ：顔の基準点の第１変位量、ＦＰｔ（ｘ、ｙ）：時刻ｔでの顔の基準点、ＦＰｔ－１（ｘ、ｙ）：時刻ｔよりも１フレーム前の時刻ｔ－１での顔の基準点、Δｔ：検定時間（＝時刻ｔ－時刻ｔ－１）、ＶＴａ：閾値（第１所定値）
画像処理装置のコンピュータは、切替部として機能し、人物１１の顔の動きが少なくなると、顔追従モードから眼球追従モードに遷移する。この顔の動きが少ない、との判断は下記のようにして行う。画像処理装置のコンピュータは、第１変位量算出部として機能し、顔領域Ｒ１から顔の予め定めた基準点（基準）を求め、求めた基準点の動きが少ない場合、顔の動きが少なくなると判断する。本実施形態では、基準点としてはステップＳ１３の顔特徴点で検出した鼻や目頭などの特徴点を基準点とする。具体的には、下記の式（３）の式を満たすとき（顔の基準点の第１変位量ΔＦＰが、閾値ＶＴａより小さいとき）、顔の動きが少ないと判断する。
【数1】
【0043】
また、画像処理装置は、人物１１の顔の動きが大きくなると、眼球追従モードから顔追従モードに遷移する。この顔の動きが少ない、との判断は下記のようにして行う。画像処理装置のコンピュータは、第２変位量算出部として機能し、目領域Ｒ２のうち黒目以外の部分に目の予め定めた基準点を求め、求めた基準点の動きが大きい場合、顔の動きが大きいと判断する。本実施形態では、ステップＳ２３で検出した目頭の位置を基準点とする。具体的には、下記の式（４）を満たすとき（目の基準点の第２変化量ΔＥＰが、閾値ＶＴｂより大きいとき）、顔の動きが大きいと判断する。
ΔＥＰ：目の基準点の第２変位量、ＥＰｔ（ｘ、ｙ）：時刻ｔでの目の基準点、ＥＰｔ－１（ｘ、ｙ）：時刻ｔよりも１フレーム前の時刻ｔ－１での目の基準点、Δｔ：検定時間（＝時刻ｔ－時刻ｔ－１）、ＶＴｂ：閾値（第２所定値）
【数2】
【0044】
＜モード移行の閾値ＶＴａ、ＶＴｂについて＞
両眼でみることのできる±６０°の範囲のうち、サッカードのみで視野を探索できる範囲は±１５°と言われている（高齢者と視線、H30.11.25日本交通医学工学研究会会報 第５２号 東海大学 山田光穂）。サッカードで検索できる範囲外のものを見ようとしたときに、顔向きに伴う視認行動が発生する。この値を考慮し、Ｖｔａ、Ｖｔｂの基準値は（±１５°／τ）で求めることができる。実際のシステムでは、入力画像の解像度や計測誤差、カメラのフレームレート等を考慮して設定する。
両眼でみることのできる±６０°の範囲のうち、サッカードのみで視野を探索できる範囲は±１５°と言われている（高齢者と視線、H30.11.25日本交通医学工学研究会会報 第５２号 東海大学 山田光穂）。サッカードで検索できる範囲外のものを見ようとしたときに、顔向きに伴う視認行動が発生する。この値を考慮し、Ｖｔａ、Ｖｔｂの基準値は（±１５°／τ）で求めることができる。実際のシステムでは、入力画像の解像度や計測誤差、カメラのフレームレート等を考慮して設定する。
【0045】
＜各モードで実行される処理＞
次に、画像処理装置が、各モードで実行する処理について図９を参照して説明する。同図に示すように、初期設定モードにおいて画像処理装置は、顔検出、顔特徴点検出、顔向き検出、姿勢検出を実行する。顔追従モードにおいて画像処理装置は、顔検出、顔特徴検出、顔向き検出、姿勢検出、黒目検出、視線検出を実行する。眼球追従モードにおいて画像処理装置は、瞼検出、黒目検出、目頭検出、視線検出、眼球運動検出を実行する。
次に、画像処理装置が、各モードで実行する処理について図９を参照して説明する。同図に示すように、初期設定モードにおいて画像処理装置は、顔検出、顔特徴点検出、顔向き検出、姿勢検出を実行する。顔追従モードにおいて画像処理装置は、顔検出、顔特徴検出、顔向き検出、姿勢検出、黒目検出、視線検出を実行する。眼球追従モードにおいて画像処理装置は、瞼検出、黒目検出、目頭検出、視線検出、眼球運動検出を実行する。
【0046】
上述した実施形態によれば、顔追従モードにおいて、画像から顔及び黒目を検出し、眼球追従モードにおいて、画像から黒目を検出する。図１０を参照して詳しく説明すると、従来品では、画像処理装置は、顔追従モードでのみ検出を行っているため、顔、特徴点検出及び黒目検出の両方を必ず行っていた。特に、顔、特徴点検出は、黒目検出に比べて処理量が多く、処理時間が長い。一方、図１に示す本実施品の画像処理装置は、顔が動いていない期間は、眼球追従モードに切り替えられ、顔、特徴点の検出を行わずに、黒目検出のみ行っている。これにより、目頭、瞼検出を行ったとしても、顔追従モードでの処理時間に比べて眼球追従モードでの処理時間が短くなり、高速で画像処理を行うことができる。よって、眼球追従モードでは、非常に微細な運動である眼球運動を検出することができる。
【0047】
上述した実施形態によれば、画像処理装置は、眼球追従モードにおいて、顔追従モードにより検出された顔領域Ｒ１を利用して、黒目を検出する。これにより、眼球追従モードにおいて、顔領域Ｒ１の検出を省略できるので、より一層、処理負担の低減を図ることができる。
【0048】
上述した実施形態によれば、顔の動きが大きい場合、顔を検出して精度向上を図り、顔の変動が小さい場合、黒目だけ検出して処理負担の低減を図ることができる。
【0049】
上述した実施形態によれば、画像処理装置は、顔追従モードにおいては、顔の基準点の第１変位量ΔＦＰを求めることにより、顔の動きが小さいことを容易に判定できる。
【0050】
上述した実施形態によれば、画像処理装置は、眼球追従モードにおいては、目の基準点の第２変位量ΔＥＰを求めることにより、顔の動きが大きいことを容易に判定できる。
【0051】
なお、本発明は、上述した実施形態に限定されるものではなく、適宜、変形、改良、等が可能である。その他、上述した実施形態における各構成要素の材質、形状、寸法、数、配置箇所、等は本発明を達成できるものであれば任意であり、限定されない。
【0052】
上述した実施形態によれば、眼球追従モードにおいて、画像処理装置は、画像のうち、直近の顔追従モードで検出した顔領域Ｒ１をデータ処理して、目領域Ｒ２を求め、さらに目領域Ｒ２をデータ処理して黒目を検出していたいが、これに限ったものではない。画像処理装置は、画像のうち直近の顔追従モードで検出した目領域Ｒ２をデータ処理して、黒目を検出するようにしてもよい。これにより、画像処理装置では、眼球追従モードで目領域Ｒ２の検出をさらに省略することができり、より処理負担の低減を図ることができる。
【0053】
また、上述した実施形態によれば、顔の基準点として、鼻や目頭などの特徴点を用いていたが、これに限ったものではない。例えば、目尻などの特徴点を基準点としてもよいし、顔領域Ｒ１からエッジを抽出し、抽出したエッジの中心を顔の基準点としてもよい。
【0054】
また、上述した実施形態によれば、目の基準点として、目頭を用いていたが、これに限ったものではない。例えば、目頭などの特徴点を基準点としてもよいし、目領域Ｒ２からエッジを抽出し、抽出したエッジの中心を目の基準点としてもよい。
【0055】
また、上述した実施形態によれば、画像処理装置が行うデータ処理は、車両内１０に搭載された処理部１３が全て行っていたが、これに限ったものではない。例えば、処理部１３が外部のサーバ装置と通信可能に設けられ、サーバ装置が画像に対するデータ処理の全部または一部を実行するようにしてもよい。
【0056】
ここで、上述した本発明に係る画像処理装置、画像処理方法及び画像処理プログラムの実施形態の特徴をそれぞれ以下［１］～［１０］に簡潔に纏めて列記する。
［１］
顔を含むように撮影された画像に対してデータ処理を行うデータ処理部（１３）を備える画像処理装置であって、
前記データ処理部（１３）は、
前記画像中の顔及び黒目を検出する顔追従モード部（１３）と、
前記画像中の黒目を検出する眼球追従モード部（１３）と、を有する、
画像処理装置。
［２］
［１］に記載の画像処理装置であって、
前記顔追従モード部（１３）は、前記画像に対してデータ処理を行い前記顔が撮影されている顔領域（Ｒ１）を検出し、前記顔領域（Ｒ１）に対してデータ処理を行い目が撮影されている目領域（Ｒ２）を検出し、前記目領域（Ｒ２）に対してデータ処理を行い黒目を検出し、
前記眼球追従モード部（１３）は、前記画像のうち、直近に実行された前記顔追従モード部（１３）により検出された前記顔領域（Ｒ１）又は前記目領域（Ｒ２）に対してデータ処理を行い前記黒目を検出する、
画像処理装置。
［３］
［１］又は［２］に記載の画像処理装置であって、
前記データ処理部（１３）は、前記顔追従モード部（１３）及び前記眼球追従モード部（１３）のうち何れか一方に前記黒目の検出を実行させる切替部（１３）を有する、
画像処理装置。
［４］
［３］に記載の画像処理装置であって、
前記切替部（１３）は、前記顔の動きが大きい場合に、前記顔追従モード部（１３）による検出を実行させ、前記顔の動きが小さい場合に、前記眼球追従モード部（１３）による検出を実行させる、
画像処理装置。
［５］
［４］
に記載の画像処理装置であって、
前記顔追従モード部（１３）による検出時に、前記画像内における前記顔の基準の第１変位量を求める第１変位量算出部を備え、
前記切替部（１３）は、前記第１変位量が第１所定値よりも小さい場合に、前記顔の動きが小さいと判定して、前記顔追従モード部（１３）から前記眼球追従モード部（１３）に切り替える、
画像処理装置。
［６］
［５］に記載の画像処理装置であって、
前記第１変位量算出部は（１３）、前記画像内における前記顔のエッジ点を抽出し、当該抽出したエッジ点の中心を前記顔の基準とする、又は、前記画像内における前記顔の特徴点を前記顔の基準とする、
画像処理装置。
［７］
［４］～［６］何れか１項に記載の画像処理装置であって、
前記眼球追従モード部（１３）による検出時に、前記画像内における目の基準の第２変位量を求める第２変位量算出部（１３）を備え、
前記切替部（１３）は、前記第２変位量が第２所定値よりも大きい場合に、前記顔の動きが大きいと判定して、前記眼球追従モード部（１３）から前記顔追従モード部（１３）に切り替える、
画像処理装置。
［８］
［７］に記載の画像処理装置であって、
前記第２変位量算出部（１３）は、前記画像内における前記目のエッジ点を抽出し、当該抽出したエッジ点の中心を前記目の基準とする、又は、前記画像内における前記目の特徴点を前記目の基準とする、
画像処理装置。
［９］
顔を含むように撮影された画像に対してデータ処理を行う画像処理方法であって、
前記画像中の顔及び黒目を検出する顔追従ステップと、
前記画像中の黒目を検出する眼球追従ステップと、を有する、
画像処理方法。
［１０］
コンピュータ（１３）に［９］に記載の画像処理方法の各ステップを実行させるための画像処理プログラム。
［１］
顔を含むように撮影された画像に対してデータ処理を行うデータ処理部（１３）を備える画像処理装置であって、
前記データ処理部（１３）は、
前記画像中の顔及び黒目を検出する顔追従モード部（１３）と、
前記画像中の黒目を検出する眼球追従モード部（１３）と、を有する、
画像処理装置。
［２］
［１］に記載の画像処理装置であって、
前記顔追従モード部（１３）は、前記画像に対してデータ処理を行い前記顔が撮影されている顔領域（Ｒ１）を検出し、前記顔領域（Ｒ１）に対してデータ処理を行い目が撮影されている目領域（Ｒ２）を検出し、前記目領域（Ｒ２）に対してデータ処理を行い黒目を検出し、
前記眼球追従モード部（１３）は、前記画像のうち、直近に実行された前記顔追従モード部（１３）により検出された前記顔領域（Ｒ１）又は前記目領域（Ｒ２）に対してデータ処理を行い前記黒目を検出する、
画像処理装置。
［３］
［１］又は［２］に記載の画像処理装置であって、
前記データ処理部（１３）は、前記顔追従モード部（１３）及び前記眼球追従モード部（１３）のうち何れか一方に前記黒目の検出を実行させる切替部（１３）を有する、
画像処理装置。
［４］
［３］に記載の画像処理装置であって、
前記切替部（１３）は、前記顔の動きが大きい場合に、前記顔追従モード部（１３）による検出を実行させ、前記顔の動きが小さい場合に、前記眼球追従モード部（１３）による検出を実行させる、
画像処理装置。
［５］
［４］
に記載の画像処理装置であって、
前記顔追従モード部（１３）による検出時に、前記画像内における前記顔の基準の第１変位量を求める第１変位量算出部を備え、
前記切替部（１３）は、前記第１変位量が第１所定値よりも小さい場合に、前記顔の動きが小さいと判定して、前記顔追従モード部（１３）から前記眼球追従モード部（１３）に切り替える、
画像処理装置。
［６］
［５］に記載の画像処理装置であって、
前記第１変位量算出部は（１３）、前記画像内における前記顔のエッジ点を抽出し、当該抽出したエッジ点の中心を前記顔の基準とする、又は、前記画像内における前記顔の特徴点を前記顔の基準とする、
画像処理装置。
［７］
［４］～［６］何れか１項に記載の画像処理装置であって、
前記眼球追従モード部（１３）による検出時に、前記画像内における目の基準の第２変位量を求める第２変位量算出部（１３）を備え、
前記切替部（１３）は、前記第２変位量が第２所定値よりも大きい場合に、前記顔の動きが大きいと判定して、前記眼球追従モード部（１３）から前記顔追従モード部（１３）に切り替える、
画像処理装置。
［８］
［７］に記載の画像処理装置であって、
前記第２変位量算出部（１３）は、前記画像内における前記目のエッジ点を抽出し、当該抽出したエッジ点の中心を前記目の基準とする、又は、前記画像内における前記目の特徴点を前記目の基準とする、
画像処理装置。
［９］
顔を含むように撮影された画像に対してデータ処理を行う画像処理方法であって、
前記画像中の顔及び黒目を検出する顔追従ステップと、
前記画像中の黒目を検出する眼球追従ステップと、を有する、
画像処理方法。
［１０］
コンピュータ（１３）に［９］に記載の画像処理方法の各ステップを実行させるための画像処理プログラム。
【符号の説明】
【0057】
１３ 処理部（データ処理部、顔追従モード部、眼球追従モード部、切替部、第１変位量算出部、第２変位量算出部、コンピュータ）
Ｒ１ 顔領域
Ｒ２ 目領域
Ｒ１ 顔領域
Ｒ２ 目領域
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】