特許 7240193 顔方向判別装置、コンピュータプログラム、および記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-07

(45)【発行日】2023-03-15

(54)【発明の名称】顔方向判別装置、コンピュータプログラム、および記憶媒体

(51)【国際特許分類】

   G08G 1/16 20060101AFI20230308BHJP

   B60R 11/04 20060101ALI20230308BHJP

   G06T 7/70 20170101ALI20230308BHJP

【ＦＩ】

G08G1/16 C

B60R11/04

G06T7/70 Z

【請求項の数】 7

(21)【出願番号】P 2019023627

(22)【出願日】2019-02-13

(65)【公開番号】P2020135036

(43)【公開日】2020-08-31

【審査請求日】2021-11-17

(73)【特許権者】

【識別番号】000003551

【氏名又は名称】株式会社東海理化電機製作所

(73)【特許権者】

【識別番号】000232092

【氏名又は名称】ＮＥＣソリューションイノベータ株式会社

(74)【代理人】

【識別番号】110001416

【氏名又は名称】弁理士法人信栄事務所

(72)【発明者】

【氏名】名和 佑記

(72)【発明者】

【氏名】多田 圭吾

(72)【発明者】

【氏名】原田 久光

(72)【発明者】

【氏名】関原 忠

(72)【発明者】

【氏名】深谷 安利

(72)【発明者】

【氏名】榊原 将城

【審査官】佐田 宏史

(56)【参考文献】

【文献】特開２０１７－１９９３０２（ＪＰ，Ａ）

【文献】大西 広樹、浮田 浩行，“Ｋｉｎｅｃｔを用いた顔の検出とその方向の推定’，電気学会研究会資料，日本，一般社団法人電気学会，2013年03月29日，pp.1-5

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０８Ｇ １／１６

Ｂ６０Ｒ １１／０４

Ｇ０６Ｔ １／００，７／００－７／９０

Ｇ０６Ｖ １０／００－１０／９８

Ｇ０１Ｂ １１／００－１１／３０

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

各々が三次元空間における位置に対応付けられた複数の点要素を含む位置データセットを受け付ける入力インターフェースと、
前記位置データセットに基づいて車室内の乗員の顔の向きを判別するプロセッサと、
を備えており、
前記プロセッサは、
前記位置データセットから前記乗員の頭部が存在する可能性が高い三次元空間の領域に対応する位置データサブセットを抽出し、
前記位置データサブセットに基づいて前記頭部の中心位置を推定し、
前記中心位置を中心とする前記頭部を近似する球体の半径を特定し、
前記半径に基づいて、前記乗員の顔の向きを判別し、
前記入力インターフェースは、前記位置データセットをＴＯＦ（Time of Flight）カメラから受け付け、
前記複数の点要素の各々は、前記ＴＯＦカメラから出力される複数の画素データの一つに対応している、
顔方向判別装置。

【請求項2】

前記プロセッサは、
前記中心位置から前記位置データサブセットに含まれる前記複数の点要素の各々までの距離の代表値を算出し、
前記代表値と前記半径との比較に基づいて、前記乗員の顔の向きを判別する、
請求項１に記載の顔方向判別装置。

【請求項3】

前記プロセッサは、前記位置データサブセットに含まれる前記複数の点要素に対応付けられた前記三次元空間における複数の位置の重心位置と前記中心位置との位置関係に基づいて、前記乗員の顔の向きを判別する、
請求項１または２に記載の顔方向判別装置。

【請求項4】

各々が三次元位置に対応付けられた複数の点要素を含む位置データセットに基づいて、車室内の乗員の顔の向きをプロセッサに判別させるコンピュータプログラムであって、
当該コンピュータプログラムが実行されると、当該プロセッサに、
前記位置データセットから前記乗員の頭部が存在する可能性が高い空間領域に対応する位置データサブセットを抽出させ、
前記位置データサブセットに基づいて前記頭部の中心位置を推定させ、
前記中心位置を中心とする前記頭部を近似する球体の半径を特定させ、
前記半径に基づいて、前記乗員の顔の向きを判別させ、
前記位置データセットは、ＴＯＦ（Time of Flight）カメラから取得され、
前記複数の点要素の各々は、前記ＴＯＦカメラから出力される複数の画素データの一つに対応している、
コンピュータプログラム。

【請求項5】

前記プロセッサに、
前記中心位置から前記位置データサブセットに含まれる前記複数の点要素の各々までの距離の代表値を算出させ、
前記代表値と前記半径との比較に基づいて、前記乗員の顔の向きを判別させる、
請求項４に記載のコンピュータプログラム。

【請求項6】

前記プロセッサに、前記位置データサブセットに含まれる前記複数の点要素に対応付けられた複数の前記三次元位置の重心位置と前記中心位置との位置関係に基づいて、前記乗員の顔の向きを判別させる、
請求項４または５に記載のコンピュータプログラム。

【請求項7】

請求項４から６のいずれか一項に記載のコンピュータプログラムを記憶している記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車室内における乗員の顔の向きを判別する装置に関連する。本発明は、当該装置が備えているプロセッサにより実行されるコンピュータプログラム、および当該コンピュータプログラムが記憶された記憶媒体にも関連する。

【背景技術】

【0002】

特許文献１に開示されているように、車室内における乗員の顔の向きを判別する装置が知られている。当該装置は、カメラに対して正面を向いている顔の画像に含まれる目と鼻の距離に基づいて、乗員の顔の向きを判別している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１２－０２２５７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明の目的は、顔がカメラに面していない乗員についても顔の向きを判別可能にすることである。

【課題を解決するための手段】

【0005】

上記の目的を達成するための第一態様は、顔方向判別装置であって、
各々が三次元空間における位置に対応付けられた複数の点要素を含む位置データセットを受け付ける入力インターフェースと、
前記位置データセットに基づいて車室内の乗員の顔の向きを判別するプロセッサと、
を備えており、
前記プロセッサは、
前記位置データセットから前記乗員の頭部が存在する可能性が高い三次元空間の領域に対応する位置データサブセットを抽出し、
前記位置データサブセットに含まれる前記点要素の数に基づいて、前記乗員の顔の向きを判別する。

【0006】

上記の目的を達成するための第二態様は、各々が三次元位置に対応付けられた複数の点要素を含む位置データセットに基づいて、車室内の乗員の顔の向きをプロセッサに判別させるコンピュータプログラムであって、
当該コンピュータプログラムが実行されると、当該プロセッサに、
前記位置データセットから前記乗員の頭部が存在する可能性が高い空間領域に対応する位置データサブセットを抽出させ、
前記位置データサブセットに含まれる前記点要素の数に基づいて、前記乗員の顔の向きを判別させる。

【0007】

上記のような構成によれば、乗員の頭部の三次元空間における位置に係る情報量に基づいて、当該乗員の顔の向きが判断されうる。画像情報のみに依存する必要がないので、顔がカメラに面していない乗員についても顔の向きを判別できる。

【0008】

上記の目的を達成するための第三態様は、顔方向判別装置であって、
各々が三次元空間における位置に対応付けられた複数の点要素を含む位置データセットを受け付ける入力インターフェースと、
前記位置データセットに基づいて車室内の乗員の顔の向きを判別するプロセッサと、
を備えており、
前記プロセッサは、
前記位置データセットから前記乗員の頭部が存在する可能性が高い三次元空間の領域に対応する位置データサブセットを抽出し、
前記位置データサブセットに基づいて前記頭部の中心位置を推定し、
前記中心位置を中心とする前記頭部を近似する球体の半径を特定し、
前記半径に基づいて、前記乗員の顔の向きを判別する。

【0009】

上記の目的を達成するための第四態様は、各々が三次元位置に対応付けられた複数の点要素を含む位置データセットに基づいて、車室内の乗員の顔の向きをプロセッサに判別させるコンピュータプログラムであって、
当該コンピュータプログラムが実行されると、当該プロセッサに、
前記位置データセットから前記乗員の頭部が存在する可能性が高い空間領域に対応する位置データサブセットを抽出させ、
前記位置データサブセットに基づいて前記頭部の中心位置を推定させ、
前記中心位置を中心とする前記頭部を近似する球体の半径を特定させ、
前記半径に基づいて、前記乗員の顔の向きを判別させる。

【0010】

上記のような構成によれば、乗員の頭部の三次元空間における位置に係る情報から当該頭部の中心の推定位置と当該位置を中心として当該頭部を近似する球体の半径が得られ、当該半径の値に基づいて乗員の顔の向きが判断されうる。画像情報のみに依存する必要がないので、顔がカメラに面していない乗員についても顔の向きを判別できる。

【0011】

第三態様に係る顔方向判別装置は、以下のように構成されうる。
前記プロセッサは、
前記中心位置から前記位置データサブセットに含まれる前記複数の点要素の各々までの距離の代表値を算出し、
前記代表値と前記半径との比較に基づいて、前記乗員の顔の向きを判別する。

【0012】

第四態様に係るコンピュータプログラムは、以下のように構成されうる。
前記プロセッサに、
前記中心位置から前記位置データサブセットに含まれる前記複数の点要素の各々までの距離の代表値を算出させ、
前記代表値と前記半径との比較に基づいて、前記乗員の顔の向きを判別させる。

【0013】

上記のような構成によれば、頭部を近似する球体の半径を利用した乗員の顔の向きの判断をより精密に行なうことができる。

【0014】

第三態様に係る顔方向判別装置は、以下のように構成されうる。
前記プロセッサは、前記位置データサブセットに含まれる前記複数の点要素に対応付けられた前記三次元空間における複数の位置の重心位置と前記中心位置との位置関係に基づいて、前記乗員の顔の向きを判別する。

【0015】

第四態様に係るコンピュータプログラムは、以下のように構成されうる。
前記プロセッサに、前記位置データサブセットに含まれる前記複数の点要素に対応付けられた複数の前記三次元位置の重心位置と前記中心位置との位置関係に基づいて、前記乗員の顔の向きを判別させる。

【0016】

上記のような構成によれば、乗員の顔がカメラに面していない場合においても、具体的な顔の向きを判別できる。

【0017】

第一態様と第三態様に係る顔方向判別装置は、以下のように構成されうる。
前記入力インターフェースは、前記位置データセットをＴＯＦ（Time of Flight）カメラから受け付け、
前記複数の点要素の各々は、前記ＴＯＦカメラから出力される複数の画素データの一つに対応している。

【0018】

第二態様と第四態様に係るコンピュータプログラムは、以下のように構成されうる。
前記位置データセットは、ＴＯＦ（Time of Flight）カメラから取得される。

【0019】

上記のような構成によれば、乗員の頭部に係る位置情報を、画像情報とともに効率的に取得できる。

【0020】

上記の目的を達成するための第五態様は、顔方向判別装置であって、
撮像された車室を含む画像に対応し複数の画素データを含む画像データを受け付ける入力インターフェースと、
画像の輝度に関する特徴量に基づいて撮像された乗員の顔の向きを判別するために少なくとも撮像された頭部を含む画像を教師データとして学習した識別器を用い、前記画像データに基づいて、前記画像に含まれる撮像された乗員の顔の向きを判別するプロセッサと、
を備えており、
前記プロセッサは、
前記画像データにおいて前記撮像された乗員の頭部が含まれる可能性がある第一検出領域を特定し、
前記第一検出領域に含まれる各画素の輝度に基づく特徴量を前記識別器に入力し、
前記第一検出領域についての前記識別器による識別結果に基づいて、前記撮像された乗員の顔の向きについて第一判別結果を取得し、
前記第一検出領域と一部が重なる位置に当該第一検出領域と同じ大きさを有する少なくとも一つの第二検出領域を設定し、
前記第二検出領域に含まれる各画素の輝度に基づく特徴量を前記識別器に入力し、
前記第二検出領域についての前記識別器による識別結果に基づいて、前記撮像された乗員の顔の向きについて少なくとも一つの第二判別結果を取得し、
前記少なくとも一つの第二判別結果が前記第一判別結果と一致している場合、前記第一判別結果を有効にする。

【0021】

上記の目的を達成するための第六態様は、画像の輝度に関する特徴量に基づいて撮像された乗員の顔の向きを判別するために少なくとも撮像された頭部を含む画像を教師データとして学習した識別器を用い、撮像された車室を含む画像に対応し複数の画素データを含む画像データに基づいて、当該画像に含まれる撮像された乗員の顔の向きをプロセッサに判別させるコンピュータプログラムであって、
当該コンピュータプログラムが実行されると、当該プロセッサに、
前記画像データにおいて前記撮像された乗員の頭部が含まれる可能性がある第一検出領域を特定させ、
前記第一検出領域に含まれる各画素の輝度に基づく特徴量を前記識別器に入力させ、
前記第一検出領域についての前記識別器による識別結果に基づいて、前記撮像された乗員の顔の向きについて第一判別結果を取得させ、
前記第一検出領域と一部が重なる位置に当該第一検出領域と同じ大きさを有する少なくとも一つの第二検出領域を設定させ、
前記第二検出領域に含まれる各画素の輝度に基づく特徴量を前記識別器に入力させ、
前記第二検出領域についての前記識別器による識別結果に基づいて、前記撮像された乗員の顔の向きについて少なくとも一つの第二判別結果を取得させ、
前記少なくとも一つの第二判別結果が前記第一判別結果と一致している場合、前記第一判別結果を有効にさせる。

【0022】

上記のような構成によれば、撮像された頭部を含む画像を教師データとして学習した識別器を用いて撮像された乗員の顔の向きが判別され、さらにその判別結果についての検証もなされるので、顔がカメラに面していない乗員についても顔の向きの判別精度を高めることができる。

【0023】

第五態様に係る顔方向判別装置は、以下のように構成されうる。
前記入力インターフェースは、各々が三次元空間における位置に対応付けられた複数の点要素を含む位置データセットを受け付け、
前記プロセッサは、
前記位置データセットから前記第一検出領域に対応する位置データサブセットを抽出し、
前記位置データサブセットに基づいて推定された前記頭部の中心位置と、当該位置データサブセットに含まれる前記複数の点要素に対応付けられた複数の前記位置の重心位置との位置関係に基づいて、前記撮像された乗員の顔の向きを判別する。

【0024】

第六態様に係るコンピュータプログラムは、以下のように構成されうる。
前記プロセッサに、
各々が三次元位置に対応付けられた複数の点要素を含む位置データセットから前記第一検出領域に対応する位置データサブセットを抽出させ、
前記位置データサブセットに基づいて推定された前記頭部の中心位置と、当該位置データサブセットに含まれる前記複数の点要素に対応付けられた複数の前記三次元位置の重心位置との位置関係に基づいて、前記撮像された乗員の顔の向きを判別させる。

【0025】

上記のような構成によれば、乗員の顔がカメラに面していない場合においても、具体的な顔の向きを判別できる。

【0026】

第五態様に係る顔方向判別装置は、以下のように構成されうる。
前記特徴量は、ＨＯＧ（Histograms of Oriented Gradients）である。

【0027】

第六態様に係るコンピュータプログラムは、以下のように構成されうる。
前記特徴量は、ＨＯＧ（Histograms of Oriented Gradients）である。

【0028】

上記のような構成によれば、頭部のエッジを比較的高い精度で検出できる。したがって、撮像された乗員の顔の向きの判別精度を高めることができる。

【0029】

第五態様に係る顔方向判別装置は、以下のように構成されうる。
前記識別器は、サポートベクターマシンである。

【0030】

第六態様に係るコンピュータプログラムは、以下のように構成されうる。
前記識別器は、サポートベクターマシンである。

【0031】

上記のような構成によれば、汎化性能の高い識別器が得られるので、撮像された乗員の顔の向きの判別精度を高めることができる。

【0032】

第五態様に係る顔方向判別装置は、以下のように構成されうる。
前記入力インターフェースは、前記位置データセットを、前記画像データの一部としてＴＯＦ（Time of Flight）カメラから受け付ける。

【0033】

第六態様に係るコンピュータプログラムは、以下のように構成されうる。
前記位置データセットは、前記画像データの一部としてＴＯＦ（Time of Flight）カメラから取得されたものである。

【0034】

上記のような構成によれば、乗員の頭部に係る位置情報を、画像情報とともに効率的に取得できる。

【0035】

上記の目的を達成するための一態様は、上記の第二態様、第四態様、および第六態様のいずれかに係るコンピュータプログラムを記憶している記憶媒体である。

【発明の効果】

【0036】

本発明によれば、顔がカメラに面していない乗員についても顔の向きを判別できる。

【図面の簡単な説明】

【0037】

【図1】一実施形態に係る顔方向判別システムの構成を例示している。

【図2】図１の顔方向判別システムが搭載される車両の一部を例示している。

【図3】図１の顔方向判別装置により実行される処理の流れを例示している。

【図4】図１の顔方向判別装置により実行される処理を説明するための図である。

【図5】図１の顔方向判別装置により実行される処理を説明するための図である。

【図6】図１の顔方向判別装置により実行される処理を説明するための図である。

【図7】図１の顔方向判別装置により実行される処理を説明するための図である。

【図8】図３における顔方向判別処理の第一の具体例を示している。

【図9】図３における顔方向判別処理の第二の具体例を示している。

【図10】図９の処理を説明するための図である。

【図11】図９の処理を説明するための図である。

【図12】図３における顔方向判別処理の第三の具体例を示している。

【図13】図１２の処理を説明するための図である。

【図14】図１２の処理を説明するための図である。

【発明を実施するための形態】

【0038】

添付の図面を参照しつつ、実施形態例について以下詳細に説明する。以下の説明に用いる各図面では、各部材を認識可能な大きさとするために縮尺を適宜変更している。

【0039】

図１は、一実施形態に係る顔方向判別システム１の構成を模式的に示している。顔方向判別システム１は、ＴＯＦ（Time of Flight）カメラ２と顔方向判別装置３を含んでいる。図２は、顔方向判別システム１が搭載される車両４の一部を示している。矢印Ｌは、車両４の前後方向に沿う向きを示している。矢印Ｈは、車両４の高さ方向に沿う向きを示している。

【0040】

ＴＯＦカメラ２は、図２に示される車両４の車室４１内における適宜の位置に配置され、撮像された車室４１を含む画像を取得する。

【0041】

ＴＯＦカメラ２は、発光素子と受光素子を備えている。発光素子は、検出光として例えば赤外光を出射する。出射された検出光は、対象物によって反射され、戻り光として受光素子に入射する。検出光が発光素子より出射されてから戻り光が受光素子に入射するまでの時間が測定されることにより、戻り光を生じた対象物までの距離が算出される。ＴＯＦカメラ２により取得される画像を構成する複数の画素の各々について当該距離が算出されることにより、各画素は、画像における二次元的な位置座標（Ｕ，Ｖ）に加えて、当該画素に対応する対象物の一部までの距離（奥行き）を示す距離情報ｄ（Ｕ，Ｖ）を含む。

【0042】

ＴＯＦカメラ２は、取得された画像に対応する画像データＩＤを出力する。画像データＩＤは、複数の画素データセットを含んでいる。複数の画素データセットの各々は、取得された画像を構成する複数の画素の対応する一つに関連づけられている。複数の画素データセットの各々は、位置座標（Ｕ，Ｖ）と距離情報ｄ（Ｕ，Ｖ）を含んでいる。すなわち、複数の画素データセットの各々は、三次元空間における位置に対応付けられている。複数の画素データセットの各々は、点要素の一例である。画像データＩＤは、位置データセットの一例でもある。

【0043】

顔方向判別装置３は、車両４における適宜の位置に搭載される。顔方向判別装置３は、ＴＯＦカメラ２から提供される画像データＩＤに基づいて、撮像された車室４１内の運転者５の顔の向きを判別するための装置である。運転者５は、乗員の一例である。

【0044】

顔方向判別装置３は、入力インターフェース３１を備えている。入力インターフェース３１は、ＴＯＦカメラ２から出力された画像データＩＤを受け付ける。

【0045】

顔方向判別装置３は、プロセッサ３２を備えている。プロセッサ３２は、入力インターフェース３１に入力された画像データＩＤに基づいて、運転者５の顔の向きを判別する処理を実行する。

【0046】

図３を参照しつつ、プロセッサ３２によって行なわれる処理の流れを説明する。プロセッサ３２は、まず画像データＩＤに対して予備処理を実行する（ＳＴＥＰ１）。

【0047】

各画素データセットに含まれる位置座標（Ｕ，Ｖ）と距離情報ｄ（Ｕ，Ｖ）は、画像中心座標が（ｃ_X，ｃ_Y）と定義された場合、次式を用いてカメラ座標系における三次元空間上の点（Ｘ，Ｙ，Ｚ）に変換されうる。ｆは、ＴＯＦカメラ２が備えるレンズの焦点距離を表している。

【0048】

【数1】

【0049】

プロセッサ３２は、上式に基づいて、位置座標（Ｕ，Ｖ）と距離情報ｄ（Ｕ，Ｖ）からカメラ座標系における三次元空間上の点（Ｘ，Ｙ，Ｚ）への変換を行なう。なお、位置座標（Ｕ，Ｖ）と距離情報ｄ（Ｕ，Ｖ）からカメラ座標系における三次元空間上の点（Ｘ，Ｙ，Ｚ）への変換は、ＴＯＦカメラ２に内蔵されたプロセッサによって行なわれてもよい。この場合、ＴＯＦカメラ２から出力される画像データＩＤに含まれる複数の画素データセットの各々は、位置座標（Ｘ，Ｙ，Ｚ）を含む。この場合においても、複数の画素データセットの各々は、三次元空間における位置に対応付けられている。この場合においても、複数の画素データセットの各々は、点要素の一例である。この場合においても、画像データＩＤは、位置データセットの一例でもある。

【0050】

カメラ座標系における位置座標（Ｘ，Ｙ，Ｚ）は、車両４における特定の位置を原点とする車両座標系における位置座標（Ｗ，Ｌ，Ｈ）に変換されうる。Ｗ軸は、車両４の左右方向に延びる座標軸である。例えば、運転席における特定の位置を原点とした場合、Ｗ軸の座標値は、運転者５から見て原点よりも右方において正の値をとり、原点よりも左方において負の値をとる。Ｌ軸は、車両４の前後方向に延びる座標軸である。例えば、Ｌ軸の座標値は、原点よりも前方において正の値をとり、原点よりも後方において負の値をとる。Ｈ軸は、車両４の上下方向に延びる座標軸である。例えば、Ｈ軸の座標値は、原点よりも上方において正の値をとり、原点よりも下方において負の値をとる。

【0051】

プロセッサ３２は、各画素データセットについてカメラ座標系における位置座標（Ｘ，Ｙ，Ｚ）から車両座標系における位置座標（Ｗ，Ｌ，Ｈ）への変換を行なう。原点は、例えば運転者５の腰骨に対応する位置として選ばれる。車両座標系への座標変換は、周知の座標回転変換、平行移動変換、スケール変換などを用いて行なわれうる。

【0052】

続いてプロセッサ３２は、処理対象とされる空間領域を限定する処理を行なう。具体的には、ＴＯＦカメラ２から取得された画像データＩＤから、限定された空間領域に対応する複数の画素データセットＰＤが抽出される。

【0053】

図４の（Ａ）は、ＴＯＦカメラ２から取得された画像データＩＤの一例を示している。図２に示されるように、運転席に着座した運転者５の頭部５１は、車室４１の上部に位置している蓋然性が高い。したがって、処理対象とされる空間領域が当該車室４１の上部に限定される。例えば、限定された空間領域は、Ｗ軸の座標値が－５１０ｍｍ～３６０ｍｍ、Ｌ軸の座標値が－２８０ｍｍ～７００ｍｍ、Ｈ軸の座標値が４３０ｍｍ～７５０ｍｍの範囲である空間領域として定義されうる。図４の（Ｂ）は、限定された空間領域に対応する複数の画素データセットＰＤの一例を示している。

【0054】

空間領域を限定する処理が行なわれることにより、後述する頭部５１の判別処理の負荷が軽減されうる。しかしながら、この処理は省略されてもよい。

【0055】

続いてプロセッサ３２は、ＴＯＦカメラ２から取得された画像データＩＤまたは上記のように抽出された複数の画素データセットＰＤを複数のデータサブセットＤＳに分割する（図３のＳＴＥＰ２）。

【0056】

図５の（Ａ）は、Ｌ軸とＨ軸により形成されるＬＨ座標平面に射影された複数の画素データセットＰＤを示している。プロセッサ３２は、ＬＨ座標平面に射影された複数の画素データセットＰＤを複数のデータサブセットＤＳに分割することにより、車室４１の一部を構成する複数の空間領域（車室空間領域）の一つに各データサブセットＤＳを対応付ける。

【0057】

各データサブセットＤＳに対応する車室空間領域は、Ｌ軸に沿う所定の幅ｄＬを有している。幅ｄＬは、人の頭部に対応する寸法として予め定められうる。「人の頭部に対応する寸法」は、例えば国立研究開発法人産業技術総合研究所の人体寸法データベースや独立行政法人製品評価技術基盤機構の人間特性データベースなどに公開されている頭部の大きさに係る情報に基づいて定められうる。

【0058】

続いてプロセッサ３２は、高尤度データサブセットＬＤＳを特定する（図３のＳＴＥＰ３）。高尤度データサブセットＬＤＳは、運転者５の頭部５１が存在する可能性が高い車室空間領域に対応するデータサブセットＤＳである。

【0059】

具体的には、プロセッサ３２は、各データサブセットＤＳに含まれる有意な画素データセットの数を計数する。「有意な画素データセット」とは、運転者５によって検出光が反射されたことにより取得された可能性が高い距離情報Ｄ（Ｕ，Ｖ）を有している画素データセットを意味する。そのような距離情報Ｄの数値範囲は、ＴＯＦカメラ２と運転者５との位置関係に基づいて適宜に定められうる。

【0060】

ＬＨ座標平面に射影された複数の画素データセットＰＤの場合、有意な画素データセットを最も多く含むデータサブセットＤＳに対応する車室空間領域には、運転者５の頭部５１と胴体５２が含まれている可能性が高い。

【0061】

したがって、図５の（Ｂ）に示されるように、プロセッサ３２は、有意な画素データセットを最も多く含むデータサブセットＤＳを、高尤度データサブセットＬＤＳとして特定する。換言すると、プロセッサ３２は、各データサブセットＤＳに含まれる運転者５に対応する画素データセットの数に基づいて、頭部５１が存在する可能性が高い複数の車室空間領域の少なくとも一つに対応する高尤度データサブセットＬＤＳを特定する。

【0062】

続いてプロセッサ３２は、特定された高尤度データサブセットＬＤＳに基づいて、頭部の判別を行なう（図３のＳＴＥＰ４）。

【0063】

まず、図５の（Ｂ）に示されるように、プロセッサ３２は、運転者５の頭頂部５１ａを特定する。具体的には、高尤度データサブセットＬＤＳに含まれる有意な画素データセットのうち、最も高い位置にあるものが、頭頂部５１ａであると特定される。換言すると、高尤度データサブセットＬＤＳに含まれる有意な画素データセットのうち、最も大きなＨ軸座標値を有するものが、頭頂部５１ａであると特定される。

【0064】

続いて、図６の（Ａ）と（Ｂ）に示されるように、プロセッサ３２は、撮像された運転者５の頭部５１が含まれる蓋然性の高い頭部空間領域ＨＳＲを定義する。頭部空間領域ＨＳＲは、特定された頭頂部５１ａの座標に基づいて定められる。具体的には、国立研究開発法人産業技術総合研究所の人体寸法データベースや独立行政法人製品評価技術基盤機構の人間特性データベースなどに公開されている頭部の大きさに係る情報に基づいて、頭部空間領域ＨＳＲのＬ軸に沿う方向の寸法ｈｄＬ、Ｈ軸に沿う方向の寸法ｈｄＨ、およびＷ軸に沿う方向の寸法ｈｄＷが定められる。

【0065】

例えば、寸法ｈｄＬは、頭頂部５１ａの座標を中心として１７６ｍｍの値をとるように定められる。寸法ｈｄＨは、頭頂部５１ａの座標から下方へ１４６ｍｍの値をとるように定められる。寸法ｈｄＷは、頭頂部５１ａの座標を中心として１７６ｍｍの値をとるように定められる。

【0066】

次にプロセッサ３２は、図７の（Ａ）に示されるように、上記のように定められた頭部空間領域ＨＳＲに対応する頭部データサブセットＨＳＤを、複数の画素データセットＰＤから抽出する。頭部データサブセットＨＳＤは、位置データサブセットの一例である。

【0067】

続いてプロセッサ３２は、撮像された運転者５の顔の向きを判別する処理を行なう（図３のＳＴＥＰ５）。図８は、当該処理の第一の例を示している。

【0068】

具体的には、プロセッサ３２は、頭部データサブセットＨＳＤに含まれる有意な画素データセットの数を計数する（ＳＴＥＰ５１１）。「有意な画素データセット」とは、運転者５によって検出光が反射されたことにより取得された可能性が高い距離情報Ｄ（Ｕ，Ｖ）を有している画素データセットを意味する。頭部データサブセットＨＳＤに含まれる有意な画素データセットは、運転者５の顔面からの戻り光に基づいて得られた蓋然性が高い。

【0069】

本実施形態において、ＴＯＦカメラ２は、運転者５の画像を左上方から取得している。運転者５の顔が正面、左方、または上方を向いていれば、ＴＯＦカメラ２に面する顔部分の面積は増大する。したがって、ＴＯＦカメラ２への戻り光が増大し、頭部データサブセットＨＳＤに含まれる有意な画素データセットの数も増大する。他方、運転者５の顔が右方または下方を向いていると、ＴＯＦカメラ２に面する顔部分の面積が減少する。したがって、ＴＯＦカメラ２への戻り光が減少し、頭部データサブセットＨＳＤに含まれる有意な画素データセットの数も減少する。

【0070】

すなわち、頭部データサブセットＨＳＤに含まれる有意な画素データセットの数に基づいて、運転者５の顔の向きとして、顔がＴＯＦカメラ２に面しているか否かがが判断されうる。

【0071】

具体的には、プロセッサ３２は、計数された有意な画素データセットの数が所定値未満であるかを判断する（ＳＴＥＰ５１２）。所定値は、ＴＯＦカメラ２の仕様や運転者５との位置関係に応じて適宜に定められうる。計数された有意な画素データセットの数が所定値未満である場合（ＳＴＥＰ５１２においてＹＥＳ）、プロセッサ３２は、運転者５の顔はＴＯＦカメラ２に面していないと判断する（ＳＴＥＰ５１３）。計数された有意な画素データセットの数が所定値以上である場合（ＳＴＥＰ５１２においてＮＯ）、プロセッサ３２は、運転者５の顔はＴＯＦカメラ２に面していると判断する（ＳＴＥＰ５１４）。

【0072】

上記のような構成によれば、運転者５の頭部５１の三次元空間における位置に係る情報量に基づいて、運転者５の顔の向きが判断されうる。画像情報のみに依存する必要がないので、顔がカメラに面していない運転者５についても顔の向きを判別できる。

【0073】

図９は、プロセッサ３２により行なわれうる撮像された運転者５の顔の向きを判別する処理の第二の例を示している。

【0074】

プロセッサ３２は、運転者５の頭部５１の中心位置Ｃを推定する（ＳＴＥＰ５２１）。具体的には、図７の（Ｂ）に示されるように、プロセッサ３２は、頭部データサブセットＨＳＤのうち、上記のように定められた頭部空間領域ＨＳＲの重心位置Ｇ（Ｗｇ，Ｌｇ，Ｈｇ）を、まず特定する。

【0075】

頭部データサブセットＨＳＤは、頭部５１の表面からの戻り光に基づいて取得されているので、上記のように特定された重心位置Ｇは、頭部５１の中心（実際の重心）よりも表面に寄る傾向にある。図１０の（Ａ）に示されるように、運転者５の頭部５１は球体Ｓで近似できる。頭部データサブセットＨＳＤに含まれる複数の画素データセット（点要素）が球体Ｓの表面に分布していると仮定すれば、各点要素から球体Ｓの中心までの距離は等しくなる。

【0076】

そこでプロセッサ３２は、各点要素からの距離のばらつきが最小となる点を探索し、重心位置Ｇがそのような点の位置となるように補正する。プロセッサ３２は、補正された重心位置Ｇ’を頭部５１の中心位置Ｃとして推定する。

【0077】

各点要素からの距離のばらつきが最小となる点は、例えば次式で表される評価関数の値が最小になるような点として探索されうる。

【数2】

ｎは、頭部データサブセットＨＳＤに含まれる複数の点要素の数を表している。
ｐ_kは、頭部データサブセットＨＳＤに含まれる各点要素の位置を表している。
Ｇは、上記のように特定された頭部５１の重心位置を表している。
ｄ（ｐ_k，Ｇ）は、ある点要素の位置と重心位置の間のユークリッド距離を表している。

【0078】

続いてプロセッサ３２は、頭部５１を近似する球体Ｓの半径を特定する（図９のＳＴＥＰ５２２）。当該半径は、例えば当初の重心位置Ｇと補正後の重心位置Ｇ’の間のユークリッド距離に基づいて特定されうる。

【0079】

図１０の（Ｂ）は、運転者５の顔が車室４１における右方を向いている場合を例示している。図１０の（Ｃ）は、運転者５の顔が車室４１における下方を向いている場合を例示している。運転者５の顔がＴＯＦカメラ２に面していないこれらの例においては、頭部データサブセットＨＳＤに含まれる複数の点要素の分布が特定の方向へ偏る。このような複数の点要素が表面に分布していると仮定された球体Ｓの半径は、妥当な値を有しない傾向にある。

【0080】

そこでプロセッサ３２は、特定された球体Ｓの半径の値が所定の範囲内にあるかを判断する（ＳＴＥＰ５２３）。所定の範囲は、例えば５０ｍｍ～９０ｍｍとされうる。球体Ｓの半径が所定の範囲内にないと判断された場合、（ＳＴＥＰ５２３においてＮＯ）、プロセッサ３２は、運転者５の顔はＴＯＦカメラ２に面していないと判断する（ＳＴＥＰ５２４）。球体Ｓの半径が所定の範囲内にあると判断された場合（ＳＴＥＰ５２３においてＹＥＳ）、プロセッサ３２は、運転者５の顔はＴＯＦカメラ２に面していると判断する（ＳＴＥＰ５２５）。

【0081】

上記のような構成によれば、運転者５の頭部５１の三次元空間における位置に係る情報から頭部５１の中心の推定位置と当該位置を中心として頭部５１を近似する球体Ｓの半径が得られ、当該半径の値に基づいて運転者５の顔の向きが判断されうる。画像情報のみに依存する必要がないので、顔がカメラに面していない運転者５についても顔の向きを判別できる。

【0082】

図９に示されるように、球体Ｓの半径が所定の範囲内にあると判断された場合、（ＳＴＥＰ５２３においてＹＥＳ）、プロセッサ３２は、頭部５１の中心位置Ｃ（すなわち球体Ｓの中心）から頭部データサブセットＨＳＤに含まれる各点要素までの距離と球体Ｓの半径との差分の平均値を算出しうる。当該平均値は、代表値の一例である。当該平均値は、頭部５１の中心位置Ｃから頭部データサブセットＨＳＤに含まれる各点要素までの距離と球体Ｓの半径との差分の中間値や最頻値で置き換えられうる。

【0083】

図１０の（Ａ）に示されるように運転者５の顔がＴＯＦカメラ２に面している場合、球体Ｓは実際の頭部５１をよく近似できるので、中心位置Ｃから頭部データサブセットＨＳＤに含まれる複数の点要素の各々までの距離は、球体Ｓの半径に近づく傾向にある。他方、図１０の（Ｂ）や（Ｃ）に示されるように運転者５の顔がＴＯＦカメラ２に面していない場合、頭部データサブセットＨＳＤに含まれる複数の点要素の分布が特定の方向へ偏るので、中心位置Ｃから頭部データサブセットＨＳＤに含まれる複数の点要素の各々までの距離は、球体Ｓの半径から離れる傾向にある。

【0084】

そこでプロセッサ３２は、算出された差分の平均値が所定値未満であるかを判断する（図９のＳＴＥＰ５２６）。所定値は、例えば１０ｍｍとされうる。算出された差分の平均値が所定値未満であると判断された場合（ＳＴＥＰ５２６においてＹＥＳ）、プロセッサ３２は、運転者５の顔はＴＯＦカメラ２に面していると判断する（ＳＴＥＰ５２５）。算出された差分の平均値が所定値以上であると判断された場合（ＳＴＥＰ５２６においてＮＯ）、プロセッサ３２は、運転者５の顔はＴＯＦカメラ２に面していると判断する（ＳＴＥＰ５２４）。

【0085】

このような構成によれば、頭部５１を近似する球体Ｓの半径を利用した運転者５の顔の向きの判断をより精密に行なうことができる。

【0086】

ＳＴＥＰ５２３の判断処理に代えて、ＳＴＥＰ５２６の判断処理のみに基づいて運転者５の顔の向きが判断されてもよい。

【0087】

運転者５の顔がＴＯＦカメラに面していないと判断された場合（ＳＴＥＰ５２４）、プロセッサ３２は、運転者５の顔の向きを特定する処理をさらに行ないうる（ＳＴＥＰ５２７）。具体的には、運転者５の顔が車室４１における右方と下方のいずれを向いているのかが特定される。

【0088】

図１１の（Ａ）に示されるように、運転者５の顔が車室４１における右方を向いている場合、頭部データサブセットＨＳＤに含まれる複数の点要素の重心位置Ｇは、頭部５１の中心位置Ｃから見て比較的前方（＋Ｌ方向）に位置する傾向にある。他方、図１１の（Ｂ）に示されるように、運転者５の顔が車室４１における下方を向いている場合、頭部データサブセットＨＳＤに含まれる複数の点要素の重心位置Ｇは、頭部５１の中心位置Ｃから見て比較的左方（－Ｗ方向）に位置する傾向にある。

【0089】

そこでプロセッサ３２は、重心位置Ｇと中心位置Ｃの位置関係に基づいて、運転者５の顔が右方と下方のいずれを向いているかを判別する。具体的には、図１１の（Ｃ）に示されるように、中心位置Ｃから見たＷＬ座標平面内における特定の方向が、基準方向ＲＤとして設定される。プロセッサ３２は、中心位置Ｃから見て重心位置Ｇが基準方向ＲＤよりも右方に位置していれば、運転者５の顔が車室４１における右方を向いていると判断する。プロセッサ３２は、中心位置Ｃから見て重心位置Ｇが基準方向ＲＤよりも左方に位置していれば、運転者５の顔が車室４１における下方を向いていると判断する。

【0090】

このような構成によれば、運転者５の顔がＴＯＦカメラ２に面していない場合においても、具体的な顔の向きを判別できる。

【0091】

これまで説明した第一の処理例と第二の処理例においては、顔方向判別装置３の入力インターフェース３１は、運転者５の頭部５１の三次元空間における位置に係る情報を、画像データＩＤの一部としてＴＯＦカメラ２から受け付けている。このような構成によれば、運転者５の頭部５１に係る位置情報を、画像情報とともに効率的に取得できる。しかしながら、画像情報を出力する撮像装置と位置情報を出力する装置は、異なっていてもよい。後者の装置としては、ＬｉＤＡＲ（Light Detection and Ranging）センサなどが例示されうる。

【0092】

図１２は、プロセッサ３２により行なわれうる運転者５の顔の向きを判別する処理の第三の例を示している。

【0093】

プロセッサ３２は、まず入力インターフェース３１を通じて画像データＩＤを取得する（ＳＴＥＰ５３１）。

【0094】

続いてプロセッサ３２は、画像データＩＤにおいて撮像された運転者５の頭部５１が含まれる可能性がある検出領域ＤＡを設定する（ＳＴＥＰ５３２）。検出領域ＤＡの特定は、適宜の画像認識技術を用いて行なわれうる。図１３の（Ａ）は、画像データＩＤ中に特定された検出領域ＤＡの一例を示している。検出領域ＤＡは、第一検出領域の一例である。

【0095】

続いてプロセッサ３２は、識別器を用い、検出領域ＤＡに含まれる撮像された運転者５の顔がＴＯＦカメラ２に面しているか否かを判別する（ＳＴＥＰ５３３）。識別器は、画像の輝度に関する特徴量に基づいて撮像された運転者５の顔の向きを判別するために、少なくとも撮像された頭部を含む画像を教師データとして学習することによって構成されている。識別器は、プロセッサ３２により実行される処理アルゴリズムの呼称である。

【0096】

本実施形態においては、特徴量としてＨＯＧ（Histogram of Oriented Gradients）が検出される。ＨＯＧは、画像の局所的な輝度の勾配方向の分布を示す特徴量である。

【0097】

図１３の（Ｂ）は、検出領域ＤＡの具体的な構成を例示している。検出領域ＤＡの大きさは、ＴＯＦカメラ２によって取得される画像に含まれうる運転者５の頭部５１の大きさに基づいて定められている。例えば、画像において頭部５１がとりうる最大の大きさが４８×５６画素である場合、画像データＩＤ中に設定される検出領域ＤＡの大きさもまた、４８×５６画素とされうる。

【0098】

検出領域ＤＡ内には検出セルＤＣと検出ブロックＤＢが定義される。検出セルＤＣは、ＨＯＧを検出するために設定される領域の最小単位である。本実施形態においては、縦方向に延びる運転者５の顔のエッジを検出しやすくするために、検出セルＤＣは縦長の形状を有している。例えば、検出セルＤＣの大きさは４×８画素とされうる。検出ブロックＤＢは、３×３セルの大きさを有する領域である。

【0099】

ＨＯＧの検出は、検出ブロックＤＢに含まれる９つの検出セルＤＣの各々について行なわれる。すなわち、図１３の（Ｂ）に示される検出領域ＤＡの上左隅に位置している検出ブロックＤＢについて、９セル分のＨＯＧが検出される。検出ブロックＤＢに含まれる全ての検出セルＤＣについてＨＯＧが検出されると、検出領域ＤＡ内における検出ブロックＤＢの位置が変更される。具体的には、右方向へ４画素分（すなわち１セル分）だけ検出ブロックＤＢが移動する。移動後の位置における検出ブロックＤＢに含まれる全ての検出セルＤＣについて、同様にして９セル分のＨＯＧが検出される。

【0100】

このように検出ブロックＤＢが右方へ移動しながら、ＨＯＧの検出が繰り返される。検出ブロックＤＢが検出領域ＤＡの右端に到達すると、下方向へ８画素分（すなわち１セル分）だけ移動がなされ、検出領域ＤＡ内を左方へ移動しながら、ＨＯＧの検出が繰り返される。検出ブロックＤＢが検出領域ＤＡの左端に到達すると、さらに下方向へ８画素分の移動がなされ、再度検出領域ＤＡ内を右方へ移動しながら、ＨＯＧの検出が繰り返される。検出ブロックＤＢが検出領域ＤＡの下右隅に到達するまで上記の処理が繰り返される。

【0101】

検出ブロックＤＢを移動させながらのＨＯＧの検出が完了すると、識別器による識別がなされる。識別器は、ＴＯＦカメラ２に面した顔を含む画像とＴＯＦカメラ２に面していない顔を含む画像を教師データとした機械学習を通じて、運転者５の顔がＴＯＦカメラ２に面していない可能性に対応する尤度を判断するように構成されている。本実施形態においては、識別器は、ＲＢＦカーネル関数を用いたソフトマージンＳＶＭ（サポートベクターマシン）である。尤度は、ＳＶＭスコアとして算出される。

【0102】

具体的には、プロセッサ３２は、検出領域ＤＡについて得られたＨＯＧの分布を識別器に入力する。識別器は、検出領域ＤＡについてＳＶＭスコアを算出する。算出されたＳＶＭスコアが所定値未満である場合（図１２のＳＴＥＰ５３３においてＮＯ）、プロセッサ３２は、検出領域ＤＡ内の画像における運転者５の顔がＴＯＦカメラ２に面している可能性が高いと判断する（ＳＴＥＰ５３４）。検出領域ＤＡについて得られたこの判別結果は、第一判別結果の一例である。

【0103】

算出されたＳＶＭスコアが所定値以上である場合（図１２のＳＴＥＰ５３３においてＹＥＳ）、プロセッサ３２は、検出領域ＤＡ内の画像における運転者５の顔がＴＯＦカメラ２に面していないとの判断を検証する処理を行なう。

【0104】

具体的には、プロセッサ３２は、検出領域ＤＡと一部が重なる位置に比較領域ＣＡを設定する（ＳＴＥＰ５３５）。比較領域ＣＡは、検出領域ＤＡと同じ大きさを有している。比較領域ＣＡもまた、図１３の（Ｂ）に示される検出領域ＤＡと同じ構成を有している。比較領域ＣＡは、第二検出領域の一例である。

【0105】

例えば、図１４の（Ａ）に示されるように、検出領域ＤＡを上方へ８画素分オフセットさせた位置に対応するように比較領域ＣＡが設定される。このように設定された比較領域ＣＡに含まれる画像に対して、前述したＨＯＧの検出および識別器との照合に基づくＳＶＭスコアの算出が行なわれる。プロセッサ３２は、算出されたＳＶＭスコアに基づいて、比較領域ＣＡ内の画像における運転者５の顔がＴＯＦカメラに面していない可能性を判断する。比較領域ＣＡについて得られたこの判別結果は、第二判別結果の一例である。

【0106】

続いてプロセッサ３２は、図１４の（Ｂ）に示されるように、図１４の（Ａ）に示される比較領域ＣＡから右方へ８画素分オフセットさせた位置に比較領域ＣＡを設定する。プロセッサ３２は、上記と同様にして比較領域ＣＡ内の画像における運転者５の顔がＴＯＦカメラに面していない可能性を判断する。

【0107】

図１４の（Ｃ）は、図１４の（Ｂ）に示される比較領域ＣＡから下方へ８画素分オフセットさせた位置に設定された比較領域ＣＡを示している。図１４の（Ｄ）は、図１４の（Ｃ）に示される比較領域ＣＡから下方へ８画素分オフセットさせた位置に設定された比較領域ＣＡを示している。図１４の（Ｅ）は、図１４の（Ｄ）に示される比較領域ＣＡから左方へ８画素分オフセットさせた位置に設定された比較領域ＣＡを示している。図１４の（Ｆ）は、図１４の（Ｅ）に示される比較領域ＣＡから左方へ８画素分オフセットさせた位置に設定された比較領域ＣＡを示している。図１４の（Ｇ）は、図１４の（Ｆ）に示される比較領域ＣＡから上方へ８画素分オフセットさせた位置に設定された比較領域ＣＡを示している。図１４の（Ｈ）は、図１４の（Ｇ）に示される比較領域ＣＡから上方へ８画素分オフセットさせた位置に設定された比較領域ＣＡを示している。

【0108】

すなわち、プロセッサ３２は、検出領域ＤＡと一部が重なるように設定された計８個の比較領域ＣＡの各々について、比較領域ＣＡ内の画像における運転者５の顔がＴＯＦカメラに面していない可能性を判断する。

【0109】

続いてプロセッサ３２は、「運転者５の顔がＴＯＦカメラ２に面していない」と判断された比較領域ＣＡの数が所定値以上であるかを判断する（ＳＴＥＰ５３６）。所定値は、例えば１とされうる。換言すると、プロセッサ３２は、第一判別結果と一致している第二判別結果の数が所定値以上であるかを判断する。

【0110】

「運転者５の顔がＴＯＦカメラ２に面していない」と判断された比較領域ＣＡの数が所定値以上である場合（ＳＴＥＰ５３６においてＹＥＳ）、プロセッサ３２は、第一判別結果を有効にする。すなわち、運転者５の顔はＴＯＦカメラ２に面していないと判断される（ＳＴＥＰ５３７）。「運転者５の顔がＴＯＦカメラ２に面していない」と判断された比較領域ＣＡの数が所定値未満である場合（ＳＴＥＰ５３６においてＮＯ）、プロセッサ３２は、第一判別結果を無効にする。すなわち、運転者５の顔はＴＯＦカメラ２に面していると判断される（ＳＴＥＰ５３４）。

【0111】

上記の例においては、図１４の（Ａ）から（Ｈ）に示された８個の比較領域ＣＡについて第二判別結果が得られた後、第一判別結果と第二判別結果の一致数が判断されている。しかしながら、設定される比較領域ＣＡの数は適宜に変更されうる。また、設定された比較領域ＣＡについて第二判別結果が得られる度に上記の所定値との比較がなされ、第一判別結果と一致した第二判別結果の数が所定値に達した時点で比較領域ＣＡの設定を中止してもよい。この場合、直ちにＳＴＥＰ５３７への移行がなされる。

【0112】

上記のような構成によれば、撮像された頭部を含む画像を教師データとして学習した識別器を用いて撮像された運転者５の顔の向きが判別され、さらにその判別結果についての検証もなされるので、顔がカメラに面していない乗員についても顔の向きの判別精度を高めることができる。

【0113】

運転者５の顔がＴＯＦカメラに面していないと判断された場合（ＳＴＥＰ５３７）、プロセッサ３２は、図９と図１１を参照して説明した運転者５の顔の向きを特定する処理をさらに行ないうる（ＳＴＥＰ５３８）。すなわち、プロセッサ３２は、検出領域ＤＡに含まれる運転者５の頭部５１に対応する頭部データサブセットＨＳＤを画像データＩＤから抽出し、頭部５１の中心位置Ｃを推定する。続いてプロセッサ３２は、推定された中心位置Ｃと頭部データサブセットＨＳＤに含まれる複数の画素データセット（点要素）の重心位置Ｇとの位置関係に基づいて、運転者５の顔が車室４１における右方と下方のいずれを向いているのかが特定する。

【0114】

このような構成によれば、運転者５の顔がＴＯＦカメラ２に面していない場合においても、具体的な顔の向きを判別できる。

【0115】

これまで説明した第三の処理例において、顔方向判別装置３の入力インターフェース３１は、運転者５の頭部５１の三次元空間における位置に係る情報を、画像データＩＤの一部としてＴＯＦカメラ２から受け付けている。このような構成によれば、ＳＴＥＰ５３８のような処理を遂行するために、運転者５の頭部５１に係る位置情報を画像情報とともに効率的に取得できる。しかしながら、ＳＴＥＰ５３８のように運転者５の頭部５１に係る位置情報を必要とする処理を行なわないのであれば、ＴＯＦカメラ２に代えて画像データＩＤのみを出力する撮像装置が使用されうる。

【0116】

図１に示されるように、顔方向判別装置３は、出力インターフェース３３を備えている。出力インターフェース３３は、判別された運転者５の顔の向きを示すデータＦＤを出力しうる。出力されたデータＦＤは、後段の認識処理において利用される。当該認識処理においては、例えば、当該データが示す顔の向きの経時変化がモニタされることにより、運転者５の頭部５１の向き、傾き、動きなどが認識されうる。これにより、運転中における運転者５の脇見、居眠り、発作による異常挙動などが検知されうる。

【0117】

上述したプロセッサ３２の機能は、汎用マイクロプロセッサにより実現されうる。汎用マイクロプロセッサとしては、ＣＰＵ、ＭＰＵ、ＧＰＵが例示されうる。汎用メモリとしては、ＲＯＭやＲＡＭが例示されうる。この場合、ＲＯＭには、上述した処理を実行するコンピュータプログラムが記憶されうる。ＲＯＭは、コンピュータプログラムを記憶している記憶媒体の一例である。プロセッサ３２は、ＲＯＭ上に記憶されたプログラムの少なくとも一部を指定してＲＡＭ上に展開し、ＲＡＭと協働して上述した処理を実行する。プロセッサ３２は、上述した処理を実現するコンピュータプログラムを実行可能なマイクロコントローラ、ＡＳＩＣ、ＦＰＧＡなどの専用集積回路によって実現されてもよい。プロセッサ３２は、汎用マイクロプロセッサと専用集積回路の組合せによって実現されてもよい。

【0118】

図１に示されるように、顔方向判別装置３は、ネットワーク６を介して外部サーバ７と通信可能に構成されうる。この場合、上述した処理を実行するコンピュータプログラムは、外部サーバ７からネットワーク６を介してダウンロードされうる。外部サーバ７は、コンピュータプログラムを記憶している記憶媒体の一例である。

【0119】

上記の実施形態は、本発明の理解を容易にするための例示にすぎない。上記の実施形態に係る構成は、本発明の趣旨を逸脱しなければ、適宜に変更・改良されうる。

【0120】

上記の実施形態においては、画像の輝度に関する特徴量として、エッジの輝度勾配に基づいて物体の大まかな形状を表現可能なＨＯＧを用いて頭部の外形状を捉えている。しかしながら、画像の局所的な明暗差に対応するHaar-Likeや、画像の局所的な輝度の分布に対応するＬＢＰ（Local Binary Pattern）を上記の特徴量として用いてもよい。

【0121】

上記の実施形態においては、汎化性能が比較的高いＳＶＭを識別器として使用している。しかしながら、ランダムフォレストやパーセプトロンを識別器として使用してもよい。

【0122】

上記の実施形態においては、「ＴＯＦカメラ２に面していない顔の向き」は、車室４１における右方と下方である。しかしながら、「ＴＯＦカメラ２に面していない顔の向き」は、ＴＯＦカメラ２と運転席の位置関係に応じて変わりうる。例えば、車室４１の左側に運転席が配置されている車両の場合、ＴＯＦカメラ２は、右上方から運転者５の画像を取得する。この場合、「ＴＯＦカメラ２に面していない顔の向き」は、車室４１における左方と下方である。

【0123】

上記の実施形態においては、車室４１内における撮像された運転者５の顔の向きが判別に供されている。しかしながら、ＴＯＦカメラ２を適宜に配置することにより、撮像された他の乗員の顔の向きが判別に供されてもよい。

【符号の説明】

【0124】

２：ＴＯＦカメラ、３：顔方向判別装置、３１：入力インターフェース、３２：プロセッサ、４１：車室、５：運転者、５１：頭部、７：外部サーバ、ＩＤ：画像データ、ＰＤ：画素データセット、ＨＳＤ：頭部データサブセット、Ｃ：頭部の中心位置、Ｇ：複数の点要素の重心位置、Ｓ：球体、ＤＡ：検出領域、ＣＡ：比較領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】