(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023103452
(43)【公開日】2023-07-26
(54)【発明の名称】認識装置、認識方法及び認識プログラム
(51)【国際特許分類】
G06T 7/70 20170101AFI20230719BHJP
G06T 7/00 20170101ALI20230719BHJP
【ＦＩ】
G06T7/70 B
G06T7/00 660A
【審査請求】有
【請求項の数】1
【出願形態】ＯＬ
(21)【出願番号】P 2023083675
(22)【出願日】2023-05-22
(62)【分割の表示】P 2021156579の分割
【原出願日】2015-03-30
(71)【出願人】
【識別番号】000005016
【氏名又は名称】パイオニア株式会社
(74)【代理人】
【識別番号】110000958
【氏名又は名称】弁理士法人インテクト国際特許事務所
(74)【代理人】
【識別番号】100120189
【弁理士】
【氏名又は名称】奥 和幸
(72)【発明者】
【氏名】野口 良司
(57)【要約】 （修正有）
【課題】被覆部材により被覆された対象の向きを正確に認識することのできる認識装置を提供することを課題とする。
【解決手段】顔向き認識装置による顔向き判定処理は、被覆部材（マスク）により被覆された対象（顔）を照射手段により光を照射した状態で撮影した画像を取得することと、取得した画像に含まれる画素の輝度値に基づいて顔中心線を検出し、顔中心線に基づいて対象の向きを認識することと、を含む。
【効果】対象が被覆部材により被覆されている場合であっても対象の向きを正確に認識することができる。
【選択図】図９
【解決手段】顔向き認識装置による顔向き判定処理は、被覆部材（マスク）により被覆された対象（顔）を照射手段により光を照射した状態で撮影した画像を取得することと、取得した画像に含まれる画素の輝度値に基づいて顔中心線を検出し、顔中心線に基づいて対象の向きを認識することと、を含む。
【効果】対象が被覆部材により被覆されている場合であっても対象の向きを正確に認識することができる。
【選択図】図９
【特許請求の範囲】
【請求項1】
被覆部材により被覆された対象を照射手段により光を照射した状態で撮影した画像を取得する取得手段と、
前記画像に含まれる画素の輝度値に基づいて、前記対象の表面における正面縦方向の中心線を検出する検出手段と、
前記検出手段の検出結果に基づいて、前記対象の向きを認識する認識手段と、
を備える認識装置。
前記画像に含まれる画素の輝度値に基づいて、前記対象の表面における正面縦方向の中心線を検出する検出手段と、
前記検出手段の検出結果に基づいて、前記対象の向きを認識する認識手段と、
を備える認識装置。
【発明の詳細な説明】
【技術分野】
【0001】
本願は、対象を撮影した画像に基づいて当該対象の向いている方向を認識する認識装置等の技術分野に関する。
【背景技術】
【0002】
従来、人物の顔を撮影した画像から人物の顔の向きを認識する技術がある。一般的に顔の向きは顔の各部位の特徴を用いて認識するため、顔の一部がマスクなどの被覆材により被覆されていると認識精度が低下してしまう。
【0003】
そこで、特許文献１に記載された技術は、マスクが存在する場合に、顔領域の顔幅に対するマスク中央部の鼻の相対位置から顔の左右向き角度を算出している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許５３５９２６６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献１に記載の技術では、マスク中央部を鼻の位置としているが、マスク中央部は必ずしも実際の鼻の位置ではない場合があり、正確に顔の左右向き角度を算出できない場合がある。
【0006】
本願発明は、こうした事情に鑑み、被覆部材により被覆された対象の向きを正確に認識することのできる認識装置等を提供することを課題とする。
【課題を解決するための手段】
【0007】
請求項１に記載の発明は、被覆部材により被覆された対象を照射手段により光を照射した状態で撮影した画像を取得する取得手段と、前記画像に含まれる画素の輝度値に基づいて、前記対象の表面における正面縦方向の中心線を検出する検出手段と、前記検出手段の検出結果に基づいて、前記対象の向きを認識する認識手段と、を備える。
【0008】
請求項６に記載の発明は、認識装置による認識方法であって、被覆部材により被覆された対象を照射手段により光を照射した状態で撮影した画像を取得する取得工程と、前記画像に含まれる画素の輝度値に基づいて、前記対象の表面における正面縦方向の中心線を検出する検出工程と、前記検出工程の検出結果に基づいて、前記対象の向きを認識する認識工程と、を含む。
【0009】
請求項７に記載の発明は、コンピュータを、被覆部材により被覆された対象を照射手段により光を照射した状態で撮影した画像を取得する取得手段、前記画像に含まれる画素の輝度値に基づいて、前記対象の表面における正面縦方向の中心線を検出する検出手段、前記検出手段の検出結果に基づいて、前記対象の向きを認識する認識手段、として機能させる。
【図面の簡単な説明】
【0010】
【図1】認識装置１のブロック図である。
【図2】色分け画像の一例である。
【図3】色分け画像の一例である。
【図4】顔向き認識装置Ｄのブロック図の一例である。
【図5】顔向き認識装置Ｄの機能ブロック図の一例である。
【図6】（Ａ）、（Ｂ）、（Ｃ）は、顔やマスクの特徴検出方法の一例を説明するための図である。
【図7】様々な顔の向きで撮影した色分け画像の一例である。
【図8】（Ａ）、（Ｂ）は、特殊な形状のマスクの一例を示す図である。
【図9】顔向き認識装置Ｄによる顔向き判定処理の一例を示すフローチャートである。
【図10】顔向き認識装置Ｄによるマスク着用判定処理の一例を示すフローチャートである。
【図11】顔向き認識装置Ｄによるヨー角判定処理の一例を示すフローチャートである。
【図12】顔向き認識装置Ｄによるピッチ角判定処理の一例を示すフローチャートである。
【図13】（Ａ）、（Ｂ）は、マスク左右端の特徴と顔中心線（マスク上端付近）の特徴の一例を示す図である。
【図14】（Ａ）、（Ｂ）は、マスク左右端の特徴と顔中心線（マスクにかかる部分）の特徴の一例を示す図である。
【図15】カメラＣと照射部Ｌを対象からみて異なる方向に配置した状態で撮影した画像の一例を示す図である。
【発明を実施するための形態】
【0011】
本願発明を実施するための形態について、図１を用いて説明する。
【0012】
図１に示すように、認識装置１は取得手段１１１Ａと、検出手段１１１Ｂと、認識手段１１１Ｃと、記憶制御手段１１１Ｄと、記憶手段１１１Ｅと、を備えている。なお、記憶手段は、認識装置１の外部に設けてもよい。
【0013】
取得手段１１１Ａは、被覆部材により被覆された対象を照射手段により光を照射した状態で撮影した画像を取得する。被覆部材により被覆された対象とは、例えば、マスクを装着した顔である。照射手段は、一定の方向から対象に光を照射するのが好ましい。
【0014】
検出手段１１１Ｂは、取得手段１１１Ａが取得した画像に含まれる画素の輝度値に基づいて、対象の表面における正面縦方向の中心線を検出する。対象の表面における正面縦方向の中心線とは、対象が顔（一般的な顔）である場合には、目の間と、鼻の中心と、口の中心であって顔表面を通る線である。
【0015】
ここで、図２を用いて中心線について説明する。図２は、マスク（「被覆材」の一例）をした顔を、カメラ方向から光を照射した状態で撮影した画像（モデルのプライバシー保護のため、目の部分を黒で塗りつぶす加工を施している。以下、モデルを撮影した画像について同様である）を輝度値に基づいて色分けした色分け画像２００である。具体的には、輝度値１００未満の部分を符号２０１で指し示す色で表し、輝度値１００以上１６０未満の部分を符号２０２で指し示す色で表し、輝度値１６０以上２２０未満の部分を符号２０３で指し示す色で表し、輝度値２２０以上の部分を符号２０４で指し示す色で表している。光を照射した場合、肌に比べて、マスク領域の輝度値が大きくなる。図２に示すように、マスク領域は、大きな輝度値（輝度値２２０以上）となる。マスクを装着した顔は顔中心に対して、左右対称で、顔中心はその他の顔部位に対して、やや突出する傾向にあるので、光をカメラ正面方向から照射した画像に基づき、検出手段１１１Ｂはマスクの左端２１１と、顔（マスク）中心線２１２（「中心線」の一例）を検出することができる。すなわち、検出手段１１１Ｂは、輝度値２２０以上の領域のマスク左端側（画像では右側）のエッジを、マスクの左端２１１として検出し、輝度値２２０以上の領域の顔中心側（マスク左端側と反対側）のエッジを、顔中心線２１２として検出する。但し、横方向の向き（ヨー角）がカメラ正面に対して一定の角度（５０度程度）を超えると、輝度値２２０以上の領域の顔中心側（マスク左端側と反対側）のエッジが顔中心線２１２と一致しなくなるので、この場合には、輝度値１６０以上２２０未満の領域の顔中心側のエッジを顔中心線２１２Ｂとして検出するのが好ましい。
【0016】
認識手段１１１Ｃは、検出手段１１１Ｂの検出結果に基づいて、対象の向きを認識する。
【0017】
以上説明した通り、実施形態に係る認識装置１の動作によれば、画像に含まれる画素の輝度値に基づく対象の表面における正面縦方向の中心線の検出結果に基づいて対象の向きを認識することから、対象が被覆部材により被覆されている場合であっても対象の向きを正確に認識することができる。
【0018】
また、認識手段１１１Ｃは、顔中心線２１２の傾きに基づいて、対象の縦方向の向き（ピッチ角）を認識する場合がある。顔の縦方向の向きと顔中心線２１２の傾きには相関関係があることが発明者の調査の結果分かっていることから、顔の縦方向の向き（ピッチ角）毎（例えば、１０度毎）に傾きに関する閾値を設けて、顔中心線２１２の傾きを閾値と比較することにより、顔の縦方向の角度を判定することができる。これにより、対象の縦方向の向きを認識することができる。
【0019】
更に、検出手段１１１Ｂは、認識手段１１１Ｃが対象の縦方向の向きを認識した際の、対象における被覆部材の上側の境界である上境界２１３を更に検出し、記憶制御手段１１１Ｄは、検出手段１１１Ｂが検出した上境界２１３の傾きを、認識手段１１１Ｂが認識した対象の縦方向の向きと対応付けて記憶手段１１１Ｅに記憶させ、認識手段１１１Ｃは、縦方向の向きを認識していない対象の画像が新たに取得された際に、当該画像について検出された被覆部材の上境界２１３の傾きと略同一の傾きが対応付けられている縦方向の向きを、当該画像に写る対象の縦方向の向きとして認識する場合がある。被覆部材の上境界２１３の傾きが略同一である場合には対象の縦方向の向きも略同一であることが、発明者の調査の結果、分かっていることから、このような判定が可能となる。これにより、一度、対象の縦方向の向きを認識しておけば、それ以降の画像については、上境界２１３を検出して、記憶手段に記憶された上境界２１３と比較することにより、縦方向の向きを認識することができる。すなわち、縦方向の向きを認識するための処理負担が軽減される。
【0020】
更にまた、認識手段１１１Ｃは、対象の横幅における、上境界線２１３と顔中心線２１２との交点の位置に基づいて、対象の横方向の向き（ヨー角）を認識する場合がある。
【0021】
ここで、図３を用いて対象の横方向の向きを認識する場合の一例について説明する。認識手段１１１Ｃは、３本の垂線２２１－２２３に基づいて、対象の横方向の向きを認識する。垂線２２１は左耳端の点を通る垂線である。垂線２２２は顔中心線２１２と上境界２１３の交点を通る垂線である。垂線２２３は顔中心線２１２と上境界２１３の交点から顔奥側へ水平方向に移動し、顔右端に到達した点を通る垂線である。認識手段１１１Ｃは、垂線２２１と垂線２２２の幅ＷＡ（手前側顔幅ＷＡ）、垂線２２２と垂線２２３の幅ＷＢ（奥側顔幅ＷＢ）、垂線２２１と垂線２２３の幅ＷＣの何れか２つ幅に基づいて、対象の横方向の向きを認識する。顔の横方向の向きと、手前側顔幅ＷＡと奥側顔幅ＷＢの比には相関関係があることが発明者の調査の結果、分かっていることから、顔の横方向の向き（角度）毎（例えば、１０度毎）に手前側顔幅ＷＡと奥側顔幅ＷＢの比に関する閾値を設けて、手前側顔幅ＷＡと奥側顔幅ＷＢの比を閾値と比較することにより、顔の横方向の角度を判定することができる。これにより、対象の横方向の向きを認識することができる。
【0022】
更にまた、検出手段１１１Ｂは、被覆部材の左側及び右側の少なくとも一方の境界である左右境界を更に検出し、認識手段１１１Ｃは、検出手段１１１Ｂが左右境界を検出した場合に、検出手段１１１Ｂが検出した左右境界と中心線とに基づいて、対象の横方向の向きを認識する。なお、左右境界は、例えば、マスクの左端２１１のエッジ（図２参照）で示される左境界、及び、マスクの右端のエッジで示される右境界の少なくとも一方の境界を意味する。すなわち、左右境界は左境界と右境界の総称ともいうことができる。認識手段１１１Ｃは、対象が右側を向いていることをマスクの左端２１１のエッジ（左境界）が検出されたことに基づいて認識し、対象が左側を向いていることをマスクの右端のエッジ（右境界）が検出されたことに基づいて認識する。
【実施例0023】
次に、上述した実施形態に対応する具体的な実施例について説明する。
【0024】
【0025】
本実施例の認識装置Ｄは、ＬＥＤ等の光源である照射部ＬやカメラＣと接続されている。認識装置Ｄは、マスクＭにより被覆された顔Ｆを照射部Ｌにより光を照射した状態で撮影した画像に基づいて、顔Ｆの向きを認識する。
【0026】
具体的には、認識装置Ｄは、撮影された画像を信号処理することで、顔（または顔特徴）を検出し、マスクの着用判定を行う。マスクを着用していると判定した場合、マスクの特徴（マスク陰影領域、マスクエッジ、マスクエッジ勾配、マスク紐エッジ勾配等）や顔の特徴（顔中心線、顔幅、顔輪郭等）を検出し、これらの抽出された特徴から、顔の向きを認識する。
【0027】
より具体的には、まず、画像内に顔が写っているかを判定し、マスク着用判定を行う位置（口領域）を決定する。例えば、従来公知の顔検出処理で検出される顔枠において、おおよその口の位置を決定する。なお、顔の各部分の特徴を検出して、マスク着用判定を行う位置を決定してもよい。例えば、目の位置を検出して、その下部にある領域をおおよその口の位置と決定して、マスク着用判定を行ってもよい。次に、マスクを着用しているかを判定する。一般的に、マスクＭをした顔Ｆに光を照射して撮像すると、マスク着用領域では高い輝度値が得られるので、口周辺の領域部の輝度値が高いことからマスクを着用しているかを判定する。なお、マスクの外形情報等からマスクを着用しているかを判定してもよい。マスクが着用されていると判定した場合には、マスクの特徴や顔の特徴を検出し、これらの抽出された特徴から、顔の向きを認識する。また、画像から、顔の特徴やマスクの特徴を検出した際の特徴検出結果から、照射光の強度を調整したり、カメラパラメータを調整したりして、マスクや顔の陰影や輝度勾配等をより顕著に検出する。なお、本実施例では、カメラＣと照射部Ｌが略同じ方向から対象に向いている場合について説明する。カメラＣと照射部Ｌが異なる方向から対象に向いている場合については、後述の変形例で説明する。
【0028】
［１．認識装置Ｄの構成］
次に図４を用いて本実施例に係る認識装置Ｄの構成について説明する。図４に示すように、認識装置Ｄは、大別して、制御部３１１、記憶部３１２、通信部３１３、表示部３１４及び操作部３１５を含んで構成されている。通信部３１３は、カメラＣや照射部Ｌと接続されている。
次に図４を用いて本実施例に係る認識装置Ｄの構成について説明する。図４に示すように、認識装置Ｄは、大別して、制御部３１１、記憶部３１２、通信部３１３、表示部３１４及び操作部３１５を含んで構成されている。通信部３１３は、カメラＣや照射部Ｌと接続されている。
【0029】
記憶部３１２は、例えばハードディスクドライブ等により構成されており、ＯＳ（Operating System）、顔の向きを認識するための顔向き認識プログラムを含む各種プログラムを記憶する。また、記憶部３１２は、カメラにより撮影された画像や顔向き認識プログラムに使用される各種データを記憶する。
【0030】
通信部３１３は、照射部ＬやカメラＣとの通信状態を制御する。
【0031】
表示部３１４は、例えば、液晶ディスプレイ等により構成されており、カメラＣにより撮影された画像等を表示するようになっている。
【0032】
操作部３１５は、例えば、キーボード、マウス等により構成されており、オペレータからの操作指示を受け付け、その指示内容を指示信号として制御部３１１に出力するようになっている。
【0033】
制御部３１１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）
、ＲＡＭ（Random Access Memory）等により構成されている。そして、ＣＰＵが、ＲＯＭや記憶部３１２に記憶された顔向き認識プログラムを含む各種プログラムを読み出し実行することにより各種機能を実現する。
、ＲＡＭ（Random Access Memory）等により構成されている。そして、ＣＰＵが、ＲＯＭや記憶部３１２に記憶された顔向き認識プログラムを含む各種プログラムを読み出し実行することにより各種機能を実現する。
【0034】
［２．認識装置Ｄの機能］
次に図５を用いて本実施例に係る認識装置Ｄ（制御部３１１）の機能について説明する。図５は認識装置Ｄの機能ブロック図を示す図である。認識装置Ｄは、画像解析部３５１、照射光調整部３５７、カメラ調整部３５８を含んで構成されている。画像解析部３５１、照射光調整部３５７、カメラ調整部３５８の機能は、制御部３１１が顔向き認識プログラムを実行することにより実現される。
次に図５を用いて本実施例に係る認識装置Ｄ（制御部３１１）の機能について説明する。図５は認識装置Ｄの機能ブロック図を示す図である。認識装置Ｄは、画像解析部３５１、照射光調整部３５７、カメラ調整部３５８を含んで構成されている。画像解析部３５１、照射光調整部３５７、カメラ調整部３５８の機能は、制御部３１１が顔向き認識プログラムを実行することにより実現される。
【0035】
画像解析部３５１は、口領域検出部３５２、マスク着用判定部３５３、マスク特徴検出部３５４、顔特徴検出部３５５、顔向き方向認識部３５６を含んで構成されている。
【0036】
口領域検出部３５２は、例えば、マスクＭにより被覆された顔Ｆを、照射部Ｌが光を照射した状態でカメラＣが撮影した画像に対して、顔検出処理、目検出処理、鼻検出処理、口検出処理を行う。顔検出処理で顔の領域が決定できた場合、顔検出枠の下方領域に口の領域があると判定できる。目検出処理で、目の領域が決定できた場合、目の下部に口の領域があると判定できる。鼻検出処理で、鼻の領域が決定できた場合も、鼻の下部に口の領域があると判定できる。口検出処理で、口の領域が検出できた場合は、その領域が口の領域であると判定する。
【0037】
マスク着用判定部３５３は、口領域検出部３５２が検出した口領域についてマスクＭが着用されているかを判定する。具体的には輝度値に基づいて判定する。例えば、図６（Ａ）に示すように、右目領域４０１の平均輝度値と口領域４０２の平均輝度値を算出する。一般的に、顔に向けて光を照射した場合、肌の輝度値に比べて、マスクの輝度値は大きくなる。例えば、右目領域４０１の平均輝度値と口領域４０２の平均輝度値を比較して、略同じ値であればマスク未着用と判定し、口領域４０２の平均輝度値の方が大きければ（閾値を超えるような大きさ）であれば、マスク着用と判定することができる。
【0038】
マスク特徴検出部３５４は、マスク領域の輝度値に基づいてマスク領域の特徴を検出する。顔特徴検出部３５５は、顔領域の輝度値に基づいて顔領域の特徴を検出する。具体的には、マスク特徴検出部３５４及び顔特徴検出部３５５（まとめて、「特徴検出部」という場合がある）は、図２に示したように、顔を撮影した画像における輝度値を３つの閾値によって４つに切り分けた色分け画像により特徴を検出する。具体的には、（１）マスク領域、（２）肌（明）領域、（３）肌（暗）領域、（４）背景領域に切り分ける。
【0039】
ここで、色分け画像の作成例について説明する。まず、特徴検出部は、（１）マスク領域と（２）肌（明）領域の境界を示す第１閾値を、肌領域（例えば、左目領域４０１）の最大値Ｊａ（画素値には、スパイクノイズ等も含まれうることを考慮して、ここでは、例えば５番目に大きな値を最大値として取り扱う）と、マスクが着用された際の口領域４０２の平均輝度値Ｊｂに基づいて決定する。例えば、Ｊａが「２１９」で、Ｊｂが「２４６」である場合には、Ｊａにマージンを加えた値を第１閾値とする。例えば、Ｊａに「１」を加えた「２２０」を第１閾値とする（切りのよい値とするために「１」を加えたがその他の値でもよい。以下、第２閾値、第３閾値についても同様）。第１閾値より輝度値が大きい画素で構成される領域をマスク領域として検出することができる。
【0040】
次に、特徴検出部は、（２）肌（明）領域と（３）肌（暗）領域の境界を示す第２閾値を、肌領域（例えば、図６（Ｂ）に示す左目下半分領域４０３）の平均値Ｊｃ（眉や黒目部分は輝度値が小さいので左目下半分領域４０３としたが、他の部分の平均値でもよい）に基づいて決定する。例えば、Ｊｃが「１５７」である場合には、Ｊｃからマージンを差し引いた値を第２閾値とする。例えば、Ｊｃから「７」を引いた「１５０」を第２閾値とする。
【0041】
次に、特徴検出部は、（３）肌（暗）領域と（４）背景領域の境界を示す第３閾値を、肌領域（例えば、図６（Ｃ）に示す左目左半分領域４０４）の最小値Ｊｄ（画素値には、スパイクノイズ等も含まれうることを考慮して、ここでは、例えば５番目に小さな値を最小値として取り扱う。ここでは、左目左半分領域４０４としたが、他の肌部分の最小値でもよい）に基づいて決定する。例えば、Ｊｄが「７８」である場合には、Ｊｄからマージンを差し引いた値を第３閾値とする。例えば、Ｊｄから「８」を引いた「７０」を第３閾値とする。
【0042】
特徴検出部は、画像を構成する各画素を、当該画素の輝度値と第１閾値、第２閾値及び第３閾値に基づいて、（１）マスク領域、（２）肌（明）領域、（３）肌（暗）領域、（４）背景領域に切り分け、４色で表すことにより色分け画像を作成する。そして、色分け画像に基づいて、マスク領域の特徴、顔領域の特徴を検出する。
【0043】
図７は、顔の縦方向の向き（ピッチ角）と、顔の横方向の向き（ヨー角）と、を１０度ずつ変化させて撮影した画像の一例であり、図２の例と同様に、輝度値１００未満の部分、輝度値１００以上１６０未満の部分、輝度値１６０以上２２０未満の部分、輝度値２２０以上の部分に分けてそれぞれ異なる色（図２の場合と同様）で表している。光を照射した場合、肌に比べて、マスク領域の輝度値が大きくなる。マスク領域は、大きな輝度値（輝度値２２０以上）となる。顔向き方向認識部３５６は、顔が左右方向（ヨー角：２０度～５０度）に向いているときは、マスク左右端と肌との境界である左右境界が明瞭に検出でき、顔が左右方向どちらの方向に向いているかを判定することができる。一方、カメラ正面（ヨー角：０度）を向いているときは、マスク左右端と肌との境界（左右境界）が検出できないので、このことにより、正面を向いていると判定することができる。左右方向の顔向き角度を推定するためには、顔の中心と顔の端（輪郭や耳等）、その他、マスク左右端が検出できれば、おおよその顔向き角度を算出することができる。以下、顔向き方向認識部３５６が顔の縦方向の向き（ピッチ角）と、顔の横方向の向き（ヨー角）を認識する手法について詳細に説明する。
【0044】
（ピッチ角：０度の場合）
顔向きがカメラ正面（ヨー角：０度、ピッチ角：０度）のときは、口領域の輝度値が大きくなる（肌の領域と比較して）が、マスクの左右端には顕著なマスクエッジ等は検出されない。顔向き左１０度（ヨー角：１０度、ピッチ角：０度）のときは、口領域の輝度値が大きくなり、また、カメラに対して、顔を左方向に傾けたことにより、マスクの左端に顕著なマスクエッジが検出できるようになる。これは、カメラ正面方向から光を照射しているためである。顔向き左２０度（ヨー角：２０度）のときは、１０度のときと比較すると、より顔を傾けたため、マスクのカメラに向けている側の領域の輝度値が顕著になる。マスクの左端も顕著に検出できる。また、マスク装着した顔は顔中心に対して、左右対称で、顔中心はその他の顔部位に対して、やや突出する傾向にあるので、光をカメラ正面方向から照射すると、マスクの左端に加えて、顔の中心線が明瞭に検出できるようになる。顔向き左３０度、左４０度、左５０度のときも、同様に、マスク左端と顔中心線が顕著に検出することが可能である。また、顔近辺に物体が無い場合、光を照射しても、背景の輝度値は大きくはならないので、カメラに対して手前の顔幅ＷＡ、カメラに対して奥側の顔幅ＷＢを検出することが可能である。顔向きを左方向に１０度ずつ傾けた場合、以上で述べたマスク左端のエッジ、顔の中心線、カメラに対して手前の顔幅ＷＡ、カメラに対して奥側の顔幅ＷＢ等を検出することによって、顔向きが左に何度方向であるかを判定することができる。顔向きが右方向のときは、顔向き左方向のときと左右が対称となるだけであるので、詳細な説明は割愛する。
顔向きがカメラ正面（ヨー角：０度、ピッチ角：０度）のときは、口領域の輝度値が大きくなる（肌の領域と比較して）が、マスクの左右端には顕著なマスクエッジ等は検出されない。顔向き左１０度（ヨー角：１０度、ピッチ角：０度）のときは、口領域の輝度値が大きくなり、また、カメラに対して、顔を左方向に傾けたことにより、マスクの左端に顕著なマスクエッジが検出できるようになる。これは、カメラ正面方向から光を照射しているためである。顔向き左２０度（ヨー角：２０度）のときは、１０度のときと比較すると、より顔を傾けたため、マスクのカメラに向けている側の領域の輝度値が顕著になる。マスクの左端も顕著に検出できる。また、マスク装着した顔は顔中心に対して、左右対称で、顔中心はその他の顔部位に対して、やや突出する傾向にあるので、光をカメラ正面方向から照射すると、マスクの左端に加えて、顔の中心線が明瞭に検出できるようになる。顔向き左３０度、左４０度、左５０度のときも、同様に、マスク左端と顔中心線が顕著に検出することが可能である。また、顔近辺に物体が無い場合、光を照射しても、背景の輝度値は大きくはならないので、カメラに対して手前の顔幅ＷＡ、カメラに対して奥側の顔幅ＷＢを検出することが可能である。顔向きを左方向に１０度ずつ傾けた場合、以上で述べたマスク左端のエッジ、顔の中心線、カメラに対して手前の顔幅ＷＡ、カメラに対して奥側の顔幅ＷＢ等を検出することによって、顔向きが左に何度方向であるかを判定することができる。顔向きが右方向のときは、顔向き左方向のときと左右が対称となるだけであるので、詳細な説明は割愛する。
【0045】
（ピッチ角：上１０度の場合）
顔向きが上１０度（ヨー角：０度、ピッチ角：上１０度）のときでは、口領域の輝度値が肌の領域と比較して大きくなるが、マスクの左右端には顕著なマスクエッジ等は検出されない。マスク上側のエッジがカメラ正面向き（ヨー角：０度、ピッチ角：０度）と比較して、勾配が急になっているが、マスク上側のエッジ勾配は、マスク着用時毎の変形等により変化するので、これだけでは、顔が上向きと判定することはできないが、マスク着用時のマスク上側エッジの基準エッジ勾配が分かれば、上下方向の顔向き角度も判定することは可能である。顔向き左１０度（ヨー角：１０度）のときは、ピッチ角：０度のときと同様に、口領域の輝度値が大きくなり、また、カメラに対して、顔を左方向に傾けたことにより、マスクの左端に顕著なエッジが検出できるようになる。さらに、左方向に顔を傾けたときも、ピッチ角：０度のときと同様に、マスク左端のエッジ、顔の中心線、カメラに対して手前の顔幅ＷＡ、カメラに対して奥側の顔幅ＷＢ等を検出して、顔が左向きに何度傾いているかを判定することができる。
顔向きが上１０度（ヨー角：０度、ピッチ角：上１０度）のときでは、口領域の輝度値が肌の領域と比較して大きくなるが、マスクの左右端には顕著なマスクエッジ等は検出されない。マスク上側のエッジがカメラ正面向き（ヨー角：０度、ピッチ角：０度）と比較して、勾配が急になっているが、マスク上側のエッジ勾配は、マスク着用時毎の変形等により変化するので、これだけでは、顔が上向きと判定することはできないが、マスク着用時のマスク上側エッジの基準エッジ勾配が分かれば、上下方向の顔向き角度も判定することは可能である。顔向き左１０度（ヨー角：１０度）のときは、ピッチ角：０度のときと同様に、口領域の輝度値が大きくなり、また、カメラに対して、顔を左方向に傾けたことにより、マスクの左端に顕著なエッジが検出できるようになる。さらに、左方向に顔を傾けたときも、ピッチ角：０度のときと同様に、マスク左端のエッジ、顔の中心線、カメラに対して手前の顔幅ＷＡ、カメラに対して奥側の顔幅ＷＢ等を検出して、顔が左向きに何度傾いているかを判定することができる。
【0046】
顔の上向き角度（ピッチ角）の判定は、顔向き左３０度、左４０度、左５０度等のときの顔中心線の傾きで判定できる。顔の上向き角度（ピッチ角）が０度のときと１０度のときで、顔向き左３０度、左４０度、左５０度のときの顔中心線の傾きを比較すると、顔の上向き角度（ピッチ角）が０度のときよりも、顔の上向き角度（ピッチ角）が１０度のときの方が明らかに、顔が上を向いていると判定することができる。この顔の上向き角度（ピッチ角）が１０度のときのマスク上側エッジの勾配を基準として記録しておけば、マスクが変形しない限り、後に撮影された画像におけるマスク上側エッジの勾配と比較して同じ角度（一定の幅をもたせ、略同一の角度とするのが好ましい）であれば、顔の上向き角度（ピッチ角）が１０度であると判定することができる。顔向き方向が上１０度右方向のときは、顔向き上１０度左方向のときと左右が対称となるだけなので、詳細な説明は割愛する。
【0047】
（ピッチ角：上２０度の場合）
顔向きが上２０度（ヨー角：０度、ピッチ角：上２０度）のときでは、口領域の輝度値が肌の領域と比較して大きくなるが、マスクの左右端には顕著なマスクエッジ等は検出されない。マスク上側のエッジがカメラ正面向き（ヨー角：０度、ピッチ角：０度）と比較して、勾配が急になっているが、マスク上側のエッジ勾配は、マスク着用時毎の変形等により変化するので、これだけでは上向きと判定できないが、マスク着用時のマスク上側エッジの基準エッジ勾配が分かれば、上下方向の顔向き角度も判定することができる。顔向き左１０度（ヨー角：１０度、ピッチ角：上２０度）のときは、ピッチ角：０度のときと同様に、口領域の輝度値が大きくなり、また、カメラに対して、顔を左方向に傾けたことにより、マスクの左端に顕著なエッジが検出できるようになる。さらに、左方向に顔を傾けたときは、ピッチ角：０度のときと同様に、マスク左端のエッジ、顔の中心線、カメラに対して手前の顔幅ＷＡ、カメラに対して奥側の顔幅ＷＢ等を検出して、顔が左向きに何度傾いているかを判定することができる。
顔向きが上２０度（ヨー角：０度、ピッチ角：上２０度）のときでは、口領域の輝度値が肌の領域と比較して大きくなるが、マスクの左右端には顕著なマスクエッジ等は検出されない。マスク上側のエッジがカメラ正面向き（ヨー角：０度、ピッチ角：０度）と比較して、勾配が急になっているが、マスク上側のエッジ勾配は、マスク着用時毎の変形等により変化するので、これだけでは上向きと判定できないが、マスク着用時のマスク上側エッジの基準エッジ勾配が分かれば、上下方向の顔向き角度も判定することができる。顔向き左１０度（ヨー角：１０度、ピッチ角：上２０度）のときは、ピッチ角：０度のときと同様に、口領域の輝度値が大きくなり、また、カメラに対して、顔を左方向に傾けたことにより、マスクの左端に顕著なエッジが検出できるようになる。さらに、左方向に顔を傾けたときは、ピッチ角：０度のときと同様に、マスク左端のエッジ、顔の中心線、カメラに対して手前の顔幅ＷＡ、カメラに対して奥側の顔幅ＷＢ等を検出して、顔が左向きに何度傾いているかを判定することができる。
【0048】
顔の上向き角度（ピッチ角）の判定は、顔向き上１０度のときと同様に、顔向き左３０度、左４０度、左５０度のときの顔中心線の傾きで判定できる。顔向き上１０度のときと顔向き上２０度のときを比較すると、左３０度、左４０度、左５０度時の顔中心線の傾きは、顔向き上２０度のときの方がより傾いているので、上２０度と判定することができる。また、この顔の上向き角度（ピッチ角）が２０度のときのマスク上側エッジの勾配を基準として記録しておけば、マスクが変形しない限り、後に撮影された画像におけるマスク上側エッジの勾配と比較して同じ角度（一定の幅をもたせ、略同一の角度とするのが好ましい）であれば、顔の上向き角度（ピッチ角）が２０度であると判定することができる。顔向き方向が上２０度右方向のときは、顔向き上２０度左方向のときと左右が対称となるだけなので、詳細な説明は割愛する。
【0049】
（ピッチ角：下１０度の場合）
顔向きが下１０度（ヨー角：０度、ピッチ角：下１０度）のときでは、口領域の輝度値が肌の領域と比較して大きくなるが、マスクの左右端には顕著なマスクエッジ等は検出されない。マスク上側のエッジがカメラ正面向き（ヨー角：０度、ピッチ角：０度）と比較して、勾配がなだらかになっているが、マスク上側のエッジ勾配は、マスク着用時毎の変形等により変化するので、これだけでは下向きと判定できないが、マスク着用時のマスク上側エッジの基準エッジ勾配が分かれば、上下方向の顔向き角度も判定することは可能である（上向き１０度の時に同じ）。顔向き左１０度（ヨー角：１０度、ピッチ角：下１０度）のときは、ピッチ角：０度のときと同様に、口領域の輝度値が大きくなり、また、カメラに対して、顔を左方向に傾けたことにより、マスクの左端に顕著なエッジが検出できるようになる。左方向に顔を傾けたときは、ピッチ角：０度のときと同様に、マスク左端のエッジ、顔の中心線、カメラに対して手前の顔幅ＷＡ、カメラに対して奥側の顔幅ＷＢ等を検出して、顔が左向きに何度傾いているかを判定することは可能である。
顔向きが下１０度（ヨー角：０度、ピッチ角：下１０度）のときでは、口領域の輝度値が肌の領域と比較して大きくなるが、マスクの左右端には顕著なマスクエッジ等は検出されない。マスク上側のエッジがカメラ正面向き（ヨー角：０度、ピッチ角：０度）と比較して、勾配がなだらかになっているが、マスク上側のエッジ勾配は、マスク着用時毎の変形等により変化するので、これだけでは下向きと判定できないが、マスク着用時のマスク上側エッジの基準エッジ勾配が分かれば、上下方向の顔向き角度も判定することは可能である（上向き１０度の時に同じ）。顔向き左１０度（ヨー角：１０度、ピッチ角：下１０度）のときは、ピッチ角：０度のときと同様に、口領域の輝度値が大きくなり、また、カメラに対して、顔を左方向に傾けたことにより、マスクの左端に顕著なエッジが検出できるようになる。左方向に顔を傾けたときは、ピッチ角：０度のときと同様に、マスク左端のエッジ、顔の中心線、カメラに対して手前の顔幅ＷＡ、カメラに対して奥側の顔幅ＷＢ等を検出して、顔が左向きに何度傾いているかを判定することは可能である。
【0050】
顔の下向き角度の判定は、顔向き上１０度のときと同様に、顔向き左３０度、左４０度、左５０度のときの顔中心線の傾きで判定できる。ピッチ角：０度のときと、ピッチ角：下１０度のときを比較すると、左３０度、左４０度、左５０度時の顔中心線の傾きは、ピッチ角：下１０度の方が顔がより下方向に傾いていると判定でき、下１０度と判定することが可能である。この顔の下向き角度（ピッチ角）が１０度のときのマスク上側エッジの勾配を基準として記録しておけば、マスクが変形しない限り、後に撮影された画像におけるマスク上側エッジの勾配と比較して同じ角度（一定の幅をもたせ、略同一の角度とするのが好ましい）であれば、顔の下向き角度（ピッチ角）が１０度であると判定することができる。顔向き方向が下１０度右方向のときは、顔向き下１０度左方向のときと左右が対称となるだけなので、詳細な説明は割愛する。
【0051】
（ピッチ角：下２０度の場合）
顔向きが下２０度（ヨー角：０度、ピッチ角：下２０度）のときでは、口領域の輝度値が肌の領域と比較して大きくなるが、マスクの左右端には顕著なマスクエッジ等は検出されない。マスク上側のエッジがカメラ正面向き（ヨー角：０度、ピッチ角：０度）と比較して、勾配がなだらかになっているが、マスク上側のエッジ勾配は、マスク着用時毎の変形等により変化するので、これだけでは下向きと判定できないが、装着時のマスク上側エッジの基準エッジ勾配が分かれば、上下方向の顔向き角度も判定することができる（上向き１０度の時に同じ）。顔向き左１０度（ヨー角：１０度、ピッチ角：下２０度）のときは、ピッチ角：０度のときと同様に、口領域の輝度値が大きくなり、また、カメラに対して、顔を左方向に傾けたことにより、マスクの左端に顕著なエッジが検出できるようになる。さらに左方向に顔を傾けたときは、ピッチ角：０度のときと同様に、マスク左端のエッジ、顔の中心線、カメラに対して手前の顔幅ＷＡ、カメラに対して奥側の顔幅ＷＢ等を検出して、顔が左向きに何度傾いているかを判定することが可能である。
顔向きが下２０度（ヨー角：０度、ピッチ角：下２０度）のときでは、口領域の輝度値が肌の領域と比較して大きくなるが、マスクの左右端には顕著なマスクエッジ等は検出されない。マスク上側のエッジがカメラ正面向き（ヨー角：０度、ピッチ角：０度）と比較して、勾配がなだらかになっているが、マスク上側のエッジ勾配は、マスク着用時毎の変形等により変化するので、これだけでは下向きと判定できないが、装着時のマスク上側エッジの基準エッジ勾配が分かれば、上下方向の顔向き角度も判定することができる（上向き１０度の時に同じ）。顔向き左１０度（ヨー角：１０度、ピッチ角：下２０度）のときは、ピッチ角：０度のときと同様に、口領域の輝度値が大きくなり、また、カメラに対して、顔を左方向に傾けたことにより、マスクの左端に顕著なエッジが検出できるようになる。さらに左方向に顔を傾けたときは、ピッチ角：０度のときと同様に、マスク左端のエッジ、顔の中心線、カメラに対して手前の顔幅ＷＡ、カメラに対して奥側の顔幅ＷＢ等を検出して、顔が左向きに何度傾いているかを判定することが可能である。
【0052】
顔の下向き角度（ピッチ角）の判定は、顔向き下１０度のときと同様に、顔向き左３０度、左４０度、左５０度のときの顔中心線の傾きで判定できる。顔向き下１０度のときと顔向き下２０度のときを比較すると、左３０度、左４０度、左５０度時の顔中心線の傾きは、顔がより下方向に傾いていると判定でき、下２０度と判定することができる。この顔の下向き角度（ピッチ角）が２０度のときのマスク上側エッジの勾配を基準として記録しておけば、マスクが変形しない限り、後に撮影された画像におけるマスク上側エッジの勾配と比較して同じ角度（一定の幅をもたせ、略同一の角度とするのが好ましい）であれば、顔の下向き角度（ピッチ角）が２０度であると判定することができる。顔向き方向が下２０度右方向のときは、顔向き下２０度左方向のときと左右が対称となるだけなので、詳細な説明は割愛する。
【0053】
なお、顔向きを左５０度のときなどにおいて、マスク左端近辺の肌の輝度値が高くなる場合があるが、耳にかけるマスクの紐部も、光照射によって輝度値が高くなり、顕著なエッジが検出できるので、その情報を基に、マスク左端を検出することも可能である。この紐エッジ情報から、顔の上下向きを判定することもできる。
【0054】
また、顔幅ＷＡ、ＷＢは顔向き上下方向で異なる場合がある（図２における垂線２２２の取り方にもよる）ことから、顔向き上下向きを判定し、上下向き毎の基準に基づき、顔幅による向き判定を行うこともできる。
【0055】
更に、カメラＣと同じ方向から光を照射する場合、顔が下向き２０度のときは、額が髪の毛で遮蔽されていない場合は、額領域の輝度が大きくなる。額領域の輝度が所定の閾値より大きくなったことで、下向き２０度と判定してもよい。
【0056】
更にまた、顔向き上下方向の基準となるマスク上側エッジ勾配は、一度決めれば、その値を基準にして、上下方向のピッチ角を判定することもできる。例えば、下向き２０度時において、マスク上側エッジ勾配を一度決定した後に、顔向きが上２０度となったときに、基準となる下向き２０度時のエッジ勾配に基づき、顔向きが上２０度時のエッジ勾配を算出し、その値と画像から検出したエッジ勾配を比較して近い値であれば、顔向きが上２０度になったと判定することもできる。基準となるエッジ勾配は、マスク着用時の変形や着脱等が無ければ、計算可能である。顔とカメラの距離が変われば変化するが、その距離が略一定である場合、一度基準が決まれば、その基準に基づいて、判定することができる。また、顔とカメラの距離が変化したときでも、顔の奥行き情報や顔の大きさ情報に基づいて、基準となるエッジ勾配を変化させれば、顔向き方向を判定することができる。
【0057】
また、マスクは様々な種類があることから、何れの種類のマスクを着用しているかを判定して、着用しているマスク特有の形状情報に基づいて、顔向き方向を推定することもできる。発明者の調査によると、現在市販されているマスクには様々な種類があるが、上述したマスク左端（右端）のエッジに関しては、マスク毎の特徴はあるが、顔が左右方向を向いたときに、光を照射すれば、ほぼ全てのマスクについてマスク左右端のマスク特有の形状を検出することができることが判明している。また、顔が左右方向を向いたときの顔（マスク）の中心線も、マスクの種類に形状に違いがあるが、ほとんど全てマスクで、マスク中心部が突出した形状になっている（顔は顔中心に突出した形状になっており、その形状にフィットさせるため）ことから、光をカメラ側から照射すれば、顔中心となるマスク中心を検出することができる。また、上述したマスク上側のエッジ勾配に関しては、マスクの種類により様々であるが、上述した処理で、一度基準を決定すれば、その基準に基づいて、顔の上下方向の角度を判定することはできる。特異な形状として、例えば図８（Ａ）に示すマスクでは、マスク左右端の形状が縦のエッジ線ではないが、マスク左右端の形状を検出することはできる。また、図８（Ｂ）に示すような半球状のカップ型マスクがあるが、マスク中心やマスク上端エッジ勾配を検出することはできる。更に、黒いマスクでも、赤外撮影すると、輝度値の多少の差はあるが白く撮像することができるので、同様に、マスク検出し、マスク左右端や上端の特徴を検出することができる。
【0058】
また、マスクは変形することがあるが、上述したマスク左右端のエッジの特徴については変化はほとんど発生しない。顔が左右方向を向いたときのマスクの中心線に関しては、マスクが柔軟な形状変化をするため、変形によりマスクの中心線が検出できない場合が生じる可能性もある。このような場合は、左３０度から左５０度のときにおいて、マスク領域ではなく、顔上半分の部分において、顔の中心線を検出して、顔向き上下方向判定を行うこともできるし、耳にかけているマスクの紐部の傾きを検出して、顔向き上下方向判定を行うこともできる。マスク上側エッジの勾配もマスク変形により変化することがあるが、一度基準勾配を決定すれば、マスク変形を考慮して、定期的に、基準をその都度計算するような処理を行えば、マスク上側エッジの勾配の変形にも対応することができる。
【0059】
顔向き方向認識部３５６が顔の向きを認識する上で、輝度値に基づいてエッジ勾配等を抽出する場合があるが、撮影条件によって、カメラパラメータ（露光時間等）や照射光強度を変更した方（何れか一方でも両方でもよい）が顕著にエッジ勾配等の特徴を抽出できる場合がある。そのような場合には、口領域検出部３５２、マスク着用判定部３５３、マスク特徴検出部３５４、顔特徴検出部３５５が検出した輝度値に基づいて、照射光調整部３５７が照射部Ｌから照射する光の強度を調整したり、カメラ調整部３５８がカメラＣのパラメータを調整したりする。
【0060】
【0061】
まず、認識装置Ｄの制御部３１１は、マスクＭにより被覆された顔Ｆを、照射部Ｌが光を照射した状態でカメラＣが撮影した画像を取得する（ステップＳ１１）。
【0062】
次に、制御部３１１は、ステップＳ１１の処理で取得した画像に写る顔の口領域を検出する（ステップＳ１２）。
【0063】
次に、制御部３１１は、ステップＳ１２に処理で検出した口領域について、マスク着用判定処理を行う（ステップＳ１３）。
【0064】
ここで、図１０を用いて、マスク着用判定処理について説明する。
【0065】
まず、制御部３１１は、肌領域（例えば、図６の右目領域４０１）の平均輝度値Ｉａを算出する（ステップＳ２１）。
【0066】
次に、制御部３１１は、口領域（例えば、図６の口領域４０２）の平均輝度値Ｉｂを算出する（ステップＳ２２）。
【0067】
次に、制御部３１１は、「Ｉｂ－Ｉａ＞Ｉｃ」が成立するか否かを判定する（ステップＳ２３）。ここで、Ｉｃは閾値（例えばＩｃ＝４０）である。Ｉｃは観測輝度値等に応じて設定することができる。制御部３１１は、「Ｉｂ－Ｉａ＞Ｉｃ」が成立すると判定した場合には（ステップＳ２３：ＹＥＳ）、マスク着用と判定し（ステップＳ２４）、マスク着用判定処理を終了する。一方、制御部３１１は、「Ｉｂ－Ｉａ＞Ｉｃ」が成立しないと判定した場合には（ステップＳ２３：ＮＯ）、マスク未着用と判定し（ステップＳ２５）、マスク着用判定処理を終了する。
【0068】
図９に戻り、制御部３１１は、マスク着用判定処理においてマスク着用と判定したか否かを判定する（ステップＳ１４）。制御部３１１は、マスク着用していない（未着用）と判定したと場合には（ステップＳ１４：ＮＯ）、顔向き判定処理を終了する。一方、制御部３１１は、マスク着用と判定したと場合には（ステップＳ１４：ＹＥＳ）、次いで、ヨー角判定処理を行う（ステップＳ１５）。
【0069】
ここで、図１１を用いて、ヨー角判定処理について説明する。
【0070】
まず、制御部３１１は、ステップＳ１１又は後述するステップＳ１８の処理で取得した画像からマスク左右端を検出できるか否かを判定する（ステップＳ３１）。なお、図８（Ａ）に示したような左右端の形状が特殊なマスクについては、肌の輝度値に対して大きい輝度値のマスク部を最初に判定して記録しておくことにより、以降の処理でも同様に処理することができる。
【0071】
制御部３１１は、マスク左右端を検出できないと判定した場合には（ステップＳ３１：ＮＯ）、ヨー角を「０度」と判定し（ステップＳ３２）、ヨー角判定処理を終了する。一方、マスク左右端を検出できると判定した場合には（ステップＳ３１：ＹＥＳ）、次いで、顔中心線（図２の顔中心線２１２参照）を検出できるか否かを判定する（ステップＳ３３）。
【0072】
制御部３１１は、顔中心線を検出できないと判定した場合には（ステップＳ３３：ＮＯ）、ヨー角を「１０度」と判定し（ステップＳ３４）、ヨー角判定処理を終了する。一方、顔中心線を検出できると判定した場合には（ステップＳ３３：ＹＥＳ）、次いで、手前側顔幅ＷＡと奥側顔幅ＷＢを算出する（図３参照）（ステップＳ３５）。
【0073】
次に、制御部３１１は、ステップＳ３５の処理で算出した手前側顔幅ＷＡと奥側顔幅ＷＢに基づいてヨー角を判定する（ステップＳ３６）。本実施例では、ＷＢ／ＷＡと、予め定められた閾値Ｙ１、Ｙ２、Ｙ３（Ｙ１＞Ｙ２＞Ｙ３）を比較することにより、ヨー角を判定する。閾値Ｙ１、Ｙ２、Ｙ３は、カメラＣと顔Ｆの距離を観測した値等に基づいて値を変えてもよい。
【0074】
制御部３１１は、具体的には、次の通りヨー角を判定する。
（１）Ｙ１＜ＷＢ／ＷＡ → ヨー角：２０度
（２）Ｙ２＜ＷＢ／ＷＡ＜Ｙ１ → ヨー角：３０度
（３）Ｙ３＜ＷＢ／ＷＡ＜Ｙ２ → ヨー角：４０度
（４）ＷＢ／ＷＡ＜Ｙ３ → ヨー角：５０度
（１）Ｙ１＜ＷＢ／ＷＡ → ヨー角：２０度
（２）Ｙ２＜ＷＢ／ＷＡ＜Ｙ１ → ヨー角：３０度
（３）Ｙ３＜ＷＢ／ＷＡ＜Ｙ２ → ヨー角：４０度
（４）ＷＢ／ＷＡ＜Ｙ３ → ヨー角：５０度
【0075】
次に、制御部３１１は、顔中心線補正処理を行い（ステップＳ３７）、ヨー角判定処理を終了する。顔中心線補正処理は、照射部Ｌに対してヨー角が大きくなると、マスク中心部の輝度値が下がり、上述した輝度値条件により検出するマスク中心線と顔中心線が一致しなくなってしまう場合があるので（例えば、図７のヨー角５０度時。ヨー角４０度以下であれば、マスク中心線と顔中心線が一致しやすい）、そのような場合に顔中心線を補正するために行われる。本実施例では、ヨー角が５０度未満である場合には、輝度値２２０以上に色分けされた画素で形成されるエッジに対応する線を顔中心線とする。一方、ヨー角が５０度以上である場合には、輝度値１６０以上２２０未満に色分けされた画素で形成されるエッジに対応する線を顔中心線とする。
【0076】
図９に戻り、制御部３１１は、ピッチ角判定処理を行う（ステップＳ１６）。
【0077】
ここで、図１２を用いて、ピッチ角判定処理について説明する。
【0078】
まず、制御部３１１は、全ピッチ角（下２０度、下１０度、０度、上１０度、上２０度）についてマスク上端の傾きを記録済みであるか否かを判定する（ステップＳ５１）。このとき、制御部３１１は、全ピッチ角についてマスク上端の傾きを記録済みではないと判定した場合には（ステップＳ５１：ＮＯ）、マスク左右端の特徴と顔中心線（マスク上端付近）の特徴に基づいてピッチ角を判定する（ステップＳ５３）。具体的には、図１３（Ａ）、（Ｂ）に示すように、マスク左右端の特徴と顔中心線の特徴は、ピッチ角に応じて異なることから、事前にピッチ角毎に基準となるマスク左右端の特徴と顔中心線を記憶部３１２に記録しておき、今回取得した画像におけるマスク左右端の特徴と顔中心線を比較して最も類似するマスク左右端の特徴と顔中心線に対応付けられているピッチ角を、画像に写る顔のピッチ角と判定する。なお、本実施例では、マスク左右端の特徴としてマスク上紐の傾きを記録しておき、顔中心線の特徴として、マスク上端付近の傾きを記録しておくこととする。
【0079】
以下、具体的に説明する。
・記憶部３１２に記録されているピッチ０度時（水平時）のマスク上紐の傾き：ｍ０
・記憶部３１２に記録されているピッチ０度時（水平時）の顔中心線の傾き：ｖ０
・記憶部３１２に記録されているピッチ上１０度時のマスク上紐の傾き：ｍ１
・記憶部３１２に記録されているピッチ上１０度時の顔中心線の傾き：ｖ１
・記憶部３１２に記録されているピッチ上２０度時のマスク上紐の傾き：ｍ２
・記憶部３１２に記録されているピッチ上２０度時の顔中心線の傾き：ｖ２
・記憶部３１２に記録されているピッチ下１０度時のマスク上紐の傾き：ｍ３
・記憶部３１２に記録されているピッチ下１０度時の顔中心線の傾き：ｖ３
・記憶部３１２に記録されているピッチ下２０度時のマスク上紐の傾き：ｍ４
・記憶部３１２に記録されているピッチ下２０度時の顔中心線の傾き：ｖ４
・今回取得した画像のマスク上紐の傾き：ｍＡ
・今回取得した画像の顔中心線の傾き：ｖＡ
上記の通りマスク上紐の傾き（「マスク左右端の特徴」の一例）及び顔中心線の傾きが定義付けられている場合には、制御部３３１は次の通りピッチ角を判定する。
・記憶部３１２に記録されているピッチ０度時（水平時）のマスク上紐の傾き：ｍ０
・記憶部３１２に記録されているピッチ０度時（水平時）の顔中心線の傾き：ｖ０
・記憶部３１２に記録されているピッチ上１０度時のマスク上紐の傾き：ｍ１
・記憶部３１２に記録されているピッチ上１０度時の顔中心線の傾き：ｖ１
・記憶部３１２に記録されているピッチ上２０度時のマスク上紐の傾き：ｍ２
・記憶部３１２に記録されているピッチ上２０度時の顔中心線の傾き：ｖ２
・記憶部３１２に記録されているピッチ下１０度時のマスク上紐の傾き：ｍ３
・記憶部３１２に記録されているピッチ下１０度時の顔中心線の傾き：ｖ３
・記憶部３１２に記録されているピッチ下２０度時のマスク上紐の傾き：ｍ４
・記憶部３１２に記録されているピッチ下２０度時の顔中心線の傾き：ｖ４
・今回取得した画像のマスク上紐の傾き：ｍＡ
・今回取得した画像の顔中心線の傾き：ｖＡ
上記の通りマスク上紐の傾き（「マスク左右端の特徴」の一例）及び顔中心線の傾きが定義付けられている場合には、制御部３３１は次の通りピッチ角を判定する。
【0080】
（１）[（ｖ３＋ｖ０）／２＜ｖＡ＜（ｖ０＋ｖ１）／２] or／and
[（ｍ３＋ｍ０）／２＜ｍＡ＜（ｍ０＋ｍ１）／２] → ピッチ角：０度
[（ｍ３＋ｍ０）／２＜ｍＡ＜（ｍ０＋ｍ１）／２] → ピッチ角：０度
【0081】
（２）[（ｖ０＋ｖ１）／２＜ｖＡ＜（ｖ１＋ｖ２）／２] or／and
[（ｍ０＋ｍ１）／２＜ｍＡ＜（ｍ１＋ｍ２）／２] → ピッチ角：上１０度
[（ｍ０＋ｍ１）／２＜ｍＡ＜（ｍ１＋ｍ２）／２] → ピッチ角：上１０度
【0082】
（３）[（ｖ１＋ｖ２）／２＜ｖＡ] or／and
[（ｍ１＋ｍ２）／２＜ｍＡ] → ピッチ角：上２０度
[（ｍ１＋ｍ２）／２＜ｍＡ] → ピッチ角：上２０度
【0083】
（４）[（ｖ３＋ｖ４）／２＜ｖＡ＜（ｖ０＋ｖ３）／２] or／and
[（ｍ３＋ｍ４）／２＜ｍＡ＜（ｍ０＋ｍ３）／２] → ピッチ角：下１０度
[（ｍ３＋ｍ４）／２＜ｍＡ＜（ｍ０＋ｍ３）／２] → ピッチ角：下１０度
【0084】
（５）[ｖＡ＜（ｖ３＋ｖ４）／２] or／and
[ｍＡ＜（ｍ３＋ｍ４）／２] → ピッチ角：下２０度
[ｍＡ＜（ｍ３＋ｍ４）／２] → ピッチ角：下２０度
【0085】
次に、制御部３１１は、マスク上端（図２の上境界２１３）を検出し、ステップＳ５３の処理で判定したピッチ角とマスク上端の傾きを対応付けて記憶部３１２に記録し（ステップＳ５４）、ピッチ角判定処理を終了する。
【0086】
一方、制御部３１１は、ステップＳ５１の処理において、全ピッチ角についてマスク上端の傾きを記録済みであると判定した場合には（ステップＳ５１：ＹＥＳ）、記録済のマスク上端の傾きと、今回取得した画像のマスク上端の傾きを比較し、ピッチ角を判定し（ステップＳ５２）、ピッチ角判定処理を終了する。ここで、記録済のマスク上端の傾きと、画像のマスク上端の傾きを比較し、ピッチ角を判定する場合について具体的に説明する。
【0087】
・記憶部３１２に記録されているピッチ０度時（水平時）のマスク上端の傾き：ｇ０
・記憶部３１２に記録されているピッチ上１０度時のマスク上端の傾き：ｇ１
・記憶部３１２に記録されているピッチ上２０度時のマスク上端の傾き：ｇ２
・記憶部３１２に記録されているピッチ下１０度時のマスク上端の傾き：ｇ３
・記憶部３１２に記録されているピッチ下２０度時のマスク上端の傾き：ｇ４
・今回取得した画像のマスク上端の傾き：ｇＡ
上記の通りマスク上端の傾きが定義付けられている場合には、制御部３３１は次の通りピッチ角を判定する。
・記憶部３１２に記録されているピッチ上１０度時のマスク上端の傾き：ｇ１
・記憶部３１２に記録されているピッチ上２０度時のマスク上端の傾き：ｇ２
・記憶部３１２に記録されているピッチ下１０度時のマスク上端の傾き：ｇ３
・記憶部３１２に記録されているピッチ下２０度時のマスク上端の傾き：ｇ４
・今回取得した画像のマスク上端の傾き：ｇＡ
上記の通りマスク上端の傾きが定義付けられている場合には、制御部３３１は次の通りピッチ角を判定する。
【0088】
（１）[（ｇ３＋ｇ０）／２＜ｇＡ＜（ｇ０＋ｇ１）／２] → ピッチ角：０度
【0089】
（２）[（ｇ０＋ｇ１）／２＜ｇＡ＜（ｇ１＋ｇ２）／２] → ピッチ角：上１０度
【0090】
（３）[（ｇ１＋Ｇ２）／２＜ｇＡ] → ピッチ角：上２０度
【0091】
（４）[（ｇ３＋ｇ４）／２＜ｇＡ＜（ｇ０＋ｇ３）／２] → ピッチ角：下１０度
【0092】
（５）[ｇＡ＜（ｇ３＋ｇ４）／２] → ピッチ角：下２０度
【0093】
図９に戻り、制御部３１１は、顔向き判定処理を継続するか否かを判定する（ステップＳ１７）。このとき、制御部３１１は、顔向き判定処理を継続しないと判定したときには（ステップＳ１７：ＮＯ）、顔向き判定処理を終了する。一方、制御部３１１は、顔向き判定処理を継続すると判定したときには（ステップＳ１７：ＹＥＳ）、次の画像を取得し（ステップＳ１８）、ステップＳ１５の処理に移行する。
【0094】
以上説明したように、本実施例に係る認識装置Ｄの制御部３１１（「取得手段」、「検出手段」、「認識手段」の一例）は、マスク（「被覆部材」の一例）により被覆された顔（「対象」の一例）を照射部Ｌ（「照射手段」の一例）により光を照射した状態で撮影した画像を取得し、当該取得した画像に含まれる画素の輝度値に基づいて、顔中心線２１２（「対象の表面における正面縦方向の中心線」の一例）を検出し、当該検出結果に基づいて、対象の向きを認識する。
【0095】
したがって、本実施例に係る認識装置Ｄによれば、画像に含まれる画素の輝度値に基づく顔中心線２１２の検出結果に基づいて顔の向きを認識することから、顔がマスクにより被覆されている場合であっても顔の向きを正確に認識することができる。また、パターンマッチングのような処理負荷の高い処理をせずに顔の向きを認識できる。さらに、パターンマッチングのためのパターン画像も記憶しておく必要がないので、記憶部３１２を小容量の記憶装置とすることができる。
【0096】
また、本実施例に係る認識装置Ｄの制御部３１１は、顔中心線２１２の傾きに基づいて、顔の縦方向の向き（ピッチ角）を認識する。
【0097】
更に、本実施例に係る認識装置Ｄの制御部３１１（「検出手段」、「記憶制御手段」、「認識手段」の一例）は、顔の縦方向の向きを認識した際の、マスクの上側の境界である上境界２１３を更に検出し、上境界２１３の傾きを、認識した対象の縦方向の向きと対応付けて記憶部３１２（「記憶手段」の一例）に記憶させ、縦方向の向きを認識していない顔の画像が新たに取得された際に、当該画像について検出されたマスクの上境界２１３の傾きと略同一の傾きが対応付けられている縦方向の向きを、当該画像に写る顔の縦方向の向きとして認識する。これにより、一度、顔の縦方向の向きを認識しておけば、それ以降の画像については、上境界２１３を検出して、記憶部３１２に記憶された上境界２１３と比較することにより、縦方向の向きを認識することができる。すなわち、縦方向の向きを認識するための処理負担が軽減される。
【0098】
更にまた、本実施例に係る認識装置Ｄの制御部３１１（「認識手段」の一例）は、顔の横幅における、上境界線２１３と顔中心線２１２との交点の位置に基づいて（すなわち、手前側顔幅ＷＡと奥側顔幅ＷＢに基づいて）、顔の横方向の向き（ヨー角）を認識する。
【0099】
なお、本実施例に係る認識装置Ｄは、車載カメラ（顔向き検出によるドライバーの安全確認）、監視カメラ（マスク着用時の顔向き検出、人の興味や行動検出等）、医療カメラ（マスク着用時の顔向き検出、医者や患者の行動検出等）等に組み込むことにより活用することができる。
【0100】
［４．変形例］
次に、上記実施例の変形例について説明する。なお、以下に説明する変形例は適宜組み合わせることができる。
次に、上記実施例の変形例について説明する。なお、以下に説明する変形例は適宜組み合わせることができる。
【0101】
［４．１．変形例１］
上記実施例では、図１３（Ａ）、（Ｂ）に示すように、基準となるマスク上紐の傾き（「マスク左右端の特徴」の一例）と顔中心線（マスク上端付近）の傾き（「顔中心線の特徴」の一例）をピッチ角と対応付けて記憶部３１２に記録しておき、新たに取得した画像におけるマスク上紐の傾きと顔中心線の傾きを比較してピッチ角を判定する構成としているが、これに代えて、例えば、図１４（Ａ）、（Ｂ）に示すように、マスク左右端の特徴（形状）と顔中心線（マスクにかかる部分）の特徴（形状）をそのままピッチ角と対応付けて記憶部３１２に記録しておき、新たに取得した画像におけるマスク左右端の特徴（形状）と顔中心線の特徴（形状）を比較し、最も類似度の高いものと対応付けられているピッチ角を取得し、当該画像に写る顔Ｆのピッチ角と判定する構成としてもよい。
上記実施例では、図１３（Ａ）、（Ｂ）に示すように、基準となるマスク上紐の傾き（「マスク左右端の特徴」の一例）と顔中心線（マスク上端付近）の傾き（「顔中心線の特徴」の一例）をピッチ角と対応付けて記憶部３１２に記録しておき、新たに取得した画像におけるマスク上紐の傾きと顔中心線の傾きを比較してピッチ角を判定する構成としているが、これに代えて、例えば、図１４（Ａ）、（Ｂ）に示すように、マスク左右端の特徴（形状）と顔中心線（マスクにかかる部分）の特徴（形状）をそのままピッチ角と対応付けて記憶部３１２に記録しておき、新たに取得した画像におけるマスク左右端の特徴（形状）と顔中心線の特徴（形状）を比較し、最も類似度の高いものと対応付けられているピッチ角を取得し、当該画像に写る顔Ｆのピッチ角と判定する構成としてもよい。
【0102】
［４．２．変形例２］
上記実施例では、カメラＣと照射部Ｌが略同じ方向から対象に向いていることとしたが、カメラＣと照射部Ｌが異なる方向から対象に向いている場合についても本発明を適用することができる。すなわち、カメラＣと照射部Ｌが対象からみて異なる方向に位置する場合であっても、照射部Ｌの位置が決まっており、マスク着用時の顔に光がどのように照射され、画像が撮像されるかが予め分かっていれば、上記実施例と同様に、口領域を判定し、マスク着用判定し、マスク特徴と顔特徴を検出することによって、顔向き方向の推定が可能である。
上記実施例では、カメラＣと照射部Ｌが略同じ方向から対象に向いていることとしたが、カメラＣと照射部Ｌが異なる方向から対象に向いている場合についても本発明を適用することができる。すなわち、カメラＣと照射部Ｌが対象からみて異なる方向に位置する場合であっても、照射部Ｌの位置が決まっており、マスク着用時の顔に光がどのように照射され、画像が撮像されるかが予め分かっていれば、上記実施例と同様に、口領域を判定し、マスク着用判定し、マスク特徴と顔特徴を検出することによって、顔向き方向の推定が可能である。
【0103】
図１５は、カメラＣと照射部Ｌを対象からみて異なる方向に配置し、顔の横方向から光を照射した状態で撮影した画像の一例である。顔の横から光を照射した場合は、顔向きがカメラ正面付近を向いたときに、顔の中心線６０１を検出できる。光が照射されている方向を向くと、顔の輪郭や光の方向に面しているマスクの特徴６０２や顔の前面領域が検出できるようになる。これらを検出し、同様にヨー角１０度毎の判定をすることができる。但し、顔横方向から光を照射する場合は、顔向きが光の照射と反対方向に向いてしまうと、光照射によるマスク特徴や顔前面の特徴が検出できなくなってしまうことから、より広範囲に顔向き角度を検出したい場合は、上記実施例のように、カメラＣと照射部Ｌを顔からみて同じ方向に設置することが望ましい。応用や環境の違いにより、顔横方向から光を照射して、マスクの特徴６０２等を検出して、顔向き方向を判定してもよい。
【0104】
このように、カメラＣと照射部Ｌを対象からみて異なる方向に配置した場合であっても、マスク特徴や顔前面特徴を明瞭に検出することができるので、カメラＣと照射部Ｌの設置条件等で、カメラＣから位置を離して照射部Ｌを配置して、光の照射を顔横方向から行いたい場合や、カメラＣの横方向から支配的な光（例えば、太陽光等）が照射される場合であっても、同様な処理で顔向き判定を行うことができる。
【0105】
［４．３．変形例３］
顔の口領域の判定や、顔向き角度の判定において、過去の撮影画像で判定した結果を利用して、上記判定に用いることとしてもよい。例えば、一度口領域を推定したら、次の時間で撮影した画像では、過去推定領域の周辺で口領域を探索する処理が考えられる。また、顔向き方向の判定においては、例えば、顔向き上１０度左２０度と判定した場合は、次の時間で撮影した画像では、過去推定顔向き周辺向きである可能性が高いので、顔向き上２０度左２０度、顔向き上１０度左１０度、顔向き上１０度左３０度、顔向き左２０度の特徴を優先的に検出する処理を行うことが考えられる。すなわち、近い時刻に撮影された画像では顔の向きは大幅に変化しないことを想定し、新たに顔向きを判定する場合には、直近に判定した顔向きに近い方向から判定処理を行うことができる。この変形例のように、時系列にデータを処理して、判定処理を有効に行うことにより、口領域の判定や、顔向き角度の判定についての処理負担を軽減することができる。
顔の口領域の判定や、顔向き角度の判定において、過去の撮影画像で判定した結果を利用して、上記判定に用いることとしてもよい。例えば、一度口領域を推定したら、次の時間で撮影した画像では、過去推定領域の周辺で口領域を探索する処理が考えられる。また、顔向き方向の判定においては、例えば、顔向き上１０度左２０度と判定した場合は、次の時間で撮影した画像では、過去推定顔向き周辺向きである可能性が高いので、顔向き上２０度左２０度、顔向き上１０度左１０度、顔向き上１０度左３０度、顔向き左２０度の特徴を優先的に検出する処理を行うことが考えられる。すなわち、近い時刻に撮影された画像では顔の向きは大幅に変化しないことを想定し、新たに顔向きを判定する場合には、直近に判定した顔向きに近い方向から判定処理を行うことができる。この変形例のように、時系列にデータを処理して、判定処理を有効に行うことにより、口領域の判定や、顔向き角度の判定についての処理負担を軽減することができる。
【0106】
［４．４．変形例４］
本願発明者が実施したところ、多くのマスクは、赤外撮像画像において、マスク領域が、肌に比べて輝度値が大きくなることが判明した。しかし、マスクの素材によって、例えば赤外線を吸収するような素材を使っている場合は、赤外撮像画像で、マスク領域が肌に比べ暗く（輝度値が低く）撮像される場合がある。そのような場合は、肌領域と比較して、口領域の輝度値が小さいことを判定して、マスクを検出することとしてもよい。なお、この場合は、マスク検出した後、マスクエッジを検出する処理等は上述の実施例と同様に行うことができる。
本願発明者が実施したところ、多くのマスクは、赤外撮像画像において、マスク領域が、肌に比べて輝度値が大きくなることが判明した。しかし、マスクの素材によって、例えば赤外線を吸収するような素材を使っている場合は、赤外撮像画像で、マスク領域が肌に比べ暗く（輝度値が低く）撮像される場合がある。そのような場合は、肌領域と比較して、口領域の輝度値が小さいことを判定して、マスクを検出することとしてもよい。なお、この場合は、マスク検出した後、マスクエッジを検出する処理等は上述の実施例と同様に行うことができる。
【符号の説明】
【0107】
１ 認識装置
１１１Ａ 取得手段
１１１Ｂ 検出手段
１１１Ｃ 認識手段
１１１Ｄ 記憶制御手段
１１１Ｅ 記憶手段
Ｄ 顔向き認識装置Ｄ
３１１ 制御部
３１２ 記憶部
３１３ 通信部
３１４ 表示部
３１５ 操作部
１１１Ａ 取得手段
１１１Ｂ 検出手段
１１１Ｃ 認識手段
１１１Ｄ 記憶制御手段
１１１Ｅ 記憶手段
Ｄ 顔向き認識装置Ｄ
３１１ 制御部
３１２ 記憶部
３１３ 通信部
３１４ 表示部
３１５ 操作部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
