知財求人 - 知財ポータルサイト「IP Force」
特開2024-39559顔認証装置、顔認証方法、顔認証プログラム、ドア解錠施錠システム及び顔認証システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024039559
(43)【公開日】2024-03-22
(54)【発明の名称】顔認証装置、顔認証方法、顔認証プログラム、ドア解錠施錠システム及び顔認証システム
(51)【国際特許分類】
G06V 40/16 20220101AFI20240314BHJP
G06T 7/00 20170101ALI20240314BHJP
【ＦＩ】
G06V40/16 A
G06T7/00 510F
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2022144205
(22)【出願日】2022-09-09
(71)【出願人】
【識別番号】501009849
【氏名又は名称】株式会社日立エルジーデータストレージ
(74)【代理人】
【識別番号】110001689
【氏名又は名称】青稜弁理士法人
(72)【発明者】
【氏名】増田 浩三
【テーマコード（参考）】
5B043
【Ｆターム（参考）】
5B043AA05
5B043AA09
5B043BA04
5B043CA05
5B043DA06
(57)【要約】 （修正有）
【課題】人物の顔認証に使用する適切な顔画像を取得できる可能性を向上できる顔認証装置、顔認証方法、顔認証プログラム、ドア解錠施錠システム及び顔認証システムを提供する。
【解決手段】撮像素子１３を含むカメラＣＭ１を含む顔認証装置としての端末１００は、撮像範囲に人物が存在する場合において、第２モードで読み出された画像信号から生成された画像を用いて、姿勢検知を実行することにより、人物の顔の向き及び顔の領域を取得する。端末１００は、人物の顔の向きがカメラの存在する方向にある場合、撮像素子１３の動作モードを第２モードから第１モードに切り替え、第１モードで顔の領域に基づく顔周辺領域に対応する画素から読み出された画像信号から、人物の顔周辺領域を含む認証用画像を生成させ、認証用画像を用いて人物の顔認証を行うことにより、人物の認証を行う。
【選択図】図２
【解決手段】撮像素子１３を含むカメラＣＭ１を含む顔認証装置としての端末１００は、撮像範囲に人物が存在する場合において、第２モードで読み出された画像信号から生成された画像を用いて、姿勢検知を実行することにより、人物の顔の向き及び顔の領域を取得する。端末１００は、人物の顔の向きがカメラの存在する方向にある場合、撮像素子１３の動作モードを第２モードから第１モードに切り替え、第１モードで顔の領域に基づく顔周辺領域に対応する画素から読み出された画像信号から、人物の顔周辺領域を含む認証用画像を生成させ、認証用画像を用いて人物の顔認証を行うことにより、人物の認証を行う。
【選択図】図２
【特許請求の範囲】
【請求項1】
撮像範囲を撮像する撮像素子を含むカメラと、
前記撮像素子から出力される画像信号を用いて画像を生成する画像処理部と、
前記撮像素子の画像信号を読み出す動作モードを、画素数を削減することなく等倍で画像信号を読み出す第１モード、及び、前記第１モードより低解像度の画像を生成するための画像信号を読み出す第２モードの何れかに設定し、前記第１モード及び前記第２モードの何れかのモードで読み出された画像信号から前記画像処理部によって生成された前記画像を取得する制御部と、
を含み、
前記制御部は、
前記撮像範囲に人物が存在する場合において、前記撮像素子の前記動作モードを前記第２モードに設定し、前記第２モードで読み出された画像信号から生成された前記画像を用いて、姿勢検知を実行することにより、前記人物の顔の向き及び前記顔の領域を取得し、
前記人物の顔の向きが前記カメラの存在する方向にある場合、前記撮像素子の前記動作モードを前記第２モードから前記第１モードに切り替え、前記画像処理部によって、前記第１モードで前記顔の領域に基づく顔周辺領域に対応する画素から読み出された画像信号から、前記人物の前記顔周辺領域を含む認証用画像を生成させ、前記認証用画像を用いて前記人物の顔認証を行うことにより、前記人物の認証を行う、
ように構成された、
顔認証装置。
前記撮像素子から出力される画像信号を用いて画像を生成する画像処理部と、
前記撮像素子の画像信号を読み出す動作モードを、画素数を削減することなく等倍で画像信号を読み出す第１モード、及び、前記第１モードより低解像度の画像を生成するための画像信号を読み出す第２モードの何れかに設定し、前記第１モード及び前記第２モードの何れかのモードで読み出された画像信号から前記画像処理部によって生成された前記画像を取得する制御部と、
を含み、
前記制御部は、
前記撮像範囲に人物が存在する場合において、前記撮像素子の前記動作モードを前記第２モードに設定し、前記第２モードで読み出された画像信号から生成された前記画像を用いて、姿勢検知を実行することにより、前記人物の顔の向き及び前記顔の領域を取得し、
前記人物の顔の向きが前記カメラの存在する方向にある場合、前記撮像素子の前記動作モードを前記第２モードから前記第１モードに切り替え、前記画像処理部によって、前記第１モードで前記顔の領域に基づく顔周辺領域に対応する画素から読み出された画像信号から、前記人物の前記顔周辺領域を含む認証用画像を生成させ、前記認証用画像を用いて前記人物の顔認証を行うことにより、前記人物の認証を行う、
ように構成された、
顔認証装置。
【請求項2】
請求項１に記載の顔認証装置において、
前記制御部は、
前記撮像範囲に、認証用のコードが表示された認証用コード表示媒体を手に持つ前記人物が存在する場合において、前記第２モードで読み出された画像信号から生成された前記画像を用いて、前記姿勢検知を実行することにより、前記人物の顔の向き及び前記顔の領域に加えて、前記人物の手の位置を更に取得し、
前記人物の顔の向きが前記カメラの存在する方向にある場合、前記画像処理部によって、前記第１モードで前記顔の領域に基づく前記顔周辺領域及び前記手の位置に基づく前記手を含む領域に対応する画素から読み出された画像信号から、前記人物の前記顔周辺領域に加えて、前記手を含む領域を更に含む前記認証用画像を生成させ、前記認証用画像を用いて前記人物の顔認証及び前記手を含む領域に存在する前記認証用コード表示媒体のコード認証を行うことにより、前記人物の認証を行う、
ように構成された、
顔認証装置。
前記制御部は、
前記撮像範囲に、認証用のコードが表示された認証用コード表示媒体を手に持つ前記人物が存在する場合において、前記第２モードで読み出された画像信号から生成された前記画像を用いて、前記姿勢検知を実行することにより、前記人物の顔の向き及び前記顔の領域に加えて、前記人物の手の位置を更に取得し、
前記人物の顔の向きが前記カメラの存在する方向にある場合、前記画像処理部によって、前記第１モードで前記顔の領域に基づく前記顔周辺領域及び前記手の位置に基づく前記手を含む領域に対応する画素から読み出された画像信号から、前記人物の前記顔周辺領域に加えて、前記手を含む領域を更に含む前記認証用画像を生成させ、前記認証用画像を用いて前記人物の顔認証及び前記手を含む領域に存在する前記認証用コード表示媒体のコード認証を行うことにより、前記人物の認証を行う、
ように構成された、
顔認証装置。
【請求項3】
請求項１に記載の顔認証装置において、
前記制御部は、
前記撮像範囲に複数の前記人物が存在する場合において、
複数の前記人物のそれぞれについて、
前記姿勢検知を実行することにより、前記人物の顔の向き及び前記顔の領域を取得し、
複数の前記人物の全員の顔の向きが前記カメラの存在する方向にある場合、前記撮像素子の前記動作モードを前記第２モードから前記第１モードに切り替え、
複数の前記人物のそれぞれについて、
前記画像処理部によって、前記第１モードで、前記人物の前記顔の領域に基づく前記顔周辺領域に対応する画素から読み出された画像信号から、前記人物の前記顔周辺領域を含む前記認証用画像を生成させ、前記認証用画像を用いて前記人物の顔認証を行うことにより、前記人物の認証を行う、
ように構成された、
顔認証装置。
前記制御部は、
前記撮像範囲に複数の前記人物が存在する場合において、
複数の前記人物のそれぞれについて、
前記姿勢検知を実行することにより、前記人物の顔の向き及び前記顔の領域を取得し、
複数の前記人物の全員の顔の向きが前記カメラの存在する方向にある場合、前記撮像素子の前記動作モードを前記第２モードから前記第１モードに切り替え、
複数の前記人物のそれぞれについて、
前記画像処理部によって、前記第１モードで、前記人物の前記顔の領域に基づく前記顔周辺領域に対応する画素から読み出された画像信号から、前記人物の前記顔周辺領域を含む前記認証用画像を生成させ、前記認証用画像を用いて前記人物の顔認証を行うことにより、前記人物の認証を行う、
ように構成された、
顔認証装置。
【請求項4】
請求項１に記載の顔認証装置において、
前記制御部は、
前記撮像範囲に複数の前記人物が存在する場合において、
複数の前記人物のそれぞれについて、
前記姿勢検知を実行することにより、前記人物の顔の向き及び前記顔の領域を取得し、
複数の前記人物のうちの少なくとも一人の人物の顔の向きが前記カメラの存在する方向にある場合、前記撮像素子の前記動作モードを前記第２モードから前記第１モードに切り替え、
前記少なくとも一人の人物のそれぞれについて、
前記画像処理部によって、前記第１モードで、前記人物の前記顔の領域に基づく前記顔周辺領域に対応する画素から読み出された画像信号から、前記人物の前記顔周辺領域を含む前記認証用画像を生成させ、前記認証用画像を用いて前記人物の顔認証を行うことにより、前記人物の認証を行う、
ように構成された、
顔認証装置。
前記制御部は、
前記撮像範囲に複数の前記人物が存在する場合において、
複数の前記人物のそれぞれについて、
前記姿勢検知を実行することにより、前記人物の顔の向き及び前記顔の領域を取得し、
複数の前記人物のうちの少なくとも一人の人物の顔の向きが前記カメラの存在する方向にある場合、前記撮像素子の前記動作モードを前記第２モードから前記第１モードに切り替え、
前記少なくとも一人の人物のそれぞれについて、
前記画像処理部によって、前記第１モードで、前記人物の前記顔の領域に基づく前記顔周辺領域に対応する画素から読み出された画像信号から、前記人物の前記顔周辺領域を含む前記認証用画像を生成させ、前記認証用画像を用いて前記人物の顔認証を行うことにより、前記人物の認証を行う、
ように構成された、
顔認証装置。
【請求項5】
請求項４に記載の顔認証装置において、
前記制御部は、
複数の前記人物のうちの二人以上の人物の顔の向きが前記カメラの存在する方向にある場合、前記二人以上の人物に優先順位を設定し、優先順位の順番で、前記認証用画像の生成及び前記人物の認証を行う、
ように構成された、
顔認証装置。
前記制御部は、
複数の前記人物のうちの二人以上の人物の顔の向きが前記カメラの存在する方向にある場合、前記二人以上の人物に優先順位を設定し、優先順位の順番で、前記認証用画像の生成及び前記人物の認証を行う、
ように構成された、
顔認証装置。
【請求項6】
請求項２に記載の顔認証装置において、
前記制御部は、
前記撮像範囲に前記認証用コード表示媒体を手に持つ前記人物が複数人存在する場合において、
複数の前記人物のそれぞれについて、
前記姿勢検知を実行することにより、前記人物の顔の向き及び前記顔の領域に加えて、前記人物の手の位置を更に取得し、
複数の前記人物の全員の顔の向きが前記カメラの存在する方向にある場合、前記撮像素子の前記動作モードを前記第２モードから前記第１モードに切り替え、
複数の前記人物のそれぞれについて、
前記画像処理部によって、前記第１モードで前記顔の領域に基づく前記顔周辺領域及び前記手の位置に基づく前記手を含む領域に対応する画素から読み出された画像信号から、前記人物の前記顔周辺領域に加えて、前記手を含む領域を更に含む前記認証用画像を生成させ、前記認証用画像を用いて前記人物の顔認証及び前記手を含む領域に存在する前記認証用コード表示媒体のコード認証を行うことにより、前記人物の認証を行う、
ように構成された、
顔認証装置。
前記制御部は、
前記撮像範囲に前記認証用コード表示媒体を手に持つ前記人物が複数人存在する場合において、
複数の前記人物のそれぞれについて、
前記姿勢検知を実行することにより、前記人物の顔の向き及び前記顔の領域に加えて、前記人物の手の位置を更に取得し、
複数の前記人物の全員の顔の向きが前記カメラの存在する方向にある場合、前記撮像素子の前記動作モードを前記第２モードから前記第１モードに切り替え、
複数の前記人物のそれぞれについて、
前記画像処理部によって、前記第１モードで前記顔の領域に基づく前記顔周辺領域及び前記手の位置に基づく前記手を含む領域に対応する画素から読み出された画像信号から、前記人物の前記顔周辺領域に加えて、前記手を含む領域を更に含む前記認証用画像を生成させ、前記認証用画像を用いて前記人物の顔認証及び前記手を含む領域に存在する前記認証用コード表示媒体のコード認証を行うことにより、前記人物の認証を行う、
ように構成された、
顔認証装置。
【請求項7】
請求項２に記載の顔認証装置において、
前記制御部は、
前記撮像範囲に前記認証用コード表示媒体を手に持つ前記人物が複数人存在する場合において、
複数の前記人物のそれぞれについて、
前記姿勢検知を実行することにより、前記人物の顔の向き及び前記顔の領域に加えて、前記人物の手の位置を更に取得し、
複数の前記人物のうちの少なくとも一人の人物の顔の向きが前記カメラの存在する方向にある場合、前記撮像素子の前記動作モードを前記第２モードから前記第１モードに切り替え、
前記少なくとも一人の人物のそれぞれについて、
前記画像処理部によって、前記第１モードで前記顔の領域に基づく前記顔周辺領域及び前記手の位置に基づく前記手を含む領域に対応する画素から読み出された画像信号から、前記人物の前記顔周辺領域に加えて、前記手を含む領域を更に含む前記認証用画像を生成させ、前記認証用画像を用いて前記人物の顔認証及び前記手を含む領域に存在する前記認証用コード表示媒体のコード認証を行うことにより、前記人物の認証を行う、
ように構成された、
顔認証装置。
前記制御部は、
前記撮像範囲に前記認証用コード表示媒体を手に持つ前記人物が複数人存在する場合において、
複数の前記人物のそれぞれについて、
前記姿勢検知を実行することにより、前記人物の顔の向き及び前記顔の領域に加えて、前記人物の手の位置を更に取得し、
複数の前記人物のうちの少なくとも一人の人物の顔の向きが前記カメラの存在する方向にある場合、前記撮像素子の前記動作モードを前記第２モードから前記第１モードに切り替え、
前記少なくとも一人の人物のそれぞれについて、
前記画像処理部によって、前記第１モードで前記顔の領域に基づく前記顔周辺領域及び前記手の位置に基づく前記手を含む領域に対応する画素から読み出された画像信号から、前記人物の前記顔周辺領域に加えて、前記手を含む領域を更に含む前記認証用画像を生成させ、前記認証用画像を用いて前記人物の顔認証及び前記手を含む領域に存在する前記認証用コード表示媒体のコード認証を行うことにより、前記人物の認証を行う、
ように構成された、
顔認証装置。
【請求項8】
請求項７に記載の顔認証装置において、
前記制御部は、
複数の前記人物のうちの二人以上の人物の顔の向きが前記カメラの存在する方向にある場合、前記二人以上の人物に優先順位を設定し、優先順位の順番で、前記認証用画像の生成及び前記人物の認証を行う、
ように構成された、
顔認証装置。
前記制御部は、
複数の前記人物のうちの二人以上の人物の顔の向きが前記カメラの存在する方向にある場合、前記二人以上の人物に優先順位を設定し、優先順位の順番で、前記認証用画像の生成及び前記人物の認証を行う、
ように構成された、
顔認証装置。
【請求項9】
請求項６に記載の顔認証装置において、
情報を格納可能な記憶装置を備え、
前記制御部は、
複数の前記人物のそれぞれについて、
前記顔の領域及び前記顔認証の結果と、前記手の位置及び前記コード認証の結果とを互いに対応付けて前記記憶装置に格納する、
ように構成された、
顔認証装置。
情報を格納可能な記憶装置を備え、
前記制御部は、
複数の前記人物のそれぞれについて、
前記顔の領域及び前記顔認証の結果と、前記手の位置及び前記コード認証の結果とを互いに対応付けて前記記憶装置に格納する、
ように構成された、
顔認証装置。
【請求項10】
請求項１に記載の顔認証装置において、
前記制御部は、
前記顔認証を失敗した場合、前記顔認証を失敗した同一人物に対して、前記姿勢検知及び前記顔認証を所定回数だけ繰り返し、
前記姿勢検知及び前記顔認証を所定回数失敗した場合、前記顔認証を失敗した同一人物に対する顔認証を中止する、
ように構成された、
顔認証装置。
前記制御部は、
前記顔認証を失敗した場合、前記顔認証を失敗した同一人物に対して、前記姿勢検知及び前記顔認証を所定回数だけ繰り返し、
前記姿勢検知及び前記顔認証を所定回数失敗した場合、前記顔認証を失敗した同一人物に対する顔認証を中止する、
ように構成された、
顔認証装置。
【請求項11】
請求項２に記載の顔認証装置において、
前記制御部は、
前記コード認証に失敗した場合、前記コード認証を失敗した同一人物に対して、前記姿勢検知及び前記コード認証を所定回数だけ繰り返し、
前記姿勢検知及び前記コード認証を所定回数失敗した場合、前記コード認証を失敗した同一人物に対する前記コード認証を中止する、
ように構成された、
顔認証装置。
前記制御部は、
前記コード認証に失敗した場合、前記コード認証を失敗した同一人物に対して、前記姿勢検知及び前記コード認証を所定回数だけ繰り返し、
前記姿勢検知及び前記コード認証を所定回数失敗した場合、前記コード認証を失敗した同一人物に対する前記コード認証を中止する、
ように構成された、
顔認証装置。
【請求項12】
撮像範囲を撮像する撮像素子を含むカメラと、
前記撮像素子から出力される画像信号を用いて画像を生成する画像処理部と、
前記撮像素子の画像信号を読み出す動作モードを、画素数を削減することなく等倍で画像信号を読み出す第１モード、及び、前記第１モードより低解像度の画像を生成するための画像信号を読み出す第２モードの何れかに設定し、前記第１モード及び前記第２モードの何れかのモードで読み出された画像信号から前記画像処理部によって生成された前記画像を取得する制御部と、
を含む顔認証装置を用いた顔認証方法であって、
前記制御部によって、
前記撮像範囲に人物が存在する場合において、前記撮像素子の前記動作モードを前記第２モードに設定し、前記第２モードで読み出された画像信号から生成された前記画像を用いて、姿勢検知を実行することにより、前記人物の顔の向き及び前記顔の領域を取得し、
前記人物の顔の向きが前記カメラの存在する方向にある場合、前記撮像素子の前記動作モードを前記第２モードから前記第１モードに切り替え、前記画像処理部によって、前記第１モードで前記顔の領域に基づく顔周辺領域に対応する画素から読み出された画像信号から、前記人物の前記顔周辺領域を含む認証用画像を生成させ、前記認証用画像を用いて前記人物の顔認証を行うことにより、前記人物の認証を行う、
顔認証方法。
前記撮像素子から出力される画像信号を用いて画像を生成する画像処理部と、
前記撮像素子の画像信号を読み出す動作モードを、画素数を削減することなく等倍で画像信号を読み出す第１モード、及び、前記第１モードより低解像度の画像を生成するための画像信号を読み出す第２モードの何れかに設定し、前記第１モード及び前記第２モードの何れかのモードで読み出された画像信号から前記画像処理部によって生成された前記画像を取得する制御部と、
を含む顔認証装置を用いた顔認証方法であって、
前記制御部によって、
前記撮像範囲に人物が存在する場合において、前記撮像素子の前記動作モードを前記第２モードに設定し、前記第２モードで読み出された画像信号から生成された前記画像を用いて、姿勢検知を実行することにより、前記人物の顔の向き及び前記顔の領域を取得し、
前記人物の顔の向きが前記カメラの存在する方向にある場合、前記撮像素子の前記動作モードを前記第２モードから前記第１モードに切り替え、前記画像処理部によって、前記第１モードで前記顔の領域に基づく顔周辺領域に対応する画素から読み出された画像信号から、前記人物の前記顔周辺領域を含む認証用画像を生成させ、前記認証用画像を用いて前記人物の顔認証を行うことにより、前記人物の認証を行う、
顔認証方法。
【請求項13】
コンピュータに、
撮像範囲を撮像する撮像素子を含むカメラの前記撮像素子から出力される画像信号を用いて画像を生成する画像処理と、
前記撮像素子の画像信号を読み出す動作モードを、画素数を削減することなく等倍で画像信号を読み出す第１モード、及び、前記第１モードより低解像度の画像を生成するための画像信号を読み出す第２モードの何れかに設定し、前記第１モード及び前記第２モードの何れかのモードで読み出された画像信号から前記画像処理によって生成された前記画像を取得する処理と、
を実行させる顔認証プログラムであって、
前記顔認証プログラムは、
前記コンピュータに、
前記撮像範囲に人物が存在する場合において、前記撮像素子の前記動作モードを前記第２モードに設定し、前記第２モードで読み出された画像信号から生成された前記画像を用いて、姿勢検知を実行することにより、前記人物の顔の向き及び前記顔の領域を取得し、
前記人物の顔の向きが前記カメラの存在する方向にある場合、前記撮像素子の前記動作モードを前記第２モードから前記第１モードに切り替え、前記画像処理によって、前記第１モードで前記顔の領域に基づく顔周辺領域に対応する画素から読み出された画像信号から、前記人物の前記顔周辺領域を含む認証用画像を生成させ、前記認証用画像を用いて前記人物の顔認証を行うことにより、前記人物の認証を行う処理を実行させる、
顔認証プログラム。
撮像範囲を撮像する撮像素子を含むカメラの前記撮像素子から出力される画像信号を用いて画像を生成する画像処理と、
前記撮像素子の画像信号を読み出す動作モードを、画素数を削減することなく等倍で画像信号を読み出す第１モード、及び、前記第１モードより低解像度の画像を生成するための画像信号を読み出す第２モードの何れかに設定し、前記第１モード及び前記第２モードの何れかのモードで読み出された画像信号から前記画像処理によって生成された前記画像を取得する処理と、
を実行させる顔認証プログラムであって、
前記顔認証プログラムは、
前記コンピュータに、
前記撮像範囲に人物が存在する場合において、前記撮像素子の前記動作モードを前記第２モードに設定し、前記第２モードで読み出された画像信号から生成された前記画像を用いて、姿勢検知を実行することにより、前記人物の顔の向き及び前記顔の領域を取得し、
前記人物の顔の向きが前記カメラの存在する方向にある場合、前記撮像素子の前記動作モードを前記第２モードから前記第１モードに切り替え、前記画像処理によって、前記第１モードで前記顔の領域に基づく顔周辺領域に対応する画素から読み出された画像信号から、前記人物の前記顔周辺領域を含む認証用画像を生成させ、前記認証用画像を用いて前記人物の顔認証を行うことにより、前記人物の認証を行う処理を実行させる、
顔認証プログラム。
【請求項14】
請求項１に記載の顔認証装置と、
ドアと、
前記ドアの解錠及び施錠を実行するドア解錠施錠装置と、
を含むドア解錠施錠システムであって、
前記制御部は、
前記人物の認証結果に基づいて、前記ドア解錠施錠装置を介して、前記ドアの解錠及び施錠の何れかを行う、
ように構成された、
ドア解錠施錠システム。
ドアと、
前記ドアの解錠及び施錠を実行するドア解錠施錠装置と、
を含むドア解錠施錠システムであって、
前記制御部は、
前記人物の認証結果に基づいて、前記ドア解錠施錠装置を介して、前記ドアの解錠及び施錠の何れかを行う、
ように構成された、
ドア解錠施錠システム。
【請求項15】
請求項１に記載の顔認証装置と、
前記顔認証装置を管理する管理装置と、
を含む顔認証システム。
前記顔認証装置を管理する管理装置と、
を含む顔認証システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顔認証装置、顔認証方法、顔認証プログラム、ドア解錠施錠システム及び顔認証システムに関する。
【背景技術】
【0002】
特許文献１は、撮像素子での処理動作を工夫し、これに画像処理回路での処理を組み合わせることによって効率よく顔検出処理を行う画像処理装置（以下、「従来装置」と称呼される。）を開示する。従来装置の画像処理回路は、撮像素子の解像度変換撮像動作によって得られた異なる時間の解像度変換撮像画像から移動物体が存在する可能性のある領域を検出し、検出した領域に対し撮像素子による部分撮像動作によって取得された部分画像データを対象として、人物の顔らしい領域を検出する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００６－３１８３６４号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかし、従来装置では、人物の顔らしい領域を検出できた場合であっても、撮像時に人物の顔がカメラの方を向いていない場合には、取得された部分画像データは顔認証に使用する画像としては適切ではなく、部分画像データを対象として顔認証を行うことが難しくなってしまうことが生じ得る。更に、従来装置では、部分画像データは撮像範囲が狭いので人の移動により顔が撮像範囲から外れてしまうことによって、顔認証に使用する適切な画像を取得できない可能性がある。
【0005】
本発明は上記課題を解決するためになされた。即ち、本発明の目的の一つは、人物の顔認証に使用する適切な顔画像を取得できる可能性を向上できる顔認証装置、顔認証方法、顔認証プログラム、ドア解錠施錠システム及び顔認証システムを提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明の顔認証装置は、撮像範囲を撮像する撮像素子を含むカメラと、前記撮像素子から出力される画像信号を用いて画像を生成する画像処理部と、前記撮像素子の画像信号を読み出す動作モードを、画素数を削減することなく等倍で画像信号を読み出す第１モード、及び、前記第１モードより低解像度の画像を生成するための画像信号を読み出す第２モードの何れかに設定し、前記第１モード及び前記第２モードの何れかのモードで読み出された画像信号から前記画像処理部によって生成された前記画像を取得する制御部と、を含み、前記制御部は、前記撮像範囲に人物が存在する場合において、前記撮像素子の前記動作モードを前記第２モードに設定し、前記第２モードで読み出された画像信号から生成された前記画像を用いて、姿勢検知を実行することにより、前記人物の顔の向き及び前記顔の領域を取得し、前記人物の顔の向きが前記カメラの存在する方向にある場合、前記撮像素子の前記動作モードを前記第２モードから前記第１モードに切り替え、前記画像処理部によって、前記第１モードで前記顔の領域に基づく顔周辺領域に対応する画素から読み出された画像信号から、前記人物の前記顔周辺領域を含む認証用画像を生成させ、前記認証用画像を用いて前記人物の顔認証を行うことにより、前記人物の認証を行う、ように構成されている。
【0007】
本発明の顔認証方法は、撮像範囲を撮像する撮像素子を含むカメラと、前記撮像素子から出力される画像信号を用いて画像を生成する画像処理部と、前記撮像素子の画像信号を読み出す動作モードを、画素数を削減することなく等倍で画像信号を読み出す第１モード、及び、前記第１モードより低解像度の画像を生成するための画像信号を読み出す第２モードの何れかに設定し、前記第１モード及び前記第２モードの何れかのモードで読み出された画像信号から前記画像処理部によって生成された前記画像を取得する制御部と、を含む顔認証装置を用いた顔認証方法であって、前記制御部によって、前記撮像範囲に人物が存在する場合において、前記撮像素子の前記動作モードを前記第２モードに設定し、前記第２モードで読み出された画像信号から生成された前記画像を用いて、姿勢検知を実行することにより、前記人物の顔の向き及び前記顔の領域を取得し、前記人物の顔の向きが前記カメラの存在する方向にある場合、前記撮像素子の前記動作モードを前記第２モードから前記第１モードに切り替え、前記画像処理部によって、前記第１モードで前記顔の領域に基づく顔周辺領域に対応する画素から読み出された画像信号から、前記人物の前記顔周辺領域を含む認証用画像を生成させ、前記認証用画像を用いて前記人物の顔認証を行うことにより、前記人物の認証を行う。
【0008】
本発明の顔認証プログラムは、コンピュータに、撮像範囲を撮像する撮像素子を含むカメラの前記撮像素子から出力される画像信号を用いて画像を生成する画像処理と、前記撮像素子の画像信号を読み出す動作モードを、画素数を削減することなく等倍で画像信号を読み出す第１モード、及び、前記第１モードより低解像度の画像を生成するための画像信号を読み出す第２モードの何れかに設定し、前記第１モード及び前記第２モードの何れかのモードで読み出された画像信号から前記画像処理によって生成された前記画像を取得する処理と、を実行させる顔認証プログラムであって、前記顔認証プログラムは、前記コンピュータに、前記撮像範囲に人物が存在する場合において、前記撮像素子の前記動作モードを前記第２モードに設定し、前記第２モードで読み出された画像信号から生成された前記画像を用いて、姿勢検知を実行することにより、前記人物の顔の向き及び前記顔の領域を取得し、前記人物の顔の向きが前記カメラの存在する方向にある場合、前記撮像素子の前記動作モードを前記第２モードから前記第１モードに切り替え、前記画像処理によって、前記第１モードで前記顔の領域に基づく顔周辺領域に対応する画素から読み出された画像信号から、前記人物の前記顔周辺領域を含む認証用画像を生成させ、前記認証用画像を用いて前記人物の顔認証を行うことにより、前記人物の認証を行う処理を実行させる。
【0009】
本発明のドア解錠施錠システムは、上記の顔認証装置と、ドアと、前記ドアの解錠及び施錠を実行するドア解錠施錠装置と、を含むドア解錠施錠システムであって、前記制御部は、前記人物の認証結果に基づいて、前記ドア解錠施錠装置を介して、前記ドアの解錠及び施錠の何れかを行う、ように構成されている。
【0010】
本発明の顔認証システムは、上記の顔認証装置と、前記顔認証装置を管理する管理装置と、を含む。
【発明の効果】
【0011】
本発明によれば、人物の顔認証に使用する適切な顔画像を取得できる可能性を向上できる。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
以下、本発明の各実施形態について図面を参照しながら説明する。なお、実施形態の全図において、同一又は対応する部分には同一の符号を付す場合がある。
【0014】
以下の説明では、識別情報について説明する際、「ＩＤ」等の表現を用いるが、これ以外の識別情報（例えば、識別番号等）に置換されてもよい。また、以下の説明では、機能ブロックを主語として処理を説明する場合があるが、処理の主語が、機能ブロックに代えて、ＣＰＵ又は装置とされてもよい。
【0015】
<<第１実施形態>>
図１は本発明の第１実施形態に係る端末１００を含むシステムの構成例を示すシステム構成図である。図１に示すように、システムは、カメラＣＭ１を備える端末１００とドア解錠施錠装置２００とを含む。端末１００及びドア解錠施錠装置２００は、図示しないネットワークを介して互いに情報を送受信可能に接続されている。なお、端末１００は、便宜上、「顔認証装置」とも称呼される場合がある。
図１は本発明の第１実施形態に係る端末１００を含むシステムの構成例を示すシステム構成図である。図１に示すように、システムは、カメラＣＭ１を備える端末１００とドア解錠施錠装置２００とを含む。端末１００及びドア解錠施錠装置２００は、図示しないネットワークを介して互いに情報を送受信可能に接続されている。なお、端末１００は、便宜上、「顔認証装置」とも称呼される場合がある。
【0016】
図２は端末１００の構成例を示す概略ブロック図である。図２に示すように、端末１００は、ＣＰＵ１１と、バス１２と、撮像素子１３及びＩＳＰ（Image Signal Processor）１４を含むカメラＣＭ１と、メモリ１５と、姿勢検知部１６と、モード制御部１７と、顔認証部１８と、タッチパネル１９と、ＬＣＤＣ（liquid crystal display controller）２０と、ＬＣＤ（liquid crystal display）２１と、音声処理回路２２と、ＳＰ（speaker）２３と、ＭＩＣ（microphone）２４と、解錠制御部２５と、補助記憶装置２６と、を含む。ＣＰＵ１１と、撮像素子１３と、ＩＳＰ１４と、メモリ１５と、姿勢検知部１６と、モード制御部１７と、顔認証部１８と、タッチパネル１９と、ＬＣＤＣ２０と、ＬＣＤ２１と、音声処理回路２２と、ＳＰ２３と、ＭＩＣ（microphone）２４と、解錠制御部２５と、補助記憶装置２６とは、バス１２を介して互いに通信可能に接続されている。なお、カメラＣＭ１は、図示しないレンズを含む光学系を含む。ＩＳＰ１４は端末１００に含まれていれば、カメラＣＭ１に含まれていなくてもよい。図示は省略するが、端末１００は、端末１００をネットワークに接続するためのインタフェースを含んでいてもよい。
【0017】
ＣＰＵ１１はメモリ１５に、補助記憶装置２６に格納された各種プログラムをロードし、メモリ１５にロードされたプログラムを実行することにより、端末１００の姿勢検知部１６、モード制御部１７、顔認証部１８及び解錠制御部２５などの各機能を実現する。
【0018】
撮像素子１３は、画像を電気信号に変換して取り出すための素子であり、格子状に並んだ複数の画素と、周知の読み出し回路等とを含む。撮像素子１３には、カメラＣＭ１が備える光学系（不図示）によって集光された光が入射する。撮像素子１３は、光学系（不図示）からの入射光を受光し、光電変換を行って、画像信号を生成し出力する。画像信号は、ＲＡＷデータとしてＩＳＰ１４に出力される。
【0019】
ＩＳＰ１４は、ＲＡＷデータをＪＰＥＧ等に変換する等、ＬＣＤ２０に表示可能なデータ形式の画像データを生成するための処理を行うことにより、画像データ（画像）を生成する。ＩＳＰ１４は、モード制御部１７からの指令に応じて、撮像素子１３の動作モードを画素加算モード及び等倍読み出しモードの何れかに設定する。なお、ＩＳＰ１４は、便宜上、「画像処理部」とも称呼される場合がある。等倍読み出しモードは、便宜上、「第１モード」とも称呼される場合があり、画素加算モードは、便宜上、「第２モード」とも称呼される場合がある。
【0020】
画素加算モードでは、撮像素子１３は、複数の画素（例えば、上下２画素の４画素）で構成されるブロック単位で各画素からの画像信号を加算することにより、各ブロック単位の画素から加算画像信号を読み出して出力する。
【0021】
等倍読み出しモードでは、撮像素子１３は、画素数を削減することなく各画素から画素毎の画像信号を読み出して出力する。
【0022】
等倍読み出しモードでは、ＩＳＰ１４によって読み出す画素が指定されることによって、撮像素子１３は、指定された画素から画素毎の画像信号を読み出して出力できるようになっている。
【0023】
メモリ１５は、主記憶装置（例えば、ＲＡＭ）であり、メモリ１５には、上述したようにＣＰＵ１１が実行する各種プログラムがロードされ、ＣＰＵ１１が各種プログラムを実行する際に使用するデータが一時的に記憶される。
【0024】
姿勢検知部１６は、ＩＳＰ１４によって生成された画像データ（画像）を取得し、取得した画像データを用いてユーザＵｓ１（人物）の姿勢検知を実行する。姿勢検知とは、ユーザＵｓ１の画像に基づいて、ユーザＵｓ１の骨格、関節、所定部位（例えば、目、耳、口、鼻）等を抽出（認識）することである。なお、姿勢検知は、周知のアルゴリズムにより実現可能であるので、詳細な説明は省略する。
【0025】
姿勢検知部１６は、姿勢検知により、画像からユーザＵｓ１の骨格、関節、所定部位等を抽出（認識）し、これらを表す情報（例えば、線Ｌ１０（図３を参照。）で表された骨格等の位置情報等）を取得する。なお、位置情報は、例えば、所定の２次元座標におけるｘｙ座標（値）（＝ｘ、ｙ）で表される。
姿勢検知部１６は、検出したユーザＵｓ１の骨格等を表す情報から顔の向き及び顔の領域を示す座標（顔座標）を検出する。
姿勢検知部１６は、検出したユーザＵｓ１の骨格等を表す情報から顔の向き及び顔の領域を示す座標（顔座標）を検出する。
【0026】
モード制御部１７は、姿勢検知部１６の検出結果に基づいて、ＩＳＰ１４を介して、撮像素子１３の動作モードを切り替える。
【0027】
顔認証部１８は、ＩＳＰ１４から取得した顔周辺領域の画像を用いて、顔認証を実行する。なお、「顔周辺領域」とは、少なくとも顔全体を含む領域であり、例えば、顔全体及び顔の周辺を含む領域である。端末１００は、画像にて検出されたユーザＵｓ１の顔の特徴量を抽出する。端末１００は、抽出した特徴量に基づいて、抽出した特徴量が端末１００の補助記憶装置２６に格納されたユーザ管理情報２６ａに登録済みの顔の特徴量と一致するユーザＵｓ１を特定できた場合、そのユーザＵｓ１を登録済みのユーザ本人であると認証する（即ち、認証が成功する。）。
【0028】
姿勢検知部１６、モード制御部１７及び顔認証部１８は、例えば、プログラムにより構成される。ＣＰＵ１１は、プログラムを実行することにより、姿勢検知部１６、モード制御部１７及び顔認証部１８の各機能を実現する。なお、姿勢検知部１６、モード制御部１７及び顔認証部１８は、便宜上、「制御部」とも称呼される場合がある。制御部は、解錠制御部２５を含んでいてもよく、図１０のコード認証部１１５を含んでいてもよい。
【0029】
タッチパネル１９はタッチスクリーンとも称呼され、画面に触れた位置を検知することが可能なパネルである。
【0030】
ＬＣＤＣ２０は、ＬＣＤコントローラであり、画像データを取得し、ＬＣＤ２０に画像を表示する。
【0031】
ＬＣＤ２１は、画像を表示可能な液晶ディスプレイ（表示装置）である。
【0032】
音声処理回路２２は、端末１００から出力する音声を生成するための処理を行う回路である。
【0033】
ＳＰ２３は、電気信号を音に変換する装置である。
【0034】
ＭＩＣ２４は、外部の音を集音する集音装置である。
【0035】
解錠制御部２５は、顔認証部１８による認証結果に応じて、ドア解錠施錠装置２００にドアＤＲ１の電気錠２０２を解錠及び閉錠の何れかに制御させるための解錠制御信号を送信する。解錠制御部２５は、例えば、プログラムにより構成される。ＣＰＵ１１は、プログラムを実行することにより、解錠制御部２５の機能を実現する。
【0036】
補助記憶装置２６は、データの読み出し及び書き込み可能な不揮発性の記憶装置（記憶媒体）であり、上述したプログラム及びユーザ管理情報２６ａ等が格納されている。ユーザ管理情報２６ａには、例えば、ユーザを識別するためのユーザＩＤと、ユーザの名称と、ユーザの顔の特徴量とが互いに対応付けられて格納されている。
【0037】
ドア解錠施錠装置２００は、解錠制御装置２０１（解錠施錠制御装置）と電気錠２０２とドア開閉センサ２０３とを含む。解錠制御装置２０１は、端末１００の解錠制御部２５から送信される解錠制御信号（解錠信号、施錠信号）を受信し、受信した解錠制御信号（解錠信号、施錠信号）に応じて電気錠２０２を制御するための制御装置である。
【0038】
電気錠２０２は、ドアＤＲ１に設置される。電気錠２０２は、受信した解錠制御信号に応じて解錠制御装置２０１から送信される信号により、施錠及び解錠の何れかに制御される。電気錠２０２が施錠及び解錠の何れかに制御されることにより、ドアＤＲ１が施錠及び解錠の何れかに制御される。
【0039】
ドア開閉センサ２０３は、ドアＤＲ１が開状態及び閉状態の何れの状態にあるかを検出する周知のセンサである。ドア開閉センサ２０３は、ドアＤＲ１が開状態及び閉状態の何れの状態にあるかを検出し、端末１００に送信する。
【0040】
端末１００は、ドアＤＲ１が閉状態から開状態に変化した場合にドアＤＲ１が開いたこと（ドア開）を検出し、ドアＤＲ１が開状態から閉状態に変化した場合にドアＤＲ１が閉まったこと（ドア閉）を検出する。
【0041】
＜作動の概要＞
第１実施形態に係る端末１００の作動の概要について説明する。第１実施形態に係る端末１００のモード制御部１７は、撮像素子１３の動作モードを、画素加算モード及び等倍読み出しモードの何れかに設定する（切り替える）ように制御する。
第１実施形態に係る端末１００の作動の概要について説明する。第１実施形態に係る端末１００のモード制御部１７は、撮像素子１３の動作モードを、画素加算モード及び等倍読み出しモードの何れかに設定する（切り替える）ように制御する。
【0042】
モード制御部１７は、端末１００の動作を開始（図示しない端末１００の電源をＯＮ）した直後において、撮像素子１３の動作モードを画素加算モードに設定する。図３に示すように、画素加算モードでは、撮像素子１３は、複数の画素から構成されるブロック単位で各画素からの画像信号を加算し、加算した画像信号を出力する。ＩＳＰ１４には、撮像素子１３から加算した画像信号が入力される。ＩＳＰ１４は入力された画像信号を用いて、画像データを生成する。画素加算モードの一例では、撮像素子１３は枠線ＢＲに示すように上下２画素（計４画素）からの画像信号を加算して読み出してＩＳＰ１４に出力し、縦及び横のそれぞれの画素数を１／２に縮小する。なお、図３の画素数はあくまでも例示であり、撮像素子１３の画素数及び各画像の画素数は図に示した画素数に限定されるものではない（他の図においても同様。）。
【0043】
姿勢検知部１６は、カメラＣＭ１の撮像範囲にユーザＵｓ１が存在している場合に取得された画像データを用いて、画像に映るユーザＵｓ１（人物）の姿勢検知を実行する。端末１００は、画素加算モードで取得された画像を用いて姿勢検知を実行することにより、高画素の撮像素子１３を使用した場合であっても、姿勢検知の処理負荷を低減できる。
【0044】
姿勢検知部１６は、姿勢検知によって、ユーザＵｓ１の顔の向き及び画像中の顔の領域を示す座標（顔座標）を取得する。姿勢検知部１６は、ユーザＵｓ１の顔の向きがカメラＣＭ１の存在する方向にあるか否かを判定することによって、ユーザＵｓ１の顔がカメラＣＭ１の方を向いているか否かを判定する。
【0045】
モード制御部１７は、姿勢検知部１６から判定結果を取得し、判定結果に基づいて、撮像素子１３の動作モードを切り替える。具体的に述べると、ユーザＵｓ１の顔がカメラＣＭ１の方を向いている場合、モード制御部１７は、撮像素子１３の動作モードを、画素加算モードから等倍読み出しモードに切り替える。
【0046】
更に、モード制御部１７は、顔座標に基づいて、ＩＳＰ１４を介して、撮像素子１３に対して画像信号を出力させる顔周辺領域に対応する画素を指定する。ＩＳＰ１４は、撮像素子１３の顔周辺領域のみに対応する画素から画像信号を出力するように設定する。
【0047】
これにより、図４Ａに示すように、等倍読み出しモードでは、ＩＳＰ１４は、全体画像の一部の領域の画像（全体画像から顔周辺領域を切り出した画像）である顔周辺領域の画像を生成する。即ち、撮像素子１３は、撮像素子１３の枠線Ｒ１により示す顔周辺領域に対応する各画素から画像信号を読み出してＩＳＰ１４に出力する。ＩＳＰ１４は、撮像素子１３から入力された画像信号を用いて、顔周辺領域の画像データを生成する。端末１００の顔認証部１８は、画像データを用いて、顔認証を実行する。
【0048】
なお、図４Ｂに示すように、画像中のユーザＵｓ１の位置が変わっても、全体画像の一部の領域の画像である顔周辺領域の画像を生成することができる。即ち、姿勢検知部１６は、ユーザＵｓ１の位置が変化しても、随時ユーザＵｓ１の動きを追従できるので、ユーザＵｓ１の位置に応じた顔周辺領域を特定できる。ＩＳＰ１４は、等倍読み出しモードで、撮像素子１３に枠線Ｒ２により示す姿勢検知部１６によって特定された顔周辺領域に対応する各画素から画像信号を読み出させて出力させ、撮像素子１３から入力された画像信号を用いて、顔周辺領域の画像データを生成する。端末１００の顔認証部１８は、画像中のユーザＵｓ１の位置が変わっても、画像データを用いて、顔認証を実行することができる。
【0049】
モード制御部１７は、顔認証を実行した後、撮像素子１３の動作モードを、等倍読み出しモードから画素加算モードに設定する（切り替える。）。
【0050】
以上説明したように、第１実施形態に係る端末１００は、低処理負荷且つ広い範囲の画像を取得可能な画素加算モードでユーザＵｓ１の姿勢検知を実行する。端末１００は、姿勢検知の結果に基づいて、ユーザＵｓ１の顔がカメラＣＭ１の方を向いているときに、撮像素子１３の動作モードを等倍読み出しモードに切り替えて、ユーザＵｓ１の顔認証に必要な（適切な）顔の正面の顔を含む顔周辺領域の画像を取得する。端末１００は、取得したユーザＵｓ１の顔周辺領域の画像を用いて顔認証を実行する。これにより、端末１００は、低処理負荷で顔認証に必要な（適切な）顔画像を取得できる可能性を向上できる。
【0051】
＜具体的作動＞
第１実施形態に係る端末１００の具体的作動について説明する。図５は端末１００が実行する処理フローを示すフローチャートである。なお、ステップ５０１、ステップ５１０及びステップ５１１は、端末１００の解錠制御部２５によって実行される。ステップ５０３は、端末１００の姿勢検知部１６によって実行される。ステップ５０２、ステップ５０４、ステップ５０５及びステップ５０６は、端末１００のモード制御部１７によって実行される。ステップ５０７は、端末１００のＩＳＰ１４によって実行される。ステップ５０８及びステップ５０９は、端末１００の顔認証部１８によって実行される。
第１実施形態に係る端末１００の具体的作動について説明する。図５は端末１００が実行する処理フローを示すフローチャートである。なお、ステップ５０１、ステップ５１０及びステップ５１１は、端末１００の解錠制御部２５によって実行される。ステップ５０３は、端末１００の姿勢検知部１６によって実行される。ステップ５０２、ステップ５０４、ステップ５０５及びステップ５０６は、端末１００のモード制御部１７によって実行される。ステップ５０７は、端末１００のＩＳＰ１４によって実行される。ステップ５０８及びステップ５０９は、端末１００の顔認証部１８によって実行される。
【0052】
端末１００はステップ５００から処理を開始して以下に述べるステップ５０１乃至ステップ５０３の処理を順に実行した後、ステップ５０４に進む。
【0053】
ステップ５０１：端末１００は、解錠制御装置２０１にドアＤＲ１の電気錠２０２を施錠するための施錠信号を送信することにより、解錠制御装置２０１によってドアＤＲ１の電気錠２０２を施錠させる。
【0054】
ステップ５０２：端末１００は、撮像素子１３の動作モードを画素加算モードに設定する。
【0055】
ステップ５０３：端末１００は、画像データを用いて、姿勢検知を実行する。
【0056】
端末１００はステップ５０４に進むと、姿勢検知によって人物が検知されたか否かを判定する。
【0057】
姿勢検知によって人物が検知されていない場合、端末１００はステップ５０４にて「Ｎｏ」と判定してステップ５０３に戻る。
【0058】
姿勢検知によって人物が検知された場合、端末１００はステップ５０４にて「Ｙｅｓ」と判定してステップ５０５に進み、姿勢検知によって検出した顔の向きがカメラＣＭ１の存在する方向にあるか否かを判定することによって、人物の顔がカメラＣＭ１の方を向いているか否かを判定する。
【0059】
人物の顔がカメラＣＭ１の方を向いていない場合、端末１００はステップ５０５にて「Ｎｏ」と判定してステップ５０３に戻る。
【0060】
人物の顔がカメラＣＭ１の方を向いている場合、端末１００はステップ５０５にて「Ｙｅｓ」と判定し、以下に述べるステップ５０６乃至ステップ５０８の処理を順に実行した後、ステップ５０９に進む。
【0061】
ステップ５０６：端末１００は、撮像素子１３の動作モードを等倍読み出しモードに切り替える。
【0062】
ステップ５０７：端末１００は、姿勢検知によって検出した顔座標に基づいて、顔周辺領域の画像を生成して出力する。
【0063】
ステップ５０８：端末１００は、顔周辺領域の画像を用いて、画像から顔の特徴量を抽出し、抽出した顔の特徴量と一致する顔の特徴量がユーザ管理情報２６ａに登録されているか否かを判定することにより、顔認証を実行する。
【0064】
端末１００は、ステップ５０９に進むと、顔認証において、抽出した顔の特徴量と一致する顔の特徴量がユーザ管理情報２６ａに登録されているか否かを判定する。
【0065】
抽出した顔の特徴量と一致する顔の特徴量がユーザ管理情報２６ａに登録されていない場合（即ち、認証が失敗した場合）、端末１００はステップ５０９にて「Ｎｏ」と判定してステップ５０１に戻る。
【0066】
抽出した顔の特徴量と一致する顔の特徴量がユーザ管理情報２６ａに登録されている場合（即ち、認証が成功した場合）、端末１００はステップ５０９にて「Ｙｅｓ」と判定してステップ５１０に進み、解錠制御装置２０１にドアＤＲ１の電気錠２０２を解錠するための解錠信号を送信することにより、解錠制御装置２０１によってドアＤＲ１の電気錠２０２を解錠させる（ドアＤＲ１を解錠させる。）。
【0067】
その後、端末１００はステップ５１１に進み、ドア開閉センサ２０３によって検出されたドアＤＲ１の開閉状態に基づいて、ドアＤＲ１が開状態から閉状態に変わるドア閉動作が行われたか否かを判定する。
【0068】
ドア閉動作が行われていない場合、端末１００はステップ５１１にて「Ｎｏ」と判定してステップ５１１に戻る。
【0069】
ドア閉動作が行われた場合、端末１００はステップ５１１にて「Ｙｅｓ」と判定してステップ５０１に戻る。
【0070】
＜効果＞
以上説明したように、本発明の第１実施形態に係る端末１００は、顔認証に使用する適切な顔画像を取得できる可能性を向上できる。更に、端末１００は、姿勢検知を低処理負荷で実行できるので、顔認証の処理負荷を低減することができる。
以上説明したように、本発明の第１実施形態に係る端末１００は、顔認証に使用する適切な顔画像を取得できる可能性を向上できる。更に、端末１００は、姿勢検知を低処理負荷で実行できるので、顔認証の処理負荷を低減することができる。
【0071】
<<第２実施形態>>
本発明の第２実施形態に係る端末１００について説明する。第２実施形態に係る端末１００は、以下の点のみにおいて第１実施形態に係る端末１００と相違点を有する。
・端末１００は、画像に複数の人物が映っている場合、複数の人物のそれぞれについて、顔認証を実行する。
本発明の第２実施形態に係る端末１００について説明する。第２実施形態に係る端末１００は、以下の点のみにおいて第１実施形態に係る端末１００と相違点を有する。
・端末１００は、画像に複数の人物が映っている場合、複数の人物のそれぞれについて、顔認証を実行する。
【0072】
以下、この相違点を中心として説明する。
【0073】
＜作動の概要＞
第２実施形態に係る端末１００の作動の概要について説明する。端末１００のモード制御部１７は、画素加算モードで取得された画像に複数の人物が映っている場合において、姿勢検知の結果に基づいて、複数の人物の全てがカメラＣＭ１の方を向いているか否かを判定する。端末１００のモード制御部１７は、複数の人物の全てがカメラＣＭ１の方を向いている場合、撮像素子１３の動作モードを、画素加算モードから等倍読み出しモードに切り替える。
第２実施形態に係る端末１００の作動の概要について説明する。端末１００のモード制御部１７は、画素加算モードで取得された画像に複数の人物が映っている場合において、姿勢検知の結果に基づいて、複数の人物の全てがカメラＣＭ１の方を向いているか否かを判定する。端末１００のモード制御部１７は、複数の人物の全てがカメラＣＭ１の方を向いている場合、撮像素子１３の動作モードを、画素加算モードから等倍読み出しモードに切り替える。
【0074】
更に、モード制御部１７は、ＩＳＰ１４を介して、撮像素子１３に対して画像信号を出力させる複数の人物のそれぞれの顔周辺領域に対応する画素を指定する。ＩＳＰ１４は複数の人物のそれぞれの顔周辺領域のみに対応する撮像素子１３の画素から画像信号を出力するように設定する。
【0075】
これにより、図６に示すように、等倍読み出しモードでは、ＩＳＰ１４は、全体画像から複数の人物のそれぞれの顔周辺領域の画像を生成する。即ち、ＩＳＰ１４は、撮像素子１３に枠線Ｒ３及び枠線Ｒ４により示す顔周辺領域に対応する各画素からの画像信号を読み出させて出力させ、撮像素子１３から入力される画像信号を用いて、複数の人物のそれぞれの顔周辺領域の画像データを生成する。端末１００の顔認証部１８は、各画像データを用いて、各人物の顔認証を実行する。
【0076】
モード制御部１７は、顔認証を実行した後、撮像素子１３の動作モードを、画素加算モードに設定する（切り替える。）。
【0077】
＜具体的作動＞
第２実施形態に係る端末１００の具体的作動について説明する。図７は端末１００が実行する処理フローを示すフローチャートである。なお、ステップ７０１、ステップ７１２及びステップ７１３は、端末１００の解錠制御部２５によって実行される。ステップ７０３は、端末１００の姿勢検知部１６によって実行される。ステップ７０２、ステップ７０４、ステップ７０５、ステップ７０６及びステップ７１１は、端末１００のモード制御部１７によって実行される。ステップ７０７は、端末１００のＩＳＰ１４によって実行される。ステップ７０８、ステップ７０９及びステップ７１０は、端末１００の顔認証部１８によって実行される。
第２実施形態に係る端末１００の具体的作動について説明する。図７は端末１００が実行する処理フローを示すフローチャートである。なお、ステップ７０１、ステップ７１２及びステップ７１３は、端末１００の解錠制御部２５によって実行される。ステップ７０３は、端末１００の姿勢検知部１６によって実行される。ステップ７０２、ステップ７０４、ステップ７０５、ステップ７０６及びステップ７１１は、端末１００のモード制御部１７によって実行される。ステップ７０７は、端末１００のＩＳＰ１４によって実行される。ステップ７０８、ステップ７０９及びステップ７１０は、端末１００の顔認証部１８によって実行される。
【0078】
端末１００はステップ７００から処理を開始して以下に述べるステップ７０１乃至ステップ７０３の処理を順に実行した後、ステップ７０４に進む。
【0079】
ステップ７０１：端末１００は、解錠制御装置２０１にドアＤＲ１の電気錠２０２を施錠するための施錠信号を送信することにより、解錠制御装置２０１にドアＤＲ１の電気錠２０２を施錠させる（ドアＤＲ１を施錠させる。）。
【0080】
ステップ７０２：端末１００は、撮像素子１３の動作モードを画素加算モードに設定する。
【0081】
ステップ７０３：端末１００は、画像データを用いて、姿勢検知を実行する。
【0082】
端末１００はステップ７０４に進むと、姿勢検知によって１以上の人物が検知されたか否かを判定する。
【0083】
姿勢検知によって１以上の人物が検知されていない場合、端末１００はステップ７０４にて「Ｎｏ」と判定してステップ７０３に戻る。
【0084】
姿勢検知によって１以上の人物が検知された場合、端末１００はステップ７０４にて「Ｙｅｓ」と判定してステップ７０５に進み、検知された人物の全てがカメラＣＭ１の方を向いているか否かを判定する。即ち、検知された人物が複数である場合、端末１００は、複数の人物の全てがカメラＣＭ１の方を向いているか否かを判定する。検知された人物が一人である場合、端末１００は、その一人の人物の顔がカメラＣＭ１の方を向いているか否かを判定する。
【0085】
検知された人物の全てがカメラＣＭ１の方を向いていない場合、端末１００はステップ７０５にて「Ｎｏ」と判定してステップ７０３に戻る。
【0086】
検知された人物の全てがカメラＣＭ１の方を向いている場合、端末１００はステップ７０５にて「Ｙｅｓ」と判定し、以下に述べるステップ７０６乃至ステップ７０８の処理を順に実行した後、ステップ７０９に進む。
【0087】
ステップ７０６：端末１００は、撮像素子１３の動作モードを等倍読み出しモードに切り替える。
【0088】
ステップ７０７：端末１００は、姿勢検知によって検知した１以上の人物の中から一人の人物を選択し、選択した人物の顔座標に基づいて、選択した人物の顔周辺領域の画像を生成して出力する。
【0089】
ステップ７０８：端末１００は、選択した人物の顔周辺領域の画像を用いて、画像から顔の特徴量を抽出し、抽出した顔の特徴量と一致する顔の特徴量がユーザ管理情報２６ａに登録されているか否かを判定することにより、顔認証を実行する。
【0090】
端末１００は、ステップ７０９に進むと、顔認証において、抽出した顔の特徴量と一致する顔の特徴量がユーザ管理情報２６ａに登録されているか否かを判定する。
【0091】
抽出した顔の特徴量と一致する顔の特徴量がユーザ管理情報２６ａに登録されていない場合（即ち、認証が失敗した場合）、端末１００はステップ７０９にて「Ｎｏ」と判定してステップ７０１に戻る。
【0092】
抽出した顔の特徴量と一致する顔の特徴量がユーザ管理情報に登録されている場合（即ち、認証が成功した場合）、端末１００はステップ７０９にて「Ｙｅｓ」と判定してステップ７１０に進み、検知された１以上の人物の全ての顔認証が完了したか否かを判定する。
【0093】
検知された１以上の人物の全ての顔認証が完了していない場合、端末１００はステップ７１０にて「Ｎｏ」と判定してステップ７１１に進み、顔周辺領域の画像の生成対象となる顔周辺領域の座標を、検知された１以上の人物のうちの未選択の人物の中から選択した人物の顔周辺領域の座標に更新して、ステップ７０７に戻る。
【0094】
検知された人物の全ての顔認証が完了した場合、端末１００はステップ７１０にて「Ｙｅｓ」と判定してステップ７１２に進み、解錠制御装置２０１にドアＤＲ１の電気錠２０２を解錠するための解錠信号を送信することにより、解錠制御装置２０１によってドアＤＲ１の電気錠２０２を解錠させる（ドアＤＲ１を解錠させる。）。
【0095】
その後、端末１００はステップ７１３に進み、ドアＤＲ１が開状態から閉状態に変わるドア閉動作が行われたか否かを判定する。
【0096】
ドア閉動作が行われていない場合、端末１００はステップ７１３にて「Ｎｏ」と判定してステップ７１３に戻る。ドア閉動作が行われた場合、端末１００はステップ７１３にて「Ｙｅｓ」と判定してステップ７０１に戻る。
【0097】
＜効果＞
以上説明したように、本発明の第２実施形態に係る端末１００は、低処理負荷で顔認証に必要な（適切な）複数の人物の顔画像を取得できる可能性を向上できる。
以上説明したように、本発明の第２実施形態に係る端末１００は、低処理負荷で顔認証に必要な（適切な）複数の人物の顔画像を取得できる可能性を向上できる。
【0098】
<<第２実施形態の変形例>>
上記第２実施形態において、撮像素子１３の読み出し回路が１系統の場合、顔周辺領域を交互（順番）に読み出して時分割で顔認証が実行されるようにしてもよい。
上記第２実施形態において、撮像素子１３の読み出し回路が１系統の場合、顔周辺領域を交互（順番）に読み出して時分割で顔認証が実行されるようにしてもよい。
【0099】
上記第２実施形態において、一つの画像内に二人の人物が含まれている場合、１度の読み出しで二人同時に顔認証が実行されるようにしてもよい。
【0100】
上記第２実施形態において、複数の人物のうち少なくとも一人の顔認証が成功した場合に電気錠２０２が解錠されるようにしてもよい。
【0101】
上記第２実施形態において、撮像素子１３の読み出し回路が２系統の場合、複数の人物のそれぞれの顔周辺領域に対応する画素から画像信号を同時に読み出して、画像信号から生成された画像を用いて、同時に複数の人物の顔認証が実行されるようにしてもよい。
【0102】
<<第３実施形態>>
本発明の第３実施形態に係る端末１００について説明する。第３実施形態に係る端末１００は、以下の点のみにおいて第１実施形態に係る端末１００と相違点を有する。
・端末１００は、画像に複数の人物が映っている場合、複数の人物の中の顔を向いている人から順に、顔認証を行う。
以下、この相違点を中心として説明する。
本発明の第３実施形態に係る端末１００について説明する。第３実施形態に係る端末１００は、以下の点のみにおいて第１実施形態に係る端末１００と相違点を有する。
・端末１００は、画像に複数の人物が映っている場合、複数の人物の中の顔を向いている人から順に、顔認証を行う。
以下、この相違点を中心として説明する。
【0103】
＜作動の概要＞
第３実施形態に係る端末１００の作動の概要について説明する。図８Ａに示すように、端末１００のモード制御部１７は、画素加算モードで取得された画像に複数の人物が映っている場合において、姿勢検知の結果に基づいて、複数の人物の各人物の顔がカメラＣＭ１の方を向いているか否かを判定する。
第３実施形態に係る端末１００の作動の概要について説明する。図８Ａに示すように、端末１００のモード制御部１７は、画素加算モードで取得された画像に複数の人物が映っている場合において、姿勢検知の結果に基づいて、複数の人物の各人物の顔がカメラＣＭ１の方を向いているか否かを判定する。
【0104】
この場合において、カメラＣＭ１の方を向いている人物とカメラＣＭ１の方を向いていない人物とが混在している場合、端末１００のモード制御部１７は、撮像素子１３の動作モードを、画素加算モードから等倍読み出しモードに切り替える。
【0105】
モード制御部１７は、ＩＳＰ１４を介して、撮像素子１３に対して画像信号を出力させるカメラＣＭ１の方を向いている人物の顔周辺領域に対応する画素を指定する。ＩＳＰ１４はカメラＣＭ１の方を向いている人物の顔周辺領域のみに対応する撮像素子１３の画素から画像信号を出力するように設定する。
【0106】
図８Ｂに示すように、等倍読み出しモードでは、ＩＳＰ１４は、全体画像からカメラＣＭ１の方を向いている人物の顔周辺領域の画像を生成する。即ち、ＩＳＰ１４は、撮像素子１３に枠線Ｒ５により示す顔周辺領域に対応する各画素からの画像信号を読み出させて出力させ、撮像素子１３から入力される画像信号を用いて、カメラＣＭ１の方を向いている人物の顔周辺領域の画像データを生成する。端末１００の顔認証部１８は、画像データを用いて、カメラＣＭ１の方を向いている人物の顔認証を実行する。
【0107】
モード制御部１７は、顔認証を実行した後、撮像素子１３の動作モードを、画素加算モードに設定する（切り替える。）。
【0108】
その後、モード制御部１７は、カメラＣＭ１の方を向いていなかった人物の顔がカメラＣＭ１の方を向いた場合、撮像素子１３の動作モードを、画素加算モードから等倍読み出しモードに切り替え、同様に、顔周辺領域の画像を生成し、顔認証を行う。モード制御部１７は、顔認証を実行した後、撮像素子１３の動作モードを、画素加算モードに設定する（切り替える。）。このような動作を、複数の人物の全てについて完了するまで、繰り返す。
【0109】
なお、カメラＣＭ１の方を向いている人物が複数人存在する場合、その複数の人物に対して優先順位を設定し、優先順位の順に、等倍読み出しモードによる顔周辺領域の画像の生成及び顔認証を実行する。優先順位は、顔の大きさ及び顔の向きに基づく顔認証のし易さを基準に設定されてもよい。
【0110】
＜具体的作動＞
第３実施形態に係る端末１００の具体的作動について説明する。図９は端末１００が実行する処理フローを示すフローチャートである。なお、ステップ９０１、ステップ９１２及びステップ９１３は、端末１００の解錠制御部２５によって実行される。ステップ９０３は、端末１００の姿勢検知部１６によって実行される。ステップ９０２、ステップ９０４、ステップ９０５、ステップ９０６及びステップ９１１は、端末１００のモード制御部１７によって実行される。ステップ９０７は、端末１００のＩＳＰ１４によって実行される。ステップ９０８乃至ステップ９１０は、端末１００の顔認証部１８によって実行される。
第３実施形態に係る端末１００の具体的作動について説明する。図９は端末１００が実行する処理フローを示すフローチャートである。なお、ステップ９０１、ステップ９１２及びステップ９１３は、端末１００の解錠制御部２５によって実行される。ステップ９０３は、端末１００の姿勢検知部１６によって実行される。ステップ９０２、ステップ９０４、ステップ９０５、ステップ９０６及びステップ９１１は、端末１００のモード制御部１７によって実行される。ステップ９０７は、端末１００のＩＳＰ１４によって実行される。ステップ９０８乃至ステップ９１０は、端末１００の顔認証部１８によって実行される。
【0111】
端末１００はステップ９００から処理を開始して以下に述べるステップ９０１乃至ステップ９０３の処理を順に実行した後、ステップ９０４に進む。
【0112】
ステップ９０１：端末１００は、解錠制御装置２０１にドアＤＲ１の電気錠２０２を施錠するための施錠信号を送信することにより、解錠制御装置２０１にドアＤＲ１の電気錠２０２を施錠させる（ドアＤＲ１を施錠させる。）。
【0113】
ステップ９０２：端末１００は、撮像素子１３の動作モードを画素加算モードに設定する。
【0114】
ステップ９０３：端末１００は、画像データを用いて、姿勢検知を実行する。
【0115】
端末１００はステップ９０４に進むと、姿勢検知によって画像に映っている人物の中に未認証人物が存在するか否かを判定する。
【0116】
画像に未認証人物（人物）が存在しない場合、端末１００はステップ９０４にて「Ｎｏ」と判定してステップ９０３に戻る。
【0117】
画像に映っている人物の中に未認証人物が存在する場合、端末１００はステップ９０４にて「Ｙｅｓ」と判定してステップ９０５に進み、検知した未認証人物の顔がカメラＣＭ１の方を向いているか否かを判定する。
【0118】
検知した未認証人物の顔がカメラＣＭ１の方を向いていない場合、端末１００は、ステップ９０５にて「Ｎｏ」と判定してステップ９０３に戻る。
【0119】
検知した未認証人物の顔がカメラＣＭ１の方を向いている場合、端末１００は、ステップ９０５にて「Ｙｅｓ」と判定し、以下に述べるステップ９０６乃至ステップ９０８の処理を順に実行した後、ステップ９０９に進む。
【0120】
ステップ９０６：端末１００は、撮像素子１３の動作モードを等倍読み出しモードに切り替える。
【0121】
ステップ９０７：端末１００は、カメラＣＭ１の方を向いている人物の顔座標に基づいて、その人物の顔周辺領域の画像を生成して出力する。
【0122】
ステップ９０８：端末１００は、顔周辺領域の画像を用いて、顔認証を実行する。
【0123】
端末１００は、ステップ９０９に進むと、顔認証において、抽出した顔の特徴量と一致する顔の特徴量がユーザ管理情報２６ａに登録されているか否かを判定する。
【0124】
顔認証において、抽出した顔の特徴量と一致する顔の特徴量がユーザ管理情報２６ａに登録されていない場合（即ち、認証が失敗した場合）、端末１００はステップ９０９にて「Ｎｏ」と判定してステップ９０１に戻る。
【0125】
顔認証において、抽出した顔の特徴量と一致する顔の特徴量がユーザ管理情報２６ａに登録されていている場合（即ち、認証が成功した場合）、端末１００はステップ９０９にて「Ｙｅｓ」と判定してステップ９１０に進み、画像に映っている全ての人物の顔認証が完了したか否かを判定する。
【0126】
画像に映っている全ての人物の顔認証が完了していない場合、端末１００はステップ９１０にて「Ｎｏ」と判定してステップ９１１に進み、撮像素子１３の動作モードを等倍読み出しモードから画素加算モードに切り替えて、認証対象人物を、次の顔認証対象の人物に更新して、ステップ９０３に戻る。
【0127】
画像に映っている全ての人物の顔認証が完了した場合、端末１００はステップ９１０にて「Ｙｅｓ」と判定してステップ９１２に進み、解錠制御装置２０１にドアＤＲ１の電気錠２０２を解錠するための解錠信号を送信することにより、解錠制御装置２０１にドアＤＲ１の電気錠２０２を解錠させる（ドアＤＲ１を解錠させる。）。
【0128】
その後、端末１００はステップ９１３に進み、ドアＤＲ１が開状態から閉状態に変わるドア閉動作が行われたか否かを判定する。
【0129】
ドア閉動作が行われていない場合、端末１００はステップ９１３にて「Ｎｏ」と判定してステップ９１３に戻る。
【0130】
ドア閉動作が行われた場合、端末１００はステップ９１３にて「Ｙｅｓ」と判定してステップ９０１に戻る。
【0131】
＜効果＞
以上説明したように、本発明の第３実施形態に係る端末１００は、低処理負荷で顔認証に必要な（適切な）複数の人物の顔画像を取得できる可能性を向上できる。
以上説明したように、本発明の第３実施形態に係る端末１００は、低処理負荷で顔認証に必要な（適切な）複数の人物の顔画像を取得できる可能性を向上できる。
【0132】
<<第３実施形態の変形例>>
上記第３実施形態において、姿勢検知において、カメラＣＭ１の方を向いていない人が複数いる場合、一人の人物に対して所定の判定時間だけ姿勢検知を実行し、その後、姿勢検知の対象を変更することにより、ローテーションで一人ずつ人物の顔がカメラＣＭ１の方を向いているか否かを判定するようにしてもよい。この場合において、所定の判定時間は、人物の顔がカメラＣＭ１の方を向いているか否かを判定するのに適した時間が設定されることが好ましい。
上記第３実施形態において、姿勢検知において、カメラＣＭ１の方を向いていない人が複数いる場合、一人の人物に対して所定の判定時間だけ姿勢検知を実行し、その後、姿勢検知の対象を変更することにより、ローテーションで一人ずつ人物の顔がカメラＣＭ１の方を向いているか否かを判定するようにしてもよい。この場合において、所定の判定時間は、人物の顔がカメラＣＭ１の方を向いているか否かを判定するのに適した時間が設定されることが好ましい。
【0133】
<<第４実施形態>>
本発明の第４実施形態に係る端末１００について説明する。第４実施形態に係る端末１００は、以下の点のみにおいて第１実施形態に係る端末１００と相違点を有する。
・端末１００は、顔認証に加えて、二次元コード認証を実行する。
以下、この相違点を中心として説明する。
本発明の第４実施形態に係る端末１００について説明する。第４実施形態に係る端末１００は、以下の点のみにおいて第１実施形態に係る端末１００と相違点を有する。
・端末１００は、顔認証に加えて、二次元コード認証を実行する。
以下、この相違点を中心として説明する。
【0134】
＜構成＞
図１０は第４実施形態に係る端末１００の構成例を示す概略ブロック図である。図１０に示すように、端末１００はコード認証部１１５を含む。コード認証部１１５は、画像に映っている二次元コードを認識し、認識した二次元コードの認証を行う。なお、ＣＰＵ１１はメモリ１５に各種プログラムをロードし、メモリ１５にロードされたプログラムを実行することにより、端末１００のコード認証部１１５の機能を実現する。ユーザ管理情報２６ａには、例えば、ユーザを識別するためのユーザＩＤと、ユーザの名称と、ユーザの顔の特徴量と、認証用の情報（例えば、ユーザを特定するための情報）とが互いに対応付けられて格納されている。
以上の点以外は、図１に示した端末１００の構成と同様である。
図１０は第４実施形態に係る端末１００の構成例を示す概略ブロック図である。図１０に示すように、端末１００はコード認証部１１５を含む。コード認証部１１５は、画像に映っている二次元コードを認識し、認識した二次元コードの認証を行う。なお、ＣＰＵ１１はメモリ１５に各種プログラムをロードし、メモリ１５にロードされたプログラムを実行することにより、端末１００のコード認証部１１５の機能を実現する。ユーザ管理情報２６ａには、例えば、ユーザを識別するためのユーザＩＤと、ユーザの名称と、ユーザの顔の特徴量と、認証用の情報（例えば、ユーザを特定するための情報）とが互いに対応付けられて格納されている。
以上の点以外は、図１に示した端末１００の構成と同様である。
【0135】
＜作動の概要＞
第４実施形態に係る端末１００の作動の概要について説明する。端末１００のモード制御部１７は、図１１Ａに示すように、画素加算モードで取得された画像に人物が映っている場合において、姿勢検知の結果に基づいて、人物の顔がカメラＣＭ１の方を向いているか否かを判定する。端末１００のモード制御部１７は、人物の顔がカメラＣＭ１の方を向いている場合、撮像素子１３の動作モードを、画素加算モードから等倍読み出しモードに切り替える。更に、モード制御部１７は、ＩＳＰ１４を介して、撮像素子１３に対して画像信号を出力させる人物の顔周辺領域及びその人物の手を含む領域（手の位置を含む領域）に対応する画素を指定する。ＩＳＰ１４は、人物の顔周辺領域及びその人物の手を含む領域のみに対応する撮像素子１３の画素から画像信号を出力するように設定する。
第４実施形態に係る端末１００の作動の概要について説明する。端末１００のモード制御部１７は、図１１Ａに示すように、画素加算モードで取得された画像に人物が映っている場合において、姿勢検知の結果に基づいて、人物の顔がカメラＣＭ１の方を向いているか否かを判定する。端末１００のモード制御部１７は、人物の顔がカメラＣＭ１の方を向いている場合、撮像素子１３の動作モードを、画素加算モードから等倍読み出しモードに切り替える。更に、モード制御部１７は、ＩＳＰ１４を介して、撮像素子１３に対して画像信号を出力させる人物の顔周辺領域及びその人物の手を含む領域（手の位置を含む領域）に対応する画素を指定する。ＩＳＰ１４は、人物の顔周辺領域及びその人物の手を含む領域のみに対応する撮像素子１３の画素から画像信号を出力するように設定する。
【0136】
これにより、図１１Ｂに示すように、等倍読み出しモードでは、全体画像の一部の領域である人物の顔周辺領域及びその人物の手を含む領域の画像が生成される。即ち、ＩＳＰ１４は、撮像素子１３に枠線Ｒ６により示す顔周辺領域及び手を含む領域に対応する各画素からの画像信号を読み出させて出力させ、撮像素子１３から入力された画像信号を用いて、人物の顔周辺領域及び手を含む領域の画像データを生成する。端末１００の顔認証部１８は、各画像データを用いて、人物の顔認証及び二次元コード認証を実行する。
【0137】
モード制御部１７は、顔認証及び二次元コード認証を実行した後、撮像素子１３の動作モードを、画素加算モードに設定する（切り替える。）。
【0138】
＜具体的作動＞
第４実施形態に係る端末１００の具体的作動について説明する。図１２は端末１００が実行する処理フローを示すフローチャートである。なお、ステップ１２０１、ステップ１２１５及びステップ１２１６は、端末１００の解錠制御部２５によって実行される。ステップ１２０３は、端末１００の姿勢検知部１６によって実行される。ステップ１２０２、ステップ１２０４乃至ステップ１２０６、ステップ１２１０、及び、ステップ１２１２は、端末１００のモード制御部１７によって実行される。ステップ１２０７及びステップ１２１１は、端末１００のＩＳＰ１４によって実行される。ステップ１２０８及びステップ１２０９は、端末１００の顔認証部１８によって実行される。ステップ１２１３及びステップ１２１４は、端末１００のコード認証部１１５によって実行される。
第４実施形態に係る端末１００の具体的作動について説明する。図１２は端末１００が実行する処理フローを示すフローチャートである。なお、ステップ１２０１、ステップ１２１５及びステップ１２１６は、端末１００の解錠制御部２５によって実行される。ステップ１２０３は、端末１００の姿勢検知部１６によって実行される。ステップ１２０２、ステップ１２０４乃至ステップ１２０６、ステップ１２１０、及び、ステップ１２１２は、端末１００のモード制御部１７によって実行される。ステップ１２０７及びステップ１２１１は、端末１００のＩＳＰ１４によって実行される。ステップ１２０８及びステップ１２０９は、端末１００の顔認証部１８によって実行される。ステップ１２１３及びステップ１２１４は、端末１００のコード認証部１１５によって実行される。
【0139】
端末１００はステップ１２００から処理を開始して以下に述べるステップ１２０１乃至ステップ１２０３の処理を順に実行した後、ステップ１２０４に進む。
【0140】
ステップ１２０１：端末１００は、解錠制御装置２０１にドアＤＲ１の電気錠２０２を施錠するための施錠信号を送信することにより、解錠制御装置２０１にドアＤＲ１の電気錠２０２を施錠させる（ドアＤＲ１を施錠させる。）。
【0141】
ステップ１２０２：端末１００は、撮像素子１３の動作モードを画素加算モードに設定する。
【0142】
ステップ１２０３：端末１００は、画像データを用いて、姿勢検知を実行する。
【0143】
端末１００はステップ１２０４に進むと、姿勢検知によって人物が検知されたか否かを判定する。
【0144】
姿勢検知によって人物が検知されていない場合、端末１００はステップ１２０４にて「Ｎｏ」と判定してステップ１２０３に戻る。
【0145】
姿勢検知によって人物が検知された場合、端末１００はステップ１２０４にて「Ｙｅｓ」と判定してステップ１２０５に進み、人物の顔がカメラＣＭ１の方を向いているか否かを判定する。
【0146】
人物の顔がカメラＣＭ１の方を向いていない場合、端末１００はステップ１２０５にて「Ｎｏ」と判定してステップ１２０３に戻る。
【0147】
人物の顔がカメラＣＭ１の方を向いている場合、端末１００はステップ１２０５にて「Ｙｅｓ」と判定し、以下に述べるステップ１２０６乃至ステップ１２０８の処理を順に実行した後、ステップ１２０９に進む。
【0148】
ステップ１２０６：端末１００は、撮像素子１３の動作モードを等倍読み出しモードに切り替える。
【0149】
ステップ１２０７：端末１００は、姿勢検知によって検出した顔座標及び手の位置（手の位置を示す座標）に基づいて、顔周辺領域及び手を含む領域の画像を生成して出力する。
【0150】
ステップ１２０８：端末１００は、顔周辺領域及び手を含む領域の画像を用いて、画像から顔の特徴量を抽出し、抽出した顔の特徴量と一致する顔の特徴量がユーザ管理情報２６ａに登録されているか否かを判定することにより、顔認証を実行する。
【0151】
端末１００は、ステップ１２０９に進むと、顔認証において、抽出した顔の特徴量と一致する顔の特徴量がユーザ管理情報２６ａに登録されているか否かを判定する。
【0152】
抽出した顔の特徴量と一致する顔の特徴量がユーザ管理情報２６ａに登録されていない場合（即ち、認証が失敗した場合）、端末１００はステップ１２０９にて「Ｎｏ」と判定してステップ１２０１に戻る。
【0153】
抽出した顔の特徴量と一致する顔の特徴量がユーザ管理情報に登録されている場合（即ち、認証が成功した場合）、端末１００はステップ１２０９にて「Ｙｅｓ」と判定してステップ１２１０に進み、顔周辺領域及び手を含む領域の画像に映る人物の手にもっている携帯端末の画面に二次元コードがあるか否かを判定する。なお、携帯端末は、便宜上、「認証用コード表示媒体」とも称呼される場合がある。
【0154】
顔周辺領域及び手を含む領域の画像に映る人物の手にもっている携帯端末の画面に二次元コードがない場合、端末１００はステップ１２１０にて「Ｎｏ」と判定してステップ１２１１に進み、再度（別のタイミング）で顔周辺領域及び手を含む領域の画像を生成した後、ステップ１２１０に戻る。なお、このとき、撮像素子１３の動作モードを画素加算モードに切り替えて姿勢検知を実行した後に等倍読み出しモードに変更して、顔周辺領域及び手を含む領域の画像を生成するための画像信号が出力されるようにしてもよい。
【0155】
顔周辺領域及び手を含む領域の画像に映る人物の手にもっている携帯端末の画面に二次元コードがある場合、端末１００はステップ１２１０にて「Ｙｅｓ」と判定してステップ１２１２に進み、顔周辺領域及び手を含む領域の画像に映る二次元コードがカメラＣＭ１の方を向いているか否かを判定する。
【0156】
顔周辺領域及び手を含む領域の画像に映る二次元コードがカメラＣＭ１の方を向いていない場合、端末１００はステップ１２１２にて「Ｎｏ」と判定して既述のステップ１２１１の処理を実行した後、ステップ１２１０に戻る。
【0157】
顔周辺領域及び手を含む領域の画像に映る二次元コードがカメラＣＭ１の方を向いている場合、端末１００はステップ１２１２にて「Ｙｅｓ」と判定してステップ１２１３に進み、二次元コード認証を実行する。具体的に述べると、端末１００は、二次元コードの情報がユーザ管理情報２６ａに登録されている認証用の情報と一致する（二次元コードの情報がユーザ管理情報２６ａに登録されている）か否かを判定することにより、二次元コード認証を実行する。
【0158】
その後、端末１００は、ステップ１２１４に進み、二次元コード認証において、二次元コードの情報がユーザ管理情報２６ａに登録されているか否かを判定する。
【0159】
二次元コードの情報がユーザ管理情報２６ａに登録されていない場合（即ち、認証が失敗した場合）、端末１００はステップ１２１４にて「Ｎｏ」と判定してステップ１２０１に戻る。
【0160】
二次元コードの情報がユーザ管理情報２６ａに登録されている場合（即ち、認証が成功した場合）、端末１００はステップ１２１４にて「Ｙｅｓ」と判定してステップ１２１５に進み、解錠制御装置２０１にドアＤＲ１の電気錠２０２を解錠するための解錠信号を送信することにより、解錠制御装置２０１にドアＤＲ１の電気錠２０２を解錠させる（ドアＤＲ１を解錠させる。）。
【0161】
その後、端末１００はステップ１２１６に進み、ドアＤＲ１が開状態から閉状態に変わるドア閉動作が行われたか否かを判定する。
【0162】
ドア閉動作が行われていない場合、端末１００はステップ１２１６にて「Ｎｏ」と判定してステップ１２１５に戻る。
【0163】
ドア閉動作が行われた場合、端末１００はステップ１２１６にて「Ｙｅｓ」と判定してステップ１２０１に戻る。
【0164】
＜効果＞
以上説明したように、本発明の第４実施形態に係る端末１００は、低処理負荷で顔認証に必要な（適切な）人物の顔画像と、当該人物が手に持っている二次元コード画像を取得できる可能性を向上できる。よって画像中に複数の二次元コード画像が映り込んだとしても誤認証することがない。
以上説明したように、本発明の第４実施形態に係る端末１００は、低処理負荷で顔認証に必要な（適切な）人物の顔画像と、当該人物が手に持っている二次元コード画像を取得できる可能性を向上できる。よって画像中に複数の二次元コード画像が映り込んだとしても誤認証することがない。
【0165】
<<第５実施形態>>
本発明の第５実施形態に係る端末１００について説明する。第５実施形態に係る端末１００は、以下の点のみにおいて第４実施形態に係る端末１００と相違点を有する。
・端末１００は、画像に複数の人物が映っている場合、複数の人物のそれぞれについて、顔認証に加えて、二次元コード認証を実行する。
以下、この相違点を中心として説明する。
本発明の第５実施形態に係る端末１００について説明する。第５実施形態に係る端末１００は、以下の点のみにおいて第４実施形態に係る端末１００と相違点を有する。
・端末１００は、画像に複数の人物が映っている場合、複数の人物のそれぞれについて、顔認証に加えて、二次元コード認証を実行する。
以下、この相違点を中心として説明する。
【0166】
＜作動の概要＞
第５実施形態に係る端末１００の作動の概要について説明する。端末１００のモード制御部１７は、図１３Ａに示すように、画素加算モードで取得された画像に複数の人物が映っている場合において、姿勢検知の結果に基づいて、複数の人物の全てがカメラＣＭ１の方を向いているか否かを判定する。端末１００のモード制御部１７は、複数の人物の全てがカメラＣＭ１の方を向いている場合、撮像素子１３の動作モードを、画素加算モードから等倍読み出しモードに切り替える。
第５実施形態に係る端末１００の作動の概要について説明する。端末１００のモード制御部１７は、図１３Ａに示すように、画素加算モードで取得された画像に複数の人物が映っている場合において、姿勢検知の結果に基づいて、複数の人物の全てがカメラＣＭ１の方を向いているか否かを判定する。端末１００のモード制御部１７は、複数の人物の全てがカメラＣＭ１の方を向いている場合、撮像素子１３の動作モードを、画素加算モードから等倍読み出しモードに切り替える。
【0167】
更に、モード制御部１７は、ＩＳＰ１４を介して、撮像素子１３に対して画像信号を出力させる複数の人物のそれぞれの顔周辺領域及びその人物の手を含む領域に対応する画素を指定する。ＩＳＰ１４は、複数の人物のそれぞれの顔周辺領域及びその人物の手を含む領域のみに対応する撮像素子１３の画素から画像信号を出力するように設定する。
【0168】
これにより、図１３Ｂに示すように、等倍読み出しモードでは、全体画像の一部の領域の画像である複数の人物のそれぞれの顔周辺領域及びその人物の手を含む領域の画像を生成する。即ち、ＩＳＰ１４は、撮像素子１３に枠線Ｒ７及び枠線Ｒ８のそれぞれにより示す顔周辺領域及び手を含む領域に対応する各画素からの画像信号を読み出させて出力させ、撮像素子１３から入力された画像信号を用いて、複数の人物のそれぞれの顔周辺領域及び手を含む領域の画像データを生成する。端末１００の顔認証部１８は、各画像データを用いて、各人物の顔認証及び二次元コード認証を実行する。
【0169】
モード制御部１７は、顔認証を実行した後、撮像素子１３の動作モードを、画素加算モードに設定する（切り替える。）。
【0170】
＜具体的作動＞
第５実施形態に係る端末１００の具体的作動について説明する。図１４は端末１００が実行する処理フローを示すフローチャートである。なお、ステップ１４０１、ステップ１４１７及びステップ１４１８は、端末１００の解錠制御部２５によって実行される。ステップ１４０３は、端末１００の姿勢検知部１６によって実行される。ステップ１４０２、ステップ１４０４乃至ステップ１４０６、ステップ１４１０、ステップ１４１２及びステップ１４１６は、端末１００のモード制御部１７によって実行される。ステップ１４０７及びステップ１４１１は、端末１００のＩＳＰ１４によって実行される。ステップ１４０８及びステップ１４０９は、端末１００の顔認証部１８によって実行される。ステップ１４１３乃至ステップ１４１５は、端末１００のコード認証部１１５によって実行される。
第５実施形態に係る端末１００の具体的作動について説明する。図１４は端末１００が実行する処理フローを示すフローチャートである。なお、ステップ１４０１、ステップ１４１７及びステップ１４１８は、端末１００の解錠制御部２５によって実行される。ステップ１４０３は、端末１００の姿勢検知部１６によって実行される。ステップ１４０２、ステップ１４０４乃至ステップ１４０６、ステップ１４１０、ステップ１４１２及びステップ１４１６は、端末１００のモード制御部１７によって実行される。ステップ１４０７及びステップ１４１１は、端末１００のＩＳＰ１４によって実行される。ステップ１４０８及びステップ１４０９は、端末１００の顔認証部１８によって実行される。ステップ１４１３乃至ステップ１４１５は、端末１００のコード認証部１１５によって実行される。
【0171】
端末１００はステップ１４００から処理を開始して以下に述べるステップ１４０１乃至ステップ１４０３の処理を順に実行した後、ステップ１４０４に進む。
【0172】
ステップ１４０１：端末１００は、解錠制御装置２０１にドアＤＲ１の電気錠２０２を施錠するための施錠信号を送信することにより、解錠制御装置２０１にドアＤＲ１の電気錠２０２を施錠させる（ドアＤＲ１を施錠させる。）。
【0173】
ステップ１４０２：端末１００は、撮像素子１３の動作モードを画素加算モードに設定する。
【0174】
ステップ１４０３：端末１００は、画像データを用いて、姿勢検知を実行する。
【0175】
端末１００はステップ１４０４に進むと、姿勢検知によって１以上の人物が検知されたか否かを判定する。姿勢検知によって１以上の人物が検知されていない場合、端末１００はステップ１４０４にて「Ｎｏ」と判定してステップ１４０３に戻る。
【0176】
姿勢検知によって１以上の人物が検知されていない場合、端末１００はステップ１４０４にて「Ｙｅｓ」と判定してステップ１４０５に進み、検知された人物の全てがカメラＣＭ１の方を向いているか否かを判定する。
【0177】
検知された人物の全てがカメラＣＭ１の方を向いていない場合、端末１００はステップ１４０５にて「Ｎｏ」と判定してステップ１４０３に戻る。
【0178】
検知された人物の全てがカメラＣＭ１の方を向いている場合、端末１００はステップ１４０５にて「Ｙｅｓ」と判定し、以下に述べるステップ１４０６乃至ステップ１４０８の処理を順に実行した後、ステップ１４０９に進む。
【0179】
ステップ１４０６：端末１００は、撮像素子１３の動作モードを等倍読み出しモードに切り替える。
【0180】
ステップ１４０７：端末１００は、姿勢検知によって検出した１以上の人物の中から一人の人物を選択し、選択した人物の顔座標及び手の位置（手の位置を示す座標）に基づいて、顔周辺領域及び手を含む領域の画像を生成して出力する。
【0181】
ステップ１４０８：端末１００は、選択した人物の顔周辺領域及び手を含む領域の画像を用いて、画像から顔の特徴量を抽出し、抽出した顔の特徴量と一致する顔の特徴量がユーザ管理情報２６ａに登録されているか否かを判定することにより、顔認証を実行する。
【0182】
端末１００は、ステップ１４０９に進むと、顔認証において、抽出した顔の特徴量と一致する顔の特徴量がユーザ管理情報２６ａに登録されているか否かを判定する。
【0183】
抽出した顔の特徴量と一致する顔の特徴量がユーザ管理情報２６ａに登録されていない場合（即ち、認証が失敗した場合）、端末１００はステップ１４０９にて「Ｎｏ」と判定してステップ１４０１に戻る。
【0184】
抽出した顔の特徴量と一致する顔の特徴量がユーザ管理情報２６ａに登録されている場合（即ち、認証が成功した場合）、端末１００はステップ１４０９にて「Ｙｅｓ」と判定してステップ１４１０に進み、顔周辺領域及び手を含む領域に映る人物の手にもっている携帯端末の画面に二次元コードがあるか否かを判定する。
【0185】
顔周辺領域及び手を含む領域に映る人物の手にもっている携帯端末の画面に二次元コードがない場合、端末１００はステップ１４１０にて「Ｎｏ」と判定してステップ１４１１に進み、再度（別のタイミング）で顔周辺領域及び手を含む領域の画像を生成した後、ステップ１４１０に戻る。なお、このとき、撮像素子１３の動作モードを画素加算モードに切り替えて姿勢検知を実行した後に等倍読み出しモードに変更して、顔周辺領域及び手を含む領域の画像を生成するための画像信号が出力されるようにしてもよい。
【0186】
顔周辺領域及び手を含む領域の画像に映る人物の手にもっている携帯端末の画面に二次元コードがある場合、端末１００はステップ１４１０にて「Ｙｅｓ」と判定してステップ１４１２に進み、顔周辺領域及び手を含む領域に映る二次元コードがカメラＣＭ１の方を向いているか否かを判定する。
【0187】
顔周辺領域及び手を含む領域に映る二次元コードがカメラＣＭ１の方を向いていない場合、端末１００はステップ１４１２にて「Ｎｏ」と判定して既述のステップ１４１１の処理を実行した後、ステップ１４１０に戻る。
【0188】
端末１００はステップ１４１２にて「Ｙｅｓ」と判定してステップ１４１３に進み、二次元コード認証を実行する。具体的に述べると、二次元コードの情報がユーザ管理情報２６ａに登録されている認証用の情報と一致する（二次元コードの情報がユーザ管理情報２６ａに登録されている）か否かを判定することにより、二次元コード認証を実行する。
【0189】
その後、端末１００は、ステップ１４１４に進み、二次元コード認証において、二次元コードの情報がユーザ管理情報２６ａに登録されているか否かを判定する。
【0190】
二次元コードの情報がユーザ管理情報２６ａに登録されていない場合（即ち、認証が失敗した場合）、端末１００はステップ１４１４にて「Ｎｏ」と判定してステップ１４０１に戻る。
【0191】
二次元コードの情報がユーザ管理情報２６ａに登録されている場合（即ち、認証が成功した場合）、端末１００はステップ１４１４にて「Ｙｅｓ」と判定してステップ１４１５に進み、検知された１以上の人物の全ての顔認証及び二次元コード認証が完了したか否かを判定する。
【0192】
検知された１以上の人物の全ての顔認証が完了していない場合、端末１００はステップ１４１５にて「Ｎｏ」と判定してステップ１４１６に進み、顔周辺領域及び手を含む領域の画像の生成対象となる顔周辺領域の座標を、検知された１以上の人物のうちの未選択の人物の中から選択した人物の顔周辺領域の座標に更新して、ステップ１４０７に戻る。
【0193】
検知された人物の全ての顔認証が完了した場合、端末１００はステップ１４１５にて「Ｙｅｓ」と判定してステップ１４１７に進み、解錠制御装置２０１にドアＤＲ１の電気錠２０２を解錠するための解錠信号を送信することにより、解錠制御装置２０１によってドアＤＲ１の電気錠２０２を解錠させる（ドアＤＲ１を解錠させる。）。
【0194】
その後、端末１００はステップ１４１８に進み、ドアＤＲ１が開状態から閉状態に変わるドア閉動作が行われたか否かを判定する。
【0195】
ドア閉動作が行われていない場合、端末１００はステップ１４１８にて「Ｎｏ」と判定してステップ１４１８に戻る。ドア閉動作が行われた場合、端末１００はステップ１４１８にて「Ｙｅｓ」と判定してステップ１４０１に戻る。
【0196】
＜効果＞
以上説明したように、本発明の第５実施形態に係る端末１００は、低処理負荷で顔認証及び二次元コード認証に必要な（適切な）複数の人物の顔画像及び二次元コード画像を取得できる可能性を向上できる。
以上説明したように、本発明の第５実施形態に係る端末１００は、低処理負荷で顔認証及び二次元コード認証に必要な（適切な）複数の人物の顔画像及び二次元コード画像を取得できる可能性を向上できる。
【0197】
<<第５実施形態の変形例>>
上記第５実施形態に対して、上記第３実施形態の特徴を適用してもよい。即ち、端末１００は、画像に複数の人物が映っている場合、複数の人物の中の顔を向いている人から順に、顔認証及び二次元コード認証を行うようにしてもよい。なお、端末１００は、カメラＣＭ１の方を向いている人物が複数人存在する場合、その複数の人物に対して優先順位を設定し、優先順位の順に、等倍読み出しモードによる顔周辺領域及び手を含む領域の画像の生成、顔認証及び二次元コード認証を実行するようにしてもよい。優先順位は、顔の大きさ及び顔の向きに基づく顔認証のし易さを基準に設定されてもよい。
上記第５実施形態に対して、上記第３実施形態の特徴を適用してもよい。即ち、端末１００は、画像に複数の人物が映っている場合、複数の人物の中の顔を向いている人から順に、顔認証及び二次元コード認証を行うようにしてもよい。なお、端末１００は、カメラＣＭ１の方を向いている人物が複数人存在する場合、その複数の人物に対して優先順位を設定し、優先順位の順に、等倍読み出しモードによる顔周辺領域及び手を含む領域の画像の生成、顔認証及び二次元コード認証を実行するようにしてもよい。優先順位は、顔の大きさ及び顔の向きに基づく顔認証のし易さを基準に設定されてもよい。
【0198】
<<その他の変形例>>
本発明は上記各実施形態及び各変形例に限定されることなく、本発明の範囲内において種々の変形例を採用することができる。更に、上記各実施形態及び各変形例は、本発明の範囲を逸脱しない限り、互いに組み合わせることが可能である。
本発明は上記各実施形態及び各変形例に限定されることなく、本発明の範囲内において種々の変形例を採用することができる。更に、上記各実施形態及び各変形例は、本発明の範囲を逸脱しない限り、互いに組み合わせることが可能である。
【0199】
上記各実施形態及び各変形例において、加算した画像信号を出力する回路と、全体画像の一部の領域の画像を生成するための画像信号を出力する回路との２系統が設けられていてもよい。
【0200】
上記各実施形態及び各変形例において、撮像素子１３からの画像信号の出力が２ｃｈ設けられて、同時に画像加算モードで読み出された画像信号及び等倍読み出しモードで読み出された画像信号の両方がＩＳＰ１４に出力されるようにしてもよい。
【0201】
上記第２実施形態及び上記第３実施形態のそれぞれにおいて、端末１００は、複数の人物の少なくとも一人の顔認証が成功したらドアＤＲ１を解錠するようにしてもよい。
【0202】
上記第５実施形態において、端末１００は、複数の人物の少なくとも一人の顔認証及び二次元コード認証が成功したらドアＤＲ１を解錠するようにしてもよい。
【0203】
上記第４実施形態及び上記第５実施形態のそれぞれにおいて、端末１００は、人物の顔認証及び二次元コード認証の何れかが成功したらドアＤＲ１を解錠するようにしてもよい。
【0204】
上記第４実施形態及び上記第５実施形態において、二次元コード認証は、バーコード等を用いたコード認証であってもよい。
【0205】
上記第４実施形態及び上記第５実施形態において、顔認証及び二次元コード認証の順番は、二次元コード認証及び顔認証の順であってもよい。
【0206】
上記各実施形態及び各変形例において、端末１００の画素加算モードは、画像を間引くことにより低解像度の画像を取得する画像間引きモード、あるいは複数画素の値を平均化する画素平均モードであってもよい。画像間引きモード及び画素平均モードも、便宜上、「第２モード」とも称呼される場合がある。
【0207】
上記第１実施形態乃至上記第５実施形態のそれぞれにおいて、端末１００は、顔認証を失敗した場合、顔認証を失敗した同一人物に対して、姿勢検知及び顔認証を所定回数だけ繰り返し、姿勢検知及び顔認証を所定回数失敗した場合、顔認証を失敗した同一人物に対する顔認証を中止するようにしてもよい。
【0208】
上記第１実施形態乃至上記第５実施形態のそれぞれにおいて、端末１００は、二次元コード認証に失敗した場合、二次元コード認証を失敗した同一人物に対して、姿勢検知及び二次元コード認証を所定回数だけ繰り返し、姿勢検知及びコード認証を所定回数失敗した場合、二次元コード認証を失敗した同一人物に対するコード認証を中止するようにしてもよい。
【0209】
上記第４実施形態及び上記第５実施形態において、端末１００は、複数の人物のそれぞれについて、顔の領域及び顔認証の結果と、手の位置及びコード認証の結果とを互いに対応付けて補助記憶装置２６に格納するようにしてもよい。
なお、本発明は以下の構成を採ることもできる。
なお、本発明は以下の構成を採ることもできる。
【0210】
［１］
撮像範囲を撮像する撮像素子を含むカメラと、
前記撮像素子から出力される画像信号を用いて画像を生成する画像処理部と、
前記撮像素子の画像信号を読み出す動作モードを、画素数を削減することなく等倍で画像信号を読み出す第１モード、及び、前記第１モードより低解像度の画像を生成するための画像信号を読み出す第２モードの何れかに設定し、前記第１モード及び前記第２モードの何れかのモードで読み出された画像信号から前記画像処理部によって生成された前記画像を取得する制御部と、
を含み、
前記制御部は、
前記撮像範囲に人物が存在する場合において、前記撮像素子の前記動作モードを前記第２モードに設定し、前記第２モードで読み出された画像信号から生成された前記画像を用いて、姿勢検知を実行することにより、前記人物の顔の向き及び前記顔の領域を取得し、
前記人物の顔の向きが前記カメラの存在する方向にある場合、前記撮像素子の前記動作モードを前記第２モードから前記第１モードに切り替え、前記画像処理部によって、前記第１モードで前記顔の領域に基づく顔周辺領域に対応する画素から読み出された画像信号から、前記人物の前記顔周辺領域を含む認証用画像を生成させ、前記認証用画像を用いて前記人物の顔認証を行うことにより、前記人物の認証を行う、
ように構成された、
顔認証装置。
撮像範囲を撮像する撮像素子を含むカメラと、
前記撮像素子から出力される画像信号を用いて画像を生成する画像処理部と、
前記撮像素子の画像信号を読み出す動作モードを、画素数を削減することなく等倍で画像信号を読み出す第１モード、及び、前記第１モードより低解像度の画像を生成するための画像信号を読み出す第２モードの何れかに設定し、前記第１モード及び前記第２モードの何れかのモードで読み出された画像信号から前記画像処理部によって生成された前記画像を取得する制御部と、
を含み、
前記制御部は、
前記撮像範囲に人物が存在する場合において、前記撮像素子の前記動作モードを前記第２モードに設定し、前記第２モードで読み出された画像信号から生成された前記画像を用いて、姿勢検知を実行することにより、前記人物の顔の向き及び前記顔の領域を取得し、
前記人物の顔の向きが前記カメラの存在する方向にある場合、前記撮像素子の前記動作モードを前記第２モードから前記第１モードに切り替え、前記画像処理部によって、前記第１モードで前記顔の領域に基づく顔周辺領域に対応する画素から読み出された画像信号から、前記人物の前記顔周辺領域を含む認証用画像を生成させ、前記認証用画像を用いて前記人物の顔認証を行うことにより、前記人物の認証を行う、
ように構成された、
顔認証装置。
【0211】
［２］
撮像範囲を撮像する撮像素子を含むカメラと、
前記撮像素子から出力される画像信号を用いて画像を生成する画像処理部と、
前記撮像素子の画像信号を読み出す動作モードを、画素数を削減することなく等倍で画像信号を読み出す第１モード、及び、前記第１モードより低解像度の画像を生成するための画像信号を読み出す第２モードの何れかに設定し、前記第１モード及び前記第２モードの何れかのモードで読み出された画像信号から前記画像処理部によって生成された前記画像を取得する制御部と、
を含む顔認証装置を用いた顔認証方法であって、
前記制御部によって、
前記撮像範囲に人物が存在する場合において、前記撮像素子の前記動作モードを前記第２モードに設定し、前記第２モードで読み出された画像信号から生成された前記画像を用いて、姿勢検知を実行することにより、前記人物の顔の向き及び前記顔の領域を取得し、
前記人物の顔の向きが前記カメラの存在する方向にある場合、前記撮像素子の前記動作モードを前記第２モードから前記第１モードに切り替え、前記画像処理部によって、前記第１モードで前記顔の領域に基づく顔周辺領域に対応する画素から読み出された画像信号から、前記人物の前記顔周辺領域を含む認証用画像を生成させ、前記認証用画像を用いて前記人物の顔認証を行うことにより、前記人物の認証を行う、
顔認証方法。
撮像範囲を撮像する撮像素子を含むカメラと、
前記撮像素子から出力される画像信号を用いて画像を生成する画像処理部と、
前記撮像素子の画像信号を読み出す動作モードを、画素数を削減することなく等倍で画像信号を読み出す第１モード、及び、前記第１モードより低解像度の画像を生成するための画像信号を読み出す第２モードの何れかに設定し、前記第１モード及び前記第２モードの何れかのモードで読み出された画像信号から前記画像処理部によって生成された前記画像を取得する制御部と、
を含む顔認証装置を用いた顔認証方法であって、
前記制御部によって、
前記撮像範囲に人物が存在する場合において、前記撮像素子の前記動作モードを前記第２モードに設定し、前記第２モードで読み出された画像信号から生成された前記画像を用いて、姿勢検知を実行することにより、前記人物の顔の向き及び前記顔の領域を取得し、
前記人物の顔の向きが前記カメラの存在する方向にある場合、前記撮像素子の前記動作モードを前記第２モードから前記第１モードに切り替え、前記画像処理部によって、前記第１モードで前記顔の領域に基づく顔周辺領域に対応する画素から読み出された画像信号から、前記人物の前記顔周辺領域を含む認証用画像を生成させ、前記認証用画像を用いて前記人物の顔認証を行うことにより、前記人物の認証を行う、
顔認証方法。
【0212】
［３］
コンピュータに、
撮像範囲を撮像する撮像素子を含むカメラの前記撮像素子から出力される画像信号を用いて画像を生成する画像処理と、
前記撮像素子の画像信号を読み出す動作モードを、画素数を削減することなく等倍で画像信号を読み出す第１モード、及び、前記第１モードより低解像度の画像を生成するための画像信号を読み出す第２モードの何れかに設定し、前記第１モード及び前記第２モードの何れかのモードで読み出された画像信号から前記画像処理によって生成された前記画像を取得する処理と、
を実行させる顔認証プログラムであって、
前記顔認証プログラムは、
前記コンピュータに、
前記撮像範囲に人物が存在する場合において、前記撮像素子の前記動作モードを前記第２モードに設定し、前記第２モードで読み出された画像信号から生成された前記画像を用いて、姿勢検知を実行することにより、前記人物の顔の向き及び前記顔の領域を取得し、
前記人物の顔の向きが前記カメラの存在する方向にある場合、前記撮像素子の前記動作モードを前記第２モードから前記第１モードに切り替え、前記画像処理によって、前記第１モードで前記顔の領域に基づく顔周辺領域に対応する画素から読み出された画像信号から、前記人物の前記顔周辺領域を含む認証用画像を生成させ、前記認証用画像を用いて前記人物の顔認証を行うことにより、前記人物の認証を行う処理を実行させる、
顔認証プログラム。
コンピュータに、
撮像範囲を撮像する撮像素子を含むカメラの前記撮像素子から出力される画像信号を用いて画像を生成する画像処理と、
前記撮像素子の画像信号を読み出す動作モードを、画素数を削減することなく等倍で画像信号を読み出す第１モード、及び、前記第１モードより低解像度の画像を生成するための画像信号を読み出す第２モードの何れかに設定し、前記第１モード及び前記第２モードの何れかのモードで読み出された画像信号から前記画像処理によって生成された前記画像を取得する処理と、
を実行させる顔認証プログラムであって、
前記顔認証プログラムは、
前記コンピュータに、
前記撮像範囲に人物が存在する場合において、前記撮像素子の前記動作モードを前記第２モードに設定し、前記第２モードで読み出された画像信号から生成された前記画像を用いて、姿勢検知を実行することにより、前記人物の顔の向き及び前記顔の領域を取得し、
前記人物の顔の向きが前記カメラの存在する方向にある場合、前記撮像素子の前記動作モードを前記第２モードから前記第１モードに切り替え、前記画像処理によって、前記第１モードで前記顔の領域に基づく顔周辺領域に対応する画素から読み出された画像信号から、前記人物の前記顔周辺領域を含む認証用画像を生成させ、前記認証用画像を用いて前記人物の顔認証を行うことにより、前記人物の認証を行う処理を実行させる、
顔認証プログラム。
【0213】
［４］
［１］に記載の顔認証装置と、
ドアと、
前記ドアの解錠及び施錠を実行するドア解錠施錠装置と、
を含むドア解錠施錠システムであって、
前記制御部は、
前記人物の認証結果に基づいて、前記ドア解錠施錠装置を介して、前記ドアの解錠及び施錠の何れかを行う、
ように構成された、
ドア解錠施錠システム。
［１］に記載の顔認証装置と、
ドアと、
前記ドアの解錠及び施錠を実行するドア解錠施錠装置と、
を含むドア解錠施錠システムであって、
前記制御部は、
前記人物の認証結果に基づいて、前記ドア解錠施錠装置を介して、前記ドアの解錠及び施錠の何れかを行う、
ように構成された、
ドア解錠施錠システム。
【0214】
［５］
［１］に記載の顔認証装置と、
前記顔認証装置を管理する管理装置（管理サーバ）と、
を含む顔認証システム。
［１］に記載の顔認証装置と、
前記顔認証装置を管理する管理装置（管理サーバ）と、
を含む顔認証システム。
【符号の説明】
【0215】
１１…ＣＰＵ、１２…バス、１３…撮像素子、１４…ＩＳＰ、１５…メモリ、１６…姿勢検知部、１７…モード制御部、１８…顔認証部、１９…タッチパネル、２０…ＬＣＤＣ、２１…ＬＣＤ、２２…音声処理回路、２５…解錠制御部、２６…補助記憶装置、２６ａ…ユーザ管理情報
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11A】
【図11B】
【図12】
【図13A】
【図13B】
【図14】