(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-02-28
(45)【発行日】2023-03-08
(54)【発明の名称】顔認識方法及び顔認識装置
(51)【国際特許分類】
G06T 1/00 20060101AFI20230301BHJP
G06T 7/00 20170101ALI20230301BHJP
G06V 10/141 20220101ALI20230301BHJP
G06V 40/16 20220101ALI20230301BHJP
【FI】
G06T1/00 430G
G06T1/00 400H
G06T7/00 510F
G06V10/141
G06V40/16 A
(21)【出願番号】P 2020166626
(22)【出願日】2020-10-01
【審査請求日】2020-10-02
(32)【優先日】2020-03-06
(33)【優先権主張国・地域又は機関】TW
(73)【特許権者】
【識別番号】502361706
【氏名又は名称】技嘉科技股▲ふん▼有限公司
【氏名又は名称原語表記】Giga-Byte Technology Co.,Ltd.
【住所又は居所原語表記】No.6,Bau Chiang Rd.Hsin-Tien,Taipei 231,Taiwan
(74)【代理人】
【識別番号】100082418
【氏名又は名称】山口 朔生
(74)【代理人】
【識別番号】100167601
【氏名又は名称】大島 信之
(74)【代理人】
【識別番号】100201329
【氏名又は名称】山口 真二郎
(74)【代理人】
【識別番号】100220917
【氏名又は名称】松本 忠大
(72)【発明者】
【氏名】孫培華
(72)【発明者】
【氏名】陳凱▲シュン▼
【審査官】小池 正彦
(56)【参考文献】
【文献】国際公開第2019/026925(WO,A1)
【文献】特表2018-518021(JP,A)
【文献】特開2008-181468(JP,A)
【文献】特開2005-323180(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 1/00
G06T 7/00
G06V 10/141
G06V 40/16
(57)【特許請求の範囲】
【請求項1】
距離検出器が、距離検出を行って距離検出値を取得し、
データ処理回路が、前記距離検出値が閾値距離より小さいか対比し、
前記データ処理回路が、前記距離検出値が前記閾値距離より小さいと判断したとき、前記距離検出値に基づいて、対応する赤外線照射器の光源強度を設定し、前記赤外線照射器が前記光源強度で赤外線を照射し、
赤外線撮像カメラが、前記データ処理回路の命令に基づいて、赤外線画像を撮像し、前記データ処理回路が、前記赤外線画像に対して顔認識を行い、
前記データ処理回路は前記顔認識が成功したと判断したとき、対応するアクションを実行し、
前記光源強度で前記赤外線を照射するステップは、前記距離検出値に基づいて駆動回路が基準電圧に切り換えるように制御することにより、電圧調整器が前記赤外線照射器に出力する駆動電圧の大きさを調整し、前記赤外線照射器の前記光源強度を前記距離検出値に対応させるステップを含み、
前記駆動回路は、抵抗を介してベース電圧に並列にそれぞれ接続される2つの汎用入出力ピンGPIOを備え、前記基準電圧は、前記汎用入出力ピンGPIOのレベル状態に基づいて調整されて、前記汎用入出力ピンGPIOを介して前記電圧調整器に出力され、
前記閾値距離の範囲内で複数の距離区間に区分けされ、前記光源強度は複数の設定値を有し、且つ各前記複数の距離区間は前記複数の設定値のいずれか一つに対応することを特徴とする、
顔認識方法。
【請求項2】
前記データ処理回路は、前記赤外線画像の中に一つの人の顔が存在するか否か分析し、前記人の顔の画像に対して校正を行い、前記人の顔の特徴値の組み合わせを取得し、前記人の顔の特徴値の組み合わせと、特徴値データベース内の複数の予め設定された特徴値の組み合わせのいずれか一つとが一致するか比較することを特徴とする請求項1に記載の顔認識方法。
【請求項3】
前記データ処理回路は、前記距離検出値が前記閾値距離より小さいと判断したとき、可視光撮像カメラが可視光画像を撮像し、前記可視光画像をディスプレイパネルに表示することを特徴とする請求項1に記載の顔認識方法。
【請求項4】
前記データ処理回路は、前記顔認識が成功したと判断したとき、顔認識が成功した旨のメッセージをディスプレイパネルに表示させ、且つ前記顔認識が成功した旨のメッセージにはユーザーのデータが含まれることを特徴とする請求項1に記載の顔認識方法。
【請求項5】
距離検出値を得るための距離検出器と、
赤外線を照射するための赤外線照射器と、
赤外線画像を撮像するための赤外線撮像カメラと、
前記距離検出値が閾値距離より小さいか判断するためのデータ処理回路を備え、
前記距離検出値が前記閾値距離より小さいとき、前記データ処理回路は、前記距離検出値に基づいて、対応する光源強度を設定し、前記光源強度で前記赤外線照射器を駆動して前記赤外線を照射し、且つ前記データ処理回路は前記赤外線画像に対して顔認識を行い、
前記顔認識が成功したとき、前記データ処理回路は対応するアクションを行い、
前記データ処理回路は、前記赤外線撮像カメラに電気的に接続されたコアコンピューティングと、前記コアコンピューティングと前記距離検出器に電気的に接続された駆動回路と、前記駆動回路と前記赤外線照射器に電気的に接続され、前記駆動回路から基準電圧が入力される電圧調整器を備え、前記距離検出値は前記駆動回路によって符号化された後、前記コアコンピューティングに出力され、前記コアコンピューティングは、前記距離検出値に基づいて前記駆動回路が前記基準電圧に切り換えるように制御することにより、前記電圧調整器が前記赤外線照射器に出力する駆動電圧の大きさを調整し、前記赤外線照射器の前記光源強度を前記距離検出値に対応させ、
前記駆動回路は、それぞれ抵抗を介してベース電圧に並列に接続される2つの汎用入出力ピンGPIOを備え、前記基準電圧は、前記汎用入出力ピンGPIOのレベル状態に基づいて調整されて、前記汎用入出力ピンGPIOを介して前記電圧調整器に出力され、
前記閾値距離の範囲内で複数の距離区間に区分けされ、前記光源強度は複数の設定値を有し、且つ各前記複数の距離区間は前記複数の設定値のいずれか一つに対応することを特徴とする、
顔認識装置。
【請求項6】
可視光画像を撮像して前記データ処理回路に出力するための可視光撮像カメラと、前記データ処理回路に駆動されて前記可視光画像を表示するためのディスプレイパネルとを更に備えることを特徴とする請求項5に記載の顔認識装置。
【請求項7】
前記顔認識装置はケースを更に備え、前記ケースの内部には内部空間が形成され、且つ前記ケースは正面を有し、前記距離検出器は前記正面に設けられ、前記正面の前方から前記距離検出値を取得し、前記データ処理回路は内部空間に設けられ、前記赤外線照射器、前記赤外線撮像カメラ、前記可視光撮像カメラ、及び前記ディスプレイパネルは前記正面に設けられることを特徴とする請求項6に記載の顔認識装置。
【請求項8】
前記顔認識が成功したとき、前記データ処理回路は前記ディスプレイパネルを駆動し顔認識が成功した旨のメッセージを表示し、且つ前記顔認識が成功した旨のメッセージにはユーザーのデータが含まれることを特徴とする請求項6に記載の顔認識装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は顔認識方法及び顔認識装置に関し、特に、システムの平均的な負荷を低減し得る顔認識方法及び顔認識装置に関する。
【背景技術】
【0002】
顔認識技術は、画像を分析することにより顔を抽出し、これによって抽出された顔をデータベースに予め記録された顔のIDデータと比較して、抽出された顔がデータベース内のIDデータと一致するかどうかを判断する。なお、顔認識の際に取り込まれる画像には、可視光画像の場合に加えて不可視光画像の場合がある。
また、一般的な顔認識の技術としては、顔のさまざまな部位の特徴を数値化し、顔の特徴値の組み合わせを生成し、それらをIDデータとしてデータベースに保存し、顔認識の際にはデータベースに保存されたIDデータと比較することが挙げられる。
現在の顔認識装置は、撮像カメラが連続的に可視光または不可視光のストリーミング画像をキャプチャーすることにより行われる。中央処理装置又は他のコアコンピューティングは、識別コードを継続的に用いて、ストリーミング画像内に人の顔があるか否かを分析し続け、人の顔を抽出できたときに、顔の特徴値の組み合わせを更に生成する。換言すると、顔認識装置の目の前に人がいるか否かにかかわらず、顔認識装置は顔認識のための動作を継続していると言える。
【発明の概要】
【発明が解決しようとする課題】
【0003】
このため、顔認識装置の中央処理装置には、常に高い負荷がかかっていた。したがって、計算能力が低いCPUを用いて顔認識を行っている場合には、それだけでCPUの能力の大半を使用してしまうことから、システム全体の動作速度が低下し、顔認識以外の他の動作に悪影響を与える場合がある。
一方、計算能力が高いCPUを使用すると設備費が高くなり、継続的な顔認識の動作によりエネルギー消費も高くなる。加えて、このエネルギー消費によってもCPU周りが高熱となり、CPUを含めたシステムの温度上昇を抑えるために、システム全体を低い周波数で運転せざるを得なくなる場合があり、システムの運転の遅れの原因となっていた。
本発明は、このような問題に鑑みて、必要に応じて顔認識を行うことによりシステムの平均的な負荷を低減し、ハードウェアの消耗を極力抑制し得る顔認識方法及び顔認識装置を提供することを目的とする。
【課題を解決するための手段】
【0004】
このような問題に鑑みて本発明の顔認識方法及び顔認識装置は以下の構成を備える。
本発明による顔認識方法は、距離検出器が、距離検出を行って距離検出値を取得し、 データ処理回路が、前記距離検出値が閾値距離より小さいか対比し、前記データ処理回路が、前記距離検出値が前記閾値距離より小さいと判断したとき、前記距離検出値に基づいて、対応する赤外線照射器の光源強度を設定し、前記赤外線照射器が前記光源強度で赤外線を照射し、赤外線撮像カメラが、前記データ処理回路の命令に基づいて、赤外線画像を撮像し、前記データ処理回路が、前記赤外線画像に対して顔認識を行い、前記データ処理回路は前記顔認識が成功したと判断したとき、対応するアクションを実行する。
【0005】
また、本発明による顔認識装置は、距離検出値を得るための距離検出器と、赤外線を照射するための赤外線照射器と、赤外線画像を撮像するための赤外線撮像カメラと、前記距離検出値が閾値距離より小さいか判断するためのデータ処理回路を備え、前記距離検出値が前記閾値距離より小さいとき、前記データ処理回路は、前記距離検出値に基づいて、対応する光源強度を設定し、前記光源強度で前記赤外線照射器を駆動して前記赤外線を照射し、且つ前記データ処理回路は前記赤外線画像に対して顔認識を行い、前記顔認識が成功したとき、前記データ処理回路は対応するアクションを行う。
【発明の効果】
【0006】
本発明によれば、データ処理回路が、距離検出値が閾値距離より小さいと判断したとき、距離検出値に基づいて、対応する赤外線照射器の光源強度を設定し、赤外線照射器が前記光源強度で赤外線を照射し、赤外線撮像カメラが、データ処理回路の命令に基づいて、赤外線画像を撮像し、データ処理回路が、赤外線画像に対して顔認識を行う。このため、顔認識プログラムを直ぐに起動できる状態であるアイドル状態に切り換ることができ、常に顔認識動作を実行し続ける必要がない。これによって、顔認識動作のためにハードウェアが常に動作して、顔認識以外の他の制御の速度が低下してしまうことを防止し、システム全体の動作速度の低下を抑制し得る。
【図面の簡単な説明】
【0007】
【
図1】本発明の第1の実施形態を説明する顔認識装置の正面図である。
【
図2】本発明の第1の実施形態を説明する回路のブロック図である。
【
図3】本発明の第1の実施形態の距離検出値と光源強度の対応関係を説明する図である。
【
図4】本発明の第1の実施形態を説明するためのフローチャートである。
【
図5】本発明の第1の実施形態を説明するための他のフローチャートである。
【
図6】本発明の第1の実施形態の距離検出値と光源強度の切り換えを説明する模式図である。
【
図7】本発明の第1の実施形態の距離検出値と光源強度の切り換えを説明する他の模式図である。
【
図8】本発明の第2の実施形態を説明する回路のブロック図である。
【発明を実施するための形態】
【0008】
図1、
図2を参照して本発明の第1の実施形態を説明する。
図1は本発明の第1の実施形態を説明する顔認識装置の正面図であり、
図2は本発明の第1の実施形態を説明する回路のブロック図である。本実施形態では、顔認識装置100を用いて顔認識を行う。
具体的には、顔認識装置100は、
図1と
図2に示すように、ケース110と、距離検出器120と、データ処理回路130と、1個又は複数個の赤外線照射器140と、赤外線撮像カメラ150と、可視光撮像カメラ160と、ディスプレイパネル170を備える。
【0009】
図1および
図2に示すように、ケース110の内部には空間が形成され、ケース110の正面112には距離検出器120が設けられ、この距離検出器120は正面112の前方の距離検出値Dを取得する。ケース110は壁やブラケットに固定され、正面112は感知しようとする領域(感知領域)に向いている。
【0010】
図1、
図2に加え、
図3を参照して本発明の第1の実施形態を説明する。ここで、
図3は本発明の第1の実施形態の距離検出値と光源強度の対応関係を説明する図である。
図2に示すように、データ処理回路130は、ケース110の内部の空間に配置されている。距離検出器120は、データ処理回路130に電気的に接続され、距離検出値Dをデータ処理回路130に出力する。
図2に示すデータ処理回路130は、
図3に示すような閾値距離Tを設定し、距離検出値Dが閾値距離Tより小さいか否かを判定する。
物体が感知領域に接近していない場合、例えば人体又は顔が感知領域に入らない遠い位置にある場合には、距離検出値Dは、距離検出器120が感知できるような閾値距離Tを超える固定の数値となる。
また、例えば距離検出器120が検知できる背景物までの距離、又は背景物までの距離が距離検出器120の最大検出範囲を超えてしまう場合には有効な距離検出値Dが得られない。
【0011】
図1に示すように、赤外線照射器140は正面112に配置され、正面112から前方へ向かって赤外線を照射する。また、
図2に示すように、赤外線照射器140はデータ処理回路130に電気的に接続される。
データ処理回路130は、距離検出値Dが閾値距離T未満である場合、距離検出値Dに対応する光源強度を設定し、この対応する光源強度で赤外線照射器140を駆動して赤外線を照射する。
なお、赤外線照射器140が照射する光源強度、即ち光の強さは赤外線照射器140の電力強度(watt)であってもよく、例えば、赤外線照射器140は指定された電力で赤外線を照射しても良いが、これには限られない。
また、赤外線照射器140を駆動する駆動電圧(voltage)の大きさについては、データ処理回路130が赤外線照射器140を駆動できる電圧の範囲内で、異なる距離検出値Dに対応する駆動電圧値を設定することができる。
本実施形態では、赤外線照射器140は、パルス電流(Pulse Current)によって駆動され、光源の強度は、パルス電流のパルス幅又はデューティサイクル(duty cycle)長であり得る。
データ処理回路130は、赤外線照射器140の動作周波数の範囲内でパルス電流のパルス幅又はデューティサイクルを異なる距離検出値Dに対応するように設定する。ここで、距離検出値Dが大きいほど対応する光の強さは強くなり、逆に距離検出値Dが小さいほど対応する光の強さは弱くなる。
【0012】
図3に示すように、本実施形態では、データ処理回路130は、閾値距離Tの範囲内で、2以上の距離区間D1、D2、D3に更に分割される。また、設定された光源強度の設定値は、距離区間D1でI1に設定され、距離区間D2でI2に設定され、距離区間D3でI3に設定される。
データ処理回路130は、距離区間D1、D2、D3毎に設定された光源の強度I1、I2、I3で赤外線照射器140を駆動して赤外線を照射する。
閾値距離Tを超えても、距離検出器120は、最大検出距離以下の距離区間D4で距離検出値Dを依然として得ることができ、データ処理回路130は、距離区間D4に対応する光源強度の設定値I4を設定することもできる。なお、光源強度の設定値I4は、赤外線照射器140の仕様の範囲内における最大強度であってもよい。
したがって、本実施形態では、距離区間D1、D2、及びD3の間の平均距離が大きいほど、対応する光源強度の設定値I1、I2、及びI3が大きくなる。
逆に、距離区間D1、D2、D3間の平均距離が小さいほど、対応する光源強度の設定値I1、I2、I3は小さくなる。
したがって、データ処理回路130は、距離検出値Dが、複数の距離区間D1、D2、D3のいずれか一つに含まれる場合、赤外線照射器140を駆動して、対応する設定値I1、I2、又はI3で赤外線を照射する。
データ処理回路130は、光源強度の設定値I1、I2、I3と距離区間D1、D2、D3の対応に基づいて光源の強度を切り換えるため、物体が各距離区間D1、D2、D3のとき、その物体の表面の赤外線放射輝度(W/m2)を適切な数値の範囲内に維持できる。
【0013】
図1に示すように、赤外線撮像カメラ150は、正面112に設けられ、
図2に示すように、データ処理回路130に電気的に接続される。赤外線撮像カメラ150は、ケース110の正面112に面する赤外線画像Pir(
図2)を撮像(キャプチャー)し、赤外線画像Pirをデータ処理回路130に出力するために使用される。
ここで、赤外線画像Pirは、主に、赤外線照射器140が照射した赤外線が物体によって反射されて形成される。
データ処理回路130は、距離検出値Dが閾値距離T未満かを継続的に判定する。データ処理回路130は、距離検出値Dが閾値距離Tより小さい場合、距離検出値Dに応じて対応する光源強度を設定し、赤外線照射器140を駆動して対応する光源強度で赤外線を照射する。データ処理回路130は、赤外線撮像カメラ150を動作させて、赤外線画像Pirを撮像する。データ処理回路130は、赤外線画像Pirに基づいて顔認識動作を行う。
データ処理回路130は、赤外線画像Pirに基づいて人の顔が存在するかどうかを分析し、人の顔がある場合には、人の顔の画像に対して校正を行い、人の顔の特徴値の組み合わせを抽出する。
顔の特徴値の組み合わせは、顔の特徴となる点(目、鼻、口等)を特徴点利用の材料として、それぞれ特徴値を抽出して顔の特徴値の組み合わせを生成する。
データ処理回路130は、顔の特徴値を組み合わせた後、顔の特徴値の組み合わせと、特徴値データベース(図示せず)内の複数の予め設定された特徴値の組み合わせが一致するかを比較する。
データ処理回路130は、顔の特徴値の組み合わせが、予め設定された複数の特徴値の組み合わせのいずれかと一致して、顔認識が成功した場合には対応するアクションを行う。
【0014】
図2に示すように、可視光撮像カメラ160及びディスプレイパネル170は、それぞれデータ処理回路130に電気的に接続され、
図1に示すように、可視光撮像カメラ160及びディスプレイパネル170は、ケース110の正面112に配置される。
可視光撮像カメラ160は、ケース110の正面112の前方向の可視光画像Pvを撮像してデータ処理回路130に送信し、データ処理回路130がディスプレイパネル170を駆動して可視光画像Pvを表示する。
したがって、ユーザーは、ディスプレイパネル170に表示される画像を確認した上で自分の位置を確認して必要に応じて調整することにより、自分の位置と姿勢が赤外線撮像カメラ150で顔を撮像できるようにすることができる。
前述の対応するアクションとしては、ドアロックの開錠、出席の記録、アクセスの記録、図書の貸し出し記録等が挙げられるが、これらに限定されない。
アクションの例を挙げると、顔認識を行うためのゲートを職場の入り口に設け、データ処理回路130によって制御することにより顔認識が成功すると、データ処理回路130は、ユーザーの顔認識が成功した時刻(出勤時刻)を記録し、対応するアクションとしてゲートを開くなどの操作を実行すること等が挙げられる。
前述のデータ処理回路130によって実行される対応するアクションは、ディスプレイパネル170を駆動して顔認識が成功した旨のメッセージ等を併せて表示させても良い。なお、顔認識が成功した旨のメッセージと共にユーザーのデータ(例えば、ユーザーを識別するためのコードに加えて、ユーザーの氏名や所属している部門、更には顔写真等を含むデータを言う。)を更に表示させても良い。
【0015】
次に、本発明の顔認識装置100を用いて顔認識を行う方法について
図4を参照して説明する。ここで、
図4は本発明の第1の実施形態を説明するためのフローチャートである。
図1の顔認識装置100を起動した後、
図2のデータ処理回路130は、
図4のステップ(Step)110に示すように、距離検出器120に距離検出を実行させて
図3の距離検出値Dを取得する。
データ処理回路130は、顔認識プログラムをロードする。このとき、顔認識プログラムはアイドル(idle)状態に切り換えられる。
すなわち、顔認識プログラムの機能を無効にする一方で、顔認識プログラムをいつでも起動可能な状態とする。
このとき、顔認識装置100は、顔認識を行わないため、データ処理回路130が高負荷な計算を継続して行う必要がなく、ハードウェア資源の浪費を回避できる。
次に、ステップ120に示すように、距離検出器120は、距離検出値Dを連続して検出し、これら連続的に検出された距離検出値Dをデータ処理回路130に出力する。
データ処理回路130は、ステップ130に示すように、閾値距離Tを設定し、データ処理回路130は、距離検出値Dが閾値距離Tより小さいか比較する。そして、距離検出値Dが閾値距離T以上の場合、ステップ120に戻り、データ処理回路130は、入力された距離検出値Dを再度受信する。
ユーザーがケース110の正面112の前方に移動して感知領域に入ると、距離検出器120がユーザーを検出し、ユーザーと距離検出器120との間の距離に基づいて対応する距離検出値Dが得られる。距離検出値Dが閾値距離Tより小さい場合、データ処理回路130は、ステップ140に示すように、顔認識プロセスを実行し得る顔認識プログラムを有効にする。
【0016】
図5を併せて参照して本発明の第1の実施形態を説明する。ここで、
図5は本発明の第1の実施形態を説明するための他のフローチャートである。具体的には
図4のフローチャートのステップ140の動作をさらに詳細に説明するためのフローチャートである。
図5のステップ141とステップ142に示すように、データ処理回路130は有効化した顔認識プログラムに基づいて、距離検出値Dに基づいて距離検出値Dに対応した光源強度を設定する。
そして、データ処理回路130は、赤外線照射器140に対応する光源強度の赤外線を照射させる。データ処理回路130は、ステップ143に示すように赤外線撮像カメラ150によって、赤外線画像Pirの撮影を開始してデータ処理回路130に出力する。
距離検出値Dの相違に基づいて、対応する光源強度を設定して赤外線を照射することにより、赤外線画像Pirのより良い画像露出とクリアーな画像撮像効果を得ることができる。
具体的には
図3に示すように、閾値距離Tは2つ以上の距離区間D1、D2、D3に分割され、光源強度は複数の設定値I1、I2、I3を有し、各距離区間D1、D2、D3は複数の設定値I1、I2、I3のいずれか1つに対応する。
距離検出値Dが閾値距離Tよりも大きいが、赤外線照射器140が距離検出値Dを取得できる距離区間D4の範囲内であれば、データ処理回路130は顔認識を行なわない。
ただし、距離区間D4内であれば、赤外線照射器140は尚も設定値I4で赤外線を照射し得るので、赤外線照射器140に仕様の範囲内における最大強度の設定値I4を光源強度として赤外線を照射することができ、所定の場所に赤外線を照射できる。
【0017】
次に、
図6を併せて参照して説明する。ここで、
図6は本発明の第1の実施形態の距離検出値と光源強度の切り換えを説明する模式図である。
図6に示すように、人の顔が赤外線撮像カメラ150の撮像範囲に入り、距離検出値Dが閾値距離Tより小さく、距離区間D3の範囲内にある場合、赤外線照射器140は、最大設定値I3を光源強度として赤外線を照射するため、人の顔がたとえ遠くにあっても十分に照射でき、赤外線画像Pirは十分に露出され十分に鮮明となる。
このとき、ユーザーが顔認識装置100に次第に近づき、距離検出値Dが距離区間D2又は距離区間D1に入ると、設定値I3では光源強度が強くなりすぎ、赤外線画像Pirが明るくなりすぎて、顔の輪郭が鮮明に映らなくなってしまう。これを防止するため、データ処理回路130は、距離区間D2にユーザーが移動したら、この距離区間D2に対応する設定値I2に光源強度を設定するので、赤外線画像Pirを適切に露光(露出)して鮮明にすることができる。
【0018】
図7を併せて参照して本発明の第1の実施形態を説明する。ここで、
図7は本発明の第1の実施形態の距離検出値と光源強度の切り換えを説明する他の模式図である。
図7に示すように、先ず、人の顔がより近くの距離区間(要するに赤外線照射器140の近く)、例えば距離区間D1に入った場合、赤外線照射器140は、光源強度としてより小さい設定値I1で赤外線を照射して、赤外線画像Pirを適切に露光し、鮮明にできる。
ただし、ユーザーが距離を調整することにより、距離検出値Dを距離区間D3又は距離区間D2に変更すると、設定値I1では光の強度が足りず、赤外線画像Pirが露出不足(影が薄くなり)となり、輪郭を鮮明に表示することができない。このとき、データ処理回路130は、距離区間D3に対応するように、赤外線照射器140からの光の強度(光源強度)を大きくすべく設定値I3に設定するので、赤外線画像Pirを鮮明に表示することができる。
【0019】
データ処理回路130は、
図5のステップ144に示すように、可視光撮像カメラ160を作動させて可視光画像Pvをステップ143と同一行程にて撮像し、ディスプレイパネル170を駆動して可視光画像Pvを表示する。
このとき、ユーザーは、ディスプレイパネル170で表示される画像を見ながら位置や姿勢を調整することにより、赤外線撮像カメラ150で顔を確実に捉えることができる。
前述の赤外線照射器140は、通常、設定値I4等の仕様内の最大の光源強度で周囲に対して赤外線を照射し、赤外線撮像カメラ150によって赤外線画像Pirのストリーム画像を連続的に撮像して、データ処理回路130がこのストリーム画像を図示しないメモリに記録する。
ただし、このときのデータ処理回路130は、顔認識動作を行わず、単に動画(連続したストリーム画像)を記録するだけである。同様に、可視光撮像カメラ160は、通常、可視光画像Pvのストリーム画像を取り込むことができる。一方、データ処理回路130はストリーム画像を記録するが、表示のためにディスプレイパネル170を駆動しない。
【0020】
次に、データ処理回路130は、
図4のステップ150に示すように、赤外線画像Pirに基づいて顔認識を実行して、赤外線画像Pirの人の顔の特徴値の組み合わせが、特徴値データベース内の複数の予め設定された特徴値の組み合わせのいずれか一つに一致するかどうかを判定する。なお、ここでいう複数とは2個又は2個以上のいずれをも含む概念である。
顔の特徴値の組み合わせが複数の予め設定された特徴値の組み合わせのいずれかと一致する場合、すなわち、顔認識が成功した場合、データ処理回路130は、ステップ160に示すように、対応するアクションを実行する。前述の対応するアクションは、ドアロックの開錠、出勤記録、入退出記録、本の貸し出し記録などであるが、これらに限定されるものではない。
したがって、上述の顔認識装置100及び顔認識方法では、通常、顔認識プログラムはアイドル(idle)状態であり、このアイドル状態の間は、顔認識装置100のハードウェアは顔認識処理を実行せず、高い負荷が維持されることがない。したがって、顔認識装置100の通常の負荷を低減し、エネルギー消費を抑えることができる。
本発明では、データ処理回路130は、ハードウェアであっても、ハードウェアとソフトウェアの組み合わせであってもよい。例えば、データ処理回路130は、システムチップセット、中央処理装置、不揮発性メモリモジュール、揮発性メモリモジュール、及びグラフィックスチップを更に含み得る。
不揮発性メモリモジュールは、ユーザーのデータを格納するために使用される。中央処理装置は、ユーザーのデータを不揮発性メモリから揮発性メモリにロードして実行し、顔認識プログラムで顔認識プロセスを開始して、顔認識プロセスをアイドル状態に切り替えることができる。
上記の実施形態は、データ処理回路130の単なる例であり、電気回路の一部又は全てを単一の集積回路で構成しても差し支えなく、前述の構成をデータ処理回路130として他の回路設計に置き換えても差し支えない。
【0021】
次に、
図8を参照して本発明の第2の実施形態を説明する。ここで、
図8は顔認識装置100の第2の実施形態を説明するものであり、データ処理回路130を他の構成により実現し得るものである。データ処理回路130は、コアコンピューティング132、距離検出器120と駆動回路134、及び電圧調整器136を含む3つの部分に分けることができる。
コアコンピューティング132は、中央処理装置CPU、図示しないシステムチップセット等の構成を含み、顔認識操作を実行するために使用される。
コアコンピューティング132は、USBバス(またはMIPI-CSI等の他のインターフェース)を介して、赤外線撮像カメラ150及び可視光撮像カメラ160に接続することができる。
コアコンピューティング132は、I2Cインターフェース(又はSMBus、USB等の他のインターフェース)を介して距離検出器120の駆動回路134に接続される。
同時に、駆動回路134は、汎用入出力ピンGPIO-1やGPIO-2等の2個の入出力ピンを介して電圧調整器136に接続することができる。
汎用入出力ピンGPIO-1、GPIO-2及びベース電圧Vは、抵抗を介して電圧調整器136に並列に接続される。このようにして、汎用入出力ピンGPIO-1やGPIO-2を使用して、基準電圧Vrefを調整し、電圧調整器136に出力しても差し支えない。
電圧調整器136は、電源Vdd、例えば、+ 5V電圧に接続され、基準電圧Vrefに基づいて出力電圧Voutを出力して、赤外線照射器140の駆動電圧V-LEDの大きさを調整し、設定値I1、I2、I3、I4から改変光源の強度を選択する。
距離検出器120は、赤外線距離測定装置、レーザー距離測定装置、又は飛行時間距離測定装置(ToF:Time of Flight)であってもよい。距離検出器120によって検出された距離検出値Dは、駆動回路134によって符号化され、コアコンピューティング132の中央処理装置CPUに連続的に出力される。
【0022】
距離検出値Dが閾値距離Tより大きく、且つ距離検出値Dが最大のとき、例えば、距離区間D1、D2、D3、D4のうちの距離区間D4内にある場合、データ処理回路130は顔認識を行わず、赤外線照射器140の光源強度の設定値I1、I2、I3、I4も切り換えない。
このとき、コアコンピューティング132は、距離検出器120の駆動回路134を制御して、2つの汎用入出力ピンGPIO-1及びGPIO-2をオープンドレイン(Open Drain)状態に維持する。
このとき、基準電圧Vrefを最大電圧(たとえば、Vref=2.5V)に維持でき、駆動電圧V-LEDの出力も最高の電圧設定値(たとえば、2.5V)にさせ、赤外線照射器140は、規格範囲の最大強度の設定値I4を光源強度として対象を赤外線で照射する。
【0023】
距離検出値Dが閾値距離T未満であり、且つ距離検出値Dが距離区間D1、D2、D3の距離区間D1内にある等比較的小さい場合、コアコンピューティング132は、距離検出器120の駆動回路134を制御して、2つの汎用入出力ピンGPIO-1及びGPIO-2をローレベルに維持する。
このとき、基準電圧Vrefは最小値(例えば、Vref=1.5V)に低下し、その結果、駆動電圧V-LEDは、最低の電圧設定値(例えば、1.5V)に低下し、赤外線照射器140は、最小設定値I1を光源強度の設定値として赤外線を照射する。このため、赤外線画像が明るすぎとなる問題を回避できる。
【0024】
距離検出値Dが閾値距離Tより小さく、距離検出値Dが例えば中間値である距離区間D2内にある場合、コアコンピューティング132は、I2Cを介して距離検出器120の駆動回路134を制御し、汎用入出力ピンGPIO-1をローレベルに切り換えさせ、汎用入出力ピンGPIO-2はオープンドレイン(Open Drain)状態に切り換えさせる。
このとき、基準電圧Vrefも最大値と最小値の間にあるため(例えば、Vref=1.833V)、駆動電圧V-LEDが中間の電圧設定値1.833Vに調整され、赤外線照射器140は中間の設定値I2を光源強度として赤外線を照射するように維持し、赤外線画像Pirの明るさは中程度となり、コアコンピューティング132が人の顔認識を行うのに足りる明るさとなる。
【0025】
距離検出値Dが閾値距離Tより小さく、距離検出値Dが例えば距離区間D3内にある場合等比較的大きい場合、コアコンピューティング132は、I2Cを介して距離検出器120の駆動回路134を制御し、汎用入出力ピンGPIO-1はオープンドレイン(Open Drain)状態に切り換えて、汎用入出力ピンGPIO-2はローレベルに切り換える。
このとき、基準電圧Vrefは中間値(例えば、Vref=2.167V)よりも高くなるように上昇するため、駆動電圧V-LEDは例えば、2.167Vまで大きくなり、赤外線照射器140は、最大の設定値I3を光源強度として維持するように赤外線を照射して、遠くの人の顔でも十分に明るさが足りる赤外線画像Pirを撮像できるようにするので、コアコンピューティング132は人の顔認識を行うことができる。
【0026】
本実施形態のいずれか一つ以上において、3個の距離区間D1、D2、及びD3は、例示のみのために3種の光源強度の設定値I1、I2、及びI3に対応するが、適宜増減させて2個又は4個以上としても良い。更に、少なくとも1つの距離区間(距離区間D4等)を、閾値距離Tを超えて設定することもでき、この距離区間D4は設定値I4に対応する。
本発明のいずれか1つ以上の実施形態では、顔認識装置100は、顔認識プログラムを直ぐに起動できる状態であるアイドル状態に切り換えられる。また、顔認識装置100は、距離検出値Dに応じて、認識プログラムを起動して顔認識処理を開始するか否かを決定する。
したがって、顔認識装置100は、常に顔認識動作を実行し続ける必要はなく、顔認識動作のためにハードウェアが動作して、顔認識以外の他の制御の速度が低下してしまうことを防止し、システム全体の動作速度の低下を抑制し得る。
また、本発明は、顔認識装置100の平均的な負荷を効果的に低減し、不必要な電力消費を回避することができる。
加えて、システムの負荷を低減することで、システムを構成するハードウェアの温度が高くなることによりシステム全体を低い周波数で運転せざるを得なくなることを回避すると共に、顔認識が必要な状態に切り換わった際には、迅速に顔認識を行うことができる。
さらに、少なくとも1つの実施形態では、本発明は、距離検出値Dを使用して、光源強度の設定値I1、I2、I3を決定し、人間の顔が遠くにあっても近くにあっても常に最高の画像露出と撮像が可能となり、顔認識動作を容易に行える。
【符号の説明】
【0027】
100 顔認識装置
110 ケース
112 正面
120 距離検出器
130 データ処理回路
132 コアコンピューティング
134 駆動回路
136 電圧調整器
140 赤外線照射器
150 赤外線撮像カメラ
160 可視光撮像カメラ
170 ディスプレイパネル
D 距離検出値
D1、D2、D3、D4 距離区間
I1、I2、I3、I4 設定値
T 閾値距離
Pir 赤外線画像
Pv 可視光画像
CPU 中央処理装置
Vref 基準電圧
V ベース電圧
Vout 出力電圧
Vdd 電源
V-LED 駆動電圧
GPIO-1、GPIO-2 汎用入出力ピン
Step110~Step160 ステップ