IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

<>
  • 特許-顔認証方法 図1
  • 特許-顔認証方法 図2
  • 特許-顔認証方法 図3
  • 特許-顔認証方法 図4
  • 特許-顔認証方法 図5
  • 特許-顔認証方法 図6
  • 特許-顔認証方法 図7
  • 特許-顔認証方法 図8
  • 特許-顔認証方法 図9
  • 特許-顔認証方法 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-11
(45)【発行日】2023-12-19
(54)【発明の名称】顔認証方法
(51)【国際特許分類】
   G06V 40/16 20220101AFI20231212BHJP
   G06T 7/00 20170101ALI20231212BHJP
   E05B 49/00 20060101ALI20231212BHJP
【FI】
G06V40/16 A
G06T7/00 510F
E05B49/00 R
【請求項の数】 6
(21)【出願番号】P 2022532362
(86)(22)【出願日】2021-04-27
(86)【国際出願番号】 JP2021016855
(87)【国際公開番号】W WO2021256099
(87)【国際公開日】2021-12-23
【審査請求日】2022-11-24
(31)【優先権主張番号】P 2020104263
(32)【優先日】2020-06-17
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100124811
【弁理士】
【氏名又は名称】馬場 資博
(74)【代理人】
【識別番号】100088959
【弁理士】
【氏名又は名称】境 廣巳
(74)【代理人】
【識別番号】100097157
【弁理士】
【氏名又は名称】桂木 雄二
(74)【代理人】
【識別番号】100187724
【弁理士】
【氏名又は名称】唐鎌 睦
(72)【発明者】
【氏名】横山 弘基
【審査官】千葉 久博
(56)【参考文献】
【文献】特開2019-133364(JP,A)
【文献】特開2019-53674(JP,A)
【文献】特開2016-146073(JP,A)
【文献】特開2010-61465(JP,A)
【文献】特開平7-73298(JP,A)
【文献】国際公開第2020/075308(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06V 40/16
G06T 7/00
E05B 49/00
(57)【特許請求の範囲】
【請求項1】
撮影画像内の複数の顔画像を抽出し、
少なくとも1つの前記顔画像に基づいて、当該顔画像の人物が顔認証処理の除外条件を満たすか否かを判定する際に、複数の前記顔画像のそれぞれの人物の距離に基づいて、少なくとも1つの前記顔画像の人物の属性として年齢を検出し、当該年齢に基づいて前記除外条件を満たすか否かを判定し、
前記除外条件を満たす人物の前記顔画像は除外し、その他の前記顔画像に対して当該顔画像の人物が予め登録された人物であるか否かを認証する顔認証処理を行う、
顔認証方法。
【請求項2】
請求項に記載の顔認証方法であって、
前記顔画像の人物の年齢が予め設定された基準により子供と判断できる年齢である場合に、前記除外条件を満たすと判定する、
顔認証方法。
【請求項3】
請求項1又は2に記載の顔認証方法であって、
前記顔認証処理に必要な前記顔画像に対する特徴量計算を行う前に、当該顔画像に基づいて、当該顔画像の人物が前記除外条件を満たすか否かを判定する、
顔認証方法。
【請求項4】
請求項1乃至のいずれかに記載の顔認証方法であって、
撮影画像内から同時に抽出された複数の前記顔画像のうち、前記除外条件を満たした人物の前記顔画像を除いた少なくとも他の1つの前記顔画像に対する前記顔認証処理が成功した場合に、所定のゲートを開くよう制御する、
顔認証方法。
【請求項5】
撮影画像内の複数の顔画像を抽出する抽出手段と、
少なくとも1つの前記顔画像に基づいて、当該顔画像の人物が顔認証処理の除外条件を満たすか否かを判定する際に、複数の前記顔画像のそれぞれの人物の距離に基づいて、少なくとも1つの前記顔画像の人物の属性として年齢を検出し、当該年齢に基づいて前記除外条件を満たすか否かを判定する判定手段と、
前記除外条件を満たす人物の前記顔画像は除外し、その他の前記顔画像に対して当該顔画像の人物が予め登録された人物であるか否かを認証する顔認証処理を行う認証手段と、
を備えた顔認証装置。
【請求項6】
情報処理装置に、
撮影画像内の複数の顔画像を抽出し、
少なくとも1つの前記顔画像に基づいて、当該顔画像の人物が顔認証処理の除外条件を満たすか否かを判定する際に、複数の前記顔画像のそれぞれの人物の距離に基づいて、少なくとも1つの前記顔画像の人物の属性として年齢を検出し、当該年齢に基づいて前記除外条件を満たすか否かを判定し、
前記除外条件を満たす人物の前記顔画像は除外し、その他の前記顔画像に対して当該顔画像の人物が予め登録された人物であるか否かを認証する顔認証処理を行う、
処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顔認証方法、顔認証装置、プログラムに関する。
【背景技術】
【0002】
近年、セキュリティや利便性の観点から、人物が予め登録された人物であるか否かを認証するために、顔認証を用いたシステムが普及している。例えば、コンビニエンスストアのような店舗においては、人口減少による従業員の減少という課題を解決するため、無人店舗の実証実験が進んでいるが、このような無人店舗では、店舗への入退や決済に顔認証を用いることが考えられる。そして、顔認証を用いるためには、利用者は事前に顔画像を登録しておく必要がある。
【0003】
ここで、店舗などの特定場所に入場しようとする登録者が同行者を伴う場合には、かかる同行者が登録されていない状況であっても、登録者と一緒に入口を通過してしまう共連れが生じることが考えられる。ところが、上述したように無人店舗の入退で顔認証を行う場合には、万引き等セキュリティの観点から、共連れの問題を解決する必要がある。このような問題に対して、特許文献1では、ゲート付近の画像内に存在する人物の人数を計測すると共に、人物の顔画像から登録者である人物の人数を計測し、計測した両方の人数が一致した場合にゲートを開くこととしている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2006-132195号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、上述したように、セキュリティを向上させるために顔認証を用いて店舗などの特定場所への共連れを禁止する運用とした場合には、以下のような問題が生じる。まず、1つの問題として、登録者に同行する同行者が、登録者の子供というように共連れで入場しても問題ない場合であっても、かかる同行者の入場は許可されない。このため、同行者が入場する場合には、かかる同行者の登録も必要となり、手続きが煩雑となる。また、別の問題として、同行者であってもカメラの映る全ての人物の顔認証処理を行う必要があり、顔画像の特徴量計算などによる処理負荷が増加することとなる。このように、登録者に同行者が同行しているような状況において、上述したようにセキュリティを向上させることとすると、手続きが煩雑となったり、顔認証処理の負荷が増加することから、円滑な顔認証処理が困難となる、という問題が生じる。
【0006】
このため、本発明の目的は、上述した課題である、登録者に同行者が同行している場合における顔認証処理を円滑に行うことができない、ことを解決することができる顔認証方法を提供することにある。
【課題を解決するための手段】
【0007】
本発明の一形態である顔認証方法は、
撮影画像内の複数の顔画像を抽出し、
少なくとも1つの前記顔画像に基づいて、当該顔画像の人物が顔認証処理の除外条件を満たすか否かを判定し、
前記除外条件を満たす人物の前記顔画像は除外し、その他の前記顔画像に対して当該顔画像の人物が予め登録された人物であるか否かを認証する顔認証処理を行う、
という構成をとる。
【0008】
また、本発明の一形態である顔認証装置は、
撮影画像内の複数の顔画像を抽出する抽出手段と、
少なくとも1つの前記顔画像に基づいて、当該顔画像の人物が顔認証処理の除外条件を満たすか否かを判定する判定手段と、
前記除外条件を満たす人物の前記顔画像は除外し、その他の前記顔画像に対して当該顔画像の人物が予め登録された人物であるか否かを認証する顔認証処理を行う認証手段と、
を備えた、
という構成をとる。
【0009】
また、本発明の一形態であるプログラムは、
情報処理装置に、
撮影画像内の複数の顔画像を抽出する抽出手段と、
少なくとも1つの前記顔画像に基づいて、当該顔画像の人物が顔認証処理の除外条件を満たすか否かを判定する判定手段と、
前記除外条件を満たす人物の前記顔画像は除外し、その他の前記顔画像に対して当該顔画像の人物が予め登録された人物であるか否かを認証する顔認証処理を行う認証手段と、
を実現させる、
という構成をとる。
【発明の効果】
【0010】
本発明は、以上のように構成されることにより、登録者に同行者が同行している場合における顔認証処理を円滑に行うことができる。
【図面の簡単な説明】
【0011】
図1】本発明の実施形態1における顔認証システムの全体構成及び使用状況の一例を示す図である。
図2図1に開示した顔認証装置の構成を示すブロック図である。
図3図1に開示した顔認証装置による撮影画像の処理の一例を示す図である。
図4図1に開示した顔認証システムの使用状況の他の例を示す図である。
図5図1に開示した顔認証システムの使用状況の他の例を示す図である。
図6図1に開示した顔認証装置による撮影画像の処理の他の例を示す図である。
図7図1に開示した顔認証装置による処理動作を示すフローチャートである。
図8】本発明の実施形態2における顔認証装置のハードウェア構成を示すブロック図である。
図9】本発明の実施形態2における顔認証装置の構成を示すブロック図である。
図10】本発明の実施形態2における顔認証装置の動作を示すフローチャートである。
【発明を実施するための形態】
【0012】
<実施形態1>
本発明の第1の実施形態を、図1乃至図7を参照して説明する。図1乃至図6は、顔認証システムの構成を説明するための図であり、図7は、顔認証システムの処理動作を説明するための図である。
【0013】
[構成]
本発明における顔認証システムは、オフィスや店舗、イベント会場などの特定場所において、人物の顔画像から当該人物の認証を行い、人物の入退場を制限したり管理するために用いられるシステムである。例えば、本実施形態では、特定場所を無人店舗とし、セキュリティの観点から、店舗の出入口に設置されたゲートG(ドア)前にて、入場する人物の顔画像を撮影して予め登録された人物であるか否かを顔認証にて判定し、認証が成功した場合に、ゲートGを開いて人物の入場を許可する、というものである。但し、本発明の顔認証システムは、必ずしも店舗のゲートGに設置されることに限定されず、いかなる場所に設置されてもよい。また、本発明の顔認証システムは、顔認証の結果に応じて必ずしもゲートGを開く必要はなく、顔認証の結果を決済に用いるなど、いかなる処理に用いてもよい。
【0014】
図1に示すように、顔認証システムは、無人店舗に設置されたゲートGと、ゲートGの隣に設置された撮影装置であるカメラC及び表示装置であるディスプレイDと、任意の場所に設置された顔認証装置1と、を備えている。
【0015】
上記ゲートGは、無人店舗内への出入口となる自動ドアであり、後述するように顔認証装置1からの指令に応じて開閉が行われる。例えば、ゲートGは、無人店舗内への入口専用である。
【0016】
上記カメラCは、無人店舗に来店した利用者つまりゲートGの前に立つ利用者を撮影可能な位置に設置されている。特に、カメラCは、いかなる身長の利用者の顔を含む画像を撮影できるよう、その高さや画角などが設定されている。そして、カメラCは、常に画像を撮影しており、撮影した撮影画像を顔認証装置1に転送している。但し、カメラCが設置される位置は、上述した位置に限定されない。
【0017】
上記ディスプレイDは、カメラCの下方に設置されており、顔認証すべくカメラCに顔を向けた利用者によって視認される位置に設置されている。そして、ディスプレイDは、後述するように顔認証装置1から送信される顔認証処理の結果、例えば、認証成功や認証失敗の旨の情報を表示する。但し、ディスプレイDが設置される位置は、上述した位置に限定されない。
【0018】
上記顔認証装置1は、演算装置と記憶装置とを備えた1台又は複数台の情報処理装置にて構成される。そして、顔認証装置1は、図2に示すように、画像取得部11、顔抽出部12、除外判定部13、顔認証部14、ゲート制御部15、を備える。画像取得部11、顔抽出部12、除外判定部13、顔認証部14、ゲート制御部15の機能は、演算装置が記憶装置に格納された各機能を実現するためのプログラムを実行することにより、実現することができる。また、顔認証装置1は、利用者情報記憶部16を備える。利用者情報記憶部16は、記憶装置により構成される。以下、各構成について詳述する。
【0019】
上記画像取得部11は、まず、無人店舗への登録を希望する利用者の顔画像を取得して、かかる顔画像を利用者情報記憶部16に記憶しておく。例えば、図1に示す人物P1が無人店舗の登録者となることを希望する場合に、かかる人物P1が自身で撮影した顔画像や、店舗の担当者によって撮影された人物P1の顔画像を取得して、利用者情報として記憶しておく。なお、登録者としての人物P1の顔画像は、後述するように当該顔画像の特徴量が計算されて、かかる特徴量が記憶されていてもよい。また、利用者情報としては、登録者である人物P1の顔画像と共に、氏名、連絡先、決済情報、などが含まれる。
【0020】
また、画像取得部11は、カメラCにて撮影された無人店舗のゲートGの前の撮影画像を一定の時間間隔で受け付ける。例えば、図1に示すように、2人の人物P1,P2が店舗前に位置する場合には、図3に示すように、2人の人物P1,P2の顔画像が含まれた撮影画像を取得することとなる。なお、図1に示す2人の人物P1,P2は、1人が無人店舗の登録者P1であり、他の1人は無人店舗に利用登録しておらず、登録者P1の子供であって、登録者P1に同伴して無人店舗を訪れた同伴者P2であることとする。
【0021】
上記顔抽出部12(抽出手段)は、撮影画像内に映る物体の形状や色、動きなどから、撮影画像内の人物を抽出し、さらに人物の顔画像領域を抽出する。例えば、顔抽出部12は、図3に示すように、登録者である人物P1の顔画像領域R1と、同伴者である人物P2の顔画像領域R2と、をそれぞれ抽出する。このとき、顔抽出部12は、撮影画像内に同時に映る顔画像が複数存在する場合には、複数の顔画像領域をまとめて抽出し、当該複数の顔画像領域を相互に関連付けておく。例えば、図4に示すように、無人店舗のゲートG前に3人の人物P11,P12,P13が訪れた場合には、3つの顔画像領域(図示せず)を抽出することとなる。また、図5に示すように、無人店舗のゲートG前に子供である人物P22を抱きかかえた人物P21が訪れた場合には、図6に示すように2人の人物P21,P22の顔画像領域R21,R22をそれぞれ抽出することとなる。
【0022】
上記除外判定部13(判定手段)は、図3に示すように抽出した顔画像領域R1,R2の人物P1,P2が、後述する顔認証処理の除外条件を満たすか否かを判定する。このとき、除外判定部13は、複数の顔画像領域R1,R2が抽出された場合には、各顔画像領域R1,R2の各人物P1,P2について、それぞれ顔認証処理の除外条件を満たすか否かを判定する。具体的に、除外判定部13は、各顔画像領域R1,R2の顔画像に基づいて、各人物P1,P2の属性として当該各人物P1,P2の年齢(年代)を検出し、かかる属性が除外条件を満たすか否かを判定する。このとき、除外判定部13は、人物P1,P2の顔画像に対して予め設定された解析処理を行うことで、当該顔画像上の特徴から年齢を検出する。例えば、除外判定部13は、「老人」、「大人」、「子供」といった年代を検出する場合には、図3の例では、人物P1は「大人」といった属性であると検出し、人物P2は「子供」といった属性であると検出する。そして、ここでは、属性「老人」と「子供」は除外条件を満たす、と設定されていることとすると、除外判定部13は、人物P1は顔認証処理の除外条件を満たさず、人物P2は顔認証処理の除外条件を満たす、と判定する。このとき、除外判定部13は、顔画像に基づいて人物の年齢の値を算出して、予め設定された子供と判断できる閾値年齢よりも低い場合に、顔認証処理の除外条件を満たす、と判定してもよい。
【0023】
ここで、除外判定部13は、図3に示すように抽出した顔画像領域R1,R2が複数であっても、少なくとも1つの顔画像領域の人物について、顔認証処理の除外条件を満たすか否かを判定してもよい。例えば、図3の例では、仮に人物P2の顔画像領域R2のみについて属性を検出して、かかる人物P2が顔認証処理の除外条件を満たすか否かを判定してもよい。その結果、人物P2の顔画像領域R2は、顔認証処理の除外条件を満たすこととなるが、判定していない人物P1の顔画像領域R1は、顔認証処理の除外条件を満たさないと扱われ、後述するように顔認証処理が行われることとなる。
【0024】
なお、除外判定部13は、必ずしも顔画像領域の顔画像のみを用いて、人物の年齢といった属性を検出することに限定されない。例えば、撮影画像から検出した人物の身長や、人物の姿勢、顔領域の大きさ、などを用いて、人物の属性を検出してもよい。例えば、図4の例では、撮影画像内に3人の人物P11,P12,P13が映ることとなるが、顔画像上の特徴による年齢検出と併せて、2人の人物P11,P12に対する1人の人物P13の身長差にも基づいて、人物P13の属性を「子供」と判定してもよい。また、図6の例では、2人の人物P21,P22の顔画像領域R21,R22を抽出することとなるが、これら顔画像領域R21,R22の距離に基づいて、人物P21,P22の属性を検出してもよい。この場合、2つの顔画像領域R21,R22は極めて近距離に位置し、予め設定された距離の範囲内に位置していることから、大人が子供を抱きかかえていると判断し、1人の人物P21の属性を「大人」、もう1人の人物P22の属性を「子供」と検出してもよい。このとき、除外判定部13は、各人物P21,P22の位置関係や姿勢なども参照して、人物P21,P22の属性を検出してもよい。
【0025】
なお、除外判定部13は、人物の属性として、年齢のみならず、他の属性を検出してもよい。例えば、除外判定部13は、顔画像領域内の顔画像の特徴に基づいて、人物の性別といった属性を検出してもよい。この場合、除外判定部13は、例えば、無人店舗が女性用の商品を扱う店舗である場合には、属性が女性の人物は、顔認証処理の除外条件を満たす、と判定する。但し、上述した除外判定部13によって検出する属性や除外条件は一例であって、いかなる属性を検出し、いかなる除外条件が設定されていてもよい。
【0026】
また、上述した除外判定部13による人物の属性の検出処理では、人物の顔画像を含む人物画像に対する解析処理を行うこととしているが、かかる解析処理の処理負荷や計算量は、後述するように人物の顔認証処理時に行う顔画像の特徴量計算時の処理負荷や計算量よりも小さいこととなる。例えば、上記では、除外判定部13は、顔画像を解析処理して年齢的な特徴を検出する場合や、顔の距離を算出する場合を例示したが、これらの解析処理は、人物の顔認証処理時に行う顔画像の特徴量計算における処理負荷や計算量よりも少ない処理である。
【0027】
上記顔認証部14(認証手段)は、上述したように顔認証処理の除外条件を満たすと判定された顔画像領域は除いて、除外条件を満たさないと判定された顔画像領域のみに対して顔認証処理を行う。このため、図3の例では、属性が「大人」と判定された人物P1の顔画像領域R1に対して顔認証処理を行い、属性が「子供」と判定された人物P2の顔画像領域R2に対しては顔認証処理は行わない。具体的に、顔認証部14は、顔認証処理として、まず顔画像領域内の顔画像の特徴量を計算する。そして、この計算した特徴量と、利用者情報記憶部16に記憶されている登録者の顔画像の特徴量と、の類似度を算出して、かかる類似度から、人物P1が登録者であるか否かの認証を行う。このとき、顔画像の特徴量間の類似度が閾値以上である場合には、人物P1が登録者であると判定して、顔認証処理が成功したと判断とする。但し、顔認証部14にて顔認証処理を行う顔画像領域は、上述したように、除外条件を満たすか否かを判定していないことによって、除外条件を満たさないと扱われた顔画像領域も含むこととする。
【0028】
なお、顔認証部14は、図4の例では、属性が「大人」と判定された2人の人物P11,P12の顔画像領域に対してはそれぞれ顔認証処理を行い、属性が「子供」と判定された人物P13の顔画像領域に対しては顔認証処理は行わない。また、顔認証部14は、図6の例では、属性が「大人」と判定された人物P21の顔画像領域に対しては顔認証処理を行い、属性が「子供」と判定された人物P22の顔画像領域に対しては顔認証処理は行わない。
【0029】
上記ゲート制御部15(ゲート制御手段)は、上述した顔認証処理が成功した場合には、ゲートGを開くよう制御する。図3の例では、ゲート制御部15は、登録者である人物P1の顔認証処理が成功した場合には、その同行者である人物P2の顔認証処理を行うことなくゲートGを開き、登録者である人物P1と同行者である人物P2の無人店舗への入場を許可する。また、図4の例では、ゲート制御部15は、人物P11,P12が登録者であり、当該人物P11,P12の顔認証処理が成功した場合には、その同行者である人物P13の顔認証処理を行うことなく、ゲートGを開き、登録者である人物P11,P12と同行者である人物P13の無人店舗への入場を許可する。このとき、ゲート制御部15は、顔認証処理を行った全ての人物P11,P12の認証が成功した場合のみ、ゲートを開くよう制御してもよいが、顔認証処理を行った複数の人物P11,P12のうち1人のみの認証が成功した場合に、ゲートを開いてもよい。つまり、複数の人物のグループに対して、1人でも登録者がいて顔認証処理が成功した場合には、ゲートを開いて、他の全ての同行者の入場を許可してもよい。また、図6の例では、ゲート制御部15は、人物P21が登録者であり、当該人物P21の顔認証処理が成功した場合には、その同行者である人物P22の顔認証処理を行うことなく、ゲートGを開き、登録者である人物P21と同行者である人物P22の無人店舗への入場を許可する。
【0030】
また、ゲート制御部15は、顔認証処理の結果を受けて、ディスプレイDに顔認証処理の結果に応じた情報を表示するよう出力してもよい。例えば、ゲート制御部15は、顔認証処理が成功した場合には、成功の旨やゲートGを開く旨を表示するよう出力し、顔認証処理が失敗した場合には、認証が失敗した旨やゲートGを開くことはできない旨の情報を表示するよう出力する。なお、ゲート制御部15は、ゲートGの周囲に設置された図示しないランプを点灯させることで、認証が失敗した旨の警報を出力するなど、いかなる装置にていかなる情報を出力してもよい。
【0031】
[動作]
次に、上述した顔認証装置1の動作を、主に図7のフローチャートを参照して説明する。顔認証装置1は、無人店舗の入口となるゲートG前の撮影画像を、カメラCから常に取得する(ステップS1)。そして、顔認証装置1は、取得した撮影画像から、人物の顔画像領域を抽出する。例えば、顔認証装置1は、図3に示すように、登録者である人物P1の顔画像領域R1と、同伴者である人物P2の顔画像領域R2と、をそれぞれ抽出する(ステップS2)。
【0032】
続いて、顔認証装置1は、図3に示すように抽出した顔画像領域R1,R2が複数ある場合には(ステップS3でYes)、各顔画像領域R1,R2の各人物P1,P2の年齢を検出する(ステップS4)。例えば、図3の例では、各顔画像領域R1,R2内の顔画像の特徴から、人物P1,P2の年齢を検出する。また、図6の例では、各顔画像領域R21,R22の距離が近いということから、人物P1,P2の年齢を検出する。そして、顔認証装置1は、検出した人物の年齢が子供である場合には(ステップS5でYes)、子供である人物は顔認証処理の除外条件を満たすと判定し、かかる人物の顔画像領域を顔認証処理から除外する(ステップS6)。例えば、図3の例で、顔認証装置1は、人物P1は「大人」の年齢、人物P2は「子供」の年齢、と検出した場合には、人物P1は顔認証処理の除外条件を満たさず、人物P2は顔認証処理の除外条件を満たす、と判定する。このように、顔認証装置1は、後の顔認証処理で顔認証用に顔画像の特徴量を計算する前に、人物の属性を検出して、顔認証処理の除外条件を満たすか否かを判定する。
【0033】
続いて、顔認証装置1は、顔認証処理の除外条件を満たすと判定された顔画像領域は除いて、除外条件を満たさないと判定された顔画像領域のみに対して顔認証処理を行う。このため、図3図6の例では、属性が「大人」と判定された人物P1の顔画像領域R1に対して顔認証処理を行い、属性が「子供」と判定された人物P2の顔画像領域R2に対しては顔認証処理は行わない。具体的に、顔認証装置1は、顔認証処理として、まず顔画像領域R1内の顔画像の顔認証処理用の特徴量を計算する(ステップS7)。そして、この計算した特徴量と、予め利用者情報として登録されている登録者の顔画像の特徴量と、の類似度を算出して、かかる類似度から、人物P1が登録者であるか否かの認証を行う(ステップS8)。
【0034】
続いて、顔認証装置1は、人物P1が登録者であると判定して、顔認証処理が成功すると(ステップS9でYes)、ゲートGを開くよう制御する(ステップS10)。一方、顔認証装置1は、顔認証処理が失敗すると、認証が失敗した旨やゲートを解放できない旨の警報情報を出力する(ステップS11)。
【0035】
以上のように、本発明では、複数の人物の顔画像を抽出して、かかる顔画像から人物が顔認証処理の除外条件を満たすか否かを判定し、除外条件を満たす顔画像については顔認証を行わず、他の顔画像に対してのみ顔認証処理を行うこととしている。このため、顔認証を行うべき登録者である人物の同伴者が子供といった顔認証処理の除外条件を満たす場合には、かかる同伴者の顔認証処理が行われることがないため、余計な顔認証処理が実行されることを抑制できる。そして、登録者のみ顔認証処理を行って、認証が成功した場合にゲートを開くなどの制御を行って同行者の共連れを許可することで、同伴者について顔認証処理用の登録などを行う必要がない。その結果、セキュリティを向上させつつ、円滑な顔認証処理を実現することができる。
【0036】
<実施形態2>
次に、本発明の第2の実施形態を、図8乃至図10を参照して説明する。図8乃至図9は、実施形態2における顔認証装置の構成を示すブロック図であり、図10は、顔認証装置の動作を示すフローチャートである。なお、本実施形態では、上述した実施形態で説明した顔認証装置及び顔認証方法の構成の概略を示している。
【0037】
まず、図8を参照して、本実施形態における顔認証装置100のハードウェア構成を説明する。顔認証装置100は、一般的な情報処理装置にて構成されており、一例として、以下のようなハードウェア構成を装備している。
・CPU(Central Processing Unit)101(演算装置)
・ROM(Read Only Memory)102(記憶装置)
・RAM(Random Access Memory)103(記憶装置)
・RAM103にロードされるプログラム群104
・プログラム群104を格納する記憶装置105
・情報処理装置外部の記憶媒体110の読み書きを行うドライブ装置106
・情報処理装置外部の通信ネットワーク111と接続する通信インタフェース107
・データの入出力を行う入出力インタフェース108
・各構成要素を接続するバス109
【0038】
そして、顔認証装置100は、プログラム群104をCPU101が取得して当該CPU101が実行することで、図9に示す抽出手段121と判定手段122と認証手段123とを構築して装備することができる。なお、プログラム群104は、例えば、予め記憶装置105やROM102に格納されており、必要に応じてCPU101がRAM103にロードして実行する。また、プログラム群104は、通信ネットワーク111を介してCPU101に供給されてもよいし、予め記憶媒体110に格納されており、ドライブ装置106が該プログラムを読み出してCPU101に供給してもよい。但し、上述した抽出手段121と判定手段122と認証手段123とは、かかる手段を実現させるための専用の電子回路で構築されるものであってもよい。
【0039】
なお、図8は、顔認証装置100である情報処理装置のハードウェア構成の一例を示しており、情報処理装置のハードウェア構成は上述した場合に限定されない。例えば、情報処理装置は、ドライブ装置106を有さないなど、上述した構成の一部から構成されてもよい。
【0040】
そして、顔認証装置100は、上述したようにプログラムによって構築された抽出手段121と判定手段122と認証手段123との機能により、図10のフローチャートに示す顔認証方法を実行する。
【0041】
図10に示すように、顔認証装置100は、
撮影画像内の複数の顔画像を抽出し(ステップS101)、
少なくとも1つの前記顔画像に基づいて、当該顔画像の人物が顔認証処理の除外条件を満たすか否かを判定し(ステップS102)、
前記除外条件を満たす人物の前記顔画像は除外し、その他の前記顔画像に対して当該顔画像の人物が予め登録された人物であるか否かを認証する顔認証処理を行う(ステップS103)、
という処理を実行する。
【0042】
本発明は、以上のように構成されることにより、複数の人物の顔画像を抽出して、かかる顔画像から人物が顔認証処理の除外条件を満たすか否かを判定し、除外条件を満たす顔画像については顔認証を行わず、他の顔画像に対してのみ顔認証処理を行うこととしている。このため、顔認証を行うべき登録者である人物の同伴者が顔認証処理の除外条件を満たす場合には、かかる同伴者の顔認証処理が行われることがないため、余計な顔認証処理が実行されることを抑制でき、円滑な顔認証処理を実現することができる。
【0043】
なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【0044】
以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。また、上述した抽出手段121と判定手段122と認証手段123との機能のうちの少なくとも一以上の機能は、ネットワーク上のいかなる場所に設置され接続された情報処理装置で実行されてもよく、つまり、いわゆるクラウドコンピューティングで実行されてもよい。
【0045】
<付記>
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における顔認証方法、顔認証装置、プログラムの構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
(付記1)
撮影画像内の複数の顔画像を抽出し、
少なくとも1つの前記顔画像に基づいて、当該顔画像の人物が顔認証処理の除外条件を満たすか否かを判定し、
前記除外条件を満たす人物の前記顔画像は除外し、その他の前記顔画像に対して当該顔画像の人物が予め登録された人物であるか否かを認証する顔認証処理を行う、
顔認証方法。
(付記2)
付記1に記載の顔認証方法であって、
少なくとも1つの前記顔画像に基づいて当該顔画像の人物の属性を検出し、当該属性に基づいて前記除外条件を満たすか否かを判定する、
顔認証方法。
(付記3)
付記2に記載の顔認証方法であって、
少なくとも1つの前記顔画像に基づいて当該顔画像の人物の年齢を検出し、当該年齢に基づいて前記除外条件を満たすか否かを判定する、
顔認証方法。
(付記4)
付記3に記載の顔認証方法であって、
前記顔画像の人物の年齢が予め設定された基準により子供と判断できる年齢である場合に、前記除外条件を満たすと判定する、
顔認証方法。
(付記5)
付記1乃至4のいずれかに記載の顔認証方法であって、
複数の前記顔画像に基づいて少なくとも1つの前記顔画像の人物の属性を検出し、当該属性に基づいて前記除外条件を満たすか否かを判定する、
顔認証方法。
(付記6)
付記5に記載の顔認証方法であって、
複数の前記顔画像のそれぞれの人物の距離に基づいて、少なくとも1つの前記顔画像の人物の年齢を検出し、当該年齢に基づいて前記除外条件を満たすか否かを判定する、
顔認証方法。
(付記6.1)
付記1乃至6のいずれかに記載の顔認証方法であって、
記顔認証処理に必要な前記顔画像に対する特徴量計算を行う前に、当該顔画像に基づいて、当該顔画像の人物が前記除外条件を満たすか否かを判定する、
顔認証方法。
(付記7)
付記1乃至6のいずれかに記載の顔認証方法であって、
撮影画像内から同時に抽出された複数の前記顔画像のうち、前記除外条件を満たした人物の前記顔画像を除いた少なくとも他の1つの前記顔画像に対する前記顔認証処理が成功した場合に、所定のゲートを開くよう制御する、
顔認証方法。
(付記8)
付記7に記載の顔認証方法であって、
撮影画像内から同時に抽出された複数の前記顔画像のうち、前記除外条件を満たした人物の前記顔画像を除いた他の全ての前記顔画像に対する前記顔認証処理が成功した場合に、所定のゲートを開くよう制御する、
顔認証方法。
(付記9)
撮影画像内の複数の顔画像を抽出する抽出手段と、
少なくとも1つの前記顔画像に基づいて、当該顔画像の人物が顔認証処理の除外条件を満たすか否かを判定する判定手段と、
前記除外条件を満たす人物の前記顔画像は除外し、その他の前記顔画像に対して当該顔画像の人物が予め登録された人物であるか否かを認証する顔認証処理を行う認証手段と、
を備えた顔認証装置。
(付記9.1)
付記9に記載の顔認証装置であって、
前記判定手段は、少なくとも1つの前記顔画像に基づいて当該顔画像の人物の属性を検出し、当該属性に基づいて前記除外条件を満たすか否かを判定する、
顔認証装置。
(付記9.2)
付記9.1に記載の顔認証装置であって、
前記判定手段は、少なくとも1つの前記顔画像に基づいて当該顔画像の人物の年齢を検出し、当該年齢に基づいて前記除外条件を満たすか否かを判定する、
顔認証装置。
(付記9.3)
付記9.2に記載の顔認証装置であって、
前記判定手段は、前記顔画像の人物の年齢が予め設定された基準により子供と判断できる年齢である場合に、前記除外条件を満たすと判定する、
顔認証装置。
(付記9.4)
付記9乃至9.3のいずれかに記載の顔認証装置であって、
前記判定手段は、複数の前記顔画像に基づいて少なくとも1つの前記顔画像の人物の属性を検出し、当該属性に基づいて前記除外条件を満たすか否かを判定する、
顔認証装置。
(付記9.5)
付記9.4に記載の顔認証装置であって、
前記判定手段は、複数の前記顔画像のそれぞれの人物の距離に基づいて、少なくとも1つの前記顔画像の人物の年齢を検出し、当該年齢に基づいて前記除外条件を満たすか否かを判定する、
顔認証装置。
(付記9.6)
付記9乃至9.5のいずれかに記載の顔認証装置であって、
前記判定手段は、記顔認証処理に必要な前記顔画像に対する特徴量計算を行う前に、当該顔画像に基づいて、当該顔画像の人物が前記除外条件を満たすか否かを判定する、
顔認証装置。
(付記9.7)
付記9乃至9.6のいずれかに記載の顔認証装置であって、
撮影画像内から同時に抽出された複数の前記顔画像のうち、前記除外条件を満たした人物の前記顔画像を除いた少なくとも他の1つの前記顔画像に対する前記顔認証処理が成功した場合に、所定のゲートを開くよう制御するゲート制御手段、
を備えた顔認証装置。
(付記9.8)
付記9.7に記載の顔認証装置であって、
前記ゲート制御手段は、撮影画像内から同時に抽出された複数の前記顔画像のうち、前記除外条件を満たした人物の前記顔画像を除いた他の全ての前記顔画像に対する前記顔認証処理が成功した場合に、所定のゲートを開くよう制御する、
顔認証装置。
(付記10)
情報処理装置に、
撮影画像内の複数の顔画像を抽出する抽出手段と、
少なくとも1つの前記顔画像に基づいて、当該顔画像の人物が顔認証処理の除外条件を満たすか否かを判定する判定手段と、
前記除外条件を満たす人物の前記顔画像は除外し、その他の前記顔画像に対して当該顔画像の人物が予め登録された人物であるか否かを認証する顔認証処理を行う認証手段と、
を実現させるためのプログラム。
(付記10.1)
付記10に記載のプログラムであって、
前記情報処理装置に、さらに、
撮影画像内から同時に抽出された複数の前記顔画像のうち、前記除外条件を満たした人物の前記顔画像を除いた少なくとも他の1つの前記顔画像に対する前記顔認証処理が成功した場合に、所定のゲートを開くよう制御するゲート制御手段、
を実現させるためのプログラム。
(付記10.2)
付記10.1に記載のプログラムであって、
前記ゲート制御手段は、撮影画像内から同時に抽出された複数の前記顔画像のうち、前記除外条件を満たした人物の前記顔画像を除いた他の全ての前記顔画像に対する前記顔認証処理が成功した場合に、所定のゲートを開くよう制御する、
プログラム。
【0046】
なお、本発明は、日本国にて2020年6月17日に特許出願された特願2020-104263の特許出願に基づく優先権主張の利益を享受するものであり、当該特許出願に記載された内容は、全て本明細書に含まれるものとする。
【符号の説明】
【0047】
1 顔認証装置
11 画像取得部
12 顔抽出部
13 除外判定部
14 顔認証部
15 ゲート制御部
16 利用者情報記憶部
C カメラ
D ディスプレイ
G ゲート
P1,P2,P11,P12,P13,P21,P22 人物
R1,R2,R21,R22 顔画像領域
100 顔認証装置
101 CPU
102 ROM
103 RAM
104 プログラム群
105 記憶装置
106 ドライブ装置
107 通信インタフェース
108 入出力インタフェース
109 バス
110 記憶媒体
111 通信ネットワーク
121 抽出手段
122 判定手段
123 認証手段
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10