(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023047654
(43)【公開日】2023-04-06
(54)【発明の名称】顔認証システム及び顔認証方法
(51)【国際特許分類】
G06F 21/32 20130101AFI20230330BHJP
G06F 21/36 20130101ALI20230330BHJP
G06T 7/00 20170101ALI20230330BHJP
【FI】
G06F21/32
G06F21/36
G06T7/00 510F
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2021156698
(22)【出願日】2021-09-27
(71)【出願人】
【識別番号】521421643
【氏名又は名称】株式会社S&S
(74)【代理人】
【識別番号】100131048
【弁理士】
【氏名又は名称】張川 隆司
(74)【代理人】
【識別番号】100174377
【弁理士】
【氏名又は名称】山内 健吾
(74)【代理人】
【識別番号】100215038
【弁理士】
【氏名又は名称】木村 友子
(72)【発明者】
【氏名】中野 博
【テーマコード(参考)】
5B043
【Fターム(参考)】
5B043AA09
5B043BA04
5B043GA17
(57)【要約】
【課題】認証時間を短くできる顔認証システム及び方法を提供する。
【解決手段】認証対象者の顔画像と認証対象者に割り当てられた固有データとが対応付けて記憶部に記憶される。認証対象者の顔と前記認証対象者に割り当てられた固有データの両方が写った画像を撮影する(S1)。撮影画像に写った固有データに対応付けて記憶部に記憶された顔データを取得する(S2~S4)。取得した顔データと、撮影画像中の顔画像とを比較することで、認証対象者が登録された人物と同一人物であるかの認証を行う(S5)。認証結果を表示部に表示する(S7、S8)。固有データは、例えば数値、文字、記号、バーコード、二次元コード、図形もしくは色、又はこれらの組み合わせである。
【選択図】
図3
【特許請求の範囲】
【請求項1】
認証対象者の顔データと、前記認証対象者に割り当てられた固有データとが対応付けて記憶された記憶部と、
前記認証対象者の顔と前記固有データの両方が写った画像を撮影する撮影部と、
前記撮影部が撮影した前記画像中の前記固有データに対応付けて前記記憶部に記憶された前記顔データを取得する顔データ取得部と、
前記顔データ取得部が取得した前記顔データと、前記撮影部が撮影した前記画像中の顔画像とを比較する比較部と、
を備える顔認証システム。
【請求項2】
認証対象者の顔データと、前記認証対象者に割り当てられた固有データとが対応付けて記憶された記憶部と、
前記認証対象者の顔を撮影する撮影部と、
前記撮影部による顔撮影と別々に前記固有データを取得する固有データ取得部と、
前記固有データ取得部が取得した前記固有データに対応付けて前記記憶部に記憶された前記顔データを取得する顔データ取得部と、
前記顔データ取得部が取得した前記顔データと、前記撮影部が撮影した顔画像とを比較する比較部と、
を備える顔認証システム。
【請求項3】
前記固有データは誤り検出用の符号を含んでおり、
前記符号に基づいて、取得された前記固有データに誤りが無いかを判定する判定部を備え、
前記比較部は、取得された前記固有データに誤りがある場合には、前記顔データと前記顔画像との比較を中止する請求項1又は2に記載の顔認証システム。
【請求項4】
前記固有データは、数値、文字、記号、バーコード、二次元コード、図形もしくは色、又はこれらの組み合わせである請求項1~3のいずれか1項に記載の顔認証システム。
【請求項5】
認証対象者の顔と前記認証対象者に割り当てられた固有データの両方が写った画像を取得する画像取得ステップと、
前記画像取得ステップで取得した前記画像中の前記固有データに対応付けて記憶部に記憶された、前記認証対象者の顔データを取得する顔データ取得ステップと、
前記顔データ取得ステップで取得した前記顔データと、前記画像取得ステップで取得した前記画像中の顔画像とを比較する比較ステップと、
を備える顔認証方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は顔認証を行うシステム及び方法に関する。
【背景技術】
【0002】
従来、認証対象者の顔を撮影し、撮影した顔画像と、予め記憶部に記憶された認証対象者の顔データとを比較して同一人物か否かを判定する顔認証方法が知られている(例えば特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の顔認証方法では、記憶部に多人数の顔データが記憶されている場合には、撮影した顔画像と比較する顔データの数が多いことで、認証に時間がかかるという問題がある。
【0005】
本発明は、上記問題に鑑みてなされ、認証時間を短くできる顔認証システム及び方法を提供することを課題とする。
【課題を解決するための手段】
【0006】
本発明の顔認証システムは、
認証対象者の顔データと、前記認証対象者に割り当てられた固有データとが対応付けて記憶された記憶部と、
前記認証対象者の顔と前記固有データの両方が写った画像を撮影する撮影部と、
前記撮影部が撮影した前記画像中の前記固有データに対応付けて前記記憶部に記憶された前記顔データを取得する顔データ取得部と、
前記顔データ取得部が取得した前記顔データと、前記撮影部が撮影した前記画像中の顔画像とを比較する比較部と、
を備える。
【0007】
本発明の顔認証方法は、
認証対象者の顔と前記認証対象者に割り当てられた固有データの両方が写った画像を取得する画像取得ステップと、
前記画像取得ステップで取得した前記画像中の前記固有データに対応付けて記憶部に記憶された、前記認証対象者の顔データを取得する顔データ取得ステップと、
前記顔データ取得ステップで取得した前記顔データと、前記画像取得ステップで取得した前記画像中の顔画像とを比較する比較ステップと、
を備える。
【0008】
これによれば、認証対象者に割り当てられた固有データに基づいて記憶部に記憶された顔データを取得するので、撮影した顔画像と比較する顔データを短時間で取得でき、ひいては認証時間を短くできる。また、認証対象者の顔と固有データの両方が写った画像を取得するので、顔画像と同時に固有データを取得でき、顔画像と固有データとを別々に取得する場合に比べて、顔認証システムの構成や処理を簡素化でき、より短時間で認証を行うことができる。
【0009】
本発明の顔認証システムは、
認証対象者の顔データと、前記認証対象者に割り当てられた固有データとが対応付けて記憶された記憶部と、
前記認証対象者の顔を撮影する撮影部と、
前記撮影部による顔撮影と別々に前記固有データを取得する固有データ取得部と、
前記固有データ取得部が取得した前記固有データに対応付けて前記記憶部に記憶された前記顔データを取得する顔データ取得部と、
前記顔データ取得部が取得した前記顔データと、前記撮影部が撮影した顔画像とを比較する比較部と、
を備える。このように、顔画像と固有データとを別々に取得してもよい。これによっても、顔画像のみで認証する場合に比べて、認証時間を短くできる。
【0010】
また、前記固有データは誤り検出用の符号を含んでおり、
前記符号に基づいて、取得された前記固有データに誤りが無いかを判定する判定部を備え、
前記比較部は、取得された前記固有データに誤りがある場合には、前記顔データと前記顔画像との比較を中止してもよい。これによって、誤った固有データに基づいて顔認証が行われてしまうのを抑制できる。
【0011】
また、前記固有データは、数値、文字、記号、バーコード、二次元コード、図形もしくは色、又はこれらの組み合わせとしてよい。数値、文字、記号、バーコード、二次元コード、図形もしくは色は簡単かつ高精度に認識できるので、数値、文字、記号、バーコード、二次元コード、図形もしくは色、又はこれらの組み合わせの固有データを用いることで、顔認証の時間を短くできる。
【図面の簡単な説明】
【0012】
【
図2】記憶部に記憶される固有データ(番号)と顔データとを示す図である。
【
図4】認証対象者の顔と固有データの両方が写った画像の模式図である。
【
図5】変形例に係る顔認証システム(施設側装置)の構成図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施形態を図面を参照しつつ説明する。
図1は本実施形態の顔認証システムの構成図を示している。
図1のシステム1は、施設側装置2と、認証対象者Hに所持される番号カード8とを備えている。施設側装置2は例えば認証処理を行う施設に備えられる。また施設側装置2は前記施設の担当者が携帯所持するスマートフォン、タブレット端末等の携帯機として構成されてもよい。また、前記施設はどのような施設でもよく、例えば会員又は社員のみが利用できる施設でもよいし、現金を預けたり、引き出したりすることができる施設(銀行、信用金庫など)でもよい。
【0014】
施設側装置2は、撮影部3と記憶部4と表示部5と操作部6と処理部7とを備えている。撮影部3は、認証対象者Hの顔を撮影するためのものであり、被写体の光を取り込むレンズと、レンズで取り込まれた光から被写体を示す画像データを生成するCMOSセンサ等の撮像素子とを備えて構成される。撮影部3は処理部7に電気的に接続されている。
【0015】
記憶部4は、
図2に示すように、認証対象者Hごとに、認証対象者Hの顔データと認証対象者Hに割り当てられた固有データとを対応付けて記憶する。本実施形態では、記憶部4には、固有データとして、認証対象者固有の番号(数値)が記憶される。番号は例えば0~9の数値のみで構成され、2桁以上の場合には0~9の数値の組み合わせで構成されている。また記憶部4には、顔データとして、認証対象者Hの顔画像が記憶される。
図2に示すように、例えば、番号「123」が割り当てられた人の顔の画像Xが、番号「123」に対応付けて記憶部4に記憶されている。
【0016】
記憶部4への固有データ(番号)と顔データ(顔画像)との記憶(言い換えれば登録)はどのような方法で行ってもよい。例えば、施設に入会する際などにおいて対象者の氏名、住所、電話番号等の個人情報を登録する際に、対象者の顔画像も併せて登録するとともに、番号が自動的に施設側から対象者に割り当てられて、その番号に対応付けて個人情報(顔画像も含む)が記憶部4に記憶(登録)されてよい。記憶部4は処理部7に電気的に接続されている。
【0017】
表示部5は、撮影部3の撮影範囲に写っている画像を表示したり、認証対象者Hの認証結果(認証できたか否か)を表示する。表示部5は処理部7に電気的に接続されている。
【0018】
操作部6は、認証処理に関連する各種操作を行う部分である。例えば、操作部6は認証処理の実行を指示する認証実行スイッチ、撮影部3による撮影を指示する撮影スイッチなどを含む。
【0019】
番号カード8は、認証対象者H個人を特定する固有データが表面に表示された個人特定部材であり、具体的には、認証対象者Hに割り当てられた番号(認証対象者Hの顔画像に対応付けて記憶部4に記憶された番号)が表面に表示されたカードである。番号カード8は例えば記憶部4への顔データの登録時に施設から発行される。番号カード8は例えば会員カード、社員カード等としてよい。
【0020】
処理部7は、認証対象者Hが、登録された人物か否かの認証処理を行う。具体的には、処理部7は例えば
図3に示す認証処理を行う。以下、
図3の認証処理を説明する。
【0021】
図3の処理を開始すると、先ず、処理部7は、撮影部3に、認証対象者Hの顔と認証対象者Hに配布された番号カード8とを同時に撮影させる(S1)。具体的には、例えば、処理部7は、表示部5に撮影部3の撮影範囲100(
図4参照)内の画像を表示させる。そして、認証対象者Hの顔と、認証対象者Hに配布された番号カード8に表示された番号の両方が撮影範囲100内に写るように、認証対象者Hを動作させる。認証対象者Hへの動作指示は、施設の担当者が行ってもよいし、施設側装置2による自動音声又は動作指示表示により行ってもよい。なお、施設側装置2が携帯機の場合には、施設の担当者は、認証対象者Hの顔と番号カード8の両方が撮影範囲100内に写るように、携帯機を認証対象者Hの顔の前に位置させる。
【0022】
撮影範囲100内に顔と番号カード8の両方が写っている状態で、認証対象者H又は施設の担当者が操作部6の撮影スイッチを操作したことに基づいて、処理部7は撮影部3に撮影を実行させる。なお、表示部5に撮影範囲100を表示させてから所定時間後に自動的に撮影部3に撮影を実行させてもよい。処理部7は撮影部3が撮影した画像を取得する。以下では、撮影部3が撮影した画像を符号「100」で示す。このように、撮影部3は、
図4に示すように、認証対象者Hの顔画像101と、番号カード8に表示された番号を示す画像102(以下番号画像という)の両方が写った画像100を撮影して取得する。なお、ステップS1が本発明の画像取得ステップに相当する。
【0023】
次に、処理部7は、撮影部3が撮影した画像100中の番号画像102で示される番号が、記憶部4に記憶された番号であるかの番号認証を行う(S2)。具体的には、先ず、画像100中に写っている番号を特定する。例えば、処理部7内のメモリ(図示外)に、0~9の各数値を示す基準画像を記憶しておき、画像100中の各領域と、基準画像とを比較することで、基準画像に相当する番号画像102を特定(抽出)する。番号画像102で示される番号を特定した後、該番号が記憶部4に登録された番号であるかを判定する。
図4の例では、番号が「123」であり、番号「123」は記憶部4に登録されている番号(
図2参照)であると判定される。
【0024】
番号認証が失敗した場合、つまり、ステップS1で撮影した画像中に番号が含まれていない場合、又は画像中に含まれた番号が記憶部4に登録されていない場合(S3:No)、処理部7は表示部5に認証失敗を示す表示を行わせる(S8)。
【0025】
番号認証が成功した場合、つまり、ステップS1で撮影した画像中に含まれた番号が記憶部4に登録された番号である場合(S3:Yes)、処理部7は、次に、撮影画像中に含まれた番号に対応付けて記憶された顔画像を記憶部4から取得する(S4)。
図4の例では、番号が「123」であるので、番号「123」に対応付けられた顔画像X(
図2参照)が記憶部4から読み出される。なお、ステップS2~S4を実行する処理部7が本発明の顔データ取得部に相当する。またステップS2~S4が本発明の顔データ取得ステップに相当する。
【0026】
次に、処理部7は、ステップS1で取得した撮影画像と、ステップS4で取得した顔画像とに基づいて、認証対象者Hの顔認証を行う(S5)。具体的には、
図4の撮影画像100を例にして説明すると、撮影画像100から顔画像101を抽出する。例えば、処理部7内のメモリ(図示外)に、人の顔を示す基準画像(顔の輪郭及び顔の各部位(目、鼻、口、耳など)を含んだ画像)を記憶しておき、この基準画像に類似する領域101を顔画像として抽出すればよい。そして、抽出した顔画像101と、ステップS4で取得した顔画像Xとを比較することで、顔画像101が顔画像Xと一致するかの照合(顔認証)を行う。顔認証の手法は特許文献1に記載の手法など公知のいずれの手法を採用してもよい。顔認証においては、基本的には、顔画像101から目、鼻、口、耳などの顔部位を抽出し、各顔部位の特徴量を計算し、計算した特徴量が、比較対象の顔画像Xの特徴量と一致するかを判定する。なお、ステップS5を実行する処理部7が本発明の比較部に相当する。ステップS5が本発明の比較ステップに相当する。
【0027】
顔認証が失敗した場合、つまり、顔画像101(
図4参照)と顔画像X(
図2参照)とが一致しない場合には(S6:No)、処理部7は表示部5に認証失敗を示す表示を行わせる(S8)。この場合には、番号「123」の発行時の人物と、認証時(
図3の処理時)の人物とが別人であることを意味する。
【0028】
顔認証が成功した場合、つまり、顔画像101(
図4参照)と顔画像X(
図2参照)とが一致した場合には(S6:Yes)、処理部7は表示部5に認証成功を示す表示を行わせる(S7)。
【0029】
なお、認証失敗した場合には、例えば認証対象者Hに対する所定の行為(例えば、施設内への入場や、施設が銀行の場合には現金の引き出しなど)が禁止される。認証成功した場合には、例えば、認証対象者Hに対する所定の行為が許可される。
【0030】
以上説明したように、本実施形態では、先ず、認証対象者Hに割り当てられた番号の認証を行い、次に、認証した番号に対応付けられた顔データを記憶部4から読み出して、その顔データと撮影画像中の顔画像との比較(顔認証)を行うので、顔認証を短時間で行うことができる。仮に番号認証を行わない場合には、記憶部4に記憶された各人の顔データと撮影画像(顔画像)とを順番に比較して、撮影画像と一致した顔データを探索しなければならないので、認証時間が長くなる。例えば、
図4の顔画像101と一致する顔データが番号「123」に対応付けられた顔画像X(
図2参照)であるとすると、顔画像101と一致する顔画像Xを探索するまでに、番号が「1」~「122」に対応付けられた各顔画像A、B、C、D・・・と、顔画像101との比較を行う必要がある。本実施形態では、番号「123」以外の番号に対応付けられた各顔画像A、B、C、D・・・と、顔画像101との比較を省略できるので、認証時間を短くできる。
【0031】
また、認証対象者Hの番号が「123」であるとして、番号「123」以外の番号に対応付けられた顔データとの比較を省略できるので、認証対象者Hが番号「123」以外の番号に割り当てられた人物であると誤って認証されてしまうのを抑制できる。また、認証精度が高い番号認証したうえで顔認証を行うので、個人の認証精度を高くできる。
【0032】
さらに、ステップS1では、認証対象者Hの顔と、認証対象者Hに割り当てられた番号の両方が写った画像を取得し、つまり顔画像と同時に番号を取得するので、顔画像と番号とを別々に取得する場合に比べて、システム1(施設側装置2)の構成や処理を簡素化できる。
【0033】
なお、本発明は上記実施形態に限定されず種々の変更が可能である。例えば、
図3のステップS1では、認証対象者の顔と、認証対象者に割り当てられた固有データ(番号)の両方が写った画像を撮影したが、顔の撮影と固有データの取得とを別々に行ってもよい。この場合、
図1の施設側装置2に代えて、
図5の施設側装置10を例示できる。なお、
図5において、
図1と同様の構成には同一の符号を付している。
図5の施設側装置10は、固有データ取得部9を備えている点で
図1の施設側装置2と異なっており、それ以外は施設側装置2と同じである。
【0034】
固有データ取得部9は、撮影部3とは別々に設けられており、認証対象者Hに割り当てられた固有データを取得する部分である。固有データ取得部9は、例えば、固有データが表示された部材(例えば、
図1の番号カード8)を撮影する撮影部として構成されてもよいし、固有データ(番号など)を入力する操作部(キーボード、タッチパネルなど)として構成されてもよい。また、個人特定部材が、固有データが電気的又は磁気的に記憶されたICカード、磁気カードなどの部材である場合には、固有データ取得部9は、該個人特定部材から固有データを通信で読み取る読取部として構成されてもよい。
【0035】
図5の施設側装置10を適用する場合、
図3のステップS1では、認証対象者の顔は写っているが、固有データは写っていない画像を撮影し、ステップS1とは別に、固有データ取得部9から固有データを取得するステップを、
図3のステップS2の前に実行する。ステップS2以降は、
図1の施設側装置2を適用した場合と同様である。
【0036】
なお、
図1の施設側装置2を適用する場合、認証対象者の顔と固有データとを、同一の撮影部3で別々に撮影してもよい。
【0037】
このように、認証対象者の顔画像と固有データとを別々に取得したとしても、短時間で個人認証(顔認証)を行うことができる。
【0038】
また、上記実施形態では、固有データとして番号(数値)を例示したが、番号以外のデータ(具体的には文字、記号、バーコード、二次元コード(例えばQRコード(登録商標))、図形又は色など)で固有データが構成されてもよいし、数値、文字、記号、バーコード、二次元コード、図形又は色などを組み合わせて固有データが構成されてもよい。また、固有データは、認証対象者の住所、氏名、電話番号、個人番号(日本に於いて「行政手続における特定の個人を識別するための番号の利用等に関する法律」に基づき、各市区町村から住民に指定される12桁の番号)、免許証番号などでもよい。
【0039】
また、上記実施形態では、顔認証システムの各構成が同一の施設内又は同一の装置内に備えられる例を示したが、各構成が複数の施設又は場所に分散されていてもよい。例えば、顔認証システムを遠隔地のサーバと、認証対象者が居る施設の端末とを備えたシステムとして構成する。また、認証対象者ごとに顔画像と固有データとを記憶した記憶部がサーバ側に設けられる。そして、端末が認証対象者の顔及び固有データを含んだ画像を撮影し、その撮影画像を端末からサーバに送る。サーバは、端末から送られた撮影画像に基づいて、
図3のステップS2~S5に相当する処理を行う。そして、その認証処理の結果をサーバから端末に送る。端末は、サーバから送られてきた認証結果を表示してもよい。
【0040】
また、上記実施形態では、固有データが表面に表示された個人特定部材が番号カード8(
図1参照)である例を示したが、個人特定部材はどのような形態の部材でもよく、例えば、認証対象者が携帯所持するスマートフォン等の携帯機の画面に固有データを表示させて、固有データを表示した携帯機を個人特定部材としてもよい。この場合、
図3のステップS1では、認証対象者の顔撮影と同時に、固有データを表示した携帯機も撮影する。
【0041】
また、認証対象者が個人特定部材(
図1の番号カード8など)を忘れてしまったときには、認証対象者に、固有データを紙に書かせて、その紙を個人特定部材として、
図3のステップS1で撮影してもよい。
【0042】
また、記憶部において固有データに対応付けて記憶される顔データは、顔画像そのものでもよいし、顔画像から抽出された特徴量であってもよい。
【0043】
施設側から認証対象者に通知(発行)される固有データは誤り検出のために所定の条件を満たしたデータであってもよい。具体的には、固有データは誤り検出用の符号を含んだデータでもよい。ここで、前記符号を含んだ固有データのうち、前記符号を除いたデータを第1データ、前記符号を第2データとする。第2データ(誤り検出用の符号)は、第1データと所定の関係を満たすように設定される。具体的には例えば、第2データは、第1データの各桁の数値を加算した値の最下位の桁の値又は最上位の桁の値に設定される。この場合、例えば、第1データが「123」であるとすると、第2データは「6」となる。
【0044】
施設側から認証対象者には、第1データ及び第2データを含んだ固有データが発行(通知)される。この場合、第2データは、例えば、第1データに後続して付加される。第1データが「123」、第2データが「6」とすると、認証対象者には、固有データとして「1236」が通知される。施設側の記憶部4(
図1参照)には、固有データとして「第1データ」のみが記憶されてもよいし、「第1データ+第2データ」が記憶されてもよい。
【0045】
図3のステップS1では、顔撮影と同時に、第1データ及び第2データを含んだ固有データも撮影する。ステップS2では、判定部としての処理部7(
図1参照)は、ステップS1で得られた撮影画像中の固有データの第1データと第2データとが所定の関係を満たしているかに基づいて、該固有データに誤りが無いかを判定する。例えば、第2データは、第1データの各桁の数値を加算した値の最下位の桁の値又は最上位の桁の値に設定される場合には、第2データと、第1データの各桁の数値を加算した値の最下位の桁の値又は最上位の桁の値とが等しいか否かを判定する。等しい場合には、撮影画像から検出した固有データに誤りが無いとして、検出した固有データの第1データが、記憶部4に登録されたデータであるかを判定する。
【0046】
一方、第2データと、第1データの各桁の数値を加算した値の最下位の桁の値又は最上位の桁の値とが異なっている場合には、撮影画像から検出した固有データに誤りがあるとして、ステップS2の番号認証が「失敗」と判定する。番号認証が失敗の場合には、
図3のステップS4、S5の顔認証は中止する。例えば、本来の固有データが「1236」(第1データ「123」+第2データ「6」)であるとし、撮影画像から検出された固有データが「1336」であるとすると、第1データの各桁の加算値「7」と、第2データ「6」とは異なっているので、検出した固有データ「1336」に誤りがあると判定される。例えば、ステップS1において、認証対象者が、自身の固有データを紙に記載して撮影する場合に、固有データとして「1236」と記載すべきところを、誤って「1336」と記載してしまったとしても、ステップS2の番号認証が失敗となる。したがって、撮影画像と比較する顔データとして、第1データが「133」に割り当てられた人物の顔データが記憶部4から読み出されて、ステップS5の顔認証が行われてしまうのを抑制できる。
【0047】
このように、固有データに、誤り検出用の符号(第2データ)を含ませることで、より高精度に個人認証を行うことができる。なお、誤り検出用の符号を含んだ固有データは、認証対象者の顔撮影と同時に取得してもよいし、顔撮影とは別々に取得してもよい。
【符号の説明】
【0048】
1 顔認証システム
2、10 施設側装置
3 撮影部
4 記憶部
5 表示部
6 操作部
7 処理部
8 番号カード
9 固有データ取得部