IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社スクウェア・エニックスの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-21
(45)【発行日】2022-11-30
(54)【発明の名称】顔認証プログラム及び顔認証システム
(51)【国際特許分類】
   G06T 7/00 20170101AFI20221122BHJP
【FI】
G06T7/00 510F
G06T7/00 350C
【請求項の数】 2
(21)【出願番号】P 2020117976
(22)【出願日】2020-07-08
(65)【公開番号】P2022015263
(43)【公開日】2022-01-21
【審査請求日】2020-07-08
(73)【特許権者】
【識別番号】308033283
【氏名又は名称】株式会社スクウェア・エニックス
(74)【代理人】
【識別番号】100155550
【弁理士】
【氏名又は名称】田嶋 諭
(72)【発明者】
【氏名】三宅 陽一郎
(72)【発明者】
【氏名】永井 裕也
【審査官】宮島 潤
(56)【参考文献】
【文献】特開2020-71814(JP,A)
【文献】国際公開第2010/103735(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00 - 7/90
(57)【特許請求の範囲】
【請求項1】
撮像部を有しそれぞれ異なる位置に設定された端末装置と通信ネットワークにより接続されるサーバ装置に、いずれかの端末装置で撮像されたユーザの顔画像に対し、前記サーバ装置内に設けられた記憶部、又は、前記サーバ装置及び前記端末装置とは別体の記憶装置に設けられた記憶部に登録されている複数の顔情報を用いてユーザの顔認証を実行させる顔認証プログラムであって、
前記サーバ装置に、
前記複数の顔情報のそれぞれに対応するユーザの位置推定情報であって、該ユーザの顔画像が撮像された前記端末装置の位置である第一撮像位置、及び、該ユーザの顔情報が撮影された時刻である第一撮像時刻の情報を含み、前記記憶部において該複数の顔情報のそれぞれに対応付けられて登録されている位置推定情報、及び、前記顔認証の対象となる顔画像が撮像された前記端末装置の位置及び該顔認証の対象となる顔画像が撮像された時刻を第二撮像位置及び第二撮像時刻としたときに、前記第一撮像時刻に前記第一撮像位置で顔画像を撮像したユーザが、第二撮像時刻までに第二撮像位置に移動できないと推定されるユーザの顔情報を前記顔認証の対象から除外する条件を含む所定の条件に基づいて、前記複数の顔情報のうちから前記顔認証に用いる顔情報を決定する決定機能、
撮像されたユーザの顔画像と、前記決定された顔情報とを照合し、該ユーザの顔画像が、該決定された顔情報のいずれかと一致する場合に、該ユーザが認証されたと判断する認証機能、
を実現させ、
前記決定機能では、前記第二撮像位置及び第二撮像時刻を前記顔認証の対象となる顔画像が撮像された端末装置から取得し、前記第一撮像位置、前記第一撮像時刻、前記第二撮像位置、前記第二撮像時刻、及び、前記記憶部に登録されている、前記端末装置の位置同士の間でユーザの移動に必要とされる時間のデータから、前記所定の条件を満たす前記顔情報を特定し、前記複数の顔情報のうち該所定の条件を満たす顔情報以外の顔情報を、前記顔認証に用いる顔情報として決定する機能、
を実現させる顔認証プログラム。
【請求項2】
撮像部を有しそれぞれ異なる位置に設定された端末装置と、前記端末装置と通信ネットワークにより接続されるサーバ装置とを備え、いずれかの端末装置で撮像されたユーザの顔画像に対し、前記サーバ装置内に設けられた記憶部、又は、前記サーバ装置及び前記端末装置とは別体の記憶装置に設けられた記憶部に登録されている複数の顔情報を用いてユーザの顔認証を前記サーバ装置が実行する顔認証システムであって、
前記サーバ装置は、
前記複数の顔情報のそれぞれに対応するユーザの位置推定情報であって、該ユーザの顔画像が撮像された前記端末装置の位置である第一撮像位置、及び、該ユーザの顔情報が撮影された時刻である第一撮像時刻の情報を含み、前記記憶部において該複数の顔情報のそれぞれに対応付けられて登録されている位置推定情報、及び、前記顔認証の対象となる顔画像が撮像された前記端末装置の位置及び該顔認証の対象となる顔画像が撮像された時刻を第二撮像位置及び第二撮像時刻としたときに、前記第一撮像時刻に前記第一撮像位置で顔画像を撮像したユーザが、第二撮像時刻までに第二撮像位置に移動できないと推定されるユーザの顔情報を前記顔認証の対象から除外する条件を含む所定の条件に基づいて、前記複数の顔情報のうちから前記顔認証に用いる顔情報を決定する決定手段、
撮像されたユーザの顔画像と、前記決定された顔情報と照合し、該ユーザの顔画像が、該決定された顔情報のいずれかと一致する場合に、該ユーザが認証されたと判断する認証手段、
を含み、
前記決定手段は、前記第二撮像位置及び第二撮像時刻を前記顔認証の対象となる顔画像が撮像された端末装置から取得し、前記第一撮像位置、前記第一撮像時刻、前記第二撮像位置、前記第二撮像時刻、及び、前記記憶部に登録されている、前記端末装置の位置同士の間でユーザの移動に必要とされる時間のデータから、前記所定の条件を満たす前記顔情報を特定し、前記複数の顔情報のうち該所定の条件を満たす顔情報以外の顔情報を、前記顔認証に用いる顔情報として決定する、
顔認証システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態の少なくとも1つは、顔認証プログラム及び顔認証システムに関する。
【背景技術】
【0002】
人物の顔を撮像して顔認証を行うシステム(顔認証システム)は、例えば、遊園地等の施設、施設内のアトラクション等の入場許可の判定などに使用される。顔認証では、撮像された人物の顔画像から顔の特徴を検出し、予め登録されている顔情報と照合される(例えば、特許文献1参照)。また、近年では、人工知能技術のディープラーニングを用いて顔認証が行われる場合もある。
【先行技術文献】
【特許文献】
【0003】
【文献】特許第6684009号
【発明の開示】
【発明が解決しようとする課題】
【0004】
上述の顔認証システムでは、予め登録されている全ての顔情報との照合が行われるため、顔認証に多くの時間がかかってしまうことが課題である。予め登録されている顔情報が多くなるほど顔認証に要する時間も多くなっていく。
【0005】
本発明の少なくとも一つの実施形態の目的は、関連する技術の不足を解決することである。
【課題を解決するための手段】
【0006】
非限定的な観点によると、本発明の一実施形態に係る顔認証プログラムは、撮像されたユーザの顔画像に対し、記憶部に登録されている複数の顔情報を用いて顔認証を実行するコンピュータ装置に、複数の顔情報のそれぞれに対応するユーザの位置推定情報であって記憶部において複数の顔情報のそれぞれに対応付けられて登録されている位置推定情報、及び、所定の条件に基づいて、複数の顔情報のうちから顔認証に用いる顔情報を決定する決定機能、撮像されたユーザの顔画像に対し、決定された顔情報を用いて顔認証を行う認証機能、を実現させる。
【0007】
非限定的な観点によると、本発明の一実施形態に係る顔認証プログラムは、撮像部を有する端末装置と通信ネットワークにより接続されるサーバ装置に、端末装置で撮像されたユーザの顔画像に対し、記憶部に登録されている複数の顔情報を用いてユーザの顔認証を実行させる顔認証プログラムであって、サーバ装置に、複数の顔情報のそれぞれに対応するユーザの位置推定情報であって記憶部において複数の顔情報のそれぞれに対応付けられて登録されている位置推定情報、及び、所定の条件に基づいて、複数の顔情報のうちから顔認証に用いる顔情報を決定する決定機能、撮像されたユーザの顔画像に対し、決定された顔情報を用いて顔認証を行う認証機能、を実現させる。
【0008】
非限定的な観点によると、本発明の一実施形態に係る顔認証システムは、撮像部を有する端末装置と、端末装置と通信ネットワークにより接続されるサーバ装置とを備え、端末装置で撮像されたユーザの顔画像に対し、記憶部に登録されている複数の顔情報を用いてユーザの顔認証を実行する顔認証システムであって、複数の顔情報のそれぞれに対応するユーザの位置推定情報であって記憶部において複数の顔情報のそれぞれに対応付けられて登録されている位置推定情報、及び、所定の条件に基づいて、複数の顔情報のうちから顔認証に用いる顔情報を決定する決定手段、撮像されたユーザの顔画像に対し、決定された顔情報を用いて前記顔認証を行う認証手段、を含む。
【発明の効果】
【0009】
本願の各実施形態により1又は2以上の不足が解決される。
【図面の簡単な説明】
【0010】
図1】本発明の実施形態の少なくとも一つに対応する顔認証システムの構成の例を示すブロック図である。
図2】本発明の実施形態の少なくとも一つに対応するサーバ装置の構成を示す機能ブロック図である。
図3】本発明の実施形態の少なくとも一つに対応する顔認証処理の例を示すフローチャートである。
図4】本発明の実施形態の少なくとも一つに対応する顔認証システムの構成の例を示すブロック図である。
図5】本発明の実施形態の少なくとも一つに対応する端末装置が顔認証処理を実行する場合の端末装置の動作の例を示すフローチャートである。
図6】本発明の実施形態の少なくとも一つに対応するサーバ装置の構成を示す機能ブロック図である。
図7】本発明の実施形態の少なくとも一つに対応する顔認証処理の例を示すフローチャートである。
図8】本発明の実施形態の少なくとも一つに対応する顔認証システム構成の例を示すブロック図である。
図9】本発明の実施形態の少なくとも一つに対応するサーバ装置の構成を示す機能ブロック図である。
図10】本発明の実施形態の少なくとも一つに対応する登録データの一例を示す図である。
図11】本発明の実施形態の少なくとも一つに対応する所要時間データの一例を示す図である。
図12】本発明の実施形態の少なくとも一つに対応する端末装置の構成を示す機能ブロック図である。
図13】本発明の実施形態の少なくとも一つに対応する顔認証処理の例を示すフローチャートである。
図14】本発明の実施形態の少なくとも一つに対応する顔登録処理の例を示すフローチャートである。
図15】本発明の実施形態の少なくとも一つに対応する顔認証システムの構成の例を示すブロック図である。
図16】本発明の実施形態の少なくとも一つに対応する端末装置の構成を示す機能ブロック図である。
図17】本発明の実施形態の少なくとも一つに対応する端末装置が顔認証処理を実行する場合の端末装置の動作の例を示すフローチャートである。
図18】本発明の実施形態の少なくとも一つに対応する端末装置が顔登録処理を実行する場合の端末装置の動作の例を示すフローチャートである。
図19】本発明の実施形態の少なくとも一つに対応する顔認証システム構成の例を示すブロック図である。
図20】本発明の実施形態の少なくとも一つに対応するサーバ装置の構成を示す機能ブロック図である。
図21】本発明の実施形態の少なくとも一つに対応する登録データの一例を示す図である。
図22】本発明の実施形態の少なくとも一つに対応する所要時間データの一例を示す図である。
図23】本発明の実施形態の少なくとも一つに対応する端末装置の構成を示す機能ブロック図である。
図24】本発明の実施形態の少なくとも一つに対応する顔認証処理の例を示すフローチャートである。
図25】本発明の実施形態の少なくとも一つに対応する顔登録処理の例を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態の例について図面を参照して説明する。なお、以下で説明する各実施形態の例における各種構成要素は、矛盾等が生じない範囲で適宜組み合わせ可能である。また、ある実施形態の例として説明した内容については、他の実施形態においてその説明を省略している場合がある。また、各実施形態の特徴部分に関係しない動作や処理については、その内容を省略している場合がある。さらに、以下で説明する各種フローを構成する各種処理の順序は、処理内容に矛盾等が生じない範囲で順不同である。
【0012】
[第1の実施形態]
図1は、本発明の一の実施形態における顔認証システム100の構成の例を示すブロック図である。図1に示すように、顔認証システム100は、サーバ装置10と、複数の端末装置20,201~20N(Nは任意の整数)とを含む。サーバ装置10と複数の端末装置20,201~20Nとは、それぞれインターネット等の通信ネットワーク15に接続されている。なお、顔認証システム100の構成は、これに限定されず、例えば、複数のサーバ装置を備える構成としてもよいし、サーバ装置を備えない構成としてもよい。
【0013】
顔認証システム100は、端末装置20,201~20Nのいずれかで撮像されたユーザの顔画像に対し、登録されている複数の顔情報を用いて顔認証を実行するための各種機能を有する。本実施形態の例の顔認証システム100は、例えば、遊園地等のアトラクション施設、回遊型のゲームイベントに適用される。アトラクション施設では、例えば、ユーザ(利用者)の施設の入場可否、施設内の各アトラクションの利用(搭乗)可否などの判断に顔認証が用いられる。また、回遊型のゲームイベントでは、例えば、ユーザ(プレイヤ)のチェックポイント通過(到達)の可否の判断に顔認証が用いられる。なお、回遊型のゲームイベントは、例えば、ユーザに、現実空間のゲームフィールド内に設けられた全てのチェックポイントを通過(回遊)させるイベントである。
【0014】
顔認証は、ユーザの顔画像を用いて、このユーザの正当性を確認する(本人確認する)ことを意味する。すなわち、顔認証では、撮像された顔画像のユーザが、顔情報が登録されているユーザであるか否かが判断される。例えば、アトラクション施設において、撮像されたユーザの顔画像から取得された顔情報が、登録されている顔情報のいずれかと一致する場合、このユーザは正当な入場者であるとして施設内への入場が許可される。
【0015】
サーバ装置10は、ゲームシステムの管理者によって管理され、端末装置20,201~20Nに対して顔認証の進行に関する情報を提供するための各種機能を有する。サーバ装置10は、例えば、顔認証の結果を提供する。本実施形態の例において、サーバ装置10は、顔認証に関する情報を提供するべくWWWサーバなどの情報処理装置によって構成され、各種情報を格納する1以上の記憶媒体(記憶部)を備える。また、サーバ装置10は、CPU等から構成される制御部等も備える。なお、上述の構成は一般的な構成であるので、詳細な説明は省略する。記憶部は、サーバ装置10に内蔵された構成であっても、サーバ装置10とは別体のデータベース装置等の記憶装置の構成であってもよい。
【0016】
図2は、サーバ装置10の構成の例であるサーバ装置10Aの構成を示す機能ブロック図である。サーバ装置10Aは、制御部が記憶部に記憶されている顔認証を実行するためのソフトウェア(顔認証処理プログラム)を実行することで、決定部11及び認証部12を少なくとも備える。なお、顔認証プログラムには、顔認証処理に用いられる制御用データも含まれる。
【0017】
決定部(決定機能)11は、位置推定情報及び所定の条件に基づいて、記憶部に登録されている複数の顔情報のうちから、顔認証に用いる顔情報を決定する。「位置推定情報」は、記憶部に登録されている複数の顔情報のそれぞれのユーザの現在位置を推定するための情報である。位置推定情報は、複数の顔情報のそれぞれに対応付けられてサーバ装置10Aの記憶部に登録されている。
【0018】
位置推定情報としては、例えば、ユーザの顔画像が撮像された位置(撮像位置)及び時刻(撮像時刻)の情報が含まれる。例えば、端末装置20,201~20Nのいずれか1の端末装置において、顔認証のために顔画像が撮像された場合の撮像時刻及び撮像位置(端末装置の位置)が、位置推定情報として登録される。例えば、ユーザの顔画像が撮像された最新の情報が、位置推定情報として登録される。その他、位置推定情報としては、例えば、アトラクション施設において、ユーザが所持するチケット種別の情報がある。また、位置推定情報としては、回遊型のゲームイベントにおいて、通過したチェックポイントの情報がある。
【0019】
所定の条件としては、例えば、顔認証が行われる顔画像の撮像時刻に撮像位置にいなかったと推定されるユーザの顔情報が、上記顔認証の対象から除外される条件である。この例の場合、決定部11は、記憶部に登録されている複数の顔情報のうちから、所定の条件が成立した顔情報を除外して残った顔情報を、顔認証に用いる顔情報として決定する。
【0020】
例えば、ユーザA1の顔画像が端末装置20で撮像された直後として、これからユーザA1の顔認証が行われる場合について説明する。ユーザA1の撮像位置は、端末装置20の位置である。ここで、ユーザA1と異なるユーザB1は、記憶部に顔情報及び位置推定情報が登録されている。ユーザB1の位置推定情報には、現在時刻よりも10分前の撮像時刻と、端末装置201の位置である撮像位置とが含まれる。すなわち、ユーザB1は、顔認証等のため、10分前に端末装置201で顔画像が撮像されたことが特定される。ユーザB1が、端末装置201から端末装置20に移動するのに必要と推定される時間は30分であるため、ユーザA1の顔画像が撮像された時点で、ユーザB1が端末装置20に存在していなかった(移動できなかった)と推定される。したがって、ユーザB1の顔情報は、これから行われるユーザA1の顔認証に用いる顔情報からは除外される。この場合、各端末装置20,201~20N間におけるユーザの移動に必要と推定される時間(所要時間)は、例えば、予めサーバ装置10Aの記憶部に登録されていればよい。
【0021】
認証部(認証機能)12は、端末装置20,201~20Nで撮像されたユーザの顔画像に対し、決定された顔情報を用いて顔認証を実行する。認証部12は、例えば、撮像されたユーザの顔画像から顔情報を取得し、決定された顔情報との照合を行うことで顔認証を行う。「顔情報」は、顔画像に関する情報であり、顔画像における顔の目、鼻、口などの特徴点の位置、特徴点間の距離等の特徴量、顔画像の特徴ベクトル等である。顔情報は、例えば、顔画像から取得される。
【0022】
次に、端末装置20,201~20Nについて説明する。端末装置20,201~20Nのそれぞれは、例えば、異なる場所に設置される。端末装置20,201~20Nは、撮像部を有し、顔認証の実行をユーザから受け付けることが可能な端末装置によって構成される。端末装置20,201~20Nは、例えば、撮像部を有するパーソナルコンピュータである。
【0023】
各端末装置20,201~20Nは、撮像部、操作装置(操作部)、記憶媒体(記憶部)、CPU等から構成される制御部、表示部、通信制御部等を備える。なお、上述の構成は一般的な構成であるので、詳細な説明は省略する。また、端末装置20,201~20Nの記憶部には、顔認証の実行を受け付けるためのソフトウェア(顔認証受付プログラム)等が記憶されている。端末装置20,201~20Nは、上記プログラムを実行することで、例えば、ユーザの顔画像を撮像し、撮像した顔画像等の情報を顔認証要求とともにサーバ装置10に送信する。また、端末装置20,201~20Nは、サーバ装置10Aから顔認証の結果(認証結果)を受信し、表示部に表示させる。
【0024】
次に、顔認証システム100の構成の例として、サーバ装置10A及び複数の端末装置20,201~20Nを含む顔認証システム100Aの動作について説明する。
【0025】
図3は、顔認証システム100Aが実行する顔認証処理の例を示すフローチャートである。本実施形態の例における顔認証処理では、顔認証に用いる顔情報を決定して顔認証を実行するための処理が行われる。なお、図3においては、主として、顔情報を決定する処理、顔情報を照合する処理について説明し、その他の処理は一部省略している場合がある。以下、サーバ装置10Aと端末装置20とが顔認証処理を実行する場合を例にして説明する。
【0026】
本実施形態の例の顔認証処理は、例えば、端末装置20,201~20Nのいずれかから、顔認証要求を受信した場合に実行される。
【0027】
端末装置20は、例えば、撮像した顔画像等の顔認証用の情報を、顔認証要求とともにサーバ装置10Aに送信する。
【0028】
サーバ装置10Aは、決定処理を実行する(ステップS10)。決定処理では、位置推定情報及び所定の条件に基づいて、記憶部に登録されている複数の顔情報のうちから顔認証に用いる顔情報が決定される。上述した例のように、所定の条件が成立した顔情報を除外して残った顔情報が、顔認証に用いる顔情報として決定される。
【0029】
次に、サーバ装置10Aは、認証処理を実行する(ステップS11)。認証処理では、端末装置20から受信した顔画像に対し、決定された顔情報を用いて顔認証が実行される。上述した例のように、撮像されたユーザの顔画像から顔情報を取得し、決定された顔情報との照合が行われる。照合において、撮像されたユーザの顔画像の顔情報が、決定された顔情報のいずれかと一致する場合、サーバ装置10Aは、受信した顔画像のユーザが、顔情報が記憶部に登録されている正当なユーザであると判断する。また、認証処理では、サーバ装置10Aは、例えば、認証結果等を端末装置20に送信する。なお、顔情報を照合する処理は、一般的な構成であるので詳細な説明は省略する。
【0030】
その後、サーバ装置10Aは、顔認証処理を終了する。一方、端末装置20は、受信した認証結果に基づく画像を出力(表示部に表示)する(ステップS30)。その後、端末装置20は、顔認証処理を終了する。なお、他の端末装置201~20Nにおいても、端末装置20と同様の処理が行われる。
【0031】
以上のように、第1の実施形態の一側面として、サーバ装置10Aが、決定部11及び認証部12を備える構成としているので、所定の条件等に基づいて、顔認証に用いられる顔情報が決定される。したがって、常に登録されている複数の顔情報の全てを用いて顔認証が行われるわけではないので、顔認証に要する時間が低減される。
【0032】
なお、上述した第1の実施形態の例では、サーバ装置10Aが、顔認証を行っているが、特にこれに限定されるものではない。例えば、図4に示すように、複数の端末装置50,501~50Nを含む顔認証システムとし、サーバ装置10Aに代えて、端末装置50,501~50Nのそれぞれが、決定部11及び認証部12を少なくとも備える構成としてもよい。
【0033】
端末装置50,501~50Nは、上述の端末装置20,201~20Nと同様に、例えば、撮像部を有するパーソナルコンピュータである。各端末装置50,501~50Nは、撮像部、操作装置(操作部)、記憶媒体(記憶部)、CPU等から構成される制御部、表示部、通信制御部等を備える。なお、上述の構成は一般的な構成であるので、詳細な説明は省略する。
【0034】
端末装置50,501~50Nの記憶部には、顔認証を実行するためのソフトウェア(顔認証処理プログラム)及び顔認証の実行を受け付けるためのソフトウェア(顔認証受付プログラム)等が記憶されている。すなわち、端末装置50,501~50Nは、ユーザから顔認証の実行を受け付け、顔認証を実行する。
【0035】
端末装置50,501~50Nの記憶部には、データ登録サーバ装置40が管理する複数の顔情報及び位置推定情報と同一の情報が登録されている。データ登録サーバ装置40は、例えば、通信ネットワークを介して端末装置50,501~50Nと接続され、自身の記憶部に対して、ユーザの顔情報及び位置推定情報の登録及び更新を行う。また、データ登録サーバ装置40は、自身の記憶部のユーザの顔情報及び位置推定情報を更新する毎に、端末装置50,501~50Nに更新情報を送信する。なお、データ登録サーバ装置40は、顔認証を実行しない。
【0036】
図5は、端末装置50が図3に示す顔認証処理を実行する場合の端末装置50の動作の例を示すフローチャートである。端末装置50は、例えば、顔認証の実行を受け付けた場合、ユーザの顔画像を撮像する。
【0037】
顔認証処理において、端末装置50は、決定処理を実行する(ステップS50)。決定処理では、位置推定情報及び所定の条件に基づいて、記憶部に登録されている複数の顔情報のうちから顔認証に用いる顔情報が決定される。次に、端末装置50は、認証処理を実行する(ステップS51)。認証処理では、撮像された顔画像に対し、決定された顔情報を用いて顔認証が実行される。また、認証処理では、端末装置50は、例えば、認証結果を表示部に表示させる。その後、端末装置50は、顔認証処理を終了する。
【0038】
なお、データ登録サーバ装置40はなくてもよい。この場合、共有の記憶部が設けられ、各端末装置50,501~50Nは、例えば、共有の記憶部の顔情報及び位置推定情報を参照すればよい。また、図4に示した例では、複数の端末装置50,501~50Nについて説明しているが、単一の端末装置に本発明の実施形態を適用してもよい。
【0039】
なお、上述の実施形態の例では、サーバ装置の記憶部に複数の顔情報が登録されているが、顔情報の登録は、例えば、端末装置が受け付けるようにすればよい。具体的には、端末装置が、ユーザの顔画像を撮像し、顔登録要求とともに顔画像をサーバ装置に送信すればよい。また、サーバ装置は、顔登録要求に基づいて、顔画像から顔情報を生成し、記憶部に登録すればよい。
【0040】
上述の実施形態の例では、所定の条件の一例として、これから顔認証が行われる顔画像の撮像時刻に撮像位置にいなかったと推定されるユーザの顔情報が、上記顔認証の対象から除外される条件が説明されているが、特にこれに限定されるものではない。位置推定情報を用いて成立判断が可能な条件であれば、所定の条件として適用してもよい。また、例えば、所定の条件として、これから顔認証が行われる顔画像の撮像時刻に撮像位置にいると推定されるユーザの顔情報を、顔認証の対象とする条件としてもよい。
【0041】
[第2の実施形態]
本実施形態の例では、顔認証システム100の例である顔認証システム100Bについて説明する。顔認証システム100Bは、サーバ装置10Bと複数の端末装置20,201~20Nとを含む。図6は、サーバ装置10の例であるサーバ装置10Bの構成を示すブロック図である。本実施形態の例において、サーバ装置10Bは、決定部11B及び認証部12を少なくとも備える。
【0042】
決定部11Bは、位置推定情報及び所定の条件に基づいて、記憶部に登録されている複数の顔情報のうちから顔認証に用いる顔情報を決定する。位置推定情報は、複数の顔情報のそれぞれに対応付けられてサーバ装置10Bの記憶部に登録されている。位置推定情報としては、例えば、ユーザの顔画像が撮像された位置(撮像位置)及び時刻(撮像時刻)の情報が含まれる。例えば、端末装置20,201~20Nのいずれか1の端末装置において、顔認証のために顔画像が撮像された場合の撮像時刻及び撮像位置(端末装置の位置)が、位置推定情報として登録される。例えば、ユーザの顔画像が撮像された最新の情報が、位置推定情報として登録される。その他、位置推定情報としては、例えば、アトラクション施設において、ユーザが所持するチケット種別の情報がある。
【0043】
本実施形態の例の所定の条件は、顔認証が行われる顔画像の撮像時刻に撮像位置にいなかったと推定されるユーザの顔情報が、上記顔認証の対象から除外される条件である。したがって、決定部11Bは、記憶部に登録されている複数の顔情報のうちから、所定の条件が成立した顔情報を除外して残った顔情報を、顔認証に用いる顔情報として決定する。
【0044】
例えば、ユーザA1の顔画像が端末装置20で撮像された直後として、これからユーザA1の顔認証が行われる場合について説明する。ユーザA1の撮像位置は、端末装置20の位置である。ユーザB1は、記憶部に顔情報及び位置推定情報が登録されている。ユーザB1の位置推定情報には、現在時刻よりも10分前の撮像時刻と、端末装置201の位置である撮像位置とが含まれる。すなわち、ユーザB1は、顔認証等のため、10分前に端末装置201で顔画像が撮像されたことが特定される。ユーザBが、端末装置201から端末装置20に移動するのに必要と推定される時間は30分であるため、ユーザA1の顔画像が撮像された時点で、ユーザB1が端末装置20に存在していなかった(移動できなかった)と推定される。したがって、ユーザB1の顔情報は、これから行われるユーザA1の顔認証に用いる顔情報からは除外される。各端末装置20,201~20N間におけるユーザの移動に必要と推定される時間(所要時間)は、例えば、予めサーバ装置10Bの記憶部に登録されていればよい。また、ユーザA1の撮像時刻及び撮像位置は、例えば、端末装置20からサーバ装置10Bに送信される。なお、撮像位置は、撮像を行った端末装置の識別情報とすればよい。
【0045】
また、例えば、回遊型のゲームイベントの場合には、通過したチェックポイントの情報、ゲームクリア及びゲーム脱落(リタイア)の情報等が位置推定情報として用いられる構成であってもよい。例えば、回遊型のゲームイベントにおいて、上述のユーザA1の顔認証が行われる場合について説明する。例えば、ユーザB2の位置推定情報に、ゲームクリアの情報が含まれている。この場合、既にゲームクリアしたユーザB2は、各チェックポイントに移動する必要はないので、ユーザA1の顔画像が撮像された時点で、ユーザB2が端末装置20に存在していなかったと推定される。したがって、ユーザB2の顔情報は、これから行われるユーザA1の顔認証に用いる顔情報からは除外される。
【0046】
次に、認証部(認証機能)12は、端末装置20,201~20Nで撮像されたユーザの顔画像に対し、決定された顔情報を用いて顔認証を実行する。認証部12は、例えば、撮像されたユーザの顔画像から顔情報を取得し、決定された顔情報との照合を行うことで顔認証を行う。
【0047】
次に、顔認証システム100Bの動作について説明する。
【0048】
図7は、顔認証システム100Bが実行する顔認証処理の例を示すフローチャートである。本実施形態の例における顔認証処理では、顔認証に用いる顔情報を決定して顔認証を実行するための処理が行われる。なお、図7においては、主として、顔情報を決定する処理、顔情報を照合する処理について説明し、その他の処理は一部省略している場合がある。以下、サーバ装置10Bと端末装置20とが顔認証処理を実行する場合を例にして説明する。なお、図5で例示した端末装置が顔認証を実行するシステムの動作を示すフローチャートについては、重複説明を避ける観点から記載を省略する。
【0049】
本実施形態の例の顔認証処理は、例えば、端末装置20,201~20Nのいずれかから、顔認証要求を受信した場合に実行される。
【0050】
端末装置20は、例えば、撮像した顔画像、顔画像の撮像時刻及び撮像位置等の顔認証用の情報を、認証要求とともにサーバ装置10Bに送信する。
【0051】
サーバ装置10Bは、決定処理を実行する(ステップS10-B)。決定処理では、位置推定情報及び所定の条件に基づいて、記憶部に登録されている複数の顔情報のうちから顔認証に用いる顔情報が決定される。上述したように、所定の条件が成立した顔情報を除外して残った顔情報が、顔認証に用いる顔情報として決定される。サーバ装置10Bは、位置推定情報等に基づいて、受信した顔画像の撮像時刻に撮像位置にいなかったと推定されるユーザの顔情報を、顔認証の対象から除外すればよい。
【0052】
次に、サーバ装置10Bは、認証処理を実行する(ステップS11)。認証処理では、端末装置20から受信した顔画像に対し、決定された顔情報を用いて顔認証が実行される。また、認証処理では、サーバ装置10Bは、例えば、認証結果等を端末装置20に送信する。
【0053】
その後、サーバ装置10Bは、顔認証処理を終了する。一方、端末装置20は、受信した認証結果に基づく画像を出力(表示部に表示)する(ステップS30)。その後、端末装置20は、顔認証処理を終了する。なお、他の端末装置201~20Nにおいても、端末装置20と同様の処理が行われる。
【0054】
以上のように、第2の実施形態の一側面として、サーバ装置10Bが、決定部11B及び認証部12を備える構成としているので、所定の条件等に基づいて、顔認証に用いられる顔情報が決定される。したがって、常に登録されている複数の顔情報の全てを用いて顔認証が行われるわけではないので、顔認証に要する時間が低減される。
【0055】
[第3の実施形態]
図8は、顔認証システム100の構成の例である顔認証システム100Cの構成を示すブロック図である。本実施形態の例では、顔認証システム100Cは、現実空間の遊園地(アトラクション施設)300に配設されている。顔認証システム100Cは、サーバ装置10Cと、複数の端末装置20C,201C~205Cとを含む。サーバ装置10Cと複数の端末装置20C,201C~205Cとは、それぞれインターネットなどの通信ネットワーク15に接続されている。
【0056】
遊園地300では、観覧車、ローラーコースター等の複数のアトラクション80C~84Cが配置されている。遊園地300の施設(領域)は、柵で囲まれている。ユーザ(利用者)は、出入り口であるゲートGから施設内に入ることができる。遊園地300では、ユーザ(利用者)の施設内への入場可否、施設内の各アトラクション80C~84Cの利用(搭乗)可否の判断に、顔認証システム100Cによる顔認証が用いられる。
【0057】
ユーザは、自身が購入したチケットの種別によって、アトラクション80C~84Cの利用条件が異なってくる。例えば、1日間(利用当日)において施設内への入場のみ許可されるチケット、1日間(利用当日)において全てのアトラクション80C~84Cを何度でも利用可能なチケット、1日間(利用当日)において特定のアトラクション80C~82Cを何度でも利用可能なチケットがある。なお、いずれのチケットであっても、ユーザは、当日であれば施設の入退場が自由である。
【0058】
ユーザは、例えば、施設外のゲートG周辺に配置された券売機(不図示)にてチケットを購入可能である。また、ユーザは、WEBサイト等で事前にチケットを購入することも可能である。
【0059】
ユーザは、チケット購入後、予め、顔認証に用いられる自身の顔情報を登録(顔登録)しておく必要がある。顔情報の登録の実行は、ゲートGに配置された端末装置20Cで受け付けられる。顔情報の登録では、チケット種別の登録も合わせて行われる。顔情報の登録完了後、ユーザは、ゲートGからの入場が許可される。なお、端末装置20Cは、例えば、施設内に再入場するユーザに対し、顔認証の実行も受け付ける。そして、顔認証によって入場が許可された場合、ユーザは、ゲートGからの入場が許可される。
【0060】
施設に入場したユーザは、顔認証によって利用(搭乗)が許可された場合、許可されたアトラクションに搭乗することができる。各アトラクション80C~84C付近には、端末装置201C~205Cが配置されている。端末装置201C~205Cは、顔認証の実行を受け付ける。
【0061】
図9は、サーバ装置10の例であるサーバ装置10Cの構成を示すブロック図である。本実施形態の例において、サーバ装置10Cは、決定部11C、認証部12C、登録更新部13C及び取得部14Cを少なくとも備える。
【0062】
決定部11Cは、位置推定情報及び所定の条件に基づいて、記憶部に登録されている複数の顔情報のうちから顔認証に用いる顔情報を決定する。具体的には、決定部11Cは、記憶部に登録されている複数の顔情報のうちから、所定の条件が成立した顔情報を除外して残った顔情報を、顔認証に用いる顔情報として決定する。本実施形態の例の位置推定情報は、図10に示すような登録データに含まれ、複数の顔情報のそれぞれに対応付けられている。図10は、顔認証に用いられる登録データの一例を示す図である。登録データは、サーバ装置10Cの記憶部に記憶される。
【0063】
登録データは、ユーザID、氏名、顔情報、チケット種別、第一撮像時刻及び第一撮像位置等のフィールドから構成されている。1のレコードに、1のユーザの情報が登録されている。位置推定情報としては、登録データのチケット種別、第一撮像位置及び第一撮像時刻が該当する。登録データには、例えば、数千人のユーザの情報が登録される。
【0064】
ユーザIDのフィールドには、ユーザの識別情報が登録される。氏名のフィールドには、ユーザの氏名のテキストデータが登録される。顔情報のフィールドには、ユーザの顔画像から取得した顔情報(数値)が登録される。顔情報は、顔画像に関する情報であり、例えば、顔画像における顔の目、鼻、口などの特徴点の位置、特徴点間の距離等の特徴量、顔画像の特徴ベクトル等である。
【0065】
チケット種別のフィールドには、ユーザが購入したチケットの種別情報(識別情報)が登録される。なお、図10に示すチケット種別では、説明の便宜上、チケットの種別の説明を記載している。第一撮像時刻及び第一撮像位置のフィールドには、ユーザの顔画像が最後に撮像された位置及び時刻が登録される。本実施形態の例では、顔登録及び顔認証のいずれかで顔画像が最後に撮像された位置及び時刻が登録される。第一撮像位置のフィールドには、顔画像が撮像された端末装置の識別情報が登録される。例えば、ユーザ(ユーザID:0005)の場合、最後に、顔登録又は顔認証のために顔画像が撮像されたのが、10時00分で端末装置20Cであることが特定される。
【0066】
次に、所定の条件について説明する。本実施形態の例の所定の条件には、下記の条件(1),(2)が含まれる。
【0067】
条件(1)顔認証の対象となる顔画像が撮像された位置及び時刻を第二撮像位置及び第二撮像時刻としたときに、第一撮像時刻に第一撮像位置で顔画像を撮像したユーザが、第二撮像時刻までに第二撮像位置に移動できないこと。
【0068】
条件(2)顔認証の対象となる顔画像が撮像された位置にいなかったと推定されるチケット種別であること。
【0069】
決定部11Cは、記憶部に登録されている複数の顔情報のうちから、上記条件(1)及び条件(2)の少なくとも1つの条件が成立した顔情報を除外して残った顔情報を、顔認証に用いる顔情報として決定する。
【0070】
条件(1)における移動に関しては、図11に示すような所要時間データが参照される。所要時間データは、二地点間のユーザの移動に必要と推定される時間のデータである。所要時間データは、サーバ装置10Cの記憶部に記憶されている。所要時間データは、装置ID-1、装置ID-2、所要時間等のフィールドから構成されている。装置ID-1、装置ID-2のフィールドは、2つの地点を示す。装置ID-1、装置ID-2のフィールドには、端末装置20C,201C~205Cのいずれかの識別情報が設定される。所要時間のフィールドには、装置ID-1及び装置ID-2の二地点間の所要時間が設定される。なお、所要時間は、二地点間の片道移動の所要時間である。また、遊園地300では、ユーザの移動は徒歩のみである。したがって、所要時間のフィールドには、徒歩(走行)移動で推定される所要時間が設定される。所要時間には、例えば、どんなに早く移動しても必要となる時間が設定される。ユーザが船、電車、自動車等に乗って二地点間を移動可能である場合には、所要時間のフィールドには、船、電車、自動車等を利用した場合に推定される所用時間が設定されてもよい。
【0071】
次に、条件(2)に関しては、施設内への入場のみ許可されるチケット、特定のアトラクション80C~82Cを何度でも利用可能なチケットの場合、条件(2)が成立する。例えば、施設内への入場のみ許可されるチケットのユーザは、基本的にアトラクション80C~84Cに配置された端末装置201C~205Cには移動しない。上記ユーザは、アトラクション80C~84Cに搭乗できないからである。また、特定のアトラクション80C~82Cを何度でも利用可能なチケットのユーザは、基本的にアトラクション83C,84Cに配置された端末装置204C,205Cには移動しない。上記ユーザは、アトラクション83C,84Cに搭乗できないからである。
【0072】
例えば、11時00分にユーザA1の顔画像が端末装置205Cで撮像された直後として、これからユーザA1の顔認証が行われる場合について説明する。この場合、第二撮像位置は端末装置205Cであり、第二撮像時刻は11時00分である。
【0073】
図10に示されている、登録データのユーザID:0001のユーザは、第一撮像時刻が10時20分であり、第一撮像位置が端末装置20Cである。図11に示されているように、端末装置20Cから端末装置205Cへの移動の所要時間は5分間である。したがって、ユーザID:0001のユーザは、10時20分に端末装置20Cにいた状態から、11時00分に端末装置205Cに移動することは可能であると判断される。したがって、条件(1)は不成立である。しかし、ユーザID:0001のユーザのチケット種別には、施設内への入場のみ許可されるチケットが登録されている。そのため、条件(2)は成立する。したがって、決定部11Cは、ユーザID:0001の顔情報を、ユーザA1の顔認証の対象から除外する。決定部11Cは、例えば、ユーザID:0001を、除外情報として記憶部に追加設定しておけばよい。
【0074】
次に、例えば、登録データのユーザID:0002のユーザは、第一撮像時刻が10時59分であり、第一撮像位置が端末装置201Cである。端末装置201Cから端末装置205Cへの移動の所要時間は15分間である。したがって、ユーザID:0002のユーザは、10時59分に端末装置201Cにいた状態から、11時00分に端末装置205Cに移動することは不可能であると判断される。そのため、条件(1)は成立する。したがって、決定部11Cは、ユーザID:0002の顔情報を、ユーザA1の顔認証の対象から除外する。決定部11Cは、例えば、ユーザID:0002を、除外情報として記憶部に追加設定しておけばよい。なお、ユーザID:0002のユーザのチケット種別には、全てのアトラクション80C~84Cを何度でも利用可能なチケットが設定されている。したがって、条件(2)は不成立である。
【0075】
また、例えば、登録データのユーザID:0005のユーザは、第一撮像時刻が10時00分であり、第一撮像位置が端末装置20Cである。端末装置20Cから端末装置205Cへの移動の所要時間は5分間である。したがって、ユーザID:0005のユーザは、10時00分に端末装置20Cにいた状態から、11時00分に端末装置205Cに移動することは可能であると判断される。したがって、条件(1)は不成立である。また、ユーザID:0005のユーザのチケット種別には、全てのアトラクション80C~84Cを何度でも利用可能なチケットが設定されている。そのため、条件(2)も不成立である。したがって、決定部11Cは、ユーザID:0005の顔情報を、ユーザA1の顔認証の対象とする(除外情報として設定しない)。
【0076】
上述のように、決定部11Cは、登録データの各位置推定情報(チケット種別、第一撮像時刻及び第一撮像位置)を参照し、条件(1)、条件(2)について成立性を判断する。そして、登録データの複数の顔情報のうち、除外情報として設定されたユーザIDの顔情報を除外して残った顔情報を、顔認証に用いる顔情報として決定する。
【0077】
次に、認証部12Cは、端末装置20C,201C~205Cにおいて顔認認証用に撮像されたユーザの顔画像に対し、決定部11Cで決定された顔情報を用いて顔認証を実行する。すなわち、認証部12Cは、撮像された顔画像のユーザが、顔情報が登録されているユーザ本人であるか否かを判断する(認証する)ことで、施設への入場可否及びアトラクションの利用(搭乗)可否を判断する。
【0078】
端末装置20Cにおいて顔認証用に撮像されたユーザの顔画像が認証された場合、施設への入場が許可される。端末装置201C~205Cにおいて顔認証用に撮像されたユーザの顔画像が認証された場合、アトラクションの利用(搭乗)が許可される。
【0079】
認証部12Cは、撮像されたユーザの顔画像の顔情報を取得部14Cから取得し、決定部11Cで決定された顔情報との照合を行うことで顔認証を行う。端末装置20C,201C~205Cは、顔認証の実行を受け付けたユーザの顔画像、顔画像の撮像時刻(第二撮像時刻)、撮像位置(第二撮像位置)等の顔認証用の情報を、顔認証要求とともにサーバ装置10Cに送信する。
【0080】
次に、登録更新部(登録更新機能)13Cは、端末装置20Cにおいて顔登録用に撮像されたユーザの顔画像の顔情報を、登録データに新規登録する。具体的には、登録更新部13Cは、ユーザID、氏名、顔情報、チケット種別、第一撮像時刻及び第一撮像位置の1レコード分を登録データに新規登録する。端末装置20Cは、顔登録の実行を受け付けたユーザの氏名、顔画像、顔画像の撮像時刻(第一撮像時刻)、撮像位置(第一撮像位置)等の顔登録用の情報を、顔登録要求とともにサーバ装置10Cに送信する。登録更新部13Cは、端末装置20Cから受信した顔登録用の情報を参照し、1レコード分を登録データに新規登録する。なお、登録更新部13Cは、端末装置20Cから受信した顔画像の顔情報を取得部14Cから取得する。また、登録更新部13Cは、新規登録用にユーザIDを新規に生成する。
【0081】
また、登録更新部13Cは、撮像されたユーザの顔画像が顔認証において認証された場合、この顔画像のユーザの登録データの位置推定情報(第一撮像時刻及び第一撮像位置)を、この顔画像が撮影された時点の情報に更新する。例えば、上記例のユーザA1の顔認証において、11時00分に端末装置205Cで撮像されたユーザA1の顔画像が、図10で例示した登録データにおけるユーザID:0006の顔情報と一致するとして認証された場合について説明する。この場合、サーバ装置10Cは、ユーザA1の顔画像、顔画像の撮像時刻(11時00分)、撮像位置(端末装置205C)等の顔認証用の情報を、顔認証要求とともに端末装置205Cから受信済である。登録更新部13Cは、ユーザID:0006の第一撮像時刻及び第一撮像位置を、上記端末装置205Cから受信した撮像時刻(11時00分)、撮像位置(端末装置205C)に更新する。
【0082】
次に、取得部14Cは、顔認証及び顔登録において、顔画像から顔情報を取得(抽出)する。取得部14Cは、顔画像を用いた機械学習によって得られた学習済モデルを利用して顔情報を取得する。学習済モデルには、例えば、ニューラルネットワークが用いられる。ニューラルネットワークには、顔画像が入力される。また、ニューラルネットワークは、入力された顔画像の顔情報を出力する。なお、入力される顔画像は、端末装置20C,201C~205Cで撮像された顔画像であってもよいし、撮像された顔画像にフィルタ処理等の各種処理が行われた顔画像であってもよい。なお、各種処理が行われた顔画像であっても、端末装置20C,201C~205Cで撮像された顔画像に該当する。
【0083】
本実施形態の例の学習済みモデル(ニューラルネットワーク)は、予め、多くの顔画像(学習データ)を入力して機械学習(例えば、ディープラーニング)が行われて生成される。なお、学習済みモデル(ニューラルネットワーク)は、遊園地300での顔登録及び顔認証の対象となる顔画像を入力として学習(追加学習)させてもよい。また、顔情報の取得に、学習済みモデルを用いない構成を採用してもよい。
【0084】
図12は、端末装置20の例である端末装置20Cの構成を示すブロック図である。本実施形態の例において、端末装置20Cは、登録受付部21C及び顔認証受付部22Cを少なくとも備える。なお、端末装置201C~205Cは、端末装置20Cと同様の構成であるが、登録受付部21Cを有しない。
【0085】
登録受付部21Cは、ユーザから顔登録の実行を受け付ける。ユーザは、例えば、端末装置20Cの操作部を操作し、顔登録の実行を選択すればよい。登録受付部21Cは、撮像部にユーザの顔画像を撮像させる。また、登録受付部21Cは、ユーザに操作部を操作させて、ユーザの氏名、チケット種別を入力させる。その後、登録受付部21Cは、ユーザの氏名、顔画像、チケット種別、顔画像の撮像時刻(第一撮像時刻)、撮像位置(第一撮像位置)等の顔登録用の情報を、顔登録要求とともにサーバ装置10Cに送信する。端末装置20Cは、サーバ装置10Cから顔登録の完了を受信した場合、施設への入場許可の表示を行う。
【0086】
顔認証受付部22Cは、ユーザから顔認証の実行を受け付ける。ユーザは、例えば、端末装置20Cの操作部を操作し、顔認証の実行を選択すればよい。顔認証受付部22Cは、撮像部にユーザの顔画像を撮像させる。その後、顔認証受付部22Cは、ユーザの顔画像、顔画像の撮像時刻(第二撮像時刻)、撮像位置(第二撮像位置)等の顔認証用の情報を、顔認証要求とともにサーバ装置10Cに送信する。なお、第二撮像位置は、端末装置20Cの識別情報である。サーバ装置10Cから認証結果を受信した場合、端末装置20Cは、施設への入場許可の表示を行う。なお、端末装置201C~205Cでは、サーバ装置10Cから認証結果を受信した場合、アトラクション80C~84Cの利用許可の表示が行われる。
【0087】
次に、顔認証システム100Cの動作について説明する。
【0088】
図13は、システム100Cが実行する顔認証処理の例を示すフローチャートである。本実施形態の例における顔認証処理では、顔認証に用いる顔情報を決定して顔認証を実行するための処理が行われる。なお、図13においては、主として、顔情報を決定する処理、顔情報を照合する処理について説明し、その他の処理は一部省略している場合がある。以下、サーバ装置10Cと端末装置20Cとが認証処理を実行する場合を例にして説明する。
【0089】
本実施形態の例の顔認証処理は、例えば、端末装置20C,201C~205Cのいずれかから、顔認証要求を受信した場合に実行される。
【0090】
端末装置20Cは、ユーザの顔画像、顔画像の第二撮像時刻、第二撮像位置(端末装置20Cの識別情報)等の顔認証用の情報を、顔認証要求とともにサーバ装置10Cに送信する。
【0091】
サーバ装置10Cは、決定処理を実行する(ステップS10-C)。決定処理では、位置推定情報(チケット種別、第一撮像時刻及び第一撮像位置)、及び、所定の条件(条件(1)、条件(2))に基づいて、記憶部に登録されている複数の顔情報のうちから顔認証に用いる顔情報が決定される。上述したように、所定の条件が成立した顔情報を除外して残った顔情報が、顔認証に用いる顔情報として決定される。
【0092】
次に、サーバ装置10Cは、認証処理を実行する(ステップS11-C)。認証処理では、端末装置20Cから受信した顔画像に対し、決定された顔情報を用いて顔認証が実行される。すなわち、撮像された顔画像の顔情報が取得され、取得された顔情報と、決定された顔情報とが一致するか否かが判断される。また、認証処理では、サーバ装置10Cは、入場を許可するか否かの認証結果等を端末装置20Cに送信する。なお、端末装置201C~205Cには、サーバ装置10Cは、アトラクションの利用(搭乗)を許可するか否かの認証結果等を送信する。
【0093】
一方、端末装置20Cは、受信した認証結果等に基づく画像を出力(表示部に表示)する(ステップS30-C)。その後、端末装置20Cは、顔認証処理を終了する。なお、他の端末装置201C~205Cにおいても、端末装置20Cと同様の処理が行われる。
【0094】
その後、サーバ装置10Cは、更新処理を実行する(ステップS12-C)。更新処理では、端末装置20Cから受信した顔画像に一致した顔情報(登録データ)に対応付けられた位置推定情報(第一撮像時刻及び第一撮像位置)が、端末装置20Cから受信した顔画像が撮影された時点の情報に更新される。具体的には、端末装置20Cから受信した第二撮像時刻及び第二撮像位置である撮像時刻及び撮像位置が、上記登録データの第一撮像位置及び第一撮像位置に登録される。なお、認証処理において、撮像された顔画像の顔情報が、決定された顔情報のいずれかと一致しなかったと判断された場合、更新処理では位置推定情報は更新されない。その後、サーバ装置10Cは、顔認証処理を終了する。
【0095】
図14は、システム100Cが実行する顔登録処理の例を示すフローチャートである。本実施形態の例における顔登録処理では、顔認証に用いる顔情報の登録を実行するための処理が行われる。なお、図14においては、主として、顔情報を登録する処理について説明し、その他の処理は一部省略している場合がある。
【0096】
本実施形態の例の顔登録処理は、例えば、端末装置20Cから、顔登録要求を受信した場合に実行される。
【0097】
端末装置20Cは、ユーザの氏名、顔画像、チケット種別、顔画像の撮像時刻(第一撮像時刻)、撮像位置(第一撮像位置)等の顔登録用の情報を、顔登録要求とともにサーバ装置10Cに送信する。
【0098】
サーバ装置10Cは、登録処理を実行する(ステップS20-C)。登録処理では、ユーザID、氏名、顔情報、チケット種別、第一撮像時刻及び第一撮像位置の1レコード分が登録データに新規登録される。また、登録処理では、サーバ装置10Cは、顔登録の完了通知等を端末装置20Cに送信する。その後、サーバ装置10Cは、顔登録処理を終了する。一方、端末装置20Cは、受信した完了通知等に基づく画像を出力(表示部に表示)する(ステップS40-C)。その後、端末装置20Cは、顔登録処理を終了する。
【0099】
以上のように、第3の実施形態の一側面として、サーバ装置10Cが、決定部11C、認証部12C、登録更新部13C及び取得部14Cを備える構成としているので、所定の条件等に基づいて、顔認証に用いられる顔情報が決定される。したがって、常に登録されている複数の顔情報の全てを用いて顔認証が行われるわけではないので、顔認証に要する時間が低減される。
【0100】
なお、上述した実施形態の例では、サーバ装置10Cが、顔認証を行っているが、特にこれに限定されるものではない。例えば、図15に示すように、複数の端末装置50C,501C~505Cを含む顔認証システムとし、図16に示すように、サーバ装置10Cに代えて、端末装置50C,501C~505Cのそれぞれが、決定部11C、認証部12C、登録更新部13C及び取得部14Cと同様な決定部11C′、認証部12C′、登録更新部13C′及び取得部14C′を少なくとも備える構成としてもよい。なお、図16は、端末装置50Cの機能ブロック図である。
【0101】
端末装置50C,501C~505Cは、上述の端末装置20C,201C~205Cと同様に、例えば、撮像部を有するパーソナルコンピュータである。各端末装置50C,501C~505Cは、撮像部、操作装置(操作部)、記憶媒体(記憶部)、CPU等から構成される制御部、表示部、通信制御部等を備える。
【0102】
また、端末装置50C,501C~505Cは、上述の端末装置20C,201C~205Cと同様に、遊園地300に配置される。端末装置50Cは、端末装置20Cと同様に登録受付部21C′及び顔認証受付部22C′も備える。また、端末装置501C~505Cは、端末装置201C~205Cと同様に、顔認証受付部22C′も備える。
【0103】
端末装置50C,501C~505Cの記憶部には、顔認証を実行するためのソフトウェア(顔認証処理プログラム)、顔認証の実行を受け付けるためのソフトウェア(顔認証受付プログラム)及び顔登録の実行を受け付けるためのソフトウェア(顔登録受付プログラム)等が記憶されている。すなわち、端末装置50C,501C~505Cは、ユーザから顔登録及び顔認証の実行を受け付け、顔登録及び顔認証を実行する。
【0104】
端末装置50C,501C~505Cの記憶部には、データ登録サーバ装置40Cが管理するマスタ登録データと同一の登録データが登録されている。データ登録サーバ装置40Cは、例えば、通信ネットワークを介して端末装置50C,501C~505Cと接続され、自身の記憶部に対して、マスタ登録データの登録及び更新を行う。マスタ登録データは、図10で例示した登録データと同様である。データ登録サーバ装置40Cは、記憶部のマスタ登録データが更新される毎に、端末装置50C,501C~505Cに更新情報を送信する。なお、端末装置50C,501C~505Cの記憶部には、所要時間データも記憶されている。なお、データ登録サーバ装置40は、顔認証を実行しない。
【0105】
登録更新部13C′は、顔登録の実行が受け付けられた場合、顔登録用の情報をデータ登録サーバ装置40Cに送信する。データ登録サーバ装置40Cは、受信した顔登録の情報を参照し、登録データを更新する。また、登録更新部13C′は、顔認証において認証された場合、顔画像の撮像時刻及び撮像位置をデータ登録サーバ装置40Cに送信する。データ登録サーバ装置40Cは、受信した撮像時刻及び撮像位置を、登録データの第一撮像時刻及び第一撮像位置に設定する。
【0106】
図17は、端末装置50Cが図13に示す顔認証処理を実行する場合の端末装置50Cの動作の例を示すフローチャートである。端末装置50Cは、例えば、顔認証の実行を受け付けた場合、ユーザの顔画像を撮像する。そして、端末装置50Cは、顔画像に加え、この顔画像の第二撮像時刻、第二撮像位置(端末装置50Cの識別情報)等の顔認証用の情報を取得する。
【0107】
顔認証処理において、端末装置50Cは、決定処理を実行する(ステップS50-C)。決定処理では、位置推定情報(チケット種別、第一撮像時刻及び第一撮像位置)、及び、所定の条件(条件(1),条件(2))に基づいて、記憶部に登録されている複数の顔情報のうちから顔認証に用いる顔情報が決定される。
【0108】
次に、端末装置50Cは、認証処理を実行する(ステップS51-C)。認証処理では、端末装置50Cが撮像した顔画像に対し、決定された顔情報を用いて顔認証が実行される。また、認証処理では、端末装置50Cは、入場を許可するか否かの認証結果を表示する。なお、端末装置501C~505Cでは、アトラクションの利用(搭乗)を許可するか否かの認証結果等が表示される。
【0109】
その後、端末装置50Cは、更新処理を実行する(ステップS52-C)。更新処理では、撮像された顔画像に一致した顔情報(マスタ登録データ)に対応付けられた位置推定情報(第一撮像時刻及び第一撮像位置)が、顔画像が撮影された時点の情報に更新される。具体的には、端末装置50Cは、撮像された顔画像に一致するユーザID、及び、撮像された顔画像の第二撮像時刻及び第二撮像位置である撮像時刻及び撮像位置を、データ登録サーバ装置40に送信する。その後、端末装置50Cは、顔認証処理を終了する。一方、データ登録サーバ装置40は、受信した情報に基づいてマスタ登録データを更新し、更新情報を端末装置50C,501C~505Cに送信する。
【0110】
図18は、端末装置50Cが図14に示す顔登録処理を実行する場合の端末装置50Cの動作の例を示すフローチャートである。端末装置50Cは、例えば、顔登録の実行を受け付けた場合、ユーザの顔画像を撮像する。そして、端末装置50Cは、顔画像に加え、この顔画像の第一撮像時刻、第一撮像位置(端末装置50Cの識別情報)等の顔登録用の情報を取得する。
【0111】
顔登録処理において、端末装置50Cは、登録処理を実行する(ステップS60-C)。登録処理では、ユーザID、氏名、顔情報、チケット種別、第一撮像時刻及び第一撮像位置の1レコード分がマスタ登録データに新規登録される。具体的には、端末装置50Cは、撮像された顔画像、第一撮像時刻及び第一撮像位置等の顔登録用の情報をデータ登録サーバ装置40Cに送信する。データ登録サーバ40Cは、ユーザIDを新規に生成し、受信した顔登録用の情報に基づいてマスタ登録データを更新する。また、登録処理では、端末装置50Cは、データ登録サーバ装置40Cから受信した完了通知等に基づく画像を出力(表示部に表示)する。その後、端末装置50Cは、顔登録処理を終了する。
【0112】
なお、上述した実施形態の例では、顔登録の実行が1の端末装置のみで受け付けられる構成であるが、特にこれに限定されるものではない。例えば、全ての端末装置で顔登録が受け付けられる構成としてもよい。
【0113】
上述した実施形態の例のニューラルネットワークでは、顔画像が入力され、顔情報が出力されるが、特にこれに限定されるものではない。例えば、ニューラルネットワークに顔認証を実行させてもよい。この場合、撮像されたユーザの顔画像から取得した顔情報がニューラルネットワークに入力され、認証結果が出力される。
【0114】
上述した実施形態の例のサーバ装置及び端末装置の数は、特に限定されるものではない。任意の数を採用可能である。
【0115】
上述した実施形態の例では、顔情報と位置推定情報(チケット種別等)とが登録データとして、同一の記憶部に登録されているが、顔情報と位置推定情報とが対応付けられていれば別々の記憶部に登録されてもよい。例えば、ユーザIDと顔情報とが対応付けられて第一記憶部に登録され、上記ユーザIDと位置推定情報とが対応付けられて第二記憶部に登録される構成がある。この場合、ユーザIDを介して顔情報と位置推定情報とが対応付けられた状態となる。
【0116】
[第4の実施形態]
図19は、顔認証システム100の構成の例である顔認証システム100Dの構成を示すブロック図である。本実施形態の例では、顔認証システム100Dは、現実空間の或る地域400に配設されている。顔認証システム100Dは、サーバ装置10Dと、複数の端末装置20D,201D~205Dとを含む。サーバ装置10Dと複数の端末装置20D,201D~205Dとは、それぞれインターネットなどの通信ネットワーク15に接続されている。
【0117】
本実施形態の例では、現実空間の或る地域400において、回遊型のゲームイベントが実施される。回遊型のゲームイベントでは、地域400がゲームフィールドとなる。地域400は、例えば、1つの町、市などの定められた区域である。地域400には、スタートポイント90D、複数のチェックポイント91D~95Dが配置されている。ゲームイベントの参加者(ユーザ)は、制限時間内に、スタートポイント90Dから全てのチェックポイント91D~95Dを一回ずつ通過することでゲームクリアとなる。なお、ユーザは、最初にスタートポイント90Dを通過しなければならないが、その他のチェックポイント91D~95Eの通過順は設定されていない。ユーザは、任意の順にチェックポイント91D~95Dを通過していけばよい。本実施形態の例では、スタートポイント90Dを除き、チェックポイント91D~95D通過の認証に、顔認証システム100Dによる顔認証が用いられる。なお、本実施形態の例では、例えば100名の参加者でゲームイベントが実行される。また、ゲームイベントでは、ユーザは、途中でリタイアすることも可能である。
【0118】
なお、ゲームフィールとしては、上述の地域400に限定されず、任意に定めた現実空間の領域であればよい。例えば、全世界をゲームフィールドとしてもよい。また、例えば、アトラクション施設、ショッピングモール等の施設をゲームフィールドとしてもよい。また、本実施形態の例では、ユーザは、徒歩以外に、バス、電車等の公共交通機関を利用して移動することができる。
【0119】
ゲームイベントは、所定の日時(開始時刻:10時00分)に開催される。ユーザは、スタート前に、予め、顔認証に用いられる自身の顔情報を登録(顔登録)しておく必要がある。顔登録の実行は、スタートポイント90D付近に配置された端末装置20Dで受け付けられる。ユーザが端末装置20Dを介して顔登録を行った場合、合わせてスタートポイント90Dを通過したことも登録される。すなわち、ユーザが端末装置20Dを介して顔登録を行った場合、このユーザのスタートポイント90D通過の顔認証は不要となる。したがって、ユーザが端末装置20Dを介して顔登録を行った場合、登録完了後、ユーザは、各チェックポイント91D~95Dに向かって移動することができる。
【0120】
また、ユーザは、スマートフォン等の自身の端末装置等を用いて、事前に顔登録を済ませておくことも可能である。事前顔登録したユーザは、開始時刻の到来までに、端末装置20Dにおいて、チェックポイント(スタートポイント90D)通過の顔認証を受ける必要がある。顔認証で認証された後、上記ユーザは、各チェックポイント91D~95Dに向かって移動することができる。すなわち、端末装置20Dでは、顔登録の実行及び顔認証の実行が受け付けられる。
【0121】
各チェックポイント91D~95D付近には、端末装置201D~205Dが配置されている。端末装置201D~205Dは、端末装置20Dと同様に、チェックポイント通過の顔認証の実行を受け付ける。顔認証で認証されたユーザは、この顔認証の実行が受け付けられた端末装置のチェックポイントを通過したことになる。
【0122】
また、端末装置20D,201D~205Dは、ユーザからゲームイベントのリタイアの顔認証の実行も受け付ける。リタイアの顔認証で認証されたユーザは、リタイア登録される。すなわち、本実施形態の例の顔認証には、チェックポイント通過の顔認証及びリタイアの顔認証がある。ユーザは、端末装置20D,201D~205Dの操作部を操作して、チェックポイント通過の顔認証の実行か、リタイアの顔認証の実行かを選択すればよい。
【0123】
図20は、サーバ装置10の例であるサーバ装置10Dの構成を示すブロック図である。本実施形態の例において、サーバ装置10Dは、決定部11D、認証部12D、登録更新部13D、取得部14D及びゲーム進行制御部15Dを少なくとも備える。
【0124】
決定部11Dは、位置推定情報及び所定の条件に基づいて、記憶部に登録されている複数の顔情報のうちから顔認証に用いる顔情報を決定する。具体的には、決定部11Dは、記憶部に登録されている複数の顔情報のうちから、所定の条件が成立した顔情報を除外して残った顔情報を、顔認証に用いる顔情報として決定する。本実施形態の例の位置推定情報は、図21に示すような登録データに含まれ、複数の顔情報のそれぞれに対応付けられている。図21は、顔認証に用いられる登録データの一例を示す図である。登録データは、サーバ装置10Dの記憶部に記憶される。
【0125】
登録データは、ユーザID、氏名、顔情報、進捗、第一撮像時刻及び第一撮像位置等のフィールドから構成されている。1のレコードに、1のユーザの情報が登録されている。位置推定情報としては、登録データの進捗、第一撮像位置及び第一撮像時刻が該当する。
【0126】
ユーザIDのフィールドには、ユーザの識別情報が登録される。氏名のフィールドには、ユーザの氏名のテキストデータが登録される。顔情報のフィールドには、ユーザの顔画像から取得した顔情報(数値)が登録される。顔情報は、顔画像に関する情報であり、例えば、顔画像における顔の目、鼻、口などの特徴点の位置、特徴点間の距離等の特徴量、顔画像の特徴ベクトル等である。
【0127】
進捗のフィールドには、ユーザのゲームイベントの進捗状況が登録される。進捗状況としては、通過チェックポイント(スタートポイント含む)、ゲームクリア、リタイアの識別情報が登録される。通過チェックポイントの識別情報には、端末装置20D,201D~205Dの識別情報が用いられる。第一撮像時刻及び第一撮像位置のフィールドには、ユーザの顔画像が最後に撮像された位置及び時刻が登録される。本実施形態の例では、顔登録及び顔認証のいずれかで顔画像が最後に撮像された位置及び時刻が登録される。第一撮像位置のフィールドには、顔画像が撮像された端末装置の識別情報が設定される。例えば、ユーザ(ユーザID:0005)の場合、最後に、9時45分に端末装置20Dで、顔登録(又は顔認証)のために顔画像が撮像されている。また、ユーザID:0005の進捗には、端末装置20Dの識別情報のみが登録されている。したがって、ユーザ(ユーザID:0005)は、スタートポイント90Dを除いて、いずれのチェックポイント91D~95Dも通過していない状態である。
【0128】
次に、所定の条件について説明する。本実施形態の例の所定の条件には、下記の条件(1),(2)が含まれる。
【0129】
条件(1)顔認証の対象となる顔画像が撮像された位置及び時刻を第二撮像位置及び第二撮像時刻としたときに、第一撮像時刻に第一撮像位置で顔画像を撮像したユーザが、第二撮像時刻までに第二撮像位置に移動できないこと。
【0130】
条件(2)顔認証の対象となる顔画像が撮像された位置にいなかったと推定されるゲームイベントの進捗であること。
【0131】
決定部11Dは、記憶部に登録されている複数の顔情報のうちから、上記条件(1)及び条件(2)の少なくとも1つの条件が成立した顔情報を除外して残った顔情報を、顔認証に用いる顔情報として決定する。
【0132】
条件(1)における移動に関しては、図22に示すような所要時間データが参照される。所要時間データは、二地点間のユーザの移動に必要と推定される時間のデータである。所要時間データは、サーバ装置10Dの記憶部に記憶されている。所要時間データは、装置ID-1、装置ID-2、所要時間等のフィールドから構成されている。装置ID-1、装置ID-2のフィールドは、2つの地点を示す。装置ID-1、装置ID-2のフィールドには、端末装置20D,201D~205Dのいずれかの識別情報が設定される。所要時間のフィールドには、装置ID-1及び装置ID-2の二地点間の所要時間が設定される。なお、所要時間は、二地点間の片道移動の所要時間である。また、ゲームフィールドにおけるユーザの移動は徒歩以外に、公共交通機関での移動も可能である。したがって、所要時間のフィールドには、徒歩及び公共交通機関の利用から推定される所要時間が設定される。所要時間には、例えば、どんなに早く移動しても必要となる時間が設定される。
【0133】
次に、条件(2)に関しては、登録データの進捗にリタイア又はゲームクリアが登録されている場合に成立する。既に、リタイアしたユーザ、ゲームクリアしたユーザは、スタートポイント90D、チェックポイント91D~95Dには存在しないと推定されるからある。また、登録データの進捗に、顔認証の対象となる顔画像が撮像された位置(端末装置)と同じ端末装置の識別情報が登録されている場合も成立する。ユーザは、既に通過したチェックポイントに戻ることはないと推定されるからである。
【0134】
例えば、12時00分にユーザA1の顔画像が端末装置201Dで撮像された直後として、これからユーザA1の顔認証が行われる場合について説明する。この場合、第二撮像位置は端末装置201Dであり、第二撮像時刻は12時00分である。
【0135】
登録データのユーザID:0001のユーザは、第一撮像時刻が10時40分であり、第一撮像位置が端末装置205Dである。端末装置201Dから端末装置205Dへの移動の所要時間は15分間である。したがって、ユーザID:0001のユーザは、10時40分に端末装置205Dにいた状態から、12時00分に端末装置201Dに移動することは可能であると判断される。したがって、条件(1)は不成立である。しかし、ユーザID:0001のユーザの進捗には、リタイアが登録されている。そのため、条件(2)は成立する。したがって、決定部11Dは、ユーザID:0001の顔情報を、ユーザA1の顔認証の対象から除外する。決定部11Dは、例えば、ユーザID:0001を、除外情報として記憶部に追加設定しておけばよい。
【0136】
次に、例えば、登録データのユーザID:0003のユーザは、第一撮像時刻が11時45分であり、第一撮像位置が端末装置204Dである。端末装置204Dから端末装置201Dへの移動の所要時間は30分間である。したがって、ユーザID:0003のユーザは、11時40分に端末装置204Dにいた状態から、12時00分に端末装置201Dに移動することは不可能であると判断される。そのため、条件(1)は成立する。したがって、決定部11Cは、ユーザID:0003の顔情報を、ユーザA1の顔認証の対象から除外する。決定部11Dは、例えば、ユーザID:0003を、除外情報として記憶部に追加設定しておけばよい。なお、ユーザID:0003のユーザの進捗には、端末装置204D,205Dの識別情報が登録されている。すなわち、ユーザID:0003のユーザは、チェックポイント94D,95Dを既に通過済みの状態である。したがって、条件(2)は不成立である。
【0137】
また、例えば、登録データのユーザID:0005のユーザは、第一撮像時刻が9時45分であり、第一撮像位置が端末装置20Dである。端末装置20Dから端末装置201Dへの移動の所要時間は30分間である。したがって、ユーザID:0005のユーザは、9時45分に端末装置20Dにいた状態から、12時00分に端末装置201Dに移動することは可能であると判断される。したがって、条件(1)は不成立である。また、ユーザID:0005のユーザの進捗には、端末装置20Dの識別情報のみが登録されている。そのため、条件(2)も不成立である。したがって、決定部11Dは、ユーザID:0005の顔情報を、ユーザA1の顔認証の対象とする(除外情報として設定しない)。
【0138】
上述のように、決定部11Dは、登録データの各位置推定情報(進捗、第一撮像時刻及び第一撮像位置)を参照し、条件(1)、条件(2)について成立性を判断する。そして、登録データの複数の顔情報のうち、除外情報として設定されたユーザIDの顔情報を除外して残った顔情報を、顔認証に用いる顔情報として決定する。
【0139】
次に、認証部12Dは、端末装置20D,201D~205Dにおいて顔認証用に撮像されたユーザの顔画像に対し、決定部11Dで決定された顔情報を用いて顔認証を実行する。すなわち、認証部12Dは、撮像された顔画像のユーザが、顔情報が登録されているユーザ本人であるか否かを判断する(認証する)ことで、チェックポイント通過の可否及びリタイアの可否を判断する。
【0140】
認証部12Dは、撮像されたユーザの顔画像の顔情報を取得部14Dから取得し、決定部11Dで決定された顔情報との照合を行うことで顔認証を行う。端末装置20D,201D~205Dは、顔認証の実行を受け付けたユーザの顔画像、顔画像の撮像時刻(第二撮像時刻)、撮像位置(第二撮像位置)等の顔認証用の情報を、顔認証要求とともにサーバ装置10Dに送信する。
【0141】
次に、登録更新部13Dは、端末装置20Dにおいて顔登録用に撮像されたユーザの顔画像の顔情報を、登録データに新規登録する。具体的には、登録更新部13Dは、ユーザID、氏名、顔情報、進捗、第一撮像時刻及び第一撮像位置の1レコード分を登録データに新規登録する。端末装置20Dは、顔登録の実行を受け付けたユーザの氏名、顔画像、顔画像の撮像時刻(第一撮像時刻)、撮像位置(第一撮像位置)等の顔登録用の情報を、顔登録要求とともにサーバ装置10Dに送信する。登録更新部13Dは、端末装置20Dから受信した顔登録用の情報を参照し、1レコード分を登録データに新規登録する。進捗には、スタートポイント90Dの端末装置20Dの識別情報が設定される。なお、登録更新部13Dは、端末装置20Dから受信した顔画像の顔情報を取得部14Dから取得する。また、登録更新部13Dは、新規登録用にユーザIDを新規に生成する。
【0142】
また、登録更新部13Dは、撮像されたユーザの顔画像が顔認証において認証された場合、この顔画像のユーザの登録データの位置推定情報(第一撮像時刻及び第一撮像位置)を、この顔画像が撮影された時点の情報に更新する。例えば、上記例のユーザA1の顔認証において、12時00分に端末装置201Dで撮像されたユーザA1の顔画像が、図21で例示した登録データにおけるユーザID:0007の顔情報と一致するとして認証された場合について説明する。この場合、サーバ装置10Dは、ユーザA1の顔画像、顔画像の撮像時刻(12時00分)、撮像位置(端末装置201D)等の顔認証用の情報を、顔認証要求とともに端末装置201Dから受信済である。登録更新部13Dは、ユーザID:0007の第一撮像時刻及び第一撮像位置を、上記端末装置201Dから受信した撮像時刻(12時00分)、撮像位置(端末装置201D)に更新する。
【0143】
次に、取得部14Dは、顔認証及び顔登録において、顔画像から顔情報を取得(抽出)する。取得部14Dは、顔画像を用いた機械学習によって得られた学習済モデルを利用して顔情報を取得する。学習済モデルには、例えば、ニューラルネットワークが用いられる。ニューラルネットワークには、顔画像が入力される。また、ニューラルネットワークは、入力された顔画像の顔情報を出力する。なお、入力される顔画像は、端末装置20D,201D~205Dで撮像された顔画像であってもよいし、撮像された顔画像にフィルタ処理等の各種処理が行われた顔画像であってもよい。なお、各種処理が行われた顔画像であっても、端末装置20D,201D~205Dで撮像された顔画像に該当する。
【0144】
本実施形態の例の学習済みモデル(ニューラルネットワーク)は、予め、多くの顔画像(学習データ)を入力して機械学習(例えば、ディープラーニング)が行われて生成される。なお、学習済みモデル(ニューラルネットワーク)は、ゲームイベントでの顔登録及び顔認証の対象となる顔画像を入力として学習(追加学習)させてもよい。また、顔情報の取得に、学習済みモデルを用いない構成を採用してもよい。
【0145】
次に、ゲーム進行制御部15Dは、ゲームイベントの進行を制御する。ゲーム進行制御部15Dは、例えば、チェックポイント通過の顔認証の結果に基づいて、各ユーザのスタートポイント90D、チェックポイント91D~95Dの通過実績(登録データの進捗)を更新する。具体的には、ゲーム進行制御部15Dは、認証された顔画像のユーザの進捗(登録データ)に、この顔画像が撮影された端末装置の識別情報を追加登録する。また、ゲーム進行制御部15Dは、例えば、リタイアの顔認証の結果に基づいて、各ユーザの登録データの進捗に、リタイアの識別情報を追加登録する。
【0146】
また、ゲーム進行制御部15Dは、ユーザが全てのスタートポイント90D、チェックポイント91D~95Dを通過した場合、このユーザの登録データの進捗に、ゲームクリアの識別情報を追加登録する。ゲーム進行制御部15Dは、登録データの進捗の設定内容から、ゲームクリアか否かを判断すればよい。
【0147】
図23は、端末装置20の例である端末装置20Dの構成を示すブロック図である。本実施形態の例において、端末装置20Dは、登録受付部21D及び顔認証部22Dを少なくとも備える。なお、端末装置201D~205Dは、端末装置20Dと同様の構成であるが、登録受付部21Dを有しない。
【0148】
登録受付部21Dは、ユーザから顔登録の実行を受け付ける。ユーザは、例えば、端末装置20Dの操作部を操作し、顔登録の実行を選択すればよい。登録受付部21Dは、撮像部にユーザの顔画像を撮像させる。また、登録受付部21Dは、ユーザに操作部を操作させて、ユーザの氏名を入力させる。その後、登録受付部21Dは、ユーザの氏名、顔画像、顔画像の撮像時刻(第一撮像時刻)、撮像位置(第一撮像位置)等の顔登録用の情報を、顔登録要求とともにサーバ装置10Dに送信する。端末装置20Dは、サーバ装置10Dから顔登録の完了を受信した場合、顔登録完了の表示を行う。
【0149】
顔認証受付部22Dは、ユーザから顔認証の実行を受け付ける。上述したように、チェックポイント通過の顔認証の実行及びリタイアの顔認証の実行が受け付けられる。ユーザは、例えば、端末装置20Dの操作部を操作して希望する顔認証の実行を選択すればよい。チェックポイント通過の顔認証の実行の場合、顔認証受付部22Dは、撮像部にユーザの顔画像を撮像させる。その後、顔認証受付部22Dは、ユーザの顔画像、顔画像の撮像時刻(第二撮像時刻)、撮像位置(第二撮像位置)等の顔認証用の情報を、チェックポイント通過の顔認証要求とともにサーバ装置10Dに送信する。なお、第二撮像位置は、端末装置20Dの識別情報である。サーバ装置10Dから顔画像が認証された結果を受信した場合、端末装置20Dは、チェックポイント通過が認証(許可)された表示を行う。
【0150】
リタイアの顔認証の実行の場合、顔認証受付部22Dは、撮像部にユーザの顔画像を撮像させる。その後、顔認証受付部22Dは、ユーザの顔画像、顔画像の撮像時刻(第二撮像時刻)、撮像位置(第二撮像位置)等の顔認証用の情報を、リタイアの顔認証要求とともにサーバ装置10Dに送信する。サーバ装置10Dから顔画像が認証された結果を受信した場合、端末装置20Dは、リタイアが許可された表示を行う。
【0151】
次に、顔認証システム100Dの動作について説明する。
【0152】
図24は、システム100Dが実行する顔認証処理の例を示すフローチャートである。本実施形態の例における顔認証処理では、顔認証に用いる顔情報を決定して顔認証をするための処理が行われる。なお、図24においては、主として、顔情報を決定する処理、顔情報を照合する処理について説明し、その他の処理は一部省略している場合がある。以下、サーバ装置10Dと端末装置20Dとが認証処理を実行する場合を例にして説明する。
【0153】
本実施形態の例の顔認証処理は、例えば、端末装置20D,201D~205Dのいずれかから、チェックポイント通過の顔認証要求及びリタイアの顔認証要求のいずれかを受信した場合に実行される。
【0154】
端末装置20Dは、ユーザの顔画像、顔画像の第二撮像時刻、第二撮像位置(端末装置20Dの識別情報)等の顔認証用の情報を、顔認証要求とともにサーバ装置10Dに送信する。
【0155】
サーバ装置10Dは、決定処理を実行する(ステップS10-D)。決定処理では、位置推定情報(進捗、第一撮像時刻及び第一撮像位置)、及び、所定の条件(条件(1)、条件(2))に基づいて、記憶部に登録されている複数の顔情報のうちから顔認証に用いる顔情報が決定される。上述したように、所定の条件が成立した顔情報を除外して残った顔情報が、顔認証に用いる顔情報として決定される。
【0156】
次に、サーバ装置10Dは、認証処理を実行する(ステップS11-D)。認証処理では、端末装置20Dから受信した顔画像に対し、決定された顔情報を用いて顔認証が実行される。すなわち、撮像された顔画像の顔情報が取得され、取得された顔情報と、決定された顔情報とが一致するか否かが判断される。
【0157】
その後、サーバ装置10Dは、更新処理Aを実行する(ステップS12-D)。更新処理Aでは、端末装置20Dから受信した顔画像に一致した顔情報(登録データ)に対応付けられた位置推定情報(第一撮像時刻及び第一撮像位置)が、端末装置20Dから受信した顔画像が撮影された時点の情報に更新される。具体的には、端末装置20Dから受信した第二撮像時刻及び第二撮像位置である撮像時刻及び撮像位置が、上記登録データの第一撮像位置及び第一撮像位置に登録される。なお、認証処理において、撮像された顔画像の顔情報が、決定された顔情報のいずれかと一致しなかったと判断された場合、更新処理Aでは位置推定情報は更新されない。
【0158】
次に、サーバ装置10Dは、更新処理Bを実行する(ステップS13-D)、更新処理Bでは、ゲームイベントの進捗(登録データ)が更新される。具体的には、端末装置20Dから受信した顔画像に一致した顔情報(登録データ)に対応する進捗が更新される。チェックポイント通過の顔認証要求の場合には、端末装置20Dの識別情報が登録データの進捗に追加登録される。また、サーバ装置10Dは、ゲームクリアの条件が成立した場合、登録データの進捗に、ゲームクリアの識別情報を追加登録する。また、リタイアの認証要求の場合には、リタイアの識別情報が登録データの進捗に追加登録される。なお、認証処理において、撮像された顔画像の顔情報が、決定された顔情報のいずれかと一致しなかったと判断された場合、更新処理Bでは登録データの進捗は更新されない。
【0159】
また、更新処理Bでは、サーバ装置10Dは、認証結果を端末装置20Dに送信する。さらに、サーバ装置10Dは、例えば、ゲームイベントの進捗状況も合わせて端末装置20Dに送信する。その後、サーバ装置10Dは、顔認証処理を終了する。
【0160】
一方、端末装置20Dは、受信した認証結果等に基づく画像を出力(表示部に表示)する(ステップS30-D)。その後、端末装置20Dは、顔認証処理を終了する。なお、他の端末装置201D~205Dにおいても、端末装置20Dと同様の処理が行われる。
【0161】
図25は、システム100Dが実行する顔登録処理の例を示すフローチャートである。本実施形態の例における顔登録処理では、顔認証に用いる顔情報の登録を実行するための処理が行われる。なお、図25においては、主として、顔情報を登録する処理について説明し、その他の処理は一部省略している場合がある。
【0162】
本実施形態の例の顔登録処理は、例えば、サーバ装置10Dが端末装置20Dから、顔登録要求を受信した場合に実行される。
【0163】
端末装置20Dは、ユーザの氏名、顔画像、顔画像の撮像時刻(第一撮像時刻)、撮像位置(第一撮像位置)等の顔登録用の情報を、顔登録要求とともにサーバ装置10Dに送信する。
【0164】
サーバ装置10Dは、登録処理を実行する(ステップS20-D)。登録処理では、ユーザID、氏名、顔情報、進捗、第一撮像時刻及び第一撮像位置の1レコード分が登録データに新規登録される。進捗には、端末装置20Dの識別情報が設定される。すなわち、端末装置20Dでの顔登録の実行によって、スタートポイント90Dの通過も登録される。また、登録処理では、サーバ装置10Dは、顔登録の完了通知を端末装置20Dに送信する。その後、サーバ装置10Dは、顔登録処理を終了する。一方、端末装置20Dは、受信した完了通知等に基づく画像を出力(表示部に表示)する(ステップS40-D)。その後、端末装置20Dは、顔登録処理を終了する。
【0165】
以上のように、第4の実施形態の一側面として、サーバ装置10Dが、決定部11D、認証部12D、登録更新部13D、取得部14D及びゲーム進行制御部15Dを備える構成としているので、所定の条件等に基づいて、顔認証に用いられる顔情報が決定される。したがって、常に登録されている複数の顔情報の全てを用いて顔認証が行われるわけではないので、顔認証に要する時間が低減される。
【0166】
なお、上述した実施形態の例では、サーバ装置10Dが、顔認証を行っているが、特にこれに限定されるものではない。上述の第3の実施形態の図15等で例示したように、端末装置が顔認証を実行してもよい。
【0167】
上述した実施形態の例では、顔登録の実行が1の端末装置のみで受け付けられる構成であるが、特にこれに限定されるものではない。例えば、全ての端末装置で顔登録が受け付けられる構成としてもよい。
【0168】
上述した実施形態の例のニューラルネットワークでは、顔画像が入力され、顔情報が出力されるが、特にこれに限定されるものではない。例えば、ニューラルネットワークに顔認証を実行させてもよい。この場合、撮像されたユーザの顔画像から取得した顔情報がニューラルネットワークに入力され、認証結果が出力される。
【0169】
上述した実施形態の例のサーバ装置及び端末装置の数は、特に限定されるものではない。任意の数を採用可能である。例えば、ゲームイベントの進行を制御するサーバ装置及び顔認証を実行するサーバ装置の2つのサーバ装置を用いてもよい。
【0170】
上述した実施形態の例では、顔情報と位置推定情報(進捗等)とが登録データとして、同一の記憶部に登録されているが、顔情報と位置推定情報とが対応付けられていれば別々の記憶部に登録されてもよい。
【0171】
上述の各実施形態の例では、顔認証について説明したが、顔認証だけに限定されるものではない。本発明の実施形態は、指紋認証及び虹彩認証など、人間の身体的特徴を用いて本人確認するバイトメトリクス認証に適用可能である。
【0172】
[付記]
上述した実施形態の説明は、少なくとも下記発明を、当該発明の属する分野における通常の知識を有する者がその実施をすることができるように記載した。
【0173】
[1]
撮像されたユーザの顔画像に対し、記憶部に登録されている複数の顔情報を用いて顔認証を実行するコンピュータ装置に、
前記複数の顔情報のそれぞれに対応するユーザの位置推定情報であって前記記憶部において該複数の顔情報のそれぞれに対応付けられて登録されている位置推定情報、及び、所定の条件に基づいて、前記複数の顔情報のうちから前記顔認証に用いる顔情報を決定する決定機能、
撮像されたユーザの顔画像に対し、前記決定された顔情報を用いて前記顔認証を行う認証機能、
を実現させる顔認証プログラム。
【0174】
[2]
前記所定の条件は、前記顔認証が行われる顔画像の撮像時刻に撮像位置にいなかったと推定されるユーザの顔情報を、前記顔認証の対象から除外する条件であり、
前記決定機能では、前記複数の顔情報のうちから、前記所定の条件が成立した顔情報を除外して残った顔情報を、前記顔認証に用いる顔情報として決定する機能、
を実現させる[1]に記載の顔認証プログラム。
【0175】
[3]
前記位置推定情報は、前記ユーザの顔画像が撮像された位置及び時刻である第一撮像位置及び第一撮像時刻の情報を含み、
前記所定の条件は、前記顔認証の対象となる顔画像が撮像された位置及び時刻を第二撮像位置及び第二撮像時刻としたときに、前記第一撮像時刻に前記第一撮像位置で顔画像を撮像したユーザが、第二撮像時刻までに第二撮像位置に移動できないこと、を含み、
前記決定機能では、前記第二撮像位置及び第二撮像時刻を取得し、前記複数の顔情報のうち、前記所定の条件を満たすもの以外の顔情報を、前記顔認証に用いる顔情報として決定する機能、
を実現させる[2]に記載の顔認証プログラム。
【0176】
[4]
前記認証機能では、顔画像を用いた機械学習によって得られた学習済モデルを用いて、撮像されたユーザの顔画像を入力して、前記決定された顔情報との照合を行う機能、
を実現させる[1]~[3]のいずれかに記載の顔認証プログラム。
【0177】
[5]
前記機械学習は、ディープラーニングを用いたものである[4]に記載の顔認証プログラム。
【0178】
[6]
前記コンピュータ装置に、さらに、
撮像されたユーザの顔画像が前記顔認証において認証された場合、該顔画像に対応する顔情報に対応付けられた前記位置推定情報を、該顔画像が撮影された時点の情報に更新する登録更新機能、
を実現させる[1]~[5]のいずれかに記載の顔認証プログラム。
【0179】
[7]
[1]~[6]のうちのいずれかに記載の顔認証プログラムがインストールされたサーバ装置。
【0180】
[8]
撮像部を有する端末装置に、
ユーザの顔を撮像する撮像機能、および
通信ネットワークを介して接続された[7]に記載のサーバ装置に、撮像されたユーザの顔画像の情報を送信する送信機能、
を実現させるための端末装置用プログラム。
【0181】
[9]
撮像部を有し、[1]~[6]のうちいずれかに記載の顔認証プログラムがインストールされた端末装置。
【0182】
[10]
撮像部を有する端末装置と通信ネットワークにより接続されるサーバ装置に、該端末装置で撮像されたユーザの顔画像に対し、記憶部に登録されている複数の顔情報を用いてユーザの顔認証を実行させる顔認証プログラムであって、
前記サーバ装置に、
前記複数の顔情報のそれぞれに対応するユーザの位置推定情報であって前記記憶部において該複数の顔情報のそれぞれに対応付けられて登録されている位置推定情報、及び、所定の条件に基づいて、前記複数の顔情報のうちから前記顔認証に用いる顔情報を決定する決定機能、
撮像されたユーザの顔画像に対し、前記決定された顔情報を用いて前記顔認証を行う認証機能、
を実現させる顔認証プログラム。
【0183】
[11]
前記所定の条件は、前記顔認証が行われる顔画像の撮像時刻に撮像位置にいなかったと推定されるユーザの顔情報を、前記顔認証の対象から除外する条件であり、
前記決定機能では、前記複数の顔情報のうちから、前記所定の条件が成立した顔情報を除外して残った顔情報を、前記顔認証に用いる顔情報として決定する機能、
を実現させる[10]に記載の顔認証プログラム。
【0184】
[12]
前記位置推定情報は、前記ユーザの顔画像が撮像された位置及び時刻である第一撮像位置及び第一撮像時刻の情報を含み、
前記所定の条件は、前記顔認証の対象となる顔画像が撮像された位置及び時刻を第二撮像位置及び第二撮像時刻としたときに、前記第一撮像時刻に前記第一撮像位置で顔画像を撮像したユーザが、第二撮像時刻までに第二撮像位置に移動できないこと、を含み、
前記決定機能では、前記第二撮像位置及び第二撮像時刻を取得し、前記複数の顔情報のうち、前記所定の条件を満たすもの以外の顔情報を、前記顔認証に用いる顔情報として決定する機能、
を実現させる[11]に記載の顔認証プログラム。
【0185】
[13]
前記認証機能では、顔画像を用いた機械学習によって得られた学習済モデルを用いて、撮像されたユーザの顔画像を入力して前記決定された顔情報との照合を行う機能、
を実現させる[10]~[12]のいずれかに記載の顔認証プログラム。
【0186】
[14]
前記機械学習は、ディープラーニングを用いたものである[13]に記載の顔認証プログラム。
【0187】
[15]
前記サーバ装置に、さらに、
撮像されたユーザの顔画像が前記顔認証において認証された場合、該顔画像に対応する顔情報に対応付けられた前記位置推定情報を、該顔画像が撮影された時点の情報に更新する登録更新機能、
を実現させる[10]~[14]のいずれかに記載の顔認証プログラム。
【0188】
[16]
撮像部を有する端末装置と、前記端末装置と通信ネットワークにより接続されるサーバ装置とを備え、前記端末装置で撮像されたユーザの顔画像に対し、記憶部に登録されている複数の顔情報を用いてユーザの顔認証を実行する顔認証システムであって、
前記複数の顔情報のそれぞれに対応するユーザの位置推定情報であって前記記憶部において該複数の顔情報のそれぞれに対応付けられて登録されている位置推定情報、及び、所定の条件に基づいて、前記複数の顔情報のうちから前記顔認証に用いる顔情報を決定する決定手段、
撮像されたユーザの顔画像に対し、前記決定された顔情報を用いて前記顔認証を行う認証手段、
を含む顔認証システム。
【0189】
[17]
前記所定の条件は、前記顔認証が行われる顔画像の撮像時刻に撮像位置にいなかったと推定されるユーザの顔情報を、前記顔認証の対象から除外する条件であり、
前記決定手段は、前記複数の顔情報のうちから、前記所定の条件が成立した顔情報を除外して残った顔情報を、前記顔認証に用いる顔情報として決定する、
[16]に記載の顔認証システム。
【0190】
[18]
前記位置推定情報は、前記ユーザの顔画像が撮像された位置及び時刻である第一撮像位置及び第一撮像時刻の情報を含み、
前記所定の条件は、前記顔認証の対象となる顔画像が撮像された位置及び時刻を第二撮像位置及び第二撮像時刻としたときに、前記第一撮像時刻に前記第一撮像位置で顔画像を撮像したユーザが、第二撮像時刻までに第二撮像位置に移動できないこと、を含み、
前記決定手段は、前記第二撮像位置及び第二撮像時刻を取得し、前記複数の顔情報のうち、前記所定の条件を満たすもの以外の顔情報を、前記顔認証に用いる顔情報として決定する、
[17]に記載の顔認証システム。
【0191】
[19]
前記認証手段は、顔画像を用いた機械学習によって得られた学習済モデルを用いて、撮像されたユーザの顔画像を入力して前記決定された顔情報との照合を行う、
[16]~[18]のいずれかに記載の顔認証システム。
【0192】
[20]
前記機械学習は、ディープラーニングを用いたものである[19]に記載の顔認証システム。
【0193】
[21]
撮像されたユーザの顔画像が前記顔認証において認証された場合、該顔画像に対応する顔情報に対応付けられた前記位置推定情報を、該顔画像が撮影された時点の情報に更新する登録更新手段、
を、さらに含む[16]~[20]のいずれかに記載の顔認証システム。
【0194】
[22]
撮像されたユーザの顔画像に対し、記憶部に登録されている複数の顔情報を用いて顔認証を実行する端末装置であって、
前記複数の顔情報のそれぞれに対応するユーザの位置推定情報であって前記記憶部において該複数の顔情報のそれぞれに対応付けられて登録されている位置推定情報、及び、所定の条件に基づいて、前記複数の顔情報のうちから前記顔認証に用いる顔情報を決定する決定手段、
撮像されたユーザの顔画像に対し、前記決定された顔情報を用いて前記顔認証を行う認証手段、
を含む端末装置。
【0195】
[23]
コンピュータ装置に、撮像されたユーザの顔画像に対し、記憶部に登録されている複数の顔情報を用いて顔認証を実行させる顔認証方法であって、
前記複数の顔情報のそれぞれに対応するユーザの位置推定情報であって前記記憶部において該複数の顔情報のそれぞれに対応付けられて登録されている位置推定情報、及び、所定の条件に基づいて、前記複数の顔情報のうちから前記顔認証に用いる顔情報を決定する決定処理、
撮像されたユーザの顔画像に対し、前記決定された顔情報を用いて前記顔認証を行う 認証処理、
を含む顔認証方法。
【0196】
[24]
撮像部を有する端末装置と、前記端末装置と通信ネットワークにより接続されるサーバ装置とを備え、前記端末装置で撮像されたユーザの顔画像に対し、記憶部に登録されている複数の顔情報を用いてユーザの顔認証を実行する顔認証システムが実行する顔認証方法であって、
前記複数の顔情報のそれぞれに対応するユーザの位置推定情報であって前記記憶部において該複数の顔情報のそれぞれに対応付けられて登録されている位置推定情報、及び、所定の条件に基づいて、前記複数の顔情報のうちから前記顔認証に用いる顔情報を決定する決定処理、
撮像されたユーザの顔画像に対し、前記決定された顔情報を用いて前記顔認証を行う認証処理、
を含む顔認証方法。
【産業上の利用可能性】
【0197】
本発明の実施形態の一つによれば、顔認証に要する時間の低減に有用である。
【符号の説明】
【0198】
10 サーバ装置
11 決定部
12 認証部
13 登録制御部
14 取得部
15 ゲーム進行制御部
20,201~20N 端末装置
100 顔認証システム
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25