特開 2024-96354 顔認識管理システム及び管理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024096354

(43)【公開日】2024-07-12

(54)【発明の名称】顔認識管理システム及び管理装置

(51)【国際特許分類】

   G06F 21/32 20130101AFI20240705BHJP

   G06Q 50/163 20240101ALI20240705BHJP

【ＦＩ】

G06F21/32

G06Q50/163

【審査請求】有

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2024075309

(22)【出願日】2024-05-07

(62)【分割の表示】P 2020106301の分割

【原出願日】2020-06-19

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和２年２月１８日～２１日に、幕張メッセ国際展示場１～８ホール（千葉県千葉市美浜区中瀬２－１）にて開催された国際ホテル・レストラン・ショー２０２０で公表。

(71)【出願人】

【識別番号】000222624

【氏名又は名称】株式会社アルメックス

(74)【代理人】

【識別番号】100157118

【弁理士】

【氏名又は名称】南 義明

(72)【発明者】

【氏名】井上 晋

(57)【要約】

【課題】各種施設において実行される顔認識サービスの適切な管理を行う。
【解決手段】本発明に係る顔認識管理システムは、顔認識管理サーバと、複数の施設に設置された顔認識端末を備えた顔認識管理システムであって、顔認識管理サーバは、ユーザを認識するための顔認識情報を含む顔認識管理情報をユーザ毎に記憶し、顔認識管理サーバは、ユーザ端末からユーザが許可した施設に対して、顔認識情報を含む顔認識利用情報を送信し、施設に設置されている顔認識端末で当該ユーザの顔認識処理を実行可能とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

顔認識管理サーバと、複数の施設に設置された顔認識端末を備えた顔認識管理システムであって、
前記顔認識管理サーバは、ユーザを顔認識するための顔認識情報を含む顔認識管理情報をユーザ毎に記憶し、
前記顔認識管理サーバは、ユーザ端末からユーザが許可した前記施設に対して、顔認識情報を含む顔認識利用情報を送信し、前記施設に設置されている顔認識端末で当該ユーザの顔認識処理を実行可能とさせる
顔認識管理システム。

【請求項2】

前記顔認識管理サーバは、複数の前記施設毎に、ユーザの顔認識処理の許可、不許可を管理可能である
請求項１に記載の顔認識管理システム。

【請求項3】

顔認識情報には、利用期間が設けられており、
前記顔認識端末は、利用期間が経過した顔認識情報を削除する
請求項１に記載の顔認識管理システム。

【請求項4】

前記施設の利用予約が行われた場合、前記顔認識管理サーバは、前記ユーザ端末に対して、当該施設における顔認識処理の利用可否を確認する確認処理を実行する
請求項１に記載の顔認識管理システム。

【請求項5】

確認処理において、ユーザは顔認証処理の利用期間を指定することが可能である
請求項４に記載の顔認識管理システム。

【請求項6】

前記施設には、前記顔認識端末が通信接続された管理装置が設けられている
請求項１から請求項５の何れか１項に記載の顔認識管理システム。

【請求項7】

前記管理装置は、前記顔認識端末に対応付けられた顔認識アクション情報を記憶し、
前記顔認識端末で顔認証が完了した場合、顔認識アクション情報を参照し、顔認識したユーザについて、顔認識された前記顔認識端末に対応付けられている処理を実行する
請求項６に記載の顔認識管理システム。

【請求項8】

顔認識アクション情報は、利用時間を含んで構成され、
前記管理装置は、前記顔認識端末で顔認証が完了した場合、顔認識アクション情報を参照し、顔認識したユーザについて、顔認識された前記顔認識端末、及び、利用時間に対応付けられている処理を実行する
請求項７に記載の顔認識管理システム。

【請求項9】

施設内の前記顔認識端末で、顔認識が実行された場合、顔認識されたユーザの前記ユーザ端末に通知する通知処理を実行する
請求項１に記載の顔認識管理システム。

【請求項10】

複数の施設に設置された顔認識端末と通信可能な顔認識管理サーバであって、
ユーザを顔認識するための顔認識情報を含む顔認識管理情報をユーザ毎に記憶し、
ユーザ端末からユーザが許可した施設に対して、顔認識情報を含む顔認識利用情報を送信し、施設に設置されている顔認識端末で当該ユーザの顔認識処理を実行可能とさせる
顔認識管理サーバ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、各種施設において、顔認識サービスを提供可能な顔認識管理システム、並びに、顔認識管理サーバに関する。

【背景技術】

【0002】

カメラで撮影された顔画像を使用して、認証を行う顔認証システムが知られている。顔認証は、予め登録された顔情報を使用し、個人の特定を行うことが可能であり、例えば、スマートフォン等、ロックされた携帯端末を解錠する際に利用されている。

【0003】

特許文献１には、カメラ装置と顔認識サーバとが接続された顔認識システムであって、顔認識サーバは、カメラ装置により撮像された映像データに現れる人物の顔の特徴量を抽出し、抽出された顔の特徴量と所定期間保存された顔の特徴量とを比較し、これらの類似度が所定値未満となる場合、前記抽出された顔の特徴量を破棄することが開示されている。

【0004】

特許文献１に記載の顔認識システムによれば、複雑な判断を行うことなく、同一の人物が重複して含まれないように効率的に統計処理することが可能となる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１９－２１５８９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

顔認証は、個人を特定できる便利なサービスであり、今後、広く普及することが期待される。一方、広く普及した場合、顔認識に使用される顔情報が、ユーザの利用許可無く、勝手に利用されることは避けるべきである。特に、複数の顔認識を行うサービスが乱立した場合、ユーザは、サービス毎に、自己の顔情報の管理、あるいは、その使用の把握を行うことは困難になることが考えられる。

【課題を解決するための手段】

【0007】

そのため、本発明に係る顔認識管理システムは、以下の構成を採用したことを特徴とするものである。
第１の構成に係る顔認識管理システムは、
顔認識管理サーバと、複数の施設に設置された顔認識端末を備えた顔認識管理システムであって、
前記顔認識管理サーバは、ユーザを顔認識するための顔認識情報を含む顔認識管理情報をユーザ毎に記憶し、
前記顔認識管理サーバは、ユーザ端末からユーザが許可した前記施設に対して、顔認識情報を含む顔認識利用情報を送信し、前記施設に設置されている顔認識端末で当該ユーザの顔認識処理を実行可能とさせる。

【0008】

さらに、第２の構成に係る顔認識管理システムは、第１の構成に係る顔認識管理システムにおいて、
前記顔認識管理サーバは、複数の前記施設毎に、ユーザの顔認識処理の許可、不許可を管理可能である。

【0009】

さらに、第３の構成に係る顔認識管理システムは、第１または第２の構成に係る顔認識管理システムにおいて、
顔認識情報には、利用期間が設けられており、
前記顔認識端末は、利用期間が経過した顔認識情報を削除する。

【0010】

さらに、第４の構成に係る顔認識管理システムは、第１から第３の何れか１つの構成に係る顔認識管理システムにおいて、
前記施設の利用予約が行われた場合、前記顔認識管理サーバは、前記ユーザ端末に対して、当該施設における顔認識処理の利用可否を確認する確認処理を実行する。

【0011】

さらに、第５の構成に係る顔認識管理システムは、第４の構成に係る顔認識管理システムにおいて、
確認処理において、ユーザは顔認証処理の利用期間を指定することが可能である。

【0012】

さらに、第６の構成に係る顔認識管理システムは、第１から第５の何れか１つの構成に係る顔認識管理システムにおいて、
前記施設には、前記顔認識端末が通信接続された管理装置が設けられている。

【0013】

さらに、第７の構成に係る顔認識管理システムは、第６の構成に係る顔認識管理システムにおいて、
前記管理装置は、前記顔認識端末に対応付けられた顔認識アクション情報を記憶し、
前記顔認識端末で顔認証が完了した場合、顔認識アクション情報を参照し、顔認識したユーザについて、顔認識された前記顔認識端末に対応付けられている処理を実行する。

【0014】

さらに、第８の構成に係る顔認識管理システムは、第７の構成に係る顔認識管理システムにおいて、
顔認識アクション情報は、利用時間を含んで構成され、
前記管理装置は、前記顔認識端末で顔認証が完了した場合、顔認識アクション情報を参照し、顔認識したユーザについて、顔認識された前記顔認識端末、及び、利用時間に対応付けられている処理を実行する。

【0015】

さらに、第９の構成に係る顔認識管理システムは、第１から第８の何れか１つの構成に係る顔認識管理システムにおいて、
前記施設内の前記顔認識端末で、顔認識が実行された場合、顔認識されたユーザの前記ユーザ端末に通知する通知処理を実行する。

【0016】

また、第１０の構成に係る顔認識管理システムは、
複数の施設に設置された顔認識端末と通信可能な顔認識管理サーバであって、
ユーザを顔認識するための顔認識情報を含む顔認識管理情報をユーザ毎に記憶し、
ユーザ端末からユーザが許可した施設に対して、顔認識情報を含む顔認識利用情報を送信し、施設に設置されている顔認識端末で当該ユーザの顔認識処理を実行可能とさせる。

【発明の効果】

【0017】

本発明に係る顔認識管理システムによれば、ユーザは、複数の施設において顔認識サービスを適切に利用することが可能となる。

【図面の簡単な説明】

【0018】

【図1】本実施形態に係る顔認識管理システムの構成を示す図

【図2】本実施形態に係る施設内における顔認識システムの構成を示す図

【図3】本実施形態に係る顔認識端末の外観を示す図

【図4】本実施形態に係る顔認識端末の構成を示すブロック図

【図5】本実施形態に係る受付装置の外観を示す図

【図6】本実施形態に係る受付装置の構成を示すブロック図

【図7】本実施形態に係る宿泊施設予約時における処理を示すフロー図

【図8】本実施形態に係る各種情報のデータ構成を示す図

【図9】本実施形態に係る携帯端末に表示される各種画面を示す図

【図10】本実施形態に係る宿泊施設利用時における処理を示すフロー図

【図11】本実施形態に係る利用確認メール画面を示すフロー図

【図12】本実施形態に係る携帯端末に表示される各種画面を示す図

【発明を実施するための形態】

【0019】

図１は、本実施形態に係る顔認識管理システムの構成を示す図である。本実施形態の顔認識管理システムは、各種施設において、顧客等の顔認識処理を行い、本人確認が行われたことを条件として、各種決済、入場許可等を行うことを可能としている。

【0020】

本実施形態の顔認証管理システムは、インターネットに接続された顔認識管理サーバ１を備えて構成されている。また、顔認識管理サーバ１は、顔認識端末が設置された施設２Ａ～２Ｃ…、の他、予約サーバ７ａ、７ｂ…、ユーザが使用するパーソナルコンピュータ、携帯端末等のユーザ端末６ａ、６ｂと通信を行うことが可能である。

【0021】

図１の例では、ユーザ端末６ｂとしてのパーソナルコンピュータは、ルータ５１を介してインターネットに接続されている。また、携帯端末（ユーザ端末６ｂ）は、ルータ５１に接続されたアクセスポイント５２、あるいは、無線基地局５３と無線通信を行うことが可能であって、無線通信を行うことで、インターネットに通信接続することが可能となっている。

【0022】

図２は、本実施形態に係る施設２Ａ内における顔認識システムの構成を示す図であり、施設２Ａとして宿泊施設（ホテル）の場合が示されている。施設２Ａに設置された顔認識システムは、管理装置２１、受付装置４、複数の顔認識端末３ａ～３ｄを有して構成されている。これら各装置は、ＬＡＮ２７を介して通信接続されている。また、ＬＡＮ２７にはルータ２６が通信接続されており、各装置は、ルータ２６を介してインターネットに通信接続されている。

【0023】

管理装置２１は、宿泊施設内の各種管理を行う装置であって、本実施形態では、ＬＡＮ通信部２３、入力装置２２、記憶部２４、モニタ２５が接続されている。受付装置４は、ユーザとしての宿泊客がチェックイン時に使用する装置である。なお、本実施形態の受付装置４では、顔認識処理を行うことが可能となっている。

【0024】

顔認識端末３ａ～３ｄは、施設内の各所（本実施形態では、フロント、レストランＡ、レストランＢ、大浴場等）に設置されており、顔認識処理を行うことが可能である。本実施形態の顔認識端末３ａ～３ｄは、顔認識端末３ａ～３ｄに予め記憶されたユーザの顔認識情報に基づき、撮影された顔が登録された何れのユーザ（顔認識情報）であるかを特定することが可能となっている。

【0025】

図３は、本実施形態に係る顔認識端末３の外観を示す図であり、図４は本実施形態に係る顔認識端末３の構成を示すブロック図である。図２で説明した顔認識端末３ａ～３ｄは何れも同一の構成である。そのため、図３、図４では、符号ａ～ｄを外した顔認識端末３として説明を行う。

【0026】

顔認識端末３は、スタンド３２上に設けられた筐体３１を有して構成されている。筐体３１には、前面に表示部３４、その上方に第１撮像部３５ａ、第２撮像部３５ｂ、第３撮像部３５ｃが設けられている。第１撮像部３５ａには、通常のカメラを使用している。また、第２撮像部３５ｂには、被写体までの距離を計測可能なデプスカメラを使用している。そして、第３撮像部３５ｃには、検温可能なサーモカメラを使用している。被写体までの距離を計測するデプスカメラを使用することが考えられる。このように、第１撮像部３５ａ～第３撮像部３５ｃといった複数の撮像部を使用することで、顔認識処理の精度向上を図ることが可能となっている。

【0027】

また、赤外線カメラで構成された第３撮像部３５ｃを使用し、撮像されたユーザの体温検出を行うことも可能である。顔認識と同時に、ユーザの体温を検出することで、例えば、体温が閾値以上の場合、発熱の警告を通知することも可能である。発熱の通知には、表示部３４に表示する形態の他、スピーカ３８からの音声による通知等、各種携帯を採用することが可能である。現在、店舗等に入店する際、係員による発熱チェックが行われることがあるが、本実施形態の顔認識端末３では、顔認証と、発熱チェックを同時に行うことが可能となっている。なお、警告通知に代え、検出した体温を通知することとしてもよい。

【0028】

顔認識端末３は、表示部３４を認識対象となるユーザ側に向くように設置される。第１撮像部３５ａには、第１撮像部３５ａで撮像した映像が表示される。したがって、ユーザは顔認識処理が行われる際、表示部３４内に自己の顔が表示されるように移動することで、適切に顔認識処理を行うことが可能となる。

【0029】

図４のブロック図に示されるように、顔認識端末３は、制御部としてのＣＰＵ３６ａ、ＲＯＭ３６ｂ、ＲＡＭ３６ｃ、画像処理部３６ｄ、音声処理部３６ｆを備えて構成されている。画像処理部３６ｄには、液晶表示装置等の表示部３４が接続されている。音声処理部３６ｆには、音声を出力するためのスピーカ３８が接続されている。これらの各種構成は、バスを介して互いに通信接続されている。また、インターフェイス３６ｄには、図３で説明した第１撮像部３５ａ、第２撮像部３５ｂ、第３撮像部３５ｃが接続されている。本実施形態の顔認識端末３は、有線ＬＡＮを使用して、ＬＡＮ２７に通信接続されている。そのため、ＬＡＮ通信部３７を備えている。なお、有線ＬＡＮを使用することに代え、無線ＬＡＮ、あるいは、その他の通信手段を使用することも可能である。

【0030】

図５は、本実施形態に係る受付装置４の外観を示す図であり、図６は、本実施形態に係る受付装置４の構成を示すブロック図である。本実施形態の受付装置４は、宿泊客に対する受付（例えば、チェックイン、チェックアウトの少なくとも一方）を行う装置である。

【0031】

図５に示されるように、受付装置４は、各種情報を表示するとともに、ユーザの操作を受付可能なタッチパネルモニタ４２、第１撮像部４３ａ、第２撮像部４３ｂ、第３撮像部４３ｃ、カードリーダ４４、スキャナ４５ａ、２次元バーコードリーダ４５ｂ、レシートプリンタ４６ａを備えて構成されている。

【0032】

本実施形態の受付装置４は、図３、図４で説明した顔認識端末３と同様、顔認識処理を実行可能としている。そのため、第１撮像部４３ａ、第２撮像部４３ｂ、第３撮像部４３ｃは、受付装置４の前に立つユーザの顔を撮影する撮像手段として機能する。顔認識端末３の場合と同様、第１撮像部４３ａには、通常のカメラを使用し、第２撮像部４３ｂには、被写体までの距離を計測するデプスカメラを使用し、第３撮像部３５ｃには、検温可能なサーモカメラを使用している。このように、受付装置４においても第１撮像部４３ａ～第３撮像部４３ｃといった複数の撮像部を使用することで、顔認識処理の精度向上を図ることが可能となっている。また、第３撮像部４３ｃを使用することで、ユーザの体温を測定することも可能となっている。

【0033】

図６は、本実施形態に係る受付装置４の構成を示すブロック図である。受付装置４は、制御部としてのＣＰＵ４１ａ、ＲＯＭ４１ｂ、ＲＡＭ４１ｃ、画像処理部４１ｄを備えて構成されている。画像処理部４１ｄには、タッチパネルモニタ４２が接続されている。タッチパネルモニタ４２は、表示部４２２とタッチパネル４２１を有して構成されている。また、受付装置４は、記憶部としてのハードディスク４８、そして、スピーカ４９へ音声を出力するための音声処理部４１ｅを備えて構成されている。

【0034】

また、受付装置４における各種構成は、バスを介して通信接続されており、バスにはインターフェイス４７が接続されている。インターフェイス４７には、図６で説明したカードリーダ４４、第１撮像部４３ａ、第２撮像部４３ｂ、スキャナ４５ａ、２次元バーコードリーダ４５ｂ、レシートプリンタ４６ａが接続されている。また、インターフェイス４７には、有線ＬＡＮ通信を行うためのＬＡＮ通信部４７ａも接続されている。

【0035】

受付装置４では、２次元バーコードリーダ４５ｂにより、ユーザの携帯端末画面に表示される２次元バーコード、あるいは、紙に印字された２次元バーコードを読み取ることで、チェックインを行うことが可能である。また、ユーザが、予め顔認証処理を行うことを登録している場合、顔認証処理によるチェックインを行うことも可能となっている。また、カードリーダ４４は、クレジットカードを読み取ることが可能であり、受付装置４はカード決済を行うことが可能である。また、スキャナ４５ａは、宿泊客が外国人である場合、宿泊客の提示するパスポートの読取りを実行する。読み取られたパスポートは、電子的な宿帳として、各種情報とともに管理装置２１等で記憶管理される。

【0036】

図７は、本実施形態に係る宿泊施設予約時における処理を示すフロー図である。本実施形態では、図１で説明した施設２Ａについて、図２～図６を使用して説明した宿泊施設を例にとって説明する。

【0037】

宿泊施設を予約する場合、宿泊客であるユーザは、携帯端末、パーソナルコンピュータ等のユーザ端末６ａ、６ｂ（この例では、携帯端末を使用）を使用して、例えば、予約サーバ７ａにアクセスし、希望の宿泊施設（例えば、施設２Ａ）の予約を行う（Ｓ１０１）。予約サーバ７ａはユーザによる予約が完了すると予約に関する各種情報を含む予約情報を登録する（Ｓ１２１）。また、予約サーバ７ａは、予約情報を宿泊対象となる施設２Ａの管理装置２１に送信する。管理装置２１は、受信した予約情報に基づき、客室の確保等、各種管理を実行する。

【0038】

ここで、本実施形態の顔認識管理システムは、施設２Ａに設けられた顔認識システムについて、ユーザ（この場合、予約する顧客）による管理を行うことが可能となっている。また、予約サーバ７ａには、施設２Ａに顔認識システムが設けられていることが、予め登録されており、ユーザからの予約情報を受信した場合、施設２Ａの顔認識システムを管理する顔認識管理サーバ１に対して、予約関連情報の送信を行う（Ｓ１２３）。また、予約サーバ７ａは、ユーザ端末６ａに対して、予約確認メールを送信する（Ｓ１２４）。ユーザは、予約確認メールを受信したこと（Ｓ１０２）に基づき、予約が適切に行われたことを確認する。

【0039】

ここで、顔認識管理サーバ１について説明しておく。顔認識管理サーバ１は、施設２Ａ～２Ｃ…に設置された顔認識システムにおける顔認識情報、すなわち、顔認証処理において使用される個人の顔写真、あるいは、顔の特徴を示す情報を管理するサーバである。ユーザは、顔認識管理サーバ１に、顔認識管理情報を登録しておくことで、各施設２Ａ～２Ｃ…において、顔認証処理を使用した各種サービス（顔認識サービス）を受けることが可能となっている。

【0040】

図８は、本実施形態に係る各種情報のデータ構成を示す図である。図８（Ａ）は、顔認識管理サーバ１に登録される顔認識管理情報のデータ構成である。顔認識管理情報は、ユーザＩＤ、パスワード、顔認識処理を実行するのに必要となる顔認識情報、氏名、メールアドレス、電話番号等を含んで構成されている。図８（Ｂ）は、顔認識管理サーバ１に登録されているクライアント管理情報のデータ構成である。クライアント管理情報は、クライアント、すなわち、顔認識管理サーバ１の運営会社の顧客である施設２Ａ～２Ｃ…に関する情報であって、クライアントＩＤ、パスワード、施設名等を含んで構成されている。

【0041】

図８（Ｃ）は、予約関連情報、すなわち、図７で説明した予約サーバ７ａから顔認識管理サーバ１に送信される情報である。予約関連情報は、予約情報等に基づいて形成される情報であって、施設２Ａ～２Ｃを識別するクライアントＩＤ、予約したユーザの識別に用いられるメールアドレス、利用期間（宿泊施設の場合は宿泊期間）、予約関連情報を識別するための伝票ＩＤ、秘匿化されたカプセル化情報を含んで構成されている。

【0042】

ここで、カプセル化情報とは、クライアント、すなわち、利用対象となる施設２Ａ～２Ｃ…で開封可能な情報であって、例えば、施設２ＡにおけるユーザＩＤ、そして、施設２Ａにおける予約ＩＤ等を含んで構成されている。ここで、開封とは、秘匿化されていることであって、例えば、管理装置２１に記憶された鍵情報を使用して、秘匿化を解除することが可能である。あるいは、顔認識処理において、あるユーザの顔認識が行われたことを条件として、当該ユーザのカプセル化情報の秘匿化を解除することとしてもよい。このように、カプセル化情報は、利用対象となる施設２Ａでのみ開封可能な情報であるため、顔認識管理サーバ１側等では、その内容を把握することができない。したがって、ユーザの個人情報等、重要な情報は、途中介在する顔認識管理サーバ１等において秘匿化することが可能となっている。

【0043】

図７のフロー図に戻り、予約関連情報を受信（Ｓ１６１）した顔認識管理サーバ１は、予約関連情報に含まれるメールアドレス、すなわち、施設２Ａの利用者に対して顔認識利用確認メールを送信する（Ｓ１６２）。図９（Ａ）には、ユーザ（施設２Ａの利用者）が所持するユーザ端末６ａのタッチパネル７５に表示される顔認識利用確認メールが示されている。図９に示される表示された顔認識利用確認メールは、通常のメールソフトで表示された例であって、画面には、メール一覧に戻るためのボタン７５ａが表示されている。

【0044】

顔認識利用確認メールは、施設２Ａを予約したユーザに対して、顔認識サービスの利用可否を問うために送信された通知である。顔認識利用確認メールには、予約した利用施設の名称、利用期間、そして、利用確認を行うためのＵＲＬが表示されている。ＵＲＬには、伝票ＩＤを含んだ顔認識管理サーバ１のアドレスが表示されている。ユーザは、利用確認のためのＵＲＬを選択操作することで、顔認識管理サーバ１にアクセスし、当該施設での顔認識サービスの可否を選択することが可能である。その際、ＵＲＬに含まれる伝票ＩＤに基づき、該当する予約関連情報を特定することが可能となっている。

【0045】

顔認識利用確認メールを受信（Ｓ１０３）したユーザ端末６ａにおいて、利用確認のためのＵＲＬが選択され、顔認識管理サーバ１にアクセスした場合（Ｓ１０４：Ｙｅｓ）、ログイン状況が判定される（Ｓ１０５）。ユーザ端末６ａで顔認識管理サーバ１にログインしていない場合（Ｓ１０５：Ｎｏ）、ユーザ端末６ａには、図９（Ｂ）に示されるログイン画面が表示される。ログイン画面には、ユーザＩＤ入力欄、パスワード入力欄７５ｃ、ログインボタンが設けられており、ユーザは、ユーザＩＤ、パスワードを入力した上で、ログインボタンを操作し、顔認識管理サーバ１にログインを要求する。なお、ユーザには顔認識サービスのユーザ登録を行っていないことも考えられる。その場合、ユーザは、新規登録を操作し、新規登録画面（図示せず）で各種情報を入力することで、顔認識管理サーバ１で提供する顔認識サービスに新たに登録（参加）することが可能である。

【0046】

顔認識管理サーバ１は、ログイン要求を受信すると、記憶している顔認識管理情報に基づき、ログイン認証を行う（Ｓ１６３）。顔認識管理サーバ１は、ログイン認証できた場合（Ｓ１６４：Ｙｅｓ）、予約関連情報と顔認識関連情報の対応付を行う。このように、ユーザがログインしたことを条件として、予約関連情報と顔認識情報の対応付を行うことで、顔認識サービスのセキュリティ向上を図ることが可能となっている。その後、顔認識管理サーバ１は、利用確認画面を送信（Ｓ１６５）し、ユーザ端末６ａに表示させる（Ｓ１０６）。図９（Ｃ）には、ユーザ端末６ａに表示される利用確認画面が表示されている。利用確認画面には、利用対象となる施設において、顔認識サービスの利用許可を選択することが可能となっている。本実施形態では、２つのラジオボタン７５ｅ、７５ｆが設けられており、ユーザは、宿泊期間のみ顔認識サービスの利用を許可するラジオボタン７５ｅ、宿泊期間、及び、宿泊期間以降も顔認識サービスの利用を許可するラジオボタン７５ｆが設けられている。

【0047】

ユーザは、自己の選択に基づきラジオボタン７５ｅ、７５ｆのどちらかを選択し、送信ボタン７５ｇを操作することで、顔認識管理サーバ１に利用要求を送信する（Ｓ１０７）。一方、施設において、顔認識サービスの利用を行わない場合、ユーザは、送信ボタン７５ｇを操作することなく処理を終了する。なお、このような形態に代え、顔認識サービスの利用を行わない旨を、顔認識管理サーバ１に通知するようにしてもよい。利用要求を受信した顔認識管理サーバ１は、施設において、指定された期間（宿泊期間のみ、あるいは、宿泊期間、及び、宿泊期間以降）、顔認識サービスを利用する旨を利用登録情報として記録する（Ｓ１６６）。

【0048】

以上、ユーザによる施設予約時における顔認識サービスの利用可否を説明したが、本実施形態の顔認識管理システムによれば、顔認識サービスを提供可能な施設の利用前において、ユーザは、当該施設における顔認識サービスの利用可否を選択することが可能となっている。また、図１に示されるように、顔認識管理サーバ１は、複数の施設２Ａ～２Ｃ…を管理するため、ユーザは、顔認識管理サーバ１に一度登録するだけで、複数の施設２Ａ～２Ｃ…において、顔認識サービスを受けることが可能となる。また、各施設２Ａ～２Ｃ…毎に、顔認識サービスの利用可否を選択することも可能となる。このように本実施形態の顔認識管理システムでは、顔認識情報を統括的に管理できるため、ユーザは煩雑な管理を行う必要が無く、顔認識サービスの信頼性向上を図ることも可能となっている。

【0049】

次に、施設における顔認識サービスの提供について説明する。図１０は、本実施形態に係る施設（宿泊施設）利用時における処理を示すフロー図である。顔認識管理サーバ１は、利用期間（宿泊期間）が、所定時間以内となった場合（Ｓ１７１：Ｙｅｓ）、顔認識利用情報を、該当する施設の管理装置に送信する（Ｓ１７２）。

【0050】

図８（Ｄ）は、顔認識利用情報のデータ構成を示す図である。顔認識利用情報は、宛先となる施設を特定するクライアントＩＤ、有効期間、伝票ＩＤ、顔認識情報、カプセル化情報を含んで構成される情報である。なお、伝票ＩＤは、顔認識情報を識別可能な情報であればよく、顔認識情報のファイル名とする等、各種形態を採用することが可能である。顔認識管理サーバ１は、利用対象となる施設に対して、利用期間前に前もって顔認識利用情報を送信しておくことで、施設における顔認識サービスの提供を確実なものとしている。

【0051】

顔認識利用情報を受信（Ｓ１５１）した施設側の管理装置２１は、受信した顔認識利用情報を記憶管理し、利用期間開始の到来まで待つ（Ｓ１５２）。利用期間開始が到来した場合（Ｓ１５２：Ｙｅｓ）、管理装置２１は、図８（Ｅ）に示される顔認識端末情報を施設内に設置された顔認識端末３ａ～３ｄに送信する。顔認識端末情報は、顔認識利用情報に含まれる情報で構成された情報であって、この例では、顔認識情報、伝票ＩＤを含んで構成されている。図２の場合、受付装置４においても顔認識サービスを提供可能とするため、受付装置４に対しても顔認識端末情報を送信する（Ｓ１５３）。顔認識端末情報を受信（Ｓ１８１）した顔認識端末３ａ～３ｄ、あるいは、受付装置４では、当該顔認識端末情報のユーザを認識することが可能となる。なお、受付装置４においても顔認識端末３ａ～３ｄと同様、顔認識処理を実行することが可能であるが、以降の説明では、受付装置４における処理については省略する。

【0052】

ユーザが施設を訪れ、顔認識端末３ａ～３ｄの前に位置した場合、顔認識端末３ａ～３ｄは、顔認識処理を実行する（Ｓ１８２）。顔認識端末３ａ～３ｄが記憶する顔認識端末情報中、該当するユーザの顔認識端末情報（具体的には、顔認識情報）が存在している場合、顔認識端末３ａ～３ｄは、認識完了情報を管理装置２３に送信する（Ｓ１８３）。図８（Ｆ）には、認識完了情報のデータ構成が示されている。認識管理情報は、顔認識を行った顔認識端末３ａ～３ｄを識別可能な顔認識端末ＩＤ、認識ユーザに対応する伝票ＩＤ，顔認識を行った日時である認識日時を含んで構成されている。

【0053】

認識完了情報を受信した管理装置２３は、受信した顔認識完了情報中、伝票ＩＤを参照し、図８（Ｄ）の顔認識利用情報内のカプセル化情報を開封する。カプセル化情報には、施設の会員ＩＤ、予約ＩＤが含まれているため、カプセル化情報を開封することで、ユーザを特定することが可能となる。なお、本実施形態では、顔認識が完了したことを条件としてカプセル化情報の開封を行うこととしているが、このような形態に代え、管理装置２１は、予約関連情報を受信後、管理装置２１で管理する鍵情報に基づき、カプセル化情報を開封して管理してもよい。

【0054】

管理装置２３は、受信した顔認識完了情報に基づき、顔認識端末３ａ～３ｄに対応する処理を実行する。顔認識完了情報には、顔認識端末ＩＤが含まれているため、管理装置２３は、どの顔認識端末３ａ～３ｄで認識を行ったのかを特定することが可能である。ここで、管理装置２３には、顔認識アクション情報が記憶管理されている。顔認識アクション情報は、顔認識端末３ａ～３ｄ毎に、認識時に行う処理（アクション）を規定した情報である。

【0055】

図８（Ｇ）に示されるように、顔認識アクション情報は、顔認識端末ＩＤ、利用場所、利用時間、アクション内容を含んで構成されている。例えば、認識したユーザのチェックイン日において、フロントに設置される顔認識端末３ａで顔認識が行われた場合、当該ユーザのチェックイン処理を実行する。管理装置２３でチェックイン処理が完了すると、管理装置２３は、認識を行った顔認識端末２３ａにチェックイン完了の旨を送信する。顔認識端末２３ａでは、チェックイン完了の旨を表示部３４に表示、あるいは、スピーカ３８から放音することで通知を行う。なお、本実施形態の顔認識端末３では、第３撮像部３５ｃによる体温測定を行うことが可能となっている。そのため、例えば、ユーザの体温が閾値を超えている場合、警告通知を併せて行うこととしてもよい。あるいは、第１撮像部３５ａの撮像結果に基づき、マスクの着用、非着用を検出し、マスク着用が必要な場所において、マスクが非着用の場合、マスクを着用するように通知を行うこととしてもよい。

【0056】

また、顔認識端末２３ａにおいて、チェックアウト日にフロントで認識された場合、当該ユーザのチェックアウト処理を実行する。この場合もチェックイン処理と同様、顔認識端末２３ａでは、チェックアウト処理の結果が、顔認識端末２３ａで通知される。

【0057】

また、大浴場に設置されている顔認識端末３ａ～３ｄでユーザの顔認識が実行された場合、当該ユーザに対して入浴料が課金される。この場合、管理装置２３は、大浴場３ｄの入口近傍に設置された顔認識端末３ｄから、顔認識完了情報を受信する。管理装置２３は、顔認識完了情報中に含まれる顔認識端末ＩＤに基づき、対応する顔認識アクション情報中のアクション内容を実行する。この場合、会員ＩＤもしくは予約ＩＤに対応するユーザに対して入浴料の課金を行う。その後、管理装置２３は、顔認識端末３ｄに、入浴料の課金完了の旨を送信する。そして、顔認識端末３ｄは、入浴料の課金が完了したことを通知する。

【0058】

また、６：００～１０：００の時間帯において、レストラン（レストランＡ、レストランＢのどちらも可能）の入口近傍に設置される顔認識端末３ｂ、もしくは、顔認識端末３ｃで顔認識された場合、顔認識端末３ｂ、３ｃは、管理装置２３に顔認識完了情報を送信する。管理装置２３は、顔認識完了情報に含まれる顔認識端末ＩＤに基づき、朝食券の消し込み処理を実行する。まず、管理装置２３は、顔認識完了情報の伝票ＩＤに基づき、カプセル化情報を開封し、予約ＩＤを取得する。そして、予約ＩＤに対応する予約プランに朝食券が含まれているか否かを確認し、朝食券が含まれている場合には、当該朝食券を使用済みに変更、顔認識を行った顔認識端末３ａ、もしくは、顔認識端末３ｂに朝食の許可を送信する。朝食の許可を受け取った顔認識端末３ａ、もしくは、顔認識端末３ｂは、その旨を通知する。

【0059】

一方、予約ＩＤに対応する予約プランに朝食券が含まれていない場合、あるいは、朝食券が使用済みの場合、管理装置２３は、顔認識を行った顔認識端末３ａ、もしくは、顔認識端末３ｂに朝食の不許可を送信する。朝食の不許可を受け取った顔認識端末３ａ、もしくは、顔認識端末３ｂは、その旨を通知する。

【0060】

また、レストランＡもしくはレストランＢに設置される顔認識端末３ｂ、３ｃにおいて、６：００～１０：００以外の時間帯に、顔認識が実行された場合、ユーザに対して食事料金の課金を行うこととしている。

【0061】

このように、本実施形態では、顔認識が行われた顔認識端末３ａ～３ｄ毎に処理内容が設定されている。また、顔認識アクション情報には、顔認識端末３ａ～３ｄ毎の処理内容に加え、利用時間を設定しておくことで、利用時間で異なる処理を実行させることも可能となっている。

【0062】

管理装置２３は、顔認識完了情報を受信し、顔認識アクション情報に基づき、顔認識端末に３ａ～３ｄ対応する処理を実行する（Ｓ１５５）。その際、少なくともどの施設において顔認識が行われたかを示す認識履歴を顔認識管理サーバ１に送信する（Ｓ１５６）。顔認識管理サーバ１は、認識履歴を受信（Ｓ１７３）し、ユーザ毎に認識履歴をログに記録する（Ｓ１７４）。更に、本実施形態では、ユーザ端末６ａに認識履歴を通知する。本実施形態では、顔認識管理情報に登録されているメールアドレスを使用してメール送信することとで、ユーザに通知することとしている。

【0063】

ユーザ端末６ａでは、認識履歴を受信（Ｓ１１１）し、ユーザに対して認識履歴が通知される。認識履歴には、少なくともどの施設で顔認識が行われたかが記載されているため、ユーザは、自己の顔認識情報が使用されたことを認識することが可能となる。また、意図しない利用の場合、顔認識管理サーバ１にアクセスし、該当する施設での使用中止を設定することも可能である。

【0064】

なお、本実施形態では、顔認識管理サーバ１からユーザ端末６ａに対して、認識履歴を送信しているが、ユーザ端末６ａに対する認識履歴は、管理装置２１からユーザ端末６ａに送信されることとしてもよい。

【0065】

図１０に示される破線枠部分を、繰り返し実行することで、施設における顔認識サービスが行われる。予めユーザが設定した利用期間の終了が到来した場合（Ｓ１５７：Ｙｅｓ）、かまず、管理装置２１は、顔認識端末３ａ～３ｄに対して、利用期間が終了したユーザの顔認識端末情報の削除指令を送信する（Ｓ１５８）。顔認識端末３ａ～３ｄでは、受信した削除指令に該当する顔認識端末情報を削除する（Ｓ１８４）。また、管理装置２１は、記憶部２４に記憶している利用期間終了が到来した顔認識利用情報も削除（Ｓ１５９）し、削除完了を顔認識管理サーバ１に通知する。

【0066】

削除完了を受信（Ｓ１７６）した顔認識管理サーバ１は、ユーザ端末６ａに対して、削除完了を通知する（Ｓ１７７）。本実施形態では、顔認識管理情報に登録されているメールアドレスを使用してメール送信することとで、ユーザに通知することとしている。ユーザは、削除完了を受信（Ｓ１１３）し、削除完了が通知される（Ｓ１１４）ことで、自己の意図に沿って、自己の顔認識情報が適切に管理されていることを確認することが可能となる。

【0067】

以上、説明したように、本実施形態の顔認識管理システムによれば、ユーザが許可した施設において、顔認識サービスを受けることが可能となる。また、顔認識が行われたことを示す認識履歴、あるいは、顔認識利用情報の削除を確認することが可能であり、安心して顔認識サービスを利用することが可能となる。

【0068】

図１２は、本実施形態に係るユーザ端末６ａに表示される各種画面を示す図である。本実施形態では、ユーザ端末６ａ（あるいは６ｂ）を使用して、顔認識管理サーバ１にアクセスし、各種管理を行うことが可能である。

【0069】

図１２（Ａ）は、顔認識管理サーバ１にアクセスした際に表示されるトップ画面である。このトップ画面には、利用中のサービス確認、サービスの再開、利用確認、各種設定を行うためのボタンが表示されている。

【0070】

利用中のサービス確認が選択された場合、図１２（Ｂ）に示される画面に遷移する。図１２（Ｂ）中、戻るボタン７５ｊは、図１２（Ａ）のトップ画面に戻る際、操作されるボタンである。画面には、現在利用中の顔認識サービスに関する情報が表示されている。ここで、本実施形態では、現在利用中の顔認識サービスには次の２種類が存在する。
（１）既に顔認識端末３ａ～３ｄに顔認識情報が記憶済みであって、当該顔認識端末３ａ～３ｄで顔認識を実行可能な状態。
（２）顔認識端末３ａ～３ｄには、顔認識情報は記憶されていないが、今後、顔認識端末３ａ～３ｄで顔認識が行われる予定の状態（図１２（Ｂ）の例では、「○○観光サービス」、「××コンサート」がこの状態相当する）。

【0071】

図１２（Ｂ）には、（１）の場合について、施設名「Ａｌｍｅｘホテル」が示されている。施設名の右側には、詳細ボタン、中止ボタンが設けられている。詳細ボタンが操作された場合、利用施設に関する説明、並びに、顔認識サービスの利用開始日時等、現在の状況が表示される。また、中止ボタンが操作された場合には、当該施設における顔認識サービスの利用が中止、この場合、既に送信されている顔認識端末３ａ～３ｄから顔認識情報が直ちに削除され、顔認識端末３ａ～３ｄにおいて、顔認識を行うことができない状態となる。なお、本実施形態では、管理装置２１にも顔認識情報が記憶されているため、管理装置２１から顔認識情報を削除してもよい。あるいは、顔認識サービスを再開する場合に備え、管理装置２１の顔認識情報等、必要な情報は残すこととしてもよい。

【0072】

一方、図１２（Ｂ）には、（２）の場合について、施設名「○○観光サービス」、「××コンサート」が示されている。施設名の右側には、詳細ボタン、取消ボタンが設けられている。詳細ボタンが操作された場合、利用施設に関する説明、並びに、顔認識サービスの利用開始日時等、現在の状況が表示される。また、取消ボタンが操作された場合には、当該施設における顔認識サービスの利用が取り消される。

【0073】

また、本実施形態では、一旦、中止、あるいは、取り消した顔認識サービスを再開することも可能である。図１２（Ａ）のトップ画面には、「サービスの再開」と表記されたボタンが設けられており、このボタンを操作することで一旦、中止、あるいは、取消した顔認識サービスの再開を設定することが可能である。この場合、顔認識サービスを中止、あるいは、取り消した施設名が表示された顔認識サービス再開画面（図示せず）に遷移し、当該施設について、顔認識サービスの再開を設定することが可能である。

【0074】

サービスが中止されている場合、すなわち、（１）の場合において、再開が指示されると、顔認識管理サーバ１は、該当する施設に顔認識利用情報を送信する。そして、管理装置２１は、顔認識端末３ａ～３ｄに顔認識端末情報を送信し、直ちに顔認識端末３ａ～３ｄを使用した顔認識を行うことが可能となる。なお、顔認識サービスの中止において、管理装置２１に顔認識情報を含む各種情報を残している場合、管理装置２１から顔認識端末３ａ～３ｄに顔認識端末情報を送信するのみでよい。

【0075】

一方、サービスが取り消されている場合、すなわち、（２）の場合において、再開が指示されると、利用期間の到来とともに、顔認識利用情報が顔認識端末３ａ～３ｄに送信され、当該顔認識端末３ａ～３ｄにおいて、顔認識を行うことが可能となる。

【0076】

また、本実施形態では、顔認識の履歴を参照することも可能である。図１２（Ａ）のトップ画面に表示される「履歴確認」と表記されたボタンが操作された場合、図１２（Ｃ）に示される画面に遷移する。この履歴確認画面には、いつ（日時）、どこで（施設名）、顔認識処理が行われたかが表示されている。ユーザは、履歴確認画面を参照し、過去に行われた顔認識処理を確認することが可能である。なお、詳細ボタン７５ｋを操作することで、顔認識処理に関する詳細情報を表示することも可能である。なお、履歴確認画面に表示できない履歴については、前頁ボタン７５ｈ、次頁ボタン７５ｉを操作することで表示させることが可能である。

【0077】

このように本実施形態の顔認識管理システムでは、複数の施設において提供される顔認識サービスを一括して管理することが可能である。ユーザは、所持するユーザ端末６ａ、６ｂを使用して、顔認識管理サーバ１にアクセスすることで、現在、利用中の顔認識サービスの管理（中止、あるいは、再開等）すること、あるいは、顔認識サービスの利用履歴を一括して管理することが可能である。

【0078】

なお、本実施形態の顔認識管理システムにおいて、顔認識サービスの利用対象となる施設は、前述した宿泊施設のみならず、各種施設を対象とすることが可能である。例えば、図１２（Ｃ）の利用確認画面にも示されているように、病院、クリニック等の医療関連施設、タクシー、観光バス、あるいは、電車等の各種交通関連施設、あるいは、レストラン等の飲食施設、あるいは、試験会場、コンサート施設の入場時における本人確認に使用することも可能である。また、本実施形態の顔認識端末３は、第３撮像部３５ｃによる体温測定を行うことが可能であるため、本人確認と同時に体温測定を行い、発熱が確認された場合、その旨を通知することで、感染症の拡大を事前に防ぐことも可能となっている。

【0079】

また、本実施形態に係る顔認識管理システムは、以下の変形例を採用することもできる。本実施形態では、施設に管理装置２１を設置する形態としているが、顔認識端末３ａ～３ｄが管理装置２１の機能を兼ね備えてもよい。図２の例のように複数の顔認識端末３ａ～３ｄが設置されている場合には、何れか１つの顔認識装置３ａが管理装置２１の機能を有することで、別途、管理装置２１を設置する必要がなくなる。あるいは、施設に１台のみ顔認識装置３ａを設置する場合、管理装置３ａを設置するだけでよい。例えば、コンサート会場の入場管理に使用する場合、管理装置２１のみで顔認識、及び、入場の可否判断を行うことが可能となる。

【0080】

以上、本発明に係る発明について、各種実施形態について説明を行ったが、本発明はこれら各種実施形態のみに限られるものではなく、それぞれの各種実施形態の構成を適宜組み合わせて構成した形態も本発明の範疇となるものである。

【符号の説明】

【0081】

１：顔認識管理サーバ ４１ｄ：画像処理部
２Ａ～２Ｃ：施設 ４１ｅ：音声処理部
３（３ａ～３ｄ）：顔認識端末 ４２：タッチパネルモニタ
４：受付装置 ４３ａ：第１撮像部
６ａ：ユーザ端末 ４３ｂ：第２撮像部
６ｂ：ユーザ端末 ４４：カードリーダ
７ａ、７ｂ：予約サーバ ４５ａ：スキャナ
２１：管理装置 ４５ｂ：２次元バーコードリーダ
２２：入力装置 ４６ａ：レシートプリンタ
２３：ＬＡＮ通信部 ４７：インターフェイス
２４：記憶部 ４７ａ：ＬＡＮ通信部
２５：モニタ ４８：ハードディスク
２６：ルータ ５１：ルータ
３１：筐体 ５２：アクセスポイント
３１ｄ：画像処理部 ５３：無線基地局
３２：スタンド ７５：タッチパネル
３４：表示部 ７５ａ：ボタン
３５ａ：第１撮像部 ７５ｃ：パスワード入力欄
３５ｂ：第２撮像部 ７５ｅ：ラジオボタン
３６ａ：ＣＰＵ ７５ｆ：ラジオボタン
３６ｂ：ＲＯＭ ７５ｇ：送信ボタン
３６ｃ：ＲＡＭ ７５ｈ：前頁ボタン
３６ｄ：インターフェイス ７５ｉ：次頁ボタン
３７：ＬＡＮ通信部 ７５ｊ：ボタン
４１ａ：ＣＰＵ ７５ｋ：詳細ボタン
４１ｂ：ＲＯＭ ４２１：タッチパネル
４１ｃ：ＲＡＭ ４２２：表示部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【手続補正書】

【提出日】2024-06-03

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

施設に設置された顔認識端末と、前記顔認識端末が通信接続された管理装置を備えた顔認識管理システムであって、
前記顔認識端末は、顔認識情報を含む顔認識利用情報に基づき、ユーザの顔認識処理を 実行可能とし、
前記管理装置は、前記顔認識端末に対応付けられた顔認識アクション情報を記憶し、
前記顔認識端末で顔認証が完了した場合、顔認識アクション情報を参照し、顔認識した ユーザについて、顔認識された前記顔認識端末に対応付けられている処理を実行する
顔認識管理システム。

【請求項2】

顔認識アクション情報は、利用時間を含んで構成され、
前記管理装置は、前記顔認識端末で顔認証が完了した場合、顔認識アクション情報を参照し、顔認識したユーザについて、顔認識された前記顔認識端末、及び、利用時間に対応付けられている処理を実行する
請求項１に記載の顔認識管理システム。

【請求項3】

施設内の前記顔認識端末で、顔認識が実行された場合、顔認識されたユーザの前記ユーザ端末に通知する通知処理を実行する
請求項１に記載の顔認識管理システム。

【請求項4】

施設に設置された顔認識端末と通信可能な管理装置であって、
前記顔認識端末は、顔認識情報を含む顔認識利用情報に基づき、ユーザの顔認識処理を 実行可能とし、
前記管理装置は、前記顔認識端末に対応付けられた顔認識アクション情報を記憶し、
前記顔認識端末で顔認証が完了した場合、顔認識アクション情報を参照し、顔認識した ユーザについて、顔認識された前記顔認識端末に対応付けられている処理を実行する
管理装置。