特許 7507390 行動観察システム及びその行動観察方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-20

(45)【発行日】2024-06-28

(54)【発明の名称】行動観察システム及びその行動観察方法

(51)【国際特許分類】

   G06Q 30/0201 20230101AFI20240621BHJP

   G06T 7/00 20170101ALI20240621BHJP

【ＦＩ】

G06Q30/0201

G06T7/00 660A

【請求項の数】 7

(21)【出願番号】P 2020051697

(22)【出願日】2020-03-23

(65)【公開番号】P2021149856

(43)【公開日】2021-09-27

【審査請求日】2023-03-17

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110001379

【氏名又は名称】弁理士法人大島特許事務所

(72)【発明者】

【氏名】注連 隆夫

(72)【発明者】

【氏名】村松 武宗

(72)【発明者】

【氏名】佐伯 夏樹

(72)【発明者】

【氏名】古田 邦夫

【審査官】齊藤 貴孝

(56)【参考文献】

【文献】特開２０１３－０５４５８８（ＪＰ，Ａ）

【文献】国際公開第２０１９／１８１４９９（ＷＯ，Ａ１）

【文献】特開２０１９－０２０９８６（ＪＰ，Ａ）

【文献】特開２０１６－０４５６５４（ＪＰ，Ａ）

【文献】セブン－イレブン 日本初の顔認証決済とＡＩ活用による省人化 先端技術の導入で、新たなマーケットを開拓，月刊コンビニ，日本，株式会社アール・アイ・シー，2019年02月24日，第２２巻，第２号，ｐ．７－１３

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

複数の施設を含む複合施設の利用者からなるグループの行動を観察する行動観察システムであって、
前記複合施設の登録者として登録される前記利用者の登録用の顔画像を取得する登録管理装置と、
前記複数の施設にそれぞれ配置され、前記グループを撮影することにより、グループ画像を生成する複数の撮影装置と、
前記グループ画像から取得される前記利用者の認証用の顔画像および前記登録用の顔画像に基づき、顔認証の処理を実行する顔認証装置と、
前記顔認証の処理の結果に基づき、前記利用者が前記各施設で購入した商品または利用したサービスの決済処理をそれぞれ実行する決済装置と、
前記複合施設における前記グループの移動履歴の情報を生成する移動情報生成装置と、
を備え、
前記移動情報生成装置は、前記決済処理が行われた複数の前記施設に関する情報に基づき前記移動履歴の情報を生成する、行動観察システム。

【請求項2】

前記移動履歴の情報を表示する表示装置を更に備えた、請求項１に記載の行動観察システム。

【請求項3】

前記グループ画像に基づき、前記グループをその性質の違いによって区別するためのグループ区分を判定するグループ判定装置を更に備え、
前記移動履歴の情報は、前記グループ区分と共に前記表示装置に表示される、請求項２に記載の行動観察システム。

【請求項4】

前記移動履歴の情報には、所定の時刻または時間帯における前記グループの位置情報が含まれる、請求項２または請求項３のいずれかに記載の行動観察システム。

【請求項5】

前記移動履歴の情報には、前記グループに属する１以上の前記利用者の前記各施設における決済情報が含まれる、請求項１から請求項４のいずれかに記載の行動観察システム。

【請求項6】

前記表示装置は、前記移動履歴の情報として、前記グループの移動履歴を含む前記複合施設のマップ画面を表示する、請求項２に記載の行動観察システム。

【請求項7】

複数の施設を含む複合施設の利用者からなるグループの行動を観察するサーバを備える行動観察システムの行動観察方法であって、
前記サーバは、
ａ）前記複合施設の登録者として登録される前記利用者の登録用の顔画像を取得し、
ｂ）前記複数の施設にそれぞれ配置された撮影装置により、前記グループを撮影することにより、グループ画像を生成し、
ｃ）前記グループ画像から取得される前記利用者の認証用の顔画像および前記登録用の顔画像に基づき、顔認証の処理を実行し、
ｄ）前記顔認証の処理の結果に基づき、前記利用者が前記各施設で購入した商品または利用したサービスの決済処理をそれぞれ実行し、
ｅ）前記複合施設における前記グループの移動履歴の情報を生成し、
ｆ）前記移動履歴の情報は、前記決済処理が行われた複数の前記施設に関する情報に基づき生成される、
行動観察システムの行動観察方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、複数の施設を含む複合施設の利用者からなるグループの行動を観察する行動観察システム及び行動観察方法に関する。

【背景技術】

【0002】

従来、グループ及びそのグループに属する個人に対する情報提供などを目的として、グループに属する人物の顔画像からグループ区分（またはグループの属性）を判定する技術が開発されている。

【0003】

例えば、撮像手段を介して人物の顔画像を取得し、取得した顔画像が複数個あった場合に人物の数を取得し、取得した顔画像から特徴量を取得し、その特徴量に基づいて人物の属性を取得し、それら人物の属性と人物の数とから人物の属するグループ属性を決定する情報提供装置が知られている（特許文献１参照）。この従来の情報提供装置は、そのグループ属性に応じて提供すべき提供情報を決定し、その決定した提供情報をその人物に向けて出力する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００４－２２７１５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述のような情報提供装置が、統合型リゾートのような複合施設を利用する複数のグループの構成員（その少なくとも一部）に情報を配信する場合、そのグループ及びその構成員の行動（例えば、移動状況や店舗等の利用状況）を把握できれば、より効果的な情報配信を実現できる可能性がある。

【0006】

また、そのような行動を適切に把握できれば、グループで行動する複合施設の利用者に提供されるサービスの向上にも役立つ可能性がある。

【0007】

しかしながら、上記特許文献１に記載の従来技術では、複合施設におけるグループ及びその構成員の行動を把握するための手段や方法については一切開示されていない。

【0008】

そこで、本開示は、複合施設の利用者からなるグループの行動を適切に把握できる行動観察システム及び行動観察方法を提供することを主な目的とする。

【課題を解決するための手段】

【0009】

本開示の行動観察システムは、複数の施設を含む複合施設の利用者からなるグループの行動を観察する行動観察システムであって、前記複合施設の登録者として登録される前記利用者の登録用の顔画像を取得する登録管理装置と、前記複数の施設にそれぞれ配置され、前記グループを撮影することにより、グループ画像を生成する複数の撮影装置と、前記グループ画像から取得される前記利用者の認証用の顔画像および前記登録用の顔画像に基づき、顔認証の処理を実行する顔認証装置と、前記顔認証の処理の結果に基づき、前記利用者が前記各施設で購入した商品または利用したサービスの決済処理をそれぞれ実行する決済装置と、前記複合施設における前記グループの移動履歴の情報を生成する移動情報生成装置と、を備え、前記移動情報生成装置は、前記決済処理が行われた複数の前記施設に関する情報に基づき前記移動履歴の情報を生成する、構成とする。

【0010】

本開示の行動観察方法は、複数の施設を含む複合施設の利用者からなるグループの行動を観察するサーバを備える行動観察システムの行動観察方法であって、前記サーバは、ａ）前記複合施設の登録者として登録される前記利用者の登録用の顔画像を取得し、ｂ）前記複数の施設にそれぞれ配置された撮影装置により、前記グループを撮影することにより、グループ画像を生成し、ｃ）前記グループ画像から取得される前記利用者の認証用の顔画像および前記登録用の顔画像に基づき、顔認証の処理を実行し、ｄ）前記顔認証の処理の結果に基づき、前記利用者が前記各施設で購入した商品または利用したサービスの決済処理をそれぞれ実行し、ｅ）前記複合施設における前記グループの移動履歴の情報を生成し、ｆ）前記移動履歴の情報は、前記決済処理が行われた複数の前記施設に関する情報に基づき生成される、構成とする。

【発明の効果】

【0011】

本開示によれば、複合施設の利用者からなるグループの行動を適切に把握できる。

【図面の簡単な説明】

【0012】

【図1】本実施形態に係る施設管理システムの全体構成図

【図2】利用者の顔認証の処理の対象となるイベントの例を示す説明図

【図3】顔認証機１の概略構成を示すブロック図

【図4】管理端末２の概略構成を示すブロック図

【図5】登録装置５の概略構成を示すブロック図

【図6】顔管理サーバ８の概略構成を示すブロック図

【図7】顔照合サーバ９の概略構成を示すブロック図

【図8】外部装置の概略構成を示すブロック図

【図9】グループ管理サーバ４の概略構成を示すブロック図

【図10】グループ区分の一例を示す説明図

【図11】複数のグループからなるより大きなグループを示す説明図

【図12】グループリストの一例を示す説明図

【図13】グループが訪問した施設の履歴の一例を示す説明図

【図14】グループが訪問した施設の履歴の一例を示す説明図

【図15】顔画像抽出処理の概要を示す説明図

【図16】登録装置５に表示される登録画面の一例を示す説明図

【図17】利用者に関する登録処理の手順を示すシーケンス図

【図18】利用者に関する顔認証の処理の第１の例を示す説明図

【図19】利用者に関する顔認証の処理の第２の例を示す説明図

【図20】顔認証機１に表示される認証画面の一例を示す説明図

【図21】利用者に関する顔認証の処理の第３の例を示す説明図

【図22】登録者に対する情報配信処理の例を示す説明図

【図23】個別の利用者に対する情報配信（比較例）とグループ管理サーバ４による情報配信との比較を示す説明図

【図24】グループ行動情報の生成処理の例を示す説明図

【図25】グループの行動を観察するための画面表示処理の例を示す説明図

【図26】グループ行動の表示画面の例を示す説明図

【図27】グループ行動の表示画面の例を示す説明図

【図28】グループ行動の表示画面の例を示す説明図

【図29】グループ行動の表示画面の例を示す説明図

【図30】グループ行動の表示画面の例を示す説明図

【図31】複数のグループを大グループとして設定するグループ統合処理の例を示す説明図

【図32】人脈チャート作成処理の例を示す説明図

【図33】人脈チャートの例を示す説明図

【図34】登録情報の管理用画面の一例を示す説明図

【発明を実施するための形態】

【0013】

前記課題を解決するためになされた第１の発明は、複数の施設を含む複合施設の利用者からなるグループの行動を観察する行動観察システムであって、前記複合施設の登録者として登録される前記利用者の登録用の顔画像を取得する登録管理装置と、前記複数の施設にそれぞれ配置され、前記グループを撮影することにより、グループ画像を生成する複数の撮影装置と、前記グループ画像から取得される前記利用者の認証用の顔画像および前記登録用の顔画像に基づき、顔認証の処理を実行する顔認証装置と、前記顔認証の処理の結果に基づき、前記利用者が前記各施設で購入した商品または利用したサービスの決済処理をそれぞれ実行する決済装置と、前記複合施設における前記グループの移動履歴の情報を生成する移動情報生成装置と、を備え、前記移動情報生成装置は、前記決済処理が行われた複数の前記施設に関する情報に基づき前記移動履歴の情報を生成する、構成とする。

【0014】

これによると、グループに属する利用者の各施設における決済処理の情報に基づき、グループの移動履歴の情報を生成するため、複合施設の利用者からなるグループの行動を適切に把握できる。

【0015】

また、第２の発明は、前記移動履歴の情報を表示する表示装置を更に備えた、構成とする。

【0016】

これによると、行動観察システムの管理者は、複合施設の利用者からなるグループの行動を容易に把握できる。

【0017】

また、第３の発明は、前記グループ画像に基づき、前記グループをその性質の違いによって区別するためのグループ区分を判定するグループ判定装置を更に備え、前記移動履歴の情報は、前記グループ区分と共に前記表示装置に表示される、構成とする。

【0018】

これによると、複合施設の利用者からなるグループの行動を、グループの性質の違いに基づき適切に把握できる。

【0019】

また、第４の発明は、前記移動履歴の情報には、所定の時刻または時間帯における前記グループの位置情報が含まれる、構成とする。

【0020】

これによると、複合施設の利用者からなるグループの行動を、所定の時刻または時間帯におけるグループの移動履歴に基づき適切に把握できる。

【0021】

また、第５の発明は、前記移動履歴の情報には、前記グループに属する１以上の前記利用者の前記各施設における決済情報が含まれる、構成とする。

【0022】

これによると、複合施設の利用者からなるグループの行動を、各施設における１以上の利用者の決済情報に基づき適切に把握できる。

【0023】

また、第６の発明は、前記表示装置は、前記移動履歴の情報として、前記グループの移動履歴を含む前記複合施設のマップ画面を表示する、構成とする。

【0024】

これによると、行動観察システムの管理者は、複合施設の利用者からなるグループの行動を、表示装置に表示されたマップ画面によって容易に把握できる。

【0025】

また、第７の発明は、複数の施設を含む複合施設の利用者からなるグループの行動を観察するサーバを備える行動観察システムの行動観察方法であって、前記サーバは、ａ）前記複合施設の登録者として登録される前記利用者の登録用の顔画像を取得し、ｂ）前記複数の施設にそれぞれ配置された撮影装置により、前記グループを撮影することにより、グループ画像を生成し、ｃ）前記グループ画像から取得される前記利用者の認証用の顔画像および前記登録用の顔画像に基づき、顔認証の処理を実行し、ｄ）前記顔認証の処理の結果に基づき、前記利用者が前記各施設で購入した商品または利用したサービスの決済処理をそれぞれ実行し、ｅ）前記複合施設における前記グループの移動履歴の情報を生成し、ｆ）前記移動履歴の情報は、前記決済処理が行われた複数の前記施設に関する情報に基づき生成される、構成とする。

【0026】

これによると、グループに属する利用者の各施設における決済処理の情報に基づき、グループの移動履歴の情報を生成するため、複合施設の利用者からなるグループの行動を適切に把握できる。

【0027】

以下、本開示の実施の形態を、図面を参照しながら説明する。

【0028】

図１は、本実施形態に係る施設管理システムの全体構成図である。

【0029】

この施設管理システムは、顔認証機１と、管理端末２と、顔認証サーバ３（顔認証装置、登録管理装置）と、グループ管理サーバ４（グループ判定装置、情報配信装置、移動情報生成装置）と、登録装置５と、施設ディスプレイ６（表示装置）と、施設カメラ７（撮影装置）と、を備える。顔認証サーバ３は、顔管理サーバ８と、顔照合サーバ９と、を備えている。それらの各構成要素は、施設管理システムに複数設けられ得る。

【0030】

施設管理システムは、複合施設の利用者（特に、複数の利用者からなるグループ）に対して有益な情報を提供する情報配信システムとして機能し得る。また、施設管理システムは、複合施設における利用者の行動（特に、利用者からなるグループの行動）を観察するための行動観察システムとしても機能し得る。

【0031】

複合施設は、例えば統合型リゾートである。複合施設には、会議施設、展示施設、魅力増進施設（劇場、演芸場、音楽堂、競技場、映画館、博物館、美術館、レストランなど）、送客施設（駅、駐車場など）、宿泊施設およびアミューズメント施設などが含まれ得る。また、複合施設は、任意のエリア（例えば、地方自治体のエリア）に設けられた複数の公共施設や商業施設の集合であってもよい。

【0032】

顔認証機１、管理端末２、グループ管理サーバ４、登録装置５、施設ディスプレイ６、施設カメラ７、顔管理サーバ８および顔照合サーバ９は、インターネットなどのネットワークを介して相互に通信可能に接続されている。また、グループ管理サーバ４、登録装置５、及び顔管理サーバ８等は、複合施設の利用者の携帯端末１０と、ネットワークを介して通信可能である。携帯端末１０には、スマートフォン及びタブレット端末などが含まれる。

【0033】

顔認証機１は、複合施設のエリアの出入口、ならびに複合施設を構成する各施設の建物の出入口や部屋の出入口など、顔認証が必要とされる複数の場所にそれぞれ設置される。登録装置５は、複合施設の来訪者等の受付を行う受付カウンタなどに配置される。顔照合サーバ９は、顔認証機１の台数などに応じて所要の数が設けられる。

【0034】

顔認証機１は、顔認証用のカメラ１１（撮影装置）を備えており、このカメラ１１により、複合施設の利用者（複合施設への来訪者）が写る撮影画像を取得する。この撮影画像には、グループで行動する複数の利用者が写るグループ画像が含まれる。複合施設の適所には、複数の施設カメラ７が設置されている。各施設カメラ７は、顔認証用のカメラ１１と同様に利用者の撮影画像を取得することができる。例えば、顔認証用のカメラ１１には一方向性のカメラが用いられ、各施設カメラ７には全方位カメラが用いられる。

【0035】

また、顔認証機１は、顔認証用のディスプレイ１２を有している。ディスプレイ１２は、顔照合サーバ９から取得した顔認証結果を表示する。この表示により、利用者は顔認証結果を把握することができる。

【0036】

管理端末２は、ＰＣで構成され、施設管理システムの管理者によって操作される。管理端末２のディスプレイ３２（表示装置）には、管理者が施設管理システムを管理するための各種情報が表示される。また、複合施設の適所には、複数の施設ディスプレイ６が設置されている。各施設ディスプレイ６は、管理端末２からの指令に応じて、利用者向けの情報または複合施設のスタッフ向けの情報を表示することができる。

【0037】

管理端末２には、管理アプリケーションがインストールされている。この管理アプリケーションは、顔認証機１、グループ管理サーバ４、登録装置５、施設ディスプレイ６、施設カメラ７、顔管理サーバ８、及び顔照合サーバ９の各動作を管理するために用いられる。管理者は、管理アプリケーションにより、種々の管理業務を行うことができる。なお、管理アプリケーションはＷｅｂアプリケーションとして実装される。

【0038】

グループ管理サーバ４は、複合施設においてグループで行動する利用者を管理する。具体的には、グループ管理サーバ４は、顔認証サーバ３等と協働することにより、複合施設におけるグループの行動の観察や、グループの構成員（グループに属する１以上の利用者）に対して情報配信などを行う。

【0039】

登録装置５は、利用者の顔認証の処理に用いられる情報（以下、登録者情報という。）を取得する。登録者情報には、各利用者の登録用の顔画像や、その顔画像以外の利用者の登録情報が含まれ得る。複合施設の利用者は、施設管理システムに登録者情報を登録することにより、複合施設の登録者（登録済みの利用者）として扱われる。登録者は、複合施設の正規の利用者であり、顔認証に基づくセキュリティゲートの通過や、顔認証に基づく決済処理などを行うことができる。

【0040】

登録情報には、利用者の氏名のように永続的に利用者を特定可能な情報が含まれ得る。また、登録情報には、利用者を特定可能な一時的な情報が含まれ得る。そのような一時的な情報には、複合施設の利用者に一時的に付与される登録者番号や、複合施設内で登録者が使用する会議室（面談が可能な任意のスペースを含む）の番号や、宿泊施設等で登録者が滞在する部屋の番号などが含まれる。

【0041】

また、登録情報には、複合施設の利用方法について利用者の意思を確認するための情報も含まれ得る。そのような情報には、携帯端末１０等への情報配信を利用者が希望するか否かの情報などが含まれる。

【0042】

利用者は、複合施設を利用するためのアプリ（アプリケーションプログラム）１８を自身の携帯端末１０にインストールすることができる。アプリ１８は、上述の登録装置５の代わりに、利用者から登録者情報を取得する機能を有する。つまり、携帯端末１０は、登録装置５として機能し得る。以下では、主として登録装置５について説明するが、携帯端末１０が登録装置５として機能する場合もそれと同様である。

【0043】

顔管理サーバ８は、各登録者の情報（個人情報を含む）を取得し、それらを一元管理する。具体的には、顔管理サーバ８は、各登録者について、登録用の顔画像のデータおよび登録情報を関連付けて蓄積し、それらを管理する。顔管理サーバ８は、登録用の顔画像および登録情報を、利用者の登録時に登録装置５（または携帯端末１０）から取得する。また、顔管理サーバ８は、登録用の顔画像および登録情報に含まれる少なくとも一部の情報を管理端末２（すなわち、施設管理システムの管理者）から取得してもよい。

【0044】

顔照合サーバ９は、顔認証時に、１以上の顔認証の対象者の認証用の顔画像のデータを顔認証機１から取得して、その顔画像のデータから対象者の顔特徴量データを生成して、その対象者の顔特徴量データと、自装置に保管された登録者の顔特徴量データとを比較することによる顔照合を行って、対象者が登録者か否かを判定する顔認証を行う。

【0045】

また、顔照合サーバ９は、顔認証に先だって、利用者の登録時に、利用者の登録用の顔画像のデータを顔管理サーバ８（または登録装置５）から取得して、その顔画像のデータから利用者の顔特徴量データを生成して、自装置に保管する。場合によっては、顔照合サーバ９は、利用者の撮影画像を管理端末２（すなわち、管理者）から取得して、その撮影画像から顔画像のデータを取得することもできる。

【0046】

なお、本実施形態では、顔管理サーバ８と顔照合サーバ９とを、それぞれ物理的に異なる情報処理装置内に存在するものとしたが、それらは単一の情報処理装置内に存在してもよい。さらに、顔管理サーバ８及び顔照合サーバ９の少なくとも一方と、後に詳述するグループ管理サーバ４とが、単一の情報処理装置内に存在してもよい。

【0047】

また、本実施形態では、管理端末２と顔管理サーバ８とを設けるようにしたが、管理端末２と顔管理サーバ８とを単一の情報処理装置で構成することができる。例えば顔管理サーバ８に管理アプリケーションをインストールすることで、顔管理サーバ８が管理端末２を兼用することができる。

【0048】

また、本実施形態では、複合施設の利用者の顔認証の処理において顔特徴量照合を行うようにしたが、顔照合は、顔特徴量照合に限定されず、機械学習などを適用した照合方法を採用してもよい。さらに、本実施形態は、顔認証以外の生体認証にも適用することができる。

【0049】

次に、施設管理システムを適用した複合施設において、利用者の顔認証の処理の対象となるイベントの例について説明する。図２は、複合施設において発生するイベントの例を示す説明図である。

【0050】

図２に示すように、複合施設の利用者からなるグループ１００は、受付に配置された登録装置５により、施設管理システムへの登録（すなわち、顔認証の処理に用いられる情報の登録）の操作を行うことができる。登録の操作を完了した利用者は、複合施設において登録者１００Ａとして扱われる。また、所定期間内に複合施設を再訪した登録済みの利用者についても登録者１００Ａとして扱われる。複合施設では、全ての利用者が登録を行うこと（すなわち、登録者であること）は必須ではない。ただし、複合施設では、複数の利用者からなるグループ１００内に少なくとも１人の登録者１００Ａが含まれるように、利用者に登録を促すとよい。なお、グループ１００は、通常は複数のグループ構成員から構成されるが、単独の利用者も含み得る。

【0051】

複合施設では、複合施設内でのグループ１００（登録者１００Ａを含む）の行為によって発生する様々なイベント（図２中の２点鎖線内を参照）ごとに顔認証が実行される。

【0052】

例えば、登録者１００Ａが、複合施設内での利用者の通行を管理するセキュリティゲート前で顔認証を受けることにより、グループ１００は、当該セキュリティゲートを通過することが可能となる。セキュリティゲートには、ゲート装置（外部装置１６）と連携する（すなわち、扉部の開閉状態を制御する）顔認証機１を設置することができる。

【0053】

また例えば、登録者１００Ａが、宿泊施設内の客室前において顔認証を受けることにより、グループ１００は、当該客室への入室が可能となる。客室前には、客室のドアを施錠するロック装置と連携する（すなわち、ドアの施錠またはその解除を制御する）顔認証機１を配置することができる。

【0054】

また例えば、登録者１００Ａが、複合施設内のレストラン内において顔認証を受けることにより、グループ１００は、当該レストランの利用料金の決済処理（顔認証による自動決済）を行うことができる。レストランには、グループ１００に属する各利用者の顔を撮影可能なカメラ１１が設置され、顔認証機１は、レストランでの利用料金の支払いに用いられる決済装置（図示せず）と連携する。

【0055】

また例えば、登録者１００Ａは、複合施設内のジムにおいて顔認証を受けることにより、当該ジムの利用料金の決済処理を行うことができる。ジムには、登録者１００Ａの顔を撮影可能なカメラ１１が設置され、顔認証機１は、ジムでの利用料金の支払いに用いられる決済装置（図示せず）と連携する。なお、グループ１００に属する他の利用者（未登録者）は、登録者１００Ａと共にジムを利用することにより、その決済処理を一括して行うことができる。

【0056】

なお、複合施設内で発生するイベントには、上述の例に限らず、例えば、複合施設の駐車場における利用料金の決済処理や、複合施設内の宿泊施設におけるランドリーサービスの利用料金の決済処理や、複合施設内の浴場の利用料金の決済処理などの種々の事象が含まれ得る。

【0057】

次に、顔認証機１の概略構成について説明する。図３は、顔認証機１の概略構成を示すブロック図である。

【0058】

顔認証機１は、カメラ１１と、ディスプレイ１２と、通信部１３と、記憶部１４と、制御部１５と、制御信号送信部１７と、を備えている。

【0059】

カメラ１１は、所定の撮影エリアを常時撮影し、撮影エリアに利用者からなるグループが入るとそのグループが撮影され、顔認証の対象者を含む撮影画像（グループ画像）を取得することができる。なお、省電力化のため、人感センサ（図示せず）を設けて、人の到来を検知してカメラ１１が起動するようにしてもよい。

【0060】

ディスプレイ１２は、顔認証の進行状況や顔認証結果を表示し、顔認証を受けるグループは、それらを確認することができる。なお、ディスプレイ１２には、認証結果を出力する出力部としてスピーカーを設けて、顔認証結果を音声で通知するようにしてもよい。また、ディスプレイ１２は、顔認証機１の設置場所によっては（例えば、セキュリティゲートに顔認証機１を設置する場合）、省略することができる。

【0061】

通信部１３は、ネットワークを介して顔照合サーバ９と通信を行う。本実施形態では、撮影画像（顔画像）データを顔照合サーバ９に送信する。また、顔照合サーバ９から利用者の認証結果を受信する。また、通信部１３は、ネットワークを介してグループ管理サーバ４及び顔管理サーバ８と通信を行う。

【0062】

記憶部１４は、撮影画像（顔画像）のデータ、制御部１５を構成するプロセッサで実行される制御プログラムなどを記憶する。

【0063】

制御部１５は、顔画像抽出部２２と、顔照合要求部２３と、認証結果通知部２４と、認証結果調整部２５と、を備えている。この制御部１５は、プロセッサで構成され、制御部１５の各部は、記憶部１４に記憶されたプログラムをプロセッサで実行することで実現される。

【0064】

顔画像抽出部２２は、カメラ１１からグループの撮影画像を取得して、その撮影画像から１以上の人物の顔を検知して、検知した顔のサイズがそれぞれ適正であるかを判定し、撮影画像から顔領域を切り出して、１以上の利用者の顔画像のデータを取得することができる。なお、顔画像データは、顔領域の画像のみのデータでもよいが、撮影画像（所定の撮影エリアの画像）のデータと、その撮影画像のデータ上の顔領域の位置情報（顔枠情報）との組み合わせとしてもよい。

【0065】

顔照合要求部２３は、撮影画像に含まれる各利用者について、顔照合サーバ９に顔照合のリクエストを通信部１３によって送信する。

【0066】

認証結果通知部２４は、通信部１３によって顔照合サーバ９から取得した顔認証結果をディスプレイ１２に表示することにより、顔認証結果をグループに通知する。

【0067】

認証結果調整部２５は、顔照合サーバ９から取得した利用者の顔照合結果に基づき外部装置１６と連携するための制御を行う。外部装置１６としては、例えば、複合施設における登録者の通行を管理するゲート装置、複合施設におけるホテルの客室や所定エリアへの入退室を管理するドアのロック装置、及び登録者が複合施設内で受けたサービスや購入品等に対する支払いを行うための決済装置などを用いることができる（図２参照）。決済装置は、登録者のクレジットカード等の情報に基づき、後払いの決済処理を行うことができる。認証結果調整部２５は、決済装置から各登録者の決済処理結果を取得することができる。決済処理結果には、各施設における商品の購入及びサービスの利用に対する支払い金額（消費額）に関する情報が含まれる。

【0068】

顔認証機１と外部装置１６とは、通信ケーブル等によって直接接続されるか、公知のネットワークを介して通信可能に接続される。認証結果調整部２５は、接続アプリケーションで構成されることにより、利用者の顔照合結果を、外部装置１６を含む外部システムのサーバ等に通知することができる。

【0069】

制御信号送信部１７は、外部装置１６に対し、その動作を制御するための制御信号を送信する。

【0070】

次に、管理端末２について説明する。図４は、管理端末２の概略構成を示すブロック図である。

【0071】

管理端末２は、通信部３１と、ディスプレイ３２と、入力デバイス３３と、記憶部３４と、制御部３５と、を備えている。

【0072】

通信部３１は、ネットワークを介して顔管理サーバ８と通信を行う。本実施形態では、顔管理サーバ８から画面情報などを受信し、これに応じた管理者の操作情報などを顔管理サーバ８に送信する。また、通信部３１は、ネットワークを介してグループ管理サーバ４と通信を行う。

【0073】

ディスプレイ３２は、各種の画面を表示する。入力デバイス３３は、マウスやキーボードなどであり、ディスプレイ３２に表示された画面の操作を行う。

【0074】

記憶部３４は、制御部３５を構成するプロセッサで実行されるプログラム（管理アプリケーション）などを記憶する。

【0075】

制御部３５は、ＧＵＩ制御部３８を備えている。この制御部３５は、プロセッサで構成され、制御部３５の各部は、記憶部３４に記憶されたプログラムをプロセッサで実行することで実現される。

【0076】

ＧＵＩ制御部３８は、顔管理サーバ８およびグループ管理サーバ４から配信される各種情報に関する画面をディスプレイ３２に表示する。また、入力デバイス３３を用いた管理者の入力操作に応じて、入力情報を取得するとともに画面制御を行う。本実施形態では、ＧＵＩ制御部３８は、複合施設における利用者の行動（特に、利用者からなるグループの行動）を観察する画面に関する表示入力制御を行う。また、ＧＵＩ制御部３８は、登録者の管理に関連する画面、具体的には、利用者の情報に関する登録（個別登録、一括登録）、参照、更新および削除に関連する画面に関する表示入力制御を行う。

【0077】

次に、登録装置５の概略構成について説明する。図５は、登録装置５の概略構成を示すブロック図である。

【0078】

登録装置５は、入力デバイス４０と、顔撮影用のカメラ４１と、ディスプレイ４２と、通信部４３と、記憶部４４と、制御部４５と、を備えている。

【0079】

入力デバイス４０は、キーボードなどから構成される。入力デバイス４０は、タッチパネルとしてディスプレイ４２と一体に設けられてもよい。利用者（または受付者）は、入力デバイス４０によって利用者の登録情報の入力を行うことができる。

【0080】

顔撮影用のカメラ４１は、例えば複合施設の受付に訪れた利用者の顔を撮影することにより、利用者の撮影画像を取得することができる。

【0081】

また、登録装置５には、利用者が所持する情報記録媒体（例えば、ＲＦＩＤタグ）から利用者の登録情報を無線通信によって読み取り可能な情報読取装置（例えば、ＲＦＩＤリーダ）を設けることも可能である。

【0082】

ディスプレイ４２は、利用者に対して登録者情報の登録手順を示す登録画面（図１６（Ａ）－（Ｆ）参照）を表示することができる。また、ディスプレイ４２にスピーカーを付設することにより、登録手順等を利用者に音声で案内するようにしてもよい。また、ディスプレイ４２をタッチパネルにより構成することで、利用者がタッチ操作により入力した情報を取得することが可能となる。

【0083】

通信部４３は、ネットワークを介して顔管理サーバ８と通信を行う。本実施形態では、顔画像データおよび登録情報を顔管理サーバ８に送信する。

【0084】

記憶部４４は、登録者の撮影画像（顔画像）のデータ、登録者の特定情報、及び制御部４５を構成するプロセッサで実行される制御プログラムなどを記憶する。

【0085】

制御部４５は、顔画像抽出部４６と、登録情報取得部４７と、登録要求部４８と、ＧＵＩ制御部４９と、を備えている。この制御部４５は、プロセッサで構成され、制御部４５の各部は、記憶部４４に記憶されたプログラムをプロセッサで実行することで実現される。

【0086】

顔画像抽出部４６は、顔撮影用のカメラ４１から利用者（登録対象者）の撮影画像を取得し、その撮影画像から人物の顔を検知し、利用者の顔画像が適切に取得されたか否かを判定することができる。また、取得された顔画像が適切でない場合には、顔画像抽出部４６は、利用者に再撮影を促すメッセージをディスプレイ４２に表示させることができる。なお、顔画像抽出部４６は、上述の顔認証機１の顔画像抽出部２２と同様の機能を有してもよい。

【0087】

登録情報取得部４７は、入力デバイス４０からの入力された登録情報を取得する。

【0088】

登録要求部４８は、顔管理サーバ８に対し、利用者の登録のリクエストを通信部４３によって送信する。

【0089】

ＧＵＩ制御部４９は、顔管理サーバ８から配信される利用者に対する各種の案内画面をディスプレイ４２に表示する。また、入力デバイス４０を用いた利用者の入力操作に応じて、入力情報を取得するとともに画面制御を行う。

【0090】

次に、顔管理サーバ８の概略構成について説明する。図６は、顔管理サーバ８の概略構成を示すブロック図である。

【0091】

顔管理サーバ８は、通信部５１と、記憶部５２と、制御部５３と、を備えている。

【0092】

通信部５１は、ネットワークを介して管理端末２と通信を行う。また、通信部５１は、ネットワークを介して顔認証機１と通信を行う。また、通信部５１は、グループ管理サーバ４と通信を行う。また、通信部５１は、登録装置５と通信を行う。また、通信部５１は、顔照合サーバ９と通信を行う。また、通信部５１は、登録装置５の代わりに、アプリ１８がインストールされた携帯端末１０と通信を行うこともできる。

【0093】

記憶部５２は、顔情報データベース、制御部５３を構成するプロセッサで実行される制御プログラムなどを記憶する。

【0094】

顔情報データベースには、各登録者（登録された各利用者）に関する情報として、登録用の顔画像が蓄積される。また、顔情報データベースには、各登録者の登録情報が登録用の顔画像に関連付けられて蓄積される。なお、登録用の顔画像および登録情報は、プライバシー保護のために暗号化された状態で記憶してもよい。さらに、顔情報データベースには、登録用の顔画像および登録情報の一部を、匿名化した情報で置き換えた状態で記憶してもよい。

【0095】

制御部５３は、登録者管理部６２と、顔照合サーバ管理部６５と、顔情報管理部６６と、データベース管理部６７と、を備えている。この制御部５３は、プロセッサで構成され、制御部５３の各部は、記憶部５２に記憶されたプログラムをプロセッサで実行することで実現される。制御部５３の各部は、ＷｅｂＡＰＩ（Web Application Programming Interface）として構成される。

【0096】

登録者管理部６２は、各登録者の登録用の顔画像および登録情報などの登録者情報を管理し、管理端末２からの要求に応じて、登録者情報に関する必要な処理を行う。本実施形態では、管理端末２から、各登録者に関する登録、参照、更新および削除の要求が行われ、登録者管理部６２は、その要求に応じて必要な処理を行う。

【0097】

顔照合サーバ管理部６５は、顔照合サーバ９に関する情報を管理し、管理端末２からの要求に応じて、顔照合サーバ９に関する必要な処理を行う。

【0098】

顔情報管理部６６は、自装置に保管された登録者情報（顔画像、登録情報など）と、顔照合サーバ９に保管された登録者の顔情報（登録者の顔特徴量データ）とが整合した状態に維持されるように、顔情報の同期を行う。

【0099】

データベース管理部６７は、自装置に設けられたデータベースを管理し、データベースのバックアップおよびレストアを行う。

【0100】

次に、顔照合サーバ９の概略構成について説明する。図７は、顔照合サーバ９の概略構成を示すブロック図である。

【0101】

顔照合サーバ９は、通信部７１と、記憶部７２と、制御部７３と、を備えている。

【0102】

通信部７１は、ネットワークを介して顔認証機１と通信を行う。本実施形態では、顔認証機１から撮影画像（顔画像）データなどを受信する。また、利用者の認証結果などを顔認証機１に送信する。また、通信部７１は、ネットワークを介して顔管理サーバ８と通信を行う。本実施形態では、各種の処理のリクエストなどを顔管理サーバ８から受信し、それに応じたレスポンスなどを顔管理サーバ８に送信する。また、通信部７１は、ネットワークを介してグループ管理サーバ４と通信を行う。

【0103】

記憶部７２は、顔照合データベース、登録者と特徴量との間の関連付け情報、制御部７３を構成するプロセッサで実行される制御プログラムなどを記憶する。顔照合データベースには、登録者に関する情報として、登録者の顔特徴量データなどが登録される。

【0104】

制御部７３は、画像品質チェック部８２と、顔画像抽出部８３と、顔特徴量生成部８４と、顔特徴量照合部８６と、データベース管理部８８と、位置情報取得部８９と、決済情報取得部９０と、を備えている。この制御部７３は、プロセッサで構成され、制御部７３の各部は、記憶部７２に記憶されたプログラムをプロセッサで実行することで実現される。制御部７３の各部は、ＷｅｂＡＰＩとして構成される。

【0105】

画像品質チェック部８２は、撮影画像内の顔領域の画像が所定の品質を満足しているか否かを判定する。具体的には、対象となる画像から、マスクの着用の有無およびサングラスの着用の有無を検知し、また、顔認証適合度（顔の向きや表情による評価値）を算出する。

【0106】

顔画像抽出部８３は、利用者の登録時に、登録装置５によって取得された利用者（グループ）の撮影画像から顔画像を抽出する。このとき必要に応じて、顔画像抽出部８３は、撮影画像から人物の顔を検知し、検知した顔のサイズが適正であるかを判定し、撮影画像から顔領域を切り出して、人物の顔画像を取得する。なお、顔画像抽出部８３は、顔認証時に、顔認証機１によって取得された利用者の撮影画像から顔画像を抽出することもできる。

【0107】

顔特徴量生成部８４は、利用者の登録時および顔認証時に、登録用の顔画像および認証用の顔画像のデータから顔特徴点を検出して顔特徴量データをそれぞれ生成する。

【0108】

顔特徴量照合部８６は、顔認証時に、顔認証機１から取得した認証用の顔画像のデータから生成した認証対象者の顔特徴量データと、自装置に保管された登録者（登録済みの利用者）の顔特徴量データとを比較して、認証対象者が登録者か否かを判定する。このとき、認証用の顔画像に複数の認証対象者の顔が含まれる場合には、顔特徴量照合部８６は、各認証対象者が登録者か否かをそれぞれ判定する。

【0109】

なお、顔特徴量照合部８６では、認証対象者と登録者との類似度（照合スコア）を算出する。この類似度を所定のしきい値と比較することで、顔認証の成否を判定することができる。この成否の判定結果を照合結果として顔認証機１に通知する他に、類似度の高い登録者に関する人物ＩＤや類似度を照合結果として顔認証機１に通知するようにしてもよい。

【0110】

データベース管理部８８は、自装置に設けられたデータベースを管理し、データベースのバックアップおよびレストアを行う。

【0111】

位置情報取得部８９は、撮影画像の撮影位置（例えばカメラ１１または施設カメラ７の位置）及び撮影時刻の情報を取得する。位置情報取得部８９は、その撮影画像の撮影位置を、その撮影画像に含まれる登録者の撮影時刻における位置（当該登録者が属するグループの撮影時刻における位置）として取得する。各登録者の撮影時刻における位置の情報は、記憶部７２に記憶される。

【0112】

決済情報取得部９０は、登録者の決済情報として、顔認証機１から決済装置（外部装置１６）による決済処理結果を取得することができる。決済情報は、記憶部７２に記憶される。

【0113】

なお、本実施形態では、顔照合サーバ９の主たる機能として、顔画像抽出、顔特徴量生成、顔特徴量照合、登録者の位置情報の取得、及び登録者の決済情報の取得の各機能を備えているが、これらの機能を互いに独立した別の情報処理装置で構成することができる。例えば、顔画像抽出の機能を、他の顔特徴量生成および顔特徴量照合などの機能とは独立した別の情報処理装置で構成するようにしてもよい。

【0114】

次に、外部装置１６の概略構成について説明する。図８は、外部装置１６の概略構成を示すブロック図である。

【0115】

外部装置１６は、制御信号受信部９１と、駆動部９２と、電源部９３と、制御部９４と、を備えている。

【0116】

制御信号受信部９１は、顔認証機１の制御信号送信部１７から送信された制御信号（外部装置１６と連携する顔認証機１からの動作指令）を受信する。

【0117】

駆動部９２は、顔認証機１からの制御信号に基づき、制御部９４によって制御される。例えば、外部装置１６がゲート装置である場合、駆動部９２は、ゲート装置の扉部を開放（または閉鎖）するための動力を供給する。また、外部装置１６がドアのロック装置である場合、駆動部９２は、ロック装置の施錠（または施錠を解除）するための動力を供給する。なお、外部装置１６が駆動される部位を備えない決済装置である場合には、駆動部９２を省略することが可能である。

【0118】

電源部９３は、外部装置１６の各部に電力を供給する。また、電源部９３は、顔認証機１の給電部９７に電気的に接続され、当該給電部９７に対しても電力を供給することが可能である。給電部９７は、顔認証機１の各部に電力を供給する。また、ＬＡＮケーブルを介して顔認証機１の給電部９７と接続されることにより、ＰｏＥ給電によって給電部９７に電力を供給することができる。

【0119】

また、電源部９３は、施設内全般の電力供給ラインとは独立した無停電電源装置（または非常用電源）から電力供給を受けることが可能である。これにより、例えば外部装置１６としてのゲート装置は、施設内で停電が発生した場合でも、通常の動作を行うことが可能となり、施設のセキュリティを維持できるという利点がある。

【0120】

制御部９４は、外部装置１６の各部の動作を制御する。また、制御部９４は、外部装置１６として必要な処理を実行することができる。制御部９４は、プロセッサで構成され、図示しない記憶部（メモリ）に記憶されたプログラムをプロセッサで実行することで実現される。

【0121】

次に、グループ管理サーバ４の概略構成について説明する。図９は、グループ管理サーバ４の概略構成を示すブロック図である。図１０は、グループ区分の一例を示す説明図である。図１１は、複数のグループからなるより大きなグループを示す説明図である。図１２は、グループリストの一例を示す説明図である。図１３は、グループが訪問した施設の履歴の一例を示す説明図である。図１４は、グループが訪問した施設の履歴の一例を示す説明図である。

【0122】

グループ管理サーバ４は、通信部１０１と、記憶部１０２と、制御部１０３と、を備えている。

【0123】

通信部１０１は、ネットワークを介して管理端末２と通信を行う。本実施形態では、通信部１０１は、グループ行動情報を管理端末２に送信する。また、通信部１０１は、ネットワークを介して携帯端末１０と通信を行う。本実施形態では、通信部１０１は、複合施設の利用に関するグループ向けの情報を携帯端末１０に送信する。また、通信部１０１は、ネットワークを介してカメラ１１と通信を行う。本実施形態では、通信部１０１は、カメラ１１から撮影画像を受信する。なお、通信部１０１は、カメラ１１の代わりに、施設カメラ７（図１参照）から撮影画像を受信してもよい。また、通信部１０１は、ネットワークを介して顔照合サーバ９と通信を行う。本実施形態では、通信部１０１は、顔照合サーバ９から撮影画像に登録者が含まれるか否かの判定情報を受信する。また、通信部１０１は、ネットワークを介して顔管理サーバ８と通信を行う。本実施形態では、通信部１０１は、顔管理サーバ８から撮影画像に含まれる登録者の登録情報を受信する。また、通信部１０１は、外部のＳＮＳサーバ１０４と通信を行う。ＳＮＳサーバ１０４は、ソーシャルネットワーキングサービスを提供する機能を有する。

【0124】

記憶部１０２は、グループ区分情報、グループリスト情報、グループ画像、グループ特定情報、グループ行動情報、関連グループ情報、及び配信用情報などを記憶する。グループ特定情報には、グループを特定するための情報（例えば、グループに属する登録者の識別情報）が含まれる。関連グループ情報には、複数のグループを関連づける情報が含まれる。配信用情報には、複合施設またはそれに含まれる１以上の施設の利用に関する各種情報（商品情報、サービス情報、クーポン情報、イベント情報、及びマップ情報など）が含まれる。

【0125】

制御部１０３は、グループ判定部１１１と、グループ区分部１１２と、特定人物抽出部１１３と、グループリスト作成部１１４と、グループ行動集計部１１５と、情報配信部１１６と、を備えている。この制御部１０３は、プロセッサで構成され、制御部１０３の各部は、記憶部１０２に記憶されたプログラムをプロセッサで実行することで実現される。

【0126】

グループ判定部１１１は、カメラ１１からの撮影画像の被写体に複数の利用者からなるグループが含まれるか否かを判定する。

【0127】

グループ区分部１１２は、撮影画像の被写体にグループが含まれる場合、記憶部１０２に記憶されたグループ区分情報にしたがってグループ区分を判定する。グループ区分は、グループをその性質の違いによって区別するために、管理者によって適宜設定される。グループ区分には、図１０に示すように、大人グループ、カップル、子連れファミリー、子供グループ、及び一人などが含まれる。それらのグループ区分は、大人グループ（２０代、３０代）及び大人グループ（４０代以降）のように、グループを構成する利用者の年齢により更に詳細に区分けされ得る。

【0128】

特定人物抽出部１１３は、撮影画像の被写体にグループが含まれる場合、顔照合サーバ９の顔認証結果に基づき、そのグループに含まれる登録者を抽出する。また、特定人物抽出部１１３は、複数のグループから同一の登録者を抽出した場合、その同一の登録者が属する複数のグループをより大きなグループ（以下、「大グループ」という。）として設定する。

【0129】

例えば図１１（Ａ）に示すように、複数のグループＸ、Ｙ、Ｚを含む団体客１２１は、空港では案内者Ｔの案内にしたがって１つのグループとして行動を共にする。一方、図１１（Ｂ）に示すように、団体客１２１は、空港から複合施設に到着すると、各グループＸ、Ｙ、Ｚで個別に行動を開始する。このとき、案内者Ｔは、各グループＸ、Ｙ、Ｚの間を移動しながら行動するため、特定人物抽出部１１３は、撮影時刻の異なる複数のグループの撮影画像に基づき、案内者ＴをグループＸ、Ｙ、Ｚのいずれにも属する登録者として抽出する場合がある。このように、特定人物抽出部１１３は、複数のグループＸ、Ｙ、Ｚから同一の登録者（ここでは、案内者Ｔ）を抽出した場合、その複数のグループをＸ、Ｙ、Ｚを大グループＷとして設定する。これにより、施設管理システムでは、グループ行動に関するデータの集計などにおいて、グループＸ、Ｙ、Ｚが１つのグループＷとして扱われ得る。なお、複数のグループから抽出する同一の登録者は複数人いてもよい。複数人に対応することで、グループＸ、Ｙに同一の登録者がいて、グループＹ、Ｚに同一の登録者がいたような場面でもグループＸ、Ｙ、Ｚを大グループＷとして設定することができる。

【0130】

グループリスト作成部１１４は、撮影画像の被写体にグループが含まれる場合、そのグループの構成員を示すグループリストを作成する。グループリストには、図１２に示すように、グループ（図中のグループａ－ｃを参照）の構成員（未登録の利用者および登録者）に関する情報（ここでは、年齢層、性別）が含まれる。また、グループリストには、グループ区分部１１２によって決定された各グループ区分の情報が含まれる。例えば、グループａには、小学生、４０代の男、４０代の女で構成されており、グループ区分は５（図１０中の子連れファミリー（小学生以下）に相当）である。また、グループリストには、グループの構成員が登録者であるか否かの情報が含まれる。例えば、グループａには、４０代の男および４０代の女の登録者が含まれ、グループｂには、２０代の男および３０代の男の登録者が含まれる。さらに、グループリストには、登録者が複合施設の利用に関する情報配信を希望するか否かの情報が含まれ得る。例えば、グループｂの３０代の男の登録者には、情報配信を希望しないことを示す識別子が付加されている。グループ構成員の年齢層や性別は、顔認証技術を用いて識別するが、顔認証によって登録された人物であると判明した際は、登録された情報を優先する。画像から識別した情報と登録された情報を用いてグループリストを作成する。

【0131】

グループ行動集計部１１５は、各グループの行動に関する各種データを集計する。集計結果は、グループ行動情報として記憶部１０２に記憶される。また、グループ行動集計部１１５は、管理端末２からのリクエストに応じて各種データの集計結果を管理端末２に送信する。

【0132】

グループ行動情報には、複合施設における複数の施設間または各施設内でのグループ（グループに属する登録者）の移動履歴に関する情報が含まれる。その移動履歴に関する情報には、図１３に示すように、各グループ（ここでは、グループａ）が訪れた各施設の識別子（ここでは、Ａ、Ｄ、Ｈ）や、それらの施設を訪れた日付及び時刻が含まれる。移動履歴に関する情報には、時刻の代わりに、時間帯が含まれてもよい。

【0133】

また、移動履歴に関する情報には、各グループがそれぞれ訪れた各施設の位置情報（緯度・経度や、複合施設のマップにおける座標）が更に含まれてもよい。移動履歴に関する情報の取得には、それらの施設における入場情報もしくは決済情報によって特定され得る。つまり、各グループの移動履歴は、各グループ（グループに属する登録者）による入場処理もしくは決済処理が行われた各施設の位置情報に基づき生成され得る。移動履歴に関する情報には、入場情報もしくは決済情報（例えば、各施設における消費額）が含まれてもよい。また、移動履歴に関する情報には、複数の施設間を移動中の各グループの位置情報（例えば、所定周期で設定された複数の時刻における携帯端末１０のＧＰＳ機能に基づく位置）が含まれてもよい。また、各グループの移動履歴は、グループ区分に基づき生成され得る（すなわち、グループ区分の情報を含む）。

【0134】

また、決済情報には、図１４に示すように、各グループ（ここでは、グループａ、ｂ）に属する登録者による各施設（ここでは、施設Ａ－Ｃ）での決済金額が含まれる。グループａでは、登録者である４０代の男性および４０代の女性に関する消費額（決済金額）が含まれる。また、グループｂでは、登録者である２０代の男性および２０代の女性に消費額が含まれる。決済情報には、各グループ単位での消費額の合計が含まれてもよい。

【0135】

情報配信部１１６は、記憶部１０２に記憶された配信用情報に基づき、グループ区分に応じたグループ向けの情報を生成することができる。あるいは、情報配信部１１６は、記憶部１０２に予め記憶されたグループ区分に応じて決定された１以上の配信用情報を、グループ向けの情報として選択してもよい。例えば、グループ向けの情報として飲食店の情報が提供される場合、情報配信部１１６は、過去の実績において、対象のグループ区分に属するグループの利用率が高い飲食店に関する情報を生成または選択する。

【0136】

なお、情報配信部１１６は、撮影画像の撮影位置の情報（例えばカメラ１１または施設カメラ７の位置の情報）を取得し、その撮影位置に応じてグループ向けの情報を生成または選択することができる。また、情報配信部１１６は、グループ区分に応じて決定された１以上の施設に関する情報を、グループ向けの情報として生成または選択することができる。この場合、情報配信部１１６は、その１以上の施設を、同じグループ区分に属する他の複数のグループによる各施設の利用状況の情報に応じて決定できる。各施設の利用状況の情報には、利用人数（利用者の数）や、利用時間帯の情報が含まれる。つまり、情報配信部１１６は、各施設の利用状況の情報に基づき、情報配信の時刻に対応する時間帯において、利用人数がより大きい１以上の施設に関する情報を、グループ向けの情報として生成または選択することができる。

【0137】

情報配信部１１６は、グループ向けの情報を登録者の携帯端末１０に対して配信する。このグループ向けの情報の配信処理は、携帯端末１０のアプリ１８の情報配信機能を利用して行われる。

【0138】

次に、顔画像抽出処理について説明する。図１５は、顔画像抽出処理の概要を示す説明図である。

【0139】

上述のように、顔認証機１の顔画像抽出部２２において、顔画像抽出処理、すなわち、顔検知、顔サイズチェック、顔切出しの各処理により、利用者の撮影画像データから顔画像データを生成する処理が行われる。この顔画像抽出処理は、顔照合サーバ９の顔画像抽出部８３でも同様に行われる。

【0140】

利用者の登録時には、登録装置５から顔管理サーバ８を介して顔照合サーバ９に利用者の撮影画像のデータが送られることで、顔照合サーバ９の顔画像抽出部８３で顔画像抽出処理を行う。場合によっては、管理端末２から顔管理サーバ８を介して顔照合サーバ９に利用者の撮影画像のデータが送られるようにしてもよい。

【0141】

一方、顔認証時には、顔認証機１でのみ顔画像抽出処理を行い、顔照合サーバ９では顔画像抽出処理を行わないようにするとよい。この場合、顔認証機１に高精度な顔検知の機能を与える。また、顔認証機１ではカメラ１１で撮影エリアを常時撮影し、顔が検知されたタイミングで撮影画像データ及び顔枠情報を顔照合サーバ９に送るようにする。これにより、顔画像抽出処理の負荷が複数の顔認証機１に分散され、顔照合サーバ９の負荷を軽減することができる。また、顔認証機１及び顔照合サーバ９の間の通信量の削減を図ることができるため、ネットワークの負荷を軽減することができる。そして、顔認証機１は、顔認証の応答を高速に行うことができるため、次々に現れる対象者の顔認証を効率よく行うことができる。

【0142】

次に、登録装置５における利用者による登録操作について説明する。図１６は、登録装置５に表示される登録画面の一例を示す説明図である。

【0143】

利用者は、複合施設の利用を開始するにあたり（あるいは、登録後の所定期間内に複合施設を再訪しなかった場合に）、登録装置５によって認証用の登録操作を行うことができる。本実施形態では、利用者は、登録装置５のディスプレイ４２（ここでは、タッチパネル）に表示された案内画面にしたがって、登録操作を行うことができる。なお、以下で説明する認証用の登録操作の一部（ボタンの押下など）については、利用者の同意を得た受付者が行ってもよい。

【0144】

登録装置５のディスプレイ４２には、登録開始ボタン１３１が表示された初期画面が表示される（図１６（Ａ）参照）。そこで、利用者が登録開始ボタン１３１を押下（タッチ）すると、施設管理システムにおける個人情報の取扱いに関する説明と、その同意を利用者に求める画面が表示される（図１６（Ｂ）参照）。

【0145】

利用者は、図１６（Ｂ）の画面において、同意ボタン１３２を押下することにより、施設管理システムにおける個人情報の取扱いに同意することができる。これにより、登録装置５では、当該利用者の登録者情報の取得が開始される。そこで、ディスプレイ４２には、利用者の特定に用いられる登録情報を取得する方法を示す画面が表示される（図１６（Ｃ）参照）。なお、利用者は、中止ボタン１３３を押下することにより、登録操作を中止することができる。なお、同意を利用者に求める画面は、利用者によって同意が必要でない場合があり、省略することができる。また、後述のＯＫボタン１３５、撮影ボタン１３７、登録ボタン１４１の操作をもって同意に代えてもよい。また、登録装置５の利用前の所定の手続きをもって同意を得るようにしてもよい。

【0146】

図１６（Ｃ）に示す例では、利用者の登録情報を入力する画面が表示される。ここでは、登録情報として、利用者の氏名、パスワード（ＰＷ）、メールアドレス、複合施設の利用に関する情報配信のサービスを希望するか否かの選択、クレジットカード番号、クレジットカードの有効期限などが入力される。そこで、登録情報の入力を終えた利用者がＯＫボタン１３５を押下すると登録情報の入力が完了する。

【0147】

続いて、登録装置５には、利用者の登録用の顔画像を撮影する方法（顔撮影用カメラ４１の撮影エリア内に利用者の顔を位置させるための案内）を示す画面が表示される（図１６（Ｄ）参照）。このとき、登録装置５では、撮影エリアに対応する撮影枠１３６を点滅させることにより、利用者に顔の位置合わせを促すことができる。撮影枠１３６内には、顔撮影用カメラ４１によって撮影されたライブ画像（リアルタイムの動画像）が表示される。そこで、利用者が、自身の顔を撮影枠内に位置させて撮影ボタン１３７を押下すると、登録装置５による利用者の顔の撮影が実行される。このとき、登録装置５では、撮影ボタン１３７の押下時にシャッター音を発生させることができる。なお、利用者は、中止ボタン１３８を押下することにより、顔の撮影を中止することができる。

【0148】

続いて、登録装置５には、撮影された顔画像を利用者が確認するための画面が表示される（図１６（Ｅ）参照）。この画面には、撮影された顔画像（静止画像）が表示されており、利用者は、撮影された顔画像に問題がないと判断した場合には、登録ボタン１４１を押下する。一方、利用者は、撮影された顔画像に問題があると判断した場合には、再撮影ボタン１４２を押下することができる。これにより、登録装置５には、図１６（Ｄ）に示した画面が表示され、顔の再撮影が可能となる。なお、利用者は、中止ボタン１４３を押下することにより、顔の撮影を中止することができる。

【0149】

顔の撮影が終了すると、取得された顔画像および登録情報が顔管理サーバ８に送信される。これにより、顔管理サーバ８では、利用者に関する登録処理（図１７参照）が実行される。顔管理サーバ８の登録処理が正常に終了すると、登録装置５には、登録が終了した旨を示す画面が表示される（図１６（Ｆ）参照）。そこで、利用者が終了ボタン１４５を押下することにより、登録装置５における登録操作が終了する。

【0150】

登録操作が終了した後は、登録装置５は、記憶部４４に記憶した顔画像や登録情報を削除することができる。これにより、不特定の者が利用する登録装置５に個人情報が長期的に保存されることが回避され、利用者の個人情報をより安全に管理することが可能となる。

【0151】

なお、上述の登録装置５による利用者の登録に代えて、管理者は、利用者の登録用の顔画像のファイルを予め準備した上で、管理端末２を用いて利用者に関する登録を行うことができる。また、管理者は、登録装置５による登録を補完するために、登録装置５によって登録された登録者情報の修正や新たな情報の追加を管理端末２から行うこともできる。

【0152】

次に、上述の利用者の登録操作に応じて実行される利用者に関する登録処理について説明する。図１７は、利用者に関する登録処理の手順を示すシーケンス図である。

【0153】

顔管理サーバ８では、上述のように登録装置５において利用者の登録操作が行われると、図１７に示すように、当該利用者に関する登録処理を開始する。このとき、顔管理サーバ８は、登録装置５から利用者の操作情報とともに顔の撮影画像（登録用の顔画像）や登録情報を受け取る。この登録処理では、まず、顔管理サーバ８は、顔照合サーバ９に顔画像抽出のリクエストを送る。このリクエストには、登録装置５から取得した利用者の顔の撮影画像が含まれる。

【0154】

顔照合サーバ９では、顔管理サーバ８からの顔画像抽出のリクエストを受け取ると、顔画像抽出処理を行う。この顔画像抽出処理では、顔管理サーバ８から取得した利用者の顔の撮影画像に対して顔検知、および顔切出しなどの処理を行い、利用者の顔画像を抽出する。そして、顔画像抽出のレスポンスを顔管理サーバ８に送る。このレスポンスには、利用者の顔画像が含まれる。

【0155】

顔管理サーバ８では、顔画像抽出のレスポンスを顔照合サーバ９から受け取ると、顔照合サーバ９に顔登録のリクエストを送る。このリクエストには、顔照合サーバ９から取得した利用者の顔画像を含めることができる。

【0156】

なお、顔管理サーバ８では、上述の顔照合サーバ９に対する顔画像抽出のリクエストを省略し、登録装置５から操作情報とともに取得した利用者の顔の撮影画像を顔照合サーバ９に対する顔登録のリクエストに付加してもよい。

【0157】

顔照合サーバ９では、顔管理サーバ８からの顔登録のリクエストを受け取ると、顔登録処理を行う。この顔登録処理では、利用者の顔画像から顔特徴量を生成して、その顔特徴量をデータベースに登録する。このとき、利用者の顔特徴量に関連付けて顔登録ＩＤを付与する。そして、顔登録のレスポンスを顔管理サーバ８に送る。このレスポンスには、顔登録が正常に終了したか否かを表す結果と顔登録ＩＤとが含まれる。なお、顔特徴量のデータベースへの登録の完了に伴い、顔照合サーバ９における利用者の顔画像は削除される。

【0158】

顔管理サーバ８では、顔登録のレスポンスを顔照合サーバ９から受け取り、処理が正常に終了している場合には、利用者に関する登録処理を行う。この登録処理では、登録装置５から取得した利用者の顔画像を顔情報データベースに登録する。また、顔管理サーバ８では、顔照合サーバ９から取得した利用者の登録情報を顔画像と関連付けて顔情報データベースに登録する。また、顔管理サーバ８では、顔照合サーバ９で発行された顔登録ＩＤを利用者の情報として顔情報データベースに登録する。

【0159】

次に、顔認証機１における利用者の顔認証の処理について説明する。図１８は、利用者に関する顔認証の処理の第１の例を示す説明図である。ここでは、顔認証機１と連携する外部装置１６として、利用者の通行を管理するゲート装置（セキュリティゲート）を用いる例を示している。

【0160】

顔認証機１では、カメラ１１の撮影画像から１以上の人物の顔を検知して顔画像を取得すると、各人物に関する顔照合のリクエストを顔照合サーバ９に送信する。この顔照合のリクエストには、要求元の顔認証機１の機器ＩＤと、顔認証の対象者の顔画像（認証用の顔画像）のデータと、顔枠情報と、照合条件とが含まれる。

【0161】

顔照合サーバ９は、その顔照合のリクエストを受信すると、まず、顔特徴量生成部８４によって、顔認証機１から取得した各対象者の顔画像から対象者の顔特徴量を生成する。次に、顔照合サーバ９は、顔特徴量照合部８６において、対象者の顔特徴量と、顔照合データベースに登録された利用者の顔特徴量とを照合する。顔照合処理が終了すると、顔照合サーバ９は、顔照合のレスポンスを要求元の顔認証機１に送信する。この顔照合のレスポンスには、照合結果（成功、失敗）と、照合スコアと、利用者コードとが含まれる。

【0162】

顔特徴量照合部８６では、顔認証の対象者と登録された利用者との間の類似度を表す照合スコアを算出し、この照合スコアが所定の基準値以上となる場合に、顔認証の対象者を登録された利用者本人とみなし、顔照合が成功したことを表す照合結果を生成する。一方、全ての利用者について照合スコアが基準値以上とならない場合には、顔認証の対象者が登録された利用者ではないと判定して、顔照合が失敗したことを表す照合結果を生成する。

【0163】

なお、顔照合サーバ９で行われる顔照合の処理条件（顔照合のパラメータ）を照合のリクエストに付加するようにしてもよい。これにより、顔照合サーバ９で行われる顔照合の処理内容を顔認証機１から指示することができる。例えば、顔照合の処理条件として、照合スコアに関する閾値を指定して、照合スコアが所定の閾値以上となる照合結果をレスポンスに含めるようにする。また、顔照合の処理条件として、照合結果数を指定して、照合スコアが高い方から所定数の照合結果をレスポンスに含めるようにする。

【0164】

また、顔認証機１は、顔照合サーバ９から顔認証の成功を示す顔照合のレスポンスを受信すると、連携するゲート装置に対し、その扉部の開閉制御信号を送信する。つまり、顔認証機１は、顔照合のレスポンスを扉部の開閉制御信号に変換し、これにより、連携するゲート装置の扉部の動作を制御する制御装置（ゲート開閉制御装置）として機能する。これにより、ゲート装置は、駆動部９２によって扉部を開放（すなわち、利用者の通行を許可）する動作を行う。なお、顔認証機１は、制御信号（開閉制御信号）の送信の完了にともない、記憶部１４に記憶した利用者の顔画像を削除する。ここで、顔照合のレスポンスを扉部の開閉制御信号に変換する構成としたが、外部システムとして構築された入退管理システムによってゲート装置の扉部の開閉制御が行われている場合には、その入退管理システムに対して顔認証結果がゲート装置の開閉制御に反映されるように制御信号を送信する。

【0165】

図１９は、利用者に関する顔認証の処理の第２の例を示す説明図である。図２０は、顔認証機１に表示される認証画面（認証時の画面）の一例を示す説明図である。ここでは、顔認証機１と連携する外部装置１６として、ホテルの客室のドアに設けられたロック装置を用いる例を示している。なお、顔認証処理の第２の例に関し、上述の第１の例と同様の事項については詳細な説明を省略する。

【0166】

顔認証機１は、例えば、客室に面した廊下の壁等に設置される。顔認証機１は、人感センサ等によって人の接近を感知（すなわち、利用者を検知）すると、ディスプレイ１２に認証画面の待機画面（初期画面）を表示する（図２０（Ａ）参照）。ここで、ディスプレイ１２に表示される認証画面（通知画面）は、カメラ１１による所定の撮影エリアを撮影したライブ画像（リアルタイムの動画像）を表示する画像表示エリア１５１と、顔認証処理の進行状況を示す情報を表示する情報表示エリア１５２とを含む。

【0167】

その後、顔認証機１は、カメラ１１の撮影画像から１以上の人物の顔を検知して顔画像を取得すると、各人物に関する顔照合のリクエストを顔照合サーバ９に送信する。このとき、情報表示エリア１５２には、利用者の認証が進行中であることを示す文字１５３および図形１５４が表示される（図２０（Ｂ）参照）。なお、情報表示エリア１５２では、文字１５３および図形１５４の一方の表示を省略してもよい。また、ディスプレイを備えていない顔認証機１の場合には、例えば、ＬＥＤランプを用い、認証中はＬＥＤを点滅させ、認証の成功時にＬＥＤを点灯するようにして、顔認証の進行状況を通知するようにしても良い。また、ＬＥＤの表示色で顔認証の進行状況を通知するようにしても良い。また、利用者の顔認証の成否によってＬＥＤの表示色を変更するようにしても良い。

【0168】

顔照合サーバ９は、その顔照合のリクエストを受信すると、上述の第１の例と同様に、顔特徴量を生成し、顔照合処理を実行する。顔照合処理が終了すると、顔照合サーバ９は、顔照合のレスポンスを要求元の顔認証機１に送信する。

【0169】

また、顔認証機１は、顔照合サーバ９から顔認証の成功を示す顔照合のレスポンスを受信すると、認証画面の情報表示エリア１５２に、利用者の認証が完了したことを示す文字１５７および図形１５８を表示する（図２０（Ｃ）参照）。これと同時に、顔認証機１は、連携するドアのロック装置に対し、制御信号（ドアのロックを解除する命令）を送信する。つまり、顔認証機１は、連携するロック装置の動作を制御する制御装置として機能する。これにより、ロック装置は、ロックを解除（すなわち、登録者の入室を許可）する動作を行う。なお、顔認証機１は、制御信号の送信の完了にともない、記憶部１４に記憶した利用者の顔画像を削除する。

【0170】

顔認証機１は、上述のゲート装置やドアのロック装置のように機械的動作をともなうことなく、情報処理のみを行う外部装置と連携させることも可能である。図２１は、利用者に関する顔認証の処理の第３の例を示す説明図である。

【0171】

ここでは、顔認証機１と連携する外部装置１６として、決済装置を用いる例を示している。なお、顔認証の処理の第３の例に関し、上述の第１または第２の例と同様の事項については詳細な説明を省略する。

【0172】

この顔認証の処理の第３の例では、顔認証機１は、顔照合サーバ９から顔認証の成功を示す顔照合のレスポンスを受信すると、連携する決済装置に対し、制御信号を送信する。これにより、決済装置では、該当する登録者が購入した商品や、利用したサービス（例えば、レストランでの食事の提供）に対する利用料金のデータと認証された利用者とを紐付ける決済処理を実行する。その結果、当該利用料金が当該利用者に対する請求金額（例えば、クレジットカードによる請求金額）のデータに加算される。なお、決済装置は、決済処理の結果を顔認証サーバ３に送信する。

【0173】

図２２は、グループ管理サーバ４による登録者に対する情報配信処理の例を示す説明図である。図２３は、個別の利用者に対する情報配信（比較例）とグループ管理サーバ４による情報配信との比較を示す説明図である。

【0174】

グループ管理サーバ４は、管理端末２からの指示を受けると、グループ画像（カメラ１１の撮影画像）を取得し、当該グループに属する各人物の顔照合のリクエストを顔照合サーバ９に送信する。

【0175】

顔照合サーバ９は、その顔照合のリクエストを受信すると、図１９に示した例と同様に、顔特徴量を生成し、顔照合処理を実行する。顔照合処理が終了すると、顔照合サーバ９は、顔照合のレスポンスを顔認証機１に送信する。

【0176】

グループ管理サーバ４は、顔照合のレスポンスに基づき、当該グループに１以上の登録者が含まれている場合、グループリスト情報における対応するグループ構成員をそれぞれ抽出し、そのグループ構成員が登録者であることを示す識別子を付加する。

【0177】

続いて、グループ管理サーバ４は、当該グループのグループ区分に応じてグループ向け情報を生成（または選択）する。これと同時に、グループ管理サーバ４は、顔管理サーバ８に対して、情報配信の可否のリクエストを送信する。このリクエストは、当該グループに属する登録者が情報配信を希望するか否かを問い合わせるものである。

【0178】

顔管理サーバ８は、その情報配信の可否のリクエストを受信すると、対象の登録者について、その登録情報に基づき情報配信を希望するか否かを確認し、その結果を含む情報配信の可否のレスポンスをグループ管理サーバ４に送信する。

【0179】

グループ管理サーバ４は、顔管理サーバ８から受信した情報配信の可否のレスポンスに基づき、情報配信を希望する各登録者の携帯端末１０にのみグループ向け情報を送信する。当該グループに情報配信を希望する複数の登録者が含まれる場合には、グループ管理サーバ４は、予め定められた当該グループに属する登録者の代表の携帯端末１０にのみグループ向け情報を送信してもよい。

【0180】

ここで、例えば図２３に示すように、グループ構成員（１）－（６）の３世代の家族からなるグループに対して飲食店に関する情報を配信する例を示す。グループ構成員（１）－（３）は登録者である。グループ構成員（４）－（６）は、未登録の利用者であるか、または携帯端末１０を有していない（アプリ非活用である）。

【0181】

グループ構成員（１）－（６）に対して個別に飲食店に関する情報を配信する場合（（Ａ）参照）、例えば、グループ構成員（１）（４０代の男性）にはバーカウンタに案内するための情報、グループ構成員（２）（４０代の女性）にはカジュアルフレンチのレストランに案内するための情報、グループ構成員（３）（女子中学生）にはファミリーレストランに案内するための情報がそれぞれ配信される。登録者（４）－（６）には情報配信は行われない。

【0182】

一方、グループ管理サーバ４は、グループ構成員に対してグループ単位で（すなわち、グループ区分に応じて）飲食店に関する情報を配信するため（（Ｂ）参照）、グループ構成員（１）－（３）の携帯端末１０には、高級寿司店で提供されている家族向けの特別コースを案内するための情報が配信される。このように、グループ管理サーバ４は、グループで行動する利用者に、所望の情報をタイムリーに提供することができる。また、情報配信を受けたグループが、その情報を利用する可能性も高まる。

【0183】

図２４は、グループ管理サーバ４によるグループ行動情報の生成処理の例を示す説明図である。

【0184】

グループ管理サーバ４は、管理端末２からの指示を受けると、図２２の場合と同様に、顔照合サーバ９との間で顔照合のリクエストおよび顔照合のレスポンスの送受信を行う。また、グループ管理サーバ４は、顔照合のレスポンスに基づき、当該グループに１以上の登録者が含まれている場合、グループリスト情報において、対応する人物が登録者であることを示す識別子を付加する。

【0185】

続いて、グループ管理サーバ４は、当該グループにおいて観察対象となる（ここでは、位置情報および決済情報の取得を必要とする）登録者を選択する。このとき、グループ管理サーバ４は、各グループ構成員の年齢や性別に基づき、当該グループ内の１以上の登録者を選択することができる。その後、グループ管理サーバ４は、選択した登録者に関する位置情報および決済情報のリクエストを顔照合サーバ９に送信する。

【0186】

顔照合サーバ９は、その位置情報および決済情報のリクエストを受信すると、対象となる登録者の位置情報および決済情報を検索する。続いて、顔照合サーバ９は、その検索結果を位置情報および決済情報のレスポンスとしてグループ管理サーバ４に送信する。

【0187】

グループ管理サーバ４は、位置情報および決済情報のレスポンスを、対象のグループに紐付けられたグループ行動情報として記録する（すなわち、グループ行動情報を生成または更新する）。

【0188】

図２５は、管理端末２においてグループの行動を観察するための画面表示処理の例を示す説明図である。図２６、図２７、図２８、図２９、及び図３０は、それぞれグループ行動の表示画面の例を示す説明図である。

【0189】

管理端末２は、管理者の操作に基づき（あるいは予め設定された所定の周期で）、グループ行動に関する集計データのリクエストをグループ管理サーバ４に送信する。

【0190】

グループ管理サーバ４は、その集計データのリクエストを受信すると、そのリクエストに応じてデータを集計する。グループ管理サーバ４は、その集計結果をグループ行動に関する集計データのレスポンスとして管理端末２に送信する。このとき、グループ管理サーバ４は、新たにデータの集計を行うことなく、記憶部１０２にすでに記憶されているグループ行動情報の一部をグループ行動に関する集計データのレスポンスとして管理端末２に送信してもよい。

【0191】

管理端末２は、そのグループ行動に関する集計データのレスポンスを受信すると、ディスプレイ３２にグループ行動の表示画面を表示する。

【0192】

図２６に示すように、グループ行動の表示画面には、複合施設の利用状況を示すマップ１６１が含まれる。マップ１６１には、複合施設を構成する各施設（図中の施設区分表示欄１６２に含まれる施設Ａ－Ｊを参照）のアイコンと、そのアイコン付近に表示された各施設Ａ－Ｊの利用者の数（滞在数）の分布を示す円グラフ１６３が含まれる。各円グラフ１６３には、各グループ区分（グループ区分表示欄１６４参照）に対応するグループの構成員の人数の割合が示されている。また、円グラフ１６３のサイズは、各施設Ａ－Ｊを利用中の利用者の数の大小に応じて設定される。なお、グループ区分には、単独の利用者（一人）も含まれる。

【0193】

また、グループ行動の表示画面には、グループ別の施設利用状況の表示欄１６５が含まれる。この施設利用状況の表示欄１６５には、グループ区分ごとの各施設Ａ－Ｊの利用者の数の分布を示す棒グラフが含まれる。

【0194】

また、グループ行動の表示画面には、タイムスケール設定欄１６７、居住国設定欄１６８、及び消費額設定欄１６９が含まれる。管理者は、タイムスケール設定欄１６７において、マップ１６１や、施設利用状況の表示欄１６５に表示するデータの時間的範囲を設定することができる。管理者は、カレンダー１７１において所望の日付を設定し、また、スライダ１７２の操作により所望の時刻（または時間帯）を設定することができる。なお、管理者は、時間的範囲（日付及び時刻の少なくとも一方）の設定を解除することも可能である。

【0195】

例えば図２７に示すように、管理者がスライダ１７２を操作することにより時刻を変更すると、その時刻に応じてマップ１６１の円グラフ１６３や、施設利用状況の表示欄１６５の各棒グラフが変化する。これにより、管理者は、所望の日時における複合施設のグループの行動を観察することができる。

【0196】

また、管理者は、居住国設定欄１６８において、観察するグループの構成員の国籍を設定することができる。

【0197】

また、管理者は、消費額設定欄１６９において、観察するグループの消費額の範囲（消費額の下限および上限の少なくとも一方）を設定することができる。例えば、グループの消費額は、登録者であるグループ構成員の決済金額の合計である。

【0198】

例えば図２８に示すように、管理者がスライダ１７３を操作することにより消費額の範囲を変更すると、その消費額の範囲に応じてマップ１６１の円グラフ１６３や、施設利用状況の表示欄１６５の各棒グラフが変化する。これにより、管理者は、複合施設における消費額に応じたグループの行動を観察することができる。

【0199】

管理者は、図２９に示すように、マップ１６１における施設Ａ－Ｊのいずれか（ここでは、施設Ｉ）を押下することにより、その施設におけるグループの消費額の詳細を示すポップアップ画面１７５を表示させることができる。このポップアップ画面には、所定のグループに属する登録者の消費額が表示される。このように、管理者は、各グループにおける消費額の内訳（ここでは、登録者である各グループ構成員の消費額）を把握することができる。

【0200】

また、管理者は、ポップアップ画面１７５における移動表示ボタン１７８を押下することにより、図３０に示すように、当該グループの移動の履歴をマップ１６１に表示することができる。ここでは、マップ１６１内の破線の矢印により、当該グループが、施設Ｂ（ラグジュアリーホテル）から施設Ｅ（遊園地）に移動し、さらに、施設Ｅから施設Ｃ（高級寿司店）に移動したことが示されている。なお、管理者は、移動表示ボタン１７８の操作に限らず、グループ行動の表示画面に別途表示されたグループ一覧から所望のグループを選択することにより、当該グループの移動の履歴をマップ１６１内に表示させることができる。また、グループの移動の履歴の表示は、マップ１６１における表示に限らず、例えば、図１３に示したようなグループが訪問した施設の履歴を示す表であってもよい。

【0201】

図３０では、グループの移動先を選択することで、グループがその移動先での決済金額を確認することができるが、グループによる核施設での決済金額一覧が表示されてもよい。例えば図１４のようにグループの各施設における決済金額の表を表示する。また、決済金額以外にも、そのグループに関連する情報の一覧が表示されるようにしてもよい。このような表示にすることで、そのグループの詳細な情報を分析することができ、グループの行動を容易に把握することができる。

【0202】

図３１は、複数のグループを大グループとして設定するグループ統合処理の例を示す説明図である。

【0203】

グループ管理サーバ４は、管理端末２からの指示を受けると、図２２の場合と同様に、顔照合サーバ９との間で顔照合のリクエストおよび顔照合のレスポンスの送受信を行う。また、グループ管理サーバ４は、顔照合のレスポンスに基づき、当該グループに１以上の登録者が含まれている場合、グループリスト情報において、対応する人物が登録者であることを示す識別子を付加する。

【0204】

続いて、グループ管理サーバ４は、グループリスト情報において、複数のグループから同一の登録者が属する複数のグループを抽出する。その後、グループ管理サーバ４は、それら抽出した複数のグループを大グループとして設定する。

【0205】

図３２は、グループ管理サーバ４による人脈チャート作成処理の例を示す説明図である。図３３は、人脈チャートの例を示す説明図である。

【0206】

グループ管理サーバ４は、管理端末２からの指示を受けると、図２２の場合と同様に、顔照合サーバ９との間で顔照合のリクエストおよび顔照合のレスポンスの送受信を行う。また、グループ管理サーバ４は、顔照合のレスポンスに基づき、当該グループに１以上の登録者が含まれている場合、グループリスト情報において、対応する人物が登録者であることを示す識別子を付加する。

【0207】

次に、グループ管理サーバ４は、対象のグループに含まれる１以上の登録者を抽出する。続いて、グループ管理サーバ４は、その抽出した各登録者に関するＳＮＳ（ソーシャルネットワーキングサービス）情報のリクエストをＳＮＳサーバ１０４に送信する。

【0208】

ＳＮＳサーバ１０４は、そのＳＮＳ情報のリクエストを受信すると、対象となる各登録者と他のＳＮＳユーザとの繋がりを検索する。続いて、ＳＮＳサーバ１０４は、他のＳＮＳユーザとの繋がりの検索結果をＳＮＳ情報のレスポンスとしてグループ管理サーバ４に送信する。

【0209】

グループ管理サーバ４は、ＳＮＳ情報のレスポンスに基づき人脈チャートを作成する。このとき、グループ管理サーバ４は、ＳＮＳユーザである登録者と他のＳＮＳユーザとの繋がりを人脈として認識する。管理者は、例えば図３３に示すように、管理端末２のディスプレイ３２に人脈チャートを表示することができる。図３３では、二点鎖線で囲まれた、グループ画像に対する顔認証結果から同じグループに属すると判定された登録者１８１、１８２及び利用者（非登録者）１８３に関する人脈チャートが示されている。このとき、太線での繋がりは、グループ画像に対する顔認証結果からグループであると判定された繋がりであり、細線がＳＮＳ上での繋がりを示している。

【0210】

また、このグループには、ＳＮＳユーザである利用者（非登録者）１８３も属している。この利用者１８３と登録者１８２とは、グループ画像に対する顔認証結果から同じグループに属すると判定され関係づけられる。また、登録者１８２のＳＮＳに関する人脈の中から利用者（非登録者）１８３を見つけた場合は、利用者（非登録者）１８３にＳＮＳアカウントを紐づけて保存する。これにより、施設管理システムにおいて、撮影画像から同じグループに属すると判定された構成員１８１－１８３の間の関係がより明確となる。また、利用者（非登録者）１８３についての情報についても見つけることができる。

【0211】

また、管理者は、図３３において、登録者１８１、１８２は、共に人物１８５と繋がりがあることを把握できる。また、施設管理システムでは、将来的に人物１８５が複合施設を利用する際には、登録者１８１、１８２に配信した情報と同一または類似の内容の情報を人物１８５に対して配信することができる。

【0212】

また、破線で囲まれた、別のグループ画像に対する顔認証結果から同じグループに属すると判定された登録者１８６及び利用者（非登録者）１８７についての繋がりも、ＳＮＳ情報を活用することで見つけ出すことができる。つまり、顔認証のグルーピングだけでは見つからなかった、グループとグループとの繋がりを見つけることができる。

【0213】

図３４は、管理端末２に表示される登録情報の管理用画面の一例を示す説明図である。

【0214】

管理者は、登録情報を管理する際に、図３４に示す登録者の管理用画面を管理端末２のディスプレイ３２に表示することができる。

【0215】

図３４に示す登録者の管理用画面は、登録者に関する認証用の顔画像および登録情報の登録、参照、更新、削除および検索の操作を管理者が行うためのものである。登録者の管理用画面に入力された情報（画像を含む）には、登録装置５によって取得された情報が含まれる。

【0216】

登録者の管理用画面には、操作選択エリア１９１および利用者情報エリア１９２が含まれる。

【0217】

操作選択エリア１９１において、管理者は、実行する項目（情報の登録、参照、更新、削除、および検索など）を選択することができる。

【0218】

利用者情報エリア１９２には、登録者の顔画像および姓名や、顔認証に使用される情報が含まれる。ここでは、利用者情報エリア１９２には、顔画像表示部２０１、姓名入力部２０２、被認証者（登録者）ＩＤ入力部２０３、識別ＩＤ入力部２０４、付加情報入力部２０７、有効化日入力部２０８、及び無効化日入力部２０９が含まれる。

【0219】

顔画像表示部２０１には、登録者の顔画像が表示される。管理者は、削除ボタン２１１を押下することにより、顔画像表示部２０１の顔画像を削除することが可能である。管理者は、登録装置５によって顔画像を取得できなかった場合に、画像選択ボタン２１２を押下することにより、準備した顔画像（画像ファイル）を表示対象として選択することができる。或いは、管理者は、画像選択ボタン２１２によって選択した顔画像を、登録装置５によって取得された顔画像に代えて顔画像表示部２０１に表示させることもできる。

【0220】

姓名入力部２０２には、利用者の姓名が入力される。被認証者ＩＤ入力部２０３には、登録者ＩＤ（例えば、免許証番号、マイナンバーなど）が入力される。識別ＩＤ入力部２０４では、登録者を識別可能なＩＤ（例えば、利用者の登録順に割り当てられる一連かつ一意の番号）が入力される。付加情報入力部２０７では、付加情報を入力することができる。有効化日入力部２０８には、当該人物の顔照合を有効にすることができる日付が入力される。無効化日入力部２０９には、顔照合を無効にすることができる日付が入力される。これら有効化日および無効化日の設定により、複数の利用者に対するサービスを一斉に開始したり終了したりすることができる。

【0221】

また、本実施形態では、登録者に対する情報配信処理、グループ行動情報の生成処理、複数のグループを大グループとして設定するグループ統合処理及び人脈チャート作成処理について、管理端末２からの指示があった際に処理する旨記載したが、時刻での設定や、グループの変化を検知した際に処理する等、管理端末２からの指示に限らない。

【0222】

本実施形態では、登録者に対する情報配信処理、グループ行動情報の生成処理、複数のグループを大グループとして設定するグループ統合処理及び人脈チャート作成処理について、処理毎にグループ画像を取得し、グループリストへの情報付加を行っていたが、事前にグループリストを作成し、そのグループリストの情報を利用する形でもよい。具体的には、各施設が集まっている複合施設の建物に入るための最初のゲート装置でグループ画像を取得し、グループリストを作成する。その後、複合施設内にある各施設では、グループ画像は取得せず、顔決済等で撮影される個人を撮影した画像を活用して、その個人が所属するグループが同じ行動をしていると仮定してグループの行動履歴を保存する等が考えられる。こうすることで、各施設でグループ画像を撮影するためのカメラを設置する必要がなくなり、一人用のゲート装置や顔決済端末等の情報からグループの行動を追跡することができる。他にも、複合施設内をエリアごとに区切り、そのエリアへの入退の際に通過するゲート装置を活用してグループの行動を追跡してもよい。具体的には、遊園地エリア、レストランエリア、カジノエリアというようなエリアを設けて、エリアの出入口のゲート装置の画像を活用してグループを追跡する。こうすることで、複合施設内のどのエリアでグループが行動したのかを把握することができ、グループの嗜好を分析することができる。

【0223】

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

【産業上の利用可能性】

【0224】

本開示に係る行動観察システム及び行動観察方法は、複合施設の利用者からなるグループの行動を適切に把握できる効果を有し、複数の施設を含む複合施設の利用者からなるグループの行動を観察する行動観察システム及び行動観察方法などとして有用である。

【符号の説明】

【0225】

１ ：顔認証機
２ ：管理端末
３ ：顔認証サーバ
４ ：登録装置
５ ：顔管理サーバ
６ ：顔照合サーバ
１０ ：利用者
１１ ：カメラ（顔画像取得部）
１２ ：ディスプレイ（表示部）
１５ ：制御部（プロセッサ）
１６ ：外部装置
２５ ：認証結果調整部（履歴情報生成部）
４１Ａ ：顔撮影用カメラ（個人情報取得部）
４１Ｂ ：情報取得用カメラ（個人情報取得部）
４２ ：ディスプレイ（表示部）
４５ ：制御部（プロセッサ）
６２ ：利用者管理部
６４ ：機器管理部
９０ ：画像生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】