特許 7168110 情報処理システム、情報処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2022-10-31

(45)【発行日】2022-11-09

(54)【発明の名称】情報処理システム、情報処理方法及びプログラム

(51)【国際特許分類】

   G06Q 50/12 20120101AFI20221101BHJP

   G16Y 10/45 20200101ALI20221101BHJP

【ＦＩ】

G06Q50/12

G16Y10/45

【請求項の数】 11

(21)【出願番号】P 2022010784

(22)【出願日】2022-01-27

【審査請求日】2022-04-22

【早期審査対象出願】

(73)【特許権者】

【識別番号】500175565

【氏名又は名称】株式会社ぐるなび

(74)【代理人】

【識別番号】110003339

【氏名又は名称】特許業務法人南青山国際特許事務所

(72)【発明者】

【氏名】今村 俊一

【審査官】久宗 義明

(56)【参考文献】

【文献】国際公開第２０２２／００３８８８（ＷＯ，Ａ１）

【文献】特開２０１６－１８１１０１（ＪＰ，Ａ）

【文献】特開２０１５－０１１７１２（ＪＰ，Ａ）

【文献】特開２０１４－２３２４９５（ＪＰ，Ａ）

【文献】特開２０１７－１９１４８１（ＪＰ，Ａ）

【文献】特開２０１９－１３３４３７（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１２／０２８７２８１（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００４／０１５０５２０（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２１／００２７１８５（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ１６Ｙ １０／４５

(57)【特許請求の範囲】

【請求項1】

飲食店の入口に設置され来店したユーザの顔をほぼ正面かつ近距離から撮像可能な第１カメラによって撮像された第１撮像画像と、予め記憶された複数のユーザの顔に関する登録データとを基に、前記来店したユーザを特定し、
前記飲食店内に設置され当該飲食店内の複数のテーブルが配置されたフロアを俯瞰して撮像可能な第２カメラによって撮像された第２撮像画像から、前記特定されたユーザの前記登録データを基に、前記特定されたユーザを検出し、当該検出されたユーザが着いたテーブルを前記複数のテーブルの中から特定し、
前記特定されたユーザを識別するユーザ識別情報と前記特定されたテーブルを識別するテーブル識別情報とを対応付けて記憶する、
制御部
を具備する情報処理システム。

【請求項2】

請求項１に記載の情報処理システムであって、
前記制御部は、前記特定されたユーザのユーザ識別情報と、前記特定されたテーブルのＰＯＳデータとを対応付けて記憶する
情報処理システム。

【請求項3】

請求項１または２に記載の情報処理システムであって、
前記制御部は、前記特定されたユーザが特定されてから退店するまでの間、前記第１撮像画像によるユーザの特定対象から前記特定されたユーザを除外する
情報処理システム。

【請求項4】

請求項１乃至３に記載の情報処理システムであって、
前記制御部は、前記第１撮像画像を基に複数のユーザが特定され、前記第２撮像画像と、当該特定された複数のユーザの前記登録データとを基に、当該複数のユーザが着いた前記テーブルをそれぞれ特定する際に、当該複数のユーザのうちいずれかのユーザの着いたテーブルが特定できた場合には、当該ユーザが退店するまでの間、前記第２撮像画像によるテーブルの特定処理の対象から当該ユーザを除外する
情報処理システム。

【請求項5】

請求項３または４に記載の情報処理システムであって、
前記制御部は、前記飲食店の出口に設置され退店するユーザの顔をほぼ正面から撮像可能な第３カメラによって撮像された第３撮像画像を基に前記特定されたユーザが退店したか否かを判定する
情報処理システム。

【請求項6】

請求項３または４に記載の情報処理システムであって、
前記制御部は、前記特定されたユーザと対応付けられたテーブルのＰＯＳデータを基に前記特定されたユーザが退店したか否かを判定する
情報処理システム。

【請求項7】

請求項１乃至６のいずれかに記載の情報処理システムであって、
前記第１カメラの撮像範囲と前記第２カメラの撮像範囲は重複しない
情報処理システム。

【請求項8】

請求項１乃至７のいずれかに記載の情報処理システムであって、
前記制御部は、前記第２撮像画像と、前記特定されたユーザの前記登録データとを照合するとともに、前記第１撮像画像に含まれる前記ユーザの顔以外の画像と、前記第２撮像画像に含まれる前記ユーザの顔以外の画像と照合することで、前記特定されたユーザが着いたテーブルを特定する
情報処理システム。

【請求項9】

請求項１乃至８のいずれかに記載の情報処理システムであって、
前記制御部は、前記入口から前記テーブルの間の領域を撮像可能な第２カメラの第２撮像画像から前記特定されたユーザを検出し前記特定されたユーザが着いたテーブルを特定する
情報処理システム。

【請求項10】

飲食店の入口に設置され来店したユーザの顔をほぼ正面かつ近距離から撮像可能な第１カメラによって撮像された第１撮像画像と、予め記憶された複数のユーザの顔に関する登録データとを基に、前記来店したユーザを特定し、
前記飲食店内に設置され当該飲食店内の複数のテーブルが配置されたフロアを俯瞰して撮像可能な第２カメラによって撮像された第２撮像画像から、前記特定されたユーザの前記登録データを基に、前記特定されたユーザを検出し、当該検出されたユーザが着いたテーブルを前記複数のテーブルの中から特定し、
前記特定されたユーザを識別するユーザ識別情報と前記特定されたテーブルを識別するテーブル識別情報とを対応付けて記憶する
情報処理方法。

【請求項11】

情報処理装置に、
飲食店の入口に設置され来店したユーザの顔をほぼ正面かつ近距離から撮像可能な第１カメラによって撮像された第１撮像画像と、予め記憶された複数のユーザの顔に関する登録データとを基に、前記来店したユーザを特定するステップと、
前記飲食店内に設置され当該飲食店内の複数のテーブルが配置されたフロアを俯瞰して撮像可能な第２カメラによって撮像された第２撮像画像から、前記特定されたユーザの前記登録データを基に、前記特定されたユーザを検出し、当該検出されたユーザが着いたテーブルを前記複数のテーブルの中から特定するステップと、
前記特定されたユーザを識別するユーザ識別情報と前記特定されたテーブルを識別するテーブル識別情報とを対応付けて記憶するステップと
を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、飲食店に来店したユーザの認証処理を実行可能な情報処理システム、情報処理方法及びプログラムに関する。

【背景技術】

【0002】

従来から、店舗内の混雑状況をカメラ等のセンサを用いて認識する技術が知られている。例えば下記特許文献１には、店舗内の床に目印を予め配置し、店舗内の床をＣＣＤカメラで撮影し、撮影した画像中の床の画像部分において認識される目印の数をカウントし、カウントした目印の数を用いて店舗内の混雑度を算出することが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第５３５４６９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記のような従来技術において店内に設置されているカメラは、店内を俯瞰して撮影するように設置されている場合が多いため、来店ユーザやその他の物体の存在自体は判別できるものの、それぞれのテーブルを利用するユーザを特定するには精度が足りない場合が多い。

【0005】

以上のような事情に鑑み、本発明の目的は、飲食店に来店したユーザと当該ユーザが利用したテーブルとを紐付けることが可能な情報処理システム、情報処理方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0006】

上述の課題を解決するため、本発明の一形態に係る情報処理システムは、制御部を有する。当該制御部は、飲食店の入口に設置され来店したユーザの顔をほぼ正面から撮像可能な第１カメラによって撮像された第１撮像画像と、予め記憶された複数のユーザの顔に関する登録データとを基に、上記来店したユーザを特定する。また制御部は、上記飲食店内に設置され当該飲食店内のテーブルが配置されたフロアを撮像可能な第２カメラによって撮像された第２撮像画像と、上記特定されたユーザの上記登録データとを基に、上記特定されたユーザが着いたテーブルを特定する。そして制御部は、上記特定されたユーザを識別するユーザ識別情報と上記特定されたテーブルを識別するテーブル識別情報とを対応付けて記憶する。

【0007】

これにより情報処理システムは、認証精度の高い入口のカメラの撮像画像で来店ユーザを特定し、その特定情報を店内のカメラに引き継ぐことで、認証精度の比較的低い店内のカメラの撮像画像からでも当該ユーザを検出し当該ユーザと当該ユーザが利用したテーブルとを紐付けることができる。当該情報処理システムは１または複数の情報処理装置から構成される。

【0008】

上記制御部は、上記特定されたユーザのユーザ識別情報と、上記特定されたテーブルのＰＯＳデータとを対応付けて記憶してもよい。

【0009】

これにより情報処理システムは、どのユーザが来店してどのようなメニューを注文したか、どのくらいの金額を使ったかといったユーザの属性情報を収集することができる。

【0010】

上記制御部は、上記特定されたユーザが特定されてから退店するまでの間、上記第１撮像画像によるユーザの特定対象または上記第２撮像画像によるユーザの特定対象から上記特定されたユーザを除外してもよい。

【0011】

これにより情報処理システムは、一度特定されたユーザについてはそのユーザが退店するまでは入口のカメラによる特定処理から除外することで無駄な処理を省き負荷を軽減することができる。

【0012】

上記制御部は、上記第１撮像画像を基に複数のユーザが特定され、上記第２撮像画像と、当該特定された複数のユーザの上記登録データとを基に、当該複数のユーザが着いた上記テーブルをそれぞれ特定する際に、当該複数のユーザのうちいずれかのユーザの着いたテーブルが特定できた場合には、当該ユーザが退店するまでの間、上記第２撮像画像によるテーブルの特定処理の対象から当該ユーザを除外してもよい。

【0013】

これにより情報処理システムは、第１撮像画像で特定されたユーザに関する第２撮像画像によるテーブル特定処理が複数ユーザ分蓄積されている場合でも、第２撮像画像からそれらの複数のユーザのうちいずれかのユーザが検出された場合にはそのユーザの登録データについてはその後の特定処理の照合対象から除外することで、無駄な処理を省き負荷を軽減することができる。

【0014】

具体的には上記制御部は、上記飲食店の出口に設置され退店するユーザの顔をほぼ正面から撮像可能な第３カメラによって撮像された第３撮像画像を基に上記特定されたユーザが退店したか否かを判定してもよい。

【0015】

またこれに代えて上記制御部は、上記特定されたユーザと対応付けられたテーブルのＰＯＳデータを基に上記特定されたユーザが退店したか否かを判定してもよい。

【0016】

上記第１カメラの撮像範囲と前記第２カメラの撮像範囲は重複しなくてもよい。

【0017】

これにより情報処理システムは、第１カメラと第２カメラの撮像範囲は重複していなくても、第１撮像画像と第２撮像画像を基にした認証情報を紐付けることでユーザが利用したテーブルを特定することができる。

【0018】

上記第１カメラは、上記ユーザの顔を近距離から撮像し、上記第２カメラは、上記飲食店内を俯瞰して撮像するものであってもよい。

【0019】

これにより、第１カメラと第２カメラが同一の性能を備えるカメラであっても、ユーザの顔認証の精度が異なることになる。したがって第１カメラの撮像画像は第２カメラによる撮像画像を基にした顔認証処理を補助する機能を果たす。

【0020】

上記制御部は、上記第２撮像画像と、上記特定されたユーザの上記登録データとを照合するとともに、上記第１撮像画像に含まれる上記ユーザの顔以外の画像と、上記第２撮像画像に含まれる上記ユーザの顔以外の画像と照合することで、上記特定されたユーザが着いたテーブルを特定してもよい。

【0021】

これにより情報処理システムは、店内のカメラの撮像画像からユーザの顔を検出できない場合でも、ユーザの体の顔以外の部分（髪型等）やユーザの衣服、持ち物（バッグ等）からユーザを検出することが可能となる。

【0022】

上記制御部は、上記複数の第２カメラのうち、上記入口から上記テーブルの間の領域を撮像可能な第２カメラの第２撮像画像から上記特定されたユーザを検出し上記特定されたユーザが着いたテーブルを特定してもよい。

【0023】

これにより情報処理システムは、複数の店内カメラのうち特定されたユーザが検出される可能性の高いカメラに使用を限定することで、無駄な処理を省き負荷を軽減することができる。

【0024】

本発明の他の形態に係る情報処理方法は、
飲食店の入口に設置され来店したユーザの顔をほぼ正面から撮像可能な第１カメラによって撮像された第１撮像画像と、予め記憶された複数のユーザの顔に関する登録データとを基に、上記来店したユーザを特定し、
上記飲食店内に設置され当該飲食店内のテーブルが配置されたフロアを撮像可能な第２カメラによって撮像された第２撮像画像と、上記特定されたユーザの上記登録データとを基に、上記特定されたユーザが着いたテーブルを特定し、
上記特定されたユーザを識別するユーザ識別情報と上記特定されたテーブルを識別するテーブル識別情報とを対応付けて記憶する、ことを含む。

【0025】

本発明の他の形態に係るプログラムは、情報処理装置に、
飲食店の入口に設置され来店したユーザの顔をほぼ正面から撮像可能な第１カメラによって撮像された第１撮像画像と、予め記憶された複数のユーザの顔に関する登録データとを基に、上記来店したユーザを特定するステップと、
上記飲食店内に設置され当該飲食店内のテーブルが配置されたフロアを撮像可能な第２カメラによって撮像された第２撮像画像と、上記特定されたユーザの上記登録データとを基に、上記特定されたユーザが着いたテーブルを特定するステップと、
上記特定されたユーザを識別するユーザ識別情報と上記特定されたテーブルを識別するテーブル識別情報とを対応付けて記憶するステップと、を実行させる。

【発明の効果】

【0026】

以上説明したように、本発明によれば、飲食店に来店した客と当該客が利用したテーブルとを紐付けることができる。しかし、当該効果は本発明を限定するものではない。

【図面の簡単な説明】

【0027】

【図1】本発明の一実施形態に係る飲食店情報提供システムの構成を示した図である。

【図2】本発明の一実施形態に係る飲食店情報提供サーバのハードウェア構成を示した図である。

【図3】本発明の一実施形態に係る飲食店情報提供サーバが有するデータベースの構成を示した図である。

【図4】本発明の一実施形態に係る飲食店情報提供サーバによる、ユーザ・テーブル紐付け処理の流れを示したフローチャートである。

【発明を実施するための形態】

【0028】

以下、図面を参照しながら、本発明の実施形態を説明する。

【0029】

［システムの構成］
図１は、本実施形態に係る飲食店情報提供システムの構成を示した図である。

【0030】

同図に示すように、このシステムは、インターネット５０上の飲食店情報提供サーバ１００と、複数のユーザ端末２００と、飲食店端末３００とを含む。

【0031】

飲食店情報提供サーバ１００は、飲食店に関する情報を掲載したポータルサイト（飲食店情報提供サイト）を運営するウェブサーバである。飲食店情報提供サーバ１００は、複数のユーザ端末２００、飲食店の飲食店端末３００及びデジタルサイネージ端末４００とインターネット５０を介して接続されている。

【0032】

飲食店情報提供サーバ１００は、上記ポータルサイトにおいて、ユーザ端末２００のユーザ向けに飲食店情報提供システムを提供する。具体的には、飲食店情報提供サーバ１００は、ユーザ端末２００からの検索要求に基づいて検索条件に合致する飲食店情報を検索し、検索結果を掲載したウェブページを生成してユーザ端末２００へ送信する。また飲食店情報提供サーバ１００は、当該飲食店情報を閲覧したユーザのユーザ端末２００からの、いずれかの飲食店に対する予約受付処理を代行する。

【0033】

ユーザ端末２００（２００Ａ，２００Ｂ，２００Ｃ...）は、ユーザにより使用される端末であり、例えばスマートフォン、携帯電話、タブレットＰＣ（Personal Computer）、ノートブックＰＣ、デスクトップＰＣ等である。ユーザ端末２００は、飲食店情報提供サーバ１００へアクセスし、上記ウェブページを受信してブラウザ等により画面に表示する。

【0034】

ユーザ端末２００は、ユーザの操作に基づいて飲食店の検索条件を決定し、当該検索条件に基づく飲食店検索要求を飲食店情報提供サーバ１００へ送信する。そしてユーザ端末２００は、ユーザの操作に基づいて、上記検索結果として表示されたいずれかの飲食店に対する予約要求を飲食店情報提供サーバ１００へ送信可能である。

【0035】

また一方で飲食店情報提供サーバ１００は、上記ポータルサイトに掲載される飲食店（加盟店）向けに、飲食店情報の管理画面（ウェブページ）を提供している。飲食店端末３００のユーザは、当該管理画面を介して、上記検索結果として一般ユーザに提供されるウェブページ上の飲食店情報（コンテンツ）を編集・更新し、当該ウェブページを上記ポータルサイト上にアップロードすることができる。

【0036】

飲食店端末３００は、各飲食店に設置されている端末であり、タブレットＰＣ、ノートブックＰＣ、デスクトップＰＣ等である。飲食店端末３００は、管理者の操作に基づいて、上記飲食店情報の編集・更新等、自身の飲食店情報に関する処理を飲食店情報提供サーバ１００との通信により実行することが可能である。同図では１つの飲食店及び１つの飲食店端末３００のみが示されているが、飲食店は複数存在し、各飲食店に飲食店端末３００が存在する。

【0037】

また同図に示すように、飲食店の入口には入口カメラ（第１カメラ）Ｃｄが設置され、飲食店内には店内カメラ（第２カメラ）Ｃｉが設置されている。入口カメラＣｄは、飲食店の入口に設置され、来店したユーザの顔をほぼ正面から撮像可能である。店内カメラＣｉは、飲食店内に１台または複数設置され、当該飲食店内のテーブルＴが配置されたフロアを広角で撮像可能である。店内カメラＣｉは、飲食店内の天井や壁の上部に設置されることで、飲食店内を俯瞰するように複数のテーブルＴをまとめて撮像する。本実施形態では、店内カメラＣｉの撮像画像に入口カメラＣｄの撮像する範囲が含まれていることを想定する。しかし、本発明では、入口カメラＣｄおよび店内カメラＣｉの撮像画像がそれぞれ重なり合っていなくてもよい。各テーブルＴの例えば上面端部には、それらの識別用の番号その他の文字や記号が例えばパネルや刻印により付加されていてもよい。入口カメラＣｄは、ユーザの顔を近距離から撮像し、店内カメラＣｉは、ユーザの顔を遠距離から撮像するため、同一の性能を備えるカメラであっても、ユーザの顔認証の精度が異なる。

【0038】

入口カメラＣｄ及び店内カメラＣｉの撮像画像は、例えば店内に設置された無線中継端末Ｗを介して飲食店端末３００へ送信され、当該飲食店端末３００から飲食店情報提供サーバ１００に送信される。または、当該撮像画像は飲食店端末３００を介さずに飲食店情報提供サーバ１００へ送信されてもよい。

【0039】

同図では飲食店は１つのみ示されているが、飲食店は複数存在しそれぞれに飲食店端末３００、入口カメラＣｄ及び店内カメラＣｉが設けられていてもよい。

【0040】

飲食店情報提供サーバ１００は、入口カメラＣｄの撮像画像（第１撮像画像）を受信すると、それを予め記憶された複数のユーザの顔に関する登録データ（特徴データ）と照合することで、飲食店に来店したユーザを特定する。さらに飲食店情報提供サーバ１００は、店内カメラＣｉの撮像画像（第２撮像画像）を受信すると、当該撮像画像と上記特定されたユーザの登録データとを照合することで、当該ユーザが着いたテーブルＴを特定する。そして飲食店情報提供サーバ１００は、特定されたユーザを識別するユーザ識別情報（ユーザＩＤ）と、特定されたテーブルＴを識別するテーブル識別情報（テーブルＩＤ）とを対応付けて記憶する。さらに飲食店情報提供サーバ１００は、上記特定されたユーザのユーザ識別情報と、上記特定されたテーブルＴのＰＯＳデータとを対応付けて記憶する。当該ユーザ・テーブル紐付け処理の詳細については後述する。

【0041】

［飲食店情報提供サーバのハードウェア構成］
図２は、上記飲食店情報提供サーバ１００のハードウェア構成を示した図である。同図に示すように、飲食店情報提供サーバ１００は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、入出力インタフェース１５、及び、これらを互いに接続するバス１４を備える。

【0042】

ＣＰＵ１１は、必要に応じてＲＡＭ１３等に適宜アクセスし、各種演算処理を行いながら飲食店情報提供サーバ１００の各ブロック全体を統括的に制御する。ＲＯＭ１２は、ＣＰＵ１１に実行させるＯＳ、プログラムや各種パラメータ等のファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ１３は、ＣＰＵ１１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。

【0043】

入出力インタフェース１５には、表示部１６、操作受付部１７、記憶部１８、通信部１９等が接続される。

【0044】

表示部１６は、例えばＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic ElectroLuminescence Display）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。

【0045】

操作受付部１７は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の入力装置である。操作受付部１７がタッチパネルである場合、そのタッチパネルは表示部１６と一体となり得る。

【0046】

記憶部１８は、例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリ（ＳＳＤ；Solid State Drive）、その他の固体メモリ等の不揮発性メモリである。当該記憶部１８には、上記ＯＳや各種アプリケーション、各種データが記憶される。

【0047】

後述するが、特に本実施形態において、記憶部１８は、後述する飲食店の混雑状況及び予約状況に基づくユーザ・テーブル紐付け処理に必要なアプリケーション等のプログラムの他、飲食店情報データベース、ユーザ情報データベース、及び来店履歴情報データベースを有している。

【0048】

通信部１９は、例えばEthernet用のＮＩＣ（Network Interface Card）や無線ＬＡＮ等の無線通信用の各種モジュールであり、上記ユーザ端末２００、飲食店端末３００及びデジタルサイネージ端末４００との間の通信処理を担う。

【0049】

なお、図示しないが、ユーザ端末２００及び飲食店端末３００の基本的なハードウェア構成も上記飲食店情報提供サーバ１００のハードウェア構成と略同様である。

【0050】

［飲食店情報提供サーバのデータベース構成］
図３は、上記飲食店情報提供サーバ１００が有するデータベースの構成を示した図である。

【0051】

同図に示すように、飲食店情報提供サーバ１００は、記憶部１８に、飲食店情報データベース３１、ユーザ情報データベース３２、来店履歴情報データベース３３を有している。

【0052】

飲食店情報データベース３１は、飲食店毎に、その飲食店の店名、所在位置（住所または緯度経度）情報、エリア情報、アクセス情報（最寄り駅情報、最寄り駅からの徒歩距離情報）電話番号、その飲食店を識別するＩＤ（店舗ＩＤ）、その飲食店の業態・サービスのカテゴリ情報、その飲食店を紹介する情報（店舗のＰＲ文等の店舗の特徴を示す情報、飲食店が行うイベント情報等）、飲食店に関する（飲食店を紹介する）画像データ、飲食店が提供するメニューに関するメニュー情報、平均予算情報、営業時間、ウェブサイトＵＲＬ等の情報等を記憶している。これらの情報は、各飲食店の飲食店端末３００から、飲食店情報提供サーバ１００が提供する管理画面を介して入力されたものである。また飲食店情報データベース３１には、各飲食店における予約台帳情報が記憶されている。

【0053】

上記メニュー情報は、上記ポータルサイト上の各飲食店のサイトに掲載されるメニューに対応する情報であり、各飲食店が提供可能な複数のメニューのメニュー名を、飲食店毎に記憶している。当該メニュー情報は、例えば前菜／メイン、ランチ／ディナー／コース等のメニューカテゴリ毎に記憶されてもよい。またメニュー情報としては、メニュー名や値段、説明等を示す文字情報の他、当該メニューを撮影した写真等の画像情報も対応付けて記憶される。

【0054】

上記エリア情報としては、広さ単位の異なる複数のエリアに関する情報が含まれる。広いエリアとしては例えば都道府県や市区町村、狭いエリアとしては例えば駅から数百ｍ以内（例えば、「銀座エリア」）、それらの間の広さのエリアとして、例えば駅から１ｋｍ以内のエリアや、複数の駅周辺エリアがまとまったエリア（例えば、「銀座・新橋・有楽町エリア」）等が挙げられるが、これらに限られない。これにより、同じ飲食店でも、その広さによって複数のエリアに紐付けられていることになる。

【0055】

また、当該エリア（例えば複数のエリアのうち最も狭いエリア）には、当該エリアに設置される上記デジタルサイネージ端末４００に関する情報（端末ＩＤ等）が対応付けられており、当該エリアを介してデジタルサイネージ端末４００と各飲食店は対応付けられることになる。しかし、エリア情報とは別に、デジタルサイネージ端末４００の端末ＩＤと飲食店の店舗ＩＤが直接対応付けられてもよい。

【0056】

上記カテゴリ情報は、例えば和食、中華、イタリアン、フレンチ、焼肉等のメインカテゴリの他、和食における焼き鳥・天ぷら等、イタリアンにおけるパスタ・ピザ等のより詳細なサブカテゴリを含んでいてもよい。

【0057】

上記予約台帳情報は、上記飲食店情報提供サイトを介してユーザ端末２００から（または電話にて）受け付けた予約情報であり、例えば、各飲食店について、予約日時、予約ユーザ名、予約人数、予約テーブル、予約コース等の情報を有している。当該予約台帳情報としては、これから来客するユーザの予約情報のみならず、過去の予約実績情報も少なくとも数カ月分程度は記憶されている。当該予約台帳情報には上記飲食店端末３００からもアクセス可能である。

【0058】

ユーザ情報データベース３２は、ユーザ端末２００を所有する、上記飲食店情報提供サーバ１００が提供する上記ポータルサイトを介した飲食店情報サービスの利用者（会員）であるユーザに関する情報を記憶する。具体的には、ユーザ情報データベース３２は、ユーザＩＤ、パスワード、氏名、メールアドレス（その他のメッセージの宛先となる情報）、電話番号、住所、年齢（層）、性別、誕生日等の情報をユーザ毎に記憶している。

【0059】

さらにユーザ情報データベース３２は、ユーザから入手できたもの（ユーザから提供があったもの）について、各ユーザの顔画像データ及び当該顔画像データを分析して得られた、顔認証用の特徴データ（登録データ）を記憶している。これに加えて、マスクを装着した状態の顔画像データやユーザの髪型に関するデータが記憶されていてもよい。

【0060】

来店履歴情報データベース３３は、飲食店に来店し上記入口カメラＣｄの撮像画像及び店内カメラＣｉの撮像画像を基に特定されたユーザ及び当該ユーザが着いたテーブルＴにおける注文情報（ＰＯＳデータ）に関する来店履歴情報を記憶している。具体的には、来店履歴情報データベース３３は、飲食店ごとに、来店日時（時間帯）、ユーザＩＤ、テーブルＩＤ、ＰＯＳデータ（例えば利用金額、注文メニュー、特典利用状況に関する情報等）、滞在時間、来店頻度等のデータを対応付けて記憶している。

【0061】

これら各データベースは、後述する飲食店情報提供サーバ１００によるユーザ・テーブル紐付け処理において、必要に応じて相互に参照されて用いられる。

【0062】

［飲食店情報提供サーバの動作］
次に、以上のように構成された飲食店情報提供サーバ１００の動作について説明する。当該動作は、飲食店情報提供サーバ１００のＣＰＵ１１及び通信部１９等のハードウェアと、記憶部１８に記憶されたソフトウェアとの協働により実行される。以下の説明では、便宜上、ＣＰＵ１１を動作主体とする。

【0063】

図４は、飲食店情報提供サーバ１００による、ユーザ・テーブル紐付け処理の流れを示したフローチャートである。

【0064】

同図に示すように、飲食店情報提供サーバ１００のＣＰＵ１１は、まず、入口カメラＣｄからその撮像画像を受信する（ステップ４１）。

【0065】

続いてＣＰＵ１１は、当該入口カメラＣｄの撮像画像中から人物の顔を検出したか否かを判断する（ステップ４２）。

【0066】

撮像画像中から顔を検出していないと判断した場合（ステップ４２のＮｏ）、ＣＰＵ１１は、上記ステップ４１に戻り入口カメラＣｄから新たな撮像画像を受信する。

【0067】

撮像画像中から顔を検出したと判断した場合（ステップ４２のＹｅｓ）、ＣＰＵ１１は、撮像画像中の顔の領域を、上記ユーザ情報データベース３２に登録されている登録データ（各ユーザの顔画像の特徴データ）と照合する（ステップ４３）。

【0068】

続いてＣＰＵ１１は、上記照合により上記撮像画像中のユーザを特定できたか否かを判断する（ステップ４４）。

【0069】

上記撮像画像中のユーザを特定できなかったと判断した場合（ステップ４４のＮｏ）、ＣＰＵ１１は、当該ユーザ・テーブル紐付け処理を終了する。この場合ＣＰＵ１１は、顔画像が登録されていないユーザが来店したことを記録してもよい。

【0070】

上記撮像画像中のユーザを特定できたと判断した場合（ステップ４４のＹｅｓ）、ＣＰＵ１１は、特定したユーザのユーザＩＤを上記来店履歴情報データベース３３に記憶するとともに、上記入口カメラＣｄの撮像画像による認証対象から、当該ユーザＩＤのユーザを除外する（ステップ４５）。すなわちＣＰＵ１１は、これ以降の入口カメラＣｄの撮像画像と複数のユーザの顔画像に関する登録データとを照合する際に、登録データから上記特定済みのユーザの登録データを除外する。これにより特定済みのユーザの顔画像を照合する無駄な処理が省略され負荷が軽減される。

【0071】

続いてＣＰＵ１１は、上記複数の店内カメラＣｉからそれらの撮像画像を受信する（ステップ４６）。

【0072】

続いてＣＰＵ１１は、店内カメラＣｉの撮像画像中の顔領域を、上記特定したユーザの登録データと照合する（ステップ４７）。

【0073】

続いてＣＰＵ１１は、上記照合により上記特定したユーザが店内カメラＣｉの撮像画像中から検出できたか否かを判断する（ステップ４８）。

【0074】

店内カメラＣｉの撮像画像中から、特定したユーザを検出できなかったと判断した場合（ステップ４８のＮｏ）、ＣＰＵ１１は、上記ステップ４６に戻り店内カメラＣｉから新たな撮像画像を受信する。

【0075】

店内カメラＣｉの撮像画像中から、特定したユーザを検出できたと判断した場合（ステップ４８のＹｅｓ）、ＣＰＵ１１は、当該ユーザが着いている（または着こうとしている）テーブルＴを特定する（ステップ４９）。具体的にはＣＰＵ１１は、各テーブルＴに付された、各テーブルを識別する番号や文字のうち、検出されたユーザが着いている（または着こうとしている）テーブルＴの番号や文字を撮像画像中から認識することで当該テーブルＴを特定する。あるいはＣＰＵ１１は、予め各店内カメラＣｉの画角に収まるテーブルＴの撮像画像中の位置に応じて撮像画像中の各テーブルＴを特定する情報を記憶しておき、撮像画像中のユーザが検出された位置を基にテーブルＴを特定してもよい。

【0076】

当該テーブルＴの特定処理に際しては、ユーザが出入口から最終的に着くテーブルＴまでの途中に存在するテーブルＴの近傍を単に通り過ぎた場合に誤ってその通過したテーブルＴがユーザが着いたテーブルＴと特定されてしまうのを防ぐために、ＣＰＵ１１は、検出されたユーザが所定時間（例えば５秒、１０秒等）以上同一の場所に留まっていることをテーブルＴの特定処理の条件としてもよい。

【0077】

続いてＣＰＵ１１は、上記特定したユーザのユーザＩＤと特定したテーブルＴのテーブルＩＤ、及びそのテーブルＴのＰＯＳデータを対応付けて上記来店履歴情報データベース３３に記憶する（ステップ５０）。ＣＰＵ１１は、当該記憶処理を、ユーザから当該テーブルＴで最初の注文がなされたことをトリガに開始してもよい。ＰＯＳデータはユーザから注文があるたびに更新される。ここで、ユーザＩＤ及びテーブルＩＤとＰＯＳデータとの紐付け処理は必須ではなく省略されてもよい。すなわちＣＰＵ１１は、少なくとも特定したユーザのユーザＩＤと当該ユーザが着いたテーブルＴのテーブルＩＤとの紐付け処理を実行すればよい。

【0078】

続いてＣＰＵ１１は、上記特定したユーザが退店したか否かを判定する（ステップ５１）。具体的にはＣＰＵ１１は、飲食店の出口に設置され退店するユーザの顔をほぼ正面から撮像可能な出口カメラ（第３カメラ；図示せず）によって撮像された撮像画像（第３撮像画像）において上記ユーザが検出された場合に、当該ユーザが退店したと判定してもよい。また当該出口カメラは上記入口カメラＣｄと兼用であってもよい。またこれに代えてＣＰＵ１１は、上記特定されたユーザと対応付けられたテーブルＴのＰＯＳデータにおいて会計が完了していると判定した場合に上記ユーザが退店したと判定してもよい。

【0079】

上記ユーザが退店したと判定した場合（ステップ５１のＹｅｓ）、ＣＰＵ１１は、当該退店したユーザを上記入口カメラＣｄの撮像画像による認証対象に再び含める（ステップ５２）。すなわちＣＰＵ１１は、これ以降の入口カメラＣｄの撮像画像と複数のユーザの顔画像に関する登録データとを照合する際に、登録データに上記退店したユーザの登録データを加える。ユーザが退店していないと判定した場合（ステップ５１のＮｏ）、退店したか否かの判定を繰り返す。

【0080】

ＣＰＵ１１は、以上の処理を、入口カメラＣｄの撮像画像から（新たな）顔を検出するたびに繰り返す。

【0081】

［まとめ］
以上説明したように、本実施形態によれば、飲食店情報提供サーバ１００は、認証精度の高い入口カメラＣｄの撮像画像を基に来店ユーザを特定し、その特定情報を店内カメラＣｉに引き継ぐことで、設置位置等の関係で単独でユーザを特定するには認証精度の低い店内のカメラＣｉの撮像画像からでも当該ユーザを検出し、当該ユーザが利用したテーブルＴを特定して両者を紐付けることができる。また、本実施形態によれば、飲食店情報提供サーバ１００は、入口カメラＣｄおよび店内カメラＣｉの撮像画像がそれぞれ重なり合っていなくても、それぞれのカメラの認証情報を紐付けることでユーザが利用したテーブルＴを特定することができる。これにより、当該テーブルＴに対応するＰＯＳデータとユーザとを紐付けることが可能となり、飲食店は、どのユーザが来店してどのようなメニューを注文したか、どのくらいの金額を使ったかといったユーザの属性情報を収集し、それを基に販売促進活動や商品／システム開発等を行うことができる。

【0082】

［変形例］
本発明は上述の実施形態にのみ限定されるものではなく、本開示の要旨を逸脱しない範囲内において種々変更され得る。

【0083】

上述の実施形態において、飲食店情報提供サーバ１００は、ユーザが特定されてから退店するまでの間、入口カメラＣｄの撮像画像によるユーザの特定対象から上記特定されたユーザを除外していた。これに加えて、または代えて、飲食店情報提供サーバ１００は、上記特定されたユーザが退店してから、当該ユーザの来店日における飲食店の営業終了までの間、入口カメラＣｄの撮像画像によるユーザの特定対象から上記特定されたユーザを除外してもよい。これにより飲食店情報提供サーバ１００は、一度来店したユーザは通常は退店後再び当日中に来店することは無いため、当該ユーザについてはその日の営業終了までの間は入口カメラＣｄによる特定処理から除外することで、無駄な処理を省き負荷を軽減することができる。

【0084】

さらに上述の実施形態において飲食店情報提供サーバ１００は、上記特定されたユーザが特定されてから退店するまでの間、当該ユーザが来店した飲食店以外の飲食店における入口カメラＣｄの撮像画像によるユーザの特定対象から、上記特定されたユーザを除外してもよい。これにより飲食店情報提供サーバ１００は、ある店に来店したユーザが同時刻に別の店に来店することは無いため、当該ユーザについてはユーザについてはそのユーザが退店するまでは別の店における入口カメラＣｄによる特定処理から除外することで、無駄な処理を省き負荷を軽減することができる。

【0085】

上述の実施形態において、飲食店情報提供サーバ１００は、店内カメラＣｉの撮像画像と、上記入口カメラＣｄの撮像画像から特定されたユーザの顔画像の登録データとを照合することで当該ユーザが着いたテーブルＴを特定していた。しかし、店内カメラＣｉの撮像画像に写るユーザの角度等によっては、ユーザの顔が検出できない場合もあり得る。そこで飲食店情報提供サーバ１００は、店内カメラＣｉの撮像画像とユーザの顔画像の登録データとを照合するのに加えて、入口カメラＣｄの撮像画像に含まれるユーザの顔以外の画像と、店内カメラＣｉの撮像画像に含まれるユーザの顔以外の画像とを照合することで、上記特定されたユーザが着いたテーブルＴを特定してもよい。これにより飲食店情報提供サーバ１００は、店内カメラＣｉの撮像画像からユーザの顔を検出できない場合でも、ユーザの体の顔以外の部分（髪型等）やユーザの衣服、持ち物（バッグ等）、身長等からユーザを検出することが可能となる。

【0086】

上述の実施形態において、飲食店情報提供サーバ１００は、複数の店内カメラＣｉのうち、飲食店の入口からテーブルＴの間の領域（通路等）を撮像可能な店内カメラの撮像画像から上記特定されたユーザを検出し、さらに当該ユーザがテーブルＴに着いたことを検出することで、当該ユーザが着いたテーブルＴを特定してもよい。より具体的には、飲食店情報提供サーバ１００は、入口カメラＣｄの撮像画像からユーザが特定された直後は、ユーザは入口から店内のテーブルＴが設けられたフロアに向かっていると考えられるため、少なくともユーザの特定から所定期間（例えば３０秒等）は、店内におけるユーザの検出に用いる店内カメラＣｉを入口からテーブルＴが設けられた領域との間に設置された店内カメラＣｉに限定する。そして、例えば入口からテーブルＴの間の通路に設けられた店内カメラＣｉでユーザが検出された場合、その後は店内のより奥に設けられた複数の店内カメラＣｉの撮像画像により順を追って当該ユーザを追尾してもよい。これにより飲食店情報提供サーバ１００は、複数の店内カメラＣｉのうち、特定されたユーザが検出される可能性の高いカメラに使用を限定することで、店内でユーザを素早く検出できるとともに、無駄な処理を省き負荷を軽減することができる。

【0087】

上述の実施形態においては、入口カメラＣｄの撮像画像から特定された１人のユーザについて店内カメラＣｉの撮像画像に基づくテーブル特定処理が実行される例が示された。しかし、入口カメラＣｄの撮像画像に複数のユーザが写っていた場合や短時間に複数のユーザが来店した場合等、入口カメラＣｄの撮像画像から複数のユーザが特定され、１人のユーザに関するテーブル特定処理が完了する前に、他のユーザに関するテーブル特定処理が必要になる場合も考えられる。そこで飲食店情報提供サーバ１００は、入口カメラＣｄの撮像画像を基に複数のユーザが特定され、店内カメラＣｉの撮像画像と、当該特定された複数のユーザの上記登録データとを基に、当該複数のユーザが着いたテーブルＴをそれぞれ特定する際に、当該複数のユーザのうちいずれかのユーザの着いたテーブルＴが特定できた場合には、当該ユーザが退店するまでの間、店内カメラＣｉの撮像画像によるテーブルＴの特定処理の対象から当該ユーザを除外（すなわち、照合対象の複数のユーザの登録データからテーブル特定済みのユーザの登録データを除外）してもよい。これにより飲食店情報提供サーバ１００は、入口カメラＣｄの撮像画像で特定されたユーザに関する、店内カメラＣｉの撮像画像によるテーブル特定処理が複数ユーザ分蓄積されている場合でも、店内カメラＣｉの撮像画像からそれらの複数のユーザのうちいずれかのユーザが検出された場合にはそのユーザの登録データについてはその後の特定処理の照合対象から除外することで、無駄な処理を省き負荷を軽減することができる。

【0088】

上述の実施形態では、上記飲食店情報提供サーバ１００は１台のみ示したが、上記飲食店情報提供サーバ１００が実行する処理は、複数のサーバで分散して実行されても構わない。例えば入口カメラＣｄ及び店内カメラＣｉの撮像画像と登録データとの照合処理のみ別のサーバが担ってもよい。

【0089】

また上述の実施形態では、クラウド上の飲食店情報提供サーバ１００が各飲食店における撮像画像を用いたユーザとテーブルの紐付け処理を実行したが、各飲食店端末３００またはそれと別個に設けられた飲食店のサーバが当該紐付け処理を実行してもよい。

【0090】

本願の特許請求の範囲に記載された発明のうち、「情報処理方法」と記載された発明は、その各ステップを、ソフトウェアによる情報処理によりコンピュータ等の少なくとも１つの装置が自動的に行うものであり、人間がコンピュータ等の装置を用いて行うものではない。すなわち、当該「情報処理方法」は、コンピュータ・ソフトウェアによる情報処理方法であって、コンピュータという計算道具を人間が操作する方法ではない。

【符号の説明】

【0091】

１１…ＣＰＵ
１８…記憶部
１９…通信部
３１…飲食店情報データベース
３２…ユーザ情報データベース
３３…来店履歴情報データベース
１００…飲食店情報提供サーバ
２００…ユーザ端末
３００…飲食店端末
Ｃｄ…入口カメラ
Ｃｉ…店内カメラ

【要約】

【課題】飲食店に来店した客と当該客が利用したテーブルとを紐付ける。
【解決手段】情報処理システムは、制御部を有する。当該制御部は、飲食店の入口に設置され来店したユーザの顔をほぼ正面から撮像可能な第１カメラによって撮像された第１撮像画像と、予め記憶された複数のユーザの顔に関する登録データとを基に、上記来店したユーザを特定する。また制御部は、上記飲食店内に設置され当該飲食店内のテーブルが配置されたフロアを撮像可能な第２カメラによって撮像された第２撮像画像と、上記特定されたユーザの上記登録データとを基に、上記特定されたユーザが着いたテーブルを特定する。そして制御部は、上記特定されたユーザを識別するユーザ識別情報と上記特定されたテーブルを識別するテーブル識別情報とを対応付けて記憶する。
【選択図】図４

【図1】

【図2】

【図3】

【図4】