特開 2024-68753 客監視通報装置及び客監視通報プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024068753

(43)【公開日】2024-05-21

(54)【発明の名称】客監視通報装置及び客監視通報プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240514BHJP

【ＦＩ】

G06T7/00 660Z

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022179325

(22)【出願日】2022-11-09

(71)【出願人】

【識別番号】000003562

【氏名又は名称】東芝テック株式会社

(74)【代理人】

【識別番号】100194076

【弁理士】

【氏名又は名称】中本 篤志

(74)【代理人】

【識別番号】100165261

【弁理士】

【氏名又は名称】登原 究

(72)【発明者】

【氏名】内藤 英浩

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA02

5L096DA03

5L096FA67

5L096JA11

(57)【要約】

【課題】 注文機会を逸さない客監視装置及び客監視通報プログラムを提供する。
【解決手段】
本実施形態の客監視装置は通信部と、画像認識部と、骨格推定部と、第１検出部と、第２検出部と、通知出力部とを有する。通信部は撮像された映像データを受信する。画像認識部は映像データからテーブル上の特定の物品と利用者の特徴量を抽出し認識する。骨格推定部は利用者の骨格を推定し骨格データを生成する。第１検出部は画像認識部が認識したテーブル上に特定の物品を示す特徴量が存在するかを検出する。第２検出部は骨格データからあらかじめ設定された肘曲げ角度を検出する。通知出力部は第１検出部又は第２検出部によって検出されてた場合は通知指示を出力する。
【選択図】 図６

【特許請求の範囲】

【請求項1】

撮像された映像データを受信する通信部と、
前記映像データからテーブル上の特定の物品と利用者の特徴量を抽出し認識する画像認識部と、
前記利用者の骨格を推定し骨格データを生成する骨格推定部と、
前記画像認識部が認識したテーブル上に特定の物品を示す特徴量が存在するかを検出する第１検出部と、
前記骨格データからあらかじめ設定された肘曲げ角度を検出する第２検出部と、
前記第１検出部又は前記第２検出部によって検出されてた場合は通知指示を出力する通知出力部と、
を有する客監視装置。

【請求項2】

前記第２検出部は前記骨格データから前記骨格データからあらかじめ設定された挙手を示す行動を検出する請求項１記載の客監視装置。

【請求項3】

前記通知出力部は前記第２検出部が前記骨格データをあらかじめ設定された時間を経過しても再度検出できなかった場合に通知指示を出力する請求項１又は請求項２記載の客監視装置。

【請求項4】

前記第２検出部は前記骨格データからあらかじめ設定された肘曲げ角度と特定の物品を示す特徴量を検出する請求項１記載の客監視装置。

【請求項5】

客監視装置に、
撮像された映像データを受信する受信手順と、
前記映像データからテーブル上の特定の物品と利用者の特徴量を抽出し認識する画像認識手順と、
前記利用者の骨格を推定し骨格データを生成する骨格推定手順と、
前記画像認識手順が認識したテーブル上に特定の物品を示す特徴量が存在するかを検出する第１検出手順と、
前記骨格データからあらかじめ設定された肘曲げ角度を検出する第２検出手順と、
前記第１検出手順又は前記第２検出手順によって検出された場合は通知指示を出力する通知出力手順と、
を実現させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、客監視通報装置及び客監視通報プログラムに関する。

【背景技術】

【0002】

従来、レストランなどの飲食店において、店内飲食を行う客に対して迅速な注文を行うために客の行動を監視する客監視装置がある。客監視装置は撮像部と接続され店舗内の様子を取得する。客監視装置は取得した画像又は映像から客を認識し、手や顔の動作からあらかじめ設定された閾値以上の動作を行っていた場合は客が店員を呼ぼうとしていると判断し、店員へ通知する。

【0003】

しかしながら、客の動作が閾値に達しない程度に小さい場合は、客監視装置は店員に対して通知を行わない。このような場合、店員は客に対する注文を行う機会を逸してしまうことが発生する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１９－１３３４３７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明が解決しようとする課題は注文機会を逸さない客監視装置及び客監視通報プログラムを提供することにある。

【課題を解決するための手段】

【0006】

上記課題を達成するために本実施形態の客監視装置は通信部と、画像認識部と、骨格推定部と、第１検出部と、第２検出部と、通知出力部とを有する。通信部は撮像された映像データを受信する。画像認識部は映像データからテーブル上の特定の物品と利用者の特徴量を抽出し認識する。骨格推定部は利用者の骨格を推定し骨格データを生成する。第１検出部は画像認識部が認識したテーブル上に特定の物品を示す特徴量が存在するかを検出する。第２検出部は骨格データからあらかじめ設定された肘曲げ角度を検出する。通知出力部は第１検出部又は第２検出部によって検出されてた場合は通知指示を出力する。

【図面の簡単な説明】

【0007】

【図1】第１の実施形態に係る客監視システムの一例を示すブロック図。

【図2】第１の実施形態に係る客監視装置の一例を示すブロック図。

【図3】第１の実施形態に係る客監視装置の機能構成の一例を示す機能ブロック図。

【図4】第１の実施形態に係る骨格データの一例を示す図。

【図5】第１の実施形態に係るフラグ管理ファイルのデータ構造例を示す図。

【図6】第１の実施形態に係る客監視処理の一例を示すフローチャート。

【図7】第１の実施形態に係る行動監視処理の一例を示すフローチャート。

【図8】第１の実施形態に係るテーブル監視処理の一例を示すフローチャート。

【図9】第１の実施形態に係る表示画像の一例を示す図。

【図10】第２の実施形態に係る行動監視処理の一例を示すフローチャート。

【発明を実施するための形態】

【0008】

（第１の実施形態）
以下、本実施形態について、図面を参照にしながら説明する。
本実施形態の客監視装置１０は飲食店などの店舗内に設置された撮像部２０から取得した映像データから生成した客の骨格データＭと、映像データ又は映像データから抽出した画像を画像認識することによりフラグを有効するかを判断する。

【0009】

第１の実施形態に係る客監視システム１の一例を示すブロック図である。
客監視システム１は例えば客監視装置１０、撮像部２０、通知部３０で構成され、各部は通信ネットワークによって接続される。通信ネットワークとは例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）である。ＬＡＮは、有線ＬＡＮであってもよいし、無線ＬＡＮであってもよい。

【0010】

客監視装置１０は客の動作及びテーブルの状態を監視する。客は顧客、店舗利用者、消費者等と称される場合がある。客監視装置１０は接続されている撮像部２０から店舗内の映像を映像データとして取得し、客の動作とテーブル上の状態を監視する。客監視装置１０は客の動作を監視するために取得した映像データから客の骨格を推定し、骨格データＭを生成する。客監視装置１０はテーブルの状態を監視するために画像認識技術を利用する。また、客監視装置１０は骨格データＭとテーブル上の画像から注文機会であるかを判断し、注文機会であると判断した場合は通知部３０へ通知指示を送信する。このような監視装置１０は独立した機器であっても良いし、店舗内に設置されたパソコンや店舗内サーバ、店舗外サーバの一部であっても良い。

【0011】

撮像部２０は店舗内を撮像する。撮像部２０は撮像素子に結像した光を電気信号として出力し、信号の変換や圧縮及び符号化を行うことで、映像データを生成する。映像データ生成後、撮像部２０は監視装置１０へ映像データを送信する。また、撮像部２０は映像データを生成するにあたり階調変換処理やノイズ除去、キズ補正などを含む現像処理を実行する。撮像部２０は店舗内の内、顧客が利用する箇所全体を監視することができる異なる箇所に配置しても良いし、複数の撮像部２０はそれぞれ複数のテーブルと1対1で対応するように配置しても良い。

【0012】

通知部３０は店員へ注文機会を通知する。通知部３０は客監視装置１０から受信した通知指示に従い注文機会が発生しているテーブルを店員へ通知する。通知部３０は例えば、各テーブルに対応させたランプを備え、ランプを発光させることで店員に対して通知する。また、通知部３０はランプを点灯させることによる通知に加え、音による通知を行っても良い。

【0013】

図２は第１の実施形態に係る客監視装置の一例を示すブロック図である。客監視装置１０は制御部１００、記憶部１０１、時計部１０２、通信Ｉ／Ｆ１０３で構成され、各部はバスを介して接続される。

【0014】

制御部１００はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１００１、ＲＯＭ１００２、ＲＡＭ１００３で構成される。ＣＰＵ１００１は客監視装置１０全体を制御する。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１００２は監視装置１０の駆動に用いられるプログラムなど各種プログラムや各種データを記憶する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１００３は。ＣＰＵ１００１のワークエリアとして使用され、ＲＯＭ１００２や記憶部１０１に記憶されている各種プログラムと各種データを展開する。制御部１００はＣＰＵ１００１がＲＯＭ１００２や、記憶部１０１に記憶されＲＡＭ１００３に展開された情報処理プログラムに従って動作することによって客監視装置１０の各種機能処理を実行する。

【0015】

記憶部１０１はＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）やフラッシュメモリ等の記憶媒体で構成されている。記憶部１０１には客監視装置１０が動作するためにオペレーティングシステム及び他の必要なアプリケーションプログラム等のソフトウェアやユーザー情報などを記憶する。また、記憶部１０１はフラグ管理ファイル１０１１を記憶している他、撮像部２０から取得した映像データ及び映像データから抽出した画像データを記憶していても良い。また、フラグ管理ファイル１０１１には、各テーブルに対応する一意のテーブル番号が記載されている。なお、フラグ管理ファイル１０１１は客監視装置１０からアクセス可能な記憶媒体又は機器に記憶されていればよく、外付けのＨＤＤやサーバ、店舗内に設置した管理用の端末などに記憶されていても良い。

【0016】

時計部１０２は、客監視装置１０の時刻情報源として機能する。制御部１００は、時計１０２によって計時される時刻情報を基に、現在の日付及び時刻を取得する。また、制御部１００はあらかじめ設定された時間に処理を行うときに時計部１０２が掲示する時刻をもとにしてもよい。

【0017】

通信Ｉ／Ｆ１０３は撮像部２０及び通知部３０と通信するためのインターフェースである。撮像部２０が生成した映像データは通信Ｉ／Ｆ１０３を介して客監視装置１０へと取り込まれる。また、客監視装置１０から通知部３０へ出力される通知指示は通信Ｉ／Ｆ１０３を介して出力される。

【0018】

図３は第１の実施形態に係る客監視装置１０の機能構成の一例を示す機能ブロック図である。制御部１００はＲＯＭ１００２又は記憶部１０１に記憶されているプログラムにより画像認識部２０１、骨格推定部２０２、テーブル監視部２０３、行動監視部２０４、通知出力部２０５を機能部として実現する。

【0019】

画像認識部２０１は撮像部２０を介して取得した映像データからテーブル及び客を認識する。画像認識部２０１は公知の画像認識技術と同様に取得した映像データから特徴量を抽出することでテーブル上の物体を認識する。つまり、画像認識部２０１は映像データから抽出した特徴量からテーブル上にグラスやジョッキ、皿が載置されているかを認識することができる。なお、少数の撮像部２０で店舗内のテーブルを撮像する場合、つまり１台の撮像部２０で１台のテーブルを監視する方法ではない場合、画像認識部２０１は各テーブルの特徴量、配置又は距離から客が利用しているテーブルを特定する。

【0020】

また、画像認識部２０１はテーブルに対する認識と同様に、映像データから抽出した特徴量から人物を認識する。

【0021】

なお、画像認識部２０１は映像データからテーブル及び客を認識する例を挙げて説明したが、映像から画像を抽出し、画像データからテーブル及び客を認識しても良い。

【0022】

骨格推定部２０２は画像認識部２０１が認識した客の骨格を推定し、骨格データＭを生成する。骨格推定に関する技術は公知のディープラーニング等ＡＩ技術を使用したものであっても良い。骨格推定部２０２は生成した骨格データＭから客の動作を把握する。骨格推定部２０２は客の動きから注文行動１と注文行動２を認識する。本実施形態では骨格推定を取得した映像をもとに行うが、映像から抽出した画像データから行っても良い。

【0023】

図４は第１の実施形態に係る骨格データＭの一例を示す図である。骨格推定部２０２は画像認識部２０１が認識した客の骨格推定を行う。骨格推定完了後、骨格推定部２０２は骨格データＭを生成する。骨格推定部２０２生成した骨格データＭに目、肩、肘、手首等体の動作を特定するために必要な位置にマーカーを設置する。例えば画像認識部２０１は、右肩の位置に設置されたマーカーＭ１と、右肘の位置に設置されたマーカーＭ２と、右手首の位置に設置されたマーカーＭ３と、胸部中央に設定されたマーカーＭ４が略直線状に位置しているとき、右腕が右方向かつ接地面と水平な方向に右腕を伸ばしていると認識する。

【0024】

図３に戻りテーブル監視部２０３は客が利用しているテーブル上の状態を監視する。画像認識部２０１によって認識したテーブル上の状態から空いている状態のグラスやジョッキ、皿等が存在しているかを判断する。空いている状態のグラスやジョッキ、皿等が存在していると判断した場合、画像認識部２０１は後述するフラグ管理ファイル１０１１の中から監視対象となっているテーブルに対応するテーブル番号が記載されているレコード内のフラグ３をオンにする。

【0025】

行動監視部２０４は骨格推定部２０２が生成した骨格データＭから客の動作を監視する。行動監視部２０４はテーブルを中心した周囲を１つの監視エリアとして認識する。この監視エリアはそれぞれ分断している。そのため各テーブルにはそれぞれ１つ監視エリアが設定されている。行動監視部２０４は、監視エリア内にて客が後述する注文行動１又は注文行動２をとったと判断した場合は後述するフラグ管理ファイル１０１１の中から監視エリアとなっているテーブルに対応するテーブル番号が記載されているレコード内のフラグ１又はフラグ２をオンにする。行動監視部２０４はテーブルの周辺を監視エリアとして認識することで、監視エリア内の客がとった行動は対応しているテーブルを利用している客がとった行動であると認識する。

【0026】

なお、行動監視部２０４がテーブル番号と客を関連付けるために監視エリアを認識する構成となっていることを説明したが、画像認識部２０１又は独立した機能が行ってもよく、並列して行っても良い。

【0027】

通知出力部２０５は通知部３０に対して注文機会が発生していることを通知する。通知出力部２０５は後述するフラグ管理ファイル１０１１から有効になっているフラグを確認する。有効になっているフラグが確認できた場合、フラグが有効になっていることが記載されているレコードからテーブル番号を抽出する。テーブル番号抽出後、通知出力部２０５は抽出したテーブル番号で構成された通知指示を通知部３０に向けて送信する。

【0028】

図５は第１の実施形態に係るフラグ管理ファイル１０１１のデータ構造例を示す。フラグ管理ファイル１０１１は店舗内に設置されているテーブルを示す一意のテーブル番号と各テーブル番号に対応するフラグが記載されたレコードにより構成される。レコードに記述されているフラグは無効を示す「０」と有効を示す「１」のいずれかが設定される。各レコードにはフラグとして例えばフラグ１、フラグ２、フラグ３が記述される。フラグ１は客の動作から肘曲げの角度が一定の数値となる行動（以下、注文行動１）に関するフラグである。そのため、客が注文行動１を行ったと認識された場合フラグ１は「１」となり、客が注文行動１を行っていないと認識された場合又は後述する客監視処理にてフラグのリセットが行われた場合、フラグ１は「０」となる。フラグ２は客の動作から挙手を示す動作（以下、注文動作２）に関するフラグである。そのため、客が注文行動２を行っていると認識された場合フラグ２は「１」となり、客が注文行動２を行っていないと認識された場合又は後述する客監視処理にてフラグのリセットが行われた場合フラグ２は「０」となる。フラグ３はテーブル上のグラス、ジョッキ、皿が空いている状態でテーブル上に置かれている場合に関するフラグである。そのため、テーブル上に飲み干されたグラスやジョッキ、完食された皿が置かれていると認識された場合フラグ３は「１」となり、テーブル上に飲み物が残っている状態のグラスやジョッキ、食べ物が載ったまま皿が置かれていると認識された場合又は後述するに客監視処理にてフラグのリセットが行われた場合、フラグ１は「０」となる。

【0029】

また、注文行動１と判断するためには行動監視部２０４であらかじめ設定された角度で客の肘が曲げられている事を認識することが必要となる。行動監視部２０４は生成した骨格データＭから客の肘曲げ角度を認識する。具体的には行動監視部２０４は右肘に設置されたマーカーＭ２を肘曲げ角度の原点とし、肩に設置されたマーカーＭ１と右手首に設定されたマーカーＭ３の間で開いている角度を計測することで肘曲げ角度を計測し、注文行動１であるか判断する。行動監視部２０４が注文行動１と認識する角度は例えば７０度から１００度である。なお、本実施形態では右腕の肘曲げ角度で判断したが、左腕の肘曲げ角度から判断しても良い。また、注文行動１と判断する肘曲げ角度は設定を変更しても良い。

【0030】

注文行動２と判断するためには行動監視部２０４が、客が挙手をしていると判断する必要がある。本実施形態における挙手とは例えばマーカーＭ３がマーカーＭ１又はマーカーＭ４よりも頭部側に位置している状態を指す。本実施形態では右腕の動作で挙手をしているかを判断したが、左腕の動作で判断しても良く、その場合は左手首に設置されたマーカーがマーカー４又は左肩に設置されたマーカーよりも上部に位置していることを条件として設定しも良い。また、手首に設置されたマーカーが肘に設置されたマーカーよりも上部に位置しているか否かで判断しても良い。

【0031】

次に、客が店舗内に入店し、客がテーブル番号１に割り振られたテーブルに着席して利用している場合の客監視処理の一例を説明する。まず、客入店前に撮像部２０が店舗内を撮像し、映像データを生成する。映像データ生成後、撮像部２０は客監視装置１０へ映像データを送信する。客監視装置１０は映像データ受信後、画像認識部２０１がテーブルを認識し、テーブルの特徴量、配置又は距離から映っているテーブルがどのテーブル番号かを特定する。客入店後、客がテーブル番号１に着席した場合、撮像部２０は客が映っている映像データを客監視装置１０へ送信し、画像認識部２０１が客を認識する。客認識後、骨格推定部２０２が客の骨格を推定し、骨格データＭを生成する。

【0032】

行動監視部２０４は行動監視処理として客が利用しているテーブルと対応しているテーブル周辺を監視エリアと認識し、客の行動を監視する。監視エリア内で客が動作をしたとき、その動作が肘曲げ角度が７０度乃至１００度となる注文行動１又は手首が胸部中央又は肘より頭部側に位置していること注文行動２を認識した場合はフラグ管理ファイル１０１１にアクセスし監視エリアと対応しているテーブルであるテーブル番号１のレコード内に記載されているフラグ１又はフラグ２を有効にする。

【0033】

テーブル監視部２０３はあらかじめ設定された時間が経過したタイミングでテーブル上の状況を確認し、空きグラスや空きジョッキ、空き皿があることが確認できればテーブル番号１のフラグ３を有効にする。

【0034】

客監視装置１０内の制御部１００はフラグ管理ファイル１０１１にアクセスし、フラグが有効となっているレコードが存在するか確認し、確認できれば通知指示を送信し、レコード内のフラグをリセットし、再度行動監視へ戻る。

【0035】

なお、本実施形態では客の行動監視を行ったのちにテーブルを監視する処理の流れで説明したが、この限りではなく先にテーブルを監視する処理を行っても良いし、並行して行っても良い。

【0036】

図５ないし図７は実施形態に係る客監視処理の一例を示すフローチャートである。図５は第１の実施形態に係る客監視処理の一例を示すフローチャートである。本実施形態では少数の撮像部２０で店舗内全体を監視する例で説明を行う。

【0037】

制御部１００は映像データを取得する（ＡＣＴ１０１）。制御部１００は通信Ｉ／Ｆ１０３を介して撮像部２０から映像データを取得する。制御部１００は取得した映像データをＲＡＭ１００３に展開する。

【0038】

制御部１００はテーブルを認識する（ＡＣＴ１０２）。制御部１００は画像認識部２０１を介して映像データからテーブルの特徴量を抽出することでテーブルを認識する。また、テーブルの特徴量、配置又は距離からテーブル番号を特定する。

【0039】

制御部１００は客を認識する（ＡＣＴ１０３）。制御部１００は画像認識部２０１を介して客の特徴量から客を認識する。

【0040】

制御部１００は骨格データMを生成する（ＡＣＴ１０４）。制御部１００は骨格推定部２０２を介して認識した客の特徴量から骨格を推定し、骨格データMを生成する。また、骨格データMにおいて眼、胸部中央、両肩、両肘、両手首などにマーカーＭ１乃至マーカーＭｎを設置する。

【0041】

制御部１００は行動監視を行う（ＡＣＴ１０５）。制御部１００は行動監視部２０４を介して客の行動を監視する。制御部１００は客の動作から注文行動１又は注文行動２が行われたと判断した場合は対応するフラグを有効にする。

【0042】

制御部１００はテーブル監視を行う（ＡＣＴ１０６）。制御部１００はテーブル監視部２０３を介してテーブル上に空き皿などがあることを認識した場合はフラグ３を有効にする。

【0043】

制御部１００はフラグが有効になっているかを確認する（ＡＣＴ１０７）。制御部１００はフラグ管理ファイル１０１１にアクセスし有効になっているフラグが存在するかを確認する。確認の結果、有効になっているフラグが存在しない場合（ＡＣＴ１０７のＮＯ）はＡＣＴ１０５に戻る。

【0044】

制御部１００がフラグ管理ファイル１０１１にアクセスし、有効になっているフラグが確認できた場合（ＡＣＴ１０７のＹＥＳ）、制御部１００は通知指示を行う（ＡＣＴ１０８）。制御部１００は通知出力部２０５を介してフラグ管理ファイル１０１１からテーブル番号を抽出し、通知指示を通信Ｉ／Ｆ１０３を介して通知部３０に送信する。

【0045】

通知指示送信後、制御部１００はフラグをリセットする（ＡＣＴ１０９）。制御部１００は通知出力部２０５が抽出したテーブル番号が記載されているレコード内のフラグを有効から無効にする。フラグをリセットした後、制御部１００はＡＣＴ１０５の処理に戻る。

【0046】

次に、行動監視とテーブル監視の処理の詳細について説明する。図６は第１の実施形態に係る行動監視処理の一例を示すフローチャートである。行動監視に係る処理は制御部１００が行動監視部２０４を介して行うものである。

【0047】

制御部１００はエリアを監視する（ＡＣＴ２０１）。制御部１００は客が利用しているテーブルの周辺を１つの監視エリアと認識することで、そのテーブルを利用している客がとった行動であるかを区別する。

【0048】

制御部１００は客が動作をとっているかを確認する（ＡＣＴ２０２）。制御部１００は客が動いているかを監視し、動いていなければ（ＡＣＴ２０２のＮＯ）ＡＣＴ２０１に戻り再度監視エリアを監視する。

【0049】

制御部１００は客が動作している場合は注文行動１をとっているかを確認する（ＡＣＴ２０３）。制御部１００は客の肘の部分を原点とした前腕と上腕の開いている角度をマーカーＭ１乃至Ｍ３をもとに判断する。その判断の結果、肘曲げの角度があらかじめ設定された角度内であれば（ＡＣＴ２０３のＮＯ）、フラグ１を有効にする。

【0050】

制御部１００はＡＣＴ２０３の判断の結果、肘曲げ角度があらかじめ設定された角度でなければ（ＡＣＴ２０３のＹＥＳ）、注文行動２であるかを確認する（ＡＣＴ２０４）。確認の結果、手首に配置されたマーカーＭ３が胸部中央に配置されたマーカーＭ４又は肘に配置されたマーカーＭ２よりも頭部側に位置していると（ＡＣＴ２０４のＹＥＳ）、制御部１００はフラグ２を有効にする（ＡＣＴ２０５）。

【0051】

確認の結果、注文行動２と判断するための条件がそろっていなければ（ＡＣＴ２０４のＮＯ）、制御部１００はＡＣＴ２０１に戻る。

【0052】

図７は第１の実施形態に係るテーブル監視処理の一例を示すフローチャートである。テーブル監視に係る処理は制御部１００がテーブル監視部２０３を介して行うものである。

【0053】

制御部１００は設定時間を経過しているかを確認する（ＡＣＴ３０１）。制御部１００は時計部１０２にアクセスし、あらかじめ設定された時間を経過しているか確認する。確認後、あらかじめ設定された時間を経過していない場合（ＡＣＴ３０１のＮＯ）はＡＣＴ３０１に戻る。

【0054】

あらかじめ設定された時間を経過していた場合は（ＡＣＴ３０１のＹＥＳ）、制御部１００はテーブル上を確認する（ＡＣＴ３０２）。

【0055】

制御部１００はテーブル上の特徴量から空き皿等が存在するかを確認する（ＡＣＴ３０３）。確認の結果、空き皿や空きグラス、空きジョッキなどが確認できなかった場合はＡＣＴ３０１に戻る。

【0056】

確認の結果、空き皿や空きグラス、空きジョッキなどが確認できた場合は、制御部１００はフラグ３を有効にする（ＡＣＴ３０４）。

【0057】

このような構成により客監視装置１０は注文行える機会を逃さずに店員に対して通知を行うことが可能となる。

【0058】

（第２の実施形態）
第２の実施形態として客監視装置１０は注文行動１を行っているか判断するときに手にコップなどの容器を持っている把持行動を行っているかも確認する。第２の実施形態の各部について、図１ないし図９の実施形態の各部と同一部分は同一符号で示す。

【0059】

図１０は第２の実施形態に係る行動監視処理の一例を示すフローチャートである。制御部１００は注文行動１を確認した後、把持行動を行っているか確認する（ＡＣＴ４０１）。制御部１００は画像認識部２０１を介してマーカーＭ３近傍にグラスのような容器が認識できるかを確認する。言い換えれば画像認識部２０１を用いて客がグラスやジョッキなどを持っているかを確認する。確認の結果、把持行動であると認識できた場合（ＡＣＴ４０１のＹＥＳ）はフラグ１を有効にする。

【0060】

確認の結果、把持行動であると認識できなかった場合（ＡＣＴ４０２のＮＯ）、制御部１００は注文行動２を確認する処理に移行する。

【0061】

このような例であっても監視装置１０は注文の機会を逃すことなく通知することができ、誤報を軽減することができる。

【0062】

また、本実施形態では上記の例に限られず、種々の変形を行っても良い。通知部３０は店舗内の状況を表示する表示部を有し図９に示す画像Ｓを表示しても良い。この場合、制御部１００がプログラムを介して実現する機能の一つである通知出力部２０５は通知指示としてテーブル番号の他に、メッセージを表示しても良い。このメッセージに関するファイルは記憶部１０１に記憶され、複数のパターンのメッセージを記憶しても良い。

【0063】

また、一度骨格データＭを生成した客が一旦離席した場合、制御部１００は時計部１０２にアクセスし、あらかじめ設定された時間を経過しても戻ってこない場合は席に戻ってきていない旨を記載したメッセージを通知指示の一部に構成し通知部３０に送信してもよい。

【0064】

また、客の利用終了後のテーブル上に、皿やグラスなど以外の物品の特徴量を検出すると制御部１００は報知部に忘れ物がある旨を伝えるメッセージを送信しても良い。

【0065】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、そのさまざまな形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0066】

１０…客監視装置
２０…撮像部
３０…通知部
１００…制御部
１０１…記憶部
１０１１…フラグ管理ファイル
２０１…画像認識部
２０２…骨格推定部
２０３…テーブル監視部
２０４…行動監視部
２０５…通知出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】