特許 7485916 食堂決済システム、および、食堂決済装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-09

(45)【発行日】2024-05-17

(54)【発明の名称】食堂決済システム、および、食堂決済装置

(51)【国際特許分類】

   G06Q 20/14 20120101AFI20240510BHJP

   G06Q 20/40 20120101ALI20240510BHJP

【ＦＩ】

G06Q20/14 300

G06Q20/40 300

【請求項の数】 8

(21)【出願番号】P 2020067741

(22)【出願日】2020-04-03

(65)【公開番号】P2021163416

(43)【公開日】2021-10-11

【審査請求日】2023-03-27

(73)【特許権者】

【識別番号】501428545

【氏名又は名称】株式会社デンソーウェーブ

(74)【代理人】

【氏名又は名称】矢作 和行

(74)【代理人】

【識別番号】100121991

【弁理士】

【氏名又は名称】野々部 泰平

(74)【代理人】

【識別番号】100145595

【弁理士】

【氏名又は名称】久保 貴則

(72)【発明者】

【氏名】早川 俊哉

(72)【発明者】

【氏名】森本 和晃

【審査官】庄司 琴美

(56)【参考文献】

【文献】特開２０１８－１８０７１７（ＪＰ，Ａ）

【文献】特開２０１７－０１０５５０（ＪＰ，Ａ）

【文献】特開平０８－２４１４６６（ＪＰ，Ａ）

【文献】特開２０１６－０３８６６３（ＪＰ，Ａ）

【文献】国際公開第２０１８／１１６５３７（ＷＯ，Ａ１）

【文献】中国実用新案第２０７９６５９５８（ＣＮ，Ｕ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００ － ９９／００

Ｇ０７Ｇ １／００ － １／１４

(57)【特許請求の範囲】

【請求項1】

個人が食器別に価格が定まる飲食物を選ぶ方式の食堂に用いられる食堂決済システム（１００、２００）であって、
前記食器と前記食器を載せたトレーを持つ個人を撮影した画像（Ｉ）を取得するためのカメラ（９１）と、
前記食器の種類と価格を関連付けて記憶する食器価格記憶部（２１）と、
前記画像からトレー領域（Ｔ）を特定するトレー領域特定部（１０）と、
特定された前記トレー領域内にある前記食器の特徴を抽出して前記食器の種類を特定し、前記トレー領域内にある前記食器の種類と、前記食器価格記憶部に記憶されている記憶内容に基づいて、支払う価格を特定する食器価格特定部（２０）と、
顔の特徴と個人を関連付けて記憶する顔個人記憶部（４１）と、
前記画像から顔の領域である顔領域（Ｆ）を特定する顔領域特定部（３０）と、
特定された前記顔領域の顔の特徴を抽出し、抽出した顔の特徴と前記顔個人記憶部に記憶されている記憶内容とに基づいて、支払いをする個人を特定する顔個人特定部（４０）と、
前記トレー領域と前記顔領域を関連付けることで、前記顔個人特定部が特定した個人を支払いをする利用者とし、前記食器価格特定部が特定した価格を、前記利用者が支払う価格とする関連付け部（６０）と、を備える食堂決済システム。

【請求項2】

請求項１に記載の食堂決済システムであって、
前記関連付け部は、前記画像において、前記トレー領域特定部が特定した前記トレー領域よりも上方に位置する顔領域を前記トレー領域と関連付ける、食堂決済システム。

【請求項3】

請求項２に記載の食堂決済システムであって、
前記関連付け部は、前記画像において、前記トレー領域特定部が特定した前記トレー領域よりも上方に位置し、かつ、前記トレー領域の長手方向の中央を通り、前記トレー領域を左右に分ける仮想線（ＶＬ）と交差する前記顔領域のうちで最も前記トレー領域に近い前記顔領域を、前記トレー領域と関連付ける、食堂決済システム。

【請求項4】

請求項１に記載の食堂決済システムであって、
前記トレーの両端を両手で保持したときの１つ以上の手（Ｈ）の形状パターンと、その形状パターンにおいて手が手首から指先に向かう方向である手方向（Ｄｈ）とを記憶する手形状記憶部（５１）と、
前記画像と前記手形状記憶部に記憶されている記憶内容と基づいて、前記トレー領域の境界線上に位置する手を特定し、かつ、特定した手の前記手方向を特定する手方向特定部（５０）と、を備え、
前記関連付け部は、前記手方向特定部が特定した両方の手の位置を通り、かつ、前記手方向の反対方向に延びる２本の線に挟まれた範囲にある前記顔領域であって、最も前記トレー領域に近い前記顔領域を前記トレー領域と関連付ける、食堂決済システム。

【請求項5】

請求項１に記載の食堂決済システムであって、
前記画像から、腕が写っている領域である腕領域を特定する腕特定部（８０）を備え、
前記関連付け部は、前記顔領域特定部が特定した前記顔領域と同じ個人の腕領域を特定し、かつ、特定した前記腕領域を挟んで前記顔領域の反対側に位置する前記トレー領域を前記顔領域と関連付ける、食堂決済システム。

【請求項6】

請求項５に記載の食堂決済システムであって、
前記顔領域特定部が特定した前記顔領域にある顔が向いている方向である顔方向（Ｄｆ）を特定する顔方向特定部（７０）を備え、
前記関連付け部は、前記顔方向を中心とした１８０度範囲よりも狭い所定の角度範囲に位置する腕領域を、前記顔領域と同じ個人の腕領域とする、食堂決済システム。

【請求項7】

請求項１に記載の食堂決済システムであって、
前記顔領域特定部が特定した前記顔領域にある顔が向いている方向である顔方向（Ｄｆ）を特定する顔方向特定部（７０）を備え、
前記関連付け部は、前記トレー領域が、前記顔方向特定部が特定した前記顔方向を基準とする所定の角度範囲から外れていないことを、前記トレー領域を前記顔領域と関連付ける条件の１つとする、食堂決済システム。

【請求項8】

個人が食器別に価格が定まる飲食物を選ぶ方式の食堂に用いられる食堂決済システムの食堂決済装置（９２）であって、
前記食器の種類と価格を関連付けて記憶する食器価格記憶部（２１）と、
前記食器と前記食器を載せたトレーを持つ個人を撮影した画像（Ｉ）からトレー領域（Ｔ）を特定するトレー領域特定部（１０）と、
特定された前記トレー領域内にある食器の特徴を抽出して前記食器の種類を特定し、前記トレー領域内にある前記食器の種類と、前記食器価格記憶部に記憶されている記憶内容に基づいて、支払う価格を特定する食器価格特定部（２０）と、
顔の特徴と個人を関連付けて記憶する顔個人記憶部（４１）と、
前記画像から顔の領域である顔領域（Ｆ）を特定する顔領域特定部（３０）と、
特定された前記顔領域の顔の特徴を抽出し、抽出した顔の特徴と前記顔個人記憶部に記憶されている記憶内容とに基づいて、支払いをする個人を特定する顔個人特定部（４０）と、
前記トレー領域と前記顔領域を関連付けることで、前記顔領域の画像から前記顔個人特定部が特定した個人を支払いをする利用者とし、前記食器価格特定部が特定した価格を、前記利用者が支払う価格とする関連付け部（６０）と、を備える食堂決済装置。

【発明の詳細な説明】

【技術分野】

【0001】

カメラを用いた食堂決済システムおよびそのシステムが備える食堂決済装置に関する。

【背景技術】

【0002】

特許文献１には、食器とりわけ用のトレーを上方から撮影した画像データに基づいて、トレーに載置された食器の種別と個数を判別して、飲食代金を精算する食堂決済システムが開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開平１０－６９５７９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、参考文献１の食堂決済システムでは自動的に飲食代金が算出されるが、支払いをすべき利用者まで特定されていなかった。

【0005】

本開示は、この事情に基づいて成されたものであり、その目的とするところは、支払いをする利用者と、その利用者が支払う価格とを関連付け可能な食堂決済システムおよびそのシステムが備える食堂決済装置を提供することにある。

【課題を解決するための手段】

【0006】

上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、１つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、開示した技術的範囲を限定するものではない。

【0007】

上記目的を達成するための食堂決済システムに係る１つの開示は、
個人が食器別に価格が定まる飲食物を選ぶ方式の食堂に用いられる食堂決済システム（１００、２００）であって、
食器と食器を載せたトレーを持つ個人を撮影した画像（Ｉ）を取得するためのカメラ（９１）と、
食器の種類と価格を関連付けて記憶する食器価格記憶部（２１）と、
画像からトレー領域（Ｔ）を特定するトレー領域特定部（１０）と、
特定されたトレー領域内にある食器の特徴を抽出して食器の種類を特定し、トレー領域内にある食器の種類と、食器価格記憶部に記憶されている記憶内容に基づいて、支払う価格を特定する食器価格特定部（２０）と、
顔の特徴と個人を関連付けて記憶する顔個人記憶部（４１）と、
画像から顔の領域である顔領域（Ｆ）を特定する顔領域特定部（３０）と、
特定された顔領域の顔の特徴を抽出し、抽出した顔の特徴と顔個人記憶部に記憶されている記憶内容とに基づいて、支払いをする個人を特定する顔個人特定部（４０）と、
トレー領域と顔領域を関連付けることで、顔個人特定部が特定した個人を支払いをする利用者とし、食器価格特定部が特定した価格を、利用者が支払う価格とする関連付け部（６０）と、を備える。

【0008】

この食堂決済システムでは、カメラが撮影した画像から、トレー領域特定部がトレー領域を特定し、また、顔領域特定部が、画像から顔領域を特定する。そして、トレー領域にある食器の種類を特定し、さらに、食器の種類から支払う価格を特定する。また、顔領域から顔の特徴を抽出し、さらに、顔の特徴から支払いをする個人を特定する。そして特定した個人を利用者とし、特定した価格を、その利用者が支払う価格とする。よって、利用者と利用者が支払う価格とを関連付けることができる。

【0009】

食堂決済システムにおいて、関連付け部は、画像において、トレー領域特定部が特定したトレー領域よりも上方に位置する顔領域をトレー領域と関連付ける、としてもよい。

【0010】

関連付け部は、画像において、トレー領域特定部が特定したトレー領域よりも上方に写っている顔領域を、トレー領域と関連付ける顔領域として特定する。この構成により、支払う利用者の手前、つまり、支払う利用者よりもカメラに近い位置にいた別の利用者の顔が画像に写っていた場合も、支払う利用者の顔領域とトレー領域とを関連付けることができる。

【0011】

食堂決済システムにおいて、関連付け部は、画像において、トレー領域特定部が特定したトレー領域よりも上方に位置し、かつ、トレー領域の長手方向の中央を通り、トレー領域を左右に分ける仮想線（ＶＬ）と交差する顔領域のうちで最もトレー領域に近い顔領域を、トレー領域と関連付ける、としてもよい。

【0012】

この構成により、支払う利用者の隣や背後にいた別の利用者が画像に写っていた場合も、トレー領域と支払う利用者の顔領域とを正しく関連付けることができる。

【0013】

食堂決済システムは、次のようにすることもできる。すなわち、トレーの両端を両手で保持したときの１つ以上の手（Ｈ）の形状パターンと、その形状パターンにおいて手が手首から指先に向かう方向である手方向（Ｄｈ）とを記憶する手形状記憶部（５１）と、
画像と手形状記憶部に記憶されている記憶内容と基づいて、トレー領域の境界線上に位置する手を特定し、かつ、特定した手の手方向を特定する手方向特定部（５０）と、を備え、
関連付け部は、手方向特定部が特定した両方の手の位置を通り、かつ、手方向の反対方向に延びる２本の線に挟まれた範囲にある顔領域であって、最もトレー領域に近い顔領域をトレー領域と関連付ける。

【0014】

この構成により、支払う利用者の手前にいた別の利用者の顔が画像上でトレーの近くに写っていた場合も、支払う利用者の顔領域とトレー領域とを関連付けることができる。

【0015】

また、食堂決済システムは次のようにすることもできる。画像から、腕が写っている領域である腕領域を特定する腕特定部（８０）を備え、
関連付け部は、顔領域特定部が特定した顔領域と同じ個人の腕領域を特定し、かつ、特定した腕領域を挟んで顔領域の反対側に位置するトレー領域を顔領域と関連付ける、食堂決済システム。

【0016】

顔領域特定部が特定した顔領域と同じ個人の腕領域を特定し、その腕領域を挟んで顔領域の反対側に位置するトレー領域を顔領域と関連付ける。この構成により、利用者の隣や手前に別の利用者が写っていた場合も、支払いをする利用者と支払われる価格を関連付けられる。

【0017】

さらに上記食堂決済システムは、顔領域特定部が特定した顔領域にある顔が向いている方向である顔方向（Ｄｆ）を特定する顔方向特定部（７０）を備え、
関連付け部は、顔方向を中心とした１８０度範囲よりも狭い所定の角度範囲に位置する腕領域を、顔領域と同じ個人の腕領域とする、こともできる。

【0018】

顔方向特定部が顔方向を特定し、関連付け部は顔方向の所定の角度範囲に位置する腕を、顔領域と同じ個人の腕として特定する。この構成により、利用者の顔領域のすぐ後に別の利用者の腕が写っていた場合も、正しく顔領域と腕とを関連付けられる。

【0019】

また、食堂決済システムは、顔領域特定部が特定した顔領域にある顔が向いている方向である顔方向（Ｄｆ）を特定する顔方向特定部（７０）を備え、
関連付け部は、トレー領域が、顔方向特定部が特定した顔方向を基準とする所定の角度範囲から外れていないことを、トレー領域を顔領域と関連付ける条件の１つとする、こともできる。

【0020】

トレー領域特定部が特定したトレー領域が顔方向の所定の角度範囲から外れていないことを、顔領域とトレー領域を関連付ける条件の１つとする。この構成により、例えば、利用者の手前に別の利用者が写っていた場合も、支払いをする利用者と支払われる価格を関連付けられる。

【0021】

上記目的を達成するための食堂決済装置に係る１つの開示は、上記食堂決済システムが備える食堂決済装置である。すなわち、その食堂決済装置は、
食器の種類と価格を関連付けて記憶する食器価格記憶部（２１）と、
食器と食器を載せたトレーを持つ個人を撮影した画像（Ｉ）からトレー領域（Ｔ）を特定するトレー領域特定部（１０）と、
特定されたトレー領域内にある食器の特徴を抽出して食器の種類を特定し、トレー領域内にある食器の種類と、食器価格記憶部に記憶されている記憶内容に基づいて、支払う価格を特定する食器価格特定部（２０）と、
顔の特徴と個人を関連付けて記憶する顔個人記憶部（４１）と、
画像から顔の領域である顔領域（Ｆ）を特定する顔領域特定部（３０）と、
特定された顔領域の顔の特徴を抽出し、抽出した顔の特徴と顔個人記憶部に記憶されている記憶内容とに基づいて、支払いをする個人を特定する顔個人特定部（４０）と、
トレー領域と顔領域を関連付けることで、顔領域の画像から顔個人特定部が特定した個人を支払いをする利用者とし、食器価格特定部が特定した価格を、利用者が支払う価格とする関連付け部（６０）と、を備える。

【図面の簡単な説明】

【0022】

【図1】食堂決済システム１００の構成を示すブロック図

【図2】画像Ｉから特定する領域を示す図

【図3】食堂決済システム１００の処理を示すフローチャート

【図4】トレー領域Ｔと関連付ける顔領域Ｆを説明する図

【図5】食堂決済システム２００の構成を示すブロック図

【図6】食堂決済システム２００の処理を示すフローチャート

【発明を実施するための形態】

【0023】

以下、実施形態を図面に基づいて説明する。図１は、本実施形態の食堂決済システム１００の構成を示すブロック図である。

【0024】

図１に示すように、食堂決済システム１００は、カメラ９１と、食堂決済装置９２を備える。食堂決済装置９２は、トレー領域特定部１０と、食器価格特定部２０と、食器価格記憶部２１と、顔領域特定部３０と、顔個人特定部４０と、顔個人記憶部４１と、手方向特定部５０と、手形状記憶部５１と、関連付け部６０とを備える。なお、カメラ９１と食堂決済装置９２は、一体の装置であっても、無線または有線で通信する別体の装置であってもよい。また、食堂決済装置９２が複数の装置によって構成されていてもよい。

【0025】

本実施形態の食堂決済システム１００は、利用者が１品以上の好みの飲食物を選択し、選択した飲食物の価格の合計を支払う形式の食堂において用いられる。これらの飲食物は品目によってそれぞれ価格が定められ、価格に応じた食器に盛り付け、あるいは収容されている。なお、ここでの飲食物には、主食、惣菜、飲み物など、食堂で有料にて提供されるすべての飲食物が対象となりうる。また、食器は広義に用い、飲料容器も食器に含まれる。

【0026】

カメラ９１は、食器を載せた食事用のトレーと利用者を撮影する撮影装置である。魚眼カメラ、半天球カメラといった、広い画角のカメラでもよい。設置場所は、例として、食事をしてから食器を返却するまでの間の通路などが考えられる。運用形態として、トレーと利用者を撮影するための利用者の歩行ルートを設けてもよい。また、トレーと利用者を後述の技術により特定するためには、歩行者の正面もしくは少なくとも斜めで、利用者がトレーを保持する高さよりも上の位置から撮影する必要がある。

【0027】

トレー領域特定部１０、食器価格特定部２０、顔領域特定部３０、顔個人特定部４０、手方向特定部５０、関連付け部６０は、マイクロプロセッサがＲＯＭなどに記憶されたプログラムを実行することにより実現できる。食器価格記憶部２１、顔個人記憶部４１、手形状記憶部５１は、いずれも、フラッシュメモリなどの書き込み可能な記憶部である。

【0028】

トレー領域特定部１０は、カメラ９１が撮影した画像Ｉ上でトレーが写っている領域であるトレー領域Ｔを特定する。図２にトレー領域Ｔなど、画像Ｉから特定する領域を示す。トレー領域Ｔは、カメラ９１が撮影した画像Ｉを解析することで特定する。トレー領域Ｔの特定手法としては、Ｒ－ＣＮＮ、ＹＯＬＯなど種々の画像解析手法を用いることができる。

【0029】

食器価格記憶部２１は、飲食物によって定められた価格と、価格に対応する食器の種類を記憶している。食器の種類は、たとえば、食器別にＩＤを付与して区別することができる。

【0030】

食器価格特定部２０は、トレー領域特定部１０が特定したトレー領域Ｔの範囲内にある食器の特徴を抽出し、抽出した食器の特徴に基づいて、食器の種類を特定する。食器の種類の特定にも、トレー領域Ｔの特定と同様の画像解析手法を用いることができる。食器価格特定部２０は、さらに、特定した食器の種類を、食器価格記憶部２１に記憶された食器の種類と照合する。特定した食器の種類が、食器価格記憶部２１に記憶された食器の種類と一致した場合に、食器価格記憶部２１に記憶された食器の種類に対応付けられた飲食物の価格を特定する。

【0031】

食器価格特定部２０は、トレー領域Ｔ内のすべての食器について価格を特定し、その合計金額を支払われる金額として算出する。

【0032】

顔領域特定部３０は、カメラ９１が撮影した画像上で利用者の人体における首から上の領域（以下、顔領域）Ｆを特定する。たとえば、目、鼻、口などの顔の特徴点を求め、その特徴点をもとに顔領域Ｆを特定する。

【0033】

顔個人記憶部４１は、利用者の名前、固有識別番号などの個人Ｐにつながる情報と、個人Ｐに対応する顔の特徴を記憶している。顔の特徴には、顔認識技術によって抽出される複数の特徴点の配置がある。特徴点は、目、鼻、口、頬など顔において特徴となる部分上の点である。また、目、鼻、口、頬などの特徴となる部分の一部または全部の形状や配置を、顔の特徴とすることもできる。固有識別番号は、たとえば、社員食堂であれば社員番号、会員制の食堂であれば会員番号などである。

【0034】

顔個人特定部４０は、顔領域特定部３０が特定した顔領域Ｆにある顔の特徴を抽出し、顔個人記憶部４１に記憶された顔の特徴と照合する。抽出した顔の特徴が、顔個人記憶部４１に記憶された顔の特徴と一致した場合に、顔個人記憶部４１に記憶された顔の特徴に対応付けられた個人Ｐを特定する。支払いをする個人Ｐを特定することで、当該個人Ｐへの請求、給与からの天引き、登録したクレジットカード、銀行口座を通じての引き落としなど、後の決済処理につなげることができる。

【0035】

手形状記憶部５１は、１つ以上の、個人Ｐに特定されない手Ｈの形状パターンを、その手Ｈの向く方向である手方向Ｄｈと合わせて記憶している。手Ｈとは、手首よりも先の部分を指す。

【0036】

手Ｈの形状パターンは、例として、利用者が略矩形形状のトレーの両端を両手で保持し、親指でトレーの上側を、その他の指でトレーの下側を支えているときの、手Ｈの一般的な形状パターンである。

【0037】

手方向Ｄｈとは、手首から指先に向かう方向、つまり、体から離れる方向を指す。利用者が略矩形形状のトレーの両端を両手で保持し、親指でトレーの上側を、その他の指でトレーの下側を支えているときは、手方向Ｄｈの反対の向きに利用者の体および顔が位置している。

【0038】

手方向特定部５０は、カメラ９１が撮影した画像Ｉと、手形状記憶部５１が記憶している手Ｈの形状パターンおよびその手Ｈの形状パターンにおける手方向Ｄｈとを基に、トレー領域Ｔの領域内と領域外の境界線上に位置する手Ｈの手方向Ｄｈを特定する。手Ｈがトレー領域内とトレー領域外の境界線上に位置するのは、利用者が略矩形形状のトレーの両端を両手で保持しているためである。

【0039】

関連付け部６０は、トレー領域Ｔと顔領域Ｆを関連付ける。トレー領域Ｔと顔領域Ｆとの関連付けにより、顔領域Ｆから顔個人特定部４０が特定した個人Ｐを支払いをする利用者とし、食器価格特定部２０が特定した価格を、利用者が支払う価格とする。

【0040】

図３は、食堂決済システム１００の処理を示すフローチャートである。Ｓ１１においてトレー領域特定部１０は、カメラ９１が撮影した画像Ｉを取得し、画像Ｉ上のトレー領域Ｔを特定する。

【0041】

Ｓ１２では、食器価格特定部２０は、Ｓ１１において特定されたトレー領域Ｔの範囲内にある食器の特徴を抽出し、さらに、食器の特徴から食器の種類を特定する。

【0042】

Ｓ１３では、食器価格特定部２０は、Ｓ１２において特定した食器の種類を食器価格記憶部２１に記憶された食器の種類と照合し、照合結果から食器に対応する価格を特定する。

【0043】

Ｓ１４では、食器価格特定部２０は、Ｓ１３において特定された食器価格の合計金額を算出し、支払われる金額とする。

【0044】

Ｓ１５では、顔領域特定部３０が、カメラ９１が撮影した画像Ｉにある顔領域Ｆを特定する。画像Ｉに複数人の顔が写っている場合、複数人の顔領域Ｆを特定する。

【0045】

Ｓ１６では、関連付け部６０が、画像Ｉ上での顔領域Ｆを、トレー領域Ｔを通る仮想線ＶＬをもとに１つに特定できるかどうかを判断する。

【0046】

具体的には、顔領域特定部３０は、Ｓ１１において特定されたトレー領域Ｔの長手方向の中央に、トレー領域Ｔを左右に分ける仮想線ＶＬを引く。この仮想線ＶＬ上にあること、すなわち、仮想線ＶＬと交差する顔領域Ｆであることを、トレー領域Ｔと関連付ける条件の１つとする。もう１つの条件は、トレー領域Ｔよりも画像Ｉ上において上方であるという条件である。

【0047】

トレー領域Ｔよりも画像Ｉ上において上方にあり、かつ、仮想線ＶＬと交差する顔領域Ｆが複数あるときは、最もトレー領域Ｔに近い顔領域Ｆを、トレー領域Ｔと関連付ける顔領域Ｆとして特定する。顔領域Ｆが特定できた場合は、ＹＥＳと判断しＳ１７に進む。Ｓ１７では、関連付け部６０が、Ｓ１５で特定できた顔領域Ｆを、Ｓ１１で特定したトレー領域Ｔと関連付ける。

【0048】

Ｓ１６において顔領域Ｆが特定できなかった場合は、ＮＯと判断しＳ２２に進む。たとえば、図２とは異なり、個人Ｐがトレーを少し体の正面からずらして所持していたり、あるいは、個人Ｐの向きがカメラ９１の正面方向に対して斜めになっていたりすると、Ｓ１６の判断結果がＮＯになることもある。

【0049】

Ｓ２２では、手方向特定部５０が、画像Ｉ上のトレー領域Ｔの境界線上に位置する手Ｈを特定し、手Ｈの向く方向である手方向Ｄｈを特定する。Ｓ２３では、関連付け部６０が、Ｓ２２で特定した両方の手Ｈの位置を通り、かつ、手方向Ｄｈと逆の方向に延びる２本の線に挟まれた範囲にある顔領域Ｆであって、最もトレー領域Ｔに近い顔領域Ｆを、トレー領域Ｔと関連付ける。

【0050】

前述したように、手方向Ｄｈは、手首から指先に向かう方向である。ただし、トレーを持った状態での手Ｈは、通常、親指および手Ｈの甲が撮影されるが、手全体は撮影されない。そこで手方向Ｄｈは、親指、あるいは、手Ｈの甲を直線近似したときのその直線の方向とする。親指、および、手Ｈの甲がともに撮影されている場合には、他方の直線に角度が近い側とする。２本の直線間を狭くして、間違った顔領域Ｆをトレー領域Ｔに関連付けないようにするためである。

【0051】

Ｓ１７による関連付け、および、Ｓ２３による関連付け、ともに、画像Ｉにおいて、Ｓ１１で特定したトレー領域Ｔよりも上方に位置する顔領域Ｆをトレー領域Ｔと関連付けている。

【0052】

Ｓ１８では、顔個人特定部４０は、Ｓ１７またはＳ２３においてトレー領域Ｔと関連付けた顔領域Ｆにある顔の特徴を抽出する。

【0053】

Ｓ１９では、顔個人特定部４０は、Ｓ１８において抽出した顔の特徴と顔個人記憶部４１に記憶された顔の特徴とを照合する。

【0054】

Ｓ２０では、顔個人特定部４０は、Ｓ１９において照合ができた場合に、顔個人記憶部４１に記憶された顔の特徴に対応付けられた個人Ｐを特定する。

【0055】

Ｓ２１では、関連付け部６０は、Ｓ１４で算出された支払われる金額と、Ｓ２０で特定された個人Ｐを関連付け、終了する。

【0056】

＜第１実施形態のまとめ＞
この食堂決済システム１００では、カメラ９１が撮影した画像Ｉから、トレー領域特定部１０がトレー領域Ｔを特定し（Ｓ１１）、また、顔領域特定部３０が、画像Ｉから顔領域Ｆを特定する（Ｓ１５）。そして、トレー領域Ｔにある食器の種類を特定し（Ｓ１２）、さらに、食器の種類から支払う価格を特定する（Ｓ１３、Ｓ１４）。また、顔領域Ｆから顔の特徴を抽出し（Ｓ１８）、さらに、顔の特徴から支払いをする個人Ｐを特定する（Ｓ１９、Ｓ２０）。そして特定した個人Ｐを利用者とし、特定した価格を、その利用者が支払う価格とする（Ｓ２１）。よって、利用者と利用者が支払う価格とを関連付けることができる。

【0057】

また、関連付け部６０は、画像Ｉにおいて、トレー領域特定部１０が特定したトレー領域Ｔよりも上方に写っている顔領域Ｆを、トレー領域Ｔと関連付ける顔領域Ｆとして特定している（Ｓ１７、Ｓ２３）。この構成により、図４に示すように、支払う利用者の手前、つまり、支払う利用者よりもカメラ９１に近い位置にいた別の利用者の顔が画像Ｉに写っていた場合も、支払う利用者の顔領域Ｆとトレー領域Ｔとを関連付けることができる。

【0058】

また、関連付け部６０は、トレー領域特定部１０が特定したトレー領域Ｔの長手方向の中央にトレー領域Ｔを左右に分ける仮想線ＶＬを引く。そして、その仮想線ＶＬ上にあって最もトレー領域Ｔに近い顔領域Ｆを、トレー領域Ｔと関連付けるべき顔領域Ｆとして特定する（Ｓ１６、Ｓ１７）。この構成により、図４に示すように、支払う利用者の隣や背後にいた別の利用者が画像Ｉに写っていた場合も、支払う利用者の顔領域Ｆとトレー領域Ｔとを正しく関連付けることができる。

【0059】

さらに、本実施形態では、手方向特定部５０は、利用者がトレーの端部を両手で保持したときの手Ｈの形状パターンが手方向Ｄｈと合わせて記憶された手形状記憶部５１をもとに、手方向Ｄｈを特定する（Ｓ２２）。関連付け部６０は、両方の手Ｈの位置を通り、手方向Ｄｈの逆方向に延びる２本の線に挟まれた範囲にある顔領域Ｆであって、最もトレー領域Ｔに近い顔領域Ｆを、トレー領域Ｔと関連付ける（Ｓ２３）。この構成により、支払う利用者の手前にいた別の利用者の顔が画像Ｉ上でトレーの近くに写っていた場合も、支払う利用者の顔領域Ｆとトレー領域Ｔとを関連付けることができる。

【0060】

なお、本実施形態の食堂決済装置９２が実行する機能の一部または全部を、１つあるいは複数のＩＣ等によりハードウェア的に構成してもよい。

【0061】

（第２実施形態）
次に、第２実施形態を説明する。この第２実施形態以下の説明において、それまでに使用した符号と同一番号の符号を有する要素は、特に言及する場合を除き、それ以前の実施形態における同一符号の要素と同一である。また、構成の一部のみを説明している場合、構成の他の部分については先に説明した実施形態を適用できる。

【0062】

図５は、第２実施形態における食堂決済システム２００の構成を示すブロック図である。

【0063】

食堂決済システム２００は、食堂決済システム１００と同様、カメラ９１と、トレー領域特定部１０と、食器価格特定部２０と、食器価格記憶部２１と、顔領域特定部３０と、顔個人特定部４０と、顔個人記憶部４１と、関連付け部６０を備える。ただし、関連付け部６０の処理は第１実施形態とは異なる。また、食堂決済システム２００は、顔方向特定部７０と、腕特定部８０を備える。

【0064】

顔方向特定部７０は、カメラ９１が撮影した画像Ｉ上で、顔領域Ｆの向く方向である顔方向Ｄｆを特定する。顔方向Ｄｆとは、顔が向いている方向であり、言い換えると、利用者が真っすぐ前を向いたときの目線の先を示す。顔方向特定部７０は、顔領域Ｆから顔の特徴を抽出し、その特徴をもとに顔方向Ｄｆを特定する。顔の特徴の例として、顔の対称軸を用いる。この場合、顔方向特定部７０は、画像Ｉ上の顔領域Ｆにおいて、顔の対称軸と、顔両端の相対位置関係から、顔方向Ｄｆを特定する。腕特定部８０は、トレーを保持する腕の一部である前腕Ａの画像Ｉ上の位置を特定する。

【0065】

第２実施形態での関連付け部６０は、顔領域特定部３０が特定した顔領域Ｆと同じ個人Ｐの腕領域を特定し、特定した腕領域を挟んで顔領域Ｆの反対側に位置するトレー領域Ｔを顔領域Ｆと関連付ける。

【0066】

図６は、食堂決済システム２００の処理を示すフローチャートである。Ｓ３１では、Ｓ１１と同様、トレー領域特定部１０が、画像Ｉ上のトレー領域Ｔを特定する。Ｓ３２では、顔領域特定部３０が、カメラ９１が撮影した画像Ｉ上での顔領域Ｆを特定する。Ｓ３３では、Ｓ１８～Ｓ２０と同じ処理によって個人Ｐを特定し、Ｓ３４に進む。

【0067】

Ｓ３４では、顔方向特定部７０が、Ｓ３２で特定された顔領域Ｆから顔の特徴を抽出し、抽出した特徴を基に顔方向Ｄｆを特定する。

【0068】

Ｓ３５では、腕特定部８０が、Ｓ３４で特定された顔方向Ｄｆを中心とするあらかじめ定められた角度範囲内にある前腕Ａを特定する。

【0069】

Ｓ３６では、関連付け部６０が、Ｓ３６で特定した前腕Ａであって顔領域Ｆに最も近い前腕Ａを、顔領域Ｆと同じ個人Ｐの前腕Ａとして特定する。この角度範囲は、例として１８０度以内である。さらに、特定した前腕Ａを挟んで顔領域Ｆの反対側にあるトレー領域Ｔを、Ｓ３２で特定した顔領域Ｆと関連付ける。

【0070】

Ｓ３７では、Ｓ３６において顔領域Ｆと関連付けられたトレー領域Ｔの範囲内にある食器に対しＳ１２～１４と同じ処理によって、支払われる金額を算出する。

【0071】

Ｓ３８では、関連付け部６０は、Ｓ３３で特定された個人Ｐと、Ｓ３７で算出された支払われる金額とを関連付け、終了する。

【0072】

＜第２実施形態のまとめ＞
顔方向特定部７０が顔方向Ｄｆを特定し（Ｓ３４）、関連付け部６０は顔方向Ｄｆの所定の角度範囲に位置する前腕Ａを、顔領域Ｆと同じ個人Ｐの前腕Ａとして特定する（Ｓ３６）。この構成により、利用者の顔領域Ｆのすぐ後に別の利用者の前腕Ａが写っていた場合も、正しく、顔領域Ｆと前腕Ａを関連付けられる。

【0073】

以上、実施形態を説明したが、開示した技術は上述の実施形態に限定されるものではなく、次の変形例も開示した範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施できる。なお、以下の説明において、それまでに使用した符号と同一番号の符号を有する要素は、特に言及する場合を除き、それ以前の実施形態における同一符号の要素と同一である。また、構成の一部のみを説明している場合、構成の他の部分については先に説明した実施形態を適用できる。

【0074】

（変形例１）
第１実施形態及び第２実施形態においては、顔領域Ｆとトレー領域Ｔの距離を利用して関連付けているが、利用者の身体の輪郭をたどることによって顔領域Ｆとトレー領域Ｔは、関連づけてもよい。例えば、ある利用者の顔領域Ｆを特定した場合に、その頭部、頭部とつながる首、首とつながる肩、肩とつながる腕、腕とつながるトレーといった、輪郭から関連付けすべきトレー領域Ｔを特定することができる。トレー領域Ｔから輪郭をたどって特定する場合も同様である。

【0075】

（変形例２）
第１実施形態では、Ｓ１６、Ｓ１７、Ｓ２２、Ｓ２３により、トレー領域Ｔと関連付ける顔領域Ｆを特定していた。しかし、単に、トレー領域特定部１０が特定したトレー領域Ｔの上方に位置する顔領域Ｆを、トレー領域Ｔと関連付ける顔領域Ｆとして特定してもよい。トレー領域Ｔの上方に位置する顔領域Ｆが複数ある場合、トレー領域Ｔに最も近い顔領域Ｆを、トレー領域Ｔと関連付ければよい。

【0076】

（変形例３）
第２実施形態において、前腕Ａを特定しなくても、顔方向Ｄｆを特定し（Ｓ３４）、その顔方向Ｄｆを基準とする所定の角度範囲内にあることを、顔領域Ｆに関連づけるトレー領域Ｔとする条件の１つとしてもよい。換言すれば、トレー領域Ｔが、顔方向Ｄｆを基準とする所定の角度範囲から外れていないことを、トレー領域Ｔを顔領域Ｆと関連付ける条件の１つとしてもよい。この条件を満たす顔領域Ｆが複数ある場合には、さらに、距離が最も近いという条件により、顔領域Ｆに関連付けるトレー領域Ｔを特定する。角度範囲は、例として１８０度である。

【0077】

（変形例４）
第２実施形態では、顔方向Ｄｆを特定しなくても、顔領域Ｆに最も近い腕を特定し、腕を挟んで顔領域Ｆの反対側にあるトレー領域Ｔを、顔領域Ｆと関連付けすべきトレー領域Ｔとして特定してもよい。なお、第２実施形態では、腕特定部８０は、前腕Ａを特定していた。しかし、腕特定部８０は、前腕Ａと上腕とを特定してもよい。

【0078】

また、トレー領域Ｔを特定した後に、トレー領域Ｔに最も近い腕を特定し、腕を挟んでトレー領域Ｔの反対側にある顔領域Ｆを、トレー領域Ｔと関連付けすべき顔領域Ｆとして特定してもよい。トレー領域Ｔと、そのトレー領域Ｔと関連づけすべき顔領域Ｆは、腕の一方の端と他方の端にある関係にあるので、この構成により、利用者の隣や手前に別の利用者が写っていた場合も、支払いをする利用者と支払われる価格を関連付けられる。

【符号の説明】

【0079】

１０：トレー領域特定部 ２０：食器価格特定部 ２１：食器価格記憶部 ３０：顔領域特定部 ４０：顔個人特定部 ４１：顔個人記憶部 ５０：手方向特定部 ５１：手形状記憶部 ６０：関連付け部 ７０：顔方向特定部 ８０：腕特定部 ９１：カメラ ９２：食堂決済装置 １００：食堂決済システム ２００：食堂決済システム Ａ：前腕 Ｄｆ：顔方向 Ｄｈ：手方向 Ｆ：顔領域 Ｈ：手 Ｉ：画像 Ｐ：個人 Ｔ：トレー領域 ＶＬ：仮想線

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】