特開 2023-136758 処理装置、処理方法及び処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023136758

(43)【公開日】2023-09-29

(54)【発明の名称】処理装置、処理方法及び処理プログラム

(51)【国際特許分類】

   G06Q 50/12 20120101AFI20230922BHJP

   G06Q 30/0207 20230101ALI20230922BHJP

【ＦＩ】

G06Q50/12

G06Q30/02 320

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022042627

(22)【出願日】2022-03-17

(71)【出願人】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】大貫 明人

(72)【発明者】

【氏名】稲富 梨奈

(72)【発明者】

【氏名】友田 光哉

(72)【発明者】

【氏名】今田 晴菜

(72)【発明者】

【氏名】吉澤 雄輝

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049BB07

5L049CC24

(57)【要約】

【課題】食べ残しの有無を適切に判定することができる。
【解決手段】サーバ装置１０は、料理の識別情報と、皿に盛り付けられた料理の画像である食前画像とを対応付けた料理画像情報を記憶する記憶部１２と、対象者に提供された料理の識別情報と、提供された料理が対象者に食べられた後の皿を撮像した画像である食後画像とを取得する取得部１３１と、料理画像情報のうち、取得部１３１によって取得された料理の識別情報に対応する食前画像と、取得部１３１によって取得された食後画像とを照合し、料理の食べ残しの有無を判定する判定部１３２と、を有する。
【選択図】図２

【特許請求の範囲】

【請求項1】

料理の識別情報と、皿に盛り付けられた前記料理の画像である食前画像とを対応付けた料理画像情報を記憶する記憶部と、
対象者に提供された料理の識別情報と、前記提供された料理が前記対象者に食べられた後の皿を撮像した画像である食後画像とを取得する取得部と、
前記料理画像情報のうち、前記取得部によって取得された料理の識別情報に対応する前記食前画像と、前記取得部によって取得された前記食後画像とを照合し、前記料理の食べ残しの有無を判定する判定部と、
を有することを特徴とする処理装置。

【請求項2】

前記料理画像情報は、複数の皿に盛りつけられる料理については、各皿の前記食前画像が前記料理の識別情報に対応付けられ、
前記取得部は、皿ごとに前記食後画像を取得し、
前記判定部は、皿ごとに、前記食前画像と前記食後画像とを照合して前記料理の食べ残しの割合を判定し、各皿に対する判定結果を統合し、統合結果を基に前記料理の食べ残しの割合を判定することを特徴とする請求項１に記載の処理装置。

【請求項3】

前記記憶部は、前記対象者の識別情報を含むユーザ情報をさらに
記憶し、
前記ユーザ情報を参照し、前記対象者に、前記判定部による前記料理の食べ残しに対する判定結果に応じた特典を付与する付与部をさらに有することを特徴とする請求項１または２に記載の処理装置。

【請求項4】

前記付与部は、前記対象者に付与する特典を、前記料理の食べ残しが少ないほど高くすることを特徴とする請求項３に記載の処理装置。

【請求項5】

処理装置が実行する処理方法であって、
前記処理装置は、料理の識別情報と、皿に盛り付けられた前記料理の画像である食前画像とを対応付けた料理画像情報を記憶する記憶部を有し、
対象者に提供された料理の識別情報と、前記提供された料理が前記対象者に食べられた後の皿を撮像した画像である食後画像とを取得する工程と、
前記料理画像情報のうち、前記取得する工程において取得された料理の識別情報に対応する前記食前画像と、前記取得する工程において取得された前記食後画像とを照合し、前記料理の食べ残しの有無を判定する工程と、
を含んだことを特徴とする処理方法。

【請求項6】

コンピュータを請求項１～４のいずれか一つに記載の処理装置として機能させるための処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、処理装置、処理方法及び処理プログラムに関する。

【背景技術】

【0002】

近年、スマートフォンの普及により、スマートフォンに、例えば、飲食店が提供するアプリケーションをインストールし、スマートフォン上で、メニューを閲覧可能とする手法や、ポイントやクーポンを管理する手法が広がっている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－０９７５８５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

経済、環境及び社会的な面から、廃棄食品の削減が望まれている。例えば、飲食店では、客に提供した料理が食べ残された場合に、食品の廃棄が発生する。このような食べ残しを減らすためにも、食べ残しの有無をチェックする機能が要望されている。

【0005】

本発明は、上記に鑑みてなされたものであって、食べ残しの有無を適切に判定することができる処理装置、処理方法及び処理プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上述した課題を解決し、目的を達成するために、本発明に係る処理装置は、料理の識別情報と、皿に盛り付けられた料理の画像である食前画像とを対応付けた料理画像情報を記憶する記憶部と、対象者に提供された料理の識別情報と、提供された料理が対象者に食べられた後の皿を撮像した画像である食後画像とを取得する取得部と、料理画像情報のうち、取得部によって取得された料理の識別情報に対応する食前画像と、取得部によって取得された食後画像とを照合し、料理の食べ残しの有無を判定する判定部と、を有することを特徴とする。

【発明の効果】

【0007】

本発明によれば、食べ残しの有無を適切に判定することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、実施の形態に係る通信システムの構成の一例を示すブロック図である。

【図2】図２は、図１に示すサーバ装置の構成の一例を示すブロック図である。

【図3】図３は、料理画像情報のデータ構成を示す図である。

【図4】図４は、ユーザ情報のデータ構成を示す図である。

【図5】図５は、付与ルールのデータ構成を示す図である。

【図6】図６は、ユーザ端末の画面の一例を示す図である。

【図7】図７は、ユーザ端末の画面の一例を示す図である。

【図8】図８は、ユーザ端末の画面の一例を示す図である。

【図9】図９は、実施の形態に係る通信処理の処理手順の一例を示すシーケンス図である。

【図10】図１０は、図９に示す食べ残し判定処理の処理手順を示すフローチャートである。

【図11】図１１は、実施の形態の変形例に係る通信処理の処理手順の一例を示すシーケンス図である。

【図12】図１２は、プログラムを実行するコンピュータを示す図である。

【発明を実施するための形態】

【0009】

以下に、本願に係る処理装置、処理方法及び処理プログラムの実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態により本願に係る処理装置及び処理方法が限定されるものではない。

【0010】

［実施の形態］
まず、実施の形態について説明する。実施の形態では、料理を提供する店舗の来店客（ユーザ（対象者））に対し、食べ残しの有無を判定し、食べ残しの有無に応じてポイントを付与する通信システムについて説明する。

【0011】

［通信システムの構成］
実施の形態に係る通信システムの構成を説明する。図１は、実施の形態に係る通信システムの構成の一例を示すブロック図である。

【0012】

図１に示すように、実施の形態に係る通信システムは、各ユーザのクーポン及び／またはポイントを管理するサーバ装置１０（処理装置）と、来店客であるユーザが有するユーザ端末２０とを有する。なお、図１に示す構成は一例にすぎず、具体的な構成や各装置の数は特に限定されない。

【0013】

サーバ装置１０は、例えば、店舗で導入している、ポイント付与或いはクーポンの発行を管理するポイント用アプリケーションを介して、ユーザ端末２０と通信を行う。サーバ装置１０は、予め、店舗で提供される料理が皿に盛りつけられた食前画像を料理ごとに登録する。そして、サーバ装置１０は、店舗においてユーザに提供された料理がユーザに食べられた後の皿を撮像した食後画像を取得し、食前画像と照合することで、料理の食べ残しの有無を判定する。そして、サーバ装置１０は、食べ残しの有無に応じて、ユーザにポイントを付与する。

【0014】

ユーザ端末２０は、撮像機能、通信機能、情報出力機能を有する。ユーザ端末２０は、例えば、タブレット、スマートフォン等のスマートデバイスである。ユーザ端末２０には、ポイント用アプリケーションがダウンロードされており、ポイント用アプリケーションが起動されることで、来店している店舗で提供しているメニューの表示、料理の注文を可能とする。また、ユーザ端末２０は、このポイント用アプリケーションを介して、ユーザによって料理が食べられた後の皿の画像である食後画像を撮像し、サーバ装置１０に送信する。ユーザ端末２０は、サーバ装置１０からポイント情報を受信した場合には、このユーザに、来店している店舗について付与されたポイントを表示する。

【0015】

［サーバ装置］
次に、サーバ装置１０について説明する。図２は、図１に示すサーバ装置１０の構成の一例を示すブロック図である。図２に示すように、サーバ装置１０は、各種情報に関する通信を制御する通信部１１（送信部）、制御部１３による各種処理に必要なデータおよびプログラムを格納する記憶部１２、及び、種々の処理を実行する制御部１３を有する。

【0016】

通信部１１は、ネットワーク等を介して接続された他の装置との間で、各種情報を送受信する通信インタフェースである。通信部１１は、ＮＩＣ（Network Interface Card）等で実現され、ＬＡＮ（Local Area Network）やインターネットなどの電気通信回線を介した他の装置（例えば、ユーザ端末２０）と制御部１３（後述）との間の通信を行う。例えば、通信部１１は、ネットワークＮを介して、ユーザ端末２０から送信された食後画像を受信する。また、通信部１１は、ユーザ端末２０のユーザに、来店している店舗について付与されたポイントを示すポイント情報をユーザ端末２０に送信する。

【0017】

記憶部１２は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の記憶装置である。なお、記憶部１２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）等のデータを書き換え可能な半導体メモリであってもよい。記憶部１２は、サーバ装置１０で実行されるＯＳ（Operating System）や各種プログラムを記憶する。さらに、記憶部１２は、プログラムの実行で用いられる各種情報を記憶する。記憶部１２は、料理画像情報１２１、ユーザ情報１２２及び付与ルール１２３を記憶する。

【0018】

料理画像情報１２１は、店舗において提供される料理の識別情報と、皿に盛り付けられた料理の画像である食前画像とを対応付けた情報である。図３は、料理画像情報１２１のデータ構成を示す図である。

【0019】

図３に示すように、料理画像情報１２１は、店舗の識別情報、店舗にて提供される料理の識別情報、及び、皿に盛り付けられた料理の画像である食前画像を対応付けて記憶する。食前画像は、例えば、予め、各店舗で撮像され、店舗の識別情報及び料理の識別情報に対応付けて料理画像情報１２１に登録される。また、料理画像情報１２１では、複数の皿に盛りつけられる定食、セット、コース等の料理については、各皿の食前画像が、その料理の識別情報に対応付けられる。

【0020】

例えば、図３の例では、店舗Ｐ１については、料理Ｍａ，Ｍｂ，Ｍｃが提供されることを示す。そして、料理Ｍａでは、２枚の皿に料理が盛り付けられており、各皿の食前画像Ｇａ１，Ｇａ２が対応付けられている。

【0021】

ユーザ情報１２２は、店舗の利用客として登録されている各ユーザに関する情報である。ユーザ情報１２２は、例えば、ユーザの識別情報、氏名、各店舗のポイントを対応付けた情報である。図４は、ユーザ情報１２２のデータ構成を示す図である。

【0022】

図４に示すように、ユーザ情報１２２は、例えば、ユーザのＩＤ、氏名、各店舗で付与されているポイントを項目として有する。ユーザの氏名は、例えば、店舗で導入しているアプリケーションをダウンロードした際に登録される。例えば、ＩＤ「１１１」のユーザは、氏名「Ａ」であり、店舗Ｐ１では３００ポイントが付与されており、店舗Ｐ２では６００ポイントが付与されている。

【0023】

付与ルール１２３は、食べ残しの有無に応じて、ユーザにポイントを付与する際に使用されるルールである。図５は、付与ルール１２３のデータ構成を示す図である。図５に示すように、付与ルール１２３は、例えば、食べ残しの割合と、付与するポイントを項目として有する。

【0024】

図５の例では、食べ残しがない場合には、その料理を注文したユーザに、通常ポイントの２倍のポイントを付与することが設定される。食べ残しがあるもののその食べ残しが２５％未満である場合には、通常ポイントの１．５倍のポイントを付与することが設定される。食べ残しが５０％以上である場合には、通常ポイントの１倍のポイントを付与することが設定される。食べ残しの割合は、判定部１３２（後述）によって判定される。

【0025】

制御部１３は、サーバ装置１０全体を制御する。制御部１３は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路である。また、制御部１３は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、内部メモリを用いて各処理を実行する。また、制御部１３は、各種のプログラムが動作することにより各種の処理部として機能する。制御部１３は、取得部１３１、判定部１３２及び付与部１３３を有する。

【0026】

取得部１３１は、ユーザ（対象者）に提供された料理の識別情報と、提供された料理がユーザに食べられた後の皿を撮像した画像である食後画像とを取得する。例えば、取得部１３１は、ユーザ端末２０にダウンロードされたポイント用アプリケーションを介して、ユーザ端末２０から、このユーザに提供された料理の識別情報とその食後画像とを取得する。

【0027】

図６～図８は、ユーザ端末２０の画面の一例を示す図である。例えば、ポイント用アプリケーションを起動すると、ホームボタン、オーダーボタンＢ１、撮影ボタンＢ２、ポイントボタンＢ３が表示された画面Ｖ１がユーザ端末２０に表示される。画面Ｖ１には、「今ならカレー定食完食でポイント２倍！！」というコメントＲ１が表示される。

【0028】

ユーザは、来店した店舗を選択後、オーダーボタンＢ１を押すと、この店舗のメニューを閲覧可能である。そして、ユーザが、表示されたメニューのうち、所望の料理（例えば、カレーとサラダがセットになったカレー定食）を選択し、注文操作を行う。これによって、料理が注文されるとともに、このユーザが注文した料理の識別情報を示す注文情報が、ユーザ端末２０からサーバ装置１０に送信される。取得部１３１は、この注文情報を受信することで、このユーザに提供される料理の識別情報を取得する。

【0029】

そして、ユーザは、店舗から提供された料理を食べた後に、画面Ｖ１の撮影ボタンＢ２を選択して、食べた後の皿の画像（食後画像）を撮像する。例えば、ユーザが撮影ボタンＢ２を押すと、ユーザ端末２０の画面は、撮影画面Ｖ２に遷移する。

【0030】

ユーザがカレー定食を注文した場合、撮影画面Ｖ２には、注文した料理名「カレー定食」が表示される。そして、撮影画面Ｖ２には、カレーの皿とサラダの皿との撮影領域が枠線で表示される。ユーザは、各枠に合わせて、カレーの皿とサラダの皿とを撮影する。これによって、ユーザ端末２０では、カレー定食のカレーの皿に対応する食後画像と、サラダの皿に対応する食後画像とがそれぞれ撮影される。これらの食後画像は、ユーザ端末２０からサーバ装置１０に送信される。これにより、取得部１３１は、皿ごとの食後画像を取得する。

【0031】

判定部１３２は、料理画像情報１２１のうち、取得部１３１によって取得された料理の識別情報に対応する食前画像と、取得部１３１によって取得された食後画像とを照合し、料理の食べ残しの有無を判定する。この際、判定部１３２は、皿ごとに、食前画像と食後画像とを照合して料理の食べ残しの割合を判定する。そして、判定部１３２は、各皿に対する判定結果を統合し、統合結果を基に料理の食べ残しの割合を判定する。

【0032】

例えば、ユーザがカレー定食を注文した場合を例に説明する。まず、判定部１３２は、カレー定食のうち、カレーが盛られた皿の食前画像と、ユーザ端末２０から送信されたカレーの皿の食後画像とを照合し、カレーの皿の食べ残しの割合を判定する。判定部１３２は、例えば、食べ残された皿の画像と、その皿の食べ残しの割合とを対応付けた複数組の画像データを基に訓練されたモデルを用いて、食べ残し判定を行う。或いは、判定部１３２は、食前画像と食後画像とで色が異なる領域を抽出し、その領域が皿全体に占める割合を、食べ残しの割合として算出してもよい。

【0033】

続いて、判定部１３２は、サラダの皿についても、食後画像と食前画像とを照合して、食べ残しの割合を求める。例えば、カレーの皿の食べ残しが「２５％」であり、サラダの皿の食べ残しが「０％」であった。この場合、判定部１３２は、画面Ｖ３（図８）のように、カレーの食後画像Ｇ１上にテキスト「２５％の食べ残し」と、サラダの食後画像Ｇ２の上にテキスト「１００％完食」を、ユーザ端末２０に表示させてもよい。

【0034】

そして、判定部１３２は、それぞれ求めたカレーの皿とサラダの皿との食べ残しの割合を、カレー定食におけるカレーの比率とサラダの比率とに応じてそれぞれ換算し、換算後の各割合を加算する。判定部１３２は、この加算値を、カレー定食全体の食べ残しの割合とする。

【0035】

なお、各皿に対する判定結果の統合処理は上記の処理に限らない。例えば、判定部１３２は、食べ残しの割合が大きいほどレベル値が大きくなるように、皿ごとにレベルを判定する。そして、判定部１３２は、各皿のレベル値の合計値や平均値等を基に、料理全体の食べ残しを段階的に判定してもよい。また、判定部１３２は、料理全体に対する食べ残しの割合を求めるほか、単に、料理の食べ残しがあるか否かを判定するだけでもよい。

【0036】

付与部１３３は、ユーザ情報１２２を参照し、判定部１３２による料理の食べ残しに対する判定結果に応じた特典をユーザに付与する。付与部１３３は、ユーザに付与する特典を、料理の食べ残しが少ないほど高くする。付与部１３３は、付与ルール１２３に従って、特典として、例えばポイントをユーザに付与する。

【0037】

例えば、図５に例示する付与ルールに従って、付与部１３３は、カレー定食を完食したユーザに、通常ポイントの２倍のポイントを付与する。また、付与部１３３は、図５に例示する付与ルールに従って、カレー定食の食べ残しが２０％であるユーザに、通常ポイントの１．５倍のポイントを付与する。このように、付与部１３３は、食べ残しの割合に応じて、ユーザに付与するポイントを変更させる。

【0038】

また、判定部１３２が料理の食べ残しがあるか否かのみを判定する場合、付与部１３３は、注文した料理を完食したユーザには、例えば、通常ポイントの２倍のポイントを付与し、食べ残しがあったユーザには、通常ポイントを付与する。ユーザは、例えば、画面Ｖ１のポイントボタンＢ３を選択することで、最新のポイント情報を確認することができる。付与部１３３は、ポイントのほか、食べ残しの割合に応じたクーポンや信用スコアなどを付与してもよい。

【0039】

なお、判定部１３２は、食後画像を画像解析し、食べ残された食材を認識して、この食材をユーザ端末２０に通知してもよい。判定部１３２は、例えば、子供が残した食材を保護者の端末に通知し、子供が苦手である食材が分かるようにしてもよい。

【0040】

［通信処理の処理手順］
次に、図１に示す通信システムの通信処理の処理手順について説明する。図９は、実施の形態に係る通信処理の処理手順の一例を示すシーケンス図である。

【0041】

図９に示すように、ユーザ端末２０では、ユーザによって、この店舗のポイント用アプリケーションが起動され（ステップＳ１）、このユーザのログイン情報がサーバ装置１０に送信される（ステップＳ２）。サーバ装置１０は、ユーザ情報を参照し（ステップＳ３）、ユーザログイン情報を基に、ログインしたユーザを特定する。

【0042】

ユーザ端末２０は、ユーザによって、ユーザが来店中の店舗が選択されると（ステップＳ４）、ユーザが来店中の店舗を示す情報をサーバ装置１０に送信する（ステップＳ５）。

【0043】

ユーザ端末２０は、ポイント用アプリケーションにより、ユーザが来店中の店舗のメニューを表示し（ステップＳ６）、ユーザによる注文を受けると（ステップＳ７）、ユーザが注文した料理を示す注文情報をサーバ装置１０に送信する（ステップＳ８）。サーバ装置１０は、ユーザ端末２０から送信された注文情報を受信することで、このユーザ端末２０のユーザに提供される料理の識別情報を取得する。

【0044】

ユーザが食事を終えると、ユーザ端末２０は、食後の皿の画像（食後画像）を皿ごとに撮像し（ステップＳ９）、食後画像をサーバ装置１０に送信する（ステップＳ１０）。

【0045】

サーバ装置１０は、ユーザ端末２０から食後画像を受信すると、ユーザが注文した料理の識別情報に対応する食前画像と、受信した食後画像とを照合し、料理の食べ残しの有無を判定する食べ残し判定処理を行う（ステップＳ１１）。

【0046】

サーバ装置１０は、食べ残し判定処理の判定結果に応じたポイントをユーザに付与し（ステップＳ１２）、ユーザ情報１２２を更新する（ステップＳ１３）。すなわち、サーバ装置１０は、ユーザ情報１２２のうち、ユーザ端末２０のユーザのポイントに、食べ残し判定処理の判定結果に応じたポイントを加算する。サーバ装置１０は、更新後のポイントを示すポイント情報をユーザ端末２０に送信し（ステップＳ１４）、ユーザ端末２０に、更新後のポイントを表示させる（ステップＳ１５）。

【0047】

［食べ残し判定処理］
次に、図９に示す食べ残し判定処理（ステップＳ１１）について説明する。図１０は、図９に示す食べ残し判定処理の処理手順を示すフローチャートである。なお、図１０では、皿ごとに食べ残しの割合を判定する場合を例に説明する。

【0048】

サーバ装置１０は、料理画像情報１２１のうち、ユーザ端末２０のユーザによって注文された料理の食前画像を参照する（ステップＳ２１）。そして、サーバ装置１０は、ユーザ端末２０から各皿の食後画像を受信することで、各皿の食後画像を取得する（ステップＳ２２）。サーバ装置１０は、皿の数ｋをｋ＝１に初期化する（ステップＳ２３）。

【0049】

そして、サーバ装置１０は、ｋ枚目の皿について、食前画像と食後画像とを照合し（ステップＳ２４）、この皿に盛りつけられた料理の食べ残しの割合を判定する（ステップＳ２５）。

【0050】

続いて、サーバ装置１０は、この料理の全皿数Ｋとｋとを比較し、ｋ＝Ｋであるか否かを判定する（ステップＳ２６）。なお、料理の全皿数Ｋは、例えば、料理画像情報１２１に登録された各皿の食前画像の合計数より求められる。ｋ＝Ｋでない場合（ステップＳ２６：Ｎｏ）、サーバ装置１０は、ｋに１を加算し（ステップＳ２７）、ステップＳ２４に戻り、次の皿について食べ残しの割合を判定する。

【0051】

また、ｋ＝Ｋである場合（ステップＳ２６：Ｙｅｓ）、サーバ装置１０は、各皿に対する判定結果を統合し（ステップＳ２８）、統合結果を基に、ユーザによる料理全体の食べ残しの割合を求めて、食べ残し判定処理を終了する。なお、サーバ装置１０は、料理全体の食べ残しの割合に加え、皿ごとの食べ残しの各割合も、判定結果として出力してもよい。

【0052】

［実施の形態の効果］
実施の形態に係るサーバ装置１０は、予め、店舗で提供される料理が皿に盛りつけられた食前画像を料理ごとに登録する。そして、サーバ装置１０は、店舗においてユーザに提供された料理の食後画像を取得し、食前画像と照合することで、料理の食べ残しの有無を判定する。サーバ装置１０は、このような処理を行うことで、食べ残しの有無を適切に判定することができる。

【0053】

そして、サーバ装置１０は、皿ごとの食後画像を取得し、皿ごとに、食前画像と食後画像とを照合して料理の食べ残しの割合を判定する。そして、サーバ装置１０は、各皿に対する判定結果を統合し、統合結果を基に料理の食べ残しの割合を判定することで、高精度な判定を行うことができる。

【0054】

また、サーバ装置１０は、食べ残しの判定結果に応じて、ポイント等の特典を付与することで、来店者に、適切な量の料理の注文や料理の完食を促し、食品の廃棄量の削減を図る効果も奏する。

【0055】

［実施の形態の変形例］
なお、食後画像の送信元は、ユーザ端末２０でなくともよい。例えば、店舗の各席に設置された注文用のタブレット（店舗端末３０）が食後画像を撮像して、サーバ装置１０に送信する。図１１は、実施の形態の変形例に係る通信処理の処理手順の一例を示すシーケンス図である。

【0056】

図１１に示すように、店舗端末３０が、メニューを表示し（ステップＳ４１）、ユーザによる注文を受けると（ステップＳ４２）、ユーザが注文した料理を示す注文情報を、この店舗端末３０が設定されている店舗の識別情報とともに、サーバ装置１０に送信する（ステップＳ４３）。

【0057】

そして、ユーザが食事を終えると、店舗端末３０が、食後画像を皿ごとに撮像し（ステップＳ４４）、食後画像をサーバ装置１０に送信する（ステップＳ４５）。ステップＳ４６は、図９に示すステップＳ１１と同じ処理である。サーバ装置１０は、食べ残し判定処理の判定結果に応じたポイントを付与し（ステップＳ４７）、付与したポイントを示すポイント情報を店舗端末３０に送信する（ステップＳ４８）。店舗端末３０は、付与されたポイントを示すコード画像を表示する（ステップＳ４９）。

【0058】

ユーザ端末２０では、ユーザによって、この店舗のポイント用アプリケーションが起動され（ステップＳ５０）、このユーザのログイン情報がサーバ装置１０に送信される（ステップＳ５１）。サーバ装置１０は、ユーザ情報を参照し（ステップＳ５３）、ユーザログイン情報を基に、ログインしたユーザを特定する。

【0059】

ユーザ端末２０は、ポイント用アプリケーションを介して、店舗端末３０に表示されたコード画像を撮像して、コードを読み取り（ステップＳ５２）、読み取ったコードで示されたポイントについて、サーバ装置１０との間で通信を行う（ステップＳ５４）。これによって、サーバ装置１０は、ユーザ情報１２２のうち、ユーザ端末２０のユーザのポイントに、食べ残し判定処理の判定結果に応じたポイントを加算して、ユーザ情報１２２を更新する（ステップＳ５５）。そして、サーバ装置１０は、更新後のポイントをユーザ端末２０に表示させる（ステップＳ５６）。

【0060】

また、食べ残し判定は、食品廃棄の削減以外の目的にも適用することができる。例えば、病院の入院患者の食事に食べ残し判定を適用し、この患者の食事状態を、病院のカルテに反映して、患者の経過観察に役立ててもよい。食事全体の食べ残しの割合のほか、皿ごとの食べ残しの割合や、食べ残した食材をカルテに反映することで、患者の詳細な食事状態を、医師や看護師等が把握することができる。病院では、食べ残しの判定結果を基に、患者に提供する次の食事の内容を調整することも可能である。

【0061】

また、病院の入院患者に限らず、施設に入所する高齢者等に食べ残し判定を適用してもよい。また、離乳中の小児に食べ残し判定を適用し、どの離乳食をどのくらいの量食べたかを記録して、次の離乳食の準備等に反映できるようにしてもよい。

【0062】

［システム構成等］
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵやＧＰＵ及び当該ＣＰＵやＧＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

【0063】

また、本実施形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

【0064】

［プログラム］
また、上記実施形態において説明したサーバ装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。例えば、実施形態におけるサーバ装置１０が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。この場合、コンピュータがプログラムを実行することにより、上記実施形態と同様の効果を得ることができる。さらに、かかるプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータに読み込ませて実行することにより上記実施形態と同様の処理を実現してもよい。

【0065】

図１２は、プログラムを実行するコンピュータを示す図である。図１２に例示するように、コンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有し、これらの各部はバス１０８０によって接続される。

【0066】

メモリ１０１０は、図１２に例示するように、ＲＯＭ（Read Only Memory）１０１１及びＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic Input Output System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、図１２に例示するように、ハードディスクドライブ１０９０に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１１００に接続される。例えば磁気ディスクや光ディスク等の着脱可能な記憶媒体が、ディスクドライブ１１００に挿入される。シリアルポートインタフェース１０５０は、例えばマウス１１１０、キーボード１１２０に接続される。ビデオアダプタ１０６０は、例えばディスプレイ１１３０に接続される。

【0067】

ここで、図１２に例示するように、ハードディスクドライブ１０９０は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３、プログラムデータ１０９４を記憶する。すなわち、上記の、プログラムは、コンピュータ１０００によって実行される指令が記述されたプログラムモジュールとして、例えばハードディスクドライブ１０９０に記憶される。

【0068】

また、上記実施形態で説明した各種データは、プログラムデータとして、例えばメモリ１０１０やハードディスクドライブ１０９０に記憶される。そして、ＣＰＵ１０２０が、メモリ１０１０やハードディスクドライブ１０９０に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出し、各種処理手順を実行する。

【0069】

なお、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０９０に記憶される場合に限られず、例えば着脱可能な記憶媒体に記憶され、ディスクドライブ等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ネットワーク（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等）を介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。

【0070】

上記の実施形態やその変形は、本願が開示する技術に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0071】

１０ サーバ装置
１１ 通信部
１２ 記憶部
１３ 制御部
２０ ユーザ端末
３０ 店舗端末
１２１ 料理画像情報
１２２ ユーザ情報
１２３ 付与ルール
１３１ 取得部
１３２ 判定部
１３３ 付与部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】