特開 2023-131225 料理提供サポートシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023131225

(43)【公開日】2023-09-22

(54)【発明の名称】料理提供サポートシステム

(51)【国際特許分類】

   G06Q 50/12 20120101AFI20230914BHJP

【ＦＩ】

G06Q50/12

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022035826

(22)【出願日】2022-03-09

(71)【出願人】

【識別番号】000006231

【氏名又は名称】株式会社村田製作所

(74)【代理人】

【識別番号】110000970

【氏名又は名称】弁理士法人 楓国際特許事務所

(72)【発明者】

【氏名】安藤 正道

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC24

(57)【要約】

【課題】料理人と客とをコミュニケーションを実現しながら、提供する料理を間違える問題が発生する可能性を低下し、衛生的な問題を解消する。
【解決手段】
料理提供サポートシステム１０は、カメラ２０、および、表示器４０を備える。カメラ２０は、提供者と顧客の間に位置するように設けられたカウンター９０上に配置された提供物の少なくとも一部を撮像する。表示器４０は、カメラ２０が撮像した画像および／もしくはカメラ２０が撮像した画像に基づく情報を表示する。表示器４０は、提供者から見えるように且つ顧客から見えないようにカウンターに配置される。
【選択図】 図１

【特許請求の範囲】

【請求項1】

提供者と顧客の間に位置するように設けられたカウンターを有する店舗に用いられる料理提供サポートシステムであって、
前記カウンター上に配置された提供物の少なくとも一部を撮像するカメラと、
前記カメラが撮像した画像および／もしくは前記カメラが撮像した画像に基づく情報を表示する第１ディスプレイと、を備え、
前記第１ディスプレイは、前記提供者から見えるように且つ前記顧客から見えないように前記カウンターに配置される、
料理提供サポートシステム。

【請求項2】

前記画像を用いて前記提供物を識別する識別部を備える、
請求項１に記載の料理提供サポートシステム。

【請求項3】

前記識別部は、前記提供物の識別結果に基づく料理サポート情報を生成し、
前記第１ディスプレイは、前記料理サポート情報を表示する、
請求項２に記載の料理提供サポートシステム。

【請求項4】

前記料理サポート情報は、前記提供物の提供時刻、または、提供からの経過時間を含む、
請求項３に記載の料理提供サポートシステム。

【請求項5】

前記提供物の識別に用いるリファレンスデータを記憶した識別用のデータベースを備え、
前記識別部は、前記画像と前記リファレンスデータとを用いて、前記提供物を識別する、
請求項３または請求項４に記載の料理提供サポートシステム。

【請求項6】

前記識別部は、前記識別結果を前記データベースにフィードバックし、
前記データベースは、フィードバックされた前記識別結果を用いて前記リファレンスデータを補正して更新する、
請求項５に記載の料理提供サポートシステム。

【請求項7】

前記提供物の識別結果に基づいて前記提供物の料金を計算する料金計算部を備える、
請求項３乃至請求項６のいずれかに記載の料理提供サポートシステム。

【請求項8】

前記顧客から見えるように前記カウンターに配置された第２ディスプレイを備え、
前記識別部は、前記提供物の識別結果に基づいて客用の料理情報を生成し、
前記第２ディスプレイは、前記客用の料理情報を表示する、
請求項３乃至請求項７のいずれかに記載の料理提供サポートシステム。

【請求項9】

前記識別部は、前記顧客の国籍を識別し、
前記第２ディスプレイは、前記国籍に応じた言語で前記客用の料理情報を表示する、
請求項８に記載の料理提供サポートシステム。

【請求項10】

前記カメラは、前記顧客側を撮像可能であり、
前記識別部は、前記画像から客を識別し、該識別した客の関連情報を生成し、
前記第１ディスプレイは、前記顧客の関連情報を表示する、
請求項３乃至請求項９のいずれかに記載の料理提供サポートシステム。

【請求項11】

前記顧客の関連情報は、前記顧客の注文履歴または嗜好を含む、
請求項１０に記載の料理提供サポートシステム。

【請求項12】

前記料理サポート情報は、前記顧客に応じた前記提供物の提供順番を含む、
請求項１０または請求項１１に記載の料理提供サポートシステム。

【請求項13】

前記識別部は、形状、色、模様、輝度を用いて前記提供物を識別する、
請求項２乃至請求項１２のいずれかに記載の料理提供サポートシステム。

【請求項14】

提供者と顧客の間に位置するように設けられたカウンターと、
前記カウンター上に配置された提供物の少なくとも一部を撮像するカメラと、
前記カメラが撮像した画像および／もしくは前記カメラが撮像した画像に基づく情報を表示する第１ディスプレイと、を備え、
前記第１ディスプレイは、前記提供者から見えるように且つ前記顧客から見えないよう に前記カウンターに配置される、
料理提供サポートシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対面式の料理店における料理の提供をサポートする技術に関する。

【背景技術】

【0002】

特許文献１には、オーダーシステムが記載されている。特許文献１に記載のオーダーシステムは、ターンテーブルが備えられたカウンター、客側タッチパネル、および、店側タッチパネルを備える。

【0003】

客は、客側タッチパネルを操作して、料理をオーダーする。料理人は、店側タッチパネルを視て調理を行う。料理人は、ターンテーブルに料理を載せる。ターンテーブルは回転し、料理は、客に提供される。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平１１－３１８６８０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１のオーダーシステムでは、客と料理人との間に、ターンテーブルや客側タッチパネルが装備されたカウンターが配置され、客と料理人とがコミュニケーションをとり難い。

【0006】

また、料理人は注文があるたびにタッチパネルを操作しなければならず、料理人は料理に集中し難くいため提供する料理を間違える問題が発生する可能性があり、衛生的な問題も発生し易い。

【0007】

したがって、本発明の目的は、料理人と客とをコミュニケーションを実現しながら、提供する料理を間違える問題が発生する可能性を低下し、衛生的な問題を解消できる料理提供サポートシステムを実現することにある。

【課題を解決するための手段】

【0008】

この発明の料理提供サポートシステムは、カメラ、および、第１ディスプレイを備える。カメラは、提供者と顧客の間に位置するように設けられたカウンター上に配置された提供物の少なくとも一部を撮像する。第１ディスプレイは、カメラが撮像した画像および／もしくはカメラが撮像した画像に基づく情報を表示する。第１ディスプレイは、提供者から見えるように且つ顧客から見えないようにカウンターに配置される。

【0009】

この構成では、料理人は、食材や調理器具以外のものを触ることなく、客に提供した料理を容易に把握できる。また、客は注文操作を行う必要がなく、料理人は確認操作を行う必要がなく、料理を通したコミュニケーションが容易になる。

【発明の効果】

【0010】

この発明によれば、料理人と客とをコミュニケーションを実現しながら、料理人の不要な負担を軽減し、衛生的な問題を解消できる。

【図面の簡単な説明】

【0011】

【図1】図１は、第１の実施形態に係る料理提供サポートシステムの機能ブロック図である。

【図2】図２は、第１の実施形態に係る料理提供サポートシステムが配置される店の一態様を示す図である。

【図3】図３（Ａ）は、識別部の機能ブロック図であり、図３（Ｂ）は、種類識別部の機能ブロック図である。

【図4】図４は、撮像状態の一例を示す拡大図である。

【図5】図５は、表示態様の一例を示す図である。

【図6】図６は、第１の実施形態に係る料理識別および表示方法の一例を示すフローチャートである。

【図7】図７は、第１の実施形態に係る識別方法の一例を示すフローチャートである。

【図8】図８は、第１の実施形態に係るリファレンスデータの更新方法の一例を示すフローチャートである。

【図9】図９は、第１の実施形態に係る会計方法の一例を示すフローチャートである。

【図10】図１０は、第１の実施形態に係る料理画像の表示方法の一例を示すフローチャートである。

【図11】図１１は、第２の実施形態に係る料理提供サポートシステムの機能ブロック図である。

【図12】図１２は、第２の実施形態に係る料理提供サポートシステムが配置される店の一態様を示す図である。

【図13】図１３は、第２の実施形態に係る識別部の一例を示す機能ブロック図である。

【図14】図１４は、お任せコースの場合の表示の一例を示す図である。

【図15】図１５は、お好みコースを提供する場合の料理提供サポート方法の一例を示すフローチャートである。

【図16】図１６は、第３の実施形態に係る料理提供サポートシステムの機能ブロック図である。

【図17】図１７は、第３の実施形態に係る料理提供サポートシステムが配置される店の一態様を示す図である。

【図18】図１８は、第３の実施形態に係る識別部の一例を示す機能ブロック図である。

【図19】図１９は、料理関連情報の表示の一例を示す図である。

【図20】図２０は、第４の実施形態に係る料理提供サポートシステムの機能ブロック図である。

【発明を実施するための形態】

【0012】

［第１の実施形態］
本発明の第１の実施形態に係る料理提供サポートシステムについて、図を参照して説明する。なお、本願発明の各実施形態では、料理提供サポートシステムが設置される料理店として寿司屋を例に説明する。しかしながら、料理提供サポートシステムが設置される料理店は、寿司屋に限らない。この料理提供サポートシステムは、料理人（本発明の「提供者」）が対面式で客（顧客）に料理（本発明の「提供物」）を提供する店であれば、いずれの店であっても適応できる。

【0013】

（料理提供サポートシステム）
図１は、第１の実施形態に係る料理提供サポートシステムの機能ブロック図である。図２は、第１の実施形態に係る料理提供サポートシステムが配置される店の一態様を示す図である。図３（Ａ）は、識別部の機能ブロック図であり、図３（Ｂ）は、種類識別部の機能ブロック図である。図４は、撮像状態の一例を示す拡大図である。

【0014】

図１に示すように、料理提供サポートシステム１０は、カメラ２０、情報処理装置３０、および、表示器４０を備える。

【0015】

図２に示すように、料理店には、カウンター９０が設置されている。カウンター９０は、料理人側と客側とを分ける形状である。カウンター９０が、本発明の「台」に対応する。カウンター９０は、料理人側の台部９１、客側の台部９２、料理提供用の台部９３を備える。料理提供用の台部９３は、料理人側の台部９１と客側の台部９２とに挟まれている。料理提供用の台部９３の天面（料理提供面）９３０は、料理人側の台部９１の天面９１０、客側の台部９２の天面９２０よりも高い位置に配置される。

【0016】

料理人は、料理人側の台部９１を用いて寿司を握る（調理を行う）。料理人は、握った寿司を天面９３０に置く。客は、天面９３０に置かれた寿司をとり、例えば、客側の台部９２の天面９２０上におかれた醤油等に寿司をつけて食べる。

【0017】

このような形態の料理店に対して、カメラ２０は、天面９３０の所定領域が撮像範囲２００（図４参照）となるように設置される。例えば、図２に示すように、カメラ２０は、天面９３０の直上で、料理店の天井に設置される。

【0018】

カメラ２０は、予め設定したフレームレートで撮像する。ここで、図４に示すように、寿司８０が天面９３０に置かれていれば、撮像範囲２００内に寿司８０が入り、寿司８０の画像を含む撮像データが得られる。カメラ２０は、撮像データ（動画像データ）を情報処理装置３０へ出力する。

【0019】

情報処理装置３０は、例えば、コンピュータ等の演算装置と、料理提供サポートのプログラムが記憶された記憶媒体とを備える。情報処理装置３０は、このプログラムを演算装置によって実行することで、実現される。

【0020】

情報処理装置３０は、例えば機能的に、識別部３１、料金計算部３２、および、出力ＩＦ３３を備える。カメラ２０からの撮像データは、識別部３１および出力ＩＦ３３に入力される。

【0021】

図３に示すように、識別部３１は、画像取得部３３１、識別対象抽出部３３２、種類識別部３３３、提供検出部３３４、および、識別結果出力部３３５を備える。

【0022】

画像取得部３３１は、撮像データをサンプリングして、時系列に並ぶ静止画像データ（以下、単に画像データと称する）を生成する。画像取得部３３１は、時系列に並ぶ画像データを識別対象抽出部３３２に出力する。

【0023】

識別対象抽出部３３２は、時系列に並ぶそれぞれの画像データに対して、識別対象の寿司を抽出する。より具体的には、識別対象抽出部３３２は、画像処理を用いて、画像データにおける台部９３の天面９３０の部分を検出する。識別対象抽出部３３２は、画像データから天面９３０の部分を削除する。これにより、この削除処理後の画像データは、識別対象のみが残り、識別に対するノイズが削除された画像データ（抽出処理後画像データ）となる。

【0024】

識別対象抽出部３３２は、抽出処理後画像データ（識別対象が残っている画像データ）を種類識別部３３３および提供検出部３３４に出力する。

【0025】

種類識別部３３３は、時系列に並ぶ抽出処理後画像データを用いて、寿司の種類を識別する。より具体的には、種類識別部３３３は、次に示すように、寿司の種類を識別する。

【0026】

図３（Ｂ）に示すように、種類識別部３３３は、料理識別用データベース３６０、画像情報検出部３６１、評価指数算出部３６２、および、識別部３６３を備える。

【0027】

料理識別用データベース３６０は、寿司毎（寿司ネタ毎）の画像情報をリファレンスデータとして記憶している。画像情報とは、識別対象（寿司）の形状、色、模様、および輝度を含む。形状は、面積、形状を形作る外形線の長さ、傾き、角部の形状、曲線の曲率等によって定義される。色は、形状によって定義される二次元領域内での色度の分布等によって定義される。模様は、形状によって定義される二次元領域内でのコントラストの分布等によって定義される。輝度は、形状によって定義される二次元領域の明るさの分布等によって定義される。画像情報を構成するこれらの項目は、数値化されて記憶される。

【0028】

リファレンスデータは、例えば、料理人が事前に寿司毎の画像を撮像して、画像情報を取得することで、設定できる。これにより、リファレンスデータは、料理人の寿司の判断基準を反映したデータとなる。

【0029】

画像情報検出部３６１は、既知の画像処理技術を用いて抽出処理後画像データの画像情報を検出する。画像情報検出部３６１は、リファレンスデータと同様の基準で、画像情報を数値化して検出する。画像情報検出部３６１は、画像情報を評価指数算出部３６２に出力する。

【0030】

評価指数算出部３６２は、画像情報検出部３６１で検出した画像情報（検出画像情報）とリファレンスデータとを用いて、識別対象に関する評価指数を算出する。より具体的には、評価指数算出部３６２は、検出画像情報とリファレンスデータとについて、項目（形状、色、模様、輝度）毎に比較し、比較結果を統計的に処理することで、評価指数を算出する。

【0031】

例えば、評価指数算出部３６２は、項目毎に、検出画像情報とリファレンスデータとの差分値を評価指数として算出する。評価指数算出部３６２は、寿司毎に評価指数を算出する。評価指数算出部３６２は、項目毎で寿司毎の評価指数を識別部３６３に出力する。

【0032】

識別部３６３は、項目毎で寿司毎の評価指数を用いて、寿司を識別する。より具体的には、識別部３６３は、評価指数を用いた統計値を用いて、最も確からしい寿司を、識別結果として出力する。

【0033】

例えば、識別部３６３は、項目毎に、評価指数が最も小さい寿司を、今回提供された寿司として識別する。識別部３６３は、この識別を全ての項目において行う。識別部３６３は、項目毎の識別結果を統合して、最終的な識別結果を決定する。例えば、識別結果が一致する項目数が最も多い寿司を、最終的な識別結果として決定する。

【0034】

または、識別部３６３は、寿司毎に、各項目の評価指数（差分値）の統計値（合計値や平均値等）を算出する。識別部３６３は、統計値が最も小さい寿司を、最終的な識別結果として決定する。この際、識別部３６３は、項目毎に重み付けを設定して識別結果を決定してもよい。重み付けは、例えば、評価指数の誤差分散に基づいて設定できる。

【0035】

このような処理を行うことによって、識別部３６３は、天面９３０に提供されている寿司を識別できる。なお、この識別方法は一例であり、上述の画像情報を用いた別の識別方法を用いてもよい。

【0036】

識別部３６３は、識別した寿司情報（寿司の名前等）を、識別結果出力部３３５に出力する。識別部３６３は、寿司が識別されると、識別した寿司の画像データ（いずれかのフレームの静止画像データ）を、識別結果出力部３３５に出力する。

【0037】

なお、この際、識別部３６３は、識別した寿司に対応する画像情報を、料理識別用データベース３６０にフィードバックする。料理識別用データベース３６０は、フィードバックされた画像情報を用いて、リファレンスデータを補正する。この際、料理識別用データベース３６０は、リファレンスデータを主として、フィードバックされた画像情報で微補正する。例えば、料理識別用データベース３６０は、リファレンスデータに大きな重みを設定し、フィードバックされた画像情報に小さな重みを設定して、加重平均処理を行う。

【0038】

これにより、料理識別用データベース３６０は、現状の撮像状況に適したリファレンスデータに更新できる。したがって、種類識別部３３３は、より高精度に寿司を識別できる。

【0039】

提供検出部３３４は、抽出処理後画像データ（識別対象が残っている画像データ）の入力開始タイミングおよび入力終了タイミングを検出する。提供検出部３３４は、入力開始タイミングによって、料理人が寿司を提供した時刻（提供時刻）を検出する。提供検出部３３４は、入力終了タイミングによって、客が寿司をとった（食べた）時刻（食事時刻）を検出する。

【0040】

提供検出部３３４は、食事時刻を検出したことで、客が寿司を食べたことを検出し、食事検出トリガを生成する。提供検出部３３４は、提供時刻、食事時刻、食事検出トリガを識別結果出力部３３５に出力する。

【0041】

識別結果出力部３３５は、識別結果、提供時刻、食事時刻、食事検出トリガを適宜組み合わせて出力する。より具体的には、識別結果出力部３３５は、識別結果および食事検出トリガを料金計算部３２に出力する（図１参照）。識別結果出力部３３５は、少なくとも識別結果と提供時刻とを出力ＩＦ３３に出力する（図１参照）。

【0042】

料金計算部３２は、寿司毎の料金が記憶された料金データベースを備える。料金計算部３２は、食事検出トリガとともに入力された識別結果が示す寿司の料金を、料金データベースから読み出す。料金計算部３２は、読み出した料金を、それまでの料金に加算する。

【0043】

料金計算部３２は、客がすべての食事を終了するまで、この処理を繰り返す。料金計算部３２は、食事が終了したことを検出すると料金が確定する。なお、客がすべての食事を終了したことは、例えば、後述する表示器４０への食事終了の操作入力や、食事終了を示す札を台部９３の天面９３０へ置いて、画像として取得することによって、検出可能である。料金計算部３２は、確定した料金（請求料金）を出力ＩＦ３３に出力する。

【0044】

出力ＩＦ３３は、カメラ２０からの撮像データ、識別部３１からの画像データ（静止画像データ）と識別結果と提供時刻、および、料金計算部３２からの請求料金を、出力対象毎に適宜組み合わせて出力する。より具体的には、出力ＩＦ３３は、カメラ２０からの撮像データ、識別部３１からの画像データと識別結果と提供時刻を料理サポート情報として表示器４０に出力する。なお、料理サポート情報は、少なくとも画像データまたは識別結果を含んでいればよい。また、出力ＩＦ３３は、請求料金を会計端末（図示を省略）等に出力する。

【0045】

表示器４０は、例えば液晶ディスプレイ装置等によって実現される。表示器４０が、本発明の「第１ディスプレイ」に対応する。表示器４０は、カウンター９０における料理人側の台部９１の天面９１０上に配置される。表示器４０は、例えば、カウンター９０の台部９３の料理人側の側壁に立てかけられ、料理人から見えるように、且つ、客から見えないように、配置される。これにより、客は料理人が表示器４０を見ていることに気づかず、例えば、店の雰囲気（例えば、寿司屋としての粋な雰囲気）を壊さない。なお、表示器４０は、台部９３の料理人側の側壁に埋め込まれていてもよい。なお、表示器４０が料理人から見えて客から見えないような配置であれば、表示器４０の配置は、カウンター９０の台部９３の料理人側の側壁に立てかけられる態様に限らない。例えば、表示器４０は、客から表示器４０が隠れるような他の台や店舗の設備に配置されていてもよい。

【0046】

表示器４０は、入力順もしくは提供時刻に基づいて、提供順番を決定する。表示器４０は、撮像データ（動画像データ）、寿司の画像データ（静止画像データ）、識別結果、提供時刻、および、提供順番を適宜選択して表示する。

【0047】

図５は、表示態様の一例を示す図である。例えば、図５の例では、表示器４０は、提供順番４１０、画像データ（静止画像データ）４２０、提供時刻４３０、および、識別結果（寿司の名前）４４０を一組にして、表示画面４００に表示する。

【0048】

表示器４０は、提供済みの寿司に関する上記各種のデータが入力されるごとに行われる。例えば、提供時刻ｔ１で「剣先いか」寿司が提供されると、この「剣先いか」寿司の静止画像データ、識別結果「剣先いか」、提供時刻ｔ１、提供順番（１）が表示される。

【0049】

次に、提供時刻ｔ２で「こはだ」寿司が提供されると、この「こはだ」寿司の静止画像データ、識別結果「こはだ」、提供時刻ｔ２、提供順番（２）が表示される。これら「こはだ」寿司に関するデータ群は、「剣先いか」寿司に関するデータ群に並んで表示される。

【0050】

さらに、提供時刻ｔ３で「はまち」寿司が提供されると、この「はまち」寿司の静止画像データ、識別結果「はまち」、提供時刻ｔ３、提供順番（３）が表示される。これら「はまち」寿司に関するデータ群は、「剣先いか」寿司に関するデータ群、「こはだ」寿司に関するデータ群に並んで表示される。

【0051】

このような表示を行うことで、料理人は、表示器４０に表示された画像によって、提供した寿司を容易に確認できる。したがって、料理人は、どのネタを提供したかを憶えておく必要が無く、メモ等に書き残す必要もない。また、料理人は、ネタの提供順を憶えておく必要が無く、メモ等を書き残す必要もない。

【0052】

これにより、料理人は、料理以外の不要な作業の負担から軽減され、料理に集中できる。したがって、料理人が料理を間違える等の問題の発生は低下する。また、料理人は、調理を行いながら、客とのコミュニケーションに集中できる。また、料理人は、調理中にメモ等を触る必要が無く、衛生的に料理を提供できる。

【0053】

特に、コースメニュー（例えば、寿司屋であれば、特上握り、上握り、並握り等）の場合、料理人は、次に提供する寿司を容易に把握できる。したがって、料理人は、間違った寿司を客に提供することを抑制できる。また、料理人は、間違った順番で寿司を客に提供することを抑制できる。さらには、提供時刻が表示されることで、料理人は、各寿司の提供時間の間隔を適切に判断でき、最適な時刻（間隔）で、寿司を提供できる。なお、提供時刻に替えて、提供時刻からの経過時間を表示してもよい。

【0054】

また、料理人は、コースで用いる寿司ネタを予め用意して、台部９１の天面９１０上に置いておかなくてもよい。すなわち、料理人は、表示器４０の表示を見て、頃合いを見計らって寿司ネタを用意できる。したがって、料理人は、常に新鮮な寿司ネタを用いて寿司を提供できる。

【0055】

そして、これらを実現することによって、客の不快感を抑制でき、店や料理人の評判を上げることができる。

【0056】

また、料理提供サポートシステム１０は、統計的推定を用いることで、素人目には判断がつかない寿司の差を精度良く検出できる。例えば、「剣先いか」と「もんごいか」の差、「こはだ」と「さより」の差、「ぶり」と「はまち」の差、さらには「大とろ」と「中とろ」の差を精度良く検出できる。したがって、料理提供サポートシステム１０は、料理人の料理をより確実にサポートできる。

【0057】

さらに、料理提供サポートシステム１０は、識別結果をフィードバックして、識別用のリファレンスデータを補正、更新する。これにより、識別結果は、さらに高精度になる。したがって、料理提供サポートシステム１０は、料理人の調理をさらに確実にサポートできる。

【0058】

なお、表示器４０は、撮像データをリアルタイムに表示してもよい。これにより、料理人は、天面９３０の状態を常に確認できる。例えば、客が寿司を全てとったか、寿司が二貫で提供されたときに一貫だけ食べられたか等を確認できる。

【0059】

（料理提供サポート方法、料理提供サポートプログラム）
第１の実施形態に係る料理提供サポート方法、料理提供サポートプログラムについて、図を参照して説明する。

【0060】

（料理識別および表示方法）
図６は、第１の実施形態に係る料理識別および表示方法の一例を示すフローチャートである。なお、フローチャートの各処理の具体的な内容において、上述の料理提供サポートシステム１０での説明内容と同様の箇所については、説明を省略する。

【0061】

カメラ２０は、料理人が寿司を置く領域、すなわち、台部９３の天面９３０を撮像する（Ｓ１１）。識別部３１は、画像データを用いて、寿司の種類を識別する（Ｓ１３）。識別部３１は、識別結果を含む料理サポート情報を出力する。表示器４０は、料理サポート情報を表示する（Ｓ１５）。

【0062】

（識別方法）
図７は、第１の実施形態に係る識別方法の一例を示すフローチャートである。

【0063】

識別部３１は、時系列に並ぶそれぞれの画像データに対して、料理画像（識別対象）を抽出する（Ｓ３０１）。識別部３１は、料理画像（抽出処理後画像データ）に対して、画像情報（形状、色、模様、輝度）を数値化して検出する（Ｓ３０２）。識別部３１は、料理識別用データベース３６０からリファレンスデータを読み出す（Ｓ３０３）。

【0064】

識別部３１は、検出した画像情報（検出画像情報）とリファレンスデータとを用いて、識別対象に関する評価指数を算出する（Ｓ３０４）。識別部３１は、項目毎で寿司（料理）毎の評価指数を用いて、寿司（料理）を識別する（Ｓ３０５）。

【0065】

（リファレンスデータの更新方法）
図８は、第１の実施形態に係るリファレンスデータの更新方法の一例を示すフローチャートである。

【0066】

識別部３１は、識別結果を出力する（Ｓ３９１）。識別部３１は、料理人からの識別間違いを指摘する入力が無ければ（Ｓ３９２：ＹＥＳ）、リファレンスデータを主として、今回の画像情報で微補正する（Ｓ３９３）。

【0067】

識別部３１は、料理人からの識別間違いを指摘する入力があれば（Ｓ３９２：ＮＯ）、今回の画像情報の重みを高くしてリファレンスデータを補正する（Ｓ３９４）。より具体的には、料理人からの識別間違いを指摘する入力があった場合、正解の名前を入力してもらい、正解の名前の寿司に対応するリファレンスデータを取得する。この正解のリファレンスデータを、今回の画像情報で補正する。

【0068】

このようなリファレンスデータの更新方法を用いることで、リファレンスデータの精度を高めることができる。そして、これらの処理を繰り返していくことによって、リファレンスデータの学習が進行し、リファレンスデータは、より高精度なデータとなる。

【0069】

なお、料理人からの識別間違いを指摘する入力は、料理提供時に行わなくてもよく、食事の終了後に行ってもよい。また、表示器４０にタッチパネルを備え、識別間違い用のチェック欄、他の候補の選択欄を設け、これら欄をクリック（ワンタッチ）するだけでもよい。これらの方法を用いることで、衛生的な問題を抑制できる。

【0070】

（会計処理）
図９は、第１の実施形態に係る会計方法の一例を示すフローチャートである。

【0071】

カメラ２０は、料理人が寿司を置く領域、すなわち、台部９３の天面９３０を撮像する（Ｓ１１）。

【0072】

識別部３１は、時系列に並ぶ画像データを用いて、料理人からの寿司（料理）の提供の有無を検出する（Ｓ１２）。識別部３１は、料理人から寿司（料理）が提供されていなければ（Ｓ１２：ＮＯ）、画像データを用いた料理提供の有無の検出を繰り返す。

【0073】

識別部３１は、料理の提供を検出すると（Ｓ１２：ＹＥＳ）、客による寿司（料理）の受け取りの有無を検出する（Ｓ１４）。識別部３１は、客による寿司（料理）の受け取りがなければ（Ｓ１４：ＮＯ）、画像データを用いた寿司（料理）の受け取りの有無の検出を繰り返す。

【0074】

識別部３１は、客による寿司（料理）の受け取りを検出すると（Ｓ１４：ＹＥＳ）、識別結果に基づいて寿司の料金を加算する（Ｓ１６）。識別部３１は、食事の終了を検出していなければ（Ｓ１７：ＮＯ）、上記処理を繰り返す。

【0075】

識別部３１は、食事の終了を検出すると（Ｓ１７：ＹＥＳ）、合計金額を請求料金として出力する（Ｓ１８）。

【0076】

（画像のみを出力する方法）
図１０は、第１の実施形態に係る料理画像の表示方法の一例を示すフローチャートである。

【0077】

カメラ２０は、料理人が寿司を置く領域、すなわち、台部９３の天面９３０を撮像する（Ｓ１１）。識別部３１は、時系列に並ぶそれぞれの画像データに対して、料理画像を抽出する（Ｓ１５１）。識別部３１は、料理画像を出力し、表示器４０は、料理画像を表示する。

【0078】

このような方法によって、料理人は、提供した料理を表示器４０で視ることができ、提供した料理を確認できる。なお、この料理画像を記憶しておき、食事の終了後にリファレンスデータの更新に用いることも可能である。例えば、食事の終了後に、料理人が料理画像を見て、寿司の名前を入力する。また、料理画像の画像情報を検出し、料理人の入力した名前に関連付けする。この情報を、上述のようなリファレンスデータの更新に用いる。これにより、料理画像をリファレンスデータの学習に有効に利用できる。

【0079】

以上のように、第１の実施形態の構成、方法を用いることによって、料理人と客とをコミュニケーションを実現しながら、料理人の不要な負担を軽減し、衛生的な問題を解消できる。

【0080】

具体的には、例えば、料理人は、繁忙状態であれば次々に様々な種類の寿司を握って客に提供しなければならない。このときに、料理の都度伝票に記入するのは面倒であり、そのたびにペンを握ったり、タブレットを触ったりするので衛生上の問題がある。

【0081】

しかしながら、本実施形態の構成、方法を用いることで、調理の途中でペンを持ったりしないため衛生的な問題を解消できる。また、料理人は、寿司を握ること以外の不要な作業をしなくてよく、客とのコミュニケーションを容易に取りながら、寿司を握って提供できる。

【0082】

また、一通りの注文をこなし、手が空いた時にまとめて記入しようとすると、記入漏れや間違いが生じる可能性がある。また、寿司を握っている間に客との会話などがあると、干渉行動となり、記憶したものが失われる可能性があるため、板前が客との会話に集中できないこともある。

【0083】

しかしながら、本実施形態の構成、方法を用いることで、料理人は寿司を握ることと会話に集中すればいいので、板前の精神的緊張が大きく緩和されるとともに、会計処理の間違いがなくなる。

【0084】

なお、上述の説明では、表示する料理サポート情報として料理の画像を含んでいるが、例えば、識別結果等のテキストデータ（テキスト形式の画像データ）のみを表示してもよい。この場合、例えば、表示器４０は、料理の提供順に合わせて識別結果を順に並べて表示してもよい。

【0085】

［第２の実施形態］
本発明の第２の実施形態に係る料理提供サポートシステムについて、図を参照して説明する。

【0086】

図１１は、第２の実施形態に係る料理提供サポートシステムの機能ブロック図である。図１２は、第２の実施形態に係る料理提供サポートシステムが配置される店の一態様を示す図である。図１３は、第２の実施形態に係る識別部の一例を示す機能ブロック図である。

【0087】

第２の実施形態に係る料理提供サポートシステム１０Ａは、第１の実施形態に係る料理提供サポートシステム１０に対して、カメラ２０の撮像範囲、情報処理装置３０Ａの識別部３１Ａの構成において異なる。概略機能的には、料理提供サポートシステム１０Ａは、料理提供サポートシステム１０に対して、客を認識できる点で異なる。料理提供サポートシステム１０Ａの他の構成、機能は、料理提供サポートシステム１０と同様であり、同様の箇所の説明は省略する。

【0088】

カメラ２０は、カウンター９０の台部９３の天面９３０、および、カウンター９０の客側が撮像範囲に入るように設置される。

【0089】

図１３に示すように、識別部３１Ａは、画像取得部３３１、識別対象抽出部３３２Ａ、種類識別部３３３、提供検出部３３４、識別結果出力部３３５Ａ、客情報データベース３７０、および、客識別部３７１を備える。識別部３１Ａの画像取得部３３１、識別対象抽出部３３２Ａ、種類識別部３３３、提供検出部３３４は、識別部３１と同様であり、説明は省略する。

【0090】

識別対象抽出部３３２Ａは、料理抽出部３３２１、および、客抽出部３３２２を備える。料理抽出部３３２１は、識別対象抽出部３３２と同様であり、説明は省略する。

【0091】

客抽出部３３２２は、時系列に並ぶそれぞれの画像データに対して、既知の画像処理を用いて客の顔を抽出する。客抽出部３３２２は、抽出した顔画像を客識別部３７１に出力する。

【0092】

客情報データベース３７０には、過去に来店された客の顔の特徴量、客情報が記憶されている。客情報は、例えば、客の寿司の好み、注文履歴、お任せコースの内容等である。

【0093】

客識別部３７１は、既知の顔認識技術を用いて、顔画像から顔の特徴量を検出する。客識別部３７１は、検出した顔の特徴量と、客情報データベース３７０の客の顔の特徴量を比較し、客を識別する。

【0094】

客識別部３７１は、識別した客の客情報を客情報データベース３７０から取得する。客識別部３７１は、客情報を識別結果出力部３３５Ａに出力する。

【0095】

識別結果出力部３３５Ａは、料理サポート情報と客情報とを、表示器４０に出力する。

【0096】

表示器４０は、料理サポート情報と客情報とを表示する。これにより、料理人は、料理サポート情報だけでなく、客情報も用いて、料理を提供でき、客とのコミュニケーションをとることができる。

【0097】

例えば、常連の客に対してお任せコースを提供する場合、次のような表示が行われる。図１４は、お任せコースの場合の表示の一例を示す図である。

【0098】

図１４に示すように、表示器４０は、提供順番４１０、画像データ（静止画像データ）４２０、提供時刻４３０、提供予定時刻４３０Ｅ、提供済みの料理の識別結果（寿司の名前）４５０、提供予定の料理の名前４５０Ｅ、客名およびコース名４９１、客情報４９２を、表示画面４００に表示する。

【0099】

この際、提供済みの寿司（料理）、提供予定の寿司（料理）は、お任せコースとしてあらかじめ設定されている順で表示される。これにより、料理人は、提供した寿司（料理）、これから提供する寿司（料理）を容易に把握できる。

【0100】

これらの表示状態は、コースの進行に応じて更新される。すなわち、提供予定の寿司（料理）が提供済みになれば、これに応じて表示が更新される。例えば、提供済みの寿司（料理）は、画像データ４２０が表示されており、まだ提供されていない寿司（料理）は、画像データが表示されていない。

【0101】

これにより、料理人は、お任せコースの進行状況を、容易に確認できる。また、提供予定時刻４３０Ｅを表示することで、料理人は、提供予定の寿司（料理）に対する段取りを、容易に行うことができる。

【0102】

すなわち、料理人は、予め設定されているコースに対して、既に提供したもの、まだ提供されていないもの、前の寿司（料理）が提供されてからの間隔等を容易に知ることができる。したがって、料理人の職人的感覚をサポートして、客の満足度が最も高くなるように寿司（料理）を提供することができる。

【0103】

また、客名およびコース名４９１が表示されることで、料理人は、客の名前を間違えることなく、コミュニケーションをとることができる。さらに、客情報４９２が表示されることによって、客の好みに応じたアレンジや、客に応じたコミュニケーションをとることができる。これにより、客の満足度が向上し、店や料理人の評判が向上する。

【0104】

たとえば、常連客は板前に名前で話しかけられるのを好む。しかし、料理人にとって多くの客の名前を記憶するのは非常に難しい。また、名前を間違えることによって客に不快感を与えてしまう。しかしながら、このシステムを用いることによって、料理人のストレスを大きく軽減でき、客の満足度も向上する。

【0105】

このようなお好みコースを提供する場合、例えば、次に示す料理提供サポート方法を実行する。図１５は、お好みコースを提供する場合の料理提供サポート方法の一例を示すフローチャートである。なお、フローチャートの各処理の具体的な内容において、上述の料理提供サポートシステム１０Ａでの説明内容と同様の箇所については、説明を省略する。

【0106】

識別部３１Ａは、客情報を取得して（Ｓ２１）、出力する。表示器４０は、客情報から専用コース（お任せコース）を読み出す（Ｓ２２）。表示器４０は、専用コース画像（図１４参照）を表示する（Ｓ２３）。

【0107】

カメラ２０は、料理人が寿司を置く領域、すなわち、台部９３の天面９３０を撮像する（Ｓ１１）。識別部３１Ａは、画像データを用いて、寿司の種類を識別する（Ｓ１３）。識別部３１Ａは、識別結果を含む料理サポート情報を出力する。表示器４０は、料理サポート情報に基づいて、専用コース画像の表示を更新する（Ｓ２５）。

【0108】

識別部３１Ａは、食事の終了を検出していなければ（Ｓ１７：ＮＯ）、上記処理を繰り返す。識別部３１Ａは、食事の終了を検出すると（Ｓ１７：ＹＥＳ）、処理を終了する。

【0109】

なお、上述の料理提供サポートシステムでは、カメラ２０の撮像画像に基づいて、料理サポート情報を生成する態様を示した。しかしながら、料理提供サポートシステムは、指向性マイクを備えていてもよい。指向性マイクは、例えば、客の声を収音するように配置される。この際、指向性マイクは、対象の客以外の音声や雑音を収音し難い設定であることが好ましい。

【0110】

指向性マイクは、収音音声を識別部に出力する。識別部は、収音音声を解析して、例えば客の注文を識別する。そして、料理人側の表示器４０は、この識別結果に応じた注文情報を表示する。すなわち、料理人側の表示器４０は、客が注文した寿司が例えばテキストデータで表示する。これにより、料理人は、例えば、客の注文がうまく聞き取れなくても、客に再度確認する必要なく、料理人側の表示器４０をみて注文を把握できる。

【0111】

［第３の実施形態］
本発明の第３の実施形態に係る料理提供サポートシステムについて、図を参照して説明する。

【0112】

図１６は、第３の実施形態に係る料理提供サポートシステムの機能ブロック図である。図１７は、第３の実施形態に係る料理提供サポートシステムが配置される店の一態様を示す図である。図１８は、第３の実施形態に係る識別部の一例を示す機能ブロック図である。

【0113】

第３の実施形態に係る料理提供サポートシステム１０Ｂは、第２の実施形態に係る料理提供サポートシステム１０Ａに対して、表示器４０Ｃを備える点、情報処理装置３０Ｂの識別部３１Ｂの処理において異なる。概略機能的には、料理提供サポートシステム１０Ｂは、料理提供サポートシステム１０Ａに対して、客に情報を提供できる点で異なる。料理提供サポートシステム１０Ｂの他の構成、機能は、料理提供サポートシステム１０Ａと同様であり、同様の箇所の説明は省略する。

【0114】

表示器４０Ｃは、カウンター９０における台部９２の天面９２０に設置される。なお、表示器４０Ｃは、カウンター９０の台部９３に立てかけられていてもよい。すなわち、表示器４０Ｃは、客が見える位置に配置されていればよい。表示器４０Ｃが、本発明の「第２ディスプレイ」に対応する。

【0115】

図１８に示すように、識別部３１Ｂは、画像取得部３３１、識別対象抽出部３３２Ｂ、種類識別部３３３、提供検出部３３４、識別結果出力部３３５Ｂ、客情報データベース３７０、客識別部３７１Ｂ、料理関連情報データベース３８０を備える。識別部３１Ｂの画像取得部３３１、種類識別部３３３、提供検出部３３４は、識別部３１Ａと同様であり、識別対象抽出部３３２Ｂは識別部３１Ａの識別対象抽出部３３２Ａと同様であり、説明は省略する。

【0116】

客情報データベース３７０には、上述の客情報とともに、客の属性情報が記憶される。客の属性情報とは、国籍、性別等である。

【0117】

客識別部３７１は、上述の方法で客を識別する。客識別部３７１は、識別した客の客情報と客の属性情報を客情報データベース３７０から取得する。客識別部３７１は、客情報と客の属性情報を識別結果出力部３３５Ｂに出力する。

【0118】

識別結果出力部３３５Ｂは、寿司の識別結果に基づいて、料理関連情報データベース３８０から料理関連情報を取得する。料理関連情報とは、寿司ネタとなる魚の情報や調理方法であり、魚の情報は、例えば、画像、動画像、魚の生態説明等、水揚げ箇所等である。料理関連情報は、例えば、日本語に限らず複数の言語で用意されている。料理関連情報が、本発明の「客用の料理情報」に対応する。

【0119】

識別結果出力部３３５Ｂは、客の属性情報に基づいて、料理関連情報の各項目を適宜選択する。例えば、客が外国籍であれば、その国籍に応じた言語の料理関連情報を選択する。

【0120】

識別結果出力部３３５Ｂは、料理サポート情報と客情報とを表示器４０に出力し、寿司の画像データと料理関連情報を表示器４０Ｃに出力する。

【0121】

表示器４０Ｃは、料理関連情報を表示する。例えば、次のような表示が行われる。図１９は、料理関連情報の表示の一例を示す図である。

【0122】

図１９に示すように、表示器４０Ｃは、寿司の画像データ（静止画像データ）４２０、寿司の名前４４０Ｃ、寿司ネタの元の魚４６０（図１９では、「いか」を表示しており、厳密には魚ではなく脊椎動物であるが、ここでは魚として説明する）、この魚の各種説明４７０を表示画面４００Ｃに表示する。この際、言語で説明する箇所については、識別した国籍に応じた言語で表示される。

【0123】

これにより、客は、料理関連情報をみて、今自分が食べている寿司をより深く知ることができる。したがって、例えば、仲間同士、料理人とのコミュニケーションをとることができる。また、国籍に応じた料理関連情報が表示されるため、料理人の言語力が十分でなくても、客は寿司をよく知ることができ、客の満足度は向上する。

【0124】

［第４の実施形態］
本発明の第４の実施形態に係る料理提供サポートシステムについて、図を参照して説明する。

【0125】

図２０は、第４の実施形態に係る料理提供サポートシステムの機能ブロック図である。図２０に示すように、第４の実施形態に係る料理提供サポートシステム１は、第1の実施形態に係る料理提供サポートシステム１０に対して、上述の処理をサーバ－クライアント方式で行う点で異なる。したがって、以下では、異なる箇所のみを具体的に説明する。

【0126】

料理提供サポートシステム１は、複数の個別の料理提供サポートシステム１０Ｘ１－１０Ｘ４、および、サーバ装置５０を備える。なお、本実施形態では、個別の料理提供サポートシステムの個数は４つであるが、個数はこれに限るものではない。

【0127】

個別の料理提供サポートシステム１０Ｘ１－１０Ｘ４は、同様の構成であり、料理提供サポートシステム１０Ｘ１を例に説明する。料理提供サポートシステム１０Ｘ１は、カメラ２０、情報処理装置３０Ｘ１、および、表示器４０を備える。情報処理装置３０Ｘ１は、画像取得部３３１、識別対象抽出部３３２、出力ＩＦ３３、および、通信部３９を備える。カメラ２０、画像取得部３３１、識別対象抽出部３３２、出力ＩＦ３３は、上述の第１の実施形態に係る料理提供サポートシステム１０と同様である。

【0128】

通信部３９は、サーバ装置５０のサーバ側通信部５１との通信を行う。

【0129】

概略的に、料理提供サポートシステム１０Ｘ１は、第１の実施形態に係る料理提供サポートシステム１０における寿司の識別処理を省略した構成を備える。したがって、料理提供サポートシステム１０Ｘ１は、識別対象の抽出処理後画像データを、通信部３９を通じてサーバ装置５０に送信する。そして、料理提供サポートシステム１０Ｘ１は、通信部３９を通じてサーバ装置５０から識別結果を取得して、表示器４０に出力する。

【0130】

サーバ装置５０は、画像情報抽出部３６１Ｓ、評価指数算出部３６２Ｓ、識別部３６３Ｓ、料理識別用データベース３６０Ｓ、および、サーバ側通信部５１を備える。

【0131】

サーバ側通信部５１は、複数の料理提供サポートシステム１０Ｘ１－１０Ｘ４の通信部３９との通信を行う。

【0132】

画像情報抽出部３６１Ｓ、評価指数算出部３６２Ｓ、識別部３６３Ｓの各機能は、第１の実施形態に係る画像情報検出部３６１、評価指数算出部３６２、識別部３６３と同様である。

【0133】

料理識別用データベース３６０Ｓの基本的なデータ構成は、料理識別用データベース３６０と同様である。しかしながら、料理識別用データベース３６０Ｓのリファレンスデータは、複数の料理提供サポートシステム１０Ｘ１－１０Ｘ４からの抽出処理後画像データを用いた識別結果によって更新される。したがって、料理識別用データベース３６０Ｓのリファレンスデータは、より高精度なデータとなる。

【0134】

これにより、識別部３６３Ｓでの識別結果は、高精度になる。すなわち、料理提供サポートシステム１は、複数の料理提供サポートシステム１０Ｘ１－１０Ｘ４の設置箇所で提供される寿司をより高精度に識別し、料理人へのサポート性能は向上する。

【0135】

なお、識別部３６３Ｓでの識別処理および料理識別用データベース３６０Ｓのリファレンスデータの更新には、料理提供サポートシステム１０Ｘ１－１０Ｘ４の抽出処理後画像データ毎に撮像条件による補正を行うことが好ましい。これにより、識別部３６３Ｓでの識別処理および料理識別用データベース３６０Ｓのリファレンスデータの更新処理は、撮像条件による誤差要因を抑圧して行われる。したがって、識別結果およびリファレンスデータの更新がさらに高精度に行われる。

【0136】

以上の各実施形態の構成、方法は、適宜組み合わせることが可能であり、組み合わせ毎の作用効果を奏することができる。

【符号の説明】

【0137】

１、１０、１０Ａ、１０Ｂ、１０Ｘ１－１０Ｘ４：料理提供サポートシステム
２０：カメラ
３０、３０Ａ、３０Ｂ：情報処理装置
３０Ｘ１：情報処理装置
３１、３１Ａ、３１Ｂ：識別部
３２：料金計算部
３３：出力ＩＦ
３９：通信部
４０、４０Ｃ：表示器
５０：サーバ装置
５１：サーバ側通信部
８０：寿司
２００：撮像範囲
３３１：画像取得部
３３２、３３２Ａ、３３２Ｂ：識別対象抽出部
３３３：種類識別部
３３４：提供検出部
３３５、３３５Ａ、３３５Ｂ：識別結果出力部
３６０、３６０Ｓ：料理識別用データベース
３６１、３６１、３６１Ｓ：画像情報検出部
３６２、３６２Ｓ：評価指数算出部
３６３、３６３Ｓ：識別部
３７０：客情報データベース
３７１、３７１Ｂ：客識別部
３８０：料理関連情報データベース
３３２１：料理抽出部
３３２２：客抽出部
４００、４００Ｃ：表示画面
４１０：提供順番
４２０：画像データ
４３０：提供時刻
４３０Ｅ：提供予定時刻
４４０Ｃ、４５０Ｅ：名前
４６０：魚
４７０：説明
４９１：コース名
４９２：客情報
９０：カウンター
９１、９２、９３：台部
９１０、９２０、９３０：天面

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】