特開 2024-29850 食品の取り揃え確認システムと確認プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024029850

(43)【公開日】2024-03-07

(54)【発明の名称】食品の取り揃え確認システムと確認プログラム

(51)【国際特許分類】

   G06Q 30/06 20230101AFI20240229BHJP

   G06V 20/68 20220101ALI20240229BHJP

【ＦＩ】

G06Q30/06

G06V20/68

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2022132271

(22)【出願日】2022-08-23

(71)【出願人】

【識別番号】599024540

【氏名又は名称】株式会社ブレイン

(74)【代理人】

【識別番号】100086830

【弁理士】

【氏名又は名称】塩入 明

(74)【代理人】

【識別番号】100096046

【弁理士】

【氏名又は名称】塩入 みか

(72)【発明者】

【氏名】水野 寿教

(72)【発明者】

【氏名】志方 泰

(72)【発明者】

【氏名】中道 護仁

(72)【発明者】

【氏名】横山 貴広

【テーマコード（参考）】

5L049

5L096

【Ｆターム（参考）】

5L049BB63

5L096AA09

5L096CA04

5L096CA25

5L096DA03

5L096FA52

5L096JA22

(57)【要約】

【課題】 顧客の注文に従って食品を取り揃える際に、食品に過不足がないことを自動的に確認する。
【構成】 食品を乗せたトレイとオーダーシートの、カラー画像と深さ画像とを取得する。深さ画像によりトレイと食品を切り分け、カラー画像を用いて食品の種類と個数を識別する。オーダーシートを画像識別あるいは文字認識し、食品の種類と個数を識別し、カラー画像から求めたものと比較する。食品に過不足がある場合、余分な食品の種類と個数、及び不足する食品の種類と個数を表示器に表示す。
【選択図】 図２

【特許請求の範囲】

【請求項1】

台と、
注文毎の食品の種類と個数とを記載したオーダーシートと、台上の食品との、カラー画像を撮像するカメラと、
以下の要素を備えるコンピュータ、
a) 前記カメラの画像から、台上の食品の種類と個数を画像識別する画像識別部と、
b) 前記カメラの画像から、オーダーシートに記載された食品の種類と個数を求める手段と、
c) 画像識別した食品の種類と個数とを、オーダーシートから求めた食品の種類と個数と照合し、過不足がある場合は、余分な食品の種類と個数、及び不足する食品の種類と個数を求める照合部、 及び
前記照合部での照合結果を表示し、過不足がある場合、余分な食品の種類と個数、及び不足する食品の種類と個数を表示する表示器とを備えている、食品の取り揃え確認システム。

【請求項2】

前記カメラは、台上の食品の深さ画像を撮像するように構成され、
前記画像識別部は、前記深さ画像を用いて、台上の食品を切り出すように構成されていることを特徴とする、請求項１の食品の取り揃え確認システム。

【請求項3】

前記台に前記撮像を開始させるための入力手段が設けられ、かつ前記入力手段は撮像を行う回数を入力するように構成されていることを特徴とする、請求項１または２の食品の取り揃え確認システム。

【請求項4】

注文毎の食品の種類と個数とを記載したオーダーシートと、食品との、カラー画像を撮像するカメラと、コンピュータと、表示器とを備えるシステムに対して、
前記コンピュータを、
前記カメラの画像から、台上の食品の種類と個数を画像識別する画像識別部と、
前記カメラの画像から、オーダーシートに記載された食品の種類と個数を求める手段と、
画像識別した食品の種類と個数とを、オーダーシートから求めた食品の種類と個数と照合し、過不足がある場合は、余分な食品の種類と個数、及び不足する食品の種類と個数を求める照合部として動作させ、 かつ
前記表示器に、前記照合部での照合結果を表示させ、過不足がある場合、余分な食品の種類と個数、及び不足する食品の種類と個数を表示させる、食品の取り揃え確認プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、食品を取り揃えて顧客に提供する際に、注文通りに食品を取り揃えたかどうかを確認するシステムと、確認プログラムに関する。

【背景技術】

【0002】

ハンバーガーショップなどでは、注文された食品の数量を厨房に表示する。また個々の注文に応じ、トレイ、紙バッグなどの容器に食品を取り揃えるためのエリアを設け、このエリアに顧客毎の注文内容を表示する。そして厨房では表示に従って食品を調理し、前記のエリアで容器に食品を取り揃え、イートイン、テイクアウト、あるいはデリバリーなどの形態で、注文された種類の食品を注文された通りの個数で顧客に提供する。

【0003】

注文通りに食品が取り揃えられていない場合、店側が事前に不良を発見すると、問題は小さい。しかし不良を見逃し顧客に提供してしまうと、クレームを受けたり、あるいはアレルギーのある食品を誤って提供したりすることになりかねない。またテイクアウトやデリバリーで不良があると、顧客の自宅まで届けるなど対応に時間を要する。

【発明の概要】

【発明が解決しようとする課題】

【0004】

この発明の課題は、顧客の注文に従って食品を取り揃える際に、食品に過不足がないことを自動的に確認できる確認システムと、確認プログラムを提供することにある。

【課題を解決するための手段】

【0005】

この発明の食品の取り揃え確認システムは、
台と、
注文毎の食品の種類と個数とを記載したオーダーシートと、台上の食品との、カラー画像を撮像するカメラと、
以下の要素を備えるコンピュータ、
a) 前記カメラの画像から、台上の食品の種類と個数を画像識別する画像識別部と、
b) 前記カメラの画像から、オーダーシートに記載された食品の種類と個数を求める手段と、
c) 画像識別した食品の種類と個数とを、オーダーシートから求めた食品の種類と個数と照合し、過不足がある場合は、余分な食品の種類と個数、及び不足する食品の種類と個数を求める照合部、 及び
前記照合部での照合結果を表示し、過不足がある場合、余分な食品の種類と個数、及び不足する食品の種類と個数を表示する表示器とを備えている。

【0006】

この発明の食品の取り揃え確認プログラムは、
注文毎の食品の種類と個数とを記載したオーダーシートと、食品との、カラー画像を撮像するカメラと、コンピュータと、表示器とを備えるシステムに対して、
前記コンピュータを、
前記カメラの画像から、台上の食品の種類と個数を画像識別する画像識別部と、
前記カメラの画像から、オーダーシートに記載された食品の種類と個数を求める手段と、
画像識別した食品の種類と個数とを、オーダーシートから求めた食品の種類と個数と照合し、過不足がある場合は、余分な食品の種類と個数、及び不足する食品の種類と個数を求める照合部として動作させ、 かつ
前記表示器に、前記照合部での照合結果を表示させ、過不足がある場合、余分な食品の種類と個数、及び不足する食品の種類と個数を表示させる。

【0007】

この発明では、オーダーシートと台上の食品とを照合する。オーダーシートの画像を撮像し、記載された文字列を画像識別し、あるいは文字認識するなどにより、オーダーシートから食品の種類と個数を識別できる。食品のカラー画像を画像識別することにより求めた食品の種類及び個数を、オーダーシートから求めた食品の種類及び個数と照合すると、オーダーシート通りに食品が取り揃えられたかどうかを確認できる。過不足がある場合、余分な食品の種類と個数、及び不足する食品の種類と個数を表示するので、過不足を解消できる。

【0008】

コンピュータは、例えば食品の取り揃え確認システム専用のコンピュータである。しかし店舗の運営用の他のコンピュータを兼用しても良い。対象とする食品は、ハンバーガーの他、ピザ、寿司、サンドイッチなど任意である。食品は直接台に載せても、トレイなどの容器に載せて台上に置いても良い。過不足を表示するとは、余分な食品があれば余分な食品を、不足があれば不足分を表示することである。

【0009】

好ましくは、前記カメラは、台上の食品の深さ画像を撮像するように構成され、前記画像識別部は、前記深さ画像を用いて、台上の食品を切り出すように構成されている。トレイに食品の写真などを印刷したシート（トレイマット）を載せ、トレイマット上に食品を載せて、顧客に提供することがある。するとトレイマットの食品と現実の食品を、画像識別では区別できないことがある。ここで深さ画像を用いると、トレイマットの写真と現実の食品とを区別できる。そして区別した食品の種類を、画像識別により決定する。

【0010】

好ましくは、前記台に前記撮像を開始させるための入力手段が設けられ、かつ前記入力手段は撮像を行う回数を入力するように構成されている。このようにすると、注文された食品の個数が多い場合、２回あるいは３回などに分けて台に載せ、その都度撮像し、合計での食品の種類と数を画像識別し、オーダーシートと照合することができる。

【図面の簡単な説明】

【0011】

【図1】実施例の食品の取り揃え確認システムの要部平面図

【図2】実施例の食品の取り揃え確認システムの要部側面図

【図3】実施例での画像データの取得から確認までのデータ処理を示す図

【図4】実施例での確認結果の表示画像を示す図

【図5】実施例での食品の取り揃え確認プログラムのフローチャート

【発明を実施するための形態】

【0012】

以下に最適実施例を示す。この発明の範囲は、特許請求の範囲の記載に基づき、明細書の記載とこの分野での周知技術とを参酌し、当業者の理解に従って定められるべきである。

【実施例0013】

図１～図５に、食品の取り揃え確認システムと確認プログラムの実施例を示す。図１～図３において、２は食品の取り揃え確認システム（以下「システム２」という）で、３はその台である。システム２の例えば右隣に作業台４があり、図示しない画面に表示された注文内容に従い、厨房に接続されたコンベヤ５から食品を取り出し、トレイ８上に揃える。９はトレイマットで、無くても良く、トレイ８ではなく、紙バッグなどの適宜の容器に食品１０を取り揃えても良い。注文内容とは注文毎の食品の種類と個数のことである。

【0014】

食品１０を取り揃えたトレイ８をシステム２の台３に移し、注文内容を記載したオーダーシート１２をトレイ８の横に並置する。このときオーダーシート１２がトレイ８で隠れないように、即ち後述のカメラ２４で撮像可能であるように並置する。オーダーシート１２は注文した食品１０の種類と個数を記載したシートで、おもちゃなどの食品以外のノベルティが有れば記載し、他に注文番号などの注文のＩＤを記載している。オーダーシート１２は、ハンバーガーのソース、ホットケーキのフォークとナイフ、コーヒーのマドラーと砂糖などの付属品の種類と個数を、食品１０の種類と個数から店員が判断するものとして記載を省略しても、あるいは付属品の種類と個数などを記載しても良い。オーダーシート１２は、食品の種類と個数とを注文毎に特定できるものであれば、名称を問わない。ソースは、例えばケチャップ、マスタードなどのことである。

【0015】

システム２は撮像部２０を台３の上部に備え、撮像部２０は例えば円形の照明２２と照明２２の円の内部に配置されたカメラ２４とから成り、支柱２６に支持されている。なお照明２２とカメラ２４の形状は任意である。また照明条件が良い場合、照明２２は無くても良い。カメラ２４は、オーダーシート１２とトレイ８及びその上部の食品１０とソースなどの付属品を撮像し、特に食品１０とソースなどの付属品の深さ画像（撮像部２０を原点とする距離画像）を撮像し、トレイ８とトレイマット９、オーダーシート１２，食品１０及びソースのカラー画像を撮像する。深さ画像を撮像するため、カメラ２４は図示しない赤外線光源と、左右一対の赤外線カメラを備えている。カメラ２４は、このほかに、カラーカメラを備えている。深さ画像の撮像方法は任意である。

【0016】

例えば台３内に設置されたコンピュータ２７は、画像識別部３２と照合部３４、及びメモリ３６を備えている。画像識別部３２は、オーダーシート１２に印刷された文字の列をテンプレート画像と比較することにより、画像識別し、注文内容（食品の種類と個数）を識別する。オーダーシート１２の画像認識により、画像識別部３２はトレイ上にあるべき食品及び付属品の種類と個数のリストを作成する。なおオーダーシート１２上の文字を文字認識しても良いが、その場合は文字認識部が追加で必要になる。

【0017】

画像識別部３２は、深さ画像によりトレイ８上のトレイマット９と食品１０を切り出す。深さ画像を用いることにより、トレイマット９に印刷された食品の画像を識別しないようにできる。画像識別部３２は、深さ画像をマスク画像として用いることにより、トレイ８の画像から食品とその付属物を切り出し、食品及び付属物の種類と個数を画像識別する。このようにして、トレイ８上の食品及び付属物の種類と個数のリストを作成する。

【0018】

照合部３４は、オーダーシート１２から求めた食品の種類及び個数のリストと、画像識別した食品の種類と個数のリストを照合する。過不足が無く両者が一致すれば、その旨を表示器３０に表示する。例えば図４の正常表示４０の丸印のように、システムがトレイ上の食品などを確認し、問題が無かったことを表示する。過不足があれば、例えば図４の過不足表示４２などのように、余分な食品と付属物の種類と個数、及び不足する食品と付属物の種類と個数を表示器３０に表示する。

【0019】

メモリ３６は照合結果として、トレイ上の食品など撮像した画像、オーダーシートを画像識別して求めた情報（注文した食品などのリストとオーダー番号）、及び画像識別した食品などのリストを記憶する。これによって、後で顧客からクレームがあった場合などに対応できる。

【0020】

例えば台３の前面に入力ボタン２８が設けられ、１～３の数が記載されたボタンを押すことにより、画像認識すべきトレイ８の枚数などを指定する。食品が１枚のトレイに納まらないことがあるので、入力ボタン２８でトレイ８の枚数などを指定することにより、指定された回数だけ、所定の時間間隔を置いて、台３上の食品を画像識別する。この場合、オーダーシート１２を画像識別するのは、最初の１回だけである。またＣ（Clear）の文字が記載されたボタンを押すと、画像識別が行えない場合などに、システム２による確認作業を中止させることができる。Ｃのボタンを設けるのではなく、１～３のボタンを押すと、前回の処理を終了し、新たな画像識別を開始すると取り決めても良い。入力ボタン２８はタッチパネルなどの入力スイッチに変えても良い。認識する回数は１～３回に限らず、１回と２回、あるいは１回～４回以上などでも良い。

【0021】

実施例ではトレイ８を単位として画像識別するが、紙バッグを単位として識別しても良く、あるいは容器なしに台３上に置かれた食品の集まりとオーダーシートを識別しても良い。また画像識別する対象は、食品の包装がその種類毎に異なることを利用し、食品自体では無くその包装としても良く、包装が無く食品自体を撮像できる場合は食品自体とする。

【0022】

図５に、実施例の食品の種類の取り揃え方法と確認プログラムを示す。準備段階では、トレイ８上に食品を取り揃え、台３上にトレイ８を置くと共に、トレイ８で隠れないように、オーダーシート１２をトレイ８の横に置く（ステップ１，２）。

【0023】

確認段階では、入力ボタン２８を押し、トレイ８の枚数など画像識別を行う回数を入力する（ステップ３）。カメラ２４により、トレイ８上の食品の深さ画像、及び食品１０とオーダーシート１２のカラー画像を取得する（ステップ４）。オーダーシートの文字を画像と見なし、テンプレートの画像と比較することから成る画像識別を行い、オーダーされた食品及び付属品の、種類と個数のリストを作成する（ステップ５）。画像識別の代わりに文字認識しても良い。

【0024】

深さ画像により、トレイ８上のトレイマット９と食品１０とを切り分けることができる。そして食品１０の形状、色彩などから、食品の種類を識別し、食品の種類と個数のリストを作成する（ステップ６）。なお食品はソースなどの付属品を含むものとする。入力ボタン２８で２回あるいは３回画像識別を行うことが入力された場合、次のトレイ、バッグなどに対し、食品の種類と個数を識別し、食品の種類と個数をリストに追加する（ステップ７）。

【0025】

２つのリストが一致すると、正常表示４０を表示器３０に表示し、確認を終了する（ステップ８）。不一致の場合、余分な食品の種類と個数、あるいは不足する食品の種類と個数を表示する（ステップ９）。店員が食品の過不足を除いた後に例えば入力ボタン２８を押すと、ステップ４，６，７，８を再実行し、食品の過不足が解消するとその旨を表示し、確認を終了する。食品の過不足が解消しない場合、再度ステップ９に戻る。食品の過不足がある場合、再度入力ボタン２８を押すのでは無く、過不足表示から所定時間経過後に、自動的にトレイ８上の食品を画像識別するようにしても良い。

【0026】

確認システム２に何らかの問題が有るため、システム２をリセットする場合、入力ボタン２８から”Ｃ”を入力する。

【0027】

実施例では、注文通りに食品が取り揃えられたかを自動的に確認できる。また深さ画像を用いることにより、トレイマット９に印刷された食品の画像などを食品として誤識別しない。１枚のトレイ８に納まらない注文でも、入力ボタン２８から識別する回数を入力することにより対応できる。

【符号の説明】

【0028】

２ 食品の取り揃え確認システム
３ テーブル
４ 作業台
５ コンベヤ
６ 包装台
８ トレイ
９ トレイマット
１０ 食品
１２ オーダーシート
２０ 撮像部
２２ 照明
２４ カメラ
２６ 支柱
２７ コンピュータ
２８ 入力ボタン
３０ 表示器
３２ 画像識別部
３４ 照合部
３６ メモリ
４０ 正常表示
４２ 過不足表示

【図1】

【図2】

【図3】

【図4】

【図5】