特許 7555243 表示装置、制御装置、表示方法、制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-12

(45)【発行日】2024-09-24

(54)【発明の名称】表示装置、制御装置、表示方法、制御方法、及びプログラム

(51)【国際特許分類】

   G07G 1/01 20060101AFI20240913BHJP

   G07G 1/00 20060101ALI20240913BHJP

【ＦＩ】

G07G1/01 301E

G07G1/00 311D

【請求項の数】 17

(21)【出願番号】P 2020192587

(22)【出願日】2020-11-19

(65)【公開番号】P2021163450

(43)【公開日】2021-10-11

【審査請求日】2023-09-20

(31)【優先権主張番号】P 2020060102

(32)【優先日】2020-03-30

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】591186176

【氏名又は名称】株式会社 ゼンショーホールディングス

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】柴田 雄介

(72)【発明者】

【氏名】石井 昌樹

【審査官】永安 真

(56)【参考文献】

【文献】特開２０１５－１４１６９６（ＪＰ，Ａ）

【文献】特開２０１１－０４８４４０（ＪＰ，Ａ）

【文献】特開２０１６－１５７３５０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０７Ｇ １／００ － １／１４

(57)【特許請求の範囲】

【請求項1】

商品の提供を支援する表示装置であって、
撮像エリアにおいて撮像された画像コードに含まれる注文識別情報に基づいて、顧客が注文した商品一覧を表示することと、
前記撮像の結果に基づいて、前記商品一覧に含まれる商品のうち、前記撮像エリアに提供されていない商品を、前記撮像エリアに提供された商品と異なる態様で表示することと、
前記商品一覧に含まれる商品の前記撮像エリアへの提供が完了したことを表示することと、
を実行する制御部を備え、
前記制御部は、前記撮像エリアに提供され前記表示装置に表示された第１の商品が、前記撮像エリアに提供された第２の商品が重ねられたことにより前記撮像エリアで特定されなくなった場合であっても、前記撮像エリアに提供された第１の商品が特定されたものとして前記撮像エリアに提供された第２の商品を追加した結果を表示する表示装置。

【請求項2】

商品の提供を支援する表示装置であって、
撮像エリアにおいて撮像された画像コードに含まれる注文識別情報に基づいて、顧客が注文した商品一覧を表示することと、
前記撮像の結果に基づいて、前記商品一覧に含まれる商品のうち、前記撮像エリアに提供されていない商品を、前記撮像エリアに提供された商品と異なる態様で表示することと、
前記商品一覧に含まれる商品の前記撮像エリアへの提供が完了したことを表示することと、
を実行する制御部を備え、
前記制御部は、前記商品一覧に含まれる商品が、同じ商品について複数注文された場合であって、当該複数注文の内で先に前記撮像エリアに提供され前記表示装置に表示された商品が、当該複数注文の内で後に前記撮像エリアに提供された商品により前記撮像エリアで特定されなくなった場合、先に前記撮像エリアに提供された商品の数に、後に前記撮像エリアに提供された商品の数を加算した結果を表示する表示装置。

【請求項3】

商品の提供を支援する表示装置であって、
撮像エリアにおいて撮像された画像コードに含まれる注文識別情報に基づいて、顧客が注文した商品一覧を表示することと、
前記撮像の結果に基づいて、前記商品一覧に含まれる商品のうち、前記撮像エリアに提供されていない商品を、前記撮像エリアに提供された商品と異なる態様で表示することと、
前記商品一覧に含まれる商品の前記撮像エリアへの提供が完了したことを表示することと、
を実行する制御部を備え、
前記画像コードは、前記注文識別情報と、前記注文識別情報により特定される注文に含まれる商品の数に応じて割り振られる商品識別情報とからなる情報を符号化することにより得られたコードである表示装置。

【請求項4】

前記撮像エリアに提供された商品は、前記撮像エリアにおいて撮像された前記画像コードに含まれる商品情報に基づいて特定される、請求項１から３のいずれか一項に記載の表示装置。

【請求項5】

前記撮像エリアに提供された商品は、前記撮像エリアの撮像により得られた画像に対する商品の画像認識処理に基づいて特定される、請求項１から４のいずれか一項に記載の表示装置。

【請求項6】

前記撮像エリアに提供された商品が前記商品一覧に含まれない場合、前記制御部は、前記撮像エリアに提供された商品が注文に含まれていないことを表示することを実行する、請求項１から５のいずれか一項に記載の表示装置。

【請求項7】

前記制御部は、前記注文識別情報を表示することを実行する、請求項１から６のいずれか一項に記載の表示装置。

【請求項8】

前記制御部は、第１顧客による注文の商品一覧を表示部の第１領域に表示し、第２顧客による注文の商品一覧を前記表示部の第２領域に表示することを実行する、請求項１から７のいずれか一項に記載の表示装置。

【請求項9】

表示装置と通信可能な制御装置であって、
撮像エリアにおいて撮像された画像コードに含まれる注文識別情報に基づいて特定された注文商品の情報と、前記撮像の結果に基づいて特定された前記撮像エリアに提供された商品の情報とを記憶する記憶部と、
制御部とを備え、
前記制御部は、
前記記憶部に記憶された情報に基づいて、前記注文商品の一覧を前記表示装置に表示させ、
前記撮像の結果に基づいて、前記注文商品の一覧に含まれる商品のうち、前記撮像エリアに提供されていない商品を、前記撮像エリアに提供された商品と異なる態様で前記表示装置に表示させ、
前記撮像の結果に基づいて、前記注文商品の一覧に含まれる商品のうち、他の商品が重ねられたことにより前記撮像エリアで特定されなくなった商品を前記撮像エリアに提供された商品と同じ態様のままで前記表示装置に表示させ、
前記注文商品の一覧に含まれる商品の前記撮像エリアへの提供が完了したことを前記表示装置に表示させるように制御する、制御装置。

【請求項10】

前記制御部は、前記撮像の結果に基づいて、前記撮像エリアで新たに商品が特定されたことに応じて、前記表示装置に表示された前記撮像エリアに提供された商品の数を変更させるように制御する、請求項９に記載の制御装置。

【請求項11】

前記制御部は、
前記撮像の結果に基づいて、前記撮像エリアで前記注文商品がいずれも特定されなくなったときに、前記表示装置の表示から前記注文商品の一覧を削除させ、
前記撮像エリアで特定されなくなった前記注文商品が再度特定されたときに、前記記憶部に記憶された情報に基づいて、前記注文商品の一覧を前記表示装置に表示させるように制御する、請求項９又は１０に記載の制御装置。

【請求項12】

前記制御部は、
前記撮像エリアにおいて所定形状に収まるオブジェクトを特定し、
前記所定形状内の前記画像コードに含まれる前記注文識別情報に基づいて特定される前記注文商品と、前記所定形状内の前記オブジェクトに対する画像認識結果に基づいて特定される商品とを比較し、
前記比較の結果に基づいて、前記撮像エリアに提供された商品が正しいか否かを判定する、
請求項９から１１のいずれか一項に記載の制御装置。

【請求項13】

前記制御部は、前記所定形状内に複数の前記画像コードが特定された場合、前記所定形状の中心から最も近い前記画像コードに含まれる前記注文識別情報に基づいて前記注文商品を特定する、請求項１２に記載の制御装置。

【請求項14】

商品の提供を支援する表示装置において制御部により実行される表示方法であって、
撮像エリアにおいて撮像された画像コードに含まれる注文識別情報に基づいて、顧客が注文した商品一覧を表示することと、
前記撮像の結果に基づいて、前記商品一覧に含まれる商品のうち、前記撮像エリアに提供されていない商品を、前記撮像エリアに提供された商品と異なる態様で表示することと、
前記撮像エリアに提供され前記表示装置に表示された第１の商品が、前記撮像エリアに提供された第２の商品が重ねられたことにより前記撮像エリアで特定されなくなった場合であっても、前記撮像エリアに提供された第１の商品が特定されたものとして前記撮像エリアに提供された第２の商品を追加した結果を表示することと、
前記商品一覧に含まれる商品の前記撮像エリアへの提供が完了したことを表示することと、
を含む表示方法。

【請求項15】

表示装置に、
撮像エリアにおいて撮像された画像コードに含まれる注文識別情報に基づいて、顧客が注文した商品一覧を表示することと、
前記撮像の結果に基づいて、前記商品一覧に含まれる商品のうち、前記撮像エリアに提供されていない商品を、前記撮像エリアに提供された商品と異なる態様で表示することと、
前記撮像エリアに提供され前記表示装置に表示された第１の商品が、前記撮像エリアに提供された第２の商品が重ねられたことにより前記撮像エリアで特定されなくなった場合であっても、前記撮像エリアに提供された第１の商品が特定されたものとして前記撮像エリアに提供された第２の商品を追加した結果を表示することと、
前記商品一覧に含まれる商品の前記撮像エリアへの提供が完了したことを表示することと、
を実行させるためのプログラム。

【請求項16】

表示装置と通信可能な制御装置における制御方法であって、
撮像エリアにおいて撮像された画像コードに含まれる注文識別情報に基づいて特定された注文商品の情報と、前記撮像の結果に基づいて特定された前記撮像エリアに提供された商品の情報とを記憶部に記憶することと、
制御部が、
前記記憶部に記憶された情報に基づいて、前記注文商品の一覧を前記表示装置に表示させ、
前記撮像の結果に基づいて、前記注文商品の一覧に含まれる商品のうち、前記撮像エリアに提供されていない商品を、前記撮像エリアに提供された商品と異なる態様で前記表示装置に表示させ、
前記撮像の結果に基づいて、前記注文商品の一覧に含まれる商品のうち、他の商品が重ねられたことにより前記撮像エリアで特定されなくなった商品を前記撮像エリアに提供された商品と同じ態様のままで前記表示装置に表示させ、
前記注文商品の一覧に含まれる商品の前記撮像エリアへの提供が完了したことを前記表示装置に表示させるように制御することと、
を含む制御方法。

【請求項17】

表示装置と通信可能な制御装置に、
撮像エリアにおいて撮像された画像コードに含まれる注文識別情報に基づいて特定された注文商品の情報と、前記撮像の結果に基づいて特定された前記撮像エリアに提供された商品の情報とを記憶部に記憶することと、
制御部が、
前記記憶部に記憶された情報に基づいて、前記注文商品の一覧を前記表示装置に表示させ、
前記撮像の結果に基づいて、前記注文商品の一覧に含まれる商品のうち、前記撮像エリアに提供されていない商品を、前記撮像エリアに提供された商品と異なる態様で前記表示装置に表示させ、
前記撮像の結果に基づいて、前記注文商品の一覧に含まれる商品のうち、他の商品が重ねられたことにより前記撮像エリアで特定されなくなった商品を前記撮像エリアに提供された商品と同じ態様のままで前記表示装置に表示させ、
前記注文商品の一覧に含まれる商品の前記撮像エリアへの提供が完了したことを前記表示装置に表示させるように制御することと、
を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、表示装置、制御装置、表示方法、制御方法、及びプログラムに関する。

【背景技術】

【0002】

商品を提供する店舗のスタッフは、顧客からの注文に応じて商品を準備し、提供する。注文に複数の商品が含まれる場合、スタッフは、注文された全ての商品の準備が完了したことを確認し、顧客に商品を提供する。特許文献１には、顧客が注文した商品の総重量の標準値と、実測値との間の差分に基づいて、注文された商品の提供準備が完了したか否かを確認可能な技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１８－０５５２５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一般に、同種の商品であっても重量にばらつきがある場合がある。また、重量の小さい商品においては、重量の違いに基づいた商品の種類や数の違いの判定は、困難である場合がある。従って、上記の従来技術のように重量に基づいて商品の提供準備の完了を確認する方法では、正確な確認が困難である場合がある。

【0005】

本発明は、提供する商品の準備完了をより正確に確認可能な技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の一態様に係る表示装置は、商品の提供を支援する表示装置であって、撮像エリアにおいて撮像された画像コードに含まれる注文識別情報に基づいて、顧客が注文した商品一覧を表示することと、前記撮像の結果に基づいて、前記商品一覧に含まれる商品のうち、前記撮像エリアに提供されていない商品を、前記撮像エリアに提供された商品と異なる態様で表示することと、前記商品一覧に含まれる商品の前記撮像エリアへの提供が完了したことを表示することと、実行する制御部を備える。

【発明の効果】

【0007】

本発明によれば、提供する商品の準備完了をより正確に確認可能な技術を提供することができる。

【図面の簡単な説明】

【0008】

【図1】一実施形態に係る注文管理システムのシステム構成を示す図である。

【図2】一実施形態に係る注文管理システムによる処理フローを示すシーケンス図である。

【図3】一実施形態に係る管理装置に記憶された情報の例を示す概念図である。

【図4】一実施形態に係る商品に付される画像コードの例を説明するための概念図である。

【図5】一実施形態に係る撮像装置による撮像により得られた画像の例を説明するための概念図である。

【図6】一実施形態に係る表示装置による表示の例を説明するための概念図である。

【図7】一実施形態に係る撮像装置による撮像により得られた画像の例を説明するための概念図である。

【図8】一実施形態に係る表示装置による表示の例を説明するための概念図である。

【図9】一実施形態に係る撮像装置による撮像により得られた画像の例を説明するための概念図である。

【図10】一実施形態に係る表示装置による表示の例を説明するための概念図である。

【図11】一実施形態に係る撮像装置による撮像により得られた画像の例を説明するための概念図である。

【図12】一実施形態に係る表示装置による表示の例を説明するための概念図である。

【図13】一実施形態に係る撮像装置による撮像により得られた画像の例を説明するための概念図である。

【図14】一実施形態に係る撮像装置による撮像により得られた画像の例を説明するための概念図である。

【発明を実施するための形態】

【0009】

以下に、一実施形態に係る注文管理システムについて説明する。なお、以下の実施形態は、本発明を説明するための例示であり、本発明をその実施の形態のみに限定する趣旨ではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施の形態を採用することが可能であり、かかる実施の形態も本発明の範囲に含まれる。

【0010】

図１を参照して、一実施形態に係る注文管理システムの構成について説明する。注文管理システムは、商品を販売する店舗において、注文の受け付け、及び注文を受けた商品の提供などを管理及び支援するためのシステムである。図１に示す注文管理システム１は、端末装置１０、管理装置２０、撮像装置３０、表示装置４０、及びプリンタ５０を備える。端末装置１０、撮像装置３０、表示装置４０、及びプリンタ５０は、管理装置２０と通信可能に接続されている。各装置間の通信は、例えば、インターネット、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、専用線、パケット通信網、電話回線、企業内ネットワーク、その他の通信回線、それらの組み合わせ等のいずれかを採用してもよい。

【0011】

端末装置１０は、店舗のスタッフ又は顧客による操作入力に応じて、顧客からの商品の注文を受け付けるための情報処理装置である。端末装置１０は、主なハードウェア構成として、制御部１１、通信部１２、記憶部１３、入力部１４、及び表示部１５を備える。制御部１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１ａ、及びメモリ１１ｂを備える。これらのハードウェア構成の説明は後述する。

【0012】

管理装置２０は、顧客による商品の注文の受け付けの管理、及び注文された商品の準備状況を管理するための情報処理装置である。管理装置２０は、主なハードウェア構成として、制御部２１、通信部２２、記憶部２３を備える。制御部２１は、ＣＰＵ２１ａ及びメモリ２１ｂを備える。これらのハードウェア構成の説明は後述する。

【0013】

撮像装置３０は、店舗内に設置され、所定のエリアである撮像エリアＲに含まれる被写体を撮像するカメラである。撮像装置３０は、例えば、図示しないレンズ及び撮像部を備えて構成される。本実施形態における撮像エリアＲは、店舗内において、顧客からの注文に応じて提供の準備が完了した商品を一時的に載置するエリアである。例えば、商品が料理である場合、調理された商品が厨房から運び出された後、当該商品を一時的に載置するエリアに撮像エリアＲが設定される。店舗のスタッフは、撮像エリアＲに載置された商品を袋に収納等して、当該商品を顧客に提供する。

【0014】

表示装置４０は、店舗内に設置され、注文された商品の準備状況を表示するための装置である。表示装置４０は、注文された商品を顧客に手渡す店舗のスタッフが、商品の準備状況を確認できるような位置に設置される。商品の準備状況は、例えば、準備中及び準備完了を含む。表示装置４０による表示例の説明は後述する。表示装置４０は、主なハードウェア構成として、制御部４１、通信部４２、表示部４３、及び入力部４４を備える。これらのハードウェア構成の説明は後述する。

【0015】

プリンタ５０は、店舗内に設置され、注文された商品又は当該商品のパッケージ（以下、単に「商品」とも称する。）に付するラベルを印刷するための装置である。ラベルの詳細は後述する。

【0016】

制御部１１,２１のそれぞれは、当該制御部を備える装置の各構成の動作を制御する。例えば、制御部１１,２１のそれぞれにおいて、ＣＰＵは、記憶部等に記憶された各種の命令を含むコンピュータプログラムをメモリに展開して実行することにより、装置が備える各構成を制御し、当該装置による処理を実現する。制御部４１は、制御回路又はプロセッサにより構成される。制御部４１は、表示装置４０が備える各構成を制御し、表示装置４０による表示の処理等を実現する。制御部１１,２１,４１の制御により実現される注文管理システム１に含まれる各装置による処理の詳細は後述する。

【0017】

通信部１２,２２,４２のそれぞれは、当該通信部を備える装置が外部装置と通信するための通信インタフェースである。

【0018】

記憶部１３,２３のそれぞれは、当該記憶部を備える装置における処理の実行に必要な各種プログラムや各種のデータ、当該処理結果により得られた各種のデータ、及び外部装置から受信した各種のデータを記憶する。

【0019】

入力部１４，４４は、ユーザ操作及びデータの入力のための装置である。入力部１４，４４は、例えば、ボタンキー、キーボード、スキャナ、及び各種センサを含む。表示部１５，４３は、各種情報を表示するための装置である。表示部１５，４３は、例えば、液晶ディスプレイ又は有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイにより構成される。入力部１４及び表示部１５（又は、入力部４４及び表示部４３）は、一体的に構成されて、タッチパネルを形成してもよい。

【0020】

以下、各実施形態に係る情報処理の一例を説明する。以下の説明において、図１に示した各構成については、適宜参照する。

【0021】

＜第１実施形態＞
図２を参照して、本実施形態において、注文管理システム１により実行される処理の例を説明する。図２は、顧客から受けた商品の注文内容、及び注文を受けた商品の提供準備の状況を管理するための処理の例を示すシーケンス図である。この処理は、注文管理システム１における各装置が備える制御部による制御により実現される。

【0022】

図２に示す処理の例は、二人の顧客（顧客Ａ及び顧客Ｂ）から受けた商品の注文内容と、商品の提供準備の状況を管理するための処理を示す。

【0023】

まず、ステップＳ１１において、撮像装置３０は、所定の撮像エリアＲに含まれる被写体を撮像し、撮像により得られた動画データ（ビデオ画像データ）の管理装置２０への送信を開始する。前述のとおり、本実施形態における撮像エリアＲは、例えば、顧客からの注文に応じて提供準備が完了した商品を顧客に提供するために一時的に載置するエリアである。管理装置２０は、受信した動画データに対して順次解析処理を行う。

【0024】

次に、ステップＳ１２において、端末装置１０は、入力部１４を介して入力された顧客Ａの注文内容の情報（注文情報）を管理装置２０に送信する。ステップＳ１３において、管理装置２０は、端末装置１０から受信した顧客Ａの注文情報を記憶部２３に記憶することにより注文を登録する。

【0025】

次に、ステップＳ１４において、端末装置１０は、入力部１４を介して入力された顧客Ｂの注文内容の情報を管理装置２０に送信する。ステップＳ１５において、管理装置２０は、端末装置１０から受信した顧客Ｂの注文情報を記憶部２３に記憶することにより注文を登録する。

【0026】

図３を参照して、図２のステップＳ１３及びＳ１５で記憶部２３に記憶された注文情報の例を説明する。図３に示すように、記憶部２３に記憶された注文情報は、項目として、「お客様番号」、「連番」、及び「注文内容」の情報を含む。「お客様番号」は、顧客による注文を識別する情報（注文識別情報）である。「連番」は、１つの注文に含まれる商品を識別するための情報（商品識別情報）であり、１つの注文に含まれる商品の数に応じた記号で当該商品に対して割り振られる。図３に示す例において、「連番」は、１つの注文に含まれる商品のそれぞれに対して割り振られた連続する番号である。従って、１つの注文に４つの商品が含まれる場合、それぞれの商品に対して、１から４のいずれかの番号が割り振られる。他の例として、「連番」の代わりに、アルファベットなどの他の記号が商品を識別するために採用されてもよい。「注文内容」は、注文に含まれる商品の名称である。

【0027】

図３に示す例において、顧客Ａの注文の「お客様番号」（すなわち、注文識別情報）である「１６６」に、「注文内容」である「並牛丼チーズ」、「サラダ」、「タバスコ」、及び「和風ドレッシング」が対応付けられ、さらに、各「注文内容」に対して「連番」である「１」、「２」、「３」、及び「４」が対応付けられて記憶されている。すなわち、顧客Ａの注文は、４つの商品を含む。同様に、図３に示す例において、顧客Ｂの注文の「お客様番号」である「１７４」に、「注文内容」である「並牛丼」、及び「からあげ」が対応付けられ、さらに、各「注文内容」に対して「連番」である「１」、及び「２」が対応付けられて記憶されている。すなわち、顧客Ｂの注文は、２つの商品を含む。

【0028】

図２の説明に戻る。ステップＳ１６において、管理装置２０は、ステップＳ１３及びＳ１５で登録した注文に含まれる商品の情報をプリンタ５０に送信する。ステップＳ１７において、プリンタ５０は、管理装置２０から受信した商品の情報に基づいて、提供準備が完了した商品に付するラベルをプリント出力する。当該ラベルは、例えば、紙又はプラスチックにより形成されたシールであり、一方の面にはプリントされた画像コード（例えば、ＱＲコード（登録商標）、又はバーコード）が印字され、他方の面には糊が塗布されている。画像コードは、例えば、注文を識別する情報と、当該注文に含まれる１つの商品の情報とを符号化することにより生成される。例えば、１つの注文に４つの商品が含まれる場合、４つの商品のうちいずれかの商品の情報を含んで符号化された画像コードが印字された４つのラベルが、プリンタ５０から出力される。なお、変形例として、ステップＳ１７において、プリンタ５０は、商品に付するラベルに代えて（又は当該ラベルに加えて）、上記画像コードが印字されたシート（例えば、上記画像コード及び注文された商品情報を示す文字が印字された紙の注文伝票）をプリント出力してもよい。例えば、１つの注文に４つの商品が含まれる場合、当該４つの商品の情報を含んで符号化された画像コードが印字された１枚のシートが、プリンタ５０から出力される。

【0029】

本実施形態において、プリンタ５０からプリント出力されたラベルに表示された画像コードは、そのサイズが小さくなるように、必要最小限の情報が符号化されることにより生成される。本実施形態において、ラベルに表示された画像コードは、例えば、図３を参照して説明したお客様番号と、お客様番号により特定される注文に含まれる商品の連番とからなる情報を符号化することにより生成されてもよい。変形例として、連番の代わりに、アルファベットなどの他の記号が１つの注文内の商品を識別するために使用されてもよい。ラベルは、提供準備が完了した商品に対して、ラベルの内容と商品の情報がお互いに対応するように、店舗のスタッフにより付される。

【0030】

図４を参照して、商品に付される本実施形態におけるラベルと、他の形態によるラベル（以下、「比較例のラベル」と称する。）との違いを説明する。図４には、本実施形態におけるラベルＬ１と、比較例のラベルＬ１２が示されている。ラベルＬ１には、画像コードｃ１が表示されている。ラベルＬ１２には、画像コードｃ１２が表示されている。さらに、各ラベルには、商品名称（「並牛丼チーズ」）、消費期限、及び加工時刻が表示されている。画像コードｃ１は、上記のように例えば、お客様番号と、商品の連番とからなる情報を符号化することにより生成される。ここで、本実施形態において、商品の連番は、（店舗で扱う商品全体の中である商品を識別可能な情報ではなく）１つの注文の中で商品を識別可能な情報であるため、小さいデータサイズ（例えば、１バイト）とすることができる。これに対し、比較例のラベルＬ１２に表示された画像コードｃ１２は、お客様番号（又は注文識別情報）と、店舗で扱う商品全体のから所定の商品を識別可能な情報とを少なくとも含んだ情報を符号化することにより生成される。このとき、店舗で扱う商品全体のから所定の商品を識別可能な情報は、画像コードｃ１における連番よりもデータサイズが大きくなる。少なくともこのような理由により、図４に示すように本実施形態における画像コードｃ１は、画像コードｃ１２より小さいサイズで生成可能である。なお、本実施形態におけるラベルを比較例のラベルに置換して実施することを除外しない。

【0031】

一般に、商品のサイズが小さいなどの理由により、画像コードが表示されたラベルを商品に付することが困難である場合がある。本実施形態のように画像コードのサイズを小さくすることにより、ラベルのサイズも小さくすることができ、その結果、より多くの商品にラベルを付することが可能である。

【0032】

図２の説明に戻る。店舗のスタッフにより顧客Ａの注文内容に応じて提供準備が完了した商品の１つが撮像エリアＲに載置されると、ステップＳ１８において、管理装置２０は、撮像装置３０から受信した動画データに対する解析処理の結果、商品に付された画像コードを検出する。さらに管理装置２０は、当該画像コードを解析することにより、お客様番号と、連番とを検出する。例えば、管理装置２０は、お客様番号「１６６」と、連番「１」とを検出する。

【0033】

図５を参照して、図２のステップＳ１８において画像コードが検出された動画データの例を説明する。図４は、撮像装置３０により撮像エリアＲを垂直方向上方から撮像することにより得られた画像ａ１を示している。画像ａ１において、撮像エリアＲは、サブエリアｒ１とサブエリアｒ２とに区分けされている。１つのサブエリアには、同じ注文に含まれる商品が載置される。従って、スタッフは、ある注文に含まれる商品をサブエリアｒ１に載置し、他の注文に含まれる商品をサブエリアｒ２に載置する。各サブエリアは、任意の方法により規定される。例えば、撮像エリアＲを左右（又は上下）に二分割することにより、サブエリアを規定してもよい。もしくは、撮像エリアＲに２以上のプレートを配置し、各プレートが１つのサブエリアを規定するようにしてもよい。

【0034】

図５に示す例において、サブエリアｒ１の画像には、商品Ｐ１の画像が含まれている。また、商品Ｐ１の画像には、商品Ｐ１のパッケージに付されたラベルＬ１の画像が含まれている。ラベルＬ１には、画像コードｃ１が含まれている。画像コードｃ１は、上述のように、図３を参照して説明したお客様番号と、連番とを含む情報を符号化することにより生成されたコードである。

【0035】

なお、ステップＳ１７において変形例として説明した画像コードが印字されたシート（例えば、注文伝票）がプリント出力されている場合、ステップＳ１８において、商品に付された画像コードの代わりに（又は、商品に付された画像コードと共に）、当該シートに印字された画像コードが検出されてもよい。この場合において、例えば、まず、店舗のスタッフにより撮像エリアＲに載置された上記シートが撮像装置３０で撮像される。管理装置２０は、撮像装置３０から受信した上記シートの画像を含む動画データに対する解析処理の結果、当該シートに付された画像コードを検出し、当該画像コードを解析することにより、お客様番号と、連番とを検出してもよい。以降で説明する本実施形態及び他の実施形態における処理においても、商品に付された画像コードの代わりに（又は、商品に付された画像コードと共に）、上記シートに印字された画像コードが検出され、その後の処理が実施されてもよい。

【0036】

図２の説明に戻る。ステップＳ１９において、管理装置２０は、記憶部２３に記憶された注文情報を参照し、ステップＳ１８で検出されたお客様番号に対応付けられた注文内容の一覧情報と、ステップＳ１８で検出された連番に対応付けられた注文内容の情報とを取得する。管理装置２０は、取得した情報を、お客様番号とともに表示装置４０に送信する。例えば、管理装置２０は、お客様番号「１６６」に対応付けられた４つの商品（注文内容）の一覧情報と、連番「１」に対応付けられた商品（注文内容）の情報「並牛丼チーズ」とを取得する。その後、管理装置２０は、取得した情報及びお客様番号「１６６」を表示装置４０に送信する。

【0037】

ステップＳ２０において、表示装置４０は、管理装置２０から受信した情報に基づいて、顧客が注文した商品の一覧と、商品提供の準備状況を表示部４３に表示する。詳細には、表示装置４０は、ステップＳ１８で検出されたお客様番号と、当該お客様番号に対応付けられた注文内容の一覧を表示部４３に表示する。さらに、表示装置４０は、注文内容の一覧のうち、ステップＳ１８で検出された連番に対応付けられた注文内容と、他の注文内容とを異なる態様で表示する。

【0038】

図６を参照して、図２のステップＳ２０で表示部４３に表示される画像の例を説明する。この例は、管理装置２０の記憶部２３に、図３に示したような注文情報が記憶されており、図２のステップＳ１８でお客様番号「１６６」と連番「１」が検出されたことを前提としている。

【0039】

図６に示すように、表示部４３に表示された画像には、お客様番号が「１６６」である注文の現在の準備状況は、「準備中」であることが示されている。また、お客様番号が「１６６」である注文の内容（商品情報）の一覧として、「並牛丼チーズ」、「サラダ」、「タバスコ」、及び「和風ドレッシング」が表示されている。なお、注文内容の一覧に含まれる商品は、顧客が明示的に注文した商品だけでなく、顧客が明示的に注文した商品に付随する商品も含む（例えば、明示的に注文された商品である「うなぎ丼」に付随する商品である「山椒」又はその他のトッピング）。各商品情報の右側には、注文された商品数と、提供準備が完了した商品数が示されている。例えば、「サラダ」の右側には、「０／１」と表示されており、これは、サラダの注文数が１であり、提供準備が完了した商品数が０であることを示している。仮にサラダの注文数が２であり、提供準備が完了した商品数が１である場合は、「１／２」と表示される。また、提供準備が完了した商品情報の左側には、チェック印が表示されており、これは、その商品の提供準備が完了したことを示している。変形例として、表示部４３は、注文内容の一覧のうち、提供準備が完了した商品情報を、他の商品情報と異なる色で表示してもよい。

【0040】

以上のように本実施形態によれば、撮像装置３０による撮像結果により得られた画像データに基づいて、商品一覧に含まれる商品のうち、撮像エリアＲに提供されていない商品は、撮像エリアＲに提供された商品と異なる態様で表示装置４０に表示される。また、撮像エリアＲに提供された商品は、例えば、撮像エリアＲの撮像された商品の画像コードに含まれる商品情報に基づいて特定される。

【0041】

図２の説明に戻り、ステップＳ２０の後、撮像エリアＲに顧客Ａの注文に含まれる他の商品が提供された場合、ステップＳ２１において、管理装置２０は、撮像装置３０から受信した動画データに対する解析処理の結果、商品に付された画像コードを検出する。さらに管理装置２０は、当該画像コードを解析することにより、お客様番号と、連番とを検出する。例えば、管理装置２０は、お客様番号「１６６」と、連番「２」とを検出する。さらに、管理装置２０は、記憶部２３を参照し、検出されたお客様番号及び連番に対応付けられた注文内容の情報を取得する。例えば、管理装置２０は、お客様番号「１６６」と、連番「２」に対応付けられた商品内容「サラダ」の情報を取得する。

【0042】

図７を参照して、図２のステップＳ２１において画像コードが検出された動画データの例を説明する。図７は、撮像装置３０により撮像エリアＲを垂直方向上方から撮像することにより得られた画像ａ２を示している。図５の画像ａ１と比較して、画像ａ２のサブエリアｒ１には、商品Ｐ１の画像に加えて商品Ｐ２の画像が含まれている。また、商品Ｐ２の画像には、商品Ｐ２のパッケージに付されたラベルＬ２の画像が含まれている。ラベルＬ２には、画像コードｃ２が含まれている。

【0043】

次に、図２のステップＳ２２において、管理装置２０は、ステップＳ２１で取得した注文内容の情報を表示装置４０に送信する。ステップＳ２３において、表示装置４０は、管理装置２０から受信した情報に基づいて、表示部４３の表示を更新する。

【0044】

図８を参照して、図２のステップＳ２３で表示部４３に表示される画像の例を説明する。この例は、管理装置２０の記憶部２３に、図３に示したような注文情報が記憶されており、図２のステップＳ２１でお客様番号「１６６」と連番「２」が検出されたことを前提としている。

【0045】

図８に示すように、表示部４３に表示された画像には、図６に示した画像と比較して、「サラダ」の右側に「１／１」と表示されており、さらに、「サラダ」の左側にチェック印が表示されている。すなわち、注文された商品の一覧に含まれる商品のうち、撮像エリアＲにサラダも提供されたことが示されている。

【0046】

次に、図２のステップＳ２３の後、顧客Ａの注文に含まれる残りの商品が撮像エリアＲのサブエリアｒ１に提供され、顧客Ｂの注文に含まれる１つの商品がサブエリアｒ２に提供されたとする。このとき、ステップＳ２４において、管理装置２０は、撮像装置３０から受信した動画データに対する解析処理の結果に基づいて、お客様番号、連番、及び撮像エリアＲに提供された商品情報（例えば、商品名）を検出する。

【0047】

図９を参照して、図２のステップＳ２４においてお客様番号、連番、及び商品情報が検出された動画データの例を説明する。図９は、撮像装置３０により撮像エリアＲを垂直方向上方から撮像することにより得られた画像ａ３を示している。図７の画像ａ２と比較して、画像ａ３のサブエリアｒ１には、商品Ｐ１及びＰ２の画像に加えて、商品Ｐ３及びＰ４の画像がさらに含まれている。また、画像ａ３のサブエリアｒ２には、商品Ｐ５の画像が含まれている。

【0048】

商品Ｐ３及びＰ４にはラベルが付されていない。このような場合、管理装置２０は、画像ａ３のサブエリアｒ１に対する商品の画像認識処理に基づいて、撮像エリアＲのサブエリアｒ１に提供された商品を特定する。画像認識処理のために、人工知能などの任意の技術を採用可能である。例えば、商品の画像を説明変数、商品情報（例えば、商品名）を目的変数として、機械学習、又はディープラーニングにより学習済みモデルを構築し、当該モデルのデータを管理装置２０の記憶部２３又は他の装置の記憶部に記憶しておく。このように構築された学習済みモデルを使用することにより、商品Ｐ３の画像を入力として、例えば、商品Ｐ３の商品情報「タバスコ」を出力として得ることができる。また、商品Ｐ４の画像を入力として、例えば、商品Ｐ４の商品情報「和風ドレッシング」を出力として得ることができる。すなわち、この例において、管理装置２０は、画像ａ３に基づいて、顧客Ａの注文に含まれる商品（注文内容）である「タバスコ」及び「和風ドレッシング」が撮像エリアＲのサブエリアｒ１に提供されたことを特定する。なお、商品（例えば、商品Ｐ３）の画像認識処理（例えば、人工知能などを採用した処理）の起動は任意のタイミングに設定することができるが、他の商品（例えば、商品Ｐ１）のラベルに表示された画像コード（又は、上記シートに印字された画像コード）を検知したことをトリガーとして画像認識処理を起動してもよい。

【0049】

また、図９におけるサブエリアｒ２の商品Ｐ５の画像には、商品Ｐ５のパッケージに付されたラベルＬ５の画像が含まれている。ラベルＬ５には、画像コードｃ５が含まれている。管理装置２０は、画像コードｃ５を解析することにより、お客様番号と、連番とを検出する。次に、管理装置２０は、記憶部２３に記憶された注文情報を参照し、検出されたお客様番号に対応付けられた注文内容の一覧情報と、検出された連番に対応付けられた注文内容の情報とを取得する。例えば、管理装置２０は、お客様番号「１７４」と、連番「１」とを検出したとする。この場合、管理装置２０は、記憶部２３を参照し、顧客Ｂの注文識別情報であるお客様番号「１７４」に対応付けられた２つの商品（注文内容）の一覧情報と、連番「１」に対応付けられた商品（注文内容）の情報「並牛丼」（図３参照）とを取得する。

【0050】

図２の説明に戻り、ステップＳ２５において、管理装置２０は、ステップＳ２４で取得した顧客Ｂの注文内容の一覧情報と、顧客Ａ及び顧客Ｂの注文内容のうち撮像エリアＲに提供された商品の情報と、お客様番号とを表示装置４０に送信する。

【0051】

ステップＳ２６において、表示装置４０は、ステップＳ２５で管理装置２０から受信した情報に基づいて、表示部４３の表示を更新する。

【0052】

図１０を参照して、図２のステップＳ２６で表示部４３に表示される画像の例を説明する。この例は、管理装置２０の記憶部２３に、図３に示したような注文情報が記憶されており、図２のステップＳ２５において、「タバスコ」及び「和風ドレッシング」がサブエリアｒ１で検出され、お客様番号「１６６」と連番「１」がサブエリアｒ２で検出されたことを前提としている。

【0053】

図１０に示すように、表示部４３に表示された画像は、エリア１０１と、エリア１０２とを含む。エリア１０１は、顧客Ａの注文（お客様番号「１６６」の注文）に含まれる商品の一覧と、商品提供の準備状況を表示している。エリア１０２は、顧客Ｂの注文（お客様番号「１７４」の注文）に含まれる商品の一覧と、商品提供の準備状況を表示している。エリア１０１の画像は、図８に示した画像と比較して、「タバスコ」及び「和風ドレッシング」の右側に「１／１」と表示されており、左側にはチェック印が表示されている。すなわち、エリア１０１は、注文された商品の一覧に含まれる４つの商品の撮像エリアＲへの提供が完了したことを示している。そのため、エリア１０１の上部には、注文された商品の提供準備が完了したことを示すために「提供ＯＫ」と表示されている。なお、表示装置４０は、注文された商品の撮像エリアＲへの提供が完了したときに、「提供ＯＫ」という表示と共に（又は、当該表示に代えて）、注文された商品の提供準備が完了したことをスピーカ（図示せず。）から音声によりアナウンスしてもよい。

【0054】

エリア１０２の画像には、お客様番号が「１７４」である注文の現在の準備状況は、「準備中」であることが示されている。また、お客様番号が「１６６」である注文の内容（商品情報）の一覧として、「並牛丼」、及び「からあげ」が表示されている。各商品情報の右側には、注文された商品数と、提供準備が完了した商品数が示されている。また、提供準備が完了した商品情報の左側には、チェック印が表示されている。例えば、「並牛丼」の右側には、「１／１」と表示されており、左側には、チェック印が表示されている。すなわちこの例では、並牛丼の提供準備が完了したことが示されている。

【0055】

このように図１０に示した例によれば、表示装置４０の制御部４１は、顧客Ａによる注文のお客様番号に基づいて特定される商品情報の一覧を表示部４３の第１領域に表示し、顧客Ｂによる注文のお客様番号に基づいて特定される商品情報の一覧を表示部４３の第２領域に表示するように制御する。

【0056】

以上のように本実施形態によれば、表示装置４０は、撮像エリアＲにおいて撮像された商品の画像コードに含まれるお客様番号に基づいて、顧客が注文した商品一覧を表示し、撮像装置３０による撮像の結果に基づいて、商品一覧に含まれる商品のうち、撮像エリアＲに提供されていない商品を、撮像エリアＲに提供された商品と異なる態様で表示する。さらに、表示装置４０は、商品一覧に含まれる商品の撮像エリアＲへの提供が完了したことを表示する。その結果、店舗のスタッフは、表示装置４０による表示を確認しながら注文商品の提供準備をすることにより、商品の提供準備の完了をより正確に確認可能である。

【0057】

また、本実施形態において、撮像エリアＲに提供された商品が表示装置４０に表示された商品一覧に含まれない場合、表示装置４０（の制御部４１）は、撮像エリアＲに提供された商品が注文に含まれていないことを表示してもよい。詳細には、例えば、管理装置２０は、顧客Ａの注文の準備状況の管理のために、撮像エリアＲのサブエリアｒ１に提供された商品を特定し、特定された商品が顧客Ａの注文に含まれる商品ではないと判断したとする。このとき、表示装置４０は、サブエリアｒ１に提供された商品は顧客Ａの注文に含まれていないことを表示するように制御する。

【0058】

また、本実施形態における処理を実行するためのコンピュータプログラムを、光学ディスク、磁気ディスク、半導体メモリなどの各種の記録媒体を通じて、又は通信ネットワークなどを介してダウンロードすることにより、コンピュータにインストール又はロードすることができるようにしてもよい。

【0059】

［変形例］
例えば、商品にラベルを付すことが困難であり、かつ、画像認識処理によって商品を特定することも困難である商品がある。このような商品のために、表示装置４０に対する操作に応じて、当該商品が撮像エリアＲに提供されたことを表示装置４０が示すようにしてもよい。例えば、商品である味噌汁にはラベルを付すことが困難であり、かつ、画像認識処理によって味噌汁を特定することも困難であるとする。このとき、顧客Ａの注文に味噌汁が含まれており、味噌汁が撮像エリアＲに提供されたときに、店舗のスタッフが、表示装置４０の表示部４３に表示された注文内容一覧のうち、味噌汁の情報が表示された部分をタップ等したことに応じて、表示部４３は、撮像エリアＲに味噌汁が提供されたことを示すようにしてもよい。

【0060】

他の変形例として、顧客により注文されていない商品が撮像エリアＲに提供された場合であっても、管理装置２０は、当該商品の検出結果を無視するように制御してもよい。例えば、顧客により注文されていない商品が撮像エリアＲに提供された場合であっても、管理装置２０は、エラーメッセージを表示部４３に表示しないように制御してもよい。また、顧客により注文されていない商品が撮像エリアＲに提供された場合であっても、管理装置２０は、注文された全ての商品が撮像エリアＲに提供されたときに、提供準備が完了したことを表示部４３に示すように制御してもよい。

【0061】

＜第２実施形態＞
本実施形態は、注文管理システム１の利便性を高めるための実施形態である。本実施形態において、管理装置２０は、撮像エリアＲにおける撮像結果に基づいて、顧客による注文に含まれる商品の一覧の情報と、商品提供の準備状況の情報とを記憶部２３に記憶する。撮像エリアＲに提供された商品が検出された後、何らかの遮蔽物（例えば、人の身体）により一時的に検出されなくなった場合であっても、記憶部２３に記憶された情報に基づいて、商品提供の準備状況を管理する。

【0062】

以下に説明する本実施形態の内容は、適宜、他の各実施形態の一部又は全体と適宜組み合わせることが可能である。本実施形態において、他の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。

【0063】

本実施形態において、管理装置２０は、撮像エリアＲにおいて撮像された商品の画像コードに含まれる注文識別情報に基づいて特定された注文商品の情報と、撮像装置３０による撮像の結果に基づいて特定された撮像エリアＲに提供された商品の情報とを記憶部２３に記憶する。例えば、管理装置２０は、図２に示したように、撮像エリアＲにおいて撮像された商品の画像コードに含まれるお客様番号（注文識別情報）に基づいて注文商品の情報を特定（例えば、ステップＳ１８）し、さらに、商品の撮像の結果に基づいて（例えば、画像コード及び画像認識処理に基づいて）、撮像エリアＲに提供された商品の情報を特定する（例えば、ステップＳ１８、Ｓ２１及びＳ２４等）。管理装置２０は、特定された情報を記憶部２３に記憶する。すなわち、管理装置２０は、撮像エリアＲにおける撮像結果に基づいて、顧客による注文に含まれる商品の一覧の情報と、商品提供の準備状況の情報とを記憶部２３に記憶する。顧客による注文に含まれる商品の一覧の情報と、商品提供の準備状況の情報の例は、例えば、図８等に示されている。

【0064】

また、管理装置２０は、注文された商品一覧を表示装置４０に表示させるように制御する（例えば、図２のステップＳ２０又はＳ２３等）。このとき、商品一覧に含まれる商品のうち、撮像エリアＲに提供されていない商品は、撮像エリアＲに提供された商品と異なる態様で表示装置４０に表示される。例えば、図８に示したように、注文された商品一覧のうち撮像エリアＲに提供された商品は、他の商品と異なり強調表示される（例えば、チェック印が表示される）。

【0065】

その後、何らかの理由で、検出済みの商品の全て（例えば、顧客Ａによる注文商品の全て）が検出されなくなったときに、管理装置２０は、表示装置４０による表示から当該商品一覧を削除するように制御する。例えば、表示装置４０の表示部４３に表示された図８に示すような画像が非表示になる。

【0066】

その後、撮像エリアＲで特定されなくなった注文商品が再度特定されたときに（注文商品の少なくとも一部が再度特定されたとき）、管理装置２０は、記憶部２３に記憶された情報に基づいて、注文商品の一覧を再び表示装置４０に表示するように制御する。例えば、図８に示したような画像が表示装置４０の表示部４３に再度表示される。

【0067】

その後、管理装置２０は、商品一覧に含まれる商品の撮像エリアＲへの提供が完了したことを表示装置４０に表示させるように制御する。例えば、管理装置２０は、図１０のエリア１０１に示すような画像を表示装置４０に表示させるように制御する。

【0068】

以上のように本実施形態によれば、管理装置２０の記憶部２３は、撮像エリアＲにおいて撮像された商品の画像コードに含まれる注文識別情報に基づいて特定された注文商品の情報と、上記の撮像の結果に基づいて特定された撮像エリアＲに提供された商品の情報とを記憶する。管理装置２０は、記憶部２３に記憶された情報に基づいて、注文商品の一覧を表示装置４０に表示させ、撮像エリアＲにおける撮像の結果に基づいて、注文商品の一覧に含まれる商品のうち、撮像エリアＲに提供されていない商品を、撮像エリアＲに提供された商品と異なる態様で表示装置４０に表示させる。管理装置２０は、上記の撮像の結果に基づいて、撮像エリアＲで注文商品がいずれも特定されなくなったときに、表示装置４０の表示から注文商品の一覧を削除させるように制御する。その後、撮像エリアＲで特定されなくなった注文商品が再度特定されたときに、管理装置２０は、記憶部２３に記憶された情報に基づいて、注文商品の一覧を表示装置４０に表示させるように制御する。
すなわち、本実施形態によれば、撮像エリアＲに提供された商品が検出された後、何らかの遮蔽物（例えば、人の身体）により検出されなくなった場合であっても、管理装置２０は、商品が顧客に提供されたと判断して商品提供の準備状況の情報をリセットせずに、記憶部２３に記憶した状態にしておく。その後、撮像エリアＲで特定されなくなった注文商品が再度特定されたときに（注文商品の少なくとも一部が再度特定されたとき）、管理装置２０は、記憶部２３に記憶された情報に基づいて、注文商品の一覧を再び表示装置４０に表示するように制御する。その結果、本実施形態によれば、商品提供の準備状況を正しく管理することができる。

【0069】

＜第３実施形態＞
本実施形態は、第２実施形態と同様に、注文管理システム１の利便性を高めるための実施形態である。第２実施形態は、検出済みの商品の全て（例えば、顧客Ａによる注文商品の全て）が検出されなくなったときについての実施形態であったが、本実施形態は、検出済みの商品の一部が検出されなくなったときについての実施形態である。

【0070】

以下に説明する本実施形態の内容は、適宜、他の各実施形態の一部又は全体と適宜組み合わせることが可能である。本実施形態において、他の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。

【0071】

本実施形態において、管理装置２０は、第２実施形態と同様に、撮像エリアＲにおいて撮像された商品の画像コードに含まれる注文識別情報に基づいて特定された注文商品の情報と、撮像装置３０による撮像の結果に基づいて特定された撮像エリアＲに提供された商品の情報とを記憶部２３に記憶する。また、本実施形態において、管理装置２０は、撮像装置３０による撮像エリアＲの撮像の結果に基づいて、注文商品の一覧に含まれる商品のうち、撮像エリアＲで特定されなくなった商品を撮像エリアに提供された商品と同じ態様のままで表示装置４０に表示させるように制御する。

【0072】

例えば、上記で説明したように、管理装置２０は、図２のステップＳ２３において、表示装置４０が図８に示すような画像を表示するように制御する。図８において、注文された商品一覧に含まれる商品のうち、撮像エリアＲに提供されていない商品が、撮像エリアＲに提供された商品と異なる態様で表示されている。このような場合において、注文された商品一覧に含まれる商品のうち、一部の商品が撮像エリアＲで特定されなくなったとする。

【0073】

図１１は、図７に示した動画データにおいて、注文された商品一覧に含まれる商品のうち、一部の商品が撮像エリアＲで特定されなくなった場合の例を示している。図１１において、図７に示された商品Ｐ１が遮蔽物Ｍ１により隠れている。すなわち、図１１に示す例において、商品Ｐ１（又は、商品Ｐ１の画像コードｃ１）が撮像エリアＲで特定されなくなっている。このような場合であっても、本実施形態によれば、管理装置２０は、記憶部２３に記憶された情報に基づいて、撮像エリアＲで特定されなくなった商品を撮像エリアに提供された商品と同じ態様のままで表示装置４０に表示させるように制御する。例えば、表示装置４０において、図８に示すような画像の表示が維持される。

【0074】

また、その後、撮像装置３０による撮像の結果に基づいて、撮像エリアＲで新たに商品が特定されたことに応じて、管理装置２０は、表示装置４０に表示された撮像エリアＲに提供された商品の数を変更させるように制御することも可能である。すなわち、一度カウントした商品の数をリセットせずに、追加分を加算することが可能である。

【0075】

例えば、顧客Ａにより、商品「並牛丼チーズ」が２つ注文された場合において、１つ目の「並牛丼チーズ」が撮像エリアＲに提供されたことにより、図１２に示すように、表示装置４０に「並牛丼チーズ １／２」と表示されたとする。本実施形態によれば、その後、１つ目の「並牛丼チーズ」の上に２つ目の「並牛丼チーズ」が積まれたことにより、１つ目の「並牛丼チーズ」が隠れてしまった場合であっても、１つ目の「並牛丼チーズ」の提供準備が完了したことは認識されたまま、２つ目の「並牛丼チーズ」の提供準備が完了したことが認識される。すなわち、図１２における表示「並牛丼チーズ １／２」が「並牛丼チーズ ２／２」に変更される。

【0076】

以上のように本実施形態によれば、管理装置２０の記憶部２３は、撮像エリアＲにおいて撮像された商品の画像コードに含まれる注文識別情報に基づいて特定された注文商品の情報と、上記の撮像の結果に基づいて特定された撮像エリアＲに提供された商品の情報とを記憶する。管理装置２０は、記憶部２３に記憶された情報に基づいて、注文商品の一覧を表示装置４０に表示させ、撮像エリアＲにおける撮像の結果に基づいて、注文商品の一覧に含まれる商品のうち、撮像エリアＲに提供されていない商品を、撮像エリアＲに提供された商品と異なる態様で表示装置４０に表示させる。管理装置２０は、上記の撮像の結果に基づいて、注文商品の一覧に含まれる商品のうち、撮像エリアＲで特定されなくなった商品を撮像エリアＲに提供された商品と同じ態様のままで表示装置４０に表示させる。その後、管理装置２０は、上記の撮像の結果に基づいて、撮像エリアＲで新たに商品が特定されたことに応じて、表示装置４０に表示された撮像エリアＲに提供された商品の数を変更させる。
すなわち、本実施形態によれば、撮像エリアＲに提供された商品が検出された後、何らかの遮蔽物（例えば、人の身体、又は注文された他の商品）により検出されなくなった場合であっても、管理装置２０は、当該商品を提供準備中と判断せずに、表示装置４０の表示を維持するように制御する。さらに、新たに商品が特定されたことに応じて、管理装置２０は、表示装置４０に表示された撮像エリアＲに提供された商品の数を変更する。その結果、本実施形態によれば、商品提供の準備状況を正しく管理することができる。
なお、注文商品が１つであるときに、撮像装置３０による撮像の結果に基づいて、当該商品が特定されなくなった場合、管理装置２０は、表示装置４０の表示から注文商品を削除させ、その後、撮像エリアＲで特定されなくなった注文商品が再度特定されたときに、記憶部２３に記憶された情報に基づいて、注文商品を表示装置４０に表示させるように制御してもよい。しかしながらこの方法に限定されず、上記の場合、管理装置２０は、撮像エリアＲで特定されなくなった商品を撮像エリアＲに提供された商品と同じ態様のままで表示装置４０に表示させてもよい。

【0077】

＜第４実施形態＞
本実施形態は、画像コードに基づいて特定された商品と、商品画像に対する画像認識結果とに基づいて、撮像エリアＲに提供された商品が正しいか否かを判定する実施形態である。

【0078】

以下に説明する本実施形態の内容は、適宜、他の各実施形態の一部又は全体と適宜組み合わせることが可能である。本実施形態において、他の実施形態と同様の構成については、適宜、同じ符号を付してその説明を省略あるいは簡略化する。

【0079】

本実施形態において、管理装置２０は、撮像エリアＲにおいて矩形に収まるオブジェクトを特定する。詳細には、管理装置２０は、撮像装置３０により得られた撮像エリアＲの画像において、仮想的に規定された形状である矩形の位置及びサイズを変更しながら、当該矩形内に収まるオブジェクト（商品）を特定する。当該仮想的に規定された形状は、矩形に限定されず、その他の多角形、楕円形、円形、又は不規則形状などの、その他の所定形状であってもよい。

【0080】

図１３を参照して、矩形内に収まるオブジェクトの例を説明する。図１３に示すように、撮像エリアＲに仮想的に規定された矩形Ｎ６が示されている。また、図１３には、矩形Ｎ６の位置及びサイズを変更しながら特定された矩形Ｎ６内に収まるオブジェクト（商品Ｐ６）が示されている。

【0081】

その後、管理装置２０は、矩形内の画像コードに含まれる注文識別情報に基づいて特定される注文商品と、矩形内のオブジェクトに対する画像認識結果に基づいて特定される商品とを比較する。

【0082】

図１３に示す例において、管理装置２０は、矩形Ｎ６内の画像コードｃ６に含まれるお客様番号（注文識別情報）に基づいて特定される注文商品と、矩形Ｎ６内のオブジェクトに対する画像認識結果に基づいて特定される商品とを比較する。お客様番号に基づいて注文商品を特定する方法は、第１実施形態で説明したとおりである。また、画像認識結果に基づく商品の特定のために、任意の画像認識処理を使用可能である。例えば、商品の画像を説明変数、商品情報（例えば、商品名）を目的変数として、機械学習又はディープラーニングにより学習済みモデルを構築し、当該モデルのデータを管理装置２０の記憶部２３又は他の装置の記憶部に記憶しておく。このように構築された学習済みモデルを使用することにより、商品Ｐ６の画像を入力として、例えば、商品Ｐ６の商品情報「並牛丼チーズ」を出力として得ることができる。

【0083】

管理装置２０は、上記の比較の結果に基づいて、撮像エリアＲに提供された商品が正しいか否かを判定する。すなわち、注文識別情報に基づいて特定される注文商品と、矩形内（所定形状内）のオブジェクトに対する画像認識結果に基づいて特定される商品とが対応する場合、提供商品が正しいと判定され、対応しない場合、提供商品が正しくないと判定される。

【0084】

例えば、管理装置２０は、矩形Ｎ６内の画像コードｃ６に含まれるお客様番号に基づいて特定される注文商品が「並牛丼チーズ」であり、矩形Ｎ６内のオブジェクトに対する画像認識結果に基づいて特定された商品が「並牛丼チーズ」である場合、提供商品が正しいと判定される。また、お客様番号に基づいて特定される注文商品が「並牛丼チーズ」であり、矩形Ｎ６内のオブジェクトに対する画像認識結果に基づいて特定された商品が「並牛丼」である場合（すなわち、画像認識処理の結果、牛丼の上にチーズのトッピングが認識されない場合）、提供商品が正しくないと判定される。

【0085】

以上のように本実施形態によれば、撮像エリアＲに提供された商品（オブジェクト）の画像に対する画像認識処理により、商品（例えば、商品の種類及び商品に乗せられたトッピング）が特定される。さらに、注文識別情報に基づいて特定される注文商品と、画像認識処理により特定された商品との比較結果に基づいて、撮像エリアＲに提供された商品が正しいか否かが判定される。その結果、顧客に対する商品の提供ミスを抑止することが可能である。

【0086】

また、図１４に示すように、上記の矩形（所定形状）を使用して画像コードを特定する場合、１つの矩形内に複数の画像コードが特定される場合がある。図１４には、撮像エリアＲに提供された商品Ｐ６及び商品Ｐ７が示されている。商品Ｐ６は、矩形Ｎ６内に収まっており、商品Ｐ７は、矩形Ｎ７内に収まっている。また、矩形Ｎ７内には、商品Ｐ７に付された画像コードｃ７に加えて、画像コードｃ７が含まれている。すなわち、矩形Ｎ７内に複数の画像コードが特定される。このような場合において、管理装置２０は、矩形Ｎ７の中心から最も近い画像コード（すなわち、画像コードｃ７）に含まれる注文識別情報に基づいて注文商品を特定する。管理装置２０は、このようにして特定された注文商品の情報を使用して、上記の比較を実施する。また、１つの矩形内に３つ以上の画像コードが特定された場合であっても、上記と同様の方法により、注文商品を特定することができる。

【0087】

＜その他実施形態＞
上記以外の様々な実施形態を採用可能である。
例えば、注文管理システム１の利用率を表示装置４０の表示部４３に表示可能である。当該利用率は、表示装置４０が設置された店舗における利用率であってもよいし、店舗のスタッフごとの利用率であってもよい。注文管理システム１の利用率は、例えば、所定期間（例えば、１日又は１ヶ月）における上記のお客様番号（注文識別情報）の発行数（注文数）に対する注文管理システム１の利用数の割合で示すことができる。注文管理システム１の利用数は、例えば、管理装置２０により、注文された商品の提供準備が完了したと判断された回数で示される。

【0088】

また、顧客から商品注文が入ってから商品の提供準備完了までの時間である準備時間を計測し、表示装置４０の表示部４３に表示することも可能である。この場合において、商品注文が入ったタイミングは、例えば、端末装置１０の入力部１４を介して顧客の注文内容の情報が入力されたタイミングとしてもよい。表示装置４０には、注文ごとの準備時間、スタッフごとの平均準備時間、店舗ごとの平均準備時間、又は時間帯ごと（例えば、８時台、１８時台）の平均準備時間が算出されて表示可能である。

【0089】

さらに、表示装置４０の表示が変更されない（表示が固まってしまった）ときに、その原因を特定するための動画を表示装置４０の表示部４３に表示させることも可能である。当該動画は、表示装置４０の制御により、表示が変更される（例えば、動物のアイコン画像が動く）。例えば、表示装置４０の表示部４３において、当該動画の表示が動くにも関わらず、商品提供の準備状況の表示（例えば、図６に示すような画像の表示）が変更されない場合、表示が変更されない原因は、表示装置４０と管理装置２０との間の通信ネットワークにあることが考えられる。また、動画の表示が動かない場合、その原因は、表示装置４０にあると考えられる。

【0090】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【符号の説明】

【0091】

１ 注文管理システム、１０ 端末装置、２０ 管理装置、３０ 撮像装置、４０ 表示装置、５０ プリンタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】