IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 沖電気工業株式会社の特許一覧

特開2024-9423表示制御装置、表示制御方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024009423
(43)【公開日】2024-01-23
(54)【発明の名称】表示制御装置、表示制御方法およびプログラム
(51)【国際特許分類】
   G06Q 50/12 20120101AFI20240116BHJP
   G07G 1/12 20060101ALI20240116BHJP
   A47G 23/08 20060101ALI20240116BHJP
   G06Q 10/08 20240101ALI20240116BHJP
【FI】
G06Q50/12
G07G1/12 361C
A47G23/08
G06Q10/08
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2022110923
(22)【出願日】2022-07-11
(71)【出願人】
【識別番号】000000295
【氏名又は名称】沖電気工業株式会社
(74)【代理人】
【識別番号】100140958
【弁理士】
【氏名又は名称】伊藤 学
(74)【代理人】
【識別番号】100137888
【弁理士】
【氏名又は名称】大山 夏子
(74)【代理人】
【識別番号】100190942
【弁理士】
【氏名又は名称】風間 竜司
(72)【発明者】
【氏名】村松 敦
【テーマコード(参考)】
3B115
3E142
5L049
【Fターム(参考)】
3B115CB05
3B115CB07
3B115DC01
3B115DC16
3B115DC18
3E142AA07
3E142DA08
3E142EA04
3E142FA50
3E142JA01
5L049AA16
5L049CC24
(57)【要約】
【課題】ユーザが自分の取るべき搬送対象物を取り忘れてしまう可能性を低減するための技術を提供することを目的とする。
【解決手段】第1の搬送対象物が搬送される搬送路の第1の範囲が撮像されて得られた第1の撮像映像を表示するように第1の表示部を制御する出力制御部を備え、前記出力制御部は、前記第1の表示部に対応する第1の情報と、前記搬送路における前記第1の搬送対象物の搬送先に対応する第2の情報とが一致すると判定されたことに基づいて、前記第1の撮像映像における前記第1の搬送対象物の位置に応じた領域に、第1の表示オブジェクトを重畳して表示するように前記第1の表示部を制御する、表示制御装置が提供される。
【選択図】図1
【特許請求の範囲】
【請求項1】
第1の搬送対象物が搬送される搬送路の第1の範囲が撮像されて得られた第1の撮像映像を表示するように第1の表示部を制御する出力制御部を備え、
前記出力制御部は、
前記第1の表示部に対応する第1の情報と、前記搬送路における前記第1の搬送対象物の搬送先に対応する第2の情報とが一致すると判定されたことに基づいて、前記第1の撮像映像における前記第1の搬送対象物の位置に応じた領域に、第1の表示オブジェクトを重畳して表示するように前記第1の表示部を制御する、
表示制御装置。
【請求項2】
前記出力制御部は、前記搬送路による前記第1の搬送対象物の搬送方向と異なる方向への前記第1の搬送対象物の移動が検出されたことに基づいて、成功を示す成功情報を出力するように出力部を制御する、
請求項1に記載の表示制御装置。
【請求項3】
前記出力制御部は、前記第1の搬送対象物への手の移動、および、前記搬送路による前記第1の搬送対象物の搬送方向と異なる方向への前記第1の搬送対象物の移動が検出されたことに基づいて、前記成功情報を出力するように前記出力部を制御する、
請求項2に記載の表示制御装置。
【請求項4】
前記成功情報は、視覚によって知覚される所定の視覚情報または聴覚によって知覚される所定の聴覚情報を含む、
請求項2に記載の表示制御装置。
【請求項5】
前記出力制御部は、前記搬送路による前記第1の搬送対象物の搬送方向と異なる方向への前記第1の搬送対象物の移動が検出されたことに基づいて、前記第1の表示オブジェクトを前記第1の撮像映像から消去するように前記第1の表示部を制御する、
請求項1に記載の表示制御装置。
【請求項6】
前記第2の情報は、第2の表示部に対応し、
前記第2の表示部は、前記搬送先を含んだ第2の範囲が撮像されて得られた第2の撮像映像を表示する、
請求項1に記載の表示制御装置。
【請求項7】
搬送予定数と同数の第1の搬送対象物が検出された後には、前記第1の搬送対象物に続く第2の搬送対象物が検出されない、
請求項1に記載の表示制御装置。
【請求項8】
前記第1の表示オブジェクトは、透過性を有する画像である、
請求項1に記載の表示制御装置。
【請求項9】
前記表示制御装置は、
前記第1の範囲を撮像する複数の搬送路撮像部それぞれによって撮像されて得られた搬送路映像をつなぎ合わせることにより、前記第1の撮像映像を生成する映像生成部を備える、
請求項1に記載の表示制御装置。
【請求項10】
前記出力制御部は、前記第1の搬送対象物が前記第1の撮像映像における前記搬送路の所定の領域から検出されたことに基づいて、注意喚起を促す情報を出力するように出力部を制御する、
請求項1に記載の表示制御装置。
【請求項11】
前記注意喚起を促す情報は、視覚によって知覚される所定の視覚情報または聴覚によって知覚される所定の聴覚情報を含む、
請求項10に記載の表示制御装置。
【請求項12】
前記視覚情報は、前記第1の表示オブジェクトに付加される所定の装飾情報を含む、
請求項11に記載の表示制御装置。
【請求項13】
前記表示制御装置は、
前記第1の搬送対象物が前記第1の撮像映像における前記搬送路の所定の領域から検出されたことに基づいて、前記搬送路による前記第1の搬送対象物の搬送を停止するように前記搬送路を制御する搬送制御部を備える、
請求項1に記載の表示制御装置。
【請求項14】
前記出力制御部は、
前記第1の情報と、前記搬送路における第3の搬送対象物の搬送先に対応する第3の情報とが一致しないと判定されたこと、および、前記第3の搬送対象物への手の移動が検出されたことに基づいて、失敗を示す失敗情報を出力するように出力部を制御する、
請求項1に記載の表示制御装置。
【請求項15】
前記出力制御部は、
前記第3の搬送対象物に移動した手の特徴が所定の条件を満たすことに基づいて、前記失敗情報を出力しないように前記出力部を制御する、
請求項14に記載の表示制御装置。
【請求項16】
前記所定の条件は、前記第3の搬送対象物に移動した手の向きに関する条件である、
請求項15に記載の表示制御装置。
【請求項17】
前記所定の条件は、前記第3の搬送対象物に移動した手に付された色または模様に関する条件である、
請求項15に記載の表示制御装置。
【請求項18】
前記出力制御部は、
前記第1の情報と、前記搬送路における第3の搬送対象物の搬送先に対応する第3の情報とが一致しないと判定されたこと、および、前記第3の搬送対象物への手の移動が検出されたことに基づいて、前記第1の撮像映像における前記第3の搬送対象物の位置に応じた領域に、前記第1の表示オブジェクトとは異なる第3の表示オブジェクトを重畳して表示するように前記第1の表示部を制御する、
請求項1に記載の表示制御装置。
【請求項19】
第1の搬送対象物が搬送される搬送路の第1の範囲が撮像されて得られた第1の撮像映像を表示するように第1の表示部を制御することと、
前記第1の表示部に対応する第1の情報と、前記搬送路における前記第1の搬送対象物の搬送先に対応する第2の情報とが一致すると判定されたことに基づいて、前記第1の撮像映像における前記第1の搬送対象物の位置に応じた領域に、第1の表示オブジェクトを重畳して表示するように前記第1の表示部を制御することと、
を含む、表示制御方法。
【請求項20】
コンピュータを、
第1の搬送対象物が搬送される搬送路の第1の範囲が撮像されて得られた第1の撮像映像を表示するように第1の表示部を制御する出力制御部として機能させるプログラムであって、
前記出力制御部は、
前記第1の表示部に対応する第1の情報と、前記搬送路における前記第1の搬送対象物の搬送先に対応する第2の情報とが一致すると判定されたことに基づいて、前記第1の撮像映像における前記第1の搬送対象物の位置に応じた領域に、第1の表示オブジェクトを重畳して表示するように前記第1の表示部を制御する、
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、表示制御装置、表示制御方法およびプログラムに関する。
【背景技術】
【0002】
近年、搬送対象物を搬送先まで搬送するための各種技術が知られている。かかる技術の中には、搬送先に存在するユーザが搬送対象物を取り忘れてしまうことを防止するための技術も存在する。
【0003】
一例として、ユーザが注文した搬送対象物が搬送され、搬送対象物が搬送先の例としてのユーザに近づくと、搬送対象物がユーザに近づいている旨を示す情報と、搬送対象物のサンプル画像とを画面に表示する技術が開示されている(例えば、特許文献1参照)。かかる技術によれば、搬送対象物がユーザの存在する場所にまもなく到着することをユーザに把握させることが可能である。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2004-242693号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかし、搬送路上には、ユーザ自身が取るべき搬送対象物以外の搬送対象物も存在し得る。そのため、搬送対象物がユーザに近づいている旨を示す情報と、搬送対象物のサンプル画像とが表示されるだけでは、搬送路上のどの搬送対象物を取るべきかをユーザに識別させるのが困難である。したがって、ユーザが自分の取るべき搬送対象物を取り忘れてしまう可能性がある。
【0006】
そこで本発明は、ユーザが自分の取るべき搬送対象物を取り忘れてしまう可能性を低減するための技術を提供することを目的とする。
【課題を解決するための手段】
【0007】
上記課題を解決するために、本発明のある観点によれば、第1の搬送対象物が搬送される搬送路の第1の範囲が撮像されて得られた第1の撮像映像を表示するように第1の表示部を制御する出力制御部を備え、前記出力制御部は、前記第1の表示部に対応する第1の情報と、前記搬送路における前記第1の搬送対象物の搬送先に対応する第2の情報とが一致すると判定されたことに基づいて、前記第1の撮像映像における前記第1の搬送対象物の位置に応じた領域に、第1の表示オブジェクトを重畳して表示するように前記第1の表示部を制御する、表示制御装置が提供される。
【0008】
前記出力制御部は、前記搬送路による前記第1の搬送対象物の搬送方向と異なる方向への前記第1の搬送対象物の移動が検出されたことに基づいて、成功を示す成功情報を出力するように出力部を制御してもよい。
【0009】
前記出力制御部は、前記第1の搬送対象物への手の移動、および、前記搬送路による前記第1の搬送対象物の搬送方向と異なる方向への前記第1の搬送対象物の移動が検出されたことに基づいて、前記成功情報を出力するように前記出力部を制御してもよい。
【0010】
前記成功情報は、視覚によって知覚される所定の視覚情報または聴覚によって知覚される所定の聴覚情報を含んでもよい。
【0011】
前記出力制御部は、前記搬送路による前記第1の搬送対象物の搬送方向と異なる方向への前記第1の搬送対象物の移動が検出されたことに基づいて、前記第1の表示オブジェクトを前記第1の撮像映像から消去するように前記第1の表示部を制御してもよい。
【0012】
前記第2の情報は、第2の表示部に対応し、前記第2の表示部は、前記搬送先を含んだ第2の範囲が撮像されて得られた第2の撮像映像を表示してもよい。
【0013】
搬送予定数と同数の第1の搬送対象物が検出された後には、前記第1の搬送対象物に続く第2の搬送対象物が検出されないことでもよい。
【0014】
前記第1の表示オブジェクトは、透過性を有する画像であってもよい。
【0015】
前記表示制御装置は、前記第1の範囲を撮像する複数の搬送路撮像部それぞれによって撮像されて得られた搬送路映像をつなぎ合わせることにより、前記第1の撮像映像を生成する映像生成部を備えてもよい。
【0016】
前記出力制御部は、前記第1の搬送対象物が前記第1の撮像映像における前記搬送路の所定の領域から検出されたことに基づいて、注意喚起を促す情報を出力するように出力部を制御してもよい。
【0017】
前記注意喚起を促す情報は、視覚によって知覚される所定の視覚情報または聴覚によって知覚される所定の聴覚情報を含んでもよい。
【0018】
前記視覚情報は、前記第1の表示オブジェクトに付加される所定の装飾情報を含んでもよい。
【0019】
前記表示制御装置は、前記第1の搬送対象物が前記第1の撮像映像における前記搬送路の所定の領域から検出されたことに基づいて、前記搬送路による前記第1の搬送対象物の搬送を停止するように前記搬送路を制御する搬送制御部を備えてもよい。
【0020】
前記出力制御部は、前記第1の情報と、前記搬送路における第3の搬送対象物の搬送先に対応する第3の情報とが一致しないと判定されたこと、および、前記第3の搬送対象物への手の移動が検出されたことに基づいて、失敗を示す失敗情報を出力するように出力部を制御してもよい。
【0021】
前記出力制御部は、前記第3の搬送対象物に移動した手の特徴が所定の条件を満たすことに基づいて、前記失敗情報を出力しないように前記出力部を制御してもよい。
【0022】
前記所定の条件は、前記第3の搬送対象物に移動した手の向きに関する条件であってもよい。
【0023】
前記所定の条件は、前記第3の搬送対象物に移動した手に付された色または模様に関する条件であってもよい。
【0024】
前記出力制御部は、前記第1の情報と、前記搬送路における第3の搬送対象物の搬送先に対応する第3の情報とが一致しないと判定されたこと、および、前記第3の搬送対象物への手の移動が検出されたことに基づいて、前記第1の撮像映像における前記第3の搬送対象物の位置に応じた領域に、前記第1の表示オブジェクトとは異なる第3の表示オブジェクトを重畳して表示するように前記第1の表示部を制御してもよい。
【0025】
また、上記課題を解決するために本発明の別の観点によれば、第1の搬送対象物が搬送される搬送路の第1の範囲が撮像されて得られた第1の撮像映像を表示するように第1の表示部を制御することと、前記第1の表示部に対応する第1の情報と、前記搬送路における前記第1の搬送対象物の搬送先に対応する第2の情報とが一致すると判定されたことに基づいて、前記第1の撮像映像における前記第1の搬送対象物の位置に応じた領域に、第1の表示オブジェクトを重畳して表示するように前記第1の表示部を制御することと、を含む、表示制御方法が提供される。
【0026】
また、上記課題を解決するために本発明の別の観点によれば、コンピュータを、第1の搬送対象物が搬送される搬送路の第1の範囲が撮像されて得られた第1の撮像映像を表示するように第1の表示部を制御する出力制御部として機能させるプログラムであって、前記出力制御部は、前記第1の表示部に対応する第1の情報と、前記搬送路における前記第1の搬送対象物の搬送先に対応する第2の情報とが一致すると判定されたことに基づいて、前記第1の撮像映像における前記第1の搬送対象物の位置に応じた領域に、第1の表示オブジェクトを重畳して表示するように前記第1の表示部を制御する、プログラムが提供される。
【発明の効果】
【0027】
以上説明したように本発明によれば、ユーザが自分の取るべき搬送対象物を取り忘れてしまう可能性を低減するための技術を提供することが可能となる。
【図面の簡単な説明】
【0028】
図1】本発明の第1の実施形態に係る表示制御システムの概略的な構成の一例を示す図である。
図2】注文管理装置20の機能構成の一例を示すブロック図である。
図3】注文処理端末30の機能構成の一例を示すブロック図である。
図4】搬送容器40の機能構成例の一例を示すブロック図である。
図5】搬送装置50の機能構成例の一例を示すブロック図である。
図6】注文端末10-1の機能構成例の一例を示すブロック図である。
図7】表示制御システム1が導入される店内の俯瞰図の一例を示す図である。
図8】本発明の第1の実施形態に係る表示制御システム1のうち顧客によって視認される各構成の位置関係の例を示す図である。
図9】本発明の第1の実施形態に係る表示制御システム1の動作例を示すフローチャートの前半である。
図10】本発明の第1の実施形態に係る表示制御システム1の動作例を示すフローチャートの後半である。
図11】注文情報の例を示す図である。
図12】搬送容器40および皿の配置例を示す図である。
図13】商品到着の通知画面の例を示す図である。
図14】撮像映像の左端領域の例を示す図である。
図15】表示オブジェクトの例を示す図である。
図16】追加の表示オブジェクトの例を示す図である。
図17】成功情報の例を示す図である。
図18】本発明の第2の実施形態に係る注文端末10-2の機能構成の一例を示すブロック図である。
図19】本発明の第2の実施形態に係る表示制御システム1の動作例を示すフローチャートである。
図20】撮像映像の右端領域の例を示す図である。
図21】皿D8の移動検出例を示す図である。
図22】本発明の第3の実施形態に係る注文端末10-2の機能構成の一例を示すブロック図である。
図23】本発明の第3の実施形態に係る表示制御システム1のうち顧客によって視認される各構成の位置関係の例を示す図である。
図24】注文情報の例を示す図である。
図25】本発明の第3の実施形態に係る表示制御システム1の動作例を示すフローチャートの前半である。
図26】本発明の第3の実施形態に係る表示制御システム1の動作例を示すフローチャートの後半である。
図27】搬送容器40および皿の配置例を示す図である。
図28】撮像映像の例を示す図である。
図29図28に示された撮像映像の後に得られる撮像映像の例を示す図である。
図30】追随中の皿に手が移動している状態を示す図である。
図31】メニュー画面の例を示す図である。
図32】メニュー画面M31の上にポップアップ表示された商品到着の通知画面の例である。
図33】本発明の第3の実施形態に係る表示制御システム1のうち顧客によって視認される各構成の位置関係の例を示す図である。
図34】商品到着の通知画面の例を示す図である。
図35】撮像映像の左端領域の例を示す図である。
図36】追随中の皿に手が移動している状態を示す図である。
図37】追随中の皿に手が移動している状態を示す他の図である。
図38】本発明の第4の実施形態に係る注文端末10-4の機能構成の一例を示すブロック図である。
図39】本発明の第4の実施形態に係る表示制御システム1の動作例を示すフローチャートである。
図40】本発明の第4の実施形態に係る表示制御システム1のうち顧客によって視認される各構成の位置関係の例を示す図である。
図41】撮像映像の例を示す図である。
図42】撮像映像に写る手の例を示す図である。
図43】店員の位置の例を示す図である。
図44】本発明の実施形態に係る注文端末10の例としての情報処理装置900のハードウェア構成を示す図である。
【発明を実施するための形態】
【0029】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【0030】
(1.第1の実施形態)
まず、本発明の第1の実施形態について説明する。
【0031】
(1-1.システム構成)
図1は、本発明の第1の実施形態に係る表示制御システムの概略的な構成の一例を示す図である。図1に示されるように、本発明の第1の実施形態に係る表示制御システム1は、注文端末10-1と、注文管理装置20と、注文処理端末30と、搬送容器40と、搬送装置50と、通信装置60とを有する。
【0032】
なお、本発明の第1の実施形態においては、表示制御システム1が回転寿司店に導入される場合を主に想定する。このとき、搬送容器40に載せられる皿が搬送対象物の例に該当し、顧客の席にて搬送容器40に載せられる皿を搬送路から取り、皿の上に載せられた商品(すなわち、飲食物)を飲食する顧客が、搬送路から搬送対象物を取るユーザの例に該当する。
【0033】
しかし、搬送対象物は、搬送容器40に載せられる皿に限定されないし、搬送対象物を取るユーザは、かかる顧客に限定されない。
【0034】
一例として、表示制御システム1は、工場の生産ラインなどに導入されてもよい。このとき、組み立て作業に用いられる部品が搬送対象物の例に該当し、組み立て作業に用いられる部品を作業場にて搬送路から取り、部品を用いて組み立て作業を行う作業者が、搬送対象物を取るユーザの例に該当する。
【0035】
図2は、注文管理装置20の機能構成の一例を示すブロック図である。図3は、注文処理端末30の機能構成の一例を示すブロック図である。図4は、搬送容器40の機能構成例の一例を示すブロック図である。図5は、搬送装置50の機能構成例の一例を示すブロック図である。図6は、注文端末10-1の機能構成例の一例を示すブロック図である。図7は、表示制御システム1が導入される店内の俯瞰図の一例を示す図である。
【0036】
図7に示されるように、店内には、顧客の席の例として、A席からD席までの4席が設けられている。ただし、店内に設けられる顧客の席は、4席に限定されず、複数であればよい。また、A席からD席までのそれぞれには、着席する顧客から視認され得る場所に、注文端末10-1が設けられている。
【0037】
図7に示されるように、本発明の実施形態においては、A席に設けられる注文端末10-1のID(identification)を「A」と表現する。同様に、B席に設けられる注文端末10-1のIDを「B」と表現し、C席に設けられる注文端末10-1のIDを「C」と表現し、D席に設けられる注文端末10-1のIDを「D」と表現する。なお、注文端末10-1のIDは、注文端末10-1が備える表示部108(図6)に対応する情報の例に該当する。
【0038】
さらに、図7に示されるように、搬送路500は、「搬送方向」に移動するように搬送装置50における制御部504(図5)によって制御される。搬送路500の「搬送方向」への移動に伴って、搬送路500に載せられている搬送容器40、搬送容器40上の皿、皿上の商品などが搬送方向に搬送される。A席からD席までのそれぞれに存在する顧客は、搬送容器40が自分の存在する席に近づくと、商品が載せられた皿を取ることが可能である。
【0039】
その他、図7に示されるように、店内には、注文管理装置20および注文処理端末30が設けられている。また、図7には示されていないが、店内には、通信装置60が設けられている。
【0040】
通信装置60は、注文端末10-1、注文管理装置20、注文処理端末30、搬送容器40および搬送装置50のうち、送信元の装置から送信先の装置にデータを中継する機能を有する。以下では、図2図6を参照しながら、注文端末10-1、注文管理装置20、注文処理端末30、搬送容器40および搬送装置50それぞれの機能構成例について説明する。
【0041】
以上、本発明の第1の実施形態に係る表示制御システム1の概略的な構成の一例について説明した。
【0042】
(1-2.注文管理装置の機能構成)
次に、図2を参照して、本発明の第1の実施形態に係る注文管理装置20の機能構成の一例を説明する。図2を参照すると、注文管理装置20は、表示部200、操作部201、通信部202、記憶部203および制御部204を備える。
【0043】
(表示部200)
表示部200は、各種情報の表示を行う機能を有する。ここで、表示部200の形態は特に限定されない。例えば、表示部200は、液晶ディスプレイ(LCD)装置であってもよいし、OLED(Organic Light Emitting Diode)装置であってもよいし、ランプなどの表示装置であってもよい。
【0044】
(操作部201)
操作部201は、店員によって入力される操作を受け付ける。ここで、操作部201の形態は特に限定されない。例えば、操作部201は、マウスであってもよいし、キーボードを含んでもよいし、タッチパネルを含んでもよいし、他の入力デバイスを含んでもよい。
【0045】
(通信部202)
通信部202は、他の装置と通信を行う。例えば、通信部202は、通信装置60に直接的に接続され、通信装置60を介して他の装置と通信を行う。なお、通信部202は、通信インタフェースにより実現され得る。
【0046】
(記憶部203)
記憶部203は、各種情報を記憶することが可能なメモリによって構成される。本発明の実施形態では、記憶部203が、不揮発性のメモリである場合を主に想定する。しかし、記憶部203は、揮発性のメモリであってもよい。
【0047】
(制御部204)
制御部204は、CPU(Central Processing Unit)などを含み、記憶部203により記憶されているプログラムがCPUによりRAM(Random Access Memory)に展開されて実行されることにより、その機能が実現され得る。
【0048】
このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。制御部204は、注文管理装置20の全体の動作を制御する。
【0049】
制御部204は、通信部202によって注文端末10-1から注文情報が受信されたことに基づいて、通信部202によって受信された注文情報を記憶するように記憶部203を制御する。注文情報については、後に詳細に説明する。
【0050】
また、制御部204は、操作部201に対して店員から注文情報の表示指示が入力されたことに基づいて、記憶部203に記憶されている注文情報を表示するように表示部200を制御する。
【0051】
さらに、制御部204は、通信部202によって注文端末10-1から注文番号が受信されたことに基づいて、注文情報において、注文番号に対応付けられた搬送予定数を、注文番号の送信元の注文端末10-1に送信するように通信部202を制御する。
【0052】
以上、本発明の第1の実施形態に係る注文管理装置20の機能構成の一例について説明した。
【0053】
(1-3.注文処理端末の機能構成)
次に、図3を参照して、本発明の第1の実施形態に係る注文処理端末30の機能構成の一例を説明する。図3を参照すると、注文処理端末30は、表示部300、操作部301、送信部302、記憶部303、通信部304および制御部305を備える。
【0054】
(表示部300)
表示部300は、各種情報の表示を行う機能を有する。ここで、表示部300の形態は特に限定されない。例えば、表示部300は、液晶ディスプレイ(LCD)装置であってもよいし、OLED(Organic Light Emitting Diode)装置であってもよいし、ランプなどの表示装置であってもよい。
【0055】
(操作部301)
操作部301は、店員によって入力される操作を受け付ける。ここで、操作部301の形態は特に限定されない。例えば、操作部301は、マウスであってもよいし、キーボードを含んでもよいし、タッチパネルを含んでもよいし、他の入力デバイスを含んでもよい。
【0056】
(送信部302)
送信部302は、搬送容器40に対して情報の送信を行う。例えば、送信部302は、搬送容器40と無線接続されており、無線通信により、搬送容器40に対して情報の送信を行う。
【0057】
(記憶部303)
記憶部303は、各種情報を記憶することが可能なメモリによって構成される。本発明の実施形態では、記憶部303が、不揮発性のメモリである場合を主に想定する。しかし、記憶部303は、揮発性のメモリであってもよい。
【0058】
(通信部304)
通信部304は、他の装置と通信を行う。例えば、通信部304は、通信装置60に直接的に接続され、通信装置60を介して他の装置と通信を行う。なお、通信部304は、通信インタフェースにより実現され得る。
【0059】
(制御部305)
制御部305は、CPU(Central Processing Unit)などを含み、記憶部303により記憶されているプログラムがCPUによりRAM(Random Access Memory)に展開されて実行されることにより、その機能が実現され得る。
【0060】
このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。制御部305は、注文処理端末30の全体の動作を制御する。
【0061】
制御部305は、通信部304によって注文端末10-1から注文情報が受信されたことに基づいて、通信部304によって受信された注文情報を記憶するように記憶部303を制御する。また、制御部305は、操作部301に対して店員から注文情報の表示指示が入力されたことに基づいて、記憶部303に記憶されている注文情報を表示するように表示部300を制御する。
【0062】
制御部305は、注文情報を視認した店員によって、注文された商品が処理された後(すなわち、注文された商品が皿に載せられ、当該皿が搬送容器40に載せられ、当該搬送容器40が搬送路500に載せられた後に)、操作部301に対して店員から処理完了操作が入力されたことに基づいて、当該商品の注文の入力を受け付けた注文端末10-1のID(すなわち、搬送先ID)と当該注文番号とを搬送容器40に送信するように送信部302を制御する。
【0063】
以上、本発明の第1の実施形態に係る注文処理端末30の機能構成の一例について説明した。
【0064】
(1-4.搬送容器の機能構成)
次に、図4を参照して、本発明の第1の実施形態に係る搬送容器40の機能構成の一例を説明する。図4を参照すると、搬送容器40は、受信部400、記憶部401、送信部402および制御部403を備える。
【0065】
(受信部400)
受信部400は、注文処理端末30から情報の受信を行う。例えば、受信部400は、注文処理端末30と無線接続されており、無線通信により、注文処理端末30から情報の受信を行う。
【0066】
(記憶部401)
記憶部401は、各種情報を記憶することが可能なメモリによって構成される。本発明の実施形態では、記憶部401が、不揮発性のメモリである場合を主に想定する。しかし、記憶部401は、揮発性のメモリであってもよい。
【0067】
(送信部402)
送信部402は、注文端末10-1に対して情報の送信を行う。例えば、送信部402は、注文端末10-1と無線接続されており、無線通信により、注文端末10-1に対して情報の送信を行う。
【0068】
(制御部403)
制御部403は、CPU(Central Processing Unit)などを含み、記憶部403により記憶されているプログラムがCPUによりRAM(Random Access Memory)に展開されて実行されることにより、その機能が実現され得る。
【0069】
このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。制御部403は、注文端末10-1の全体の動作を制御する。
【0070】
制御部403は、受信部400によって注文処理端末30から搬送先IDと注文番号とが受信されたことに基づいて、受信部400によって受信された搬送先IDと注文番号とを記憶するように記憶部403を制御する。また、制御部403は、記憶部403に記憶されている搬送先IDと注文番号とを注文端末10-1に送信するように送信部402を制御する。
【0071】
以上、本発明の第1の実施形態に係る搬送容器40の機能構成の一例について説明した。
【0072】
(1-5.搬送装置の機能構成)
次に、図5を参照して、本発明の第1の実施形態に係る搬送装置50の機能構成の一例を説明する。図5を参照すると、搬送装置50は、搬送路500、操作部501、表示部502、通信部503および制御部504を備える。
【0073】
(搬送路500)
搬送路500は、(商品が載せられた)皿が載せられた搬送容器40(以下、単に「皿が載せられた搬送容器40」とも言う。)を搬送する。例えば、搬送路500は、皿が載せられた搬送容器40を循環させながら搬送する。したがって、皿が載せられた搬送容器40は、搬送路500に一度載せられると、搬送路500から外されない限り、循環することを繰り返す。
【0074】
(操作部501)
操作部501は、店員によって入力される操作を受け付ける。ここで、操作部501の形態は特に限定されない。例えば、操作部501は、マウスであってもよいし、キーボードを含んでもよいし、タッチパネルを含んでもよいし、他の入力デバイスを含んでもよい。
【0075】
(表示部502)
表示部502は、各種情報の表示を行う機能を有する。ここで、表示部502の形態は特に限定されない。例えば、表示部502は、液晶ディスプレイ(LCD)装置であってもよいし、OLED(Organic Light Emitting Diode)装置であってもよいし、ランプなどの表示装置であってもよい。
【0076】
(通信部503)
通信部503は、他の装置と通信を行う。例えば、通信部503は、通信装置60に直接的に接続され、通信装置60を介して他の装置と通信を行う。なお、通信部503は、通信インタフェースにより実現され得る。
【0077】
(制御部504)
制御部504は、CPU(Central Processing Unit)などを含み、図示しない記憶部により記憶されているプログラムがCPUによりRAM(Random Access Memory)に展開されて実行されることにより、その機能が実現され得る。
【0078】
このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。制御部504は、搬送装置50の全体の動作を制御する。
【0079】
制御部504は、搬送路500の搬送を制御する。例えば、制御部504は、操作部501に対して店員から搬送装置50の設定情報(例えば、搬送速度など)が入力されたことに基づいて、設定情報に従って搬送路500の搬送を制御する。さらに、制御部504は、搬送装置50の状況を示す情報(例えば、搬送動作中、搬送停止中など)を表示するように表示部502を制御する。
【0080】
以上、本発明の第1の実施形態に係る搬送装置50の機能構成の一例について説明した。
【0081】
(1-6.注文端末の機能構成)
次に、図6を参照して、本発明の第1の実施形態に係る注文端末10-1の機能構成の一例を説明する。図6を参照すると、注文端末10-1は、制御部100、撮像部101、受信部105、記憶部106、操作部107、表示部108、通信部109および音声出力部110を備える。
【0082】
(撮像部101)
撮像部101は、搬送路500の所定の範囲(第1の範囲)を撮像することにより撮像映像(第1の撮像映像)を得る。例えば、撮像部101によって撮像される所定の範囲は、注文端末10-1が備える表示部108を視認可能な顧客の席から手の届く搬送路500の範囲であり得る。
【0083】
本発明の実施形態においては、撮像部101が二つの搬送路撮像部112-1、112-2(図8)によって構成される場合を想定する。しかし、撮像部101は、三つ以上の搬送路撮像部によって構成されていてもよいし、一つの搬送路撮像部によって構成されていてもよい。なお、撮像部101は、可視光カメラによって構成されてよい。
【0084】
(受信部105)
受信部105は、搬送容器40から情報の受信を行う。例えば、受信部105は、搬送容器40と無線接続されており、無線通信により、搬送容器40から情報の受信を行う。
【0085】
(記憶部106)
記憶部106は、各種情報を記憶することが可能なメモリによって構成される。本発明の実施形態では、記憶部106が、不揮発性のメモリである場合を主に想定する。しかし、記憶部106は、揮発性のメモリであってもよい。
【0086】
(操作部107)
操作部107は、店員によって入力される操作を受け付ける。ここで、操作部107の形態は特に限定されない。例えば、操作部107は、マウスであってもよいし、キーボードを含んでもよいし、タッチパネルを含んでもよいし、他の入力デバイスを含んでもよい。
【0087】
(表示部108)
表示部108は、出力部の一例として機能し、制御部100による制御に従って、顧客の視覚によって知覚される視覚情報を出力する。例えば、表示部108は、情報の表示を行うディスプレイにより実現され得る。ここで、表示部108の形態は特に限定されない。例えば、表示部108は、液晶ディスプレイ(LCD)装置であってもよいし、OLED(Organic Light Emitting Diode)装置であってもよいし、ランプなどの表示装置であってもよい。
【0088】
なお、表示部108は、第1の表示部の例として機能する。さらに、表示部108は、搬送路500における搬送先に移動した皿を取る顧客から視認可能な位置に設けられる第2の表示部の例としても機能する。かかる第2の表示部は、搬送先ID(第2の情報)に対応する。また、かかる第2の表示部は、搬送路500における搬送先を含んだ範囲(第2の範囲)が撮像部101によって撮像されて得られた撮像映像(第2の撮像映像)を表示する。
【0089】
(通信部109)
通信部109は、他の装置と通信を行う。例えば、通信部109は、通信装置60に直接的に接続され、通信装置60を介して他の装置と通信を行う。なお、通信部109は、通信インタフェースにより実現され得る。
【0090】
(音声出力部110)
音声出力部110は、出力部の一例として機能し、制御部100による制御に従って、顧客の聴覚によって知覚される聴覚情報を出力する。なお、音声出力部110は、スピーカにより実現され得る。このとき、音声出力部110によって出力される聴覚情報は、スピーカによって出力される音であり得る。
【0091】
(制御部100)
CPU(Central Processing Unit)などを含み、記憶部106により記憶されているプログラムがCPUによりRAM(Random Access Memory)に展開されて実行されることにより、その機能が実現され得る。
【0092】
このとき、当該プログラムを記録した、コンピュータに読み取り可能な記録媒体も提供され得る。あるいは、これらのブロックは、専用のハードウェアにより構成されていてもよいし、複数のハードウェアの組み合わせにより構成されてもよい。制御部100は、注文端末10-1の全体の動作を制御する。
【0093】
図6に示されるように、制御部100は、映像生成部102、画像検出部103-1および出力制御部104-1を備える。
【0094】
(映像生成部102)
映像生成部102は、搬送路撮像部112-1、112-2(図8)それぞれによって撮像されて得られた搬送路映像をつなぎ合わせることにより、撮像映像(第1の撮像映像)を生成する。
【0095】
(画像検出部103-1)
画像検出部103-1は、受信部105によって搬送容器40から搬送先IDと注文番号とが受信されたことに基づいて、搬送先IDと注文端末10-1のIDとが一致するか否かを判定する。画像検出部103-1は、搬送先IDと注文端末10-1のIDとが一致する場合に、注文情報において、注文番号に対応付けられた搬送予定数を、注文管理装置20から取得する。
【0096】
画像検出部103-1は、映像生成部102によって生成された撮像映像に基づいて、撮像映像における第1の領域から、注文管理装置20から取得した搬送予定数と同数の搬送容器40上の皿を検出する。例えば、「搬送容器40上の皿」は、撮像部101を視点として、搬送容器40のうち皿に遮蔽されない部分に隣接する、皿のうち商品に遮蔽されない部分であってよい。
【0097】
また、本発明の実施形態においては、搬送容器40および搬送容器40上の皿が、撮像映像における左端から右端に向かって移動する場合を主に想定する。このとき、第1の領域は、撮像領域における左端領域である。しかし、第1の領域は、撮像映像における搬送容器40および搬送容器40上の皿の移動方向に応じて決められてよく、搬送容器40および搬送容器40上の皿が撮像映像に写り始める領域であってよい。
【0098】
画像検出部103-1は、撮像映像における左端領域から、搬送予定数と同数の搬送容器40上の皿を検出したことに基づいて、撮像映像において搬送容器40および搬送容器40上の皿の追随を開始する。画像検出部103-1は、追随中の皿の、搬送方向と異なる方向への移動を検出する。
【0099】
追随中の皿が搬送方向と異なる方向に移動することは、顧客によって搬送路から皿を取る動作が行われたこととみなされ得る。そこで、画像検出部103-1は、搬送方向と異なる方向への追随中の皿の移動を検出したことに基づいて、撮像映像において搬送容器40および搬送容器40上の搬送容器40上の皿の追随を終了する。
【0100】
(出力制御部104-1)
出力制御部104-1は、映像生成部102によって生成された撮像映像を表示するように表示部108を制御する。さらに、出力制御部104-1は、画像検出部103-1によって、搬送先IDと注文端末10-1のIDとが一致すると判定されたことに基づいて、撮像映像における搬送容器40上の皿の位置に応じた領域に、表示オブジェクト(第1の表示オブジェクト)を重畳して表示するように表示部108を制御する。
【0101】
かかる構成によれば、顧客は、表示オブジェクトが表示された領域に対応する位置の皿を取ればよいことを把握することが可能になる。したがって、かかる構成によれば、顧客が自分の取るべき皿を取り忘れてしまう可能性が低減され得る。
【0102】
本発明の実施形態において、表示オブジェクトが、透過性を有する画像である場合を主に想定する。このとき、出力制御部104-1は、画像検出部103-1によって、搬送先IDと注文端末10-1のIDとが一致すると判定されたことに基づいて、撮像映像における画像検出部103-1による追随中の皿の位置に応じた領域(すなわち、搬送容器40および搬送容器40上の皿の領域)に、透過性を有する画像を重畳して表示するように表示部108を制御する。
【0103】
かかる構成によれば、撮像映像における搬送容器40および搬送容器40上の皿の領域は、表示オブジェクトによって遮蔽されたとしても、顧客によって視認され得る。そのため、顧客が自分の取るべき皿を識別しやすくなり、顧客が自分の取るべき皿を取り忘れてしまう可能性がさらに低減され得る。
【0104】
また、出力制御部104-1は、画像検出部103-1によって、搬送方向と異なる方向への追随中の皿の移動が検出されたことに基づいて、表示オブジェクトを撮像映像から消去するように表示部108を制御する。
【0105】
さらに、出力制御部104-1は、画像検出部103-1によって、搬送方向と異なる方向への追随中の皿の移動が検出されたことに基づいて、成功を示す成功情報を出力するように出力部を制御する。出力部の一例には、表示部108が該当する。また、出力部の他の一例には、音声出力部110が該当する。
【0106】
本発明の実施形態においては、成功情報が、視覚によって知覚される所定の視覚情報である場合を主に想定する。かかる場合には、出力制御部104-1は、視覚情報(所定の画像)を表示するように表示部108を制御する。しかし、成功情報は、聴覚によって知覚される所定の聴覚情報を含んでもよい。このとき、出力制御部104-1は、聴覚情報(所定の音)を出力するように音声出力部110を制御する。
【0107】
なお、搬送予定数と同数の搬送容器40上の皿が検出された後には、これらの皿に続いて搬送される、搬送容器40上の皿(第2の搬送対象物)は、画像検出部103-1によって検出されない。また、搬送予定数と同数の搬送容器40上の皿が検出された後には、画像検出部103-1による搬送容器40および搬送容器40上の皿の追随が終了する。
【0108】
以上、本発明の第1の実施形態に係る注文端末10-1の機能構成の一例について説明した。
【0109】
(1-7.システムの動作例)
続いて、本発明の第1の実施形態に係る表示制御システム1の動作例について説明する。まず、図8を参照しながら、本発明の第1の実施形態に係る表示制御システム1のうち顧客によって視認される各構成の位置関係の例について説明する。
【0110】
図8は、本発明の第1の実施形態に係る表示制御システム1のうち顧客によって視認される各構成の位置関係の例を示す図である。図8を参照すると、搬送路500には、皿D1~D7が載せられている。また、搬送路500には、皿D8が載せられた搬送容器40-1と、皿D9が載せられた搬送容器40-2とが載せられている。
【0111】
皿D1~D7、皿D8が載せられた搬送容器40-1および皿D9が載せられた搬送容器40-2は、皿D1を前方とし、皿D9が載せられた搬送容器40-2を後方として列をなし、搬送路500による搬送方向に搬送されている。
【0112】
なお、皿D1~D9それぞれには商品が載せられているが、皿D1~D9それぞれに載せられる商品の図示は省略されている。ただし、皿D8に商品「エビ」が載せられていることが「D8:エビ」によって示されている。同様に、皿D9に商品「エビ」が載せられていることが「D9:エビ」によって示されている。
【0113】
また、図8を参照すると、A席のテーブルが存在しており、A席に存在する顧客から視認される注文端末10-1(ID:A)が設けられている。注文端末10-1(ID:A)に対応する搬送路範囲は、搬送路500のうち、A席に存在する顧客から手の届く範囲である。また、注文端末10-1(ID:A)の受信部105と、注文端末10-1(ID:A)の搬送路撮像部112-1、112-2とが設けられている。
【0114】
搬送路撮像部112-1および搬送路撮像部112-2それぞれは、搬送路500の上方に設けられ、注文端末10-1(ID:A)に対応する搬送路範囲を上方から撮像する。注文端末10-1(ID:A)に対応する搬送路範囲には、皿D2~D7が存在している。そして、搬送路撮像部112-1の撮像範囲には、皿D5~皿D7が存在している。一方、搬送路撮像部112-2の撮像範囲には、皿D2~D4が存在している。
【0115】
このように、注文端末10-1(ID:A)に対応する搬送路範囲には、6皿が存在しているが、注文端末10-1(ID:A)に対応する搬送路範囲に存在する皿数は、6皿に限定されない。また、搬送路撮像部112-1および搬送路撮像部112-2それぞれの撮像範囲には、3皿が存在しているが、搬送路撮像部112-1および搬送路撮像部112-2それぞれの撮像範囲に存在する皿数も3皿ずつに限定されない。
【0116】
搬送路撮像部112-1および搬送路撮像部112-2それぞれによって撮像されて得られた搬送路映像は、映像生成部102によって、つなぎ合わされることによって一つの撮像映像が生成される。搬送路撮像部112-1および搬送路撮像部112-2は、当該一つの撮像映像に写る搬送路500が連続するように、それぞれの撮像範囲が重複せず、かつ、隙間が生じないように設けられるのが望ましい。
【0117】
受信部105は、搬送路撮像部112-1および搬送路撮像部112-2それぞれの撮像範囲よりも搬送方向の後方に設けられる。これによって、受信部105は、搬送路撮像部112-1および搬送路撮像部112-2の撮像範囲に入る前の搬送容器40-1および搬送容器40-2それぞれから、搬送先IDを受信することが可能となる。なお、図8に示された例では、受信部105は、搬送路500の上方に設けられているが、受信部105は、搬送路500の下方に設けられていてもよい。
【0118】
図9は、本発明の第1の実施形態に係る表示制御システム1の動作例を示すフローチャートの前半である。図10は、本発明の第1の実施形態に係る表示制御システム1の動作例を示すフローチャートの後半である。まず、A席の顧客によって、注文端末10-1(ID:A)の操作部107に対して注文内容が入力される。顧客による1回の注文内容の入力は、1回の注文に該当する。注文内容には、注文商品の種類と、種類ごとの注文商品の個数とが含まれる。
【0119】
制御部104-1は、注文内容に注文番号を付する他、注文内容に含まれる注文商品の個数の全種類についての合計数を搬送予定数として算出する。注文番号と、注文端末IDと、注文内容と、搬送予定数とが対応付けられた注文情報は、通信部109によって、注文管理装置20および注文処理端末30それぞれに送信される。そして、注文情報は、注文管理装置20の記憶部203および注文処理端末30の記憶部303それぞれによって記憶される。
【0120】
図11は、注文情報の例を示す図である。図11に示されるように、注文情報は、注文番号と、注文端末IDと、注文内容と、搬送予定数とが対応付けられて構成される。ここでは、注文番号「1」と、注文端末ID「A」と、注文内容「エビ:2皿」と、搬送予定数「2皿」とが対応付けられた注文情報が、注文管理装置20の記憶部203および注文処理端末30の記憶部303それぞれによって記憶される。
【0121】
注文処理端末30において、表示部300は、注文情報を表示する。店員は、表示部300によって表示された注文情報を見ながら、注文された商品を処理する(すなわち、注文された商品が皿に載せ、当該皿を搬送容器40に載せ、当該搬送容器40を搬送路500に載せる)。
【0122】
図12は、搬送容器40および皿の配置例を示す図である。ここでは、図11に示された注文情報に従って、店員が注文された商品を処理する場合を想定する。このとき、注文情報に含まれる注文内容は、「エビ:2皿」であるため、店員は、搬送容器40-1に、商品「エビ」が載せられた皿D8を載せ、搬送容器40-2に、商品「エビ」が載せられた皿D9を載せる。
【0123】
なお、搬送容器40は、撮像映像から検出されやすいように、皿より大きいサイズであるのが望ましい。さらに、搬送容器40は、皿とは区別して識別されやすい視覚的特徴(例えば、形状または色など)を有しているのが望ましい。
【0124】
図9に戻って説明を続ける。店員は、注文された商品を処理した後、注文処理端末30の操作部301に対して、注文処理完了を入力する(S100)。
【0125】
注文処理端末30において、注文処理完了が入力されたことに基づいて、送信部302は、搬送容器40-1および搬送容器40-2それぞれに対して、注文情報に含まれる注文番号「1」を送信するとともに、注文情報に含まれる注文端末ID「A」を搬送先ID「A」として送信する。
【0126】
搬送容器40-1および搬送容器40-2それぞれにおいて、受信部400は、注文番号「1」と搬送先ID「A」とを受信し、記憶部401は、注文番号「1」と搬送先ID「A」とを記憶する(S101)。そして、搬送容器40-1および搬送容器40-2それぞれは、搬送路500によって搬送される。搬送容器40-1および搬送容器40-2それぞれの送信部402は、注文番号「1」と搬送先ID「A」とを送信する。
【0127】
図8に示されるように、注文端末10-1(ID:A)において、受信部105は、搬送容器40-1の送信部402によって送信された、注文番号「1」と搬送先ID「A」とを受信する。そして、注文端末10-1(ID:A)において、画像検出部103-1は、受信部105によって受信された搬送先ID「A」と、注文端末10-1のID「A」とが一致するか否かを判定する(S102)。
【0128】
仮に、受信部105によって受信された搬送先IDと注文端末10-1のIDとが一致しない場合には(S102において「NO」)、S102に再度動作が移行される。一方、受信部105によって受信された搬送先IDと注文端末10-1のIDとが一致する場合には(S102において「YES」)、S103に動作が移行される。ここでは、搬送先ID「A」と、注文端末10-1のID「A」とが一致するため、S103に動作が移行される場合を想定する。
【0129】
注文端末10-1(ID:A)において、出力制御部104-1は、商品到着の通知画面を表示開始するように表示部108を制御する(S103)。
【0130】
図13は、商品到着の通知画面の例を示す図である。図13を参照すると、商品到着の通知画面N11が示されている。商品到着の通知画面N11には、商品の到着を示す情報「注文品が到着しました」と注文内容「エビ2皿」とを含んだ、伝達内容情報F11と、撮像映像F12とが含まれる。撮像映像F12は、搬送路撮像部112-1および搬送路撮像部112-2それぞれによって撮像されて得られた搬送路映像が、映像生成部102によってつなぎ合わされて生成された、注文端末10-1(ID:A)に対応する搬送路範囲の撮像映像である。
【0131】
注文端末10-1(ID:A)において、画像検出部103-1は、撮像映像に基づいて、撮像映像の左端領域に移動した搬送容器40が検出されるかを試みる。
【0132】
図14は、撮像映像の左端領域の例を示す図である。図14を参照すると、商品到着の通知画面N12における撮像映像の左端領域F13が示されている。例えば、左端領域F13における搬送方向の幅は、搬送容器40-1における搬送方向の幅と同程度であってよい。さらに、左端領域F13における搬送方向に垂直な方向の幅は、搬送容器40-1における搬送方向に垂直な方向の幅と同程度以上であってよい。
【0133】
なお、撮像映像の左端領域F13に搬送容器40が移動することは、搬送路500による搬送容器40の搬送によって、撮像映像の左端領域F13に搬送容器40の少なくとも一部が入ることを意味し得る。
【0134】
仮に、撮像映像の左端領域F13に移動した搬送容器40が検出されない場合には(S104において「NO」)、S104に動作が再度移行される。一方、撮像映像の左端領域F13に移動した搬送容器40が検出された場合には(S104において「YES」)、S105に動作が移行される。ここでは、搬送容器40-1が撮像映像の左端領域F13に移動したため、S105に動作が移行される場合を想定する。
【0135】
続いて、注文端末10-1(ID:A)において、画像検出部103-1は、撮像映像に基づいて、撮像映像の左端領域F13に移動した搬送容器40上の皿が検出されるかを試みる。なお、撮像映像の左端領域F13に搬送容器40上の皿が移動することは、搬送路500による搬送容器40の搬送によって、撮像映像の左端領域F13に搬送容器40上の皿の少なくとも一部が入ることを意味し得る。
【0136】
仮に、撮像映像の左端領域F13に移動した、搬送容器40上の皿が検出されない場合には(S105において「NO」)、S105に動作が再度移行される。一方、撮像映像の左端領域F13に移動した、搬送容器40上の皿が検出された場合には(S105において「YES」)、S106(図10)に動作が移行される。ここでは、搬送容器40-1上の皿D8が撮像映像の左端領域F13に移動したため、S106に動作が移行される場合を想定する。
【0137】
図10に進んで説明を続ける。注文端末10-1(ID:A)において、画像検出部103-1は、撮像映像において搬送容器40-1および搬送容器40-1上の皿の追随を開始する。そして、出力制御部104-1は、追随中の領域である、撮像映像における搬送容器40-1および搬送容器40-1上の皿D8の領域上に、表示オブジェクトを重畳して表示するように表示部108を制御する(S106)。
【0138】
図15は、表示オブジェクトの例を示す図である。図15の商品到着の通知画面N13に示されるように、出力制御部104-1は、追随中の領域である、撮像映像における搬送容器40-1および搬送容器40-1上の皿D8の領域上に、表示オブジェクトF14-1を重畳して表示するように表示部108を制御する。図15に示されるように、表示オブジェクトF14-1は、透過性を有する画像であるのが望ましい。
【0139】
これによって、撮像映像における搬送容器40-1および搬送容器40-1上の皿D8の領域が、表示オブジェクトF14-1によって遮蔽されたとしても、顧客によって視認され得る。そのため、顧客が自分の取るべき皿を識別しやすくなり、顧客が自分の取るべき皿を取り忘れてしまう可能性がさらに低減され得る。画像検出部103-1は、検出済みの搬送容器40上の皿の数を計数する。
【0140】
注文端末10-1(ID:A)において、画像検出部103-1は、注文番号「1」に対応付けられた搬送予定数「2」を、注文管理装置20から取得する。そして、画像検出部103-1は、注文管理装置20から取得した搬送予定数「2」と同数の搬送容器40上の皿を検出済みであるか否かを判定する。
【0141】
注文管理装置20から取得した搬送予定数「2」と同数の搬送容器40上の皿を検出済みでない場合(S107において「NO」)、S104に再度動作が移行される。一方、注文管理装置20から取得した搬送予定数「2」と同数の搬送容器40上の皿を検出済みである場合(S107において「YES」)、S108に動作が移行される。
【0142】
ここでは、検出済みの搬送容器40上の皿の数が「1」であり、搬送予定数「2」より小さいとして、S104に再度動作が移行される場合を想定する。搬送容器40-1に続く搬送容器40-2が左端領域F14-1において検出され(S104において「YES」)、搬送容器40-2上の皿D9が検出されると(S105において「YES」)、画像検出部103-1は、撮像映像において搬送容器40-2および搬送容器40-2上の皿D9の追随を開始する。
【0143】
そして、出力制御部104-1は、追随中の領域である、撮像映像における搬送容器40-2および搬送容器40-2上の皿D9の領域上に、追加の表示オブジェクトを重畳して表示するように表示部108を制御する(S106)。
【0144】
図16は、追加の表示オブジェクトの例を示す図である。図16の商品到着の通知画面N14に示されるように、出力制御部104-1は、追随中の領域である、撮像映像における搬送容器40-2および搬送容器40-2上の皿D9の領域上に、表示オブジェクトF14-2を重畳して表示するように表示部108を制御する。表示オブジェクトF14-1と同様に、表示オブジェクトF14-2は、透過性を有する画像であるのが望ましい。
【0145】
画像検出部103-1は、検出済みの搬送容器40上の皿の数を計数する。そして、画像検出部103-1は、注文管理装置20から取得した搬送予定数「2」と同数の搬送容器40上の皿を検出済みであるか否かを判定する。ここでは、検出済みの搬送容器40上の皿の数が「2」であり、搬送予定数「2」と同数であるとして、S108に動作が移行される場合を想定する。
【0146】
搬送予定数と同数の搬送容器40上の皿が検出された後には、これらの皿に続いて搬送される搬送容器40上の皿は、画像検出部103-1によって検出されない。仮に、皿D9が載せられた搬送容器40-2に続いて、注文端末ID「A」と異なる搬送先ID「B」を送信する搬送容器40上の皿が左端領域F13(図14)に移動したとしても、搬送先ID「B」を送信する搬送容器40上の皿は、画像検出部103-1によって検出されない。
【0147】
S107に並行して、画像検出部103-1は、搬送方向と異なる方向への追随中の皿の移動の検出を試みる。搬送方向と異なる方向への追随中の皿の移動が検出されない場合には(S108において「NO」)、S110に動作が移行される。一方、搬送方向と異なる方向への追随中の皿の移動が検出された場合には(S108において「YES」)、S109に動作が移行される。
【0148】
S109に動作が移行された場合、画像検出部103-1は、撮像映像において搬送容器40および搬送容器40上の搬送容器40上の皿の追随を終了する。そして、出力制御部104-1は、搬送方向と異なる方向への移動が検出された追随中の領域である、搬送容器40および搬送容器40上の皿の領域に重畳された表示オブジェクトを消去する。さらに、出力制御部104-1は、注文商品の受け取りの成功情報を撮像映像に重畳して表示するように表示部108を制御する(S109)。
【0149】
図17は、成功情報の例を示す図である。図17に示された例では、搬送容器40-1から搬送容器40-1上の皿D8が、顧客の手によって、搬送方向とは異なる方向に移動されている。このとき、図17に示されたように、出力制御部104-1は、搬送容器40-1上の皿D8に重畳された表示オブジェクトF14-1(図16)を消去する。さらに、出力制御部104-1は、成功情報F15を撮像映像に重畳して表示するように表示部108を制御する(S109)。
【0150】
図17に示された例では、成功情報F15は、「Good」という文字列である。しかし、成功情報F15は、かかる文字列に限定されない。例えば、成功情報F15は、他の文字列であってもよいし、文字列以外の情報(例えば、成功を示す画像など)であってもよい。あるいは、成功情報は、聴覚によって知覚される所定の聴覚情報を含んでもよい。このとき、出力制御部104-1は、聴覚情報(所定の音)を出力するように音声出力部110を制御する。
【0151】
出力制御部104-1は、所定時間が経過したか否かを判定する。所定時間が経過していない場合には(S110において「NO」)、S108に再度動作が移行される。一方、出力制御部104-1は、所定時間が経過した場合には(S110において「YES」)、商品到着の通知画面の表示を終了するように表示部108を制御して(S111)、動作を終了する。
【0152】
なお、所定時間は、S102において、受信部105によって受信された搬送先ID「A」と、注文端末10-1のID「A」とが一致すると判定されてから、搬送予定数と同数の搬送容器40-1および搬送容器40-2が、注文端末10-1(ID:A)に対応する搬送路範囲を通過するために要する時間であってもよい。
【0153】
例えば、顧客が自分の注文した商品を取り忘れた場合に、所定時間が経過し、商品到着の通知画面が消去された場合を想定する。かかる場合に、顧客の注文した商品が顧客の席に再度移動したときに、S102以降が実行され、商品到着の通知画面が再度表示される。これによって、顧客は、自分の注文した商品が自分の席に再度移動したことを把握しやすくなる。
【0154】
以上、本発明の第1の実施形態に係る表示制御システム1の動作例について説明した。
【0155】
(1-8.効果)
本発明の第1の実施形態によれば、注文端末10-1の表示部108によって搬送路500における注文端末10-1に対応する搬送路範囲の撮像映像が表示される。そして、注文端末10-1のIDと、搬送先IDとが一致すると判定されたことに基づいて、撮像映像における搬送容器40上の皿の位置に応じた領域に、表示オブジェクトが重畳して表示される。かかる構成によれば、顧客が自分の取るべき皿を取り忘れてしまう可能性が低減され得る。
【0156】
(1-9.変形例)
上記では、画像検出部103-1が、搬送方向と異なる方向への追随中の皿の移動を検出する場合について主に説明した。しかし、画像検出部103-1は、搬送方向と異なる方向への追随中の皿の移動に加えて、追随中の皿への手の移動を検出してもよい。かかる構成によれば、顧客によって皿が取られたことがより精度良く検出され得る。
【0157】
このとき、出力制御部104-1は、画像検出部103-1によって、搬送方向と異なる方向への追随中の皿の移動が検出されたことに基づいて、表示オブジェクトを撮像映像から消去するように表示部108を制御してもよい。また、出力制御部104-1は、画像検出部103-1によって、追随中の皿への手の移動、および、搬送方向と異なる方向への追随中の皿の移動が検出されたことに基づいて、成功情報を出力するように出力部を制御してもよい。
【0158】
さらに、上記では、画像検出部103-1が、撮像映像に基づいて、搬送容器40上の皿を検出する場合について主に説明した。しかし、搬送容器40が皿としての機能を有していてもよい。このとき、画像検出部103-1は、皿の機能を有する搬送容器40を検出すればよい。例えば、皿から商品を配膳するときと同じように、搬送容器40から商品を配膳しやすく、皿を洗浄するときと同じように、搬送容器40が洗浄しやすければ、搬送容器40は、皿としての機能を有し得ることが想定される。
【0159】
以上、本発明の第1の実施形態について説明した。
【0160】
(2.第2の実施形態)
続いて、本発明の第2の実施形態について説明する。以下では、本発明の第2の実施形態に係る表示制御システムが有する構成のうち、本発明の第1の実施形態に係る表示制御システムが有する構成と異なる構成について主に説明する。そして、本発明の第2の実施形態に係る表示制御システムが有する構成のうち、本発明の第1の実施形態に係る表示制御システムが有する構成と共通する構成については、詳細な説明を省略する。
【0161】
具体的に、本発明の第2の実施形態では、表示制御システム1が、本発明の第1の実施形態に係る注文端末10-1の代わりに、注文端末10-2を有する。したがって、以下では、本発明の第2の実施形態に係る注文端末10-2について主に説明する。
【0162】
(2-1.注文端末の機能構成)
次に、図18を参照して、本発明の第2の実施形態に係る注文端末10-2の機能構成の一例を説明する。
【0163】
図18は、本発明の第2の実施形態に係る注文端末10-2の機能構成の一例を示すブロック図である。図18を参照すると、本発明の第2の実施形態に係る注文端末10-2は、画像検出部103-1および出力制御部104-1の代わりに、画像検出部103-2および出力制御部104-2を有する他、搬送制御部111-2を有する点において、本発明の第1の実施形態に係る注文端末10-1と異なっている。したがって、以下では、画像検出部103-2、出力制御部104-2および搬送制御部111-2について主に説明する。
【0164】
(画像検出部103-2)
画像検出部103-2は、本発明の第1の実施形態に係る画像検出部103-1と同様の機能を有する。さらに、画像検出部103-2は、映像生成部102によって生成された撮像映像に基づいて、撮像映像における第2の領域(所定の領域)から、搬送容器40および搬送容器40上の皿を検出する。
【0165】
本発明の実施形態においては、搬送容器40および搬送容器40上の皿が、撮像映像における左端から右端に向かって移動する場合を主に想定する。このとき、第2の領域は、撮像領域における右端領域である。しかし、第2の領域は、撮像映像における搬送容器40および搬送容器40上の皿の移動方向に応じて決められてよく、搬送容器40および搬送容器40上の皿が撮像映像に写り終わる領域であってよい。
【0166】
さらに、画像検出部103-2は、映像生成部102によって生成された撮像映像に基づいて、右端領域に移動した追随中の搬送容器40上の皿の、搬送方向と異なる方向への移動を検出する。また、画像検出部103-2は、映像生成部102によって生成された撮像映像に基づいて、搬送予定数と同数の追随中の搬送容器40上の皿の、搬送方向と異なる方向への移動を検出する。
【0167】
(搬送制御部111-2)
搬送制御部111-2は、画像検出部103-2によって搬送容器40上の皿が撮像映像における右端領域から検出されたことに基づいて、搬送路500による搬送容器40上の皿の搬送を停止するように搬送路500を制御する。かかる構成によれば、顧客が自分の取るべき皿を取り忘れてしまう可能性がさらに低減され得る。さらに、搬送制御部111-2は、追随中の搬送容器40上の皿の、撮像映像における右端領域から搬送方向と異なる方向への移動が検出されたことに基づいて、搬送容器40および搬送容器40上の皿の搬送を再開するように搬送路500を制御する。
【0168】
(出力制御部104-2)
出力制御部104-2は、本発明の第1の実施形態に係る出力制御部104-1と同様の機能を有する。さらに、出力制御部104-2は、搬送容器40上の皿が撮像映像における搬送路500の右端領域から検出されたことに基づいて、注意喚起を促す情報を出力するように出力部を制御する。かかる構成によれば、顧客が自分の取るべき皿を取り忘れてしまう可能性がさらに低減され得る。
【0169】
出力部の一例には、表示部108が該当する。また、出力部の他の一例には、音声出力部110が該当する。
【0170】
本発明の実施形態においては、注意喚起を示す情報が、視覚によって知覚される所定の視覚情報である場合を主に想定する。かかる場合には、出力制御部104-2は、視覚情報(所定の画像)を表示するように表示部108を制御する。このとき、視覚情報は、表示オブジェクトに付加される所定の装飾情報を含んでもよい。装飾情報は、表示オブジェクトの点滅であってもよいし、表示オブジェクトの色の変更であってもよい。注意喚起を示す情報は、聴覚によって知覚される所定の聴覚情報を含んでもよい。このとき、出力制御部104-2は、聴覚情報(所定の音)を出力するように音声出力部110を制御する。
【0171】
さらに、出力制御部104-2は、追随中の搬送容器40上の皿の、撮像映像における右端領域から搬送方向と異なる方向への移動が検出されたことに基づいて、注意喚起を促す情報の出力を解除するように出力部を制御する。
【0172】
以上、本発明の第2の実施形態に係る注文端末10-2の機能構成の一例について説明した。
【0173】
(2-2.システムの動作例)
続いて、本発明の第2の実施形態に係る表示制御システム1の動作例について説明する。図19は、本発明の第2の実施形態に係る表示制御システム1の動作例を示すフローチャートである。図19に示されるように、S100~S108が実行される。S100~S108は、本発明の第1の実施形態に係るS100~S108と同様に実行される。
【0174】
搬送方向と異なる方向への追随中の皿の移動が検出されない場合には(S108において「NO」)、S210に動作が移行される。一方、搬送方向と異なる方向への追随中の皿の移動が検出された場合には(S108において「YES」)、S109に動作が移行される。
【0175】
S109に動作が移行された場合、画像検出部103-2は、撮像映像において搬送容器40および搬送容器40上の搬送容器40上の皿の追随を終了する。そして、出力制御部104-2は、搬送方向と異なる方向への移動が検出された追随中の領域である、搬送容器40および搬送容器40上の皿の領域に重畳された表示オブジェクトを消去する。さらに、出力制御部104-2は、注文商品の受け取りの成功情報を撮像映像に重畳して表示するように表示部108を制御する(S109)。S215に動作が移行される。
【0176】
S210に動作が移行された場合、画像検出部103-2は、映像生成部102によって生成された撮像映像に基づいて、搬送容器40および搬送容器40上の皿が、撮像映像における右端領域に移動したことの検出を試みる。
【0177】
図20は、撮像映像の右端領域の例を示す図である。図20を参照すると、商品到着の通知画面N21における撮像映像の右端領域F21が示されている。例えば、右端領域F21における搬送方向の幅は、搬送容器40-1における搬送方向の幅と同程度であってよい。さらに、右端領域F21における搬送方向に垂直な方向の幅は、搬送容器40-1における搬送方向に垂直な方向の幅と同程度以上であってよい。
【0178】
なお、撮像映像の右端領域F21に搬送容器40が移動することは、搬送路500による搬送容器40の搬送によって、撮像映像の右端領域F21に搬送容器40の少なくとも一部が入ることを意味し得る。
【0179】
仮に、撮像映像の右端領域F21に搬送容器40および搬送容器40上の皿が移動したことが検出されない場合(S210において「NO」)、S108に再度動作が移行される。一方、撮像映像の右端領域F21に搬送容器40および搬送容器40上の皿が移動したことが検出された場合には(S210において「YES」)、S211に動作が移行される。ここでは、搬送容器40-1および搬送容器40-1上の皿D8が撮像映像の右端領域F21に移動したため、S211に動作が移行される場合を想定する。
【0180】
搬送制御部111-2は、画像検出部103-2によって搬送容器40-1上の皿D8が撮像映像における右端領域F21から検出されたことに基づいて、搬送路500による皿の搬送を停止するように搬送路500を制御する。さらに、出力制御部104-2は、搬送容器40-1上の皿D8が撮像映像における搬送路500の右端領域F21から検出されたことに基づいて、注意喚起を促す情報を出力するように出力部を制御する(S211)。
【0181】
より詳細に、出力制御部104-2は、視覚情報(所定の画像)を表示するように表示部108を制御する。このとき、視覚情報は、表示オブジェクトF14-1に付加される所定の装飾情報を含んでもよい。装飾情報は、表示オブジェクトF14-1の点滅であってもよいし、表示オブジェクトF14-1の色の変更であってもよい。注意喚起を示す情報は、聴覚によって知覚される所定の聴覚情報を含んでもよい。このとき、出力制御部104-2は、聴覚情報(所定の音)を出力するように音声出力部110を制御する。
【0182】
画像検出部103-2は、映像生成部102によって生成された撮像映像に基づいて、右端領域F21に移動した追随中の搬送容器40上の皿の、搬送方向と異なる方向への移動が検出されるかを試みる(S212)。
【0183】
仮に、右端領域F21に移動した追随中の搬送容器40上の皿の、搬送方向と異なる方向への移動が検出されない場合(S212において「NO」)、S212に再度動作が移行される。一方、右端領域F21に移動した追随中の搬送容器40上の皿の、搬送方向と異なる方向への移動が検出された場合(S212において「YES」)、S213に動作が移行される。ここでは、右端領域F21に移動した追随中の搬送容器40-1上の皿D8の、搬送方向と異なる方向への移動が検出されたため、S213に動作が移行される場合を想定する。
【0184】
図21は、皿D8の移動検出例を示す図である。図21を参照すると、商品到着の通知画面N22が示されている。商品到着の通知画面N22においては、撮像映像における右端領域に移動した搬送容器40-1から搬送容器40-1上の皿D8が、顧客の手によって、搬送方向とは異なる方向に移動されている。
【0185】
このとき、図21に示されたように、出力制御部104-2は、搬送容器40-1上の皿D8に重畳された表示オブジェクトF14-1(図20)を消去する。さらに、出力制御部104-1は、成功情報F15を撮像映像に重畳して表示するように表示部108を制御する(S213)。搬送制御部111-2は、搬送容器40および搬送容器40上の皿の搬送を再開するように搬送路500を制御する(S214)。続いて、S215に動作が移行される。
【0186】
画像検出部103-2は、映像生成部102によって生成された撮像映像に基づいて、搬送予定数と同数の追随中の搬送容器40上の皿の、搬送方向と異なる方向への移動が検出されるかを試みる。搬送予定数と同数の追随中の搬送容器40上の皿の、搬送方向と異なる方向への移動が検出されない場合(S215において「NO」)、S108に再度動作が移行される。一方、搬送予定数と同数の追随中の搬送容器40上の皿の、搬送方向と異なる方向への移動が検出された場合(S215において「YES」)、S111が実行される。
【0187】
S111は、本発明の第1の実施形態に係るS111と同様に実行される。
【0188】
以上、本発明の第2の実施形態に係る表示制御システム1の動作例について説明した。
【0189】
(2-3.効果)
本発明の第2の実施形態によれば、本発明の第1の実施形態と同様の効果を奏し得る。さらに、本発明の第2の実施形態によれば、出力制御部104-2は、搬送容器40上の皿が撮像映像における搬送路500の右端領域から検出されたことに基づいて、注意喚起を促す情報を出力するように出力部を制御する。かかる構成によれば、顧客が自分の取るべき皿を取り忘れてしまう可能性がさらに低減され得る。
【0190】
さらに、本発明の第2の実施形態によれば、搬送制御部111-2は、画像検出部103-2によって搬送容器40上の皿が撮像映像における右端領域から検出されたことに基づいて、搬送路500による搬送容器40上の皿の搬送を停止するように搬送路500を制御する。かかる構成によれば、顧客が自分の取るべき皿を取り忘れてしまう可能性がさらに低減され得る。
【0191】
以上、本発明の第2の実施形態について説明した。
【0192】
(3.第3の実施形態)
続いて、本発明の第3の実施形態について説明する。以下では、本発明の第3の実施形態に係る表示制御システムが有する構成のうち、本発明の第1の実施形態に係る表示制御システムが有する構成と異なる構成について主に説明する。そして、本発明の第3の実施形態に係る表示制御システムが有する構成のうち、本発明の第1の実施形態に係る表示制御システムが有する構成と共通する構成については、詳細な説明を省略する。
【0193】
具体的に、本発明の第3の実施形態では、表示制御システム1が、本発明の第1の実施形態に係る注文端末10-1の代わりに、注文端末10-3を有する。したがって、以下では、本発明の第3の実施形態に係る注文端末10-3について主に説明する。
【0194】
(3-1.注文端末の機能構成)
次に、図22を参照して、本発明の第3の実施形態に係る注文端末10-3の機能構成の一例を説明する。
【0195】
図22は、本発明の第3の実施形態に係る注文端末10-2の機能構成の一例を示すブロック図である。図22を参照すると、本発明の第3の実施形態に係る注文端末10-3は、画像検出部103-1および出力制御部104-1の代わりに、画像検出部103-3および出力制御部104-3を有する点において、本発明の第1の実施形態に係る注文端末10-1と異なっている。したがって、以下では、画像検出部103-1および出力制御部104-1および搬送制御部111-2について主に説明する。
【0196】
(画像検出部103-3)
画像検出部103-3は、本発明の第1の実施形態に係る画像検出部103-1と同様の機能を有する。さらに、画像検出部103-3は、搬送先IDと注文端末10-3のIDとが一致しない場合に、映像生成部102によって生成された撮像映像に基づいて、撮像映像における左端領域から、注文管理装置20から取得した搬送予定数と同数の搬送容器40上の皿を他端末の注文商品が載せられた皿として検出する。
【0197】
ここで、搬送先IDと注文端末10-3のIDとが一致しない場合は、搬送先IDを注文端末10-3に送信した搬送容器40上の皿(第3の搬送対象物)の搬送先が、他端末である場合に該当する。このとき、注文端末10-3のIDと一致しない搬送先IDは、他端末である搬送先に対応する情報(第3の情報)の例に該当する。
【0198】
画像検出部103-3は、撮像映像における左端領域から、搬送予定数と同数の他端末の注文商品が載せられた皿を検出したことに基づいて、撮像映像において搬送容器40および搬送容器40上の皿を他端末の注文商品が載せられた皿として追随開始する。また、画像検出部103-3は、撮像映像に基づいて、他端末の注文商品が載せられた皿として追随中の皿への手の移動を検出する。
【0199】
さらに、画像検出部103-3は、搬送方向と異なる方向への他端末の注文商品が載せられた皿として追随中の皿の移動を検出したこと、または、他端末の注文商品が載せられた皿として追随中の皿が撮像部101による撮像範囲から外れたことに基づいて、他端末の注文商品が載せられた皿として追随中の皿の追随を終了する。
【0200】
(出力制御部104-3)
出力制御部104-3は、本発明の第1の実施形態に係る画像検出部103-1と同様の機能を有する。さらに、出力制御部104-3は、画像検出部103-3によって、他端末の注文商品が載せられた皿として追随中の皿への手の移動が検出されたことに基づいて、失敗を示す失敗情報を出力するように出力部を制御する。出力部の一例には、表示部108が該当する。また、出力部の他の一例には、音声出力部110が該当する。
【0201】
本発明の実施形態においては、失敗情報が、視覚によって知覚される所定の視覚情報である場合を主に想定する。かかる場合には、出力制御部104-3は、視覚情報(所定の画像)を表示するように表示部108を制御する。しかし、失敗情報は、聴覚によって知覚される所定の聴覚情報を含んでもよい。このとき、出力制御部104-3は、聴覚情報(所定の音)を出力するように音声出力部110を制御する。
【0202】
さらに、出力制御部104-3は、画像検出部103-3によって、他端末の注文商品が載せられた皿として追随中の皿への手の移動が検出されたことに基づいて、撮像映像における他端末の注文商品が載せられた皿として追随中の皿の位置に応じた領域に、自端末のIDと一致する搬送先IDが受信されたときに表示される表示オブジェクト(第1の表示オブジェクト)とは異なる表示オブジェクト(第3の表示オブジェクト)を重畳して表示するように表示部108を制御する。
【0203】
なお、既に商品到着の通知画面が表示されている場合には、出力制御部104-3は、既に表示されている商品到着の通知画面に含まれる撮像映像に、表示オブジェクト(第3の表示オブジェクト)を重畳して表示するように表示部108を制御する。一方、まだ商品到着の通知画面が表示されていない場合には、出力制御部104-3は、商品到着の通知画面を表示するように表示部108を制御し、表示された商品到着の通知画面に含まれる撮像映像に、表示オブジェクト(第3の表示オブジェクト)を重畳して表示するように表示部108を制御する。
【0204】
(3-2.システムの動作例)
続いて、本発明の第3の実施形態に係る表示制御システム1の動作例について説明する。まず、図23を参照しながら、本発明の第3の実施形態に係る表示制御システム1のうち顧客によって視認される各構成の位置関係の例について説明する。
【0205】
図23は、本発明の第3の実施形態に係る表示制御システム1のうち顧客によって視認される各構成の位置関係の例を示す図である。図23を参照すると、搬送路500には、皿D22~D28が載せられている。また、搬送路500には、皿D29が載せられた搬送容器40-3と、皿D30が載せられた搬送容器40-4とが載せられている。
【0206】
皿D22~D28、皿D29が載せられた搬送容器40-3および皿D30が載せられた搬送容器40-4は、皿D22を前方とし、皿D30が載せられた搬送容器40-4を後方として列をなし、搬送路500による搬送方向に搬送されている。
【0207】
なお、皿D22~D30それぞれには商品が載せられているが、皿D22~D30それぞれに載せられる商品の図示は省略されている。ただし、皿D29に商品「エビ」が載せられていることが「D29:エビ」によって示されている。同様に、皿D30に商品「エビ」が載せられていることが「D30:エビ」によって示されている。
【0208】
また、図23を参照すると、A席のテーブルが存在しており、A席に存在する顧客から視認される注文端末10-3(ID:A)が設けられている。注文端末10-3(ID:A)に対応する搬送路範囲は、搬送路500のうち、A席に存在する顧客から手の届く範囲である。また、注文端末10-3(ID:A)の受信部105と、注文端末10-3(ID:A)の搬送路撮像部112-1、112-2とが設けられている。
【0209】
図24は、注文情報の例を示す図である。図24に示された例では、注文番号「1」と、注文端末ID「B」と、注文内容「エビ:2皿」と、搬送予定数「2皿」とが対応付けられた注文情報、および、注文番号「2」と、注文端末ID「A」と、注文内容「エビ:2皿」と、搬送予定数「2皿」とが対応付けられた注文情報が、注文管理装置20の記憶部203および注文処理端末30の記憶部303それぞれによって記憶される。
【0210】
図25は、本発明の第3の実施形態に係る表示制御システム1の動作例を示すフローチャートの前半である。図26は、本発明の第3の実施形態に係る表示制御システム1の動作例を示すフローチャートの後半である。S100~S101は、本発明の第1の実施形態に係るS100~S101(図9)と同様に実行される。
【0211】
(搬送先ID=他端末のIDである場合)
まず、注文端末10-3(ID:A)の受信部105によって受信される搬送先IDが、他端末である注文端末10-3(ID:B)のIDである場合について説明する。
【0212】
注文処理端末30において、表示部300は、注文情報を表示する。店員は、表示部300によって表示された注文情報を見ながら、注文された商品を処理する(すなわち、注文された商品が皿に載せ、当該皿を搬送容器40に載せ、当該搬送容器40を搬送路500に載せる)。
【0213】
図27は、搬送容器40および皿の配置例を示す図である。ここでは、図24に示された注文番号「1」の行の注文情報に従って、店員が注文された商品を処理する場合を想定する。このとき、注文番号「1」に対応する注文内容は、「エビ:2皿」であるため、店員は、搬送容器40-3に、商品「エビ」が載せられた皿D29を載せ、搬送容器40-4に、商品「エビ」が載せられた皿D30を載せる。
【0214】
店員は、注文された商品を処理した後、注文処理端末30の操作部301に対して、注文処理完了を入力する(S100)。注文処理端末30において、注文処理完了が入力されたことに基づいて、送信部302は、搬送容器40-3および搬送容器40-4それぞれに対して、注文情報に含まれる注文番号「1」を送信するとともに、注文情報に含まれる注文端末ID「B」を搬送先ID「B」として送信する。
【0215】
搬送容器40-3および搬送容器40-4それぞれにおいて、受信部400は、注文番号「1」と搬送先ID「B」とを受信し、記憶部401は、注文番号「1」と搬送先ID「B」とを記憶する(S101)。そして、搬送容器40-3および搬送容器40-4それぞれは、搬送路500によって搬送される。搬送容器40-3および搬送容器40-4それぞれの送信部402は、注文番号「1」と搬送先ID「B」とを送信する。
【0216】
図23に示されるように、注文端末10-3(ID:A)において、受信部105は、搬送容器40-3の送信部402によって送信された、注文番号「1」と搬送先ID「B」とを受信する。そして、注文端末10-3(ID:A)において、画像検出部103-3は、受信部105によって受信された搬送先ID「B」と、注文端末10-3のID「A」とが一致するか否かを判定する(S300)。
【0217】
仮に、受信部105によって受信された搬送先IDと注文端末10-3のIDとが一致しない場合には(S300において「NO」)、S103に動作が移行される。一方、受信部105によって受信された搬送先IDと注文端末10-3のIDとが一致する場合には(S300において「YES」)、S104に動作が移行される。ここでは、搬送先ID「B」と、注文端末10-3のID「A」とが一致しないため、S104に動作が移行される場合を想定する。
【0218】
図28は、撮像映像の例を示す図である。図28を参照すると、撮像映像F31-1が示されている。また、撮像映像F31-1には左端領域F13が設定されている。注文端末10-3(ID:A)において、画像検出部103-3は、撮像映像F31-1に基づいて、撮像映像F31-1の左端領域F13に移動した搬送容器40が検出されるかを試みる。
【0219】
仮に、撮像映像F31-1の左端領域F13に移動した搬送容器40が検出されない場合には(S104において「NO」)、S104に動作が再度移行される。一方、撮像映像F31-1の左端領域F13に移動した搬送容器40が検出された場合には(S104において「YES」)、S301に動作が移行される。ここでは、搬送容器40-3が撮像映像F31-1の左端領域F13に移動したため、S301に動作が移行される場合を想定する。
【0220】
注文端末10-3(ID:A)において、画像検出部103-3は、受信部105によって受信された搬送先ID「B」と、注文端末10-3のID「A」とが一致するか否かを判定する(S301)。
【0221】
仮に、受信部105によって受信された搬送先IDと注文端末10-3のIDとが一致する場合には(S301において「YES」)、S302に動作が移行される。一方、受信部105によって受信された搬送先IDと注文端末10-3のIDとが一致しない場合には(S301において「NO」)、S303に動作が移行される。ここでは、搬送先ID「B」と、注文端末10-3のID「A」とが一致しないため、S303に動作が移行される場合を想定する。
【0222】
注文端末10-3(ID:A)において、画像検出部103-3は、撮像映像において搬送容器40-3および搬送容器40-3上の皿D29を他端末の注文商品が載せられた皿として追随開始する(S303)。画像検出部103-3は、検出済みの搬送容器40上の皿の数を計数する。
【0223】
注文端末10-1(ID:A)において、画像検出部103-3は、注文番号「1」に対応付けられた搬送予定数「2」を、注文管理装置20から取得する。そして、画像検出部103-3は、注文管理装置20から取得した搬送予定数「2」と同数の搬送容器40上の皿を検出済みであるか否かを判定する。
【0224】
注文管理装置20から取得した搬送予定数「2」と同数の搬送容器40上の皿を検出済みでない場合(S107において「NO」)、S104に再度動作が移行される。ここでは、検出済みの搬送容器40上の皿の数が「1」であり、搬送予定数「2」より小さいとして、S104に再度動作が移行される場合を想定する。
【0225】
図29は、図28に示された撮像映像の後に得られる撮像映像の例を示す図である。図29に示されるように、搬送容器40-3に続く搬送容器40-4が撮像映像F31-2の左端領域において検出され(S104において「YES」)、搬送容器40-4上の皿D30が検出されると(S105において「YES」)、画像検出部103-3は、撮像映像F31-2において搬送容器40-4および搬送容器40-4上の皿D30の追随を開始する。
【0226】
画像検出部103-3は、検出済みの搬送容器40上の皿の数を計数する。そして、画像検出部103-3は、注文管理装置20から取得した搬送予定数「2」と同数の搬送容器40上の皿を検出済みであるか否かを判定する。ここでは、検出済みの搬送容器40上の皿の数が「2」であり、搬送予定数「2」と同数であるため、搬送予定数「2」と同数の搬送容器40上の皿を検出済みであると判定される。
【0227】
S107に並行して、S310が実行される。画像検出部103-3は、撮像映像に基づいて、追随中の皿への手の移動の検出を試みる。仮に、追随中の皿への手の移動が検出されない場合には(S310において「NO」)、S310に再度動作が移行される。一方、追随中の皿への手の移動が検出された場合には(S310において「YES」)、S311に動作が移行される。
【0228】
図30は、追随中の皿に手が移動している状態を示す図である。図30を参照すると、撮像映像F31-3に写る追随中の皿D29に対して、手が移動している。ここでは、追随中の皿への手の移動が検出されるため、S311に動作が移行される場合を想定する。
【0229】
仮に、手の移動先である追随中の皿D29が、自端末の商品が載せられた皿である場合には(S311において「YES」)、S312に動作が移行される。一方、手の移動先である追随中の皿D29が、他端末の商品が載せられた皿である場合には(S311において「NO」)、S320に動作が移行される。ここでは、手の移動先である追随中の皿D29が他端末の商品が載せられた皿であるため、S320に動作が移行される場合を想定する。
【0230】
仮に、商品到着の通知画面が既に表示部108によって表示されている場合には(S320において「YES」)、S321に動作が移行される。一方、商品到着の通知画面がまだ表示部108によって表示されていない場合には(S320において「NO」)、S322に動作が移行される。ここでは、メニュー画面だけが表示部108によって表示されており、商品到着の通知画面がまだ表示部108によって表示されていない場合を想定する。
【0231】
図31は、メニュー画面の例を示す図である。図31を参照すると、メニュー画面M31が示されている。メニュー画面M31には、顧客によって押下され得るメニューボタンが含まれている。図31に示された例のように、メニュー画面M31だけが表示部108によって表示されている場合を想定する。
【0232】
出力制御部104-3は、商品到着の通知画面を表示するように表示部108を制御する。そして、出力制御部104-3は、商品到着の通知画面内に注文商品の受け取りの失敗を示す失敗情報を表示するように表示部108を制御する(S322)。
【0233】
一例として、出力制御部104-3は、メニュー画面M31の上に商品到着の通知画面がポップアップ表示されるように表示部108を制御し、ポップアップ表示された商品到着の通知画面内に注文商品の受け取りの失敗を示す失敗情報を表示するように表示部108を制御する。
【0234】
図32は、メニュー画面M31の上にポップアップ表示された商品到着の通知画面の例である。図32を参照すると、メニュー画面M31の上に商品到着の通知画面N31がポップアップ表示される例が示されている。商品到着の通知画面N31には、注文商品の受け取りの失敗を示す失敗情報F36-1および失敗情報F36-2が含まれている。
【0235】
なお、図32に示された例では、失敗情報F36-1は、「違います」という文字列である。しかし、失敗情報F36-1は、かかる文字列に限定されない。例えば、失敗情報F36-1は、他の文字列であってもよいし、文字列以外の情報(例えば、失敗を示す画像など)であってもよい。あるいは、失敗情報F36-1は、聴覚によって知覚される所定の聴覚情報を含んでもよい。このとき、出力制御部104-3は、聴覚情報(所定の音)を出力するように音声出力部110を制御する。なお、失敗情報F36-1は、手の移動先である追随中の皿D29の位置に依存しない位置に表示される。
【0236】
失敗情報F36-2は、「「注意」それは他のお客様の注文です」という文字列である。しかし、失敗情報F36-2は、かかる文字列に限定されない。例えば、失敗情報F36-2それぞれは、他の文字列であってもよいし、文字列以外の情報(例えば、失敗を示す画像など)であってもよい。あるいは、失敗情報F36-2は、聴覚によって知覚される所定の聴覚情報を含んでもよい。このとき、出力制御部104-3は、聴覚情報(所定の音)を出力するように音声出力部110を制御する。なお、失敗情報F36-2は、手の移動先である追随中の皿D29の位置に依存した位置に表示される。
【0237】
さらに、出力制御部104-3は、手の移動先である追随中の領域である、撮像映像における搬送容器40-3および搬送容器40-3上の皿D29の領域上に、表示オブジェクトF35-1を重畳して表示するように表示部108を制御する。このときに表示される表示オブジェクトF35-1は、自端末のIDと一致する搬送先IDが受信されたときに表示される表示オブジェクトF14-1(図15)とは異なる。例えば、表示される表示オブジェクトF35-1は、表示オブジェクトF14-1(図15)と表示態様(例えば、色または形状など)が異なる。
【0238】
なお、出力制御部104-3は、所定の条件が満たされたときに、商品到着の通知画面N31を消去する。所定の条件は、商品到着の通知画面N31の表示開始から所定の時間が経過したという条件であってもよいし、手の移動先である追随中の領域から手が外れたという条件であってもよい。
【0239】
他端末の注文商品が載せられた皿に対する追随が終了していない場合には(S323において「NO」)、S310に動作が移行される。一方、他端末の注文商品が載せられた皿に対する追随が終了した場合には(S323において「YES」)、動作が終了される。なお、他端末の注文商品が載せられた皿として追随中の皿に対する追随終了は、搬送方向と異なる方向への他端末の注文商品が載せられた皿として追随中の皿の移動を検出したこと、または、他端末の注文商品が載せられた皿として追随中の皿が撮像部101による撮像範囲から外れたことによって判定され得る。
【0240】
(搬送先ID=自端末のIDである場合)
続いて、他端末である注文端末10-3(ID:B)のIDが、搬送先IDとして、注文端末10-3(ID:A)の受信部105によって受信された後に、自端末である注文端末10-3(ID:A)のIDが、搬送先IDとして、注文端末10-3(ID:A)の受信部105によって受信された場合について説明する。
【0241】
注文処理端末30において、表示部300は、注文情報を表示する。店員は、表示部300によって表示された注文情報を見ながら、注文された商品を処理する(すなわち、注文された商品が皿に載せ、当該皿を搬送容器40に載せ、当該搬送容器40を搬送路500に載せる)。
【0242】
図33は、本発明の第3の実施形態に係る表示制御システム1のうち顧客によって視認される各構成の位置関係の例を示す図である。図33を参照すると、搬送路500には、皿D27~D28が載せられている。また、搬送路500には、皿D29が載せられた搬送容器40-3と、皿D30が載せられた搬送容器40-4とが載せられている。搬送路500には、皿D31~D33が載せられている。また、搬送路500には、皿D34が載せられた搬送容器40-5と、皿D35が載せられた搬送容器40-6とが載せられている。
【0243】
皿D27~D28、皿D29が載せられた搬送容器40-3、皿D30が載せられた搬送容器40-4、皿D31~D33、皿D34が載せられた搬送容器40-5、皿D35が載せられた搬送容器40-6は、皿D27を前方とし、皿D35が載せられた搬送容器40-6を後方として列をなし、搬送路500による搬送方向に搬送されている。
【0244】
なお、皿D27~D35それぞれには商品が載せられているが、皿D27~D35それぞれに載せられる商品の図示は省略されている。ただし、皿D34に商品「エビ」が載せられていることが「D34:エビ」によって示されている。同様に、皿D35に商品「エビ」が載せられていることが「D35:エビ」によって示されている。「D29:エビ」および「D30:エビ」については、既に説明した通りである。
【0245】
ここでは、図24に示された注文番号「2」の行の注文情報に従って、店員が注文された商品を処理する場合を想定する。このとき、注文番号「2」に対応する注文内容は、「エビ:2皿」であるため、店員は、搬送容器40-5に、商品「エビ」が載せられた皿D34を載せ、搬送容器40-6に、商品「エビ」が載せられた皿D35を載せる。
【0246】
店員は、注文された商品を処理した後、注文処理端末30の操作部301に対して、注文処理完了を入力する(S100)。注文処理端末30において、注文処理完了が入力されたことに基づいて、送信部302は、搬送容器40-5および搬送容器40-6それぞれに対して、注文情報に含まれる注文番号「2」を送信するとともに、注文情報に含まれる注文端末ID「A」を搬送先ID「A」として送信する。
【0247】
搬送容器40-5および搬送容器40-6それぞれにおいて、受信部400は、注文番号「2」と搬送先ID「A」とを受信し、記憶部401は、注文番号「2」と搬送先ID「A」とを記憶する(S101)。そして、搬送容器40-5および搬送容器40-6それぞれは、搬送路500によって搬送される。搬送容器40-5および搬送容器40-6それぞれの送信部402は、注文番号「2」と搬送先ID「A」とを送信する。
【0248】
図33に示されるように、注文端末10-3(ID:A)において、受信部105は、搬送容器40-5の送信部402によって送信された、注文番号「2」と搬送先ID「A」とを受信する。そして、注文端末10-3(ID:A)において、画像検出部103-3は、受信部105によって受信された搬送先ID「A」と、注文端末10-3のID「A」とが一致するか否かを判定する(S300)。ここでは、搬送先ID「A」と、注文端末10-3のID「A」とが一致するため、S103に動作が移行される場合を想定する。
【0249】
注文端末10-1(ID:A)において、出力制御部104-1は、商品到着の通知画面を表示開始するように表示部108を制御する(S103)。
【0250】
図34は、商品到着の通知画面の例を示す図である。図34を参照すると、商品到着の通知画面N32が示されている。商品到着の通知画面N32には、商品の到着を示す情報「注文品が到着しました」と注文内容「エビ2皿」とを含んだ、伝達内容情報F11と、撮像映像F12とが含まれる。撮像映像F12は、搬送路撮像部112-1および搬送路撮像部112-2それぞれによって撮像されて得られた搬送路映像が、映像生成部102によってつなぎ合わされて生成された、注文端末10-3(ID:A)に対応する搬送路範囲の撮像映像である。
【0251】
注文端末10-1(ID:A)において、画像検出部103-3は、撮像映像に基づいて、撮像映像の左端領域に移動した搬送容器40が検出されるかを試みる。
【0252】
図35は、撮像映像の左端領域の例を示す図である。図35を参照すると、商品到着の通知画面N33における撮像映像の左端領域F33が示されている。
【0253】
仮に、撮像映像の左端領域F33に移動した搬送容器40が検出されない場合には(S104において「NO」)、S104に動作が再度移行される。一方、撮像映像の左端領域F33に移動した搬送容器40が検出された場合には(S104において「YES」)、S301に動作が移行される。ここでは、搬送容器40-5が撮像映像の左端領域F33に移動したため、S301に動作が移行される場合を想定する。
【0254】
注文端末10-3(ID:A)において、画像検出部103-3は、受信部105によって受信された搬送先ID「A」と、注文端末10-3のID「A」とが一致するか否かを判定する(S301)。ここでは、搬送先ID「A」と、注文端末10-3のID「A」とが一致するため、S302に動作が移行される場合を想定する。
【0255】
注文端末10-3(ID:A)において、画像検出部103-3は、撮像映像において搬送容器40-5および搬送容器40-5上の皿D34を自端末の注文商品が載せられた皿として追随開始する(S302)。そして、出力制御部104-3は、追随中の領域である、撮像映像における搬送容器40-5および搬送容器40-5上の皿D34の領域上に、表示オブジェクトを重畳して表示するように表示部108を制御する(S304)。
【0256】
図35の商品到着の通知画面N33に示されるように、出力制御部104-3は、自端末の注文商品が載せられた皿として追随中の領域である、撮像映像における搬送容器40-5および搬送容器40-5上の皿D34の領域上に、表示オブジェクトF34-1を重畳して表示するように表示部108を制御する。図35に示されるように、表示オブジェクトF34-1は、透過性を有する画像であるのが望ましい。
【0257】
なお、出力制御部104-3は、他端末の注文商品が載せられた皿として追随中の領域である、撮像映像における搬送容器40-3および搬送容器40-3上の皿D29の領域上、および、撮像映像における搬送容器40-4および搬送容器40-4上の皿D30の領域上それぞれには、表示オブジェクトF34-1を重畳して表示しないように表示部108を制御する。画像検出部103-3は、検出済みの搬送容器40上の皿の数を計数する。
【0258】
注文端末10-1(ID:A)において、画像検出部103-3は、注文番号「2」に対応付けられた搬送予定数「2」を、注文管理装置20から取得する。そして、画像検出部103-3は、注文管理装置20から取得した搬送予定数「2」と同数の搬送容器40上の皿を検出済みであるか否かを判定する。ここでは、検出済みの搬送容器40上の皿の数が「2」であり、搬送予定数「2」と同数であるため、搬送予定数「2」と同数の搬送容器40上の皿を検出済みであると判定される。
【0259】
S107に並行して、S310が実行される。画像検出部103-3は、撮像映像に基づいて、追随中の皿への手の移動の検出を試みる。
【0260】
図36は、追随中の皿に手が移動している状態を示す図である。図36を参照すると、撮像映像に写る追随中の皿D30に対して、手が移動している。ここでは、追随中の皿への手の移動が検出されるため、S311に動作が移行される場合を想定する。さらに、ここでは、手の移動先である追随中の皿D30が他端末の商品が載せられた皿であるため、S320に動作が移行される場合を想定する。
【0261】
商品到着の通知画面N34が既に表示部108によって表示されているため、出力制御部104-3は、商品到着の通知画面内に注文商品の受け取りの失敗を示す失敗情報を表示するように表示部108を制御する(S322)。商品到着の通知画面N33には、注文商品の受け取りの失敗を示す失敗情報F36-1が含まれている。
【0262】
さらに、出力制御部104-3は、手の移動先である追随中の領域である、撮像映像における搬送容器40-4および搬送容器40-4上の皿D30の領域上に、表示オブジェクトF35-2を重畳して表示するように表示部108を制御する。このときに表示される表示オブジェクトF35-2は、自端末のIDと一致する搬送先IDが受信されたときに表示される表示オブジェクトF14-1(図15)とは異なる。例えば、表示される表示オブジェクトF35-2は、表示オブジェクトF14-1(図15)と表示態様(例えば、色または形状など)が異なる。
【0263】
なお、出力制御部104-3は、所定の条件が満たされたときに、商品到着の通知画面N34を消去する。所定の条件は、商品到着の通知画面N34の表示開始から所定の時間が経過したという条件であってもよいし、手の移動先である追随中の領域から手が外れたという条件であってもよい。
【0264】
他端末の注文商品が載せられた皿に対する追随が終了していない場合には(S323において「NO」)、S310に動作が移行される。一方、他端末の注文商品が載せられた皿に対する追随が終了した場合には(S323において「YES」)、動作が終了される。一方、S310において「YES」となる場合、かつ、S311において「YES」となる場合を想定する。
【0265】
図37は、追随中の皿に手が移動している状態を示す他の図である。図37を参照すると、撮像映像に写る追随中の皿D34に対して、手が移動している。ここでは、追随中の皿への手の移動が検出されるため、S311に動作が移行される。さらに、ここでは、手の移動先である追随中の皿D34が自端末の商品が載せられた皿であるため、S312に動作が移行される。
【0266】
画像検出部103-3によって、搬送方向と異なる方向への追随中の皿の移動が検出されない場合には(S312において「NO」)、S310に再度動作が移行される。一方、画像検出部103-3は、搬送方向と異なる方向への追随中の皿の移動を検出した場合には(S312において「YES」)、S109に動作が移行される。ここでは、画像検出部103-3によって、搬送方向と異なる方向への追随中の皿D34の移動が検出されるため、S109に動作が移行される。
【0267】
S109に動作が移行された場合、画像検出部103-3は、撮像映像において搬送容器40-5および搬送容器40-5上の搬送容器40上の皿D34の追随を終了する。そして、出力制御部104-3は、搬送方向と異なる方向への移動が検出された追随中の領域である、搬送容器40-5および搬送容器40-5上の皿D34の領域に重畳された表示オブジェクト34-1(図36)を消去する。さらに、出力制御部104-3は、注文商品の受け取りの成功情報F15を撮像映像に重畳して表示するように表示部108を制御する(S109)。
【0268】
仮に、自端末の注文商品が載せられた皿に対する追随が終了していない場合には(S313において「NO」)、S310に再度動作が移行される。一方、自端末の注文商品が載せられた皿に対する追随が全て終了した場合には(S313において「YES」)、動作が終了される。ここでは、自端末の注文商品が載せられた皿に対する追随が全て終了し、動作が終了される場合を想定する。
【0269】
以上、本発明の第3の実施形態に係る表示制御システム1の動作例について説明した。
【0270】
(3-3.効果)
本発明の第3の実施形態によれば、本発明の第1の実施形態と同様の効果を奏し得る。さらに、本発明の第3の実施形態によれば、出力制御部104-3は、画像検出部103-3によって、他端末の注文商品が載せられた皿として追随中の皿への手の移動が検出されたことに基づいて、失敗を示す失敗情報を出力するように出力部を制御する。
【0271】
かかる構成によれば、顧客が誤って他人の取るべき皿を取ってしまう可能性がさらに低減され得る。
【0272】
さらに、本発明の第3の実施形態によれば、出力制御部104-3は、画像検出部103-3によって、他端末の注文商品が載せられた皿として追随中の皿への手の移動が検出されたことに基づいて、撮像映像における他端末の注文商品が載せられた皿として追随中の皿の位置に応じた領域に、自端末のIDと一致する搬送先IDが受信されたときに表示される表示オブジェクト(第1の表示オブジェクト)とは異なる表示オブジェクト(第3の表示オブジェクト)を重畳して表示するように表示部108を制御する。
【0273】
かかる構成によれば、顧客が誤って他人の取るべき皿を取ってしまう可能性がさらに低減され得る。
【0274】
以上、本発明の第3の実施形態について説明した。
【0275】
(4.第4の実施形態)
続いて、本発明の第4の実施形態について説明する。以下では、本発明の第4の実施形態に係る表示制御システムが有する構成のうち、本発明の第3の実施形態に係る表示制御システムが有する構成と異なる構成について主に説明する。そして、本発明の第4の実施形態に係る表示制御システムが有する構成のうち、本発明の第3の実施形態に係る表示制御システムが有する構成と共通する構成については、詳細な説明を省略する。
【0276】
具体的に、本発明の第4の実施形態では、表示制御システム1が、本発明の第3の実施形態に係る注文端末10-3の代わりに、注文端末10-4を有する。したがって、以下では、本発明の第4の実施形態に係る注文端末10-4について主に説明する。
【0277】
(4-1.注文端末の機能構成)
次に、図38を参照して、本発明の第4の実施形態に係る注文端末10-4の機能構成の一例を説明する。
【0278】
図38は、本発明の第4の実施形態に係る注文端末10-4の機能構成の一例を示すブロック図である。図38を参照すると、本発明の第4の実施形態に係る注文端末10-4は、画像検出部103-3および出力制御部104-3の代わりに、画像検出部103-4および出力制御部104-4を有する点において、本発明の第3の実施形態に係る注文端末10-3と異なっている。したがって、以下では、画像検出部103-4および出力制御部104-4について主に説明する。
【0279】
(画像検出部103-4)
画像検出部103-4は、本発明の第3の実施形態に係る画像検出部103-3と同様の機能を有する。さらに、画像検出部103-4は、追随中の皿への移動が検出された手の特徴が所定の条件を満たすか否かを判定する。所定の条件は、追随中の皿への移動が検出された手の向きに関する条件である場合を主に想定する。しかし、所定の条件は、かかる条件に限定されない。例えば、所定の条件は、追随中の皿への移動が検出された手に付された色または模様に関する条件であってもよい。
【0280】
(出力制御部104-4)
出力制御部104-4は、本発明の第3の実施形態に係る出力制御部104-3と同様の機能を有する。さらに、出力制御部104-4は、追随中の皿への移動が検出された手の特徴が所定の条件を満たすことに基づいて、失敗情報を出力しないように出力部を制御する。ここで、所定の条件を満たす特徴を有する手は、店員の手であることが主に想定される。本発明の第3の実施形態と同様に、出力部の一例には、表示部108が該当する。また、出力部の他の一例には、音声出力部110が該当する。
【0281】
以上、本発明の第4の実施形態に係る注文端末10-2の機能構成の一例について説明した。
【0282】
(4-2.システムの動作例)
続いて、本発明の第4の実施形態に係る表示制御システム1の動作例について説明する。図39は、本発明の第4の実施形態に係る表示制御システム1の動作例を示すフローチャートである。図39に示されるように、S100~S107が実行される。S100~S107は、本発明の第3の実施形態に係るS100~S107(すなわち、図25に示された各ステップ)と同様に実行される。
【0283】
図40は、本発明の第4の実施形態に係る表示制御システム1のうち顧客によって視認される各構成の位置関係の例を示す図である。図40を参照すると、搬送路500には、皿D41~D47が載せられている。また、搬送路500には、皿D48が載せられた搬送容器40-7と、皿D49が載せられた搬送容器40-8とが載せられている。
【0284】
皿D41~D47、皿D48が載せられた搬送容器40-7および皿D49が載せられた搬送容器40-8は、皿D41を前方とし、皿D49が載せられた搬送容器40-8を後方として列をなし、搬送路500による搬送方向に搬送されている。
【0285】
また、図40を参照すると、C席のテーブルが存在しており、A席に存在する顧客から視認される注文端末10-4(ID:C)が設けられている。注文端末10-4(ID:C)に対応する搬送路範囲は、搬送路500のうち、C席に存在する顧客から手の届く範囲である。また、注文端末10-4(ID:C)の受信部105と、注文端末10-4(ID:C)の搬送路撮像部112-1、112-2とが設けられている。
【0286】
ここで、図24に示された注文情報が、注文管理装置20の記憶部203および注文処理端末30の記憶部303それぞれによって記憶されている場合を想定する。このとき、図24に示された、注文番号「1」、注文端末ID「B」と、注文内容「エビ:2皿」と、搬送予定数「2皿」とに係る注文商品が、注文端末10-4(ID:B)が設けられたB席に存在する顧客によって取られずに、注文端末10-4(ID:C)が設けられたC席にまで搬送された場合を想定する。
【0287】
図41は、撮像映像の例を示す図である。図41を参照すると、撮像映像F41-1が示されている。撮像映像F41-1には、搬送容器40-7に載せられた皿D48、および、搬送容器40-8に載せられた皿D49が写っている。図25に示された、S100~S107によって、注文端末10-4(ID:C)が、他端末の注文商品が載せられた皿として、搬送容器40-7に載せられた皿D48、および、搬送容器40-8に載せられた皿D49を追随している。
【0288】
図42は、撮像映像に写る手の例を示す図である。図42を参照すると、撮像映像F41-2が示されている。他端末の注文商品が載せられた皿として追随されている、搬送容器40-7に載せられた皿D48に対して、手が移動されている。注文端末10-4(ID:C)において、画像検出部103-4は、追随中の皿D48への移動が検出された手の特徴が、所定の条件を満たすか否かを判定する。ここでは、所定の条件が、追随中の皿D48への移動が検出された手の向きに関する条件である場合を主に想定する。
【0289】
図43は、店員の位置の例を示す図である。図43を参照すると、C席を基準として、搬送路500の奥側に、店員P1が存在している。一例として、このような位置に存在する店員P1が、追随中の皿D48に対して手を伸ばした場合、店員P1の手は、図42に示されるように、撮像映像F41-2に写る。
【0290】
したがって、画像検出部103-4は、所定の条件の例として、追随中の皿D48への移動が検出された手の向きが撮像映像F41-2の上端から下端に向かっているという条件が満たされるか否かを判定してもよい。しかし、所定の条件は、かかる条件に限定されない。
【0291】
例えば、所定の条件は、追随中の皿D48への移動が検出された手に所定の色(例えば、店員が装着する業務用手袋の色など)または所定の模様(例えば、店員が装着する業務用手袋の模様など)が付されているという条件であってもよい。これによって、店員が顧客の席側から顧客と同様に手を伸ばして、皿を回収する場合などにおいても、撮像映像から店員の手が検出され得る。
【0292】
追随中の皿D48への移動が検出された手の特徴が、所定の条件を満たす場合には(S401において「NO」)、S301に動作が移行される(すなわち、S311以降の動作が実行されない)。一方、追随中の皿D48への移動が検出された手の特徴が、所定の条件を満たさない場合には(S401において「YES」)、S311以降の動作が実行される。
【0293】
以上、本発明の第4の実施形態に係る表示制御システム1の動作例について説明した。
【0294】
(4-3.効果)
本発明の第4の実施形態によれば、本発明の第3の実施形態と同様の効果を奏し得る。さらに、本発明の第4の実施形態によれば、追随中の皿への移動が検出された手の特徴が所定の条件を満たすことに基づいて、失敗情報を出力しないように出力部を制御する。出力部の一例には、表示部108が該当する。また、出力部の他の一例には、音声出力部110が該当する。
【0295】
かかる構成によれば、顧客が取るべき皿を顧客以外の者(例えば、店員など)が手に取った場合に、顧客以外の者によって皿が取られたことを、失敗情報の出力の原因から除外することが可能となる。これによって、例えば、ある顧客によって取り忘れられた注文商品が、店員によって、他の顧客の席に対応する搬送路範囲から回収される場合などに、他の顧客の席に設けられた注文端末10-4によって、失敗情報が出力されてしまう煩わしさが低減され得る。
【0296】
以上、本発明の第4の実施形態について説明した。
【0297】
(5.ハードウェア構成)
続いて、本発明の実施形態に係る注文端末10のハードウェア構成例について説明する。以下では、本発明の実施形態に係る注文端末10のハードウェア構成例として、情報処理装置900のハードウェア構成例について説明する。
【0298】
なお、以下に説明する情報処理装置900のハードウェア構成例は、注文端末10のハードウェア構成の一例に過ぎない。したがって、注文端末10のハードウェア構成は、以下に説明する情報処理装置900のハードウェア構成から不要な構成が削除されてもよいし、新たな構成が追加されてもよい。注文管理装置20、注文処理端末30、搬送容器40および搬送装置50それぞれのハードウェア構成も、注文端末10のハードウェア構成と同様に実現されてもよい。
【0299】
図44は、本発明の実施形態に係る注文端末10の例としての情報処理装置900のハードウェア構成を示す図である。情報処理装置900は、CPU(Central Processing Unit)901と、ROM(Read Only Memory)902と、RAM(Random Access Memory)903と、ホストバス904と、ブリッジ905と、外部バス906と、インタフェース907と、入力装置908と、出力装置909と、ストレージ装置910と、通信装置911と、を備える。
【0300】
CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置900内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバス等から構成されるホストバス904により相互に接続されている。
【0301】
ホストバス904は、ブリッジ905を介して、PCI(Peripheral Component Interconnect/Interface)バス等の外部バス906に接続されている。なお、必ずしもホストバス904、ブリッジ905および外部バス906を分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
【0302】
入力装置908は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバー等ユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU901に出力する入力制御回路等から構成されている。情報処理装置900を操作するユーザは、この入力装置908を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。
【0303】
出力装置909は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置、ランプ等の表示装置およびスピーカ等の音声出力装置を含む。
【0304】
ストレージ装置910は、データ格納用の装置である。ストレージ装置910は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置等を含んでもよい。ストレージ装置910は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置910は、ハードディスクを駆動し、CPU901が実行するプログラムや各種データを格納する。
【0305】
通信装置911は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置911は、無線通信または有線通信のどちらに対応してもよい。
【0306】
以上、本発明の実施形態に係る注文端末10のハードウェア構成例について説明した。
【0307】
(6.変形例)
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【0308】
1 表示制御システム
10 注文端末
100 制御部
101 撮像部
102 映像生成部
103 画像検出部
104 出力制御部
105 受信部
106 記憶部
107 操作部
108 表示部
109 通信部
110 音声出力部
111 搬送制御部
112 搬送路撮像部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28
図29
図30
図31
図32
図33
図34
図35
図36
図37
図38
図39
図40
図41
図42
図43
図44