特許7581847レストランの提供エラーを低減する方法、プログラム及びシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-05
(45)【発行日】2024-11-13
(54)【発明の名称】レストランの提供エラーを低減する方法、プログラム及びシステム
(51)【国際特許分類】
G06Q 50/12 20120101AFI20241106BHJP
【ＦＩ】
G06Q50/12
【請求項の数】
20
(21)【出願番号】P 2020214339
(22)【出願日】2020-12-23
(65)【公開番号】P2021197140
(43)【公開日】2021-12-27
【審査請求日】2023-11-20
(31)【優先権主張番号】16/903,115
(32)【優先日】2020-06-16
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】000005496
【氏名又は名称】富士フイルムビジネスイノベーション株式会社
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】フー ハオ
(72)【発明者】
【氏名】チョン リュウ
(72)【発明者】
【氏名】ザング ヤンシャ
(72)【発明者】
【氏名】リン ディー．ウィルコックス
【審査官】木村 慎太郎
(56)【参考文献】
【文献】特開２０１７－２１５７７６（ＪＰ，Ａ）
【文献】特開２０１９－１２５１６２（ＪＰ，Ａ）
【文献】米国特許出願公開第２００５／００４９９４０（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００－９９／００
(57)【特許請求の範囲】
【請求項1】
コンピュータにより実行される方法であって、コンピュータが、
ユーザに関連付けられた注文を受け付けて、前記ユーザの物理的属性に関連付けられた情報をキャプチャし、
完了した注文について、前記ユーザの物理的属性と、前記ユーザの物理的属性と他のユーザそれぞれの物理的属性とを含む前記ユーザの領域に関連付けられた情報とのマッチング動作を実行して、最もマッチする対象を決定し、
前記ユーザの領域に関連付けられた情報の中で前記最もマッチする対象に関連付けられた前記ユーザを識別する出力を生成し、前記ユーザに前記注文を届けるために前記出力をサービス提供者に提供する、
ことを含む方法。
【請求項2】
前記マッチング動作は、前記ユーザの物理的属性に関連付けられたキャプチャされた情報を第１の入力として定義し、前記ユーザの領域に関連付けられた情報を第２の入力として定義し、
前記第１の入力及び前記第２の入力を畳み込みニューラルネットワークに適用して、前記第１の入力における前記ユーザの物理的属性と、前記第２の入力における前記ユーザの物理的属性及び前記他のユーザの物理的属性との間の、最もマッチする対象の予測を生成し、
前記予測を前記ユーザの領域内のインジケータに関連付け、
前記サービス提供者に関連付けられたエッジデバイスで使用するために、視覚及び／又は音声ラベルとして出力を生成する、
ことを含む、請求項１に記載の方法。
【請求項3】
前記畳み込みニューラルネットワークは、バッチ正規化、類似性損失、及び注意深い融合が実行された空間と統合された特徴空間を備える、
請求項２に記載の方法。
【請求項4】
前記ユーザに関連付けられた注文を受け付けることは、前記マッチング動作を実行するプロセッサに対しネットワーク通信によって送信されるオプションを前記ユーザが選択するように、ユーザインタフェースにおいて複数のオプションをユーザに提供することを含み、
前記ユーザの物理的属性に関連付けられた情報が、前記ユーザの画像及び前記ユーザの位置情報をキャプチャすることを含む、
請求項１に記載の方法。
【請求項5】
前記注文を届けるために前記出力をサービス提供者に提供することは、前記ユーザが位置する前記領域の画像を提供することであって前記ユーザを前記他のユーザの間で識別すること、及び前記ユーザが前記注文を現在の位置から前記ユーザの位置に物理的に移動させることを可能にする１つ又は複数の音声信号を前記サービス提供者に提供すること、の少なくとも１つを含む、
請求項１に記載の方法。
【請求項6】
前記ユーザは、レストラン内の顧客を含み、前記注文は、前記レストランのメニューからの選択を含み、
前記サービス提供者は、前記レストラン内に位置する他の顧客を含む前記他のユーザの中で、前記注文を完了して前記出力を顧客に提供した後で、前記注文を受け取る人間または自動デリバリーマシンを含む、
請求項１に記載の方法。
【請求項7】
前記ユーザの前記物理的属性は、前記ユーザの前記領域内に配置された、又は前記注文を処理する前記サービス提供者上に配置された１つ又は複数のカメラによってキャプチャされる、
請求項１に記載の方法。
【請求項8】
コンピュータに、ユーザに関連付けられた注文を受け付けて、前記ユーザの物理的属性に関連付けられた情報をキャプチャし、
完了した注文について、前記ユーザの物理的属性と、前記ユーザの物理的属性と他のユーザそれぞれの物理的属性とを含む前記ユーザの領域に関連付けられた情報とのマッチング動作を実行して、最もマッチする対象を決定し、
前記ユーザの領域に関連付けられた情報の中で前記最もマッチする対象に関連付けられた前記ユーザを識別する出力を生成し、前記ユーザに前記注文を届けるために前記出力をサービス提供者に提供する、
手順を実行させるためのプログラム。
【請求項9】
前記マッチング動作は、前記ユーザの物理的属性に関連付けられたキャプチャされた情報を第１の入力として定義し、前記ユーザの領域に関連付けられた情報を第２の入力として定義し、
前記第１の入力及び前記第２の入力を畳み込みニューラルネットワークに適用して、前記第１の入力における前記ユーザの物理的属性と、前記第２の入力における前記ユーザの物理的属性及び前記他のユーザの物理的属性との間の、最もマッチする対象の予測を生成し、
前記予測を前記ユーザの領域内のインジケータに関連付け、
前記サービス提供者に関連付けられたエッジデバイスで使用するために、視覚及び／又は音声ラベルとして出力を生成する、
ことを含む、請求項８に記載のプログラム。
【請求項10】
前記畳み込みニューラルネットワークは、バッチ正規化、類似性損失、及び注意深い融合が実行された空間と統合された特徴空間を備える、
請求項９に記載のプログラム。
【請求項11】
前記ユーザに関連付けられた注文を受け付けることは、前記マッチング動作を実行するプロセッサに対しネットワーク通信によって送信されるオプションを前記ユーザが選択するように、ユーザインタフェースにおいて複数のオプションをユーザに提供することを含み、
前記ユーザの物理的属性に関連付けられた情報が、前記ユーザの画像及び前記ユーザの位置情報をキャプチャすることを含む、
請求項８に記載のプログラム。
【請求項12】
前記注文を届けるために前記出力をサービス提供者に提供することは、前記ユーザが位置する前記領域の画像を提供することであって前記ユーザを前記他のユーザの間で識別すること、及び前記ユーザが前記注文を現在の位置から前記ユーザの位置に物理的に移動させることを可能にする１つ又は複数の音声信号を前記サービス提供者に提供すること、の少なくとも１つを含む、
請求項８に記載のプログラム。
【請求項13】
前記ユーザは、レストラン内の顧客を含み、前記注文は、前記レストランのメニューからの選択を含み、
前記サービス提供者は、前記レストラン内に位置する他の顧客を含む前記他のユーザの中で、前記注文を完了して前記出力を顧客に提供した後で、前記注文を受け取る人間または自動デリバリーマシンを含む、
請求項８に記載のプログラム。
【請求項14】
前記ユーザの前記物理的属性は、前記ユーザの前記領域内に配置された、又は前記注文を処理する前記サービス提供者上に配置された１つ又は複数のカメラによってキャプチャされる、
請求項８に記載のプログラム。
【請求項15】
ユーザに関連付けられた注文を受け付ける入力デバイスと、前記ユーザの物理的属性に関連付けられた情報をキャプチャするセンサと、
前記ユーザの物理的属性と、前記ユーザの物理的属性と他のユーザそれぞれの物理的属性とを含む前記ユーザの領域に関連付けられた情報とのマッチング動作を実行して、最もマッチする対象を決定し、前記ユーザの領域に関連付けられた情報の中で前記最もマッチする対象に関連付けられた前記ユーザを識別する出力を生成するプロセッサと、
前記出力を受信し、前記ユーザに前記注文を届けるために前記出力をサービス提供者に提供するサービス提供者のデバイスと、
を備えるシステム。
【請求項16】
前記マッチング動作は、前記ユーザの物理的属性に関連付けられたキャプチャされた情報を第１の入力として定義し、前記ユーザの領域に関連付けられた情報を第２の入力として定義し、
前記第１の入力及び前記第２の入力を畳み込みニューラルネットワークに適用して、前記第１の入力における前記ユーザの物理的属性と、前記第２の入力における前記ユーザの物理的属性及び前記他のユーザの物理的属性との間の、最もマッチする対象の予測を生成し、
前記予測を前記ユーザの領域内のインジケータに関連付け、
前記サービス提供者に関連付けられたエッジデバイスで使用するために、視覚及び／又は音声ラベルとして出力を生成し、
前記畳み込みニューラルネットワークは、
バッチ正規化、類似性損失、及び注意深い融合が実行された空間と統合された特徴空間を備える、
請求項１５に記載のシステム。
【請求項17】
前記入力デバイスは、前記ユーザが、前記マッチング動作を実行するプロセッサに対しネットワーク通信によって送信されるオプションを選択するように、ユーザインタフェースにおいて複数のオプションを前記ユーザに提供し、
前記センサが、前記ユーザの画像及び前記ユーザの位置情報をキャプチャするカメラを備える、
請求項１５に記載のシステム。
【請求項18】
前記サービス提供者のデバイスは、前記ユーザが位置する領域の画像を表示し、
前記ユーザを前記他のユーザの間で識別するか、または前記ユーザが前記注文を現在の位置から前記ユーザの位置に物理的に移動させることを可能にする１つ又は複数の音声信号を前記サービス提供者に提供する、
請求項１５に記載のシステム。
【請求項19】
前記ユーザは、レストラン内の顧客を含み、前記注文は、前記レストランのメニューからの選択を含み、
前記サービス提供者は、前記レストラン内に位置する他の顧客を含む前記他のユーザの中で、前記注文を完了して前記出力を顧客に提供した後で、前記注文を受け取る人間または自動デリバリーマシンを含む、
請求項１５に記載のシステム。
【請求項20】
前記ユーザの前記物理的属性は、前記ユーザの前記領域内に配置された、又は前記注文を処理する前記サービス提供者上に配置された１つ又は複数のカメラによってキャプチャされる、
請求項１５に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
例示的な実装形態の態様は、レストランなどでの提供エラーの低減に関連する方法、システム及びユーザ体験に関するものであり、より具体的には、料理を注文するユーザの画像を領域の画像とマッチングすることであり、サービス提供者には、完了した注文をユーザに関連付けて届けるための支援システムが提供される。
【背景技術】
【0002】
関連技術では、顧客に間違った料理を提供することは、レストラン事業におけるサービス品質にとっては重大な問題である。関連技術のアプローチによれば、ウェイター/ウェイトレスは、複数の役割（例えば、注文、サービス、清掃など）を果たし、同時に複数のテーブルを担当する必要があり、これには、注文を行う顧客の外見を記憶することを含むが、サービス提供者に伝えることなく位置やテーブルを切り替える顧客や、互いに似ているように見える顧客がいる。ウェイター／ウェイトレスは、あまりにも多くのディナーに圧倒されて、他の誰かが注文した料理を提供する場合がある。最近の調査によれば、このようなエラーは、中規模のレストランの場合、月額約９，０００ドルの経済的損失を引き起こす。
【0003】
経済的損失に加えて、他の損失が存在し得る。例えば、顧客は、ウェイター/ウェイトレスが正しい提供対象物を決定するまで、より長い時間待つ必要がある。この遅延は、顧客満足度の低下や（例えば、ソーシャルメディア上での）否定的なレビューのリスクを大幅に高める可能性があり、ビジネスの収益をさらに損なうことになる。
【0004】
さらに、状況を改善するために、できるだけ早く正しい料理を再調理する必要があるため、提供エラーによってキッチンが混乱する可能性があり、無駄になる余分なコストが発生し、サービスが混雑する可能性が高くなる。
【0005】
提供エラーの低減を目的とした関連技術の解決策は、従来のアプローチと、技術を活用したアプローチとに大まかに分類することができる。
【0006】
従来の関連技術のアプローチには、より多くのレストランスタッフを雇うことや、スタッフをより経験豊富にするためにより良い専門的なトレーニングを提供することが含まれる。これらの解決策は、非常に直接的である。しかしながら、それらは時間効率が低く、はるかに高価である。例えば、事業主は、追加で雇用されたウェイター／ウェイトレスに余分なお金を支払う必要があり、彼らはまた、食事のピーク時にレストランをさらに混雑させ、顧客の待ち時間を潜在的に長引かせる可能性がある。一方、専門的なトレーニングは、遅いプロセスである可能性があり、完了するまでに数ヶ月を要し、日常業務の他にウェイター／ウェイトレスに余分な負担をもたらす可能性がある。さらに重要なことに、ウェイター／ウェイトレスの仕事の定着率が低いために、すべての新しい従業員は効果を確認する前にトレーニングを完了する必要があるため、専門的なトレーニングは非常に非効率的である可能性がある。
【0007】
関連技術を活用したアプローチは、提供エラーを低減するための技術的な支援を求めている。代表的な関連技術の例は、レストランのPOS(Point of Sale)システムである。関連技術のＰＯＳシステムは、メニュー管理、請求書分割、及び顧客フィードバック分析などの自動化されたサービスを提供する。このような機能は、便利な料理のカスタマイズの選択肢を提供すること、キッチンと顧客との間のコミュニケーションを改善すること、及びより効率的な従業員管理を提供することなどの側面から、顧客の体験を改善することに重点を置いている。しかしながら、レストラン事業を目的としたこれらの関連技術は、間違った顧客に料理を提供するという問題を考慮していない。したがって、事業主は、このような提供エラーを低減するために、依然として関連技術の従来のアプローチだけに依存しなければならない。
【0008】
関連技術には、誤って提供された料理をレストランが特定するのに役立つ解決策を開発するという、満たされていないニーズがある。
【先行技術文献】
【非特許文献】
【0009】
【文献】BA, J. L., et al., Layer Normalization, July 21, 2016, arXiv:1607.06450, 14 pgs.
【文献】BERTINETTO, L., et al., Fully-Convolutional Siamese Networks for Object Tracking, European Conference on Computer Vision, 2016, pp.850-865.
【文献】CHEN, W., et al., Beyond Triplet Loss: A Deep Quadruplet Network for Person Re-Identification, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017, pp.403-412.
【文献】GRAVES, A., et al., Speech Recognition with Deep Recurrent Neural Networks, 2013 IEEE International Conference on Acoustics, Speech and Signal Processing, 2013, pp.6645-6649.
【文献】HE, K., et al., Deep Residual Learning for Image Recognition, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp.770-778.
【文献】HERMANS, A., et al., In Defense of the Triplet Loss for Person Re-Identification, November 21, 2017, arXiv:1703.07737, 17 pgs.
【文献】HOFFER, E., et al., Deep Metric Learning Using Triplet Network, International Workshop on Similarity-Based Pattern Recognition, 2015, pp.84-92.
【文献】JOFFE, S., et al., Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift, March 2, 2015, arXiv:1502.03167, 11 pgs.
【文献】JIA, J., et al., Frustratingly Easy Person Re-Identification: Generalizing Person Re-lID in Practice, July 22, 2019, arXiv:1905.03422, 14 pgs.
【文献】KOCH, G., Siamese Neural Networks for One-Shot Image Recognition, Thesis for Masters Degree of Science, Graduate Department of Computer Science, University of Toronto, 2015, 30 pgs.
【文献】LUO, H., et al., Bag of Tricks and a Strong Baseline for Deep Person Re-Identification, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2019, pp.4321-4329.
【文献】REDMON, J., et al., YOLOV3: An Incremental Improvement, April 8, 2018, arXiv:1804.02767, 6 pgs.
【文献】SCHROFF, F., et al., FaceNet A Unified Embedding for Face Recognition and Clustering, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2015, pp.815-823.
【文献】WEINBERGER, K. Q., et al., Distance Metric Learning for Large Margin Nearest Neighbor Classification, Journal of Machine Learning Research, 10, 2009, pp.207-244.
【文献】ZEGHIDOUR, N., et al., Joint Learning of Speaker and Phonetic Similarities with Siamese Networks, INTERSPEECH, 2016, pp.1295-1299.
【文献】ZHENG, L., et al., Scalable Person Re-Identification: A Benchmark, Proceedings of the IEEE International Conference on Computer Vision, 2015, pp.1116-1124.
【発明の概要】
【発明が解決しようとする課題】
【0010】
本発明の目的は、レストランの提供エラーを低減することができる、方法、プログラム及びシステムを提供することにある。
【課題を解決するための手段】
【0011】
例示的な実装形態の一態様は、ユーザに関連付けられた注文を受け付け、前記ユーザの物理的属性に関連付けられた情報を取得することと、前記注文が完了すると、前記ユーザの物理的属性と、前記ユーザの物理的属性及び他のユーザそれぞれの物理的属性とを含む前記ユーザの領域に関連付けられた情報とのマッチング動作を実行して、最もマッチする対象（closest match）を決定することと、及び、前記ユーザの領域に関連付けられた情報の中で最もマッチする対象に関連付けられた前記ユーザを識別する出力を生成し、前記注文を前記ユーザに届けるために前記出力をサービス提供者に提供することと、を含む。
【0012】
例示的な実装形態はまた、記憶装置及びプロセッサを有する非一時的なコンピュータ可読媒体を含むことができ、前記プロセッサは、レストランなどでの提供エラーの低減に関連する命令を実行することができ、より具体的には、料理を注文するユーザの画像をその領域の画像とマッチングすることができ、サービス提供者には、完了した注文をユーザに関連付けて届ける支援システムが提供される。
【0013】
本開示の第１の態様は、コンピュータにより実行される方法であって、コンピュータが、ユーザに関連付けられた注文を受け付けて、前記ユーザの物理的属性に関連付けられた情報をキャプチャし、完了した注文について、前記ユーザの物理的属性と、前記ユーザの物理的属性と他のユーザそれぞれの物理的属性とを含む前記ユーザの領域に関連付けられた情報とのマッチング動作を実行して、最もマッチする対象を決定し、前記ユーザの領域に関連付けられた情報の中で前記最もマッチする対象に関連付けられた前記ユーザを識別する出力を生成し、前記ユーザに前記注文を届けるために前記出力をサービス提供者に提供する、ことを含む。
【0014】
前記マッチング動作は、前記ユーザの物理的属性に関連付けられたキャプチャされた情報を第１の入力として定義し、前記ユーザの領域に関連付けられた情報を第２の入力として定義し、前記第１の入力及び前記第２の入力を畳み込みニューラルネットワークに適用して、前記第１の入力における前記ユーザの物理的属性と、前記第２の入力における前記ユーザの物理的属性及び前記他のユーザの物理的属性との間の、最もマッチする対象の予測を生成し、前記予測を前記ユーザの領域内のインジケータに関連付け、前記サービス提供者に関連付けられたエッジデバイスで使用するために、視覚及び／又は音声ラベルとして出力を生成する、ことを含む。
【0015】
前記畳み込みニューラルネットワークは、バッチ正規化、類似性損失、及び注意深い融合が実行された空間と統合された特徴空間を備える。
【0016】
前記ユーザに関連付けられた注文を受け付けることは、前記マッチング動作を実行するプロセッサに対しネットワーク通信によって送信されるオプションを前記ユーザが選択するように、ユーザインタフェースにおいて複数のオプションをユーザに提供することを含み、前記ユーザの物理的属性に関連付けられた情報が、前記ユーザの画像及び前記ユーザの位置情報をキャプチャすることを含む。
【0017】
前記注文を届けるために前記出力をサービス提供者に提供することは、前記ユーザが位置する前記領域の画像を提供することであって前記ユーザを前記他のユーザの間で識別すること、及び前記ユーザが前記注文を現在の位置から前記ユーザの位置に物理的に移動させることを可能にする１つ又は複数の音声信号を前記サービス提供者に提供すること、の少なくとも１つを含む。
【0018】
前記ユーザは、レストラン内の顧客を含み、前記注文は、前記レストランのメニューからの選択を含み、前記サービス提供者は、前記レストラン内に位置する他の顧客を含む前記他のユーザの中で、前記注文を完了して前記出力を顧客に提供した後で、前記注文を受け取る人間または自動デリバリーマシンを含む。
【0019】
前記ユーザの前記物理的属性は、前記ユーザの前記領域内に配置された、又は前記注文を処理する前記サービス提供者上に配置された１つ又は複数のカメラによってキャプチャされる。
【0020】
本開示の第２の態様は、コンピュータに、ユーザに関連付けられた注文を受け付けて、前記ユーザの物理的属性に関連付けられた情報をキャプチャし、完了した注文について、前記ユーザの物理的属性と、前記ユーザの物理的属性と他のユーザそれぞれの物理的属性とを含む前記ユーザの領域に関連付けられた情報とのマッチング動作を実行して、最もマッチする対象を決定し、前記ユーザの領域に関連付けられた情報の中で前記最もマッチする対象に関連付けられた前記ユーザを識別する出力を生成し、前記ユーザに前記注文を届けるために前記出力をサービス提供者に提供する、手順を実行させるプログラムである。
【0021】
前記マッチング動作は、前記ユーザの物理的属性に関連付けられたキャプチャされた情報を第１の入力として定義し、前記ユーザの領域に関連付けられた情報を第２の入力として定義し、前記第１の入力及び前記第２の入力を畳み込みニューラルネットワークに適用して、前記第１の入力における前記ユーザの物理的属性と、前記第２の入力における前記ユーザの物理的属性及び前記他のユーザの物理的属性との間の、最もマッチする対象の予測を生成し、前記予測を前記ユーザの領域内のインジケータに関連付け、前記サービス提供者に関連付けられたエッジデバイスで使用するために、視覚及び／又は音声ラベルとして出力を生成する、ことを含む。
【0022】
前記畳み込みニューラルネットワークは、バッチ正規化、類似性損失、及び注意深い融合が実行された空間と統合された特徴空間を備える。
【0023】
前記ユーザに関連付けられた注文を受け付けることは、前記マッチング動作を実行するプロセッサに対しネットワーク通信によって送信されるオプションを前記ユーザが選択するように、ユーザインタフェースにおいて複数のオプションをユーザに提供することを含み、前記ユーザの物理的属性に関連付けられた情報が、前記ユーザの画像及び前記ユーザの位置情報をキャプチャすることを含む。
【0024】
前記注文を届けるために前記出力をサービス提供者に提供することは、前記ユーザが位置する前記領域の画像を提供することであって前記ユーザを前記他のユーザの間で識別すること、及び前記ユーザが前記注文を現在の位置から前記ユーザの位置に物理的に移動させることを可能にする１つ又は複数の音声信号を前記サービス提供者に提供すること、の少なくとも１つを含む。
【0025】
前記ユーザは、レストラン内の顧客を含み、前記注文は、前記レストランのメニューからの選択を含み、前記サービス提供者は、前記レストラン内に位置する他の顧客を含む前記他のユーザの中で、前記注文を完了して前記出力を顧客に提供した後で、前記注文を受け取る人間または自動デリバリーマシンを含む。
【0026】
前記ユーザの前記物理的属性は、前記ユーザの前記領域内に配置された、又は前記注文を処理する前記サービス提供者上に配置された１つ又は複数のカメラによってキャプチャされる。
【0027】
本開示の第３の態様は、ユーザに関連付けられた注文を受け付ける入力デバイスと、前記ユーザの物理的属性に関連付けられた情報をキャプチャするセンサと、前記ユーザの物理的属性と、前記ユーザの物理的属性と他のユーザそれぞれの物理的属性とを含む前記ユーザの領域に関連付けられた情報とのマッチング動作を実行して、最もマッチする対象を決定し、前記ユーザの領域に関連付けられた情報の中で前記最もマッチする対象に関連付けられた前記ユーザを識別する出力を生成するプロセッサと、前記出力を受信し、前記ユーザに前記注文を届けるために前記出力をサービス提供者に提供するサービス提供者のデバイスと、を備えるシステムである。
【0028】
前記マッチング動作は、前記ユーザの物理的属性に関連付けられたキャプチャされた情報を第１の入力として定義し、前記ユーザの領域に関連付けられた情報を第２の入力として定義し、前記第１の入力及び前記第２の入力を畳み込みニューラルネットワークに適用して、前記第１の入力における前記ユーザの物理的属性と、前記第２の入力における前記ユーザの物理的属性及び前記他のユーザの物理的属性との間の、最もマッチする対象の予測を生成し、前記予測を前記ユーザの領域内のインジケータに関連付け、前記サービス提供者に関連付けられたエッジデバイスで使用するために、視覚及び／又は音声ラベルとして出力を生成し、前記畳み込みニューラルネットワークは、バッチ正規化、類似性損失、及び注意深い融合が実行された空間と統合された特徴空間を備える。
【0029】
前記入力デバイスは、前記ユーザが、前記マッチング動作を実行するプロセッサに対しネットワーク通信によって送信されるオプションを選択するように、前記ユーザインタフェースにおいて複数のオプションを前記ユーザに提供し、前記センサが、前記ユーザの画像及び前記ユーザの位置情報をキャプチャするカメラを備える。
【0030】
前記サービス提供者のデバイスは、前記ユーザが位置する領域の画像を表示し、前記ユーザを前記他のユーザの間で識別するか、または前記ユーザが前記注文を現在の位置から前記ユーザの位置に物理的に移動させることを可能にする１つ又は複数の音声信号を前記サービス提供者に提供する。
【0031】
前記ユーザは、レストラン内の顧客を含み、前記注文は、前記レストランのメニューからの選択を含み、前記サービス提供者は、前記レストラン内に位置する他の顧客を含む前記他のユーザの中で、前記注文を完了して前記出力を顧客に提供した後で、前記注文を受け取る人間または自動デリバリーマシンを含む。
【0032】
前記ユーザの前記物理的属性は、前記ユーザの前記領域内に配置された、又は前記注文を処理する前記サービス提供者上に配置された１つ又は複数のカメラによってキャプチャされる。
【0033】
本開示の実施形態の詳細は、それらの構造及び動作の両方に関して、添付の図面を検討することによって部分的に収集することができ、添付の図面では、同様の参照番号は同様の部分を指す。
【図面の簡単な説明】
【0034】
【発明を実施するための形態】
【0035】
以下の詳細な説明は、本出願の図及び例示的な実装形態のさらなる詳細を提供する。図面間で重複する要素については、明確化のために参照番号及び説明を省略する。説明全体を通して使用される用語は、例として提供され、限定することを意図するものではない。
【0036】
例示的な実装形態は、間違った顧客に料理を提供する際のエラーを低減するためのシステム及び方法を対象とする。より具体的には、この例示的な実装形態は、ウェイター／ウェイトレスが、料理を届けるべき正しい人物に、料理を正確にリンクするのを支援する。注文期間中、各顧客の視覚情報がカメラを介してキャプチャされ、料理が各個人に関連付けられる。
【0037】
提供段階では、カメラビュー内の全ての人々が検出され、検出された人々の視覚情報を注文中に取得されたものとマッチングすることによって、料理を提供する人物が選択される。プロセス中、ウェイター／ウェイトレスは、簡単な操作（例えば、注文ステージ／提供ステージ間の切り替え）を実行する必要があるだけである。したがって、サービス提供者は、正確な個々の注文を記憶する必要がなく、顧客にサービスを提供することに集中することができる。
【0038】
例示的な実装形態によれば、コアシステムは、カメラと、ディープニューラルネットワークに基づいて構築された顧客マッチングモジュールとを有する。顧客マッチング（ＭＣ）モジュールは、２つの画像内の人物が同じであるかどうかを正しく識別するために、オフラインでトレーニングされる。展開のために、各ウェイター／ウェイトレスは、トレーニングされたＭＣモジュールをホストしているクラウドに接続された、カメラ付きのエッジデバイスを装備する。
【0039】
図１は、１００における例示的な制限の機能的な概要を示す。より具体的には、顧客１０１は注文を行うことができる。このとき、１０３において、料理は顧客に関連付けられる。続いて、サービス提供者１０７には、料理を顧客に関連付ける注文が提供される。料理が完成すると、料理は、提供プロセス中に正しい顧客１０５にマッチングされる。そして、その料理は、顧客１０１に提供される。
【0040】
図２に示されるように、エッジデバイス２００は、図１に示される機能的態様を実行するために提供される。エッジデバイス２００は、注文モード２０１と提供モード２０３の２つのモードを有する。デバイスが注文モード２０１の場合には、カメラは注文している顧客の画像をキャプチャし、彼／彼女が注文した料理をキャプチャした画像に自動的にリンクする。次に、画像は、特徴抽出のためにＭＣモジュールに送り返される。例えば、２０１に示すように、現在の顧客は、メニューからシーザーサラダを注文し（例えば、ドラッグアンドドロップし）、一方、カメラは、注文プロセス中にその顧客の画像をキャプチャする。以下にさらに開示されるように、ユーザは、例えば、ソーシャルディスタンスプロトコルを維持するために、サービス提供者の関与なしに注文を提出することができる。
【0041】
２０３でデバイスが提供モードに切り替えられた後、そのカメラは、同じ画面に表示されるすべての顧客を検出し、ＭＣモジュールは、検出された各顧客の特徴を抽出する。次に、特定の料理について、注文モードでキャプチャされたその料理に対応する画像の特徴が、新たに検出されたすべての顧客の特徴と比較される。元の画像からの距離が最小である特徴を有する顧客が、ターゲットとみなされる。そして、ウェイター／ウェイトレスは、正しい人物に提供するように通知される。例えば、２０３に示すように、キッチンでシーザーサラダプレートが完成すると、マッチング動作が実行され、シーザーサラダを注文した顧客にマッチする画像を有する人物が、赤色で強調表示されていると判断される。したがって、サービス提供者は、シーザーサラダを注文した人物の同一性を推測する必要がない。
【0042】
これは、グループのメンバーが、座席を切り替えたり、テーブルを切り替えたりする可能性がある、大規模なグループにおいて特に有用である。顧客の画像は、注文の最初の時点で注文に関連付けられているので、その関係は、提供モードの間も保存される。
【0043】
前述の例示的な実装形態は、視覚的なサービスガイダンスを示しているが、例示的な実装形態はこれに限定されない。これに限定される訳ではないが、例えば、視覚的インジケータを提供する代わりに、ガイダンスは、音声スピーカ、振動、又は他のモードによって、単独で又は通常のインジケータとの組み合わせで、提供されてもよい。したがって、レストラン内のサービス提供者は、支援を受けて正しい顧客に注文を提供し、顧客と料理との組合せが正しいかどうかを推測する必要がない。
【0044】
図３ は、例示的な実装形態の機能図を示している。フローは、注文段階から始まり、次に提供段階に移動する順序で説明される。
【0045】
顧客３０１が到着し、自分が選択したテーブル及び座席を提供されてもよい。顧客が着席すると、携帯カメラ３０５によって顧客の画像がキャプチャされる。携帯カメラ３０５は、任意選択で、顧客３０１の画像を容易にキャプチャできるように配置することができる。これに限定される訳ではないが、例えば、携帯カメラ３０５は、天井に沿った配列で顧客の上に、テーブル自体の上に、ＰＯＳ（point of service）メニュー上に、部屋の隅に、又は、顧客３０１の画像のキャプチャを可能にする他の任意の場所に配置されてもよい。
【0046】
携帯カメラ３０５によってキャプチャされた顧客３０１の画像は、顧客マッチングモジュール３０９に提供される。画像のキャプチャのタイミングは、顧客３０１による料理の注文と同時、注文の直前、又は注文の直後に発生し得る。顧客がサービス提供者を介さずにＰＯＳデバイスから直接注文した場合、又はサービス提供者が注文を取る場合、注文はインタフェース３０７を介して入力される。その注文は、顧客の写真と共に顧客マッチングモジュール３０９にも入力される。この注文は、サービス提供者３０３にも提供される。
【0047】
しばらくすると、注文が準備され、注文が提供される準備が整う。その時点で、ウェイターは、料理を提供する準備ができていることを通知される。この時点で、顧客マッチングモジュール３０９は、携帯カメラ３０５からの部屋の画像のキャプチャを要求し、マッチング機能を実行する。より具体的には、マッチング機能は、注文段階で注文を提出した顧客の最初にキャプチャされた画像を、部屋に座っている顧客の最もマッチする画像とマッチングすることを目的としている。そのマッチング結果は、インタフェース３０７に提供され、サービス提供者３０３がそのインタフェースを使用して、料理をどこに届けるべきかについて案内される。任意選択で、提供されるスピーカ３１１は、サービス提供者３０３に指示する。そして、サービス提供者３０３は、その料理を顧客３０１に提供する。
【0048】
例示的な実装形態には、入力／出力デバイス及びＭＣモジュールが含まれるが、これらに限定される訳ではない。例示的な実装形態のこれらの特徴のさらなる詳細は、以下に開示される。
【0049】
入力／出力デバイスの場合、カメラは、顧客の視覚情報を入力としてキャプチャすることができる。このカメラは、ＰＯＳシステム端末等の他のエッジデバイスの統合された部分とすることができる。出力デバイスの選択は柔軟であってもよい。ウェイター／ウェイトレスが視覚的フィードバックを好む場合には、彼／彼女は、ＰＯＳシステム端末の画面を使用して顧客をターゲットにすることができるし、または、彼／彼女は、スピーカ／ヘッドセットを備えたＰＯＳシステム端末を有しており、料理を提供するときに聴覚的な指示のためにそれをオンにすることができる。
【0050】
図２の要素２０３に示すように、また上記で開示したように、様々なサービス提供者の設定に基づいて、注文を正しい顧客に関連付けるために、ターゲットの顧客がＰＯＳの画面上で強調表示されるか、ウェイター／ウェイトレスに聴覚ガイダンス（例えば、「あなたの前」、「あなたの右側／左側」などを指定するための示唆的な方向情報）が提供される。入力／出力デバイスは、ＭＣモジュールとの間で情報を送受信するために、インターネットに接続される等、ネットワーク化されてもよい。
【0051】
例示的な実装形態の顧客マッチングの態様に関して、クエリ画像に関して検出されたすべての人物から「最も類似した人物」の画像を決定し、それを返すクラウドベースのサービスが提供されてもよい。これに限定される訳ではないが、例えば、畳み込みニューラルネットワーク（ＣＮＮ）を使用することができる。例示的な実装形態の１つでは、ＣＮＮは、全ての入力画像を特徴ベクトルに処理する特徴抽出器を含む。
【0052】
図４は、例示的な実装形態に係る顧客マッチングモジュール４００を示す。注文段階で取得された画像４０１がクエリ画像である。料理が提供されるとき、先にキャプチャされたクエリ画像４０１は、検出された全ての人物の画像４０３と共に、最初に特徴ベクトルに抽出される。次に、クエリ画像の特徴ベクトルと検出された画像の特徴ベクトルとの間の距離が計算され、降順でランク付けされる。最も高い距離スコアを有する検出された画像は、料理が提供されるべきターゲットの顧客とみなされる。これは、例えば、ＣＮＮ４０５で実現される。さらに、ＣＮＮ４０５は、畳み込み４０７、４０９、全結合層４１１、及びマッチングの出力分類又は出力予測４１３を含むシャムネットワークであり得る。２ストリームプロセスが提供され、同一性損失（identity loss）及び類似性損失（similar loss）が決定される。
【0053】
さらなる支援機能が、顧客マッチングモジュール４００と組み合わされてもよい。これに限定される訳ではないが、例えば、検出器（例えば、ＹＯＬＯｖ３）を使用して、クエリ画像とのマッチングを実行するために送られる前に、カメラ画面上の全ての人物を検出することができる。さらに、ウェイター／ウェイトレスの手が料理に占有されて利用できない場合は、音声認識を使用してマッチングプロセスを起動することができる。これに限定される訳ではないが、例えば、ウェイター／ウェイトレスは、注文が提供される準備が整うと、顧客マッチングモジュール４００にマッチングを実行するように指示することができる。任意選択で、音声フィードを使用して音声認識とマッチングを入力し、画像マッチングを支援することができる。
【0054】
例示的な実装形態では、シャムネットワークをトレーニングパラダイムとして使用する。これは、距離学習の一般的なフレームワークである。ＣＮＮ４０５のシャムネットワークは、同一人物に属する特徴ベクトル間の距離を最小化し、異なる人物に属する特徴ベクトル間の距離を最大化することを目的とする。それは入力として一対の画像を必要とする。ここで「ポジティブペア」とは、両方の画像が同じ人物に関連していることを意味する。また 「ネガティブペア」とは、ある画像の人物がもう一方の画像の人物と異なることを意味する。
【0055】
トレーニングの目的は、４１３において類似性損失を最小限に抑えることである。これにより、ネットワークがポジティブペアに対するマージンを減少させ、ネガティブペアに対するマージンを増加させる。任意選択で、トリプレット損失が最適化目的として使用される。トリプレット損失
は次のように定式化できる。
は次のように定式化できる。
【0056】
【数1】
【0057】
ここで、ｆｉ
ａはアンカー画像の特徴であり、ｆｉ
ｐ、ｆｉ
ｎはそれぞれアンカーに対するポジティブペア画像とネガティブペア画像の特徴である。Ｎは、選択されたアンカー画像の数である。αは、特徴が十分に分離されているかどうかの最小測定を制御するマージンである。
【0058】
任意選択で、性能を向上させるために、４１３の同一性損失を、シャムネットワークに含めることができる。したがって、シャムネットワークのトレーニングは、マルチタスク学習の問題と見なすことができる。一対の画像を必要とする類似性損失とは異なり、同一性損失は、入力として１つの画像のみを必要とし、単一のネットワークストリームを最適化する。目的は、入力画像内の人物に対する正しい同一性（identity）を決定することである。 実際には、交差エントロピー損失
が同一性損失として使用され、次のように定式化できる。
が同一性損失として使用され、次のように定式化できる。
【0059】
【数2】
【0060】
ここでｙｉは特徴ｆｉのグラウンドトゥルースＩＤであり、ＭはＩＤラベルを有する画像の数である。トレーニングプロセスの間、
と
の両方が統合損失関数Ｌとして結合され、次のように共同でトレーニングされる。
の両方が統合損失関数Ｌとして結合され、次のように共同でトレーニングされる。
【0061】
【数3】
【0062】
ここで、βは、統合損失関数の影響を制御するためのハイパーパラメータである。
【0063】
トレーニングの目的に加えて、顧客マッチングをより正確にするための新しいアーキテクチャアプローチが提供される。同一性損失及び類似性損失は、共有距離空間との互換性が高くない場合がある。例えば、特徴点は、ユークリッド距離が収束しやすい類似性損失とは対照的に、同一性損失を用いると、ユークリッド距離よりもコサイン距離に対して分離可能であり得る。
【0064】
例示的な実装形態によれば、トレーニング中に損失関数毎に異なる特徴空間が生成され、これらの空間は、テスト中に結合されて１つに統合される。例えば、バッチ正規化（ＢＮ）及びレイヤー正規化（ＬＮ）を使用して、それぞれ同一性損失及び類似性損失のための個別の特徴空間を開発することができる。任意の特徴ｆに対して、両方の正規化は、次のような形式になる。
【0065】
【数4】
【0066】
ここで、μＢ,Ｌは、バッチとレイヤーの平均であり、σＢ,Ｌは、それぞれＢＮおよびＬＮに対するバッチとレイヤーの分散である。γＢ,Ｌ、ηＢ,Ｌは、対応する正規化のアフィン変換の重みである。
【0067】
トレーニング中、式１及び式２の特徴ｆは、それぞれｆＢとｆＬで置換される。このような場合、ｆＢは同一性損失からの勾配のみを受け取り、ｆＬは類似性損失からの勾配を受け取る。これらを組み合わせるために、注意の重み（attention weights）ａＢ，Ｌは、両方の正規化について次のように計算される。
【0068】
【数5】
【0069】
ここで、Ｋは、ｆとｆＢ，Ｌとに基づいて注意スコアを生成するカーネル関数である。パラメータは、シャムネットワークと共同でトレーニングすることができる。
【0070】
トレーニング後、正規化された特徴ｆＢ，Ｌを注意スコアと融合して、次のような最終的な特徴ベクトル
を生成することができる。
を生成することができる。
【0071】
【数6】
【0072】
図５は、例示的な実装形態に係る、シャムネットワークの特徴空間５０１と、注意深い融合空間５０３－５１１との間の視覚化された比較５００を提供する。特徴空間５０３は、融合モジュール５１１によって、バッチ正規化５０５、類似性損失５０７、及び注意深い融合５０９が実行された空間と統合される。従って、異なる入力から異なる信号が提供される。
【0073】
レストラン向けの関連技術のＰＯＳシステムは、メニュー管理、請求書分割、及び顧客フィードバック分析などの問題を処理するための自動化された解決策を提供することに重点を置いているが、これらの機能は、顧客を直接ターゲットにして、顧客の食事体験を向上させる。しかしながら、本開示の例示的な実装形態は、ウェイター／ウェイトレスを支援して提供エラーを低減し、顧客へのサービスにもっと従事できるようにすることで、食事体験を向上させるという点で、これら関連技術のＰＯＳシステムアプローチとは区別することができる。したがって、本開示の例示的な実装形態は、ＰＯＳシステムに統合されてもよい。
【0074】
本開示の例示的な実装形態は、任意選択で、シャムネットワーク上での人物の再識別技術を提供する。関連技術と比較して、本開示の例示的な実装形態は、異なるトレーニング目的で距離空間を共有することに焦点を当てている。さらに、本開示の例示的な実装形態はまた、対応する損失に対して異なる正規化空間を提供すること、及びテスト時間中に注意深くそれらを組み合わせることを目的とする。
【0075】
図６Ａ及び図６Ｂは、本開示に係る方法の実施形態のフローチャートである。方法６００は、コンピューティング環境（例えば、後述するコンピューティング環境）内の１つ又は複数のプロセッサによって実現することができる。図６Ａに示すように、方法６００は、６０１で、ＰＯＳによって注文された料理やカメラによってキャプチャされた画像など、ＩＤとユーザによる注文に関連付けられた入力を受け付けることを含む、複数のサブプロセスの組合せとすることができる。６０２で、料理が準備されると、照合分類動作が実行される。６０３で、サービス提供者には、ユーザに注文を提供するためのビデオ及び／又は音声による支援が提供される。前述の動作６０１～６０３の具体的な詳細は、図１～図５の説明に関して上で開示されている。
【0076】
より詳細には、図６Ｂは、本開示の例示的な実装形態に関連する例示的なプロセスを示す。本明細書に記載される動作は、図面に従って順序付けられるが、本開示のプランテーションは、それに限定されない。例えば、本発明の範囲から逸脱することなく、動作の順序を変更することができ、動作を組み合わせる、分離する、又は削除することができる。
【0077】
６０５で、ユーザから注文が取得される。より具体的には、ユーザは、レストランでの食事や料理などの、特定の商品又はサービスを注文するための特定の要求を提供する顧客であってもよい。注文は、ウェイター又はウェイトレスと個人的に対話するなど、人間との対話によって提出されてもよい。ウェイター又はウェイトレスは、手動又は自動のいずれかで、また注文を受けたとき又は紙に書いた後で注文を電子システムに転送するときに、システムに注文を入力する。
【0078】
あるいは、十分なソーシャルディスタンスを提供するために、人間との対話なしにユーザが注文を入力してもよい。人間との対話なしでユーザが実行する注文入力の例には、注文を受け付けるユーザのテーブルにあるオンサイト（on-site）のＰＯＳデバイス又はカウンターや、ユーザのデバイス又は当業者に周知の他のデバイスから直接注文を提出できる、ネットワークに接続されたユーザのモバイルデバイスが含まれるが、これらに限定される訳ではない。
【0079】
６１０で、ユーザに関連付けられた情報がキャプチャされる。より具体的には、ユーザがサービス提供者に注文を提出するか、または自動的に注文を提出すると、カメラなどのセンサによってユーザの画像がキャプチャされ得る。その画像は、画像自体、位置座標情報、ユーザによって提出された注文、及びユーザによって提出されたＩＤ、位置、及び／又は注文に関連すると理解される任意の他の情報などの、情報を含むことができる。
【0080】
６１５で、キャプチャされた情報及びユーザによって提出された注文が、マッチングのために提供される。より具体的には、情報は、マッチングモジュールによって使用可能な方法で、クラウド、ネットワーク、又はローカルストレージのいずれかによって提出されてもよい。
【0081】
したがって、動作６０５、６１０、及び６１５は、６０１の注文及び関連するユーザ情報の受け付けを提供する。さらに、動作６２０～６３５は、以下に説明するように、マッチング動作に言及する。
【0082】
６２０で、マッチングモジュールは、注文完了の指示を待つ。例えば、ユーザは、注文を取る前又は注文を取った後に、自分の画像と地理的位置情報とをキャプチャすることができる。ただし、注文が確定するまでは、マッチングモジュールのマッチング機能は実行されない。６２０で、注文と画像の両方が提供されたことを判断するマッチングモジュールの自動プロセスと、任意選択的に注文を承認又は検証するレストランなどのサービス提供者又は企業のいずれかによって、マッチング動作が呼び出される。さらに、キッチン、サービス提供者、又はサービス提供者がユーザに注文をナビゲートするために支援が必要であることを示すことができる可能性のある他のエンティティからのメッセージなど、注文を届ける準備ができていることを示す第２の指示が提供されてもよい。
【0083】
６２５で、周囲のユーザ、テーブル等を含むユーザの近傍の画像が受け付けられる。したがって、カメラ画像は、サービス提供者には、届けるべき注文を受け付けた場所からサービス領域がどのように見えるかについてのビューを、マッチングモジュールに提供することを目的としている。したがって、注文を提出したユーザを含む複数のユーザが、受け付けられた画像に存在することになる。
【0084】
６３０で、注文を提出したユーザのキャプチャされた画像と、受け付けられたユーザの近傍の画像との間で、マッチング動作が実行される。マッチング動作のさらなる詳細は、図４および図５を参照して、上記に開示され、説明されている。
【0085】
マッチング動作が実行されると、６３５で、注文を表示しているユーザの画像情報と、ユーザの近傍の画像内の複数のユーザとの間で、最もマッチするユーザが決定される。
【0086】
したがって、動作６２０～６３５において、マッチング動作が実行される。以下に説明するように、サービス提供者が注文を届けるのを支援するために、サービス提供者に出力を提供することが、動作６４０～６５０に関して説明されている。
【0087】
６４０で、マッチングモジュールは、サービス提供者によって使用されるエッジデバイスに提供される出力を生成する。例えば、限定ではなく、エッジデバイスは、ＰＯＳ装置、携帯電話、ユーザが着用するヘッドセット、またはサーバによって使用されるものとして当業者によって理解されるような他のエッジ装置であってもよい。
【0088】
６４５で、サービス提供者は、ユーザにナビゲートするための支援を提供される。これに限定される訳ではないが、例えば、また上述したように、マッチングモジュールによって決定された最もマッチするユーザを識別するビデオ出力が提供され得、そのユーザは他のユーザと区別するために強調表示される。付加的に又は代替的に、注文を行ったユーザの位置にナビゲートする方法について、サービス提供者に方向性のある支援を提供する、音声支援を提供することができる。
【0089】
６５０で、注文はユーザに届けられる。
【0090】
図７は、本開示によるコンピューティング環境の一実施形態の機能ブロック図である。コンピューティング環境７００は、いくつかの例示的な実装形態での使用に適した例示的なコンピュータ装置７０５を有する。コンピューティング環境７００におけるコンピュータ装置７０５は、１又は複数の処理ユニット、コア、若しくはプロセッサ７１０、メモリ７１５（例えば、ＲＡＭ、ＲＯＭ、及び／又は同様のもの）、内部記憶装置７２０（例えば、磁気、光、固体記憶装置、及び／又は有機）、及び／又はＩ／Ｏインターフェース７２５を含むことができる。これらのいずれも、情報を通信するために通信機構又はバス７３０に接続されてもよく、又はコンピュータ装置７０５に内蔵されていてもよい。環境７００は、例えば、システム１００に関連する動作をサポートすることができる。
【0091】
本開示の例示的な実装形態によれば、神経活動に関連する処理は、中央処理装置（ＣＰＵ）であるプロセッサ７１０上で行うことができる。あるいは、本発明の概念から逸脱することなく、他のプロセッサを代わりに使用してもよい。これに限定される訳ではないが、例えば、グラフィックス処理ユニット（ＧＰＵ）、及び/又はニューラル処理ユニット（ＮＰＵ）を、前述の例示的な実装の処理を実行するために、ＣＰＵの代わりに又はＣＰＵと組み合わせて使用することができる。
【0092】
コンピュータ装置７０５は、入力／インターフェース７３５及び出力装置／インターフェース７４０に通信可能に接続されていてもよい。入力／インターフェース７３５及び出力装置／インターフェース７４０の一方又は両方は、有線又は無線インターフェースとすることができ、着脱可能とすることができる。入力／インターフェース７３５は、入力を提供するために使用され得る、物理的若しくは仮想的な任意の装置、コンポーネント、センサ、又はインターフェース（例えば、ボタン、タッチスクリーンインターフェース、キーボード、ポインティング／カーソル制御、マイク、カメラ、点字、モーションセンサ、光学リーダなど）を含んでいてもよい。
【0093】
出力装置／インターフェース７４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字などを含んでいてもよい。いくつかの例示的な実装形態において、入力／インターフェース７３５及び出力装置／インターフェース７４０は、コンピュータ装置７０５に内蔵されていてもよく、又はコンピュータ装置７０５に物理的に接続されていてもよい。他の例示的な実装形態では、他のコンピュータ装置は、コンピュータ装置７０５の入力／インターフェース７３５や、出力装置／インターフェース７４０として機能してもよく、又はそれらの機能を提供してもよい。
【0094】
コンピュータ装置７０５の例は、これに限定されるものではないが、高度なモバイル装置（例えば、スマートフォン、車両及び他の機械に搭載された装置、人間及び動物によって携行される装置など）、モバイル装置（例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど）、及び移動用に設計されていない装置（例えば、デスクトップコンピュータ、サーバ装置、他のコンピュータ、情報キオスク、１又は複数のプロセッサが内蔵された及び／又はそれに接続されたテレビ、ラジオなど）を含んでいてもよい。
【0095】
コンピュータ装置７０５は、同一又は異なる構成の１又は複数のコンピュータ装置を含む、任意の数のネットワークコンポーネント、装置、及びシステムと通信するために、外部記憶装置７４５及びネットワーク７５０に（例えば、Ｉ／Ｏインターフェース７２５を介して）通信可能に接続されていてもよい。コンピュータ装置７０５又は任意の接続されたコンピュータ装置は、サーバ、クライアント、シンサーバ、汎用マシン、専用マシン、又は他のラベルのサービスを提供するように機能してもよく、又はそのように呼ばれてもよい。これに限定される訳ではないが、例えば、ネットワーク６５０は、ブロックチェーンネットワーク及び／又はクラウドを含んでもよい。
【0096】
Ｉ／Ｏインターフェース７２５は、これに限定されるものではないが、コンピューティング環境６００内の少なくとも全ての接続されたコンポーネント、装置、及びネットワークとの間で情報を通信するために、任意の通信又はＩ／Ｏプロトコル又は標準規格（例えば、イーサネット（登録商標）、８０２．１１ｘ、ユニバーサルシステムバス、ＷｉＭａｘ、モデム、セルラーネットワークプロトコルなど）を使用する有線及び／又は無線インターフェースを含むことができる。ネットワーク７５０は、任意のネットワーク又はネットワークの組み合わせ（例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク、電話ネットワーク、セルラーネットワーク、衛星ネットワークなど）とすることができる。
【0097】
コンピュータ装置７０５は、一時的媒体及び非一時的媒体を含むコンピュータ使用可能な媒体又はコンピュータ可読媒体を利用して、使用及び／又は通信することができる。一時的媒体は、伝送媒体（例えば、金属ケーブル、光ファイバ）、信号、搬送波などを含む。非一時的媒体は、磁気媒体（例えば、ディスク及びテープ）、光媒体（例えば、ＣＤ－ＲＯＭ、ディジタルビデオディスク、ブルーレイディスク）、固体媒体（例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、固体記憶装置）、及び他の不揮発性記憶装置又はメモリを含む。
【0098】
コンピュータ装置７０５は、いくつかの例示的なコンピューティング環境において、技術、方法、アプリケーション、プロセス、又はコンピュータ実行可能命令を実行するために使用されてもよい。コンピュータ実行可能命令は、一時的媒体から取得されてもよく、非一時的媒体に記憶されて非一時的媒体から取得されてもよい。実行可能命令は、プログラミング言語、スクリプト言語、及び機械語（例えば、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、ビジュアルベーシック、パイソン、パール、ＪａｖａＳｃｒｉｐｔ（登録商標）など）のうちの１又は複数から生成されてもよい。
【0099】
プロセッサ７１０は、ネイティブな環境又は仮想環境において、任意のオペレーティングシステム（ＯＳ）（図示しない）の下で動作することができる。論理ユニット７５５、アプリケーションプログラミングインターフェース（ＡＰＩ）ユニット７６０、入力ユニット７６５、出力ユニット７７０、注文およびユーザ識別ユニット７７５、マッチングユニット７８０、ならびにサービスガイダンスユニット７８５、並びに、異なるユニットが互いに通信すると共にＯＳや他のアプリケーション（図示しない）と通信するためのユニット間通信機構７９５を含む、１又は複数のアプリケーションが配備されてもよい。
【0100】
注文およびユーザ識別ユニット７７５は、入力の受信、入力の処理、および訪問者の分類の決定に関連する機能を実行することができる。マッチングユニット７８０は、配信されている物体の検出に関連する機能を実行することができる。サーバガイダンスユニット７８５は、訪問者からのスピーチのような入力を受信すること、および訪問者に出力を提供する機会を居住者に提供することに関連する機能を実行することができる。
【0101】
例えば、注文およびユーザ識別ユニット７７５、マッチングユニット７８０、およびサーバガイダンスユニット７８５は、方法３００および方法４００に加えて、上述の構造に関して上述した１つまたは複数のプロセスを実装することができる。説明されたユニットおよび要素は、設計、機能、構成、または実装において変更される可能性があり、提供された説明には限定されない。
【0102】
いくつかの例示的な実装形態では、情報または実行命令がＡＰＩユニット７６０によって取得されると、情報または実行命令は、１つまたは複数の他のユニット（たとえば、論理ユニット７５５、入力ユニット７６５、注文およびユーザ識別ユニット７７５、マッチングユニット７８０、ならびにサーバガイダンスユニット７８５）に伝達され得る。
【0103】
いくつかの例では、論理ユニット７５５は、ユニット間の情報の流れを制御し、上述のいくつかの例示的な実装形態では、ＡＰＩユニット７６０、入力ユニット７６５、注文及びユーザ識別ユニット７７５、マッチングユニット７８０、及びサービス提供者ガイダンスユニット７８５によって提供されるサービスを指示するように構成することができる。例えば、１又は複数のプロセス又は実装の流れは、論理ユニット７５５単独で、又はＡＰＩユニット７６０と併せて制御され得る。
【0104】
図８は、本開示による例示的な動作環境の機能ブロック図である。環境８００は、本明細書で開示されるいくつかの例示的な実装形態に適し得る。環境８００は、装置８０５～８４５を含み、それぞれは、例えば、ネットワーク８６０を介して（例えば、有線接続及び／又は無線接続によって）少なくとも１つの他の装置に通信可能に接続される。いくつかの装置は、１つ又は複数の記憶装置８３０及び記憶装置８４５に通信可能に接続されていてもよい。
【0105】
１つ又は複数の装置８０５～８４５の例は、それぞれ、図７で説明したコンピューティング装置７０５とすることができる。装置８０５～８４５は、これに限定される訳ではないが、上述したようにモニタ及び関連するウェブカメラを有するコンピュータ装置８０５（例えば、ラップトップコンピュータ装置）、モバイル装置８１０（例えば、スマートフォンまたはタブレット）、テレビ８１５、車両８２０に関連する装置、サーバコンピュータ８２５、コンピュータ装置８３５～８４０、記憶装置８３０及び８４５を含むことができる。
【0106】
いくつかの実装形態では、装置８０５～８２０は、前述の例示的な実装形態の入力として使用される検知された音声入力をリモートで取得し得るユーザに関連付けられた、ユーザ装置と見なすことができる。本開示による例示的な実装形態では、これらのユーザ装置８０５～８２０のうちの１つ又は複数は、上述したように、本開示の例示的な実装形態で必要な情報を検知することができる、ユーザの電話のマイクやＰＯＳデバイスのマイクなどの１つ又は複数のセンサに関連付けられてもよい。
【0107】
この例示的な実装形態には、様々な利益と利点がある。これに限定される訳ではないが、例えば、上記および図１～図５に開示されたアプローチを使用することにより、特に融合アプローチにおいて、精度が実質的に承認され得る。精度は９０％以上を達成でき、正規化された特徴を融合すると、ｍＡＰと同様に精度が改善される可能性がある。その結果、注文を届ける際のサービス提供者のエラーが低減される可能性がある。
【0108】
本開示の例示的な実装形態は、既存の関連技術のＰＯＳアプローチを補完することもできる。上述したように、関連技術のＰＯＳアプローチは、メニュー管理又は請求書分割等を提供する。しかしながら、関連技術のＰＯＳは、サービス提供者が注文を正確に届けるのを支援しない。さらに、また、マッチングの関連技術のアプローチとは対照的に、本開示の例示的な実装形態は、ＣＮＮについて、トレーニングのための正規化された特徴空間の適用や、テストのための注意深い融合を含む人工知能を提供する。
【0109】
さらに、ＰＯＳデバイスは、レストラン内のユーザのモバイル装置と統合されてもよく、ユーザのアカウントも注文に関連付けられる。その結果、ユーザは、ユーザを含む複数人が計算を実行するのを困難にすることなく、また、ユーザがレストランの自分のアカウントにクレジットされたポイントなどを有することや、注文の他者と共有することを可能にしながら、サービス提供者に請求書の手動調整を要求せずに、個別に請求され得る。任意選択で、ユーザには、ユーザのアカウントと、過去の注文情報又は好みとに基づく注文提案を提供することができる。
【0110】
さらに、例示的な実装形態は、レストランに固有の状況を考慮することができる。ユーザが座席やテーブルを移動すると、サービス提供者が後で注文を決定するために位置を特定することが困難になる場合がある。本開示の例示的な実装形態は、ユーザが居る可能性のあるレストランの全領域を検索することができるので、注文を見つけてユーザに正しく届けることが可能である。
【0111】
ユーザがカウンターで注文し、後で着席するレストラン（番号付けシステムなど）では、サービス提供者がテーブルの番号を探すことなく、またユーザに注文を通知するように依頼する必要もなく、注文を届けることが可能な場合がある。したがって、サービス提供者は、速度および精度を向上させることができる。
【0112】
この機能は、複数人の間の注文の違いが微細（例えば、異なるスパイスまたはトッピングを有する同じメインディッシュ）であるか、または非常に重要（例えば、アレルギーフリー、グルテンフリーなど）である場合に特に有用である。したがって、レストランは、食品汚染や顧客の病気のリスクを回避することができる。
【0113】
オンライン顧客レビューに関して、本開示の例示的な実装形態は、利益および利点を提供することもできる。これに限定される訳ではないが、例えば、オンラインレビューについては、顧客の苦情やフィードバックを確認し、虚偽の又は誤解を招くレビューを避けるために、レビュー担当者は実際に届けられた料理に対して検証される場合がある。したがって、レストランは、より良好な品質管理を提供することができる。
【0114】
同様に、カメラが継続的に入力を提供しているため、カメラが、注文が届けられた後で、何らかの満足度の指標を提供することもできる。これに限定される訳ではないが、例えば、リアルタイムまたは事後のいずれかのタイミングで、サービス提供者がフィードバックを提供し、場合によっては任意のサービス関連問題の修正を可能にする方法で、ユーザの反応が肯定的または否定的であると判断されてもよい。
【0115】
カメラの位置に関しては、施設内（例えば、テーブル、天井など）にあることが示されているが、本開示の例示的な実装形態はこれに限定されない。これに限定される訳ではないが、例えば、カメラは、サービス提供者のビューがマッチングモジュールによって処理されるビューとマッチするように、サービス提供者のウェアラブルデバイス（例えば、眼鏡、帽子、衣服など）上に配置されてもよい。任意選択で、カメラは、拡張現実、仮想現実、及び／又は複合現実と統合されてもよい。さらに任意選択で、サービス提供者は、バッジを着用し、ＰＯＳデバイス、タブレットなどを携帯することができる。カメラなどのセンサの使用に加えて、マイクのような音声センサを使用してもよい。ある程度は、ユーザのモバイルデバイスに関連付けられたBluetooth（登録商標）、Wi-Fi、又はＲＦなどの他のロケーションツールと、それらのアカウント又はＩＤとが、位置及びＩＤの決定を支援できる場合がある。任意選択で、サービス提供者は電子デバイスを有することができ、ユーザは電子デバイスを有することができ、すべての電子デバイスは、Bluetooth（登録商標）のような一般的な通信プロトコルによってリンクされる。ユーザは、画像をキャプチャし、次にその画像を共通デバイスに関連付けることができる（例えば、Bluetooth（登録商標）IDの使用）。ユーザのデバイスに関連付けられたポイントアカウントまたはビジネスアカウントに対し、さらなる関連付けを行うことができる。
【0116】
小売り及びレストランの待ち行列システムと構成とに関して、本開示の例示的な実装形態は、デリバリーの精度を高めるために提供されてもよい。これに限定される訳ではないが、例えば、待ち行列（queue）で待機している人間の間の社会的距離を有する、小売店でのカーブサイド・ピックアップやインストア・ピックアップの場合に、商品を注文するユーザに届けられる商品をより正確にマッチさせることが可能である。その結果、サービス提供者は、間違った人物に注文が誤って届けられた場合に発生する、余分な人物間における不必要で密接な接触のリスクが少なくなる可能性がある。同様に、ユーザが負う、間違った商品を受け取るリスクや、複数のサービス提供者との不必要で密接な対話のリスクもより少ない。
【0117】
オブジェクトをユーザとマッチングするために、顔認識は、チケットやトークンの使用に代えて、顔認識を使用することができる。このようなアプローチはまた、サービス提供者が複数の待ち行列内にある車両を区別する必要がある、ファーストフードなどの複数の待ち行列を有するドライブスルーサービスにおいて使用されてもよく、セキュリティカメラのビデオを使用して、最初のユーザ画像のキャプチャを取得することができる。
【0118】
前述の例示的な実装形態は、空港の手荷物受取所などの他の環境にも適用することができる。したがって、上述したように、一連の荷物を、荷物の受け取りを待っている一連の旅行者に関連付けることによって、空港でソーシャルディスタンスを遵守することができる。
【0119】
いくつかの例示的な実装形態が示され、説明されているが、これらの例示的な実装形態は、本明細書に記載される主題を当業者に伝えるために提供される。本明細書に記載された主題は、記載された例示的な実装形態に限定されることなく、様々な形態で実施されてもよいことを理解されたい。本明細書に記載された主題は、具体的に定義若しくは記載された事項を使用して、又は記載されていない他の若しくは異なる要素若しくは事項を使用して実施できる。当業者であれば、添付の特許請求の範囲及びその均等物で定義された本明細書に記載された主題から逸脱することなく、これらの例示的な実装形態に対して変更を行うことができることを理解するであろう。
【0120】
本開示の特定の非限定的な実施形態の態様は、上記で考察された特徴及び／又は上述されていない他の特徴に対処する。しかしながら、非限定的な実施形態の態様は、上述の特徴に対処する必要はなく、本開示の非限定的な実施形態の態様が上述の特徴に対処しなくてもよい。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7】
【図8】
