(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023121466
(43)【公開日】2023-08-31
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
G06Q 50/10 20120101AFI20230824BHJP
【ＦＩ】
G06Q50/10
【審査請求】未請求
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2022024826
(22)【出願日】2022-02-21
(71)【出願人】
【識別番号】591186176
【氏名又は名称】株式会社 ゼンショーホールディングス
(74)【代理人】
【識別番号】110002516
【氏名又は名称】弁理士法人白坂
(72)【発明者】
【氏名】森本 貴志
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049CC24
(57)【要約】
【課題】顧客満足度を向上させることが可能な情報処理装置、情報処理方法及び情報処理プログラムを提供する。
【解決手段】情報処理装置は、容器と、その容器内の料理と、容器内の料理の量とを学習した学習済モデルを受け付ける第１受付部と、料理が入れられた容器の画像に関する画像情報を受け付ける第２受付部と、第１受付部によって受け付けた学習済モデルと、第２受付部によって受け付けた画像情報とに基づいて、画像情報に記録される容器内の料理の量を推定する推定部と、推定部によって推定した料理の量に応じて、所定の出力を行うよう制御する出力制御部と、を備える。
【選択図】図１
【解決手段】情報処理装置は、容器と、その容器内の料理と、容器内の料理の量とを学習した学習済モデルを受け付ける第１受付部と、料理が入れられた容器の画像に関する画像情報を受け付ける第２受付部と、第１受付部によって受け付けた学習済モデルと、第２受付部によって受け付けた画像情報とに基づいて、画像情報に記録される容器内の料理の量を推定する推定部と、推定部によって推定した料理の量に応じて、所定の出力を行うよう制御する出力制御部と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
容器と、当該容器内の料理と、前記容器内の料理の量とを学習した学習済モデルを受け付ける第１受付部と、
料理が入れられた容器の画像に関する画像情報を受け付ける第２受付部と、
前記第１受付部によって受け付けた学習済モデルと、前記第２受付部によって受け付けた画像情報とに基づいて、画像情報に記録される容器内の料理の量を推定する推定部と、
前記推定部によって推定した料理の量に応じて、所定の出力を行うよう制御する出力制御部と、
を備える情報処理装置。
料理が入れられた容器の画像に関する画像情報を受け付ける第２受付部と、
前記第１受付部によって受け付けた学習済モデルと、前記第２受付部によって受け付けた画像情報とに基づいて、画像情報に記録される容器内の料理の量を推定する推定部と、
前記推定部によって推定した料理の量に応じて、所定の出力を行うよう制御する出力制御部と、
を備える情報処理装置。
【請求項2】
前記第２受付部によって受け付けた画像情報には、料理が入れられた複数の容器が記録され、
前記推定部は、複数の容器それぞれに入れられた料理の量を推定し、
前記出力制御部は、複数の容器毎に所定の出力を行う
請求項１に記載の情報処理装置。
前記推定部は、複数の容器それぞれに入れられた料理の量を推定し、
前記出力制御部は、複数の容器毎に所定の出力を行う
請求項１に記載の情報処理装置。
【請求項3】
前記第２受付部によって受け付けた画像情報に基づいて、容器内の料理の種類を認識する認識部を備え、
前記推定部は、前記認識部によって認識した容器内の料理の種類に応じた料理の量を推定し、
前記出力制御部は、前記認識部によって認識した料理の種類と、推定部によって推定した当該料理の量とに応じて、所定の出力を行う
請求項１又は２に記載の情報処理装置。
前記推定部は、前記認識部によって認識した容器内の料理の種類に応じた料理の量を推定し、
前記出力制御部は、前記認識部によって認識した料理の種類と、推定部によって推定した当該料理の量とに応じて、所定の出力を行う
請求項１又は２に記載の情報処理装置。
【請求項4】
前記出力制御部は、前記第２受付部によって受け付けた画像情報に基づく容器の画像と、前記推定部によって推定した当該容器内の料理の量に応じた所定の出力としての画像とを対応付けて出力するよう制御する
請求項１～３のいずれか１項に記載の情報処理装置。
請求項１～３のいずれか１項に記載の情報処理装置。
【請求項5】
前記出力制御部は、料理に応じて容器毎に設定される料理の量に関する１又は複数の閾値に基づいて、所定の出力を変えるように制御する
請求項１～４のいずれか１項に記載の情報処理装置。
請求項１～４のいずれか１項に記載の情報処理装置。
【請求項6】
前記出力制御部は、前記推定部によって推定した容器内の料理の量が所定の閾値未満の場合に、所定の出力として、料理の量に関する注意又は警告に関する出力を行うよう制御する
請求項５に記載の情報処理装置。
請求項５に記載の情報処理装置。
【請求項7】
前記出力制御部は、前記推定部によって推定した容器内の料理の量が所定の閾値未満の場合に、所定の出力として、当該容器の画像を出力するよう制御する
請求項５又は６に記載の情報処理装置。
請求項５又は６に記載の情報処理装置。
【請求項8】
コンピュータが、
容器と、当該容器内の料理と、前記容器内の料理の量とを学習した学習済モデルを受け付ける第１受付ステップと、
料理が入れられた容器の画像に関する画像情報を受け付ける第２受付ステップと、
前記第１受付ステップによって受け付けた学習済モデルと、前記第２受付ステップによって受け付けた画像情報とに基づいて、画像情報に記録される容器内の料理の量を推定する推定ステップと、
前記推定ステップによって推定した料理の量に応じて、所定の出力を行うよう制御する出力制御ステップと、
を実行する情報処理方法。
容器と、当該容器内の料理と、前記容器内の料理の量とを学習した学習済モデルを受け付ける第１受付ステップと、
料理が入れられた容器の画像に関する画像情報を受け付ける第２受付ステップと、
前記第１受付ステップによって受け付けた学習済モデルと、前記第２受付ステップによって受け付けた画像情報とに基づいて、画像情報に記録される容器内の料理の量を推定する推定ステップと、
前記推定ステップによって推定した料理の量に応じて、所定の出力を行うよう制御する出力制御ステップと、
を実行する情報処理方法。
【請求項9】
コンピュータに、
容器と、当該容器内の料理と、前記容器内の料理の量とを学習した学習済モデルを受け付ける第１受付機能と、
料理が入れられた容器の画像に関する画像情報を受け付ける第２受付機能と、
前記第１受付機能によって受け付けた学習済モデルと、前記第２受付機能によって受け付けた画像情報とに基づいて、画像情報に記録される容器内の料理の量を推定する推定機能と、
前記推定機能によって推定した料理の量に応じて、所定の出力を行うよう制御する出力制御機能と、
を実現させる情報処理プログラム。
容器と、当該容器内の料理と、前記容器内の料理の量とを学習した学習済モデルを受け付ける第１受付機能と、
料理が入れられた容器の画像に関する画像情報を受け付ける第２受付機能と、
前記第１受付機能によって受け付けた学習済モデルと、前記第２受付機能によって受け付けた画像情報とに基づいて、画像情報に記録される容器内の料理の量を推定する推定機能と、
前記推定機能によって推定した料理の量に応じて、所定の出力を行うよう制御する出力制御機能と、
を実現させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
従来、商品の売れ行き状況を分析する分析装置が存在する（特許文献１参照）。その分析装置は、商品の配置エリアから商品が消失したこと、及び、その配置エリアに商品が復帰したことを検知し、その検知結果に基づいて商品の交換を検知する。さらに、分析装置は、商品の交換の検知結果に基づく分析結果を生成する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１４－１４９６８７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、ビュッフェ形式で飲食物を提供する店舗では、配置エリアに配される飲食物が無くなった場合には、顧客がその飲食物を取ることができず、顧客満足度が低下する。このため、その店舗では、配置エリアに配される飲食物が無くなる前に、その飲食物を補充したいという要望がある。
特許文献１に記載の分析装置は、商品の売れ行き状況を分析する装置であり、例えば、商品が配置エリアから消失する前に商品の量を検知して、商品の補充を促す通知は行っていない。
特許文献１に記載の分析装置は、商品の売れ行き状況を分析する装置であり、例えば、商品が配置エリアから消失する前に商品の量を検知して、商品の補充を促す通知は行っていない。
【0005】
本開示は、顧客満足度を向上させることが可能な情報処理装置、情報処理方法及び情報処理プログラムを提供する。
【課題を解決するための手段】
【0006】
一態様の情報処理装置は、容器と、その容器内の料理と、容器内の料理の量とを学習した学習済モデルを受け付ける第１受付部と、料理が入れられた容器の画像に関する画像情報を受け付ける第２受付部と、第１受付部によって受け付けた学習済モデルと、第２受付部によって受け付けた画像情報とに基づいて、画像情報に記録される容器内の料理の量を推定する推定部と、推定部によって推定した料理の量に応じて、所定の出力を行うよう制御する出力制御部と、を備える。
【発明の効果】
【0007】
一態様によれば、容器と、その容器内の料理と、容器内の料理の量とを学習した学習済モデルと、画像情報とに基づいて、その画像情報に記録される容器内の料理の量を推定し、推定した料理の量に応じた出力を行うので、顧客満足度を向上させることができる。
【図面の簡単な説明】
【0008】
【図1】一実施形態に係る情報処理装置について説明するための図である。
【図2】一実施形態に係る情報処理装置について説明するためのブロック図である。
【図3】所定の出力の一例として、表示部に表示される文字及び画像等の一例について説明する第１の図である。
【図4】所定の出力の一例として、表示部に表示される文字及び画像等の一例について説明する第２の図である。
【図5】所定の出力の変形例について説明するための図である。（Ａ）は計時時間を表示する際の画像の一例を示し、（Ｂ）は廃棄する容器を表示する際の画像の一例を示す。
【図6】一実施形態に係る情報処理方法について説明するためのフローチャートである。
【発明を実施するための形態】
【0009】
以下、一実施形態について説明する。
【0010】
【0011】
情報処理装置１は、例えば、容器１０１内の料理を認識する認識装置等として構成されてもよい。情報処理装置１は、例えば、容器１０１内の料理の量を推定する推定装置等として構成されてもよい。情報処理装置１は、例えば、容器１０１内の料理の量に応じた出力を行う出力装置等として構成されてもよい。情報処理装置１は、例えば、容器１０１内の料理の量に応じて、料理の補充を指示する補充指示装置等として構成されてもよい。
情報処理装置１は、例えば、サーバ、デスクトップ、ラップトップ、タブレット及びスマートフォン等のコンピュータであってもよい。
情報処理装置１は、例えば、サーバ、デスクトップ、ラップトップ、タブレット及びスマートフォン等のコンピュータであってもよい。
【0012】
情報処理装置１は、例えば、飲食店等の店舗、その店舗を管理する管理本部等に配されてもよい。飲食店は、例えば、ビュッフェ形式で料理を顧客に提供してもよく、セルフサービスドリンクバー形式で飲料等を顧客に提供してもよい。
【0013】
撮像部２１は、上述した一例の料理及び飲料等（以下、料理という）を撮像して画像情報を生成する。撮像部２１は、時間的に連続して料理を撮像してもよく、所定のタイミング毎に料理を撮像してもよい。所定のタイミングの一例は、所定の時間毎等の種々の時間的なタイミングであってもよい。撮像部２１は、例えば、動画又は静止画を撮像することにより、画像情報を生成してもよい。
【0014】
情報処理装置１は、撮像部２１から画像情報を受け付け、その画像情報に記録される料理の量を推定する。この場合、情報処理装置１は、例えば、容器１０１と、その容器１０１内の料理と、容器１０１内の料理の量とを学習した学習済モデルを利用して、画像情報に記録される料理の量を推定してもよい。情報処理装置１は、推定した料理の量に応じて、所定の出力を行う。情報処理装置１は、例えば、料理の量が相対的に少ない場合には、所定の出力として、その料理の補充を指示する旨２０１の出力を行ってもよい。情報処理装置１は、例えば、料理の量が相対的に多い場合には、所定の出力として、その料理の補充が必要ない旨２０２の出力を行ってもよい。
【0015】
ここで、具体的な一例として、上述した学習済モデルは、容器１０１と、容器１０１内の料理と、容器１０１内の料理の量に応じた、（１）補充はまだ大丈夫、（２）そろそろ補充が必要、（３）直ちに補充が必要等の補充に関する複数段階を学習したモデル等であってもよい。この場合、情報処理装置１は、学習済モデルと、画像情報とに基づいて、料理の量として、画像情報に記録される料理が補充に関する多段階のいずれに該当するのかを推定してもよい。
【0016】
又は、具体的な一例として、上述した学習済モデルは、容器１０１と、容器１０１内の料理と、容器１０１内の料理の量とを学習したモデル等であってもよい。この場合、情報処理装置１は、学習済モデルと、画像情報とに基づいて、料理の量として、画像情報に記録される料理の量を推定してもよい。
【0017】
【0018】
情報処理装置１は、例えば、撮像部２１、通信部２２、記憶部２３、表示部２４及び制御部１１等を備える。通信部２２、記憶部２３及び表示部２４は、出力部の一実施形態であってもよい。制御部１１は、例えば、第１受付部１２、第２受付部１３、認識部１４、推定部１５及び出力制御部１６等を備える。制御部１１は、例えば、情報処理装置１の演算処理装置等によって構成されてもよい。制御部１１（例えば、演算処理装置等）は、例えば、記憶部２３等に記憶される各種プログラム等を適宜読み出して実行することにより、各部（例えば、第１受付部１２、第２受付部１３、認識部１４、推定部１５及び出力制御部１６等）の機能を実現してもよい。
【0019】
撮像部２１は、例えば、カメラ等であってもよい。撮像部２１は、例えば、料理を撮像することに基づいて画像情報を生成する。具体的には、撮像部２１は、例えば、施設において提供される料理（容器内の料理）を撮像することにより画像情報を生成する。撮像部２１は、例えば、施設においてビュッフェ形式で料理が提供される場合には、１又は複数の容器が配されるテーブル等の上方に配されてもよい。撮像部２１は、例えば、複数の容器を撮像してもよい。
【0020】
また、撮像部２１は、料理の上方に１又は複数配されてもよい。具体的には、撮像部２１は、例えば、料理が配されるテーブルの上方に１又は複数配されてもよい。複数の撮像部２１が配される場合、各撮像部２１は、同一又は異なる容器を撮像してもよい。一例として、２つの撮像部２１が配される場合、一方の撮像部２１はテーブルの右側に配される１又は複数の容器を撮像し、他方の撮像部２１はテーブルの左側に配される１又は複数の容器を撮像してもよい。この一例の場合、さらに、一方の撮像部２１及び他方の撮像部２１それぞれの撮像範囲の境界（テーブルの中央付近）では、一方の撮像部２１と他方の撮像部２１は、同一の容器を撮像してもよく、同一の容器を撮像しなくてもよい。
【0021】
撮像部２１は、例えば、動画又は静止画で容器を撮像することにより、画像情報を生成してもよい。撮像部２１は、例えば、静止画で容器を撮像する場合、所定のタイミング毎に容器を撮像してもよい。所定のタイミングの一例は、所定時間毎等であってもよく、他の種々のタイミングであってもよい。
【0022】
通信部２２は、例えば、情報処理装置１の外部にある装置（外部装置）（図示せず）等との間で種々の情報の送受信が可能である。外部装置は、例えば、サーバ及び端末等であってもよい。端末は、例えば、デスクトップ、ラップトップ、タブレット及びスマートフォン等であってもよい。
【0023】
記憶部２３は、例えば、種々の情報及びプログラムを記憶してもよい。記憶部２３の一例は、メモリ、ソリッドステートドライブ及びハードディスクドライブ等であってもよい。なお、記憶部２３は、例えば、クラウド上にある記憶領域及びサーバ等であってもよい。
【0024】
表示部２４は、例えば、種々の文字、記号及び画像等を表示することが可能である。
【0025】
第１受付部１２は、容器と、その容器内の料理と、容器内の料理の量とを学習した学習済モデルを受け付ける。
第１受付部１２は、例えば、記憶部２３に記憶される学習済モデルを受け付けてもよい。
また、第１受付部１２は、例えば、通信部２２及び外部記憶装置（例えば、外部メモリ等）（図示せず）等を介して、外部装置（図示せず）等から学習済モデルを受け付けてもよい。外部装置は、例えば、学習済モデルを記憶するサーバ、及び、学習済モデルを生成する学習装置等（図示せず）であってもよい。
また、第１受付部１２は、例えば、情報処理装置１の内部に有る学習部（学習装置）（図示せず）によって生成される学習済モデルを受け付けてもよい。この場合、学習部は、例えば、制御部１１等に配されてもよく、制御部１１の外部（例えば、制御部１１とは異なる演算処理装置等）に配されてもよい。この場合の学習部は、上述した学習済モデルを生成する。
第１受付部１２は、例えば、記憶部２３に記憶される学習済モデルを受け付けてもよい。
また、第１受付部１２は、例えば、通信部２２及び外部記憶装置（例えば、外部メモリ等）（図示せず）等を介して、外部装置（図示せず）等から学習済モデルを受け付けてもよい。外部装置は、例えば、学習済モデルを記憶するサーバ、及び、学習済モデルを生成する学習装置等（図示せず）であってもよい。
また、第１受付部１２は、例えば、情報処理装置１の内部に有る学習部（学習装置）（図示せず）によって生成される学習済モデルを受け付けてもよい。この場合、学習部は、例えば、制御部１１等に配されてもよく、制御部１１の外部（例えば、制御部１１とは異なる演算処理装置等）に配されてもよい。この場合の学習部は、上述した学習済モデルを生成する。
【0026】
学習に利用される容器は、例えば、飲食店及びホテル等の施設で提供される料理が入れられる、器、お皿、鍋、コップ及びカップ等の種々の容器であってもよい。ここで、その施設は、例えば、ビュッフェ形式で料理を提供してもよく、セルフサービスドリンクバー形式で飲料を提供してもよい。セルフサービスドリンクバーは、例えば、セルフサービスドリンクエリア及びドリンクステーション等と言われる場合もある。
【0027】
学習に利用される料理は、例えば、サラダ等を始めとする、施設で提供される種々の料理であってもよい。この場合の具体的な一例として、料理がサラダの場合、料理の種類は、サラダに利用される食材（例えば、レタス、トマト及びキュウリ等）等であってもよい。すなわち、学習に利用される料理は、例えば、料理の種類であってもよい。また、料理は、例えば、ウインナ、目玉焼き、ケーキ、みそ汁及びスープ等のビュッフェ形式で提供される種々の料理（食材）であってもよい。また、料理は、例えば、ジュース、牛乳、コーヒー等の飲料であってもよく、納豆、海苔、ティーパック、砂糖及びミルク等のポーションパックであってもよい。学習に利用される料理は、例えば、容器内の料理の種類を認識するために、料理の種類を認識できるようなものであってもよい。
【0028】
学習に利用される料理の量は、例えば、容器内の実際の量であってもよく、容器内の料理の量を多段階に分けた量（一例として、多量、中、少量等）であってもよい。容器内の実際の量は、例えば、容器に対してどれくらいの分量（多寡）の料理が入っているか等であってもよい。また、料理の量は、例えば、容器内の料理の量に応じた、（１）補充はまだ大丈夫、（２）そろそろ補充が必要、（３）直ちに補充が必要等の補充に関する複数段階で設定される量であってもよい。すなわち、料理の量は、例えば、容器内の料理に応じて、補充が必要か否か等の、補充に関する多段階に設定される量であってもよい。すなわち、学習に利用される段階は、上述した（１）～（３）の３段階に限定されることはなく、２段階又は４段階以上であってもよい。
【0029】
なお、上述した学習済モデルには、容器内の料理と、その容器内の料理の量とを学習したモデルが含まれてもよい。また、上述した学習済モデルには、容器内の料理の量を学習したモデルが含まれてもよい。これにより、後述する推定部１５は、料理の量を推定することが可能である。
また、上述した学習済モデルには、容器と、容器の量とを学習したモデルが含まれてもよい。さらに、上述した学習済モデルには、容器の量を学習したモデルが含まれてもよい。これにより、後述する推定部１５は、ビュッフェ形式又はセルフサービスドリンクバー形式で提供される種々の容器（一例として、器、お皿、鍋、コップ及びカップ等）の量を推定することが可能である。
また、上述した学習済モデルには、容器と、容器の量とを学習したモデルが含まれてもよい。さらに、上述した学習済モデルには、容器の量を学習したモデルが含まれてもよい。これにより、後述する推定部１５は、ビュッフェ形式又はセルフサービスドリンクバー形式で提供される種々の容器（一例として、器、お皿、鍋、コップ及びカップ等）の量を推定することが可能である。
【0030】
第２受付部１３は、料理が入れられた容器の画像に関する画像情報を受け付ける。第２受付部１３によって受け付けた画像情報には、料理が入れられた複数の容器が記録されてもよい。第２受付部１３は、例えば、撮像部２１から画像情報を受け付けてもよい。この場合、第２受付部１３は、例えば、撮像部２１から専用のインターフェースを介して画像情報を受け付けてもよく、通信部２２を介して撮像部２１から画像情報を受け付けてもよく、外部記憶装置を介して画像情報を受け付けてもよい。また、第２受付部１３は、例えば、サーバに記憶される画像情報を、通信部２２を介して受け付けてもよい。
【0031】
認識部１４は、画像情報に基づいて容器内の料理を認識する。すなわち、認識部１４は、第２受付部１３によって受け付けた画像情報に基づいて、容器内の料理の種類を認識してもよい。認識部１４は、例えば、第１受付部１２によって受け付けた学習済モデルを利用して、容器内の料理の種類を認識してもよい。具体的な一例として、認識部１４は、料理として、サラダの種類、すなわち、サラダに利用される食材（一例として、レタス、トマト及びキュウリ等）を認識してもよい。
【0032】
推定部１５は、第１受付部１２によって受け付けた学習済モデルと、第２受付部１３によって受け付けた画像情報とに基づいて、画像情報に記録される容器内の料理の量を推定する。すなわち、推定部１５は、例えば、学習済モデルを利用して、画像情報に記録される容器内の料理の量を推定する。推定部１５は、例えば、画像情報に複数の容器が記録される場合には、複数の容器それぞれに入れられた料理の量を推定してもよい。
この場合、推定部１５は、例えば、認識部１４によって認識される容器内の料理の種類に基づいて、その料理の量を推定してもよい。すなわち、推定部１５は、認識部１４によって認識した容器内の料理の種類に応じた料理の量を推定してもよい。換言すると、推定部１５は、例えば、容器内の料理の認識した結果（料理の種類）を利用して容器内の料理を特定し、容器内の料理（特定した料理）の量を推定してもよい。
なお、推定部１５は、上述した認識部１４の機能を含んだ認識推定部として機能してもよい。すなわち、認識部１４及び推定部１５は、１つにまとまった機能であってもよい。
この場合、推定部１５は、例えば、認識部１４によって認識される容器内の料理の種類に基づいて、その料理の量を推定してもよい。すなわち、推定部１５は、認識部１４によって認識した容器内の料理の種類に応じた料理の量を推定してもよい。換言すると、推定部１５は、例えば、容器内の料理の認識した結果（料理の種類）を利用して容器内の料理を特定し、容器内の料理（特定した料理）の量を推定してもよい。
なお、推定部１５は、上述した認識部１４の機能を含んだ認識推定部として機能してもよい。すなわち、認識部１４及び推定部１５は、１つにまとまった機能であってもよい。
【0033】
ここで、推定部１５は、例えば、学習済モデルを利用することにより、画像情報に記録される容器内の料理の量に応じた、（１）補充はまだ大丈夫、（２）そろそろ補充が必要、（３）直ちに補充が必要等の補充に関する複数段階の状態のうち、いずれかの段階（量）を推定してもよい。
又は、推定部１５は、例えば、学習済モデルを利用することにより、画像情報に記録される容器内の料理の量（例えば、容器内の実際の量等）を推定してもよい。
又は、推定部１５は、例えば、学習済モデルを利用することにより、画像情報に記録される容器内の料理の量（例えば、容器内の実際の量等）を推定してもよい。
【0034】
推定部１５は、例えば、複数の撮像部２１によって容器を撮像する場合、複数の撮像部２１で生成される画像情報それぞれに同一の容器が記録される場合には、複数の画像情報のうちいずれか１つの画像情報を利用して、料理の量を推定してもよい。
又は、推定部１５は、例えば、複数の画像情報それぞれを利用して、同一の容器についての料理の量を推定し、推定した結果の平均を料理の量として特定してもよく、推定した結果のうちより少ない方を料理の量として特定してもよい。
この場合、認識部１４は、例えば、複数の画像情報それぞれを利用して認識を行うことにより、同一の容器か否かを推定してもよい。
又は、推定部１５は、例えば、複数の画像情報それぞれを利用して、同一の容器についての料理の量を推定し、推定した結果の平均を料理の量として特定してもよく、推定した結果のうちより少ない方を料理の量として特定してもよい。
この場合、認識部１４は、例えば、複数の画像情報それぞれを利用して認識を行うことにより、同一の容器か否かを推定してもよい。
【0035】
出力制御部１６は、推定部１５によって推定した料理の量に応じて、所定の出力を行うよう制御する。所定の出力は、例えば、料理の補充が必要か否に関する、推定部１５によって推定される料理の量に応じた出力等であってもよい。一例として、所定の出力は、例えば、（１）補充はまだ大丈夫、（２）そろそろ補充が必要、（３）直ちに補充が必要等の補充に関する複数段階のうち、推定部１５によって推定される料理の量に応じたいずれかの段階に関する出力等であってもよい。すなわち、出力制御部１６は、例えば、所定の出力として、文字、画像及び音声等を利用して、推定部１５によって推定される料理の量に応じて、（１）補充はまだ大丈夫、（２）そろそろ補充が必要、（３）直ちに補充が必要等の多段階のうちのいずれかの段階の出力を行ってもよい。
【0036】
図３は、所定の出力の一例として、表示部２４に表示される文字及び画像等の一例について説明する第１の図である。
図４は、所定の出力の一例として、表示部２４に表示される文字及び画像等の一例について説明する第２の図である。
図４は、所定の出力の一例として、表示部２４に表示される文字及び画像等の一例について説明する第２の図である。
【0037】
出力制御部１６は、例えば、所定の出力として、第２受付部１３によって受け付けた画像情報に基づく画像（１又は複数の容器１０１（料理））を表示すると共に（図３，４参照）、各容器１０１内の料理の量に応じた文字及び画像等を、その容器１０１に対応付けて、すなわち、その容器１０１の相対的に近くに表示するよう、表示部２４を制御してもよい。この場合、記憶部２３は、例えば、料理の量と、文字及び画像等とを対応付けた対応情報を記憶してもよい。出力制御部１６は、例えば、記憶部２３に記憶された対応情報を参照することにより、容器１０１内の料理の量に応じた文字及び画像等を表示部２４に表示してもよい。
【0038】
図３に例示する場合、出力制御部１６は、複数の容器１０１それぞれの料理の量が十分にあり、補充が必要ないため、容器１０１内の料理の量に対応する文字及び画像等として笑顔の画像２０３を、その容器１０１に対応づけて表示するよう表示部２４を制御する。
【0039】
図４に例示する場合、出力制御部１６は、容器１０１（１０１Ａ）内の料理の量が相対的に少なくなり、そろそろ料理の補充が必要な場合には、容器１０１（１０１Ａ）内の料理の量に対応する文字及び画像等として表情が厳しい顔の画像２０４を、その容器１０１（１０１Ａ）に対応づけて表示するよう表示部２４を制御する。この場合、出力制御部１６は、例えば、容器１０１（１０１Ａ）の量が相対的に少なくなり、そろそろ料理の補充が必要な容器１０１（１０１Ａ）の画像を画像情報から抜き出して、別途表示する（符号２１１参照）よう表示部２４を制御してもよい。出力制御部１６は、例えば、別途抜き出した画像２１１に、補充が必要な旨の文字２１２を加えて表示するよう表示部２４を制御してもよい。
【0040】
また、図４に例示する場合、出力制御部１６は、容器１０１（１０１Ｂ）の量が相対的に少なくなり、直ちに補充が必要な場合には、容器１０１（１０１Ｂ）内の料理の量に対応する文字及び画像等として表情がとても厳しい顔の画像２０５を、その容器１０１（１０１Ｂ）に対応づけて表示するよう表示部２４を制御する。この場合、出力制御部１６は、例えば、容器１０１（１０１Ｂ）の量が相対的に少なくなり、直ちに料理の補充が必要な容器１０１（１０１Ｂ）の画像を画像情報から抜き出して、別途表示する（符号２１３参照）よう表示部２４を制御してもよい。出力制御部１６は、例えば、別途抜き出した画像２１３に、急いで補充が必要な旨の文字２１４を加えて表示するよう表示部２４を制御してもよい。
この際、出力制御部１６は、直ちに料理の補充が必要な料理が入る容器１０１（１０１Ｂ）の画像（別途抜き出した画像）２１３を、そろそろ補充が必要な料理が入る容器１０１（１０１Ａ）の画像（別途抜き出した画像）２１１よりも補充の優先度が高い旨の態様になるように表示してもよい。図４に例示する場合には、出力制御部１６は、直ちに料理の補充が必要な料理が入る容器１０１（１０１Ｂ）の画像２１３を表示部２４上段のより左側に配置し、そろそろ補充が必要な料理が入る容器１０１（１０１Ａ）の画像２１１を表示部２４の上段の相対的に右側に配置するように表示してもよい。また、出力制御部１６は、例えば、「急いで補充」の文字２１４と、「補充」の文字２１２との態様を変えてもよい。一例として、出力制御部１６は、「急いで補充」の文字２１４を赤色にし、「補充」の文字２１２を黄色にしてもよい。また、出力制御部１６は、文字の色を変更するばかりでなく、文字をハイライト表示し、そのハイライトの色を変更してもよい。
この際、出力制御部１６は、直ちに料理の補充が必要な料理が入る容器１０１（１０１Ｂ）の画像（別途抜き出した画像）２１３を、そろそろ補充が必要な料理が入る容器１０１（１０１Ａ）の画像（別途抜き出した画像）２１１よりも補充の優先度が高い旨の態様になるように表示してもよい。図４に例示する場合には、出力制御部１６は、直ちに料理の補充が必要な料理が入る容器１０１（１０１Ｂ）の画像２１３を表示部２４上段のより左側に配置し、そろそろ補充が必要な料理が入る容器１０１（１０１Ａ）の画像２１１を表示部２４の上段の相対的に右側に配置するように表示してもよい。また、出力制御部１６は、例えば、「急いで補充」の文字２１４と、「補充」の文字２１２との態様を変えてもよい。一例として、出力制御部１６は、「急いで補充」の文字２１４を赤色にし、「補充」の文字２１２を黄色にしてもよい。また、出力制御部１６は、文字の色を変更するばかりでなく、文字をハイライト表示し、そのハイライトの色を変更してもよい。
【0041】
すなわち、所定の出力の一例として、出力制御部１６は、画像情報に基づく画像（容器１０１が写る画像）を表示するよう表示部２４を制御する際に、その画像に対して、さらに容器１０１内の料理の量に関する画像（図３，４に例示する場合には、料理の量に応じた顔の画像２０３，２０４，２０５）を加えて表示するよう表示部２４を制御してもよい。図３，４に例示する、顔の画像２０３，２０４，２０５は、料理の量に応じて表情を変更するばかりでなく、料理の量に応じて顔の色を変更してもよい。
所定の出力として、出力制御部１６は、第２受付部１３によって受け付けた画像情報に基づく容器１０１の画像と、推定部１５によって推定したその容器１０１内の料理の量に応じた画像（顔の画像２０３，２０４，２０５）とを対応付けて出力するよう制御してもよい。対応付けは、例えば、容器１０１の相対的に近くに顔の画像２０３，２０４，２０５を表示するような内容であってもよい。相対的な近くは、画像内における容器１０１の位置から所定距離以内であってもよい。
所定の出力として、出力制御部１６は、第２受付部１３によって受け付けた画像情報に基づく容器１０１の画像と、推定部１５によって推定したその容器１０１内の料理の量に応じた画像（顔の画像２０３，２０４，２０５）とを対応付けて出力するよう制御してもよい。対応付けは、例えば、容器１０１の相対的に近くに顔の画像２０３，２０４，２０５を表示するような内容であってもよい。相対的な近くは、画像内における容器１０１の位置から所定距離以内であってもよい。
【0042】
又は、出力制御部１６は、例えば、所定の出力として、推定部１５によって推定される料理の量（料理の実際の量）を出力してもよい。
出力制御部１６は、例えば、所定の出力として、文字、画像及び音声等を利用して、推定部１５によって推定される料理の量がわかるような出力を行ってもよい。一例として、出力制御部１６は、容器いっぱいに料理が入れられた場合を１００％として、推定部１５によって推定される料理の量（１００％に対する料理の量（割合等））を出力してもよい。
この場合、出力制御部１６は、例えば、料理に応じて容器毎に設定される料理の量に関する１又は複数の閾値に基づいて、所定の出力を変えるように制御してもよい。すなわち、出力制御部１６は、例えば、補充が必要か否かに関する１又は複数の閾値を設定し、容器毎に推定される料理の量とその閾値とに基づいて、補充が必要か否かに関する多段階のうちのいずれかの段階を特定し、所定の出力として特定される段階を出力してもよい。この際の一例として、出力制御部１６は、特定される段階に応じて、文字、画像及び音声等の出力内容を変更してもよい。
出力制御部１６は、例えば、所定の出力として、文字、画像及び音声等を利用して、推定部１５によって推定される料理の量がわかるような出力を行ってもよい。一例として、出力制御部１６は、容器いっぱいに料理が入れられた場合を１００％として、推定部１５によって推定される料理の量（１００％に対する料理の量（割合等））を出力してもよい。
この場合、出力制御部１６は、例えば、料理に応じて容器毎に設定される料理の量に関する１又は複数の閾値に基づいて、所定の出力を変えるように制御してもよい。すなわち、出力制御部１６は、例えば、補充が必要か否かに関する１又は複数の閾値を設定し、容器毎に推定される料理の量とその閾値とに基づいて、補充が必要か否かに関する多段階のうちのいずれかの段階を特定し、所定の出力として特定される段階を出力してもよい。この際の一例として、出力制御部１６は、特定される段階に応じて、文字、画像及び音声等の出力内容を変更してもよい。
【0043】
一例として、出力制御部１６は、推定部１５によって推定した容器内の料理の量が所定の閾値未満の場合に、所定の出力として、料理の量に関する注意又は警告に関する出力を行うよう制御してもよい。すなわち、具体的な一例として、出力制御部１６は、（１）補充はまだ大丈夫、（２）そろそろ補充が必要、（３）直ちに補充が必要等の多段階の量に関する閾値と、推定部１５によって推定される料理の量とに基づいて、推定部１５によって推定される料理の量が（２）そろそろ補充が必要に該当する場合には、料理の量に関する注意の出力を行ってもよい。同様に、出力制御部１６は、上述した（１）～（３）の多段階の量に関する閾値と比較し、推定部１５によって推定される料理の量が（３）に該当する場合には、料理の量に関する警告の出力を行ってもよい。なお、閾値は、上述した（１）～（３）の３段階に限定されることはなく、例えば、補充が必要と判断する際の種々の値等であってもよい。一例として、所定の閾値は、料理の量が２０％、３０％、４０％及び５０％等の、補充が必要と設定される種々の値であってもよい。
【0044】
また、出力制御部１６は、推定部１５によって推定した容器内の料理の量が所定の閾値未満の場合に、所定の出力として、その容器の画像を出力するよう制御してもよい。すなわち、出力制御部１６は、料理の量が所定の閾値未満の場合には、その料理が入れられる容器の画像を別途表示するよう表示部２４を制御してもよい。具体的な一例として、出力制御部１６は、実際の料理の量が上述した（２）及び（３）の一方に該当する場合には、図４に例示する場合と同様に、容器の画像を抜き出して、別途表示してもよい。
【0045】
なお、出力制御部１６は、例えば、画像情報に複数の容器が記録される場合には、複数の容器毎に、上述した所定の出力を行ってもよい。すなわち、図３，４に例示するように、出力制御部１６は、画像情報に複数の容器１０１が記録される場合には、複数の容器１０１それぞれに対応付けて、料理の量に応じた顔の画像２０３，２０４，２０５を表示してもよい。
また、出力制御部１６は、例えば、認識部１４によって認識した料理の種類と、推定部１５によって推定したその料理の量とに応じて、所定の出力を行ってもよい。すなわち、認識部１４によって料理の認識が行われることにより、推定部１５によってその料理の量が推定される場合にも、出力制御部１６は、推定される量に応じた、上述した所定の出力を行ってもよい。
また、出力制御部１６は、例えば、認識部１４によって認識した料理の種類と、推定部１５によって推定したその料理の量とに応じて、所定の出力を行ってもよい。すなわち、認識部１４によって料理の認識が行われることにより、推定部１５によってその料理の量が推定される場合にも、出力制御部１６は、推定される量に応じた、上述した所定の出力を行ってもよい。
【0046】
出力制御部１６は、例えば、上述した所定の出力を行うよう出力部を制御してもよい。出力部は、例えば、通信部２２、記憶部２３及び表示部２４等であってもよい。
一例として、出力制御部１６は、推定部１５によって推定される量に基づく画像（所定の出力に関する画像）（画像情報）等を外部装置（図示せず）に送信するよう通信部２２を制御してもよい。外部装置は、例えば、サーバ及びユーザ端末等であってもよい。ユーザ端末は、例えば、情報処理装置１のユーザが使用する端末であり、デスクトップ、ラップトップ、タブレット及びスマートフォン等であってもよい。
また一例として、出力制御部１６は、推定部１５によって推定される量に基づく画像（所定の出力に関する画像）（画像情報）等を記憶するよう記憶部２３を制御してもよい。
また、一例として、出力制御部１６は、推定部１５によって推定される量に基づく画像（所定の出力に関する画像）（画像情報）等を表示するよう表示部２４を制御してもよい。
一例として、出力制御部１６は、推定部１５によって推定される量に基づく画像（所定の出力に関する画像）（画像情報）等を外部装置（図示せず）に送信するよう通信部２２を制御してもよい。外部装置は、例えば、サーバ及びユーザ端末等であってもよい。ユーザ端末は、例えば、情報処理装置１のユーザが使用する端末であり、デスクトップ、ラップトップ、タブレット及びスマートフォン等であってもよい。
また一例として、出力制御部１６は、推定部１５によって推定される量に基づく画像（所定の出力に関する画像）（画像情報）等を記憶するよう記憶部２３を制御してもよい。
また、一例として、出力制御部１６は、推定部１５によって推定される量に基づく画像（所定の出力に関する画像）（画像情報）等を表示するよう表示部２４を制御してもよい。
【0047】
また、情報処理装置１は、例えば、出力部としてスピーカ（図示せず）を備えてもよい。
一例として、出力制御部１６は、推定部１５によって推定される量に基づく音及び音声の少なくとも一方を出力するようスピーカを制御してもよい。すなわち、出力制御部１６は、例えば、料理の量が上述した（２）そろそろ補充が必要、及び、（３）直ちに補充の一方に該当する場合には、上述した画像表示と共に、又は、上述した画像表示に代えて、料理の量が（２）及び（３）の一方に該当する旨の音及び音声等を出力するよう制御してもよい。出力制御部１６は、例えば、料理の量が（２）に該当する場合には、注意音及び注意音声の少なくとも一方を出力するよう制御してもよい。出力制御部１６は、例えば、料理の量が（３）に該当する場合には、注意音及び注意音声とは異なる、警告音及び警告音声の少なくとも一方を出力するよう制御してもよい。
一例として、出力制御部１６は、推定部１５によって推定される量に基づく音及び音声の少なくとも一方を出力するようスピーカを制御してもよい。すなわち、出力制御部１６は、例えば、料理の量が上述した（２）そろそろ補充が必要、及び、（３）直ちに補充の一方に該当する場合には、上述した画像表示と共に、又は、上述した画像表示に代えて、料理の量が（２）及び（３）の一方に該当する旨の音及び音声等を出力するよう制御してもよい。出力制御部１６は、例えば、料理の量が（２）に該当する場合には、注意音及び注意音声の少なくとも一方を出力するよう制御してもよい。出力制御部１６は、例えば、料理の量が（３）に該当する場合には、注意音及び注意音声とは異なる、警告音及び警告音声の少なくとも一方を出力するよう制御してもよい。
【0048】
【0049】
なお、上述したように出力制御部１６によって所定の出力を行うよう出力部を制御した場合（制御１）、その後、推定部１５は、例えば、第２受付部１３によって受け付ける画像情報に基づいて、容器内の料理の量が制御１を行う前に比べて増えたかを推定してもよい。
又は、推定部１５は、例えば、第２受付部１３によって随時受け付ける画像情報に基づいて、容器内の料理の量が増えたかを推定してもよい。この場合、推定部１５は、直前のタイミング又は所定時間前のタイミングと比べて、容器内の料理の量が増えたかを推定してもよい。
推定部１５は、例えば、第１受付部１２によって受け付けた学習済モデルと、第２受付部１３によって受け付けた画像情報とに基づいて、画像情報に記録される容器内の料理の量を推定することにより、容器内の料理の量が増えたかを推定してもよい。推定部１５は、例えば、複数の料理が提供される場合には、料理毎に推定を行ってもよい。
又は、推定部１５は、例えば、第２受付部１３によって随時受け付ける画像情報に基づいて、容器内の料理の量が増えたかを推定してもよい。この場合、推定部１５は、直前のタイミング又は所定時間前のタイミングと比べて、容器内の料理の量が増えたかを推定してもよい。
推定部１５は、例えば、第１受付部１２によって受け付けた学習済モデルと、第２受付部１３によって受け付けた画像情報とに基づいて、画像情報に記録される容器内の料理の量を推定することにより、容器内の料理の量が増えたかを推定してもよい。推定部１５は、例えば、複数の料理が提供される場合には、料理毎に推定を行ってもよい。
【0050】
この場合、出力制御部１６は、例えば、推定部１５によって容器内の料理の量が増えたと推定されるタイミングから計時を開始してもよい。この場合、図５（Ａ）に例示するように、出力制御部１６は、容器１０１に対応付けて、その容器１０１内の料理の量に関する画像（図３，４を用いて説明した顔画像２０３，２０４，２０５と同様の画像）２０６と、計時時間２２１とを表示するよう表示部２４を制御してもよい。
【0051】
出力制御部１６は、例えば、計時を開始したタイミングから所定時間を経過した場合、所定の出力として料理の廃棄を指示する旨の出力を行うよう出力部を制御してもよい。図５（Ｂ）に例示するように、出力制御部１６は、計時を開始したタイミングから所定時間を経過した料理（容器１０１（１０１Ｃ））の画像を、第２受付部１３によって受け付けた画像情報から抜き出して、図４に例示する場合と同様に、別途表示する（符号２１５参照）よう表示部２４を制御してもよい。出力制御部１６は、例えば、別途抜き出した画像２１５に、廃棄する旨の文字２１６を加えて表示するよう表示部２４を制御してもよい。
【0052】
この際、出力制御部１６は、例えば、廃棄する料理が入る容器１０１（１０１Ｃ）の画像（別途抜き出した画像）２１５を、直ちに料理の補充が必要な料理が入る容器１０１（１０１Ｂ）の画像（別途抜き出した画像）２１３、及び、そろそろ補充が必要な料理が入る容器１０１（１０１Ａ）の画像（別途抜き出した画像）２１１よりも優先度が高い旨の態様になるように表示してもよい。一例として、出力制御部１６は、廃棄する料理が入る容器１０１（１０１Ｃ）の画像２１５を表示部２４上段のより左側に配置し、優先度が高いことを示してもよい。
また、出力制御部１６は、例えば、「廃棄」の文字２１６と、「急いで補充」の文字２１４と、「補充」の文字２１２との態様を変えてもよい。一例として、出力制御部１６は、「廃棄」の文字２１６を紫色にしてもよい。また、出力制御部１６は、文字の色を変更するばかりでなく、文字をハイライト表示し、そのハイライト表示の色を変更してもよい。
また、出力制御部１６は、例えば、料理の廃棄が必要になった場合、図５（Ａ）に例示する顔の画像２０６の表情を変更し、顔の色を変更してもよい。一例として、出力制御部１６は、料理の廃棄が必要になった場合、廃棄が必要な旨の顔の表情に変更し、顔の色を紫色に変更してもよい。
また、出力制御部１６は、例えば、料理の廃棄が必要になった場合、廃棄を指示する旨の警告音及び警告音声を出力するようスピーカを制御してもよい。
また、出力制御部１６は、例えば、「廃棄」の文字２１６と、「急いで補充」の文字２１４と、「補充」の文字２１２との態様を変えてもよい。一例として、出力制御部１６は、「廃棄」の文字２１６を紫色にしてもよい。また、出力制御部１６は、文字の色を変更するばかりでなく、文字をハイライト表示し、そのハイライト表示の色を変更してもよい。
また、出力制御部１６は、例えば、料理の廃棄が必要になった場合、図５（Ａ）に例示する顔の画像２０６の表情を変更し、顔の色を変更してもよい。一例として、出力制御部１６は、料理の廃棄が必要になった場合、廃棄が必要な旨の顔の表情に変更し、顔の色を紫色に変更してもよい。
また、出力制御部１６は、例えば、料理の廃棄が必要になった場合、廃棄を指示する旨の警告音及び警告音声を出力するようスピーカを制御してもよい。
【0053】
出力制御部１６は、例えば、上述したように計時を開始した後、所定時間を経過する前に、推定部１５によって新たに料理の量が増えたと推定される場合には、計時をリセットして、新たに料理の量を増えたタイミングから計時を開始してもよい。出力制御部１６は、例えば、複数の料理が提供される場合には、料理毎に計時及び出力を行ってもよい。ここで、所定時間は、例えば、料理の廃棄時間等であってもよく、複数の料理それぞれで異なる時間が設定されてもよく、複数の料理それぞれで同一の時間が設定されてもよい。
【0054】
なお、出力制御部１６は、例えば、推定部１５の推定結果に基づいて開始するばかりでなく、施設の従業員等によって計時の開始する旨の操作（計時開始操作）が行われる場合、計時のリセット及び計時の開始を行ってもよい。計時開始操作は、例えば、補充対象の容器に対応付けて表示される、料理の量に応じた画像（図３，４，図５（Ａ）に例示する場合には顔の画像）がタッチされる操作等であってもよい。
【0055】
【0056】
ステップＳＴ１０１において、第２受付部１３は、料理が入れられた容器の画像に関する画像情報を受け付ける。画像情報には、料理が入れられた複数の容器が記録されてもよい。画像情報は、撮像部２１によって生成されてもよい。
【0057】
ステップＳＴ１０２において、認識部１４は、ステップＳＴ１０１で受け付けた画像情報に基づいて、容器内の料理を認識する。この場合、認識部１４は、例えば、料理の種類を認識してもよい。
また一例として、認識部１４は、第１受付部１２によって受け付けた学習済モデルを利用して、容器内の料理の種類を認識してもよい。第１受付部１２は、容器と、その容器内の料理と、容器内の料理の量とを学習した学習済モデルを受け付けてもよい。
また一例として、認識部１４は、第１受付部１２によって受け付けた学習済モデルを利用して、容器内の料理の種類を認識してもよい。第１受付部１２は、容器と、その容器内の料理と、容器内の料理の量とを学習した学習済モデルを受け付けてもよい。
【0058】
ステップＳＴ１０３において、推定部１５は、第１受付部１２によって受け付けた学習済モデルと、ステップＳＴ１０１で受け付けた画像情報とに基づいて、画像情報に記録される容器内の料理の量を推定する。ここで、推定部１５は、例えば、画像情報に複数の容器が記録される場合には、複数の容器それぞれに入れられた料理の量を推定してもよい。また、推定部１５は、ステップＳＴ１０２で認識した容器内の料理の種類に応じた料理の量を推定してもよい。
【0059】
推定部１５は、例えば、料理の量として、（１）補充はまだ大丈夫、（２）そろそろ補充が必要、（３）直ちに補充が必要等の補充に関する複数段階の状態のうち、いずれかの段階の料理の量を推定してもよい。なお、複数の段階は、３段階に限定されることはなく、２段階又は４段階以上であってもよい。
又は、推定部１５は、例えば、画像情報に記録される容器内の料理の量（例えば、容器内の実際の量等）を推定してもよい。
又は、推定部１５は、例えば、画像情報に記録される容器内の料理の量（例えば、容器内の実際の量等）を推定してもよい。
【0060】
ステップＳＴ１０４において、出力制御部１６は、ステップＳＴ１０３で推定した料理の量に応じて、所定の出力を行うよう制御する。出力制御部１６は、例えば、画像情報に複数の容器が記録される場合には、複数の容器毎に、上述した所定の出力を行ってもよい。出力制御部１６は、例えば、ステップＳＴ１０２で認識した料理の種類と、ステップＳＴ１０３で推定したその料理の量とに応じて、所定の出力を行ってもよい。
出力制御部１６は、例えば、ステップＳＴ１０１で受け付けた画像情報に基づく容器の画像と、ステップＳＴ１０３で推定したその容器内の料理の量に応じた所定の出力としての画像とを対応付けて出力するよう制御してもよい。
出力制御部１６は、例えば、料理に応じて容器毎に設定される料理の量に関する１又は複数の閾値に基づいて、所定の出力を変えるように制御してもよい。出力制御部１６は、例えば、ステップＳＴ１０３で推定した容器内の料理の量が所定の閾値未満の場合に、所定の出力として、料理の量に関する注意又は警告に関する出力を行うよう制御してもよい。出力制御部１６は、例えば、ステップＳＴ１０３で推定した容器内の料理の量が所定の閾値未満の場合に、所定の出力として、その容器の画像を出力するよう制御してもよい。
出力制御部１６は、例えば、ステップＳＴ１０１で受け付けた画像情報に基づく容器の画像と、ステップＳＴ１０３で推定したその容器内の料理の量に応じた所定の出力としての画像とを対応付けて出力するよう制御してもよい。
出力制御部１６は、例えば、料理に応じて容器毎に設定される料理の量に関する１又は複数の閾値に基づいて、所定の出力を変えるように制御してもよい。出力制御部１６は、例えば、ステップＳＴ１０３で推定した容器内の料理の量が所定の閾値未満の場合に、所定の出力として、料理の量に関する注意又は警告に関する出力を行うよう制御してもよい。出力制御部１６は、例えば、ステップＳＴ１０３で推定した容器内の料理の量が所定の閾値未満の場合に、所定の出力として、その容器の画像を出力するよう制御してもよい。
【0061】
上述した情報処理装置１の各部は、コンピュータの演算処理装置等の機能として実現されてもよい。すなわち、情報処理装置１の第１受付部１２、第２受付部１３、認識部１４、推定部１５及び出力制御部１６（制御部１１）は、コンピュータの演算処理装置等による第１受付機能、第２受付機能、認識機能、推定機能及び出力制御機能（制御機能）としてそれぞれ実現されてもよい。
情報処理プログラムは、上述した各機能をコンピュータに実現させることができる。情報処理プログラムは、例えば、メモリ、ソリッドステートドライブ、ハードディスクドライブ又は光ディスク等の、コンピュータで読み取り可能な非一時的な記録媒体等に記録されていてもよい。
また、上述したように、情報処理装置１の各部は、コンピュータの演算処理装置等で実現されてもよい。その演算処理装置等は、例えば、集積回路等によって構成される。このため、情報処理装置１の各部は、演算処理装置等を構成する回路として実現されてもよい。すなわち、情報処理装置１の第１受付部１２、第２受付部１３、認識部１４、推定部１５及び出力制御部１６（制御部１１）は、コンピュータの演算処理装置等を構成する第１受付回路、第２受付回路、認識回路、推定回路及び出力制御回路（制御回路）として実現されてもよい。
また、情報処理装置１の撮像部２１、並びに、通信部２２、記憶部２３及び表示部２４（出力部）は、例えば、演算処理装置等の機能を含む撮像機能、並びに、通信機能、記憶機能及び表示機能（出力機能）として実現されもよい。また、情報処理装置１の撮像部２１、並びに、通信部２２、記憶部２３及び表示部２４（出力部）は、例えば、集積回路等によって構成されることにより撮像回路、並びに、通信回路、記憶回路及び表示回路（出力回路）として実現されてもよい。また、情報処理装置１の撮像部２１、並びに、通信部２２、記憶部２３及び表示部２４（出力部）は、例えば、複数のデバイスによって構成されることにより撮像装置、並びに、通信装置、記憶装置及び表示装置（出力装置）として構成されてもよい。
情報処理プログラムは、上述した各機能をコンピュータに実現させることができる。情報処理プログラムは、例えば、メモリ、ソリッドステートドライブ、ハードディスクドライブ又は光ディスク等の、コンピュータで読み取り可能な非一時的な記録媒体等に記録されていてもよい。
また、上述したように、情報処理装置１の各部は、コンピュータの演算処理装置等で実現されてもよい。その演算処理装置等は、例えば、集積回路等によって構成される。このため、情報処理装置１の各部は、演算処理装置等を構成する回路として実現されてもよい。すなわち、情報処理装置１の第１受付部１２、第２受付部１３、認識部１４、推定部１５及び出力制御部１６（制御部１１）は、コンピュータの演算処理装置等を構成する第１受付回路、第２受付回路、認識回路、推定回路及び出力制御回路（制御回路）として実現されてもよい。
また、情報処理装置１の撮像部２１、並びに、通信部２２、記憶部２３及び表示部２４（出力部）は、例えば、演算処理装置等の機能を含む撮像機能、並びに、通信機能、記憶機能及び表示機能（出力機能）として実現されもよい。また、情報処理装置１の撮像部２１、並びに、通信部２２、記憶部２３及び表示部２４（出力部）は、例えば、集積回路等によって構成されることにより撮像回路、並びに、通信回路、記憶回路及び表示回路（出力回路）として実現されてもよい。また、情報処理装置１の撮像部２１、並びに、通信部２２、記憶部２３及び表示部２４（出力部）は、例えば、複数のデバイスによって構成されることにより撮像装置、並びに、通信装置、記憶装置及び表示装置（出力装置）として構成されてもよい。
【0062】
情報処理装置１は、上述した複数の各部のうち１又は任意の複数を組み合わせることが可能である。
本開示では、「情報」の文言を使用しているが、「情報」の文言は「データ」と言い換えることができ、「データ」の文言は「情報」と言い換えることができる。
本開示では、「情報」の文言を使用しているが、「情報」の文言は「データ」と言い換えることができ、「データ」の文言は「情報」と言い換えることができる。
【0063】
上述した実施形態では、容器内の料理の量を推定し、推定される料理の量に基づいて料理の補充が必要かを推定している。
本開示では、料理の量を推定する例に限定されず、種々の施設で提供される商品（容器等の入れ物内の商品）の量を推定し、推定される商品の量に基づいて商品の補充が必要かを推定してもよい。この場合、情報処理装置は、推定される商品の量に基づいて商品の補充が必要か否かの出力を行ってもよい。一例として、情報処理装置は、商品の補充が必要と推定される場合、商品の補充が必要な旨の出力を行ってもよい。
本開示では、料理の量を推定する例に限定されず、種々の施設で提供される商品（容器等の入れ物内の商品）の量を推定し、推定される商品の量に基づいて商品の補充が必要かを推定してもよい。この場合、情報処理装置は、推定される商品の量に基づいて商品の補充が必要か否かの出力を行ってもよい。一例として、情報処理装置は、商品の補充が必要と推定される場合、商品の補充が必要な旨の出力を行ってもよい。
【0064】
［本実施形態の態様及び効果］
次に、本実施形態の一態様及び各態様が奏する効果について説明する。なお、以下に記載する各態様は出願時の一例であり、本実施形態は以下に記載するものに限定されることはない。すなわち、本実施形態は以下に記載する各態様に限定されることはなく、上述した各部を適宜組み合わせて実現されてもよい。また、以下に記載する効果は一例であり、各態様が奏する効果は以下に記載するものに限定されることはない。また、各態様は、例えば、以下に記載する少なくとも１つの効果を奏してもよい。
次に、本実施形態の一態様及び各態様が奏する効果について説明する。なお、以下に記載する各態様は出願時の一例であり、本実施形態は以下に記載するものに限定されることはない。すなわち、本実施形態は以下に記載する各態様に限定されることはなく、上述した各部を適宜組み合わせて実現されてもよい。また、以下に記載する効果は一例であり、各態様が奏する効果は以下に記載するものに限定されることはない。また、各態様は、例えば、以下に記載する少なくとも１つの効果を奏してもよい。
【0065】
（態様１）
一態様の情報処理装置は、容器と、その容器内の料理と、容器内の料理の量とを学習した学習済モデルを受け付ける第１受付部と、料理が入れられた容器の画像に関する画像情報を受け付ける第２受付部と、第１受付部によって受け付けた学習済モデルと、第２受付部によって受け付けた画像情報とに基づいて、画像情報に記録される容器内の料理の量を推定する推定部と、推定部によって推定した料理の量に応じて、所定の出力を行うよう制御する出力制御部と、を備える。
これにより、情報処理装置は、例えば、容器内の料理の量に関する所定の出力を行うので、容器内の料理の量が相対的に少なくなった場合には、料理の量及び料理の補充が必要なことの少なくとも一方を通知することができる。すなわち、情報処理装置は、例えば、容器内の料理の補充を促すことができる。
また、情報処理装置は、例えば、容器内の料理が相対的に少なくなったことに応じた通知に応じて、飲食店等の施設の従業員等が料理を補充することにより、ビュッフェ形式の料理が無くなる可能性を低減することができる。したがって、情報処理装置は、施設の顧客の満足度が低下することを抑制することができる。換言すると、情報処理装置は、例えば、ビュッフェ形式で料理を提供する施設の顧客が自由に料理を取ることができ、顧客満足度を向上させることができる。
一態様の情報処理装置は、容器と、その容器内の料理と、容器内の料理の量とを学習した学習済モデルを受け付ける第１受付部と、料理が入れられた容器の画像に関する画像情報を受け付ける第２受付部と、第１受付部によって受け付けた学習済モデルと、第２受付部によって受け付けた画像情報とに基づいて、画像情報に記録される容器内の料理の量を推定する推定部と、推定部によって推定した料理の量に応じて、所定の出力を行うよう制御する出力制御部と、を備える。
これにより、情報処理装置は、例えば、容器内の料理の量に関する所定の出力を行うので、容器内の料理の量が相対的に少なくなった場合には、料理の量及び料理の補充が必要なことの少なくとも一方を通知することができる。すなわち、情報処理装置は、例えば、容器内の料理の補充を促すことができる。
また、情報処理装置は、例えば、容器内の料理が相対的に少なくなったことに応じた通知に応じて、飲食店等の施設の従業員等が料理を補充することにより、ビュッフェ形式の料理が無くなる可能性を低減することができる。したがって、情報処理装置は、施設の顧客の満足度が低下することを抑制することができる。換言すると、情報処理装置は、例えば、ビュッフェ形式で料理を提供する施設の顧客が自由に料理を取ることができ、顧客満足度を向上させることができる。
【0066】
（態様２）
一態様の情報処理装置は、第２受付部によって受け付けた画像情報には、料理が入れられた複数の容器が記録され、推定部は、複数の容器それぞれに入れられた料理の量を推定し、出力制御部は、複数の容器毎に所定の出力を行うこととしてもよい。
情報処理装置は、複数の容器それぞれに入る料理の量に関する所定の出力を行うので、施設において複数の料理が提供される場合でも、少なくとも１つの料理が無くなる可能性を低減することができる。したがって、情報処理装置は、顧客満足度を向上させることができる。
一態様の情報処理装置は、第２受付部によって受け付けた画像情報には、料理が入れられた複数の容器が記録され、推定部は、複数の容器それぞれに入れられた料理の量を推定し、出力制御部は、複数の容器毎に所定の出力を行うこととしてもよい。
情報処理装置は、複数の容器それぞれに入る料理の量に関する所定の出力を行うので、施設において複数の料理が提供される場合でも、少なくとも１つの料理が無くなる可能性を低減することができる。したがって、情報処理装置は、顧客満足度を向上させることができる。
【0067】
（態様３）
一態様の情報処理装置は、第２受付部によって受け付けた画像情報に基づいて、容器内の料理の種類を認識する認識部を備え、推定部は、認識部によって認識した容器内の料理の種類に応じた料理の量を推定し、出力制御部は、認識部によって認識した料理の種類と、推定部によって推定したその料理の量とに応じて、所定の出力を行うこととしてもよい。
これにより、情報処理装置は、料理の種類に応じた、その料理の容器内の量を推定することができる。
一態様の情報処理装置は、第２受付部によって受け付けた画像情報に基づいて、容器内の料理の種類を認識する認識部を備え、推定部は、認識部によって認識した容器内の料理の種類に応じた料理の量を推定し、出力制御部は、認識部によって認識した料理の種類と、推定部によって推定したその料理の量とに応じて、所定の出力を行うこととしてもよい。
これにより、情報処理装置は、料理の種類に応じた、その料理の容器内の量を推定することができる。
【0068】
（態様４）
一態様の情報処理装置では、出力制御部は、第２受付部によって受け付けた画像情報に基づく容器の画像と、推定部によって推定したその容器内の料理の量に応じた所定の出力としての画像とを対応付けて出力するよう制御することとしてもよい。
これにより、情報処理装置は、容器内の料理の量が少なくなった場合、すなわち、料理の補充が必要になった場合、所定の出力として、料理の補充が必要な旨の出力を行うことができる。
一態様の情報処理装置では、出力制御部は、第２受付部によって受け付けた画像情報に基づく容器の画像と、推定部によって推定したその容器内の料理の量に応じた所定の出力としての画像とを対応付けて出力するよう制御することとしてもよい。
これにより、情報処理装置は、容器内の料理の量が少なくなった場合、すなわち、料理の補充が必要になった場合、所定の出力として、料理の補充が必要な旨の出力を行うことができる。
【0069】
（態様５）
一態様の情報処理装置では、出力制御部は、料理に応じて容器毎に設定される料理の量に関する１又は複数の閾値に基づいて、所定の出力を変えるように制御することとしてもよい。
これにより、情報処理装置は、例えば、閾値に対する料理の量の大小に基づいて、料理の補充が必要か否か、また料理の補充が必要な場合には直ちに補充が必要か、又は、料理の補充までに相対的な時間的な余裕があるのか等を判断することができる。
一態様の情報処理装置では、出力制御部は、料理に応じて容器毎に設定される料理の量に関する１又は複数の閾値に基づいて、所定の出力を変えるように制御することとしてもよい。
これにより、情報処理装置は、例えば、閾値に対する料理の量の大小に基づいて、料理の補充が必要か否か、また料理の補充が必要な場合には直ちに補充が必要か、又は、料理の補充までに相対的な時間的な余裕があるのか等を判断することができる。
【0070】
（態様６）
一態様の情報処理装置では、出力制御部は、推定部によって推定した容器内の料理の量が所定の閾値未満の場合に、所定の出力として、料理の量に関する注意又は警告に関する出力を行うよう制御することとしてもよい。
これにより、情報処理装置は、注意の出力として料理の補充までに時間的な余裕がある（例えば、そろそろ補充が必要等）のか、又は、警告の出力として料理を直ちに補充する必要があるのか等を判断し、その判断結果を出力することができる。
一態様の情報処理装置では、出力制御部は、推定部によって推定した容器内の料理の量が所定の閾値未満の場合に、所定の出力として、料理の量に関する注意又は警告に関する出力を行うよう制御することとしてもよい。
これにより、情報処理装置は、注意の出力として料理の補充までに時間的な余裕がある（例えば、そろそろ補充が必要等）のか、又は、警告の出力として料理を直ちに補充する必要があるのか等を判断し、その判断結果を出力することができる。
【0071】
（態様７）
一態様の情報処理装置では、出力制御部は、推定部によって推定した容器内の料理の量が所定の閾値未満の場合に、所定の出力として、その容器の画像を出力するよう制御することとしてもよい。
情報処理装置は、補充が必要と推定される料理が入る容器の画像を別途出力する。一例として、情報処理装置は、補充が必要と推定される料理が入る容器の画像を別途表示部に表示する。これにより、情報処理装置は、施設の従業員等に対して、料理の補充が必要な旨の出力を分かりやすく示すことができ、また容器内の料理の状況を示すことができる。
一態様の情報処理装置では、出力制御部は、推定部によって推定した容器内の料理の量が所定の閾値未満の場合に、所定の出力として、その容器の画像を出力するよう制御することとしてもよい。
情報処理装置は、補充が必要と推定される料理が入る容器の画像を別途出力する。一例として、情報処理装置は、補充が必要と推定される料理が入る容器の画像を別途表示部に表示する。これにより、情報処理装置は、施設の従業員等に対して、料理の補充が必要な旨の出力を分かりやすく示すことができ、また容器内の料理の状況を示すことができる。
【0072】
（態様８）
一態様の情報処理方法では、コンピュータが、容器と、その容器内の料理と、容器内の料理の量とを学習した学習済モデルを受け付ける第１受付ステップと、料理が入れられた容器の画像に関する画像情報を受け付ける第２受付ステップと、第１受付ステップによって受け付けた学習済モデルと、第２受付ステップによって受け付けた画像情報とに基づいて、画像情報に記録される容器内の料理の量を推定する推定ステップと、推定ステップによって推定した料理の量に応じて、所定の出力を行うよう制御する出力制御ステップと、を実行する。
これにより、情報処理方法は、上述した一態様の情報処理装置と同様の効果を奏してもよい。
一態様の情報処理方法では、コンピュータが、容器と、その容器内の料理と、容器内の料理の量とを学習した学習済モデルを受け付ける第１受付ステップと、料理が入れられた容器の画像に関する画像情報を受け付ける第２受付ステップと、第１受付ステップによって受け付けた学習済モデルと、第２受付ステップによって受け付けた画像情報とに基づいて、画像情報に記録される容器内の料理の量を推定する推定ステップと、推定ステップによって推定した料理の量に応じて、所定の出力を行うよう制御する出力制御ステップと、を実行する。
これにより、情報処理方法は、上述した一態様の情報処理装置と同様の効果を奏してもよい。
【0073】
（態様９）
一態様の情報処理プログラムは、コンピュータに、容器と、その容器内の料理と、容器内の料理の量とを学習した学習済モデルを受け付ける第１受付機能と、料理が入れられた容器の画像に関する画像情報を受け付ける第２受付機能と、第１受付機能によって受け付けた学習済モデルと、第２受付機能によって受け付けた画像情報とに基づいて、画像情報に記録される容器内の料理の量を推定する推定機能と、推定機能によって推定した料理の量に応じて、所定の出力を行うよう制御する出力制御機能と、を実現させる。
これにより、情報処理プログラムは、上述した一態様の情報処理装置と同様の効果を奏してもよい。
一態様の情報処理プログラムは、コンピュータに、容器と、その容器内の料理と、容器内の料理の量とを学習した学習済モデルを受け付ける第１受付機能と、料理が入れられた容器の画像に関する画像情報を受け付ける第２受付機能と、第１受付機能によって受け付けた学習済モデルと、第２受付機能によって受け付けた画像情報とに基づいて、画像情報に記録される容器内の料理の量を推定する推定機能と、推定機能によって推定した料理の量に応じて、所定の出力を行うよう制御する出力制御機能と、を実現させる。
これにより、情報処理プログラムは、上述した一態様の情報処理装置と同様の効果を奏してもよい。
【符号の説明】
【0074】
１ 情報処理装置
１１ 制御部
１２ 第１受付部
１３ 第２受付部
１４ 認識部
１５ 推定部
１６ 出力制御部
２１ 撮像部
２２ 通信部
２３ 記憶部
２４ 表示部
１１ 制御部
１２ 第１受付部
１３ 第２受付部
１４ 認識部
１５ 推定部
１６ 出力制御部
２１ 撮像部
２２ 通信部
２３ 記憶部
２４ 表示部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】