(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024107909
(43)【公開日】2024-08-09
(54)【発明の名称】情報処理装置、情報処理方法及び情報処理プログラム
(51)【国際特許分類】
G06Q 50/12 20120101AFI20240802BHJP
【ＦＩ】
G06Q50/12
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2023012094
(22)【出願日】2023-01-30
(71)【出願人】
【識別番号】591186176
【氏名又は名称】株式会社 ゼンショーホールディングス
(74)【代理人】
【識別番号】110002516
【氏名又は名称】弁理士法人白坂
(72)【発明者】
【氏名】宮城 周
(72)【発明者】
【氏名】三浦 伸之
【テーマコード（参考）】
5L049
5L050
【Ｆターム（参考）】
5L049CC24
5L050CC24
(57)【要約】
【課題】容器に収容された食品を適切状態で顧客に提供することが可能な情報処理装置、情報処理方法及び情報処理プログラムを提供する。
【解決手段】情報処理装置は、複数種類の食品をそれぞれ収容する容器を撮像することにより生成された画像情報を取得する取得部と、容器に収容される第１種類の食品についての適切な収容状態と、その第１種類の食品についての非適切な収容状態と、容器に収容される第１種類とは異なる第２種類の食品とを学習した学習済モデルと、取得部によって取得した画像情報とに基づいて、画像情報に記録される第１種類の食品の収容状態及び第２種類の食品のうち少なくとも一方を推定する推定部と、推定部によって推定した第１種類の食品の収容状態が非適切な場合、当該収容状態に関する所定の出力を行う出力制御部と、を備える。
【選択図】図１
【解決手段】情報処理装置は、複数種類の食品をそれぞれ収容する容器を撮像することにより生成された画像情報を取得する取得部と、容器に収容される第１種類の食品についての適切な収容状態と、その第１種類の食品についての非適切な収容状態と、容器に収容される第１種類とは異なる第２種類の食品とを学習した学習済モデルと、取得部によって取得した画像情報とに基づいて、画像情報に記録される第１種類の食品の収容状態及び第２種類の食品のうち少なくとも一方を推定する推定部と、推定部によって推定した第１種類の食品の収容状態が非適切な場合、当該収容状態に関する所定の出力を行う出力制御部と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
複数種類の食品をそれぞれ収容する容器を撮像することにより生成された画像情報を取得する取得部と、
容器に収容される第１種類の食品についての適切な収容状態と、当該第１種類の食品についての非適切な収容状態と、容器に収容される第１種類とは異なる第２種類の食品とを学習した学習済モデルと、前記取得部によって取得した画像情報とに基づいて、画像情報に記録される第１種類の食品の収容状態及び第２種類の食品のうち少なくとも一方を推定する推定部と、
前記推定部によって推定された第１種類の食品の収容状態が非適切な場合、当該収容状態に関する所定の出力を行う出力制御部と、
を備える情報処理装置。
容器に収容される第１種類の食品についての適切な収容状態と、当該第１種類の食品についての非適切な収容状態と、容器に収容される第１種類とは異なる第２種類の食品とを学習した学習済モデルと、前記取得部によって取得した画像情報とに基づいて、画像情報に記録される第１種類の食品の収容状態及び第２種類の食品のうち少なくとも一方を推定する推定部と、
前記推定部によって推定された第１種類の食品の収容状態が非適切な場合、当該収容状態に関する所定の出力を行う出力制御部と、
を備える情報処理装置。
【請求項2】
前記出力制御部は、前記推定部によって推定された第１種類の食品の収容状態が非適切な場合、搬送レーンによる食品の搬送を禁止する
請求項１に記載の情報処理装置、
請求項１に記載の情報処理装置、
【請求項3】
前記出力制御部は、前記推定部によって推定された第１種類の食品の収容状態が適切な場合、及び、前記推定部によって第２種類の食品が推定された場合、食品を搬送するよう搬送レーンを制御する
請求項２に記載の情報処理装置。
請求項２に記載の情報処理装置。
【請求項4】
前記出力制御部は、所定の出力として、警告を出力する
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項5】
食品を搬送する搬送レーンを複数撮像可能であり、複数の搬送レーンそれぞれに配される容器を撮像して画像情報を生成する撮像部を備える
請求項１～４のいずれか１項に記載の情報処理装置。
請求項１～４のいずれか１項に記載の情報処理装置。
【請求項6】
前記出力制御部は、前記推定部によって推定された第１種類の食品の収容状態が非適切な場合、当該食品が収容される容器が配される搬送レーンによる搬送を禁止する
請求項５に記載の情報処理装置。
請求項５に記載の情報処理装置。
【請求項7】
コンピュータが、
複数種類の食品をそれぞれ収容する容器を撮像することにより生成された画像情報を取得する取得ステップと、
容器に収容される第１種類の食品についての適切な収容状態と、当該第１種類の食品についての非適切な収容状態と、容器に収容される第１種類とは異なる第２種類の食品とを学習した学習済モデルと、前記取得ステップによって取得した画像情報とに基づいて、画像情報に記録される第１種類の食品の収容状態及び第２種類の食品のうち少なくとも一方を推定する推定ステップと、
前記推定ステップによって推定した第１種類の食品の収容状態が非適切な場合、当該収容状態に関する所定の出力を行う出力制御ステップと、
を実行する情報処理方法。
複数種類の食品をそれぞれ収容する容器を撮像することにより生成された画像情報を取得する取得ステップと、
容器に収容される第１種類の食品についての適切な収容状態と、当該第１種類の食品についての非適切な収容状態と、容器に収容される第１種類とは異なる第２種類の食品とを学習した学習済モデルと、前記取得ステップによって取得した画像情報とに基づいて、画像情報に記録される第１種類の食品の収容状態及び第２種類の食品のうち少なくとも一方を推定する推定ステップと、
前記推定ステップによって推定した第１種類の食品の収容状態が非適切な場合、当該収容状態に関する所定の出力を行う出力制御ステップと、
を実行する情報処理方法。
【請求項8】
コンピュータに、
複数種類の食品をそれぞれ収容する容器を撮像することにより生成された画像情報を取得する取得機能と、
容器に収容される第１種類の食品についての適切な収容状態と、当該第１種類の食品についての非適切な収容状態と、容器に収容される第１種類とは異なる第２種類の食品とを学習した学習済モデルと、前記取得機能によって取得した画像情報とに基づいて、画像情報に記録される第１種類の食品の収容状態及び第２種類の食品のうち少なくとも一方を推定する推定機能と、
前記推定機能によって推定した第１種類の食品の収容状態が非適切な場合、当該収容状態に関する所定の出力を行う出力制御機能と、
を実現させる情報処理プログラム。
複数種類の食品をそれぞれ収容する容器を撮像することにより生成された画像情報を取得する取得機能と、
容器に収容される第１種類の食品についての適切な収容状態と、当該第１種類の食品についての非適切な収容状態と、容器に収容される第１種類とは異なる第２種類の食品とを学習した学習済モデルと、前記取得機能によって取得した画像情報とに基づいて、画像情報に記録される第１種類の食品の収容状態及び第２種類の食品のうち少なくとも一方を推定する推定機能と、
前記推定機能によって推定した第１種類の食品の収容状態が非適切な場合、当該収容状態に関する所定の出力を行う出力制御機能と、
を実現させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
【背景技術】
【0002】
従来、寿司が置かれた皿を無端コンベア上に載せて客席を周回させる形態の飲食店が存在する。特許文献１に記載されたシステムは、そのような飲食店で利用されるものであり、コンベアによって移動する皿を上方から撮像し、皿に記載される模様を除去した後、握りを認識する。さらに、そのシステムは、認識した握りの周囲長を測定し、その周囲長が正常時の周囲長よりも長い場合（ネタずれ及び倒れが発生している場合）、警告を出力する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００８－１７９０２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
一般的に、握りの周囲長は、ネタによって異なる。このため、特許文献１に記載されたシステムは、握りの種類を認識していないため、握りの種類毎（ネタ毎）に周囲長を測定することができない可能性がある。また、特許文献１に記載されたシステムは、皿に記載された模様を除去しているが、模様にカスレ等が発生している場合には皿の模様を除去できない恐れがある。その場合には、握りの周囲長を正確に測定できない可能性がある。また、特許文献１に記載されたシステムは、皿の模様をその都度登録する必要があり、その登録に手間がかかる恐れがある。
【0005】
本開示は、容器に収容された食品を適切状態で顧客に提供することが可能な情報処理装置、情報処理方法及び情報処理プログラムを提供する。
【課題を解決するための手段】
【0006】
一態様の情報処理装置は、複数種類の食品をそれぞれ収容する容器を撮像することにより生成された画像情報を取得する取得部と、容器に収容される第１種類の食品についての適切な収容状態と、その第１種類の食品についての非適切な収容状態と、容器に収容される第１種類とは異なる第２種類の食品とを学習した学習済モデルと、取得部によって取得した画像情報とに基づいて、画像情報に記録される第１種類の食品の収容状態及び第２種類の食品のうち少なくとも一方を推定する推定部と、推定部によって推定された第１種類の食品の収容状態が非適切な場合、当該収容状態に関する所定の出力を行う出力制御部と、を備える。
【発明の効果】
【0007】
一態様によれば、容器に収容された食品を適切状態で顧客に提供することができる。
【図面の簡単な説明】
【0008】
【図1】一実施形態に係る情報処理装置について説明するための図である。
【図2】一実施形態に係る情報処理装置について説明するためのブロック図である。
【図3】第１食品が容器に収容される場合の一例について説明するための第１の図である。（Ａ）は第１食品の載置状態が基準外（非適切な収容状態）の一例を示し、（Ｂ）は第１食品の載置状態が基準内（適切な収容状態）の一例を示す。
【図4】第１食品が容器に収容される場合の一例について説明するための第２の図である。（Ａ）は第１食品の載置状態が基準外（非適切な収容状態）の一例を示し、（Ｂ）は第１食品の載置状態が基準内（適切な収容状態）の例を示す。
【図5】第２食品が容器に収容される場合の一例について説明するための図である。（Ａ）は第２食品の収容状態の第１例を示し、（Ｂ）は第２食品の収容状態の第２例を示す。
【図6】一実施形態に係る情報処理方法について説明するためのフローチャートである。
【発明を実施するための形態】
【0009】
以下、一実施形態について説明する。
【0010】
【0011】
情報処理装置１００は、容器に収容される食品２０の収容状態を推定（判定）する推定（判定）装置等として構成されてもよい。また、情報処理装置１００は、食品２０の収容状態が非適切な場合、その食品２０を顧客に提供するのを禁止するよう制御する制御装置（禁止装置）等として構成されてもよい。また、情報処理装置１００は、食品２０の収容状態が非適切な場合、警告及び信号等の出力を始めとする種々の出力を行う警告装置（出力装置）等として構成されてもよい。情報処理装置１００は、上述した一例の装置に限らず、種々の装置等を構成してもよい。
情報処理装置１００は、例えば、サーバ、デスクトップ、ラップトップ、タブレット及びスマートフォン等のコンピュータであってもよい。
情報処理装置１００は、例えば、サーバ、デスクトップ、ラップトップ、タブレット及びスマートフォン等のコンピュータであってもよい。
【0012】
情報処理装置１００は、例えば上述したように、容器に収容される食品２０の収容状態を推定する。食品２０は、寿司店等の飲食店で提供される料理（商品）等であってもよい。具体的な一例として、食品２０は、握り、軍艦、つつみ、細巻き、椀物及びサイドオーダー等であってもよく、これら以外の種々の料理等であってもよい。サイドオーダーは、例えば、揚げ物、茶わん蒸し及びデザート等を始めとする種々の料理であってよい。容器は、例えば、食品２０が収容（載置）される皿、器、丼、トレー、パック、箱及び弁当箱等の載置部材であってもよい。食品２０は、厨房から客席までに渡って配された搬送レーン２００（又は、搬送コンベア等）上に置かれ、顧客に提供される。搬送レーン２００は、直線状であってもよく、周回形状の無端状であってもよい、これら以外の種々の形状であってもよい。
【0013】
情報処理装置１００は、複数種類の食品２０をそれぞれ収容する容器を撮像することにより生成された画像情報を取得する。一例として、情報処理装置１００は、搬送レーン２００の上方に配された撮像部１２４によって搬送レーン２００上の食品２０（容器）が撮像されることに応じて、その撮像部１２４で生成された画像情報を取得してもよい。
【0014】
情報処理装置１００は、容器に収容される食品２０の収容状態を推定する場合に、学習済モデルを利用してもよい。学習済モデルは、容器に収容される第１種類の食品についての適切な収容状態と、その第１種類の食品についての非適切な収容状態と、容器に収容される第１種類とは異なる第２種類の食品とを学習することに応じて生成されたモデル等であってもよい。
【0015】
第１種類の食品は、例えば、食品２０の収容状態で非適切な状態になる可能性がある料理等であってもよい。一例として、第１種類の食品は、握り及び軍艦等であってもよい。ここで、握りの場合に非適切な収容状態になる一例としては、シャリからネタがずれている場合等であってもよい。軍艦の場合に非適切な収容状態になる一例としては、倒れ及び海苔の剥がれ等であってもよい。第１種類の食品は、上述した握り及び軍艦に限定されず、種々の料理であってもよい。
【0016】
第２種類の食品は、食品２０の収容状態で非適切な状態になる可能性がない料理等であってもよい。一例として、第２種類の食品は、椀物及びサイドオーダー等であってもよい。椀物は、顧客への提供時に蓋が被せられるので、内部の状況を認識できず、また上述した第１種類の食品の一例のように非適切な収容状態になる可能性が少ない。また、サイドオーダーは、上述した第１種類の食品の一例のように非適切な収容状態になる可能性が少ない。
【0017】
情報処理装置１００は、学習済モデルと、画像情報とに基づいて、画像情報に記録された第１種類の食品の収容状態を推定する。また、情報処理装置１００は、学習済モデルと、画像情報とに基づいて、画像情報に記録された食品２０が第２種類の食品かを推定してもよい。
情報処理装置１００は、上述した推定の結果、画像情報に記録された第１種類の食品の収容状態が非適切な場合、非適切な収容状態に関する所定の出力を行ってもよい。所定の出力の具体的な一例は、警告及び種々の信号等の出力であってもよい。
情報処理装置１００は、上述した推定の結果、画像情報に記録された第１種類の食品の収容状態が非適切な場合、非適切な収容状態に関する所定の出力を行ってもよい。所定の出力の具体的な一例は、警告及び種々の信号等の出力であってもよい。
【0018】
【0019】
情報処理装置１００は、例えば、通信部１２１、記憶部１２２、表示部１２３、撮像部１２４及び制御部１１０等を備える。通信部１２１、記憶部１２２及び表示部１２３は、出力部の一実施形態であってもよい。制御部１１０は、例えば、取得部１１１、推定部１１２及び出力制御部１１３等を備える。制御部１１０は、例えば、情報処理装置１００の演算処理装置等によって構成されてもよい。制御部１１０（例えば、演算処理装置等）は、例えば、記憶部１２２等に記憶される各種プログラム等を適宜読み出して実行することにより、各部（例えば、取得部１１１、推定部１１２及び出力制御部１１３等）の機能を実現してもよい。
【0020】
通信部１２１は、例えば、情報処理装置１００の外部にある装置（外部装置）等との間で種々の情報の送受信が可能な通信インターフェースである。
【0021】
記憶部１２２は、例えば、種々の情報及びプログラムを記憶してもよい。記憶部１２２の一例は、メモリ、ソリッドステートドライブ及びハードディスクドライブ等であってもよい。なお、記憶部１２２は、例えば、クラウド上にある記憶領域及びサーバ等であってもよい。
【0022】
表示部１２３は、例えば、種々の文字、記号及び画像等を表示することが可能なディスプレイである。
【0023】
撮像部１２４（カメラ）は、食品（料理）を顧客に提供する飲食店等に配されてもよい。撮像部１２４は、食品を搬送する搬送レーン２００を複数撮像可能であり、複数の搬送レーン２００それぞれに配される容器を撮像して画像情報を生成する。撮像部１２４は、例えば、静止画又は動画により撮像を行い、画像情報を生成する。
撮像部１２４は、複数の搬送レーン２００を便宜的に１つにまとめたグループ（搬送グループ）毎に配されてもよい。すなわち、撮像部１２４は、複数の搬送グループが有る場合には、搬送グループ毎に少なくとも１つ配されてもよい。
撮像部１２４は、例えば、食品を搬送する搬送レーン２００の上方に配されてもよい。撮像部１２４は、例えば、並列に配される複数の搬送レーン２００（一例として、左右２本の搬送レーン２００Ａ，２００Ｂ等）を撮像可能であってもよい。一例として、撮像部１２４は、直線状の搬送レーン２００の基端部２０１側（厨房側）を撮像可能であってもよい。
撮像部１２４は、１本の搬送レーン２００につき、その搬送レーン２００上に配される１又は複数の食品２０を撮像可能であってもよい。すなわち、撮像部１２４は、複数のレーン上に配される複数の食品２０を撮像可能であってもよい。
撮像部１２４は、複数の搬送レーン２００を便宜的に１つにまとめたグループ（搬送グループ）毎に配されてもよい。すなわち、撮像部１２４は、複数の搬送グループが有る場合には、搬送グループ毎に少なくとも１つ配されてもよい。
撮像部１２４は、例えば、食品を搬送する搬送レーン２００の上方に配されてもよい。撮像部１２４は、例えば、並列に配される複数の搬送レーン２００（一例として、左右２本の搬送レーン２００Ａ，２００Ｂ等）を撮像可能であってもよい。一例として、撮像部１２４は、直線状の搬送レーン２００の基端部２０１側（厨房側）を撮像可能であってもよい。
撮像部１２４は、１本の搬送レーン２００につき、その搬送レーン２００上に配される１又は複数の食品２０を撮像可能であってもよい。すなわち、撮像部１２４は、複数のレーン上に配される複数の食品２０を撮像可能であってもよい。
【0024】
取得部１１１は、複数種類の食品をそれぞれ収容する容器を撮像することにより生成された画像情報を取得する。
取得部１１１は、例えば、撮像部１２４から画像情報を生成してもよい。
又は、取得部１１１は、例えば、通信部１２１を介して、遠隔にある撮像部１２４から画像情報を取得してもよい。すなわち、情報処理装置１００は、例えば、飲食店に配されてもよく、飲食店を管理する管理本部等に配されてもよい。取得部１１１は、例えば、情報処理装置１００が管理本部に配される場合、通信網を介して、飲食店に配された撮像部１２４から画像情報を取得してもよい。
取得部１１１は、例えば、撮像部１２４から画像情報を生成してもよい。
又は、取得部１１１は、例えば、通信部１２１を介して、遠隔にある撮像部１２４から画像情報を取得してもよい。すなわち、情報処理装置１００は、例えば、飲食店に配されてもよく、飲食店を管理する管理本部等に配されてもよい。取得部１１１は、例えば、情報処理装置１００が管理本部に配される場合、通信網を介して、飲食店に配された撮像部１２４から画像情報を取得してもよい。
【0025】
図３は、第１食品が容器に収容される場合の一例について説明するための第１の図である。（Ａ）は第１食品の載置状態が基準外（非適切な収容状態）の一例を示し、（Ｂ）は第１食品の載置状態が基準内（適切な収容状態）の一例を示す。
図４は、第１食品が容器に収容される場合の一例について説明するための第２の図である。（Ａ）は第１食品の載置状態が基準外（非適切な収容状態）の一例を示し、（Ｂ）は第１食品の載置状態が基準内（適切な収容状態）の例を示す。
図５は、第２食品が容器に収容される場合の一例について説明するための図である。（Ａ）は第２食品の収容状態の第１例を示し、（Ｂ）は第２食品の収容状態の第２例を示す。
図４は、第１食品が容器に収容される場合の一例について説明するための第２の図である。（Ａ）は第１食品の載置状態が基準外（非適切な収容状態）の一例を示し、（Ｂ）は第１食品の載置状態が基準内（適切な収容状態）の例を示す。
図５は、第２食品が容器に収容される場合の一例について説明するための図である。（Ａ）は第２食品の収容状態の第１例を示し、（Ｂ）は第２食品の収容状態の第２例を示す。
【0026】
推定部１１２は、学習済モデルと、取得部１１１によって取得した画像情報とに基づいて、画像情報に記録される第１種類の食品の収容状態及び第２種類の食品のうち少なくとも一方を推定する。学習済モデルは、例えば、容器に収容される第１種類の食品についての適切な収容状態と、その第１種類の食品についての非適切な収容状態と、容器に収容される第１種類とは異なる第２種類の食品とを学習したモデルであってもよい。推定部１１２は、学習済モデルを利用して、画像情報に記録される食品が、第１種類の食品であり適切な収容状態になっていること、第１種類の食品であり非適切な収容状態になっていること、及び、第２種類の食品であることのうち、いずれか１つを推定してもよい。
【0027】
推定部１１２は、例えば、１つの撮像部１２４によって撮像された複数レーンそれぞれに配された食品（画像情報に記録される食品）が、第１種類の食品であり適切な収容状態になっていること、第１種類の食品であり非適切な収容状態になっていること、及び、第２種類の食品であることのうち、いずれか１つを推定してもよい。
推定部１１２は、画像情報に１又は複数の食品が記録される場合（１つの撮像部１２４の撮像範囲に複数の食品が有る場合）には、各食品について認識を行い、各食品が第１種類の食品であり適切な収容状態になっていること、第１種類の食品であり非適切な収容状態になっていること、及び、第２種類の食品であることのうち、いずれか１つを推定してもよい。１つの撮像部１２４の撮像範囲に複数の食品が有る場合は、例えば、１本の搬送レーン２００に複数の食品が有る場合であってもよく、複数の搬送レーン２００それぞれに食品が有る場合であってもよい。
推定部１１２は、画像情報に１又は複数の食品が記録される場合（１つの撮像部１２４の撮像範囲に複数の食品が有る場合）には、各食品について認識を行い、各食品が第１種類の食品であり適切な収容状態になっていること、第１種類の食品であり非適切な収容状態になっていること、及び、第２種類の食品であることのうち、いずれか１つを推定してもよい。１つの撮像部１２４の撮像範囲に複数の食品が有る場合は、例えば、１本の搬送レーン２００に複数の食品が有る場合であってもよく、複数の搬送レーン２００それぞれに食品が有る場合であってもよい。
【0028】
ここで一例として、制御部１１０に配される学習部（図示せず）又は情報処理装置１００の外部に配される学習装置（図示せず）（学習部及び学習装置を、以下では「学習部」と言う場合がある。）は、例えば、画像情報に記録される、第１種類の食品の適切な収容状態、第１種類の食品の非適切な収容状態、及び、第２種類の食品を学習して学習済モデルを生成する。
推定部１１２は、学習部から学習済モデルを取得する。
なお、学習済モデルを生成する際の教師データをより多くすると、推定部１１２は、より正確な推定を行うことが可能になる。すなわち一例として、画像情報（撮像部の撮像範囲）の周辺部に記録される食品２０であっても、対応する教師データをより多く利用して学習することにより、推定部１１２は、学習済モデルを利用してより正確な推定を行うことが可能になる。
推定部１１２は、学習部から学習済モデルを取得する。
なお、学習済モデルを生成する際の教師データをより多くすると、推定部１１２は、より正確な推定を行うことが可能になる。すなわち一例として、画像情報（撮像部の撮像範囲）の周辺部に記録される食品２０であっても、対応する教師データをより多く利用して学習することにより、推定部１１２は、学習済モデルを利用してより正確な推定を行うことが可能になる。
【0029】
食品は、寿司店等の飲食店で提供される料理（商品）等であってもよい。具体的な一例として、食品は、握り、軍艦、つつみ、細巻き、椀物及びサイドオーダー等であってもよく、これら以外の種々の料理等であってもよい。サイドオーダーの一例は、揚げ物、茶わん蒸し及びデザート等であってもよい。
【0030】
第１種類の食品は、例えば、食品の収容状態で非適切な状態になる可能性がある料理等であってもよい。適切な収容状態は、顧客に提供可能な状態等であってもよい。非適切な収容状態は、例えば、飲食は可能であるが、顧客視点では顧客に提供するのが好ましくない見た目となっている食品の状態等であってもよい。
一例として、第１種類の食品は、握り及び軍艦等であってもよく、その例示以外の料理であってもよい。ここで、握りの場合に収容状態で非適切な状態になる一例としては、シャリからネタがずれている場合等であってもよい。ここで、軍艦の場合に収容状態で非適切な状態になる一例としては、倒れ及び海苔の剥がれ等であってもよい。第１種類の食品は、上述した握り及び軍艦に限定されず、種々の料理であってもよい。
一例として、第１種類の食品は、握り及び軍艦等であってもよく、その例示以外の料理であってもよい。ここで、握りの場合に収容状態で非適切な状態になる一例としては、シャリからネタがずれている場合等であってもよい。ここで、軍艦の場合に収容状態で非適切な状態になる一例としては、倒れ及び海苔の剥がれ等であってもよい。第１種類の食品は、上述した握り及び軍艦に限定されず、種々の料理であってもよい。
【0031】
すなわち、食品２０の収容状態（例えば、第１種類の食品の載置状態）は、容器に収容される食品の状態であり、食品が基準通りの状態で容器に収容されているか、又は、食品が基準通りの状態で容器に収容されていないかを示す。食品２０の収容状態は、例えば、寿司２２が皿２１に置かれた状態である。具体的には、食品２０の収容状態は、寿司２２が皿２１に基準通りに置かれた状態（適切な収容状態）（図３（Ｂ）及び図４（Ｂ）参照）、及び、寿司２２が皿２１に基準通りに置かれていない状態（非適切な状態）（図３（Ａ）及び図４（Ａ）参照）である。寿司２２が基準通りに置かれていない状態は、例えば、皿２１に載置される寿司のネタがシャリからずれている状態、寿司が倒れている状態、及び、海苔が寿司から剥がれている状態等である。
また、食品２０の収容状態（載置状態）は、容器の所定位置（基準範囲内の位置）に食品が置かれているかを示すものであってもよい。
また、食品２０の収容状態（載置状態）は、容器の所定位置（基準範囲内の位置）に食品が置かれているかを示すものであってもよい。
【0032】
第２種類の食品は、食品の収容状態で非適切な状態になる可能性がない料理等であってもよい。一例として、第２種類の食品は、つつみ、細巻き、椀物及びサイドオーダー等であってもよく、その例示以外の料理であってもよい。椀物は、顧客への提供時に蓋が被せられるので、内部の状況を認識できず、また上述した第１種類の食品の一例のように非適切な収容状態になる可能性が少ない。また、サイドオーダーは、上述した第１種類の食品の一例のように非適切な収容状態になる可能性が少ない。
食品２０の一例としての第２種類の食品は、蓋３２がされた椀３１（図５（Ａ）参照）であったり、ケーキ３３等のデザートが置かれた皿３４（サイドオーダー）（図５（Ｂ）参照）であったり、食品にずれ及び倒れ等が発生する可能性が少なく、非適切な収容状態になる可能性が少ない料理であってもよい。
食品２０の一例としての第２種類の食品は、蓋３２がされた椀３１（図５（Ａ）参照）であったり、ケーキ３３等のデザートが置かれた皿３４（サイドオーダー）（図５（Ｂ）参照）であったり、食品にずれ及び倒れ等が発生する可能性が少なく、非適切な収容状態になる可能性が少ない料理であってもよい。
【0033】
学習済モデルは、第１種類の食品に関し、図３（Ａ）に一例を示すように、握りのネタがシャリからずれている状態（寿司の収容状態が基準外の状態としての非適切な収容状態）、及び、図３（Ｂ）に一例を示すように、握りのネタがシャリからずれていない状態（寿司の載置状態が基準内の状態としての適切な収容状態）を学習した結果に基づいて生成される。また、学習済モデルは、図４（Ａ）に一例を示すように、軍艦の海苔が剥がれている状態及び軍艦が倒れている状態（寿司の載置状態が基準外の状態としての非適切な収容状態）、及び、図４（Ｂ）に一例を示すように、軍艦の海苔が剥がれていない状態及び軍艦が倒れていない状態（寿司の載置状態が基準内の状態としての適切な収容状態）を学習した結果に基づいて生成される。学習済モデルは、図３及び図４の例示の他にも、寿司（第１食品）の種々の収容状態（載置状態）を学習した結果に基づいて生成される。
【0034】
また、学習済モデルは、第２種類の食品に関し、図５に一例を示すように、椀物及びサイドオーダー等の食品の収容状態（載置状態）を学習した結果に基づいて生成される。学習済モデルは、図５の例示の他にも、第２食品の種々の収容状態（載置状態）を学習した結果に基づいて生成される。
【0035】
なお、推定部１１２は、学習済モデルを利用した場合でも、画像情報に記録される食品２０が、第１種類の食品であり適切な収容状態になっていること、第１種類の食品であり非適切な収容状態になっていること、及び、第２種類の食品であることのうち、いずれにも分類できない場合が存在する可能性がある。この場合、推定部１１２は、学習済モデルを利用して分類ができなかった画像（画像情報）を記憶部１２２に記憶してもよい。
学習部は、記憶部１２２に記憶された画像（画像情報）（学習済モデルを利用して分類ができなかった食品２０の画像）を利用して再学習を行って学習済モデルを生成してもよい。すなわち、学習部は、その画像（画像情報）に対して、容器に収容される第１種類の食品についての適切な収容状態と、その第１種類の食品についての非適切な収容状態と、容器に収容される第１種類とは異なる第２種類の食品とのいずれかのラベル付けを行い、再学習を行ってもよい。
学習部は、記憶部１２２に記憶された画像（画像情報）（学習済モデルを利用して分類ができなかった食品２０の画像）を利用して再学習を行って学習済モデルを生成してもよい。すなわち、学習部は、その画像（画像情報）に対して、容器に収容される第１種類の食品についての適切な収容状態と、その第１種類の食品についての非適切な収容状態と、容器に収容される第１種類とは異なる第２種類の食品とのいずれかのラベル付けを行い、再学習を行ってもよい。
【0036】
出力制御部１１３は、推定部１１２によって推定した第１種類の食品の収容状態が非適切な場合、当該収容状態に関する所定の出力を行う。この場合、出力制御部１１３は、例えば、所定の出力として、警告を出力してもよい。出力制御部１１３は、例えば、警告として、食品が非適切な状態になっている旨の警告を表示部１２３に表示するよう制御してもよい。出力制御部１１３は、例えば、警告として、食品が非適切な状態になっている旨の音又は音声による警告をスピーカ（図示せず）から出力するよう制御してもよい。
【0037】
また、出力制御部１１３は、例えば、所定の出力として、非適切な状態の食品（第１種類の食品）を搬送レーン２００から取り除くような出力（一例として、制御信号等を始めとする種々の信号等の出力）を行ってもよい。
具体的な一例として、搬送レーン２００に隣接して、食品を把持することが可能な把持装置（例えば、マニピュレータ等）（図示せず）が配される場合、出力制御部１１３は、マニピュレータを制御する制御信号を出力してもよい。制御信号には、推定部１１２によって推定した非適切な収容状態となる食品（第１種類の食品）を特定する情報が含まれてもよい。マニピュレータは、例えば、制御信号を受信すると、その制御信号に基づいて、非適切な収容状態の食品（第１種類の食品）を特定し、その食品（一例として、容器と共に食品等）を搬送レーン２００から取り除くような動作を行う。
具体的な一例として、搬送レーン２００に隣接して、食品を把持することが可能な把持装置（例えば、マニピュレータ等）（図示せず）が配される場合、出力制御部１１３は、マニピュレータを制御する制御信号を出力してもよい。制御信号には、推定部１１２によって推定した非適切な収容状態となる食品（第１種類の食品）を特定する情報が含まれてもよい。マニピュレータは、例えば、制御信号を受信すると、その制御信号に基づいて、非適切な収容状態の食品（第１種類の食品）を特定し、その食品（一例として、容器と共に食品等）を搬送レーン２００から取り除くような動作を行う。
【0038】
なお、撮像部１２４は、複数の搬送レーン２００を撮像することが可能である。このため、推定部１１２は、画像情報に基づく食品の位置（画像上の位置）と、搬送レーン２００とを予め対応付けておき（例えば、対応情報により対応付けておき）、推定する食品（第１種類及び第２種類それぞれの食品）がどの搬送レーン２００に置かれているのか特定することが可能である。
したがって、出力制御部１１３は、推定部１１２によって推定された第１種類の食品の収容状態が非適切な場合、その食品が収容される容器が配される搬送レーン２００を特定し、特定した搬送レーン２００に対応付けて上述した警告等を始めとする所定の出力を行ってもよい。一例として、出力制御部１１３は、非適切な収容状態の第１種類の食品が置かれた搬送レーン２００を特定可能な表示を行うよう表示部１２３を制御してもよい。
したがって、出力制御部１１３は、推定部１１２によって推定された第１種類の食品の収容状態が非適切な場合、その食品が収容される容器が配される搬送レーン２００を特定し、特定した搬送レーン２００に対応付けて上述した警告等を始めとする所定の出力を行ってもよい。一例として、出力制御部１１３は、非適切な収容状態の第１種類の食品が置かれた搬送レーン２００を特定可能な表示を行うよう表示部１２３を制御してもよい。
【0039】
また、出力制御部１１３は、推定部１１２によって推定した第１種類の食品の収容状態が非適切な場合、搬送レーン２００による食品の搬送を禁止してもよい。
すなわち、搬送レーン２００は、例えば、駆動モータ（図示せず）によりコンベア（図示せず）を駆動することにより、食品を厨房から顧客（座席）まで搬送することが可能である。搬送レーン２００は、例えば、搬送レーン２００の基端部２０１側に食品が置かれ、厨房に居る従業員等によって搬送指示のボタンが操作されると、駆動モータを駆動して食品を客席まで搬送する。
出力制御部１１３は、例えば、搬送レーン２００の基端部２０１側に食品（例えば、第１種類の食品等）が置かれ、撮像部１２４によってその食品を撮像するのに応じて推定部１１２によって非適切な状態と推定されると、駆動モータを駆動しないよう制御してもよい。すなわち、出力制御部１１３は、非適切な収容状態の食品の搬送を行わないよう搬送レーン２００を制御する。
すなわち、搬送レーン２００は、例えば、駆動モータ（図示せず）によりコンベア（図示せず）を駆動することにより、食品を厨房から顧客（座席）まで搬送することが可能である。搬送レーン２００は、例えば、搬送レーン２００の基端部２０１側に食品が置かれ、厨房に居る従業員等によって搬送指示のボタンが操作されると、駆動モータを駆動して食品を客席まで搬送する。
出力制御部１１３は、例えば、搬送レーン２００の基端部２０１側に食品（例えば、第１種類の食品等）が置かれ、撮像部１２４によってその食品を撮像するのに応じて推定部１１２によって非適切な状態と推定されると、駆動モータを駆動しないよう制御してもよい。すなわち、出力制御部１１３は、非適切な収容状態の食品の搬送を行わないよう搬送レーン２００を制御する。
【0040】
ここで上述したように、撮像部１２４は、複数の搬送レーン２００を撮像することが可能である。このため、推定部１１２は、例えば、対応情報を参照し、推定する食品（第１種類及び第２種類それぞれの食品）がどの搬送レーン２００に置かれているのか特定することが可能である。
したがって、出力制御部１１３は、推定部１１２によって推定した第１種類の食品の収容状態が非適切な場合、その食品が収容される容器が配される搬送レーン２００による搬送を禁止してもよい。具体的な一例として、出力制御部１１３は、２本の搬送レーン２００Ａ，２００Ｂがあり、搬送レーン２００Ａ上の第１種類の食品が非適切な収容状態の場合、対応情報に基づき画像上の位置に応じて搬送レーン２００Ａを特定し、非適切な収容状態の第１種類の食品を搬送しないよう搬送レーン２００Ａを制御してもよい。なおこの場合、出力制御部１１３は、例えば、搬送レーン２００Ｂ上に、適切な収容状態の第１種類の食品又は第２種類の食品が置かれた場合、その食品を搬送可能なように搬送レーン２００Ｂを制御してもよい。
したがって、出力制御部１１３は、推定部１１２によって推定した第１種類の食品の収容状態が非適切な場合、その食品が収容される容器が配される搬送レーン２００による搬送を禁止してもよい。具体的な一例として、出力制御部１１３は、２本の搬送レーン２００Ａ，２００Ｂがあり、搬送レーン２００Ａ上の第１種類の食品が非適切な収容状態の場合、対応情報に基づき画像上の位置に応じて搬送レーン２００Ａを特定し、非適切な収容状態の第１種類の食品を搬送しないよう搬送レーン２００Ａを制御してもよい。なおこの場合、出力制御部１１３は、例えば、搬送レーン２００Ｂ上に、適切な収容状態の第１種類の食品又は第２種類の食品が置かれた場合、その食品を搬送可能なように搬送レーン２００Ｂを制御してもよい。
【0041】
換言すると、出力制御部１１３は、例えば、２本の搬送レーン２００Ａ，２００Ｂがあり、それぞれの搬送レーン２００Ａ，２００Ｂ上に、収容状態が適切な第１種類の食品及び第２種類の食品を置かれた場合、その食品を搬送可能なように搬送レーン２００Ａ，２００Ｂを制御してもよい。すなわち、出力制御部１１３は、推定部１１２によって推定された第１種類の食品の収容状態が適切な場合、及び、推定部１１２によって画像に記録される食品が第２種類の食品と推定した場合、食品を搬送するよう搬送レーン２００を制御してもよい。
【0042】
【0043】
ステップＳＴ１０１において、取得部１１１は、複数種類の食品をそれぞれ収容する容器を撮像することにより生成された画像情報を取得する。取得部１１１は、例えば、撮像部１２４から画像情報を生成してもよい。
撮像部１２４は、食品を搬送する搬送レーン２００を複数撮像可能であり、複数の搬送レーン２００それぞれに配される容器を撮像して画像情報を生成する。
撮像部１２４は、食品を搬送する搬送レーン２００を複数撮像可能であり、複数の搬送レーン２００それぞれに配される容器を撮像して画像情報を生成する。
【0044】
ステップＳＴ１０２において、推定部１１２は、学習済モデルと、ステップＳＴ１０１で取得した画像情報とに基づいて、画像情報に記録される第１種類の食品の収容状態及び第２種類の食品のうち少なくとも一方を推定する。学習済モデルは、例えば、容器に収容される第１種類の食品についての適切な収容状態と、その第１種類の食品についての非適切な収容状態と、容器に収容される第１種類とは異なる第２種類の食品とを学習したモデルであってもよい。
【0045】
ステップＳＴ１０３において、出力制御部１１３は、ステップＳＴ１０２で推定した第１種類の食品の収容状態が非適切な場合、その非適切な収容状態に関する所定の出力を行う。出力制御部１１３は、所定の出力として、警告を出力することとしてもよい。また、出力制御部１１３は、例えば、所定の出力として、非適切な状態の食品（第１種類の食品）を搬送レーン２００から取り除くような出力（一例として、種々の信号等の出力）を行ってもよい。また、出力制御部１１３は、上述した一例に限らず、種々の出力を行うよう情報処理装置１００の各部を制御してもよい。
【0046】
ステップＳＴ１０４において、出力制御部１１３は、ステップＳＴ１０２で推定した第１種類の食品の収容状態が非適切な場合、搬送レーン２００による食品の搬送を禁止してもよい。出力制御部１１３は、ステップＳＴ１０２で推定した第１種類の食品の収容状態が非適切な場合、その食品が収容される容器が配される搬送レーン２００による搬送を禁止してもよい。
【0047】
なお、出力制御部１１３は、ステップＳＴ１０２で推定した第１種類の食品の収容状態が適切な場合、及び、ステップＳＴ１０２で画像に記録される食品が第２種類の食品と推定した場合、食品を搬送するよう搬送レーン２００を制御してもよい。
【0048】
また、出力制御部１１３は、例えば、ステップＳＴ１０２で推定した第１種類の食品の収容状態が非適切な場合、ステップＳＴ１０４の処理を行い、予め登録される設定状況に応じてステップＳＴ１０３の処理を行ってもよく行わなくともよい。
また、出力制御部１１３は、例えば、ステップＳＴ１０３の処理及びステップＳＴ１０４の処理の両方を行う場合、処理を行う順番は、ステップＳＴ１０３の処理及びステップＳＴ１０４の処理の順に行ってもよく、ステップＳＴ１０４の処理及びステップＳＴ１０３の処理の順に行ってもよく、ステップＳＴ１０３の処理及びステップＳＴ１０４の処理を同時に行ってもよい。
また、出力制御部１１３は、例えば、ステップＳＴ１０３の処理及びステップＳＴ１０４の処理の両方を行う場合、処理を行う順番は、ステップＳＴ１０３の処理及びステップＳＴ１０４の処理の順に行ってもよく、ステップＳＴ１０４の処理及びステップＳＴ１０３の処理の順に行ってもよく、ステップＳＴ１０３の処理及びステップＳＴ１０４の処理を同時に行ってもよい。
【0049】
［変形例］
次に、変形例について説明する。
次に、変形例について説明する。
【0050】
（第１変形例）
上述した一例では、撮像部１２４及び推定部１１２が異なる機能として構成される形態について説明した。
しかしながら、本開示はその一形態に限定されることはなく、撮像部１２４が推定部１１２の機能を備える（撮像部１２４及び推定部１１２が１つの機能として構成される）形態であってもよい。すなわち、撮像部１２４（例えば、ＡＩ撮像部）は、処理プロセッサ（例えば、ＡＩプロセッサ等）を備えることにより、上述した学習済モデルと、撮像した画像（画像情報）とに基づいて、画像に記録される第１種類の食品の収容状態及び第２種類の食品のうち少なくとも一方を推定してもよい。撮像部１２４（ＡＩ撮像部）は、推定の結果を制御部１１０に送信してもよい。
上述した一例では、撮像部１２４及び推定部１１２が異なる機能として構成される形態について説明した。
しかしながら、本開示はその一形態に限定されることはなく、撮像部１２４が推定部１１２の機能を備える（撮像部１２４及び推定部１１２が１つの機能として構成される）形態であってもよい。すなわち、撮像部１２４（例えば、ＡＩ撮像部）は、処理プロセッサ（例えば、ＡＩプロセッサ等）を備えることにより、上述した学習済モデルと、撮像した画像（画像情報）とに基づいて、画像に記録される第１種類の食品の収容状態及び第２種類の食品のうち少なくとも一方を推定してもよい。撮像部１２４（ＡＩ撮像部）は、推定の結果を制御部１１０に送信してもよい。
【0051】
（第２変形例）
上述した一例では、飲食店等において顧客に提供する食品の収容状態等を推定し、所定の条件を満たす場合に警告及び信号等の出力制御を行う形態について説明した。
しかしながら、本開示はその一形態に限定されることはなく、食品工場等において食品を容器（例えば、トレー等）に収容する際の収容状態を推定し、所定の条件を満たす場合に警告等の出力制御を行ってもよい。所定の条件を満たす場合は、例えば、学習済モデルを利用して、容器に収容される食品が、食品Ａであり収容状態が適切か、食品Ａであり収容状態が非適切か、食品Ｂであるかを推定し、食品Ａの収容状態が非適切に分類された場合等であってもよい。また、この一例に限定されることはなく、種々の状況において食品の収容状態を推定し、所定の条件を満たす場合に警告及び信号等の出力制御を行ってもよい。
上述した一例では、飲食店等において顧客に提供する食品の収容状態等を推定し、所定の条件を満たす場合に警告及び信号等の出力制御を行う形態について説明した。
しかしながら、本開示はその一形態に限定されることはなく、食品工場等において食品を容器（例えば、トレー等）に収容する際の収容状態を推定し、所定の条件を満たす場合に警告等の出力制御を行ってもよい。所定の条件を満たす場合は、例えば、学習済モデルを利用して、容器に収容される食品が、食品Ａであり収容状態が適切か、食品Ａであり収容状態が非適切か、食品Ｂであるかを推定し、食品Ａの収容状態が非適切に分類された場合等であってもよい。また、この一例に限定されることはなく、種々の状況において食品の収容状態を推定し、所定の条件を満たす場合に警告及び信号等の出力制御を行ってもよい。
【0052】
（第３変形例）
上述した一例では、学習済モデルを１つ利用する例について説明した。
しかしながら、本開示はその一例に限定されることはなく、複数の学習済モデルを利用してもよい。すなわち、情報処理装置１００は、容器に収容される第１種類の食品と、容器に収容される第２種類の食品と学習した第１学習済モデルを利用して、画像情報に記録される食品が第１種類の食品か又は第２種類の食品かを推定してもよい。さらに、情報処理装置１００は、第１種類の食品と推定された場合、容器に収容される第１種類の食品についての適切な収容状態と、その第１種類の食品についての非適切な収容状態とを学習した第２学習済モデルを利用して、第１種類の食品の収容状態（適切又は非適切）を推定してもよい。
上述した一例では、学習済モデルを１つ利用する例について説明した。
しかしながら、本開示はその一例に限定されることはなく、複数の学習済モデルを利用してもよい。すなわち、情報処理装置１００は、容器に収容される第１種類の食品と、容器に収容される第２種類の食品と学習した第１学習済モデルを利用して、画像情報に記録される食品が第１種類の食品か又は第２種類の食品かを推定してもよい。さらに、情報処理装置１００は、第１種類の食品と推定された場合、容器に収容される第１種類の食品についての適切な収容状態と、その第１種類の食品についての非適切な収容状態とを学習した第２学習済モデルを利用して、第１種類の食品の収容状態（適切又は非適切）を推定してもよい。
【0053】
（第４変形例）
上述した推定部１１２は、学習済モデルを利用して第１種類の食品及び第２種類の食品を認識する際に、画像情報に記録される容器の一部の画像を抽出してもよい。この場合、推定部１１２は、学習済モデルを利用して、食品が収容された容器を認識し、認識した容器（丸皿）に内接する所定範囲の画像を抽出してもよい。さらに、推定部１１２は、抽出した画像と、学習済モデルとに基づいて、その画像に記録される食品が第１種類の食品か若しくは第２種類の食品か、及び、第１種類の食品の場合には収容状態が適切か非適切かを推定してもよい。
上述した推定部１１２は、学習済モデルを利用して第１種類の食品及び第２種類の食品を認識する際に、画像情報に記録される容器の一部の画像を抽出してもよい。この場合、推定部１１２は、学習済モデルを利用して、食品が収容された容器を認識し、認識した容器（丸皿）に内接する所定範囲の画像を抽出してもよい。さらに、推定部１１２は、抽出した画像と、学習済モデルとに基づいて、その画像に記録される食品が第１種類の食品か若しくは第２種類の食品か、及び、第１種類の食品の場合には収容状態が適切か非適切かを推定してもよい。
【0054】
［機能及び回路について］
次に、上述した情報処理装置１００の機能及び回路について説明する。
情報処理装置１００の各部は、コンピュータの演算処理装置等の機能として実現されてもよい。すなわち、情報処理装置１００の取得部１１１、推定部１１２及び出力制御部１１３（制御部１１０）は、コンピュータの演算処理装置等による取得機能、推定機能及び出力制御機能（制御機能）としてそれぞれ実現されてもよい。
情報処理プログラムは、上述した各機能をコンピュータに実現させることができる。情報処理プログラムは、例えば、メモリ、ソリッドステートドライブ、ハードディスクドライブ又は光ディスク等の、コンピュータで読み取り可能な非一時的な記録媒体等に記録されていてもよい。記録媒体は、例えば、非一時的なコンピュータ可読媒体と言い換えてもよい。
また、上述したように、情報処理装置１００の各部は、コンピュータの演算処理装置等で実現されてもよい。その演算処理装置等は、例えば、集積回路等によって構成される。このため、情報処理装置１００の各部は、演算処理装置等を構成する回路として実現されてもよい。すなわち、情報処理装置１００の取得部１１１、推定部１１２及び出力制御部１１３（制御部１１０）は、コンピュータの演算処理装置等を構成する取得回路、推定回路及び出力制御回路（制御回路）として実現されてもよい。
また、情報処理装置１００の通信部１２１、記憶部１２２及び表示部１２３（出力部）、並びに、撮像部１２４は、例えば、演算処理装置等の機能を含む通信機能、記憶機能及び表示機能（出力機能）、並びに、撮像機能として実現されてもよい。また、情報処理装置１００の通信部１２１、記憶部１２２及び表示部１２３（出力部）、並びに、撮像部１２４は、例えば、集積回路等によって構成されることにより通信回路、記憶回路及び表示回路（出力回路）、並びに、撮像回路として実現されてもよい。また、情報処理装置１００の通信部１２１、記憶部１２２及び表示部１２３（出力部））、並びに、撮像部１２４は、例えば、複数のデバイスによって構成されることにより通信装置、記憶装置及び表示装置（出力装置）、並びに、撮像装置として構成されてもよい。
次に、上述した情報処理装置１００の機能及び回路について説明する。
情報処理装置１００の各部は、コンピュータの演算処理装置等の機能として実現されてもよい。すなわち、情報処理装置１００の取得部１１１、推定部１１２及び出力制御部１１３（制御部１１０）は、コンピュータの演算処理装置等による取得機能、推定機能及び出力制御機能（制御機能）としてそれぞれ実現されてもよい。
情報処理プログラムは、上述した各機能をコンピュータに実現させることができる。情報処理プログラムは、例えば、メモリ、ソリッドステートドライブ、ハードディスクドライブ又は光ディスク等の、コンピュータで読み取り可能な非一時的な記録媒体等に記録されていてもよい。記録媒体は、例えば、非一時的なコンピュータ可読媒体と言い換えてもよい。
また、上述したように、情報処理装置１００の各部は、コンピュータの演算処理装置等で実現されてもよい。その演算処理装置等は、例えば、集積回路等によって構成される。このため、情報処理装置１００の各部は、演算処理装置等を構成する回路として実現されてもよい。すなわち、情報処理装置１００の取得部１１１、推定部１１２及び出力制御部１１３（制御部１１０）は、コンピュータの演算処理装置等を構成する取得回路、推定回路及び出力制御回路（制御回路）として実現されてもよい。
また、情報処理装置１００の通信部１２１、記憶部１２２及び表示部１２３（出力部）、並びに、撮像部１２４は、例えば、演算処理装置等の機能を含む通信機能、記憶機能及び表示機能（出力機能）、並びに、撮像機能として実現されてもよい。また、情報処理装置１００の通信部１２１、記憶部１２２及び表示部１２３（出力部）、並びに、撮像部１２４は、例えば、集積回路等によって構成されることにより通信回路、記憶回路及び表示回路（出力回路）、並びに、撮像回路として実現されてもよい。また、情報処理装置１００の通信部１２１、記憶部１２２及び表示部１２３（出力部））、並びに、撮像部１２４は、例えば、複数のデバイスによって構成されることにより通信装置、記憶装置及び表示装置（出力装置）、並びに、撮像装置として構成されてもよい。
【0055】
情報処理装置１００は、上述した複数の各部のうち１又は任意の複数を組み合わせることが可能である。
本開示では、「情報」の文言を使用しているが、「情報」の文言は「データ」と言い換えることができ、「データ」の文言は「情報」と言い換えることができる。
本開示では、「情報」の文言を使用しているが、「情報」の文言は「データ」と言い換えることができ、「データ」の文言は「情報」と言い換えることができる。
【0056】
［本実施形態の態様及び効果］
次に、本実施形態の一態様及び各態様が奏する効果について説明する。なお、以下に記載する各態様は出願時の一例であり、本実施形態は以下に記載する態様に限定されることはない。すなわち、本実施形態は以下に記載する各態様に限定されることはなく、上述した各部を適宜組み合わせて実現されてもよい。また、下位の態様は、それよりも上位の態様のいずれでも引用できる場合がある。
また、以下に記載する効果は一例であり、各態様が奏する効果は以下に記載するものに限定されることはない。また、各態様は、例えば、以下に記載する少なくとも１つの効果を奏してもよい。
次に、本実施形態の一態様及び各態様が奏する効果について説明する。なお、以下に記載する各態様は出願時の一例であり、本実施形態は以下に記載する態様に限定されることはない。すなわち、本実施形態は以下に記載する各態様に限定されることはなく、上述した各部を適宜組み合わせて実現されてもよい。また、下位の態様は、それよりも上位の態様のいずれでも引用できる場合がある。
また、以下に記載する効果は一例であり、各態様が奏する効果は以下に記載するものに限定されることはない。また、各態様は、例えば、以下に記載する少なくとも１つの効果を奏してもよい。
【0057】
（態様１）
一態様の情報処理装置は、複数種類の食品をそれぞれ収容する容器を撮像することにより生成された画像情報を取得する取得部と、容器に収容される第１種類の食品についての適切な収容状態と、その第１種類の食品についての非適切な収容状態と、容器に収容される第１種類とは異なる第２種類の食品とを学習した学習済モデルと、取得部によって取得した画像情報とに基づいて、画像情報に記録される第１種類の食品の収容状態及び第２種類の食品のうち少なくとも一方を推定する推定部と、推定部によって推定された第１種類の食品の収容状態が非適切な場合、当該収容状態に関する所定の出力を行う出力制御部と、を備える。
情報処理装置は、学習済モデルを利用して、画像情報に記録される食品が、第１種類の食品であり適切な状態になっていること、第１種類の食品であり非適切な状態になっていること、及び、第２種類の食品であることのうち、いずれか１つを推定することができる。
情報処理装置は、画像情報に記録される食品が第１種類の食品であり、非適切な状態になっている場合には、所定の出力を行って、非適切な状態の食品を取り除いたり、飲食店の従業員に第１種類の食品を非適切な状態から適切な状態に改善するよう促したりすることができる。
これにより、情報処理装置は、容器に収容された食品を適切状態で顧客に提供することができる。
一態様の情報処理装置は、複数種類の食品をそれぞれ収容する容器を撮像することにより生成された画像情報を取得する取得部と、容器に収容される第１種類の食品についての適切な収容状態と、その第１種類の食品についての非適切な収容状態と、容器に収容される第１種類とは異なる第２種類の食品とを学習した学習済モデルと、取得部によって取得した画像情報とに基づいて、画像情報に記録される第１種類の食品の収容状態及び第２種類の食品のうち少なくとも一方を推定する推定部と、推定部によって推定された第１種類の食品の収容状態が非適切な場合、当該収容状態に関する所定の出力を行う出力制御部と、を備える。
情報処理装置は、学習済モデルを利用して、画像情報に記録される食品が、第１種類の食品であり適切な状態になっていること、第１種類の食品であり非適切な状態になっていること、及び、第２種類の食品であることのうち、いずれか１つを推定することができる。
情報処理装置は、画像情報に記録される食品が第１種類の食品であり、非適切な状態になっている場合には、所定の出力を行って、非適切な状態の食品を取り除いたり、飲食店の従業員に第１種類の食品を非適切な状態から適切な状態に改善するよう促したりすることができる。
これにより、情報処理装置は、容器に収容された食品を適切状態で顧客に提供することができる。
【0058】
（態様２）
一態様の情報処理装置では、出力制御部は、推定部によって推定された第１種類の食品の収容状態が非適切な場合、搬送レーンによる食品の搬送を禁止することとしてもよい。
すなわち、情報処理装置は、画像情報に記録される食品が第１種類の食品であり、非適切な状態になっている場合には、その食品の搬送を禁止する。
情報処理装置は、画像情報に記録される食品が第１種類の食品であり、非適切な状態になっている場合には、警告を出力して、飲食店の従業員に第１種類の食品を非適切な状態から適切な状態に改善するよう促すことができる。
これにより、情報処理装置は、容器に収容された食品を適切状態で顧客に提供することができる。
一態様の情報処理装置では、出力制御部は、推定部によって推定された第１種類の食品の収容状態が非適切な場合、搬送レーンによる食品の搬送を禁止することとしてもよい。
すなわち、情報処理装置は、画像情報に記録される食品が第１種類の食品であり、非適切な状態になっている場合には、その食品の搬送を禁止する。
情報処理装置は、画像情報に記録される食品が第１種類の食品であり、非適切な状態になっている場合には、警告を出力して、飲食店の従業員に第１種類の食品を非適切な状態から適切な状態に改善するよう促すことができる。
これにより、情報処理装置は、容器に収容された食品を適切状態で顧客に提供することができる。
【0059】
（態様３）
一態様の情報処理装置では、出力制御部は、推定部によって推定された第１種類の食品の収容状態が適切な場合、及び、推定部によって第２種類の食品が推定された場合、食品を搬送するよう搬送レーンを制御することとしてもよい。
これにより、情報処理装置は、容器に収容された食品を適切状態で顧客に提供することができる。
一態様の情報処理装置では、出力制御部は、推定部によって推定された第１種類の食品の収容状態が適切な場合、及び、推定部によって第２種類の食品が推定された場合、食品を搬送するよう搬送レーンを制御することとしてもよい。
これにより、情報処理装置は、容器に収容された食品を適切状態で顧客に提供することができる。
【0060】
（態様４）
一態様の情報処理装置では、出力制御部は、所定の出力として、警告を出力することとしてもよい。
これにより、情報処理装置は、画像情報に記録される食品が第１種類の食品であり、非適切な状態になっている場合には、警告を出力して、飲食店の従業員に第１種類の食品を非適切な状態から適切な状態に改善するよう促すことができる。
一態様の情報処理装置では、出力制御部は、所定の出力として、警告を出力することとしてもよい。
これにより、情報処理装置は、画像情報に記録される食品が第１種類の食品であり、非適切な状態になっている場合には、警告を出力して、飲食店の従業員に第１種類の食品を非適切な状態から適切な状態に改善するよう促すことができる。
【0061】
（態様５）
一態様の情報処理装置は、食品を搬送する搬送レーンを複数撮像可能であり、複数の搬送レーンそれぞれに配される容器を撮像して画像情報を生成する撮像部を備えることとしてもよい。
これにより、情報処理装置は、例えば、平面内で並ぶ複数の搬送レーン、具体的な一例として左右に並んで配された複数の搬送レーンを同時に撮像することができる。よって、情報処理装置は、１つの搬送レーンにつき１つの撮像部を配する場合に比べて、撮像部の数を少なくすることができるため、設備コストを低減することができ、また設備を配する空間の省スペース化を図ることができる。
一態様の情報処理装置は、食品を搬送する搬送レーンを複数撮像可能であり、複数の搬送レーンそれぞれに配される容器を撮像して画像情報を生成する撮像部を備えることとしてもよい。
これにより、情報処理装置は、例えば、平面内で並ぶ複数の搬送レーン、具体的な一例として左右に並んで配された複数の搬送レーンを同時に撮像することができる。よって、情報処理装置は、１つの搬送レーンにつき１つの撮像部を配する場合に比べて、撮像部の数を少なくすることができるため、設備コストを低減することができ、また設備を配する空間の省スペース化を図ることができる。
【0062】
（態様６）
一態様の情報処理装置では、出力制御部は、推定部によって推定された第１種類の食品の収容状態が非適切な場合、その食品が収容される容器が配される搬送レーンによる搬送を禁止することとしてもよい。
情報処理装置は、搬送レーン毎に搬送制御を行うことでき、１つの搬送レーンに非適切な状態の第１種類の食品が置かれたことが推定された場合でも、他の搬送レーン上の適切な状態の第１種類の食品、及び、第２種類の食品を搬送することができる。
これにより、情報処理装置は、食品を効率的に顧客に提供することができ、顧客の満足度を高めることができる。
一態様の情報処理装置では、出力制御部は、推定部によって推定された第１種類の食品の収容状態が非適切な場合、その食品が収容される容器が配される搬送レーンによる搬送を禁止することとしてもよい。
情報処理装置は、搬送レーン毎に搬送制御を行うことでき、１つの搬送レーンに非適切な状態の第１種類の食品が置かれたことが推定された場合でも、他の搬送レーン上の適切な状態の第１種類の食品、及び、第２種類の食品を搬送することができる。
これにより、情報処理装置は、食品を効率的に顧客に提供することができ、顧客の満足度を高めることができる。
【0063】
（態様７）
一態様の情報処理方法では、コンピュータが、複数種類の食品をそれぞれ収容する容器を撮像することにより生成された画像情報を取得する取得ステップと、容器に収容される第１種類の食品についての適切な収容状態と、その第１種類の食品についての非適切な収容状態と、容器に収容される第１種類とは異なる第２種類の食品とを学習した学習済モデルと、取得ステップによって取得した画像情報とに基づいて、画像情報に記録される第１種類の食品の収容状態及び第２種類の食品のうち少なくとも一方を推定する推定ステップと、推定ステップによって推定した第１種類の食品の収容状態が非適切な場合、当該収容状態に関する所定の出力を行う出力制御ステップと、を実行する。
一態様の情報処理方法は、上述した一態様の情報処理装置と同様の効果を奏してもよい。
一態様の情報処理方法では、コンピュータが、複数種類の食品をそれぞれ収容する容器を撮像することにより生成された画像情報を取得する取得ステップと、容器に収容される第１種類の食品についての適切な収容状態と、その第１種類の食品についての非適切な収容状態と、容器に収容される第１種類とは異なる第２種類の食品とを学習した学習済モデルと、取得ステップによって取得した画像情報とに基づいて、画像情報に記録される第１種類の食品の収容状態及び第２種類の食品のうち少なくとも一方を推定する推定ステップと、推定ステップによって推定した第１種類の食品の収容状態が非適切な場合、当該収容状態に関する所定の出力を行う出力制御ステップと、を実行する。
一態様の情報処理方法は、上述した一態様の情報処理装置と同様の効果を奏してもよい。
【0064】
（態様８）
一態様の情報処理プログラムは、コンピュータに、複数種類の食品をそれぞれ収容する容器を撮像することにより生成された画像情報を取得する取得機能と、容器に収容される第１種類の食品についての適切な収容状態と、その第１種類の食品についての非適切な収容状態と、容器に収容される第１種類とは異なる第２種類の食品とを学習した学習済モデルと、取得機能によって取得した画像情報とに基づいて、画像情報に記録される第１種類の食品の収容状態及び第２種類の食品のうち少なくとも一方を推定する推定機能と、推定機能によって推定した第１種類の食品の収容状態が非適切な場合、当該収容状態に関する所定の出力を行う出力制御機能と、を実現させる。
一態様の情報処理プログラムは、上述した一態様の情報処理装置と同様の効果を奏してもよい。
一態様の情報処理プログラムは、コンピュータに、複数種類の食品をそれぞれ収容する容器を撮像することにより生成された画像情報を取得する取得機能と、容器に収容される第１種類の食品についての適切な収容状態と、その第１種類の食品についての非適切な収容状態と、容器に収容される第１種類とは異なる第２種類の食品とを学習した学習済モデルと、取得機能によって取得した画像情報とに基づいて、画像情報に記録される第１種類の食品の収容状態及び第２種類の食品のうち少なくとも一方を推定する推定機能と、推定機能によって推定した第１種類の食品の収容状態が非適切な場合、当該収容状態に関する所定の出力を行う出力制御機能と、を実現させる。
一態様の情報処理プログラムは、上述した一態様の情報処理装置と同様の効果を奏してもよい。
【符号の説明】
【0065】
１００ 情報処理装置
１１０ 制御部
１１１ 取得部
１１２ 推定部
１１３ 出力制御部
１２１ 通信部
１２２ 記憶部
１２３ 表示部
１２４ 撮像部
２００ 搬送レーン
１１０ 制御部
１１１ 取得部
１１２ 推定部
１１３ 出力制御部
１２１ 通信部
１２２ 記憶部
１２３ 表示部
１２４ 撮像部
２００ 搬送レーン
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】