特開 2023-64548 判定システム、情報処理装置、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023064548

(43)【公開日】2023-05-11

(54)【発明の名称】判定システム、情報処理装置、方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230501BHJP

   G01N 21/88 20060101ALI20230501BHJP

   H04N 7/18 20060101ALI20230501BHJP

【ＦＩ】

G06T7/00 350C

G01N21/88 Z

H04N7/18 D

H04N7/18 K

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2021174891

(22)【出願日】2021-10-26

(71)【出願人】

【識別番号】313006647

【氏名又は名称】セイコーソリューションズ株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100161207

【弁理士】

【氏名又は名称】西澤 和純

(72)【発明者】

【氏名】楢畑 豊

(72)【発明者】

【氏名】土屋 一典

(72)【発明者】

【氏名】高山 謙一

【テーマコード（参考）】

2G051

5C054

5L096

【Ｆターム（参考）】

2G051AA33

2G051CA04

2G051EA12

2G051EA14

2G051EB05

2G051ED11

5C054CA04

5C054CC02

5C054DA09

5C054FE14

5C054FE28

5C054HA19

5L096BA03

5L096BA18

5L096DA02

5L096FA52

5L096FA69

5L096HA08

5L096HA11

5L096KA04

5L096KA09

5L096KA15

(57)【要約】

【課題】調理品の判定における信頼性を向上させることができる判定システム、情報処理装置、方法、及びプログラムを提供する。
【解決手段】本開示に係る判定システムは、撮影された画像に含まれる調理品を構成する要素の種類を、前記要素ごとに推定する推定部と、調理品の種類と当該調理品を構成する要素との対応関係を示す第１情報と、前記推定部が推定した前記要素の種類とに基づいて、前記調理品の種類を判定する判定部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

撮影された画像に含まれる調理品を構成する要素の種類を、前記要素ごとに推定する推定部と、
調理品の種類と当該調理品を構成する要素との対応関係を示す第１情報と、前記推定部が推定した前記要素の種類とに基づいて、前記調理品の種類を判定する判定部と、
を備える、判定システム。

【請求項2】

前記判定部は、調理品を構成する要素のうち、当該調理品を特徴づける特定の要素である特定要素に基づいて、前記調理品の種類を判定する、
請求項１に記載の判定システム。

【請求項3】

前記判定部は、前記第１情報と、前記判定部が判定した前記調理品の種類とに基づいて、前記画像に含まれる調理品の構成に異常があるか否かを判定する、
請求項１又は２に記載の判定システム。

【請求項4】

前記異常は、前記画像に含まれる調理品を構成する要素の種類の過不足を含む、
請求項３に記載の判定システム。

【請求項5】

前記第１情報は、所定の調理品に含まれる所定の要素について、当該調理品に含まれる当該要素の数の情報を含み、
前記異常は、前記画像に含まれる調理品を構成する要素の種類及び数の過不足を含む、
請求項３又は４に記載の判定システム。

【請求項6】

前記第１情報は、所定の調理品に含まれる所定の要素について、当該調理品における当該要素の配置の情報を含み、
前記異常は、前記画像に含まれる調理品を構成する要素の配置の異常を含む、
請求項３～５のいずれか一項に記載の判定システム。

【請求項7】

前記判定部が前記画像に含まれる調理品の構成に異常がないと判定した場合に、前記判定部が判定した前記調理品の種類に対応するラベルを印刷するラベルプリンタをさらに備える、
請求項３～６のいずれか一項に記載の判定システム。

【請求項8】

前記第１情報は、第１期間において参照される通常期間情報に含まれる調理品の要素の組合せとは異なる要素の組合せを含む特定期間情報であって、前記第１期間とは異なる第２期間において参照される特定期間情報を含む、
請求項１～７のいずれか一項に記載の判定システム。

【請求項9】

前記推定部は、前記画像に複数の調理品が含まれる場合において、個々の調理品を互いに識別し、識別された前記複数の調理品の各々について、調理品を構成する要素の種類を要素ごとに推定する、
請求項１～８のいずれか一項に記載の判定システム。

【請求項10】

前記画像には、調理品の種類を示す識別コードが含まれ、
前記判定部は、調理品の種類と当該調理品の識別コードとの対応関係を示す第２情報と、前記判定部が判定した前記調理品の種類とに基づいて、前記判定部が判定した前記調理品の種類が、前記画像に含まれる前記識別コードに対応する調理品の種類と一致するか否かを判定する、
請求項１～９のいずれか一項に記載の判定システム。

【請求項11】

前記推定部は、調理品の画像と当該画像に含まれる前記調理品を構成する要素の種類との関係を学習した学習済みモデルを使用して、調理品を構成する要素の種類を要素ごとに推定する、
請求項１～１０のいずれか一項に記載の判定システム。

【請求項12】

調理品が撮影された画像を取得する取得部と、
取得された前記画像に含まれる前記調理品を構成する要素の種類を、要素ごとに推定する推定部と、
前記推定部による推定結果を、前記調理品における前記要素の配置に関する情報とともに出力する出力部と、
を備える、情報処理装置。

【請求項13】

コンピュータのプロセッサが、撮影された画像に含まれる調理品の種類を判定する方法であって、
前記プロセッサが、
前記画像に含まれる調理品を構成する要素の種類を、要素ごとに推定することと、
調理品の種類と調理品を構成する要素との対応関係を示す第１情報と、前記推定した要素の種類とに基づいて、前記調理品の種類を判定することと、
を実行する、方法。

【請求項14】

コンピュータのプロセッサが、撮影された画像に含まれる調理品の種類を判定するためのプログラムであって、
前記プロセッサに、
前記画像に含まれる調理品を構成する要素の種類を、要素ごとに推定することと、
調理品の種類と調理品を構成する要素との対応関係を示す第１情報と、前記推定した要素の種類とに基づいて、前記調理品の種類を判定することと、
を実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、判定システム、情報処理装置、方法、及びプログラムに関する。

【背景技術】

【0002】

機械学習技術の発展に伴い、食品の画像認識により当該食品の良否を判定する技術が開発されている。例えば、特許文献１には、画像に含まれる食品などの検査対象を認識し、当該検査対象を良品又は非良品に分類する転移学習モデルを生成する技術が記載されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】国際公開第２０２０／０３６０８２号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、複数のおかずを含む弁当などの調理品の画像から直接的に当該調理品の種類を判定する場合には、おかずの種類が同一であっても配置が異なっていると、調理品の種類を正確に判定することは容易ではない。

【0005】

本発明が解決しようとする課題は、調理品の判定における信頼性を向上させることができる判定システム、情報処理装置、方法、及びプログラムを提供することである。

【課題を解決するための手段】

【0006】

本発明の一態様によれば、撮影された画像に含まれる調理品を構成する要素の種類を、要素ごとに推定する推定部と、調理品の種類と調理品を構成する要素との対応関係を示す第１情報と、推定部が推定した要素の種類とに基づいて、調理品の種類を判定する判定部と、を備える判定システムが提供される。

【0007】

上記態様に係る判定システムにおいて、判定部は、調理品を構成する要素のうち、調理品を特徴づける特定の要素である特定要素に基づいて、調理品の種類を判定し得る。

【0008】

上記態様に係る判定システムにおいて、判定部は、第１情報と、判定部が判定した調理品の種類とに基づいて、画像に含まれる調理品の構成に異常があるか否かを判定し得る。

【0009】

上記態様に係る判定システムにおいて、異常は、画像に含まれる調理品を構成する要素の種類の過不足を含み得る。

【0010】

上記態様に係る判定システムにおいて、第１情報は、所定の調理品に含まれる所定の要素について、調理品に含まれる要素の数の情報を含み得、異常は、画像に含まれる調理品を構成する要素の種類及び数の過不足を含み得る。

【0011】

上記態様に係る判定システムにおいて、第１情報は、所定の調理品に含まれる所定の要素について、調理品における要素の配置の情報を含み得、異常は、画像に含まれる調理品を構成する要素の配置の異常を含み得る。

【0012】

上記態様に係る判定システムは、判定部が画像に含まれる調理品の構成に異常がないと判定した場合に、判定部が判定した調理品の種類に対応するラベルを印刷するラベルプリンタをさらに備え得る。

【0013】

上記態様に係る判定システムにおいて、第１情報は、第１期間において参照される通常期間情報に含まれる調理品の要素の組合せとは異なる要素の組合せを含む特定期間情報であって、第１期間とは異なる第２期間において参照される特定期間情報を含み得る。

【0014】

上記態様に係る判定システムにおいて、推定部は、画像に複数の調理品が含まれる場合において、個々の調理品を互いに識別し得、識別された複数の調理品の各々について、調理品を構成する要素の種類を要素ごとに推定し得る。

【0015】

上記態様に係る判定システムにおいて、画像には、調理品の種類を示す識別コードが含まれ得、判定部は、調理品の種類と調理品の識別コードとの対応関係を示す第２情報と、判定部が判定した調理品の種類とに基づいて、判定部が判定した調理品の種類が、画像に含まれる識別コードに対応する調理品の種類と一致するか否かを判定し得る。

【0016】

上記態様に係る判定システムにおいて、推定部は、調理品の画像と画像に含まれる調理品を構成する要素の種類との関係を学習した学習済みモデルを使用して、調理品を構成する要素の種類を要素ごとに推定し得る。

【0017】

本発明の一態様において、調理品が撮影された画像を取得する取得部と、取得された画像に含まれる調理品を構成する要素の種類を、要素ごとに推定する推定部と、推定部による推定結果を、調理品における要素の配置に関する情報とともに出力する出力部と、を備える情報処理装置が提供される。

【0018】

本発明の一態様において、コンピュータのプロセッサが、撮影された画像に含まれる調理品の種類を判定する方法であって、プロセッサが、画像に含まれる調理品を構成する要素の種類を、要素ごとに推定することと、調理品の種類と調理品を構成する要素との対応関係を示す第１情報と、推定した要素の種類とに基づいて、調理品の種類を判定することと、を実行する方法が提供される。

【0019】

本発明の一態様において、コンピュータのプロセッサが、撮影された画像に含まれる調理品の種類を判定するためのプログラムであって、プロセッサに、画像に含まれる調理品を構成する要素の種類を、要素ごとに推定することと、調理品の種類と調理品を構成する要素との対応関係を示す第１情報と、推定した要素の種類とに基づいて、調理品の種類を判定することと、を実行させるプログラムが提供される。

【発明の効果】

【0020】

本発明によれば、調理品の判定における信頼性を向上させることができる判定システム、情報処理装置、方法、及びプログラムを提供することができる。

【図面の簡単な説明】

【0021】

【図1】第１実施形態に係る判定システムを示す概略図である。

【図2】第１実施形態に係る判定システムのシステム構成を示すブロック図である。

【図3】第１実施形態に係る判定システムにおけるデータの流れを示す図である。

【図4】第１実施形態に係る調理品データベースのデータ構造を示す図である。

【図5】第１実施形態に係る判定システムによる処理を示すフローチャートである。

【図6】第１実施形態に係る判定装置による判定方法を示すフローチャートである。

【図7】第１実施形態の第１変形例に係る判定装置による判定方法を示すフローチャートである。

【図8】第１実施形態の第２変形例に係る調理品データベースのデータ構造を示す図である。

【図9】第１実施形態の第３変形例に係る特定要素テーブルのデータ構造を示す図である。

【図10】第１実施形態の第３変形例に係る判定システムにおけるデータの流れを示す図である。

【図11】第１実施形態の第３変形例に係る判定システムによる処理を示すフローチャートである。

【図12】第１実施形態の第４変形例に係る調理品データベースのデータ構造を示す図である。

【図13】第１実施形態の第５変形例に係る店舗端末の画面例を示す図である。

【図14】第１実施形態の第６変形例に係る店舗端末の画面例を示す図である。

【図15】第２実施形態に係る判定システムを示す概略図である。

【図16】第２実施形態に係る判定システムによる処理を示すフローチャートである。

【図17】第２実施形態に係る判定システムにおけるデータの流れを示す図である。

【発明を実施するための形態】

【0022】

以下、本発明の実施形態に係る判定システム、情報処理装置、方法、及びプログラムについて、図面を参照して説明する。

【0023】

＜概要＞
以下で説明する一実施形態によれば、弁当や総菜などの調理品について、当該調理品を構成する要素（例えば、おかず、調味料、シール（ステッカー）など）を要素ごとに推定することにより、当該調理品の種類を高い信頼性で判定することができる。また、一実施形態によれば、調理品の要素に過不足がないか、配置の誤りがないか、適切な識別コードが表示されたラベルが付されているか、といった判定も可能である。これにより、調理品の製造や梱包を行う施設において、従業員が調理品の内容や貼付されたラベルをチェックする負担を軽減するとともに、確認漏れによる品質低下や企業のブランドイメージの低下を低減することができる。

【0024】

＜第１実施形態＞
図１～図６を参照して、第１実施形態に係る判定システム１について説明する。
図１は、第１実施形態に係る判定システム１を示す概略図である。
図２は、第１実施形態に係る判定システム１のシステム構成を示すブロック図である。
図３は、第１実施形態に係る判定システム１におけるデータの流れを示す図である。

【0025】

図１に示すように、本実施形態に係る判定システム１は、カメラ１００、判定装置２００（「情報処理装置」の一例）、店舗端末３００、ラベルプリンタ４００、本部端末５００、及びサーバ６００を含む。カメラ１００、判定装置２００、店舗端末３００、ラベルプリンタ４００、本部端末５００、及びサーバ６００は、ネットワークＮを介して互いに接続される。ネットワークＮは、インターネット、イントラネット、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、無線ＬＡＮなど、１以上の通信ネットワークを含む。なお、必ずしも全装置がネットワークＮを介して互いに接続されなくてもよい。例えば、ラベルプリンタ４００は店舗端末３００のみに接続されてもよく、サーバ６００は判定装置２００のみに接続されてもよい。

【0026】

カメラ１００、店舗端末３００、及びラベルプリンタ４００は、例えば、調理品Ｐの製造、包装、販売などを行う各店舗に設置される。設置場所の例としては、例えばスーパーマーケットや弁当屋のバックヤード、調理品製造工場などが挙げられる。判定装置２００は、例えば、特定の拠点に設置されてネットワークＮを介して各店舗のカメラ１００及び店舗端末３００に接続される。サーバ６００は、例えば、特定の拠点に設置されて、ネットワークＮを介して判定装置２００に接続される。なお、各装置の設置場所は上記例に限定されず、例えば、判定装置２００が各店舗に設置されてもよい。

【0027】

調理品Ｐは、弁当や総菜のような調理済みの食用品である。例えば、調理品Ｐは、容器及び当該容器に入った食品を含む商品である。調理品Ｐは、各店舗において、例えばトレイＴ上に配置されている。調理品Ｐは、１以上の要素Ｃを含む。要素Ｃは、食品に限られず、非食品であってもよい。例えば、調理品Ｐを構成する要素Ｃとしては、肉、魚、野菜、米などの食品；醤油、タレなどの（例えば容器に入った）調味料；調理品Ｐの容器（例えば容器の蓋）に貼付されたシール（例えば、商品を識別する識別コードが印刷された識別シール、特定時期に限って貼付される販促シール）などが挙げられる。

【0028】

［カメラ１００の構成］
カメラ１００は、トレイＴ上に配置された調理品Ｐを撮影する。具体的には、図２に示すように、カメラ１００は、対象物を撮影して画像データに変換する撮影部１０２と、入出力を行う入出力インタフェース１０４と、他の機器との通信を行う通信インタフェース１０６と、を含む。カメラ１００は、取得した画像データを、ネットワークＮを介して判定装置２００に送信する。なお、判定装置２００がカメラ１００に組み込まれて一体に構成されてもよい。カメラ１００は、図１に示すように複数の調理品Ｐをまとめて撮影してもよく（例えば、調理品Ｐが載置されたトレイＴ全体を撮影してもよく）、調理品Ｐごとに撮影してもよい。

【0029】

［判定装置２００の構成］
判定装置２００は、カメラ１００から取得した画像に含まれる調理品Ｐの要素Ｃの種類を推定するとともに、推定結果から調理品Ｐの種類を判定する。
図２を参照して判定装置２００の具体的な構成について説明する。判定装置２００は、取得部２０２、処理部２０４、記憶部２０６、及び出力部２０８を、その機能部として含む。

【0030】

取得部２０２は、入出力インタフェースを含んで構成され、判定装置２００に入力された情報を取得する。例えば、図３に示すように、判定装置２００には、カメラ１００から調理品Ｐの画像データが、サーバ６００から学習済みモデル２１６のデータが、それぞれ供給される。
取得部２０２は、ネットワークＮを介してカメラ１００から供給される調理品Ｐの画像データを取得する。また、取得部２０２は、サーバ６００から供給される学習済みモデル２１６のデータを取得する。

【0031】

処理部２０４は、取得部２０２が取得した情報に対して所定の演算処理を行う。具体的には、処理部２０４は、推定部２１０、判定部２１２、及びラベル情報生成部２１４を含む。

【0032】

推定部２１０は、取得部２０２が取得した調理品Ｐの画像について、当該画像に含まれる調理品Ｐを構成する要素Ｃの種類を、要素Ｃごとに推定する。例えば、推定部２１０は、図３に示すように、調理品Ｐの画像と当該画像に含まれる調理品Ｐを構成する要素Ｃの種類との関係を学習した学習済みモデル２１６を使用して、取得された画像に含まれる調理品Ｐを構成する要素Ｃの種類を推定する。推定部２１０は、入力された画像から直接的に要素Ｃの種類を推定してもよく、入力された画像に任意の処理を施した後、処理された画像に基づいて要素Ｃの種類を推定してもよい。例えば、推定部２１０は、入力された画像のコントラスト調整、平滑化、ノイズ除去、要素Ｃごとの輪郭抽出などの前処理を行った後、要素Ｃの種類を推定してもよい。推定部２１０は、要素Ｃの推定結果を判定部２１２に出力する。

【0033】

判定部２１２は、推定部２１０が推定した要素Ｃの種類に基づいて、これらの要素Ｃを含む調理品Ｐの種類を判定する。例えば、調理品Ｐが弁当であり、推定部２１０が推定した要素Ｃの種類が「焼き鮭」である場合、判定部２１２は、調理品Ｐの種類を「鮭弁当」であると判定する。一例として、判定部２１２は、図３に示すように、調理品Ｐの種類と当該調理品Ｐを構成する要素Ｃとの対応関係を示す調理品データベース２１８を参照して、調理品Ｐの種類を判定する。以下、判定部２１２のより具体的な構成について説明する。

【0034】

図４は、第１実施形態に係る調理品データベース２１８のデータ構造を示す図である。調理品データベース２１８は、「調理品」、「要素」、「価格」、「消費期限」、「摂取カロリー」、「栄養素」、「原材料」、及び「識別コード」の項目を含み、「要素」の項目は「食品」及び「その他」の小項目を含む。「調理品」の列には、調理品Ｐの種類の名称が記載されている。「要素」の「食品」の列には、調理品Ｐに含まれる要素Ｃのうち食品に該当するものの一覧が記載されている。「要素」の「その他」の列には、調理品Ｐに含まれる要素Ｃのうち食品に該当しないものの一覧が記載されている。「価格」の列には、調理品Ｐの販売価格が記載されている。「消費期限」の列には、調理品Ｐの完成時点からの消費期限が記載されている。「摂取カロリー」の列には、調理品Ｐの摂取カロリーの量が記載されている。「栄養素」の列には、調理品Ｐにより接種可能な栄養素が記載されている。「原材料」の列には、調理品Ｐの原材料が記載されている。「識別コード」の列には、調理品Ｐの種類を示す識別コードＩ（例えば、１次元バーコード又は２次元バーコード）の情報が記載されている。識別コードＩは、例えば、調理品Ｐの蓋に貼付されるラベルＬに印刷されてレジで読み取られるためのコードである。なお、調理品データベース２１８は単一のテーブルでなくてもよく、２以上のデータ構造に分かれていてもよい。調理品データベース２１８における「調理品」と「要素」との対応関係についての情報は「第１情報」の一例であり、「調理品」と「識別コード」との対応関係についての情報は「第２情報」の一例である。

【0035】

判定部２１２は、調理品データベース２１８の「要素」の列に列挙された要素Ｃの中から、推定部２１０が推定した要素Ｃと種類が一致する要素Ｃを検索することにより、調理品Ｐの種類を判定する。例えば、推定された要素Ｃが、鮭、玉子焼き、……である場合、判定部２１２は、鮭について、調理品データベース２１８の「要素」の列に列挙された要素Ｃごとに一致を判定し、次に玉子焼きについて、「要素」の列に列挙された要素Ｃごとに一致を判定する。このようにして、判定部２１２は、調理品データベース２１８の「要素」の列において、推定部２１０が推定した要素Ｃの種類の組合せと完全に一致する行があるか否かを判定することができる。判定部２１２は、完全一致の行があると判定した場合には、画像に含まれる調理品Ｐが当該完全一致の行における調理品Ｐであると判定する。一方、判定部２１２は、完全一致の行がないと判定した場合には、画像に含まれる調理品Ｐに対応する調理品Ｐは存在しないと判定する。

【0036】

ラベル情報生成部２１４は、判定部２１２が調理品Ｐの種類を判定した場合に、調理品データベース２１８に基づいて、当該調理品ＰのラベルＬに印刷すべき情報（例えば、調理品Ｐの名称、価格、消費期限、摂取カロリー、栄養素、原材料、識別コードＩなど）を含むラベル情報を生成する。

【0037】

記憶部２０６は、学習済みモデル２１６、調理品データベース２１８、プログラム２２０などを記憶する。プログラム２２０は、判定装置２００のプロセッサに所定の命令を実行させる。なお、学習済みモデル２１６、調理品データベース２１８、及びプログラム２２０は、必ずしも記憶部２０６に記憶されていなくてもよく、外部サーバなど別の装置に記憶されてもよい。例えば、調理品データベース２１８の一部又は全部の情報が記憶部２０６ではなく別の記憶装置に記憶されてもよい。

【0038】

出力部２０８は、入出力インタフェースを含んで構成され、処理部２０４における演算処理の結果（例えば、調理品Ｐの判定結果、調理品Ｐのラベル情報、調理品Ｐの要素Ｃの推定結果など）を出力する。例えば、図３に示すように、出力部２０８は、判定部２１２による判定結果を、ネットワークＮを介して店舗端末３００に出力する。

【0039】

［店舗端末３００の構成］
店舗端末３００は、各店舗に設置されて、判定装置２００からの出力結果を店舗の従業員などに報知する。例えば、店舗端末３００は、タブレット端末、スマートフォン、パーソナルコンピュータ、可動式又は据え置き型の表示装置などであってよい。具体的には、図２に示すように、店舗端末３００は、取得部３０２、処理部３０４、記憶部３０６、及び出力部３０８を、その機能部として含む。

【0040】

取得部３０２は、入出力インタフェースを含んで構成され、店舗端末３００に入力された情報を取得する。例えば、取得部３０２は、ネットワークＮを介して判定装置２００から判定部２１２の判定結果及びラベル情報を取得する。

【0041】

処理部３０４は、取得部３０２が取得した入力情報に対して所定の演算処理を行う。例えば、処理部３０４は、判定装置２００から取得した判定結果を、ユーザに提示するのに適した形式に適宜変換することができる。また、処理部３０４は、判定装置２００から取得したラベル情報に基づいて、ラベルプリンタ４００にラベルＬを印刷させるための印刷指示を生成することができる。なお、ラベル情報は、判定装置２００以外の装置により生成されてもよい。例えば、店舗端末３００が、判定装置２００の判定結果に基づいてラベル情報及び印刷指示を生成してもよい。

【0042】

記憶部３０６は、店舗端末３００のプロセッサに所定の命令を実行させるプログラムなどを記憶する。

【0043】

出力部３０８は、入出力インタフェースを含んで構成され、処理部３０４における演算処理の結果などを出力する。具体的には、出力部３０８は、出力をユーザに対して表示する表示部３１０を含む。表示部３１０は、任意のディスプレイであってよい。なお、出力部３０８は、音声や振動など視覚的表示以外の方法によって、判定装置２００の判定結果をユーザに報知してもよい。また、出力部３０８は、印刷指示をラベルプリンタ４００に出力する。出力部３０８は、取得部３０２が印刷指示を取得したことに応答して、当該印刷指示を自動的にラベルプリンタ４００に送信してもよく、ユーザの送信指示を受け付けてから当該印刷指示をプリンタ４００に送信してもよい。出力部３０８が印刷指示を自動的にラベルプリンタ４００に送信することは、ユーザの負担を軽減する点で好ましい。

【0044】

なお、判定部２１２による判定結果が誤っていた場合などには、図３に示すように、店舗端末３００の取得部３０２は、店舗の従業員などから入力されたフィードバック情報を取得することができる。例えば、取得部３０２は、判定結果が誤っていたこと及び正しい調理品Ｐの種類について、店舗側から入力された情報を取得することができる。店舗端末３００の処理部３０４又は店舗端末３００からフィードバック情報を取得した判定装置２００の処理部２０４は、取得されたフィードバック情報に基づいて、学習済みモデル２１６の追加学習を行うための学習用データセットを含む追加学習情報を生成する。生成された追加学習情報は、店舗端末３００の出力部３０８又は判定装置２００の出力部２０８により、サーバ６００に出力される。なお、追加学習情報は、判定装置２００及び店舗端末３００の両方からサーバ６００に出力されてもよい。

【0045】

［ラベルプリンタ４００の構成］
ラベルプリンタ４００は、ラベル情報を含む印刷指示を店舗端末３００から受け付けたことに応答して、ラベルＬを印刷する。ラベルＬは、例えば、店舗の従業員によって調理品Ｐの蓋などに貼付される。なお、ラベルプリンタ４００は、判定装置２００からラベル情報や印刷指示を直接受け付けてもよい。

【0046】

［本部端末５００の構成］
本部端末５００は、各店舗で販売される調理品Ｐのマスタデータを保有する端末である。本部端末５００は、例えば、各店舗を統括する事業本部などに設置される。本部端末５００は、機能部として取得部、処理部、記憶部、及び出力部を含む。図３に示すように、本部端末５００は、調理品Ｐのマスタデータが更新された場合に、更新された調理品Ｐの情報を判定装置２００、サーバ６００などに出力する。例えば、本部端末５００は、調理品データベース２１８を更新して、更新された調理品データベース２１８を判定装置２００に出力する。また、本部端末５００は、新商品である調理品Ｐの画像と当該調理品Ｐを構成する要素Ｃの種類との組合せを示す学習用データセットをサーバ６００に出力する。

【0047】

［サーバ６００の構成］
サーバ６００は、推定部２１０において使用される学習済みモデル２１６の生成及び更新を行う。具体的には、図２に示すように、サーバ６００は、取得部６０２、処理部６０４、記憶部６０６、及び出力部６０８を、その機能部として含む。

【0048】

取得部６０２は、入出力インタフェースを含んで構成され、サーバ６００に入力された情報を取得する。例えば、図３に示すように、取得部６０２は、本部端末５００から供給された商品情報（例えば、既存商品又は新商品の学習用データセット、既存商品の内容変更又は廃止の情報など）を取得する。また、取得部６０２は、判定装置２００または店舗端末３００から供給された追加学習情報を取得する。

【0049】

処理部６０４は、取得部６０２が取得した入力情報に対して所定の演算処理を行う。具体的には、処理部６０４は、機械学習を行う学習部６１０を含む。学習部６１０は、調理品Ｐの画像と当該調理品Ｐを構成する要素Ｃの種類との組合せを示す大量の学習用データセットを使用して、調理品Ｐの画像と当該調理品Ｐを構成する要素Ｃの種類との関係を学習した学習済みモデル２１６を生成することができる。使用するアルゴリズムとしては、ニューラルネットワーク、ディープラーニング（例えば、畳み込みニューラルネットワーク）、サポートベクターマシン（ＳＶＭ）など、既知の任意のモデルが使用可能である。なお、学習方法は学習用データセットを用いた教師あり学習に限定されず、教師なし学習、強化学習など任意の手法を使用することができる。

【0050】

また、学習部６１０は、本部端末５００から供給された新商品の学習用データセット、判定装置２００または店舗端末３００から供給された追加学習情報などに基づいて、生成した学習済みモデル２１６に追加の学習を行うことにより、学習済みモデル２１６を更新することができる。これにより、学習部６１０は、更新された学習済みモデル２１６を生成することができる。

【0051】

記憶部６０６は、サーバ６００のプロセッサに所定の命令を実行させるプログラム、学習モデル、学習用データセットなどを記憶する。

【0052】

出力部６０８は、入出力インタフェースを含んで構成され、処理部６０４における演算処理の結果などを出力する。例えば、出力部６０８は、更新された学習済みモデル２１６を判定装置２００に出力する。

【0053】

［判定方法のフロー］
次いで、図５及び図６を参照して、判定システム１の処理の流れを説明する。
図５は、第１実施形態に係る判定システム１による処理を示すフローチャートである。
図６は、第１実施形態に係る判定装置２００による判定方法を示すフローチャートである。

【0054】

図５に示すように、ステップＳ０５０１では、カメラ１００が、調理品Ｐの画像を取得する。ステップＳ０５０２では、カメラ１００が、画像データを判定装置２００に送信する。ステップＳ０５０３では、判定装置２００の推定部２１０が、例えば学習済みモデル２１６を使用して、調理品Ｐの画像から、当該調理品Ｐを構成する要素Ｃの種類を要素Ｃごとに推定する。ステップＳ０５０４では、判定装置２００の判定部２１２が、調理品データベース２１８と推定部２１０により推定された要素Ｃの種類とに基づいて、画像に含まれる調理品Ｐの種類を判定する。判定部２１２が特定の調理品Ｐを示す判定結果を出力した場合には、ステップＳ０５０５で、判定装置２００のラベル情報生成部２１４が、判定部２１２により判定された調理品Ｐに対応するラベル情報を生成する。ステップＳ０５０６では、判定装置２００の出力部２０８が、判定部２１２による判定結果及びラベル情報生成部２１４により生成されたラベル情報を、店舗端末３００に送信する。ステップＳ０５０７では、店舗端末３００の表示部３１０が、判定装置２００から取得した判定結果をユーザに対して表示する。ステップＳ０５０８では、店舗端末３００の出力部３０８が、判定装置２００から取得したラベル情報に基づく印刷指示をラベルプリンタ４００に送信する。ステップＳ０５０９では、ラベルプリンタ４００が、店舗端末３００から取得した印刷指示に基づいて、識別コードＩを含むラベル情報が記載されたラベルＬを印刷する。

【0055】

図６を参照して、ステップＳ０５０５の前の分岐処理について、より詳細に説明する。図６に示すように、判定装置２００は、ステップＳ０６０１において、カメラ１００から調理品Ｐの画像を取得する。ステップＳ０６０２では、推定部２１０が、画像に含まれる調理品Ｐを構成する要素Ｃの種類を推定する。ステップＳ０６０３では、判定部２１２が、推定部２１０により推定された要素Ｃの組合せが調理品データベース２１８の「要素」の列に存在するか否かを判定する。判定部２１２が、推定された要素Ｃの組合せが調理品データベース２１８に存在すると判定した場合には（ステップＳ０６０３：Ｙｅｓ）、判定部２１２は、ステップＳ０６０４において、調理品データベース２１８において推定された要素Ｃの組合せに対応する調理品Ｐが、画像に含まれる調理品Ｐであると判定する。ステップＳ０６０５では、ラベル情報生成部２１４が、判定部２１２により判定された調理品Ｐに対応するラベル情報を生成する。その後、ステップＳ０６０６において、出力部２０８が、判定結果及びラベル情報を店舗端末３００に送信する。

【0056】

一方、判定部２１２が、推定された要素Ｃの組合せが調理品データベース２１８に存在しないと判定した場合には（ステップＳ０６０３：Ｎｏ）、判定部２１２は、ステップＳ０６０６において、画像に含まれる調理品Ｐに対応する調理品Ｐは存在しないと判定する。その後、ステップＳ０６０６において、出力部２０８が、判定結果を店舗端末３００に送信する。この場合、ラベル情報生成部２１４は、具体的な調理品Ｐに対応するラベル情報を生成せず、その結果としてラベルプリンタ４００によるラベルＬの印刷も行われない。

【0057】

このようにして、判定装置２００は、撮影された調理品Ｐが調理品データベース２１８に存在するか否かを判定することができる。これにより、判定装置２００は、画像に含まれる調理品Ｐの構成に異常があるか否かを判定する。すなわち、判定装置２００は、撮影された調理品Ｐが調理品データベース２１８に存在すると判定した場合には、当該調理品Ｐの構成に異常がないと判定し、撮影された調理品Ｐが調理品データベース２１８に存在しないと判定した場合には、当該調理品Ｐの構成に異常があると判定することができる。ここで、本明細書において、「調理品の構成」は、調理品Ｐに含まれる要素Ｃの組合せ（例えば、要素Ｃの種類や数）及び調理品Ｐにおける要素Ｃの配置（例えば、要素Ｃ同士の位置関係や要素Ｃの向き）を含む。本実施形態では、調理品データベース２１８が調理品Ｐと要素Ｃの種類との対応関係についての情報を含むので、判定装置２００は、調理品データベース２１８を参照して、撮影された調理品Ｐを構成する要素Ｃの種類に異常があるか否かを判定することができる。なお、「調理品の構成の異常」としては、要素Ｃの種類の過不足だけでなく、要素Ｃの数の過不足、要素Ｃの配置の誤りなども挙げられる。

【0058】

本実施形態によれば、判定装置２００は、画像に含まれる調理品Ｐの要素Ｃを要素Ｃごとに推定し、調理品データベース２１８によって推定された要素Ｃの組合せに対応する調理品Ｐの種類を特定する。ここで、要素Ｃごとの推定を行わずに調理品Ｐの全体画像から調理品Ｐの種類を判定する場合には、要素Ｃの種類は同一だが配置が異なる２つの調理品Ｐの画像が与えられたときに、これらを同一の調理品Ｐであると判定することは容易ではない。また、機械学習によって要素Ｃの配置に依存せずに調理品Ｐを判定できるようにするためには、大量の学習が必要となる。これに対し、判定装置２００は、要素Ｃの種類を要素Ｃごとに推定するので、要素Ｃの配置にかかわらず調理品Ｐの種類を判定することが容易である。したがって、本実施形態によれば、調理品Ｐの全体画像から調理品Ｐの種類を直接判定する場合と比較して、調理品Ｐの判定における信頼性が向上する。また、判定装置２００の学習負荷を軽減することができる。

【0059】

また、例えば、検査対象の画像が入力されたことに応答して当該検査対象の良否の判定結果を出力する学習モデルを使用した場合には、良否の結果のみが出力されるので、非良品と判定された検査対象が具体的にどのような問題を有するのかを特定することは容易ではない。これに対し、本実施形態では、撮影された調理品Ｐの内容が要素Ｃごとに推定されるので、調理品Ｐに要素Ｃの過不足がある場合において、不良の原因である要素Ｃの特定が容易である。

【0060】

＜第１実施形態：第１変形例＞
次いで、図７を参照して、第１実施形態の第１変形例について説明する。以下では、主に上記実施形態との相違点について説明し、上記実施形態と共通する点についての説明は繰り返さない。

【0061】

上記実施形態では、判定部２１２は、調理品データベース２１８の「要素」の列において、推定部２１０が推定した要素Ｃの組合せ（以下、「推定結果」という。）と完全に一致する行がないと判定した場合には、画像に含まれる調理品Ｐに対応する調理品Ｐは存在しないと判定する。これに対し、本変形例では、判定部２１２は、推定結果と完全に一致する行がない場合に、調理品データベース２１８の「要素」の列において、推定結果に最も近いものに対応する調理品Ｐが、画像に含まれる調理品Ｐであると推測する。

【0062】

図７は、第１実施形態の第１変形例に係る判定装置２００による判定方法を示すフローチャートである。図７に示すように、ステップＳ０７０１～Ｓ０７０６は、判定部２１２が、推定結果が調理品データベース２１８に存在すると判定した場合（ステップＳ０７０３：Ｙｅｓ）のフローに相当し、第１実施形態における図６のステップＳ０６０１～Ｓ０６０６と同様である。

【0063】

一方、判定部２１２が、推定結果が調理品データベース２１８に存在しないと判定した場合には（ステップＳ０７０３：Ｎｏ）、ステップＳ０７０７において、判定部２１２は、調理品データベース２１８における要素Ｃの組合せのうち推定結果に最も近いものに対応する調理品Ｐの種類を「撮影された調理品Ｐに最も類似する調理品Ｐ」（以下、「最類似調理品」という。）として出力する。例えば、判定部２１２は、調理品データベース２１８に記載された要素Ｃの各組合せを推定結果と比較して、推定結果と一致する要素Ｃの数が最も多かった調理品Ｐを、推定結果に最も近い調理品Ｐとする。あるいは、判定部２１２は、推定結果と一致しない要素Ｃの数が最も少なかった調理品Ｐを、推定結果に最も近い調理品Ｐとしてもよい。判定部２１２は、推定結果に最も近い調理品Ｐを決定するにあたり、要素Ｃの種類や大きさなどに応じて適宜重みづけを行ってもよい。

【0064】

次いで、ステップＳ０７０８において、判定部２１２は、判定結果として出力した最類似調理品（すなわち、推定結果に最も近い調理品Ｐ）を構成する要素Ｃとして調理品データベース２１８に記載された要素Ｃの組合せと、推定部２１０により推定された各要素Ｃの組合せとを比較して、その相違点を出力する。例えば、判定部２１２は、調理品データベース２１８において最類似調理品に対応する要素Ｃのうち、画像からは推定されなかった要素Ｃが存在する場合には、撮影された調理品Ｐに当該要素Ｃが不足していると判定する。また、判定部２１２は、調理品データベース２１８において最類似調理品に対応する要素Ｃ以外に、別の要素Ｃが画像から推定された場合には、撮影された調理品Ｐに当該要素Ｃが余分に含まれていると判定する。このようにして、判定部２１２は、撮影された調理品Ｐと、判定部２１２により出力された最類似調理品との相違点を出力することができる。

【0065】

その後、ステップＳ０７０６において、出力部２０８が、判定結果を店舗端末３００に送信する。例えば、判定結果は、撮影された調理品Ｐと完全に一致する調理品Ｐは存在しないこと、最類似調理品の種類、及び撮影された調理品Ｐと最類似調理品との相違点を含む。

【0066】

本変形例によれば、要素Ｃが推定結果と完全に一致する調理品Ｐが存在しない場合でも、最も類似する調理品Ｐをユーザに示すとともに、調理品データベース２１８に含まれる調理品Ｐとの相違点を抽出することができる。これにより、ユーザによる調理品Ｐの確認が容易になるので、ユーザの利便性が向上する。

【0067】

＜第１実施形態：第２変形例＞
次いで、図８を参照して、第１実施形態の第２変形例について説明する。以下では、主に上記実施形態との相違点について説明し、上記実施形態と共通する点についての説明は繰り返さない。

【0068】

上記実施形態では、判定装置２００が参照する調理品データベース２１８には、調理品Ｐと調理品Ｐの要素Ｃとの対応関係について単一の情報が含まれる例を説明した。これに対し、本変形例では、調理品データベース２１８は、調理品Ｐと調理品Ｐの要素Ｃとの対応関係について２以上の情報を含む。判定装置２００は、時期などの条件に応じて、どの情報を参照するかを変更することができる。すなわち、判定装置２００は、第１条件が満たされる場合には第１条件に対応する情報Ａを参照し、第１条件と異なる第２条件が満たされる場合には第２条件に対応する情報Ｂを参照することができる。ここで、情報Ｂは情報Ａとは異なる情報である。

【0069】

図８に示すように、本変形例に係る調理品データベース２１８は、調理品Ｐと調理品Ｐの要素Ｃとの対応関係として、時期に応じて切り替わる２種類の対応関係を含む。判定装置２００は、第１期間（図８では１月～９月、１１月、及び１２月）は、第１対応関係２１８ａを参照して判定処理を行い、第２期間（図８では１０月）は、第２対応関係２１８ｂを参照して判定処理を行う。例えば、図８では、第２対応関係２１８ｂを第１対応関係２１８ａと比較すると、「厚切り鮭弁当」の要素が「梅干し」から「栗」に変更され、「販促シールＡ」が要素として追加され、「価格」が５５０円から５００円に変更されている。なお、上記例では、調理品データベース２１８が第１期間の情報と第２期間の情報とを含むが、期間ごとの情報が別々のデータベースに格納されて、判定装置２００が期間に応じて参照するデータベースを変更してもよい。また、調理品データベース２１８の内容が、本部端末５００からの情報などに基づいて、期間に応じて更新されてもよい。

【0070】

本変形例によれば、特定時期だけ調理品Ｐの内容を変更したり、特定時期だけキャンペーン用に販促シールを貼ったりする場合にも、判定装置２００が調理品Ｐの種類を適切に判定できる。従業員による調理品Ｐのチェックでは、このような特定時期限定の変更点に留意しながら調理品Ｐを確認する負担が大きく、確認漏れが生じることもある。これに対し、上記構成によれば、ユーザの負担を軽減するとともに、確認漏れによる調理品Ｐの品質低下を低減し、ひいては企業の信頼性やブランドイメージを向上させることができる。

【0071】

＜第１実施形態：第３変形例＞
次いで、図９～図１１を参照して、第１実施形態の第３変形例に係る判定システム１について説明する。以下では、主に上記実施形態との相違点について説明し、上記実施形態と共通する点についての説明は繰り返さない。

【0072】

上記実施形態では、判定装置２００は、調理品データベース２１８における調理品Ｐと調理品Ｐの要素Ｃとの対応関係を参照して、推定部２１０により推定された要素Ｃから調理品Ｐの種類を判定する。これに対し、本変形例では、調理品Ｐと当該調理品Ｐを特徴づける特定の要素との対応関係を示す特定要素テーブル２２２を参照して、推定部２１０により推定された要素Ｃから調理品Ｐの種類を判定する。

【0073】

図９は、第１実施形態の第３変形例に係る特定要素テーブル２２２のデータ構造を示す図である。図１０は、第１実施形態の第３変形例に係る判定システム１におけるデータの流れを示す図である。図１１は、第１実施形態の第３変形例に係る判定システム１による処理を示すフローチャートである。

【0074】

特定要素テーブル２２２は、調理品Ｐと当該調理品Ｐを特徴づける特定の要素Ｃ（以下、「特定要素」という。）との対応関係の情報を含む。図９に示すように、特定要素テーブル２２２は、「調理品」及び「特定要素」の項目を含む。「調理品」の列には、調理品Ｐの種類の名称が記載されている。「特定要素」の列には、調理品Ｐに含まれる要素Ｃのうち特定要素が記載されている。特定要素は、調理品Ｐを構成する要素Ｃのうちの１以上である。好ましくは、特定要素テーブル２２２において、調理品Ｐと特定要素とは一対一に対応し、同一の特定要素に対応する調理品Ｐは１つしか存在しない。これにより、判定装置２００は、特定要素をキーとして、調理品Ｐの種類を一意に判定することができる。特定要素テーブル２２２は、判定装置２００の記憶部２０６に記憶され、判定部２１２によって参照される。なお、特定要素テーブル２２２は、調理品データベース２１８の一部に組み込まれてもよく、判定装置２００以外の装置に記憶されてもよい。図１０に示すように、特定要素テーブル２２２は、本部端末５００によって適宜更新されてよい。特定要素テーブル２２２における「調理品」と「特定要素」との対応関係についての情報は、「第１情報」の一例である。

【0075】

図１１を参照して、本変形例に係る判定装置２００の処理の流れを説明する。図１１に示すように、判定装置２００は、ステップＳ１１０１において、カメラ１００から調理品Ｐの画像を取得する。ステップＳ１１０２では、推定部２１０が、画像に含まれる調理品Ｐを構成する要素Ｃの種類を推定する。ステップＳ１１０３では、図１０に示すように、判定部２１２が、推定された要素Ｃと特定要素テーブル２２２とを比較し、特定要素テーブル２２２の「特定要素」の列の各項目のうち、推定部２１０により推定された要素Ｃに対応するものが存在するか否かを判定する。判定部２１２が、推定された要素Ｃに対応する特定要素が特定要素テーブル２２２に存在しないと判定した場合（図１１のステップＳ１１０３：Ｎｏ）、ステップＳ１１０４において、判定部２１２は、画像に含まれる調理品Ｐに対応する調理品Ｐは存在しないと判定する。この場合には、出力部２０８が「該当なし」などの判定結果を店舗端末３００に送信する。

【0076】

一方、判定部２１２が、推定された要素Ｃに対応する特定要素が特定要素テーブル２２２に存在すると判定した場合には（ステップＳ１１０３：Ｎｏ）、ステップＳ１１０４において、判定部２１２は、特定要素テーブル２２２において当該特定要素に対応する調理品Ｐが、撮影された調理品Ｐであると判定する。ステップＳ１１０５では、判定部２１２が、調理品データベース２１８と推定された要素Ｃとに基づいて、撮影された調理品Ｐの要素Ｃに過不足があるか否かを判定する。すなわち、判定部２１２は、判定部２１２が判定した調理品Ｐの種類と、推定部２１０が推定した要素Ｃの組合せとが、調理品データベース２１８に記載された調理品Ｐと要素Ｃとの対応関係を満足するか否かを判定する。例えば、判定部２１２は、図１０に示すように、調理品データベース２１８を参照して、判定された調理品Ｐに含まれるべき要素Ｃの組合せについての情報（以下、「第１要素情報」という。）を取得する。次いで、判定部２１２は、実際に撮影された画像から推定部２１０が推定した要素Ｃの組合せと第１要素情報とを比較する。これにより、判定部２１２は、撮影された調理品Ｐの要素Ｃの組合せが、調理品データベース２１８で特定された当該調理品Ｐの要素Ｃの組合せ（すなわち、第１要素情報の組合せ）と一致するか否かを判定することができる。判定部２１２は、撮影された調理品Ｐの要素Ｃの組合せが第１要素情報の組合せと一致しない場合には、要素Ｃを比較することにより、撮影された調理品Ｐにおいてどの要素Ｃが不足しているか、及びどの要素Ｃが余分に含まれているかを判定することができる。

【0077】

判定部２１２が、判定された調理品Ｐの要素Ｃに過不足がないと判定した場合には（図１１のステップＳ１１０６：Ｎｏ）、ステップＳ１１０７において、ラベル情報生成部２１４が、判定部２１２により判定された調理品Ｐに対応するラベル情報を生成する。その後、ステップＳ１１０８において、出力部２０８が、判定結果及びラベル情報を店舗端末３００に送信する。一方、判定された調理品Ｐの要素Ｃに過不足があると判定した場合には（ステップＳ１１０６：Ｙｅｓ）、ステップＳ１１０９において、判定部２１２が、判定された調理品Ｐ及び要素Ｃの過不足についての情報を判定結果として出力する。例えば、判定部２１２は、調理品Ｐの種類と、不足している要素Ｃ又は過剰な要素Ｃの種類とを判定結果として出力する。その後、ステップＳ１１０８において、出力部２０８が、判定結果を店舗端末３００に送信する。この場合、ラベル情報生成部２１４は、具体的な調理品Ｐに対応するラベル情報を生成せず、その結果としてラベルプリンタ４００によるラベルＬの印刷も行われない。

【0078】

本変形例によれば、判定装置２００は、調理品Ｐと特定要素とが対応付けられた特定要素テーブル２２２を参照して、調理品Ｐの種類を判定する。特定要素テーブル２２２を使用しない場合には、撮影された調理品Ｐに要素Ｃの過不足があると、第１実施形態の第１変形例のように、最も類似の調理品Ｐを探索する処理が必要になる場合がある。これに対し、上記構成によれば、特定要素をキーとして調理品Ｐの種類を判定できるので、調理品Ｐに要素Ｃの過不足がある場合でも、類似の調理品Ｐを探索する必要がなく、計算負荷が軽減され得る。また、判定装置２００は、調理品Ｐの種類を判定するだけでなく、不足している要素Ｃや過剰な要素Ｃを出力することができる。これにより、店舗の従業員のチェック負担を軽減するとともに、確認漏れによる調理品Ｐの品質低下を低減することができる。

【0079】

＜第１実施形態：第４変形例＞
次いで、図１２を参照して、第１実施形態の第４変形例について説明する。以下では、主に上記実施形態との相違点について説明し、上記実施形態と共通する点についての説明は繰り返さない。

【0080】

上記実施形態では、判定装置２００が調理品Ｐを構成する要素Ｃの種類の過不足を判定する例を説明した。これに対し、本変形例では、判定装置２００は、要素Ｃの種類の過不足だけでなく、同じ種類の要素Ｃの数の過不足も判定する。

【0081】

図１２は、第１実施形態の第４変形例に係る調理品データベース２１８のデータ構造を示す図である。上記実施形態における調理品データベース２１８との相違点は、図１２に示す調理品データベース２１８は、調理品Ｐに含まれる各要素Ｃの個数の情報も含む点である。例えば、図１２では、「ハンバーグ弁当」の「要素」欄には「人参」が２個含まれる旨が示されており、「餃子弁当」の「要素」欄には「餃子」が６個含まれる旨が示されている。なお、調理品データベース２１８において、必ずしも全調理品Ｐの全要素Ｃについて数が特定されなくてもよい。

【0082】

本変形例では、図１１のステップＳ１１０２において、推定部２１０は、撮影された調理品Ｐの要素Ｃを推定する際に、要素Ｃの種類だけでなく、各要素Ｃの数も併せて推定する。また、図１１のステップＳ１１０５において、判定部２１２は、調理品データベース２１８を参照して、撮影された調理品Ｐの要素Ｃの種類及び数に過不足があるか否かを判定する。すなわち、判定部２１２は、判定部２１２が判定した調理品Ｐの種類と、推定部２１０が推定した要素Ｃの種類及び数とが、図１２の調理品データベース２１８に記載された調理品Ｐと要素Ｃの種類及び数との対応関係を満足するか否かを判定する。要素Ｃの数に過不足があると判定された場合には、判定部２１２は、判定された調理品Ｐと、要素Ｃの数の過不足についての情報とを判定結果として出力する。

【0083】

本変形例によれば、判定装置２００は、要素Ｃの種類だけでなく要素Ｃごとの個数も過不足を判定することができる。これにより、同じ種類の要素Ｃが複数個含まれる調理品Ｐについても、従業員のチェック負担を軽減するとともに、確認漏れによる品質低下を抑制することができる。

【0084】

＜第１実施形態：第５変形例＞
次いで、図１３を参照して、第１実施形態の第５変形例について説明する。以下では、主に上記実施形態との相違点について説明し、上記実施形態と共通する点についての説明は繰り返さない。

【0085】

上記実施形態では、判定装置２００が調理品Ｐを構成する要素Ｃの種類及び数の過不足を判定する例を説明した。これに対し、本変形例では、調理品Ｐにおける要素Ｃの配置が適切か否かも判定する。

【0086】

図１３は、第１実施形態の第５変形例に係る店舗端末３００の画面例を示す図である。本変形例では、調理品データベース２１８が、調理品Ｐにおける要素Ｃの配置の情報を含む。図１３に示された「寿司弁当」の例で説明すると、例えば、調理品データベース２１８は、「いか握り」、「まぐろ握り」、「サーモン握り」などの要素Ｃの種類や数だけでなく、調理品Ｐの容器の一側で「いか握り」→「まぐろ握り」→「サーモン握り」→……という順番で配置されるという情報を含む。調理品データベース２１８における配置情報は、任意の形式で表されてよい。例えば、配置情報は、配置の順番や隣接関係として表されてもよく、図データとして表されてもよく、その他の形式で表されてもよい。なお、調理品データベース２１８において、必ずしも全調理品Ｐの全要素Ｃについて配置が特定されなくてもよい。

【0087】

本変形例では、図１１のステップＳ１１０２において、推定部２１０は、撮影された調理品Ｐの要素Ｃの種類や数を、画像の調理品Ｐにおける要素Ｃの配置と関連付けて推定する。図１３に示すように、推定部２１０による要素Ｃの推定結果は、撮影された調理品Ｐにおける要素Ｃの配置に関する情報とともに出力される。また、図１１のステップＳ１１０５において、判定部２１２は、調理品データベース２１８を参照して、撮影された調理品Ｐの要素Ｃの配置が、調理品データベース２１８に記載された調理品Ｐにおける要素Ｃの配置を満足するか否かを判定する。すなわち、判定部２１２は、判定部２１２が判定した調理品Ｐの種類と、推定部２１０が推定した要素Ｃの配置とが、調理品データベース２１８に記載された調理品Ｐと要素Ｃの配置との対応関係を満足するか否かを判定する。要素Ｃの配置に誤りがあると判定された場合には、判定部２１２は、判定された調理品Ｐと、要素Ｃの配置の誤りについての情報とを判定結果として出力する。

【0088】

店舗端末３００は、判定装置２００から供給された判定結果を取得して、表示部３１０において図１３のような画像１３００をユーザに表示する。処理部３０４は、判定装置２００から取得した判定結果に基づいて、表示部３１０に表示させる画像１３００を生成する。画像１３００は、その左側領域１３１０に、撮影された調理品Ｐの画像１３１１と、配置の誤りが検出された部分を示す枠線１３１２と、警告メッセージ１３１３と、を含む。また、画像１３００は、その右側領域１３２０に、調理品データベース２１８の配置情報から生成された正しい配置を示す図１３２１と、配置の誤りが検出された部分を示す枠線１３２２と、を含む。

【0089】

本変形例によれば、判定装置２００は、要素Ｃの種類や数だけでなく、調理品Ｐにおける要素Ｃの配置の誤りの有無を判定することができる。これにより、要素Ｃの配置が重要な調理品Ｐについても、従業員のチェック負担を軽減するとともに、確認漏れによる品質低下を抑制することができる。

【0090】

＜第１実施形態：第６変形例＞
次いで、図１４を参照して、第１実施形態の第６変形例について説明する。以下では、主に上記実施形態との相違点について説明し、上記実施形態と共通する点についての説明は繰り返さない。

【0091】

上記実施形態では、カメラ１００が１個の調理品Ｐを撮影する例を説明した。これに対し、本変形例では、カメラ１００が複数の調理品Ｐを撮影し、判定装置２００が、複数の調理品Ｐが含まれる画像に対して、各調理品Ｐの種類を判定する。

【0092】

本変形例では、画像に複数の調理品Ｐが含まれる場合において、推定部２１０は、画像に含まれる調理品Ｐの要素Ｃの種類を推定するにあたり、個々の調理品Ｐを互いに識別する。例えば、推定部２１０は、調理品Ｐの画像と当該調理品Ｐの外縁の位置との関係を学習した学習済みモデル２１６を使用して、画像に含まれる個々の調理品Ｐの外縁を認識することができる。推定部２１０は、個々の調理品Ｐの外縁を認識することにより、画像中の個々の調理品Ｐを互いに識別することができる。学習済みモデル２１６の学習は、上記実施形態と同様の手法で行ってもよく、別の手法で行ってもよい。なお、推定部２１０は、機械学習モデル以外の任意の画像認識方法を使用してもよい。また、個々の調理品Ｐの識別方法は、上記例に限定されない。例えば、調理品Ｐが載置されるトレイＴに所定の仕切りや窪みなどの位置決め特徴部が設けられてもよい。この場合には、推定部２１０は、当該位置決め特徴部を基準として、個々の調理品Ｐを互いに識別することができる。推定部２１０が個々の調理品Ｐを互いに識別した後、推定部２１０は、調理品Ｐごとに上記実施形態と同様の推定処理を行う。その後、判定部２１２が、調理品Ｐごとに上記実施形態と同様の判定処理を行う。

【0093】

図１４は、第１実施形態の第６変形例に係る店舗端末３００の画面例を示す図である。店舗端末３００は、判定装置２００から供給された各調理品Ｐの判定結果を取得して、表示部３１０において図１４のような画像１４００をユーザに表示する。処理部３０４は、判定装置２００から取得した判定結果に基づいて、表示部３１０に表示させる画像１４００を生成する。画像１４００は、撮影された４個の調理品Ｐ１～Ｐ４の画像１４０１と、画像１４０１に重ねて表示された調理品Ｐ１～Ｐ４の外縁を示す枠線１４１１、１４１２、１４１３、１４１４と、調理品Ｐ１～Ｐ４についての判定結果を示すメッセージ１４２１、１４２２、１４２３、１４２４と、を含む。図１４に示す例では、調理品Ｐ１～Ｐ３は、要素Ｃの過不足がなく、調理品データベース２１８の対応関係を満足している。これに対し、調理品Ｐ４は、「漬物」（調理品Ｐ１～３の要素Ｃ１～Ｃ３）が不足しているので、調理品データベース２１８の対応関係を満足しない。このため、調理品Ｐ１～Ｐ３には異常がない旨のメッセージ１４２１～１４２３が表示されているのに対し、調理品Ｐ４には警告メッセージ１４２４が表示されている。

【0094】

本変形例によれば、判定装置２００は、複数の調理品Ｐの種類をまとめて判定することができる。これにより、調理品Ｐを１つ１つ判定する場合に比べて、判定処理の効率性が向上する。

【0095】

＜第２実施形態＞
次いで、図１５及び図１６を参照して、第２実施形態に係る判定システム１について説明する。以下では、主に上記実施形態との相違点について説明し、上記実施形態と共通する点についての説明は繰り返さない。

【0096】

上記実施形態では、判定装置２００が、撮影された画像から要素Ｃを推定するとともに調理品Ｐの種類を判定し、調理品Ｐと要素Ｃとの対応関係が適切か否かを判定する例を説明した。これに対し、第２実施形態では、判定装置２００が、調理品Ｐに識別コードＩを含むラベルＬが付されている場合において、撮影された画像から判定された調理品Ｐの種類が、識別コードＩに対応する調理品Ｐに対応しているか否かを判定する。

【0097】

図１５は、第２実施形態に係る判定システム１を示す概略図である。図１６は、第２実施形態に係る判定システムにおけるデータの流れを示す図である。図１７は、第２実施形態に係る判定システム１による処理を示すフローチャートである。

【0098】

図１５に示す判定システム１は、トレイＴに載置された調理品Ｐに蓋がされ、識別コードＩが印刷されたラベルＬが蓋に貼付されている点を除き、図１に示す判定システム１と同様である。カメラ１００は、ラベルＬが貼付された蓋が取り付けられた調理品Ｐを撮影する。

【0099】

本実施形態では、図１６に示すように、判定装置２００は、識別コード解析部２２４を含む。識別コード解析部２２４は、調理品Ｐの種類を識別する識別コードＩを含む画像データから識別コードＩを取得し、調理品データベース２１８を参照して、取得した識別コードＩに対応する調理品Ｐを判定する。

【0100】

図１６及び図１７を参照して、判定システム１による処理の流れを説明する。ステップＳ１７０１では、カメラ１００が、ラベルＬが付与された調理品Ｐを撮影する。ステップＳ１７０２では、カメラ１００が、取得した画像データを判定装置２００に送信する。ステップＳ１７０３では、推定部２１０が、第１実施形態と同様に、画像データを取得し、学習済みモデル２１６を使用して、当該画像データに含まれる調理品Ｐの要素Ｃの種類を、要素Ｃごとに推定する。ステップＳ１７０４では、判定部２１２が、調理品データベース２１８を参照して、推定部２１０により推定された要素Ｃに対応する調理品Ｐの種類を第１判定結果として取得する。

【0101】

一方、図１６に示すように、識別コード解析部２２４も、カメラ１００からの画像データを取得し、当該画像データに含まれるラベルＬの識別コードＩを取得する。図１７のステップＳ１７０５では、識別コード解析部２２４が、調理品データベース２１８を参照して、取得した識別コードＩに対応する調理品Ｐについての情報を取得する。判定部２１２は、この識別コードＩに対応する調理品Ｐの種類を、識別コード解析部２２４から第２判定結果として取得する。

【0102】

ステップＳ１７０６では、判定部２１２が、推定部２１０の推定結果から導出された第１判定結果による調理品Ｐの種類と、識別コードＩから導出された第２判定結果による調理品Ｐの種類とを比較し、両者が一致するか否かを判定する。ステップＳ１７０７では、出力部２０８が、店舗端末３００に判定結果を送信する。ステップＳ１７０８では、店舗端末３００の表示部３１０が、判定装置２００から取得した判定結果をユーザに対して表示する。これにより、判定装置２００は、調理品ＰのラベルＬに印刷された識別コードＩと、当該調理品Ｐの内容とが一致しているか否かを判定することができる。なお、判定装置２００は、上記の判定処理に加えて、第１実施形態の各変形例で説明したように要素Ｃの構成に異常があるか否かを判定してもよい。例えば、判定装置２００は、調理品Ｐの蓋に販促シールなど所定の要素Ｃが適切に付されているか否かを判定することができる。

【0103】

本実施形態によれば、調理品Ｐに不適切な識別コードＩが印刷されたラベルＬが貼付されている場合に、調理品Ｐの種類が識別コードＩと一致していないことを自動的に検出することができる。誤ったラベルＬが貼付された調理品Ｐが販売された場合、調理品Ｐの内容がラベルＬと異なることにより顧客からのクレームが発生したり、企業の信頼性やブランドイメージが低下したりするだけでなく、食品アレルギーに起因する事故に繋がるおそれもある。しかしながら、店舗の従業員によるコードリーダ及び目視によるチェックは、従業員の負荷が大きく、確認漏れなどのヒューマンエラーを完全になくすことも困難である。これに対し、上記構成によれば、調理品Ｐの内容とラベルＬの識別コードＩとが対応するか否かを自動的に判定することができる。これにより、ユーザの負担を軽減するとともに、確認漏れによる調理品Ｐの品質低下を低減し、ひいては企業の信頼性やブランドイメージを向上させることができる。

【0104】

なお、上記実施形態では、識別コード解析部２２４がカメラ１００により撮影された画像から識別コードＩを読み取る例を説明したが、カメラ１００ではなく任意の構成のコードリーダを用いて識別コードＩが撮影されてもよい。コードリーダは、撮影した識別コードＩの情報を取得し、当該情報を、例えば店舗端末３００や判定装置２００に送信する。

【0105】

上記例において説明した取得部、処理部、記憶部、出力部などの各機能部は、情報処理装置が備えるプロセッサ、メモリ、ストレージ、入出力インタフェース、通信インタフェース、これらを相互接続するバスなどを含むハードウェア構成の協働により実現される機能部である。

【0106】

上記例において説明したプログラムは、判定装置２００などの各情報処理装置に予めインストールされてよい。あるいは、当該プログラムは、コンピュータで読み取り可能な不揮発性の記憶媒体に記憶され、又は外部サーバなどからネットワークを介して配布されて、判定装置２００などの各情報処理装置に適宜インストールされてもよい。記憶媒体としては、例えば、磁気記録媒体、光学記録媒体、半導体メモリデバイスなどが挙げられる。具体的には、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、光磁気ディスク、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ、メモリカードなどが挙げられる。

【0107】

上記実施形態においては、単一の判定装置２００が推定部２１０及び判定部２１２を含む例を説明したが、推定部２１０と判定部２１２とが別々の情報処理装置に備えられてもよい。他の任意の機能部についても同様に、複数の情報処理装置の協働で実現されてもよい。

【0108】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0109】

１…判定システム、１００…カメラ、２００…判定装置、２０２…取得部、２０４…処理部、２０６…記憶部、２０８…出力部、２１０…推定部、２１２…判定部、２１４…ラベル情報生成部、２１６…学習済みモデル、２１８…調理品データベース、２２０…プログラム、２２２…特定要素テーブル、２２４…識別コード解析部、３００…店舗端末、４００…ラベルプリンタ、５００…本部端末、６００…サーバ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】