特開 2024-158680 状態判定装置、状態判定システム、状態判定方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024158680

(43)【公開日】2024-11-08

(54)【発明の名称】状態判定装置、状態判定システム、状態判定方法、及びプログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241031BHJP

   G06Q 50/12 20120101ALI20241031BHJP

【ＦＩ】

G06T7/00 350B

G06Q50/12

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2023074072

(22)【出願日】2023-04-28

(71)【出願人】

【識別番号】000227205

【氏名又は名称】ＮＥＣプラットフォームズ株式会社

(74)【代理人】

【識別番号】100109313

【弁理士】

【氏名又は名称】机 昌彦

(74)【代理人】

【識別番号】100149618

【弁理士】

【氏名又は名称】北嶋 啓至

(72)【発明者】

【氏名】細田 雄祐

【テーマコード（参考）】

5L049

5L050

5L096

【Ｆターム（参考）】

5L049CC24

5L050CC24

5L096AA06

5L096BA02

5L096BA18

5L096CA02

5L096DA02

5L096DA03

(57)【要約】

【課題】多量の学習データを準備しなくても、対象の状態が判定可能な状態判定装置を提供することにある。
【解決手段】 本開示の状態判定装置は、状態判定する対象全体を撮像した撮像画像を取得する、画像取得手段と、画像を格子状に分割する、分割手段と、格子状に分割した各区画の状態を所定段階で示したラベルを付与した、各区画の分割画像を学習データに用いて生成した学習モデルに基づいて、各区画の状態を推定する、推定手段と、各区画の状態に基づいて、対象全体の状態を判定する、判定手段と、対象全体の状態に関する状態情報を出力する、出力手段と、を備える。
【選択図】 図１

【特許請求の範囲】

【請求項1】

状態判定する対象全体を撮像した撮像画像を取得する、画像取得手段と、
前記撮像画像を格子状に分割する、分割手段と、
格子状に分割した各区画の状態を所定段階で示したラベルを付与した、各区画の分割画像を学習データに用いて生成した学習モデルに基づいて、各区画の状態を推定する、推定手段と、
各区画の状態に基づいて、前記対象全体の状態を判定する、判定手段と、
前記対象全体の状態に関する状態情報を出力する、出力手段と、を備える、状態判定装置。

【請求項2】

前記対象が料理であり、
前記画像取得手段は、料理全体を撮像した撮像画像を取得し、
前記分割手段は、前記撮像画像を格子状に分割し、
前記推定手段は、格子状に分割した各区画の残量を所定段階で示した残量ラベルを付与した、各区画の分割画像を学習データに用いて生成した学習モデルに基づいて、各区画の残量を推定し、
前記判定手段は、各区画の状態に基づいて、前記料理全体の残量を判定し、
前記出力手段は、前記料理全体の残量を出力する、請求項１に記載の状態判定装置。

【請求項3】

前記出力手段は、前記料理全体の残量が所定未満の場合に、前記料理全体の残量を出力する、請求項２に記載の状態判定装置。

【請求項4】

前記料理全体の残量を保持する、保持手段と、
直近の前記料理全体の残量が所定時間前の前記料理全体の残量よりも多い場合、前記料理が補充されたことを検出する、検出手段と、を更に備える、請求項２に記載の状態判定装置。

【請求項5】

前記残量ラベルは、分割画像に料理が存在しない状態、分割画像に半分程度料理が確認できる状態、分割画像に料理が満たされている状態のいずれかのラベルである、請求項２に記載の状態判定装置。

【請求項6】

前記画像取得手段は、混雑率を判定する空間全体を撮像した撮像画像を取得し、
前記分割手段は、前記撮像画像を格子状に分割し、
前記推定手段は、格子状に分割した各区画の混雑率を所定段階で示したラベルを付与した、各区画の分割画像を学習データに用いて生成した学習モデルに基づいて、各区画の混雑率を推定し、
前記判定手段は、各区画の混雑率を用いて、空間全体の混雑率を判定し、
前記出力手段は、前記空間全体の混雑率を出力する、請求項１に記載の状態判定装置。

【請求項7】

前記画像取得手段は、在庫率を判定する商品の陳列棚全体を撮像した撮像画像を取得し、
前記分割手段は、前記撮像画像を格子状に分割し、
前記推定手段は、格子状に分割した各区画の在庫率を所定段階で示したラベルを付与した、各区画の分割画像を学習データに用いて生成した学習モデルに基づいて、各区画の在庫率を推定し、
前記判定手段は、各区画の在庫率を用いて、陳列棚全体の在庫率を判定し、
前記出力手段は、前記陳列棚全体の在庫率を出力する、請求項１に記載の状態判定装置。

【請求項8】

カメラと、請求項１～７のいずれか一項に記載の状態判定装置と、を有し、
前記画像取得手段は、前記カメラにより撮像した前記対象全体の撮像画像を取得する、状態判定システム。

【請求項9】

コンピュータが、
状態判定する対象全体を撮像した撮像画像を取得し、
前記撮像画像を格子状に分割し、
格子状に分割した各区画の状態を所定段階で示したラベルを付与した、各区画の分割画像を学習データに用いて生成した学習モデルに基づいて、各区画の状態を推定し、
各区画の状態に基づいて、前記対象全体の状態を判定し、
前記対象全体の状態に関する状態情報を出力する、状態判定方法。

【請求項10】

状態判定する対象全体を撮像した撮像画像を取得し、
前記撮像画像を格子状に分割し、
格子状に分割した各区画の状態を所定段階で示したラベルを付与した、各区画の分割画像を学習データに用いて生成した学習モデルに基づいて、各区画の状態を推定し、
各区画の状態に基づいて、前記対象全体の状態を判定し、
前記対象全体の状態に関する状態情報を出力することをコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、状態判定装置、状態判定システム、状態判定方法、及びコンピュータプログラム等に関する。

【背景技術】

【0002】

バイキング形式の飲食店において、カメラから取得した料理を画像認識することで料理の残量を判定する技術がある。

【0003】

例えば、特許文献１には、カメラにより料理を撮像して料理の残量を計算する料理残量検出装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１５－１３８４５２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）による画像認識を用いて物体の状態を判定しているものが多く存在している。しかし、この方法では、画像認識モデルの作成時に、学習データとして物体の各状態を表すラベルを付与した画像がそれぞれ必要となり、学習に用いる画像を大量に準備する必要がある。

【0006】

本開示の目的の一例は、大量の学習データを準備しなくても、対象の状態が判定可能な状態判定装置を提供することにある。

【課題を解決するための手段】

【0007】

本開示の一態様における状態判定装置は、状態判定する対象全体を撮像した撮像画像を取得する、画像取得手段と、撮像画像を格子状に分割する、分割手段と、格子状に分割した各区画の状態を所定段階で示したラベルを付与した、各区画の分割画像を学習データに用いて生成した学習モデルに基づいて、各区画の状態を推定する、推定手段と、各区画の状態に基づいて、対象全体の状態を判定する、判定手段と、対象全体の状態に関する状態情報を出力する、出力手段と、を備える。

【0008】

本開示の一態様における状態判定システムは、カメラと、上述の状態判定装置と、を有し、画像取得手段は、カメラにより撮像した対象全体の撮像画像を取得する。

【0009】

本開示の一態様における状態判定方法は、コンピュータが、状態判定する対象全体を撮像した撮像画像を取得し、撮像画像を格子状に分割し、格子状に分割した各区画の状態を所定段階で示したラベルを付与した、各区画の分割画像を学習データに用いて生成した学習モデルに基づいて、各区画の状態を推定し、各区画の状態に基づいて、対象全体の状態を判定し、対象全体の状態に関する状態情報を出力する。

【0010】

本開示の一態様におけるプログラムは、状態判定する対象全体を撮像した撮像画像を取得し、撮像画像を格子状に分割し、格子状に分割した各区画の状態を所定段階で示したラベルを付与した、各区画の分割画像を学習データに用いて生成した学習モデルに基づいて、各区画の状態を推定し、各区画の状態に基づいて、対象全体の状態を判定し、対象全体の状態に関する状態情報を出力することをコンピュータに実行させる。

【発明の効果】

【0011】

本発明による効果の一例は、大量の学習データを準備しなくても、対象の状態が判定可能な状態判定装置を提供することにある。

【図面の簡単な説明】

【0012】

【図1】図１は、本開示における状態判定装置を含む構成を示すブロック図である。

【図2】図２は、本開示における状態判定装置をコンピュータ装置とその周辺装置で実現したハードウェア構成を示す図である。

【図3】図３は、本開示の状態判定装置を適用する場面を説明する図である。

【図4】図４は、本開示における料理全体の状態の判定例を説明するための図である。

【図5】図５は、本開示における状態判定の動作を示すフローチャートである。

【図6】図６は、本開示の変形例における状態判定装置を含む構成を示すブロック図である。

【図7】図７は、本開示における状態判定の動作を示すフローチャートである。

【発明を実施するための形態】

【0013】

［第一の実施形態］
図１は、第一の実施形態における状態判定システム１０の構成を含むブロック図である。図１を参照すると、状態判定システム１０は、状態判定装置１００、カメラ２００及び従業員端末３００を備える。状態判定装置１００は、カメラ２００と従業員端末３００とそれぞれネットワーク接続されている。

【0014】

状態判定装置１００は、対象全体を撮像した撮像画像から対象の状態を判定して、従業員端末３００に通知する。カメラ２００は、状態判定する対象全体を撮像する。従業員端末３００は、店舗の従業員等が所持する端末であって、対象の状態に関する情報を受信する。図１に示すように、状態判定装置１００は、画像取得部１０１と分割部１０２と推定部１０３と判定部１０４と出力部１０５を備える。本実施形態では、バイキング形式の飲食店において、顧客がセルフサービスで取る料理の残量を判定する場面を想定しているが、本開示の適用範囲はこれに限られない。

【0015】

図２は、本開示の第一の実施形態における状態判定装置１００を、プロセッサを含むコンピュータ装置５００で実現したハードウェア構成の一例を示す図である。図２に示されるように、状態判定装置１００は、ＣＰＵ(Central Processing Unit)５０１、ＲＯＭ（Read Only Memory）５０２、ＲＡＭ（Random Access Memory）５０３等のメモリ、プログラム５０４を格納するハードディスク等の記憶装置５０５、ネットワーク接続用の通信インタフェース５０８、データの入出力を行う入出力インタフェース５０９を含む。本実施形態において、記憶装置５０５には、後述する学習モデルが格納されている。

【0016】

第一の実施形態において、状態判定装置１００における各構成部は、例えば、バス５１０を介してそれぞれ接続される。また、図１に示す第一の実施形態における状態判定装置１００は、クラウドコンピューティング等で構成することもできる。

【0017】

ＣＰＵ５０１は、オペレーティングシステムを動作させて本発明の第一の実施の形態に係る状態判定装置１００の全体を制御する。また、ＣＰＵ５０１は、例えばドライブ装置５０７などに装着された記録媒体５０６からメモリにプログラムやデータを読み出す。また、ＣＰＵ５０１は、第一の実施の形態における画像取得部１０１と分割部１０２と推定部１０３と判定部１０４と出力部１０５及びこの一部として機能し、プログラムに基づいて後述する図５に示すフローチャートにおける処理または命令を実行する。

【0018】

記録媒体５０６は、例えば光ディスク、フレキシブルディスク、磁気光ディスク、外付けハードディスク、または半導体メモリ等である。記録媒体の一部である半導体メモリ等は、不揮発性記憶装置であり、そこにプログラムを記録する。また、プログラムは、通信網に接続されている図示しない外部コンピュータからダウンロードされてもよい。

【0019】

以上のように、図１に示す第一の実施形態は、図２に示されるコンピュータ・ハードウェアによって実現される。ただし、図１の状態判定装置１００が備える各部の実現手段は、以上説明した構成に限定されない。また状態判定装置１００は、物理的に結合した一つの装置により実現されてもよいし、物理的に分離した二つ以上の装置を有線または無線で接続し、これら複数の装置により実現されてもよい。また、状態判定装置１００は、複数の注文商品の情報を表示するディスプレイ等の表示装置を更に備えても構わない。また、状態判定装置１００と、表示装置とが別々の装置により実現されたシステムとして構成されていてもよい。

【0020】

図３は、本開示の状態判定装置１００を適用する場面を説明する図である。図３の例では、カメラ２００は、上部方向から料理全体を撮像している。状態判定装置１００は、カメラ２００が撮像した料理の撮像画像を受信し、料理の残量を判定して、判定結果を従業員端末３００に送信する。

【0021】

続いて、状態判定装置１００の各構成部について詳細に説明する。本実施形態では、料理の残量を判定する例を主として説明するが、撮像画像に基づいて、状態が判定可能な対象であれば本開示の適用対象はこれに限られない。

【0022】

画像取得部１０１は、状態判定する対象全体を撮像した撮像画像を取得する。本実施形態において、状態とは、例えば、料理の残量である。撮像画像は、例えば、料理全体の残量が把握できるような角度で撮像した画像である。画像取得部１０１は、カメラ２００が所定時間毎に撮像した撮像画像を取得する。画像取得部１０１は、状態を判定する対象の撮像画像を取得すると、その撮像画像を分割部１０２に出力する。

【0023】

分割部１０２は、撮像画像を格子状に分割する。分割部１０２は、例えば、画像取得部１０１から入力された撮像画像を横方向と縦方向にそれぞれ等分割する。分割部１０２は、分割した分割画像を推定部１０３に出力する。

【0024】

推定部１０３は、格子状に分割した各区画の状態を所定段階で示したラベルを付与した、各区画の分割画像を学習データに用いて生成した学習モデルに基づいて、各区画の状態を推定する。推定部１０３は、各区画の分割画像を学習モデルに入力し、各区画の状態を推定する。学習用の各区画の分割画像には、予め用意された各区画の状態を所定段階で示したいずれかのラベルが対応づけられている。例えば、状態判定する対象が、料理の残量である場合、学習用の各区画の分割画像には、分割画像に料理が満たされている状態（「ＦＵＬＬ」）、分割画像に半分程度料理が確認できる状態（「ＨＡＬＦ」）、及び、分割画像に料理が存在しない状態（「ＥＭＰＴＹ」）といった、料理の残量の度合いを示すいずれかの残量ラベルが付与されている。本開示において、各区画の状態の度合いをより少ない段階で示して学習用の分割画像に付与するラベルの種類を減らすことで、用意する学習データを更に減らすことができる。推定部１０３は、各区画の状態情報を判定部１０４に出力する。

【0025】

判定部１０４は、各区画の状態情報に基づいて、対象全体の状態を判定する。判定部１０４は、各区画の状態情報を合わせることによって、対象全体の状態を判定する。例えば、各区画の状態情報が数値で表される情報であれば、判定部１０４は、各区画の状態情報の合計値又は平均値等を算出することで対象全体の状態を判定する。

【0026】

出力部１０５は、対象全体の状態に関する状態情報を出力する。出力部１０５は、例えば、従業員端末３００対して、状態情報を通知する。出力部１０５は、状態が所定条件の場合に、状態情報を出力してもよい。なお、料理の残量を判定する場合、出力部１０５は、料理全体の残量が所定未満の場合に、料理全体の残量を出力してもよい。この場合、従業員に料理の補充が必要であることを知らせることができる。

【0027】

図４は、本開示における料理全体の状態の判定例を説明するための図である。図４の例では、ピザの残量を判定する場合の例を示す。図４に示すように、分割部１０２は、ピザ全体Ａを撮像した撮像画像を格子状に１６区画に分割している。図４において、ピザの残量の度合いを示す残量ラベルは、Ａ１のように、１区画にピザが存在しない状態の「ＥＭＰＴＹ」、Ａ２のように１区画に半分程度ピザが確認できる状態の「ＨＡＬＦ」、Ａ３のように、１区画がピザで満たされている状態の「ＦＵＬＬ」の３段階で付与されている。推定部１０３は、各区画の分割画像を学習モデルに入力して、各区画のピザの残量を推定する。

【0028】

判定部１０４は、各区画の推定残量が「ＦＵＬＬ」の場合は１、「ＨＡＬＦ」の場合は０．５、「ＥＭＰＴＹ」の場合は０として各区画の残量を数値化し、全区画の残量の合計値から残量スコアを算出する。残量スコアとは、料理が補充された際の料理の残量を１００％とした場合における料理の残量の割合を示した値である。図４の例では、「ＥＭＰＴＹ」が４区画、「ＨＡＬＦ」が３区画、「ＦＵＬＬ」が９区画であるため、判定部１０４は、全区画の残量を１０．５（０×４＋０．５×３＋１×９）と算出する。なお、図４に示されるピザの残量が１００％であるときは、「ＨＡＬＦ」が４区画、「ＦＵＬＬ」が１２区画のため、１４（０．５×４＋１×１２）と数値化できる。よって、判定部１０４は、図４に示されたピザの残量スコアを７５％（１０．５／１４×１００）と判定する。

【0029】

以上のように構成された状態判定装置１００の動作について、図５のフローチャートを参照して説明する。

【0030】

図５は、本開示における状態判定装置１００の動作の概要を示すフローチャートである。尚、このフローチャートによる処理は、前述したプロセッサによるプログラム制御に基づいて、実行されてもよい。

【0031】

図５に示すように、まず、画像取得部１０１は、状態判定する対象全体を撮像した撮像画像を取得する（ステップＳ１０１）。次に、分割部１０２は、撮像画像を格子状に分割する（ステップＳ１０２）。次に、推定部１０３は、格子状に分割した各区画の状態を所定段階で示したラベルを付与した、各区画の分割画像を学習データに用いて生成した学習モデルに基づいて、各区画の状態を推定する（ステップＳ１０３）。推定部１０３は、全区間の状態の推定を完了していない場合（Ｓ１０４；ＮＯ）、Ｓ１０３を繰り返す。次いで、全区間の状態の推定が完了した場合（Ｓ１０４；ＹＥＳ）、判定部１０４が、各区画の状態に基づいて、対象全体の状態を取得する（ステップＳ１０５）。最後に、出力部１０５は、対象全体の状態に関する状態情報を出力する（ステップＳ１０６）。状態判定装置１００は、例えば、カメラ２００から、新たな撮像画像を受信する度に本フローチャートによる処理を繰り返す。以上で、状態判定装置１００は、状態判定の処理の動作を終了する。

【0032】

上述した本実施形態における状態判定装置１００において、分割部１０２は、撮像画像を格子状に分割し、推定部１０３は、格子状に分割した各区画の状態を所定段階で示したラベルを付与した、各区画の分割画像を学習データに用いて生成した学習モデルに基づいて、各区画の状態を推定する。そして、判定部１０４は、各区画の状態に基づいて、対象全体の状態を判定する。対象全体の撮像画像を用いて対象全体の状態を判定する方法では、状態ごとにラベル付けが必要となり、学習に用いる画像を大量に準備しなければならない問題があった。一方、本実施形態では、格子状に分割した各区画の状態を所定段階で示したラベルを付与した、各区画の分割画像を学習データに用いて学習モデルを生成する。これにより、大量の学習データを準備しなくても、対象の状態が判定可能となる。

【0033】

また、本実施形態では、カメラ２００から取得した撮像画像を格子状に分割してそのまま学習モデルに入力することでリアルタイムに対象全体の状態を出力することができる。これにより学習モデルを生成に要する時間を短縮でき、従業員はリアルタイムに対象全体の状態を確認できる。

【0034】

［変形例］
次に、本実施形態の変形例について図面を参照して詳細に説明する。以下、本実施形態の説明が不明確にならない範囲で、前述の説明と重複する内容については説明を省略する。本開示の各実施形態における各構成要素は、図２に示すコンピュータ装置と同様に、その機能をハードウェア的に実現することはもちろん、プログラム制御に基づくコンピュータ装置、ソフトウェアで実現することができる。

【0035】

図６は、本開示の第一の実施形態の変形例に係る状態判定装置１１０を含む構成を示す図である。図６を参照して、第一の実施形態に係る状態判定装置１００と異なる部分を中心に、第一の実施形態の変形例に係る状態判定装置１１０を説明する。

【0036】

本変形例では、対象が料理であり、バイキング形式の飲食店において、料理の残量が直近に判定した残量よりも多い場合に料理が補充されたことを検出することを想定している。ただし、本変形例は、料理に限らず、特定の商品が補充されたことを検知する場面でも適用可能である。

【0037】

第一の実施形態の変形例に係る状態判定装置１１０は、画像取得部１１１と分割部１１２と推定部１１３と判定部１１４と出力部１１５と保持部１１６と検出部１１７を備える。なお、画像取得部１１１と分割部１１２と推定部１１３と判定部１１４と出力部１１５の構成は、状態判定の対象が料理の残量判定に限定される以外は第一の実施形態における対応する構成部と同様である。

【0038】

保持部１１６は、料理全体の残量を保持する。保持部１１６は、例えば、判定部１１４が判定した料理全体の残量を記憶装置５０５に保持する。

【0039】

検出部１１７は、直近の対象全体の残量が所定時間前の対象全体の残量よりも多い場合に料理が補充されたことを検出する。検出部１１７は、判定部１１４が料理全体の残量を判定すると、記憶装置５０５内に保持されている直近の料理全体の残量を参照して、直近の料理の残量よりも判定された残量が多い場合、料理が補充されたことを検出する。また、検出部１１７は、料理が補充されたと判定した場合、保持部１１６にその判定情報を出力し、保持部１１６は、その料理の残量スコアを１００％に更新して記憶装置５０５に保持してもよい。一方、検出部１１７は、料理が補充されたと判定しなかった場合、その判定情報を保持部１１６に出力し、保持部１１６は、その料理の残量を判定部１１４が判定した残量スコアのまま記憶装置５０５に保持する。

【0040】

出力部１１５は、料理が補充されたと判定された場合、更に、補充されたことを従業員端末３００に通知してもよい。出力部１１５は、例えば、補充された料理名をその料理の補充担当者の従業員端末３００に通知する。また、本変形例において、出力部１１５は、従業員端末３００からの操作に基づいて、記憶装置５０５に保持している特定の料理の残量を従業員端末３００に通知してもよい。

【0041】

以上のように構成された状態判定装置１１０の動作について、図７のフローチャートを参照して説明する。

【0042】

図７は、本開示における状態判定装置１１０の動作の概要を示すフローチャートである。尚、このフローチャートによる処理は、前述したプロセッサによるプログラム制御に基づいて、実行されてもよい。

【0043】

図７に示すように、まず、画像取得部１１１は、料理全体を撮像した撮像画像を取得する（ステップＳ１１１）。次に、分割部１１２は、撮像画像を格子状に分割する（ステップＳ１１２）。次に、推定部１１３は、格子状に分割した各区画の料理の残量を所定段階で示したラベルを付与した、各区画の分割画像を学習データに用いて生成した学習モデルに基づいて、各区画の残量を推定する（ステップＳ１１３）。次いで、判定部１１４が、各区画の残量に基づいて、料理全体の残量を判定する（ステップＳ１１４）。次に、出力部１１５は、料理全体の残量を出力する（ステップＳ１１５）。次に、保持部１１６は、料理全体の残量を保持する（ステップＳ１１６）。直近の料理全体の残量が記憶装置５０５に保持されている場合（Ｓ１１７；ＹＥＳ）、フローをＳ１１８に進める。次いで、検出部１１７は、判定した料理全体の残量が直近の残量よりも多い場合（Ｓ１１８；ＹＥＳ）、料理が補充されたと判定し（ステップＳ１１９）、出力部１１５が従業員端末３００に補充されたことを通知する（ステップＳ１２０）。一方、Ｓ１１７において直近の料理全体の残量が記憶装置５０５に保持されていない場合（Ｓ１１７；ＮＯ）及びＳ１１８において判定した料理全体の残量が直近の残量以下の場合（Ｓ１１８；ＮＯ）、本フローを終了する。以上で、状態判定装置１１０は、状態判定の処理の動作を終了する。

【0044】

上述した第一の実施形態の変形例における状態判定装置１１０において、検出部１１７は、判定した料理全体の残量が直近の残量よりも多い場合、料理が補充されたことを検出し、出力部１１５が従業員端末３００に補充されたことを通知する。これにより、例えば、他の従業員が同じ料理を補充することを避けることができる。

【0045】

以上、各実施の形態を参照して本発明を説明したが、本発明は上記実施の形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解しえる様々な変更をすることができる。

【0046】

例えば、複数の動作をフローチャートの形式で順番に記載してあるが、その記載の順番は複数の動作を実行する順番を限定するものではない。このため、各実施形態を実施するときには、その複数の動作の順番は内容的に支障しない範囲で変更することができる。また、本実施形態及び変形例において、料理がピザである場合を説明したが、本開示の状態判定装置は他の料理でも適用することができる。この場合、残量を判定したい料理の画像で学習データを置きかえて学習モデルを生成することで別の料理にも適用することができる。

【0047】

また、本開示の状態判定装置１００は、空間の混雑率の判定にも適用することができる。すなわち、画像取得部１０１は、混雑率を判定する空間全体を上部から撮像した撮像画像を取得する。分割部１０２は、撮像画像を格子状に分割する。推定部１０３は、格子状に分割した各区画の混雑率を所定段階で示したラベルを付与した、各区画の分割画像を学習データに用いて生成した学習モデルに基づいて、各区画の混雑率を推定する。判定部１０４は、各区画の混雑率を用いて、空間全体の混雑率を判定する。出力部１０５は、空間全体の混雑率を出力する。この場合、状態判定装置１００は、格子状に分割した各区画の混雑率を所定段階で示したラベルを付与した、各区画の分割画像を学習データに用いて学習モデルを生成する。これにより、大量の学習データを準備しなくても、空間における混雑率が判定可能である。

【0048】

また、本開示の状態判定装置１００は、陳列棚に陳列された商品の在庫率の判定にも適用することができる。すなわち、画像取得部１０１は、在庫率を判定する商品が陳列された陳列棚全体を撮像した撮像画像を取得し、分割部１０２は、撮像画像を格子状に分割し、推定部１０３は、格子状に分割した各区画の在庫率を所定段階で示したラベルを付与した、各区画の分割画像を学習データに用いて生成した学習モデルに基づいて、各区画の在庫率を推定する。判定部１０４は、各区画の在庫率を用いて、陳列棚全体の在庫率を判定する。出力部１０５は、陳列棚全体の在庫率を出力する。この場合、状態判定装置１００は、格子状に分割した各区画の在庫率を所定段階で示したラベルを付与した、各区画の分割画像を学習データに用いて学習モデルを生成する。これにより、大量の学習データを準備しなくても、陳列棚における在庫率が判定可能である。

【符号の説明】

【0049】

１０、１１ 状態判定システム
１００、１１０ 状態判定装置
１０１、１１１ 画像取得部
１０２、１１２ 分割部
１０３、１１３ 推定部
１０４、１１４ 判定部
１０５、１１５ 出力部
１１６ 保持部
１１７ 検出部
２００、２１０ カメラ
３００，３１０ 従業員端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】