知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023181067
(43)【公開日】2023-12-21
(54)【発明の名称】情報処理システム、情報処理方法及びプログラム
(51)【国際特許分類】
G06Q 50/12 20120101AFI20231214BHJP
G06Q 30/06 20230101ALI20231214BHJP
【ＦＩ】
G06Q50/12
G06Q30/06
【審査請求】有
【請求項の数】6
【出願形態】ＯＬ
(21)【出願番号】P 2023003379
(22)【出願日】2023-01-12
(62)【分割の表示】P 2022159617の分割
【原出願日】2022-10-03
(11)【特許番号】
(45)【特許公報発行日】2023-05-11
(31)【優先権主張番号】P 2022094759
(32)【優先日】2022-06-10
(33)【優先権主張国・地域又は機関】JP
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 令和３年１２月９日に（１）セーフィー株式会社のウェブサイトｈｔｔｐｓ：／／ｓａｆｉｅ．ｃｏ．ｊｐ／ｎｅｗｓ／１４９４／、令和４年２月１４日に（２）セーフィー株式会社のウェブサイトｈｔｔｐｓ：／／ｓｓｌ４．ｅｉｒ－ｐａｒｔｓ．ｎｅｔ／ｄｏｃ／４３７５／ｔｄｎｅｔ／２０８５９３１／００．ｐｄｆ、令和４年３月２９日に（３）セーフィー株式会社のウェブサイトｈｔｔｐｓ：／／ｓｓｌ４．ｅｉｒ－ｐａｒｔｓ．ｎｅｔ／ｄｏｃ／４３７５／ｔｄｎｅｔ／２１００５２１／００．ｐｄｆにて発表 〔刊行物等〕 令和３年１２月９日にＥＡＧＬＹＳ株式会社のウェブサイトｈｔｔｐｓ：／／ｗｗｗ．ｅａｇｌｙｓ．ｃｏ．ｊｐ／ｎｅｗｓ／ｐｒｅｓｓ－ｒｅｌｅａｓｅ／２０２１１２０９／にて発表 〔刊行物等〕 令和３年１２月９日にＰＲ ＴＩＭＥＳのウェブサイトｈｔｔｐｓ：／／ｐｒｔｉｍｅｓ．ｊｐ／ｍａｉｎ／ｈｔｍｌ／ｒｄ／ｐ／０００００００８２．００００１７６４１．ｈｔｍｌ及びｈｔｔｐｓ：／／ｐｒｔｉｍｅｓ．ｊｐ／ｍａｉｎ／ｈｔｍｌ／ｒｄ／ｐ／０００００００２９．００００４１１０３．ｈｔｍｌにて発表 〔刊行物等〕 令和４年２月１４日にオンラインのＬＩＶＥ配信（ｈｔｔｐｓ：／／ｌｉｖｅ．ｉｒｗｅｂｍｅｅｔｉｎｇ．ｃｏｍ／ｓａｆｉｅ／ｌｉｖｅ／２０２２０２１４／ｃ）で開催された２０２１年１２月期通期決算説明会にて発表 〔刊行物等〕 令和４年２月１５日にログミーファイナンスのウェブサイトｈｔｔｐｓ：／／ｆｉｎａｎｃｅ．ｌｏｇｍｉ．ｊｐ／３７６８２４にて発表
(71)【出願人】
【識別番号】515029558
【氏名又は名称】セーフィー株式会社
(74)【代理人】
【識別番号】110002789
【氏名又は名称】弁理士法人ＩＰＸ
(72)【発明者】
【氏名】木場 要子
(72)【発明者】
【氏名】川村 有輝
(72)【発明者】
【氏名】平田 牧子
【テーマコード（参考）】
5L049
【Ｆターム（参考）】
5L049BB72
5L049CC24
(57)【要約】 （修正有）
【課題】管理者の負担を減らしつつ、実際にお客に提供される料理の質等を確認できる情報処理システム、情報処理方法及びプログラムを提供する。
【解決手段】サーバー装置１００と、クライアント装置１１０と、撮像装置１２０とが、ネットワーク１９０を介して通信可能に接続されている情報処理システム１０００であって、飲食店の所定の領域を含む撮像画像を画面に表示する。画面には、撮像画像に関するタイムラインが含まれ、撮像画像に基づいて所定の領域（デシャップ１３０）に料理１４０が置かれたことを検知した場合、タイムラインに関連付けて料理が置かれたことを示すオブジェクトが表示される。
【選択図】図１
【解決手段】サーバー装置１００と、クライアント装置１１０と、撮像装置１２０とが、ネットワーク１９０を介して通信可能に接続されている情報処理システム１０００であって、飲食店の所定の領域を含む撮像画像を画面に表示する。画面には、撮像画像に関するタイムラインが含まれ、撮像画像に基づいて所定の領域（デシャップ１３０）に料理１４０が置かれたことを検知した場合、タイムラインに関連付けて料理が置かれたことを示すオブジェクトが表示される。
【選択図】図１
【特許請求の範囲】
【請求項1】
情報処理システムであって、
飲食店の所定の領域を含む撮像画像を画面に表示し、
前記画面には、前記撮像画像に関するタイムラインが含まれ、
前記撮像画像に基づいて前記所定の領域に料理が置かれたことが検知された場合、前記タイムラインに関連付けて料理が置かれたことを示すオブジェクトが表示される、
情報処理システム。
飲食店の所定の領域を含む撮像画像を画面に表示し、
前記画面には、前記撮像画像に関するタイムラインが含まれ、
前記撮像画像に基づいて前記所定の領域に料理が置かれたことが検知された場合、前記タイムラインに関連付けて料理が置かれたことを示すオブジェクトが表示される、
情報処理システム。
【請求項2】
請求項１に記載の情報処理システムにおいて、
前記オブジェクトは、前記料理が置かれたタイミングを示す態様で表示される、
情報処理システム。
前記オブジェクトは、前記料理が置かれたタイミングを示す態様で表示される、
情報処理システム。
【請求項3】
請求項１に記載の情報処理システムにおいて、
前記撮像画像に基づいて前記所定の領域に料理が置かれたことを検知する、
情報処理システム。
前記撮像画像に基づいて前記所定の領域に料理が置かれたことを検知する、
情報処理システム。
【請求項4】
請求項１に記載の情報処理システムにおいて、
前記オブジェクトは、前記料理の種類に応じて異なる態様で表示される、
情報処理システム。
前記オブジェクトは、前記料理の種類に応じて異なる態様で表示される、
情報処理システム。
【請求項5】
請求項１に記載の情報処理システムにおいて、
前記撮像画像を前記料理の種類に応じて区別可能に格納させる、
情報処理システム。
前記撮像画像を前記料理の種類に応じて区別可能に格納させる、
情報処理システム。
【請求項6】
請求項５に記載の情報処理システムにおいて、
前記撮像画像に基づいて前記料理の種類を識別する、
情報処理システム。
前記撮像画像に基づいて前記料理の種類を識別する、
情報処理システム。
【請求項7】
請求項１に記載の情報処理装置において、
前記所定の領域は、デシャップである、
情報処理システム。
前記所定の領域は、デシャップである、
情報処理システム。
【請求項8】
請求項１に記載の情報処理システムにおいて、
前記撮像画像に含まれる料理の質に問題がある可能性がある場合、前記タイムラインに関連付けて前記所定の領域に置かれた料理の質に問題がある可能性があることを示すオブジェクトが表示される、
情報処理システム。
前記撮像画像に含まれる料理の質に問題がある可能性がある場合、前記タイムラインに関連付けて前記所定の領域に置かれた料理の質に問題がある可能性があることを示すオブジェクトが表示される、
情報処理システム。
【請求項9】
請求項７に記載の情報処理システムにおいて、
前記撮像画像に含まれる料理の質に問題がある可能性がある場合、前記撮像画像を所定の格納場所に格納させる、
情報処理システム。
前記撮像画像に含まれる料理の質に問題がある可能性がある場合、前記撮像画像を所定の格納場所に格納させる、
情報処理システム。
【請求項10】
請求項１に記載の情報処理システムにおいて、
前記撮像画像に含まれる料理の質に問題がある可能性がある場合、前記撮像画像と関連付けて、前記撮像画像に含まれる料理に関係する、前記料理が前記所定の領域に置かれる前の工程に関する撮像画像を所定の格納場所に格納させる、
情報処理システム。
前記撮像画像に含まれる料理の質に問題がある可能性がある場合、前記撮像画像と関連付けて、前記撮像画像に含まれる料理に関係する、前記料理が前記所定の領域に置かれる前の工程に関する撮像画像を所定の格納場所に格納させる、
情報処理システム。
【請求項11】
情報処理システムであって、
動画に基づいて所定の領域に料理が置かれたことが検知された場合、前記料理を含む静止画を取得し、前記静止画を前記料理の種類ごとに区別可能に格納させる、
情報処理システム。
動画に基づいて所定の領域に料理が置かれたことが検知された場合、前記料理を含む静止画を取得し、前記静止画を前記料理の種類ごとに区別可能に格納させる、
情報処理システム。
【請求項12】
請求項１１に記載の情報処理システムにおいて、
前記静止画を前記料理の種類ごとにフォルダに分けて格納させる、
情報処理システム。
前記静止画を前記料理の種類ごとにフォルダに分けて格納させる、
情報処理システム。
【請求項13】
請求項１１に記載の情報処理システムにおいて、
動画に基づいて前記所定の領域に料理が置かれたことを検知する、
情報処理システム。
動画に基づいて前記所定の領域に料理が置かれたことを検知する、
情報処理システム。
【請求項14】
請求項１１に記載の情報処理システムにおいて、
前記静止画に基づいて前記料理の種類を識別する、
情報処理システム。
前記静止画に基づいて前記料理の種類を識別する、
情報処理システム。
【請求項15】
請求項１１に記載の情報処理装置において、
前記所定の領域は、デシャップである、
情報処理システム。
前記所定の領域は、デシャップである、
情報処理システム。
【請求項16】
情報処理システムが実行する情報処理方法であって、
飲食店の所定の領域を含む撮像画像を画面に表示し、
前記画面には、前記撮像画像に関するタイムラインが含まれ、
前記撮像画像に基づいて前記所定の領域に料理が置かれたことが検知された場合、前記タイムラインに関連付けて料理が置かれたことを示すオブジェクトが表示される、
情報処理方法。
飲食店の所定の領域を含む撮像画像を画面に表示し、
前記画面には、前記撮像画像に関するタイムラインが含まれ、
前記撮像画像に基づいて前記所定の領域に料理が置かれたことが検知された場合、前記タイムラインに関連付けて料理が置かれたことを示すオブジェクトが表示される、
情報処理方法。
【請求項17】
情報処理システムが実行する情報処理方法であって、
動画に基づいて所定の領域に料理が置かれたことが検知された場合、前記料理を含む静止画を取得し、前記静止画を前記料理の種類ごとに区別可能に格納させる、
情報処理方法。
動画に基づいて所定の領域に料理が置かれたことが検知された場合、前記料理を含む静止画を取得し、前記静止画を前記料理の種類ごとに区別可能に格納させる、
情報処理方法。
【請求項18】
プログラムであって、
コンピュータを、
請求項１から１５までの何れか１項に記載の情報処理システムとして機能させるためのプログラム。
コンピュータを、
請求項１から１５までの何れか１項に記載の情報処理システムとして機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理システム、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
特許文献１には食材を簡単に調理できるようにする調理支援装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１０－１９１７４５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
すべての店舗において特許文献１に記載の調理支援装置を導入することは費用面において難しい問題がある。また、飲食店チェーンの中には冷凍食品の割合が多いところもあり、調理自体は誰でも問題なく行えるようになっているところもある。
ところで、飲食店では管理者等が臨店してデシャップ等を目視で確認し、実際にお客に提供される料理の質等（例えば、盛り付けが乱雑でないか、所定の量の料理がお皿に入れられているか、定食の場合、規定の数のおかず等が置かれているか等）を確認することが行われている。しかし、実際に臨店せずに、例えば遠隔地等にあるお店の料理の質等を確認することで、管理者の負担を減らしたいという要求がある。また、管理者等が臨店する日は予めお店に知らされているが、そのとき従業員はいいところを見せようとすることが多いため、できれば普段の料理の状況等を確認したいという要求もある。
ところで、飲食店では管理者等が臨店してデシャップ等を目視で確認し、実際にお客に提供される料理の質等（例えば、盛り付けが乱雑でないか、所定の量の料理がお皿に入れられているか、定食の場合、規定の数のおかず等が置かれているか等）を確認することが行われている。しかし、実際に臨店せずに、例えば遠隔地等にあるお店の料理の質等を確認することで、管理者の負担を減らしたいという要求がある。また、管理者等が臨店する日は予めお店に知らされているが、そのとき従業員はいいところを見せようとすることが多いため、できれば普段の料理の状況等を確認したいという要求もある。
【課題を解決するための手段】
【0005】
本発明の一態様によれば、情報処理システムが提供される。この情報処理システムは、飲食店の所定の領域を含む撮像画像を画面に表示する。画面には、撮像画像に関するタイムラインが含まれる。撮像画像に基づいて所定の領域に料理が置かれたことが検知された場合、タイムラインに関連付けて料理が置かれたことを示すオブジェクトが表示される。
【図面の簡単な説明】
【0006】
【発明を実施するための形態】
【0007】
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。
【0008】
以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。特に、本明細書において「部」とは、例えば、広義の回路によって実施されるハードウェア資源と、これらのハードウェア資源によって具体的に実現されうるソフトウェアの情報処理とを合わせたものも含みうる。また、本実施形態においては様々な情報を取り扱うが、これら情報は、０又は１で構成される２進数のビット集合体として信号値の高低によって表されるか、信号値の物理的な数値によって表されるか、又は量子的な重ね合わせによって表されるかによらず、広義の回路上で通信・演算が実行されうる。
【0009】
また、広義の回路とは、回路（Ｃｉｒｃｕｉｔ）、回路類（Ｃｉｒｃｕｉｔｒｙ）、プロセッサ（Ｐｒｏｃｅｓｓｏｒ）、及びメモリ（Ｍｅｍｏｒｙ）等を少なくとも適当に組み合わせることによって実現される回路である。すなわち、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Ｓｉｍｐｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＳＰＬＤ）、複合プログラマブル論理デバイス（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ））等を含むものである。
【0010】
また、実施形態中に登場するソフトウェアを実現するためのプログラムは、サーバーからダウンロード可能な態様で実施してもよいし、クラウドコンピュータ上でプログラムの実行がなされてもよいし、不揮発性又は揮発性の非一時的な記憶媒体に記憶させて頒布されてもよい。
【0011】
１．システム構成
図１は、情報処理システム１０００のシステム構成の一例を示す図である。図１に示されるように、情報処理システム１０００は、システム構成として、サーバー装置１００と、クライアント装置１１０と、撮像装置１２０と、を含む。サーバー装置１００と、クライアント装置１１０と、撮像装置１２０と、はネットワーク１９０を介して通信可能に接続されている。
サーバー装置１００は、撮像装置１２０で撮像された撮像画像を記憶し、撮像画像を解析し、解析結果をクライアント装置１１０等に送信する。クライアント装置１１０は、サーバー装置１００から受け取った撮像画像を表示したり、サーバー装置１００から受け取った解析結果を表示したりする。撮像装置１２０は、飲食店等、料理を提供する店舗に設置されているカメラである。料理を提供する店舗には、デシャップ１３０がある。デシャップ１３０とは、レストラン等の飲食店で、厨房で出来上がった料理１４０を配膳の前に置く場所のことである。撮像装置１２０は、少なくともデシャップ１３０全体を含む領域を撮像し、撮像画像をサーバー装置１００に送信する。飲食店に複数のデシャップがある場合、複数のデシャップそれぞれに対して撮像装置を設置してもよいし、１つの撮像装置を設置し、１つの撮像装置で複数のデシャップを撮像するようにしてもよい。以下では説明の簡略化のため、飲食店においてデシャップ１３０は１つ、デシャップ１３０を撮像するカメラは撮像装置１２０の１台として説明を行う。
図１は、情報処理システム１０００のシステム構成の一例を示す図である。図１に示されるように、情報処理システム１０００は、システム構成として、サーバー装置１００と、クライアント装置１１０と、撮像装置１２０と、を含む。サーバー装置１００と、クライアント装置１１０と、撮像装置１２０と、はネットワーク１９０を介して通信可能に接続されている。
サーバー装置１００は、撮像装置１２０で撮像された撮像画像を記憶し、撮像画像を解析し、解析結果をクライアント装置１１０等に送信する。クライアント装置１１０は、サーバー装置１００から受け取った撮像画像を表示したり、サーバー装置１００から受け取った解析結果を表示したりする。撮像装置１２０は、飲食店等、料理を提供する店舗に設置されているカメラである。料理を提供する店舗には、デシャップ１３０がある。デシャップ１３０とは、レストラン等の飲食店で、厨房で出来上がった料理１４０を配膳の前に置く場所のことである。撮像装置１２０は、少なくともデシャップ１３０全体を含む領域を撮像し、撮像画像をサーバー装置１００に送信する。飲食店に複数のデシャップがある場合、複数のデシャップそれぞれに対して撮像装置を設置してもよいし、１つの撮像装置を設置し、１つの撮像装置で複数のデシャップを撮像するようにしてもよい。以下では説明の簡略化のため、飲食店においてデシャップ１３０は１つ、デシャップ１３０を撮像するカメラは撮像装置１２０の１台として説明を行う。
【0012】
なお、図１では、説明の簡略化のため、情報処理システム１０００において、クライアント装置１１０は１台しか図示していないが、情報処理システム１０００には複数のクライアント装置１１０が含まれていてもよい。同様に、図１では、説明の簡略化のため、情報処理システム１０００において、各種構成が限定的な数しか図示されていないが、情報処理システム１０００には、図１に示されていない各種構成が含まれていてもよい。また、図１では、クライアント装置１１０の例としてＰＣを示しているが、ＰＣに限定されるものではなく、タブレット型コンピュータ等、後述する図６等に示されるような画面を表示できるものであればどのようなものであってもよい。
ここで、特許請求の範囲に記載の情報処理システムは、複数の装置で構成されてもよいし、一つの装置で構成されてもよい。特許請求の範囲に記載の情報処理システムが一つの装置で構成され場合、その装置の一例はクライアント装置１１０であり、他の例としてはサーバー装置１００である。特許請求の範囲に記載の情報処理システムが複数の装置で構成される場合、複数の装置の一例は、サーバー装置１００及びクライアント装置１１０である。
ここで、特許請求の範囲に記載の情報処理システムは、複数の装置で構成されてもよいし、一つの装置で構成されてもよい。特許請求の範囲に記載の情報処理システムが一つの装置で構成され場合、その装置の一例はクライアント装置１１０であり、他の例としてはサーバー装置１００である。特許請求の範囲に記載の情報処理システムが複数の装置で構成される場合、複数の装置の一例は、サーバー装置１００及びクライアント装置１１０である。
【0013】
２．ハードウェア構成
（サーバー装置１００のハードウェア構成）
図２は、サーバー装置１００のハードウェア構成の一例を示す図である。サーバー装置１００は、ハードウェア構成として、制御部２１０と、記憶部２２０と、通信部２３０と、を含む。
（サーバー装置１００のハードウェア構成）
図２は、サーバー装置１００のハードウェア構成の一例を示す図である。サーバー装置１００は、ハードウェア構成として、制御部２１０と、記憶部２２０と、通信部２３０と、を含む。
【0014】
制御部２１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等であって、サーバー装置１００の全体を制御する。制御部２１０は、記憶部２２０に記憶されているプログラムに基づき、処理を実行することによって、サーバー装置１００の機能等が実現される。
記憶部２２０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）の何れか、又はこれらの任意の組み合わせであって、プログラム及び制御部２１０がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。
通信部２３０は、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等であって、サーバー装置１００をネットワーク１９０に接続し、他の装置との通信を司る。
記憶部２２０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）の何れか、又はこれらの任意の組み合わせであって、プログラム及び制御部２１０がプログラムに基づき処理を実行する際に利用するデータ等を記憶する。
通信部２３０は、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）等であって、サーバー装置１００をネットワーク１９０に接続し、他の装置との通信を司る。
【0015】
（クライアント装置１１０のハードウェア構成）
図３は、クライアント装置１１０のハードウェア構成の一例を示す図である。クライアント装置１１０は、ハードウェア構成として、制御部３１０と、記憶部３２０と、入力部３３０と、出力部３４０と、通信部３５０と、を含む。
図３は、クライアント装置１１０のハードウェア構成の一例を示す図である。クライアント装置１１０は、ハードウェア構成として、制御部３１０と、記憶部３２０と、入力部３３０と、出力部３４０と、通信部３５０と、を含む。
【0016】
制御部３１０は、ＣＰＵ等であって、クライアント装置１１０の全体を制御する。
記憶部３２０は、ＨＤＤ、ＲＯＭ、ＲＡＭ、ＳＳＤの何れか、又はこれらの任意の組み合わせであって、プログラム、制御部３１０がプログラムに基づき処理を実行する際に利用するデータ等を記憶させる。制御部３１０が、記憶部３２０に記憶されているプログラムに基づき、処理を実行することによって、クライアント装置１１０の機能が実現される。
入力部３３０は、キーボード及び／又はマウス等であって、ユーザー操作に基づいて情報をクライアント装置１１０に入力する。出力部３４０は、ディスプレイ等であって、制御部３１０の制御に基づいて、画面等を表示する。通信部３５０は、ＮＩＣ等であって、クライアント装置１１０をネットワーク１９０に接続し、他の装置との通信を司る。
記憶部３２０は、ＨＤＤ、ＲＯＭ、ＲＡＭ、ＳＳＤの何れか、又はこれらの任意の組み合わせであって、プログラム、制御部３１０がプログラムに基づき処理を実行する際に利用するデータ等を記憶させる。制御部３１０が、記憶部３２０に記憶されているプログラムに基づき、処理を実行することによって、クライアント装置１１０の機能が実現される。
入力部３３０は、キーボード及び／又はマウス等であって、ユーザー操作に基づいて情報をクライアント装置１１０に入力する。出力部３４０は、ディスプレイ等であって、制御部３１０の制御に基づいて、画面等を表示する。通信部３５０は、ＮＩＣ等であって、クライアント装置１１０をネットワーク１９０に接続し、他の装置との通信を司る。
【0017】
３．情報処理
以下、本実施形態に係る情報処理を説明する。
制御部３１０は、後述する図７に示されるような画面を出力部３４０に表示する。すなわち、後述するように、制御部３１０は、飲食店のデシャップ１３０を含む撮像画像を画面に表示する。デシャップは、所定の領域の一例である。画面には、撮像画像に関するタイムラインが含まれる。撮像画像に基づいてデシャップ１３０に料理が置かれたことが検知された場合、タイムラインに関連付けて料理が置かれたことを示すフラグが表示される。ここで、料理が置かれたことを示すフラグは、料理が置かれたことを示すオブジェクトの一例である。なお、本実施形態では、単に「料理」として説明を行うが、「料理」を「料理が盛られたお皿全体」等と読み替えてもよい。
以下、本実施形態に係る情報処理を説明する。
制御部３１０は、後述する図７に示されるような画面を出力部３４０に表示する。すなわち、後述するように、制御部３１０は、飲食店のデシャップ１３０を含む撮像画像を画面に表示する。デシャップは、所定の領域の一例である。画面には、撮像画像に関するタイムラインが含まれる。撮像画像に基づいてデシャップ１３０に料理が置かれたことが検知された場合、タイムラインに関連付けて料理が置かれたことを示すフラグが表示される。ここで、料理が置かれたことを示すフラグは、料理が置かれたことを示すオブジェクトの一例である。なお、本実施形態では、単に「料理」として説明を行うが、「料理」を「料理が盛られたお皿全体」等と読み替えてもよい。
【0018】
図４は、情報処理システム１０００における情報処理の一例を示すシーケンス図である。
シーケンスＳＱ５０１において、撮像装置１２０は、設定された領域、本実施形態の例ではデシャップ１３０を含む領域を撮像し、撮像画像（動画）をサーバー装置１００に送信する。なお、撮像画像には、属性情報として、撮像日時の情報、撮像装置１２０を識別する識別情報等が含まれる。
シーケンスＳＱ５０２において、サーバー装置１００の制御部２１０は、撮像装置１２０から撮像画像を受信すると、受信した撮像画像を２０２等の所定の記憶領域に一時的に記憶する。
シーケンスＳＱ５０１において、撮像装置１２０は、設定された領域、本実施形態の例ではデシャップ１３０を含む領域を撮像し、撮像画像（動画）をサーバー装置１００に送信する。なお、撮像画像には、属性情報として、撮像日時の情報、撮像装置１２０を識別する識別情報等が含まれる。
シーケンスＳＱ５０２において、サーバー装置１００の制御部２１０は、撮像装置１２０から撮像画像を受信すると、受信した撮像画像を２０２等の所定の記憶領域に一時的に記憶する。
【0019】
デシャップ１３０に料理が置かれると、シーケンスＳＱ５０３において、制御部２１０は、撮像画像に基づいて、デシャップ１３０に料理が置かれたことを検知する。例えば、制御部２１０は、学習済みモデルに撮像画像を入力し、学習済みモデルから撮像画像に含まれるデシャップ１３０に料理が含まれること示すデータが出力されたされた場合に、デシャップ１３０に料理が置かれたことを検知したとする。ここで、学習済みモデルは、撮像画像を入力データ、撮像画像に含まれるデシャップ１３０に料理が置かれているか否かを出力データとして学習された学習済みモデルである。
【0020】
デシャップ１３０に料理が置かれたことを検知されると、シーケンスＳＱ５０４において、制御部２１０は、撮像画像に基づいて、デシャップ１３０に置かれた料理の種類を識別する。料理の種類とは、飲食店で提供する料理を、共通の性質をもつもの毎に組分けしたものであり、例えば、サラダ、鉄板料理、鍋等、がある。料理の種類は、例えば、クライアント装置１１０等を介して飲食店毎に設定される。例えば、制御部２１０は、学習済みモデルに撮像画像を入力し、学習済みモデルから処理の種類を識別する識別情報を取得する。ここで、学習済みモデルは、撮像画像を入力データ、撮像画像に含まれる料理の種類を識別する識別情報を出力データとして学習された学習済みモデルである。
【0021】
デシャップ１３０に置かれた料理の種類を識別すると、シーケンスＳＱ５０５において、制御部２１０は、デシャップ１３０に置かれた料理に関する検知情報を記憶部２２０等の所定の領域に記憶させる。
図５は、検知情報の一例を示す図である。図５に示されるように、検知情報には、デシャップＩＤと、日時情報と、料理種別と、が含まれる。店舗ＩＤには、飲食店を識別する識別情報が格納される。デシャップＩＤには、飲食店のデシャップを識別する識別情報が格納される。日時情報には、該当するデシャップに料理が置かれたと検知された時刻（ＩＮ）、その料理がデシャップから持ち出されたと検知された時刻（ＯＵＴ）、ＩＮ～ＯＵＴに要した時間を算出した値（ＴＩＭＥ）が格納される。料理種別には、制御部２１０によって識別された料理の種類を識別する識別情報が格納される。料理ＩＤには、提供される料理ごとに固有の識別情報が格納される。担当者ＩＤには、その時の責任者、料理担当、提供担当等を識別する識別情報が格納される。図５の例では、検知情報として、レコード６１０、レコード６２０、レコード６３０と３つのレコードが含まれている。なお、レコードが３つなのは説明の簡略化のためであり、デシャップ１３０に料理が置かれたことが検知される度に、レコードは追加される。
図５は、検知情報の一例を示す図である。図５に示されるように、検知情報には、デシャップＩＤと、日時情報と、料理種別と、が含まれる。店舗ＩＤには、飲食店を識別する識別情報が格納される。デシャップＩＤには、飲食店のデシャップを識別する識別情報が格納される。日時情報には、該当するデシャップに料理が置かれたと検知された時刻（ＩＮ）、その料理がデシャップから持ち出されたと検知された時刻（ＯＵＴ）、ＩＮ～ＯＵＴに要した時間を算出した値（ＴＩＭＥ）が格納される。料理種別には、制御部２１０によって識別された料理の種類を識別する識別情報が格納される。料理ＩＤには、提供される料理ごとに固有の識別情報が格納される。担当者ＩＤには、その時の責任者、料理担当、提供担当等を識別する識別情報が格納される。図５の例では、検知情報として、レコード６１０、レコード６２０、レコード６３０と３つのレコードが含まれている。なお、レコードが３つなのは説明の簡略化のためであり、デシャップ１３０に料理が置かれたことが検知される度に、レコードは追加される。
【0022】
シーケンスＳＱ５０６において、制御部２１０は、撮像画像をシーケンスＳＱ５０４で識別された料理の種類に応じて区別可能に記憶部２２０等に格納させる。より具体的に説明すると、制御部２１０は、動画から料理に対応する領域の静止画を切り出し、切り出した静止画を料理の種類に応じて区別可能に記憶部２２０等に格納させる。ここで、静止画には、デシャップ１３０に置かれた料理が含まれる。
図６は、撮像画像に含まれる料理の種類に応じて撮像画像を区別可能に格納する一例を示す図である。図６の例では、撮像画像９１０に含まれる料理がサラダであると識別されたため、制御部２１０は、撮像画像（静止画）９１０をサラダのフォルダ９４０に格納している。すなわち、図６に示されるように、制御部２１０は、撮像画像を撮像画像に含まれる料理の種類ごとにフォルダに分けて格納させる。より具体的に説明すると、制御部２１０は、動画から料理に対応する領域の静止画を切り出し、切り出した静止画を料理の種類ごとにフォルダに分けて格納させる。
ここで、シーケンスＳＱ５０６の処理と、シーケンスＳＱ５０７の処理と、の順序は問わない。２つの処理は同時に実行されてもよい。
図６は、撮像画像に含まれる料理の種類に応じて撮像画像を区別可能に格納する一例を示す図である。図６の例では、撮像画像９１０に含まれる料理がサラダであると識別されたため、制御部２１０は、撮像画像（静止画）９１０をサラダのフォルダ９４０に格納している。すなわち、図６に示されるように、制御部２１０は、撮像画像を撮像画像に含まれる料理の種類ごとにフォルダに分けて格納させる。より具体的に説明すると、制御部２１０は、動画から料理に対応する領域の静止画を切り出し、切り出した静止画を料理の種類ごとにフォルダに分けて格納させる。
ここで、シーケンスＳＱ５０６の処理と、シーケンスＳＱ５０７の処理と、の順序は問わない。２つの処理は同時に実行されてもよい。
【0023】
シーケンスＳＱ５０７において、制御部２１０は、クライアント装置１１０からの要求等に応じて、検知情報をクライアント装置１１０に送信する。検知情報は、図５に示したような情報である。
シーケンスＳＱ５０８において、クライアント装置１１０の制御部３１０は、検知情報に基づいて、図７に示されるように、タイムラインに関連付けて料理が置かれたことを示すオブジェクトを表示する。
図７は、クライアント装置１１０の出力部３４０に表示される画面の一例を示す図（その１）である。図７に示されるように、画面には、表示領域７１０が含まれる。表示領域７１０には、撮像装置１２０で撮像された撮像画像（動画）が表示される。また、画面には、タイムライン７２０が含まれる。タイムライン７２０は、表示領域７１０に表示されている動画（映像）の時間を示すものである。再生位置表示オブジェクト７３０は、表示領域７１０に表示される動画の撮像日時を示すオブジェクトである。再生位置表示オブジェクト７３０がタイムライン７２０の一番左にあるときは動画の再生の開始位置であり、タイムライン７２０の一番右にあるときは動画の再生の終了位置となる。また、ユーザーは、再生位置表示オブジェクト７３０を操作して、表示領域７１０に表示させる動画の撮像日時を指定することもできる。フラグ７４０は、タイムライン７２０に表示される、デシャップ１３０に料理が置かれたこと（ＩＮ）を示すフラグである。なお、フラグ７４０は、その料理がデシャップから持ち出されたこと（ＯＵＴ）を示すフラグとしてもよい。また、ＩＮ～ＯＵＴに要した時間（ＴＩＭＥ）を帯状に示してもよい。制御部２１０は、図５で説明した日時情報（ＩＮ、ＯＵＴ、ＴＩＭＥ）を参照することにより、これらのフラグ（ＩＮ、ＯＵＴ、ＴＩＭＥ）を、タイムライン上の対応する時刻に表示する。制御部２１０は、ユーザーの指示に応じて、ＩＮを示すフラグ、ＯＵＴを示すフラグ及びＴＩＭＥを示すフラグのうち何れか１種類のフラグを表示してもよいし、２種類以上のフラグを組み合わせて表示してもよい。なお、ＳＱ５０１～ＳＱ５０７が例えば１０秒毎等の所定の時間間隔で行われる場合、同じ料理がデシャップに置きっ放しになっていると、その料理を示すフラグがタイムライン上に何個も付されて見難くなってしまう。この対策として、同じ料理のフラグはグルーピングして、例えば最初に料理が置かれたタイミング（ＩＮ）のみ付したり、その料理のＩＮ～ＯＵＴに要した時間（ＴＩＭＥ）を帯状に示したりしてもよい。日時情報７５０は、表示領域７１０に表示されている動画の撮影日時である。
図７に示されるように、フラグ７４０は、デシャップ１３０に料理が置かれたタイミングを示す態様でタイムライン７２０に表示される。すなわち、フラグ７４０は、デシャップ１３０に料理が置かれたタイミングが何時なのか分かる態様で表示される。なお、図７に示されるように、フラグ７４０がタイムライン上に表示されるのは一例であり、デシャップ１３０に料理が置かれた日時が分かり、その日時の動画（映像）をすぐに確認することが可能であればどのような表示態様であってもよい。
図７の例では、ユーザーが、フラグ７４０を選択し、所定の操作を行う（例えばダブルクリックする）、又は再生位置表示オブジェクト７３０を、フラグ７４０の位置に移動させることによって、フラグ７４０に対応する時間における動画（映像）が表示領域７１０に表示される。ユーザーは、表示領域７１０に表示される、フラグ７４０に対応する時間におけるデシャップ１３０上の料理の動画（映像）を目視で確認することによって、臨店せずに、お店の料理の質（例えば、盛り付けが乱雑でないか、所定の量の料理がお皿に入れられているか、定食の場合、規定の数のおかず等が置かれているか等）を確認することができる。また、ユーザーは、前もって知られている、管理者が臨店する特定の日の料理ではなく、普段の料理の質等を確かめることができる。
シーケンスＳＱ５０８において、クライアント装置１１０の制御部３１０は、検知情報に基づいて、図７に示されるように、タイムラインに関連付けて料理が置かれたことを示すオブジェクトを表示する。
図７は、クライアント装置１１０の出力部３４０に表示される画面の一例を示す図（その１）である。図７に示されるように、画面には、表示領域７１０が含まれる。表示領域７１０には、撮像装置１２０で撮像された撮像画像（動画）が表示される。また、画面には、タイムライン７２０が含まれる。タイムライン７２０は、表示領域７１０に表示されている動画（映像）の時間を示すものである。再生位置表示オブジェクト７３０は、表示領域７１０に表示される動画の撮像日時を示すオブジェクトである。再生位置表示オブジェクト７３０がタイムライン７２０の一番左にあるときは動画の再生の開始位置であり、タイムライン７２０の一番右にあるときは動画の再生の終了位置となる。また、ユーザーは、再生位置表示オブジェクト７３０を操作して、表示領域７１０に表示させる動画の撮像日時を指定することもできる。フラグ７４０は、タイムライン７２０に表示される、デシャップ１３０に料理が置かれたこと（ＩＮ）を示すフラグである。なお、フラグ７４０は、その料理がデシャップから持ち出されたこと（ＯＵＴ）を示すフラグとしてもよい。また、ＩＮ～ＯＵＴに要した時間（ＴＩＭＥ）を帯状に示してもよい。制御部２１０は、図５で説明した日時情報（ＩＮ、ＯＵＴ、ＴＩＭＥ）を参照することにより、これらのフラグ（ＩＮ、ＯＵＴ、ＴＩＭＥ）を、タイムライン上の対応する時刻に表示する。制御部２１０は、ユーザーの指示に応じて、ＩＮを示すフラグ、ＯＵＴを示すフラグ及びＴＩＭＥを示すフラグのうち何れか１種類のフラグを表示してもよいし、２種類以上のフラグを組み合わせて表示してもよい。なお、ＳＱ５０１～ＳＱ５０７が例えば１０秒毎等の所定の時間間隔で行われる場合、同じ料理がデシャップに置きっ放しになっていると、その料理を示すフラグがタイムライン上に何個も付されて見難くなってしまう。この対策として、同じ料理のフラグはグルーピングして、例えば最初に料理が置かれたタイミング（ＩＮ）のみ付したり、その料理のＩＮ～ＯＵＴに要した時間（ＴＩＭＥ）を帯状に示したりしてもよい。日時情報７５０は、表示領域７１０に表示されている動画の撮影日時である。
図７に示されるように、フラグ７４０は、デシャップ１３０に料理が置かれたタイミングを示す態様でタイムライン７２０に表示される。すなわち、フラグ７４０は、デシャップ１３０に料理が置かれたタイミングが何時なのか分かる態様で表示される。なお、図７に示されるように、フラグ７４０がタイムライン上に表示されるのは一例であり、デシャップ１３０に料理が置かれた日時が分かり、その日時の動画（映像）をすぐに確認することが可能であればどのような表示態様であってもよい。
図７の例では、ユーザーが、フラグ７４０を選択し、所定の操作を行う（例えばダブルクリックする）、又は再生位置表示オブジェクト７３０を、フラグ７４０の位置に移動させることによって、フラグ７４０に対応する時間における動画（映像）が表示領域７１０に表示される。ユーザーは、表示領域７１０に表示される、フラグ７４０に対応する時間におけるデシャップ１３０上の料理の動画（映像）を目視で確認することによって、臨店せずに、お店の料理の質（例えば、盛り付けが乱雑でないか、所定の量の料理がお皿に入れられているか、定食の場合、規定の数のおかず等が置かれているか等）を確認することができる。また、ユーザーは、前もって知られている、管理者が臨店する特定の日の料理ではなく、普段の料理の質等を確かめることができる。
【0024】
本実施形態によれば、デシャップ１３０に料理１４０が置かれた場合、タイムラインに関連付けてデシャップ１３０に料理１４０が置かれたことを示すフラグが表示される。したがって、ユーザーは、フラグを操作する等して、フラグに対応する料理１４０の動画（映像）を表示領域７１０等に表示させ、確認することができる。
【0025】
（変形例１）
実施形態１の変形例１を説明する。
図８は、クライアント装置１１０の出力部３４０に表示される画面の一例を示す図（その２）である。変形例１の制御部３１０は、検知情報に基づいて、デシャップ１３０に置かれた料理の種類に応じて異なる態様でフラグを表示する。図８の例では、フラグ１０１０、フラグ１０２０、フラグ１０３０の３種類のフラグが示されている。フラグ１０１０は、鉄板料理がデシャップ１３０に置かれたことを示すフラグである。フラグ１０２０は、サラダがデシャップ１３０に置かれたことを示すフラグである。フラグ１０３０は、鍋がデシャップ１３０に置かれたことを示すフラグである。なお、図８の例では、フラグの色（塗りつぶしの色）によって料理の種類を識別する例を示したが、これは一例である。他の例としては、例えば、制御部３１０は、フラグの形で料理の種類を識別可能に表示してもよい。
実施形態１の変形例１を説明する。
図８は、クライアント装置１１０の出力部３４０に表示される画面の一例を示す図（その２）である。変形例１の制御部３１０は、検知情報に基づいて、デシャップ１３０に置かれた料理の種類に応じて異なる態様でフラグを表示する。図８の例では、フラグ１０１０、フラグ１０２０、フラグ１０３０の３種類のフラグが示されている。フラグ１０１０は、鉄板料理がデシャップ１３０に置かれたことを示すフラグである。フラグ１０２０は、サラダがデシャップ１３０に置かれたことを示すフラグである。フラグ１０３０は、鍋がデシャップ１３０に置かれたことを示すフラグである。なお、図８の例では、フラグの色（塗りつぶしの色）によって料理の種類を識別する例を示したが、これは一例である。他の例としては、例えば、制御部３１０は、フラグの形で料理の種類を識別可能に表示してもよい。
【0026】
変形例１によれば、料理の種類に基づいて異なる態様でフラグが表示されるので、ユーザーは、確認したい料理のフラグを操作する等して、フラグに対応する種類の料理１４０の動画（映像）を表示領域７１０等に表示させ、確認することができる。
【0027】
（変形例２）
実施形態１の変形例２を説明する。
変形例２の制御部３１０は、撮像画像に含まれる料理の質に問題がある可能性がある場合、タイムラインに関連付けてデシャップ１３０に置かれた料理の質に問題がある可能性があることを示すオブジェクトを表示する。すなわち、変形例２の制御部２１０は、撮像画像に基づいて、料理の質（クオリティ）に問題がある可能性がある料理を検出する。変形例２の制御部３１０は、クオリティに問題がある可能性がある料理が検出されると、クオリティに問題がある料理が提供された可能性があることを示すフラグをタイムラインに関連付けて表示する。
例えば、制御部２１０は、学習済みモデルに撮像画像を入力し、学習済みモデルから撮像画像に含まれる料理の質に問題がある可能性があるか否を示すデータを取得する。ここで、学習済みモデルは、撮像画像を入力データ、撮像画像に含まれる料理の質に問題がある可能性があるか否かを示すデータを出力データとして学習された学習済みモデルである。
実施形態１の変形例２を説明する。
変形例２の制御部３１０は、撮像画像に含まれる料理の質に問題がある可能性がある場合、タイムラインに関連付けてデシャップ１３０に置かれた料理の質に問題がある可能性があることを示すオブジェクトを表示する。すなわち、変形例２の制御部２１０は、撮像画像に基づいて、料理の質（クオリティ）に問題がある可能性がある料理を検出する。変形例２の制御部３１０は、クオリティに問題がある可能性がある料理が検出されると、クオリティに問題がある料理が提供された可能性があることを示すフラグをタイムラインに関連付けて表示する。
例えば、制御部２１０は、学習済みモデルに撮像画像を入力し、学習済みモデルから撮像画像に含まれる料理の質に問題がある可能性があるか否を示すデータを取得する。ここで、学習済みモデルは、撮像画像を入力データ、撮像画像に含まれる料理の質に問題がある可能性があるか否かを示すデータを出力データとして学習された学習済みモデルである。
【0028】
制御部２１０は、学習済みモデルから取得されたデータが、撮像画像に含まれる料理の質に問題がある可能性があることを示していた場合、撮像画像を所定のフォルダに格納する。より具体的に説明すると、制御部２１０は、学習済みモデルから取得されたデータが、撮像画像に含まれる料理の質に問題がある可能性があることを示していた場合、撮像画像（動画）から静止画を切り出し、切り出した静止画を所定のフォルダに格納する。
図９は、撮像画像に含まれる料理の質に問題がある場合に、撮像画像（静止画）をフォルダに格納する一例を示す図である。図９に示されるように、変形例２では、写っている料理の質に問題がある可能性がある撮像画像（静止画）１２１０がフォルダ１２２０に格納される。
図９は、撮像画像に含まれる料理の質に問題がある場合に、撮像画像（静止画）をフォルダに格納する一例を示す図である。図９に示されるように、変形例２では、写っている料理の質に問題がある可能性がある撮像画像（静止画）１２１０がフォルダ１２２０に格納される。
【0029】
図１０は、クライアント装置１１０の出力部３４０に表示される画面の一例を示す図（その３）である。フラグ１１１０は、タイムライン７２０に表示される、デシャップ１３０に置かれた料理の質に問題がある可能性があることを示すフラグである。
【0030】
また、制御部２１０は、撮像画像に含まれる料理の質に問題がある可能性があると判断した場合、撮像画像が撮像された日時情報と、飲食店のシフト表及び／又は不図示の他の撮像装置によって撮像された撮像画像等と、に基づき、該当する料理を作った料理人を含む撮像画像、及び、該当する料理が作られた日時の厨房の撮像画像を特定する。そして、制御部２１０は、特定した撮像画像から切り出した静止画を所定のフォルダに格納するようにしてもよい。すなわち、制御部２１０は、撮像画像に含まれる料理の質に問題がある可能性がある場合、撮像画像と関連付けて、撮像画像に含まれる料理に関係する、料理が１３０に置かれる前の工程（例えば、料理を作る工程、料理を盛り付ける工程等）に関する撮像画像から切り出した静止画を所定の格納場所に格納させる。図１１は、撮像画像に含まれる料理の質に問題がある場合に、その料理が含まれる撮像画像（静止画）と、その料理に関係する撮像画像（静止画）と、をフォルダに格納する一例を示す図である。撮像画像（静止画）１２３０は、該当する料理が作られているシーンの画像である。撮像画像（静止画）１２４０は、該当する料理が盛り付けられているシーンの画像である。制御部２１０は、撮像画像１２１０に関連する撮像画像として、撮像画像１２３０及び撮像画像１２４０を特定し、特定した撮像画像１２３０及び撮像画像１２４０を、撮像画像１２１０に関連付けてフォルダ１２２０に格納する。なお、静止画を格納するフォルダは、所定の格納場所の一例である。但し、格納場所はフォルダに限られない。制御部２１０がアクセス可能であり、画像を格納することができればどのようなものであってもよい。
【0031】
図１１に示されるように、所定のフォルダに撮像画像１２１０、撮像画像１２３０、撮像画像１２４０等が格納される場合、制御部３１０は、ユーザー操作に基づいて、図１２に示されるような画面をクライアント装置１１０の出力部３４０に表示させる。図１２は、クライアント装置１１０の出力部３４０に表示される画面の一例を示す図（その４）である。制御部３１０は、所定のフォルダに格納されている撮像画像の撮像日時の情報に基づいて、撮像画像を時系列に並べて表示している。また、画面１４００には、テキスト入力領域１４４０が含まれている。例えば、管理者は、画面１４００に含まれる画像を確認し、問題となる箇所を発見すると、テキスト入力領域１４４０に入力を行う。送信ボタン１４５０が選択されると、制御部３１０は、例えば、予め定められた他の管理者や該当する店舗の担当者宛に、テキスト入力領域１４４０に入力された情報や画面１４００に含まれる画像を添付した電子メールを送付する。なお、テキスト入力領域１４４０には、各撮像画像をＡＩ等により解析して、様々なコメントの情報を自動的に入力するように構成してもよい。
【0032】
このようにすることによって、問題の原因を共有すると共に、撮像画像において問題の原因を分かりやすく提示することができる。
【0033】
（変形例３）
実施形態１の変形例３を説明する。
上述した情報処理システム１０００では、制御部３１０が、タイムラインやフラグを含む画面を表示した。しかし、情報処理システム１０００は、撮像画像に基づき、撮像画像をフォルダに格納するだけでもよい。すなわち、変形例３の制御部２１０は、撮像画像（動画）に基づいてデシャップ１３０に料理が置かれたことが検知された場合、撮像画像（動画）からデシャップ１３０に料理が置かれている撮像画像（静止画）を切り出しし、切り出した料理を含む静止画を所定のフォルダ等に格納させる。デシャップ１３０は、所定の領域の一例である。また、制御部２１０は、動画に基づいてデシャップ１３０に料理が置かれたことを検知するようにしてもよい。また、例えば、制御部２１０は、静止画を静止画に含まれる料理の種類ごとに区別可能に格納させる。また、例えば、制御部２１０は、静止画を静止画に含まれる料理の種類ごとにフォルダに分けて格納させる。ここで、制御部２１０は、切り出した静止画に基づいて料理の種類を識別する。
実施形態１の変形例３を説明する。
上述した情報処理システム１０００では、制御部３１０が、タイムラインやフラグを含む画面を表示した。しかし、情報処理システム１０００は、撮像画像に基づき、撮像画像をフォルダに格納するだけでもよい。すなわち、変形例３の制御部２１０は、撮像画像（動画）に基づいてデシャップ１３０に料理が置かれたことが検知された場合、撮像画像（動画）からデシャップ１３０に料理が置かれている撮像画像（静止画）を切り出しし、切り出した料理を含む静止画を所定のフォルダ等に格納させる。デシャップ１３０は、所定の領域の一例である。また、制御部２１０は、動画に基づいてデシャップ１３０に料理が置かれたことを検知するようにしてもよい。また、例えば、制御部２１０は、静止画を静止画に含まれる料理の種類ごとに区別可能に格納させる。また、例えば、制御部２１０は、静止画を静止画に含まれる料理の種類ごとにフォルダに分けて格納させる。ここで、制御部２１０は、切り出した静止画に基づいて料理の種類を識別する。
【0034】
変形例３によっても、例えば、デシャップ１３０に置かれた料理の種類ごとにフォルダに分けて、デシャップ１３０に置かれた料理の静止画が格納されるので、確認したい料理の種類のフォルダの中の写真を確かめるだけで、料理の質を確認することができる。また、大掛かりなシステムを導入する必要がないため、安価に仕組みを構築することができる。
【0035】
（変形例４）
実施形態１の変形例４を説明する。
変形例４の制御部２１０は、不図示の飲食店の店舗のシステム等から店舗の苦情情報を受信する。苦情情報には、苦情の内容と、苦情の日時情報等が含まれる。苦情情報としては、例えば、料理の注文から料理の提供まで、予め定められた時間以上の時間がかかってしまったことによる苦情等がある。これは、店舗のシステム等でオーダーを受けてから料理が提供されたとき（お客に渡されたタイミングでもデシャップに出されたタイミングでもよい。）までに要した時間を計測し、所定の時間以上になったら大幅な遅れが発生したと見なし苦情が発生する可能性が高いと判断する。
また、変形例４の情報処理システム１０００では、店舗に複数の撮像装置が含まれる。
制御部２１０は、クライアント装置１１０からの要求に基づいて、苦情情報をクライアント装置１１０に送信する。クライアント装置１１０の制御部３１０は、苦情情報に含まれる日時情報に基づいて、タイムラインに店舗に関する苦情に係るオブジェクトが表示する。図１３は、クライアント装置１１０の出力部３４０に表示される画面の一例を示す図（その５）である。画面には、表示領域７１０が含まれる。表示領域７１０には、複数の撮像装置のうち、少なくとも一つの撮像装置で撮像された撮像画像（動画）が表示される。また、画面には、タイムライン７２０が含まれる。フラグ１４１０は、タイムライン７２０に表示される、苦情があったことを示すフラグである。フラグは、苦情に係る事象が起こったタイミングを示す態様でタイムライン７２０に関連付けて表示される。
実施形態１の変形例４を説明する。
変形例４の制御部２１０は、不図示の飲食店の店舗のシステム等から店舗の苦情情報を受信する。苦情情報には、苦情の内容と、苦情の日時情報等が含まれる。苦情情報としては、例えば、料理の注文から料理の提供まで、予め定められた時間以上の時間がかかってしまったことによる苦情等がある。これは、店舗のシステム等でオーダーを受けてから料理が提供されたとき（お客に渡されたタイミングでもデシャップに出されたタイミングでもよい。）までに要した時間を計測し、所定の時間以上になったら大幅な遅れが発生したと見なし苦情が発生する可能性が高いと判断する。
また、変形例４の情報処理システム１０００では、店舗に複数の撮像装置が含まれる。
制御部２１０は、クライアント装置１１０からの要求に基づいて、苦情情報をクライアント装置１１０に送信する。クライアント装置１１０の制御部３１０は、苦情情報に含まれる日時情報に基づいて、タイムラインに店舗に関する苦情に係るオブジェクトが表示する。図１３は、クライアント装置１１０の出力部３４０に表示される画面の一例を示す図（その５）である。画面には、表示領域７１０が含まれる。表示領域７１０には、複数の撮像装置のうち、少なくとも一つの撮像装置で撮像された撮像画像（動画）が表示される。また、画面には、タイムライン７２０が含まれる。フラグ１４１０は、タイムライン７２０に表示される、苦情があったことを示すフラグである。フラグは、苦情に係る事象が起こったタイミングを示す態様でタイムライン７２０に関連付けて表示される。
【0036】
フラグ１４１０が選択されると、制御部３１０は、フラグ１４１０に対応する静止画像を表示領域７１０等に表示するための情報を画面に表示する。図１４は、クライアント装置１１０の出力部３４０に表示される画面の一例を示す図（その６）である。図１４に示されるように、フラグ１４１０が選択されると、制御部３１０は、フラグ１４１０に対応する静止画像を表示領域７１０等に表示するための情報（図１４の例ではＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ））を表示する。ボタン１５９０が選択されると、ＵＲＬがコピーされる。
【0037】
変形例４によれば、料理の提供が遅れている等の苦情を受け付けた場合において、映像で確認することができる。
【0038】
（変形例５）
実施形態１の変形例５を説明する。
変形例５の情報処理システム１０００は、システム構成として複数の撮像装置を含む。複数の撮像装置は、例えば、それぞれ異なる撮像領域を撮像する。例えば、複数の撮像装置に含まれる第１の撮像装置は、デシャップ１３０を含む撮像領域を撮像し、複数の撮像装置に含まれる第２の撮像装置は、料理を用意するキッチン全体を含む撮像領域を撮像し、複数の撮像装置に含まれる第３の撮像装置は、料理を用意するキッチンで料理をする台等を含む撮像領域を撮像し、複数の撮像装置に含まれる第４の撮像装置は飲食店のレジスターを含む撮像領域を撮像する。
変形例５の制御部３１０は、複数の撮像装置それぞれで撮像された撮像画像をクライアント装置１１０の出力部３４０に表示する。なお、画面において表示される複数の撮像画像それぞれは、例えば、同一時刻の撮像画像である。
実施形態１の変形例５を説明する。
変形例５の情報処理システム１０００は、システム構成として複数の撮像装置を含む。複数の撮像装置は、例えば、それぞれ異なる撮像領域を撮像する。例えば、複数の撮像装置に含まれる第１の撮像装置は、デシャップ１３０を含む撮像領域を撮像し、複数の撮像装置に含まれる第２の撮像装置は、料理を用意するキッチン全体を含む撮像領域を撮像し、複数の撮像装置に含まれる第３の撮像装置は、料理を用意するキッチンで料理をする台等を含む撮像領域を撮像し、複数の撮像装置に含まれる第４の撮像装置は飲食店のレジスターを含む撮像領域を撮像する。
変形例５の制御部３１０は、複数の撮像装置それぞれで撮像された撮像画像をクライアント装置１１０の出力部３４０に表示する。なお、画面において表示される複数の撮像画像それぞれは、例えば、同一時刻の撮像画像である。
【0039】
図１５は、クライアント装置１１０の出力部３４０に表示される画面の一例を示す図（その７）である。図１５に示されるように、画面には、表示領域１５１０が含まれる。表示領域１５１０には、例えば、複数の撮像装置のうち第１の撮像装置で撮像された撮像画像（動画）が表示される。また、画面には、表示領域１５２０、表示領域１５３０、表示領域１５４０が含まれる。表示領域１５２０には、例えば、複数の撮像装置のうち第２の撮像装置で撮像された撮像画像（動画）が表示される。表示領域１５３０には、例えば、複数の撮像装置のうち第３の撮像装置で撮像された撮像画像（動画）が表示される。表示領域１５４０には、例えば、複数の撮像装置のうち第４の撮像装置で撮像された撮像画像（動画）が表示される。
ユーザーが、フラグ７４０を選択し、所定の操作を行う（例えばダブルクリックする）、又は再生位置表示オブジェクト７３０を、フラグ７４０の位置に移動させることによって、フラグ７４０に対応する時間における動画（映像）がそれぞれの表示領域に表示される。
ユーザーが、フラグ７４０を選択し、所定の操作を行う（例えばダブルクリックする）、又は再生位置表示オブジェクト７３０を、フラグ７４０の位置に移動させることによって、フラグ７４０に対応する時間における動画（映像）がそれぞれの表示領域に表示される。
【0040】
また、画面には表示領域１５５０が含まれる。表示領域１５５０には、デシャップ１３０の画像の一覧が表示される。図１５の例では、一覧の先頭には、デシャップ１３０に料理が置かれたことが検知された直近の画像（静止画）が表示され、順次、所定間隔前（図１５の例では３分前）のデシャップ１３０の画像が表示されている。なお、これは一例であって、表示領域１５５０には、デシャップ１３０に料理が置かれたことが検知された画像の一覧が、直近の画像を先頭に順次表示されるようにしてもよい。所定間隔ごとの画像が表示されるか、デシャップ１３０に料理が置かれたことが検知された画像が表示されるかは、ユーザーの操作等に応じて、切り替え可能に構成されてもよい。
【0041】
変形例５によれば、同時刻の複数の撮像画像を画面に表示することができる。また、デシャップ１３０の画像を一覧で確認することもできる。
【0042】
さらに、次に記載の各態様で提供されてもよい。
【0043】
（１）情報処理システムであって、飲食店の所定の領域を含む撮像画像を画面に表示し、前記画面には、前記撮像画像に関するタイムラインが含まれ、前記撮像画像に基づいて前記所定の領域に料理が置かれたことが検知された場合、前記タイムラインに関連付けて料理が置かれたことを示すオブジェクトが表示される、情報処理システム。
【0044】
（２）上記（１）に記載の情報処理システムにおいて、前記オブジェクトは、前記料理が置かれたタイミングを示す態様で表示される、情報処理システム。
【0045】
（３）上記（１）に記載の情報処理システムにおいて、前記撮像画像に基づいて前記所定の領域に料理が置かれたことを検知する、情報処理システム。
【0046】
（４）上記（１）に記載の情報処理システムにおいて、前記オブジェクトは、前記料理の種類に応じて異なる態様で表示される、情報処理システム。
【0047】
（５）上記（１）に記載の情報処理システムにおいて、前記撮像画像を前記料理の種類に応じて区別可能に格納させる、情報処理システム。
【0048】
（６）上記（５）に記載の情報処理システムにおいて、前記撮像画像に基づいて前記料理の種類を識別する、情報処理システム。
【0049】
（７）上記（１）に記載の情報処理装置において、前記所定の領域は、デシャップである、情報処理システム。
【0050】
（８）上記（１）に記載の情報処理システムにおいて、前記撮像画像に含まれる料理の質に問題がある可能性がある場合、前記タイムラインに関連付けて前記所定の領域に置かれた料理の質に問題がある可能性があることを示すオブジェクトが表示される、情報処理システム。
【0051】
（９）上記（７）に記載の情報処理システムにおいて、前記撮像画像に含まれる料理の質に問題がある可能性がある場合、前記撮像画像を所定の格納場所に格納させる、情報処理システム。
【0052】
（１０）上記（１）に記載の情報処理システムにおいて、前記撮像画像に含まれる料理の質に問題がある可能性がある場合、前記撮像画像と関連付けて、前記撮像画像に含まれる料理に関係する、前記料理が前記所定の領域に置かれる前の工程に関する撮像画像を所定の格納場所に格納させる、情報処理システム。
【0053】
（１１）情報処理システムであって、動画に基づいて所定の領域に料理が置かれたことが検知された場合、前記料理を含む静止画を取得し、前記静止画を前記料理の種類ごとに区別可能に格納させる、情報処理システム。
【0054】
（１２）上記（１１）に記載の情報処理システムにおいて、前記静止画を前記料理の種類ごとにフォルダに分けて格納させる、情報処理システム。
【0055】
（１３）上記（１１）に記載の情報処理システムにおいて、動画に基づいて前記所定の領域に料理が置かれたことを検知する、情報処理システム。
【0056】
（１４）上記（１１）に記載の情報処理システムにおいて、前記静止画に基づいて前記料理の種類を識別する、情報処理システム。
【0057】
（１５）上記（１１）に記載の情報処理装置において、前記所定の領域は、デシャップである、情報処理システム。
【0058】
（１６）情報処理システムが実行する情報処理方法であって、飲食店の所定の領域を含む撮像画像を画面に表示し、前記画面には、前記撮像画像に関するタイムラインが含まれ、前記撮像画像に基づいて前記所定の領域に料理が置かれたことが検知された場合、前記タイムラインに関連付けて料理が置かれたことを示すオブジェクトが表示される、情報処理方法。
【0059】
（１７）情報処理システムが実行する情報処理方法であって、動画に基づいて所定の領域に料理が置かれたことが検知された場合、前記料理を含む静止画を取得し、前記静止画を前記料理の種類ごとに区別可能に格納させる、情報処理方法。
【0060】
（１８）プログラムであって、コンピュータを、上記（１）から（１５）までの何れか１つに記載の情報処理システムとして機能させるためのプログラム。
もちろん、この限りではない。
もちろん、この限りではない。
【0061】
例えば、上述したサーバー装置１００の処理の一部、又は全てをクライアント装置１１０で実行するようにしてもよい。
また、上述した実施形態等において、サーバー装置１００の所定の領域、又はフォルダへは所定の装置、例えばクライアント装置１１０、からアクセス可能に構成されているものとする。
また、画面はサーバー装置１００が作成してもよいし、サーバー装置１００からの情報等に基づきクライアント装置１１０が作成してもよい。
また、上述した実施形態等において、サーバー装置１００の所定の領域、又はフォルダへは所定の装置、例えばクライアント装置１１０、からアクセス可能に構成されているものとする。
また、画面はサーバー装置１００が作成してもよいし、サーバー装置１００からの情報等に基づきクライアント装置１１０が作成してもよい。
【0062】
最後に、本発明に係る種々の実施形態を説明したが、これらは、例として提示したものであり、発明の範囲を限定することは意図していない。新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【0063】
１００ ：サーバー装置
１１０ ：クライアント装置
１２０ ：撮像装置
１３０ ：デシャップ
１４０ ：料理
１９０ ：ネットワーク
２１０ ：制御部
２２０ ：記憶部
２３０ ：通信部
３１０ ：制御部
３２０ ：記憶部
３３０ ：入力部
３４０ ：出力部
３５０ ：通信部
６１０ ：レコード
６２０ ：レコード
６３０ ：レコード
７１０ ：表示領域
７２０ ：タイムライン
７３０ ：再生位置表示オブジェクト
７４０ ：フラグ
７５０ ：日時情報
９１０ ：撮像画像
９４０ ：フォルダ
１０００ ：情報処理システム
１０１０ ：フラグ
１０２０ ：フラグ
１０３０ ：フラグ
１１１０ ：フラグ
１２１０ ：撮像画像
１２２０ ：フォルダ
１２３０ ：撮像画像
１２４０ ：撮像画像
１４００ ：画面
１４１０ ：フラグ
１４４０ ：テキスト入力領域
１４５０ ：送信ボタン
１５１０ ：表示領域
１５２０ ：表示領域
１５３０ ：表示領域
１５４０ ：表示領域
１５５０ ：表示領域
１５９０ ：ボタン
１１０ ：クライアント装置
１２０ ：撮像装置
１３０ ：デシャップ
１４０ ：料理
１９０ ：ネットワーク
２１０ ：制御部
２２０ ：記憶部
２３０ ：通信部
３１０ ：制御部
３２０ ：記憶部
３３０ ：入力部
３４０ ：出力部
３５０ ：通信部
６１０ ：レコード
６２０ ：レコード
６３０ ：レコード
７１０ ：表示領域
７２０ ：タイムライン
７３０ ：再生位置表示オブジェクト
７４０ ：フラグ
７５０ ：日時情報
９１０ ：撮像画像
９４０ ：フォルダ
１０００ ：情報処理システム
１０１０ ：フラグ
１０２０ ：フラグ
１０３０ ：フラグ
１１１０ ：フラグ
１２１０ ：撮像画像
１２２０ ：フォルダ
１２３０ ：撮像画像
１２４０ ：撮像画像
１４００ ：画面
１４１０ ：フラグ
１４４０ ：テキスト入力領域
１４５０ ：送信ボタン
１５１０ ：表示領域
１５２０ ：表示領域
１５３０ ：表示領域
１５４０ ：表示領域
１５５０ ：表示領域
１５９０ ：ボタン
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【手続補正書】
【提出日】2023-01-24
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
情報処理システムであって、
動画に基づいて所定の領域に料理が置かれたことが検知された場合、前記料理を含む静止画を取得し、前記静止画を前記料理の種類ごとに区別可能に格納させる、
情報処理システム。
動画に基づいて所定の領域に料理が置かれたことが検知された場合、前記料理を含む静止画を取得し、前記静止画を前記料理の種類ごとに区別可能に格納させる、
情報処理システム。
【請求項2】
請求項１に記載の情報処理システムにおいて、
前記静止画を前記料理の種類ごとにフォルダに分けて格納させる、
情報処理システム。
前記静止画を前記料理の種類ごとにフォルダに分けて格納させる、
情報処理システム。
【請求項3】
請求項１に記載の情報処理システムにおいて、
動画に基づいて前記所定の領域に料理が置かれたことを検知する、
情報処理システム。
動画に基づいて前記所定の領域に料理が置かれたことを検知する、
情報処理システム。
【請求項4】
請求項１に記載の情報処理システムにおいて、
前記静止画に基づいて前記料理の種類を識別する、
情報処理システム。
前記静止画に基づいて前記料理の種類を識別する、
情報処理システム。
【請求項5】
請求項１に記載の情報処理装置において、
前記所定の領域は、デシャップである、
情報処理システム。
前記所定の領域は、デシャップである、
情報処理システム。
【請求項6】
情報処理システムが実行する情報処理方法であって、
動画に基づいて所定の領域に料理が置かれたことが検知された場合、前記料理を含む静止画を取得し、前記静止画を前記料理の種類ごとに区別可能に格納させる、
情報処理方法。
動画に基づいて所定の領域に料理が置かれたことが検知された場合、前記料理を含む静止画を取得し、前記静止画を前記料理の種類ごとに区別可能に格納させる、
情報処理方法。
【請求項7】
プログラムであって、
コンピュータを、
請求項１から５までの何れか１項に記載の情報処理システムとして機能させるためのプログラム。
コンピュータを、
請求項１から５までの何れか１項に記載の情報処理システムとして機能させるためのプログラム。
【手続補正書】
【提出日】2023-04-13
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
情報処理システムであって、
動画に基づいて所定の領域に料理が置かれたことが検知された場合、前記料理を含む静止画を取得し、前記静止画を前記料理の種類ごとにフォルダに分けて格納させることで区別可能に格納させる、
情報処理システム。
動画に基づいて所定の領域に料理が置かれたことが検知された場合、前記料理を含む静止画を取得し、前記静止画を前記料理の種類ごとにフォルダに分けて格納させることで区別可能に格納させる、
情報処理システム。
【請求項2】
請求項１に記載の情報処理システムにおいて、
動画に基づいて前記所定の領域に料理が置かれたことを検知する、
情報処理システム。
動画に基づいて前記所定の領域に料理が置かれたことを検知する、
情報処理システム。
【請求項3】
請求項１に記載の情報処理システムにおいて、
前記静止画に基づいて前記料理の種類を識別する、
情報処理システム。
前記静止画に基づいて前記料理の種類を識別する、
情報処理システム。
【請求項4】
請求項１に記載の情報処理装置において、
前記所定の領域は、デシャップである、
情報処理システム。
前記所定の領域は、デシャップである、
情報処理システム。
【請求項5】
情報処理システムが実行する情報処理方法であって、
動画に基づいて所定の領域に料理が置かれたことが検知された場合、前記料理を含む静止画を取得し、前記静止画を前記料理の種類ごとにフォルダに分けて格納させることで区別可能に格納させる、
情報処理方法。
動画に基づいて所定の領域に料理が置かれたことが検知された場合、前記料理を含む静止画を取得し、前記静止画を前記料理の種類ごとにフォルダに分けて格納させることで区別可能に格納させる、
情報処理方法。
【請求項6】
プログラムであって、
コンピュータを、
請求項１から４までの何れか１項に記載の情報処理システムとして機能させるためのプログラム。
コンピュータを、
請求項１から４までの何れか１項に記載の情報処理システムとして機能させるためのプログラム。