特許 7478971 プログラム、端末装置、及びサービス提供システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-25

(45)【発行日】2024-05-08

(54)【発明の名称】プログラム、端末装置、及びサービス提供システム

(51)【国際特許分類】

   G06Q 30/016 20230101AFI20240426BHJP

   F24C 7/02 20060101ALI20240426BHJP

【ＦＩ】

G06Q30/016

F24C7/02 301J

F24C7/02 301S

F24C7/02 340Z

【請求項の数】 9

(21)【出願番号】P 2020116685

(22)【出願日】2020-07-06

(65)【公開番号】P2022014385

(43)【公開日】2022-01-19

【審査請求日】2023-02-15

(73)【特許権者】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110001081

【氏名又は名称】弁理士法人クシブチ国際特許事務所

(72)【発明者】

【氏名】平本 雅祥

(72)【発明者】

【氏名】村上 和宏

(72)【発明者】

【氏名】杉村 直紀

(72)【発明者】

【氏名】國武 勇次

(72)【発明者】

【氏名】阿曽 光洋

(72)【発明者】

【氏名】平 広武

(72)【発明者】

【氏名】寺田 大樹

【審査官】山本 俊介

(56)【参考文献】

【文献】特開２０１７－１３４５４９（ＪＰ，Ａ）

【文献】特開２０１３－１３７６３８（ＪＰ，Ａ）

【文献】特開２００６－０１１８５５（ＪＰ，Ａ）

【文献】特開２０１９－１２５２８７（ＪＰ，Ａ）

【文献】特開２０１７－１１７４２５（ＪＰ，Ａ）

【文献】特表２０１６－５２７６３３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

Ｇ０６Ｆ １６／００－１６／９５８

Ｆ２４Ｃ ７／０２

(57)【特許請求の範囲】

【請求項1】

コンピューターに、
撮影部により撮影された撮影画像に含まれるコード情報を検出する検出手順と、
操作部が受け付けた操作に基づいて前記コード情報の用途を判定する第１判定手順と、
判定した前記コード情報の用途に対応した情報の取得要求を、サーバー装置に送信する送信手順と、
前記サーバー装置から受信した情報を表示させる表示手順と、
を実行させ、
前記送信手順は、前記第１判定手順により判定された前記コード情報の用途が、食品を加熱する加熱調理である場合、加熱調理に関する加熱情報の取得要求を前記サーバー装置に送信する、プログラム。

【請求項2】

コンピューターに、
撮影部により撮影された撮影画像に含まれるコード情報を検出する検出手順と、
操作部が受け付けた操作に基づいて前記コード情報の用途を判定する第１判定手順と、
判定した前記コード情報の用途に対応した情報の取得要求を、サーバー装置に送信する送信手順と、
前記サーバー装置から受信した情報を表示させる表示手順と、
を実行させ、
前記送信手順は、前記第１判定手順により判定した前記コード情報の用途が食品の在庫管理である場合、前記コード情報が示す食品の利用期限を示す情報の取得要求を前記サーバー装置に送信する、プログラム。

【請求項3】

コンピューターに、
撮影部により撮影された撮影画像に含まれるコード情報を検出する検出手順と、
操作部が受け付けた操作に基づいて前記コード情報の用途を判定する第１判定手順と、
前記撮影画像に撮影された食材を判定する第２判定手順と、
判定した前記コード情報の用途に対応した情報の取得要求を、サーバー装置に送信する送信手順と、
前記サーバー装置から受信した情報を表示させる表示手順と、
を実行させ、
前記送信手順は、前記第２判定手順により判定された食材の利用期限を示す情報の取得要求を前記サーバー装置に送信する、プログラム。

【請求項4】

表示部と、
通信部と、
撮影部と、
前記撮影部が撮影した画像に含まれるコード情報を検出するコード検出部と、
操作を受け付ける操作部と、
前記操作部が受け付けた操作に基づいて前記コード情報の用途を判定し、判定した用途に対応した情報の取得要求を、前記通信部を介してサーバー装置に送信する制御部と、を備え、
前記制御部は、前記サーバー装置から受信した情報を前記表示部に表示させ、
判定した前記コード情報の用途が、食品を加熱する加熱調理である場合、加熱調理に関する加熱情報の取得要求を前記サーバー装置に送信する、端末装置。

【請求項5】

表示部と、
通信部と、
撮影部と、
前記撮影部が撮影した画像に含まれるコード情報を検出するコード検出部と、
操作を受け付ける操作部と、
前記操作部が受け付けた操作に基づいて前記コード情報の用途を判定し、判定した用途に対応した情報の取得要求を、前記通信部を介してサーバー装置に送信する制御部と、を備え、
前記制御部は、前記サーバー装置から受信した情報を前記表示部に表示させ、
判定した前記コード情報の用途が食品の在庫管理である場合、前記コード情報が示す食品の利用期限を示す情報の取得要求を前記サーバー装置に送信する、端末装置。

【請求項6】

表示部と、
通信部と、
撮影部と、
前記撮影部が撮影した撮影画像に含まれるコード情報を検出するコード検出部と、
操作を受け付ける操作部と、
前記操作部が受け付けた操作に基づいて前記コード情報の用途を判定し、判定した用途に対応した情報の取得要求を、前記通信部を介してサーバー装置に送信する制御部と、を備え、
前記制御部は、前記サーバー装置から受信した情報を前記表示部に表示させ、
前記撮影画像に撮影された食材を判定し、判定した食材の利用期限を示す情報の取得要求を前記サーバー装置に送信する、端末装置。

【請求項7】

表示部と、通信部と、撮影部と、前記撮影部が撮影した画像に含まれるコード情報を検出するコード検出部と、操作を受け付ける操作部と、前記操作部が受け付けた操作に基づいて前記コード情報の用途を判定し、判定した用途に対応した情報の取得要求を、前記通信部を介してサーバー装置に送信する制御部と、を備える端末装置と、
前記取得要求に対応した情報を前記端末装置に送信する前記サーバー装置と、を備え、
前記制御部は、前記サーバー装置から受信した情報を前記表示部に表示させ、
判定した前記コード情報の用途が、食品を加熱する加熱調理である場合、加熱調理に関する加熱情報の取得要求を前記サーバー装置に送信する、サービス提供システム。

【請求項8】

表示部と、通信部と、撮影部と、前記撮影部が撮影した画像に含まれるコード情報を検出するコード検出部と、操作を受け付ける操作部と、前記操作部が受け付けた操作に基づいて前記コード情報の用途を判定し、判定した用途に対応した情報の取得要求を、前記通信部を介してサーバー装置に送信する制御部と、を備える端末装置と、
前記取得要求に対応した情報を前記端末装置に送信する前記サーバー装置と、を備え、
前記制御部は、前記サーバー装置から受信した情報を前記表示部に表示させ、
判定した前記コード情報の用途が食品の在庫管理である場合、前記コード情報が示す食品の利用期限を示す情報の取得要求を前記サーバー装置に送信する、サービス提供システム。

【請求項9】

表示部と、通信部と、撮影部と、前記撮影部が撮影した撮影画像に含まれるコード情報を検出するコード検出部と、操作を受け付ける操作部と、前記操作部が受け付けた操作に基づいて前記コード情報の用途を判定し、判定した用途に対応した情報の取得要求を、前記通信部を介してサーバー装置に送信する制御部と、を備える端末装置と、
前記取得要求に対応した情報を前記端末装置に送信する前記サーバー装置と、を備え、
前記制御部は、前記サーバー装置から受信した情報を前記表示部に表示させ、
前記撮影画像に撮影された食材を判定し、判定した食材の利用期限を示す情報の取得要求を前記サーバー装置に送信する、サービス提供システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、プログラム、端末装置、及びサービス提供システムに関する。

【背景技術】

【0002】

特許文献１は、食品に付与されたコード情報から食品情報を取得し、取得した食品情報に対応する電子レンジの加熱情報をサーバー装置から取得して、取得した加熱情報を電子レンジに送信する技術を開示している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００６－２７５４８９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、食品に付与されているコード情報に基づいて、ユーザーの利便性を向上させることを目的とする。

【課題を解決するための手段】

【0005】

本開示におけるプログラムは、コンピューターに、撮影部により撮影された撮影画像に含まれるコード情報を検出する検出手順と、操作部が受け付けた操作に基づいて前記コード情報の用途を判定する第１判定手順と、判定した前記コード情報の用途に対応した情報の取得要求を、サーバー装置に送信する送信手順と、前記サーバー装置から受信した情報を表示させる表示手順と、を実行させ、前記送信手順は、前記第１判定手順により判定された前記コード情報の用途が、食品を加熱する加熱調理である場合、加熱調理に関する加熱情報の取得要求を前記サーバー装置に送信する。

【0006】

本開示における端末装置は、表示部と、通信部と、撮影部と、前記撮影部が撮影した画像に含まれるコード情報を検出するコード検出部と、操作を受け付ける操作部と、前記操作部が受け付けた操作に基づいて前記コード情報の用途を判定し、判定した用途に対応した情報の取得要求を、前記通信部を介してサーバー装置に送信する制御部と、を備え、前記制御部は、前記サーバー装置から受信した情報を前記表示部に表示させ、判定した前記コード情報の用途が、食品を加熱する加熱調理である場合、加熱調理に関する加熱情報の取得要求を前記サーバー装置に送信する。

【0007】

本開示におけるサービス提供システムは、表示部と、通信部と、撮影部と、前記撮影部が撮影した画像に含まれるコード情報を検出するコード検出部と、操作を受け付ける操作部と、前記操作部が受け付けた操作に基づいて前記コード情報の用途を判定し、判定した用途に対応した情報の取得要求を、前記通信部を介してサーバー装置に送信する制御部と、を備える端末装置と、前記取得要求に対応した情報を前記端末装置に送信する前記サーバー装置と、を備え、前記制御部は、前記サーバー装置から受信した情報を前記表示部に表示させ、判定した前記コード情報の用途が、食品を加熱する加熱調理である場合、加熱調理に関する加熱情報の取得要求を前記サーバー装置に送信する。

【発明の効果】

【0008】

本開示におけるプログラム、端末装置、及びサービス提供システムは、受け付けた操作に基づいてコード情報の用途が判定され、判定された用途に対応した情報をサーバー装置から取得して表示させることができる。このため、同一のコード情報を読み取った場合であっても、操作に対応した情報を表示部に表示させることができ、ユーザーの利便性を向上させることができる。

【図面の簡単な説明】

【0009】

【図1】サービス提供システムのシステム構成図

【図2】端末装置、調理器及びサーバー装置の構成を示すブロック構成図

【図3】ユーザーデータベースの構成を示す図

【図4】ホーム画面の一例を示す図

【図5】処理選択画面の一例を示す図

【図6】スキャン画面の一例を示す図

【図7】選択画面の一例を示す図

【図8】スキャン画面の一例を示す図

【図9】確認画面の一例を示す図

【図10】スキャン画面の一例を示す図

【図11】スキャン画面の一例を示す図

【図12】選択画面の一例を示す図

【図13】確認画面の一例を示す図

【図14】スキャン画面の一例を示す図

【図15】検索結果画面の一例を示す図

【図16】端末装置の動作を示すフローチャート

【図17】端末装置の動作を示すフローチャート

【図18】端末装置の動作を示すフローチャート

【図19】サーバー装置の動作を示すフローチャート

【発明を実施するための形態】

【0010】

以下、図面を参照しながら実施の形態を詳細に説明する。但し、必要以上に詳細な説明を省略する場合がある。例えば、既によく知られた事項の詳細説明、または、実質的に同一の構成に対する重複説明を省略する場合がある。
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することを意図していない。

【0011】

（実施の形態１）
以下、図１－図１９を用いて、実施の形態１を説明する。
［１－１．構成］
図１は、サービス提供システム１のシステム構成である。
サービス提供システム１は、端末装置１００と、調理器２００と、サーバー装置３００とがネットワーク１０を介して接続された構成を有する。ネットワーク１０は、有線ネットワークであってもよく、一部に無線ネットワークが含まれていてもよい。ネットワーク１０は、例えば、インターネットや、移動体通信網、ＷＡＮ（Wide Area Network）等の広域ネットワークを含む構成としてもよいし、イントラネットやＬＡＮ（Local Area Network）等のプライベートネットワークにより構成してもよい。また、端末装置１００及び調理器２００のネットワーク１０への接続形態は、有線であってもよいし、Ｗｉ－Ｆｉ（登録商標）等の無線であってもよい。

【0012】

端末装置１００は、可搬型の情報処理装置であり、サービスの提供を受けるユーザーが所持する端末である。端末装置１００には、例えば、スマートフォンや、タブレット型ＰＣ（Personal Computer）、ノート型ＰＣ、デスクトップＰＣ、携帯電話機、ＰＤＡ（Personal Digital Assistant）等を採用可能である。本実施の形態では、端末装置１００がスマートフォンである場合を例に挙げて説明する。

【0013】

端末装置１００には、サービスアプリケーションプログラム（以下、簡単にサービスアプリ１４３という）がインストールされている。このサービスアプリ１４３は、ユーザーが端末装置１００を操作してサーバー装置３００からダウンロードしてもよいし、サーバー装置３００以外の他のサーバー装置からダウンロードしてもよい。

【0014】

端末装置１００は、サービスアプリ１４３を実行して、ユーザーにサービスを提供する。サービスアプリ１４３が実行されることにより提供されるサービスには、例えば、冷凍食品等の食品を調理器２００により加熱調理する場合に、定格高周波出力や、加熱時間等の加熱情報を調理器２００に設定したり、ユーザーが購入した食品や食材の在庫管理を行ったり、ユーザーにより選択された食材を含むレシピを検索したりするサービスが含まれる。

【0015】

調理器２００は、加熱調理を行う調理機器である。本実施の形態では、調理器２００がオーブンレンジである場合について説明するが、調理器２００は、例えば、炊飯器であってもよいし、電気圧力鍋であってもよい。
調理器２００は、ネットワーク１０を介してサーバー装置３００に接続される。調理器２００は、サーバー装置３００から受信したデータに基づき、加熱調理の調理設定を行う。調理器２００は、調理設定が行われた状態で、ユーザーにより調理の開始ボタンが押下されると、設定された調理設定に従って、加熱調理を開始する。
なお、本実施の形態では、端末装置１００と、調理器２００とが直接通信を行うことはないが、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信により端末装置１００と、調理器２００とが直接通信を行い、データを送受信する構成であってもよい。

【0016】

サーバー装置３００は、登録されたユーザーの所持する端末装置１００に、情報を提供する。サーバー装置３００が提供する情報には、例えば、調理器２００の加熱情報に関する情報や、食品の利用期限、食材の保存方法や賞味期限、レシピ等が含まれる。
また、サーバー装置３００は、端末装置１００から加熱情報の情報を受信すると、情報を受信した端末装置１００に対応づけられた調理器２００に、受信した加熱情報を送信する。すなわち、サーバー装置３００は、端末装置１００のユーザーにより選択された加熱情報を、ユーザーが利用する調理器２００に送信し、調理器２００の調理設定を行う。

【0017】

図２は、端末装置１００、調理器２００及びサーバー装置３００の構成を示すブロック構成図である。まず、端末装置１００について説明する。
端末装置１００は、端末通信Ｉ／Ｆ１１１、カメラ１１３、表示部１１５及び端末制御部１３０を備える。

【0018】

端末通信Ｉ／Ｆ１１１は、通信モジュールを備える通信インターフェイスであり、ネットワーク１０を介してサーバー装置３００と相互にデータ通信を行う。端末通信Ｉ／Ｆ１１１の通信方式には、例えば、４Ｇ（Generation）、５Ｇ、Ｗｉ－Ｆｉ等の無線通信方式が採用される。端末通信Ｉ／Ｆ１１１は、通信部の一例に相当する。

【0019】

カメラ１１３は、レンズ及び撮像素子を備える。撮像素子は、例えば、ＣＣＤ（Charged Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサーである。カメラ１１３は撮影によって撮像画像を生成し、生成した撮影画像を端末制御部１３０に出力する。カメラ１１３は、撮影部の一例に相当する。

【0020】

表示部１１５は、液晶や有機ＥＬ（Electronic Luminescent）等の表示パネルと、タッチ操作を検出するタッチセンサーとを備えるタッチパネル１１７を備える。タッチパネル１１７は、操作部の一例に相当する。タッチセンサーは、ユーザーの指や、ペン等の指示体が接触した表示パネルの位置を示す座標情報を端末制御部１３０に出力する。この座標情報は、表示パネルの予め設定された座標系での座標である。

【0021】

端末制御部１３０は、端末記憶部１４０及び端末プロセッサー１５０を備えるコンピューターである。

【0022】

端末記憶部１４０は、例えば、フラッシュメモリーや、ＳＤカード等の不揮発性の記憶装置と、ＲＡＭ（Random access memory）等の揮発性の記憶装置とを備える。
端末記憶部１４０は、ＯＳ（Operating System）等の制御プログラム１４１や、サービスアプリ１４３、ユーザーＩＤ（Identifier）１４５、その他各種の設定データを記憶する。ユーザーＩＤ１４５は、端末装置１００のユーザーにより設定された情報であり、サービス提供システム１の利用者を識別する識別情報である。また、端末記憶部１４０には、ユーザーが購入した食品や食材の在庫管理データが記憶される。在庫管理データには、例えば、食品や食材の種類（名称）、個数、利用期限、賞味期限、保存方法等のデータが含まれる。

【0023】

端末プロセッサー１５０は、ＣＰＵ（Central Processing Unit）や、ＣＰＵを搭載したＭＣＵ（Micro Controller Unit）や、ＭＰＵ（Micro Processor Unit）等のマイコンにより構成される。また、端末プロセッサー１５０を、端末通信Ｉ／Ｆ１１１やカメラ、各種センサー、メモリーを備えるＳｏＣ（System-on-a-Chip）の一部として構成してもよい。

【0024】

端末制御部１３０は、機能的構成として、コード検出部１５１、画像認識部１５３、データ取得部１５５及び表示制御部１５７を備える。これらは、端末プロセッサー１５０が、端末記憶部１４０に記憶された制御プログラム１４１や、サービスアプリ１４３を実行することに実現される機能である。

【0025】

コード検出部１５１は、カメラ１１３の撮影画像からコード情報を検出する。コード検出部１５１が取得するコード情報には、例えば、ＪＡＮコード等の一次元コードや、ＱＲコード(登録商標)等の二次元コードが含まれる。コード検出部１５１は、撮影画像から一次元コードや二次元コード等のコード情報を検出し、検出したコード情報に含まれる食品を識別する識別データを取得する。コード検出部１５１が動作する場合の端末制御部１３０の動作モードを、コード認識モードという。

【0026】

画像認識部１５３は、カメラ１１３の撮影画像に撮影された物体を特定する。例えば、画像認識部１５３は、撮影画像に含まれる形状や、色、大きさ等の特徴点を抽出し、抽出した特徴点と、予め記憶した食材の特徴点とを比較して、食材の種類を判定する。画像認識部１５３が動作する場合の端末制御部１３０の動作モードを、画像認識モードという。

【0027】

データ取得部１５５は、端末通信Ｉ／Ｆ１１１を制御して、サーバー装置３００にデータの取得要求を送信し、サーバー装置３００からデータを取得する。
データ取得部１５５は、カメラ１１３の撮影画像から食品を識別する識別データを含むコード情報をコード検出部１５１が検出した場合であって、タッチパネル１１７により検出された操作が、調理器２００に加熱情報を送信する処理を選択する操作である場合、コード情報の用途を、加熱情報の取得と判定する。この場合、データ取得部１５５は、食品の識別データと、ユーザーＩＤ１４５とを含む加熱情報の取得要求を、サーバー装置３００に送信して、加熱情報を含むデータを取得する。

【0028】

また、データ取得部１５５は、コード検出部１５１がカメラ１１３の撮影画像から食品の識別データを含むコード情報を検出した場合であって、タッチパネル１１７により検出された操作が、在庫管理を選択する操作である場合、コード情報の用途を、在庫管理と判定する。この場合、データ取得部１５５は、食品の識別データと、ユーザーＩＤ１４５とを含む在庫管理に必要な情報の取得要求を、サーバー装置３００に送信する。在庫管理に必要な情報には、食品の利用期限や、保存方法等が含まれる。以下、食品の在庫管理に必要な情報を、食品管理情報という。

【0029】

また、データ取得部１５５は、画像認識部１５３が、食材の種類を判定した場合であって、タッチパネル１１７により検出された操作が、在庫管理を選択する操作であった場合、判定された食材の種類を示す情報と、ユーザーＩＤ１４５とを含む在庫管理に必要なデータの取得要求を、サーバー装置３００に送信する。在庫管理に必要な情報には、食材の利用期限や、保存方法等が含まれる。以下、食材の在庫管理に必要な情報を、食材管理情報という。

【0030】

また、データ取得部１５５は、画像認識部１５３が、食材の種類を判定した場合であって、タッチパネル１１７により検出された操作が、レシピ検索を選択する操作であった場合、判定された食材の種類を示す情報と、ユーザーＩＤ１４５とを含むレシピデータの取得要求を、サーバー装置３００に送信する。

【0031】

表示制御部１５７は、表示部１１５を制御してタッチパネル１１７に表示画面を表示させる。表示制御部１５７は、表示データを生成し、生成した表示データを表示部１１５に出力する。表示部１１５は、入力された表示データに基づいて、表示画面をタッチパネル１１７に表示させる。例えば、表示制御部１５７は、サーバー装置３００から受信した食品のパッケージ画像や、加熱情報、食品の利用期限や、保存方法、レシピ等をタッチパネル１１７に表示させる。

【0032】

調理器２００は、調理器通信Ｉ／Ｆ２０１、操作部２０３、表示部２０５、調理制御部２１０及び加熱調理部２２０を備える。調理器通信Ｉ／Ｆ２０１は、通信モジュールを備える通信インターフェイスである。調理器通信Ｉ／Ｆ２０１は、例えば、Ｗｉ－Ｆｉ等の無線通信によりサーバー装置３００とデータ通信を行う。

【0033】

操作部２０３は、例えば、調理開始ボタンや、加熱時間、定格高周波出力等を設定する設定ボタン等を備える。操作部２０３は、調理開始ボタンや設定ボタンの操作を受け付けると、操作を受け付けたボタンに対応した操作信号を調理制御部２１０に出力する。

【0034】

表示部２０５は、液晶パネル等の表示パネルを備え、調理制御部２１０の制御に従い、文字や画像を表示パネルに表示させる。例えば、表示パネルには、加熱調理する食品の画像や、加熱時間、定格高周波出力等の加熱情報が表示される。

【0035】

調理制御部２１０は、操作部２０３で受け付けた操作や、サーバー装置３００から受信した加熱情報に従い加熱調理部２２０を制御し、加熱調理を実行する。
また、調理制御部２１０は、操作部２０３で受け付けた操作内容や、サーバー装置３００から受信した加熱情報を、表示部２０５に表示させる。

【0036】

加熱調理部２２０は、調理制御部２１０により設定された調理方法や、調理時間に従い、不図示の加熱室内に収容された被調理物を加熱調理する。調理方法には、レンジ調理、オーブン調理、スチーム調理、グリル調理等が含まれる。

【0037】

次に、サーバー装置３００の構成について説明する。
サーバー装置３００は、サーバー通信Ｉ／Ｆ３０１及びサーバー制御部３１０を備える。
サーバー通信Ｉ／Ｆ３０１は、例えば、ＮＩＣ（Network Interface Card）等のネットワークアダプタを備え、ネットワーク１０を介して端末装置１００や、調理器２００とデータ通信を行う。

【0038】

サーバー制御部３１０は、サーバー記憶部３２０及びサーバープロセッサー３３０を備える。
サーバー記憶部３２０は、例えば、ＲＯＭや、フラッシュメモリー等の不揮発性の記憶装置と、ハードディスクドライブや、ＳＳＤ（Solid State Drive）等の補助記憶装置により構成される。サーバー記憶部３２０は、制御プログラム３２１や、データベース３２３を記憶する。

【0039】

データベース３２３に登録されるデータには、登録された食品の加熱情報が含まれる。データベース３２３に登録される食品は、サービス提供システム１に参加した企業が提供する食品である。加熱情報には、定格高周波出力や、加熱時間の情報が含まれる。定格高周波出力や、加熱時間の情報は、例えば、食品が焼きおにぎりやから揚げ等の同時に調理する個数によって加熱時間が異なる場合、同時調理する個数ごとに設定される。
また、データベース３２３に登録されるデータには、登録された食品のパッケージ画像や、利用期限、保存方法等のデータが含まれる。
また、データベース３２３に登録されるデータには、野菜や肉、魚等の食材ごとの利用期限や、保存方法等のデータが含まれる。
また、データベース３２３に登録されるデータには、料理のレシピデータが含まれる。

【0040】

図３は、データベース３２３に含まれるユーザーデータベース３２３ａの構成を示す図である。ユーザーデータベース３２３ａは、サービス提供システム１に登録されたユーザーの情報を登録したデータベースである。ユーザーデータベース３２３ａには、ユーザーの使用する調理器２００の種別や機種情報と、調理器２００の通信アドレスとが、ユーザーの識別情報であるユーザーＩＤ及びパスワードに対応づけて登録されている。

【0041】

サーバープロセッサー３３０は、例えば、ＣＰＵやＭＣＵ、ＭＰＵにより構成される。サーバー制御部３１０は、サーバープロセッサー３３０が、サーバー記憶部３２０に記憶された制御プログラム３２１を実行することにより、各種処理を実行する。

【0042】

サーバー制御部３１０は、例えば、端末装置１００から加熱情報の取得要求を受信した場合、受信した取得要求に含まれる識別データに対応した食品のパッケージ画像や、加熱情報をデータベース３２３から読み出し、読み出したデータを端末装置１００に送信する。また、サーバー制御部３１０は、端末装置１００から食品の識別データと、ユーザーＩＤ１４５とを含む食品管理情報の取得要求を受信すると、受信した取得要求に含まれる識別データに対応した食品のパッケージ画像や、食品の利用期限や、保存方法等のデータをデータベース３２３から読み出し、読み出したデータを端末装置１００に送信する。

【0043】

また、サーバー制御部３１０は、端末装置１００から食材の種類を示す情報と、ユーザーＩＤ１４５とを含む食材管理情報の取得要求を受信すると、該当する食材の利用期限や、保存方法等のデータをデータベース３２３から読み出し、読み出したデータを端末装置１００に送信する。また、サーバー制御部３１０は、端末装置１００から食材の種類を示す情報と、ユーザーＩＤ１４５とを含むレシピデータの取得要求を受信すると、受信した情報が示す食材を含むレシピデータをデータベース３２３から読み出し、読み出したデータを端末装置１００に送信する。

【0044】

また、サーバー制御部３１０は、端末装置１００から加熱情報の取得要求を受信した場合、端末装置１００を所持するユーザーのユーザーＩＤ１４５に対応づけられた調理器２００の通信アドレスを取得し、取得した通信アドレス宛に、加熱情報を送信する。

【0045】

図４は、ホーム画面５０の一例を示す図である。
端末制御部１３０は、ユーザーのタッチ操作によりサービスアプリ１４３が選択されると、サービスアプリ１４３を起動させて図４に示すホーム画面５０を表示させる。
ホーム画面５０には、メニューアイコン５１、スキャンアイコン５３、通知画面５５，５７等が表示される。
メニューアイコン５１は、このメニューアイコン５１が選択された場合に、メニューの一覧が表示されるアイコンである。
スキャンアイコン５３は、カメラ１１３の撮影画像により食品に付されたコード情報や、食材をスキャンし、スキャン結果に基づく処理を実行するアイコンである。以下、カメラ１１３の撮影画像により食品に付されたコード情報や、食材を認識する処理をスキャンという。
通知画面５５，５７には、お知らせや、オススメのレシピ等の情報が表示される。図４には、２つの通知画面５５，５７が表示された例を示すが、ホーム画面５０に表示される通知画面５５，５７の数は任意である。

【0046】

図５は、スキャンアイコン５３が選択された場合に、タッチパネル１１７に表示される処理選択画面５１０の一例を示す図である。
処理選択画面５１０は、スキャンを利用して実行される処理の一覧を表示した画面である。処理選択画面５１０には、第１処理表示５１１、第２処理表示５１３及び第３処理表示５１５が選択可能に表示される。第１処理表示５１１は、第１処理表示５１１が表示されたタッチパネル１１７の領域を、ユーザーがタッチ操作することにより選択される。第２処理表示５１３及び第３処理表示５１５についても同様である。

【0047】

第１処理表示５１１には、第１処理が表示される。第１処理は、加熱情報を、調理器２００に送信する処理である。
第２処理表示５１３には、第２処理が表示される。第２処理は、スキャンした食品や食材の在庫管理を行う処理である。
第３処理表示５１５には、第３処理が表示される。第３処理は、スキャンした食材を含むレシピを検索する処理である。

【0048】

図６は、第１処理表示５１１が選択された場合に、タッチパネル１１７に表示されるスキャン画面５２０の一例を示す図である。
図６に示すスキャン画面５２０には、切替表示５２１と、案内表示５２３と、範囲画像５２５とが表示される。
切替表示５２１は、端末制御部１３０の動作モードを、一次元コードや二次元コード等のコード情報を認識するコード認識モードと、撮影画像から特徴点を抽出し、抽出した特徴点に基づいて食材を認識する画像認識モードとに切り替える表示である。切替表示５２１には、コード認識５２１Ａと、画像認識５２１Ｂとが表示される。端末制御部１３０は、ユーザーの操作によりコード認識５２１Ａが選択されると、動作モードをコード認識モードに変更する。また、端末制御部１３０は、ユーザーの操作により画像認識５２１Ｂが選択されると、動作モードを画像認識モードに変更する。図６には、斜め線のハッチングにより示すコード認識５２１Ａが選択された状態を示す。コード認識５２１Ａが選択された場合に表示されるスキャン画面５２０の表示を、コード認識表示という。

【0049】

案内表示５２３には、切替表示５２１に含まれるコード認識５２１Ａと、画像認識５２１Ｂとのいずれが選択されているかを案内する表示が表示される。例えば、コード認識３２１Ａが選択された場合、例えば、「一次元コード、二次元コードを自動で認識します。」といった案内が表示される。また、画像認識５２１Ｂが選択された場合、例えば、「画像を解析して食材を認識します。」といった案内が表示される。

【0050】

範囲画像５２５には、コード認識５２１Ａや、画像認識５２１Ｂの認識範囲を示す画像が表示される。すなわち、カメラ１１３の撮影画像のうち、範囲画像５２５により示される範囲内の画像を対象としてコード認識や、画像認識が行われる。

【0051】

図７は、図６に示すスキャン画面５２０において、食品に付されたコード情報が認識された場合に、タッチパネル１１７に表示される選択画面５３０の一例を示す図である。
端末制御部１３０は、第１処理表示５１１が選択された場合、コード情報の用途を、加熱情報の取得と判定する。端末制御部１３０は、取得したデータをサーバー装置３００に送信して、コード情報に対応した食品の加熱情報をサーバー装置３００から取得する。
選択画面５３０には、食品パッケージの表示欄５３１と、調理器２００に設定可能な加熱情報の一覧が表示された一覧表示欄５３３と、送信ボタン５３５とが表示される。
食品画像の表示欄３３１に表示される食品パッケージは、端末装置１００が、サーバー装置３００から取得した画像である。端末制御部１３０は、コード情報を読み取ると、読み取ったコード情報をサーバー装置３００に送信する。サーバー装置３００は、端末装置１００から受信したコード情報に対応する食品のパッケージ画像と、加熱情報とを該当の端末装置１００に送信する。

【0052】

一覧表示欄５３３には、加熱情報として、定格高周波出力５３３１と、加熱時間５３３３とが表示される。加熱時間５３３３は、食品が、個数によって調理時間が変更される食品である場合、食品の個数ごとの加熱時間が表示される。

【0053】

送信ボタン５３５は、ユーザーにより選択された定格高周波出力５３３１と、加熱時間５３３３との情報を、調理器２００に送信するボタンである。端末制御部１３０は、送信ボタン５３５が押下されると、定格高周波出力５３３１と、加熱時間５３３３との情報をサーバー装置３００に送信する。サーバー装置３００は、端末装置１００から受信した定格高周波出力５３３１と、加熱時間５３３３との情報を、該当の調理家電に送信する。

【0054】

図８は、図５に示す第２処理表示５１３が選択された場合に、タッチパネル１１７に表示されるスキャン画面５４０の一例を示す図であって、コード認識表示のスキャン画面５４０を示す。図８に示すスキャン画面５４０は、図６に示すスキャン画面５２０と同一であるため、スキャン画面５４０の詳細な説明は省略する。

【0055】

図９は、図８に示すスキャン画面５４０において、食品に付されたコード情報が認識された場合に、タッチパネル１１７に表示される確認画面５５０の一例を示す図である。
端末制御部１３０は、第２処理表示５１３が選択された場合、コード情報の用途を、スキャンした食品の在庫管理と判定する。端末制御部１３０は、食品の識別データと、ユーザーＩＤ１４５とを含む食品管理情報の取得要求をサーバー装置３００に送信し、食品の食品管理情報をサーバー装置３００から取得する。
確認画面５５０には、食品パッケージの表示欄５５１と、食品情報の表示欄５５３と、登録ボタン５５５とが表示される。食品画像の表示欄３３１に表示される食品パッケージは、端末装置１００が、サーバー装置３００から取得した画像である。
食品情報の表示欄５５３には、利用期限５５３Ａと、保存方法５５３Ｂとが表示される。
登録ボタン５５５は、在庫管理に登録するボタンである。端末制御部１３０は、登録ボタン５５５が押下されると、表示欄５５１に表示された食品を在庫管理に登録する。すなわち、表示欄５５１に表示された食品の個数を管理する個数データを１加算する。

【0056】

図１０は、図９に示す確認画面５５０において、登録ボタン５５５が押下された後に表示されるコード認識表示のスキャン画面５４０の一例を示す図である。
端末制御部１３０は、登録ボタン５５５が押下されると、食品を続けてスキャンできるようにするため、図１０に示すスキャン画面５４０を再度、表示させる。図１０に示すスキャン画面５４０は、案内表示５４３として、食品が在庫管理に登録されたこと、食品のスキャンを続けて行うことができることが表示される。
また、図１０に示すスキャン画面５４０には、食品のスキャンを終了させる終了ボタン５４７が表示される。

【0057】

図１１は、図５に示す第２処理表示５１３が選択された場合に、タッチパネル１１７に表示されるスキャン画面５４０の一例を示す図であって、画像認識５４１Ｂが選択された場合を示す図である。図１１には、斜め線のハッチングにより示す画像認識５２１Ｂが選択された状態を示す。画像認識５２１Ｂが選択された場合に表示されるスキャン画面５２０の表示を、画像認識表示という。
画像認識５４１Ｂが選択された場合に、スキャン画面５４０に表示される案内表示５４３には、「画像から食材を検出します。」といった案内が表示される。
また、画像認識５４１Ｂが選択された場合、スキャンを開始させるスキャンボタン５４９が表示される。ユーザーは、タッチパネル１１７に表示されるカメラ１１３の撮影画像のうち、認識させたい食材の画像が、範囲画像５４５により示される範囲内に納まるように端末装置１００の位置を移動させる。認識させたい食材の画像が範囲内に表示されると、ユーザーは、スキャンボタン５４９を押下する。

【0058】

端末制御部１３０は、スキャンボタン５４９が押下されると、範囲画像５４５により示される範囲の撮影画像から特徴点を抽出し、抽出した特徴点を、予め記憶した食材の特徴点とを比較して食材の種類を判定する。

【0059】

図１２は、図１１に示すスキャン画面５４０において、画像認識が実行された場合に、タッチパネル１１７に表示される選択画面５６０の一例を示す図である。
選択画面５６０には、食材選択欄５６１と、選択欄５６３とが表示される。食材選択欄５６１には、画像認識により検出された候補となる食材の食材名と、チェックボックスとが表示される。チェックボックスは、表示された食材名にそれぞれ対応づけて表示される。ユーザーは、食材選択欄５６１に、画像認識させた食材の食材名が表示された場合、対応するチェックボックスにチェックを入れる。

【0060】

選択欄５６３には、３つのボタン５６３が表示される。
１つ目は、チェックボックスにより選択された食材を在庫管理に登録する場合に押下するボタン５６３Ａである。２つ目は、該当する食材がない場合に押下するボタン５６３Ｂである。３つ目は、画像認識を再度行う場合に押下するボタン５６３Ｃである。端末制御部１３０は、ボタン５６３Ｂが押下された場合、例えば、野菜、肉、魚、果物等の大分類と、トマト、レタス、小松菜等の小分類とをタッチパネル１１７に表示させる。ユーザーは、大分類及び小分類の該当する項目にチェックを入れる。

【0061】

図１３は、図１２に示す選択画面５６０において、食材選択欄５６１に表示されたトマトのチェックボックスにチェックが入れられ、在庫管理に登録する処理が選択された場合に表示される確認画面５７０の一例を示す図である。
端末制御部１３０は、第２処理表示５１３が選択された場合、コード情報の用途を、スキャンした食材の在庫管理と判定する。端末制御部１３０は、食材の種類を示す情報と、ユーザーＩＤ１４５とを含む食材管理情報の取得要求をサーバー装置３００に送信し、食材の食材管理情報をサーバー装置３００から取得する。
確認画面５７０には、在庫管理に登録する食材名の表示欄５７１と、食材情報の表示欄５７１と、登録ボタン５７３とが表示される。食材情報の表示欄５７１には、利用期限５７１Ａと、保存方法５７１Ｂとが表示される。
登録ボタン５７３は、在庫管理に登録するボタンである。端末制御部１３０は、登録ボタン５７３が押下されると、表示欄５５１に表示された食材を在庫管理に登録する。すなわち、表示欄５５１に表示された食材の個数を管理する個数データを１加算する。

【0062】

図１４は、第３処理表示５１５が選択された場合に、タッチパネル１１７に表示されるスキャン画面５８０の一例を示す図である。
第３処理表示５１５が選択された場合、タッチパネル１１７には、画像認識表示のスキャン画面５８０が表示される。
スキャン画面５８０には、切替表示５８１と、案内表示５８３と、範囲画像５８５と、スキャンボタン５８７とが表示される。第３処理表示５１５が選択された場合、スキャン画面５８０は、画像認識表示に変更される。スキャン画面５８０は、図１１に示すスキャン画面５４０と同一の画面である。

【0063】

図１５は、検索結果画面５９０の一例を示す図である。
端末制御部１３０は、図１４に示すスキャン画面５８０において、画像認識により食材が検出された場合、図１５に示す検索結果画面５９０を表示させる。図１５に示す検索結果画面５９０は、画像認識により玉ねぎが検出された場合の検索結果画面５９０を示す。端末制御部１３０は、画像認識により玉ねぎが検出されると、検出された玉ねぎを使用したレシピの取得要求をサーバー装置３００に送信する。サーバー装置３００は、データベース３２３を検索して、玉ねぎを使用したレシピのレシピデータを読み出し、読み出したレシピデータを該当の端末装置１００に送信する。

【0064】

［１－２．動作］
図１６～図１８は、端末装置１００の動作を示すフローチャートである。
図１６～図１８のフローチャートを参照しながら端末装置１００の動作を説明する。
ユーザーの操作によりサービスアプリ１４３が選択されると、端末制御部１３０は、サービスアプリ１４３を実行しＴＥ、タッチパネル１１７にホーム画面５０を表示させる。その後、端末制御部１３０は、スキャンアイコン５３が操作されたか否かを判定する（ステップＳ１）。端末制御部１３０は、スキャンアイコン５３が操作されていない場合（ステップＳ１／ＮＯ）、スキャンアイコン５３が操作されるまで処理の開始を待機する。

【0065】

端末制御部１３０は、スキャンアイコン５３が操作された場合（ステップＳ１／ＹＥＳ）、図５に示す処理選択画面５１０をタッチパネル１１７に表示させる（ステップＳ２）。次に、端末制御部１３０は、第１処理である加熱情報の送信が選択されたか否かを判定する（ステップＳ３）。端末制御部１３０は、第１処理表示５１１が選択されたか否かを判定して、第１処理が選択されたか否かを判定する。

【0066】

端末制御部１３０は、第１処理が選択された場合（ステップＳ３／ＹＥＳ）、図６に示すスキャン画面５２０の表示態様をコード認識表示に変更し（ステップＳ４）、動作モードをコード認識モードに変更する。そして、端末制御部１３０は、カメラ１１３の撮影画像から一次元コード又は二次元コードを検出したか否かを判定する（ステップＳ５）。端末制御部１３０は、一次元コード又は二次元コードが検出できなかった場合（ステップＳ５／ＮＯ）、一次元コード又は二次元コードが検出されるまで、ステップＳ５の判定を繰り返す。ステップＳ５は、検出手順に相当する。

【0067】

また、端末制御部１３０は、一次元コード又は二次元コードが検出されると（ステップＳ５／ＹＥＳ）、検出した一次元コード又は二次元コードに含まれるデータを取得する。端末制御部１３０は、ステップＳ３の判定で、第１処理表示５１１が選択された場合、コード情報の用途を、加熱情報の取得と判定する。端末制御部１３０は、取得したデータをサーバー装置３００に送信し、識別データが示す食品の加熱情報をサーバー装置３００から取得する（ステップＳ６）。端末制御部１３０は、サーバー装置３００から加熱情報を取得すると、図７に示す選択画面５３０に取得した加熱情報を表示させ、調理器２００に設定可能な加熱情報を一覧表示させる（ステップＳ７）。ステップＳ５及びＳ６は、第１判定手順及び送信手順に相当する。また、ステップＳ７は、表示手順に相当する。

【0068】

次に、端末制御部１３０は、加熱情報の１つが選択されたか否かを判定する（ステップＳ８）。端末制御部１３０は、加熱情報を選択する操作を受け付けていない場合（ステップＳ８／ＮＯ）、加熱情報が選択されるまで処理の開始を待機する。

【0069】

また、端末制御部１３０は、加熱情報を選択する操作を受け付けた場合（ステップＳ８／ＹＥＳ）、図７に示す送信ボタン５３５が押下されたか否かを判定する（ステップＳ９）。端末制御部１３０は、送信ボタン５３５が押下されていない場合（ステップＳ９／ＮＯ）、送信ボタン５３５が押下されるまで待機する。端末装置１００は、送信ボタン５３５が押下されると（ステップＳ９／ＹＥＳ）、選択された加熱情報をサーバー装置３００に送信する（ステップＳ１０）。

【0070】

次に、図１６に示すステップＳ３の判定が否定判定であった場合の端末制御部１３０の動作を図１７に示すフローチャートを参照しながら説明する。
端末制御部１３０は、まず、第２処理であるスキャンした食品や食材の在庫管理を行う処理が選択されたか否かを判定する（ステップＳ１１）。端末制御部１３０は、第２処理表示５１３が選択されたか否かを判定して、第２処理が選択されたか否かを判定する。

【0071】

端末制御部１３０は、第２処理が選択された場合（ステップＳ１１／ＹＥＳ）、図８に示すスキャン画面５４０を表示させる。例えば、端末制御部１３０は、デフォルトで設定されたコード認識表示のスキャン画面５４０を表示させる（ステップＳ１２）。

【0072】

次に、端末制御部１３０は、切替表示５４１の操作により、スキャン画面５４０の表示を変更する操作を受け付けたか否かを判定する（ステップＳ１３）。端末制御部１３０は、スキャン画面５４０の表示を変更する操作を受け付けていない場合（ステップＳ１３／ＮＯ）、カメラ１１３の撮影画像から一次元コード又は二次元コードを検出したか否かを判定する（ステップＳ１４）。ステップＳ１４は、検出手順に相当する。

【0073】

端末制御部１３０は、一次元コード又は二次元コードが検出されなかった場合（ステップＳ１４／ＮＯ）、一次元コード又は二次元コードが検出されるまで、ステップＳ１４の判定を繰り返す。

【0074】

また、端末制御部１３０は、一次元コード又は二次元コードが検出されると（ステップＳ１４／ＹＥＳ）、検出した一次元コード又は二次元コードに含まれる識別データを取得する。端末制御部１３０は、ステップＳ１１の判定で、第２処理表示５１３が選択された場合、コード情報の用途を、スキャンした食品や食材の在庫管理と判定する。端末制御部１３０は、食品の識別データと、ユーザーＩＤ１４５とを含む食品管理情報の取得要求をサーバー装置３００に送信し、識別データに対応した食品の食品管理情報をサーバー装置３００から取得する（ステップＳ１５）。端末制御部１３０は、サーバー装置３００から食品管理情報を取得すると、取得した食品管理情報を、図９に示す確認画面５５０に表示させる（ステップＳ１６）。この確認画面５５０には、サーバー装置３００から取得した食品管理情報に含まれる利用期限や、保存方法等の情報が表示される。ステップＳ１４及びＳ１５は、第１判定手順及び送信手順に相当する。また、ステップＳ１６は、表示手順に相当する。

【0075】

次に、端末制御部１３０は、確認画面５５０に表示された登録ボタン５５５が押下されたか否かを判定する（ステップＳ１７）。端末制御部１３０は、登録ボタン５５５が押下されると（ステップＳ１７／ＹＥＳ）、端末記憶部１４０が記憶する在庫管理データとして食品管理情報を記憶させる（ステップＳ１８）。その後、端末制御部１３０は、タッチパネル１１７にホーム画面５０を表示させ、ステップＳ１の判定に戻る。

【0076】

また、端末制御部１３０は、ステップＳ１３において、切替表示５４１の操作により、スキャン画面５４０の表示を変更する操作を受け付けた場合（ステップＳ１３／ＹＥＳ）、スキャン画面５２０の表示態様を、図１１に示す画像認識表示に変更し、動作モードを画像認識モードに変更する。

【0077】

次に、端末制御部１３０は、スキャンボタン５４９が押下されたか否かを判定する（ステップＳ１９）。端末制御部１３０は、スキャンボタン５４９が押下されていない場合（ステップＳ２０／ＮＯ）、スキャンボタン５４９が押下されるまで処理の開始を待機する。また、端末制御部１３０は、スキャンボタン５４９が押下されると（ステップＳ１９／ＹＥＳ）、カメラ１１３の撮影画像から特徴点を抽出し、抽出した特徴点を、予め記憶した食材の特徴点と比較して食材を判定する（ステップＳ２０）。ステップＳ１９及びステップＳ２０は、第２判定手順に相当する。

【0078】

次に、端末制御部１３０は、画像認識により判定した食材の候補をタッチパネル１１７に表示させる（ステップＳ２１）。端末制御部１３０は、図１２に示す選択画面５６０を表示させる。この選択画面５６０には、食材選択欄５６１と、選択欄５６３とが表示される。端末制御部１３０は、選択画面５６０を表示させると、食材が選択されたか否かを判定する（ステップＳ２２）。端末制御部１３０は、食材が選択された場合（ステップＳ２２／ＹＥＳ）、該当する食材の食材管理情報の取得要求をサーバー装置３００に送信し、サーバー装置３００から食材管理情報を取得する（ステップＳ２５）。

【0079】

次に、端末制御部１３０は、取得した食材管理情報を、図１３に示す確認画面５７０に表示させる（ステップＳ２６）。この確認画面５７０にも、サーバー装置３００から取得した食品管理情報に含まれる利用期限や、保存方法等の情報が表示される。

【0080】

次に、端末制御部１３０は、確認画面５７０に表示された登録ボタン５７３が押下されたか否かを判定する（ステップＳ２７）。端末制御部１３０は、登録ボタン５７３が押下されると（ステップＳ２７／ＹＥＳ）、端末記憶部１４０が記憶する在庫管理データとして食材管理情報を記憶させる（ステップＳ２８）。その後、端末制御部１３０は、タッチパネル１１７にホーム画面５０を表示させ、ステップＳ１の判定に戻る。

【0081】

また、端末制御部１３０は、ステップＳ２２の判定が否定判定の場合（ステップＳ２２／ＮＯ）、食材が選択されずに、再スキャンを選択する操作を受け付けたか否かを判定する（ステップＳ２３）。端末制御部１３０は、再スキャンが選択された場合（ステップＳ２３／ＹＥＳ）、ステップＳ１２の処理に戻り、スキャン画面５４０を表示させる。

【0082】

また、端末制御部１３０は、再スキャンを選択する操作を受け付けなかった場合（ステップＳ２３／ＮＯ）、ユーザーの入力を受け付ける（ステップＳ２４）。例えば、端末制御部１３０は、野菜、肉、魚、果物等の大分類と、トマト、レタス、小松菜等の小分類とをタッチパネル１１７に表示させ、ユーザーに、大分類及び小分類の該当する項目に入力される。その後、端末制御部１３０は、ステップＳ２３の処理に移行し、サーバー装置３００から食材管理情報を取得する。

【0083】

次に、図１７に示すステップＳ２９の判定が否定判定であった場合の端末制御部１３０の動作を図１８に示すフローチャートを参照しながら説明する。
端末制御部１３０は、まず、第３処理であるスキャンした食材を含むレシピを検索する処理が選択されたか否かを判定する（ステップＳ２９）。端末制御部１３０は、第３処理表示５１５が選択されたか否かを判定して、第３処理が選択されたか否かを判定する。

【0084】

端末制御部１３０は、第３処理が選択されなかった場合（ステップＳ２９／ＮＯ）、図１６に示すステップＳ３の判定に戻る。また、端末制御部１３０は、第３処理が選択された場合（ステップＳ２９／ＹＥＳ）、動作モードを画像確認モードに移行させ、図１４に示す画像認識表示のスキャン画面５４０を表示させる。

【0085】

図１８に示すステップＳ３０～Ｓ３６までの動作は、図１７に示すステップＳ１９～Ｓ２４の動作と同一であるため、ステップＳ３０～Ｓ３６の動作の説明は省略する。
次に、端末制御部１３０は、食材を特定すると、特定した食材を含むレシピの取得要求をサーバー装置３００に送信して、サーバー装置３００からレシピデータを取得する（ステップＳ３７）。

【0086】

次に、端末制御部１３０は、取得したレシピデータに基づき、図１５に示す検索結果画面５９０を表示させる。検索結果画面５９０には、取得したレシピデータが一覧表示される（ステップＳ３８）。次に、端末制御部１３０は、レシピを選択する操作を受け付けたか否かを判定する（ステップＳ３９）。端末制御部１３０は、レシピを選択する操作を受け付けた場合（ステップＳ３９／ＹＥＳ）、選択されたレシピをタッチパネル１１７に表示させる（ステップＳ４０）。また、端末制御部１３０は、レシピを選択する操作を受け付けなかった場合（ステップＳ３９／ＮＯ）、終了操作を受け付けたか否かを判定する（ステップＳ４１）。例えば、端末制御部１３０は、表示画面に表示された閉じるボタンが押下されたか否かを判定して、終了操作を受け付けたか否かを判定する。

【0087】

端末制御部１３０は、終了操作を受け付けた場合（ステップＳ４１／ＹＥＳ）、タッチパネル１１７にホーム画面５０を表示させ（ステップＳ４２）、ステップＳ１の判定に戻る。また、端末制御部１３０は、終了操作を受け付けていない場合（ステップＳ４１／ＮＯ）、ステップＳ３９の判定に戻る。

【0088】

図１９は、サーバー装置３００の動作を示すフローチャートである。
図１９に示すフローチャートを参照しながらサーバー装置３００の動作を説明する。
まず、サーバー制御部３１０は、端末装置１００からデータを受信したか否かを判定する（ステップＴ１）。サーバー制御部３１０は、端末装置１００からデータを受信していない場合（ステップＴ１／ＮＯ）、データを受信するまで待機する。

【0089】

サーバー制御部３１０は、端末装置１００からデータを受信した場合（ステップＴ１／ＹＥＳ）、受信したデータに加熱情報の取得要求が含まれるか否かを判定する（ステップＴ２）。サーバー制御部３１０は、受信したデータに加熱情報の取得要求が含まれる場合（ステップＴ２／ＹＥＳ）、該当する食品の加熱情報をデータベース３２３から読み出す（ステップＴ３）。サーバー制御部３１０は、読み出した加熱情報を、データを受信した端末装置１００に送信する（ステップＴ１０）。

【0090】

また、サーバー制御部３１０は、受信したデータに加熱情報の取得要求が含まれない場合（ステップＴ２／ＮＯ）、受信したデータに食品管理情報の取得要求が含まれるか否かを判定する（ステップＴ４）。サーバー制御部３１０は、受信したデータに食品管理情報の取得要求が含まれる場合（ステップＴ４／ＹＥＳ）、該当する食品の食品管理情報をデータベース３２３から読み出す（ステップＴ５）。サーバー制御部３１０は、読み出した食品管理情報を、データを受信した端末装置１００に送信する（ステップＴ１０）。

【0091】

また、サーバー制御部３１０は、受信したデータに食品管理情報の取得要求が含まれない場合（ステップＴ４／ＮＯ）、受信したデータに食材管理情報の取得要求が含まれるか否かを判定する（ステップＴ６）。サーバー制御部３１０は、受信したデータに食材管理情報の取得要求が含まれる場合（ステップＴ６／ＹＥＳ）、該当する食材の食材管理情報をデータベース３２３から読み出す（ステップＴ７）。サーバー制御部３１０は、読み出した食材管理情報を、データを受信した端末装置１００に送信する（ステップＴ１０）。

【0092】

また、サーバー制御部３１０は、受信したデータに食材管理情報の取得要求が含まれない場合（ステップＴ６／ＮＯ）、受信したデータにレシピデータの取得要求が含まれるか否かを判定する（ステップＴ８）。サーバー制御部３１０は、受信したデータにレシピデータの取得要求が含まれる場合（ステップＴ８／ＹＥＳ）、データに含まれる指定食材を含むレシピデータをデータベース３２３から読み出す（ステップＴ９）。サーバー制御部３１０は、読み出したレシピデータを、データを受信した端末装置１００に送信する（ステップＴ１０）。

【0093】

またサーバー制御部３１０は、受信したデータにレシピデータの取得要求が含まれない場合（ステップＴ８／ＮＯ）、受信したデータに対応した処理を実行して（ステップＴ１１）、処理フローを終了させる。

【0094】

［１－３．効果等］

【0095】

以上、説明したように、サービスアプリ１４３は、端末制御部１３０に、検出手順、第１判定手順、送信手順及び表示手順と、を実行させる。
検出手順は、カメラ１１３により撮影された撮影画像に含まれるコード情報を検出する手順である。
第１判定手順は、タッチパネル１１７に対するタッチ操作により受け付けた操作に基づいてコード情報の用途を判定する手順である。
送信手順は、判定したコード情報の用途に対応した情報の取得要求を、サーバー装置３００に送信する手順である。
表示手順は、サーバー装置３００から受信した情報を表示させる手順である。

【0096】

これにより、受け付けた操作に基づいてコード情報の用途が判定され、判定された用途に対応した情報をサーバー装置３００から取得して表示させることができる。従って、同一のコード情報を読み取った場合であっても、操作に対応した情報を表示部に表示させることができ、ユーザーの利便性を向上させることができる。

【0097】

また、送信手順は、第１判定手順により判定されたコード情報の用途が、食品を加熱する加熱調理である場合、加熱調理に関する加熱情報の取得要求をサーバー装置３００に送信する。

【0098】

これにより、コード情報の用途が、食品を加熱する加熱調理である場合、加熱調理に関する加熱情報を取得して端末装置１００に表示させることができる。

【0099】

また、送信手順は、第１判定手順により判定したコード情報の用途が食品の在庫管理である場合、コード情報が示す食品の利用期限を示す情報の取得要求をサーバー装置３００に送信する。

【0100】

これにより、コード情報の用途が、食品の在庫管理である場合、食品の利用期限を示す情報を取得して端末装置１００に表示することができる。

【0101】

また、サービスアプリ１４３は、端末制御部１３０に、撮影画像に撮影された食材を判定する第２判定手順を実行させる。
送信手順は、第２判定手順により判定された食材の利用期限を示す情報の取得要求をサーバー装置３００に送信する。

【0102】

これにより、撮影画像に撮影された食材を判定し、判定した食材の利用期限を示す情報を端末装置１００に表示させることができる。

【0103】

（実施の形態２）
実施の形態２を説明する。
上述した実施の形態１では、スキャンアイコン５３が選択されると、タッチパネル１１７に処理選択画面５１０を表示させ、第１処理、第２処理及び第３処理のいずれかをユーザーに選択させた。実施の形態２では、図４に示すホーム画面５０に表示されたスキャンアイコン５３が選択されると、第１処理、第２処理及び第３処理を選択する処理選択画面５１０を表示させることなく、コード認識表示のスキャン画面５２０、５４０、又は画像認識表示のスキャン画面５４０、５８０を表示させ、コード認識又は画像認識を実行する。

【0104】

端末制御部１３０は、コード認識表示のスキャン画面５２０、５４０によりコード情報を取得した場合、第１処理表示５１１及び第２処理表示５１３が表示された処理選択画面を表示させ、ユーザーにいずれの処理を実行するかを選択させる。
また、端末制御部１３０は、画像認識表示のスキャン画面５４０、５８０により食材を判定した場合、第２処理表示５１３及び第３処理表示５１５が表示された処理選択画面を表示させ、ユーザーにいずれの処理を実行するかを選択させる。

【0105】

このような手順であっても、上述した実施の形態１と同一の効果を得ることができる。

【0106】

上述した実施の形態は、あくまでも本発明の一態様を示すものであり、本発明の範囲内で任意に変形および応用が可能である。

【0107】

例えば、端末制御部１３０の機能は、複数のプロセッサー、又は、半導体チップにより実現してもよい。

【0108】

また、画像認識部１５３は、ＡＩによる画像認識により、食材を特定してもよい。例えば食材を撮像した教師用の撮影画像から食材の色、形状等の特徴量を学習する機械学習処理を行い、学習済みモデルを構築しておく。この学習済みモデルは、端末記憶部１４０に記憶させておく。画像認識部１５３は、カメラ１１３の撮影画像が入力されると、学習済みモデルを参照して、撮像画像に含まれる食材を判定する。また、前述の学習済みモデルをサーバー記憶部３２０に記憶させておき、サーバー装置３００において、食材を判定する構成であってもよい。この場合、画像認識部１５３は、カメラ１１３の撮影画像が入力されると、入力された撮影画像をサーバー装置３００に送信し、サーバー装置３００から食材の判定結果を取得する。

【0109】

図２に示した各部は一例であって、具体的な実装形態は特に限定されない。つまり、必ずしも各部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで各部の機能を実現する構成とすることも勿論可能である。また、上述した実施の形態においてソフトウェアで実現される機能の一部をハードウェアとしてもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。

【0110】

また、例えば、図１６－図１８のフローチャートに示す動作の単位は、端末装置１００の動作の理解を容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、本発明が限定されることはない。処理内容に応じて、さらに多くのステップ単位に分割してもよい。また、１つのステップ単位がさらに多くの処理を含むように分割してもよい。また、そのステップの順番は、本発明の趣旨に支障のない範囲で適宜に入れ替えてもよい。また、図１９に示すサーバー装置３００の動作を示すフローチャートについても同様である。

【0111】

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

【産業上の利用可能性】

【0112】

以上のように、本発明のプログラム及び端末装置は、料理に係る情報をユーザーに提供する用途に利用可能である。

【符号の説明】

【0113】

１ サービス提供システム
１０ ネットワーク
１００ 端末装置
１１１ 端末通信Ｉ／Ｆ
１１３ カメラ
１１５ 表示部
１１７ タッチパネル
１３０ 端末制御部
１４０ 端末記憶部
１４１ 制御プログラム
１４３ サービスアプリ
１５０ 端末プロセッサー
１５１ コード検出部
１５３ 画像認識部
１５５ データ取得部
２００ 調理器
２０１ 調理器通信Ｉ／Ｆ
２０３ 操作部
２１０ 調理制御部
２２０ 加熱調理部
３００ サーバー装置
３０１ サーバー通信Ｉ／Ｆ
３１０ サーバー制御部
３２０ サーバー記憶部
３２３ データベース
３２３ａ ユーザーデータベース

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】