特開 2023-144678 情報提供装置、情報提供システム、情報提供方法、及び、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023144678

(43)【公開日】2023-10-11

(54)【発明の名称】情報提供装置、情報提供システム、情報提供方法、及び、プログラム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20231003BHJP

【ＦＩ】

G06Q50/10

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2022051779

(22)【出願日】2022-03-28

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】100109210

【弁理士】

【氏名又は名称】新居 広守

(74)【代理人】

【識別番号】100137235

【弁理士】

【氏名又は名称】寺谷 英作

(74)【代理人】

【識別番号】100131417

【弁理士】

【氏名又は名称】道坂 伸一

(72)【発明者】

【氏名】船本 和宏

(72)【発明者】

【氏名】矢野 修志

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049CC12

(57)【要約】

【課題】画像に含まれる料理の候補を精度よく決定できる情報提供装置等を提供する。
【解決手段】情報提供装置１００は、画像と、ユーザが閲覧した１以上の料理のレシピを示すレシピ情報を含む閲覧履歴情報とを取得する取得部１２０と、当該画像に含まれる料理を抽出する抽出部１３０と、閲覧履歴情報に基づいて、当該画像に含まれる料理の１以上の候補と、当該１以上の候補それぞれの優先度とを決定する決定部１４０と、当該１以上の候補それぞれの優先度に基づいて、当該１以上の候補のうちの優先度の高い候補に関する情報を優先して出力する出力部１５０と、を備える。
【選択図】図２

【特許請求の範囲】

【請求項1】

画像と、ユーザが閲覧した１以上の料理のレシピを示すレシピ情報を含む閲覧履歴情報とを取得する取得部と、
前記画像に含まれる料理を抽出する抽出部と、
前記閲覧履歴情報に基づいて、前記画像に含まれる料理の１以上の候補と、前記１以上の候補それぞれの優先度とを決定する決定部と、
前記１以上の候補それぞれの優先度に基づいて、前記１以上の候補のうちの優先度の高い候補に関する情報を優先して出力する出力部と、を備える
情報提供装置。

【請求項2】

前記取得部は、さらに、前記ユーザの属性を示す属性情報、及び、前記ユーザの状態を示す状態情報の少なくとも一方を含む付帯情報を取得し、
前記決定部は、前記閲覧履歴情報と前記付帯情報とに基づいて、前記１以上の候補それぞれの優先度を決定する
請求項１に記載の情報提供装置。

【請求項3】

前記閲覧履歴情報は、前記１以上の料理のレシピのそれぞれが前記ユーザに閲覧されたタイミングを示すタイミング情報を含み、
前記決定部は、前記１以上の候補の中から、前記１以上の料理のレシピのうち、撮影部が料理を撮影することで前記画像を生成したタイミングから所定の期間内に前記ユーザが閲覧した料理のレシピで作成される料理の候補の優先度を上げるように、前記１以上の候補それぞれの優先度を決定する
請求項１又は２に記載の情報提供装置。

【請求項4】

請求項１～３のいずれか１項に記載の情報提供装置と、
端末と、を備え、
前記端末は、
料理を撮影することで前記画像を生成する撮影部と、
前記画像を前記情報提供装置に送信するための通信部と、を備える
情報提供システム。

【請求項5】

画像と、ユーザが閲覧した１以上の料理のレシピを示すレシピ情報を含む閲覧履歴情報とを取得し、
前記画像に含まれる料理を抽出し、
前記閲覧履歴情報に基づいて、前記画像に含まれる料理の１以上の候補と、前記１以上の候補それぞれの優先度とを決定し、
前記１以上の候補それぞれの優先度に基づいて、前記１以上の候補のうちの優先度の高い候補に関する情報を優先して出力する
情報提供方法。

【請求項6】

請求項５に記載の情報提供方法をコンピュータが実行するための
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報提供装置、情報提供システム、情報提供方法、及び、プログラムに関する。

【背景技術】

【0002】

特許文献１には、画像の特徴を分析することにより料理名を特定し、特定された料理名を履歴情報として記録し、ユーザからの要求が入力された場合に、履歴情報に基づいて、ユーザに料理を推薦する装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１２－１８１７９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本開示は、画像に含まれる料理の候補を精度よく決定できる情報提供装置等を提供する。

【課題を解決するための手段】

【0005】

本開示の一態様に係る情報提供装置は、画像と、ユーザが閲覧した１以上の料理のレシピを示すレシピ情報を含む閲覧履歴情報とを取得する取得部と、前記画像に含まれる料理を抽出する抽出部と、前記閲覧履歴情報に基づいて、前記画像に含まれる料理の１以上の候補と、前記１以上の候補それぞれの優先度とを決定する決定部と、前記１以上の候補それぞれの優先度に基づいて、前記１以上の候補のうちの優先度の高い候補に関する情報を優先して出力する出力部と、を備える。

【0006】

また、本開示の一態様に係る情報提供システムは、上記記載の情報提供装置と、端末と、を備え、前記端末は、料理を撮影することで前記画像を生成する撮影部と、前記画像を前記情報提供装置に送信するための通信部と、を備える。

【0007】

また、本開示の一態様に係る情報提供方法は、画像と、ユーザが閲覧した１以上の料理のレシピを示すレシピ情報を含む閲覧履歴情報とを取得し、前記画像に含まれる料理を抽出し、前記閲覧履歴情報に基づいて、前記画像に含まれる料理の１以上の候補と、前記１以上の候補それぞれの優先度とを決定し、前記１以上の候補それぞれの優先度に基づいて、前記１以上の候補のうちの優先度の高い候補に関する情報を優先して出力する。

【0008】

また、本開示の一態様に係るプログラムは、前記情報提供方法をコンピュータに実行させるためのプログラムである。

【0009】

なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なＣＤ－ＲＯＭ等の非一時的な記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【発明の効果】

【0010】

本開示によれば、画像に含まれる料理の候補を精度よく決定できる情報提供装置等を提供できる。

【図面の簡単な説明】

【0011】

【図1】図１は、実施の形態に係る情報提供システムの概要を説明するための図である。

【図2】図２は、実施の形態に係る情報提供システムの構成を示すブロック図である。

【図3】図３は、実施の形態に係る抽出部の処理を説明するための図である。

【図4】図４は、実施の形態に係る候補情報の具体例を示す図である。

【図5】図５は、実施の形態に係る情報提供装置の処理手順を示すフローチャートである。

【図6】図６は、実施の形態に係る情報提供システムの処理手順を示すシーケンス図である。

【発明を実施するための形態】

【0012】

（本開示に至った経緯）
従来、画像の特徴を分析する、つまり、画像解析を行うことにより当該画像に含まれる（写る）料理を特定する装置がある。例えば、管理栄養士等の管理者が、あるユーザの食事についてのアドバイス等をユーザから遠隔で行う場合に、ユーザが自身の食事を撮影することで生成された画像を管理栄養士等が用いる装置に送信する。そこで、管理者が用いる装置に、画像に含まれる料理を特定する装置が用いられることで、当該装置が、例えば、特定した料理名をディスプレイ等の表示装置に表示することで、管理者は、ユーザが何を食べたのかを簡単に把握できる。管理者は、例えば、ユーザの性別及び健康状態等のユーザの属性を考慮して当該ユーザが健康に良い食事を行っているか等を判断し、食事に対する評価等をユーザに通知することで、ユーザに対して食事指導を行う。

【0013】

上記のように画像解析を行う装置には、画像解析によって画像に含まれる料理を精度よく特定することが求められる。しかしながら、特徴が似ている類似料理が他に存在するような指定料理を特定するような場合には、画像解析の結果である料理の候補を出力させると、当該指定料理ではなく類似料理が料理の候補が出力される等、間違えた料理の候補が出力される問題がある。

【0014】

このような問題を鑑み、本願発明者らは、本開示に係る情報提供装置を創作するに至った。

【0015】

以下では、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下に説明する実施の形態は、いずれも本開示の一具体例を示すものである。したがって、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、ステップ及びステップの順序等は、一例であり、本開示を限定する趣旨ではない。よって、以下の実施の形態における構成要素のうち、本開示の独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

【0016】

また、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、同じ構成部材については同じ符号を付している。

【0017】

（実施の形態）
［構成］
図１は、実施の形態に係る情報提供システム３００の概要を説明するための図である。

【0018】

情報提供システム３００は、画像解析することで、画像に含まれる、ユーザが食した料理を特定するためのシステムである。情報提供システム３００は、例えば、ユーザを管理する管理者が、当該ユーザが食した料理について評価するために用いられる。

【0019】

情報提供システム３００は、情報提供装置１００と、端末２００と、を備える。

【0020】

情報提供装置１００は、端末２００と通信するための通信インターフェースと、通知装置３２０、及び、入力装置３３０が接続されるコネクタと、情報提供装置１００の各種処理を制御するプロセッサと、当該プロセッサが実行する制御プログラムが記憶されたメモリと、を備えるコンピュータである。本実施の形態では、情報提供装置１００は、パーソナルコンピュータであり、例えば、マウス及び／又はキーボード等の任意のユーザインターフェースで実現される入力装置３３０を介して管理者によって操作される。

【0021】

端末２００は、情報提供装置１００、通知装置３２０、及び、入力装置３３０と通信するための通信インターフェースと、端末２００の各種処理を制御するプロセッサと、当該プロセッサが実行する制御プログラムが記憶されたメモリと、を備えるコンピュータである。本実施の形態では、端末２００は、スマートフォンであり、例えば、端末２００が備えるタッチパネルディスプレイが操作されることでユーザに操作される。

【0022】

ユーザは、例えば、端末２００を用いて料理を撮影する。端末２００は、料理を撮影することで生成した画像（画像情報）を、ネットワーク３１０を介して情報提供装置１００に送信する。

【0023】

情報提供装置１００は、端末２００からユーザの食事を含む画像を取得し、取得した画像に含まれる料理の候補を決定し、当該料理の候補を示す候補情報を管理者に通知する。具体的には、情報提供装置１００は、候補情報を通知装置３２０に出力することで、通知装置３２０に候補情報を通知させる。さらに、情報提供装置１００は、料理の候補の中から特定の候補を示す管理者からの指示を受け付け、指示された料理の候補に関する情報である料理情報を管理者に通知する。具体的には、情報提供装置１００は、料理情報を通知装置３２０に出力することで、通知装置３２０に料理情報を通知させる。

【0024】

通知装置３２０は、例えば、候補情報及び料理情報を画像で表示するディスプレイである。通知装置３２０は、例えば、候補情報及び料理情報を音声で発するアンプ及びスピーカ等により実現されてもよい。

【0025】

なお、情報提供装置１００及び端末２００は、それぞれ、パーソナルコンピュータ、タブレット端末、スマートフォン等で実現されてもよい。

【0026】

図２は、実施の形態に係る情報提供システム３００の構成を示すブロック図である。

【0027】

情報提供装置１００は、通信部１１０と、取得部１２０と、抽出部１３０と、決定部１４０と、出力部１５０と、記憶部１６０と、を備える。

【0028】

通信部１１０は、端末２００と通信するための通信インターフェースである。通信部１１０は、有線通信するための通信線が接続されるコネクタ等により実現されてもよいし、無線通信するためのアンテナ及び無線通信回路等により実現されてもよい。

【0029】

取得部１２０は、画像と、閲覧履歴情報とを取得する処理部である。例えば、取得部１２０は、通信部１１０を介して端末２００から画像と閲覧履歴情報とを取得する。

【0030】

閲覧履歴情報は、ユーザが閲覧した１以上の料理のレシピを示すレシピ情報を含む情報である。

【0031】

なお、閲覧履歴情報は、記憶部１６０に記憶されていてもよい。この場合、取得部１２０は、記憶部１６０から閲覧履歴情報を取得してもよい。

【0032】

抽出部１３０は、画像に含まれる料理を抽出する処理部である。例えば、抽出部１３０は、パターンマッチング等の手法により当該画像を画像解析することで、当該画像に写る料理（料理画像）を抽出する。

【0033】

図３は、実施の形態に係る抽出部１３０の処理を説明するための図である。

【0034】

例えば、取得部１２０が画像３４０を取得したとする。抽出部１３０は、画像３４０を画像解析することで、画像に含まれる料理画像を抽出する。図３に示す例では、抽出部１３０は、画像３４０から、料理画像Ｍ１と、料理画像Ｍ２と、料理画像Ｍ３と、料理画像Ｍ４と、料理画像Ｍ５と、料理画像Ｍ６と、料理画像Ｍ７と、を抽出する。抽出部１３０は、抽出した料理画像Ｍ１～Ｍ７のそれぞれを画像解析することにより、料理画像Ｍ１～Ｍ７のそれぞれに含まれる料理を推定する。これにより、抽出部１３０は、画像３４０に含まれる料理を抽出する。

【0035】

決定部１４０は、閲覧履歴情報に基づいて、画像に含まれる料理の１以上の候補と、当該１以上の候補それぞれの優先度とを決定する処理部である。例えば、決定部１４０は、抽出部１３０が抽出した料理が何である可能性が高いかを示す確度を算出する。

【0036】

決定部１４０は、例えば、抽出部１３０が抽出した料理画像Ｍ５について画像解析等を行うことにより、鶏の唐揚げ、エビフライ、天ぷら、とんかつ、コロッケ、及び、魚のフライを料理画像Ｍ５に含まれる料理の候補として決定する。さらに、決定部１４０は、例えば、料理画像Ｍ５について画像解析等を行うことにより、決定したそれぞれの候補について、鶏の唐揚げである確度（可能性）が３０％、エビフライである確度が２０％、天ぷらである確度が３０％、とんかつである確度が５％、コロッケである確度が１４％、魚のフライである確度が１％のように、それぞれの確度を算出する。

【0037】

決定部１４０は、さらに、算出した確度を、閲覧履歴情報を用いて補正する。例えば、ユーザがインターネット等を用いて、鶏の唐揚げのレシピと、エビフライのレシピと、とんかつのレシピと、を過去に閲覧していたとする。言い換えると、閲覧履歴情報に、鶏の唐揚げのレシピと、エビフライのレシピと、とんかつのレシピと、を過去にユーザが閲覧したことを示す情報が含まれていたとする。この場合、決定部１４０は、例えば、抽出部１３０が抽出した料理画像Ｍ５に含まれる料理である可能性があると算出した、鶏の唐揚げと、エビフライと、とんかつとのそれぞれの確度が相対的に上がるように、それぞれの確度を補正する。例えば、決定部１４０は、それぞれの料理の候補の確度を、鶏の唐揚げが３５％、エビフライが２５％、天ぷらが２０％、とんかつが１０％、コロッケが９％、魚のフライが１％のように補正する。

【0038】

さらに、決定部１４０は、例えば、算出した確度に基づいて、複数の料理の候補の優先度を決定する。例えば、決定部１４０は、算出した確度が高い順に複数の料理の候補の優先度を決定する。決定部１４０は、例えば、値が低い程優先度が高いとすると、鶏の唐揚げの優先度を１、エビフライの優先度を２、天ぷらの優先度を３、とんかつの優先度を４、コロッケの優先度を５、魚のフライの優先度を６のようにそれぞれの料理の候補の優先度を決定する。

【0039】

これにより、決定部１４０は、抽出部１３０が抽出した料理の候補と、料理の候補の優先度とを示す候補情報を生成する。

【0040】

なお、閲覧履歴情報に基づいて決定部１４０が料理の候補の優先度をどのように決定（変更）するのかは、予め任意に定められてよく、特に限定されない。例えば、決定部１４０は、ユーザに閲覧されたレシピの料理の候補の確度を数％上げるように補正し、且つ、ユーザに閲覧されていないレシピの料理の候補の確度を数％下げるように補正してもよい。或いは、例えば、決定部１４０は、ユーザに閲覧されていないレシピの料理の候補の優先度に対して、ユーザに閲覧されたレシピの料理の候補の優先度が全て高くなるように、料理の候補の優先度を補正してもよい。

【0041】

なお、決定部１４０は、閲覧履歴情報とユーザの属性を示す属性情報、及び、前記ユーザの状態を示す状態情報の少なくとも一方を含む付帯情報とに基づいて、１以上の候補それぞれの優先度を決定してもよい。

【0042】

付帯情報とは、ユーザに関する情報である。本実施の形態では、付帯情報は、属性情報及び／又は状態情報を含む情報である。

【0043】

属性情報は、例えば、ユーザの年齢、ユーザの性別、ユーザの身長及び体重等の体格、ユーザの１日の運動量等を示す生活習慣、ユーザの病気の有無等の健康状態、ユーザの住む地域等を示す情報である。

【0044】

状態情報とは、例えば、ユーザの行動等の状態を示す情報であって、外食したか否かを示す情報（より具体的には、画像に含まれる料理が外食によるものか否かを示す情報）、時間帯（より具体的には、画像に含まれる料理が撮影された時間帯、つまり、朝食か夕食か等を示す情報）等を示す情報である。

【0045】

取得部１２０は、例えば、通信部１１０を介して端末２００から付帯情報を取得し、記憶部１６０に記憶させる。

【0046】

決定部１４０は、例えば、ユーザの属性が男性である場合、鶏の唐揚げ等の揚げ物の料理の候補の確度（優先度）が高くなるように、料理の候補の優先度を決定する。また、例えば、決定部１４０は、ユーザの属性情報が、画像に含まれる料理が外食中に撮影されることで生成されたものであることを示す場合、画像に含まれる料理が外食中に撮影されることで生成されたものではない場合と比較して、閲覧履歴情報が優先度に与える影響が低くなるように、つまり、閲覧履歴情報に含まれるレシピ情報が示すレシピの料理の優先度の上げ幅が小さくなるように、料理の候補を決定する。

【0047】

例えば、決定部１４０は、上記の通り、算出した確度を、閲覧履歴情報を用いて補正する。例えば、ユーザがインターネット等を用いて、鶏の唐揚げのレシピを過去に閲覧していたとする。この場合、決定部１４０は、例えば、画像解析により鶏の唐揚げの確度が３０％だったとき、閲覧履歴情報に基づいて、鶏の唐揚げの確度を３５％に補正する。ここで、付帯情報に、画像に含まれる料理が外食によるものであることを示す情報が含まれる場合には、決定部１４０は、例えば、画像解析により鶏の唐揚げの確度が３０％だったとき、閲覧履歴情報及び付帯情報に基づいて、鶏の唐揚げの確度を３３％に補正する。

【0048】

例えば、取得部１２０は、通信部１１０を介して端末２００から付帯情報を取得する。付帯情報は、記憶部１６０に記憶されていてもよい。この場合、取得部１２０は、記憶部１６０から付帯情報を取得してもよい。また、付帯情報は、画像毎に紐付けられていてもよい。これにより、例えば、決定部１４０は、付帯情報に基づいて画像に含まれる料理が外食中に撮影されることで生成されたものであるか否かを判定し、判定結果に応じて料理の候補の優先度を決定できる。

【0049】

また、閲覧履歴情報は、１以上の料理のレシピのそれぞれがユーザに閲覧されたタイミングを示すタイミング情報を含んでもよい。この場合、決定部１４０は、１以上の候補の中から、１以上の料理のレシピのうち、撮影部２４０が料理を撮影することで画像を生成したタイミングから所定の期間内にユーザが閲覧した料理のレシピで作成される料理の候補の優先度を上げるように、１以上の候補それぞれの優先度を決定してもよい。

【0050】

タイミング情報は、例えば、ユーザがレシピを閲覧した日時を示す情報である。決定部１４０は、例えば、抽出部１３０が抽出した料理の候補を決定する場合に、料理が撮影されたタイミング（言い換えると、当該料理を含む画像が生成されたタイミング）に対してレシピが閲覧されたタイミングが古すぎる場合、当該レシピについては料理の候補の優先度の決定には考慮しない。

【0051】

なお、所定の期間は、予め任意に定められてよく、特に限定されない。所定の期間を示す情報は、例えば、記憶部１６０に予め記憶される。

【0052】

また、決定部１４０が決定する料理の候補は、１つでもよいし、２以上でもよい。例えば、決定部１４０は、料理の候補として１つを決定した場合、閲覧履歴情報に基づいて、当該１つの候補の確度を補正し、当該確度を優先度として決定してもよい。或いは、決定部１４０は、画像解析の結果に基づいて１つの候補を決定し、閲覧履歴情報に基づいて、当該１つの候補とは異なる他の１以上の候補をさらに決定してもよい。

【0053】

出力部１５０は、決定部１４０が決定した１以上の候補それぞれの優先度に基づいて、１以上の候補のうちの優先度の高い候補に関する情報を優先して出力する処理部である。出力部１５０は、例えば、通知装置３２０に候補情報を出力することで、候補情報を管理者に通知する。

【0054】

図４は、実施の形態に係る候補情報の具体例を示す図である。

【0055】

図４に示すように、例えば、通知装置３２０は、候補情報として、１以上の候補を、優先度が高い順に上から表示する。図４に示す例は、候補１から順に優先度が高い場合に表示される料理の候補を示す。

【0056】

なお、優先して出力することとは、例えば、図４に示すように優先度の高い順に上から複数の候補を通知装置３２０に表示させることでもよいし、通知装置３２０が音声を出力する装置である場合には、例えば、優先度の高い順に音声で候補を通知装置３２０に出力させることでもよい。或いは、例えば、優先して出力することとは、優先度の高い任意の数の候補を出力することでもよい。

【0057】

また、候補に関する情報とは、例えば、候補を示す料理名（料理メニュー）を示す情報である。候補に関する情報には、優先度を示す情報、及び／又は、当該候補の栄養素等を示す情報が含まれていてもよい。

【0058】

管理者は、例えば、入力装置３３０を操作することで、通知装置３２０によって通知された１以上の候補の中から適切な候補を選択する。

【0059】

また、例えば、出力部１５０は、選択された料理に関する料理情報を出力する。出力部１５０は、例えば、通知装置３２０に料理情報を出力することで、料理情報を管理者に通知する。

【0060】

料理情報は、例えば、料理の栄養素に関する栄養量情報等である。これにより、管理者は、ユーザに食事指導をするために必要な情報を簡単に把握できる。

【0061】

なお、候補情報は、端末２００に送信され、ユーザに通知されてもよい。例えば、ユーザは、端末２００を操作することで、候補情報が示す１以上の候補の中から１つの候補を選択してもよい。端末２００は、選択された１つの候補を示す情報を情報提供装置１００に送信してもよい。

【0062】

また、例えば、候補情報に１つの候補のみが含まれる場合、当該１つの候補と、正しいか否かを管理者（又はユーザ）に問い合わせる旨を示す情報が通知装置３２０（又は端末２００）によって通知されてもよい。

【0063】

取得部１２０、抽出部１３０、決定部１４０、及び、出力部１５０の各処理部は、メモリと、当該メモリに記憶された制御プログラムと、当該制御プログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサとから実現される。また、これらの処理部は、１つのメモリ及び１つのプロセッサから実現されてもよいし、互いに異なる又は任意の組み合わせで複数のメモリ及び複数のプロセッサによって実現されてもよい。また、これらの処理部は、例えば、専用の電子回路等により実現されてもよい。

【0064】

記憶部１６０は、決定部１４０が料理の候補を決定するための複数の料理メニュー（料理名）を示す情報、及び、閲覧履歴情報等の情報提供装置１００が用いる情報が記憶される記憶装置である。記憶部１６０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、又は、フラッシュメモリ等により実現される。

【0065】

なお、記憶部１６０に記憶される情報は、例えば、入力装置３３０等が管理者に操作させることによって、任意に内容の変更がなされてもよい。

【0066】

端末２００は、通信部２１０と、制御部２２０と、記憶部２３０と、撮影部２４０と、操作部２５０と、表示部２６０と、を備える。

【0067】

通信部２１０は、情報提供装置１００と通信するための通信インターフェースである。本実施の形態では、通信部２１０は、無線通信するためのアンテナ及び無線通信回路等により実現される。端末２００が例えばパーソナルコンピュータである場合には、通信部２１０は、有線通信するための通信線が接続されるコネクタ等により実現されてもよい。

【0068】

制御部２２０は、端末２００が実行する各種処理を行う処理部である。制御部２２０は、例えば、メモリと、当該メモリに記憶された制御プログラムと、当該制御プログラムを実行するＣＰＵ等のプロセッサとから実現される。

【0069】

記憶部２３０は、端末２００が用いる情報が記憶される記憶装置である。記憶部２３０は、例えば、ＨＤＤ、又は、フラッシュメモリ等により実現される。

【0070】

撮影部２４０は、料理を撮影することで当該料理を含む画像を生成するカメラである。制御部２２０は、撮影部２４０によって生成された画像を、通信部２１０を介して情報提供装置１００に送信する。

【0071】

なお、制御部２２０は、当該画像を、例えば当該画像が生成された日時を示す日時情報と紐付けて記憶部２３０に記憶させてもよい。また、制御部２２０は、複数の画像を例えばそれぞれに紐付けられた日時情報、並びに、ユーザの氏名等のユーザを固有に示すユーザ名情報及びユーザに関する付帯情報等を含むユーザ情報とともに通信部２１０を介して情報提供装置１００に送信してもよい。

【0072】

操作部２５０は、ユーザの操作を受け付けるユーザインターフェースである。例えば、制御部２２０は、操作部２５０が撮影部２４０を動作させる入力を受け付けた場合に、撮影部２４０に料理を撮影させる。また、制御部２２０は、例えば、操作部２５０が、ユーザ情報を受け付けた場合に、ユーザ情報を記憶部２３０に記憶させたり、ユーザ情報を通信部２１０を介して情報提供装置１００に送信する。また、例えば、制御部２２０は、ユーザがインターネット等を利用して料理のレシピを閲覧した場合に、閲覧履歴情報を記憶部２３０に記憶させたり、閲覧履歴情報を通信部２１０を介して情報提供装置１００に送信する。本実施の形態では、操作部２５０は、表示部２６０とともにタッチパネルディスプレイとして実現される。

【0073】

表示部２６０は、画像を表示するディスプレイである。管理者は、例えば、料理情報を確認して、ユーザに対して食事指導を行う。具体的に例えば、管理者は、入力装置３３０を操作して、ユーザの食事の良し悪し、又は、改善点等を示す通知情報を作成し、情報提供装置１００に当該通知情報を端末２００へ送信させる。制御部２２０は、通信部２１０を介して通知情報を取得した場合に、表示部２６０に通知情報を表示させる。

【0074】

なお、操作部２５０及び表示部２６０は、通知装置３２０及び入力装置３３０のように別体で実現されてもよい。

【0075】

また、例えば、情報提供装置１００は、料理情報及び付帯情報に基づいて、画像に含まれる料理に対する評価を行い、評価結果を通知情報として端末２００に送信してもよい。

【0076】

［処理手順］
続いて、情報提供装置１００及び情報提供システム３００が実行する処理手順について説明する。

【0077】

＜情報提供装置＞
図５は、実施の形態に係る情報提供装置１００の処理手順を示すフローチャートである。

【0078】

まず、取得部１２０は、例えば、画像とレシピ情報を含む閲覧履歴情報とを取得する（Ｓ１１０）。取得部１２０は、例えば、通信部１１０を介して端末２００から画像と閲覧履歴情報とを取得する。

【0079】

なお、例えば、記憶部１６０に画像及び閲覧履歴情報が記憶されている場合には、取得部１２０は、記憶部１６０から画像及び閲覧履歴情報を取得してもよい。

【0080】

次に、抽出部１３０は、画像に含まれる料理を抽出する（Ｓ１２０）。

【0081】

次に、決定部１４０は、閲覧履歴情報に基づいて、抽出部１３０が抽出した料理の１以上の候補と、当該１以上の候補それぞれの優先度とを決定する（Ｓ１３０）。

【0082】

次に、出力部１５０は、決定部１４０が決定した１以上の候補のうちの優先度の高い候補に関する情報を優先して出力する（Ｓ１４０）。

【0083】

＜情報提供システム＞
図６は、実施の形態に係る情報提供システム３００の処理手順を示すシーケンス図である。なお、図６に示す情報提供装置１００の処理手順では、図５に示す情報提供装置１００の処理手順に対して一具体例を追加及び／又は変更して説明している。

【0084】

まず、端末２００は、例えばユーザの入力を操作部２５０で受け付けることで付帯情報を取得する（Ｓ２１０）。例えば、制御部２２０は、操作部２５０を介して受け付けた付帯情報を記憶部２３０に記憶させる。

【0085】

次に、端末２００は、例えばユーザの入力を操作部２５０で受け付けることで閲覧履歴情報を取得する（Ｓ２２０）。例えば、制御部２２０は、操作部２５０を介して受け付けた閲覧履歴情報を記憶部２３０に記憶させる。

【0086】

次に、端末２００は、ユーザに操作されて料理を撮影することで、当該料理を含む画像を生成する（Ｓ２３０）。例えば、制御部２２０は、撮影部２４０によって生成された画像を記憶部２３０に記憶させる。

【0087】

次に、端末２００は、ユーザから画像等の情報の送信指示を受け付けた場合、画像、閲覧履歴情報、及び、付帯情報を情報提供装置１００に送信する（Ｓ２４０）。

【0088】

なお、端末２００は、画像、閲覧履歴情報、及び、付帯情報をそれぞれ異なるタイミングで情報提供装置１００に送信してもよい。

【0089】

取得部１２０は、例えば、通信部１１０を介して端末２００から画像と、閲覧履歴情報と、付帯情報とを取得する（Ｓ１１１）。

【0090】

次に、抽出部１３０は、画像に含まれる料理を抽出する（Ｓ１２０）。

【0091】

次に、決定部１４０は、閲覧履歴情報と付帯情報とに基づいて、抽出部１３０が抽出した料理の１以上の候補と、当該１以上の候補それぞれの優先度とを決定する（Ｓ１３１）。

【0092】

次に、出力部１５０は、決定部１４０が決定した１以上の候補のうちの優先度の高い候補に関する情報を優先して出力する（Ｓ１４０）。

【0093】

次に、例えば情報提供装置１００は、入力装置３３０を介して管理者からの入力を受け付けることで、通知情報を生成する（Ｓ１５０）。

【0094】

次に、例えば情報提供装置１００は、生成した通知情報を端末２００に送信する（Ｓ１６０）。

【0095】

次に、制御部２２０は、通知情報を通信部２１０を介して情報提供装置１００から受信した場合、当該通知情報を表示部２６０に表示させる（Ｓ２５０）。

【0096】

［効果等］
以上のように、実施の形態に係る情報提供装置１００は、画像と、ユーザが閲覧した１以上の料理のレシピを示すレシピ情報を含む閲覧履歴情報とを取得する取得部１２０と、当該画像に含まれる料理を抽出する抽出部１３０と、閲覧履歴情報に基づいて、当該画像に含まれる料理の１以上の候補と、当該１以上の候補それぞれの優先度とを決定する決定部１４０と、当該１以上の候補それぞれの優先度に基づいて、当該１以上の候補のうちの優先度の高い候補に関する情報を優先して出力する出力部１５０と、を備える。

【0097】

これによれば、画像解析結果だけでなく、レシピ情報に基づいて、候補の優先度が決定される。したがって、画像から分かるような見た目による判断だけでなく、ユーザの過去の行動が料理の候補の優先度の決定に反映され得る。そのため、画像に含まれる料理の候補を精度よく決定できる。

【0098】

また、例えば、取得部１２０は、さらに、ユーザの属性を示す属性情報、及び、前記ユーザの状態を示す状態情報の少なくとも一方を含む付帯情報を取得する。また、例えば、決定部１４０は、閲覧履歴情報と属性情報とに基づいて、当該１以上の候補それぞれの優先度を決定する。

【0099】

これによれば、さらに付帯情報に基づいて、候補の優先度が決定される。したがって、画像から分かるような見た目による判断だけでなく、付帯情報、つまり、ユーザの特徴及び／又は個性等が料理の候補の優先度の決定に反映され得る。そのため、画像に含まれる料理の候補をさらに精度よく決定できる。

【0100】

また、例えば、閲覧履歴情報は、１以上の料理のレシピのそれぞれがユーザに閲覧されたタイミングを示すタイミング情報を含む。また、例えば、決定部１４０は、１以上の候補の中から、１以上の料理のレシピのうち、撮影部２４０が料理を撮影することで画像を生成したタイミングから所定の期間内にユーザが閲覧した料理のレシピで作成される料理の候補の優先度を上げるように、当該１以上の候補それぞれの優先度を決定する。

【0101】

これによれば、所定の期間が適切に設定されることで、例えば料理が撮影されたタイミングに対してユーザが非常に古くに閲覧された料理のレシピ等の、当該料理の候補の優先度を決定するにはあまり影響がないと考えられ得るレシピ情報を適切に排除できる。言い換えると、タイミング情報を用いられることで、当該料理の候補の優先度を決定するために影響が大きいと考えられ得るレシピ情報を適切に選択して優先度が決定され得る。そのため、画像に含まれる料理の候補をさらに精度よく決定できる。

【0102】

また、実施の形態に係る情報提供システム３００は、情報提供装置１００と、端末２００と、を備え、端末２００は、料理を撮影することで画像を生成する撮影部２４０と、当該画像を情報提供装置１００に送信するための通信部２１０と、を備える。

【0103】

また、実施の形態に係る情報提供方法は、画像と、ユーザが閲覧した１以上の料理のレシピを示すレシピ情報を含む閲覧履歴情報とを取得し（Ｓ１１０）、当該画像に含まれる料理を抽出し（Ｓ１２０）、閲覧履歴情報に基づいて、当該画像に含まれる料理の１以上の候補と、当該１以上の候補それぞれの優先度とを決定し（Ｓ１３０）、当該１以上の候補それぞれの優先度に基づいて、当該１以上の候補のうちの優先度の高い候補に関する情報を優先して出力する（Ｓ１４０）。

【0104】

また、実施の形態に係るプログラムは、実施の形態に係る情報提供方法をコンピュータに実行させるためのプログラムである。

【0105】

これらによれば、上記情報提供装置１００と同様の効果を奏する。

【0106】

（その他の実施の形態）
以上、本開示に係る情報提供装置等について、実施の形態に基づいて説明したが、本開示は、上記実施の形態に限定されるものではない。

【0107】

例えば、情報提供システム３００は、複数の機器により実現されてもよいし、１つの機器で実現されてもよい。具体的には、上記実施の形態では、情報提供システム３００は、情報提供装置１００と、端末２００と、を備える例を示したが、本開示に係る情報提供システムは、情報端末等の単一の装置として実現されてもよいし、複数の装置によって実現されてもよい。例えば、情報提供システムは、クライアントサーバシステムとして実現されてもよい。情報提供システムが複数の装置によって実現される場合、上記実施の形態で説明された情報提供システムが備える構成要素は、複数の装置にどのように振り分けられてもよい。

【0108】

また、例えば、上記実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。

【0109】

また、例えば、上記実施の形態において、情報提供装置１００が備える取得部１２０、抽出部１３０等の処理部の構成要素の全部又は一部は、専用のハードウェアで構成されてもよく、或いは、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）又はプロセッサ等のプログラム実行部が、ＨＤＤ又は半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

【0110】

また、例えば、上記処理部の構成要素は、１つ又は複数の電子回路で構成されてもよい。１つ又は複数の電子回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

【0111】

１つ又は複数の電子回路には、例えば、半導体装置、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又はＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等が含まれてもよい。ＩＣ又はＬＳＩは、１つのチップに集積されてもよく、複数のチップに集積されてもよい。ここでは、ＩＣ又はＬＳＩと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（Ｖｅｒｙ Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、又は、ＵＬＳＩ（Ｕｌｔｒａ Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるかもしれない。また、ＬＳＩの製造後にプログラムされるＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）も同じ目的で使うことができる。

【0112】

また、本開示の全般的又は具体的な態様は、システム、装置、方法、集積回路又はコンピュータプログラムで実現されてもよい。或いは、当該コンピュータプログラムが記憶された光学ディスク、ＨＤＤ若しくは半導体メモリ等のコンピュータ読み取り可能な非一時的な記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。

【0113】

その他、本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。

【産業上の利用可能性】

【0114】

本開示は、端末と通信するコンピュータ等に適用できる。

【符号の説明】

【0115】

１００ 情報提供装置
１１０、２１０ 通信部
１２０ 取得部
１３０ 抽出部
１４０ 決定部
１５０ 出力部
１６０、２３０ 記憶部
２００ 端末
２２０ 制御部
２４０ 撮影部
２５０ 操作部
２６０ 表示部
３００ 情報提供システム
３１０ ネットワーク
３２０ 通知装置
３３０ 入力装置
３４０ 画像
Ｍ１、Ｍ２、Ｍ３、Ｍ４、Ｍ５、Ｍ６、Ｍ７ 料理画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】