特開 2022-73815 レシピ表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022073815

(43)【公開日】2022-05-17

(54)【発明の名称】レシピ表示装置

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20220510BHJP

【ＦＩ】

G06Q50/10

【審査請求】未請求

【請求項の数】2

【出願形態】書面

(21)【出願番号】P 2020192058

(22)【出願日】2020-11-02

(71)【出願人】

【識別番号】517201253

【氏名又は名称】株式会社ゆずくる

(72)【発明者】

【氏名】三好 宏明

【テーマコード（参考）】

5L049

【Ｆターム（参考）】

5L049AA24

(57)【要約】

【課題】食材の外観を撮影するだけでその食材を使用したレシピを参照することができる画像認識レシピ表示装置を提供する。
【解決手段】撮影画像とあらかじめ登録された食材の画像との画像比較（ｓ３）をおこなって食材を特定し、あらかじめ登録されたレシピ情報からその食材を使用したレシピを検索して表示（ｓ５）をおこなう
【選択図】図４

【特許請求の範囲】

【請求項1】

食材の外観を撮影する撮影装置を備えた情報端末機と、
この情報端末機とネットワークを介して接続された管理サーバとから構成され、
予めこの管理サーバ内に登録された複数の食材画像情報の中から、撮影された食材の外観の情報をもとに撮影された食材を特定し、
予めこの管理サーバ内に登録された複数のレシピ情報の中から、その特定された食材を使用したひとつまたは複数のレシピを検索し、
その検索されたレシピのレシピ情報を、そのネットワークを介してこの情報端末機に表示することを特徴とするレシピ表示装置。

【請求項2】

前記管理サーバ内に登録されている前記食材画像情報と、前記特定される食材は画像番号で紐づくことが可能であり、
前記特定される食材と前記レシピ情報は検索されるひとつまたは複数のレシピ毎で使用されている食材番号で紐づくことが可能であることを特徴とする請求項１のレシピ表示装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、レシピ情報を情報端末機に表示するにあたり、食材の画像認識を利用する技術に関する。

【背景技術】

【0002】

従来のレシピ検索表示システムでは、レシピ情報を情報端末機に表示する際には、文字情報を元に関連するレシピを検索し表示するものがある。類似する技術として特許文献１をご参照ください。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－２８７６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ある食材を使ったレシピを調べる場合、情報端末機を用い文字入力や光学式文字読取装置によって文字認識をおこない関連するレシピを表示するということが一般的におこなわれている。

【0005】

その際、その食材を特定する文字で検索することが必要となり、似た名称の食材を除外し、その食材を特定する文字を類推し検索する必要がある。

【課題を解決するための手段】

【0006】

請求項１に記載の本発明は、食材の外観を撮影する撮影装置を備えた情報端末機と、
この情報端末機とネットワークを介して接続された管理サーバとから構成され、
予めこの管理サーバ内に登録された複数の食材画像情報の中から、撮影された食材の外観の情報をもとに撮影された食材を特定し、
予めこの管理サーバ内に登録された複数のレシピ情報の中から、その特定された食材を使用したひとつまたは複数のレシピを検索し、
その検索されたレシピのレシピ情報を、そのネットワークを介してこの情報端末機に表示することを特徴とする。

【0007】

請求項２に記載の本発明は、請求項１に記載のレシピ表示装置において、前記管理サーバ内に登録されている前記食材画像情報と、前記特定される食材は画像番号で紐づくことが可能であり、
前記特定される食材と前記レシピ情報は検索されるひとつまたは複数のレシピ毎で使用されている食材番号で紐づくことが可能であることを特徴とする。

【0008】

本発明で使用する食材の画像認識技術はすでに広く利用されている画像認識技術などを用いる（例えば米国Ｉｎｔｅｌ社の「Ｏｐｅｎ ＣＶ」など各種画像処理ライブラリの活用）。

【発明の効果】

【0009】

本発明によれば、撮影装置を備えた情報端末機によって撮影された食材の外観の情報を用いレシピ表示をすることで、レシピを検索したいユーザの文字入力の手間を効率良く低減することができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係るレシピ表示装置の利用環境を示す図である。

【図2】撮影装置を備えた情報端末機のハードウェア構成を示す図である。

【図3】管理サーバのハードウェア構成を示す図である。

【図4】本実施形態に係るレシピ表示プログラムの処理動作を示すフローチャートである。

【図5】情報端末機で食材を撮影した図である。

【図6】情報端末機で食材を特定できなかったときに再撮影を促す図である。

【図7】情報端末機で食材を撮影した情報を元に特定した食材を利用したレシピ情報を表示した図である。

【図8】食材画像情報と食材情報とレシピ情報の結びつきを表す構造図である。

【図9】図８の実データ例である。

【発明を実施するための形態】

【0011】

＜１．装置構成＞
以下、図面を参照して本発明の実施形態について説明する。図１は、本実施形態に係るレシピ表示装置の利用環境を示す図である。図１において、１は撮影装置を備えた情報端末機、ＮＷはネットワーク、２は管理サーバである。撮影装置を備えた情報端末機１、管理サーバ２はインターネット等の公衆のネットワークＮＷに接続されており、互いに情報の送受信が可能となっている。

【0012】

情報端末機１は、例えば、スマートフォン、ノートパソコン、タブレット端末等の撮影機能、情報処理機能、ネットワーク通信機能、表示機能を備えた携帯可能な端末装置であり、食材を撮影し、撮影した食材の情報に基づいてレシピを表示する装置として機能する。

【0013】

管理サーバ２は食材の画像等の情報、レシピ等の情報を管理し、情報端末機１からの情報を記録するとともに、情報端末機１に対して必要な情報を供給する情報処理装置である。

【0014】

図２は情報端末機１のハードウェア構成図である。オペレーションシステムや実行するプログラムや情報を記憶する記憶部１ａと、プログラムの実行により機器を制御する制御部１ｂと、ネットワークを介して他の情報端末機と通信を行うための通信部１ｃと、撮影機能を持ったカメラ１ｄと、液晶ディスプレイ等の表示機器である表示部１ｅと、キーボードやタッチパネル等の操作部１ｆなどを備え、互いに電子的に接続されている。

【0015】

図３は管理サーバ２のハードウェア構成図である。オペレーションシステムや実行するプログラムや情報を記憶する記憶部２ａと、プログラムの実行により機器を制御する制御部２ｂと、ネットワークを介して他の情報端末機機器と通信を行うための通信部２ｃなどを備え、互いに電子的に接続されている。

【0016】

＜２．処理動作＞
次に、本実施形態に係る情報端末機１と管理サーバ２の処理動作について、図４のフローチャートを用いて説明する。ここでは、利用者が食材を前にしてその食材を用いたレシピを参照する場合について説明する

【0017】

まず利用者は、情報端末機１を起動しレシピ表示プログラムを起動するとカメラが起動する（開始（プログラム起動）ｓ１）。

【0018】

次に、例えば図５のように食品商品パッケージや食材自体が画面に映るようにカメラを向け撮影ボタンを押下することで、食材を撮影する（食材撮像ｓ２）。その際、ネットワークＮＷの通信速度が速い場合などでは、撮影ボタンを押下する処理は無くして、食材自体を画面に映るようにカメラを向けての動画撮影や静止画自動連続撮影の処理も可能である。

【0019】

撮影された食材の画像は情報端末機１からネットワークＮＷを経由し管理サーバ２に送信され、管理サーバ２において送信された食材の画像と管理サーバの記憶部２ａにあらかじめ登録されている食材の画像を比較し（画像比較ｓ３）、制御部２ｂで食材を特定する（食材の特定ｓ４）。その際に使用する撮影された食材の画像認識技術は、すでに広く利用されている画像認識技術を活用する。

【0020】

管理サーバ２の記憶部２ａにあらかじめ登録されている食材の画像の中では、撮影された食材の画像で特定できなかった場合は、例えば図６のように再度撮影を促す。

【0021】

管理サーバ２の記憶部２ａにあらかじめ登録されている食材の画像で、撮影された食材が特定できた場合は、管理サーバ２の記憶部２ａにあらかじめ登録されているレシピ情報を検索し、特定された食材を利用したレシピ情報を特定する。特定されたレシピ情報は管理サーバ２の通信部２ｃからネットワークＮＷを経由しレシピ表示装置となる情報端末機１に送信され、例えば図７のようにレシピ情報などを表示する（レシピ情報などの表示ｓ５）。

【0022】

利用者は再度食材を撮影する場合は再撮影できるボタンなどを選択し（再度撮像ボタン押下ｓ６）食材撮像ｓ２に戻るか、プログラム終了ボタンなどを選択し（終了ボタン押下ｓ７）プログラムを終了する（終了（プログラム停止）ｓ８）。

【0023】

図８は管理サーバ２の記憶部２ａに保存されている食材画像情報と食材情報とレシピ情報のデータの結びつきを表す構造図であり、以下に詳細を記載する。

【0024】

食材画像情報２ａ１は食材を撮影した画像情報が複数保存されており、続き番号である画像番号と撮影された画像の画像情報とその他情報（例えば画像撮影日時情報など）で構成されたデータである。

【0025】

食材情報２ａ３は食材の情報が複数保存されており、続き番号である食材番号と食材名とその他情報（例えば食材の説明文などの情報）で構成されたデータである。

【0026】

レシピ情報２ａ５はレシピの情報が複数保存されており、続き番号であるレシピ番号とレシピ名とその他情報（例えばレシピの説明文などの情報）で構成されたデータである。

【0027】

ひとつの食材画像情報２ａ１は、ひとつの食材情報２ａ３と画像食材連結情報２ａ２を介して結びついており複数の食材情報２ａ３とは結び付いてはいない。

【0028】

食材情報２ａ３はレシピ情報２ａ５と食材レシピ連結情報２ａ４を介して結びついている。

【0029】

図９は図８の実データ例であり、図４のフローチャートを用いて以下にデータの流れの例を記載する。

【0030】

データ例のひとつとして、食材撮像ｓ２で撮影された食品の外観画像が、画像比較ｓ３で食材画像情報２ａ１の複数保存されている画像情報と比較され「画像番号：１」の画像が特定された場合、食材の特定ｓ４で画像食材連結情報２ａ２を介して食材情報２ａ３の「食材番号：１」が特定され、レシピ情報などの表示ｓ５で食材レシピ連結情報２ａ４を介して「レシピ番号：１」のレシピが特定され、「レシピ番号：１」のレシピ情報などが撮影装置を備えた情報端末機１に表示される。

【0031】

データ例のひとつとして、食材撮像ｓ２で撮影された食品の外観画像が、画像比較ｓ３で食材画像情報２ａ１の複数保存されている画像情報と比較され「画像番号：２」の画像が特定された場合、食材の特定ｓ４で画像食材連結情報２ａ２を介して食材情報２ａ３の「食材番号：２」が特定され、レシピ情報などの表示ｓ５で食材レシピ連結情報２ａ４を介して「レシピ番号：２」と「レシピ番号：３」のレシピが特定され、「レシピ番号：２」と「レシピ番号：３」のレシピ情報などが撮影装置を備えた情報端末機１に表示される。

【0032】

データ例のひとつとして、食材撮像ｓ２で撮影された食品の外観画像が、画像比較ｓ３で食材画像情報２ａ１の複数保存されている画像情報と比較され「画像番号：３」若しくは「画像番号：４」の画像が特定された場合、食材の特定ｓ４で画像食材連結情報２ａ２を介して食材情報２ａ３の「食材番号：３」が特定され、レシピ情報などの表示ｓ５で食材レシピ連結情報２ａ４を介して「レシピ番号：３」のレシピが特定され、「レシピ番号：３」のレシピ情報などが撮影装置を備えた情報端末機１に表示される。

【0033】

図５と図６と図７と図９では食材として加工食品を例にあげているが、生鮮食品も対象とする。

【符号の説明】

【0034】

１・・・撮影装置を備えた情報端末機
１ａ・・・記憶部
１ｂ・・・制御部
１ｃ・・・通信部
１ｄ・・・カメラ部
１ｅ・・・表示部
１ｆ・・・操作部
２・・・管理サーバ
２ａ・・・記憶部
２ｂ・・・制御部
２ｃ・・・通信部
ＮＷ・・・ネットワーク
ｓ１・・・開始（プログラム起動）
ｓ２・・・食材撮像
ｓ３・・・画像比較
ｓ４・・・食材の特定
ｓ５・・・レシピ情報などの表示
ｓ６・・・再度撮像ボタン押下
ｓ７・・・終了ボタン押下
ｓ８・・・終了（プログラム停止）
２ａ１・・・食材画像情報のデータ構造図
２ａ２・・・食材画像情報と食材情報を結びつける画像食材連結情報のデータ構造図
２ａ３・・・食材情報のデータ構造図
２ａ４・・・食材情報とレシピ情報を結びつける食材レシピ連結情報のデータ構造図
２ａ５・・・レシピ情報のデータ構造図

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】