特許 7125929 栄養計算装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-08-17

(45)【発行日】2022-08-25

(54)【発明の名称】栄養計算装置

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20220818BHJP

【ＦＩ】

G06Q50/10

【請求項の数】 6

(21)【出願番号】P 2019182588

(22)【出願日】2019-10-03

(65)【公開番号】P2021060640

(43)【公開日】2021-04-15

【審査請求日】2019-10-03

【審判番号】

【審判請求日】2021-07-26

(73)【特許権者】

【識別番号】503335700

【氏名又は名称】株式会社リンクアンドコミュニケーション

(74)【代理人】

【識別番号】100131451

【弁理士】

【氏名又は名称】津田 理

(74)【代理人】

【識別番号】100167933

【弁理士】

【氏名又は名称】松野 知紘

(74)【代理人】

【識別番号】100174137

【弁理士】

【氏名又は名称】酒谷 誠一

(74)【代理人】

【識別番号】100184181

【弁理士】

【氏名又は名称】野本 裕史

(72)【発明者】

【氏名】渡辺 敏成

(72)【発明者】

【氏名】入澤 正幸

(72)【発明者】

【氏名】佐々木 由樹

(72)【発明者】

【氏名】西照 綾子

【合議体】

【審判長】渡邊 聡

【審判官】中野 浩昌

【審判官】相崎 裕恒

(56)【参考文献】

【文献】国際公開第２０１７／１９９３８９（ＷＯ，Ａ１）

【文献】特許第６３０６７７０（ＪＰ，Ｂ１）

【文献】特開昭６０－７３４５９（ＪＰ，Ａ）

【文献】特開２００８－２１７７０２（ＪＰ，Ａ）

【文献】特開２０１２－１１２８５５（ＪＰ，Ａ）

【文献】特開２０１８－４９５８４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

G06Q10/00-99/00

(57)【特許請求の範囲】

【請求項1】

料理メニューごとに追加され得る具材の情報として、栄養アドバイスの観点から定められるグループに分類された具材の情報が記憶されている記憶部と、
ユーザによって撮影された食事画像が入力される食事画像入力部と、
入力された前記食事画像から、当該食事画像に含まれる料理画像を抽出する料理画像抽出部と、
前記料理画像を画像分析することにより、当該料理画像に写っていると推定される料理メニューを特定する料理メニュー特定部と、
前記料理画像を画像分析することにより、当該料理画像に写っていると推定される具材を候補具材として特定する候補具材特定部と、
前記記憶された追加され得る具材の情報に基づいて、前記特定された候補具材に含まれる具材の中から、前記特定された料理メニューに追加されている具材を、追加具材として決定する追加具材決定部と、
前記特定された料理メニューに基づいて算出される当該料理メニューの栄養価と、前記決定された追加具材に基づいて算出される当該追加具材の栄養価とに基づいて、前記料理画像に写っている料理の栄養価を計算する栄養価計算部と、
を備えることを特徴とする栄養計算装置。

【請求項2】

前記栄養アドバイスの観点から定められるグループには、
魚、貝甲殻類、肉、緑黄色野菜、淡色野菜、海草、きのこ類、豆類、卵、乳製品、芋類、果物、ナッツ、
が含まれる、請求項１に記載の栄養計算装置。

【請求項3】

前記記憶部には、料理メニューごとに、当該料理メニューに追加され得る具材の情報と、当該料理メニューに追加され得ない具材の情報が記憶されており、
前記追加具材決定部は、
前記特定された候補具材が当該料理メニューに追加され得る具材である場合には、当該特定された候補具材を前記追加具材として決定し、
前記特定された候補具材が当該料理メニューに追加され得ない具材である場合には、当該特定された候補具材を前記追加具材として決定しない、請求項１または請求項２に記載の栄養計算装置。

【請求項4】

入力された前記食事画像から、当該食事画像に含まれるカトラリー画像を抽出するカトラリー画像抽出部と、
前記料理画像と前記カトラリー画像を画像分析することにより、前記カトラリー画像から特定されるカトラリーのサイズを基準として、前記料理画像に写っている料理の重量を算出する重量算出部と、
を備え、
前記栄養価計算部は、算出された前記料理の重量に基づいて、前記料理の栄養価を計算する、請求項１～請求項３のいずれかに記載の栄養計算装置。

【請求項5】

栄養計算装置で実行される方法であって、
前記栄養計算装置には、料理メニューごとに追加され得る具材の情報として、栄養アドバイスの観点から定められるグループに分類された具材の情報が記憶されており、
前記方法は、
ユーザによって撮影された食事画像が入力されると、入力された前記食事画像から、当該食事画像に含まれる料理画像を抽出するステップと、
抽出した前記料理画像を画像分析することにより、当該料理画像に写っていると推定される料理メニューを特定するステップと、
前記料理画像を画像分析することにより、当該料理画像に写っていると推定される具材を候補具材として特定するステップと、
前記記憶された追加され得る具材の情報に基づいて、前記特定された候補具材に含まれる具材の中から、前記特定された料理メニューに追加されている具材を、追加具材として決定するステップと、
前記特定された料理メニューに基づいて算出される当該料理メニューの栄養価と、前記決定された追加具材に基づいて算出される当該追加具材の栄養価とに基づいて、前記料理画像に写っている料理の栄養価を計算するステップと、
を含むことを特徴とする方法。

【請求項6】

栄養計算装置で実行されるプログラムであって、
前記栄養計算装置には、料理メニューごとに追加され得る具材の情報として、栄養アドバイスの観点から定められるグループに分類された具材の情報が記憶されており、
前記プログラムは、前記栄養計算装置に、
ユーザによって撮影された食事画像が入力されるときに、入力された前記食事画像から、当該食事画像に含まれる料理画像を抽出する処理と、
抽出した前記料理画像を画像分析することにより、当該料理画像に写っていると推定される料理メニューを特定する処理と、
前記料理画像を画像分析することにより、当該料理画像に写っていると推定される具材を候補具材として特定する処理と、
前記記憶された追加され得る具材の情報に基づいて、前記特定された候補具材に含まれる具材の中から、前記特定された料理メニューに追加されている具材を、追加具材として決定する処理と、
前記特定された料理メニューに基づいて算出される当該料理メニューの栄養価と、前記決定された追加具材に基づいて算出される当該追加具材の栄養価とに基づいて、前記料理画像に写っている料理の栄養価を計算する処理と、
を実行させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、料理画像に写っている追加具材（料理に追加されている具材）の栄養価を計算する機能を備えた栄養計算装置に関する。

【背景技術】

【0002】

従来、料理画像に写っている料理に用いられている具材を推定する装置が提案されている（例えば特許文献１参照）。従来の装置では、料理画像を解析して、その料理画像に写っている料理に用いられている具材を画像認識する。この従来の装置では、料理画像に写っている料理に用いられている他の具材（例えば、ソースやスープなどで覆い隠されている具材、細かく刻まれたり溶かされたりして原形を留めていない具材）が推定される。

【先行技術文献】

【特許文献】

【0003】

【文献】特許第６３０６７７０号

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の装置においては、画像認識で具材を特定することに限界があるとして、料理画像に写っている追加具材（料理に追加されている具材）の推定については、何らの提案もなされていない。また、従来の装置では、具材の栄養価を計算して、栄養アドバイスを行うことについても、何ら考慮されていない。

【0005】

適切な栄養アドバイスを行うためには、単に具材を推定して栄養価を計算するだけでは不十分である。適切な栄養アドバイスを行うためには、栄養アドバイスの観点から定められたグループ（魚、貝甲殻類、肉、緑黄色野菜・・・など）に基づいてユーザが摂取する栄養価を計算する必要がある。

【0006】

一方、画像認識で具材を具体的に特定すること（例えば「豚肉」であるか、「牛肉」であるかを特定すること）は困難であるとしても、その具材が上記のグループのいずれに該当するか（例えば「肉」であること）を特定することは十分に可能である。

【0007】

本発明は、上記の課題に鑑みてなされたもので、栄養アドバイスの観点から定められたグループに基づいて料理画像に写っている追加具材（料理に追加されている具材）の栄養価を計算することができ、その計算結果を利用して適切な栄養アドバイスを行うことが可能となる栄養計算装置を提供することを目的とする。

【課題を解決するための手段】

【0008】

本発明の栄養計算装置は、料理メニューごとに追加され得る具材の情報として、栄養アドバイスの観点から定められるグループに分類された具材の情報が記憶されている記憶部と、ユーザによって撮影された食事画像が入力される食事画像入力部と、入力された前記食事画像から、当該食事画像に含まれる料理画像を抽出する料理画像抽出部と、前記料理画像を画像分析することにより、当該料理画像に写っていると推定される料理メニューを特定する料理メニュー特定部と、前記料理画像を画像分析することにより、当該料理画像に写っていると推定される具材を候補具材として特定する候補具材特定部と、前記記憶された追加され得る具材の情報に基づいて、前記特定された候補具材の中から、前記特定された料理メニューに追加されている具材を、追加具材として決定する追加具材決定部と、前記特定された料理メニューに基づいて算出される当該料理メニューの栄養価と、前記決定された追加具材に基づいて算出される当該追加具材の栄養価とに基づいて、前記料理画像に写っている料理の栄養価を計算する栄養価計算部と、を備えている。

【0009】

この構成によれば、ユーザによって撮影された食事画像から、その食事画像に含まれる料理画像（料理が写っている部分画像。料理領域の画像ともいえる）が抽出され、抽出した料理画像を画像分析することにより、料理画像に写っていると推定される料理メニュー（例えば、しょうゆラーメン）が特定される。また、料理画像を画像分析することにより、料理画像に写っていると推定される候補具材（例えば、肉、緑黄色野菜、果物）が特定される。そして、料理メニューごとに追加され得る具材の情報に基づいて、候補具材の中から、その料理メニューに追加されている追加具材（例えば、肉、緑黄色野菜）が決定される。そして、料理メニューの栄養価（例えば、しょうゆラーメンの栄養価）と追加具材の栄養価（例えば、肉、緑黄色野菜の栄養価）に基づいて、料理画像に写っている料理（例えば、チャーシューとほうれん草がトッピングされたしょうゆラーメン）の栄養価が計算される。この場合、具材は、栄養アドバイスの観点から定められた複数の具材グループに分類されている（例えば、チャーシューは肉に分類され、ほうれん草は緑黄色野菜に分類される）。したがって、栄養アドバイスの観点から定められたグループに基づいて料理に追加されている具材の栄養価が計算される。これにより、料理画像に写っている料理の栄養価が適切に計算され、その計算結果を利用して、適切な栄養アドバイスを行うことが可能になる。

【0010】

また、本発明の栄養計算装置では、前記栄養アドバイスの観点から定められるグループには、魚、貝甲殻類、肉、緑黄色野菜、淡色野菜、海草、きのこ類、豆類、卵、乳製品、芋類、果物、ナッツ、が含まれてもよい。

【0011】

この構成によれば、魚、貝および甲殻類、肉、緑黄色野菜、淡色野菜、海草、きのこ類、豆類、卵、乳製品、芋類、果物、ナッツという適切なグループに基づいて、料理に追加されている具材の栄養価が計算される。したがって、その計算結果を利用して適切な栄養アドバイスを行うことができる。

【0012】

また、本発明の栄養計算装置では、前記記憶部には、料理メニューごとに、当該料理メニューに追加され得る具材の情報と、当該料理メニューに追加され得ない具材の情報が記憶されており、前記追加具材決定部は、前記特定された候補具材が当該料理メニューに追加され得る具材である場合には、当該特定された候補具材を前記追加具材として決定し、前記特定された候補具材が当該料理メニューに追加され得ない具材である場合には、当該特定された候補具材を前記追加具材として決定しなくてもよい。

【0013】

この構成によれば、特定された候補具材がその料理メニュー（例えば、しょうゆラーメン）に追加され得る具材（例えば、肉）である場合には、その候補具材が追加具材として決定される。一方、特定された候補具材がその料理メニュー（例えば、しょうゆラーメン）に追加され得ない具材（例えば、果物）である場合には、その候補具材は追加具材として決定されない。このようにして、料理に追加されている具材（追加具材）を適切に決定することができる。

【0014】

また、本発明の栄養計算装置は、入力された前記食事画像から、当該食事画像に含まれるカトラリー画像を抽出するカトラリー画像抽出部と、前記料理画像と前記カトラリー画像を画像分析することにより、前記カトラリー画像から特定されるカトラリーのサイズを基準として、前記料理画像に写っている料理の重量を算出する重量算出部と、を備え、前記栄養価計算部は、算出された前記料理の重量に基づいて、前記料理の栄養価を計算してもよい。

【0015】

この構成によれば、ユーザによって撮影された食事画像から、カトラリー画像（カトラリーが写っている部分画像。カトラリー領域の画像ともいえる）が抽出される。そして、料理画像とカトラリー画像を画像分析することにより、カトラリー画像から特定されるカトラリーのサイズを基準として、料理画像に写っている料理の重量が算出される。容器のサイズは、容器によって様々である（例えば、皿のサイズは、皿によって様々である）のに対して、カトラリーのサイズは、それほど大きく異ならない（例えば、箸の長さは、どの箸でもほとんど同じである）。この場合、カトラリーのサイズを基準として、料理画像に写っている料理の重量（容器に入れられた料理の重量）を算出することが可能となり、容器のサイズを基準としないので、様々なサイズや形状の容器に料理が盛り付けられている場合でも、容器のサイズや形状に影響を受けることなく、正確に料理の重量を計算することができる。そして、その計算結果に基づいて、料理の栄養価を正確に計算することができる。

【0016】

本発明の方法は、栄養計算装置で実行される方法であって、前記栄養計算装置には、料理メニューごとに追加され得る具材の情報として、栄養アドバイスの観点から定められるグループに分類された具材の情報が記憶されており、前記方法は、ユーザによって撮影された食事画像が入力されると、入力された前記食事画像から、当該食事画像に含まれる料理画像を抽出するステップと、抽出した前記料理画像を画像分析することにより、当該料理画像に写っていると推定される料理メニューを特定するステップと、前記料理画像を画像分析することにより、当該料理画像に写っていると推定される具材を候補具材として特定するステップと、前記記憶された追加され得る具材の情報に基づいて、前記特定された候補具材の中から、前記特定された料理メニューに追加されている具材を、追加具材として決定するステップと、前記特定された料理メニューに基づいて算出される当該料理メニューの栄養価と、前記決定された追加具材に基づいて算出される当該追加具材の栄養価とに基づいて、前記料理画像に写っている料理の栄養価を計算するステップと、を含むものである。

【0017】

この方法によっても、上記の装置と同様に、栄養アドバイスの観点から定められたグループに基づいて料理に追加されている具材の栄養価が計算される。これにより、料理画像に写っている料理の栄養価が適切に計算され、その計算結果を利用して、適切な栄養アドバイスを行うことが可能になる。

【0018】

本発明のプログラムは、栄養計算装置で実行されるプログラムであって、前記栄養計算装置には、料理メニューごとに追加され得る具材の情報として、栄養アドバイスの観点から定められるグループに分類された具材の情報が記憶されており、前記プログラムは、前記栄養計算装置に、ユーザによって撮影された食事画像が入力されるときに、入力された前記食事画像から、当該食事画像に含まれる料理画像を抽出する処理と、抽出した前記料理画像を画像分析することにより、当該料理画像に写っていると推定される料理メニューを特定する処理と、前記料理画像を画像分析することにより、当該料理画像に写っていると推定される具材を候補具材として特定する処理と、前記記憶された追加され得る具材の情報に基づいて、前記特定された候補具材の中から、前記特定された料理メニューに追加されている具材を、追加具材として決定する処理と、前記特定された料理メニューに基づいて算出される当該料理メニューの栄養価と、前記決定された追加具材に基づいて算出される当該追加具材の栄養価とに基づいて、前記料理画像に写っている料理の栄養価を計算する処理と、を実行させるものである。

【0019】

このプログラムによっても、上記の装置や方法と同様に、栄養アドバイスの観点から定められたグループに基づいて料理に追加されている具材の栄養価が計算される。これにより、料理画像に写っている料理の栄養価が適切に計算され、その計算結果を利用して、適切な栄養アドバイスを行うことが可能になる。

【発明の効果】

【0020】

本発明によれば、栄養アドバイスの観点から定められたグループに基づいて料理画像に写っている追加具材（料理に追加されている具材）の栄養価を計算することができ、その計算結果を利用して適切な栄養アドバイスを行うことが可能になる。

【図面の簡単な説明】

【0021】

【図1】本発明の実施の形態における装置の構成を示すブロック図である。

【図2】食事画像、料理画像、カトラリー画像の例を示す説明図である。

【図3】料理メニューの特定の例を示す説明図である。

【図4】候補具材の特定の例を示す説明図である。

【図5】追加具材の決定の例を示す説明図である。

【図6】料理の面積の推定と重量の算出の例を示す説明図である。

【図7】料理メニューの栄養価の算出の例を示す説明図である。

【図8】追加具材の栄養価の算出の例を示す説明図である。

【図9】本発明の実施の形態における装置の動作を説明するためのフロー図である。

【発明を実施するための形態】

【0022】

以下、本発明の実施の形態の栄養計算装置について、図面を用いて説明する。本実施の形態では、ユーザの健康を管理する健康管理システム等に用いられる装置の場合を例示する。

【0023】

本実施の形態の装置の構成を、図面を参照して説明する。図１は、本実施の形態の装置の構成を示すブロック図である。図１に示すように、装置１は、記憶部２と、食事画像入力部３と、料理画像抽出部４と、カトラリー画像抽出部５と、料理メニュー特定部６と、候補具材特定部７と、追加具材決定部８と、面積推定部９と、重量算出部１０と、栄養価計算部１１と、出力部１２を備えている。

【0024】

記憶部２には、料理メニューごとに追加され得る具材の情報として、栄養アドバイスの観点から定められるグループに分類された具材の情報が記憶されている。より具体的には、料理メニューごとに、その料理メニューに追加され得る具材の情報と、その料理メニューに追加され得ない具材の情報が記憶されている。また、この記憶部２には、料理メニューごとに単位面積あたりの料理の重量の情報が記憶されている。栄養アドバイスの観点から定められるグループには、例えば、魚、貝甲殻類、肉、緑黄色野菜、淡色野菜、海草、きのこ類、豆類、卵、乳製品、芋類、果物、ナッツなどが含まれる。

【0025】

例えば、記憶部２には、「しょうゆラーメン」という料理メニューについて、この料理メニューに追加され得る具材（例えば、魚、貝甲殻類、肉、緑黄色野菜・・・など）の情報と、この料理メニューに追加され得ない具材（例えば、芋、豆、ナッツ、果物・・・など）の情報が記憶されている（図５参照）。なお、図５では、追加され得る具材が「１」で示され、追加され得ない具材が「０」で示されている。また、例えば、記憶部２には、「しょうゆラーメン」という料理メニューについて、単位面積あたりの料理の重量が記憶されている。また、記憶部２には、各料理メニュー（例えば「しょうゆラーメン」）について、その料理の基準栄養価の情報も記憶されている。

【0026】

食事画像入力部３には、ユーザによって撮影された食事画像が入力される。食事画像は、例えば、スマートフォンなどのユーザ端末によって撮影され、ユーザ端末から装置１に送信される。図２には、「しょうゆラーメン」の食事画像の例が示される。図２の食事画像には、「しょうゆラーメン」の料理画像と、「箸」のカトラリー画像が含まれている。

【0027】

料理画像抽出部４は、入力された食事画像から、その食事画像に含まれる料理画像を抽出する。例えば、料理画像抽出部４は、図２の「しょうゆラーメン」の食事画像から「しょうゆラーメン」の料理画像を抽出する。料理画像の抽出には、公知の技術を用いることができる。

【0028】

カトラリー画像抽出部５は、入力された食事画像から、その食事画像に含まれるカトラリー画像を抽出する。例えば、カトラリー画像抽出部５は、図２の「しょうゆラーメン」の食事画像から「箸」のカトラリー画像を抽出する。カトラリー画像の抽出には、公知の技術を用いることができる。

【0029】

料理メニュー特定部６は、料理画像を画像分析することにより、その料理画像に写っていると推定される料理メニューを特定する。料理メニューの特定には、公知の技術を用いることができる。例えば、図３に示すように、料理メニュー特定部６は、ＡＩを用いた画像分析により、その料理メニューである確からしさのスコアを算出する。図３の例では、スコアの値が最も高い「しょうゆラーメン」が、図２の料理画像に写っている料理メニューであると特定される。

【0030】

候補具材特定部７は、料理画像を画像分析することにより、その料理画像に写っていると推定される具材を候補具材として特定する。候補具材の特定には、公知の技術を用いることができる。例えば、図４に示すように、候補具材特定部７は、ＡＩを用いた画像分析により、その料理画像に写っていると推定される具材の確からしさのスコアを算出する。図４の例では、スコアが所定の基準値（例えば、０．７）より高い「肉」「緑黄色野菜」「果物」が候補具材として特定される。

【0031】

追加具材決定部８は、記憶部２に記憶された料理ごとの追加され得る具材の情報に基づいて、特定された候補具材の中から、特定された料理メニューに追加されている具材を、追加具材として決定する。例えば、図５に示すように、記憶部２には、「しょうゆラーメン」という料理メニューに追加され得る具材として、「肉」「緑黄色野菜」の情報が記憶されており、「しょうゆラーメン」という料理メニューに追加され得ない具材として、「果物」の情報が記憶されている。この場合、追加具材特定部は、「肉」「緑黄色野菜」という具材を、「しょうゆラーメン」という料理メニューの追加具材として決定し、「果物」という具材は、「しょうゆラーメン」という料理メニューの追加具材として決定しない。

【0032】

面積推定部９は、料理画像とカトラリー画像を画像分析することにより、カトラリー画像から特定されるカトラリーのサイズを基準として、料理画像に写っている料理の面積を推定する。面積の推定には、公知の技術を用いることができる。例えば、図６に示すように、面積推定部９は、ＡＩを用いた画像分析により、「箸」のサイズを基準として「しょうゆラーメン」の料理の面積を「３８５２４ｍｍ²」と推定する。

【0033】

重量算出部１０は、記憶部２に記憶された単位面積あたりの料理の重量の情報に基づいて、推定された料理の面積からその料理の重量を算出する。例えば、図６に示すように、重量算出部１０は、「しょうゆラーメン」の料理の面積「３８５２４ｍｍ²」から「しょうゆラーメン」の料理の重量を「６５０ｇ」と算出する。

【0034】

栄養価計算部１１は、特定された料理メニューに基づいて算出される料理メニューの栄養価と、決定された追加具材に基づいて算出される追加具材の栄養価とに基づいて、料理画像に写っている料理の栄養価を計算する。

【0035】

この場合、記憶部２には、料理メニューごとに、基準重量あたりの栄養価（エネルギー、たんぱく質、・・・など）の情報が記憶されている。例えば、図７に示すように、記憶部２には、「しょうゆラーメン」という料理メニューについて、基準重量（５００ｇ）あたりの基準栄養価（エネルギー：６００ｋｃａｌ、たんぱく質・・・など）の情報が記憶されている。栄養価計算部１１は、重量算出部１０によって算出された「しょうゆラーメン」の料理の重量（６５０ｇ）から係数α（＝６５０／５００）を算出し、基準重量（５００ｇ）あたりの基準栄養価にその係数αを乗算することにより、「しょうゆラーメン」の料理メニューの栄養価を算出する。

【0036】

また、記憶部２には、具材ごとに、基準重量あたりの栄養価（エネルギー、たんぱく質、・・・など）の情報が記憶されている。例えば、図８に示すように、記憶部２には、「肉」という具材について、基準重量（５０ｇ）あたりの基準栄養価（エネルギー：３００ｋｃａｌ、たんぱく質・・・など）の情報が記憶されている。また、記憶部２には、「緑黄色野菜」という具材について、基準重量（４０ｇ）あたりの基準栄養価（エネルギー：１０ｋｃａｌ、たんぱく質・・・など）の情報が記憶されている。栄養価計算部１１は、追加具材決定部８で決定された追加具材である「肉」と「緑黄色野菜」の基準栄養価に、それぞれ上記の係数αを乗算することにより、「肉」と「緑黄色野菜」という追加具材の栄養価をそれぞれ算出する。

【0037】

そして、栄養価計算部１１は、上記のように算出した「しょうゆラーメン」の料理メニューの栄養価と、「肉」と「緑黄色野菜」という追加具材の栄養価とを、合算することにより、料理画像に写っている「しょうゆラーメン」の栄養価を算出する。

【0038】

出力部１２は、栄養価計算部１１で算出された栄養価（例えば、料理画像に写っている「しょうゆラーメン」の栄養価）を外部装置に出力する。外部装置には、例えば、ユーザ端末や、栄養アドバイスを行う管理栄養士の端末などが含まれる。

【0039】

以上のように構成された装置１について、図面を参照してその動作を説明する。

【0040】

本実施の形態の装置１では、ユーザによって撮影された食事画像（例えば「しょうゆラーメン」の食事画像）が入力されると（Ｓ１）、入力された食事画像から、その食事画像に含まれる料理画像（例えば「しょうゆラーメン」の料理画像）が抽出される（Ｓ２）。また、入力された食事画像から、その食事画像に含まれるカトラリー画像（例えば「箸」のカトラリー画像）が抽出される（Ｓ３）。

【0041】

つぎに、本実施の形態の装置１では、抽出した料理画像を画像分析することにより、その料理画像に写っていると推定される料理メニュー（例えば「しょうゆラーメン」）が特定される（Ｓ４）。また、料理画像を画像分析することにより、その料理画像に写っていると推定される具材（例えば「肉」と「緑黄色野菜」と「果物」）が、候補具材として特定される（Ｓ５）。そして、記憶部２に記憶された料理ごとの追加され得る具材の情報に基づいて、特定された料理メニューに追加されている具材（例えば「肉」と「緑黄色野菜」）が、追加具材として決定される（Ｓ６）。

【0042】

また、本実施の形態の装置１では、料理画像とカトラリー画像を画像分析することにより、カトラリー画像から特定されるカトラリー（例えば「箸」）のサイズを基準として、料理画像に写っている料理の面積（例えば「しょうゆラーメン」の面積「３８５２４ｍｍ²」）が推定される（Ｓ７）。そして、記憶部２に記憶された単位面積あたりの料理の重量の情報に基づいて、推定された料理の面積からその料理の重量（例えば「しょうゆラーメン」の重量「６５０ｇ」）が算出される（Ｓ８）。

【0043】

そして、本実施の形態の装置１では、特定された料理メニューに基づいて算出されるその料理メニューの栄養価（例えば「しょうゆラーメン」の栄養価）と、決定された追加具材に基づいて算出されるその追加具材の栄養価（例えば「肉」と「緑黄色野菜」の栄養価）とに基づいて、料理画像に写っている料理の栄養価が計算される（Ｓ９）。

【0044】

このような本実施の形態の装置１によれば、ユーザによって撮影された食事画像から、その食事画像に含まれる料理画像（料理が写っている部分画像。料理領域の画像ともいえる）が抽出され、抽出した料理画像を画像分析することにより、料理画像に写っていると推定される料理メニュー（例えば、しょうゆラーメン）が特定される。また、料理画像を画像分析することにより、料理画像に写っていると推定される候補具材（例えば、肉、緑黄色野菜、果物）が特定される。そして、料理メニューごとに追加され得る具材の情報に基づいて、候補具材の中から、その料理メニューに追加されている追加具材（例えば、肉、緑黄色野菜）が決定される。そして、料理メニューの栄養価（例えば、しょうゆラーメンの栄養価）と追加具材の栄養価（例えば、肉、緑黄色野菜の栄養価）に基づいて、料理画像に写っている料理（例えば、チャーシューとほうれん草がトッピングされたしょうゆラーメン）の栄養価が計算される。

【0045】

この場合、具材は、栄養アドバイスの観点から定められた複数の具材グループに分類されている（例えば、チャーシューは肉に分類され、ほうれん草は緑黄色野菜に分類される）。したがって、栄養アドバイスの観点から定められたグループに基づいて料理に追加されている具材の栄養価が計算される。これにより、料理画像に写っている料理の栄養価が適切に計算され、その計算結果を利用して、適切な栄養アドバイスを行うことが可能になる。

【0046】

また、本実施の形態では、魚、貝および甲殻類、肉、緑黄色野菜、淡色野菜、海草、きのこ類、豆類、卵、乳製品、芋類、果物、ナッツという適切なグループに基づいて、料理に追加されている具材の栄養価が計算される。したがって、その計算結果を利用して適切な栄養アドバイスを行うことができる。

【0047】

また、本実施の形態では、特定された候補具材がその料理メニュー（例えば、しょうゆラーメン）に追加され得る具材（例えば、肉）である場合には、その候補具材が追加具材として決定される。一方、特定された候補具材がその料理メニュー（例えば、しょうゆラーメン）に追加され得ない具材（例えば、果物）である場合には、その候補具材は追加具材として決定されない。このようにして、料理に追加されている具材（追加具材）を適切に決定することができる。

【0048】

また、本実施の形態では、ユーザによって撮影された食事画像から、カトラリー画像（カトラリーが写っている部分画像。カトラリー領域の画像ともいえる）が抽出される。そして、料理画像とカトラリー画像を画像分析することにより、カトラリー画像から特定されるカトラリーのサイズを基準として、料理画像に写っている料理の重量が算出される。容器のサイズは、容器によって様々である（例えば、皿のサイズは、皿によって様々である）のに対して、カトラリーのサイズは、それほど大きく異ならない（例えば、箸の長さは、どの箸でもほとんど同じである）。この場合、カトラリーのサイズを基準として、料理画像に写っている料理の重量（容器に入れられた料理の重量）を算出することが可能となり、容器のサイズを基準としないので、様々なサイズや形状の容器に料理が盛り付けられている場合でも、容器のサイズや形状に影響を受けることなく、正確に料理の重量を計算することができる。そして、その計算結果に基づいて、料理の栄養価を正確に計算することができる。

【0049】

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。

【産業上の利用可能性】

【0050】

以上のように、本発明にかかる栄養計算装置は、栄養アドバイスの観点から定められたグループに基づいて料理画像に写っている追加具材（料理に追加されている具材）の栄養価を計算することができ、その計算結果を利用して適切な栄養アドバイスを行うことが可能になるという効果を有し、ユーザの健康を管理する健康管理システム等に利用され、有用である。

【符号の説明】

【0051】

１ 装置
２ 記憶部
３ 食事画像入力部
４ 料理画像抽出部
５ カトラリー画像抽出部
６ 料理メニュー特定部
７ 候補具材特定部
８ 追加具材決定部
９ 面積推定部
１０ 重量算出部
１１ 栄養価計算部
１２ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】