特許 7693113 栄養素判定システム、栄養素判定装置、栄養素判定方法、及び栄養素判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-06-06

(45)【発行日】2025-06-16

(54)【発明の名称】栄養素判定システム、栄養素判定装置、栄養素判定方法、及び栄養素判定プログラム

(51)【国際特許分類】

   G16H 20/60 20180101AFI20250609BHJP

【ＦＩ】

G16H20/60

【請求項の数】 11

(21)【出願番号】P 2024527902

(86)(22)【出願日】2022-06-13

(86)【国際出願番号】 JP2022023604

(87)【国際公開番号】W WO2023242895

(87)【国際公開日】2023-12-21

【審査請求日】2024-06-24

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】100116964

【弁理士】

【氏名又は名称】山形 洋一

(74)【代理人】

【識別番号】100120477

【弁理士】

【氏名又は名称】佐藤 賢改

(74)【代理人】

【識別番号】100135921

【弁理士】

【氏名又は名称】篠原 昌彦

(74)【代理人】

【識別番号】100203677

【弁理士】

【氏名又は名称】山口 力

(72)【発明者】

【氏名】江角 憲治

(72)【発明者】

【氏名】津田 由佳

【審査官】吉田 誠

(56)【参考文献】

【文献】特開２０１２－２１２２４９（ＪＰ，Ａ）

【文献】特開２０１５－２２５４６０（ＪＰ，Ａ）

【文献】高橋 利瑛，画像を用いた栄養摂取評価システムの開発，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2014年01月17日， Ｖｏｌ．１１３ Ｎｏ．４０９，３５－３８ページ

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１６Ｈ １０／００ － ８０／００

(57)【特許請求の範囲】

【請求項1】

撮像装置と、
前記撮像装置で撮影した画像である又は撮影した画像の一部である食事画像に基づいて食事の栄養素の判定を行い、前記判定によって得られた判定結果を出力する栄養素判定装置と、
前記判定結果を出力する出力装置と、
を有し、
前記栄養素判定装置は、
前記食事画像を構成する各画素が食物の画素であるか否かを判断し、前記食物の画素で構成される食物領域の画像である食物領域画像を生成する食物領域判断部と、
少なくとも前記食物領域画像を含む画像の各画素の画像信号をＨＳＶ信号に変換することで、ＨＳＶ画像を生成するチャンネル変換部と、
栄養素とＨＳＶ色空間における色相、彩度及び明度の値との関係を示す栄養素・色データベースのデータを参照して、前記食物領域の前記ＨＳＶ画像の画素ごとに栄養素の判定を行って栄養素画像を生成する栄養素変換部と、
前記画素ごとの栄養素に基づいて前記食事の栄養素の判定を行い、前記判定結果を出力する栄養素判定部と
を有し、
前記栄養素変換部は、前記栄養素・色データベースに記憶された栄養素としてタンパク質、ミネラル、カロテン、ビタミン、糖質、及び脂質の色情報を参照し、
前記色情報は、色相、彩度、及び明度の各々の項目のうち、少なくとも２つ以上の項目について各々が取り得る範囲の値を規定している
ことを特徴とする栄養素判定システム。

【請求項2】

前記チャンネル変換部は、前記食物領域判断部から受け取った前記食物領域画像の各画素の画像信号から前記食物領域の前記ＨＳＶ画像を生成する
ことを特徴とする請求項１に記載の栄養素判定システム。

【請求項3】

前記チャンネル変換部は、前記画像の各画素の画像信号から前記ＨＳＶ画像を生成し、
前記栄養素変換部は、前記チャンネル変換部から受け取った前記ＨＳＶ画像と前記食物領域判断部から受け取った前記食物領域画像とに基づいて、前記栄養素・色データベースを参照して、前記食物領域の前記ＨＳＶ画像の画素ごとに栄養素の判定を行って前記栄養素画像を生成する
ことを特徴とする請求項１に記載の栄養素判定システム。

【請求項4】

前記栄養素変換部は、外部から注目栄養素を受け取り、前記食物領域の前記ＨＳＶ画像の画素ごとの栄養素の判定を行って、前記注目栄養素の前記栄養素画像を生成する
ことを特徴とする請求項３に記載の栄養素判定システム。

【請求項5】

前記栄養素判定部は、外部から前記栄養素画像における予め決められた領域ごとの前記食物のサイズ又は重量に関する食物情報を受け取り、前記食物情報を用いて前記栄養素画像から前記食事の栄養素の量を計算する
ことを特徴とする請求項４に記載の栄養素判定システム。

【請求項6】

前記栄養素判定装置は、前記撮像装置で撮影した画像から前記食事画像を検知する食事画像検知部を更に有する
ことを特徴とする請求項５に記載の栄養素判定システム。

【請求項7】

前記栄養素判定装置は、前記食事画像から前記食物を載せた器を検知し、前記器のサイズと形状と色のいずれか１つ以上である前記器の特徴を検知して特徴情報を出力する器検知部を更に有し、
前記栄養素判定部は、前記特徴情報に基づいて前記食事の栄養素の判定を行う
ことを特徴とする請求項６に記載の栄養素判定システム。

【請求項8】

前記栄養素変換部は、外部から前記食事のメニュー情報を受け取り、前記栄養素・色データベースのデータと前記メニュー情報とに基づいて、前記食物領域の前記ＨＳＶ画像の画素ごとに栄養素の判定を行う
ことを特徴とする請求項１から７のいずれか１項に記載の栄養素判定システム。

【請求項9】

撮像装置で撮影した画像である又は撮影した画像の一部である食事画像に基づいて食事の栄養素の判定を行い、前記判定によって得られた判定結果を出力する栄養素判定装置であって、
前記食事画像を構成する各画素が食物の画素であるか否かを判断し、前記食物の画素で構成される食物領域の画像である食物領域画像を生成する食物領域判断部と、
少なくとも前記食物領域画像を含む画像の各画素の画像信号をＨＳＶ信号に変換することで、ＨＳＶ画像を生成するチャンネル変換部と、
栄養素とＨＳＶ色空間における色相、彩度及び明度の値との関係を示す栄養素・色データベースのデータを参照して、前記食物領域の前記ＨＳＶ画像の画素ごとに栄養素の判定を行って栄養素画像を生成する栄養素変換部と、
前記画素ごとの栄養素に基づいて前記食事の栄養素の判定を行い、前記判定結果を出力する栄養素判定部と
を有し、
前記栄養素変換部は、前記栄養素・色データベースに記憶された栄養素としてタンパク質、ミネラル、カロテン、ビタミン、糖質、及び脂質の色情報を参照し、
前記色情報は、色相、彩度、及び明度の各々の項目のうち、少なくとも２つ以上の項目について各々が取り得る範囲の値を規定している
ことを特徴とする栄養素判定装置。

【請求項10】

撮像装置で撮影した画像である又は撮影した画像の一部である食事画像に基づいて食事の栄養素の判定を行い、前記判定によって得られた判定結果を出力する栄養素判定装置によって実施される栄養素判定方法であって、
前記食事画像を構成する各画素が食物の画素であるか否かを判断し、前記食物の画素で構成される食物領域の画像である食物領域画像を生成するステップと、
少なくとも前記食物領域画像を含む画像の各画素の画像信号をＨＳＶ信号に変換することで、ＨＳＶ画像を生成するステップと、
栄養素であるタンパク質、ミネラル、カロテン、ビタミン、糖質、及び脂質の各々において、ＨＳＶ色空間における色相、彩度及び明度の各々の項目のうち、少なくとも２つ以上の項目について各々が取り得る範囲の値を規定している栄養素・色データベースのデータを参照して、前記食物領域の前記ＨＳＶ画像の画素ごとに栄養素の判定を行って栄養素画像を生成するステップと、
前記画素ごとの栄養素に基づいて前記食事の栄養素の判定を行い、前記判定結果を出力するステップと
を有することを特徴とする栄養素判定方法。

【請求項11】

撮像装置で撮影した画像である又は撮影した画像の一部である食事画像に基づいて食事の栄養素の判定を行い、前記判定によって得られた判定結果を出力するコンピュータに、
前記食事画像を構成する各画素が食物の画素であるか否かを判断し、前記食物の画素で構成される食物領域の画像である食物領域画像を生成するステップと、
少なくとも前記食物領域画像を含む画像の各画素の画像信号をＨＳＶ信号に変換することで、ＨＳＶ画像を生成するステップと、
栄養素であるタンパク質、ミネラル、カロテン、ビタミン、糖質、及び脂質の各々において、ＨＳＶ色空間における色相、彩度及び明度の各々の項目のうち、少なくとも２つ以上の項目について各々が取り得る範囲の値を規定している栄養素・色データベースのデータを参照して、前記食物領域の前記ＨＳＶ画像の画素ごとに栄養素の判定を行って栄養素画像を生成するステップと、
前記画素ごとの栄養素に基づいて前記食事の栄養素の判定を行い、前記判定結果を出力するステップと
を実行させることを特徴とする栄養素判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、栄養素判定システム、栄養素判定装置、栄養素判定方法、及び栄養素判定プログラムに関する。

【背景技術】

【0002】

例えば、特許文献１は、食膳を撮影した画像から食器を抽出し、食器ごとに食物の色相（この文献では、Ｒ、Ｇ、Ｂ）を検知し、色相ごとの画素数を計測し、食材と色相との対応が予め記録してある食材データベースに従って食材ごとの量を計算し、食前の食膳の画像と食後の食膳の画像とから食事摂取量を計測する装置を提案している。また、この装置は、食材ごとの栄養素データを記憶しておくことにより、栄養素の摂取量を計算する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００８－２０４１０５号公報（例えば、要約、段落００３９参照）

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記従来の装置にあっては、食材と色相との対応を記憶する食材データベースを用いて食材ごとの量を計算し、食材ごとの栄養素を示すデータを用いて栄養素を計算しており、計算が複数回行われるため、解析結果の精度が低いという問題である。

【0005】

本開示の目的は、上記従来の課題を解決するためになされたものであり、食事を撮影するだけで食事の栄養素を高い精度で判定することを可能とすることである。

【課題を解決するための手段】

【0006】

本開示に係る栄養素判定システムは、撮像装置と、前記撮像装置で撮影した画像である又は撮影した画像の一部である食事画像に基づいて食事の栄養素の判定を行い、前記判定によって得られた判定結果を出力する栄養素判定装置と、前記判定結果を出力する出力装置と、を有し、前記栄養素判定装置は、前記食事画像を構成する各画素が食物の画素であるか否かを判断し、前記食物の画素で構成される食物領域の画像である食物領域画像を生成する食物領域判断部と、少なくとも前記食物領域画像を含む画像の各画素の画像信号をＨＳＶ信号に変換することで、ＨＳＶ画像を生成するチャンネル変換部と、栄養素とＨＳＶ色空間における色相、彩度及び明度の値との関係を示す栄養素・色データベースのデータを参照して、前記食物領域の前記ＨＳＶ画像の画素ごとに栄養素の判定を行って栄養素画像を生成する栄養素変換部と、前記画素ごとの栄養素に基づいて前記食事の栄養素の判定を行い、前記判定結果を出力する栄養素判定部とを有し、前記栄養素変換部は、前記栄養素・色データベースに記憶された栄養素としてタンパク質、ミネラル、カロテン、ビタミン、糖質、及び脂質の色情報を参照し、前記色情報は、色相、彩度、及び明度の各々の項目のうち、少なくとも２つ以上の項目について各々が取り得る範囲の値を規定していることを特徴とする。

【0007】

本開示に係る栄養素判定方法は、撮像装置で撮影した画像である又は撮影した画像の一部である食事画像に基づいて食事の栄養素の判定を行い、前記判定によって得られた判定結果を出力する栄養素判定装置によって実施される栄養素判定方法であって、前記食事画像を構成する各画素が食物の画素であるか否かを判断し、前記食物の画素で構成される食物領域の画像である食物領域画像を生成するステップと、少なくとも前記食物領域画像を含む画像の各画素の画像信号をＨＳＶ信号に変換することで、ＨＳＶ画像を生成するステップと、栄養素であるタンパク質、ミネラル、カロテン、ビタミン、糖質、及び脂質の各々において、ＨＳＶ色空間における色相、彩度及び明度の各々の項目のうち、少なくとも２つ以上の項目について各々が取り得る範囲の値を規定している栄養素・色データベースのデータを参照して、前記食物領域の前記ＨＳＶ画像の画素ごとに栄養素の判定を行って栄養素画像を生成するステップと、前記画素ごとの栄養素に基づいて前記食事の栄養素の判定を行い、前記判定結果を出力するステップとを有することを特徴とする。

【発明の効果】

【0008】

本開示によれば、食事を撮影するだけで食事の栄養素を高い精度で判定することができる。

【図面の簡単な説明】

【0009】

【図1】実施の形態１に係る栄養素判定システム及び栄養素判定装置の構成を概略的に示すブロック図である。

【図2】実施の形態１に係る栄養素判定装置のハードウェア構成の例を示す図である。

【図3】実施の形態１に係る栄養素判定装置の動作を示すフローチャートである。

【図4】（Ａ）及び（Ｂ）は、実施の形態１に係る栄養素判定装置の食物領域判断部の入出力画像の例を示す図である。

【図5】（Ａ）から（Ｃ）は、実施の形態１に係る栄養素判定装置のチャンネル変換部及び栄養素変換部が扱う画像のフォーマットを示す図である。

【図6】実施の形態１に係る栄養素判定装置が使用する栄養素・色データベースの例を示す図である。

【図7】（Ａ）及び（Ｂ）は、実施の形態１に係る栄養素判定装置の栄養素判定部が出力する判定結果の例を示す図である。

【図8】実施の形態２に係る栄養素判定システム及び栄養素判定装置の構成を概略的に示すブロック図である。

【図9】実施の形態２に係る栄養素判定装置の動作を示すフローチャートである。

【図10】（Ａ）から（Ｃ）は、実施の形態２に係る栄養素判定装置で生成される画像の例を示す図である。

【図11】実施の形態３に係る栄養素判定システム及び栄養素判定装置の構成を概略的に示すブロック図である。

【図12】実施の形態３に係る栄養素判定装置の動作を示すフローチャートである。

【図13】実施の形態４に係る栄養素判定システム及び栄養素判定装置の構成を概略的に示すブロック図である。

【図14】実施の形態４に係る栄養素判定装置の動作を示すフローチャートである。

【図15】実施の形態４に係る栄養素判定装置の栄養素判定部が有する器のデータベースの例を示す図である。

【発明を実施するための形態】

【0010】

以下に、実施の形態に係る栄養素判定システム、栄養素判定装置、栄養素判定方法、及び栄養素判定プログラムを、図面を参照しながら説明する。栄養素判定システムは、食事を撮影するだけで食事に含まれる栄養素の情報を出力することができるシステムである。また、栄養素判定システムが出力する食事に含まれる栄養素の情報をユーザに提示することによって、ユーザは料理のメニューを決めたり、盛り付け量を調整したりすることができるようになる。なお、栄養素判定システムが扱う“食事”を“食材”と読み替えてもよく、つまり、料理後の食事に限られずに料理中又は料理前の食材に含まれる栄養素を判定し出力してもよい。栄養素判定システムは、スマートホンなどの携帯端末、タブレット端末、撮像装置で撮影した画像を取得することができるパーソナルコンピュータ（ＰＣ）、撮像装置で撮影した画像を取得することができるネットワーク上のサーバコンピュータ、などである。また、栄養素判定システムは、カメラを有する携帯端末と、これと通信可能なＰＣ又はサーバコンピュータとの組み合わせであってもよい。なお、以下の実施の形態は、例にすぎず、実施の形態を適宜組み合わせること及び各実施の形態を適宜変更することが可能である。

【0011】

《１》実施の形態１．
《１－１》構成
図１は、実施の形態１に係る栄養素判定システム１及び栄養素判定装置１０の構成を概略的に示すブロック図である。栄養素判定システム１は、栄養素判定装置１０と、食事を撮影する撮像装置５１と、栄養素の判定結果をユーザに提示する出力装置５２とを有している。撮像装置５１は、静止画又は動画を撮影するカメラである。出力装置５２は、例えば、映像表示装置、音声出力装置、印刷装置、これらのうちの１つ、又は２つ以上の組合せである。

【0012】

栄養素判定装置１０は、実施の形態１に係る栄養素判定方法を実施することができる装置（例えば、コンピュータ）である。栄養素判定装置１０は、撮像装置５１で撮影した画像である又は撮影した画像の一部である食事画像Ｄ０に基づいて食事の栄養素の判定を行い、この判定によって得られた判定結果Ｄ４を出力する。栄養素判定装置１０は、食物領域判断部１１と、チャンネル変換部１２と、栄養素変換部１３と、栄養素判定部１４とを有している。栄養素判定装置１０は、栄養素と色（ＨＳＶ色空間における色相Ｈ、彩度Ｓ、明度Ｖの値）との関係を示す栄養素・色データからなる栄養素・色データベース（すなわち、栄養素・色ＤＢ）１５を有してもよい。栄養素・色ＤＢ１５は、栄養素判定装置１０とは異なる、外部の装置（例えば、クラウドサーバ）の記憶装置であってもよい。撮像装置５１は、栄養素の判定の対象である食事を撮影してカラー画像である食事画像Ｄ０を出力する。食物領域判断部１１に提供される食事画像Ｄ０は、記録装置（図示せず）に記録されている画像であってもよい。

【0013】

食物領域判断部１１は、食事画像Ｄ０を取得し、食事画像Ｄ０を構成する複数の画素の各々について、被写体としての食物の画素であるか否かを判断することで、食物の画素から構成される食物領域の画像である食物領域画像Ｄ１を生成する。食事画像Ｄ０を構成する画素が食物の画素であるか否かの判断方法としては、例えば、ユーザ操作による入力情報に基づいて判断する方法、又は別途設置された熱画像センサ又は距離センサのセンサ出力に基づいて判断する方法がある。また、ＡＩ（人工知能）を用いた処理によって食事画像Ｄ０から食物領域を認識する方法を用いることも可能である。

【0014】

チャンネル変換部１２は、少なくとも食物領域画像Ｄ１を含む画像の各画素の画像信号をＨＳＶ信号に変換することで、ＨＳＶ画像Ｄ２を生成する。具体的に言えば、チャンネル変換部１２は、食物領域判断部１１で生成された食物領域画像Ｄ１の画像信号（例えば、ＲＧＢ信号又はＹＣｂＣｒ信号）をＨＳＶ信号に変換し、食物領域のＨＳＶ画像Ｄ２を出力する。ＨＳＶは、色味を表す色相（Ｈ）と、鮮やかさを表す彩度（Ｓ）と、明るさを表す明度（Ｖ）とを指す。ある色は、Ｈ、Ｓ、Ｖの３つ値で表現することができる。食事画像Ｄ０の画像信号は、ＲＧＢ信号又はＹＣｂＣｒ信号などで表現されることが多い。ＲＧＢとＨＳＶとの間の変換、ＲＧＢとＹＣｂＣｒとの間の変換は、公知の変換式を用いて行うことができる。

【0015】

栄養素変換部１３は、栄養素とＨＳＶ色空間における色相、彩度及び明度の値との関係を示す栄養素・色ＤＢ１５のデータを参照して、チャンネル変換部１２から出力された食物領域のＨＳＶ画像Ｄ２の画素ごとに栄養素の判定を行って栄養素画像Ｄ３を生成する。栄養素変換部１３は、画素ごとの栄養素の判定に際して、例えば、栄養素・色ＤＢ１５を参照する。食品（すなわち、食物となる品物）に含まれている栄養素の分類としては、「五大栄養素」、「三色食品群」、「六つの基礎食品群」などが知られている。

【0016】

「五大栄養素」は、炭水化物（糖質）、脂質、たんぱく質、無機質（ミネラル）、ビタミンの５つを表す。

【0017】

「三色食品群」は、人の体内での栄養素の働き又は特徴ごとに、食品を、３つの食品群、すなわち、（赤）、（黄）、（緑）の３つの色の食品群に分けたものである。「三色食品群」は、（赤）体をつくるもとになる栄養素（例えば、肉、魚、卵、牛乳・乳製品、豆など）と、（黄）エネルギのもとになる栄養素（例えば、米、パン、めん類、いも類、油、砂糖など）と、（緑）体の調子を整える栄養素（例えば、野菜、果物、きのこ類など）とから構成される。

【0018】

「六つの基礎食品群」は、似た働きを持つ栄養素を食品別に６つの群（１群～６群）に分類したものである。「１群（赤）」は、骨、筋肉を作る栄養素（タンパク質）の群であり、例えば、肉、魚、卵などを含む。「２群（赤）」は、骨、歯などを作る栄養素（カルシウム）の群であり、例えば、牛乳、乳製品、海草、小魚などを含む。「３群（緑）」は、皮膚及び粘膜を保護する栄養素（カロテン）の群であり、例えば、緑黄色野菜を含む。「４群（緑）」は、体の調子を整える栄養素（ビタミンＣ）の群であり、例えば、淡色野菜、果物、を含む。「５群（黄）」は、エネルギになる栄養素（糖質）の群であり、例えば、炭水化物、穀類、いも類を含む。「６群（黄）」は、エネルギになる栄養素（脂質）の群であり、例えば、油脂、脂肪の多い肉、などを含む。実施の形態１では、「六つの基礎食品群」を栄養素として扱う場合について説明する。

【0019】

栄養素判定部１４は、栄養素変換部１３から出力された食物領域の栄養素画像Ｄ３から食事の栄養素の判定（すなわち、分析）を行って、判定結果Ｄ４を出力する。判定結果Ｄ４は、例えば、対象の食事の栄養素の種類ごとの量を含む。出力装置５２は、判定結果Ｄ４を示す情報を、映像、音声、印刷物、これらのうちの１つ、又は２つ以上の組合せで出力する。

【0020】

図２は、栄養素判定装置１０のハードウェア構成の例を示す図である。栄養素判定装置１０は、プロセッサ１０１と、メモリ１０２と、不揮発性の記憶装置である記憶部１０３と、インタフェース１０４と、通信部１０５と、入力部１０６とを有している。プロセッサ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などである。メモリ１０２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの、揮発性の半導体メモリである。記憶部１０３は、ハードディスクドライブ（ＨＤＤ）又はソリッドステートドライブ（ＳＳＤ）などの記憶装置である。記憶部１０３は、情報及びプログラムを記憶する。通信部１０５は、ネットワークを介して他の装置と通信を行う。入力部１０６は、入力インタフェースであるキーボードなどの操作部である。入力部１０６は、人からの入力を受け付ける。インタフェース１０４には、撮像装置５１及び出力装置５２などの装置が接続される。

【0021】

栄養素判定装置１０の各機能は、処理回路により実現される。処理回路は、専用のハードウェアであってもよいし、メモリ１０２に格納されるプログラムを実行するプロセッサ１０１であってもよい。プロセッサ１０１は、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、及びＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）のいずれであってもよい。

【0022】

処理回路が専用のハードウェアである場合、処理回路は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はこれらのうちのいずれかを組み合わせたものである。

【0023】

処理回路がプロセッサ１０１である場合、実施の形態１に係る栄養素判定プログラムは、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア及びファームウェアは、プログラムとして記述され、メモリ１０２に格納される。プロセッサ１０１は、メモリ１０２に記憶された栄養素判定プログラムを読み出して実行することにより、図１に示される各部の機能を実現することができる。栄養素判定プログラムは、ネットワークを介してのダウンロードにより、又は、光ディスクなどのような情報を記録する記録媒体（すなわち、記憶媒体）から、栄養素判定装置１０にインストールされる。なお、栄養素判定装置１０は、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらのうちのいずれかの組み合わせによって、図１に示される各機能ブロックの機能を実現することができる。

【0024】

《１－２》動作
図３は、実施の形態１に係る栄養素判定装置１０の動作を示すフローチャートである。先ず、食事を撮影した食事画像Ｄ０が食物領域判断部１１に入力される。図３のステップＳＴ１１において、食物領域判断部１１は、食事画像Ｄ０を取得し、食事画像Ｄ０を構成する各画素が食物の画素であるか否かを判断して、食物の画素で構成された食物領域の画像である食物領域画像Ｄ１を生成する。

【0025】

図４（Ａ）及び（Ｂ）は、食物領域判断部１１の入出力画像の例を示す図である。図４（Ａ）は、食物領域判断部１１に入力される食事画像Ｄ０を示し、図４（Ｂ）は、食物領域判断部１１から出力される食物領域画像Ｄ１を示す。食物領域画像Ｄ１は、撮影した食事のうちの食器又は背景を除く領域である食物領域の画像である。食事画像Ｄ０を構成する各画素が食物の画素であるか否かの判断としては、ユーザにより入力（例えば、撮影画像が表示されたタッチパネル上で領域を指定する操作、など）された領域に基づく判断、食事画像Ｄ０又は別途設定されたセンサ（例えば、熱画像センサ又は距離センサ）によるセンサ情報に基づく判断などがある。

【0026】

ユーザの入力を用いる場合には、ユーザが食物の画素を一つ選択する操作（例えば、タッチパネルに表示された食物領域画像Ｄ１の１点を指でタッチする操作）を行うと色域若しくはテクスチャが同じ又は似ている領域は、同じ食物であるとする処理を行うことで、食物領域であるか否かの判断に係るユーザの作業量及び情報処理量を減らすことが可能である。

【0027】

また、別途設置されたセンサとして熱画像センサを使用する場合は、熱画像センサで取得された温度情報から、画像の大半を占める温度を室内の温度とみなし、室内の温度との差分絶対値が所定値以上の画素を食物と判断する。例えば、室温が２５℃であり、所定値が＋５℃と設定されている場合には、例えば、３０℃以上の画素を食物（例えば、温かい飲み物、火で調理した温かい食物、など）の画素と判断する。また、室温が２５℃であり、所定値が－５℃と設定されている場合には、例えば、２０℃以下の画素を食物（例えば、冷たい飲み物、サラダ、フルーツ、など）の画素と判断する。また、別途設置されたセンサとして距離センサを使用する場合は、食材の表面は、テーブル及び食器などに比べて凹凸が多い又は大きいことを利用し、ある画素が示す距離とその周辺の画素が示す距離との差分が予め決められた閾値（例えば、５ｍｍ）以上である、すなわち、撮影対象の表面の凹凸が大きい画素を食物と判断する。

【0028】

また、ＡＩ（人口知能）を用いた処理によって食事画像Ｄ０から食物領域を認識する場合には、食物領域の認識精度を上げることができる。

【0029】

図３のステップＳＴ１２において、チャンネル変換部１２は、ステップＳＴ１１で生成された食物領域画像Ｄ１の画像信号をＨＳＶ信号に変換することで、変換後の食物領域の画像であるＨＳＶ画像Ｄ２を生成する。

【0030】

図５（Ａ）から（Ｃ）は、チャンネル変換部１２及び栄養素変換部１３が扱う画像のフォーマットを示す図である。図５（Ａ）は、食物領域画像Ｄ１のＲＧＢ信号を示し、このＲＧＢ信号はチャンネル変換部１２に入力される。図５（Ｂ）は、食物領域のＨＳＶ画像Ｄ２を示し、ＨＳＶ画像Ｄ２はチャンネル変換部１２から出力される。図５（Ｃ）は、食物領域の栄養素画像Ｄ３を示し、栄養素番号を示す数字（１、２、３、４、５、６のいずれかの数字）の列である。図５（Ｃ）の栄養素番号に関しては、１は、「１群：タンパク質」、２は、「２群：ミネラル」、３は、「３群：カロテン」、４は、「４群：ビタミン」、５は、「５群：糖質」、６は、「６群：脂質」を示す。

【0031】

図３のステップＳＴ１３において、栄養素変換部１３は、栄養素・色ＤＢ１５のデータに基づき、食物領域のＨＳＶ画像Ｄ２の各画素について栄養素の判定を行う。栄養素変換部１３は、栄養素番号の列から構成される栄養素画像を生成する。

【0032】

図６は、栄養素判定装置１０が使用する栄養素・色ＤＢ１５の例を示す図である。栄養素・色ＤＢ１５は、栄養素ごとの色相（Ｈ）、彩度（Ｓ）、明度（Ｖ）の特徴又は値の取り得る範囲を規定している。なお、図６に示される色相、彩度及び明度の値の取り得る範囲は、一例であり、他の値の範囲に設定することも可能である。栄養素・色ＤＢ１５では、１群のタンパク質では、明度が赤色又は黄色であって、彩度は中彩度である。また、２群のミネラルでは、明度が低明度である。また、３群のカロテンでは、色相が赤色又は緑色であり、彩度は中高彩度である。また、４群のビタミンでは、色相は緑色であり、明度は高明度である。また、５群の糖質では、色相は黄色であり、明度は高明度である。また、６群の脂質では、色相は黄色であり、彩度は低彩度である。

【0033】

図６に示される栄養素・色ＤＢ１５は、栄養素ごとの色相、彩度、明度を範囲で示している。栄養素・色ＤＢ１５を参照すれば、食物領域のＨＳＶ画像Ｄ２の各画素のＨＳＶの値から、当該画素が示す栄養素を判断することができる。なお、栄養素・色ＤＢ１５のフォーマットは、図６のものに限定されない。例えば、栄養素・色ＤＢ１５は、各栄養素の色相、彩度、明度の中央値を規定してもよい。この場合、栄養素変換部１３は、栄養素・色ＤＢ１５に規定された各栄養素の色相、彩度、明度の中央値からの差分が最も小さい栄養素を、当該栄養素と判定する。

【0034】

以上に述べたように、食物は、栄養素ごとに色相、彩度、明度に特徴があり、色相、彩度、明度から栄養素を直接判定することが可能である。例えば、濃い緑色の野菜を取り入れてカロテンを摂食する、又は、色の薄い炭水化物の量を減らすことが可能である。しかし、赤いトマトの画像信号をＲＧＢ信号で表すと、（Ｒ，Ｇ，Ｂ）＝（１５８，２０，１７）であり、白米の画像信号をＲＧＢ信号で表すと、（Ｒ，Ｇ，Ｂ）＝（２４６、２４２，２３３）である。このように、仮に、ＲＧＢ信号によって食材又は栄養素を判断すると、トマトのＲ値より白米のＲ値のほうが高い。このように、ＲＧＢ信号から食材又は栄養素を直接判定することは適切ではない。そこで、本開示では、ＨＳＶ信号からなるＨＳＶ画像の色相、再度、明度に基づいて栄養素の判定を行うアルゴリズムを採用している。

【0035】

また、栄養素変換部１３における栄養素の判定は、食物領域内の全ての画素について行うことが望ましいが、食物領域内の一部の画素について行うことも可能である。例えば、栄養素変換部１３は、Ｈ、Ｓ、Ｖの各信号が所定の範囲内にある領域ごとに栄養素の判定を行って、この判定結果を、領域内の画素の判定結果として扱ってもよい。所定の範囲は、例えば、色相Ｈが所定の５°の範囲内であり、彩度Ｓが所定の５％の範囲内であり、明度Ｖが所定の５％の範囲内であるときに、この範囲内の領域の画素の判定結果を同じ値としてもよい。なお、色相Ｈは０°から３６０°の値を取り、Ｈ＝０°とＨ＝３６０°とは同じであるため、Ｈ＝０°付近の色相の範囲を判定する際には、Ｈの値に３６０°を加算した値で処理を行えばよい。

【0036】

図３のステップＳＴ１４において、栄養素判定部１４は、栄養素変換部１３から栄養素画像Ｄ３を取得し、栄養素画像Ｄ３の画素ごとの栄養素から、統計処理を施して食事の栄養素の判定（すなわち、計算）を行い、判定結果Ｄ４を出力する。判定結果Ｄ４は、出力装置５２に提供され、ユーザに提示される。

【0037】

図７（Ａ）及び（Ｂ）は、栄養素判定装置１０の栄養素判定部１４が出力する判定結果Ｄ４の例を示す図である。図７（Ａ）は、食事に含まれる栄養素の割合［％］を示す円グラフである。栄養素判定部１４は、栄養素画像Ｄ３のヒストグラムを生成し、栄養素画像Ｄ３の全画素に対する各栄養素の割合を円グラフにしたものである。このような円グラフを、ユーザに対して提示することで、ユーザは栄養素の割合を直感的に把握することができる。

【0038】

また、図７（Ｂ）は、理想的な栄養バランス（１００％）に対する対象の食事の栄養バランスを示すレーダーチャートである。図７（Ｂ）は、健康のために摂取が必要とされる理想的な栄養素のバランスに対する、対象の食事の栄養バランスの偏りを六角形のグラフ（すなわち、スパイダーグラフ）で示している。このようなレーダーチャートを、ユーザに対して提示することで、ユーザは、栄養素の偏りを一目で把握することができる。

【0039】

《１－３》効果
以上に説明したように、実施の形態１によれば、食事画像Ｄ０から画素ごとの栄養素を直接判定しているので、食事画像から食材を判定した後に、食材ごとの栄養素を示すデータデータベースを用いて栄養素の判定を行う場合（すなわち、２種類の判定処理を行う場合）に比べ、少ない演算量で精度よく栄養素の判定を行うことができる。

【0040】

なお、実施の形態１によれば、食事前に出来上がった料理の写真を携帯端末などに搭載されているカメラで撮影して、その場で料理に含まれる栄養素を確認するとともに、栄養管理記録として記憶装置に保存することができる。このような栄養素判定システム１は、持ち歩くことが可能であるため、食事の場所を選ばず栄養素判定を行えば、全ての食事の記録を残すことができる。この場合、食事内容を手書きで記録する又はキーボードから入力して記録するなどのユーザの作業が不要であり、写真を撮影するだけで日々の栄養管理を行うことが可能である。また、実施の形態１によれば、体調不良が発生したときに、摂取栄養素の記録が体調不良の原因究明の一助になり得るという効果をえることもできる。

【0041】

また、実施の形態１によれば、学校、保育園、病院、又は高齢者住宅などにおいて、ユーザは、食事前に料理の写真を撮影し、栄養素の判定結果を記録することを容易に行うことができる。このような栄養素判定システム１は、一人一人の成長又は体調に合わせて、栄養素の摂取量又は食事のメニューが異なる場合であっても、食事内容と摂取栄養素とを簡単に記録することができる。

【0042】

また、実施の形態１によれば、食事後の状態（つまり、食べ残した食物）を写真撮影して、摂取されなかった栄養素の種類と量を確認することができる。また、食事前の料理の写真と食事後の写真とを用いた栄養判定結果との差分をとると、摂取した栄養素を算出できるという効果がある。

【0043】

また、実施の形態１によれば、ユーザは、献立を検討中にレシピの出来上がり画像を入力して栄養素を確認し、献立の変更又はアレンジを決定するという使い方をすることも可能である。このような栄養素判定システム１では、ユーザは料理前に当該画像をもとに食事又は食材の栄養素を確認できるため、各食材の栄養に関する専門的な知識がなくても栄養バランスが取れた献立を作成できるという効果がある。

【0044】

《２》実施の形態２．
《２－１》構成
図８は、実施の形態２に係る栄養素判定システム２及び栄養素判定装置２０の構成を概略的に示すブロック図である。図８において、図１に示される構成と同一又は対応する構成には、図１に示される符号と同じ符号が付されている。栄養素判定システム２は、栄養素判定装置２０と、撮像装置５１と、出力装置５２とを有している。栄養素判定装置２０は、実施の形態２に係る栄養素判定方法を実施することができる装置（例えば、コンピュータ）である。栄養素判定装置２０は、食物領域判断部１１と、チャンネル変換部２２と、栄養素変換部２３と、栄養素判定部１４とを有している。

【0045】

栄養素判定装置２０は、栄養素・色ＤＢ１５を有してもよい。栄養素・色ＤＢ１５は、栄養素判定装置２０とは異なる、外部の装置の記憶装置であってもよい。実施の形態２に係る栄養素判定装置２０は、食事画像Ｄ０から食物領域を判定して得られた食物領域画像Ｄ１をチャンネル変換するのではなく、食事画像Ｄ０をチャンネル変換する点（すなわち、食物領域画像Ｄ１の生成とチャンネル変換とを並行して実施する点）と、外部から栄養素変換部２３に入力された注目栄養素の栄養素画像を生成する点とが、実施の形態１に係る栄養素判定装置１０と異なる。

【0046】

食物領域判断部１１は、食事画像Ｄ０を取得し、食物領域画像Ｄ１を生成する。チャンネル変換部２２は、食事画像Ｄ０を取得し、食事画像Ｄ０の画像信号をＨＳＶ信号に変換することで食事画像Ｄ０のＨＳＶ画像Ｄ２２を生成する。

【0047】

栄養素変換部２３は、食物領域判断部１１から食物領域画像Ｄ１を取得し、チャンネル変換部２２から食事画像Ｄ０のＨＳＶ画像Ｄ２２を取得し、外部から（例えば、ユーザ操作部から）注目栄養素を取得し、栄養素・色ＤＢ１５のデータを参照して、ＨＳＶ画像Ｄ２２のうちの食物領域画像Ｄ１内における領域のＨＳＶ画像の画素ごとに、注目栄養素の栄養素画像Ｄ２３を生成する。注目栄養素は、例えば、「六つの基礎食品群」の群番号が１つ以上入力される。なお、注目栄養素の入力が無い場合には、全ての栄養素を注目栄養素とみなして栄養素画像Ｄ２３を生成してもよい。

【0048】

栄養素判定部１４は、栄養素変換部２３から入力された食物領域の注目栄養素の栄養素画像から食事の栄養素を判定し、判定結果Ｄ４を出力する。

【0049】

《２－２》動作
図９は、実施の形態２に係る栄養素判定装置２０の動作を示すフローチャートである。先ず、食事を撮影した食事画像Ｄ０が食物領域判断部１１とチャンネル変換部２２に入力される。図３のステップＳＴ２１において、チャンネル変換部２２は、食事画像Ｄ０の画像信号をＨＳＶ信号に変換することで、変換後の食事画像であるＨＳＶ画像Ｄ２２を生成する。

【0050】

図９のステップＳＴ２２において、食物領域判断部１１は、食事画像Ｄ０を取得し、食事画像Ｄ０を構成する各画素が食物の画素であるか否かを判断して、食物の画素で構成された食物領域の画像である食物領域画像Ｄ１を生成する。なお、ステップＳＴ２１とＳＴ２２の処理の順番は、逆であってもよい。また、ステップＳＴ２１とＳＴ２２の処理を平並列的に実行されてもよい。

【0051】

次のステップＳＴ２３において、栄養素変換部２３は、食物領域画像Ｄ１と食事画像Ｄ０のＨＳＶ画像Ｄ２２とを取得し、外部から注目栄養素を取得し、栄養素・色ＤＢ１５のデータを参照して、ＨＳＶ画像Ｄ２２のうちの食物領域画像Ｄ１内における領域のＨＳＶ画像の画素ごとに、注目栄養素の栄養素画像Ｄ２３を生成する。注目栄養素は、ユーザが注目したい栄養素である。注目栄養素の入力がある場合、栄養素変換部２３は、全栄養素の判定は行わず、入力された注目栄養素についての栄養素画像Ｄ２３を生成する。

【0052】

次のステップＳＴ２４において、栄養素判定部１４は、栄養素画像Ｄ２３の画素ごとの栄養素から、統計処理を施して食事の栄養素の判定（すなわち、計算）を行い、判定結果Ｄ４を出力する。判定結果Ｄ４は、出力装置５２に提供され、ユーザに提示される。

【0053】

図１０（Ａ）から（Ｃ）は、栄養素判定装置２０で生成される画像の例を示す図である。図１０（Ａ）は、食物領域判断部１１とチャンネル変換部２２とに入力される食事画像Ｄ０を示す。図１０（Ｂ）は、食物領域判断部１１が出力する食物領域画像Ｄ１を、２値の情報（例えば、食物領域を１、非食物領域を０として情報）として示す。図１０（Ｃ）は、栄養素変換部２３から出力される栄養素画像Ｄ２３の例を示すイメージ図である。図１０（Ｃ）は、栄養素画像Ｄ２３の各画素の栄養素番号を、「六つの基礎食品群」の栄養素番号１、２、３、４、５、６を用いて示した例である。

【0054】

《２－３》効果
以上に説明したように、実施の形態２によれば、食事画像Ｄ０から画素ごとの栄養素を直接判定しているので、食事画像から食材を判定した後に、食材ごとの栄養素を示すデータデータベースを用いて栄養素の判定を行う場合（すなわち、２種類の判定処理を行う場合）に比べ、少ない演算量で精度よく栄養素の判定を行うことができる。

【0055】

また、実施の形態２によれば、食物領域判断とチャンネル変換を並列処理することができるため、実施の形態１の場合よりも高速に栄養素判定ができるという効果がある。

【0056】

また、実施の形態２によれば、注目栄養素を指定して、その栄養素に特化した栄養素判定ができるという効果がある。なお、注目栄養素の指定は、実施の形態１又は後述の実施の形態３若しくは４に適用することも可能である。

【0057】

上記以外に関し、実施の形態２は、実施の形態１と同じである。

【0058】

《３》実施の形態３．
《３－１》構成
図１１は、実施の形態３に係る栄養素判定システム３及び栄養素判定装置３０の構成を概略的に示すブロック図である。図１１において、図１に示される構成と同一又は対応する構成には、図１に示される符号と同じ符号が付されている。栄養素判定システム３は、栄養素判定装置３０と、撮像装置５１と、出力装置５２とを有している。栄養素判定装置３０は、実施の形態３に係る栄養素判定方法を実施することができる装置（例えば、コンピュータ）である。栄養素判定装置３０は、食物領域判断部１１と、チャンネル変換部１２と、栄養素変換部１３と、栄養素判定部３４とを有している。

【0059】

栄養素判定装置３０は、栄養素・色ＤＢ１５を有してもよい。栄養素・色ＤＢ１５は、栄養素判定装置３０とは異なる、外部の装置の記憶装置であってもよい。実施の形態３に係る栄養素判定装置３０は、栄養素判定部３４に外部から栄養素画像の領域ごとの情報（例えば、食物の重量又はサイズの情報）が入力される点が、実施の形態１に係る栄養素判定装置１０と異なる。

【0060】

食物領域判断部１１は、食事画像Ｄ０を取得し、食物領域画像Ｄ１を生成する。チャンネル変換部２２は、食物領域画像Ｄ１を取得し、食物領域画像Ｄ１の画像信号をＨＳＶ信号に変換することで食物領域のＨＳＶ画像Ｄ２を生成する。

【0061】

栄養素変換部１３は、チャンネル変換部１２から食物領域のＨＳＶ画像Ｄ２を取得し、栄養素・色ＤＢ１５のデータを参照して、ＨＳＶ画像Ｄ２の画素ごとに栄養素の判定を行い、食物領域の栄養素画像Ｄ３を生成する。

【0062】

栄養素判定部３４は、栄養素変換部１３から入力された食物領域の栄養素画像Ｄ３と、栄養素画像の領域ごとの情報とを取得する。栄養素画像の領域ごとの情報は、食物の実際のサイズの情報又は食物の重量の情報を含む。栄養素判定部３４は、栄養素変換部１３から入力された食物領域の栄養素画像Ｄ３と、外部から入力された栄養素画像の領域ごとの情報とから、食事の栄養素の判定（すなわち、計算）を行い、判定結果Ｄ３４を出力する。

【0063】

《３－２》動作
図１２は、実施の形態３に係る栄養素判定装置３０の動作を示すフローチャートである。先ず、食事を撮影した食事画像Ｄ０が食物領域判断部１１に入力される。図１１のステップＳＴ１１～ＳＴ１３は、図３に示される実施の形態１の動作と同じである。

【0064】

図１２のステップＳＴ３４において、栄養素判定部３４は、栄養素変換部１３から栄養素画像Ｄ３を取得し、栄養素画像Ｄ３と、外部から入力された栄養素画像の領域ごとの情報とに基づいて、栄養素画像の領域ごとに統計処理を施して食事の栄養素の判定（すなわち、計算）を行い、判定結果Ｄ３４を出力する。判定結果Ｄ３４は、出力装置５２に提供され、ユーザに提示される。

【0065】

栄養素画像の領域ごとの情報とは、被写体である食物の実際のサイズの情報又は食物の重量の情報である。サイズと重量のいずれの場合も１画素あたりのサイズ（例えば、１ｍｍ）、又は、重量（例えば、６ｇ）が画像の領域ごとに記された情報である。食事画像Ｄ０の１画素あたりのサイズ又は重量は、食事を撮影する撮像装置５１と、被写体である食事との位置関係により異なる。栄養素画像の領域ごとの情報は、撮像装置５１と食事の位置関係による映り方の違いを吸収して、食事に含まれる栄養素の量を正しく測定するために使用される。

【0066】

食事を俯瞰する角度で撮影した場合、撮像装置５１と食事との距離は、画面の上部に近いほど離れて、小さく映る。このため、画面の上部に近いほど、１画素あたりの食物のサイズ又は重量は大きくなる。

【0067】

また、領域の区切り方は、種々考えられる。例えば、画像を縦４分割、横６分割に区切る場合、栄養素画像の領域ごとの情報には、２４領域（＝４×６）のそれぞれについて、１画素あたりの実際のサイズ又は重量のいずれか１つ以上の情報が格納されている。

【0068】

栄養素判定部３４は、栄養素変換部１３から入力された栄養素画像Ｄ３から栄養素の判定を行う際に、栄養素画像Ｄ３の領域ごとの情報を乗じて、各栄養素の実際の量を算出して判定結果Ｄ３４を生成する。

【0069】

《３－３》効果
以上に説明したように、実施の形態３によれば、食事画像Ｄ０から画素ごとの栄養素を直接判定して実際の量を算出しているので、食事画像から食材を判定した後に、食材ごとの栄養素を示すデータデータベースを用いて栄養素の判定を行う場合（すなわち、２種類の判定処理を行う場合）に比べ、少ない演算量で精度よく栄養素の判定を行うことができる。

【0070】

また、実施の形態３によれば、栄養素画像Ｄ３の領域ごとの情報を用いて、判定結果Ｄ３４に各栄養素の実際の量を含めることができる。したがって、栄養素バランスだけでなく、食事の量も管理できるという効果がある。

【0071】

上記以外に関し、実施の形態３は、実施の形態１又は２と同じである。

【0072】

《４》実施の形態４．
《４－１》構成
図１３は、実施の形態４に係る栄養素判定システム４及び栄養素判定装置４０の構成を概略的に示すブロック図である。図１３において、図１に示される構成と同一又は対応する構成には、図１に示される符号と同じ符号が付されている。栄養素判定システム４は、栄養素判定装置４０と、撮像装置５１と、出力装置５２とを有している。栄養素判定装置４０は、食物領域判断部１１と、チャンネル変換部１２と、栄養素変換部４３と、栄養素判定部４４と、前処理部４５と、食事画像検知部４６と、器検知部４７とを有している。栄養素判定装置２０は、栄養素・色ＤＢ１５を有してもよい。栄養素判定装置４０は、実施の形態４に係る栄養素判定方法を実施することができる装置（例えば、コンピュータ）である。実施の形態４に係る栄養素判定装置４０は、前処理部４５と食事画像検知部４６と器検知部４７とを有している点、及び栄養素変換部４３と栄養素判定部４４の動作の点が、実施の形態１に係る栄養素判定装置１０と異なる。

【0073】

前処理部４５は、撮像装置５１で撮影された被写体としての食事を含む画像を受け取り、この画像に食事画像を検知するための前処理を実施する。撮影された画像は、被写体が特定されていない画像であってもよい。

【0074】

食事画像検知部４６は、前処理部４５から前処理された食事画像Ｄ０か否かを検知しやすいように前処理を施し、食事画像検知部４６に入力する。食事画像検知部４６は、前処理部４５から入力された画像において食事が映っている画像か否かを検知し、食事画像Ｄ０であれば、食事画像Ｄ０を食物領域判断部１１と器検知部４７に入力する。

【0075】

食物領域判断部１１は、食事画像Ｄ０を取得し、食事画像Ｄ０を構成する複数の画素の各々について、被写体としての食物の画素であるか否かを判断することで、食物の画素から構成される食物領域の画像である食物領域画像Ｄ１を生成する。

【0076】

チャンネル変換部１２は、食物領域判断部１１で生成された食物領域画像Ｄ１の画像信号（例えば、ＲＧＢ信号又はＹＣｂＣｒ信号）をＨＳＶ信号に変換し、食物領域のＨＳＶ画像Ｄ２を出力する。食物領域のＨＳＶ画像Ｄ２は、栄養素変換部４３及び栄養素判定部４４に入力される。

【0077】

栄養素変換部４３は、チャンネル変換部１２から食物領域のＨＳＶ画像Ｄ２を取得する。また、栄養素変換部４３には、外部から食事のメニュー情報が入力される。栄養素変換部４３は、食物領域のＨＳＶ画像Ｄ２とメニュー情報とに基づいて、画素毎に栄養素の判定を行い、食物領域の栄養素画像Ｄ４３を生成する。

【0078】

一方、器検知部４７は、食事画像検知部４６から入力された食事画像Ｄ０から器（すなわち、平皿、丼鉢、などの食器）を検知し、器の種類、形状、色、サイズなどの器の特徴情報Ｄ４７を栄養素判定部４４に入力する。

【0079】

栄養素判定部４４は、チャンネル変換部１２から入力された食物領域のＨＳＶ画像Ｄ２と、栄養素変換部４３から入力された食物領域の栄養素画像Ｄ４３と、外部から入力された栄養素画像の領域ごとの情報と、器検知部４７から入力された特徴情報Ｄ４７とから、食事の栄養素の判定（すなわち、計算）を行い、判定結果Ｄ４４を出力する。

【0080】

《４－２》動作
図１４は、実施の形態４に係る栄養素判定装置の動作を示すフローチャートである。先ず、被写体が食事に限らない画像が撮像装置５１から前処理部４５に入力される。図１４のステップＳＴ４１において、前処理部４５は、入力された画像に対し、食事画像Ｄ０を検知するための前処理を実施する。被写体を撮像装置５１で撮影すると、照明又は太陽光などの光の影響により、画像の一部、又は、全体が暗くなる、又は、色被りするなどの現象が発生することがある。前処理部４５は、画像処理によって、例えば、光の影響を軽減する処理を行う。この処理方法としては、公知の方法を用いることができる。また、前処理部４５は、ピントが合わずぼやけた画像が入力された場合に、エッジを強調する処理を施す。

【0081】

図１４のステップＳＴ４２において、食事画像検知部４６は、前処理部４５で前処理された画像に被写体としての食事が有るか否かを検知する。食事を検知した場合は、処理はステップＳＴ４３に進み、食事を検知しなかった場合は、処理を終了する。

【0082】

食事画像検知部４６で食事を検知した場合（ステップＳＴ４２でＹＥＳ）、食事画像検知部４６は、前処理部４５から入力された画像を食事画像Ｄ０として出力する。出力された食事画像Ｄ０は、食物領域判断部１１と器検知部４７とに入力される。

【0083】

図１４のステップＳＴ４３において、食物領域判断部１１は、食事画像Ｄ０を取得し、食事画像Ｄ０を構成する各画素が食物の画素であるか否かを判断して、食物の画素で構成された食物領域の画像である食物領域画像Ｄ１を生成する。

【0084】

図１４のステップＳＴ４４において、チャンネル変換部１２は、食物領域画像Ｄ１の画像信号をＨＳＶ信号に変換することで、変換後の食物領域のＨＳＶ画像Ｄ２を生成する。食物領域のＨＳＶ画像Ｄ２は、栄養素変換部４３と栄養素判定部４４とに入力される。

【0085】

図１４のステップＳＴ４５において、栄養素変換部４３は、チャンネル変換部１２から食物領域のＨＳＶ画像Ｄ２を取得し、外部から食事のメニュー情報を取得する。栄養素変換部４３は、食物領域のＨＳＶ画像Ｄ２とメニュー情報とに基づいて、栄養素・色ＤＢ１５のデータを参照して、画素毎に栄養素の判定を行い、栄養素番号の列から構成される食物領域の栄養素画像Ｄ４３を生成する。

【0086】

図１４のステップＳＴ４６において、器検知部４７は、前処理部４５から入力された食事画像Ｄ０から、食事の器を検知して器の特徴情報Ｄ４７を栄養素判定部４４に入力する。器の特徴情報Ｄ４７は、例えば、器の形状、器の色、器のサイズなどを含む。図１５は、栄養素判定装置４０が有する器及び料理のデータベース４７ａの例を示す図である。なお、器及び料理のデータベース４７ａは、栄養素判定装置４０と通信可能な外部の装置の記憶装置に格納されてもよい。また、図１５に示されるように、器及び料理のデータベース４７ａには、器の種類、器の形状、器に盛り付けられる料理を示すデータベース４７ａを有しており、栄養素の判定を行う際に器の特徴から料理を推定して栄養素の判定を行ってもよい。

【0087】

図１４のステップＳＴ４７において、栄養素判定部４４は、栄養素画像Ｄ４３の画素ごとの栄養素と、栄養素画像Ｄ４３のサイズ又は重量の情報と、器の特徴情報Ｄ４７とから、食事の栄養素の判定（すなわち、計算）を行って、判定結果Ｄ４４を出力する。

【0088】

《４－３》効果
以上に説明したように、実施の形態４によれば、メニュー又は器の情報を用いることができ、栄養素の判定をより正確にできるという効果がある。

【0089】

上記以外に関し、実施の形態４は、実施の形態１から３のいずれかと同じである。

【符号の説明】

【0090】

１～４ 栄養素判定システム、 １０、２０、３０、４０ 栄養素判定装置、 １１ 食物領域判断部、 １２、２２ チャンネル変換部、 １３、４３ 栄養素変換部、 １４、３４、４４ 栄養素判定部、 １５ 栄養素・色ＤＢ、 ４５ 前処理部、 ４６ 食事画像検知部、 ４７ 器検知部、 ５１ 撮像装置、 ５２ 出力装置、 Ｄ０ 食事画像、 Ｄ１ 食物領域画像、 Ｄ２、Ｄ２２ ＨＳＶ画像、 Ｄ３、Ｄ２３、Ｄ４３ 栄養素画像、 Ｄ４、Ｄ３４、Ｄ４４ 判定結果、 Ｄ４７ 特徴情報。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】