特表 2024-519405 人工知能基盤の食事モニタリング方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-05-10

(54)【発明の名称】人工知能基盤の食事モニタリング方法及び装置

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20240501BHJP

【ＦＩ】

G06Q50/10

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024515021

(86)(22)【出願日】2023-03-27

(85)【翻訳文提出日】2023-11-15

(86)【国際出願番号】 KR2023004000

(87)【国際公開番号】W WO2023182873

(87)【国際公開日】2023-09-28

(31)【優先権主張番号】10-2022-0037529

(32)【優先日】2022-03-25

(33)【優先権主張国・地域又は機関】KR

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＺＩＧＢＥＥ

(71)【出願人】

【識別番号】523432896

【氏名又は名称】ヌビ・ラブズ・カンパニー・リミテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】ジェイ・ユン・ル

(72)【発明者】

【氏名】デ・フン・キム

(72)【発明者】

【氏名】ピメンタ・メデイロス・ルカ

(57)【要約】

本発明は、食事モニタリング方法及び装置に関するものである。本発明の一実施形態に係る食事モニタリング方法は、予め格納された献立表を分析して飲食情報を生成するステップと、少なくとも１つの撮影装置に基づいて、トレーを含むイメージを取得するステップと、前記生成された飲食情報に基づいて、前記撮影されたイメージ内に含まれた少なくとも１つの飲食を分類するステップと、前記分類された少なくとも１つの飲食に基づいて食事情報を生成及び格納するステップとを含み、前記飲食情報を生成するステップは、前記予め格納された献立表から飲食リストを抽出するステップと、予め格納された分類テーブルに基づいて、前記抽出された飲食リストを細分化するステップと、前記細分化された飲食リストを飲食情報として生成するステップとを含むことができる。

【特許請求の範囲】

【請求項1】

人工知能基盤の献立モニタリング装置において、
通信モジュールと、
少なくとも１つの撮影装置に基づいて、トレーを含むイメージを取得する撮影モジュールと、
献立をモニタリングするために必要な各種情報またはデータ、及び少なくとも１つのプロセスを格納する格納モジュールと、
前記少なくとも１つのプロセスに基づいて、前記献立をモニタリングするための動作を行う制御モジュールと、
を含み、
前記制御モジュールは、
予め格納された献立表を分析して飲食情報を生成し、少なくとも１つの撮影装置に基づいて、トレーを含むイメージを取得すれば、前記生成された飲食情報に基づいて、前記撮影されたイメージ内に含まれた少なくとも１つの飲食を分類し、前記分類された少なくとも１つの飲食に基づいて食事情報を生成及び格納し、
前記飲食情報を生成する際に、
前記予め格納された献立表から飲食リストを抽出し、予め格納された分類テーブルに基づいて、前記抽出された飲食リストを細分化した後、前記細分化された飲食リストを飲食情報として生成することを特徴とする食事モニタリング装置。

【請求項2】

前記予め格納された分類テーブルは、
複数の飲食の各々に対してミックスクラス及びサブクラスのうち、少なくとも１つに関係が定義されたテーブルであり、
前記ミックスクラスは、少なくとも２個の飲食が組み合わせられて作られることができる飲食を分類するためのクラスであり、
前記サブクラスは、１つの飲食を介して補助的に追加されることができる飲食を分類するためのクラスであることを特徴とする請求項１に記載の食事モニタリング装置。

【請求項3】

前記制御モジュールは、前記少なくとも１つの飲食を分類する際に、
前記細分化された飲食リストに基づいて、前記撮影されたイメージ内に含まれた少なくとも１つの飲食を分類し、前記撮影されたイメージ内に含まれた少なくとも１つの飲食に対するラベリングを行うことを特徴とする請求項２に記載の食事モニタリング装置。

【請求項4】

前記制御モジュールは、前記飲食情報を生成する際に、
連関度に基づいて、前記抽出された飲食リスト及び前記細分化された飲食リスト間連結関係を定義することを特徴とする請求項１に記載の食事モニタリング装置。

【請求項5】

前記連関度は、
前記細分化された飲食リストに含まれる飲食のうち、前記抽出された飲食リストに含まれた特定飲食を構成する少なくとも１つの飲食を確認し、前記特定飲食で前記確認された少なくとも１つの飲食が占める割合によって決定されることを特徴とする請求項４に記載の食事モニタリング装置。

【請求項6】

前記予め学習された分類テーブルは、人工知能基盤のマシンラーニングモデルに少なくとも１つのイメージを学習データとして入力して複数の飲食の各々に対するクラスを学習することにより生成されたものであって、前記複数の飲食の各々を識別するための少なくとも１つのクラスを含み、
前記制御モジュールは、前記ラベリングされたイメージを前記学習データとして利用して前記マシンラーニングモデルをさらに学習することにより前記予め学習された分類テーブルを更新することを特徴とする請求項３に記載の食事モニタリング装置。

【請求項7】

前記少なくとも１つのクラスは、同じカテゴリーの飲食を含むグループを少なくとも１つ含むことができ、
前記少なくとも１つのグループは、前記再学習を介してより細分化されたものであることを特徴とする請求項６に記載の食事モニタリング装置。

【請求項8】

前記制御モジュールは、
前記予め格納された献立表から飲食リストを抽出する際に、ビッグデータ及び単語埋め込みのうち、少なくとも１つに基づいて一般メニュー名称に変換し、
前記一般メニュー名称は、前記予め格納された分類テーブルに含まれた基本クラスの名称または前記基本クラスに対応するメニュー名称であることを特徴とする請求項１に記載の食事モニタリング装置。

【請求項9】

装置により行われる、人工知能基盤の食事モニタリング方法において、
予め格納された献立表を分析して飲食情報を生成するステップと、
少なくとも１つの撮影装置に基づいて、トレーを含むイメージを取得するステップと、
前記生成された飲食情報に基づいて、前記撮影されたイメージ内に含まれた少なくとも１つの飲食を分類するステップと、
前記分類された少なくとも１つの飲食に基づいて食事情報を生成及び格納するステップと、
を含み、
前記飲食情報を生成するステップは、
前記予め格納された献立表から飲食リストを抽出するステップと、
予め格納された分類テーブルに基づいて、前記抽出された飲食リストを細分化するステップと、
前記細分化された飲食リストを飲食情報として生成するステップと、
を含むことを特徴とする食事モニタリング方法。

【請求項10】

前記予め格納された分類テーブルは、複数の飲食の各々に対して予め学習されたクラスのリストであって、
前記予め学習されたクラスの各々は、ミックスクラス及びサブクラスのうち、いずれか１つに定義されることができ、
前記ミックスクラスは、少なくとも１つの他の飲食がさらに組み合わせられて作られることができる飲食を分類するためのクラスであり、
前記サブクラスは、少なくとも２個の飲食に分離されて作られることができる飲食を分類するためのクラスであることを特徴とする請求項９に記載の食事モニタリング方法。

【請求項11】

前記少なくとも１つの飲食を分類するステップは、
前記細分化された飲食リストに基づいて、前記撮影されたイメージ内に含まれた少なくとも１つの飲食を分類し、前記撮影されたイメージ内に含まれた少なくとも１つの飲食に対するラベリングを行うことを特徴とする請求項１０に記載の食事モニタリング方法。

【請求項12】

前記飲食情報を生成するステップは、
連関度に基づいて、前記抽出された飲食リスト及び前記細分化された飲食リスト間連結関係を定義するステップをさらに含み、
前記連関度は、
前記細分化された飲食リストに含まれる飲食のうち、前記抽出された飲食リストに含まれた特定飲食を構成する少なくとも１つの飲食を確認し、前記特定飲食で前記確認された少なくとも１つの飲食が占める割合によって決定されることを特徴とする請求項９に記載の食事モニタリング方法。

【請求項13】

前記予め格納された分類テーブルは、
人工知能基盤のマシンラーニングモデルに少なくとも１つのイメージを学習データとして入力して複数の飲食の各々に対するクラスを学習することにより生成されたものであって、前記複数の飲食の各々を識別するための少なくとも１つのクラスを含み、
前記ラベリングされたイメージを前記学習データとして利用して前記マシンラーニングモデルを再学習することにより更新され、
前記少なくとも１つのクラスは、
同じカテゴリーの飲食を含むグループを少なくとも１つ含むことができ、
前記少なくとも１つのグループは、前記再学習を介してより細分化されたものであることを特徴とする請求項１１に記載の食事モニタリング方法。

【請求項14】

前記予め格納された献立表から飲食リストを抽出するステップは、
ビッグデータ及び単語埋め込みのうち、少なくとも１つに基づいて一般メニュー名称に変換するステップをさらに含み、
前記一般メニュー名称は、前記予め格納された分類テーブルに含まれた基本クラスの名称または前記基本クラスに対応するメニュー名称であることを特徴とする請求項９に記載の食事モニタリング方法。

【請求項15】

コンピュータと結合されて、請求項９～１４のいずれか１項の食事モニタリング方法を行うようにコンピュータを機能させるためのコンピュータプログラムが記録された不揮発性コンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人工知能基盤の食事モニタリング方法及び装置に関し、より詳細には、献立表に含まれた飲食を細分化して、より正確な食事情報を記録できるようにする人工知能基盤の食事モニタリング方法及び装置に関する。

【背景技術】

【0002】

近年、健康についての関心が高まっているが、それに対し、過体重や肥満のため、苦しめられる人々も次第に増加している。このような過体重や肥満は、糖尿、高血圧など、各種疾患の原因になる深刻な問題である。

【0003】

したがって、このような過体重や肥満を解決するためには、自分の食習慣を分析することが先行されなければならない。一般に、本人の好き嫌い飲食に対して知っているが、実際に摂取する飲食の種類と回数を記憶してはいない。したがって、自分の食習慣を分析するために、実際に摂取する飲食を把握し、把握した飲食に関する情報に応じて個人の食習慣を分析する必要がある。

【0004】

ただし、実際に摂取する飲食を把握するために、ユーザがモバイル装置を利用して飲食情報を入力しなければならないが、このような行為によってユーザの不便が加重されることで、個人の食習慣を分析するサービスに対する満足度が低下している実情である。

【0005】

そのため、自動または手動で撮影されたイメージに基づいて、飲食を自動認識して飲食情報を自動生成し、食事情報として記録する技術が開発される傾向ではあるが、イメージだけで飲食を自動認識するには困難がある。

【0006】

したがって、自動または手動で撮影されたイメージに基づいて、ユーザが実際摂取した飲食をより正確に認識または分類し、信頼性の高い食事情報を記録できるようにする技術が開発される必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明は、上記したような問題点を解決するために提案されたものであって、自動または手動で撮影されたイメージに基づいて、ユーザが実際摂取した飲食をより正確に認識または分類し、信頼性の高い食事情報を記録できるようにする食事モニタリング装置及び方法を提供することに目的がある。

【0008】

また、本発明は、献立表にはないが、その献立表に記載された飲食リストに基づいて、ユーザが摂取可能な飲食まで細分化し、献立表に記載されていない飲食まで含めることにより、自動または手動で撮影されたイメージを分析する際に、不要な検索を防止できるようにする食事モニタリング装置及び方法を提供することに目的がある。

【0009】

本発明が解決しようとする課題は、以上で言及された課題に制限されず、言及されていないさらに他の課題は、下記の記載から通常の技術者に明確に理解され得るであろう。

【課題を解決するための手段】

【0010】

上述した課題を解決するための本発明の一実施形態に係る食事モニタリング方法は、予め格納された献立表を分析して飲食情報を生成するステップと、少なくとも１つの撮影装置に基づいて、トレーを含むイメージを取得するステップと、前記生成された飲食情報に基づいて、前記撮影されたイメージ内に含まれた少なくとも１つの飲食を分類するステップと、前記分類された少なくとも１つの飲食に基づいて食事情報を生成及び格納するステップとを含み、前記飲食情報を生成するステップは、前記予め格納された献立表から飲食リストを抽出するステップと、予め格納された分類テーブルに基づいて、前記抽出された飲食リストを細分化するステップと、前記細分化された飲食リストを飲食情報として生成するステップとを含むことができる。

【0011】

一方、本発明の一実施形態に係る食事モニタリング装置は、通信モジュールと、少なくとも１つの撮影装置に基づいて、トレーを含むイメージを取得する撮影モジュールと、献立をモニタリングするために必要な各種情報またはデータ、及び少なくとも１つのプロセスを格納する格納モジュールと、前記少なくとも１つのプロセスに基づいて、前記献立をモニタリングするための動作を行う制御モジュールとを含み、前記制御モジュールは、予め格納された献立表を分析して飲食情報を生成し、少なくとも１つの撮影装置に基づいて、トレーを含むイメージを取得すれば、前記生成された飲食情報に基づいて、前記撮影されたイメージ内に含まれた少なくとも１つの飲食を分類し、前記分類された少なくとも１つの飲食に基づいて食事情報を生成及び格納し、前記飲食情報を生成する際に、前記予め格納された献立表から飲食リストを抽出し、予め格納された分類テーブルに基づいて、前記抽出された飲食リストを細分化した後、前記細分化された飲食リストを飲食情報として生成することができる。

【0012】

本発明のその他の具体的な事項等は、詳細な説明及び図面に含まれている。

【発明の効果】

【0013】

本発明によれば、自動または手動で撮影されたイメージに基づいて、ユーザが実際摂取した飲食をより正確に認識または分類し、信頼性の高い食事情報を記録できるようにする。

【0014】

また、本発明は、献立表にはないが、その献立表に記載された飲食リストに基づいて、ユーザが摂取可能な飲食まで細分化し、献立表に記載されていない飲食まで含めることにより、自動または手動で撮影されたイメージを分析する際に不要な検索を防止できるようにする。

【0015】

本発明の効果は、以上で言及された効果に制限されず、言及されていないさらに他の効果は、下記の記載から通常の技術者に明確に理解され得るであろう。

【図面の簡単な説明】

【0016】

【図1】撮影装置を利用してトレーを撮影した一例示を示す図である。

【図2】本発明の実施形態に係る食事モニタリングシステムのネットワーク構造を示す図である。

【図3】本発明の実施形態に係る食事モニタリング装置の構成を示すブロック図である。

【図4】本発明の実施形態に係る食事モニタリング方法を示す順序図である。

【図5】本発明の実施形態に係る食事モニタリング方法において飲食情報を生成する具体的な動作を示す図である。

【図6】本発明の一実施形態に係る予め格納された分類テーブルに含まれることができるミックスクラス及びサブクラスの一例を示す図である。

【図7】本発明の一実施形態によって予め格納された献立表及び細分化された飲食リストに含まれた飲食間の連関関係を示すための図である。

【発明を実施するための形態】

【0017】

本発明の利点及び特徴、そして、それらを達成する方法は、添付される図面とともに詳細に後述されている実施形態を参照すれば明確になるであろう。しかし、本発明は、以下において開示される実施形態等に制限されるものではなく、互いに異なる様々な形態で実現されることができ、ただし、本実施形態等は、本発明の開示が完全なようにし、本発明の属する技術分野における通常の技術者に本発明の範疇を完全に知らせるために提供されるものであり、本発明は、請求項の範疇により定義されるだけである。

【0018】

本明細書において使用された用語は、実施形態を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数型は、文句で特に言及しない限り、複数型も含む。明細書において使用される「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含む（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素の他に、１つ以上の他の構成要素の存在または追加を排除しない。明細書全体にわたって同じ図面符号は、同じ構成要素を称し、「及び／又は」は、言及された構成要素等の各々及び１つ以上の全ての組み合わせを含む。例え、「第１」、「第２」などが様々な構成要素を述べるために使用されるが、これらの構成要素等は、これらの用語により制限されないことはもちろんである。これらの用語等は、単に１つの構成要素を他の構成要素と区別するために使用するものである。したがって、以下において言及される第１構成要素は、本発明の技術的思想内で第２構成要素であることもできることはもちろんである。

【0019】

他の定義がなければ、本明細書において使用される全ての用語（技術及び科学的用語を含む）は、本発明の属する技術分野における通常の技術者に共通的に理解され得る意味として使用されることができるであろう。また、一般的に使用される辞書に定義されている用語等は、明白に特に定義されていない限り、理想的にまたは過度に解釈されない。

【0020】

空間的に相対的な用語である「下（ｂｅｌｏｗ）」、「下方（ｂｅｎｅａｔｈ）」、「下部（ｌｏｗｅｒ）」、「上（ａｂｏｖｅ）」、「上部（ｕｐｐｅｒ）」などは、図面に示されているように、１つの構成要素と他の構成要素との相関関係を容易に記述するために使用されることができる。空間的に相対的な用語は、図面に示されている方向に加えて、使用時または動作時、構成要素等の互いに異なる方向を含む用語として理解されなければならない。例えば、図面に示されている構成要素をひっくり返す場合、他の構成要素の「下（ｂｅｌｏｗ）」または「下方（ｂｅｎｅａｔｈ）」と記述された構成要素は、他の構成要素の「上（ａｂｏｖｅ）」に置かれることができる。したがって、例示的な用語である「下」は、下と上の方向を共に含むことができる。構成要素は、他の方向にも配向されることができ、これにより、空間的に相対的な用語等は、配向によって解釈されることができる。

【0021】

明細書において使用される「部」または「モジュール」という用語は、ソフトウェア、ＦＰＧＡ、またはＡＳＩＣのようなハードウェア構成要素を意味し、「部」または「モジュール」は、何らかの役割を行う。しかし、「部」または「モジュール」は、ソフトウェアまたはハードウェアに限定される意味ではない。「部」または「モジュール」は、アドレッシングできる格納媒体にあるように構成されることができ、１つまたはそれ以上のプロセッサを再生させるように構成されることもできる。したがって、一例として、「部」または「モジュール」は、ソフトウェア構成要素等、オブジェクト指向ソフトウェア構成要素等、クラス構成要素等、及びタスク構成要素等のような構成要素等と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバー、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、及び変数を含む。構成要素等と「部」または「モジュール」の中で提供される機能は、より小さい数の構成要素等及び「部」または「モジュール」などに結合されるか、追加的な構成要素等と「部」または「モジュール」などにさらに分離されることができる。

【0022】

他の定義がなければ、本明細書において使用される全ての用語（技術及び科学的用語を含む）は、本発明の属する技術分野における通常の技術者に共通的に理解され得る意味として使用されることができるであろう。また、一般的に使用される辞書に定義されている用語等は、明白に特に定義されていない限り、理想的にまたは過度に解釈されない。

【0023】

以下、添付された図面を参照して本発明の実施形態を詳細に説明する。

【0024】

図１は、撮影装置を利用してトレーを撮影した一例示を示す図である。

【0025】

ユーザの食事をモニタリングするためには、給食所、食堂、または家庭内でユーザが食事しようとする飲食が入ったトレー（食器）を自動または手動で撮影するようになる。

【0026】

ユーザが写真を撮影し、飲食情報を直接入力する場合には問題にならないであろうが、その撮影されたイメージだけでユーザが摂取した飲食を確認し、飲食情報を生成する場合には、情報が不足しており、認識されないか、分類が難しい飲食は、誤って分類される恐れがある。

【0027】

給食所の場合には、予め献立表が提供されるので、その献立表を予め格納して分析に利用させることによりユーザの食事をモニタリングすることもできるが、そうだとしても、ユーザの配食形態または摂取形態によって分析内容が変わり得るので、正確な分析は難しいことがある。

【0028】

図１（ａ）に示されたように、実際、献立表にはイイダコ炒めが記載されているが、ユーザが、配食の際にご飯の上にイイダコ炒めを載せてイイダコ丼として提供された場合、ユーザが実際摂取した飲食は、イイダコ丼であるが、献立表だけに基づいたら、イイダコ炒めを摂取したことと記録されることができる。

【0029】

また、図１（ｂ）に示されたように、実際、献立表にはトンカツが記載されているが、ユーザは、トンカツとともにトンカツソースをさらに提供されることができるが、この場合、トンカツだけを摂取したことと記録され、トンカツソースに対しては飲食情報として反映されず、実際摂取熱量や摂取営養素間に差がありうる。

【0030】

したがって、このような状況を全て考慮できるようにするために、予め格納された献立表に基づくものの、人工知能基盤のマシンラーニングモデルを利用し、その献立表に記載された飲食リストからユーザが摂取可能な飲食まで細分化し、その細分化された飲食リストを利用して撮影されたイメージに含まれた飲食を確認させる。

【0031】

このとき、撮影されたイメージは、食器を含むイメージであって、少なくとも１人のユーザが食事する食事空間（例えば、給食所、食堂）内に設けられた少なくとも１つの撮影装置を介して撮影されたイメージであることができ、ユーザが自分の端末であるユーザ端末３００を利用して直接撮影したイメージであることもできる。ただし、以下では、説明の都合上、少なくとも１人のユーザが食事する食事空間内に設けられた少なくとも１つの撮影装置を介して撮影されたイメージを利用した場合に限定して説明する。

【0032】

図２は、本発明の実施形態に係る食事モニタリングシステムのネットワーク構造を示す図である。

【0033】

図２に示すように、食事モニタリングシステム１０は、食事モニタリング装置１００、サービスサーバ２００、及びユーザ端末３００を備えて構成されることができる。

【0034】

食事モニタリング装置１００は、献立表が入力されれば、人工知能基盤のマシンラーニングモデルを利用して、予め格納された献立表に記載された飲食リストを細分化することにより飲食情報を生成する。すなわち、飲食情報には、細分化された飲食リストが含まれ得る。

【0035】

ここで、献立表には、少なくとも１つの飲食リストが含まれ得るし、その献立表内で日付情報及び時間情報に基づいて適したいずれか１つの飲食リストを選択して利用させることができる。

【0036】

その後、食事モニタリング装置１００は、その献立表に基づいて運営され、少なくとも１人のユーザが食事する食事空間内に設けられた少なくとも１つの撮影装置を介して各ユーザが持っているか、ユーザの前に置かれているトレー（食器）を含むイメージを取得し、その取得されたイメージと細分化された飲食リストを利用してユーザの食事情報を生成及び格納する。

【0037】

このとき、食事情報は、取得されたイメージはもちろん、ユーザの食事場所、摂取飲食、摂取量、残飯量、食事時間などに関する情報が含まれ得る。

【0038】

食事モニタリング装置１００は、食事モニタリングサービスを提供するために、食事情報をサービスサーバ２００に送信して分析させる。

【0039】

サービスサーバ２００は、食事モニタリング装置１００から食事情報が受信されれば、その食事情報を分析し、その分析結果として分析情報をプラットホーム上にアップロードし、ユーザがこれを確認できるようにすることができる。

【0040】

このとき、分析情報は、ユーザが摂取した飲食リスト、摂取量、摂取熱量、摂取営養素、飲食選好度、補完が必要な営養素、及び推薦栄養剤などに関する情報を含むことができるが、必要に応じて一部情報を除外するか、その他、他の情報をさらに追加することもできるものであって、これを限定してはいない。

【0041】

ユーザ端末３００は、食事モニタリングサービスを利用するためのユーザ自分の端末である。このとき、ユーザ端末３００は、ユーザの望む複数の応用プログラム（すなわち、アプリケーション）を設けて実行できるコンピュータ、ＵＭＰＣ（Ｕｌｔｒａ Ｍｏｂｉｌｅ ＰＣ）、ワークステーション、ネットブック（ｎｅｔ－ｂｏｏｋ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ポータブル（ｐｏｒｔａｂｌｅ）コンピュータ、ウェブタブレット（ｗｅｂ ｔａｂｌｅｔ）、無線電話機（ｗｉｒｅｌｅｓｓ ｐｈｏｎｅ）、モバイルホン（ｍｏｂｉｌｅ ｐｈｏｎｅ）、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、パッド（Ｐａｄ）、スマートウォッチ（Ｓｍａｒｔ ｗａｔｃｈ）、ウェアラブル（ｗｅａｒａｂｌｅ）端末、ｅ－ブック（ｅ－ｂｏｏｋ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、携帯用ゲーム機、ナビゲーション（ｎａｖｉｇａｔｉｏｎ）装置、ブラックボックス（ｂｌａｃｋ ｂｏｘ）、またはデジタルカメラ（ｄｉｇｉｔａｌ ｃａｍｅｒａ）、その他、移動通信端末などであることができる。これにより、ユーザ端末３００は、食事モニタリングサービスを提供されるために、別のプログラムまたはアプリケーションを設置しなければならないことがある。すなわち、ユーザは、ユーザ端末３００によって別のプログラムまたはアプリケーションを介してプラットホーム上に自分に関する各種情報を入力できるだけでなく、自分に関する分析情報を提供されることにより、食事モニタリングサービスを利用することができる。しかし、これは、１つの実施形態であり、ウェブページに接続することにより食事モニタリングサービスを利用することもできる。

【0042】

一方、図３は、１つの実施形態に該当するものであって、食事モニタリング装置１００自体がサービスサーバ２００であることができ、この場合、食事モニタリング装置１００が前述したサービスサーバ２００の動作を行うことができる。ただし、この場合には、少なくとも１人のユーザが食事をする食事空間内に設けられた別の撮影装置を介して撮影を行うようにし、その撮影されたイメージを撮影直後または予め設定された周期毎に提供されて利用させることができる。また、ユーザがユーザ端末３００を介して直接撮影を行う場合、その撮影されたイメージを撮影後、直接プラットホーム上にアップロードするか、撮影されれば、トレー（食器）が含まれたイメージは自動でプラットホーム上にアップロードされるようにすることで、その撮影されたイメージを提供されて利用させることができる。

【0043】

図３は、本発明の実施形態に係る食事モニタリング装置の構成を示すブロック図である。

【0044】

図３に示すように、本発明の実施形態に係る食事モニタリング装置１００は、通信モジュール１１０、撮影モジュール１３０、格納モジュール１５０、及び制御モジュール１７０を含むことができる。

【0045】

通信モジュール１１０は、ユーザの端末と通信を行うためのものであって、無線インターネット技術による通信網で無線信号を送受信させる。

【0046】

無線インターネット技術では、例えば、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ ＬＡＮ）、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ－Ｆｉｄｅｌｉｔｙ）、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ） Ｄｉｒｅｃｔ、ＤＬＮＡ（登録商標）（Ｄｉｇｉｔａｌ Ｌｉｖｉｎｇ Ｎｅｔｗｏｒｋ Ａｌｌｉａｎｃｅ）、ＷｉＢｒｏ（Ｗｉｒｅｌｅｓｓ Ｂｒｏａｄｂａｎｄ）、ＷｉＭＡＸ（Ｗｏｒｌｄ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＨＳＵＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｕｐｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ－Ａ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ－Ａｄｖａｎｃｅｄ）などがあり、食事モニタリング装置１００は、前に羅列されていないインターネット技術まで含む範囲で少なくとも１つの無線インターネット技術によってデータを送受信するようになる。

【0047】

近距離通信（Ｓｈｏｒｔ ｒａｎｇｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）のためのものとして、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ）、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）、赤外線通信（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ；ＩｒＤＡ）、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅｂａｎｄ）、ＺｉｇＢｅｅ、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、Ｗｉ－Ｆｉ（Ｗｉｒｅｌｅｓｓ－Ｆｉｄｅｌｉｔｙ）、Ｗｉ－Ｆｉ Ｄｉｒｅｃｔ、Ｗｉｒｅｌｅｓｓ ＵＳＢ（Ｗｉｒｅｌｅｓｓ Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）技術のうち、少なくとも１つを利用して近距離通信を支援できる。このような、近距離無線通信網（Ｗｉｒｅｌｅｓｓ Ａｒｅａ Ｎｅｔｗｏｒｋｓ）は、食事モニタリング装置１００とユーザ端末３００との間の無線通信を支援できる。このとき、近距離無線通信網は、近距離無線個人通信網（Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋｓ）であることができる。

【0048】

撮影モジュール１３０は、少なくとも１つの撮影装置を含み、その食事空間以内に少なくとも１つの撮影装置が設けられて、少なくとも１人のユーザが食事する間、食事前及び後のイメージを撮影できる。このとき、撮影モジュール１３０は、配食ラインまたは食事がなされるテーブルの上側前方に設けられることができ、その設置形態は限定されない。すなわち、撮影モジュール１３０は、ユーザの食器（トレー）が撮影され得る場所であればどこでも設けられて、撮影を介してイメージを取得できる。また、撮影モジュール１３０は、食事空間を管理する管理者が必要に応じて移動させながら使用させることができる。

【0049】

このとき、少なくとも１つの撮影装置は、２Ｄカメラ、３Ｄカメラ、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラ、ライトフィールドカメラ（ｌｉｇｈｔ ｆｉｅｌｄ ｃａｍｅｒａ）、ステレオカメラ、イベントカメラ、赤外線カメラ、ライダー（ｌｉｄａｒ）センサ、アレイ（ａｒｒａｙ）カメラのうち、少なくとも１つを含むことができ、画像（イメージ）情報と深さ情報とを測定できるならば、その構成に制限がない。また、複数のカメラが立体画像を実現するための左画像及び右画像を取得するようにステレオ構造で配置されることもできる。

【0050】

格納モジュール１５０は、様々な形態の格納所を通称するモジュールであって、人工知能、マシンラーニング、人工神経網を利用して演算を行うのに必要な情報を格納することができる。格納モジュール１５０は、様々なマシンラーニングモデルを格納できるが、そのマシンラーニングモデルは、作業データだけでなく、新しい入力データに対して結果値を推論し出すのに使用されることができ、推論された値は、何らかの動作を行うための判断の基準として用いられることができる。

【0051】

この格納モジュール１５０は、食事モニタリング装置１００の様々な機能を支援するデータを格納する。食事モニタリング装置１００で駆動される複数の応用プログラム（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍまたはアプリケーション（ａｐｐｌｉｃａｔｉｏｎ））、食事モニタリング装置１００の動作のためのデータ、命令語を格納することができる。このような応用プログラムのうち少なくとも一部は、無線通信を介して外部サーバーからダウンロードされることができる。一方、応用プログラムは、格納モジュール１５０に格納され、食事モニタリング装置１００上に設けられて、制御モジュール１７０によって動作（または、機能）を行うように駆動されることができる。

【0052】

制御モジュール１７０は、応用プログラムと関連した動作の他にも、通常的に食事モニタリング装置１００の全般的な動作を制御する。制御モジュール１７０は、上記で説明した構成要素を介して入力または出力される信号、データ、情報などを処理したり、格納モジュール１５０に格納された応用プログラムを駆動することにより、ユーザに適切な情報または機能を提供または処理することができる。

【0053】

具体的に、制御モジュール１７０は、人工知能基盤のマシンラーニングモデルに基づいて予め格納された献立表を分析して飲食情報を生成し、少なくとも１つの撮影装置に基づいて、トレーを含むイメージを取得すれば、先に生成された飲食情報に基づいて、前記撮影されたイメージ内に含まれた少なくとも１つの飲食を分類した後、その分類された少なくとも１つの飲食に基づいて食事情報を生成及び格納する。

【0054】

特に、制御モジュール１７０は、人工知能基盤のマシンラーニングモデルに基づいて予め格納された献立表を分析して飲食情報を生成する際に、予め格納された献立表から飲食リストを抽出し、予め格納された分類テーブルに基づいて、前記抽出された飲食リストを細分化することにより、その細分化された飲食リストを飲食情報として生成する。

【0055】

ここで、予め格納された献立表は、食堂または給食所から提供された少なくとも１つの飲食リストを含むことができ、それぞれの飲食リストには、当該日付及び当該時間帯に提供される飲食が羅列されて記載されていることができる。

【0056】

このとき、予め格納された献立表に含まれたメニュー名前には様々な修飾語が適用（使用）され得るので、予め格納された献立表から飲食リストを抽出する際に、ビッグデータ及び／又は単語埋め込み（ｗｏｒｄ２ｖｅｃ）に基づいて一般的なメニュー名称に変換する動作をさらに行うことができる。ここで、一般的なメニュー名称は、予め格納された分類テーブルに含まれた基本クラスの名称であるか、その基本クラスに対応するメニュー名称であることができる（基本クラスの名称と、その基本クラスに対応するメニューの名称は、相違することができるため）。

【0057】

また、予め格納された分類テーブルは、マシンラーニングモデルに予め設定された個数のイメージを学習データとして入力し、複数の飲食の各々に対するクラスを学習することにより生成されたテーブルであり、複数の飲食の各々を識別するための少なくとも１つのクラスを含む。さらに、予め格納された分類テーブルは、複数の飲食の各々に対してミックスクラス及びサブクラスのうち、少なくとも１つに関係が定義され得る。

【0058】

このとき、ミックスクラスは、少なくとも１つの他の飲食がさらに組み合わせられて作られることができる飲食を分類するためのクラスであり、サブクラスは、少なくとも２個の飲食に分離されて作られることができる飲食を分類するためのクラスであることができる。このミックスクラス及びサブクラスについては、以下において図６を参照し、一例示を介して具体的に説明する。

【0059】

言い換えれば、制御モジュール１７０は、予め格納された分類テーブルを利用して、予め格納された献立表から確認された飲食リストに含まれた飲食のミックスクラスまたはサブクラス可否によって飲食リストを細分化する。すなわち、飲食リストに含まれた飲食のうち、ミックスクラスに該当する飲食、すなわち、１つの飲食を複数個の飲食に分離して記載し、サブクラスに該当する飲食に対しては、対応する飲食を追加して記載する。これにより、細分化された飲食リストを取得するようになる。このとき、制御モジュール１７０は、抽出された飲食リスト及び細分化された飲食リストに含まれた飲食間の連関関係をさらに定義することができる。

【0060】

一方、制御モジュール１７０は、飲食情報に含まれた細分化された飲食リストに基づいて取得されたイメージ内に含まれた少なくとも１つの飲食を分類する際に、それぞれの飲食に対するラベリングを行う。具体的に、予め格納された分類テーブルに基づいて、各飲食に対するクラスを確認し、そのクラスを取得されたイメージ上にタギングさせることができる。

【0061】

その後、制御モジュール１７０は、ラベリングされたイメージを新しい学習データとして格納し、新しい学習データが予め設定された個数に到達すれば、マシンラーニングモデルにその格納された新しい学習データを入力し、複数の飲食の各々に対するクラスを再学習することにより予め格納された分類テーブルを更新できる。すなわち、十分なラベリングイメージが収集されることにより、既存の予め格納された分類テーブルに含まれているクラスもさらに小さい概念のクラスに細分化されることができる。しかし、小さい概念のクラスは、必要に応じて同じカテゴリーの項目にまとめ、これを通称できる上位概念の１つのグループとして利用することもできる。

【0062】

例えば、予め格納された分類テーブルにワカメスープクラスが存在し、時間が経つにつれて、ラベリングされたイメージのうち、ワカメスープを含むイメージが予め設定された個数に到達すれば、その予め設定された個数のラベリングされたイメージを利用してワカメスープクラスに対する再学習を行うことである。これにより、既存のワカメスープクラスは、牛肉ワカメスープ、まぐろワカメスープ、ムール貝ワカメスープ、しじみワカメスープ、及びウニワカメスープなどにそのクラスがより細分化され得る。

【0063】

具体的に、制御モジュール１７０は、当該献立表から抽出されたメニューの各々に対して予め格納された分類テーブル内に存在するクラスをマッチング（確認）するが、当該メニューが予め格納された分類テーブル内に存在するクラスより下位概念と判断される場合、当該メニューを予め格納された分類テーブル内に存在するクラスに分類するものの、そのクラスの下位クラスとして追加することができる。ただし、その追加された下位クラスを直ちに適用して使用することではなく、その下位クラスに該当するイメージの個数が予め設定された個数に到達すれば、その格納されたイメージに基づいて学習を行った後、予め格納された分類テーブルに追加して利用させる。

【0064】

このとき、下位クラスを予め格納された分類テーブルに追加する際に、下位クラスより大きい概念のクラスに従属されるように追加する。最も大きい概念のクラスの基本クラスには、複数個の下位クラスが従属され得るし、下位クラスもさらに下位概念のクラスを含むことができ、その個数を限定しない。ここで、基本クラスは、当該メニューを一般的に呼ぶ最も大きい概念の名称であることができる。

【0065】

一方、制御モジュール１７０は、イメージを取得すれば、予め格納された献立表のうち、そのイメージに対応する献立表及び予め格納された分類テーブルに基づいて各メニューのクラスを確認するものの、当該献立表から抽出されたメニューのうち、予め格納された分類テーブル内にマッチングされるクラスが存在しないメニューが存在する場合、当該メニューの名称を基本クラスとして予め格納された分類テーブルに追加して分類テーブルをアップデートすることにより適用して利用させる。このとき、一例として、その追加されたクラスを直ちに適用して利用することができるが、他の例として、先に類似したメニューのクラスを確認し、その確認されたクラスとして分類をし、今後追加されたクラスに該当するイメージが予め設定された個数に到達すれば、そのとき、その格納されたイメージに基づいて学習を行った後、そのアップデートされた分類テーブルを適用して利用することもできる。

【0066】

このように、少なくとも１つのクラスが細分化されれば、累積格納されたラベリングされたイメージでクラスをその細分化されたクラス基盤にリラベリング（ｒｅ－ｒａｂｅｌｉｎｇ）せずに再学習を行わせる。

【0067】

したがって、時間が経つにつれて、データ（イメージ等）が累積されることで、予め格納された分類テーブルは、より細分化されて、献立に対するより明確な分類が可能になり得る。

【0068】

図４は、本発明の実施形態に係る食事モニタリング方法を示す順序図である。

【0069】

図４に示すように、食事モニタリング装置１００は、管理者から予め格納された献立表が入力または送信されれば、その献立表を格納した後、その予め格納された献立表を分析して飲食情報を生成する（Ｓ２１０）。

【0070】

その後、食事モニタリング装置１００は、少なくとも１つの撮影装置を利用して、食事空間及び食事空間内で食事をする少なくとも１人のユーザの食器（トレー）を各々撮影することにより、トレーを含むイメージを取得し（Ｓ２２０）、Ｓ２１０ステップで生成された飲食情報に基づいてＳ２２０ステップで取得されたイメージ内の少なくとも１つの飲食を分類する（Ｓ２３０）。Ｓ２２０ステップにおいて、撮影は、少なくとも１人のユーザの配食の際、食事前及び後等に少なくとも１回以上なされることができ、これは、管理者により設定または変更されることができ、分析しようとする情報に応じて撮影時点または回数を設定することにより、不要な撮影を防止できる。

【0071】

その後、分類された少なくとも１つの飲食に基づいて少なくとも１人のユーザに対する食事情報を生成及び格納する（Ｓ２４０）。

【0072】

一方、図４には図示していないが、食事モニタリング装置１００が少なくても１人のユーザに対する食事情報を各々分析し、各ユーザに対する分析情報をプラットホーム上にアップロードすることができ、別のサービスサーバ２００を備える場合、食事モニタリング装置１００がそのサービスサーバ２００に食事情報を送信することで、サービスサーバ２００が各ユーザに対する食事情報を分析した分析情報をプラットホーム上にアップロードさせることができる。

【0073】

図５は、本発明の実施形態に係る食事モニタリング方法において飲食情報を生成する具体的な動作を示す図であって、図４のＳ２１０ステップをより具体化して図示したものである。

【0074】

図５に示すように、食事モニタリング装置１００は、飲食情報を生成する際に、予め格納された献立表から飲食リストを抽出（確認）し（Ｓ２１１）、予め格納された分類テーブルに基づいてＳ２１１ステップで抽出された飲食リストを細分化する。

【0075】

具体的に、抽出された飲食リストを細分化する際に、予め格納された分類テーブルを介して抽出された飲食リストの各飲食がミックスクラスであるか、サブクラスであるかの可否を確認し、その確認結果、ミックスクラスに該当する飲食の場合には、その飲食に他の飲食がさらに組み合わせられて作られ得る飲食を抽出された飲食リストに追加し、サブクラスに該当する飲食の場合には、その飲食を少なくとも２個の飲食に分離して、抽出された飲食リストに追加する。

【0076】

しかし、予め格納された献立表から飲食リストを抽出する際に、単純にメニューの名前だけを使用する場合よりは、当該メニューに様々な修飾語を共に使用する場合が多いため、正確な抽出が困難なことがある。

【0077】

このために、一例として、単語埋め込み（ｗｏｒｄ２ｖｅｃ）モデルを適用できる。単語埋め込みは、単語（キーワード）間類似性を考慮するために単語の意味をベクトル化させる推論基盤技法であって、テキストを定量化して新しい視覚で知識を発掘させる。この技法によって単語の意味を最大限含むベクトルを生成し、単語対の類似度や連関度を検査して解釈する。

【0078】

図６は、本発明の一実施形態に係る予め格納された分類テーブルに含まれることができるミックスクラス及びサブクラスの一例を示す図である。

【0079】

まず、予め設定された分類テーブルは、複数の飲食の各々を識別するためのクラスで構成されるが、このとき、各クラスのうち、少なくとも１つの他の飲食がさらに組み合わせられて、他の飲食を作ることができる飲食のクラスは、ミックスクラスにもう一度分類し、各クラスのうち、少なくとも２個の飲食に分離されることができる飲食のクラスは、サブクラスにもう一度分類する。

【0080】

例えば、複数の飲食として、豚肉炒め、タコ炒め、麻婆豆腐、ご飯、スパゲティ、ミートボールスパゲティ、ビビンバが存在する場合、図６に示されたように、豚肉炒め、タコ炒め、麻婆豆腐、ご飯は、ミックスクラスに分類され、スパゲティ、ミートボールスパゲティ、ビビンバは、サブクラスに分類されることができる。

【0081】

すなわち、ユーザまたは配食者の配食形態によって、豚肉炒め、タコ炒め、麻婆豆腐は、ユーザにそのまま提供されるか、ご飯の上に注いで豚肉炒め丼の形態で提供されることができるので、ミックスクラス（ａ）に分類されることであり、スパゲティ、ミートボールスパゲティ、ビビンバは、各材料が各々提供され得るので、サブクラス（ｂ）に分類されることである。

【0082】

図７は、本発明の一実施形態によって、予め格納された献立表から抽出された飲食リスト及び細分化された飲食リストに含まれた飲食等間の連関関係を示すための図である。

【0083】

図７に示すように、予め格納された献立表から抽出された飲食リスト（ａ）がスパゲティ、ミートボールスパゲティ、豚肉炒め、ご飯、麻婆豆腐を含む場合、サブクラスに分類されるスパゲティとミートボールスパゲティは、スパゲティ、ミートボールスパゲティ、スパゲティ麺、スパゲティソース、ミートボールスパゲティソースに細分化され、ミックスクラスに分類される豚肉炒め、ご飯、麻婆豆腐は、豚肉炒め、ご飯、豚肉炒め丼、麻婆豆腐、麻婆豆腐丼に細分化される。

【0084】

このように細分化されたそれぞれの飲食を飲食リストに反映することによって細分化された飲食リスト（ｂ）が生成され得る。

【0085】

その上、抽出された飲食リスト及び細分化された飲食リスト間連結関係がさらに定義され得る。ここで、連関する細分化された飲食リストに含まれる飲食のうち、抽出された飲食リストに含まれた特定飲食を構成する少なくとも１つの飲食を確認し、その特定飲食で先に確認された少なくとも１つの飲食が占める割合によって決定される。

【0086】

図７に示されたように、丼物でご飯と当該丼ソースとが占める割合を７：３に設定しておいた場合であれば、豚肉炒め丼や麻婆豆腐丼でご飯が占める割合は、全て０．７に決定され、各丼のソースが占める割合は、０．３に決定されることができる。

【0087】

一方、図７には図示していないが、抽出された飲食リストには豚肉炒め丼が含まれたが、いかなるご飯が提供されるか確認されなかった場合には、その細分化された飲食リストに白米飯、黒米飯、麦飯など、クラスとして決定された全ての種類のご飯を追加して、その可能性を開いておかなければならない。

【0088】

しかし、このように細分化された飲食リストに追加された飲食の種類が増えるほど、つなぐべき関係が次第に増えるようになる。例えば、丼の種類が増加し、その丼に含まれ得るご飯の種類も増加することになると、つなぐべき関係が増えるものである。したがって、種々の種類のご飯をカテゴリーにまとめるために、ご飯種類に該当する全てのクラスを１つのグループにまとめる。すると、種々の種類のご飯を「ご飯」というグループにまとめ、その連結を１回のみ行うようにすることができる。このとき、グループは、前述したように、１つのクラスに対する学習データが予め設定された個数に到達すれば、その累積格納された学習データを利用した再学習を介してより細分化されたものであることができる。

【0089】

本発明の実施形態と関連して説明された方法またはアルゴリズムのステップ等は、ハードウェアで直接実現されるか、ハードウェアにより実行されるソフトウェアモジュールで実現されるか、またはこれらの組み合わせにより実現されることができる。ソフトウェアモジュールは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、ハードディスク、着脱型ディスク、ＣＤ－ＲＯＭ、または本発明の属する技術分野においてよく知られた任意の形態のコンピュータ読み取り可能記録媒体に常駐することもできる。

【0090】

以上、添付された図面を参照して本発明の実施形態を説明したが、本発明の属する技術分野における通常の技術者は、本発明がその技術的思想や必須な特徴を変更せずに、他の具体的な形態で実施され得るということを理解できるであろう。したがって、以上で記述した実施形態等は、あらゆる面において例示的なものであり、制限的でないことと理解しなければならない。

【符号の説明】

【0091】

１０ 食事モニタリングシステム
１００ 食事モニタリング装置
１１０ 通信モジュール
１３０ 撮影モジュール
１５０ 格納モジュール
１７０ 制御モジュール
２００ サービスサーバ
３００ ユーザ端末

【図1(a)】

【図1(b)】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】