知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-02-26
(45)【発行日】2025-03-06
(54)【発明の名称】食べ物測定方法、装置及びプログラム
(51)【国際特許分類】
G01B 11/24 20060101AFI20250227BHJP
G16H 20/60 20180101ALI20250227BHJP
【ＦＩ】
G01B11/24 K
G16H20/60
【請求項の数】
13
(21)【出願番号】P 2021564482
(86)(22)【出願日】2020-04-29
(65)【公表番号】
(43)【公表日】2022-06-28
(86)【国際出願番号】 KR2020005762
(87)【国際公開番号】W WO2020222561
(87)【国際公開日】2020-11-05
【審査請求日】2023-03-15
(31)【優先権主張番号】10-2019-0050086
(32)【優先日】2019-04-29
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2019-0050377
(32)【優先日】2019-04-30
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2019-0050378
(32)【優先日】2019-04-30
(33)【優先権主張国・地域又は機関】KR
(31)【優先権主張番号】10-2019-0133499
(32)【優先日】2019-10-25
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】521472874
【氏名又は名称】ヌヴィ ラブス カンパニー リミテッド
【氏名又は名称原語表記】ＮＵＶＩ ＬＡＢＳ ＣＯ．， ＬＴＤ．
【住所又は居所原語表記】９Ｆｌ．， ４３２－６， Ｅｏｎｊｕ－ｒｏ， Ｇａｎｇｎａｍ－ｇｕ， Ｓｅｏｕｌ ０６２１０ Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100121382
【弁理士】
【氏名又は名称】山下 託嗣
(72)【発明者】
【氏名】キム，デ フン
【審査官】大森 努
(56)【参考文献】
【文献】特開２０１８－１４７４１６（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１１／０１８２４７７（ＵＳ，Ａ１）
【文献】特開２００５－２５０８８５（ＪＰ，Ａ）
【文献】特開２０１２－２１２２４９（ＪＰ，Ａ）
【文献】韓国公開特許第１０－２０１８－０１１０４４３（ＫＲ，Ａ）
【文献】特開２０１８－１９０２５９（ＪＰ，Ａ）
【文献】特表２０１８－５２８５４５（ＪＰ，Ａ）
【文献】特開平１０－６９５７９（ＪＰ，Ａ）
【文献】特開２０１９－２３８０９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１６／０１５０２１３（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１０／０１１１３８３（ＵＳ，Ａ１）
【文献】中国特許出願公開第１０９０６４５０９（ＣＮ，Ａ）
【文献】中国特許出願公開第１０８８３０８９８（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／００－１１／３０
Ｇ０６Ｔ １／００－１９／２０
Ｇ１６Ｈ ２０／６０
(57)【特許請求の範囲】
【請求項1】
コンピュータにより行われる食べ物測定方法において、食べ物が盛られた食器に対する撮影及び測定後、受信部が、食べ物が盛られた食器イメージデータと前記食べ物が盛られた食器に対する深さデータを受信する段階と、
補正部が、前記食べ物が盛られた食器の勾配を算出し、算出された勾配によって前記食べ物が盛られた食器イメージデータと前記食べ物が盛られた食器に対する深さデータを補正する段階と、
抽出部が、補正された前記食べ物が盛られた食器イメージデータから食器に収容された食べ物イメージデータを抽出する段階と、
判断部が、前記抽出された食べ物イメージデータによって食べ物の種類を判断する段階と、
算出部が、補正された前記食べ物が盛られた食器に対する深さデータを用いて食べ物の体積を算出する段階と、
を含み、
食べ物の体積を算出する段階において、前記補正部が、前記食べ物が盛られた食器イメージデータ内で食べ物でない体積を有するノイズ成分のイメージを認識し、算出された食べ物の体積値から認識された前記ノイズ成分の体積値を除く補正を行い、
前記ノイズ成分は、手及び食器類のうち少なくとも１つを含むことを特徴とする食べ物測定方法。
【請求項2】
前記補正部が、前記食べ物が盛られた食器の勾配を算出することは、前記補正部が、前記食べ物が盛られた食器イメージデータを分析し、前記食べ物が盛られた食器の勾配を算出するか、前記食べ物が盛られた食器上の複数のポイントに対する深さデータを用いて前記食べ物が盛られた食器の勾配を算出するか、前記食べ物が盛られた食器のように撮影及び測定された参照対象の勾配に基づいて前記食べ物が盛られた食器の勾配を算出するか、撮像及び測定装置の勾配に基づいて前記食べ物が盛られた食器の勾配を算出することを特徴とする請求項１に記載の食べ物測定方法。
【請求項3】
前記補正する段階において、前記補正部が、算出された勾配によって前記食べ物が盛られた食器イメージデータを補正することは、前記補正部が、前記食べ物が盛られた食器イメージデータ内の前記食器が水平な状態になるように算出された勾配によって前記食べ物が盛られた食器イメージデータを水平状態のイメージデータに補正することを特徴とする請求項１に記載の食べ物測定方法。
【請求項4】
前記体積を算出する段階において、前記補正部が、算出された勾配によって前記食べ物が盛られた食器に対する深さデータを補正することは、前記補正部が、前記食べ物が盛られた食器に対する深さデータによって算出される食器が水平な状態になるように算出された勾配によって前記食べ物が盛られた食器に対する深さデータを補正することを特徴とする請求項１に記載の食べ物測定方法。
【請求項5】
前記コンピュータは、空き食器のイメージデータと前記食器に形成された少なくとも１つの空間に対する大きさ、深さ及び容量のうちの少なくとも１つを含む食器データが格納されたデータベースを含み、
前記体積を算出する段階は、
前記補正部が、食べ物が収容された空間の大きさ、深さ及び容量のうちの少なくとも１つを含む前記食器データを用いて算出された食べ物の体積を補正する段階を更に含むことを特徴とする請求項１に記載の食べ物測定方法。
【請求項6】
前記データベースは、食べ物別の体積当たりの重さを含む食べ物のデータが格納されており、
前記体積を算出する段階の後、前記算出部が前記算出された食べ物の体積データと前記食べ物のデータを用いて食べ物の重さを算出する段階を更に含むことを特徴とする請求項５に記載の食べ物測定方法。
【請求項7】
前記コンピュータは、食べ物メニューデータ、食堂位置データ、日付データ及び時間データのうちの少なくとも１つを含む食べ物関連情報が格納されたデータベースを含み、
前記判断する段階は、
前記判断部が、抽出した食べ物イメージデータと前記食べ物関連情報をマッチングして食べ物リスト候補群を導き出した後、各食べ物の種類を判断することを特徴とする請求項１に記載の食べ物測定方法。
【請求項8】
前記各食べ物の体積を算出する段階は、前記食器内で互いに異なる食べ物が積層された場合、前記算出部が上側に位置する食べ物によって下側に位置する食べ物が遮られる領域の体積を算出することを含むことを特徴とする請求項１に記載の食べ物測定方法。
【請求項9】
前記算出部が、上側に位置する食べ物によって下側に位置する食べ物が遮られる領域の体積を算出することは、前記算出部が、上側に位置する食べ物によって下側に位置する食べ物が遮られる領域の面積を算出し、
前記算出部が、下側に位置する食べ物のうち上側に位置する食べ物によって遮られない領域の高さを用いて上側に位置する食べ物によって遮られる領域の高さを算出し、
前記算出部が、算出された面積と高さを用いて上側に位置する食べ物によって下側に位置する食べ物が遮られる領域の体積を算出することを特徴とする請求項７に記載の食べ物測定方法。
【請求項10】
前記体積を算出する段階は、前記食器内の特定の空間に収容された食べ物が液体であると判断される場合、液体と該当空間が接する位置と該当空間の大きさ、深さ及び容量情報によって液体の体積を算出する段階を更に含むことを特徴とする請求項１に記載の食べ物測定方法。
【請求項11】
食べ物が盛られた食器に対する撮影及び測定後、食べ物が盛られた食器イメージデータと前記食べ物が盛られた食器に対する深さデータを受信する受信部と、前記食べ物が盛られた食器の勾配を算出し、算出された勾配によって前記食べ物が盛られた食器イメージデータと前記食べ物が盛られた食器に対する深さデータを補正する補正部と、
補正された前記食べ物が盛られた食器イメージデータから食器に収容された食べ物イメージデータを抽出する抽出部と、
前記抽出された食べ物イメージデータによって食べ物の種類を判断する判断部と、
前記補正された前記食べ物が盛られた食器に対する深さデータを用いて食べ物の体積を算出する算出部と、
を含み、
前記補正部は、前記食べ物が盛られた食器イメージデータ内で食べ物でない体積を有するノイズ成分のイメージを認識し、算出された食べ物の体積値から認識された前記ノイズ成分の体積値を除く補正を行い、
前記ノイズ成分は、手及び食器類のうち少なくとも１つを含むことを特徴とする食べ物測定サーバ。
【請求項12】
食べ物が盛られた食器に対する撮影及び測定後、食べ物が盛られた食器イメージデータと前記食べ物が盛られた食器に対する深さデータを受信する受信部と、前記食べ物が盛られた食器の勾配を算出し、算出された勾配によって前記食べ物が盛られた食器イメージデータと前記食べ物が盛られた食器に対する深さデータを補正する補正部と、
補正された前記食べ物が盛られた食器イメージデータから食器に収容された食べ物イメージデータを抽出する抽出部と、
前記抽出された食べ物イメージデータによって食べ物の種類を判断する判断部と、
前記補正された前記食べ物が盛られた食器に対する深さデータを用いて食品の体積を算出する算出部と、
を含み、
前記補正部は、前記食べ物が盛られた食器イメージデータ内で食べ物でない体積を有するノイズ成分のイメージを認識し、算出された食べ物の体積値から認識された前記ノイズ成分の体積値を除く補正を行い、
前記ノイズ成分は、手及び食器類のうち少なくとも１つを含むことを特徴とする食べ物測定装置。
【請求項13】
請求項１～１０の何れか１項に記載の方法をコンピュータに実行させるために媒体に格納されたプログラム。【発明の詳細な説明】
【技術分野】
【0001】
本発明は、食べ物を測定する方法に関し、具体的には体積を用いて食べ物の量を測定する方法に関する。
【背景技術】
【0002】
近年、ウェルビーイング（Ｗｅｌｌ-Ｂｅｉｎｇ）、ダイエット（Ｄｉｅｔ）などのように健康的な献立を維持しようとする人々が増加していることから、食べ物を測定する技術の需要が増えている。
【0003】
これを利用すると、学校や企業、軍隊、官公庁、病院などのように多数の人に食事を提供する場所でも人々に配膳、提供される食べ物の量を測定し、これにより配膳量と残飯量を測定することで、需要量や供給量を予想して効率的な配膳管理を行い、食事を提供される人々のカロリーを管理できるなど多くの長所がある。
【0004】
しかし、現在公開されている大半の技術は、カメラによって撮影されたイメージを単にイメージを検索することにとどまっているため、その正確度が著しく低下し、イメージの検索において正確度が低下することにより、カロリーの計算などのような次の段階では更に大きな誤差が生じるという問題がある。
【0005】
そこで、本発明者は、単に食べ物をイメージで検索することにとどまらず、正確に分析して算出できる発明を導き出すことに至った。
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は上記事情に鑑みてなされたものであって、その目的は、ステレオカメラ又は深さ測定装置によって撮影されたイメージのピクセル別の高さ情報を用いて食べ物の体積を算出する食べ物測定方法を提供できることにある。
【0007】
また、本発明の他の目的は、配膳用食器の情報を用いて算出された食べ物の体積を補正する食べ物測定方法を提供できることにある。
【0008】
本発明が解決しようとする課題は、以上で言及した課題に限らず、言及されていない更に他の課題は、以下の記載から通常の技術者が明確に理解できるはずである。
【課題を解決するための手段】
【0009】
上述した課題を解決するための本発明の一実施例に係る食べ物測定方法は、分析部が配膳用食器（使用者が食事を提供された食器）のイメージを分析し、前記食器に収容された１つ以上の食べ物を認識する段階と、算出部が食器情報と前記食器イメージ内の食べ物のイメージを用いて各食べ物の体積を算出する段階と、前記算出部が食べ物情報と前記算出された各食べ物の体積を用いて各食べ物の重さを算出する段階とを含み、前記サーバは、空き食器のイメージと食器に形成された複数の空間に対する大きさ、深さ及び容量を含む食器情報、食べ物別の体積当たりの重さを含む食べ物情報が格納されたデータベースを含む。
【0010】
また、上述した課題を解決するための本発明の一実施例に係る食べ物測定サーバは、空き食器のイメージと食器に形成された複数の空間に対する大きさ、深さ及び容量を含む食器情報、食べ物別の体積当たりの重さを含む食べ物情報が格納されたデータベースと、配膳用食器（使用者が食事を提供された食器）のイメージを分析し、前記食器に収容された１つ以上の食べ物を認識する分析部と、前記食器情報と前記食器イメージ内の食べ物のイメージを用いて各食べ物の体積を算出し、前記食べ物情報と前記算出された各食べ物の体積を用いて各食べ物の重さを算出する算出部とを含む。
【0011】
更に、上述した課題を解決するための本発明の一実施例に係る食べ物測定装置は、空き食器のイメージと食器に形成された複数の空間に対する大きさ、深さ及び容量を含む食器情報、食べ物別の体積当たりの重さを含む食べ物情報が格納されたデータベースと、配膳用食器（使用者が食事を提供された食器）のイメージを分析し、前記食器に収容された１つ以上の食べ物を認識する分析部と、前記食器情報と前記食器イメージ内の食べ物のイメージを用いて各食べ物の体積を算出し、前記食べ物情報と前記算出された各食べ物の体積を用いて各食べ物の重さを算出する算出部とを含む。
【0012】
この他にも、本発明を実現するための他の方法、他のシステム及び前記方法を実行するためのコンピュータプログラムを記録するコンピュータ読み取り可能な記録媒体が更に提供されることができる。
【発明の効果】
【0013】
前記のような本発明によれば、ステレオカメラ又は深さ測定装置によって撮影されたイメージのピクセル別の高さ情報を用いて食べ物の体積を算出し、正確な食べ物の体積を算出できるという効果がある。
【0014】
また、本発明は配膳用食器の空間の大きさ、深さ及び容量に関する情報により算出された食べ物の体積を補正し、より正確に食べ物の体積を算出できるという効果がある。
【0015】
本発明の効果は、以上で言及した効果に限らず、言及されていない更に他の効果は、下記の記載から通常の技術者が明確に理解できるはずである。
【図面の簡単な説明】
【0016】
【図1】本発明の一実施例に係る食べ物測定方法のフローチャートである。
【図2A】本発明の一実施例に係る食器の斜視図である。
【図2B】裏面又は側面に識別コードが付着された食器の斜視図である。
【図3】本発明の実施例に係る食べ物が収容された食器の斜視図である。
【図5】空間が区分されていない食器の斜視図である。
【図6】食べ物の種類を判断の正確度を向上させるために高度化したローカルモデルを提供する方法の順序図である。
【図7】本発明の他の実施例に係る食べ物測定方法のフローチャートである。
【図8】バックグラウンドターゲットを説明するテーブルの斜視図である。
【図9】本発明の一実施例に係る食堂運営情報及び食事主体の管理情報提供方法の順序図である。
【図10】本発明の実施例に係る食べ物測定サーバのブロック図である。
【図12】本発明の実施例に係る食べ物測定装置のブロック図である。
【図13】本発明の実施例に係る食べ物測定装置の斜視図である。
【図14】本発明の実施例に係る食べ物測定装置の斜視図である。
【図15】本発明の実施例に係る食べ物測定装置の斜視図である。
【図16】本発明の実施例に係る食べ物測定装置の斜視図である。
【図17】本発明の実施例に係る食べ物測定装置の画面である。
【図18】本発明の実施例に係る食べ物測定サーバのブロック図である。
【図19】本発明の実施例に係るユーザ端末のブロック図である。
【発明を実施するための形態】
【0017】
本発明の利点及び特徴、そしてそれらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は、以下で開示される実施例に制限されるものではなく、互いに異なる多様な形態に具現することができる。但し、本実施例は本発明の開示を完全なものにし、本発明が属する技術分野における通常の技術者に本発明の範囲を完全に理解させるために提供されるものであり、本発明は請求項の範囲により定義されるに過ぎない。
【0018】
本明細書で用いられた用語は、実施例を説明するためのものであり、本発明を制限しようとするものではない。本明細書において、単数型は特に言及しない限り複数型も含む。明細書で用いられる「含む（ｃｏｍｐｒｉｓｅｓ）」及び／又は「含んでいる（ｃｏｍｐｒｉｓｉｎｇ）」は、言及された構成要素以外に１つ以上の他の構成要素の存在又は追加を排除しない。明細書全体に亘って同一の図面符号は同一の構成要素を示し、「及び／又は」は言及された構成要素のそれぞれ及び１つ以上の全ての組み合わせを含む。たとえ、「第１」、「第２」などが多様な構成要素を叙述するために用いられていても、これらの構成要素はこれらの用語により制限されないのはもちろんである。これらの用語は、単に１つの構成要素を他の構成要素と区別するために用いる。従って、以下で言及される第１構成要素は、本発明の技術的思想内で第２構成要素でもあり得るのは言うまでもない。
【0019】
他の定義がなければ、本明細書で用いられる全ての用語（技術及び科学的用語を含む）は、本発明が属する技術分野における通常の技術者が共通して理解できる意味として用いられる。また、一般に用いられる辞典に定義されている用語は、明白に特に定義されていない限り、理想的に又は過度に解釈されない。
【0020】
以下、添付の図面を参照し、本発明の実施例を詳細に説明する。
【0021】
説明に先立ち、本明細書で用いる用語の意味を簡単に説明する。しかし、用語の説明は本明細書の理解を促進するためのものであるので、明示的に本発明を限定する事項として記載していない場合、本発明の技術的思想を限定する意味として用いるものではないことに注意すべきである。
【0022】
図１～図５を参照し、本発明の一実施例に係る食べ物測定方法について説明する。本発明の一実施例に係る食べ物測定方法は、コンピュータにより行われ、ここで、コンピュータは、食べ物測定サーバ１００又は食べ物測定装置２００を意味する。即ち、撮影は食べ物測定装置２００により行われるが、他の段階は食べ物測定サーバ１００又は食べ物測定装置２００により行うことができる。
【0023】
図１は、本発明の一実施例に係る食べ物測定方法のフローチャートであり、図２Ａは、本発明の一実施例に係る食器の斜視図であり、図２Ｂは、裏面又は側面に識別コードが付着された食器の斜視図であり、図３は、本発明の実施例に係る食べ物が収容された食器の斜視図であり、図４は、図３において１つの空間に２つの食べ物が積層された食器の斜視図であり、図５は、空間が区分されていない食器の斜視図であり、図６は、食べ物の種類に対する判断の正確度を向上させるために高度化したローカルモデルを提供する方法の順序図である。
【0024】
本発明の実施例に係る食べ物測定方法は、食堂の配膳口又は返却口で実行でき、食堂はカフェテリア又はバイキングのようなセルフサービス食堂であって、使用者が食べ物を受け取るために食器５００を移動しながら食事する所であり、学校、会社又は軍隊のように団体に食事を提供する場所とすることもできる。ここで、食堂は食べ物又は食器５００を受け取る配膳口と、食事後に食べ残しを捨てて食器５００を返却する返却口を備えることができるが、これに限定されない。
【0025】
但し、本発明の実施例に係る食べ物測定方法は、食堂、特にセルフサービスの食堂で実行されることに限定されず、その他の形態の食堂や家庭で実行することもでき、各席で実行することもできる。
【0026】
また、説明の便宜上、空間５１０が区画されたプレート状の食器５００を用いて説明するが、食器５００の形状はこれに限定されない。
【0027】
図１を参照すると、受信部１１０が食べ物測定装置２００の撮影部２５０によって撮影された食べ物が盛られた食器のイメージを受信する（Ｓ２０段階）。
【0028】
受信部１１０は、受信した食べ物が盛られた食器のイメージを標準化（ｎｏｒｍａｌｉｚａｔｉｏｎ）する。標準化は、予め定められた基準（例えば、大きさ、明るさ、回転、勾配など）に従って受信した食べ物が盛られた食器のイメージを調整又は変形することを意味する。
【0029】
撮影部２５０は、イメージデータと深さデータを獲得できれば、その構成に制限はない。例えば、撮影部２５０はＲＧＢカメラ、２Ｄカメラ、３Ｄカメラ、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラ、ライトフィールドカメラ（ｌｉｇｈｔ ｆｉｅｌｄ ｃａｍｅｒａ）、ステレオカメラ、イベントカメラ、赤外線カメラのうちの少なくとも１つを含むことができ、イメージデータと深さデータを測定できれば、その構成に制限はない。
【0030】
一方、撮影部２５０は、食べ物又は食べ物が盛られた食器を撮影するほか、食事の主体を識別するために食事主体の生体情報を撮影できる。ここで、食事主体の生体情報は、食事の主体の顔面、虹彩又は指紋であり得るが、これに限定されない。１つの撮影部２５０で食べ物又は食べ物が盛られた食器と食事主体の生体情報を同時又は別に撮影できるが、食べ物又は食べ物が盛られた食器を撮影するための撮影部２５０ａと食事主体の生体情報を撮影するための撮影部２５０ｂが分離されることができる。
【0031】
複数の実施例において、コンベヤベルト２７０に沿って移動する食器５００を撮影する場合、食べ物測定装置２００の撮影部２５０は、単数のカメラを含んでいても、イメージデータ以外に深さデータを獲得できる。単数の撮影部２５０を用いて、食器５００がコンベアベルト２７０上の第１位置にある時と、食器５００がコンベアベルト２７０上で移動して第２位置にある時をそれぞれ撮影するのであれば、停止した食器５００を複数のカメラを含む撮影部２５０を用いて撮影するのと同一の効果が得られるためである。
【0032】
カメラは、光を認識する装置であるため、光反射のような環境の影響を多く受けることになる。従って、２つ以上のカメラを含む撮影部２５０を用いて撮影を行うことで、環境の影響を最小化することが必要である。但し、２つ以上のカメラを含む撮影部２５０を用いて撮影を行っても環境の影響を受ける恐れがあるため、これに対する補正が必要である。
【0033】
従って、コンピュータは、食堂の特性、環境に応じて最適化するために学習モジュールが撮影されるイメージを通じて現場の状況を学習し、フィルタ処理、固定物体及びリファレンス物体（後述するバックグラウンドターゲット）を基準に環境状態を認知するようにできる。
【0034】
一方、本発明の一実施例に係る食べ物測定装置２００を用いて食器５００を撮影する場合、撮影部２５０によって上側から食器５００を撮影すると共に、食べ物測定装置２００は、食器５００に関する識別情報５３０又は食事の主体に関する識別情報を感知できる。即ち、食器イメージ受信段階（Ｓ２０）と同時に、又は別途に食べ物測定装置２００を用いて食事の主体を識別できる（Ｓ２１）。
【0035】
具体的に、図２Ｂを参照すると、食器５００に関する識別情報は食器５００に含まれることができ、例えばＱＲコード（登録商標）（５３０、Ｑｕｉｃｋ Ｒｅｓｐｏｎｓｅ Ｃｏｄｅ）又はバーコード形式で食器５００に物理的に含めることができ、この他にも数字又は文字の組み合わせ、図形、記号の組み合わせなど、多様なコード形式の識別情報を食器５００に含めることもできる。この他に、食器５００に関する識別情報は、ＲＦＩＤチップのような多様な半導体装置などに記録され、食器５００に含めることもできる。このため、食べ物測定装置２００には識別情報感知部２５１が含まれ、撮影部２５０が上側で食器５００を撮影する際に同時に識別情報感知部２５１も食器５００に関する識別情報を感知できるように食べ物測定装置２００に配置できる。
【0036】
例えば、図２Ｂに示すように、ＱＲコード（登録商標）５３０が食器５００の裏面又は側面に位置する場合、識別情報感知部２５１は、撮影部２５０と向かい合うように下側に位置するか、水平方向でＱＲコード（登録商標）５３０を認識できるように位置し得るが、識別情報感知部２５１の位置はこれに限定されず、撮影部２５０が食器５００の上面を撮影する際に同時に食器５００の識別情報を感知できれば、多様な位置に配置され得る。
【0037】
複数の実施例において、食器５００の識別情報が食器５００の上側に位置する場合、食べ物測定装置２００は別途の識別情報感知部２５１を含まないことができ、撮影部２５０を用いて測定される食器のイメージを分析し、食器５００の識別情報を確認することもできる。
【0038】
この他に、食事の主体に関する識別情報は、認証部１６０によって感知されることができ、例えば食事の主体に対するイメージの撮影を用いて生体情報を確認する顔面認識、虹彩認識、指紋認識などの方式が適用されることができる。
【0039】
また、認証部１６０は、食事の主体が保有しているＲＦＩＤチップが含まれているダクやＱＲコード（登録商標）、バーコード、数字又は文字の組み合わせ、図形、記号の組み合わせなど、多様なコード形態の識別情報が含まれているタグを認識することによって、食事の主体に関する識別情報を感知することもできる。
【0040】
本発明の実施例に係る食べ物測定方法を用いる場合、測定された結果を用いて多様な情報を算出できるが、食べ物測定装置２００が食器５００に関する識別情報５３０と食事の主体に関する識別情報のうちの何れを認識できるかによって算出される情報に差があり得る。
【0041】
まず、配膳口に設けられた食べ物測定装置２００と返却口に設けられた食べ物測定装置２００の両方で食器５００に関する識別情報５３０が認識できず、食事の主体に関する識別情報のみを認識できる場合、本実施例に係る食べ物測定方法を用いて、各食事の主体に関する情報と該当食事の主体が含まれている集団に関する情報を算出できる。
【0042】
逆に、配膳口に設けられた食べ物測定装置２００と返却口に設けられた食べ物測定装置２００の両方で食事の主体に関する識別情報が認識できず、食器５００に関する識別情報５３０のみを認識できる場合、本実施例に係る食べ物測定方法を用いて、各食事の主体に関する情報を算出できず、該当食事の主体が含まれている集団に関する情報のみを算出できる。
【0043】
この他に、配膳口に設けられた食べ物測定装置２００で食器５００に関する識別情報５３０と食事の主体に関する識別情報を何れも認識でき、返却口に設けられた食べ物測定装置２００で食器５００に関する識別情報５３０を認識できず、食事の主体に関する識別情報のみを認識できる場合、返却口に設けられた食べ物測定装置２００で食器５００に関する識別情報は認識できなくても配膳口での情報を用いて特定食事の主体が保有する食器５００に関する識別情報が特定され得るため、本実施例に係る食べ物測定方法を用いて各食事の主体に関する情報と該当食事の主体が含まれている集団に関する情報を算出できる。
【0044】
一方、食べ物識別装置３０が別途の認証部１６０を含まず、食べ物測定装置２００の入力装置（図示せず）を介して食事の主体から識別情報の入力を受けることもできる。
【0045】
従って、複数の実施例において受信部１１０が撮影部２５０によって撮影された食器のイメージを受信する段階（Ｓ５２０）で、受信部１１０は、食器のイメージ以外に食器５００に関する識別情報及び食事の主体に関する識別情報のうちの少なくとも１つを共に受信できる。
【0046】
次いで、図１を参照すると、補正部１５０が、食べ物が含まれている食器のイメージを補正できる（Ｓ２５段階）。
【0047】
より詳しくは、補正部１５０が、食べ物が盛られた食器イメージデータを用いてノイズ成分を除去し、食器イメージの勾配を認識して水平状態のイメージに補正できる。このように補正されたイメージは、後述する体積算出段階（Ｓ５０）で利用することができる。
【0048】
食堂で食器を撮影するとき、食器を特定の位置に載せた状態で揺れることなく撮影することもできるが、撮影部２５０がコンベヤベルト２７０上で移動する食器５００を撮影する場合もあり、食事の主体が食器５００を持っている状態で食べ物測定装置２００によって食器５００が撮影される場合もあり、複数の実施例において使用者が食器５００を持って歩いていくのが撮影部２５０によって撮影されることがある。
【0049】
従って、食器のイメージが不明確に撮影されることがあり、食器の角度が傾いた状態で食器のイメージが撮影されることもあるため、補正部１５０が食器イメージの揺れ又は勾配を認識し、揺れ又は勾配が最も少ない食器のイメージを選択し、食器のイメージを水平状態のイメージに補正して食べ物の体積を正確に算出できるようにする。
【0050】
まず、補正部１５０は、標準化された食器イメージの中から揺れが最も少ない食器のイメージを選択するために、標準化された複数の食器イメージを分析でき、例えば、補正部１５０は、各ピクセル単位でイメージのにじみの程度を確認し、これにより最も揺れが少なく明確な食器のイメージを選択できる。
【0051】
次いで、補正部１５０は、食器のイメージより食器５００が食べ物に遮らずに露出した領域を対象に撮影部２５０から複数の露出した領域までの距離を算出でき、複数の露出した領域までの算出された距離を用いて食器のイメージから食器５０の勾配を算出できる。次に、補正部１５０は、算出された勾配を用いて撮影された食器のイメージが水平になるように補正できる。
【0052】
具体的に、補正部１５０は、食器のイメージから深さ情報を用いて食器５００の形状を抽出できる。食器のイメージで食器５００と食器５００以外の背景は深さ情報において差があるので、補正部１５０は、これを用いて食器のイメージから食器５００を抽出できる。
【0053】
補正部１５０は、食器５００において食べ物に遮られず露出した領域のうち平らな（ｆｌａｔ）領域を確認し、平らな領域のうちの少なくとも３箇所以上のポイントを定め、定められた３箇所以上のポイントの深さ情報を確認する。
【0054】
ここで、３箇所以上のポイントの深さ情報を確認することは、３箇所以上のポイントを用いて仮想の平面を生成し、該当平面の勾配を確認するためのものであって、補正部１５０は、定められた３箇所以上のポイントの深さ情報を用いて食器５００の勾配を算出し、算出された勾配を用いて撮影された食器のイメージを補正できる。
【0055】
複数の実施例において、平坦な領域のうちの少なくとも３箇所以上のポイントを定めた後、定められた３箇所以上のポイントの深さ情報を確認する代わりに、定められた３箇所以上のポイントについて各ポイントの周囲のポイントに関する平均深さ情報を各ポイントの深さ情報とすることによって、勾配の算出のために相対的に多くの情報を活用することで、算出された勾配の正確度を向上させることができる。
【0056】
複数の実施例において、定められた３箇所以上のポイントの深さ情報を用いて食器５００の勾配を算出する過程で各ポイントを連結する線によるグラジエント（ｇｒａｄｉｅｎｔ）値を導き出すことができ、これにより食器５００の勾配を算出し、算出された勾配を用いて撮影された食器のイメージを補正できる。
【0057】
複数の実施例において、補正部１５０は、食器のイメージから食器５０の輪郭を把握し、撮影された食器のイメージでの食器５０の輪郭とレファレンスとして活用するための傾かない食器のイメージでの食器５０の輪郭を比較することによって、撮影された食器のイメージでの食器５０の勾配を算出できる。次いで、補正部１５０は、算出された勾配を用いて撮影された食器のイメージを補正できる。
【0058】
また、受信部１１０を介して受信した２つの食べ物が盛られた食器イメージデータに現場の状況（揺れ、光反射など）によってノイズが発生する恐れがあるため、２つの食器イメージを比較してノイズを除去するようにすることができる。
【0059】
次いで、図１を参照すると、抽出部１２０が、食べ物が盛られた食器イメージデータから食器５００の各空間５１０に収容された食べ物イメージデータを抽出する（Ｓ５３０段階）。
【0060】
より詳しくは、食器イメージには食器５００と食べ物のイメージが共に含まれているため、食べ物イメージデータを食器イメージから抽出することを意味する。例えば、抽出部１２０は、食べ物と食べ物ではないものを区分できるように、人工知能アルゴリズムを用いて学習されたモデルを用いて食べ物イメージデータを抽出できる。ここで、食器５００に複数の空間５１０が含まれている場合、抽出部１２０は、各空間５１０毎の食べ物イメージデータを抽出できる。
【0061】
一方、図５を参照すると、空間が区分されていない１つの食器５００に複数の食べ物が盛られたことが示されているが、食器５００内に空間が区分されていないので、抽出部１２０が、複数の食べ物が含まれている１つの食べ物イメージ５５０全体として認識しうる。このような場合、抽出部１２０は、１つの食べ物イメージデータ全体をそれぞれの食べ物イメージデータに分離して抽出する過程を追加的に行わなければならない。
【0062】
次いで、図１を参照すると、判断部１３０が、抽出された食べ物イメージデータにより各食べ物の種類を判断する（Ｓ４０段階）。
【0063】
判断部１３０は、抽出された食べ物イメージデータを用いて食べ物の種類を判断できる。例えば、判断部１３０は、食べ物の種類を認識するために、イメージに基づいて学習されたモデルを含むことができるが、食べ物の種類を判別する方式はこれに限定されない。
【0064】
本実施例に係る食べ物測定方法において、食べ物の種類の認識率を高めるために、人工知能アルゴリズムを用いて学習されたモデルを以下の方法で食べ物測定方法を用いる個別対象に対して最適化できる。個別対象は、例えば個別の食堂又は個別の食事主体であり得るが、これに限定されない。
【0065】
まず、図６を参照すると、受信部１１０は、食堂又は食事の主体など個別対象から学習されたモデルを最適化させるための最適化情報を受信する（Ｓ３１段階）。
【0066】
最適化させるための対象となる学習されたモデルはマスターモデルであって、マスターモデルは、食べ物測定装置２００又はユーザ端末３００から撮影されたイメージデータ又は処理された結果をデータセットにして食べ物の種類を区分するように学習が進められたモデルである。
【0067】
マスターモデルは、食べ物測定方法に利用される全ての撮影されたイメージデータ又は処理された結果をデータセットにして構築されたものであるため、特定の食べ物イメージデータの種類を判断するために、マスターモデルは数十、数百、数千種類の食べ物種類のクラスで該当特定の食べ物イメージデータがどんな食べ物の種類であるかを把握することになる。
【0068】
マスターモデルを最適化することは、特定の食べ物イメージデータの食べ物の種類を把握するために考慮すべき食べ物種類のクラスの場合の数を減らすことである。このために、食堂又は食事の主体など個別対象に関する最適化情報を獲得できる。
【0069】
即ち、受信部１１０は、個別対象に対して最適化情報を受信できる。最適化情報として、例えば、個別の食堂で販売するか、提供するメニュー情報又は個別の食事主体が頻繁に摂取する食べ物の種類など、各個別対象によって摂取されるか、個別対象を利用する食事の主体によって摂取される確率が高いものであり得る。
【0070】
次いで、図６を参照すると、判断部１３０は、最適化情報に基づいてマスターモデルでクラスを最適化し、ローカルモデルを算出する（Ｓ３２段階）。
【0071】
判断部１３０は、最適化情報に基づいて該当個別対象と関連度の高い食べ物種類のクラスを選定し、マスターモデルで考慮する食べ物種類のクラスを該当個別対象と関連度の高い食べ物種類のクラスに縮小する方式で、マスターモデルのクラスを最適化し、該当個別対象に対するローカルモデルを算出する。
【0072】
次いで、図６を参照すると、判断部１３０は、個別対象と関連するイメージデータを用いて学習を行い、ローカルモデルを高度化する（Ｓ３３段階）。
【0073】
判断部１３０は、算出されたローカルモデルを個別対象と関連するイメージデータ又は個別対象と関連して処理された結果を用いて学習を進めることで、ローカルモデルを高度化できる。
【0074】
ここで、個別対象と関連するイメージデータは、個別対象に個別の食堂内で撮影されたイメージデータ又は個別の食堂内で撮影されたイメージデータが処理された結果であるか、個別対象に個別の食事主体によって撮影されたイメージデータ又は個別の食事主体によって撮影されたイメージデータが処理された結果であり得る。
【0075】
一方、判断部１３０は、算出されたローカルモデルを個別対象と関連するイメージデータ又は個別対象と関連して処理された結果を用いて学習を進めることで、ローカルモデルを高度化する過程で、判断部１３０は、人工知能アルゴリズムを用いて学習を進める過程で学習母数、学習周期など多様な変数を変更しながら学習を進め、進行された学習方式のうち正確度が最も高い学習方式を用いて高度化過程を進めることができる。
【0076】
次いで、図６を参照すると、判断部１３０は、高度化したローカルモデルを提供でき、これを用いて判断部１３０が抽出された食べ物イメージデータによって各食べ物の種類を判断することで、正確度を向上させることができる（Ｓ３４段階）。
【0077】
複数の実施例において、先行する段階として、受信部１１０が、食堂で提供する食べ物リスト情報を受信する段階（Ｓ１０）を更に含めることができる。
【0078】
この場合、食べ物の種類を判断する段階（Ｓ４０段階）で、判断部１３０は、抽出された食べ物イメージデータと食べ物リスト情報をマッチングし、各食べ物の種類を判断することもできる。
【0079】
このように、判断部１３０が食べ物イメージデータを分析して食べ物の種類を独自に判断することもでき、格納されている食べ物リスト情報とマッチングして食べ物の種類を判断することもでき、食べ物の種類を判別する方式はこれらに限定されない。
【0080】
次いで、図１を参照すると、算出部１４０が、抽出された食べ物イメージデータのピクセル別の高さ情報（即ち、３次元距離データ）を用いて各食べ物の体積を算出する（Ｓ５０段階）。
【0081】
上述したように、食器のイメージは、深さデータを獲得できる撮影部２５０によって撮影されるため、食べ物イメージデータに深さデータとしてピクセル別の高さ情報（３次元距離データ）が含まれており、これを用いて各食べ物の体積を算出できるようになる。
【0082】
撮影部３５０ここで、コンピュータは食器イメージと食器５００に形成された複数の空間５１０に対する大きさ、深さ及び容量を含む食器情報が格納されたデータベース１７０を含む。
【0083】
そして、体積算出段階（Ｓ５０段階）は、補正部１５０が、各食べ物が収容された空間５１０の大きさ、深さ及び容量を含む食器情報を用いて算出された各食べ物の体積を補正する段階を更に含むことができる。
【0084】
食器５００の種類によって各空間５１０の深さが異なるため、補正部１５０が食器情報を用いると、食べ物が積層された程度をより正確に判断できるようになる。本実施例に係るコンピュータのデータベース１７０には、食堂で用いる食器５００に対するデータが格納されているため、本実施例に係る食べ物測定方法を用いると、食器情報を用いて抽出された各食べ物の体積をより正確に算出できる。
【0085】
例えば、算出部１４０は、判断部１３０によって食器５００内の特定の空間５１０に収容された食べ物の種類が液体であると判断される場合、液体と該当空間５１０が接する位置と該当空間５１０の大きさ、深さ及び容量を含む食器情報を用いて液体の体積を算出できる。
【0086】
特定の空間５１０に「お汁」のような液体状の食べ物が収容されると、必然的に「スープ」と該当空間５１０が一定の高さで接する部分が発生することになる。算出部１４０は、これを用いて食器イメージから液体状の食べ物と該当空間５１０が接する位置を認識し、該当空間５１０の食器情報（大きさ、深さ、容量）を用いて食べ物の体積を算出する。
【0087】
例えば、図３に表記された「Ａ」領域に「お汁」と空間５１０が接する部分が示されており、算出部１４０は、イメージデータ内のＡ領域のような部分によって液体と液体が収容された空間５１０が接する位置を確認できるようになる。そして、算出部１４０は、食器情報（例えば、容量）を用いて「Ａ」領域の高さまでの体積を算出することによって、「お汁」の体積を算出できる。
【0088】
複数の実施例において、図５に示すように、空間が区分されていない１つの食器５００に対して追加の補正を行える。算出部１４０は、体積算出段階で食べ物イメージデータから１つの食器５００内に区分されていない空間に複数の食べ物が収容されているものと判断される場合、抽出部１２０に複数の食べ物それぞれのイメージデータを要請し、各食べ物の体積を算出する。
【0089】
そして、算出部１４０は、抽出された食べ物イメージデータ全体を用いて食べ物全体の体積を算出し、体積算出段階で算出された各食べ物の体積の総和と食べ物イメージデータ全体によって算出された体積とを比較し、各食べ物の体積を補正できる。
【0090】
複数の実施例において、体積算出段階（Ｓ５０段階）は、積層された食べ物の体積を算出する段階（Ｓ５１段階）を更に含むことができる。
【0091】
より詳しくは、食器５００内の特定空間５１０には、複数の食べ物を積層できる。従って、算出部１４０は、食器５００内の特定空間５１０に互いに異なる食べ物が積層されていると認識される場合、上側に位置する食べ物のイメージデータと算出された体積情報、そして該当空間５１０の大きさ、深さ及び容量情報を用いて下側に位置する食べ物の体積を算出する。
【0092】
図４は、食器においてご飯が収容された空間５１０にご飯の上に目玉焼きが積層されていることを例示した図である。算出部１４０は、食器情報と目玉焼きのイメージデータによって目玉焼きの大きさと体積を算出する。
【0093】
また、算出部１４０は、目玉焼きの大きさと体積情報によって該当空間５１０に収容されたご飯の高さを予測でき、これと共に食器情報を用いて該当空間５１０に収容されたご飯の体積を算出できる。
【0094】
具体的に、下側に位置する食べ物（例えば、ご飯）が上側に位置する食べ物（例えば、目玉焼き）によって遮られる面積を算出し、下側に位置する食べ物（例えば、ご飯）のうち上側に位置する食べ物（例えば、目玉焼き）によって遮られない領域の高さを用いて上側に位置する食べ物（例えば、目玉焼き）によって遮られる領域の高さを算出することによって、下側に位置する食べ物（例えば、ご飯）が上側に位置する食べ物（例えば、目玉焼き）によって遮られる領域の体積を算出できる。
【0095】
このため、下側に位置する食べ物（例えば、ご飯）が上側に位置する食べ物（例えば、目玉焼き）によって遮られる領域の高さは、下側に位置する食べ物（例えば、ご飯）が上側に位置する食べ物（例えば、目玉焼き）によって遮られない領域の高さの平均として設定され得るが、これに限定されない。
【0096】
複数の実施例において、コンピュータのデータベース１７０には、他の食べ物の上側に積層される食べ物に対するデータが予め格納され得る（例えば、目玉焼き、魚、海苔など）。例えば、食べ物の上側に主に積層される食べ物に対するデータとして体積データ又は重さデータを含めることができ、これにより算出部１４０は、上側に積層される食べ物の体積を迅速に算出することもできる。
【0097】
一方、体積算出段階（Ｓ５０段階）は、補正部１５０が食器のイメージ内に食器と共に撮影されたノイズ成分を補正する段階（Ｓ５２段階）を更に含むことができる。即ち、補正部１５０が、食べ物が盛られた食器イメージデータの中から食べ物ではないのに体積を有するノイズ成分を検出し、各食べ物の体積を算出する段階で算出された食べ物の体積から検出されたノイズ成分の体積を除外する補正を修正する段階を更に含むことができる。
【0098】
ここで、ノイズ成分は、食べ物ではないのに体積を有するものであって、ノイズ成分の体積によって食べ物の体積が実際よりも大きく算出され得る。従って、補正部１５０は、食べ物の体積を正確に算出するために撮影されたイメージ内でノイズ成分を認識し、算出部１４０によって算出された食べ物の体積から該当ノイズ成分の体積を除外する補正を行える。
【0099】
例えば、手や食器類（例えば、スプーン、フォーク、ナイフなど）が食べ物ではないのに体積を有するノイズ成分であり、この他に乳製品の蓋などがこれに該当し得るが、これに限定されない。例えば、コンピュータのデータベース１７０には、ノイズ成分に該当する対象に関するノイズ情報を予め格納でき、補正部１５０は、撮影されたイメージ内でノイズ成分を認識して算出部１４０によって算出された食べ物の体積から該当ノイズ成分の体積を除外させる補正を行える。
【0100】
一例として、ノイズ成分を補正する段階で補正部１５０は、使用者の手に対するイメージを食器のイメージから認識し、算出部１４０によって算出された食べ物の体積値から手に対する体積値を除外する補正を行える。具体的に、使用者が食器５００を持っている状態で、食べ物測定装置２００によって食器５００を撮影することもできるが、食器５００を持っている手のイメージデータのため、食べ物の体積算出に誤りが生じることもありうるため、補正部１５０が、食べ物が盛られた食器イメージデータによって算出された食べ物の体積値から手のような身体部位に対する体積値を除外させる補正を行うことにより、食べ物の体積算出段階（Ｓ５０）で正確度をアップさせることができる。
【0101】
一実施例として、補正部１５０は、空き食器５００とスプーンに対するイメージデータについて予め学習され、食器イメージ内にスプーンが含まれている場合、これを認識してスプーンの体積値を除外する補正を行える。
【0102】
より詳しくは、補正部１５０は、食べ物が盛られた食器イメージデータ内の使用者の手又は食器類の存否を検出する。そして、食器のイメージ内に使用者の手又は食器類が含まれている場合、食べ物が盛られた食器イメージデータによって算出された食べ物の体積値から使用者の手又は食器類の体積値を除外させる。
【0103】
上述した補正部１５０の構成と動作により、本発明の実施例に係る食べ物測定方法は、以後の段階が行われる際に正確度を上昇させる効果を発揮することになる。
【0104】
次いで、図１を参照すると、算出部１４０がＳ５０段階で算出された各食べ物の体積情報と食べ物情報を用いて各食べ物の重さを含む食事情報を算出する（Ｓ６０段階）。
【0105】
コンピュータのデータベース１７０には、食べ物別の体積当たりの重さ、各食べ物別の重さ当たりのカロリー情報、各食べ物別の重さ当たりの栄養成分情報を含む食べ物情報が格納されている。
【0106】
食べ物は、種類によって体積当たりの重さが異なり、カロリーも互いに異なる。従って、本発明の実施例において、食べ物別の体積当たりの重さを含む食べ物情報がデータベース１７０に格納されており、算出部１４０がこれを用いて食べ物の体積情報から食べ物の重さを算出する。
【0107】
これを用いて、算出部１４０は、重さ算出段階（Ｓ６０段階）の後に、各食べ物の算出された重量情報を用いて使用者の配膳用食器に収容された食べ物のカロリーを計算でき、その他に、使用者が摂取した栄養成分情報を算出でき、食べ物又は食べ物に含まれている栄養成分に基づいてアレルギー注意事項のように追加的な特異情報を算出できる。
【0108】
この他に、算出部１４０は、食べ物の種類と、各食べ物の体積又は重さを用いて、該当食べ物に関する価格情報を算出できる。
【0109】
算出部１４０は、前述した食事情報に含まれている情報を食べ物測定装置２００のディスプレイ部２１０又はユーザ端末３００のディスプレイ部３１０に提供できる。ディスプレイ部２１０、３１０に提供される画面のＵＩは後述する。
【0110】
例えば、算出部１４０は、配膳口のディスプレイ部２１０／３１０に表示される情報と返却口のディスプレイ部２１０／３１０で表示される情報を異なるようにできる。例えば、配膳口のディスプレイ部２１０／３１０には、食べ物の種類に関する情報、カロリーに関する情報、栄養成分情報、アレルギー情報及び価格情報などが表示され、返却口のディスプレイ部２１０／３１０には、前記情報に加えて実際に摂取された量に関する情報を追加で表示することができる。但し、算出部１４０によって算出される食事情報はこれに制限されず、撮影された情報又はデータベース１７０に格納された情報を活用して多様な情報を制限なく表示することができる。
【0111】
これにより、食事の主体は、提供される価格情報によって、現金、カード、口座振替、ＱＲコード（登録商標）タギング、ＲＦＩＤタギング、顔面認識などの方法で食べ物測定装置２００の決済部２４０又はユーザ端末３００によって決済を行える。
【0112】
一実施例として、食堂には食器５００の重さを測定できる重量測定装置（図示せず）を設けることができるが、これに限定されず、受信部１１０が食堂に設けられた重量測定装置（図示せず）から測定された配膳用食器５００の重量情報を受信する段階と、補正部１５０がＳ５６０段階で算出された各食べ物の重さと空き食器の重さの総和と、前記受信した重量情報をマッチングして各食べ物の重さを補正する段階とを更に含むことができる。
【0113】
上述した補正段階は、選択的に採用されて使用されることができ、重さを測定する過程で使用者の手や各種要因によって重さが実際と異なるように測定され得るので、重量情報が閾値を超えるほど異なって測定される場合、補正段階を行わないこともできる。
【0114】
以下、図７及び図８を参照し、食べ物測定装置２００としてユーザ端末３００を用いる他の実施例に係る食べ物測定方法を説明する。但し、本発明の一実施例に係る食べ物測定方法との相違点を中心に説明し、同一の内容については説明を省略する。図７は、本発明の他の実施例に係る食べ物測定方法のフローチャートであり、図８は、バックグラウンドターゲットを説明するテーブルの斜視図である。
【0115】
本発明の他の実施例に係る食べ物測定方法は、コンピュータにより行われ、ここで、コンピュータは食べ物測定サーバ１００又はユーザ端末３００を意味する。即ち、撮影は、ユーザ端末３００により行われるが、他の段階は食べ物測定サーバ１００又はユーザ端末３００により行うことができる。
【0116】
ここで、ユーザ端末３００は移動可能な携帯端末であって、食べ物測定方法関連のサービスアプリケーションがインストールされる。ユーザ端末３００は、イメージデータと深さデータを獲得できる。このために、ユーザ端末３００はＲＧＢカメラ、２Ｄカメラ、３Ｄカメラ、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラ、ライトフィールドカメラ（ｌｉｇｈｔ ｆｉｅｌｄ ｃａｍｅｒａ）、ステレオカメラ、イベントカメラ、赤外線カメラのうちの少なくとも１つを含むことができる。
【0117】
例えば、ユーザ端末３００は、コンピュータ、ＵＭＰＣ（Ｕｌｔｒａ Ｍｏｂｉｌｅ ＰＣ）、ワークステーション、ネットブック（ｎｅｔ-ｂｏｏｋ）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、ポータブル（ｐｏｒｔａｂｌｅ）コンピュータ、ウェブタブレット（ｗｅｂ ｔａｂｌｅｔ）、無線電話（ｗｉｒｅｌｅｓｓ ｐｈｏｎｅ）、モバイルフォン（ｍｏｂｉｌｅ ｐｈｏｎｅ）、スマートフォン（ｓｍａｒｔ ｐｈｏｎｅ）、ｅ-ブック（ｅ-ｂｏｏｋ）、ＰＭＰ（ｐｏｒｔａｂｌｅ ｍｕｌｔｉｍｅｄｉａ ｐｌａｙｅｒ）、携帯用ゲーム機、ナビゲーション（ｎａｖｉｇａｔｉｏｎ）装置、 ブラックボックス（ｂｌａｃｋ ｂｏｘ）又はデジタルカメラ（ｄｉｇｉｔａｌ ｃａｍｅｒａ）のような電子装置の１つであって、食べ物測定サーバ１００又は食べ物測定装置２００と関連する食べ物測定アプリケーションのインストール及び実行が可能な全てのユーザ装置を含むことができる。
【0118】
まず、図７を参照すると、受信部１１０がユーザ端末３００の撮影部３５０によって撮影された食器のイメージを受信する（Ｓ２０段階）。
【0119】
ここで、ユーザ端末３００にインストールされたサービスアプリケーションの撮影要請に応じて食べ物を撮影することができ、食べ物の撮影方法、角度などに対するガイドがサービスアプリケーションを介して使用者に映像や音として提供することができる。
【0120】
一実施例として、サービスアプリケーションは、食べ物を異なる角度から２回以上撮影するように要請できる。３ＤカメラやＴｏＦカメラを用いない場合、食べ物を異なる角度から２回以上撮影すれば、２枚以上の食べ物が盛られた食器イメージデータを比較し、深さデータを獲得できる。また、深さデータの獲得目的ではなくても、２回以上撮影される場合、以後の算出、補正段階でその正確度が上昇するという効果がある。
【0121】
次いで、図７を参照すると、補正部１５０が食器イメージの補正を行える（Ｓ２５段階）。
【0122】
一実施例として、食器イメージ受信段階（Ｓ１０段階）は、ユーザ端末３００の撮影部３５０によって食べ物が撮影されるとき、ユーザ端末３００のジャイロセンサ（図示せず）によって測定されたユーザ端末３００の勾配情報を受信することができる。補正部１５０は、ユーザ端末３００の勾配情報を用いて撮影された食べ物が盛られた食器イメージデータの勾配を補正できる。
【0123】
本発明の実施例によると、使用者がユーザ端末３００を把持し、撮影部３５０によって食べ物を撮影する過程で所定角度の傾きが発生し得るため、上述した段階を行って食べ物が盛られた食器イメージデータを水平状態に補正できる。
【0124】
次いで、図７を参照すると、抽出部１２０が、食べ物が盛られた食器イメージデータから食器５００の空間５１０に収容された食べ物イメージデータを抽出する（Ｓ３０段階）。
【0125】
ユーザ端末３００によって撮影した食器のイメージには、食べ物のみ含まれているわけではないため、正確な体積を算出するために、本段階でイメージ上から食べ物イメージデータのみを抽出する。
【0126】
抽出部１２０は、背景から食べ物を認識して抽出する機能を用いて正確に背景から食べ物を抽出し、２つ以上の食べ物が含まれている場合、２つ以上の食べ物のイメージデータをそれぞれ分離して抽出し、このような過程で人工知能アルゴリズムを用いて学習されたモデルが利用され得る。
【0127】
次いで、図７を参照すると、判断部１３０が、抽出された食べ物イメージデータによって各食べ物の種類を判断する（Ｓ４０段階）。
【0128】
判断部１３０は、人工知能アルゴリズムを用いて学習されたモデルを用いて、抽出部１２０が抽出した各食べ物イメージデータの食べ物の種類を判断する。複数の実施例において、判断部１３０は、正確度が類似する複数の判断結果が出る場合、ユーザ端末３００に複数の判断結果を出力し、ユーザ端末３００のサービスアプリケーションによって使用者から正しい結果を入力又は選択するようにすることができる。
【0129】
次いで、図７を参照すると、算出部１４０が、抽出された食べ物イメージデータのピクセル別の高さ情報（即ち、３次元距離データ）を用いて各食べ物の体積を算出する（Ｓ５０段階）。
【0130】
体積算出段階（Ｓ５０段階）は、体積補正段階（Ｓ５３）を含むことができる。一実施例として、体積補正段階（Ｓ５３ 段階）で体積の補正のためにバックグラウンドターゲットが利用され得る。
【0131】
体積補正段階（Ｓ５３段階）で、判断部１３０が受信した食器イメージ内に含まれているバックグラウンドターゲットを認識し、補正部１５０が、認識されたバックグラウンドターゲットの大きさ情報、位置情報に基づいてＳ５０段階で算出された各食べ物の体積を補正できる。
【0132】
図８を参照すると、補正部１５０は、バックグラウンドターゲットと各食べ物の高さ情報とを比較し、各食べ物の体積を補正することもでき、バックグラウンドターゲットと各食べ物の大きさ情報とを比較し、各食べ物の体積を補正することもできる。
【0133】
ここで、バックグラウンドターゲットは、撮影部３５０によって食べ物と共に撮影されるか、別に撮影されるものであって、食べ物が収容された食器５００、テーブル５４０、スプーン、使用者の指などを利用することができる。但し、これに制限されず、バックグラウンドターゲットは、通常の大きさを有する対象であれば、何でも適用可能である。例えば、バックグラウンドターゲットは、硬貨、紙幣、スマートフォン（製品種別）などのようにその大きさが定められている対象であれば何でも適用することができる。
【0134】
複数の実施例において、バックグラウンドターゲットは、ユーザ端末３００の撮影部３５０によって別途に撮影され、大きさ情報をデータベース１７０に予め格納することができる。これにより、補正部１５０は、バックグラウンドターゲットの大きさ又は高さに基づいて、抽出された食べ物イメージデータから食べ物の体積を高い正確度で予測できる。
【0135】
第１の例として、サービスアプリケーションが使用者に撮影部３５０によって使用者の手を一定距離で撮影するようにすることができる。または、サービスアプリケーションは、使用者の手／手指の実際の大きさを実測して入力するようにすることもできる。
【0136】
そして、受信部１１０は、使用者の手が撮影されたイメージを分析し、使用者の手の実際の大きさに関する情報をデータベース１７０に格納する。
【0137】
その後、判断部１３０は、受信した食器イメージ内に使用者の手が含まれていることが認識されると、使用者の手をバックグラウンドターゲットに設定し、補正部１５０がバックグラウンドターゲットの位置情報と大きさ情報に基づいて算出部１４０から算出した各食べ物の体積を補正できる。
【0138】
第２の例として、サービスアプリケーションが使用者に撮影部３５０によって家で使う食器５００、テーブル５４０、スプーンなどを一定距離で撮影するようにすることができる。このとき、テーブル５４０は、使用者が食器５００を配置して食事をする食卓又はテーブルなどを意味し得る。
【0139】
具体的に、コンピュータは、ユーザ端末３００の撮影部３５０によって撮影された使用者が家で使う食器５００に対するイメージを分析し、該当食器５００に対する大きさ、深さ及び容量情報を含む食器５００情報をデータベース１７０に格納できる。
【0140】
より詳しくは、本発明の実施例に係るユーザ端末３００の撮影部３５０によって撮影された映像には、ピクセル別の高さ情報が格納されているため、算出部１４０は、空き食器５００に対するイメージデータを受信すると、食器イメージデータのピクセル別の高さ情報を用いて食器に対する大きさ、深さや容量情報を算出でき、これを食器情報としてデータベース１７０に格納することを意味する。
【0141】
そして、算出部１４０は、食べ物のイメージの分析の結果、食べ物中に前記食器５００に収容された食べ物が存在する場合、該当食べ物が収容された食器５００の大きさ、深さ及び容量情報を用いて算出された各食べ物の体積補正を行う。
【0142】
前記のように、該当食器５００の大きさ、深さ及び容量情報を知っていれば、補正段階を行ってより正確な結果が得られる。
【0143】
複数の実施例において、サービスアプリケーションは、使用者に食器５００、テーブル５４０、スプーンなどの実際の大きさを実測し、ユーザ端末３００に入力するように要請できる（例えば、テーブル５４０の横、縦或いは周りの長さ情報）。
【0144】
第３の例として、食べ物と関連しないバックグラウンドターゲットを用いる場合を説明する。例えば、使用者は５００ウォンの硬貨を食べ物のイメージと共に撮影し、サービスアプリケーションによってバックグラウンドターゲットとして５００ウォンの硬貨を共に撮影したことを入力できる。
【0145】
従って、判断部１３０は、受信した食べ物が含まれている食器イメージ内に含まれている５００ウォンの硬貨（バックグラウンドターゲット）を認識し、補正部１５０が５００ウォンの硬貨（バックグラウンドターゲット）の大きさ情報に基づいて算出された各食べ物の体積を補正する。
【0146】
このように、一般に大半の人が使用して、その大きさが定められている対象はバックグラウンドターゲットとして適用可能であるため、使用者は、簡単に周辺対象を食べ物と共に撮影して、補正部が各食べ物の体積を補正するようにできる。
【0147】
また、位置情報（飲食店、給食施設など）、天気情報（紫外線、食べ物の種類の縮小）、使用者の状態情報（ダイエット中、運動中、闘病中、薬服用中など）、個人の好み情報、周辺デバイス情報を多様に活用して体積を補正することで、正確度を上昇させることができる。
【0148】
第４の例として、コンピュータは、複数の使用者のユーザ端末３００によって撮影されたイメージデータと、該当イメージデータによって算出された情報、該当イメージが撮影された場所とマッチングされる食堂に関する情報を格納し、ビッグデータを構築できる。
【0149】
例えば、Ａ使用者がＢ食堂でＣメニューを注文し、ユーザ端末３００によってＣメニューを撮影すると、Ｃメニューに含まれている食べ物の種類を判断し、各食べ物の体積を算出することになり、コンピュータは、これらの情報をデータベース１７０に格納し、ビッグデータとして活用する。
【0150】
そして、特定使用者のユーザ端末３００を介して食べ物のイメージデータが受信され、食べ物のイメージが撮影された位置情報と判断された食べ物の種類をコンピュータ内のデータベース１７０のデータとマッチングしてマッチングされる内訳の以前の算出結果を検出でき、これを用いて算出された各食べ物の体積情報を補正できる。
【0151】
例えば、Ｄ使用者がＢ食堂とマッチングされる位置で食べ物を撮影して食べ物のイメージデータを伝送した場合、ビッグデータに位置情報をマッチングしてＤ使用者がＢ食堂に位置していると判断し、注文したメニューとマッチングされる以前の結果データを照会して算出体積情報に対する補正を行うことができる。
【0152】
これと関連して、反対の場合にも適用が可能である。より詳しくは、食べ物に対するデータが先に格納され、使用者が食堂で計算する際にどんな食べ物を注文して食べたかが分かると、逆に格納されたデータを読み出して体積、栄養情報を記録できる。
【0153】
まとめると、サービスアプリケーションは、ユーザ端末３００による撮影時、使用者に映像又は音でバックグラウンドターゲットを食べ物の撮影前に撮影するように要求するか、食べ物と共に撮影するように要求できる。そして、判断部１３０は、受信したバックグラウンドターゲットを認識し、補正部１５０がバックグラウンドターゲットの位置情報と大きさ情報に基づいて算出部１４０で算出した各食べ物の体積を補正できる。
【0154】
次いで、図７を参照すると、算出部１４０がＳ５０段階で算出された各食べ物の体積情報と食べ物情報を用いて各食べ物の重さを含む食事情報を算出する（Ｓ６０段階）。
【0155】
前述した本発明の一実施例に係る食べ物測定方法を用いて、コンピュータが食堂又は家庭で食事をする各食事主体の配膳量（食前の飲食量を意味する）、残飯量を測定し、これを用いて食事量を算出できる。
【0156】
そして、コンピュータが食堂又は家庭で食事をする食事主体の配膳量、残飯量、食事量を用いて食堂の運営情報、食事主体らの管理情報を生成でき、食事主体の管理情報として、例えば使用者の栄養状態、食習慣、偏食するか否かなどが含まれることができる。
【0157】
【0158】
まず、図９を参照すると、受信部１１０が配膳口に設けられた配膳口撮影部２５０又はユーザ端末３００の撮影部３５０によって撮影された食前食器データ（食前食器イメージデータ）を獲得し、算出部１４０がこれを用いて食事主体の配膳量を算出する（Ｓ１１０段階）。詳細な説明は、図１～図８によって説明した通りであり、食事の主体に対する識別段階（Ｓ１２０段階）を同時に行うことができる。ここで、食前食器は、食事前の食事主体の食器５００に食べ物が盛られた状態の食器５００を意味する。
【0159】
次いで、図９を参照すると、返却口に設けられた返却口撮影部２５０又はユーザ端末３００の撮影部３５０によって撮影された食後食器データ（食後食器イメージデータ）を獲得し、算出部１４０がこれを用いて食事主体の残飯量を算出する（Ｓ１２０段階）。詳細な説明は、図１～図８によって説明した通りであり、食事の主体に対する識別段階（Ｓ１２０段階）を同時に行うことができる。ここで、食後食器は、食事後の食事主体の食器５００を意味する。
【0160】
次いで、図９を参照すると、算出部１４０は、算出された配膳量と残飯量を利用して該当食事主体の食事量を算出する（Ｓ１３０段階）。
【0161】
Ｓ１１０～Ｓ１２０段階によって、コンピュータは、食事の主体が食堂で提供する各食べ物のメニューを配膳された量と食べ残した残飯量、そして摂取した量（食事量）を算出することで、食事の主体がご飯、おかずをどれだけ摂取したか、どれだけの量を残したかなどに関する情報を確保できるようになる。
【0162】
なお、本発明の実施例に係るコンピュータは、飲食量の算出の正確度を向上させるために、以下の動作を行える。
【0163】
一実施例として、算出部１４０は、前記段階により算出された食事主体の食事量と残飯量の和が配膳量と一致するか検証を行い、検証の結果、一致しない場合、算出部１４０は、食事量又は残飯量の和が配膳量と一致するように前記段階により算出された食事量、残飯量及び配膳量のうちの少なくとも１つを補正でき、これによる結果をデータベース１７０に記録する。
【0164】
また、算出部１４０は、前記段階により算出された食堂の食事主体らの食事量の総和と残飯量の総和を合わせたものが配膳量の総和と一致するか検証を行い、検証の結果、一致しない場合は、算出部１４０は、食事量の総和と残飯量の総和を記録したものが配膳量の総和と一致するように、前記段階により算出された食事量の総和、残飯量の総和及び配膳量の総和のうちの少なくとも１つを補正でき、これによる結果をデータベース１７０に記録する。
【0165】
更に、算出部１４０は、前記段階により算出された食堂の食事主体の食事量の総和と残飯量の総和が配膳量の総和と一致するか検証を行い、データベース１７０に記録する。より詳しくは、算出部１４０は、食堂で食事をする食事主体の配膳量の総和と残飯量の総和の差値が食事量の総和と一致するか否かを検証する。
【0166】
また、算出部１４０は、食堂に準備された飲食量の総和を食堂で発生した残飯量の総量、食堂で発生した残食量の総量及び該当食堂の食事主体らの食事量の総和を合わせたものと比較して検証を行い、検証の結果、差が発生する場合、算出部１４０は、食堂に準備された飲食量の総和が食堂で発生した残飯量の総量、食堂で発生した残食量の総量及び該当食堂の食事主体らの食事量の総和を合わせたものと一致するように、残飯量の総量、残食量の総量及び食事量の総和のうちの少なくとも１つを補正でき、例えば食事量を補正でき、これによる結果をデータベース１７０に記録できる。
【0167】
ここで、残飯量は、食事の主体に配膳され、食事の主体が食べ残した食べ物の量であり、残食量は、食事の主体に配膳されずに残された食べ物の量とでき、残食量は、前記段階により算出されるか、別の方法により算出することができる。
【0168】
また、データベース１７０には、食堂で毎回配膳のために準備した飲食量の総重量、残食量の総体積（重さ）及び残飯量の総重量の測定結果が格納されることができ、算出部１４０は、準備した飲食量の総体積（重さ）を残飯量の総体積（重さ）、残食量の総体積（重さ）及び前記段階により算出された食堂の食事主体の食事量の総和を合わせたものと比較して検証を行い、検証の結果、差が発生する場合、算出部１４０は、食堂に準備された飲食量の総和が食堂で発生した残飯量の総量、食堂で発生した残食量の総量及び該当食堂の食事主体の食事量の総和を合わせたものと一致するように、前記段階により算出された食事主体の食事量の総和を補正でき、これによる結果をデータベース１７０に記録できる。
【0169】
このように、算出部１４０が各種情報を用いて検証を行い、算出／補正による正確度を記録することによって、問題を把握して改善していくことが可能となる。
【0170】
例えば、データベース１７０には、食堂で毎回配膳のために準備した飲食量の総体積（重さ）と残飯量の総体積（重さ）の測定結果を格納することができ、算出部１４０は、準備した飲食量の総体積（重さ）と残飯量の総体積（重さ）の差分と前記段階により算出された食堂の食事主体の食事量の総和を比較して検証を行い、データベース１７０に記録できる。（例えば、食堂で準備したＡメニューの総体積が２００であり、残された量がなく全て配膳されたとすれば、食事の主体に配膳されたＡメニューの体積の総和は２００に近似していなければならない。）
【0171】
一方、正確な食事量の算出のためには、食前と食後に撮影されなければならないが、使用者が誤って食後に撮影しない場合が発生し得る。
【0172】
従って、算出部１４０は、食前に食べ物が盛られた食器イメージデータを受信した後、予め設定された時間が過ぎた状況で、食後の食器イメージデータが撮影及び受信されない場合、食後の食器イメージデータの撮影が行われなかったものと判断し、使用者の予想食事量を算出する。
【0173】
例えば、算出部１４０は、使用者が食べ残さなかったものと見なして、使用者の予想食事量を算出することもでき、データベース１７０に格納された使用者の平均食事量、状態情報（ダイエット、増量中、運動中など）、空腹の程度、食前の食べ物イメージに含まれているメニューに対する使用者の好み、メニューの味に関る情報などによって使用者の予想食事量を算出し、データベース１７０に格納することもできる。
【0174】
次いで、図９を参照すると、コンピュータの管理部１８０が食堂に登録された食事主体の配膳量、残飯量及び食事量に基づいて食堂の運営情報を生成する（Ｓ１４０段階）。
【0175】
次いで、図９を参照すると、コンピュータの管理部１８０が食堂に登録された食事主体の配膳量、残飯量及び食事量に基づいて各食事主体らの管理情報を生成する（Ｓ１５０段階）。
【0176】
Ｓ１４０段階は、食堂の運営に役立つ運営情報を生成することを意味する。
【0177】
より詳しくは、管理部１８０の配膳量調節モジュール１８１は、食堂に配膳のために用意した総配膳準備量と配膳が完了した食事主体の配膳量の総和、そして残りの食事主体人数に関する情報を用いて、残りの食事主体の１人当りの目標配膳量を算出して食堂管理者装置（図示せず）に提供する。
【0178】
このとき、食堂管理者は、食堂内で献立を立てて、食事の主体に直接配膳を行っている担当者を意味し、食堂の食堂管理者の前には、配膳する料理と共にディスプレイ装置３０のような食堂管理者デバイスを設置することができる。
【0179】
従って、食堂管理者は、配膳量調節モジュール１８１が食堂管理者ディスプレイに残りの食事主体の１人当たりの目標配膳量に関する情報を提供すると、これを用いて残りの食事主体に対する配膳量を調節できる。
【0180】
本発明の実施例において、食堂管理者は、前記のように食堂内で食事の主体に直接配膳を行う担当者を意味することもでき、食堂を管理する管理者或いは食堂の栄養士を意味することもできる。
【0181】
このような構成によって、残りの食事主体数に比べて配膳準備量が多く残っていると、残りの食事主体に対する１人当たりの目標配膳量を上昇させ、生ゴミを減らすという効果が得られる。
【0182】
また、残りの食事主体数に比べて配膳準備量が不足していると、残りの食事主体に対する１人当たりの目標配膳量を減少させ、食べ物が不足して食事できない人（食事の主体）が発生するのを防ぐという効果が得られる。
【0183】
一実施例として、運営情報生成段階（Ｓ１４０段階）は、配膳グループ管理モジュール１８３が各配膳人員の所属をチェックし、所属別に配膳量、残飯量及び食事量を格納し、これを用いて各所属別の好きな食べ物、嫌いな食べ物、残飯量、栄養状態のうちの少なくとも１つを含む所属別情報を生成する段階と、天気、曜日と各所属別の日程情報と前記所属別の情報をマッチングしてこれに対する関連性情報を抽出する段階と、を含むことができる。
【0184】
このとき、配膳人員の所属とは、会社の場合に会社、グループ、チームなどを意味し、学校の場合は学科、クラスなどを意味し、軍隊の場合には軍団、師団、連隊、大隊、中隊、小隊、分隊を意味し得る。
【0185】
そして、所属別の日程情報は、会社の場合には四半期、進行中のプロジェクト、事業を意味することができ、学校の場合は学期、試験期間などを意味することができ、軍隊の場合には各種訓練期間などを意味することができる。
【0186】
従って、本発明の実施例によると、食事主体の所属によって好きな食べ物と嫌いな食べ物に関する情報を用いて所属別の食べ物の好みを把握でき、今後の配膳メニューに対する正確なガイドを作成できるようになる。
【0187】
また、管理者は、所属別に残飯量と栄養状態について把握できるようになる。
【0188】
そして、天気、曜日と各所属別の日程情報を所属別情報とマッチングして関連性情報を抽出することで、管理者は、天気、曜日によって食事主体の食欲や食べ物の好みの変化をチェックできるようになり、軍隊の場合、各種訓練日程に応じて軍人の食事量などがいかに変化するかが把握できるようになる。
【0189】
管理者は、このような情報を用いて軍所属と訓練日程によって配膳メニューと配膳量を適切に調節し、訓練日程を消化する軍人に適した配膳を提供できる。
【0190】
一実施例として、運営情報生成段階（Ｓ１４０段階）は、食堂別に配膳量が類似しているのに対し、残飯量において一定量以上の差が発生する場合、管理部が、残飯量の少ない食堂が食材の等級と調理方法が優れているものと判断し、該当食堂の食材需給情報と食べ物の調理方法を他の食堂の食堂管理者デバイスに提供できる。
【0191】
例えば、２箇所又はそれ以上の食堂で食べ物のメニューと配膳量が類似しているのに対し、残飯量において大きな差が発生したとすれば、残飯量の少ない食堂は食材の等級が高く調理方法が優れており、残飯量の多い食堂は食材の等級が低く調理方法が劣っていることを意味し得る。
【0192】
従って、管理部が、残飯量が少なく発生した食堂の食材需給情報と食べ物の調理方法を他の食堂の食堂管理者デバイスに提供することで、食堂の質を向上させるという効果を発揮する。
【0193】
一実施例として、管理情報生成段階（Ｓ１５０段階）は、食事主体管理モジュール１８５が各食事主体の身体情報、配膳量、残飯量及び食事量を用いて、各食事主体の好きな食べ物、嫌いな食べ物、平均残飯量、栄養状態、平均食事量のうちの少なくとも１つを含む対象別情報を生成する段階を含む。
【0194】
また、食事主体管理モジュール１８５が前記対象別情報を用いて各食事主体の体力管理情報、肥満危険度を算出し、ダイエット状態に設定されていない食事主体の食事量が一定時間で一定量以下に減少するか、残飯量が一定時間で一定量以上に増加する場合、該当食事の主体を注意対象に設定する段階を含む。
【0195】
例えば、大半の軍人は規則的な生活と日程を消化するため、持続的に栄養状態を供給されなければならず、個人的な問題がある場合を除いては殆どの場合、一定の食事量を維持する。しかし、個人的な問題が発生して意欲が低下し、体調を崩した場合には食事量からこれが表れるため、これを用いて個々人の問題を早期発見できるようにする。
【0196】
従って、食事主体管理モジュール１８５は、ダイエット状態に設定されていない食事主体の食事量が一定時間で一定量以下に減少する場合、該当食事の主体に問題が発生して食欲が低下したものと判断し、該当食事の主体を注意対象に設定する。
【0197】
また、食事主体管理モジュール１８５は、ダイエット状態に設定されていない食事主体の残飯量が一定時間で一定量以上に増加する場合、該当食事の主体が配膳する飲食量は従来と同程度であるが、食欲が低下して食事量が減り、残飯量が増えるものと判断し、該当食事の主体を注意対象に設定する。
【0198】
このように、食事主体管理モジュール１８５が食事主体個々人を管理し、問題が発生した疑いのある食事の主体を注意対象に設定することによって、軍隊のような場所でケアが必要な兵士に事故が発生する前に危険の兆しを早期に発見し、管理者が相談をするなどの対策を講じられるという効果がある。
【0199】
この他にも、食事主体管理モジュール１８５は、食事の主体それぞれの栄養状態と平均食事量などの情報を含む対象別情報を生成するため、管理者は、このような情報を用いて所属別の特徴と状態はもちろん、個々人の特徴と状態を確認できる。
【0200】
一実施例として、運営情報作成段階（Ｓ１４０段階）は、食事主体の平均的な好きな食べ物、嫌いな食べ物、食事量を算出し、配膳メニュー推薦モジュール１８７がこれを用いて食堂の１つ以上の推薦メニューと配膳準備量を導き出し、食堂管理者デバイスに提供する段階を含む。
【0201】
１日に少なくとも１、２回以上配膳が行われる食堂で、毎日食事の主体の好みと栄養状態を考慮して配膳メニューを決めることは、食堂管理者には非常に難しい業務である。
【0202】
更には、栄養状態を考慮すると、食事主体の好み（好きな食べ物）と合わず、多量の食べ残し（生ゴミ）が発生し、食事主体の好みに合わせると、栄養状態のバランスを取り難くなるという問題がある。
【0203】
従って、配膳メニュー推薦モジュール１８７は、食事主体の平均的な好きな食べ物、嫌いな食べ物、食べ物のメニュー別の食事量を算出し、これを用いて推薦メニューと共に配膳準備量を導き出して提供することで、食堂管理者、管理者が食堂を管理するのに役立つようにするという効果がある。
【0204】
また、このようなアルゴリズムを実現するために、コンピュータのデータベース１７０には、食べ物別の関連度が格納されている。例えば、Ａ、Ｂ、Ｃの食べ物が関連度が高く、該当食堂の食事主体がＢ食べ物を好む場合、ＡとＣ食べ物も好む可能性が高いと判断できる。
【0205】
このとき、配膳メニュー推薦モジュール１８７は、後述する食べ物メニューの選好情報、味の評価点数を用いて推薦メニューを導き出せる。
【0206】
一実施例として、管理部１８０の配膳メニュー評価モジュール１８９は、配膳量、残飯量及び食事量に基づいて運営情報及び管理情報を生成し、配膳された食べ物それぞれの配膳量の変化量と残飯量の変化量を用いて各食べ物メニューの選好度及び配膳された食べ物自体の味の評価点数を評価することを特徴とする。
【0207】
コンピュータのデータベース１７０には、食堂で配膳する食べ物の配膳量に対する基準値が格納されている。食事の主体は、配膳されながら食べ物の外形や匂いなどによって美味しそうに見える場合は、配膳量を増やし、反対の場合は配膳量を減らすようになり、食事をしながら美味しくない食べ物の場合は、該当食べ物を多く残す。
【0208】
上述した構成は、このような特徴を用いて点数を評価するものであって、より詳細には、以下のような基準によって判断することになる。
【0209】
第一に、配膳メニュー評価モジュール１８９は、特定食べ物の配膳量が基準値よりも多く残飯量が基準値よりも少ない場合、該当食べ物メニューの選好度を上昇させ、配膳された食べ物自体の味の評価点数を上昇させる。
【0210】
この場合、配膳者（食事の主体）らが配膳される過程で食べ物を肉眼で見て本人が好きな食べ物であるため、該当食べ物の配膳量を増加させ、食事をしながらも美味しいと判断して該当食べ物を全て摂取したか、少なく残したものと判断することを意味する。
【0211】
従って、配膳メニュー評価モジュール１８９が該当食べ物メニューに対する選好点数を高く評価し、配膳された食べ物自体の味の評価点数も高く評価して食材の選択や食べ物の調理がうまく行われたと評価することになる。
【0212】
第二に、配膳メニュー評価モジュール１８９は、特定の食べ物の配膳量が基準値よりも多く残飯量が基準値よりも多い場合、該当食べ物メニューの選好度を上昇させ、配膳された食べ物自体の味の評価点数を下落させる。
【0213】
この場合、配膳者が配膳する過程で食べ物を肉眼で見て本人が好きな食べ物であるため、該当食べ物の配膳量を増加させたが、食事をしながら本人が予想した味と違うか、美味しくないと判断し、該当食べ物を多く残して残飯量が基準よりも多いものと判断することを意味する。
【0214】
従って、配膳メニュー評価モジュール１８９が、該当メニューに対する選好点数を上昇させ、配膳された該当食べ物自体の味の評価点数を低く評価して食材の選択や食べ物の調理がうまく行われなかったと評価することになる。
【0215】
第三に、配膳メニュー評価モジュール１８９は、特定の食べ物の配膳量が基準値よりも少なく、残飯量が基準値よりも少ない場合、該当食べ物メニューの選好度を下落させ、配膳された食べ物自体の味の評価点数を上昇させる。
【0216】
この場合、配膳者が配膳する過程で食べ物を肉眼で見て本人が好まない食べ物であるため、該当食べ物の配膳量を減少させたが、食事をしながら意外に美味しいと判断し、該当食べ物を全て摂取したか、少なく残したものと判断することを意味する。
【0217】
従って、配膳メニュー評価モジュール１８９が該当メニューに対する選好点数を低く評価し、配膳された食べ物自体の味の評価点数を高く評価して該当食べ物は配膳者が好むわけではないが、食材の選択や食べ物の調理がうまく行われたため、配膳者が満足したと評価することになる。
【0218】
第四に、配膳メニュー評価モジュール１８９は、特定の食べ物の配膳量が基準値よりも少なく、残飯量が基準値よりも多い場合、該当食べ物メニューの選好度を下落させ、配膳された食べ物自体の味の評価点数を下落させる。
【0219】
この場合、配膳者が配膳する過程で食べ物を肉眼で見て本人が好まない食べ物であるため、該当食べ物の配膳量を減少させ、食事をしながらも美味しくないと判断し、該当食べ物を多く残して残飯量が基準よりも多いものと判断することを意味する。
【0220】
従って、配膳メニュー評価モジュール１８９が該当メニューに対する選好点数を低く評価し、配膳された該当食べ物自体の味の評価点数も低く評価して該当食べ物は配膳者が好む食べ物でもなく、食材の選択や食べ物の調理がうまく行われなかったと評価することになる。
【0221】
このような配膳メニュー評価モジュール１８９の構成により、食堂管理者は各食べ物メニューに対する食事主体らの選好度（選好点数）、食べ物の味の評価点数によって食事主体らのための配膳メニューと食材などを準備できるようになるのはもとろん、食べ物の調理過程に問題があるか否かについても確認できる。
【0222】
一実施例として、管理部１８０の食事主体管理モジュール１８５は、食事主体の食事量に基づいて各食事の主体が摂取した栄養情報を生成し、一定時間の周期で生成された栄養情報に基づいて栄養摂取現況情報を導き出して提供する。
【0223】
そのとき、食事主体管理モジュール１８５は、導き出された情報を食事主体の端末、即ちユーザ端末３００、食事主体の保護者の端末、食事主体の管理者の端末、食堂管理者の端末などに提供できる。
【0224】
一実施例として、管理部１８０は、食事主体の食事量、食習慣情報を用いて栄養状態を改善させ、残飯量を減らすためのプログラムを行える。
【0225】
管理部１８０は、食事主体の食事量、残飯量に基づいて各食事主体の栄養情報及び食習慣情報を把握する。そして、これを用いて導き出された各食事主体の栄養状態及び残飯量の変化に応じてリワード又はペナルティを提供する。
【0226】
より詳しくは、管理部１８０は、食事主体の食べ物別の残飯量と食事量に基づいて各食事の主体がバランスの取れた栄養摂取と正しい食習慣を持っているかについて把握し、配膳時に以前の記録と比較して栄養状態が改善したと判断されると、該当食事の主体に褒賞、ポイントのようなリワードを提供し、栄養状態が改善されなかったか、悪化したと判断されると、罰のようなペナルティを提供することを意味する。
【0227】
また、管理部１８０は、配膳時に各食事主体の残飯量を格納し、モニタリングして特定の食事主体の残飯量が減少していると判断されると、該当食事の主体にリワードを提供し、残飯量が減少していないか、増加していると判断されると、該当食事の主体に罰のようなペナルティを提供することを意味する。
【0228】
このように各食事主体の栄養情報、食習慣情報を把握し、行動の変化に応じてリワード又はペナルティを提供するため、自然に食事の主体が偏食せず、栄養バランスの取れた食事をするように誘導し、生ゴミの発生を減少させるという効果を発揮する。
【0229】
例えば、食事の主体が小中学生や患者のように保護者の管理が必要な場合、管理部１８０の食事主体管理モジュール１８５は、撮影部２５０によって得られた食事主体の食前食器のイメージ、食後食器のイメージを食事主体保護者の端末に提供できる。
【0230】
そして、食事主体の保護者は、アプリケーションを介して写真を確認し、食事の主体がきちんと食事をしているか否かが確認できる。
【0231】
小中学生や患者の場合、健康のために栄養バランスの取れた食事をしなければならないため、持続的な管理が必要であり、保護者に該当小中学生の栄養状態に関する情報を提供することが必要である。
【0232】
従って、食事主体管理モジュール１８５は、小中学生又は患者それぞれの身体情報又は健康情報を周期的に入力して管理し、身体情報と学校の日程などを考慮して小中学生別の基礎代謝量と必要な栄養素などに関する情報を導き出す。
【0233】
そして、食事主体管理モジュール１８５は、小中学生又は患者の配膳メニューと食事量データ、基礎代謝量に基づいて栄養状態、食習慣を判断する。
【0234】
食事主体管理モジュール１８５は、このように確保されて判断された情報をユーザ端末３００、食事主体保護者の端末に提供すると共に、各食事主体の栄養状態と食習慣によって該当食事の主体が自宅で摂取すれば良い推薦メニューを導き出し、状況に応じて栄養剤を推薦できる。
【0235】
例えば、Ａ小中学生の食習慣と栄養状態を評価した結果、ビタミンＡ、Ｄが不足する恐れがあると判断されると、ビタミンＡ、Ｄを十分に摂取できるメニューを推薦メニューとして導き出し、ビタミンＡ、Ｄの欠乏程度が深刻であると判断されると、栄養剤を推薦することを意味する。
【0236】
ここで、食事の主体が小中学生又は患者でないとしても、分析された使用者の栄養状態、食習慣、偏食するか否かなどに基づいて、コンピュータは使用者の栄養状態のバランスが崩れている場合、使用者に必要な栄養素が何か、使用者の食習慣に合っていると共に使用者の栄養状態のためのメニューを導き出し、ユーザ端末３００に情報を提供することもでき、各種栄養剤に関する情報を提供することで、広告効果を発揮することもできる。
【0237】
この他に、ユーザ端末３００を用いる場合に提供できるサービスについて説明する。コンピュータは、食べ物の種類別に使用者が摂取した量を把握できるため、使用者の食習慣を分析でき、各食べ物に含まれている栄養素に関する情報を用いて使用者の栄養摂取について把握できる。
【0238】
また、ユーザ端末３００にインストールされたサービスアプリケーションを介して使用者の身体情報について入力を受けることができ、このような身体情報を用いて使用者の基礎代謝量を算出できる。
【0239】
そして、このように導き出された使用者の栄養状態、食習慣情報を用いて、使用者にマッチングする１つ以上の食べ物のメニューを導き出し、サービスアプリケーションに提供でき、他の食品注文アプリケーションと連動して情報を提供することもできる。
【0240】
このとき、サービスアプリケーションは、使用者から好きな食べ物、嫌いな食べ物を直接入力することができ、使用者のアレルギー（Ａｌｌｅｒｇｙ）、病気などに関する情報の入力を受けて、使用者が食べてはいけない食べ物を推薦メニューから外すことができる。
【0241】
また、判断部１３０は、このような情報を用いて携帯用装置５０の撮影部５５によって撮影された食べ物イメージ内に使用者が食べてはいけない食べ物が含まれている場合、サービスアプリケーションに警告（通知）を提供して使用者が誤って該当食べ物を摂取するのを防止できる。
【0242】
一実施例として、サービスアプリケーションは、使用者が使用し着用するウェアラブル機器と連動して各種測定データを受信できる。このような構成が含まれる場合、コンピュータは、使用者の基礎代謝量、健康情報などをより詳細に確保でき、各種ヘルスケア情報として活用することもできる。
【0243】
コンピュータは、ユーザ端末３００を介して使用者の毎回の食事時の食前の飲食量、食事量、残飯量に対するデータを収集し、データベース１７０に格納することで、使用者の栄養状態、食習慣情報などに関する情報を形成し、使用者の身体情報と各種健康、運動アプリケーションを介して収集される使用者の活動指数、活動情報、運動情報などに対するデータを収集し、使用者のヘルスケア情報を形成できる。
【0244】
また、その他にも、健康管理アプリケーション、医療情報アプリケーションなどと連動して、使用者の医療情報を収集することで、使用者の栄養状態、食習慣情報とヘルスケア情報、医療情報から使用者にカスタマイズされた献立、健康補助食品に関する情報を導き出して提供することもでき、それと関連する商品を、サービスアプリケーションを介して直接販売することもできる。
【0245】
例えば、外部のサーバ（図示せず）で提供するサービスアプリケーションのサービスに加入する場合、健康診断を提供することもでき、使用者にカスタマイズされた健康補助食品を提供することもでき、週に１回オーダーメイドメニューを配送するなど、多様な形態のサービスを提供することができる。
【0246】
以下、本発明の実施例に係る食べ物測定方法を具現するための装置及びサーバを説明する。
【0247】
【0248】
図５を参照すると、本発明の実施例に係る食べ物測定サーバ１００は、受信部１１０、抽出部１２０、判断部１３０、算出部１４０、補正部１５０、認証部１６０、データベース１７０、通信部１９０を含む。
【0249】
但し、複数の実施例において、サーバ１０は、図５に示された構成要素よりも少数の構成要素や更に多数の構成要素を含むこともできる。
【0250】
受信部１１０は、１つ以上の撮影部２５０によって撮影された食器のイメージを受信する。
【0251】
抽出部１２０は、食べ物が盛られた食器イメージデータから食器５００の各空間５１０に収容された食べ物イメージデータを抽出する。
【0252】
判断部１３０は、抽出された食べ物イメージデータによって各食べ物の種類を判断する。
【0253】
算出部１４０は、抽出された食べ物イメージデータのピクセル別の高さ情報を用いて各食べ物の体積を算出する。
【0254】
データベース１７０は、空き食器のイメージと食器５００に形成された複数の空間５１０に対する大きさ、深さ及び容量を含む食器情報と、食べ物別の体積当たりの重さを含む食べ物情報を格納している。
【0255】
管理部１８０は、配膳量調節モジュール１８１、配膳グループ管理モジュール１８３、配膳対象管理モジュール１８５、配膳メニュー推薦モジュール１８７及び配膳メニュー評価モジュール１８９を含み、各モジュールの機能は上述した通りである。
【0256】
通信部１９０は、食堂に設置されている撮影部２５０から撮影された食器イメージを受信できるように通信を行い、サーバ１０で算出して生成された各種情報を担当者又はユーザ端末に伝送する役割を果たせる。
【0257】
認証部１６０は、食べ物測定装置２００、キオスク装置３０のような装置から受信した使用者情報を認証して使用者を識別し、使用者に関する各種情報をロードする。
【0258】
また、サーバ１０の算出部１４０によって算出された配膳用食器内の食べ物の重さ、カロリーなどに関する情報を認証部１６０によって認証されたユーザ端末に提供する。そのとき、サーバ１０自体で提供するサービスアプリケーションを介して情報を提供できる。
【0259】
更に、本発明の実施例に係るコンピュータ（サーバ、装置）は、食べ物の算出の正確度を向上させるために、以下の動作を行える。
【0260】
一実施例として、算出部１４０は、前記段階により算出された食事主体の食事量と残飯量の和が配膳量と一致するか検証を行い、検証結果によって一致しない場合、算出部１４０は、食事量又は残飯量の和が配膳量と一致するように、前記段階により算出された食事量、残飯量及び配膳量のうちの少なくとも１つを補正でき、これによる結果をデータベース１７０に記録する。
【0261】
また、算出部１４０は、前記段階により算出された食堂の食事主体の食事量の総和と残飯量の総和を合わせたものが配膳量の総和と一致するか検証を行い、検証の結果、一致しない場合は、算出部１４０は、食事量の総和と残飯量の総和を合わせたものが配膳量の総和と一致するように、前記段階により算出された食事量の総和、残飯量の総和及び配膳量の総和のうちの少なくとも１つを補正でき、これによる結果をデータベース１７０に記録する。
【0262】
より詳しくは、算出部１４０は、食堂で食事をする食事主体らの配膳量の総和と残飯量の総和の差値が食事量の総和と一致するか否かを検証する。
【0263】
また、算出部１４０は、食堂に準備された食べ物の総和を食堂で発生した残飯量の総量、食堂で発生した残食量の総量及び該当食堂の食事主体の食事量の総和を合わせたものと比較して検証を行い、検証の結果、差が発生する場合、算出部１４０は、食堂に準備された食べ物の総和が、食堂で発生した残飯量の総量、食堂で発生した残食量の総量及び該当食堂の食事主体の食事量の総和を合わせたものと一致するように、残飯量の総量、残食量の総量及び食事量の総和のうちの少なくとも１つを補正でき、例えば食事量を補正でき、これによる結果をデータベース１７０に記録できる。
【0264】
ここで、残飯量は食事の主体に配膳され、食事の主体が食べ残した食べ物の量であり、残食量は食事の主体に配膳されずに残された食べ物の量であることができ、残食量は前記段階により算出されるか、別の方法によって算出できる。
【0265】
より詳しくは、データベース１７０には、食堂で毎回配膳のために準備した食べ物の総体積（重さ）、残食量の総体積（重さ）及び残飯量の総体積（重さ）の測定結果を格納することができ、算出部１４０は、準備した食べ物の総体積（重さ）を残飯量の総体積（重さ）、残食量の総体積（重さ）及び前記段階により算出された食堂の食事主体の食事量の総和を合わせたものと比較して検証を行い、検証の結果、差が発生する場合、算出部１４０は、食堂に準備された食べ物の総和が食堂で発生した残飯量の総量、食堂で発生した残食量の総量及び該当食堂の食事主体らの食事量の総和を合わせたものと一致するように、前記段階により算出された食事主体の食事量の総和を補正でき、これによる結果をデータベース１７０に記録できる。（例えば、食堂で準備したＡメニューの総体積が２００であり、残された量がなく全て配膳されたとすれば、食事の主体に配膳されたＡメニューの体積の総和は２００に近似していなければならない。）
【0266】
このように、算出部１４０が各種情報を用いて検証を行い、算出／補正による正確度を記録することによって、問題を把握し、改善していくことができる。
【0267】
一実施例として、本発明の実施例に係る算出部１４０の人工知能アルゴリズムは、体積認識の検証及び信頼性の増加方策として、イメージ学習結果を用いた体積認識正確度の比較及び補完作業を行うことができる。例えば、互いに異なる量のパンに対するイメージを入力させ、体積の多少に対して判断をさせ、誤差やノイズが発生する場合に再学習させることで、正確度を上昇させることができる。
【0268】
【0269】
【0270】
食べ物測定装置２００は、配膳が行われる場所に設けることができ、受信部１１０、抽出部１２０、判断部１３０、算出部１４０、補正部１５０、認証部１６０、データベース１７０、通信部１９０、ディスプレイ部２１０、決済部２４０、撮影部２５０を含む。但し、複数の実施例において、食べ物測定装置２００は、図１２に示された構成要素よりも少数の構成要素や更に多数の構成要素を含むこともできる。
【0271】
図１３及び図１４を参照すると、食べ物測定装置２００は、食器５００が置かれる測定領域２２０又はプレート２３０が備えられている。図１３及び図１４を参照すると、撮影部２５０は、測定領域２２０又はプレート２３０に置かれた食器５００を撮影する。
【0272】
また、測定領域２２０又はプレート２３０は、内部に重量測定装置（図示せず）が形成され、上面に置かれた配膳用食器の重さを測定できる。
【0273】
受信部１１０は、１つ以上の撮影部２５０によって撮影された食器のイメージを受信する。ここで、撮影部２５０は、食器５００の上側で食器５００の上面を撮影できるように位置し、識別情報感知部２５１が存在する場合、識別情報感知部２５１は、撮影部２５０による食器５００の撮影と同時に、食器５００の識別情報を上側、下側又は側面から感知できるように位置し得る。
【0274】
抽出部１２０は、食べ物が盛られた食器イメージデータから食器５００の各空間５１０に収容された食べ物イメージデータを抽出する。
【0275】
判断部１３０は、抽出された食べ物イメージデータによって各食べ物の種類を判断する。
【0276】
算出部１４０は、抽出された食べ物イメージデータのピクセル別の高さ情報を用いて各食べ物の体積を算出する。
【0277】
データベース１７０は、空き食器のイメージと食器５００に形成された複数の空間５１０に対する大きさ、深さ及び容量を含む食器情報と、食べ物別の体積当たりの重さを含む食べ物情報が格納されている。
【0278】
通信部１９０は、食堂に設置されている撮影部２５０から撮影された食器イメージを受信できるように通信を行い、サーバ１０で算出して生成された各種情報を担当者又はユーザ端末に伝送する役割を果たせる。
【0279】
認証部１６０は、食べ物測定装置２００、キオスク装置のような装置から受信した使用者情報を認証して使用者を識別し、使用者に関する各種情報をロードする。
【0280】
サーバ１０の算出部１４０によって算出された配膳用食器内の食べ物の重さ、カロリーなどに関する情報を認証部１６０によって認証されたユーザ端末に提供する。そのとき、サーバ１０自体で提供するサービスアプリケーションを介して情報を提供できる。
【0281】
食べ物測定装置２００は、ディスプレイ２４０を含み、使用者を認証できる使用者認証情報の入力を受けることもでき、ディスプレイを介して撮影されたイメージを表示することもできる。
【0282】
また、図１３のような形態の食べ物測定装置２００が設けられている場合、使用者が測定領域２２０に食器５００を位置させると、測定領域２２０内に設けられた撮影部２５０が食器を撮影し、食器のイメージ、食後の食器イメージを獲得できる。そして、食べ物測定装置２００自体に決済部２４０が備えられており、使用者が食べ物の測定と決済を同時に行うこともできる。
【0283】
複数の実施例において、図１４（Ｃ）を参照すると、食べ物測定装置２００は、プレート２３０を含まないことができ、食事の主体が食器５００を持っている状態で撮影部２５０による撮影と識別情報感知部２５１による感知が行われることができる。
【0284】
複数の実施例において、図１５を参照すると、コンベヤベルト２７０が設置された返却口に食べ物測定装置２００を設けることができる。コンベアベルト２７０によって食器５００が移動する過程で食器５００の上側で撮影部２５０が食器５００を撮影できる。
【0285】
複数の実施例において、食べ物測定装置２００は、撮影部２５０、識別情報感知部２５１及び認証部１６０を含むことができ、撮影部２５０が相対的に最も高い領域に位置し、認証部１６０が撮影部２５０と識別情報感知部２５１との間に位置し、識別情報感知部２５１が相対的に最も低い領域に位置することができる。食べ物測定装置２００がこのような構造を有しているため、食事の主体が食べ物測定装置２００の前に止まるだけで、撮影部２５０、識別情報感知部２５１及び認証部１６０が食事の主体や食器５００から必要な情報を得ることができ、これにより食事の主体の不便を軽減させることができる。
【0286】
撮影部２５０が最も高い領域に位置する理由は、上から食器５００を撮影するためである。認証部１６０が食事主体の顔面を認識するとすれば、食事の主体が食器５００を持ったとき、食器５００は、食事主体の顔面よりも下に位置するため、認証部１６０は、識別情報感知部２５１よりも相対的に上に位置し得る。ここで、食器５００の識別情報５３０は、食器５００の側面に位置して食事の主体が食器５０を持って立っている場合、識別情報感知部２５１により認識されることができる。
【0287】
一方、識別情報感知部２５１及び認証部１６０は、常に作動するものではなく、撮影部２５０によって食器５００が撮影されて認識される場合にのみ作動でき、これにより撮影部２５０による食器５００の認識は一種のイネイブラとなって、識別情報感知部２５１及び認証部１６０を効果的に作動させることができる。
【0288】
図１６を参照すると、食べ物測定装置２００はテーブルに立てられるか、壁に掛けられることができる。食べ物測定装置２００の前面には、ディスプレイ部２１０が位置し、食べ物測定装置２００の前面に食べ物又は食べ物が盛られた食器を撮影するための撮影部２５０ａと食事主体の生体情報を撮影するための撮影部２５０ｂが位置する。
【0289】
食べ物測定装置２００は、上部が前方に向かって傾いてティルティングされることができ、食べ物又は食べ物が盛られた食器を撮影するための撮影部２５０ａは、食べ物測定装置２００のティルティングされた領域に位置し、下方にある食器５００を撮影できる。食事主体の生体情報を撮影するための撮影部２５０ｂは、ティルティングされた領域にはないものと示されているが、ティルティングされた領域に位置しても構わない。
【0290】
そして、食事の主体が食べ物測定装置２００又はユーザ端末３００で食べ物が盛られた食器５００を撮影すると、図１７の画面をディスプレイ部２１０／３１０に表示することができる。
【0291】
例えば、撮影部２５０／３５０によって撮影された食べ物が盛られた食器のイメージを表示することができ、食べ物の種類とそれによるカロリーに関する情報を表示することができる。そして、飲料水などがカップに入っている場合、該当カップで飲料水の高さを表示することができる。これと共に、食べ物を摂取する場合のカロリーを消費するためにしなければならない運動と運動時間に関する情報も共に表示され得る。この他に、摂取予定である食べ物の栄養情報と価格情報も共に表示することができる。この他に、図１８及び図１９は、それぞれ図１０及び図１２と比較して、食べ物測定装置２００の役割をユーザ端末３００が果たすことにのみ差があるので、詳細な説明は省略する。
【0292】
【0293】
以上で前述した本発明の一実施例に係る食べ物測定方法は、ハードウェアであるサーバと結合されて実行されるためにプログラム（又はアプリケーション）に具現されて媒体に格納することができる。
【0294】
前述したプログラムは、前記コンピュータがプログラムを読み込んでプログラムに実現した前記方法を実行させるために、前記コンピュータのプロセッサ（ＣＰＵ）が前記コンピュータの装置インターフェースを介して読み取られるＣ、Ｃ++、ＪＡＶＡ（登録商標）、機械語などのコンピュータ言語でコード化されたコード（Ｃｏｄｅ）を含むことができる。このようなコードは、前記方法を実行するのに必要な機能を定義した関数などと関連する機能的なコード（Ｆｕｎｃｔｉｏｎａｌ Ｃｏｄｅ）を含むことができ、前記機能を前記コンピュータのプロセッサが所定の手順通りに実行させるのに必要な実行手順関連の制御コードを含むことができる。また、このようなコードは、前記機能を前記コンピュータのプロセッサが実行させるのに必要な追加の情報やメディアが前記コンピュータの内部又は外部メモリのどの位置（アドレス）で参照されるべきかに対するメモリ参照関連のコードを更に含むことができる。更に、前記コンピュータのプロセッサが前記機能を実行させるために、遠隔（Ｒｅｍｏｔｅ）にある任意の他のコンピュータやサーバなどと通信が必要な場合、コードは前記コンピュータの通信モジュールを用いて遠隔にある任意の他のコンピュータやサーバなどとどのように通信すべきか、通信時に如何なる情報やメディアを送受信すべきかなどに対する通信関連のコードを更に含むことができる。
【0295】
前記格納される媒体は、レジスタ、キャッシュ、メモリなどといった短時間でデータを格納する媒体ではなく、半永久的にデータを格納し、機器により読み取り（ｒｅａｄｉｎｇ）可能な媒体を意味する。具体的には、前記格納される媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ-ＲＯＭ、磁気テープ、フロッピーディスク、光データ格納装置などがあるが、これに限らない。即ち、前記プログラムは、前記コンピュータが接続可能な多様なサーバ上の多様な記録媒体又はユーザの前記コンピュータ上の多様な記録媒体に格納されることができる。また、前記媒体は、ネットワークで接続されたコンピュータシステムに分散し、分散方式でコンピュータが読み取れるコードが格納されることができる。
【0296】
本発明の実施例と関連して、説明された方法やアルゴリズムの段階は、ハードウェアにより直接実現されるか、ハードウェアによって実行されるソフトウェアモジュールにより実現されるか、それらの結合によって実現させることができる。ソフトウェアモジュールは、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）、ハードディスク、着脱型ディスク、又は本発明の属する技術分野において周知となっている任意の形態のコンピュータ読み取り可能な記録媒体に常に存在することもできる。
【0297】
以上、添付の図面を参照して本発明の実施例を説明したが、本発明が属する技術分野における通常の技術者は、本発明がその技術的思想や必須な特徴を変更することなく、他の具体的な形態に実施され得るということが理解できるはずである。従って、以上で述べた実施例はあらゆる面で例示的なものであり、制限的ではないものとして理解すべきである。
【図1】
【図2A】
【図2B】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
