特許 7064853 調理内容判別システム及び摂取内容判別システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-04-27

(45)【発行日】2022-05-11

(54)【発明の名称】調理内容判別システム及び摂取内容判別システム

(51)【国際特許分類】

   G06Q 50/10 20120101AFI20220428BHJP

【ＦＩ】

G06Q50/10

【請求項の数】 4

(21)【出願番号】P 2017231798

(22)【出願日】2017-12-01

(65)【公開番号】P2019101736

(43)【公開日】2019-06-24

【審査請求日】2020-11-12

(73)【特許権者】

【識別番号】504093467

【氏名又は名称】トヨタホーム株式会社

(74)【代理人】

【識別番号】100121821

【弁理士】

【氏名又は名称】山田 強

(74)【代理人】

【識別番号】100161230

【弁理士】

【氏名又は名称】加藤 雅博

(72)【発明者】

【氏名】上野 太輔

【審査官】松田 岳士

(56)【参考文献】

【文献】国際公開第２０１７／１９９３８９（ＷＯ，Ａ１）

【文献】国際公開第２０１６／０３１２４６（ＷＯ，Ａ１）

【文献】特開２００５－２５０７６６（ＪＰ，Ａ）

【文献】特開２００７－０２０８３３（ＪＰ，Ａ）

【文献】特開２０１３－２５０６９９（ＪＰ，Ａ）

【文献】特開２００９－１５１６１６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１５／０２２８０６２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｑ １０／００－９９／００

(57)【特許請求の範囲】

【請求項1】

キッチンにおける料理の調理状況を撮影する第１撮影手段と、
ダイニングにおける料理の調理状況を撮影する第２撮影手段と、
前記第１撮影手段及び前記第２撮影手段による各撮影結果に基づいて、調理内容を判別する調理内容判別手段と、
を備え、
前記調理内容判別手段は、
前記第１撮影手段による撮影結果から、調理に使用された食材及び調味料の種別及び量を判別する手段と、
前記第２撮影手段による撮影結果から、調理に使用された食材及び調味料の種別及び量を判別する手段と、
各種料理に係るレシピ情報、カロリー情報、栄養素を少なくとも含む、料理データベースに登録されている料理と、前記第１撮影手段及び前記第２撮影手段により撮影された料理とを比較し、使用されている食材及び調味料の差異部分を補正する手段と、
前記補正された結果に基づいて、前記撮影された料理のカロリー及び栄養素を判別する手段と、
を備えていることを特徴とする調理内容判別システム。

【請求項2】

前記調理内容判別手段は、
前記第１撮影手段又は前記第２撮影手段により撮影された画像に基づき、基準となる寸法を特定し、前記寸法に基づいて少なくとも前記調理に用いた食材の量を判別する、請求項１に記載の調理内容判別システム。

【請求項3】

キッチンにおける料理の調理状況を撮影する第１撮影手段と、
ダイニングにおける料理の調理状況を撮影する第２撮影手段と、
前記第１撮影手段及び前記第２撮影手段による各撮影結果に基づいて、調理内容を判別する調理内容判別手段と、
前記第１撮影手段及び前記第２撮影手段によって撮影された料理のデータを少なくとも一定期間記憶しておく記憶手段と、
を備え、
前記調理内容判別手段は、
前記第１撮影手段及び前記第２撮影手段によって撮影された料理が、今回の調理によって作られた料理ではないと判断される場合、前記記憶手段に記憶されている以前調理された料理であるか否かを判断し、
前記以前調理された料理である場合には、その料理の調理状況をもとに調理内容を判別することを特徴とする調理内容判別システム。

【請求項4】

請求項１～３のいずれか１項に記載の調理内容判別システムと、
前記第２撮影手段による撮影結果から、前記調理内容判別システムによる判別対象とされた料理の摂取量を判別する摂取量判別手段と、
前記調理内容判別手段及び前記摂取量判別手段の各判別結果に基づいて、食事をした人の摂取カロリー及び栄養バランスの少なくとも一方を推定する推定手段と、
を備える、摂取内容判別システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、家庭における調理内容を判別する調理内容判別システム及び食事における摂取内容を判別する摂取内容判別システムに関する。

【背景技術】

【0002】

飲食店において、テーブル上から食事状況を撮影することにより、客が摂取した食事又は客が残した食事の内容を自動的に判別するシステムが提案されている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００５－０４４１７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記提案のシステムを家庭に適用しようとした場合、家庭ごとに食材が変わることがあるし、カレーライスなど食材が溶け込んでしまう料理では完成した料理から食材を把握できないこともある。そのため、上記提案のシステムを家庭に適用しても精度があまりにも低く、家庭ごとに適合したシステムとしては実用に供し得ない。

【0005】

本発明は、上記事情に鑑みてなされたものであり、家庭で調理された調理内容を精度よく自動的に判別することのできる調理内容判別システム、及び家庭の食事で摂取された摂取内容を精度よく自動的に判別することのできる摂取内容判別システムを提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成すべく、第１の発明の調理内容判別システムは、キッチンにおける料理の調理状況を撮影する第１撮影手段と、ダイニングにおける料理の調理状況を撮影する第２撮影手段と、前記第１撮影手段及び前記第２撮影手段による各撮影結果に基づいて、調理内容を判別する調理内容判別手段と、を備えていることを特徴とする。

【0007】

第１の発明によれば、キッチン及びダイニングにおける調理状況を踏まえて総合的に調理内容を判別することができる。そのため、キッチンで調理の一部を行い、ダイニングで調理の残りの部分を行った場合であっても、調理内容を精度よく自動的に把握することができる。

【0008】

第２の発明は、第１の発明において、前記調理内容判別手段は、前記第１撮影手段による撮影結果から、調理に使用された食材及び調味料の種別及び量を判別する手段と、前記第２撮影手段による撮影結果から、調理に使用された食材及び調味料の種別及び量を判別する手段と、を備える。

【0009】

第２の発明によれば、調理内容として、キッチン及びダイニングにおける食材に加え、調味料も把握することができる。そのため、例えばキッチンで一旦完成した料理に対し、ダイニングで薬味や香辛料を追加したような場合であっても、食事に供される料理に使用された食材及び調味料を精度よく自動的に把握することができる。

【0010】

第３の発明は、第２の発明において、前記調理内容判別手段は、各種料理に係るレシピ情報、カロリー情報、栄養素を少なくとも含む、料理データベースに登録されている料理と、前記第１撮影手段及び前記第２撮影手段により撮影された料理とを比較し、使用されている食材及び調味料の差異部分を補正し、前記補正された結果に基づいて、前記撮影された料理のカロリー及び栄養素を判別する。

【0011】

第３の発明によれば、レシピ情報、カロリー情報、栄養素等については料理データベースを基本としつつ、家庭ごとに異なる使用食材等を補正要素とすることで、料理データベースの利点を活用しつつ当該データベースの欠点を補うことができる。

【0012】

第４の発明は、第１～第３の発明において、前記調理内容判別手段は、前記第１撮影手段又は前記第２撮影手段により撮影された画像に基づき、基準となる寸法を特定し、前記寸法に基づいて少なくとも前記調理に用いた食材の量を判別する。

【0013】

同じ食材でも大きさが判別できなければカロリー等の計算ができないが、第４の発明によれば、各撮影手段により撮影された食材の量を、撮影された画像に映りこむ基準寸法から特定することができる。

【0014】

第５の発明は、第１～第４の発明において、前記第１撮影手段及び前記第２撮影手段によって撮影された料理のデータを少なくとも一定期間記憶しておく記憶手段を備え、前記調理内容判別手段は、前記第１撮影手段及び前記第２撮影手段によって撮影された料理が、今回の調理によって作られた料理ではないと判断される場合、前記記憶手段に記憶されている以前調理された料理であるか否かを判断し、前記以前調理された料理である場合には、その料理の調理状況をもとに調理内容を判別する。

【0015】

家庭では、料理を作り置きしておく場合や、残った料理を冷蔵庫等に保存して再度食事に利用することがある。第５の発明によれば、過去に撮影された料理がダイニングにて食事に供された場合、この状況を判断して、過去に判別済みの食材や調味料などを特定することができるようにしてある。その結果、家庭でよくみられる作り置き等に対しても対応することができる。

【0016】

第６の発明の摂取内容判別システムは、第１～第５の発明のいずれかの調理内容判別システムと、前記第２撮影手段による撮影結果から、前記調理内容判別システムによる判別対象とされた料理の摂取量を判別する摂取量判別手段と、前記調理内容判別手段及び前記摂取量判別手段の各判別結果に基づいて、食事をした人の摂取カロリー及び栄養バランスの少なくとも一方を推定する推定手段と、を備える。

【0017】

第６の発明によれば、調理内容判別システムにより判別された調理内容と、その調理により提供される料理の摂取状況とから、食事をした人の摂取カロリー及び栄養バランスの少なくとも一方が推定される。この推定結果を利用すれば、カロリーオーバーであることや栄養バランスが崩れていることなど、家庭における食事による各種の状況を得ることができる。

【図面の簡単な説明】

【0018】

【図1】キッチン及びダイニングの概略を示す平面図。

【図2】判別システムの構成を示す概略図。

【図3】料理データベースの登録情報を説明するための概略図。

【図4】撮影処理を示すフローチャート。

【図5】調理内容判別処理を示すフローチャート。

【図6】判別された食材等のデータを示す概略図。

【図7】補正処理を説明するための説明図。

【図8】摂取内容判別処理を示すフローチャート。

【図9】作り置き用処理を示すフローチャート。

【発明を実施するための形態】

【0019】

以下、本発明を具体化した一実施の形態について図面を参照しつつ説明する。図１はキッチン１１及びダイニング１２の概略を示す平面図、図２は判別システムの構成を示す概略図である。

【0020】

図１に示すように、建物１０には、屋内空間としてのキッチン１１及びダイニング１２が設けられている。本実施の形態においてキッチン１１及びダイニング１２は連続した一体空間として形成されている。

【0021】

キッチン１１にはキッチン設備２１が設置されており、キッチン設備２１によりキッチン１１とダイニング１２とが仕切られている。キッチン設備２１は横長状の作業台２２（キッチン台）を備えており、作業台２２の上面部には、コンロ２３とシンク２４（流し台）とカウンタ２５とが設けられている。コンロ２３及びシンク２４は作業台２２の長手方向（幅方向）における両側に配置され、それらの間にカウンタ２５が配置されている。ダイニング１２には、ダイニングテーブル２６と複数の椅子２７とを有するダイニングセット２８が設置されている。

【0022】

キッチン１１及びダイニング１２には、調理内容判別機能と摂取内容判別機能とを有する判別システムが搭載されている。調理内容判別機能は、家庭での調理過程を撮影し、その撮影結果から調理内容を判別するものであり、摂取内容判別機能は、ダイニング１２での食事過程を撮影し、その撮影結果から食事をした人の摂取内容を判別するものである。以下、これらの機能を有する判別システムの構成について詳細に説明する。

【0023】

図２に示すように、キッチン１１の天井面１１ａには、キッチン１１における料理の調理状況を撮影する第１撮影手段としての第１カメラ３１が設置されている。第１カメラ３１は、キッチン設備２１の上方に配置され、作業台２２を撮影するように撮影方向が下方に向けられている。第１カメラ３１は、動画撮影が可能なカメラであり、キッチン１１での調理状況を漏れなく撮影するために、カウンタ２５及びコンロ２３の全体を含むように撮影範囲Ｓ１が設定されている（図１参照）。

【0024】

ダイニング１２の天井面１２ａには、ダイニング１２における料理の調理状況を撮影する第２撮影手段としての第２カメラ３２が設置されている。第２カメラ３２は、例えばダイニング１２で調理の仕上げが行われたり、個人の好みに応じて薬味や香辛料が加えられたりするなど、ダイニング１２で調理の一部が行われることを踏まえて設置されるものである。第２カメラ３２は、ダイニングテーブル２６の上方に配置され、ダイニングテーブル２６の天板２６ａを撮影するように撮影方向が下方に向けられている。第２カメラ３２は、動画撮影が可能なカメラであり、天板２６ａ上のどこで調理が行われても撮影できるように、天板２６ａの全体を含むように撮影範囲Ｓ２が設置されている（図１参照）。

【0025】

第１カメラ３１及び第２カメラ３２はコントローラ３５と電気的に接続されており、各カメラ３１，３２からは撮影内容に応じた画像信号がコントローラ３５に対して出力される。

【0026】

コントローラ３５は、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなる周知のマイクロコンピュータを含んで構成されている。コントローラ３５には、食材、調味料及び料理の情報が予め登録された料理データベース３６が設けられている。

【0027】

ここで、料理データベース３６の登録情報について図３を参照しつつ説明する。料理データベース３６の登録情報には、食材情報３６ａと、調味料情報３６ｂと、料理情報３６ｃとが含まれている。

【0028】

食材情報３６ａでは、食材の種類と対応付けて、その食材の画像情報と、その食材のカロリー情報と、その食材に含まれる栄養素を示す栄養素情報とが登録されている。このうちカロリー情報については、その食材の基準量（たとえばジャガイモであれば１個）当たりのカロリーを示すものとなっている。

【0029】

さらに食材情報３６ａでは、使用個数で量を特定することが一般的な食材（例えば野菜類）については、１個当たりの大きさを示す基準サイズ情報が登録されている。また、重さで量を特定することが一般的な食材（例えば肉類等）については、大きさから重さに変換するための変換用情報が登録されている。

【0030】

調味料情報３６ｂでは、調味料の種類と対応付けて、その調味料の容器に付されている印の画像情報と、カロリー情報と、栄養素情報と、変換用情報とが登録されている。本実施の形態では、各調味料の容器に固有の印（識別情報）が付されており、上記印の画像情報はこれに対応したものとなっている。これは、例えばソースと醤油、塩と砂糖など、画像上での区別が困難な調味料があることに配慮したものである。また、調味料情報３６ｂにおける変換用情報は、液状物であれば大きさを、粒状物であれば粒数を計量単位での使用量（例えば小さじ１など）に変換するための情報となっている。

【0031】

料理情報３６ｃでは、料理の種類と対応付けて、料理の画像情報と、レシピ情報と、カロリー情報と、栄養素情報とが登録されている。レシピ情報は、その料理の一般的なレシピを示すものであり、レシピ情報において各食材の使用量を示す情報は、例えば４人分に相当する量を示すものとなっている。また、カロリー情報は、レシピ情報のレシピ通りに作成した料理の１人分のカロリーを示すものであり、栄養素情報は、その料理に含まれる栄養素を示すものである。このうち、少なくともレシピ情報については、スマートフォンやＰＣなどの表示用端末４０（図２参照）に表示可能となっており、レシピを見て料理を作ることが可能となっている。

【0032】

図２に示すコントローラ３５では、第１カメラ３１及び第２カメラ３２の撮影結果と、料理データベース３６の登録情報とに基づいて、調理で使用された食材及び調味料の種別及び量や、調理された料理の種別等を判別する。また、第２カメラ３２の撮影結果から、食事をした人の料理の摂取量を判別し、食材等の判別結果及び摂取量の判別結果に基づいて摂取カロリーや栄養素バランスを推定する。

【0033】

これら推定した摂取カロリーや栄養バランスの情報は、コントローラ３５に設けられた記憶部３８に記憶される。記憶部３８は不揮発性メモリによって構成されており、記憶部３８に記憶された摂取カロリー等は、表示用端末４０に表示することが可能となっている。また、記憶部３８には、作った料理のデータ（調理履歴）が調理日から少なくとも一定期間（例えば１週間）に亘って記憶保持される。さらに、コントローラ３５には、計時機能、時計機能及びカレンダ機能を有するタイマ部３９が設けられている。

【0034】

また、図１及び図２に示すように、キッチン１１には、キッチン１１での人の存在する検知する第１人感センサ４１が設置され、ダイニング１２には、ダイニング１２での人の存在を検知する第２人感センサ４２が設置されている。これら各人感センサ４１，４２は、コントローラ３５と電気的に接続されており、コントローラ３５に対して検知信号を出力する。

【0035】

次にコントローラ３５によって実行される撮影処理について図４のフローチャートを参照して説明する。なお、本処理は所定の時間周期で実行される。

【0036】

撮影処理では先ず、ステップＳ１０１にて、各人感センサ４１，４２の検知信号に基づいてキッチン１１又はダイニング１２のいずれかで人の存在が検知されているか否かを判定する。人の存在が検知されていない場合には撮影処理を終了する。一方、人の存在が検知されている場合には、ステップＳ１０２にて、第１カメラ３１によりキッチン１１の画像を撮影するとともに、ステップＳ１０３にて、第２カメラ３２によりダイニング１２の画像を撮影する。なお、上記ステップＳ１０２，Ｓ１０３の処理は並行して実行され、各カメラ３１，３２による撮影処理はいずれも連続的に実行される。

【0037】

続くステップＳ１０４では、第１カメラ３１及び第２カメラ３２により撮影された各画像を解析して特徴量（色や輪郭、明るさ）を抽出し、撮影画像に含まれる食材や調味料（容器の印）の画像を認識する。また、調理がある程度完成に近付いた段階では、撮影画像に含まれる料理の画像を認識する。

【0038】

次いでステップＳ１０５にて、各人感センサ４１，４２の検知信号を参照し、キッチン１１及びダイニング１２の両方で人の存在が検知されない状態であるか否かを判定する。すなわち、キッチン１１又はダイニング１２に存在した人がキッチン１１等から退出したか否かを判定する。人の存在が検知されている場合、すなわち、人が居続けている場合には、ステップＳ１０２に戻り、ステップＳ１０２～ステップＳ１０４の処理を繰り返す。

【0039】

一方、人の存在が検知されていない場合、すなわち、人がキッチン１１等から退出した場合には、ステップＳ１０６にて、第１カメラ３１及び第２カメラ３２による撮影を停止し、その後、撮影処理を終了する。

【0040】

次に、コントローラ３５によって実行される調理内容判別処理について図５及び図６を参照して説明する。図５は調理内容判別処理を示すフローチャート、図６は判別された食材等のデータを示す概略図である。なお、本処理は所定の時間周期で実行される。

【0041】

調理内容判別処理は、調理で使用した食材及び調味料の種別及び量を判別するとともに、作った料理の種別、作成量、提供量を判別し、さらにそのカロリー等を推定するものである。ここでは、料理としてカレーライス及びサラダを作る場合を例にとって説明する。

【0042】

図５に示すように、調理内容判別処理では、ステップＳ２０１にて、図４の撮影処理におけるステップＳ１０４で食材や調味料の画像が認識されたか否かを判定する。食材等の画像が認識されている場合にはステップＳ２０２に進み、撮影された食材等と、料理データベース３６の食材情報３６ａや調味料情報３６ｂに登録された画像情報とを照合し、食材等の種別を判別する。食材等の判別結果はコントローラ３５のＲＡＭに記憶される。

【0043】

続くステップＳ２０３では、上記ステップＳ１０４の画像認識結果に基づいて食材及び調味料の使用量を判別する。この際、野菜類等の場合は使用個数（例えば１／２個や１個など）を判別し、肉類等の場合は使用重量（例えば１００ｇなど）を判別し、調味料の場合は使用量（例えば小さじ１など）を判別する。使用個数、使用重量及び使用量の各判別は、例えば次のようにして行う。

【0044】

先ず、撮影画像における食材画像の画素数を把握するとともに、予め寸法が特定されている基準物（例えば、カウンタ２５上に置かれるまな板や、ダイニングテーブル２６の一辺）の画像の画素数を把握する。次に、基準物画像の画素数から１画素当たりの実寸（基準となる寸法）を特定し、それに食材画像の画素数を乗算して食材の寸法を導出する。これを撮影画像の縦方向及び横方向のそれぞれに行って食材の縦寸法及び横寸法を導出し、その結果から食材の大きさ（面積）を導出する。

【0045】

そして、食材が野菜類等の場合は、導出した大きさと、料理データベース３６の食材情報３６ａに登録された基準サイズ情報（図３）とを比較し、使用個数を導出する。例えば、撮影画像から認識される食材の個数が１個である場合に、その食材の大きさが基準サイズ情報により示される大きさの１／２程度である場合には、使用個数を１／２個とする。

【0046】

食材が肉類等の場合は、食材情報３６ａに登録された変換用情報（図３）を用い、上記導出した大きさから使用重量を導出する。変換用情報には、単位面積（例えば１平方センチメートル）当たりの食材の重量（ｇ）が規定されており、使用重量の導出にあたっては、変換用情報に規定された重量に対して食材の大きさを乗算することで、食材１個当たりの重量を得る。

【0047】

液状調味料の場合は、調味料情報３６ｂの変換用情報（図３）を用い、導出した大きさから使用量を導出し、粒状調味料の場合は、上記変換用情報を用いて粒数から使用量を導出する。なお、調味料を計量スプーン等の計量器で計って使用している場合は、その計量器の大きさと計量器への調味料の投入量（例えば計量器の１／２程度など）とから使用量を導出してもよい。

【0048】

上記のようにして判別した食材等の使用量は、食材等の種類と対応付けてコントローラ３５のＲＡＭに記憶される。

【0049】

ステップＳ２０３の実行後又は上記ステップＳ２０１で否定判定した場合には、ステップＳ２０４にて、図４の撮影処理におけるステップＳ１０４で料理の画像が認識されたか否かを判定する。料理の画像が認識されている場合には、ステップＳ２０５にて、撮影された料理と、料理データベース３６の料理情報３６ｃに登録された画像情報とを照合し、料理の種別を判別する。

【0050】

続くステップＳ２０６では、上記ステップＳ２０５において判別された料理が調理済みの料理であるか否かを判定する。調理済みの料理でないと判定した場合には、ステップＳ２０７に進み、料理の作成量を判別する。本ステップでは、撮影画像から判別した各食材の使用量と、料理データベース３６における料理情報３６ｃのレシピ情報に含まれる各食材の分量とを比較し、凡そ何人分の料理を作成したのかを判別する。なお、料理作成量の判別は、調理で使用した全ての食材を対象として量比較を行うのではなく、各家庭で使用量にばらつきが少ないと想定される食材（例えばカレーライスの場合はカレールーや水の分量）を対象とした量比較に基づいて行うとよい。また、料理に使用した調理器具（鍋など）の大きさから料理の作成量を判別してもよい。

【0051】

続くステップＳ２０８では、食器に盛り付けられた料理の量、すなわち料理の提供量（配膳量）を判別する。本判別は、例えば、食器の大きさと食器に対する料理の割合とに基づいて行う。具体的には先ず、上記ステップＳ２０３と同様の方法により、料理が盛り付けられている皿等の食器の大きさを判別し、何人分用の食器であるかを特定する。そして、画像上、食器において料理が占める割合を求め、その結果から料理の量が何人分に相当するかを推定する。例えば、１人分用の大きさの食器において料理の占める割合が一定程度（例えば７割程度）あれば１人分として推定し、その半分程度であれば１／２人分と推定する。なお、本処理は、料理が食器に盛り付けられていない場合にはスキップする。

【0052】

ステップＳ２０８の実行後又はステップＳ２０４で否定判定した場合には、ステップＳ２０９にて、調理が終了したか否かを判定する。本ステップでは、例えばカメラ３１，３２の撮影結果から、料理がダイニングテーブル２６に持ち運ばれた後、料理に手が加えられず、そのまま所定期間放置されている否かを判定する。そして、放置されていると判定した場合に、調理が終了したとみなす。

【0053】

上記判定の結果、調理が終了していない場合には、ステップＳ２０１に戻り、以後、調理が終了するまでステップＳ２０１～Ｓ２０８の処理を繰り返す。このうちステップＳ２０１～Ｓ２０３の繰り返しにより、図６に示すように、コントローラ３５のＲＡＭには使用食材の情報が蓄積されていく。すなわち、調理において新たな食材が使用される都度、その食材の種類が使用量とともに順次記憶されていく。

【0054】

ここで、本実施の形態では、キッチン１１を撮影した画像とダイニング１２を撮影した画像との両方から、調理で使用された食材及び調味料の種別及び量を判別している。このため、キッチン１１で調理の一部を行い、ダイニング１２で調理の残りの部分を行った場合であっても、調理に使用された食材や調味料を漏れなく把握することができる。よって、例えば食器に盛り付けられた後のカレーライスに対して、ダイニング１２でゆで卵やりんごなどのトッピングを追加した場合でも、それらの追加食材等の種別や使用量を適切に把握することができる（図６参照）。

【0055】

一方、調理が終了している場合には、ステップＳ２１０に進み、使用食材やその使用量に応じて、作成された料理のカロリー等を補正する補正処理を実行する。本処理は、同じ種類の料理であっても、家庭ごとに使用食材等の種類や使用量が異なることに配慮したものである。ここで、補正処理について図７を参照しつつ説明する。

【0056】

補正処理では先ず、作成された料理を対象とし、１人分に相当する各食材及び各調味料の使用量を導出する。具体的には、調理中に使用した各食材等の使用量を、ステップＳ２０７で判別した料理の作成量で除算する。例えば図６に示すように、調理において４００ｇの豚角切り肉を使用している場合において、ステップＳ２０７で料理作成量を４人分と判別している場合には、図７の「調理実績」欄のように、豚角切り肉の使用量として１００ｇを導出する。

【0057】

そして、導出した各食材及び各調味料の使用量を、料理データベース３６のレシピ情報に規定される各食材及び各調味料の使用量（１人分の使用量。図７の「レシピ情報」欄を参照）と比較し、その差異部分を把握する。図７に示すカレーライスの例では、差異部分として、「豚角切り肉をレシピよりも５０ｇ多く使用」などの使用量に関する差異や、「レシピにはないライスやゆで卵、りんごを使用」などの使用食材に関する差異が把握される。

【0058】

その後、差異部分における食材及び調味料のカロリー及び栄養素を、料理データベース３６の食材情報３６ａや調味料情報３６ｂに基づいて導出する。例えば豚角切り肉の場合であれば、料理データベース３６の食材情報３６ａに登録された豚角切り肉のカロリー情報（図３）を参照し、５０ｇ分のカロリー（ＡＡｋｃａｌ）を導出する（図７の「補正カロリー」欄を参照）。

【0059】

最後に、料理データベース３６の料理情報３６ｃから、その料理のカロリー（１人分のカロリー）及び栄養素を読み出すとともに、読み出したカロリー等に対して差異部分を補正（差異部分のカロリー及び栄養素を増減）する。これにより、提供された料理のカロリー及び栄養素を推定する。

【0060】

上記補正処理は、種類が判別された料理、すなわち作成された料理ごとに行う。よって、カレーライスとサラダとを作成した場合には、図７に示すように、それらについて各別に補正処理を行い、それぞれカロリー及び栄養素を推定する。

【0061】

図５の調理内容判別処理の説明に戻り、上記補正処理を実行した後は、ステップＳ２１１にて、調理履歴を記憶部３８に記憶する。調理履歴には、作った料理の種別、その料理における１人分のカロリー及び栄養素の情報が含まれている。調理履歴は、調理日から一定期間に亘って記憶保持され、その後、消去される。ステップＳ２１１の実行後は調理内容判別処理を終了する。

【0062】

なお、トッピングや調味料の追加は、食事前に限らず、食事中に行われる場合もある。このような食事をしながらの追加（食材等の種類や使用量の変更）が行われた場合には、上記ステップＳ２０１～ステップＳ２０３にて、それら追加食材等の種別及び量を判別し、その後のステップＳ２０６において調理済みの料理であると判定する。そして、調理済みの料理であると判定した場合には、ステップＳ２１０に進み補正処理を実行する。これにより、食事中に追加された食材等を反映させたカロリー及び栄養素が得られる。

【0063】

次に、コントローラ３５によって実行される摂取内容判別処理について図８のフローチャートを参照して説明する。本処理は所定の時間周期で実行される。

【0064】

摂取内容判別処理は、料理の摂取量を判別し、食事をした人が摂取したカロリー及び栄養素を推定するものである。摂取内容判別では先ずステップＳ３０１にて、図４の撮影処理におけるステップＳ１０４で料理の画像が認識されたか否かを判定する。料理の画像が認識されている場合にはステップＳ３０２に進み、撮影された料理と、料理データベース３６の料理情報３６ｃに登録された画像情報とを照合し、料理の種別を判別する。

【0065】

次にステップＳ３０３にて、判別した料理が今回の調理によって作成された料理であるか否かを判定する。具体的には、記憶部３８に記憶された最新の調理履歴を参照し、当該調理履歴により示される料理の種別と、上記ステップＳ３０２で判別した料理の種別とが一致するか否かを判定する。

【0066】

判別した料理と調理履歴の料理との種別が一致しない場合、すなわち、判別した料理が今回の調理による料理ではない場合には、ステップＳ３０４に進み、作り置き用処理を実行する。この処理は、作り置きされた料理や食べ残された料理を食べる場合を踏まえたものである。ここで、作り置き用処理について図９のフローチャートを参照して説明する。

【0067】

作り置き用処理では先ずステップＳ４０１にて、図８のステップＳ３０２で判別した料理を過去一定期間内に作成した料理と比較する。具体的には、記憶部３８に記憶された全ての調理履歴を参照し、判別した料理の種別と一致する調理履歴が存在するか否かを判定する。既に述べたように、調理履歴は調理日から一定期間が経過すると記憶部３８から消去されるため、本ステップは、撮影された料理が過去一定期間内に作られたものであるか否かを判定するものとなる。

【0068】

上記判定の結果、撮影された料理の種別と一致する調理履歴が存在した場合には（ステップＳ４０２のＹＥＳ）、ステップＳ４０３にて、その調理履歴（過去の料理データ）からカロリー及び栄養素の情報を取得し、撮影された料理のカロリー及び栄養素とする。すなわち、撮影された料理には、調理履歴の料理と同種の食材及び調味料が同量使用されているものとして、撮影された料理の調理内容を判別する。一方、撮影された料理の種別と一致する調理履歴が存在しなかった場合には（ステップＳ４０２のＮＯ）、ステップＳ４０４にて、撮影された料理と同じ種類の料理のカロリー及び栄養素を料理データベース３６の料理情報３６ｃ（図３）から取得する。

【0069】

ステップＳ４０３又はステップＳ４０４の実行後は、ステップＳ４０５にて、撮影された料理の提供量を判別し、その後、作り置き用処理を終了する。ステップＳ４０５の処理は、図５のステップＳ２０８における料理提供量の判別と同様の方法にて行う。

【0070】

図８の摂取内容判別処理の説明に戻り、ステップＳ３０４の実行後又はステップＳ３０３で肯定判定した場合（撮影された料理が今回の調理による料理であった場合）には、ステップＳ３０５にて料理の摂取量を判別する。料理の摂取量は、料理の提供量と料理の残量とに基づいて判別する。具体的には先ず、撮影結果から食器の大きさを判別するとともに、画像上、食器において料理が占める割合を判別する。そして、食器の大きさと料理の割合とから料理の残量を判別し、これを料理の提供量から減算して摂取量を導出する。例えば料理の残量が１／４人分であり、提供量が１／２人分である場合は、摂取量として１／４人分を導出する。なお、料理の提供量は、撮影された料理が今回の調理による料理である場合には、図５のステップＳ２０８にて判別した提供量を用い、今回調理した料理でない場合には、図９のステップＳ４０５にて判別した提供量を用いる。

【0071】

続くステップＳ３０６では、料理のカロリーと料理の摂取量とに基づいて、食事をした人の摂取カロリーを推定する。摂取カロリーは、撮影された料理が今回の調理による料理である場合には、図５のステップＳ２１０で導出したカロリー（１人分の料理のカロリー）に対して上記ステップＳ３０５で判別した摂取量を乗算し、今回調理した料理でない場合には、図９のステップＳ４０３又はステップＳ４０４で取得したカロリー（１人分の料理のカロリー）に対して上記摂取量を乗算することで、導出する。

【0072】

続くステップＳ３０７では、摂取した料理の栄養バランスを推定する。撮影された料理が今回の調理による料理である場合には、図５のステップＳ２１０にて導出した栄養素を参照し、今回調理した料理でない場合には、図９のステップＳ４０３又はステップＳ４０４で取得した栄養素を参照して、各栄養素の摂取有無や摂取比率を導出し、例えばビタミンが不足するなどの栄養バランスを推定する。

【0073】

ステップＳ３０７の実行後又はステップＳ３０１で否定判定した場合（料理の画像を認識していない場合）には、ステップＳ３０８にて食事が終了したか否かを判定する。本ステップでは、第２カメラ３２の撮影結果からダイニング１２での人の動きを認識し、その結果に基づいて食事が終了したか否かを判定する。

【0074】

食事が終了していない場合にはステップＳ３０１に戻り、以後、食事が終了するまでステップＳ３０１～Ｓ３０７の処理を繰り返す。これに対し、食事が終了している場合には、ステップＳ３０９にて、上記ステップＳ３０６で推定した摂取カロリーと、上記ステップＳ３０７で推定した栄養バランスとを、摂取した料理の種別や日時とともに記憶部３８に記憶する。これにより、記憶部３８に摂取カロリー等の情報が蓄積される。記憶部３８に記憶（蓄積）された摂取カロリー等の情報は、既に説明したように、表示用端末４０（図２参照）を用いて閲覧することが可能となっている。ステップＳ３０９の実行後、摂取内容判別処理を終了する。

【0075】

以上詳述した本実施の形態によれば、以下の優れた効果を奏する。

【0076】

・料理の調理状況を撮影し、その撮影結果から調理内容を判別する構成とした。これにより、完成した料理からは把握困難な食材が使用されている場合でも、使用食材を適切に把握することができる。しかも、キッチン１１用の第１カメラ３１と、ダイニング１２用の第２カメラ３２とを設け、各カメラ３１，３２により料理の調理状況を撮影する構成とした。これにより、キッチン１１で調理の一部を行い、ダイニング１２で調理の残りの部分を行った場合であっても、調理内容を精度よく自動的に把握することができる。

【0077】

・撮影結果から食材だけでなく、調味料の種別及び量も判別する構成とした。このため、調理内容として、キッチン１１及びダイニング１２における食材に加え、調味料も把握することができる。その結果、例えばキッチン１１で一旦完成した料理に対し、ダイニング１２で薬味や香辛料を追加したような場合であっても、食事に供される料理に使用された食材及び調味料の種別及び量を精度よく自動的に把握することが可能になる。

【0078】

・料理データベース３６に登録されている料理と、各カメラ３１，３２で撮影された料理とを比較することで、使用されている食材及び調味料の差異部分を把握するとともに、料理データベース３６に登録されているカロリー及び栄養素に対して差異部分に応じた補正を行い、撮影された料理のカロリー及び栄養素を判別する構成とした。

【0079】

各料理の一般的なカロリー及び栄養素を予め料理データベース３６に登録しておくことで、撮影された料理の種類さえ判別できれば、その料理のカロリー等を簡単に導出することが可能になる。その反面、家庭ごとに異なる使用食材等が反映されないものとなり、正確性の面で劣るおそれがある。この点、本構成では、登録された料理と撮影された料理との差異部分に応じてカロリー等が補正されるため、各家庭の調理内容が反映されたカロリー等を得ることができる。つまり、料理データベース３６の利点を活用しつつ当該データベース３６の欠点を補うことができる。

【0080】

・カメラ３１，３２により撮影された画像に基づき、基準となる寸法を特定し、その寸法に基づいて、撮影された食材の寸法を特定する構成とした。これにより、調理に使用された食材の大きさを撮影画像から特定することができ、延いては食材の量を特定することが可能になる。なお、基準寸法となるものは、ダイニングテーブル２６の寸法やまな板の寸法のほか、予め設置しておく物差し、シール及び印刷等の寸法とすることができ、特に限定されるものではない。

【0081】

・作成した料理のデータを記憶部３８に少なくとも一定期間記憶しておき、撮影された料理が今回の調理によって作られた料理でない場合に、記憶部３８に記憶されている以前調理された料理であるか否かを判定し、以前調理された料理である場合には、その料理のデータに基づいて、撮影された料理の調理内容を判別する構成とした。

【0082】

家庭では、料理を作り置きしておく場合や、残った料理を冷蔵庫等に保存して再度食事に利用することがある。これら作り置きや食べ残しの料理を食する場合、食事の直前に調理の工程が発生しないため、食材判別の機会がなく、カロリー算出等を適切に行えないおそれが生じる。この点、本構成では、以前調理された料理のデータから調理内容を判別するため、作り置きや食べ残しの料理を食する場合にもカロリー等を適切に算出することが可能となる。

【0083】

この場合において、本実施の形態では上記一定期間を１週間とし、撮影された料理と同じ種類の料理が過去１週間以内に作成されている場合に、その料理の調理内容を撮影された料理の調理内容として利用する構成としている。このように参照期間を比較的に短い１週間に制限することで、撮影された料理と以前調理された料理との種類が一致した場合に、それらの料理が同じ調理工程で作成された料理である可能性が高まる。よって、作り置きや食べ残しの料理の調理内容を精度よく判別することが可能になる。

【0084】

・ダイニング１２の撮影画像から料理の摂取量を判別し、摂取量及び調理内容の各判別結果に基づいて、食事をした人の摂取カロリー及び栄養バランスを推定する構成とした。

【0085】

この構成によれば、判別された調理内容と、その調理により提供される料理の摂取状況とから、食事をした人の摂取カロリー及び栄養バランスが推定される。この推定結果を利用すれば、１食分の食事についてカロリーオーバーであることや栄養バランスが崩れていることなど、家庭における食事による各種の状況を得ることができる。また、上記摂取カロリー及び栄養バランスを蓄積することができ、これを活用してカロリーの取得状況や栄養バランスの状態を診断したり、さらには、その診断結果の報知又は診断結果を踏まえた報知（例えば「高カロリーの食事が多いのでカロリーの摂取量を抑えましょう」や、「ビタミンが不足がちなので野菜や果物を多く摂りましょう」などのアドバイス）を行ったりすることができる。これにより、日々の健康管理に役立つ情報を提供することが可能になる。ちなみに報知は定期的に行うとよい。

【0086】

なお、上記実施の形態においては、摂取カロリー及び栄養バランスの両方を推定するが、これらのいずれか一方のみを推定する構成としてもよい。

【0087】

＜その他の実施の形態＞
（１）上記実施の形態では、摂取カロリー及び栄養素バランスの情報を食事後に提供する構成としたが、作成された料理又は提供された料理のカロリーや栄養バランスの情報を食事前又は食事中に提供する構成としてもよい。具体的には、料理摂取量の判別を省略し、図５のステップＳ２１０の補正結果から、作成された料理又は提供された料理のカロリーや栄養バランスを取得する。そして、取得したカロリーや栄養バランスに基づき、表示用端末４０又はダイニング１２に設置された他の報知手段にて、例えば「カロリーが高めです」や「野菜を多く食べましょう」等のアドバイス（報知）を行う。

【0088】

（２）上記実施の形態では、調味料の容器に付した印に基づいて調味料の種別を判別する構成としたが、料理データベース３６に登録されたレシピ情報に基づいて調味料の種別を判別する構成としてもよい。例えば、調理において白色の調味料が使用されていることを判別した場合に、その使用量をレシピと照らし合わせて塩と判別したり、調理の中で白色の調味料が使用された順番（タイミング）をレシピと照らし合わせて塩と判別したりすることができる。また、その料理のレシピにおいて白色の調味料が塩のみの場合である場合には、その調味料を塩と判別する構成としてもよい。

【0089】

（３）上記実施の形態において、建物１０の各住人を予めコントローラ３５の料理データベース３６又は記憶部３８に登録しておき、摂取カロリー及び栄養バランスを住人ごとに蓄積する構成としてもよい。この場合における各住人の判別は、各カメラ３１，３２の撮影画像に基づく顔認証やＩＤ認証等によって行うことができる。また、ダイニング１２（複数の椅子２７）での座席と対応付けて各住人を登録しておき、各カメラ３１，３２により撮影される、食事をする人が座る座席の位置から、どの住人であるかを判別する構成としてもよい。

【0090】

（４）上記実施の形態において、キッチン１１及びダイニング１２のそれぞれに複数のカメラを設けるとともに、各カメラの撮影結果から食材の縦、横及び奥行方向の寸法を特定し、食材の体積を導出して量を判別する構成としてもよい。

【0091】

（５）上記実施の形態では、料理データベース３６に食材等の画像情報を登録するが、これに代えて、各食材等の特徴量を示す情報を登録してもよい。

【0092】

（６）上記実施の形態において、料理データベース３６をインターネット上のｗｅｂサーバに備えてもよい。すなわち、インターネットに接続可能な通信部をコントローラ３５に設け、インターネットを通じて上記ｗｅｂサーバから食材、調味料及び料理の登録情報を得る構成とする。また、推定した摂取カロリーや栄養バランスについても、上記ｗｅｂサーバ又は他のｗｅｂサーバに記憶し、スマートフォン等の携帯通信端末から閲覧可能な構成としてもよい。

【符号の説明】

【0093】

１１…キッチン、１２…ダイニング、３１…第１撮影手段としての第１カメラ、３２…第２撮影手段としての第２カメラ、３５…調理内容判別手段としてのコントローラ、３６…料理データベース、３８…記憶手段としての記憶部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】