知財求人 - 知財ポータルサイト「IP Force」
特許7013403食材又は調味料の使用量を推定する情報装置、プログラム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-01-21
(45)【発行日】2022-01-31
(54)【発明の名称】食材又は調味料の使用量を推定する情報装置、プログラム及び方法
(51)【国際特許分類】
G06T 7/20 20170101AFI20220124BHJP
G16H 20/60 20180101ALI20220124BHJP
【ＦＩ】
G06T7/20 300Z
G16H20/60
【請求項の数】
17
(21)【出願番号】P 2019028080
(22)【出願日】2019-02-20
(65)【公開番号】P2020135417
(43)【公開日】2020-08-31
【審査請求日】2020-12-14
(73)【特許権者】
【識別番号】000208891
【氏名又は名称】ＫＤＤＩ株式会社
(74)【代理人】
【識別番号】100135068
【弁理士】
【氏名又は名称】早原 茂樹
(72)【発明者】
【氏名】三原 翔一郎
【審査官】佐田 宏史
(56)【参考文献】
【文献】特許第６２９９７４４（ＪＰ，Ｂ２）
【文献】国際公開第２００５／０８８５４２（ＷＯ，Ａ１）
【文献】特開２００２－０４９６９６（ＪＰ，Ａ）
【文献】肱岡 佑磨、外２名，“調理支援システムの構築を目的とした調理動作の認識”，電子情報通信学会技術研究報告，日本，一般社団法人電子情報通信学会，2015年02月26日，Vol.114, No.501，pp.49-53
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ １／００，７／００－７／９０
Ｇ１６Ｈ ２０／６０
(57)【特許請求の範囲】
【請求項1】
カメラによって撮影された、ユーザの調理中の映像を取得又は記憶する情報装置において、食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、動作単位時間と、当該食材又は調味料の使用量とを紐付けた第１の登録テーブルと、
前記映像から、食材又は調味料の食材種別を識別する物体検出エンジンと、
前記映像から、食材又は調味料を投入する動作種別を識別すると共に、動作継続時間を検出する動作検出エンジンと、
第１の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を、動作単位時間に対する動作継続時間に基づいて推定する使用量推定手段と
を有することを特徴とする情報装置。
【請求項2】
カメラによって撮影された、ユーザの調理中の映像を取得又は記憶する情報装置において、食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、動作変位強度と、当該食材又は調味料の使用量とを紐付けた第１の登録テーブルと、
前記映像から、食材又は調味料の食材種別を識別する物体検出エンジンと、
前記映像から、食材又は調味料を投入する動作種別を識別すると共に、動作変位強度を検出する動作検出エンジンと、
第１の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を、動作変位強度で重み付けることによって推定する使用量推定手段と
を有することを特徴とする情報装置。
【請求項3】
前記動作検出エンジンは、前記映像から、ユーザの上肢における複数の骨格位置を時系列に抽出し、当該骨格位置の時系列変位から動作種別を識別することを特徴とする請求項１又は２に記載の情報装置。
【請求項4】
前記物体検出エンジンは、前記映像から、ユーザが上肢に持つ容器具を検出し、当該容器具に応じた食材種別を識別することを特徴とする請求項１から３のいずれか１項に記載の情報装置。
【請求項5】
前記動作検出エンジンは、前記映像から、ユーザの上肢が、当該食材又は調味料の投入先の調理器具の上方に位置した際に、投入動作としての動作種別を識別することを特徴とする請求項１から４のいずれか１項に記載の情報装置。
【請求項6】
前記動作検出エンジンは、動作種別として、振り出し動作、揺すり出し動作、注ぎ動作、押し出し動作、又は、さじ投入動作のいずれかを識別することを特徴とする請求項１から５のいずれか１項に記載の情報装置。
【請求項7】
前記物体検出エンジンは、前記映像から抽出した特徴情報と、予め登録された食材又は調味料の特徴情報とをマッチングさせることを特徴とする請求項１から６のいずれか１項に記載の情報装置。
【請求項8】
第１の登録テーブルは、食材種別毎に、最大使用量が紐付けされており、前記使用量推定手段によって推定された食材種別の使用量が、第１の登録テーブルに記憶された最大使用量を超えた際に、ユーザに対して第１のアラームを通知する第１のアラーム通知手段と
を有することを特徴とする請求項１から７のいずれか１項に記載の情報装置。
【請求項9】
カメラによって撮影された、ユーザの調理中の映像を取得又は記憶する情報装置において、食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、当該食材又は調味料の使用量を紐付けた第１の登録テーブルと、
前記映像に、食材又は調味料の容器具に記述された栄養成分表示部分が映り込んでいる際に、当該栄養成分表示部分から食材種別における使用単位量及び栄養成分を、文字認識によって読み取る文字認識手段と、
食材種別毎に、当該使用単位量及び栄養成分とその含有量とを紐付けた第２の登録テーブルと、
前記映像から、食材又は調味料の食材種別を識別する物体検出エンジンと、
前記映像から、食材又は調味料を投入する動作種別を識別する動作検出エンジンと、
第１の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を推定する使用量推定手段と、
第２の登録テーブルを用いて、前記使用量推定手段によって推定された食材種別毎の使用量から、栄養成分及びその含有量を算出する栄養成分算出手段と
を有することを特徴とする情報装置。
【請求項10】
前記文字認識手段によって読み取られる前記栄養成分表示部分は、食品表示法によって原則として全ての予め包装された一般消費者向け加工食品及び添加物に記載することが義務付けられている当該加工食品及び添加物の栄養成分情報を記載した部分であることを特徴とする請求項９に記載の情報装置。
【請求項11】
第２の登録テーブルは、食材種別の栄養成分毎に、最大含有量が紐付けられており、前記使用量推定手段によって推定された食材種別におけるいずれかの栄養成分の含有量が、第２の登録テーブルに記憶された栄養成分の最大含有量を超えた際に、ユーザに対して第２のアラームを通知する第２のアラーム通知手段と
を有することを特徴とする請求項９又は１０に記載の情報装置。
【請求項12】
調理中の映像の撮影開始から、又は、ユーザによる使用量推定開始指示から、栄養成分毎に、前記栄養成分算出手段から出力された含有量を累積する栄養成分累積手段を更に有することを特徴とする請求項９から１１のいずれか１項に記載の情報装置。
【請求項13】
栄養成分毎に、最大累積含有量を紐付けた第３の登録テーブルと、前記栄養成分累積手段によって累積されたいずれかの栄養成分の累積含有量が、第３の登録テーブルに記憶された栄養成分の最大累積含有量を超えた際に、ユーザに対して第３のアラームを通知する第３のアラーム通知手段と
を更に有することを特徴とする請求項１２に記載の情報装置。
【請求項14】
カメラによって撮影された、ユーザの調理中の映像を取得又は記憶する装置に搭載されたコンピュータを機能させるプログラムにおいて、食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、動作単位時間と、当該食材又は調味料の使用量とを紐付けた第１の登録テーブルと、
前記映像から、食材又は調味料の食材種別を識別する物体検出エンジンと、
前記映像から、食材又は調味料を投入する動作種別を識別すると共に、動作継続時間を検出する動作検出エンジンと、
第１の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を、動作単位時間に対する動作継続時間に基づいて推定する使用量推定手段と
してコンピュータを機能させることを特徴とするプログラム。
【請求項15】
カメラによって撮影された、ユーザの調理中の映像を取得又は記憶する装置に搭載されたコンピュータを機能させるプログラムにおいて、食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、動作変位強度と、当該食材又は調味料の使用量とを紐付けた第１の登録テーブルと、
前記映像から、食材又は調味料の食材種別を識別する物体検出エンジンと、
前記映像から、食材又は調味料を投入する動作種別を識別すると共に、動作変位強度を検出する動作検出エンジンと、
第１の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を、動作変位強度で重み付けることによって推定する使用量推定手段と
してコンピュータを機能させることを特徴とするプログラム。
【請求項16】
カメラによって撮影された、ユーザの調理中の映像を取得又は記憶する装置の食材使用量推定方法において、前記装置は、
食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、動作単位時間と、当該食材又は調味料の使用量とを紐付けた第１の登録テーブルを有し、
物体検出エンジンを用いて、前記映像から、食材又は調味料の食材種別を識別し、動作検出エンジンを用いて、前記映像から、食材又は調味料を投入する動作種別を識別すると共に、動作継続時間を検出する第１のステップと、
第１の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を、動作単位時間に対する動作継続時間に基づいて推定する第２のステップと
を実行することを特徴とする装置の食材使用量推定方法。
【請求項17】
カメラによって撮影された、ユーザの調理中の映像を取得又は記憶する装置の食材使用量推定方法において、前記装置は、
食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、動作変位強度と、当該食材又は調味料の使用量とを紐付けた第１の登録テーブルを有し、
物体検出エンジンを用いて、前記映像から、食材又は調味料の食材種別を識別し、動作検出エンジンを用いて、前記映像から、食材又は調味料を投入する動作種別を識別すると共に、動作変位強度を検出する第１のステップと、
第１の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を、動作変位強度で重み付けることによって推定する第２のステップと
を実行することを特徴とする装置の食材使用量推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、調理中の映像から、食材又は調味料の使用量を推定する技術に関する。特に、映像に対する物体検出及び動作検出の技術に関する。
【背景技術】
【0002】
近年、健康管理の意識が向上すると共に、料理の栄養成分を認識したいとする需要がある。例えばカロリー制限を必要とする糖尿病患者に限らず、ダイエットを目的とした一般人も、できる限り簡易に、自ら調理した料理の栄養成分（例えばカロリーや糖分、ビタミン等）を知りたいと考えている。
インターネット上のＷｅｂサイトには、食材毎に又は料理毎の栄養成分も公開されている。しかしながら、家庭内で日常的に調理される料理の場合、その食材又は調味料の使用量や各栄養成分の含有量を算定することは難しい。
インターネット上のＷｅｂサイトには、食材毎に又は料理毎の栄養成分も公開されている。しかしながら、家庭内で日常的に調理される料理の場合、その食材又は調味料の使用量や各栄養成分の含有量を算定することは難しい。
【0003】
従来、カメラ、濃度センサ又は匂いセンサを用いて、調理中の食材又は調味料の使用量を推定し、その使用量に応じた栄養成分を算定する技術がある（例えば特許文献１参照）。この技術によれば、食材の形状（色や大きさ）が映り込む撮影画像のみならず、濃度や匂い等のセンサも用いて、食材又は調味料における使用量を推定しようとしている。
また、食器に盛られた食事要素が映り込む料理画像から、食事毎の栄養成分を算定すると共に、その食事を摂取したユーザ識別子毎に、その栄養成分をサーバに蓄積して管理する技術もある（例えば特許文献２参照）。
また、食器に盛られた食事要素が映り込む料理画像から、食事毎の栄養成分を算定すると共に、その食事を摂取したユーザ識別子毎に、その栄養成分をサーバに蓄積して管理する技術もある（例えば特許文献２参照）。
【先行技術文献】
【特許文献】
【0004】
【文献】特許第６２９９７４４号公報
【文献】特開２０１１－２８３８２号公報
【非特許文献】
【0005】
【文献】Zhe Cao and Tomas Simon and Shih-En Wei and Yaser Sheikh, " Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields", CVPR 2017, pp. 1302-1310, 2017.
【文献】Simon, Tomas and Joo, Hanbyul and Matthews, Iain A and Sheikh, Yaser, " Hand Keypoint Detection in Single Images Using Multiview Bootstrapping", CVPR 2017, pp. 1145-1153, 2017.
【文献】Christian Zimmermann and Thomas Brox, " Learning to Estimate 3D Hand Pose from Single RGB Images", ICCV, 2017.
【文献】加藤, M. Billinghurst, 浅野, 橘, "マーカー追跡に基づく拡張現実感システムとそのキャリブレーション", 日本バーチャルリアリティ学会論文誌, vol.4, 20 no.4, pp.607-617, 1999.
【文献】M. Aly and P. Welinder and M. Munich and P. Perona, Scaling object recognition: Benchmark of current state of the art techniques, 2009 IEEE 12th ICCV Workshops, pp. 2117-2124, 2009
【文献】D.G.Lowe, Distinctive image features from scale-invariant key points, Proc. of Int. Journal of Computer Vision (IJCV), 60(2) pp.91-110 (2004)
【文献】H.Bay, T.Tuytelaars, and L.V.Gool, SURF: Speed Up Robust Features, Proc. of Int. Conf. of ECCV, (2006)
【文献】Ethan Rublee, Vincent Rabaud, Kurt Konolige, Gary R. Bradski: ORB: An efficient alternative to SIFT or SURF. ICCV 2011: 2564-2571.
【文献】Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg, " SSD: Single Shot MultiBox Detector", European conference on computer vision, pp.21-37, 2016.
【文献】Kai Wang, Boris Babenko, Serge Belongie, “End-to-end scene text recognition”, Proceedings of the 2011 International Conference on Computer Vision, pp.1457-1464, 2011.
【文献】H. I. Koo, “Text-Line Detection in Camera-Captured Document Images Using the State Estimation of Connected Components”, IEEE Transactions on Image Processing, 25(11), pp.5358-5368, 2016
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、粉末や液体のような食材又は調味料の場合、その形状が、調理中の映像に映り込むことがなく、その使用量を算定することができない。特に、このような食材又は調味料は、容器具（例えば保存容器やさじ）から直接的に料理に投入される場合が多く、その使用量の推定が難しい。その場合、特許文献１に記載の技術のように、濃度センサ（塩分センサ、糖分センサ）や匂いセンサを用いる必要があり、ユーザにとっては簡易に推定できるものではない。
【0007】
そこで、本発明は、調理中の映像のみを用いて、その食材又は調味料の使用量を推定する情報装置、プログラム及び方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明によれば、カメラによって撮影された、ユーザの調理中の映像を取得又は記憶する情報装置において、
食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、動作単位時間と、当該食材又は調味料の使用量とを紐付けた第１の登録テーブルと、
映像から、食材又は調味料の食材種別を識別する物体検出エンジンと、
映像から、食材又は調味料を投入する動作種別を識別すると共に、動作継続時間を検出する動作検出エンジンと、
第１の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を、動作単位時間に対する動作継続時間に基づいて推定する使用量推定手段と
を有することを特徴とする。
また、本発明によれば、カメラによって撮影された、ユーザの調理中の映像を取得又は記憶する情報装置において、
食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、動作変位強度と、当該食材又は調味料の使用量とを紐付けた第１の登録テーブルと、
映像から、食材又は調味料の食材種別を識別する物体検出エンジンと、
映像から、食材又は調味料を投入する動作種別を識別すると共に、動作変位強度を検出する動作検出エンジンと、
第１の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を、動作変位強度で重み付けることによって推定する使用量推定手段と
を有することを特徴とする。
食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、動作単位時間と、当該食材又は調味料の使用量とを紐付けた第１の登録テーブルと、
映像から、食材又は調味料の食材種別を識別する物体検出エンジンと、
映像から、食材又は調味料を投入する動作種別を識別すると共に、動作継続時間を検出する動作検出エンジンと、
第１の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を、動作単位時間に対する動作継続時間に基づいて推定する使用量推定手段と
を有することを特徴とする。
また、本発明によれば、カメラによって撮影された、ユーザの調理中の映像を取得又は記憶する情報装置において、
食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、動作変位強度と、当該食材又は調味料の使用量とを紐付けた第１の登録テーブルと、
映像から、食材又は調味料の食材種別を識別する物体検出エンジンと、
映像から、食材又は調味料を投入する動作種別を識別すると共に、動作変位強度を検出する動作検出エンジンと、
第１の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を、動作変位強度で重み付けることによって推定する使用量推定手段と
を有することを特徴とする。
【0009】
本発明の情報装置における他の実施形態によれば、
動作検出エンジンは、映像から、ユーザの上肢における複数の骨格位置を時系列に抽出し、当該骨格位置の時系列変位から動作種別を識別することも好ましい。
動作検出エンジンは、映像から、ユーザの上肢における複数の骨格位置を時系列に抽出し、当該骨格位置の時系列変位から動作種別を識別することも好ましい。
【0010】
本発明の情報装置における他の実施形態によれば、
物体検出エンジンは、映像から、ユーザが上肢に持つ容器具を検出し、当該容器具に応じた食材種別を識別することも好ましい。
物体検出エンジンは、映像から、ユーザが上肢に持つ容器具を検出し、当該容器具に応じた食材種別を識別することも好ましい。
【0011】
本発明の情報装置における他の実施形態によれば、
動作検出エンジンは、映像から、ユーザの上肢が、当該食材又は調味料の投入先の調理器具の上方に位置した際に、投入動作としての動作種別を識別することも好ましい。
動作検出エンジンは、映像から、ユーザの上肢が、当該食材又は調味料の投入先の調理器具の上方に位置した際に、投入動作としての動作種別を識別することも好ましい。
【0012】
本発明の情報装置における他の実施形態によれば、
動作検出エンジンは、動作種別として、振り出し動作、揺すり出し動作、注ぎ動作、押し出し動作、又は、さじ投入動作のいずれかを識別することも好ましい。
動作検出エンジンは、動作種別として、振り出し動作、揺すり出し動作、注ぎ動作、押し出し動作、又は、さじ投入動作のいずれかを識別することも好ましい。
【0013】
本発明の情報装置における他の実施形態によれば、
物体検出エンジンは、映像から抽出した特徴情報と、予め登録された食材又は調味料の特徴情報とをマッチングさせることも好ましい。
物体検出エンジンは、映像から抽出した特徴情報と、予め登録された食材又は調味料の特徴情報とをマッチングさせることも好ましい。
【0016】
本発明の情報装置における他の実施形態によれば、
第１の登録テーブルは、食材種別毎に、最大使用量が紐付けされており、
使用量推定手段によって推定された食材種別の使用量が、第１の登録テーブルに記憶された最大使用量を超えた際に、ユーザに対して第１のアラームを通知する第１のアラーム通知手段を
更に有することも好ましい。
第１の登録テーブルは、食材種別毎に、最大使用量が紐付けされており、
使用量推定手段によって推定された食材種別の使用量が、第１の登録テーブルに記憶された最大使用量を超えた際に、ユーザに対して第１のアラームを通知する第１のアラーム通知手段を
更に有することも好ましい。
【0017】
本発明によれば、カメラによって撮影された、ユーザの調理中の映像を取得又は記憶する情報装置において、
食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、当該食材又は調味料の使用量を紐付けた第１の登録テーブルと、
映像に、食材又は調味料の容器具に記述された栄養成分表示部分が映り込んでいる際に、当該栄養成分表示部分から食材種別における使用単位量及び栄養成分を、文字認識によって読み取る文字認識手段と、
食材種別毎に、当該使用単位量及び栄養成分とその含有量とを紐付けた第２の登録テーブルと、
映像から、食材又は調味料の食材種別を識別する物体検出エンジンと、
映像から、食材又は調味料を投入する動作種別を識別する動作検出エンジンと、
第１の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を推定する使用量推定手段と、
第２の登録テーブルを用いて、使用量推定手段によって推定された食材種別毎の使用量から、栄養成分及びその含有量を算出する栄養成分算出手段と
を有することを特徴とする。
食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、当該食材又は調味料の使用量を紐付けた第１の登録テーブルと、
映像に、食材又は調味料の容器具に記述された栄養成分表示部分が映り込んでいる際に、当該栄養成分表示部分から食材種別における使用単位量及び栄養成分を、文字認識によって読み取る文字認識手段と、
食材種別毎に、当該使用単位量及び栄養成分とその含有量とを紐付けた第２の登録テーブルと、
映像から、食材又は調味料の食材種別を識別する物体検出エンジンと、
映像から、食材又は調味料を投入する動作種別を識別する動作検出エンジンと、
第１の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を推定する使用量推定手段と、
第２の登録テーブルを用いて、使用量推定手段によって推定された食材種別毎の使用量から、栄養成分及びその含有量を算出する栄養成分算出手段と
を有することを特徴とする。
【0019】
本発明の情報装置における他の実施形態によれば、
文字認識手段によって読み取られる栄養成分表示部分は、食品表示法によって原則として全ての予め包装された一般消費者向け加工食品及び添加物に記載することが義務付けられている当該加工食品及び添加物の栄養成分情報を記載した部分であることも好ましい。
文字認識手段によって読み取られる栄養成分表示部分は、食品表示法によって原則として全ての予め包装された一般消費者向け加工食品及び添加物に記載することが義務付けられている当該加工食品及び添加物の栄養成分情報を記載した部分であることも好ましい。
【0020】
本発明の情報装置における他の実施形態によれば、
第２の登録テーブルは、食材種別の栄養成分毎に、最大含有量が紐付けられており、
使用量推定手段によって推定された食材種別におけるいずれかの栄養成分の含有量が、第２の登録テーブルに記憶された栄養成分の最大含有量を超えた際に、ユーザに対して第２のアラームを通知する第２のアラーム通知手段を
更に有することも好ましい。
第２の登録テーブルは、食材種別の栄養成分毎に、最大含有量が紐付けられており、
使用量推定手段によって推定された食材種別におけるいずれかの栄養成分の含有量が、第２の登録テーブルに記憶された栄養成分の最大含有量を超えた際に、ユーザに対して第２のアラームを通知する第２のアラーム通知手段を
更に有することも好ましい。
【0021】
本発明の情報装置における他の実施形態によれば、
調理中の映像の撮影開始から、又は、ユーザによる使用量推定開始指示から、栄養成分毎に、栄養成分算出手段から出力された含有量を累積する栄養成分累積手段を
更に有することも好ましい。
調理中の映像の撮影開始から、又は、ユーザによる使用量推定開始指示から、栄養成分毎に、栄養成分算出手段から出力された含有量を累積する栄養成分累積手段を
更に有することも好ましい。
【0022】
本発明の情報装置における他の実施形態によれば、
栄養成分毎に、最大累積含有量を紐付けた第３の登録テーブルと、
栄養成分累積手段によって累積されたいずれかの栄養成分の累積含有量が、第３の登録テーブルに記憶された栄養成分の最大累積含有量を超えた際に、ユーザに対して第３のアラームを通知する第３のアラーム通知手段と
を更に有することも好ましい。
栄養成分毎に、最大累積含有量を紐付けた第３の登録テーブルと、
栄養成分累積手段によって累積されたいずれかの栄養成分の累積含有量が、第３の登録テーブルに記憶された栄養成分の最大累積含有量を超えた際に、ユーザに対して第３のアラームを通知する第３のアラーム通知手段と
を更に有することも好ましい。
【0023】
本発明によれば、カメラによって撮影された、ユーザの調理中の映像を取得又は記憶する装置に搭載されたコンピュータを機能させるプログラムにおいて、
食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、動作単位時間と、当該食材又は調味料の使用量とを紐付けた第１の登録テーブルと、
映像から、食材又は調味料の食材種別を識別する物体検出エンジンと、
映像から、食材又は調味料を投入する動作種別を識別すると共に、動作継続時間を検出する動作検出エンジンと、
第１の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を、動作単位時間に対する動作継続時間に基づいて推定する使用量推定手段と
してコンピュータを機能させることを特徴とする。
また、本発明によれば、カメラによって撮影された、ユーザの調理中の映像を取得又は記憶する装置に搭載されたコンピュータを機能させるプログラムにおいて、
食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、動作変位強度と、当該食材又は調味料の使用量とを紐付けた第１の登録テーブルと、
映像から、食材又は調味料の食材種別を識別する物体検出エンジンと、
映像から、食材又は調味料を投入する動作種別を識別すると共に、動作変位強度を検出する動作検出エンジンと、
第１の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を、動作変位強度で重み付けることによって推定する使用量推定手段と
してコンピュータを機能させることを特徴とする。
食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、動作単位時間と、当該食材又は調味料の使用量とを紐付けた第１の登録テーブルと、
映像から、食材又は調味料の食材種別を識別する物体検出エンジンと、
映像から、食材又は調味料を投入する動作種別を識別すると共に、動作継続時間を検出する動作検出エンジンと、
第１の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を、動作単位時間に対する動作継続時間に基づいて推定する使用量推定手段と
してコンピュータを機能させることを特徴とする。
また、本発明によれば、カメラによって撮影された、ユーザの調理中の映像を取得又は記憶する装置に搭載されたコンピュータを機能させるプログラムにおいて、
食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、動作変位強度と、当該食材又は調味料の使用量とを紐付けた第１の登録テーブルと、
映像から、食材又は調味料の食材種別を識別する物体検出エンジンと、
映像から、食材又は調味料を投入する動作種別を識別すると共に、動作変位強度を検出する動作検出エンジンと、
第１の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を、動作変位強度で重み付けることによって推定する使用量推定手段と
してコンピュータを機能させることを特徴とする。
【0024】
本発明によれば、カメラによって撮影された、ユーザの調理中の映像を取得又は記憶する装置の食材使用量推定方法において、
装置は、
食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、動作単位時間と、当該食材又は調味料の使用量とを紐付けた第１の登録テーブルを有し、
物体検出エンジンを用いて、映像から、食材又は調味料の食材種別を識別し、動作検出エンジンを用いて、映像から、食材又は調味料を投入する動作種別を識別すると共に、動作継続時間を検出する第１のステップと、
第１の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を、動作単位時間に対する動作継続時間に基づいて推定する第２のステップと
を実行することを特徴とする。
また、本発明によれば、カメラによって撮影された、ユーザの調理中の映像を取得又は記憶する装置の食材使用量推定方法において、
装置は、
食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、動作変位強度と、当該食材又は調味料の使用量とを紐付けた第１の登録テーブルを有し、
物体検出エンジンを用いて、映像から、食材又は調味料の食材種別を識別し、動作検出エンジンを用いて、映像から、食材又は調味料を投入する動作種別を識別すると共に、動作変位強度を検出する第１のステップと、
第１の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を、動作変位強度で重み付けることによって推定する第２のステップと
を実行することを特徴とする。
装置は、
食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、動作単位時間と、当該食材又は調味料の使用量とを紐付けた第１の登録テーブルを有し、
物体検出エンジンを用いて、映像から、食材又は調味料の食材種別を識別し、動作検出エンジンを用いて、映像から、食材又は調味料を投入する動作種別を識別すると共に、動作継続時間を検出する第１のステップと、
第１の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を、動作単位時間に対する動作継続時間に基づいて推定する第２のステップと
を実行することを特徴とする。
また、本発明によれば、カメラによって撮影された、ユーザの調理中の映像を取得又は記憶する装置の食材使用量推定方法において、
装置は、
食材又は調味料に基づく食材種別と、ユーザの上肢の投入動作に基づく動作種別との組毎に、動作変位強度と、当該食材又は調味料の使用量とを紐付けた第１の登録テーブルを有し、
物体検出エンジンを用いて、映像から、食材又は調味料の食材種別を識別し、動作検出エンジンを用いて、映像から、食材又は調味料を投入する動作種別を識別すると共に、動作変位強度を検出する第１のステップと、
第１の登録テーブルを用いて、識別された動作種別及び食材種別の組に紐付く使用量を、動作変位強度で重み付けることによって推定する第２のステップと
を実行することを特徴とする。
【発明の効果】
【0025】
本発明の情報装置、プログラム及び方法によれば、調理中の映像のみを用いて、その食材又は調味料の使用量を推定することができる。
【図面の簡単な説明】
【0026】
【図1】本発明におけるシステム構成図である。
【図2】本発明における情報装置の機能構成図である。
【図3】本発明における第１の登録テーブルを表す説明図である。
【図4】調理中の映像から検出された物体を表す説明図である。
【図5】調理中の映像から検出された容器具を表す説明図である。
【図6】調理中の映像から検出された人の上肢の骨格を表す説明図である。
【図7】調理中の映像から検出された動作を表す説明図である。
【図8】第１の登録テーブルを用いて第１のアラームを通知する説明図である。
【図9】第２の登録テーブルを用いて第２のアラームを通知する説明図である。
【図10】第３の登録テーブルを用いて第３のアラームを通知する説明図である。
【発明を実施するための形態】
【0027】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【0028】
図１は、本発明におけるシステム構成図である。
【0029】
図１によれば、ユーザは、カメラ機能を搭載した端末（例えばスマートフォン）２を所持しており、調理中の映像を撮影することができる。そして、スマートフォン２は、その調理中の映像を、ネットワークを介して、食材又は調味料の使用量を推定する情報装置（サーバ）１へ送信する。
端末２は、スマートフォンのような携帯端末を想定しているが、Ｗｅｂカメラのような端末であってもよいし、カメラが接続されたパーソナルコンピュータやヘッドマウントディスプレイ（ＨＭＤ）であってもよい。
勿論、他の実施形態として、情報装置１自体が、スマートフォンであって、本発明の全ての機能を一体的に組み込んだものであってもよい。
端末２は、スマートフォンのような携帯端末を想定しているが、Ｗｅｂカメラのような端末であってもよいし、カメラが接続されたパーソナルコンピュータやヘッドマウントディスプレイ（ＨＭＤ）であってもよい。
勿論、他の実施形態として、情報装置１自体が、スマートフォンであって、本発明の全ての機能を一体的に組み込んだものであってもよい。
【0030】
調理中の映像としては、例えばスマートフォン２のカメラを、調理中の鍋やフライパンの上方から撮影したものである。投入動作の誤認識を防ぐために、できる限り真上から撮影することが好ましい。
【0031】
他の実施形態として、映像毎に、ユーザ自ら、属性データを付加しておくことも好ましい。
ユーザＩＤ、年代、性別、調理日時、調理品名［味噌汁／野菜炒め／等］
これによって、情報装置１は、映像から推定した食材又は調味料の使用量を、そのユーザ属性に対応付けて管理することもできる。
ユーザＩＤ、年代、性別、調理日時、調理品名［味噌汁／野菜炒め／等］
これによって、情報装置１は、映像から推定した食材又は調味料の使用量を、そのユーザ属性に対応付けて管理することもできる。
【0032】
図２は、本発明における情報装置の機能構成図である。
【0033】
図２によれば、情報装置１は、カメラによって撮影された、ユーザの調理中の映像を取得又は記憶する。
情報装置１は、映像受信部１０と、第１の登録テーブル１０１と、物体検出エンジン１１と、動作検出エンジン１２と、使用量推定部１３とを有する。
また、端末２へ、調理中のユーザに対するアラームを通知するために、第２の登録テーブル１０２と、第３の登録テーブル１０３と、栄養成分算出部１４と、文字認識部１５と、第１のアラーム通知部１７１と、第２のアラーム通知部１７２と、第３のアラーム通知部１７３と更に有する。
これら機能構成部は、情報装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、食材使用量推定方法としても理解できる。
尚、図２によれば、情報装置１は、サーバとして表されているが、各機能構成部を、端末とサーバとに分散させて、又は複数のサーバに分散させて、ネットワークを介して接続するものであってもよい。
情報装置１は、映像受信部１０と、第１の登録テーブル１０１と、物体検出エンジン１１と、動作検出エンジン１２と、使用量推定部１３とを有する。
また、端末２へ、調理中のユーザに対するアラームを通知するために、第２の登録テーブル１０２と、第３の登録テーブル１０３と、栄養成分算出部１４と、文字認識部１５と、第１のアラーム通知部１７１と、第２のアラーム通知部１７２と、第３のアラーム通知部１７３と更に有する。
これら機能構成部は、情報装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、食材使用量推定方法としても理解できる。
尚、図２によれば、情報装置１は、サーバとして表されているが、各機能構成部を、端末とサーバとに分散させて、又は複数のサーバに分散させて、ネットワークを介して接続するものであってもよい。
【0034】
［映像受信部１０］
映像受信部１０は、端末２から、ユーザにおける調理中の映像を受信し、物体検出エンジン１１及び動作検出エンジン１２へ出力する。また、オプション的な実施形態によれば、調理中の映像を、文字認識部１５へも出力することも好ましい。
映像受信部１０は、端末２から、ユーザにおける調理中の映像を受信し、物体検出エンジン１１及び動作検出エンジン１２へ出力する。また、オプション的な実施形態によれば、調理中の映像を、文字認識部１５へも出力することも好ましい。
【0035】
［第１の登録テーブル１０１］
第１の登録テーブル１０１は、食材又は調味料に基づく「食材種別」と、ユーザの上肢（手及び腕）の投入動作に基づく「動作種別」との組毎に、当該食材又は調味料の使用量を紐付けたものである。
第１の登録テーブル１０１は、食材又は調味料に基づく「食材種別」と、ユーザの上肢（手及び腕）の投入動作に基づく「動作種別」との組毎に、当該食材又は調味料の使用量を紐付けたものである。
【0036】
図３は、本発明における第１の登録テーブルを表す説明図である。
【0037】
図３（ａ）によれば、食材種別及び動作種別の組に、その食材又は調味料の使用量が紐付けられている。
ここでは、食材種別として、例えば食卓塩、醤油、ケチャップのような調味料が表されている。例えば、食卓塩は小瓶入りのものであり、醤油は１リットルボトル入りのものであり、ケチャップはチューブ入りのものであるとする。
また、動作種別として、食卓塩に対して、例えば振り出しや揺すり出し等が対応付けられている。ここで、食卓塩に対して振り出し動作がなされた場合、その使用量は0.15gとなることが登録されている。
ここでは、食材種別として、例えば食卓塩、醤油、ケチャップのような調味料が表されている。例えば、食卓塩は小瓶入りのものであり、醤油は１リットルボトル入りのものであり、ケチャップはチューブ入りのものであるとする。
また、動作種別として、食卓塩に対して、例えば振り出しや揺すり出し等が対応付けられている。ここで、食卓塩に対して振り出し動作がなされた場合、その使用量は0.15gとなることが登録されている。
【0038】
また、図３（ａ）によれば、食材種別及び動作種別の組に、動作単位時間を加えて、食材又は調味料の使用量が紐付けられている。
ここで、例えば食卓塩に対して振り出し動作がなされた場合、動作単位時間２秒毎に、その使用量は0.15gとなることが登録されている。
ここで、例えば食卓塩に対して振り出し動作がなされた場合、動作単位時間２秒毎に、その使用量は0.15gとなることが登録されている。
【0039】
図３（ｂ１）によれば、動作種別毎に、１つ以上の動作変位強度が対応付けられている。
例えば以下のように、動作種別毎に異なる物理的変化量を「動作変位強度」とし、離散的に区分することができる。
振り出し動作 ：変化前後の速度ベクトルの内積値
揺すり出し動作：周期運動の周期
注ぎ動作 ：角度
押し出し動作 ：親指先と他の指先の間の距離の変化量
例えば以下のように、動作種別毎に異なる物理的変化量を「動作変位強度」とし、離散的に区分することができる。
振り出し動作 ：変化前後の速度ベクトルの内積値
揺すり出し動作：周期運動の周期
注ぎ動作 ：角度
押し出し動作 ：親指先と他の指先の間の距離の変化量
【0040】
図３（ｂ２）によれば、食材種別、動作種別、動作変位強度及び動作継続時間の組に対して、使用量が登録されている。
例えば食材種別「ケチャップ（チューブ入り）」について、動作種別「押し出し」に対して、動作変位強度「5mm以上～8mm未満」で、動作継続時間「4秒」の場合、使用量「6.0g」と登録されている。
また同様に、例えば食材種別「ケチャップ（チューブ入り）」について、動作種別「押し出し」に対して、動作変位強度「10mm以上」で、動作継続時間「2秒」の場合、使用量「6.0g」と登録されている。
尚、「動作継続時間」は、動作単位時間の倍数となっており、これに応じて使用量も倍数として乗算することができる。
例えば食材種別「ケチャップ（チューブ入り）」について、動作種別「押し出し」に対して、動作変位強度「5mm以上～8mm未満」で、動作継続時間「4秒」の場合、使用量「6.0g」と登録されている。
また同様に、例えば食材種別「ケチャップ（チューブ入り）」について、動作種別「押し出し」に対して、動作変位強度「10mm以上」で、動作継続時間「2秒」の場合、使用量「6.0g」と登録されている。
尚、「動作継続時間」は、動作単位時間の倍数となっており、これに応じて使用量も倍数として乗算することができる。
【0041】
［物体検出エンジン１１］
物体検出エンジン１１は、映像から、食材又は調味料の「食材種別」を識別する。識別された食材種別は、使用量推定部１３へ出力される。
物体検出エンジン１１は、食材又は調味料が入った容器具の形状を検出するものであってもよいし、食材そのものの形状を検出するものであってもよい。
物体検出エンジン１１は、映像から、食材又は調味料の「食材種別」を識別する。識別された食材種別は、使用量推定部１３へ出力される。
物体検出エンジン１１は、食材又は調味料が入った容器具の形状を検出するものであってもよいし、食材そのものの形状を検出するものであってもよい。
【0042】
物体検出エンジン１１は、検出対象となる物体の形状に基づく特徴情報を、学習モデルとして予め登録したものである。例えば食材や調味料が入った容器具自体の形状に基づく特徴情報を予め登録したものである。他の実施形態として、容器具に付与されたマーカに基づく特徴情報を登録したものであってもよい（例えば非特許文献４参照）。
物体検出エンジン１１は、調理中の映像から特徴情報を抽出し、予め登録されている特徴情報との間でマッチングさせることにより、食材又は調味料を検出する（例えば非特許文献４又は５参照）。
物体検出エンジン１１は、調理中の映像から特徴情報を抽出し、予め登録されている特徴情報との間でマッチングさせることにより、食材又は調味料を検出する（例えば非特許文献４又は５参照）。
【0043】
図４は、調理中の映像から検出された物体を表す説明図である。
【0044】
図４によれば、調理中の映像から、食材や調味料が投入される「調理器具」と、食材や調味料が入った「容器具」と、容器具を持ったユーザの「上肢（手及び腕）」とが、物体として検出される。
ここで、物体検出エンジン１１は、物体として検出した当該容器具に応じた「食材種別」を識別することができる。例えば食卓塩が入った瓶の形状、醤油が入った１リットルボトルの形状、ケチャップが入ったチューブの形状から、それぞれの食材種別を識別する。
ここで、物体検出エンジン１１は、物体として検出した当該容器具に応じた「食材種別」を識別することができる。例えば食卓塩が入った瓶の形状、醤油が入った１リットルボトルの形状、ケチャップが入ったチューブの形状から、それぞれの食材種別を識別する。
【0045】
物体検出エンジン１１は、既存の物体検出方式が適用されたものであって、具体的には、例えば以下のようなものがある。
（１）ＳＩＦＴ特徴量（例えば非特許文献６参照）及びＳＵＲＦ特徴量（例えば非特許文献７参照）
ＳＩＦＴ(Scale-Invariant Feature Transform)は、１枚の画像から１２８次元の特徴ベクトルの集合を抽出する。ＳＩＦＴとは、スケールスペースを用いて特徴的な局所領域を解析し、そのスケール変化及び回転に不変（ロバスト）となる特徴ベクトルを記述する技術である。一方で、ＳＵＲＦ(Speeded Up Robust Features)は、ＳＩＦＴよりも高速処理が可能であって、１枚の画像から６４次元の特徴ベクトルの集合を抽出する。ＳＩＦＴは、処理コストが高く且つリアルタイムマッチングが困難であるのに対し、ＳＵＲＦは、積分画像を利用することによって処理を高速化している。
これら技術は、回転及び拡大縮小又は射影変化（射影変換による歪み）に対して不変な性質を有し、画像の局所領域における相対的な輝度勾配に基づいて算出される局所特徴量を用いることができる。
（１）ＳＩＦＴ特徴量（例えば非特許文献６参照）及びＳＵＲＦ特徴量（例えば非特許文献７参照）
ＳＩＦＴ(Scale-Invariant Feature Transform)は、１枚の画像から１２８次元の特徴ベクトルの集合を抽出する。ＳＩＦＴとは、スケールスペースを用いて特徴的な局所領域を解析し、そのスケール変化及び回転に不変（ロバスト）となる特徴ベクトルを記述する技術である。一方で、ＳＵＲＦ(Speeded Up Robust Features)は、ＳＩＦＴよりも高速処理が可能であって、１枚の画像から６４次元の特徴ベクトルの集合を抽出する。ＳＩＦＴは、処理コストが高く且つリアルタイムマッチングが困難であるのに対し、ＳＵＲＦは、積分画像を利用することによって処理を高速化している。
これら技術は、回転及び拡大縮小又は射影変化（射影変換による歪み）に対して不変な性質を有し、画像の局所領域における相対的な輝度勾配に基づいて算出される局所特徴量を用いることができる。
【0046】
（３）ＯＲＢ特徴量（例えば非特許文献８参照）
ＯＲＢ(Oriented FAST and Rotated BRIEF)は、１つのコンテンツから２５６ビットのバイナリ特徴ベクトルの集合を抽出する。例えば、高速にマッチングを実行するべく、バイナリコードによる特徴記述としてのＢＲＩＥＦ(Binary Robust Independent Elementary Features)に、回転不変性を導入した特徴記述をしたものである。特に、ＯＲＢによれば、ＳＩＦＴやＳＵＲＦと比較して、同等以上の精度を保持すると共に、数百倍の高速化を実現することができる。
ＯＲＢの特徴点検出処理によれば、高速にキーポイントを検出するためにＦＡＳＴ(Features from Accelerated Segment Test)を用いる。また、ＦＡＳＴでは、スケール変化に対してロバストではないため、画像を複数のサイズに変換し、それぞれのサイズの画像から特徴点を抽出する。
また、既存のＦＡＳＴには、回転不変性を得るためのキーポイントのオリエンテーション算出のアルゴリズムがない。そのために、ＯＲＢでは、回転不変性を得るべくOriented FASTを採用している。オリエンテーションを基準として特徴記述をすることによって、入力画像が回転していても、同一なキーポイントは同一な特徴量となって検出することができる。
ＯＲＢ(Oriented FAST and Rotated BRIEF)は、１つのコンテンツから２５６ビットのバイナリ特徴ベクトルの集合を抽出する。例えば、高速にマッチングを実行するべく、バイナリコードによる特徴記述としてのＢＲＩＥＦ(Binary Robust Independent Elementary Features)に、回転不変性を導入した特徴記述をしたものである。特に、ＯＲＢによれば、ＳＩＦＴやＳＵＲＦと比較して、同等以上の精度を保持すると共に、数百倍の高速化を実現することができる。
ＯＲＢの特徴点検出処理によれば、高速にキーポイントを検出するためにＦＡＳＴ(Features from Accelerated Segment Test)を用いる。また、ＦＡＳＴでは、スケール変化に対してロバストではないため、画像を複数のサイズに変換し、それぞれのサイズの画像から特徴点を抽出する。
また、既存のＦＡＳＴには、回転不変性を得るためのキーポイントのオリエンテーション算出のアルゴリズムがない。そのために、ＯＲＢでは、回転不変性を得るべくOriented FASTを採用している。オリエンテーションを基準として特徴記述をすることによって、入力画像が回転していても、同一なキーポイントは同一な特徴量となって検出することができる。
【0047】
（４）機械学習エンジン（例えば非特許文献９参照）
物体検出エンジン１１としては、例えばＳＳＤ(Single Shot Multibox Detector)がある。ＳＳＤは、画像をグリッドで分割し、各グリッドに対して固定された複数のバウンディングボックスの当てはまり具合から、その位置のバウンディングボックスを検知する。そのバウンディングボックスには、１つの物体が収まる。この技術によれば、多量の画像とアノテーション（食材種別）の組を正解データとして学習した機械学習モデルを用いる。
物体検出のカテゴリとして、「食材種別」が検出される。例えば調理中の映像の場合、その映像から、例えば「瓶入り食卓塩」「１リットルボトル入り醤油」「チューブ入りケチャップ」などの物体を検出する。
物体検出エンジン１１としては、例えばＳＳＤ(Single Shot Multibox Detector)がある。ＳＳＤは、画像をグリッドで分割し、各グリッドに対して固定された複数のバウンディングボックスの当てはまり具合から、その位置のバウンディングボックスを検知する。そのバウンディングボックスには、１つの物体が収まる。この技術によれば、多量の画像とアノテーション（食材種別）の組を正解データとして学習した機械学習モデルを用いる。
物体検出のカテゴリとして、「食材種別」が検出される。例えば調理中の映像の場合、その映像から、例えば「瓶入り食卓塩」「１リットルボトル入り醤油」「チューブ入りケチャップ」などの物体を検出する。
【0048】
図５は、調理中の映像から検出された容器具を表す説明図である。
【0049】
図５によれば、物体として容器具「小さじ」が検出されている。この場合、予め学習された小さじの形状（大きさ及び色）に基づく特徴情報とマッチングさせることによって、物体「小さじ」を検出することができる。また、「小さじ」に対する容量を登録しておくことによって、その使用量も直ぐに推定することができる。計量器具として、「大さじ」「中さじ」「小さじ」のように、複数のさじにおける各容量を登録しておくこともできる。
【0050】
［動作検出エンジン１２］
動作検出エンジン１２は、映像から、食材又は調味料を投入する「動作種別」を識別する。識別された動作種別は、使用量推定部１３へ出力される。
動作検出エンジン１２は、「動作種別」としては、例えば振り出し動作、揺すり出し動作、注ぎ動作、押し出し動作、又は、さじ投入動作のいずれかを識別することもできる。
動作検出エンジン１２は、映像から、食材又は調味料を投入する「動作種別」を識別する。識別された動作種別は、使用量推定部１３へ出力される。
動作検出エンジン１２は、「動作種別」としては、例えば振り出し動作、揺すり出し動作、注ぎ動作、押し出し動作、又は、さじ投入動作のいずれかを識別することもできる。
【0051】
動作検出エンジン１２は、映像から、ユーザの上肢が、当該食材又は調味料の投入先の調理器具の上方に位置した際に、投入動作としての動作種別を識別することが好ましい。食材や調味料の投入は、必ず調理器具の上方で行われる動作のためである。
【0052】
動作検出エンジン１２は、映像から、ユーザの上肢における複数の骨格位置を時系列に抽出し、当該骨格位置の時系列変位から動作種別を識別する。このような骨格認識の動作検出エンジンとしては、具体的にはOpenPose（登録商標）が用いられる（例えば非特許文献１、２、３参照）。この技術によれば、スケルトンモデルを用いて、人の骨格の特徴点をリアルタイムに抽出する。
【0053】
動作検出エンジン１２は、時系列の骨格位置の変位量から、ユーザの上肢における「動作種別」を推定する。具体的には、教師データは、映像における時系列の骨格位置の変位量に「動作種別」を対応付けたものであり、深層学習の学習モデルを予め構築したものである。OpenPoseの場合、クラス分類によって、動作種別毎にスコアが算出される。これによって、調理中の映像が入力された際に、最も高いスコアとなる「動作種別」を推定することができる。
【0054】
【0055】
図７は、調理中の映像から検出された動作を表す説明図である。
【0056】
動作検出エンジン１２は、例えば以下のような骨格の変位に応じて、動作種別を検出する。
（１）ユーザの指先位置の速度を表すベクトルが、所定の短い時間内又は零時間で反対方向のベクトルに変化した場合 －＞ 「振り出し動作」
（２）ユーザの指先位置を表すベクトルが、所定周期で周期変化した場合 －＞ 「揺すり出し動作」
（３）ユーザの各指の骨格が鉛直方向に並んだ状態から所定角度以上に傾いた場合 －＞「注ぎ動作」
（４）ユーザの親指の指先とその他の手指の指先の間の距離が所定距離よりも小さくなった場合 －＞ 「押し出し動作」
（１）ユーザの指先位置の速度を表すベクトルが、所定の短い時間内又は零時間で反対方向のベクトルに変化した場合 －＞ 「振り出し動作」
（２）ユーザの指先位置を表すベクトルが、所定周期で周期変化した場合 －＞ 「揺すり出し動作」
（３）ユーザの各指の骨格が鉛直方向に並んだ状態から所定角度以上に傾いた場合 －＞「注ぎ動作」
（４）ユーザの親指の指先とその他の手指の指先の間の距離が所定距離よりも小さくなった場合 －＞ 「押し出し動作」
【0057】
他の実施形態として、動作検出エンジン１２は、例えば、調理中の映像から、ユーザが大さじや小さじ等の計量器具を把持したことを認識した後、さじの投入動作と識別することもできる。
【0058】
また、他の実施形態として、動作検出エンジン１２は、動作種別と共に、「動作継続時間」及び／又は「動作変位強度」を、使用量推定部１３へ出力するものであってもよい。これによって、使用量推定部１３は、動作変位強度に応じた使用量を推定することができる。
【0059】
［使用量推定部１３］
使用量推定部１３は、第１の登録テーブル１０１を用いて、識別された「食材種別及び動作種別」の組に紐付く「使用量」を推定する。
また、使用量推定部１３は更に、動作検出エンジン１２から動作種別及び動作継続時間を入力した場合、動作単位時間に対する動作継続時間に基づいて使用量を推定することもできる。
更に、使用量推定部１３は更に、動作検出エンジン１２から動作種別及び動作変位強度を入力した場合、使用量を動作変位強度で重み付けることによって推定することもできる。
食材種別に対して、推定された「使用量」は、栄養成分算出部１４又はアプリケーションへ出力される。
使用量推定部１３は、第１の登録テーブル１０１を用いて、識別された「食材種別及び動作種別」の組に紐付く「使用量」を推定する。
また、使用量推定部１３は更に、動作検出エンジン１２から動作種別及び動作継続時間を入力した場合、動作単位時間に対する動作継続時間に基づいて使用量を推定することもできる。
更に、使用量推定部１３は更に、動作検出エンジン１２から動作種別及び動作変位強度を入力した場合、使用量を動作変位強度で重み付けることによって推定することもできる。
食材種別に対して、推定された「使用量」は、栄養成分算出部１４又はアプリケーションへ出力される。
【0060】
本発明における他の実施形態として、端末２へ、調理中のユーザに対するアラームを通知するために、以下のような３つのパターンのアラームを通知することができる。
＜第１のアラーム：食材種別毎の使用量が最大使用量を超えた際に通知＞
＜第２のアラーム：食材種別毎の各栄養成分の含有量が最大含有量を超えた際に通知＞
＜第３のアラーム：栄養成分毎の累積含有量が最大累積含有量を超えた際に通知＞
＜第１のアラーム：食材種別毎の使用量が最大使用量を超えた際に通知＞
＜第２のアラーム：食材種別毎の各栄養成分の含有量が最大含有量を超えた際に通知＞
＜第３のアラーム：栄養成分毎の累積含有量が最大累積含有量を超えた際に通知＞
【0061】
＜第１のアラーム：食材種別毎の使用量が最大使用量を超えた際に通知＞
図８は、第１の登録テーブルを用いて第１のアラームを通知する説明図である。
図８は、第１の登録テーブルを用いて第１のアラームを通知する説明図である。
【0062】
第１の登録テーブル１０１は、食材種別毎に、「最大使用量」が紐付けられている。
図８によれば、例えば食材種別「瓶入り食卓塩」に対して、最大使用量1gが対応付けられている。
図８によれば、例えば食材種別「瓶入り食卓塩」に対して、最大使用量1gが対応付けられている。
【0063】
［第１のアラーム通知部１７１］
第１のアラーム通知部１７１は、使用量推定部１３によって推定された食材種別の使用量が、第１の登録テーブル１０１に記憶された最大使用量を超えた際に、ユーザに対して第１のアラームを通知する。
これによって、第１のアラームが端末２に表示され、ユーザは、その食材種別における使用量が過剰になっていることを知ることができる。
図８によれば、第１のアラーム通知部１７１は、使用量推定部１３によって食材種別「瓶入り食卓塩」の使用量1.5gが、第１の登録テーブル１０１に記憶された最大使用量1gを超えたと判定し、ユーザに対して第１のアラーム「食卓塩が剰摂取です！」を通知する。
第１のアラーム通知部１７１は、使用量推定部１３によって推定された食材種別の使用量が、第１の登録テーブル１０１に記憶された最大使用量を超えた際に、ユーザに対して第１のアラームを通知する。
これによって、第１のアラームが端末２に表示され、ユーザは、その食材種別における使用量が過剰になっていることを知ることができる。
図８によれば、第１のアラーム通知部１７１は、使用量推定部１３によって食材種別「瓶入り食卓塩」の使用量1.5gが、第１の登録テーブル１０１に記憶された最大使用量1gを超えたと判定し、ユーザに対して第１のアラーム「食卓塩が剰摂取です！」を通知する。
【0064】
＜第２のアラーム：食材種別毎の各栄養成分の含有量が最大含有量を超えた際に通知＞
図９は、第２の登録テーブルを用いて第２のアラームを通知する説明図である。
図９は、第２の登録テーブルを用いて第２のアラームを通知する説明図である。
【0065】
［第２の登録テーブル１０２］
第２の登録テーブル１０２は、食材種別毎に、使用単位量と各栄養成分及びその含有量とを紐付けたものである。
図９によれば、第２の登録テーブル１０２には、チューブ入りケチャップについて、使用単位量10g当たりの各栄養成分及びその含有量が対応付けて登録されている。栄養成分としては、例えば熱量、たんぱく質、脂質、炭水化物、食塩相当量、ビタミン・ミネラルがある。それら栄養成分毎に、ケチャップ10g当たりの含有量が記述されている。
第２の登録テーブル１０２は、食材種別毎に、使用単位量と各栄養成分及びその含有量とを紐付けたものである。
図９によれば、第２の登録テーブル１０２には、チューブ入りケチャップについて、使用単位量10g当たりの各栄養成分及びその含有量が対応付けて登録されている。栄養成分としては、例えば熱量、たんぱく質、脂質、炭水化物、食塩相当量、ビタミン・ミネラルがある。それら栄養成分毎に、ケチャップ10g当たりの含有量が記述されている。
【0066】
［栄養成分算出部１４］
栄養成分算出部１４は、第２の登録テーブル１０２を用いて、使用量推定部１３によって推定された食材種別毎の使用量から、栄養成分及びその含有量を算出する。
栄養成分算出部１４は、第２の登録テーブル１０２を用いて、使用量推定部１３によって推定された食材種別毎の使用量から、栄養成分及びその含有量を算出する。
【0067】
栄養成分算出部１４は、具体的には、第２の登録テーブル１０２に記述された使用単位量に基づいて、係数ｋ＝使用量／使用単位量（例えばｋ＝20g/10g＝2）を算出する。そして、栄養成分毎の使用単位量当たりの含有量（例えば20kcal）に、係数ｋを乗算する（例えば20kcal×2＝40kcal）ことによって、当該食材種別の使用量における栄養成分毎の含有量を算出することができる。
【0068】
図９によれば、栄養成分算出部１４は、使用量推定部１３から、食材種別「チューブ入りケチャップ」の使用量30gが入力されたとする。このとき、栄養成分算出部１４は、第２の登録テーブル１０２を用いて、チューブ入りケチャップについて、使用単位量10g当たりの各栄養成分及びその含有量を検索する。
例えば食材種別「チューブ入りケチャップ」の使用量10g当たり熱量20kcalであれば、30gでは熱量60kcal（＝20kcal×3）と算出する。
また、食材種別「チューブ入りケチャップ」の使用量10g当たり食塩相当量1gであれば、30gでは食塩相当量3g（＝1g×3）と算出する。
例えば食材種別「チューブ入りケチャップ」の使用量10g当たり熱量20kcalであれば、30gでは熱量60kcal（＝20kcal×3）と算出する。
また、食材種別「チューブ入りケチャップ」の使用量10g当たり食塩相当量1gであれば、30gでは食塩相当量3g（＝1g×3）と算出する。
【0069】
［文字認識部１５］
文字認識部１５は、映像に、食材又は調味料の容器具に記述された栄養成分表示部分が映り込んでいる際に、当該栄養成分表示部分から当該食材種別における使用単位量及び栄養成分を、文字認識によって読み取る。読み取られた食材種別毎の使用単位量及び栄養成分は、第２の登録テーブル１０２に登録される。
文字認識部１５は、映像に、食材又は調味料の容器具に記述された栄養成分表示部分が映り込んでいる際に、当該栄養成分表示部分から当該食材種別における使用単位量及び栄養成分を、文字認識によって読み取る。読み取られた食材種別毎の使用単位量及び栄養成分は、第２の登録テーブル１０２に登録される。
【0070】
文字認識部１５によって読み取られる栄養成分表示部分は、食品表示法によって原則として全ての予め包装された一般消費者向け加工食品及び添加物に記載することが義務付けられている当該加工食品及び添加物の栄養成分情報を記載した部分である。
【0071】
文字認識部１５は、予め機械学習された文字認識エンジンであってもよい（例えば非特許文献１０参照）。
認識された文字から栄養成分を認識する際に、文字同士の結合関係（文字列）とその方向を推定し、栄養成分とそれに紐づく栄養成分及びその含有量を検出することもできる（例えば非特許公報１１参照）。この技術によれば、例えば、栄養成分名（例えばたんぱく質など）を含む文字列と、その当該文字列の方向に続く文字列とから、数字及び記号とそれに続く単位記号（例えばkcal, gなど）とを検出することによって、栄養成分及びその含有量（例えば13.5gなど）を検出することができる。
認識された文字から栄養成分を認識する際に、文字同士の結合関係（文字列）とその方向を推定し、栄養成分とそれに紐づく栄養成分及びその含有量を検出することもできる（例えば非特許公報１１参照）。この技術によれば、例えば、栄養成分名（例えばたんぱく質など）を含む文字列と、その当該文字列の方向に続く文字列とから、数字及び記号とそれに続く単位記号（例えばkcal, gなど）とを検出することによって、栄養成分及びその含有量（例えば13.5gなど）を検出することができる。
【0072】
図９によれば、第２の登録テーブル１０２には、食材種別の栄養成分毎に、「最大含有量」が更に紐付けられている。
図９によれば、例えば食材種別「チューブ入りケチャップ」の場合、熱量について、最大含有量80kcalが対応付けられている。また、食塩相当量について、最大含有量2gが対応付けられている。
図９によれば、例えば食材種別「チューブ入りケチャップ」の場合、熱量について、最大含有量80kcalが対応付けられている。また、食塩相当量について、最大含有量2gが対応付けられている。
【0073】
［第２のアラーム通知部１７２］
第２のアラーム通知部１７２は、使用量推定部１３によって推定された食材種別におけるいずれかの栄養成分の含有量が、第２の登録テーブル１０２に記憶された栄養成分の最大含有量を超えた際に、ユーザに対して第２のアラームを通知する。
これによって、第２のアラームが端末２に表示され、ユーザは、その食材種別における栄養成分の含有量が過剰になっていることを知ることができる。
第２のアラーム通知部１７２は、使用量推定部１３によって推定された食材種別におけるいずれかの栄養成分の含有量が、第２の登録テーブル１０２に記憶された栄養成分の最大含有量を超えた際に、ユーザに対して第２のアラームを通知する。
これによって、第２のアラームが端末２に表示され、ユーザは、その食材種別における栄養成分の含有量が過剰になっていることを知ることができる。
【0074】
図９によれば、第２のアラーム通知部１７２は、使用量推定部１３によって食材種別「チューブ入りケチャップ」の栄養成分「食塩相当量」の含有量3gが、第２の登録テーブル１０２に記憶された最大含有量2gを超えたと判定し、ユーザに対して第２のアラーム「チューブ入りケチャップの食塩相当量が過剰摂取です！」を通知する。
【0075】
＜第３のアラーム：栄養成分毎の累積含有量が最大累積含有量を超えた際に通知＞
図１０は、第３の登録テーブルを用いて第３のアラームを通知する説明図である。
図１０は、第３の登録テーブルを用いて第３のアラームを通知する説明図である。
【0076】
［第３の登録テーブル１０３］
第３の登録テーブル１０３は、栄養成分毎に、最大累積含有量を紐付けたものである。
第３の登録テーブル１０３は、栄養成分毎に、最大累積含有量を紐付けたものである。
【0077】
［栄養成分累積部１６］
栄養成分累積部１６は、調理中の映像の撮影開始から、又は、ユーザによる使用量推定開始指示から、栄養成分毎に、栄養成分算出手段から出力された含有量を累積する。
栄養成分累積部１６は、調理中の映像の撮影開始から、又は、ユーザによる使用量推定開始指示から、栄養成分毎に、栄養成分算出手段から出力された含有量を累積する。
【0078】
図１０によれば、栄養成分「熱量」について、過去の複数の食材又は調味料の投入によって、その調理に、20kcal＋60kcal＋20kcal＝100kcalが累積的に含有されている。
また、栄養成分「脂質」について、過去の複数の食材又は調味料の投入によって、その調理に、5g＋8g＋17g＝30gが累積的に含有されている。
更に、栄養成分「食塩相当量」について、過去の複数の食材又は調味料の投入によって、その調理に、1g＋2g＋1g＝4gが累積的に含有されている。
また、栄養成分「脂質」について、過去の複数の食材又は調味料の投入によって、その調理に、5g＋8g＋17g＝30gが累積的に含有されている。
更に、栄養成分「食塩相当量」について、過去の複数の食材又は調味料の投入によって、その調理に、1g＋2g＋1g＝4gが累積的に含有されている。
【0079】
［第３のアラーム通知部１７３］
第３のアラーム通知部１７３は、栄養成分累積部１６によって累積されたいずれかの栄養成分の累積含有量が、第３の登録テーブル１０３に記憶された栄養成分の最大累積含有量を超えた際に、ユーザに対して第３のアラームを通知する。
これによって、第３のアラームが端末２に表示され、ユーザは、その食材種別における栄養成分の累積含有量が過剰になっていることを知ることができる。
第３のアラーム通知部１７３は、栄養成分累積部１６によって累積されたいずれかの栄養成分の累積含有量が、第３の登録テーブル１０３に記憶された栄養成分の最大累積含有量を超えた際に、ユーザに対して第３のアラームを通知する。
これによって、第３のアラームが端末２に表示され、ユーザは、その食材種別における栄養成分の累積含有量が過剰になっていることを知ることができる。
【0080】
図１０によれば、第３のアラーム通知部１７３は、栄養成分累積部１６によって栄養成分「脂質」の累積含有量30gが、第３の登録テーブル１０３に記憶された最大累積含有量20gを超えたと判定し、ユーザに対して第３のアラーム「脂質の累積含有量が過剰摂取です！」を通知する。
また、第３のアラーム通知部１７３は、栄養成分累積部１６によって栄養成分「食塩相当量」の累積含有量4gが、第３の登録テーブル１０３に記憶された最大累積含有量3gを超えたと判定し、ユーザに対して第３のアラーム「食塩相当量の累積含有量が過剰摂取です！」を通知する。
また、第３のアラーム通知部１７３は、栄養成分累積部１６によって栄養成分「食塩相当量」の累積含有量4gが、第３の登録テーブル１０３に記憶された最大累積含有量3gを超えたと判定し、ユーザに対して第３のアラーム「食塩相当量の累積含有量が過剰摂取です！」を通知する。
【0081】
前述した第１～第３のアラームではそれぞれ、以下のようなアラームの通知基準である。
（１）食材種別毎の使用量が最大使用量を超えた際
（２）食材種別毎の各栄養成分の含有量が最大含有量を超えた際
（３）栄養成分毎の累積含有量が最大累積含有量を超えた際
それらに代えて又はそれらと共に、例えば、以下のようなアラームの通知基準とするものであってもよい。
（１’）食材種別毎の使用量の最大使用量に対する割合が所定の閾値を超えた際
（２’）食材種別毎の各栄養成分の含有量の最大含有量に対する割合が所定の閾値を超えた際
（３’）栄養成分毎の累積含有量の最大累積含有量に対する割合が所定の閾値を超えた際
これらにより、食材種別毎や栄養成分毎の食材又は調味料の過剰投入を厳密に防止することができる。
（１）食材種別毎の使用量が最大使用量を超えた際
（２）食材種別毎の各栄養成分の含有量が最大含有量を超えた際
（３）栄養成分毎の累積含有量が最大累積含有量を超えた際
それらに代えて又はそれらと共に、例えば、以下のようなアラームの通知基準とするものであってもよい。
（１’）食材種別毎の使用量の最大使用量に対する割合が所定の閾値を超えた際
（２’）食材種別毎の各栄養成分の含有量の最大含有量に対する割合が所定の閾値を超えた際
（３’）栄養成分毎の累積含有量の最大累積含有量に対する割合が所定の閾値を超えた際
これらにより、食材種別毎や栄養成分毎の食材又は調味料の過剰投入を厳密に防止することができる。
【0082】
本発明の情報装置、プログラム及び方法によれば、調理中の映像のみを用いて、その食材又は調味料の使用量を推定することができる。
特に、形や大きさが映像的に認識できない粉末や液体等の食材又は調味料を、容器具から直接的に調理器具に投入した場合であっても、その使用量を推定することができる。これによって、食材又は調味料として、固形物に限ることなく、任意の食材又は調味料の使用量を推定することができる。また、家庭内における日常的な調理中の映像であっても、その栄養成分の算定精度を高めることもできる。
特に、形や大きさが映像的に認識できない粉末や液体等の食材又は調味料を、容器具から直接的に調理器具に投入した場合であっても、その使用量を推定することができる。これによって、食材又は調味料として、固形物に限ることなく、任意の食材又は調味料の使用量を推定することができる。また、家庭内における日常的な調理中の映像であっても、その栄養成分の算定精度を高めることもできる。
【0083】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【0084】
１ 情報装置
１０ 映像受信部
１０１ 第１の登録テーブル
１０２ 第２の登録テーブル
１０３ 第３の登録テーブル
１１ 物体検出エンジン
１２ 動作検出エンジン
１３ 使用量推定部
１４ 栄養成分算出部
１５ 文字認識部
１６ 栄養成分累積部
１７１ 第１のアラーム通知部
１７２ 第２のアラーム通知部
１７３ 第３のアラーム通知部
２ 端末、スマートフォン
１０ 映像受信部
１０１ 第１の登録テーブル
１０２ 第２の登録テーブル
１０３ 第３の登録テーブル
１１ 物体検出エンジン
１２ 動作検出エンジン
１３ 使用量推定部
１４ 栄養成分算出部
１５ 文字認識部
１６ 栄養成分累積部
１７１ 第１のアラーム通知部
１７２ 第２のアラーム通知部
１７３ 第３のアラーム通知部
２ 端末、スマートフォン
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】