特許 7385845 重量検出装置及び重量検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-11-15

(45)【発行日】2023-11-24

(54)【発明の名称】重量検出装置及び重量検出プログラム

(51)【国際特許分類】

   G01G 19/40 20060101AFI20231116BHJP

【ＦＩ】

G01G19/40 Z

【請求項の数】 7

(21)【出願番号】P 2020075494

(22)【出願日】2020-04-21

(65)【公開番号】P2021173558

(43)【公開日】2021-11-01

【審査請求日】2022-11-30

(73)【特許権者】

【識別番号】504209655

【氏名又は名称】国立大学法人佐賀大学

(73)【特許権者】

【識別番号】309012166

【氏名又は名称】株式会社中島製作所

(74)【代理人】

【識別番号】100099634

【弁理士】

【氏名又は名称】平井 安雄

(72)【発明者】

【氏名】中山 功一

(72)【発明者】

【氏名】中島 弘喜

【審査官】公文代 康祐

(56)【参考文献】

【文献】特開２０１８－１６３６１５（ＪＰ，Ａ）

【文献】特開２００８－２０４１０５（ＪＰ，Ａ）

【文献】特開２０１８－０４９３９３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１３／０１５７２３２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｇ １／００－２３／４８

Ａ６１Ｇ １２／００

(57)【特許請求の範囲】

【請求項1】

トレイに載置された食器を撮像した撮像情報を取得する撮像情報取得手段と、
前記食器を含む前記トレイが載置される少なくとも三つ以上の直線上にない重量計からの重量情報を取得する重量情報取得手段と、
前記撮像情報から前記重量計の位置に対する前記食器の位置情報を求める位置算出手段と、
算出された前記食器の位置情報、前記重量計の位置情報及び前記重量情報に基づいて、前記食器の重量を算出する重量算出手段とを備えることを特徴とする重量検出装置。

【請求項2】

請求項１に記載の重量検出装置において、
前記撮像情報に基づいて食材の重量に関係しない物体を特定し、当該物体の位置情報、及び当該物体の予め登録された重量に基づいて、前記重量情報を補正する補正手段を備える重量検出装置。

【請求項3】

請求項１又は２に記載の重量検出装置において、
前記トレイに食器が載置されたタイミングにおける前記重量情報に基づいて、食事前の各食器ごとの重量情報を登録する重量登録手段を備える重量検出装置。

【請求項4】

請求項１ないし３のいずれかに記載の重量検出装置において、
前記重量算出手段が食事後の残食食材の重量を算出し、
食事前の予め登録された各食器ごとの重量情報、及び前記残食食材の重量情報に基づいて、摂取された食材の重量を算出する摂取量算出手段を備える重量検出装置。

【請求項5】

請求項１ないし４のいずれかに記載の重量検出装置において、
前記トレイ上の空の食器を特定する空食器特定手段と、
前記トレイに載置された食器のうち前記空の食器を除いた対象食器が四つ以上である場合に、前記撮像情報に基づいて各対象食器ごとの重量の比率を推定する比率算出手段とを備え、
前記重量算出手段が、前記対象食器の位置情報、前記重量計の位置情報、前記重量情報、及び前記比率に基づいて、三つ目以降の食器の重量を算出する重量検出装置。

【請求項6】

請求項５に記載の重量検出装置において、
前記比率算出手段で算出された比率が大きい方から又は小さい方から上位三つ目以降の対象食器をグループ化するグループ化手段を備え、
前記重量算出手段が、グループ化された三つ目以降の対象食器の重量を算出し、前記比率に応じて個々の対象食器の重量を算出する重量検出装置。

【請求項7】

トレイに載置された食器を撮像した撮像情報を取得する撮像情報取得手段、
前記食器を含む前記トレイが載置される少なくとも三つ以上の直線上にない重量計からの重量情報を取得する重量情報取得手段、
前記撮像情報から前記重量計の位置に対する前記食器の位置情報を求める位置算出手段、
算出された前記食器の位置情報、前記重量計の位置情報及び前記重量情報に基づいて、前記食器の重量を算出する食材重量算出手段としてコンピュータを機能させることを特徴とする重量検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像情報及び重量情報を用いて食器内の食材の重量を検出する重量検出装置等に関する。

【背景技術】

【0002】

介護施設や医療現場において摂取された食事量の管理が重要であるが、現状は人手不足等の理由により厳密に管理するのが困難な状況である。そのため、手間を掛けずに且つ正確な食事量の管理を行う技術が強く望まれている。残食の管理に関する技術として、例えば特許文献１、２に示す技術が開示されている。

【0003】

特許文献１に示す技術は、消費者に食品を提供する食品提供システムを前提にしており、情報サービスセンター内の記憶手段は回収した食品によって判別された残食情報を記憶し、情報サービスセンター内のメニュー決定手段は上記残食情報に基づいてメニューを決定し、残食情報に基づいてメニューを決定することで、消費者の嗜好に応じたメニュー、あるいは、栄養状態を考慮したメニューを確実に提供するものである。

【0004】

特許文献２に示す技術は、医療情報が格納された医療サーバ、患者向け情報送出装置、医療スタッフが識別コードを入力することによって担当する患者の医療情報の読み書きを行うことのできる医療スタッフ用端末装置、及び、患者向け情報送出装置からの情報を受信可能であり、各患者がベッド上で操作し且つ表示面を見ることのできるようにそれぞれ設置された複数の患者用端末装置を有し、各患者用端末装置は、医療スタッフが識別コードを入力することによって、医療サーバにアクセスして当該医療スタッフの担当する患者の医療情報の読み書きを行うことが可能に構成されてなるものである。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００３－７６７５５号公報

【文献】特開平１１－１８４９５６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記特許文献１及び２には、残食を管理するためにトレイに残っている食品や食器の状態の映像情報を用いることが記載されているものの、その具体的な手法については一切記載されていない。

【0007】

ここで、カメラの撮影による残食の管理について発明者らが研究した結果、映像だけで残食の状態を解析するのが極めて困難であることがわかった。具体的には、例えば味噌汁のような混濁した食品の場合、汁のみが残っているのか中の具材も残っているのか映像だけで判断するのは不可能である。また例えば、食材は摂取しているものの、色が付いたソースのみが食器に残っている状態と食材自体を残している状態との区別は映像だけで判断するのが極めて困難である。その他にも流動食の摂取量の判別や果物（皮だけが残っている状態か果肉も残っている状態か）の判別等、実際に実験・研究を行った結果、映像だけで残食を確認することが極めて困難であることがわかっている。

【0008】

本発明は、食器の配置情報を撮像情報から取得し、別途重量情報を取得することで、残食量や摂取量を算出することが可能となる重量検出装置及び重量検出プログラムを提供する。

【課題を解決するための手段】

【0009】

本発明に係る重量検出装置は、トレイに載置された食器を撮像した撮像情報を取得する撮像情報取得手段と、前記食器を含む前記トレイが載置される少なくとも三つ以上の直線上にない重量計からの重量情報を取得する重量情報取得手段と、前記撮像情報から前記トレイにおける前記食器の位置情報、及び前記トレイにおける前記重量計の位置情報を求める位置算出手段と、算出された前記食器の位置情報、前記重量計の位置情報及び前記重量情報に基づいて、前記食器の重量を算出する重量算出手段とを備えるものである。

【0010】

このように、本発明に係る重量検出装置においては、トレイに載置された食器を撮像した撮像情報を取得し、前記食器を含む前記トレイが載置される少なくとも三つ以上の直線上にない重量計からの重量情報を取得し、前記撮像情報から前記トレイにおける前記食器の位置情報、及び前記トレイにおける前記重量計の位置情報を求め、算出された前記食器の位置情報、前記重量計の位置情報及び前記重量情報に基づいて、前記食器の重量を算出するため、トレイを撮像して重量計に載置するだけで食器ごとの個々の重量を算出することが可能となり、簡単で且つ正確に食事管理を行うことができるという効果を奏する。

【図面の簡単な説明】

【0011】

【図1】第１の実施形態に係る重量検出装置を含む重量検出システムの構成を示す概略図である。

【図2】第１の実施形態に係る重量検出装置の構成を示す機能ブロック図である。

【図3】カメラが撮像した画像の一例を示す模式図である。

【図4】下膳台及びトレイと座標系との関係を示す図である。

【図5】定義された座標系の一例を示す図である。

【図6】第１の実施形態に係る重量検出システムの一連の処理を示すフローチャートである。

【図7】第２の実施形態に係る重量検出装置の構成を示す機能ブロック図である。

【図8】第２の実施形態に係る重量検出システムの一連の処理を示すフローチャートである。

【図9】第３の実施形態に係る重量検出装置の構成を示す機能ブロック図である。

【図10】第３の実施形態に係る重量検出システムの食前の処理を示すフローチャートである。

【図11】第３の実施形態に係る重量検出システムの食後の処理を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明の実施の形態を説明する。また、本実施形態の全体を通して同じ要素には同じ符号を付けている。

【0013】

（本発明の第１の実施形態）
本実施形態に係る重量検出装置について、図１ないし図６を用いて説明する。本実施形態に係る重量検出装置は、カメラで撮像した画像と複数の重量計とを用いることで複数の食器をトレイに載せた状態のまま、各食器ごとの重量情報を算出するものである。

【0014】

図１は、本実施形態に係る重量検出装置を含む重量検出システムの構成を示す概略図である。図１（Ａ）はシステム全体を示す外観図であり、図１（Ｂ）は下膳台にトレイを設置した場合の上面図である。

【0015】

図１（Ａ）において、本実施形態に係る重量検出システム１は、下膳台１５の上面部分に設置され、食器１３を含むトレイ１４全体の重量を計測する複数の重量計１２と、下膳台１５及びトレイ１４全体を撮像するカメラ１１と、カメラ１１で撮像された画像情報、及び重量計１２で計測されたトレイ１４全体の重量情報に基づいて各食器１３ごとの重量を算出する重量検出装置１０とを備える。

【0016】

カメラ１１は、下膳台１５の上方（好ましくはトレイ１４が載置された場合に中心となる位置の直上）に設置され、少なくともトレイ１４全体を撮像する。下膳台１５又はトレイ１４には予め識別子が貼付されており、重量検出装置１０が行う画像処理により識別子が特定され、当該識別子を基準としてトレイ１４上の各食器１３の位置が算出される。位置を特定する方法の一例として、図１（Ｂ）に示すように、下膳台１５とトレイ１４とのそれぞれに識別子１６（例えば、バーコードやＱＲコード（登録商標）等）が貼付されており、それぞれの識別子の位置と方向とが特定されることで下膳台１５とトレイ１４との相対的な位置関係が求められ、重量計１２は下膳台１５に固定されていることから重量計１２と食器１３との位置関係も容易に求めることが可能となる。なお、カメラ１１と重量計１２との位置を固定することで、重量計１２と食器１３との位置関係を容易に求めことも可能である。また、重量計１２の位置をカメラ１１で撮像した撮像画像を画像処理することで求めるようにしてもよい。さらにまた、重量計１２で計測される重量情報にはトレイ１４の重量も含まれており、トレイ１４が各重量計１２の計測値に対してどのように影響を与えているかを算出する必要があることから、トレイ１４の位置を画像処理により求めるようにしてもよい。

【0017】

重量計１２は例えばロードセルであり、下膳台１５の表面に突出するようにロードボタン１７が設置されている。重量計１２は少なくとも３つの直線上にない位置に配設されており、それぞれの重量計１２のロードボタン１７はトレイ１４が載置された場合に当該トレイ１４に接触するように配設される。なお、後述するように、食器１３の位置を求める場合には３つの重量計１２の配置構造において直角三角形が形成されるように配置することが望ましい。そうすることで、直角部分の交点を座標の原点として演算を容易にすることが可能となる。

【0018】

カメラ１１で撮像された画像情報と重量計１２で計測された重量情報は重量検出装置１０に送られ、各食器１３ごとに個別に重量が演算される。以下、重量検出装置１０の構成及び処理について詳細に説明する。図２は、本実施形態に係る重量検出装置の構成を示す機能ブロック図である。重量検出装置１０は、カメラ１１が撮像した画像情報を取得する撮像情報取得部２１と、撮像情報取得部２１が取得した画像情報に基づいて、トレイ１４に載置されている各食器１３の位置を算出する位置算出部２２と、各重量計１２で計測された重量情報を取得する重量情報取得部２３と、食事の際に使用される食器１３（空の場合）の種類ごとの重量、箸、スプーンなどの重量の情報を予め登録して記憶する登録情報記憶部２７と、撮像情報取得部２１が取得した画像情報、位置算出部２２が算出した位置情報、重量情報取得部２３が取得した重量情報、及び登録情報記憶部２７に記憶された登録情報に基づいて各食器１３の重量を算出すると共に、各食器１３ごとに当該食器１３に残っている食材の重量を算出する重量算出部２４と、重量算出部２４で算出された重量情報をディスプレイ、プリンタ、外部メモリ等の出力デバイス２６に出力する出力制御部２５とを備える。

【0019】

位置算出部２２は、カメラ１１が撮像した画像情報に対して画像処理によりトレイ１４上にある食器１３やその他のものを識別する。図３は、カメラ１１が撮像した画像の一例を示す模式図である。図３（Ａ）はトレイ１４の上方からカメラ１１で撮像した画像の一例、図３（Ｂ）は各おかずを盛る食器１３の画像の一例である。ここでは、図３（Ａ）における主食の食器、汁物の食器、主菜の食器、スプーン、箸の画像を図３（Ｂ）に示している。図３（Ｂ）に示すような画像情報（サイズ、重量、平面形状、色、模様等を含む）が予め重量検出装置１０の登録情報記憶部２７、又はクラウド上のコンピュータに登録されており、図３（Ａ）の画像情報とのマッチングを行うことで、図３（Ａ）に撮像された各物体（画像における要素）の種別を特定する。ここでは、図３（Ｂ）に示すような画像情報から図３（Ａ）における主食、汁物、主菜、スプーン、箸が画像処理により特定される。また、スプーン、箸については食材の重量に関係ないため、種別を特定した上で登録情報記憶部２７に記憶された登録情報に基づいて演算対象から除外する。このようなスプーン、箸、空食器などの演算除外については、第２の実施形態において詳細を後述する。

【0020】

なお、福祉施設や病院などの食堂において用いられる食器１３は、基本的に毎日同じものが使用されるため、食器１３のサイズ、模様、平面形状等の特徴を予め登録しておけば、盛られる食材が変わったとしても画像処理により食器１３の種類はほぼ確実に識別することが可能である。画像処理の詳細については周知の方法を用いることができるため、ここでは詳細な説明を省略する。

【0021】

演算対象となる食器１３についてその種別が特定されると、次にそれぞれの位置を求める。ここでは、各食器１３の位置について、それぞれの食器１３の重心となる点やトリミング枠の中心点などをその食器１３の位置とする。そして、各食器１３の位置を示す点を座標上にプロットする。図４は、下膳台１５及びトレイ１４と座標系との関係を示す図である。図４のＬＯ，ＬＸ，ＬＹは重量計１２のロードボタンが配設されている位置であり、ＬＯの交点を原点として直角二等辺三角形となるように配設されている。すなわち、図４に示すように、ロードボタンの位置をＬＯ（０，０），ＬＸ（１，０），ＬＹ（０，１）とする座標系を定義し、この座標系に図３で特定した各食器１３の位置を示す点をプロットしたものが図５に示す座標となる。

【0022】

すなわち、識別子１６又は予め決められた下膳台１５の枠にトレイ１４が載置されることで、トレイ１４と重量計１２（ロードセルのロードボタン）の位置関係が対応付けられる。図３の画像情報から演算対象となる食器１３の位置を示す点とトレイ１４との位置関係が対応付けられる。したがって、各重量計１２と各食器１３との位置関係が対応付けられるため、図５に示すような座標系を作成することが可能となる。なお、上述したように、カメラ１１と重量計１２の位置関係を固定とすることで、重量計１２と各食器１３との位置関係をより簡単に求めるようにしてもよい。

【0023】

次に、図２における重量算出部２４の処理について説明する。図４において二次元平面の３点（ＬＯ，ＬＸ，ＬＹ）に重量計１２があり、重量計１２の３点で囲まれた範囲内にそれぞれの重量が（Ｗ１，Ｗ２，Ｗ３）である重量物（食器１３ａ，食器１３ｂ，食器１３ｃ）がある。各重量計１２の計測値（ＬＸ_ｓｕｍ，ＬＹ_ｓｕｍ，ＬＯ_ｓｕｍ）は重量計１２から取得されて既知であり、各重量物の座標（（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３））は、上記で説明した画像処理により既知である。

【0024】

各重量計１２に掛かるＷ１の重量は、
ＬＸ１＝ｘ１×Ｗ１
ＬＹ１＝ｙ１×Ｗ１
ＬＯ１＝（１－ｘ１－ｙ１）×Ｗ１
となり、Ｗ２及びＷ３についても同様の計算となる。

【0025】

すなわち、ＬＸ，ＬＹ，ＬＯに掛かる全重量は、
ＬＸ_ｓｕｍ＝ｘ１×Ｗ１＋ｘ２×Ｗ２＋ｘ３×Ｗ３・・・（１）
ＬＹ_ｓｕｍ＝ｙ１×Ｗ１＋ｙ２×Ｗ２＋ｙ３×Ｗ３・・・（２）
ＬＯ_ｓｕｍ＝（１－ｘ１－ｙ１）Ｗ１＋（１－ｘ２－ｙ２）Ｗ２＋（１－ｘ３－ｙ３）Ｗ３
・・・（３）
となる。これらの演算式から個々の食器１３の重量｛Ｗ１，Ｗ２，Ｗ３｝を求めることが可能となる。

【0026】

上記計算を具体例で説明する。３つの重量計１２のＸ座標とＹ座標をそれぞれ以下の配置とする。
重量計ＬＯ（Ｘ座標，Ｙ座標)＝（０，０）
重量計ＬＸ（Ｘ座標，Ｙ座標)＝（１，０）
重量計ＬＹ（Ｘ座標，Ｙ座標)＝（０，１）

【0027】

演算対象となる３つの食器１３（食器１３ａ～食器１３ｃ）の座標をそれぞれ以下とし、重量情報取得部２３が取得した３つの重量計１２のそれぞれの値をＬＯ_ｓｕｍ＝８０，ＬＸ_ｓｕｍ＝６０，ＬＹ_ｓｕｍ＝１００（単位をｇとする）であるとする。
食器１３ａの位置 Ｗ１（ｘ１，ｙ１）＝（０，０．５）
食器１３ｂの位置 Ｗ２（ｘ２，ｙ２）＝（０．５，０）
食器１３ｃの位置 Ｗ３（ｘ３，ｙ３）＝（０．５，０．５）

【0028】

上記の式（１）～（３）から、Ｗ１＝１２０ｇ，Ｗ２＝４０ｇ，Ｗ３＝８０ｇが得られ、各食器１３ａ～１３ｃの重量を算出することが可能となる。なお、発明者らが実際に検証した結果、誤差の範囲内で上記演算が成立することが明らかとなった。

【0029】

以上のような演算処理により重量算出部２４がそれぞれの食器１３ごとの重量を算出し、出力制御部２５により出力デバイス２６に出力される。このとき、登録情報記憶部２７に記憶されている登録情報に基づいて、求めた食器１３の重量（Ｗ１～Ｗ３）から登録されている食器のみの重量（食材が空の状態の食器１３の重量）を引くことで食材のみの重量を得ることができる。食材のみの重量は、例えば食事前であれば適正量が注がれているかどうかの判断に利用することが可能であり、食事後であれば残食量を管理することが可能となる。

【0030】

次に、重量検出システムの一連の処理の流れについて説明する。図６は、本実施形態に係る重量検出システムの一連の処理を示すフローチャートである。図６において、まずトレイ１４が下膳台１５にセットされたことを検知する（Ｓ１）。この検知処理は、例えばカメラ１１の撮像画像や重量計１２の重量が変化したことを検知するようにしてもよいし、トレイ１４を載置した人の何らかの操作に基づいて検知するようにしてもよい。トレイ１４が下膳台１５にセットされたら、カメラ１１がトレイ１４の上方から当該トレイ１４全体を撮像する（Ｓ２）。撮像情報取得部２１が、撮像されたトレイ１４の画像を取得する（Ｓ３）。同時に、重量情報取得部２３が各重量計１２の計測結果を取得する（Ｓ４）。位置算出部２２が取得されたトレイ１４の画像を元に座標系を定義すると共に、画像処理を行うことでトレイ１４上にある食器１３の位置を特定し、座標系にプロットする（Ｓ５）。重量算出部２４が上記で説明した演算方法により各食器１３ごとの重量を算出する（Ｓ６）。出力制御部２４が、食器１３の重量や食器１３に盛られている食材の重量等を出力デバイス２６に出力して（Ｓ７）、処理を終了する。

【0031】

このように、本実施形態に係る重量検出装置１０においては、トレイ１４に載置された食器１３を撮像した撮像情報を取得し、食器１３を含むトレイ１４が載置される少なくとも三つ以上の直線上にない重量計１２からの重量情報を取得し、撮像情報からトレイ１４における食器１３の位置情報、及びトレイ１４における重量計１２の位置情報を求め、算出された食器１３の位置情報、重量計１２の位置情報及び重量情報に基づいて、食器１３内の食材の重量を算出するため、トレイ１４を撮像して重量計１２に載置するだけで食器１３ごとの個々の食材の重量を算出することが可能となり、簡単で且つ正確に食事管理を行うことができる。

【0032】

（本発明の第２の実施形態）
本実施形態に係る重量検出装置について、図７及び図８を用いて説明する。本実施形態に係る重量検出装置は、前記第１の実施形態に係る重量検出装置において食材に関係のない空の食器、箸、スプーンなどを除外した上で食材が入っている食器のみ重量を算出するものである。なお、本実施形態において前記第１の実施形態と重複する説明は省略する。

【0033】

図７は、本実施形態に係る重量検出装置の構成を示す機能ブロック図である。第１の実施形態における図２の場合と異なるのは、撮像情報取得部２１が取得したトレイ１４の撮像画像から食材の重量に直接関係しない、箸、スプ―ン、空の食器、その他の物体等の非対象物を特定して演算対象から排除すると共に、重量情報取得部２３が取得した重量情報から、特定された非対象物の重量を差し引いて演算対象だけの重量に補正する補正部２８を備えることである。このとき、補正部２８が補正した結果は位置算出部２２に送られ、位置算出部２２は演算対象として特定された食器の位置のみを座標にプロットする。食材重量算出部２４は、補正部２８で補正された内容、及び補正部２８で補正された内容が反映された位置算出部２２の結果に基づいて重量の演算処理を行う。

【0034】

補正部２８の具体的な処理について説明する。空のお皿やスプーンなど重量が登録情報記憶部２７に予め記憶されている３つの物体をＣ１，Ｃ２，Ｃ３とする。Ｃ１，Ｃ２，Ｃ３の位置は画像処理で検出し、検出した物体の重量は事前に登録されている登録情報記憶部２７から取得する。

【0035】

Ｃ１の座標を（ｘｃ１，ｙｃ１），重量をＷＣ１とし、Ｃ２の座標を（ｘｃ２，ｙｃ２），重量をＷＣ２とし、Ｃ３の座標を（ｘｃ３，ｙｃ３），重量をＷＣ３とし、その他の条件を第１の実施形態の場合と同じとする。重量計ＬＸに掛かっているＣ１～Ｃ３の重量をＬＸＣ、重量計ＬＹに掛かっているＣ１～Ｃ３の重量をＬＹＣ、重量計ＬＯに掛かっているＣ１～Ｃ３の重量をＬＯＣとすると、
ＬＸＣ＝ｘｃ１×ＷＣ１＋ｘｃ２×ＷＣ２＋ｘｃ３×ＷＣ３
ＬＹＣ＝ｙｃ１×ＷＣ１＋ｙｃ２×ＷＣ２＋ｙｃ３×ＷＣ３
ＬＯＣ＝（１－ｘｃ１－ｙｃ１）ＷＣ１＋（１－ｘｃ２－ｙｃ２）ＷＣ２＋（１－ｘｃ３－ｙｃ３）ＷＣ３
となる。

【0036】

つまり、重量計１２が計測した値（ＬＸ_ｓｕｍ，ＬＹ_ｓｕｍ，ＬＯ_ｓｕｍ）のそれぞれから食材に関係のないＣ１～Ｃ３の重量である（ＬＸＣ，ＬＹＣ，ＬＯＣ）のそれぞれの値を差し引いた値が、各重量計１２に掛かる演算対象となる食器１３ａ～１３ｃ（Ｗ１，Ｗ２，Ｗ３）の重量となる。以降は、（ＬＸ_ｓｕｍ，ＬＹ_ｓｕｍ，ＬＯ_ｓｕｍ）から（ＬＸＣ，ＬＹＣ，ＬＯＣ）を引いた値（補正された値）で前記第１の実施形態の場合と同じ演算を行うことで、食器１３ａ～１３ｃ（Ｗ１，Ｗ２，Ｗ３）の重量を求めることが可能となる。このとき、補正部２８の演算結果を位置算出部２２に渡して、Ｃ１～Ｃ３の位置情報については演算対象から除外して重量算出部２４の処理に進むようにしてもよい。

【0037】

図８は、本実施形態に係る重量検出システムの一連の処理を示すフローチャートである。図８において、Ｓ１～Ｓ５までの処理は前記第１の実施形態における図６の場合と同じである。Ｓ５で各食器の位置が特定されると、補正部２８が、食材の重量に直接関係しない、箸、スプ―ン、空の食器、その他の物体等の演算対象外となる非対象物を特定する（Ｓ６）。上記で説明した方法により重量計１２の計測値から非対象物の重量情報を差し引いて補正を行う（Ｓ７）。位置算出部２２は、座標系にプロットした非対象物を除外した新たな位置情報を算出して重量算出部２４に渡す（Ｓ８）。重量算出部２４が、補正部２８が補正した値で第１の実施形態において説明した演算方法により各食器１３ごとの重量を算出する（Ｓ９）。出力制御部２４が、食器１３の重量や食器１３に盛られている食材の重量等を出力デバイス２６に出力して（Ｓ１０）、処理を終了する。

【0038】

このように、本実施形態に係る重量検出装置においては、撮像画像に基づいて食材の重量に関係しない物体を特定し、当該物体の位置情報、及び当該物体の予め登録された重量に基づいて、重量情報を補正するため、食材が入っている食器のみを対象としてその重量を算出することが可能になり、食事管理を正確に行うことが可能になる。

【0039】

（本発明の第３の実施形態）
本実施形態に係る重量検出装置について、図９及び図１０を用いて説明する。本実施形態に係る重量検出装置は、前記各実施形態に係る重量検出装置の機能を拡張したものであり、食事前の配膳において各食器ごとの重量を予め登録し、食後の残食量を求めることで食事の摂取量を演算するものである。なお、本実施形態において前記各実施形態と重複する説明は省略する。

【0040】

図９は、本実施形態に係る重量検出装置の構成を示す機能ブロック図である。第１の実施形態における図２の場合と異なるのは、食事前の配膳時にトレイ１４に食器１３が載置されたことを検知すると共に、そのタイミングで重量計１２が計測した重量情報を食前重量記憶部３０に登録する登録処理部２９と、この登録された食事前の食器１３の重量情報と重量算出部２４が算出した残食量との差分から食事の摂取量を算出する摂取量算出部３１とを備えることである。

【0041】

登録処理部２９は、カメラ１１からの画像情報又は重量計１２からの重量の変化からトレイ１４に配膳がなされたことを検知すると共に、予め登録されている物体の画像情報やサイズ、形状、模様等の情報からトレイ１４に載置された物体の種別（例えば、主食、汁物、主菜、スプーン、箸等）を特定し、特定された種別ごとに計測された重量情報を食前重量記憶部３０に登録する。このとき、各物体が載置されるトレイ１４の位置に応じて各重量計１２の値が個々に変化するが、全ての重量計１２の変化の合計値が載置された物体の重量として登録される。

【0042】

摂取量算出部３１は、食前重量記憶部３０に登録された食事前の食材の重量（登録処理部２９で登録された食器＋食材の重量から登録情報記憶部２７に登録された食器のみの重量を引いた重量）から重量算出部２４で算出された食事後の残食量（食事後の食器１３の重量から登録情報記憶部２７に登録された食器のみの重量を引いた重量）を差し引いて、食材の摂取量を算出する。算出された結果は、出力制御部２５により出力デバイス２６に出力される。このとき、食事前の食材の重量なども比較対象として出力するなどして、摂取量や残食量をよりわかりやすく出力するのが望ましい。

【0043】

図１０及び図１１は、本実施形態に係る重量検出システムの一連の処理を示すフローチャートである。図１０が食事前の処理を示すフローチャート、図１１が食事後の処理を示すフローチャートである。まず図１０において、食事前の配膳時に登録処理部２９がトレイ１４が下膳台１５にセットされたことを検知する（Ｓ１）。トレイ１４がセットされたことを検知すると、食材が盛られた食器１３がトレイ１４に配膳されるタイミングを検知し（Ｓ２）、当該タイミングにおける各食器１３の重量を重量計１２から取得して食前重量記憶部３０に登録する（Ｓ３）。全ての食器１３について配膳が完了したかどうかが判定され（Ｓ４）、全ての食器１３がトレイ１４に配膳されるまでＳ２～Ｓ３の処理が繰り返して実行される。全ての食器１３がトレイ１４に配膳されると図１１の食後処理に進む。

【0044】

なお、全ての食器１３がトレイ１４に配膳されたかどうかの判定は、配膳する人の入力操作をトリガにしてもよいし、トレイ１４がカメラ１１の撮像範囲外に移動したことを検知するようにしてもよい。また、予めメニューが固定されている場合はそれらのメニュー全てが画像で認識された時点で配膳完了と判断してもよい。

【0045】

図１１において、食後の重量計測がなされる。図１１のＳ１～Ｓ９の処理は前記第２の実施形態における図８に記載のＳ１～Ｓ９の処理と同じであるため説明は省略する。Ｓ９において補正した値で各食器１３の重量が算出されると、摂取量算出部３１が、食前重量記憶部３０に登録された食前の各食器１３の重量と、重量算出部２４が算出した食後における各食器１３の重量との差分を求める（Ｓ１０）。出力制御部２５が、Ｓ１０で求めた差分を食事摂取量として出力デバイス２６に出力して（Ｓ１１）、処理を終了する。

【0046】

このように、本実施形態に係る重量検出装置においては、トレイ１４に食器１３が載置されたタイミングにおける重量情報に基づいて、食事前の各食器１３ごとの重量情報を登録するため、トレイ１４に食器１３を載置する作業を行うだけで食事前の各食器１３ごとの重量（食材を含む）を確実に登録することができる。

【0047】

また、重量算出部２４が食事後の残食食材の重量を算出し、食事前の予め登録された各食器１３ごとの重量情報、及び残食食材の重量情報に基づいて、摂取された食材の重量を算出するため、食事前の食器の状態と食事後の食器の状態とから摂取量を正確に算出することが可能となり、食事管理を簡単で且つ正確に行うことができる。

【0048】

（その他の実施形態）
本実施形態に係る重量検出装置は、演算対象となる食器１３の数が４つ以上である場合の演算機能を備えるものである。前記各実施形態において説明した重量算出部２４の処理は、演算対象となる食器１３が３つ以下の場合に正確に行うことが可能であるが、４つ以上になると演算に用いる連立方程式の数が３つであるのに対して変数の数が４つ以上になるため、数学的な処理では正確な演算が難しくなる。そこで、本実施形態においては、演算対象となる食器１３（例えば食材が残っている食器）が４つ以上である場合に、３つ目以降の食器１３について、各食器１３ごとの重量の比率を算出し、その比率に応じて重量を算出する。なお、本実施形態において前記各実施形態と重複する説明は省略する。

【0049】

本実施形態においては、食材が残っている３つ目以降の食器１３については１つの物体としてグループ化し（以下、このグループ化された食器１３を仮想物体という）、仮想物体を３つ目の演算対象となる食器１３として重量を求める。仮想物体の位置は、例えば仮想物体を構成する各食器１３の位置を示す点の中心や重心となる点とすることができる。仮想物体の画像処理による位置情報及び重量計から重量情報が得られれば、上記の各実施形態において説明したように仮想物体全体の重量を算出することができる。

【0050】

仮想物体全体の重量が算出されると、それを食器１３の比率に応じて按分する。比率の求め方としては、例えば食器１３自体の重量（空の食器１３）の比率に加えて、画像処理により食材が占める面積の広さの比率を割り出し、それを食材の重量の比率と見なして求めてもよいし、食前の撮像画像と食後の撮像画像とを比較しておおよその食事摂取量を割り出し、その比率を用いるようにしてもよい。

【0051】

より具体的には、トレイ１４上の空の食器１３を特定する空食器特定部（第２の実施形態における補正部２８が行うようにしてもよい）と、トレイ１４に載置された食器１３のうち空の食器を除いた演算対象（食材が残っている食器１３）が４つ以上である場合に、撮像画像に基づいて各演算対象となる食器１３ごとの重量の比率を推定する比率算出部と、比率算出部で算出された比率が大きい方から又は小さい方から上位３つ目以降の演算対象となる食器１３をグループ化して仮想物体とするグループ化処理部とを備え、グループ化された仮想物体の重量を算出し、比率算出部で推定された比率に応じて仮想物体における個々の食器１３の重量を算出する。

【0052】

このように、本実施形態に係る重量検出装置においては、演算対象となる食器１３が４つ以上である場合に、３つ目以降の食器１３について、撮像情報に基づいて各食器１３ごとの重量の比率を算出し、重量算出部２４が食器１３の位置情報、重量計１２の位置情報、重量情報、及び比率に基づいて、３つ目以降の食器１３内の食材の重量を算出するため、数学的な演算が困難となる４つ以上の食器１３についても、３つ目以降の食器重量の比率からある程度の各食器１３ごとの重量を算出することができる。

【符号の説明】

【0053】

１ 重量検出システム
１０ 重量検出装置
１１ カメラ
１２ 重量計
１３ 食器
１４ トレイ
１５ 下膳台
１６ 識別子
１７ ロードボタン
２１ 撮像情報取得部
２２ 位置算出部
２３ 重量情報取得部
２４ 重量算出部
２５ 出力制御部
２６ 出力デバイス
２７ 登録情報記憶部
２８ 補正部
２９ 登録処理部
３０ 食前重量記憶部
３１ 摂取量算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】