特開 2024-142210 摂食監視装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024142210

(43)【公開日】2024-10-10

(54)【発明の名称】摂食監視装置、方法及びプログラム

(51)【国際特許分類】

   G16H 10/00 20180101AFI20241003BHJP

【ＦＩ】

G16H10/00

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023054276

(22)【出願日】2023-03-29

(71)【出願人】

【識別番号】000208891

【氏名又は名称】ＫＤＤＩ株式会社

(74)【代理人】

【識別番号】100092772

【弁理士】

【氏名又は名称】阪本 清孝

(74)【代理人】

【識別番号】100119688

【弁理士】

【氏名又は名称】田邉 壽二

(72)【発明者】

【氏名】米山 暁夫

(72)【発明者】

【氏名】水口 恵美子

(72)【発明者】

【氏名】高井 公一

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA15

(57)【要約】

【課題】食事中のリスクを適切に判定することのできる摂食監視装置を提供する。
【解決手段】食事をしているユーザの映像(11)を読み込み、ユーザが食べている食事内容と、食事速度とを検出(12,13)し、当該検出結果に基づいて、映像上の各時刻におけるユーザの摂食障害のリスクを判定(21)する第１処理を実行する。
【選択図】図１

【特許請求の範囲】

【請求項1】

食事をしているユーザの映像を読み込み、ユーザが食べている食事内容と、食事速度とを検出し、当該検出結果に基づいて、映像上の各時刻におけるユーザの摂食障害のリスクを判定する第１処理を実行することを特徴とする摂食監視装置。

【請求項2】

前記第１処理を、ユーザが食べ物を一口食べる映像区間ごとに繰り返して実行し、当該映像区間ごとに前記リスクを判定することを特徴とする摂食監視装置。

【請求項3】

前記第１処理においてリスクがあるものとして判定された場合に、当該リスクがある旨の情報をユーザに対して提示する第２処理をさらに実行することを特徴とする請求項１に記載の摂食監視装置。

【請求項4】

前記第１処理では、前記ユーザに対して予め記録されている、複数種類の食事内容ごとのリスク値を参照し、現時刻において検出された食事内容に対応するリスク値が、判定用の第１閾値を上回る場合に、前記リスクがあるものとして判定し、
当該判定された際に、食べている速度によらず、当該食事内容にリスクがある旨の情報をユーザに対して提示する第２処理をさらに実行することを特徴とする請求項１に記載の摂食監視装置。

【請求項5】

前記第１処理では、前記ユーザに対して予め記録されている、複数種類の食事内容ごとの食事速度リスク値を参照し、現時刻において検出された食事速度が、対応する食事速度リスク値に近いと判定される場合または対応する食事速度リスク値を上回っている場合に、前記リスクがあるものと判定し、
当該判定された場合に、当該食事内容における当該食事速度にリスクがある旨の情報をユーザに対して提示する第２処理をさらに実行することを特徴とする請求項１に記載の摂食監視装置。

【請求項6】

前記第１処理では、前記ユーザに対して予め記録されている、複数種類の食事内容ごとのリスク値と、２つの食事内容が継続する組み合わせにおけるリスクの有無の情報と、を参照し、現時刻において検出された食事内容に対応するリスク値が、判定用の第２閾値を上回る場合で、且つ、現時刻において検出された食事内容と前時刻において検出された食事内容との組み合わせについて、前記リスクの有無の情報においてリスクありとされている場合に、前記リスクがあるものと判定し、
当該判定された場合に、当該前時刻の食事内容と現時刻の食事内容との継続する組み合わせにリスクがある旨の情報をユーザに対して出力する第３処理をさらに実行することを特徴とする請求項１に記載の摂食監視装置。

【請求項7】

前記第１処理では、ユーザが食べている食事内容と、食事速度とを前記映像に対応する時系列として検出し、予め機械学習されているモデルを当該検出結果に適用することで、映像上の各時刻におけるユーザの摂食障害のリスクを確率として算出することを特徴とする請求項１に記載の摂食監視装置。

【請求項8】

前記第１処理では、摂食レベルごとに予め定義されている複数の、摂食リスクを管理するテーブルのうち、前記ユーザの摂食レベルに対応するテーブルを読み込み、前記検出結果を当該テーブルと照合することで、前記ユーザの摂食障害のリスクを判定することを特徴とする請求項１に記載の摂食管理装置。

【請求項9】

前記ユーザが食べ物を一口食べる映像区間の開始時点を、
物体認識により、食べ物が口に運ばれ始めるユーザ動作が検出された時点として、
視線検出及び物体検出により、食べ始めるために食べ物を注視するユーザ動作が検出された時点として、または、
物体認識により食べ物の移動が検出された時点として、検出することを特徴とする請求項２に記載の摂食管理装置。

【請求項10】

食事をしているユーザの映像を読み込み、ユーザが食べている食事内容と、食事速度とを検出し、当該検出結果に基づいて、映像上の各時刻におけるユーザの摂食障害のリスクを判定する第１処理をコンピュータが実行することを特徴とする方法。

【請求項11】

コンピュータを請求項１ないし９のいずれかに記載の摂食監視装置として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、摂食監視装置、方法及びプログラムに関する。

【背景技術】

【0002】

従来技術として、特許文献１では、食事者が食事をする前に顔を動かした画像を解析し、事前に構築されているモデルを適用することで、食事者の嚥下障害のリスクを判定し、リスクありと判定された場合には、食事前にアラームを報知するようにしている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開2020-190962号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来技術では、食事前の様子を解析対象とすることで、リスクありと判定された食事者については、実際の食事中には被介護者として介護者を割り当てるものとしていた。従って、実際の食事中にむせや誤嚥などの摂食リスクを自動で判定することで、介護者を必須でなくともよくする、あるいは、介護者の負担を軽減できるようにするということは従来技術では実現できなかった。同様に、食事前の様子から一律に判定することで実際の食事中を解析対象としないので、ある対象者についてリスクなしと判定されたとしても、実際の食事内容等によってはリスクが発生しうる状況に対処することができなかった。

【0005】

上記従来技術の課題に鑑み、食事中のリスクを適切に判定することのできる摂食監視装置、方法及びプログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

前記目的を達成するため、本発明は摂食監視装置であって、食事をしているユーザの映像を読み込み、ユーザが食べている食事内容と、食事速度とを検出し、当該検出結果に基づいて、映像上の各時刻におけるユーザの摂食障害のリスクを判定する第１処理を実行することを特徴とする。また、当該装置に対応する方法またはプログラムであることを特徴とする。

【発明の効果】

【0007】

本発明によれば、食事内容と食事速度から摂食障害のリスクを判定することにより、当該リスクを適切に判定することができる。

【図面の簡単な説明】

【0008】

【図1】一実施形態に係る摂食監視装置の機能ブロック図である。

【図2】一実施形態に係る摂食監視装置の動作のフローチャートである。

【図3】食事映像を撮影する様子を表す模式図である。

【図4】摂食リスク管理テーブルTB31の模式例を示す図である。

【図5】一実施形態に係る摂食リスク管理テーブルの構築のフローチャートである。

【図6】一実施形態に係る摂食監視装置の推論時のフローチャートである。

【図7】変形例に係る実施形態における学習時と推論時のデータの模式例を示す図である。

【図8】一般的なコンピュータにおけるハードウェア構成の例を示す図である。

【発明を実施するための形態】

【0009】

図１は、一実施形態に係る摂食監視装置10の機能ブロック図（欄CL1,CL2として要素構成の模式例を含む）である。摂食監視装置10は、撮影部11、内容検出部12、行動検出部13、指導情報出力部14、事象検出部15、状況解析部21、状況報告部22、介入制御部23、摂食リスクDB（データベース）31を備える。

【0010】

図２は、一実施形態に係る摂食監視装置10の動作のフローチャートである。ステップS1は、学習を行うことにより摂食リスクDB31を事前に構築するためのステップであり、摂食監視装置10のうち撮影部11、内容検出部12及び行動検出部13が学習部20としての処理を担うことで、摂食リスクDB31を構築する。

【0011】

学習の際は、ユーザが食事をしている多数の映像を撮影部11において撮影して取得することで、あるいは、当該映像が保存されている別途のサーバ等から取得することで、内容検出部12及び行動検出部13において、映像の時間進行に沿ったものとしてそれぞれ食事内容及び食事行動（噛んでいる回数を把握する形で食べている行動と、むせや誤嚥があった場合には当該事象）を当該映像より検出し、その検出結果を利用する形で、摂食リスクDB31を学習によって構築する。また、摂食リスクDB31の構築は、摂食者の摂食レベルごとに分けて構築する。

【0012】

ここで、撮影部11は、ハードウェアとしてはカメラで構成され、食事中の映像を撮影して内容検出部12及び行動検出部13に出力する。内容検出部12は、当該映像を解析することで、各時刻において、あるいは、映像区間ごとに、食事内容（食べ物の種類）を検出する。行動検出部13は、当該映像を解析することで、各時刻において、あるいは、映像区間ごとに、食事行動として、食べ物を噛んでいる回数を把握する形で食べている行動と、食事者にむせや誤嚥があった場合は当該事象を、検出する。内容検出部12及び行動検出部13はいずれも、深層学習等による任意の既存手法で、予め学習されたモデル（深層学習ネットワークでは学習された所定構造ネットワークのパラメータで特定されるモデル）を用いることで、映像からそれぞれ食事内容及び食事行動を検出することができる。

【0013】

例えば、内容検出部12は、物体認識の深層学習ネットワークにより、映像の各フレーム画像に含まれる食べ物を認識することができる。この食べ物を映像上でトラッキングし、画像上でユーザの口の領域まで運ばれたと判定された（例えば、食べ物領域がユーザの口の領域に移動していき、両者が重複したと判定された）食べ物があった場合に、ユーザが当該種類の食べ物を食べたと判定することができる。なお、ユーザの口についても、ユーザの顔全体領域として、あるいは、ユーザの口の領域として、物体認識の深層学習ネットワークにより各画像において検出することができる。

【0014】

また例えば、行動検出部13は、ジェスチャー等の形で映像に対して行動検出を行う深層学習ネットワークにより、映像上でのユーザの各特徴点（関節点など）の映像上での動作挙動を陽にまたは陰に解析したものとして、映像からユーザの食事行動を、その他の歩く、走る等の各種行動とは区別されたものとして検出することができる。また、食べている行動の際は、ユーザの口の領域の開閉を検出することにより、ユーザが食べ物を噛む動作を１回ごとに判定することで、映像上でユーザが食べ物を噛む回数を検出することができる。また、当該食べている時点から最も近い過去の時点で内容検出部12において食べたと判定される食べ物の情報も紐づけることにより、ユーザがどの種類の食べ物を何回噛んでいるかという情報も、取得することが可能である。また、行動検出部13はさらに、ユーザが誤嚥しているまたはむせている際に、行動検出によって映像上から当該事象を検出する。

【0015】

図３は、学習のために利用する食事中の映像を撮影部11によって撮影する様子の模式図であり、ユーザUが食事を行うテーブルTB上にタブレット端末等の汎用的な情報端末装置で構成される摂食監視装置10（ステップS1の学習時は別途の映像取得装置でもよい）を設置し、そのフロントカメラとして構成される撮影部11により、食事中のユーザUの様子を撮影している。ここで、本実施形態の摂食監視装置10における撮影は、食事をしているユーザUとその食べ物Fとを撮影するようにする、すなわち、撮影部11のカメラの画角範囲R内にユーザU及び食べ物Fが存在するようにすればよい。なお、後述するステップS2での食事中の映像の撮影の仕方も、図３の模式例と同様とすればよい。すなわち、図３の例は、ステップS1における学習時に利用する食事映像と、ステップS2における当該学習結果を利用した推定時の入力となる食事映像と、の両方についての撮影の仕方の例となっている。

【0016】

図４は、ステップS1で構築され摂食リスクDB31に保存される摂食リスク管理テーブルTB31の模式例を示す図であり、図示するように、摂食リスク管理テーブルTB31は、食べ物の種類である食事内容C1（例えば図示される「もち」、「ゆで卵」…等）ごとに、その食事内容リスク値C2、摂食速度リスク値C3、無事摂食回数C4、摂食順序リスク食事内容C5及び摂食嚥下リスク内容C6のそれぞれの内容（数値、項目、テキストなど）を設定したものとして当該テーブルを構成することができる。

【0017】

なお、図４の欄CL41,CL42に模式的に示されるように、摂食リスク管理テーブルTB31は、全ユーザで共通して利用するものとしてではなく、ユーザの摂食能力をレベル分けしたうえで、各レベルに応じたテーブルとして用意することができる。（すなわち、図４のテーブルTB31の例は、ある１つのレベルにおけるテーブルの例となっている。）摂食レベルは、例えば以下の非特許文献１の「嚥下食ピラミッド」のような、既存のレベルモデルを利用すればよい。
[非特許文献１]［令和５年２月１６日検索］，嚥下食ドットコム、「6.「嚥下食ピラミッド」の概要」インターネット＜URL：https://www.engesyoku.com/kiso/kiso06.html＞

【0018】

この非特許文献１の摂食レベルを利用する場合であれば、摂食レベルが低い方から高い方までレベルL0からL5までの６段階のレベル(k=0,1,2,…,5)が存在するため、図４のようなテーブルTB31を、６段階の各レベルに対する６個のテーブルTB-k(k=0,1,2,…,5)として用意すればよい。

【0019】

図５は、一実施形態に係る摂食リスク管理テーブルTB31の構築のフローチャートであり、図２のステップS1において学習のために利用する多数の食事映像の各々を処理して摂食リスク管理テーブルTB31に情報を追加したり更新したりする際の詳細を示すのが、図５のフローチャートである。すなわち、学習用の多数の食事映像についてそれぞれ図５のフローが実施されることで、摂食リスク管理テーブルTB31において各レベルkのテーブルTB-kに関する情報が蓄積され記録されていくことで、摂食リスク管理テーブルTB31が構築される。

【0020】

なお、摂食リスク管理テーブルTB31を構築するための最初の時点では、図４で説明したテーブルTB31の食事内容C1の欄だけ、現れうる食べ物の種類として予め定義しておき、残りの欄C2～C6は初期値あるいは空欄（リスク値や回数の欄C2,C3,C4は初期値としてゼロ）として、図５のフローで多数の食事映像を処理することで、この空欄の情報を埋めたり初期値を更新したりすることにより、最終的な摂食リスク管理テーブルTB31を構築することができる。以下、図５の各ステップを説明する。

【0021】

ステップS11では、当該処理対象となる１つの食事映像に現れる食事者（ユーザ）の摂食能力kを、当該ユーザに対する医療的な記録などをもとにした自動算出により、あるいは手動でのデータ入力を受け付けることにより、把握してからステップS12へと進む。ステップS12では、当該摂食能力k（摂食嚥下レベル）用のテーブルTB-k（摂食リスク管理テーブルTB31のテーブルのうちレベルkのもの）を、その情報を継続するステップS13以降での更新する対象として選択してから、ステップS13へ進む。

【0022】

なお、ステップS13以降の処理は、食事映像に対して内容検出部12及び行動検出部13による検出処理を適用して、ユーザが何らかの食べ物を口に運んで一口（例えば、ライスの一箸分や、パンの一切れなど）食べ、当該一口を食べ終わるまでの映像区間（「一口映像区間」と呼ぶ）を検出し、当該一口映像区間ごとに繰り返して実行される。ある一口映像区間からその次の一口映像区間へと処理対象を切り替えるのがステップS18である。

【0023】

ここで、一口映像区間の検出は前述の通り、行動検出部13によって「食べる」という行動が連続して検出されている時刻tの区間{t|t_開始≦t≦t_終了}として検出することができる。また、当該区間の開始時刻t_開始において、あるいは、当該開始時間t_開始から最も近い過去時刻において、内容検出部12によって当該ユーザの口まで運ばれたと判定された食べ物を、当該一口映像区間においてユーザが実際に食べている食べ物の種類として検出することができる。

【0024】

なお、ある食べ物を食べきって飲み込んでしまう前に、同じまたは別の食べ物をさらに追加して食べることがありうるが、この場合は、行動検出部13による検出結果において食べるという行動が連続している際に、内容検出部12によって何らかの食べ物がユーザの口まで運ばれたと判定されることをもって、互いに異なる一口映像区間としての区切りを設けるようにすればよい。

【0025】

ステップS13では、当該食事映像において最初に一口食べた対象についての一口映像区間における食事内容を取得して、ステップS14へ進む。ステップS14では、ステップS13で取得した食事内容が、当該対象となるレベルkのテーブルTB-kに存在するか否かを判定し、存在していればそのままステップS15へ進み、存在していなければステップS21に進んで、当該存在していなかった食事内容をテーブルTB-kに追加してから、ステップS15へ進む。例えば図４の例では食事内容の欄CL1に「ゆで卵」が存在するが、この「ゆで卵」について初期設定で記載していなかった場合で映像上から一口映像区間において「ゆで卵」が食べ物と検出された場合に、このステップS21において「ゆで卵」をテーブル内に新規登録することが可能となる。

【0026】

ステップS15では、当該一口映像区間内における行動検出部13による検出結果として、むせや誤嚥などの嚥下障害が発生しているか否かを判定し、発生していなければステップS16へ進み、発生していなければステップS22へ進む。ステップS16では、当該一口映像区間に対応する食べ物について、その無事摂食回数（図４のテーブルTB31での欄C4）の値に１を加算してからステップS17へ進む。

【0027】

当該一口映像区間において嚥下障害があった場合のステップS22では、直前（前回）の一口映像区間の食事内容と今回の一口映像区間の食事内容とが同一か否かを判定し、同一ではなければステップS23へ進み、同一であればステップS31へ進む。

【0028】

ステップS23では、今回の一口映像区間での食事内容と、これとは異なる前回の一口映像区間での食事内容とに関して、処理対象のテーブルTB-kにおいて対応する食事内容リスク値（図４のテーブルTB31の欄C2）に一定値として例えば0.5を加算してから、ステップS24へ進む。ステップS24では、処理対象のテーブルTB-kにおいて嚥下障害があった当該一口映像区間の食事内容に対応する無事摂食回数（欄C4）の値を初期値のゼロに再設定してから、ステップS17へ進む。なお、このステップS24の変形例として、初期値のゼロに設定せず、無事摂食回数はそのままの値としてもよいし、無事摂食回数を一定数（例えば１）だけ減算するようにしてもよい。ゼロに再設定する場合、少しでもリスクがあれば可能な限り慎重に対処する方針とすることができる。

【0029】

ステップS31では、処理対象のテーブルTB-kにおいて当該食事内容に対応する食事内容リスク値に所定値として例えば1を加算してから、ステップS32へ進む。ステップS32では、当該一口映像区間における食事速度（秒／口）を算出してステップS33へ進み、処理対象のテーブルTB-kにおいて当該食事内容に対応する摂食速度リスク値（欄C3）をこの算出した食事速度の値を用いて更新してからしてからステップS34へ進む。ステップS34では、処理対象のテーブルTB-kにおいて嚥下障害があった当該一口映像区間の食事内容に対応する無事摂食回数（欄C4）の値を初期値のゼロに再設定してから、ステップS17へ進む。なお、このステップS34の変形例として、前記ステップS24と同様に、初期値のゼロに設定せず、無事摂食回数はそのままの値としてもよいし、無事摂食回数を一定数（例えば１）だけ減算するようにしてもよい。ゼロに再設定する場合、少しでもリスクがあれば可能な限り慎重に対処する方針とすることができる。

【0030】

なお、ステップS33における更新は、当該食事内容（直前の食事内容と同じであって嚥下障害が発生した食事内容）についてステップS32で既に算出されている食事速度の代表値（平均値など）として更新すればよい。なお、ステップS32での食事速度は、当該一口映像区間の長さ（秒）を一口映像区間での一口分の速度（一口所要時間）を表すものとして、取得することができる。また、ステップS32での食事速度について、一口所要時間に紐づける形で、この一口所要時間内で食べ物を噛んだ回数も取得しておき、ステップS33においても同様に、代表値として更新するようにしてよい。

【0031】

なお、食事内容リスク値の更新について、ステップS23では前回と今回とで異なる食事内容についてそれぞれ0.5を加算し、ステップS31では今回の食事内容に1を加算している。ステップS23では、前回と今回とで異なる食事内容に関して、この順番による食べ合わせで今回の嚥下障害が発生したものとして、両者の食事内容に食事内容リスク値を加算している。一方で、ステップS31では、前回と今回で同じ食事内容であり且つ今回の嚥下障害が発生したものとして、今回の食事内容に単独でリスクがあるものとして、食事内容リスク値を加算している。

【0032】

なお、ステップS23では、前回とは異なる食事内容で今回に嚥下障害が発生したものとして、テーブルTB-kにおける摂食順序リスク食事内容（欄C5）に、前回の食事内容の情報を記録するようにしてもよい。また、ある食事内容について嚥下障害が発生した場合には、対応するステップS24やS31において、当該嚥下障害が発生したことの原因等を記録したテキストを、専門家が映像を見て手動で入力したものとして、テーブルTB-kにおける摂食嚥下リスク内容（欄C6）に記録するようにしてもよい。これらの欄C5,C6の情報は、ステップS2でアラート出力を行う際の情報等として利用することが可能である。

【0033】

ステップS17では、食事が終了したか否かを、当該処理対象となっている映像において今回の一口映像区間が最後でありその次の一口映像区間が存在しないかによって判定し、終了していなければステップS18へ進み、終了していればステップS41へ進む。ステップS18では、次の一口映像区間（その食事内容の情報を含む）を処理対象として取得してからステップS14に戻ることで、この次の一口映像区間について以上と同様の処理を繰り返す。

【0034】

ステップS41では、当該処理対象であるテーブルTB-kを参照し、各食事内容について現時点で記録されている無事摂食回数（欄C4）の値を取得してステップS42へ進む。ステップS42では、各食事内容のうち、無事摂食回数が所定の閾値以上のものについては、対応する食事内容リスクレベル値から例えば1を減ずることで食事内容リスク値が低くなるように更新し、無事摂食回数が当該閾値未満のものについては、当該更新はせずに食事内容リスク値をそのままの値として、図５のフローを終了する。

【0035】

以上、図１のステップS1で学習によって摂食リスクDB31を構築する詳細として、学習用の各映像を処理する図５の各ステップを説明した。なお、学習用の映像に関して、嚥下障害が発生している映像は、新たに取得するのではなく、医学的な目的で既に蓄積されている映像や知見を利用するようにしてよい。

【0036】

図２の説明に戻り、ステップS2では、ステップS1で学習により当該構築された摂食リスクDB31を参照することで、学習結果を用いた推定処理として、摂食監視装置10が食事中のユーザの映像をリアルタイムで読み込み、嚥下障害のリスクがあると判定される場合にはリアルタイムで当該ユーザにアラート（警告）の出力を行う。

【0037】

図６は、一実施形態に係る摂食監視装置10の当該推論時の動作のフローチャートとして、図２のステップS1の詳細を示す図である。図３で模式的に示したように撮影部11において、食事を開始するユーザの撮影を開始してその映像が取得され始めることで図６のフローが開始され、ステップS51,S52では、この食事映像の最初の時刻において撮影されている、ユーザの１回の食事全部に対する検出結果に基づいた処理が行われる。なお、食事映像の最初の時刻のフレーム画像から食事内容を検出することは、内容検出部12において実施すればよく、例えば食事が（１）ライス、（２）味噌汁、（３）魚、（４）サラダ、の４種類の内容で構成されていることを、当該１食全体の食事内容として検出することができる。

【0038】

なお、図６のフローではリアルタイムで次の処理が行われる。すなわち、撮影部11でリアルタイムで撮影された食事映像（図３のように食事しているユーザと食事内容とが撮影されている）はリアルタイムで内容検出部12及び行動検出部13に読み込まれ、学習時と同様の検出処理が行われることでそれぞれ得られる食事内容及び食事行動が状況解析部21に出力される。状況解析部21では学習で構築されている摂食リスクDB31も参照することで、この食事内容及び食事行動から食事状況の解析結果（摂食障害が発生するリスクがあるかの判定結果を含む）を得て、介入制御部32へと出力する。介入制御部32では、解析結果においてリスクありとの判定結果であった場合に、ユーザに対してアラートを発するべき介入指示を指導情報出力部14へと出力する。こうして、指導情報出力部14はこの介入指示に従い、聴覚的な形や視覚的な形で、摂食障害が発生するリスクがある旨のアラート出力を食事中のユーザに対して必要に応じてリアルタイムで行うことができる。

【0039】

なお、図１にも欄CL1内に模式的に示されるように、指導情報出力部14はハードウェアとしてはディスプレイやスピーカ等を用いて実現することができ、撮影部11を構成するカメラと同様に食事を行うユーザUの近辺に配置されることで、ユーザに対して画面出力により視覚的に、あるいはスピーカ出力により聴覚的に、アラート出力を提供することが可能となる。

【0040】

ステップS51では、映像の最初の時刻の食事内容（１食全体の食事内容）の検出結果を状況解析部21が取得し、当該ユーザの摂食レベルkに対応するテーブルTB-kを摂食リスクDB31から読み込み、この全体の食事内容の中の少なくとも１つに、テーブルTB-kに記録されている食事内容リスク値の値が第１閾値L1以上であるものが存在するか否かを判定し、肯定判定の場合はステップS52へと進み、否定判定の場合はステップS52をスキップしてステップS53へと進む。

【0041】

この第１閾値L1は、当該ユーザの摂食レベルkに応じた所定値L1(k)として、食事行動によらず食事内容それ自体の単独で摂食障害が発生しうるリスクがあることを判定するものとして、その値を予め設定しておけばよい。また、同様に、他の食べ物との組み合わせで摂食障害が発生しうることを（後述するステップS63において）判定するための第２閾値L2も、当該ユーザの摂食レベルkに応じた所定値L2(k)として、L1(k)≧L2(k)の形で第２閾値L2の値が第１閾値L1の値以下となるように、その値を予め設定しておけばよい。

【0042】

ステップS52では、食事内容全部のうち、ステップS51でその食事内容リスク値が第１閾値L1以上であると判定された食事内容について、食事を開始するユーザに対して当該最初の時刻においてアラート出力を行うように、各部21,23,14の処理を行ってから、ステップS53へと進む。アラート出力の内容としては、第１閾値L1以上であると判定された食事内容について、テーブルTB-kを参照し、図４の欄C6として示される摂食嚥下リスク内容を音声出力や画面表示出力させるようにすればよい。こうして、ユーザは、食事の開始時点で、食事内容の全部のうち、摂食障害が発生するリスクがあるものがいずれで、どのような形で摂食障害が発生しうるかの情報をアラート出力として受け取ることにより、注意して食事をするように動機付けを得ることができる。

【0043】

ステップS53以降の繰り返し処理は、学習時と同様に、リアルタイムで得られる食事中の映像から「一口映像区間」を検出したうえで、この一口映像区間ごとに繰り返し実行されるものであり、現在の処理対象となっている一口映像区間から次の一口映像区間に処理対象を切り替えるのが、ステップS57である。

【0044】

ステップS53は、学習時のステップS13と同様の処理を、当該食事映像の最初の一口映像区間に対して行うものであり、当該食事映像において最初に一口食べた対象についての一口映像区間における食事内容を取得して、ステップS54へ進む。ステップS54では、ステップS53で取得した当該一口の食事内容について、当該ユーザのテーブルTB-kを参照して、対応する食事内容リスク値を取得し、この食事内容リスク値が第１閾値L1以上であるか否かを判定し、肯定判定であればステップS66へと進み、否定判定であればステップS55へと進む。

【0045】

ステップS66では、直前のステップS54で肯定判定を得た食事内容に関して、（ステップS52の場合と同様に、）テーブルTB-kを参照し、この食事内容に対応する摂食嚥下リスク内容を音声出力や画面表示出力させるよう、各部21,23,14の処理を行ってから、ステップS57へと進む。こうして、ユーザの立場では、ステップS52で食事開始時に摂食障害が発生しうるとのアラート出力を受けた食事内容を、実際に食べる際に再度、同様のアラート出力を受けることで、注意しながら食べるようにすることが可能となる。

【0046】

一方で、ステップS54からステップS55へと進んだ場合は、次のような目的での処理が行われることとなる。すなわち、当該一口映像区間で食べている食事内容について、その食べ物の種類について単独で摂食障害が発生しうるわけではないが、食べ方（直前に食べたものとの関係や、食べる速度の形で現れる食べ方）によっては摂食障害が発生する場合がありうるものとしての処理が、ステップS55へ進んだ場合には行われる。

【0047】

ステップS55では、現在（今回）の一口映像区間における食事内容と、直前（前回）の一口映像区間における食事内容と、が同じであるか否かを判定し、同じであればステップS61へと進み、異なっていればステップS56へと進む。ステップS61では、今回の一口映像区間について摂食速度を算出してからステップS62へと進む。ステップS62ではステップS61で当該食事内容について算出した食事速度を、テーブルTB-kに記録されている当該食事内容についての摂食速度リスク値と比較し、算出した食事速度が閾値判定で摂食速度リスク値に近いと判定される、あるいは、算出した食事速度がこの摂食速度リスク値を上回っている場合に、ステップS65へと進む。

【0048】

ステップS65では、当該食速速度によって摂食障害が発生するリスクがあるものとして、ユーザに対して音声出力や画面表示出力の形でアラート出力させるよう、各部21,23,14の処理を行ってから、ステップS57へと進む。こうして、ユーザの立場では、今まさに食べた一口が速すぎる旨のアラート出力を受け取ることで、以降は食事速度を抑制するように動機付けを得ることができる。なお、ステップS65でのアラート出力の内容は、速すぎる旨の情報の他にも、当該食事内容に対応する摂食嚥下リスク内容をテーブルTB-kから取得して、アラート出力に含めるようにしてもよい。

【0049】

ステップS56では、今回の一口映像区間における食事内容と前回の一口映像区間における食事内容の組み合わせについて、リスクがあるものとして記録されているかをテーブルTB-kを参照することによって判定し、肯定判定であればステップS63へと進み、否定判定であればステップS57へ進む。ステップS56での判定は、今回の一口映像区間における食事内容に対応する、摂食順序食事内容（図４の欄C5）を照会し、この摂食順序食事内容が前回の一口映像区間の食事内容に一致するか否かによって判定すればよい。

【0050】

ステップS65では、今回の一口映像区間における食事内容に対応する食事内容リスク値を、テーブルTB-kから取得したうえで、この食事内容リスク値が第２閾値L2以上であるか否かを判定し、肯定判定であればステップS64へと進み、否定判定であればステップS57へと進む。

【0051】

ステップS64では、前回の一口の食事内容と今回の一口の食事内容との食べる順序（摂食組み合わせ）によって摂食障害が発生するリスクがあるものとして、ユーザに対して音声出力や画面表示出力の形でアラート出力させるよう、各部21,23,14の処理を行ってから、ステップS57へと進む。こうして、ユーザの立場では、前回の一口と今回の一口との食べ合わせで摂食障害が発生しうる旨のアラート出力を受け取ることで、注意して食べるようにする動機付けを得ることができる。

【0052】

ステップS57は、学習時のステップS18と同一の処理を当該リアルタイムでの食事映像に対して実施するものであり、次の一口映像区間（その食事内容の情報を含む）を処理対象として取得してからステップS54に戻ることで、この次の一口映像区間について以上と同様の処理を繰り返す。

【0053】

以上、図６の各ステップによれば、ユーザは一口を食べるごとに、何らかの摂食障害が発生しうるリスクがあると判定された場合には、ステップS66,S65,S64のいずれかの処理が行われることによりそのリスク内容を含むアラート出力をその場でリアルタイムに受け取ることができ、当該リスクがないと判定された場合は特にアラート出力を受けることなく、食事を行うことができるので、必要に応じたリアルタイムのアラート出力によって摂食障害を発生させないように注意しながら食事を行うことが可能となる。

【0054】

なお、以上の図６のフローの説明からも明らかであるが、再度、まとめて説明すると、アラート出力が行われるステップS66,S65,S64はそれぞれ、以下の３つのケースに該当しており、当該ケースに応じた内容のアラート出力が行われるようにしている。いずれのケースにも該当しない場合、アラート出力は行われない。
●第１ケース（ステップS66）：
当該食事内容の食事内容リスク値が一定以上である。
●第２ケース（ステップS65）：
当該食事内容の食事速度が摂食速度リスク値に近いか上回る。
●第３ケース（ステップS64）：
当該食事内容とその前の食事内容の組合せがテーブルTB-kに記載あり。

【0055】

以上、本発明の実施形態によれば、食事映像から食事内容と食事行動（食べる行動が取られている際の食べる速度）を検出して、リスク判定を行い、必要に応じてアラート出力を行うことが可能となる。

【0056】

以下、種々の補足例、変形例、追加例などについて説明する。

【0057】

（１） 本実施形態の摂食監視装置10によれば、ユーザが食事を行う際に摂食障害が発生してしまうことをアラート出力によって未然に防止することが可能となるため、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標３「あらゆる年齢のすべての人々の健康的な生活を確保し、福祉を推進する」に貢献することが可能となる。

【0058】

（２） 図６のフローは、映像上で順番に現れる一口映像区間ごとに繰り返して実行されるものとして説明したが、ステップS66,S65,S64のアラート出力（及び当該出力に必要となる前段側各ステップでの判定処理）は、処理対象の一口映像区間が終わってからではなく、処理対象の一口映像区間がリアルタイムに検出されて読み込まれ続けている途中の可能な限り早い時点で行うようにすることが望ましい。

【0059】

ステップS66及びステップS64のアラート出力は、一口映像区間の最初の時刻のフレーム画像からその食事内容を検出できるので、（摂食監視装置10の計算資源が許す限りにおいて）、一口映像区間が開始した時点でただちに実行することができる。

【0060】

ステップS65のアラート出力は、前述の説明では当該一口映像区間の摂食速度（一口に要する時間）を算出してから行うものとしたので、一口映像区間が終わってから（すなわち、ユーザが当該一口を実際に食べ終えてしまってから）アラート出力が事後的に行われるものとした。一口映像区間の途中でアラート出力を行うために、ステップS61,S62での噛む速度を、一口全体の所要時間としてではなく、１回噛む速度として評価するようにしてもよい。この場合、テーブルTB-kの摂食速度リスク値（図４の欄C3）には、一口の所要時間（秒／口）に加えて、この一口を完了するのに噛んだ回数（回）も記録しておき、「所要時間÷回数」として、１回噛むのに要した時間も参照可能とし、判定対象のユーザの一口映像区間から同様に１回噛むのに要した時間を、当該一口映像区間の先頭付近において算出したうえで、速いかを一口全体の所要時間に関して判定するのと同様にして閾値判定すればよい。

【0061】

（３） 一口映像区間に関して、内容検出部12で深層学習ネットワーク等の機械学習による物体認識を適用して、画像内での食べ物の領域がユーザの口の領域まで運ばれた時点で開始されるものとして検出するものとした。この変形例として、アラート出力を可能な限り早く実施するために、一口映像区間が可能な限り早く開始されて検出されるようにするために、次のようにしてもよい。例えば、物体認識により、食べ物をユーザの口まで運ぶ媒体であるユーザの手や、ユーザが利用している箸、フォーク、スプーン等の領域が移動して、食べ物の領域と重複した時点（（手法３ａ）すなわち、物体認識により、食べ物が口に運ばれ始める動作が検出された時点）を、当該食事内容の一口映像区間の開始時点としてもよい。あるいは、ユーザの視線の向きを検出して、当該視線の向きが食べ物領域のいずれかを向いたと判定された時点（（手法３ｂ）すなわち、視線検出（行動検出部13において深層学習ネットワーク等の機械学習による視線検出で、画像内での視線方向を検出）及び物体認識により、食べ始めるために食べ物を注視する動作が検出された時点）を、当該食事内容の一口映像区間の開始時点としてもよい。あるいは、撮影部11のカメラは固定されて静止した状態として配置されており、食べ物もテーブル上に置かれて静止している前提で、ユーザが食べようとする場合は当該食べようとするものをユーザが口まで運ぶために動かすこととなるので、いずれかの食べ物領域が動いたと判定された時点（（手法３ｃ）すなわち、物体認識により、食べ物が口に運ばれ始めるための食べ物の移動が検出された時点）で、当該食事内容の一口映像区間の開始時点としてもよい。なお、一口映像区間の終了時点に関しては、今回の一口映像区間の開始時点が検出されたことをもって、当該開始時点が前回の一口映像区間の終了時点に該当するものとしてもよいし、映像においてユーザが噛んでいる動作がなくなったことを、噛む間隔が閾値よりも長くなったことによって判定し、その時点を終了時点としてもよい。

【0062】

（４） 図６のフローの実施形態は、状況解析部21において内容検出部12及び行動検出部13の検出結果に対して、摂食リスクDB31を参照することで、ルールベース的な手法で第１～第３ケースの判定を行うものであった。

【0063】

変形例として、状況解析部21では、内容検出部12及び行動検出部13の検出結果（食事内容と食事行動（食べている状態にあるか、食べている状態にある場合はいずれの食事内容を食べているか））の時系列を読み込み、予め深層学習ネットワーク等の機械学習で学習されたモデルを用いて、摂食障害が発生する確率を時系列としてリアルタイムで出力するようにし、この確率がリスク判定用の閾値を一瞬でも上回った時点で、あるいは、閾値を上回ることが一定時間継続した時点で、リスクがある旨の出力を各部21,23,14によってユーザに対して提示するようにしてもよい。

【0064】

図７は、この変形例に係る実施形態における学習時と推論時のデータの模式例を示す図である。前段側は学習のための多数の学習データの例として、多数のユーザについて食事内容（A,B,C,D等）とその食事内容を食べている継続時間（図示されていないが、一時的に食べていない期間も含まれていてもよい）との時系列と、当該時系列上において摂食障害が発生した時間帯との例が示されている。下段側は、当該学習データによって構築したモデルにより、実際のユーザX,Y,Z等が食事をしている映像からその食事内容及び食事行動の時系列を読み込み、当該時系列上の各時刻において摂食障害の発生確率を出力し、閾値判定でアラート出力を行うことを模式的に表している。

【0065】

この際、アラート出力に関しても以下のような種々の態様が可能である。
●発生確率が所定の発生確率(例えば0.8）より上回ったらアラートを出力させる。
●食事内容から中断が少ないケース、リスクレベルの高い食事ケースなどを検出したらそれぞれ「中断が少ない」とか、「リスクレベルの高い食事を連続して摂取していますね」などのメッセージもアラート時に提示する。
●発生確率が低い場合は、アラート出力に代えてリスクが少ない旨を確認できるように、「十分な中断間隔とっていますね」などのメッセージを出す。

【0066】

例えば、図７の下段側推論時に例示されるユーザZのケースではアラートが事後にならないよう、ユーザが食事Aを箸で取った時点等を前記（３）の一口映像区間の開始時点を検出する各種手法（手法３ａ）、（手法３ｂ）、（手法３ｃ）と同様の手法を用いて検出して、この開始時点で発生確率を算出しアラートするか、所定の発生確率に近づいたら「中断を取りましょう」などのメッセージを出すようにしてもよい。なお、（手法３ａ）、（手法３ｂ）、（手法３ｃ）を用いて検出される一口映像区間の開始時点で発生確率を算出してアラートする場合は、算出される発生確率の定義と、この発生確率を算出するための学習の手法を変更してもよい。すなわち、現時刻tの発生確率P(t)を算出してもよいが、これに代えて、一定間隔Δtの未来時刻での発生確率P(t+Δt)を現時刻tにおいて算出する（学習に関しても、当該算出できるような形で正解データを与えることで、学習モデルを構築しておく）ことで、現時刻tが一口映像区間の開始時点として検出された時点（一口を食べようとしているがまだ実際には食べていない時点）で、その一口を実際に食べたすぐ後の時刻t+Δtでのリスクを予測したものとしての発生確率P(t+Δt)により、現時刻tにおいて効果的にアラート出力を行うようにしてよい。

【0067】

（５） 図１で欄CL2として模式的に示されるように、状況解析部21による解析結果（リスクの有無）を状況報告部22を介して医師等の専門家に通知することで、リスクありとの判断の場合に、リスクがある旨の所定のアラート出力のみをユーザに提示するだけでなく、当該専門家が撮影部11の映像を確認したうえでの当該専門家による摂食障害を防ぐための個別具体的なアドバイスを、テレビ会議等の任意の既存手法により、音声及び／又は映像の形で、食事中のユーザに提示するようにしてもよい。

【0068】

（６）＜ハードウェア構成＞
図８は、一般的なコンピュータにおけるハードウェア構成の例を示す図である。摂食監視装置10は、このような構成を有する１台以上のコンピュータ装置70として実現可能である。なお、２台以上のコンピュータ装置70で摂食監視装置10を実現する場合、ネットワーク経由で処理に必要な情報の送受を行うようにしてよい。コンピュータ装置70は、所定命令を実行するCPU（中央演算装置）71、CPU71の実行命令の一部又は全部をCPU71に代わって又はCPU71と連携して実行する専用プロセッサとしてのGPU（グラフィックス演算装置）72、CPU71（及びGPU72）にワークエリアを提供する主記憶装置（メモリ）としてのRAM73、補助記憶装置（ストレージ）としてのROM74、通信インタフェース75、ディスプレイ76、マウス、キーボード、タッチパネル等によりユーザ入力を受け付ける入力インタフェース77、カメラ81、スピーカ82、ライト83、振動素子84とこれらの間でデータを授受するためのバスBSと、を備える。

【0069】

摂食監視装置10の各機能部は、各部の機能に対応する所定のプログラムをROM74から読み込んで実行するCPU71及び／又はGPU72によって実現することができる。なお、CPU71及びGPU72は共に、演算装置（プロセッサ）の一種である。ここで、表示関連の処理が行われる場合にはさらに、ディスプレイ76が連動して動作し、データ送受信に関する通信関連の処理が行われる場合にはさらに通信インタフェース75が連動して動作する。

【0070】

指導情報出力部14においてアドバイス出力を視覚的に行う場合は、ディスプレイ76における表示やライト83の点灯等を用いるようにすればよい。また、聴覚的にアドバイス出力を行う場合は、スピーカ82を用いるようにすればよい。また、振動発生によるアラート出力を行う場合は、バイブレータ等で構成される振動素子84を用いるようにすればよい。

【符号の説明】

【0071】

10…摂食監視装置、20…学習部、11…撮影部、12…内容検出部、13…行動検出部、14…指導情報出力部、15…事象検出部、21…状況解析部、22…状況報告部、23…介入制御部、31…摂食リスクDB

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】