(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022136380
(43)【公開日】2022-09-21
(54)【発明の名称】嚥下機能低下情報提供プログラム及び嚥下機能低下情報提供システム
(51)【国際特許分類】
G16H 20/00 20180101AFI20220913BHJP
【FI】
G16H20/00
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2021035946
(22)【出願日】2021-03-08
(71)【出願人】
【識別番号】508308581
【氏名又は名称】ブロードバンドジャパン株式会社
(71)【出願人】
【識別番号】521097828
【氏名又は名称】医療法人社団M-FOREST
(74)【代理人】
【識別番号】100097559
【弁理士】
【氏名又は名称】水野 浩司
(74)【代理人】
【識別番号】100123674
【弁理士】
【氏名又は名称】松下 亮
(74)【代理人】
【識別番号】100173680
【弁理士】
【氏名又は名称】納口 慶太
(72)【発明者】
【氏名】水野 裕識
(72)【発明者】
【氏名】宮崎 雅樹
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA15
(57)【要約】
【課題】介護担当者に負担をかけないで、かつ精度よく嚥下の傾向を把握することができる嚥下解析システムを得る。
【解決手段】
閲覧用嚥下判定データ生成処理部424が、食事動作撮影用カメラ14iで撮影された、食事者の食事開始から食事終了までの動画像(4K、動画)に基づいて生成された所定数駒画像毎の食事動作の種類を含む嚥下判定用情報をメモリに順に記憶して時間軸スケールSTjを画面に表示し、嚥下判定用情報を指定し、この嚥下判定用情報に含まれている食事者動作解析結果を判定する。そして、時間軸スケール時間軸スケールSTjの位置に、食事者の食事動作の種類コードを示す食事動作種マークMPj(△、●、□、・・・)を割り付け表示する。
【選択図】
図2
【特許請求の範囲】
【請求項1】
コンピュータを、
(A).カメラで撮影された、テーブル上の食品、この食品を食する食事者を含む動画像の駒画像毎に生成された、この駒画像における前記食事者の食事動作の種類コード又は食事動作以外の動作コード若しくは駒画像に変化が無いことを示すコードのいずれかの食事者動作解析結果と、この駒画像の時刻情報と、食事者名と、を組とする嚥下機能低下情報をメモリに順に記憶するステップ、
(B).前記嚥下機能低下情報を順に指定するステップ、
(C).指定された嚥下機能低下情報の食事者名の時間軸スケールを画面に表示するステップ、
(D).指定された嚥下機能低下情報に含まれている食事者動作解析結果が前記食事者の食事動作の種類コード又は食事動作以外の動作コード若しくは駒画像に変化が無いことを示すコードかどうかを判定するステップ、
(E).前記食事者動作解析結果が前記食事者の食事動作の種類コードを示している場合は、指定した嚥下機能低下情報に含まれている駒画像の時刻情報に該当する前記時間軸スケールの位置に、前記食事者の食事動作の種類コードを示すマークを割り付け表示するステップ、
(F).指定した嚥下機能低下情報に含まれている食事者動作解析結果が食事動作以外の動作コード若しくは駒画像に変化が無いことを示すコードの場合は、前記(E)のステップを停止させた後に、再び(D)及び(E)のステップを実行させるステップ、
としての機能を実行させる嚥下機能低下情報提供プログラム。
【請求項2】
(E)のステップは.
前記食事動作を示すマークは、
前記駒画像の前記嚥下機能低下情報に「飲込コード」が含まれている場合は、該駒画像の時刻情報に該当する前記嚥下判定用スケールの位置に、縦型の点滅バーアイコンを割り付けて表示させることを特徴とする請求項1記載の嚥下機能低下情報提供プログラム。
【請求項3】
コンピュータを、
(G).前記マークに、嚥下機能低下情報を関連付けるステップ、
(H).前記メモリの嚥下機能低下情報を指定するステップ、
(I).この指定毎に、その嚥下機能低下情報に飲込コードが含まれている場合は、今回の飲込コード情報として今回用メモリに上書すると共に、これを前回の飲込コード情報として前回用メモリに順に蓄積するステップ、
(J).前記今回用メモリの今回の飲込コード情報に含まれている駒画像年月日時刻に対して所定時刻前以内となる前回の飲込コード情報が前記前回用メモリに記憶されているかどうかを判定するステップ、
(K).記憶されている場合は、連続飲込として飲込カウンタの計数値に「1」を加算するステップ、
(L).前記加算に伴って、前記今回の飲込コード情報に該当する嚥下機能低下情報が関連付けられている前記マークに、前記飲込カウンタの計数値を割り付け表示するステップ、
としての機能を実行させる請求項1又は2記載の嚥下機能低下情報提供プログラム。
【請求項4】
コンピュータを、
(M).前記嚥下機能低下情報の指定に伴って、前記前回用メモリに情報が記憶されていない場合は、初めての飲込として前記飲込カウンタの計数値を「1」にして、(I)のステップ、(K)のステップを実行させるステップ、
(N).前記前回用メモリに、前記今回の飲込コード情報に含まれている駒画像年月日時刻に対して所定時刻前に前回の飲込コード情報が記憶されている場合は、新たな飲込として、前記飲込カウンタの計数値をクリア(「0」)にして、この飲込カウンタの計数値に「1」を加算し、この今回の飲込コード情報に該当する嚥下機能低下情報が関連付けられている前記マークに、この飲込カウンタの計数値を割り付け表示するステップ、
としての機能を実行させる請求項3記載の嚥下機能低下情報提供プログラム。
【請求項5】
食事室の食卓テーブルを撮影する撮影カメラと、
食事者の嚥下判定のための食事動作を時間軸スケールで表示させる情報を施設担当者端末又は医療関係者端末に提供する嚥下機能低下情報提供サイトのサーバと、前記撮影カメラからの動画像に基づいて、食事開始から食事終了の間の前記食事動作を解析する食事動作解析サイトのサーバとを通信ネットワークで接続した嚥下判定情報提供システムであって、
食事動作解析サイトのサーバは、
前記撮影カメラからの動画像の駒画像毎に、この駒画像に対して前記食事者が食事する食卓テーブル上の食事メニュー及び食事者を含むエリアを順次、定義する手段と、
前記駒画像毎に、定義されたエリア内の画像を抽出し、この切り出し画像毎に、メモリに記憶されている食事動作解析用情報と比較して、駒画像における前記食事者の食事動作の種類コード又は食事動作以外の動作コード若しくは駒画像に変化が無いことを示すコードのいずれかの食事者動作解析結果と、この駒画像の各々の駒画像の時刻情報と、食事者名と、を組とする嚥下機能低下情報を生成して、前記嚥下機能低下情報提供サイトのサーバに送信する手段とを備え、
前記嚥下機能低下情報提供サイトのサーバは、
(A).前記嚥下機能低下情報を受信して蓄積用メモリに順に蓄積する手段と、
(B).前記嚥下機能低下情報を順に指定する手段と、
(C).指定された嚥下機能低下情報の食事者名の時間軸スケールを画面に表示する手段と、
(D).指定された嚥下機能低下情報に含まれている食事者動作解析結果が前記食事者の食事動作の種類コード又は食事動作以外の動作コード若しくは駒画像に変化が無いことを示すコードかどうかを判定する手段と、
(E).前記食事者動作解析結果が前記食事者の食事動作の種類コードを示している場合は、指定した嚥下機能低下情報に含まれている駒画像の時刻情報に該当する前記時間軸スケールの位置に、前記食事者の食事動作の種類コードを示すマークを割り付け表示する手段と、
(F).指定した嚥下機能低下情報に含まれている食事者動作解析結果が食事動作以外の動作コード若しくは駒画像に変化が無いことを示すコードの場合は、前記(E)の手段を停止させた後に、再び(D)及び(E)の手段を実行させる手段と、
とを有することを特徴とする嚥下機能低下情報提供システム。
【請求項6】
前記食事動作を示すマークを、、
前記駒画像の前記嚥下機能低下情報に「飲込コード」が含まれている場合は、該駒画像の時刻情報に該当する前記嚥下判定用スケールの位置に、縦型の点滅バーアイコンを割り付けて表示させることを特徴とする嚥下機能低下情報提供システム。
【請求項7】
前記嚥下機能低下情報提供サイトのサーバは、
前記撮影カメラからの動画像の駒画像を画像用メモリに順次、記憶する手段と、
前記マークに関連付けられている嚥下機能低下情報に含まれている駒画像識別コードを有する駒画像を前記マークの下に静止画又は動画再生表示させる手段と
を有することを特徴とする請求項5又は6記載の嚥下機能低下情報提供システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、嚥下機能低下情報提供システムに関する。
【背景技術】
【0002】
介護施設では、多くの老人(以下、介護対象者という)がおり、食事の際に食べ物の誤嚥による窒息、誤嚥性肺炎等(以下、嚥下という)が問題になっている。
この嚥下の兆候を検出するものに例えば、特許文献1、特許文献2がある。
特許文献1は、カメラ映像から料理と一口量や咀嚼回数などの食事動作を解析して、料理ごとの標準の1口量から1口量と咀嚼回数の個人ごとの基準を動的に作成して、作成した基準と実際の1口量との比較から嚥下傾向にあるかどうかを判定するものである。
一方、特許文献2は、圧力素子等の圧力センサを首輪に設けて、喉の甲状軟骨付近に圧力センサが当節するようにこの首輪を取り付け、圧力センサの出力信号波形で甲状軟骨の運動及び耳に取り付けた音検出センサの音で嚥下障害の傾向にあるかどうかを判定するものである。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2018-33624号公報
【特許文献2】特開2012-75758号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1のものは、カメラ映像から介護対象者毎に、その介護対象者が食べる料理の一口量の大きさと咀嚼回数から、個人ごとの基準を作成しておいて、作成した基準と実際の1口量との比較で嚥下傾向にあるかどうかを判定するものである。
しかしながら、嚥下障害となる要因は、様々なものがあり、一口量と咀嚼回数とだけでは、嚥下障害となる傾向を精度良く把握することができない。
【0005】
一方、特許文献2は、介護対象者の首に圧力素子等の圧力センサを装着させるものであるので、介護対象者に対して負担がかかる。
【0006】
本発明は以上の課題を解決するためになされたもので、介護担当者に負担をかけないで、かつ精度よく嚥下機能低下の傾向を把握することができる嚥下機能低下情報提供システムを得ることを目的とする。
【課題を解決するための手段】
【0007】
本発明に係る嚥下機能低下情報提供プログラムは、コンピュータを、
(A).カメラで撮影された、テーブル上の食品、この食品を食する食事者を含む動画像の駒画像毎に生成された、この駒画像における前記食事者の食事動作の種類コード又は食事動作以外の動作コード若しくは駒画像に変化が無いことを示すコードのいずれかの食事者動作解析結果と、この駒画像の時刻情報と、食事者名と、を組とする嚥下機能低下情報をメモリに順に記憶するステップ、
(B).前記嚥下機能低下情報を順に指定するステップ、
(C).指定された嚥下機能低下情報の食事者名の時間軸スケールを画面に表示するステップ、
(D).指定された嚥下機能低下情報に含まれている食事者動作解析結果が前記食事者の食事動作の種類コード又は食事動作以外の動作コード若しくは駒画像に変化が無いことを示すコードかどうかを判定するステップ、
(E).前記食事者動作解析結果が前記食事者の食事動作の種類コードを示している場合は、指定した嚥下機能低下情報に含まれている駒画像の時刻情報に該当する前記時間軸スケールの位置に、前記食事者の食事動作の種類コードを示すマークを割り付け表示するステップ、
(F).指定した嚥下機能低下情報に含まれている食事者動作解析結果が食事動作以外の動作コード若しくは駒画像に変化が無いことを示すコードの場合は、前記(E)のステップを停止させた後に、再び(D)及び(E)のステップを実行させるステップ、
としての機能を実行させる。
また、本発明に係る嚥下機能低下情報提供システムは、食事室の食卓テーブルを撮影する撮影カメラと、食事者の嚥下判定のための食事動作を時間軸スケールで表示させる情報を施設担当者端末又は医療関係者端末に提供する嚥下機能低下情報提供サイトのサーバと、前記撮影カメラからの動画像に基づいて、食事開始から食事終了の間の前記食事動作を解析する食事動作解析サイトのサーバとを通信ネットワークで接続した嚥下判定情報提供システムであって、
食事動作解析サイトのサーバは、
前記撮影カメラからの動画像の駒画像毎に、この駒画像に対して前記食事者が食事する食卓テーブル上の食事メニュー及び食事者を含むエリアを順次、定義する手段と、
前記駒画像毎に、定義されたエリア内の画像を抽出し、この切り出し画像毎に、メモリに記憶されている食事動作解析用情報と比較して、駒画像における前記食事者の食事動作の種類コード又は食事動作以外の動作コード若しくは駒画像に変化が無いことを示すコードのいずれかの食事者動作解析結果と、この駒画像の各々の駒画像の時刻情報と、食事者名と、を組とする嚥下機能低下情報を生成して、前記嚥下機能低下情報提供サイトのサーバに送信する手段とを備え、
前記嚥下機能低下情報提供サイトのサーバは、
(A).前記嚥下機能低下情報を受信して蓄積用メモリに順に蓄積する手段と、
(B).前記嚥下機能低下情報を順に指定する手段と、
(C).指定された嚥下機能低下情報の食事者名の時間軸スケールを画面に表示する手段と、
(D).指定された嚥下機能低下情報に含まれている食事者動作解析結果が前記食事者の食事動作の種類コード又は食事動作以外の動作コード若しくは駒画像に変化が無いことを示すコードかどうかを判定する手段と、
(E).前記食事者動作解析結果が前記食事者の食事動作の種類コードを示している場合は、指定した嚥下機能低下情報に含まれている駒画像の時刻情報に該当する前記時間軸スケールの位置に、前記食事者の食事動作の種類コードを示すマークを割り付け表示する手段と、
(F).指定した嚥下機能低下情報に含まれている食事者動作解析結果が食事動作以外の動作コード若しくは駒画像に変化が無いことを示すコードの場合は、前記(E)の手段を停止させた後に、再び(D)及び(E)の手段を実行させる手段と、
とを備えたことを要旨とする。
【発明の効果】
【0008】
以上のように本発明によれば、カメラで撮影された、食事者の食事開始から食事終了までの動画像に基づいて生成された駒画像毎の食事動作の種類コード又は食事動作以外の動作コード若しくは駒画像に変化が無いことを示すコードのいずれかの食事者動作解析結果と、この所定数駒画像の時刻情報と、食事者名と、を組とする嚥下機能低下判定用情報をメモリに順に記憶する。
【0009】
そして、嚥下機能低下情報の食事者名の時間軸スケールを画面に表示し、嚥下機能低下情報を指定し、この嚥下機能低下情報に含まれている食事者動作解析結果を判定する。
そして、食事者の食事動作の種類コードを示している場合は、嚥下機能低下情報に含まれている駒画像の時刻情報に該当する前記時間軸スケールの位置に、食事者の食事動作の種類コードを示すマークを割り付け表示する。
【0010】
また、嚥下機能低下情報に含まれている食事者動作解析結果が食事動作以外の動作コード若しくは駒画像に変化が無いことを示すコードの場合は、マークの割り付け表示を停止させて次の嚥下機能低下情報に含まれている食事者動作解析結果を判定してこの解析判定結果に応じて、マークの割り付け又は割り付けをスキップする。
【0011】
このため、時間軸スケールに食事開始から食事終了までの食事動作を示すマークが時系列で表示されるので、介護担当者又は医療関係者は容易に、嚥下傾向にあるかどうかを精度良く分る。
また、何も食事動作をしていない場合は、次の食事動作までのマークの間隔で食事動作の種類で次の食事動作まで時間がかかっているのかどうかを一目で把握できる。
【0012】
さらに、飲込を示す場合は、縦型点滅バーアイコンを表示しているので、一目で食べ物を飲み込んだ食事動作であることが分かる。
さらに、飲込を示すマーク(縦型点滅バーアイコン)には、口入れ後の食べ物の飲込回数が割り付け表示されるので、同じ食べ物を数回に分けて飲み込んだかが分かるので、嚥下傾向にあるかどうかを介護担当者又は医療関係者は容易に良く分る。
【図面の簡単な説明】
【0013】
【
図1】嚥下解析結果提供システムの概略構成図である。
【
図2】嚥下判定用時間軸スケール表Riの説明図である。
【
図4】嚥下判定用情報提供サーバ42の概略構成図である。
【
図5】
図5は食事動作解析サーバ62の概略構成図である。
【
図6】ストリーム駒画像Haaiの切り出しエリアの説明図である。
【
図8】嚥下判定用情報提供サイトの概略説明図である。
【
図9】事開始から食事終了までの間の食事の動作を時系列に示した時間軸スケールSTjの説明図である。
【
図10】嚥下解析結果提供システムのシーケンス図(1)である。
【
図11】嚥下解析結果提供システムのシーケンス図(2)である。
【
図12】閲覧用嚥下判定データ生成処理部424のプログラム構成図である。
【
図13】嚥下判定用スケール生成部4270の動作を説明するフローチャートである。
【
図14】咀嚼食事動作種マークMPniと、横型検索動画バーPni´とを説明する説明図である。
【
図15】縦型検索動画バーPei´に対する飲込回数の割り付けを説明する説明図(1)である。
【
図16】縦型検索動画バーPei´に対する飲込回数の割り付けを説明する説明図(2)である。
【発明を実施するための形態】
【0014】
飲食時における嚥下は、介護施設、病院、学校の教室、社員食堂、家庭、一般飲食店等において発生するが、本実施の形態では老人の介護施設(以下、施設Ajという:j=a,b、・・・)を対象にして説明する。以下に本実施の形態を説明する。また、牛乳、お茶、ジュース等の飲用物を含めて食品又は「食べ物」として説明する。
【0015】
図1は嚥下解析結果提供システムの概略構成図である。この嚥下解析結果提供システムは、
図1に示すように、施設Ajの居住者Bi(B1、B2、・・・)の食事中の画像(食事中撮影ストリームHai)を嚥下判定用情報提供サイト40が取り込み、このサイトが解析用食事中撮影ストリームHAiとして食事動作解析サイト60に送信し、この食事動作解析サイト60で居住者毎の食事中の画像を切り出して、食事動作(食事開始、食べ物をとる、口開、むせ、飲込、・・・食事終了)を解析判定させる。
そして、この解析判定した食事動作(食事開始、食べ物をとる、口開、むせ、飲込、・・・食事終了)を嚥下判定用情報提供サイト40が取り込み、
図2に示すように、要求者端末(施設担当者端末30、医療関係者端末50)に、居住者毎に時間軸スケールSTj上に、解析判定した食事動作(食事開始、食べ物をとる、口開、むせ、飲込、・・・食事終了)の食事動作種マークMPj(〇、△、●、・・・)を割り付けた嚥下判定用時間軸スケール表Riを表示させる。
【0016】
なお、
図2においては、
図2(a)に、施設名、食事時間帯、要求者名等の要求者情報YJiを記載し、
図2(b)に、嚥下判定用時間軸スケール表Riを示している。
従って、施設担当者又は医療関係者は、画面に表示された嚥下判定用時間軸スケール表Riを見て誰が嚥下傾向にあるかを容易に判断できる。
例えば、
図2(b)の水野○○は、食べ物を口入した後に咀嚼して、その食べ物は、2回で飲み込んでいることが分かる。また、誰が食事開始から食事終了までの時間が要しているか。また、食事動作種マークMPj(〇、△、●、・・・)同士の間隔で、次の食事動作に時間がかかっているかを一目でわかるので嚥下機能低下の傾向にあるかが分かる。
【0017】
(
図1の各サイトの構成)
図1に示すように、施設Ajの食事室12の天井には、食事動作撮影用カメラ14i(14a、14b、・・:4Kカメラが好ましい)を備えている。この食事動作撮影用カメラ14iは食事室12の食事用テーブル16i(16a、16b、・・)、のイスに座って食事する高齢者(以下、居住者Biという:食事者ともいう)を撮影可能に画角、フォーカスが設定されている。
なお、4Kは3840×2160画素の解像度であるので、4Kカメラは細部まで忠実に再現する臨場感のある撮影が可能である。
【0018】
また、食事動作撮影用カメラ14i(14a、14b、・・)は、施設Aj内のサーバ(以下、介護施設内サーバ20という)に接続されている。この介護施設内サーバ20には施設担当者端末30が接続されている。
さらに、通信ネットワーク70(例えば、インターネット網)を介して嚥下判定用情報提供サイト40、食事動作解析サイト60及び医療関係者端末50等が接続されている。
【0019】
前述の施設担当者端末30は、後述する食事メニュー画像情報GMi、利用者登録情報Rai(介護施設担当者、医療関係者)等を介護施設内サーバ20を介して嚥下判定用情報提供サイト40に送信する。
また、嚥下判定用情報提供サイト40は、サーバ(以下、嚥下判定用情報提供サーバ42と、嚥下判定用情報サイト側担当者端末445等よりなる。
【0020】
食事動作解析サイト60は、食事動作解析サーバ62と、食事動作解析サイト側担当者端末64等よりなる。つまり、嚥下判定用情報提供サーバ42と、嚥下判定用情報サイト側担当者端末445等よりなる。
なお、嚥下判定用情報提供サイト40と食事動作解析サイト60とは一つのサイトであってもよい。つまり、嚥下判定用情報提供サーバ42と、食事動作解析サーバ62とを有するサイトにしてもよいし、いずれかのサーバが本実施の形態のプログラムの処理を有してもよい。或いは、端末にこれらの処理機能を有してもよい。
【0021】
また、施設Ajには
図3に示すように、配膳テーブル19(本日の朝、昼又は夕食が配膳済食事トレイ18に配膳されて置かれるテーブル:厨房)を上又は斜めから撮影する配膳撮影用カメラ21が設置されている。
また、施設担当者端末30には、
図3に示すように、居住者の全身、顔、横、前を撮影(以下、居住者認証用画像情報BJiという)するための居住者撮影用カメラ(4K)が接続されている。
前述の配膳済食事トレイ18に既に配膳されている食事は、例えば、白米、肉じゃが、味噌汁、魚とする。また、配膳撮影用カメラ21(4Kが好ましい)は、施設担当者端末30に接続されている。
【0022】
施設担当者は、配膳テーブル19に配膳済食事トレイ18を置いて、施設担当者端末30を操作して撮影(静止画又は動画:配膳済撮影画像HGi)させて施設担当者端末30に取り込んで画面表示させる。この配膳済撮影画像HGiには、撮影年月日時刻、カメラ識別コード等が含まれている(以下、配膳済食事画像識別情報HGbiという)。
配膳済撮影画像HGiと、配膳済食事画像識別情報HGbiとを総称して配膳済食事画像情報HJGiと称する。
【0023】
また、施設担当者は施設担当者端末30を操作して嚥下判定用情報提供サイト40から本日のメニューmi(朝、昼又は夕食)、担当者名、施設名、配膳済食事画像情報HJGiを嚥下判定用情報提供サイト40に提供(送信)するための入力画面(図示せず)を表示する。
そして、施設担当者は、本日の配膳済食事画像情報HJGiを表示させながら、メニューmiと、食事時間帯(朝、昼又は夕食)と、施設名と、入力担当者名等(以下、本日の食事メニュー情報Maiと称する)。
そして、施設担当者は、内容を確認した後に、送信ボタンを選択し、施設担当者端末30がこの食事メニュー情報Maiと、配膳済食事画像情報HJGiとを組み合わせた食事メニュー画像情報GMi(嚥下判定用情報サイト名を含む)を介護施設内サーバ20を介して嚥下判定用情報提供サイト40(嚥下機能低下情報提供サイトともいう)に送信する。
【0024】
さらに、施設担当者端末30は、介護施設内サーバ20を介して嚥下判定用情報提供サイト40にアクセスして居住者登録情報Fai(施設名、居住者名、年齢、性別、入れ歯の有無、病歴等)を入力するための画面の提供を受ける(図示せず)。
そして、居住者撮影用カメラ(4K)で居住者の全身、顔、横、前を撮影(以下、居住者認証用画像情報BJiという)して施設担当者端末30に取り込み、前述の居住者登録情報Faiを入力するための画面の近傍に表示する。
【0025】
そして、施設担当者端末30は、確認後に送信ボタン(図示せず)の選択で、入力された居住者登録情報Faiと、居住者認証用画像BJiとを居住者登録画像情報Daiとして介護施設内サーバ20を介して嚥下判定用情報提供サイト40に送信する。
さらに、施設担当者は嚥下判定用情報提供サイト40にアクセスして利用者登録情報Raiを登録する画面(図示せず)の提供を受ける。利用者とは、施設担当者、医療関係者(医師、看護師等)である。
【0026】
施設担当者の情報(以下、施設担当者情報という)は、施設名(コード)、利用期間、氏名(コード)、職種、電話番号、メールアドレス等であり、医療関係者の情報(以下、医療関係者情報という)は、施設名(コード)、利用期間、氏名(コード)、職種、電話番号、メールアドレス、閲覧許可コード等である。
施設担当者情報と医療関係者情報とを総称して利用者登録情報Raiとして嚥下判定用情報提供サイト40に送信する。
【0027】
上記のように構成された嚥下機能低下情報提供システムは、
図1に示す、食事動作撮影用カメラ14i(14a、14b、・・)が介護施設内サーバ20からの撮影開始指示(例えば、夕食(17:00時)に伴って、食事用テーブル16i(16a、16b、・・)を撮影し、この撮影ストリームHi(動画:4K)を介護施設内サーバ20に送信する。
【0028】
また、食事動作撮影用カメラ14iは、介護施設内サーバ20からの撮影終了指示(例えば、夕食19:00時)に伴って撮影を終了する。撮影開始指示(例えば、17:00)から撮影終了指示(例えば、19:00)の範囲を施設毎食事撮影期間AWiと称する。
【0029】
この撮影ストリームHiは、カメラ識別コードと、ストリーム駒画像Haai(Haa1又は、Haa2、・・・)と、駒画像年月日時刻htmi(htm1又はhtm2、・・・)と、ストリーム駒番hbi(hb1、hb2、・・)と、施設毎食事撮影期間AWi等よりなる。なお、撮影開始指示が入力した場合は、そのときの年月日時刻が食事撮影開始時刻hsti(スタートコード付き)として付加され、撮影終了指示が入力した場合は、そのときの年月日時刻が食事撮影終了時刻heti(エンドコード付き))として付加される。
【0030】
また、食事用テーブル16iには、本日の配膳済のトレイに載せられている(以下、食事用トレイ17iという)。
【0031】
(介護施設内サーバ20)
介護施設内サーバ20は、食事動作撮影用カメラ14iの施設毎食事撮影期間AWi(例えば、夕食(17時~19時)を記憶しており、カレンダタイマー(図示せず)の年月日時刻に基づいて、撮影開始指示又は撮影終了指示を食事動作撮影用カメラ14iに出力する。
また、介護施設内サーバ20は、食事動作撮影用カメラ14iからの撮影ストリームHiを受信する毎に、施設名(コード)、介護施設内サーバ20のアドレス等を付加し、食事中撮影ストリームHai(パケット)として通信ネットワーク70を介して嚥下判定用情報提供サイト40に送信する。
【0032】
なお、施設毎食事撮影期間AWiと、施設名(コード)と、前述のカメラ識別コードとを総称して施設側撮影ストリーム識別情報JHiという。
また、介護施設内サーバ20は、施設担当者端末30からの食事メニュー画像情報GMi、居住者登録画像情報Dai、利用者登録情報Rai等を嚥下判定用情報提供サイト40に送信する。
【0033】
(嚥下判定用情報提供サイト40の嚥下判定用情報提供サーバ42)
次に、嚥下判定用情報提供サイト40の嚥下判定用情報提供サーバ42(嚥下機能低下情報提供サーバともいう)の構成について
図4を用いて説明する。
嚥下判定用情報提供サーバ42は、
図4に示すように、居住者情報収集提供部421と、食事メニュー画像情報転送部422と、食事中画像転送部423と、閲覧用嚥下判定データ生成処理部424と、閲覧要求許可判定部425と、閲覧項目解読部426と、該当情報抽出部428と、閲覧用情報送信部431等を備えている。
【0034】
居住者情報収集提供部421は、施設Aj側からの居住者登録画像情報Daiと、居住者認証用画像BJiとを入力させる画面を施設担当者端末30に提供して居住者登録画像情報Daiを受信し、メモリ441に記憶している施設名がこれに含まれている場合は、居住者登録画像情報Daiにユニークな識別コード(以下、居住者登録画像情報識別コードという)を付加する。識別コードの生成は図示しない乱数発生器を用いている。
【0035】
そして、これを食事動作解析サイト60に転送する。このとき、カレンダタイマー(図示せず)の時刻を転送時刻として居住者登録情報識別コードに付加して居住者登録情報転送履歴として履歴用メモリ453に記憶している。
食事メニュー画像情報転送部422は、介護施設からの食事メニュー画像情報GMiを受信する毎に、この情報にメモリ441に記憶している施設名(コード)が含まれている場合は、識別コード(食事メニュー画像情報識別コード)を付加して食事動作解析サイト60の食事動作解析サーバ62に転送すると共に、食事メニュー画像情報識別コードと年月日時刻とを関連付けた食事メニュー画像転送履歴情報として履歴用メモリ453に記憶する。
【0036】
食事中画像転送部423は、施設Aj(Aa、Ab、・・)からの食事中撮影ストリームHaiを受信する毎に、この情報に食事解析動作サイト60のアドレスを付加して解析用食事中撮影ストリームHAi:パケット)として食事動作解析サイト60に転送する。
このとき、施設側撮影ストリーム識別情報JHiと、駒画像年月日時刻htmiと、ストリーム駒番hbiとでストリーム識別コードBSiを生成し、撮影ストリーム転送履歴情報として履歴用メモリ453に記憶する。
【0037】
閲覧用嚥下判定データ生成処理部424(閲覧用嚥下機能低下判定データ生成処理ともいう)は、食事動作解析サイト60が解析した居住者毎に食事動作を示す居住者毎嚥下判定画像付き情報JCiを受信して、食事開始から食事終了までの間の食事の動作(開始、食べ物を取る、口開、飲込、・・・)を時系列に示した時間軸スケールSTjの塊(合成)を嚥下判定用時間軸スケール表Riとして、施設担当者端末30、医療関係者端末50に表示させる(
図8参照)。
【0038】
すなわち、
図8に示すように、嚥下判定用情報提供サイト40の閲覧用嚥下判定データ生成処理部424は、食事動作解析サイト60で、解析した居住者の着席(S1a)、食事開始(S3a)、食事中の動作解析(S5a:食べ物を取る、口開、飲込、・・)、食事終了(S7a)の間の解析結果である後述する居住者毎嚥下判定画像付き情報JCi(居住者毎嚥下判定用情報JAi、居住者毎嚥下判定用画像情報JBi(解析用撮影ストリームHAi、居住者毎切出画像KGi)に含まれている居住者毎駒画像嚥下判定用情報JAAiを読み込みむ。
【0039】
そして、事開始から食事終了までの間の食事の動作(開始、食べ物を取る、口開、飲込、・・・)を時系列に示した時間軸スケールSTj(
図9参照)の塊を嚥下判定用時間軸スケール表Ri(一人の時間軸スケールSTjでもよい)として、施設担当者端末30、医療関係者端末50に表示させている。
なお、閲覧用嚥下判定データ生成処理部424については図を用いて詳細に後述する。
【0040】
閲覧要求許可判定部455は、要求者端末(施設担当者端末30又は医療関係者端末50)に食事動作解析結果要求入力画面(図示せず)を提供して、食事動作解析結果要求情報(端末識別コード、施設名、要求者名、食事動作解析項目smi等)を受信して一時記憶用メモリに記憶し、この情報が利用許可者用メモリ427に記憶されている利用許可者情報と照合して、利用許可者かどうかを判定する。利用許可者の場合は、識別コード(食事動作解析結果要求情報識別コード)を付加して食事動作解析サイト60に転送すると共に、これを履歴用メモリ453に記憶する。
【0041】
該当情報抽出部459は、閲覧要求許可判定部425が受信した食事動作解析結果要求情報(端末識別コード、施設名、要求者名、解析結果、解析期間、食事名(朝、昼又は夕食)等)に含まれている施設名及び要求者名(施設担当者名又は医療関係者名)を有する居住者毎嚥下判定用情報JAiを閲覧用嚥下判定データ生成処理部424のメモリ4241から全て引き当てる。
そして、この食事動作解析結果要求情報JYi(JY1、JY2、・・・)に識別コード(以下、食事動作解析結果要求情報識別コードという)を付加してメモリ4243に記憶して、食事動作解析結果要求情報識別コードを閲覧情報送信部462に出力する。
【0042】
閲覧情報送信部462は、食事動作解析結果要求情報識別コードが入力する毎に、この食事動作解析結果要求情報識別コードを有するメモリ4243の食事動作解析結果要求情報JYi(JY1、JY2、・・・)に含まれている要求者名の端末に、食事動作解析結果要求情報JYiを送信して、年月日時刻を関連付けて食事動作解析結果要求情報識別コードを履歴用メモリ453に記憶する。
【0043】
(食事動作解析サイト60の食事動作解析サーバ62)
図5は食事動作解析サーバ62の概略構成図(プログラム)である。
図5に示すように、食事動作解析サーバ62は、図示しない解析用食事中撮影ストリーム受信部が嚥下判定用情報提供サイト40からの解析用食事中撮影ストリームHAiを受信する毎に、この情報に含まれている施設側撮影ストリーム識別情報JHiを有するファイル(以下、解析サイト側ストリーム用ファイル621iという)がストリーム記憶用メモリ部620に生成されているかどうかを判定する。
【0044】
解析サイト側ストリーム用ファイル621iが生成されていない場合は、施設側撮影ストリーム識別情報JHiのファイル名の解析サイト側ストリーム用ファイル621iを生成して、このファイルに解析用食事中撮影ストリームHAiを順に記憶する。
また、解析サイト側ストリーム用ファイル621iが生成されている場合は、そのファイルに順に、解析用食事中撮影ストリームHAiを順に記憶する。
【0045】
また、食事者毎画像切出部624と、切出画像用メモリ部625と、食事動作解析部627と、食事動作解析結果ボックス生成部628と、解析結果送信部629等(プログラム)を備えている。
また、嚥下判定用情報提供サイト40からの居住者登録画像情報Daiと、居住者認証用画像BJiを記憶する解析サイト側居住者情報用メモリ623を備えている。
また、嚥下判定用情報提供サイト40からの食事メニュー画像情報GMiと、配膳済食事画像Gbiを記憶する食事メニュー画像情報用メモリ633を備えている。
【0046】
食事者毎画像切出部624は、ストリーム記憶用メモリ部620の解析サイト側ストリーム用ファイル621iを順に指定する。
そして、この指定した解析サイト側ストリーム用ファイル621iの解析用食事中撮影ストリームHAiの各々の、ストリーム駒画像Haaiを指定し、この指定したストリーム駒画像Haai(Haa1又はHaa2、・・・)毎に、予め設定されているエリアEai(配膳済トレイ、イスに座った人物を含む範囲のエリア)を定義(
図6参照)する。
【0047】
前述のストリーム駒画像Haaiを指定は、具体的には、1駒、数駒又は数十駒或いは数百駒(総称して所定数駒画像という)である。この所定数駒画像を指定したストリーム駒画像Haaiと称している。
【0048】
(食事動作解析部)
食事動作解析部640については
図7の概要図を用いて説明する。
食事動作解析部640は、画像切出用メモリ部625の居住者毎画像切出ファイル625jを指定する。次に、この居住者毎画像切出ファイル625jの後述する居住者毎切出駒画像Kei(平均後の画像)を駒単位(1コマ、数コマ又は数十コマ)で順(時刻)に指定して読み出す(
図7のS1)。
【0049】
そして、この居住者毎切出駒画像Keiと、メモリ650の食事動作解析パラメータと、メモリ633の食事メニュー画像情報GMiと、配膳済食事画像Gbi等と比較して、食事動作(「食事開始」、「食べ物を取る」、「口開」、「咀嚼」、「飲込」、「口溢れ」・・・「食事終了」:コード又はフラグ)を判定する(
図7のS2、S3)。
なお、食事動作として解析されない場合は、食事動作の解析判定結果を示す識別コード(単に解析判定結果ともいう)は「変化無し」を示すコード又はフラグにする。
【0050】
そして、この解析判定結果毎に、食事動作駒解析結果情報SJiを生成して食事動作解析結果ボックス生成部628に出力する(
図7のS4)。
食事動作駒解析結果情報SJiは、居住者毎切出駒識別コードと、解析解析判定結果(「食事開始」、「食べ物を取る」、「口開」、「咀嚼」、「飲込」、「口溢れ」・・・、又は「食事終了」:フラグ)と、居住者毎切出駒に割り付けられている駒画像年月日時刻htmi(各駒の平均年月日時刻)と、施設名と、居住者名等よりなる。
【0051】
食事動作解析結果ボックス生成部628は、食事動作解析項目smi(食事開始、食べ物を取る、口開、咀嚼、飲込、・・・)が割り付けられた駒解析判定結果書込用ボックスmBj(mBa(開始)、mBb(食物を取る)、・・・)を有している。これらの駒解析判定結果書込用ボックスmBjの集合を駒解析判定結果書込用ボックス群MBと称する。
すなわち、食事中の、皿又は茶碗等に載せられている食品(例えば、ジャガイモ、魚)を箸等で取り、口開、この食品を口入れ、咀嚼、飲込した等の食事中の動作をコードとして記憶するためのボックスを用意している。
【0052】
そして、食事動作解析部640から食事動作駒解析結果情報SJiが入力する毎に、この駒解析判定結果書込用ボックス群MBをメモリに複写して、食事動作駒解析結果情報SJi(居住者の駒食事動作解析結果ski、居住者毎切出駒画像識別情報JEiの識別コード(HAiの識別コード、621iのファイル識別コード、駒画像年月日時刻htmi等を含む)を割り付ける。この複写された駒解析判定結果書込用ボックス群MBを駒解析判定結果項目書込用複写ボックス群MBj(mBa、mBb、・・)と称する。
【0053】
そして、食事動作駒解析結果情報SJiに含まれている食事動作解析項目smiに該当する駒解析判定結果項目書込用複写ボックス群MBjを構成する駒解析判定結果書込用ボックスmBjに、その食事動作解析結果を書き込む(以下、駒食事動作解析判定結果書込済ボックスMBAという)。駒食事動作解析判定結果書込済ボックスMBAの集合を駒食事動作解析判定結果書込済ボックス群MBAjと称する。
【0054】
そして、この駒食事動作解析判定結果書込済ボックス群MBAj(MBAa、MBAb、・・)をメモリ660に記憶する。
【0055】
解析結果送信部629は、メモリ660の駒食事動作解析判定結果書込済ボックス群MBAjが記憶される毎に、嚥下判定用情報提供サイト40の嚥下判定用情報提供サーバ42に、これらの情報を含む後述する居住者毎嚥下判定画像付き情報JCi(居住者毎嚥下機能低下判定情報画像付き情報ともいう)として嚥下判定用情報提供サイト40に送信する。このとき画像も送信する。
【0056】
(シーケンス)
図10及び
図11を用いて全体の動作を説明する。但し、各種情報を入力するための嚥下判定用情報提供サイト40からの画面の提供については説明を省略する。
また、嚥下判定用情報提供サイト40の嚥下判定用情報提供サーバ42には、既に施設Aj側からの居住者登録画像情報Daiと、利用者登録情報Rai(施設担当者、医療関係者)等は記憶されているとして説明する。但し、介護施設内サーバ20は本シーケンス図では図示しない。
【0057】
図10に示すように、施設担当者は施設担当者端末30を操作して配膳テーブル19上の配膳済食事トレイ18(例えば、(白米、肉じゃが、味噌汁、魚)を配膳撮影用カメラ21で撮影させ(d10)、配膳済食事画像識別情報HGbiを取り込む(d11)。
施設担当者端末30は、この配膳撮影用カメラ21からの配膳済食事画像識別情報HGbiを取り込み、画面に表示させる。
【0058】
また、施設担当者は、施設担当者端末30を操作して、本日のメニューmi(朝、昼又は夕食)を入力する(d12)。
これを食事メニュー情報Mai(白米、肉じゃが、味噌汁、魚)と称する。なお、白米は、グラム数と、炊き方の種類と(柔らかい、普通、おかゆ)が入力される。「肉じゃが」には、グラム数と、肉のグラム数と、煮方の種類と(柔らかい、普通)が入力される。味噌汁には具材と、グラム数とが入力される。魚にはグラム数と、つき合せ(キャベツ、ニンジン等)が入力される。
【0059】
そして、送信ボタンの選択で、施設担当者端末30は、この食事メニュー情報Mai(施設名、年月日時刻、朝又は昼若しくは夕食、メニューmiを含む)と、配膳済食事画像識別情報HGbi(配膳済撮影画像、年月日時刻、カメラ識別コード)とを組み合わせた食事メニュー画像情報GMi(嚥下判定用情報サイト名、食事動作解析サイト名を含む)を介護施設内サーバ20を介して嚥下判定用情報提供サイト40に送信する(d14)。
【0060】
(嚥下判定用情報提供サイト40)
また、
図4に示す嚥下判定用情報提供サイト40の嚥下判定用情報提供サーバ42の食事メニュー画像情報転送部422は、嚥下判定用情報提供サイト40からの食事メニュー画像情報GMiを受信して、食事動作解析サイト60に転送する(d16)。
【0061】
(食事動作解析サイト60)
食事動作解析サイト60の食事動作解析サーバ62は、嚥下判定用情報提供サイト40からの食事メニュー画像情報GMiを受信する毎に、メモリ633に記憶(
図5参照)する(d18)。
【0062】
(食事動作撮影用カメラ14i)
一方、食事動作撮影用カメラ14i(14a、14b、・・:
図1参照)は、食事室12の食事用テーブル16i(16a、16b、・・)のイスに座って食事する高齢者(以下、居住者Biという)を撮影し、介護施設内サーバ20がこの撮影ストリームHiに施設名(コード)、介護施設内サーバ20のアドレス等を付加して食事中撮影ストリームHaiとして嚥下判定用情報提供サイト40(嚥下判定用情報提供サーバ42)に送信する(d20)。
【0063】
(嚥下判定用情報提供サイト40)
嚥下判定用情報提供サイト40の嚥下判定用情報提供サーバ42の食事中画像転送部423(
図4参照)は、この食事中撮影ストリームHaiを解析用食事中撮影ストリームHAiとして、食事動作解析サイト60に転送する(d22)。
【0064】
(食事動作解析サイト60)
食事動作解析サイト60の食事動作解析サーバ62の図示しない解析用食事中撮影ストリーム受信部が嚥下判定用情報提供サイト40からの解析用食事中撮影ストリームHAi(施設側撮影ストリーム識別情報JHi(カメラ識別コード、施設毎食事撮影期間AWi、施設名(コード))、ストリーム駒画像Haai(Haa1又は、Haa2、・・・)、駒画像年月日時刻htmi(htm1又はhtm2、・・・)、ストリーム駒番hbi(hb1、hb2、・・)、・・)を受信してストリーム記憶用メモリ部620の解析サイト側ストリーム用ファイル621i(621a、621b、・・)に記憶する(d24)。
【0065】
そして、嚥下判定用情報提供サイト40の食事動作解析サーバ62は、食事動作解析処理を実行する(d30)。
【0066】
[食事動作解析処理]
食事動作解析処理は、嚥下判定用情報提供サイト40の食事動作解析サーバ62の食事者毎画像切出部624が初めに以下の処理を行う。
食事者毎画像切出部624(
図5参照)は、ストリーム記憶用メモリ部620の解析サイト側ストリーム用ファイル621iを順に指定する。
【0067】
そして、この指定した解析サイト側ストリーム用ファイル621iの解析用食事中撮影ストリームHAiの各々の、ストリーム駒画像Haai(Haa1、Haa2、・・・:所定数の駒画像(動画))を指定し、この指定したストリーム駒画像Haai(Haa1又はHaa2、・・・)毎に、予め設定されているエリアEai(配膳済トレイ、イスに座った人物を含む範囲のエリア)を定義(
図6参照)する。
【0068】
そして、以下の着席判定処理を行う。
(着席判定処理)
着席判定処理は、ストリーム駒画像Haai(Haa1又はHaa2、・・・:(1コマ、数コマ又は数十コマ若しくは数百コマ)毎に、定義されたエリアEaiを順次指定する。
数コマ又は数十コマ若しくは数百コマの場合は、これらの駒画像を平均化するのが好ましい。
【0069】
そして、この指定したエリアEai毎に、エリアEaiのエリア内画像EGaiと、指定した解析用食事中撮影ストリームHAiに含まれている施設側撮影ストリーム識別情報JHi(カメラ識別コード、施設毎食事撮影期間AWi、施設名(コード)等)を有する解析サイト側居住者情報用メモリ623に記憶されている居住者登録画像情報Daiを読み込み、これに含まれている居住者認証用画像BJiの居住者認証用画像NGaiと照合比較する。そして、一致する居住者認証用画像NGaiが存在するかどうかを判定する。
【0070】
一致する居住者認証用画像NGaiが存在する場合は、居住者着席判定用メモリに居住者登録画像情報Daiを有する居住者着席判定コードが記憶されていない場合は、初めての検出と判定して、着席と判定する。
そして、指定したストリーム駒画像Haa1、Haa2、・・(1コマ、数コマ、数十コマ)の、指定したエリアEaiにエリア識別コードEbi(ユニークコード)を関連付ける。
【0071】
なお、居住者登録画像情報Daiと、居住者認証用画像BJiと、エリア内画像EGaiと、検出した年月日時刻と、エリア識別コードEbiと、施設側撮影ストリーム識別情報JHiと、着席コードなどをコード化(以下、居住者着席判定コードという)して、図示しない居住者着席判定用メモリに記憶する。
そして、居住者毎画像切出ファイル生成処理を行う。
【0072】
[居住者毎画像切出ファイル生成処理]
居住者毎画像切出ファイル生成処理は、施設側撮影ストリーム識別情報JHiと、居住者登録画像情報Daiと、居住者着席判定コードと、エリア識別コードEbi等を用いてファイル識別コード(以下、居住者毎エリア切出画像識別情報KFbiという)を生成し、この居住者毎エリア切出画像識別情報KFbiを関連付けた居住者毎画像切出ファイル625j(625a、625b、・・・)を画像切出用メモリ部625に生成する。
【0073】
そして、居住者毎切出駒画像記憶処理を行う。
[居住者毎切出駒画像記憶処理]
居住者毎切出駒画像記憶処理は、指定したストリーム駒画像Haai(Haa1、Haa2、・・)のエリアEai(Ea1、Ea2、・・)のエリア内画像EGai(EGa1、EGa2、・・)を、生成した居住者毎画像切出ファイル625j(625a又は625b、・・・)に全て記憶(切り出しともいう)する。
【0074】
この居住者毎画像切出ファイル625jに、順(時刻)に記憶されたエリア内画像EGai(EGa1、EGa2、・・)を居住者毎切出駒画像Kei(Ke1、Ke2、・・:所定駒画像(動画))と称する。施設毎食事撮影期間AW(例えば、17時~19時)の間の居住者のこれらの居住者毎切出駒画像Keiを総称して居住者毎切出画像KGiと称している。
【0075】
すなわち、居住者毎切出駒画像Keiには、居住者毎エリア切出画像識別情報KFbi(施設側撮影ストリーム識別情報JHi、居住者名、エリア識別コードEbi、居住者毎切出画像の識別コードと、施設毎食事撮影期間AWi、駒画像年月日時刻htmi)等が関連付けられている。
そして、エリアEai・ストリーム駒画像更新処理を行う。
【0076】
[エリアEai・ストリーム駒画像更新処理〕
エリアEai・ストリーム駒画像更新処理は、指定したストリーム駒画像Haaiに他にエリアEaiが存在するかどうかを判定する。
他に存在する場合は、そのエリアEaiに更新して居住者毎切出駒画像記憶処理を行う。また、ストリーム駒画像Haaiに他にエリアEaiが存在しないと判定した場合は、指定した解析用食事中撮影ストリームHAiには、他にストリーム駒画像Haaiがあるかどうかを判定する。
解析用食事中撮影ストリームHAiには、他にストリーム駒画像Haaiがあると判定した場合は、ストリーム駒画像Haaiを更新して、居住者毎切出駒画像記憶処理を行う。
【0077】
そして、他にストリーム駒画像Haaiが存在しないと判定した場合は、食事動作解析部を起動する。
これによって食事動作解析を行わせるための準備ができた。
【0078】
[食事動作解析部640]
食事動作解析部640(
図5参照)は、画像切出用メモリ部625の居住者毎画像切出ファイル625j(625a(居住者B1用)、625b(居住者B2用)、・・・)を指定する。
【0079】
そして、この居住者毎画像切出ファイル625jの居住者毎切出画像KGiの居住者毎切出駒画像Keiを順に指定(読み出す)する。
そして、この居住者毎切出駒画像Keiと、メモリ650の食事動作解析パラメータと、メモリ633の食事メニュー画像情報GMiと、配膳済食事画像Gbiとを比較して、予め設定されている食事動作解析項目smi(「食事開始」、「食べ物を取る」、「口開」、「口入れ」、「咀嚼」、「飲込」又は「口溢れ」・・・「食事終了」)を判定する(以下、判定したものを駒食事動作解析結果skiという)。
【0080】
食事動作解析パラメータは、「食事開始」は、例えばさらに手を延ばす動作のフレーム情報等であり、医療関係者、施設担当者がストリーム駒画像Haai、居住者毎切出駒画像Kei等をその端末画面に表示して食事動作等を入力し、この入力した食事動作に基づいてフレームの動き等に食事動作を関連付けている。
る。「食べ物を取る」は、例えば、グラス、コップ、みそ汁等の飲料を取る若しくは皿の食品を取る動作のフレーム情報等である。「口開」は口を開いたとする動作のフレームである。飲料については口にあてるのフレーム情報である。
【0081】
また、食事終了は、前回の画像と比較して、椅子を立ち上がった場合に食事終了と判定している。
また、食事動作解析パラメータに含まれない食事動作の場合は、駒食事動作解析結果skiは「何も変化無し」としたコード又はフラグにする。
この駒食事動作解析結果skiに、居住者毎エリア切出画像識別情報KFbi(施設側撮影ストリーム識別情報JHi、居住者名、エリア識別コードEbi、施設毎食事撮影期間AWi、駒画像年月日時刻htmi等)を関連付ける。
【0082】
但し、「食べ物を取る」は、食事メニュー画像情報GMi((施設名、年月日時刻、朝又は昼若しくは夕食、メニューを含む)に含まれているメニューと、配膳済食事画像Gbi(配膳済撮影画像、年月日時刻、カメラ識別コード)と、居住者毎切出駒画像Keiとで、どんな種類の食べ物(例えば、ジャガイモ、肉)を箸又はフォーク、スプーン若しくは手でとったかを解析している(解析食物Kfi)。この解析食物Kfiを「食べ物を取る:フラグ又はコード)に関連付けている。
【0083】
そして、駒食事動作解析結果ski(sk1:開始)又はsk2(食べ物をとる)、・・)毎に、居住者毎エリア切出画像識別情報KFbiを関連付け、食事動作駒解析結果情報SJiとして、食事動作解析結果ボックス生成部628に出力する。
【0084】
そして、食事動作解析結果ボックス生成部628は、食事動作解析部640から出力された、食事動作駒解析結果情報SJi(駒食事動作解析結果ski、住者毎エリア切出画像識別情報KFbi)が食事動作解析部640から入力する毎に、上記のように駒解析判定結果書込用ボックス群MBをメモリ(図示せず)に生成する。
【0085】
そして、食事動作解析結果ボックス生成部628は、食事動作駒解析結果情報SJiに含まれている駒食事動作解析結果skiに該当する駒解析判定結果書込用ボックス群MBを構成する駒解析判定結果書込用ボックスmBj(mBa(開始)、mBb(食物を取る)、・・・)に、その駒食事動作解析結果skiを書き込む(フラグ)。何も変化(前回の駒画像と、今回の駒画像とを比較して変化の有無を判定している)がない場合は、「変化無し」のコードを書き込んでいる。
【0086】
つまり、駒食事動作解析判定結果書込済ボックスMBA(MBa又はMBb、・・)をメモリ660に記憶する(d32)。従って、居住者(居住者名)の施設毎食事撮影期間AWiの駒画像年月日時刻htmi(htm1、htm2、・・・)毎の駒食事動作解析判定結果書込済ボックスMBA(MBa、MBb、・・:総称して駒食事動作解析判定結果書込済ボックス群MBAj)が生成されることになる。
【0087】
すなわち、食事開始~食事終了の間における駒画像年月日時刻htmi毎の食事動作(食事開始、皿又は茶碗等に載せられている食品(例えば、ジャガイモ、魚)を箸等で取り、口開、この食品を口入れ、咀嚼、飲込、・・・、終了)の食事動作をコードとして取得したことになる。なお、食品を口入して飲込までの動作の期間を本実施の形態では、食事中口入飲込期間(例えば、800msec~1s)と称する。
【0088】
なお、メモリ660への記憶は、居住者名、施設名でグループ分けして記憶するのが好ましい。
次に、解析結果送信部629は、メモリ660の駒食事動作解析判定結果書込済ボックスMBA(MBa又はMBb、・・)を指定し、この指定した駒食事動作解析判定結果書込済ボックスMBAに関連付けられている食事動作駒解析結果情報SJiに食事撮影終了時刻heti(エンドコード付き)含まれている場合は、その食事動作駒解析結果情報SJiの食事撮影開始時刻hsti(スタートコード付き)と食事撮影終了時刻heti(エンドコードとを有する(つまり、施設毎食事撮影期間AWi)の駒食事動作解析判定結果書込済ボックス群MBAj(htmi、ski、SJi)を、施設毎食事撮影期間AWiの間の駒画像年月日時刻htmi毎の居住者単位の居住者毎駒画像嚥下判定用情報JAAiとして者毎嚥下判定用情報JAiとして嚥下判定用情報提供サイト40に送信する(d34)。
【0089】
このとき以下の画像も送信する。なお、居住者単位の居住者毎駒画像嚥下判定用情報JAAi(居住者毎駒画像嚥下低下機能判定用情報ともいう)を総称して居住者毎嚥下判定用情報JAi(居住者毎嚥下機能低下判定用情報ともいう)と称している。
例えば、指定した居住者の駒食事動作解析判定結果書込済ボックス群MBAjに含まれている施設側撮影ストリーム識別情報JHiを有するメモリ621の解析用撮影ストリームHAiと、メモリ625の居住者毎切出画像KGiとを居住者毎食事動作画像情報JBiとして嚥下判定用情報提供サイト40に送信する。
【0090】
この居住者毎嚥下判定用画像情報JBiと、居住者毎嚥下判定用情報JAiとを総称して居住者毎嚥下判定画像付き情報JCiと称している。
【0091】
(嚥下判定用情報提供サイト40)
嚥下判定用情報提供サイト40の嚥下判定用情報提供サーバ42の閲覧用嚥下判定データ生成処理部424(
図5参照)は、居住者毎嚥下判定画像付き情報JCi(居住者毎嚥下判定用情報JAi、居住者毎嚥下判定用画像情報JBiを受信する。
【0092】
(閲覧用嚥下判定データ生成処理部424)
閲覧用嚥下判定データ生成処理部424の構成(プログラム)について
図12を用いて説明する。
図12に示すように、閲覧用嚥下判定データ生成処理部424は、嚥下判定情報用メモリ部4242と、飲込種抽出部4244と、前・今回飲込種判定部4246と、飲込カウンタ生成部4251と、嚥下判定用スケール生成部4270等を備えている。
【0093】
嚥下判定情報用メモリ部4242は、食事動作解析サイト60からの居住者毎嚥下判定画像付き情報JCiに含まれている居住者毎嚥下判定用情報JAiを記憶するメモリ4242aと、居住者毎嚥下判定用画像情報JBiを記憶するメモリ4242bとを有する嚥下判定用情報メモリ部4242を備えている。すなわち、居住者毎嚥下判定用情報JAiを構成する居住者毎駒画像嚥下判定用情報JAAiは、施設名、カメラ識別コード、居住者名、居住者毎駒画像嚥下判定用情報識別コード等に、駒画像年月日時刻htmiと、駒食事動作解析結果ski等が関連付けられて記憶されている。
【0094】
飲込種抽出部4244は、嚥下判定情報用メモリ部4242のメモリ4242aの居住者毎嚥下判定用情報JAiを指定する。
そして、この居住者毎嚥下判定用情報JAiの居住者毎駒画像嚥下判定用情報JAAiを順に指定し、この情報に含まれている駒食事動作解析結果skiが「飲込」を示しているかどうかを判定する。
駒食事動作解析結果skiが「飲込」を示している場合は、この「飲込(コード)」に、指定した居住者毎駒画像嚥下判定用情報JAAiの居住者毎駒嚥下判定用情報識別コードと、駒食事動作解析結果skiに関連付けられている飲込コード等を関連付けた、飲込コード情報Jskiを前・今回飲込種判定部4246に出力すると共に、飲込カウンタ生成部4251に出力する。
【0095】
前・今回飲込種判定部4246は、飲込種抽出部4244からの飲込コード情報Jskiが出力される毎に、今回用メモリ4258bに飲込コード情報Jskiを「今回の飲込コード」情報JsBi(今回フラグ付き)として上書きする。
【0096】
そして、前・今回飲込種判定部4246は、前回用メモリ4258aの情報と比較する。前回用メモリ4258aに何も記憶されていない場合は、新たに食べ物を飲み込んだと判定し、飲込カウンタ生成部4251に「今回の飲込コード」情報JsBi(今回フラグ付き)を出力して起動する。
そして、前・今回飲込種判定部4246は、「今回の飲込コード」情報JsBi(今回フラグ付き)を「前回の飲込コード」情報JsAi(前回フラグ付き)として前回用メモリ4258aに順次蓄積する。
【0097】
また、「前・今回飲込種判定部4246は、前回用メモリ4258aに「前回の飲込コード」情報JsAi(前回フラグ付き)が記憶されている場合は、「前回の飲込コード」情報JsAi(前回フラグ付き)に含まれている駒画像年月日時刻htmiが「今回の飲込コード」情報JsBi(今回フラグ付き)に含まれている駒画像年月日時刻htmiに対して所定時刻前以内の場合は、飲込カウンタ4251の計数値に「1」を加算する。
所定時刻前以内というのは、食べ物種、年齢、性別等にもよるが、食べ物を口に入れて咀嚼する回数は30回以内と言われており、嚥下反射時刻を含んだ時刻である。
例えば、3秒~30秒のいずれか若しくは1分~5分のいずれかの時間とするのが好ましい。
【0098】
また、前・今回飲込種判定部4246は、前回用メモリ4258aに「前回の飲込コード」情報JsAi(前回フラグ付き)が記憶されている場合は、「前回の飲込コード」情報JsAi(前回フラグ付き)に含まれている駒画像年月日時刻htmiが「今回の飲込コード」情報JsBi(今回フラグ付き)に含まれている駒画像年月日時刻htmiに対して所定時刻前である食事中口入飲込期間に前回の飲込コード」情報JsAiが存在又は情報が無い場合は、飲込カウンタ4251の計数値をクリア「0」にする。
【0099】
飲込カウンタ生成部4251は、前・今回飲込種判定部4246から飲込コード情報Jskiが出力される毎に、飲込計数カウンタ4252を生成する(メモリ)。この飲込計数カウンタ4252には飲込コード情報Jskiを関連付ける。
【0100】
すなわち、飲込が初めての場合は、カウンタ4251は「1」を計数(kei)し、前の飲込から今回の飲込が、所定時刻以内であれば、[1]、[2]、[3]、・・・と計数(kpi)される。
飲込カウンタ生成部4251は、この計数値kei(初めて)に、飲込コード情報Jskiを関連付けて、新規飲込計数値情報Jmei(Jme1、Jme2、・・)としてメモリ4268に記憶する。
【0101】
また、計数値kpi([1]、[2]又は[3]、・・:続けて飲込)の場合は、飲込コード情報Jskiを関連付けて、連続飲込計数値情報Jmpi(Jmp1、Jmp2、・・)としてメモリ4268に記憶する。
嚥下判定用スケール生成部4270は、
図13に示すように、嚥下判定情報用メモリ部4242に記憶された居住者毎嚥下判定用情報JAi(JA1、JA2、・・・)の居住者毎駒画像嚥下判定用情報JAAiを順次、指定する(S101)。
【0102】
そして、この指定に伴って、時間軸スケールSTj(施設毎食事撮影期間AWi(例えば17:00~19:00の範囲)のデータをメモリ4272に生成する(S103)。
この時間軸スケールSTjのデータの生成に伴って、このデータに指定した居住者毎駒画像嚥下判定用情報JAAi(識別コードが好ましい)に関連付けられている居住者情報(施設名、居住者名、年齢、性別、入れ歯の有無、病歴等)を割り付ける(S105)。
【0103】
次に、指定した居住者毎駒画像嚥下判定用情報JAAiに駒食事動作解析結果skiが含まれている場合は、その駒食事動作解析結果skiを読み込む(S107)。
そして、駒食事動作解析結果skiは「変化無し」コードを示しているかどうかを判定する(S109)。
【0104】
ステップS109において、「変化無し」を示していない場合は、駒食事動作解析結果skiに関連付けられている駒画像年月日時刻htmiに該当する時間軸スケールSTjのデータの時刻位置ptiに、その読み込んだ駒食事動作解析結果ski(食事開始、食べ物を取った、口開、口入、飲込、又はコップを口に当てる、・・・)に該当する食事動作種マークMPj(〇、△、●、▽(飲込)・・・:
図2参照)を割り付ける(S113)。
【0105】
そして、時間軸スケールSTjのデータに飲込マークMPeが含まれているかどうかを判定する(S115)。
ステップS115において、時間軸スケールSTjに飲込マークMPeが含まれていると判定した場合は、指定した居住者毎駒画像嚥下判定用情報JAAi(識別コード)を有する連続飲込計数値情報Jmpi(Jmp1、Jmp2、・・)又は新規飲込計数値情報Jmeiをメモリ4268から引き当(読み込む)てる(S220)。
【0106】
そして、この連続飲込計数値情報Jmpi(Jmp1、Jmp2、・・)又は新規飲込計数値情報Jmeiに含まれている居住者毎駒画像嚥下判定用情報JAAi(識別コード)の飲込マークMPeのデータに対して、連続飲込計数値情報Jmpi(Jmp1、Jmp2、・・)の計数値kpi([1]、[2]又は[3]、・・:続けて飲込)又は、新規飲込計数値情報Jmeiの計数値kei([1]:初めて)を割り付ける(S222)。
【0107】
なお、咀嚼を示す食事動作種マークMPjは、
図2又は
図14(a)に示す●印(咀嚼食事動作種マークMPni)であっても構わないが、
図14(b)に示す横型の動く動作を示す横型検索動画バーMPni´(数字は咀嚼回数である)が好ましい。
【0108】
さらに、飲込を示す食事動作種マークMPjは、
図2に示す▽印(飲込食事動作種マークMPe)であっても構わないが、
図14(a)、
図14(b)に示す縦型の動く動作を示す縦型検索動画バーPeiが好ましい。
【0109】
そして、居住者毎駒画像嚥下判定用情報JAAi(識別コード)が他にあるかどうかを判定する(S117)。ステップS117において、居住者毎駒画像嚥下判定用情報JAAi(識別コード)が他にあると判定した場合は、居住者毎駒画像嚥下判定用情報JAAi(識別コード)を次のものに更新して処理をステップS107に戻す(S119)。
【0110】
また、ステップS117において、居住者毎駒画像嚥下判定用情報JAAi(識別コード)が他にないと判定した場合は、居住者毎嚥下判定用情報JAi(識別コード)が他にあるかどうかを判定する(S211)。
ステップS211において、居住者毎嚥下判定用情報JAi(識別コード)が他にあると判定した場合は、居住者毎嚥下判定用情報JAi(識別コード)を次のものに更新して処理をステップS101に戻す(S213)。
【0111】
一方、ステップS109において、指定した居住者毎駒画像嚥下判定用情報JAAiに駒食事動作解析結果skiが「変化無し」を示している場合は、居住者毎駒画像嚥下判定用情報JAAiの駒画像年月日時刻htmiに該当する時間軸スケールSTjのデータの時刻位置pti(レコード位置)をスキップして処理をステップS117に戻す(S110)。
【0112】
すなわち、メモリ660には、時間軸スケールSTjのデータを羅列した嚥下判定用時間軸スケール表元情報Roi(居住者毎駒画像嚥下判定用情報識別コード、駒画像年月日時刻htmi、駒食事動作解析結果ski、マークコード等のデータ列)がメモリ4272に生成される。
なお、咀嚼を示す、
図14(b)に示す横型の動く動作を示す横型検索動画バーMPni´(数字は咀嚼回数である)の場合において、初めての咀嚼の場合は、
図15に示すように、横型検索動画バーPn1´(数字は咀嚼回数である)のデータが生成される。
【0113】
また、
図14(a)、
図14(b)に示す縦型の動く動作を示す縦型検索動画バーPei´を用いている場合は、
図15に示す縦型検索動画バーPe1´、Pe2´、Pe3´が生成され、かつ飲込回数([1]、[2]、[3])が割り付けられたデータが生成される。
また、時間軸スケールSTjのデータに関連付けられているストリーム識別コード又は切り出しファイル識別コードの画像を嚥下判定用時間軸スケール表元情報Roiに関連付ける。
【0114】
一方、医療関係者は、医療関係者端末50を操作して、嚥下判定用情報提供サイト40にアクセスして、医療関係者嚥下判定用要求画面(図示せず)の提供を受け、この画面に、施設名、医療関係者名、閲覧期間、年齢層、性別、食事名(朝、昼又は夕食)等(以下、総称して医療関係者要求情報と称する)を入力して嚥下判定用情報提供サイト40に送信する(d42)。
【0115】
嚥下判定用情報提供サイト40の嚥下判定用情報提供サーバ42は、医療関係者要求情報を受信する毎に、医療関係者要求情報に含まれている医療関係者名が閲覧許可医療関係者の場合は、施設名、閲覧期間、食事名(朝、昼又は夕食)を有する全ての嚥下判定用時間軸スケール表元情報Roiをメモリ4272から読み込んでその医療関係者端末50に送信して閲覧させる(d44)。
【0116】
このとき、画像も送信する。医療関係者端末50に送信して
図2又は
図15に示す嚥下判定用時間軸スケール表Riを表示させる(d44、d45)。このとき、
図2又は
図15に示すように表示させる制御データを含めて送信している。
【0117】
一方、施設担当者は、施設担当者端末30を操作して、嚥下判定用情報提供サイト40にアクセスして、施設担当者嚥下判定用要求画面(図示せず)の提供を受け、この画面に、施設名、施設担当者名、閲覧期間、年齢層、性別、食事名(朝、昼又は夕食)等(以下、総称して施設担当者要求情報と称する)を入力して嚥下判定用情報提供サイト40に送信する(d46)。
【0118】
嚥下判定用情報提供サイト40の嚥下判定用情報提供サーバ42は、施設担当者要求情報を受信する毎に、施設担当者要求情報に含まれている施設担当者名が閲覧許可施設担当者の場合は、施設名、閲覧期間、食事名(朝、昼又は夕食)を有する全ての嚥下判定用時間軸スケール表元情報Roiをその施設担当者端末30に送信して(d48)、
図2、
図15に示す嚥下判定用時間軸スケール表Riを表示させる(d50)。このとき、
図2、
図15に示すように表示させる制御データを含めて送信している。
【0119】
従って、嚥下判定用時間軸スケール表Ri(嚥下機能低下判定用時間軸スケール表
ともいう)の各々の時間軸スケールSTjには、食事開始、食品をとる、口入、咀嚼、よだれ、飲み込み、・・食事終了が時系列で表示されるので、食事に時間がかかるか、どのような間隔の食事動作で食事を行っているのかが分かる。
【0120】
また、画面には
図15に示すように、食事開始(▲)、食べ物を取る(◎)、口入(◎)、咀嚼を示す横型検索動画バーPni´、飲込を示す縦型検索動画バーPe1´、Pe2´、Pe3´が表示され、かつ飲込回数([1]、[2]、[3])が割り付けられた嚥下判定用時間軸スケール表Riが表示され、さらに、居住者の食事中の画像が表示される(駒画像)。なお、
図15に示す縦線Qiは移動可能であり、その位置が判定した食事動作及び駒画像と対応する。さらに、複数の場合の表示を
図16に示す。従って、誰が嚥下傾向にあるかを容易に判定できる。
【0121】
また、医療関係者端末又は施設担当者端末に居住者毎切出駒画像Keiを表示させて、この画像に基づいて、医療関係者又は施設担当者が「食事開始」、「食べ物を取る」、「口開」、「咀嚼」、「飲込」、「口溢れ」・・・「食事終了」を入力して上記の食事動作駒解析結果情報SJiを生成して、居住者毎嚥下判定画像付き情報JCiとして嚥下判定用情報提供サイト40に送信してもよい。
【符号の説明】
【0122】
14i 食事動作撮影用カメラ
16i 食事用テーブル
20 介護施設内サーバ
21 配膳撮影用カメラ
40 嚥下判定用情報提供サイト
422 食事メニュー画像情報転送部
423 食事中画像転送部
424 閲覧用嚥下判定データ生成処理部
4242 嚥下判定情報用メモリ部
4244 取った食べ物種抽出部
4246 前・今回取った食べ物種判定部
4248 飲込種抽出部
Aj 施設
Bi 居住者
Hai 食事中撮影ストリーム
HA 解析用食事中撮影ストリーム
STj 時間軸スケール