(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023068234
(43)【公開日】2023-05-17
(54)【発明の名称】排泄物画像表示システムおよび便器
(51)【国際特許分類】
E03D 9/00 20060101AFI20230510BHJP
E03D 5/10 20060101ALI20230510BHJP
A47K 17/00 20060101ALI20230510BHJP
E03D 9/08 20060101ALI20230510BHJP
G06T 7/00 20170101ALI20230510BHJP
H04N 7/18 20060101ALI20230510BHJP
H04N 23/60 20230101ALI20230510BHJP
【FI】
E03D9/00 Z
E03D5/10
A47K17/00
E03D9/08 A
G06T7/00 350B
G06T7/00 612
H04N7/18 K
H04N5/232 290
H04N5/232 300
【審査請求】未請求
【請求項の数】15
【出願形態】OL
(21)【出願番号】P 2021179118
(22)【出願日】2021-11-02
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】100106116
【弁理士】
【氏名又は名称】鎌田 健司
(74)【代理人】
【識別番号】100131495
【弁理士】
【氏名又は名称】前田 健児
(72)【発明者】
【氏名】渡邉 優
(72)【発明者】
【氏名】河合 雅弘
【テーマコード(参考)】
2D037
2D038
2D039
5C054
5C122
5L096
【Fターム(参考)】
2D037EA01
2D038KA03
2D038KA08
2D039AA02
2D039DB00
2D039FA09
2D039FB01
5C054FC03
5C054FC07
5C054FC12
5C054FC14
5C054FE05
5C054GB01
5C054GB05
5C054GB13
5C122DA25
5C122EA06
5C122FB03
5C122FC00
5C122FH14
5C122GA01
5C122GA23
5C122GC14
5C122GC36
5C122HA46
5C122HB01
5C122HB05
5C122HB09
5L096BA06
5L096DA02
5L096HA09
5L096KA04
5L096MA03
(57)【要約】
【課題】従来の排泄における画像認識アルゴリズムにおいて、便器内に残った汚れと実際の排便、特に少量の排便を見分けて汚れを正確に検知することは難しい。また、介護施設等において、便器の汚れを排便があったと誤検知して通知することで介護者は被介護者への投薬判断を誤る可能性がある。
【解決手段】本開示の排泄物画像表示システムによれば、便器汚れ、レンズカバー汚れを考慮した判定アルゴリズムとすることで排泄物の性状を正確に判定することができる。または便器および撮像素子のレンズが汚れていることをユーザー(例:被介護者)の便の閲覧者(例:介護職員)に通知することで便鉢内の清掃を促し、排泄物の性状検知をより正確に行えるようにする。
【選択図】
図10
【特許請求の範囲】
【請求項1】
排泄物の状態を表示部に表示させる排泄物画像表示システムであって、
前記排泄物画像表示システムは、
便器、
サーバ、および
前記表示部を具備するユーザー側情報処理装置
を具備し、
ここで、
前記便器は、便座、撮像素子、および便器側情報処理装置を具備し、
前記撮像素子は、受光部、レンズ、および前記レンズを保護するレンズカバーを具備し、
前記便器側情報処理装置は、便器側データ送信部および便器側制御部を具備し、
前記サーバは、サーバ側受信部、サーバ側送信部、サーバ側記憶部、およびサーバ側制御部を具備し、
前記サーバ側記憶部は、
(I) 排泄物学習モデル、および
(II) 便器汚れ学習モデルおよびレンズカバー汚れ学習モデルからなる群から選択される少なくとも1つの汚れ学習モデル
を記憶しており、
かつ
前記ユーザー側情報処理装置は、ユーザー側入力部、ユーザー側送信部、ユーザー側受信部、ユーザー側記憶部、およびユーザー側制御部をさらに具備し、
前記排泄物画像表示システムでは、
前記撮像素子が便器内を撮像するように、前記便器側制御部は前記撮像素子を制御し、
前記撮像素子により撮像された撮像画像を撮像画像情報として前記サーバに送信するように前記便器側制御部は前記便器側データ送信部を制御し、
前記撮像画像情報を受信するように、前記サーバ側制御部は前記サーバ側受信部を制御し、
前記排泄物学習モデルに基づいて、前記サーバ側制御部は、前記排泄物の情報を、排泄物推定情報として、前記受信された撮像画像情報に含まれている少なくとも1つの撮像画像から推定し、
前記少なくとも1つの汚れ学習モデルに基づいて、前記サーバ側制御部は、前記便器の内壁面に付着した便器汚れの情報および前記レンズカバーの外周面に付着したレンズカバー汚れの情報からなる群から選択される少なくとも1つの情報を、汚れ推定情報として、前記受信された撮像画像情報に含まれている少なくとも1つの撮像画像から推定し、
第1データおよび第2データからなる群から選択される少なくとも1つのデータを、前記ユーザー側受信部に送信するように、前記サーバ側制御部は前記サーバ側送信部を制御し、
ここで、
前記第1データは、前記排泄物推定情報および前記少なくとも1つの撮像画像を含み、
前記第2データは、前記汚れ推定情報および前記少なくとも1つの撮像画像を含み、
前記少なくとも1つのデータを受信するように、前記ユーザー側制御部は前記ユーザー側受信部を制御し、
前記ユーザー側受信部によって受信された前記少なくとも1つのデータを前記表示部に表示するように、前記ユーザー側制御部は前記表示部を制御すること
が実行される、排泄物画像表示システム。
【請求項2】
前記少なくとも1つの汚れ学習モデルが前記便器汚れ学習モデルを含み、かつ
前記汚れ推定情報が、前記便器の内壁面に付着した便器汚れの情報である、
請求項1に記載の排泄物画像表示システム。
【請求項3】
前記少なくとも1つの汚れ学習モデルが前記レンズカバー汚れ学習モデルを含み、かつ
前記汚れ推定情報が、前記レンズカバーの外周面に付着したレンズカバー汚れの情報である、
請求項1に記載の排泄物画像表示システム。
【請求項4】
前記ユーザー側受信部によって受信された前記少なくとも1つのデータを前記表示部に表示する際、表示される画像には、前記画像に含まれる排泄物の画像および前記汚れの画像が撮像された領域に画像処理によってモザイクがかけられている、
請求項1に記載の排泄物画像表示システム。
【請求項5】
前記ユーザー側受信部によって受信された前記少なくとも1つのデータを前記表示部に表示する際、表示される画像には、前記画像に含まれる排泄物の画像および前記汚れの画像のいずれもが、排泄物および汚れのいずれをも含まない画像に置き換えられている、
請求項1に記載の排泄物画像表示システム。
【請求項6】
ユーザー側情報処理装置に含まれるユーザー側受信部によって受信されたデータを、前記ユーザー側情報処理装置に含まれる表示部に表示させる便座であって、
前記便座は、撮像素子および情報処理装置を具備し、
前記撮像素子は、受光部、レンズ、および前記レンズを保護するレンズカバーを具備し、
前記情報処理装置は、便座側送信部、便座側記憶部、および便座側制御部を具備し、
前記便座側記憶部は、
(I) 排泄物学習モデル、および
(II) 便器汚れ学習モデルおよびレンズカバー汚れ学習モデルからなる群から選択される少なくとも1つの汚れ学習モデル
を記憶しており、
かつ
前記ユーザー側情報処理装置は、ユーザー側受信部をさらに具備し、
前記情報処理装置では、動作時に、
前記撮像素子が便器内を撮像するように前記便座側制御部は前記撮像素子を制御することによって前記便座側制御部は前記撮像画像情報を生成し、
前記排泄物学習モデルに基づいて、前記便座側制御部は、排泄物の情報を、排泄物推定情報として、前記撮像画像情報に含まれている少なくとも1つの撮像画像から推定し、
前記少なくとも1つの汚れ学習モデルに基づいて、前記便座側制御部は、前記便器の内壁面に付着した便器汚れの情報および前記レンズカバーの外周面に付着したレンズカバー汚れの情報からなる群から選択される少なくとも1つの情報を、汚れ推定情報として、前記撮像画像情報に含まれている少なくとも1つの撮像画像から推定し、
第1データおよび第2データからなる群から選択される少なくとも1つのデータを、前記ユーザー側受信部に送信するように、前記サーバ側制御部は前記サーバ側送信部を制御し、
ここで、
前記第1データは、前記排泄物推定情報および前記少なくとも1つの撮像画像を含み、
前記第2データは、前記汚れ推定情報および前記少なくとも1つの撮像画像を含む、
便座。
【請求項7】
前記少なくとも1つの汚れ学習モデルが前記便器汚れ学習モデルを含み、かつ
前記汚れ推定情報が、前記便器の内壁面に付着した便器汚れの情報である、
請求項6に記載の便座。
【請求項8】
前記少なくとも1つの汚れ学習モデルが前記レンズカバー汚れ学習モデルを含み、かつ
前記汚れ推定情報が、前記レンズカバーの外周面に付着したレンズカバー汚れの情報である、
請求項6に記載の便座。
【請求項9】
前記ユーザー側受信部によって受信された前記少なくとも1つのデータを前記表示部に表示する際、表示される画像には、前記画像に含まれる排泄物の画像および前記汚れの画像が撮像された領域に画像処理によってモザイクがかけられている、
請求項6に記載の便座。
【請求項10】
前記ユーザー側受信部によって受信された前記少なくとも1つのデータを前記表示部に表示する際、表示される画像には、前記画像に含まれる排泄物の画像および前記汚れの画像のいずれもが、排泄物および汚れのいずれをも含まない画像に置き換えられている、
請求項6に記載の便座。
【請求項11】
排泄物の状態を表示部に表示させる排泄物画像表示システムを作動させるためのプログラムであって、
前記排泄物画像表示システムは、
便器、
サーバ、および
前記表示部を具備するユーザー側情報処理装置
を具備し、
ここで、
前記便器は、便座、撮像素子、および便器側情報処理装置を具備し、
前記撮像素子は、受光部、レンズ、および前記レンズを保護するレンズカバーを具備し、
前記便器側情報処理装置は、便器側データ送信部および便器側制御部を具備し、
前記サーバは、サーバ側受信部、サーバ側送信部、サーバ側記憶部、およびサーバ側制御部を具備し、
前記サーバ側記憶部は、
(I) 排泄物学習モデル、および
(II) 便器汚れ学習モデルおよびレンズカバー汚れ学習モデルからなる群から選択される少なくとも1つの汚れ学習モデル
を記憶しており、
かつ
前記ユーザー側情報処理装置は、ユーザー側入力部、ユーザー側送信部、ユーザー側受信部、ユーザー側記憶部、およびユーザー側制御部をさらに具備し、
前記プログラムは、
前記撮像素子が便器内を撮像するように、前記便器側制御部は前記撮像素子を制御し、
前記撮像素子により撮像された撮像画像を撮像画像情報として前記サーバに送信するように前記便器側制御部は前記便器側データ送信部を制御し、
前記撮像画像情報を受信するように、前記サーバ側制御部は前記サーバ側受信部を制御し、
前記排泄物学習モデルに基づいて、前記サーバ側制御部は、前記排泄物の情報を、排泄物推定情報として、前記受信された撮像画像情報に含まれている少なくとも1つの撮像画像から推定し、
前記少なくとも1つの汚れ学習モデルに基づいて、前記サーバ側制御部は、前記便器の
内壁面に付着した便器汚れの情報および前記レンズカバーの外周面に付着したレンズカバー汚れの情報からなる群から選択される少なくとも1つの情報を、汚れ推定情報として、前記受信された撮像画像情報に含まれている少なくとも1つの撮像画像から推定し、
第1データおよび第2データからなる群から選択される少なくとも1つのデータを、前記ユーザー側受信部に送信するように、前記サーバ側制御部は前記サーバ側送信部を制御し、
ここで、
前記第1データは、前記排泄物推定情報および前記少なくとも1つの撮像画像を含み、
前記第2データは、前記汚れ推定情報および前記少なくとも1つの撮像画像を含み、
前記少なくとも1つのデータを受信するように、前記ユーザー側制御部は前記ユーザー側受信部を制御し、
前記ユーザー側受信部によって受信された前記少なくとも1つのデータを前記表示部に表示するように、前記ユーザー側制御部は前記表示部を制御すること
が実行する、プログラム。
【請求項12】
前記少なくとも1つの汚れ学習モデルが前記便器汚れ学習モデルを含み、かつ
前記汚れ推定情報が、前記便器の内壁面に付着した便器汚れの情報である、
請求項11に記載のプログラム。
【請求項13】
前記少なくとも1つの汚れ学習モデルが前記レンズカバー汚れ学習モデルを含み、かつ
前記汚れ推定情報が、前記レンズカバーの外周面に付着したレンズカバー汚れの情報である、
請求項1に記載のプログラム。
【請求項14】
前記ユーザー側受信部によって受信された前記少なくとも1つのデータを前記表示部に表示する際、表示される画像には、前記画像に含まれる排泄物の画像および前記汚れの画像が撮像された領域に画像処理によってモザイクがかけられている、
請求項1に記載のプログラム。
【請求項15】
前記ユーザー側受信部によって受信された前記少なくとも1つのデータを前記表示部に表示する際、表示される画像には、前記画像に含まれる排泄物の画像および前記汚れの画像のいずれもが、排泄物および汚れのいずれをも含まない画像に置き換えられている、
請求項1に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、排泄物画像表示システムおよび便器に関する。
【背景技術】
【0002】
特許文献1に開示されているように、排泄における便器内を撮像した対象画像をニューラルネットワークを用いた機械学習等によって学習したモデルに前記画像情報を入力することで撮像装置または撮像環境に起因する汚れが撮像されているか否かの判定を行う判定装置は存在する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の排泄における画像認識アルゴリズムにおいて、便器内に残った汚れと実際の排便、特に少量の排便を見分けて汚れを正確に検知することは難しい。また、介護施設等において、便器の汚れを排便があったと誤検知して通知することで介護者は被介護者への投薬判断を誤る可能性がある。
【課題を解決するための手段】
【0005】
本開示による排泄物画像表示システムは、
排泄物の状態を表示部に表示させる排泄物画像表示システムであって、
前記排泄物画像表示システムは、
便器、
サーバ、および
前記表示部を具備するユーザー側情報処理装置
を具備し、
ここで、
前記便器は、便座、撮像素子、および便器側情報処理装置を具備し、
前記撮像素子は、受光部、レンズ、および前記レンズを保護するレンズカバーを具備し、
前記便器側情報処理装置は、便器側データ送信部および便器側制御部を具備し、
前記サーバは、サーバ側受信部、サーバ側送信部、サーバ側記憶部、およびサーバ側制御部を具備し、
前記サーバ側記憶部は、
(I) 排泄物学習モデル、および
(II) 便器汚れ学習モデルおよびレンズカバー汚れ学習モデルからなる群から選択される少なくとも1つの汚れ学習モデル
を記憶しており、
かつ
前記ユーザー側情報処理装置は、ユーザー側入力部、ユーザー側送信部、ユーザー側受信部、ユーザー側記憶部、およびユーザー側制御部をさらに具備し、
前記排泄物画像表示システムでは、
前記撮像素子が便器内を撮像するように、前記便器側制御部は前記撮像素子を制御し、
前記撮像素子により撮像された撮像画像を撮像画像情報として前記サーバに送信するように前記便器側制御部は前記便器側データ送信部を制御し、
前記撮像画像情報を受信するように、前記サーバ側制御部は前記サーバ側受信部を制御し、
前記排泄物学習モデルに基づいて、前記サーバ側制御部は、前記排泄物の情報を、排泄物推定情報として、前記受信された撮像画像情報に含まれている少なくとも1つの撮像画像から推定し、
前記少なくとも1つの汚れ学習モデルに基づいて、前記サーバ側制御部は、前記便器の内壁面に付着した便器汚れの情報および前記レンズカバーの外周面に付着したレンズカバー汚れの情報からなる群から選択される少なくとも1つの情報を、汚れ推定情報として、前記受信された撮像画像情報に含まれている少なくとも1つの撮像画像から推定し、
第1データおよび第2データからなる群から選択される少なくとも1つのデータを、前記ユーザー側受信部に送信するように、前記サーバ側制御部は前記サーバ側送信部を制御し、
ここで、
前記第1データは、前記排泄物推定情報および前記少なくとも1つの撮像画像を含み、
前記第2データは、前記汚れ推定情報および前記少なくとも1つの撮像画像を含み、
前記少なくとも1つのデータを受信するように、前記ユーザー側制御部は前記ユーザー側受信部を制御し、
前記ユーザー側受信部によって受信された前記少なくとも1つのデータを前記表示部に表示するように、前記ユーザー側制御部は前記表示部を制御すること
が実行される。
【発明の効果】
【0006】
本開示の排泄物画像表示システムによれば、便器汚れおよびレンズカバー汚れからなる群から選択される少なくとも1つの汚れを考慮した判定アルゴリズムとすることで排泄物の性状を正確に判定することができる。または便器が汚れていることをユーザー(例:被介護者)の便の閲覧者(例:介護職員)に通知することで便鉢内の清掃を促し、排泄物の性状検知をより正確に行えるようにする。
【図面の簡単な説明】
【0007】
【
図2A】実施の形態1における排泄物画像表示システムに含まれる便座2およびサーバ101を含むブロック図
【
図2B】実施の形態1における排泄物画像表示システムに含まれる便座2およびサーバ101を含むブロック図
【
図4】実施の形態1におけるユーザー側情報処理装置201の図
【
図5】実施の形態1におけるユーザー側情報処理装置201の図
【
図6】実施の形態1におけるユーザー側情報処理装置201の図
【
図7】実施の形態1におけるユーザー側情報処理装置201の図
【
図8】実施の形態1におけるユーザー側情報処理装置201の図
【
図9】実施の形態1におけるユーザー側情報処理装置201の図
【
図12A】実施の形態1におけるマスク画像の概略図
【
図12B】実施の形態1における画像処理で汚れを取り除いた撮像画像の概略図
【
図13A】実施の形態1における撮像画像情報の概略図
【
図13B】実施の形態1における撮像画像情報の概略図
【
図13C】実施の形態1における撮像画像情報の概略図
【発明を実施するための形態】
【0008】
(実施の形態1)
図1Aは、実施の形態1における排泄装置図である。
【0009】
図2Aは、実施の形態1における排泄物画像表示システム(以下、単に「システム」という)に含まれる便座2およびサーバ101を含むブロック図である。
【0010】
(概要の説明)
図1Aおよび
図2Aに示されるように、排泄を行うための装置である便器1は、便鉢、便座2、撮像素子4、および便器側情報処理装置5を有している。便器側情報処理装置5には、機器固有のID(すなわち、便器1に固有のID)が割り振られている。また、便座2にはユーザーが便座2に着座したことを検知する着座センサ3が設けられている。便座2は、便器内を撮像するための撮像素子4を具備している。撮像素子4の一例は、カメラである。便器側情報処理装置5の例は、ICまたはLSIのような半導体素子(すなわち、電気電子回路)である。
【0011】
図1Bに示されるように、撮像素子4は便座2の内部に配置されている。撮像素子4は、イメージセンサからなる受光部(図示せず)、レンズ42、およびレンズカバー43を具備している。レンズカバー43は、レンズ42を保護するために設けられる。撮像素子4は、便座2の内部に設けられる。レンズカバー43は、便座2の下面の一部を構成している。レンズカバー43を通ってレンズ42に到来した光は、レンズ42によって受光部(図示せず)に集められ、電子的な画像情報に変換される。このようにして、便鉢の内部(厳密には、便鉢の内周面)が撮影され、その結果、便器側情報処理装置5によって便鉢の内部の撮像画像502が形成される。
【0012】
実施の形態1によるシステムでは、ユーザー(例:被介護者)の排泄物の画像および排泄物の情報が、後述される表示部202表示される。あるいは、実施の形態1によるシステムでは、(a)ユーザー(例:被介護者)の排泄物の画像および(b)便器汚れおよびレンズカバー汚れからなる群から選択される少なくとも1つの汚れの画像が、表示部202に表示される。
【0013】
図3に示されるように、実施の形態1によるシステムは、便器1、サーバ101、およびユーザー側情報処理装置201を具備している。
【0014】
上記の通り、便器1は、便座2、撮像素子4、着座センサ3、および便器側情報処理装置5を具備している。便器側情報処理装置5は、便器側データ送信部、および便器側制御部を具備している。便器側情報処理装置5は、便器側記憶部を具備していてもよい。
【0015】
サーバ101は、通常用いられるサーバと同様に、サーバ側受信部、サーバ側送信部、サーバ側記憶部、およびサーバ側制御部を具備している。後述されるように、サーバ側記憶部は、排泄物学習モデルを記憶している。
【0016】
サーバ101の例は、インターネット上の一般的なサーバ、介護施設内のサーバ、および自宅内のサーバである。
【0017】
図3に示されるように、ユーザー側情報処理装置201は、表示部202を具備する。ユーザー側情報処理装置201は、ユーザー側入力部、ユーザー側送信部、ユーザー側受信部、ユーザー側記憶部、およびユーザー側制御部をさらに具備している。ユーザー側情報処理装置201の例は、表示部202として機能するディスプレイを具備するパーソナ
ルコンピュータ、タブレット、およびスマートフォーンである。
【0018】
記憶部とは、いわゆるメモリ(特にその中でも不揮発性メモリ)である。制御部とは、いわゆる中央処理演算装置である。
【0019】
(便器1の動作の説明)
図10において工程101(すなわち、S101)によって指し示されるように、ユーザーが便座2に着座したことを検知すると撮像素子4によって便器内の撮像を開始する。このようにして、撮像素子4が便器1の内部(すなわち、便鉢の内部)を撮像するように、便器側制御部は撮像素子4を制御する。
【0020】
便座内部に配置される便器側情報処理装置5は、着座センサ3から着座信号を受け取ると撮像素子4を起動して、ユーザーが便座に着座している間、撮像し続ける。撮像間隔は、指定間隔ごと、ここでは1秒ごととするが、それ以上でも以下でも良い。撮像した画像は便器側情報処理装置5(厳密には、便器側記憶部が設けられる場合には、便器側記憶部)に保存され、画像名には画像を撮影した便座に紐づく機器IDと撮影撮像時刻が記される。また、撮像開始して最初に保存される画像には、その旨が判断できるようなテキストを付加した画像名で保存される。
【0021】
図10において工程102(すなわち、S102)によって指し示されるように、ユーザーが便座2から離座したことを検知すると、撮像を終了し、撮像された画像は便器側情報処理装置5(厳密には、便器側記憶部が設けられる場合には、便器側記憶部)からサーバ101にアップロードされる。このようにして、撮像素子4により撮像された撮像画像を撮像画像情報としてサーバ101に送信するように便器側制御部は便器側データ送信部を制御する。
【0022】
上記のように、実施の形態1によるシステムでは、まず、
図10のS101として指し示されるように、着座センサ3によりユーザーが便座2に着座したことを検出すると、撮像素子4が便器1の内部の撮像を開始するように、便器側制御部は撮像素子4を制御する。
【0023】
次に、撮像素子4により所定時間ごとに撮像された複数の撮像画像502(
図13A~
図13Cを参照)を撮像画像情報501(
図13A~
図13C参照)として便器側記憶部に記憶するように便器側制御部は便器側記憶部を制御する。言い換えれば、時間の経過とともに、撮像素子4からの撮像画像502が便器側記憶部に順次蓄積されることにより、撮像画像情報501が便器側記憶部に形成される。
図13A~
図13Cに示されるように、撮像画像情報501は、複数の撮像画像502および各々の複数の撮像画像502のテキスト503を含む。テキスト503は、機器IDと撮像時刻を含む。
【0024】
次に、
図10のS102として指し示されるように、撮像画像情報501をサーバ101に送信するように、便器側制御部は便器側データ送信部を制御する。より詳細には、S102では、撮像素子4により撮像された撮像画像502を撮像画像情報501としてサーバ101に送信するように便器側制御部は便器側データ送信部を制御し、かつ撮像画像情報501を受信するように、サーバ側制御部はサーバ側受信部を制御する。
【0025】
最後に、着座センサ3によりユーザーが便座2から離座することを検出すると、撮像素子4に便器1の内部の撮像を停止させるように便器側制御部は撮像素子4を制御する。
【0026】
なお、便器側情報処理装置5は便器側記憶部を具備しなくてもよい。すなわち、撮像素子4が便器1の内部(厳密には便鉢の内部)を撮像している間に、便器側情報処理装置5
は、撮像素子4が撮像した撮像画像502を直ちにサーバ101に送信してもよい。この場合、サーバ側制御部が撮像画像情報501を生成し、生成された撮像画像情報501をサーバ側記憶部に記憶させる。
【0027】
本実施の形態では、各撮像画像502は、便器(より正確には、便鉢)の内壁面に付着した汚れ(特に便鉢の内周面に付着した大便、その中でも便鉢の内周面に付着して水を流しても取れない大便)の画像およびレンズカバー43の外周面に付着した汚れの画像も含み得る。以下、本明細書では、便器(より正確には、便鉢)の内壁面に付着した汚れを、単に「便器汚れ」という。同様に、レンズカバー43の外周面に付着した汚れを、単に「レンズカバー汚れ」という。本明細書において用いられる用語「汚れ」は、便器汚れおよびレンズカバー汚れからなる群から選択される少なくとも1つを含む。
【0028】
各撮像画像502は、便器汚れおよびレンズカバー汚れからなる群から選択される少なくとも1つ汚れの画像も含み得るので、当然、撮像画像情報501もまた、便器汚れおよびレンズカバー汚れからなる群から選択される少なくとも1つの汚れの画像も含み得る。なぜなら、上記の説明から明らかなように、撮像画像情報501は、複数の撮像画像502を含むからである。
【0029】
(サーバ101における画像認識の説明)
図3は、実施の形態1におけるシステムのブロック図である。
【0030】
図3において、サーバ101は、入力された画像、学習部102、認識部103、データベース110を有する。
【0031】
ユーザー側情報処理装置201は、表示部202および誤判定修正部203を有する。
【0032】
学習部102は、あらかじめ、排泄物の画像を多数取り込み、それらの画像から特徴抽出を行い、その特徴に反応できる排泄物学習モデルを生成する。生成された排泄物学習モデルは、排泄物学習モデルとして、サーバ側記憶部に記憶される。
【0033】
同様に、学習部102は、あらかじめ、便器(より正確には、便鉢)の内壁面に付着した汚れ(特に便鉢の内周面に付着した大便、その中でも便鉢の内周面に付着して水を流しても取れない大便)の画像を多数取り込み、それらの画像から特徴抽出を行い、その特徴に反応できる便器汚れ学習モデルを生成する。生成された便器汚れ学習モデルは、便器汚れ学習モデルとして、サーバ側記憶部に記憶される。
【0034】
同様に、学習部102は、あらかじめ、レンズカバー43の外周面に付着した汚れの画像(すなわち、レンズカバー43の外周面に汚れが付着したときに撮像素子4によって撮像された画像)を多数取り込み、それらの画像から特徴抽出を行い、その特徴に反応できるレンズカバー汚れ学習モデルを生成する。生成されたレンズカバー汚れ学習モデルは、レンズカバー汚れ学習モデルとして、サーバ側記憶部に記憶される。
【0035】
以下、用語「少なくとも1つの汚れ学習モデル」は、便器学習モデルおよびレンズカバー汚れ学習モデルからなる群から選択される少なくとも1つを意味する。
【0036】
認識部103は、排泄物学習モデルおよび少なくとも1つの汚れ学習モデルを搭載した認識アルゴリズムを有する。認識部103は、入力された排泄物の画像(すなわち、撮像画像情報501、より詳細には、撮像画像情報501に含まれる複数の撮像画像502)から、排泄物および汚れを認識し、それらの認識結果を出力する。
【0037】
データベース110は、認識結果(例えば、排泄物の有無、形状、量、色、落下回数、便器汚れ、レンズカバー汚れなど)を保存する。データベース110は、サーバ側記憶部に含まれている。
【0038】
サーバ側受信部により受信された撮像画像情報501は、いったん、サーバ側記憶部に記憶される。次いで、認識部103によって、撮像画像情報501(詳細には、撮像画像情報501に含まれる少なくとも1つの撮像画像502)を元に排泄物の性状(一例として、後述されるブリストルスケール指標7分類からなる群から選択されるいずれか1つの大便の性状)が認識され、その結果が認識部103から出力される。出力された結果は、排泄物推定情報としてデータベース110(すなわち、サーバ側記憶部)に記憶される。
【0039】
同様に、認識部103によって、撮像画像情報501を元に便器汚れおよびレンズカバー汚れからなる群から選択される少なくとも1つの汚れが認識され、その結果が認識部103から出力される。出力された結果は、汚れ推定情報としてデータベース110(すなわち、サーバ側記憶部)に記憶される。
【0040】
以上の説明から明らかなように、排泄物学習モデルに基づいて、サーバ側制御部は、排泄物の情報を、排泄物推定情報として、受信された撮像画像情報501に含まれている少なくとも1つの撮像画像502から推定し、かつ排泄物推定情報および当該少なくとも1つの撮像画像502(すなわち、排泄物推定情報の推定の根拠となった少なくとも1つの撮像画像502)を含むデータ(以下、「第1データ」という)をサーバ側記憶部に記憶するようにサーバ側制御部はサーバ側記憶部を制御する。このことは、
図10において工程201(すなわち、S201)および工程202(すなわち、S202)として指し示される。
【0041】
同様に、便器汚れ学習モデルおよびレンズカバー汚れ学習モデルからなる群から選択される少なくとも1つの汚れ学習モデルに基づいて、サーバ側制御部は、便器汚れおよびレンズカバー汚れからなる群から選択される少なくとも1つの汚れの情報を、汚れ推定情報として、受信された撮像画像情報501に含まれている少なくとも1つの撮像画像502から推定し、かつ汚れ推定情報および当該少なくとも1つの撮像画像502(すなわち、汚れ推定情報の推定の根拠となった少なくとも1つの撮像画像502)を含むデータ(以下、「第2データ」という)をサーバ側記憶部に記憶するようにサーバ側制御部はサーバ側記憶部を制御する。このことは、
図10において工程201(すなわち、S201)および工程202(すなわち、S202)として指し示される。
【0042】
最後に、
図10において工程203(すなわち、S203)として指し示されるように、第1データに排泄物の画像が含まれるとサーバ側制御部によって判定された場合には、第1データをサーバ側記憶部からユーザー側受信部に送信するように、サーバ側制御部はサーバ側送信部を制御し、かつ当該第1データを受信するように、ユーザー側制御部はユーザー側受信部を制御する。
【0043】
同様に、第2データに便器汚れおよびレンズカバー汚れからなる群から選択される少なくとも1つの汚れの画像が含まれるとサーバ側制御部によって判定された場合には、第2データをサーバ側記憶部からユーザー側受信部に送信するように、サーバ側制御部はサーバ側送信部を制御し、かつ当該第2データを受信するように、ユーザー側制御部はユーザー側受信部を制御する。
【0044】
(汚れ検知の説明)
図10において、サーバ101では便器1によってアップロードされた画像は、撮像開始して最初に保存される画像に付加されるテキスト(例えば、
図13Aに「13:05:
00」として表されているテキスト503)を利用して、一回の排泄ごとに分類され、画像群を作成する。撮像画像情報501は排泄物の特徴に反応できる排泄物学習モデルおよび汚れの特徴に反応できる汚れ学習モデルを搭載した認識アルゴリズムに入力され、認識結果、すなわち、排泄情報である排泄物の有無、形状、量、色、落下回数に加えて汚れの有無を出力する。出力された認識結果はデータベース110に保存される。
【0045】
撮像画像情報501に含まれる撮像画像502中に一枚でも排泄物の画像が検知されていれば、排泄物が検知された結果と、その根拠となった撮像画像502を第1データとして選択して、ユーザー側情報処理装置201にその結果およびその撮像画像502を表示する。
【0046】
また、撮像画像情報501に含まれる撮像画像502中に一枚でも汚れの画像が検知された場合も同様に、汚れが検知された結果(すなわち、便器汚れ推定情報)と、その根拠となった撮像画像502を第2データとして選択して、ユーザー側情報処理装置201にその結果およびその撮像画像502を表示する。
【0047】
なお、撮像画像情報501に含まれる複数の撮像画像502中に排泄物または汚れの画像が検知された場合のみ、認識結果(すなわち、排泄物が検知された結果または汚れが検知された結果)およびその根拠となった撮像画像502を選択して、ユーザー側情報処理装置201にその結果およびその撮像画像502を表示しても良い。
【0048】
また、複数の認識結果と画像を選択する場合、全ての結果と画像をユーザー側情報処理装置201に表示しても良いし、代表結果のみを表示しても良い。代表結果は認識結果が持つパラメータである信頼度が高い画像(すなわち、排泄物を検知したときに排泄物である確率が高い画像)、ボケが少ない画像、最も対象物領域が大きく撮影された画像など、種々のパラメータを利用して選定しても良い。
【0049】
図10に示されるように、本実施の形態によるシステムは1つの学習モデルを具備し、かつその1つの学習モデルが排泄物学習モデルおよび汚れ学習モデルを含む。言い換えれば、排泄物画像表示システムは1つの学習モデルを具備し、その1つの学習モデルが、排泄物学習モデルを有する。さらに、その1つの学習モデルは、便器汚れ学習モデルおよびレンズカバー汚れ学習モデルからなる群から選択される少なくとも1つの汚れ学習モデルを有する。
【0050】
上記に代えて、
図11に示されるように、本実施の形態によるシステムは、排泄物学習モデルおよび汚れ学習モデルに対応する2つの学習モデルを具備していても良い。言い換えれば、排泄物画像表示システムは、2以上の学習モデルを具備し、当該2以上の学習モデルに含まれる学習モデルの1つが排泄物学習モデルであり、かつ当該2以上の学習モデルに含まれる学習モデルの他の1つが、便器汚れ学習モデルおよびレンズカバー汚れ学習モデルからなる群から選択される少なくとも1つの汚れ学習モデルであってもよい。
【0051】
いずれにせよ、学習モデルは、サーバ側記憶部に記憶される。
【0052】
また、
図12Aに示されるように、撮像画像情報501を入力して汚れの有無を認識結果として出力するアルゴリズムでは、あらかじめ記憶している汚れのない画像と、撮像画像情報501中の撮影開始直後の画像および水洗直後の画像からなる群から選択される少なくとも1つの画像とを比較することで、画像処理によって画像中の汚れ領域603を抽出して、
図12Aに示されるように、便器内部領域601の水溜り部領域602の中で、汚れ領域603の領域を2値化(すなわち、白黒のみで描画)することにより得られるマスク画像604を作成し、マスク画像604に含まれる汚れ領域603に対応する白い部
分の画素数が指定の閾値以上であれば汚れが有ると判定しても良い。
【0053】
なお、マスク画像604は排泄情報を認識結果として出力するアルゴリズムで排泄物領域を抽出したマスク画像として作成されても良い。
【0054】
また、マスク画像604は排泄情報を認識結果として出力するアルゴリズムにおいて、
図12Bに示すように、汚れ領域603を画像処理によって削除することで排泄情報の認識精度を向上するために利用しても良い。
【0055】
また、マスク画像604はユーザー側情報処理装置201に画像を表示する際、排泄物の領域および汚れ領域603からなる群から選択される少なくとも1つの領域を画像処理によってモザイクをかけたり、または特定のテクスチャなどのような他の画像に置き換えて表示しても良い。これにより排泄物および汚れからなる群から選択される少なくとも1つを直接閲覧したくないユーザーにも撮像画像502の閲覧を促せる。
【0056】
(ユーザー側情報処理装置201における表示の説明)
上記の通り、表示部202には、ユーザーがweb、またはアプリ上でIDとパスワードを入力することで排泄記録を表示することができる。
【0057】
図4は、表示部202に図示される排泄記録の一例を示す。
図4に示されるように、便座2に着座した時間と、いつ排泄があったか、排泄物は便(すなわち、大便)であったか尿(すなわち、小便)であったか、大便であるなら、その時の形状をブリストルスケール指標7分類において、どの分類であるか、大便の色、大便の量、大便落下回数をグラフ205上に図示する。尿であるなら、尿の色、尿量をグラフ205上に図示するように、排泄記録が表示部202に表示される。
【0058】
グラフ205は横軸を0:00:00~23:59:59の時刻とした3段のグラフで構成される。上段には、画像名に記される撮像時刻から便座に座っていた時間を矩形波で表示する。
【0059】
中段には、便尿有無検知によって尿と判定された画像に記される撮像時刻を読み取り、グラフに棒状の図形を表示する。このとき、図形は、尿色判定結果と同じ色で、尿量によって高さを変えて図示しても良いし、
図5に示すように、図形内に尿色、尿量をテキストで表示しても良いし、
図6に示すように、図形の付近で注釈の形でテキストを表示しても良い。
【0060】
さらに、下段には、便尿有無検知によって大便と判定された画像に記される撮像時刻を読み取り、グラフに棒状の図形を表示する。このとき図形は、大便形状認識判定結果を図形内にテキストで表示しても良いし、ブリストルスケール指標を大便の形を模してアイコン化した図形を表示してもよい。また図形は、大便色判定結果と同じ色で、大便量によって高さを変えて図示しても良いし、図形内に大便色、大便量、大便落下回数をテキストで表示しても良いし、図形の付近で注釈の形でテキストを表示しても良い。
【0061】
また、本実施の形態のユーザー側情報処理装置201は、
図7に示すように、グラフ205上に表示された判定結果を表す図形を、クリック、またはタッチすることで、判定結果の根拠となった画像(すなわち、判定結果の根拠となった1つの撮像画像502)を表示することができる。なお、画像は最初からグラフ205上に表示しても良い。このとき表示される画像は、グラフとは別のウィンドウが画像表示エリア206としてポップアップする形で表示しても良いし、
図8に示すように、グラフと同一ウィンドウ内に設けた画像表示エリア206に表示しても良い。
【0062】
このようにして、実施の形態1による排泄物画像表示システムにおいて、排泄物の認識結果(すなわち、排泄物推定情報)が表示部202に表示された場合には、ユーザー(例:被介護者)の排泄物の閲覧者(例:介護職員)は、容易にユーザーの排泄物の有無を認識でき、その結果、容易にユーザーの健康状態を把握できる。
【0063】
同様に、実施の形態1による排泄物画像表示システムにおいて、汚れの認識結果(すなわち、便器汚れの情報およびレンズカバー汚れの情報からなる群から選択される少なくとも1つの汚れ推定情報)が表示部202に表示された場合には、閲覧者(例:介護職員)は、容易に汚れの有無を認識でき、その結果、便鉢内の清掃が促される。
【0064】
図2Bに示されるように、便器側情報処理装置5が認識部103を有していてもよい。言い換えれば、便器側情報処理装置5がサーバ101を兼ねていてもよい。
【0065】
図2Bに示される便座2は、ユーザー側情報処理装置の表示部にデータを表示させる。
【0066】
便座2は、撮像素子4および便器側情報処理装置5を具備している。
【0067】
図2Bに示される便座2では、便器側情報処理装置5は、便座側送信部、便座側記憶部、および便座側制御部を具備している。便座側記憶部は、(I)排泄物学習モデルおよび(II)便器汚れ学習モデルおよびレンズカバー汚れ学習モデルからなる群から選択される少なくとも1つの汚れ学習モデルを記憶している。一方、ユーザー側情報処理装置は、ユーザー側受信部をさらに具備している。
【0068】
図2Bに示される便座2に含まれている便器側情報処理装置5では、動作時に、以下の工程が実行される。
【0069】
まず、撮像素子4が便器内を撮像するように便座側制御部が撮像素子4を制御することによって、便座側制御部は撮像画像情報501を生成する。
【0070】
次に、排泄物学習モデルに基づいて、便座側制御部は、排泄物の情報を、排泄物推定情報として、撮像画像情報501に含まれている少なくとも1つの撮像画像502から推定する。
【0071】
さらに、少なくとも1つの汚れ学習モデルに基づいて、便座側制御部は、便器の内壁面に付着した便器汚れの情報およびレンズカバーの外周面に付着したレンズカバー汚れの情報からなる群から選択される少なくとも1つの情報を、汚れ推定情報として、撮像画像情報501に含まれている少なくとも1つの撮像画像502から推定する。
【0072】
最後に、第1データおよび第2データからなる群から選択される少なくとも1つのデータを、ユーザー側受信部に送信するように、サーバ側制御部はサーバ側送信部を制御する。上記と同様、第1データは、排泄物推定情報および少なくとも1つの撮像画像502(すなわち、排泄物推定情報の推定の根拠となった少なくとも1つの撮像画像502)を含み、かつ第2データは、汚れ推定情報および少なくとも1つの撮像画像502(すなわち、汚れ推定情報の推定の根拠となった少なくとも1つの撮像画像502)を含む。
【0073】
(判定結果の修正の説明)
本実施の形態では、表示部202に表示する判定結果を修正することができる。
図9に示すように、判定結果テキストが入力された判定結果表示ボックス207を備え、判定結果表示ボックス207の横にはプルダウンボックス208を備える。プルダウンボックス
208をクリック、またはタッチすることで判定結果一覧が表示され、ユーザーの確認する判定結果をクリック、またはタッチすることで判定結果表示ボックス207に表示される判定結果を修正する誤判定修正部203を本実施の形態のユーザー側情報処理装置201は有する。この時、グラフ上に表示される判定結果を表す図形も修正内容に則って図示し直される。
【0074】
(制御部のハードウェアについての説明)
本実施形態のシステムは、コンピュータシステムである。コンピュータシステムは、ハードウェアとしてのプロセッサ(すなわち、制御部として機能する中央処理演算装置)及びメモリ(すなわち、記憶部)を主構成とする。サーバ101およびユーザー側情報処理装置においては、メモリ(すなわち、記憶部)に記録されたプログラムをプロセッサ(すなわち、制御部として機能する中央処理演算装置)が実行することによって、本システムが動作する。便器に含まれる便器側情報処理装置においても、メモリ(すなわち、記憶部)に記録されたプログラムをプロセッサ(すなわち、制御部として機能する中央処理演算装置)が実行することによって、本システムが動作する。
【0075】
プログラムは、メモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。プロセッサは、半導体集積回路(IC)又は大規模集積回路(LSI)を含む1ないし複数の電子回路で構成される。ここでいうIC又はLSI等の集積回路は、集積の度合いによって呼び方が異なっており、システムLSI、VLSI(Very Large Scale Integration)、又はULSI(Ultra Large Scale Integration)と呼ばれる集積回路を含む。
【0076】
さらに、LSIの製造後にプログラムされる、FPGA(Field-Programmable Gate Array)、又はLSI内部の接合関係の再構成若しくはLSI内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、1つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、1つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、1以上のプロセッサ及び1以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む1ないし複数の電子回路で構成される。
【産業上の利用可能性】
【0077】
本開示の排泄物画像表示システムは、便器汚れおよびレンズカバー汚れからなる群から選択される少なくとも1つの汚れを考慮した判定アルゴリズムとすることで排泄物の性状を正確に判定する。当該システムは、便器が汚れていることを便器のユーザー(例:被介護者)の排泄物の閲覧者(例:介護職員)に通知することで便鉢内の清掃を促す。清掃が行われた結果、排泄物の性状がより正確に推定される。
【0078】
本開示の排泄物画像表示システムをコンピュータに実行させるプログラムも、本開示の内容に含まれる。
【符号の説明】
【0079】
1 便器
2 便座
3 着座センサ
4 撮像素子
42 レンズ
43 レンズカバー
5 便器側情報処理装置
101 サーバ
102 学習部
103 認識部
110 データベース
201 ユーザー側情報処理装置
202 表示部
205 グラフ
206 画像表示エリア
207 判定結果表示ボックス
208 プルダウンボックス
501 撮像画像情報
502 撮像画像
503 テキスト
601 便器内部領域
602 水溜り部領域
603 汚れ領域
604 マスク画像