(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-01-09
(45)【発行日】2025-01-20
(54)【発明の名称】情報処理システム、情報処理方法、及びプログラム
(51)【国際特許分類】
G01N 33/483 20060101AFI20250110BHJP
G06T 7/00 20170101ALI20250110BHJP
G06V 10/82 20220101ALI20250110BHJP
G16H 50/30 20180101ALI20250110BHJP
G01N 21/27 20060101ALI20250110BHJP
【FI】
G01N33/483 C
G06T7/00 350C
G06V10/82
G16H50/30
G01N21/27 A
(21)【出願番号】P 2024000032
(22)【出願日】2024-01-04
(62)【分割の表示】P 2021176986の分割
【原出願日】2021-10-28
【審査請求日】2024-01-04
(73)【特許権者】
【識別番号】390039985
【氏名又は名称】パラマウントベッド株式会社
(74)【代理人】
【識別番号】100112335
【氏名又は名称】藤本 英介
(74)【代理人】
【識別番号】100101144
【氏名又は名称】神田 正義
(74)【代理人】
【識別番号】100101694
【氏名又は名称】宮尾 明茂
(74)【代理人】
【識別番号】100124774
【氏名又は名称】馬場 信幸
(72)【発明者】
【氏名】冨島 博之
(72)【発明者】
【氏名】三重野 勤
(72)【発明者】
【氏名】山渕 治彦
(72)【発明者】
【氏名】若林 正博
(72)【発明者】
【氏名】掛端 一弘
【審査官】海野 佳子
(56)【参考文献】
【文献】国際公開第2021/024584(WO,A1)
【文献】米国特許出願公開第2021/0035289(US,A1)
【文献】国際公開第2020/172645(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G01N 33/48-33/98
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
トイレの便器における排泄物の排泄範囲を撮像範囲に含めるように設置された撮像装置で撮像された撮像データに対してセマンティックセグメンテーションを用いて画素単位で被撮像物質の分類を実行した
分類結果に基づき、排泄の内容を示す排泄情報を得る排泄情報取得手段と、
前記トイレの使用者を示すトイレ使用者情報を取得するトイレ使用者情報取得手段と、
を備え、
前記分類は、前記排泄物としての便についての、予め定められた複数の便性への分類及び予め定められた複数の便色への分類も含み、
前記分類結果は、前記トイレの使用者が大腸内視鏡検査前の前処置を終了しているか否かを判定した結果を含み、
前記排泄情報と前記トイレ使用者情報をサーバに記録する、
情報処理システム。
【請求項2】
前記トイレ内に設置された人感センサ及び他の撮像装置を備え、
前記トイレ使用者情報取得手段は、前記人感センサが前記トイレの使用者を検知すると前記他の撮像装置で前記トイレの使用者の顔画像を撮影し、前記顔画像に基づき前記トイレ使用者情報を取得する、
請求項1に記載の情報処理システム。
【請求項3】
前記トイレの使用者が所持する無線通信タグと通信する無線通信部を備え、
前記トイレ使用者情報取得手段は、前記無線通信部を介して前記無線通信タグから前記トイレ使用者情報を取得する、
請求項1に記載の情報処理システム。
【請求項4】
トイレの便器における排泄物の排泄範囲を撮像範囲に含めるように設置された撮像装置で撮像された撮像データに対してセマンティックセグメンテーションを用いて画素単位で被撮像物質の分類を実行した
分類結果に基づき、排泄の内容を示す排泄情報を取得し、
前記トイレの使用者を示すトイレ使用者情報を取得し、
前記排泄情報と前記トイレ使用者情報をサーバに記録
し、
前記分類は、前記排泄物としての便についての、予め定められた複数の便性への分類及び予め定められた複数の便色への分類も含み、
前記分類結果は、前記トイレの使用者が大腸内視鏡検査前の前処置を終了しているか否かを判定した結果を含む、
情報処理方法。
【請求項5】
コンピュータに、
トイレの便器における排泄物の排泄範囲を撮像範囲に含めるように設置された撮像装置で撮像された撮像データに対してセマンティックセグメンテーションを用いて画素単位で被撮像物質の分類を実行した
分類結果に基づき、排泄の内容を示す排泄情報を取得し、
前記トイレの使用者を示すトイレ使用者情報を取得し、
前記排泄情報と前記トイレ使用者情報をサーバに記録する、
処理であって、
前記分類は、前記排泄物としての便についての、予め定められた複数の便性への分類及び予め定められた複数の便色への分類も含み、
前記分類結果は、前記トイレの使用者が大腸内視鏡検査前の前処置を終了しているか否かを判定した結果を含む、
処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、排泄物分析装置、排泄物分析方法、及びプログラムに関する。
【背景技術】
【0002】
介護現場において排泄介助を行う介護士は、要介護者の尊厳を維持しつつ、要介護者の失禁を減らし、自立支援を促すことが求められている。介護現場における排泄介助は、場合によって要介護者の尊厳を傷付ける可能性が含まれているため、介護士は多くの負担を強いられることになり、業務の負荷軽減のための支援が求められている。
【0003】
このような支援を行うために、トイレにセンサを設置し、センサによって取得したデータを分析することにより、トイレの使用者の排泄を管理する仕組みが提案されている。例えば、特許文献1には、機械学習を用いた排泄物に関する解析において、装置コストの上昇を低減することを目的とした判定装置が記載されている。
【0004】
特許文献1に記載の判定装置は、画像情報取得部と、前処理部と、推定部と、判定部と、を備える。前記画像情報取得部は、便に関する判定事項を判定する対象となる対象画像であり、排泄後における便鉢の内部空間を撮像した対象画像の画像情報を取得する。前記前処理部は、前記対象画像の全体を示す全体画像、及び前記対象画像の一部の領域を示す部分画像を生成する。前記推定部は、排泄後における便鉢の内部空間の全体を示す画像である学習用全体画像と、前記判定事項のうち大局的な第1判定事項の判定結果との対応関係を、ニューラルネットワークを用いた機械学習により学習した学習済みモデルに前記全体画像を入力させる。前記推定部は、これにより、前記全体画像について前記第1判定事項に関する第1推定を行う。前記推定部は、前記学習用全体画像の一部の領域である学習用部分画像と、前記判定事項のうち前記第1判定事項より詳細な第2判定事項との対応関係を、ニューラルネットワークを用いた機械学習により学習した学習済みモデルに、前記部分画像を入力させる。前記推定部は、これにより、前記部分画像について前記第2判定事項に関する第2推定を行う。前記判定部は、前記推定部による推定結果に基づいて、前記対象画像について前記判定事項に関する判定を行う。
【0005】
また、大腸内視鏡検査では、腸管洗浄剤(下剤)で腸内を綺麗にする前処置を実施してから検査を実施する。この前処置は、在宅で実施後に通院して内視鏡検査を受ける場合と、入院している状態で前処置を実施するパターンがある。在宅の場合は本人が実施し、入院している場合は検査者が、洗浄剤の効果の確認を実施する。検査では、洗浄剤により腸内に残留物が完全に無い状態であることが必要で、特に、病院で実施する場合は、検査者が何度も確認をすることが必要となり、被検査者(受診者)及び検査者の時間的負担及び精神的負担になっているという課題がある。また、被検査者自身による確認では正しく判定できない場合がある。
【0006】
さらに、大腸内視鏡検査の検査前作業において、排泄介助を伴うケースは、被検査者のプライバシーを侵害する可能性があり、被検査者あるいは検査者に精神的かつ時間的な負担を負わせており、業務の負荷軽減が行える支援が必要とされている。また、特に被検査者のプライバシーを維持して、作業支援を促すシステムを求められている。被検査者は自身で検査前作業を実施する場合もあるが、検査者の排泄介助を伴うケースにおいては、排泄物の確認を被検査者が検査者と一緒にトイレに入室し、被検査者の排泄行為を観察して目視確認することになる。排泄という行為を観察されることは、被検査者にとって恥辱を伴うものであり、検査者にも精神的負担を強いる作業となる。
【0007】
このような検査前作業における課題を解決するために、排泄物を撮像した画像を、被検査者が内視鏡検査を実施しても問題ない時期であるか否かの判定に用いる技術も知られている。例えば、特許文献2には、下部内視鏡検査の前処置に関する医療従事者の業務を効率化することを目的とした内視鏡業務支援装置が記載されている。
【0008】
特許文献2に記載の内視鏡業務支援装置は、下部内視鏡検査の前処置薬が投与された患者の排泄対象の撮像画像を取得する画像取得部と、前記撮像画像を解析する画像解析部と、を備える。さらに、前記内視鏡業務支援装置は、画像解析結果をもとに前記患者が下部内視鏡検査を可能な状態か否かを判定する判定部と、判定結果をネットワークを介して端末装置に通知する通知部と、を備える。
【先行技術文献】
【特許文献】
【0009】
【文献】特開2020-187693号公報
【文献】特開2016-066301号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
特許文献1に記載の技術では、排泄後における便鉢の内部空間を撮像した対象画像の画像情報を取得し、対象画像の一部の領域を含む分割画像を生成して、学習済みモデル、別の学習済みモデルにそれぞれ全体画像、部分画像を入力させて第1、第2推定を行う。しかしながら、特許文献1に記載の技術は、上記一部の領域が便鉢の形状に応じて決まる領域になるため、排泄物以外の異物も撮像されることも考慮すると、共通の形状をもつ便鉢にしか対応できない。上記共通の形状とは異なる形状をもつ便鉢について、特許文献1に記載の技術を適用した場合には、正確な推定ができないことになる。
【0011】
つまり、特許文献1に記載の技術では、流通している様々な形状の便鉢に対応することができず、対応させるためには便鉢の形状毎に2つの学習済みモデルを構築して実装する必要が生じる。また、このような問題は、便器の便座に臀部洗浄機が取り付けられた場合に、臀部洗浄機が映り込むことも考慮すると、より複雑なものとなる。つまり、特許文献1に記載の技術では、様々な形状の便器及び便座のセットに対応させて正確な推定を行うためには、セット毎に2つの学習済みモデルを構築して実装する必要が生じる。
【0012】
よって、様々な形状の便器及び便座に対応でき、且つ、撮像された排泄物を精度良く分析できる排泄物分析装置の開発が望まれる。
【0013】
なお、特許文献2に記載の技術は、解析領域内の全画素に対する黒色、茶色及びその中間色の画素の割合を検出し、割合が所定の割合を超える場合、排泄物に固形物が混ざっており下部内視鏡検査ができない状態と判定している。よって、特許文献2に記載の技術は、便器における排泄物を詳細に分析することを想定しておらず、排泄物の精度を向上させることを目的とした技術でもない。
【0014】
さらに、特許文献2に記載の技術は、分析対象の画像を得るために患者又は医療従事者が端末装置にて便器における排泄物を手動で撮影する必要があるだけでなく、便器内の滞水部分に撮影範囲を示すマークを形成しておく必要がある。よって、特許文献2に記載の技術では、撮影の手間と時間がかかるだけでなく、事前にマークが形成された専用の便器にしか対応できず、流通している様々な便器に対応できるものではない。便器の製造後に手作業でマークをシール貼り付け作業又は塗装作業などで形成することも考えられるが、様々な形状の便器のそれぞれに対し、正確な判定が可能な位置にマークを形成するのは困難であり、またマークの形成にも手間と時間がかかる。
【0015】
本開示は、上述した課題を解決するためになされたもので、様々な形状の便器及び便座に対応することが可能で、且つ、撮像された排泄物を精度良く分析することが可能な排泄物分析装置、排泄物分析方法、及びプログラムを提供することをその目的とする。
【課題を解決するための手段】
【0016】
本開示の第1の態様に係る排泄物分析装置は、トイレの便器における排泄物の排泄範囲を撮像範囲に含めるように設置された撮像装置で撮像された撮像データを入力する入力部を備える。前記排泄物分析装置は、前記入力部で入力された撮像データに対し、セマンティックセグメンテーションを用いて画素単位で被撮像物質の分類を実行する分類部と、前記分類部での分類結果を出力する出力部と、を備える。
【0017】
本開示の第2の態様に係る排泄物分析方法は、トイレの便器における排泄物の排泄範囲を撮像範囲に含めるように設置された撮像装置で撮像された撮像データを入力する。前記排泄物分析方法は、入力された撮像データに対し、セマンティックセグメンテーションを用いて画素単位で被撮像物質を分類する分類処理を実行し、前記分類処理での分類結果を出力する。
【0018】
本開示の第3の態様に係るプログラムは、コンピュータに、排泄物分析処理を実行させるためのプログラムである。前記排泄物分析処理は、トイレの便器における排泄物の排泄範囲を撮像範囲に含めるように設置された撮像装置で撮像された撮像データを入力する。前記排泄物分析処理は、入力された撮像データに対し、セマンティックセグメンテーションを用いて画素単位で被撮像物質を分類する分類処理を実行し、前記分類処理での分類結果を出力する。
【発明の効果】
【0019】
本開示により、様々な形状の便器及び便座に対応することが可能で、且つ、撮像された排泄物を精度良く分析することが可能な排泄物分析装置、排泄物分析方法、及びプログラムを提供することができる。
【図面の簡単な説明】
【0020】
【
図1】実施形態1に係る排泄物分析装置の一構成例を示すブロック図である。
【
図2】実施形態2に係る排泄物分析システムの一構成例を示す図である。
【
図3】
図2の排泄物分析システムにおける排泄物分析装置の一構成例を示すブロック図である。
【
図4】
図2の排泄物分析システムにおける処理例を説明するための概念図である。
【
図5】
図2の排泄物分析システムにおける排泄物分析装置での処理例を説明するための図である。
【
図6】
図2の排泄物分析システムにおける排泄物分析装置での処理例を説明するための図である。
【
図7】
図6の処理例に含まれる便性分析の一例を示す図である。
【
図8】
図2の排泄物分析システムにおける排泄物分析装置での処理例を説明するための図である。
【
図9】
図2の排泄物分析システムにおける排泄物分析装置での処理例を説明するための図である。
【
図10】
図2の排泄物分析システムにおける排泄物分析装置での処理例を説明するためのフロー図である。
【
図11】実施形態3に係る排泄物分析装置(大腸内視鏡検査前の状態確認装置)の一構成例を示すブロック図である。
【
図12】
図11の状態確認装置における処理例を説明するためのフロー図である。
【
図13】実施形態4に係る状態確認装置における処理例を説明するための概念図である。
【
図14】
図13の状態確認装置での処理例を説明するための図である。
【
図15】
図13の状態確認装置での処理例を説明するための図である。
【
図16】
図13の状態確認装置での処理例を説明するための図である。
【
図17】
図13の状態確認装置での処理例を説明するためのフロー図である。
【
図18】
図13の状態確認装置での処理例を説明するためのフロー図である。
【
図20】
図18の処理例における2次分析に含まれる便色分析の一例を示す図である。
【
図21】装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【0021】
以下、図面を参照して、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付すことがあり、重複する説明は適宜省略される。また、図面中の参照符号及び要素の名称は、理解を助けるための一例として各要素に便宜的に付記されるものであり、これらは何ら本開示の内容を限定するものではない。また、以下に説明する図面には一方向性、双方向性の矢印を描いている図面があるが、いずれの矢印もある信号(データ)の流れの方向を端的に示したものであり、それぞれ双方向性、一方向性を排除するものではない。
【0022】
<実施形態1>
実施形態1に係る排泄物分析装置について、
図1を参照しながら説明する。
図1は、実施形態1に係る排泄物分析装置の一構成例を示すブロック図である。
【0023】
図1に示すように、本実施形態に係る排泄物分析装置1は、入力部1a、分類部1b、及び出力部1cを備えることができる。
【0024】
入力部1aは、トイレの便器における排泄物の排泄範囲を撮像範囲に含めるように設置された撮像装置(以下、カメラで例示)で撮像された撮像データ(画像データ)を入力する。この撮像データは、排泄物分析装置1において、排泄の内容を分析してその情報を得るために用いられる。
【0025】
そのため、排泄物分析装置1には、このように設置されたカメラが接続されるか、含まれることになる。但し、排泄物分析装置1は、カメラを備えることが、装置の一体化及び撮像データの他への流出を防ぐ意味で好ましいと言える。カメラは、可視光カメラに限らず、赤外光カメラ等であってもよく、また、静止画が抽出できればビデオカメラであってもよい。カメラは、排泄物分析装置1の外部に接続される場合、入力部1aに接続しておけばよい。この撮像データには撮像日時、撮像条件等の付加情報(付属情報)を含むことができる。撮像条件は、例えば、解像度が設定可能なカメラであればその解像度を含むことができ、ズーム機能付きのカメラの場合にはそのズーム倍率を含むことができる。
【0026】
上記の排泄範囲は、便器の滞水部分を含む領域とすることができ、排泄予定範囲と称することもできる。このような排泄範囲を撮像範囲に含めるようにカメラを設置しておくことで、撮像される撮像データには被写体として排泄物等が含まれることとなる。無論、上記の排泄範囲は、使用者(トイレの利用者、トイレのユーザ)が映り込まないような範囲とすることが好ましく、またカメラのレンズもユーザから見えないようにカメラが設置されることが好ましい。また、ユーザは、例えば排泄物分析装置1を病院、介護施設で使用する場合、上記のユーザとは、主に、患者等の要介護者となる。また、介護者としては、介護士が挙げられ、場合によっては医師も挙げられるが、介護士でなくても介助者も挙げることができ、それ以外の者であってもよい。
【0027】
分類部1bは、入力部1aで入力された撮像データ(分析対象データ)に対し、セマンティックセグメンテーションを用いて画素単位(ピクセル単位)で被撮像物質の分類を実行する。セマンティックセグメンテーションとは、画像内の全画素をクラス分類し、全画素にラベルやカテゴリを関連付けるディープラーニングのアルゴリズムを指す。以下ではラベルを画素に関連付けることを前提に説明するが、カテゴリを画素に関連付けることや、ラベルと複数のラベルが属するカテゴリとを画素に関連付けることもできる。セマンティックセグメンテーションの例としては、例えば、FCN(Fully Convolutional Network)、U-net、SegNetなどが挙げられるが、これに限ったものではない。
【0028】
なお、画素単位とは、基本的に1画素単位を指すが、これに限らない。例えば、前処理において撮像データにフィルタ処理を施すなどして得たデータを入力し、分類部1bが、入力された分析対象データに対し、元の撮像データにおける複数画素の単位で被撮像物質の分類を行うこともできる。
【0029】
被撮像物質は、カメラで撮像された物質であり、その設置位置や設置目的から被撮像物質には便(大便や糞とも称する)が含まれ得る。よって、分類部1bは、例えば画素が便に該当する場合には便に分類する処理、つまり便を示すラベルを関連付ける処理を行うことになる。実施形態2で後述するが、便も複数の便性に分類することができるため、そのような分類まで行う場合には、分類部1bは画素が便であり且つ或る便性に該当する場合にはその便性に分類する処理、つまりその便性を示すラベルを関連付ける処理を行うことができる。なお、この場合には、例えば画素に便というカテゴリを関連付けるとともに便性を示すラベルを関連付けることもできる。
【0030】
その他、被撮像物質には、尿(小便)、尿滴り、トイレットペーパー、臀部洗浄機なども含まれることが想定できる。よって、同様に、分類部1bは画素が尿、尿滴り、トイレットペーパー、臀部洗浄機に該当する場合には、それぞれ尿、尿滴り、トイレットペーパー、臀部洗浄機に分類する処理を行うことになる。つまり、分類部1bは、それぞれ、尿、尿滴り、トイレットペーパー、臀部洗浄機を示すラベル又はカテゴリを関連付ける処理を行うことになる。また、便や尿についてはそれらの色も分類することができ、その場合には対応する便色を示すラベルや尿色を示すラベルが画素に関連付けられることができる。なお、臀部洗浄機は、おしりを洗浄する機器であり、おしり洗浄装置、おしり洗浄機などと称することができ、以下、おしり洗浄機として説明する。おしり洗浄機は、例えばトイレを流す機能をもつ、ウォシュレット(登録商標)等の温水洗浄便座などに含まれることができる。
【0031】
分類部1bは、上述したようにセマンティックセグメンテーションを用いて画素単位で被撮像物質の分類を行うが、このような分類により、撮像範囲の画像を分類毎(つまりラベル毎)に分割することができる。よって、セマンティックセグメンテーションは、画像領域分割アルゴリズムと称することもできる。なお、分類部1bは、このような分類を行うことで、撮像データを分析するため、分析部と称することもできる。分類部1bは、入力部1aで入力された撮像データをリアルタイムで分析すること、より具体的には入力された1枚の画像データに対して1回の処理で画像内の領域毎の分類ができるため、ここでなされる分析はリアルタイム分析(リアルタイム分類)に該当する。
【0032】
以下では、排泄物分析装置1から得られる情報を排泄情報とも称する。本実施形態では、排泄情報には、排泄の内容を示す情報として上述したラベル等の分類結果が含まれることになる。但し、排泄情報には、撮像データ全体として示される、各ラベルに分類された領域の形状も暗に含むことになり、またこのような領域の形状(例えば便の形状など)を別途特定した情報を排泄情報に含むこともできる。また、排泄情報には、撮像データの撮影日時又は取得日時を示す日時情報、撮影条件等の付加情報を含める又は付加することができる。
【0033】
出力部1cは、分類部1bでの分類結果、あるいは分類結果を含む排泄情報を出力する。排泄物分析装置1は、出力部1cの一部として、図示しない通信部を備えることができ、この通信部は、例えば、有線又は無線の通信インタフェース等で構成されることができる。
【0034】
出力部1cから出力される分類結果の形式は問わず、また分類結果の一部のみ出力されることもできる。例えば異物が混入していたという分類結果であった場合には、異物混入を示す情報だけを分類結果として出力することもできる。また、分類結果の出力先は予め定めておくなどすればよく、具体的な出力先は問わず、出力先は1箇所に限ったものでもない。
【0035】
分類結果の出力先は、例えばトイレの使用者を監視する監視者が所持する端末装置などとすることができる。この場合、分類結果は、監視者への通知情報として、監視者が使用する端末装置に出力されることになる。通知情報は、分類結果そのものを含むことができるが、分類結果に応じて予め定められた内容の情報(例えば、排泄がなされたことを示す排泄通知情報など)のみとすることもできる。なお、監視者が使用する端末装置とは、介護者等の監視者個人が使用している端末装置に限らず、例えば、ナースステーション等の監視ステーションに設置された端末装置であってもよく、この端末装置は警報装置として機能するものであってもよい。また、分類結果の出力先が、監視者が使用する端末装置である場合、直接の出力先は通知情報を受信しその端末装置に通知を転送することが可能なサーバ装置などとすることもできる。
【0036】
このように分類結果は、監視者等への通知情報として出力されることができるが、例えばトイレの使用者としての被介護者について介護者が日誌を作成するための排泄情報として、排泄情報を収集して管理するサーバ装置に出力されることもできる。このサーバ装置は、例えばクラウドサーバ装置とすることができる。サーバ装置は、病院等の施設の場合にはその施設内に設置することができ、個人利用である場合には個人宅に設置することや集合住宅に設置することもできる。
【0037】
排泄物分析装置1は、その全体を制御する制御部(図示せず)を備えることができ、この制御部は上述した入力部1a、分類部1b、及び出力部1cの一部を備えることができる。この制御部は、例えば、CPU(Central Processing Unit)、作業用メモリ、及びプログラムを記憶した不揮発性の記憶装置などによって実現することができる。このプログラムは、各部1a~1cの処理をCPUに実行させるためのプログラムとすることができる。また、入力部1aで入力した撮像データは、この記憶装置に一時的に記憶させて、分類部1bでの分類時に読み出すこともできるが、撮像データは別の記憶装置に一時的に記憶させることもできる。また、排泄物分析装置1に備えられる制御部は、例えば集積回路(Integrated Circuit)によって実現することもできる。この集積回路としては、FPGA(Field Programmable Gate Array)を採用することもできる。
【0038】
なお、分類部1bでの分類の開始は、分類に比して負荷の小さい簡易的な検出処理をトリガとして実行することもできる。例えば、入力部1aで入力される撮像データ又は入力部1aが後段の分類部1bに出力する撮像データは、排泄範囲に被写体として物体が検出された或いは滞水の色が変わるなどの変化が検出された場合のデータとすることができる。これらの検出は、カメラ又は入力部1aが、例えば、カメラで常時又は一定期間毎に撮像を行っておき、そこで得た撮像データから実施することができる。若しくは、別途設けたユーザ検知のセンサ(便座に設けた荷重センサ、その他、人感センサなど)からのユーザ検知結果に基づき撮像を行い、そのときの撮像データをカメラ又は入力部1aが後段へ出力するデータとして選択することもできる。
【0039】
また、排泄物分析装置1は、上述のようにトイレに排泄された排泄物の内容を分類によって分析して分類結果を少なくとも含む排泄情報を出力する装置であり、トイレ排泄物分析装置又は排泄情報取得装置と称することもできる。排泄物分析装置1は、監視者の端末装置や外部のサーバ装置などを含んでネットワーク上に構成される排泄物分析システム(分析システム)において、エッジとなるトイレセンサとして機能させるための装置とすることができる。
【0040】
上述のような構成の排泄物分析装置1では、撮像範囲として排泄物が排泄される範囲を含んでいれば、カメラやカメラを含むセンサ(トイレセンサ)の設置位置を正確に決めておかなくても、精度良く被撮像物質の分類を行い、分類結果を出力することができる。換言すれば、排泄物分析装置1では、カメラやトイレセンサを流通している様々な種類の便器及び便座に対して取り付けることでも、精度良く被撮像物質の分類を行い、分類結果を出力することができる。よって、本実施形態に係る排泄物分析装置1によれば、様々な形状の便器及び便座に対応することが可能で、且つ、撮像された排泄物を精度良く分析することが可能になる。
【0041】
また、排泄物分析装置1は、カメラから取得した撮像データ、その他の画像データをクラウド等の外部に送信する必要がなく、例えばトイレに設置した排泄物分析装置1のみで排泄物の分析を行うことができる。つまり、排泄物分析装置1において分析で用いられる画像や映像は全て排泄物分析装置1内で処理され、画像や映像が外部に送信されないように構成することができる。従って、排泄物分析装置1は、使用者のプライバシーに関する精神的負担の軽減にもつながる構成とすることができると言える。
【0042】
また、排泄物分析装置1によれば、トイレの使用者へのプライバシーへの配慮を行いつつ、トイレの使用者から聞き取る必要なく便器に排泄した排泄物の内容を示す情報を正確に収集し、且つ、監視者への即座の通知が必要な場面にも対応できる。つまり、排泄物分析装置1では、介護等の監視における排泄管理の負担軽減のためにトイレにセンサを設置する改善が図られる中、トイレの使用者へのプライバシーに配慮と通知及び記録との両面を実現することができる。ここでの通知及び記録は、分類結果に基づく介護現場等の監視現場での即時性イベントの通知及び正確な情報の記録となる。よって、排泄物分析装置1によれば、監視者やトイレ使用者の肉体的負担及び精神的負担を軽減できるように構成することができる。
【0043】
<実施形態2>
実施形態2について、
図2~
図10を参照しながら実施形態1との相違点を中心に説明するが、実施形態1で説明した様々な例が適用できる。
図2は、実施形態2に係る排泄物分析システムの一構成例を示す図で、
図3は、
図2の排泄物分析システムにおける排泄物分析装置の一構成例を示すブロック図である。
【0044】
本実施形態に係る排泄物分析システム(以下、本システム)は、便器20に取り付けられた排泄物分析装置10、介護者が使用する端末装置50、及びサーバ装置(以下、サーバ)40を備えることができる。なお、介護者は、トイレのユーザを監視するため監視者の一例であると言える。
【0045】
排泄物分析装置10は、排泄物分析装置1の一例であり、便器設置型の装置として例示するが、トイレ内に設置されるものであればよい。また、便器20は、その本体21に、例えばユーザ洗浄用の温水洗浄機能を搭載した便座22と、便座22を塞ぐための便座カバー23と、を設けておくことができる。排泄物分析装置10と便器20とは、少なくとも分類結果を含む分析結果を出力する機能が付いた分析機能付き便器30を構成することができる。
【0046】
また、排泄物分析装置10の形状は、
図2で示した形状に限らず、例えば便座22等にその機能の全部又は一部を埋め込むような構成とすることができる。また、排泄物分析装置10は、後述する第2外付けボックス11をボックス間接続部12から分離して便器20の側面側や背面側などに配置するように構成することもできる。また、排泄物分析装置10の機能の一部は便座22側に設けておくこともできる。なお、例えば、排泄物分析装置10に後述の距離センサ16aを設けない代わりに、便座22に重量センサを設けておき、その重量センサからの情報を無線又は有線の通信により排泄物分析装置10が受信するような構成を採用することもできる。この重量センサは後述するボックス間接続部12に設けることもでき、また、単に一定以上の加圧を検知する加圧センサとすることもできる。また、排泄物分析装置10に後述の第1カメラ16bを設けず、便座22側にカメラを設けておき、そのカメラからの撮像データを無線又は有線の通信により排泄物分析装置10が受信するような構成を採用することもできる。
【0047】
サーバ装置(サーバ)40及び端末装置50は、排泄物分析装置10に無線接続されることができ、端末装置50はサーバ40に無線接続されることができる。なお、これらの接続は例えば1つの無線LAN(Local Area Network)内で行うことができるが、別々のネットワークで接続するなど他の接続形態を採用することもできる。また、これらの接続はその一部又は全部が有線でなされてもよい。
【0048】
このように接続された本システムにおいて、排泄物分析装置10は、分類結果に応じた通知情報を端末装置50に送信することで出力し、分類結果を含む排泄情報をサーバ40に送信することで出力する。端末装置50は、トイレのユーザの介護者がもつ端末装置であり、可搬型の端末装置とすることができるが、設置型のPC(Personal Computer)等の装置であってもよい。前者の場合、端末装置50は、携帯電話機(スマートフォンと称されるものも含む)、タブレット、モバイルPCなどとすることができる。サーバ40は、排泄情報を収集して管理する装置とすることができ、排泄物分析装置10から受信した排泄情報を、端末装置50から閲覧可能な状態で保存する。
【0049】
また、サーバ40は、その全体を制御する制御部41と、例えばデータベース(DB)形式で排泄情報を記憶する記憶部42と、上述のような接続を行うための通信部(図示せず)と、を備えることができる。制御部41は、排泄物分析装置10から送信された排泄情報の記憶部42への記憶の制御、端末装置50からの閲覧の制御などを実行する。制御部41は、例えば、CPU、作業用メモリ、及びプログラムを記憶した不揮発性の記憶装置などによって実現することができる。この記憶装置は、記憶部42と兼用とすることができ、また、このプログラムは、サーバ40の機能をCPUに実現させるためのプログラムとすることができる。なお、制御部41は、例えば集積回路によって実現することもできる。
【0050】
また、端末装置50は、図示しないが、その全体を制御する制御部と、記憶部と、上述のような接続を行うための通信部と、を備えることができる。この制御部は、制御部41と同様に、例えばCPU、作業用メモリ、プログラムを記憶した不揮発性の記憶装置などによって、或いは集積回路によって、実現することができる。また、この記憶装置に記憶されるプログラムは、端末装置50の機能をCPUに実現させるためのプログラムとすることができる。
【0051】
また、端末装置50は、排泄物分析装置10から受信した通知情報とサーバ40に保存された排泄情報とに基づき排泄日誌を生成する日誌生成部を備えることが好ましい。この日誌生成部については、例えば端末装置50に日誌作成アプリケーションプログラムを組み込むなどすることで搭載することができる。作成された排泄日誌は、内部の記憶部に記憶させることができる。また、日誌作成部は、介護記録を作成する介護記録部の一部として搭載することもできる。介護記録作成部もアプリケーションプログラムを端末装置50に組み込むことで実現させることができる。
【0052】
次に、排泄物分析装置10の詳細な例について説明する。排泄物分析装置10は、例えば、
図2及び
図3に図示するように2つの装置で構成されることができる。より具体的には、排泄物分析装置10は、その筐体として、例えば、第1外付けボックス13及び第2外付けボックス11といった2つのボックスを備えることができる。また、排泄物分析装置10は、第1外付けボックス13及び第2外付けボックス11の間を繋ぐボックス間接続部(ボックス間接続構造物)12を備えることができる。第1外付けボックス13及び第2外付けボックス11は、その具体例を
図3で示すようにインタフェースによって接続されることができる。
【0053】
この例における排泄物分析装置10は、例えば、次のようにして便器20の本体21に設置することができる。即ち、排泄物分析装置10は、本体21の内側(排泄物の排泄範囲がある側)に第1外付けボックス13を、本体21の外側に第2外付けボックス11を、それぞれ配設するように、本体21の縁部にボックス間接続部12を載置することで、便器20に設置できる。
【0054】
第1外付けボックス13には、例えば、距離センサ16a及び第1カメラ16bを収納しておくことができる。後述するが、距離センサ16aは、便座22に着座したことを検知する着座センサの一例であり、第1カメラ16bは、排泄物を撮像するカメラであり、
図1の入力部1aで入力される撮像データを取得するカメラである。
【0055】
第2外付けボックス11は、第1カメラ16bで撮像した撮像データ(画像データ)をもとに行うリアルタイム分析を実行する機器を備える。また、第2外付けボックス11は、その機器の制御に従い、イベント発生時に介護者への通知及び分析結果のサーバ40への送信を行う通信機器14を備える。
【0056】
例えば、第2外付けボックス11には、CPU11a、コネクタ11b、USB I/F11c,11d、WiFiモジュール14a、Bluetoothモジュール14b、人感センサ15a、及び第2カメラ15bを収納しておくことができる。なお、USBはUniversal Serial Busの略であり、USB、WiFi、及びBluetoothはいずれも登録商標である(以下同様)。通信機器14は、各モジュール14a,14bで例示したものであり、CPU11aが必要に応じて各要素11b,11c,11dを介して他の部位とデータの送受を行いながら、リアルタイム分析を実行する。なお、この例では、CPU11aに、撮像データを一時的に記憶するメモリも備わっているものとして説明する。また、通信機器14は例示した規格の通信モジュールに限らず、無線/有線も問わない。通信モジュールとしては、例えばLTE(Long Term Evolution)通信モジュール、第5世代移動通信モジュール、LPWA(Low Power, Wide Area)通信モジュールなど、様々なものが挙げられる。
【0057】
図3に示すように、第1外付けボックス13と第2外付けボックス11とは、コネクタ11b及びUSB I/F11cで例示するインタフェースによって接続され、その接続線をボックス間接続部12の内部に備えることで、一つの排泄物分析装置10を構成する。
【0058】
第1外付けボックス13について説明する。
距離センサ16aは、対象物(便器20のユーザの臀部)との距離を計測し、便座22にユーザが座ったことを検知するセンサであり、閾値の値を超えて一定時間経過した場合に対象物が便座22に着座したことを検知する。また、距離センサ16aは、着座後に、対象物の距離が変動した場合、ユーザが便座22から退座したことを検知する。
【0059】
距離センサ16aは、例えば、赤外線センサ、超音波センサ、光学センサなどを採用することができる。距離センサ16aは、光学センサを採用する場合、第1外付けボックス13に設けられた穴から光(可視光に限らない)の送受信が行えるように、送受信素子を配置しておけばよい。ここでの送受信素子は、送信素子と受信素子とが別個に構成されていてもよいし、一体化されていてもよい。距離センサ16aは、コネクタ11bを介してCPU11aに接続されており、検知結果をCPU11a側に送信することができるようになっている。
【0060】
第1カメラ16bは、
図1の入力部1aに入力される撮像データを撮像するカメラの一例であり、第1外付けボックス13に設けられた穴にレンズ部分を配置させた光学カメラとすることができる。第1カメラ16bは、実施形態1で説明したように、トイレの便器20における排泄物の排泄範囲を撮像範囲に含めるように設置されている。第1カメラ16bは、USB I/F11cを介してCPU11aに接続されており、撮像データをCPU11a側に送信する。
【0061】
第2外付けボックス11について説明する。
CPU11aは、排泄物分析装置10の主制御部の例であり、排泄物分析装置10の全体を制御する。後述するように、リアルタイム分析はCPU11aが実行することになる。コネクタ11bは、人感センサ15a及び距離センサ16aと、CPU11aと、を接続する。USB I/F11cは、第1カメラ16bとCPU11aとを接続し、USB I/F11dは、第2カメラ15bとCPU11aとを接続する。
【0062】
人感センサ15aは、特定領域(人感センサ15aの測定領域範囲)に人が存在すること(人の入退室)を検知するセンサであり、この特定領域はトイレへの入退室を判定できるような領域としておくことができる。人感センサ15aは、その検知方式を問わず、例えば、赤外線センサ、超音波センサ、光学センサなどを採用することができる。人感センサ15aは、コネクタ11bを介してCPU11aに接続されており、特定領域に人を検知した場合、検知結果をCPU11aに送信する。
【0063】
CPU11aは、この検知結果に基づき、距離センサ16aの稼働や第1カメラ16bの稼働を制御することができる。例えば、CPU11aは、この検知結果が入室ありであった場合に距離センサ16aを稼働させ、距離センサ16aで着座が検知された場合に第1カメラ16bを稼働させるなどの処理を行うこともできる。
【0064】
第2カメラ15bは、第2外付けボックス11に設けられた穴にレンズ部分を配置させた光学カメラとすることができ、トイレのユーザを識別するためにユーザの顔画像を撮影して顔画像データを得るカメラの例である。第2カメラ15bは、ユーザの顔を撮像範囲に含めるように、便器20に設置されることができるが、便器20が設置されるトイレの部屋に設置されることもできる。
【0065】
Bluetoothモジュール14bは、ユーザを識別するための識別データを、ユーザが保持するBluetoothタグから受信する受信機の一例であり、他の近距離通信規格に基づくモジュールに置き換えることもできる。ユーザが保持するBluetoothタグは、ユーザ毎に異なるIDとしておき、例えばリストバンド等に埋め込むなどして、ユーザに保持させておくことができる。
【0066】
WiFiモジュール14aは、通知情報を含む各種データを端末装置50に送信し、排泄情報を含む各種データをサーバ40へ送信する通信機器の一例であり、他の通信規格を採用するモジュールに置き換えることもできる。第2カメラ15bで取得された顔画像データやBluetoothモジュール14bで得られた識別データは、通知情報、排泄情報に付加又は埋め込まれるなどして、それぞれ端末装置50、サーバ40に送信されることができる。顔画像データを受信した端末装置50やサーバ40は、その顔画像データに基づき顔認証処理を行い、ユーザを識別することができる。但し、排泄物分析装置10は、顔画像データを送信しないように構成しておくこともでき、その場合、顔認識処理をCPU11aで行うようにしておけば、顔認証によるユーザ識別が可能となり、その結果を示す識別データを送信の対象とすることができる。
【0067】
USB I/F11c、若しくはCPU11a及びUSB I/F11cは、
図1の入力部1aの一例とすることができ、第1カメラ16bで撮像された撮像データを入力する。CPU11a及びWiFiモジュール14aは、
図1の分類部1bの一例とすることができる。CPU11aがこの撮像データをリアルタイム分析し、WiFiモジュール14aを介し、通知情報の端末装置50への送信や排泄情報のサーバ40への送信を行うことができる。このリアルタイム分析は、分類部1bについて説明したように、セマンティックセグメンテーションを用いて画素単位で被撮像物質の分類を行う。
【0068】
また、通知情報や排泄情報は、Bluetoothモジュール14bを介するなどして送信されることもできる。このように、通知情報、排泄情報は、それぞれ排泄物分析装置10にネットワークや近距離無線通信網を介して接続された端末装置50、サーバ40に送信されることができる。無論、通知情報の送信はサーバ40又は他のサーバを経由した送信であっても端末装置50への転送がなされることになっていればよい。送信される通知情報、排泄情報は、それぞれ分類結果に応じた情報、分類結果を含む情報であり、いずれも撮像データそのものを含まないものとする。これにより、ユーザのプライバシーに関する精神的負担の軽減だけでなく、送信データ量も削減することができる。特に、ネットワーク帯域の乏しい環境でのデータ量の削減は有益である。なお、撮像データの付加情報(撮像日時等)については、通知情報や排泄情報に含めて送信してもよい。
【0069】
なお、端末装置50としてスマートフォンを例に挙げて図示した。但し、通知先(送信先)は、スマートフォンの他に又はそれに代えて、例えばナースコールシステムの通知装置、介護者がもつ他の端末装置、インターカム(インターコミュニケーション)等であってもよい。上記他の端末装置としては、例えばPHS(Personal Handy-phone System)などが挙げられる。
【0070】
図4~
図9を参照しながら、リアルタイム分析について説明する。
図4は、本システムにおける処理例を説明するための概念図で、
図5~
図9は、排泄物分析装置10での処理例を説明するための図である。ここで、
図6は分類画像の一例を示す図で、
図7は
図6の処理例に含まれる便性分析(便性分類)の一例を示す図で、
図8及び
図9は分類画像の他の例を示す図である。
【0071】
図4に示すように、トイレに設置された分析機能付き便器30をユーザPが利用し、ユーザPの介護者Cがその状態を監視する例を挙げる。ユーザPが分析機能付き便器30を利用する場合、CPU11aは、着座センサとして機能する距離センサ16aからの検知結果に基づきユーザが便座に着座したことを検知する。CPU11aは、着座を検知すると、第1カメラ16bに撮影開始を指示し、撮像された撮像データをもとにリアルタイム分析31を行う。
【0072】
CPU11aは、リアルタイム分析31として、セマンティックセグメンテーションを用いて画素単位で被撮像物質の分類を行い、分類結果を得ることができる。分類の数(ラベル数)は問わない。例えば、CPU11aは、画素毎に、被撮像物質を、排泄物、異物、及び、その他の物質のいずれかに分類することができる。また、CPU11aは、排泄物として、便、尿、尿滴りのいずれか、あるいは、便、尿、便及び尿(便+尿)、尿滴りのいずれかに分類することもできる。換言すれば、CPU11aは、画素毎に、被撮像物質を、便、尿、尿滴り、異物、及び、その他の物質のいずれか、あるいは便、尿、便+尿、尿滴り、異物、及び、その他の物質のいずれかに分類することができる。
【0073】
ここで、異物とは、便器20への破棄が許容されない物質を指すことができる。異物は、液体でも固体でもよく、例えば尿とりパッド、おむつ、トイレットペーパーの芯などのいずれか1又は複数を含むことができる。つまり、画素がそのような物体を構成する物質としてラベリングされた場合には、異物が存在することを意味する。
【0074】
また、上記その他の物質は、おしり洗浄機、トイレットペーパー、及び、排泄物が流された後の物質(水だけの場合もあり)のうちの少なくとも1つを含むものとする。上記その他の物質は、1つのラベルとして分類されることもできるが、例えば、おしり洗浄機を示すラベル、トイレットペーパーを示すラベル、及び、排泄物が流された後の物質を示すラベルの、3つのラベルに分類されることもできる。
【0075】
また、異物は、便器及び便器の洗浄用液体を除く被写体として糞尿以外の物質として定義しておくこともできる。この定義を用いる場合、異物は、糞尿以外のものであれば、液体でも固体でもよく、例えば尿とりパッド、おむつ、トイレットペーパーの芯のいずれか1又は複数を含むことができる。また、異物又は上記その他の物質には、例えば嘔吐物、下血、血液の嘔吐(吐血)のいずれか1又は複数を含むことができる。
【0076】
なお、異物と上記その他の物質とは、定義の上で重ならなければよく、上述した例のような区別の仕方に限ったものではなく、例えば介護者Cへの通知の種類によって区別の方法を決めておくこともできる。無論、異物と上記その他の物質とについて例示した物質は、いずれも異物や上記その他の物質としてのラベルではなく、個々の物質のラベルとして分類されることもできる。
【0077】
また、CPU11aは、便についての予め定められた複数の便性への分類、便についての予め定められた複数の便色への分類、及び、尿についての予め定められた複数の尿色への分類、の少なくとも1つも併せて実行することもできる。ここで、便性は、便の形状又は形態を示すものとすることができ、例えばブリストルスケール1~7で例示される分類を採用することができる。
【0078】
そして、CPU11aは、リアルタイム分析31の結果、異物検出など即時に介護者への通知が必要な場合、WiFiモジュール14aを介して、通知情報(リアルタイム通知32)をトイレから離れた場所にいる介護者Cの端末装置50に送信する。このように、CPU11aは、異物が含まれるか否かを示す異物情報(異物判定結果を示す異物情報)を端末装置50に送信することができる。この異物情報は、通知情報の少なくとも一部として出力されることとなり、また、CPU11aは、例えば異物にラベリングされる画素があるか(あるいは所定画素数あるか)否かにより、異物が含まれているか否かの判定(異物判定)を行うことができる。異物に限らず、どのような場面で、通知情報の出力を行うかは、予め設定しておくことができ、またその設定も端末装置50等から変更できるように構成しておくこともできる。例えば、CPU11aは、分類結果が排泄物に分類された場合、監視者へ排泄通知を端末装置50等に対して出力することができる。
【0079】
また、上記その他の物質はおしり洗浄機を少なくとも含むことができる。そして、CPU11aは、画素の分類結果がおしり洗浄機に分類された場合、あるいはおしり洗浄機に分類された画素が所定数以上連続して存在した場合、以降の分類処理を中止し、監視者へ排泄完了通知を出力することができる。以降の分類処理とは、例えば次の画素に対する分類処理や、その他の排泄完了通知以外の通知処理とすることができる。このように、排泄物分析装置10は、おしり洗浄機を見つけることで排泄の終了を検出するように構成することができる。このような構成により、以降の水分の滴りなど、おしり洗浄機からの洗浄水と混ざり、分類結果の精度が落ちる可能性を排除することができる。また、このような撮像データ内のおしり洗浄機を精度良く分類できる構成を採用することで、介護者への排泄完了通知を正確に行うことができるだけでなく、おしり洗浄機検出中の洗浄液の滴りを尿と判定するといった誤検出を無くすことができる。
【0080】
上述したような通知により、介護者CはユーザPの排泄の際に付きっきりとなるような状況から解放され、リアルタイム通知32により、緊急時には駆け付けるなども対応51も可能となる。ここで、送信されるリアルタイム通知32には、撮像データは含まれない。
【0081】
また、CPU11aは、リアルタイム分析31の結果(分類結果)を含む排泄情報について、サーバ40へのリアルタイム分析結果の送信34を、WiFiモジュール14aを介して実行する。このように、リアルタイム分析31の分析結果は、分析結果送信34が通信機能により実行されることで、サーバ40に送信される。分析結果送信34は撮像データを含めずに送信される。サーバ40に記録された情報は、介護者Cが介護記録(排泄日誌)の作成53や今後の介護支援のために、参照52の対象とすることができる。
【0082】
また、ユーザPの介護者Cは、端末装置50において、受信した通知情報に基づき、適宜、サーバ40に保存されたユーザPの排泄情報の参照52を行いながら、ユーザPの介護記録(排泄日誌)の作成53を実行する。排泄日誌は介護記録の一部として作成することができる。このようにして、端末装置50には、ユーザ毎の排泄日誌を記録していくことができる。なお、排泄日誌のフォーマット等は問わない。
【0083】
また、CPU11aは、分類結果を、分類毎に(ラベル毎に)色分けして描画した分類画像を含む情報として出力することもできる。このような分類画像は、端末装置50に対して通知情報として又は通知情報の一部として出力することも、後の排泄日誌作成のための排泄情報として又は排泄情報の一部として出力することもできる。分類画像の例については、
図6を参照しながら後述する。
【0084】
また、CPU11aは、段階的に分類を実行することもできる。例えば、CPU11aは、排泄物と分類された物質が存在した場合、排泄通知を端末装置50等に出力する。CPU11aは、排泄通知の出力後に、排泄物に分類された画素毎に、便、尿、尿滴りのいずれか、あるいは便、尿、便+尿、尿滴りのいずれかに分類するとともに、詳細な分類を実行することもできる。ここでの詳細な分類とは、便についての予め定められた複数の便性への分類、便について予め定められた複数の便色への分類、尿について予め定められた複数の尿色への分類、の少なくとも1つを含むことができる。
【0085】
ここで、
図5を参照しながら、リアルタイム分析31の入力、手法、及び出力の一例について、その分類例も含めて説明する。リアルタイム分析は、介護者Cへの通知などリアルタイム性が求められる分析である。リアルタイム分析は、第1カメラ16bで撮像した画像のデータ(撮像データ)を入力とし、Deep Learning(DL)により、次の5種類のいずれであるかを分類し、分類結果を出力とすることができる。ここでは、DLとして、セマンティックセグメンテーション(画像領域分割アルゴリズム)が用いられる。分類結果は種類に対応するラベルを関連付けたものとすることができる。ここで例示する5種類とは、異物(おむつ、尿漏れパット等)、便(便性)、尿、尿滴り、おしり洗浄機であり、便性を8種類に分類する場合には合計12種類に分類されることになる。これらの分類種別は、リアルタイム通知のトリガとなる事象の例である。なお、例えば、おしり洗浄機に分類された場合には排泄が完了したと判定することができる。また、おしり洗浄機と同様に排泄が完了したと判定できる分類としては、トイレットペーパー(又は所定量以上のトイレットペーパー)や排泄物がなさされた後の物質も挙げられ、これらの分類に含めることができる。
【0086】
また、DLは、正解データ(教師データ)として正解ラベルを付した学習データを入力して機械学習させておくことができる。その結果として生成される学習モデル(つまり学習済みモデル)は、CPU11aの内部又はCPU11aからアクセス可能な記憶装置に記憶させておくことができる。運用時に実行されることになるリアルタイム分析は、このような学習済みモデルに撮像データを入力し(具体的には映像フレーム毎など、画像データ毎に入力し)、分類結果を得ることになる。換言すれば、リアルタイム分析は、学習済みの画像データとの比較となる。また、リアルタイム分析で用いられる学習済みモデルは複数であってもよく、例えば上記の6種類のうち少なくとも1種類とそれ以外の種類とは異なる学習済みモデルを用いることもできる。なお、学習済みモデルのアルゴリズム(機械学習のアルゴリズム)は、セマンティックセグメンテーションに属するアルゴリズムであればよく、また、階層数等のハイパーパラメータなどは問わない。
【0087】
上述した分類画像の例について、
図6を参照しながら説明する。
図6に示す画像Img-oは、カメラで取得された撮像データの一枚である。CPU11aは、入力された画像Img-oの各画素について、
図6の凡例に示すような尿、尿滴り、便(便性1)、便(便性2)、便(便性3)、便(便性4)、便(便性5)、便(便性)、水と、おしり洗浄機と、異物と、に分類される。そして、その分類結果として分類画像Img-rを生成することができる。分類画像Img-rの生成は、画像Img-oと対応させるように、各画素に分類されたラベルに対応する色を適用して得ることができる。分類画像Img-rは、分類毎に領域が分割された画像となっていることが分かる。
【0088】
上述した便性の分類例について、
図7を参照しながら説明する。便性については、例えば
図7で示すブリストルスケールに準拠した形で分類を実施することができ、その分類の結果、
図7で示すようなタイプ1~7のいずれかに分類されることができる。
図6の凡例における「水」はタイプ7に相当するものとすることができる。
【0089】
また、分類画像は、
図8に示す例や
図9に示す例のような画像となることもある。
図8に示すように、入力された画像Img-o1におしり洗浄機を示す画素群Img-wが含まれる場合、分類画像Img-r1ではおしり洗浄機の領域Img-rwが排泄物等とは異なるものであると分類されることになる。また、
図9に示すように、入力された画像Img-o2に紙(トイレットペーパー)を示す画素群Img-pが含まれる場合、分類画像Img-r2では紙の領域Img-rpが排泄物等とは異なるものであると分類されることになる。なお、画像Img-o1,Img-o2において、黒塗りの部分は、人体部分を検知した場合やデフォルトで分析対象外として、入力画像に対して黒塗りする加工(以降、マスク処理と称す)を施した部分である。
【0090】
次に、
図10を参照しながらリアルタイム分析処理の手順の一例について説明する。
図10は、排泄物分析装置10での処理例を説明するためのフロー図で、ユーザがトイレに入室し、トイレ便座への着座をトリガとするリアルタイム分析の動作内容の一例を示すフロー図である。ここで説明する動作内容は主にCPU11aが主体となって各部を制御しながらなされることができる。また、ここでは、セマンティックセグメンテーションを適用した2つの学習済みモデルを用いた処理例を挙げるが、一方のみセマンティックセグメンテーションを適用したモデルとしてもよい。また、1つの学習済みモデルだけを用いることや3つ以上の学習済みモデルを用いることもできる。
【0091】
まず、着座センサとして機能する距離センサ16aの反応の有無がチェックされる(ステップS1)。ステップS1で反応がない場合(NOの場合)、着座センサが反応するまで待機することになる。ユーザが着座した場合には距離センサ16aが反応することになり、ステップS1でYESとなる。ステップS1でYESとなった場合、端末装置50に着座が通知される(ステップS2)とともに、リアルタイム分析が開始される(ステップS3)。なお、着座の前に人感センサ15aによって入室が検知された場合には、端末装置50に入室を通知することもでき、退室についても同様である。
【0092】
リアルタイム分析では、光学カメラ(第1カメラ16bで例示)による便器内撮影を実行し、まず取得された撮像データ(例えば
図6の画像Img-o)が正常に識別できるか否かが判定される(ステップS4)。正常に識別できるか否かとは、正常に分類が可能な画像であるか否かとすることができ、この判定基準は問わないが、例えば全反射している画像やピントが合っていない画像などは正常に識別できないと判定することができる。異常が検出された場合(ステップS4でNOの場合)、介護者の端末装置50に異常通知が送信される(ステップS5)。このように、正常に便器内の撮影ができない場合にも、その旨を示す通知情報が端末装置50に送信されることが好ましい。一方で、正常に識別できた場合(ステップS4でYESの場合)、分類を実行する(ステップS6)。
【0093】
ステップS6では、画像の各画素が異物、排泄物、おしり洗浄機、紙(トイレットペーパー)、及び排泄物が流された後の物質のいずれに該当するかの分類を行うための学習済みモデルを用い、この分類を実行する。さらに、ステップS6では、この分類結果から検出対象物が(a)異物、(b)排泄物、(c)おしり洗浄機又は紙(又は所定量以上の紙)又は排泄物がなさされた後の物質、のいずれに該当するかを判定する。ここで、各画素についての分類結果から、例えば
図6の画像Img-rを得ることで、検出対象物が(a)、(b)、(c)のいずれに該当するかを判定することができる。例えば、所定量以上の紙であるか否かの判定も、分類された領域の面積に基づき、紙が所定以上の面積があるか否かの判定として実施することができる。また、このような判定まで行うように、学習済みモデルを構築しておくこともできる。
【0094】
ステップS6において異物が検出された場合には、介護者の端末装置50に異物検出通知がなされる(ステップS7)。排泄物が検出された場合、介護者の端末装置50に排泄通知(排泄がなされたことを示す通知情報の送信)がなされる(ステップS8)とともに排泄物分析が実行される(ステップS9)。この排泄物分析は、排泄物についての
図6に示す10種類の分類を行うための学習済みモデルを用いた、画素単位での排泄物の分類である。この学習済みモデルもセマンティックセグメンテーションを用いたモデルとなる。この排泄物分析により、各画素について
図6の凡例に示す10種類の分類がなされ、
図6の画像Img-rを得ることができる。ステップS9の処理後は、ステップS4に戻り、次の画像に対する処理を行う。
【0095】
ステップS6で検出された検出対象物が上記(c)に該当するものであった場合には、排泄完了と判断し、介護者の端末装置50に排泄完了通知(排泄が完了したことを示す通知情報の送信)がなされる(ステップS10)。ステップS10の処理の終了に伴い、リアルタイム分析を終了する(ステップS11)。また、着座センサの反応がなくなった時点ではじめて排泄完了通知を送信するようにしてもよい。おしり洗浄機は2回以上使用することがあるためである。なお、ステップS5の後、ステップS7の後もリアルタイム分析が終了する。
【0096】
このように、
図10の処理例においては、異物検出が常に実施されており、異物検出時には介護者へ通知を行い、その後、着座のタイミングで撮影を開始し、一定周期で撮影した画像に対して、
図6で例示したような便(便性)、尿、尿滴りの判定を行う。便(便性)、尿、尿滴りが検出された場合には、予め設定済みのラベルが関連付けられ、これにより分類が完了する。また、おしり洗浄機等の上記(c)の検出も行い、上記(c)のいずれかが検出されたタイミングで、端末装置50に排泄完了通知を行い、便(便性)、尿、尿滴りの判定を終了する。このように、排泄の開始と完了、異物混入などを介護者等に通知することで、介護者等はリアルタイムでこれらの情報を得ることができるため、肉体的且つ精神的負担の軽減を可能とする。
【0097】
また、サーバ40への排泄情報の送信タイミングは問わず、例えばステップS11の分析完了後に送信すること、あるいは、ステップS9の処理後であってステップS4へ戻る前に送信することができる。
【0098】
以上のように、排泄物分析装置10では、リアルタイム分析結果として排泄開始、異物検出、排泄物検出、排泄完了を得るとともに、便性等の詳細な排泄情報も得ることができる。いずれの分析結果も端末装置50から閲覧可能な状態でクラウド上のサーバ40に記録されることができ、また、端末装置50に送信するように構成することもできる。また、サーバ40が、受信した分析結果を蓄積しておき、蓄積したデータからさらなる分析を行い、その分析結果を端末装置50に通知又は端末装置50から閲覧可能に構成することもできる。
【0099】
また、排泄物分析装置10又はそれを含む本システムでは、ユーザが1人であることを前提に個人宅で使用することもできるが、ユーザが複数存在することを前提としてユーザを識別する機能をもたせることが好ましい。これにより、複数ユーザの個人宅や病院や介護施設等の施設でも好適に利用できる。なお、この機能については、第2カメラ15bで取得された顔画像データやBluetoothモジュール14bで得られた識別データを利用して説明した通りである。これにより、ユーザ名とともに、入室通知、退出通知、着座通知、退座通知、排泄開始通知、排泄完了通知などを介護者に通知することや、ユーザ毎に排泄情報を記録することや、排泄日誌やそれを含む介護記録を作成することが可能となる。また、ここでは、トイレの使用者が人であることを前提として説明しているが、人が飼う動物に対しても適用することは可能である。
【0100】
ここで、排泄日誌やそれを含む介護記録に関して補足説明する。リアルタイム分析により得られた情報は、ユーザの排泄日誌等を介護者が作成する際に利用することができる。また、端末装置50のプログラムは、排泄物分析装置10から受信した通知情報を提示する提示機能を含む介護ソフトウェアとして、端末装置50に実行可能に組み込まれていることができる。また、この介護ソフトウェアは、サーバ40から転送された情報又はサーバ40にアクセスした際に得た情報を、排泄日誌又はそれを含む介護記録に自動的に入力する機能を備えることができる。また、このような介護ソフトウェアはサーバ40上に設けられていてもよく、その場合、排泄物分析装置10から通知情報及び排泄情報を受信し、それらの情報を自動的に排泄日誌又は介護記録に自動的に入力するようにしておけばよい。
【0101】
以上に説明したように、本システムは、実施形態1で説明した効果を奏することができる。特に又はその効果に加えて、本システムは、例えば、以下のような効果を奏する。
【0102】
第一の効果は、画像内の領域ごとに分類が可能であるため、1つの画像に対して1つの分類しかできない画像分類(classification)(以下、比較例に係る画像分類)とは異なり、画像内に複数の物体が撮像されていたとしても分類できる点である。第一の効果としては、さらに、物体検出(object detection)では難しい、小さく複数に分割された排泄物(小さい物体が複数ある場合)についても、領域ごとに分類が可能であるため、便、尿、尿滴り、異物を精度良く分類できる点も挙げられる。以下、この物体検出を比較例に係る物体検出と称する。また、第一の効果としては、複数の物体が重なっている場合でも、物体の重なっていない領域から分類を行うことができ、それら複数の物体が1つにまとまって分類されることもないため、正確な分類が可能となる点も挙げられる。
【0103】
特に、排泄の開始、排泄の完了、異常時の介護者への通知や排泄管理の正確な記録を実現するには、便器内を撮影した画像から排泄物や異物、おしり洗浄機を正確に検出する必要がある。クラウドサーバを用いて分析を行えば高度な分析が可能であるが、撮像データをクラウドサーバに送信することになるため、利用者のプライバシーに関して精神的負担が大きくなることにつながる。また、その場合には、撮像データを送信することからネットワーク環境によっては、分析結果が出るまで時間がかかる場合も生じ得る。そのためプライバシー保護の観点やネットワーク環境を考慮すると排泄物分析は通信ネットワークのいわゆるエッジに該当するエッジデバイスで実施することが望ましい。
【0104】
しかし、エッジデバイスでリアルタイムに排泄物分析を行う場合、省スペース及び省電力のCPUが使用されることを考慮すると、処理能力が低いため、比較例に係る画像分類で実現することが考えられる。しかし、この場合、精度に関する課題や、画像全体を1つのラベルに分類することに起因して、画像内に複数の物体が撮像されている場合に上記画像分類では正確な分類ができないという課題があった。
【0105】
また、比較例に係る画像分類よりも正確な分類のできる比較例に係る物体検出を採用することも考えられる。比較例に係る物体検出では、画像内で物体を検出すると、検出した物体を囲む矩形(バウンディングボックス)を配置し、バウンディングボックス内の物体を分類する。そのため画像内に複数の物体が写っていたとしても、それぞれをバウンディングボックスで囲み分類することができる。しかし、小さい物体が複数ある場合や複数の物体が重なっている場合、複数の物体が1つのバウンディングボックスで囲まれてしまう場合など、対象の物体を囲むバウンディングボックスの精度によって、正確に分類できない場合がある。さらに、比較例に係る物体検出の場合、便器や便座のメーカや種類により、便器内の構造や映り込む映像が異なることが影響し、撮像データから正確な物体検出が行われない可能性がある。特におしり洗浄機については、撮像データから検出できれば、排泄完了を介護者に通知できる重要な判定要素となるが、便器や便座のメーカや種類により違いがあるため、正確な物体検出ができない可能性がある。このように、比較例に係る物体検出を採用した場合であっても、分類の精度が悪い場合や便器内構造の影響をうけるなど課題があった。
【0106】
これに対し、本実施形態では、セマンティックセグメンテーションを用いて画素単位で分類を行っているため、これらの課題を解決し、上記第一の効果を奏する。換言すれば、本実施形態では、介護における排泄管理の負担軽減のためにトイレにセンサを設置する改善が図られる中、介護者への通知や排泄記録などに関わる排泄物分析の精度を向上させることができる。そして、第一の効果によって、分析結果に信頼性が増すことから、介護者の負担を軽減させることができ、利用者への手厚いサポートが可能となると言える。
【0107】
第二の効果は、便の分類において、便性(例えばブリストルスケール1~7)を含めたラベルで分類を行うことで、精度の良い便性判定まで含む分類を1回の処理で行うことができ、排泄物の分析精度の向上が図れる点である。そして、第二の効果によっても、介護者の負担を軽減させることができ、利用者への手厚いサポートが可能となると言える。
【0108】
特に、便性を含めたラベルで分類できることで、撮像データ内の排泄物に複数の便性が確認できる場合においても、正確な分類が可能となる。さらに、排泄開始と排泄終了付近で便性に違いがある場合には、適切な措置のためのアセスメントのために利用することもでき、排泄管理を容易に行うことができるようになる。また、便性判定は、画像の領域分割と併せて、つまり分類時に、1回の処理で行うこともできるため、リアルタイム分析が可能となる。
【0109】
第三の効果は、本実施形態では画素単位での分類により結果的に領域ごとの分類を行うことになるため、便器や便座についてメーカの違いや種類の違いによる便器内の撮像データの違いに影響を受けない点である。さらに、この効果により、機械学習によっても精度が悪化する要因(学習済みモデルを用いることを阻害する要因)とならず、機械学習が適用できるため、高い精度が出せる、といった効果も奏する。
【0110】
第四の効果は、領域ごとの分類を行うにより、排泄物だけでなくおしり洗浄機の判別も精度良く実施することが可能であり、おしり洗浄機を検出中の洗浄水の滴りを尿と区別できるため、排泄完了を正確に判断でき、介護者に正確な通知が可能となる点である。
【0111】
<実施形態3>
実施形態3では、大腸内視鏡検査前の状態確認のための機能を、実施形態1又は実施形態2に係る排泄物分析装置に組み込んだ排泄物分析装置について、並びにその処理について、
図11及び
図12を参照しながら説明する。本実施形態に係る排泄物分析装置は、大腸内視鏡検査前の状態確認装置、あるいは大腸内視鏡検査時期判定装置と称することができる。本実施形態について、実施形態2との相違点を中心に説明するが、実施形態1,2で説明した様々な例が適用できる。
図11は、本実施形態に係る排泄物分析装置(大腸内視鏡検査前の状態確認装置)の一構成例を示すブロック図である。
【0112】
図11に示すように、本実施形態に係る大腸内視鏡検査前の状態確認装置(以下、単に状態確認装置)5は、
図1の入力部1a、分類部1b、及び出力部1cにそれぞれ相当する入力部5a、分類部5b、及び出力部5cを備える。また、状態確認装置5は、実施形態2と同様に、
図2に示すシステムに組み込むことができるため、
図2及び
図3も参照しながら説明する。また、状態確認装置5は、その全体を制御する制御部(図示せず)及び通信部(図示せず)を備えることができ、この制御部は上述した入力部5a、分類部5b、出力部5c、判定部5d(、及び後述する算出部)の一部を備えることができる。
【0113】
但し、出力部5cで出力される内容は、後述するように出力部1cで出力される内容とは異なる。出力部5cでの出力先は、基本的に大腸内視鏡検査のスタッフの端末装置50、あるいは被検査者の端末装置、あるいはサーバ40とすることができる。但し、サーバ40は、そのスタッフの端末装置50又は被検査者の端末装置に情報を転送可能であるか、あるいはその情報を端末装置50又は被検査者の端末装置から閲覧可能に保存しておくものとする。
【0114】
さらに、本実施形態に係る状態確認装置5は、判定部5dを備える。判定部5dは、分類部5bでの分類結果に基づき、トイレの使用者が大腸内視鏡検査前の前処置を終了しているか否かを判定する。この判定基準については問わないが、基本的に前処置が終了していると判定できるような基準である必要があり、例えば、便性が水様便で且つ便色が透明又は黄色みがかった透明であった場合に、前処置が終了していると判定する。
【0115】
このような判定を可能にするため、本実施形態における分類部5bは、排泄物としての便についての、予め定められた複数の便性への分類及び予め定められた複数の便色への分類も併せて実行するものとする。そして、出力部5cは、分類部5bでの分類結果として又は分類部5bでの分類結果の一部として、判定部5dでの判定結果を出力する。出力先は、例えば大腸内視鏡検査スタッフの端末装置50、あるいは被検査者の端末装置など、予め設定しておくことができる。大腸内視鏡検査スタッフは、検査者であり、医師や看護師がそれに該当する。なお、被検査者の端末装置は、携帯電話機(スマートフォンと称されるものも含む)、タブレット、モバイルPCなど、可搬型の端末装置とすることができるが、設置型のPC等の装置であっても、自宅等で判定結果を見る場合には問題ない。
【0116】
本実施形態に係る状態確認装置5は、このような判定結果を出力できるため、被検査者(受診者)及び検査者の負担軽減が可能となる。
【0117】
また、状態確認装置5は、分類部5bでの分類結果に基づき、便の量である便量を算出する算出部(図示せず)を備えることもできる。便量は、例えば
図6の分類画像Img-rを得て、便に分類される領域の合計面積として、あるいは分類画像Img-rにおける対象物(便と分類された領域)の一定サイズ内で占める合計面積として、算出することができる。なお、この算出は、推定であってもよい。この場合、判定部5dは、分類部5bでの分類結果及び算出部で算出された便量に基づき、トイレの使用者が前処置を終了しているか否かを判定する。特に便量は、流す前のタイミングでの最後の画像を用いた分類結果に基づき算出することが好ましい。
【0118】
また、本実施形態に係る状態確認装置5は、判定部5dを備えず、判定部5dをサーバ40側に備え、分類結果をサーバ40に出力するように構成すること、つまり複数の装置に機能を分散したシステムとして構成することもできる。なお、分類結果は分類画像として出力することもできるが、画像として構築された分類結果でなくてもよい。つまり、この構成においては、サーバ40は、予め保存した判定用のデータベースを使用するなどして、自動で大腸内視鏡検査前の前処置が終了しているか否かの判定を実施する機能を備えることになる。サーバ40は、受信した分類結果を、上記機能に与えて判定結果を得ることができる。上記機能はプログラムとしてサーバ40に組み込むことができる。このような構成においても、本実施形態では、被検査者及び検査者の負担軽減が可能となる。また、状態確認装置5は、単体の装置として構成する場合も分散させたシステムとして構成する場合でも、少なくとも撮像データを取得する光学カメラ及び通信機器が自宅のトイレに設置してあれば、次の効果を奏する。即ち、このような構成における状態確認装置5は、被検査者が自宅に居ながら、被検査者及び検査者の少なくとも一方が判定結果を知ることができるといった効果を奏する。
【0119】
さらに、本実施形態では、例えば光学カメラ及び通信機器など、撮像装置と通信機器とを便器側に設置しておけば、その他の処理をサーバ40側で実行するような構成を採用することもできる。
【0120】
次に、
図12を参照しながら
図11の状態確認装置5の処理例について説明する。
図12は、
図11の状態確認装置5における処理例を説明するためのフロー図である。ここで説明する動作内容は、主に
図3におけるCPU11aが主体となって各部を制御しながらなされることができる。なお、サーバ40側に一部の機能が備えられる構成例においても、情報の送受が追加され且つ一部の動作で動作の主体が変わるだけで、以下の処理例と基本的に同様の処理となる。
【0121】
以下では、例えば
図10で例示した処理により、リアルタイム分析がなされ分類結果が得られた後の処理について、主に説明する。まず、リアルタイム分析が完了したか否かがチェックされる(ステップS21)。ステップS21で未完了であった場合(NOの場合)、完了するまで待機することになる。完了した場合(ステップS21でYESの場合)、状態確認装置5は、便性の分析結果(分類結果)が水様便(例えば
図6の凡例における「便性7」、又は便の割合がそれ以下である「水」)であるか否かを判定する(ステップS22)。この判定は、例えば、分類画像Img-rにおいて、
図6の凡例における「水」及び「便性7」以外の便の領域がないか否かの判定とすることができる。一部でも便性1~6に分類される領域が存在した場合には、前処置が終わっていないことを意味するためである。
【0122】
ステップS22でYESの場合には、状態確認装置5は、便色分析結果の判定に進み、便色分析結果が「透明」もしくは「黄色みがかった透明」のいずれかであるか、それ以外かを判定する(ステップS23)。ステップS23でYESの場合には、状態確認装置5は、前処置判定の条件に合致するものとして、前処理判定が検査OKであったとする判定結果を生成する(ステップS24)。次いで、状態確認装置5は、トイレのユーザである被検査者の端末装置及びスタッフの端末装置50の少なくとも一方に、前処理判定結果(ここでは検査OK)を示す通知(前処理判定通知)を送信し(ステップS25)、処理を終了する。無論、ステップS22,S23の判定の順序は問わない。
【0123】
これにより、被検査者は検査可能状態であることを知ることができ、その旨をスタッフに伝えることができる。あるいは、スタッフは被検査者が検査を行ってもよい状態であると判断でき、その被検査者への検査体制が整った段階で、その被検査者に声掛けを行うことができる。特に検査者への通知に関しては、文字情報として通知しなくても、インターカム等により自動音声で通知することで、検査者の文字情報の閲覧の手間を省くことができる。
【0124】
一方、ステップS22でNOの場合やステップS23でNOの場合には、状態確認装置5は、前処置判定の条件に合致しないものとして、前処理判定が検査NGであったとする判定結果を生成する(ステップS28)。次いで、状態確認装置5は、被検査者の端末装置及びスタッフの端末装置50の少なくとも一方に、検査NGを示す前処理判定通知を送信し(ステップS25)、処理を終了する。検査OKを示す前処理判定通知を得るまで、必要に応じて時間を空けて被検査者は排泄を行うこと、あるいはスタッフが被検査者に排泄を促すことができる。
【0125】
また、図示しないが、状態確認装置5は、ステップS24の処理後、及びステップS28の処理後、サーバ40に分析結果を出力することもできる。この分析結果には、前処理判定の結果も含むことができるが、例えば検査OKになった場合のみ前処理判定の結果を含むこともできる。なお、撮像データについては、プライバシーの観点並びに送信データ量の削減の観点からサーバ40への送信は行わないことを基本とするが、例えばサーバ40を管理する権限を持つ者のみがアクセス可能とした前提で、サーバ40へ送信するようにしてもよい。
【0126】
以上に説明したように、本実施形態では、実施形態2で説明した効果に加えて、例えば以下のような効果を奏する。
【0127】
第一の効果は、光学カメラと機械学習の組み合わせで識別した排泄物の内容を自動で判定することにより、これまで行われていた人(特に被検査者)に依存した判定基準のばらつきを低減できる点である。
【0128】
第二の効果は、リアルタイム分析によりトイレ内で発生しているイベント(着座、排泄、異物検出等)を通知することで、即時性をもって被検査者の検査前作業の状況を把握できるため、検査者が被検査者の排泄につきっきりの状況から解放される点である。これにより、検査者の時間的負担が軽減されることになる。
【0129】
第三の効果は、光学カメラで撮影した画像について分析を行う際、トイレセンサで全ての分析処理を行うため、画像データについては第三者の目に触れることがなく、被検査者のプライバシーに関する精神的負担が軽減される点である。
【0130】
第四の効果は、第二及び第三の効果に伴い、検査者にとっては被検査者のプライバシーを侵害することないため、逆の立場としての精神的負担が軽減される点である。
【0131】
第五の効果は、排泄物の分析結果を記録したデータベースを用いて判定を行うことにより、今まで行っていた検査前判定の基準精度の向上が見込める点である。
【0132】
第六の効果は、リモートで検査前判定結果を確認できるため、万が一、被検査者が感染性の疾病を持っていたとしても、検査前作業における検査者への感染リスクを回避することができる点である。
【0133】
第七の効果は、一般的な形状の便器(洋式便器)に対して取り付け可能であり、単一的な型式の製品として生産して流通させることが可能であり、単価を安くでき且つ持ち運びも可能である点である。
【0134】
<実施形態4>
実施形態3では、大腸内視鏡検査前の状態確認装置として、実施形態1又は実施形態2に係る排泄物分析装置を含む装置を用いることを前提としたが、係る排泄物分析装置を用いないこともできる。実施形態4では、被撮像物質の分類方法を問わずに、大腸内視鏡検査前の状態確認を行う例について、説明する。実施形態4に係る状態確認装置の構成要素は、
図11で説明した状態確認装置5と同じであり、各構成要素の一部において処理の詳細が異なるだけであるため、本実施形態でも
図11と
図2及び
図3等を参照しながら説明する。なお、本実施形態においても、相反する処理例以外については、基本的に、実施形態1,2を援用する実施形態3で適用した様々な例が適用できる。
【0135】
図11に示すように、本実施形態に係る状態確認装置5も、実施形態3に係る状態確認装置5と同様に、入力部5a、分類部5b、出力部5c、判定部5dを備える。
【0136】
簡単に各部について説明すると、入力部5aは、トイレの便器における排泄物の排泄範囲を撮像範囲に含めるように設置された撮像装置で撮像された撮像データを入力する。分類部5bは、入力部5aで入力された撮像データに対し、被撮像物質を分類する。判定部5dは、分類部5bでの分類結果に基づき、トイレの使用者が大腸内視鏡検査前の前処置を終了しているか否かを判定する。出力部5cは、判定部5dでの判定結果を、トイレの使用者を大腸内視鏡検査の被検査者として監視する大腸内視鏡検査スタッフ及びその被検査者の少なくとも一方への通知情報として出力する。
【0137】
また、本実施形態に係る状態確認装置5においても、実施形態3で説明した算出部を備える構成も採用することができる。この算出部は、分類部5bでの分類結果(特に後述する第2分類部での分類結果)に基づき、便の量である便量を算出する。例えば、この算出部は、後述する第2分類部での分類結果に基づき便量を算出することができる。なお、便に分類されなければ便量はゼロとして算出できる。そして、判定部5dは、分類部5bでの分類結果及び算出部5eで算出された便量に基づき、トイレの使用者が前処置を終了しているか否かを判定することができる。
【0138】
また、本実施形態に係る状態確認装置5も、その全体を制御する制御部(図示せず)及び通信部(図示せず)を備えることができ、この制御部は上述した入力部5a、分類部5b、出力部5c、判定部5d(、及び算出部)の一部を備えることができる。
【0139】
但し、本実施形態における分類部5bは、被撮像物質のうちの排泄物として、便、尿、尿滴りのいずれか、あるいは便、尿、便+尿、尿滴りのいずれかに分類するとともに、予め定められた複数の便性への分類及び予め定められた複数の便色への分類も実行する。
【0140】
つまり、本実施形態における分類部5bは、被撮像物質の分類をこのように実行できればよく、実施形態1~3で説明したセマンティックセグメンテーションを、全く用いなくても、一部にのみ用いてもよい。以下では、分類部5bは、分類処理として、後述する1次分類(1次分析)及び2次分類(2次分析)を実行し、1次分析にのみセマンティックセグメンテーションを用いる例を説明する。但し、セマンティックセグメンテーションは、例えば2次分析にのみ用いることや、1次分析及び2次分析の双方で用いないこともできる。
【0141】
ここでは、分類部5bは、図示しないが、1次分析を行う第1分類部と2次分析を行う第2分類部とを備えることができる。分類部5bは、1次分析後に2次分析も行うため、2次分析まで分析対象とする撮像データを一時的に保持しておく保持部を備えるものとする。この保持部は、メモリ等の記憶装置とすることができる。
【0142】
第1分類部は、被撮像物質を、排泄物、便器20への破棄が許容されない異物、及び、その他の物質のいずれかに分類するとともに、排泄物としては便、尿、尿滴りのいずれか、あるいは、便、尿、便+尿、尿滴りのいずれかに分類する。本実施形態においても、上記その他の物質は、おしり洗浄機、トイレットペーパー、及び、排泄物が流された後の物質のうちの少なくとも1つを含むことができる。第1分類部は、撮像データの取得に伴い、リアルタイムで実行することができる。
【0143】
そして、本実施形態における判定部5dは、第1分類部での分類結果が便以外となった場合に、トイレの使用者が前処置を終了していないと判定する。そのため、出力部5cは、判定部5dでの判定結果が前処置を終了していないことを示す場合に、通知情報として、大腸内視鏡検査が未だ実施できないことを示す情報を出力することができる。
【0144】
また、出力部5cで出力される通知情報は、第1分類部での分類結果を含むことができる。この場合の通知情報は、その分類結果を示す情報を含めばよく、その分類結果に応じて予め定められた情報とすることもできる。例えば、通知情報は、撮像データに異物が写っていた場合に、異物が混入している旨を通知する情報とすることができる。特に、通知情報は、第1分類部での分類結果を、分類毎に色分けして描画した分類画像を含むことができる。この分類画像は、例えば
図6の分類画像Img-r等で例示したものとすることができる。また、第1分類部による分類結果となる排泄情報は、排泄情報を収集し管理するサーバ40を出力先として出力されることもできる。
【0145】
また、第2分類部は、第1分類部で便に分類された場合に、撮像データに対し、被撮像物質を、複数の便性及び複数の便色に分類する。第2分類部は、第1分類部での分類の後、保持部に保持された撮像データに基づき分類を実行することができ、第1分類部の処理より精度が求められるため、非リアルタイムで実行されることができる。
【0146】
さらに、本実施形態における判定部5dは、第1分類部での分類結果が便となった場合に、第2分類部での分類結果に基づき、トイレの使用者が前処置を終了しているか否かを判定する。また、第1分類部での分類結果が便以外の場合には、第2分類部での分類を中止するとともに、前処置が終了していないことを示す排泄完了通知を行うこともできる。
【0147】
また、出力部5cで出力される通知情報は、第2分類部での分類結果を含むことができる。この場合の通知情報は、その分類結果を示す情報を含めばよく、その分類結果に応じて予め定められた情報とすることもできる。例えば、通知情報は、便性に変化があった旨を通知する情報とすることもできる。特に、通知情報は、第2分類部での分類結果を、分類毎に色分けして描画した分類画像を含むことができる。この分類画像は、例えば
図6の分類画像Img-r等で例示したものとすることができる。また、第2分類部による分類結果となる排泄情報は、排泄情報を収集し管理するサーバ40を出力先として出力されることもできる。
【0148】
以上のように、状態確認装置5は、カメラから取得した撮像データの分析を、主に即時性が求められる通知を目的とした1次分析と即時性を求められない通知(及び記録)を目的とした2次分析とに分けている。これにより、状態確認装置5は、内蔵されるCPU等の制御部を省スペース且つ省電力のものとすることができる。これは、状態確認装置5が、分析処理のうち即時性が求められる機能とそれ以外の機能とに分けることにより、限られた計算リソースを効率よく使用していることを意味する。さらに、状態確認装置5は、カメラから取得した撮像データ、その他の画像データをクラウド等の外部に送信する必要がなく、トイレに設置した自機のみで排泄物の分析を行うことができる。つまり、状態確認装置5において分析で用いられる画像や映像は全て状態確認装置5内で処理され、画像や映像が外部に送信されることはない。従って、状態確認装置5は、使用者のプライバシーに関する精神的負担の軽減にもつながる構成となっていると言える。
【0149】
以上、状態確認装置5によれば、トイレの使用者へのプライバシーへの配慮を行いつつ、トイレの使用者から聞き取る必要なく大腸内視鏡検査の前処置の完了判定を行うことができる。また、状態確認装置5では、便器に排泄した排泄物の内容を示す情報を正確に収集し、且つ、監視者への即座の通知が必要な場面にも対応できる。つまり、状態確認装置5では、介護等の監視における排泄管理の負担軽減のためにトイレにセンサを設置する改善が図られる中、トイレの使用者へのプライバシーに配慮と通知及び記録との両面を実現することができる。ここでの通知及び記録は、介護現場等の監視現場での即時性イベントの通知及び正確な情報の記録となる。よって、状態確認装置5によれば、監視者やトイレ使用者の肉体的・精神的負担を軽減することができる。
【0150】
以上のように、状態確認装置5では、1次分析結果として排泄開始、異物検出、排泄物検出、排泄完了を得ることができ、2次分析結果として便性、便色、便量を得ることができる。いずれの分析結果も端末装置50から閲覧可能な状態でクラウド上のサーバ40に記録されることができ、また、端末装置50に送信するように構成することもできる。また、サーバ40が、受信した分析結果を蓄積しておき、蓄積したデータからさらなる分析を行い、その分析結果を端末装置50に通知又は端末装置50から閲覧可能に構成することもできる。
【0151】
また、状態確認装置5又はそれを含む本システムでは、ユーザが1人であることを前提に個人宅で使用することもできるが、ユーザが複数存在することを前提としてユーザを識別する機能をもたせることが好ましい。この機能については、第2カメラ15bで取得された顔画像データやBluetoothモジュール14bで得られた識別データを利用して説明した通りである。これにより、ユーザ名とともに、入室通知、退出通知、着座通知、退座通知、排泄開始通知、排泄完了通知、前処置判定通知などを検査者や被検査者に通知することや、ユーザ毎に詳細な排泄情報をカルテに記録することが可能となる。
【0152】
次に、
図13、
図3、
図2を参照しながら、1次分析(事前分析)としてのリアルタイム分析及び2次分析(本分析)としての非リアルタイム分析について概略的に説明する。
図13は、状態確認装置5における処理例を説明するための概念図である。
【0153】
本実施形態では、第2外付けボックス11は、次のような機器を備えることになる。この機器は、第1カメラ16bで撮像した撮像データ(画像データ)をもとに行う1次分析としてのリアルタイム分析と、その画像データとリアルタイム分析結果とをもとに行う2次分析としての非リアルタイム分析と、を実行する機器である。また、第2外付けボックス11は、その機器の制御に従い、イベント発生時に検査者や被検査者への通知及び分析結果のサーバ40への送信を行う通信機器14を備える。CPU11aが必要に応じて各要素11b,11c,11dを介して他の部位とデータの送受を行いながら、リアルタイム分析及び非リアルタイム分析を実行する。なお、この例では、CPU11aに、保持部の例としてのメモリも備えることができる。
【0154】
図13に示すように、トイレに設置された分析機能付き便器30をユーザPが利用し、ユーザPの検査者Cがその状態を監視する例を挙げる。但し、本実施形態における分析機能付き機器30には判定部5dの判定機能も付いていることになる。ユーザPが分析機能付き便器30を利用する場合、CPU11aは、着座センサとして機能する距離センサ16aからの検知結果に基づきユーザが便座に着座したことを検知する。CPU11aは、着座を検知すると、第1カメラ16bに撮影開始を指示し、撮像された撮像データをもとに1次分析31aを行う。CPU11aは、1次分析31aとして異物判定等を行うことができる。
【0155】
CPU11aは、1次分析31aの結果、異物検出など即時に検査者への通知が必要な場合、WiFiモジュール14aを介して、通知情報(1次分析通知32a)をトイレから離れた場所にいる検査者Cの端末装置50に送信する。このように、CPU11aは、異物が含まれるか否かを示す異物情報(異物判定結果を示す異物情報)を端末装置50に送信することができる。この異物情報は、通知情報の少なくとも一部として出力されることとなる。これにより検査者Cは被検査者であるユーザPの排泄の際に同伴する(付きっきりとなる)状況から解放され、1次分析通知32aにより、緊急時には駆け付けるなども対応51や被検査者が検査前作業を開始したことについてカルテへのロギングも可能となる。ここで、送信される1次分析通知32aには、撮像データは含まれない。
【0156】
CPU11aは、1次分析31aの終了後、撮像データと1次分析結果をもとに、より詳細な排泄物分析である2次分析33aを実行する。そのため、CPU11aにおける保持部は、1次分析結果を第2分析対象データの一部として一時的に保持しておく。CPU11aは、サーバ40への2次分析結果の送信34aを、WiFiモジュール14aを介して実行する。また、ユーザPの検査者Cは、端末装置50において、受信した通知情報に基づき、適宜、サーバ40に保存されたユーザPの詳細な排泄情報の参照52を行いながら、ユーザPのカルテの記録54を実行する。
【0157】
このように、1次分析31aと2次分析33aの分析結果は、分析結果送信34aが通信機能により実行されることで、サーバ40に送信される。分析結果送信34aは撮像データを含めずに送信されるが、今後の前処置判定の学習データの用途として、システムを管理する権限を持つ者のみがアクセス可能としてクラウド上に保存してもよい。分析結果送信34aと並行して、前処置判定結果を2次分析通知32bとして、端末装置50に送信され、カルテに記録(ロギング)されることになる。サーバ40に記録された情報は、検査者がカルテの作成54や、検査者が事後にログを確認するといった用途にも利用可能である。
【0158】
1次分析31aと2次分析33aの内容について、
図14~
図16を参照しながら説明する。
図14~
図16は、状態確認装置5での処理例を説明するための図である。
【0159】
まず、
図14を参照しながら、1次分析と2次分析の入力、手法、及び出力の一例について説明する。1次分析は、検査者Cへの通知などリアルタイム性が求められる分析である。1次分析は、第1カメラ16bで撮像した画像のデータ(撮像データ)を入力とし、例えば、セマンティックセグメンテーションを用いて次の6種類のいずれであるかを分類し、分類結果を出力とすることができる。6種類とは、異物(おむつ、尿漏れパット等)、便、便+尿、尿、尿滴り、おしり洗浄機である。
【0160】
なお、セマンティックセグメンテーションは、排泄等がなされる前の画像(背景画像)とその後の画像(排泄中や排泄完了後の画像)とのを比較に用いることもできる。例えば、学習モデルへの入力として、背景画像とその後の画像を入力し、6種類のいずれに該当するかを出力することができる。或いは、前処理として背景画像からのその後の画像の差分画像を得ておき、その差分画像を学習モデルへ入力し、6種類のいずれに該当するかを出力することができる。なお、おしり洗浄機に分類された場合には排泄が完了したと判定することができる。これらの分類種別は、リアルタイム通知のトリガとなる事象の例である。
【0161】
このように、1次分析では、撮像データを入力し通知情報を出力する学習済みモデルを用いて、撮像データから通知情報を得ることができる。通知情報は、例えば、その分類結果に対応して予め定められた情報とすることができる。これにより、状態確認装置5では、通知情報として、例えば排泄の開始と完了、排泄物への異物混入などの情報を検査者等に通知することができ、検査者等はリアルタイムでこれらの情報を得ることができる。なお、学習済みモデルのアルゴリズム(機械学習のアルゴリズム)や階層数等のハイパーパラメータなどは問わず、機械学習により生成すればよい。また、ここでの機械学習は教師データの有無は問わない。但し、この例では学習済みモデルとしてセマンティックセグメンテーションを実行するモデルを用い、教師データがあるものとする。また、1次分析で用いられる学習済みモデルは複数であってもよく、例えば上記の6種類のうち少なくとも1種類とそれ以外の種類とは異なる学習済みモデルを用いることもできる。
【0162】
2次分析は、例えば、第1カメラ16bからの撮像データと1次分析結果とを入力とし、DLとImage Processing(IP)の2つの手法により分析を行うことができる。例えば、DLを用いた分析は便性を出力し、IPを用いた分析は便色、便量、及び尿色を出力することができる。便性の分析にもセマンティックセグメンテーションを用いることができる。なお、ここでは、1次分析を2次分析の前処理として取り扱っている。2次分析では、DL及びIPを用い、この前処理を実施した分析結果(画像であってもよい)と学習しているデータとの比較を実行して便性や便色等を出力する。
【0163】
ここでもDL技術は、排泄等がなされる前の画像(背景画像)とその後の画像(排泄中や排泄完了後の画像)とのを比較に用いることができる。例えば、学習モデルへの入力として、1次分析での分類結果、背景画像、及びその後の画像を入力し、便性を出力することができる。或いは、前処理として背景画像からのその後の画像の差分画像を得ておき、1次分析での分類結果とその差分画像を学習モデルへ入力し、便性を出力することができる。また、1次分析での分類結果が便を含むものである場合に限り、2次分析でのDLによる分析を実行するようにしてもよく、その場合には学習済みモデルへの入力に上記分類結果は不要となる。また、IPでの処理方法は問わないが、求める詳細な排泄情報が得られればよい。例えば、画像の特徴を抽出するなどして予め保存した比較対象画像とのマッチング処理を行い、合致率が高い比較対象画像が示す便色等を出力することができる。なお、2次分析では、全ての出力をIP又はDLの一方により得るようにしてもよい。
【0164】
このように、2次分析では、第2分析対象データ(1次分析結果を含むことができる)を入力し排泄情報を出力する学習済みモデルを用いて、第2分析対象データから詳細な排泄情報の少なくとも一部を得ることができる。なお、学習済みモデルのアルゴリズム(機械学習のアルゴリズム)や階層数等のハイパーパラメータなどは問わず、機械学習により生成すればよい。また、ここでの機械学習は教師データの有無は問わない。また、1次分析で用いられる学習済みモデルは複数であってもよい。さらに、上述したように、2次分析では、第2分析対象データを画像処理して、詳細な排泄情報の少なくとも一部を得ることができる。上述のように、この画像処理の方法などは問わず、求める詳細な排泄情報が得られればよい。
【0165】
図15を参照しながら、1次分析の詳細例を示す。1次分析は、異物、排泄の種類、おしり洗浄機を判定の対象とすることができる。まず光学カメラである第1カメラ16bで撮影した画像(撮像データ)をもとに異物検出を行う。異物検出は常に実施されることができ、異物検出時には検査者へ通知を行う。その後、着座のタイミングで撮影した画像を背景画像とし、その後、一定周期で撮影した画像を前処理した前処理画像(及び/又は付加情報)を元に、一定周期でDLにより排泄物に対する便、便+尿、尿、尿滴りの判定を行う。この判定は離座のタイミングまで行う。ここで、背景画像においては分析対象外となる人体あるいは内部機器等が映り込まないように、人体部分を検知した場合は分析対象外として黒塗りする加工(マスク処理)を施すことが好ましい。背景画像取得後に一定周期で撮影した画像に対しても、背景画像と同様のマスク処理を施しておくことが好ましい。上記の付加情報は、撮影日時等の情報を含むことができ、例えば上記一定周期を加味した統計値を示す情報、広さなどの面積を示す情報などとすることもできる。また、同様の方法及びタイミングにより、おしり洗浄機の検出も行い、おしり洗浄機が検出されたタイミングで便、便+尿、尿、尿滴りの判定を終了する。
【0166】
但し、1次分析においてセマンティックセグメンテーションを用いる場合には、例えばマスク処理後の撮像データを入力してこれらの分類を一度の処理として行うことができる。一方で、
図15で例示したように、1次分析は、そのタイミングによって異なる対象の分類を行うことができる。その場合、タイミングによって対応する学習済みモデルに切り替え、タイミングに応じた(つまり分類対象に応じた)学習済みモデルを用いて分類を行うことができる。
【0167】
このように、CPU11aは、1次分析結果として、便器に設置されたおしり洗浄機の使用状況を示す情報及び便器に着座がなされたことを示す情報の少なくとも一方の情報を、通知情報の少なくとも一部として端末装置50に送信するようにしてもよい。上述のように、おしり洗浄機の使用状況を示す情報は、撮像データの1次分析結果として得ることができる。使用時には洗浄液を吐出させるノズル又は洗浄液自体が撮像データの被写体として含まれるためである。また、便器に着座がなされたことを示す情報は、距離センサ16aで例示した着座センサにより得ることができる。このように、1次分析は、撮像データ以外の情報も使用して実行することもできる。なお、おしり洗浄機の使用状況は、撮像データの分析でなくても、例えばおしり洗浄機と接続しておけばそこから情報を得ることでもCPU11aは知ることができる。
【0168】
図16を参照しながら、2次分析の詳細例を示す。2次分析は、背景画像と入力画像の選択により、全て1次分析にて前処理を実施したものに対して分析を行うことができる。背景画像と入力画像の選択は、判定対象に各々適した組み合わせとすることで、詳細な分析を実施する。組み合わせ例について説明すると、まず、便性には着座後の画像を背景画像に、入力画像には最後の便画像を選択する。便のみの場合又は尿のみの場合には同様に、便色、便量、尿色についても対象画像を選択する。但し、尿色については便ではなく尿画像とする。便+尿の場合には、背景画像は尿便前の最後の尿画像、入力画像に最後の尿便画像を用いる。なお、尿量の分析も行うこともでき、その場合には、背景画像を使用せずに、入力画像として尿滴り判定された全ての画像を用いる。
【0169】
特に、本実施形態では、前処置判定として便性、便色、便量を判定材料とし、腸内に残便が無いという情報を得るために、水様便且つ便色が「黄色みがかった透明」あるいは「透明」という色の判定を行う。そして、本実施形態では、このような判定により、前処置判定結果として検査実行の可否の情報を得る。
【0170】
このように、2次分析では、取得した撮像データから便性、便色、の識別及び便量の算出を実行し、詳細な排泄情報を出力することができる。また、2次分析では、便量や尿量に関しては、閾値処理を施し所定閾値を超えたか否かを示す情報を、詳細な排泄情報とすること、或いは詳細な排泄情報に追加することもできる。これらの閾値処理の結果として出力される詳細な排泄情報は、端末装置50にも直接又はサーバ40を経由して送信(通知)されることが望ましい。このような通知(警告を含む場合がある)により、検査者は対処が必要な事象を把握することができるようになる。
【0171】
次に、
図17を参照しながら1次分析処理の手順の一例について説明する。
図17は、状態確認装置5での処理例を説明するためのフロー図で、ユーザがトイレに入室し、トイレ便座への着座をトリガとする1次分析の動作内容の一例を示すフロー図である。ここで説明する動作内容は主にCPU11aが主体となって各部を制御しながらなされることができる。
【0172】
まず、着座センサとして機能する距離センサ16aの反応の有無がチェックされる(ステップS51)。ステップS51で反応がない場合(NOの場合)、着座センサが反応するまで待機することになる。ユーザとしての被検査者が着座した場合には距離センサ16aが反応することになり、ステップS51でYESとなる。ステップS51でYESとなった場合、端末装置50に着座が通知される(ステップS52)とともに、1次分析が開始される(ステップS53)。なお、着座の前に人感センサ15aによって入室が検知された場合には、端末装置50に入室を通知することもでき、退室についても同様である。
【0173】
1次分析では、第1カメラ16bによる便器内撮影を実行し、まず正常に識別できるか否かが判定される(ステップS54)。異常が検出された場合(ステップS54でNOの場合)、検査者の端末装置50及び被検査者の端末装置の少なくとも一方に異常通知が送信される(ステップS55)。ここで、端末装置50に送信される場合とは、検査者が被検査者の代わりに前処置判定を確認する場合に該当し、被検査者の端末装置とは被検査者が自身で前処置判定する場合に該当し、この関係性については以降の処理においても同様である。このように、正常に便器内の撮影ができない場合にも、その旨を示す通知情報が検査者の端末装置50及び被検査者の端末装置の少なくとも一方に送信されることが好ましい。一方で、正常に識別できた場合(ステップS54でYESの場合)、詳細な分析に進み、まず撮影画像の前処理が実行される(ステップS56)。
【0174】
ステップS56において撮影画像の前処理が実施された後、検出対象物が異物、排泄物、おしり洗浄機のいずれに該当するかの分類が実行される(ステップS57)。異物が検出された場合には、検査者の端末装置50に異物検出通知がなされる(ステップS8)。排泄物が検出された場合、検査者の端末装置50及び被検査者の端末装置の少なくとも一方に排泄通知(排泄がなされたことを示す通知情報の送信)がなされる(ステップS59)とともに、排泄物分析が実行される(ステップS60)。この排泄物分析により、便、便+尿、尿、尿滴りのいずれであるかの分類がなされる。ステップS60の処理後は、ステップS54に戻る。
【0175】
ステップS57で検出された検出対象物がおしり洗浄機であった場合には、排泄完了と判断し、検査者の端末装置50及び被検査者の端末装置の少なくとも一方に排泄完了通知(排泄が完了したことを示す通知情報の送信)がなされる(ステップS61)。ステップS61の排泄完了通知に伴い、1次分析を終了する(ステップS62)。また、着座センサの反応がなくなった時点ではじめて排泄完了通知を送信するようにしてもよい。おしり洗浄機は2回以上使用することがあるためである。なお、ステップS55の後、ステップS58の後も1次分析が終了する。
【0176】
図18~
図20を参照しながら2次分析処理の手順の一例について説明する。
図18及び
図19は、状態確認装置5での処理例を説明するためのフロー図で、2次分析の動作内容の一例を示すフロー図である。ここで説明する動作内容は主にCPU11aが主体となって各部を制御しながらなされることができる。また、
図20は、
図18の処理例における2次分析に含まれる便色分析の一例である。なお、便性分析の一例は
図7を再度参照して説明する。
【0177】
図17で例示した1次分析は、省スペース省電力CPUで分析を行いつつ、被検査者あるいは検査者への即時性を求められる通知を実現するために必要最低限の分析を実行している。これに対し、2次分析では排泄物についてより詳細の分析を行う。
【0178】
まず、1次分析が完了したか否かが判定され(ステップS71)、完了した場合(YESとなった場合)、2次分析が開始される(ステップS72)。或いは、ユーザ識別機能を備えていれば、ユーザ毎に所定排泄回数の超過(又は所定期間の経過)が生じたか否かを判定し、生じた場合に2次分析が開始されるようにしてもよい。
【0179】
2次分析の入力とそれぞれの分析方法は
図16を参照して説明した通りとすることができるが、まず、1次分析結果が判定され(ステップS73)、その結果により異なる処理が実施されることになる。
【0180】
ステップS73において1次分析結果を判定した結果が尿、尿滴りあるいは便+尿の場合、前処置判定の対象となる便以外のものが混入しているため適正に判断できないという理由で、前処置判定は検査NG(検査を行ってはいけない)とする。具体的には、状態確認装置5は、この場合には前処置判定の条件に合致しないものとして、前処理判定が検査NGであったとする判定結果を生成する(ステップS83)。次いで、状態確認装置5は、被検査者の端末装置及びスタッフの端末装置50の少なくとも一方に、検査NGを示す前処理判定通知を送信し(ステップS80)、ステップS81へ進む。検査OKを示す前処理判定通知を得るまで、必要に応じて時間を空けて被検査者は排泄を行うこと、あるいはスタッフが被検査者に排泄を促すことができる。
【0181】
ステップS73での1次分析結果が便の場合、便性分析(ステップS74)、便色分析(ステップS75)、及び便量分析(ステップS76)がなされる。無論、これらの順序は問わない。なお、ステップS73での1次分析結果が尿、尿滴りの場合、尿色分析を行うことができ、また尿量分析も行うこともできる。また、ステップS74~S76の各分析は、例えば、それぞれ個別の学習モデルを用いて実施することもできるが、複数の分析又は全ての分析を1つの学習モデルを用いて実施することもできる。
【0182】
ここで、ステップS74の便性分析では、最も信頼度の高い画像を用いて、DLによる学習済み画像との比較を行うことにより分析を行う。最も信頼度の高い画像とは撮像データが示す画像そのもの或いは撮像データを便性の分析に適した前処理方法により前処理して得た画像とすることができる。また、この便性分析では、例えば、
図7で示すブリストルスケールに準拠した形で分析を実施することができる。その分析の結果、
図7で示すようなタイプ1~7のいずれかに分類されることができる。
【0183】
また、ステップS75の便色分析では、例えば、
図20の画像61,62,63と順に遷移する処理手順で示すような前処理を行うことができる。ここで例示する前処理は、元画像61から広範囲を占める色の薄い部分を除去して画像62とし、その後、狭い同色領域を除去して画像63とする。そして、ステップS75の便色分析では、画像63のような、前処理により必要な情報を抽出(及び/又は付加)した画像を使用し、抽出した便の色と便基準色との距離計算を行い、抽出した便画像において最も多くの面積を占める色を便色とすることができる。例えば、画像63については、2色でなる便状のものが存在するが、そのうちより広い面積の色を便色とすることができる。なお、ここで付加される情報とは、例えば面積を示す情報などとすることもできる。
【0184】
なお、尿色分析を行う場合には、ステップS75の便色分析と同じ方法を採用することができるが、対象画像が便画像ではなく尿画像とし、基準色との距離計算と、最も面積を多く占める色を尿色とすることができる。
【0185】
ステップS76の便量分析では、排泄が終了した時点の画像に対して前処理にて抽出した便画像(例えば画像63、或いは1次分析結果など)を使用し、一定サイズ内での面積比として便量を算出(推定)することができる。但し、同じ面積であっても便性によって便量が異なるため、便性に対応した面積比と便量の基準値により算出するとよい。
【0186】
それぞれの分析が完了すると、状態確認装置5は、便性の分析結果(分類結果)が水様便(例えば
図6の凡例における「便性7」、又は便の割合がそれ以下である「水」)であるか否かを判定する(ステップS77)。この判定は、例えば、
図6の分類画像Img-rにおいて、
図6の凡例における「水」及び「便性7」以外の便の領域がないか否かの判定とすることができる。一部でも便性1~6に分類される領域が存在した場合には、前処置が終わっていないこと、つまり前処置判定の条件に合致しないことを意味するためである。
【0187】
ステップS77でYESの場合には、状態確認装置5は、便色分析結果の判定に進み、便色分析結果が「透明」もしくは「黄色みがかった透明」のいずれかであるか、それ以外かを判定する(ステップS78)。ステップS78でYESの場合には、状態確認装置5は、前処置判定の条件に合致するものとして、前処理判定が検査OKであったとする判定結果を生成する(ステップS79)。次いで、状態確認装置5は、トイレのユーザである被検査者の端末装置及びスタッフの端末装置50の少なくとも一方に、前処理判定結果(ここでは検査OK)を示す通知(前処理判定通知)を送信する(ステップS80)。無論、ステップS77,S78の判定の順序は問わない。
【0188】
ステップS80の処理後、状態確認装置5は、サーバ40に分析結果を送信し(ステップS81)、処理を終了する。この分析結果には、前処理判定の結果も含むことができるが、例えば検査OKになった場合のみ前処理判定の結果を含むこともできる。なお、撮像データについては、プライバシーの観点並びに送信データ量の削減の観点からサーバ40への送信は行わないことを基本とするが、例えばサーバ40を管理する権限を持つ者のみがアクセス可能とした前提で、サーバ40へ送信するようにしてもよい。
【0189】
これにより、被検査者は検査可能状態であることを知ることができ、その旨をスタッフに伝えることができる。あるいは、スタッフは被検査者が検査を行ってもよい状態であると判断でき、その被検査者への検査体制が整った段階で、その被検査者に声掛けを行うことができる。特に検査者への通知に関しては、文字情報として通知しなくても、インターカム等により自動音声で通知することで、検査者の文字情報の閲覧の手間を省くことができる。
【0190】
一方、ステップS77でNOの場合やステップS78でNOの場合には、状態確認装置5は、前処置判定の条件に合致しないものとして、前処理判定が検査NGであったとする判定結果を生成する(ステップS83)。次いで、状態確認装置5は、被検査者の端末装置及びスタッフの端末装置50の少なくとも一方に、検査NGを示す前処理判定通知を送信する(ステップS80)。ステップS80の処理後はステップS81の処理を行い、処理を終了することになる。検査OKを示す前処理判定通知を得るまで、必要に応じて時間を空けて被検査者は排泄を行うこと、あるいはスタッフが被検査者に排泄を促すことができる。
【0191】
また、本実施形態においては、トイレセンサとしては光学カメラ及び通信機器及び第1分類部だけ備え、サーバ40が他の処理を行うシステムとして構成することもできる。この構成例におけるサーバ40は、次のような受信部、第2分類部、判定部、及び出力部を備えることができる。以下、これらの構成要素について簡単に説明するが、基本的に第2分類部、判定部、及び出力部は
図13~
図20を参照して説明した同名の部位と同様である。
【0192】
この受信部は、第1分類部における第1分類処理を実行した分類結果を受信し、第1分類処理での分類結果が便に分類されたことを示す場合に撮像データを受信する。この構成例における第2分類部は、受信部で受信された撮像データに対し、被撮像物質を、予め定められた複数の便性及び予め定められた複数の便色に分類する。この構成例における判定部は、第2分類部での分類結果に基づき、トイレの使用者が大腸内視鏡検査前の前処置を終了しているか否かを判定する。この構成例における出力部は、判定部での判定結果を、トイレの使用者を大腸内視鏡検査の被検査者として監視する大腸内視鏡検査スタッフ及び被検査者の少なくとも一方への通知情報として出力する。
【0193】
この構成例においても、判定部は、受信部で受信された分類結果が便以外となった場合に、トイレの使用者が前処置を終了していないと判定することができる。また、この構成例における判定部は、受信部で撮像データを受信した場合に、第2分類部での分類結果に基づき、トイレの使用者が前処置を終了しているか否かを判定することができる。
【0194】
また、本実施形態においては、トイレセンサとしては光学カメラ及び通信機器だけ備え、サーバ40が他の処理を行うシステムとして構成することもできる。この構成例におけるサーバ40は、撮像データを受信できる受信部を備えればよく、状態確認装置5がサーバ40で実装される例に相当し、情報の送受の点で異なるのみであり、その詳細な説明は省略する。
【0195】
以上に説明したように、本実施形態では、実施形態3で説明した第一の効果、及び第三~第七の効果を奏することになる。また、本実施形態では、実施形態3で説明した第二の効果に関連し、次のような効果を奏することができる。即ち、本実施形態では、最初の1次分析によりトイレ内で発生しているイベント(着座、排泄、異物検出、前処置NG等)を通知することで、即時性をもって被検査者の検査前作業の状況を把握できる。よって、本実施形態でも、検査者が被検査者の排泄につきっきりの状況から解放され、検査者の時間的負担が軽減されるといった効果を奏する。
【0196】
<他の実施形態>
[a]
各実施形態において、排泄物分析装置、サーバ装置、大腸内視鏡検査前の状態確認装置の各装置や各装置とともにシステムを構成する端末装置等の各装置について、その機能を説明した。これらの装置はいずれも、図示した構成例に限ったものではなく、これらの装置としてこれらの機能が実現できればよい。
【0197】
[b]
実施形態1~4で説明した各装置は、次のようなハードウェア構成を備えてもよい。
図21は、装置のハードウェア構成の一例を示す図である。なお、上記他の実施形態[a]についても同様である。
【0198】
図21に示す装置100は、プロセッサ101、メモリ102、及び通信インタフェース(I/F)103を備えることができる。プロセッサ101は、例えば、マイクロプロセッサ、MPU(Micro Processor Unit)、又はCPUなどであってもよい。プロセッサ101は、複数のプロセッサを含んでもよい。メモリ102は、例えば、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。実施形態1~4で説明した各装置における機能は、プロセッサ101がメモリ102に記憶されたプログラムを読み込んで実行することにより実現される。この際、他の装置との情報の送受は通信インタフェース103又は図示しない入出力インタフェースを介して行うことができる。特に、装置100が排泄物分析装置又は状態確認装置である場合、装置100に内蔵又は外付けされた撮像装置の情報(撮像データを含む)の送受も通信インタフェース103又は図示しない入出力インタフェースを介して行うことができる。
【0199】
上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された1又はそれ以上の機能をコンピュータに行わせるための命令群(又はソフトウェアコード)を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory(RAM)、read-only memory(ROM)、フラッシュメモリ、solid-state drive(SSD)又はその他のメモリ技術、CD-ROM、digital versatile disc(DVD)、Blu-ray(登録商標)ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
【0200】
なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。
【0201】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0202】
(付記1)
トイレの便器における排泄物の排泄範囲を撮像範囲に含めるように設置された撮像装置で撮像された撮像データを入力する入力部と、
前記入力部で入力された撮像データに対し、セマンティックセグメンテーションを用いて画素単位で被撮像物質の分類を実行する分類部と、
前記分類部での分類結果を出力する出力部と、
を備える、排泄物分析装置。
(付記2)
前記分類部は、前記画素毎に、前記被撮像物質を、前記排泄物、前記便器への破棄が許容されない異物、及び、その他の物質のいずれかに分類する、
付記1に記載の排泄物分析装置。
(付記3)
前記分類部は、前記排泄物として、便、尿、尿滴りのいずれか、あるいは、便、尿、便及び尿、尿滴りのいずれかに分類する、
付記2に記載の排泄物分析装置。
(付記4)
前記分類部は、前記便についての予め定められた複数の便性への分類、前記便についての予め定められた複数の便色への分類、及び、前記尿についての予め定められた複数の尿色への分類、の少なくとも1つも併せて実行する、
付記3に記載の排泄物分析装置。
(付記5)
前記その他の物質は、臀部洗浄機、トイレットペーパー、及び、前記排泄物が流された後の物質のうちの少なくとも1つを含む、
付記2~4のいずれか1項に記載の排泄物分析装置。
(付記6)
前記その他の物質は、前記臀部洗浄機を少なくとも含み、
前記分類部は、前記分類部での分類結果が前記臀部洗浄機に分類された場合、以降の分類処理を中止し、
前記出力部は、前記分類部での分類結果が前記臀部洗浄機に分類された場合、前記トイレの使用者を監視する監視者へ排泄完了通知を出力する、
付記5に記載の排泄物分析装置。
(付記7)
前記出力部は、前記分類部での分類結果が前記排泄物に分類された場合、前記トイレの使用者を監視する監視者へ排泄通知を出力し、
前記分類部は、前記出力部で前記排泄通知が出力された後に、前記排泄物に分類された画素毎に、便、尿、尿滴りのいずれか、あるいは、便、尿、便及び尿、尿滴りのいずれかに分類するとともに、前記便についての予め定められた複数の便性への分類、前記便についての予め定められた複数の便色への分類、及び、前記尿についての予め定められた複数の尿色への分類、の少なくとも1つも併せて実行し、
前記出力部は、前記便、前記尿、前記尿滴りの分類結果と、前記便性、前記便色、及び前記尿色の少なくとも1つの分類結果を出力する、
付記2に記載の排泄物分析装置。
(付記8)
前記出力部は、前記分類部での分類結果を、分類毎に色分けして描画した分類画像を含む情報として出力する、
付記1~7のいずれか1項に記載の排泄物分析装置。
(付記9)
前記出力部は、前記分類部での分類結果を、前記トイレの使用者を監視する監視者へ通知する、
付記1~8のいずれか1項に記載の排泄物分析装置。
(付記10)
前記分類部での分類結果に基づき、前記トイレの使用者が大腸内視鏡検査前の前処置を終了しているか否かを判定する判定部を備え、
前記分類部は、前記排泄物としての便についての、予め定められた複数の便性への分類及び予め定められた複数の便色への分類も併せて実行し、
前記出力部は、前記分類部での分類結果として又は前記分類部での分類結果の一部として、前記判定部での判定結果を出力する、
付記1~9のいずれか1項に記載の排泄物分析装置。
(付記11)
前記分類部での分類結果に基づき、前記便の量である便量を算出する算出部を備え、
前記判定部は、前記分類部での分類結果及び前記算出部で算出された前記便量に基づき、前記トイレの使用者が前記前処置を終了しているか否かを判定する、
付記10に記載の排泄物分析装置。
(付記12)
トイレの便器における排泄物の排泄範囲を撮像範囲に含めるように設置された撮像装置で撮像された撮像データを入力する入力部と、
前記入力部で入力された撮像データに対し、被撮像物質を分類する分類部と、
前記分類部での分類結果に基づき、前記トイレの使用者が大腸内視鏡検査前の前処置を終了しているか否かを判定する判定部と、
前記判定部での判定結果を、前記トイレの使用者を大腸内視鏡検査の被検査者として監視する大腸内視鏡検査スタッフ及び前記被検査者の少なくとも一方への通知情報として出力する出力部と、
を備え、
前記分類部は、前記被撮像物質のうちの前記排泄物として、便、尿、尿滴りのいずれか、あるいは、便、尿、便及び尿、尿滴りのいずれかに分類するとともに、前記便についての予め定められた複数の便性への分類及び予め定められた複数の便色への分類も実行する、
大腸内視鏡検査前の状態確認装置。
(付記13)
前記分類部は、
前記被撮像物質を、前記排泄物、前記便器への破棄が許容されない異物、及び、その他の物質のいずれかに分類するとともに、前記排泄物としては便、尿、尿滴りのいずれか、あるいは、便、尿、便及び尿、尿滴りのいずれかに分類する第1分類部と、
前記第1分類部で前記便に分類された場合に、前記撮像データに対し、前記被撮像物質を、前記複数の便性及び前記複数の便色に分類する第2分類部と、
を備え、
前記判定部は、前記第1分類部での分類結果が前記便以外となった場合に、前記トイレの使用者が前処置を終了していないと判定し、前記第1分類部での分類結果が前記便となった場合に、前記第2分類部での分類結果に基づき、前記トイレの使用者が前記前処置を終了しているか否かを判定する、
付記12に記載の大腸内視鏡検査前の状態確認装置。
(付記14)
トイレの便器における排泄物の排泄範囲を撮像範囲に含めるように設置された撮像装置で撮像された撮像データに対し、被撮像物質を、前記排泄物、前記便器への破棄が許容されない異物、及び、その他の物質のいずれかに分類するとともに、前記排泄物としては便、尿、尿滴りのいずれか、あるいは、便、尿、便及び尿、尿滴りのいずれかに分類する第1分類処理を実行した分類結果を、受信し、前記第1分類処理での分類結果が前記便に分類されたことを示す場合に前記撮像データを受信する受信部と、
前記受信部で受信された前記撮像データに対し、前記被撮像物質を、予め定められた複数の便性及び予め定められた複数の便色に分類する第2分類部と、
前記第2分類部での分類結果に基づき、前記トイレの使用者が大腸内視鏡検査前の前処置を終了しているか否かを判定する判定部と、
前記判定部での判定結果を、前記トイレの使用者を大腸内視鏡検査の被検査者として監視する大腸内視鏡検査スタッフ及び前記被検査者の少なくとも一方への通知情報として出力する出力部と、
を備える、大腸内視鏡検査前の状態確認装置。
(付記15)
前記その他の物質は、臀部洗浄機、トイレットペーパー、及び、前記排泄物が流された後の物質のうちの少なくとも1つを含む、
付記13又は14に記載の大腸内視鏡検査前の状態確認装置。
(付記16)
前記通知情報は、前記第2分類部での分類結果を含む、
付記13~15のいずれか1項に記載の大腸内視鏡検査前の状態確認装置。
(付記17)
前記通知情報は、前記第2分類部での分類結果を、分類毎に色分けして描画した分類画像を含む、
付記16に記載の大腸内視鏡検査前の状態確認装置。
(付記18)
前記第2分類部での分類結果に基づき、前記便の量である便量を算出する算出部を備え、
前記判定部は、前記第2分類部での分類結果及び前記算出部で算出された前記便量に基づき、前記トイレの使用者が前記前処置を終了しているか否かを判定する、
付記13~17のいずれか1項に記載の大腸内視鏡検査前の状態確認装置。
(付記19)
排泄物分析装置と、前記排泄物分析装置に接続されたサーバ装置と、を備え、
前記排泄物分析装置は、
トイレの便器における排泄物の排泄範囲を撮像範囲に含めるように設置された撮像装置で撮像された撮像データを入力する入力部と、
前記入力部で入力された撮像データに対し、被撮像物質を、前記排泄物、前記便器への破棄が許容されない異物、及び、その他の物質のいずれかに分類するとともに、前記排泄物としては便、尿、尿滴りのいずれか、あるいは、便、尿、便及び尿、尿滴りのいずれかに分類する第1分類部と、
前記第1分類部での分類結果を前記サーバ装置に送信し、前記第1分類部での分類結果が前記便に分類されたことを示す場合に前記撮像データを前記サーバ装置に送信する送信部と、
前記サーバ装置は、
前記送信部で送信された前記第1分類部での分類結果を受信し、前記第1分類部での分類結果が前記便に分類されたことを示す場合に前記送信部で送信された前記撮像データを受信する受信部と、
前記受信部で受信された前記撮像データに対し、前記被撮像物質を、予め定められた複数の便性及び予め定められた複数の便色に分類する第2分類部と、
前記第2分類部での分類結果に基づき、前記トイレの使用者が大腸内視鏡検査前の前処置を終了しているか否かを判定する判定部と、
前記判定部での判定結果を、前記トイレの使用者を大腸内視鏡検査の被検査者として監視する大腸内視鏡検査スタッフ及び前記被検査者の少なくとも一方への通知情報として出力する出力部と、
を備える、
大腸内視鏡検査前の状態確認システム。
(付記20)
前記判定部は、前記受信部で受信された分類結果が前記便以外となった場合に、前記トイレの使用者が前処置を終了していないと判定し、前記受信部で前記撮像データを受信した場合に、前記第2分類部での分類結果に基づき、前記トイレの使用者が前記前処置を終了しているか否かを判定する、
付記19に記載の大腸内視鏡検査前の状態確認システム。
(付記21)
前記その他の物質は、臀部洗浄機、トイレットペーパー、及び、前記排泄物が流された後の物質のうちの少なくとも1つを含む、
付記19又は20に記載の大腸内視鏡検査前の状態確認システム。
(付記22)
トイレの便器における排泄物の排泄範囲を撮像範囲に含めるように設置された撮像装置で撮像された撮像データを入力し、
入力された撮像データに対し、セマンティックセグメンテーションを用いて画素単位で被撮像物質を分類する分類処理を実行し、
前記分類処理での分類結果を出力する、
排泄物分析方法。
(付記23)
前記分類処理は、前記画素毎に、前記被撮像物質を、前記排泄物、前記便器への破棄が許容されない異物、及び、その他の物質のいずれかに分類する、
付記22に記載の排泄物分析方法。
(付記24)
前記分類処理は、前記排泄物として、便、尿、尿滴りのいずれか、あるいは、便、尿、便及び尿、尿滴りのいずれかに分類する、
付記23に記載の排泄物分析方法。
(付記25)
前記分類処理は、前記便についての予め定められた複数の便性への分類、前記便についての予め定められた複数の便色への分類、及び、前記尿についての予め定められた複数の尿色への分類、の少なくとも1つの処理を含む、
付記24に記載の排泄物分析方法。
(付記26)
前記その他の物質は、臀部洗浄機、トイレットペーパー、及び、前記排泄物が流された後の物質のうちの少なくとも1つを含む、
付記23~25のいずれか1項に記載の排泄物分析方法。
(付記27)
前記分類処理での分類結果に基づき、前記トイレの使用者が大腸内視鏡検査前の前処置を終了しているか否かを判定する判定処理を含み、
前記分類処理は、前記排泄物としての便についての、予め定められた複数の便性への分類及び予め定められた複数の便色への分類を行う処理を含み、
前記分類処理での分類結果を出力することは、前記分類処理での分類結果として又は前記分類処理での分類結果の一部として、前記判定処理での判定結果を出力することである、
付記22~26のいずれか1項に記載の排泄物分析方法。
(付記28)
前記分類処理での分類結果に基づき、前記便の量である便量を算出する算出処理を含み、
前記判定処理は、前記分類処理での分類結果及び前記算出処理で算出された前記便量に基づき、前記トイレの使用者が前記前処置を終了しているか否かを判定する、
付記27に記載の排泄物分析方法。
(付記29)
トイレの便器における排泄物の排泄範囲を撮像範囲に含めるように設置された撮像装置で撮像された撮像データを入力し、
入力された撮像データに対し、被撮像物質を分類する分類処理を実行し、
前記分類処理での分類結果に基づき、前記トイレの使用者が大腸内視鏡検査前の前処置を終了しているか否かを判定する判定処理を実行し、
前記判定処理での判定結果を、前記トイレの使用者を大腸内視鏡検査の被検査者として監視する大腸内視鏡検査スタッフ及び前記被検査者の少なくとも一方への通知情報として出力し、
前記分類処理は、前記被撮像物質のうちの前記排泄物として、便、尿、尿滴りのいずれか、あるいは、便、尿、便及び尿、尿滴りのいずれかに分類する処理であって、前記便についての予め定められた複数の便性への分類及び予め定められた複数の便色への分類も実行する処理を含む、
大腸内視鏡検査前の状態確認方法。
(付記30)
前記分類処理は、
前記被撮像物質を、前記排泄物、前記便器への破棄が許容されない異物、及び、その他の物質のいずれかに分類するとともに、前記排泄物としては便、尿、尿滴りのいずれか、あるいは、便、尿、便及び尿、尿滴りのいずれかに分類する第1分類処理と、
前記第1分類処理で前記便に分類された場合に、前記撮像データに対し、前記複数の便性及び前記複数の便色に分類する第2分類処理と、
を含み、
前記判定処理は、前記第1分類処理での分類結果が前記便以外となった場合に、前記トイレの使用者が前処置を終了していないと判定し、前記第1分類処理での分類結果が前記便となった場合に、前記第2分類処理での分類結果に基づき、前記トイレの使用者が前記前処置を終了しているか否かを判定する、
付記29に記載の大腸内視鏡検査前の状態確認方法。
(付記31)
前記その他の物質は、臀部洗浄機、トイレットペーパー、及び、前記排泄物が流された後の物質のうちの少なくとも1つを含む、
付記30に記載の大腸内視鏡検査前の状態確認方法。
(付記32)
排泄物分析装置が、トイレの便器における排泄物の排泄範囲を撮像範囲に含めるように設置された撮像装置で撮像された撮像データを入力し、
前記排泄物分析装置が、入力された撮像データに対し、被撮像物質を、前記排泄物、前記便器への破棄が許容されない異物、及び、その他の物質のいずれかに分類するとともに、前記排泄物としては便、尿、尿滴りのいずれか、あるいは、便、尿、便及び尿、尿滴りのいずれかに分類する第1分類処理を実行し、
前記排泄物分析装置が、前記第1分類処理での分類結果を前記排泄物分析装置に接続されたサーバ装置に送信し、前記第1分類処理での分類結果が前記便に分類されたことを示す場合に前記撮像データを前記サーバ装置に送信し、
前記サーバ装置が、前記排泄物分析装置から送信された前記第1分類処理での分類結果を受信し、前記第1分類処理での分類結果が前記便に分類されたことを示す場合に前記排泄物分析装置から送信された前記撮像データを受信し、
前記サーバ装置が、受信した前記撮像データに対し、前記被撮像物質を、予め定められた複数の便性及び予め定められた複数の便色に分類する第2分類処理を実行し、
前記サーバ装置が、前記第2分類処理での分類結果に基づき、前記トイレの使用者が大腸内視鏡検査前の前処置を終了しているか否かを判定する判定処理を実行し、
前記サーバ装置が、前記判定処理での判定結果を、前記トイレの使用者を大腸内視鏡検査の被検査者として監視する大腸内視鏡検査スタッフ及び前記被検査者の少なくとも一方への通知情報として出力する、
大腸内視鏡検査前の状態確認方法。
(付記33)
トイレの便器における排泄物の排泄範囲を撮像範囲に含めるように設置された撮像装置で撮像された撮像データに対し、被撮像物質を、前記排泄物、前記便器への破棄が許容されない異物、及び、その他の物質のいずれかに分類するとともに、前記排泄物としては便、尿、尿滴りのいずれか、あるいは、便、尿、便及び尿、尿滴りのいずれかに分類する第1分類処理を実行した分類結果を、受信し、
前記第1分類処理での分類結果が前記便に分類されたことを示す場合に前記撮像データを受信し、
受信した前記撮像データに対し、前記被撮像物質を、予め定められた複数の便性及び予め定められた複数の便色に分類する第2分類処理を実行し、
前記第2分類処理での分類結果に基づき、前記トイレの使用者が大腸内視鏡検査前の前処置を終了しているか否かを判定する判定処理を実行し、
前記判定処理での判定結果を、前記トイレの使用者を大腸内視鏡検査の被検査者として監視する大腸内視鏡検査スタッフ及び前記被検査者の少なくとも一方への通知情報として出力する、
大腸内視鏡検査前の状態確認方法。
(付記34)
前記判定処理は、受信した分類結果が前記便以外となった場合に、前記トイレの使用者が前処置を終了していないと判定し、前記撮像データを受信した場合に、前記第2分類処理での分類結果に基づき、前記トイレの使用者が前記前処置を終了しているか否かを判定する、
付記32又は33に記載の大腸内視鏡検査前の状態確認方法。
(付記35)
コンピュータに、
トイレの便器における排泄物の排泄範囲を撮像範囲に含めるように設置された撮像装置で撮像された撮像データを入力し、
入力された撮像データに対し、セマンティックセグメンテーションを用いて画素単位で被撮像物質を分類する分類処理を実行し、
前記分類処理での分類結果を出力する、
排泄物分析処理を実行させるためのプログラム。
(付記36)
前記分類処理は、前記画素毎に、前記被撮像物質を、前記排泄物、前記便器への破棄が許容されない異物、及び、その他の物質のいずれかに分類する、
付記35に記載のプログラム。
(付記37)
前記分類処理は、前記排泄物として、便、尿、尿滴りのいずれか、あるいは、便、尿、便及び尿、尿滴りのいずれかに分類する、
付記36に記載のプログラム。
(付記38)
前記分類処理は、前記便についての予め定められた複数の便性への分類、前記便についての予め定められた複数の便色への分類、及び、前記尿についての予め定められた複数の尿色への分類、の少なくとも1つの処理を含む、
付記37に記載のプログラム。
(付記39)
前記その他の物質は、臀部洗浄機、トイレットペーパー、及び、前記排泄物が流された後の物質のうちの少なくとも1つを含む、
付記35~38のいずれか1項に記載のプログラム。
(付記40)
前記排泄物分析処理は、前記分類処理での分類結果に基づき、前記トイレの使用者が大腸内視鏡検査前の前処置を終了しているか否かを判定する判定処理を含み、
前記分類処理は、前記排泄物としての便についての、予め定められた複数の便性への分類及び予め定められた複数の便色への分類を行う処理を含み、
前記分類処理での分類結果を出力することは、前記分類処理での分類結果として又は前記分類処理での分類結果の一部として、前記判定処理での判定結果を出力することである、
付記35~39のいずれか1項に記載のプログラム。
(付記41)
前記排泄物分析処理は、前記分類処理での分類結果に基づき、前記便の量である便量を算出する算出処理を含み、
前記判定処理は、前記分類処理での分類結果及び前記算出処理で算出された前記便量に基づき、前記トイレの使用者が前記前処置を終了しているか否かを判定する、
付記40に記載のプログラム。
(付記42)
コンピュータに、
トイレの便器における排泄物の排泄範囲を撮像範囲に含めるように設置された撮像装置で撮像された撮像データを入力し、
入力された撮像データに対し、被撮像物質を分類する分類処理を実行し、
前記分類処理での分類結果に基づき、前記トイレの使用者が大腸内視鏡検査前の前処置を終了しているか否かを判定する判定処理を実行し、
前記判定処理での判定結果を、前記トイレの使用者を大腸内視鏡検査の被検査者として監視する大腸内視鏡検査スタッフ及び前記被検査者の少なくとも一方への通知情報として出力し、
前記分類処理は、前記被撮像物質のうちの前記排泄物として、便、尿、尿滴りのいずれか、あるいは、便、尿、便及び尿、尿滴りのいずれかに分類する処理であって、前記便についての予め定められた複数の便性への分類及び予め定められた複数の便色への分類も実行する処理を含む、
大腸内視鏡検査前の状態確認処理を実行するためのプログラム。
(付記43)
前記分類処理は、
前記被撮像物質を、前記排泄物、前記便器への破棄が許容されない異物、及び、その他の物質のいずれかに分類するとともに、前記排泄物としては便、尿、尿滴りのいずれか、あるいは、便、尿、便及び尿、尿滴りのいずれかに分類する第1分類処理と、
前記第1分類処理で前記便に分類された場合に、前記撮像データに対し、前記複数の便性及び前記複数の便色に分類する第2分類処理と、
を含み、
前記判定処理は、前記第1分類処理での分類結果が前記便以外となった場合に、前記トイレの使用者が前処置を終了していないと判定し、前記第1分類処理での分類結果が前記便となった場合に、前記第2分類処理での分類結果に基づき、前記トイレの使用者が前記前処置を終了しているか否かを判定する、
付記42に記載のプログラム。
(付記44)
前記その他の物質は、臀部洗浄機、トイレットペーパー、及び、前記排泄物が流された後の物質のうちの少なくとも1つを含む、
付記43に記載のプログラム。
(付記45)
コンピュータに、
トイレの便器における排泄物の排泄範囲を撮像範囲に含めるように設置された撮像装置で撮像された撮像データに対し、被撮像物質を、前記排泄物、前記便器への破棄が許容されない異物、及び、その他の物質のいずれかに分類するとともに、前記排泄物としては便、尿、尿滴りのいずれか、あるいは、便、尿、便及び尿、尿滴りのいずれかに分類する第1分類処理を実行した分類結果を、受信し、
前記第1分類処理での分類結果が前記便に分類されたことを示す場合に前記撮像データを受信し、
受信した前記撮像データに対し、前記被撮像物質を、予め定められた複数の便性及び予め定められた複数の便色に分類する第2分類処理を実行し、
前記第2分類処理での分類結果に基づき、前記トイレの使用者が大腸内視鏡検査前の前処置を終了しているか否かを判定する判定処理を実行し、
前記判定処理での判定結果を、前記トイレの使用者を大腸内視鏡検査の被検査者として監視する大腸内視鏡検査スタッフ及び前記被検査者の少なくとも一方への通知情報として出力する、
大腸内視鏡検査前の状態確認処理を実行するためのプログラム。
(付記46)
前記判定処理は、受信した分類結果が前記便以外となった場合に、前記トイレの使用者が前処置を終了していないと判定し、前記撮像データを受信した場合に、前記第2分類処理での分類結果に基づき、前記トイレの使用者が前記前処置を終了しているか否かを判定する、
付記45に記載のプログラム。
【符号の説明】
【0203】
1、10 排泄物分析装置
1a、5a 入力部
1b、5b 分類部
1c、5c 出力部
5 状態確認装置(大腸内視鏡検査前の状態確認装置)
5d 判定部
11 第2外付けボックス
11a CPU
11b コネクタ
11c,11d USB I/F
12 ボックス間接続部
13 第1外付けボックス
14a WiFiモジュール
14b Bluetoothモジュール
15a 人感センサ
15b 第2カメラ
16a 距離センサ
16b 第1カメラ
20 便器
21 本体
22 便座
23 便座カバー
30 排泄物分析装置付き便器
40 サーバ
41 制御部
42 記憶部
50 端末装置
100 装置
101 プロセッサ
102 メモリ
103 通信インタフェース