知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-04-13
(45)【発行日】2023-04-21
(54)【発明の名称】判定装置、判定方法、及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230414BHJP
G01N 33/50 20060101ALI20230414BHJP
G01N 21/17 20060101ALI20230414BHJP
G06N 3/02 20060101ALI20230414BHJP
【ＦＩ】
G06T7/00 350C
G01N33/50 Z
G01N21/17 A
G06N3/02
G06T7/00 614
【請求項の数】
6
(21)【出願番号】P 2019093677
(22)【出願日】2019-05-17
(65)【公開番号】P2020187693
(43)【公開日】2020-11-19
【審査請求日】2022-03-16
(73)【特許権者】
【識別番号】504163612
【氏名又は名称】株式会社ＬＩＸＩＬ
(74)【代理人】
【識別番号】100106909
【弁理士】
【氏名又は名称】棚井 澄雄
(74)【代理人】
【識別番号】100161506
【弁理士】
【氏名又は名称】川渕 健一
(74)【代理人】
【識別番号】100169764
【弁理士】
【氏名又は名称】清水 雄一郎
(72)【発明者】
【氏名】田中 健太
(72)【発明者】
【氏名】上田 江美
(72)【発明者】
【氏名】滝 宣広
【審査官】真木 健彦
(56)【参考文献】
【文献】国際公開第２０１８／１８７７９０（ＷＯ，Ａ２）
【文献】特開２００８－０５４８３５（ＪＰ，Ａ）
【文献】特開２００８－２３４６２３（ＪＰ，Ａ）
【文献】David Hachuel, Akshay Jha, Deborah Estrin, Alfonso Martinez, Kyle Staller, Christopher Velez，Augmenting Gastrointestinal Health: A Deep Learning Approach to Human Stool Recognition and Characterization in Macroscopic Images，arXiv，2019年03月，https://arxiv.org/ftp/arxiv/1903/1903.10578.pdf
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ １／００
Ｇ０１Ｎ ３３／５０
Ｇ０１Ｎ ２１／１７
Ｇ０６Ｎ ３／０２
Ｅ０３Ｄ １／００ － １３／００
Ａ６１Ｂ ５／００
(57)【特許請求の範囲】
【請求項1】
便に関する判定事項を判定する対象となる対象画像であり、排泄後における便鉢の内部空間を撮像した対象画像の画像情報を取得する画像情報取得部と、前記対象画像の全体を示す全体画像、及び前記対象画像の一部の領域を示す部分画像を生成する前処理部と、
排泄後における便鉢の内部空間の全体を示す画像である学習用全体画像と、前記判定事項のうち大局的な第１判定事項の判定結果との対応関係を、ニューラルネットワークを用いた機械学習により学習した学習済みモデルに、前記全体画像を入力させることにより、前記全体画像について前記第１判定事項に関する第１推定を行うと共に、前記学習用全体画像の一部の領域である学習用部分画像と、前記判定事項のうち前記第１判定事項より詳細な第２判定事項との対応関係を、ニューラルネットワークを用いた機械学習により学習した学習済みモデルに、前記部分画像を入力させることにより、前記部分画像について前記第２判定事項に関する第２推定を行う推定部と、
前記推定部による推定結果に基づいて、前記対象画像について前記判定事項に関する判定を行う判定部と、
を備えることを特徴とする判定装置。
【請求項2】
前記前処理部は、前記対象画像における便鉢の開口部を少なくとも含む部分画像を生成する、請求項１に記載の判定装置。
【請求項3】
前記推定部は、前記第１推定として便の飛散の有無を推定し、前記第２推定として便の性状を推定する、請求項１又は請求項２に記載の判定装置。
【請求項4】
前記判定部は、前記第１推定についての推定結果を用いて、前記第２推定の推定結果を補正する、請求項１から請求項３の何れか一項に記載の判定装置。
【請求項5】
画像情報取得部が、便に関する判定事項を判定する対象となる対象画像であり、排泄後における便鉢の内部空間を撮像した対象画像の画像情報を取得し、前処理部が、前記対象画像としての全体画像、及び前記対象画像の一部の領域である部分画像を生成し、
推定部が、排泄後における便鉢の内部空間の全体を示す画像である学習用全体画像と、前記判定事項のうち大局的な第１判定事項の判定結果との対応関係を、ニューラルネットワークを用いた機械学習により学習した学習済みモデルに、前記全体画像を入力させることにより、前記全体画像について前記第１判定事項に関する第１推定を行うと共に、前記学習用全体画像の一部の領域である学習用部分画像と、前記判定事項のうち前記第１判定事項より詳細な第２判定事項との対応関係を、ニューラルネットワークを用いた機械学習により学習した学習済みモデルに、前記部分画像を入力させることにより、前記部分画像について前記第２判定事項に関する第２推定を行い、
判定部が、前記推定部による推定結果に基づいて、前記対象画像について前記判定事項に関する判定を行う、
判定方法。
【請求項6】
判定装置のコンピュータを、便に関する判定事項を判定する対象となる対象画像であり、排泄後における便鉢の内部空間を撮像した対象画像の画像情報を取得する画像情報取得手段、
前記対象画像としての全体画像、及び前記対象画像の一部の領域である部分画像を生成する前処理手段、
排泄後における便鉢の内部空間の全体を示す画像である学習用全体画像と、前記判定事項のうち大局的な第１判定事項の判定結果との対応関係を、ニューラルネットワークを用いた機械学習により学習した学習済みモデルに、前記全体画像を入力させることにより、前記全体画像について前記第１判定事項に関する第１推定を行うと共に、前記学習用全体画像の一部の領域である学習用部分画像と、前記判定事項のうち前記第１判定事項より詳細な第２判定事項との対応関係を、ニューラルネットワークを用いた機械学習により学習した学習済みモデルに、前記部分画像を入力させることにより、前記部分画像について前記第２判定事項に関する第２推定を行う推定手段、
前記推定手段による推定結果に基づいて、前記対象画像について前記判定事項に関する判定を行う判定手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、判定装置、判定方法、及びプログラムに関する。
【背景技術】
【0002】
生体の排泄の状況を把握する試みがある。例えば、カメラで排泄物を撮影し、その画像を解析する技術が開示されている（例えば特許文献１参照）。
【0003】
また、人間の表情の解析などを行うために機械学習を用いることが一般的に行われている。機械学習を用いた手法では、例えば、人間の表情と、その表情に対応する感情とを対応付けた学習データを用いて機械学習を実行することにより、学習済みモデルを作成する。この学習済みモデルに人間の表情を入力させることにより、その表情が意味する感情を推定させることができ、表情の解析を行うことが可能である。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００７－２５２８０５号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記の特許文献１のような技術を用いた場合においては、解析の精度が十分なものになるとは言い難かった。すなわち、予め作成した便の排出速度、固さ又は大きさと、便の分類（硬便や水様便など）を対応付けたテーブルを用いた解析を行うため、テーブルに設定されていない対象について正しい分類が得られない懸念がある。
【0006】
一方、上述した機械学習の手法を、排泄物の解析に応用することが考えられる。例えば、排泄後の便鉢の内部空間を撮像した画像と、その分類やその状況を評価した結果とを対応付けた学習データを用いて機械学習を実行することにより学習済みモデルを作成する。この学習済みモデルに、解析の対象とする画像を入力させることにより、排泄物における望ましい解析の結果を推定することができる。
【0007】
しかしながら、機械学習の手法を用いて、画像の全体から詳細な判定内容を推定させようとすると、高い演算能力が必要となり、装置コストが増大してしまうという問題があった。
【0008】
本発明は、このような事情に鑑みてなされたものであり、その目的は、機械学習を用いた排泄物に関する解析において、装置コストの上昇を低減することができる判定装置、判定方法、及びプログラムを提供することである。
【課題を解決するための手段】
【0009】
上述した課題を解決するために本発明の一実施形態は、便に関する判定事項を判定する対象となる対象画像であり、排泄後における便鉢の内部空間を撮像した対象画像の画像情報を取得する画像情報取得部と、前記対象画像の全体を示す全体画像、及び前記対象画像の一部の領域を示す部分画像を生成する前処理部と、排泄後における便鉢の内部空間の全体を示す画像である学習用全体画像と、前記判定事項のうち大局的な第１判定事項の判定結果との対応関係を、ニューラルネットワークを用いた機械学習により学習した学習済みモデルに、前記全体画像を入力させることにより、前記全体画像について前記第１判定事項に関する第１推定を行うと共に、前記学習用全体画像の一部の領域である学習用部分画像と、前記判定事項のうち前記第１判定事項より詳細な第２判定事項との対応関係を、ニューラルネットワークを用いた機械学習により学習した学習済みモデルに、前記部分画像を入力させることにより、前記部分画像について前記第２判定事項に関する第２推定を行う推定部と、前記推定部による推定結果に基づいて、前記対象画像について前記判定事項に関する判定を行う判定部と、を備える判定装置である。
【0010】
また、本発明の一実施形態は、上述の判定装置であって、前記前処理部は、前記対象画像における便鉢の開口部を少なくとも含む部分画像を生成する。
【0011】
また、本発明の一実施形態は、上述の判定装置であって、前記推定部は、前記第１推定として便の飛散の有無を推定し、前記第２推定として便の性状を推定する。
【0012】
また、本発明の一実施形態は、上述の判定装置であって、前記判定部は、前記第１推定についての推定結果を用いて、前記第２推定の推定結果を補正する。
【0013】
また、本発明の一実施形態は、画像情報取得部が、便に関する判定事項を判定する対象となる対象画像であり、排泄後における便鉢の内部空間を撮像した対象画像の画像情報を取得し、前処理部が、前記対象画像としての全体画像、及び前記対象画像の一部の領域である部分画像を生成し、推定部が、排泄後における便鉢の内部空間の全体を示す画像である学習用全体画像と、前記判定事項のうち大局的な第１判定事項の判定結果との対応関係を、ニューラルネットワークを用いた機械学習により学習した学習済みモデルに、前記全体画像を入力させることにより、前記全体画像について前記第１判定事項に関する第１推定を行うと共に、前記学習用全体画像の一部の領域である学習用部分画像と、前記判定事項のうち前記第１判定事項より詳細な第２判定事項との対応関係を、ニューラルネットワークを用いた機械学習により学習した学習済みモデルに、前記部分画像を入力させることにより、前記部分画像について前記第２判定事項に関する第２推定を行い、判定部が、前記推定部による推定結果に基づいて、前記対象画像について前記判定事項に関する判定を行う、判定方法である。
【0014】
また、本発明の一実施形態は、判定装置のコンピュータを、便に関する判定事項を判定する対象となる対象画像であり、排泄後における便鉢の内部空間を撮像した対象画像の画像情報を取得する画像情報取得手段、前記対象画像としての全体画像、及び前記対象画像の一部の領域である部分画像を生成する前処理手段、排泄後における便鉢の内部空間の全体を示す画像である学習用全体画像と、前記判定事項のうち大局的な第１判定事項の判定結果との対応関係を、ニューラルネットワークを用いた機械学習により学習した学習済みモデルに、前記全体画像を入力させることにより、前記全体画像について前記第１判定事項に関する第１推定を行うと共に、前記学習用全体画像の一部の領域である学習用部分画像と、前記判定事項のうち前記第１判定事項より詳細な第２判定事項との対応関係を、ニューラルネットワークを用いた機械学習により学習した学習済みモデルに、前記部分画像を入力させることにより、前記部分画像について前記第２判定事項に関する第２推定を行う推定手段、前記推定手段による推定結果に基づいて、前記対象画像について前記判定事項に関する判定を行う判定手段、として機能させるためのプログラムである。
【発明の効果】
【0015】
機械学習を用いた排泄物に関する解析において、装置コストの上昇を低減することができる。
【図面の簡単な説明】
【0016】
【図1】第１の実施形態に係る判定装置１０が適用される判定システム１の構成を示すブロック図である。
【図2】第１の実施形態に係る学習済みモデル記憶部１６の構成を示すブロック図である。
【図3】第１の実施形態に係る判定装置１０が判定の対象とする画像について説明する図である。
【図4】第１の実施形態に係る判定装置１０が行う処理の全体の流れを示すフローチャートである。
【図5】第１の実施形態に係る判定装置１０が行う判定処理の流れを示すフローチャートである。
【図6】第１の実施形態に係る判定装置１０が行う洗浄方法の判定処理の流れを示すフローチャートである。
【図7】第２の実施形態に係る判定装置１０Ａを説明する図である。
【図8】第２の実施形態に係る判定装置１０Ａが適用される判定システム１Ａの構成を示すブロック図である。
【図9】第２の実施形態に係る前処理部１９が行う処理を説明する図である。
【図10】第２の実施形態に係る判定装置１０Ａが行う処理の流れを示すフローチャートである。
【図11】第２の実施形態の変形例１に係る前処理部１９が行う処理を説明する図である。
【図12】第２の実施形態の変形例１に係る判定装置１０Ａが行う処理の流れを示すフローチャートである。
【図13】第２の実施形態の変形例２に係る前処理部１９が行う処理を説明する図である。
【図14】第２の実施形態の変形例２に係る判定装置１０Ａが行う処理の流れを示すフローチャートである。
【図15】第３の実施形態に係る判定装置１０Ｂの構成を示すブロック図である。
【図16】第３の実施形態に係る解析部１２Ｂが行う処理を説明する図である。
【図17】第３の実施形態に係る判定装置１０Ｂが行う処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0017】
以下、実施形態の判定装置を、図面を参照して説明する。
【0018】
（第１の実施形態）
まず、第１の実施形態について説明する。
図１は、第１の実施形態に係る判定装置１０が適用される判定システム１の構成を示すブロック図である。判定システム１は、例えば、判定装置１０と、学習装置２０とを備える。
まず、第１の実施形態について説明する。
図１は、第１の実施形態に係る判定装置１０が適用される判定システム１の構成を示すブロック図である。判定システム１は、例えば、判定装置１０と、学習装置２０とを備える。
【0019】
判定装置１０は、判定の対象とする対象画像（以下、単に画像ともいう）を基に、排泄に関する判定を行う。対象画像は、排泄に関する画像であって、例えば、排泄後の便鉢３２（図３参照）の内部空間３４（同）を撮像した画像である。排泄後とは、使用者が排泄をした後、便器が洗浄される前までの任意の時点であり、例えば、便器３０（同）に着座していた使用者が脱座した時である。排泄に関する判定とは、排泄行動と状況、及び排泄物の洗浄に関する判定事項であって、例えば、排泄の有無、尿の有無、便の有無、便の性状、紙（トイレットペーパ）の使用の有無、紙の使用量等の情報に基づく排泄後の便器３０洗浄方法や排泄の状況などである。便の性状は、便の形状を示す「硬便」「普通便」「軟便」「泥状便」「水様便」等の便の状態を示す情報であってもよいし、「硬い」「柔らかい」など性状や状態を示す情報であってもよい。便の形状は、便鉢への飛び散りや、溜水部の便の溶け出し方、濁り方、溜水内部（水中）や水面より上（空気中）での特徴などの観点でラベル付（評価）を行う。また便の性状は便の量を示す情報であってもよいし、便の量は多いか少ないかの二つ、あるいは多いか普通か少ないかの三つ等の区分けを示す情報であっても良いし、便の量を数値で示す情報であっても良い。また、便の性状は、便の色を示す情報であってもよい。便の色は、例えば、黄土色～茶色である場合を通常の便の色とし、通常の便の色か否かを示す情報であってもよいし、特に便の色が黒色（いわゆるタール便の色）か否かを示す情報であってもよい。排泄後の便器３０の洗浄方法には、洗浄に用いる洗浄水の水量、水圧、及び洗浄の回数などが含まれる。
【0020】
判定装置１０は、例えば、画像情報取得部１１と、解析部１２と、判定部１３と、出力部１４と、画像情報記憶部１５と、学習済みモデル記憶部１６と、判定結果記憶部１７と、を備える。ここで、解析部１２は、「推定部」の一例である。
【0021】
画像情報取得部１１は、排泄に関して撮像された、便鉢３２の内部空間３４の画像（対象画像）の画像情報を取得する。画像情報取得部１１は、取得した画像情報を、解析部１２に出力すると共に、画像情報記憶部１５に記憶させる。画像情報取得部１１は、便器装置３及び撮像装置４（図３参照）と接続する。
【0022】
解析部１２は、画像情報取得部１１から得られた画像情報に対応する画像（対象画像）の解析を行う。解析部１２による解析とは、排泄に関する画像を基に、排泄に関する判定の項目について推定を行うことである。
【0023】
解析部１２は、例えば、判定部１３の判定項目に応じた学習済みモデルを用いて推定を行う。学習済みモデルは、例えば、学習済みモデル記憶部１６に記憶されたモデルであって、排泄に関する画像と、排泄に関する評価の結果との対応関係を学習したモデルである。
【0024】
例えば、解析部１２は、画像と尿の有無との対応関係を学習した学習済みモデルから得られた出力を尿の有無を推定した推定結果とする。また、解析部１２は、画像と便の有無との対応関係を学習した学習済みモデルから得られた出力を便の有無を推定した推定結果とする。また、解析部１２は、画像と便の性状との対応関係を学習した学習済みモデルから得られた出力を便の性状を推定した推定結果とする。また、解析部１２は、画像と紙の使用の有無との対応関係を学習した学習済みモデルから得られた出力を紙の使用の有無を推定した推定結果とする。また、解析部１２は、画像と紙の使用量との対応関係を学習した学習済みモデルから得られた出力を紙の使用量を推定した推定結果とする。
【0025】
解析部１２は、画像から複数の項目を推定する学習済みモデルを用いて推定を行うようにしてもよい。例えば、解析部１２は、画像と、尿及び便それぞれの有無との対応関係を学習した学習済みモデルを用いて推定を行うようにしてもよい。解析部１２は、学習済みモデルから画像に尿及び便の何れもないと推定された場合に、排泄が無いと推定する。
【0026】
判定部１３は、解析部１２から得られた解析結果を用いて、排泄に関する判定を行う。例えば、判定部１３は、画像から推定した尿の有無を、その画像における尿の有無を判定した判定結果とする。また、判定部１３は、画像から推定した便の有無を、その画像における便の有無を判定した判定結果とする。また、判定部１３は、画像から推定した便の性状を、その画像における便の性状を判定した判定結果とする。また、判定部１３は、画像から推定した紙の使用の有無を、その画像における紙の使用の有無を判定した判定結果とする。また、判定部１３は、画像から推定した紙の使用量を、その画像における紙の使用量を判定した判定結果とする。
【0027】
判定部１３は、複数の推定結果を用いて、排泄に関する判定を行うようにしてもよい。例えば、画像から推定した便の性状、及び紙の使用量に基づいて、排泄後の便器３０の洗浄方法を判定するようにしてもよい。
【0028】
出力部１４は、判定部１３による判定結果を出力する。出力部１４は、例えば、排泄行動を行ったユーザの端末に判定結果を送信するようにしてもよい。これにより、ユーザが、自身の排泄行動と状況の判定結果を認識することが可能である。
画像情報記憶部１５は、画像情報取得部１１により取得された画像情報を記憶する。
学習済みモデル記憶部１６は、判定項目の各々に対応した学習済みモデルを記憶する。
判定結果記憶部１７は、判定部１３による判定結果を記憶する。
画像情報記憶部１５は、画像情報取得部１１により取得された画像情報を記憶する。
学習済みモデル記憶部１６は、判定項目の各々に対応した学習済みモデルを記憶する。
判定結果記憶部１７は、判定部１３による判定結果を記憶する。
【0029】
学習済みモデル記憶部１６に記憶される学習済みモデルは、例えば、ディープラーニング（ＤＬ）の手法を用いて作成される。ＤＬは、多層のニューラルネットワークで構成されるディープニューラルネットワーク（ＤＮＮ）による機械学習の手法である。ＤＮＮは、神経科学における予測符号化の原理から発想を得たネットワークにより実現され、神経伝達網を摸した関数により構築される。ＤＬの手法を用いることにより、学習済みモデルに、あたかも人間の思考と同じように、画像に内在する特徴量を自動的に認識させることができる。すなわち、特徴量を抽出する作業を行うことなく、学習済みモデルにデータそのものを学習させることにより、直接画像から推定を行うことが可能となる。
【0030】
なお、本実施形態では、学習済みモデルがＤＬの手法を用いて作成された場合を例に説明するが、これに限定されない。学習済みモデルは、少なくとも画像データからその特徴量を抽出することなく、画像データと便性の評価結果とを対応付けた学習データを学習させることにより作成されたモデルであればよい。ここでの画像データは、便鉢３２の内部空間３４の様々な画像である。
【0031】
図２は、第１の実施形態に係る学習済みモデル記憶部１６の構成を示すブロック図である。学習済みモデル記憶部１６は、例えば、尿有無推定モデル１６１と、便有無推定モデル１６２と、便性状推定モデル１６３と、紙使用有無推定モデル１６５と、使用紙量推定モデル１６６とを備える。
【0032】
尿有無推定モデル１６１は、画像と尿の有無との対応関係を学習した学習済みモデルであり、排泄に関する画像に、その画像から判断された尿の有無を示す情報が対応付けられた学習データを学習させることにより作成される。
便有無推定モデル１６２は、画像と便の有無との対応関係を学習した学習済みモデルであり、排泄に関する画像に、その画像から判断された便の有無を示す情報が対応付けられた学習データを学習させることにより作成される。
便有無推定モデル１６２は、画像と便の有無との対応関係を学習した学習済みモデルであり、排泄に関する画像に、その画像から判断された便の有無を示す情報が対応付けられた学習データを学習させることにより作成される。
【0033】
便性状推定モデル１６３は、画像と便の性状との対応関係を学習した学習済みモデルであり、排泄に関する画像に、その画像から判断された便の性状を示す情報が対応付けられた学習データを学習させることにより作成される。
【0034】
紙使用有無推定モデル１６５は、画像と紙の使用の有無との対応関係を学習した学習済みモデルであり、排泄に関する画像に、その画像から判断された使用された紙の有無を示す情報が対応付けられた学習データを学習させることにより作成される。
使用紙量推定モデル１６６は、画像と紙の使用量との対応関係を学習した学習済みモデルであり、排泄に関する画像に、その画像から判断された紙の使用量を示す情報が対応付けられた学習データを学習させることにより作成される。紙の使用量は多いか少ないかの二つ、或いは多いか普通か少ないかの三つなどの区分けを示す情報であってもよいし、紙の量を数値で示す情報であってもよい。
なお、画像から排泄の有無等を判断する方法としては、例えば、学習データを作成する担当者が判断することが考えられる。
使用紙量推定モデル１６６は、画像と紙の使用量との対応関係を学習した学習済みモデルであり、排泄に関する画像に、その画像から判断された紙の使用量を示す情報が対応付けられた学習データを学習させることにより作成される。紙の使用量は多いか少ないかの二つ、或いは多いか普通か少ないかの三つなどの区分けを示す情報であってもよいし、紙の量を数値で示す情報であってもよい。
なお、画像から排泄の有無等を判断する方法としては、例えば、学習データを作成する担当者が判断することが考えられる。
【0035】
【0036】
便器装置３は、例えば、便鉢３２を有する便器３０を備える。便器装置３は、便鉢３２の内部空間３４に設けられた開口部３６に、洗浄水Ｓを供給可能に構成されている。便器装置３は、便器３０に設けられた機能部（不図示）により、便器装置３の使用者の着座や脱座、局部洗浄の使用開始、及び排泄後の便鉢３２の洗浄の操作などが検知される。便器装置３は、機能部による検知結果を、判定装置１０に送信する。
【0037】
なお、以下の説明では、便器装置３の使用者が便器３０に着座した場合において、使用者の前側を「前側」、後側を「後側」という。また、便器装置３の使用者が便器３０に着座した場合において、使用者の左側を「左側」、右側を「右側」という。また、便器装置３が設置されている床面から離れている側を「上側」、床面に近い側を「下側」という。
【0038】
撮像装置４は、排泄行動に関する内容が撮像可能に設けられる。撮像装置４は、便器３０の上側、例えば、便鉢３２の後側の縁の内側などに、便鉢３２の内部空間３４の方向にレンズが向くように設置される。撮像装置４は、例えば、判定装置１０の指示により撮像を行い、撮像した画像の画像情報を判定装置１０に送信する。この場合、判定装置１０は、通信部１８を介して、撮像装置４に撮像の指示を示す制御情報を送信する。
【0039】
ここで、第１の実施形態に係る判定装置１０が行う処理について、図４～図６を用いて説明する。図４は第１の実施形態に係る判定装置１０が行う処理の全体の流れ、図５は判定装置１０が行う判定処理の流れを示すフローチャートである。図６は判定装置１０が行う洗浄方法の判定処理の流れを示すフローチャートである。
【0040】
まず、図４を用いて、判定装置１０が行う処理の全体の流れを説明する。
判定装置１０は、便器装置３との通信により、便器装置３の使用者が便器３０に着座したか否かを判定し（ステップＳ１０）、使用者が便器３０に着座したと判定する場合、画像情報を取得する（ステップＳ１１）。画像情報は、排泄に関する画像の画像情報である。判定装置１０は、撮像装置４に撮像を指示する制御信号を送信し、撮像装置４に便鉢３２の内部空間３４を撮像させ、撮像させた画像の画像情報を送信させることにより、画像情報を取得する。
なお、図４に示すフローチャートでは、使用者による着座を判定した判定結果を、画像情報を取得するトリガーとして用いる場合を例示して説明したが、これに限定されることはない。画像情報を取得するトリガーとして、他の内容の判定結果が用いられてもよいし、着座を判定した判定結果と他の内容の判定結果との双方を用いて、複合的な条件充足した場合に、画像情報を取得するようにしてもよい。他の内容の判定結果とは、例えば、赤外線などを用いて人体の存在を検知する人体検知センサの検知結果である。この場合、例えば人体検知センサにより、使用者が便器３０に近づいたことを検知した場合に、画像取得を開始する。
判定装置１０は、便器装置３との通信により、便器装置３の使用者が便器３０に着座したか否かを判定し（ステップＳ１０）、使用者が便器３０に着座したと判定する場合、画像情報を取得する（ステップＳ１１）。画像情報は、排泄に関する画像の画像情報である。判定装置１０は、撮像装置４に撮像を指示する制御信号を送信し、撮像装置４に便鉢３２の内部空間３４を撮像させ、撮像させた画像の画像情報を送信させることにより、画像情報を取得する。
なお、図４に示すフローチャートでは、使用者による着座を判定した判定結果を、画像情報を取得するトリガーとして用いる場合を例示して説明したが、これに限定されることはない。画像情報を取得するトリガーとして、他の内容の判定結果が用いられてもよいし、着座を判定した判定結果と他の内容の判定結果との双方を用いて、複合的な条件充足した場合に、画像情報を取得するようにしてもよい。他の内容の判定結果とは、例えば、赤外線などを用いて人体の存在を検知する人体検知センサの検知結果である。この場合、例えば人体検知センサにより、使用者が便器３０に近づいたことを検知した場合に、画像取得を開始する。
【0041】
次に判定装置１０は、判定処理を行う（ステップＳ１２）。判定処理の内容については、図５を用いて説明する。判定装置１０は、判定結果を判定結果記憶部１７に記憶する（ステップＳ１３）。
次に、判定装置１０は、便器装置３との通信により、便器装置３の使用者が脱座したか否かを判定し（ステップＳ１４）、使用者が脱座したと判定する場合、処理を終了する。一方、判定装置１０は、使用者が脱座していないと判定する場合、一定時間待機し（ステップＳ１５）、ステップＳ１１に戻る。
次に、判定装置１０は、便器装置３との通信により、便器装置３の使用者が脱座したか否かを判定し（ステップＳ１４）、使用者が脱座したと判定する場合、処理を終了する。一方、判定装置１０は、使用者が脱座していないと判定する場合、一定時間待機し（ステップＳ１５）、ステップＳ１１に戻る。
【0042】
次に、図５を用いて、判定装置１０が行う判定処理の流れを説明する。
判定装置１０は、尿有無推定モデル１６１を用いて、画像における尿の有無を推定する（ステップＳ１２２）。
判定装置１０は、尿有無推定モデル１６１を用いて、画像における尿の有無を推定する（ステップＳ１２２）。
【0043】
また、判定装置１０は、便有無推定モデル１６２を用いて、画像における便の有無を推定し（ステップＳ１２３）、推定結果に基づいて便の有無を判定する（ステップＳ１２４）。
【0044】
判定装置１０は、ステップＳ１２４において便有りと推定した場合（ステップＳ１２４、ＹＥＳ）、便性状推定モデル１６３を用いて便の性状を推定する（ステップＳ１２５）。
【0045】
また、判定装置１０は、紙使用有無推定モデル１６５を用いて画像における紙の使用の有無を推定する（ステップＳ１２６）。
【0046】
判定装置１０は、ステップＳ１２６において紙の使用有りと推定した場合（ステップＳ１２７、ＹＥＳ）、使用紙量推定モデル１６６を用いて紙の使用量を推定する（ステップＳ１２８）。
判定装置１０は、使用後の便器３０の洗浄方法を判定する（ステップＳ１２９）。
判定装置１０は、使用後の便器３０の洗浄方法を判定する（ステップＳ１２９）。
【0047】
判定装置１０が洗浄方法を判定する処理の内容について、図６を用いて説明する。図６に示すフローチャートでは、判定装置１０は、洗浄方法を「大」、「中」、「小」、又は「無」の４つの何れかに判定する場合を例示して説明する。洗浄方法における「大」、「中」、「小」は、「大」、「中」、「小」の順に洗浄の強度が小さいことを意味する。洗浄の強度は、便鉢３２を洗浄する強さの度合いであり、例えば、強度が小さいほど洗浄水Ｓの量が少なく、強度が大きいほど洗浄水Ｓの量が多くなる。或いは、強度が小さいほど洗浄する回数が少なく、強度が大きいほど洗浄する回数が多くなるものであってもよい。なお、洗浄方法が「無」である場合、便鉢３２の洗浄を行わないことを意味する。
【0048】
判定装置１０は、紙の使用の有無を判定し（ステップＳ１３０）、紙の使用が有ったと判定した場合、紙の使用量が多いか否かを判定する（ステップＳ１３１）。判定装置１０は、ステップＳ１２６にて推定した紙の量が所定の閾値以上である場合に紙の使用量が多いと判定し、所定の閾値未満である場合に紙の使用量が少ないと判定する。判定装置１０は、紙の使用量が多いと判定した場合（ステップＳ１３１、ＹＥＳ）、洗浄方法を「大」と判定する（ステップS１３２）。
【0049】
判定装置１０は、紙の使用量が少ないと判定した場合（ステップＳ１３１、ＮＯ）、便が有るか否かを判定する（ステップS１３３）。判定装置１０は、ステップＳ１２３にて推定した便の有無の推定結果に応じて便の有無を判定する。判定装置１０は、便が有ると判定した場合（ステップS１３３、ＹＥＳ）、便の量が多いか否かを判定する（ステップS１３４）。判定装置１０は、ステップＳ１２５にて推定した便の性状において、便の量が所定の閾値以上であると推定された場合に便の量が多いと判定し、所定の閾値未満である場合に便の量が少ないと判定する。判定装置１０は、便の量が多いと判定した場合（ステップＳ１３４、ＹＥＳ）、洗浄方法を「大」と判定する（ステップS１３２）。
【0050】
判定装置１０は、便の量が少ないと判定した場合（ステップＳ１３４、ＮＯ）、便の形状が水様便以外であるか否かを判定する（ステップＳ１３５）。判定装置１０は、ステップＳ１２５にて推定した便の性状において、便の形状が水様便ではない（つまり、硬便、普通便、軟便、泥状便の何れかである）と推定された場合に、便の形状が水様便以外であると判定し、便の形状が水様便であると推定された場合に便の形状が水様便であると判定する。判定装置１０は、便の形状が水様便以外であると判定した場合（ステップＳ１３５、ＹＥＳ）、洗浄方法を「中」と判定する（ステップS１３６）。一方、判定装置１０は、便の形状が水様便であると判定した場合（ステップＳ１３５、ＮＯ）、洗浄方法を「小」と判定する（ステップS１３８）。
【0051】
判定装置１０は、ステップS１３３にて便が無いと判定した場合（ステップS１３３、ＮＯ）、尿が有るか否かを判定する（ステップS１３７）。判定装置１０は、ステップＳ１２２にて推定した尿の有無の推定結果に応じて尿の有無を判定する。判定装置１０は、尿が有ると判定した場合（ステップＳ１３７、ＹＥＳ）、洗浄方法を「小」と判定する（ステップS１３８）。一方、判定装置１０は、尿が無いと判定した場合（ステップＳ１３７、ＮＯ）、洗浄方法を「無」と判定する（ステップS１３９）。
【0052】
図６に示すフローチャートの例のように、判定装置１０が、尿の有無、便の有無、紙の有無を推定した結果の組み合わせに応じて洗浄方法をそれぞれ判定することにより、洗浄水量を細かく制御することができ、十分な洗浄を行いつつ、水の無駄遣いを抑制して、適切な節水を行うことが可能である。
【0053】
なお、判定装置１０は、使用者が排泄を行ったか否かを、ステップＳ１２２に示す尿の有無を推定した推定結果、及びステップＳ１２３に示す便の有無を推定した推定結果、を用いて使用者が排泄を行ったか否かを判定してもよい。この場合、判定装置１０は、尿が無いと推定され、且つ便が無いと推定された場合に、使用者が排泄を行っていないと判定する。
【0054】
以上説明したように、第１の実施形態の判定装置１０は、画像情報取得部１１と、解析部１２と、判定部１３とを備える。画像情報取得部１１は、便鉢３２の内部空間３４を撮像した画像（対象画像）の画像情報を取得する。解析部１２は、学習済みモデルに画像情報を入力させることにより、対象画像について排泄に関する判定事項の推定を行う。判定部１３は、推定結果に基づいて画像について判定事項の判定を行う。学習済みモデルは、ＤＬの手法を用いて学習されたモデルである。ＤＬの手法を用いて学習を行う場合、画像における排泄の有無等の判定項目を判断した結果のラベリング（対応付け）のみすればよいため、画像から特徴量を抽出して学習データを作成する必要がない。このため、どのような特徴量をどのような手法により抽出すればよいかを検討する時間が必要ない。すなわち、第１の実施形態の判定装置１０は、機械学習を用いた排泄行動に関する解析において、開発に要する時間を低減することができる。
【0055】
また、第１の実施形態の判定装置１０では、対象画像は、排泄後における便鉢３２の内部空間３４を撮像した画像である。これにより、例えば、排泄物が落下中の画像を連写することにより得られる、数百枚の画像を判定対象とする場合よりも、画像の枚数を抑えることが可能である。このため、推定や判定に要する負荷を低減させ、開発に要する時間を低減することができる。
【0056】
また、第１の実施形態の判定装置１０では、判定事項は、尿の有無、便の有無、便の性状のうち少なくとも何れか一つを含む。これにより、第１の実施形態の判定装置１０では、排泄物に関する判定を行うことができる。
【0057】
また、第１の実施形態の判定装置１０では、判定事項は、排泄における紙の使用の有無、及び紙が使用された場合における紙の使用量を含む。これにより、第１の実施形態の判定装置１０では、排泄における紙の使用に関する判定を行うことができ、判定結果を用いて例えば、便器３０の洗浄方法を判定するための指標に用いることが可能となる。
【0058】
また、第１の実施形態の判定装置１０では、判定部１３は、対象画像に示された状況における便器３０を洗浄する洗浄方法を判定する。これにより、第１の実施形態の判定装置１０では、排泄物の判定だけでなく、便器３０の洗浄方法の判定を行うことができる。
【0059】
また、第１の実施形態の判定装置１０では、判定事項は、便の性状、及び排泄において使用された紙の量のうち少なくとも一つを含み、解析部１２は、対象画像における便の性状、及び排泄において使用された紙の量のうち少なくとも一つを推定し、判定部１３は、解析部１２による推定結果を用いて対象画像に示された状況における便器３０を洗浄する洗浄方法を判定する。これにより、第１の実施形態の判定装置１０では、排泄物や紙の使用量に応じた適切な洗浄方法を判定することができる。
【0060】
なお、本実施形態では、排泄物の判定と洗浄方法の判定とを行う場合を例示して説明したが、排泄物の判定のみ、或いは洗浄方法の判定のみを行うようにしてもよい。
【0061】
また、第１の実施形態の判定装置１０では、判定事項は、排泄を行ったか否かの判定を含む。これにより、例えば、高齢者施設などにおいて、高齢者の見守りを行う場合において、高齢者が便器装置３にて排泄を行ったか否かを把握することが可能である。高齢者をトイレに誘導した場合に自力で排泄したのか、或いは排泄しなかったのか否かを基に、介護の内容を検討することもできる。
なお、排泄物に関する判定結果を用いて使用者の健康状態を判定するようにしてもよい。
なお、排泄物に関する判定結果を用いて使用者の健康状態を判定するようにしてもよい。
【0062】
（第２の実施形態）
次に、第２の実施形態について説明する。本実施形態では、紙の使用の有無などを判定対象とせず、便の性状のみを判定の対象とする点において上述した実施形態と異なる。また、対象画像に前処理を行う点において、上述した実施形態と異なる。ここでの前処理は、モデルに学習用の画像を機械学習させる前に、学習用の画像に対して行われる処理である。また、前処理は、学習済みモデルに未学習の画像を入力させる前に、未学習の画像に対して行われる処理である。以下の説明では、上述した実施形態と相違する構成のみ説明し、上述した実施形態と同等の構成については同じ符号を付してその説明を省略する。
次に、第２の実施形態について説明する。本実施形態では、紙の使用の有無などを判定対象とせず、便の性状のみを判定の対象とする点において上述した実施形態と異なる。また、対象画像に前処理を行う点において、上述した実施形態と異なる。ここでの前処理は、モデルに学習用の画像を機械学習させる前に、学習用の画像に対して行われる処理である。また、前処理は、学習済みモデルに未学習の画像を入力させる前に、未学習の画像に対して行われる処理である。以下の説明では、上述した実施形態と相違する構成のみ説明し、上述した実施形態と同等の構成については同じ符号を付してその説明を省略する。
【0063】
図７は、第２の実施形態の判定装置１０が行う判定について説明する図である。図７には、特定の物をタイプＡ、Ｂ、Ｃの三種類に分類しようとする際の概念図が示されている。
一般に、便などの様々な性状を取り得る物を、その性状に基づいてタイプＡ、Ｂ、Ｃの三種類に分類しようとする場合、全ての物を明確に分類することは困難である。すなわち、タイプＡ、Ｂ、Ｃがそれぞれ混ざり合う状況が発生する場合が多い。例えば、図７に示すように、明確にタイプＡと分類することができる領域Ｅ１、タイプＡ又はＢと分類されるタイプＡとＢとが混ざる領域Ｅ２、明確にタイプＢと分類することができる領域Ｅ３、タイプＢ又はＣと分類されるタイプＢとＣとが混ざる領域Ｅ４、明確にタイプＣと分類することができる領域Ｅ５、タイプＣ又はＡと分類されるタイプＣとＡとが混ざる領域Ｅ６の領域が発生する。
一般に、便などの様々な性状を取り得る物を、その性状に基づいてタイプＡ、Ｂ、Ｃの三種類に分類しようとする場合、全ての物を明確に分類することは困難である。すなわち、タイプＡ、Ｂ、Ｃがそれぞれ混ざり合う状況が発生する場合が多い。例えば、図７に示すように、明確にタイプＡと分類することができる領域Ｅ１、タイプＡ又はＢと分類されるタイプＡとＢとが混ざる領域Ｅ２、明確にタイプＢと分類することができる領域Ｅ３、タイプＢ又はＣと分類されるタイプＢとＣとが混ざる領域Ｅ４、明確にタイプＣと分類することができる領域Ｅ５、タイプＣ又はＡと分類されるタイプＣとＡとが混ざる領域Ｅ６の領域が発生する。
【0064】
ＤＬにより、便の性状をタイプＡ、Ｂ、Ｃの三種類に分類するような学習済みモデルを構築した場合、タイプＡ、Ｂ、Ｃがそれぞれ混ざり合う領域において、推定の精度が低下することが考えられる。特に、水様便が便鉢３２に溜められた洗浄水Ｓ（溜水面）に落下すると、落下した水様便から洗浄水Ｓに便の色が移り、拡散してしまう。これにより、水様便の前に排泄された水様便とは異なる性状の便がある場合であっても、水様便とは異なる性状の便と色が移った洗浄水Ｓとの色の差がほとんどなくなってしまう。この場合、学習済みモデルが、水様便とは異なる性状を有する便の性状を認識できなくなってしまい、水様便とは異なる性状の便があるにも関わらず、水様便と推定する等、推定誤りが生じることが考えられる。学習済みモデルによる推定に誤りがある場合、対象画像の判定に誤りが生じてしまう。
【0065】
この対策として、本実施形態では、前処理により洗浄水Ｓの濁りなどの、推定誤りの要因となり得る要素（以下、ノイズ成分という）を除去する。これにより、学習済みモデルによる推定誤りを低減させ、対象画像の判定誤りを低減させることができる。
【0066】
図８は、第２の実施形態に係る判定装置１０Ａが適用される判定システム１Ａの構成を示すブロック図である。判定システム１Ａは、例えば、判定装置１０Ａ備える。判定装置１０Ａは、画像情報取得部１１Ａと、解析部１２Ａと、判定部１３Ａと、前処理部１９を備える。
【0067】
画像情報取得部１１Ａは、排泄前における便鉢３２の内部空間３４を撮像した画像（基準画像）、及び、排泄後における便鉢３２の内部空間３４を撮像した画像（対象画像）それぞれの画像情報を取得する。排泄前とは、便器装置３の使用者が排泄をする前の任意の時点であり、例えば、使用者がトイレの個室に入った時や、便器３０に着座した時である。
【0068】
前処理部１９は、基準画像と対象画像との画像情報を用いて、差分画像を生成する。差分画像は、基準画像と対象画像との差分を示す画像である。ここでの差分は、対象画像に撮像されており、基準画像に撮像されていない内容のことである。すなわち、差分画像は、排泄後の対象画像に撮像されており、排泄前の基準画像に撮像されていない、排泄物が表現された画像である。
【0069】
前処理部１９は、生成した差分画像の画像情報を、解析部１２Ａに出力する。また、前処理部１９は、生成した差分画像の画像情報を画像情報記憶部１５に記憶するようにしてもよい。解析部１２Ａは、学習済みモデルを用いて、差分画像における便の性状の推定を行う。解析部１２Ａが推定に用いる学習済みモデルは、排泄の前後の画像の差分を示す学習用の画像と、便の性状の評価の結果との対応関係を学習したモデルである。ここで、学習済みモデルを作成する際の学習に用いられた画像（排泄の前後の画像の差分を示す学習用の画像）は、「学習用差分画像」の一例である。
【0070】
判定部１３Ａは、解析部１２Ａにより推定された便の性状に基づいて、対象画像に示された便の性状を判定する。また、判定部１３Ａは、解析部１２Ａにより推定された便の性状に基づいて、使用者の排泄の状況を判定するようにしてもよい。判定部１３Ａが、使用者の排泄の状況を判定する方法については、後述する本実施形態のフローチャートにて説明する。
【0071】
ここで、前処理部１９が、差分画像を生成する方法について、基準画像と対象画像と差分画像との各画像の色がＲ（Ｒｅｄ）Ｇ（Ｇｒｅｅｎ）Ｂ（Ｂｌｕｅ）により表現されたＲＧＢ画像である場合を例に説明する。しかしながら、各画像はＲＧＢにより色が表現された画像に限定されることはなく、ＲＧＢ画像以外の画像（例えば、Ｌａｂ画像や、ＹＣｂＣｒ画像）である場合でも同様な方法で生成することができる。ここで、ＲＧＢ値は、画像の色を示す情報であり、「色情報」の一例である。
【0072】
前処理部１９は、基準画像における所定の画素のＲＧＢ値と、前記対象画像における当該所定の画素に対応する画素のＲＧＢ値との差分に基づき、前記差分画像における当該所定画素に対応する画素のＲＧＢ値を決定する。所定の画素に対応する画素とは、画像において同じ、或いは近傍の位置座標にある画素である。ここでの差分とは、二つの画素における色の差分を示しており、例えば、ＲＧＢ値の相違に基づいて判定される。例えば、前処理部１９は、ＲＧＢ値が同じ色を示している場合には差分がなく、ＲＧＢ値が同じ色を示していない場合には差分があると判定する。
【0073】
例えば、前処理部１９は、基準画像における所定画素のＲＧＢ値が（２５５、２５５、０）（黄色）であり、対象画像における所定画素のＲＧＢ値が（２５５、２５５、０）（黄色）である場合、二つの画素における色の差分がないため、差分画像における所定画素のＲＧＢ値を、差分がない旨を示す所定の色（例えば、白色）とするマスク処理を行う。
【0074】
一方、前処理部１９は、基準画像における所定画素のＲＧＢ値が（２５５、２５５、０）（黄色）であり、対象画像における所定画素のＲＧＢ値が（２５５、０、０）（赤色）である場合、二つの画素における色の差分があるため、差分画像における所定画素のＲＧＢ値を、対象画像における所定画素のＲＧＢ値（２５５、０、０）（赤色）とする。
【0075】
或いは、前処理部１９は、二つの画素における色の差分がある場合、その旨を示す予め定めた所定の色（例えば、黒色）とするようにしてもよい。
【0076】
或いは、前処理部１９は、二つの画素における色の差分がある場合、差分の度合いに応じて予め定めた所定の色とするようにしてもよい。差分の度合いは、例えば、色空間におけるＲＧＢ値のベクトル距離に応じて算出された値である。この場合、前処理部１９は、二つの画素における色の差分を、その差分の度合いに応じて複数に分類する。例えば、差分の度合いが（大、中、小）の三種類に分類される場合、前処理部１９は、差分の度合いが大きい画素については差分画像における当該画素のＲＧＢ値を黒色、差分の度合いが中程度の画素については差分画像における当該画素のＲＧＢ値を灰色、差分の度合いが小さい画素については差分画像における当該画素のＲＧＢ値を薄い灰色などとして、差分画像を生成するようにしてもよい。
【0077】
ここで、使用者の着座の加減などの影響により、被写体（便鉢３２の内部空間３４）に照射する光の光量が変化することが考えられる。光量が変化した場合、排泄の前後において変化がない箇所であっても、色の濃淡が変化する場合がある。このような場合、前処理部１９が、色の濃淡の変化を色の差分があると判定してしまうことが考えられる。
【0078】
この対策として、前処理部１９は、基準画像における所定画素の色の比率と、対象画像における所定画素の色の比率とに応じて、差分画像における所定画素の色を決定するようにしてもよい。色の比率は、ＲＧＢそれぞれの色の比率であり、例えば、所定の基準値に対する割合で示される。つまり、ＲＧＢ値（Ｒ、Ｇ、Ｂ）の色の比率は、（Ｒ／Ｌ：Ｇ／Ｌ：Ｂ／Ｌ）である。ここで、Ｌは所定の基準値を示す。所定の基準値Ｌは、任意の値であってよい。また、所定の基準値Ｌは、ＲＧＢ値によらず固定された値であってもよいし、ＲＧＢ値により変動する値（例えばＲＧＢ値のＲ値など）であってもよい。
【0079】
例えば、前処理部１９は、基準画像における所定画素が灰色（ＲＧＢ値（１２８、１２８、１２８））であり、対象画像における所定画素が薄い灰色（ＲＧＢ値（１９２、１９２、１９２））である場合、二つの画素における色の比率が同じ比率であることから、二つの画素における色の差分がないと判定する。
【0080】
一方、前処理部１９は、基準画像における所定画素が黄色（ＲＧＢ値（２５５、２５５、０））であり、対象画像における所定画素が赤色（ＲＧＢ値（２５５、０、０））である場合、二つの画素における色の比率が同じ比率でないことから、二つの画素における色の差分があると判定する。
【0081】
図９は、第２の実施形態に係る前処理部１９が行う処理を説明する図である。図９の左側には基準画像の例として画像Ｇ１、中央には対象画像の例として画像Ｇ２、右側には差分画像の例として画像Ｇ３がそれぞれ示されている。
図９の画像Ｇ１に示すように、基準画像には、排泄前における、内部空間３４が撮像されており、内部空間３４の略中央にある開口部３６に洗浄水Ｓが貯められた様子が撮像されている。
図９の画像Ｇ２に示すように、対象画像には、排泄後における、内部空間３４が撮像されており、内部空間３４の前側と後側との方向、洗浄水Ｓの上側に排泄物Ｔ１、Ｔ２がある様子が撮像されている。
図９の画像Ｇ３に示すように、差分画像には、基準画像と対象画像との差分である排泄物Ｔ１、Ｔ２が表現されている。
図９の画像Ｇ１に示すように、基準画像には、排泄前における、内部空間３４が撮像されており、内部空間３４の略中央にある開口部３６に洗浄水Ｓが貯められた様子が撮像されている。
図９の画像Ｇ２に示すように、対象画像には、排泄後における、内部空間３４が撮像されており、内部空間３４の前側と後側との方向、洗浄水Ｓの上側に排泄物Ｔ１、Ｔ２がある様子が撮像されている。
図９の画像Ｇ３に示すように、差分画像には、基準画像と対象画像との差分である排泄物Ｔ１、Ｔ２が表現されている。
【0082】
ここで、第２の実施形態に係る判定装置１０Ａが行う処理について、図１０を用いて説明する。図１０は第２の実施形態に係る判定装置１０Ａが行う処理の流れを示すフローチャートである。図１０に示すフローチャートのうち、ステップＳ２０、Ｓ２２、Ｓ２５～Ｓ２７、及びＳ２９については、図４のフローチャートのＳ１０、Ｓ１１、Ｓ１２～Ｓ１４、及びＳ１５と同様であるため、その説明を省略する。
【0083】
ステップＳ２１において、判定装置１０Ａは、使用者が便器３０に着座したと判定する場合、基準画像を生成する。基準画像は、排泄前の便鉢３２の内部空間３４を示す画像である。判定装置１０Ａは、使用者が便器３０に着座したと判定したら、撮像装置４に撮像を指示する制御信号を送信することにより、基準画像の画像情報を取得する。
【0084】
ステップＳ２３において、判定装置１０Ａは、基準画像と対象画像とを用いて、マスク処理を行う。マスク処理は、基準画像と対象画像とに差分がない画素について、所定の色（例えば白色）とする処理である。
ステップＳ２４において、判定装置１０Ａは、差分画像を生成する。差分画像は、例えば、基準画像と対象画像とに差分がない画素についてマスク処理がなされ、基準画像と対象画像とに差分がある画素について対象画像の画素値（ＲＧＢ値）が反映された画像である。
ステップＳ２４において、判定装置１０Ａは、差分画像を生成する。差分画像は、例えば、基準画像と対象画像とに差分がない画素についてマスク処理がなされ、基準画像と対象画像とに差分がある画素について対象画像の画素値（ＲＧＢ値）が反映された画像である。
【0085】
ステップＳ２８において、判定装置１０Ａは、使用者が便器３０から脱座したと判定する場合、基準画像、対象画像、及び差分画像の画像情報を破棄する。具体的に、判定装置１０Ａは、画像情報記憶部１５に記憶していた基準画像、対象画像、及び差分画像の画像情報を消去する。これにより、記憶容量が逼迫してしまうことを抑制することが可能である。
【0086】
【0087】
また、図１０のステップＳ２５において、判定部１３Ａは、差分画像における便の性状の推定結果を用いて、使用者の排泄の状況を判定する。例えば、判定部１３Ａは、便の形状が、硬便であった場合は使用者の排便の状況が便秘傾向であると判定する。判定部１３Ａは、便の形状が、普通便であった場合は使用者の排便の状況が良好であると判定する。判定部１３Ａは、便の形状が、軟便であった場合は使用者の排便の状況が要観察状況であると判定する。判定部１３Ａは、便の形状が、泥状便、又は水様便であった場合は使用者の排便の状況が下痢傾向であると判定する。或いは、判定部１３Ａは、排便の状況から使用者の健康状態を判定しても良い。
【0088】
以上説明したように、第２の実施形態の判定装置１０Ａでは、前処理部１９が基準画像と、対象画像との差分を示す差分画像を生成する。これにより、第２の実施形態の判定装置１０Ａでは、排泄の前後において差異がある部分を差分画像に示すことができるために、排泄物の性状をより精度よく把握して、その性状をより正確に判定することが可能となる。
【0089】
また、第２の実施形態の判定装置１０Ａでは、前処理部１９は、基準画像における所定画素の色を示す色情報と、対象画像の画素における当該所定画素に対応する画素の色情報との差分に基づいて、差分画像における当該所定画素に対応する画素の色情報を決定する。これにより、第２の実施形態の判定装置１０Ａでは、排泄の前後において、色に差異がある部分を差分画像に示すことができるため、上述した効果と同様な効果を奏する。
【0090】
また、第２の実施形態の判定装置１０Ａでは、前処理部１９は、基準画像における所定画素のＲＧＢ値と、対象画像における当該所定画素に対応する画素のＲＧＢ値との差分を、差分画像における当該所定画素に対応する画素のＲＧＢ値とする。これにより、第２の実施形態の判定装置１０Ａでは、排泄の前後の色に差異を、ＲＧＢ値の差異として認識することができるため、色の差異を定量的に算出でき、上述した効果と同様な効果を奏する。
【0091】
また、第２の実施形態の判定装置１０Ａでは、前処理部１９は、基準画像における所定画素のＲ値、Ｇ値、Ｂ値の比率を示す色比率と、対象画像における当該所定画素に対応する画素の色比率との差分に基づいて、差分画像における当該所定画素に対応する画素のＲＧＢ値を決定する。これにより、第２の実施形態の判定装置１０Ａでは、排泄の前後において被写体に照射される光量が異なるなどして、背景色に差異が生じた場合であっても、その差異を排泄物と誤認識することなく、排泄物の性状を抽出することができ、上述した効果と同様な効果を奏する。
【0092】
なお、上記では、画像情報取得部１１Ａが基準画像の画像情報を取得する場合を例に説明したが、これに限定されない。例えば、基準画像の画像情報は任意の機能部により取得されてよいし、予め画像情報記憶部１５に記憶されているものであってもよい。
【0093】
（第２の実施形態の変形例１）
次に、第２の実施形態の変形例１について説明する。本変形例では、前処理として、対象画像を分割した分割画像を生成する点において、上述した実施形態と異なる。以下の説明では、上述した実施形態と相違する構成のみ説明し、上述した実施形態と同等の構成については同じ符号を付してその説明を省略する。
次に、第２の実施形態の変形例１について説明する。本変形例では、前処理として、対象画像を分割した分割画像を生成する点において、上述した実施形態と異なる。以下の説明では、上述した実施形態と相違する構成のみ説明し、上述した実施形態と同等の構成については同じ符号を付してその説明を省略する。
【0094】
一般に、便鉢３２は、便鉢３２の縁部から開口部３６に向かうにしたがって下側に傾斜するように形成される。このため、便鉢３２に落下した便が複数ある場合、先に落下したものが、後に落下したものに押されるようにして、便鉢３２の傾斜面に沿って下側に移動すると考えられる。すなわち、先に落下したものが開口部３６の前側に移動する性質がある。
【0095】
この性質を利用して、本変形例では、排泄物の排出の時系列を考慮した推定を行う。具体的には、対象画像を前側と後側とに分割する。そして、対象画像の前側を分割した画像（前側分割画像）に撮像された排泄物を古い便、対象画像の後側を分割した画像（後側分割画像）に撮像された排泄物を新しい便とみなして、便の性状を判定する。これにより、使用者の排便の状況について、古い便を判定することで、現在の状態に近い便に基づく判定を行おうことができる。
【0096】
本変形例において、前処理部１９は、分割画像を生成する。分割画像は、対象画像の一部の領域が含まれている画像であって、例えば、前側分割画像、及び後側分割画像である。対象画像を前側分割画像と後側分割画像とに分割する境界は、任意に設定されてよいが、例えば、便鉢３２に溜められた洗浄水Ｓの溜水面の中心を通る左右方向（左側と右側とを結ぶ方向）の線により分割される。
【0097】
なお、分割画像は、上記の前側分割画像と後側分割画像とに限定されることはない。分割画像は、対象画像の一部の領域が少なくとも含まれている画像であればよい。対象画像は、前後方向（前側と後側とを結ぶ方向）に三つの領域に分割された画像であってもよいし、前側分割画像が、更に左右方向に複数の領域に分割された画像であってもよい。また、対象画像から、一つの分割画像が生成されてもよいし、複数の分割画像が生成されてもよい。また、対象画像から複数の分割画像を生成する場合において、複数の分割画像に示される領域を結合した領域が、対象画像に示される領域の全部であってもよいし、一部の領域であってもよい。
【0098】
前処理部１９は、生成した分割画像の画像情報を解析部１２Ａに出力する。また、前処理部１９は、生成した分割画像の画像情報を画像情報記憶部１５に記憶するようにしてもよい。解析部１２Ａは、学習済みモデルを用いて、分割画像における便の性状の推定を行う。解析部１２Ａが推定に用いる学習済みモデルは、排泄における便鉢３２の内部空間３４を撮像した画像を分割した学習用の画像と、便の性状の評価の結果との対応関係を学習したモデルである。
【0099】
判定部１３Ａは、解析部１２Ａにより推定された分割画像における便の性状に基づいて、対象画像に示された状況における使用者の排泄の状況を判定する。判定部１３Ａは、対象画像から生成された分割画像が複数ある場合、分割画像それぞれの推定結果を総合的にみて使用者の排泄の状況を判定する。判定部１３Ａが総合的に使用者の排泄の状況を判定する方法については、後述する本変形例のフローチャートにて説明する。
【0100】
ここで、学習済みモデルを作成する際の学習に用いられる画像（排泄における便鉢３２の内部空間３４を撮像した画像を分割した学習用の画像）について説明する。本変形例における学習用の画像としての分割画像は、「学習用分割画像」の一例である。学習用の画像としての分割画像は、過去の排泄の際に撮像された、便鉢３２の内部空間３４の様々な画像の一部の領域を分割した画像である。前処理部２３による画像を分割する方法は、任意であってよいが、前処理部１９による分割と同様な方法であることが望ましい。同様な方法とすることにより、学習済みモデルを用いた推定の精度の向上が期待できる。また、学習済みモデルに対象画像の全体を学習させる場合よりも、対象画像の一部の領域、つまり対象画像よりも狭い領域を学習させるようにしたために、学習済みモデルを、より精度よく領域の状態を推定するモデルとすることが可能である。
【0101】
図１１は、第２の実施形態の変形例１に係る前処理部１９が行う処理を説明する図である。図１１の左側には対象画像の例として画像Ｇ４、中央には前側分割画像の例として画像Ｇ５、右側には後側分割画像の例として画像Ｇ６がそれぞれ示されている。
図１１の画像Ｇ４に示すように、対象画像には、内部空間３４が撮像されており、内部空間３４の略中央にある開口部３６に洗浄水Ｓが貯められた様子を含む、内部空間３４の全体が撮像されている。
図１１の画像Ｇ５に示すように、前側分割画像には、内部空間３４の前側の領域が抽出されており、開口部３６に洗浄水Ｓが貯められた溜水面の中心を通る左右方向の境界線より前側の領域が抽出されている。
図１１の画像Ｇ６に示すように、後側分割画像には、内部空間３４の後側の領域が抽出されており、溜水面の中心を通る左右方向の境界線より後側の領域が抽出されている。
図１１の画像Ｇ４に示すように、対象画像には、内部空間３４が撮像されており、内部空間３４の略中央にある開口部３６に洗浄水Ｓが貯められた様子を含む、内部空間３４の全体が撮像されている。
図１１の画像Ｇ５に示すように、前側分割画像には、内部空間３４の前側の領域が抽出されており、開口部３６に洗浄水Ｓが貯められた溜水面の中心を通る左右方向の境界線より前側の領域が抽出されている。
図１１の画像Ｇ６に示すように、後側分割画像には、内部空間３４の後側の領域が抽出されており、溜水面の中心を通る左右方向の境界線より後側の領域が抽出されている。
【0102】
ここで、第２の実施形態の変形例１に係る判定装置１０Ａが行う処理について、図１２を用いて説明する。図１２は第２の実施形態の変形例１に係る判定装置１０Ａが行う処理の流れを示すフローチャートである。図１２に示すフローチャートのうち、ステップＳ３０、Ｓ３１、Ｓ３３、Ｓ３７、及びＳ４２については、図４のフローチャートのＳ１０、Ｓ１１、Ｓ１４、Ｓ１５、及びＳ１３と同様であるため、その説明を省略する。
【0103】
ステップＳ３２において、判定装置１０Ａは、対象画像を用いて、分割画像を生成する。分割画像は、例えば、対象画像に撮像された領域の前側の領域を示す前側分割画像、及び後側の領域を示す後側分割画像である。
【0104】
ステップＳ３４において、判定装置１０Ａは、前側分割画像及び後側分割画像それぞれの分割画像について判定処理を行う。この判定処理の内容は、図１０のフローチャートにおけるステップＳ２５に示す処理と同様であるため、その説明を省略する。
【0105】
ステップＳ３５において、判定装置１０Ａは、使用者が便器３０から脱座したと判定しない場合（ステップＳ３３、ＮＯ）、便器３０における局部洗浄の操作が行われたか否かを判定し、便器３０における局部洗浄の操作が行われた場合には、ステップＳ３４に示す処理を行う。
ステップＳ３６において、判定装置１０Ａは、便器３０における局部洗浄の操作が行われたと判定しない場合（ステップＳ３５、ＮＯ）、便器３０における便器洗浄の操作が行われたか否かを判定し、便器３０における便器洗浄の操作が行われた場合には、ステップＳ３４に示す処理を行う。
ステップＳ３６において、判定装置１０Ａは、便器３０における局部洗浄の操作が行われたと判定しない場合（ステップＳ３５、ＮＯ）、便器３０における便器洗浄の操作が行われたか否かを判定し、便器３０における便器洗浄の操作が行われた場合には、ステップＳ３４に示す処理を行う。
【0106】
ステップＳ３８において、判定装置１０Ａは、前側分割画像及び後側分割画像の双方に判定結果があるか否かを判定する。双方に判定結果があるとは、双方に便の画像があり、それぞれの便の画像について性状についての判定結果があることを示す。
ステップＳ３９において、判定装置１０Ａは、前側分割画像及び後側分割画像の双方に判定結果がある場合、前側分割画像の判定結果を古い便の判定結果、後側分割画像の判定結果を新しい便の判定結果とする。
ステップＳ３９において、判定装置１０Ａは、前側分割画像及び後側分割画像の双方に判定結果がある場合、前側分割画像の判定結果を古い便の判定結果、後側分割画像の判定結果を新しい便の判定結果とする。
【0107】
ステップＳ４０において、判定装置１０Ａは、判定部１３Ａにより確定処理を行う。確定処理は、新しい便の判定結果、及び古い便の判定結果を用いて、使用者の排泄の状況を確定する処理である。判定装置１０Ａは、例えば、古い便が現在の排泄の状況を反映するとみなして排泄の状況を確定する。確定処理において、判定部１３Ａは、例えば、古い便の性状が硬便と判定され、新しい便の性状が普通便と判定された場合には、排便の際に大腸に残っていた固い便が排出され、使用者の排泄の状況は便秘傾向であると判定する。一方、確定処理において、判定部１３Ａは、例えば、古い便の性状が普通便と判定され、新しい便の性状が泥状便と判定された場合には、使用者の排泄の状況は良好であると判定する。
【0108】
ステップＳ４１において、判定装置１０Ａは、判定部１３Ａにより前側分割画像及び後側分割画像の一方しか判定結果がない場合、前側分割画像の判定結果が有るか否かを判定する。前側分割画像の判定結果が有る場合、前側分割画像の判定結果を用いてステップＳ４０に示す処理を行う。前側分割画像の判定結果がない場合、後側分割画像の判定結果を用いてステップＳ４０に示す処理を行う。前側分割画像の判定結果がない場合とは、例えば、前側分割画像に排泄物が撮像されておらず、便の性状を判定することができなかった場合である。
【0109】
以上説明したように、第２の実施形態の変形例１に係る判定装置１０Ａでは、前処理部１９が対象画像の一部の領域を含む分割画像を生成する。これにより、第２の実施形態の変形例１に係る判定装置１０Ａでは、対象画像の一部の領域を判定の対象とすることができ、対象画像の全体を判定対象とする場合よりも、狭い領域を詳しく判定することができ、より精度よく判定を行うことが可能である。
【0110】
また、第２の実施形態の変形例１に係る判定装置１０Ａでは、前処理部１９は、対象画像における便鉢の前側の領域を少なくとも示す前側分割画像を生成する。これにより、第２の実施形態の変形例１に係る判定装置１０Ａでは、対象画像において新しい便と古い便とが撮像されている場合には、新しい便が撮像されたとみなされる領域を分割画像とすることができる。また、対象画像において新しい便と古い便とが撮像されていない場合でも、便が撮像される可能性が高い領域を分割画像とすることができ、上述した効果と同様な効果を奏する。
【0111】
また、第２の実施形態の変形例１に係る判定装置１０Ａでは、前処理部１９は、前側分割画像と、後側分割画像とを生成し、解析部１２Ａは、前側分割画像について判定事項に関する推定を行うと共に、後側分割画像について判定事項に関する推定を行い、判定部１３Ａは、前側分割画像についての推定結果と、後側分割画像についての推定結果を用いて、前記対象画像について前記判定事項に関する判定を行う。これにより、第２の実施形態の変形例１に係る判定装置１０Ａでは、前側分割画像と後側分割画像との推定結果とを用いて、総合的に使用者の排泄の状況を判定することが可能となり、前側分割画像又は後側分割画像の何れか一方の推定結果を用いる場合より、精度のよい判定を行うことが可能である。
【0112】
また、第２の実施形態の変形例１に係る判定装置１０Ａでは、前処理部１９は、前側分割画像についての推定結果を、後側分割画像についての推定結果よりも時系列的に古い推定結果として、前記対象画像について前記判定事項に関する判定を行う。これにより、第２の実施形態の変形例１に係る判定装置１０Ａでは、前側分割画像についての推定結果を古い便の推定結果、後側分割画像についての推定結果を新しい便の推定結果とみなして、排泄の時系列を考慮した判定を行うことができ、使用者の排泄の状況についてより現在の状態に近い精度のよい判定を行うことが可能である。
なお、便鉢３２の形状により先に落下した便が移動する方向が変わるため、前側分割画像及び後側分割画像に対応付ける時系列の関係性は逆転してもよい。すなわち、上記では前側分割画像が後側分割画像よりも時系列的に古いものとして説明したが、これに限定されることはなく、前側分割画像が後側分割画像よりも時系列的に新しいものみなして、判定（確定）に係る処理が行われてもよい。
なお、便鉢３２の形状により先に落下した便が移動する方向が変わるため、前側分割画像及び後側分割画像に対応付ける時系列の関係性は逆転してもよい。すなわち、上記では前側分割画像が後側分割画像よりも時系列的に古いものとして説明したが、これに限定されることはなく、前側分割画像が後側分割画像よりも時系列的に新しいものみなして、判定（確定）に係る処理が行われてもよい。
【0113】
（第２の実施形態の変形例２）
次に、第２の実施形態の変形例２について説明する。本変形例では、前処理として、対象画像の全体を示す全体画像、及び対象画像の一部を切り出した部分画像を生成する点において、上述した実施形態と異なる。以下の説明では、上述した実施形態と相違する構成のみ説明し、上述した実施形態と同等の構成については同じ符号を付してその説明を省略する。
次に、第２の実施形態の変形例２について説明する。本変形例では、前処理として、対象画像の全体を示す全体画像、及び対象画像の一部を切り出した部分画像を生成する点において、上述した実施形態と異なる。以下の説明では、上述した実施形態と相違する構成のみ説明し、上述した実施形態と同等の構成については同じ符号を付してその説明を省略する。
【0114】
一般に、機械学習の手法を用いて、画像の全体から詳細な判定内容を推定させようとすると、高い演算能力が必要となり、装置コストが増大してしまう。例えば、モデルに用いるＤＮＮの層の数を増やせば、ノードの数が増加するために一回の試行に要する演算の回数が増え処理負荷が増大する。また、モデルが詳細な内容を推定できるようになる（つまり、学習データの入力に対するモデルの出力と、学習データの出力との誤差が最小となる）には、重みＷとバイアス成分ｂを変更させながら、試行を繰り返し何度も行う必要があり、このような繰り返しの試行を現実的な時間で収束させるためには、膨大な演算を高速に処理できる装置が必要となる。すなわち、対象画像の全体を詳細に解析しようとすると高性能の装置が必要となり、装置コストが増大してしまう。
【0115】
ところで、対象画像は、便鉢３２の内部空間３４の全体が撮像された画像である。すわち、対象画像には、排泄物が撮像された領域と、排泄物が撮像されていない領域とが存在する。このため、対象画像から、排泄物が落下することが多いと考えられる特定の領域（例えば、開口部３６の近傍領域）を切り出し、切り出した領域について、詳細な判定内容を推定させ方法が考えられる。これにより、解析の対象とする画像の領域を狭めることができ、装置コストの増大を抑制することが可能となる。
【0116】
しかしながら、本来、排泄物が、便鉢３２の何処の領域に落下するか不明である。また、使用者の体調により便の性状は変化する。このため、排泄物が落下する領域が、便鉢３２の特定の領域である場合が多かったとしても、常にその特定の領域のみに排泄物が落下するとも限らず、周囲に飛散する場合もあり得る。周囲に飛散しているにも関わらず、周囲の画像を用いることなく、特定の領域の画像のみを用いて判定を行うと、実態とは異なる判定をしてしまう可能性がある。
【0117】
この対策として、本変形例では、前処理により、対象画像の全体を示す全体画像と、対象画像の一部を切り出した部分画像とを生成する。
【0118】
全体画像については、詳細ではない大局的な判定を行うことにより、装置コストの増大の抑制を図る。大局的な判定とは、便の性状を判定することと比較して、全体的（大局的）な判定であり、例えば、便の飛散の有無を判定することである。便の飛散の有無は、飛散した便の性状を判定するものではないため、便の性状を判定する場合と比較して、比較的大まかで容易な判定であるということができる。ここで、全体画像について行う、便の飛散の有無に係る判定は、「第１判定事項」の一例である。
【0119】
一方、部分画像については、全体画像に係る判定よりも詳細な判定項目についての判定を行う。詳細な判定項目とは、例えば、便の性状を判定することである。画像の領域を狭めた部分画像を判定対象とすることにより、高性能な装置を用いなくとも、詳細な判定を行うことができ装置コストの増大の抑制を図る。ここで、部分画像について行う、便の性状に係る判定は、「第２判定事項」の一例である。
【0120】
本変形例において、前処理部１９は、全体画像、及び部分画像を生成する。全体画像は、対象画像の全体を示す画像であり、例えば、対象画像そのものである。部分画像は、対象画像の一部の領域を切り出した画像であって、例えば、対象画像から開口部３６の近傍領域を切り出した画像である。部分画像として、対象画像の何処の領域を切り出すかは任意に設定されてよく、例えば、便器３０の形状に応じて出荷時などに決定された固定の領域である。
【0121】
前処理部１９は、生成した全体画像及び部分画像の画像情報を解析部１２Ａに出力する。また、前処理部１９は、生成した全体画像及び部分画像の画像情報を画像情報記憶部１５に記憶するようにしてもよい。
【0122】
解析部１２Ａは、学習済みモデルを用いて、全体画像における便の飛散の有無の推定を行う。ここで、全体画像における便の飛散の有無の推定は、「第１推定」の一例である。
【0123】
また、解析部１２Ａは、学習済みモデルを用いて、部分画像における便の性状の推定を行う。ここで、部分画像における便の性状の推定は、「第２推定」の一例である。
【0124】
判定部１３Ａは、解析部１２Ａにより推定された全体画像における便の飛散の有無、及び部分画像における便の性状に基づいて、対象画像に示された状況における使用者の排泄の状況を判定する。判定部１３Ａが全体画像における推定結果、及び部分画像における推定結果に基づいて使用者の排泄の状況を判定する方法については、後述する本変形例のフローチャートにて説明する。
【0125】
ここで、本変形例で用いる学習済みモデルに学習させる学習データについて説明する。
全体画像の推定に用いる学習済みモデルは、排泄における便鉢３２の内部空間３４の全体を撮像した学習用の全体画像と、便の飛散の有無を評価した評価結果との対応関係を学習したモデルである。学習用の全体画像は、過去の排泄の際に撮像された、便鉢３２の内部空間３４の全体を示す様々な画像である。学習用の全体画像（排泄における便鉢３２の内部空間３４の全体を撮像した学習用の画像）は、「学習用全体画像」の一例である。
部分画像の推定に用いる学習済みモデルは、排泄における便鉢３２の内部空間３４の全体を撮像した画像から一部を切り出した学習用の部分画像と、便の性状を評価した評価結果との対応関係を学習したモデルである。学習用の部分画像は、全体画像の一部を切り出した画像である。学習用の部分画像（排泄における便鉢３２の内部空間３４の全体を撮像した画像から一部を切り出した学習用の画像）は、「学習用部分画像」の一例である。
学習用の全体画像、及び学習用の部分画像を生成する方法は、任意であってよいが、前処理部１９による全体画像及び部分画像の生成と同様な方法であることが望ましい。同様な方法とすることにより、学習済みモデルを用いた推定の精度の向上が期待できる。
全体画像の推定に用いる学習済みモデルは、排泄における便鉢３２の内部空間３４の全体を撮像した学習用の全体画像と、便の飛散の有無を評価した評価結果との対応関係を学習したモデルである。学習用の全体画像は、過去の排泄の際に撮像された、便鉢３２の内部空間３４の全体を示す様々な画像である。学習用の全体画像（排泄における便鉢３２の内部空間３４の全体を撮像した学習用の画像）は、「学習用全体画像」の一例である。
部分画像の推定に用いる学習済みモデルは、排泄における便鉢３２の内部空間３４の全体を撮像した画像から一部を切り出した学習用の部分画像と、便の性状を評価した評価結果との対応関係を学習したモデルである。学習用の部分画像は、全体画像の一部を切り出した画像である。学習用の部分画像（排泄における便鉢３２の内部空間３４の全体を撮像した画像から一部を切り出した学習用の画像）は、「学習用部分画像」の一例である。
学習用の全体画像、及び学習用の部分画像を生成する方法は、任意であってよいが、前処理部１９による全体画像及び部分画像の生成と同様な方法であることが望ましい。同様な方法とすることにより、学習済みモデルを用いた推定の精度の向上が期待できる。
【0126】
図１３は、第２の実施形態の変形例２に係る前処理部１９が行う処理を説明する図である。図１３の左側には対象画像の例として画像Ｇ７、中央には全体画像の例として画像Ｇ８、右側には部分画像の例として画像Ｇ９がそれぞれ示されている。
図１３の画像Ｇ７に示すように、対象画像には、内部空間３４が撮像されており、内部空間３４の略中央にある開口部３６に洗浄水Ｓが貯められた様子を含む、内部空間３４の全体が撮像されている。
図１３の画像Ｇ８に示すように、全体画像には、対象画像の全体が示されている。全体画像は対象画像そのものであってもよいし、対象画像からその全体を抽出したものであってもよい。
図１３の画像Ｇ９に示すように、部分画像には、内部空間３４の略中央、開口部３６の近傍の領域が抽出されており、洗浄水Ｓが溜められた溜水面とその周辺の領域が抽出されている。
図１３の画像Ｇ７に示すように、対象画像には、内部空間３４が撮像されており、内部空間３４の略中央にある開口部３６に洗浄水Ｓが貯められた様子を含む、内部空間３４の全体が撮像されている。
図１３の画像Ｇ８に示すように、全体画像には、対象画像の全体が示されている。全体画像は対象画像そのものであってもよいし、対象画像からその全体を抽出したものであってもよい。
図１３の画像Ｇ９に示すように、部分画像には、内部空間３４の略中央、開口部３６の近傍の領域が抽出されており、洗浄水Ｓが溜められた溜水面とその周辺の領域が抽出されている。
【0127】
ここで、第２の実施形態の変形例２に係る判定装置１０Ａが行う処理について、図１４を用いて説明する。図１４は第２の実施形態の変形例２に係る判定装置１０Ａが行う処理の流れを示すフローチャートである。図１４に示すフローチャートのうち、ステップＳ５０、Ｓ５１、Ｓ５３、Ｓ５７、及びＳ６２については、図４のフローチャートのＳ１０、Ｓ１１、Ｓ１４、Ｓ１５、及びＳ１３と同様であるため、その説明を省略する。また、図１４に示すフローチャートのうち、ステップＳ５５、及びＳ５６については、図１２のフローチャートのＳ３５、及びＳ３６と同様であるため、その説明を省略する。
【0128】
ステップＳ５２において、判定装置１０Ａは、対象画像を用いて、全体画像及び部分画像を生成する。全体画像は、例えば、対象画像に撮像された領域の全体を示す画像である。部分画像は、例えば、対象画像に撮像された領域の特定の一部の領域を示す画像である。
【0129】
ステップＳ５４において、判定装置１０Ａは、全体画像及び部分画像それぞれについて判定処理を行う。
判定装置１０Ａは、全体画像について大局的な判定、例えば便の飛散の有無の判定を行う。判定装置１０Ａは、学習済みモデルを用いて全体画像における便の飛散の有無を推定し、推定した結果を全体画像における便の飛散の有無を判定した判定結果とする。ここでの学習済みモデルは、学習用の全体画像と便の飛散の有無を判定した判定結果とを対応付けた学習データを用いて学習することにより作成されたモデルである。
また、判定装置１０Ａは、部分画像について詳細な判定、例えば便の性状の判定を行う。判定装置１０Ａは、学習済みモデルを用いて部分画像における便の性状を推定し、推定した結果を部分画像における便の性状を判定した判定結果とする。ここでの学習済みモデルは、学習用の部分画像と便の性状を判定した判定結果とを対応付けた学習データを用いて学習することにより作成されたモデルである。
判定装置１０Ａは、全体画像について大局的な判定、例えば便の飛散の有無の判定を行う。判定装置１０Ａは、学習済みモデルを用いて全体画像における便の飛散の有無を推定し、推定した結果を全体画像における便の飛散の有無を判定した判定結果とする。ここでの学習済みモデルは、学習用の全体画像と便の飛散の有無を判定した判定結果とを対応付けた学習データを用いて学習することにより作成されたモデルである。
また、判定装置１０Ａは、部分画像について詳細な判定、例えば便の性状の判定を行う。判定装置１０Ａは、学習済みモデルを用いて部分画像における便の性状を推定し、推定した結果を部分画像における便の性状を判定した判定結果とする。ここでの学習済みモデルは、学習用の部分画像と便の性状を判定した判定結果とを対応付けた学習データを用いて学習することにより作成されたモデルである。
【0130】
ステップＳ５８において、判定装置１０Ａは、全体画像及び部分画像の双方に判定結果があるか否かを判定する。双方に判定結果があるとは、全体画像に便の飛散の有無が判定されており、且つ部分画像について便の性状が判定されていることを示す。
【0131】
ステップＳ５９において、判定装置１０Ａは、判定部１３Ａにより全体画像及び部分画像の双方に判定結果がある場合、全体画像の判定結果を用いて、部分画像の判定結果を補正する。部分画像の判定結果を補正するとは、全体画像の判定結果を用いて、部分画像の判定結果を変更又は補足することをいう。
例えば、判定部１３Ａは、部分画像の判定結果として、便の性状が軟便であった場合において、全体画像の判定結果から便の飛散有りと判定された場合、排便の状況を下痢傾向であると補正する。一方、判定部１３Ａは、全体画像の判定結果から便の飛散なしと判定された場合、部分画像の判定結果としての排便の状況を補正しない。
例えば、判定部１３Ａは、部分画像の判定結果として、便の性状が軟便であった場合において、全体画像の判定結果から便の飛散有りと判定された場合、排便の状況を下痢傾向であると補正する。一方、判定部１３Ａは、全体画像の判定結果から便の飛散なしと判定された場合、部分画像の判定結果としての排便の状況を補正しない。
【0132】
ステップＳ６０において、判定装置１０Ａは、判定部１３Ａにより確定処理を行う。確定処理は、全体画像の判定結果、及び部分の判定結果を用いて、使用者の排便の状況等を判定する処理である。
【0133】
ステップＳ６１において、判定装置１０Ａは、判定部１３Ａにより全体画像及び部分画像の双方に判定結果がない場合、部分画像の判定結果が有るか否かを判定する。部分画像の判定結果が有る場合、部分画像の判定結果を用いてステップＳ６０に示す処理を行う。部分画像の判定結果がない場合、全体画像の判定結果を用いてステップＳ６０に示す処理を行う。部分画像の判定結果がない場合とは、例えば、部分画像に排泄物が撮像されておらず、便の性状を判定することができなかった場合である。
【0134】
以上説明したように、第２の実施形態の変形例２に係る判定装置１０Ａでは、前処理部１９が対象画像から全体画像と部分画像とを生成する。解析部１２Ａは、学習済みモデルを用いて全体画像から大局的な推定（第１推定）を行うと共に、別の学習済みモデルを用いて部分画像から詳細な推定（第２推定）を行う。これにより、第２の実施形態の変形例２に係る判定装置１０Ａでは、画素数の多い全体画像を用いて、比較的安易な大局的な推定を行うことで、全体画像から比較的難解な詳細な推定を行う場合よりも、演算処理の負荷を低減させ、装置コストの増大を抑制することができる。また、比較的画素数の少ない部分画像を用いて、詳細な推定を行うことで、比較的画素数の多い全体画像から詳細な推定を行う場合よりも、演算処理の負荷を低減させ、装置コストの増大を抑制することができる。
【0135】
また、第２の実施形態の変形例２に係る判定装置１０Ａでは、前処理部１９は、対象画像における便鉢３２の開口部３６を少なくとも含む部分画像を生成する。これにより、第２の実施形態の変形例２に係る判定装置１０Ａでは、排泄物が落下する可能性が高い領域を部分画像として切り出すことができ、部分画像を用いて排泄物に係る詳細な判定を行うことが可能となる。
【0136】
また、第２の実施形態の変形例２に係る判定装置１０Ａでは、前処理部１９は、大局的な推定（第１推定）として便の飛散の有無を推定し、詳細な推定（第２推定）として便の性状を推定する。これにより、第２の実施形態の変形例２に係る判定装置１０Ａでは、便の性状とともに飛散の有無を推定することができ、双方の推定結果を用いて、より精度よく判定を行うことが可能となる。
【0137】
また、第２の実施形態の変形例２に係る判定装置１０Ａでは、大局的な推定（第１推定）についての推定結果を用いて、詳細な推定（第２推定）の推定結果を補正する。これにより、第２の実施形態の変形例２に係る判定装置１０Ａでは、詳細な推定を補正することができ、より精度よく判定を行うことが可能となる。
【0138】
（第３の実施形態）
次に、第３の実施形態について説明する。本実施形態では、対象画像における対象領域を抽出する点において、上述した実施形態と相違する。対象領域は、本実施形態における判定の対象となる領域であり、排泄物の性状を判定する対象となる領域である。すなわち、判定領域は、対象画像において排泄物が撮像されていると推定される領域である。以下の説明では、上述した実施形態と相違する構成のみ説明し、上述した実施形態と同等の構成については同じ符号を付してその説明を省略する。
次に、第３の実施形態について説明する。本実施形態では、対象画像における対象領域を抽出する点において、上述した実施形態と相違する。対象領域は、本実施形態における判定の対象となる領域であり、排泄物の性状を判定する対象となる領域である。すなわち、判定領域は、対象画像において排泄物が撮像されていると推定される領域である。以下の説明では、上述した実施形態と相違する構成のみ説明し、上述した実施形態と同等の構成については同じ符号を付してその説明を省略する。
【0139】
図１５は、第３の実施形態に係る判定装置１０Ｂの構成を示すブロック図である。判定装置１０Ｂは、解析部１２Ｂと、判定部１３Ｂとを備える。ここで、解析部１２Ｂは、「抽出部」の一例である。
【0140】
解析部１２Ｂは、対象画像における画像の色が、排泄物に想定される所定の色（以下、想定色という）との違い（色差）に基づいて、想定色と近い色の領域を判定領域として抽出する。解析部１２Ｂは、対象画像における色が想定色と近い色であるか否かを、双方の色における色空間上の距離（以下、空間距離という）に基づいて決定する。二つの色の空間距離が小さい場合、色差が小さいことを示しており、当該二つの色が互いに近い色であることを示している。一方、空間距離が大きい場合、色差が大きいことを示しており、当該二つの色が互いに遠い色であることを示している。ここで、空間距離は、「想定色の特性」の一例である。
【0141】
ここで、解析部１２Ｂが空間距離を算出する方法について説明する。以下では、対象画像がＲＧＢ画像であり、想定色がＲＧＢ値により示される色である場合を例示して説明するが、これに限定されることはない。対象画像がＲＧＢ画像以外の画像（例えば、Ｌａｂ画像や、ＹＣｂＣｒ画像）である場合や、想定色がＲＧＢ値以外の色（例えば、Ｌａｂ値や、ＹＣｂＣｒ値）で示される場合でも同様な方法で判定領域を抽出することが可能である。また、以下では、想定色が便の色である場合を例示して説明するが、これに限定されることはない。想定色は、排泄物に想定される色であればよく、例えば、尿の色であってもよい。
【0142】
解析部１２Ｂは、空間距離として、例えば、色空間におけるユークリッド距離を算出する。解析部１２Ｂは、以下の（１）式を用いて、ユークリッド距離を算出する。（１）式において、Ｚ１はユークリッド距離、ΔＲは対象画像における所定の画素Ｘと想定色ＹとのＲ値の差分、ΔＧは画素Ｘと想定色ＹとのＧ値の差分、ΔＢは画素Ｘと想定色ＹとのＢ値の差分である。対象画像における所定の画素ＸのＲＧＢ値は（ｒｅｄ、ｇｒｅｅｎ、ｂｌｕｅ）、想定色ＹのＲＧＢ値は（Ｒｓ、Ｇｓ、Ｂｓ）である。
【0143】
Ｚ１＝（ΔＲ＾２＋ΔＧ＾２＋ΔＢ＾２）＾（１／２） …（１）
但し、
ΔＲ＝ｒｅｄ－Ｒｓ
ΔＧ＝ｇｒｅｅｎ－Ｇｓ
ΔＢ＝ｂｌｕｅ－Ｂｓ
但し、
ΔＲ＝ｒｅｄ－Ｒｓ
ΔＧ＝ｇｒｅｅｎ－Ｇｓ
ΔＢ＝ｂｌｕｅ－Ｂｓ
【0144】
また、解析部１２Ｂは、空間距離を算出する際に、重みづけを行ってもよい。重みづけは、色を構成する特定の要素の差異を強調するためのものであり、例えば、色を構成するＲ要素、Ｇ要素、及びＢ要素に互いに異なる係数（重み係数）を乗算することにより行う。重みづけを行うことにより、想定色との色差を要素に応じて強調させることができる。
【0145】
解析部１２Ｂは、例えば、以下の（２）式を用いて、重みづけしたユークリッド距離を算出することができる。（２）式において、Ｚ２は重みづけしたユークリッド距離、Ｒ＿ＣＯＥＦはＲ要素の重み係数、Ｇ＿ＣＯＥＦはＧ要素の係数、Ｂ＿ＣＯＥＦはＢ要素の重み係数である。ΔＲは画素Ｘと想定色ＹとのＲ値の差分、ΔＧは画素Ｘと想定色ＹとのＧ値の差分、ΔＢは画素Ｘと想定色ＹとのＢ値の差分である。対象画像における所定の画素ＸのＲＧＢ値は（ｒｅｄ、ｇｒｅｅｎ、ｂｌｕｅ）、想定色ＹのＲＧＢ値は（Ｒｓ、Ｇｓ、Ｂｓ）である。
【0146】
Ｚ２＝（Ｒ＿ＣＯＥＦ×ΔＲ＾２
＋Ｇ＿ＣＯＥＦ×ΔＧ＾２
＋Ｂ＿ＣＯＥＦ×ΔＢ＾２）＾（１／２） …（２）
但し、
Ｒ＿ＣＯＥＦ＞Ｇ＿ＣＯＥＦ＞Ｂ＿ＣＯＥＦ
ΔＲ＝ｒｅｄ－Ｒｓ
ΔＧ＝ｇｒｅｅｎ－Ｇｓ
ΔＢ＝ｂｌｕｅ－Ｂｓ
＋Ｇ＿ＣＯＥＦ×ΔＧ＾２
＋Ｂ＿ＣＯＥＦ×ΔＢ＾２）＾（１／２） …（２）
但し、
Ｒ＿ＣＯＥＦ＞Ｇ＿ＣＯＥＦ＞Ｂ＿ＣＯＥＦ
ΔＲ＝ｒｅｄ－Ｒｓ
ΔＧ＝ｇｒｅｅｎ－Ｇｓ
ΔＢ＝ｂｌｕｅ－Ｂｓ
【0147】
ここで、想定色Ｙとしての便の色の特性は、Ｒ要素がＧ要素よりも強く、Ｇ要素はＢ要素よりも強い傾向にある。このような色を構成する各要素の特徴に基づいて、解析部１２Ｂは、Ｒ要素の重み係数を、Ｇ要素の重み係数より大きな値とする。つまり、（２）式において、係数Ｒ＿ＣＯＦＥ、係数Ｇ＿ＣＯＦＥ、及び係数Ｂ＿ＣＯＦＥには、Ｒ＿ＣＯＥＦ＞Ｇ＿ＣＯＥＦ＞Ｂ＿ＣＯＥＦの関係が成立する。
【0148】
ところで、使用者の着座の加減などの影響により、被写体（便鉢３２の内部空間３４）に照射する光の光量が変化することが考えられる。光量が変化した場合、同じような色の排泄物であっても、色の濃淡が異なるかのように撮像される場合がある。このような場合、同じ色にもかかわらず、空間距離が異なる距離として算出されてしまう。
【0149】
この対策として、解析部１２Ｂは、空間距離として、色を構成する各要素の比率（以下、色比率という）のユークリッド距離を算出してもよい。色比率は、例えば、Ｒ値、Ｇ値、及びＢ値のうちの基準とする要素の値で、他の要素の値を除算することにより行う。色比率を用いることにより、色の濃淡に起因する差異を反映させないようにした空間距離を算出することが可能である。
【0150】
色比率を導出する際に基準とする要素は、任意に決定されてよいが、例えば、その色の支配的な要素とすることが考えられる。例えば、便の色においては、Ｒ要素が支配的である。このため、本実施形態において色比率は、Ｒ値、Ｇ値、及びＢ値のそれぞれを、Ｒ値により除算することにより作成する。
【0151】
例えば、画素Ｘ（ＲＧＢ値（ｒｅｄ、ｇｒｅｅｎ、ｂｌｕｅ））の色比率は、（ｒｅｄ／ｒｅｄ、ｇｒｅｅｎ／ｒｅｄ、ｂｌｕｅ／ｒｅｄ）、つまり（１、ｇｒｅｅｎ／ｒｅｄ、ｂｌｕｅ／ｒｅｄ）である。また、想定色Ｙ（ＲＧＢ値（Ｒｓ、Ｇｓ、Ｂｓ））の色比率は、（Ｒｓ／Ｒｓ、Ｇｓ／Ｒｓ、Ｂｓ／Ｒｓ）、つまり、（１、Ｇｓ／Ｒｓ、Ｂｓ／Ｒｓ）である。
【0152】
解析部１２Ｂは、以下の（３）式を用いて、色比率のユークリッド距離を算出することができる。（３）式において、Ｚ３は色比率のユークリッド距離、ΔＲｐは画素Ｘの色比率と想定色Ｙの色比率とのＲ要素の差分、ΔＧｐは画素Ｘの色比率と想定色Ｙの色比率とのＧ要素の差分、ΔＢｐは画素Ｘの色比率と想定色Ｙの色比率とのＢ要素の差分である。ＧＲ＿ＲＡＴＥは想定色Ｙの色比率におけるＧ要素の比率、ＢＲ＿ＲＡＴＥは想定色Ｙの色比率におけるＢ要素の比率である。対象画像における所定の画素ＸのＲＧＢ値は（ｒｅｄ、ｇｒｅｅｎ、ｂｌｕｅ）、想定色ＹのＲＧＢ値は（Ｒｓ、Ｇｓ、Ｂｓ）である。
【0153】
Ｚ３＝（ΔＲｐ＾２＋ΔＧｐ＾２＋ΔＢｐ＾２）＾（１／２）
＝（ΔＧｐ＾２＋ΔＢｐ＾２）＾（１／２） …（３）
但し、
ΔＲｐ＝ｒｅｄ／ｒｅｄ－Ｒｓ／Ｒｓ＝０（ゼロ）
ΔＧｐ＝ｇｒｅｅｎ／ｒｅｄ－ＧＲ＿ＲＡＴＥ
ΔＢｐ＝ｂｌｕｅ／ｒｅｄ－ＢＲ＿ＲＡＴＥ
ＧＲ＿ＲＡＴＥ＝Ｇｓ／Ｒｓ
ＢＲ＿ＲＡＴＥ＝Ｂｓ／Ｒｓ
１＞ＧＲ＿ＲＡＴＥ＞ＢＲ＿ＲＡＴＥ＞０
＝（ΔＧｐ＾２＋ΔＢｐ＾２）＾（１／２） …（３）
但し、
ΔＲｐ＝ｒｅｄ／ｒｅｄ－Ｒｓ／Ｒｓ＝０（ゼロ）
ΔＧｐ＝ｇｒｅｅｎ／ｒｅｄ－ＧＲ＿ＲＡＴＥ
ΔＢｐ＝ｂｌｕｅ／ｒｅｄ－ＢＲ＿ＲＡＴＥ
ＧＲ＿ＲＡＴＥ＝Ｇｓ／Ｒｓ
ＢＲ＿ＲＡＴＥ＝Ｂｓ／Ｒｓ
１＞ＧＲ＿ＲＡＴＥ＞ＢＲ＿ＲＡＴＥ＞０
【0154】
想定色Ｙとしての便の色の特性は、Ｒ要素がＧ要素よりも強く（Ｒｓ＞Ｇｓ）、Ｇ要素はＢ要素よりも強い（Ｇｓ＞Ｂｓ）傾向にある。比率ＧＲ＿ＲＡＴＥ、及び比率ＢＲ＿ＲＡＴＥは、共に０（ゼロ）～１までの間の値となる。また、比率ＧＲ＿ＲＡＴＥより比率ＢＲ＿ＲＡＴＥのほうが小さい値となる。つまり、（３）式において、比率ＧＲ＿ＲＡＴＥと比率ＢＲ＿ＲＡＴＥとに、１＞ＧＲ＿ＲＡＴＥ＞ＢＲ＿ＲＡＴＥ＞０の関係が成立する。
【0155】
また、解析部１２Ｂは、色比率のユークリッド距離を算出する際に、色比率を構成する特定の要素に重みづけを行ってもよい。解析部１２Ｂは、以下の（４）式を用いて、色比率の重みづけしたユークリッド距離を算出することができる。（４）式において、Ｚ４は色比率の重みづけしたユークリッド距離である。ΔＲｐは画素Ｘと想定色ＹとのＲ値の差分、ΔＧｐは画素Ｘと想定色ＹとのＧ値の差分、ΔＢｐは画素Ｘと想定色ＹとのＢ値の差分である。ＧＲ＿ＣＯＥＦは差分ΔＧｐの重み係数、ＢＲ＿ＣＯＥＦは差分のΔＢｐの重み係数である。対象画像における所定の画素ＸのＲＧＢ値は（ｒｅｄ、ｇｒｅｅｎ、ｂｌｕｅ）、想定色ＹのＲＧＢ値は（Ｒｓ、Ｇｓ、Ｂｓ）である。
【0156】
Ｚ４＝（ＧＲ＿ＣＯＥＦ×ΔＧｐ＾２
＋ＢＲ＿ＣＯＥＦ×ΔＢｐ＾２）＾（１／２） …（４）
但し、
ＧＰ＿ＣＯＥＦ＞ＢＰ＿ＣＯＥＦ
ΔＧｐ＝ｇｒｅｅｎ／ｒｅｄ－ＧＲ＿ＲＡＴＥ
ΔＢｐ＝ｂｌｕｅ／ｒｅｄ－ＢＲ＿ＲＡＴＥ
ＧＲ＿ＲＡＴＥ＝Ｇｓ／Ｒｓ
ＢＲ＿ＲＡＴＥ＝Ｂｓ／Ｒｓ
１＞ＧＲ＿ＲＡＴＥ＞ＢＲ＿ＲＡＴＥ＞０
＋ＢＲ＿ＣＯＥＦ×ΔＢｐ＾２）＾（１／２） …（４）
但し、
ＧＰ＿ＣＯＥＦ＞ＢＰ＿ＣＯＥＦ
ΔＧｐ＝ｇｒｅｅｎ／ｒｅｄ－ＧＲ＿ＲＡＴＥ
ΔＢｐ＝ｂｌｕｅ／ｒｅｄ－ＢＲ＿ＲＡＴＥ
ＧＲ＿ＲＡＴＥ＝Ｇｓ／Ｒｓ
ＢＲ＿ＲＡＴＥ＝Ｂｓ／Ｒｓ
１＞ＧＲ＿ＲＡＴＥ＞ＢＲ＿ＲＡＴＥ＞０
【0157】
（４）式において、（２）式における係数Ｇ＿ＣＯＦＥ、及び係数Ｂ＿ＣＯＦＥの関係と同様に、係数ＧＲ＿ＣＯＦＥ、及び係数ＢＲ＿ＣＯＦＥには、ＧＰ＿ＣＯＥＦ＞ＢＰ＿ＣＯＥＦの関係が成立する。また、（４）式において、（３）式と同様に、比率ＧＲ＿ＲＡＴＥと比率ＢＲ＿ＲＡＴＥとに、１＞ＧＲ＿ＲＡＴＥ＞ＢＲ＿ＲＡＴＥ＞０の関係が成立する。例えば、比率ＧＲ＿ＲＡＴＥ＝０．７、比率ＢＲ＿ＲＡＴＥ＝０．３、係数ＧＲ＿ＣＯＦＥ＝４０、係数ＢＲ＿ＣＯＦＥ＝１に設定される。
【0158】
解析部１２Ｂは、対象画像の画素ごとに算出した空間距離を、グレースケールとした画像（グレースケール対象画像）を作成する。例えば、解析部１２Ｂは、（５）式を用いて、空間距離のスケールを調整し、グレースケール値に換算する。（５）式において、Ｖａｌはグレースケール値、ＡＭＰはスケール調整用の係数、Ｚは空間距離である。空間距離Ｚは、ＲＧＢ値のユークリッド距離Ｚ１、ＲＧＢ値の重みづけユークリッド距離Ｚ２、色比率のユークリッド距離Ｚ３、色比率の重みづけユークリッド距離Ｚ４の何れであってもよい。また、Ｚ＿ＭＡＸは、対象画像の画素ごとに算出された空間距離の最大値、Ｖａｌ＿ＭＡＸは、グレースケール値の最大値である。
【0159】
Ｖａｌ＝ＡＭＰ×Ｚ …（５）
但し、
ＡＭＰ＝Ｖａｌ＿ＭＡＸ／Ｚ＿ＭＡＸ
但し、
ＡＭＰ＝Ｖａｌ＿ＭＡＸ／Ｚ＿ＭＡＸ
【0160】
例えば、グレースケール対象画像においてグレースケールの階調を０～２５５の２５６段階で示す場合、グレースケール値の最大値Ｖａｌ＿ＭＡＸは２５５である。この場合、（５）式により空間距離の最大値Ｘ＿ＭＡＸが、グレースケールの最大値Ｖａｌ＿ＭＡＸ（２５５）となるように、空間距離Ｚがグレースケール値Ｖａｌに変換される。これにより、解析部１２Ｂは、想定色との空間距離を、０（白色）～２５５（黒色）のグレースケール値により表現したグレースケール対象画像を作成する。
【0161】
ここで、解析部１２Ｂが判定領域を抽出する方法について、図１６を用いて説明する。図１６は、第３の実施形態に係る解析部１２Ｂが行う処理を説明する図である。図１６では、左右方向にグレースケール軸を示しており、グレースケール軸が左から右へ向かうにしたがって、グレースケール値が増加することを示している。
【0162】
図１６に示すように、グレースケール対象画像において、空間距離が小さい画素が小さいグレースケール値で表現される。つまり、想定色としての便の色により近い色が小さいグレースケール値で表現され、グレースケール値が小さい領域を、便が撮像された領域とみなすことができる。一方、グレースケール対象画像において、空間距離が大きい画素が大きいグレースケール値で表現される。つまり、想定色としての便の色とは離れた色が大きいグレースケール値で表現され、グレースケール値が大きい領域を、便が撮像されていない「非便」の領域とみなすことができる。
【0163】
この性質を利用して、解析部１２Ｂは、判定領域を抽出する。具体的に、解析部１２Ｂは、グレースケール対象画像における画素のグレースケール値が、所定の第１閾値（閾値１）未満である領域を排泄物がある領域とし、判定領域として当該排泄物がある領域を抽出する。第１閾値は、便鉢３２に溜められた洗浄水Ｓの色と、水様便の色とを区別する境界に相当するグレースケール値である。
【0164】
また、硬便と水様便との色を比較した場合、水様便は水（洗浄水Ｓ）に溶けているため、硬便より薄くなることが考えられる。この場合、水様便の色に対応するグレースケール値は、硬便に対応するグレースケール値よりも、想定色としての便の色から離れていることを示す濃い灰色で表現される。
【0165】
この性質を利用して、解析部１２Ｂは、判定領域から、水様便の領域と硬便の領域とを区別して抽出する。具体的に、解析部１２Ｂは、グレースケール対象画像における判定領域のうち、グレースケール値が所定の第２閾値（閾値２）未満である領域を硬便の領域、第２閾値以上である領域を水溶便の領域とする。第２閾値は、第１閾値よりも小さい値に設定される。ここで、水溶便の領域は「判定領域」の一例である。また、硬便の領域は「判定領域」の一例である。
【0166】
或いは、解析部１２Ｂは、判定領域に水様便の領域と硬便の領域とが混在している場合に、二つの領域（水様便の領域と硬便の領域）を区別して抽出するようにしてもよい。判定領域に二つ領域が混在している場合、判定領域に含まれる画素が取り得るグレースケールの範囲は、水溶便が取り得るグレースケールの範囲と硬便がとり得るグレースケールの範囲とを併せた範囲となるため、比較的広い範囲となる。一方、判定領域に一つの領域（水様便の領域、又は硬便の領域）のみが存在している場合、判定領域に含まれる画素がとり得るグレースケールの範囲は、比較的狭い範囲となる。
【0167】
この性質を利用して、解析部１２Ｂは、判定領域に含まれる画素におけるグレースケールの範囲に応じて、判定領域に水様便の領域と硬便の領域とが混在しているか否かを判定する。解析部１２Ｂは、例えば、判定領域に含まれる画素におけるグレースケールの最大値と最小値との差分を、グレースケールの範囲とする。解析部１２Ｂは、判定領域におけるグレースケールの範囲が、所定の差分閾値未満である場合、判定領域に水様便の領域と硬便の領域とが混在していない（つまり、判定領域は、水様便の領域、又は硬便の領域のみである）と判定する。解析部１２Ｂは、判定領域におけるグレースケールの範囲が、所定の差分閾値以上である場合、判定領域に水様便の領域と硬便の領域とが混在している。差分閾値は、水溶便が取り得るグレースケールの範囲と硬便がとり得るグレースケールの範囲とに応じて、例えば、何れか広い範囲、何れか狭い範囲、或いは二つの範囲の代表値に対応させた値に設定される。代表値は、二つの範囲の単純加算平均値、重みづけ平均値、中央値等、一般的に用いられる代表値の何れであってもよい。
【0168】
解析部１２Ｂは、抽出した判定領域を示す画像（抽出画像）の情報を、判定部１３Ｂに出力する。この場合、解析部１２Ｂは、判定領域に水様便の領域と硬便の領域とが混在している場合、判定領域において水様便の領域を示す画像（水様部抽出画像）と、判定領域において硬便の領域を示す画像（硬部抽出画像）の情報を、判定部１３Ｂに出力する。一方、解析部１２Ｂは、判定領域に水様便の領域と硬便の領域とが混在していない場合、判定領域として水様便の領域を示す画像（水様便抽出画像）、又は判定領域として硬便の領域を示す画像（硬便抽出画像）の情報を、判定部１３Ｂに出力する。
【0169】
図１５に戻り、判定部１３Ｂは、解析部１２Ｂにより取得した抽出画像に基づいて、判定事項に関する判定を行う。具体的に、判定部１３Ｂは、水様便抽出画像を用いて、水様便の性状を判定する。判定部１３Ｂは、硬便抽出画像を用いて、硬便の性状を判定する。判定部１３Ｂは、水様部抽出画像を用いて、水様便の性状を判定する。判定部１３Ｂは、硬部抽出画像を用いて、硬便の性状を判定する。
【0170】
判定部１３Ｂは、上述した他の実施形態と同様に、機械学習による推定結果を用いて便の性状を判定してもよい。この場合、解析部１２Ｂが、機械学習による推定を行なうようにしてもよいし、他の機能部が推定するようにしてもよい。また、判定部１３Ｂは、他の画像解析の手法を用いて便の性状を判定してもよい。この場合、判定装置１０Ｂは、学習済みモデル記憶部１６を省略することができる。
【0171】
判定部１３Ｂは、解析部１２Ｂにより判定領域が抽出され、範囲が絞り込まれた画像を解析の対象とすることができるため、対象画像の全体を解析する必要がない。また、判定部１３Ｂは、水様便か硬便かが区別された画像を解析の対象とすることができるため、水様便か硬便かが区別されていない画像を解析の対象とする場合と比較して、性状を判定する処理が容易となる。
【0172】
ここで、第３の実施形態の判定装置１０Ｂが行う処理について、図１７を用いて説明する。図１７は、第３の実施形態に係る判定装置１０Ｂが行う処理の流れを示すフローチャートである。本フローチャートでは、画像情報を取得する処理が行われた以降の処理の流れを示している。画像情報を取得する処理は、図４に示すフローチャートのステップＳ１１に対応する処理であり、本フローチャートでは「カメラ画像」と記載している処理に相当する。
【0173】
解析部１２Ｂは、対象画像をグレースケール化して、グレースケール対象画像を作成する（ステップＳ７０）。
解析部１２Ｂは、グレースケール対象画像における画素ごとのグレースケール値が第１閾値（閾値１）未満であるか否かを判定する（ステップＳ７１）。
解析部１２Ｂは、グレースケール対象画像において、グレースケール値が第１閾値（閾値１）未満である判定領域の画素群について、グレースケール値の最大値と最小値との差分Ｄを計算する（ステップＳ７２）。
解析部１２Ｂは、グレースケール対象画像における画素ごとのグレースケール値が第１閾値（閾値１）未満であるか否かを判定する（ステップＳ７１）。
解析部１２Ｂは、グレースケール対象画像において、グレースケール値が第１閾値（閾値１）未満である判定領域の画素群について、グレースケール値の最大値と最小値との差分Ｄを計算する（ステップＳ７２）。
【0174】
解析部１２Ｂは、差分Ｄが所定の差分閾値ａ未満であるか否かを判定し（ステップＳ７３）、差分Ｄが所定の差分閾値ａ未満である場合、判定領域に水様便の領域と硬便の領域とが混在していないと判定し、ステップＳ７４に示す処理に進む。ステップＳ７４において、解析部１２Ｂは、判定領域における画素ごとのグレースケール値が第２閾値（閾値２）未満であるか否かを判定する。
解析部１２Ｂは、判定領域における画素ごとのグレースケール値が第２閾値（閾値２）未満である場合、硬便抽出画像を判定部１３Ｂに出力する（ステップＳ７５）。判定部１３Ｂは、硬便抽出画像に基づいて、硬便だけの（硬便に特化した）便の性状を判定する（ステップＳ８２）。
解析部１２Ｂは、判定領域における画素ごとのグレースケール値が第２閾値（閾値２）以上である場合、水様便抽出画像を判定部１３Ｂに出力する（ステップＳ７６）。判定部１３Ｂは、水様便抽出画像に基づいて、水様便だけの（水様便に特化した）便の性状を判定する（ステップＳ８３）。
解析部１２Ｂは、判定領域における画素ごとのグレースケール値が第２閾値（閾値２）未満である場合、硬便抽出画像を判定部１３Ｂに出力する（ステップＳ７５）。判定部１３Ｂは、硬便抽出画像に基づいて、硬便だけの（硬便に特化した）便の性状を判定する（ステップＳ８２）。
解析部１２Ｂは、判定領域における画素ごとのグレースケール値が第２閾値（閾値２）以上である場合、水様便抽出画像を判定部１３Ｂに出力する（ステップＳ７６）。判定部１３Ｂは、水様便抽出画像に基づいて、水様便だけの（水様便に特化した）便の性状を判定する（ステップＳ８３）。
【0175】
一方、解析部１２Ｂは、差分Ｄが所定の差分閾値ａ以上である場合（ステップＳ７３、ＮＯ）、判定領域に水様便の領域と硬便の領域とが混在していると判定する（ステップＳ７７）。解析部１２Ｂは、判定領域における画素ごとのグレースケール値が第２閾値（閾値２）未満であるか否かを判定する（ステップＳ７８）。
解析部１２Ｂは、判定領域における画素ごとのグレースケール値が第２閾値（閾値２）未満である場合、その領域を硬部画像として判定部１３Ｂに出力する（ステップＳ７９）。判定部１３Ｂは、硬部抽出画像に基づいて、硬部（混在した状態における硬便の領域）の便の性状を判定する（ステップＳ８４）。
解析部１２Ｂは、判定領域における画素ごとのグレースケール値が第２閾値（閾値２）以上である場合、その領域を水様部抽出画像として判定部１３Ｂに出力する（ステップＳ７６）。判定部１３Ｂは、水様部抽出画像に基づいて、水様部（混在した状態における水様便の領域）の便の性状を判定する（ステップＳ８５）。
解析部１２Ｂは、判定領域における画素ごとのグレースケール値が第２閾値（閾値２）未満である場合、その領域を硬部画像として判定部１３Ｂに出力する（ステップＳ７９）。判定部１３Ｂは、硬部抽出画像に基づいて、硬部（混在した状態における硬便の領域）の便の性状を判定する（ステップＳ８４）。
解析部１２Ｂは、判定領域における画素ごとのグレースケール値が第２閾値（閾値２）以上である場合、その領域を水様部抽出画像として判定部１３Ｂに出力する（ステップＳ７６）。判定部１３Ｂは、水様部抽出画像に基づいて、水様部（混在した状態における水様便の領域）の便の性状を判定する（ステップＳ８５）。
【0176】
判定部１３Ｂは、ステップＳ８２～Ｓ８５による便の性状を判定した結果を用いて、対象画像における便の性状を総合的に判定する（ステップＳ８６）。
【0177】
なお、ステップＳ７１において、グレースケール対象画像における画素ごとのグレースケール値が第１閾値（閾値１）以上である画素群について、便以外の画像であると判定し判定領域から除外する（ステップＳ８１）。
【0178】
以上説明したように、第３の実施形態の判定装置１０Ｂでは、解析部１２Ｂが、想定色Ｙの色の特性に基づいて、対象画像から判定領域を抽出する。これにより、第３の実施形態の判定装置１０Ｂでは、対象画像から排泄物がある領域を抽出することができる。便の性状を判定する領域を絞り込むことができるので、対象画像の全体を解析対象とする場合と比較して、判定に要する処理負荷を低減させることが可能である。処理負荷を低減させることにより、高い演算能力を有しない装置でも処理を行うことが可能となるために、装置コストの増大を抑制することができる。また、判定の対象となる排泄物の想定色Ｙの色の特性に基づいて判定領域を抽出することができるために、想定色Ｙの色に無関係に抽出された領域と比較して判定領域における判定が容易となる。
【0179】
また、第３の実施形態の判定装置１０Ｂでは、解析部１２Ｂは、対象画像における画素ごとの色について、想定色Ｙとの色空間上における空間距離Ｚを算出し、算出した空間距離Ｚが所定の閾値未満である画素の集合を、判定領域として抽出する。これにより、第３の実施形態の判定装置１０Ｂでは、空間距離Ｚにより想定色Ｙとの色の違い（色差）を算出して想定色Ｙとの色差が少ない領域を判定することができ、定量的な指標に基づいて判定領域を抽出することが可能となる。
【0180】
また、第３の実施形態の判定装置１０Ｂでは、解析部１２Ｂは、対象画像における画素ごとの色について、想定色Ｙとの色の要素ごとの差分に重みづけをした値を用いて、色空間上における空間距離を算出する。これにより、第３の実施形態の判定装置１０Ｂでは、想定色Ｙとの違いが表れやすい要素（例えば、Ｒ要素）を強調させた空間距離を算出することが可能である。これにより、精度よく判定領域を抽出することが可能となる。
【0181】
また、第３の実施形態の判定装置１０Ｂでは、対象画像はＲＧＢ画像であり、想定色はＲＧＢ値で示される色であり、解析部１２Ｂは、対象画像における画素ごとのＲ値、Ｇ値、Ｂ値の比率を示す色比率と、想定色Ｙにおける色比率との、Ｒ要素における比率の差分、Ｇ要素における比率の差分、及びＢ要素における比率の差分に重みづけをした値を用いて、色空間上における空間距離を算出する。これにより、第３の実施形態の判定装置１０Ｂでは、被写体に照射する光の光量の相違による、色の濃淡の違いに影響されずに空間距離を算出することが可能である。これにより、精度よく判定領域を抽出することが可能となる。
【0182】
また、第３の実施形態の判定装置１０Ｂでは、解析部１２Ｂは、グレースケール対象画像を作成し、当該グレースケール対象画像における画素のグレースケール値が所定の第１閾値（閾値１）未満である領域を排泄物がある領域とし、判定領域として当該排泄物がある領域を抽出する。これにより、第３の実施形態の判定装置１０Ｂでは、グレースケール対象画像における画素ごとのグレースケール値を閾値と比較するという容易な方法により判定領域を抽出することが可能となる。
【0183】
また、第３の実施形態の判定装置１０Ｂでは、解析部１２Ｂは、グレースケール対象画像における画素のグレースケール値が前記第１閾値未満、且つ前記第１閾値より小さい所定の第２閾値以上である領域を水様便が示された領域とし、前記グレースケール対象画像における画素のグレースケール値が前記第２閾値未満である領域を硬便が示された領域とし、前記判定領域として、当該水様便が示された領域及び当該硬便が示された領域を抽出する。これにより、第３の実施形態の判定装置１０Ｂでは、グレースケール対象画像における画素ごとのグレースケール値を閾値と比較するという容易な方法により、水様便が示された領域と、硬便が示された領域とを区別して判定領域を抽出することができ、より精度よく判定領域を抽出することが可能となる。また、水様便が示された領域と硬便が示された領域とを区別して判定領域を抽出することにより、区別されない場合と比較して、判定部１３Ｂによる判定の処理負荷を低減させることが可能である。
【0184】
なお、上記では、解析部１２Ｂが一つのグレースケール対象画像を用いて判定領域を抽出する場合を例示して説明したが、これに限定されることはない。解析部１２Ｂは、複数の異なるグレースケール対象画像を用いて判定領域を抽出してもよい。例えば、解析部１２Ｂは、色比率の重みづけしたユークリッド距離Ｚ４をグレースケールに変換したグレースケール対象画像を用いて、第１閾値による判定領域を抽出する処理のみを行うようにしてもよい。そして、解析部１２Ｂは、ユークリッド距離Ｚ１をグレースケールに変換したグレースケール対象画像を用いて、第２閾値による水様便と硬便との領域を区別して抽出する処理のみを行うようにしてもよい。
【0185】
また、上記では複数の実施形態について説明したが、各実施形態における構成は、当該実施形態の構成のみに限定されることはなく、他の実施形態の構成として用いられてもよい。例えば、第１の実施形態において便の性状を判定する処理に、第２の実施形態及びその変形例に係る差分画像、分割画像、或いは全体画像と部分画像とが用いられてもよい。また、第２の実施形態及びその変形例に係る差分画像等に、第３の実施形態おけるグレースケール対象画像が用いられてもよい。また、第３の実施形態の便の性状を判定する処理に第２の実施形態及びその変形例に係る差分画像、分割画像、或いは全体画像と部分画像とが用いられてもよい。
【0186】
上述した実施形態における判定装置１０（１０Ａ、１０Ｂ）が行う処理の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
【0187】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0188】
１ 判定システム
１０ 判定装置
１１ 画像情報取得部
１２ 解析部（推定部）（抽出部）
１３ 判定部
１４ 出力部
１５ 画像情報記憶部
１６ 学習済みモデル記憶部
１７ 判定結果記憶部
１８ 通信部
２０ 学習装置
２１ 通信部
２２ 学習部
３ 便器装置
３０ 便器
３２ 便鉢
３４ 内部空間
３６ 開口部
Ｓ 洗浄水
４ 撮像装置
１０ 判定装置
１１ 画像情報取得部
１２ 解析部（推定部）（抽出部）
１３ 判定部
１４ 出力部
１５ 画像情報記憶部
１６ 学習済みモデル記憶部
１７ 判定結果記憶部
１８ 通信部
２０ 学習装置
２１ 通信部
２２ 学習部
３ 便器装置
３０ 便器
３２ 便鉢
３４ 内部空間
３６ 開口部
Ｓ 洗浄水
４ 撮像装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】