特許 7583273 手洗い認識装置、手洗い認識方法、手洗い認識プログラム、及び手洗い認識システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-06

(45)【発行日】2024-11-14

(54)【発明の名称】手洗い認識装置、手洗い認識方法、手洗い認識プログラム、及び手洗い認識システム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20241107BHJP

   A47K 1/00 20060101ALI20241107BHJP

【ＦＩ】

G06T7/20 300A

A47K1/00 Z

【請求項の数】 8

(21)【出願番号】P 2021060544

(22)【出願日】2021-03-31

(65)【公開番号】P2022156716

(43)【公開日】2022-10-14

【審査請求日】2023-12-07

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100094525

【弁理士】

【氏名又は名称】土井 健二

(74)【代理人】

【識別番号】100094514

【弁理士】

【氏名又は名称】林 恒徳

(72)【発明者】

【氏名】岩▲崎▼ 翔

(72)【発明者】

【氏名】鈴木 源太

【審査官】菊池 伸郎

(56)【参考文献】

【文献】特開２０１８－２００３９３（ＪＰ，Ａ）

【文献】特開２０２０－０９１７３９（ＪＰ，Ａ）

【文献】特開２０１６－１８６４３８（ＪＰ，Ａ）

【文献】特開２０１７－０１２５９７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２０

Ａ４７Ｋ １／００

(57)【特許請求の範囲】

【請求項1】

手洗い場の画像を取得する画像部と、
前記画像から、人物の手を検出する第１検出部と、
前記手に付着する泡と推定される推定泡の量を示す推定泡量を監視する監視部と、
前記人物の手洗いにおける手を濡らす工程を検出する第２検出部と、
前記手を濡らす工程における前記推定泡量に基づき第１閾値を設定し、前記推定泡量が前記第１閾値以下となる時間が第１時間継続したとき、前記手洗いにおける泡の洗い流しが適切に行われたと判定する判定部とを有する
手洗い認識装置。

【請求項2】

前記第２検出部は、前記手が判定領域内に位置する時間が第２時間を経過したとき、前記手を濡らす工程を行っていると判定する
請求項１記載の手洗い認識装置。

【請求項3】

前記判定領域は、前記手洗い場において流水される位置に応じた設定される範囲を含む
請求項２記載の手洗い認識装置。

【請求項4】

前記第２検出部は、前記手洗い場における流水を検出してから第３時間後、前記手を濡らす工程を行っていると判定する
請求項１記載の手洗い認識装置。

【請求項5】

前記監視部は、前記手の領域内に位置する白色成分を前記推定泡と判定する
請求項１記載の手洗い認識装置。

【請求項6】

手洗い場の画像を取得し、
前記画像から、人物の手を検出し、
前記手に付着する泡と推定される推定泡の量を示す推定泡量を監視し、
前記人物の手洗いにおける手を濡らす工程を検出し、
前記手を濡らす工程における前記推定泡量に基づき第１閾値を設定し、前記推定泡量が前記第１閾値以下となる時間が第１時間継続したとき、前記手洗いにおける泡の洗い流しが適切に行われたと判定する
手洗い認識方法。

【請求項7】

手洗い場の画像を取得する工程と、
前記画像から、人物の手を検出する工程と、
前記手に付着する泡と推定される推定泡の量を示す推定泡量を監視する工程と、
前記人物の手洗いにおける手を濡らす工程を検出する工程と、
前記手を濡らす工程における前記推定泡量に基づき第１閾値を設定し、前記推定泡量が前記第１閾値以下となる時間が第１時間継続したとき、前記手洗いにおける泡の洗い流しが適切に行われたと判定する工程と、
をコンピュータに実行させる手洗い認識プログラム。

【請求項8】

手洗い場の画像を撮影する撮影装置と、
前記撮影装置から前記画像を取得し、
前記画像から人物の手を検出し、
前記手に付着する泡と推定される推定泡の量を示す推定泡量を監視し、
前記人物の手洗いにおける手を濡らす工程を検出し、
前記手を濡らす工程における前記推定泡量に基づき第１閾値を設定し、前記推定泡量が前記第１閾値以下となる時間が第１時間継続したとき、前記手洗いにおける泡の洗い流しが適切に行われたと判定する画像処理装置と、
を有する手洗い認識システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、手洗い認識装置、手洗い認識方法、手洗い認識プログラム、及び手洗い認識システムに関する。

【背景技術】

【0002】

近年、ウイルスや病原菌などの流行により、感染予防策としての手洗いの重要度が見直されている。例えば、食品を扱う現場、病院、及び介護施設等において、作業従事者の衛生管理は特に重要であり、手洗いが慣行されている。特に、食品等関連業者を対象とし、衛生管理記録における国際標準ＨＡＣＣＰがあり、衛生管理行動のチェック、モニタリング、及び記録等が求められている。

【0003】

手洗いに関する技術は、以下に開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開2016-211268号公報

【文献】特開2020-048628号公報

【文献】特開2020-091739号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、手洗いでは、例えば、石けんの界面活性作用により、皮膚表面の細菌や汚れを浮かせることで、それらを石けんの泡内に取り込んでいる。つまり、手洗い後の石けんの泡には大量の細菌や汚れが含まれている。そのため、石けんの泡の洗い流し（流水にて手に付着する泡を洗い流す行為）が十分でないと、手の表面に細菌や汚れが残ってしまう。また、石けんの泡の洗い流しが十分でないと、手のこすれ等によって、細菌や汚れを広げてしまい、手洗い前よりも不衛生な状態となるような場合もある。

【0006】

そこで、一開示は、洗い流しが適正に行われたか否かを判定する手洗い認識装置、手洗い認識方法、手洗い認識プログラム、及び手洗い認識システムを提供する。

【課題を解決するための手段】

【0007】

手洗い場の画像を取得する画像部と、前記画像から、人物の手を検出する第１検出部と、前記手に付着する泡と推定される推定泡の量を示す推定泡量を監視する監視部と、前記人物の手洗いにおける手を濡らす工程を検出する第２検出部と、前記手を濡らす工程における前記推定泡量に基づき第１閾値を設定し、前記推定泡量が前記第１閾値以下となる時間が第１時間継続したとき、前記手洗いにおける泡の洗い流しが適切に行われたと判定する判定部とを有する。

【発明の効果】

【0008】

一開示は、手洗いにおける洗い流しが適正に行われたか否かを判定する手洗い認識装置、手洗い認識方法、手洗い認識プログラム、及び手洗い認識システムを提供する。

【図面の簡単な説明】

【0009】

【図1】図１は、手洗い認識システム１０の構成例を示す図である。

【図2】図２は、画像処理装置１００の構成例を表す図である。

【図3】図３は、手洗い判定処理Ｓ１００の処理フローチャートの例を示す図である。

【図4】図４は、推定泡量の算出の例を示す図である。

【図5】図５は、手を濡らしたときの推定泡量の算出の例を示す図である。

【図6】図６は、手洗いにおける推定泡量の変化の例を示す図である。

【図7】図７は、手洗いにおける手の動きの例を示す図である。

【図8】図８は、判定領域Ｔ１０が多角形の場合の例を示す図である。

【図9】図９は、手洗いの工程の例を示す図である。

【発明を実施するための形態】

【0010】

［第１の実施の形態］
第１の実施の形態について説明する。

【0011】

＜手洗い認識システム１０の構成例＞
図１は、手洗い認識システム１０の構成例を示す図である。手洗い認識システム１０は、画像処理装置（手洗い認識装置）１００及びカメラ２００を有する。手洗い認識システム１０は、カメラ２００で撮影した映像の画像データを解析し、対象となる人物の手洗いにおける洗い流しが適正に行われたか否かを判定するシステムである。

【0012】

カメラ２００は、手洗い場における対象人物の手元を撮影する撮影装置である。カメラ２００は、例えば、トイレや炊事場など、人物が手を洗う場所に設置され、流し台などの手洗い場を中心に、対象人物の手元を映す。カメラ２００は、例えば、有線（ネットワークケーブルなど）や無線（ブルートゥース（登録商標）など）を介して、画像処理装置１００と接続し、撮影した画像データを画像処理装置１００に送信する。カメラ２００は、例えば、映像として動画を撮影し、所定データサイズ又は所定時間の動画データを、継続して画像処理装置１００に送信する。また、カメラ２００は、常時又は定期的に、動画を撮影する。さらに、カメラ２００は、動画に代替し、連続した静止画を撮影してもよい。

【0013】

対象人物３００は、手洗いを行っている人物であり、洗い流しが適正に行われたか否かを判定する対象となる人物である。対象人物３００は、手洗い場において、石けんを用いて手を洗う。

【0014】

画像処理装置１００は、カメラ２００から取得した映像データを解析し、映像データに映る対象人物３００の洗い流しが適正に行われたか否かを判定する装置であり、例えば、コンピュータやサーバマシンである。

【0015】

手洗い認識システム１０において、カメラ２００は、撮影した画像データを画像処理装置１００に送信する。画像処理装置１００は、画像データに対象人物３００の手が映っていることを検出する。画像処理装置１００は、手に付着した泡量（推定泡量）を測定（算出）し、泡量が洗い流し完了条件を満たすとき、対象人物３００の洗い流しが適切に行われたと判定する。洗い流し完了条件は、例えば、推定泡量（推定泡量の平均値、最大値を含む）が、所定時間（第１時間）の間、閾値以下となることである。画像処理装置１００は、例えば、手領域内の白い部分を泡（推定泡）とみなし、推定泡量を算出する。

【0016】

画像処理装置１００は、対象人物３００が石けんを付ける前に手を濡らした状態を検出し、手を濡らした状態の推定泡量（初期値）を算出する。実際には、石けんを付ける前の、水で手を濡らしただけの状態においても、光の反射などで手の一部が白く映り、この白い部分が泡と誤認識される場合がある。そこで、画像処理装置１００は、濡れた手における推定泡量を初期値として測定し、閾値の設定に流用することで、手に残った泡量の判定精度を向上させる。

【0017】

＜画像処理装置１００の構成例＞
図２は、画像処理装置１００の構成例を表す図である。画像処理装置１００は、ＣＰＵ（Central Processing Unit）１１０、ストレージ１２０、メモリ１３０、通信回路１４０、及びアクセラレータ１５０を有する。

【0018】

ストレージ１２０は、プログラムやデータを記憶する、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）などの補助記憶装置である。ストレージ１２０は、手洗い判定プログラム１２１を記憶する。

【0019】

メモリ１３０は、ストレージ１２０に記憶されているプログラムをロードする領域である。また、メモリ１３０は、プログラムがデータを記憶する領域としても使用されてもよい。

【0020】

ＣＰＵ１１０は、ストレージ１２０に記憶されているプログラムを、メモリ１３０にロードし、ロードしたプログラムを実行し、各部を構築し、各処理を実現するプロセッサである。

【0021】

通信回路１４０は、カメラ２００と通信を行う回路である。通信回路１４０は、例えば、ＮＩＣ（Network Interface Card）である。また、通信回路１４０は、ブルートゥースの接続アダプタである。通信回路１４０における通信手段は、無線及び有線のいずれであってもよい。

【0022】

アクセラレータ１５０は、例えば、ＣＰＵ１１０の命令に従い特定の処理を行う、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）である。アクセラレータ１５０は、例えば、ハードウェアアクセラレータであり、画像処理や演算処理などを行う。

【0023】

ＣＰＵ１１０は、手洗い判定プログラム１２１を実行することで、画像部、第１検出部、第２検出部、監視部、及び判定部を構築し、手洗い判定処理を行う。手洗い判定処理は、対象人物３００の手洗いが適正に行われたか否かを判定する処理である。

【0024】

画像処理装置１００は、手洗い判定処理において、カメラ２００から画像データを取得する。そして、画像処理装置１００は、画像データから、対象人物３００の手を検出する。そして、画像処理装置１００は、画像データから、対象人物３００が手を濡らした工程を行っていることを検出する。そして、画像処理装置１００は、対象人物３００が手を濡らした工程において、推定泡量の初期値を算出し、初期値に基づき洗い流し閾値（第１閾値）を設定する。さらに、画像処理装置１００は、手に付着した推定泡量を監視し、洗い流し完了条件を満たすとき、対象人物３００の洗い流しが適切に行われたと判定する。

【0025】

ＣＰＵ１１０は、手洗い判定プログラム１２１が有する手検出モジュール１２１１を実行することで、第１検出部を構築し、手検出処理を行う。手検出処理は、画像データから人物の手（右手、左手など）を検出する処理である。画像処理装置１００は、例えば、畳み込みニューラルネットワークを用いて、画像から手を検出する。

【0026】

ＣＰＵ１１０は、手洗い判定プログラム１２１が有する手濡らし工程検出モジュール１２１２を実行することで、第２検出部を構築し、手濡らし工程検出処理を行う。手濡らし工程検出処理は、画像データから、対象人物が手を濡らす工程を行っている（行った）ことを検出する処理である。

【0027】

ＣＰＵ１１０は、手洗い判定プログラム１２１が有する泡量初期値算出モジュール１２１３を実行することで、判定部を構築し、泡量初期値算出処理を行う。泡量初期値算出処理は、画像データから、対象人物が手を濡らす工程を行っている（行った）ことを検出したとき、手の推定泡量の初期値を算出する処理である。なお、画像処理装置１００は、泡量初期値算出処理において、例えば、右手、左手それぞれの推定泡量の初期値を算出する。

【0028】

ＣＰＵ１１０は、手洗い判定プログラム１２１が有する泡量監視モジュール１２１４を実行することで、監視部を構築し、泡量監視処理を行う。泡量監視処理は、画像データから、対象人物が手を濡らす工程を行っている（行った）ことを検出した後の手の推定泡量を監視する処理である。画像処理装置１００は、泡量監視処理において、右手、左手それぞれの推定泡量を監視する。

【0029】

ＣＰＵ１１０は、手洗い判定プログラム１２１が有する洗い流し判定モジュール１２１５を実行することで、判定部を構築し、洗い流し判定処理を行う。洗い流し判定処理は、推定泡量を洗い流し完了条件（洗い流しが適切に行われたと判定する条件）と比較し、洗い流し完了条件を満たすか否かを判定する処理である。画像処理装置１００は、洗い流し完了条件を満たす場合、対象人物３００の洗い流しが適切に行われたと判定する。洗い流し完了条件は、例えば、所定時間の間、推定泡量が洗い流し閾値以下となることである。

【0030】

＜手洗い判定処理について＞
手洗い判定処理Ｓ１００について説明する。図３は、手洗い判定処理Ｓ１００の処理フローチャートの例を示す図である。

【0031】

画像処理装置１００は、手洗い判定処理Ｓ１００において、画像の取得を開始する（Ｓ１００－１）。画像は、例えば、カメラ２００が撮影した画像データであり、定期的にカメラ２００から取得する。また、画像データは、例えば、動画のデータである。

【0032】

画像処理装置１００は、画像から対象人物の手を検出するのを待ち受ける（Ｓ１００－２のＮｏ）。画像処理装置１００は、画像から対象人物の手を検出すると（Ｓ１００－２のＹｅｓ）、手を濡らす工程を検出するのを待ち受ける（Ｓ１００－３のＮｏ）。手を濡らす工程の検出方法については、後述する。画像処理装置１００は、手を濡らす工程を検出すると（Ｓ１００－３のＹｅｓ）、推定泡量の初期値を算出する（Ｓ１００－４）。

【0033】

図４は、推定泡量の算出の例を示す図である。図４（Ａ）は、手に泡を取ったタイミングの画像の例を示す図である。図４（Ｂ）は、手の領域の例を示す図である。図４（Ｃ）は、泡領域の例を示す図である。画像処理装置１００は、図４（Ａ）の画像から、手を検出し、図４（Ｂ）の手領域Ｔ１を検出する。そして、画像処理装置１００は、図４（Ａ）の画像から、手領域Ｔ１内の白色成分を泡として検出し、図４（Ｃ）の泡領域Ｔ２を検出する。そして、画像処理装置１００は、手領域Ｔ１の面積に対する泡領域Ｔ２の面積の割合を、推定泡量として算出する。

【0034】

図５は、手を濡らしたときの推定泡量の算出の例を示す図である。図５に示すように、手を濡らす工程を行うと、光の反射などにより、泡以外の要因で手の一部が白く映ることがある。画像処理装置１００は、手領域内の白色成分を推定泡と判定するため、この光の反射などで白く映る領域Ｔ３及びＴ４についても、推定泡と判定する場合がある。そこで、画像処理装置１００は、手を濡らしてから、泡を手に取るまでの間において、推定泡量の初期値を算出する。初期値は、手を濡らしたタイミングにおける推定泡の量（割合）を示す数値である。画像処理装置１００は、推定泡量の初期値を、洗い流しが適切に行われたか否かの判定に用いる。初期値は、例えば、所定時間内における推定泡量の最大値や平均値などを含む。

【0035】

図３の処理フローチャートに戻り、画像処理装置１００は、算出した初期値に基づき、洗い流し閾値を設定する（Ｓ１００－５）。洗い流し閾値は、洗い流し完了条件に用いる閾値であって、十分に泡が洗い流されているか否かを判定する閾値である。画像処理装置１００は、初期値、あるいは初期値の数パーセント増減させた数値を、洗い流し閾値に設定する。

【0036】

画像処理装置１００は、手の推定泡量の監視を開始する（Ｓ１００－６）。画像処理装置１００は、監視において、所定タイミングごとに手領域内の推定泡量を算出する。

【0037】

画像処理装置１００は、推定泡量を算出したタイミングで、推定泡量が洗い流し完了条件を満たすか否かを判定する（Ｓ１００－７）。洗い流し完了条件は、例えば、推定泡量が、所定時間の間、洗い流し閾値以下となっていることである。あるいは、洗い流し完了条件は、例えば、所定時間の間の推定泡量の平均が、洗い流し閾値以下となっていることであってもよい。

【0038】

図６は、手洗いにおける推定泡量の変化の例を示す図である。推定泡量は、手を濡らす工程において、増加する。画像処理装置１００は、増加しきった付近の値を、初期値とする。

【0039】

推定泡量は、石けんを泡立てる工程において、徐々に増加する。なお、推定泡量は、手に付着した泡量の推定したものであるため、手の向きや角度によっても増減する。石けんを泡立てる工程では、手を頻繁に動かすため、推定泡量は、増減を繰り返す場合があるが、概ね時間とともに増加する傾向を示す。

【0040】

推定泡量は、洗い流し工程において、減少する。推定泡量は、初期値付近まで減少する。洗い流し工程において、ほとんどの泡を洗い流したとき、手に水がついている状態となる。この状態における推定泡量は、手を濡らす工程において測定した初期値と近似する。

【0041】

画像処理装置１００は、図６に示すように、手を濡らす工程における推定泡量（初期値）と洗い流しが完了した状態における推定泡量が近似することに基づき、推定泡量が初期値より設定された洗い流し閾値以下となったとき、洗い流しが適切に行われたと判定する。なお、画像処理装置１００は、推定泡量の測定誤差を考慮し、所定時間連続で推定泡量が洗い流し閾値以下となることを、洗い流し完了条件とする。また、画像処理装置１００は、推定泡量の測定誤差を考慮し、所定時間の平均の推定泡量が洗い流し閾値以下となることを、洗い流し完了条件としてもよい。

【0042】

図３の処理フローチャートに戻り、画像処理装置１００は、推定泡量が洗い流し完了条件を満たす場合（Ｓ１００－７のＹｅｓ）、洗い流しが適切に行われたと判定し（Ｓ１００－８）、処理を終了する。

【0043】

一方、画像処理装置１００は、推定泡量が洗い流し完了条件を満たさない場合（Ｓ１００－７のＮｏ）、画像に手が映っているか否かを判定する（Ｓ１００－９）。画像処理装置１００は、手を検出することで、対象人物が手洗いを続行しているか否かを判定する。

【0044】

画像処理装置１００は、手を検出できない場合（Ｓ１００－９のＮｏ）、対象人物の手洗いが終了したとみなし、洗い流しが不適切であると判定し（Ｓ１００－１０）、処理を終了する。

【0045】

一方、画像処理装置１００は、手を検出できた場合（Ｓ１００－９のＹｅｓ）、対象人物の手洗いが継続中であるとみなし、洗い流し完了条件を満たすか否かを判定する（Ｓ１００－７）。このように、画像処理装置１００は、対象人物が手洗いを継続している限り、洗い流し完了条件を満たすまで、もしくは手を検出できなくなるまで、推定泡量の監視を継続する。

【0046】

＜洗い流し完了条件について＞
推定泡量は、例えば、両手を統合して算出される。画像処理装置１００は、右手の手領域と左手の手領域の合計面積、あるいは重なっている両手の手領域の面積に対する泡量を、推定泡量として算する。画像処理装置１００は、洗い流しの完了条件を両手の推定泡量から洗い流しが適切に行われたこととしてもよい。画像処理装置１００は、例えば、右手と左手の推定泡量の合計値が洗い流し閾値以下になったことを、一連の手洗いにおける洗い流しが適切に行われたと判定する条件としてもよい。

【0047】

また、推定泡量は、例えば、右手、左手それぞれについて算出されてもよい。画像処理装置１００は、右手の手領域の面積に対する泡量を、右手の推定泡量として算する。画像処理装置１００は、左手の手領域の面積に対する泡量を、左手の推定泡量として算する。画像処理装置１００は、両手それぞれについて推定泡量を算出し、洗い流しの完了条件を両手それぞれの洗い流しが適切に行われたこととしてもよい。画像処理装置１００は、例えば、右手又は左手のそれぞれについて、洗い流しが適切に行われたか否かを判定し、両手ともに洗い流しが適切に行われたことを、一連の手洗いにおける洗い流しが適切に行われたと判定する条件としてもよい。

【0048】

＜手を濡らす工程の検出について＞
手を濡らす工程の検出方法について説明する。手を濡らす工程の検出方法は、例えば、手の動きに基づき検出する方法（第１方法）と、流水を検知することで検出する方法（第２方法）がある。それぞれの方法について、以下に説明する。

【0049】

＜１．手の動きに基づき検出する方法（第１方法）＞
図７は、手洗いにおける手の動きの例を示す図である。動線Ｌ１は、手の動きの例を示す線である。

【0050】

対象人物が手洗いを開始するとき、シンクの外側の領域Ａ１内に手が現れる。手は、動線Ｌ１に沿って移動し、判定領域Ｔ１０内の領域Ａ２内で１秒から数秒の短時間だけ留まる。このとき、対象人物は、手を濡らす工程を行っている。判定領域Ｔ１０は、手を濡らす工程や、洗い流し工程を行っていると想定される領域であり、例えば、流水の下を中心として設定された範囲である。そして、手は、手を濡らす工程が終了すると、例えば石けんを手に取るため、動線Ｌ１に沿って判定領域Ｔ１０外の領域Ａ３内に移動する。

【0051】

画像処理装置１００は、判定領域Ｔ１０内に手が位置するとき、手を濡らす工程を行っていると判定する。これにより、画像処理装置１００は、例えば、手に流水がかからない位置にあるにも関わらず、手を濡らす工程を行っているとする誤判定を減少させることができる。なお、洗い流し工程においても、手は判定領域Ｔ１０内に移動する。そこで、画像処理装置１００は、所定時間（第２時間）だけ手が判定領域Ｔ１０内に滞留することを、手洗いの開始（例えば、初めて手を検出したとき）から数秒以内に検出したとき、あるいは手洗いの開始から初めて検出したときに、手を濡らす工程が行われた（行われている）と判定する。画像処理装置１００は、例えば、畳み込みニューラルネットワークを用いて、画像から手を検出し、手の動きを監視する。

【0052】

なお、手が判定領域Ｔ１０内に位置するか否かの判定は、例えば、手の重心（中心）位置が判定領域Ｔ１０内に位置するか否かで判定する。また、手が判定領域Ｔ１０内に位置するか否かの判定は、例えば、指先から手首までの手領域の一部が判定領域Ｔ１０内に位置するか否かで判定してもよい。

【0053】

また、図７において、判定領域Ｔ１０は矩形であるが、判定領域Ｔ１０は矩形に限定されない。図８は、判定領域Ｔ１０が多角形の場合の例を示す図である。判定領域Ｔ１０は、例えば、手の指先から手首までを流水の下に移動したときの、手が位置する可能性がある範囲に基づき設定される。

【0054】

＜２．流水を検知することで検出する方法（第２方法）＞
画像処理装置１００は、流水（流水の開始）を検知することで、手を濡らす工程が行われたことを検出する。流水の検知は、例えば、センサによって自動で流水する流水システムである場合、流水システムからセンサと連動して、流水が開始されたことを受信することで実現される。

【0055】

また、流水の検知は、例えば、画像から流水を認識することで実現されてもよい。画像処理装置１００は、流水を検知した所定時間（第３時間）後、手を濡らす工程が行われたと判定する。所定時間は、手を濡らす工程を行っている時間を想定し、例えば、１秒などの短い時間である。画像処理装置１００は、例えば、畳み込みニューラルネットワークを用いて、画像から流水を検出する。

【0056】

なお、手を濡らす工程の検出は、第１方法と第２方法の両方を用いてもよい。例えば、画像処理装置１００は、第１方法かつ第２方法で検出されたことを、手を濡らす工程の検出とみなしてもよい。また、画像処理装置１００は、第１方法または第２方法の少なくとも一方で検出されたことを、手を濡らす工程の検出とみなしてもよい。

【0057】

［その他の実施の形態について］
その他の実施の形態について説明する。図９は、手洗いの工程の例を示す図である。対象人物は、例えば、手洗いを開始するとき、図９に示すように、最初に手を濡らす工程を行う。手を濡らす工程においては、流水が行われる。そして、石けんを泡立てる工程は、流水が停止している。さらに、洗い流し工程は、再度流水が行われる。画像処理装置１００は、流水が行われている手を濡らす工程と洗い流し工程を、誤認識しないように区別する必要がある。

【0058】

画像処理装置１００は、例えば、初期値（洗い流し閾値）を検出してから、所定時間の間、推定泡量の監視を行わないことで、手を濡らす工程を監視対象から除外する。

【0059】

また、画像処理装置１００は、例えば、自動（センサなど）で流水されるシステムでは、泡立ての間は流水が停止している場合がある。この場合、画像処理装置１００は、手を濡らす工程における流水を検出し、泡立てで流水が止まったことを検出したのち、洗い流し工程における流水を検出することができる。画像処理装置１００は、洗い流しの流水（一連の手洗いにおける２回目の流水）を検出することを契機として、推定泡量の監視を開始してもよい。

【0060】

以上、まとめると、付記のようになる。

【0061】

（付記１）
手洗い場の画像を取得する画像部と、
前記画像から、人物の手を検出する第１検出部と、
前記手に付着する泡と推定される推定泡の量を示す推定泡量を監視する監視部と、
前記人物の手洗いにおける手を濡らす工程を検出する第２検出部と、
前記手を濡らす工程における前記推定泡量に基づき第１閾値を設定し、前記推定泡量が前記第１閾値以下となる時間が第１時間継続したとき、前記手洗いにおける泡の洗い流しが適切に行われたと判定する判定部とを有する
手洗い認識装置。

【0062】

（付記２）
前記第２検出部は、前記手が判定領域内に位置する時間が第２時間を経過したとき、前記手を濡らす工程を行っていると判定する
付記１記載の手洗い認識装置。

【0063】

（付記３）
前記判定領域は、前記手洗い場において流水される位置に応じた設定される範囲を含む
付記２記載の手洗い認識装置。

【0064】

（付記４）
前記第２検出部は、前記手洗い場における流水を検出してから第３時間後、前記手を濡らす工程を行っていると判定する
付記１記載の手洗い認識装置。

【0065】

（付記５）
前記第２検出部は、自動で流水する流水システムから流水を開始したことを取得することで、前記流水を検出する
付記４記載の手洗い認識装置。

【0066】

（付記６）
前記第２検出部は、前記画像から前記流水を検出する
付記４記載の手洗い認識装置。

【0067】

（付記７）
前記監視部は、前記手の領域内に位置する白色成分を前記推定泡と判定する
付記１記載の手洗い認識装置。

【0068】

（付記８）
手洗い場の画像を取得し、
前記画像から、人物の手を検出し、
前記手に付着する泡と推定される推定泡の量を示す推定泡量を監視し、
前記人物の手洗いにおける手を濡らす工程を検出し、
前記手を濡らす工程における前記推定泡量に基づき第１閾値を設定し、前記推定泡量が前記第１閾値以下となる時間が第１時間継続したとき、前記手洗いにおける泡の洗い流しが適切に行われたと判定する
手洗い認識方法。

【0069】

（付記９）
手洗い場の画像を取得する工程と、
前記画像から、人物の手を検出する工程と、
前記手に付着する泡と推定される推定泡の量を示す推定泡量を監視する工程と、
前記人物の手洗いにおける手を濡らす工程を検出する工程と、
前記手を濡らす工程における前記推定泡量に基づき第１閾値を設定し、前記推定泡量が前記第１閾値以下となる時間が第１時間継続したとき、前記手洗いにおける泡の洗い流しが適切に行われたと判定する工程と、
をコンピュータに実行させる手洗い認識プログラム。

【0070】

（付記１０）
手洗い場の画像を撮影する撮影装置と、
前記撮影装置から前記画像を取得し、
前記画像から人物の手を検出し、
前記手に付着する泡と推定される推定泡の量を示す推定泡量を監視し、
前記人物の手洗いにおける手を濡らす工程を検出し、
前記手を濡らす工程における前記推定泡量に基づき第１閾値を設定し、前記推定泡量が前記第１閾値以下となる時間が第１時間継続したとき、前記手洗いにおける泡の洗い流しが適切に行われたと判定する画像処理装置と、
を有する手洗い認識システム。

【符号の説明】

【0071】

１０ ：手洗い認識システム
１００ ：画像処理装置
１１０ ：ＣＰＵ
１２０ ：ストレージ
１２１ ：手洗い判定プログラム
１２１１ ：手検出モジュール
１２１２ ：手濡らし工程検出モジュール
１２１３ ：泡量初期値算出モジュール
１２１４ ：泡量監視モジュール
１２１５ ：洗い流し判定モジュール
１３０ ：メモリ
１４０ ：通信回路
１５０ ：アクセラレータ
２００ ：カメラ
３００ ：対象人物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】