特開 2022-157201 手洗い認識装置、手洗い認識方法、手洗い認識プログラム、及び手洗い認識システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022157201

(43)【公開日】2022-10-14

(54)【発明の名称】手洗い認識装置、手洗い認識方法、手洗い認識プログラム、及び手洗い認識システム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20221006BHJP

   A47K 1/00 20060101ALI20221006BHJP

【ＦＩ】

G06T7/20 300Z

A47K1/00 Z

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2021061297

(22)【出願日】2021-03-31

(71)【出願人】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100094525

【弁理士】

【氏名又は名称】土井 健二

(74)【代理人】

【識別番号】100094514

【弁理士】

【氏名又は名称】林 恒徳

(72)【発明者】

【氏名】岩▲崎▼ 翔

(72)【発明者】

【氏名】鈴木 源太

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA02

5L096CA04

5L096DA02

5L096FA59

5L096FA60

5L096FA69

5L096GA51

5L096HA02

5L096JA11

(57)【要約】

【課題】手洗いにおける洗い流しが適正に行われたか否かを判定する。
【解決手段】画像を取得する画像部と、前記画像から、人物の手を検出する検出部と、前記検出した手の移動を監視する監視部と、前記手の移動の移動量が第１閾値以上となったとき、手洗いにおける泡の洗い流しが適切に行われたと判定する判定部とを有する。
【選択図】図３

【特許請求の範囲】

【請求項1】

画像を取得する画像部と、
前記画像から、人物の手を検出する検出部と、
前記検出した手の移動を監視する監視部と、
前記手の移動の移動量が第１閾値以上となったとき、手洗いにおける泡の洗い流しが適切に行われたと判定する判定部とを有する
手洗い認識装置。

【請求項2】

前記移動量は、前記手の移動距離を含む、
請求項１記載の手洗い認識装置。

【請求項3】

前記移動量は、前記手が移動した範囲を含む
請求項１記載の手洗い認識装置。

【請求項4】

前記監視部は、流水される場所に基づいて設定された有効範囲を設定し、前記有効範囲内に前記手が位置するとき、前記監視を行う
請求項１記載の手洗い認識装置。

【請求項5】

前記検出部は、前記人物の両手の重なりが所定割合以上であることを検出し、
前記監視部は、前記人物の両手の重なりが前記所定割合以上である場合、前記手の移動を監視する
請求項１記載の手洗い認識装置。

【請求項6】

前記検出部は、前記手が前記画像に映らなくなったことを検出し、
前記判定部は、前記手が前記画像に映らなくなるまでに、前記手の移動の移動量が、前記第１閾値以上とならないとき、前記手洗いにおける泡の洗い流しが適切に行われなかったと判定する
請求項１記載の手洗い認識装置。

【請求項7】

前記検出部は、前記人物の左手及び右手それぞれを検出し、
前記監視部は、前記左手及び前記右手の移動をそれぞれ監視し、
前記判定部は、前記左手の移動量と、前記右手の移動量の両方が前記第１閾値以上となったとき、前記手洗いにおける泡の洗い流しが適切に行われたと判定する
請求項１記載の手洗い認識装置。

【請求項8】

画像を取得し、
前記画像から、人物の手を検出し、
前記検出した手の移動を監視し、
前記手の移動の移動量が第１閾値以上となったとき、手洗いにおける泡の洗い流しが適切に行われたと判定する
手洗い認識方法。

【請求項9】

画像を取得する画像取得工程と、
前記画像から、人物の手を検出する検出工程と、
前記検出した手の移動を監視する監視工程と、
前記手の移動の移動量が第１閾値以上となったとき、手洗いにおける泡の洗い流しが適切に行われたと判定する判定工程と、
を画像処理装置が有するコンピュータに実行させる手洗い認識プログラム。

【請求項10】

画像を撮影するカメラと、
前記カメラから画像を取得し、前記画像から人物の手を検出し、前記検出した手の移動を監視し、前記手の移動の移動量が第１閾値以上となったとき、手洗いにおける泡の洗い流しが適切に行われたと判定する画像処理装置と、
を有する手洗い認識システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、手洗い認識装置、手洗い認識方法、手洗い認識プログラム、及び手洗い認識システムに関する。

【背景技術】

【0002】

近年、ウイルスや病原菌などの流行により、感染予防策としての手洗いの重要度が見直されている。例えば、食品を扱う現場、病院、及び介護施設等において、作業従事者の衛生管理は特に重要であり、手洗いが慣行されている。特に、食品等関連業者を対象とし、衛生管理記録における国際標準ＨＡＣＣＰがあり、衛生管理行動のチェック、モニタリング、及び記録等が求められている。

【0003】

手洗いに関する技術は、以下に開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開2016-211268号公報

【特許文献2】特開2020-048628号公報

【特許文献3】特開2020-091739号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、手洗いでは、例えば、石けんの界面活性作用により、皮膚表面の細菌や汚れを浮かせることで、それらを石けんの泡内に取り込んでいる。つまり、手洗い後の石けんの泡には大量の細菌や汚れが含まれている。そのため、石けんの泡の洗い流し（流水にて手に付着する泡を洗い流す行為）が十分でないと、手の表面に細菌や汚れが残ってしまう。また、石けんの泡の洗い流しが十分でないと、手のこすれ等によって、細菌や汚れを広げてしまい、手洗い前よりも不衛生な状態となるような場合もある。

【0006】

そこで、一開示は、洗い流しが適正に行われたか否かを判定する手洗い認識装置、手洗い認識方法、手洗い認識プログラム、及び手洗い認識システムを提供する。

【課題を解決するための手段】

【0007】

画像を取得する画像部と、前記画像から、人物の手を検出する検出部と、前記検出した手の移動を監視する監視部と、前記手の移動の移動量が第１閾値以上となったとき、手洗いにおける泡の洗い流しが適切に行われたと判定する判定部とを有する。

【発明の効果】

【0008】

一開示は、手洗いにおける洗い流しが適正に行われたか否かを判定する手洗い認識装置、手洗い認識方法、手洗い認識プログラム、及び手洗い認識システムを提供する。

【図面の簡単な説明】

【0009】

【図1】図１は、手洗い認識システム１０の構成例を示す図である。

【図2】図２は、画像処理装置１００の構成例を表す図である。

【図3】図３は、手洗い判定処理Ｓ１００の処理フローチャートの例を示す図である。

【図4】図４は、手の重心の例を表す図である。

【図5】図５は、洗い流しにおける重心の移動の例を示す図である。

【図6】図６は、泡立てにおける重心の移動の例を示す図である。

【図7】図７は、監視する範囲の例を示す図である。

【図8】図８は、手が離れている場合の画像データの例を示す図である。

【図9】図９は、手を矩形で検出する場合の例を示す図である。

【図10】図１０は、手洗いの工程の例を示す図である。

【発明を実施するための形態】

【0010】

［第１の実施の形態］
第１の実施の形態について説明する。

【0011】

＜手洗い認識システム１０の構成例＞
図１は、手洗い認識システム１０の構成例を示す図である。手洗い認識システム１０は、画像処理装置（手洗い認識装置）１００及びカメラ２００を有する。手洗い認識システム１０は、カメラ２００で撮影した映像の画像データを解析し、対象となる人物の手洗いにおける洗い流しが適正に行われたか否かを判定するシステムである。

【0012】

カメラ２００は、手洗い場における対象人物の手元を撮影する撮影装置である。カメラ２００は、例えば、トイレや炊事場など、人物が手を洗う場所に設置され、流し台などの手洗い場を中心に、対象人物の手元を映す。カメラ２００は、例えば、有線（ネットワークケーブルなど）や無線（ブルートゥース（登録商標）など）を介して、画像処理装置１００と接続し、撮影した画像データを画像処理装置１００に送信する。カメラ２００は、例えば、映像として動画を撮影し、所定データサイズ又は所定時間の動画データを、継続して画像処理装置１００に送信する。また、カメラ２００は、常時又は定期的に、動画を撮影する。さらに、カメラ２００は、動画に代替し、連続した静止画を撮影してもよい。

【0013】

対象人物３００は、手洗いを行っている人物であり、洗い流しが適正に行われたか否かを判定する対象となる人物である。対象人物３００は、手洗い場において、石けんを用いて手を洗う。

【0014】

画像処理装置１００は、カメラ２００から取得した映像データを解析し、映像データに映る対象人物３００の洗い流しが適正に行われたか否かを判定する装置であり、例えば、コンピュータやサーバマシンである。

【0015】

手洗い認識システム１０において、カメラ２００は、撮影した画像データを画像処理装置１００に送信する。画像処理装置１００は、画像データに対象人物３００の手が映っていることを検出する。画像処理装置１００は、以降、対象人物３００の手の移動を監視し、手の移動の移動量（移動距離、移動範囲など）に基づいて、対象人物３００の洗い流しが適正に行われたか否かを判定する。なお、手の移動の監視は、例えば、手の重心の移動を監視ことで実現する。

【0016】

＜画像処理装置１００の構成例＞
図２は、画像処理装置１００の構成例を表す図である。画像処理装置１００は、ＣＰＵ（Central Processing Unit）１１０、ストレージ１２０、メモリ１３０、通信回路１４０、及びアクセラレータ１５０を有する。

【0017】

ストレージ１２０は、プログラムやデータを記憶する、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）などの補助記憶装置である。ストレージ１２０は、手洗い判定プログラム１２１を記憶する。

【0018】

メモリ１３０は、ストレージ１２０に記憶されているプログラムをロードする領域である。また、メモリ１３０は、プログラムがデータを記憶する領域としても使用されてもよい。

【0019】

ＣＰＵ１１０は、ストレージ１２０に記憶されているプログラムを、メモリ１３０にロードし、ロードしたプログラムを実行し、各部を構築し、各処理を実現するプロセッサである。

【0020】

通信回路１４０は、カメラ２００と通信を行う回路である。通信回路１４０は、例えば、ＮＩＣ（Network Interface Card）である。また、通信回路１４０は、ブルートュースの接続アダプタである。通信回路１４０における通信手段は、無線及び有線のいずれであってもよい。

【0021】

アクセラレータ１５０は、例えば、ＣＰＵ１１０の命令に従い特定の処理を行う、ＧＰＵ（Graphics Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）である。アクセラレータ１５０は、例えば、ハードウェアアクセラレータであり、画像処理や演算処理などを行う。

【0022】

ＣＰＵ１１０は、手洗い判定プログラム１２１を実行することで、画像部、検出部、監視部、及び判定部を構築し、手洗い判定処理を行う。手洗い判定処理は、対象人物３００の手洗いが適正に行われたか否かを判定する処理である。

【0023】

画像処理装置１００は、手洗い判定処理において、カメラ２００から画像データを取得する。そして、画像処理装置１００は、画像データから、対象人物３００の手を検出する。そして、画像処理装置１００は、手の移動を監視し、監視した結果（手の移動量）に基づき、対象人物３００の洗い流しが適正に行われたか否かを判定する。

【0024】

ＣＰＵ１１０は、手洗い判定プログラム１２１が有する手検出モジュール１２１１を実行することで、検出部を構築し、手検出処理を行う。手検出処理は、画像データから人物の手（重なった両手、右手、左手など）を検出する処理である。

【0025】

ＣＰＵ１１０は、手洗い判定プログラム１２１が有する重心位置監視モジュール１２１２を実行することで、監視部を構築し、重心位置監視処理を行う。重心位置監視処理は、手検出処理で検出した手の重心を算出し、重心の移動を監視する処理である。重心の移動の監視結果は、例えば、重心が動いた移動距離、重心が動いた移動範囲、あるいは重心が動いている移動時間などを含む。また、重心の移動の監視結果は、例えば、重心の移動の監視の途中経過（あるタイミングにおける監視結果）を含む。

【0026】

ＣＰＵ１１０は、手洗い判定プログラム１２１が有する洗い流し判定モジュール１２１３を実行することで、判定部を構築し、洗い流し判定処理を行う。洗い流し判定処理は、重心の移動の監視結果を、洗い流し完了条件（洗い流しが適切に行われたと判定する条件）と比較し、洗い流し完了条件を満たすか否かを判定する処理である。画像処理装置１００は、洗い流し完了条件を満たす場合、対象人物３００の洗い流しが適切に行われたと判定する。

【0027】

＜手洗い判定処理について＞
手洗い判定処理Ｓ１００について説明する。図３は、手洗い判定処理Ｓ１００の処理フローチャートの例を示す図である。

【0028】

画像処理装置１００は、手洗い判定処理Ｓ１００において、画像の取得を開始する（Ｓ１００－１）。画像は、例えば、カメラ２００が撮影した画像データであり、定期的にカメラ２００から取得する。また、画像データは、例えば、動画のデータである。

【0029】

画像処理装置１００は、画像から対象人物の手を検出するのを待ち受ける（Ｓ１００－２のＮｏ）。画像処理装置１００は、画像から対象人物の手を検出すると（Ｓ１００－２のＹｅｓ）、手の重心の移動の監視を開始する（Ｓ１００－３）。

【0030】

図４は、手の重心の例を表す図である。図４（Ａ）は、あるタイミングにおける手の画像の例である。図４（Ｂ）は、手領域及び重心の例を表す図である。画像処理装置１００は、図４（Ａ）から図４（Ｂ）の手領域（例えば、指先から手首までを含む）Ｔ１を検出する。そして、画像処理装置１００は、手領域Ｔ１の重心Ｃ１を算出する。

【0031】

重心は、例えば、手を重ねた状態、例えば、両手が所定の割合以上重なっている状態における、重ねた手の中心付近の一点を含む。一般に、対象人物が洗い流しを行うとき、一方の手の泡をもう一方の手で洗い流す動作を行うことが多い。そのため、画像処理装置１００は、対象人物が手を重ねた状態を維持しつつ、泡を洗い流す場所（指先から手首まで）を水流の下に移動させることを想定し、重ねた手の重心を監視する。

【0032】

重心は、例えば、均一な密度を持つ物体であると仮定したときの、力学における重心（立体における力学的な重心）を含む。また、重心は、例えば、均一な密度の手領域Ｔ１を一点でバランスよく支えることができる点（平面におけるバランス点）を含む。さらに、重心は、例えば、手領域に存在する、任意の一点であってもよい。さらに、重心は、例えば、手の表面（手の平、手の甲など）の一点であってもよいし、手の内部の一点であってもよい。画像処理装置１００は、手の移動（距離、範囲、時間等）を監視できれば、手領域における任意の一点を監視してもよい。

【0033】

図３の処理フローチャートに戻り、画像処理装置１００は、重心の移動が、洗い流し完了条件を満たすか否かを判定する（Ｓ１００－４）。画像処理装置１００は、重心の移動の監視結果に基づいて、処理Ｓ１００－４における判定を行う。洗い流し完了条件は、例えば、重心の移動距離（移動距離の合計）が、移動距離閾値以上となることである。

【0034】

図５は、洗い流しにおける重心の移動の例を示す図である。図５（Ａ）は、例えば、左手の甲に付着した泡を、右手で洗い流している画像である。図５（Ｂ）は、例えば、右手の手首に付着した泡を、左手で洗い流している画像である。図５（Ｂ）は、図５（Ａ）の撮影タイミングの所定時間後に撮影された画像である。

【0035】

図５（Ａ）において、画像処理装置１００は、重心Ｃ１－１を検出（算出）する。図５（Ｂ）において、画像処理装置１００は、重心Ｃ１－２を検出（算出）する。画像処理装置１００は、図５（Ａ）から図５（Ｂ）の時間経過において、重心が重心Ｃ１－１の位置から重心Ｃ１－２の位置に移動した判定し、移動距離Ｍ１２を算出する。画像処理装置１００は、例えば、所定のタイミング間隔で、重心の移動距離を算出し、移動距離の合計値を算出する。画像処理装置１００は、移動距離Ｍ１２が移動距離閾値以上と判定し、適切に洗い流しが行われたと判定する。

【0036】

移動距離閾値は、例えば、適切に洗い流しを行っている手洗い映像を複数サンプル収集し、洗い流しが十分に行われたときの移動距離に基づき、算出される。移動距離閾値は、例えば、Ｆ値（正確性・網羅性を総合的に評価する指標）の最も高いものが選択されてもよい。例えば、Ｆ値は、以下の式１で表される。
（式１）Ｆ値 = (２* precision * recall) / (precision + recall)

【0037】

recallは、正答数 / サンプル数で算出され、precisionは、正答数 / 検出数で算出される。正答数は、例えば、画像処理装置１００が「洗い流しが適切に行われた」と正しく判定できる数である。

【0038】

洗い流しにおける重心の移動距離と、泡立てにおける重心の移動距離を比較する。泡立ては、洗い流し前に実施される手洗いの工程であり、手に取った石けんを指先から手首に広げ、細菌等を皮膚から除去する工程である。

【0039】

図６は、泡立てにおける重心の移動の例を示す図である。図６（Ａ）は、例えば、右手の手のひらと左手の手のひらをこすり合わせている画像である。図６（Ｂ）は、例えば、左手で、右手の手首に泡を広げている画像である。図６（Ｂ）は、図６（Ａ）の撮影タイミングの所定時間後に撮影された画像である。

【0040】

図６（Ａ）において、画像処理装置１００は、重心Ｃ１－３を検出する。図６（Ｂ）において、画像処理装置１００は、重心Ｃ１－４を検出する。画像処理装置１００は、図６（Ａ）から図６（Ｂ）の時間経過において、重心が重心Ｃ１－３の位置から重心Ｃ１－４の位置に移動したと判定し、移動距離Ｍ３４を算出する。

【0041】

洗い流し工程における移動距離Ｍ１２と泡立て工程における移動距離Ｍ３４を比較すると、移動距離Ｍ１２が大きい。これは、例えば、流水の位置と、各工程の関係に由来すると想定される。泡立て工程において、対象人物は、手の位置を動かさなくても、概ね同じ位置で手や手首に泡を広げることができる。しかし、洗い流し工程において、対象人物は、洗い流す場所を流水の下付近まで移動させる必要がある。すなわち、洗い流しにおいて、指先から手首まで漏れなく洗い流す場合、例えば、指先から手首までが流水の下を通るよう、腕を動かし手を移動させるため、重心の移動距離が泡立て工程に比べて大きくなる傾向がある。

【0042】

よって、画像処理装置１００は、重心の移動距離が移動距離閾値より小さい場合、例えば、手首まで洗い流せていないとみなしたり、まだ洗い流しが行われていないとみなしたりし、洗い流しが適切に行われていないと判定する。

【0043】

図３の処理フローチャートに戻り、画像処理装置１００は、重心の移動が洗い流し完了条件を満たす場合（Ｓ１００－４のＹｅｓ）、洗い流しが適切に行われたと判定し（Ｓ１００－５）、処理を終了する。

【0044】

一方、画像処理装置１００は、重心の移動が洗い流し完了条件を満たさない場合（Ｓ１００－４のＮｏ）、画像に手が映っているか否かを判定する（Ｓ１００－６）。画像処理装置１００は、手を検出することで、対象人物が手洗いを続行しているか否かを判定する。

【0045】

画像処理装置１００は、手を検出できない場合（Ｓ１００－６のＮｏ）、対象人物の手洗いが終了したとみなし、洗い流しが不適切であると判定し（Ｓ１００－７）、処理を終了する。

【0046】

一方、画像処理装置１００は、手を検出できた場合（Ｓ１００－６のＹｅｓ）、対象人物の手洗いが継続中であるとみなし、洗い流し完了条件を満たすか否かを判定する（Ｓ１００－４）。このように、画像処理装置１００は、対象人物が手洗いを継続している限り、洗い流し完了条件を満たすまで、もしくは手を検出できなくなるまで、重心の監視を継続する。

【0047】

＜洗い流し完了条件について＞
洗い流し完了条件は、上述した重心の移動距離が移動距離閾値以上となること以外に、以下であってもよい。

【0048】

洗い流し条件は、重心の移動範囲が移動範囲閾値以上となることであってもよい。重心の移動範囲が広いということは、手が動いた範囲が広いということであり、手の広範囲に流水をかけ、洗い流しを行っているとみなすことができる。すなわち、画像処理装置１００は、重心の移動範囲が移動範囲閾値以上となることで、適切に泡が洗い流されている可能性が高いと判定し、洗い流しが適切に行われたと判定する。

【0049】

なお、移動範囲の測定方法としては、重心の移動に代替し、手領域の過去の一定時間における重なり領域の面積であってもよい。画像処理装置１００は、例えば、画像から手領域を求め、過去一定時間内の手領域の移動面積を算出し、この移動面積を移動範囲閾値と比較してもよい。

【0050】

また、洗い流し条件は、重心の移動時間が移動時間閾値以上となることであってもよい。重心の移動時間が長いということは、手が動いた時間が長いということであり、長い時間洗い流しを行っているとみなすことができる。すなわち、画像処理装置１００は、重心の移動時間が移動時間閾値以上となることで、適切に泡が洗い流されている可能性が高いと判定し、洗い流しが適切に行われたと判定する。

【0051】

また、画像処理装置１００は、洗い流し完了条件において、上述した移動距離、移動範囲、移動時間などを測定するとき、ある範囲内に重心が位置する場合のみを測定してもよい。図７は、監視する範囲の例を示す図である。図７（Ａ）は、矩形の範囲Ｔ８であり、図７（Ｂ）は、多角形の範囲Ｔ９の例を示す図である。いずれも、流水される位置を中心とした範囲であり、重心の移動が当該範囲内で行われている場合、手に流水がかかっているとみなすことができる範囲である。画像処理装置１００は、図７に示す範囲に手の重心が位置する場合のみ、移動距離、移動範囲、移動時間などを測定（監視）することで、流水がかかってないタイミングを除外し、より正確な洗い流し工程を検出することができる。

【0052】

＜手が離れている場合の判定について＞
対象人物は、手洗いにおいて、手を離す動作を行う場合がある。例えば、対象人物は、石けんを手にとるときや、水を出し始めるとき（蛇口をひねるなど）など、片手で動作を行う。

【0053】

図８は、手が離れている場合の画像データの例を示す図である。図８（Ａ）は、石けんを手に取ったあとの例を示す図である。対象人物は、右手に石けんをとり、これから泡立てを行うと予想される。図８（Ｂ）は、右手の手領域Ｔ１１と左手の手領域Ｔ１２の例を示す図である。図８（Ｂ）に示すように、２つの手領域が離れていることから、画像処理装置１００は、手が離れていると判断することができる。

【0054】

上述したように、洗い流しは、一方の手でもう一方の手の泡を流す動作を行うことが多いと想定される。この想定に基づき、画像処理装置１００は、手が離れているときは、洗い流しを行っていないとみなす。

【0055】

なお、対象人物が手を離して、片手ずつ洗い流しを行う場合もある。この場合を想定し、画像処理装置１００は、例えば、左手を右手の移動を、それぞれ監視してもよい。画像処理装置１００は、例えば、上述した図７の範囲にいずれか一方の手の重心が存在するとき、洗い流しを行っていると判断し、両手ともに洗い流しが完了したと判定したとき、洗い流しが適切に行われたと判定してもよい。

【0056】

＜手の動きの検知方法について＞
画像処理装置１００は、手領域に代替し、手領域を矩形検出し、矩形の重なり度合いを算出し、重なり度合いが所定値以上である場合、手を重ねていると判定してもよい。また、画像処理装置１００は、各矩形の重心の中間点を、重心とみなしてもよい。図９は、手を矩形で検出する場合の例を示す図である。図９（Ａ）は、手を重ねていると判定される例を示す図である。図９（Ａ）は、左手Ｌ１と右手Ｒ１の重なり度合いが所定値以上であり、手を重ねていると判定される。図９（Ｂ）は、手を重ねていないと判定される例を示す図である。図９（Ｂ）は、左手Ｌ２と右手Ｒ２の重なり度合いが所定値以下であり、手を重ねていないと判定される。

【0057】

以下、まとめると付記のようになる。

【0058】

［その他の実施の形態について］
その他の実施の形態について説明する。図１０は、手洗いの工程の例を示す図である。対象人物は、例えば、手洗いを開始するとき、図１０に示すように、最初に手を濡らす「すすぎ」を行う。画像処理装置１００は、上述したように、重心の移動を監視することで、石けんの泡立てと洗い流しを区別し、洗い流しの適切さを判定することができる。しかし、このすすぎ工程において、対象人物は、例えば、手首にまで水をかけるなど、洗い流しと類似した動きをする場合がある。そこで、画像処理装置１００は、すすぎの工程を、重心の移動の監視を行わない非監視期間とすることが必要となる。

【0059】

画像処理装置１００は、例えば、手を検出してから所定時間の間、重心の移動を監視しないことで、すすぎ工程を監視対象から除外する。一般に、すすぎ工程にかかる時間は、以降の泡立てや洗い流し工程よりも、短い時間であることが想定される。

【0060】

また、画像処理装置１００は、すすぎと泡立ての間に行うと予想される動作である、石けんを手に取る動作を検出した以降に、重心の移動の監視を開始してもよい。石けんを手に取る動作は、片手で行う（あるいは片手ずつ順番に行う）ことで、手が離れることが想定される。画像処理装置１００は、例えば、手が離れたことを検出した後、重心の移動の監視を開始してもよい。

【0061】

また、画像処理装置１００は、手の動き以外に、流水を監視してもよい。例えば、自動（センサなど）で流水されるシステムでは、泡立ての間は流水が停止している場合がある。この場合、画像処理装置１００は、すすぎで流水を検出し、泡立てで流水が止まってことを検出したのち、洗い流しにおける流水を検出することができる。画像処理装置１００は、洗い流しの流水を検出することを契機として、手の移動の監視を開始してもよい。

【0062】

以上、まとめると、付記のようになる。

【0063】

（付記１）
画像を取得する画像部と、
前記画像から、人物の手を検出する検出部と、
前記検出した手の移動を監視する監視部と、
前記手の移動の移動量が第１閾値以上となったとき、手洗いにおける泡の洗い流しが適切に行われたと判定する判定部とを有する
手洗い認識装置。

【0064】

（付記２）
前記移動量は、前記手の移動距離を含む、
付記１記載の手洗い認識装置。

【0065】

（付記３）
前記移動量は、前記手が移動した範囲を含む
付記１記載の手洗い認識装置。

【0066】

（付記４）
前記監視部は、流水される場所に基づいて設定された有効範囲を設定し、前記有効範囲内に前記手が位置するとき、前記監視を行う
付記１記載の手洗い認識装置。

【0067】

（付記５）
前記検出部は、前記人物の両手の重なりが所定割合以上であることを検出し、
前記監視部は、前記人物の両手の重なりが前記所定割合以上である場合、前記手の移動を監視する
付記１記載の手洗い認識装置。

【0068】

（付記６）
前記監視部は、前記手の重心を算出し、前記重心の移動を、前記手の移動として監視する
付記１記載の手洗い認識装置。

【0069】

（付記７）
前記検出部は、前記手が前記画像に映らなくなったことを検出し、
前記判定部は、前記手が前記画像に映らなくなるまでに、前記手の移動の移動量が、前記第１閾値以上とならないとき、前記手洗いにおける泡の洗い流しが適切に行われなかったと判定する
付記１記載の手洗い認識装置。

【0070】

（付記８）
前記検出部は、前記人物の左手及び右手それぞれを検出し、
前記監視部は、前記左手及び前記右手の移動をそれぞれ監視し、
前記判定部は、前記左手の移動量と、前記右手の移動量の両方が前記第１閾値以上となったとき、前記手洗いにおける泡の洗い流しが適切に行われたと判定する
付記１記載の手洗い認識装置。

【0071】

（付記９）
前記監視部は、前記人物の両手の重なりが前記所定割合より小さいとき、前記手の移動を監視しない
付記５記載の手洗い認識装置。

【0072】

（付記１０）
画像を取得し、
前記画像から、人物の手を検出し、
前記検出した手の移動を監視し、
前記手の移動の移動量が第１閾値以上となったとき、手洗いにおける泡の洗い流しが適切に行われたと判定する
手洗い認識方法。

【0073】

（付記１１）
画像を取得する画像取得工程と、
前記画像から、人物の手を検出する検出工程と、
前記検出した手の移動を監視する監視工程と、
前記手の移動の移動量が第１閾値以上となったとき、手洗いにおける泡の洗い流しが適切に行われたと判定する判定工程と、
を画像処理装置が有するコンピュータに実行させる手洗い認識プログラム。

【0074】

（付記１２）
画像を撮影するカメラと、
前記カメラから画像を取得し、前記画像から人物の手を検出し、前記検出した手の移動を監視し、前記手の移動の移動量が第１閾値以上となったとき、手洗いにおける泡の洗い流しが適切に行われたと判定する画像処理装置と、
を有する手洗い認識システム。

【符号の説明】

【0075】

１０ ：認識システム
１００ ：画像処理装置
１１０ ：ＣＰＵ
１２０ ：ストレージ
１２１ ：判定プログラム
１３０ ：メモリ
１４０ ：通信回路
１５０ ：アクセラレータ
２００ ：カメラ
３００ ：対象人物
１２１１ ：手検出モジュール
１２１２ ：重心位置監視モジュール
１２１３ ：流し判定モジュール

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】