特許 7420240 手洗い認識システムおよび手洗い認識方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-15

(45)【発行日】2024-01-23

(54)【発明の名称】手洗い認識システムおよび手洗い認識方法

(51)【国際特許分類】

   G06T 7/174 20170101AFI20240116BHJP

   G06T 7/00 20170101ALI20240116BHJP

【ＦＩ】

G06T7/174

G06T7/00 350B

G06T7/00 660Z

【請求項の数】 13

(21)【出願番号】P 2022524859

(86)(22)【出願日】2020-05-22

(86)【国際出願番号】 JP2020020403

(87)【国際公開番号】W WO2021234972

(87)【国際公開日】2021-11-25

【審査請求日】2022-10-20

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110004185

【氏名又は名称】インフォート弁理士法人

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(74)【代理人】

【識別番号】100138391

【弁理士】

【氏名又は名称】天田 昌行

(74)【代理人】

【識別番号】100074099

【弁理士】

【氏名又は名称】大菅 義之

(72)【発明者】

【氏名】岩▲崎▼ 翔

(72)【発明者】

【氏名】鈴木 源太

(72)【発明者】

【氏名】藤井 勇作

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０１６－１８６４３８（ＪＰ，Ａ）

【文献】特開昭６４－０５０９３９（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｇ０６Ｖ １０／００ － ２０／９０

(57)【特許請求の範囲】

【請求項1】

撮像部と、
手洗い前に前記撮像部により撮影された第１の画像から利用者の手に存在する第１の異常候補を検出し、手洗い後に前記撮像部により撮影された第２の画像から前記利用者の手に存在する第２の異常候補を検出する検出部と、
前記検出部により前記第１の異常候補および前記第２の異常候補が同じ領域から検出されるときに、前記第１の異常候補と前記第２の異常候補との差分に基づいて、前記利用者の手の異常の種別を判定する異常種別判定部と、
を備える手洗い認識システム。

【請求項2】

前記異常種別判定部により判定された異常の種別に基づいて手洗いに係わる指示を生成する指示生成部をさらに備える
ことを特徴とする請求項１に記載の手洗い認識システム。

【請求項3】

過去の前記利用者の手の状態を表す基準画像を保存する保存部をさらに備え、
前記検出部は、前記基準画像と前記第１の画像とを比較することで前記第１の異常候補を検出する
ことを特徴とする請求項１に記載の手洗い認識システム。

【請求項4】

過去の前記利用者の手の状態を表す基準画像を保存する保存部をさらに備え、
前記検出部は、前記基準画像と前記第２の画像とを比較することで前記第２の異常候補を検出する
ことを特徴とする請求項１に記載の手洗い認識システム。

【請求項5】

前記第１の異常候補および前記第２の異常候補が同じ領域から検出され、且つ、前記第１の異常候補の形状および前記第２の異常候補の形状が互いに異なるときは、前記指示生成部は、さらに手洗いを行うことを前記利用者に指示する
ことを特徴とする請求項２に記載の手洗い認識システム。

【請求項6】

前記指示生成部は、手を洗うための洗剤の変更を前記利用者に指示する
ことを特徴とする請求項５に記載の手洗い認識システム。

【請求項7】

前記指示生成部は、前記第２の異常候補の位置に基づいて、前記利用者が行う手洗い動作を前記利用者に指示する
ことを特徴とする請求項５に記載の手洗い認識システム。

【請求項8】

前記指示生成部は、前記第１の異常候補または前記第２の異常候補の色成分に基づいて手洗いの動作フローを前記利用者に指示する
ことを特徴とする請求項２に記載の手洗い認識システム。

【請求項9】

前記第１の異常候補および前記第２の異常候補が同じ領域から検出され、且つ、前記第１の異常候補の形状および前記第２の異常候補の形状が互いに同じまたはほぼ同じであるときは、前記異常種別判定部は、前記第２の異常候補が前記利用者の手の傷であると判定し、
前記指示生成部は、前記傷の処置を行うことを前記利用者に指示する
ことを特徴とする請求項２に記載の手洗い認識システム。

【請求項10】

前記異常種別判定部は、前記第１の異常候補の位置および形状に基づいて、前記第１の異常候補が装飾品であるか否かを判定し、
前記第１の異常候補が装飾品であると判定されたときは、前記指示生成部は、前記装飾品を外すことを前記利用者に指示する
ことを特徴とする請求項２に記載の手洗い認識システム。

【請求項11】

所定の装飾品を表す基準画像を保存する保存部をさらに備え、
前記異常種別判定部は、前記第１の画像と前記基準画像とを比較することで、前記第１の異常候補が装飾品であるか否かを判定し、
前記第１の異常候補が装飾品であると判定されたときは、前記指示生成部は、前記装飾品を外すことを前記利用者に指示する
ことを特徴とする請求項２に記載の手洗い認識システム。

【請求項12】

プログラムを実行するプロセッサが行う手洗い認識方法であって、
前記プロセッサが、
手洗い前に撮像装置により撮影された第１の画像から利用者の手に存在する第１の異常候補を検出し、
手洗い後に前記撮像装置により撮影された第２の画像から前記利用者の手に存在する第２の異常候補を検出し、
前記第１の異常候補および前記第２の異常候補が同じ領域から検出されるときに、前記第１の異常候補と前記第２の異常候補との差分に基づいて、前記利用者の手の異常の種別を判定する
ことを特徴とする手洗い認識方法。

【請求項13】

手洗い前に撮像装置により撮影された第１の画像から利用者の手に存在する第１の異常候補を検出し、
手洗い後に前記撮像装置により撮影された第２の画像から前記利用者の手に存在する第２の異常候補を検出し、
前記第１の異常候補および前記第２の異常候補が同じ領域から検出されるときに、前記第１の異常候補と前記第２の異常候補との差分に基づいて、前記利用者の手の異常の種別を判定する
処理をプロセッサに実行させる手洗い認識プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、人の手洗い動作を認識するシステム、方法、およびプログラムに係わる。

【背景技術】

【0002】

食品調理／加工現場、薬品工場、病院、介護施設等において、感染症予防として、作業従事者の衛生管理が重要である。特に、手指は、ウイルスまたは細菌を拡散させる原因になりやすいので、手洗いを含む手指の衛生管理は非常に重要と考えられる。また、ＨＡＣＣＰ（Hazard Analysis and Critical Control Point）は、食品等関連事業者に対して、衛生管理行動のチェック、モニタリング、および記録を求めている。このため、作業従事者の手指の状態を認識して記録する技術が求められている。

【0003】

このような状況において、下記のステップを含む手洗い監視方法が提案されている。画像取得ステップは、手洗い用シンクに設置された撮影手段によって撮影された手洗い画像を取り込む。手領域抽出ステップは、取り込んだ手洗い画像から手領域を抽出してフレーム画像を生成する。手洗い開始判定ステップは、フレーム画像から手洗いが開始されたか否かを判定する。洗い方認識ステップは、フレーム画像から手領域の形状を抽出することにより、実行された洗い方の種類を識別する。擦り判定ステップは、識別された洗い方が所定の順番の洗い方である場合に、当該洗い方に秒数加算していくことにより当該洗い方についての擦り状態の良否を判定する。手洗い終了判定ステップは、フレーム画像から手洗いの終了を判定する。（例えば、特許文献１）

【0004】

加えて、手洗いが正しく行われているか否かを自動的に判断し、かつ、手洗いを正しく行わなければ手指洗浄区域から衛生管理区域へ入ることができないようにし得る衛生管理装置が提案されている（例えば、特許文献２）。広範囲の動作情報を非接触検知可能で、かつリアルタイムに手指衛生行動を解析可能な方法が提案されている（例えば、特許文献３）。手洗者の認識精度を向上させ得る手洗監視システムが提案されている（例えば、特許文献４）。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１７－１３４７１２号公報

【文献】特開２００２－０８５２７１号公報

【文献】特開２０１８－１１７９８１号公報

【文献】特開２０２０－０１８６７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

従来の手洗い認識方法では、手または手指の状態が精度よく判定されないことがある。例えば、汚れ、傷、ホクロ、タトゥー等を正しく識別できないことがある。そして、手または手指の状態が正しく判定されなければ、手洗いが適切に行われたか否かを判定できない。また、作業従事者に対して適切な指示を与えることも困難である。例えば、「傷」が「汚れ」と誤認識されるケースでは、適切な手洗いが行われたとしても、汚れが残っていると判定される。この場合、汚れが無いにもかかわらず、作業従事者に対して手洗いを継続する旨のメッセージが出力される。

【0007】

本発明の１つの側面に係わる目的は、利用者の手または手指の状態に基づいて適切な手洗いを利用者に促すことである。

【課題を解決するための手段】

【0008】

本発明の１つの態様に係わる手洗い認識システムは、撮像部と、手洗い前に前記撮像部により撮影された第１の画像から利用者の手に存在する第１の異常候補を検出し、手洗い後に前記撮像部により撮影された第２の画像から前記利用者の手に存在する第２の異常候補を検出する検出部と、前記第１の異常候補と前記第２の異常候補との比較に基づいて、前記利用者の手の異常の種別を判定する異常種別判定部と、を備える。

【発明の効果】

【0009】

上述の態様によれば、利用者の手または手指の状態に基づいて適切な手洗いを利用者に促す。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態に係わる手洗い認識システムの一例を示す図である。

【図2】手洗い認識システムの処理の一例を示すフローチャートである。

【図3】異常候補を検出する方法の一例を示す図である。

【図4】異常の種別を判定する方法の一例を示す図である。

【図5】異常の種別を判定する処理の一例を示すフローチャートである。

【図6】手洗い認識方法の第１のバリエーションを示すフローチャートである。

【図7】基準手指画像を利用して異常候補を検出する方法の一例を示す図である。

【図8】第１のバリエーションにおいて使用される異常候補検出部の一例を示す図である。

【図9】手洗い認識方法の第２のバリエーションを示すフローチャートである。

【図10】手洗い認識方法の第３のバリエーションを示すフローチャートである。

【図11】手洗い動作の一例を示す図である。

【図12】手洗い時の重点ステップを決定する方法の一例を示す図である。

【図13】爪の状態を検出する方法を説明する図である。

【発明を実施するための形態】

【0011】

図１は、本発明の実施形態に係わる手洗い認識システムの一例を示す。本発明の実施形態に係わる手洗い認識システム１００は、図１に示すように、撮像装置１０、異常候補検出部２１、異常種別判定部２２、手洗い指示生成部２３、および保存部３０を備える。なお、手洗い認識システム１００は、図１に示していない他の機能またはデバイスを備えてもよい。

【0012】

撮像装置１０は、例えばデジタルカメラであり、撮影によりカラー画像を取得する。ここで、撮像装置１０は、所定の時間間隔（たとえば、３０フレーム／秒）で画像を取得してもよい。この場合、撮像装置１０は、実質的に、動画像を取得できる。また、撮像装置１０は、例えば、人が手を洗うシンクの上方に設置される。そして、撮像装置１０は、手洗い時の人の手指を撮影する。なお、以下の記載において「手指」は、「手の指」のみを意味するものではなく、「手の指を含む手」または「手および手指」を意味するものとする。また、以下の記載では、撮像装置１０により手指が撮影される人を「利用者」と呼ぶことがある。利用者は、特に限定されるものではないが、例えば、食品調理／加工現場、薬品工場、病院、介護施設等の作業者である。

【0013】

手洗い認識システム１００は、撮像装置１０により撮影された画像を利用して、手洗いに係わる指示を生成して利用者に提供する。例えば、利用者が手指に装飾品（指輪、時計等）を付けているときは、手洗い認識システム１００は、利用者に対して、装飾品を外して手洗いを行うことを指示してもよい。また、手洗い後に汚れが残っているときは、手洗い認識システム１００は、利用者に対して、再度手洗いを行うことを指示してもよい。更に、利用者の手指に傷があるときは、手洗い認識システム１００は、利用者に対して、絆創膏などで傷の処置を行うこと、及び／又は、ビニール手袋を装着することを指示してもよい。なお、以下の記載では、利用者に提供される手洗いに係わる指示を「手洗い指示」と呼ぶことがある。

【0014】

但し、単純な画像認識では、手指の状態を精度よく識別できないことがある。そして、手指の状態が正しく識別されないときは、手洗い認識システム１００は、利用者に対して適切な手洗い指示を提供できない。そこで、手洗い認識システム１００は、手洗い前の手指の画像および手洗い後の手指の画像を利用して利用者の手指の状態を識別する。

【0015】

異常候補検出部２１は、手洗い前に撮像装置１０により撮影された画像から利用者の手指に存在する異常候補を検出する。また、異常候補検出部２１は、手洗い後に撮像装置１０により撮影された画像から利用者の手指に存在する異常候補を検出する。ここで、「異常」は、汚れ、傷、装飾品を含む。よって、「異常候補」は、画像認識において「異常」と判定される可能性がある画像領域に相当する。一例としては、入力画像から抽出される手領域内で、一般的な手の色とは異なる色成分を含む領域が異常候補として検出される。なお、以下の記載では、手洗い前に撮像装置１０により撮影された画像から検出される異常候補を「手洗い前異常候補（第１の異常候補）」と呼ぶことがある。また、手洗い後に撮像装置１０により撮影された画像から検出される異常候補を「手洗い後異常候補（第２の異常候補）」と呼ぶことがある。

【0016】

異常種別判定部２２は、異常候補検出部２１により検出される手洗い前異常候補および手洗い後異常候補に基づいて利用者の手指の異常の種別を判定する。このとき、異常種別判定部２２は、手洗い前異常候補と手洗い後異常候補との比較に基づいて利用者の手指の異常の種別を判定することができる。そして、手洗い指示生成部２３は、異常種別判定部２２により判定された利用者の手指の異常の種別に基づいて手洗い指示を生成する。生成される手洗い指示は、利用者に提供される。また、手洗い指示生成部２３は、異常種別判定部２２により判定された利用者の手指の異常の種別に基づいて警告音を発生させ、利用者に手洗いの動作を促してもよい。警告音に対応する手洗いの動作は、手洗い認識システム１００とは別の手段、例えば、張り紙で利用者に伝えられてもよい。

【0017】

なお、異常候補検出部２１、異常種別判定部２２、手洗い指示生成部２３は、プロセッサ２０が手洗い認識プログラムを実行することで実現される。すなわち、プロセッサ２０が手洗い認識プログラムを実行することにより、異常候補検出部２１、異常種別判定部２２、手洗い指示生成部２３の機能が提供される。この場合、手洗い認識プログラムは、例えば、記憶装置３０に保存されている。或いは、プロセッサ２０は、不図示の可搬型記録媒体に記録されている手洗い認識プログラムを実行してもよい。さらに、プロセッサ２０は、不図示のプログラムサーバから手洗い認識プログラムを取得して実行してもよい。

【0018】

図２は、手洗い認識システム１００の処理の一例を示すフローチャートである。なお、この手洗い認識処理は、例えば、利用者から開始指示が与えられたときに実行される。或いは、手洗い認識処理は、利用者が所定の場所（例えば、手洗いシンクの前）に位置したときに実行される。

【0019】

Ｓ１において、プロセッサ２０は、手洗い前の利用者の手指の画像を取得する。このとき、プロセッサ２０は、手首から指先までの画像を取得することが好ましい。また、プロセッサ２０は、手のひら側の画像および手の甲側の画像を取得することが好ましい。したがって、手洗い認識システム１００は、特に限定されるものではないが、手指および手首を含む手のひらの画像、及び、手指および手首を含む手の甲の画像が必要である旨の案内を利用者に提供してもよい。

【0020】

Ｓ２～Ｓ３において、異常候補検出部２１は、入力画像から異常候補（即ち、手洗い前異常候補）を検出する。このとき、異常候補検出部２１は、まず、入力画像から利用者の手に対応する手領域を抽出する。入力画像から手領域を抽出する方法は、特に限定されるものではなく、公知の技術により実現される。例えば、異常候補検出部２１は、セマンティックセグメンテーションを利用して入力画像から手領域を抽出してもよい。そして、異常候補検出部２１は、手領域に存在する異常候補を検出する。一例としては、手領域内で一般的な手の色とは異なる色成分を含む領域は、異常候補として検出される。また、異常候補検出部２１は、例えば、画像認識ディープラーニングで異常候補を検出してもよい。図３（ａ）に示す例では、異常候補Ｘおよび異常候補Ｙが検出されている。

【0021】

１以上の異常候補が検出されたときは、Ｓ４～Ｓ５において、異常種別判定部２２は、各異常候補について異常の種別を判定する。このとき、異常種別判定部２２は、例えば、検出された異常候補が「汚れ」「傷」「装飾品」に該当するか判定する。異常の種別は、例えば、画像認識ディープラーニングにより判定される。一例としては、図３（ｂ）に示すように、異常種別判定部２２は、手領域の特徴量情報を取得することにより手指の姿勢を推定する。そうすると、利用者の手指に対する各異常候補の位置が特定される。具体的には、異常候補Ｘは、薬指の付け根に位置すると推定される。この場合、異常種別判定部２２は、異常候補Ｘが装飾品（指輪）であると判定する。また、異常候補Ｙは、手首に位置すると推定される。この場合、異常種別判定部２２は、異常候補Ｙが装飾品（腕時計）であると判定する。

【0022】

なお、異常種別判定部２２は、異常候補の位置に加えて、異常候補の形状および／または大きさを考慮して異常の種別を判定してもよい。また、異常種別判定部２２は、手指の姿勢を推定することなく異常の種別を判定してもよい。例えば、異常種別判定部２２は、異常候補の大きさおよび形状に基づいて、異常の種別を判定してもよい。

【0023】

異常候補が装飾品であるときは、Ｓ６において、手洗い指示生成部２３は、手から装飾品を外すこと要求する手洗い指示を生成する。この手洗い指示は、利用者に提供される。また、手洗い指示は、例えば、音声メッセージにより実現される。或いは、手洗い認識システム１００が表示装置を備えるときは、手洗い指示は、表示装置に表示されるようにしてもよい。

【0024】

この後、手洗い認識システム１００の処理はＳ１に戻る。すなわち、手洗い認識システム１００は、再度、手洗い前の利用者の手指の画像を取得する。そして、利用者の手から装飾品が外されたことが確認されると（Ｓ５：Ｎｏ）、手洗い認識システム１００の処理はＳ１１に進む。なお、Ｓ３において異常候補が検出されないときも、手洗い認識システム１００の処理はＳ１１に進む。

【0025】

Ｓ１１において、手洗い指示生成部２３は、手洗いを行うことを要求する手洗い指示を生成する。この手洗い指示も、Ｓ６と同様に、利用者に提供される。

【0026】

Ｓ１２において、プロセッサ２０は、手洗い後の利用者の手指の画像を取得する。Ｓ１２においても、Ｓ１と同様に、プロセッサ２０は、手首から指先までの画像を取得することが好ましい。また、プロセッサ２０は、手のひら側の画像および手の甲側の画像を取得することが好ましい。すなわち、プロセッサ２０は、手洗い前および手洗い後において同じ手指姿勢の画像を取得することが好ましい。

【0027】

Ｓ１３において、異常候補検出部２１は、入力画像から異常候補（即ち、手洗い後異常候補）を検出する。入力画像から異常候補を検出する方法は、Ｓ２およびＳ１３において実質的に同じである。すなわち、異常候補は、例えば、画像認識ディープラーニングにより検出される。

【0028】

Ｓ１４において、異常種別判定部２２は、異常の種別を判定する。このとき、異常種別判定部２２は、手洗い前の入力画像から検出される各異常候補について、異常の種別を判定する。また、異常種別判定部２２は、手洗い前異常候補および手洗い後異常候補に基づいて異常の種別を判定する。具体的には、異常種別判定部２２は、手洗い前異常候補と手洗い後異常候補との比較に基づいて異常の種別を判定する。

【0029】

図４（ａ）に示す例では、手洗い前の利用者の手指の画像において異常候補Ｚ１および異常候補Ｚ２が検出されている。また、手洗い後の利用者の手指の画像において異常候補Ｚ３が検出されている。ここで、異常種別判定部２２は、各入力画像に対して手指姿勢推定およびサイズ正規化を行う。手指姿勢推定は、利用者の手指の形状を解析することで手指の姿勢を推定する。サイズ正規化は、手指姿勢推定の結果を参照し、２つの入力画像からそれぞれ抽出される手領域のサイズが互いに一致するように、一方または双方の画像のサイズを調整する。そして、異常種別判定部２２は、２つの入力画像を比較することにより、手洗い前異常候補と手洗い後異常候補とを比較する。

【0030】

図４（ａ）においては、手洗い前の入力画像の領域Ａ１および領域Ａ２からそれぞれ異常候補Ｚ１および異常候補Ｚ２が検出される。また、手洗い後の入力画像の領域Ａ１および領域Ａ２からそれぞれ異常候補Ｚ３および異常候補Ｚ４が検出される。すなわち、異常候補Ｚ１および異常候補Ｚ３が手領域内の同じ領域Ａ１から検出され、異常候補Ｚ２および異常候補Ｚ４が手領域内の同じ領域Ａ２から検出される。

【0031】

ここで、利用者の手指に付着している「汚れ」は、手洗いにより除去される。したがって、同じ領域から検出される異常候補を比較したときに、手洗い前の画像から検出される異常候補（即ち、手洗い前異常候補）の形状に対して、手洗い後の画像から検出される異常候補（即ち、手洗い後異常候補）の形状が変化していれば、その異常候補は「汚れ」と判定される。

【0032】

例えば、同じ領域において、手洗い前異常候補のサイズより手洗い後異常候補のサイズが小さいときは、その異常候補は「汚れ」と判定される。図４（ａ）に示す例では、異常候補Ｚ１および異常候補Ｚ３は同じ領域Ａ１から検出され、且つ、異常候補Ｚ１のサイズより異常候補Ｚ３のサイズが小さい。この場合、異常種別判定部２２は、異常候補Ｚ１、Ｚ３が利用者の手に付着している「汚れ」であると判定する。また、手洗いが適切に行われたときは、手洗い後の入力画像において「汚れ」は無くなっているはずである。たとえば、図４（ｂ）に示す例では、手洗い前に異常候補Ｚ１が検出された領域Ａ１に異常候補は存在しない。この場合も、異常種別判定部２２は、異常候補Ｚ１が「汚れ」であったと判定する。

【0033】

これに対して、利用者の手指に生じている「傷」は、手洗いにより除去されない。したがって、同じ領域から検出される異常候補を比較したときに、手洗い前の画像から検出される異常候補（即ち、手洗い前異常候補）の形状および手洗い後の画像から検出される異常候補（即ち、手洗い後異常候補）の形状が互いに同じまたはほぼ同じであれば、その異常候補は「傷」と判定される。図４（ａ）に示す例では、異常候補Ｚ２および異常候補Ｚ４は同じ領域Ａ２から検出され、且つ、異常候補Ｚ２の形状および異常候補Ｚ４の形状は互いにほぼ同じである。この場合、異常種別判定部２２は、異常候補Ｚ２、Ｚ４が利用者の手に生じている「傷」であると判定する。

【0034】

Ｓ１５において、手洗い指示生成部２３は、利用者の手指に「汚れ」が残っているか否かを判定する。このとき、手洗い前の画像および手洗い後の画像の同じ領域から異常候補が検出され、且つ、手洗い前異常候補のサイズより手洗い後異常候補のサイズが小さいときは、利用者の手指に「汚れ」が残っていると判定される。例えば、図４（ａ）に示すケースでは、手洗い前の画像から検出される異常候補Ｚ１のサイズより手洗い後の画像から検出される異常候補Ｚ３のサイズが小さいので、領域Ａ１に「汚れ」が残っていると判定される。この場合、手洗い認識システム１００の処理はＳ１１に戻る。すなわち、手洗い指示生成部２３は、手洗いを行うことを要求する手洗い指示を生成する。なお、Ｓ１２～Ｓ１４が実行された後にＳ１１が実行されるケースでは、手洗い指示は、手洗いのために使用すべき洗剤を変更する指示を含んでもよい。例えば、手洗い指示生成部２３は、通常の石鹸では除去できない汚れが利用者に手に付着していると推定し、洗浄力の強い薬用石鹸の使用を推奨してもよい。

【0035】

利用者の手指に「汚れ」が残っていないときは、手洗い認識システム１００の処理はＳ１６に進む。例えば、図４（ａ）に示す手洗い前の画像上の領域Ａ１から異常候補Ｚ１が検出されているが、図４（ｂ）に示す手洗い後の画像上の同じ領域Ａ１には異常候補が存在しない。この場合、手洗い指示生成部２３は、領域Ａ１において「汚れ」が除去されて残っていないと判定する。なお、Ｓ１３～Ｓ１４において「汚れ」と判定される異常候補が無かったときも、手洗い認識システム１００の処理はＳ１６に進む。

【0036】

Ｓ１６において、手洗い指示生成部２３は、利用者の手指に「傷」が生じているか否かを判定する。図４に示すケースでは、異常候補Ｚ２、Ｚ４が「傷」であると判定される。そして、利用者の手指に「傷」が生じているときは、Ｓ１７において、手洗い指示生成部２３は、傷の処置を要求する手洗い指示を生成する。この手洗い指示は、例えば、絆創膏を貼る指示およびビニール手袋を着用する指示を含む。また、この手洗い指示は、傷の処置が完了した手指の撮影が必要である旨のメッセージを含む。なお、この手洗い指示も、Ｓ６と同様に、利用者に提供される。

【0037】

Ｓ１８において、プロセッサ２０は、利用者の手指の画像を取得する。このとき、プロセッサ２０は、傷が生じている領域を含む画像を取得する。Ｓ１９において、手洗い指示生成部２３は、Ｓ１８で取得する画像に基づいて、利用者の手指の傷が適切に処置されたか否かを判定する。例えば、「傷」と判定された領域において「絆創膏」に相当する画像が検出されれば、手洗い指示生成部２３は、利用者の手指の傷が適切に処置されたと判定する。この場合、手洗い認識システム１００の処理は終了する。なお、手洗い認識システム１００は、図２に示すフローチャートの処理が終了したときに、利用者の手指の衛生状態が良好である旨をサーバコンピュータに記録してもよい。一方、利用者の手指の傷が適切に処置されたと判定されないときには、手洗い認識システム１００の処理はＳ１７に戻る。

【0038】

このように、利用者の手指に汚れが残っているときは、図２に示すフローチャートの処理は終了しない。この場合、Ｓ１１～Ｓ１５が繰り返し実行される。また、利用者の手指に傷が生じているときは、その傷が適切に処置されるまで図２に示すフローチャートの処理は終了しない。この場合、Ｓ１７～Ｓ１９が繰り返し実行される。したがって、本発明の実施形態によれば、利用者の手指の衛生状態を適切に管理できる。

【0039】

図５は、異常の種別を判定する処理の一例を示すフローチャートである。この処理は、図２に示すＳ１４に対応する。すなわち、このフローチャートの処理は、手洗い前の画像から異常候補を検出する処理および手洗い後の画像から異常候補を検出する処理の後に異常種別判定部２２により実行される。

【0040】

Ｓ２１において、異常種別判定部２２は、変数ｉを初期化する。変数ｉは、手洗い前の画像から検出される異常候補を識別する。図４（ａ）に示す実施例では、異常候補Ｚ１、Ｚ２が識別される。

【0041】

Ｓ２２において、異常種別判定部２２は、手洗い前の画像から検出される異常候補の中から異常候補Ｚｉを選択する。Ｓ２３において、異常種別判定部２２は、異常候補Ｚｉが検出された領域を特定する。図５に係わる記載においては、異常候補Ｚｉが検出された領域を「領域Ａｉ」と呼ぶことがある。

【0042】

Ｓ２４において、異常種別判定部２２は、手洗い後の画像上の領域Ａｉに異常候補が存在するか否かを判定する。そして、手洗い後の画像上の領域Ａｉに異常候補が存在しないときは、Ｓ２７において、異常種別判定部２２は、異常候補Ｚｉが「汚れ」であり、手洗いにより除去されたと判定する。

【0043】

手洗い後の画像上の領域Ａｉに異常候補が存在するときは、異常種別判定部２２は、Ｓ２５～Ｓ２６において、異常候補Ｚｉと異常候補Ｚｋとを比較する。そして、異常候補Ｚｉのサイズより異常候補Ｚｋのサイズが小さいときは、Ｓ２８において、異常種別判定部２２は、異常候補Ｚｉが「汚れ」であり、手洗いにより一部が除去されたと判定する。異常候補Ｚｉおよび異常候補Ｚｋが互いに同じまたはほぼ同じときは、Ｓ２９において、異常種別判定部２２は、異常候補Ｚｉが「傷」であると判定する。異常候補Ｚｉのサイズより異常候補Ｚｋのサイズが大きいときは、Ｓ３０において、異常種別判定部２２は、エラー処理を実行する。

【0044】

ただし、異常種別判定部２２は、異常候補Ｚｉ、Ｚｋのサイズよらず、異常候補Ｚｉの形状と異常候補Ｚｋの形状とが互いに異なるときに、異常候補Ｚｉが「汚れ」であると判定してもよい。例えば、利用者の手に汚れが付着しており、手洗い時に手を擦り合わせたことで汚れ領域が広がることがある。この場合、異常候補Ｚｉのサイズより異常候補Ｚｋのサイズが大きい場合であっても、異常候補Ｚｉを「汚れ」と判定してもよい。

【0045】

Ｓ３１において、変数ｉがインクリメントされる。Ｓ３２において、異常種別判定部２２は、Ｓ２３～Ｓ３０の処理が実行されていない異常候補Ｚｉが残っているか否かを判定する。そして、そのような異常候補Ｚｉが残っているときは、異常種別判定部２２の処理はＳ２２に戻る。即ち、手洗い前の画像から次の異常候補が選択される。したがって、手洗い前の画像から検出される各異常候補Ｚｉについて異常の種別が判定される。

【0046】

このように、本発明の実施形態に係わる手洗い認識方法においては、手洗い前の画像から手洗い後の画像への変化に基づいて利用者が行うべき手洗いフローが指示される。このとき、手洗い認識システム１００は、汚れ、傷、装飾品を識別することで、利用者（ここでは、作業者）の手指が作業に適した状態になるように適切な手洗いフローおよび手洗い後のフローを指示する。ここで、単純な画像認識と比較して、手洗い前の画像から手洗い後の画像への変化を利用する方法においては、利用者の手指の異常の種別を精度よく判定できる。したがって、本発明の実施形態に係わる手洗い認識方法によれば、利用者に対して適切な手洗い指示を提供できる。この結果、例えば、食品等関連事業の作業者の衛生状況が改善する。

【0047】

＜バリエーション１＞
図６は、手洗い認識方法の第１のバリエーションを示すフローチャートである。なお、第１のバリエーションにおいては、図２に示すＳ１～Ｓ６およびＳ１１～Ｓ１９に加えてＳ４１～Ｓ４３が実行される。

【0048】

Ｓ４１において、手洗い認識システム１００は、利用者を特定する。利用者は、公知の技術により特定される。例えば、生体認証（顔認証、静脈認証、指紋認証、虹彩認証等）により利用者が特定される。また、各利用者が個人を識別するデバイス（ＩＣチップ等）を保持するときは、そのデバイスにより利用者が特定される。いずれにしても、非接触で利用者が特定されることが好ましい。

【0049】

Ｓ４２において、プロセッサ２０は、特定した利用者の基準手指画像を保存部３０から取得する。なお、保存部３０には、図１に示すように、各利用者の基準手指画像が保存されている。基準手指画像は、この実施例では、通常時に撮影された利用者の手指の画像である。基準手指画像は、撮像装置１０により撮影されてもよいし、他の撮像装置で撮影されてもよい。また、基準手指画像として、下記の条件を満足する画像が保存されることが好ましい。
（１）手指に装飾品が付いていない。
（２）手指に汚れが付着していない。
（３）手指に傷がない。

【0050】

基準手指画像は、この実施例では、異常候補を検出する処理（図６ではＳ２、Ｓ１３）において使用される。例えば、プロセッサ２０が図７（ａ）に示す入力画像および基準手指画像を取得するものとする。入力画像は、撮像装置１０により撮影される。基準手指画像は、保存部３０に保存されている。この例では、入力画像上の領域Ａ１から異常候補Ｚ１が検出される。ところが、基準手指画像上の領域Ａ１内には、異常候補は存在しない。この場合、異常候補Ｚ１は、通常時には利用者の手指には存在しない異物であると推定される。

【0051】

これに対して、図７（ｂ）に示す例では、入力画像上の領域Ａ５から異常候補Ｚ５が検出される。また、基準手指画像上の領域Ａ５内に異常候補Ｚ６が存在する。ここで、異常候補Ｚ５および異常候補Ｚ６の形状は互いに同じである。この場合、入力画像から検出される異常候補Ｚ５は、通常時から利用者の手指に存在していると推定される。すなわち、異常候補Ｚ５は、手洗いによって除去される「汚れ」ではなく、また、利用者の手指に生じている「傷」でもないと推定される。したがって、異常候補Ｚ５は、後続の処理において、異常候補から除外される。なお、基準手指画像から検出される異常候補は、通常時から利用者の手指に存在している異物であり、例えば、ホクロ、傷跡、タトゥー等に相当する。

【0052】

このように、入力画像から検出される異常候補であっても、基準手指画像においても存在する場合には、手洗いで除去する必要はなく、また、処置を施す必要もない。そして、このような異常候補は、Ｓ１４～Ｓ１９の処理において除外される。よって、バリエーション１においては、不適切な手洗い指示の生成が抑制される。例えば、ホクロ、傷跡、タトゥー等が「汚れ」と判定されると、手洗いの継続が要求される。また、ホクロ、傷跡、タトゥー等が「傷」と判定されると、所定の処置が要求される。これに対して、バリエーション１においては、このような不適切な手洗い指示の生成が抑制される。

【0053】

図６に示すＳ１１～Ｓ１９の処理において、手指に傷がないと判定されたときは、プロセッサ２０は、Ｓ４３において基準手指画像を更新してもよい。例えば、保存部３０に保存されている基準手指画像が古いときは、プロセッサ２０は、撮像装置１０により新たに撮影された画像を保存部３０に保存してもよい。

【0054】

異常候補検出部２１は、Ｓ２において、手洗い前の入力画像と基準手指画像とを比較することで異常候補を検出してもよい。また、異常候補検出部２１は、Ｓ１３において、手洗い後の入力画像と基準手指画像とを比較することで異常候補を検出してもよい。

【0055】

図８は、第１のバリエーションにおいて使用される異常候補検出部２１の一例を示す。この例では、異常候補検出部２１は、手指姿勢推定部２１ａ、位置合わせ部２１ｂ、差分検出部２１ｃ、位置／形状検出部２１ｄを備える。

【0056】

手指姿勢推定部２１ａは、入力画像から抽出する手領域の特徴量を検出することで、利用者の手指の姿勢を推定する。位置合わせ部２１ｂは、手指姿勢推定部２１ａにより推定された姿勢に基づく非剛体変換を利用して、入力画像と基準手指画像との間の位置合わせを行う。このとき、手指のしわ等を利用して位置合わせを行ってもよい。差分検出部２１ｃは、入力画像と基準手指画像との間の差分を検出する。差分領域は、異常候補として検出される。位置／形状検出部２１ｄは、手指姿勢推定部２１ａにより推定された姿勢を参照して、異常候補の位置および形状を検出する。この例では、薬指の付け根および手首に異常候補が検出される。

【0057】

なお、手洗い認識システム１００は、基準手指画像に加えて、所定の装飾品の特徴を表す装飾品情報を保存部３０に保存してもよい。この場合、装飾品情報は、所定の装飾品の画像を含むことが好ましい。また、異常種別判定部２２は、Ｓ４～Ｓ５において、入力画像および装飾品情報に基づいて、利用者が手指に装飾品を付けているか否かを判定してもよい。そして、利用者が手指に装飾品を付けていると判定されたときは、手洗い指示生成部２３は、装飾品を外すことを要求する手洗い指示を生成して出力する。

【0058】

また、手洗い認識システム１００は、保存部３０に保存されている基準手指画像から第１の異常候補を検出し、手洗い後に撮像装置１０により撮影された画像から第２の異常候補を検出してもよい。この場合、手洗い指示生成部２３は、第１の異常候補と第２の異常候補との比較に基づいて、手洗いに係わる指示を生成する。

【0059】

＜バリエーション２＞
図９は、手洗い認識方法の第２のバリエーションを示すフローチャートである。なお、第２のバリエーションにおいては、図２に示すＳ１～Ｓ６およびＳ１１～Ｓ１９に加えてＳ５１～Ｓ５２が実行される。Ｓ５１～Ｓ５２は、Ｓ１～Ｓ６の後に実行される。具体的には、入力画像から検出された異常候補が装飾品でないと判定されたときにＳ５１～Ｓ５２が実行される。

【0060】

Ｓ５１～Ｓ５２において、異常種別判定部２２は、Ｓ２で検出された異常候補が特定の色成分を有するか否かを判定する。そして、異常候補が特定の色成分を有するときは、手洗い指示生成部２３は、手洗いフローを変更する。具体的には、異常候補が特定の色成分を有するときは、手洗い指示生成部２３は、洗剤の種別および／または手洗い動作を変更してもよい。例えば、異常種別判定部２２は、異常候補が特定の油汚れに対応する色成分を有するか否かを判定する。そして、異常候補が特定の油汚れに対応する色成分を有するときは、手洗い指示生成部２３は、その油汚れを除去するために好適な洗剤を決定する。また、手洗い指示生成部２３は、その油汚れを除去するために好適な手洗い動作を決定してもよい。

【0061】

Ｓ５２において洗剤および手洗い動作を決定したときは、手洗い指示生成部２３は、Ｓ１１において、その決定に応じた手洗い指示を生成する。この場合、手洗い指示生成部２３は、利用者に対して、決定した洗剤を使用することを指示する。或いは、手洗い指示生成部２３は、利用者に対して、決定した手洗い動作を行うことを指示する。したがって、利用者は、手指の汚れを十分に除去できる。

【0062】

なお、図９に示す実施例では、手洗い前に異常候補の色成分に基づいて手洗いフローが決定されるが、第２のバリエーションは、手洗い後に残存する異常候補の色成分に基づいて手洗いフローを変更してもよい。例えば、Ｓ１５において汚れが残っていると判定されたときに、手洗い指示生成部２３は、残存する異常候補（すなわち、汚れ）の色成分に基づいて手洗いフローを変更してもよい。

【0063】

＜バリエーション３＞
図１０は、手洗い認識方法の第３のバリエーションを示すフローチャートである。尚、第３のバリエーションにおいては、図２に示すＳ１～Ｓ６およびＳ１１～Ｓ１９に加えてＳ６１が実行される。Ｓ６１は、この実施例では、Ｓ４の後に実行される。具体的には、入力画像に基づいて異常の種別が判別されたときにＳ６１が実行される。

【0064】

Ｓ６１において、異常種別判定部２２は、利用者からの入力を受け付ける。このとき、利用者は、自分の手指の状態に係わる情報を入力する。例えば、手指に傷があるときは、利用者は、傷の位置を表す情報を入力してもよい。また、異常候補検出部２１により異常候補が検出されたときは、利用者は、その異常候補の属性（汚れ、傷、ホクロ、傷跡、タトゥー等）を表す情報を入力してもよい。さらに、Ｓ４において異常種別判別部２２により判別された種別が誤っているときは、利用者は、その判別結果を修正してもよい。

【0065】

このように、第３のバリエーションにおいては、異常の種別に係わる情報が利用者自身により入力または訂正される。そして、利用者により入力または訂正された情報は、利用者が行うべき手洗いフローを決定するときに使用される。したがって、画像認識だけでは異常の種別の判定が困難なときであっても、利用者に対して適切な手洗い指示を提供できる。

【0066】

＜バリエーション４＞
第４のバリエーションでは、手洗い認識システム１００は、人の手洗い動作を認識し、手洗い動作が正しく行われているか否かを判定する。ここで、手洗い認識システム１００がモニタする手洗い動作は、予め決められた複数の動作ステップを含むものとする。具体的には、特に限定されるものではないが、手洗い動作は、図１１に示す動作ステップ１～６を含む。なお、動作ステップ１～６は、下記の通りである。
ステップ１：流水で手のひらを濡らした後、洗剤をつけて手のひらを擦り合わせる。
ステップ２：一方の手のひらで他方の手の甲を擦る。
ステップ３：指先と爪との間を洗う。
ステップ４：指と指との間を洗う。
ステップ５：親指およびその付け根をねじりながら洗う。
ステップ６：手首を洗う。

【0067】

保存部３０には、洗浄領域情報が保存されている。洗浄領域情報は、各動作ステップにおいて洗浄される領域を表す。図１２に示す例では、洗浄領域情報は、動作ステップ２において手の甲が洗浄されることを表している。

【0068】

手洗い認識システム１００は、図１に示していないが、重点ステップ決定部を備える。重点ステップ決定部は、プロセッサ２０が手洗い認識プログラムを実行することで実現される。そして、重点ステップ決定部は、図１２に示すように、入力画像において手領域の特徴量情報を取得することにより、異常候補検出部２１により検出された異常候補の位置を特定する。図１２に示す例では、左手の甲に異常候補（例えば、汚れ）が存在することが認識される。

【0069】

重点ステップ決定部は、洗浄領域情報を参照することで重点ステップを決定する。この例では、重点ステップとして、手の甲を洗浄する動作ステップ（即ち、動作ステップ２）が特定される。このとき、重点ステップ決定部は、手領域の特徴量に基づいて、異常候補を洗浄領域情報の標準手空間に投影することで重点ステップを特定してもよい。そして、重点ステップ決定部は、特定した重点ステップを手洗い指示生成部２３に通知する。そうすると、手洗い指示生成部２３は、通知された重点ステップを丁寧に行うための指示を利用者に与える。このとき、手洗い認識システム１００は、他の動作ステップと比較して、重点ステップが正しく行われたか否かを判定するための基準を厳しくしてもよい。

【0070】

また、重点ステップ決定部は、下記の提案を出力してもよい。
（１）異常候補が汚れであった場合、その汚れが十分に除去されたことを管理者が目視チェックを行う。
（２）異常候補が傷であった場合、後日、管理者が傷の状況のチェックを行う。

【0071】

このように、第４のバリエーションでは、利用者が手洗いを行う前に、複数の手洗い動作ステップの中から重要なステップが決定され、利用者に通知される。したがって、利用者は、重要な動作ステップを確実に行うことができる。

【0072】

なお、上述の例では、利用者が手洗いを行う前に重点ステップが特定されるが、第４のバリエーションはこの方法に限定されるものではない。例えば、重点ステップ決定部は、図２に示すＳ１５において汚れが残っていると判定されたときに、その汚れを除去するための動作ステップを特定してもよい。この場合、重点ステップ決定部は、手領域内で残存する汚れの領域を検出する。そして、重点ステップ決定部は、その汚れ領域を含む洗浄領域を有する動作ステップを決定する。この方法によれば、手洗い後に残っている汚れに対して適切な動作ステップを利用者に通知できる。

【0073】

＜バリエーション５＞
手洗い認識システム１００は、入力画像中の手領域の特徴量を用いて、手領域の位置、角度、および指の姿勢を、対象者の基準手指画像と一致させる。特徴量は、手の姿勢（各指の間接の位置、各指の先端の位置）、手の輪郭、手のしわを含む。

【0074】

位置合わせの後、手洗い認識システム１００は、２つの画像の差分に基づいて、異常候補（傷、汚れ、装飾品など）に対応する画像領域を特定する。このとき、ホワイトバランス、コントラスト、明度などを調整する前処理を行うことが好ましい。差分の計算は、ディープラーニングで計算してもよい。

【0075】

この後、手洗い認識システム１００は、各異常候補の属性（傷、汚れ、時計、指輪、マニキュア等）を判定する。このとき、異常候補の位置に基づいて属性を判定してもよい。例えば、指の根元に現れる異常候補は指輪と推定され、手首に現れる異常候補は腕時計と推定される。また、手洗い前の画像と手洗い後の画像との間の変化に基づいて、傷と汚れとが識別される。たとえば、２つの画像間で異常候補の形状に変化がなければ傷と推定され、２つの画像間で変化があれば汚れと推定される。さらに、異常候補の色に基づいて傷と汚れとを識別してもよい。

【0076】

＜バリエーション６＞
手洗い認識システム１００は、利用者が手を洗うときに、爪の長さを測定してもよい。そして、爪の長さが不適切（長すぎおよび短すぎを含む）であれば、手洗い認識システム１００はアラートを出力する。

【0077】

手洗い認識システム１００は、入力画像を利用して、利用者の各指の爪の長さを算出する。図１３に示す例では、長さＬが算出される。また、利用者ごとに、爪が理想的な状態であるときの爪の長さが予め登録されている。そして、手洗い認識システム１００は、入力画像から得られる長さＬと理想的な長さとの差分を計算し、その差分と所定の閾値とを比較する。この結果、差分が閾値より大きければ、手洗い認識システム１００は、利用者に対してアラートを出力する。

【0078】

手洗い認識システム１００は、図１３に示す爪甲の長さＬ１および爪先の長さＬ２を利用して、爪の状態を判定してもよい。この場合、例えば、（Ｌ１＋Ｌ２）／Ｌ１が所定の閾値範囲から外れていれば、アラートが出力される。この方法によれば、理想的な爪の状態が登録されていない利用者についても、爪の長さが適切か否かを判定できる。

【0079】

＜バリエーション７＞
手洗い認識システム１００は、利用者の手指に傷があると判定したときには、過去のデータと比較して、傷の状態が改善しているか悪化しているかを推定してもよい。例えば、傷に対応する領域が大きくなっている場合、或いは、傷の数が増加した場合は、傷の状態が悪化していると推定される。

【0080】

過去に検出された傷が新たな入力画像では検出されなかったときには、その傷が検出されたときから現在までの期間が算出される。そして、この期間が、傷の治癒に要すると推定される期間より短ければ、手洗い認識システム１００は、以下の処理を行う。
（１）傷が治癒したか否かを本人に確認する。
（２）傷が治癒したか否かの確認を管理者に依頼する。
（３）該当箇所がより鮮明に見えるように撮影を行い、再度、傷検知処理を行う。

【0081】

＜バリエーション８＞
手洗い認識システム１００は、利用者またはその管理者を識別するために、生体情報取得装置を備えてもよい。この場合、手洗い認識システム１００は、例えば、手のひら静脈認証または顔認証を行う。また、各利用者または各管理者が個人認証ＩＣチップを携帯するときは、手洗い認識システム１００は、個人認証ＩＣチップを読み取る機能を備えてもよい。

【0082】

＜バリエーション９＞
手洗い認識システム１００は、利用者の状況を表す情報を受け付ける機能を備えてもよい。例えば、利用者は、この機能を利用して自分の状況（「業務開始前」「トイレに行った直後」など）を表す情報を入力する。そうすると、手洗い認識システム１００は、利用者から入力された情報に応じて手洗いフローを変更してもよい。例えば、「トイレに行った直後」であれば、手洗い認識システム１００は、利用者に対して、手を擦る回数を増やすことを指示してもよい。

【0083】

＜バリエーション１０＞
手洗い認識システム１００は、利用者ごとに、手洗い認識の結果を記録する機能を備えてもよい。例えば、傷の有無、傷の位置、大きさ、種類などが記録される。また、傷に対する処置（絆創膏の貼り付け、ビニール手袋の装着など）が行われたことが記録される。汚れ／装飾品の有無、および汚れ／装飾品の位置、大きさ、種類を記録してもよい。加えて、手洗い終了後に、汚れが除去されたことが記録される。

【0084】

上述のようにして各利用者のデータが記録されるケースでは、手洗い認識システム１００は、複数の利用者のデータを利用して、手洗い認識に係わるパラメータを調整してもよい。例えば、異常候補を検出するためのパラメータ、および異常候補の種別を判定するためのパラメータを調整してもよい。

【0085】

＜バリエーション１１＞
手洗い認識システム１００は、利用者の手の形状および／または動きを認識する機能を備えてもよい。この場合、予め決められた形状または動きが撮像装置１０により撮影される。そうすると、手洗い認識システム１００は、その形状または動きに対応する処理を実行する。この構成によれば、手指が汚れている場合であっても、利用者は、非接触で手洗い認識システム１００に指示を与えることが可能である。

【0086】

＜バリエーション１２＞
手洗い認識システム１００は、撮像装置１０のレンズの汚れを検知する機能を備えてもよい。例えば、保存部３０には、撮影範囲内に利用者の手指がないときの基準画像が保存されている。この場合、手洗い認識システム１００は、手洗い認識処理の開始前（即ち、利用者が撮影範囲内に手指を位置させる前）に、撮像装置１０により撮影される画像を取得する。そして、取得した画像と基準画像とを比較することで、レンズの汚れが検知される。

【0087】

レンズの汚れが検知されたときは、手洗い認識システム１００は、管理者または利用者にレンズの汚れの除去を依頼する。その後、手洗い認識システム１００は、予め決められた確認手順を実行し、レンズの汚れが除去されたか否かを確認する。

【0088】

＜バリエーション１３＞
手洗い認識システム１００は、光学的に空間に映像を投影する映像投影機を備えてもよい。この場合、映像投影機は、検出された傷、汚れ、装飾品などの周辺にアラート映像を投影する。また、映像投影機は、検出された傷、汚れ、装飾品に対処する方法を表す映像を投影してもよい。さらに、手洗い認識システム１００は、映像投影機を利用して、正しい手の位置を案内する映像を投影してもよい。

【符号の説明】

【0089】

１０ 撮像装置
２０ プロセッサ
２１ 異常候補検出部
２２ 異常種別判定部
２３ 手洗い指示生成部
３０ 保存部
１００ 手洗い認識システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】