(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024050200
(43)【公開日】2024-04-10
(54)【発明の名称】情報処理装置及び情報処理方法
(51)【国際特許分類】
G06T 7/20 20170101AFI20240403BHJP
【FI】
G06T7/20 300Z
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2022156897
(22)【出願日】2022-09-29
(71)【出願人】
【識別番号】522385670
【氏名又は名称】株式会社iWing
(74)【代理人】
【識別番号】110000752
【氏名又は名称】弁理士法人朝日特許事務所
(72)【発明者】
【氏名】趙 一平
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096AA06
5L096BA02
5L096CA04
5L096DA02
5L096HA09
5L096KA04
(57)【要約】
【課題】高精度で、簡易な構成且つ低コストで手洗管理が可能な情報処理装置及び情報処理方法を提供する。
【解決手段】情報処理装置は、手洗器に設置されたカメラから得られた連続する複数フレームの画像データであって、当該手洗器においてユーザが手を洗う様子を撮影した画像データを取得する画像取得手段と、前記画像データから前記ユーザの手に相当する部分の画像を、深さ情報を用いずに切り出す切り出し手段と、手を洗う様子を撮影した画像データを入力に、当該手洗いが、予め定められたルールどおりに行われたか否かの判定結果を出力に、教師データとして与えて、学習済の機械学習モデルに、切り出された前記手に相当する部分の画像を入力する入力手段と、前記機械学習モデルから得られた、前記画像データに係る手洗いが前記ルールどおりに行われたか否かの判定結果を示す情報を出力する出力手段とを有する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
手洗器に設置されたカメラから得られた連続する複数フレームの画像データであって、当該手洗器においてユーザが手を洗う様子を撮影した画像データを取得する画像取得手段と、
前記画像データから前記ユーザの手に相当する部分の画像を、深さ情報を用いずに切り出す切り出し手段と、
手を洗う様子を撮影した画像データを入力に、当該手洗いが予め定められたルールどおりに行われたか否かの判定結果を出力に、教師データとして与えて、学習済の機械学習モデルに、切り出された前記手に相当する部分の画像を入力する入力手段と、
前記機械学習モデルから得られた、前記画像データに係る手洗いが前記ルールどおりに行われたか否かの判定結果を示す情報を出力する出力手段と
を有する情報処理装置。
【請求項2】
前記切り出し手段は、連続する2つ以上のフレームの画像における画素値の変化に応じて、前記ユーザの手に相当する部分の画像を切り出す
請求項1に記載の情報処理装置。
【請求項3】
前記カメラは前記手洗器に対して固定されたカメラであって、
前記切り出し手段は、前記手洗器が使用されていないときに当該手洗器を撮影した画像を用いて、前記ユーザの手に相当する部分の画像を切り出す
請求項1に記載の情報処理装置。
【請求項4】
前記教師データは、前記切り出し手段が画像データからユーザの手に相当する部分の画像を切り出すアルゴリズムと同じアルゴリズムで手に相当する部分の画像が切り出された画像データを含む
請求項1に記載の情報処理装置。
【請求項5】
手洗器に設置されたカメラから得られた連続する複数フレームの画像データであって、当該手洗器においてユーザが手を洗う様子を撮影した画像データを取得するステップと、
前記画像データから前記ユーザの手に相当する部分の画像を、深さ情報を用いずに切り出すステップと、
手を洗う様子を撮影した画像データを入力に、当該手洗いが予め定められたルールどおりに行われたか否かの判定結果を出力に、教師データとして与えて、学習済の機械学習モデルに、切り出された前記手に相当する部分の画像を入力するステップと、
前記機械学習モデルから得られた、前記画像データに係る手洗いが前記ルールどおりに行われたか否かの判定結果を示す情報を出力するステップと
を有する情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、及び手洗器制御装置の技術に関する。
【背景技術】
【0002】
手洗いを管理する手洗管理システムにおける技術が知られている。例えば特許文献1は、投影ヒストグラムを用いて、手洗い動作を識別し、手洗いの良否検査を行うことができる、手洗い監視システムに関する技術を開示している。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1に記載された技術において、投影ヒストグラムによる手洗い動作の識別だけでは、手洗いの良否判定をするのに十分と言えず、精度に改善の余地があった。また、投影ヒストグラムの作成には、複雑な処理が必要になり、装置又はサーバの負担が大きくなるといった課題が挙げられる。さらに、高精度な投影ヒストグラムの作成は、撮影手段であるカメラの性能に依存するため、コスト面でも課題を抱えている。
【0005】
これに対し本発明は、高精度で、簡易な構成且つ低コストで手洗管理が可能な情報処理装置、情報処理方法、及び手洗器制御装置を提供する。
【課題を解決するための手段】
【0006】
本開示の一態様は、手洗器に設置されたカメラから得られた連続する複数フレームの画像データであって、当該手洗器においてユーザが手を洗う様子を撮影した画像データを取得する画像取得手段と、前記画像データから前記ユーザの手に相当する部分の画像を、深さ情報を用いずに切り出す切り出し手段と、手を洗う様子を撮影した画像データを入力に、当該手洗いが、予め定められたルールどおりに行われたか否かの判定結果を出力に、教師データとして与えて、学習済の機械学習モデルに、切り出された前記手に相当する部分の画像を入力する入力手段と、前記機械学習モデルから得られた、前記画像データに係る手洗いが前記ルールどおりに行われたか否かの判定結果を示す情報を出力する出力手段とを有する情報処理装置を提供する。
【0007】
前記切り出し手段が、連続する2つ以上のフレームの画像における画素値の変化に応じて、前記ユーザの手に相当する部分の画像を切り出してもよい。
【0008】
前記カメラが、前記手洗器に対して固定されたカメラであって、前記切り出し手段が、前記手洗器が使用されていないときに当該手洗器を撮影した画像を用いて、前記ユーザの手に相当する部分の画像を切り出してもよい。
【0009】
前記教師データが、前記切り出し手段が画像データからユーザの手に相当する部分の画像を切り出すアルゴリズムと同じアルゴリズムで手に相当する部分の画像が切り出された画像データであってもよい。
【0010】
本開示の別の一態様は、手洗器に設置されたカメラから得られた連続する複数フレームの画像データであって、当該手洗器においてユーザが手を洗う様子を撮影した画像データを取得するステップと、前記画像データから前記ユーザの手に相当する部分の画像を、深さ情報を用いずに切り出すステップと、手を洗う様子を撮影した画像データを入力に、当該手洗いが予め定められたルールどおりに行われたか否かの判定結果を出力に、教師データとして与えて、学習済の機械学習モデルに、切り出された前記手に相当する部分の画像を入力するステップと、前記機械学習モデルから得られた、前記画像データに係る手洗いが前記ルールどおりに行われたか否かの判定結果を示す情報を出力するステップとを有する情報処理方法を提供する。
【0011】
本開示の別の一態様は、手洗器に固定され、当該手洗器の前にユーザが現れたことを検知する第1センサと、前記手洗器に固定され、前記第1センサよりも当該手洗器の蛇口に近い位置においてユーザの手を検知する第2センサと、前記第1センサ及び前記第2センサの検知結果を用いて、ユーザの手が前記蛇口に下に来るタイミングを予測する予測手段と、前記予測されたタイミングで、前記蛇口からの出水を制御する制御手段とを有する手洗器制御装置を提供する。
【0012】
前記手洗器制御装置が、前記蛇口から出る水の位置エネルギーを運動エネルギーに変換する変換手段と、前記運動エネルギーを用いて発電する発電手段と、前記発電された電力を蓄積する蓄電手段とを備えてもよい。
【発明の効果】
【0013】
本発明によれば、高精度で、簡易な構成且つ低コストで手洗管理が可能な情報処理装置、情報処理方法、及び手洗器制御装置を提供することができる。
【図面の簡単な説明】
【0014】
【
図1】一実施形態に係る手洗管理システム1における手洗器周辺の全体図を示す図。
【
図2】手洗管理システム1のネットワーク構成を例示する図。
【
図3】手洗管理システム1の機能構成を例示する図。
【
図5】サーバ装置30のハードウェア構成を例示する図。
【
図6】情報処理装置10のハードウェア構成を例示する図。
【
図7】撮影装置20のハードウェア構成を例示する図。
【
図8】手洗管理システム1の動作を例示するシーケンスチャート。
【
図9】表示手段15が表示する判定結果を例示する図。
【
図10】一実施形態に係る手洗器制御装置40における手洗器周辺の全体図を示す図。
【
図11】一実施形態に係る手洗器制御装置50における手洗器周辺の全体図を示す図。
【発明を実施するための形態】
【0015】
1.構成
図1は、一実施形態に係る手洗管理システム1における手洗器周辺の全体図を示す図である。この例において全体図は、手洗器W1のあふれ面に対して垂直な方向から見た図である。手洗管理システム1は、手洗管理サービスを提供する情報処理システムである。手洗管理システム1において、手洗器周辺には、手洗器W1をはじめ、情報処理装置10及び撮影装置20が、設置されている。また、
図1には、手洗管理サービスを受ける対象者の手H1が図示されている。なお、手洗管理システム1の具体的な構成は、後述する。そのため、
図1に示す手洗管理システム1の構成は、あくまで手洗器周辺の様子を表しているに過ぎない。手洗管理サービスにおいて、手洗管理とは、対象者が自身の手を洗う際に、予め定められたルールが守られているかどうかを管理することをいう。この例において手洗管理の管理者は、例えば人、組織、又はコンピュータである。この例において対象者は、例えば人又はユーザである。サービスとは、上記の手洗管理を対象者又は第三者に提供することをいう。この例において第三者は、例えば個人又は法人である。
【0016】
図2は、手洗管理システム1のネットワーク構成を例示する図である。手洗管理システム1は、情報処理装置10、撮影装置20、サーバ装置30、及びネットワーク90を有する。情報処理装置10は、手洗管理サービスを提供する情報処理装置である。撮影装置20は、ユーザが自身の手を洗っている様子(動画)を撮影する。この例において撮影装置20はカメラを含む。撮影装置20は、撮影した画像を画像データとして情報処理装置10に送信する。本実施形態において「画像データ」は、いわゆる動画データを含む概念である。情報処理装置10は、画像データのユーザの手に相当する部分の画像を切り出す。サーバ装置30は、手洗管理において、人間が手洗いをしている様子を撮影した動画データと、その手洗いにおいて予め定められたルールが守られているかどうかを示す情報とを教師データとして与えた、学習済の機械学習モデルを有する情報処理装置である。情報処理装置10及びサーバ装置30は、ネットワーク90を介して接続される。ネットワーク90は、インターネット等のコンピュータネットワークである。情報処理装置10は、背景部分を除去し、ユーザの手に相当する部分のみを切り出した画像データをサーバ装置30に送信する。サーバ装置30は、ユーザの手に相当する部分の画像データを記憶する。
【0017】
図3は、手洗管理システム1の機能構成を例示する図である。手洗管理システム1は、画像取得手段11、切り出し手段12、入力手段13、出力手段14、表示手段15、記憶手段16、撮影手段21、送信手段22、通信手段31、記憶手段32、及び制御手段33を有する。このうち、画像取得手段11、切り出し手段12、入力手段13、出力手段14、表示手段15、及び記憶手段16は情報処理装置10に、撮影手段21及び送信手段22は撮影装置20に、通信手段31、記憶手段32、教師データベース321、学習済モデル322、及び制御手段33はサーバ装置30に、それぞれ実装される。
【0018】
情報処理装置10において、画像取得手段11は、撮影装置20が撮影した画像の画像データを取得する。この例において、画像取得手段11が取得する画像データとは、ユーザが自身の手を洗っている様子を撮影した2次元画像である。詳しくは後述する。切り出し手段12は、画像データのユーザの手に相当する部分の画像を切り出す。この例において、切り出す画像データは2次元画像であるため、切り出し手段12は、深さ情報を用いずにユーザの手に相当する部分の画像を切り出す。入力手段13は、切り出した、ユーザの手に相当する部分の画像データをサーバ装置30に入力する。この例において、入力とは、サーバ装置30における学習済モデル322に、切り出し手段12によって切り出された手に相当する部分の画像を入力することである。その際に、情報処理装置10は、切り出した、ユーザの手に相当する部分の画像のデータをサーバ装置30に送信する送信手段を備えてもよい。出力手段14は、学習済モデル322から得られた、画像データに係る手洗いがルールどおりに行われたか否かの判定結果を示す情報を表示手段15に出力する。この例において、情報処理装置10は、出力手段14が出力する判定結果をサーバ装置30から受信する受信手段を備えてもよい。表示手段15は、出力手段14が出力した画像データに係る手洗いがルールどおりに行われたか否かの判定結果を示す情報を表示する。記憶手段16は、各種のデータを記憶する。
【0019】
撮影装置20において、撮影手段21は、手洗器においてユーザが手を洗う様子を撮影する。ここで、「撮影する」とは、2次元画像を取得することをいう。送信手段22は、撮影した2次元画像の画像データを情報処理装置10に送信する。
【0020】
サーバ装置30において、通信手段31は、情報処理装置10と通信する。この例において、通信とは、情報処理装置10における入力手段13が切り出したユーザの手に相当する部分の画像データを受信すること及びサーバ装置30における学習済モデル322から得られた画像データに係る手洗いがルールどおりに行われたか否かの判定結果を示す情報を情報処理装置10に送信することである。記憶手段32は、各種のデータを記憶する。制御手段33は、各種の制御を行う。
【0021】
図4は、機械学習に関する構成を例示する図である。記憶手段32は、教師データベース321及び学習済モデル322を記憶する。教師データベース321は、教師データを記憶する。この例において、教師データは、複数の人間が手洗いをしている様子を撮影した画像データと、その画像データに写っている手洗が、予め定められたルールどおりに行われたか否かの判定結果を示す情報を含む。この例において予め定められたルールとは、手洗いの手順である。手洗いの手順とは、例えば、初めに「流水でよく手を濡らす」、次に「石鹸をつけ、手のひらをよくこする」といった手順である。判定結果は、手洗いの手順毎に、その手順を達成したかどうかという結果を示す。さらに、この判定結果は、手順毎に、手洗箇所及び手洗時間が適切であるかといった詳細の項目を含む。この判定は、例えば手洗いのルールを熟知した人間によって行われる。そのため、教師データベース321は、複数枚の画像を1つの手順としてまとめて、判定結果に対応するデータとして記録してもよい。教師データは、切り出し手段12が画像データからユーザの手に相当する部分の画像を切り出すアルゴリズムと同じアルゴリズムで手に相当する部分の画像が切り出された画像データを含む。なおこのアルゴリズムとしては、動画の画素値の変化及び手洗器周辺の背景の画像との比較など、どのようなアルゴリズムが採用されてもよい。
【0022】
学習済モデル322は、手を洗う様子を撮影した画像データを入力とし、手洗いが予め定められたルールどおりに行われたか否かの判定結果を出力とする教師データとして与えた、学習済の機械学習モデルである。すなわち学習済モデル322は、情報処理装置10における入力手段13が切り出したユーザの手に相当する部分の画像が、手洗いにおいて、予め定められたルールどおりに行われたか否かの判定を行う。この例において、手を洗う様子を撮影した画像データとは、ユーザの手に相当する部分の画像のデータであって、いわゆる動画である。学習済モデル322は、入力された画像データに対する判定結果を示す情報を出力する。
【0023】
図5は、サーバ装置30のハードウェア構成を例示する図である。サーバ装置30は、CPU(Central Processing Unit)301、メモリ302、ストレージ303、及び通信IF304を有するコンピュータである。CPU301は、プログラムに従って各種の演算を行うプロセッサである。メモリ302は、CPU301がプログラムを実行する際のワークエリアとして機能する主記憶装置であり、例えばRAM(Random Access Memory)を含む。ストレージ303は、各種のデータ及びプログラムを記憶する補助記憶装置であり、例えばSSD(Solid State Drive)又はHDD(Hard Disc Drive)を含む。通信IF304は、所定の通信規格(例えばイーサネット(登録商標))に従って他の装置と通信する装置であり、例えばNIC(Network Interface Card)を含む。
【0024】
この例においてストレージ303が記憶するプログラムには、コンピュータを手洗管理システム1におけるサーバとして機能させるためのプログラム(以下「サーバプログラム」という。)が含まれる。CPU301がサーバプログラムを実行している状態において、メモリ302及びストレージ303の少なくとも一方が記憶手段32の一例であり、CPU301が制御手段33の一例であり、通信IF304が通信手段31の一例である。
【0025】
図6は、情報処理装置10のハードウェア構成を例示する図である。情報処理装置10は、CPU101、メモリ102、ストレージ103、通信IF104、ディスプレイ105、及び入力装置106を有するコンピュータであり、例えばスマートフォン、タブレット、又はパーソナルコンピュータである。CPU101は、プログラムに従って各種の演算を行うプロセッサである。メモリ102は、CPU101がプログラムを実行する際のワークエリアとして機能する主記憶装置であり、例えばRAMを含む。ストレージ103は、各種のデータ及びプログラムを記憶する補助記憶装置であり、例えばSSD又はHDDを含む。通信IF104は、所定の通信規格(例えばWiFi(登録商標))に従って他の装置と通信する装置であり、例えば無線チップを含む。ディスプレイ105は情報を表示する装置であり、例えば有機ELディスプレイを含む。入力装置106は情報処理装置10に情報を入力するための装置であり、例えばタッチスクリーン、キーボード、又はポインティングデバイスを含む。
【0026】
この例においてストレージ103が記憶するプログラムには、コンピュータを手洗管理システム1におけるクライアントとして機能させるためのプログラム(以下「クライアントプログラム」という。)が含まれる。CPU101がクライアントプログラムを実行している状態において、メモリ102及びストレージ103の少なくとも一方が記憶手段16の一例であり、CPU101が切り出し手段12の一例であり、通信IF104が画像取得手段11、入力手段13、及び出力手段14の一例であり、ディスプレイ105が表示手段15の一例である。
【0027】
図7は、撮影装置20のハードウェア構成を例示する図である。撮影装置20は、RGBカメラ201及び通信IF202を有する。RGBカメラ201は、撮影室において対象物を撮影する(対象物の2次元画像すなわち写真を取得する)。この例において撮影室は、手洗器が設置されている空間である。対象物はユーザ、ユーザの手、又は背景等の被撮影物を指し、特定の対象を指すものではない。通信IF202は、撮影した画像を画像データとして情報処理装置10に送信する。撮影装置20と情報処理装置10とは、例えば、有線又は無線で接続される。
【0028】
この例においてRGBカメラ201が撮影手段21の一例であり、通信IF202が送信手段22の一例である。なお、撮影装置20は手洗器に対して固定されたカメラであってもよい。
【0029】
2.動作
図8は、手洗管理システム1の動作を例示するシーケンスチャートである。この例において、撮影装置20は、食品施設、病院、又はトイレ等の手洗器周辺に設置されており、ユーザは、有償又は無償で撮影装置20を利用することができる。
【0030】
ステップS1において、撮影装置20は、手洗器においてユーザが手を洗う様子を撮影する。具体的には例えば以下のとおりである。手洗器に設置されたRGBカメラ201は、連続する複数フレームの画像を撮影する。この例においてRGBカメラ201が撮影した画像は深さ情報を含んでいない。また、撮影室内には、人感センサ(図示略)を備えてもよい。この場合、人感センサによって撮影室内に人が入ったことが検知されると、撮影装置20によって撮影が行われる構成としてもよい。また、撮影装置20は、RGBカメラ201により撮影された画像(この例では2次元画像)を示す画像データをストレージに記憶してもよい(図示略)。
【0031】
ステップS2において、撮影装置20は、撮影した画像を画像データとして情報処理装置10に送信する。画像データの送信先となる情報処理装置10は、クライアントプログラムにおいて定義される。情報処理装置10は、撮影装置20から受信した画像データをストレージ103に記録する(図示略)。
【0032】
ステップS3において、情報処理装置10は、撮影装置20から受信した画像データをユーザの手に相当する部分の画像を、深さ情報を用いずに切り出す。具体的には例えば以下のとおりである。切り出し手段12は、ストレージ103に記録されている画像データを読み出し、ユーザの手に相当する部分の画像を切り出す。この例において画像データは、深さ情報を使用していない。また、切り出し手段12は、連続する2つ以上のフレームの画像における画素値の変化に応じて、ユーザの手に相当する部分の画像を切り出す。この例において連続する2つ以上のフレームの画像とは例えば動画である。動画内のユーザの手に相当する部分の画像を切り出す場合、切り出す画像の枚数は、画素値の変化によって設定でき、管理者が任意に設定してもよい。なお、切り出し手段12は、手洗器が使用されていないときに手洗器を撮影した画像を用いて、ユーザの手に相当する部分の画像を切り出してもよい。この例において手洗器が使用されていないときに手洗器を撮影した画像は、手洗器周辺の背景の画像である。切り出し手段12は、この背景の画像を参照し、ユーザが手を洗う様子を撮影した画像データの各フレームの画像と比較することで、画素値の差からユーザの手に相当する部分の画像を切り出してもよい。
【0033】
ステップS4において、情報処理装置10は、切り出した画像データをサーバ装置30に送信する。画像データの送信先となるサーバ装置30は、サーバプログラムにおいて定義される。サーバ装置30は、情報処理装置10から受信した画像データを教師データベース321に記録する。以後、情報処理装置10から受信した画像データ及びその画像データに対応する判定結果のデータも教師データとして用いられ、学習済モデル322は追加で学習を行う。
【0034】
ステップS5において、サーバ装置30は、切り出した画像データの判定処理を行う。具体的には例えば以下のとおりである。情報処理装置10から取得した画像データは、学習済モデル322に入力される。学習済モデル322は、入力された画像データに対応する判定結果を出力する。すなわち、学習済モデル322は、入力された画像データに写っている手洗いが、予め定められたルールどおりに行われたかを判定していると言える。
【0035】
ステップS6において、サーバ装置30は、判定結果を情報処理装置10に送信する。この例において出力手段14は、学習済モデルから出力された判定結果を通信手段31に出力する。判定結果を受信した通信手段31は、情報処理装置10に判定結果を送信する。情報処理装置10は、サーバ装置30から受信した判定結果を表す情報をストレージ103に記録する(図示略)。
【0036】
ステップS7において、情報処理装置10は、判定結果を出力する。この例において出力手段14は、表示手段15に判定結果を出力する。表示手段15は、出力された判定結果を表示することができる。なお、出力手段14は、情報処理装置10以外にも外部の表示装置等に判定結果を出力してもよい。
【0037】
図9は、表示手段15が表示する判定結果を例示する図である。この例において表示手段15はディスプレイ画面に判定結果を表示する。ディスプレイ画面には、手洗いの全体の手順及び対象となった手順の判定結果が表示される。対象となった手順とは、手洗いの全体の手順のうち、ユーザが自ら選択した手順又はコンピュータによって選択された手順を指すが、対象とする主体はこれらに限定されない。
図9において、対象となった手順は「手順3」である。「手順3」は「指先・爪の先を念入りにこする」手順である。「手順3」の判定結果は、例えばセルによって構成されたマトリクス図で表示されてもよい。マトリクス図には、判定結果、手洗箇所、及び手洗時間が判定項目として表示される。判定結果は、手順を達成したかどうかを表しており、これはつまり、予め定められたルールどおりに行われたか否かの判定結果そのものである。判定結果が予め定められたルールどおりに行われたか否かを判断するために「目標」に対して「結果」が一致しているかどうかを判定基準としてもよい。図では「目標」が「〇」であるのに対して「結果」も「〇」であるため、両者は一致しており、手洗いの手順が「予め定められたルールどおりに行われた」ことを表している。判定結果の「結果」は、手洗箇所及び手洗時間の「結果」を採用してもよい。手洗箇所及び手洗時間は、それぞれ、規定箇所が洗えていたかどうか及び規定時間以上行ったかどうかを表している。図では手洗箇所において、「目標」が「2」であるのに対して「結果」も「2」であるため、両者は一致しており、「規定箇所が洗えていた」と判断できる。一方で手洗時間において、「目標」が「5秒」であるのに対して「結果」は「7秒」であるため、「規定時間以上行った」と判断できる。なお、以上の判定項目はあくまで一例であり、手洗いにおいて「予め定められたルールどおりに行われたか否か」の判定基準は、これらに限定されず、どのような方法を採用してもよい。
【0038】
3.その他の実施形態
ここまで手洗管理システム1の基本的な構成と動作を説明したが、システム構成及び装置構成などは、種々の実施形態を採用することが可能である。手洗管理システム1における構成として、手洗器周辺に設置する手洗器制御装置の具体的な例をいくつか説明する。なお、ここでいう手洗器制御装置とは、種々の目的に応じて手洗器を制御するための装置である。
【0039】
3-1.センサと連携した手洗器制御装置
(1)構成
図10は、一実施形態に係る手洗器制御装置40における手洗器周辺の全体図を示す図である。この例において全体図は、手洗器W1のあふれ面に対して平行な方向から見た図である。この例において手洗器制御装置40は、ユーザの衛生を保つと共に、ユーザが利用しやすい手洗器を提供する制御装置である。
図10の全体図に示す手洗器制御装置40の構成は、あくまで手洗器周辺の様子を表しているに過ぎず、構成及び配置を限定するものではない。手洗器制御装置40は、第1センサ41、第2センサ42、制御処理手段43、予測手段431、及び制御手段432を有する。
【0040】
(2)動作
手洗器制御装置40において、第1センサ41は、手洗器に固定され、手洗器の前にユーザが現れたことを検知する。第2センサ42は、手洗器に固定され、第1センサ41よりも手洗器の蛇口に近い位置においてユーザの手を検知する。この例において蛇口は水道管から手洗器に出水するための出口部分である。第2センサ42は、ユーザが手を差し出して、蛇口から出水する動作を行うときに、手を検知することができる位置に、取り付けられてもよい。そのため、
図10では、蛇口そのものに第2センサ42が取り付けられている。制御処理手段43は、予測手段431及び制御手段432を含む。予測手段431は、第1センサ41及び第2センサ42の検知結果を用いて、ユーザの手が蛇口に下に来るタイミングを予測する。この例において蛇口の下とは、ユーザが手を差し出して、蛇口から出水する位置である。タイミングとは、第2センサ42がユーザの手を検知した信号を、予測手段431が受信した時点であってもよい。制御手段432は、予測手段431によって予測されたタイミングで、蛇口からの出水を制御する。この例において第2センサ42がユーザの手を検知したタイミングで、制御手段432は、出水を行う。反対に、第2センサ42がユーザの手を検知できなくなったタイミングで、制御手段432は、出水を停止する。
【0041】
このように2つのセンサを用いて、ユーザの手が蛇口の下に来るタイミングを予測して蛇口から水を出すタイミングを制御することにより、手洗器は、ユーザに蛇口の下に手を持っていってからのタイムラグを感じさせることなく(又は短いタイムラグで)、蛇口から水を出すことができる。
【0042】
3-2.エネルギー変換を利用した手洗器制御装置
(1)構成
図11は、一実施形態に係る手洗器制御装置50における手洗器周辺の全体図を示す図である。この例において全体図は、手洗器W1のあふれ面に対して垂直な方向から見た図である。この例において手洗器制御装置50は、ユーザの利便性を損なうことなく、エネルギー効率の高い手洗器を提供する制御装置である。
図11の全体図に示す手洗器制御装置50の構成は、あくまで手洗器周辺の様子を表しているに過ぎず、構成及び配置を限定するものではない。手洗器制御装置50は、変換手段51、発電手段52、及び蓄電手段53を有する。
【0043】
(2)動作
手洗器制御装置50において、変換手段51は、蛇口から出る水の位置エネルギーを運動エネルギーに変換する。この例において位置エネルギーは、給水タンク等に蓄えられる水の持つ重力による位置エネルギーである。運動エネルギーは、蛇口から出る水によって羽根車等を回転させる場合の羽根車の運動エネルギーである。そのため、変換手段51は、位置エネルギーを運動エネルギーに変換するための機能を備えていれば構造は限定されない。変換手段51の一例として、プロペラ、ファン、歯車、及び風車が挙げられる。発電手段52は、変換手段51によって変換された運動エネルギーを用いて発電する。この例において発電は、磁石及びコイルによる発電方式を採用してもよい。発電手段52は、運動エネルギーを静電エネルギーに変換するための機能を備えていれば構造は限定されない。蓄電手段53は、発電手段52によって発電された電力を蓄積する。この例において蓄電は、蓄電池を利用してもよい。蓄電池の一例として鉛蓄電池、リチウムイオン電池、及びニッケル水素電池が挙げられる。なお、蓄電池の種類は限定されない。
【0044】
このように変換手段51及び発電手段52を採用することによって、手洗器制御装置50は、外部電源から電力の供給を受けることなく、又は一次電池を用いることなく、動作が可能である。
【0045】
3-1節及び3-2節で説明したように、本発明の一態様は、以下の手洗器制御装置を提供する。
(1)
手洗器に固定され、当該手洗器の前にユーザが現れたことを検知する第1センサと、
前記手洗器に固定され、前記第1センサよりも当該手洗器の蛇口に近い位置においてユーザの手を検知する第2センサと、
前記第1センサ及び前記第2センサの検知結果を用いて、ユーザの手が前記蛇口に下に来るタイミングを予測する予測手段と、
前記予測されたタイミングで、前記蛇口からの出水を制御する制御手段と
(2)
前記蛇口から出る水の位置エネルギーを運動エネルギーに変換する変換手段と、
前記運動エネルギーを用いて発電する発電手段と、
前記発電された電力を蓄積する蓄電手段と
を有する手洗器制御装置。
【0046】
4.変形例
本発明は上述の実施形態に限定されるものではなく、種々の変形実施が可能である。以下、変形例をいくつか説明する。以下で説明する事項のうち2つ以上の事項が組み合わされて適用されてもよい。
【0047】
(1)撮影装置
撮影装置20は、フレーム及び照明を有してもよい。この例においてフレームは、撮影室(又は撮影空間)を形成するための構造体である。フレームは、例えば、直方体、立方体、五角柱、又は六角柱若しくはこれに類似する形状の基本骨格を有する。これらの立体の内部が撮影室となる。また、この例において照明は、撮影室内を照らす。撮影装置20は、撮影室、つまり、手洗器が設置されている空間に、複数設置されていてもよい。また、カメラの死角を少なくなるために、1台の手洗器に対して、複数のカメラが設置されていてもよい。複数のカメラのそれぞれは、同一の種類でも、異なる種類でもよい。また、例えば画角の広いカメラを利用し、1台のカメラで複数の手洗器を撮影してもよい。なおこれらの例において、いずれのカメラも撮影装置20の一例である。撮影手段21は、モーションカメラであってもよい。この例においてモーションカメラは、例えば撮影した画像データの容量差(画像の経時的変化によるデータ容量の変化の差)を利用することで、人又は手が、手洗器に近づいてきたかどうか等を検知できる。また、撮影手段21は、サーモカメラであってもよい。この例においてサーモカメラは、赤外線センサ等を有し、対象物(被写体)の温度分布を視覚的に表すサーモグラフィ(画像又は動画)を撮影できる。撮影手段21は、上記を組み合わせた撮影システムとしてもよい。以上より、本発明における撮影装置の変形例によれば、RGBカメラによる2次元画像だけでなく、種々の画像を撮影することができるため、深さ情報を利用しなくても、精度よく、撮影した画像から手に相当する部分を切り出すことができる。
【0048】
(2)情報処理装置
情報処理装置10は、色情報を利用し、画像から手に相当する部分を切り出してもよい。この例において切り出し手段12は、RGBカメラ201が撮影した画像内で、予め手の肌の色として定められた画素値の範囲に含まれる画素値を有する部分を、手に相当する部分として切り出してもよい。この例において画素値とは、色情報の一例である。また、情報処理装置10は、温度分布を利用し、画像から手に相当する部分を切り出してもよい。この例において切り出し手段12は、サーモカメラで撮影された画像を、取得してもよい。サーモカメラは、経時的に連続した複数の画像(つまり動画)を撮影してもよい。切り出し手段12は、撮影装置20から取得した経時的に連続した複数の画像において、温度が基準より高い部分を手に相当する部分として切り出してもよい。以上より、本発明における情報処理装置の変形例によれば、取得した画像において、色情報や温度分布を利用することで、深さ情報を利用しなくても、精度よく、画像から手に相当する部分(例えば手の輪郭等)を切り出すことができる。
【0049】
(3)サーバ装置
サーバ装置30は、手洗いがルールどおりに行われたか否かの判定を行う場合、色情報、温度分布、又は深さ情報を利用してもよい。この例において手洗いがルールどおりに行われたか否かの判定を、学習済モデル322が学習する場合に用いられる教師データにおいて、判定に係る画像データには、2次元情報だけでなく、色情報、温度分布、又は深さ情報が含まれていてもよい。そのため、判定に係る画像データは、撮影装置20以外の撮影装置(例えば本発明と連携するデプスカメラ等)から取得した画像であってもよく、深さ情報等を含んでいてもよい。教師データは、切り出し手段12が画像データからユーザの手に相当する部分の画像を切り出すアルゴリズムとは異なるアルゴリズムで手に相当する部分の画像が切り出された画像データを含んでもよい。この例において、切り出し手段12が画像データからユーザの手に相当する部分の画像を切り出すアルゴリズムとは異なるアルゴリズムとは、深さ情報等に基づいて画像データからユーザの手に相当する部分の画像を切り出すアルゴリズムである。学習済モデル322は、このアルゴリズムによってユーザの手に相当する部分を切り出された画像を利用し、手洗いがルールどおりに行われたか否かの判定を学習してもよい。以上より、本発明におけるサーバ装置の変形例によれば、学習済モデル322は、精度よく手洗いがルールどおりに行われたか否かの判定を学習することができる。
【0050】
(4)手洗器制御装置
実施形態の例では、手洗器制御装置40及び手洗器制御装置50は、それぞれユーザの利便性及びエネルギー効率といった目的に応じた構成を有しているが、手洗器制御装置の目的及び構成は限定されない。なお、上述した種々の構成を組み合わせてもよい。例えば、情報処理装置10、手洗器制御装置40、及び手洗器制御装置50の機能がすべて単一の装置に実装されてもよい。また、情報処理装置10の機能構成要素の一部は省略されてもよい。
【0051】
(5)その他
学習済モデル322の学習に用いられる教師データは、実施形態において例示したものに限定されない。例えば、実施例における教師データは、判定結果として、手順毎に、その手順を達成したかどうか、手洗箇所及び手洗時間が適切であるかといった詳細の項目を含んでいたが、教師データはこのような詳細情報を含まなくてもよい。教師データの判定結果は、単に全体としてルールどおりに手洗いが行われたか否かを示す2値の情報のみを含んでいてもよい。
【0052】
手洗管理システム1のハードウェア構成は実施形態において例示したものに限定されない。要求される機能を実現できるものであれば、手洗管理システム1はどのようはハードウェア構成を有していてもよい。例えば、物理的に複数の装置が協働して情報処理装置10として機能してもよい。情報処理装置10は物理サーバでもよいし、仮想サーバ(いわゆるクラウドを含む)であってもよい。また、機能要素とハードウェアとの対応関係は実施形態において例示したものに限定されない。例えば、実施形態において撮影装置20又はサーバ装置30に実装されるものとして説明した機能の少なくとも一部が情報処理装置10に実装されてもよい。例えば、撮影手段21は情報処理装置10に実装されてもよい。
【0053】
図8に示すシーケンスチャートはあくまで処理の一例を示すものであり、手洗管理システム1の動作はこれに限定されない。図示した処理の一部が省略されてもよいし、順番が入れ替えられてもよいし、新たな処理が追加されてもよい。特に、実施形態においては、情報処理装置10からサーバ装置30に切り出した画像データをサーバ装置30に送信する際に、切り出した直後にサーバ装置30に送信してもよいし、一度ストレージ103に画像データを記録した後でまとめて画像データをサーバ装置30に送信してもよい。また、情報処理装置10は、サーバ装置30から送信の要求を受けた後に画像データを送信してもよい。
【0054】
CPU101によって実行されるアプリケーションプログラムは、インターネット等のネットワークを介したダウンロードにより提供されるものであってもよいし、DVD-ROM等のコンピュータ読み取り可能な非一時的記録媒体に記録された状態で提供されてもよい。
【符号の説明】
【0055】
1…手洗管理システム、10…情報処理装置、11…画像取得手段、12…切り出し手段、13…入力手段、14…出力手段、15…表示手段、16…記憶手段、20…撮影装置、21…撮影手段、22…送信手段、30…サーバ装置、31…通信手段、32…記憶手段、321…教師データベース(教師DB)、322…学習済モデル、33…制御手段、101…CPU、102…メモリ、103…ストレージ、104…通信IF、105…ディスプレイ、106…入力装置、201…RGBカメラ、202…通信IF、301…CPU、302…メモリ、303…ストレージ、304…通信IF、W1…手洗器、H1…手、40…手洗器制御装置、41…第1センサ、42…第2センサ、43…制御処理手段、431…予測手段、432…制御手段、50…手洗器制御装置、51…変換手段、52…発電手段、53…蓄電手段