特許 7197651 表面を監視する監視システム、監視方法、コンピュータプログラム製品および清浄化システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-19

(45)【発行日】2022-12-27

(54)【発明の名称】表面を監視する監視システム、監視方法、コンピュータプログラム製品および清浄化システム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20221220BHJP

   G08B 25/00 20060101ALI20221220BHJP

   G08B 21/18 20060101ALI20221220BHJP

   H04N 7/18 20060101ALI20221220BHJP

   A61L 2/00 20060101ALI20221220BHJP

【ＦＩ】

G06T7/00 660Z

G06T7/00 300F

G08B25/00 510M

G08B21/18

H04N7/18 D

A61L2/00

【請求項の数】 14

(21)【出願番号】P 2021133835

(22)【出願日】2021-08-19

(65)【公開番号】P2022037911

(43)【公開日】2022-03-09

【審査請求日】2021-08-19

(31)【優先権主張番号】20192659.9

(32)【優先日】2020-08-25

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】000005108

【氏名又は名称】株式会社日立製作所

(74)【代理人】

【識別番号】110001689

【氏名又は名称】青稜弁理士法人

(72)【発明者】

【氏名】レオナルド マーティン アークン

(72)【発明者】

【氏名】吉田 英史

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】米国特許出願公開第２０１２／０２１２５８２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１４／０２４４３４４（ＵＳ，Ａ１）

【文献】国際公開第２０１５／０８７３３１（ＷＯ，Ａ１）

【文献】特開２０１３－２４７９３８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

Ｈ０４Ｎ ７／１８

Ａ６１Ｌ ２／００

Ｇ０８Ｂ ２１／１８

Ｇ０８Ｂ ２５／００

(57)【特許請求の範囲】

【請求項1】

基準画像および所定の領域で撮影された一連の写真を受信するように構成された、入力インターフェースと、
プロセッサと、
出力インターフェースと、
前記プロセッサに結合され、前記プロセッサによって実行されるプログラム命令を格納する、メモリユニットとを備え、
前記プログラム命令が、
前記入力インターフェースが受信した前記一連の写真において人および前記人の姿勢を特定し、
前記姿勢に基づいて、前記入力インターフェースが受信した前記基準画像に対する前記人の四肢位置を抽出し、
前記抽出した四肢位置に基づいて、接触位置を示すインジケータを生成し、
前記出力インターフェースを介して前記インジケータを出力するように、前記プロセッサを構成するコマンドを備え、
前記プログラム命令が、標的物質が人間に対して無害になる時間を表す数学的関数にしたがって、時間に伴って前記インジケータを適合させるように、前記プロセッサを構成するコマンドを備える、
表面を監視する監視システム。

【請求項2】

前記プログラム命令が、前記基準画像における前記人の四肢の深度位置と少なくとも１つの物体および／または場所の深度情報との間の差が、所与の距離閾値よりも小さい場合、前記インジケータを生成するように、前記プロセッサを構成するコマンドを備える、請求項１に記載の監視システム。

【請求項3】

前記プログラム命令が、前記基準画像における前記人の四肢の深度位置と前記少なくとも１つの物体および／または場所の深度情報との間の差に基づいて、スコアを計算し、前記計算されたスコアにしたがって、複数のインジケータから１つのインジケータを選ぶように、前記プロセッサを構成するコマンドを備える、請求項２に記載の監視システム。

【請求項4】

前記基準画像が、前記基準画像に示される少なくとも１つの物体および／または場所の深度情報を含むか、前記プログラム命令が、物体の座標を前記基準画像の背景における空き空間の座標と比較することによって、前記深度情報を計算するか、または深度センサによって提供される情報を使用することによって前記深度情報を計算するように、前記プロセッサを構成するコマンドを備える、請求項３に記載の監視システム。

【請求項5】

前記プログラム命令が、前記基準画像における前記人の四肢の深度位置と前記少なくとも１つの物体および／または場所の深度情報との間の差が、所与の時間閾値よりも大きい時間窓に対する所与の距離閾値よりも小さい場合、前記インジケータを生成するように、前記プロセッサを構成するコマンドを備える、請求項４に記載の監視システム。

【請求項6】

前記インジケータが、
前記接触位置における前記基準画像を重畳する接触マーカ、
前記接触位置の位置情報、
前記接触位置の消毒状態の定量的パラメータであって、特定の定量的パラメータを、前記人の四肢と前記接触位置との特定の接触時間および／または特定の接触領域に関連付ける、所与のルックアップテーブルによって決定されるスケールパラメータである、前記定量的パラメータ、
人による物体との接触が認識された瞬間のタイムスタンプのうち、少なくとも１つのインジケータ情報を備える、請求項５に記載の監視システム。

【請求項7】

前記インジケータが、前記基準画像、および／または前記基準画像においてハイライトされた物体の座標である、請求項６に記載の監視システム。

【請求項8】

前記プログラム命令が、人物ＩＤを前記メモリユニットに格納することによって、特定の人を特定するように、前記プロセッサを構成するコマンドを備える、請求項７に記載の監視システム。

【請求項9】

前記プログラム命令が、前記人物ＩＤを使用して特定の人の動きを追跡するように、前記プロセッサを構成するコマンドを備える、請求項８に記載の監視システム。

【請求項10】

前記プログラム命令が、前記人物ＩＤを使用して前記特定の人の特性にしたがって、前記インジケータを生成する論理を適合させるように、前記プロセッサを構成するコマンドを備える、請求項９に記載の監視システム。

【請求項11】

前記出力インターフェースが表示デバイスを含む、請求項６に記載の監視システム。

【請求項12】

請求項１１に記載の監視システムを使用して、表面を監視する監視方法であって、
前記入力インターフェースを使用して、特定の場所で撮影された基準画像を受信するステップと、
前記入力インターフェースを使用して、前記特定の場所で撮影された一連の写真を受信するステップと、
前記プロセッサを使用して、前記入力インターフェースが受信した前記一連の写真における人および前記人の姿勢を特定するステップと、
前記姿勢に基づいて、前記プロセッサを使用して、前記入力インターフェースが受信した前記基準画像に対する前記人の四肢位置を抽出するステップと、
前記抽出された四肢位置に基づいて、前記プロセッサを使用して、接触位置を示すインジケータを生成するステップと、
前記プロセッサを使用して、前記出力インターフェースを介して前記インジケータを出力するステップと、
前記プロセッサを使用して、標的物質が人間に対して無害になる時間を表す数学的関数にしたがって、時間に伴って前記インジケータを適合させるステップと、
を備える、監視方法。

【請求項13】

コンピュータシステムによって実行されたとき、請求項１２に記載の表面を監視する前記監視方法を実行するように設定された、コンピュータプログラム論理を有するプログラム。

【請求項14】

請求項１から１１のいずれか一項に記載の監視システムと、消毒要素を含むロボットとを備える、清浄化システムであって、
前記ロボットが、前記消毒要素を使用して、インジケータによって示された物体を消毒するように構成された、清浄化システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、監視システム、監視方法、コンピュータプログラム製品および清浄化システムに関する。

【背景技術】

【0002】

ウィルスによって引き起こされる感染性疾患は、空気中に漂う微小液滴によって拡散し、表面を汚染する場合がある。したがって、人々は汚染された表面に触れないようにすることが好ましい。

【0003】

表面を汚染するウィルスは人間の目には見えないので、汚染された表面を適切に清浄化するのは困難である。

【0004】

欧州特許出願公開第３２９１１９１号明細書（特許文献１）は、空港などの特定の領域で、２つのカメラを使用して不審人物を追跡する、不審人物報告システムについて記載している。

【0005】

欧州特許出願公開第２５７１２６４号明細書（特許文献２）は、乗客および乗客個人の所有物または物品の位置を、公共交通機関でビデオによって推定する、サーベイランスシステムについて記載している。

【先行技術文献】

【特許文献】

【0006】

【文献】欧州特許出願公開第３２９１１９１号明細書

【文献】欧州特許出願公開第２５７１２６４号明細書

【発明の概要】

【0007】

本明細書に記載する開示の目的は、ウィルスに汚染された表面を自動的に検出および／または清浄化する、課題に対する解決策を提供することである。この課題は、独立請求項の主題によって解決される。

【0008】

特に、本開示は、一連の写真において人およびその姿勢を特定し、抽出された姿勢および基準画像に基づいて、接触位置、即ち人と物体または場所との接触が起こった位置を示す、特に可視化するインジケータを生成することを提案する。インジケータは、消毒技術者、またはロボットによって、インジケータが示した場所を清浄化するために使用されてもよい。
以下の態様が特に提供される。

【0009】

第１の態様によれば、表面を監視する監視システムが提供される。監視システムは、特定の場所／所定の領域を撮影した基準写真、および特定の場所／所定の領域で撮影した一連の写真を、カメラから（もしくはメモリから）受信するように構成された入力インターフェース、プロセッサ、出力インターフェース、および／またはプロセッサに結合され、プロセッサによって実行されるプログラム命令を格納するメモリユニットを備えてもよい。プログラム命令は、入力インターフェースが受信した一連の写真において人およびその姿勢を特定し、姿勢に基づいて、入力インターフェースが受信した基準写真に対する人の四肢位置を抽出し、抽出した四肢位置に基づいて、接触位置を示すインジケータを生成し、ならびに／あるいは出力インターフェースを介してインジケータを出力するように、プロセッサを構成するコマンドを備えてもよい。非限定例として、上記インジケータは、接触位置に関する一般的な位置情報であってもよい。インジケータはまた、例えば、滲んだ、および／または特定の色で示される、一組のピクセルであってもよい。それに加えてまたはその代わりに、インジケータは、接触位置を特定するための情報を備えてもよい。

【0010】

本開示の文脈では、姿勢は、人の１つまたは複数の四肢、特に人の手または手首が特定の向きで保持される、人のしぐさなどである。姿勢はまた、例えば、物体との接触をもたらす、人の１つまたは複数の四肢の動きであってもよい。

【0011】

本開示の文脈では、入力インターフェースは、ネットワークを通じて通信するための、または例えばカメラなどのデバイスと直接通信するための、ケーブルポートまたは無線インターフェースなどの通信インターフェースであってもよい。

【0012】

本開示の文脈では、出力インターフェースは、ネットワークを通じて通信するための、または例えばディスプレイなどのデバイスと直接通信するための、ケーブルポートまたは無線インターフェースなどの通信インターフェースであってもよい。出力インターフェースは、出力デバイスを備えてもよく、または例えばディスプレイなどの出力デバイスに統合されてもよい。

【0013】

本開示の文脈では、四肢は、人の身体の任意の可動身体部分、特に手または手首であってもよい。

【0014】

本明細書に記載する監視システムは、接触位置を示すインジケータを提供する。インジケータは滲んだ、および／または特定の色で示される、一組のピクセルであってもよい。それに加えてまたはその代わりに、インジケータは、例えば、接触位置の座標または説明など、接触位置を特定する情報を備えてもよい。

【0015】

監視システムは、汚れた表面を監視することによって、鉄道、空港、病院、観光スポットなどの公共エリアにおける、物体の消毒状態を監視するのに使用されてもよい。

【0016】

本明細書に開示する監視システムは、人を監視するため、少なくとも１つの基準写真および１つまたは複数の一連の写真を監視システムに提供する、複数のカメラに接続されたサーバであってもよい。

【0017】

本明細書に開示する監視システムは、消毒されるべき物体および／または場所を示すインジケータを出力するために、携帯電話または他の表示デバイスなどの複数の出力デバイスに接続されたサーバであってもよい。

【0018】

本明細書に開示する監視システムは、人を監視するため、少なくとも１つの基準写真および複数の一連の写真を監視システムに提供するカメラと、消毒されるべき物体および／または場所を示す数字、特に複数のインジケータを出力する出力デバイスとを備える、閉システムであってもよい。

【0019】

インジケータの数字は、モニタまたはビデオガラスなどの表示デバイスに、基準画像、および／または基準画像に示される特定の場所にある物体の座標として表示されてもよい。その代わりにまたはそれに加えて、インジケータは、基準画像に示される場所および／または特定の場所にある物体を消毒するように、ロボットを制御する制御コマンドを備えてもよい。

【0020】

技術的に有利には、システムは、汚染された可能性がある領域／場所の自動検出を可能にし、データ評価の複雑性が低減されるので、信頼性が高い検出結果を複数のユーザおよび／または他のコンピュータに迅速に出力することができる。記録された画像の自動評価に依存する検出プロセス自体の複雑性が低減されることによって、計算プロセスの操作労力が低減される。記載する主題の提案によって感染場所を自動的に信頼性高く検出できることが、本発明者らによって見出された。

【0021】

一実施例によれば、基準画像は、基準画像に示される物体および／または場所の深度情報を含み、プログラム命令は、基準画像における人の四肢の深度情報と物体および／または場所の深度情報との差が所与の距離閾値よりも小さい場合、インジケータを生成するように、プロセッサを構成するコマンドを備える。

【0022】

インジケータを生成させる、人と物体との間の最大距離を設定する距離閾値によって、汚染されている可能性が高い接触位置を特定できるようになる。このように、消毒技術者またはロボットなどの標的の、多すぎるインジケータによる情報過多を回避することができる。一実施例によれば、インジケータ閾値は、例えばＣＯＶＩＤ－１９など、特定のウィルスの汚染の情報に基づいて決定される。

【0023】

別の実施例によれば、プログラム命令は、基準画像における人の四肢の深度位置と少なくとも１つの物体および／または場所の深度情報との間の差に基づいて、スコアを計算し、計算されたスコアにしたがって、複数のインジケータから１つのインジケータを選ぶように、プロセッサを構成するコマンドを備えてもよい。

【0024】

基準画像における人の四肢の深度位置と少なくとも１つの物体および／または場所の深度情報との間の差を表す数字などのスコアを使用することによって、人による物体との接触によって引き起こされる汚染の可能性を定量化することができる。この定量化は、色付きインジケータなど、接触によって引き起こされる汚染の可能性を表すインジケータを選択するのに使用されてもよい。例えば、緑色のインジケータは、汚染の可能性が低いことを表す低いスコアを示してもよく、赤色のインジケータは、汚染の可能性が高いことを表す高いスコアを示してもよい。

【0025】

別の実施例によれば、プログラム命令は、物体の座標を基準画像の背景における空き空間の座標と比較することによって、基準画像の深度マップを計算するか、または深度センサによって提供される情報を使用することによって深度マップを計算するように、プロセッサを構成するコマンドを備えてもよい。

【0026】

深度マップは、基準画像に示される物体および／または場所の全てもしくは選択された数の深度情報を備える、三次元座標系であってもよい。深度マップは、基準画像における人と物体および／または場所との間の接触を特定するために、本明細書に開示する処理システムが受信した一連の画像から抽出された、人の四肢の座標によって重畳されてもよい。

【0027】

基準画像で表される三次元空間における物体の座標など、深度情報は、本明細書に開示する監視システムのプロセッサによって、例えば基準点までの距離計算など、画像処理技術を使用することによって計算することができる。あるいは、ＬＩＤＡＲセンサ、ＲＡＤＡＲセンサ、またはステレオカメラなど、深度センサによって提供されるセンサ情報が、深度情報を計算するのに使用されてもよい。

【0028】

別の実施例によれば、プログラム命令は、基準画像における人の四肢の深度位置と少なくとも１つの物体および／または場所の深度情報との間の差が、所与の時間閾値よりも大きい時間窓に対する所与の距離閾値よりも小さい場合、インジケータを生成するように、プロセッサを構成するコマンドを備えてもよい。

【0029】

インジケータを生成する判断基準として時間窓を使用することによって、汚染を引き起こす可能性が低い短時間の接触が、インジケータの生成から除外されてもよい。このように、インジケータの数が最小限に抑えられ、消毒技術者など、人またはロボットなどの標的の、多すぎるインジケータによる情報過多を回避することができる。

【0030】

別の実施例によれば、インジケータは、接触位置における基準画像を重畳する接触マーカ、接触位置の位置情報、および接触位置の消毒状態の定量的パラメータのうち、少なくとも１つのインジケータ情報を備えてもよく、定量的パラメータは、特定の定量的パラメータを人の四肢と接触位置との特定の接触時間および／または特定の接触領域に関連付ける、所与のルックアップテーブルによって決定されるスケールパラメータ、ならびに人による物体との接触が認識された瞬間のタイムスタンプであってもよい。

【0031】

矢印、または滲んだおよび／もしくは色付きの一組のピクセルなど、接触マーカによって、ユーザが接触位置を高速で簡単に認識することができるようになる。このように、人は特定の場所の消毒状態を一目で認識することができる。特定の場所が安全か否かを示すために、緑色、黄色、および赤色を含む色スケール（緑色は安全な状態、赤色は安全でない状態を表す）、または「１」から「６」までの数字などの数字スケール（「１」は安全な状態、「６」は安全でない状態を表す）など、定量的パラメータが使用されてもよい。

【0032】

定量的パラメータは、定量的パラメータの全ての状態、および接触の数、接触を行った人の数、接触の持続時間、または接触が人によって行われてから経過した時間など、対応する接触情報を備える、ルックアップテーブルを使用して決定されてもよい。

【0033】

一実施例によれば、定量的パラメータは、消毒処置の緊急度に対するインジケータとして使用される。このように、多い接触回数または汚染の可能性を非常に高くする他の任意の状態を示す、定量的パラメータを有するインジケータでラベリングされている表面は、消毒すべき物体の優先度リストの最上位にランクされてもよい。

【0034】

別の実施例によれば、プログラム命令は、例えば、ウィルスによる汚染が無害になる、即ち人に対する健康リスクがなくなる期間を表す数学的関数にしたがって、時間に伴ってインジケータを適合させるように、プロセッサを構成するコマンドを備えてもよい。

【0035】

ウィルスまたは細菌などの汚染物質が時間に伴って分解するにつれて、汚染された物体の接触によって引き起こされる汚染の可能性も時間に伴って減少する。他の人を汚染する可能性が低い物体に対する消毒処置の回数を最小限に抑えるために、インジケータは、例えば、所与の期間にわたって赤色から黄色を経て緑色に変化する色状態を使用することによって、適合されてもよい。

【0036】

別の実施例によれば、プログラム命令は、人物ＩＤをメモリユニットに格納することによって、特定の人を特定するように、プロセッサを構成するコマンドを備えてもよい。

【0037】

人のＩＤをメモリユニットに格納することによって、例えば、人が建物を通って移動する際に人を追跡することができる。このように、別の人と接触したまたは隔離されていたなど、人の特性を生成するために、人の挙動が解析されてもよい。

【0038】

別の実施例によれば、プログラム命令は、人物ＩＤを使用して特定の人の特性にしたがって、インジケータを生成する論理を適合させるように、プロセッサを構成するコマンドを備えてもよい。

【0039】

人のＩＤをメモリユニットに格納することによって、例えば、建物の入り口にある温度センサによって提供される体温など、その人に関する情報が、その人に対してそれぞれのインジケータを生成するための閾値を適合させるのに使用されてもよい。したがって、インジケータは、より高速で、即ちより短い接触期間で生成されてもよく、または物体と人との距離が大きいときに既にインジケータを生成してもよい。

【0040】

更なる態様によれば、表面を監視する監視方法が開示されてもよい。方法は、本明細書に開示する監視システムを利用してもよい。監視方法は、入力インターフェースを使用して、特定の場所を撮影するカメラから基準画像を受信する第１の受信ステップ、入力インターフェースを使用して、特定の場所で撮影された一連の写真を受信する第２の受信ステップ、プロセッサを使用して、入力インターフェースが受信した一連の写真における人およびその姿勢を特定する特定ステップ、姿勢に基づいて、プロセッサを使用して、入力インターフェースが受信した基準画像に対する人の四肢位置を抽出する抽出ステップ、抽出された四肢位置に基づいて、プロセッサを使用して、接触位置を示すインジケータを生成する生成ステップ、ならびに／あるいはプロセッサを使用して、出力インターフェースを介してインジケータを出力する出力ステップを備えてもよい。

【0041】

更なる態様によれば、コンピュータプログラム製品が開示されてもよい。コンピュータプログラム論理を有するコンピュータプログラム製品は、コンピュータシステムによって実行されると、本明細書に開示する監視方法にしたがって表面を監視する監視方法を実行するように設定される。

【0042】

更なる態様によれば、本明細書に開示する監視システムの一実施形態と、消毒要素を有するロボットとを備える、清浄化システムが開示されてもよい。ロボットは、消毒要素を使用して、インジケータによって示された物体を消毒するように構成される。消毒要素は、例えばブラシなど、清浄化デバイスを備えたロボットアームであってもよい。その代わりにまたはそれに加えて、消毒要素は、消毒剤を噴霧する噴霧器であってもよい。

【0043】

特に、ロボットは、本明細書に開示する監視システムによって提供されるインジケータによって示された、物体および／または場所を消毒するように構成される。

【図面の簡単な説明】

【0044】

【図1】一実施形態による監視システムを示す図である。

【図2】別の実施形態による監視システムの構成を示す図である。

【図3】一実施形態による、人による物体との接触の検出を示すフローチャートである。

【図4】一実施形態による姿勢を特定するプロセスを示す図である。

【図5】一実施形態によって計算されたインジケータを含む出力基準画像を示す図である。

【図6】一実施形態による清浄化システムを示す図である。

【発明を実施するための形態】

【0045】

以下、好ましい態様および実施例について、添付図面を参照して更に詳細に記載する。異なる図面および実施例における同じまたは類似の特徴は、類似の参照番号によって示される。様々な好ましい態様および好ましい実施例に関する以下の詳細な記載は、本開示の範囲を限定しようとするものではないことが理解されるべきである。

【0046】

図１では、監視システム１００が示されている。監視システム１００は、入力インターフェース１０１と、プロセッサ１０３と、プロセッサ１０３に結合されたメモリユニット１０５であって、プロセッサ１０３によって実行されるプログラム命令を格納するメモリユニット１０５と、出力インターフェース１０７とを備える。

【0047】

入力インターフェース１０１は、監視される特定の場所でカメラシステム１０９に接続される。入力インターフェース１０１は、例えば、インターネットまたは電話網などの通信ネットワークを通じて、カメラシステム１０９と通信する無線ネットワークインターフェースなど、ネットワークインターフェースであってもよい。

【0048】

出力インターフェースは、モニタ１１１、携帯電話１１３、またはロボット１１５など、様々な出力デバイスに接続されてもよい。ロボット１１５は、インターネットを介して制御される掃除機など、いわゆるＩｏＴデバイスであってもよい。

【0049】

カメラシステム１０９は、空港、駅、または病院など、監視される特定の場所に固定され、一連の画像の形で人を定期的に撮影する。

【0050】

監視システム１００は、入力インターフェース１０１を使用して、一連の画像をカメラシステム１０９から受信する。メモリユニット１０５は、プロセッサ１０１に、一連の写真の各画像における各人を認識し、その人の四肢の位置を追跡するように、命令を提供する。

【0051】

更に、メモリユニット１０５は、プロセッサ１０３に、例えば監督者によって、監視システム１００に提供される基準画像において、人が物体または場所に接触したか否かを検出するように、命令を提供する。

【0052】

人が基準画像に示される物体および／または場所に接触した場合、監視システムは、人が接触した物体または場所を示す少なくとも１つのインジケータを生成する。

【0053】

接触した物体および／または場所が感染している、即ち例えばウィルスまたは細菌で汚染されている可能性を示すために、インジケータは、人もしくは複数の人が物体および／または場所に接触した時間の長さまたは領域の接触回数を示す、色スケールの色または数字スケールの数字など、定量的パラメータを備えてもよい。

【0054】

出力インターフェース１０７を使用して、インジケータが出力される。一実施例によれば、インジケータは、モニタ１１１または携帯電話１１３を使用して、基準画像上のマーカとして提供され、それによって消毒技術者は、優先的に消毒すべき物体および／または場所を特定するか、あるいは定量的パラメータによって示される汚染状況に基づいて、消毒計画を立てることができる。

【0055】

その代わりにまたはそれに加えて、ロボット１１３に、出力インターフェース１０７を使用して、インジケータによって示される物体および／または場所を清浄化する、制御コマンドが提供される。

【0056】

モニタ１１１はまた、特定の場所にいる人にインジケータを表示するのに使用されてもよく、それによって乗客が、特定の場所の汚染スポットを見て認識することができ、かかる汚染スポットに接触するのを回避する助けとなる。

【0057】

図２では、監視システム２００の構成が示されている。監視システム２００は、画像を撮影するビデオ画像撮影デバイス２０１と、ビデオ画像格納デバイス２０３と、メモリユニット２０５と、表示デバイス２０９、携帯電話２１１、またはロボット２１３などの出力デバイスとを備える。

【0058】

メモリユニット２０５は、表面衛生推定器２１５と、入力画像を受信する入力インターフェース２１７に接続されたサービス衛生追跡データベース２０７とを格納する。

【0059】

メモリユニット２０５に格納された表面衛生推定器２１５は、プロセッサ２１９に、入力インターフェース２２１を介して受信された入力画像を解析し、画像中の人を特定し、入力インターフェース２１１を介して受信された基準画像中の物体および／または場所に人が接触したか否かを検出する、コマンドを提供する。

【0060】

図３では、一実施形態による監視方法のフローチャート３００が示されている。提供ステップ３０１で、基準画像が提供される。基準画像は、監視されるべき物体のハイライトされた領域および／またはラベルを用いて、技術者によって注釈がつけられてもよい。それに加えてまたはその代わりに、基準画像の空き空間がハイライトされ、ならびに／または注釈をつけられてもよい。

【0061】

その代わりにまたはそれに加えて、基準画像は、基準画像に示される特定の場所における物体または空き空間の深度情報を備えてもよい。深度情報は、例えばＬＩＤＡＲセンサ、ＲＡＤＡＲセンサ、またはステレオカメラなどのセンサによって決定されてもよい。

【0062】

開始ステップ３０３で、一連の写真における人を特定する特定ステップ３０５と、人の姿勢を推定する推定ステップ３０７と、人物ＩＤを人に割り当てる、ならびに／または姿勢ＩＤを姿勢に割り当てる割当てステップ３０９とを備える、接触検出プロセスが開始される。

【0063】

獲得ステップ３１１で、人の四肢の深度情報および／またはその動きに関する情報が獲得され、次の格納ステップ３１３でデータベースに格納される。

【0064】

提供ステップ３０１で提供される基準画像に基づいて、計算ステップ３１５で、基準画像における監視されるべき物体および／または場所の深度情報と、格納ステップ３１３で格納された人の四肢の深度情報との差に基づいて、スコアが計算される。

【0065】

比較ステップ３１７で、計算ステップ３１５で計算されたスコアが閾値と比較される。スコアが閾値よりも大きい場合、インジケータは生成されず、プロセスは識別ステップ３０５でもう一度やり直される。スコアが閾値以下である場合、インジケータが生成され、プロセスは終了ステップ３１７で終わる。

【0066】

図４では、姿勢特定プロセスが可視化されている。第１の写真４００では、人４０１が示されている。画像処理を使用することによって、人４０１の身体が単純化されて、処理済み画像４０３では線になっている。

【0067】

処理済み画像４０３は、線を背景から分離し、異なる身体部分を表す異なる線を互いに分離する、色スケールによる色を含んでもよい。

【0068】

処理済み画像の線の移動を辿ることによって、人の四肢の深度情報を計算し、基準画像における深度情報と比較することができる。

【0069】

線の深度情報と基準画像における物体または場所の深度情報との差が所与の閾値以下である場合、物体または場所は人が接触したものとラベリングされる。このように、接触マーカを基準画面上に重畳することによって、または例えば接触位置自体を出力することによって、接触された物体または場所が可視化される。基準画像における場所および／または物体が分類された場合、本明細書に開示する監視システムはまた、接触があった場所および／または物体の名称を出力することができる。

【0070】

図５では、複数のインジケータ５０１とともに出力された基準画像５００の一例が示されている。インジケータ５０１は、例えば図１に示されるような、監視システム１００によって接触が認識されている位置を示す。

【0071】

インジケータ５０１の各インジケータは、対応する接触の定量的パラメータを表すために、色スケールにしたがって色分けされるか、または滲みを追加することによって拡大される。このように、接触が非常に長く続いた場合、より大きいインジケータおよび／または赤色が濃いインジケータが示されてもよい。

【0072】

それに加えてまたはその代わりに、特定のインジケータは、それらが異なる人に対応する場合、色が変更されてもよい。このように、第１の人の接触によって生じる第１の群のインジケータを、第２の人の接触によって生じる第２の群のインジケータと簡単に分離することができる。

【0073】

図６では、清浄化システム６００が示されている。清浄化システム６００は、例えば、図１に示されるような監視システム１００と、消毒要素６０３を含むロボット６０１とを備える。

【0074】

ロボット６０１は、消毒要素６０３を使用して、インジケータによって示された物体を消毒するように構成される。このように、ロボット６０１は、インジケータに基づいて、監視システム１００からインジケータまたは制御コマンドを受信し、インジケータによって示された位置に移動する。インジケータによって示された位置に達すると、ロボット６０１は、場所または物体を消毒するため、消毒要素６０１を活性化させる。

【0075】

当業者には認識されるように、本開示は、上記および添付図面に記載するように、方法（例えば、コンピュータ実施プロセスまたは他の任意のプロセス）、装置（デバイス、機械、システム、コンピュータプログラム製品、および／または他の任意の装置を含む）、あるいは上記の組み合わせとして具体化されてもよい。

【0076】

本開示の態様／実施例は、完全にソフトウェア（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、または「システム」と呼ばれることがある、ソフトウェアとハードウェアの態様の組み合わせであってもよい。更に、本開示は、コンピュータ実行可能プログラムコードが媒体上で具体化された、コンピュータ可読媒体上のコンピュータプログラム製品の形態を取ってもよい。

【0077】

通信、転送、または２つ以上のエンティティが関与する他の作業を表すため、矢印が図面中で使用されることがあることが注目されるべきである。両側矢印は、一般に、作業が両方向で起こり得ることを示すが（例えば、一方向でのコマンド／要求と、それに対応する他方向での返信、またはどちらかのエンティティによって開始されるピアツーピア通信）、状況によっては、作業は必ずしも両方向で起こらなくてもよい。

【0078】

片側矢印は、一般に、排他的または主に一方向の作業を示すが、特定の状況では、かかる指向性の作業は、実際には両方向での作業を含むことがある（例えば、送信者から受信者へのメッセージと、受信者から送信者への受領の返信、または転送前の接続の確立と、転送後の接続の終了）ことが注目されるべきである。したがって、特定の作業を表すのに特定の図で使用される矢印のタイプは、例示であって限定と見るべきではない。

【0079】

本開示は、方法および装置のフローチャート図および／またはブロック図を参照して、またそれらの方法および／または装置によって生成されるグラフィカルユーザインターフェースの多数のサンプル図を参照して記載されることがある。フローチャート図および／またはブロック図における各ブロック、ならびに／あるいはフローチャート図および／またはブロック図におけるブロックの組み合わせ、ならびにグラフィカルユーザインターフェースは、コンピュータ実行可能プログラムコードによって実現できることが理解されるであろう。

【0080】

コンピュータ実行可能プログラムコードは、特定の機械を作成するのに、汎用コンピュータ、専用コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供されてもよく、それによって、コンピュータまたは他のプログラマブルデータ処理装置を介して実行するプログラムコードは、フローチャート、ブロック図のブロック、図面、および／または記述において指定された機能／行為／出力を実現する手段を作成する。

【0081】

コンピュータ実行可能プログラムコードはまた、コンピュータまたは他のプログラマブルデータ処理装置に特定の方式で機能するように指令することができる、コンピュータ可読メモリに記憶されてもよく、それによって、コンピュータ可読メモリに記憶されたプログラムコードは、フローチャート、ブロック図のブロック、図面、および／または記述において指定された機能／行為／出力を実現する命令手段を含む、製品を作成する。

【0082】

コンピュータ実行可能プログラムコードはまた、コンピュータまたは他のプログラマブルデータ処理装置にロードされて、一連の動作ステップをコンピュータまたは他のプログラマブル装置上で実施させて、コンピュータ実装プロセスを生成してもよく、それによって、コンピュータまたは他のプログラマブル装置上で実行するプログラムコードは、フローチャート、ブロック図のブロック、図面、および／または記述において指定された機能／行為／出力を実現するステップを提供する。あるいは、コンピュータプログラムが実現するステップまたは行為は、本開示の実施形態を実施するために、オペレータまたは人が実現するステップもしくは行為と組み合わされてもよい。

【0083】

「サーバ」および「プロセッサ」などの用語は、本明細書では、本開示の特定の態様で使用されてもよいデバイスを説明するのに使用されることがあり、文脈において特段の必要性がない限り、任意の特定のデバイスタイプに本開示を限定するものと解釈すべきではないことが注目されるべきである。したがって、デバイスは、非限定的に、ブリッジ、ルータ、ブリッジルータ（ブルータ）、スイッチ、ノード、サーバ、コンピュータ、器具、または他のタイプのデバイスを含んでもよい。かかるデバイスは、一般的に、通信ネットワークを通じて通信するための１つまたは複数のネットワークインターフェースと、デバイス機能を適宜実施するように構成されたプロセッサ（例えば、メモリユニットおよび他の周辺機器および／または特定用途向けハードウェアを備えたマイクロプロセッサ）とを含む。

【0084】

通信ネットワークは、一般に、公衆および／または私設ネットワークを含んでもよく、ローカルエリア、ワイドエリア、メトロポリタンエリア、ストレージ、および／または他のタイプのネットワークを含んでもよく、アナログ技術、デジタル技術、光学技術、無線技術（例えば、ブルートゥース（登録商標））、ネットワーキング技術、およびインターネットワーキング技術を含むがそれらに限定されない、通信技術を採用してもよい。

【0085】

また、デバイスは、通信プロトコルおよびメッセージ（例えば、デバイスによって作成、伝送、受信、格納、および／または処理されるメッセージ）を使用してもよく、かかるメッセージは、通信ネットワークまたは媒体によって搬送されてもよい。

【0086】

文脈において特段の必要性がない限り、本開示は、任意の特定の通信メッセージタイプ、通信メッセージ形式、または通信プロトコルに限定されるものと解釈されるべきではない。したがって、通信メッセージは、一般に、フレーム、パケット、データグラム、ユーザデータグラム、セル、または他のタイプの通信メッセージを非限定的に含んでもよい。

【0087】

文脈において特段の必要性がない限り、特定の通信プロトコルの言及は例示であり、代替例は、適切であれば、かかる通信プロトコルの変形例（例えば、たびたび行われることがあるプロトコルの修正もしくは拡張）、または既知であるかもしくは将来開発される他のプロトコルを採用してもよいことが理解されるべきである。

【0088】

また、論理フローは、本明細書では本開示の様々な態様を実証するために記載されることがあり、本開示を任意の特定の論理フローまたは論理実装に限定するものと解釈されるべきではないことが、注目されるべきである。記載する論理は、全体の結果を変えるか、または別の形で本開示の真の範囲を逸脱することなく、異なる論理ブロック（例えば、プログラム、モジュール、機能、もしくはサブルーチン）に分割されてもよい。

【0089】

多くの場合、論理素子は、全体の結果を変えるか、または別の形で本開示の範囲から逸脱することなく、追加、修正、省略、異なる順序で実施、または異なる論理構成概念（例えば、論理ゲート、ループ型プリミティブ、条件付き論理、および他の論理構成概念）を使用して実装されてもよい。

【0090】

本開示は、プロセッサ（例えば、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ、もしくは汎用コンピュータ）とともに使用される描画処理装置ならびにコンピュータプログラム論理、プログラマブル論理デバイス（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは他のＰＬＤ）とともに使用されるプログラマブル論理、離散的構成要素、集積回路類（例えば、特定用途向け集積回路（ＡＳＩＣ））、またはそれらの任意の組み合わせを含む他の任意の手段を含むがいかなる形でもそれらに限定されない、多くの異なる形態で具体化されてもよい。記載した機能性の一部または全てを実現するコンピュータプログラム論理は、一般的に、コンピュータ実行可能な形態に変換され、それ自体でコンピュータ可読媒体に格納され、オペレーティングシステムの制御下でマイクロプロセッサによって実行される、一連のコンピュータプログラム命令として実現される。記載した機能性の一部または全てを実現するハードウェアベースの論理は、１つまたは複数の適切に構成されたＦＰＧＡを使用して実現されてもよい。

【0091】

本明細書に上述した機能性の全てまたは一部を実現するコンピュータプログラム論理は、ソースコード形態、コンピュータ実行可能な形態、および様々な中間形態（例えば、アセンブラ、コンパイラ、リンカ、もしくはロケータなによって生成される形態）を含むがそれらに限定されない、様々な形態で具体化されてもよい。

【0092】

ソースコードは、様々なオペレーティングシステムまたはオペレーティング環境とともに使用するため、様々なプログラミング言語（例えば、オブジェクトコード、アセンブリ言語、またはＦｏｒｔｒａｎ、ｐｙｔｈｏｎ、Ｃ、Ｃ＋＋、ＪＡＶＡ（登録商標）、ＪａｖａＳｃｒｉｐｔ、もしくはＨＴＭＬなどの高水準言語）のいずれかで実現される、一連のコンピュータプログラム命令を含んでもよい。ソースコードは、様々なデータ構造および通信メッセージを定義し使用してもよい。ソースコードは、（例えば、インタープリタを介して）コンピュータ実行可能な形態であってもよく、またはソースコードは、（例えば、トランスレータ、アセンブラ、もしくはコンパイラを介して）コンピュータ実行可能な形態に変換されてもよい。

【0093】

本開示の実施形態の動作を実施するためのコンピュータ実行可能プログラムコードは、Ｊａｖａ、Ｐｅｒｌ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋など、オブジェクト指向、スクリプト型、または非スクリプト型のプログラミング言語で書かれてもよい。しかしながら、本開示の態様の動作を実施するためのコンピュータプログラムコードはまた、「Ｃ」プログラミング言語または類似のプログラミング言語など、従来の手続き型プログラミング言語で書かれてもよい。

【0094】

本明細書に上述した機能性の全てまたは一部を実現するコンピュータプログラム論理は、単一のプロセッサにおいて異なる時間に（例えば、同時に）実行されてもよく、または複数のプロセッサで同じもしくは異なる時間に実行されてもよく、単一のオペレーティングシステムプロセス／スレッド下で、もしくは異なるオペレーティングシステムプロセス／スレッド下で稼働してもよい。

【0095】

したがって、「コンピュータプロセス」という用語は、一般に、異なるコンピュータプロセスが同じもしくは異なるプロセッサで実行されるか否かにかかわらず、また異なるコンピュータプロセスが同じオペレーティングシステムプロセス／スレッドもしくは異なるオペレーティングシステムプロセス／スレッド下で稼働するか否かにかかわらず、一連のコンピュータプログラム命令を実行することを指す。

【0096】

コンピュータプログラムは、半導体メモリユニット素子（例えば、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＥＰＲＯＭ、もしくはフラッシュプログラマブルＲＡＭ）、磁気メモリユニット素子（例えば、ディスケットもしくは固定ディスク）、光学メモリユニット素子（例えば、ＣＤ－ＲＯＭ）、ＰＣカード（例えば、ＰＣＭＣＩＡカード）、または他のメモリユニット素子など、有形記憶媒体内で、任意の形態（例えば、ソースコード形態、コンピュータ実行可能形態、もしくは中間形態）で恒久的または過渡的に固定されてもよい。

【0097】

コンピュータプログラムは、アナログ技術、デジタル技術、光学技術、無線技術（例えば、ブルートゥース）、ネットワーキング技術、およびインターネットワーキング技術を含むがそれらに限定されない、様々な通信技術の任意のものを使用してコンピュータに伝送可能な、任意の形態の信号で固定されてもよい。

【0098】

コンピュータプログラムは、印刷文書または電子文書を備えたリムーバブル記憶媒体（例えば、シュリンク包装されたソフトウェア）として任意の形態で配布され、コンピュータシステムに（例えば、システムＲＯＭもしくは固定ディスクに）事前ロードされるか、またはサーバもしくは電子掲示板から通信システム（例えば、インターネットもしくはワールドワイドウェブ）を通じて配布されてもよい。

【0099】

本明細書に上述した機能性の全てまたは一部を実現するハードウェア論理（プログラマブル論理デバイスとともに使用されるプログラマブル論理を含む）は、従来の手動方法を使用して設計されてもよく、またはコンピュータ支援設計（ＣＡＤ）、ハードウェア記述言語（例えば、ＶＨＤＬもしくはＡＨＤＬ）、またはＰＬＤプログラミング言語（例えば、ＰＡＬＡＳＭ、ＡＢＥＬ、もしくはＣＵＰＬ）などの様々なツールを使用して、設計、キャプチャ、シミュレート、または電子文書化されてもよい。

【0100】

任意の適切なコンピュータ可読媒体が利用されてもよい。コンピュータ可読媒体は、例えば、それらに限定されないが、電子、磁気、光学、電磁、赤外、または半導体システム、装置、デバイス、または媒体であってもよい。

【0101】

コンピュータ可読媒体のより具体的な例としては、１つもしくは複数のワイヤを有する電気接続、あるいはポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリユニット（ＲＡＭ）、読出し専用メモリユニット（ＲＯＭ）、消去可能プログラマブル読出し専用メモリユニット（ＥＰＲＯＭもしくはフラッシュメモリ）、コンパクトディスク読出し専用メモリユニット（ＣＤ－ＲＯＭ）、または他の光学もしくは磁気記憶素子など、他の有形記憶媒体が挙げられるが、それらに限定されない。

【0102】

プログラマブル論理は、半導体メモリユニット素子（例えば、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＥＰＲＯＭ、もしくはフラッシュプログラマブルＲＡＭ）、磁気メモリユニット素子（例えば、ディスケットもしくは固定ディスク）、光学メモリユニット素子（例えば、ＣＤ－ＲＯＭ）または他のメモリユニット素子など、有形記憶媒体内で恒久的または過渡的に固定されてもよい。

【0103】

プログラマブル論理は、アナログ技術、デジタル技術、光学技術、無線技術（例えば、ブルートゥース）、ネットワーキング技術、およびインターネットワーキング技術を含むがそれらに限定されない、様々な通信技術の任意のものを使用してコンピュータに伝送可能な信号で固定されてもよい。

【0104】

プログラマブル論理は、印刷文書または電子文書を備えたリムーバブル記憶媒体（例えば、シュリンク包装されたソフトウェア）として配布され、コンピュータシステムに（例えば、システムＲＯＭもしくは固定ディスクに）事前ロードされるか、またはサーバもしくは電子掲示板から通信システム（例えば、インターネットもしくはワールドワイドウェブ）を通じて配布されてもよい。当然ながら、本開示のいくつかの実施形態は、ソフトウェア（例えば、コンピュータプログラム製品）およびハードウェア両方の組み合わせとして実現されてもよい。本開示の更に他の態様は、全体的にハードウェアまたは全体的にソフトウェアとして実現されてもよい。

【0105】

特定の例示的態様について記載し添付図面に図示してきたが、かかる実施形態は広範な開示の単なる例証であってそれに対する制限ではなく、上記段落で説明したものに加えて、他の様々な変更、組み合わせ、省略、修正、および置換が可能であるため、本開示の態様は、図示されおよび上述された特定の構造および構成に限定されないことが、理解されるべきである。

【0106】

当業者であれば、上述の態様および実施例の様々な適応、修正、および／または組み合わせを構成できることを認識するであろう。したがって、添付の特許請求の範囲内で、本明細書に具体的に記載する以外に本開示が実践されてもよいことが理解されるべきである。例えば、別段の明示的な言及がない限り、本明細書に記載するプロセスのステップは、本明細書に記載するのとは異なる順序で実施されてもよく、１つまたは複数のステップが組み合わされるか、分割されるか、または同時に実施されてもよい。また、当業者であれば、本開示に照らして、本明細書に記載する本開示の異なる態様または実施例が組み合わされて、本開示の他の態様または実施例を形成してもよいことを認識するであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】