特許 7448722 清掃状況検知システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-04

(45)【発行日】2024-03-12

(54)【発明の名称】清掃状況検知システム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20240305BHJP

   G06Q 50/10 20120101ALI20240305BHJP

   G06T 7/00 20170101ALI20240305BHJP

   G06T 7/20 20170101ALI20240305BHJP

   G06V 10/82 20220101ALI20240305BHJP

【ＦＩ】

H04N7/18 K

H04N7/18 D

G06Q50/10

G06T7/00 350C

G06T7/20 300Z

G06V10/82

【請求項の数】 6

(21)【出願番号】P 2023506405

(86)(22)【出願日】2021-03-15

(86)【国際出願番号】 JP2021010396

(87)【国際公開番号】W WO2022195681

(87)【国際公開日】2022-09-22

【審査請求日】2023-03-24

(73)【特許権者】

【識別番号】000001122

【氏名又は名称】株式会社日立国際電気

(74)【代理人】

【識別番号】110000062

【氏名又は名称】弁理士法人第一国際特許事務所

(72)【発明者】

【氏名】打越 秀昭

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２０１６－１４９０２４（ＪＰ，Ａ）

【文献】特表２０１２－５１９３４３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０６Ｑ ５０／１０

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／２０

Ｇ０６Ｖ １０／８２

(57)【特許請求の範囲】

【請求項1】

撮像装置と、画像処理装置とを備え、
前記画像処理装置は、前記撮像装置で撮影した画像に基づき、清掃者を特定して、前記清掃者の行動から清掃済み範囲を特定していくことで前記画像内での清掃状況を判定する画像判定部を備え、
前記清掃状況の判定は、ニューラルネットワークとディープラーニングを用いたＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）による推論処理により行い、少なくとも前記清掃者の行動を特徴量として扱うことを特徴とする清掃状況検知システム。

【請求項2】

請求項１に記載の清掃状況検知システムにおいて、
前記清掃状況の判定は、前記画像内で設定された検知領域に対して、清掃されていない箇所がある場合、未清掃と判定することを特徴とする清掃状況検知システム。

【請求項3】

請求項１に記載の清掃状況検知システムにおいて、
前記清掃状況の判定は、清掃道具を特定して、前記清掃道具があらかじめ定めた所定の方向に移動していない場合、その範囲は未清掃であると判定することを特徴とする清掃状況検知システム。

【請求項4】

請求項１に記載の清掃状況検知システムにおいて、
表示装置を備え、
前記表示装置は、前記画像処理装置における前記清掃状況の判定結果を前記撮影した画像を用いて表示することを特徴とする清掃状況検知システム。

【請求項5】

請求項４に記載の清掃状況検知システムにおいて、
前記画像処理装置は、前記表示装置から清掃終了又はレポート作成に関する信号を取得した場合、前記画像処理装置における前記清掃状況の判定結果に基づき自動でレポート作成を行うレポート作成部を備えることを特徴とする清掃状況検知システム。

【請求項6】

請求項１に記載の清掃状況検知システムにおいて、
前記撮像装置は、赤外線カメラの機能を有し、
前記画像処理装置は、前記清掃状況の判定に、前記撮像装置から取得した温度の情報を用いることを特徴とする清掃状況検知システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、清掃状況検知システムに関し、特に、自動で清掃状況を判定可能な清掃状況検知システムに関する。

【背景技術】

【0002】

従来、清掃状況の把握は、清掃者又は管理者がその清掃内容を目視で確認する方法が主な方法だった。一方、近年、深層学習技術等を用いた行動分析技術が開発されてきた。監視カメラの映像から自動で人物の行動を分析することで異常行動検知による監視業務支援や高齢者見守り業務に活用されている。

【0003】

また、特許文献１には、複数台の可視カメラで森林の火災監視を行うシステムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－１９６６５５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、清掃内容を目視で確認する場合は、清掃の有無が見た目では判断しづらく、確認漏れが生じる場合や、詳細な清掃内容まで確認できない場合が存在する。一方、従来の深層学習技術では、人物の行動の検知は、異常行動を検知することが主であり、清掃状況を把握するような検知システムの事例はなかった。また、特許文献１では、森林の火災監視のための技術であり、この技術を清掃状況の検知にそのまま適用することはできない。

【0006】

本発明は、上記課題に鑑みて、清掃状況を自動で判定することが可能な清掃状況検知システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するため、代表的な本発明の清掃状況検知システムの一つは、撮像装置と、画像処理装置とを備え、前記画像処理装置は、前記撮像装置で撮影した画像に基づき、清掃者を特定して、前記清掃者の行動から清掃済み範囲を特定していくことで前記画像内での清掃状況を判定する画像判定部を備えることを特徴とする。

【発明の効果】

【0008】

本発明によれば、清掃状況検知システムにおいて、清掃状況を画像を用いて自動で判定することができるため、目視による清掃有無の確認漏れや清掃状況をうまく確認できないといった問題を解決することができる。
上記以外の課題、構成及び効果は、以下の実施形態により明らかにされる。

【図面の簡単な説明】

【0009】

【図1】図１は、本発明の清掃状況検知システムの一実施形態を示すブロック図である。

【図2】図２は、図１の画像処理装置の一例を示すブロック図である。

【図3】図３は、本発明の清掃状況検知システムにおける表示装置での表示画面の第１の例を示す。

【図4】図４は、本発明の清掃状況検知システムにおける表示装置での表示画面の第２の例を示す。

【図5】図５は、本発明の清掃状況検知システムにおける処理全体の一例を示すフローチャートである。

【図6】図６は、本発明の清掃状況検知システムにおける清掃状況判定処理の一例を示すフローチャートである。

【図7】図７は、本発明の清掃状況検知システムにおける検知の一例を示す概念図である。

【図8】図８は、本発明の清掃状況検知システムにおける判定処理の検知の場合の一例を示す概念図である。

【図9】図９は、本発明の清掃状況検知システムにおける判定処理の非検知の場合の一例を示す概念図である。

【発明を実施するための形態】

【0010】

本発明を実施するための形態を説明する。

【0011】

図１は、本発明の清掃状況検知システムの一実施形態を示すブロック図である。図１で示す清掃状況検知システムは、撮像装置１、画像処理装置１０、画像記録装置２１、表示装置２２、印刷装置２３を備えている。これらは、それぞれ、ネットワーク３０に接続されている。

【0012】

撮像装置１は、カメラの構成を備えており、様々な場所に配置可能である。例えば、監視カメラとして監視箇所に配置する等である。撮像装置１は、レンズや絞りを介して撮像素子に入射光を結像して情報を得るカメラの構成を適用できる。ここでの撮像素子の例としては、ＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等があげられる。撮像装置１は、映像として、例えば、１秒間に３フレーム（３ｆｐｓ）以上等で撮影して、その情報は、画像処理装置１０や画像記録装置２１へ送られる。撮像装置１は、状況に応じて複数設置可能である。

【0013】

画像処理装置１０は、制御部１１、ユーザインターフェース部１２、レポート作成部１３、画像判定部１４、画像判定記録部１５の機能を備えている。

【0014】

制御部１１は、ネットワーク３０との情報のやり取りが可能で、ユーザインターフェース部１２、レポート作成部１３、画像判定部１４、画像判定記録部１５の制御を行う。ユーザインターフェース部１２は、表示装置２２等、ユーザが入力や操作した情報を受け入れる等の処理を行う。レポート作成部１３は、日報等のレポートを作成する処理を行う。画像判定部１４は、撮像装置１で撮影した情報を用いて後述する画像判定の処理を行う。画像判定記録部１５は、画像判定部１４の判定処理の結果に基づき、その内容の記録を行う。例えば、表示装置２２から清掃終了又はレポート作成に関する信号をユーザインターフェース部１２が取得した場合、レポート作成部１３は、画像判定部１４の判定結果に基づき自動でレポート作成を行い画像判定記録部１５に記録する。

【0015】

画像記録装置２１は、撮像装置１で撮影した画像を記録する装置である。また、画像処理装置１０での処理後の画像や結果を記録してもよい。画像記録装置２１としては、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＤＤＳ（Ｄｉｇｉｔａｌ Ｄａｔａ Ｓｔｏｒａｇｅ）等、必要に応じて適した方式を適用できる。

【0016】

表示装置２２は、画像処理装置１０で処理した内容を表示できる装置である。例えば、液晶ディスプレイ（ＬＣＤ）、有機ＥＬ（ＯＥＬ）ディスプレイ、タッチパネル等の構成により表示させる。表示装置２２は必要に応じた台数を適用できる。また、表示装置２２は、操作ボタンを付属していてもよい。

【0017】

印刷装置２３は、表示装置２２での表示内容や画像処理装置１０での情報を印刷可能な装置であり、必要に応じて設けられる。

【0018】

ネットワーク３０は、各装置を結ぶデータ通信可能な回線である。専用線、イントラネット、インターネット等のＩＰネットワーク等、回線の種類は問わず適用可能である。

【0019】

図２は、図１の画像処理装置の一例を示すブロック図である。画像処理装置１０のハードウェアの具体的な構成例として図２のコンピュータシステム３００により説明する。

【0020】

コンピュータシステム３００の主要コンポーネントは、１つ以上のプロセッサ３０２、メモリ３０４、端末インターフェース３１２、ストレージインターフェース３１４、Ｉ／Ｏ（入出力）デバイスインターフェース３１６、及びネットワークインターフェース３１８を含む。これらのコンポーネントは、メモリバス３０６、Ｉ／Ｏバス３０８、バスインターフェース３０９、及びＩ／Ｏバスインターフェース３１０を介して、相互的に接続されてもよい。

【0021】

コンピュータシステム３００は、プロセッサ３０２と総称される１つ又は複数の処理装置３０２Ａ及び３０２Ｂを含んでもよい。各プロセッサ３０２は、メモリ３０４に格納された命令を実行し、オンボードキャッシュを含んでもよい。処理装置としては、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等を適用できる。

【0022】

メモリ３０４は、データ及びプログラムを記憶するためのランダムアクセス半導体メモリ、記憶装置、又は記憶媒体（揮発性又は不揮発性のいずれか）を含んでもよい。また、メモリ３０４は、コンピュータシステム３００の仮想メモリ全体を表しており、ネットワークを介してコンピュータシステム３００に接続された他のコンピュータシステムの仮想メモリを含んでもよい。メモリ３０４は、概念的には単一のものとみなされてもよいが、キャッシュおよび他のメモリデバイスの階層など、より複雑な構成となる場合もある。

【0023】

メモリ３０４は、本実施形態で説明する機能を実施するプログラム、モジュール、及びデータ構造のすべて又は一部を格納してもよい。例えば、メモリ３０４は、アプリケーション３５０を格納していてもよい。アプリケーション３５０は、後述する機能をプロセッサ３０２上で実行する命令又は記述を含んでもよく、あるいは別の命令又は記述によって解釈される命令又は記述を含んでもよい。アプリケーション３５０は、プロセッサベースのシステムの代わりに、またはプロセッサベースのシステムに加えて、半導体デバイス、チップ、論理ゲート、回路、回路カード、および／または他の物理ハードウェアデバイスを介してハードウェアで実施されてもよい。アプリケーション３５０は、命令又は記述以外のデータを含んでもよい。また、カメラやセンサ等の他のデータ入力デバイスが、バスインターフェース３０９、プロセッサ３０２、またはコンピュータシステム３００の他のハードウェアと直接通信するように提供されてもよい。

【0024】

コンピュータシステム３００は、プロセッサ３０２、メモリ３０４、表示システム３２４、及びＩ／Ｏバスインターフェース３１０間の通信を行うバスインターフェース３０９を含んでもよい。Ｉ／Ｏバスインターフェース３１０は、様々なＩ／Ｏユニットとの間でデータを転送するためのＩ／Ｏバス３０８と連結していてもよい。Ｉ／Ｏバスインターフェース３１０は、Ｉ／Ｏバス３０８を介して、Ｉ／Ｏプロセッサ（ＩＯＰ）又はＩ／Ｏアダプタ（ＩＯＡ）としても知られる複数のＩ／Ｏインターフェース３１２、３１４、３１６、及び３１８と通信してもよい。表示システム３２４は、表示コントローラ、表示メモリ、又はその両方を含んでもよい。表示コントローラは、ビデオ、オーディオ、又はその両方のデータを表示装置３２６に提供することができる。また、コンピュータシステム３００は、データを収集し、プロセッサ３０２に当該データを提供するように構成された１つまたは複数のセンサ等のデバイスを含んでもよい。表示システム３２４は、単独のディスプレイ画面、テレビ、タブレット、又は携帯型デバイスなどの表示装置３２６に接続されてもよい。表示装置３２６は、オーディオをレンダリングするためスピーカを含んでもよい。あるいは、オーディオをレンダリングするためのスピーカは、Ｉ／Ｏインターフェースと接続されてもよい。これ以外に、表示システム３２４が提供する機能は、プロセッサ３０２を含む集積回路によって実現されてもよい。同様に、バスインターフェース３０９が提供する機能は、プロセッサ３０２を含む集積回路によって実現されてもよい。

【0025】

Ｉ／Ｏインターフェースは、様々なストレージ又はＩ／Ｏデバイスと通信する機能を備える。例えば、端末インターフェース３１２は、ビデオ表示装置、スピーカテレビ等のユーザ出力デバイスや、キーボード、マウス、キーパッド、タッチパッド、トラックボール、ボタン、ライトペン、又は他のポインティングデバイス等のユーザ入力デバイスのようなユーザＩ／Ｏデバイス３２０の取り付けが可能である。ユーザは、ユーザインターフェースを使用して、ユーザ入力デバイスを操作することで、ユーザＩ／Ｏデバイス３２０及びコンピュータシステム３００に対して入力データや指示を入力し、コンピュータシステム３００からの出力データを受け取ってもよい。ユーザインターフェースは例えば、ユーザＩ／Ｏデバイス３２０を介して、表示装置に表示されたり、スピーカによって再生されたりしてもよい。

【0026】

ストレージインターフェース３１４は、１つ又は複数のディスクドライブや直接アクセスストレージ装置３２２の取り付けが可能である。ストレージ装置３２２は、任意の二次記憶装置として実装されてもよい。メモリ３０４の内容は、ストレージ装置３２２に記憶され、必要に応じてストレージ装置３２２から読み出されてもよい。Ｉ／Ｏデバイスインターフェース３１６は、他のＩ／Ｏデバイスに対するインターフェースを提供してもよい。ネットワークインターフェース３１８は、コンピュータシステム３００と他のデバイスが相互的に通信できるように、通信経路を提供してもよい。この通信経路は、例えば、ネットワーク３３０であってもよい。

【0027】

コンピュータシステム３００は、プロセッサ３０２、メモリ３０４、バスインターフェース３０９、表示システム３２４、及びＩ／Ｏバスインターフェース３１０の間の直接通信経路を提供するバス構造を備えているが、コンピュータシステム３００は、階層構成、スター構成、又はウェブ構成のポイントツーポイントリンク、複数の階層バス、平行又は冗長の通信経路を含んでもよい。さらに、Ｉ／Ｏバスインターフェース３１０及びＩ／Ｏバス３０８が単一のユニットとして示されているが、実際には、コンピュータシステム３００は複数のＩ／Ｏバスインターフェース３１０又は複数のＩ／Ｏバス３０８を備えてもよい。また、Ｉ／Ｏバス３０８を様々なＩ／Ｏデバイスに繋がる各種通信経路から分離するための複数のＩ／Ｏインターフェースが示されているが、Ｉ／Ｏデバイスの一部または全部が、１つのシステムＩ／Ｏバスに直接接続されてもよい。

【0028】

コンピュータシステム３００は、マルチユーザメインフレームコンピュータシステム、シングルユーザシステム、又はサーバコンピュータ等の、直接的ユーザインターフェースを有しない、他のコンピュータシステム（クライアント）からの要求を受信するデバイスであってもよい。

【0029】

図２のコンピュータシステム３００を図１の画像処理装置１０に適用する場合は、表示システム３２４や表示装置３２６は任意の構成であり、備えていてもいなくてもよい。また、表示装置３２６は、表示装置２２に加えて表示装置２２と同様の表示装置として設けてもよい。また、表示装置２２の代りに表示装置３２６を設けてもよい。また、ストレージ装置３２２は、画像判定記録部１５に適用できる。また、ストレージ装置３２２を画像記録装置２１の代りに設けてもよい。また、ネットワーク３３０は、ネットワーク３０として適用できる。

【0030】

図３は、本発明の清掃状況検知システムにおける表示装置での表示画面の第１の例を示す。図４は、本発明の清掃状況検知システムにおける表示装置での表示画面の第２の例を示す。

【0031】

表示画面１００は、図１の表示装置２２における表示画面を示している。図３、４の例では、表示画面１００にタッチパネルの構成を適用した場合の表示例を示している。

【0032】

表示画面１００は、清掃状況画面１２０が表示されている。さらに、表示画面１００は、ボタン表示として、清掃開始ボタン１０１、清掃終了ボタン１０２、撮像装置エリアボタン１０３、清掃状況更新ボタン１０４、レポート作成ボタン１０５が表示されている。これらのボタンに触れるとその情報は、図１に記載したネットワーク３０を介して画像処理装置１０のユーザインターフェース部１２へ送られる。そして、画像処理装置１０では送られた情報に応じた処理が行われる。表示画面１００は情報の表示として、清掃開始日時１１１、清掃終了日時１１２、カメラ識別情報１１３、レポート作成日時１１４を表示可能に構成されている。

【0033】

清掃者が、清掃を開始した場合、清掃開始ボタン１０１に触れると、その時間が記録され、清掃開始日時１１１にその日時が表示される。さらに、清掃者は、清掃を終了した場合、清掃終了ボタン１０２に触れると、その時間が記録され、清掃終了日時１１２にその日時が表示される。その情報は画像処理装置１０にも送られる。

【0034】

カメラ識別情報１１３は、清掃状況画面１２０で表示されている画像を撮影している撮像装置１の識別情報が表示される。識別情報は、数字等の符号等で表すことができ、どのカメラで撮影した画像であるかを特定できる。さらに、撮像装置エリアボタン１０３に触れると、他の撮像装置１に変更可能である。他の撮像装置１に変更した場合は、カメラ識別情報１１３の符号表示が変更され、清掃状況画面１２０は、切り替えた他の撮像装置１の画像に基づき清掃状況画面１２０に表示される。

【0035】

清掃状況更新ボタン１０４は、清掃者が、このボタンに触れると、その状況が清掃状況画面１２０に反映される。レポート作成ボタン１０５は、レポートを作成するためのボタンであり、清掃者（又は管理者）は、このボタンに触れると、その時間が記録され、レポート作成日時１１４にその日時が表示される。その情報は画像処理装置１０にも送られる。レポートは、このときの表示画面１００内の情報を含んだレポートとして作成される。

【0036】

清掃状況画面１２０では、撮像装置１で撮影された画像が表示されると共に、清掃済み範囲１２１と未清掃範囲１２２が、分かるように画像を一部加工して表示させる。例えば、清掃済み範囲１２１は、この範囲に薄い色をつける、薄い網掛をする、特定の色の枠で囲うなど、確認する人が分かる表示とし、未清掃範囲１２２には何も加工をしない等である。もちろん、未清掃範囲１２２に清掃済み範囲１２１と区別するための表示を行ってもよい。これらの画像処理は、後述する画像処理装置１０の判定結果に基づく情報により行うことができる。

【0037】

図３は、清掃開始ボタン１０１に触れて、清掃者が清掃作業をしている状態を示している。このため、清掃終了日時１１２とレポート作成日時１１４には、情報は表示されていない。図４は、清掃者が清掃作業を終了して、清掃終了ボタン１０２に触れて清掃が終了した状態を示す。さらに、清掃者（又は管理者）がレポート作成ボタン１０５に触れてレポートが作成される。このため、清掃終了日時１１２とレポート作成日時１１４には、その日時の情報が表示されている。

【0038】

図５は、本発明の清掃状況検知システムにおける処理全体の一例を示すフローチャートである。ここでの処理は、図１の画像処理装置１０で行われる。

【0039】

処理が開始されると（Ｓ１０１）、まず清掃状況判定処理を行う（Ｓ１０２）。処理の開始は、例えば、図３、４の清掃開始ボタン１０１に触れられた情報が、表示装置２２から画像処理装置１０へ送られユーザインターフェース部１２がそのことを認知することにより行われる。清掃状況判定処理は、図６で説明する。

【0040】

次に、清掃状況判定処理が終了すると清掃状況更新処理（Ｓ１０３）を行う。これは、清掃状況判定処理の結果に応じて、清掃状況の情報を更新する処理を行うものである。

【0041】

次に、清掃が終了したか否かを判定する（Ｓ１０４）。清掃が終了したと判定した場合はＳ１０５へ進み、清掃が終了していないと判定した場合はＳ１０２の清掃状況判定処理へ戻る。ここでの判定は、例えば、図３、４の清掃終了ボタン１０２に触れられた情報が、表示装置２２から画像処理装置１０へ送られユーザインターフェース部１２がそのことを認知するか否かにより行われる。すなわち、清掃終了ボタン１０２に触れられた場合は、清掃が終了したと判定し、触れられていない場合は、清掃が終了していないと判定できる。

【0042】

Ｓ１０５では、レポート作成が未完了か否かを判定する（Ｓ１０５）。レポート作成が未完了であると判定した場合はＳ１０６へ進み、レポート作成が未完了でないと判定した場合はＳ１０７へ進む。ここでの判定は、これより前にレポートの作成がなされているか否かで判定することができる。例えば、清掃者が、清掃が終了して、図３、４のレポート作成ボタン１０５を押した後に、もう一度、清掃開始ボタン１０１に触れて、追加の清掃作業を再開した場合が想定される。清掃者が、追加の清掃が終了して清掃終了ボタン１０２に触れた場合、すでにレポートが作成されているためＳ１０７へ進むことになる。この判定は、ある所定の時間内にレポートが作成されていたか等で判断できる。

【0043】

Ｓ１０６では、レポート作成処理を行い、その後処理が終了する（Ｓ１０９）。この処理は、画像処理装置１０のレポート作成部１３で行う。このレポートは、例えば、図４で示したレポートを作成することができる。

【0044】

Ｓ１０７では、レポートを更新するか否かを判定する（Ｓ１０７）。レポートを更新すると判定した場合はＳ１０８へ進み、レポートを更新しないと判定した場合はＳ１０９へ進み処理が終了する。ここでの判定は、例えば、すでに作成されたレポートがあれば、それを表示して、更新するか否かを確認する。清掃者が、該当するボタンに触れた場合は、その情報が表示装置２２から画像処理装置１０へ送られる。そしてユーザインターフェース部１２がそのことを認知すると、更新すると判定される。

【0045】

Ｓ１０８では、レポート作成処理を行い、その後処理が終了する（Ｓ１０９）。ここでの処理はＳ１０６と同様であるが、更新したレポートが作成される。

【0046】

図６は、本発明の清掃状況検知システムにおける清掃状況判定処理の一例を示すフローチャートである。ここでは、図５で示したＳ１０２の清掃状況判定処理の具体的な処理を示している。これらの処理は、特に記載のない限り、図１の画像処理装置１０の画像判定部１４で行う。

【0047】

清掃状況判定処理を開始すると（Ｓ２０１）、まず、人物検知処理を行う（Ｓ２０２）。これは、撮像装置１で撮影された映像に基づき、清掃者である人物を特定するための処理である。該当する人物であるかどうかは、既知の人物検知の仕組みを使うこともできるし、その人物の特徴や動きなどから、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）による推論処理を行ってもよい。ここでの推論処理は、例えば、ニューラルネットワークやディープラーニング等を用いて特徴量を抽出する処理等である。例えば、映像内の動きから清掃者を特定できる。また、これ以外に、清掃者を特定しやすくするため、清掃者が着ている制服を特定する処理を行ってもよい。これは、制服の全体のデザインや、腕章、マーク等の制服の特徴となるものから、清掃者であることを識別する。また、動きと制服等の特徴を組み合わせて判断してもよい。そして、識別した清掃者は、例えば、図６で後述するように、画像内の骨格のイメージを取得するとよい。このことで、清掃者の動きを特定しやすくなる。制服等の識別処理も、上述したＡＩによる推論処理で特定してもよい。

【0048】

次に、検知領域判定処理を行う（Ｓ２０３）。ここでは、清掃を判定するための領域を判定する。この判定は、例えば、あらかじめ範囲を定めておいてもよい。撮像装置１が監視カメラなどの固定カメラである場合は、撮影範囲を動かすことがないため、あらかじめ範囲を定めておくことができる。また、この他、撮像装置１の画像から識別処理を行い、検知領域を定めてもよい。手すりや机の上やテーブルなどの場合は、その特徴から清掃が必要な検知領域であることを特定できる。また、壁や通路なども、同様に検知領域であることを特定できる。また、この他、過去の清掃状況から清掃範囲を定めてもよい。過去に清掃者が、清掃した範囲を記録しておき、その内容から検知領域を特定することができる。これらの識別処理は、上述したＡＩによる推論処理で特定してもよい。

【0049】

次に、検知特徴量抽出処理を行う（Ｓ２０４）。ここでの特徴量は、次の清掃判定処理に必要な特徴量を抽出する処理である。例えば、特定した人物の動きを特徴量として抽出することで、清掃判定処理に用いることができる。さらに、清掃道具を特徴量として抽出することで、清掃判定処理の精度を高くできる。清掃道具としては、例えば、雑巾、モップ、ほうき、ブラシ、スポンジ、掃除機等、清掃に用いる様々な道具が該当する。

【0050】

次に、清掃判定処理を行う（Ｓ２０５）。ここでの判定は、Ｓ２０３で特定した検知領域に対して、Ｓ２０４で抽出した特徴量を用いて、清掃を行った範囲を判定する。清掃を行っている状態か否かは、所定の条件を定めて行うことができる。例えば、上述したＡＩによる推論処理を用いて行うこともできる。この場合、Ｓ２０４で抽出した特徴量に基づき、Ｓ２０２で特定した清掃者が行っている行動が、清掃に該当するかの確信度が所定以上の場合は、清掃していると判断する等である。このとき、抽出された特徴量を予め学習させたデータセットの特徴量と比較を行うことで検知領域が清掃済みか判定する。また、特定の清掃道具を用いているかも判定の材料とでき、清掃箇所に使用する道具が規定と異なる場合は、清掃を行っていないと判定することができる。さらに、清掃道具の移動方向を加味してもよい。清掃範囲を特定する具体例については、図８、９の説明で後述する。

【0051】

さらに、Ｓ２０５では、検知領域に対して清掃が完了しているか否かの判定を行う。清掃が必要とされる検知領域に対して、清掃が完了している場合は、この撮影範囲における清掃は完了したと判定される。また、清掃が必要とされる検知領域に対して、未清掃の箇所がある場合は、その箇所を特定して、未清掃であると判定される。

【0052】

次に、判定結果記録処理を行う（Ｓ２０６）。Ｓ２０５の清掃判定処理の結果は画像判定記録部１５に記録される。この内容は、例えば、図３、４で示した清掃状況画面１２０の内容等である。また、これらの判定結果はマップに反映することも可能である。各撮像装置１の場所があらかじめ特定されている場合、例えば、建屋内等の特定エリアのマップ情報と照合して記録として残すことができる。これにより、どこの箇所で清掃が完了して、どこの箇所に未清掃箇所があるのかを視覚的に全体を把握することができる。

【0053】

次に、判定が終了しているか否かを判定する（Ｓ２０７）。現在の撮像装置１からの画像において、判定処理が終了している場合は、Ｓ２０８へ進み清掃状況判定処理が終了する。また、判定処理が終了していない場合は、Ｓ２０２へ戻る。

【0054】

図７は、本発明の清掃状況検知システムにおける検知の一例を示す概念図である。

【0055】

清掃者Ｃ００１の特定は、図６のＳ２０２における人物検知処理によって行われる。図７に示すように、人物検知処理によって、骨格のモデルを形成することにより、人物を特定するための解析を行いやすくできる。骨格のモデルは、関節を回動可能な節点として、関節同士を線で結ぶ等して単純化したモデルである。

【0056】

移動方向Ｆ００１及び清掃道具Ｋ００１の特定は、図６のＳ２０４における検知特徴量の抽出処理によって行われる。図７の例では、未清掃範囲１２２ａにおいて、清掃者Ｃ００１が保持している清掃道具Ｋ００１を移動方向Ｆ００１に動かしている図が示されている。画像処理装置１０の画像判定部１４では、この状態を検知して、未清掃範囲１２２ａが清掃していることを判定する。なお、清掃道具Ｋ００１を検知せずに、清掃者Ｃ００１の手の移動方向Ｆ００１の状態を検知して判定することも可能である。

【0057】

これらの判定をしていくことにより、図７に示すように、清掃済み範囲１２１と未清掃範囲１２２の判定が可能となる。その結果は、表示装置２２の清掃状況画面１２０で表示することが可能である。

【0058】

図８は、本発明の清掃状況検知システムにおける判定処理の検知の場合の一例を示す概念図である。図９は、本発明の清掃状況検知システムにおける判定処理の非検知の場合の一例を示す概念図である。

【0059】

図８と図９は、図６のＳ２０５における清掃判定処理の一例を示す。清掃が必要な範囲となる検知領域１５０について、グリッド線等によるエリアの細分化を行う。これにより、分割された複数の小領域１５１が存在することになる。小領域１５１の数は、例えば、４以上、さらには１０以上等と状況に応じて分割とするとよい。

【0060】

図８と図９の例では、清掃判定処理において、清掃方向と範囲の２つの要素で清掃を行ったか否かを判定している。すなわち、清掃道具Ｋ００１の移動方向があらかじめ設定した所定の方向の範囲内であって、小領域１５１内をすべて清掃したと判定した場合に、当該小領域１５１が清掃されたと判定される。ここで、所定の方向とは、例えば、ある方向から決まった一方向に清掃道具Ｋ００１を動かす方向等である。これらの条件は、あらかじめ設定しておくことも可能であるし、上述したＡＩによる推論処理で決めることも可能である。

【0061】

図８では、清掃道具Ｋ００１の移動方向Ｆ００１は所定の方向であって、検知小領域Ａ００１から左側の各小領域１５１はすべて清掃されている。このため、これらの領域はすべて清掃済みと判定される。これにより、画像処理装置１０は清掃したことを検知する。

【0062】

図９では、清掃道具Ｋ００１の移動方向Ｆ００１は、一定方向でなく、蛇行しているため、移動方向Ｆ００１はあらかじめ定めた条件を満たさない。このため、清掃道具Ｋ００１が通過した小領域１５１があったとしても、検知小領域Ａ００１から左側の各小領域１５１はすべて未清掃と判定される。これにより、画像処理装置１０は清掃したことを検知しない。

【0063】

（効果）
以上のように、本実施形態では、撮像装置１からの情報に基づき、清掃者の行動等を分析することにより、清掃状況を的確に把握できる。また、ＡＩによる推論処理を用いることでより正確な判定が可能となる。このとき、撮像装置１として、既存の監視カメラと共用で用いることもできるため、当該システムを安価で構築しやすいものとなる。さらに、表示装置２２の表示に基づきレポート作成を行えるので、清掃者の報告負担を軽減することができる。また、清掃状況は、表示画面１００で共有できるため、遠隔からも清掃状況の把握が可能である。このとき、未清掃箇所を表示画面１００の清掃状況画面１２０に分かりやすく表示して、把握しやすい構成を構築することが可能となる。

【0064】

さらに、図７に示したように、骨格のモデルを用いることで清掃判定処理を行いやすくできる。さらに、図８、図９に示したように、清掃方向と範囲に基づき、的確な清掃判定処理が可能となる。この場合、例えば、ウイルスを拡散しないための清掃方向等、清掃にふさわしい規定の方法であるかといったことも的確に判定可能となる。

【0065】

（実施形態の変形例）
実施形態の変形例として撮像装置１に赤外線カメラを用いて、清掃対象の表面温度を測定してもよい。表面温度は、清掃時にアルコールや水等を使用する場合、その気化熱で低下する可能性が高い。このような表面の温度変化の情報を加味して、図６のＳ２０４の特徴量の抽出やＳ２０５の清掃判定処理に用いる。この場合、清掃時における清掃対象の表面温度に関する情報を特徴量に加える等して清掃判定処理を行うことができる。これにより、より正確な清掃判定が可能となる。

【0066】

また、清掃対象の水分を測定できるセンサを用いて、水分量の情報を加味して、図６のＳ２０４の特徴量の抽出やＳ２０５の清掃判定処理に用いてもよい。この場合、清掃時に清掃対象の表面の水分量が一旦、増えて、その後、気化により減少する可能性が高い。このため、そのファクターを特徴量に加える等して清掃判定処理を行うことができる。これにより、より正確な清掃判定が可能となる。

【0067】

以上の様に、本発明の実施形態について説明してきたが、本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0068】

例えば、図１では、画像処理装置１０、画像記録装置２１、表示装置２２、印刷装置２３は、ネットワーク３０を介することを説明したが、これらは、それぞれ直接接続されていてもよい。また、画像処理装置１０と表示装置２２は一体に構成してもよい。また、これ以外に画像処理装置１０は撮像装置１内に一体に構成してもよい。

【0069】

また、図３、図４はタッチパネルによる構成を示したが、これに限らず、ボタン表示の代りに専用の操作スイッチやキーボード等で構成してもよい。

【符号の説明】

【0070】

１…撮像装置、１０…画像処理装置、１１…制御部、１２…ユーザインターフェース部、１３…レポート作成部、１４…画像判定部、１５…画像判定記録部、２１…画像記録装置、２２…表示装置、２３…印刷装置、３０…ネットワーク、１００…表示画面、１０１…清掃開始ボタン、１０２…清掃終了ボタン、１０３…撮像装置エリアボタン、１０４…清掃状況更新ボタン、１０５…レポート作成ボタン、１１１…清掃開始日時、１１２…清掃終了日時、１１３…カメラ識別情報、１１４…レポート作成日時、１２０…清掃状況画面、１２１…清掃済み範囲、１２２、１２２ａ…未清掃範囲、１５０…検知領域、１５１…小領域、３００…コンピュータシステム、３０２…プロセッサ、３０２Ａ、３０２Ｂ…処理装置、３０４…メモリ、３０６…メモリバス、３０８…Ｉ／Ｏバス、３０９…バスインターフェース、３１０…Ｉ／Ｏバスインターフェース、３１２…端末インターフェース、３１４…ストレージインターフェース、３１６…Ｉ／Ｏデバイスインターフェース、３１８…ネットワークインターフェース、３２０…ユーザＩ／Ｏデバイス、３２２…ストレージ装置、３２４…表示システム、３２６…表示装置、３３０…ネットワーク、３５０…アプリケーション、Ａ００１…検知小領域、Ｃ００１…清掃者、Ｆ００１…移動方向、Ｋ００１…清掃道具

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】