IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ナカヨの特許一覧

特開2024-117669業務監視装置、及び、これを有する業務監視システム、業務監視方法、コンピュータプログラム
<>
  • 特開-業務監視装置、及び、これを有する業務監視システム、業務監視方法、コンピュータプログラム 図1
  • 特開-業務監視装置、及び、これを有する業務監視システム、業務監視方法、コンピュータプログラム 図2
  • 特開-業務監視装置、及び、これを有する業務監視システム、業務監視方法、コンピュータプログラム 図3
  • 特開-業務監視装置、及び、これを有する業務監視システム、業務監視方法、コンピュータプログラム 図4
  • 特開-業務監視装置、及び、これを有する業務監視システム、業務監視方法、コンピュータプログラム 図5
  • 特開-業務監視装置、及び、これを有する業務監視システム、業務監視方法、コンピュータプログラム 図6
  • 特開-業務監視装置、及び、これを有する業務監視システム、業務監視方法、コンピュータプログラム 図7
  • 特開-業務監視装置、及び、これを有する業務監視システム、業務監視方法、コンピュータプログラム 図8
  • 特開-業務監視装置、及び、これを有する業務監視システム、業務監視方法、コンピュータプログラム 図9
  • 特開-業務監視装置、及び、これを有する業務監視システム、業務監視方法、コンピュータプログラム 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024117669
(43)【公開日】2024-08-29
(54)【発明の名称】業務監視装置、及び、これを有する業務監視システム、業務監視方法、コンピュータプログラム
(51)【国際特許分類】
   G06Q 10/0639 20230101AFI20240822BHJP
   G06T 7/20 20170101ALI20240822BHJP
   G06T 7/246 20170101ALI20240822BHJP
   G06V 10/34 20220101ALI20240822BHJP
   G06V 20/52 20220101ALI20240822BHJP
   G06V 40/20 20220101ALI20240822BHJP
   G06V 10/62 20220101ALI20240822BHJP
   H04N 7/18 20060101ALI20240822BHJP
【FI】
G06Q10/0639
G06T7/20 300A
G06T7/246
G06V10/34
G06V20/52
G06V40/20
G06V10/62
H04N7/18 D
H04N7/18 K
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2023023890
(22)【出願日】2023-02-19
(71)【出願人】
【識別番号】000134707
【氏名又は名称】株式会社ナカヨ
(74)【代理人】
【識別番号】100144358
【弁理士】
【氏名又は名称】藤掛 宗則
(72)【発明者】
【氏名】井上 隆
(72)【発明者】
【氏名】三浦 良太
(72)【発明者】
【氏名】出貝 賢一
(72)【発明者】
【氏名】村上 直人
(72)【発明者】
【氏名】南本 勲
(72)【発明者】
【氏名】渋谷 義幸
【テーマコード(参考)】
5C054
5L010
5L049
5L096
【Fターム(参考)】
5C054CA04
5C054CC02
5C054FC12
5C054FC13
5C054GB15
5C054HA18
5L010AA06
5L049AA06
5L096BA02
5L096FA12
5L096FA19
5L096HA04
5L096HA05
5L096HA07
(57)【要約】
【課題】カメラの設置位置やテレワーカが身に着けているものによる影響を低減し、在席中であるか否か、業務中であるか否かを精度高く検知することができる業務監視装置を提供する。
【解決手段】業務監視装置100は、テレワーカ500が業務を行うテレワーク空間400を撮像したテレワーク空間画像を取得する画像取得部10、テレワーカを一意に特定するための骨格点をテレワーカ情報として記憶する記憶部60、テレワーク空間画像から骨格点を検知する画像解析部20(骨格点検知部22)を有する。また、テレワーカ情報と骨格点の検知結果とに基づいて、テレワーク空間400内に監視の対象のテレワーカ500が存在するか否かを判定するテレワーカ判定部40、監視の対象のテレワーカ500が存在すると判定した場合、検知した骨格点に基づいて、当該テレワーカ500が業務中であるか否かを判定する業務判定部50を有する。
【選択図】図2
【特許請求の範囲】
【請求項1】
テレワーク中の従業者などのテレワーカの動態を監視する業務監視装置であって、
前記テレワーカが業務を行うテレワーク空間を撮像したテレワーク空間画像を取得する取得手段と、
前記監視の対象のテレワーカを一意に特定するために当該テレワーカの骨格点をテレワーカ情報として記憶する記憶手段と、
前記テレワーク空間画像から前記骨格点を検知する検知手段と、
前記テレワーカ情報と前記検知手段の検知結果とに基づいて、前記テレワーク空間内に前記監視の対象のテレワーカが存在するか否かを判定する第1の判定手段と、
前記第1の判定手段が前記監視の対象のテレワーカが存在すると判定した場合、前記テレワーク空間画像から前記検知手段が検知した前記テレワーカの骨格点に基づいて、当該テレワーカが業務中であるか否かを判定する第2の判定手段と、を有することを特徴とする、
業務監視装置。
【請求項2】
前記第1の判定手段は、前記テレワーク空間内に前記監視の対象のテレワーカが存在する場合、さらに当該テレワーカが在席中であるか否かを判定し、
前記第2の判定手段は、前記第1の判定手段が前記監視の対象のテレワーカが在席中であると判定した場合、前記検知手段が検知した前記テレワーカの骨格点に基づいて当該テレワーカが業務中であるか否かを判定することを特徴とする、
請求項1に記載の業務監視装置。
【請求項3】
前記第2の判定手段は、前記検知手段が検知した前記テレワーカの腕の骨格点に基づいて当該テレワーカが業務中であるか否かを判定することを特徴とする、
請求項1又は2に記載の業務監視装置。
【請求項4】
前記テレワーカの腕の骨格点は、少なくとも手首の骨格点、肘の骨格点、肩の骨格点であり、
前記第2の判定手段は、それぞれの骨格点の位置に基づいて当該テレワーカの腕が水平方向に伸びていると判定し、且つ、前記手首の骨格点、前記肘の骨格点、前記肩の骨格点のいずれにおいても移動がないと判定した場合、当該テレワーカは業務外であると判定することを特徴とする、
請求項3に記載の業務監視装置。
【請求項5】
前記テレワーカの腕の骨格点は、少なくとも手首の骨格点、肘の骨格点、肩の骨格点であり、
前記第2の判定手段は、前記手首の骨格点、前記肘の骨格点、前記肩の骨格点のうち少なくとも一つが一定のリズムで反復移動していると判定した場合、当該テレワーカは業務外であると判定することを特徴とする、
請求項3に記載の業務監視装置。
【請求項6】
前記第2の判定手段は、所定の時間における前記検知手段が検知する前記テレワーカの腕の骨格点の移動に応じて当該テレワーカが行う操作の種別を特定しこの特定結果に応じて業務中であるか否かを判定することを特徴とする、
請求項3に記載の業務監視装置。
【請求項7】
前記テレワーカの腕の骨格点は、少なくとも手首の骨格点、肘の骨格点、肩の骨格点であり、
前記第2の判定手段は、それぞれの骨格点の位置に基づいて当該テレワーカの腕が水平方向に伸びていると判定し、且つ、当該水平方向に対して少なくとも前記手首の骨格点が上下方向に移動があると判定した場合、当該テレワーカは第1のデバイスを操作する業務中であると判定することを特徴とする、
請求項6に記載の業務監視装置。
【請求項8】
前記テレワーカの腕の骨格点は、少なくとも手首の骨格点、肘の骨格点、肩の骨格点であり、
前記第2の判定手段は、それぞれの骨格点の位置に基づいて当該テレワーカの腕が水平方向に伸びていると判定し、且つ、当該水平方向に略並行に少なくとも前記手首の骨格点が前後左右方向に移動があると判定した場合、当該テレワーカは第2のデバイスを操作する業務中であると判定することを特徴とする、
請求項6に記載の業務監視装置。
【請求項9】
前記テレワーカの腕の骨格点は、少なくとも手首の骨格点、肘の骨格点、肩の骨格点であり、
前記第2の判定手段は、前記テレワーカの一方の手首の骨格点に移動が無く、当該テレワーカの他方の手首の骨格点が前後左右方向に移動があると判定した場合、当該テレワーカは第3のデバイスを操作しており業務外であると判定することを特徴とする、
請求項6に記載の業務監視装置。
【請求項10】
前記テレワーカの腕の骨格点は、少なくとも手首の骨格点、肘の骨格点、肩の骨格点であり、
前記第2の判定手段は、前記テレワーカの一方の手首の骨格点に移動が無く、当該テレワーカの他方の手首の骨格点が左右方向にのみ移動があると判定した場合、当該テレワーカは前記第3のデバイスを操作しており業務外であると判定することを特徴とする、
請求項6に記載の業務監視装置。
【請求項11】
テレワーク中の従業者などのテレワーカの動態を監視する業務監視方法であって、
前記テレワーカが業務を行うテレワーク空間を撮像したテレワーク空間画像を取得する工程と、
前記監視の対象のテレワーカを一意に特定するために当該テレワーカの骨格点をテレワーカ情報として記憶する工程と、
前記テレワーク空間画像から前記骨格点を検知する工程と、
前記テレワーカ情報と前記骨格点を検知する工程の検知結果とに基づいて、前記テレワーク空間内に前記監視の対象のテレワーカが存在するか否かを判定する第1の判定工程と、
前記第1の判定工程において前記監視の対象のテレワーカが存在すると判定した場合、前記テレワーク空間画像から検知した前記テレワーカの骨格点に基づいて、当該テレワーカが業務中であるか否かを判定する第2の判定工程と、を有することを特徴とする、
業務監視方法。
【請求項12】
コンピュータを、テレワーク中の従業者などのテレワーカの動態を監視する業務監視装置として機能させるコンピュータプログラムであって、
前記コンピュータを、
前記テレワーカが業務を行うテレワーク空間を撮像したテレワーク空間画像を取得する取得手段、
前記監視の対象のテレワーカを一意に特定するために当該テレワーカの骨格点をテレワーカ情報として記憶する記憶手段、
前記テレワーク空間画像から前記骨格点を検知する検知手段、
前記テレワーカ情報と前記検知手段の検知結果とに基づいて、前記テレワーク空間内に前記監視の対象のテレワーカが存在するか否かを判定する第1の判定手段、
前記第1の判定手段が前記監視の対象のテレワーカが存在すると判定した場合、前記テレワーク空間画像から前記検知手段が検知した前記テレワーカの骨格点に基づいて、当該テレワーカが業務中であるか否かを判定する第2の判定手段、として機能させることを特徴とする、
コンピュータプログラム。
【請求項13】
テレワーク中の従業者などのテレワーカの動態を監視する業務監視装置と、監視結果を管理する管理サーバとを有する業務監視システムであって、
前記業務監視装置は、
前記テレワーカが業務を行うテレワーク空間を撮像したテレワーク空間画像を取得する取得手段と、
前記監視の対象のテレワーカを一意に特定するために当該テレワーカの骨格点をテレワーカ情報として記憶する記憶手段と、
前記テレワーク空間画像から前記骨格点を検知する検知手段と、
前記テレワーカ情報と前記検知手段の検知結果とに基づいて、前記テレワーク空間内に前記監視の対象のテレワーカが存在するか否かを判定する第1の判定手段と、
前記第1の判定手段が前記監視の対象のテレワーカが存在すると判定した場合、前記テレワーク空間画像から前記検知手段が検知した前記テレワーカの骨格点に基づいて、当該テレワーカが業務中であるか否かを判定する第2の判定手段と、を有し、
前記管理サーバは、
一又は複数の前記業務監視装置とネットワークを介して情報の授受が可能に接続され、接続された業務監視装置の前記第2の判定手段の判定結果を前記テレワーカ毎に管理する管理手段を有することを特徴とする、
業務監視システム。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、テレワーク中の従業員(以下、テレワーカと称する場合もある)の業務を監視する技術に関し、特に骨格検出・姿勢推定技術によるテレワーカの監視技術に関する。
【背景技術】
【0002】
例えば、テレワーク中の従業員などのテレワーカを監視する技術として特許文献1に開示された技術がある。具体的には、撮影された映像からテレワーカである従業員の顔の位置を検知して顔認証によって当該テレワーカが在席しているか離席しているか在席状況を検出する。検出された在席状況に基づいて、テレワーカが在席していた時間帯および離席していた時間帯を算出し、予め記憶しておいたテレワーカの「勤務中」の時間帯、及び、「勤務外」の時間帯を比較表示する、というものである。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2022-9248号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら特許文献1に開示された技術では、顔認証を行うためにはカメラが顔全体を映し、マスクなどで隠していない状態である必要があり、マスクをしたまま在席すると顔認証に失敗して離席状態となるという問題が残る。また、たとえ認証できたとしても、在席していれば仕事をしていなくても「勤務中」扱いとなってしまう、という課題が残る。
【0005】
本発明は、上記課題に鑑みてなされたものであり、カメラの設置位置やテレワーカが身に着けているものによる影響を低減し、在席中であるか否か、業務中であるか否かを精度高く検知することができる業務監視装置を提供することを、主たる課題とする。また、これを有する業務監視システム、業務監視方法、コンピュータプログラムを提供する。
【課題を解決するための手段】
【0006】
上記課題を解決する本発明は、テレワーク中の従業者などのテレワーカの動態を監視する業務監視装置であって、前記テレワーカが業務を行うテレワーク空間を撮像したテレワーク空間画像を取得する取得手段と、前記監視の対象のテレワーカを一意に特定するために当該テレワーカの骨格点をテレワーカ情報として記憶する記憶手段と、前記テレワーク空間画像から前記骨格点を検知する検知手段と、前記テレワーカ情報と前記検知手段の検知結果とに基づいて、前記テレワーク空間内に前記監視の対象のテレワーカが存在するか否かを判定する第1の判定手段と、前記第1の判定手段が前記監視の対象のテレワーカが存在すると判定した場合、前記テレワーク空間画像から前記検知手段が検知した前記テレワーカの骨格点に基づいて、当該テレワーカが業務中であるか否かを判定する第2の判定手段と、を有することを特徴とする。
【0007】
また、本発明はテレワーク中の従業者などのテレワーカの動態を監視する業務監視方法であって、前記テレワーカが業務を行うテレワーク空間を撮像したテレワーク空間画像を取得する工程と、前記監視の対象のテレワーカを一意に特定するために当該テレワーカの骨格点をテレワーカ情報として記憶する工程と、前記テレワーク空間画像から前記骨格点を検知する工程と、前記テレワーカ情報と前記骨格点を検知する工程の検知結果とに基づいて、前記テレワーク空間内に前記監視の対象のテレワーカが存在するか否かを判定する第1の判定工程と、前記第1の判定工程において前記監視の対象のテレワーカが存在すると判定した場合、前記テレワーク空間画像から検知した前記テレワーカの骨格点に基づいて、当該テレワーカが業務中であるか否かを判定する第2の判定工程と、を有することを特徴とする。
【0008】
また、本発明はコンピュータを、テレワーク中の従業者などのテレワーカの動態を監視する業務監視装置として機能させるコンピュータプログラムであって、前記コンピュータを、前記テレワーカが業務を行うテレワーク空間を撮像したテレワーク空間画像を取得する取得手段、前記監視の対象のテレワーカを一意に特定するために当該テレワーカの骨格点をテレワーカ情報として記憶する記憶手段、前記テレワーク空間画像から前記骨格点を検知する検知手段、前記テレワーカ情報と前記検知手段の検知結果とに基づいて、前記テレワーク空間内に前記監視の対象のテレワーカが存在するか否かを判定する第1の判定手段、前記第1の判定手段が前記監視の対象のテレワーカが存在すると判定した場合、前記テレワーク空間画像から前記検知手段が検知した前記テレワーカの骨格点に基づいて、当該テレワーカが業務中であるか否かを判定する第2の判定手段、として機能させることを特徴とする。
【0009】
また、本発明はテレワーク中の従業者などのテレワーカの動態を監視する業務監視装置と、監視結果を管理する管理サーバとを有する業務監視システムであって、前記業務監視装置は、前記テレワーカが業務を行うテレワーク空間を撮像したテレワーク空間画像を取得する取得手段と、前記監視の対象のテレワーカを一意に特定するために当該テレワーカの骨格点をテレワーカ情報として記憶する記憶手段と、前記テレワーク空間画像から前記骨格点を検知する検知手段と、前記テレワーカ情報と前記検知手段の検知結果とに基づいて、前記テレワーク空間内に前記監視の対象のテレワーカが存在するか否かを判定する第1の判定手段と、前記第1の判定手段が前記監視の対象のテレワーカが存在すると判定した場合、前記テレワーク空間画像から前記検知手段が検知した前記テレワーカの骨格点に基づいて、当該テレワーカが業務中であるか否かを判定する第2の判定手段と、を有し、前記管理サーバは、一又は複数の前記業務監視装置とネットワークを介して情報の授受が可能に接続され、接続された業務監視装置の前記第2の判定手段の判定結果を前記テレワーカ毎に管理する管理手段を有することを特徴とする。
【発明の効果】
【0010】
本発明によれば、カメラの設置位置やテレワーカが身に着けているものによる影響を低減し、在席中であるか否か、業務中であるか否かを精度高く検知することができる業務監視装置を提供することができる。また、これを有する業務監視システム、業務監視方法、コンピュータプログラムを提供することができる。
【図面の簡単な説明】
【0011】
図1】本実施形態に係る業務監視システムの全体構成の一例を説明するための図。
図2】業務監視装置の機能構成の一例を説明するためのブロック図。
図3】(a)、(b)は、テレワーカを一意に特定するための骨格点の一例を説明するための模式図。
図4】テレワーカの特定及び在席中であるか否かを判定する際のテレワーク空間画像の画像解析の一例を説明するための模式図。
図5】管理サーバの機能構成の一例を説明するためのブロック図。
図6】(a)、(b)は、テレワーカが業務中であるか否かを判定する際の画像解析結果の一例を説明するための模式図。
図7】テレワーカが業務中でない場合の画像解析結果の一例を説明するための模式図。
図8】(a)、(b)は図6とは異なる、テレワーカが業務中であるか否かを判定する際の画像解析結果の一例を説明するための模式図。
図9】業務監視装置が実行する処理手順の一例を示すフローチャート。
図10】業務監視装置の判定結果の表示例を説明するための図。
【発明を実施するための形態】
【0012】
以下、本発明をテレワーク中の従業員(以下、テレワーカと称する場合もある)の業務を監視する業務監視システム(業務監視装置)として適用した場合を例に挙げて、図面を参照しながら実施形態を説明する。
【0013】
[実施形態例]
図1は、本実施形態に係る業務監視システムSの全体構成の一例を説明するための図である。
業務監視システムSは、業務監視装置100、カメラ200、管理サーバ300を含んで構成される。なお、業務監視装置100とカメラ200は有線又は無線にて相互に情報の授受が可能に接続される。また、業務監視装置100と管理サーバ300はネットワークNを介して相互に情報の授受が可能に接続される。
なお、上記説明した接続構成は一例でありこの構成に限定されるものではない。
【0014】
図1に示す業務監視装置100は、カメラ200が撮像した撮像データ(撮像結果)を取得し、取得した撮像データに基づいてテレワーカ500が業務中であるか否かを判定する機能を有する。なお、業務監視装置100の構成の詳細は後述する。
【0015】
図1に示すカメラ200は、テレワーカ500が業務を行う空間(領域あるいは範囲)であるテレワーク空間(図4に示すテレワーク空間400)を撮像する。以下、撮像結果をテレワーク空間画像と称し、このテレワーク空間画像によって特定される領域が監視対象の領域になる。
なお、テレワーク空間画像は連続する映像の一場面(フレーム)毎に、後述する画像解析部20(骨格点検知部22)により解析が行われる。
このようにカメラ200は、テレワーカ500が業務を行うテレワーク空間400をテレワーク空間画像として撮像する撮像手段として機能する。
【0016】
管理サーバ300は、業務監視装置100による判定結果等をネットワークNを介して取得し、取得したデータを管理する。また、管理サーバ300は、監視対象のテレワーカ毎に設置された複数の業務監視装置それぞれの判定結果等をネットワークNを介して取得し、取得したデータを監視対象のテレワーカ毎に管理するように構成することもできる。なお、業務監視装置100の構成の詳細は後述する。
このように管理サーバ300は、業務監視装置100による判定結果をテレワーカ毎に管理する管理手段として機能する。
【0017】
なお、管理サーバ300をパソコン(マウス、キーボード)またはタッチパネルを備えたデバイス(スマートフォン、タブレット)を用いて構成し、業務管理者が監視対象のエリア(テレワーク空間画像400)の設定などの設定操作が行えるように構成しても良い。
また、業務監視装置100及びカメラ200の動作を制御することが可能に構成することもできる。例えば、管理サーバ300から発出された業務判定要求に応じて業務監視装置100及びカメラ200の動作を制御するなどである。
【0018】
図2は、業務監視装置100の機能構成の一例を説明するためのブロック図である。
業務監視装置100は、画像取得部10、画像解析部20、骨格点検知部22、IF(インタフェース)30、テレワーカ判定部40、業務判定部50、記憶部(データベース)60、主制御部90を有する。なお、業務監視装置100が有する各機能部の構成の詳細は後述する。
【0019】
図3は、テレワーカを一意に特定する骨格点の一例を説明するための模式図である。
図3(a)、(b)に示すテレワーカ500の骨格点(関節点)は、撮像方向に対してテレワーカ500が正対した状態の一例であり、骨格点(関節点)a1、a2はテレワーカ500の手首の骨格点、骨格点(関節点)b1、b2はテレワーカ500の肘の骨格点である。また、骨格点(関節点)c1、c2はテレワーカの肩の骨格点、骨格点(関節点)dはテレワーカの頭部の骨格点、骨格点(関節点)e1、e2はテレワーカの腰の骨格点、骨格点(関節点)f1、f2はテレワーカの膝の骨格点などである。
【0020】
なお、骨格(骨格点)検知技術・姿勢推定技術は、映像の中から人物の骨格や姿勢を推定する技術として知られている。例えば、映像や静止画像からリアルタイムに人物の骨格点(関節点)を検出し、人物を特定したり、その時の人物の姿勢を検出したりする深層学習アルゴリズム(骨格検知アルゴリズム)などを利用することができる。
【0021】
例えば図3(a)に示すように、撮像方向に対して正対した状態で各骨格点間の位置関係を示す情報、図3(b)に示すように特定の姿勢にて各骨格点間の位置関係を示す情報などテレワーカ500を一意に特定するための骨格点の情報(以下、テレワーカ情報と称する場合もある)を記憶部(データベース)60に記憶する。
例えば管理者は、テレワーカ500の骨格点を画像解析部20の骨格点検知部22を介して取得し、取得した骨格点の情報をテレワーカ情報として記憶部(データベース)60に記憶する。
【0022】
図4は、テレワーカの特定及び在席中であるか否かを判定する際のテレワーク空間画像の画像解析の一例を説明するための模式図である。
テレワーク空間画像を画像解析することで、図4に示すテレワーク空間400内に含まれる骨格点を特定する。図4に示す例では、手首の骨格点(関節点)a1、a2、肘の骨格点(関節点)b1、b2、肩の骨格点(関節点)c1、c2、頭部の骨格点(関節点)d、腰の骨格点(関節点)e1、e2、膝の骨格点(関節点)f1、f2が特定されている。
【0023】
テレワーク空間画像を画像解析し特定した各骨格点と、記憶部(データベース)60に記憶されたテレワーカ情報とを比較する。比較した結果が一致あるいは所定の割合で一致(例えば、一致率90[%]など)する場合、テレワーク空間400内のテレワーカは監視対象のテレワーカ500であると特定することができる。
これによりテレワーク空間400内のテレワーカが監視対象のテレワーカ500であるか否か、つまりテレワーク空間400内に監視対象のテレワーカ500が存在するか否かを特定することができる。
【0024】
なお、テレワーク空間400内においてテレワーカが立っている場合、テレワーカが着座している場合、また、撮像方向に対してテレワーカが正対している場合、撮像方向に対してテレワーカが斜めに対峙している場合など様々なケースがある。
これらのケースに応じて、予め記憶部(データベース)60に記憶するテレワーカ情報もこれらのケースを想定した種々の骨格点の情報を記憶しておくことでテレワーカの特定精度を高めることができる。
【0025】
また、テレワーク空間400内にテレワーカ500が存在している場合、テレワーカ500が在席中であるか否を特定するように構成することもできる。これは、テレワークの場合には着座姿勢で机上で業務を行うとことが一般的である。そのため、仮にテレワーク空間400内にテレワーカ500が存在していてもテレワーカ500が立っている場合には業務中ではないと特定する必要があるためである。
【0026】
例えば、図4に示すテレワーク空間400におけるテレワーカ500の腰の骨格点(関節点)e1、e2と膝の骨格点(関節点)f1、f2との距離に着目し、テレワーカ500が立った状態のときの腰の骨格点(関節点)e1、e2と膝の骨格点(関節点)f1、f2との距離と比較して、骨格点(関節点)e1、e2と膝の骨格点(関節点)f1、f2との距離が相対的に短い場合、テレワーカ500が在席している、つまり着座していると特定することができる。
また、テレワーカ500の腰の骨格点(関節点)e1、e2と膝の骨格点(関節点)f1、f2と肩の骨格点(関節点)c1、c2で形成される角度に着目してテレワーカ500が在席している、つまり着座していると特定することもできる。
【0027】
このようにテレワーク空間400内にテレワーカ500が存在し、且つ、テレワーカ500が在席していることを前提に、テレワーカ500が業務中であるか否かを特定するように構成することもできる。これによりテレワーカ500が業務中であるか否かの判定精度をより高めることが可能になる。
なお、テレワーク空間画像上における骨格点の検知は、主として画像解析部20の骨格点検知部22により実行される。
以下、業務監視装置100の機能構成の詳細を説明する。
【0028】
画像取得部10は、カメラ200が撮像したテレワーク空間画像を取得する。
このように画像取得部10は、テレワーカ500が業務を行う空間(テレワーク空間400)を撮像したテレワーク空間画像を取得する取得手段として機能する。
【0029】
画像解析部20は骨格点検知部22を有する。画像解析部20は、画像取得部10を介して取得したテレワーク空間画像を解析する。画像解析部20によるテレワーク空間画像400の解析では、骨格点検知部22を介して、テレワーク空間画像上の骨格点(関節点)を検知する処理を実行する。
このように画像解析部20(骨格点検知部22)は、テレワーク空間画像400から骨格点(関節点)を検知する検知手段として機能する。
【0030】
IF(インタフェース)30は、業務監視装置100が有する各機能部間において各種情報の授受を管理する。またIF(インタフェース)30は、ネットワークNを介して接続された外部機器との情報の授受を管理する。
【0031】
テレワーカ判定部40は、記憶部(データベース)60に記憶されたテレワーカ情報と画像解析部20(骨格点検知部22)の検知結果に基づいて、テレワーク空間400内に監視の対象のテレワーカ500が存在するか否かを判定する。
このようにテレワーカ判定部40は、テレワーク空間400内に監視の対象のテレワーカ500が存在するか否かを判定する第1の判定手段として機能する。
【0032】
なお、テレワーカ判定部40を、テレワーク空間400内に監視の対象のテレワーカ500が存在する場合、さらにテレワーカ500が在席中であるか否かを判定するように構成することもできる。これにより、先述したように着座姿勢で机上で業務を行うテレワークである場合、テレワーカ500が業務中であるか否かの判定精度をより高めることが可能になる。
【0033】
なお、テレワーカ500が業務中であるか否かの判定をする前提として、テレワーク空間400内に監視の対象のテレワーカ500が存在すれば良いか、あるいはテレワーカ500が在席中であることまでを求めるかは業務内容等を勘案して任意に設定することができる。
【0034】
業務判定部50は、テレワーカ判定部40が監視の対象のテレワーカがテレワーク空間400内に存在すると判定した場合、テレワーク空間画像から画像解析部20(骨格点検知部22)が検知したテレワーカ500の骨格点に基づいて、テレワーカ500が業務中であるか否かを判定する。
このように業務判定部50は、テレワーカ500が業務中であるか否かを判定する第2の判定手段として機能する。
【0035】
記憶部(データベース)60は、業務監視装置100の機能部を介して設定された各種設定情報、判定結果などの処理の結果を記憶する。
このように記憶部(データベース)60は、各種設定情報、判定結果などを一時的又は恒久的に記憶する記憶手段として機能する。
【0036】
主制御部90は、例えばカメラ200、管理サーバ300とのデータ送受信、また、業務監視装置100が有する各機能部の動作を統括的に制御する。
なお、主制御部90は、業務監視装置100に実装されるプロセッサ及び内部メモリを有するコンピュータ装置のハードウエア資源と所定のコンピュータプログラムとの協働により実現される。また、業務監視装置100は、例えば年月日と時間を表す時刻データと制御動作の同期クロックとを出力するRTC(Real Time Clock)モジュールを有する。
このように主制御部90は、業務監視装置100の動作を統括的に制御する制御手段として機能する。
【0037】
図5は、管理サーバ300の機能構成の一例を説明するためのブロック図である。
管理サーバ300は、時刻管理部301、データ管理部302、IF(インタフェース)303を有する。
なお管理サーバ300は、一又は複数の業務監視装置100とネットワークNを介して情報の授受が可能に接続することもできる。
【0038】
時刻管理部301は、例えば年月日と時間を表す時刻データと制御動作の同期クロックとを出力するRTC(Real Time Clock)モジュールである。
【0039】
データ管理部302は、ネットワークNを介して情報の授受が可能に接続された業務監視装置100の業務判定部50の判定結果を受け付け、受け付けた判定結果をテレワーカ毎に管理し記憶する。
このようにデータ管理部302は、業務監視装置100の業務判定部50の判定結果を管理する管理手段として機能する。
【0040】
IF(インタフェース)303は、管理サーバ300が有する各機能部間において各種情報の授受を管理する。またIF(インタフェース)303は、ネットワークNを介して接続された外部機器との情報の授受を管理する。
【0041】
図2の説明に戻り、記憶部(データベース)60には、テレワーカが業務中であるか否かを判定するための各種情報が記憶される。
テレワーカが業務中であるか否かを判定するための各種情報(骨格点情報)の詳細について以下説明する。
【0042】
なお本実施形態では、テレワーク空間画像から画像解析部20(骨格点検知部22)が検知したテレワーカ500の腕の骨格点、特に手首の骨格点a1、a2、肘の骨格点b1、b2、肩の骨格点c1、c2に基づいて、業務判定部50によりテレワーカ500が業務中であるか否かの判定する場合を例に挙げて説明する。
具体的には、所定の時間(例えば5[秒])における画像解析部20(骨格点検知部22)が検知するテレワーカ500の腕の骨格点の移動に応じて業務判定部50がテレワーカ500が行う操作の種別(業務内容)を特定し、この特定結果に応じてテレワーカ500が業務中であるか否かを判定する場合について説明する。
【0043】
図6は、テレワーカ500が業務中であるか否かを判定する際の画像解析結果の一例を説明するための模式図である。
なお、図6ではテレワーカ500が水平に載置された机600上で各種業務を行うものとし、机600を含むテレワーカ500が業務を行うテレワーク空間をカメラ200が撮像するものとして説明を進める。また、図6中の破線矢印は、テレワーカ500の手首の骨格点a1、a2の移動(移動方向)を示している。
【0044】
図6(a)では、テレワーカ500の腕の骨格点は、少なくとも手首の骨格点a1、a2、肘の骨格点b1、b2、肩の骨格点c1、c2が検知されていることが見て取れる。
また、テレワーカ500の手首の骨格点a1、a2の移動(移動方向)は、机600上を上下する方向に移動していることが見て取れる。
【0045】
業務判定部50は、図6(a)に示す状態では、それぞれの骨格点の位置に基づいてテレワーカ500の腕が水平方向に伸びていると判定し、且つ、水平方向に対して少なくとも手首の骨格点a1、a2が上下方向に移動があると判定する。この場合業務判定部50は、テレワーカ500はキーボード等のデバイス(第1のデバイス)を操作する業務中であると判定する。
【0046】
図6(b)では、テレワーカ500の腕の骨格点は、少なくとも手首の骨格点a1、a2、肘の骨格点b1、b2、肩の骨格点c1、c2が検知されたことが見て取れる。
また、テレワーカ500の手首の骨格点a1、a2の移動(移動方向)は、机600上を前後左右方向に移動していることが見て取れる。
【0047】
業務判定部50は、図6(b)に示す状態では、それぞれの骨格点の位置に基づいてテレワーカ500の腕が水平方向に伸びていると判定し、且つ、水平方向に略並行に少なくとも手首の骨格点a1、a2が前後左右方向に移動があると判定する。この場合業務判定部50は、テレワーカ500はマウス等のデバイス(第2のデバイス)を操作する業務中であると判定する。
【0048】
図7は、テレワーカ500が業務中でない場合の画像解析結果の一例を説明するための模式図である。なお、図7ではテレワーカ500が机600上で各種業務を行うものとし、机600を含むテレワーカ500が業務を行うテレワーク空間をカメラ200が撮像するものとして説明を進める。
【0049】
図7では、テレワーカ500の腕の骨格点は、少なくとも手首の骨格点a1、a2、肘の骨格点b1、b2、肩の骨格点c1、c2が検知されたことが見て取れる。なお、テレワーカ500の手首の骨格点a1、a2など骨格点の移動がない、つまり無操作であることが見て取れる。
【0050】
業務判定部50は、図7に示す状態では、それぞれの骨格点の位置に基づいてテレワーカ500の腕が水平方向に伸びていると判定し、且つ、手首の骨格点a1、a2、肘の骨格点b1、b2、肩の骨格点c1、c2のいずれにおいても移動がない、つまり無操作であると判定する。この場合業務判定部50は、テレワーカ500は業務外であると判定する。例えばテレワーカ500が机600に伏せて寝ている状態であればこのような判定結果になる。
【0051】
さらに、テレワーカ500がうたた寝をして胴体が前後左右にふらついているとする。このような場合業務判定部50は、例えば手首の骨格点a1、a2、肘の骨格点b1、b2、肩の骨格点c1、c2のうち少なくとも手首、肘、肩の骨格点の一つが一定のリズムで反復移動(左右方向に繰り返し、あるいは前後方向に繰り返しするなど)していると判定し、テレワーカ500は業務外であると判定する。
【0052】
図8は、図6とは異なる、テレワーカ500が業務中であるか否かを判定する際の画像解析結果の一例を説明するための模式図である。
なお、図8ではテレワーカ500がタブレットPCやスマートフォンなどのデバイス700(第3のデバイス)の入力・表示画面を操作するものとし、第3のデバイスの入力・表示画面を含むテレワーカ500が業務を行うテレワーク空間をカメラ200が撮像するものとして説明を進める。
また、図8中の破線矢印は、テレワーカ500が右利きである場合の手首の骨格点a1の移動(移動方向)を示している。なお、テレワーカ500が左利きである場合には注目する手首の骨格点を骨格点a2としても良い。
【0053】
図8(a)では、テレワーカ500の腕の骨格点は、少なくとも手首の骨格点a1、a2、肘の骨格点b1、b2、肩の骨格点c1、c2が検知されていることが見て取れる。
また、テレワーカ500の手首の骨格点a2の移動(移動方向)は、デバイス700上を上下方向に移動していることが見て取れる。
【0054】
業務判定部50は、図8(a)に示す状態では、テレワーカ500の一方の手首の骨格点a2に移動が無く、他方の当該テレワーカの手首の骨格点a1にのみ上下方向に移動があると判定する。この場合業務判定部50は、テレワーカ500はデバイス700の操作をしており業務外であると判定する。
【0055】
図8(b)では、テレワーカ500の腕の骨格点は、少なくとも手首の骨格点a1、a2、肘の骨格点b1、b2、肩の骨格点c1、c2が検知されていることが見て取れる。
また、テレワーカ500の手首の骨格点a1の移動(移動方向)は、デバイス700上を左右方向に移動していることが見て取れる。
【0056】
業務判定部50は、図8(a)に示す状態では、テレワーカ500の一方の手首の骨格点a2に移動が無く、他方の当該テレワーカの手首の骨格点a1にのみ左右方向に移動があると判定する。この場合業務判定部50は、テレワーカ500はデバイス700の操作をしており業務外であると判定する。
【0057】
このようにテレワーカ500の腕の骨格点、特に手首の骨格点a1、a2、肘の骨格点b1、b2、肩の骨格点c1、c2に基づいてテレワーカ500が業務中であるか否かを判定することができる。
また、所定の時間(例えば5[秒])におけるテレワーカ500の腕の骨格点の移動に応じてテレワーカ500が行う操作の種別(業務内容)を特定し、この特定結果に応じてテレワーカ500が業務中であるか否かを判定することができる。
なお、これらの判定に必要な種々の骨格点の情報は予め記憶部(データベース)60に記憶しておく。また、腕の骨格点は上記したものに限るものではなく、判定精度と処理の負荷、機器の性能などに応じてバランスするように任意に設定することができる。
【0058】
図8は、業務監視装置100が実行する処理の処理手順の一例を示すフローチャートである。なお、図8に示す各処理は、主として主制御部90の制御により実行される。
また、テレワーク空間400内に監視の対象のテレワーカ500が存在する場合、さらにテレワーカ500が在席中であるか否かを判定するように構成した場合を例に挙げて説明する。
【0059】
業務監視装置100は、管理者の指示に基づいて、画像取得部10を介してテレワーク空間画像を取得する。(S101)。なお、取得したテレワーク空間画像は記憶部(データベース)60に記憶される。
【0060】
業務監視装置100は、画像解析部20(骨格点検知部22)を介して、取得したテレワーク空間画像から骨格点を検知する(S102)。骨格点が検知された場合(S102:Yes)、業務監視装置100は、テレワーカ判定部40を介して、テレワーク空間400内にテレワーカ500が存在するか否か、テレワーカ500が在席中であるか否かを判定する(S103)。業務監視装置100は、テレワーク空間400内にテレワーカ500が存在しない、あるいはテレワーカ500が在席中でないと判定した場合(S103:No)、ステップS102の処理に戻る。
【0061】
業務監視装置100は、テレワーカ500が在席中である判定した場合(S103:Yes)、画像解析部20(骨格点検知部22)を介して、所定の時間におけるテレワーカ500の腕の骨格点の移動を記録する(S104)。なお、記録内容は記憶部(データベース)60に記憶される。
【0062】
業務監視装置100は、業務判定部50を介して、テレワーカ500が第1のデバイスを操作しているか否かを判定する(S105)。操作していると判定した場合(S105:Yes)、業務監視装置100は、テレワーカ500は業務中であると判定する(S110)。業務監視装置100は、この判定結果を管理サーバ300に送信する(S112)。
【0063】
また、そうでない場合(S105:No)、業務監視装置100は業務判定部50を介して、テレワーカ500が第2のデバイスを操作しているか否かを判定する(S106)。操作していると判定した場合(S106:Yes)、業務監視装置100は、テレワーカ500は業務中であると判定する(S110)。業務監視装置100は、この判定結果を管理サーバ300に送信する(S112)。
【0064】
また、そうでない場合(S106:No)、業務監視装置100は業務判定部50を介して、テレワーカ500が第3のデバイスを操作しているか否かを判定する(S107)。操作していると判定した場合(S107:Yes)、業務監視装置100は、テレワーカ500は業務外であると判定する(S111)。業務監視装置100は、この判定結果を管理サーバ300に送信する(S112)。
【0065】
また、そうでない場合(S107:No)、業務監視装置100は業務判定部50を介して、無操作(骨格点の移動が無い)又は反復移動の状態であるか否かを判定する(S107)。無操作(骨格点の移動が無い)又は反復移動の状態であると判定した場合(S107:Yes)、業務監視装置100は、直近の判定結果と同じであるか否かを判定する(S109)。
【0066】
業務監視装置100は、直近の判定結果と同じであると判定した場合(S109:Yes)、テレワーカ500は業務外であると判定する(S111)。業務監視装置100は、この判定結果を管理サーバ300に送信する(S112)。
【0067】
また、そうでない場合(S109:No)、業務監視装置100は、テレワーカ500は業務中であると判定する(S111)。業務監視装置100は、この判定結果を管理サーバ300に送信する(S112)。
なお業務監視装置100は、無操作(骨格点の移動が無い)又は反復移動の状態でないと判定した場合(S107:No)、ステップS104の処理に戻る。
【0068】
図10は、業務監視装置100の判定結果の表示例を説明するための図である。
図10に示すグラフは一例であり、時刻、業務中であるか業務外であるかを示す業務分類、業務内容などを示すグラフがディスプレイなどの表示装置(不図示)の表示画面上に表示される。管理者は、管理サーバ300のデータ管理部302に管理された情報に基づいて、管理対象のテレワーカの業務状況を監視(把握)することができる。
【0069】
このように、本実施形態に係る業務監視装置100(業務監視システムS)では、カメラの設置位置やテレワーカが身に着けているものによる影響を低減し、在席中であるか否か、業務中であるか否かを精度高く検知することができる業務監視装置を提供することができる。
【0070】
また本実施形態に係る業務監視装置100(業務監視システムS)では、テレワーク空間画像から画像解析部20(骨格点検知部22)が検知したテレワーカ500の腕の骨格点、特に手首の骨格点a1、a2、肘の骨格点b1、b2、肩の骨格点c1、c2に基づいて、業務判定部50によりテレワーカ500が業務中であるか否かの判定することができる。
【0071】
また本実施形態に係る業務監視装置100(業務監視システムS)では、所定の時間(例えば5[秒])における画像解析部20(骨格点検知部22)が検知するテレワーカ500の腕の骨格点の移動に応じて業務判定部50がテレワーカ500が行う操作の種別(業務内容)を特定し、この特定結果に応じてテレワーカ500が業務中であるか否かを判定することができる。
【0072】
上記説明は、本発明をより具体的に説明するためのものであり、本発明の範囲が、これらの例に限定されるものではない。本発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれ、例えば上述した各実施形態の一部を適宜組み合わせても良い。
【0073】
また、本発明は、情報処理システム、情報処理装置においてなされる各処理の手順を含む方法であっても良い。
また、本発明は、コンピュータに、上述した情報処理システム、情報処理装置においてなされる各処理の手順を実行させるためのコンピュータプログラム、アプリケーションソフトウエアであっても良い。このコンピュータプログラムは、各種記録媒体、あるいはネットワーク、クラウド上のデータベースを介して流布させることが可能なものである。このコンピュータプログラムがROM(Read Only Memory)などの記憶装置を有するコンピュータにインストールされることで実行可能となり、上述の情報処理システム、情報処理装置を実現する。また、本発明は、上述した情報処理システム、情報処理装置においてなされる各処理の手順を含む方法であっても良い。
【0074】
また、本発明は、コンピュータに、上述した情報処理システム、情報処理装置においてなされる各処理の手順を実行させるためのコンピュータプログラムであっても良い。このコンピュータプログラムは、各種記録媒体、あるいはネットワークを介して流布させることが可能なものである。このコンピュータプログラムがROMなどの記憶装置を有するコンピュータにインストールされることで実行可能となり、上述の情報処理システム、情報処理装置を実現する。
【符号の説明】
【0075】
10…画像取得部、20…画像解析部、22…骨格点検知部、30、303…IF(インタフェース)、40…テレワーカ判定部、50…業務判定部、60…記憶部(データベース)、90…主制御部、100…業務監視装置、200…カメラ、300…管理サーバ、301…時刻管理部、302…データ管理部、400…テレワーク空間(テレワーク空間画像)、500…監視対象のテレワーカ、600…机、S…業務監視システム。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10