特開 2024-170040 作業分析装置および作業分析方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024170040

(43)【公開日】2024-12-06

(54)【発明の名称】作業分析装置および作業分析方法

(51)【国際特許分類】

   G06Q 10/0639 20230101AFI20241129BHJP

   G06T 7/20 20170101ALI20241129BHJP

【ＦＩ】

G06Q10/0639

G06T7/20 300Z

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2023086966

(22)【出願日】2023-05-26

(71)【出願人】

【識別番号】314012076

【氏名又は名称】パナソニックＩＰマネジメント株式会社

(74)【代理人】

【識別番号】110001379

【氏名又は名称】弁理士法人大島特許事務所

(72)【発明者】

【氏名】平澤 園子

(72)【発明者】

【氏名】井村 康治

(72)【発明者】

【氏名】堀内 孝治

(72)【発明者】

【氏名】濱田 匡夫

【テーマコード（参考）】

5L010

5L049

5L096

【Ｆターム（参考）】

5L010AA10

5L049AA10

5L096AA06

5L096CA05

5L096DA01

5L096DA02

5L096HA05

(57)【要約】

【課題】複数の作業区画を往き来するような複合的な作業であっても、ユーザが作業の全体的な状況を容易に把握できるようにする。
【解決手段】複数の作業区画間の移動を含む作業者の一連の作業の様子を撮影した映像に基づいて、作業者の作業状況を表す動線情報を取得し、作業者の動線情報と熟練者モデルの動線情報とを比較して、両者の乖離度合いに基づいて、作業者の作業における改善要素の有無を判定し、改善要素を可視化した動線画像１２４～１２７を含む表示情報を生成する。特に、複数の作業区画が含まれる作業場マップ１２１に、作業者の動線画像を重畳する。また、作業者の動線画像に加えて、熟練者モデルの動線画像１２２を、作業場マップに重畳する。また、過去に発生した改善要素を可視化した動線画像１２３を、作業場マップに重畳する。また、時間およびルートに関する改善要素を可視化した動線画像１２５～１２７を、作業場マップに重畳する。
【選択図】図４

【特許請求の範囲】

【請求項1】

作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析装置であって、
前記プロセッサは、
複数の作業区画間の移動を含む作業者の一連の作業の様子を撮影した前記映像に基づいて、対象とする作業者の作業状況を表す動線情報を取得し、
対象とする作業者に関する前記動線情報と熟練者モデルに関する動線情報とを比較して、両者の乖離度合いに基づいて、対象とする作業者の作業における改善要素の有無を判定し、
前記分析情報として、前記改善要素を可視化した動線画像を含む表示情報を生成することを特徴とする作業分析装置。

【請求項2】

前記プロセッサは、
複数の作業区画が含まれる作業場マップに、対象とする作業者に関する前記動線画像を重畳することを特徴とする請求項１に記載の作業分析装置。

【請求項3】

前記プロセッサは、
対象とする作業者に関する前記動線画像に加えて、前記熟練者モデルに関する前記動線画像を、前記作業場マップに重畳することを特徴とする請求項２に記載の作業分析装置。

【請求項4】

前記プロセッサは、
過去に発生した前記改善要素を可視化した動線画像を、前記作業場マップに重畳することを特徴とする請求項２に記載の作業分析装置。

【請求項5】

前記プロセッサは、
時間およびルートの少なくとも一方に関して前記改善要素の有無を判定することを特徴とする請求項１に記載の作業分析装置。

【請求項6】

前記プロセッサは、
前記改善要素が含まれる期間に関する前記映像の再生を指示する操作部が、前記改善要素に関係する前記動線画像上の区間の近傍に配置された前記表示情報を生成することを特徴とする請求項１に記載の作業分析装置。

【請求項7】

作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析方法であって、
複数の作業区画間の移動を含む作業者の一連の作業の様子を撮影した前記映像に基づいて、対象とする作業者の作業状況を表す動線情報を取得し、
対象とする作業者に関する前記動線情報と熟練者モデルに関する動線情報とを比較して、両者の乖離度合いに基づいて、対象とする作業者の作業における改善要素の有無を判定し、
前記分析情報として、前記改善要素を可視化した動線画像を含む表示情報を生成することを特徴とする作業分析方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する作業分析装置および作業分析方法に関するものである。

【背景技術】

【0002】

工場などでは、作業者の作業状況を分析して、その分析結果に基づいて、作業の進め方などを見直すことで、作業効率の向上を図ることができる。

【0003】

このような作業者の作業状況を分析する技術として、従来、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する技術が知られている（特許文献１参照）。この技術では、分析対象とした動作事例に対する比較対象とする動作事例として、動作の効率性が高い模範動作事例を選出して、分析対象とした動作事例に関する分析情報と、模範動作事例に関する分析情報とを出力することで、作業者の作業動作の熟練度（効率性）などを簡単に確認することができる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０２１／１３１５５２号

【発明の概要】

【発明が解決しようとする課題】

【0005】

従来の技術では、作業者が特定の場所に留まって作業を行う場合に、作業者の作業状況を確認することができる。一方、複数の作業区画を往き来しながら作業を行う場合がある。この場合、従来の技術によると、例えば、作業区画の各々で行われる作業を個別に評価して、その複数の作業区画での評価結果を統合する手法が考えられる。しかしながら、このような分析手法では、手間がかかる割には複合的な作業の全体的な状況を把握し難いという問題があった。

【0006】

そこで、本発明は、複数の作業区画を往き来するような複合的な作業であっても、ユーザが作業の全体的な状況を容易に把握することができる作業分析装置および作業分析方法を提供することを主な目的とする。

【課題を解決するための手段】

【0007】

本発明の作業分析装置は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析装置であって、前記プロセッサは、複数の作業区画間の移動を含む作業者の一連の作業の様子を撮影した前記映像に基づいて、対象とする作業者の作業状況を表す動線情報を取得し、対象とする作業者に関する前記動線情報と熟練者モデルに関する動線情報とを比較して、両者の乖離度合いに基づいて、対象とする作業者の作業における改善要素の有無を判定し、前記分析情報として、前記改善要素を可視化した動線画像を含む表示情報を生成する構成とする。

【0008】

また、本発明の作業分析方法は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析方法であって、複数の作業区画間の移動を含む作業者の一連の作業の様子を撮影した前記映像に基づいて、対象とする作業者の作業状況を表す動線情報を取得し、対象とする作業者に関する前記動線情報と熟練者モデルに関する動線情報とを比較して、両者の乖離度合いに基づいて、対象とする作業者の作業における改善要素の有無を判定し、前記分析情報として、前記改善要素を可視化した動線画像を含む表示情報を生成する構成とする。

【発明の効果】

【0009】

本発明によれば、対象とする作業者の作業における改善要素を可視化した動線画像が表示される。これにより、複数の作業区画を往き来するような複合的な作業であっても、ユーザが作業の全体的な状況を容易に把握することができる。

【図面の簡単な説明】

【0010】

【図1】本実施形態に係る作業分析システムの全体構成図

【図2】サーバの概略構成を示すブロック図

【図3】サーバで行われる処理の手順を示すフロー図

【図4】ユーザ端末に表示されるマップ画面を示す説明図

【図5】ユーザ端末に表示されるマップ画面を示す説明図

【図6】ユーザ端末に表示されるマップ画面を示す説明図

【図7】ユーザ端末に表示されるマップ画面を示す説明図

【図8】マップ画面における表示条件設定部の操作時の状況を示す説明図

【図9】ユーザ端末に表示される映像タイムライン画面を示す説明図

【図10】ユーザ端末に表示される映像タイムライン画面を示す説明図

【図11】ユーザ端末に表示される映像タイムライン画面を示す説明図

【図12】ユーザ端末に表示される映像タイムライン画面を示す説明図

【図13】ユーザ端末に表示される作業者別グラフ画面および日別グラフ画面を示す説明図

【図14】ユーザ端末に表示される映像タイムライン画面、作業者別グラフ画面、および日別グラフ画面の遷移状況を示す説明図

【発明を実施するための形態】

【0011】

前記課題を解決するためになされた第１の発明は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析装置であって、前記プロセッサは、複数の作業区画間の移動を含む作業者の一連の作業の様子を撮影した前記映像に基づいて、対象とする作業者の作業状況を表す動線情報を取得し、対象とする作業者に関する前記動線情報と熟練者モデルに関する動線情報とを比較して、両者の乖離度合いに基づいて、対象とする作業者の作業における改善要素の有無を判定し、前記分析情報として、前記改善要素を可視化した動線画像を含む表示情報を生成する構成とする。

【0012】

これによると、対象とする作業者の作業における改善要素（改善すべき課題）を可視化した動線画像が表示される。これにより、複数の作業区画を往き来するような複合的な作業であっても、ユーザが作業の全体的な状況を容易に把握することができる。この場合、改善要素が可視化された動線画像として、例えば、動線画像において改善要素を含む区間が他の区間と異なる形態（例えば色）で描画されてもよい。

【0013】

また、第２の発明は、前記プロセッサは、複数の作業区画が含まれる作業場マップに、対象とする作業者に関する前記動線画像を重畳する構成とする。

【0014】

これによると、ユーザが、作業場における対象とする作業者の全体的な作業状況を容易に把握することができる。

【0015】

また、第３の発明は、前記プロセッサは、対象とする作業者に関する前記動線画像に加えて、前記熟練者モデルに関する前記動線画像を、前記作業場マップに重畳する構成とする。

【0016】

これによると、ユーザが、熟練者の作業状況と比較しながら対象とする作業者の作業状況を検討することができる。

【0017】

また、第４の発明は、前記プロセッサは、過去に発生した前記改善要素を可視化した動線画像を、前記作業場マップに重畳する構成とする。

【0018】

これによると、ユーザが、改善要素を含む過去の作業状況と比較しながら対象とする作業者の作業状況を検討することができる。

【0019】

また、第５の発明は、前記プロセッサは、時間およびルートの少なくとも一方に関して前記改善要素の有無を判定する構成とする。

【0020】

これによると、ユーザが、時間に関して改善要素がある状態や、ルートに関して改善要素がある状態を容易に確認することができる。

【0021】

また、第６の発明は、前記プロセッサは、前記改善要素が含まれる期間に関する前記映像の再生を指示する操作部が、前記改善要素に関係する前記動線画像上の区間の近傍に配置された前記表示情報を生成する構成とする。

【0022】

これによると、ユーザが、改善要素が含まれる期間に関する映像を容易に閲覧して、改善要素の状況を具体的に確認することができる。

【0023】

また、第７の発明は、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する処理をプロセッサにより実行する作業分析方法であって、複数の作業区画間の移動を含む作業者の一連の作業の様子を撮影した前記映像に基づいて、対象とする作業者の作業状況を表す動線情報を取得し、対象とする作業者に関する前記動線情報と熟練者モデルに関する動線情報とを比較して、両者の乖離度合いに基づいて、対象とする作業者の作業における改善要素の有無を判定し、前記分析情報として、前記改善要素を可視化した動線画像を含む表示情報を生成する構成とする。

【0024】

これによると、第１の発明と同様に、複数の作業区画を往き来するような複合的な作業であっても、ユーザが作業の全体的な状況を容易に把握することができる。

【0025】

以下、本発明の実施の形態を、図面を参照しながら説明する。

【0026】

図１は、本実施形態に係る作業分析システムの全体構成図である。

【0027】

本システムは、工場などにおける作業者の作業状況を分析して、その分析結果を管理者や作業者に提示するものである。本システムは、複数のカメラ１と、レコーダ２と、サーバ３（作業分析装置）と、ユーザ端末４とを備えている。カメラ１、レコーダ２、サーバ３、およびユーザ端末４はネットワーク接続されている。

【0028】

カメラ１は、作業場において作業者が作業を行う様子を撮影する。図１に示す例では、作業場に、複数の工程にそれぞれ対応した複数の作業区画（例えば作業区画Ａ～Ｃ）が含まれ、作業者は、各工程の作業を行うために作業場内を移動しながら作業を行う。

【0029】

レコーダ２は、カメラ１から出力される映像を録画する。

【0030】

サーバ３は、カメラ１またはレコーダ２から映像を取得して、その映像に基づいて、作業者の作業状況に関する分析を行い、その分析結果を出力する。

【0031】

ユーザ端末４は、作業管理者や作業者本人などのユーザが使用するものであり、ＰＣやタブレット端末などで構成される。ユーザ端末４では、サーバ３から出力される分析結果が表示されてその分析結果をユーザが閲覧することができる。

【0032】

なお、サーバ３で行われる処理は、撮影と同時に行われるリアルタイム処理でも、撮影後に行われる事後処理でもよい。リアルタイム処理の場合には、カメラ１で撮影された映像がサーバ３に送信され、事後処理の場合には、レコーダ２に蓄積された映像がサーバ３に送信される。

【0033】

次に、サーバ３の概略構成について説明する。図２は、サーバ３の概略構成を示すブロック図である。

【0034】

サーバ３は、通信部３１と、記憶部３２と、プロセッサ３３と、を備えている。

【0035】

通信部３１は、カメラ１、レコーダ２、およびユーザ端末４との間で通信を行う。

【0036】

記憶部３２は、プロセッサ３３で実行されるプログラムなどを記憶する。

【0037】

プロセッサ３３は、記憶部３２に記憶されたプログラムを実行することで各種の処理を行う。本実施形態では、プロセッサ３３が、人物追跡処理、動線抽出処理、ランク判定処理、改善要素判定処理、可視化処理、表示情報生成処理、および熟練者モデル生成処理などを行う。

【0038】

人物追跡処理では、プロセッサ３３が、カメラ１の映像に基づいて、作業場内を移動しながら作業を行う作業者を追跡して、人物追跡情報を生成する。このとき、各カメラ１の映像から人物を検出する人物検出処理や、各カメラ１の映像から検出された人物を同一人物として対応付ける人物再同定処理が行われる。人物追跡情報には、各時刻での人物の位置情報が含まれる。

【0039】

動線抽出処理では、プロセッサ３３が、人物追跡処理で取得した人物追跡情報に基づいて、作業場内での作業者の移動状況を表す動線を抽出して、作業者の動線情報（各時刻における位置情報）を生成する。

【0040】

ランク判定処理では、プロセッサ３３が、カメラ１の映像に基づいて、対象とする作業者のランク（例えばエキスパート、シニア、ビギナー）を判定する。具体的には、カメラ１の映像に写る作業者の外観（帽子や制服などの着用物）の特徴に基づいてランクが判定される。

【0041】

改善要素判定処理では、プロセッサ３３が、対象とする作業者の動線を熟練者モデルの動線と比較して、両者の乖離度合いに基づいて、対象とする作業者の作業における改善要素（改善すべき課題）の有無を判定する。改善要素判定処理には、時間トラブル判定処理と、ルートトラブル判定処理とが含まれる。また、改善要素判定処理は、個別の作業に対応した区間単位で行われる。

【0042】

時間トラブル判定処理では、プロセッサ３３が、対象とする作業者の作業時間と熟練者モデルの作業時間との乖離度合いに基づいて、時間トラブルの有無を判定する。時間トラブルとは、作業者の作業時間に関して改善要素がある状態、具体的には、熟練者モデルより時間が長くかかりすぎている状態である。例えば、作業者が個別の作業で無駄な動作をしているために必要以上に時間がかかっている状態が、時間トラブルと判定される。

【0043】

ルートトラブル判定処理では、プロセッサ３３が、対象とする作業者の動線と熟練者モデルの動線との乖離度合いに基づいて、ルートトラブルの有無を判定する。ルートトラブルとは、作業者の移動ルートに関して改善要素がある状態、具体的には、熟練者モデルの動線から大きく外れている状態である。例えば、熟練者モデルの動線が示す位置情報と対象の作業者の動線が示す位置情報とに基づいて、作業者が必要でない場所に移動している状態などが検知された場合、ルートトラブルと判定される。

【0044】

改善要素判定処理では、時間トラブル判定処理およびルートトラブル判定処理の判定結果に基づいて、通常状態、時間トラブル発生状態、ルートトラブル発生状態、およびルート時間トラブル発生状態が検知されて、作業者の動線の中で各状態が検知された区間が特定され、作業者の動線における各状態の区間に関する作業状態区間情報が生成される。

【0045】

可視化処理では、プロセッサ３３が、改善要素判定処理で取得した作業状態区間情報に基づいて、作業者の作業状況を可視化した情報を生成する。

【0046】

具体的には、作業者の移動状況を表す動線画像（可視化画像）が生成される。このとき、作業者の作業状態が動線上で可視化される。具体的には、作業者の動線において、通常状態、時間トラブル発生状態、ルートトラブル発生状態、およびルート時間トラブル発生状態が検出された区間が色分けされる。

【0047】

また、作業者の作業状況を時間軸上で表現したタイムラインチャート（可視化画像）が生成される。また、作業者ごとの作業時間を表す作業者別グラフ（可視化画像）や、対象とする作業者に関する日ごとの作業時間を表す日別グラフ（可視化画像）が生成される。

【0048】

表示情報生成処理では、プロセッサ３３が、ユーザ端末４に表示する画面に関する表示情報を生成する。具体的には、可視化処理で生成した動線画像（可視化画像）を含むマップ画面（図４など参照）、可視化処理で生成したタイムラインチャート（可視化画像）およびカメラ１の映像を含む映像タイムライン画面（図９など参照）、ならびに可視化処理で生成したグラフ（可視化画像）を含むグラフ画面（図１３参照）に関する表示情報が生成される。

【0049】

熟練者モデル生成処理では、プロセッサ３３が、ランク判定処理において対象とする作業者が熟練者であると判定された場合に、その熟練者である作業者の動線情報に基づいて、熟練者モデルを生成する。熟練者モデルは、熟練者である作業者の作業状況を平均化したものであり、熟練者である作業者の動線が抽出される度に、その動線情報に基づいて熟練者モデルが更新される。なお、熟練者モデルは、作業区画ごとに生成されてもよい。また、過度な更新を避けるため、所定の作業管理者の操作により、熟練者モデルの更新タイミングを任意に設定するようにしてもよい。

【0050】

次に、サーバ３で行われる処理の手順について説明する。図３は、サーバ３で行われる処理の手順を示すフロー図である。

【0051】

まず、プロセッサ３３が、複数のカメラ１の映像（フレーム）に基づいて、作業場内を移動する作業者を追跡する（人物追跡処理）（ＳＴ１０１）。次に、プロセッサ３３が、検出された作業者の動線を抽出して、その作業者の動線情報（各時刻における位置情報）を生成する（動線抽出処理）（ＳＴ１０２）。

【0052】

次に、プロセッサ３３が、対象とする作業者のランク（熟練者、ビギナー）を判定する（ランク判定処理）（ＳＴ１０３）。なお、例えば、エキスパート、シニア、およびビギナーの３段階にランク付けされる場合、エキスパートが熟練者として判定されてもよい。

【0053】

ここで、対象とする作業者のランクが熟練者である場合（ＳＴ１０３で「熟練者」）、熟練者である作業者に関する今回の動線情報を、熟練者モデル情報に追加して熟練者モデル情報を更新する（熟練者モデル生成処理）（ＳＴ１０４）。次に、人物追跡処理（ＳＴ１０１）に戻り、次の区間を対象にした処理に移行する。

【0054】

一方、対象とする作業者のランクがビギナーである場合（ＳＴ１０３で「ビギナー」）、次に、プロセッサ３３が、対象とする作業者の動線を熟練者モデルの動線と比較して、両者の乖離度合い（作業時間、移動ルートの相違）に基づいて、対象とする作業者の作業における改善要素の有無を判定する(改善要素判定処理)（ＳＴ１０５）。このとき、時間トラブルおよびルートトラブルが発生している否かが判定される。

【0055】

次に、プロセッサ３３が、今回の改善要素判定処理の判定結果を、対象とする作業者に関する作業者履歴情報に追加して作業者履歴情報を更新する（ＳＴ１０６）。次に、人物追跡処理（ＳＴ１０１）に戻り、次の区間を対象にした処理に移行する。

【0056】

次に、ユーザ端末４に表示されるマップ画面１０１について説明する。図４，図５，図６，図７は、マップ画面１０１を示す説明図である。図８は、マップ画面１０１における表示条件設定部１０２の操作時の状況を示す説明図である。

【0057】

図４に示すように、マップ画面１０１には、表示条件設定部１０２が設けられている。表示条件設定部１０２には、作業場指定部１１１と、日時指定部１１２と、作業者指定部１１３と、ランク指定部１１４と、設定内容表示部１１５とが設けられている。

【0058】

作業場指定部１１１では、表示対象とする作業場をユーザが指定することができる。図８（Ａ）に示すように、ユーザが作業場指定部１１１を操作すると、選択メニュー１４１が表示される。選択メニュー１４１には、複数の作業場（例えば作業場＃１～＃４）が表示される。ユーザは、選択メニュー１４１において複数の作業場のいずれかを選択することができる。

【0059】

日時指定部１１２では、表示対象とする日時をユーザが指定することができる。図８（Ｂ）に示すように、ユーザが日時指定部１１２を操作すると、カレンダー１５１と、時間帯入力部１５２と、「ＧＯ」のボタン１５３とが表示される。ユーザは、カレンダー１５１において表示対象とする日（期間）を入力することができる。また、ユーザは、時間帯入力部１５２において表示対象とする時間帯を入力することができる。ユーザが、表示対象とする日および時間帯を入力して「ＧＯ」のボタン１５３を操作すると、入力内容に基づいて表示対象とする日時が設定される。

【0060】

作業者指定部１１３では、表示対象とする作業者をユーザが指定することができる。図８（Ｃ）に示すように、ユーザが作業者指定部１１３を操作すると、作業者入力部１６１と、「ＧＯ」のボタン１６２とが表示される。ユーザは、作業者入力部１６１において表示対象とする作業者のＩＤまたは名前を入力することができる。ユーザが、表示対象とする作業者のＩＤまたは名前を入力して「ＧＯ」のボタン１６２を操作すると、入力内容に基づいて表示対象とする作業者が設定される。

【0061】

ランク指定部１１４では、表示対象とする作業者のランクをユーザが指定することができる。図８（Ｄ）に示すように、ユーザがランク指定部１１４を操作すると、ランク入力部１７１と、「ＧＯ」のボタン１７２とが表示される。ユーザは、ランク入力部１７１において表示対象とする作業者のランク（エキスパート、シニア、ビギナーなど）を入力することができる。ユーザが、表示対象とする作業者のランクを入力して「ＧＯ」のボタン１７２を操作すると、入力内容に基づいて表示対象とする作業者のランクが設定される。

【0062】

図４に示すように、設定内容表示部１１５には、作業場指定部１１１、日時指定部１１２、作業者指定部１１３、およびランク指定部１１４でのユーザの指定操作に応じた設定内容が表示される。具体的には、ユーザが指定した作業場、日時、作業者、およびランクの情報が表示される。また、設定内容表示部１１５には、「クリア」のボタン１１６が設けられている。ユーザが「クリア」のボタン１１６を操作すると、設定内容が消去される。

【0063】

また、マップ画面１０１には、マップ表示部１０３が設けられている。マップ表示部１０３には、作業場のレイアウトを表す作業場マップ１２１が表示されている。作業場マップ１２１には、作業場に含まれる複数の作業区画（例えば作業区画Ａ～Ｃ）が描画されている。作業場マップ１２１には、作業場内を移動しながら作業を行う作業者の移動ルートを表す動線画像１２２～１２７が重畳表示されている。動線画像１２２～１２７は、描画される線の形態が各々で異なる。

【0064】

なお、本例では、作業場マップ１２１に、対象となる作業場に含まれる複数の作業区画の全体が描画されるが、作業場に含まれる複数の作業区画の一部のみが描画された部分マップが表示され、ユーザの操作に応じて、表示される部分マップが切り替わるようにしてもよい。

【0065】

動線画像１２２～１２７には、熟練者モデルの動線画像１２２と、対象者の過去のトラブル発生状態の動線画像１２３と、対象者の今回の通常状態の動線画像１２４と、対象者の今回の時間トラブル発生状態の動線画像１２５と、対象者の今回のルートトラブル発生状態の動線画像１２６と、対象者の今回のルート時間トラブル発生状態の動線画像１２７とがある。

【0066】

熟練者モデルの動線画像１２２は、複数の熟練者の平均的な動線を表す画像、すなわち、熟練者である作業者に関して過去に抽出された動線を平均化した動線を表す画像である。

【0067】

対象者の過去のトラブル発生状態の動線画像１２３は、対象とする作業者の過去の作業においてトラブル（時間トラブル、ルートトラブル）が発生したときの動線を表す画像である。なお、動線画像１２３は、作業者を限定せずに過去にトラブルが発生したときの動線の典型例を表す画像であってもよい。

【0068】

対象者の今回の通常状態の動線画像１２４は、対象とする作業者の今回の作業における通常状態、すなわちトラブルが発生していない状態での動線を表す画像である。対象者の今回の時間トラブル発生状態の動線画像１２５は、対象とする作業者の今回の作業において時間トラブルが発生したときの動線を表す画像である。対象者の今回のルートトラブル発生状態の動線画像１２６は、対象とする作業者の今回の作業においてルートトラブルが発生したときの動線を表す画像である。対象者の今回のルート時間トラブル発生状態の動線画像１２７は、対象とする作業者の今回の作業において時間トラブルとルートトラブルとの両方が発生したときの動線を表す画像である。

【0069】

また、マップ画面１０１には、表示動線設定部１０４が設けられている。表示動線設定部１０４には、動線画像１２２～１２７ごとにチェックボックス１３１が設けられている。ユーザは、チェックボックス１３１を操作することで、動線画像１２２～１２７ごとに表示の有無を選択することができる。そのため、複数の動線が重なって表示されてユーザの視認性が損なわれるような場合には、後述するように、注目する動線の種類を絞ってユーザの作業状況を確認することができる。

【0070】

また、表示動線設定部１０４には、熟練者モデルとの比較の有無に関する表示部１３２が設けられている。表示部１３２では、対象とする作業者の動線と比較するために熟練者モデルの動線画像１２２がマップ表示部１０３に表示されるか否かが表示される。

【0071】

図４に示す例では、表示動線設定部１０４において、全ての動線画像１２２～１２７が表示されるように設定されている。この場合、ユーザは、例えばビギナーである特定の作業者の作業状況を、熟練者モデルと比較しながら検討することができる。

【0072】

図５に示す例では、表示動線設定部１０４において、熟練者モデルの動線画像１２２と、対象となる作業者の今回のルート時間トラブル発生状態の動線画像１２７とが、表示されるように設定されている。この場合、ユーザは、今回のルート時間トラブルが発生した状態にのみ注目して、対象とする作業者と熟練者モデルとを比較することができる。

【0073】

図６に示す例では、表示動線設定部１０４において、対象となる作業者の過去のトラブル発生状態の動線画像１２３と、対象となる作業者の今回の動線画像１２４～１２７のうち、トラブルが発生した状態での動線画像１２５～１２７とが、表示されるように設定されている。この場合、ユーザは、対象とする作業者に関して、今回のトラブルが発生したときの状況と過去にトラブルが発生したときの状況とを比較することができる。これにより、例えば、ユーザが、今回発生したトラブルが、今回に限ったものか以前からあったものかを判別することができる。

【0074】

図７に示す例では、表示動線設定部１０４において、対象となる作業者（ビギナー）の今回の動線画像１２４～１２７が、表示されるように設定されている。この場合、ユーザは、例えばビギナーである特定の作業者の作業状況を検討することができる。

【0075】

なお、対象とする作業者の今回の動線画像１２４～１２７のうちの一部のみが表示されるように設定された場合、動線画像１２４～１２７は途切れた状態で表示される。

【0076】

また、マップ画面１０１には、作業場マップ１２１上に映像再生ボタン１２８が表示される。映像再生ボタン１２８は、動線画像１２３，１２５～１２７上のトラブルが発生した区間の近傍に表示される。映像再生ボタン１２８は、トラブルが発生した区間を含む動線画像１２３，１２５～１２７と類似した形態（例えば色や模様）で表示される。これにより、ユーザが、映像再生ボタン１２８が動線画像１２３，１２５～１２７のいずれに関係するものかを容易に把握することができる。

【0077】

ユーザが、映像再生ボタン１２８を操作すると、映像タイムライン画面２０１（図９など参照）に遷移する。

【0078】

次に、ユーザ端末４に表示される映像タイムライン画面２０１について説明する。図９，図１０，図１１，図１２は、映像タイムライン画面２０１を示す説明図である。

【0079】

映像タイムライン画面２０１には、映像表示部２０２が設けられている。映像表示部２０２には、カメラ１で撮影された映像２０３が表示される。また、映像表示部２０２には、再生操作部２０４が設けられている。再生操作部２０４では、映像２０３の再生に関する操作をユーザが行うことができる。これにより、ユーザが、実際の作業の状況を詳細に確認することができる。

【0080】

ここで、映像２０３の再生期間は、検知された事象（時間トラブルまたはルートトラブル）に応じて異なる。すなわち、時間トラブルの場合、熟練者モデルの動線における区間ごとの所要時間に基づいて設定された閾値と、対象とする作業者の経過時間とが比較され、対象とする作業者の経過時間が閾値を越えた時点を基準時点として、その基準時点を中心にしてその前後の所定時間（例えば３０秒、１分）の範囲が再生期間となる。一方、ルートトラブルの場合、対象とする作業者の動線が、熟練者モデルの動線から所定距離以上離れた時点を基準時点として、その基準時点を中心にしてその前後の所定時間の範囲が再生期間となる。また、ルート時間トラブルで、時間トラブルに関する再生期間と、ルートトラブルに関する再生期間とが重複している場合には、２つの再生期間を統合した期間が再生期間となる。具体的には、先に検知された事象（時間トラブルまたはルートトラブル）に関する再生期間の開始時刻から、後に検知された事象に関する再生期間の終了時刻までが再生期間となる。

【0081】

また、映像タイムライン画面２０１には、タイムライン表示部２０５が設けられている。タイムライン表示部２０５には、作業者の作業状況を時間軸上で表現したタイムラインチャート２１１（可視化画像）が表示される。また、タイムライン表示部２０５には、「時間」および「ルート」の各タブ２１２，２１３が設けられている。

【0082】

図９，図１０，図１１に示す例は、ユーザが「時間」のタブ２１２を操作した場合である。この場合、時間を基準にしたタイムラインチャート２１１が表示される。すなわち、タイムラインチャート２１１では、作業者が各作業区画（例えばＡ～Ｃ）に滞在している期間を表すバー２２１が描画される。

【0083】

一方、図１２に示す例は、ユーザが「ルート」のタブ２１３を操作した場合である。この場合、距離を基準にしたタイムラインチャート２１１が表示される。すなわち、タイムラインチャート２１１では、作業者が各作業区画（例えばＡ～Ｃ）で移動している状態を表すバー２２１が描画される。

【0084】

図９に示す例は、図４，図５に示すマップ画面１０１から遷移した場合である。この場合、図４，図５に示すマップ画面１０１において、特定の作業者の動線と熟練者モデルの動線とが選択されていたため、映像タイムライン画面２０１では、２つの映像表示部２０２に、特定の作業者（ＩＤ＝１５）および熟練者モデルの各々に関する映像２０３が表示され、タイムライン表示部２０５は、特定の作業者および熟練者モデルの各々に関するタイムラインチャート２１１が表示される。これにより、ユーザは、例えばビギナーである特定の作業者の作業状況を、熟練者モデルと比較しながら検討することができる。

【0085】

なお、熟練者モデルの映像表示部２０２では、過去に熟練者が撮影された映像２０３が表示される。このとき、対象とする作業者に近い位置にいる熟練者、すなわち、対象とする作業者と同じ作業を行っていると想定される熟練者のうち、最新の映像または作業管理者があらかじめ指定した１人が選択されて、その熟練者が撮影された映像２０３が再生される。

【0086】

図１０に示す例は、図６に示すマップ画面１０１から遷移した場合である。この場合、図６に示すマップ画面１０１において、特定の作業者に関する現在および過去のトラブル発生時の動線が選択されていたため、映像タイムライン画面２０１では、２つの映像表示部２０２に、特定の作業者に関する現在および過去の映像２０３が表示され、タイムライン表示部２０５は、特定の作業者に関する現在および過去のタイムラインチャート２１１が表示される。これにより、ユーザは、例えばビギナーである特定の作業者に関する過去と現在のトラブル発生時の作業状況を詳細に比較して、作業者の上達具合について検討することができる。また、例えばシニアである特定の作業者に関する過去と現在のトラブル発生時の作業状況を詳細に比較して、作業者の健康状態などを確認することができる。

【0087】

図１１，図１２に示す例は、図７に示すマップ画面１０１から遷移した場合である。この場合、図７に示すマップ画面１０１において、特定の作業者に関する現在の動線が選択されていたため、映像タイムライン画面２０１では、映像表示部２０２に、特定の作業者に関する現在の映像２０３が表示され、タイムライン表示部２０５は、特定の作業者に関する現在のタイムラインチャート２１１が表示される。

【0088】

また、図１１に示す例は、時間を基準にしたタイムラインチャート２１１の場合であり、作業者が各作業区画（例えばＡ～Ｃ）に滞在している期間を表すバー２２１が描画される。一方、図１２に示す例は、距離を基準にしたタイムラインチャート２１１の場合であり、タイムラインチャート２１１では、作業者が各作業区画で移動している状態を表すバー２２１が描画される。これにより、ユーザは、例えばビギナーである特定の作業者の作業状況を詳細に確認して、ある特定の作業者の作業状況を検討することができる。

【0089】

なお、図９，図１０，図１１に示す例は、時間を基準にしたタイムラインチャート２１１の場合であるが、ユーザが「ルート」のタブ２１３を操作すれば、同一の表示条件で、図１２に示すような距離を基準にしたタイムラインチャート２１１が表示される。

【0090】

次に、ユーザ端末に表示される作業者別グラフ画面３０１および日別グラフ画面４０１について説明する。図１３は、作業者別グラフ画面３０１および日別グラフ画面４０１を示す説明図である。

【0091】

図１３（Ａ）に示すように、作業者別グラフ画面３０１では、作業者ごとの作業時間（移動時間）および熟練者モデルの作業時間を表すグラフ３０２が表示される。これにより、ユーザは、作業者ごとの作業時間および熟練者モデルの作業時間を相互に比較することができる。

【0092】

図１３（Ｂ）に示すように、日別グラフ画面４０１では、日ごとの作業時間および熟練者モデルの作業時間を表すグラフ４０２が表示される。これにより、ユーザは、日ごとの作業時間および熟練者モデルの作業時間を相互に比較することができる。特に、作業区画ごとの作業時間が積み上げグラフで表現されている。これにより、ユーザは、作業区画ごとの作業時間を把握することができる。

【0093】

また、日別グラフ画面４０１には、対象期間指定部４０３が設けられている。ユーザが対象期間指定部４０３を操作すると、対象期間（例えば１週間、１ヶ月など）に関するプルダウンメニューが表示される。ユーザは、プルダウンメニューで対象期間を選択することができる。

【0094】

次に、ユーザ端末４に表示される映像タイムライン画面２０１、作業者別グラフ画面３０１、および日別グラフ画面４０１の遷移状況について説明する。図１４は、映像タイムライン画面２０１、作業者別グラフ画面３０１、および日別グラフ画面４０１の遷移状況を示す説明図である。

【0095】

ところで、映像タイムライン画面２０１（図９等参照）には、映像のアイコン５０１と、作業者別グラフのアイコン５０２とが設けられている。ユーザが、作業者別グラフのアイコン５０２を操作すると、作業者別グラフ画面３０１（図１３（Ａ）参照）に遷移する。

【0096】

作業者別グラフ画面３０１（図１３（Ａ）参照）には、映像のアイコン５０１と、日別グラフのアイコン５０３とが設けられている。ユーザが、日別グラフのアイコン５０３を操作すると、日別グラフ画面４０１（図１３（Ｂ）参照）に遷移する。

【0097】

日別グラフ画面４０１（図１３（Ｂ）参照）には、映像のアイコン５０１と、作業者別グラフのアイコン５０２とが設けられている。ユーザが、映像のアイコン５０１を操作すると、映像タイムライン画面２０１（図９参照）に遷移する。また、ユーザが、日付を選択する操作を行うと、選択された日付に関する映像タイムライン画面２０１（図９参照）に遷移する。なお、アイコン５０１～５０３に代えて、各画面に対応した表示タブを選択することで、映像タイムライン画面２０１、作業者別グラフ画面３０１、日別グラフ画面４０１が切り替わるようにしてもよい。

【0098】

以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

【産業上の利用可能性】

【0099】

本発明に係る作業分析装置および作業分析方法は、複数の作業区画を往き来するような複合的な作業であっても、ユーザが作業の全体的な状況を容易に把握することができる効果を有し、作業者の作業の様子を撮影した映像に基づいて、作業者の作業状況に関する分析情報を出力する作業分析装置および作業分析方法などとして有用である。

【符号の説明】

【0100】

１：カメラ
２：レコーダ
３：サーバ（作業分析装置）
４：ユーザ端末
３３：プロセッサ
１０１：マップ画面
１０２：表示条件設定部
１０３：マップ表示部
１０４：表示動線設定部
１２１：作業場マップ
１２２：熟練者モデルの動線画像
１２３：対象者の過去のトラブル発生状態の動線画像
１２４：対象者の今回の通常状態の動線画像
１２５：対象者の今回の時間トラブル発生状態の動線画像
１２６：対象者の今回のルートトラブル発生状態の動線画像
１２７：対象者の今回のルート時間トラブル発生状態の動線画像
１２８：映像再生ボタン
２０１：映像タイムライン画面
２０２：映像表示部
２０３：映像
２０４：再生操作部
２０５：タイムライン表示部
２１１：タイムラインチャート
３０１：作業者別グラフ画面
３０２：グラフ
４０１：日別グラフ画面
４０２：グラフ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】