ホーム > 特許ランキング > カシオ計算機株式会社
知財求人 - 知財ポータルサイト「IP Force」
特開2024-31515情報処理装置、プログラム、情報処理方法及び情報処理システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024031515
(43)【公開日】2024-03-07
(54)【発明の名称】情報処理装置、プログラム、情報処理方法及び情報処理システム
(51)【国際特許分類】
G06T 7/70 20170101AFI20240229BHJP
G06T 7/20 20170101ALI20240229BHJP
G06T 7/00 20170101ALI20240229BHJP
【ＦＩ】
G06T7/70 A
G06T7/20 300
G06T7/00 350C
【審査請求】未請求
【請求項の数】23
【出願形態】ＯＬ
(21)【出願番号】P 2022135108
(22)【出願日】2022-08-26
(71)【出願人】
【識別番号】000001443
【氏名又は名称】カシオ計算機株式会社
(74)【代理人】
【識別番号】110001254
【氏名又は名称】弁理士法人光陽国際特許事務所
(72)【発明者】
【氏名】朝倉 裕子
(72)【発明者】
【氏名】郡司 謙汰
(72)【発明者】
【氏名】川上 詩音
(72)【発明者】
【氏名】鈴木 隆司
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA02
5L096BA08
5L096DA02
5L096FA67
5L096FA69
5L096HA04
5L096HA09
5L096HA11
5L096KA04
(57)【要約】
【課題】撮像部の撮像範囲内か、撮像範囲外かによらずに対象者の行動を把握することができる情報処理装置、プログラム、情報処理方法及び情報処理システムを提供する。
【解決手段】情報処理装置は、異なる複数の時点において撮像部により撮像された複数の画像を取得し、取得した複数の画像の各々において対象者が写っているか否かを判定し、対象者が写っていると判定された各画像に対応する対象者の位置を導出し、複数の画像のうち、或る期間に撮像された画像に対象者が写っていないと判定された場合には、期間の直前に撮像された第１画像に写っている対象者の位置に係る第１情報、期間の直後に撮像された第２画像に写っている対象者の位置に係る第２情報、及び期間の長さに係る第３情報に基づいて、上記の期間において対象者がいた場所を推定する、処理部を備える。
【選択図】図１０
【解決手段】情報処理装置は、異なる複数の時点において撮像部により撮像された複数の画像を取得し、取得した複数の画像の各々において対象者が写っているか否かを判定し、対象者が写っていると判定された各画像に対応する対象者の位置を導出し、複数の画像のうち、或る期間に撮像された画像に対象者が写っていないと判定された場合には、期間の直前に撮像された第１画像に写っている対象者の位置に係る第１情報、期間の直後に撮像された第２画像に写っている対象者の位置に係る第２情報、及び期間の長さに係る第３情報に基づいて、上記の期間において対象者がいた場所を推定する、処理部を備える。
【選択図】図１０
【特許請求の範囲】
【請求項1】
異なる複数の時点において撮像部により撮像された複数の画像を取得し、
取得した前記複数の画像の各々において対象者が写っているか否かを判定し、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出し、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者がいた場所を推定する、
処理部を備える情報処理装置。
取得した前記複数の画像の各々において対象者が写っているか否かを判定し、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出し、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者がいた場所を推定する、
処理部を備える情報処理装置。
【請求項2】
異なる複数の時点において撮像部により撮像された複数の画像を取得し、
取得した前記複数の画像の各々において対象者が写っているか否かを判定し、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出し、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者が所定の場所にいたかを判定する、
処理部を備える情報処理装置。
取得した前記複数の画像の各々において対象者が写っているか否かを判定し、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出し、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者が所定の場所にいたかを判定する、
処理部を備える情報処理装置。
【請求項3】
前記処理部は、
前記第１情報、前記第２情報、及び前記第３情報を機械学習モデルに入力することによって、前記期間において前記対象者がいた場所を推定し、
前記機械学習モデルは、或る期間の直前における或る対象者の位置に係る情報、前記或る期間の直後における前記或る対象者の位置に係る情報、及び前記或る期間の長さに係る情報を入力することによって、前記或る期間において前記或る対象者がいた場所の推定結果を出力するように機械学習されたものである、
請求項１に記載の情報処理装置。
前記第１情報、前記第２情報、及び前記第３情報を機械学習モデルに入力することによって、前記期間において前記対象者がいた場所を推定し、
前記機械学習モデルは、或る期間の直前における或る対象者の位置に係る情報、前記或る期間の直後における前記或る対象者の位置に係る情報、及び前記或る期間の長さに係る情報を入力することによって、前記或る期間において前記或る対象者がいた場所の推定結果を出力するように機械学習されたものである、
請求項１に記載の情報処理装置。
【請求項4】
前記処理部は、
前記対象者が写っていると判定された各画像に基づいて、当該画像の撮像時において前記対象者が行っていた作業を推定し、
前記第１情報、前記第２情報、及び前記第３情報に基づいて、前記期間において前記対象者が行っていた作業を推定する、
請求項１に記載の情報処理装置。
前記対象者が写っていると判定された各画像に基づいて、当該画像の撮像時において前記対象者が行っていた作業を推定し、
前記第１情報、前記第２情報、及び前記第３情報に基づいて、前記期間において前記対象者が行っていた作業を推定する、
請求項１に記載の情報処理装置。
【請求項5】
前記処理部は、
前記第１情報、前記第２情報、及び前記第３情報を機械学習モデルに入力することによって、前記期間において前記対象者が行っていた作業を推定し、
前記機械学習モデルは、或る期間の直前における或る対象者の位置に係る情報、前記或る期間の直後における前記或る対象者の位置に係る情報、及び前記或る期間の長さに係る情報を入力することによって、前記或る期間において前記或る対象者が行っていた作業の推定結果を出力するように機械学習されたものである、
請求項４に記載の情報処理装置。
前記第１情報、前記第２情報、及び前記第３情報を機械学習モデルに入力することによって、前記期間において前記対象者が行っていた作業を推定し、
前記機械学習モデルは、或る期間の直前における或る対象者の位置に係る情報、前記或る期間の直後における前記或る対象者の位置に係る情報、及び前記或る期間の長さに係る情報を入力することによって、前記或る期間において前記或る対象者が行っていた作業の推定結果を出力するように機械学習されたものである、
請求項４に記載の情報処理装置。
【請求項6】
前記処理部は、前記第１情報、前記第２情報、及び前記第３情報に基づいて、前記期間における前記対象者の移動経路をさらに推定する、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項7】
前記処理部は、
前記複数の画像の各々において、複数の前記対象者が身に付けている識別標識を検出し、
前記識別標識の検出結果に基づいて、前記複数の画像の各々において前記対象者が写っているか否かの判定、及び、写っている前記対象者の位置の導出を、前記複数の対象者の各々について行う、
請求項１に記載の情報処理装置。
前記複数の画像の各々において、複数の前記対象者が身に付けている識別標識を検出し、
前記識別標識の検出結果に基づいて、前記複数の画像の各々において前記対象者が写っているか否かの判定、及び、写っている前記対象者の位置の導出を、前記複数の対象者の各々について行う、
請求項１に記載の情報処理装置。
【請求項8】
前記処理部は、前記複数の画像に基づいて導出された前記対象者の位置、及び推定された前記対象者の場所を示す地図を出力部に出力させる、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項9】
前記処理部は、前記複数の画像に基づく前記対象者の位置の推移、及び前記場所の推定結果に基づいて、前記対象者の各位置における滞在時間を表すヒートマップを出力部に出力させる、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項10】
前記処理部は、前記複数の画像に基づく前記対象者の位置の推移、及び前記場所の推定結果に基づいて、前記対象者の、時間帯ごとの所定の場所における滞在時間に係る情報を出力部に出力させる、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項11】
前記処理部は、前記複数の画像に基づく前記対象者の位置の推移、及び前記場所の推定結果に基づいて、前記対象者の、時間帯ごとの運動量に係る情報を出力部に出力させる、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項12】
前記処理部は、前記作業の推定結果に基づいて、前記対象者が各時間帯において行っていた作業の割合に係る情報を出力部に出力させる、
請求項４又は５に記載の情報処理装置。
請求項４又は５に記載の情報処理装置。
【請求項13】
前記処理部は、前記複数の画像に基づく前記対象者の位置の推移、及び前記場所の推定結果に基づいて、前記対象者の、各時間帯において最も長く滞在した場所に係る情報を出力部に出力させる、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項14】
前記処理部は、前記作業の推定結果に基づいて、前記対象者が行った作業の履歴に係る情報を出力部に出力させる、
請求項４又は５に記載の情報処理装置。
請求項４又は５に記載の情報処理装置。
【請求項15】
前記処理部は、前記複数の画像に基づく前記対象者の位置の推移、及び前記場所の推定結果に基づいて、前記対象者の、或る２地点間における部材の運搬回数及び運搬時間の少なくとも一方に係る情報を出力部に出力させる、
請求項１に記載の情報処理装置。
請求項１に記載の情報処理装置。
【請求項16】
前記処理部は、前記作業の推定結果に基づいて、前記対象者が行った作業の作業時間に係る情報を出力部に出力させる、
請求項４又は５に記載の情報処理装置。
請求項４又は５に記載の情報処理装置。
【請求項17】
前記処理部は、
前記撮像部により撮像された複数の画像を動画として取得し、
前記複数の画像に基づく前記対象者の位置の推移、及び前記場所の推定結果に基づいて、前記対象者による作業の異常を検出し、
前記撮像部により撮像された前記対象者の動画のうち、前記異常が生じた時点の動画を出力部に出力させる、
請求項１に記載の情報処理装置。
前記撮像部により撮像された複数の画像を動画として取得し、
前記複数の画像に基づく前記対象者の位置の推移、及び前記場所の推定結果に基づいて、前記対象者による作業の異常を検出し、
前記撮像部により撮像された前記対象者の動画のうち、前記異常が生じた時点の動画を出力部に出力させる、
請求項１に記載の情報処理装置。
【請求項18】
コンピュータに、
異なる複数の時点において撮像部により撮像された複数の画像を取得する処理、
取得した前記複数の画像の各々において対象者が写っているか否かを判定する処理、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出する処理、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者がいた場所を推定する処理、
を実行させるプログラム。
異なる複数の時点において撮像部により撮像された複数の画像を取得する処理、
取得した前記複数の画像の各々において対象者が写っているか否かを判定する処理、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出する処理、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者がいた場所を推定する処理、
を実行させるプログラム。
【請求項19】
コンピュータに、
異なる複数の時点において撮像部により撮像された複数の画像を取得する処理、
取得した前記複数の画像の各々において対象者が写っているか否かを判定する処理、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出する処理、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者が所定の場所にいたかを判定する処理、
を実行させるプログラム。
異なる複数の時点において撮像部により撮像された複数の画像を取得する処理、
取得した前記複数の画像の各々において対象者が写っているか否かを判定する処理、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出する処理、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者が所定の場所にいたかを判定する処理、
を実行させるプログラム。
【請求項20】
コンピュータが実行する情報処理方法であって、
異なる複数の時点において撮像部により撮像された複数の画像を取得し、
取得した前記複数の画像の各々において対象者が写っているか否かを判定し、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出し、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者がいた場所を推定する、
情報処理方法。
異なる複数の時点において撮像部により撮像された複数の画像を取得し、
取得した前記複数の画像の各々において対象者が写っているか否かを判定し、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出し、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者がいた場所を推定する、
情報処理方法。
【請求項21】
コンピュータが実行する情報処理方法であって、
異なる複数の時点において撮像部により撮像された複数の画像を取得し、
取得した前記複数の画像の各々において対象者が写っているか否かを判定し、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出し、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者が所定の場所にいたかを判定する、
情報処理装置方法。
異なる複数の時点において撮像部により撮像された複数の画像を取得し、
取得した前記複数の画像の各々において対象者が写っているか否かを判定し、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出し、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者が所定の場所にいたかを判定する、
情報処理装置方法。
【請求項22】
異なる複数の時点において撮像部により撮像された複数の画像を取得し、
取得した前記複数の画像の各々において対象者が写っているか否かを判定し、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出し、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者がいた場所を推定する、
処理部を備える情報処理システム。
取得した前記複数の画像の各々において対象者が写っているか否かを判定し、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出し、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者がいた場所を推定する、
処理部を備える情報処理システム。
【請求項23】
異なる複数の時点において撮像部により撮像された複数の画像を取得し、
取得した前記複数の画像の各々において対象者が写っているか否かを判定し、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出し、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者が所定の場所にいたかを判定する、
処理部を備える情報処理システム。
取得した前記複数の画像の各々において対象者が写っているか否かを判定し、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出し、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者が所定の場所にいたかを判定する、
処理部を備える情報処理システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、プログラム、情報処理方法及び情報処理システムに関する。
【背景技術】
【0002】
従来、カメラ等の撮像部により撮像された作業現場の撮像画像から、対象者が作業現場のどの位置にいるか判定する技術が知られている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１９７０６２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、作業現場を撮像する撮像部の撮像範囲から外れた対象者に対しては、上記技術は機能しないという問題があった。
【0005】
この発明は、撮像部の撮像範囲内か、撮像範囲外かによらずに対象者の行動を把握できるようにすることを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明に係る情報処理装置は、
異なる複数の時点において撮像部により撮像された複数の画像を取得し、
取得した前記複数の画像の各々において対象者が写っているか否かを判定し、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出し、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者がいた場所を推定する、
処理部を備える。
異なる複数の時点において撮像部により撮像された複数の画像を取得し、
取得した前記複数の画像の各々において対象者が写っているか否かを判定し、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出し、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者がいた場所を推定する、
処理部を備える。
【0007】
上記課題を解決するため、本発明に係る情報処理装置は、
異なる複数の時点において撮像部により撮像された複数の画像を取得し、
取得した前記複数の画像の各々において対象者が写っているか否かを判定し、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出し、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者が所定の場所にいたかを判定する、
処理部を備える。
異なる複数の時点において撮像部により撮像された複数の画像を取得し、
取得した前記複数の画像の各々において対象者が写っているか否かを判定し、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出し、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者が所定の場所にいたかを判定する、
処理部を備える。
【0008】
上記課題を解決するため、本発明に係るプログラムは、
コンピュータに、
異なる複数の時点において撮像部により撮像された複数の画像を取得する処理、
取得した前記複数の画像の各々において対象者が写っているか否かを判定する処理、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出する処理、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者がいた場所を推定する処理、
を実行させる。
コンピュータに、
異なる複数の時点において撮像部により撮像された複数の画像を取得する処理、
取得した前記複数の画像の各々において対象者が写っているか否かを判定する処理、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出する処理、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者がいた場所を推定する処理、
を実行させる。
【0009】
上記課題を解決するため、本発明に係るプログラムは、
コンピュータに、
異なる複数の時点において撮像部により撮像された複数の画像を取得する処理、
取得した前記複数の画像の各々において対象者が写っているか否かを判定する処理、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出する処理、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者が所定の場所にいたかを判定する処理、
を実行させる。
コンピュータに、
異なる複数の時点において撮像部により撮像された複数の画像を取得する処理、
取得した前記複数の画像の各々において対象者が写っているか否かを判定する処理、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出する処理、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者が所定の場所にいたかを判定する処理、
を実行させる。
【0010】
上記課題を解決するため、本発明に係る情報処理方法は、
コンピュータが実行する情報処理方法であって、
異なる複数の時点において撮像部により撮像された複数の画像を取得し、
取得した前記複数の画像の各々において対象者が写っているか否かを判定し、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出し、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者がいた場所を推定する。
コンピュータが実行する情報処理方法であって、
異なる複数の時点において撮像部により撮像された複数の画像を取得し、
取得した前記複数の画像の各々において対象者が写っているか否かを判定し、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出し、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者がいた場所を推定する。
【0011】
上記課題を解決するため、本発明に係る情報処理方法は、
コンピュータが実行する情報処理方法であって、
異なる複数の時点において撮像部により撮像された複数の画像を取得し、
取得した前記複数の画像の各々において対象者が写っているか否かを判定し、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出し、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者が所定の場所にいたかを判定する。
コンピュータが実行する情報処理方法であって、
異なる複数の時点において撮像部により撮像された複数の画像を取得し、
取得した前記複数の画像の各々において対象者が写っているか否かを判定し、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出し、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者が所定の場所にいたかを判定する。
【0012】
上記課題を解決するため、本発明に係る情報処理システムは、
異なる複数の時点において撮像部により撮像された複数の画像を取得し、
取得した前記複数の画像の各々において対象者が写っているか否かを判定し、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出し、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者がいた場所を推定する、
処理部を備える。
異なる複数の時点において撮像部により撮像された複数の画像を取得し、
取得した前記複数の画像の各々において対象者が写っているか否かを判定し、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出し、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者がいた場所を推定する、
処理部を備える。
【0013】
上記課題を解決するため、本発明に係る情報処理システムは、
異なる複数の時点において撮像部により撮像された複数の画像を取得し、
取得した前記複数の画像の各々において対象者が写っているか否かを判定し、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出し、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者が所定の場所にいたかを判定する、
処理部を備える。
異なる複数の時点において撮像部により撮像された複数の画像を取得し、
取得した前記複数の画像の各々において対象者が写っているか否かを判定し、
前記対象者が写っていると判定された各画像に対応する前記対象者の位置を導出し、
前記複数の画像のうち、或る期間に撮像された画像に前記対象者が写っていないと判定された場合には、前記期間の直前に撮像された第１画像に写っている前記対象者の位置に係る第１情報、前記期間の直後に撮像された第２画像に写っている前記対象者の位置に係る第２情報、及び前記期間の長さに係る第３情報に基づいて、前記期間において前記対象者が所定の場所にいたかを判定する、
処理部を備える。
【発明の効果】
【0014】
本発明によれば、撮像部の撮像範囲内か、撮像範囲外かによらずに対象者の行動を把握することができる。
【図面の簡単な説明】
【0015】
【図1】行動分析システムの機能構成を示すブロック図である。
【図2】工場のフロアを示す図である。
【図3】作業エリアマスタの内容例を示す図である。
【図4】作業者マスタの内容例を示す図である。
【図5】作業分類マスタの内容例を示す図である。
【図6】作業者が身に付けている識別マークを示す図である。
【図7】識別マークのバリエーションの例を示す図である。
【図8】座標算出部による作業者の位置の算出方法を説明する図である。
【図9】骨格の検出結果に基づく作業の判定方法を説明する図である。
【図10】作業者が未検出となる場合の例を示す図である。
【図11】行動分析処理の制御手順を示すフローチャートである。
【図12】作業判定処理の制御手順を示すフローチャートである。
【図13】行動データテーブルの例を示す図である。
【図14】集計テーブルの例を示す図である。
【図15】個別集計テーブルの例を示す図である。
【図16】ヒートマップの例を示す図である。
【図17】滞在時間・移動距離グラフの例を示す図である。
【図18】作業割合テーブルの例を示す図である。
【図19】代表滞在場所テーブルの例を示す図である。
【図20】タイムチャートの例を示す図である。
【図21】運搬回数・運搬時間グラフの例を示す図である。
【図22】分析円グラフの例を示す図である。
【発明を実施するための形態】
【0016】
以下、本発明の実施の形態を図面に基づいて説明する。
【0017】
＜作業分析システムの概要＞
図１は、行動分析システム１の機能構成を示すブロック図である。
行動分析システム１（情報処理システム）は、行動分析装置１０（情報処理装置）及びカメラ２０（撮像部、撮像装置）を備える。行動分析装置１０は、無線又は有線によりカメラ２０と通信接続されており、行動分析装置１０及びカメラ２０の間で、制御信号や画像データ等のデータの送受信を行うことが可能となっている。行動分析システム１は、２以上のカメラ２０を備えていてもよい。本実施形態のカメラ２０は、工場の内部に設置されており、工場における生産ラインで作業をしている作業者４０（対象者）の動画を撮像する。
図１は、行動分析システム１の機能構成を示すブロック図である。
行動分析システム１（情報処理システム）は、行動分析装置１０（情報処理装置）及びカメラ２０（撮像部、撮像装置）を備える。行動分析装置１０は、無線又は有線によりカメラ２０と通信接続されており、行動分析装置１０及びカメラ２０の間で、制御信号や画像データ等のデータの送受信を行うことが可能となっている。行動分析システム１は、２以上のカメラ２０を備えていてもよい。本実施形態のカメラ２０は、工場の内部に設置されており、工場における生産ラインで作業をしている作業者４０（対象者）の動画を撮像する。
【0018】
図２は、工場のフロア１００を示す図である。
フロア１００は、生産ラインが設けられた作業室２と、製品の製造に用いられる部材等が保管されている倉庫５と、作業室２及び倉庫５を繋ぐ通路６とを有する。以下では、図２に示すＸＹＺ直交座標系によりフロア１００内の位置を表す。Ｘ軸及びＹ軸は、作業室２の外形がなす矩形の辺に平行である。Ｚ軸は、鉛直方向に平行である。
フロア１００は、生産ラインが設けられた作業室２と、製品の製造に用いられる部材等が保管されている倉庫５と、作業室２及び倉庫５を繋ぐ通路６とを有する。以下では、図２に示すＸＹＺ直交座標系によりフロア１００内の位置を表す。Ｘ軸及びＹ軸は、作業室２の外形がなす矩形の辺に平行である。Ｚ軸は、鉛直方向に平行である。
【0019】
作業室２の内部は、工程エリア３及びサブエリア４に区分されている。詳しくは、サブエリア４は、作業室２のうち＋Ｘ方向側の端部を占める矩形の領域であり、工程エリア３は、サブエリア４の－Ｘ方向側に隣接する矩形の領域である。工程エリア３は、作業者４０が製品を製造する作業を行う場所であり、製造作業を行うための作業台５０が設置されている。サブエリア４には、製品の製造に用いられる部材や設備の一時保管場所などが設けられている。通路６は、サブエリア４の＋Ｙ方向側の端部から＋Ｙ方向に延びた後に－Ｘ方向に折れて倉庫５まで延在している。倉庫５は、工程エリア３の＋Ｙ方向側に離れて位置する矩形の領域である。
【0020】
作業室２には、２つのカメラ２０ａ、２０ｂが設置されている。また、倉庫５には、１つのカメラ２０ｃが設置されている。カメラ２０ａ～２０ｃは、互いに同期されている。すなわち、カメラ２０ａ～２０ｃは、同一のタイミングで撮像した画像に同一の撮像時刻が記録されるように調整されている。カメラ２０ａ～２０ｃは、それぞれ、カメラレンズの向きから放射線状に広がる台形の撮像範囲Ｒａ～Ｒｃを撮像する。図２では、撮像範囲Ｒａ～Ｒｃを破線で表している。カメラ２０ａ、２０ｂの撮像範囲Ｒａ、Ｒｂは、作業室２の大部分をカバーしているが、作業室２には、カメラ２０ａ、２０ｂのいずれの撮像範囲にも入っていない部分がある。また、カメラ２０ｃの撮像範囲Ｒｃは、倉庫５のほぼ全域をカバーしている。通路６にはカメラ２０が設けられていないため、通路６を通る作業者４０は、いずれのカメラ２０によっても撮像されない。
【0021】
フロア１００では、複数の作業者４０が作業を行う。各作業者４０には、それぞれ行う作業が割り当てられている。例えば、或る作業者４０は、工程エリア３の作業台５０において、製品の製造に係る作業を行う。また、或る作業者４０は、サブエリア４と倉庫５との間を往復しつつ、倉庫５に保管されている部材のうち製品の製造に必要な部材をサブエリア４に運搬する。また、或る作業者は、フロア１００内の各所に設けられている図示略の設備のオペレーションを行う。
【0022】
部材の運搬や設備のオペレーション等を行う作業者４０は、生産ラインを維持安定する重要な役割を担っている。しかしながら、フロア１００内を動き回る作業の特性上、工程エリア３において直接製造作業を行う作業者４０のように標準時間で作業を行うようになっておらず、効率よく作業が行われているか否かを判断することが極めて難しい。このため、様々な問題が発生し、非効率な作業になっている場合がある。
【0023】
本実施形態に係る行動分析システム１では、作業者４０のカメラ２０による撮像画像から作業者４０の作業を分析しつつ、カメラ２０の撮像範囲外にいる作業者４０の場所や作業も推定することで、カメラ２０の撮像範囲内、撮像範囲外によらず作業者４０の行動を把握して分析することが可能となっている。また、カメラ２０及び行動分析装置１０によりリアルタイムで行動データを収集・分析することで、人手に頼らない常時又は即時の行動分析を行うことが可能となっている。
【0024】
＜作業分析システムの構成＞
以下、図１を参照して行動分析装置１０及びカメラ２０の構成について説明する。
行動分析装置１０は、処理部１１（１以上の処理部、コンピュータ、制御部）と、記憶部１２と、表示部１３（出力部）と、通信部１４などを備える。行動分析装置１０の各部は、バス１５を介して接続されている。
以下、図１を参照して行動分析装置１０及びカメラ２０の構成について説明する。
行動分析装置１０は、処理部１１（１以上の処理部、コンピュータ、制御部）と、記憶部１２と、表示部１３（出力部）と、通信部１４などを備える。行動分析装置１０の各部は、バス１５を介して接続されている。
【0025】
処理部１１は、ＣＰＵ（Central Processing Unit）、及びＲＡＭ（Random Access Memory）などを備える。処理部１１は、記憶部１２に記憶されているプログラム１２１を読み出して実行し、各種演算処理を行うことで、行動分析装置１０の動作を制御する。なお、行動分析装置１０は、複数の処理部（例えば、複数のＣＰＵ）を有していてもよく、本実施形態の１つの処理部１１が実行する複数の処理を、これらの複数の処理部が分担して実行してもよい。この場合において、複数の処理部が共通の処理に関与してもよいし、あるいは、複数の処理部が独立に異なる処理を並列に実行してもよい。なお、処理部１１は、ＧＰＵ（Graphics Processing Unit）やタイマーなどをさらに備えていてもよい。
【0026】
処理部１１は、プログラム１２１に従って各種処理を実行することにより、マーク検出部１１１、骨格検出部１１２、作業判定部１１３、時刻算出部１１４、座標算出部１１５、未検出時刻算出部１１６、及び未検出行動推定部１１７などとして機能する。これらの各部の機能については後述する。
【0027】
記憶部１２は、コンピュータとしての処理部１１により読み取り可能な非一時的な記録媒体であり、プログラム１２１及び各種データを記憶する。記憶部１２は、例えばＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等の不揮発性メモリを含む。プログラム１２１は、コンピュータが読み取り可能なプログラムコードの形態で記憶部１２に格納されている。
【0028】
記憶部１２には、マーク検出モデル１２２、骨格検出モデル１２３、作業判定モデル１２４、及び行動推定モデル１２５が記憶されている。これらの機械学習モデルの詳細については後述する。
【0029】
また、記憶部１２には、行動データ領域１２６が設けられている。行動データ領域１２６には、作業者４０の作業及び行動の判定結果及び推定結果に係るデータ、及び当該判定結果及び推定結果に基づいて生成された各種分析データなどが記録される。また、行動データ領域１２６には、作業者４０の行動の判定、推定及び分析に用いられる作業エリアマスタ１２６１、作業者マスタ１２６２、作業分類マスタ１２６３等のデータベースが含まれる。
【0030】
図３は、作業エリアマスタ１２６１の内容例を示す図である。
フロア１００は、用途等に応じて複数の場所（エリア）に区分されている。作業エリアマスタ１２６１には、各場所の範囲及び名称が登録されている。
作業エリアマスタ１２６１の「場所ＩＤ」は、各場所に対応付けられている固有の符号である。
「開始座標」及び「終了座標」は、各場所を表すＸＹ平面に平行な矩形の範囲の、対角線のＸＹＺ座標を表す。なお、各場所は、必ずしも矩形でなくてもよく、例えば、凸型や凹型などであってもよい。
「作業場所名」は、各場所の名称である。
フロア１００は、用途等に応じて複数の場所（エリア）に区分されている。作業エリアマスタ１２６１には、各場所の範囲及び名称が登録されている。
作業エリアマスタ１２６１の「場所ＩＤ」は、各場所に対応付けられている固有の符号である。
「開始座標」及び「終了座標」は、各場所を表すＸＹ平面に平行な矩形の範囲の、対角線のＸＹＺ座標を表す。なお、各場所は、必ずしも矩形でなくてもよく、例えば、凸型や凹型などであってもよい。
「作業場所名」は、各場所の名称である。
【0031】
図４は、作業者マスタ１２６２の内容例を示す図である。
作業者マスタ１２６２には、フロア１００で作業を行う各作業者に割り当てられた作業場所が登録されている。
作業者マスタ１２６２の「マークＩＤ」は、各作業者４０に対応付けられている固有の符号である。後述するように、各作業者４０は、互いに異なる識別マーク６０（図６、７参照）を身に付けており、「マークＩＤ」は、当該識別マーク６０のパターンから特定される。
「メイン作業場所ＩＤ」は、各作業者４０が主に作業を行う場所（メイン作業場所）として割り当てられている（指示されている）作業場所の符号である。
「サブ作業場所ＩＤ」は、各作業者４０が付随的な作業を行う場所（サブ作業場所）として割り当てられている（指示されている）作業場所の符号である。なお、各作業者に、２以上のサブ作業場所が割り当てられていてもよい。この場合には、作業者マスタ１２６２において、サブ作業場所を表す列が追加される。
「メイン作業場所ＩＤ」及び「サブ作業場所ＩＤ」の符号は、作業エリアマスタ１２６１の「場所ＩＤ」に対応する。
作業者マスタ１２６２には、フロア１００で作業を行う各作業者に割り当てられた作業場所が登録されている。
作業者マスタ１２６２の「マークＩＤ」は、各作業者４０に対応付けられている固有の符号である。後述するように、各作業者４０は、互いに異なる識別マーク６０（図６、７参照）を身に付けており、「マークＩＤ」は、当該識別マーク６０のパターンから特定される。
「メイン作業場所ＩＤ」は、各作業者４０が主に作業を行う場所（メイン作業場所）として割り当てられている（指示されている）作業場所の符号である。
「サブ作業場所ＩＤ」は、各作業者４０が付随的な作業を行う場所（サブ作業場所）として割り当てられている（指示されている）作業場所の符号である。なお、各作業者に、２以上のサブ作業場所が割り当てられていてもよい。この場合には、作業者マスタ１２６２において、サブ作業場所を表す列が追加される。
「メイン作業場所ＩＤ」及び「サブ作業場所ＩＤ」の符号は、作業エリアマスタ１２６１の「場所ＩＤ」に対応する。
【0032】
図５は、作業分類マスタ１２６３の内容例を示す図である。
作業分類マスタ１２６３には、フロア１００において複数の作業者４０が行う種々の作業が分類されて登録されている。
作業分類マスタ１２６３の「作業ＩＤ」は、各作業に対応付けられている固有の符号である。
「作業分類」は、分類された各作業の名称である。ここでは、倉庫５等において部材を取り上げる「ピッキング」、倉庫５やサブエリア４等において部材の整理を行う「部材整理」、倉庫５等において部材の出庫を行う「出庫処理」、及び管理者や他の作業者からの相談や連絡の割り込みにより作業を中断していることを表す「相談・連絡」が例示されている。
「区分」は、各作業が属する区分を表す。本実施形態の「区分」は、主要な作業であることを表す「正味作業」、及び付随的な作業であることを表す「付随作業」のいずれかである。ここでは、「ピッキング」が「正味作業」に区分され、「部材整理」、「出庫処理」及び「相談・連絡」が「付随作業」に区分されている。
作業分類マスタ１２６３には、フロア１００において複数の作業者４０が行う種々の作業が分類されて登録されている。
作業分類マスタ１２６３の「作業ＩＤ」は、各作業に対応付けられている固有の符号である。
「作業分類」は、分類された各作業の名称である。ここでは、倉庫５等において部材を取り上げる「ピッキング」、倉庫５やサブエリア４等において部材の整理を行う「部材整理」、倉庫５等において部材の出庫を行う「出庫処理」、及び管理者や他の作業者からの相談や連絡の割り込みにより作業を中断していることを表す「相談・連絡」が例示されている。
「区分」は、各作業が属する区分を表す。本実施形態の「区分」は、主要な作業であることを表す「正味作業」、及び付随的な作業であることを表す「付随作業」のいずれかである。ここでは、「ピッキング」が「正味作業」に区分され、「部材整理」、「出庫処理」及び「相談・連絡」が「付随作業」に区分されている。
【0033】
図１に戻り、記憶部１２には、画像データ領域１２７が設けられている。画像データ領域１２７は、カメラ２０により撮像されてカメラ２０から送信された動画に係る画像データが記録される。当該動画に係る画像データは、動画を構成する複数の撮像画像３０（フレーム画像）の画像データを含む。
【0034】
表示部１３は、液晶ディスプレイなどの表示装置を備え、処理部１１からの表示制御信号に従って表示装置において各種表示を行う。
【0035】
通信部１４は、ネットワークカード又は通信モジュール等により構成され、カメラ２０や図示しない外部装置との間で所定の通信規格に従ってデータの送受信を行う。
【0036】
カメラ２０は、所定のフレームレート（例えば、３０ｆｐｓ）で動画を撮像し、その画像データを行動分析装置１０に送信する。カメラ２０は、カラーの動画を撮像するものであってもよいし、モノクロの動画を撮像するものであってもよい。また、カメラ２０による撮像解像度は、後述する分析点４１を適切に検出可能な範囲であれば特に限定されない。
【0037】
＜作業分析システムの動作＞
（動作の概要）
次に、行動分析システム１の動作について説明する。
行動分析システム１の行動分析装置１０による、作業者４０の行動の分析に関する動作の概要は、以下のとおりである。
行動分析装置１０は、まず、カメラ２０により撮像された動画の各撮像画像３０（フレーム画像）の画像データを取得する。そして、取得した撮像画像３０の画像データにおいて作業者４０を検出し、作業者４０を識別する。以下では、「撮像画像３０の画像データ」を、単に「撮像画像３０」とも記す。
次に、撮像画像３０における作業者４０の座標（図８におけるｘｙ座標）から、フロア１００において作業者４０が位置するＸＹＺ座標を算出する。また、算出した作業者４０の位置等に基づいて、作業者４０が行っている作業を判定する。作業の判定は、後述するように作業者４０の骨格データに基づいてさらに詳細に行ってもよい。
検出された作業者４０が、それ以前の或る期間（以下、「未検出期間」と記す）の撮像画像３０から検出されていなかった場合には、未検出期間の直前及び直後に撮像された撮像画像３０に基づいて、未検出期間において作業者４０がいた場所を推定する。また、推定された場所等に基づいて、未検出期間において作業者４０が行っていた作業を推定する。
また、作業者４０の位置の算出結果、場所の推定結果、並びに作業者４０が行っていた作業の判定結果及び推定結果を、撮像画像３０が撮像された時刻と対応付けて、行動データ領域１２６に行動データとして記録、蓄積していく。
行動データ領域１２６に作業データが蓄積されると、行動データに基づいて、作業者４０の行動に係る各種分析を行い、分析結果に係る情報を表示部１３に表示する。
以下、これらの動作の詳細について説明する。
（動作の概要）
次に、行動分析システム１の動作について説明する。
行動分析システム１の行動分析装置１０による、作業者４０の行動の分析に関する動作の概要は、以下のとおりである。
行動分析装置１０は、まず、カメラ２０により撮像された動画の各撮像画像３０（フレーム画像）の画像データを取得する。そして、取得した撮像画像３０の画像データにおいて作業者４０を検出し、作業者４０を識別する。以下では、「撮像画像３０の画像データ」を、単に「撮像画像３０」とも記す。
次に、撮像画像３０における作業者４０の座標（図８におけるｘｙ座標）から、フロア１００において作業者４０が位置するＸＹＺ座標を算出する。また、算出した作業者４０の位置等に基づいて、作業者４０が行っている作業を判定する。作業の判定は、後述するように作業者４０の骨格データに基づいてさらに詳細に行ってもよい。
検出された作業者４０が、それ以前の或る期間（以下、「未検出期間」と記す）の撮像画像３０から検出されていなかった場合には、未検出期間の直前及び直後に撮像された撮像画像３０に基づいて、未検出期間において作業者４０がいた場所を推定する。また、推定された場所等に基づいて、未検出期間において作業者４０が行っていた作業を推定する。
また、作業者４０の位置の算出結果、場所の推定結果、並びに作業者４０が行っていた作業の判定結果及び推定結果を、撮像画像３０が撮像された時刻と対応付けて、行動データ領域１２６に行動データとして記録、蓄積していく。
行動データ領域１２６に作業データが蓄積されると、行動データに基づいて、作業者４０の行動に係る各種分析を行い、分析結果に係る情報を表示部１３に表示する。
以下、これらの動作の詳細について説明する。
【0038】
（作業者４０の検出及び識別）
まず、作業者４０の検出及び識別に係る動作について説明する。
作業者４０の検出及び識別は、作業者４０を撮像した撮像画像３０において、作業者４０が身に付けている識別マーク６０ａ、６０ｂ（識別標識）をマーク検出モデル１２２により検出することにより行われる。
まず、作業者４０の検出及び識別に係る動作について説明する。
作業者４０の検出及び識別は、作業者４０を撮像した撮像画像３０において、作業者４０が身に付けている識別マーク６０ａ、６０ｂ（識別標識）をマーク検出モデル１２２により検出することにより行われる。
【0039】
図６は、作業者４０が身に付けている識別マーク６０ａ、６０ｂを示す図である。
識別マーク６０ａ、６０ｂは、表面に所定のパターンが描かれた帯状の部材である。識別マーク６０ａは、作業者４０の頭部、又は作業者４０が被っている帽子に巻かれている、鉢巻き状の帯状部材である。識別マーク６０ｂは、作業者４０の上腕部に巻かれている腕章である。作業者４０は、識別マーク６０ａ、６０ｂの少なくとも一方を装着して作業を行う。以下では、識別マーク６０ａ、６０ｂの任意の一方を指す場合には「識別マーク６０」と記す。識別マーク６０は、作業エリアを動き回る作業者４０がどのような位置、向き及び姿勢であってもカメラ２０に写るように、大きさ、幅、及びパターンが定められている。なお、帽子に識別マーク６０ａを付す場合には、帽子の側面を一周する帯状の識別マーク６０ａに加えて、帽子の頭頂部にも同一パターンの識別マークを付してもよい。
識別マーク６０ａ、６０ｂは、表面に所定のパターンが描かれた帯状の部材である。識別マーク６０ａは、作業者４０の頭部、又は作業者４０が被っている帽子に巻かれている、鉢巻き状の帯状部材である。識別マーク６０ｂは、作業者４０の上腕部に巻かれている腕章である。作業者４０は、識別マーク６０ａ、６０ｂの少なくとも一方を装着して作業を行う。以下では、識別マーク６０ａ、６０ｂの任意の一方を指す場合には「識別マーク６０」と記す。識別マーク６０は、作業エリアを動き回る作業者４０がどのような位置、向き及び姿勢であってもカメラ２０に写るように、大きさ、幅、及びパターンが定められている。なお、帽子に識別マーク６０ａを付す場合には、帽子の側面を一周する帯状の識別マーク６０ａに加えて、帽子の頭頂部にも同一パターンの識別マークを付してもよい。
【0040】
図７は、識別マーク６０のバリエーションの例を示す図である。
図７に示すように、本実施形態では、互いに異なるパターンが描かれた複数種類の識別マーク６０が用意されている。本実施形態の識別マーク６０の複数のパターンは、複数の円を含み、円の色、円の大きさ、及び円の背景の色のうちの少なくとも一部が互いに異なる。各作業者４０は、パターンが互いに異なる識別マーク６０を身に付ける。複数種類の識別マーク６０の各々には、固有のマークＩＤ（「Ａ」、「Ｂ」、「Ｃ」、…）が対応付けられている。なお、識別マーク６０のパターンは図７に示すものに限られず、互いに区別することが可能な任意のパターンとすることができる。
図７に示すように、本実施形態では、互いに異なるパターンが描かれた複数種類の識別マーク６０が用意されている。本実施形態の識別マーク６０の複数のパターンは、複数の円を含み、円の色、円の大きさ、及び円の背景の色のうちの少なくとも一部が互いに異なる。各作業者４０は、パターンが互いに異なる識別マーク６０を身に付ける。複数種類の識別マーク６０の各々には、固有のマークＩＤ（「Ａ」、「Ｂ」、「Ｃ」、…）が対応付けられている。なお、識別マーク６０のパターンは図７に示すものに限られず、互いに区別することが可能な任意のパターンとすることができる。
【0041】
処理部１１のマーク検出部１１１は、取得した撮像画像３０に写っている識別マーク６０を検出する。詳しくは、マーク検出部１１１は、マーク検出モデル１２２を用いて識別マーク６０を検出する。マーク検出モデル１２２は、マーク検出部１１１から撮像画像３０の画像データが入力されると、撮像画像３０に含まれる識別マーク６０のパターンを認識し、撮像画像３０における識別マーク６０の位置（撮像画像３０におけるｘｙ座標）、及び識別マーク６０のマークＩＤを出力する機械学習モデルである。
【0042】
なお、識別マーク６０に代えて、作業者４０の顔や骨格などの身体的特徴から作業者４０を識別してもよい。
また、作業者４０がほぼ固定の位置で作業する場合は、識別マーク６０を身に付けなくても当該作業者４０を特定できるため、識別マーク６０を省略してもよい。
また、作業者４０がほぼ固定の位置で作業する場合は、識別マーク６０を身に付けなくても当該作業者４０を特定できるため、識別マーク６０を省略してもよい。
【0043】
また、処理部１１の時刻算出部１１４は、マーク検出部１１１が作業者４０を検出した撮像画像３０の撮像時刻を算出する。リアルタイムに動画から撮像画像３０を取り込んでいる場合は、時刻算出部１１４は、処理部１１のタイマーから得た時刻を取得する。過去に撮像されて記憶部１２に保存された動画の撮像画像３０であれば、時刻算出部１１４は、撮像開始時刻からの経過時間を算出する。
【0044】
（作業者４０の位置の算出）
次に、作業者４０の位置を算出（導出）する動作について説明する。作業者４０の位置の算出は、処理部１１の座標算出部１１５により行われる。
図８は、座標算出部１１５による作業者４０の位置の算出方法を説明する図である。
図８の上段は、カメラ２０により撮像された動画の或る撮像画像３０（フレーム画像）を表す。撮像画像３０内の画素の位置は、図８に示すｘ軸及びｙ軸を座標軸とするｘｙ座標により表される。
図８の下段は、上段の撮像画像３０の撮像時におけるフロア１００（ここでは、作業室２）を＋Ｚ方向から見た図に相当する。図８の上段における撮像画像３０には、下段における台形状の撮像範囲Ｒａが写っている。
次に、作業者４０の位置を算出（導出）する動作について説明する。作業者４０の位置の算出は、処理部１１の座標算出部１１５により行われる。
図８は、座標算出部１１５による作業者４０の位置の算出方法を説明する図である。
図８の上段は、カメラ２０により撮像された動画の或る撮像画像３０（フレーム画像）を表す。撮像画像３０内の画素の位置は、図８に示すｘ軸及びｙ軸を座標軸とするｘｙ座標により表される。
図８の下段は、上段の撮像画像３０の撮像時におけるフロア１００（ここでは、作業室２）を＋Ｚ方向から見た図に相当する。図８の上段における撮像画像３０には、下段における台形状の撮像範囲Ｒａが写っている。
【0045】
座標算出部１１５は、まず、撮像画像３０における作業者４０の位置座標ｐ（ｘ，ｙ）を特定する。次に、座標算出部１１５は、撮像画像３０における作業者４０の位置座標ｐ（ｘ，ｙ）を、フロア１００におけるＸＹＺ座標系に変換（ホモグラフィ変換）し、図８の下段に示す作業者４０の位置座標Ｐ（Ｘ，Ｙ，Ｘ）を算出する。Ｚ座標は、フロア１００の階数（１階、２階、…）を表すこととしてもよい。
【0046】
（作業者４０の作業の判定）
次に、撮像画像３０に写っている作業者４０の作業を判定する動作について説明する。作業の判定は、処理部１１の作業判定部１１３により行われる。
作業判定部１１３は、例えば、座標算出部１１５により算出された作業者４０の位置座標Ｐ、及び当該位置座標Ｐが属する作業場所に基づいて、当該作業場所に対応する作業（当該作業場所にいる作業者４０が行う作業として予め定められている作業）を、作業者４０が行っている作業として判定する。例えば、作業者４０が倉庫５にいる場合には、部材の「ピッキング」の作業を行っていると判定してもよい。また、作業判定部１１３は、撮像画像３０に基づいて、作業者４０が部材等を持っているか否かを判定し、当該判定の結果を作業の判定に反映させてもよい。例えば、作業者４０が倉庫５にいる場合において、作業者４０が部材を持っている場合には「ピッキング」の作業を行っていると判定し、部材を持っていない場合には「部材整理」の作業を行っていると判定してもよい。
次に、撮像画像３０に写っている作業者４０の作業を判定する動作について説明する。作業の判定は、処理部１１の作業判定部１１３により行われる。
作業判定部１１３は、例えば、座標算出部１１５により算出された作業者４０の位置座標Ｐ、及び当該位置座標Ｐが属する作業場所に基づいて、当該作業場所に対応する作業（当該作業場所にいる作業者４０が行う作業として予め定められている作業）を、作業者４０が行っている作業として判定する。例えば、作業者４０が倉庫５にいる場合には、部材の「ピッキング」の作業を行っていると判定してもよい。また、作業判定部１１３は、撮像画像３０に基づいて、作業者４０が部材等を持っているか否かを判定し、当該判定の結果を作業の判定に反映させてもよい。例えば、作業者４０が倉庫５にいる場合において、作業者４０が部材を持っている場合には「ピッキング」の作業を行っていると判定し、部材を持っていない場合には「部材整理」の作業を行っていると判定してもよい。
【0047】
また、作業判定部１１３は、撮像画像３０から検出された作業者４０の骨格の動きに基づいて作業を判定してもよい。以下、この場合の判定方法について詳細に説明する。
【0048】
図９は、骨格の検出結果に基づく作業の判定方法を説明する図である。
作業者４０の骨格の検出は、処理部１１の骨格検出部１１２により行われる。骨格検出部１１２は、撮像画像３０の画像データのうち、検出した作業者４０に対応する部分を骨格検出モデル１２３に入力することで、作業者４０の骨格を検出する。骨格検出モデル１２３は、骨格検出部１１２から、撮像画像３０の画像データのうち作業者４０に対応する部分が入力されると、作業者４０の複数の部位に対応する複数の分析点４１を検出し、分析点４１の位置（座標）を出力する機械学習モデルである。これらの分析点４１から、分析点４１を繋ぐ軸線４２を特定し、後述する作業の判定において当該軸線４２の情報をさらに加味してもよい。撮像画像３０において複数の作業者４０が検出されている場合には、骨格検出部１１２は、作業者４０ごとに骨格を検出する。
作業者４０の骨格の検出は、処理部１１の骨格検出部１１２により行われる。骨格検出部１１２は、撮像画像３０の画像データのうち、検出した作業者４０に対応する部分を骨格検出モデル１２３に入力することで、作業者４０の骨格を検出する。骨格検出モデル１２３は、骨格検出部１１２から、撮像画像３０の画像データのうち作業者４０に対応する部分が入力されると、作業者４０の複数の部位に対応する複数の分析点４１を検出し、分析点４１の位置（座標）を出力する機械学習モデルである。これらの分析点４１から、分析点４１を繋ぐ軸線４２を特定し、後述する作業の判定において当該軸線４２の情報をさらに加味してもよい。撮像画像３０において複数の作業者４０が検出されている場合には、骨格検出部１１２は、作業者４０ごとに骨格を検出する。
【0049】
図９には、分析点４１及び軸線４２の例が示されている。本実施形態においては、作業者４０の１８箇所の部位（複数の部位）についてそれぞれ分析点４１が検出される。１８箇所の部位は、例えば、両目、両耳、鼻、のど、両肩、両肘、両手、左右の脚の付け根、両膝、両足首である。ただし、分析点４１の位置及び数はこれに限定されない。上記の１８箇所の部位のうち、撮像画像３０に写っていない部位については分析点４１の検出が省略される。
【0050】
本明細書では、作業者４０の複数の分析点４１を検出することを、「骨格の検出」と記し、検出された分析点４１の座標を含むデータを「骨格データｄ」（図９の骨格データｄ１～ｄ７）と記す。骨格データｄには、軸線４２の位置、長さ及び向きの情報が含まれていてもよい。
【0051】
作業判定部１１３は、骨格データｄに基づいて作業の判定を行う。作業判定部１１３は、最新の所定フレーム数の撮像画像３０からなる撮像画像群３０Ｇにおける、各撮像画像３０についての骨格データｄを、作業判定モデル１２４に入力する。本実施形態においては、所定フレーム数は「６」である。作業判定部１１３は、例えば図９の上段に示すように、撮像画像群３０Ｇを構成する１～６フレームの撮像画像３０から、骨格データｄ１～ｄ６を取得し、これらを結合して骨格データ結合Ｄを生成する。作業判定部１１３は、この骨格データ結合Ｄを作業判定モデル１２４に入力する。なお、「所定フレーム数」は、５フレーム以下、又は７フレーム以上であってもよい。
【0052】
作業判定モデル１２４は、或る撮像画像群３０Ｇの各撮像画像３０から抽出された複数の分析点４１を入力することによって、当該或る画像群に含まれるいずれかの撮像画像３０の撮像時において作業者４０が行っていた作業の判定結果を出力するように機械学習された機械学習モデルである。よって、作業判定部１１３から骨格データ結合Ｄ（撮像画像群３０Ｇから検出された複数の分析点４１の情報）が作業判定モデル１２４に入力されると、作業判定モデル１２４は、撮像画像群３０Ｇにおける複数の分析点４１の時系列変化に基づいて、製品を製造するための工程に含まれる複数の作業のうち、撮像画像群３０Ｇに含まれるいずれかの撮像画像３０の撮像時において作業者４０が行っていた作業を判定する。本実施形態では、作業判定モデル１２４は、撮像画像群３０Ｇに含まれる複数の撮像画像３０のうち、最後に撮像された（最新の）撮像画像３０の撮像時において作業者４０が行っていた作業を判定する。なお、作業判定モデル１２４は、撮像画像群３０Ｇに含まれる、最後の撮像画像３０以外のいずれかの撮像画像３０（例えば、中間の撮像画像３０や、最初の撮像画像３０）の撮像時において作業者４０が行っていた作業を判定してもよい。
【0053】
作業判定モデル１２４のコアとなる判定ロジックには、ＬＳＴＭ（Long Short Term Memory）が用いられている。ＬＳＴＭは、ディープニューラルネットワークのアルゴリズムの一つであり、ネットワーク内部での短期記憶を長期間活用可能な構造を持つ。よって、ＬＳＴＭを用いることで、過去の時系列データを加味して作業を判定することができる。本実施形態のＬＳＴＭは、６フレーム分の骨格データｄからなる骨格データ結合Ｄを学習データとして、作業者４０の作業の判定結果（例えば、作業ＩＤ）を出力するように機械学習されている。
【0054】
また、６フレーム分の撮像画像３０のうち一部で骨格が検出されなかった場合には、当該撮像画像３０についての骨格データｄを、骨格に係る情報を含まない未検出データ（ブランクデータ、ダミーデータ）としても、作業判定モデル１２４は、残りのフレームの骨格データｄから作業を判定できるようになっている。図９の上段に示す例では、骨格データｄ３、ｄ５が未検出データとなっているが、残りの骨格データｄ１、ｄ２、ｄ４、ｄ６から作業を判定することができる。
【0055】
図９の上段に示すように、１～６フレームの撮像画像３０からなる撮像画像群３０Ｇに基づいて、６フレーム目の撮像画像３０の撮像時における作業者４０の作業が判定されると（Ｎ回目の判定とする）、次のフレームでは、図９の下段に示すように、２～７フレームの撮像画像３０からなる撮像画像群３０Ｇに基づいて、７フレーム目の撮像画像３０の撮像時における作業者４０の作業が判定される（Ｎ＋１回目の判定とする）。すなわち、Ｎ回目の作業の判定に用いた撮像画像群３０Ｇのうち、最も古い撮像画像３０（１フレーム目）が除外されるとともに、最新の撮像画像３０（７フレーム目）が撮像画像群３０Ｇに加えられる。そして、２～７フレームの撮像画像３０からそれぞれ骨格データｄ２～ｄ７が取得され、骨格データ結合Ｄが生成されて、作業判定モデル１２４に入力される。このように、作業判定部１１３及び作業判定モデル１２４は、構成する骨格データｄを所定数のフレームずつ（本実施形態では、１フレームずつ）シフトさせた骨格データ結合Ｄに基づいて、各回の作業を判定する。言い換えると、作業判定部１１３及び作業判定モデル１２４は、構成する撮像画像３０を所定フレームずつシフトさせた撮像画像群３０Ｇに基づいて、各回の作業を判定する。１フレームごとに作業の判定を行うことで、判定のロバスト性が期待できる。
【0056】
また、作業判定モデル１２４は、その学習時にも、作業の判定時と同様に、構成する骨格データｄを所定数のフレームずつ（本実施形態では、１フレームずつ）シフトさせた複数の骨格データ結合Ｄを学習データとして機械学習されている。言い換えると、作業判定モデル１２４は、構成する撮像画像３０を所定数のフレームずつシフトさせた複数の撮像画像群３０Ｇからそれぞれ生成した骨格データ結合Ｄを学習データとして用いて機械学習されている。このように、学習データ群自体についてもデータ間で時系列的な特徴を持たせ、このデータ群を学習させることで、時系列的な変化に対し分類精度を高めている。
すなわち、時系列変化に基づく判定を行うＬＳＴＭを用いるとともに、ＬＳＴＭの学習データにも時系列的な特徴をもたせることで、２重の時系列的変化への対応により分類精度を高めている。
すなわち、時系列変化に基づく判定を行うＬＳＴＭを用いるとともに、ＬＳＴＭの学習データにも時系列的な特徴をもたせることで、２重の時系列的変化への対応により分類精度を高めている。
【0057】
なお、上記の「所定数のフレーム」は、１フレームに限られず、２フレーム以上としてもよい。
また、ＬＳＴＭに代えて、ＲＮＮ（回帰型ニューラルネットワーク）やＴｒａｎｓｆｏｒｍｅｒなどの、時系列データを加味した判定（推定）を行うことが可能な他の判定ロジックを用いてもよい。
また、ＬＳＴＭに代えて、ＲＮＮ（回帰型ニューラルネットワーク）やＴｒａｎｓｆｏｒｍｅｒなどの、時系列データを加味した判定（推定）を行うことが可能な他の判定ロジックを用いてもよい。
【0058】
（未検出の作業者４０の行動の推定）
次に、未検出期間において未検出であり、その後、撮像画像３０において検出された作業者４０の、未検出期間における行動を推定する動作について説明する。未検出の作業者４０の行動の推定は、処理部１１の未検出時刻算出部１１６及び未検出行動推定部１１７により行われる。行動の推定は、未検出の作業者４０が未検出期間に所定の場所にいたか否かの判定を含んでいてもよい。また、行動の推定は、未検出の作業者４０が未検出期間にいた場所の推定を含んでいてもよい。さらに、行動の推定は、未検出期間において作業者４０が行っていた作業の推定を含んでいてもよい。ここで、判定又は推定される「場所」は、例えば、作業エリアマスタ１２６１において登録されている作業場所のいずれかであってもよい。作業者４０が未検出期間にいた場所の推定は、作業者４０が未検出期間にいた座標の推定を含んでいてもよい。
次に、未検出期間において未検出であり、その後、撮像画像３０において検出された作業者４０の、未検出期間における行動を推定する動作について説明する。未検出の作業者４０の行動の推定は、処理部１１の未検出時刻算出部１１６及び未検出行動推定部１１７により行われる。行動の推定は、未検出の作業者４０が未検出期間に所定の場所にいたか否かの判定を含んでいてもよい。また、行動の推定は、未検出の作業者４０が未検出期間にいた場所の推定を含んでいてもよい。さらに、行動の推定は、未検出期間において作業者４０が行っていた作業の推定を含んでいてもよい。ここで、判定又は推定される「場所」は、例えば、作業エリアマスタ１２６１において登録されている作業場所のいずれかであってもよい。作業者４０が未検出期間にいた場所の推定は、作業者４０が未検出期間にいた座標の推定を含んでいてもよい。
【0059】
図１０は、作業者４０が未検出となる場合の例を示す図である。
図１０では、作業者４０がサブエリア４内の位置Ｐ１から、通路６内の位置Ｐ２、Ｐ３、Ｐ４を通って倉庫５内の位置Ｐ５まで移動した場合が例示されている。以下では、作業者４０が位置Ｐ１～Ｐ５にいた時刻を、それぞれ時刻Ｔ１～Ｔ５とする。このうち時刻Ｔ１は、作業者４０が通路６に入る直前であるものとする。また、時刻Ｔ２は、作業者４０が通路６に入った直後であるものとする。また、時刻Ｔ４は、作業者４０が倉庫５に入る直前であるものとする。また、時刻Ｔ５は、作業者４０が倉庫５に入った直後であるものとする。
図１０では、作業者４０がサブエリア４内の位置Ｐ１から、通路６内の位置Ｐ２、Ｐ３、Ｐ４を通って倉庫５内の位置Ｐ５まで移動した場合が例示されている。以下では、作業者４０が位置Ｐ１～Ｐ５にいた時刻を、それぞれ時刻Ｔ１～Ｔ５とする。このうち時刻Ｔ１は、作業者４０が通路６に入る直前であるものとする。また、時刻Ｔ２は、作業者４０が通路６に入った直後であるものとする。また、時刻Ｔ４は、作業者４０が倉庫５に入る直前であるものとする。また、時刻Ｔ５は、作業者４０が倉庫５に入った直後であるものとする。
【0060】
図１０に示すように、サブエリア４内の位置Ｐ１は、カメラ２０ｂの撮像範囲Ｒｂに含まれるため、時刻Ｔ１において位置Ｐ１にいる作業者４０は、カメラ２０ｂにより撮像される。以下では、時刻Ｔ１においてカメラ２０ｂにより撮像された撮像画像３０を、第１撮像画像３０１と記す。図１０では、便宜上、カメラ２０ｂによる撮影範囲Ｒｂにより第１撮像画像３０１を表している。また、倉庫５内の位置Ｐ５は、カメラ２０ｃの撮像範囲Ｒｃに含まれるため、時刻Ｔ５において位置Ｐ５にいる作業者４０は、カメラ２０ｃにより撮像される。以下では、時刻Ｔ５においてカメラ２０ｃにより撮像された撮像画像３０を、第２撮像画像３０２と記す。図１０では、便宜上、カメラ２０ｃによる撮影範囲Ｒｃにより第２撮像画像３０２を表している。一方、通路６内の位置Ｐ２～Ｐ４は、いずれのカメラ２０の撮像範囲にも入っていないため、通路６を通っている時刻Ｔ２～Ｔ４の間、作業者４０は、いずれのカメラ２０にも撮像されない。
【0061】
この例において、カメラ２０ｃにより時刻Ｔ５において撮像された第２撮像画像３０２から、位置Ｐ５にいる作業者４０が検出されたものとする。この作業者４０は、これより前の一定期間（通路６を移動していた時刻Ｔ２～Ｔ４の期間）には、いずれのカメラ２０による撮像画像３０からも検出されない。そこで、未検出時刻算出部１１６は、まず、当該作業者４０が未検出となっていた未検出期間を算出する。図１０に示す例では、作業者４０が、時刻Ｔ１においてカメラ２０ｂにより撮像された第１撮像画像３０１、及び時刻Ｔ５においてカメラ２０ｃにより撮像された第２撮像画像３０２に写っており、その間の時刻Ｔ２～Ｔ４においていずれのカメラ２０にも撮像されていないことから、未検出時刻算出部１１６は、未検出期間が時刻Ｔ２から時刻Ｔ４までであると特定する。また、未検出時刻算出部１１６は、未検出期間の長さΔＴ（ΔＴは、時刻Ｔ４と時刻Ｔ２との差分）を算出する。上述のとおり、カメラ２０ａ～２０ｃは互いに同期されているため、各カメラによる各画像の撮像時刻に基づいて、このように未検出期間を特定することができ、また、未検出期間の長さを算出することができる。第１撮像画像３０１は、未検出期間（或る期間）の直前に撮像された第１画像に相当し、第２撮像画像３０２は、未検出期間（或る期間）の直後に撮像された第２画像に相当する。
【0062】
次に、未検出行動推定部１１７は、第１撮像画像３０１に写っている作業者４０の時刻Ｔ１における位置Ｐ１（第１情報）、第２撮像画像３０２に写っている作業者４０の時刻Ｔ５における位置Ｐ５（第２情報）、及び未検出期間の長さΔＴ（第３情報）に基づいて、未検出期間において作業者４０がいた場所を推定する。図１０に示す例では、時刻Ｔ１における位置Ｐ１と、時刻Ｔ５における位置Ｐ５との間にある領域であって、いずれのカメラ２０にも撮像されない領域は通路６であるので、未検出行動推定部１１７は、未検出期間において作業者４０が通路６を移動していたと推定する。また、通路６の長さと、未検出期間の長さとから、未検出期間の各時刻において作業者４０がいた位置を推定してもよい。また、位置Ｐ１と位置Ｐ５との間に、互いに異なる長さの複数の経路がある場合に、未検出期間の長さに基づいて、複数の経路のうち作業者４０が通った移動経路を推定してもよい。この場合において、未検出期間の長さが長いほど、距離の長い通路を通ったものと推定してもよい。
【0063】
また、未検出行動推定部１１７は、時刻Ｔ１における作業者４０の位置Ｐ１、時刻Ｔ５における作業者４０の位置Ｐ５、及び未検出期間の長さΔＴの各情報を行動推定モデル１２５に入力することによって、未検出期間に作業者４０がいた場所を推定してもよい。行動推定モデル１２５は、或る未検出期間の直前における或る作業者４０の位置に係る情報、当該未検出期間の直後における当該作業者４０の位置に係る情報、及び当該未検出期間の長さに係る情報を入力することによって、当該未検出期間において当該作業者４０がいた場所の推定結果を出力するように機械学習された機械学習モデルである。よって、図１０に示す例では、時刻Ｔ１における作業者４０の位置Ｐ１、時刻Ｔ５における作業者４０の位置Ｐ５、及び未検出期間の長さΔＴの各情報が行動推定モデル１２５に入力されると、行動推定モデル１２５は、入力された各情報に基づいて、未検出期間において作業者４０がいた場所の推定結果として「通路６」を出力する。
【0064】
また、未検出行動推定部１１７は、時刻Ｔ１における作業者４０の位置Ｐ１、時刻Ｔ５における作業者４０の位置Ｐ５、及び未検出期間の長さΔＴに基づいて、未検出期間において作業者４０が行っていた作業を推定する。例えば、未検出行動推定部１１７は、未検出期間において作業者４０がいた場所に予め対応付けられている作業を、作業者４０が行っていた作業として推定してもよい。図１０に示す例において、作業者４０は、倉庫５に保管されている部材をサブエリア４に運搬するためにサブエリア４と倉庫５との間を移動する。このため、作業者４０がサブエリア４から通路６を通って倉庫５に移動した場合における通路６には、作業としての「移動」が対応付けられている。また、作業者４０が倉庫５から通路６を通ってサブエリア４に移動した場合における通路６には、作業としての部材の「運搬」が対応付けられている。よって、時刻Ｔ１に位置Ｐ１にいた作業者４０が、時刻Ｔ５に位置Ｔ５に移動した場合には、未検出行動推定部１１７は、作業者４０が行っていた作業を「移動」と推定する。
あるいは、未検出行動推定部１１７は、時刻Ｔ１における作業者４０の位置Ｐ１、時刻Ｔ５における作業者４０の位置Ｐ５に基づいて、未検出期間において作業者４０が行っていた作業を確率的に推定（分類）してもよい。具体的には、未検出行動推定部１１７は、未検出期間において作業者４０が行い得る複数の作業の各々について、各作業を行っていた確率を算出し、最も確率の高い作業を、未検出期間において作業者４０が行っていた作業として推定してもよい。確率の算出には、作業者マスタ１２６２の内容、作業者４０の属性、及び／又は、位置Ｐ１と位置Ｐ５との間にある通路や部屋に対応付けられている作業等がパラメータとして用いられてもよい。
あるいは、未検出行動推定部１１７は、時刻Ｔ１における作業者４０の位置Ｐ１、時刻Ｔ５における作業者４０の位置Ｐ５に基づいて、未検出期間において作業者４０が行っていた作業を確率的に推定（分類）してもよい。具体的には、未検出行動推定部１１７は、未検出期間において作業者４０が行い得る複数の作業の各々について、各作業を行っていた確率を算出し、最も確率の高い作業を、未検出期間において作業者４０が行っていた作業として推定してもよい。確率の算出には、作業者マスタ１２６２の内容、作業者４０の属性、及び／又は、位置Ｐ１と位置Ｐ５との間にある通路や部屋に対応付けられている作業等がパラメータとして用いられてもよい。
【0065】
また、未検出行動推定部１１７は、時刻Ｔ１における作業者４０の位置Ｐ１、時刻Ｔ５における作業者４０の位置Ｐ５、及び未検出期間の長さΔＴの各情報を行動推定モデル１２５に入力することによって、未検出期間に作業者４０が行っていた作業を推定してもよい。この場合、行動推定モデル１２５は、或る未検出期間の直前における或る作業者４０の位置に係る情報、当該未検出期間の直後における当該作業者４０の位置に係る情報、及び当該未検出期間の長さに係る情報を入力することによって、当該未検出期間において当該作業者４０が行っていた作業の推定結果を出力するように機械学習されていればよい。例えば、行動推定モデル１２５は、未検出期間の直前の位置及び直後の位置との間に、互いに異なる作業を行うための複数の部屋、及び／又は、互いに異なる長さの複数の経路がある場合に、入力された情報に基づいて、未検出期間においてどの部屋でどの作業を行っていたか、又は、どの通路を移動していたかを推定することができる。図１０に示す例では、時刻Ｔ１における作業者４０の位置Ｐ１、時刻Ｔ５における作業者４０の位置Ｐ５、及び未検出期間の長さΔＴの各情報が行動推定モデル１２５に入力されると、行動推定モデル１２５は、入力された各情報に基づいて、未検出期間において作業者４０が行っていた作業の推定結果として「移動」を出力する。
なお、未検出に至るまでの所定期間（未検出期間の直前の所定期間）における作業者４０の行動データ（例えば、各時刻における位置座標、及び／又は、各時刻において行っていた作業）、及び／又は、検出後の所定期間（未検出期間の直後の所定期間）における作業者４０の行動データをさらに行動推定モデル１２５への入力情報とすることで、作業の推定精度を向上させてもよい。例えば、倉庫５の一部がカメラにより撮像できない場合において、未検出期間の直前の行動として、作業者４０が、部品を運搬するためのカートを用意しており、かつ、未検出期間の直後の行動として、作業者４０が、カートとともに工程エリア３に向かっていれば、未検出期間におけるカメラ視野外の行動（作業）が、部品のピッキングであったと精度よく推定することができる。また、このような入力情報を用いることで、行動推定モデル１２５によって部品のピッキングの順番を推定することもできる。
なお、未検出に至るまでの所定期間（未検出期間の直前の所定期間）における作業者４０の行動データ（例えば、各時刻における位置座標、及び／又は、各時刻において行っていた作業）、及び／又は、検出後の所定期間（未検出期間の直後の所定期間）における作業者４０の行動データをさらに行動推定モデル１２５への入力情報とすることで、作業の推定精度を向上させてもよい。例えば、倉庫５の一部がカメラにより撮像できない場合において、未検出期間の直前の行動として、作業者４０が、部品を運搬するためのカートを用意しており、かつ、未検出期間の直後の行動として、作業者４０が、カートとともに工程エリア３に向かっていれば、未検出期間におけるカメラ視野外の行動（作業）が、部品のピッキングであったと精度よく推定することができる。また、このような入力情報を用いることで、行動推定モデル１２５によって部品のピッキングの順番を推定することもできる。
【0066】
なお、上記では、未検出行動推定部１１７が、未検出期間において作業者４０がいた場所を推定したが、これに代えて、時刻Ｔ１における作業者４０の位置Ｐ１、時刻Ｔ５における作業者４０の位置Ｐ５、及び未検出期間の長さΔＴに基づいて、作業者４０が所定の場所（ここでは、通路６）にいたか否かを判定してもよい。
【0067】
また、上記では、作業者４０が通路６に入った場合における未検出期間を例示したが、作業者４０がいずれのカメラ２０の撮像範囲からも外れたことにより生じる任意の未検出期間において、上記の方法により作業者４０の行動（位置及び作業）を推定することができる。例えば、図２に示す作業室２のうち、カメラ２０ａ、２０ｂの撮像範囲Ｒａ、Ｒｂのいずれからも外れた作業者４０の行動を、上記と同様の方法で推定することができる。
【0068】
（行動分析処理）
次に、上述した作業者４０の行動の推定に係る動作を実現するために処理部１１が実行する行動分析処理について説明する。
図１１は、行動分析処理の制御手順を示すフローチャートである。
行動分析処理は、行動分析システム１を管理するユーザ（以下、「管理ユーザ」と記す）により行動分析の開始を指示する操作がなされ、カメラ２０による動画の撮像が開始された場合に開始される。
次に、上述した作業者４０の行動の推定に係る動作を実現するために処理部１１が実行する行動分析処理について説明する。
図１１は、行動分析処理の制御手順を示すフローチャートである。
行動分析処理は、行動分析システム１を管理するユーザ（以下、「管理ユーザ」と記す）により行動分析の開始を指示する操作がなされ、カメラ２０による動画の撮像が開始された場合に開始される。
【0069】
行動分析処理が開始されると、処理部１１は、カメラ２０により撮像された動画を構成する最新の撮像画像３０（フレーム画像）の画像データを取得する（ステップＳ１０１）。
【0070】
処理部１１のマーク検出部１１１は、取得した撮像画像３０をマーク検出モデル１２２に入力して、撮像画像３０に含まれる識別マーク６０を検出する（ステップＳ１０２）。
【0071】
処理部１１は、ステップＳ１０２で１以上の識別マーク６０が検出されたか否かを判別する（ステップＳ１０３）。１以上の識別マーク６０が検出されたと判別された場合には（ステップＳ１０３で“ＹＥＳ”）、処理部１１の時刻算出部１１４は、取得した撮像画像３０の撮像時の時刻を算出（又は取得）する（ステップＳ１０４）。
【0072】
処理部１１の座標算出部１１５は、フロア１００における作業者４０の位置を算出する（ステップＳ１０５）。詳しくは、座標算出部１１５は、撮像画像３０における作業者４０の位置のｘｙ座標を、フロア１００における作業者４０の位置のＸＹＺ座標に変換する。その後、処理部１１の未検出行動推定部１１７は、作業判定処理を行う（ステップＳ１０６）。
【0073】
図１２は、作業判定処理の制御手順を示すフローチャートである。
作業判定処理が呼び出されると、処理部１１は、ステップＳ１０２で検出された識別マーク６０に対応する指定範囲の画像（作業者４０を含む部分の画像）を撮像画像３０から切り出す（ステップＳ２０１）。指定範囲の大きさは、識別マーク６０に対応する作業者４０が入るように予め定められている。また、処理部１１は、検出した識別マーク６０のマークＩＤに基づいて、検出された作業者４０を識別する。
作業判定処理が呼び出されると、処理部１１は、ステップＳ１０２で検出された識別マーク６０に対応する指定範囲の画像（作業者４０を含む部分の画像）を撮像画像３０から切り出す（ステップＳ２０１）。指定範囲の大きさは、識別マーク６０に対応する作業者４０が入るように予め定められている。また、処理部１１は、検出した識別マーク６０のマークＩＤに基づいて、検出された作業者４０を識別する。
【0074】
処理部１１の骨格検出部１１２は、ステップＳ２０１で切り出された作業者４０の画像を骨格検出モデル１２３に入力し、作業者４０の骨格を検出して骨格データｄを生成する（ステップＳ２０２）。
【0075】
処理部１１は、ステップＳ２０２で骨格が検出されたか否かを判別する（ステップＳ２０３）。骨格が検出されたと判別された場合には（ステップＳ２０３で“ＹＥＳ”）、処理部１１は、その時点における骨格データ結合Ｄから最も古い骨格データｄを削除し、ステップＳ１０６で生成された最新フレームの骨格データｄを骨格データ結合Ｄに結合する（ステップＳ２０４）。
なお、行動分析処理の開始後にステップＳ２０４が実行された回数が、上述の所定フレーム数（本実施形態では、６フレーム）未満である場合には、ステップＳ２０４で骨格データｄを結合した後の骨格データ結合Ｄに含まれる骨格データｄの数が６フレームに満たないこととなる。この場合には、不足のフレームについては未検出データを用いてもよいし、処理をステップＳ２０６に進めずに（作業の判定を行わずに）作業判定処理を終了させてもよい。
なお、行動分析処理の開始後にステップＳ２０４が実行された回数が、上述の所定フレーム数（本実施形態では、６フレーム）未満である場合には、ステップＳ２０４で骨格データｄを結合した後の骨格データ結合Ｄに含まれる骨格データｄの数が６フレームに満たないこととなる。この場合には、不足のフレームについては未検出データを用いてもよいし、処理をステップＳ２０６に進めずに（作業の判定を行わずに）作業判定処理を終了させてもよい。
【0076】
一方、ステップＳ２０３において、骨格が検出されていないと判別された場合には（ステップＳ２０３で“ＮＯ”）、処理部１１は、その時点における骨格データ結合Ｄから最も古い骨格データｄを削除し、骨格に係るデータを含まない未検出データを骨格データ結合Ｄに結合する（ステップＳ２０５）。
【0077】
ステップＳ２０４又はステップＳ２０５が終了すると、処理部１１の作業判定部１１３は、骨格データ結合Ｄを作業判定モデル１２４に入力することで、ステップＳ１０１で取得した撮像画像３０において作業者４０が行っている作業を判定する（ステップＳ２０６）。また、処理部１１の作業判定部１１３は、判定結果を、ステップＳ１０４で算出した撮像時刻に対応付けて行動データ領域１２６に記録する（ステップＳ２０７）。ステップＳ２０７が終了すると、処理部１１は、作業判定処理を終了させて、処理を行動分析処理に戻す。
【0078】
なお、図１２では、骨格データｄを用いて作業者４０の作業を分析するフローを例示したが、作業判定処理のフローはこれに限られない。例えば、ステップＳ１０５で算出された作業者４０の位置に予め対応付けられている作業を特定するフローとしてもよい。
【0079】
図１１に戻り、作業判定処理（ステップＳ１０６）が終了すると、処理部１１は、ステップＳ１０２で識別マーク６０が検出された作業者４０が、前回取得された撮像画像３０においても検出されているか否かを判別する（ステップＳ１０７）。作業者４０が、前回取得された撮像画像３０において検出されていないと判別された場合には（ステップＳ１０７で“ＮＯ”）、処理部１１は、作業者４０が或る未検出期間において未検出であったと判別して、以下のステップＳ１０８～Ｓ１１０の処理を実行する。
【0080】
処理部１１の未検出時刻算出部１１６は、未検出期間の長さ（上述の例におけるΔＴ）を算出する（ステップＳ１０８）。ここでは、未検出時刻算出部１１６は、未検出期間の前に、最後に作業者４０が写っていた撮像画像３０（第１撮像画像３０１）を特定し、当該撮像画像３０の次に撮像された撮像画像３０の撮像時刻（Ｔ２）を、未検出期間の開始時刻として特定する。また、未検出時刻算出部１１６は、ステップＳ１０１で取得された撮像画像３０（第２撮像画像３０２）の１つ前に撮像された撮像画像３０の撮像時刻（Ｔ４）を、未検出期間の終了時刻として特定する。そして、未検出時刻算出部１１６は、終了時刻（Ｔ４）と開始時刻（Ｔ２）の差分から、未検出期間の長さ（ΔＴ）を算出する。
【0081】
処理部１１の未検出行動推定部１１７は、作業者４０の、未検出期間の直前における位置（Ｐ１）、直後における位置（ステップＳ１０５で算出された位置）（Ｐ５）、及びステップＳ１０８で算出された未検出期間の長さ（ΔＴ）に基づいて、上述した方法で、未検出期間において作業者４０がいた場所を推定する（ステップＳ１０９）。
【0082】
また、処理部１１の未検出行動推定部１１７は、作業者４０の、未検出期間の直前における位置（Ｐ１）、直後における位置（Ｐ５）、及び未検出期間の長さ（ΔＴ）に基づいて、上述した方法で、未検出期間において作業者４０が行っていた作業を推定する（ステップＳ１１０）。
【0083】
ステップＳ１１０が終了した場合、又は、ステップＳ１０７において、作業者４０が前回取得された撮像画像３０においても検出されていると判別された場合には（ステップＳ１０７で“ＹＥＳ”）、処理部１１は、作業者４０の行動の分析結果を行動データ領域１２６に記録する（ステップＳ１１１）。すなわち、処理部１１は、ステップＳ１０５における作業者４０の位置の算出結果、及び、ステップＳ１０６における作業者４０の作業の判定結果を、ステップＳ１０４で算出した撮像時刻に対応付けて行動データ領域１２６に記録する。また、ステップＳ１０７で“ＮＯ”に分岐した場合には、未検出期間における作業者４０の位置及び作業の推定結果を、未検出期間の開始時刻及び終了時刻とともに行動データ領域１２６に記録する。
【0084】
処理部１１は、動画に次の撮像画像３０（フレーム画像）の画像データがあるか否かを判別し（ステップＳ１１２）、次の画像データがあると判別された場合には（ステップＳ１１２で“ＹＥＳ”）、処理をステップＳ１０１に戻す。また、次の画像データがないと判別された場合には（ステップＳ１１２で“ＮＯ”）、処理部１１は、行動分析処理を終了させる。
【0085】
ステップＳ１０１～Ｓ１１２は、カメラ２０による撮像のフレームレートに応じた周期で繰り返し実行される。例えば、フレームレートが１０ｆｐｓであれば、１秒間に１０フレームの撮像画像３０が撮像されるため、１／１０秒ごとにステップＳ１０１～Ｓ１１２が繰り返し実行される。
また、ステップＳ１０３において複数の識別マーク６０が検出された場合には、処理部１１は、各識別マーク６０について（すなわち、対応する各作業者４０について）、以降のステップＳ１０５～Ｓ１１１の処理を実行する。
また、ステップＳ１０３において複数の識別マーク６０が検出された場合には、処理部１１は、各識別マーク６０について（すなわち、対応する各作業者４０について）、以降のステップＳ１０５～Ｓ１１１の処理を実行する。
【0086】
（作業者４０の行動の分析）
次に、作業者４０の行動の分析結果の例について説明する。
上記の行動分析処理により蓄積された行動データに基づいて、作業者４０の行動に係る分析データを生成することができる。分析データは、行動データ領域１２６に記憶される。例えば、処理部１１は、上記の行動分析処理で蓄積された行動データに基づいて、行動データテーブル１２６４を生成する。
次に、作業者４０の行動の分析結果の例について説明する。
上記の行動分析処理により蓄積された行動データに基づいて、作業者４０の行動に係る分析データを生成することができる。分析データは、行動データ領域１２６に記憶される。例えば、処理部１１は、上記の行動分析処理で蓄積された行動データに基づいて、行動データテーブル１２６４を生成する。
【0087】
図１３は、行動データテーブル１２６４の例を示す図である。
行動データテーブル１２６４は、各作業者４０の行動を１０秒ごとに抽出したものである。よって、行動データテーブル１２６４における１つの行データは、各作業者４０について１０秒に１回の頻度で生成される。図１３の行動データテーブル１２６４においては、マークＩＤが「Ａ」に対応する作業者４０（以下、「作業者４０Ａ」と記す）、及び、マークＩＤが「Ｂ」に対応する作業者４０（以下、「作業者４０Ｂ」と記す）の行動に係るデータが記録されている。作業者４０Ａは、主に、サブエリア４と倉庫５との間を往復しつつ、倉庫５に保管されている部材のうち製品の製造に必要な部材をサブエリア４に運搬するものとする。また、作業者４０Ｂは、主に、工程エリア３の作業台５０において、製品の製造に係る作業を行っているものとする。
行動データテーブル１２６４は、各作業者４０の行動を１０秒ごとに抽出したものである。よって、行動データテーブル１２６４における１つの行データは、各作業者４０について１０秒に１回の頻度で生成される。図１３の行動データテーブル１２６４においては、マークＩＤが「Ａ」に対応する作業者４０（以下、「作業者４０Ａ」と記す）、及び、マークＩＤが「Ｂ」に対応する作業者４０（以下、「作業者４０Ｂ」と記す）の行動に係るデータが記録されている。作業者４０Ａは、主に、サブエリア４と倉庫５との間を往復しつつ、倉庫５に保管されている部材のうち製品の製造に必要な部材をサブエリア４に運搬するものとする。また、作業者４０Ｂは、主に、工程エリア３の作業台５０において、製品の製造に係る作業を行っているものとする。
【0088】
行動データテーブル１２６４の「時刻」は、そのデータ行の生成時刻である。
「マークＩＤ」は、マーク検出部１１１によって検出された識別マーク６０のマークＩＤである。マークＩＤから、そのデータ行に対応する作業者４０を特定することができる。
「座標」は、そのデータ行の「時刻」における作業者４０の位置であって、座標算出部１１５によって算出された位置座標、又は、未検出行動推定部１１７によって推定された位置座標である。
「作業分類」は、作業判定部１１３による作業の判定結果、又は、未検出行動推定部１１７による作業の推定結果である。ここでは、作業名が記載されているが、作業名に代えて図５の作業分類マスタ１２６３の作業ＩＤが記録されてもよい。
「推定ステータス」は、そのデータ行が、未検出期間に係る推定のデータを含むか否かを表す。詳しくは、「推定ステータス」は、そのデータ行における「座標」及び「作業分類」が、未検出行動推定部１１７によって推定されたものである場合には「ＯＮ」とされ、撮像画像３０に写っている作業者４０から算出及び判定されたものである場合には「ＯＦＦ」とされる。
なお、「推定ステータス」が「ＯＮ」となるデータ行は、予め算出して行動データテーブル１２６４に格納してもよいし、データの必要時（可視化時）に都度、未検出時刻算出部１１６及び未検出行動推定部１１７にて処理して算出することでもよい。
また、行動データテーブル１２６４の各データ行が１０秒ごとに生成されるとしたが、これに限られない。例えば、「作業分類」及び「推定ステータス」の少なくとも一方が変化したタイミングで１つのデータ行を生成することとしてもよい。
「マークＩＤ」は、マーク検出部１１１によって検出された識別マーク６０のマークＩＤである。マークＩＤから、そのデータ行に対応する作業者４０を特定することができる。
「座標」は、そのデータ行の「時刻」における作業者４０の位置であって、座標算出部１１５によって算出された位置座標、又は、未検出行動推定部１１７によって推定された位置座標である。
「作業分類」は、作業判定部１１３による作業の判定結果、又は、未検出行動推定部１１７による作業の推定結果である。ここでは、作業名が記載されているが、作業名に代えて図５の作業分類マスタ１２６３の作業ＩＤが記録されてもよい。
「推定ステータス」は、そのデータ行が、未検出期間に係る推定のデータを含むか否かを表す。詳しくは、「推定ステータス」は、そのデータ行における「座標」及び「作業分類」が、未検出行動推定部１１７によって推定されたものである場合には「ＯＮ」とされ、撮像画像３０に写っている作業者４０から算出及び判定されたものである場合には「ＯＦＦ」とされる。
なお、「推定ステータス」が「ＯＮ」となるデータ行は、予め算出して行動データテーブル１２６４に格納してもよいし、データの必要時（可視化時）に都度、未検出時刻算出部１１６及び未検出行動推定部１１７にて処理して算出することでもよい。
また、行動データテーブル１２６４の各データ行が１０秒ごとに生成されるとしたが、これに限られない。例えば、「作業分類」及び「推定ステータス」の少なくとも一方が変化したタイミングで１つのデータ行を生成することとしてもよい。
【0089】
また、処理部１１は、管理ユーザによる分析の目的に応じて、行動データテーブル１２６４に基づいて各種の集計テーブルを生成してもよい。
図１４は、集計テーブル１２６５の例を示す図である。
集計テーブル１２６５は、行動データテーブル１２６４において、「マークＩＤ」及び「作業分類」が共通し、時間帯が連続している複数のデータ行を１つのデータ行にまとめるとともに、「作業場所」、「滞在時間」及び「移動距離」のデータ項目を追加したものである。よって、集計テーブル１２６５の１つのデータ行は、或る作業者４０が行った１つの作業に対応する。
図１４は、集計テーブル１２６５の例を示す図である。
集計テーブル１２６５は、行動データテーブル１２６４において、「マークＩＤ」及び「作業分類」が共通し、時間帯が連続している複数のデータ行を１つのデータ行にまとめるとともに、「作業場所」、「滞在時間」及び「移動距離」のデータ項目を追加したものである。よって、集計テーブル１２６５の１つのデータ行は、或る作業者４０が行った１つの作業に対応する。
【0090】
集計テーブル１２６５の「作業場所」は、「座標」に対応する作業場所を、図３の作業エリアマスタ１２６１の各作業場所の「開始座標」及び「終了座標」に基づいて特定したものである。ここでは、作業場所名が記載されているが、作業場所名に代えて図３の場所ＩＤが記録されてもよい。
「滞在時間」は、作業者４０が、そのデータ行に対応する「作業場所」に滞在して「作業分類」の作業を行った期間の長さを表す。「滞在時間」は、集計テーブル１２６５のデータ行が、行動データテーブル１２６４のｎ個のデータ行を統合したものである場合に、「ｎ×１０」で算出される。
「移動距離」は、そのデータ行の期間内における作業者４０の移動距離を表す。「移動距離」は、例えば、１フレームごと（又は、所定数のフレームごと）の作業者４０の位置の推移に基づいて算出される。
「滞在時間」は、作業者４０が、そのデータ行に対応する「作業場所」に滞在して「作業分類」の作業を行った期間の長さを表す。「滞在時間」は、集計テーブル１２６５のデータ行が、行動データテーブル１２６４のｎ個のデータ行を統合したものである場合に、「ｎ×１０」で算出される。
「移動距離」は、そのデータ行の期間内における作業者４０の移動距離を表す。「移動距離」は、例えば、１フレームごと（又は、所定数のフレームごと）の作業者４０の位置の推移に基づいて算出される。
【0091】
また、処理部１１は、集計テーブル１２６５をさらに加工して、個別集計テーブル１２６６を生成してもよい。
図１５は、個別集計テーブル１２６６の例を示す図である。
個別集計テーブル１２６６は、図１４の集計テーブル１２６５のうち或るマークＩＤ（ここでは、マークＩＤ「Ａ」）に対応する作業者４０（ここでは、作業者４０Ａ）のデータ行を抽出したものである。個別集計テーブル１２６６から、作業者４０Ａの行動の推移を把握することができる。
図１５は、個別集計テーブル１２６６の例を示す図である。
個別集計テーブル１２６６は、図１４の集計テーブル１２６５のうち或るマークＩＤ（ここでは、マークＩＤ「Ａ」）に対応する作業者４０（ここでは、作業者４０Ａ）のデータ行を抽出したものである。個別集計テーブル１２６６から、作業者４０Ａの行動の推移を把握することができる。
【0092】
図１５に示す例では、作業者４０Ａは、「０９：０７：１０」（９時７分１０秒）までの期間でサブエリア４において「部材整理」の作業を行ったと判定され、その後、「０９：０７：３０」までの期間で、サブエリア４から倉庫５まで通路６を移動したものと推定され、「０９：０８：００」までの期間で、倉庫５において部材のピッキングの作業を行ったと判定されている。続いて、「０９：０８：２０」までの期間で、倉庫５からサブエリア４まで通路６を移動したものと推定され、「０９：０８：４０」までの期間で、サブエリア４において部材整理の作業を行ったと判定されている。すなわち、図１５に示す個別集計テーブル１２６６の内容から、作業者４０Ａが、通路６を通ってサブエリア４と倉庫５との間を１往復し、部材を倉庫５からサブエリア４に１回運搬したことを特定することができる。図１５の個別集計テーブル１２６６に示す一連の作業のうち、例えば、「移動」、「ピッキング」及び「運搬」の作業の組み合わせが繰り返された回数を特定することで、作業者４０Ａが部材を運搬した回数を特定することができる。また、当該一連の作業の「滞在時間」を加算することで、運搬に要した時間を特定することができる。
【0093】
以下では、行動データテーブル１２６４、集計テーブル１２６５、及び個別集計テーブル１２６６等に基づいて行うことができる行動分析の例（１）～（８）について説明する。
【0094】
（１）地図７０上に作業者４０の位置を表示
処理部１１は、複数の撮像画像３０に基づいて算出（導出）された作業者４０の位置を示す地図７０を表示部１３に表示させてもよい。例えば、処理部１１は、図２に示すようにフロア１００を上方から俯瞰した地図７０上に、各作業者４０の位置をリアルタイムにプロットしてもよい。また、地図７０上では、各作業者４０を、図形や記号等の標識により表してもよい。
処理部１１は、複数の撮像画像３０に基づいて算出（導出）された作業者４０の位置を示す地図７０を表示部１３に表示させてもよい。例えば、処理部１１は、図２に示すようにフロア１００を上方から俯瞰した地図７０上に、各作業者４０の位置をリアルタイムにプロットしてもよい。また、地図７０上では、各作業者４０を、図形や記号等の標識により表してもよい。
【0095】
また、処理部１１は、複数の撮像画像３０に基づいて推定された、未検出期間における作業者４０の推定の場所（位置が推定された場合には、位置）を地図７０に表示してもよい。例えば、過去の任意の時点における地図７０を表示部１３に表示できるようにし、当該地図７０上に、作業者４０の推定の場所（又は位置）をプロットしてもよい。
【0096】
（２）ヒートマップ７１を表示
処理部１１は、複数の撮像画像３０に基づく作業者４０の位置の推移、及び場所又は位置の推定結果に基づいて、作業者４０の各位置における滞在時間を表すヒートマップ７１を表示部１３に表示させてもよい。
処理部１１は、複数の撮像画像３０に基づく作業者４０の位置の推移、及び場所又は位置の推定結果に基づいて、作業者４０の各位置における滞在時間を表すヒートマップ７１を表示部１３に表示させてもよい。
【0097】
図１６は、ヒートマップ７１の例を示す図である。
ヒートマップ７１の縦軸は、１時間を単位とする時間帯を表し、横軸は、作業室２におけるＸ座標を表す。ヒートマップ７１では、１時間当たりの滞在時間が長い位置ほど、濃い色に着色されている。
ヒートマップ７１の縦軸は、１時間を単位とする時間帯を表し、横軸は、作業室２におけるＸ座標を表す。ヒートマップ７１では、１時間当たりの滞在時間が長い位置ほど、濃い色に着色されている。
【0098】
（３）滞在時間・移動距離グラフ７２を表示
処理部１１は、複数の撮像画像３０に基づく作業者４０の位置の推移、及び場所又は位置の推定結果に基づいて、滞在時間・移動距離グラフ７２を表示部１３に表示させてもよい。滞在時間・移動距離グラフ７２は、作業者４０の、時間帯ごとの所定の場所における滞在時間に係る情報、及び、作業者４０の、時間帯ごとの移動距離（運動量）に係る情報を含む。
処理部１１は、複数の撮像画像３０に基づく作業者４０の位置の推移、及び場所又は位置の推定結果に基づいて、滞在時間・移動距離グラフ７２を表示部１３に表示させてもよい。滞在時間・移動距離グラフ７２は、作業者４０の、時間帯ごとの所定の場所における滞在時間に係る情報、及び、作業者４０の、時間帯ごとの移動距離（運動量）に係る情報を含む。
【0099】
図１７は、滞在時間・移動距離グラフ７２の例を示す図である。
滞在時間・移動距離グラフ７２は、１時間を単位とする時間帯ごとに、作業者４０が各場所に滞在していた時間を積み上げた棒グラフと、時間帯ごとの各場所における移動距離を表す折れ線グラフとを含む。図１７に示す例では、作業者４０が、大多数の時間帯で主に工程エリア３に滞在しているが、１３時（～１４時）の時間帯においては通路６における滞在時間及び移動距離が長くなっていることを把握することができる。
滞在時間・移動距離グラフ７２は、１時間を単位とする時間帯ごとに、作業者４０が各場所に滞在していた時間を積み上げた棒グラフと、時間帯ごとの各場所における移動距離を表す折れ線グラフとを含む。図１７に示す例では、作業者４０が、大多数の時間帯で主に工程エリア３に滞在しているが、１３時（～１４時）の時間帯においては通路６における滞在時間及び移動距離が長くなっていることを把握することができる。
【0100】
（４）滞在時間割合テーブル７３を表示
処理部１１は、作業の判定結果及び推定結果に基づいて、作業者４０が各時間帯において行っていた作業の割合に係る情報を含む作業割合テーブル７３を表示部１３に表示させてもよい。
処理部１１は、作業の判定結果及び推定結果に基づいて、作業者４０が各時間帯において行っていた作業の割合に係る情報を含む作業割合テーブル７３を表示部１３に表示させてもよい。
【0101】
図１８は、作業割合テーブル７３の例を示す図である。
作業割合テーブル７３は、作業者４０Ａ～４０Ｃの各々について、日ごと、時間帯ごとに、正味作業に属する作業の実行時間、及び付随作業に属する作業の実行時間を棒グラフ状に表したものである。各作業が正味作業及び付随作業のいずれに属するかは、図５の作業分類マスタ１２６３に基づいて分類される。
作業割合テーブル７３は、作業者４０Ａ～４０Ｃの各々について、日ごと、時間帯ごとに、正味作業に属する作業の実行時間、及び付随作業に属する作業の実行時間を棒グラフ状に表したものである。各作業が正味作業及び付随作業のいずれに属するかは、図５の作業分類マスタ１２６３に基づいて分類される。
【0102】
（５）代表滞在場所テーブル７４を表示
処理部１１は、複数の撮像画像３０に基づく作業者４０の位置の推移、及び場所又は位置の推定結果に基づいて、作業者４０の、各時間帯において最も長く滞在した場所に係る情報を含む代表滞在場所テーブル７４を表示部１３に表示させてもよい。
処理部１１は、複数の撮像画像３０に基づく作業者４０の位置の推移、及び場所又は位置の推定結果に基づいて、作業者４０の、各時間帯において最も長く滞在した場所に係る情報を含む代表滞在場所テーブル７４を表示部１３に表示させてもよい。
【0103】
図１９は、代表滞在場所テーブル７４の例を示す図である。
代表滞在場所テーブル７４は、作業者４０Ａ～４０Ｃの各々について、日ごと、時間帯ごとに、各時間帯において最も長く滞在した滞在場所（代表滞在場所）を表すテーブルである。テーブルの各セルは、場所に対応する色に着色されていてもよい。
代表滞在場所テーブル７４は、作業者４０Ａ～４０Ｃの各々について、日ごと、時間帯ごとに、各時間帯において最も長く滞在した滞在場所（代表滞在場所）を表すテーブルである。テーブルの各セルは、場所に対応する色に着色されていてもよい。
【0104】
（６）タイムチャート７５
処理部１１は、作業の判定結果及び推定結果に基づいて、作業者４０が行った作業の履歴に係る情報を含むタイムチャート７５を表示部１３に表示させてもよい。
処理部１１は、作業の判定結果及び推定結果に基づいて、作業者４０が行った作業の履歴に係る情報を含むタイムチャート７５を表示部１３に表示させてもよい。
【0105】
図２０は、タイムチャート７５の例を示す図である。
タイムチャート７５は、作業者４０Ａが、どの時間に何の作業を行ったかを表す帯グラフである。ここでは、サブエリア４から倉庫５に移動する「移動」、倉庫５において部材を取り上げる「ピッキング」、倉庫５からサブエリア４へ部材を運搬する「運搬」、倉庫５において部材の整理を行う「部材整理」が、色分けされて帯状に配列されている。
タイムチャート７５は、作業者４０Ａが、どの時間に何の作業を行ったかを表す帯グラフである。ここでは、サブエリア４から倉庫５に移動する「移動」、倉庫５において部材を取り上げる「ピッキング」、倉庫５からサブエリア４へ部材を運搬する「運搬」、倉庫５において部材の整理を行う「部材整理」が、色分けされて帯状に配列されている。
【0106】
（７）運搬回数・運搬時間グラフ７６
処理部１１は、複数の撮像画像３０に基づく作業者４０の位置の推移、及び場所又は位置の推定結果に基づいて、作業者４０の、或る２地点間における部材の運搬回数及び運搬時間に係る情報を含む運搬回数・運搬時間グラフ７６を表示部１３に表示させてもよい。なお、これに代えて、部材の運搬回数及び運搬時間のうち一方のみの情報を表示部１３に表示させてもよい。
処理部１１は、複数の撮像画像３０に基づく作業者４０の位置の推移、及び場所又は位置の推定結果に基づいて、作業者４０の、或る２地点間における部材の運搬回数及び運搬時間に係る情報を含む運搬回数・運搬時間グラフ７６を表示部１３に表示させてもよい。なお、これに代えて、部材の運搬回数及び運搬時間のうち一方のみの情報を表示部１３に表示させてもよい。
【0107】
図２１は、運搬回数・運搬時間グラフ７６の例を示す図である。
運搬回数・運搬時間グラフ７６は、１時間を単位とする時間帯ごとに、作業者４０が部材を倉庫５からサブエリア４に運搬した回数を表す棒グラフと、部材の運搬に要した合計の時間を表す折れ線グラフとを含む。部材の運搬回数は、例えば、上述したように、図１５の個別集計テーブル１２６６において「移動」、「ピッキング」及び「運搬」の作業の組み合わせが繰り返された回数から特定することができる。また、運搬時間は、「移動」、「ピッキング」及び「運搬」の作業の「滞在時間」を加算することにより得られる。なお、運搬時間の算出方法はこれに限られず、「移動」及び「運搬」の作業に係る滞在時間のみを運搬時間としてもよいし、「運搬」の作業に係る滞在時間のみを運搬時間としてもよいし、「部材整理」の作業に係る滞在時間を運搬時間に加算してもよい。
運搬回数・運搬時間グラフ７６は、１時間を単位とする時間帯ごとに、作業者４０が部材を倉庫５からサブエリア４に運搬した回数を表す棒グラフと、部材の運搬に要した合計の時間を表す折れ線グラフとを含む。部材の運搬回数は、例えば、上述したように、図１５の個別集計テーブル１２６６において「移動」、「ピッキング」及び「運搬」の作業の組み合わせが繰り返された回数から特定することができる。また、運搬時間は、「移動」、「ピッキング」及び「運搬」の作業の「滞在時間」を加算することにより得られる。なお、運搬時間の算出方法はこれに限られず、「移動」及び「運搬」の作業に係る滞在時間のみを運搬時間としてもよいし、「運搬」の作業に係る滞在時間のみを運搬時間としてもよいし、「部材整理」の作業に係る滞在時間を運搬時間に加算してもよい。
【0108】
（８）分析円グラフ７７
処理部１１は、作業の判定結果及び推定結果と、時刻情報とに基づいて、作業者４０が行った作業の作業時間に係る情報を含む分析円グラフ７７を表示部１３に表示させてもよい。
処理部１１は、作業の判定結果及び推定結果と、時刻情報とに基づいて、作業者４０が行った作業の作業時間に係る情報を含む分析円グラフ７７を表示部１３に表示させてもよい。
【0109】
図２２は、分析円グラフ７７の例を示す図である。
分析円グラフ７７は、或る作業者４０が或る期間において行った作業の作業時間を、「正味作業時間」、「正味作業時間遅延」、及び「付随作業等」に分類して示したものである。「正味作業時間」は、正味作業に属する作業の作業時間のうち、正味作業の標準的な作業時間として定められた標準時間内の作業時間を表す。「正味作業時間遅延」は、正味作業に属する作業の作業時間のうち、標準時間を超えて行われた作業の作業時間である。作業時間と標準時間とに基づいて作業効率を算出してもよい。「付随作業等」は、「部材整理」、「出庫処理」、「思考時間」及び「相談・連絡」の内訳の合計時間であり、図２２の分析円グラフ７７では、これらの内訳についても作業時間がそれぞれ表示されている。なお、「付随作業等」の内訳を、別個の補助円グラフに表示してもよい。このような分析円グラフ７７を表示することで、作業のロスや無駄を視覚的に把握することができる。また、分析円グラフ７７から得られる情報を、最適人員の算出、ＩＴ機器等の設備導入時の投資対効果の算出、及びＫＰＩ（Key Performance Indicator：重要業績評価指標）の算出等に用いることもできる。
分析円グラフ７７は、或る作業者４０が或る期間において行った作業の作業時間を、「正味作業時間」、「正味作業時間遅延」、及び「付随作業等」に分類して示したものである。「正味作業時間」は、正味作業に属する作業の作業時間のうち、正味作業の標準的な作業時間として定められた標準時間内の作業時間を表す。「正味作業時間遅延」は、正味作業に属する作業の作業時間のうち、標準時間を超えて行われた作業の作業時間である。作業時間と標準時間とに基づいて作業効率を算出してもよい。「付随作業等」は、「部材整理」、「出庫処理」、「思考時間」及び「相談・連絡」の内訳の合計時間であり、図２２の分析円グラフ７７では、これらの内訳についても作業時間がそれぞれ表示されている。なお、「付随作業等」の内訳を、別個の補助円グラフに表示してもよい。このような分析円グラフ７７を表示することで、作業のロスや無駄を視覚的に把握することができる。また、分析円グラフ７７から得られる情報を、最適人員の算出、ＩＴ機器等の設備導入時の投資対効果の算出、及びＫＰＩ（Key Performance Indicator：重要業績評価指標）の算出等に用いることもできる。
【0110】
（９）異常が生じた時点の動画表示
処理部１１は、複数の撮像画像３０に基づく作業者４０の位置の推移、及び場所又は位置の推定結果に基づいて、作業者４０による作業の異常を検出し、カメラ２０により撮像された作業者４０の動画のうち、異常が生じた時点の動画を表示部１３に表示させてもよい。例えば、図１７に示す滞在時間・移動距離グラフ７２において、１３時の時間帯の滞在場所の傾向及び運動量が、他の時間帯と大きく異なるため、異常が生じていると判定して、１３時の時間帯の動画を表示部１３に表示させてもよい。なお、異常の判定対象は、滞在時間・移動距離グラフ７２に限られず、地図７０、ヒートマップ７１、作業割合テーブル７３、代表滞在場所テーブル７４、タイムチャート７５、及び運搬回数・運搬時間グラフ７６等において異常が検出された場合に、同様に動画を表示させてもよい。
処理部１１は、複数の撮像画像３０に基づく作業者４０の位置の推移、及び場所又は位置の推定結果に基づいて、作業者４０による作業の異常を検出し、カメラ２０により撮像された作業者４０の動画のうち、異常が生じた時点の動画を表示部１３に表示させてもよい。例えば、図１７に示す滞在時間・移動距離グラフ７２において、１３時の時間帯の滞在場所の傾向及び運動量が、他の時間帯と大きく異なるため、異常が生じていると判定して、１３時の時間帯の動画を表示部１３に表示させてもよい。なお、異常の判定対象は、滞在時間・移動距離グラフ７２に限られず、地図７０、ヒートマップ７１、作業割合テーブル７３、代表滞在場所テーブル７４、タイムチャート７５、及び運搬回数・運搬時間グラフ７６等において異常が検出された場合に、同様に動画を表示させてもよい。
【0111】
＜効果＞
以上のように、上記実施形態に係る情報処理装置としての行動分析装置１０は、処理部１１を備え、処理部１１は、異なる複数の時点においてカメラ２０により撮像された複数の撮像画像３０を取得し、取得した複数の撮像画像３０の各々において作業者４０が写っているか否かを判定し、作業者４０が写っていると判定された各撮像画像３０に対応する作業者４０の位置を導出し、複数の撮像画像３０のうち、或る未検出期間に撮像された撮像画像３０に作業者４０が写っていないと判定された場合には、未検出期間の直前に撮像された第１撮像画像３０１（第１画像）に写っている作業者４０の位置Ｐ１（第１情報）、未検出期間の直後に撮像された第２撮像画像３０２（第２画像）に写っている作業者４０の位置Ｐ５（第２情報）、及び未検出期間の長さΔＴ（第３情報）に基づいて、未検出期間において作業者４０がいた場所を推定する。これにより、カメラ２０の撮像範囲が、作業者４０の行動範囲の全てをカバーしていなくても、撮像範囲から外れた未検出期間において作業者４０がいた場所を推定することができる。よって、カメラ２０の撮像範囲内か、撮像範囲外かによらずに、作業者４０の行動を把握することができる。また、作業者４０の行動に係るデータを自動的に蓄積できるため、当該データを集計及び加工することで、作業者４０の行動に係る様々な分析を、高精度かつ即時に行うことができる。このため、行動分析に係る手間を低減することができる。よって、例えば、生産ラインにおける日々の行動の変動を即時に検出して、適切な対策を適時に講ずることが可能となる。
以上のように、上記実施形態に係る情報処理装置としての行動分析装置１０は、処理部１１を備え、処理部１１は、異なる複数の時点においてカメラ２０により撮像された複数の撮像画像３０を取得し、取得した複数の撮像画像３０の各々において作業者４０が写っているか否かを判定し、作業者４０が写っていると判定された各撮像画像３０に対応する作業者４０の位置を導出し、複数の撮像画像３０のうち、或る未検出期間に撮像された撮像画像３０に作業者４０が写っていないと判定された場合には、未検出期間の直前に撮像された第１撮像画像３０１（第１画像）に写っている作業者４０の位置Ｐ１（第１情報）、未検出期間の直後に撮像された第２撮像画像３０２（第２画像）に写っている作業者４０の位置Ｐ５（第２情報）、及び未検出期間の長さΔＴ（第３情報）に基づいて、未検出期間において作業者４０がいた場所を推定する。これにより、カメラ２０の撮像範囲が、作業者４０の行動範囲の全てをカバーしていなくても、撮像範囲から外れた未検出期間において作業者４０がいた場所を推定することができる。よって、カメラ２０の撮像範囲内か、撮像範囲外かによらずに、作業者４０の行動を把握することができる。また、作業者４０の行動に係るデータを自動的に蓄積できるため、当該データを集計及び加工することで、作業者４０の行動に係る様々な分析を、高精度かつ即時に行うことができる。このため、行動分析に係る手間を低減することができる。よって、例えば、生産ラインにおける日々の行動の変動を即時に検出して、適切な対策を適時に講ずることが可能となる。
【0112】
また、上記実施形態に係る情報処理装置としての行動分析装置１０は、処理部１１を備え、処理部１１は、異なる複数の時点においてカメラ２０により撮像された複数の撮像画像３０を取得し、取得した複数の撮像画像３０の各々において作業者４０が写っているか否かを判定し、作業者４０が写っていると判定された各撮像画像３０に対応する作業者４０の位置を導出し、複数の撮像画像３０のうち、或る未検出期間に撮像された撮像画像３０に作業者４０が写っていないと判定された場合には、未検出期間の直前に撮像された第１撮像画像３０１（第１画像）に写っている作業者４０の位置Ｐ１（第１情報）、未検出期間の直後に撮像された第２撮像画像３０２（第２画像）に写っている作業者４０の位置Ｐ５（第２情報）、及び未検出期間の長さΔＴ（第３情報）に基づいて、未検出期間において作業者４０が所定の場所にいたかを判別する。これにより、カメラ２０の撮像範囲が、作業者４０の行動範囲の全てをカバーしていなくても、撮像範囲から外れた未検出期間において作業者４０が所定の場所にいたか否かを判定することができる。また、未検出期間において作業者４０が、当該場所に対応する作業を行っていたか否かを判定することができる。
【0113】
また、処理部１１は、位置Ｐ１、位置Ｐ２、及び未検出期間の長さΔＴを行動推定モデル１２５に入力することによって、未検出期間において作業者４０がいた場所を推定し、行動推定モデル１２５は、或る未検出期間の直前における或る作業者４０の位置に係る情報、当該未検出期間の直後における当該作業者４０の位置に係る情報、及び当該未検出期間の長さに係る情報を入力することによって、当該未検出期間において当該作業者４０がいた場所の推定結果を出力するように機械学習されたものである。これにより、位置Ｐ１、位置Ｐ２、及び未検出期間の長さΔＴを行動推定モデル１２５に入力する簡易な処理で、未検出期間において作業者４０がいた場所を推定することができる。
【0114】
また、処理部１１は、作業者４０が写っていると判定された各撮像画像３０に基づいて、当該撮像画像３０の撮像時において作業者４０が行っていた作業を推定し、上記の位置Ｐ１、位置Ｐ２、及び未検出期間の長さΔＴに基づいて、未検出期間において作業者４０が行っていた作業を推定する。これにより、カメラ２０の撮像範囲が、作業者４０の行動範囲の全てをカバーしていなくても、カメラ２０による撮像範囲外にいた未検出期間において作業者４０が行っていた作業を推定することができる。よって、カメラ２０の撮像範囲内か、撮像範囲外かによらずに、作業者４０の行動をより詳細に分析することができる。
【0115】
また、処理部１１は、上記の位置Ｐ１、位置Ｐ２、及び未検出期間の長さΔＴを行動推定モデル１２５に入力することによって、未検出期間において作業者４０が行っていた作業を推定し、行動推定モデル１２５は、或る未検出期間の直前における或る作業者４０の位置に係る情報、当該未検出期間の直後における当該作業者４０の位置に係る情報、及び当該未検出期間の長さに係る情報を入力することによって、当該未検出期間において当該作業者４０が行っていた作業の推定結果を出力するように機械学習されたものである。これにより、位置Ｐ１、位置Ｐ２、及び未検出期間の長さΔＴを行動推定モデル１２５に入力する簡易な処理で、未検出期間において作業者４０が行っていた作業を推定することができる。
【0116】
また、処理部１１は、上記の位置Ｐ１、位置Ｐ２、及び未検出期間の長さΔＴに基づいて、未検出期間における作業者４０の移動経路をさらに推定する。これにより、未検出期間における作業者４０の行動をより詳細に把握することができる。
【0117】
また、処理部１１は、複数の撮像画像３０の各々において、複数の作業者４０が身に付けている識別マーク６０を検出し、識別マーク６０の検出結果に基づいて、複数の撮像画像３０の各々において作業者４０が写っているか否かの判定、及び、写っている作業者４０の位置の導出を、複数の作業者４０の各々について行う。これにより、異なる複数の作業者４０の各々を識別した上で、各作業者４０について行動分析を行うことができる。
【0118】
また、処理部１１は、複数の撮像画像３０に基づいて導出された作業者４０の位置、及び推定された作業者４０の場所を示す地図７０を表示部１３に表示させる。これにより、作業者４０がカメラ２０の撮像範囲内にいるか、撮像範囲外にいるかによらずに、フロア１００における各作業者４０の位置を地図７０上で確認することができる。
【0119】
また、処理部１１は、複数の撮像画像３０に基づく作業者４０の位置の推移、及び場所の推定結果に基づいて、作業者４０の各位置における滞在時間を表すヒートマップ７１を表示部１３に表示させる。これにより、作業者４０がカメラ２０の撮像範囲内にいるか、撮像範囲外にいるかによらずに、作業者４０の各位置における滞在時間を、視覚的かつ直感的に把握することができる。
【0120】
また、処理部１１は、複数の撮像画像３０に基づく作業者４０の位置の推移、及び場所の推定結果に基づいて、作業者４０の、時間帯ごとの所定の場所における滞在時間に係る情報を含む滞在時間・移動距離グラフ７２を表示部１３に表示させる。これにより、作業者４０がカメラ２０の撮像範囲内にいるか、撮像範囲外にいるかによらずに、作業者４０の時間帯ごとの各場所における滞在時間を視覚的かつ直感的に把握することができる。
【0121】
また、処理部１１は、複数の撮像画像３０に基づく作業者４０の位置の推移、及び場所の推定結果に基づいて、作業者４０の、時間帯ごとの移動距離（運動量）に係る情報を含む滞在時間・移動距離グラフ７２を表示部１３に表示させる。これにより、作業者４０がカメラ２０の撮像範囲内にいるか、撮像範囲外にいるかによらずに、作業者４０の時間帯ごとの各場所における移動距離を視覚的かつ直感的に把握することができる。
【0122】
また、処理部１１は、作業の推定結果に基づいて、作業者４０が各時間帯において行っていた作業の割合に係る情報を含む作業割合テーブル７３を表示部１３に表示させる。これにより、作業者４０がカメラ２０の撮像範囲内にいるか、撮像範囲外にいるかによらずに、作業者４０がどのような割合でどのような作業を行っていたかを、視覚的かつ直感的に把握することができる。
【0123】
また、処理部１１は、複数の撮像画像３０に基づく作業者４０の位置の推移、及び場所の推定結果に基づいて、作業者４０の、各時間帯において最も長く滞在した場所に係る情報を含む代表滞在場所テーブル７４を表示部１３に表示させる。これにより、作業者４０がカメラ２０の撮像範囲内にいるか、撮像範囲外にいるかによらずに、作業者４０の代表的な滞在場所を視覚的かつ直感的に把握することができる。
【0124】
また、処理部１１は、作業の推定結果に基づいて、作業者４０が行った作業の履歴に係る情報を含むタイムチャート７５を表示部１３に表示させる。これにより、作業者４０がカメラ２０の撮像範囲内にいるか、撮像範囲外にいるかによらずに、作業者４０の作業の履歴を視覚的かつ直感的に把握することができる。
【0125】
また、処理部１１は、複数の撮像画像３０に基づく作業者４０の位置の推移、及び場所の推定結果に基づいて、作業者４０の、或る２地点間における部材の運搬回数及び運搬時間の少なくとも一方に係る情報を含む運搬回数・運搬時間グラフ７６を表示部１３に表示させる。これにより、作業者４０がカメラ２０の撮像範囲内にいるか、撮像範囲外にいるかによらずに、作業者４０が資材の運搬を行った回数や運搬に要した時間を視覚的かつ直感的に把握することができる。
【0126】
また、処理部１１は、作業の推定結果に基づいて、作業者４０が行った作業の作業時間に係る情報を含む分析円グラフ７７を表示部１３に表示させる。これにより、作業者４０がカメラ２０の撮像範囲内にいるか、撮像範囲外にいるかによらずに、作業者４０による作業の作業時間を視覚的かつ直感的に把握することができる。
【0127】
また、処理部１１は、カメラ２０により撮像された複数の撮像画像３０を動画として取得し、複数の撮像画像３０に基づく作業者４０の位置の推移、及び場所の推定結果に基づいて、作業者４０による作業の異常を検出し、カメラ２０により撮像された作業者４０の動画のうち、異常が生じた時点の動画を表示部１３に表示させる。これにより、異常の内容を動画において目視で確認することができる。また、動画に写っている状況から、異常の原因を簡易に特定することができる。
【0128】
また、本実施形態に係るプログラム１２１は、コンピュータとしての処理部１１に、異なる複数の時点においてカメラ２０により撮像された複数の撮像画像３０を取得する処理、取得した複数の撮像画像３０の各々において作業者４０が写っているか否かを判定する処理、作業者４０が写っていると判定された各撮像画像３０に対応する作業者４０の位置を導出する処理、複数の撮像画像３０のうち、或る未検出期間に撮像された撮像画像３０に作業者４０が写っていないと判定された場合には、未検出期間の直前に撮像された第１撮像画像３０１（第１画像）に写っている作業者４０の位置Ｐ１（第１情報）、未検出期間の直後に撮像された第２撮像画像３０２（第２画像）に写っている作業者４０の位置Ｐ５（第２情報）、及び未検出期間の長さΔＴ（第３情報）に基づいて、未検出期間において作業者４０がいた場所を推定する処理、を実行させる。これにより、カメラ２０の撮像範囲が、作業者４０の行動範囲の全てをカバーしていなくても、撮像範囲から外れた未検出期間において作業者４０がいた場所を推定することができる。よって、カメラ２０の撮像範囲内か、撮像範囲外かによらずに、作業者４０の行動を把握することができる。また、作業者４０の行動に係る様々な分析を、高精度かつ即時に行うことができる。このため、行動分析に係る手間を低減することができる。
【0129】
また、本実施形態に係るプログラム１２１は、コンピュータとしての処理部１１に、異なる複数の時点においてカメラ２０により撮像された複数の撮像画像３０を取得する処理、取得した複数の撮像画像３０の各々において作業者４０が写っているか否かを判定する処理、作業者４０が写っていると判定された各撮像画像３０に対応する作業者４０の位置を導出する処理、複数の撮像画像３０のうち、或る未検出期間に撮像された撮像画像３０に作業者４０が写っていないと判定された場合には、未検出期間の直前に撮像された第１撮像画像３０１（第１画像）に写っている作業者４０の位置Ｐ１（第１情報）、未検出期間の直後に撮像された第２撮像画像３０２（第２画像）に写っている作業者４０の位置Ｐ５（第２情報）、及び未検出期間の長さΔＴ（第３情報）に基づいて、未検出期間において作業者４０が所定の場所にいたかを判定する処理、を実行させる。これにより、カメラ２０の撮像範囲が、作業者４０の行動範囲の全てをカバーしていなくても、撮像範囲から外れた未検出期間において作業者４０が所定の場所にいたか否かを判定することができる。また、未検出期間において作業者４０が、当該場所に対応する作業を行っていたか否かを判定することができる。
【0130】
また、本実施形態に係る情報処理方法としての行動分析方法は、異なる複数の時点においてカメラ２０により撮像された複数の撮像画像３０を取得し、取得した複数の撮像画像３０の各々において作業者４０が写っているか否かを判定し、作業者４０が写っていると判定された各撮像画像３０に対応する作業者４０の位置を導出し、複数の撮像画像３０のうち、或る未検出期間に撮像された撮像画像３０に作業者４０が写っていないと判定された場合には、未検出期間の直前に撮像された第１撮像画像３０１（第１画像）に写っている作業者４０の位置Ｐ１（第１情報）、未検出期間の直後に撮像された第２撮像画像３０２（第２画像）に写っている作業者４０の位置Ｐ５（第２情報）、及び未検出期間の長さΔＴ（第３情報）に基づいて、未検出期間において作業者４０がいた場所を推定する。これにより、カメラ２０の撮像範囲が、作業者４０の行動範囲の全てをカバーしていなくても、撮像範囲から外れた未検出期間において作業者４０がいた場所を推定することができる。よって、カメラ２０の撮像範囲内か、撮像範囲外かによらずに、作業者４０の行動を把握することができる。また、作業者４０の行動に係る様々な分析を、高精度かつ即時に行うことができる。このため、行動分析に係る手間を低減することができる。
【0131】
また、本実施形態に係る情報処理方法としての行動分析方法は、異なる複数の時点においてカメラ２０により撮像された複数の撮像画像３０を取得し、取得した複数の撮像画像３０の各々において作業者４０が写っているか否かを判定し、作業者４０が写っていると判定された各撮像画像３０に対応する作業者４０の位置を導出し、複数の撮像画像３０のうち、或る未検出期間に撮像された撮像画像３０に作業者４０が写っていないと判定された場合には、未検出期間の直前に撮像された第１撮像画像３０１（第１画像）に写っている作業者４０の位置Ｐ１（第１情報）、未検出期間の直後に撮像された第２撮像画像３０２（第２画像）に写っている作業者４０の位置Ｐ５（第２情報）、及び未検出期間の長さΔＴ（第３情報）に基づいて、未検出期間において作業者４０が所定の場所にいたかを判定する。これにより、カメラ２０の撮像範囲が、作業者４０の行動範囲の全てをカバーしていなくても、撮像範囲から外れた未検出期間において作業者４０が所定の場所にいたか否かを判定することができる。また、未検出期間において作業者４０が、当該場所に対応する作業を行っていたか否かを判定することができる。
【0132】
また、本実施形態に係る情報処理システムとしての行動分析システム１は、処理部１１を備え、処理部１１は、異なる複数の時点においてカメラ２０により撮像された複数の撮像画像３０を取得し、取得した複数の撮像画像３０の各々において作業者４０が写っているか否かを判定し、作業者４０が写っていると判定された各撮像画像３０に対応する作業者４０の位置を導出し、複数の撮像画像３０のうち、或る未検出期間に撮像された撮像画像３０に作業者４０が写っていないと判定された場合には、未検出期間の直前に撮像された第１撮像画像３０１（第１画像）に写っている作業者４０の位置Ｐ１（第１情報）、未検出期間の直後に撮像された第２撮像画像３０２（第２画像）に写っている作業者４０の位置Ｐ５（第２情報）、及び未検出期間の長さΔＴ（第３情報）に基づいて、未検出期間において作業者４０がいた場所を推定する。これにより、カメラ２０の撮像範囲が、作業者４０の行動範囲の全てをカバーしていなくても、撮像範囲から外れた未検出期間において作業者４０がいた場所を推定することができる。よって、カメラ２０の撮像範囲内か、撮像範囲外かによらずに、作業者４０の行動を把握することができる。また、作業者４０の行動に係る様々な分析を、高精度かつ即時に行うことができる。このため、行動分析に係る手間を低減することができる。
【0133】
また、本実施形態に係る情報処理システムとしての行動分析システム１は、処理部１１を備え、処理部１１は、異なる複数の時点においてカメラ２０により撮像された複数の撮像画像３０を取得し、取得した複数の撮像画像３０の各々において作業者４０が写っているか否かを判定し、作業者４０が写っていると判定された各撮像画像３０に対応する作業者４０の位置を導出し、複数の撮像画像３０のうち、或る未検出期間に撮像された撮像画像３０に作業者４０が写っていないと判定された場合には、未検出期間の直前に撮像された第１撮像画像３０１（第１画像）に写っている作業者４０の位置Ｐ１（第１情報）、未検出期間の直後に撮像された第２撮像画像３０２（第２画像）に写っている作業者４０の位置Ｐ５（第２情報）、及び未検出期間の長さΔＴ（第３情報）に基づいて、未検出期間において作業者４０が所定の場所にいたかを判定する。これにより、カメラ２０の撮像範囲が、作業者４０の行動範囲の全てをカバーしていなくても、撮像範囲から外れた未検出期間において作業者４０が所定の場所にいたか否かを判定することができる。また、未検出期間において作業者４０が、当該場所に対応する作業を行っていたか否かを判定することができる。
【0134】
＜その他＞
なお、上記実施形態における記述は、本発明に係る情報処理装置、プログラム、情報処理方法及び情報処理システムの一例であり、これに限定されるものではない。
例えば、上記実施形態における行動分析装置１０の処理部１１が実行していた処理の少なくとも一部を、行動分析システム１における行動分析装置１０以外の１以上の装置が分担して実行してもよい。
この場合の１以上の装置は、カメラ２０を含んでいてもよい。例えば、カメラ２０として、エッジＡＩカメラ（エンドポイントＡＩカメラ）を用い、カメラ２０に設けられた処理部が、上記実施形態における処理部１１のマーク検出部１１１、骨格検出部１１２、作業判定部１１３、時刻算出部１１４、座標算出部１１５、未検出時刻算出部１１６、及び未検出行動推定部１１７のうちの少なくとも一部として機能してもよい。言い換えると、カメラ２０に設けられた処理部が、識別マーク６０の検出（作業者４０の識別）、作業者４０の骨格の検出、作業者４０の作業の判定、時刻の算出、作業者４０の位置座標の算出、未検出期間の特定、及び未検出期間の行動の推定のうちの少なくとも一部を行ってもよい。この場合において、上記実施形態におけるマーク検出モデル１２２、骨格検出モデル１２３、作業判定モデル１２４、及び行動推定モデル１２５の少なくとも一部を、カメラ２０に設けられた記憶部に記憶させてもよい。
また、複数のカメラ２０のうちの１つをエッジＡＩカメラとし、各カメラ２０により撮像された動画を上記の１つのエッジＡＩカメラに送信し、エッジＡＩカメラに設けられた処理部が、識別マーク６０の検出（作業者４０の識別）、作業者４０の骨格の検出、作業者４０の作業の判定、時刻の算出、作業者４０の位置座標の算出、未検出期間の特定、及び未検出期間の行動の推定のうちの少なくとも一部を行ってもよい。
また、複数のカメラ２０として、相互にデータの送受信が可能に接続された、複数のエッジＡＩカメラを用いてもよい。この場合において、各エッジＡＩカメラが撮像した動画に基づいて、各エッジＡＩカメラに設けられた処理部が、識別マーク６０の検出（作業者４０の識別）、作業者４０の骨格の検出、作業者４０の作業の判定、時刻の算出、作業者４０の位置座標の算出、未検出期間の特定、及び未検出期間の行動の推定のうちの少なくとも一部を行い、これらの処理の結果を、他のいずれかのエッジＡＩカメラからの要求に応じて、当該エッジＡＩカメラに送信してもよい。すなわち、複数のエッジＡＩカメラにより、作業者４０の未検出期間における行動に係る情報をリアルタイムに共有してもよい。また、当該処理の結果を受信したエッジＡＩカメラ（又は行動分析装置１０）が、全作業者４０に係る行動データを統合してもよい。
行動分析装置１０の処理部１１が実行していた処理の一部をカメラ２０に設けられた処理部が実行する場合には、行動分析装置１０の処理部１１及びカメラ２０の処理部が「１以上の処理部」に相当する。また、行動分析装置１０の処理部１１が実行していた処理の全部をカメラ２０に設けられた処理部が実行する場合には、カメラ２０の処理部が「１以上の処理部」に相当し、カメラ２０が「情報処理装置」に相当する。
なお、上記実施形態における記述は、本発明に係る情報処理装置、プログラム、情報処理方法及び情報処理システムの一例であり、これに限定されるものではない。
例えば、上記実施形態における行動分析装置１０の処理部１１が実行していた処理の少なくとも一部を、行動分析システム１における行動分析装置１０以外の１以上の装置が分担して実行してもよい。
この場合の１以上の装置は、カメラ２０を含んでいてもよい。例えば、カメラ２０として、エッジＡＩカメラ（エンドポイントＡＩカメラ）を用い、カメラ２０に設けられた処理部が、上記実施形態における処理部１１のマーク検出部１１１、骨格検出部１１２、作業判定部１１３、時刻算出部１１４、座標算出部１１５、未検出時刻算出部１１６、及び未検出行動推定部１１７のうちの少なくとも一部として機能してもよい。言い換えると、カメラ２０に設けられた処理部が、識別マーク６０の検出（作業者４０の識別）、作業者４０の骨格の検出、作業者４０の作業の判定、時刻の算出、作業者４０の位置座標の算出、未検出期間の特定、及び未検出期間の行動の推定のうちの少なくとも一部を行ってもよい。この場合において、上記実施形態におけるマーク検出モデル１２２、骨格検出モデル１２３、作業判定モデル１２４、及び行動推定モデル１２５の少なくとも一部を、カメラ２０に設けられた記憶部に記憶させてもよい。
また、複数のカメラ２０のうちの１つをエッジＡＩカメラとし、各カメラ２０により撮像された動画を上記の１つのエッジＡＩカメラに送信し、エッジＡＩカメラに設けられた処理部が、識別マーク６０の検出（作業者４０の識別）、作業者４０の骨格の検出、作業者４０の作業の判定、時刻の算出、作業者４０の位置座標の算出、未検出期間の特定、及び未検出期間の行動の推定のうちの少なくとも一部を行ってもよい。
また、複数のカメラ２０として、相互にデータの送受信が可能に接続された、複数のエッジＡＩカメラを用いてもよい。この場合において、各エッジＡＩカメラが撮像した動画に基づいて、各エッジＡＩカメラに設けられた処理部が、識別マーク６０の検出（作業者４０の識別）、作業者４０の骨格の検出、作業者４０の作業の判定、時刻の算出、作業者４０の位置座標の算出、未検出期間の特定、及び未検出期間の行動の推定のうちの少なくとも一部を行い、これらの処理の結果を、他のいずれかのエッジＡＩカメラからの要求に応じて、当該エッジＡＩカメラに送信してもよい。すなわち、複数のエッジＡＩカメラにより、作業者４０の未検出期間における行動に係る情報をリアルタイムに共有してもよい。また、当該処理の結果を受信したエッジＡＩカメラ（又は行動分析装置１０）が、全作業者４０に係る行動データを統合してもよい。
行動分析装置１０の処理部１１が実行していた処理の一部をカメラ２０に設けられた処理部が実行する場合には、行動分析装置１０の処理部１１及びカメラ２０の処理部が「１以上の処理部」に相当する。また、行動分析装置１０の処理部１１が実行していた処理の全部をカメラ２０に設けられた処理部が実行する場合には、カメラ２０の処理部が「１以上の処理部」に相当し、カメラ２０が「情報処理装置」に相当する。
【0135】
また、行動分析装置１０（情報処理装置）は、カメラ２０（撮像部）を備えていてもよい。
【0136】
また、上記実施形態では、カメラ２０により撮像された動画の画像データをリアルタイムで分析する例を用いて説明したが、これに限られず、画像データ領域１２７に記録されている過去の動画の画像データを用いて分析してもよい。この場合には、各動画が同期されている必要がある。すなわち、各動画を撮像したカメラ２０が互いに同期されていることにより、各動画の時刻合わせがなされている必要がある。
【0137】
また、行動分析装置１０の記憶部１２に記憶されるプログラム、機械学習モデル、及びデータを、ネットワーク上のサーバやデータベースに格納し、通信部１４を介して当該サーバやデータベースから必要なデータを取得してもよい。
【0138】
また、上記実施形態では、行動を分析する対象となる対象者として、フロア１００において作業を行う作業者４０を例示したが、これに限られず、カメラ２０による撮像範囲と一部が重複する行動範囲において行動する任意の対象者を、分析対象とすることができる。
【0139】
また、「第１情報」は、未検出期間の直前に撮像された第１画像に写っている作業者４０の位置に係る情報であればよく、位置座標そのものでなくてもよい。また、「第２情報」は、未検出期間の直後に撮像された第２画像に写っている作業者４０の位置に係る情報であればよく、位置座標そのものでなくてもよい。例えば、第１情報及び第２情報は、複数のエリアのうち作業者４０が位置するエリアを表す情報等であってもよい。
【0140】
また、「第３情報」は、未検出期間の長さに係る情報であればよく、未検出期間の長さそのものでなくてもよい。例えば、第３情報は、未検出期間の長さが、複数段階の長さ区分のうちいずれの長さ区分に属するかを表す情報等であってもよい。
【0141】
また、行動の分析方法は、上記実施形態に例示した地図７０、ヒートマップ７１、滞在時間・移動距離グラフ７２、作業割合テーブル７３、代表滞在場所テーブル７４、タイムチャート７５、運搬回数・運搬時間グラフ７６、及び分析円グラフ７７を用いた方法に限られない。
【0142】
また、上記実施形態では、行動の分析結果（例えば、図２の地図７０、図１６のヒートマップ７１、図１７の滞在時間・移動距離グラフ７２、図１８の作業割合テーブル７３、図１９の代表滞在場所テーブル７４、図２０のタイムチャート７５、図２１の運搬回数・運搬時間グラフ７６、及び図２２の分析円グラフ７７）を表示部１３に表示させたが、これに代えて、行動の分析結果を任意の出力部に出力させてもよい。例えば、行動の分析結果を、出力部としての印刷装置により用紙上に印刷させてもよい。
【0143】
また、以上の説明では、本発明に係るプログラムのコンピュータ読み取り可能な媒体として記憶部１２のＨＤＤ、ＳＳＤを使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、フラッシュメモリ、ＣＤ－ＲＯＭ等の情報記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウエーブ（搬送波）も本発明に適用される。
【0144】
また、上記実施形態における行動分析システム１の各構成要素の細部構成及び細部動作に関しては、本発明の趣旨を逸脱することのない範囲で適宜変更可能であることは勿論である。
【0145】
本発明の実施の形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
【符号の説明】
【0146】
１ 行動分析システム（情報処理システム）
２ 作業室
３ 工程エリア
４ サブエリア
５ 倉庫
６ 通路
１０ 行動分析装置（情報処理装置）
１１ 処理部
１１１ マーク検出部
１１２ 骨格検出部
１１３ 作業判定部
１１４ 時刻算出部
１１５ 座標算出部
１１６ 未検出時刻算出部
１１７ 未検出行動推定部
１２ 記憶部
１２１ プログラム
１２２ マーク検出モデル
１２３ 骨格検出モデル
１２４ 作業判定モデル
１２５ 行動推定モデル（機械学習モデル）
１２６ 行動データ領域
１２６１ 作業エリアマスタ
１２６２ 作業者マスタ
１２６３ 作業分類マスタ
１２６４ 行動データテーブル
１２６５ 集計テーブル
１２６６ 個別集計テーブル
１２７ 画像データ領域
１３ 表示部（出力部）
１４ 通信部
１５ バス
２０、２０ａ～２０ｃ カメラ（撮像部）
３０ 撮像画像（画像）
３０Ｇ 撮像画像群（画像群）
４０、４０Ａ～４０Ｃ 作業者（対象者）
４１ 分析点
４２ 軸線
５０ 作業台
６０、６０ａ、６０ｂ 識別マーク（識別標識）
６０ｂ 識別マーク
７１ ヒートマップ
７２ 滞在時間・移動距離グラフ
７３ 作業割合テーブル
７４ 代表滞在場所テーブル
７５ タイムチャート
７６ 運搬回数・運搬時間グラフ
７７ 分析円グラフ
１００ フロア
Ｄ 骨格データ結合
Ｐ１ 位置（第１情報）
Ｐ２～Ｐ４ 位置
Ｐ５ 位置（第２情報）
Ｒａ～Ｒｃ 撮像範囲
Ｔ１～Ｔ５ 時刻
ΔＴ 未検出期間の長さ（第３情報）
ｄ、ｄ１～ｄ７ 骨格データ
２ 作業室
３ 工程エリア
４ サブエリア
５ 倉庫
６ 通路
１０ 行動分析装置（情報処理装置）
１１ 処理部
１１１ マーク検出部
１１２ 骨格検出部
１１３ 作業判定部
１１４ 時刻算出部
１１５ 座標算出部
１１６ 未検出時刻算出部
１１７ 未検出行動推定部
１２ 記憶部
１２１ プログラム
１２２ マーク検出モデル
１２３ 骨格検出モデル
１２４ 作業判定モデル
１２５ 行動推定モデル（機械学習モデル）
１２６ 行動データ領域
１２６１ 作業エリアマスタ
１２６２ 作業者マスタ
１２６３ 作業分類マスタ
１２６４ 行動データテーブル
１２６５ 集計テーブル
１２６６ 個別集計テーブル
１２７ 画像データ領域
１３ 表示部（出力部）
１４ 通信部
１５ バス
２０、２０ａ～２０ｃ カメラ（撮像部）
３０ 撮像画像（画像）
３０Ｇ 撮像画像群（画像群）
４０、４０Ａ～４０Ｃ 作業者（対象者）
４１ 分析点
４２ 軸線
５０ 作業台
６０、６０ａ、６０ｂ 識別マーク（識別標識）
６０ｂ 識別マーク
７１ ヒートマップ
７２ 滞在時間・移動距離グラフ
７３ 作業割合テーブル
７４ 代表滞在場所テーブル
７５ タイムチャート
７６ 運搬回数・運搬時間グラフ
７７ 分析円グラフ
１００ フロア
Ｄ 骨格データ結合
Ｐ１ 位置（第１情報）
Ｐ２～Ｐ４ 位置
Ｐ５ 位置（第２情報）
Ｒａ～Ｒｃ 撮像範囲
Ｔ１～Ｔ５ 時刻
ΔＴ 未検出期間の長さ（第３情報）
ｄ、ｄ１～ｄ７ 骨格データ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】