ホーム > 特許ランキング > 株式会社アイ・アイ・エム
知財求人 - 知財ポータルサイト「IP Force」
特開2024-134284動作情報出力装置、動作判定システム、プログラムおよび動作判定方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024134284
(43)【公開日】2024-10-03
(54)【発明の名称】動作情報出力装置、動作判定システム、プログラムおよび動作判定方法
(51)【国際特許分類】
G06Q 10/0639 20230101AFI20240926BHJP
G06T 7/20 20170101ALI20240926BHJP
G06T 7/70 20170101ALI20240926BHJP
G06V 40/20 20220101ALI20240926BHJP
H04N 7/18 20060101ALI20240926BHJP
【ＦＩ】
G06Q10/0639
G06T7/20 300Z
G06T7/70 A
G06V40/20
H04N7/18 K
【審査請求】未請求
【請求項の数】12
【出願形態】ＯＬ
(21)【出願番号】P 2023044507
(22)【出願日】2023-03-20
(71)【出願人】
【識別番号】319011546
【氏名又は名称】株式会社アイ・アイ・エム
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100126664
【弁理士】
【氏名又は名称】鈴木 慎吾
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(72)【発明者】
【氏名】小林 野愛
【テーマコード（参考）】
5C054
5L010
5L049
5L096
【Ｆターム（参考）】
5C054CC02
5C054EA01
5C054EA07
5C054FC12
5C054FC13
5C054FC15
5C054GB01
5C054GB05
5L010AA06
5L049AA06
5L096AA02
5L096AA06
5L096BA08
5L096BA18
5L096CA04
5L096DA02
5L096FA69
5L096HA09
5L096JA11
(57)【要約】
【課題】作業者の作業動作に関する情報をより簡便に取得する。
【解決手段】動作情報出力装置は、作業空間内で移動する作業者の身体に取り付けられた撮像装置によって撮像された動画像を取得する画像取得部と、動画像に含まれる作業者の身体の画像に基づいて、作業者の身体の姿勢の時間変化を示す姿勢情報を生成する姿勢情報生成部と、動画像に基づいて、撮像装置によって撮像された物体の画像の特徴量の時間変化を示す特徴量情報を生成する特徴量情報生成部と、生成された姿勢情報と、特徴量情報とを、動画像の時系列に対応付けて出力する出力部と、を備える。
【選択図】図５
【解決手段】動作情報出力装置は、作業空間内で移動する作業者の身体に取り付けられた撮像装置によって撮像された動画像を取得する画像取得部と、動画像に含まれる作業者の身体の画像に基づいて、作業者の身体の姿勢の時間変化を示す姿勢情報を生成する姿勢情報生成部と、動画像に基づいて、撮像装置によって撮像された物体の画像の特徴量の時間変化を示す特徴量情報を生成する特徴量情報生成部と、生成された姿勢情報と、特徴量情報とを、動画像の時系列に対応付けて出力する出力部と、を備える。
【選択図】図５
【特許請求の範囲】
【請求項1】
作業空間内で移動する作業者の身体に取り付けられた撮像装置によって撮像された動画像を取得する画像取得部と、
前記動画像に含まれる前記作業者の身体の画像に基づいて、前記作業者の身体の姿勢の時間変化を示す姿勢情報を生成する姿勢情報生成部と、
前記動画像に基づいて、前記撮像装置によって撮像された物体の画像の特徴量の時間変化を示す特徴量情報を生成する特徴量情報生成部と、
生成された前記姿勢情報と、前記特徴量情報とを、前記動画像の時系列に対応付けて出力する出力部と、
を備える動作情報出力装置。
前記動画像に含まれる前記作業者の身体の画像に基づいて、前記作業者の身体の姿勢の時間変化を示す姿勢情報を生成する姿勢情報生成部と、
前記動画像に基づいて、前記撮像装置によって撮像された物体の画像の特徴量の時間変化を示す特徴量情報を生成する特徴量情報生成部と、
生成された前記姿勢情報と、前記特徴量情報とを、前記動画像の時系列に対応付けて出力する出力部と、
を備える動作情報出力装置。
【請求項2】
前記作業空間内の所定の位置に付された、当該所定の位置を識別する位置識別物の画像である位置識別画像を、前記動画像の中から抽出する位置識別画像抽出部と、
抽出された前記位置識別画像に基づいて、前記所定の位置を特定する位置特定情報を生成する位置特定情報生成部
をさらに備え、
前記出力部は、生成された前記位置特定情報と、前記姿勢情報と、前記特徴量情報とを、前記動画像の時系列に対応付けて出力する
請求項１に記載の動作情報出力装置。
抽出された前記位置識別画像に基づいて、前記所定の位置を特定する位置特定情報を生成する位置特定情報生成部
をさらに備え、
前記出力部は、生成された前記位置特定情報と、前記姿勢情報と、前記特徴量情報とを、前記動画像の時系列に対応付けて出力する
請求項１に記載の動作情報出力装置。
【請求項3】
前記作業者の身体に装着された部位識別物の画像である部位識別画像を、前記動画像の中から抽出する部位識別画像抽出部
をさらに備え、
前記姿勢情報生成部は、抽出された前記部位識別画像に基づいて、前記動画像に撮像されている前記作業者の身体の部位を特定することにより、前記姿勢情報を生成する
請求項１に記載の動作情報出力装置。
をさらに備え、
前記姿勢情報生成部は、抽出された前記部位識別画像に基づいて、前記動画像に撮像されている前記作業者の身体の部位を特定することにより、前記姿勢情報を生成する
請求項１に記載の動作情報出力装置。
【請求項4】
前記特徴量情報生成部は、非可逆変換演算によって前記動画像の情報量を低減することにより前記特徴量情報を生成する
請求項１に記載の動作情報出力装置。
請求項１に記載の動作情報出力装置。
【請求項5】
請求項１に記載の動作情報出力装置と、
出力された前記姿勢情報と、前記特徴量情報とを取得する情報取得部と、
前記姿勢情報と、前記特徴量情報とに基づいて、前記作業者による作業工程を構成する動作の種類を判定する動作判定部と、
を備える動作判定装置と、
を備える動作判定システム。
出力された前記姿勢情報と、前記特徴量情報とを取得する情報取得部と、
前記姿勢情報と、前記特徴量情報とに基づいて、前記作業者による作業工程を構成する動作の種類を判定する動作判定部と、
を備える動作判定装置と、
を備える動作判定システム。
【請求項6】
前記動作判定装置は、前記動作判定部による前記動作の種類の判定結果に基づいて、前記動作によって構成される作業工程の種類を判定する作業工程判定部
をさらに備える請求項５に記載の動作判定システム。
をさらに備える請求項５に記載の動作判定システム。
【請求項7】
前記動作判定装置は、複数の前記作業工程間の所定の順序を示す工程情報を記憶する記憶部から、前記工程情報を取得する工程情報取得部
をさらに備え、
前記作業工程判定部は、前記工程情報に基づいて、前記作業工程の種類を判定する
請求項６に記載の動作判定システム。
をさらに備え、
前記作業工程判定部は、前記工程情報に基づいて、前記作業工程の種類を判定する
請求項６に記載の動作判定システム。
【請求項8】
前記動作判定装置は、前記動作情報出力装置が出力する前記姿勢情報または前記特徴量情報のいずれか少なくとも１つと、当該いずれか少なくとも１つの情報に対応付けられている前記動画像の時系列とに基づいて、前記作業工程の所要時間を計時する計時部
をさらに備える請求項６に記載の動作判定システム。
をさらに備える請求項６に記載の動作判定システム。
【請求項9】
前記計時部は、前記作業空間内の位置のうち、第１位置から第２位置への前記作業者の移動時間を計時する
請求項８に記載の動作判定システム。
請求項８に記載の動作判定システム。
【請求項10】
前記作業工程判定部は、機械学習の結果に基づいて、前記作業工程の種類を判定する
請求項６に記載の動作判定システム。
請求項６に記載の動作判定システム。
【請求項11】
動作情報出力装置が備えるコンピュータに、
作業空間内で移動する作業者の身体に取り付けられた撮像装置によって時系列に撮像された動画像を取得することと、
前記動画像に含まれる前記作業者の身体の画像に基づいて、前記作業者の身体の姿勢の時間変化を示す姿勢情報を生成することと、
前記動画像に基づいて、前記撮像装置によって撮像された物体の特徴量の時間変化を示す特徴量情報を生成することと、
生成された前記姿勢情報と、前記特徴量情報とを、前記動画像の時系列に対応付けて出力することと、
を実行させるためのプログラム。
作業空間内で移動する作業者の身体に取り付けられた撮像装置によって時系列に撮像された動画像を取得することと、
前記動画像に含まれる前記作業者の身体の画像に基づいて、前記作業者の身体の姿勢の時間変化を示す姿勢情報を生成することと、
前記動画像に基づいて、前記撮像装置によって撮像された物体の特徴量の時間変化を示す特徴量情報を生成することと、
生成された前記姿勢情報と、前記特徴量情報とを、前記動画像の時系列に対応付けて出力することと、
を実行させるためのプログラム。
【請求項12】
作業空間内で移動する作業者の身体に取り付けられた撮像装置によって時系列に撮像された動画像を取得する手順と、
前記動画像に含まれる前記作業者の身体の画像に基づいて、前記作業者の身体の姿勢の時間変化を示す姿勢情報を生成する手順と、
前記動画像に基づいて、前記撮像装置によって撮像された物体の特徴量の時間変化を示す特徴量情報を生成する手順と、
生成された前記姿勢情報と、前記特徴量情報とを、前記動画像の時系列に対応付けて出力する手順と、
出力された前記姿勢情報と、前記特徴量情報とを取得する手順と、
前記姿勢情報と、前記特徴量情報とに基づいて、前記作業者による作業工程を構成する動作の種類を判定する手順と、
前記動作の種類の判定結果に基づいて、前記動作によって構成される作業工程の種類を判定する手順と、
を有する動作判定方法。
前記動画像に含まれる前記作業者の身体の画像に基づいて、前記作業者の身体の姿勢の時間変化を示す姿勢情報を生成する手順と、
前記動画像に基づいて、前記撮像装置によって撮像された物体の特徴量の時間変化を示す特徴量情報を生成する手順と、
生成された前記姿勢情報と、前記特徴量情報とを、前記動画像の時系列に対応付けて出力する手順と、
出力された前記姿勢情報と、前記特徴量情報とを取得する手順と、
前記姿勢情報と、前記特徴量情報とに基づいて、前記作業者による作業工程を構成する動作の種類を判定する手順と、
前記動作の種類の判定結果に基づいて、前記動作によって構成される作業工程の種類を判定する手順と、
を有する動作判定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、動作情報出力装置、動作判定システム、プログラムおよび動作判定方法に関する。
【背景技術】
【0002】
従来、工場や倉庫などの作業空間における作業者の工数の定量測定のために、定点カメラを設置し、作業者の身体の各部位にマーカーを装着させてその動きを把握する技術が開示されている（例えば、特許文献１を参照）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１７－０６８４２８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記のような従来技術においては、作業者が移動すると定点カメラの画角から作業者が消えてしまい観測ができなくなったり、作業者に多数のマーカーを装着する手間や装着したマーカーが定点カメラの死角に入って観測が困難になる、といった問題が生じていた。
【0005】
本発明は、上記問題を解決すべくなされたもので、その目的は、作業者の作業動作に関する情報をより簡便に取得することができる動作情報出力装置、動作判定システム、プログラムおよび動作判定方法を提供することにある。
【課題を解決するための手段】
【0006】
本発明の一実施形態は、作業空間内で移動する作業者の身体に取り付けられた撮像装置によって撮像された動画像を取得する画像取得部と、前記動画像に含まれる前記作業者の身体の画像に基づいて、前記作業者の身体の姿勢の時間変化を示す姿勢情報を生成する姿勢情報生成部と、前記動画像に基づいて、前記撮像装置によって撮像された物体の画像の特徴量の時間変化を示す特徴量情報を生成する特徴量情報生成部と、生成された前記姿勢情報と、前記特徴量情報とを、前記動画像の時系列に対応付けて出力する出力部と、を備える動作情報出力装置である。
【0007】
本発明の一実施形態は、上述の動作情報出力装置と、出力された前記姿勢情報と、前記特徴量情報とを取得する情報取得部と、前記姿勢情報と、前記特徴量情報とに基づいて、前記作業者による作業工程を構成する動作の種類を判定する動作判定部と、を備える動作判定装置と、を備える動作判定システムである。
【0008】
本発明の一実施形態は、動作情報出力装置が備えるコンピュータに、作業空間内で移動する作業者の身体に取り付けられた撮像装置によって時系列に撮像された動画像を取得することと、前記動画像に含まれる前記作業者の身体の画像に基づいて、前記作業者の身体の姿勢の時間変化を示す姿勢情報を生成することと、前記動画像に基づいて、前記撮像装置によって撮像された物体の特徴量の時間変化を示す特徴量情報を生成することと、生成された前記姿勢情報と、前記特徴量情報とを、前記動画像の時系列に対応付けて出力することと、を実行させるためのプログラムである。
【0009】
本発明の一実施形態は、作業空間内で移動する作業者の身体に取り付けられた撮像装置によって時系列に撮像された動画像を取得する手順と、前記動画像に含まれる前記作業者の身体の画像に基づいて、前記作業者の身体の姿勢の時間変化を示す姿勢情報を生成する手順と、前記動画像に基づいて、前記撮像装置によって撮像された物体の特徴量の時間変化を示す特徴量情報を生成する手順と、生成された前記姿勢情報と、前記特徴量情報とを、前記動画像の時系列に対応付けて出力する手順と、出力された前記姿勢情報と、前記特徴量情報とを取得する手順と、前記姿勢情報と、前記特徴量情報とに基づいて、前記作業者による作業工程を構成する動作の種類を判定する手順と、前記動作の種類の判定結果に基づいて、前記動作によって構成される作業工程の種類を判定する手順と、を有する動作判定方法である。
【発明の効果】
【0010】
この発明によれば、作業者の作業動作に関する情報をより簡便に取得することができる。
【図面の簡単な説明】
【0011】
【図1】本実施形態の作業空間の一例を示す図である。
【図2】本実施形態の帳票の一例を示す図である
【図3】本実施形態のウエアラブルカメラの装着状態の一例を示す図である。
【図4】本実施形態の帳票棚の外観の一例を示す図である。
【図5】本実施形態の動作判定システムの構成の一例を示す図である。
【図6】本実施形態の位置識別画像と識別コード情報との対応関係の一例を示す図である。
【図7】本実施形態の部位識別マーカーの一例を示す図である。
【図8】本実施形態の工程情報の構成の一例を示す図である。
【図9】本実施形態の動作判定システムの動作の流れの一例を示す図である。
【図10】本実施形態の姿勢情報の一例を示す図である。
【図11】本実施形態の動画像の特徴量の一例を示す図である。
【図12】本実施形態の作業工程判定部による判定結果の一例を示す図である。
【図13】本実施形態の作業工程の一次判定結果の一例を示す図である。
【図14】本実施形態の作業工程の判定結果の一例を示す図である。
【発明を実施するための形態】
【0012】
以下、図面を参照して、本発明の実施形態を説明する。
図１は、本実施形態の作業空間の一例を示す図である。本実施形態においては、商品倉庫を作業空間の一例として説明する。この一例の場合、作業者１１は、作業空間である商品倉庫内を移動して、出庫指示書（以下の説明において、単に帳票６００ともいう。）に記載されている商品をピックアップする。
図１は、本実施形態の作業空間の一例を示す図である。本実施形態においては、商品倉庫を作業空間の一例として説明する。この一例の場合、作業者１１は、作業空間である商品倉庫内を移動して、出庫指示書（以下の説明において、単に帳票６００ともいう。）に記載されている商品をピックアップする。
【0013】
図２は、本実施形態の帳票６００の一例を示す図である。例えば、帳票６００には、出庫指示毎に固有に付された作業管理番号のバーコード６０１が付されている。
作業者１１は、このバーコードをスキャンすることで、ピックアップ対象の商品が置かれている商品棚のロケーションを把握する。作業者１１は、１つの帳票６００に記載された商品をすべてピックアップしたら、ピックアップした商品をコンテナに入れて検品場に向かう。本実施形態において、この一連の作業をピックアップ作業ともいう。
作業者１１は、このバーコードをスキャンすることで、ピックアップ対象の商品が置かれている商品棚のロケーションを把握する。作業者１１は、１つの帳票６００に記載された商品をすべてピックアップしたら、ピックアップした商品をコンテナに入れて検品場に向かう。本実施形態において、この一連の作業をピックアップ作業ともいう。
【0014】
図１に戻り、位置Ｐ１～位置Ｐ４は、作業者１１の作業位置の一例を示す。経路Ｒ１２～Ｒ３４は、作業者１１の移動経路（移動軌跡）の一例を示す。
位置Ｐ１は、帳票棚６０が設置されている位置Ｐ１１に相対する作業スペースの位置である。すなわち、位置Ｐ１は、帳票棚６０の近傍の位置である。
位置Ｐ２は、ピックアップ対象の商品８０が保管されている商品棚９０が設置されている位置Ｐ２１に相対する作業スペースの位置である。すなわち、位置Ｐ２は、商品棚９０の近傍の位置である。
位置Ｐ３は、空コンテナ置き場９１が設置されている位置Ｐ３１に相対する作業スペースの位置である。すなわち、位置Ｐ３は、空コンテナ置き場９１の近傍の位置である。
位置Ｐ４は、検品場９２が設置されている位置Ｐ４１に相対する作業スペースの位置である。すなわち、位置Ｐ４は、検品場９２の近傍の位置である。
なお「作業スペース」とは、作業空間内の作業者１１の作業や移動が可能なエリアを広く意味しており、「作業者１１が移動せずに作業を行う位置」という意味に限定されるものではない。
位置Ｐ１は、帳票棚６０が設置されている位置Ｐ１１に相対する作業スペースの位置である。すなわち、位置Ｐ１は、帳票棚６０の近傍の位置である。
位置Ｐ２は、ピックアップ対象の商品８０が保管されている商品棚９０が設置されている位置Ｐ２１に相対する作業スペースの位置である。すなわち、位置Ｐ２は、商品棚９０の近傍の位置である。
位置Ｐ３は、空コンテナ置き場９１が設置されている位置Ｐ３１に相対する作業スペースの位置である。すなわち、位置Ｐ３は、空コンテナ置き場９１の近傍の位置である。
位置Ｐ４は、検品場９２が設置されている位置Ｐ４１に相対する作業スペースの位置である。すなわち、位置Ｐ４は、検品場９２の近傍の位置である。
なお「作業スペース」とは、作業空間内の作業者１１の作業や移動が可能なエリアを広く意味しており、「作業者１１が移動せずに作業を行う位置」という意味に限定されるものではない。
【0015】
本実施形態において「コンテナ」とは、ピックアップ後の商品を収納して検品場所に運ぶための箱である。コンテナは、１回のピックアップ作業における一般的な分量の商品を収納できる寸法であることが好ましい。また、コンテナは、不使用時には折りたためるものであってもよい。
【0016】
作業者１１は、ウエアラブルカメラ１０を装着した状態で、位置Ｐ１～位置Ｐ４の間を、経路Ｒ１２～Ｒ３４を経由して移動しながらピックアップ作業を行う。
【0017】
図３は、本実施形態のウエアラブルカメラ１０の装着状態の一例を示す図である。本実施形態の一例において、ウエアラブルカメラ１０は、作業者１１の頭部に装着され、作業者１１の前方を撮像する。
ウエアラブルカメラ１０は、静止画像や動画像（以下、これらを総称して単に画像ともいう。）を撮像可能であり、撮像した画像をウエアラブルカメラ１０が備える記憶部（不図示）に記憶させることができる。
なお、ウエアラブルカメラ１０は、撮像した画像を無線通信や有線通信によって、撮像直後にリアルタイムで、あるいは撮像終了後に、外部装置に対して出力できる機能を有していてもよい。
ウエアラブルカメラ１０は、静止画像や動画像（以下、これらを総称して単に画像ともいう。）を撮像可能であり、撮像した画像をウエアラブルカメラ１０が備える記憶部（不図示）に記憶させることができる。
なお、ウエアラブルカメラ１０は、撮像した画像を無線通信や有線通信によって、撮像直後にリアルタイムで、あるいは撮像終了後に、外部装置に対して出力できる機能を有していてもよい。
【0018】
【0019】
図４は、本実施形態の帳票棚６０の外観の一例を示す図である。同図には、ウエアラブルカメラ１０が位置Ｐ１において撮像した動画像Ｍ１１に含まれる帳票棚６０の外観の様子を示している。帳票棚６０には、新たな出庫指示を示す帳票６００（すなわち、ピックアップ作業開始前の帳票６００）が置かれる。帳票棚６０の近傍には、位置識別マーカーＩＤ１１が設置されている。
【0020】
位置識別マーカーＩＤ１とは、作業空間内の所定の位置を識別する識別物（例えば、カラーコード）であり、位置識別物の一例である。
位置識別物とは、例えば、紙、樹脂板、金属板などの板状の部品の表面に、印刷などの方法で識別コードが表示された物体である。
識別コードとは、位置識別物が設置される位置を示す符号であり、作業空間内の位置毎に互いに異なる一意性を有する符号である。
位置識別マーカーＩＤ１には、位置Ｐ１に設置された位置識別マーカーＩＤ１１と、位置Ｐ３に設置された位置識別マーカーＩＤ１３とがある。
上述したように、位置Ｐ１とは、帳票棚６０が置かれた位置Ｐ１１の近傍の位置である。つまり、位置識別マーカーＩＤ１は、帳票棚６０を示す位置識別物である。
位置Ｐ３とは、コンテナ置き場９１の位置Ｐ３１の近傍の位置である。つまり、位置識別マーカーＩＤ１３は、コンテナ置き場９１を示す位置識別物である。
位置識別物とは、例えば、紙、樹脂板、金属板などの板状の部品の表面に、印刷などの方法で識別コードが表示された物体である。
識別コードとは、位置識別物が設置される位置を示す符号であり、作業空間内の位置毎に互いに異なる一意性を有する符号である。
位置識別マーカーＩＤ１には、位置Ｐ１に設置された位置識別マーカーＩＤ１１と、位置Ｐ３に設置された位置識別マーカーＩＤ１３とがある。
上述したように、位置Ｐ１とは、帳票棚６０が置かれた位置Ｐ１１の近傍の位置である。つまり、位置識別マーカーＩＤ１は、帳票棚６０を示す位置識別物である。
位置Ｐ３とは、コンテナ置き場９１の位置Ｐ３１の近傍の位置である。つまり、位置識別マーカーＩＤ１３は、コンテナ置き場９１を示す位置識別物である。
【0021】
なお、位置識別マーカーＩＤ１は、ウエアラブルカメラ１０によって撮像された場合に、識別コードが認識できる物体であればどのように構成されていてもよい。位置識別マーカーＩＤ１は、上述した平面状の物体でなくてもよく、例えば、各方向から視認できる円筒形、三角錐形、または球形の立体物であってもよいし、内部から照明されることで暗所でも視認できる照光式の立体物であってもよい。
【0022】
位置識別マーカーＩＤ１は、作業空間内の各所に設置される。位置識別マーカーＩＤ１は、設置される位置毎に、当該位置に対応する一意の識別コードが与えられている。この一例の場合、識別コードは、カラーコードである。カラーコードとは、赤・青・緑などの色の配置（例えば、位置、順序、面積など）の違いによって一意性を示す符号である。位置識別マーカーＩＤ１がカラーコードである場合は、一意に配置された色と、作業空間内の所定の位置とが予め対応付けられている。
【0023】
なお、位置識別マーカーＩＤ１は、ウエアラブルカメラ１０によって撮像された場合に、識別コードの一意性が判別できればカラーコードでなくてもよく、例えば、モノクロのバーコードや２次元コードであってもよい。
【0024】
以下の説明において、識別コードを撮像して、当該識別コードに予め対応付けられた位置を判定することを、「識別コードを解読する」ともいう。識別コードを解読することにより、いずれの位置に設置された位置識別マーカーＩＤ１であるかを特定することができる。識別コードを解読することで当該識別コードが示す位置を特定できることを、「識別コードは、設置された位置を識別する」ともいう。
すなわち、位置識別マーカーＩＤ１は、設置された位置を識別する。
すなわち、位置識別マーカーＩＤ１は、設置された位置を識別する。
【0025】
図１に戻り、位置Ｐ４とは、検品場９２の位置である。検品とは、ピックアップ作業の次工程の作業である。検品場９２とは、ピックアップされた商品８０が帳票６００と一致するか否かや、商品８０に不具合がないかを確認する場所である。本実施形態において、位置Ｐ４には位置識別マーカーＩＤ１を設置してもよいし、設置しなくてもよい。
【0026】
位置Ｐ２とは、商品８０が保管される商品棚９０が置かれた位置Ｐ２１の近傍の位置である。本実施形態において、位置Ｐ２には、位置識別マーカーＩＤ１が設置されていない。つまり、本実施形態では、商品棚９０を示す位置識別物（例えば、カラーマーカー）は存在しない。
商品棚９０は、商品８０の種類に応じて多数用意される。これらの商品棚９０は、商品８０の種類に応じて、その位置を識別できることが望ましい。しかしながら、それぞれの商品棚９０に対して、コードが互いに異なる位置識別マーカーＩＤ１を付すとすれば、多数の商品棚９０について、それぞれ位置識別マーカーＩＤ１を設置する手間が生じる。
本実施形態においては、商品棚９０を示す位置識別マーカーＩＤ１を設置しないことで、位置識別マーカーＩＤ１を設置する手間を軽減する。
商品棚９０は、商品８０の種類に応じて多数用意される。これらの商品棚９０は、商品８０の種類に応じて、その位置を識別できることが望ましい。しかしながら、それぞれの商品棚９０に対して、コードが互いに異なる位置識別マーカーＩＤ１を付すとすれば、多数の商品棚９０について、それぞれ位置識別マーカーＩＤ１を設置する手間が生じる。
本実施形態においては、商品棚９０を示す位置識別マーカーＩＤ１を設置しないことで、位置識別マーカーＩＤ１を設置する手間を軽減する。
【0027】
［動作判定システムの構成］
図５は、本実施形態の動作判定システム１の構成の一例を示す図である。動作判定システム１は、動作情報出力装置２０と、動作判定装置３０とを備える。
図５は、本実施形態の動作判定システム１の構成の一例を示す図である。動作判定システム１は、動作情報出力装置２０と、動作判定装置３０とを備える。
【0028】
［動作情報出力装置の機能構成］
動作情報出力装置２０は、例えば、パーソナルコンピュータなどのコンピュータ装置であって、不図示の記憶部に記憶されたソフトウエアによって動作する。動作情報出力装置２０は、そのソフトウエア機能部（あるいはハードウエア機能部）としての、画像取得部２１０と、特徴量情報生成部２２０と、位置識別画像抽出部２３０と、位置特定情報生成部２４０と、部位識別画像抽出部２５０と、姿勢情報生成部２６０と、出力部２７０とを備える。
動作情報出力装置２０は、例えば、パーソナルコンピュータなどのコンピュータ装置であって、不図示の記憶部に記憶されたソフトウエアによって動作する。動作情報出力装置２０は、そのソフトウエア機能部（あるいはハードウエア機能部）としての、画像取得部２１０と、特徴量情報生成部２２０と、位置識別画像抽出部２３０と、位置特定情報生成部２４０と、部位識別画像抽出部２５０と、姿勢情報生成部２６０と、出力部２７０とを備える。
【0029】
画像取得部２１０は、作業空間内で移動する作業者１１の身体に取り付けられたウエアラブルカメラ１０（撮像装置）によって撮像された動画像Ｍを取得する。
上述したように、ウエアラブルカメラ１０は、撮像した画像（例えば、動画像Ｍ）を記憶部（不図示）に記憶させることができる。画像取得部２１０は、ウエアラブルカメラ１０に記憶されている動画像Ｍを、記憶媒体を介して、あるいは無線または有線通信によって、取得する。
上述したように、ウエアラブルカメラ１０は、撮像した画像（例えば、動画像Ｍ）を記憶部（不図示）に記憶させることができる。画像取得部２１０は、ウエアラブルカメラ１０に記憶されている動画像Ｍを、記憶媒体を介して、あるいは無線または有線通信によって、取得する。
【0030】
なお、ウエアラブルカメラ１０がコンピュータ装置を備える場合には、動作情報出力装置２０は、ウエアラブルカメラ１０が備えるコンピュータ装置に組み込まれて構成されていてもよい。すなわち、ウエアラブルカメラ１０と動作情報出力装置２０とは、一体型の装置として構成されていてもよい。
【0031】
ここで、本実施形態における動画像Ｍとは、複数の静止画像（フレーム）が、撮像された時刻順（つまり、時系列）に並べられたものであればよく、そのフレームレートや解像度の大小は問わない。
【0032】
一般的に、動画像Ｍについて、その画像の特徴を数値化した特徴量ＦＶを算出することができる。特徴量ＦＶの一例としては、ある時間範囲における画像内の物体の移動量（つまり、画像内の物体の移動速度）がある。この場合、動画像Ｍの特徴点について、複数のフレーム間での位置の差分に基づいて動きベクトルの大きさを求めることにより、動画像Ｍの特徴量ＦＶを算出することができる。
この一例の場合、特徴量ＦＶは、動画像Ｍに撮像されている物体の移動速度を示している。ここで、動画像Ｍは、作業者１１に装着されたウエアラブルカメラ１０によって撮像された画像である。したがって、動画像Ｍに撮像されている物体の移動速度は、当該物体と作業者１１との相対速度を示している。例えば、動画像Ｍに撮像されている物体が床に固定された固定物（例えば、商品棚９０）である場合には、動画像Ｍに撮像されている物体の移動速度は、作業者１１の移動速度を示している。
すなわち、この一例の場合、動画像Ｍの特徴量ＦＶは、作業者１１の移動速度を示す。
この一例の場合、特徴量ＦＶは、動画像Ｍに撮像されている物体の移動速度を示している。ここで、動画像Ｍは、作業者１１に装着されたウエアラブルカメラ１０によって撮像された画像である。したがって、動画像Ｍに撮像されている物体の移動速度は、当該物体と作業者１１との相対速度を示している。例えば、動画像Ｍに撮像されている物体が床に固定された固定物（例えば、商品棚９０）である場合には、動画像Ｍに撮像されている物体の移動速度は、作業者１１の移動速度を示している。
すなわち、この一例の場合、動画像Ｍの特徴量ＦＶは、作業者１１の移動速度を示す。
【0033】
特徴量情報生成部２２０は、動画像Ｍに基づいて、ウエアラブルカメラ１０（撮像装置）によって撮像された物体の画像の特徴量ＦＶの時間変化を示す特徴量情報２２１を生成する。
【0034】
特徴量情報生成部２２０は、非可逆変換演算によって動画像Ｍの情報量を低減することにより特徴量情報２２１を生成してもよい。ここで、非可逆変換演算とは、変換後の情報である特徴量情報２２１から、変換前の情報である動画像Ｍを復元できない演算のことをいう。本実施形態の非可逆変換演算は、変換前の動画像Ｍの情報量に比べて、変換後の特徴量情報２２１の情報量が少ない。すなわち、本実施形態の非可逆変換演算は、動画像Ｍの情報量を低減することにより特徴量情報２２１を生成する。
非可逆変換演算の一例として、動画像Ｍの特徴量をハッシュ値によって示すハッシュ演算がある。この場合、特徴量情報生成部２２０は、ハッシュ演算によって、動画像Ｍから特徴量情報２２１を生成する、ということもできる。
非可逆変換演算の一例として、動画像Ｍの特徴量をハッシュ値によって示すハッシュ演算がある。この場合、特徴量情報生成部２２０は、ハッシュ演算によって、動画像Ｍから特徴量情報２２１を生成する、ということもできる。
【0035】
このように構成された動作情報出力装置２０によれば、動画像Ｍから非可逆変換演算によって特徴量情報２２１を生成するため、仮に特徴量情報２２１が第三者に取得されたとしても、この第三者は元の動画像Ｍを完全には復元することができない。
動画像Ｍは、作業空間（例えば、商品倉庫）内の風景を撮像したものである。したがって、動画像Ｍには、当該作業空間を運営する企業の機密事項が含まれている場合がある。仮に、動作情報出力装置２０が、非可逆変換演算を施さずに動画像Ｍを外部装置（例えば、動作判定装置３０）に出力した場合、当該作業空間を運営する企業の機密事項が流出してしまうおそれがある。本実施形態の動作情報出力装置２０は、動画像Ｍに非可逆変換演算を施して外部装置（例えば、動作判定装置３０）に出力することができるため、当該作業空間を運営する企業の機密事項が流出してしまうおそれを低減することができる。
また、上述したように、特徴量情報２２１は、動画像Ｍに比べて情報量が少ない。本実施形態の動作情報出力装置２０は、動画像Ｍをそのまま外部装置（例えば、動作判定装置３０）に出力する場合に比べ、動画像Ｍの特徴を示す情報（つまり、特徴量情報２２１）の情報量をより少なくして、外部装置（例えば、動作判定装置３０）に出力することができる。
動画像Ｍは、作業空間（例えば、商品倉庫）内の風景を撮像したものである。したがって、動画像Ｍには、当該作業空間を運営する企業の機密事項が含まれている場合がある。仮に、動作情報出力装置２０が、非可逆変換演算を施さずに動画像Ｍを外部装置（例えば、動作判定装置３０）に出力した場合、当該作業空間を運営する企業の機密事項が流出してしまうおそれがある。本実施形態の動作情報出力装置２０は、動画像Ｍに非可逆変換演算を施して外部装置（例えば、動作判定装置３０）に出力することができるため、当該作業空間を運営する企業の機密事項が流出してしまうおそれを低減することができる。
また、上述したように、特徴量情報２２１は、動画像Ｍに比べて情報量が少ない。本実施形態の動作情報出力装置２０は、動画像Ｍをそのまま外部装置（例えば、動作判定装置３０）に出力する場合に比べ、動画像Ｍの特徴を示す情報（つまり、特徴量情報２２１）の情報量をより少なくして、外部装置（例えば、動作判定装置３０）に出力することができる。
【0036】
ウエアラブルカメラ１０で撮像された動画像Ｍには、作業者１１の作業状況によっては、位置識別マーカーＩＤ１が撮像されている場合がある。例えば、作業者１１が位置Ｐ１にいる際に撮像された動画像Ｍには、図１に示した位置識別マーカーＩＤ１１が撮像されている場合がある。また、例えば、作業者１１が位置Ｐ３にいる際に撮像された動画像Ｍには、位置識別マーカーＩＤ１３が撮像されている場合がある。
【0037】
位置識別画像抽出部２３０は、作業空間内の所定の位置に付された、当該位置を識別する位置識別マーカーＩＤ１（位置識別物）の画像である位置識別画像２３１を、動画像Ｍの中から抽出する。
上述の一例では、動画像Ｍに位置識別マーカーＩＤ１１が撮像されている場合には、位置識別画像抽出部２３０は、動画像Ｍの中から位置識別マーカーＩＤ１１の画像である位置識別画像２３１を抽出する。
また、動画像Ｍに位置識別マーカーＩＤ１３が撮像されている場合には、位置識別画像抽出部２３０は、動画像Ｍの中から位置識別マーカーＩＤ１３の画像である位置識別画像２３１を抽出する。
上述の一例では、動画像Ｍに位置識別マーカーＩＤ１１が撮像されている場合には、位置識別画像抽出部２３０は、動画像Ｍの中から位置識別マーカーＩＤ１１の画像である位置識別画像２３１を抽出する。
また、動画像Ｍに位置識別マーカーＩＤ１３が撮像されている場合には、位置識別画像抽出部２３０は、動画像Ｍの中から位置識別マーカーＩＤ１３の画像である位置識別画像２３１を抽出する。
【0038】
位置特定情報生成部２４０は、抽出された位置識別画像２３１に基づいて、所定の位置を特定する位置特定情報２４１を生成する。
位置特定情報２４１とは、位置識別マーカーＩＤ１の識別コードに対応付けられている作業空間内の所定の位置を示す情報である。
位置特定情報２４１とは、位置識別マーカーＩＤ１の識別コードに対応付けられている作業空間内の所定の位置を示す情報である。
【0039】
図６は、本実施形態の位置識別画像２３１と識別コード情報２４２との対応関係の一例を示す図である。
動作情報出力装置２０の記憶部（不図示）には、識別コードと位置Ｐとが対応付けられた識別コード情報２４２が予め記憶されている。本実施形態の一例では、位置識別マーカーＩＤ１１の識別コードと、位置Ｐ１１（帳票棚６０の位置）とが対応付けられ、位置識別マーカーＩＤ１３の識別コードと、位置Ｐ１３（空コンテナ置き場９１の位置）とが対応付けられて、識別コード情報２４２として記憶されている。
動作情報出力装置２０の記憶部（不図示）には、識別コードと位置Ｐとが対応付けられた識別コード情報２４２が予め記憶されている。本実施形態の一例では、位置識別マーカーＩＤ１１の識別コードと、位置Ｐ１１（帳票棚６０の位置）とが対応付けられ、位置識別マーカーＩＤ１３の識別コードと、位置Ｐ１３（空コンテナ置き場９１の位置）とが対応付けられて、識別コード情報２４２として記憶されている。
【0040】
位置識別画像抽出部２３０が抽出した位置識別画像２３１が位置識別マーカーＩＤ１１の画像である場合には、位置特定情報生成部２４０は、識別コード情報２４２が示す対応関係に基づいて、位置Ｐ１１（帳票棚６０の位置）を、位置特定情報２４１として生成する。
【0041】
なお、本実施形態では、位置Ｐに位置識別マーカーＩＤ１が設置されている場合を一例として説明したが、これに限られない。例えば、位置特定情報生成部２４０は、作業空間内の物体の画像と位置との関係を機械学習した結果に基づいて、ウエアラブルカメラ１０が撮像した画像から、位置特定情報２４１を生成してもよい。
【0042】
図５に戻り、部位識別画像抽出部２５０は、作業者１１の身体に装着された部位識別マーカーＩＤ２（部位識別物）の画像である部位識別画像２５１を、動画像Ｍの中から抽出する。
部位識別マーカーＩＤ２について、図７を参照して説明する。
部位識別マーカーＩＤ２について、図７を参照して説明する。
【0043】
図７は、本実施形態の部位識別マーカーＩＤ２の一例を示す図である。部位識別マーカーＩＤ２とは、作業者１１の身体の所定の部位を識別する識別物（例えば、カラーコード）であり、部位識別物の一例である。
部位識別物とは、例えば、紙、樹脂板などの板状の部品の表面に、印刷などの方法で識別コードが表示された物体である。識別コードとは、部位識別物が装着される身体の部位を示す符号であり、身体の部位毎に互いに異なる一意性を有する符号である。
部位識別物とは、例えば、紙、樹脂板などの板状の部品の表面に、印刷などの方法で識別コードが表示された物体である。識別コードとは、部位識別物が装着される身体の部位を示す符号であり、身体の部位毎に互いに異なる一意性を有する符号である。
【0044】
部位識別マーカーＩＤ２は、作業者１１の身体のいずれかの部位に装着されることにより、作業者１１の身体の部位を識別する。一例として、部位識別マーカーＩＤ２１は、いわゆるリストバンド形状に構成されており、作業者１１の左手首に装着される。この場合、部位識別マーカーＩＤ２１は、装着された位置が作業者１１の左手ＬＨであることを示す。
【0045】
なお、部位識別マーカーＩＤ２は、作業者１１の身体に装着されるだけでなく、作業者１１が身に着けて操作する道具に付すこともできる。例えば、ピックアップ作業において、作業者１１は、帳票６００、商品８０および商品棚９０などに付された識別コード（例えば、バーコード）をスキャンするためのハンドヘルド装置（同図に示す端末装置７０）を右手ＲＨに持って使用する場合がある。この場合には、部位識別マーカーＩＤ２２は、裏面に糊が付されたステッカー状の樹脂板として構成され、端末装置７０の表面に貼付される。この場合、部位識別マーカーＩＤ２２は、貼付された位置が、端末装置７０の位置であることを示す。つまり、端末装置７０が作業者１１の右手ＲＨに把持されている場合、部位識別マーカーＩＤ２２は、貼付された位置が、作業者１１の右手ＲＨの位置であることを間接的に示す。
【0046】
ここで、同図に示す動画像Ｍ２１は、位置Ｐ２（つまり、商品棚９０の近傍の位置）において、作業者１１が商品棚９０から商品８０を取り出す状況が撮像された動画像Ｍである。商品棚９０には、商品８０を収めた収納かご８０１が載置されている。収納かご８０１には、商品８０を識別する商品コード８０２が付されている。
商品棚９０には、収納かご８０１に対応する位置に、商品棚９０の位置を識別するロケーションコード９０１が付されている。
作業者１１は、右手ＲＨに端末装置７０を持ち、商品８０のうち帳票６００に記載されたピックアップ対象商品８１を、左手ＬＨで、収納かご８０１から取り出す。作業者１１は、取り出したピックアップ対象商品８１の商品コード８０２と、商品棚９０のロケーションコード９０１とを、右手ＲＨに把持した端末装置７０によってスキャンする。端末装置７０の表示部７０１には、スキャン結果が表示される。
商品棚９０には、収納かご８０１に対応する位置に、商品棚９０の位置を識別するロケーションコード９０１が付されている。
作業者１１は、右手ＲＨに端末装置７０を持ち、商品８０のうち帳票６００に記載されたピックアップ対象商品８１を、左手ＬＨで、収納かご８０１から取り出す。作業者１１は、取り出したピックアップ対象商品８１の商品コード８０２と、商品棚９０のロケーションコード９０１とを、右手ＲＨに把持した端末装置７０によってスキャンする。端末装置７０の表示部７０１には、スキャン結果が表示される。
【0047】
図５に戻り、姿勢情報生成部２６０は、部位識別画像抽出部２５０が抽出した部位識別画像２５１を取得する。姿勢情報生成部２６０は、取得した部位識別画像２５１に基づいて、動画像Ｍに撮像されている作業者１１の身体の部位を特定することにより、姿勢情報２６１を生成する。
【0048】
姿勢情報２６１とは、作業者１１の身体の姿勢の時間変化を示す情報である。作業者１１の身体の姿勢とは、例えば、左手ＬＨなどの作業者１１の身体の部位や、右手ＲＨに把持された端末装置７０などの作業者１１が操作する道具の位置についての、作業空間内における座標である。姿勢情報生成部２６０は、これらの座標の時系列変化を、姿勢情報２６１として生成する。
すなわち、姿勢情報生成部２６０は、動画像Ｍに含まれる作業者１１の身体の画像に基づいて、作業者１１の身体の姿勢の時間変化を示す姿勢情報２６１を生成する。姿勢情報２６１には、作業者１１が行う動作の種類毎に特徴的な座標変化のパターンが含まれている。
すなわち、姿勢情報生成部２６０は、動画像Ｍに含まれる作業者１１の身体の画像に基づいて、作業者１１の身体の姿勢の時間変化を示す姿勢情報２６１を生成する。姿勢情報２６１には、作業者１１が行う動作の種類毎に特徴的な座標変化のパターンが含まれている。
【0049】
なお、上述した一例では、作業者１１が、部位識別マーカーＩＤ２を身体（例えば、左手ＬＨ）に装着する場合について説明したが、これに限られない。
すなわち、部位識別マーカーＩＤ２を装着していない場合でも、例えば、動画像Ｍを機械学習することにより、姿勢情報生成部２６０が作業者１１の身体の姿勢を判定できるように構成することもできる。
この場合、部位識別マーカーＩＤ２によらずに、姿勢情報生成部２６０は、動画像Ｍに含まれる作業者１１の身体の画像に基づいて、作業者１１の身体の姿勢の時間変化を示す姿勢情報２６１を生成してもよい。
すなわち、部位識別マーカーＩＤ２を装着していない場合でも、例えば、動画像Ｍを機械学習することにより、姿勢情報生成部２６０が作業者１１の身体の姿勢を判定できるように構成することもできる。
この場合、部位識別マーカーＩＤ２によらずに、姿勢情報生成部２６０は、動画像Ｍに含まれる作業者１１の身体の画像に基づいて、作業者１１の身体の姿勢の時間変化を示す姿勢情報２６１を生成してもよい。
【0050】
出力部２７０は、生成された位置特定情報２４１と、姿勢情報２６１と、特徴量情報２２１とを、動画像Ｍの時系列に対応付けて出力する。本実施形態の一例では、出力部２７０は、これら各種情報を、動作判定装置３０に対して出力する。
なお、ここでいう「出力」には、各種情報が生成された時点で、無線あるいは有線の通信によって（つまり、リアルタイムに）出力されることや、不図示の記憶部に記憶された各種情報を、記憶媒体を介して、または無線あるいは有線の通信によって出力されることが含まれる。
なお、ここでいう「出力」には、各種情報が生成された時点で、無線あるいは有線の通信によって（つまり、リアルタイムに）出力されることや、不図示の記憶部に記憶された各種情報を、記憶媒体を介して、または無線あるいは有線の通信によって出力されることが含まれる。
【0051】
［動作判定装置の機能構成］
次に、動作判定装置３０の機能構成について説明する。動作判定装置３０は、例えば、クラウドサーバなどのコンピュータシステムによって構成され、不図示の記憶部に記憶されたソフトウエアによって動作する。動作判定装置３０は、クラウドサーバとして構成されることにより、他システムとデータを共有し連携しやすくなり、運用を効率化することができる。また、動作判定装置３０は、動作情報出力装置２０に比べて処理能力が高いコンピュータシステムである場合は、動作判定装置３０は、動作情報出力装置２０に比べてより複雑な演算をより高速に実行することが可能である。
動作判定装置３０には、記憶装置４０および入出力装置５０が接続されている。記憶装置４０は、動作判定装置３０が利用する各種の情報が記憶されている。入出力装置５０は、動作判定装置３０に対して各種の操作情報を与え、動作判定装置３０からの情報を出力する。入出力装置５０は、例えばキーボードやマウス、ディスプレイ、プリンタなどから構成されており、ごく一般的な機能を有しているため、その詳細な説明は省略する。
次に、動作判定装置３０の機能構成について説明する。動作判定装置３０は、例えば、クラウドサーバなどのコンピュータシステムによって構成され、不図示の記憶部に記憶されたソフトウエアによって動作する。動作判定装置３０は、クラウドサーバとして構成されることにより、他システムとデータを共有し連携しやすくなり、運用を効率化することができる。また、動作判定装置３０は、動作情報出力装置２０に比べて処理能力が高いコンピュータシステムである場合は、動作判定装置３０は、動作情報出力装置２０に比べてより複雑な演算をより高速に実行することが可能である。
動作判定装置３０には、記憶装置４０および入出力装置５０が接続されている。記憶装置４０は、動作判定装置３０が利用する各種の情報が記憶されている。入出力装置５０は、動作判定装置３０に対して各種の操作情報を与え、動作判定装置３０からの情報を出力する。入出力装置５０は、例えばキーボードやマウス、ディスプレイ、プリンタなどから構成されており、ごく一般的な機能を有しているため、その詳細な説明は省略する。
【0052】
動作判定装置３０は、そのソフトウエア機能部（あるいはハードウエア機能部）としての、情報取得部３１０と、動作判定部３２０と、作業工程判定部３３０と、工程情報取得部３４０と、計時部３５０とを備える。
【0053】
情報取得部３１０は、動作情報出力装置２０から出力された姿勢情報２６１と、特徴量情報２２１とを取得する。情報取得部３１０は、取得した各情報を、動作判定部３２０に出力する。
【0054】
動作判定部３２０は、姿勢情報２６１と、特徴量情報２２１とに基づいて、作業者１１による作業工程を構成する動作の種類を判定する。ここで、作業工程と動作の種類とについて図８を参照して説明する。
【0055】
図８は、本実施形態の工程情報４０１の構成の一例を示す図である。工程情報４０１とは、作業空間内における作業を構成する一連の作業工程について、作業工程を識別する工程ＩＤと、作業工程の内容を示す情報とが対応付けられた情報である。この工程情報４０１は、図５に示す記憶装置４０に予め記憶されている。
【0056】
記憶装置４０は、工程情報４０１を記憶する。なお、記憶装置４０は、必ずしも、動作判定装置３０に接続されたハードディスクドライブなどのハードウエアなどとして構成される必要はない。例えば、記憶装置４０は、クラウドサーバ上の記憶機能として構成されていてもよい。
【0057】
図８に戻り、本実施形態の一例において、作業空間内では商品８０のピックアップ作業が行われる。この場合、工程情報４０１は、ピックアップ作業の作業工程を示す。
より具体的には、工程情報４０１は、工程ＩＤ１から工程ＩＤ８までの８工程を、その作業順に並べて示している。
工程ＩＤ１において、作業者１１は、位置Ｐ１に移動し、帳票棚６０から帳票６００をとる。
工程ＩＤ２において、作業者１１は、位置Ｐ１で、帳票６００に表示されている作業管理番号のバーコード６０１を端末装置７０によってスキャンする。端末装置７０の表示部７０１には、ピックアップすべき商品８０（つまり、ピックアップ対象商品８１）が保管されている商品棚９０のロケーション（つまり、位置Ｐ２）が表示される。
工程ＩＤ３において、作業者１１は、ピックアップ対象商品８１が保管されている商品棚９０のロケーション（つまり、位置Ｐ２）に移動する。
工程ＩＤ４において、作業者１１は、商品棚９０のロケーションコード９０１を端末装置７０によってスキャンする。端末装置７０の表示部７０１には、当該ロケーション（例えば、位置Ｐ２）の商品棚９０においてピックアップすべき商品８０（つまり、ピックアップ対象商品８１）の名称等が表示される。
工程ＩＤ５において、作業者１１は、商品棚９０からピックアップ対象商品８１をとる。
工程ＩＤ６において、作業者１１は、ピックアップ対象商品８１に付された商品コード８０２をスキャンする。端末装置７０の表示部７０１には、スキャンされた商品コード８０２に対応する商品８０の名称等が表示される。なお、端末装置７０は、工程ＩＤ４において表示したピックアップ対象商品８１と、工程ＩＤ６においてスキャンされた商品コード８０２が示す商品８０とが一致しているか否かを、表示部７０１に表示させてもよい。
工程ＩＤ７において、作業者１１は、位置Ｐ３の空コンテナ置き場９１に移動し、ピックアップした商品８０をコンテナへ投入する。
工程ＩＤ８において、作業者１１は、コンテナを位置Ｐ４の検品場９２に移動させる。
より具体的には、工程情報４０１は、工程ＩＤ１から工程ＩＤ８までの８工程を、その作業順に並べて示している。
工程ＩＤ１において、作業者１１は、位置Ｐ１に移動し、帳票棚６０から帳票６００をとる。
工程ＩＤ２において、作業者１１は、位置Ｐ１で、帳票６００に表示されている作業管理番号のバーコード６０１を端末装置７０によってスキャンする。端末装置７０の表示部７０１には、ピックアップすべき商品８０（つまり、ピックアップ対象商品８１）が保管されている商品棚９０のロケーション（つまり、位置Ｐ２）が表示される。
工程ＩＤ３において、作業者１１は、ピックアップ対象商品８１が保管されている商品棚９０のロケーション（つまり、位置Ｐ２）に移動する。
工程ＩＤ４において、作業者１１は、商品棚９０のロケーションコード９０１を端末装置７０によってスキャンする。端末装置７０の表示部７０１には、当該ロケーション（例えば、位置Ｐ２）の商品棚９０においてピックアップすべき商品８０（つまり、ピックアップ対象商品８１）の名称等が表示される。
工程ＩＤ５において、作業者１１は、商品棚９０からピックアップ対象商品８１をとる。
工程ＩＤ６において、作業者１１は、ピックアップ対象商品８１に付された商品コード８０２をスキャンする。端末装置７０の表示部７０１には、スキャンされた商品コード８０２に対応する商品８０の名称等が表示される。なお、端末装置７０は、工程ＩＤ４において表示したピックアップ対象商品８１と、工程ＩＤ６においてスキャンされた商品コード８０２が示す商品８０とが一致しているか否かを、表示部７０１に表示させてもよい。
工程ＩＤ７において、作業者１１は、位置Ｐ３の空コンテナ置き場９１に移動し、ピックアップした商品８０をコンテナへ投入する。
工程ＩＤ８において、作業者１１は、コンテナを位置Ｐ４の検品場９２に移動させる。
【0058】
上述した作業工程は、複数の動作を組み合わせて構成されている。例えば、工程ＩＤ５の作業工程は、作業者１１が商品棚９０に左手ＬＨを伸ばす動作と、伸ばしたままの左手ＬＨが商品８０を把持する動作と、商品８０を把持した左手ＬＨが引き戻される動作との３種類の動作によって構成されている。
以下の説明において、この「作業工程を構成する動作」のことを単に「動作」とも記載する。本実施形態における動作とは、歩く、手を動かすなどの作業者１１の基本動作のことをいう。なお、動作とは、いわゆるサーブリック分析における１８種類の動作要素のことでもよく、これらの動作要素を組み合わせた要素作業や単位作業のことでもよい。
これらの動作は、上述した姿勢情報２６１や、特徴量情報２２１に含まれる情報を解析することによって、その種類を判定することができる。
以下の説明において、この「作業工程を構成する動作」のことを単に「動作」とも記載する。本実施形態における動作とは、歩く、手を動かすなどの作業者１１の基本動作のことをいう。なお、動作とは、いわゆるサーブリック分析における１８種類の動作要素のことでもよく、これらの動作要素を組み合わせた要素作業や単位作業のことでもよい。
これらの動作は、上述した姿勢情報２６１や、特徴量情報２２１に含まれる情報を解析することによって、その種類を判定することができる。
【0059】
上述したように、動作判定部３２０は、姿勢情報２６１と、特徴量情報２２１とに基づいて、作業者１１による作業工程を構成する動作の種類を判定する。
すなわち、動作判定部３２０は、動作の種類の判定を行うが、作業工程の種類の判定を行わない。
すなわち、動作判定部３２０は、動作の種類の判定を行うが、作業工程の種類の判定を行わない。
【0060】
作業工程判定部３３０は、動作判定装置３０は、動作判定部３２０による動作の種類の判定結果と、動作情報出力装置２０が出力する位置特定情報２４１とに基づいて、動作によって構成される作業工程の種類を判定する。
すなわち、作業工程判定部３３０は、動作判定部３２０が判定しなかった作業工程の種類を判定する。
すなわち、作業工程判定部３３０は、動作判定部３２０が判定しなかった作業工程の種類を判定する。
【0061】
なお、作業工程判定部３３０は、位置識別マーカーＩＤ１（位置識別物）が付されていない位置における作業工程の種類を判定するように構成されていてもよい。
この場合、工程情報取得部３４０は、記憶装置４０（記憶部）から、工程情報４０１を取得する。上述したように、工程情報４０１とは、複数の作業工程間の所定の順序を示す情報である。
作業工程判定部３３０は、工程情報取得部３４０が取得した工程情報４０１と、位置特定情報２４１とに基づいて、作業工程の種類を判定する。
この場合、工程情報取得部３４０は、記憶装置４０（記憶部）から、工程情報４０１を取得する。上述したように、工程情報４０１とは、複数の作業工程間の所定の順序を示す情報である。
作業工程判定部３３０は、工程情報取得部３４０が取得した工程情報４０１と、位置特定情報２４１とに基づいて、作業工程の種類を判定する。
【0062】
また、作業工程判定部３３０は、機械学習の結果に基づいて、作業工程の種類を判定するように構成されていてもよい。
【0063】
動作判定装置３０は、動作情報出力装置２０が出力する位置特定情報２４１、姿勢情報２６１または特徴量情報２２１のいずれか少なくとも１つと、当該いずれかの情報に対応付けられている動画像Ｍの時系列とに基づいて、作業工程の所要時間を計時する。
【0064】
なお、計時部３５０は、作業空間内の位置のうち、第１位置から第２位置への作業者１１の移動時間を計時するように構成されていてもよい。
【0065】
［動作判定システムの動作］
次に、動作判定システム１の動作の流れについて説明する。
図９は、本実施形態の動作判定システム１の動作の流れの一例を示す図である。同図において、動作情報出力装置２０の動作をステップＳ２１０～ステップＳ２６０に示し、動作判定装置３０の動作をステップＳ３１０～ステップＳ３４０に示す。
次に、動作判定システム１の動作の流れについて説明する。
図９は、本実施形態の動作判定システム１の動作の流れの一例を示す図である。同図において、動作情報出力装置２０の動作をステップＳ２１０～ステップＳ２６０に示し、動作判定装置３０の動作をステップＳ３１０～ステップＳ３４０に示す。
【0066】
［動作情報出力装置の動作］
（ステップＳ２１０）画像取得部２１０は、ウエアラブルカメラ１０によって撮像された動画像Ｍを取得する。この動画像Ｍは、作業者１１の周囲の様子が撮像されている。
（ステップＳ２２０）位置識別画像抽出部２３０は、動画像Ｍの中から位置識別画像２３１を抽出する。上述したように、位置識別画像２３１とは、位置識別マーカーＩＤ１の画像である。
（ステップＳ２３０）位置特定情報２４１は、抽出された位置識別画像２３１に基づいて、動画像Ｍが撮像された位置を特定する。
（ステップＳ２４０）姿勢情報生成部２６０は、動画像Ｍに含まれる作業者１１の身体の画像に基づいて、作業者１１の身体の姿勢を判定する。姿勢情報生成部２６０は、判定結果を示す情報として、姿勢情報２６１を生成する。
（ステップＳ２５０）特徴量情報生成部２２０は、特徴量情報２２１を生成する。上述したように、特徴量情報２２１とは、ウエアラブルカメラ１０によって撮像された物体の画像の特徴量ＦＶの時間変化を示す情報である。
（ステップＳ２６０）出力部２７０は、生成された位置特定情報２４１と、姿勢情報２６１と、特徴量情報２２１とを、動画像Ｍの時系列に対応付けて出力する。
（ステップＳ２１０）画像取得部２１０は、ウエアラブルカメラ１０によって撮像された動画像Ｍを取得する。この動画像Ｍは、作業者１１の周囲の様子が撮像されている。
（ステップＳ２２０）位置識別画像抽出部２３０は、動画像Ｍの中から位置識別画像２３１を抽出する。上述したように、位置識別画像２３１とは、位置識別マーカーＩＤ１の画像である。
（ステップＳ２３０）位置特定情報２４１は、抽出された位置識別画像２３１に基づいて、動画像Ｍが撮像された位置を特定する。
（ステップＳ２４０）姿勢情報生成部２６０は、動画像Ｍに含まれる作業者１１の身体の画像に基づいて、作業者１１の身体の姿勢を判定する。姿勢情報生成部２６０は、判定結果を示す情報として、姿勢情報２６１を生成する。
（ステップＳ２５０）特徴量情報生成部２２０は、特徴量情報２２１を生成する。上述したように、特徴量情報２２１とは、ウエアラブルカメラ１０によって撮像された物体の画像の特徴量ＦＶの時間変化を示す情報である。
（ステップＳ２６０）出力部２７０は、生成された位置特定情報２４１と、姿勢情報２６１と、特徴量情報２２１とを、動画像Ｍの時系列に対応付けて出力する。
【0067】
［姿勢情報の生成］
ステップＳ２４０において生成される姿勢情報２６１の一例について、図１０を参照して説明する。
図１０は、本実施形態の姿勢情報２６１の一例を示す図である。同図には、位置Ｐ１において、作業者１１が帳票棚６０から帳票６００を取る場合の動作の一例を示している。
図１０（Ａ）は、時刻ｔ１において作業者１１が帳票棚６０に向けて移動している場合の動画像Ｍの一例を示す図である。
図１０（Ｂ）は、時刻ｔ３において作業者１１が帳票棚６０から帳票６００を取る動作をしている場合の動画像Ｍの一例を示す図である。
図１０（Ｃ）は、時刻ｔ４において作業者１１が帳票棚６０から帳票６００を取った後に、帳票６００の作業管理番号のバーコード６０１をスキャンしようとしている場合の動画像Ｍの一例を示す図である。
図１０（Ｄ）は、時刻ｔ１から時刻ｔ４における左手ＬＨの座標の時間変化の一例を示す図である。
ステップＳ２４０において生成される姿勢情報２６１の一例について、図１０を参照して説明する。
図１０は、本実施形態の姿勢情報２６１の一例を示す図である。同図には、位置Ｐ１において、作業者１１が帳票棚６０から帳票６００を取る場合の動作の一例を示している。
図１０（Ａ）は、時刻ｔ１において作業者１１が帳票棚６０に向けて移動している場合の動画像Ｍの一例を示す図である。
図１０（Ｂ）は、時刻ｔ３において作業者１１が帳票棚６０から帳票６００を取る動作をしている場合の動画像Ｍの一例を示す図である。
図１０（Ｃ）は、時刻ｔ４において作業者１１が帳票棚６０から帳票６００を取った後に、帳票６００の作業管理番号のバーコード６０１をスキャンしようとしている場合の動画像Ｍの一例を示す図である。
図１０（Ｄ）は、時刻ｔ１から時刻ｔ４における左手ＬＨの座標の時間変化の一例を示す図である。
【0068】
同図に示す時刻ｔ１から時刻ｔ４において、位置識別画像抽出部２３０は、左手ＬＨの部位識別マーカーＩＤ２１を抽出する。同図（Ａ）～（Ｃ）に示すように動画像Ｍの横方向をｘ軸、縦方向をｙ軸とし、時刻ｔｎにおける部位識別マーカーＩＤ２１のｙ座標をＩＤ２１（ｔｎ、ｙ）と表す。この場合、同図（Ｄ）に示すようにＩＤ２１（ｔ１、ｙ１）、ＩＤ２１（ｔ２、ｙ２）、ＩＤ２１（ｔ３、ｙ３）、ＩＤ２１（ｔ４、ｙ４）の順に時系列に部位識別マーカーＩＤ２１のｙ座標が変化する。
姿勢情報生成部２６０は、ＩＤ２１（ｔｎ、ｙ）の時間変化（例えば、図１０（Ｄ）に示すグラフの軌跡）を、姿勢情報２６１として生成する。
姿勢情報生成部２６０は、ＩＤ２１（ｔｎ、ｙ）の時間変化（例えば、図１０（Ｄ）に示すグラフの軌跡）を、姿勢情報２６１として生成する。
【0069】
なお、この一例において、動画像Ｍの横方向をｘ軸、縦方向をｙ軸とした。これは、作業者１１の左手ＬＨの座標を、動画像Ｍ上の２次元座標系によって表現することに相当する。これは一例であって、例えば、ウエアラブルカメラ１０がいわゆるステレオカメラや奥行き距離（深さ）測定機能を有するカメラである場合には、画像内の物体の３次元座標を求めることができる。この場合には、作業者１１の左手ＬＨの座標を、３次元座標によって表現してもよい。
図９に戻り、動作判定装置３０による動作判定および作業工程について説明する。
図９に戻り、動作判定装置３０による動作判定および作業工程について説明する。
【0070】
［動作の判定］
（ステップＳ３１０）情報取得部３１０は、動作情報出力装置２０によって生成された位置特定情報２４１と、姿勢情報２６１と、特徴量情報２２１と取得する。
（ステップＳ３２０）動作判定部３２０は、姿勢情報２６１と、特徴量情報２２１とに基づいて、作業者１１による作業工程を構成する動作の種類を判定する。
（ステップＳ３１０）情報取得部３１０は、動作情報出力装置２０によって生成された位置特定情報２４１と、姿勢情報２６１と、特徴量情報２２１と取得する。
（ステップＳ３２０）動作判定部３２０は、姿勢情報２６１と、特徴量情報２２１とに基づいて、作業者１１による作業工程を構成する動作の種類を判定する。
【0071】
動作判定部３２０が姿勢情報２６１に基づいて動作の種類を判定する例について説明する。上述した図１０に示す姿勢情報２６１の一例の場合、時刻ｔ２から時刻ｔ３において、ｙ座標がｙ２からｙ３に急激に変化している。また、時刻ｔ４において、ｙ座標が時刻ｔ２と同じｙ２に戻っている。
この場合、動作判定部３２０は、時刻ｔ２から時刻ｔ４の作業者１１の左手ＬＨの座標の時間変化（つまり、作業者１１の姿勢変化）を、左手ＬＨを伸ばした後、左手ＬＨを引き戻す動作であると判定する。
この場合、動作判定部３２０は、時刻ｔ２から時刻ｔ４の作業者１１の左手ＬＨの座標の時間変化（つまり、作業者１１の姿勢変化）を、左手ＬＨを伸ばした後、左手ＬＨを引き戻す動作であると判定する。
【0072】
次に、図１１を参照して、動作判定部３２０が姿勢情報２６１と特徴量情報２２１とに基づいて動作の種類を判定する例について説明する。
図１１は、本実施形態の動画像Ｍの特徴量ＦＶの一例を示す図である。
図１１（Ａ）は、時刻ｔ５から時刻ｔ６における動画像Ｍの一例を示す図である。
図１１（Ｂ）は、時刻ｔ５から時刻ｔ６における動画像Ｍのｘ軸方向の時間変化の一例を示す図である。
図１１（Ｃ）は、時刻ｔ５から時刻ｔ６における動画像Ｍの特徴量ＦＶの時間変化の一例を示す図である。
図１１は、本実施形態の動画像Ｍの特徴量ＦＶの一例を示す図である。
図１１（Ａ）は、時刻ｔ５から時刻ｔ６における動画像Ｍの一例を示す図である。
図１１（Ｂ）は、時刻ｔ５から時刻ｔ６における動画像Ｍのｘ軸方向の時間変化の一例を示す図である。
図１１（Ｃ）は、時刻ｔ５から時刻ｔ６における動画像Ｍの特徴量ＦＶの時間変化の一例を示す図である。
【0073】
同図に示す時刻ｔ５から時刻ｔ６において、位置識別画像抽出部２３０は、端末装置７０に付された部位識別マーカーＩＤ２２を抽出する。
同図（Ｂ）には、動画像Ｍの横方向をｘ軸、縦方向をｙ軸とした場合の、部位識別マーカーＩＤ２２のｘ座標の時間変化を示す。この一例において、時刻ｔ５から時刻ｔ６の間、部位識別マーカーＩＤ２２のｘ座標は、座標ｘ１から座標ｘ２の範囲に収まっている。
同図（Ｃ）には、動画像Ｍの横方向をｘ軸、縦方向をｙ軸とした場合の、部位識別マーカーＩＤ２２の特徴量ＦＶの時間変化を示す。この一例では、部位識別マーカーＩＤ２２の特徴量ＦＶとは、部位識別マーカーＩＤ２２の座標変化の速さ、より具体的には部位識別マーカーＩＤ２２の座標の動きベクトルの大きさである。この一例において、時刻ｔ５から時刻ｔ６の間、部位識別マーカーＩＤ２２の特徴量ＦＶは、特徴量のしきい値ＦＶ１以下の範囲に収まっている。
すなわち、姿勢情報２６１および特徴量情報２２１は、時刻ｔ５から時刻ｔ６において、端末装置７０の位置変化が比較的少ないことを示している。
この場合、動作判定部３２０は、時刻ｔ５から時刻ｔ６において作業者１１が端末装置７０を使用して何かをスキャンしている、つまりスキャン動作であると判定する。
同図（Ｂ）には、動画像Ｍの横方向をｘ軸、縦方向をｙ軸とした場合の、部位識別マーカーＩＤ２２のｘ座標の時間変化を示す。この一例において、時刻ｔ５から時刻ｔ６の間、部位識別マーカーＩＤ２２のｘ座標は、座標ｘ１から座標ｘ２の範囲に収まっている。
同図（Ｃ）には、動画像Ｍの横方向をｘ軸、縦方向をｙ軸とした場合の、部位識別マーカーＩＤ２２の特徴量ＦＶの時間変化を示す。この一例では、部位識別マーカーＩＤ２２の特徴量ＦＶとは、部位識別マーカーＩＤ２２の座標変化の速さ、より具体的には部位識別マーカーＩＤ２２の座標の動きベクトルの大きさである。この一例において、時刻ｔ５から時刻ｔ６の間、部位識別マーカーＩＤ２２の特徴量ＦＶは、特徴量のしきい値ＦＶ１以下の範囲に収まっている。
すなわち、姿勢情報２６１および特徴量情報２２１は、時刻ｔ５から時刻ｔ６において、端末装置７０の位置変化が比較的少ないことを示している。
この場合、動作判定部３２０は、時刻ｔ５から時刻ｔ６において作業者１１が端末装置７０を使用して何かをスキャンしている、つまりスキャン動作であると判定する。
【0074】
［作業工程の判定］
図９に戻り、作業工程の種類の判定について説明する。
（ステップＳ３３０）作業工程判定部３３０は、動作判定部３２０による動作の種類の判定結果と、動作情報出力装置２０が出力する位置特定情報２４１とに基づいて、動作によって構成される作業工程の種類を判定する。
図９に戻り、作業工程の種類の判定について説明する。
（ステップＳ３３０）作業工程判定部３３０は、動作判定部３２０による動作の種類の判定結果と、動作情報出力装置２０が出力する位置特定情報２４１とに基づいて、動作によって構成される作業工程の種類を判定する。
【0075】
一例として、図１０（Ｄ）に示す時刻ｔ２から時刻ｔ４について、動作判定部３２０が「左手ＬＨを伸ばした後、左手ＬＨを引き戻す動作」と判定している場合について説明する。
【0076】
図１２は、本実施形態の作業工程判定部３３０による判定結果の一例を示す図である。
動作情報出力装置２０が出力する位置特定情報２４１が、時刻ｔ２から時刻ｔ４において「位置Ｐ１」であることを示す場合には、作業工程判定部３３０は、位置Ｐ１において作業者１１が左手ＬＨを伸ばした後、左手ＬＨを引き戻す動作をしている、と判定する。この場合、作業工程判定部３３０は、位置Ｐ１において作業者１１が左手ＬＨを伸ばした後、左手ＬＨを引き戻す動作が、帳票棚６０から帳票６００を取る動作である、つまり、図８に示した工程ＩＤ２「帳票６００を取る」動作である、と判定する。
動作情報出力装置２０が出力する位置特定情報２４１が、時刻ｔ２から時刻ｔ４において「位置Ｐ１」であることを示す場合には、作業工程判定部３３０は、位置Ｐ１において作業者１１が左手ＬＨを伸ばした後、左手ＬＨを引き戻す動作をしている、と判定する。この場合、作業工程判定部３３０は、位置Ｐ１において作業者１１が左手ＬＨを伸ばした後、左手ＬＨを引き戻す動作が、帳票棚６０から帳票６００を取る動作である、つまり、図８に示した工程ＩＤ２「帳票６００を取る」動作である、と判定する。
【0077】
また、他の一例として、図１１（Ｂ）～（Ｃ）に示す時刻ｔ５から時刻ｔ６について、動作判定部３２０が「スキャン動作」と判定している場合について説明する。
動作情報出力装置２０が出力する位置特定情報２４１が、時刻ｔ５から時刻ｔ６において「位置Ｐ１」であることを示す場合には、作業工程判定部３３０は、位置Ｐ１において作業者１１がスキャン動作をしている、と判定する。この場合、作業工程判定部３３０は、位置Ｐ１において作業者１１がスキャン動作をしている、つまり、図８に示した工程ＩＤ３「作業管理番号をスキャンする」工程である、と判定する。
動作情報出力装置２０が出力する位置特定情報２４１が、時刻ｔ５から時刻ｔ６において「位置Ｐ１」であることを示す場合には、作業工程判定部３３０は、位置Ｐ１において作業者１１がスキャン動作をしている、と判定する。この場合、作業工程判定部３３０は、位置Ｐ１において作業者１１がスキャン動作をしている、つまり、図８に示した工程ＩＤ３「作業管理番号をスキャンする」工程である、と判定する。
【0078】
また、他の一例として、動作判定部３２０が、図１２に示す時刻ｔ７から時刻ｔ８においてスキャン動作をしていると判定し、位置特定情報２４１が「位置Ｐ２」を示している場合について説明する。
この場合、作業工程判定部３３０は、商品棚９０の位置でスキャン動作をしている、つまり、図８に示した工程ＩＤ５「商品棚番号（ロケーションコード）をスキャンする」工程である、と判定する。
この場合、作業工程判定部３３０は、商品棚９０の位置でスキャン動作をしている、つまり、図８に示した工程ＩＤ５「商品棚番号（ロケーションコード）をスキャンする」工程である、と判定する。
【0079】
ここで、時刻ｔ６から時刻ｔ７における作業者１１の動作が不明である場合がある。この場合、動作判定部３２０が、時刻ｔ６から時刻ｔ７における作業者１１の動作を判定できず、動作の種類の判定結果が得られない。
この場合、作業工程判定部３３０は、工程情報４０１と、位置特定情報２４１とに基づいて、位置識別マーカーＩＤ１が付されていない位置における作業工程の種類を判定する。
例えば、作業工程判定部３３０は、工程情報４０１が示す工程の順序に基づいて、時刻ｔ６から時刻ｔ７が、工程ＩＤ３「作業管理番号をスキャンする」と、工程ＩＤ５「商品棚番号（ロケーションコード）をスキャンする」の間の工程である、工程ＩＤ４「商品棚に向かう」に相当すると判定する。
この場合、作業工程判定部３３０は、工程情報４０１と、位置特定情報２４１とに基づいて、位置識別マーカーＩＤ１が付されていない位置における作業工程の種類を判定する。
例えば、作業工程判定部３３０は、工程情報４０１が示す工程の順序に基づいて、時刻ｔ６から時刻ｔ７が、工程ＩＤ３「作業管理番号をスキャンする」と、工程ＩＤ５「商品棚番号（ロケーションコード）をスキャンする」の間の工程である、工程ＩＤ４「商品棚に向かう」に相当すると判定する。
【0080】
このように構成された動作判定装置３０によれば、位置識別マーカーＩＤ１が付されていない場所における作業者１１の動きを推定して、工程を判別することができる。
また、作業工程判定部３３０は、ピックアップ作業などの一連の作業において、同じ動作（例えば、スキャン動作）が複数回行われていたとしても、当該動作が行われている位置や工程間の順序に基づいて、当該動作がいずれの工程で行われているのかを判定することができる。
また、作業工程判定部３３０は、ピックアップ作業などの一連の作業において、同じ動作（例えば、スキャン動作）が複数回行われていたとしても、当該動作が行われている位置や工程間の順序に基づいて、当該動作がいずれの工程で行われているのかを判定することができる。
【0081】
［作業工程の判定結果の集約］
図１３は、本実施形態の作業工程の一次判定結果の一例を示す図である。同図に示すように、作業工程判定部３３０は、本来は１つの工程として判定すべき場合に複数の工程であると誤判定したり、商品棚９０から複数の商品８０を連続して取り出した場合など、本来は１つの工程にまとめるべき複数の動作を、複数の工程であると判定する場合がある。
このような場合に、作業工程判定部３３０は、時系列に連続した複数の同種の工程を、１つの工程にまとめる機能を有していてもよい。この場合に、作業工程判定部３３０は、工程情報４０１が示す工程の順序に基づいて、時系列に連続した複数の同種の工程を、１つの工程にまとめてもよい。
図１３は、本実施形態の作業工程の一次判定結果の一例を示す図である。同図に示すように、作業工程判定部３３０は、本来は１つの工程として判定すべき場合に複数の工程であると誤判定したり、商品棚９０から複数の商品８０を連続して取り出した場合など、本来は１つの工程にまとめるべき複数の動作を、複数の工程であると判定する場合がある。
このような場合に、作業工程判定部３３０は、時系列に連続した複数の同種の工程を、１つの工程にまとめる機能を有していてもよい。この場合に、作業工程判定部３３０は、工程情報４０１が示す工程の順序に基づいて、時系列に連続した複数の同種の工程を、１つの工程にまとめてもよい。
【0082】
図１４は、本実施形態の作業工程の判定結果の一例を示す図である。作業工程判定部３３０は、図１３に示した時系列に連続した複数の同種の工程を、図１４に示す作業工程にまとめることにより、作業工程毎の作業時間の計時ができるようにすることができる。
【0083】
［作業工程の時間の計時］
動作判定装置３０の計時部３５０は、図１３および図１４に示すように、各作業工程の開始時刻ｔと終了時刻ｔとに基づいて、各作業工程の所要時間を算出する。
上述したように、位置特定情報２４１、姿勢情報２６１または特徴量情報２２１のいずれか１つ、またはこれらの情報を２つ以上組み合わせることにより、各作業工程の開始タイミングと終了タイミングとを判定することができる。さらに、各作業工程の開始タイミングおよび終了タイミングと、動画像Ｍの時系列（つまり、実時間の経過の状況）と組み合わせることにより、各作業工程の具体的な開始時刻ｔおよび終了時刻ｔを求めることができる。
すなわち、計時部３５０は、動作判定装置３０は、動作情報出力装置２０が出力する位置特定情報２４１、姿勢情報２６１または特徴量情報２２１のいずれか少なくとも１つと、当該いずれかの情報に対応付けられている動画像Ｍの時系列とに基づいて、作業工程の所要時間を計時する。
動作判定装置３０の計時部３５０は、図１３および図１４に示すように、各作業工程の開始時刻ｔと終了時刻ｔとに基づいて、各作業工程の所要時間を算出する。
上述したように、位置特定情報２４１、姿勢情報２６１または特徴量情報２２１のいずれか１つ、またはこれらの情報を２つ以上組み合わせることにより、各作業工程の開始タイミングと終了タイミングとを判定することができる。さらに、各作業工程の開始タイミングおよび終了タイミングと、動画像Ｍの時系列（つまり、実時間の経過の状況）と組み合わせることにより、各作業工程の具体的な開始時刻ｔおよび終了時刻ｔを求めることができる。
すなわち、計時部３５０は、動作判定装置３０は、動作情報出力装置２０が出力する位置特定情報２４１、姿勢情報２６１または特徴量情報２２１のいずれか少なくとも１つと、当該いずれかの情報に対応付けられている動画像Ｍの時系列とに基づいて、作業工程の所要時間を計時する。
【0084】
また、上述したように、作業工程判定部３３０は、作業者１１が、ある位置Ｐ（第１位置）から他の位置Ｐ（第２位置）まで移動していることを判定する。この場合、計時部３５０は、作業空間内の位置のうち、ある位置Ｐ（第１位置）から他の位置Ｐ（第２位置）への作業者１１の移動時間を計時することができる。
【0085】
以上説明したように、本実施形態の動作判定システム１によれば、従来、ベテラン従業員の経験や勘によって行われていた作業工数の見積もりを、より定量的に行うことが可能になる。
【0086】
また、従来、工数の定量測定のために定点カメラを設置したり、作業者の身体の各部位にマーカーを装着させてその動きを把握する場合があった。このような場合、作業者が移動すると定点カメラの画角から作業者が消えてしまい観測ができなくなったり、作業者に多数のマーカーを装着する手間や装着したマーカーが定点カメラの死角に入って観測が困難になる、といった問題が生じていた。
【0087】
本実施形態の動作判定システム１によれば、作業者１１に装着したウエアラブルカメラ１０の動画像Ｍに基づいて作業者１１の動作を判定するため、作業者１１が作業空間内を移動して作業する場合においても、作業者１１の動作を把握することができる。
【0088】
また、本実施形態の動作判定システム１によれば、動作情報出力装置２０と動作判定装置３０との機能を分割しているため、動作情報出力装置２０を当該作業空間を運営するユーザ企業側の装置として構成し、動作判定装置３０を動作判定システム１を運営するシステム運営企業側の装置として構成することができる。このため、動作判定システム１によれば、処理負荷が大きい動作判定や作業工程判定を、より高性能な動作判定装置３０に行わせることにより、ユーザ企業側の装置の投資負担を軽減することができる。
【0089】
以上、本発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。上述した各実施形態に記載の構成を組み合わせてもよい。
【0090】
なお、上記の実施形態における各装置が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリおよびマイクロプロセッサにより実現させるものであってもよい。
【0091】
なお、各装置が備える各部は、メモリおよびＣＰＵ（中央演算装置）により構成され、各装置が備える各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
【0092】
また、各装置が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、制御部が備える各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【0093】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【0094】
１…動作判定システム、１０…ウエアラブルカメラ、２０…動作情報出力装置、３０…動作判定装置、４０…記憶装置、５０…入出力装置、６０…帳票棚、７０…端末装置、８０…商品、９０…商品棚、９１…空コンテナ置き場、９２…検品場
２１０…画像取得部、２２０…特徴量情報生成部、２３０…位置識別画像抽出部、２４０…位置特定情報生成部、２５０…部位識別画像抽出部、２６０…姿勢情報生成部、２７０…出力部、３１０…情報取得部、３２０…動作判定部、３３０…作業工程判定部、３４０…工程情報取得部、３５０…計時部
２１０…画像取得部、２２０…特徴量情報生成部、２３０…位置識別画像抽出部、２４０…位置特定情報生成部、２５０…部位識別画像抽出部、２６０…姿勢情報生成部、２７０…出力部、３１０…情報取得部、３２０…動作判定部、３３０…作業工程判定部、３４０…工程情報取得部、３５０…計時部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】