知財求人 - 知財ポータルサイト「IP Force」
▶ 三菱電機株式会社の特許一覧 ▶ 三菱電機ビルテクノサービス株式会社の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-05-02
(45)【発行日】2024-05-14
(54)【発明の名称】推定装置、学習装置、推定方法及び推定プログラム
(51)【国際特許分類】
G06T 7/20 20170101AFI20240507BHJP
【ＦＩ】
G06T7/20 300Z
【請求項の数】
11
(21)【出願番号】P 2024512968
(86)(22)【出願日】2023-06-20
(86)【国際出願番号】 JP2023022805
【審査請求日】2024-02-26
【早期審査対象出願】
(73)【特許権者】
【識別番号】000006013
【氏名又は名称】三菱電機株式会社
(73)【特許権者】
【識別番号】000236056
【氏名又は名称】三菱電機ビルソリューションズ株式会社
(74)【代理人】
【識別番号】110002491
【氏名又は名称】弁理士法人クロスボーダー特許事務所
(72)【発明者】
【氏名】西川 敬士
(72)【発明者】
【氏名】谷口 貴耶
(72)【発明者】
【氏名】濱田 恭平
(72)【発明者】
【氏名】菅沼 優子
(72)【発明者】
【氏名】瀧井 健二
【審査官】山田 辰美
(56)【参考文献】
【文献】特開２０２３－３２９５０（ＪＰ，Ａ）
【文献】特許第７２５４２６２（ＪＰ，Ｂ２）
【文献】特開２０２３－７８９８３（ＪＰ，Ａ）
【文献】特開２０２３－８２５５２（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００－７／９０
(57)【特許請求の範囲】
【請求項1】
各々の属性が一様ではない複数の要素作業が含まれる作業に従事する作業従事者が前記作業に従事している時間である作業従事時間での前記作業従事者の手の変位量を判定する変位量判定の判定結果と、前記作業従事時間での前記作業従事者の手の道具の把持状況を判定する道具把持状況判定の判定結果と、前記作業従事時間に撮像された映像における前記作業従事者の手の出現状況を判定する出現状況判定の判定結果とのうちの少なくともいずれかを用いて、前記作業従事時間を、前記作業従事者が前記複数の要素作業のうちのいずれかの要素作業を実施している時間帯である作業実施時間帯と、前記作業従事者が前記複数の要素作業のうちのいずれの要素作業も実施していない時間帯である非作業時間帯とに分割する時間分割部と、前記映像のうちの前記作業実施時間帯に撮像された部分である部分映像を構成する複数の部分画像を取得し、前記複数の部分画像に、学習済みモデルの生成の際の学習に用いられた手の学習画像の輝度の平均値及び標準偏差を用いた標準化と、規定のサイズへのリサイズとを行い、
標準化及びリサイズ後の前記複数の部分画像である複数の処理後部分画像を前記学習済みモデルに入力して前記複数の処理後部分画像の特徴ベクトルを抽出し、
前記複数の処理後部分画像の特徴ベクトルを前記学習済みモデルに入力して、前記作業従事者が前記作業実施時間帯に実施している要素作業を推定する推定部とを有する推定装置。
【請求項2】
前記推定部は、
前記複数の部分画像として、前記作業従事者の手の位置についての部分画像である手位置部分画像と、前記作業従事者の手の速度についての部分画像である手速度部分画像とを取得し、
前記手位置部分画像に、前記学習済みモデルの生成の際の学習に用いられた手の位置についての学習画像の輝度の平均値及び標準偏差を用いた標準化と、前記規定のサイズへのリサイズとを行い、
前記手速度部分画像に、前記学習済みモデルの生成の際の学習に用いられた手の速度についての学習画像の輝度の平均値及び標準偏差を用いた標準化と、前記規定のサイズへのリサイズとを行い、
標準化及びリサイズ後の前記手位置部分画像である処理後手位置部分画像を前記学習済みモデルに入力して前記処理後手位置部分画像の特徴ベクトルを抽出し、
標準化及びリサイズ後の前記手速度部分画像である処理後手速度部分画像を前記学習済みモデルに入力して前記処理後手速度部分画像の特徴ベクトルを抽出し、
前記処理後手位置部分画像の特徴ベクトルと前記処理後手速度部分画像の特徴ベクトルとを結合し、結合により得られた特徴ベクトルを前記学習済みモデルに入力して、前記作業従事者が前記作業実施時間帯に実施している要素作業を推定する請求項１に記載の推定装置。
【請求項3】
前記時間分割部は、前記変位量判定の判定結果を用いる場合に、前記作業従事時間のうち、前記作業従事者の手の変位量が閾値未満である時間帯を、前記作業実施時間帯に指定する請求項１に記載の推定装置。
【請求項4】
前記時間分割部は、前記道具把持状況判定の判定結果を用いる場合に、前記作業従事時間のうち、前記作業従事者の手が前記道具を把持している時間帯を、前記作業実施時間帯に指定する請求項１に記載の推定装置。
【請求項5】
前記時間分割部は、時間の経過により前記作業従事者の手が把持する道具の種類が変化している場合に、前記作業従事者の手が異なる種類の道具を把持しているそれぞれの時間帯を、異なる作業実施時間帯に指定する請求項４に記載の推定装置。
【請求項6】
前記時間分割部は、前記出現状況判定の判定結果を用いる場合に、前記作業従事時間のうち、前記作業従事者の手が前記映像に出現している時間帯を、前記作業実施時間帯に指定する請求項１に記載の推定装置。
【請求項7】
前記時間分割部は、前記変位量判定の判定結果と、前記道具把持状況判定の判定結果と、前記出現状況判定の判定結果とのうちの少なくともいずれかを、前記学習済みモデルに適用して、前記作業従事時間を前記作業実施時間帯と前記非作業時間帯とに分割する請求項１に記載の推定装置。
【請求項8】
前記作業実施時間帯の候補を生成し、前記変位量判定に対応する処理と、前記道具把持状況判定に対応する処理と、前記出現状況判定に対応する処理との少なくともいずれかを行って得られた前記作業実施時間帯の真値と、前記作業実施時間帯の候補との差分を学習して、請求項１の学習済みモデルを生成する学習装置。
【請求項9】
前記学習画像の輝度の平均値及び標準偏差とを算出し、算出した平均値及び標準偏差を用いた学習により、請求項１の学習済みモデルを生成する学習装置。
【請求項10】
各々の属性が一様ではない複数の要素作業が含まれる作業に従事する作業従事者が前記作業に従事している時間である作業従事時間での前記作業従事者の手の変位量を判定する変位量判定の判定結果と、前記作業従事時間での前記作業従事者の手の道具の把持状況を判定する道具把持状況判定の判定結果と、前記作業従事時間に撮像された映像における前記作業従事者の手の出現状況を判定する出現状況判定の判定結果とのうちの少なくともいずれかを用いて、コンピュータが、前記作業従事時間を、前記作業従事者が前記複数の要素作業のうちのいずれかの要素作業を実施している時間帯である作業実施時間帯と、前記作業従事者が前記複数の要素作業のうちのいずれの要素作業も実施していない時間帯である非作業時間帯とに分割し、前記コンピュータが、前記映像のうちの前記作業実施時間帯に撮像された部分である部分映像を構成する複数の部分画像を取得し、前記複数の部分画像に、学習済みモデルの生成の際の学習に用いられた手の学習画像の輝度の平均値及び標準偏差を用いた標準化と、規定のサイズへのリサイズとを行い、
標準化及びリサイズ後の前記複数の部分画像である複数の処理後部分画像を前記学習済みモデルに入力して前記複数の処理後部分画像の特徴ベクトルを抽出し、
前記複数の処理後部分画像の特徴ベクトルを前記学習済みモデルに入力して、前記作業従事者が前記作業実施時間帯に実施している要素作業を推定する推定方法。
【請求項11】
各々の属性が一様ではない複数の要素作業が含まれる作業に従事する作業従事者が前記作業に従事している時間である作業従事時間での前記作業従事者の手の変位量を判定する変位量判定の判定結果と、前記作業従事時間での前記作業従事者の手の道具の把持状況を判定する道具把持状況判定の判定結果と、前記作業従事時間に撮像された映像における前記作業従事者の手の出現状況を判定する出現状況判定の判定結果とのうちの少なくともいずれかを用いて、前記作業従事時間を、前記作業従事者が前記複数の要素作業のうちのいずれかの要素作業を実施している時間帯である作業実施時間帯と、前記作業従事者が前記複数の要素作業のうちのいずれの要素作業も実施していない時間帯である非作業時間帯とに分割する時間分割処理と、前記映像のうちの前記作業実施時間帯に撮像された部分である部分映像を構成する複数の部分画像を取得し、前記複数の部分画像に、学習済みモデルの生成の際の学習に用いられた手の学習画像の輝度の平均値及び標準偏差を用いた標準化と、規定のサイズへのリサイズとを行い、
標準化及びリサイズ後の前記複数の部分画像である複数の処理後部分画像を前記学習済みモデルに入力して前記複数の処理後部分画像の特徴ベクトルを抽出し、
前記複数の処理後部分画像の特徴ベクトルを前記学習済みモデルに入力して、前記作業従事者が前記作業実施時間帯に実施している要素作業を推定する推定処理とをコンピュータに実行させる推定プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、作業従事者が実施している要素作業を推定する技術に関する。
要素作業は、ひとまとまりと認識できる動作であり、作業の構成要素である。つまり、作業は、複数の要素作業の組み合わせで構成される。例えば、要素作業である「カバーを取り付け位置に配置する」と要素作業である「カバーをねじでとめる」とを組み合わせて１つの作業「カバーを取り付ける」が構成される。
要素作業は、ひとまとまりと認識できる動作であり、作業の構成要素である。つまり、作業は、複数の要素作業の組み合わせで構成される。例えば、要素作業である「カバーを取り付け位置に配置する」と要素作業である「カバーをねじでとめる」とを組み合わせて１つの作業「カバーを取り付ける」が構成される。
【背景技術】
【0002】
特許文献１に、人物の行動を撮像し、撮像により得られた映像から人物の行動を推定する技術が開示されている。
特許文献１の技術では、映像から得られた人体部位の時系列の位置データが複数の位置データに分類される。更に、特許文献１の技術では、それぞれの位置データが解析され、解析結果から、動作シーケンス（移動、変化、静止等）が生成される。そして、特許文献１の技術では、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の時系列データを扱うニューラルネットワークが動作シーケンスを解析する。更に、特許文献１の技術では、解析結果をメモリニューラルネットワークが処理する。
特許文献１の技術では、映像から得られた人体部位の時系列の位置データが複数の位置データに分類される。更に、特許文献１の技術では、それぞれの位置データが解析され、解析結果から、動作シーケンス（移動、変化、静止等）が生成される。そして、特許文献１の技術では、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の時系列データを扱うニューラルネットワークが動作シーケンスを解析する。更に、特許文献１の技術では、解析結果をメモリニューラルネットワークが処理する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０２１－２２３２３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
作業には、様々な属性の要素作業が含まれる。具体的には、作業には、実施時間が短い要素作業、実施時間が長い要素作業、発生頻度の低い要素作業、発生頻度の高い要素作業といった様々な属性の要素作業が含まれる。
このような様々な属性の要素作業が含まれた作業に、特許文献１の技術を適用すると、以下の課題が生じる。
このような様々な属性の要素作業が含まれた作業に、特許文献１の技術を適用すると、以下の課題が生じる。
【0005】
課題（１）
特許文献１の技術は、短時間で区切られた時系列データである位置データを、時系列データを扱うニューラルネットワークが解析する。
実施時間及び／又は発生頻度が様々である複数の要素作業が含まれる作業について、短時間で区切られた時系列データをニューラルネットワークで学習させた場合に、カテゴリごとの時系列データの量が多いと、要素作業を推定するモデルを生成するための学習が困難になる。
カテゴリとは、作業従事者が実施している要素作業の種類を表すラベル及び作業従事者がいずれの要素作業も実施していない時間帯を表すラベルである。
課題（２）
また、カテゴリ間の時系列データの量のバランスを改善させるために新たな要素作業のカテゴリを設けたとしても、新たなカテゴリのために追加のデータ収集が必要となる。
課題（３）
また、実施時間の長い要素作業の時系列データを短時間ごとに複数の時系列データに区切ったとしても、各時系列データは要素作業の一部を表現したものでしかない。このため、同じカテゴリの中でも時系列データのばらつきが増大し、要素作業を推定するモデルを生成するための学習が困難になる。
課題（４）
上記の課題（１）～（３）により、実施時間及び／又は発生頻度が異なるといった、各々の属性が一様ではない複数の要素作業が作業に含まれる場合に、作業従事者が実施する要素作業を正確に推定することができない。
特許文献１の技術は、短時間で区切られた時系列データである位置データを、時系列データを扱うニューラルネットワークが解析する。
実施時間及び／又は発生頻度が様々である複数の要素作業が含まれる作業について、短時間で区切られた時系列データをニューラルネットワークで学習させた場合に、カテゴリごとの時系列データの量が多いと、要素作業を推定するモデルを生成するための学習が困難になる。
カテゴリとは、作業従事者が実施している要素作業の種類を表すラベル及び作業従事者がいずれの要素作業も実施していない時間帯を表すラベルである。
課題（２）
また、カテゴリ間の時系列データの量のバランスを改善させるために新たな要素作業のカテゴリを設けたとしても、新たなカテゴリのために追加のデータ収集が必要となる。
課題（３）
また、実施時間の長い要素作業の時系列データを短時間ごとに複数の時系列データに区切ったとしても、各時系列データは要素作業の一部を表現したものでしかない。このため、同じカテゴリの中でも時系列データのばらつきが増大し、要素作業を推定するモデルを生成するための学習が困難になる。
課題（４）
上記の課題（１）～（３）により、実施時間及び／又は発生頻度が異なるといった、各々の属性が一様ではない複数の要素作業が作業に含まれる場合に、作業従事者が実施する要素作業を正確に推定することができない。
【0006】
本開示は、上記のような課題を解決することを主な目的の一つとしている。より具体的には、本開示は、各々の属性が一様ではない複数の要素作業が作業に含まれる場合でも、作業従事者が実施する要素作業を正確に推定できるようにすることを主な目的とする。
【課題を解決するための手段】
【0007】
本開示に係る推定装置は、
各々の属性が一様ではない複数の要素作業が含まれる作業に従事する作業従事者が前記作業に従事している時間である作業従事時間での前記作業従事者の手の変位量を判定する変位量判定の判定結果と、前記作業従事時間での前記作業従事者の手の道具の把持状況を判定する道具把持状況判定の判定結果と、前記作業従事時間に撮像された映像における前記作業従事者の手の出現状況を判定する出現状況判定の判定結果とのうちの少なくともいずれかを用いて、前記作業従事時間を、前記作業従事者が前記複数の要素作業のうちのいずれかの要素作業を実施している時間帯である作業実施時間帯と、前記作業従事者が前記複数の要素作業のうちのいずれの要素作業も実施していない時間帯である非作業時間帯とに分割する時間分割部と、
前記映像のうちの前記作業実施時間帯に撮像された部分である部分映像に基づき、前記作業従事者が前記作業実施時間帯に実施している要素作業を推定する推定部とを有する。
各々の属性が一様ではない複数の要素作業が含まれる作業に従事する作業従事者が前記作業に従事している時間である作業従事時間での前記作業従事者の手の変位量を判定する変位量判定の判定結果と、前記作業従事時間での前記作業従事者の手の道具の把持状況を判定する道具把持状況判定の判定結果と、前記作業従事時間に撮像された映像における前記作業従事者の手の出現状況を判定する出現状況判定の判定結果とのうちの少なくともいずれかを用いて、前記作業従事時間を、前記作業従事者が前記複数の要素作業のうちのいずれかの要素作業を実施している時間帯である作業実施時間帯と、前記作業従事者が前記複数の要素作業のうちのいずれの要素作業も実施していない時間帯である非作業時間帯とに分割する時間分割部と、
前記映像のうちの前記作業実施時間帯に撮像された部分である部分映像に基づき、前記作業従事者が前記作業実施時間帯に実施している要素作業を推定する推定部とを有する。
【発明の効果】
【0008】
本開示によれば、各々の属性が一様ではない複数の要素作業が作業に含まれる場合でも、作業従事者が実施する要素作業を正確に推定することができる。
【図面の簡単な説明】
【0009】
【図1】実施の形態１に係る推定装置の機能構成例の概要を示す図。
【図2】実施の形態１に係る変位量判定の判定結果のみを用いた時間分割処理の例を示す図。
【図3】実施の形態１に係る道具把持状況判定の判定結果のみを用いた時間分割処理の例を示す図。
【図4】実施の形態１に係る出現状況判定の判定結果のみを用いた時間分割処理の例を示す図。
【図5】実施の形態１に係る３つの判定結果を用いた時間分割処理の例を示す図。
【図6】実施の形態１に係る非作業時間帯と作業実施時間帯における道具の動きの例を示す図。
【図7】実施の形態１に係る推定装置の詳細な機能構成例を示す図。
【図8】実施の形態１に係る作業実施時間帯検出部と要素作業推定部の内部構成例を示す図。
【図9】実施の形態１に係る推定装置の動作例を示すフローチャート。
【図10】実施の形態１に係る作業実施時間帯検出部の動作例を示すフローチャート。
【図11】実施の形態１に係る要素作業推定部の動作例を示すフローチャート。
【図12】実施の形態２に係る学習装置の機能構成例を示す図。
【図13】実施の形態２に係る要素作業推定モデル生成部の内部構成例を示す図。
【図14】実施の形態２に係る学習装置の動作例を示すフローチャート。
【図15】実施の形態３に係る学習装置の機能構成例を示す図。
【図16】実施の形態３に係る作業実施時間帯検出モデル生成部の内部構成例を示す図。
【図17】実施の形態３に係る学習装置の動作例を示すフローチャート。
【図18】実施の形態４に係る推定装置の機能構成例を示す図。
【図19】実施の形態５に係る学習装置の機能構成例を示す図。
【図20】実施の形態１に係る画像化処理の概要を示す図。
【図21】実施の形態１に係る作業実施時間帯検出処理、要素作業推定処理及び推定結果処理の概要を示す図。
【図22】実施の形態１及び４に係る推定装置のハードウェア構成例を示す図。
【図23】実施の形態２、３及び５に係る学習装置のハードウェア構成例を示す図。
【発明を実施するための形態】
【0010】
以下、実施の形態を図を用いて説明する。以下の実施の形態の説明及び図面において、同一の符号を付したものは、同一の部分又は相当する部分を示す。
【0011】
実施の形態１．
本開示では、作業従事者が実施している要素作業を正確に推定する方法を説明する。
「作業従事者」は、作業に従事する人（作業員）又はロボット（作業ロボット）である。また、「作業従事者の手」には、人（作業員）の手と、人の手と同様の機能及び／又は役割をもつロボット（作業ロボット）の構成部分とが含まれる。また、「作業従事者の手」には、人（作業員）の手のひら、手の甲、手首及び指の少なくともいずれかと、手のひら、手の甲、手首及び指のいずれかに相当するロボット（作業ロボット）の構成部分とが含まれる。
以下では、人（作業員）が機械調整作業に従事する例を説明する。
本開示では、作業従事者が実施している要素作業を正確に推定する方法を説明する。
「作業従事者」は、作業に従事する人（作業員）又はロボット（作業ロボット）である。また、「作業従事者の手」には、人（作業員）の手と、人の手と同様の機能及び／又は役割をもつロボット（作業ロボット）の構成部分とが含まれる。また、「作業従事者の手」には、人（作業員）の手のひら、手の甲、手首及び指の少なくともいずれかと、手のひら、手の甲、手首及び指のいずれかに相当するロボット（作業ロボット）の構成部分とが含まれる。
以下では、人（作業員）が機械調整作業に従事する例を説明する。
【0012】
＊＊＊構成の説明＊＊＊
図１は、本実施の形態に係る推定装置１００の機能構成例の概要を示す。推定装置１００は、推定フェーズで動作する。
推定装置１００は、撮像装置１１０に接続されている。
撮像装置１１０は、作業従事時間に作業従事者の手を撮像する。作業従事時間は、作業従事者が作業に従事している時間である。
撮像装置１１０は、撮像により得られた、作業従事者の手の映像を推定装置１００に出力する。
撮像装置１１０は、例えば、作業従事者の頭部に装着され、１人称視点の映像を撮像する。本実施の形態では、撮像装置１１０は、作業従事者の頭部に装着されているものとする。しかし、撮像装置１１０は、作業従事者の手の映像が撮像できるのであれば、作業従事者の頭部に装着されていなくてもよい。
また、撮像装置１１０は、通常のカラー映像を撮像する装置のみならず、デプスセンサなどの別のモーダルを持つセンサが含まれていてもよい。
デプスセンサはより広角な撮像が可能である。撮像装置１１０にデプスセンサに含まれる場合は、カラーの映像に手が映っていなくとも、デプスセンサの撮像可能範囲に手が存在すれば、推定装置１００は、手が出現しているとみなしてよい。
図１は、本実施の形態に係る推定装置１００の機能構成例の概要を示す。推定装置１００は、推定フェーズで動作する。
推定装置１００は、撮像装置１１０に接続されている。
撮像装置１１０は、作業従事時間に作業従事者の手を撮像する。作業従事時間は、作業従事者が作業に従事している時間である。
撮像装置１１０は、撮像により得られた、作業従事者の手の映像を推定装置１００に出力する。
撮像装置１１０は、例えば、作業従事者の頭部に装着され、１人称視点の映像を撮像する。本実施の形態では、撮像装置１１０は、作業従事者の頭部に装着されているものとする。しかし、撮像装置１１０は、作業従事者の手の映像が撮像できるのであれば、作業従事者の頭部に装着されていなくてもよい。
また、撮像装置１１０は、通常のカラー映像を撮像する装置のみならず、デプスセンサなどの別のモーダルを持つセンサが含まれていてもよい。
デプスセンサはより広角な撮像が可能である。撮像装置１１０にデプスセンサに含まれる場合は、カラーの映像に手が映っていなくとも、デプスセンサの撮像可能範囲に手が存在すれば、推定装置１００は、手が出現しているとみなしてよい。
【0013】
＊＊推定装置１００の単純化した構成例の説明＊＊
推定装置１００は、時間分割部１１と推定部１２を有する。
後述するように、推定装置１００は、詳細には、図７及び図８に示す機能構成を有するが、図１では、理解のしやすさを考慮し、推定装置１００の機能構成を単純化して示している。
図７及び図８に示す推定装置１００の詳細な構成を説明する前に、図１の単純化した推定装置１００の機能構成を説明する。
推定装置１００は、時間分割部１１と推定部１２を有する。
後述するように、推定装置１００は、詳細には、図７及び図８に示す機能構成を有するが、図１では、理解のしやすさを考慮し、推定装置１００の機能構成を単純化して示している。
図７及び図８に示す推定装置１００の詳細な構成を説明する前に、図１の単純化した推定装置１００の機能構成を説明する。
【0014】
＊＊時間分割部１１の説明＊＊
時間分割部１１は、変位量判定の判定結果と、道具把持状況判定の判定結果と、出現状況判定の判定結果とのうちの少なくともいずれかを用いて、作業従事時間を、作業実施時間帯と非作業時間帯とに分割する。
変位量判定は、作業従事者の手の変位量を判定する判定処理である。
道具把持状況判定は、作業従事者の手の道具の把持状況を判定する判定処理である。道具は、機械調整作業に用いられる道具である。
出現状況判定は、作業従事時間に撮像された映像における作業従事者の手の出現状況を判定する判定処理である。
また、作業実施時間帯は、作業従事者が複数の要素作業のうちのいずれかの要素作業を実施している時間帯である。
また、非作業時間帯は、作業従事者が複数の要素作業のうちのいずれの要素作業も実施していない時間帯である。
時間分割部１１により行われる処理は、時間分割処理に相当する。
時間分割部１１は、変位量判定の判定結果と、道具把持状況判定の判定結果と、出現状況判定の判定結果とのうちの少なくともいずれかを用いて、作業従事時間を、作業実施時間帯と非作業時間帯とに分割する。
変位量判定は、作業従事者の手の変位量を判定する判定処理である。
道具把持状況判定は、作業従事者の手の道具の把持状況を判定する判定処理である。道具は、機械調整作業に用いられる道具である。
出現状況判定は、作業従事時間に撮像された映像における作業従事者の手の出現状況を判定する判定処理である。
また、作業実施時間帯は、作業従事者が複数の要素作業のうちのいずれかの要素作業を実施している時間帯である。
また、非作業時間帯は、作業従事者が複数の要素作業のうちのいずれの要素作業も実施していない時間帯である。
時間分割部１１により行われる処理は、時間分割処理に相当する。
【0015】
＊＊推定部１２の説明＊＊
推定部１２は、作業従事時間に撮像された映像のうちの作業実施時間帯に撮像された部分である部分映像に基づき、作業従事者が作業実施時間帯に実施している要素作業を推定する。
具体的には、推定部１２は、学習により生成された学習済みモデルを用いて、作業従事者が作業実施時間帯に実施している要素作業を推定する。
推定部１２は、作業従事時間に撮像された映像のうちの作業実施時間帯に撮像された部分である部分映像に基づき、作業従事者が作業実施時間帯に実施している要素作業を推定する。
具体的には、推定部１２は、学習により生成された学習済みモデルを用いて、作業従事者が作業実施時間帯に実施している要素作業を推定する。
【0016】
＊＊時間分割処理の説明＊＊
図２～図５は、時間分割部１１による時間分割処理の例を示す。
図２は、時間分割部１１が、変位量判定の判定結果のみを用いて、作業従事時間を作業実施時間帯と非作業時間帯とに分割している例を示す。
図３は、時間分割部１１が、道具把持状況判定の判定結果のみを用いて、作業従事時間を作業実施時間帯と非作業時間帯とに分割している例を示す。
図４は、時間分割部１１が、出現状況判定の判定結果のみを用いて、作業従事時間を作業実施時間帯と非作業時間帯とに分割している例を示す。
図５は、時間分割部１１が、変位量判定の判定結果と道具把持状況判定の判定結果と出現状況判定の判定結果とを用いて、作業従事時間を作業実施時間帯と非作業時間帯とに分割している例を示す。
図２～図５は、時間分割部１１による時間分割処理の例を示す。
図２は、時間分割部１１が、変位量判定の判定結果のみを用いて、作業従事時間を作業実施時間帯と非作業時間帯とに分割している例を示す。
図３は、時間分割部１１が、道具把持状況判定の判定結果のみを用いて、作業従事時間を作業実施時間帯と非作業時間帯とに分割している例を示す。
図４は、時間分割部１１が、出現状況判定の判定結果のみを用いて、作業従事時間を作業実施時間帯と非作業時間帯とに分割している例を示す。
図５は、時間分割部１１が、変位量判定の判定結果と道具把持状況判定の判定結果と出現状況判定の判定結果とを用いて、作業従事時間を作業実施時間帯と非作業時間帯とに分割している例を示す。
【0017】
図２の変位量判定の判定結果は、作業従事時間での作業従事者の手の変位量を示す。図２では、変位量判定の判定結果をグラフで示している。
時間分割部１１は、撮像装置１１０で撮像された作業従事者の手の映像から導出された手の関節の時系列データを取得する。そして、手の関節の時系列データから単位時間あたりの手の変位量を判定する。
図１では、図示を省略しているが、推定装置１００には、作業従事者の手の映像を手の関節の時系列データに変換する機構が含まれているものとする。
時間分割部１１は、単位時間あたりの手の変位量が閾値未満である時間帯を作業実施時間帯に指定する。一方、時間分割部１１は、単位時間あたりの手の変位量が閾値以上である時間帯を非作業時間帯に指定する。
図６の（ａ）に示すように、機械調整作業では、作業を実施していないと、道具を把持した手が作業対象物に一気に近づく（又は離れる）と考えられる（道具を保持していない手でも同様と考えられる）。このため、手の変位量が大きい時間帯は非作業時間帯であると考えられる。一方、図６の（ｂ）に示すように、作業を実施している場合は、道具をゆっくり動かす又は道具の移動範囲が小さいと考えられる（道具を保持していない手でも同様と考えられる）。このため、手の変位量が小さい時間帯は作業実施時間帯であると考えられる。
時間分割部１１は、撮像装置１１０で撮像された作業従事者の手の映像から導出された手の関節の時系列データを取得する。そして、手の関節の時系列データから単位時間あたりの手の変位量を判定する。
図１では、図示を省略しているが、推定装置１００には、作業従事者の手の映像を手の関節の時系列データに変換する機構が含まれているものとする。
時間分割部１１は、単位時間あたりの手の変位量が閾値未満である時間帯を作業実施時間帯に指定する。一方、時間分割部１１は、単位時間あたりの手の変位量が閾値以上である時間帯を非作業時間帯に指定する。
図６の（ａ）に示すように、機械調整作業では、作業を実施していないと、道具を把持した手が作業対象物に一気に近づく（又は離れる）と考えられる（道具を保持していない手でも同様と考えられる）。このため、手の変位量が大きい時間帯は非作業時間帯であると考えられる。一方、図６の（ｂ）に示すように、作業を実施している場合は、道具をゆっくり動かす又は道具の移動範囲が小さいと考えられる（道具を保持していない手でも同様と考えられる）。このため、手の変位量が小さい時間帯は作業実施時間帯であると考えられる。
【0018】
図３の道具把持状況判定の判定結果は、道具の把持の有無を示す。
図１では、図示を省略しているが、推定装置１００には、作業従事者の手が把持している道具を識別する機構が含まれているものとする。
図３の例では、最初に作業従事者はスパナを把持していた。次に、作業従事者はドライバを把持していた。その後、作業従事者は、いずれの道具も把持しない状態になった。最後に、作業従事者は鋼尺を把持していた。
時間分割部１１は、作業従事者の手が道具を把持している時間帯を作業実施時間帯に指定する。一方、時間分割部１１は、作業従事者の手がいずれの道具も把持していない時間帯を非作業時間帯に指定する。
また、時間の経過により作業従事者の手が把持する道具の種類が変化している場合は、時間分割部１１は、作業従事者の手が異なる種類の道具を把持しているそれぞれの時間帯を、異なる作業実施時間帯に指定する。図３の例では、時間分割部１１は、作業従事者の手がスパナを把持している時間帯と、作業従事者の手がドライバを把持している時間帯を、異なる作業時実施時間帯に指定している。
図１では、図示を省略しているが、推定装置１００には、作業従事者の手が把持している道具を識別する機構が含まれているものとする。
図３の例では、最初に作業従事者はスパナを把持していた。次に、作業従事者はドライバを把持していた。その後、作業従事者は、いずれの道具も把持しない状態になった。最後に、作業従事者は鋼尺を把持していた。
時間分割部１１は、作業従事者の手が道具を把持している時間帯を作業実施時間帯に指定する。一方、時間分割部１１は、作業従事者の手がいずれの道具も把持していない時間帯を非作業時間帯に指定する。
また、時間の経過により作業従事者の手が把持する道具の種類が変化している場合は、時間分割部１１は、作業従事者の手が異なる種類の道具を把持しているそれぞれの時間帯を、異なる作業実施時間帯に指定する。図３の例では、時間分割部１１は、作業従事者の手がスパナを把持している時間帯と、作業従事者の手がドライバを把持している時間帯を、異なる作業時実施時間帯に指定している。
【0019】
図４の出現状況判定の判定結果は、撮像装置１１０の映像における作業従事者の手の出現有無を示す。
時間分割部１１は、撮像装置１１０の映像の解析又は手の関節の時系列データの解析により、作業従事者の手の出現有無を判定することができる。
図４の例では、最初に作業従事者の手が映像に出現していた。次に、作業従事者の手が映像に出現しなくなった。その後、作業従事者の手が再度映像に出現した。
時間分割部１１は、作業従事者の手が映像に出現している時間帯を作業実施時間帯に指定する。一方、時間分割部１１は、作業従事者の手が映像に出現していない時間帯を非作業時間帯に指定する。
時間分割部１１は、撮像装置１１０の映像の解析又は手の関節の時系列データの解析により、作業従事者の手の出現有無を判定することができる。
図４の例では、最初に作業従事者の手が映像に出現していた。次に、作業従事者の手が映像に出現しなくなった。その後、作業従事者の手が再度映像に出現した。
時間分割部１１は、作業従事者の手が映像に出現している時間帯を作業実施時間帯に指定する。一方、時間分割部１１は、作業従事者の手が映像に出現していない時間帯を非作業時間帯に指定する。
【0020】
図５は、時間分割部１１が、３つの判定結果を用いて、作業従事時間を作業実施時間帯と非作業時間帯とに分割している例を示す。
図５の例では、時間分割部１１は、作業従事者の手の変位量が閾値以上であれば、作業従事者の手が道具を把持しているか否か及び作業従事者の手が映像に出現しているか否かに関わらず、当該時間帯を非作業時間帯に指定している。
また、時間分割部１１は、作業従事者の手の変位量が閾値未満の場合は、作業従事者の手が映像に出現していれば、作業従事者の手が道具を把持しているか否かに関わらず、当該時間帯を作業実施時間帯に指定している。一方、作業従事者の手の変位量が閾値未満の場合でも、作業従事者の手が映像に出現していなければ、時間分割部１１は、作業従事者の手が道具を把持しているか否かに関わらず、当該時間帯を非作業時間帯に指定している。
このように変位量判定の判定結果、道具把持状況判定の判定結果及び出現状況判定の判定結果のうちの２つ以上の判定結果が用いられる場合に、推定装置１００のユーザは、どのような優先順位で２つの以上の判定結果を適用するかについて事前に適用基準を定義しておく。
図５の例では、時間分割部１１は、作業従事者の手の変位量が閾値以上であれば、作業従事者の手が道具を把持しているか否か及び作業従事者の手が映像に出現しているか否かに関わらず、当該時間帯を非作業時間帯に指定している。
また、時間分割部１１は、作業従事者の手の変位量が閾値未満の場合は、作業従事者の手が映像に出現していれば、作業従事者の手が道具を把持しているか否かに関わらず、当該時間帯を作業実施時間帯に指定している。一方、作業従事者の手の変位量が閾値未満の場合でも、作業従事者の手が映像に出現していなければ、時間分割部１１は、作業従事者の手が道具を把持しているか否かに関わらず、当該時間帯を非作業時間帯に指定している。
このように変位量判定の判定結果、道具把持状況判定の判定結果及び出現状況判定の判定結果のうちの２つ以上の判定結果が用いられる場合に、推定装置１００のユーザは、どのような優先順位で２つの以上の判定結果を適用するかについて事前に適用基準を定義しておく。
【0021】
推定部１２は、作業実施時間帯に撮像された部分映像から導出された手の関節の時系列データを学習済みモデルに適用して、作業従事者が作業実施時間帯に実施している要素作業を推定する。
推定部１２が用いる学習済みモデルは、後述する学習装置２００により生成される。
推定部１２が用いる学習済みモデルは、後述する学習装置２００により生成される。
【0022】
このように、本実施の形態に係る推定装置１００では、時間分割部１１による作業実施時間帯の検出と、推定部１２による部分映像を用いた要素作業の推定という２段階の処理が行われる。
このため、本実施の形態に係る推定装置１００は、作業従事者により実施された要素作業を正確に推定することができる。
このため、本実施の形態に係る推定装置１００は、作業従事者により実施された要素作業を正確に推定することができる。
【0023】
＊＊推定装置１００のハードウェア構成例の説明＊＊
本実施の形態に係る推定装置１００は、図２２に例示するハードウェア構成を有するコンピュータである。
図２２に示すように、推定装置１００は、ハードウェアとして、プロセッサ８０１、主記憶装置８０２、補助記憶装置８０３及び通信装置８０４を備える。
図１に示した時間分割部１１、推定部１２、更に、図７及び図８に示す構成要素の機能は、例えば、プログラムにより実現される。
補助記憶装置８０３には、これらの構成要素の機能を実現するプログラムが記憶されている。
これらプログラムは、補助記憶装置８０３から主記憶装置８０２にロードされる。そして、プロセッサ８０１がこれらプログラムを実行して、これらの構成要素の動作を行う。
本実施の形態に係る推定装置１００は、図２２に例示するハードウェア構成を有するコンピュータである。
図２２に示すように、推定装置１００は、ハードウェアとして、プロセッサ８０１、主記憶装置８０２、補助記憶装置８０３及び通信装置８０４を備える。
図１に示した時間分割部１１、推定部１２、更に、図７及び図８に示す構成要素の機能は、例えば、プログラムにより実現される。
補助記憶装置８０３には、これらの構成要素の機能を実現するプログラムが記憶されている。
これらプログラムは、補助記憶装置８０３から主記憶装置８０２にロードされる。そして、プロセッサ８０１がこれらプログラムを実行して、これらの構成要素の動作を行う。
【0024】
なお、推定装置１００の動作手順は、推定方法に相当する。また、推定装置１００の動作を実現するプログラムは、推定プログラムに相当する。
【0025】
＊＊推定装置１００の詳細な構成例の説明＊＊
図７は、図１に示した推定装置１００の詳細な機能構成例を示す。
図７では、推定装置１００は、関節位置時系列データ取得部１２０、関節速度計算部１２１、関節時系列データ画像化部１２２、作業実施時間帯検出部１２３、要素作業推定部１２４、推定結果処理部１２５、要素作業推定モデル保存部１３０、前処理統計量保存部１３１及び推定結果保存部１３２を備える。
なお、作業実施時間帯検出部１２３が図１に示した時間分割部１１に相当する。また、要素作業推定部１２４が図１に示した推定部１２に相当する。
図７は、図１に示した推定装置１００の詳細な機能構成例を示す。
図７では、推定装置１００は、関節位置時系列データ取得部１２０、関節速度計算部１２１、関節時系列データ画像化部１２２、作業実施時間帯検出部１２３、要素作業推定部１２４、推定結果処理部１２５、要素作業推定モデル保存部１３０、前処理統計量保存部１３１及び推定結果保存部１３２を備える。
なお、作業実施時間帯検出部１２３が図１に示した時間分割部１１に相当する。また、要素作業推定部１２４が図１に示した推定部１２に相当する。
【0026】
＊＊関節位置時系列データ取得部１２０の説明＊＊
関節位置時系列データ取得部１２０は、撮像装置１１０から、作業従事者の手を撮像して得られた映像Ｖを取得する。映像Ｖは、推定フェーズにおいて、作業従事時間に撮像された映像である。映像Ｖには、作業従事者の手が映されているフレームと作業者の手が映されていないフレームとが含まれる。
関節位置時系列データ取得部１２０は、映像Ｖから関節位置時系列データＨＰＴを生成する。関節位置時系列データＨＰＴは、手の各関節の空間位置座標が示されるデータである。
関節位置時系列データ取得部１２０は、例えば、手の関節位置を推定する既存のハンドトラッキングモデルを利用して、関節位置時系列データＨＰＴを生成する。
関節位置時系列データ取得部１２０は、右手の関節位置時系列データＨＰＴと左手の関節位置時系列データＨＰＴを生成する。なお、以下では、単に関節位置時系列データＨＰＴという場合は、右手の関節位置時系列データＨＰＴと左手の関節位置時系列データＨＰＴの両者を表すものとする。
関節位置時系列データ取得部１２０は、映像Ｖに手が出現しない時間がある場合は、手が出現しないことを判別可能な値を関節位置時系列データＨＰＴに挿入する。
そして、関節位置時系列データ取得部１２０は、関節位置時系列データＨＰＴを関節速度計算部１２１及び関節時系列データ画像化部１２２に出力する。また、関節位置時系列データ取得部１２０は、関節位置時系列データＨＰＴを作業実施時間帯検出部１２３に出力してもよい。
関節位置時系列データ取得部１２０は、撮像装置１１０から、作業従事者の手を撮像して得られた映像Ｖを取得する。映像Ｖは、推定フェーズにおいて、作業従事時間に撮像された映像である。映像Ｖには、作業従事者の手が映されているフレームと作業者の手が映されていないフレームとが含まれる。
関節位置時系列データ取得部１２０は、映像Ｖから関節位置時系列データＨＰＴを生成する。関節位置時系列データＨＰＴは、手の各関節の空間位置座標が示されるデータである。
関節位置時系列データ取得部１２０は、例えば、手の関節位置を推定する既存のハンドトラッキングモデルを利用して、関節位置時系列データＨＰＴを生成する。
関節位置時系列データ取得部１２０は、右手の関節位置時系列データＨＰＴと左手の関節位置時系列データＨＰＴを生成する。なお、以下では、単に関節位置時系列データＨＰＴという場合は、右手の関節位置時系列データＨＰＴと左手の関節位置時系列データＨＰＴの両者を表すものとする。
関節位置時系列データ取得部１２０は、映像Ｖに手が出現しない時間がある場合は、手が出現しないことを判別可能な値を関節位置時系列データＨＰＴに挿入する。
そして、関節位置時系列データ取得部１２０は、関節位置時系列データＨＰＴを関節速度計算部１２１及び関節時系列データ画像化部１２２に出力する。また、関節位置時系列データ取得部１２０は、関節位置時系列データＨＰＴを作業実施時間帯検出部１２３に出力してもよい。
【0027】
＊＊関節速度計算部１２１の説明＊＊
関節速度計算部１２１は、関節位置時系列データ取得部１２０から関節位置時系列データＨＰＴを取得する。
そして、関節速度計算部１２１は、関節位置時系列データＨＰＴの各関節における時間方向への差分（速度）を計算する。そして、関節速度計算部１２１は、計算結果を示す関節速度時系列データＨＶＴを関節時系列データ画像化部１２２に出力する。関節速度計算部１２１は、関節速度時系列データＨＶＴを作業実施時間帯検出部１２３に出力してもよい。
関節速度計算部１２１は、右手の関節速度時系列データＨＶＴと左手の関節速度時系列データＨＶＴを生成する。なお、以下では、単に関節速度時系列データＨＶＴという場合は、右手の関節速度時系列データＨＶＴと左手の関節速度時系列データＨＶＴの両者を表すものとする。
関節速度計算部１２１は、関節位置時系列データ取得部１２０から関節位置時系列データＨＰＴを取得する。
そして、関節速度計算部１２１は、関節位置時系列データＨＰＴの各関節における時間方向への差分（速度）を計算する。そして、関節速度計算部１２１は、計算結果を示す関節速度時系列データＨＶＴを関節時系列データ画像化部１２２に出力する。関節速度計算部１２１は、関節速度時系列データＨＶＴを作業実施時間帯検出部１２３に出力してもよい。
関節速度計算部１２１は、右手の関節速度時系列データＨＶＴと左手の関節速度時系列データＨＶＴを生成する。なお、以下では、単に関節速度時系列データＨＶＴという場合は、右手の関節速度時系列データＨＶＴと左手の関節速度時系列データＨＶＴの両者を表すものとする。
【0028】
＊＊関節時系列データ画像化部１２２の説明＊＊
関節時系列データ画像化部１２２は、関節位置時系列データ取得部１２０から関節位置時系列データＨＰＴを取得する。また、関節時系列データ画像化部１２２は、関節速度計算部１２１から関節速度時系列データＨＶＴを取得する。
関節時系列データ画像化部１２２は、関節位置時系列データＨＰＴを画像化して、左手関節位置画像ＬＪＰＩと右手関節位置画像ＲＪＰＩを生成する。また、関節時系列データ画像化部１２２は、関節速度時系列データＨＶＴを画像化して、左手関節速度画像ＬＪＶＩと右手関節速度画像ＲＪＶＩを生成する。
そして、関節時系列データ画像化部１２２は、左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩと左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩを作業実施時間帯検出部１２３に出力する。
関節時系列データ画像化部１２２は、関節位置時系列データ取得部１２０から関節位置時系列データＨＰＴを取得する。また、関節時系列データ画像化部１２２は、関節速度計算部１２１から関節速度時系列データＨＶＴを取得する。
関節時系列データ画像化部１２２は、関節位置時系列データＨＰＴを画像化して、左手関節位置画像ＬＪＰＩと右手関節位置画像ＲＪＰＩを生成する。また、関節時系列データ画像化部１２２は、関節速度時系列データＨＶＴを画像化して、左手関節速度画像ＬＪＶＩと右手関節速度画像ＲＪＶＩを生成する。
そして、関節時系列データ画像化部１２２は、左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩと左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩを作業実施時間帯検出部１２３に出力する。
【0029】
ここで、関節時系列データ画像化部１２２による関節位置時系列データＨＰＴの画像化と関節速度時系列データＨＶＴの画像化を説明する。
図２０は、関節時系列データ画像化部１２２の画像化処理の概要を示す。ここでは、関節位置時系列データＨＰＴの画像化処理を説明する。画像化とは、三次元座標のｘ値、ｙ値及びｚ値を画像のＲ、Ｇ及びＢに見立てて関節の三次元座標の時系列データを生成することである。
図２０では、時刻ｔごとの関節位置時系列データＨＰＴには、Ｊ（Ｊ≧２）個の関節の空間位置座標が含まれているものとする。また、座標軸Ｃはｘ座標軸、ｙ座標軸及びｚ座標軸である。
図２０は、関節時系列データ画像化部１２２の画像化処理の概要を示す。ここでは、関節位置時系列データＨＰＴの画像化処理を説明する。画像化とは、三次元座標のｘ値、ｙ値及びｚ値を画像のＲ、Ｇ及びＢに見立てて関節の三次元座標の時系列データを生成することである。
図２０では、時刻ｔごとの関節位置時系列データＨＰＴには、Ｊ（Ｊ≧２）個の関節の空間位置座標が含まれているものとする。また、座標軸Ｃはｘ座標軸、ｙ座標軸及びｚ座標軸である。
【0030】
関節時系列データ画像化部１２２は、例えば、左手の関節位置時系列データＨＰＴのＪ個の関節の各関節ｊ及び各軸の座標値ｃを要素とするテンソルを生成する。そして、関節時系列データ画像化部１２２は、テンソルを時間方向に結合して左手関節位置画像ＬＪＰＩを生成する。
関節時系列データ画像化部１２２は、右手関節位置画像ＲＪＰＩも同様の手順で生成する。
また、関節時系列データ画像化部１２２は、同様の手順にて、左手の関節速度時系列データＨＶＴから左手関節速度画像ＬＪＶＩを生成する。
また、関節時系列データ画像化部１２２は、同様の手順にて、右手の関節速度時系列データＨＶＴから右手関節速度画像ＲＪＶＩを生成する。
関節時系列データ画像化部１２２は、右手関節位置画像ＲＪＰＩも同様の手順で生成する。
また、関節時系列データ画像化部１２２は、同様の手順にて、左手の関節速度時系列データＨＶＴから左手関節速度画像ＬＪＶＩを生成する。
また、関節時系列データ画像化部１２２は、同様の手順にて、右手の関節速度時系列データＨＶＴから右手関節速度画像ＲＪＶＩを生成する。
【0031】
＊＊把持道具時系列データ生成部１２６の説明＊＊
把持道具時系列データ生成部１２６は、映像Ｖ又はセンサ情報ＲＲＳを取得する。
映像Ｖは、撮像装置１１０で撮像された映像である。つまり、把持道具時系列データ生成部１２６は、関節位置時系列データ取得部１２０から映像Ｖを取得してもよいし、関節位置時系列データ取得部１２０から独立して、撮像装置１１０から映像Ｖを取得してもよい。
センサ情報ＲＲＳは、作業従事者が道具を把持しているか否かを通知する情報である。また、作業従事者が道具を把持する場合は、センサ情報ＲＲＳは、作業従事者が把持する道具の種類を通知する。
例えば、作業従事者の手にＲＦＩＤ等のタグ型無線通信センサが装着されている場合は、タグ型無線通信センサが作業従事者が把持する道具から発信される信号を受信する。そして、タグ型無線通信センサは、受信した信号に基づき、作業従事者が把持する道具の種類を判定する。また、タグ型無線通信センサは、信号を受信しない場合は、作業従事者が道具を把持していないと判定する。タグ型無線通信センサは、判定結果をセンサ情報ＲＲＳとして把持道具時系列データ生成部１２６に出力する。
把持道具時系列データ生成部１２６は、映像Ｖ又はセンサ情報ＲＲＳを取得する。
映像Ｖは、撮像装置１１０で撮像された映像である。つまり、把持道具時系列データ生成部１２６は、関節位置時系列データ取得部１２０から映像Ｖを取得してもよいし、関節位置時系列データ取得部１２０から独立して、撮像装置１１０から映像Ｖを取得してもよい。
センサ情報ＲＲＳは、作業従事者が道具を把持しているか否かを通知する情報である。また、作業従事者が道具を把持する場合は、センサ情報ＲＲＳは、作業従事者が把持する道具の種類を通知する。
例えば、作業従事者の手にＲＦＩＤ等のタグ型無線通信センサが装着されている場合は、タグ型無線通信センサが作業従事者が把持する道具から発信される信号を受信する。そして、タグ型無線通信センサは、受信した信号に基づき、作業従事者が把持する道具の種類を判定する。また、タグ型無線通信センサは、信号を受信しない場合は、作業従事者が道具を把持していないと判定する。タグ型無線通信センサは、判定結果をセンサ情報ＲＲＳとして把持道具時系列データ生成部１２６に出力する。
【0032】
把持道具時系列データ生成部１２６は、映像Ｖ又はセンサ情報ＲＲＳを用いて、作業従事者の手が道具を把持しているか否かを識別する。また、作業従事者の手が道具を把持している場合は、把持道具時系列データ生成部１２６は、作業従事者の手が把持している道具の種類を識別する。
把持道具時系列データ生成部１２６は、映像Ｖを取得する場合は、例えば公知の物体検出モデルを用いて、映像Ｖの各フレームから作業従事者が道具を把持しているか否か及び道具の種類を識別する。
把持道具時系列データ生成部１２６は、センサ情報ＲＲＳを取得する場合は、センサ情報ＲＲＳを解析して、作業従事者が道具を把持しているか否か及び道具の種類を識別する。
把持道具時系列データ生成部１２６は、映像Ｖを取得する場合は、例えば公知の物体検出モデルを用いて、映像Ｖの各フレームから作業従事者が道具を把持しているか否か及び道具の種類を識別する。
把持道具時系列データ生成部１２６は、センサ情報ＲＲＳを取得する場合は、センサ情報ＲＲＳを解析して、作業従事者が道具を把持しているか否か及び道具の種類を識別する。
【0033】
把持道具時系列データ生成部１２６は、識別結果を示す左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１を作業実施時間帯検出部１２３に出力する。
左手把持道具データＬＴＯ１は、作業従事者の左手が道具を把持しているか否か及び把持している道具の種類を時系列で示すデータである。つまり、左手把持道具データＬＴＯ１を解析すれば、作業従事者の左手が道具を把持している時間帯及び作業従事者の左手が道具を把持していない時間を識別することができる。また、左手把持道具データＬＴＯ１を解析すれば、作業従事者の左手が道具を把持している時間帯において作業従事者の左手が把持している道具の種類を時系列に識別することができる。
同様に、右手把持道具データＲＴＯ１は、作業従事者の右手が道具を把持しているか否か及び把持している道具の種類を時系列で示すデータである。つまり、右手把持道具データＲＴＯ１を解析すれば、作業従事者の右手が道具を把持している時間帯及び作業従事者の右手が道具を把持していない時間を時系列に識別することができる。また、右手把持道具データＲＴＯ１を解析すれば、作業従事者の右手が道具を把持している時間帯において作業従事者の右手が把持している道具の種類を識別することができる。
左手把持道具データＬＴＯ１は、作業従事者の左手が道具を把持しているか否か及び把持している道具の種類を時系列で示すデータである。つまり、左手把持道具データＬＴＯ１を解析すれば、作業従事者の左手が道具を把持している時間帯及び作業従事者の左手が道具を把持していない時間を識別することができる。また、左手把持道具データＬＴＯ１を解析すれば、作業従事者の左手が道具を把持している時間帯において作業従事者の左手が把持している道具の種類を時系列に識別することができる。
同様に、右手把持道具データＲＴＯ１は、作業従事者の右手が道具を把持しているか否か及び把持している道具の種類を時系列で示すデータである。つまり、右手把持道具データＲＴＯ１を解析すれば、作業従事者の右手が道具を把持している時間帯及び作業従事者の右手が道具を把持していない時間を時系列に識別することができる。また、右手把持道具データＲＴＯ１を解析すれば、作業従事者の右手が道具を把持している時間帯において作業従事者の右手が把持している道具の種類を識別することができる。
【0034】
＊＊作業実施時間帯検出部１２３の説明＊＊
作業実施時間帯検出部１２３は、関節時系列データ画像化部１２２から、左手関節位置画像ＬＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶＩを取得する。
更に、作業実施時間帯検出部１２３は、把持道具時系列データ生成部１２６から左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１を取得する。
作業実施時間帯検出部１２３は、関節時系列データ画像化部１２２から、左手関節位置画像ＬＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶＩを取得する。
更に、作業実施時間帯検出部１２３は、把持道具時系列データ生成部１２６から左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１を取得する。
【0035】
作業実施時間帯検出部１２３は、左手関節位置画像ＬＪＰＩ及び／又は左手関節速度画像ＬＪＶＩを解析する。そして、作業実施時間帯検出部１２３は、左手が映像に出現した時間帯の集合である左手出現時間帯集合ＬＳを生成する。
同様に、作業実施時間帯検出部１２３は、右手関節位置画像ＲＪＰＩ及び／又は右手関節速度画像ＲＪＶＩを解析する。そして、作業実施時間帯検出部１２３は、右手が映像に出現した時間帯の集合である右手出現時間帯集合ＲＳを生成する。
このように、作業実施時間帯検出部１２３は、図３に示す出現状況判定を行う。
また、作業実施時間帯検出部１２３は、関節位置時系列データ取得部１２０から関節位置時系列データＨＰＴを取得している場合は、関節位置時系列データＨＰＴを用いて出現状況判定を行ってもよい。また、作業実施時間帯検出部１２３は、関節速度計算部１２１から関節速度時系列データＨＶＴを取得している場合は、関節速度時系列データＨＶＴを用いて出現状況判定を行ってもよい。
同様に、作業実施時間帯検出部１２３は、右手関節位置画像ＲＪＰＩ及び／又は右手関節速度画像ＲＪＶＩを解析する。そして、作業実施時間帯検出部１２３は、右手が映像に出現した時間帯の集合である右手出現時間帯集合ＲＳを生成する。
このように、作業実施時間帯検出部１２３は、図３に示す出現状況判定を行う。
また、作業実施時間帯検出部１２３は、関節位置時系列データ取得部１２０から関節位置時系列データＨＰＴを取得している場合は、関節位置時系列データＨＰＴを用いて出現状況判定を行ってもよい。また、作業実施時間帯検出部１２３は、関節速度計算部１２１から関節速度時系列データＨＶＴを取得している場合は、関節速度時系列データＨＶＴを用いて出現状況判定を行ってもよい。
【0036】
また、作業実施時間帯検出部１２３は、左手把持道具データＬＴＯ１及び右手把持道具データＲＴＯ１に基づいて、左手及び右手の各々について、時系列に沿って、道具を把持している時間帯、道具を把持していない時間帯を抽出する。また、作業従事者が把持する道具の種類が変化している場合は、作業実施時間帯検出部１２３は、道具の種類ごとに異なる時間帯として抽出する。
以下では、作業実施時間帯検出部１２３の抽出結果を道具把持状況判定結果ＴＳという。
道具把持状況判定結果ＴＳには、作業従事者が道具を把持している時間帯と、作業従事者が道具を把持していない時間帯とが時系列に示される。また、道具把持状況判定結果ＴＳでは、作業従事者が道具を把持している時間帯と、当該時間帯において作業従事者が把持している道具の種類とが対応付けられている。
このように、作業実施時間帯検出部１２３は、図４に示す道具把持状況判定を行う。
以下では、作業実施時間帯検出部１２３の抽出結果を道具把持状況判定結果ＴＳという。
道具把持状況判定結果ＴＳには、作業従事者が道具を把持している時間帯と、作業従事者が道具を把持していない時間帯とが時系列に示される。また、道具把持状況判定結果ＴＳでは、作業従事者が道具を把持している時間帯と、当該時間帯において作業従事者が把持している道具の種類とが対応付けられている。
このように、作業実施時間帯検出部１２３は、図４に示す道具把持状況判定を行う。
【0037】
また、作業実施時間帯検出部１２３は、左手関節位置画像ＬＪＰＩ及び／又は左手関節速度画像ＬＪＶＩを解析し、左手の単位時間あたりの変位量を計算する。
同様に、作業実施時間帯検出部１２３は、右手関節位置画像ＲＪＰＩ及び／又は右手関節速度画像ＲＪＶＩを解析し、右手の単位時間あたりの変位量を計算する。
このように、作業実施時間帯検出部１２３は、図２の変位量判定を行う。
また、作業実施時間帯検出部１２３は、関節位置時系列データ取得部１２０から関節位置時系列データＨＰＴを取得している場合は、関節位置時系列データＨＰＴを用いて変位量判定を行ってもよい。また、作業実施時間帯検出部１２３は、関節速度計算部１２１から関節速度時系列データＨＶＴを取得している場合は、関節速度時系列データＨＶＴを用いて変位量判定を行ってもよい。
同様に、作業実施時間帯検出部１２３は、右手関節位置画像ＲＪＰＩ及び／又は右手関節速度画像ＲＪＶＩを解析し、右手の単位時間あたりの変位量を計算する。
このように、作業実施時間帯検出部１２３は、図２の変位量判定を行う。
また、作業実施時間帯検出部１２３は、関節位置時系列データ取得部１２０から関節位置時系列データＨＰＴを取得している場合は、関節位置時系列データＨＰＴを用いて変位量判定を行ってもよい。また、作業実施時間帯検出部１２３は、関節速度計算部１２１から関節速度時系列データＨＶＴを取得している場合は、関節速度時系列データＨＶＴを用いて変位量判定を行ってもよい。
【0038】
作業実施時間帯検出部１２３は、少なくともいずれかの判定結果に基づき、作業実施時間帯を作業実施時間帯と非作業時間帯とに分割する。
具体的には、作業実施時間帯検出部１２３は、作業実施時間帯の開始時刻と終了時刻を特定し、非作業時間帯の開始時刻と終了時刻を特定して、作業実施時間帯を作業実施時間帯と非作業時間帯とに分割する。
なお、作業実施時間帯検出部１２３は、出現状況判定の判定結果のみを用いて作業従事時間を作業実施時間帯と非作業時間帯とに分割する場合は、道具把持状況判定と変位量判定とを行わなくてもよい。
同様に、作業実施時間帯検出部１２３は、道具把持状況判定の判定結果のみを用いて作業従事時間を作業実施時間帯と非作業時間帯とに分割する場合は、出現状況判定と変位量判定とを行わなくてもよい。
同様に、作業実施時間帯検出部１２３は、変位量判定の判定結果のみを用いて作業従事時間を作業実施時間帯と非作業時間帯とに分割する場合は、出現状況判定と道具把持状況判定とを行わなくてもよい。
具体的には、作業実施時間帯検出部１２３は、作業実施時間帯の開始時刻と終了時刻を特定し、非作業時間帯の開始時刻と終了時刻を特定して、作業実施時間帯を作業実施時間帯と非作業時間帯とに分割する。
なお、作業実施時間帯検出部１２３は、出現状況判定の判定結果のみを用いて作業従事時間を作業実施時間帯と非作業時間帯とに分割する場合は、道具把持状況判定と変位量判定とを行わなくてもよい。
同様に、作業実施時間帯検出部１２３は、道具把持状況判定の判定結果のみを用いて作業従事時間を作業実施時間帯と非作業時間帯とに分割する場合は、出現状況判定と変位量判定とを行わなくてもよい。
同様に、作業実施時間帯検出部１２３は、変位量判定の判定結果のみを用いて作業従事時間を作業実施時間帯と非作業時間帯とに分割する場合は、出現状況判定と道具把持状況判定とを行わなくてもよい。
【0039】
作業実施時間帯検出部１２３は、作業実施時間帯の集合である作業実施時間帯集合ＦＳを要素作業推定部１２４に出力する。作業実施時間帯集合ＦＳには、作業実施時間帯ごとに作業実施時間帯の開始時刻と終了時刻とが示される。
また、作業実施時間帯検出部１２３は、非作業時間帯の集合である非作業時間帯集合ＮＦＳを推定結果処理部１２５に出力する。非作業時間帯集合ＮＦＳには、非作業時間帯ごとに非作業時間帯の開始時刻と終了時刻とが示される。
また、作業実施時間帯検出部１２３は、非作業時間帯の集合である非作業時間帯集合ＮＦＳを推定結果処理部１２５に出力する。非作業時間帯集合ＮＦＳには、非作業時間帯ごとに非作業時間帯の開始時刻と終了時刻とが示される。
【0040】
＊＊要素作業推定部１２４の説明＊＊
要素作業推定部１２４は、作業実施時間帯検出部１２３から作業実施時間帯集合ＦＳを取得する。
また、要素作業推定部１２４は、関節時系列データ画像化部１２２から、左手関節位置画像ＬＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶＩを取得する。
また、要素作業推定部１２４は、要素作業推定モデル保存部１３０から、要素作業推定モデルＭを取得する。要素作業推定モデルＭは図１に示す学習済みモデルに相当する。
また、要素作業推定部１２４は、推定結果保存部１３２から、前処理統計量を取得する。具体的には、要素作業推定部１２４は、前処理統計量として、関節位置輝度平均値ＰＭ、関節位置輝度標準偏差ＰＳ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得する。
要素作業推定部１２４は、作業実施時間帯検出部１２３から作業実施時間帯集合ＦＳを取得する。
また、要素作業推定部１２４は、関節時系列データ画像化部１２２から、左手関節位置画像ＬＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶＩを取得する。
また、要素作業推定部１２４は、要素作業推定モデル保存部１３０から、要素作業推定モデルＭを取得する。要素作業推定モデルＭは図１に示す学習済みモデルに相当する。
また、要素作業推定部１２４は、推定結果保存部１３２から、前処理統計量を取得する。具体的には、要素作業推定部１２４は、前処理統計量として、関節位置輝度平均値ＰＭ、関節位置輝度標準偏差ＰＳ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得する。
【0041】
関節位置輝度平均値ＰＭは、後述する学習装置２００で得られた、学習用の関節位置画像の輝度の平均値である。
関節位置輝度標準偏差ＰＳは、学習装置２００で得られた、学習用の関節位置画像の輝度の標準偏差である。
輝度とは、関節位置画像に含まれる座標軸Ｃごとの座標値である。
学習用の関節位置画像は、学習フェーズで用いられる関節位置画像であり、前述の左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩに相当する。
関節位置輝度標準偏差ＰＳは、学習装置２００で得られた、学習用の関節位置画像の輝度の標準偏差である。
輝度とは、関節位置画像に含まれる座標軸Ｃごとの座標値である。
学習用の関節位置画像は、学習フェーズで用いられる関節位置画像であり、前述の左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩに相当する。
【0042】
関節位置輝度平均値ＰＭには、厳密には、左手関節位置輝度平均値ＬＰＭと右手関節位置輝度平均値ＲＰＭが含まれる。左手関節位置輝度平均値ＬＰＭは、学習用の左手関節位置画像である左手関節位置ラベル画像ｓＬＪＰＩから得られた平均値である。右手関節位置輝度平均値ＲＰＭは、学習用の右手関節位置画像である右手関節位置ラベル画像ｓＲＪＰＩから得られた平均値である。
また、左手関節位置輝度平均値ＬＰＭは、座標軸Ｃごとに求められる。このため、左手関節位置輝度平均値ＬＰＭを厳密に表記すれば、左手関節位置輝度平均値ＬＰＭ（Ｃ）と表記される。
同様に、右手関節位置輝度平均値ＲＰＭも、座標軸Ｃごとに求められる。このため、右手関節位置輝度平均値ＲＰＭを厳密に表記すれば、右手関節位置輝度平均値ＲＰＭ（Ｃ）と表記される。
なお、厳密に表記すべき場合を除き、左手関節位置輝度平均値ＬＰＭと右手関節位置輝度平均値ＲＰＭをまとめて関節位置輝度平均値ＰＭという。
なお、上記のように、左手についての輝度平均値と右手についての輝度平均値を用いるのではなく、左手と右手の両者にわたる輝度平均値を用いるようにしてもよい。以下では、左手についての輝度平均値と右手についての輝度平均値を用いる例を説明するが、以下の説明は左手と右手の両者にわたる輝度平均値を用いる場合にも適用される。
また、左手関節位置輝度平均値ＬＰＭは、座標軸Ｃごとに求められる。このため、左手関節位置輝度平均値ＬＰＭを厳密に表記すれば、左手関節位置輝度平均値ＬＰＭ（Ｃ）と表記される。
同様に、右手関節位置輝度平均値ＲＰＭも、座標軸Ｃごとに求められる。このため、右手関節位置輝度平均値ＲＰＭを厳密に表記すれば、右手関節位置輝度平均値ＲＰＭ（Ｃ）と表記される。
なお、厳密に表記すべき場合を除き、左手関節位置輝度平均値ＬＰＭと右手関節位置輝度平均値ＲＰＭをまとめて関節位置輝度平均値ＰＭという。
なお、上記のように、左手についての輝度平均値と右手についての輝度平均値を用いるのではなく、左手と右手の両者にわたる輝度平均値を用いるようにしてもよい。以下では、左手についての輝度平均値と右手についての輝度平均値を用いる例を説明するが、以下の説明は左手と右手の両者にわたる輝度平均値を用いる場合にも適用される。
【0043】
関節位置輝度標準偏差ＰＳにも、厳密には、左手関節位置輝度標準偏差ＬＰＳと右手関節位置輝度標準偏差ＲＰＳが含まれる。左手関節位置輝度標準偏差ＬＰＳは、学習用の左手関節位置画像である左手関節位置ラベル画像ｓＬＪＰＩから得られた標準偏差である。右手関節位置輝度標準偏差ＲＰＳは、学習用の右手関節位置画像である右手関節位置ラベル画像ｓＲＪＰＩから得られた標準偏差である。
また、左手関節位置輝度標準偏差ＬＰＳも、座標軸Ｃごとに求められる。このため、左手関節位置輝度標準偏差ＬＰＳを厳密に表記すれば、左手関節位置輝度標準偏差ＬＰＳ（Ｃ）と表記される。
同様に、右手関節位置輝度標準偏差ＲＰＳも、座標軸Ｃごとに求められる。このため、右手関節位置輝度標準偏差ＲＰＳを厳密に表記すれば、右手関節位置輝度標準偏差ＲＰＳ（Ｃ）と表記される。
なお、厳密に表記すべき場合を除き、左手関節位置輝度標準偏差ＬＰＳと右手関節位置輝度標準偏差ＲＰＳをまとめて関節位置輝度標準偏差ＰＳという。
なお、上記のように、左手についての輝度標準偏差と右手についての輝度標準偏差を用いるのではなく、左手と右手の両者にわたる輝度標準偏差を用いるようにしてもよい。以下では、左手についての輝度標準偏差と右手についての輝度標準偏差を用いる例を説明するが、以下の説明は左手と右手の両者にわたる輝度標準偏差を用いる場合にも適用される。
また、左手関節位置輝度標準偏差ＬＰＳも、座標軸Ｃごとに求められる。このため、左手関節位置輝度標準偏差ＬＰＳを厳密に表記すれば、左手関節位置輝度標準偏差ＬＰＳ（Ｃ）と表記される。
同様に、右手関節位置輝度標準偏差ＲＰＳも、座標軸Ｃごとに求められる。このため、右手関節位置輝度標準偏差ＲＰＳを厳密に表記すれば、右手関節位置輝度標準偏差ＲＰＳ（Ｃ）と表記される。
なお、厳密に表記すべき場合を除き、左手関節位置輝度標準偏差ＬＰＳと右手関節位置輝度標準偏差ＲＰＳをまとめて関節位置輝度標準偏差ＰＳという。
なお、上記のように、左手についての輝度標準偏差と右手についての輝度標準偏差を用いるのではなく、左手と右手の両者にわたる輝度標準偏差を用いるようにしてもよい。以下では、左手についての輝度標準偏差と右手についての輝度標準偏差を用いる例を説明するが、以下の説明は左手と右手の両者にわたる輝度標準偏差を用いる場合にも適用される。
【0044】
関節速度輝度平均値ＶＭは、学習装置２００で得られた、学習用の関節速度画像の輝度の平均値である。
関節速度輝度標準偏差ＶＳは、学習装置２００で得られた、学習用の関節速度画像の輝度の標準偏差である。
学習用の関節速度画像は、学習フェーズで用いられる関節速度画像であり、前述の左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩに相当する。
関節速度輝度標準偏差ＶＳは、学習装置２００で得られた、学習用の関節速度画像の輝度の標準偏差である。
学習用の関節速度画像は、学習フェーズで用いられる関節速度画像であり、前述の左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩに相当する。
【0045】
関節速度輝度平均値ＶＭにも、厳密には、左手関節速度輝度平均値ＬＶＭと右手関節速度輝度平均値ＲＶＭが含まれる。左手関節速度輝度平均値ＬＶＭは、学習用の左手関節速度画像である左手関節速度ラベル画像ｓＬＪＶＩから得られた平均値である。右手関節速度輝度平均値ＲＶＭは、学習用の右手関節速度画像である右手関節速度ラベル画像ｓＲＪＶＩから得られた平均値である。
また、左手関節速度輝度平均値ＬＶＭも、座標軸Ｃごとに求められる。このため、左手関節速度輝度平均値ＬＶＭを厳密に表記すれば、左手関節速度輝度平均値ＬＶＭ（Ｃ）と表記される。
同様に、右手関節速度輝度平均値ＲＶＭも、座標軸Ｃごとに求められる。このため、右手関節速度輝度平均値ＲＶＭを厳密に表記すれば、右手関節速度輝度平均値ＲＶＭ（Ｃ）と表記される。
なお、厳密に表記すべき場合を除き、左手関節速度輝度平均値ＬＶＭと右手関節速度輝度平均値ＲＶＭをまとめて関節速度輝度平均値ＶＭという。
なお、上記のように、左手についての輝度平均値と右手についての輝度平均値を用いるのではなく、左手と右手の両者にわたる輝度平均値を用いるようにしてもよい。以下では、左手についての輝度平均値と右手についての輝度平均値を用いる例を説明するが、以下の説明は左手と右手の両者にわたる輝度平均値を用いる場合にも適用される。
また、左手関節速度輝度平均値ＬＶＭも、座標軸Ｃごとに求められる。このため、左手関節速度輝度平均値ＬＶＭを厳密に表記すれば、左手関節速度輝度平均値ＬＶＭ（Ｃ）と表記される。
同様に、右手関節速度輝度平均値ＲＶＭも、座標軸Ｃごとに求められる。このため、右手関節速度輝度平均値ＲＶＭを厳密に表記すれば、右手関節速度輝度平均値ＲＶＭ（Ｃ）と表記される。
なお、厳密に表記すべき場合を除き、左手関節速度輝度平均値ＬＶＭと右手関節速度輝度平均値ＲＶＭをまとめて関節速度輝度平均値ＶＭという。
なお、上記のように、左手についての輝度平均値と右手についての輝度平均値を用いるのではなく、左手と右手の両者にわたる輝度平均値を用いるようにしてもよい。以下では、左手についての輝度平均値と右手についての輝度平均値を用いる例を説明するが、以下の説明は左手と右手の両者にわたる輝度平均値を用いる場合にも適用される。
【0046】
関節速度輝度標準偏差ＶＳにも、厳密には、左手関節速度輝度標準偏差ＬＶＳと右手関節速度輝度標準偏差ＲＶＳが含まれる。左手関節速度輝度標準偏差ＬＶＳは、学習用の左手関節速度画像である左手関節速度ラベル画像ｓＬＪＶＩから得られた標準偏差である。右手関節速度輝度標準偏差ＲＶＳは、学習用の右手関節速度画像である右手関節速度ラベル画像ｓＲＪＶＩから得られた標準偏差である。
また、左手関節速度輝度標準偏差ＬＶＳも、座標軸Ｃごとに求められる。このため、左手関節速度輝度標準偏差ＬＶＳを厳密に表記すれば、左手関節速度輝度標準偏差ＬＶＳ（Ｃ）と表記される。
同様に、右手関節速度輝度標準偏差ＲＶＳも、座標軸Ｃごとに求められる。このため、右手関節速度輝度標準偏差ＲＶＳを厳密に表記すれば、右手関節速度輝度標準偏差ＲＶＳ（Ｃ）と表記される。
なお、厳密に表記すべき場合を除き、左手関節速度輝度標準偏差ＬＶＳと右手関節速度輝度標準偏差ＲＶＳをまとめて関節速度輝度標準偏差ＶＳという。
なお、上記のように、左手についての輝度標準偏差と右手についての輝度標準偏差を用いるのではなく、左手と右手の両者にわたる輝度標準偏差を用いるようにしてもよい。以下では、左手についての輝度標準偏差と右手についての輝度標準偏差を用いる例を説明するが、以下の説明は左手と右手の両者にわたる輝度標準偏差を用いる場合にも適用される。
また、左手関節速度輝度標準偏差ＬＶＳも、座標軸Ｃごとに求められる。このため、左手関節速度輝度標準偏差ＬＶＳを厳密に表記すれば、左手関節速度輝度標準偏差ＬＶＳ（Ｃ）と表記される。
同様に、右手関節速度輝度標準偏差ＲＶＳも、座標軸Ｃごとに求められる。このため、右手関節速度輝度標準偏差ＲＶＳを厳密に表記すれば、右手関節速度輝度標準偏差ＲＶＳ（Ｃ）と表記される。
なお、厳密に表記すべき場合を除き、左手関節速度輝度標準偏差ＬＶＳと右手関節速度輝度標準偏差ＲＶＳをまとめて関節速度輝度標準偏差ＶＳという。
なお、上記のように、左手についての輝度標準偏差と右手についての輝度標準偏差を用いるのではなく、左手と右手の両者にわたる輝度標準偏差を用いるようにしてもよい。以下では、左手についての輝度標準偏差と右手についての輝度標準偏差を用いる例を説明するが、以下の説明は左手と右手の両者にわたる輝度標準偏差を用いる場合にも適用される。
【0047】
要素作業推定部１２４は、作業実施時間帯集合ＦＳに含まれる作業実施時間帯ごとに、左手関節位置画像ＬＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶＩの各々から、作業実施時間帯に撮像された部分映像を構成する部分画像を抽出する。つまり、要素作業推定部１２４は、左手関節位置画像ＬＪＰＩから、作業実施時間帯に撮像された部分映像を構成する画像を部分画像として抽出する。要素作業推定部１２４は、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶについても、同様の部分画像を抽出する。
以下では、左手関節位置画像ＬＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶＩの各々から抽出された部分画像の集合を部分画像集合ＩＳという。
以下では、左手関節位置画像ＬＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶＩの各々から抽出された部分画像の集合を部分画像集合ＩＳという。
【0048】
そして、要素作業推定部１２４は、作業時間帯ごとに、部分画像集合ＩＳに含まれる各部分画像を、一定の幅及び高さをもつ画像にリサイズする。
更に、要素作業推定部１２４は、前処理統計量を用いてリサイズ後の各部分画像に含まれる画素値を座標軸Ｃごとに標準化する。なお、リサイズと標準化の順序は逆でもよい。
具体的には、要素作業推定部１２４は、左手関節位置画像ＬＪＰＩから抽出されたリサイズ後の部分画像の画素値を座標軸Ｃごとに関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳを用いて標準化する。
また、要素作業推定部１２４は、右手関節位置画像ＲＪＰＩから抽出されたリサイズ後の部分画像の画素値を座標軸Ｃごとに関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳを用いて標準化する。
より具体的には、要素作業推定部１２４は、左手関節位置画像ＬＪＰＩから抽出されたリサイズ後の部分画像の画素値を、左手関節位置輝度平均値ＬＰＭ（Ｃ）と左手関節位置輝度標準偏差ＬＰＳ（Ｃ）とを用いて標準化する。
また、要素作業推定部１２４は、右手関節位置画像ＲＪＰＩから抽出されたリサイズ後の部分画像の画素値を、右手関節位置輝度平均値ＲＰＭ（Ｃ）と右手関節位置輝度標準偏差ＲＰＳ（Ｃ）とを用いて標準化する。
更に、要素作業推定部１２４は、前処理統計量を用いてリサイズ後の各部分画像に含まれる画素値を座標軸Ｃごとに標準化する。なお、リサイズと標準化の順序は逆でもよい。
具体的には、要素作業推定部１２４は、左手関節位置画像ＬＪＰＩから抽出されたリサイズ後の部分画像の画素値を座標軸Ｃごとに関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳを用いて標準化する。
また、要素作業推定部１２４は、右手関節位置画像ＲＪＰＩから抽出されたリサイズ後の部分画像の画素値を座標軸Ｃごとに関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳを用いて標準化する。
より具体的には、要素作業推定部１２４は、左手関節位置画像ＬＪＰＩから抽出されたリサイズ後の部分画像の画素値を、左手関節位置輝度平均値ＬＰＭ（Ｃ）と左手関節位置輝度標準偏差ＬＰＳ（Ｃ）とを用いて標準化する。
また、要素作業推定部１２４は、右手関節位置画像ＲＪＰＩから抽出されたリサイズ後の部分画像の画素値を、右手関節位置輝度平均値ＲＰＭ（Ｃ）と右手関節位置輝度標準偏差ＲＰＳ（Ｃ）とを用いて標準化する。
【0049】
更に、要素作業推定部１２４は、左手関節速度画像ＬＪＶＩから抽出されたリサイズ後の部分画像の画素値を座標軸Ｃごとに関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを用いて標準化する。
また、要素作業推定部１２４は、右手関節速度画像ＲＪＶＩから抽出されたリサイズ後の部分画像の画素値を座標軸Ｃごとに関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを用いて標準化する。
より具体的には、要素作業推定部１２４は、左手関節速度画像ＬＪＶＩから抽出されたリサイズ後の部分画像の画素値を、左手関節速度輝度平均値ＬＶＭ（Ｃ）と左手関節速度輝度標準偏差ＬＶＳ（Ｃ）とを用いて標準化する。
また、要素作業推定部１２４は、右手関節速度画像ＲＪＶＩから抽出されたリサイズ後の部分画像の画素を、右手関節速度輝度平均値ＲＶＭ（Ｃ）と右手関節速度輝度標準偏差ＲＶＳ（Ｃ）とを用いて標準化する。
また、要素作業推定部１２４は、右手関節速度画像ＲＪＶＩから抽出されたリサイズ後の部分画像の画素値を座標軸Ｃごとに関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを用いて標準化する。
より具体的には、要素作業推定部１２４は、左手関節速度画像ＬＪＶＩから抽出されたリサイズ後の部分画像の画素値を、左手関節速度輝度平均値ＬＶＭ（Ｃ）と左手関節速度輝度標準偏差ＬＶＳ（Ｃ）とを用いて標準化する。
また、要素作業推定部１２４は、右手関節速度画像ＲＪＶＩから抽出されたリサイズ後の部分画像の画素を、右手関節速度輝度平均値ＲＶＭ（Ｃ）と右手関節速度輝度標準偏差ＲＶＳ（Ｃ）とを用いて標準化する。
【0050】
そして、要素作業推定部１２４は、リサイズ及び標準化の後の各部分画像を、要素作業推定モデルＭに入力する。
そして、要素作業推定部１２４は、要素作業推定モデルＭから、推定結果ｑｓを取得する。推定結果ｑｓには、作業時間帯と、当該作業時間帯に作業従事者が実施していると推定される要素作業とが対応付けて示される。
要素作業推定部１２４は、以上の手順を、作業実施時間帯集合ＦＳに含まれる全ての作業実施時間帯に対して行って、各作業時間帯の推定結果ｑｓを取得する。
そして、要素作業推定部１２４は、各作業時間帯の推定結果ｑｓの集合である推定結果集合ＱＳを推定結果処理部１２５に出力する。
そして、要素作業推定部１２４は、要素作業推定モデルＭから、推定結果ｑｓを取得する。推定結果ｑｓには、作業時間帯と、当該作業時間帯に作業従事者が実施していると推定される要素作業とが対応付けて示される。
要素作業推定部１２４は、以上の手順を、作業実施時間帯集合ＦＳに含まれる全ての作業実施時間帯に対して行って、各作業時間帯の推定結果ｑｓを取得する。
そして、要素作業推定部１２４は、各作業時間帯の推定結果ｑｓの集合である推定結果集合ＱＳを推定結果処理部１２５に出力する。
【0051】
＊＊推定結果処理部１２５の説明＊＊
推定結果処理部１２５は、要素作業推定部１２４から推定結果集合ＱＳを取得する。
また、推定結果処理部１２５は、作業実施時間帯検出部１２３から非作業時間帯集合ＮＦＳを取得する。
推定結果処理部１２５は、推定結果集合ＱＳに含まれる複数の推定結果ｑｓを、それぞれの推定結果ｑｓが対応する作業実施時間帯の昇順にソートする。
また、推定結果処理部１２５は、非作業時間帯集合ＮＦＳに含まれる非作業時間帯の各々に、非作業時間帯を表すラベルを付与する。更に、推定結果処理部１２５は、ラベル付与後の各非作業時間帯をソート後の推定結果集合ＱＳの該当する時間の位置に挿入する。
ラベル付与後の各非作業時間帯とソート後の推定結果集合ＱＳを、最終推定結果ＡＳとして推定結果保存部１３２に出力する。
推定結果処理部１２５は、要素作業推定部１２４から推定結果集合ＱＳを取得する。
また、推定結果処理部１２５は、作業実施時間帯検出部１２３から非作業時間帯集合ＮＦＳを取得する。
推定結果処理部１２５は、推定結果集合ＱＳに含まれる複数の推定結果ｑｓを、それぞれの推定結果ｑｓが対応する作業実施時間帯の昇順にソートする。
また、推定結果処理部１２５は、非作業時間帯集合ＮＦＳに含まれる非作業時間帯の各々に、非作業時間帯を表すラベルを付与する。更に、推定結果処理部１２５は、ラベル付与後の各非作業時間帯をソート後の推定結果集合ＱＳの該当する時間の位置に挿入する。
ラベル付与後の各非作業時間帯とソート後の推定結果集合ＱＳを、最終推定結果ＡＳとして推定結果保存部１３２に出力する。
【0052】
図２１は、以上の作業実施時間帯検出部１２３、要素作業推定部１２４及び推定結果処理部１２５の動作の概要を示す。
【0053】
＊＊要素作業推定モデル保存部１３０の説明＊＊
要素作業推定モデル保存部１３０は、要素作業推定モデルＭを保存する。
要素作業推定モデル保存部１３０は、要素作業推定モデルＭを保存する。
【0054】
＊＊前処理統計量保存部１３１の説明＊＊
前処理統計量保存部１３１は、前処理統計量（関節位置輝度平均値ＰＭ、関節位置輝度標準偏差ＰＳ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳ）を保存する。
前処理統計量保存部１３１は、前処理統計量（関節位置輝度平均値ＰＭ、関節位置輝度標準偏差ＰＳ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳ）を保存する。
【0055】
＊＊推定結果保存部１３２の説明＊＊
推定結果保存部１３２は、最終推定結果ＡＳを保存する。
推定結果保存部１３２は、最終推定結果ＡＳを保存する。
【0056】
＊＊作業実施時間帯検出部１２３の内部構成例と要素作業推定部１２４の内部構成例の説明＊＊
図８は、作業実施時間帯検出部１２３の内部構成例と要素作業推定部１２４の内部構成例を示す。
図８を用いて、作業実施時間帯検出部１２３の内部構成例と要素作業推定部１２４の内部構成例を説明する。
なお、図８では、推定装置１００の機能構成要素のうち、作業実施時間帯検出部１２３の内部構成例と要素作業推定部１２４の内部構成例を説明するのに必要な機能構成要素のみが図示されている。
図８は、作業実施時間帯検出部１２３の内部構成例と要素作業推定部１２４の内部構成例を示す。
図８を用いて、作業実施時間帯検出部１２３の内部構成例と要素作業推定部１２４の内部構成例を説明する。
なお、図８では、推定装置１００の機能構成要素のうち、作業実施時間帯検出部１２３の内部構成例と要素作業推定部１２４の内部構成例を説明するのに必要な機能構成要素のみが図示されている。
【0057】
＊＊作業実施時間帯検出部１２３の内部構成例の説明＊＊
作業実施時間帯検出部１２３は、内部構成として、出現状況判定部１２３１、道具把持状況判定部１２３２、変位量判定部１２３３及び作業実施時間帯判定部１２３４を有する。
作業実施時間帯検出部１２３は、内部構成として、出現状況判定部１２３１、道具把持状況判定部１２３２、変位量判定部１２３３及び作業実施時間帯判定部１２３４を有する。
【0058】
＊＊出現状況判定部１２３１の説明＊＊
出現状況判定部１２３１は、出現状況判定を行う。
出現状況判定部１２３１は、関節時系列データ画像化部１２２から、左手関節位置画像ＬＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶＩを取得する。
そして、出現状況判定部１２３１は、左手関節位置画像ＬＪＰＩ及び／又は左手関節速度画像ＬＪＶＩを解析し、左手出現時間帯集合ＬＳを生成する。同様に、出現状況判定部１２３１は、右手関節位置画像ＲＪＰＩ及び／又は右手関節速度画像ＲＪＶＩを解析し、右手出現時間帯集合ＲＳを生成する。前述のように、左手出現時間帯集合ＬＳは、左手が映像に出現した時間帯の集合である。また、右手出現時間帯集合ＲＳは、右手が映像に出現した時間帯の集合である。左手出現時間帯集合ＬＳと右手出現時間帯集合ＲＳは、図４に出現状況判定の判定結果として示す時系列データである。
出現状況判定部１２３１は、左手出現時間帯集合ＬＳと右手出現時間帯集合ＲＳを作業実施時間帯判定部１２３４に出力する。
なお、出現状況判定部１２３１は、前述のように、関節位置時系列データＨＰＴ及び／又は関節速度時系列データＨＶＴを用いて出現状況判定を行ってもよい。
図８では、出現状況判定部１２３１への関節位置時系列データＨＰＴ及び／又は関節速度時系列データＨＶＴの入力の図示は省略している。
出現状況判定部１２３１は、出現状況判定を行う。
出現状況判定部１２３１は、関節時系列データ画像化部１２２から、左手関節位置画像ＬＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶＩを取得する。
そして、出現状況判定部１２３１は、左手関節位置画像ＬＪＰＩ及び／又は左手関節速度画像ＬＪＶＩを解析し、左手出現時間帯集合ＬＳを生成する。同様に、出現状況判定部１２３１は、右手関節位置画像ＲＪＰＩ及び／又は右手関節速度画像ＲＪＶＩを解析し、右手出現時間帯集合ＲＳを生成する。前述のように、左手出現時間帯集合ＬＳは、左手が映像に出現した時間帯の集合である。また、右手出現時間帯集合ＲＳは、右手が映像に出現した時間帯の集合である。左手出現時間帯集合ＬＳと右手出現時間帯集合ＲＳは、図４に出現状況判定の判定結果として示す時系列データである。
出現状況判定部１２３１は、左手出現時間帯集合ＬＳと右手出現時間帯集合ＲＳを作業実施時間帯判定部１２３４に出力する。
なお、出現状況判定部１２３１は、前述のように、関節位置時系列データＨＰＴ及び／又は関節速度時系列データＨＶＴを用いて出現状況判定を行ってもよい。
図８では、出現状況判定部１２３１への関節位置時系列データＨＰＴ及び／又は関節速度時系列データＨＶＴの入力の図示は省略している。
【0059】
＊＊道具把持状況判定部１２３２の説明＊＊
道具把持状況判定部１２３２は、道具把持状況判定を行う。
道具把持状況判定部１２３２は、把持道具時系列データ生成部１２６から左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１とを取得する。
そして、道具把持状況判定部１２３２は、左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１とに基づいて、左手及び右手の各々について、道具を把持している時間帯、道具を把持していない時間帯を時系列に抽出する。また、作業従事者が把持する道具の種類が変化している場合は、道具把持状況判定部１２３２は、道具を把持している時間帯を、道具の種類ごとに異なる時間帯として扱う。
道具把持状況判定部１２３２は、左手についての抽出結果が示される左手道具把持状況判定結果ＬＴＳを作業実施時間帯判定部１２３４に出力する。また、道具把持状況判定部１２３２は、右手についての抽出結果が示される右手道具把持状況判定結果ＲＴＳを作業実施時間帯判定部１２３４に出力する。左手道具把持状況判定結果ＬＴＳと右手道具把持状況判定結果ＲＴＳは、図４に道具把持状況判定の判定結果として示す時系列データである。
道具把持状況判定部１２３２は、道具把持状況判定を行う。
道具把持状況判定部１２３２は、把持道具時系列データ生成部１２６から左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１とを取得する。
そして、道具把持状況判定部１２３２は、左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１とに基づいて、左手及び右手の各々について、道具を把持している時間帯、道具を把持していない時間帯を時系列に抽出する。また、作業従事者が把持する道具の種類が変化している場合は、道具把持状況判定部１２３２は、道具を把持している時間帯を、道具の種類ごとに異なる時間帯として扱う。
道具把持状況判定部１２３２は、左手についての抽出結果が示される左手道具把持状況判定結果ＬＴＳを作業実施時間帯判定部１２３４に出力する。また、道具把持状況判定部１２３２は、右手についての抽出結果が示される右手道具把持状況判定結果ＲＴＳを作業実施時間帯判定部１２３４に出力する。左手道具把持状況判定結果ＬＴＳと右手道具把持状況判定結果ＲＴＳは、図４に道具把持状況判定の判定結果として示す時系列データである。
【0060】
＊＊変位量判定部１２３３の説明＊＊
変位量判定部１２３３は、変位量判定を行う。
変位量判定部１２３３は、関節時系列データ画像化部１２２から、左手関節位置画像ＬＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶＩを取得する。
そして、変位量判定部１２３３は、左手関節位置画像ＬＪＰＩ及び／又は左手関節速度画像ＬＪＶＩを解析し、左手の単位時間あたりの変位量を計算する。例えば、変位量判定部１２３３は、左手の手首の関節の単位時間あたりの変位量を計算する。同様に、変位量判定部１２３３は、右手関節位置画像ＲＪＰＩ及び／又は右手関節速度画像ＲＪＶＩを解析し、右手の単位時間あたりの変位量を計算する。例えば、変位量判定部１２３３は、右手の手首の関節の単位時間あたりの変位量を計算する。
そして、変位量判定部１２３３は、左手の単位時間あたりの変位量を時系列に示す左手変位量データＬＺＳを作業実施時間帯判定部１２３４に出力する。また、変位量判定部１２３３は、右手の単位時間あたりの変位量を時系列に示す右手変位量データＲＺＳを作業実施時間帯判定部１２３４に出力する。左手変位量データＬＺＳと右手変位量データＲＺＳは、図２に変位量判定の判定結果として示す時系列データである。
なお、変位量判定部１２３３は、前述のように、関節位置時系列データＨＰＴ及び／又は関節速度時系列データＨＶＴを用いて変位量判定を行ってもよい。
図８では、変位量判定部１２３３への関節位置時系列データＨＰＴ及び／又は関節速度時系列データＨＶＴの入力の図示は省略している。
変位量判定部１２３３は、変位量判定を行う。
変位量判定部１２３３は、関節時系列データ画像化部１２２から、左手関節位置画像ＬＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶＩを取得する。
そして、変位量判定部１２３３は、左手関節位置画像ＬＪＰＩ及び／又は左手関節速度画像ＬＪＶＩを解析し、左手の単位時間あたりの変位量を計算する。例えば、変位量判定部１２３３は、左手の手首の関節の単位時間あたりの変位量を計算する。同様に、変位量判定部１２３３は、右手関節位置画像ＲＪＰＩ及び／又は右手関節速度画像ＲＪＶＩを解析し、右手の単位時間あたりの変位量を計算する。例えば、変位量判定部１２３３は、右手の手首の関節の単位時間あたりの変位量を計算する。
そして、変位量判定部１２３３は、左手の単位時間あたりの変位量を時系列に示す左手変位量データＬＺＳを作業実施時間帯判定部１２３４に出力する。また、変位量判定部１２３３は、右手の単位時間あたりの変位量を時系列に示す右手変位量データＲＺＳを作業実施時間帯判定部１２３４に出力する。左手変位量データＬＺＳと右手変位量データＲＺＳは、図２に変位量判定の判定結果として示す時系列データである。
なお、変位量判定部１２３３は、前述のように、関節位置時系列データＨＰＴ及び／又は関節速度時系列データＨＶＴを用いて変位量判定を行ってもよい。
図８では、変位量判定部１２３３への関節位置時系列データＨＰＴ及び／又は関節速度時系列データＨＶＴの入力の図示は省略している。
【0061】
＊＊作業実施時間帯判定部１２３４の説明＊＊
作業実施時間帯判定部１２３４は、出現状況判定部１２３１から、左手出現時間帯集合ＬＳと右手出現時間帯集合ＲＳとを取得する。
また、作業実施時間帯判定部１２３４は、道具把持状況判定部１２３２から、左手道具把持状況判定結果ＬＴＳと右手道具把持状況判定結果ＲＴＳとを取得する。
また、作業実施時間帯判定部１２３４は、変位量判定部１２３３から、左手変位量データＬＺＳと右手変位量データＲＺＳとを取得する。
そして、作業実施時間帯判定部１２３４は、これらに基づいて、作業従事時間を作業実施時間帯と非作業時間帯とに分割する。
作業実施時間帯判定部１２３４は、出現状況判定部１２３１から、左手出現時間帯集合ＬＳと右手出現時間帯集合ＲＳとを取得する。
また、作業実施時間帯判定部１２３４は、道具把持状況判定部１２３２から、左手道具把持状況判定結果ＬＴＳと右手道具把持状況判定結果ＲＴＳとを取得する。
また、作業実施時間帯判定部１２３４は、変位量判定部１２３３から、左手変位量データＬＺＳと右手変位量データＲＺＳとを取得する。
そして、作業実施時間帯判定部１２３４は、これらに基づいて、作業従事時間を作業実施時間帯と非作業時間帯とに分割する。
【0062】
例えば、作業実施時間帯判定部１２３４は、左手及び右手の少なくともいずれかの変位量が閾値以上であれば、左手及び右手の少なくともいずれかが道具を把持しているか否か及び左手及び右手の少なくともいずれかが映像に出現しているか否かに関わらず、当該時間帯を非作業時間帯に指定する。
【0063】
また、作業実施時間帯判定部１２３４は、例えば、左手及び右手の変位量がともに閾値未満の場合は、左手及び右手の少なくともいずれかが映像に出現していれば、左手及び右手の少なくともいずれかが道具を把持しているか否かに関わらず、当該時間帯を作業実施時間帯に指定する。一方、左手及び右手の変位量がともに閾値未満の場合でも、左手及び右手のどちらも映像に出現していなければ、時間分割部１１は、左手及び右手の少なくともいずれかが道具を把持しているか否かに関わらず、当該時間帯を非作業時間帯に指定する。
この場合に、作業実施時間帯判定部１２３４は、左手と右手とを別々に扱ってもよい。具体的には、作業実施時間帯判定部１２３４は、以下の（Ａ１）～（Ａ３）を別々の作業実施時間帯として扱う。また、作業実施時間帯判定部１２３４は、出現状況判定のみで作業従事時間を作業実施時間帯と非作業時間帯とに分割する場合も、（Ａ１）～（Ａ３）を別々の作業実施時間帯として扱う。
（Ａ１）左手は出現しているが、右手は出現していない時間帯
（Ａ２）左手は出現していないが、右手は出現している時間帯
（Ａ３）左手も右手も出現している時間帯
この場合に、作業実施時間帯判定部１２３４は、左手と右手とを別々に扱ってもよい。具体的には、作業実施時間帯判定部１２３４は、以下の（Ａ１）～（Ａ３）を別々の作業実施時間帯として扱う。また、作業実施時間帯判定部１２３４は、出現状況判定のみで作業従事時間を作業実施時間帯と非作業時間帯とに分割する場合も、（Ａ１）～（Ａ３）を別々の作業実施時間帯として扱う。
（Ａ１）左手は出現しているが、右手は出現していない時間帯
（Ａ２）左手は出現していないが、右手は出現している時間帯
（Ａ３）左手も右手も出現している時間帯
【0064】
また、作業実施時間帯判定部１２３４は、例えば、左手及び右手の変位量に関わらず、左手及び右手の少なくともいずれかが道具を把持している場合は、当該時間帯を作業実施時間帯に指定する。
この場合にも、作業実施時間帯判定部１２３４は、左手と右手とを別々に扱ってもよい。具体的には、作業実施時間帯判定部１２３４は、以下の（Ｂ１）～（Ｂ３）を別々の作業実施時間帯として扱う。また、作業実施時間帯判定部１２３４は、道具把持状況判定のみで作業従事時間を作業実施時間帯と非作業時間帯とに分割する場合も、（Ｂ１）～（Ｂ３）を別々の作業実施時間帯として扱う。
（Ｂ１）左手は道具を把持しているが、右手は道具を把持していない時間帯
（Ｂ２）左手は道具を把持していないが、右手は道具を把持している時間帯
（Ｂ３）左手も右手も道具を把持している時間帯
また、作業実施時間帯判定部１２３４は、上記の（Ｂ３）を細分化して、以下の（Ｂ３－１）と（Ｂ３－２）を別々の作業実施時間帯として扱ってもよい。
（Ｂ３－１）左手も右手も同じ道具を把持している時間帯
（Ｂ３－２）左手と右手とがそれぞれ異なる道具を把持している時間帯
この場合にも、作業実施時間帯判定部１２３４は、左手と右手とを別々に扱ってもよい。具体的には、作業実施時間帯判定部１２３４は、以下の（Ｂ１）～（Ｂ３）を別々の作業実施時間帯として扱う。また、作業実施時間帯判定部１２３４は、道具把持状況判定のみで作業従事時間を作業実施時間帯と非作業時間帯とに分割する場合も、（Ｂ１）～（Ｂ３）を別々の作業実施時間帯として扱う。
（Ｂ１）左手は道具を把持しているが、右手は道具を把持していない時間帯
（Ｂ２）左手は道具を把持していないが、右手は道具を把持している時間帯
（Ｂ３）左手も右手も道具を把持している時間帯
また、作業実施時間帯判定部１２３４は、上記の（Ｂ３）を細分化して、以下の（Ｂ３－１）と（Ｂ３－２）を別々の作業実施時間帯として扱ってもよい。
（Ｂ３－１）左手も右手も同じ道具を把持している時間帯
（Ｂ３－２）左手と右手とがそれぞれ異なる道具を把持している時間帯
【0065】
作業実施時間帯判定部１２３４は、前述のように、変位量が閾値未満の時間帯を作業実施時間帯に指定する。
作業実施時間帯判定部１２３４は、例えば、以下のように変位量と閾値との比較を行ってもよい。
作業実施時間帯判定部１２３４は、左手出現時間帯集合ＬＳを作業実施時間帯の候補の集合とみなす。また、作業実施時間帯判定部１２３４は、左手変位量データＬＺＳにおける各候補のもつ時間帯の部分的な変位量の時系列データを抽出する。この部分的な変位量の時系列データを左手部分変位量時系列データ集合ｓＬＺＳと呼ぶ。また、左手部分変位量時系列データ集合ｓＬＺＳのｉ番目のデータをｓＬＺＳ（ｉ）と呼ぶ。
作業実施時間帯判定部１２３４は、ｓＬＺＳ（ｉ）を一定の時間幅で分割する。分割されたｓＬＺＳ（ｉ）のｋ番目の部分変位量データを短時間部分変位量データｓＬＺＳ（ｉ，ｋ）と呼ぶ。
作業実施時間帯判定部１２３４は、短時間部分変位量データｓＬＺＳ（ｉ，ｋ）が有する変位量の統計量を計算する。統計量は例えば、平均値である。
当該統計量が閾値以上であれば、作業実施時間帯判定部１２３４は、短時間部分変位量データｓＬＺＳ（ｉ，ｋ）に該当する時間帯を非作業実施時間帯と判定する。一方、当該統計量が閾値未満であれば、作業実施時間帯判定部１２３４は、短時間部分変位量データｓＬＺＳ（ｉ，ｋ）に該当する時間帯を作業実施時間帯と判定する。
作業実施時間帯判定部１２３４は、右手出現時間帯ＲＳと右手道具把持状況判定結果ＲＴＳについても同様の処理を行う。
また、左手と右手が同時に出現しており、片方が道具を把持し、もう片方が道具を把持していない場合は、作業実施時間帯判定部１２３４は、道具を把持している方の手の変位量に基づいて作業実施時間帯か否かを判定してもよい。または、作業実施時間帯判定部１２３４は、道具を把持している方の手について本段落に記載の処理によって得られる変位量の統計量と閾値との比較に基づいて作業実施時間帯か否かを判定してもよい。
両方の手が道具を把持する場合は、作業実施時間帯判定部１２３４は、左手の変位量と右手の変位量との比較、または本段落に記載の処理によって得られる左手の変位量の統計量と右手の変位量の統計量との比較を行う。そして、作業実施時間帯判定部１２３４は、当該変位量または当該変位量の統計量の小さい方を閾値と比較して作業実施時間帯か否かを判定してもよい。
作業実施時間帯判定部１２３４は、例えば、以下のように変位量と閾値との比較を行ってもよい。
作業実施時間帯判定部１２３４は、左手出現時間帯集合ＬＳを作業実施時間帯の候補の集合とみなす。また、作業実施時間帯判定部１２３４は、左手変位量データＬＺＳにおける各候補のもつ時間帯の部分的な変位量の時系列データを抽出する。この部分的な変位量の時系列データを左手部分変位量時系列データ集合ｓＬＺＳと呼ぶ。また、左手部分変位量時系列データ集合ｓＬＺＳのｉ番目のデータをｓＬＺＳ（ｉ）と呼ぶ。
作業実施時間帯判定部１２３４は、ｓＬＺＳ（ｉ）を一定の時間幅で分割する。分割されたｓＬＺＳ（ｉ）のｋ番目の部分変位量データを短時間部分変位量データｓＬＺＳ（ｉ，ｋ）と呼ぶ。
作業実施時間帯判定部１２３４は、短時間部分変位量データｓＬＺＳ（ｉ，ｋ）が有する変位量の統計量を計算する。統計量は例えば、平均値である。
当該統計量が閾値以上であれば、作業実施時間帯判定部１２３４は、短時間部分変位量データｓＬＺＳ（ｉ，ｋ）に該当する時間帯を非作業実施時間帯と判定する。一方、当該統計量が閾値未満であれば、作業実施時間帯判定部１２３４は、短時間部分変位量データｓＬＺＳ（ｉ，ｋ）に該当する時間帯を作業実施時間帯と判定する。
作業実施時間帯判定部１２３４は、右手出現時間帯ＲＳと右手道具把持状況判定結果ＲＴＳについても同様の処理を行う。
また、左手と右手が同時に出現しており、片方が道具を把持し、もう片方が道具を把持していない場合は、作業実施時間帯判定部１２３４は、道具を把持している方の手の変位量に基づいて作業実施時間帯か否かを判定してもよい。または、作業実施時間帯判定部１２３４は、道具を把持している方の手について本段落に記載の処理によって得られる変位量の統計量と閾値との比較に基づいて作業実施時間帯か否かを判定してもよい。
両方の手が道具を把持する場合は、作業実施時間帯判定部１２３４は、左手の変位量と右手の変位量との比較、または本段落に記載の処理によって得られる左手の変位量の統計量と右手の変位量の統計量との比較を行う。そして、作業実施時間帯判定部１２３４は、当該変位量または当該変位量の統計量の小さい方を閾値と比較して作業実施時間帯か否かを判定してもよい。
【0066】
なお、作業実施時間帯判定部１２３４は、これ以外の基準で作業従事時間を作業実施時間帯と非作業時間帯とに分割してもよい。
【0067】
作業実施時間帯判定部１２３４は、作業実施時間帯の集合である作業実施時間帯集合ＦＳを要素作業推定部１２４に出力する。作業実施時間帯集合ＦＳには、作業実施時間帯ごとに作業実施時間帯の開始時刻と終了時刻とが示される。
また、作業実施時間帯判定部１２３４は、非作業時間帯の集合である非作業時間帯集合ＮＦＳを推定結果処理部１２５に出力する。非作業時間帯集合ＮＦＳには、非作業時間帯ごとに非作業時間帯の開始時刻と終了時刻とが示される。
また、作業実施時間帯判定部１２３４は、非作業時間帯の集合である非作業時間帯集合ＮＦＳを推定結果処理部１２５に出力する。非作業時間帯集合ＮＦＳには、非作業時間帯ごとに非作業時間帯の開始時刻と終了時刻とが示される。
【0068】
＊＊要素作業推定部１２４の内部構成例の説明＊＊
要素作業推定部１２４は、内部構成として、関節位置画像取得部１２４１、関節速度画像取得部１２４２、関節位置特徴抽出部１２４３、関節速度特徴抽出部１２４４及び関節画像特徴分類部１２４５を有する。
要素作業推定部１２４は、内部構成として、関節位置画像取得部１２４１、関節速度画像取得部１２４２、関節位置特徴抽出部１２４３、関節速度特徴抽出部１２４４及び関節画像特徴分類部１２４５を有する。
【0069】
＊＊関節位置画像取得部１２４１の説明＊＊
関節位置画像取得部１２４１は、作業実施時間帯判定部１２３４から作業実施時間帯集合ＦＳを取得する。
また、関節位置画像取得部１２４１は、関節時系列データ画像化部１２２から、左手関節位置画像ＬＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶＩを取得する。
また、関節位置画像取得部１２４１は、前処理統計量保存部１３１から、前処理統計量を取得する。具体的には、関節位置画像取得部１２４１は、前処理統計量として関節位置輝度平均値ＰＭ、関節位置輝度標準偏差ＰＳ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得する。
関節位置画像取得部１２４１は、作業実施時間帯判定部１２３４から作業実施時間帯集合ＦＳを取得する。
また、関節位置画像取得部１２４１は、関節時系列データ画像化部１２２から、左手関節位置画像ＬＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶＩを取得する。
また、関節位置画像取得部１２４１は、前処理統計量保存部１３１から、前処理統計量を取得する。具体的には、関節位置画像取得部１２４１は、前処理統計量として関節位置輝度平均値ＰＭ、関節位置輝度標準偏差ＰＳ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得する。
【0070】
そして、関節位置画像取得部１２４１は、作業実施時間帯集合ＦＳに含まれる作業実施時間帯ごとに、左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩの各々から、作業実施時間帯に撮像された部分映像を構成する部分画像を抽出する。
そして、関節位置画像取得部１２４１は、作業時間帯ごとに、各部分画像を、一定の幅及び高さをもつ画像にリサイズする。更に、関節位置画像取得部１２４１は、左手関節位置画像ＬＪＰＩから抽出されたリサイズ後の部分画像の画素値を関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳを用いて標準化する。また、関節位置画像取得部１２４１は、右手関節位置画像ＲＪＰＩから抽出されたリサイズ後の部分画像の画素値を関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳを用いて標準化する。前述のように、リサイズと標準化の順序は逆でもよい。
関節位置画像取得部１２４１は、左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩの各々についてのリサイズ及び標準化の後の部分画像を関節位置特徴抽出部１２４３に出力する。
そして、関節位置画像取得部１２４１は、作業時間帯ごとに、各部分画像を、一定の幅及び高さをもつ画像にリサイズする。更に、関節位置画像取得部１２４１は、左手関節位置画像ＬＪＰＩから抽出されたリサイズ後の部分画像の画素値を関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳを用いて標準化する。また、関節位置画像取得部１２４１は、右手関節位置画像ＲＪＰＩから抽出されたリサイズ後の部分画像の画素値を関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳを用いて標準化する。前述のように、リサイズと標準化の順序は逆でもよい。
関節位置画像取得部１２４１は、左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩの各々についてのリサイズ及び標準化の後の部分画像を関節位置特徴抽出部１２４３に出力する。
【0071】
また、関節位置画像取得部１２４１は、作業実施時間帯集合ＦＳ、左手関節速度画像ＬＪＶＩ、右手関節速度画像ＲＪＶＩ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを、関節速度画像取得部１２４２に出力する。
ここでは、関節位置画像取得部１２４１が、作業実施時間帯集合ＦＳ、左手関節速度画像ＬＪＶＩ、右手関節速度画像ＲＪＶＩ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得し、これらの値を関節速度画像取得部１２４２に出力する例を説明している。
これに代えて、関節速度画像取得部１２４２が、作業実施時間帯判定部１２３４から作業実施時間帯集合ＦＳを取得し、関節時系列データ画像化部１２２から左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩを取得し、前処理統計量保存部１３１から関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得するようにしてもよい。
この場合は、関節位置画像取得部１２４１は、関節時系列データ画像化部１２２から左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩのみを取得し、前処理統計量保存部１３１から関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳのみを取得する。
ここでは、関節位置画像取得部１２４１が、作業実施時間帯集合ＦＳ、左手関節速度画像ＬＪＶＩ、右手関節速度画像ＲＪＶＩ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得し、これらの値を関節速度画像取得部１２４２に出力する例を説明している。
これに代えて、関節速度画像取得部１２４２が、作業実施時間帯判定部１２３４から作業実施時間帯集合ＦＳを取得し、関節時系列データ画像化部１２２から左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩを取得し、前処理統計量保存部１３１から関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得するようにしてもよい。
この場合は、関節位置画像取得部１２４１は、関節時系列データ画像化部１２２から左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩのみを取得し、前処理統計量保存部１３１から関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳのみを取得する。
【0072】
＊＊関節速度画像取得部１２４２の説明＊＊
関節速度画像取得部１２４２は、関節位置画像取得部１２４１から、作業実施時間帯集合ＦＳ、左手関節速度画像ＬＪＶＩ、右手関節速度画像ＲＪＶＩ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得する。
そして、関節速度画像取得部１２４２は、作業実施時間帯集合ＦＳに含まれる作業実施時間帯ごとに、左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩの各々から、作業実施時間帯に撮像された部分映像を構成する部分画像を抽出する。
そして、関節速度画像取得部１２４２は、作業時間帯ごとに、各部分画像を、一定の幅及び高さをもつ画像にリサイズする。更に、関節速度画像取得部１２４２は、左手関節速度画像ＬＪＶＩから抽出されたリサイズ後の部分画像の画素値を関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを用いて標準化する。また、関節速度画像取得部１２４２は、右手関節速度画像ＲＪＶＩから抽出されたリサイズ後の部分画像の画素値を関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを用いて標準化する。
関節速度画像取得部１２４２は、左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩの各々についてのリサイズ及び標準化の後の部分画像を関節速度特徴抽出部１２４４に出力する。
関節速度画像取得部１２４２は、関節位置画像取得部１２４１から、作業実施時間帯集合ＦＳ、左手関節速度画像ＬＪＶＩ、右手関節速度画像ＲＪＶＩ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得する。
そして、関節速度画像取得部１２４２は、作業実施時間帯集合ＦＳに含まれる作業実施時間帯ごとに、左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩの各々から、作業実施時間帯に撮像された部分映像を構成する部分画像を抽出する。
そして、関節速度画像取得部１２４２は、作業時間帯ごとに、各部分画像を、一定の幅及び高さをもつ画像にリサイズする。更に、関節速度画像取得部１２４２は、左手関節速度画像ＬＪＶＩから抽出されたリサイズ後の部分画像の画素値を関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを用いて標準化する。また、関節速度画像取得部１２４２は、右手関節速度画像ＲＪＶＩから抽出されたリサイズ後の部分画像の画素値を関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを用いて標準化する。
関節速度画像取得部１２４２は、左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩの各々についてのリサイズ及び標準化の後の部分画像を関節速度特徴抽出部１２４４に出力する。
【0073】
＊＊関節位置特徴抽出部１２４３の説明＊＊
関節位置特徴抽出部１２４３は、関節位置画像取得部１２４１から、左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩの各々についてのリサイズ及び標準化の後の部分画像を取得する。
そして、関節位置特徴抽出部１２４３は、取得した部分画像を要素作業推定モデルＭに入力する。ここで用いられる要素作業推定モデルＭは、例えば、事前学習済みの畳み込みニューラルネットワークである。
関節位置特徴抽出部１２４３は、それぞれの部分画像から特徴ベクトルである関節位置特徴ベクトルを抽出する。ここでは、左手関節位置画像ＬＪＰＩについての部分画像から得られた関節位置特徴ベクトルを左手位置特徴ベクトルｆＬＰという。また、右手関節位置画像ＲＪＰＩについての部分画像から得られた関節位置特徴ベクトルを右手位置特徴ベクトルｆＲＰという。
関節位置特徴抽出部１２４３は、左手位置特徴ベクトルｆＬＰと右手位置特徴ベクトルｆＲＰとを関節画像特徴分類部１２４５に出力する。
関節位置特徴抽出部１２４３は、関節位置画像取得部１２４１から、左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩの各々についてのリサイズ及び標準化の後の部分画像を取得する。
そして、関節位置特徴抽出部１２４３は、取得した部分画像を要素作業推定モデルＭに入力する。ここで用いられる要素作業推定モデルＭは、例えば、事前学習済みの畳み込みニューラルネットワークである。
関節位置特徴抽出部１２４３は、それぞれの部分画像から特徴ベクトルである関節位置特徴ベクトルを抽出する。ここでは、左手関節位置画像ＬＪＰＩについての部分画像から得られた関節位置特徴ベクトルを左手位置特徴ベクトルｆＬＰという。また、右手関節位置画像ＲＪＰＩについての部分画像から得られた関節位置特徴ベクトルを右手位置特徴ベクトルｆＲＰという。
関節位置特徴抽出部１２４３は、左手位置特徴ベクトルｆＬＰと右手位置特徴ベクトルｆＲＰとを関節画像特徴分類部１２４５に出力する。
【0074】
＊＊関節速度特徴抽出部１２４４の説明＊＊
関節速度特徴抽出部１２４４は、関節速度画像取得部１２４２から、左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩの各々についてのリサイズ及び標準化の後の部分画像を取得する。
そして、関節速度特徴抽出部１２４４は、取得した部分画像を要素作業推定モデルＭに入力する。ここで用いられる要素作業推定モデルＭも、例えば、事前学習済みの畳み込みニューラルネットワークである。なお、ここで用いられる畳み込みニューラルネットワークは、関節位置特徴抽出部１２４３により用いられる畳み込みニューラルネットワークと同じであっても、異なっていてもよい。
関節速度特徴抽出部１２４４は、それぞれの部分画像から特徴ベクトルである関節速度特徴ベクトルを抽出する。ここでは、左手関節速度画像ＬＪＶＩについての部分画像から得られた関節速度特徴ベクトルを左手速度特徴ベクトルｆＬＶという。また、右手関節速度画像ＲＪＶＩについての部分画像から得られた関節速度特徴ベクトルを右手速度特徴ベクトルｆＲＶという。
関節速度特徴抽出部１２４４は、左手速度特徴ベクトルｆＬＶと右手速度特徴ベクトルｆＲＶとを関節画像特徴分類部１２４５に出力する。
関節速度特徴抽出部１２４４は、関節速度画像取得部１２４２から、左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩの各々についてのリサイズ及び標準化の後の部分画像を取得する。
そして、関節速度特徴抽出部１２４４は、取得した部分画像を要素作業推定モデルＭに入力する。ここで用いられる要素作業推定モデルＭも、例えば、事前学習済みの畳み込みニューラルネットワークである。なお、ここで用いられる畳み込みニューラルネットワークは、関節位置特徴抽出部１２４３により用いられる畳み込みニューラルネットワークと同じであっても、異なっていてもよい。
関節速度特徴抽出部１２４４は、それぞれの部分画像から特徴ベクトルである関節速度特徴ベクトルを抽出する。ここでは、左手関節速度画像ＬＪＶＩについての部分画像から得られた関節速度特徴ベクトルを左手速度特徴ベクトルｆＬＶという。また、右手関節速度画像ＲＪＶＩについての部分画像から得られた関節速度特徴ベクトルを右手速度特徴ベクトルｆＲＶという。
関節速度特徴抽出部１２４４は、左手速度特徴ベクトルｆＬＶと右手速度特徴ベクトルｆＲＶとを関節画像特徴分類部１２４５に出力する。
【0075】
＊＊関節画像特徴分類部１２４５の説明＊＊
関節画像特徴分類部１２４５は、関節位置特徴抽出部１２４３から左手位置特徴ベクトルｆＬＰと右手位置特徴ベクトルｆＲＰとを取得する。また、関節画像特徴分類部１２４５は、関節速度特徴抽出部１２４４から左手速度特徴ベクトルｆＬＶと右手速度特徴ベクトルｆＲＶとを取得する。
関節画像特徴分類部１２４５は、関節位置特徴抽出部１２４３から左手位置特徴ベクトルｆＬＰと右手位置特徴ベクトルｆＲＰとを取得する。また、関節画像特徴分類部１２４５は、関節速度特徴抽出部１２４４から左手速度特徴ベクトルｆＬＶと右手速度特徴ベクトルｆＲＶとを取得する。
【0076】
そして、関節画像特徴分類部１２４５は、左手位置特徴ベクトルｆＬＰと右手位置特徴ベクトルｆＲＰと左手速度特徴ベクトルｆＬＶと右手速度特徴ベクトルｆＲＶとを結合する。
更に、関節画像特徴分類部１２４５は、結合後の特徴ベクトルを、要素作業推定モデルＭに入力する。より具体的には、関節画像特徴分類部１２４５は、結合後の特徴ベクトルを、要素作業推定モデルＭの分類処理を行うニューラルネットワークの層に入力する。要素作業推定モデルＭの層の構成は、データ量やタスクに応じて、推定装置１００のユーザが任意に指定することができる。要素作業推定モデルＭは、一般的には複数の全結合層及び複数の活性化層を用いて構成される。
関節画像特徴分類部１２４５は、作業実施時間帯ごとに、要素作業推定モデルＭにより推定された要素作業のうちで、確率が最大となる要素作業を、当該作業時間帯に作業従事者が実施している要素作業と推定する。
そして、関節画像特徴分類部１２４５は、各作業時間帯の推定結果ｑｓの集合である推定結果集合ＱＳを推定結果処理部１２５に出力する。
更に、関節画像特徴分類部１２４５は、結合後の特徴ベクトルを、要素作業推定モデルＭに入力する。より具体的には、関節画像特徴分類部１２４５は、結合後の特徴ベクトルを、要素作業推定モデルＭの分類処理を行うニューラルネットワークの層に入力する。要素作業推定モデルＭの層の構成は、データ量やタスクに応じて、推定装置１００のユーザが任意に指定することができる。要素作業推定モデルＭは、一般的には複数の全結合層及び複数の活性化層を用いて構成される。
関節画像特徴分類部１２４５は、作業実施時間帯ごとに、要素作業推定モデルＭにより推定された要素作業のうちで、確率が最大となる要素作業を、当該作業時間帯に作業従事者が実施している要素作業と推定する。
そして、関節画像特徴分類部１２４５は、各作業時間帯の推定結果ｑｓの集合である推定結果集合ＱＳを推定結果処理部１２５に出力する。
【0077】
【0078】
先ず、ステップＳ１１において、関節位置時系列データ取得部１２０が関節位置時系列データＨＰＴを取得する。つまり、関節位置時系列データ取得部１２０は、撮像装置１１０からの映像Ｖから関節位置時系列データＨＰＴを生成する。
【0079】
次に、ステップＳ１２において、関節速度計算部１２１が、関節位置時系列データＨＰＴから関節速度時系列データＨＶＴを生成する。
【0080】
次に、ステップＳ１３において、関節時系列データ画像化部１２２が、関節位置時系列データＨＰＴを画像化して、左手関節位置画像ＬＪＰＩと右手関節位置画像ＲＪＰＩを生成する。また、関節時系列データ画像化部１２２が、関節速度時系列データＨＶＴを画像化して、左手関節速度画像ＬＪＶＩと右手関節速度画像ＲＪＶＩを生成する。
【0081】
次に、ステップＳ１４において、把持道具時系列データ生成部１２６が、映像Ｖ又はセンサ情報ＲＲＳを用いて、左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１を生成する。
【0082】
次に、ステップＳ１５において、作業実施時間帯検出部１２３が、左手関節位置画像ＬＪＰＩ、右手関節位置画像ＲＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節速度画像ＲＪＶＩ、左手把持道具データＬＴＯ１及び右手把持道具データＲＴＯ１を用いて、作業実施時間帯を検出する。
【0083】
次に、ステップＳ１６において、要素作業推定部１２４が、要素作業推定モデルＭを用いて、作業実施時間帯ごとに、作業従事者が実施する要素作業を推定する。
【0084】
最後に、ステップＳ１７において、推定結果処理部１２５が、最終推定結果ＡＳを出力する。
【0085】
次に、作業実施時間帯検出部１２３の動作例の詳細を説明する。
図１０は、作業実施時間帯検出部１２３の動作例の詳細を示すフローチャートである。
図１０は、作業実施時間帯検出部１２３の動作例の詳細を示すフローチャートである。
【0086】
先ず、ステップＳ１１１において、出現状況判定部１２３１が、出現状況を判定する。
出現状況判定部１２３１は、関節時系列データ画像化部１２２から、左手関節位置画像ＬＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶＩを取得する。
そして、出現状況判定部１２３１は、左手関節位置画像ＬＪＰＩ及び／又は左手関節速度画像ＬＪＶＩを解析し、左手出現時間帯集合ＬＳを生成する。同様に、出現状況判定部１２３１は、右手関節位置画像ＲＪＰＩ及び／又は右手関節速度画像ＲＪＶＩを解析し、右手出現時間帯集合ＲＳを生成する。
出現状況判定部１２３１は、左手出現時間帯集合ＬＳと右手出現時間帯集合ＲＳとを作業実施時間帯判定部１２３４に出力する。
出現状況判定部１２３１は、関節時系列データ画像化部１２２から、左手関節位置画像ＬＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶＩを取得する。
そして、出現状況判定部１２３１は、左手関節位置画像ＬＪＰＩ及び／又は左手関節速度画像ＬＪＶＩを解析し、左手出現時間帯集合ＬＳを生成する。同様に、出現状況判定部１２３１は、右手関節位置画像ＲＪＰＩ及び／又は右手関節速度画像ＲＪＶＩを解析し、右手出現時間帯集合ＲＳを生成する。
出現状況判定部１２３１は、左手出現時間帯集合ＬＳと右手出現時間帯集合ＲＳとを作業実施時間帯判定部１２３４に出力する。
【0087】
次に、ステップＳ１１２において、道具把持状況判定部１２３２は、道具把持状況を判定する。
道具把持状況判定部１２３２は、把持道具時系列データ生成部１２６から左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１とを取得する。
そして、道具把持状況判定部１２３２は、左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１とに基づいて、左手及び右手の各々について、道具を把持している時間帯、道具を把持していない時間帯を時系列に抽出する。また、作業従事者が把持する道具の種類が変化している場合は、道具把持状況判定部１２３２は、道具を把持している時間帯を、道具の種類ごとに異なる時間帯として扱う。
道具把持状況判定部１２３２は、左手についての抽出結果が示される左手道具把持状況判定結果ＬＴＳと右手についての抽出結果が示される右手道具把持状況判定結果ＲＴＳとを作業実施時間帯判定部１２３４に出力する。
道具把持状況判定部１２３２は、把持道具時系列データ生成部１２６から左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１とを取得する。
そして、道具把持状況判定部１２３２は、左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１とに基づいて、左手及び右手の各々について、道具を把持している時間帯、道具を把持していない時間帯を時系列に抽出する。また、作業従事者が把持する道具の種類が変化している場合は、道具把持状況判定部１２３２は、道具を把持している時間帯を、道具の種類ごとに異なる時間帯として扱う。
道具把持状況判定部１２３２は、左手についての抽出結果が示される左手道具把持状況判定結果ＬＴＳと右手についての抽出結果が示される右手道具把持状況判定結果ＲＴＳとを作業実施時間帯判定部１２３４に出力する。
【0088】
次に、ステップＳ１１３において、変位量判定部１２３３が、変位量を判定する。
変位量判定部１２３３は、関節時系列データ画像化部１２２から、左手関節位置画像ＬＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶＩを取得する。
そして、変位量判定部１２３３は、左手関節位置画像ＬＪＰＩ及び／又は左手関節速度画像ＬＪＶＩを解析し、左手の単位時間あたりの変位量を計算する。同様に、変位量判定部１２３３は、右手関節位置画像ＲＪＰＩ及び／又は右手関節速度画像ＲＪＶＩを解析し、右手の単位時間あたりの変位量を計算する。
そして、変位量判定部１２３３は、左手の単位時間あたりの変位量を時系列に示す左手変位量データＬＺＳと、右手の単位時間あたりの変位量を時系列に示す右手変位量データＲＺＳとを作業実施時間帯判定部１２３４に出力する。
変位量判定部１２３３は、関節時系列データ画像化部１２２から、左手関節位置画像ＬＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶＩを取得する。
そして、変位量判定部１２３３は、左手関節位置画像ＬＪＰＩ及び／又は左手関節速度画像ＬＪＶＩを解析し、左手の単位時間あたりの変位量を計算する。同様に、変位量判定部１２３３は、右手関節位置画像ＲＪＰＩ及び／又は右手関節速度画像ＲＪＶＩを解析し、右手の単位時間あたりの変位量を計算する。
そして、変位量判定部１２３３は、左手の単位時間あたりの変位量を時系列に示す左手変位量データＬＺＳと、右手の単位時間あたりの変位量を時系列に示す右手変位量データＲＺＳとを作業実施時間帯判定部１２３４に出力する。
【0089】
最後に、ステップＳ１１４において、作業実施時間帯判定部１２３４が、作業実施時間帯を検出する。
作業実施時間帯判定部１２３４は、出現状況判定部１２３１から、左手出現時間帯集合ＬＳと右手出現時間帯集合ＲＳとを取得する。
また、作業実施時間帯判定部１２３４は、道具把持状況判定部１２３２から、左手道具把持状況判定結果ＬＴＳと右手道具把持状況判定結果ＲＴＳとを取得する。
また、作業実施時間帯判定部１２３４は、変位量判定部１２３３から、左手変位量データＬＺＳと右手変位量データＲＺＳとを取得する。
そして、作業実施時間帯判定部１２３４は、これらに基づいて、作業従事時間を作業実施時間帯と非作業時間帯とに分割する。
最後に、作業実施時間帯判定部１２３４は、作業実施時間帯の集合である作業実施時間帯集合ＦＳを関節画像特徴分類部１２４５に出力する。
また、作業実施時間帯判定部１２３４は、非作業時間帯の集合である非作業時間帯集合ＮＦＳを推定結果処理部１２５に出力する。
作業実施時間帯判定部１２３４は、出現状況判定部１２３１から、左手出現時間帯集合ＬＳと右手出現時間帯集合ＲＳとを取得する。
また、作業実施時間帯判定部１２３４は、道具把持状況判定部１２３２から、左手道具把持状況判定結果ＬＴＳと右手道具把持状況判定結果ＲＴＳとを取得する。
また、作業実施時間帯判定部１２３４は、変位量判定部１２３３から、左手変位量データＬＺＳと右手変位量データＲＺＳとを取得する。
そして、作業実施時間帯判定部１２３４は、これらに基づいて、作業従事時間を作業実施時間帯と非作業時間帯とに分割する。
最後に、作業実施時間帯判定部１２３４は、作業実施時間帯の集合である作業実施時間帯集合ＦＳを関節画像特徴分類部１２４５に出力する。
また、作業実施時間帯判定部１２３４は、非作業時間帯の集合である非作業時間帯集合ＮＦＳを推定結果処理部１２５に出力する。
【0090】
次に、要素作業推定部１２４の動作例の詳細を説明する。
図１１は、要素作業推定部１２４の動作例の詳細を示すフローチャートである。
図１１は、要素作業推定部１２４の動作例の詳細を示すフローチャートである。
【0091】
先ず、ステップＳ１２１において、関節位置画像取得部１２４１が、関節位置画像の部分画を生成し、部分画像のリサイズ及び標準化を行う。
関節位置画像取得部１２４１は、作業実施時間帯判定部１２３４から作業実施時間帯集合ＦＳを取得する。
また、関節位置画像取得部１２４１は、関節時系列データ画像化部１２２から、左手関節位置画像ＬＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶＩを取得する。
また、関節位置画像取得部１２４１は、前処理統計量保存部１３１から、前処理統計量として関節位置輝度平均値ＰＭ、関節位置輝度標準偏差ＰＳ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得する。
関節位置画像取得部１２４１は、作業実施時間帯判定部１２３４から作業実施時間帯集合ＦＳを取得する。
また、関節位置画像取得部１２４１は、関節時系列データ画像化部１２２から、左手関節位置画像ＬＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶＩを取得する。
また、関節位置画像取得部１２４１は、前処理統計量保存部１３１から、前処理統計量として関節位置輝度平均値ＰＭ、関節位置輝度標準偏差ＰＳ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得する。
【0092】
そして、関節位置画像取得部１２４１は、作業実施時間帯集合ＦＳに含まれる作業実施時間帯ごとに、左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩの各々から、作業実施時間帯に撮像された部分映像を構成する部分画像を抽出する。
そして、関節位置画像取得部１２４１は、作業時間帯ごとに、各部分画像を、一定の幅及び高さをもつ画像にリサイズする。更に、関節位置画像取得部１２４１は、左手関節位置画像ＬＪＰＩから抽出されたリサイズ後の部分画像の画素値を関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳを用いて標準化する。また、関節位置画像取得部１２４１は、右手関節位置画像ＲＪＰＩから抽出されたリサイズ後の部分画像の画素値を関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳを用いて標準化する。前述のように、リサイズと標準化の順序は逆でもよい。
関節位置画像取得部１２４１は、左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩの各々についてのリサイズ及び標準化の後の部分画像を関節位置特徴抽出部１２４３に出力する。
また、関節位置画像取得部１２４１は、作業実施時間帯集合ＦＳ、左手関節速度画像ＬＪＶＩ、右手関節速度画像ＲＪＶＩ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを関節速度画像取得部１２４２に出力する。
そして、関節位置画像取得部１２４１は、作業時間帯ごとに、各部分画像を、一定の幅及び高さをもつ画像にリサイズする。更に、関節位置画像取得部１２４１は、左手関節位置画像ＬＪＰＩから抽出されたリサイズ後の部分画像の画素値を関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳを用いて標準化する。また、関節位置画像取得部１２４１は、右手関節位置画像ＲＪＰＩから抽出されたリサイズ後の部分画像の画素値を関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳを用いて標準化する。前述のように、リサイズと標準化の順序は逆でもよい。
関節位置画像取得部１２４１は、左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩの各々についてのリサイズ及び標準化の後の部分画像を関節位置特徴抽出部１２４３に出力する。
また、関節位置画像取得部１２４１は、作業実施時間帯集合ＦＳ、左手関節速度画像ＬＪＶＩ、右手関節速度画像ＲＪＶＩ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを関節速度画像取得部１２４２に出力する。
【0093】
次に、ステップＳ１２２において、関節速度画像取得部１２４２が、関節速度画像の部分画像を生成し、部分画像のリサイズ及び標準化を行う。
関節速度画像取得部１２４２は、関節位置画像取得部１２４１から、作業実施時間帯集合ＦＳ、左手関節速度画像ＬＪＶＩ、右手関節速度画像ＲＪＶＩ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得する。
そして、関節速度画像取得部１２４２は、作業実施時間帯集合ＦＳに含まれる作業実施時間帯ごとに、左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩの各々から、作業実施時間帯に撮像された部分映像を構成する部分画像を抽出する。
そして、関節速度画像取得部１２４２は、作業時間帯ごとに、各部分画像を、一定の幅及び高さをもつ画像にリサイズする。更に、関節速度画像取得部１２４２は、左手関節速度画像ＬＪＶＩから抽出されたリサイズ後の部分画像の画素値を関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを用いて標準化する。また、関節速度画像取得部１２４２は、右手関節速度画像ＲＪＶＩから抽出されたリサイズ後の部分画像の画素値を関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを用いて標準化する。前述のように、リサイズと標準化の順序は逆でもよい。
関節速度画像取得部１２４２は、左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩの各々についてのリサイズ及び標準化の後の部分画像を関節速度特徴抽出部１２４４に出力する。
関節速度画像取得部１２４２は、関節位置画像取得部１２４１から、作業実施時間帯集合ＦＳ、左手関節速度画像ＬＪＶＩ、右手関節速度画像ＲＪＶＩ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得する。
そして、関節速度画像取得部１２４２は、作業実施時間帯集合ＦＳに含まれる作業実施時間帯ごとに、左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩの各々から、作業実施時間帯に撮像された部分映像を構成する部分画像を抽出する。
そして、関節速度画像取得部１２４２は、作業時間帯ごとに、各部分画像を、一定の幅及び高さをもつ画像にリサイズする。更に、関節速度画像取得部１２４２は、左手関節速度画像ＬＪＶＩから抽出されたリサイズ後の部分画像の画素値を関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを用いて標準化する。また、関節速度画像取得部１２４２は、右手関節速度画像ＲＪＶＩから抽出されたリサイズ後の部分画像の画素値を関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを用いて標準化する。前述のように、リサイズと標準化の順序は逆でもよい。
関節速度画像取得部１２４２は、左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩの各々についてのリサイズ及び標準化の後の部分画像を関節速度特徴抽出部１２４４に出力する。
【0094】
次に、ステップＳ１２３において、関節位置特徴抽出部１２４３が、関節位置特徴ベクトルを抽出する。
関節位置特徴抽出部１２４３は、関節位置画像取得部１２４１から、左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩの各々についてのリサイズ及び標準化の後の部分画像を取得する。
そして、関節位置特徴抽出部１２４３は、取得した部分画像を要素作業推定モデルＭに入力する。
そして、関節位置特徴抽出部１２４３は、左手位置特徴ベクトルｆＬＰと右手位置特徴ベクトルｆＲＰとを抽出する。
関節位置特徴抽出部１２４３は、左手位置特徴ベクトルｆＬＰと右手位置特徴ベクトルｆＲＰとを関節画像特徴分類部１２４５に出力する。
関節位置特徴抽出部１２４３は、関節位置画像取得部１２４１から、左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩの各々についてのリサイズ及び標準化の後の部分画像を取得する。
そして、関節位置特徴抽出部１２４３は、取得した部分画像を要素作業推定モデルＭに入力する。
そして、関節位置特徴抽出部１２４３は、左手位置特徴ベクトルｆＬＰと右手位置特徴ベクトルｆＲＰとを抽出する。
関節位置特徴抽出部１２４３は、左手位置特徴ベクトルｆＬＰと右手位置特徴ベクトルｆＲＰとを関節画像特徴分類部１２４５に出力する。
【0095】
次に、ステップＳ１２４において、関節速度特徴抽出部１２４４が、関節速度特徴ベクトルを抽出する。
関節速度特徴抽出部１２４４は、関節速度画像取得部１２４２から、左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩの各々についてのリサイズ及び標準化の後の部分画像を取得する。
そして、関節速度特徴抽出部１２４４は、取得した部分画像を要素作業推定モデルＭに入力する。
そして、関節速度特徴抽出部１２４４は、左手速度特徴ベクトルｆＬＶと右手速度特徴ベクトルｆＲＶとを抽出する。
関節速度特徴抽出部１２４４は、左手速度特徴ベクトルｆＬＶと右手速度特徴ベクトルｆＲＶとを関節画像特徴分類部１２４５に出力する。
関節速度特徴抽出部１２４４は、関節速度画像取得部１２４２から、左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩの各々についてのリサイズ及び標準化の後の部分画像を取得する。
そして、関節速度特徴抽出部１２４４は、取得した部分画像を要素作業推定モデルＭに入力する。
そして、関節速度特徴抽出部１２４４は、左手速度特徴ベクトルｆＬＶと右手速度特徴ベクトルｆＲＶとを抽出する。
関節速度特徴抽出部１２４４は、左手速度特徴ベクトルｆＬＶと右手速度特徴ベクトルｆＲＶとを関節画像特徴分類部１２４５に出力する。
【0096】
最後に、ステップＳ１２５において、関節画像特徴分類部１２４５が、関節位置特徴ベクトルと関節速度特徴ベクトルとを結合し、要素作業を推定する。
関節画像特徴分類部１２４５は、関節位置特徴抽出部１２４３から左手位置特徴ベクトルｆＬＰと右手位置特徴ベクトルｆＲＰとを取得する。また、関節画像特徴分類部１２４５は、関節速度特徴抽出部１２４４から左手速度特徴ベクトルｆＬＶと右手速度特徴ベクトルｆＲＶとを取得する。
そして、関節画像特徴分類部１２４５は、左手位置特徴ベクトルｆＬＰと右手位置特徴ベクトルｆＲＰと左手速度特徴ベクトルｆＬＶと右手速度特徴ベクトルｆＲＶとを結合する。更に、関節画像特徴分類部１２４５は、結合後の特徴ベクトルを、要素作業推定モデルＭに入力する。
関節画像特徴分類部１２４５は、作業実施時間帯ごとに、要素作業推定モデルＭにより推定された要素作業のうちで、確率が最大となる要素作業を、当該作業時間帯に作業従事者が実施している要素作業と推定する。
そして、関節画像特徴分類部１２４５は、各作業時間帯の推定結果ｑｓの集合である推定結果集合ＱＳを推定結果処理部１２５に出力する。
関節画像特徴分類部１２４５は、関節位置特徴抽出部１２４３から左手位置特徴ベクトルｆＬＰと右手位置特徴ベクトルｆＲＰとを取得する。また、関節画像特徴分類部１２４５は、関節速度特徴抽出部１２４４から左手速度特徴ベクトルｆＬＶと右手速度特徴ベクトルｆＲＶとを取得する。
そして、関節画像特徴分類部１２４５は、左手位置特徴ベクトルｆＬＰと右手位置特徴ベクトルｆＲＰと左手速度特徴ベクトルｆＬＶと右手速度特徴ベクトルｆＲＶとを結合する。更に、関節画像特徴分類部１２４５は、結合後の特徴ベクトルを、要素作業推定モデルＭに入力する。
関節画像特徴分類部１２４５は、作業実施時間帯ごとに、要素作業推定モデルＭにより推定された要素作業のうちで、確率が最大となる要素作業を、当該作業時間帯に作業従事者が実施している要素作業と推定する。
そして、関節画像特徴分類部１２４５は、各作業時間帯の推定結果ｑｓの集合である推定結果集合ＱＳを推定結果処理部１２５に出力する。
【0097】
＊＊＊実施の形態の効果の説明＊＊＊
本実施の形態では、推定装置１００は、作業実施時間帯の検出と、検出した作業実施時間帯で実施されている要素作業の推定という二段階の処理を行う。
作業実施時間帯の検出では、推定装置１００は、手の出現状況、道具の把持状況及び手の変位量を解析して作業実施時間帯を検出する。このため、推定装置１００は、作業に含まれる要素作業の発生頻度及び／又は実施時間が様々であっても、作業実施時間帯を正確に検出することができる。
このように作業実施時間帯を正確に検出することができるため、要素作業の推定では、推定装置１００は作業実施時間帯に対応する部分画像を用いて、作業実施時間帯で実施されている要素作業を正確に推定することができる。
従って、本実施の形態によれば、各々の属性が一様ではない複数の要素作業が作業に含まれる場合でも、作業従事者が実施する要素作業を正確に推定することができる。
本実施の形態では、推定装置１００は、作業実施時間帯の検出と、検出した作業実施時間帯で実施されている要素作業の推定という二段階の処理を行う。
作業実施時間帯の検出では、推定装置１００は、手の出現状況、道具の把持状況及び手の変位量を解析して作業実施時間帯を検出する。このため、推定装置１００は、作業に含まれる要素作業の発生頻度及び／又は実施時間が様々であっても、作業実施時間帯を正確に検出することができる。
このように作業実施時間帯を正確に検出することができるため、要素作業の推定では、推定装置１００は作業実施時間帯に対応する部分画像を用いて、作業実施時間帯で実施されている要素作業を正確に推定することができる。
従って、本実施の形態によれば、各々の属性が一様ではない複数の要素作業が作業に含まれる場合でも、作業従事者が実施する要素作業を正確に推定することができる。
【0098】
また、本実施の形態では、推定装置１００は、画像認識モデルを用いて要素作業を推定する。このため、本実施の形態によれば、要素作業の推定に、既存の学習済みモデルを用いることができる。すなわち、フルスクラッチでモデルを学習する必要がないため、学習に必要なデータ量を抑え、データ収集の負担を軽減することができる。
【0099】
実施の形態２．
本実施の形態では、実施の形態１で説明した要素作業推定モデルＭを生成する学習装置を説明する。
本実施の形態では、主に実施の形態１との差異を説明する。
なお、以下で説明していない事項は、実施の形態１と同様である。
本実施の形態では、実施の形態１で説明した要素作業推定モデルＭを生成する学習装置を説明する。
本実施の形態では、主に実施の形態１との差異を説明する。
なお、以下で説明していない事項は、実施の形態１と同様である。
【0100】
＊＊構成の説明＊＊
図１２は、本実施の形態に係る学習装置２００の機能構成例を示す。学習装置２００は、学習フェーズで動作する。学習フェーズは実施の形態１に係る推定装置１００が動作する推定フェーズに先立つフェーズである。
学習装置２００は、撮像装置２１０に接続されている。
撮像装置２１０は、実施の形態１で示した撮像装置１１０と同様である。
つまり、撮像装置２１０は、作業従事者の手の映像を学習装置２００に出力する。
撮像装置２１０は、例えば、作業従事者の頭部に装着され、１人称視点の映像を撮像する。本実施の形態では、撮像装置２１０は、作業従事者の頭部に装着されているものとする。しかし、撮像装置２１０は、作業従事者の手の映像が撮像できるのであれば、作業従事者の頭部に装着されていなくてもよい。
図１２は、本実施の形態に係る学習装置２００の機能構成例を示す。学習装置２００は、学習フェーズで動作する。学習フェーズは実施の形態１に係る推定装置１００が動作する推定フェーズに先立つフェーズである。
学習装置２００は、撮像装置２１０に接続されている。
撮像装置２１０は、実施の形態１で示した撮像装置１１０と同様である。
つまり、撮像装置２１０は、作業従事者の手の映像を学習装置２００に出力する。
撮像装置２１０は、例えば、作業従事者の頭部に装着され、１人称視点の映像を撮像する。本実施の形態では、撮像装置２１０は、作業従事者の頭部に装着されているものとする。しかし、撮像装置２１０は、作業従事者の手の映像が撮像できるのであれば、作業従事者の頭部に装着されていなくてもよい。
【0101】
＊＊学習装置２００のハードウェア構成例の説明＊＊
なお、本実施の形態に係る学習装置２００は、図２３に例示するハードウェア構成を有するコンピュータである。
図２３に示すように、学習装置２００は、ハードウェアとして、プロセッサ９０１、主記憶装置９０２、補助記憶装置９０３及び通信装置９０４を備える。
図１２に示す関節位置時系列データ取得部２２０、関節速度計算部２２１等の構成要素の機能は、例えば、プログラムにより実現される。
補助記憶装置９０３には、これらの構成要素の機能を実現するプログラムが記憶されている。
これらプログラムは、補助記憶装置９０３から主記憶装置９０２にロードされる。そして、プロセッサ９０１がこれらプログラムを実行して、これらの構成要素の動作を行う。
なお、本実施の形態に係る学習装置２００は、図２３に例示するハードウェア構成を有するコンピュータである。
図２３に示すように、学習装置２００は、ハードウェアとして、プロセッサ９０１、主記憶装置９０２、補助記憶装置９０３及び通信装置９０４を備える。
図１２に示す関節位置時系列データ取得部２２０、関節速度計算部２２１等の構成要素の機能は、例えば、プログラムにより実現される。
補助記憶装置９０３には、これらの構成要素の機能を実現するプログラムが記憶されている。
これらプログラムは、補助記憶装置９０３から主記憶装置９０２にロードされる。そして、プロセッサ９０１がこれらプログラムを実行して、これらの構成要素の動作を行う。
【0102】
＊＊学習装置２００の機能構成例の説明＊＊
図１３は、学習装置２００の機能構成例を示す。
学習装置２００は、関節位置時系列データ取得部２２０、関節速度計算部２２１、関節時系列データ画像化部２２２、学習データ生成部２２３、前処理統計量計算部２２４、要素作業推定モデル生成部２２５、学習データ保存部２３０、前処理統計量保存部２３１及び要素作業推定モデル保存部２３２を備える。
図１３は、学習装置２００の機能構成例を示す。
学習装置２００は、関節位置時系列データ取得部２２０、関節速度計算部２２１、関節時系列データ画像化部２２２、学習データ生成部２２３、前処理統計量計算部２２４、要素作業推定モデル生成部２２５、学習データ保存部２３０、前処理統計量保存部２３１及び要素作業推定モデル保存部２３２を備える。
【0103】
＊＊関節位置時系列データ取得部２２０の説明＊＊
関節位置時系列データ取得部２２０は、実施の形態１で説明した関節位置時系列データ取得部１２０と同様の動作を行う。
つまり、関節位置時系列データ取得部２２０は、撮像装置２１０から、作業従事者の手を撮像して得られた映像Ｖを取得する。映像Ｖは、学習フェーズにおいて、作業従事時間に撮像された映像である。映像Ｖには、作業従事者の手が映されているフレームと作業者の手が映されていないフレームが含まれる。
関節位置時系列データ取得部２２０は、映像Ｖから関節位置時系列データＨＰＴを生成する。
そして、関節位置時系列データ取得部２２０は、関節位置時系列データＨＰＴを関節速度計算部２２１及び関節時系列データ画像化部２２２に出力する。
本実施の形態に係る関節位置時系列データＨＰＴは、実施の形態１で説明した関節位置時系列データＨＰＴと同様である。
関節位置時系列データ取得部２２０は、実施の形態１で説明した関節位置時系列データ取得部１２０と同様の動作を行う。
つまり、関節位置時系列データ取得部２２０は、撮像装置２１０から、作業従事者の手を撮像して得られた映像Ｖを取得する。映像Ｖは、学習フェーズにおいて、作業従事時間に撮像された映像である。映像Ｖには、作業従事者の手が映されているフレームと作業者の手が映されていないフレームが含まれる。
関節位置時系列データ取得部２２０は、映像Ｖから関節位置時系列データＨＰＴを生成する。
そして、関節位置時系列データ取得部２２０は、関節位置時系列データＨＰＴを関節速度計算部２２１及び関節時系列データ画像化部２２２に出力する。
本実施の形態に係る関節位置時系列データＨＰＴは、実施の形態１で説明した関節位置時系列データＨＰＴと同様である。
【0104】
＊＊関節速度計算部２２１の説明＊＊
関節速度計算部２２１は、実施の形態１で説明した関節速度計算部１２１と同様の動作を行う。
関節速度計算部２２１は、関節位置時系列データ取得部２２０から関節位置時系列データＨＰＴを取得する。
そして、関節速度計算部２２１は、関節位置時系列データＨＰＴの各関節における時間方向への差分（速度）を計算する。そして、関節速度計算部２２１は、計算結果を示す関節速度時系列データＨＶＴを関節時系列データ画像化部２２２に出力する。
本実施の形態に係る関節速度時系列データＨＶＴは、実施の形態１で説明した関節速度時系列データＨＶＴと同様である。
関節速度計算部２２１は、実施の形態１で説明した関節速度計算部１２１と同様の動作を行う。
関節速度計算部２２１は、関節位置時系列データ取得部２２０から関節位置時系列データＨＰＴを取得する。
そして、関節速度計算部２２１は、関節位置時系列データＨＰＴの各関節における時間方向への差分（速度）を計算する。そして、関節速度計算部２２１は、計算結果を示す関節速度時系列データＨＶＴを関節時系列データ画像化部２２２に出力する。
本実施の形態に係る関節速度時系列データＨＶＴは、実施の形態１で説明した関節速度時系列データＨＶＴと同様である。
【0105】
＊＊関節時系列データ画像化部２２２の説明＊＊
関節時系列データ画像化部２２２は、実施の形態１で説明した関節時系列データ画像化部１２２と同様の動作を行う。
つまり、関節時系列データ画像化部２２２は、関節位置時系列データ取得部２２０から関節位置時系列データＨＰＴを取得する。また、関節時系列データ画像化部２２２は、関節速度計算部２２１から関節速度時系列データＨＶＴを取得する。
関節時系列データ画像化部２２２は、関節位置時系列データＨＰＴを画像化して、左手関節位置画像ＬＪＰＩと右手関節位置画像ＲＪＰＩを生成する。また、関節時系列データ画像化部１２２は、関節速度時系列データＨＶＴを画像化して、左手関節速度画像ＬＪＶＩと右手関節速度画像ＲＪＶＩを生成する。
そして、関節時系列データ画像化部２２２は、左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩと左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩを学習データ生成部２２３に出力する。
本実施の形態に係る左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩと左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩは、実施の形態１で説明した左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩと左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩと同様である。
関節時系列データ画像化部２２２は、実施の形態１で説明した関節時系列データ画像化部１２２と同様の動作を行う。
つまり、関節時系列データ画像化部２２２は、関節位置時系列データ取得部２２０から関節位置時系列データＨＰＴを取得する。また、関節時系列データ画像化部２２２は、関節速度計算部２２１から関節速度時系列データＨＶＴを取得する。
関節時系列データ画像化部２２２は、関節位置時系列データＨＰＴを画像化して、左手関節位置画像ＬＪＰＩと右手関節位置画像ＲＪＰＩを生成する。また、関節時系列データ画像化部１２２は、関節速度時系列データＨＶＴを画像化して、左手関節速度画像ＬＪＶＩと右手関節速度画像ＲＪＶＩを生成する。
そして、関節時系列データ画像化部２２２は、左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩと左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩを学習データ生成部２２３に出力する。
本実施の形態に係る左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩと左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩは、実施の形態１で説明した左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩと左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩと同様である。
【0106】
＊＊学習データ生成部２２３の説明＊＊
学習データ生成部２２３は、関節時系列データ画像化部２２２から、左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩと左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩを取得する。
また、学習データ生成部２２３は、ラベル情報ＬＢＬｉｎｆを、例えば、学習装置２００のユーザから取得する。
ラベル情報ＬＢＬｉｎｆには、複数のラベルＬＢＬが含まれる。各ラベルＬＢＬには、開始時刻ｔｓ、終了時刻ｔｅ及び要素作業種類ｔｙｐが含まれる。ここでは、学習装置２００のユーザがマニュアルで開始時刻ｔｓ及び終了時刻ｔｅと要素作業の種類ｔｙｐとを対応付けることとしている。しかし、他の方法で開始時刻ｔｓ及び終了時刻ｔｅと要素作業の種類ｔｙｐとを対応付けてもよい。
開始時刻ｔｓには、作業実施時間帯の開始時刻が示される。
終了時刻ｔｅには、作業実施時間帯の開始時刻が示される。
要素作業種類ｔｙｐには、作業実施時間帯で実施されている要素作業の種類が示される。
学習データ生成部２２３は、関節時系列データ画像化部２２２から、左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩと左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩを取得する。
また、学習データ生成部２２３は、ラベル情報ＬＢＬｉｎｆを、例えば、学習装置２００のユーザから取得する。
ラベル情報ＬＢＬｉｎｆには、複数のラベルＬＢＬが含まれる。各ラベルＬＢＬには、開始時刻ｔｓ、終了時刻ｔｅ及び要素作業種類ｔｙｐが含まれる。ここでは、学習装置２００のユーザがマニュアルで開始時刻ｔｓ及び終了時刻ｔｅと要素作業の種類ｔｙｐとを対応付けることとしている。しかし、他の方法で開始時刻ｔｓ及び終了時刻ｔｅと要素作業の種類ｔｙｐとを対応付けてもよい。
開始時刻ｔｓには、作業実施時間帯の開始時刻が示される。
終了時刻ｔｅには、作業実施時間帯の開始時刻が示される。
要素作業種類ｔｙｐには、作業実施時間帯で実施されている要素作業の種類が示される。
【0107】
学習データ生成部２２３は、左手関節位置画像ＬＪＰＩから、ラベル情報ＬＢＬｉｎｆのラベルＬＢＬごとに、開始時刻ｔｓに相当する画像位置から終了時刻ｔｅに相当する画像位置までの画像領域を左手関節位置ラベル画像ｓＬＪＰＩとして抽出する。そして、学習データ生成部２２３は、抽出した左手関節位置ラベル画像ｓＬＪＰＩとラベルＬＢＬとを対応付ける。
また、学習データ生成部２２３は、右手関節位置画像ＲＪＰＩから、ラベル情報ＬＢＬｉｎｆのラベルＬＢＬごとに、開始時刻ｔｓに相当する画像位置から終了時刻ｔｅに相当する画像位置までの画像領域を右手関節位置ラベル画像ｓＲＪＰＩとして抽出する。そして、学習データ生成部２２３は、抽出した右手関節位置ラベル画像ｓＲＪＰＩとラベルＬＢＬとを対応付ける。
また、左手関節速度画像ＬＪＶＩから、ラベル情報ＬＢＬｉｎｆのラベルＬＢＬごとに、開始時刻ｔｓに相当する画像位置から終了時刻ｔｅに相当する画像位置までの画像領域を左手関節速度ラベル画像ｓＬＪＶＩとして抽出する。そして、学習データ生成部２２３は、抽出した左手関節速度ラベル画像ｓＬＪＶＩとラベルＬＢＬとを対応付ける。
また、学習データ生成部２２３は、右手関節速度画像ＲＪＶＩから、ラベル情報ＬＢＬｉｎｆのラベルＬＢＬごとに、開始時刻ｔｓに相当する画像位置から終了時刻ｔｅに相当する画像位置までの画像領域を右手関節速度ラベル画像ｓＲＪＶＩとして抽出する。そして、学習データ生成部２２３は、抽出した右手関節速度ラベル画像ｓＲＪＶＩとラベルＬＢＬとを対応付ける。
更に、学習データ生成部２２３は、左手関節位置ラベル画像ｓＬＪＰＩとラベルＬＢＬとの複数の対、右手関節位置ラベル画像ｓＲＪＰＩとラベルＬＢＬとの複数の対、左手関節速度ラベル画像ｓＬＪＶＩとラベルＬＢＬとの複数の対、右手関節速度ラベル画像ｓＲＪＶＩとラベルＬＢＬとの複数の対を、学習データｓＩｓとして学習データ保存部２３０に格納する。
また、学習データ生成部２２３は、右手関節位置画像ＲＪＰＩから、ラベル情報ＬＢＬｉｎｆのラベルＬＢＬごとに、開始時刻ｔｓに相当する画像位置から終了時刻ｔｅに相当する画像位置までの画像領域を右手関節位置ラベル画像ｓＲＪＰＩとして抽出する。そして、学習データ生成部２２３は、抽出した右手関節位置ラベル画像ｓＲＪＰＩとラベルＬＢＬとを対応付ける。
また、左手関節速度画像ＬＪＶＩから、ラベル情報ＬＢＬｉｎｆのラベルＬＢＬごとに、開始時刻ｔｓに相当する画像位置から終了時刻ｔｅに相当する画像位置までの画像領域を左手関節速度ラベル画像ｓＬＪＶＩとして抽出する。そして、学習データ生成部２２３は、抽出した左手関節速度ラベル画像ｓＬＪＶＩとラベルＬＢＬとを対応付ける。
また、学習データ生成部２２３は、右手関節速度画像ＲＪＶＩから、ラベル情報ＬＢＬｉｎｆのラベルＬＢＬごとに、開始時刻ｔｓに相当する画像位置から終了時刻ｔｅに相当する画像位置までの画像領域を右手関節速度ラベル画像ｓＲＪＶＩとして抽出する。そして、学習データ生成部２２３は、抽出した右手関節速度ラベル画像ｓＲＪＶＩとラベルＬＢＬとを対応付ける。
更に、学習データ生成部２２３は、左手関節位置ラベル画像ｓＬＪＰＩとラベルＬＢＬとの複数の対、右手関節位置ラベル画像ｓＲＪＰＩとラベルＬＢＬとの複数の対、左手関節速度ラベル画像ｓＬＪＶＩとラベルＬＢＬとの複数の対、右手関節速度ラベル画像ｓＲＪＶＩとラベルＬＢＬとの複数の対を、学習データｓＩｓとして学習データ保存部２３０に格納する。
【0108】
＊＊前処理統計量計算部２２４の説明＊＊
前処理統計量計算部２２４は、学習データ保存部２３０から学習データｓＩｓを取得する。
具体的には、前処理統計量計算部２２４は、学習データｓＩｓとして、左手関節位置ラベル画像ｓＬＪＰＩとラベルＬＢＬとの複数の対、右手関節位置ラベル画像ｓＲＪＰＩとラベルＬＢＬとの複数の対、左手関節速度ラベル画像ｓＬＪＶＩとラベルＬＢＬとの複数の対、右手関節速度ラベル画像ｓＲＪＶＩとラベルＬＢＬとの複数の対を取得する。
前処理統計量計算部２２４は、学習データ保存部２３０から学習データｓＩｓを取得する。
具体的には、前処理統計量計算部２２４は、学習データｓＩｓとして、左手関節位置ラベル画像ｓＬＪＰＩとラベルＬＢＬとの複数の対、右手関節位置ラベル画像ｓＲＪＰＩとラベルＬＢＬとの複数の対、左手関節速度ラベル画像ｓＬＪＶＩとラベルＬＢＬとの複数の対、右手関節速度ラベル画像ｓＲＪＶＩとラベルＬＢＬとの複数の対を取得する。
【0109】
そして、前処理統計量計算部２２４は、学習データｓＩｓから、前処理統計量として関節位置輝度平均値ＰＭ、関節位置輝度標準偏差ＰＳ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを計算する。
具体的には、前処理統計量計算部２２４は、学習データｓＩｓに含まれる複数の左手関節位置ラベル画像ｓＬＪＰＩにおける輝度の平均値を座標軸Ｃごとに計算する。前処理統計量計算部２２４が左手関節位置ラベル画像ｓＬＪＰＩから計算した座標軸Ｃごとの平均値は、左手関節位置輝度平均値ＬＰＭ（Ｃ）である。
また、前処理統計量計算部２２４は、学習データｓＩｓに含まれる複数の右手関節位置ラベル画像ｓＲＪＰＩにおける輝度の平均値を座標軸Ｃごとに計算する。前処理統計量計算部２２４が右手関節位置ラベル画像ｓＲＪＰＩから計算した座標軸Ｃごとの平均値は、右手関節位置輝度平均値ＲＰＭ（Ｃ）である。
更に、前処理統計量計算部２２４は、学習データｓＩｓに含まれる複数の左手関節位置ラベル画像ｓＬＪＰＩにおける輝度の標準偏差を座標軸Ｃごとに計算する。前処理統計量計算部２２４が左手関節位置ラベル画像ｓＬＪＰＩから計算した座標軸Ｃごとの標準偏差は、左手関節位置輝度標準偏差ＬＰＳ（Ｃ）である。
また、前処理統計量計算部２２４は、学習データｓＩｓに含まれる複数の右手関節位置ラベル画像ｓＲＪＰＩにおける輝度の標準偏差を座標軸Ｃごとに計算する。前処理統計量計算部２２４が右手関節位置ラベル画像ｓＲＪＰＩから計算した座標軸Ｃごとの標準偏差は、右手関節位置輝度標準偏差ＲＰＳ（Ｃ）である。
なお、上記のように、左手についての輝度平均値及び輝度標準偏差と右手についての輝度平均値及び輝度標準偏差を用いるのではなく、左手と右手の両者にわたる輝度平均値及び輝度標準偏差を用いるようにしてもよい。以下では、左手についての輝度平均値及び輝度標準偏差と右手についての輝度平均値及び輝度標準偏差を用いる例を説明するが、以下の説明は左手と右手の両者にわたる輝度平均値及び輝度標準偏差を用いる場合にも適用される。
具体的には、前処理統計量計算部２２４は、学習データｓＩｓに含まれる複数の左手関節位置ラベル画像ｓＬＪＰＩにおける輝度の平均値を座標軸Ｃごとに計算する。前処理統計量計算部２２４が左手関節位置ラベル画像ｓＬＪＰＩから計算した座標軸Ｃごとの平均値は、左手関節位置輝度平均値ＬＰＭ（Ｃ）である。
また、前処理統計量計算部２２４は、学習データｓＩｓに含まれる複数の右手関節位置ラベル画像ｓＲＪＰＩにおける輝度の平均値を座標軸Ｃごとに計算する。前処理統計量計算部２２４が右手関節位置ラベル画像ｓＲＪＰＩから計算した座標軸Ｃごとの平均値は、右手関節位置輝度平均値ＲＰＭ（Ｃ）である。
更に、前処理統計量計算部２２４は、学習データｓＩｓに含まれる複数の左手関節位置ラベル画像ｓＬＪＰＩにおける輝度の標準偏差を座標軸Ｃごとに計算する。前処理統計量計算部２２４が左手関節位置ラベル画像ｓＬＪＰＩから計算した座標軸Ｃごとの標準偏差は、左手関節位置輝度標準偏差ＬＰＳ（Ｃ）である。
また、前処理統計量計算部２２４は、学習データｓＩｓに含まれる複数の右手関節位置ラベル画像ｓＲＪＰＩにおける輝度の標準偏差を座標軸Ｃごとに計算する。前処理統計量計算部２２４が右手関節位置ラベル画像ｓＲＪＰＩから計算した座標軸Ｃごとの標準偏差は、右手関節位置輝度標準偏差ＲＰＳ（Ｃ）である。
なお、上記のように、左手についての輝度平均値及び輝度標準偏差と右手についての輝度平均値及び輝度標準偏差を用いるのではなく、左手と右手の両者にわたる輝度平均値及び輝度標準偏差を用いるようにしてもよい。以下では、左手についての輝度平均値及び輝度標準偏差と右手についての輝度平均値及び輝度標準偏差を用いる例を説明するが、以下の説明は左手と右手の両者にわたる輝度平均値及び輝度標準偏差を用いる場合にも適用される。
【0110】
また、前処理統計量計算部２２４は、学習データｓＩｓに含まれる複数の左手関節速度ラベル画像ｓＬＪＶＩにおける輝度の平均値を座標軸Ｃごとに計算する。前処理統計量計算部２２４が左手関節速度ラベル画像ｓＬＪＶＩから計算した座標軸Ｃごとの平均値は、左手関節速度輝度平均値ＬＶＭ（Ｃ）である。
また、前処理統計量計算部２２４は、学習データｓＩｓに含まれる複数の右手関節速度ラベル画像ｓＲＪＶＩにおける輝度の平均値を座標軸Ｃごとに計算する。前処理統計量計算部２２４が右手関節速度ラベル画像ｓＲＪＶＩから計算した座標軸Ｃごとの平均値は、右手関節速度輝度平均値ＲＶＭ（Ｃ）である。
更に、前処理統計量計算部２２４は、学習データｓＩｓに含まれる複数の左手関節速度ラベル画像ｓＬＪＶＩにおける輝度の標準偏差を座標軸Ｃごとに計算する。前処理統計量計算部２２４が左手関節速度ラベル画像ｓＬＪＶＩから計算した座標軸Ｃごとの標準偏差は、左手関節速度輝度標準偏差ＬＶＳ（Ｃ）である。
また、前処理統計量計算部２２４は、学習データｓＩｓに含まれる複数の右手関節速度ラベル画像ｓＲＪＶＩにおける輝度の標準偏差を座標軸Ｃごとに計算する。前処理統計量計算部２２４が右手関節速度ラベル画像ｓＲＪＶＩから計算した座標軸Ｃごとの標準偏差は、右手関節速度輝度標準偏差ＲＶＳ（Ｃ）である。
なお、上記のように、左手についての輝度平均値及び輝度標準偏差と右手についての輝度平均値及び輝度標準偏差を用いるのではなく、左手と右手の両者にわたる輝度平均値及び輝度標準偏差を用いるようにしてもよい。以下では、左手についての輝度平均値及び輝度標準偏差と右手についての輝度平均値及び輝度標準偏差を用いる例を説明するが、以下の説明は左手と右手の両者にわたる輝度平均値及び輝度標準偏差を用いる場合にも適用される。
また、前処理統計量計算部２２４は、学習データｓＩｓに含まれる複数の右手関節速度ラベル画像ｓＲＪＶＩにおける輝度の平均値を座標軸Ｃごとに計算する。前処理統計量計算部２２４が右手関節速度ラベル画像ｓＲＪＶＩから計算した座標軸Ｃごとの平均値は、右手関節速度輝度平均値ＲＶＭ（Ｃ）である。
更に、前処理統計量計算部２２４は、学習データｓＩｓに含まれる複数の左手関節速度ラベル画像ｓＬＪＶＩにおける輝度の標準偏差を座標軸Ｃごとに計算する。前処理統計量計算部２２４が左手関節速度ラベル画像ｓＬＪＶＩから計算した座標軸Ｃごとの標準偏差は、左手関節速度輝度標準偏差ＬＶＳ（Ｃ）である。
また、前処理統計量計算部２２４は、学習データｓＩｓに含まれる複数の右手関節速度ラベル画像ｓＲＪＶＩにおける輝度の標準偏差を座標軸Ｃごとに計算する。前処理統計量計算部２２４が右手関節速度ラベル画像ｓＲＪＶＩから計算した座標軸Ｃごとの標準偏差は、右手関節速度輝度標準偏差ＲＶＳ（Ｃ）である。
なお、上記のように、左手についての輝度平均値及び輝度標準偏差と右手についての輝度平均値及び輝度標準偏差を用いるのではなく、左手と右手の両者にわたる輝度平均値及び輝度標準偏差を用いるようにしてもよい。以下では、左手についての輝度平均値及び輝度標準偏差と右手についての輝度平均値及び輝度標準偏差を用いる例を説明するが、以下の説明は左手と右手の両者にわたる輝度平均値及び輝度標準偏差を用いる場合にも適用される。
【0111】
前処理統計量計算部２２４は、関節位置輝度平均値ＰＭ、関節位置輝度標準偏差ＰＳ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを前処理統計量保存部２３１に格納する。
【0112】
＊＊要素作業推定モデル生成部２２５の説明＊＊
要素作業推定モデル生成部２２５は、学習データ保存部２３０から、学習データｓＩｓを取得する。具体的には、要素作業推定モデル生成部２２５は、学習データｓＩｓとして、左手関節位置ラベル画像ｓＬＪＰＩとラベルＬＢＬとの複数の対、右手関節位置ラベル画像ｓＲＪＰＩとラベルＬＢＬとの複数の対、左手関節速度ラベル画像ｓＬＪＶＩとラベルＬＢＬとの複数の対、右手関節速度ラベル画像ｓＲＪＶＩとラベルＬＢＬとの複数の対を取得する。
また、要素作業推定モデル生成部２２５は、前処理統計量保存部２３１から、関節位置輝度平均値ＰＭ、関節位置輝度標準偏差ＰＳ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得する。
要素作業推定モデル生成部２２５は、学習データ保存部２３０から、学習データｓＩｓを取得する。具体的には、要素作業推定モデル生成部２２５は、学習データｓＩｓとして、左手関節位置ラベル画像ｓＬＪＰＩとラベルＬＢＬとの複数の対、右手関節位置ラベル画像ｓＲＪＰＩとラベルＬＢＬとの複数の対、左手関節速度ラベル画像ｓＬＪＶＩとラベルＬＢＬとの複数の対、右手関節速度ラベル画像ｓＲＪＶＩとラベルＬＢＬとの複数の対を取得する。
また、要素作業推定モデル生成部２２５は、前処理統計量保存部２３１から、関節位置輝度平均値ＰＭ、関節位置輝度標準偏差ＰＳ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得する。
【0113】
次に、要素作業推定モデル生成部２２５は、学習データｓＩＳに含まれる左手関節位置ラベル画像ｓＬＪＰＩを、一定の幅及び高さをもつ画像にリサイズする。
更に、要素作業推定モデル生成部２２５は、リサイズ後の左手関節位置ラベル画像ｓＬＪＰＩの画素値を座標軸Ｃごとに関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳを用いて標準化する。
具体的には、要素作業推定モデル生成部２２５は、リサイズ後の左手関節位置ラベル画像ｓＬＪＰＩの画素値を左手関節位置輝度平均値ＬＰＭ（Ｃ）と左手関節位置輝度標準偏差ＬＰＳ（Ｃ）を用いて標準化する。
更に、要素作業推定モデル生成部２２５は、リサイズ後の左手関節位置ラベル画像ｓＬＪＰＩの画素値を座標軸Ｃごとに関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳを用いて標準化する。
具体的には、要素作業推定モデル生成部２２５は、リサイズ後の左手関節位置ラベル画像ｓＬＪＰＩの画素値を左手関節位置輝度平均値ＬＰＭ（Ｃ）と左手関節位置輝度標準偏差ＬＰＳ（Ｃ）を用いて標準化する。
【0114】
また、要素作業推定モデル生成部２２５は、学習データｓＩＳに含まれる右手関節位置ラベル画像ｓＲＪＰＩを、一定の幅及び高さをもつ画像にリサイズする。
更に、要素作業推定モデル生成部２２５は、リサイズ後の右手関節位置ラベル画像ｓＲＪＰＩの画素値を座標軸Ｃごとに関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳを用いて標準化する。
具体的には、要素作業推定モデル生成部２２５は、リサイズ後の右手関節位置ラベル画像ｓＲＪＰＩの画素値を右手関節位置輝度平均値ＲＰＭ（Ｃ）と右手関節位置輝度標準偏差ＲＰＳ（Ｃ）を用いて標準化する。
更に、要素作業推定モデル生成部２２５は、リサイズ後の右手関節位置ラベル画像ｓＲＪＰＩの画素値を座標軸Ｃごとに関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳを用いて標準化する。
具体的には、要素作業推定モデル生成部２２５は、リサイズ後の右手関節位置ラベル画像ｓＲＪＰＩの画素値を右手関節位置輝度平均値ＲＰＭ（Ｃ）と右手関節位置輝度標準偏差ＲＰＳ（Ｃ）を用いて標準化する。
【0115】
また、要素作業推定モデル生成部２２５は、学習データｓＩＳに含まれる左手関節速度ラベル画像ｓＬＪＶＩを、一定の幅及び高さをもつ画像にリサイズする。
更に、要素作業推定モデル生成部２２５は、リサイズ後の左手関節速度ラベル画像ｓＬＪＶＩの画素値を座標軸Ｃごとに関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを用いて標準化する。
具体的には、要素作業推定モデル生成部２２５は、リサイズ後の左手関節速度ラベル画像ｓＬＪＶＩの画素値を左手関節速度輝度平均値ＬＶＭ（Ｃ）と左手関節速度輝度標準偏差ＬＶＳ（Ｃ）を用いて標準化する。
更に、要素作業推定モデル生成部２２５は、リサイズ後の左手関節速度ラベル画像ｓＬＪＶＩの画素値を座標軸Ｃごとに関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを用いて標準化する。
具体的には、要素作業推定モデル生成部２２５は、リサイズ後の左手関節速度ラベル画像ｓＬＪＶＩの画素値を左手関節速度輝度平均値ＬＶＭ（Ｃ）と左手関節速度輝度標準偏差ＬＶＳ（Ｃ）を用いて標準化する。
【0116】
また、要素作業推定モデル生成部２２５は、学習データｓＩＳに含まれる右手関節速度ラベル画像ｓＲＪＶＩを、一定の幅及び高さをもつ画像にリサイズする。
更に、要素作業推定モデル生成部２２５は、リサイズ後の右手関節速度ラベル画像ｓＲＪＶＩの画素値を座標軸Ｃごとに関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを用いて標準化する。
具体的には、要素作業推定モデル生成部２２５は、リサイズ後の右手関節速度ラベル画像ｓＲＪＶＩの画素値を右手関節速度輝度平均値ＲＶＭ（Ｃ）と右手関節速度輝度標準偏差ＲＶＳ（Ｃ）を用いて標準化する。
更に、要素作業推定モデル生成部２２５は、リサイズ後の右手関節速度ラベル画像ｓＲＪＶＩの画素値を座標軸Ｃごとに関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを用いて標準化する。
具体的には、要素作業推定モデル生成部２２５は、リサイズ後の右手関節速度ラベル画像ｓＲＪＶＩの画素値を右手関節速度輝度平均値ＲＶＭ（Ｃ）と右手関節速度輝度標準偏差ＲＶＳ（Ｃ）を用いて標準化する。
【0117】
次に、要素作業推定モデル生成部２２５は、リサイズ及び標準化の後の各ラベル画像を、事前に定義したニューラルネットワークに入力する。ニューラルネットワークに入力するラベル画像は、リサイズ及び標準化の後の左手関節位置ラベル画像ｓＬＪＰＩ、リサイズ及び標準化の後の右手関節位置ラベル画像ｓＲＪＰＩ、リサイズ及び標準化の後の左手関節速度ラベル画像ｓＬＪＶＩ、及びリサイズ及び標準化の後の右手関節速度ラベル画像ｓＲＪＶＩである。
ニューラルネットワークは事前学習済みの畳み込みニューラルネットワークと全結合層を組み合わせたものとする。また、事前学習済みの畳み込みニューラルネットワークについて、利用する層の数及び層の種類等の組み合わせは、学習装置２００のユーザが任意に指定する。
ニューラルネットワークは事前学習済みの畳み込みニューラルネットワークと全結合層を組み合わせたものとする。また、事前学習済みの畳み込みニューラルネットワークについて、利用する層の数及び層の種類等の組み合わせは、学習装置２００のユーザが任意に指定する。
【0118】
要素作業推定モデル生成部２２５は、畳み込みニューラルネットワークによって抽出された各ラベル画像の特徴マップを取得する。
リサイズ及び標準化の後の左手関節位置ラベル画像ｓＬＪＰＩの特徴マップを、特徴マップｆＬＰという。
リサイズ及び標準化の後の右手関節位置ラベル画像ｓＲＪＰＩの特徴マップを、特徴マップｆＲＰという。
リサイズ及び標準化の後の左手関節速度ラベル画像ｓＬＪＶＩの特徴マップを、特徴マップｆＬＶという。
リサイズ及び標準化の後の右手関節速度ラベル画像ｓＲＪＶＩの特徴マップを、特徴マップｆＲＶという。
リサイズ及び標準化の後の左手関節位置ラベル画像ｓＬＪＰＩの特徴マップを、特徴マップｆＬＰという。
リサイズ及び標準化の後の右手関節位置ラベル画像ｓＲＪＰＩの特徴マップを、特徴マップｆＲＰという。
リサイズ及び標準化の後の左手関節速度ラベル画像ｓＬＪＶＩの特徴マップを、特徴マップｆＬＶという。
リサイズ及び標準化の後の右手関節速度ラベル画像ｓＲＪＶＩの特徴マップを、特徴マップｆＲＶという。
【0119】
要素作業推定モデル生成部２２５は、これら特徴マップｆＬＰ、特徴マップｆＲＰ、特徴マップｆＬＶ及び特徴マップｆＲＶをベクトル化して結合する。
更に、要素作業推定モデル生成部２２５は、結合後の特徴マップを、ニューラルネットワークに入力し、ニューラルネットワークの重みを学習し、要素作業推定モデルＭを生成する。
そして、要素作業推定モデル生成部２２５は、要素作業推定モデルＭを要素作業推定モデル保存部２３２に格納する。
更に、要素作業推定モデル生成部２２５は、結合後の特徴マップを、ニューラルネットワークに入力し、ニューラルネットワークの重みを学習し、要素作業推定モデルＭを生成する。
そして、要素作業推定モデル生成部２２５は、要素作業推定モデルＭを要素作業推定モデル保存部２３２に格納する。
【0120】
＊＊学習データ保存部２３０の説明＊＊
学習データ保存部２３０は、学習データｓＩｓを保存する。
学習データ保存部２３０は、学習データｓＩｓを保存する。
【0121】
＊＊前処理統計量保存部２３１の説明＊＊
前処理統計量保存部２３１は、前処理統計量（関節位置輝度平均値ＰＭ、関節位置輝度標準偏差ＰＳ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳ）を保存する。
前処理統計量保存部２３１は、前処理統計量（関節位置輝度平均値ＰＭ、関節位置輝度標準偏差ＰＳ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳ）を保存する。
【0122】
＊＊要素作業推定モデル保存部２３２の説明＊＊
要素作業推定モデル保存部２３２は、要素作業推定モデルＭを保存する。
要素作業推定モデル保存部２３２は、要素作業推定モデルＭを保存する。
【0123】
＊＊要素作業推定モデル生成部２２５の内部構成例の説明＊＊
図１３は、要素作業推定モデル生成部２２５の内部構成例を示す。
図１３を用いて、要素作業推定モデル生成部２２５の内部構成例を説明する。
なお、図１３では、学習装置２００の機能構成要素のうち、要素作業推定モデル生成部２２５の内部構成例を説明するのに必要な機能構成要素のみが図示されている。
図１３は、要素作業推定モデル生成部２２５の内部構成例を示す。
図１３を用いて、要素作業推定モデル生成部２２５の内部構成例を説明する。
なお、図１３では、学習装置２００の機能構成要素のうち、要素作業推定モデル生成部２２５の内部構成例を説明するのに必要な機能構成要素のみが図示されている。
【0124】
要素作業推定モデル生成部２２５は、内部構成として、関節位置画像取得部２２５１、関節速度画像取得部２２５２、関節位置特徴抽出部２２５３、関節速度特徴抽出部２２５４及び関節特徴分類学習部２２５５を有する。
関節位置画像取得部２２５１は、図８に示す関節位置画像取得部１２４１に相当する。
関節速度画像取得部２２５２は、図８に示す関節速度画像取得部１２４２に相当する。
関節位置特徴抽出部２２５３は、図８に示す関節位置特徴抽出部１２４３に相当する。
関節速度特徴抽出部２２５４は、図８に示す関節速度特徴抽出部１２４４に相当する。
関節画像特徴分類学習部２２５５は、図８に示す関節画像特徴分類部１２４５に相当する。
関節位置画像取得部２２５１は、図８に示す関節位置画像取得部１２４１に相当する。
関節速度画像取得部２２５２は、図８に示す関節速度画像取得部１２４２に相当する。
関節位置特徴抽出部２２５３は、図８に示す関節位置特徴抽出部１２４３に相当する。
関節速度特徴抽出部２２５４は、図８に示す関節速度特徴抽出部１２４４に相当する。
関節画像特徴分類学習部２２５５は、図８に示す関節画像特徴分類部１２４５に相当する。
【0125】
＊＊関節位置画像取得部２２５１の説明＊＊
関節位置画像取得部２２５１は、学習データ保存部２３０から、学習データｓＩｓを取得する。
具体的は、関節位置画像取得部２２５１は、学習データｓＩｓとして、左手関節位置ラベル画像ｓＬＪＰＩとラベルＬＢＬとの複数の対、右手関節位置ラベル画像ｓＲＪＰＩとラベルＬＢＬとの複数の対、左手関節速度ラベル画像ｓＬＪＶＩとラベルＬＢＬとの複数の対、右手関節速度ラベル画像ｓＲＪＶＩとラベルＬＢＬとの複数の対を取得する。
また、関節位置画像取得部２２５１は、前処理統計量保存部２３１から、前処理統計量を取得する。具体的には、関節位置画像取得部２２５１は、前処理統計量として関節位置輝度平均値ＰＭ、関節位置輝度標準偏差ＰＳ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得する。
関節位置画像取得部２２５１は、学習データ保存部２３０から、学習データｓＩｓを取得する。
具体的は、関節位置画像取得部２２５１は、学習データｓＩｓとして、左手関節位置ラベル画像ｓＬＪＰＩとラベルＬＢＬとの複数の対、右手関節位置ラベル画像ｓＲＪＰＩとラベルＬＢＬとの複数の対、左手関節速度ラベル画像ｓＬＪＶＩとラベルＬＢＬとの複数の対、右手関節速度ラベル画像ｓＲＪＶＩとラベルＬＢＬとの複数の対を取得する。
また、関節位置画像取得部２２５１は、前処理統計量保存部２３１から、前処理統計量を取得する。具体的には、関節位置画像取得部２２５１は、前処理統計量として関節位置輝度平均値ＰＭ、関節位置輝度標準偏差ＰＳ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得する。
【0126】
そして、関節位置画像取得部２２５１は、左手関節位置ラベル画像ｓＬＪＰＩを、一定の幅及び高さをもつ画像にリサイズする。更に、関節位置画像取得部２２５１は、リサイズ後の左手関節位置ラベル画像ｓＬＪＰＩの画素値を座標軸Ｃごとに左手関節位置輝度平均値ＬＰＭ（Ｃ）と左手関節位置輝度標準偏差ＬＰＳ（Ｃ）を用いて標準化する。
また、関節位置画像取得部２２５１は、右手関節位置ラベル画像ｓＲＪＰＩを、一定の幅及び高さをもつ画像にリサイズする。更に、関節位置画像取得部２２５１は、リサイズ後の右手関節位置ラベル画像ｓＲＪＰＩの画素値を座標軸Ｃごとに右手関節位置輝度平均値ＲＰＭ（Ｃ）と右手関節位置輝度標準偏差ＲＰＳ（Ｃ）を用いて標準化する。
関節位置画像取得部２２５１は、リサイズ及び標準化の後の左手関節位置ラベル画像ｓＬＪＰＩ、リサイズ及び標準化の後の右手関節位置ラベル画像ｓＲＪＰＩを関節位置特徴抽出部２２５３に出力する。
なお、上記のように、左手についての輝度平均値及び輝度標準偏差と右手についての輝度平均値及び輝度標準偏差を用いるのではなく、左手と右手の両者にわたる輝度平均値及び輝度標準偏差を用いるようにしてもよい。以下では、左手についての輝度平均値及び輝度標準偏差と右手についての輝度平均値及び輝度標準偏差を用いる例を説明するが、以下の説明は左手と右手の両者にわたる輝度平均値及び輝度標準偏差を用いる場合にも適用される。
また、関節位置画像取得部２２５１は、右手関節位置ラベル画像ｓＲＪＰＩを、一定の幅及び高さをもつ画像にリサイズする。更に、関節位置画像取得部２２５１は、リサイズ後の右手関節位置ラベル画像ｓＲＪＰＩの画素値を座標軸Ｃごとに右手関節位置輝度平均値ＲＰＭ（Ｃ）と右手関節位置輝度標準偏差ＲＰＳ（Ｃ）を用いて標準化する。
関節位置画像取得部２２５１は、リサイズ及び標準化の後の左手関節位置ラベル画像ｓＬＪＰＩ、リサイズ及び標準化の後の右手関節位置ラベル画像ｓＲＪＰＩを関節位置特徴抽出部２２５３に出力する。
なお、上記のように、左手についての輝度平均値及び輝度標準偏差と右手についての輝度平均値及び輝度標準偏差を用いるのではなく、左手と右手の両者にわたる輝度平均値及び輝度標準偏差を用いるようにしてもよい。以下では、左手についての輝度平均値及び輝度標準偏差と右手についての輝度平均値及び輝度標準偏差を用いる例を説明するが、以下の説明は左手と右手の両者にわたる輝度平均値及び輝度標準偏差を用いる場合にも適用される。
【0127】
また、関節位置画像取得部２２５１は、左手関節速度ラベル画像ｓＬＪＶＩ、右手関節速度ラベル画像ｓＲＪＶＩ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを、関節速度画像取得部２２５２に出力する。
ここでは、関節位置画像取得部２２５１が、左手関節速度ラベル画像ｓＬＪＶＩ、右手関節速度ラベル画像ｓＲＪＶＩ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得し、これらを関節速度画像取得部２２５２に出力する例を説明している。
これに代えて、関節速度画像取得部２２５２が、学習データ保存部２３０から左手関節速度ラベル画像ｓＬＪＶＩ及び右手関節速度ラベル画像ｓＲＪＶＩを取得し、前処理統計量保存部２３１から、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得するようにしてもよい。この場合は、関節位置画像取得部２２５１は、学習データ保存部２３０から左手関節位置ラベル画像ｓＬＪＰＩ及び右手関節位置ラベル画像ｓＲＪＰＩのみを取得し、前処理統計量保存部２３１から関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳのみを取得する。
ここでは、関節位置画像取得部２２５１が、左手関節速度ラベル画像ｓＬＪＶＩ、右手関節速度ラベル画像ｓＲＪＶＩ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得し、これらを関節速度画像取得部２２５２に出力する例を説明している。
これに代えて、関節速度画像取得部２２５２が、学習データ保存部２３０から左手関節速度ラベル画像ｓＬＪＶＩ及び右手関節速度ラベル画像ｓＲＪＶＩを取得し、前処理統計量保存部２３１から、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得するようにしてもよい。この場合は、関節位置画像取得部２２５１は、学習データ保存部２３０から左手関節位置ラベル画像ｓＬＪＰＩ及び右手関節位置ラベル画像ｓＲＪＰＩのみを取得し、前処理統計量保存部２３１から関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳのみを取得する。
【0128】
＊＊関節速度画像取得部２２５２の説明＊＊
関節速度画像取得部２２５２は、関節位置画像取得部２２５１から、左手関節速度ラベル画像ｓＬＪＶＩ、右手関節速度ラベル画像ｓＲＪＶＩ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得する。
そして、関節速度画像取得部２２５２は、左手関節速度ラベル画像ｓＬＪＶＩを、一定の幅及び高さをもつ画像にリサイズする。更に、関節速度画像取得部２２５２は、リサイズ後の左手関節速度ラベル画像ｓＬＪＶＩの画素値を座標軸Ｃごとに左手関節速度輝度平均値ＬＶＭ（Ｃ）と左手関節速度輝度標準偏差ＬＶＳ（Ｃ）を用いて標準化する。
また、関節速度画像取得部２２５２は、右手関節速度ラベル画像ｓＲＪＰＩを、一定の幅及び高さをもつ画像にリサイズする。更に、関節速度画像取得部２２５２は、リサイズ後の右手関節速度ラベル画像ｓＲＪＶＩの画素値を座標軸Ｃごとに右手関節速度輝度平均値ＲＶＭ（Ｃ）と右手関節速度輝度標準偏差ＲＶＳ（Ｃ）を用いて標準化する。
関節速度画像取得部２２５２は、リサイズ及び標準化の後の左手関節速度ラベル画像ｓＬＪＶＩ、リサイズ及び標準化の後の右手関節速度ラベル画像ｓＲＪＶＩを関節速度特徴抽出部２２５４に出力する。
関節速度画像取得部２２５２は、関節位置画像取得部２２５１から、左手関節速度ラベル画像ｓＬＪＶＩ、右手関節速度ラベル画像ｓＲＪＶＩ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得する。
そして、関節速度画像取得部２２５２は、左手関節速度ラベル画像ｓＬＪＶＩを、一定の幅及び高さをもつ画像にリサイズする。更に、関節速度画像取得部２２５２は、リサイズ後の左手関節速度ラベル画像ｓＬＪＶＩの画素値を座標軸Ｃごとに左手関節速度輝度平均値ＬＶＭ（Ｃ）と左手関節速度輝度標準偏差ＬＶＳ（Ｃ）を用いて標準化する。
また、関節速度画像取得部２２５２は、右手関節速度ラベル画像ｓＲＪＰＩを、一定の幅及び高さをもつ画像にリサイズする。更に、関節速度画像取得部２２５２は、リサイズ後の右手関節速度ラベル画像ｓＲＪＶＩの画素値を座標軸Ｃごとに右手関節速度輝度平均値ＲＶＭ（Ｃ）と右手関節速度輝度標準偏差ＲＶＳ（Ｃ）を用いて標準化する。
関節速度画像取得部２２５２は、リサイズ及び標準化の後の左手関節速度ラベル画像ｓＬＪＶＩ、リサイズ及び標準化の後の右手関節速度ラベル画像ｓＲＪＶＩを関節速度特徴抽出部２２５４に出力する。
【0129】
＊＊関節位置特徴抽出部２２５３の説明＊＊
関節位置特徴抽出部２２５３は、関節位置画像取得部２２５１から、リサイズ及び標準化の後の左手関節位置ラベル画像ｓＬＪＰＩと、リサイズ及び標準化の後の右手関節位置ラベル画像ｓＲＪＰＩを取得する。
そして、関節位置特徴抽出部２２５３は、リサイズ及び標準化の後の左手関節位置ラベル画像ｓＬＪＰＩを事前学習済みの畳み込みニューラルネットワークに入力し、特徴ベクトルｆＬＰを得る。
関節位置特徴抽出部２２５３は、関節位置画像取得部２２５１から、リサイズ及び標準化の後の左手関節位置ラベル画像ｓＬＪＰＩと、リサイズ及び標準化の後の右手関節位置ラベル画像ｓＲＪＰＩを取得する。
そして、関節位置特徴抽出部２２５３は、リサイズ及び標準化の後の左手関節位置ラベル画像ｓＬＪＰＩを事前学習済みの畳み込みニューラルネットワークに入力し、特徴ベクトルｆＬＰを得る。
【0130】
また、関節位置特徴抽出部２２５３は、後述する関節画像特徴分類部２２５５から伝搬する損失値に基づくネットワークの学習、即ち、ネットワークのもつ重みの計算を行うこともある。例えば、事前学習済みのネットワークの重みを初期値として、すべての層の重みを更新する場合である。
重みの計算については、関節位置特徴抽出部２２５３は、例えば、一般に用いられる誤差逆伝搬法を用いる。
また、関節位置特徴抽出部２２５３は、重みの計算に、その他公知の手法を用いてもよい。
重みの計算については、関節位置特徴抽出部２２５３は、例えば、一般に用いられる誤差逆伝搬法を用いる。
また、関節位置特徴抽出部２２５３は、重みの計算に、その他公知の手法を用いてもよい。
【0131】
関節位置特徴抽出部２２５３は、学習処理として、特徴マップｆＬＰの取得、損失値Ｌの計算、重みの計算を予め定めた回数繰り返す。
最終的に、関節位置特徴抽出部２２５３は、リサイズ及び標準化の後の左手関節位置ラベル画像ｓＬＪＰＩの特徴マップｆＬＰを取得する。
また、関節位置特徴抽出部２２５３は、リサイズ及び標準化の後の右手関節位置ラベル画像ｓＲＪＰＩについても同様の処理を行い、リサイズ及び標準化の後の右手関節位置ラベル画像ｓＲＪＰＩの特徴マップｆＲＰを取得する。
関節位置特徴抽出部２２５３は、特徴マップｆＬＰと特徴マップｆＲＰを関節画像特徴分類学習部２２５５に出力する。
最終的に、関節位置特徴抽出部２２５３は、リサイズ及び標準化の後の左手関節位置ラベル画像ｓＬＪＰＩの特徴マップｆＬＰを取得する。
また、関節位置特徴抽出部２２５３は、リサイズ及び標準化の後の右手関節位置ラベル画像ｓＲＪＰＩについても同様の処理を行い、リサイズ及び標準化の後の右手関節位置ラベル画像ｓＲＪＰＩの特徴マップｆＲＰを取得する。
関節位置特徴抽出部２２５３は、特徴マップｆＬＰと特徴マップｆＲＰを関節画像特徴分類学習部２２５５に出力する。
【0132】
＊＊関節速度特徴抽出部２２５４の説明＊＊
関節速度特徴抽出部２２５４は、関節速度画像取得部２２５２から、リサイズ及び標準化の後の左手関節速度ラベル画像ｓＬＪＶＩと、リサイズ及び標準化の後の右手関節速度ラベル画像ｓＲＪＶＩを取得する。
そして、関節速度特徴抽出部２２５４は、関節位置特徴抽出部２２５３と同様の処理を行い、リサイズ及び標準化の後の左手関節速度ラベル画像ｓＬＪＶＩの特徴マップｆＬＶを取得する。また、関節速度特徴抽出部２２５４は。リサイズ及び標準化の後の右手関節速度ラベル画像ｓＲＪＶＩの特徴マップｆＲＶを取得する。
そして、関節速度特徴抽出部２２５４は、特徴マップｆＬＶと特徴マップｆＲＶを関節画像特徴分類学習部２２５５に出力する。
関節速度特徴抽出部２２５４は、関節速度画像取得部２２５２から、リサイズ及び標準化の後の左手関節速度ラベル画像ｓＬＪＶＩと、リサイズ及び標準化の後の右手関節速度ラベル画像ｓＲＪＶＩを取得する。
そして、関節速度特徴抽出部２２５４は、関節位置特徴抽出部２２５３と同様の処理を行い、リサイズ及び標準化の後の左手関節速度ラベル画像ｓＬＪＶＩの特徴マップｆＬＶを取得する。また、関節速度特徴抽出部２２５４は。リサイズ及び標準化の後の右手関節速度ラベル画像ｓＲＪＶＩの特徴マップｆＲＶを取得する。
そして、関節速度特徴抽出部２２５４は、特徴マップｆＬＶと特徴マップｆＲＶを関節画像特徴分類学習部２２５５に出力する。
【0133】
＊＊関節画像特徴分類学習部２２５５の説明＊＊
関節画像特徴分類学習部２２５５は、関節位置特徴抽出部２２５３から、特徴マップｆＬＰと特徴マップｆＲＰを取得する。
また、関節画像特徴分類学習部２２５５は、関節速度特徴抽出部２２５４から、特徴マップｆＬＶと特徴マップｆＲＶを取得する。
そして、関節画像特徴分類学習部２２５５は、特徴マップｆＬＰ、特徴マップｆＲＰ、特徴マップｆＬＶ及び特徴マップｆＲＶをベクトル化して結合する。
更に、関節画像特徴分類学習部２２５５は、結合後の特徴マップを、ニューラルネットワークに入力し、ニューラルネットワークの重みを学習し、要素作業推定モデルＭを生成する。
関節画像特徴分類学習部２２５５は、損失値Ｌの計算に、例えば、一般に分類の学習に用いるクロスエントロピーを利用する。
関節位置特徴抽出部２２５３は、ラベルＬＢＬの種類におけるデータ量のばらつきに対応するように、Ｆｏｃａｌ Ｌｏｓｓなどのインバランスデータに対応した損失値を用いてもよい。
また、関節画像特徴分類学習部２２５５は、データのばらつきに対応するように、特徴ベクトル同士の角度とラベルＬＢＬの要素作業種類ｔｙｐとの関係に基づくような距離学習を可能とする損失関数を用いてもよい。
そして、関節画像特徴分類学習部２２５５は、要素作業推定モデルＭを要素作業推定モデル保存部２３２に格納する。
関節画像特徴分類学習部２２５５は、関節位置特徴抽出部２２５３から、特徴マップｆＬＰと特徴マップｆＲＰを取得する。
また、関節画像特徴分類学習部２２５５は、関節速度特徴抽出部２２５４から、特徴マップｆＬＶと特徴マップｆＲＶを取得する。
そして、関節画像特徴分類学習部２２５５は、特徴マップｆＬＰ、特徴マップｆＲＰ、特徴マップｆＬＶ及び特徴マップｆＲＶをベクトル化して結合する。
更に、関節画像特徴分類学習部２２５５は、結合後の特徴マップを、ニューラルネットワークに入力し、ニューラルネットワークの重みを学習し、要素作業推定モデルＭを生成する。
関節画像特徴分類学習部２２５５は、損失値Ｌの計算に、例えば、一般に分類の学習に用いるクロスエントロピーを利用する。
関節位置特徴抽出部２２５３は、ラベルＬＢＬの種類におけるデータ量のばらつきに対応するように、Ｆｏｃａｌ Ｌｏｓｓなどのインバランスデータに対応した損失値を用いてもよい。
また、関節画像特徴分類学習部２２５５は、データのばらつきに対応するように、特徴ベクトル同士の角度とラベルＬＢＬの要素作業種類ｔｙｐとの関係に基づくような距離学習を可能とする損失関数を用いてもよい。
そして、関節画像特徴分類学習部２２５５は、要素作業推定モデルＭを要素作業推定モデル保存部２３２に格納する。
【0134】
【0135】
先ず、ステップＳ２１において、関節位置時系列データ取得部２２０が、撮像装置２１０からの映像Ｖから関節位置時系列データＨＰＴを生成する。
【0136】
次に、ステップＳ２２において、関節速度計算部２２１が、関節位置時系列データＨＰＴから関節速度時系列データＨＶＴを生成する。
【0137】
次に、ステップＳ２３において、関節時系列データ画像化部２２２が、関節位置時系列データＨＰＴを画像化して、左手関節位置画像ＬＪＰＩと右手関節位置画像ＲＪＰＩを生成する。また、関節時系列データ画像化部２２２が、関節速度時系列データＨＶＴを画像化して、左手関節速度画像ＬＪＶＩと右手関節速度画像ＲＪＶＩを生成する。
【0138】
次に、ステップＳ２４において、学習データ生成部２２３が学習データｓＩｓを生成する。
【0139】
次に、ステップＳ２５において、前処理統計量計算部２２４が、前処理統計量を計算する。
【0140】
最後に、ステップＳ２６において、要素作業推定モデル生成部２２５が、学習データｓＩｓと前処理統計量とを用いて、要素作業推定モデルＭを生成する。
最後に、要素作業推定モデル生成部２２５は、要素作業推定モデルＭを要素作業推定モデル保存部２３２に格納する。
最後に、要素作業推定モデル生成部２２５は、要素作業推定モデルＭを要素作業推定モデル保存部２３２に格納する。
【0141】
＊＊＊実施の形態の効果の説明＊＊＊
本実施の形態によれば、作業実施時間帯に対応する部分画像から作業実施時間帯で実施されている要素作業を推定するための要素作業推定モデルＭを生成することができる。
本実施の形態によれば、作業実施時間帯に対応する部分画像から作業実施時間帯で実施されている要素作業を推定するための要素作業推定モデルＭを生成することができる。
【0142】
実施の形態３．
本実施の形態では、実施の形態２で説明した学習装置２００の変形例として学習装置３００を説明する。より具体的には、本実施の形態では、学習装置３００は、実施の形態１で説明した作業実施時間帯検出部１２３が作業実施時間帯を検出するのに用いる学習済みモデルを生成する。
本実施の形態では、主に実施の形態２との差異を説明する。
なお、以下で説明していない事項は、実施の形態２と同様である。
本実施の形態では、実施の形態２で説明した学習装置２００の変形例として学習装置３００を説明する。より具体的には、本実施の形態では、学習装置３００は、実施の形態１で説明した作業実施時間帯検出部１２３が作業実施時間帯を検出するのに用いる学習済みモデルを生成する。
本実施の形態では、主に実施の形態２との差異を説明する。
なお、以下で説明していない事項は、実施の形態２と同様である。
【0143】
＊＊構成の説明＊＊
図１５は、本実施の形態に係る学習装置３００の機能構成例を示す。
図１５において、撮像装置３１０は、図１２に示す撮像装置２１０と同様である。
また、関節位置時系列データ取得部３２０は、図１２に示す関節位置時系列データ取得部２２０と同様である。
また、関節速度計算部３２１は、図１２に示す関節速度計算部２２１と同様である。
また、関節時系列データ画像化部３２２は、図１２に示す関節時系列データ画像化部２２２と同様である。
このため、これらについては詳細な説明を省略する。
なお、学習装置３００も、学習装置２００と同様に、図２３に例示するハードウェア構成を有するものとする。
図１５は、本実施の形態に係る学習装置３００の機能構成例を示す。
図１５において、撮像装置３１０は、図１２に示す撮像装置２１０と同様である。
また、関節位置時系列データ取得部３２０は、図１２に示す関節位置時系列データ取得部２２０と同様である。
また、関節速度計算部３２１は、図１２に示す関節速度計算部２２１と同様である。
また、関節時系列データ画像化部３２２は、図１２に示す関節時系列データ画像化部２２２と同様である。
このため、これらについては詳細な説明を省略する。
なお、学習装置３００も、学習装置２００と同様に、図２３に例示するハードウェア構成を有するものとする。
【0144】
＊＊把持道具時系列データ生成部３２５の説明
把持道具時系列データ生成部３２５は、実施の形態１で示した把持道具時系列データ生成部１２６と同様の処理を行う。
把持道具時系列データ生成部３２５は、実施の形態１で示した把持道具時系列データ生成部１２６と同様の処理を行う。
【0145】
つまり、把持道具時系列データ生成部３２５は、映像Ｖ又はセンサ情報ＲＲＳを取得する。
把持道具時系列データ生成部３２５は、映像Ｖ又はセンサ情報ＲＲＳを用いて、作業従事者の手が道具を把持しているか否かを識別する。また、作業従事者の手が道具を把持している場合は、把持道具時系列データ生成部３２５は、作業従事者の手が把持している道具の種類を識別する。
把持道具時系列データ生成部３２５は、把持道具時系列データ生成部１２６と同様の方法で、作業従事者の手が道具を把持しているか否かを識別する。また、把持道具時系列データ生成部３２５は、把持道具時系列データ生成部１２６と同様の方法で、作業従事者の手が把持している道具の種類を識別する。
把持道具時系列データ生成部３２５は、映像Ｖ又はセンサ情報ＲＲＳを用いて、作業従事者の手が道具を把持しているか否かを識別する。また、作業従事者の手が道具を把持している場合は、把持道具時系列データ生成部３２５は、作業従事者の手が把持している道具の種類を識別する。
把持道具時系列データ生成部３２５は、把持道具時系列データ生成部１２６と同様の方法で、作業従事者の手が道具を把持しているか否かを識別する。また、把持道具時系列データ生成部３２５は、把持道具時系列データ生成部１２６と同様の方法で、作業従事者の手が把持している道具の種類を識別する。
【0146】
把持道具時系列データ生成部３２５は、識別結果を示す左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１を学習データ生成部３２３に出力する。
また、把持道具時系列データ生成部３２５は、左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１を把持道具情報保存部３３３に格納する。
把持道具時系列データ生成部３２５が生成する左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１は、把持道具時系列データ生成部１２６が生成する左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１と同様である。
また、把持道具時系列データ生成部３２５は、左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１を把持道具情報保存部３３３に格納する。
把持道具時系列データ生成部３２５が生成する左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１は、把持道具時系列データ生成部１２６が生成する左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１と同様である。
【0147】
＊＊学習データ生成部３２３の説明＊＊
学習データ生成部３２３は、実施の形態１で示した作業実施時間帯検出部１２３と同様の処理を行う。
学習データ生成部３２３は、実施の形態１で示した作業実施時間帯検出部１２３と同様の処理を行う。
【0148】
つまり、学習データ生成部３２３は、関節時系列データ画像化部３２２から、左手関節位置画像ＬＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶＩを取得する。
更に、学習データ生成部３２３は、把持道具時系列データ生成部３２５から左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１を取得する。
更に、学習データ生成部３２３は、把持道具時系列データ生成部３２５から左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１を取得する。
【0149】
そして、学習データ生成部３２３は、作業実施時間帯検出部１２３と同様に、出現状況判定、道具把持状況判定及び変位量判定を行う。
更に、学習データ生成部３２３は、作業実施時間帯検出部１２３と同様に、出現状況判定の判定結果と道具把持状況判定の判定結果と変位量判定の判定結果の少なくともいずれかに基づき、作業従事時間を作業実施時間帯と非作業時間帯に分割する。
本実施の形態における作業従事時間は、学習フェーズにおける作業従事時間である。つまり、本実施の形態における作業従事時間は、学習フェーズにおいて、作業従事者が作業に従事している時間である。
また、本実施の形態における作業実施時間帯は、学習フェーズにおける作業実施時間帯である。つまり、本実施の形態における作業実施時間帯は、学習フェーズにおいて、作業従事者がいずれかの要素作業を実施している時間帯である。
また、本実施の形態における非作業時間帯は、学習フェーズにおける非作業時間帯である。つまり、本実施の形態における非作業時間帯は、学習フェーズにおいて、作業従事者がいずれの要素作業も実施していない時間帯である。
本実施の形態では、学習データ生成部３２３は、複数の作業実施時間帯を検出するものとする。
更に、学習データ生成部３２３は、作業実施時間帯検出部１２３と同様に、出現状況判定の判定結果と道具把持状況判定の判定結果と変位量判定の判定結果の少なくともいずれかに基づき、作業従事時間を作業実施時間帯と非作業時間帯に分割する。
本実施の形態における作業従事時間は、学習フェーズにおける作業従事時間である。つまり、本実施の形態における作業従事時間は、学習フェーズにおいて、作業従事者が作業に従事している時間である。
また、本実施の形態における作業実施時間帯は、学習フェーズにおける作業実施時間帯である。つまり、本実施の形態における作業実施時間帯は、学習フェーズにおいて、作業従事者がいずれかの要素作業を実施している時間帯である。
また、本実施の形態における非作業時間帯は、学習フェーズにおける非作業時間帯である。つまり、本実施の形態における非作業時間帯は、学習フェーズにおいて、作業従事者がいずれの要素作業も実施していない時間帯である。
本実施の形態では、学習データ生成部３２３は、複数の作業実施時間帯を検出するものとする。
【0150】
次に、学習データ生成部３２３は、左手関節位置画像ＬＪＰＩから、作業実施時間帯ごとに、各作業実施時間帯に撮像された部分映像を構成する部分画像を、抽出左手関節位置画像ｅｘｔＬＪＰＩとして抽出する。
また、学習データ生成部３２３は、左手関節速度画像ＬＪＶＩから、作業実施時間帯ごとに、各作業実施時間帯に撮像された部分映像を構成する部分画像を、抽出左手関節速度画像ｅｘｔＬＪＶＩとして抽出する。
また、学習データ生成部３２３は、右手関節位置画像ＲＪＰＩから、作業実施時間帯ごとに、各作業実施時間帯に撮像された部分映像を構成する部分画像を、抽出右手関節位置画像ｅｘｔＲＪＰＩとして抽出する。
また、学習データ生成部３２３は、右手関節速度画像ＲＪＶＩから、作業実施時間帯ごとに、各作業実施時間帯に撮像された部分映像を構成する部分画像を、抽出右手関節速度画像ｅｘｔＲＪＶＩとして抽出する。
そして、学習データ生成部３２３は、複数の抽出左手関節位置画像ｅｘｔＬＪＰＩ、複数の抽出左手関節速度画像ｅｘｔＬＪＶＩ、複数の抽出右手関節位置画像ｅｘｔＲＪＰＩ及び複数の抽出右手関節速度画像ｅｘｔＲＪＶＩを学習データｓＩｔとして学習データ保存部３３０に格納する。
また、学習データ生成部３２３は、複数の作業実施時間帯を学習データｓＩｕとして学習データ保存部３３０に格納する。
また、学習データ生成部３２３は、左手関節速度画像ＬＪＶＩから、作業実施時間帯ごとに、各作業実施時間帯に撮像された部分映像を構成する部分画像を、抽出左手関節速度画像ｅｘｔＬＪＶＩとして抽出する。
また、学習データ生成部３２３は、右手関節位置画像ＲＪＰＩから、作業実施時間帯ごとに、各作業実施時間帯に撮像された部分映像を構成する部分画像を、抽出右手関節位置画像ｅｘｔＲＪＰＩとして抽出する。
また、学習データ生成部３２３は、右手関節速度画像ＲＪＶＩから、作業実施時間帯ごとに、各作業実施時間帯に撮像された部分映像を構成する部分画像を、抽出右手関節速度画像ｅｘｔＲＪＶＩとして抽出する。
そして、学習データ生成部３２３は、複数の抽出左手関節位置画像ｅｘｔＬＪＰＩ、複数の抽出左手関節速度画像ｅｘｔＬＪＶＩ、複数の抽出右手関節位置画像ｅｘｔＲＪＰＩ及び複数の抽出右手関節速度画像ｅｘｔＲＪＶＩを学習データｓＩｔとして学習データ保存部３３０に格納する。
また、学習データ生成部３２３は、複数の作業実施時間帯を学習データｓＩｕとして学習データ保存部３３０に格納する。
【0151】
＊＊前処理統計量計算部３２４の説明＊＊
前処理統計量計算部３２４は、学習データ保存部３３０から学習データｓＩｔを取得する。
そして、前処理統計量計算部３２４は、学習データｓＩｔから、前処理統計量として関節位置輝度平均値ＰＭ、関節位置輝度標準偏差ＰＳ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを計算する。
具体的には、前処理統計量計算部３２４は、学習データｓＩｔに含まれる複数の抽出左手関節位置画像ｅｘｔＬＪＰＩにおける輝度の平均値を座標軸Ｃごとに計算する。前処理統計量計算部３２４が複数の抽出左手関節位置画像ｅｘｔＬＪＰＩから計算した座標軸Ｃごとの平均値は、左手関節位置輝度平均値ＬＰＭ（Ｃ）である。
また、前処理統計量計算部３２４は、学習データｓＩｔに含まれる複数の抽出右手関節位置画像ｅｘｔＲＪＰＩにおける輝度の平均値を座標軸Ｃごとに計算する。前処理統計量計算部３２４が複数の抽出右手関節位置画像ｅｘｔＲＪＰＩから計算した座標軸Ｃごとの平均値は、右手関節位置輝度平均値ＲＰＭ（Ｃ）である。
更に、前処理統計量計算部３２４は、学習データｓＩｔに含まれる複数の抽出左手関節位置画像ｅｘｔＬＪＰＩにおける輝度の標準偏差を座標軸Ｃごとに計算する。前処理統計量計算部３２４が抽出左手関節位置画像ｅｘｔＬＪＰＩから計算した座標軸Ｃごとの標準偏差は、左手関節位置輝度標準偏差ＬＰＳ（Ｃ）である。
また、前処理統計量計算部３２４は、学習データｓＩｔに含まれる複数の抽出右手関節位置画像ｅｘｔＲＪＰＩにおける輝度の標準偏差を座標軸Ｃごとに計算する。前処理統計量計算部３２４が抽出右手関節位置画像ｅｘｔＲＪＰＩから計算した座標軸Ｃごとの標準偏差は、右手関節位置輝度標準偏差ＲＰＳ（Ｃ）である。
前処理統計量計算部３２４は、学習データ保存部３３０から学習データｓＩｔを取得する。
そして、前処理統計量計算部３２４は、学習データｓＩｔから、前処理統計量として関節位置輝度平均値ＰＭ、関節位置輝度標準偏差ＰＳ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを計算する。
具体的には、前処理統計量計算部３２４は、学習データｓＩｔに含まれる複数の抽出左手関節位置画像ｅｘｔＬＪＰＩにおける輝度の平均値を座標軸Ｃごとに計算する。前処理統計量計算部３２４が複数の抽出左手関節位置画像ｅｘｔＬＪＰＩから計算した座標軸Ｃごとの平均値は、左手関節位置輝度平均値ＬＰＭ（Ｃ）である。
また、前処理統計量計算部３２４は、学習データｓＩｔに含まれる複数の抽出右手関節位置画像ｅｘｔＲＪＰＩにおける輝度の平均値を座標軸Ｃごとに計算する。前処理統計量計算部３２４が複数の抽出右手関節位置画像ｅｘｔＲＪＰＩから計算した座標軸Ｃごとの平均値は、右手関節位置輝度平均値ＲＰＭ（Ｃ）である。
更に、前処理統計量計算部３２４は、学習データｓＩｔに含まれる複数の抽出左手関節位置画像ｅｘｔＬＪＰＩにおける輝度の標準偏差を座標軸Ｃごとに計算する。前処理統計量計算部３２４が抽出左手関節位置画像ｅｘｔＬＪＰＩから計算した座標軸Ｃごとの標準偏差は、左手関節位置輝度標準偏差ＬＰＳ（Ｃ）である。
また、前処理統計量計算部３２４は、学習データｓＩｔに含まれる複数の抽出右手関節位置画像ｅｘｔＲＪＰＩにおける輝度の標準偏差を座標軸Ｃごとに計算する。前処理統計量計算部３２４が抽出右手関節位置画像ｅｘｔＲＪＰＩから計算した座標軸Ｃごとの標準偏差は、右手関節位置輝度標準偏差ＲＰＳ（Ｃ）である。
【0152】
また、前処理統計量計算部３２４は、学習データｓＩｔに含まれる複数の抽出左手関節速度画像ｅｘｔＬＪＶＩにおける輝度の平均値を座標軸Ｃごとに計算する。前処理統計量計算部３２４が抽出左手関節速度画像ｅｘｔＬＪＶＩから計算した座標軸Ｃごとの平均値は、左手関節速度輝度平均値ＬＶＭ（Ｃ）である。
また、前処理統計量計算部３２４は、学習データｓＩｔに含まれる複数の抽出右手関節速度画像ｅｘｔＲＪＶＩにおける輝度の平均値を座標軸Ｃごとに計算する。前処理統計量計算部３２４が抽出右手関節速度画像ｅｘｔＲＪＶＩから計算した座標軸Ｃごとの平均値は、右手関節速度輝度平均値ＲＶＭ（Ｃ）である。
更に、前処理統計量計算部３２４は、学習データｓＩｔに含まれる複数の抽出左手関節速度画像ｅｘｔＬＪＶＩにおける輝度の標準偏差を座標軸Ｃごとに計算する。前処理統計量計算部３２４が抽出左手関節速度画像ｅｘｔＬＪＶＩから計算した座標軸Ｃごとの標準偏差は、左手関節速度輝度標準偏差ＬＶＳ（Ｃ）である。
また、前処理統計量計算部３２４は、学習データｓＩｔに含まれる複数の抽出右手関節速度画像ｅｘｔＲＪＶＩにおける輝度の標準偏差を座標軸Ｃごとに計算する。前処理統計量計算部３２４が抽出右手関節速度画像ｅｘｔＲＪＶＩから計算した座標軸Ｃごとの標準偏差は、右手関節速度輝度標準偏差ＲＶＳ（Ｃ）である。
また、前処理統計量計算部３２４は、学習データｓＩｔに含まれる複数の抽出右手関節速度画像ｅｘｔＲＪＶＩにおける輝度の平均値を座標軸Ｃごとに計算する。前処理統計量計算部３２４が抽出右手関節速度画像ｅｘｔＲＪＶＩから計算した座標軸Ｃごとの平均値は、右手関節速度輝度平均値ＲＶＭ（Ｃ）である。
更に、前処理統計量計算部３２４は、学習データｓＩｔに含まれる複数の抽出左手関節速度画像ｅｘｔＬＪＶＩにおける輝度の標準偏差を座標軸Ｃごとに計算する。前処理統計量計算部３２４が抽出左手関節速度画像ｅｘｔＬＪＶＩから計算した座標軸Ｃごとの標準偏差は、左手関節速度輝度標準偏差ＬＶＳ（Ｃ）である。
また、前処理統計量計算部３２４は、学習データｓＩｔに含まれる複数の抽出右手関節速度画像ｅｘｔＲＪＶＩにおける輝度の標準偏差を座標軸Ｃごとに計算する。前処理統計量計算部３２４が抽出右手関節速度画像ｅｘｔＲＪＶＩから計算した座標軸Ｃごとの標準偏差は、右手関節速度輝度標準偏差ＲＶＳ（Ｃ）である。
【0153】
なお、厳密に表記すべき場合を除き、左手関節位置輝度平均値ＬＰＭ（Ｃ）と右手関節位置輝度平均値ＲＰＭ（Ｃ）とを、まとめて関節位置輝度平均値ＰＭと表記する。
同様に、左手関節位置輝度標準偏差ＬＰＳ（Ｃ）と右手関節位置輝度標準偏差ＲＰＳ（Ｃ）とを、まとめて関節位置輝度標準偏差ＰＳと表記する。
また、左手関節速度輝度平均値ＬＶＭ（Ｃ）と、右手関節速度輝度平均値ＲＶＭ（Ｃ）とを、まとめて関節速度輝度平均値ＶＭと表記する。
また、左手関節速度輝度標準偏差ＬＶＳ（Ｃ）と、右手関節速度輝度標準偏差ＲＶＳ（Ｃ）とを、まとめて関節速度輝度標準偏差ＶＳと表記する。
同様に、左手関節位置輝度標準偏差ＬＰＳ（Ｃ）と右手関節位置輝度標準偏差ＲＰＳ（Ｃ）とを、まとめて関節位置輝度標準偏差ＰＳと表記する。
また、左手関節速度輝度平均値ＬＶＭ（Ｃ）と、右手関節速度輝度平均値ＲＶＭ（Ｃ）とを、まとめて関節速度輝度平均値ＶＭと表記する。
また、左手関節速度輝度標準偏差ＬＶＳ（Ｃ）と、右手関節速度輝度標準偏差ＲＶＳ（Ｃ）とを、まとめて関節速度輝度標準偏差ＶＳと表記する。
【0154】
なお、上記のように、左手についての輝度平均値及び輝度標準偏差と右手についての輝度平均値及び輝度標準偏差を用いるのではなく、左手と右手の両者にわたる輝度平均値及び輝度標準偏差を用いるようにしてもよい。以下では、左手についての輝度平均値及び輝度標準偏差と右手についての輝度平均値及び輝度標準偏差を用いる例を説明するが、以下の説明は左手と右手の両者にわたる輝度平均値及び輝度標準偏差を用いる場合にも適用される。
【0155】
前処理統計量計算部３２４は、関節位置輝度平均値ＰＭ、関節位置輝度標準偏差ＰＳ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを前処理統計量保存部３３１に格納する。
【0156】
＊＊作業実施時間帯検出モデル生成部３２６の説明＊＊
作業実施時間帯検出モデル生成部３２６は、学習データ保存部３３０から、学習データｓＩｔと学習データｓＩｕを取得する。
具体的には、作業実施時間帯検出モデル生成部３２６は、学習データｓＩｔとして、複数の抽出左手関節位置画像ｅｘｔＬＪＰＩ、複数の抽出左手関節速度画像ｅｘｔＬＪＶＩ、複数の抽出右手関節位置画像ｅｘｔＲＪＰＩ及び複数の抽出右手関節速度画像ｅｘｔＲＪＶＩを取得する。
また、作業実施時間帯検出モデル生成部３２６は、学習データｓＩｕとして、複数の作業実施時間帯の真値を取得する。
また、作業実施時間帯検出モデル生成部３２６は、前処理統計量保存部３３１から、関節位置輝度平均値ＰＭ、関節位置輝度標準偏差ＰＳ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得する。
また、作業実施時間帯検出モデル生成部３２６は、把持道具情報保存部３３３から、左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１を取得する。
作業実施時間帯検出モデル生成部３２６は、学習データ保存部３３０から、学習データｓＩｔと学習データｓＩｕを取得する。
具体的には、作業実施時間帯検出モデル生成部３２６は、学習データｓＩｔとして、複数の抽出左手関節位置画像ｅｘｔＬＪＰＩ、複数の抽出左手関節速度画像ｅｘｔＬＪＶＩ、複数の抽出右手関節位置画像ｅｘｔＲＪＰＩ及び複数の抽出右手関節速度画像ｅｘｔＲＪＶＩを取得する。
また、作業実施時間帯検出モデル生成部３２６は、学習データｓＩｕとして、複数の作業実施時間帯の真値を取得する。
また、作業実施時間帯検出モデル生成部３２６は、前処理統計量保存部３３１から、関節位置輝度平均値ＰＭ、関節位置輝度標準偏差ＰＳ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得する。
また、作業実施時間帯検出モデル生成部３２６は、把持道具情報保存部３３３から、左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１を取得する。
【0157】
そして、作業実施時間帯検出モデル生成部３２６は、作業実施時間帯検出部１２３が作業実施時間帯を検出するのに用いる学習済みモデルを、作業実施時間帯検出モデルＤＭとして生成する。
【0158】
具体的には、作業実施時間帯検出モデル生成部３２６は、学習データｓＩｔに含まれる抽出左手関節位置画像ｅｘｔＬＪＰＩを、一定の幅及び高さをもつ画像にリサイズする。
更に、作業実施時間帯検出モデル生成部３２６は、リサイズ後の抽出左手関節位置画像ｅｘｔＬＪＰＩの画素値を座標軸Ｃごとに関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳを用いて標準化する。
具体的には、作業実施時間帯検出モデル生成部３２６は、リサイズ後の抽出左手関節位置画像ｅｘｔＬＪＰＩの画素値を左手関節位置輝度平均値ＬＰＭ（Ｃ）と左手関節位置輝度標準偏差ＬＰＳ（Ｃ）を用いて標準化する。
更に、作業実施時間帯検出モデル生成部３２６は、リサイズ後の抽出左手関節位置画像ｅｘｔＬＪＰＩの画素値を座標軸Ｃごとに関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳを用いて標準化する。
具体的には、作業実施時間帯検出モデル生成部３２６は、リサイズ後の抽出左手関節位置画像ｅｘｔＬＪＰＩの画素値を左手関節位置輝度平均値ＬＰＭ（Ｃ）と左手関節位置輝度標準偏差ＬＰＳ（Ｃ）を用いて標準化する。
【0159】
また、作業実施時間帯検出モデル生成部３２６は、学習データｓＩｔに含まれる抽出右手関節位置画像ｅｘｔＲＪＰＩを、一定の幅及び高さをもつ画像にリサイズする。
更に、作業実施時間帯検出モデル生成部３２６は、リサイズ後の抽出右手関節位置画像ｅｘｔＲＪＰＩの画素値を座標軸Ｃごとに関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳを用いて標準化する。
具体的には、作業実施時間帯検出モデル生成部３２６は、リサイズ後の抽出右手関節位置画像ｅｘｔＲＪＰＩの画素値を右手関節位置輝度平均値ＲＰＭ（Ｃ）と右手関節位置輝度標準偏差ＲＰＳ（Ｃ）を用いて標準化する。
更に、作業実施時間帯検出モデル生成部３２６は、リサイズ後の抽出右手関節位置画像ｅｘｔＲＪＰＩの画素値を座標軸Ｃごとに関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳを用いて標準化する。
具体的には、作業実施時間帯検出モデル生成部３２６は、リサイズ後の抽出右手関節位置画像ｅｘｔＲＪＰＩの画素値を右手関節位置輝度平均値ＲＰＭ（Ｃ）と右手関節位置輝度標準偏差ＲＰＳ（Ｃ）を用いて標準化する。
【0160】
また、作業実施時間帯検出モデル生成部３２６は、学習データｓＩｔに含まれる抽出左手関節速度画像ｅｘｔＬＪＶＩを、一定の幅及び高さをもつ画像にリサイズする。
更に、作業実施時間帯検出モデル生成部３２６は、リサイズ後の抽出左手関節速度画像ｅｘｔＬＪＶＩの画素値を座標軸Ｃごとに関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを用いて標準化する。
具体的には、作業実施時間帯検出モデル生成部３２６は、リサイズ後の抽出左手関節速度画像ｅｘｔＬＪＶＩの画素値を左手関節速度輝度平均値ＬＶＭ（Ｃ）と左手関節速度輝度標準偏差ＬＶＳ（Ｃ）を用いて標準化する。
更に、作業実施時間帯検出モデル生成部３２６は、リサイズ後の抽出左手関節速度画像ｅｘｔＬＪＶＩの画素値を座標軸Ｃごとに関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを用いて標準化する。
具体的には、作業実施時間帯検出モデル生成部３２６は、リサイズ後の抽出左手関節速度画像ｅｘｔＬＪＶＩの画素値を左手関節速度輝度平均値ＬＶＭ（Ｃ）と左手関節速度輝度標準偏差ＬＶＳ（Ｃ）を用いて標準化する。
【0161】
また、作業実施時間帯検出モデル生成部３２６は、学習データｓＩｔに含まれる抽出右手関節速度画像ｅｘｔＲＪＶＩを、一定の幅及び高さをもつ画像にリサイズする。
更に、作業実施時間帯検出モデル生成部３２６は、リサイズ後の抽出右手関節速度画像ｅｘｔＲＪＶＩの画素値を座標軸Ｃごとに関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを用いて標準化する。
具体的には、作業実施時間帯検出モデル生成部３２６は、リサイズ後の抽出右手関節速度画像ｅｘｔＲＪＶＩの画素値を右手関節速度輝度平均値ＲＶＭ（Ｃ）と右手関節速度輝度標準偏差ＲＶＳ（Ｃ）を用いて標準化する。前述のように、リサイズと標準化の順序は逆でもよい。
更に、作業実施時間帯検出モデル生成部３２６は、リサイズ後の抽出右手関節速度画像ｅｘｔＲＪＶＩの画素値を座標軸Ｃごとに関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを用いて標準化する。
具体的には、作業実施時間帯検出モデル生成部３２６は、リサイズ後の抽出右手関節速度画像ｅｘｔＲＪＶＩの画素値を右手関節速度輝度平均値ＲＶＭ（Ｃ）と右手関節速度輝度標準偏差ＲＶＳ（Ｃ）を用いて標準化する。前述のように、リサイズと標準化の順序は逆でもよい。
【0162】
次に、作業実施時間帯検出モデル生成部３２６は、リサイズ及び標準化の後の各画像を、事前に定義したニューラルネットワークに入力する。ニューラルネットワークに入力する画像は、リサイズ及び標準化の後の抽出左手関節位置画像ｅｘｔＬＪＰＩ、リサイズ及び標準化の後の抽出右手関節位置画像ｅｘｔＲＪＰＩ、リサイズ及び標準化の後の抽出左手関節速度画像ｅｘｔＬＪＶＩ、及びリサイズ及び標準化の後の抽出左手関節速度画像ｅｘｔＬＪＶＩである。
ここで用いられるニューラルネットワークとしては、例えば、畳み込みニューラルネットワークの機能と、Ｆａｓｔｅｒ－ＲＣＮＮ等で用いられる領域提案ネットワークの機能とを有するニューラルネットワーを想定する。
ここで用いられるニューラルネットワークとしては、例えば、畳み込みニューラルネットワークの機能と、Ｆａｓｔｅｒ－ＲＣＮＮ等で用いられる領域提案ネットワークの機能とを有するニューラルネットワーを想定する。
【0163】
また、作業実施時間帯検出モデル生成部３２６は、損失値Ｌを計算する。作業実施時間帯検出モデル生成部３２６は、損失値Ｌとして、学習データｓＩｕに含まれる複数の作業実施時間帯の真値と、後述する複数の作業実施時間帯の候補（予測値）との差分を、損失関数を用いて計算する。最も簡単な損失関数として、作業実施時間帯検出モデル生成部３２６は、二乗誤差関数を用いることができる。
作業実施時間帯検出モデル生成部３２６は、損失値Ｌを計算後、誤差逆伝搬法を用いてニューラルネットワークの重みを更新する。
作業実施時間帯検出モデル生成部３２６がこられの処理を予め定めた回数繰り返すことで、作業実施時間帯検出モデルＤＭを生成する。
作業実施時間帯検出モデル生成部３２６は、作業実施時間帯検出モデルＤＭを作業実施時間帯検出モデル保存部３３２に格納する。
作業実施時間帯検出モデル生成部３２６は、損失値Ｌを計算後、誤差逆伝搬法を用いてニューラルネットワークの重みを更新する。
作業実施時間帯検出モデル生成部３２６がこられの処理を予め定めた回数繰り返すことで、作業実施時間帯検出モデルＤＭを生成する。
作業実施時間帯検出モデル生成部３２６は、作業実施時間帯検出モデルＤＭを作業実施時間帯検出モデル保存部３３２に格納する。
【0164】
＊＊学習データ保存部３３０の説明＊＊
学習データ保存部３３０は、学習データｓＩｔ及び学習データｓＩｕを保存する。
学習データ保存部３３０は、学習データｓＩｔ及び学習データｓＩｕを保存する。
【0165】
＊＊前処理統計量保存部３３１の説明＊＊
前処理統計量保存部３３１は、前処理統計量（関節位置輝度平均値ＰＭ、関節位置輝度標準偏差ＰＳ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳ）を保存する。
前処理統計量保存部３３１は、前処理統計量（関節位置輝度平均値ＰＭ、関節位置輝度標準偏差ＰＳ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳ）を保存する。
【0166】
＊＊作業実施時間帯検出モデル保存部３３２の説明＊＊
作業実施時間帯検出モデル保存部３３２は、作業実施時間帯検出モデルＤＭを保存する。
作業実施時間帯検出モデル保存部３３２は、作業実施時間帯検出モデルＤＭを保存する。
【0167】
＊＊把持道具情報保存部３３３の説明＊＊
把持道具情報保存部３３３は、左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１とを保存する。
把持道具情報保存部３３３は、左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１とを保存する。
【0168】
＊＊作業実施時間帯検出モデル生成部３２６の内部構成例の説明＊＊
図１６は、作業実施時間帯検出モデル生成部３２６の内部構成例を示す。
図１６を用いて、作業実施時間帯検出モデル生成部３２６の内部構成例を説明する。
なお、図１６では、学習装置３００の機能構成要素のうち、作業実施時間帯検出モデル生成部３２６の内部構成例を説明するのに必要な機能構成要素のみが図示されている。
図１６は、作業実施時間帯検出モデル生成部３２６の内部構成例を示す。
図１６を用いて、作業実施時間帯検出モデル生成部３２６の内部構成例を説明する。
なお、図１６では、学習装置３００の機能構成要素のうち、作業実施時間帯検出モデル生成部３２６の内部構成例を説明するのに必要な機能構成要素のみが図示されている。
【0169】
作業実施時間帯検出モデル生成部３２６は、内部構成として、関節位置画像取得部３２６１、関節速度画像取得部３２６２、関節位置特徴抽出部３２６３、関節速度特徴抽出部３２６４、出現状況判定部３２６５、道具把持状況判定部３２６６、作業実施時間帯判定部３２６８、提案学習部３２６９、回帰学習部３２７０を有する。
【0170】
＊＊出現状況判定部３２６５の説明＊＊
出現状況判定部３２６５は、図８に示す出現状況判定部１２３１と同様に、出現状況判定を行う。
出現状況判定部３２６５は、図８に示す出現状況判定部１２３１と同様に、出現状況判定を行う。
【0171】
出現状況判定部３２６５は、関節時系列データ画像化部３２２から、左手関節位置画像ＬＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶＩを取得する。
そして、出現状況判定部３２６５は、左手関節位置画像ＬＪＰＩ及び／又は左手関節速度画像ＬＪＶＩを解析し、左手出現時間帯集合ＬＳを生成する。
同様に、出現状況判定部３２６５は、右手関節位置画像ＲＪＰＩ及び／又は右手関節速度画像ＲＪＶＩを解析し、右手出現時間帯集合ＲＳを生成する。
左手出現時間帯集合ＬＳは、左手が映像に出現した時間帯の集合である。また、右手出現時間帯集合ＲＳは、右手が映像に出現した時間帯の集合である。
出現状況判定部３２６５は、左手出現時間帯集合ＬＳと右手出現時間帯集合ＲＳを作業実施時間帯判定部３２６８に出力する。
なお、出現状況判定部３２６５は、関節位置時系列データＨＰＴ及び／又は関節速度時系列データＨＶＴを用いて出現状況判定を行ってもよい。
図１６では、出現状況判定部３２６５への関節位置時系列データＨＰＴ及び／又は関節速度時系列データＨＶＴの入力の図示は省略している。
そして、出現状況判定部３２６５は、左手関節位置画像ＬＪＰＩ及び／又は左手関節速度画像ＬＪＶＩを解析し、左手出現時間帯集合ＬＳを生成する。
同様に、出現状況判定部３２６５は、右手関節位置画像ＲＪＰＩ及び／又は右手関節速度画像ＲＪＶＩを解析し、右手出現時間帯集合ＲＳを生成する。
左手出現時間帯集合ＬＳは、左手が映像に出現した時間帯の集合である。また、右手出現時間帯集合ＲＳは、右手が映像に出現した時間帯の集合である。
出現状況判定部３２６５は、左手出現時間帯集合ＬＳと右手出現時間帯集合ＲＳを作業実施時間帯判定部３２６８に出力する。
なお、出現状況判定部３２６５は、関節位置時系列データＨＰＴ及び／又は関節速度時系列データＨＶＴを用いて出現状況判定を行ってもよい。
図１６では、出現状況判定部３２６５への関節位置時系列データＨＰＴ及び／又は関節速度時系列データＨＶＴの入力の図示は省略している。
【0172】
＊＊道具把持状況判定部３２６６の説明＊＊
道具把持状況判定部３２６６は、図８に示す道具把持状況判定部１２３２と同様に、道具把持状況判定を行う。
道具把持状況判定部３２６６は、図８に示す道具把持状況判定部１２３２と同様に、道具把持状況判定を行う。
【0173】
道具把持状況判定部３２６６は、把持道具情報保存部３３３から左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１とを取得する。
そして、道具把持状況判定部３２６６は、左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１とに基づいて、左手及び右手の各々について、道具を把持している時間帯、道具を把持していない時間帯を時系列に抽出する。
また、作業従事者が把持する道具の種類が変化している場合は、道具把持状況判定部３２６６は、道具を把持している時間帯を、道具の種類ごとに異なる時間帯として扱う。
道具把持状況判定部３２６６は、左手についての抽出結果が示される左手道具把持状況判定結果ＬＴＳと右手についての抽出結果が示される右手道具把持状況判定結果ＲＴＳとを作業実施時間帯判定部３２６８に出力する。
そして、道具把持状況判定部３２６６は、左手把持道具データＬＴＯ１と右手把持道具データＲＴＯ１とに基づいて、左手及び右手の各々について、道具を把持している時間帯、道具を把持していない時間帯を時系列に抽出する。
また、作業従事者が把持する道具の種類が変化している場合は、道具把持状況判定部３２６６は、道具を把持している時間帯を、道具の種類ごとに異なる時間帯として扱う。
道具把持状況判定部３２６６は、左手についての抽出結果が示される左手道具把持状況判定結果ＬＴＳと右手についての抽出結果が示される右手道具把持状況判定結果ＲＴＳとを作業実施時間帯判定部３２６８に出力する。
【0174】
＊＊作業実施時間帯判定部３２６８の説明＊＊
作業実施時間帯判定部３２６８は、図８に示す作業実施時間帯判定部１２３４と同様の処理を行う。
作業実施時間帯判定部３２６８は、図８に示す作業実施時間帯判定部１２３４と同様の処理を行う。
【0175】
作業実施時間帯判定部３２６８は、出現状況判定部３２６５から、左手出現時間帯集合ＬＳと右手出現時間帯集合ＲＳを取得する。
また、作業実施時間帯判定部３２６８は、道具把持状況判定部３２６６から、左手道具把持状況判定結果ＬＴＳと右手道具把持状況判定結果ＲＴＳを取得する。
そして、作業実施時間帯判定部３２６８は、これらに基づき、作業従事時間を作業実施時間帯と非作業時間帯に分割する。
作業実施時間帯判定部３２６８は、作業実施時間帯の集合である作業実施時間帯集合ＦＳを関節位置画像取得部３２６１に出力する。作業実施時間帯集合ＦＳには、作業実施時間帯ごとに作業実施時間帯の開始時刻と終了時刻が示される。
また、作業実施時間帯判定部３２６８は、道具把持状況判定部３２６６から、左手道具把持状況判定結果ＬＴＳと右手道具把持状況判定結果ＲＴＳを取得する。
そして、作業実施時間帯判定部３２６８は、これらに基づき、作業従事時間を作業実施時間帯と非作業時間帯に分割する。
作業実施時間帯判定部３２６８は、作業実施時間帯の集合である作業実施時間帯集合ＦＳを関節位置画像取得部３２６１に出力する。作業実施時間帯集合ＦＳには、作業実施時間帯ごとに作業実施時間帯の開始時刻と終了時刻が示される。
【0176】
＊＊関節位置画像取得部３２６１の説明＊＊
関節位置画像取得部３２６１は、図８に示す関節位置画像取得部１２４１と同様の処理を行う。
関節位置画像取得部３２６１は、図８に示す関節位置画像取得部１２４１と同様の処理を行う。
【0177】
つまり、関節位置画像取得部３２６１は、作業実施時間帯判定部３２６８から作業実施時間帯集合ＦＳを取得する。
また、関節位置画像取得部３２６１は、関節時系列データ画像化部３２２から、左手関節位置画像ＬＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶＩを取得する。
また、関節位置画像取得部３２６１は、前処理統計量保存部３３１から、前処理統計量を取得する。具体的には、関節位置画像取得部３２６１は、前処理統計量として関節位置輝度平均値ＰＭ、関節位置輝度標準偏差ＰＳ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得する。
また、関節位置画像取得部３２６１は、関節時系列データ画像化部３２２から、左手関節位置画像ＬＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶＩを取得する。
また、関節位置画像取得部３２６１は、前処理統計量保存部３３１から、前処理統計量を取得する。具体的には、関節位置画像取得部３２６１は、前処理統計量として関節位置輝度平均値ＰＭ、関節位置輝度標準偏差ＰＳ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得する。
【0178】
そして、関節位置画像取得部３２６１は、作業実施時間帯集合ＦＳに含まれる作業実施時間帯ごとに、左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩの各々から、作業実施時間帯に撮像された部分映像を構成する部分画像を抽出する。
そして、関節位置画像取得部３２６１は、作業時間帯ごとに、各部分画像を、一定の幅及び高さをもつ画像にリサイズする。更に、関節位置画像取得部３２６１は、左手関節位置画像ＬＪＰＩから抽出されたリサイズ後の部分画像の画素値を関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳを用いて標準化する。また、関節位置画像取得部３２６１は、右手関節位置画像ＲＪＰＩから抽出されたリサイズ後の部分画像の画素値を関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳを用いて標準化する。前述のように、リサイズと標準化の順序は逆でもよい。
関節位置画像取得部３２６１は、左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩの各々についてのリサイズ及び標準化の後の部分画像を関節位置特徴抽出部３２６３に出力する。
そして、関節位置画像取得部３２６１は、作業時間帯ごとに、各部分画像を、一定の幅及び高さをもつ画像にリサイズする。更に、関節位置画像取得部３２６１は、左手関節位置画像ＬＪＰＩから抽出されたリサイズ後の部分画像の画素値を関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳを用いて標準化する。また、関節位置画像取得部３２６１は、右手関節位置画像ＲＪＰＩから抽出されたリサイズ後の部分画像の画素値を関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳを用いて標準化する。前述のように、リサイズと標準化の順序は逆でもよい。
関節位置画像取得部３２６１は、左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩの各々についてのリサイズ及び標準化の後の部分画像を関節位置特徴抽出部３２６３に出力する。
【0179】
また、関節位置画像取得部３２６１は、作業実施時間帯集合ＦＳ、左手関節速度画像ＬＪＶＩ、右手関節速度画像ＲＪＶＩ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを関節速度画像取得部３２６２に出力する。
ここでは、関節位置画像取得部３２６１が、作業実施時間帯集合ＦＳ、左手関節速度画像ＬＪＶＩ、右手関節速度画像ＲＪＶＩ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得し、これらを関節速度画像取得部３２６２に出力する例を説明している。
これに代えて、関節速度画像取得部３２６２が、作業実施時間帯判定部３２６８から作業実施時間帯集合ＦＳを取得し、関節時系列データ画像化部３２２から左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩを取得し、前処理統計量保存部３３１から関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得するようにしてもよい。
この場合は、関節位置画像取得部３２６１は、関節時系列データ画像化部３２２から左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩのみを取得し、前処理統計量保存部３３１から関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳのみを取得する。
ここでは、関節位置画像取得部３２６１が、作業実施時間帯集合ＦＳ、左手関節速度画像ＬＪＶＩ、右手関節速度画像ＲＪＶＩ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得し、これらを関節速度画像取得部３２６２に出力する例を説明している。
これに代えて、関節速度画像取得部３２６２が、作業実施時間帯判定部３２６８から作業実施時間帯集合ＦＳを取得し、関節時系列データ画像化部３２２から左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩを取得し、前処理統計量保存部３３１から関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得するようにしてもよい。
この場合は、関節位置画像取得部３２６１は、関節時系列データ画像化部３２２から左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩのみを取得し、前処理統計量保存部３３１から関節位置輝度平均値ＰＭ及び関節位置輝度標準偏差ＰＳのみを取得する。
【0180】
＊＊関節速度画像取得部３２６２の説明＊＊
関節速度画像取得部３２６２は、図８に示す関節速度画像取得部１２４２と同様の処理を行う。
関節速度画像取得部３２６２は、図８に示す関節速度画像取得部１２４２と同様の処理を行う。
【0181】
つまり、関節速度画像取得部３２６２は、関節位置画像取得部３２６１から、作業実施時間帯集合ＦＳ、左手関節速度画像ＬＪＶＩ、右手関節速度画像ＲＪＶＩ、関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを取得する。
そして、関節速度画像取得部３２６２は、作業実施時間帯集合ＦＳに含まれる作業実施時間帯ごとに、左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩの各々から、作業実施時間帯に撮像された部分映像を構成する部分画像を抽出する。
そして、関節速度画像取得部３２６２は、作業時間帯ごとに、各部分画像を、一定の幅及び高さをもつ画像にリサイズする。更に、関節速度画像取得部３２６２は、左手関節速度画像ＬＪＶＩから抽出されたリサイズ後の部分画像の画素値を関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを用いて標準化する。また、関節速度画像取得部３２６２は、右手関節速度画像ＲＪＶＩから抽出されたリサイズ後の部分画像の画素値を関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを用いて標準化する。前述のように、リサイズと標準化の順序は逆でもよい。
関節速度画像取得部３２６２は、左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩの各々についてのリサイズ及び標準化の後の部分画像を関節速度特徴抽出部３２６４に出力する。
そして、関節速度画像取得部３２６２は、作業実施時間帯集合ＦＳに含まれる作業実施時間帯ごとに、左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩの各々から、作業実施時間帯に撮像された部分映像を構成する部分画像を抽出する。
そして、関節速度画像取得部３２６２は、作業時間帯ごとに、各部分画像を、一定の幅及び高さをもつ画像にリサイズする。更に、関節速度画像取得部３２６２は、左手関節速度画像ＬＪＶＩから抽出されたリサイズ後の部分画像の画素値を関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを用いて標準化する。また、関節速度画像取得部３２６２は、右手関節速度画像ＲＪＶＩから抽出されたリサイズ後の部分画像の画素値を関節速度輝度平均値ＶＭ及び関節速度輝度標準偏差ＶＳを用いて標準化する。前述のように、リサイズと標準化の順序は逆でもよい。
関節速度画像取得部３２６２は、左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩの各々についてのリサイズ及び標準化の後の部分画像を関節速度特徴抽出部３２６４に出力する。
【0182】
＊＊関節位置特徴抽出部３２６３の説明＊＊
関節位置特徴抽出部３２６３３は、図８に示す関節位置特徴抽出部１２４３と同様の処理を行う。
関節位置特徴抽出部３２６３３は、図８に示す関節位置特徴抽出部１２４３と同様の処理を行う。
【0183】
つまり、関節位置特徴抽出部３２６３は、関節位置画像取得部３２６１から、左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩの各々についてのリサイズ及び標準化の後の部分画像を取得する。
そして、関節位置特徴抽出部３２６３は、左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩの各々についての部分画像を、事前学習済みの畳み込みニューラルネットワークに入力する。
関節位置特徴抽出部３２６３は、それぞれの部分画像から特徴ベクトルである関節位置特徴ベクトルを抽出する。
ここでは、左手関節位置画像ＬＪＰＩについての部分画像から得られた特徴ベクトルを左手位置特徴ベクトルｆＬＰという。また、右手関節位置画像ＲＪＰＩについての部分画像から得られた特徴ベクトルを右手位置特徴ベクトルｆＲＰという。
関節位置特徴抽出部３２６３は、左手位置特徴ベクトルｆＬＰと右手位置特徴ベクトルｆＲＰを提案学習部３２６９に出力する。
そして、関節位置特徴抽出部３２６３は、左手関節位置画像ＬＪＰＩ及び右手関節位置画像ＲＪＰＩの各々についての部分画像を、事前学習済みの畳み込みニューラルネットワークに入力する。
関節位置特徴抽出部３２６３は、それぞれの部分画像から特徴ベクトルである関節位置特徴ベクトルを抽出する。
ここでは、左手関節位置画像ＬＪＰＩについての部分画像から得られた特徴ベクトルを左手位置特徴ベクトルｆＬＰという。また、右手関節位置画像ＲＪＰＩについての部分画像から得られた特徴ベクトルを右手位置特徴ベクトルｆＲＰという。
関節位置特徴抽出部３２６３は、左手位置特徴ベクトルｆＬＰと右手位置特徴ベクトルｆＲＰを提案学習部３２６９に出力する。
【0184】
＊＊関節速度特徴抽出部３２６４の説明＊＊
関節速度特徴抽出部３２６４は、図８に示す関節速度特徴抽出部１２４４と同様の処理を行う。
関節速度特徴抽出部３２６４は、図８に示す関節速度特徴抽出部１２４４と同様の処理を行う。
【0185】
つまり、関節速度特徴抽出部３２６４は、関節速度画像取得部３２６２から、左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩの各々についてのリサイズ及び標準化の後の部分画像を取得する。
そして、関節速度特徴抽出部３２６４は、左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩの各々についての部分画像を、事前学習済みの畳み込みニューラルネットワークに入力する。なお、ここで用いられる畳み込みニューラルネットワークは、関節位置特徴抽出部３２６３により用いられる畳み込みニューラルネットワークと同じであっても、異なっていてもよい。
関節速度特徴抽出部３２６４は、それぞれの部分画像から特徴ベクトルである関節速度特徴ベクトルを抽出する。
ここでは、左手関節速度画像ＬＪＶＩについての部分画像から得られた特徴ベクトルを左手速度特徴ベクトルｆＬＶという。また、右手関節速度画像ＲＪＶＩについての部分画像から得られた特徴ベクトルを右手速度特徴ベクトルｆＲＶという。
関節速度特徴抽出部３２６４は、左手速度特徴ベクトルｆＬＶと右手速度特徴ベクトルｆＲＶを提案学習部３２６９に出力する。
そして、関節速度特徴抽出部３２６４は、左手関節速度画像ＬＪＶＩ及び右手関節速度画像ＲＪＶＩの各々についての部分画像を、事前学習済みの畳み込みニューラルネットワークに入力する。なお、ここで用いられる畳み込みニューラルネットワークは、関節位置特徴抽出部３２６３により用いられる畳み込みニューラルネットワークと同じであっても、異なっていてもよい。
関節速度特徴抽出部３２６４は、それぞれの部分画像から特徴ベクトルである関節速度特徴ベクトルを抽出する。
ここでは、左手関節速度画像ＬＪＶＩについての部分画像から得られた特徴ベクトルを左手速度特徴ベクトルｆＬＶという。また、右手関節速度画像ＲＪＶＩについての部分画像から得られた特徴ベクトルを右手速度特徴ベクトルｆＲＶという。
関節速度特徴抽出部３２６４は、左手速度特徴ベクトルｆＬＶと右手速度特徴ベクトルｆＲＶを提案学習部３２６９に出力する。
【0186】
＊＊提案学習部３２６９の説明＊＊
提案学習部３２６９は、関節位置特徴抽出部３２６３から左手位置特徴ベクトルｆＬＰと右手位置特徴ベクトルｆＲＰとを取得する。また、提案学習部３２６９は、関節速度特徴抽出部３２６４から左手速度特徴ベクトルｆＬＶと右手速度特徴ベクトルｆＲＶとを取得する。
また、提案学習部３２６９は、学習データ保存部３３０から、学習データｓＩｔを取得する。
提案学習部３２６９は、関節位置特徴抽出部３２６３から左手位置特徴ベクトルｆＬＰと右手位置特徴ベクトルｆＲＰとを取得する。また、提案学習部３２６９は、関節速度特徴抽出部３２６４から左手速度特徴ベクトルｆＬＶと右手速度特徴ベクトルｆＲＶとを取得する。
また、提案学習部３２６９は、学習データ保存部３３０から、学習データｓＩｔを取得する。
【0187】
そして、提案学習部３２６９は、左手位置特徴ベクトルｆＬＰ、右手位置特徴ベクトルｆＲＰ、左手速度特徴ベクトルｆＬＶ及び右手速度特徴ベクトルｆＲＶをマップ（ＦＷ×ＦＨ×ＦＣ）形式に変換する。提案学習部３２６９がこれら特徴ベクトルをマップ形式に変換して得られたマップを特徴マップＦＭという。
そして、提案学習部３２６９は、特徴マップＦＭに対し、作業実施時間帯の候補を提案する処理を行う。
提案学習部３２６９は、作業実施時間帯の候補の提案処理に、Ｆａｓｔｅｒ－ＲＣＮＮで用いられる、物体存在領域の複数の候補を提案する提案領域ネットワークを用いることができる。提案処理の出力は、作業実施時間帯の候補である。作業実施時間帯の候補は、開始時刻と時間長の２つを要素とするタプルで表される。この開始時刻は、作業実施時間帯の候補の開始時刻である。また、この時間長は、作業実施時間帯の候補の時間長である。
提案学習部３２６９は、複数の作業実施時間帯の候補（タプルの集合）を提案ＰＲＯＰＳとして回帰学習部３２７０に出力する。
そして、提案学習部３２６９は、特徴マップＦＭに対し、作業実施時間帯の候補を提案する処理を行う。
提案学習部３２６９は、作業実施時間帯の候補の提案処理に、Ｆａｓｔｅｒ－ＲＣＮＮで用いられる、物体存在領域の複数の候補を提案する提案領域ネットワークを用いることができる。提案処理の出力は、作業実施時間帯の候補である。作業実施時間帯の候補は、開始時刻と時間長の２つを要素とするタプルで表される。この開始時刻は、作業実施時間帯の候補の開始時刻である。また、この時間長は、作業実施時間帯の候補の時間長である。
提案学習部３２６９は、複数の作業実施時間帯の候補（タプルの集合）を提案ＰＲＯＰＳとして回帰学習部３２７０に出力する。
【0188】
＊＊回帰学習部３２７０の説明＊＊
回帰学習部３２７０は、提案学習部３２６９から、提案ＰＲＯＰＳを取得する。
また、回帰学習部３２７０は、学習データ保存部３３０から、学習データｓＩｕを取得する。学習データｓＩｕは、学習データ生成部３２３で得られた複数の作業実施時間帯の各々の真値である。学習データｓＩｕも、開始時刻と時間長の２つを要素とするタプルの集合である。学習データｓＩｕにおける開始時刻は、作業実施時間帯（真値）の開始時刻である。また、学習データｓＩｕにおける時間長は、作業実施時間帯（真値）の時間長である。
回帰学習部３２７０は、提案学習部３２６９から、提案ＰＲＯＰＳを取得する。
また、回帰学習部３２７０は、学習データ保存部３３０から、学習データｓＩｕを取得する。学習データｓＩｕは、学習データ生成部３２３で得られた複数の作業実施時間帯の各々の真値である。学習データｓＩｕも、開始時刻と時間長の２つを要素とするタプルの集合である。学習データｓＩｕにおける開始時刻は、作業実施時間帯（真値）の開始時刻である。また、学習データｓＩｕにおける時間長は、作業実施時間帯（真値）の時間長である。
【0189】
次に、回帰学習部３２７０は、提案ＰＲＯＰＳから、作業実施時間帯の候補ごとに、開始時刻及び時間長のタプルを取得する。更に、回帰学習部３２７０は、各タプルの情報を用いて、特徴マップＦＭから抽出された部分特徴マップｓＦＭを畳み込みニューラルネットワークの全結合層によって処理し、作業実施時間帯の開始時刻および時間長の推定結果を出力する。そして、回帰学習部３２７０は、回帰学習部３２７０の出力結果が、作業実施時間帯か否かの分類及び作業実施時間帯であることの確信度合いを表す確率を算出する。
回帰学習部３２７０は、複数の作業実施時間帯の候補のうち、確信度合いが予め定めた閾値よりも大きい候補を選択する。また、回帰学習部３２７０は、複数の作業実施時間帯の候補のうち、真の作業実施時間帯との重複領域の割合を示す指標（例えば、Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｆ Ｕｎｉｔ）の値が予め定めた閾値よりも大きい候補を選択してもよい。更に、回帰学習部３２７０は、確信度合いを表す確率に基づく非最大値抑制処理を適用してもよい。
回帰学習部３２７０は、複数の作業実施時間帯の候補のうち、確信度合いが予め定めた閾値よりも大きい候補を選択する。また、回帰学習部３２７０は、複数の作業実施時間帯の候補のうち、真の作業実施時間帯との重複領域の割合を示す指標（例えば、Ｉｎｔｅｒｓｅｃｔｉｏｎ ｏｆ Ｕｎｉｔ）の値が予め定めた閾値よりも大きい候補を選択してもよい。更に、回帰学習部３２７０は、確信度合いを表す確率に基づく非最大値抑制処理を適用してもよい。
【0190】
次に、回帰学習部３２７０は、選択された候補の作業実施時間帯（予測値）と学習データｓＩｕとして取得した作業実施時間帯の真値との差分を計算する。
得られた差分は、損失値Ｌとして、提案学習部３２６９におけるニューラルネットワークの学習と回帰学習部３２７０におけるニューラルネットワークの学習に利用される。
回帰学習部３２７０は、損失値Ｌの計算に、Ｆａｓｔｅｒ－ＲＣＮＮのようにＬ１損失を用いてもよい。損失値の計算方法は、作業実施時間帯の予測値と真値との差分が適切に計算されるものであれば、どのようなものでもよい。
回帰学習部３２７０は、損失値Ｌを計算後、誤差逆伝搬法を用いてニューラルネットワークの重みを更新する。
回帰学習部３２７０がこられの処理を予め定めた回数繰り返すことで、作業実施時間帯検出モデルＤＭを生成する。
回帰学習部３２７０は、作業実施時間帯検出モデルＤＭを作業実施時間帯検出モデル保存部３３２に格納する。
得られた差分は、損失値Ｌとして、提案学習部３２６９におけるニューラルネットワークの学習と回帰学習部３２７０におけるニューラルネットワークの学習に利用される。
回帰学習部３２７０は、損失値Ｌの計算に、Ｆａｓｔｅｒ－ＲＣＮＮのようにＬ１損失を用いてもよい。損失値の計算方法は、作業実施時間帯の予測値と真値との差分が適切に計算されるものであれば、どのようなものでもよい。
回帰学習部３２７０は、損失値Ｌを計算後、誤差逆伝搬法を用いてニューラルネットワークの重みを更新する。
回帰学習部３２７０がこられの処理を予め定めた回数繰り返すことで、作業実施時間帯検出モデルＤＭを生成する。
回帰学習部３２７０は、作業実施時間帯検出モデルＤＭを作業実施時間帯検出モデル保存部３３２に格納する。
【0191】
【0192】
先ず、ステップＳ３１において、関節位置時系列データ取得部３２０が、撮像装置３１０からの映像Ｖから関節位置時系列データＨＰＴを生成する。
【0193】
次に、ステップＳ３２において、関節速度計算部３２１が、関節位置時系列データＨＰＴから関節速度時系列データＨＶＴを生成する。
【0194】
次に、ステップＳ３３において、関節時系列データ画像化部３２２が、関節位置時系列データＨＰＴを画像化して、左手関節位置画像ＬＪＰＩと右手関節位置画像ＲＪＰＩを生成する。また、関節時系列データ画像化部３２２が、関節速度時系列データＨＶＴを画像化して、左手関節速度画像ＬＪＶＩと右手関節速度画像ＲＪＶＩを生成する。
【0195】
次に、ステップＳ３４において、学習データ生成部３２３が学習データｓＩｔ及び学習データｓＩｕを生成する。
【0196】
次に、ステップＳ３５において、前処理統計量計算部３２４が、前処理統計量を計算する。
【0197】
最後に、ステップＳ３６において、作業実施時間帯検出モデル生成部３２６が、学習データｓＩｔ、学習データｓＩｕ及び前処理統計量を用いて、作業実施時間帯検出モデルＤＭを生成する。
最後に、作業実施時間帯検出モデル生成部３２６は、作業実施時間帯検出モデルＤＭを要素作業推定モデル保存部２３２に格納する。
最後に、作業実施時間帯検出モデル生成部３２６は、作業実施時間帯検出モデルＤＭを要素作業推定モデル保存部２３２に格納する。
【0198】
＊＊＊実施の形態の効果の説明＊＊＊
本実施の形態によれば、学習データｓＩｔ及び学習データｓＩｕに基づいて作業実施時間帯検出モデルＤＭを生成することができる。これにより、作業実施時間帯の検出をルールベースで行う必要がなくなる。つまり、作業実施時間帯の検出のための閾値を決める必要がなくなる。この結果、推定装置１００のユーザの負荷を軽減することができる。
本実施の形態によれば、学習データｓＩｔ及び学習データｓＩｕに基づいて作業実施時間帯検出モデルＤＭを生成することができる。これにより、作業実施時間帯の検出をルールベースで行う必要がなくなる。つまり、作業実施時間帯の検出のための閾値を決める必要がなくなる。この結果、推定装置１００のユーザの負荷を軽減することができる。
【0199】
実施の形態４．
図１８は、本実施の形態に係る推定装置４００の機能構成例を示す。
図１８において、作業実施時間帯検出モデル保存部４３３は、実施の形態３に示す作業実施時間帯検出モデルＤＭを保存する。
また、作業実施時間帯検出部４２３は、作業実施時間帯検出モデル保存部４３３から作業実施時間帯検出モデルＤＭを取得し、作業実施時間帯検出モデルＤＭを用いて作業実施時間帯を検出する。つまり、作業実施時間帯検出部４２３は、左手関節位置画像ＬＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶＩと左手把持道具データＬＴＯ１及び右手把持道具データＲＴＯ１を作業実施時間帯検出モデルＤＭに入力して、作業実施時間帯を検出する。
作業実施時間帯検出部４２３及び作業実施時間帯検出モデル保存部４３３以外の構成要素は、図７に示す同じ名称の構成要素と同様である。このため、これらの構成要素の説明は省略する。
なお、推定装置４００も、推定装置１００と同様に、図２２に例示するハードウェア構成を有するものとする。
図１８は、本実施の形態に係る推定装置４００の機能構成例を示す。
図１８において、作業実施時間帯検出モデル保存部４３３は、実施の形態３に示す作業実施時間帯検出モデルＤＭを保存する。
また、作業実施時間帯検出部４２３は、作業実施時間帯検出モデル保存部４３３から作業実施時間帯検出モデルＤＭを取得し、作業実施時間帯検出モデルＤＭを用いて作業実施時間帯を検出する。つまり、作業実施時間帯検出部４２３は、左手関節位置画像ＬＪＰＩ、左手関節速度画像ＬＪＶＩ、右手関節位置画像ＲＪＰＩ及び右手関節速度画像ＲＪＶＩと左手把持道具データＬＴＯ１及び右手把持道具データＲＴＯ１を作業実施時間帯検出モデルＤＭに入力して、作業実施時間帯を検出する。
作業実施時間帯検出部４２３及び作業実施時間帯検出モデル保存部４３３以外の構成要素は、図７に示す同じ名称の構成要素と同様である。このため、これらの構成要素の説明は省略する。
なお、推定装置４００も、推定装置１００と同様に、図２２に例示するハードウェア構成を有するものとする。
【0200】
＊＊＊実施の形態の効果の説明＊＊＊
実施の形態３と同様に、作業実施時間帯の検出のための閾値を決める必要がなくなるため、推定装置４００のユーザの負荷を軽減することができる。
更に、作業実施時間帯検出モデルＤＭを用いることで、要素作業が複雑に組み合わされている作業であっても作業実施時間帯を正確に検出することができる。
実施の形態３と同様に、作業実施時間帯の検出のための閾値を決める必要がなくなるため、推定装置４００のユーザの負荷を軽減することができる。
更に、作業実施時間帯検出モデルＤＭを用いることで、要素作業が複雑に組み合わされている作業であっても作業実施時間帯を正確に検出することができる。
【0201】
実施の形態５．
図１９は、本実施の形態に係る学習装置５００の機能構成例を示す。学習装置５００は、実施の形態２で説明した学習装置２００と実施の形態３で説明した学習装置３００を組み合わせたものである。
学習データ生成部５２３は、学習データｓＩｓ、学習データｓＩｔ及び学習データｓＩｕを生成する。学習データｓＩｓ、学習データｓＩｔ及び学習データｓＩｕの生成方法は、実施の形態２及び実施の形態３で説明したものと同様である。
また、前処理統計量計算部５２４は、学習データｓＩｓ及び学習データｓＩｔの各々の前処理統計量を計算する。前処理統計量の計算方法は、実施の形態２及び実施の形態３で説明したものと同様である。
学習データ生成部５２３及び前処理統計量計算部５２４以外の構成要素は、図１２及び図１５に示す同じ名称の構成要素と同様である。このため、これらの構成要素の説明は省略する。
なお、学習装置５００も、学習装置２００及び学習装置３００と同様に、図２３に例示するハードウェア構成を有するものとする。
図１９は、本実施の形態に係る学習装置５００の機能構成例を示す。学習装置５００は、実施の形態２で説明した学習装置２００と実施の形態３で説明した学習装置３００を組み合わせたものである。
学習データ生成部５２３は、学習データｓＩｓ、学習データｓＩｔ及び学習データｓＩｕを生成する。学習データｓＩｓ、学習データｓＩｔ及び学習データｓＩｕの生成方法は、実施の形態２及び実施の形態３で説明したものと同様である。
また、前処理統計量計算部５２４は、学習データｓＩｓ及び学習データｓＩｔの各々の前処理統計量を計算する。前処理統計量の計算方法は、実施の形態２及び実施の形態３で説明したものと同様である。
学習データ生成部５２３及び前処理統計量計算部５２４以外の構成要素は、図１２及び図１５に示す同じ名称の構成要素と同様である。このため、これらの構成要素の説明は省略する。
なお、学習装置５００も、学習装置２００及び学習装置３００と同様に、図２３に例示するハードウェア構成を有するものとする。
【0202】
なお、作業実施時間帯検出モデルＤＭの生成のための学習と、要素作業推定モデルＭの生成のための学習は各々独立して行われてもよいし、マルチタスク学習として、同時に行ってもよい。
作業実施時間帯検出モデルＤＭの生成のための学習と要素作業推定モデルＭの生成のための学習を同時に行う場合は、ネットワーク構造及び／又は重みの一部を二つの学習で共有してもよい。
作業実施時間帯検出モデルＤＭの生成のための学習と要素作業推定モデルＭの生成のための学習を同時に行う場合は、ネットワーク構造及び／又は重みの一部を二つの学習で共有してもよい。
【0203】
更に、推定結果としての検出及び分類結果である複数の要素作業の順序について、推定結果と真値（要素作業の真の順序）とを比較して順序に関する損失値Ｌを計算し、損失値Ｌを各モデルの学習に用いてもよい。
順序に関する損失値Ｌの計算は、例えば編集距離又はグラフ同士の差分等を用いることが考えられる。
また、作業の種類に応じて、順序に関する損失値Ｌの計算方法を変化させることが望ましい。例えば、組み立て作業の損失値Ｌを計算する場合は、組み立て作業を実施する上であり得ない要素作業の順序の出現に、大きな損失値Ｌを課すことが考えられる。
順序に関する損失値Ｌの計算は、例えば編集距離又はグラフ同士の差分等を用いることが考えられる。
また、作業の種類に応じて、順序に関する損失値Ｌの計算方法を変化させることが望ましい。例えば、組み立て作業の損失値Ｌを計算する場合は、組み立て作業を実施する上であり得ない要素作業の順序の出現に、大きな損失値Ｌを課すことが考えられる。
【0204】
＊＊＊実施の形態の効果の説明＊＊＊
本実施の形態によれば、作業実施時間帯検出モデルＤＭと要素作業推定モデルＭを効率的に生成することができる。
本実施の形態によれば、作業実施時間帯検出モデルＤＭと要素作業推定モデルＭを効率的に生成することができる。
【0205】
以上、実施の形態１～５を説明したが、これらの実施の形態のうち、２つ以上を組み合わせて実施しても構わない。
あるいは、これらの実施の形態のうち、１つを部分的に実施しても構わない。
あるいは、これらの実施の形態のうち、２つ以上を部分的に組み合わせて実施しても構わない。
また、これらの実施の形態に記載された構成及び手順を必要に応じて変更してもよい。
あるいは、これらの実施の形態のうち、１つを部分的に実施しても構わない。
あるいは、これらの実施の形態のうち、２つ以上を部分的に組み合わせて実施しても構わない。
また、これらの実施の形態に記載された構成及び手順を必要に応じて変更してもよい。
【0206】
＊＊＊ハードウェア構成の補足説明＊＊＊
最後に、推定装置１００、学習装置２００、学習装置３００、推定装置４００及び学習装置５００のハードウェア構成の補足説明を行う。
以下では、代表して推定装置１００と学習装置２００のハードウェア構成の補足説明を行う。推定装置１００についての以下の説明は推定装置４００にも適用される。同様に、学習装置２００についての以下の説明は学習装置３００及び学習装置５００にも適用される。
最後に、推定装置１００、学習装置２００、学習装置３００、推定装置４００及び学習装置５００のハードウェア構成の補足説明を行う。
以下では、代表して推定装置１００と学習装置２００のハードウェア構成の補足説明を行う。推定装置１００についての以下の説明は推定装置４００にも適用される。同様に、学習装置２００についての以下の説明は学習装置３００及び学習装置５００にも適用される。
【0207】
図２２に示すプロセッサ８０１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。
プロセッサ８０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等である。
図２２に示す主記憶装置８０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
図２２に示す補助記憶装置８０３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等である。
図２２に示す通信装置８０４は、データの通信処理を実行する電子回路である。
通信装置８０４は、例えば、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。
プロセッサ８０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）等である。
図２２に示す主記憶装置８０２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
図２２に示す補助記憶装置８０３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等である。
図２２に示す通信装置８０４は、データの通信処理を実行する電子回路である。
通信装置８０４は、例えば、通信チップ又はＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）である。
【0208】
また、補助記憶装置８０３には、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）も記憶されている。
そして、ＯＳの少なくとも一部がプロセッサ８０１により実行される。
プロセッサ８０１はＯＳの少なくとも一部を実行しながら、推定装置１００の各機能構成要素を実現するプログラムを実行する。
プロセッサ８０１がＯＳを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
また、推定装置１００の各機能構成要素の処理の結果を示す情報、データ、信号値及び変数値の少なくともいずれかが、主記憶装置８０２、補助記憶装置８０３、プロセッサ８０１内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
また、推定装置１００の各機能構成要素を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ等の可搬記録媒体に格納されていてもよい。そして、推定装置１００の各機能構成要素を実現するプログラムが格納された可搬記録媒体を流通させてもよい。
そして、ＯＳの少なくとも一部がプロセッサ８０１により実行される。
プロセッサ８０１はＯＳの少なくとも一部を実行しながら、推定装置１００の各機能構成要素を実現するプログラムを実行する。
プロセッサ８０１がＯＳを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
また、推定装置１００の各機能構成要素の処理の結果を示す情報、データ、信号値及び変数値の少なくともいずれかが、主記憶装置８０２、補助記憶装置８０３、プロセッサ８０１内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
また、推定装置１００の各機能構成要素を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ等の可搬記録媒体に格納されていてもよい。そして、推定装置１００の各機能構成要素を実現するプログラムが格納された可搬記録媒体を流通させてもよい。
【0209】
また、推定装置１００の機能構成要素の少なくともいずれかの「部」を、「回路」又は「工程」又は「手順」又は「処理」又は「サーキットリー」に読み替えてもよい。
また、推定装置１００は、処理回路により実現されてもよい。処理回路は、例えば、ロジックＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）である。
この場合は、推定装置１００の機能構成要素は、それぞれ処理回路の一部として実現される。
また、推定装置１００は、処理回路により実現されてもよい。処理回路は、例えば、ロジックＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＧＡ（Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）である。
この場合は、推定装置１００の機能構成要素は、それぞれ処理回路の一部として実現される。
【0210】
図２３に示すプロセッサ９０１は、プロセッシングを行うＩＣである。
プロセッサ９０１は、ＣＰＵ、ＤＳＰ等である。
図２３に示す主記憶装置９０２は、ＲＡＭである。
図２３に示す補助記憶装置９０３は、ＲＯＭ、フラッシュメモリ、ＨＤＤ等である。
図２３に示す通信装置９０４は、データの通信処理を実行する電子回路である。
通信装置９０４は、例えば、通信チップ又はＮＩＣである。
プロセッサ９０１は、ＣＰＵ、ＤＳＰ等である。
図２３に示す主記憶装置９０２は、ＲＡＭである。
図２３に示す補助記憶装置９０３は、ＲＯＭ、フラッシュメモリ、ＨＤＤ等である。
図２３に示す通信装置９０４は、データの通信処理を実行する電子回路である。
通信装置９０４は、例えば、通信チップ又はＮＩＣである。
【0211】
また、補助記憶装置９０３には、ＯＳも記憶されている。
そして、ＯＳの少なくとも一部がプロセッサ９０１により実行される。
プロセッサ９０１はＯＳの少なくとも一部を実行しながら、学習装置２００の各機能構成要素を実現するプログラムを実行する。
プロセッサ９０１がＯＳを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
また、学習装置２００の各機能構成要素の処理の結果を示す情報、データ、信号値及び変数値の少なくともいずれかが、主記憶装置９０２、補助記憶装置９０３、プロセッサ９０１内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
また、学習装置２００の各機能構成要素を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ等の可搬記録媒体に格納されていてもよい。そして、学習装置２００の各機能構成要素を実現するプログラムが格納された可搬記録媒体を流通させてもよい。
そして、ＯＳの少なくとも一部がプロセッサ９０１により実行される。
プロセッサ９０１はＯＳの少なくとも一部を実行しながら、学習装置２００の各機能構成要素を実現するプログラムを実行する。
プロセッサ９０１がＯＳを実行することで、タスク管理、メモリ管理、ファイル管理、通信制御等が行われる。
また、学習装置２００の各機能構成要素の処理の結果を示す情報、データ、信号値及び変数値の少なくともいずれかが、主記憶装置９０２、補助記憶装置９０３、プロセッサ９０１内のレジスタ及びキャッシュメモリの少なくともいずれかに記憶される。
また、学習装置２００の各機能構成要素を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ等の可搬記録媒体に格納されていてもよい。そして、学習装置２００の各機能構成要素を実現するプログラムが格納された可搬記録媒体を流通させてもよい。
【0212】
また、学習装置２００の機能構成要素の少なくともいずれかの「部」を、「回路」又は「工程」又は「手順」又は「処理」又は「サーキットリー」に読み替えてもよい。
また、学習装置２００は、処理回路により実現されてもよい。処理回路は、例えば、ロジックＩＣ、ＧＡ、ＡＳＩＣ、ＦＰＧＡである。
この場合は、学習装置２００の機能構成要素は、それぞれ処理回路の一部として実現される。
また、学習装置２００は、処理回路により実現されてもよい。処理回路は、例えば、ロジックＩＣ、ＧＡ、ＡＳＩＣ、ＦＰＧＡである。
この場合は、学習装置２００の機能構成要素は、それぞれ処理回路の一部として実現される。
【0213】
なお、本明細書では、プロセッサと処理回路との上位概念を、「プロセッシングサーキットリー」という。
つまり、プロセッサと処理回路とは、それぞれ「プロセッシングサーキットリー」の具体例である。
つまり、プロセッサと処理回路とは、それぞれ「プロセッシングサーキットリー」の具体例である。
【符号の説明】
【0214】
１１ 時間分割部、１２ 推定部、１００ 推定装置、１１０ 撮像装置、１２０ 関節位置時系列データ取得部、１２１ 関節速度計算部、１２２ 関節時系列データ画像化部、１２３ 作業実施時間帯検出部、１２３１ 出現状況判定部、１２３２ 道具把持状況判定部、１２３３ 変位量判定部、１２３４ 作業実施時間帯判定部、１２４ 要素作業推定部、１２４１ 関節位置画像取得部、１２４２ 関節速度画像取得部、１２４３ 関節位置特徴抽出部、１２４４ 関節速度特徴抽出部、１２４５ 関節画像特徴分類部、１２５ 推定結果処理部、１２６ 把持道具時系列データ生成部、１３０ 要素作業推定モデル保存部、１３１ 前処理統計量保存部、１３２ 推定結果保存部、２００ 学習装置、２１０ 撮像装置、２２０ 関節位置時系列データ取得部、２２１ 関節速度計算部、２２２ 関節時系列データ画像化部、２２３ 学習データ生成部、２２４ 前処理統計量計算部、２２５ 要素作業推定モデル生成部、２２５１ 関節位置画像取得部、２２５２ 関節速度画像取得部、２２５３ 関節位置特徴抽出部、２２５４ 関節速度特徴抽出部、２２５５ 関節画像特徴分類学習部、２３０ 学習データ保存部、２３１ 前処理統計量保存部、２３２ 要素作業推定モデル保存部、３００ 学習装置、３１０ 撮像装置、３２０ 関節位置時系列データ取得部、３２１ 関節速度計算部、３２２ 関節時系列データ画像化部、３２３ 学習データ生成部、３２４ 前処理統計量計算部、３２５ 把持道具時系列データ生成部、３２６ 作業実施時間帯検出モデル生成部、３２６１ 関節位置画像取得部、３２６２ 関節速度画像取得部、３２６３ 関節位置特徴抽出部、３２６４ 関節速度特徴抽出部、３２６５ 出現状況判定部、３２６６ 道具把持状況判定部、３２６８ 作業実施時間帯判定部、３２６９ 提案学習部、３２７０ 回帰学習部、３３０ 学習データ保存部、３３１ 前処理統計量保存部、３３２ 作業実施時間帯検出モデル保存部、３３３ 把持道具情報保存部、４００ 推定装置、４１０ 撮像装置、４２０ 関節位置時系列データ取得部、４２１ 関節速度計算部、４２２ 関節時系列データ画像化部、４２３ 作業実施時間帯検出部、４２４ 要素作業推定部、４２５ 推定結果処理部、４２６ 把持道具時系列データ生成部、４３０ 要素作業推定モデル保存部、４３１ 推定結果保存部、４３２ 前処理統計量保存部、４３３ 作業実施時間帯検出モデル保存部、５００ 学習装置、５１０ 撮像装置、５２０ 関節位置時系列データ取得部、５２１ 関節速度計算部、５２２ 関節時系列データ画像化部、５２３ 学習データ生成部、５２４ 前処理統計量計算部、５２５ 作業実施時間帯検出モデル生成部、５２６ 把持道具時系列データ生成部、５２７ 要素作業推定モデル生成部、５３０ 学習データ保存部、５３１ 前処理統計量保存部、５３２ 作業実施時間帯検出モデル保存部、５３３ 把持道具情報保存部、５３４ 要素作業推定モデル保存部、８０１ プロセッサ、８０２ 主記憶装置、８０３ 補助記憶装置、８０４ 通信装置、９０１ プロセッサ、９０２ 主記憶装置、９０３ 補助記憶装置、９０４ 通信装置。
【要約】
時間分割部（１１）は、各々の属性が一様ではない複数の要素作業が含まれる作業に従事する作業従事者が作業に従事している時間である作業従事時間での作業従事者の手の変位量を判定する変位量判定の判定結果と、作業従事時間での作業従事者の手の道具の把持状況を判定する道具把持状況判定の判定結果と、作業従事時間に撮像された映像における作業従事者の手の出現状況を判定する出現状況判定の判定結果とのうちの少なくともいずれかを用いて、作業従事時間を、作業従事者が複数の要素作業のうちのいずれかの要素作業を実施している時間帯である作業実施時間帯と、作業従事者が前記複数の要素作業のうちのいずれの要素作業も実施していない時間帯である非作業時間帯とに分割する。推定部（１２）は、映像のうちの作業実施時間帯に撮像された部分である部分映像に基づき、作業従事者が作業実施時間帯に実施している要素作業を推定する。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】