特許 7487057 作業推定装置、方法およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-10

(45)【発行日】2024-05-20

(54)【発明の名称】作業推定装置、方法およびプログラム

(51)【国際特許分類】

   G06F 3/01 20060101AFI20240513BHJP

   G06F 3/0484 20220101ALI20240513BHJP

   G06T 7/70 20170101ALI20240513BHJP

   G06T 7/00 20170101ALI20240513BHJP

【ＦＩ】

G06F3/01 570

G06F3/0484

G06T7/70 Z

G06T7/00 660B

【請求項の数】 28

(21)【出願番号】P 2020154120

(22)【出願日】2020-09-14

(65)【公開番号】P2022048017

(43)【公開日】2022-03-25

【審査請求日】2022-08-26

(73)【特許権者】

【識別番号】000003078

【氏名又は名称】株式会社東芝

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】仲山 将順

(72)【発明者】

【氏名】登内 洋次郎

(72)【発明者】

【氏名】金 宜鉉

(72)【発明者】

【氏名】中洲 俊信

【審査官】滝谷 亮一

(56)【参考文献】

【文献】特開２０１７－０６８４２８（ＪＰ，Ａ）

【文献】特開２００１－１０１４２２（ＪＰ，Ａ）

【文献】特開２０１８－０１８３１６（ＪＰ，Ａ）

【文献】特開２０１０－２８７１４５（ＪＰ，Ａ）

【文献】特開２００３－２３５０３４（ＪＰ，Ａ）

【文献】山下 浩豊，広域移動する人物の映像解析のための自動追従ドローン，情報処理学会研究報告 ，日本，情報処理学会，2020年05月15日，Vol.2020-CVIM-222 No.38，第1-6ページ

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８４

Ｇ０６Ｔ ７／７０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

所定領域内の映像データを取得する取得部と、
前記映像データに基づいて、前記映像データに含まれる作業者が行っている作業に関する作業値を算出する処理部と、
前記作業値を表示させる表示制御部と
を具備し、
前記作業値は、前記作業についての前記作業者の身体的な負荷を表す負荷値を含み、
前記処理部は、
前記映像データを用いて前記作業者の作業姿勢を推定し、
前記作業者の作業姿勢に基づいて、前記負荷値を算出し、
前記作業姿勢に基づいて前記作業者が行っている作業の作業対象を推定し、
前記表示制御部に対して前記作業対象と前記負荷値とを対応付けて提示させる、作業推定装置。

【請求項2】

所定領域内の映像データを取得する取得部と、
前記映像データに基づいて、前記映像データに含まれる作業者が行っている作業に関する作業値を算出する処理部と、
前記作業値を表示させる表示制御部と
を具備し、
前記作業値は、前記作業についての前記作業者の身体的な負荷を表す負荷値を含み、
前記処理部は、
前記映像データを用いて前記作業者の作業姿勢を推定し、
前記作業者の作業姿勢に基づいて、前記負荷値を算出し、
前記作業姿勢に基づいて前記作業者が行っている作業の作業対象を推定し、
前記表示制御部に対して前記作業対象と、前記作業者の身体の複数の部位についての負荷値とを対応付けて提示させる、作業推定装置。

【請求項3】

所定領域内の映像データを取得する取得部と、
前記映像データに基づいて、前記映像データに含まれる作業者が行っている作業に関する作業値を算出する処理部と、
前記作業値を表示させる表示制御部と
を具備し、
前記作業値は、前記作業についての前記作業者の身体的な負荷を表す、時系列で表された複数の負荷値を含み、
前記処理部は、
前記映像データを用いて前記作業者の作業姿勢を推定し、
前記作業者の作業姿勢に基づいて、前記時系列で表された複数の負荷値を算出し、
前記映像データと、前記作業姿勢とに基づいて前記作業者が行っている作業の複数の作業対象を推定し、
前記時系列で表された複数の負荷値と、前記複数の作業対象とに基づいて、前記複数の作業対象のうちの各々の作業対象毎に、前記作業者の負荷値に関する統計データを生成する、作業推定装置。

【請求項4】

所定領域内の映像データを取得する取得部と、
前記映像データに基づいて、前記映像データに含まれる作業者が行っている作業に関する作業値を算出する処理部と、
前記作業値を表示させる表示制御部と
を具備し、
前記作業値は、前記作業についての前記作業者の身体的な負荷を表す、時系列で表された複数の負荷値を含み、
前記処理部は、
前記映像データを用いて前記作業者の作業姿勢を推定し、
前記作業者の作業姿勢に基づいて、前記時系列で表された複数の負荷値を算出し、
前記作業姿勢に基づいて前記作業者が行っている作業の作業対象を推定し、
複数の作業対象項目毎に、前記作業者の負荷値に関する統計データを生成する、作業推定装置。

【請求項5】

所定領域内の映像データを取得する取得部と、
前記映像データに基づいて、前記映像データに含まれる作業者が行っている作業に関する作業値を算出する処理部と、
前記作業値を表示させる表示制御部と
を具備し、
前記作業値は、前記作業についての前記作業者の身体的な負荷を表す負荷値を含み、
前記処理部は、
前記映像データを用いて前記作業者の作業姿勢を推定し、
前記作業者の作業姿勢に基づいて、前記負荷値を算出し、
前記作業姿勢に基づいて前記作業者が行っている作業の作業対象を推定し、
前記作業値と、前記作業対象と、前記映像データに関する映像データ情報とを対応付けて記憶部に記憶させる、作業推定装置。

【請求項6】

前記処理部は、
前記映像データに対して、骨格推定モデルを適用することによって前記作業者の姿勢特徴量を算出し、
前記姿勢特徴量に基づいて、前記作業者の作業姿勢を推定する、
請求項１から請求項５までのいずれか一項に記載の作業推定装置。

【請求項7】

前記処理部は、
前記姿勢特徴量から前記作業者の身体の複数の部位を特定し、
前記複数の部位と、前記複数の部位にそれぞれ対応する複数の姿勢とを対応付けたテーブルを用いて、前記身体の複数の部位それぞれの姿勢を特定することによって前記作業姿勢を推定する、
請求項６に記載の作業推定装置。

【請求項8】

前記処理部は、複数の作業姿勢と複数の負荷値とを対応付けたテーブルを用いて、前記負荷値を算出する、
請求項１から請求項７までのいずれか一項に記載の作業推定装置。

【請求項9】

前記作業値は、前記作業についての前記作業者の身体の複数の部位にそれぞれ対応する複数の負荷値を含み、
前記処理部は、
前記姿勢特徴量から前記複数の部位を特定し、
前記複数の部位と、前記複数の部位にそれぞれ対応する複数の姿勢とを対応付けたテーブルを用いて、前記複数の部位のそれぞれの姿勢を特定し、
前記複数の部位のそれぞれの姿勢に基づいて、前記複数の負荷値をそれぞれ算出する、
請求項６に記載の作業推定装置。

【請求項10】

前記処理部は、前記作業者に見立てた人体図に対して、前記複数の部位の負荷値を表すマップを重畳し、
前記表示制御部は、前記マップを重畳した前記人体図を表示する、
請求項９に記載の作業推定装置。

【請求項11】

前記作業値は、時系列で表された複数の負荷値を含み、
前記処理部は、
前記映像データに基づいて、前記時系列で表された複数の負荷値を算出し、
前記時系列で表された複数の負荷値に基づいて、前記作業者の負荷値に関する統計データを生成する、
請求項１から請求項１０までのうちのいずれか一項に記載の作業推定装置。

【請求項12】

前記処理部は、前記作業姿勢と、一つ以上の作業対象候補が対応付けられた前記所定領域の見取り図とに基づいて、前記一つ以上の作業対象候補の中から前記作業対象を推定する、
請求項１から請求項１１までのいずれか一項に記載の作業推定装置。

【請求項13】

前記処理部は、前記表示制御部に対して前記作業対象と前記負荷値とを対応付けて提示させる、
請求項１から請求項１２までのうちのいずれか一項に記載の作業推定装置。

【請求項14】

前記処理部は、前記作業姿勢と、一つ以上の作業対象候補が対応付けられた前記所定領域の見取り図とに基づいて、前記一つ以上の作業対象候補の中から前記作業対象を推定し、
前記処理部は、前記見取り図上の前記作業対象に対して、前記負荷値を表すマップを重畳し、
前記表示制御部は、前記マップを重畳した前記見取り図を表示する、
請求項１３に記載の作業推定装置。

【請求項15】

前記処理部は、前記表示制御部に対して前記作業対象と、前記作業者の身体の複数の部位についての負荷値とを対応付けて提示させる、
請求項１から請求項１４までのいずれか一項に記載の作業推定装置。

【請求項16】

前記処理部は、前記作業姿勢と、一つ以上の作業対象候補が対応付けられた前記所定領域の見取り図とに基づいて、前記一つ以上の作業対象候補の中から前記作業対象を推定し、
前記処理部は、前記見取り図上の前記作業対象に対して、前記作業者の身体の複数の部位についての負荷値を表すマップを重畳し、
前記表示制御部は、前記マップを重畳した前記見取り図を表示する、
請求項１５に記載の作業推定装置。

【請求項17】

前記処理部は、前記作業姿勢と、一つ以上の作業対象候補が対応付けられた前記所定領域の見取り図とに基づいて、前記一つ以上の作業対象候補の中から前記作業対象を推定し、
前記作業値は、時系列で表された複数の負荷値を含み、
前記処理部は、
前記映像データに基づいて、前記時系列で表された複数の負荷値を算出し、
前記映像データと、前記見取り図と、前記作業姿勢とに基づいて、複数の作業対象を推定し、
前記時系列で表された複数の負荷値と、前記複数の作業対象とに基づいて、前記複数の作業対象のうちの各々の作業対象毎に、前記作業者の負荷値に関する統計データを生成する、
請求項１から請求項１１までと、請求項１３から請求項１６までとのうちのいずれか一項に記載の作業推定装置。

【請求項18】

前記処理部は、前記作業姿勢と、一つ以上の作業対象候補が対応付けられた前記所定領域の見取り図とに基づいて、前記一つ以上の作業対象候補の中から前記作業対象を推定し、
前記作業値は、時系列で表された複数の負荷値を含み、
前記見取り図は、予め複数の作業対象項目が対応付けられており、
前記処理部は、
前記映像データに基づいて、前記時系列で表された複数の負荷値を算出し、
前記複数の作業対象項目毎に、前記作業者の負荷値に関する統計データを生成する、 請求項１から請求項１１までと、請求項１３から請求項１６までとのうちのいずれか一項に記載の作業推定装置。

【請求項19】

前記処理部は、前記作業値と、前記映像データに関する映像データ情報とを対応付けて記憶部に記憶させる、
請求項１から請求項１８までのいずれか一項に記載の作業推定装置。

【請求項20】

前記処理部は、前記作業値と、前記作業対象と、前記映像データに関する映像データ情報とを対応付けて記憶部に記憶させる、
請求項８から請求項１８までのいずれか一項に記載の作業推定装置。

【請求項21】

前記映像データ情報は、前記映像データのファイル名を含む、
請求項１９または請求項２０に記載の作業推定装置。

【請求項22】

前記処理部は、
前記映像データに対して、骨格推定モデルを適用することによって前記作業者の姿勢特徴量を算出し、
前記姿勢特徴量に基づいて、前記作業者の作業姿勢を推定し、
前記映像データに関する映像データ情報は、前記映像データを構成するフレームに関するフレーム情報を含み、
前記処理部は、前記フレーム情報と、前記姿勢特徴量および前記作業姿勢の少なくともどちらかとを対応付けて記憶部に記憶させる、
請求項１９から請求項２１までのいずれか一項に記載の作業推定装置。

【請求項23】

前記処理部は、前記時系列で表された複数の負荷値の総和、前記総和の平均値、前記総和の加重平均値、前記時系列で表された複数の負荷値の重み付き総和、前記重み付き総和の平均値、および前記重み付き総和の加重平均値のうちのいずれかを前記統計データとして生成する、
請求項３、請求項４、請求項１１、請求項１７、および請求項１８のうちのいずれか一項に記載の作業推定装置。

【請求項24】

前記処理部は、前記表示制御部に対して前記統計データを、テーブルまたはグラフで表して提示させる、
請求項３、請求項４、請求項１１、請求項１７、請求項１８、および請求項２３のうちのいずれか一項に記載の作業推定装置。

【請求項25】

前記作業値は、前記作業の種別を示す値を含み、
前記処理部は、前記映像データに基づいて、前記作業の種別を示す値を算出する、
請求項１から請求項２４までのいずれか一項に記載の作業推定装置。

【請求項26】

前記作業値は、前記作業者の勤怠状況を示す値を含み、
前記処理部は、前記映像データに基づいて、前記作業者の勤怠状況を示す値を算出する、
請求項１から請求項２５までのいずれか一項に記載の作業推定装置。

【請求項27】

所定領域内の映像データを取得することと、
取得した前記映像データに基づいて、前記映像データに含まれる作業者が行っている作業に関する作業値を算出することと、
前記作業値を表示させることと、
前記作業値は、前記作業についての前記作業者の身体的な負荷を表す負荷値を含み、 前記映像データを用いて前記作業者の作業姿勢を推定することと、
前記作業者の作業姿勢に基づいて、前記負荷値を算出することと、
前記作業姿勢に基づいて前記作業者が行っている作業の作業対象を推定することと、
前記作業対象と前記負荷値とを対応付けて提示させることと
を具備する、作業推定方法。

【請求項28】

コンピュータを、
所定領域内の映像データを取得する手段と、
取得した前記映像データに基づいて、前記映像データに含まれる作業者が行っている作業に関する作業値を算出する手段と、
前記作業値を表示させる手段と、
前記作業値は、前記作業についての前記作業者の身体的な負荷を表す負荷値を含み、 前記映像データを用いて前記作業者の作業姿勢を推定する手段と、
前記作業者の作業姿勢に基づいて、前記負荷値を算出する手段と、
前記作業姿勢に基づいて前記作業者が行っている作業の作業対象を推定する手段と、
前記作業対象と前記負荷値とを対応付けて提示させる手段
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、作業推定装置、方法およびプログラムに関する。

【背景技術】

【0002】

従来、作業者の身体的な活動の状況（活動状況）を、ウェアラブルセンサおよびウェアラブルカメラなどのウェアラブル装置を用いて取得する技術がある。

【0003】

しかし、ウェアラブル装置は、作業者に装着する必要があるため、作業者にとって作業の妨げとなる可能性がある。よって、作業者の作業負荷をウェアラブル装置によって取得することは、作業者にとって作業をする際の負担になる可能性がある。他にも、作業者の人数分のウェアラブル装置を導入するための費用に関する問題や、ウェアラブル装置の充電およびメンテナンスなどの保守管理に関する問題などが懸念される。

【0004】

また、作業場所における作業者の位置とウェアラブル装置を用いて取得された作業者の作業負荷とを対応付けて、見取り図上にヒートマップとして可視化する技術がある。

【0005】

しかし、前述のヒートマップは、作業者の位置と、作業者の活動状況とを対応付けているものであるため、作業場所に配置されている機器などへの作業負荷を可視化することはできなかった。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１８－１３９０５２号公報

【文献】特開２０２０－０２４６８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明が解決しようとする課題は、作業者に負担をかけることなく、作業者の作業状況を可視化することができる作業推定装置、方法およびプログラムを提供することである。

【課題を解決するための手段】

【0008】

一実施形態に係る作業推定装置は、取得部と、処理部と、表示制御部とを備える。取得部は、所定領域内の映像データを取得する。処理部は、取得した映像データに基づいて、映像データに含まれる作業者が行っている作業に関する作業値を算出する。表示制御部は、作業値を表示させる。

【図面の簡単な説明】

【0009】

【図1】図１は、第１の実施形態に係る作業推定装置を含む作業推定システムの構成例を示すブロック図である。

【図2】図２は、第１の実施形態に係る作業推定装置の処理部の構成例を示すブロック図である。

【図3】図３は、第１の実施形態に係る作業推定装置の動作例を示すフローチャートである。

【図4】図４は、第１の実施形態に係る作業値算出処理の具体例を示すフローチャートである。

【図5】図５は、第１の実施形態における、二次元人体骨格モデルを例示する図である。

【図6】図６は、第１の実施形態における、画像から推定された二次元人体骨格モデルおよび三次元人体骨格モデルを例示する図である。

【図7】図７は、第１の実施形態における、身体の複数の部位の状態の分類を例示するテーブルである。

【図8】図８は、第１の実施形態における、画像から推定された作業者の姿勢の第１の例である。

【図9】図９は、第１の実施形態における、画像から推定された作業者の姿勢の第２の例である。

【図10】図１０は、第１の実施形態における、画像から推定された作業者の姿勢の第３の例である。

【図11】図１１は、第１の実施形態における、画像から推定された作業者の姿勢の第４の例である。

【図12】図１２は、第１の実施形態における、身体の複数の部位のそれぞれの状態の組み合わせと負荷値とを対応付けたテーブルである。

【図13】図１３は、第１の実施形態における、負荷値の種類を説明する図である。

【図14】図１４は、第１の実施形態における、累積した負荷値を身体の複数の部位のそれぞれに対応させて表示した人体図である。

【図15】図１５は、第１の実施形態における、累積した負荷値を身体の複数の部位のそれぞれに対応させて表示した複数の人体図を時系列に並べた図である。

【図16】図１６は、第２の実施形態に係る作業推定装置を含む作業推定システムの構成例を示すブロック図である。

【図17】図１７は、第２の実施形態に係る作業推定装置の処理部の構成を示すブロック図である。

【図18】図１８は、第２の実施形態に係る作業推定装置の動作例を示すフローチャートである。

【図19】図１９は、第２の実施形態に係る作業対象推定処理の具体例を示すフローチャートである。

【図20】図２０は、第２の実施形態における、映像データの画像を例示する図である。

【図21】図２１は、第２の実施形態における、二次元の見取り図を例示する図である。

【図22】図２２は、図２０の画像における三つの基準点を例示する図である。

【図23】図２３は、図２１の見取り図における三つの基準点を例示する図である。

【図24】図２４は、図２０の画像および図２１の見取り図と、仮想三次元空間との対応付けを説明するための図である。

【図25】図２５は、第２の実施形態における、画像における基準点の座標および見取り図における基準点の座標から、仮想三次元空間における基準点の座標への変換を例示する図である。

【図26】図２６は、第２の実施形態における、正規化三次元座標で表された三次元人体骨格モデルの、仮想三次元空間内への配置を説明するための図である。

【図27】図２７は、第２の実施形態における、正規化三次元座標で表された三次元人体骨格モデルのキーポイントの座標から、仮想三次元空間内で表される三次元人体骨格モデルのキーポイントの座標への変換を例示する図である。

【図28】図２８は、第２の実施形態における、作業者の向きの推定を説明するための図である。

【図29】図２９は、第２の実施形態における、作業者の向きと、見取り図に示された作業対象との対応付けを説明するための図である。

【図30】図３０は、第２の実施形態における、累積した負荷値を複数の作業対象に対応させて表示した見取り図である。

【図31】図３１は、第２の実施形態における、身体の特定の部位を示す人体図と、身体の特定の部位に関する負荷値を複数の作業対象に対応させて表示した見取り図とを含む表示データの第１の具体例を示す図である。

【図32】図３２は、第２の実施形態における、身体の特定の部位を示す人体図と、身体の特定の部位に関する負荷値を複数の作業対象に対応させて表示した見取り図とを含む表示データの第２の具体例を示す図である。

【図33】図３３は、第２の実施形態における、身体の特定の部位を示す人体図と、身体の特定の部位に関する負荷値を複数の作業対象に対応させて表示した見取り図とを含む表示データの第３の具体例を示す図である。

【図34】図３４は、特定の作業対象を示す見取り図と、累積した負荷値を身体の複数の部位のそれぞれに対応させて表示した人体図とを含む表示データを例示する図である。

【図35】図３５は、一実施形態に係るコンピュータのハードウェア構成を例示するブロック図である。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら、作業推定装置の実施形態について詳細に説明する。

【0011】

（第１の実施形態）
図１は、第１の実施形態に係る作業推定装置１００を含む作業推定システム１の構成例を示すブロック図である。作業推定システム１は、作業推定装置１００と、撮影装置２００と、記憶装置３００と、出力装置４００とを含む。作業推定システム１は、対象領域内にいる作業者の作業に関する状態を、対象領域内の場所および物と関連付けて、ユーザに把握しやすい表現形式で提示（可視化）するために用いられる。

【0012】

撮影装置２００は、例えば、ビデオカメラである。撮影装置２００は、作業者によって作業が行われている作業領域（例えば、工場における組み立て作業場など）を撮影し、静止画像または動画像を取得する。本実施形態では、撮影装置２００で取得された静止画像または動画像を映像データと称する。撮影装置２００は、取得した映像データを記憶装置３００へと出力する。尚、撮影装置２００は、取得した映像データを作業推定装置１００へ直接出力してもよい。また、映像データは、撮影時刻が含まれてもよい。

【0013】

記憶装置３００は、データを不揮発的に記憶するコンピュータ読み取り可能な記憶媒体である。この記憶媒体は、例えば、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。記憶装置３００は、撮影装置２００から出力された映像データを記憶する。更に、記憶装置３００は、例えば、作業推定装置１００で用いられる複数のデータを記憶している。複数のデータは、例えば、姿勢推定用データ、作業値算出用データ、履歴データ、および表示変換用データなどを含む。複数のデータそれぞれの詳細は後述される。記憶装置３００は、作業推定装置１００からのアクセスに応じて、映像データおよび複数のデータを作業推定装置１００へと出力する。

【0014】

なお、記憶装置３００に記憶される映像データは、例えば、カレンダーの情報、或いはガントチャートの情報と対応付けられていてもよい。また、記憶装置３００は、外部のサーバ内に設けられてもよい。また、記憶装置３００は、複数の記憶媒体であってもよい。複数の記憶媒体のそれぞれは、記憶するデータの種類によって使い分けられてよい。具体的には、記憶媒体としてのＨＤＤまたはＳＳＤには、データ量の多い映像データが記憶され、記憶媒体としてのフラッシュメモリには、データ量の少ない上述の複数のデータが記憶されてもよい。

【0015】

作業推定装置１００は、例えば、作業推定システム１を管理するシステム管理者（以降では、ユーザと称する）によって使用されるコンピュータである。作業推定装置１００は、取得部１１０と、処理部１２０と、表示制御部１３０とを含む。尚、作業推定装置１００は、撮影装置２００、記憶装置３００、および出力装置４００の少なくとも一つを備えてもよい。

【0016】

取得部１１０は、記憶装置３００から映像データを取得する。取得される映像データは、撮影装置２００によってリアルタイムに撮影されて、記憶装置３００に順次記憶されたものでもよいし、記憶装置３００に予め記憶されていた映像データでもよい。取得部１１０は、取得した映像データを処理部１２０へと出力する。尚、取得部１１０は、撮影装置２００から映像データを直接取得してもよい。また、取得部１１０は、例えば、動画を一つのデータとして一括取得してもよいし、動画をストリーミング形式で逐次取得してもよい。

【0017】

処理部１２０は、取得部１１０から映像データを受け取る。処理部１２０は、映像データに基づいて、作業者の姿勢（作業姿勢）に関する作業値を算出する。作業値は、作業者が行っている作業に関する値に言い換えられてもよい。処理部１２０は、記憶装置３００にアクセスすることによって、映像データを処理する際に必要な複数のデータを受け取ってもよい。尚、処理部１２０は、算出した作業値を記憶装置３００へ記憶させてもよいし、算出した作業値を映像データ、或いは映像データに関する情報（映像データ情報）と対応付けて記憶装置３００へ記憶させてもよい。映像データ情報は、例えば、映像データのファイル名および映像データを構成するフレームに関するフレーム情報などを含む。作業値を映像データ、或いは映像データ情報と対応付けて記憶装置３００へ記憶させることにより、作業推定装置１００において、有益な可視化や、有益な統計値の算出が行えるようになる。

【0018】

作業値は、例えば、作業者の身体的な負荷を表す値（負荷値）を少なくとも含む。処理部１２０が負荷値を算出する場合、処理部１２０は、例えば、映像データに基づいて作業者の姿勢特徴量を算出し、算出した姿勢特徴量に基づいて作業者の作業姿勢を推定し、推定し作業姿勢に基づいて負荷値を算出する。尚、処理部１２０は、映像データ情報のうちのフレーム情報と、姿勢特徴量および作業姿勢の少なくともどちらかとを対応付けて記憶部３００へ記憶させてもよい。作業値は、作業の種別を示す値、および作業者の勤怠状況を示す値を含んでもよい。作業推定装置１００は、これらの値を負荷値と対応付けてユーザに提示してもよい。これにより、業務改善に役立てることができる。

【0019】

また、処理部１２０は、算出した作業値に基づいて、ユーザにとって認識しやすい表現形式の表示データを生成する。第１の実施形態における表示データは、例えば、作業者に見立てた人体図の複数の部位（例えば、背部、上肢、および下肢など）に対して、それぞれ算出した作業値の統計データ（後述される）に対応する表示をしたものである。具体的には、第１の実施形態における表示データは、人体図の複数の部位に対して、後述する統計データに対応するマップを重畳したものである。処理部１２０は、生成した表示データを表示制御部１３０へと出力する。尚、処理部１２０は、生成した表示データを記憶装置３００へ記憶させてもよいし、生成した表示データを映像データ、或いは映像データ情報と対応付けて記憶装置３００へ記憶させてもよい。また、表示データは、人体図上、或いは人体図の近傍に、統計データに含まれる数値、当該数値に対応する図形、および統計データに基づく表、或いはグラフが含まれてもよい。

【0020】

表示制御部１３０は、処理部１２０から表示データを受け取る。表示制御部１３０は、出力装置４００に対して、表示データを表示させる。

【0021】

図２は、第１の実施形態に係る作業推定装置１００の処理部１２０の構成例を示すブロック図である。処理部１２０は、姿勢推定部１２１と、作業値算出部１２２と、統計処理部１２３と、表示データ生成部１２４とを含む。

【0022】

姿勢推定部１２１は、映像データに基づいて作業者の姿勢を推定する。具体的には、姿勢推定部１２１は、姿勢推定用データを用いて、映像データから作業者を検出し、検出した作業者の姿勢を推定する。姿勢推定部１２１は、推定した作業者の姿勢の情報を作業値算出部１２２へと出力する。

【0023】

姿勢推定用データは、例えば、映像データから人物を検出するように学習された機械学習の学習済みモデル（以降、単に「学習済みモデル」と称する）、人物の姿勢を推定するように学習された学習済みモデル、およびそれらの両方の処理を行うように学習された学習済みモデルなどを含む。これらの学習済みモデルは、Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＮＮ）が用いられ、好ましくは、Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＣＮＮ）が用いられる。ＣＮＮを用いることにより、画像から対象（本実施形態では人物）を精度良く検出することができる。しかしながら、学習済みモデルは、ＣＮＮに限らず、利用する用途に合った他の様々なＮＮ（例えば、Ｇｒａｐｈ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（ＧＮＮ）、および３Ｄ－ＣＮＮなど）が用いられてよい。このことは以降でも同様である。

【0024】

人物の姿勢の推定に用いられる学習済みモデルには、例えば、映像データ上の人物の骨格を二次元の画像上で推定するモデルである二次元骨格推定モデルと、二次元の骨格推定結果（後述される「二次元人体骨格モデル」に相当する）を正規化された三次元座標（正規化三次元座標）に当てはめて三次元の骨格を推定するモデルである三次元骨格推定モデルと、三次元の骨格推定結果（後述される「三次元人体骨格モデル」）の時系列データから人物の行動を推定するモデルである行動推定モデルとがある。尚、二次元骨格推定モデルおよび三次元骨格推定モデルを総称して骨格推定モデルと呼ばれてもよい。また、骨格推定結果および人体骨格モデルは、どちらも姿勢特徴量に言い換えられてもよい。

【0025】

二次元骨格推定モデルは、映像データから人物を検出し、検出した人物の骨格を検出できるように予め学習されている。三次元骨格推定モデルは、二次元画像上の人物の骨格から三次元の骨格が推定できるように予め学習されている。行動推定モデルは、三次元の骨格の時系列データから人物の行動および姿勢が推定できるように予め学習されている。尚、行動推定モデルは、上記に限らず、例えば、静止画像内の人物が歩行しているかどうかをゼロから１までの信頼度で判定するモデルが用いられてもよい。また、二次元骨格推定モデルを利用せずに、映像データから人物の三次元人体骨格モデルを直接推定する三次元骨格推定モデルが用いられてもよい。この場合、二次元人体骨格モデルは、三次元人体骨格モデルから推定されてもよい。

【0026】

なお、姿勢推定部１２１は、映像データに基づいて作業者を特定してもよい。具体的には、姿勢推定部１２１は、作業者特定用データを用いて、検出した作業員を特定する。作業者特定用データは、例えば、映像データから作業者を特定するように学習された学習済みモデル（作業者特定モデル）などを含む。作業者特定モデルは、作業者の顔写真および作業者の服装の写真などから作業者を特定できるように予め学習されている。

【0027】

作業値算出部１２２は、姿勢推定部１２１から作業者の姿勢の情報を受け取る。作業値算出部１２２は、作業者の姿勢に基づいて作業者の作業値を算出する。具体的には、作業値算出部１２２は、作業値算出用データを用いて、作業者の姿勢に対応する作業者の作業値を算出する。作業値算出部１２２は、算出した作業者の作業値を統計処理部１２３へと出力する。

【0028】

作業値算出用データは、例えば、人物の姿勢から作業値を算出するように学習された学習済みモデル、或いは、人物の姿勢と作業値とが対応付けられたテーブルなどを含む。また、作業値算出用データは、複数の作業者各々の顔写真、複数の作業者各々の作業工程表、作業と作業場所とを対応付けたテーブル、作業者の服装の写真などを含んでもよい。これにより、作業値算出部１２２は、複数の作業者の識別、作業者の作業の特定、および作業場所の特定する処理を行ってもよい。尚、これらの処理は、作業値算出部１２２以外が行ってもよい。

【0029】

統計処理部１２３は、作業値算出部１２２から作業者の作業値を受け取る。統計処理部１２３は、作業値に基づいて作業者の作業値に関する統計データを生成する。具体的には、統計処理部１２３は、作業者の作業期間と、作業期間の各時刻に対応した作業値とに基づいて、作業の開始時刻から任意の各時刻までに累積した作業値を統計データとして生成する。作業値が負荷値である場合、作業値（負荷値）は、例えば、身体の複数の部位毎に生成してもよい。統計処理部１２３は、生成した統計データを表示データ生成部１２４へと出力する。

【0030】

なお、統計処理部１２３は、累積した作業値を算出する際に、忘却率を考慮した重みづけをしてもよい。具体的には、統計処理部１２３は、過去に算出された作業値の影響が小さくなるように、過去に算出された作業値に１以下の重みづけ係数を乗算した上で、作業値を足し合わせることによって累積した作業値を算出する。重みづけ係数は、例えば、最新の時刻を中心としたガウス分布に対応した数値が用いられる。

【0031】

また、統計処理部１２３は、累積した作業値を作業期間で割ることによって、累積した作業値の時間平均値（以降、平均作業値と称する）として統計データを生成してもよい。このとき、忘却率を考慮した重みづけを行っている場合、統計処理部１２３は、累積した作業値を、重みづけ係数の作業期間での積分値で割ることによって、統計データを生成する。また、統計処理部１２３は、特定の作業員、特定の日時、特定のシーズン、特定の時刻、作業領域内の特定の領域、或いは特定の作業内容など、任意の条件を設けて統計データを生成してもよい。

【0032】

また、統計処理部１２３は、履歴データに基づいて統計データを生成してもよい。履歴データは、例えば、過去に算出された作業者の姿勢の情報、過去に算出された作業者の作業値、および過去に生成された統計データなどを含む。具体的には、履歴データには、例えば、過去１週間分のデータが累積されている。これにより、統計処理部１２３は、直近１週間分のデータに基づいて、直近１週間の作業値の累積値および平均作業値、或いは曜日毎の作業値の累積値および平均作業値などの統計データを生成することができる。

【0033】

表示データ生成部１２４は、統計処理部１２３から統計データを受け取る。表示データ生成部１２４は、統計データに基づいて表示データを生成する。具体的には、表示データ生成部１２４は、表示変換用データを用いて、統計データをユーザにとって認識しやすい表現形式に変換して表示データを生成する。より具体的には、表示データ生成部１２４は、統計データに含まれる累積した作業値を、作業者に見立てた人体図の複数の部位に対応させて表示した表示データを生成する。

【0034】

表示変換用データは、例えば、作業者に見立てた人体図、および複数の人体図を時系列に並べて表示するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを含む。

【0035】

出力装置４００は、例えば、モニタである。出力装置４００は、処理部１２０から表示データを受け取る。出力装置４００は、表示データを表示する。尚、出力装置４００は、表示データを表示可能であればモニタに限らない。例えば、出力装置４００は、プロジェクタおよびプリンタでもよい。また、出力装置４００は、スピーカを備えてもよい。

【0036】

なお、作業推定装置１００は、図示しないメモリおよびプロセッサを備えてもよい。メモリは、例えば、作業推定装置１００の動作に関する各種プログラム（例えば、作業者の作業を推定する作業推定プログラムなど）を記憶する。プロセッサは、メモリに保存された各種プログラムを実行することで、取得部１１０、処理部１２０、および表示制御部１３０の各機能を実現する。

【0037】

以上、第１の実施形態に係る作業推定システム１および作業推定装置１００の構成について説明した。次に、作業推定装置１００の動作について図３のフローチャートを用いて説明する。

【0038】

図３は、第１の実施形態に係る作業推定装置１００の動作例を示すフローチャートである。図３のフローチャートの処理は、ユーザによって作業推定プログラムが実行されることで開始する。

【0039】

（ステップＳＴ１１０）
作業推定プログラムが実行されると、取得部１１０は、記憶装置３００から映像データを取得する。取得部１１０は、取得した映像データを処理部１２０へと出力する。

【0040】

（ステップＳＴ１２０）
映像データが取得された後、処理部１２０は、映像データに基づいて作業者の姿勢に関する作業値を算出する。また、処理部１２０は、作業値に基づく表示データを生成する。以降、ステップＳＴ１２０の処理を「作業値算出処理」と称する。以下では、作業値算出処理の具体例について図４のフローチャートを用いて説明する。

【0041】

図４は、第１の実施形態に係る作業値算出処理の具体例を示すフローチャートである。図４のフローチャートは、図３のステップＳＴ１２０の処理の詳細を説明するものである。

【0042】

（ステップＳＴ１２１）
映像データが取得された後、姿勢推定部１２１は、映像データに基づいて作業者の姿勢を推定する。具体的には、姿勢推定部１２１は、二次元骨格推定モデルを用いて、映像データから人物の骨格を検出する。人物の骨格は、例えば、映像データから検出された人物における複数のキーポイントと、映像データ内でのピクセル座標（二次元座標）とを対応付けたデータで表すことができる。以降では、複数のキーポイントと二次元座標とを対応付けたデータを二次元人体骨格モデルと称する。

【0043】

図５は、第１の実施形態における、二次元人体骨格モデル１１を例示する図である。図５に示す二次元人体骨格モデル１１は、例えば、二次元座標（Ｐ，Ｑ）上の人体の１８個のキーポイントＫＰ１からＫＰ１８までで表される。キーポイントＫＰ１からＫＰ１８までは、それぞれ「右目」、「左目」、「右耳」、「左耳」、「鼻」、「首」、「右手」、「左手」、「右肘」、「左肘」、「右肩」、「左肩」、「右腰」、「左腰」、「右膝」、「左膝」、「右足」、および「左足」に対応している。

【0044】

二次元人体骨格モデルを生成した後、姿勢推定部１２１は、三次元骨格推定モデルを用いて、二次元人体骨格モデルを、正規化三次元座標に当てはめて三次元の人体骨格モデル（三次元人体骨格モデル）を生成する。二次元人体骨格モデルから三次元人体骨格モデルを生成する際には、姿勢推定部１２１は、例えば、二次元人体骨格モデルの１８個のキーポイントを、三次元座標で表される１４個のキーポイントに変換する。１４個のキーポイントは、それぞれ「頭」、「首」、「右手」、「左手」、「右肘」、「左肘」、「右肩」、「左肩」、「右腰」、「左腰」、「右膝」、「左膝」、「右足」、および「左足」である。尚、三次元人体骨格モデルのキーポイント「頭」は、例えば、二次元人体骨格モデルの５個のキーポイントＫＰ１からＫＰ５までの「右目」、「左目」、「右耳」、「左耳」、および「鼻」から推定されてもよいし、或いは、キーポイントＫＰ５の「鼻」をキーポイント「頭」に置き換えてもよい。以降では、三次元人体骨格モデルのキーポイント「頭」をキーポイントＫＰＨとして表す。

【0045】

図６は、第１の実施形態における、画像から生成された二次元人体骨格モデルおよび三次元人体骨格モデルを例示する図である。図６に示される作業者１３は、例えば、映像データから検出された人物に相当する。姿勢推定部１２１は、作業者１３を検出した後、作業者１３を含む映像データに対して二次元骨格推定モデル１４を適用することによって、作業者１３に対応する二次元人体骨格モデル１５を生成する。このとき、二次元人体骨格モデル１５は、例えば、映像データと同じ二次元座標（Ｐ，Ｑ）上で表される。

【0046】

その後、姿勢推定部１２１は、二次元人体骨格モデル１５に対して三次元骨格推定モデル１６を適用することによって、作業者１３に対応する三次元人体骨格モデル１７を生成する。このとき、三次元人体骨格モデル１７は、正規化三次元座標（Ｘｎ，Ｙｎ，Ｚｎ）上で表される。

【0047】

三次元人体骨格モデルを生成した後、姿勢推定部１２１は、行動推定モデルを用いて、三次元人体骨格モデルの時系列データから人物の行動を推定および姿勢を推定する。人物の行動の推定および姿勢の推定は、人物が動いている（例えば、「歩くまたは移動する」）か否かと、人物が動いているか否かに関わらず人物の姿勢を推定する。姿勢の推定は、例えば、身体の複数の部位の状態の組み合わせで決定される。よって、まずは身体の複数の部位の状態を分類する必要がある。尚、部位の状態は、部位の姿勢に言い換えられてもよい。以降では、「姿勢の推定」に「人物の行動の推定」が含まれているものとして説明する。

【0048】

図７は、第１の実施形態における、身体の複数の部位の状態の分類を例示するテーブルである。図７のテーブル１９には、部位と、状態分類記号と、状態とが対応付けて示されている。具体的には、部位は、「背部」、「上肢」、および「下肢」の三つに分けられている。状態分類記号は、複数の部位の状態を規定するものである。尚、図７のテーブル１９は、作業者の作業負担を評価する手法の一つであるＯＷＡＳ（Ｏｖａｋｏ Ｗｏｒｋｉｎｇ Ｐｏｓｔｕｒｅ Ａｎａｌｙｓｉｎｇ Ｓｙｓｔｅｍ）法に基づくものであるが、これに限らない。また、ＯＷＡＳ法では、作業者に掛かる重さまたは力の影響も考慮することができるが、第１の実施形態および以降の実施形態では作業者に掛かる重さまたは力の影響を省略する。

【0049】

「背部」は、Ｂ１からＢ４までの四つの状態分類記号が付されている。四つの状態分類記号Ｂ１からＢ４までは、それぞれ「まっすぐ」（Ｂ１）、「前または後ろに曲げる」（Ｂ２）、「ひねるまたは横に曲げる」（Ｂ３）、および「ひねりかつ横に曲げる、または斜め前に曲げる」（Ｂ４）に相当する状態に対応している。

【0050】

「上肢」は、Ｕ１からＵ３までの三つの状態分類記号が付されている。三つの状態分類記号Ｕ１からＵ３までは、それぞれ「両腕とも肩より下」（Ｕ１）、「片腕が肩の高さあるいはそれより上」（Ｕ２）、および「両腕が肩の高さあるいはそれより上」（Ｕ３）に相当する状態に対応している。

【0051】

「下肢」は、Ｌ１からＬ７までの七つの状態分類記号が付されている。七つの状態分類記号Ｌ１からＬ７までは、それぞれ「すわる」（Ｌ１）、「両脚をまっすぐにして立つ」（Ｌ２）、「重心をかけている片脚をまっすぐにして立つ」（Ｌ３）、「両膝を曲げて立つか中腰」（Ｌ４）、「重心をかけている片脚を曲げて立つか中腰」（Ｌ５）、「片方または両方の膝を床につける」（Ｌ６）、および「歩くまたは移動する」（Ｌ７）に相当する状態に対応している。

【0052】

次に、三次元人体骨格モデルから身体の複数の部位の状態を分類する方法について詳細に述べる。

【0053】

三次元人体骨格モデルの「背部」の状態は、例えば、腰の曲げに関する角度および腰のひねりに関する角度によって分類することができる。具体的には、「背部」の状態は、腰を２０度以上曲げているか否か、および腰を２０度以上ひねっているか否かが分かれば区別することができる。

【0054】

姿勢推定部１２１は、三次元人体骨格モデルの両腰（キーポイントＫＰ１３「右腰」、キーポイントＫＰ１４「左腰」）の中点から両足（キーポイントＫＰ１７「右足」およびキーポイントＫＰ１８「左足」）の中点への方向を表すベクトルｖ１と、両腰の中点から首（キーポイントＫＰ６「首」）への方向を表すベクトルｖ２とのなす角θ１を腰の曲げに関する角度として算出する。また、姿勢推定部１２１は、三次元人体骨格モデルの右腰から左腰への方向を表すベクトルｖ３と、右肩（キーポイントＫＰ１１「右肩」）から左肩（キーポイントＫＰ１２「左肩」）への方向を表すベクトルｖ４とのなす角θ２を腰のひねりに関する角度として算出する。そして、姿勢推定部１２１は、角θ１および角θ２がそれぞれ２０度を上回るか否かを基準に、「背部」の状態を分類（推定）する。

【0055】

三次元人体骨格モデルの「上肢」の状態は、例えば、右腕の高さおよび左腕の高さによって分類することができる。具体的には、「上肢」の状態は、右腕が肩の高さ以上であるか否か、および左腕が肩の高さ以上であるか否かが分かれば区別することができる。

【0056】

姿勢推定部１２１は、三次元人体骨格モデルの右手（キーポイントＫＰ７「右手」）または右肘（キーポイントＫＰ９「右肘」）の高さ方向の座標が右肩の高さ方向の座標よりも上方にあるか否かを判定する。また、姿勢推定部１２１は、三次元人体骨格モデルの左手（キーポイントＫＰ８「左手」）または左肘（キーポイントＫＰ１０「左肘」）の高さ方向の座標が左肩の高さ方向の座標よりも上方にあるか否かを判定する。これらにより、姿勢推定部１２１は、「上肢」の状態を推定する。

【0057】

三次元人体骨格モデルの「下肢」の状態は、例えば、水平面に対する臀部の位置、右脚の角度および左脚の角度、水平面に対する右足の位置および左足の位置、水平面に対する右膝の位置および左膝の位置、ならびに歩行動作の有無によって分類することができる。具体的には、「下肢」の状態は、臀部が床（或いは、椅子）についているか否か、右脚が１５０度以下に曲がっているか否か、左脚が１５０度以下に曲がっているか否か、右足が床に接触しているか否か、左足が床に接触しているか否か、右膝が床に接触しているか否か、左膝が床に接触しているか否か、および歩行しているか否かが分かれば区別することができる。

【0058】

姿勢推定部１２１は、三次元人体骨格モデルの右腰から右膝（キーポイントＫＰ１５「右膝」）への方向を表すベクトルｖ５と、右膝から右足への方向を表すベクトルｖ６のなす角θ３を算出する。そして、姿勢推定部１２１は、角θ３が１５０度以下に曲がっているか否かを判定する。また、姿勢推定部１２１は、三次元人体骨格モデルの右足の座標が床（例えば、高さ方向の座標値がゼロ）より上方にあるか否かを判定することにより、右足が床に接触しているか否かを判定する。同様に、姿勢推定部１２１は、三次元人体骨格モデルの右膝の座標が床より上方にあるか否かを判定することにより、右膝が床に接触しているか否かを判定する。姿勢推定部１２１は、これらの判定を、身体の左側についても同様に行う。更に、姿勢推定部１２１は、作業者の行動の推定から、歩行しているか否かを判定する。これらにより、姿勢推定部１２１は、「下肢」の状態を推定する。尚、本実施形態の例では、座ることを想定していないため、常に臀部が床についていないものとする。

【0059】

行動推定モデルによる姿勢推定結果は、前述の通り、身体の複数の部位の状態の組み合わせにより表現される。具体的には、姿勢推定結果は、図７のテーブル１９の複数の部位に付された状態分類記号の組み合わせに相当する。以下では、画像から推定された作業者の姿勢について図８から図１１までを用いて説明する。尚、図８から図１１までに示される画像内の作業者には、作業者を検出したことを示す枠、姿勢推定結果、および三次元人体骨格モデルを示す線および破線などが重畳されている。

【0060】

図８は、第１の実施形態における、画像から推定された作業者の姿勢の第１の例である。図８には、かがんで作業をする作業者が示されている。図８に示される姿勢推定結果２１は、「Ｕ１，Ｌ６，Ｂ４」となっている。姿勢推定結果２１によれば、図８に示される作業者の姿勢は、背部が「ひねりかつ横に曲げる、または斜め前に曲げる」（Ｂ４）、上肢が「両腕とも肩より下」（Ｕ１）、および下肢が「片方または両方の膝を床につける」（Ｌ６）である。

【0061】

図９は、第１の実施形態における、画像から推定された作業者の姿勢の第２の例である。図９には、しゃがんで作業をする作業者が示されている。図９に示される姿勢推定結果２３は、「Ｕ３，Ｌ６，Ｂ２」となっている。姿勢推定結果２３によれば、図９に示される作業者の姿勢は、背部が「前または後ろに曲げる」（Ｂ２）、上肢が「両腕が肩の高さあるいはそれより上」（Ｕ３）、および下肢が「片方または両方の膝を床につける」（Ｌ６）である。

【0062】

図１０は、第１の実施形態における、画像から推定された作業者の姿勢の第３の例である。図１０には、片脚に重心を掛けて作業をする作業者が示されている。図１０に示される姿勢推定結果２５は、「Ｕ１，Ｌ５，Ｂ４」となっている。姿勢推定結果２５によれば、図１０に示される作業者の姿勢は、背部が「ひねりかつ横に曲げる、または斜め前に曲げる」（Ｂ４）、上肢が「両腕とも肩より下」（Ｕ１）、および下肢が「重心をかけている片脚を曲げて立つか中腰」（Ｌ５）である。

【0063】

図１１は、第１の実施形態における、画像から推定された作業者の姿勢の第４の例である。図１１では、上体を屈曲させて作業をする作業者が示されている。図１１に示される姿勢推定結果２７は、「Ｕ１，Ｌ４，Ｂ４」となっている。姿勢推定結果２７によれば、図１１に示される作業者の姿勢は、背部が「ひねりかつ横に曲げる、または斜め前に曲げる」（Ｂ４）、上肢が「両腕とも肩より下」（Ｕ１）、および下肢が「両膝を曲げて立つか中腰」（Ｌ４）である。

【0064】

（ステップＳＴ１２２）
作業者の姿勢が推定された後、作業値算出部１２２は、推定された作業者の姿勢に基づいて作業者の作業値を算出する。具体的には、作業値算出部１２２は、身体の複数の部位の状態の組み合わせと負荷値とを対応付けたテーブルを用いて、作業者の姿勢から作業値としての負荷値を算出する。或いは、作業値算出部１２２は、推定された作業者の姿勢から作業値を算出するように学習された学習済みモデルを用いてもよい。尚、ここでの学習済みモデルは、例えばＧＮＮを利用するのが有力である。

【0065】

図１２は、第１の実施形態における、身体の複数の部位のそれぞれの状態の組み合わせと負荷値とを対応付けたテーブル２９である。テーブル２９には、行方向の項目に「背部」および「上肢」の状態分類記号の組み合わせが示され、列方向の項目に「下肢」の状態分類記号が示され、それら行列の項目の位置に対応する負荷値が負荷値群領域３１に示されている。負荷値群領域３１には、負荷値の低い方から高い方にかけて１から４までの４つの数字（負荷値）が割り当てられている。尚、図１２のテーブル２９は、ＯＷＡＳ法に基づくものであるが、これに限らない。

【0066】

具体的には、テーブル２９には、「背部」の四つの状態分類記号Ｂ１からＢ４までに対して、各々に「上肢」の三つの状態分類記号Ｕ１からＵ３までが組み合わされている。また、それらの組み合わせの各々について、「下肢」の七つの状態分類記号Ｌ１からＬ７までが対応付けられている。即ち、行方向の項目は１２であり、列方向の項目は７であり、負荷値群領域３１には、８４個の負荷値が含まれている。

【0067】

例えば、図８の第１の例によれば、姿勢推定結果２１「Ｕ１，Ｌ６，Ｂ４」より、「背部」および「上肢」の組み合わせは「Ｂ４」および「Ｕ１」であり、「下肢」は「Ｌ６」であることから、負荷値群領域３１では負荷値「４」が対応付けられている。同様に、図９の第２の例では、姿勢推定結果２３「Ｕ３，Ｌ６，Ｂ２」より、負荷値群領域３１では負荷値「４」が対応付けられている。図１０の第３の例では、姿勢推定結果２５「Ｕ１，Ｌ５，Ｂ４」より、負荷値群領域３１では負荷値「４」が対応付けられている。図１１の第４の例では、姿勢推定結果２７「Ｕ１，Ｌ４，Ｂ４」より、負荷値群領域３１では負荷値「４」が対応付けられている。よって、作業値算出部１２２は、テーブル２９を用いて、図８から図１１までの作業者の姿勢について、それぞれ負荷値「４」を算出する。

【0068】

尚、身体の複数の部位の負荷値を特定する場合は、例えば、負荷値群領域３１の各負荷値に、身体の複数の部位に係る負荷値の割合が対応付けられてもよい。また、別の方法として、例えば、図７に示される身体の複数の部位の状態にそれぞれ割り当てられた状態分類記号と負荷値とが対応付けられていてもよい。

【0069】

図１３は、第１の実施形態における、負荷値の種類を説明する図である。図１３のテーブル３３では、負荷値群領域３１に割り当てられている負荷値１から４までに対応する、ＡＣ１からＡＣ４までの負荷の状態が説明されている。例えば、ＡＣ１は、「この姿勢による筋骨格系負担は問題無い。改善は不要である。」を意味し、ＡＣ２は、「この姿勢は筋骨格系に有害である。近いうちに改善すべきである。」を意味し、ＡＣ３は、「この姿勢は筋骨格系に有害である。できるだけ早期に改善すべきである。」を意味し、ＡＣ４は、「この姿勢は筋骨格系に非常に有害である。ただちに改善すべきである。」を意味する。尚、図１３のテーブル３３は、ＯＷＡＳ法に基づくものであるが、これに限らない。

【0070】

（ステップＳＴ１２３）
作業者の作業値が算出された後、統計処理部１２３は、算出された作業値に基づいて作業者の作業値に関する統計データを生成する。具体的には、統計処理部１２３は、作業の開始時刻から現在の時刻までに累積した作業値、或いは平均作業値を統計データとして生成する。作業値が負荷値である場合、作業値は、例えば、身体の複数の部位（例えば、背部、上肢、および下肢など）毎に生成される。統計データは、例えば、作業の開始時刻からの経過時間と、当該経過時間の間に累積した作業値、或いは平均作業値とが対応付けられている。

【0071】

（ステップＳＴ１２４）
統計データが生成された後、表示データ生成部１２４は、生成された統計データに基づいて表示データを生成する。具体的には、表示データ生成部１２４は、統計データに含まれる累積した作業値を、作業者に見立てた人体図の複数の部位に対応させて表示した表示データを生成する。換言すると、表示データ生成部１２４は、作業者に見立てた人体図に対して、作業者の身体の複数の部位の負荷値を表すマップを重畳した表示データを生成する。

【0072】

図１４は、第１の実施形態における、累積した負荷値を身体の複数の部位のそれぞれに対応させて表示した人体図３５である。人体図３５は、身体の複数の部位として、背部領域３５１と、上肢領域３５２と、下肢領域３５３とに分けられている。これらの領域には、負荷値の大きさに対応する色分けが成されており、低い負荷値から高い負荷値までの４つの負荷値レベルＬＶ１からＬＶ４までに分けられている。具体的には、背部領域３５１は負荷値レベルＬＶ４に対応する色が付され、上肢領域３５２は負荷値レベルＬＶ３に対応する色が付され、下肢領域３５３は負荷値レベルＬＶ２に対応する色が付されている。これにより、ユーザは、この人体図３５を確認することによって、作業者の身体の複数の部位において、背部領域３５１の負荷が他の部位の負荷よりも高いことを認識することができる。

【0073】

図１４では、任意の時刻における累積した負荷値を身体の複数の部位に対応させて表示した人体図を表示データとしたが、これに限らない。例えば、表示データは、複数の時刻における累積した負荷値を身体の複数の部位に対応させて表示した複数の人体図を含んでもよい。

【0074】

図１５は、第１の実施形態における、累積した負荷値を身体の複数の部位のそれぞれに対応させて表示した複数の人体図３７，３９，４１，４３を時系列に並べた図である。図１５では、時刻ｔ１からｔ４までにそれぞれ対応する人体図３７，３９，４１，４３が示されている。

【0075】

人体図３７において、背部領域３７１は負荷値レベルＬＶ２に対応する色が付され、上肢領域３７２および下肢領域３７３は負荷値レベルＬＶ１に対応する色が付されている。人体図３９において、背部領域３９１は負荷値レベルＬＶ３に対応する色が付され、上肢領域３９２は負荷値レベルＬＶ２に対応する色が付され、下肢領域３９３は負荷値レベルＬＶ１に対応する色が付されている。人体図４１において、背部領域４１１は負荷値レベルＬＶ４に対応する色が付され、上肢領域４１２は負荷値レベルＬＶ３に対応する色が付され、下肢領域４１３は負荷値レベルＬＶ２に対応する色が付されている。人体図４３において、背部領域４３１および上肢領域４３２は負荷値レベルＬＶ４に対応する色が付され、下肢領域４３３は負荷値レベルＬＶ３に対応する色が付されている。これにより、ユーザは、時系列に並べられた複数の人体図３７，３９，４１，４３を確認することによって、作業時間の経過による身体の複数の部位の負荷の変遷を把握することができる。

【0076】

なお、第１の実施形態における表示データは、上記に限らない。例えば、表示データは、映像データを加工して作成されてもよい。このとき、表示データ生成部１２４は、映像データ上の作業者に対して、作業者の身体の複数の部位の負荷値を表すマップを重畳させる。尚、映像データの作業者上、或いは作業者の近傍には、統計データに含まれる数値、当該数値に対応する図形、および統計データに基づく表、或いはグラフが重畳されてもよい。

【0077】

（ステップＳＴ１３０）
表示データが生成された後、処理部１２０は、作業値に基づく表示データを出力装置４００へと出力する。このステップＳＴ１３０の処理の後、作業推定プログラムを終了する。

【0078】

なお、映像データをリアルタイムで取得している場合、ステップＳＴ１３０の処理の後、ステップＳＴ１１０へ戻り、同様の処理を繰り返してもよい。また、作業推定プログラムは、ユーザによる指示で終了してもよい。

【0079】

以上説明したように、第１の実施形態に係る作業推定装置１００は、所定領域内の映像データを取得し、取得した映像データに基づいて、映像データに含まれる作業者が行っている作業値を算出し、作業値を表示させる。この作業値は、例えば、作業についての作業者の身体的な負荷を表す負荷値を含んでもよい。また、第１の実施形態に係る作業推定装置１００は、作業者の作業姿勢を推定してもよく、作業者の身体の部位の姿勢を特定してもよく、作業者に見立てた人体図に負荷値を表すマップを重畳してもよい。

【0080】

従って、第１の実施形態に係る作業推定装置１００は、映像を用いることで、センサーを用いる従来の作業値推定よりも低い導入コストで作業者の作業状態を視覚的に把握することができる。また、第１の実施形態に係る作業推定装置１００は、作業者の身体部位に係る作業負荷を可視化することができ、作業者の作業改善をすることができる。

【0081】

（第２の実施形態）
第１の実施形態では、映像データから作業者の作業値（例えば、負荷値）を算出することについて説明した。他方、第２の実施形態では、更に作業者が行っている作業の作業対象を推定することについて説明する。

【0082】

図１６は、第２の実施形態に係る作業推定装置１００Ａを含む作業推定システム１Ａの構成例を示すブロック図である。作業推定システム１Ａは、作業推定装置１００Ａと、撮影装置２００Ａと、記憶装置３００Ａと、出力装置４００Ａとを含む。尚、撮影装置２００Ａおよび出力装置４００Ａは、第１の実施形態における撮影装置２００および出力装置４００と略同様のため説明を省略する。

【0083】

記憶装置３００Ａは、データを不揮発的に記憶するコンピュータ読み取り可能な記憶媒体である。記憶装置３００Ａは、撮影装置２００Ａから出力された映像データを記憶する。更に、記憶装置３００Ａは、例えば、作業推定装置１００Ａで用いられる複数のデータを記憶している。第２の実施形態における複数のデータは、第１の実施形態における複数のデータに加え、例えば、作業対象推定用データなどを含む。作業対象推定用データの詳細は後述される。記憶装置３００Ａは、作業推定装置１００Ａからのアクセスに応じて、映像データおよび複数のデータを作業推定装置１００Ａへと出力する。

【0084】

作業推定装置１００Ａは、例えば、作業推定システム１Ａを管理するユーザによって使用されるコンピュータである。作業推定装置１００Ａは、取得部１１０Ａと、処理部１２０Ａと、表示制御部１３０Ａとを含む。尚、作業推定装置１００Ａは、撮影装置２００Ａ、記憶装置３００Ａ、および出力装置４００Ａの少なくとも一つを備えてもよい。また、取得部１１０Ａおよび表示制御部１３０Ａは、第１の実施形態における取得部１１０および表示制御部１３０と略同様のため説明を省略する。

【0085】

処理部１２０Ａは、取得部１１０Ａから映像データを受け取る。処理部１２０Ａは、映像データに基づいて、作業者の姿勢に関する作業値を算出する。更に、処理部１２０Ａは、映像データおよび作業者の作業姿勢の情報などに基づいて、作業者が行っている作業の作業対象を推定する。処理部１２０Ａは、記憶装置３００Ａにアクセスすることによって、映像データを処理する際に必要な複数のデータを受け取ってもよい。尚、処理部１２０Ａは、算出した作業値および推定した作業対象の情報を記憶装置３００Ａへ記憶させてもよいし、算出した作業値および推定した作業対象の情報を映像データ、或いは映像データ情報と対応付けて記憶装置３００Ａへ記憶させてもよい。

【0086】

また、処理部１２０Ａは、算出した作業値および推定した作業対象の情報などに基づいて、ユーザにとって認識しやすい表現形式の表示データを生成する。第２の実施形態における表示データは、例えば、作業領域の見取り図に示された作業対象に対して、算出した作業値の統計データに対応する表示をしたものである。具体的には、第２の実施形態における表示データは、二次元、或いは三次元の見取り図の一つ以上の作業対象に対して、統計データに対応するマップを重畳したものである。処理部１２０Ａは、生成した表示データを表示制御部１３０Ａへと出力する。尚、処理部１２０Ａは、生成した表示データを記憶装置３００Ａへ記憶させてもよいし、生成した表示データを映像データ、或いは映像データ情報と対応付けて記憶させてもよい。また、表示データは、見取り図上、或いは見取り図の近傍に、統計データに含まれる数値、当該数値に対応する図形、および統計データに基づく表、或いはグラフを含んでもよい。

【0087】

図１７は、第２の実施形態に係る作業推定装置１００Ａの処理部１２０Ａの構成を示すブロック図である。処理部１２０Ａは、姿勢推定部１２１Ａと、作業値算出部１２２Ａと、統計処理部１２３Ａと、表示データ生成部１２４Ａと、作業対象推定部１２５とを含む。尚、作業値算出部１２２Ａは、第１の実施形態における作業値算出部１２２と略同様のため説明を省略する。

【0088】

姿勢推定部１２１Ａは、映像データに基づいて作業者の姿勢を推定する。具体的には、姿勢推定部１２１Ａは、姿勢推定用データを用いて、映像データから作業者を検出し、検出した作業者の姿勢を推定する。姿勢推定部１２１Ａは、推定した作業者の姿勢の情報を作業値算出部１２２Ａおよび作業対象推定部１２５へと出力する。

【0089】

作業対象推定部１２５は、姿勢推定部１２１Ａから作業者の姿勢の情報を受け取る。作業対象推定部１２５は、映像データと、作業者の姿勢と、作業対象推定用データとに基づいて、作業者が行っている作業の作業対象を推定する。具体的には、作業対象推定部１２５は、映像データに含まれる作業者の位置を、作業対象推定用データに含まれる見取り図上で特定し、作業者の姿勢に基づいて、見取り図に対応付けられた複数の作業対象候補の中から作業者が行っている作業の作業対象を推定する。作業対象推定部１２５は、推定した作業対象の情報を統計処理部１２３Ａへと出力する。

【0090】

作業対象推定用データは、例えば、作業領域の二次元の見取り図、作業領域の三次元の見取り図などを含む。また、作業対象推定用データは、見取り図上の作業対象の含まれる座標の領域、作業対象物の矩形位置情報、作業対象物のセグメンテーション情報、および作業対象物の名称などを含んでもよい。

【0091】

なお、作業対象推定部１２５は、映像データから作業対象物の矩形位置情報、またはセグメンテーション情報およびその両方を検出してもよい。この場合、作業対象推定用データは、映像データから物体を検出するように学習された学習済みモデルを含んでもよい。

【0092】

統計処理部１２３Ａは、作業値算出部１２２Ａから作業者の作業値を受け取り、作業対象推定部１２５から作業対象の情報を受け取る。統計処理部１２３Ａは、作業値および作業対象に基づいて、作業者の作業値に関する統計データを生成する。具体的には、統計処理部１２３Ａは、一つ以上の作業対象毎に、作業の開始時刻から任意の時刻までに累積した作業値を統計データとして生成する。累積した作業値は、例えば、身体の複数の部位毎に生成してもよい。統計処理部１２３Ａは、生成した統計データを表示データ生成部１２４Ａへと出力する。尚、統計処理部１２３Ａは、履歴データに基づいて統計データを生成してもよい。

【0093】

表示データ生成部１２４Ａは、統計処理部１２３Ａから統計データを受け取り、作業対象推定部１２５から作業対象の情報を受け取る。表示データ生成部１２４Ａは、統計データおよび作業対象の情報に基づいて表示データを生成する。具体的には、表示データ生成部１２４Ａは、表示変換用データを用いて、統計データおよび作業対象の情報をユーザにとって認識しやすい表現形式に変換して表示データを生成する。より具体的には、表示データ生成部１２４Ａは、統計データに含まれる累積した作業値を、作業領域の見取り図に示された作業対象に対応させて表示した表示データを生成する。

【0094】

第２の実施形態における表示変換用データは、第１の実施形態における表示変換用データに加えて、例えば、作業領域の二次元の見取り図、作業領域の三次元の見取り図、および見取り図と人体図とを並べて表示するためのＧＵＩなどを含む。

【0095】

なお、作業推定装置１００Ａは、図示しないメモリおよびプロセッサを備えてもよい。メモリは、例えば、作業推定装置１００Ａの動作に関する各種プログラム（例えば、作業推定プログラムなど）を記憶する。プロセッサは、メモリに保存された各種プログラムを実行することで、取得部１１０Ａ、処理部１２０Ａ、および表示制御部１３０Ａの各機能を実現する。尚、第２の実施形態における作業推定プログラムは、第１の実施形態における作業推定プログラムの処理の一部または全部が含まれてもよい。

【0096】

以上、第２の実施形態に係る作業推定システム１Ａおよび作業推定装置１００Ａの構成について説明した。次に、作業推定装置１００Ａの動作について図１８のフローチャートを用いて説明する。

【0097】

図１８は、第２の実施形態に係る作業推定装置１００Ａの動作例を示すフローチャートである。図１８のフローチャートの処理は、ユーザによって作業推定プログラムが実行されることで開始する。

【0098】

（ステップＳＴ２１０）
作業推定プログラムが実行されると、取得部１１０Ａは、記憶装置３００Ａから映像データを取得する。取得部１１０Ａは、取得した映像データを処理部１２０Ａへと出力する。

【0099】

（ステップＳＴ２２０）
映像データが取得された後、処理部１２０Ａは、映像データに基づいて作業者の姿勢に関する作業値を算出し、作業者が行っている作業の作業対象を推定する。また、処理部１２０Ａは、作業値および作業対象に基づく表示データを生成する。以降、ステップＳＴ２２０の処理を「作業対象推定処理」と称する。以下では、作業対象推定処理の具体例について図１９のフローチャートを用いて説明する。尚、作業対象推定処理は、第１の実施形態に係る作業値算出処理の一部または全部が含まれてもよい。

【0100】

図１９は、第２の実施形態に係る作業対象推定処理の具体例を示すフローチャートである。図１９のフローチャートは、図１８のステップＳＴ２２０の処理の詳細を説明するものである。尚、ステップＳＴ２２１およびステップＳＴ２２２の処理は、第１の実施形態におけるステップＳＴ１２１およびステップＳＴ１２２の処理と略同様のため説明を省略する。

【0101】

（ステップＳＴ２２３）
作業者の作業値が算出された後、作業対象推定部１２５は、推定した作業者の姿勢と映像データと見取り図とに基づいて作業対象を推定する。以降では、具体例として、作業対象推定部１２５は、作業領域端の斜め上方に配置された撮影装置２００Ａによって撮影された映像データに基づいて、以降の処理を行うこととする。まず、映像データの画像および二次元の見取り図の例について図２０および図２１を用いて説明する。

【0102】

図２０は、第２の実施形態における、映像データの画像４５を例示する図である。画像４５は、作業領域を写したものである。作業領域は、例えば、作業ステップ４５１と、組立前製品４５２と、部品置場４５３と、部品置場４５４と、組立済製品４５５と、部品棚４５６と、部品棚４５７とを含む。尚、以降では、組立前製品４５２と、部品置場４５３と、部品置場４５４と、組立済製品４５５と、部品棚４５６と、部品棚４５７とのそれぞれは、作業対象に言い換えられてもよい。

【0103】

画像４５は、作業領域内にいる作業者１３を写している。作業者１３は、作業ステップ４５１の上に位置し、組立前製品４５２と対面している。組立前製品４５２は、作業ステップ４５１の上に配置されている。作業ステップ４５１と、部品置場４５３と、部品置場４５４と、組立済製品４５５と、部品棚４５６と、部品棚４５７とは、同一平面上（例えば、床）に、互いに間隔を空けて配置されている。

【0104】

図２１は、第２の実施形態における、二次元の見取り図４７を例示する図である。見取り図４７は、作業領域を示したものである。見取り図４７には、画像４５の作業領域と対応するように、作業ステップ４７１と、組立前製品４７２と、部品置場４７３と、部品置場４７４と、組立済製品４７５と、部品棚４７６と、部品棚４７７とが示されている。また、組立前製品４７２、部品置場４７３、部品置場４７４、組立済製品４７５、部品棚４７６、および部品棚４７７は、一つ以上の作業対象候補に相当する。尚、見取り図から作業対象候補の位置を特定する場合、作業対象候補と、見取り図上の作業対象候補の領域を示す座標点とを対応付けたテーブルが用いられてもよい。

【0105】

次に、作業対象推定部１２５の処理について詳細に説明する。最初に、作業対象推定部１２５は、映像データの画像と二次元の見取り図との対応付けを行う。具体的には、作業対象推定部１２５は、作業領域内で共通の部分を示す、画像４５の基準点の座標データと、見取り図４７の基準点の座標データとを取得する。これらの座標データは、予め作業対象推定用データに含まれていてもよい。

【0106】

図２２は、図２０の画像４５における三つの基準点を例示する図である。図２２では、二次元座標（Ｑ，Ｐ）上に画像４５が配置されている。画像４５上には、三つの基準点Ｓ１からＳ３までが示されている。この三つの基準点Ｓ１からＳ３までは、作業領域における床を規定可能なように設定されている。具体的には、三つの基準点Ｓ１からＳ３までは、作業領域の床に相当する平面上で、三点が同一直線上に並ばないように設定される。

【0107】

図２３は、図２１の見取り図４７における三つの基準点を例示する図である。図２３では、二次元座標（Ｉ，Ｊ）上に見取り図４７が配置されている。見取り図４７上には、図２２の画像４５と同様に、三つの基準点Ｓ１からＳ３までが示されている。図２３における基準点は、図２２の基準点に対応する位置となるように設定される。

【0108】

図２４は、図２０の画像４５および図２１の見取り図４７と、仮想三次元空間４９との対応付けを説明するための図である。作業対象推定部１２５は、透視投影変換を用いて、画像４５と見取り図４７とに示された三つの基準点を仮想三次元空間４９上で一致させる。具体的には、作業対象推定部１２５は、仮想三次元空間４９上の高さゼロのＸＹ平面に見取り図４７を平行投影する。そして、作業対象推定部１２５は、仮想三次元空間４９を仮想のカメラで二次元平面へと投射し、平行投影された見取り図上の基準点が、画像４５中の基準点の位置と同じになるように仮想三次元空間４９を配置する。

【0109】

図２５は、第２の実施形態における、画像４５における基準点の座標および見取り図４７における基準点の座標から、仮想三次元空間４９における基準点の座標への変換を例示する図である。図２５に示されるテーブル５１には、画像４５および見取り図４７における三つの基準点Ｓ１からＳ３までの座標がそれぞれ対応付けられている。画像４５の基準点Ｓ１からＳ３までの座標は、それぞれ（Ｐ１，Ｑ１）、（Ｐ２，Ｑ２）、および（Ｐ３，Ｑ３）で示され、見取り図４７の基準点Ｓ１からＳ３までの座標は、それぞれ（Ｉ１，Ｊ１）、（Ｉ２，Ｊ２）、および（Ｉ３，Ｊ３）で示されている。

【0110】

作業対象推定部１２５は、テーブル５１で示された基準点の座標の組を、透視投影変換５３に基づいて、仮想三次元空間４９における座標に変換する。図２５に示されるテーブル５５には、仮想三次元空間４９における三つの基準点Ｓ１からＳ３までの座標がそれぞれ示されている。仮想三次元空間４９の三つの基準点Ｓ１からＳ３までの座標は、それぞれ（Ｘ１，Ｙ１，Ｚ１）、（Ｘ２，Ｙ２，Ｚ２）、および（Ｘ３，Ｙ３，Ｚ３）で示されている。尚、これら三つの基準点Ｓ１からＳ３までは、仮想三次元空間４９上の高さゼロのＸＹ平面に設定されているため、高さ方向を示すＺ１、Ｚ２、およびＺ３の値はいずれもゼロである。

【0111】

なお、作業ステップ４７１は、作業領域における床と同じ高さではない。よって、画像および見取り図に対して、作業ステップ４７１を規定可能な基準点を設けて、作業領域における床とは別の対応付けを行う。以降では、作業領域における床と、作業ステップ４７１とが識別された上で、映像データの画像と二次元の見取り図とが対応付けされているものとする。

【0112】

映像データの画像と二次元の見取り図との対応付けを行った後、作業対象推定部１２５は、正規化三次元座標で表された三次元人体骨格モデルを、仮想三次元空間内へ配置させる。具体的には、作業対象推定部１２５は、姿勢を推定する際に用いた三次元人体骨格モデルの正規化三次元座標を、仮想三次元空間での座標に変換する。

【0113】

図２６は、第２の実施形態における、正規化三次元座標で表された三次元人体骨格モデル１７の、仮想三次元空間４９内への配置を説明するための図である。作業対象推定部１２５は、三次元人体骨格モデル１７を、座標変換５７に基づいて、仮想三次元空間４９内で表される三次元人体骨格モデル５９に変換する。座標変換５７は、画像４５と仮想三次元空間４９との対応付けを利用する。

【0114】

具体的には、作業対象推定部１２５は、三次元人体骨格モデル１７のキーポイントＫＰ１７およびＫＰ１８と、それらに対応する画像４５上の座標とから、仮想三次元空間４９内でのキーポイントＫＰ１７およびＫＰ１８の座標を特定する。キーポイントＫＰ１７およびＫＰ１８は、それぞれ「右足」および「左足」に対応しているため、三次元人体骨格モデル１７の基準点となる。その後、作業対象推定部１２５は、特定された仮想三次元空間４９内でのキーポイントＫＰ１７およびＫＰ１８の座標に基づいて、三次元人体骨格モデル１７の各キーポイントの座標から三次元人体骨格モデル５９の各キーポイントの座標を算出する。

【0115】

図２７は、第２の実施形態における、正規化三次元座標で表された三次元人体骨格モデル１７のキーポイントの座標から、仮想三次元空間内で表される三次元人体骨格モデル５９のキーポイントの座標への変換を例示する図である。図２７に示されるテーブル６１には、三次元人体骨格モデル１７の１４個のキーポイントＫＰＨ、ＫＰ６、ＫＰ７、・・・、ＫＰ１８の座標がそれぞれ示されている。正規化三次元座標におけるキーポイントＫＰＨ、ＫＰ６、ＫＰ７、・・・、ＫＰ１８の座標は、それぞれ（Ｘｎ１，Ｙｎ１，Ｚｎ１）、（Ｘｎ６，Ｙｎ６，Ｚｎ６）、（Ｘｎ７，Ｙｎ７，Ｚｎ７）、・・・、（Ｘｎ１８，Ｙｎ１８，Ｚｎ１８）で示されている。図２７に示されるテーブル６５には、三次元人体骨格モデル５９の１４個のキーポイントＫＰＨ、ＫＰ６、ＫＰ７、・・・、ＫＰ１８の座標がそれぞれ示されている。仮想三次元空間４９内のキーポイントＫＰＨ、ＫＰ６、ＫＰ７、・・・、ＫＰ１８の座標は、それぞれ（Ｘ１０，Ｙ１０，Ｚ１０）、（Ｘ６０，Ｙ６０，Ｚ６０）、（Ｘ７０，Ｙ７０，Ｚ７０）、・・・、（Ｘ１８０，Ｙ１８０，Ｚ１８０）で示されている。

【0116】

作業対象推定部１２５は、テーブル６１で示された座標を、座標変換６３に基づいて、テーブル６５に示された座標に変換する。尚、座標変換６３は、座標変換５７と同様である。

【0117】

正規化三次元座標で表された三次元人体骨格モデルを、仮想三次元空間内へ配置させた後、作業対象推定部１２５は、三次元人体骨格モデルで表された作業者の向きを推定する。具体的には、作業対象推定部１２５は、仮想三次元空間内に配置された三次元人体骨格モデルのキーポイントの座標から作業者の向きに対応するベクトルの方向を算出する。

【0118】

図２８は、第２の実施形態における、作業者の向きの推定を説明するための図である。図２８には、仮想三次元空間の高さ方向（Ｚ軸方向）からみた、三次元人体骨格モデル５９で表される作業者が示されている。作業対象推定部１２５は、三次元人体骨格モデル５９のキーポイントＫＰ１１およびＫＰ１２の座標から、作業者の正面方向６７の向きを表すベクトルｖ７の方向を算出する。具体的には、作業対象推定部１２５は、仮想三次元空間内のキーポイントＫＰ１１の座標（Ｘ１１０，Ｙ１１０，Ｚ１１０）と、キーポイントＫＰ１２の座標（Ｘ１２０，Ｙ１２０，Ｚ１２０）とを用いて、ＸＹ平面上の座標（Ｘ１１０，Ｙ１１０）および座標（Ｘ１２０，Ｙ１２０）の中点からベクトルｖ７の方向を算出する。ベクトルｖ７の方向は、（（－１／（Ｙ１１０－Ｙ１２０）），１／（Ｘ１１０－Ｘ１２０））で表すことができる。

【0119】

もし作業者の向きの推定を三次元の見取り図上で行う場合、作業対象推定部１２５は、三次元人体骨格モデル５９の両腰の中点から右肩への方向を表すベクトルｖ８と、両腰の中点から左肩への方向ベクトルｖ９との外積で表されるベクトルｖ１０を算出することによって、胴体の正面方向の方向ベクトルを算出する。

【0120】

三次元人体骨格モデルで表された作業者の向きを推定した後、作業対象推定部１２５は、作業者の向きと、一つ以上の作業対象候補が対応付けられた見取り図とに基づいて、一つ以上の作業対象候補の中から作業者が行っている作業の作業対象を推定する。

【0121】

図２９は、第２の実施形態における、作業者の向きと、見取り図に示された作業対象との対応付けを説明するための図である。図２９は、仮想三次元空間に投影された見取り図６９を高さ方向から見た図である。図２９には、見取り図６９と、見取り図６９上に配置された作業者７１とが示されている。また、見取り図６９には、組立前製品７３を示す領域の任意の位置に、作業対象であることを示す作業対象候補点７３１が座標点として対応付けられている。この作業対象候補点７３１は、組立前製品７３と対応付けられている。尚、作業者７１は、既に仮想三次元空間内での位置および向きが特定されているものとする。

【0122】

また、図２９には、作業者７１の配置されている位置を頂点とし、作業者７１の向き（例えば、図２８のベクトルｖ７の方向）を基準とした扇形の作業対象領域７１１が示されている。作業対象領域７１１として示される扇形の弧は、例えば、作業者の身体特徴に基づいて決められる。作業者の身体特徴は、例えば、特定の作業者の腕の長さ、或いは複数の作業者の平均の腕の長さなどである。好適には、作業対象領域７１１は、作業者の両手が届きうる範囲の領域である。作業対象推定部１２５は、作業対象領域７１１に含まれる作業対象候補点７３１を特定することによって、作業対象候補点７３１に対応付けられた組立前製品７３を、作業対象として推定する。尚、作業対象領域は、扇形に限らず、円形および矩形などでもよい。

【0123】

図２９の例では図示していないが、他の複数の作業対象候補（例えば、部品置場および部品棚など）においても、作業対象候補を示す領域の任意の位置に、作業対象候補点が座標点として対応付けられているものとする。作業対象候補点は、作業対象領域が重複する範囲を考慮して、作業対象候補に対応付けられる位置が決定されてもよい。

【0124】

また、作業対象の推定は、図２９の例に限らない。例えば、作業対象推定部１２５は、作業対象候補を示す領域の一部または全部を作業対象候補領域とし、作業者の作業対象領域との一致度によって、作業対象を推定してもよい。

【0125】

もし作業者の向きと、見取り図に示された作業対象との対応付けを三次元の見取り図上で行う場合、作業対象推定部１２５は、三次元人体骨格モデル（作業者７１）の右肩の座標点と、左肩の座標点、および両腰の中点の座標点との三点からなる三角形の重心から、ベクトルｖ１０方向に延ばした軸を設定する。そして、作業対象推定部１２５は、設定した軸を中心とした、円錐形の三次元領域、球形の三次元領域、或いは矩形の三次元領域を作業対象領域として算出する。他の例として、作業対象推定部１２５は、三次元人体骨格モデルの右手および左手をそれぞれ中心とした球形の三次元領域を作業対象領域として算出してもよい。

【0126】

（ステップＳＴ２２４）
作業者の作業値が算出され、作業対象が推定された後、統計処理部１２３Ａは、算出した作業者の作業値と作業対象とに基づいて作業者の作業値に関する統計データを生成する。具体的には、統計処理部１２３Ａは、一つ以上の作業対象毎に、作業の開始時刻から任意の時刻までに累積した作業値、或いは平均作業値を統計データとして生成する。または、統計処理部１２３Ａは、一つ以上の作業対象毎に、負荷値レベルと作業時間とを対応付けた統計データを生成してもよい。以降の具体例では、統計データは、一つ以上の作業対象毎に、負荷値レベルと作業時間とを対応付けたものであるとする。

【0127】

（ステップＳＴ２２５）
統計データが生成された後、表示データ生成部１２４Ａは、生成された統計データに基づいて表示データを生成する。具体的には、表示データ生成部１２４Ａは、見取り図上に、生成された統計データに対応させた負荷値マップを重畳させた表示データを生成する。

【0128】

負荷値マップは、例えば、作業対象毎に、作業対象を基準とした円の組み合わせで表される。円の半径方向の長さは、負荷値レベルに応じた作業時間に対応し、円の濃淡は、負荷値レベルに対応している。尚、負荷値マップは、カラーマップ、或いはヒートマップに言い換えられてもよい。

【0129】

図３０は、第２の実施形態における、累積した負荷値を複数の作業対象に対応させて表示した見取り図７５である。見取り図７５には、負荷値マップ７５１が重畳されている。負荷値マップ７５１は、例えば、負荷値レベルに対応した４つの負荷領域７５２から７５５までを含む。負荷領域７５２は、負荷値レベルＬＶ１に対応し、最も広い輪郭を有する。負荷領域７５３は、負荷値レベルＬＶ２に対応し、負荷領域７５２よりも狭い輪郭を有する。負荷領域７５４は、負荷値レベルＬＶ３に対応し、負荷領域７５３よりも狭い輪郭を有する。負荷領域７５５は、負荷値レベルＬＶ４に対応し、負荷領域７５４よりも狭い輪郭を有する。尚、負荷値マップ７５１の輪郭は、負荷領域７５２の輪郭と同じである。

【0130】

具体的には、図３０の見取り図７５では、右上に位置する部品置場（図２１の見取り図４７の部品置場４７３に対応）、組立前製品、および左下に位置する部品棚（図２１の見取り図４７の部品棚４７７に対応）について、負荷領域７５５が表示されている。よって、ユーザは、この見取り図７５を確認することによって、これらの作業対象で行われる作業が作業者に大きな負荷をかけていることを認識することができる。尚、負荷値マップ７５１を重畳した見取り図７５は、表示データに言い換えられてもよい。

【0131】

図３０では、累積した負荷値を複数の作業対象に対応させて表示した見取り図７５を表示データとしたが、これに限らない。例えば、表示データは、身体の特定の部位を示した人体図と、身体の特定の部位に関する負荷値を複数の作業対象に対応させて表示した見取り図とでもよい。

【0132】

図３１は、第２の実施形態における、身体の特定の部位を示す人体図８１２と、身体の特定の部位に関する負荷値を複数の作業対象に対応させて表示した見取り図７９とを含む表示データ７７の第１の具体例を示す図である。表示データ７７は、見取り図７９と、プルダウンメニュー８１１と、人体図８１２とを含むＧＵＩである。

【0133】

ユーザが、例えば、プルダウンメニュー８１１から身体の部位「背部」を選択すると、人体図８１２では背部の領域が着色され、見取り図７９では作業者の「背部」に関する負荷値マップ７９１が重畳される。この時、負荷値レベルＬＶ４に対応した負荷領域７９２が、右上に位置する部品置場（図２１の見取り図４７の部品置場４７３に対応）に表示されている。よって、ユーザは、この表示データ７７を確認することによって、右上に位置する部品置場で行われる作業が作業者の「背部」に大きな負荷をかけていることを認識することができる。

【0134】

図３２は、第２の実施形態における、身体の特定の部位を示す人体図８７２と、身体の特定の部位に関する負荷値を複数の作業対象に対応させて表示した見取り図８５とを含む表示データ８３の第２の具体例を示す図である。表示データ８３は、見取り図８５と、プルダウンメニュー８７１と、人体図８７２とを含むＧＵＩである。

【0135】

ユーザが、例えば、プルダウンメニュー８７１から身体の部位「上肢」を選択すると、人体図８７２では上肢の領域が着色され、見取り図８５では作業者の「上肢」に関する負荷値マップ８５１が重畳される。この時、負荷値レベルＬＶ４に対応した負荷領域８５２が、組立前製品に表示されている。よって、ユーザは、この表示データ８３を確認することによって、組立前製品で行われる作業が作業者の「上肢」に大きな負荷をかけていることを認識することができる。

【0136】

図３３は、第２の実施形態における、身体の特定の部位を示す人体図９３２と、身体の特定の部位に関する負荷値を複数の作業対象に対応させて表示した見取り図９１とを含む表示データ８９の第３の具体例を示す図である。表示データ８９は、見取り図９１と、プルダウンメニュー９３１と、人体図９３２とを含むＧＵＩである。

【0137】

ユーザが、例えば、プルダウンメニュー９３１から身体の部位「下肢」を選択すると、人体図９３２では下肢の領域が着色され、見取り図９１では作業者の「下肢」に関する負荷値マップ９１１が重畳される。この時、負荷値レベルＬＶ４に対応した負荷領域９１２が、左下に位置する部品棚（図２１の見取り図４７の部品棚４７７に対応）に表示されている。よって、ユーザは、この表示データ８９を確認することによって、左下に位置する部品棚で行われる作業が作業者の「下肢」に大きな負荷をかけていることを認識することができる。

【0138】

図３１から図３３までにおいては、身体の特定の部位を示した人体図と、身体の特定の部位に関する負荷値を複数の作業対象に対応させて表示した見取り図とを表示データとしたが、これに限らない。例えば、表示データは、特定の作業対象を示す見取り図と、特定の作業対象についての累積した負荷値を作業者の身体の複数の部位に対応させて表示した人体図とでもよい。

【0139】

図３４は、特定の作業対象を示す見取り図９７と、累積した負荷値を身体の複数の部位のそれぞれに対応させて表示した人体図９９とを含む表示データ９５を例示する図である。表示データ９５は、見取り図９７と、人体図９９とを含むＧＵＩである。ユーザが、例えば、見取り図９７から右上に位置する部品置場９７１を選択すると、見取り図９７では部品置場９７１の領域が着色され、人体図９９では身体の複数の部位毎に累積した負荷値に応じた色分けが成される。よって、ユーザは、この表示データ９５を確認することによって、特定の作業対象についての作業者の身体の部位毎の負荷値を確認することができる。

【0140】

なお、第２の実施形態における表示データは、上記に限らない。例えば、表示データは、三次元の見取り図で表されてもよい。このとき、表示データ生成部１２４Ａは、三次元の見取り図上に、負荷値マップを重畳させた表示データを生成する。この場合、負荷値マップは、例えば、作業対象の三次元モデルの表面に重畳される。

【0141】

他にも、表示データは、映像データを加工して作成されてもよい。このとき、表示データ生成部１２４Ａは、映像データ上の作業対象に対して、負荷値マップを重畳させる。尚、映像データの作業対象上、或いは作業対象の近傍に、統計データに含まれる数値、当該数値に対応する図形、および統計データに基づく表、或いはグラフが重畳されてもよい。

【0142】

（ステップＳＴ２３０）
表示データが生成された後、処理部１２０Ａは、作業値および作業対象に基づく表示データを出力装置４００Ａへと出力する。このステップＳＴ２３０の処理の後、作業推定プログラムを終了する。

【0143】

なお、映像データをリアルタイムで取得している場合、ステップＳＴ２３０の処理の後、ステップＳＴ２１０へ戻り、同様の処理を繰り返してもよい。また、作業推定プログラムは、ユーザによる指示で終了してもよい。

【0144】

以上説明したように、第２の実施形態に係る作業推定装置１００Ａは、所定領域内の映像データを取得し、取得した映像データに基づいて、映像データに含まれる作業者が行っている作業値を算出し、作業値を表示させる。この作業値は、例えば、作業についての作業者の身体的な負荷を表す負荷値を含んでもよい。また、第２の実施形態に係る作業推定装置１００Ａは、作業者の作業姿勢を推定してもよく、作業者の身体の部位の姿勢を特定してもよく、作業者に見立てた人体図に負荷値を表すマップを重畳してもよい。さらに、第２の実施形態に係る作業推定装置１００Ａは、作業者が行っている作業の作業対象を推定してもよく、推定した作業対象を示した見取り図に負荷値を表すマップを重畳してもよい。

【0145】

従って、第２の実施形態に係る作業推定装置１００Ａは、映像を用いることで、センサーを用いる従来の作業値推定よりも低い導入コストで作業者の作業状態を視覚的に把握することができる。また、第２の実施形態に係る作業推定装置１００Ａは、作業対象について、作業者の身体部位に係る作業負荷を可視化することができ、安全衛生の観点での労働環境の改善をすることができる。

【0146】

図３５は、一実施形態に係るコンピュータ５００のハードウェア構成を例示するブロック図である。コンピュータ５００は、ハードウェアとして、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５２０、プログラムメモリ５３０、補助記憶装置５４０、入出力インタフェース（入出力Ｉ／Ｆ）５５０を備える。ＣＰＵ５１０は、バスを介して、ＲＡＭ５２０、プログラムメモリ５３０、補助記憶装置５４０、および入出力インタフェース５５０と通信する。

【0147】

ＣＰＵ５１０は、汎用プロセッサの一例である。ＲＡＭ５２０は、ワーキングメモリとしてＣＰＵ５１０に使用される。ＲＡＭ５２０は、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性メモリを含む。プログラムメモリ５３０は、信号処理プログラムを含む種々のプログラムを記憶する。プログラムメモリ５３０として、例えば、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、補助記憶装置５４０の一部、またはその組み合わせが使用される。補助記憶装置５４０は、データを非一時的に記憶する。補助記憶装置５４０は、ＨＤＤまたはＳＳＤなどの不揮発性メモリを含む。

【0148】

入出力インタフェース５５０は、他のデバイスと接続するためのインタフェースである。入出力インタフェース５５０は、例えば、図１および図１６に示される撮影装置、記憶装置、および出力装置との接続に使用される。

【0149】

プログラムメモリ５３０に記憶されている各プログラムはコンピュータ実行可能命令を含む。プログラム（コンピュータ実行可能命令）は、ＣＰＵ５１０により実行されると、ＣＰＵ５１０に所定の処理を実行させる。例えば、作業推定プログラムは、ＣＰＵ５１０により実行されると、ＣＰＵ５１０に取得部、処理部、および表示制御部に関して説明された一連の処理を実行させる。

【0150】

プログラムは、コンピュータで読み取り可能な記憶媒体に記憶された状態でコンピュータ５００に提供されてよい。この場合、例えば、コンピュータ５００は、記憶媒体からデータを読み出すドライブ（図示せず）をさらに備え、記憶媒体からプログラムを取得する。記憶媒体の例は、磁気ディスク、光ディスク（ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ－ＲＯＭ、ＤＶＤ－Ｒなど）、光磁気ディスク（ＭＯなど）、半導体メモリを含む。また、プログラムを通信ネットワーク上のサーバに格納し、コンピュータ５００が入出力インタフェース５５０を使用してサーバからプログラムをダウンロードするようにしてもよい。

【0151】

実施形態において説明される処理は、ＣＰＵ５１０などの汎用ハードウェアプロセッサがプログラムを実行することにより行われることに限らず、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などの専用ハードウェアプロセッサにより行われてもよい。処理回路（処理部）という語は、少なくとも１つの汎用ハードウェアプロセッサ、少なくとも１つの専用ハードウェアプロセッサ、または少なくとも１つの汎用ハードウェアプロセッサと少なくとも１つの専用ハードウェアプロセッサとの組み合わせを含む。図３５に示す例では、ＣＰＵ５１０、ＲＡＭ５２０、およびプログラムメモリ５３０が処理回路に相当する。

【0152】

よって、以上の各実施形態によれば、作業者に負担をかけることなく、作業者の作業を推定することができる。

【0153】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0154】

１，１Ａ…作業推定システム、１００，１００Ａ…作業推定装置、１１０，１１０Ａ…取得部、１２０，１２０Ａ…処理部、１２１，１２１Ａ…姿勢推定部、１２２，１２２Ａ…作業値算出部、１２３，１２３Ａ…統計処理部、１２４，１２４Ａ…表示データ生成部、１２５…作業対象推定部、１３０，１３０Ａ表示制御部、２００，２００Ａ…撮影装置、３００，３００Ａ…記憶装置、４００，４００Ａ…出力装置、５００…コンピュータ、５１０…ＣＰＵ、５２０…ＲＡＭ、５３０…プログラムメモリ、５４０…補助記憶装置、５５０…入出力Ｉ／Ｆ、１１…二次元人体骨格モデル、１３…作業者、１４…二次元骨格推定モデル、１５…二次元人体骨格モデル、１６…三次元骨格推定モデル、１７…三次元人体骨格モデル、１９…テーブル、２１…姿勢推定結果、２３…姿勢推定結果、２５…姿勢推定結果、２７…姿勢推定結果、２９…テーブル、３１…負荷値群領域、３３…テーブル、３５…人体図、３５１…背部領域、３５２…上肢領域、３５３…下肢領域、３７…人体図、３７１…背部領域、３７２…上肢領域、３７３…下肢領域、３９…人体図、３９１…背部領域、３９２…上肢領域、３９３…下肢領域、４１…人体図、４１１…背部領域、４１２…上肢領域、４１３…下肢領域、４３…人体図、４３１…背部領域、４３２…上肢領域、４３３…下肢領域、４５…画像、４５１…作業ステップ、４５２…組立前製品、４５３…部品置場、４５４…部品置場、４５５…組立済製品、４５６…部品棚、４５７…部品棚、４７…見取り図、４７１…作業ステップ、４７２…組立前製品、４７３…部品置場、４７４…部品置場、４７５…組立済製品、４７６…部品棚、４７７…部品棚、４９…仮想三次元空間、５１…テーブル、５３…透視投影変換、５５…テーブル、５７…座標変換、５９…三次元人体骨格モデル、６１…テーブル、６３…座標変換、６５…テーブル、６７…正面方向、６９…見取り図、７１…作業者、７１１…作業対象領域、７３…組立前製品、７３１…作業対象候補点、７５…見取り図、７５１…負荷値マップ、７５２…負荷領域、７５３…負荷領域、７５４…負荷領域、７５５…負荷領域、７７…表示データ、７９…見取り図、７９１…負荷値マップ、７９２…負荷領域、８１１…プルダウンメニュー、８１２…人体図、８３…表示データ、８５…見取り図、８５１…負荷値マップ、８５２…負荷領域、８７１…プルダウンメニュー、８７２…人体図、８９…表示データ、９１…見取り図、９１１…負荷値マップ、９１２…負荷領域、９３１…プルダウンメニュー、９３２…人体図、９５…表示データ、９９…人体図、９７１…部品置場、ＫＰ１，ＫＰ２，ＫＰ３，ＫＰ４，ＫＰ５，ＫＰ６，ＫＰ７，ＫＰ８，ＫＰ９，ＫＰ１０，ＫＰ１１，ＫＰ１２，ＫＰ１３，ＫＰ１４，ＫＰ１５，ＫＰ１６，ＫＰ１７，ＫＰ１８，ＫＰＨ…キーポイント、ＬＶ１，ＬＶ２，ＬＶ３，ＬＶ４…負荷値レベル、Ｓ１，Ｓ２，Ｓ３…基準点。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】