知財求人 - 知財ポータルサイト「IP Force」
▶ ブレインズテクノロジー株式会社の特許一覧 ▶ 株式会社豊田自動織機の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2025-03-11
(45)【発行日】2025-03-19
(54)【発明の名称】プログラム、情報処理装置、及び方法
(51)【国際特許分類】
G06Q 10/0639 20230101AFI20250312BHJP
G06Q 50/04 20120101ALI20250312BHJP
【ＦＩ】
G06Q10/0639
G06Q50/04
【請求項の数】
15
(21)【出願番号】P 2024186052
(22)【出願日】2024-10-22
【審査請求日】2024-10-22
【早期審査対象出願】
(73)【特許権者】
【識別番号】511150104
【氏名又は名称】ブレインズテクノロジー株式会社
(73)【特許権者】
【識別番号】000003218
【氏名又は名称】株式会社豊田自動織機
(74)【代理人】
【識別番号】110002815
【氏名又は名称】ＩＰＴｅｃｈ弁理士法人
(72)【発明者】
【氏名】太田 良介
(72)【発明者】
【氏名】土屋 紗輝
(72)【発明者】
【氏名】奥山 昌紀
(72)【発明者】
【氏名】清水 達也
【審査官】加内 慎也
(56)【参考文献】
【文献】国際公開第２０２４／０６２８８２（ＷＯ，Ａ１）
【文献】国際公開第２０２１／１８７１９３（ＷＯ，Ａ１）
【文献】特開２０１９－０８３５１９（ＪＰ，Ａ）
【文献】国際公開第２０２１／１３１５５２（ＷＯ，Ａ１）
【文献】国際公開第２０２３／１４８９７０（ＷＯ，Ａ１）
【文献】国際公開第２０２１／２５１２２２（ＷＯ，Ａ１）
【文献】特開２０２４－１１２６７１（ＪＰ，Ａ）
【文献】特開２０１８－０７３１７６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｑ １０／００－９９／００
(57)【特許請求の範囲】
【請求項1】
プロセッサと、メモリとを備えるコンピュータに実行させ、作業者の作業状況を分析するためのプログラムであって、前記プログラムは、前記プロセッサに、
前記作業者が所定の作業をしている状況を撮影した動画データを取得するステップと、
前記取得された動画データの分析を行い、前記取得された動画データに撮影された前記作業者による前記所定の作業について、複数の工程に区分けを行った際の工程を示す作業ステップの開始時刻及び終了時刻を判定するステップと、
前記取得された動画データを、前記判定の結果による開始時刻及び終了時刻で特定される前記作業ステップごとに分割し、前記作業ステップごと、及び前記作業者ごとに、各作業者の作業状況を表示するための表示データを生成するステップと、
前記取得された動画データの分析を行い、前記取得された動画データに撮影された前記作業者の関節の位置を推定して前記作業者の骨格データを抽出するステップと、
生成した表示データを出力するステップと、を実行させ、
生成した表示データを出力するステップにおいて、前記抽出された、１の前記作業者の骨格データに基づく１の前記作業者の関節の動きの特徴量を示すデータと、他の前記作業者の骨格データに基づく他の前記作業者の関節の動きの特徴量を示すデータとの差分を示すデータを出力する、プログラム。
【請求項2】
プロセッサと、メモリとを備えるコンピュータに実行させ、作業者の作業状況を分析するためのプログラムであって、前記プログラムは、前記プロセッサに、
前記作業者が所定の作業をしている状況を撮影した動画データを取得するステップと、
前記取得された動画データの分析を行い、前記取得された動画データに撮影された前記作業者による前記所定の作業について、複数の工程に区分けを行った際の工程を示す作業ステップの開始時刻及び終了時刻を判定するステップと、
前記取得された動画データを、前記判定の結果による開始時刻及び終了時刻で特定される前記作業ステップごとに分割し、前記作業ステップごと、及び前記作業者ごとに、各作業者の作業状況を表示するための表示データを生成するステップと、
前記取得された動画データの分析を行い、前記取得された動画データに撮影された前記作業者の関節の位置を推定して前記作業者の骨格データを抽出するステップと、
生成した表示データを出力するステップと、を実行させ、
生成した表示データを出力するステップにおいて、前記抽出された前記作業者の骨格データに基づく、前記作業者の関節の動きが所定の条件に該当する作業者の身体の部位を示す表示データを出力する、プログラム。
【請求項3】
生成した表示データを出力するステップにおいて、前記作業者ごとに、前記作業ステップごとの表示データを一覧として出力し、ユーザから、一覧として出力された前記作業ステップごとの表示データからの選択を受け付け、
前記選択された前記作業ステップに係る表示データを出力する、請求項１または請求項２に記載のプログラム。
【請求項4】
生成した表示データを出力するステップにおいて、前記選択された前記作業ステップに係る、１の前記作業者の表示データと、他の前記作業者の表示データとを同時に出力する、請求項３に記載のプログラム。
【請求項5】
生成した表示データを出力するステップにおいて、前記選択された前記作業ステップに係る、１の前記作業者の表示データと、他の前記作業者の表示データとを重畳して出力する、請求項３に記載のプログラム。
【請求項6】
生成した表示データを出力するステップにおいて、前記抽出された作業者の骨格データに含まれる、前記作業者の関節の動きの特徴量を示すデータを出力する、請求項１または請求項２に記載のプログラム。
【請求項7】
生成した表示データを出力するステップにおいて、前記作業者の関節の動きの特徴量を示すデータとして、前記作業者の関節ごとの軌跡、座標、速度、移動距離、稼働時間、稼働率、前記作業ステップの所要時間に対する影響度合い、のうちの１または複数を含むデータを出力する、請求項６に記載のプログラム。
【請求項8】
生成した表示データを出力するステップにおいて、前記作業者の所定の関節の動きの特徴量を示すデータを、他の関節の動きの特徴量を示すデータと異なる態様で出力する、請求項６に記載のプログラム。
【請求項9】
生成した表示データを出力するステップにおいて、前記抽出された１の前記作業者の骨格データに基づく１の前記作業者の関節の動きを示す表示データと、他の前記作業者の骨格データに基づく他の前記作業者の関節の動きを示す表示データとを出力する、請求項１に記載のプログラム。
【請求項10】
生成した表示データを出力するステップにおいて、前記抽出された１の前記作業者の骨格データに基づく１の前記作業者の関節の動きの特徴量を示すデータと、他の前記作業者の骨格データに基づく他の前記作業者の関節の動きの特徴量を示すデータとの差分が所定の値以上乖離している表示データを出力する、請求項１に記載のプログラム。
【請求項11】
生成した表示データを出力するステップにおいて、前記抽出された作業者の骨格データに含まれる、前記作業者の一部の関節の動きを示す表示データを出力する、請求項１または請求項２に記載のプログラム。
【請求項12】
制御部と、メモリとを備え、作業者の作業状況を分析する情報処理装置であって、前記制御部は、
前記作業者が所定の作業をしている状況を撮影した動画データを取得するステップと、
前記取得された動画データの分析を行い、前記取得された動画データに撮影された前記作業者による前記所定の作業について、複数の工程に区分けを行った際の工程を示す作業ステップの開始時刻及び終了時刻を判定するステップと、
前記取得された動画データを、前記判定の結果による開始時刻及び終了時刻で特定される前記作業ステップごとに分割し、前記作業ステップごと、及び前記作業者ごとに、各作業者の作業状況を表示するための表示データを生成するステップと、
前記取得された動画データの分析を行い、前記取得された動画データに撮影された前記作業者の関節の位置を推定して前記作業者の骨格データを抽出するステップと、
生成した表示データを出力するステップと、を実行し、
生成した表示データを出力するステップにおいて、前記抽出された、１の前記作業者の骨格データに基づく１の前記作業者の関節の動きの特徴量を示すデータと、他の前記作業者の骨格データに基づく他の前記作業者の関節の動きの特徴量を示すデータとの差分を示すデータを出力する、情報処理装置。
【請求項13】
制御部と、メモリとを備え、作業者の作業状況を分析する情報処理装置であって、前記制御部は、
前記作業者が所定の作業をしている状況を撮影した動画データを取得するステップと、
前記取得された動画データの分析を行い、前記取得された動画データに撮影された前記作業者による前記所定の作業について、複数の工程に区分けを行った際の工程を示す作業ステップの開始時刻及び終了時刻を判定するステップと、
前記取得された動画データを、前記判定の結果による開始時刻及び終了時刻で特定される前記作業ステップごとに分割し、前記作業ステップごと、及び前記作業者ごとに、各作業者の作業状況を表示するための表示データを生成するステップと、
前記取得された動画データの分析を行い、前記取得された動画データに撮影された前記作業者の関節の位置を推定して前記作業者の骨格データを抽出するステップと、
生成した表示データを出力するステップと、を実行し、
生成した表示データを出力するステップにおいて、前記抽出された前記作業者の骨格データに基づく、前記作業者の関節の動きが所定の条件に該当する作業者の身体の部位を示す表示データを出力する、情報処理装置。
【請求項14】
プロセッサと、メモリとを備えるコンピュータにより実行され、作業者の作業状況を分析するための方法であって、前記方法は、前記プロセッサが、
前記作業者が所定の作業をしている状況を撮影した動画データを取得するステップと、
前記取得された動画データの分析を行い、前記取得された動画データに撮影された前記作業者による前記所定の作業について、複数の工程に区分けを行った際の工程を示す作業ステップの開始時刻及び終了時刻を判定するステップと、
前記取得された動画データを、前記判定の結果による開始時刻及び終了時刻で特定される前記作業ステップごとに分割し、前記作業ステップごと、及び前記作業者ごとに、各作業者の作業状況を表示するための表示データを生成するステップと、
前記取得された動画データの分析を行い、前記取得された動画データに撮影された前記作業者の関節の位置を推定して前記作業者の骨格データを抽出するステップと、
生成した表示データを出力するステップと、を実行し、
生成した表示データを出力するステップにおいて、前記抽出された、１の前記作業者の骨格データに基づく１の前記作業者の関節の動きの特徴量を示すデータと、他の前記作業者の骨格データに基づく他の前記作業者の関節の動きの特徴量を示すデータとの差分を示すデータを出力する、方法。
【請求項15】
プロセッサと、メモリとを備えるコンピュータにより実行され、作業者の作業状況を分析するための方法であって、前記方法は、前記プロセッサが、
前記作業者が所定の作業をしている状況を撮影した動画データを取得するステップと、
前記取得された動画データの分析を行い、前記取得された動画データに撮影された前記作業者による前記所定の作業について、複数の工程に区分けを行った際の工程を示す作業ステップの開始時刻及び終了時刻を判定するステップと、
前記取得された動画データを、前記判定の結果による開始時刻及び終了時刻で特定される前記作業ステップごとに分割し、前記作業ステップごと、及び前記作業者ごとに、各作業者の作業状況を表示するための表示データを生成するステップと、
前記取得された動画データの分析を行い、前記取得された動画データに撮影された前記作業者の関節の位置を推定して前記作業者の骨格データを抽出するステップと、
生成した表示データを出力するステップと、を実行し、
生成した表示データを出力するステップにおいて、前記抽出された前記作業者の骨格データに基づく、前記作業者の関節の動きが所定の条件に該当する作業者の身体の部位を示す表示データを出力する、方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、プログラム、情報処理装置、及び方法に関する。
【背景技術】
【0002】
工場等における製造物の品質向上、作業者の作業効率の向上等を目的として、作業者の作業状況を撮影して、撮影動画を分析することが行われている。また、この分析にＡＩ（人工知能）技術を適用することも行われている。
【0003】
特許文献１には、現場で作業する作業者を支援する作業支援システムにおいて、作業者の撮影画像から作業者の姿勢を分析し、その状態に応じた情報を提供する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０２０－１４４７７６号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、従来の作業分析では、撮影画像（動画）を分析して、作業の異常（作業抜け、手順誤り、不正等）を検知していたが、作業について異常はなくとも、当該作業についての工程改善をするに際して、どのような改善点があるか、については人が見て判断していたため、時間がかかり、判断にばらつきが生じていた。
【0006】
そこで、本開示では、作業について工程改善をするためのデータを収集するため、作業者の作業状況を撮影し、撮影画像（動画）を分析して作業者の作業状況を表示するための表示データを生成し、その結果について出力することを可能にする技術について説明する。
【課題を解決するための手段】
【0007】
本開示の一実施の形態によると、プロセッサと、メモリとを備えるコンピュータに実行させ、作業者の作業状況を分析するためのプログラムが提供される。プログラムは、プロセッサに、作業者が所定の作業をしている状況を撮影した動画データを取得するステップと、取得された動画データの分析を行い、取得された動画データに撮影された作業者による所定の作業について、複数の工程に区分けを行った際の工程を示す作業ステップの開始時刻及び終了時刻を判定するステップと、取得された動画データを、判定の結果による開始時刻及び終了時刻で特定される作業ステップごとに分割し、作業ステップごと、及び作業者ごとに、各作業者の作業状況を表示するための表示データを生成するステップと、生成した表示データを出力するステップと、を実行させる。
【発明の効果】
【0008】
本開示によれば、作業者が所定の作業をしている状況を撮影した動画データを、作業の工程の開始時刻及び終了時刻で特定される作業ステップごとに分割して出力する。そのため、作業状況を表示するための表示データを生成し、その結果について出力することが可能になる。これにより、作業について工程改善をするに際して、どのような改善点があるか、について検討するための基礎データを取得することが可能になる。
【図面の簡単な説明】
【0009】
【図1】本開示の実施の形態に係る作業分析システム１の全体の構成を示すブロック図である。
【図6】作業分析システム１による表示データ出力処理を行う流れの一例を示すフローチャートである。
【図7】端末装置１０に表示する表示データの画面例を示す図である。
【図8】端末装置１０に表示する表示データの画面例を示す図である。
【図9】端末装置１０に表示する表示データの画面例を示す図である。
【図10】本開示の実施の形態２に係るサーバ２０の機能的な構成を示すブロック図である。
【図11】端末装置１０に表示する表示データの画面例を示す図である。
【図12】端末装置１０に表示する表示データの画面例を示す図である。
【図13】端末装置１０に表示する表示データの画面例を示す図である。
【図14】端末装置１０に表示する表示データの画面例を示す図である。
【図15】端末装置１０に表示する表示データの画面例を示す図である。
【図16】コンピュータ９０の基本的なハードウェア構成を示すブロック図である。
【発明を実施するための形態】
【0010】
以下、本開示の実施の形態について図面を参照して説明する。実施の形態を説明する全図において、共通の構成要素には同一の符号を付し、繰り返しの説明を省略する。なお、以下の実施の形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施の形態に示される構成要素のすべてが、本開示の必須の構成要素であるとは限らない。また、各図は模式図であり、必ずしも厳密に図示されたものではない。
【0011】
また、以下の説明において、「プロセッサ」は、１以上のプロセッサである。少なくとも１つのプロセッサは、典型的には、ＣＰＵ（Central Processing Unit）のようなマイクロプロセッサであるが、ＧＰＵ（Graphics Processing Unit）のような他種のプロセッサでもよい。少なくとも１つのプロセッサは、シングルコアでもよいしマルチコアでもよい。
【0012】
また、少なくとも１つのプロセッサは、処理の一部又は全部を行うハードウェア回路（例えばＦＰＧＡ（Field-Programmable Gate Array）又はＡＳＩＣ（Application Specific Integrated Circuit））といった広義のプロセッサでもよい。
【0013】
また、以下の説明において、「ｘｘｘデータベース」といった表現により、入力に対して出力が得られる情報を説明することがあるが、この情報は、どのような構造のデータでもよいし、入力に対する出力を発生するニューラルネットワークのような学習モデルでもよい。従って、「ｘｘｘデータベース」を「ｘｘｘ情報」と言うことができる。
【0014】
また、以下の説明において、各データベースを構成するテーブルの構成は一例であり、１つのテーブルは、２以上のテーブルに分割されてもよいし、２以上のテーブルの全部又は一部が１つのテーブルであってもよい。
【0015】
また、以下の説明において、「プログラム」を主語として処理を説明する場合があるが、プログラムは、プロセッサによって実行されることで、定められた処理を、適宜に記憶部及び／又はインタフェース部などを用いながら行うため、処理の主語が、プロセッサ（或いは、そのプロセッサを有するコントローラのようなデバイス）とされてもよい。
【0016】
プログラムは、計算機のような装置にインストールされてもよいし、例えば、プログラム配布サーバ又は計算機が読み取り可能な（例えば非一時的な）記録媒体にあってもよい。また、以下の説明において、２以上のプログラムが１つのプログラムとして実現されてもよいし、１つのプログラムが２以上のプログラムとして実現されてもよい。
【0017】
また、以下の説明において、種々の対象の識別情報として、識別番号が使用されるが、識別番号以外の種類の識別情報（例えば、英字や符号を含んだ識別子）が採用されてもよい。
【0018】
また、以下の説明において、同種の要素を区別しないで説明する場合には、参照符号（又は、参照符号のうちの共通符号）を使用し、同種の要素を区別して説明する場合は、要素の識別番号（又は参照符号）を使用することがある。
【0019】
また、以下の説明において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
【0020】
＜概要＞
以下、本開示に係る作業分析システムについて説明する。本開示に係る作業分析システムは、例えば、工場等の作業現場において、製品の製造等の作業を行う作業者の作業状況を分析するために使用されるシステムである。この作業分析システムは、工場等の作業現場における作業者の作業状況を撮影し、撮影した動画データを取得して分析を行い、作業ステップごと、及び作業者ごとに、作業状況を表示するための表示データを生成して出力する。本開示に係る作業分析システムは、例えばクラウドサーバ等によりＷｅｂサービスとして、いわゆるＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）によって提供されるシステムであり、ユーザが所定の認証によりアクセス可能に構成されている。
以下、本開示に係る作業分析システムについて説明する。本開示に係る作業分析システムは、例えば、工場等の作業現場において、製品の製造等の作業を行う作業者の作業状況を分析するために使用されるシステムである。この作業分析システムは、工場等の作業現場における作業者の作業状況を撮影し、撮影した動画データを取得して分析を行い、作業ステップごと、及び作業者ごとに、作業状況を表示するための表示データを生成して出力する。本開示に係る作業分析システムは、例えばクラウドサーバ等によりＷｅｂサービスとして、いわゆるＳａａＳ（Ｓｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ）によって提供されるシステムであり、ユーザが所定の認証によりアクセス可能に構成されている。
【0021】
ところで、上記のような作業者の作業分析の手法では、撮影画像（動画）を分析し、作業単位の要素となる作業時間を計測し、その結果として作業の異常（作業抜け、手順誤り、不正等）を検知することが行われている。しかし、撮影画像（動画）を分析し、作業について異常はなくとも、当該作業について工程改善をするに際して、どのような改善点があるか、については、その撮影画像を人が見て判断していた。そのため、作業者が直感的に修正方法を理解することが困難であり、作業時間が長い原因、作業についてＡＩによって異常と判断された原因について調べるのに、人の判断が必要となっていたため、時間がかかり、判断にばらつきが生じていた。
【0022】
また、工場等における作業者の作業分析では、時間軸による作業分析も必要であるが、作業のサイクルごとの時間（サイクルタイム）の短縮、作業品質の向上が目的であるため、特に作業の遅延に影響の大きい部位や時間帯の抽出が必須であり、従来の作業者の作業分析の手法は適していなかった。
【0023】
そこで、本開示に係る作業分析システムは、作業者が所定の作業をしている状況を撮影した動画データを取得し、動画データの分析を行って、作業者による所定の作業について複数の工程に区分けを行った際の工程を示す作業ステップの開始時刻及び終了時刻を判定し、動画データを開始時刻及び終了時刻で特定される作業ステップごとに分割して表示データを生成し、表示データを出力する、という構成となっている。
【0024】
また、表示データについて、他の作業者の表示データと同時に出力したり、他の作業者の表示データと重畳して出力したり、作業者の骨格データを抽出して出力したりすることにより、多様な態様で出力する構成となっている。
【0025】
このような構成により、本開示に係る作業分析システムを利用することで、作業について工程改善をするに際して、どのような改善点があるか、について検討するための基礎データを取得することが可能になる。また、作業について工程改善をするに際して、作業者に向けた教育用のヒント、推奨をユーザに提示することができる。これにより、作業分析の結果が可視化されるので、その後の工程改善、教育について反映させるための客観的な材料を提供することが可能になる。
【0026】
＜第１の実施の形態＞
以下、本開示の実施の形態に係る作業分析システム１について説明する。以下の説明では、例えば、端末装置１０がサーバ２０へアクセスすることにより、サーバ２０が、端末装置１０で画面を生成するための情報を応答する。端末装置１０は、サーバ２０から受信した情報に基づいて画面を生成し表示する。
以下、本開示の実施の形態に係る作業分析システム１について説明する。以下の説明では、例えば、端末装置１０がサーバ２０へアクセスすることにより、サーバ２０が、端末装置１０で画面を生成するための情報を応答する。端末装置１０は、サーバ２０から受信した情報に基づいて画面を生成し表示する。
【0027】
＜１ 作業分析システム１の全体構成＞
図１は、本開示の実施の形態１に係る作業分析システム１の全体の構成を示すブロック図である。図１に示すように、作業分析システム１は、複数の端末装置（図１では、端末装置１０Ａ及び端末装置１０Ｂを示している。以下、総称して「端末装置１０」ということもある）と、サーバ２０とを含む。端末装置１０とサーバ２０とは、ネットワーク８０を介して相互に通信可能に接続されている。ネットワーク８０は、有線または無線ネットワークにより構成される。本実施の形態では、サーバ２０はＷｅｂサーバ（クラウドサーバを含む）であり、端末装置１０との間でＷｅｂページにより情報のやり取りを行う。また、端末装置１０にはＷｅｂページを閲覧するためのＷｅｂページブラウザがインストールされているが、サーバ２０のサービスを提供するための専用アプリケーションがインストールされ、専用アプリケーションにより閲覧可能に構成してもよい。
図１は、本開示の実施の形態１に係る作業分析システム１の全体の構成を示すブロック図である。図１に示すように、作業分析システム１は、複数の端末装置（図１では、端末装置１０Ａ及び端末装置１０Ｂを示している。以下、総称して「端末装置１０」ということもある）と、サーバ２０とを含む。端末装置１０とサーバ２０とは、ネットワーク８０を介して相互に通信可能に接続されている。ネットワーク８０は、有線または無線ネットワークにより構成される。本実施の形態では、サーバ２０はＷｅｂサーバ（クラウドサーバを含む）であり、端末装置１０との間でＷｅｂページにより情報のやり取りを行う。また、端末装置１０にはＷｅｂページを閲覧するためのＷｅｂページブラウザがインストールされているが、サーバ２０のサービスを提供するための専用アプリケーションがインストールされ、専用アプリケーションにより閲覧可能に構成してもよい。
【0028】
端末装置１０は、各ユーザが操作する装置である。ここで、ユーザとは、端末装置１０を利用して作業分析システム１の機能である、作業者の作業状況を分析する者である。端末装置１０は、据え置き型のＰＣ（Personal Computer）、ラップトップＰＣ（ノートＰＣ）等により実現される。この他、端末装置１０は、例えば移動体通信システムに対応したタブレットや、スマートフォン等の携帯端末であるとしてもよい。
【0029】
端末装置１０は、ネットワーク８０を介してサーバ２０と通信可能に接続される。端末装置１０は、４Ｇ、５Ｇ、ＬＴＥ（Long Term Evolution）等の通信規格に対応した無線基地局８１、ＩＥＥＥ（Institute of Electrical and Electronics Engineers）８０２．１１等の無線ＬＡＮ（Local Area Network）規格に対応した無線ＬＡＮルータ８２等の通信機器と通信することにより、ネットワーク８０に接続される。図１に端末装置１０Ｂとして示すように、端末装置１０は、通信ＩＦ（Interface）１２と、入力装置１３と、出力装置１４と、メモリ１５と、記憶部１６と、プロセッサ１９とを備える。
【0030】
通信ＩＦ１２は、端末装置１０が外部の装置と通信するため、信号を入出力するためのインタフェースである。入力装置１３は、ユーザからの入力操作を受け付けるための入力装置（例えば、キーボードや、タッチパネル、タッチパッド、マウス等のポインティングデバイス等）である。出力装置１４は、ユーザに対し情報を提示するための出力装置（ディスプレイ、スピーカ等）である。メモリ１５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。記憶部１６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。プロセッサ１９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。
【0031】
サーバ２０は、工場等の作業現場における、作業者の作業状況を分析して分析結果を出力する装置である。サーバ２０は、作業者が所定の作業をしている状況を撮影した動画データを取得し、動画データの分析を行う。サーバ２０は、動画データの分析結果から、作業者による所定の作業について複数の工程に区分けを行った際の工程を示す作業ステップの開始時刻及び終了時刻を判定し、動画データを開始時刻及び終了時刻で特定される作業ステップごとに分割して表示データを生成する。さらに、サーバ２０は、生成した表示データを出力する。
【0032】
サーバ２０は、ネットワーク８０に接続されたコンピュータである。サーバ２０は、通信ＩＦ２２と、入出力ＩＦ２３と、メモリ２５と、ストレージ２６と、プロセッサ２９とを備える。
【0033】
通信ＩＦ２２は、サーバ２０が外部の装置と通信するため、信号を入出力するためのインタフェースである。入出力ＩＦ２３は、ユーザからの入力操作を受け付けるための入力装置、及び、ユーザに対し情報を提示するための出力装置とのインタフェースとして機能する。メモリ２５は、プログラム、及び、プログラム等で処理されるデータ等を一時的に記憶するためのものであり、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。ストレージ２６は、データを保存するための記憶装置であり、例えばフラッシュメモリ、ＨＤＤ（Hard Disc Drive）である。プロセッサ２９は、プログラムに記述された命令セットを実行するためのハードウェアであり、演算装置、レジスタ、周辺回路等により構成される。
【0034】
＜１．１ 端末装置１０の構成＞
図２は、実施の形態１の作業分析システム１を構成する端末装置１０の機能的な構成を示すブロック図である。図２に示すように、端末装置１０は、複数のアンテナ（アンテナ１１１、アンテナ１１２）と、各アンテナに対応する無線通信部（第１無線通信部１２１、第２無線通信部１２２）と、操作受付部１３０（キーボード１３１及びマウス１３２を含む）と、ディスプレイ１４０と、記憶部１５０と、制御部１６０とを含む。端末装置１０は、図２では特に図示していない機能及び構成（例えば、電力を保持するためのバッテリー、バッテリーから各回路への電力の供給を制御する電力供給回路等）も有している。図２に示すように、端末装置１０に含まれる各ブロックは、バス等により電気的に接続される。
図２は、実施の形態１の作業分析システム１を構成する端末装置１０の機能的な構成を示すブロック図である。図２に示すように、端末装置１０は、複数のアンテナ（アンテナ１１１、アンテナ１１２）と、各アンテナに対応する無線通信部（第１無線通信部１２１、第２無線通信部１２２）と、操作受付部１３０（キーボード１３１及びマウス１３２を含む）と、ディスプレイ１４０と、記憶部１５０と、制御部１６０とを含む。端末装置１０は、図２では特に図示していない機能及び構成（例えば、電力を保持するためのバッテリー、バッテリーから各回路への電力の供給を制御する電力供給回路等）も有している。図２に示すように、端末装置１０に含まれる各ブロックは、バス等により電気的に接続される。
【0035】
アンテナ１１１は、端末装置１０が発する信号を電波として放射する。また、アンテナ１１１は、空間から電波を受信して受信信号を第１無線通信部１２１へ与える。
【0036】
アンテナ１１２は、端末装置１０が発する信号を電波として放射する。また、アンテナ１１２は、空間から電波を受信して受信信号を第２無線通信部１２２へ与える。
【0037】
第１無線通信部１２１は、端末装置１０が他の無線機器と通信するため、アンテナ１１１を介して信号を送受信するための変復調処理等を行う。第２無線通信部１２２は、端末装置１０が他の無線機器と通信するため、アンテナ１１２を介して信号を送受信するための変復調処理等を行う。第１無線通信部１２１と第２無線通信部１２２とは、チューナー、ＲＳＳＩ（Received Signal Strength Indicator）算出回路、ＣＲＣ（Cyclic Redundancy Check）算出回路、高周波回路等を含む通信モジュールである。第１無線通信部１２１と第２無線通信部１２２とは、端末装置１０が送受信する無線信号の変復調や周波数変換を行い、受信信号を制御部１６０へ与える。
【0038】
操作受付部１３０は、ユーザの入力操作を受け付けるための機構を有する。具体的には、操作受付部１３０は、キーボード１３１と、マウス１３２とを含む。なお、操作受付部１３０は、例えば静電容量方式のタッチパネルを用いることによって、タッチパネルに対するユーザの接触位置を検出する、タッチスクリーンとして構成してもよい。
【0039】
キーボード１３１は、端末装置１０のユーザの入力操作を受け付ける。キーボード１３１は、文字入力を行う装置であり、入力された文字情報を入力信号として制御部１６０へ出力する。
【0040】
マウス１３２は、端末装置１０のユーザの入力操作を受け付ける。マウス１３２は、ディスプレイ１４０に表示されている表示物を選択等するためのポインティングデバイスであり、画面上で選択された位置情報と、ボタン押下されていることを示す情報とを入力信号として制御部１６０へ出力する。
【0041】
ディスプレイ１４０は、制御部１６０の制御に応じて、画像、動画、テキスト等のデータを表示する。ディスプレイ１４０は、例えばＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electro-Luminescence）ディスプレイによって実現される。
【0042】
記憶部１５０は、例えばフラッシュメモリ等のメモリ１５及び記憶部１６により構成され、端末装置１０が使用するデータ及びプログラムを記憶する。ある局面において、記憶部１５０は、ユーザ情報１５１を記憶する。
【0043】
ユーザ情報１５１は、端末装置１０を利用して作業分析システム１の機能である、作業者の作業状況を分析するユーザの情報である。ユーザ情報としては、ユーザを識別する情報（ユーザＩＤ）、ユーザの氏名、住所等、ユーザが所属している企業等の組織情報等が含まれてもよい。
【0044】
制御部１６０は、例えばプロセッサ１９により構成され、記憶部１５０に記憶されるプログラムを読み込んで、プログラムに含まれる命令を実行することにより、端末装置１０の動作を制御する。制御部１６０は、例えば予め端末装置１０にインストールされているアプリケーションである。制御部１６０は、プログラムに従って動作することにより、入力操作受付部１６１と、送受信部１６２と、データ処理部１６３と、通知制御部１６４としての機能を発揮する。
【0045】
入力操作受付部１６１は、キーボード１３１等の入力装置に対するユーザの入力操作を受け付ける処理を行う。
【0046】
送受信部１６２は、端末装置１０が、サーバ２０等の外部の装置と、通信プロトコルに従ってデータを送受信するための処理を行う。
【0047】
データ処理部１６３は、端末装置１０が入力を受け付けたデータに対し、プログラムに従って演算を行い、演算結果をメモリ等に出力する処理を行う。
【0048】
通知制御部１６４は、ユーザに対し情報を提示する処理を行う。通知制御部１６４は、表示画像をディスプレイ１４０に表示させる処理等を行う。
【0049】
＜１．２ サーバ２０の機能的な構成＞
図３は、実施の形態１の作業分析システム１を構成するサーバ２０の機能的な構成を示す図である。図３に示すように、サーバ２０は、通信部２０１と、記憶部２０２と、制御部２０３としての機能を発揮する。
図３は、実施の形態１の作業分析システム１を構成するサーバ２０の機能的な構成を示す図である。図３に示すように、サーバ２０は、通信部２０１と、記憶部２０２と、制御部２０３としての機能を発揮する。
【0050】
通信部２０１は、サーバ２０が外部の装置と通信するための処理を行う。
【0051】
記憶部２０２は、サーバ２０が使用するデータ及びプログラムを記憶する。記憶部２０２は、動画データベース２０２１と、表示データベース２０２２等を記憶する。
【0052】
動画データベース２０２１は、作業分析システム１を利用するための、作業者が所定の作業をしている状況を撮影した動画データを取得して保持するためのデータベースである。動画データベース２０２１には、作業者による所定の作業について、複数の工程に区分けを行った際の工程を示す作業ステップの開始時刻及び終了時刻を判定した結果を含むデータである。詳細は後述する。
【0053】
表示データベース２０２２は、作業分析システム１を利用して、動画データを作業ステップの開始時刻及び終了時刻を判定した結果に基づいて分割して生成した、各作業者の作業状況を表示するための表示データが登録されて保持するためのデータベースである。詳細は後述する。
【0054】
制御部２０３は、サーバ２０のプロセッサ２９がプログラムに従って処理を行うことにより、各種モジュールとして受信制御モジュール２０３１、送信制御モジュール２０３２、動画データ取得モジュール２０３３、作業ステップ判定モジュール２０３４、動画データ分割モジュール２０３５、表示データ生成モジュール２０３６、及び表示データ出力モジュール２０３７に示す機能を発揮する。
【0055】
受信制御モジュール２０３１は、サーバ２０が外部の装置から通信プロトコルに従って信号を受信する処理を制御する。
【0056】
送信制御モジュール２０３２は、サーバ２０が外部の装置に対し通信プロトコルに従って信号を送信する処理を制御する。
【0057】
動画データ取得モジュール２０３３は、工場等の作業現場において、作業者が所定の作業をしている状況を撮影した動画データを取得する処理を制御する。動画データ取得モジュール２０３３は、作業者が所定の作業、例えば工場等の作業現場における製造物の組み立て作業、各種の加工作業等をしている状況を、カメラで撮影した動画データを取得する。動画データ取得モジュール２０３３が取得する動画データは、端末装置１０またはサーバ２０がカメラを備え（図示は省略）、当該カメラで撮影した動画データでもよく、外部のカメラで撮影した動画データでもよい。
【0058】
動画データ取得モジュール２０３３は、例えば、端末装置１０が備えるカメラ、または外部のカメラから動画データを取得する場合、端末装置１０または外部のカメラから送信された動画データを、通信部２０１を介して受信することで受け付ける。また、動画データ取得モジュール２０３３は、例えば、サーバ２０が備えるカメラから動画データを取得する場合、動画データを、制御部２０３の機能として受け付ける。動画データ取得モジュール２０３３が取得する動画データのフォーマットは、ＭＰ４、ＭＯＶ、ＷＭＶ、ＡＶＩ、ＡＶＣＨＤなど任意のデータフォーマットで良い。
【0059】
動画データ取得モジュール２０３３は、取得した動画データを、例えば、動画データベース２０２１に登録して記憶させる。
【0060】
作業ステップ判定モジュール２０３４は、動画データ取得モジュール２０３３が取得した動画データの分析を行い、取得された動画データに撮影された作業者による所定の作業について、複数の工程に区分けを行った際の工程を示す作業ステップの開始時刻及び終了時刻を判定する処理を制御する。作業ステップ判定モジュール２０３４が行う、所定の作業について区分けを行う複数の作業ステップとは、具体的には、工場等の製造物の組み立て作業における、工具の取り出し、対象物の取り出し、部品の組み立て、組み立て後の対象物の所定場所への載置、といった作業ステップである。
【0061】
作業ステップ判定モジュール２０３４は、動画データの分析を行い、例えば、作業者による所定の作業について、動画データの特徴量を抽出する。作業ステップ判定モジュール２０３４は、区分けを行う複数の作業ステップごとに定められた特徴量と比較し、作業者が行っている作業について、定められた作業ステップに当てはまるか否かを判定する。そして、作業ステップ判定モジュール２０３４は、特定の作業ステップに当てはまると判定した動画データについて、当該作業ステップの開始時刻及び終了時刻を判定する。このとき、作業ステップ判定モジュール２０３４は、抽出した動画データの特徴量について、区分けを行う複数の作業ステップごとに定められた特徴量の閾値以上である場合に定められた作業ステップに当てはまると判定してもよく、所定の演算により一致度を算出して一致度が所定値以上である場合に定められた作業ステップに当てはまると判定してもよい。
【0062】
作業ステップ判定モジュール２０３４は、動画データ取得モジュール２０３３が取得した動画データに基づく学習を行った、作業ステップに当てはまるか否かを判定する判定モデルにより判定してもよい。作業ステップ判定モジュール２０３４は、任意の機械学習アルゴリズム（教師あり機械学習、等）、深層学習アルゴリズム、ニューラルネットワーク（例えば、深層ニューラルネットワーク（Deep Neural Network：ＤＮＮ））モデル等により、動画データに基づく学習を行った判定モデルにより判定してもよい。作業ステップ判定モジュール２０３４が使用する判定モデルは、単一の学習モデルである必要はなく、作業ステップごとに複数の独立した学習モデルを切り替えて実現してもよい。
【0063】
作業ステップ判定モジュール２０３４は、判定した作業ステップの開始時刻及び終了時刻を、例えば、動画データベース２０２１に登録して記憶させる。
【0064】
動画データ分割モジュール２０３５は、動画データ取得モジュール２０３３が取得した動画データを、作業ステップ判定モジュール２０３４の判定の結果により、開始時刻及び終了時刻で特定される作業ステップごとに分割する処理を制御する。動画データ分割モジュール２０３５は、作業ステップの開始時刻及び終了時刻を判定した動画データについて、判定結果である開始時刻及び終了時刻にてチャプタ分割を行う。そして、動画データ分割モジュール２０３５は、チャプタ分割を行った分割後の各動画データについて、作業ステップ判定モジュール２０３４で判定した作業ステップの名称に紐づける。
【0065】
動画データ分割モジュール２０３５は、動画データを開始時刻及び終了時刻にてチャプタ分割する際、開始時刻より所定時間（例えば、５秒程度）早い時刻、また、終了時刻より所定時間（例えば、５秒程度）遅い時刻にて分割を行ってもよい。また、動画データ分割モジュール２０３５は、作業ステップごとに分割する際、作業ステップの切り替え箇所について所定時間（例えば、５秒程度）重複するように分割してもよい。これは、作業ステップごとに動画データをチャプタ分割するとき、前後のシーンが不自然に切り取られることを防止するためである。
【0066】
動画データ分割モジュール２０３５は、分割した動画データを、例えば、表示データベース２０２２に登録して記憶させる。
【0067】
表示データ生成モジュール２０３６は、作業ステップごとに分割した動画データを、作業ステップごと、及び作業者ごとに、各作業者の作業状況を表示するための表示データを生成する処理を制御する。表示データ生成モジュール２０３６は、作業ステップごとに分割した動画データについて、所定の編集、加工を行い、撮影された作業について工程改善をする際、改善点について検討するための基礎データとして使用するための表示データとして生成する。
【0068】
表示データ生成モジュール２０３６は、例えば、作業ステップごとに分割した動画データについて、作業ステップ判定モジュール２０３４で判定した作業ステップの名称をタイトルとして設定してもよく、作業ステップの名称を分割した動画データのサムネイル画像として設定してもよい。また、表示データ生成モジュール２０３６は、例えば、作業ステップごとに分割した動画データについて、基準となる作業ステップの動画データに合わせて再生速度を調整するように編集してもよい。基準となる作業ステップの動画データとは、例えば、当該作業ステップの見本となる動画データ等であり、見本となるようなベテランの作業者による作業状況の動画データでもよく、生成ＡＩ等により自動生成された動画データでもよい。
【0069】
表示データ生成モジュール２０３６は、生成した表示データを、例えば、表示データベース２０２２に登録して記憶させる。
【0070】
表示データ出力モジュール２０３７は、表示データ生成モジュール２０３６で生成した表示データを出力する処理を制御する。表示データ出力モジュール２０３７は、表示データを出力して、例えばユーザに対して、撮影された作業ステップについて工程改善をする際の基礎データとして提供する。表示データ出力モジュール２０３７は、出力する表示データを、当該ユーザが使用する端末装置１０へ、通信部２０１を介して送信し、ディスプレイ１４０に表示させる。
【0071】
表示データ出力モジュール２０３７は、例えば、作業者ごとに、作業ステップごとの表示データを一覧として出力して端末装置１０のディスプレイ１４０に表示させてもよい。このとき、１の作業者ごとに出力してもよく、複数の作業者ごと（例えば、所定の部署、グループごと）に出力してもよい。そして、表示データ出力モジュール２０３７は、一覧として出力された作業ステップごとの表示データから、ユーザによる選択を受け付け、選択された作業ステップに係る表示データを出力（再生）してもよい。また、表示データ出力モジュール２０３７は、選択された作業ステップに係る表示データを出力（再生）する際、選択された作業者の表示データと、他の作業者の表示データとを同時に出力（再生）してもよく、重畳して出力（再生）してもよい。ここで、他の作業者の表示データとは、比較対象となる作業者の作業状況についての表示データであり、見本となるようなベテランの作業者による作業状況の表示データでもよく、生成ＡＩ等により自動生成された表示データでもよい。
【0072】
【0073】
図４に示すように、動画データベース２０２１のレコードのそれぞれは、項目「作業者ＩＤ」と、項目「作業者」と、項目「撮影日時」と、項目「ステップ分割時刻」等を含む。
【0074】
項目「作業者ＩＤ」は、作業分析システム１の分析対象である、動画データに撮影されている、所定の作業をしている作業者それぞれを識別する情報である。
【0075】
項目「作業者」は、作業分析システム１の分析対象である、動画データに撮影されている、所定の作業をしている作業者の氏名等である。項目「作業者」には、作業者の氏名以外に、作業者が所属している企業等の組織情報等が格納されてもよい。
【0076】
項目「撮影日時」は、作業分析システム１の分析対象である、動画データが撮影された日時を示す情報である。
【0077】
項目「ステップ分割時刻」は、作業分析システム１の分析対象である、動画データについて作業ステップの開始時刻及び終了時刻が判定された結果を示す情報であり、具体的には、項目「ステップＩＤ」と、項目「開始時刻」と、項目「終了時刻」等を含む。
【0078】
項目「ステップＩＤ」は、作業分析システム１の分析対象である、動画データについて判定された結果である作業ステップそれぞれを識別する情報である。
【0079】
項目「開始時刻」は、作業分析システム１の分析対象である、動画データについて判定された結果である作業ステップの開始時刻を示す情報である。
【0080】
項目「終了時刻」は、作業分析システム１の分析対象である、動画データについて判定された結果である作業ステップの終了時刻を示す情報である。
【0081】
サーバ２０の動画データ取得モジュール２０３３は、動画データを取得することに伴って、動画データベース２０２１にレコードを追加する。また、作業ステップ判定モジュール２０３４は、動画データについて作業ステップの開始時刻及び終了時刻を判定することに伴って、動画データベース２０２１の項目「ステップ分割時刻」にレコードを追加する。
【0082】
図５に示すように、表示データベース２０２２のレコードのそれぞれは、項目「ステップＩＤ」と、項目「ステップ名称」と、項目「表示データ詳細」等を含む。
【0083】
項目「ステップＩＤ」は、作業分析システム１の分析対象である、動画データについて判定された結果である作業ステップそれぞれを識別する情報であり、動画データベース２０２１の項目「ステップＩＤ」に対応している。
【0084】
項目「ステップ名称」は、作業分析システム１の分析対象である、動画データについて判定された結果である作業ステップの名称を示す情報であり、例えば、具体的な作業ステップの名称である「△○工程」等の名称が格納されている。
【0085】
項目「表示データ詳細」は、作業分析システム１の分析対象である、動画データから生成された表示データについての情報であり、具体的には、項目「作業者ＩＤ」と、項目「表示データ」等を含む。
【0086】
項目「作業者ＩＤ」は、作業分析システム１の分析対象である、動画データに撮影されている、所定の作業をしている作業者それぞれを識別する情報であり、動画データベース２０２１の項目「作業者ＩＤ」に対応している。
【0087】
項目「表示データ」は、作業分析システム１の分析対象である、動画データから生成された表示データである。項目「表示データ」には、表示データそのものではなく、表示データが格納されているサーバ２０の格納場所や、他のＷｅｂサーバ等へアクセス可能なリンク情報が格納されてもよい。
【0088】
サーバ２０の動画データ分割モジュール２０３５は、動画データを分割することに伴って、表示データベース２０２２にレコードを追加する。また、表示データ生成モジュール２０３６は、表示データを生成することに伴って、表示データベース２０２２の項目「表示データ詳細」にレコードを追加する。
【0089】
＜３ 動作＞
以下、図６を参照しながら、本開示の実施の形態に係る作業分析システム１による表示データ出力（方法）について説明する。
以下、図６を参照しながら、本開示の実施の形態に係る作業分析システム１による表示データ出力（方法）について説明する。
【0090】
図６は、作業分析システム１による表示データ出力処理を行う流れの一例を示すフローチャートである。
【0091】
ステップＳ１０１において、サーバ２０の動画データ取得モジュール２０３３は、工場等の作業現場において、作業者が所定の作業をしている状況を撮影した動画データを取得する。ステップＳ１０１では、端末装置１０またはサーバ２０が備えるカメラで撮影した動画データを取得してもよく、外部のカメラで撮影した動画データを取得してもよい。
【0092】
ステップＳ１０２において、サーバ２０の作業ステップ判定モジュール２０３４は、ステップＳ１０１で取得した動画データの分析を行い、取得された動画データに撮影された作業者による所定の作業について、複数の工程に区分けを行った際の工程を示す作業ステップの開始時刻及び終了時刻を判定する。ステップＳ１０２では、例えば、動画データの分析を行い、作業者による所定の作業について、動画データの特徴量を抽出して作業ステップごとに定められた特徴量と比較し、定められた作業ステップに当てはまるか否かを判定し、特定の作業ステップに当てはまると判定した動画データについて、当該作業ステップの開始時刻及び終了時刻を判定する。
【0093】
ステップＳ１０３において、サーバ２０の動画データ分割モジュール２０３５は、ステップＳ１０１で取得した動画データを、ステップＳ１０２における判定の結果により、開始時刻及び終了時刻で特定される作業ステップごとに分割する。ステップＳ１０３では、作業ステップの開始時刻及び終了時刻を判定した動画データについて、判定結果である開始時刻及び終了時刻にてチャプタ分割を行って、分割後の各動画データについて、作業ステップの名称に紐づける。
【0094】
ステップＳ１０４において、サーバ２０の表示データ生成モジュール２０３６は、ステップＳ１０３で作業ステップごとに分割した動画データを、作業ステップごと、及び作業者ごとに、各作業者の作業状況を表示するための表示データを生成する。ステップＳ１０４では、作業ステップごとに分割した動画データについて、所定の編集、加工を行い、撮影された作業について工程改善をする際、改善点について検討するための基礎データとして使用するための表示データとして生成する。
【0095】
ステップＳ１０５において、サーバ２０の表示データ出力モジュール２０３７は、ステップＳ１０４で生成した表示データを出力する。ステップＳ１０５では、出力する表示データを、当該ユーザが使用する端末装置１０へ、通信部２０１を介して送信し、ディスプレイ１４０に表示させる。
【0096】
以上のように、作業分析システム１では、工場等の作業現場において、作業者が所定の作業をしている状況を撮影した動画データを取得し、動画データの分析を行い、取得された動画データに撮影された作業者による所定の作業について、複数の工程に区分けを行った際の工程を示す作業ステップの開始時刻及び終了時刻を判定する。判定結果により、開始時刻及び終了時刻で特定される作業ステップごとに、動画データを開始時刻及び終了時刻で特定される作業ステップごとに分割して表示データを生成し、表示データを出力する。これにより、本開示に係る作業分析システムを利用することで、作業について工程改善をするに際して、どのような改善点があるか、について検討するための基礎データとなる表示データを取得することが可能になる。
【0097】
【0098】
【0099】
図７に示すように、端末装置１０のディスプレイ１４０には、表示データ画面１４１１が表示されている。この表示データ画面１４１１には、作業者による所定の作業について撮影された動画データから分割された表示データが表示されている。表示データ画面１４１１には、例えば、作業者１４１２が表示され、作業者１４１２が所定の作業をするための作業台１４１３に載置された、作業対象物１４１４と、工具１４１５とが表示されている。このような表示データ画面１４１１を参照することにより、ユーザは、作業について工程改善をするに際して、どのような改善点があるか、について検討することができる。
【0100】
【0101】
図８に示すように、端末装置１０のディスプレイ１４０には、表示データ画面１４２１が表示されている。この表示データ画面１４２１には、作業者による所定の作業について撮影された動画データから分割された表示データの一覧表示欄１４２２と、作業者による所定の作業について撮影された表示データ１４２３と、が表示されている。表示データの一覧表示欄１４２２には、例えば、作業ステップごとの表示データのサムネイル画像１４２４が作業ステップごとに一覧として表示されている。表示データ１４２３には、例えば、作業者が表示され、作業者が所定の作業をしている状態が表示されている。表示データ画面１４２１が表示された状態で、ユーザがサムネイル画像１４２４のうちの１つを選択すると、該当する表示データ１４２３が出力（再生）される。このような表示データ画面１４２１を参照することにより、ユーザは、作業について工程改善をするに際して、どのような改善点があるか、について検討することができる。
【0102】
【0103】
図９に示すように、端末装置１０のディスプレイ１４０には、表示データ画面１４３１が表示されている。この表示データ画面１４３１には、作業者による所定の作業について撮影された動画データから分割された表示データの一覧表示欄１４３２と、１の作業者による所定の作業について撮影された表示データ１４３３と、他の作業者による所定の作業について撮影された表示データ１４３４と、が表示されている。表示データの一覧表示欄１４３２には、例えば、作業ステップごとの表示データのサムネイル画像１４３５が作業ステップごとに一覧として表示されている。表示データ１４３３，１４３４には、例えば、作業者が表示され、作業者が所定の作業をしている状態が表示されている。表示データ画面１４３１が表示された状態で、ユーザがサムネイル画像１４３５のうちの１つを選択すると、該当する１の作業者の表示データ１４３３が出力（再生）され、対応する他の作業者の表示データ１４３４が同時に出力（再生）される。このような表示データ画面１４２１を参照することにより、ユーザは、作業について工程改善をするに際して、どのような改善点があるか、について検討することができる。
【0104】
なお、図９に示す例は、サムネイル画像１４３５のうち、選択された作業者の表示データ１４３３と、他の作業者の表示データ１４３４とを同時に出力（再生）する構成であるが、この例に限られない。例えば、選択された作業者の表示データ１４３３と、他の作業者の表示データ１４３４とを重畳して出力（再生）する構成であってもよい。
【0105】
＜小括＞
以上のように、本実施の形態によると、工場等の作業現場において、作業者が所定の作業をしている状況を撮影した動画データを取得し、動画データの分析を行い、取得された動画データに撮影された作業者による所定の作業について、複数の工程に区分けを行った際の工程を示す作業ステップの開始時刻及び終了時刻を判定する。判定結果により、開始時刻及び終了時刻で特定される作業ステップごとに、動画データを開始時刻及び終了時刻で特定される作業ステップごとに分割して表示データを生成し、表示データを出力する。これにより、本開示に係る作業分析システムを利用することで、作業について工程改善をするに際して、どのような改善点があるか、について検討するための基礎データとなる表示データを取得することが可能になる。
以上のように、本実施の形態によると、工場等の作業現場において、作業者が所定の作業をしている状況を撮影した動画データを取得し、動画データの分析を行い、取得された動画データに撮影された作業者による所定の作業について、複数の工程に区分けを行った際の工程を示す作業ステップの開始時刻及び終了時刻を判定する。判定結果により、開始時刻及び終了時刻で特定される作業ステップごとに、動画データを開始時刻及び終了時刻で特定される作業ステップごとに分割して表示データを生成し、表示データを出力する。これにより、本開示に係る作業分析システムを利用することで、作業について工程改善をするに際して、どのような改善点があるか、について検討するための基礎データとなる表示データを取得することが可能になる。
【0106】
また、表示データとして、作業者による所定の作業について撮影された動画データから分割された表示データが出力（再生）される。このとき、作業ステップごとの表示データが一覧として表示されてユーザからの選択により該当する表示データが表示される。また、１の作業者による所定の作業について撮影された表示データと、他の作業者による所定の作業について撮影された表示データと、が同時に、または重畳されて表示される。これにより、作業について工程改善をする際、作業者の作業状況を他の作業者と比較しながら視覚的に状況を把握することが可能になる。
【0107】
＜第２の実施の形態＞
以下、作業分析システム１の他の実施の形態について説明する。
以下、作業分析システム１の他の実施の形態について説明する。
【0108】
＜１ 作業分析システム１の全体構成＞
図１０は、本開示の実施の形態２に係るサーバ２０の機能的な構成を示す図である。第２の実施の形態における作業分析システム１の全体の構成、端末装置１０の構成は、第１の実施の形態と同様であるので、繰り返して説明しない。サーバ２０の構成については、図１０に示すように、新たに骨格データ抽出モジュール２０３８の機能を備える以外、第１の実施の形態と同様である。以下、第２の実施の形態における骨格データ抽出モジュール２０３８の機能について説明する。
図１０は、本開示の実施の形態２に係るサーバ２０の機能的な構成を示す図である。第２の実施の形態における作業分析システム１の全体の構成、端末装置１０の構成は、第１の実施の形態と同様であるので、繰り返して説明しない。サーバ２０の構成については、図１０に示すように、新たに骨格データ抽出モジュール２０３８の機能を備える以外、第１の実施の形態と同様である。以下、第２の実施の形態における骨格データ抽出モジュール２０３８の機能について説明する。
【0109】
骨格データ抽出モジュール２０３８は、動画データ取得モジュール２０３３が取得した動画データの分析を行い、取得された動画データに撮影された作業者の関節の位置を推定して作業者の骨格データを抽出する処理を制御する。骨格データ抽出モジュール２０３８は、作業者による所定の作業について動画データの分析を行い、例えば、作業者の身体の動きについて、既知の画像認識技術を用いて身体の部位を特定して抽出する。骨格データ抽出モジュール２０３８は、特定したそれぞれの身体の関節の位置を示す点の間を直線で結び、点と線で得られた情報を骨格情報とする。この点は、主に身体の関節部分に配置され、身体の動きに合わせて直線部分との角度を変更するように構成される。このような構成により、身体の動きを点と直線とで表現することを可能にしている。
【0110】
実施の形態２に係る表示データ生成モジュール２０３６は、骨格データ抽出モジュール２０３８が抽出した骨格データに基づき、各作業者の作業状況を表示するための表示データとして生成してもよい。表示データ生成モジュール２０３６は、作業ステップごとに分割した動画データについて、所定の編集、加工を行い、作業者の身体の動きを、点と線で得られた骨格情報で表現して表示データとして生成する。
【0111】
また、表示データ生成モジュール２０３６は、骨格データ抽出モジュール２０３８が抽出した骨格データに基づき、作業者の骨格データに含まれる、作業者の関節の動きの特徴量を示すデータを表示データとして生成してもよい。表示データ生成モジュール２０３６は、作業者の関節の動きの特徴量を示すデータとして、例えば、作業者の関節ごとの軌跡、座標、速度、移動距離、稼働時間、稼働率、作業ステップの所要時間に対する影響度合い、のうちの１または複数を含むデータを、表示データとして生成する。表示データ生成モジュール２０３６は、骨格データの分析を行い、これらのデータを取得する。
【0112】
実施の形態２に係る表示データ出力モジュール２０３７は、表示データ生成モジュール２０３６で生成した表示データとして、骨格データに基づく表示データを出力してもよい。表示データ出力モジュール２０３７は、例えば、作業者の身体の動きを、点と線で得られた骨格情報で表現した表示データとして出力する。このとき、表示データ出力モジュール２０３７は、例えば、作業者の一部の関節の動きを示す表示データを出力してもよい。
【0113】
また、表示データ出力モジュール２０３７は、作業者の骨格データに含まれる、作業者の関節の動きの特徴量を示すデータを表示データとして出力してもよい。表示データ出力モジュール２０３７は、作業者の関節の動きの特徴量を示すデータとして、例えば、作業者の関節ごとの軌跡、座標、速度、移動距離、稼働時間、稼働率、作業ステップの所要時間に対する影響度合い、のうちの１または複数を含むデータを、表示データとして出力する。また、表示データ出力モジュール２０３７は、作業者の関節の動きの特徴量を示す表示データとして、作業者の所定の関節の動きの特徴量を示すデータを、他の関節の動きの特徴量を示すデータと異なる態様で出力してもよい。このとき、出力する作業者の所定の関節の動きの特徴量を示すデータとは、当該作業者の作業ステップの動きに影響している（例えば、遅延の原因となっている）箇所の動きの特徴量を示すデータでもよく、基準となる作業ステップの動きの特徴量と差分が大きい箇所の動きの特徴量を示すデータでもよい。
【0114】
また、表示データ出力モジュール２０３７は、１の作業者の骨格データに基づく１の作業者の関節の動きを示す表示データと、他の作業者の骨格データに基づく他の作業者の関節の動きを示す表示データとを出力してもよい。このとき、表示データ出力モジュール２０３７は、１の作業者の骨格データと、他の作業者の骨格データとを同時に出力（再生）してもよく、重畳して出力（再生）してもよい。ここで、他の作業者の骨格データとは、前出同様に、比較対象となる作業者の作業状況についての骨格データであり、見本となるようなベテランの作業者による作業状況の骨格データでもよく、生成ＡＩ等により自動生成された骨格データでもよい。このとき、表示データ出力モジュール２０３７は、１の作業者の骨格データに基づく関節の動きの特徴量を示すデータと、他の作業者の骨格データに基づく関節の動きの特徴量を示すデータとの差分を示すデータを出力してもよく、差分が所定の値以上乖離している表示データを出力してもよい。ここで、関節の動きの（特徴量を示す）差分とは、空間上の差分、時間上の差分のいずれか、または両方を含む概念である。具体的には、空間上の差分は、１の作業者の骨格データによる動きと、他の作業者の骨格データによる動きとを比較した際の、空間上の位置の相違であり、例えば、当該箇所の動きの速度の相違や、移動距離の相違により生じるものである。また、時間上の差分は、１の作業者の骨格データによる動きと、他の作業者の骨格データによる動きとを比較した際の、時間軸上の相違であり、例えば、当該箇所の動きの速度の相違や、稼働時間の相違により生じるものである。
【0115】
＜２ データ構造＞
第２の実施の形態におけるデータ構造は、第１の実施の形態と同様であるので、繰り返して説明しない。
第２の実施の形態におけるデータ構造は、第１の実施の形態と同様であるので、繰り返して説明しない。
【0116】
＜３ 動作＞
第２の実施の形態における動作は、第１の実施の形態と同様であるので、繰り返して説明しない。
第２の実施の形態における動作は、第１の実施の形態と同様であるので、繰り返して説明しない。
【0117】
【0118】
【0119】
図１１に示すように、端末装置１０のディスプレイ１４０には、表示データ画面１４４１が表示されている。この表示データ画面１４４１には、作業者による所定の作業について撮影された動画データから分割され、抽出された骨格データが表示データとして表示されている。表示データ画面１４４１には、例えば、作業者の骨格データ１４４２が表示されている。骨格データ１４４２は、作業者の身体を骨格として表現したものであり、作業者の身体の関節の位置を示す点１４４３と、点１４４３の間を直線で結んだ直線１４４４と、から構成されている。また、表示データ画面１４４１には、例えば、作業者の関節ごとの軌跡１４４５が表示されている。なお、表示データ画面１４４１においても、図７に示す作業対象物１４１４、工具１４１５が表示されてもよい（図示は省略）。このような表示データ画面１４４１を参照することにより、ユーザは、作業について工程改善をするに際して、どのような改善点があるか、について検討することができる。
【0120】
【0121】
図１２に示す図は、図１１に示す表示データ画面１４４１に表示されている、１の作業者の骨格データ１４４２に重畳して、他の作業者（例えば、基準となる作業者、模範となる作業者等）の骨格データ１４４６が表示された状態を示す図である。例えば、骨格データ１４４２の対象者が、基準となる作業者の骨格データ１４４６の動きとどのように異なるかを、重畳して表示することで相違点を示したものである。図１２に示す例では、１の作業者の骨格データ１４４２における右腕部分１４４７と、他の作業者の骨格データ１４４６における右腕部分１４４８とが異なる動きをしていることが示されている。このような右腕部分１４４７と右腕部分１４４８との相違は、上記のように、それぞれの空間上の差分、時間上の差分のいずれか、または両方により生じるものである。このような表示データ画面１４４１を参照することにより、ユーザは、作業について工程改善をするに際して、どのような改善点があるか、について検討することができる。
【0122】
【0123】
図１３に示すように、端末装置１０のディスプレイ１４０には、表示データ画面１４５１が表示されている。この表示データ画面１４５１には、作業者による所定の作業について撮影された動画データから抽出された骨格データに基づく、作業者の関節の動きの特徴量を示すデータとして、所定の条件に該当する作業者の身体の部位が表示データとして表示されている。表示データ画面１４５１には、例えば、作業者の身体を示す身体模式図１４５２が表示され、所定の条件に該当する作業者の身体の部位を示す身体部位表示１４５３が表示されている。所定の条件に該当する作業者の身体の部位とは、例えば、作業ステップの所要時間に対する影響度合いが大きい（所定値以上の）身体の部位であり、骨格データに基づいて作業者の関節の動きの特徴量（空間上の特徴量でもよく、時間軸上の特徴量でもよく、あるいは両方でもよい）から算出されたものである。または、所定の条件に該当する作業者の身体の部位とは、例えば、比較対象となる他の作業者の動きとの差分が大きい（所定値以上の）身体の部位であり、骨格データに基づいて作業者の関節の動きの特徴量から算出されたものである。上記のように、動きの差分とは、空間上の差分、時間上の差分のいずれか、または両方を含む概念である。このような表示データ画面１４５１を参照することにより、ユーザは、作業について工程改善をするに際して、どのような改善点があるか、について検討することができる。
【0124】
【0125】
図１４に示すように、端末装置１０のディスプレイ１４０には、表示データ画面１４６１が表示されている。この表示データ画面１４６１には、作業者による所定の作業について撮影された動画データから抽出された骨格データに基づく、作業者の関節の動きの特徴量を示すデータとして、所定の条件に該当する作業者の身体の部位を示す、横方向に時間軸を示したグラフが表示データとして表示されている。表示データ画面１４６１には、例えば、基準となる作業者の身体の部位のグラフ１４６２と、対象となる作業者の身体の部位のグラフ１４６３とが表示されている。所定の条件に該当する作業者の身体の部位とは、例えば、作業者の関節ごとの速度、移動距離、稼働時間、稼働率等が大きい（所定値以上の）身体の部位であり、骨格データに基づいて作業者の関節の動きの特徴量から算出されたものである。図１４に示すように、グラフ１４６３には、当該作業者の左腕の動きの相違を示す箇所１４６４が示されており、上記のように、基準となる動きとの空間上の相違、時間上の相違のいずれか、または両方により生じるものである。このような表示データ画面１４６１を参照することにより、ユーザは、作業について工程改善をするに際して、どのような改善点があるか、について検討することができる。
【0126】
【0127】
図１５に示すように、端末装置１０のディスプレイ１４０には、表示データ画面１４７１が表示されている。この表示データ画面１４７１には、作業者による所定の作業について撮影された動画データから抽出された骨格データに基づく、作業者の関節の動きの特徴量を示すデータとして、作業ステップごとの所要時間のタイムチャートが表示データとして表示されている。表示データ画面１４７１には、例えば、基準となる作業者の作業ステップのタイムチャート１４７２と、対象となる作業者の作業ステップのタイムチャート１４７３とが表示されている。タイムチャート１４７２，１４７３は、横方向に時間軸を示し、作業ステップごとに点１４７４で区切り、基準となる作業者の作業ステップと対象となる作業者の作業ステップとの比較を示すためにそれぞれの区切りの点１４７４同士を直線１４７５で結んだものである。タイムチャート１４７２とタイムチャート１４７３とを比較することにより、基準となる作業者と対象となる作業者との時間軸上の動きの相違を把握することができる。また、例えば当該作業者が特定の作業ステップをしなかった場合、破線１４７６のように、本来行うべき作業ステップがタイムチャート１４７２には表示されているが、タイムチャート１４７３には表示されないことになり、破線１４７６により認識できるようになっている。このような表示データ画面１４７１を参照することにより、ユーザは、作業について工程改善をするに際して、どのような改善点があるか、について検討することができる。
【0128】
＜小括＞
以上のように、本実施の形態によると、工場等の作業現場において、作業者が所定の作業をしている状況を撮影した動画データの分析を行い、取得された動画データに撮影された作業者の関節の位置を推定して作業者の骨格データを抽出する。そして、骨格データに基づき、各作業者の作業状況を表示するための表示データとして生成し、出力する。これにより、作業について工程改善をする際、作業者の作業状況を他の作業者と比較しながら視覚的に状況を把握することが可能になる。
以上のように、本実施の形態によると、工場等の作業現場において、作業者が所定の作業をしている状況を撮影した動画データの分析を行い、取得された動画データに撮影された作業者の関節の位置を推定して作業者の骨格データを抽出する。そして、骨格データに基づき、各作業者の作業状況を表示するための表示データとして生成し、出力する。これにより、作業について工程改善をする際、作業者の作業状況を他の作業者と比較しながら視覚的に状況を把握することが可能になる。
【0129】
＜コンピュータの基本ハードウェア構成＞
図１６は、コンピュータ９０の基本的なハードウェア構成を示すブロック図である。コンピュータ９０は、プロセッサ９０１、主記憶装置９０２、補助記憶装置９０３、通信ＩＦ９９１（インタフェース、Interface）を少なくとも備える。これらは通信バス９２１により相互に電気的に接続される。
図１６は、コンピュータ９０の基本的なハードウェア構成を示すブロック図である。コンピュータ９０は、プロセッサ９０１、主記憶装置９０２、補助記憶装置９０３、通信ＩＦ９９１（インタフェース、Interface）を少なくとも備える。これらは通信バス９２１により相互に電気的に接続される。
【0130】
プロセッサ９０１とは、プログラムに記述された命令セットを実行するためのハードウェアである。プロセッサ９０１は、演算装置、レジスタ、周辺回路等から構成される。
【0131】
主記憶装置９０２とは、プログラム、及びプログラム等で処理されるデータ等を一時的に記憶するためのものである。例えば、ＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のメモリである。
【0132】
補助記憶装置９０３とは、データ及びプログラムを保存するための記憶装置である。例えば、フラッシュメモリ、ＨＤＤ（Hard Disc Drive）、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等である。
【0133】
通信ＩＦ９９１とは、有線又は無線の通信規格を用いて、他のコンピュータとネットワークを介して通信するための信号を入出力するためのインタフェースである。
ネットワークは、インターネット、ＬＡＮ、無線基地局等によって構築される各種移動通信システム等で構成される。例えば、ネットワークには、３Ｇ、４Ｇ、５Ｇ移動通信システム、ＬＴＥ（Long Term Evolution）、所定のアクセスポイントによってインターネットに接続可能な無線ネットワーク（例えばWi-Fi（登録商標））等が含まれる。無線で接続する場合、通信プロトコルとして例えば、Ｚ－Ｗａｖｅ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等が含まれる。有線で接続する場合は、ネットワークには、ＵＳＢ（Universal Serial Bus）ケーブル等により直接接続するものも含む。
ネットワークは、インターネット、ＬＡＮ、無線基地局等によって構築される各種移動通信システム等で構成される。例えば、ネットワークには、３Ｇ、４Ｇ、５Ｇ移動通信システム、ＬＴＥ（Long Term Evolution）、所定のアクセスポイントによってインターネットに接続可能な無線ネットワーク（例えばWi-Fi（登録商標））等が含まれる。無線で接続する場合、通信プロトコルとして例えば、Ｚ－Ｗａｖｅ（登録商標）、ＺｉｇＢｅｅ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等が含まれる。有線で接続する場合は、ネットワークには、ＵＳＢ（Universal Serial Bus）ケーブル等により直接接続するものも含む。
【0134】
なお、各ハードウェア構成の全部または一部を複数のコンピュータ９０に分散して設け、ネットワークを介して相互に接続することによりコンピュータ９０を仮想的に実現することができる。このように、コンピュータ９０は、単一の筐体、ケースに収納されたコンピュータ９０だけでなく、仮想化されたコンピュータシステムも含む概念である。
【0135】
＜コンピュータ９０の基本機能構成＞
コンピュータ９０の基本ハードウェア構成（図１６）により実現されるコンピュータの機能構成を説明する。コンピュータは、制御部、記憶部、通信部の機能ユニットを少なくとも備える。
コンピュータ９０の基本ハードウェア構成（図１６）により実現されるコンピュータの機能構成を説明する。コンピュータは、制御部、記憶部、通信部の機能ユニットを少なくとも備える。
【0136】
なお、コンピュータ９０が備える機能ユニットは、それぞれの機能ユニットの全部または一部を、ネットワークで相互に接続された複数のコンピュータ９０に分散して設けても実現することができる。コンピュータ９０は、単一のコンピュータ９０だけでなく、仮想化されたコンピュータシステムも含む概念である。
【0137】
制御部は、プロセッサ９０１が補助記憶装置９０３に記憶された各種プログラムを読み出して主記憶装置９０２に展開し、当該プログラムに従って処理を実行することにより実現される。制御部は、プログラムの種類に応じて様々な情報処理を行う機能ユニットを実現することができる。これにより、コンピュータは情報処理を行う情報処理装置として実現される。
【0138】
記憶部は、主記憶装置９０２、補助記憶装置９０３により実現される。記憶部は、データ、各種プログラム、各種データベースを記憶する。また、プロセッサ９０１は、プログラムに従って記憶部に対応する記憶領域を主記憶装置９０２または補助記憶装置９０３に確保することができる。また、制御部は、各種プログラムに従ってプロセッサ９０１に、記憶部に記憶されたデータの追加、更新、削除処理を実行させることができる。
【0139】
データベースは、リレーショナルデータベースを指し、行と列によって構造的に規定された表形式のテーブル、マスタと呼ばれるデータ集合を、互いに関連づけて管理するためのものである。データベースでは、表をテーブル、マスタ、表の列をカラム、表の行をレコードと呼ぶ。リレーショナルデータベースでは、テーブル、マスタ同士の関係を設定し、関連づけることができる。
通常、各テーブル、各マスタにはレコードを一意に特定するための主キーとなるカラムが設定されるが、カラムへの主キーの設定は必須ではない。制御部は、各種プログラムに従ってプロセッサ９０１に、記憶部に記憶された特定のテーブル、マスタにレコードを追加、削除、更新を実行させることができる。
また、記憶部に、データ、各種プログラム、各種データベースを記憶させることにより、本開示に係る情報処理装置、情報処理システムが製造されたものとして捉えることができる。
通常、各テーブル、各マスタにはレコードを一意に特定するための主キーとなるカラムが設定されるが、カラムへの主キーの設定は必須ではない。制御部は、各種プログラムに従ってプロセッサ９０１に、記憶部に記憶された特定のテーブル、マスタにレコードを追加、削除、更新を実行させることができる。
また、記憶部に、データ、各種プログラム、各種データベースを記憶させることにより、本開示に係る情報処理装置、情報処理システムが製造されたものとして捉えることができる。
【0140】
なお、本開示におけるデータベース、マスタは、情報が構造的に規定された任意のデータ構造体（リスト、辞書、連想配列、オブジェクトなど）を含み得る。データ構造体には、データと、任意のプログラミング言語により記述された関数、クラス、メソッドなどを組み合わせることにより、データ構造体と見なし得るデータも含むものとする。
【0141】
通信部は、通信ＩＦ９９１により実現される。通信部は、ネットワークを介して他のコンピュータ９０と通信を行う機能を実現する。通信部は、他のコンピュータ９０から送信された情報を受信し、制御部へ入力することができる。制御部は、各種プログラムに従ってプロセッサ９０１に、受信した情報に対する情報処理を実行させることができる。また、通信部は、制御部から出力された情報を他のコンピュータ９０へ送信することができる。
【0142】
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、ＳＳＤ、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。
【0143】
また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。
【0144】
さらに、実施例の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することによって、それをコンピュータのハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。
【0145】
本明細書中に記載されている構成要素により実現される機能は、当該記載された機能を実現するようにプログラムされた、汎用プロセッサ、特定用途プロセッサ、集積回路、ASICs (Application Specific Integrated Circuits)、CPU (a Central Processing Unit)、従来型の回路、及び／又はそれらの組合せを含む、circuitry又はprocessing circuitryにおいて実装されてもよい。プロセッサは、トランジスタやその他の回路を含み、circuitry又はprocessing circuitryとみなされる。プロセッサは、メモリに格納されたプログラムを実行する、programmed processorであってもよい。
本明細書において、circuitry、ユニット、手段は、記載された機能を実現するようにプログラムされたハードウェア、又は実行するハードウェアである。当該ハードウェアは、本明細書に開示されているあらゆるハードウェア、又は、当該記載された機能を実現するようにプログラムされた、又は、実行するものとして知られているあらゆるハードウェアであってもよい。
当該ハードウェアがcircuitryのタイプであるとみなされるプロセッサである場合、当該circuitry、手段、又はユニットは、ハードウェアと、当該ハードウェア及び又はプロセッサを構成するために用いられるソフトウェアの組合せである。
本明細書において、circuitry、ユニット、手段は、記載された機能を実現するようにプログラムされたハードウェア、又は実行するハードウェアである。当該ハードウェアは、本明細書に開示されているあらゆるハードウェア、又は、当該記載された機能を実現するようにプログラムされた、又は、実行するものとして知られているあらゆるハードウェアであってもよい。
当該ハードウェアがcircuitryのタイプであるとみなされるプロセッサである場合、当該circuitry、手段、又はユニットは、ハードウェアと、当該ハードウェア及び又はプロセッサを構成するために用いられるソフトウェアの組合せである。
【0146】
以上、本開示に係る実施の形態について説明したが、これらはその他の様々な形態で実施することが可能であり、種々の省略、置換及び変更を行なって実施することができる。これらの実施の形態及び変形例ならびに省略、置換及び変更を行なったものは、特許請求の範囲の技術的範囲とその均等の範囲に含まれる。
【0147】
＜付記＞
以上の各実施の形態で説明した事項を、以下に付記する。
以上の各実施の形態で説明した事項を、以下に付記する。
【0148】
付記は出願時に作成する。
【符号の説明】
【0149】
１ ：作業分析システム
１０ ：端末装置
１０Ａ ：端末装置
１０Ｂ ：端末装置
１３ ：入力装置
１４ ：出力装置
１５ ：メモリ
１６ ：記憶部
１９ ：プロセッサ
２０ ：サーバ
２５ ：メモリ
２６ ：ストレージ
２９ ：プロセッサ
８０ ：ネットワーク
８１ ：無線基地局
８２ ：無線ＬＡＮルータ
９０ ：コンピュータ
１１１ ：アンテナ
１１２ ：アンテナ
１２１ ：第１無線通信部
１２２ ：第２無線通信部
１３０ ：操作受付部
１３１ ：キーボード
１３２ ：マウス
１４０ ：ディスプレイ
１５０ ：記憶部
１５１ ：ユーザ情報
１６０ ：制御部
１６１ ：入力操作受付部
１６２ ：送受信部
１６３ ：データ処理部
１６４ ：通知制御部
２０１ ：通信部
２０２ ：記憶部
２０３ ：制御部
９０１ ：プロセッサ
９０２ ：主記憶装置
９０３ ：補助記憶装置
９２１ ：通信バス
２０２１ ：動画データベース
２０２２ ：表示データベース
２０３１ ：受信制御モジュール
２０３２ ：送信制御モジュール
２０３３ ：動画データ取得モジュール
２０３４ ：作業ステップ判定モジュール
２０３５ ：動画データ分割モジュール
２０３６ ：表示データ生成モジュール
２０３７ ：表示データ出力モジュール
２０３８ ：骨格データ抽出モジュール
１０ ：端末装置
１０Ａ ：端末装置
１０Ｂ ：端末装置
１３ ：入力装置
１４ ：出力装置
１５ ：メモリ
１６ ：記憶部
１９ ：プロセッサ
２０ ：サーバ
２５ ：メモリ
２６ ：ストレージ
２９ ：プロセッサ
８０ ：ネットワーク
８１ ：無線基地局
８２ ：無線ＬＡＮルータ
９０ ：コンピュータ
１１１ ：アンテナ
１１２ ：アンテナ
１２１ ：第１無線通信部
１２２ ：第２無線通信部
１３０ ：操作受付部
１３１ ：キーボード
１３２ ：マウス
１４０ ：ディスプレイ
１５０ ：記憶部
１５１ ：ユーザ情報
１６０ ：制御部
１６１ ：入力操作受付部
１６２ ：送受信部
１６３ ：データ処理部
１６４ ：通知制御部
２０１ ：通信部
２０２ ：記憶部
２０３ ：制御部
９０１ ：プロセッサ
９０２ ：主記憶装置
９０３ ：補助記憶装置
９２１ ：通信バス
２０２１ ：動画データベース
２０２２ ：表示データベース
２０３１ ：受信制御モジュール
２０３２ ：送信制御モジュール
２０３３ ：動画データ取得モジュール
２０３４ ：作業ステップ判定モジュール
２０３５ ：動画データ分割モジュール
２０３６ ：表示データ生成モジュール
２０３７ ：表示データ出力モジュール
２０３８ ：骨格データ抽出モジュール
【要約】
【課題】作業者の作業状況を撮影し、撮影画像（動画）を分析して作業者の作業状況を表示するための表示データを生成し、その結果について出力する。
【解決手段】作業分析システム１のサーバ２０は、その機能として、作業者が所定の作業をしている状況を撮影した動画データを取得するステップ（Ｓ１０１）と、取得された動画データの分析を行い、取得された動画データに撮影された作業者による所定の作業について、複数の工程に区分けを行った際の工程を示す作業ステップの開始時刻及び終了時刻を判定するステップ（Ｓ１０２）と、取得された動画データを、判定の結果による開始時刻及び終了時刻で特定される作業ステップごとに分割（Ｓ１０３）し、作業ステップごと、及び作業者ごとに、各作業者の作業状況を表示するための表示データを生成するステップ（Ｓ１０４）と、生成した表示データを出力するステップ（Ｓ１０５）と、を実行させる。
【選択図】図６
【解決手段】作業分析システム１のサーバ２０は、その機能として、作業者が所定の作業をしている状況を撮影した動画データを取得するステップ（Ｓ１０１）と、取得された動画データの分析を行い、取得された動画データに撮影された作業者による所定の作業について、複数の工程に区分けを行った際の工程を示す作業ステップの開始時刻及び終了時刻を判定するステップ（Ｓ１０２）と、取得された動画データを、判定の結果による開始時刻及び終了時刻で特定される作業ステップごとに分割（Ｓ１０３）し、作業ステップごと、及び作業者ごとに、各作業者の作業状況を表示するための表示データを生成するステップ（Ｓ１０４）と、生成した表示データを出力するステップ（Ｓ１０５）と、を実行させる。
【選択図】図６
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
