IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社ブロードリーフの特許一覧

特許7509966作業分析装置、作業分析方法及び作業分析プログラム
<>
  • 特許-作業分析装置、作業分析方法及び作業分析プログラム 図1
  • 特許-作業分析装置、作業分析方法及び作業分析プログラム 図2
  • 特許-作業分析装置、作業分析方法及び作業分析プログラム 図3
  • 特許-作業分析装置、作業分析方法及び作業分析プログラム 図4
  • 特許-作業分析装置、作業分析方法及び作業分析プログラム 図5
  • 特許-作業分析装置、作業分析方法及び作業分析プログラム 図6
  • 特許-作業分析装置、作業分析方法及び作業分析プログラム 図7A
  • 特許-作業分析装置、作業分析方法及び作業分析プログラム 図7B
  • 特許-作業分析装置、作業分析方法及び作業分析プログラム 図8
  • 特許-作業分析装置、作業分析方法及び作業分析プログラム 図9
  • 特許-作業分析装置、作業分析方法及び作業分析プログラム 図10
  • 特許-作業分析装置、作業分析方法及び作業分析プログラム 図11
  • 特許-作業分析装置、作業分析方法及び作業分析プログラム 図12
  • 特許-作業分析装置、作業分析方法及び作業分析プログラム 図13
  • 特許-作業分析装置、作業分析方法及び作業分析プログラム 図14
  • 特許-作業分析装置、作業分析方法及び作業分析プログラム 図15
  • 特許-作業分析装置、作業分析方法及び作業分析プログラム 図16
  • 特許-作業分析装置、作業分析方法及び作業分析プログラム 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2024-06-24
(45)【発行日】2024-07-02
(54)【発明の名称】作業分析装置、作業分析方法及び作業分析プログラム
(51)【国際特許分類】
   G06Q 10/0639 20230101AFI20240625BHJP
   G06T 7/20 20170101ALI20240625BHJP
【FI】
G06Q10/0639
G06T7/20 300Z
【請求項の数】 9
(21)【出願番号】P 2023105193
(22)【出願日】2023-06-27
【審査請求日】2023-06-29
(73)【特許権者】
【識別番号】510084297
【氏名又は名称】株式会社ブロードリーフ
(74)【代理人】
【識別番号】100088580
【弁理士】
【氏名又は名称】秋山 敦
(74)【代理人】
【識別番号】100195453
【弁理士】
【氏名又は名称】福士 智恵子
(74)【代理人】
【識別番号】100205501
【弁理士】
【氏名又は名称】角渕 由英
(72)【発明者】
【氏名】荒尾 尚英
(72)【発明者】
【氏名】中西 弘明
【審査官】和田 財太
(56)【参考文献】
【文献】国際公開第2019/221081(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00
G06Q 50/00
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
作業を撮像した作業動画をもとに作業分析を行う作業分析装置であって、
作業を撮像した作業動画に対し、前記作業に関する分析要素に基づく第1の分析処理を作業要素ごとに行う第1の分析処理部と、
前記作業動画に対し、前記作業に関する分析要素に基づく、前記第1の分析処理とは異なる第2の分析処理を作業要素ごとに行う第2の分析処理部と、
前記作業に関する分析要素に基づいて、少なくとも前記第1の分析処理及び前記第2の分析処理の中から、所定の分析処理を選定する分析処理選定部と、
前記分析処理選定部によって選定された分析処理を提示する分析処理提示部と、を具備する作業分析装置。
【請求項2】
前記作業に関する複数の分析処理と、前記作業に関する複数の分析要素と、前記分析要素ごとの前記分析処理の重みを示す評価情報とを含む分析特徴データを記憶する記憶部を具備し、
前記分析処理選定部は、
ユーザ操作による所定の分析要素の選択を選択条件として受け付けて、
前記分析特徴データを参照して前記第1の分析処理、前記第2の分析処理を含む複数の分析処理の中から、ユーザによる前記選択条件に基づく、前記分析処理の重みに応じた1又は複数の分析処理を選定する、請求項1に記載の作業分析装置。
【請求項3】
前記分析特徴データに含まれる前記作業に関する複数の分析要素は、
前記分析処理の重みによってスコアリングされた第1のグループに属する分析要素と、
前記分析処理の重みによってスコアリングされていない第2のグループに属する分析要素と、に分類され、
前記分析処理選定部は、
前記分析特徴データに含まれる前記第1のグループに属する分析要素に基づく場合に、ユーザによる前記選択条件に基づく、前記分析処理の重みに応じた1又は複数の分析処理を選定し、
前記分析特徴データに含まれる前記第2のグループに属する分析要素に基づく場合に、前記分析処理の重みによらない、ユーザによる前記選択条件に基づいた1又は複数の分析処理を選定し、
前記分析処理提示部は、前記第1のグループに属する分析要素及び/又は前記第2のグループに属する分析要素に基づいて選定された分析処理を提示する、請求項2に記載の作業分析装置。
【請求項4】
前記作業分析装置は、作業動画を記録する撮像装置から前記作業動画を取得して、前記作業動画をもとに作業分析を行い、
前記分析特徴データに含まれる前記作業に関する複数の分析要素は、撮像対象が異なる撮像装置の種別を分析要素の一つとして含み、
前記分析処理選定部は、
ユーザ操作による前記撮像装置の種別の選択を前記選択条件として受け付けて、
前記分析特徴データを参照して複数の分析処理の中から、ユーザによる前記撮像装置の種別の選択に基づく、前記分析処理の重みに応じた1又は複数の分析処理を選定する、請求項2に記載の作業分析装置。
【請求項5】
前記第1の分析処理部は、前記第1の分析処理として前記作業動画に対し、作業者を分析対象として作業者の作業内容を作業要素ごとに分節する処理を行い、
前記第2の分析処理部は、
前記第2の分析処理として前記作業動画に対し、作業者を分析対象として作業者の動作が所定の動作基準に基づいた動作となっているか否かを判断する処理を行い、
前記作業動画の一部に対して前記作業者の動作が前記動作基準に基づいた動作となっていないと判断した場合に、前記作業動画の一部に対して前記動作基準に関する記録情報を付与する処理を行い、
前記作業分析装置は、前記第1の分析処理及び前記第2の分析処理が実行されたときに、前記第1の分析処理の結果と、前記第2の分析処理の結果とを組み合わせた分析処理の結果を出力する、請求項2乃至4のいずれか一項に記載の作業分析装置。
【請求項6】
前記第1の分析処理部は、前記第1の分析処理として前記作業動画に対し、作業者を分析対象として作業者の作業内容を作業要素ごとに分節する処理を行い、
前記第2の分析処理部は、
前記第2の分析処理として前記作業動画に対し、作業者を分析対象として作業者の不正な動作を検出する処理を行い、
前記作業動画の一部に対して前記作業者の不正動作を検出した場合に、前記作業動画の一部に対して不正な動作を示す記録情報を付与する処理を行い、
前記作業分析装置は、前記第1の分析処理及び前記第2の分析処理が実行されたときに、前記第1の分析処理の結果と、前記第2の分析処理の結果とを組み合わせた分析処理の結果を出力する、請求項2乃至4のいずれか一項に記載の作業分析装置。
【請求項7】
作業を撮像して作業動画を記録する撮像装置の種別情報を取得する種別情報取得部を具備し、
前記分析処理選定部は、前記種別情報取得部によって得られた前記撮像装置の種別と、前記作業に関する分析要素とに基づいて所定の分析処理を選定し、
前記作業分析装置は、前記分析処理提示部によって提示された所定の分析処理を実行し、分析処理の結果を出力する分析結果出力部をさらに具備する、請求項1に記載の作業分析装置。
【請求項8】
作業を撮像した作業動画をもとに作業分析を行うコンピュータによって実行される作業分析方法であって、
前記コンピュータが、
作業を撮像した作業動画に対し、前記作業に関する分析要素に基づく第1の分析処理を作業要素ごとに行うことと、
前記作業動画に対し、前記作業に関する分析要素に基づく、前記第1の分析処理とは異なる第2の分析処理を作業要素ごとに行うことと、
前記作業に関する分析要素に基づいて、少なくとも前記第1の分析処理及び前記第2の分析処理の中から、所定の分析処理を選定することと、
選定された分析処理を提示することと、を実行する、作業分析方法。
【請求項9】
作業を撮像した作業動画をもとに作業分析を行う作業分析装置としてのコンピュータに、
作業を撮像した作業動画に対し、前記作業に関する分析要素に基づく第1の分析処理を作業要素ごとに行う処理と、
前記作業動画に対し、前記作業に関する分析要素に基づく、前記第1の分析処理とは異なる第2の分析処理を作業要素ごとに行う処理と、
前記作業に関する分析要素に基づいて、少なくとも前記第1の分析処理及び前記第2の分析処理の中から、所定の分析処理を選定する処理と、
選定された分析処理を提示する処理と、を実行させる作業分析プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業分析装置、作業分析方法及び作業分析プログラムに係り、特に、作業を撮像した作業動画をもとに作業分析を行う作業分析装置、作業分析方法及び作業分析プログラムに関する。
【背景技術】
【0002】
従来、作業者、機械及びモノの動きや時間を「見える化」し、生産現場の作業時間短縮、省力化及びコスト低減を果たすことを目的として、作業を撮像した作業動画を表示して当該作業の動作分析をすることが可能な作業分析装置が知られている(例えば、特許文献1参照)。
また、上記作業分析装置の中には、複数の作業工程からなるライン作業において、各々の作業工程における作業を撮像するために持ち運び可能なモバイル作業分析装置が知られている(例えば、特許文献2参照)。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2021-163293号公報
【文献】特開2022-184111号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記において特許文献1の作業分析装置は、作業動画から作業者の骨格情報を抽出し、当該抽出結果から作業者の動作が規定動作であるか否かを判定し、当該規定動作であると判定したときの抽出タイミングで作業動画を作業要素ごとに分節する分析処理を行うことが開示されている。
このように作業に関する分析要素(例えば作業者の動作)に基づいた分析処理を行うことが可能な作業分析装置において、分析者の要望に応じて、複数の分析処理の中から適切な分析処理を行うことが可能な技術が求められていた。
【0005】
本発明は、上記の課題に鑑みてなされたものであり、本発明の目的は、複数の分析処理の中から適切な分析処理を行うことが可能な作業分析装置、作業分析方法及び作業分析プログラムを提供することにある。
【課題を解決するための手段】
【0006】
前記課題は、本発明の作業分析装置によれば、作業を撮像した作業動画をもとに作業分析を行う作業分析装置であって、作業を撮像した作業動画に対し、前記作業に関する分析要素に基づく第1の分析処理を作業要素ごとに行う第1の分析処理部と、前記作業動画に対し、前記作業に関する分析要素に基づく、前記第1の分析処理とは異なる第2の分析処理を作業要素ごとに行う第2の分析処理部と、前記作業に関する分析要素に基づいて、少なくとも前記第1の分析処理及び前記第2の分析処理の中から、所定の分析処理を選定する分析処理選定部と、前記分析処理選定部によって選定された分析処理を提示する分析処理提示部と、を具備すること、により解決される。
【0007】
上記のように、作業分析装置は、作業に関する分析要素に基づいて、少なくとも第1の分析処理及び第2の分析処理の中から所定の分析処理を選定する分析処理選定部と、分析処理選定部によって選定された分析処理を提示する分析処理提示部と、を具備している。
そのため、作業に関する分析要素に基づいて、複数の分析処理の中から適切な分析処理を選定し、選定した分析処理を提示することが可能となっている。そして、適切な分析処理を行うことが可能となっている。
【0008】
また前記課題は、本発明の作業分析方法によれば、作業を撮像した作業動画をもとに作業分析を行うコンピュータによって実行される作業分析方法であって、前記コンピュータが、作業を撮像した作業動画に対し、前記作業に関する分析要素に基づく第1の分析処理を作業要素ごとに行うことと、前記作業動画に対し、前記作業に関する分析要素に基づく、前記第1の分析処理とは異なる第2の分析処理を作業要素ごとに行うことと、前記作業に関する分析要素に基づいて、少なくとも前記第1の分析処理及び前記第2の分析処理の中から、所定の分析処理を選定することと、を実行することによっても解決される。
【0009】
また前記課題は、本発明の作業分析プログラムによれば、作業を撮像した作業動画をもとに作業分析を行う作業分析装置としてのコンピュータに、作業を撮像した作業動画に対し、前記作業に関する分析要素に基づく第1の分析処理を作業要素ごとに行う処理と、前記作業動画に対し、前記作業に関する分析要素に基づく、前記第1の分析処理とは異なる第2の分析処理を作業要素ごとに行う処理と、前記作業に関する分析要素に基づいて、少なくとも前記第1の分析処理及び前記第2の分析処理の中から、所定の分析処理を選定する処理と、選定された分析処理を提示する処理と、を実行させることによっても解決される。
【発明の効果】
【0010】
本発明の作業分析装置、作業分析方法及び作業分析プログラムによれば、複数の分析処理の中から適切な分析処理を行うことが可能となる。
また、作業分析を行うユーザの要望に応じて、複数の分析処理の中から適切な分析処理を選定し、選定した分析処理を提案することが可能となる。
【図面の簡単な説明】
【0011】
図1】作業分析システム全体の構成図である。
図2】作業分析システムのハードウェア構成を説明する図である。
図3】作業分析システムの機能を説明する図である。
図4】メニュー画面を示す図である。
図5】作業分析画面を示す図である。
図6】「作業要素一覧データ」を示す図である。
図7A】「分析特徴データ」を示す図である。
図7B】「分析特徴データ」を示す図である。
図8】「第2分析特徴データ」を示す図である。
図9】「撮像装置種別データ」を示す図である。
図10】撮像装置によって記録された作業動画(作業動画の一部)を示す図である。
図11】「作業分節処理」による分析結果を示す図である。
図12】「エルゴノミクス処理」による分析結果を示す図である。
図13】「エルゴノミクス評価データ」を示す図である。
図14】「両手・片手分析処理」による分析結果を示す図である。
図15】分節位置の補正処理、併合分析結果を説明する図である。
図16】作業分析方法(1)を示す処理フロー図である。
図17】作業分析方法(2)を示す処理フロー図である。
【発明を実施するための形態】
【0012】
<作業分析システムの全体構成>
以下、本発明の実施形態について図1図17を参照して説明する。
作業分析システムSは、図1に示すように、作業を撮像した作業動画をもとに作業分析を行う作業分析装置1と、作業分析装置1と通信可能にそれぞれ接続され、作業を撮像して作業動画を記録し、作業分析装置1に作業動画(作業動画データ)を送信する撮像装置100、200、300と、を備えている。
本実施形態において「作業」とは、複数の作業工程からなり、各作業工程が連関して行われるライン作業やセル作業である。作業者によって行われる作業のほか、ロボット等の機械によって行われる作業がある。
「ライン作業」とは、一連の作業工程の集合体を示すものであって、所定のライン形状で作業工程が配置されたライン生産方式と称される方式で行われる作業である。また、「セル作業」とは、一連の作業工程の集合体を示すものであって、ライン作業における所定のライン形状のうち、U字形状や二の字形状などの特別な形状で作業工程が配置されたセル生産方式と称される方式で行われる作業である。
作業の一例としては、加工、組立、接合、塗装、検品、ピッキング等の各作業工程を経て商品や組立物の組み立てが行われる組み立てライン等が挙げられる。「作業工程(作業工程における作業)」とは、一連の作業要素の集合体を示すものであって、例えば、エンジン組み付け、バンパー取り付け、タイヤ取り付け等が挙げられる。
「作業要素」とは、一連の動作の集合体を示すものであって、例えば、車両部品を準備、車両部品のセット位置を確認、車両部品をセット、車両部品の組み付け等が挙げられる。「動作」とは、作業を細分化したときの最小単位を示すものである。
【0013】
作業分析装置1は、図1図2に示すように、作業分析を行う分析者によって用いられるコンピュータであって、撮像装置100、200、300と通信を行い、これら撮像装置から取得した作業動画(作業動画データ)を記憶する。そして、作業の改善を図るために、作業動画に基づいてユーザ操作を主とした作業分析(手動作業分析とも称する。)、ユーザ操作を主としない作業分析(自動作業分析、AI作業分析とも称する。)等を行う。
そして、作業分析装置1は、分析処理の結果(分析結果)を基に作業標準データを作成し、作業標準データを表示画面に出力表示するほか、紙媒体で出力印刷することもできる。
作業分析装置1は、上記自動作業分析(AI作業分析)として、図4に示すメニュー画面、図5に示す作業分析画面を通じて、後述する種々の作業分析処理(作業分節処理とも称する。)を行うことができる。
【0014】
撮像装置100、200、300は、図1図2に示すように、種別の異なる撮像装置(例えば撮像カメラ)であって、一連の作業を撮像して作業動画を記録する。そして、作業動画を示す作業動画データを作成し、作業分析装置1に作業動画データを送信する。
撮像装置100、200、300は、それぞれ設置位置(設置箇所、設置場所とも称する。)を異にし、また撮像対象を異にするものである。
「設置位置」の違いとしては、作業空間(作業部屋)における天井位置、壁面位置(側面位置)、床位置、入り口等が挙げられ、また作業分析者の手元位置、作業者の身体位置(例えば作業者の頭部)等が挙げられる。「撮像対象」の違いとしては、作業者、機械、部品(製品)、等の対象オブジェクトが挙げられ、また対象オブジェクトの作業内容(移動、手元の動作、アームの動作等)が挙げられる。なお、「撮像対象」の違いには、作業空間の全体、作業空間の一部(特定領域)、作業者の手元等の撮像内容がさらに挙げられても良い。
【0015】
第1撮像装置100は、分析者の手元位置を「設置位置」とする手持ちカメラであって、全ての対象オブジェクト、全ての作業内容を「撮像対象」とするものである。主として作業者の移動、作業者の手元の動きを「撮像対象」とする。なお、作業空間の一部を「撮像対象」とすることもできる。
第2撮像装置200は、作業者の頭部に身に着けられ、作業者の身体位置(頭部位置)を「設置位置」とするウェアラブルカメラであって、主として作業者の手元の動き、機械のアームの動きを「撮像対象」とするものである。
第3撮像装置300は、作業空間の天井位置を「設置位置」とする天井カメラであって、主として作業者の移動を「撮像対象」とするものである。また、作業空間の一部又は全体を「撮像対象」とすることもできる。
具体例として、図10には、各撮像装置100、200、300によって撮像された作業動画(作業動画の一部)が示されている。
【0016】
撮像装置の種類としては、手持ちカメラ、ウェアラブルカメラ、天井カメラのほか、固定カメラ(壁面固定カメラ)、追尾カメラ、360度カメラ等がある。
より詳しくは、図9に示す「撮像装置種別データ」に、撮像装置の種別情報、具体的には「種類」、「設置位置」、「撮像対象」に関する種別情報が対応付けて示されている。
このように、所定の作業を撮像する撮像装置の「種類」や「設置位置」、「撮像対象」によって、同じ作業であっても撮像される作業内容が異なって記録され、異なる作業動画データが作成される。
【0017】
なお、作業分析システムSは、作業分析装置1と、撮像装置100、200、300とを備えた構成に限定されず、種別の異なる撮像装置や種別の同じ撮像装置をさらに備えていても良い。作業分析システムSは、作業分析装置1と、1つの撮像装置とを備えた構成にしても良い。
あるいは、作業分析装置1が撮像部(撮像装置)を兼ね備えたものであっても良い。具体的には、作業分析装置1が、作業を撮像して作業動画を記録しながらリアルタイムで作業分析する際に用いられるモバイル型の作業分析装置であっても良い。その場合には、作業分析システムSは、作業分析装置1(モバイル作業分析装置)のみを備えた構成にしても良い。
【0018】
<<手動作業分析>>
作業分析装置1は、作業動画を表示画面に表示し、ユーザ操作を受け付けて作業動画に対し作業要素ごとに分節する処理を行い、分析処理の結果(分析結果データ)を出力する。例えば、所定の作業を複数サイクル撮像した作業動画それぞれに対し分節する処理を行い、各サイクルの作業(作業要素)のバラツキを確認するサイクル分析を行うことができる。
【0019】
具体的には、作業分析装置1は、図5図6に示すように、ユーザ操作の入力を受け付けて作業要素ごとに「レイティング率(Rat)」を設定し、「作業標準時間(標準時間)」を算出する。そのほか、作業要素ごとに「動作種別(種別)」等を設定できる。
なお、図5は、後述の「自動作業分析」における作業分析画面を示すが、「手動作業分析」における作業分析画面においても同様の画面レイアウトとなる。図6に示す「作業要素一覧データ」は、作業要素ごとの詳細内容の一覧を示すデータであって、ユーザ操作の入力を受け付けて上述した項目内容が入力、更新されるものである。
【0020】
「レイティング率」とは、対象物に対して所定の基準に基づいて等級分けや数値化を図るための数値である。例えば、作業動画内に表示された作業者が成熟しているか否か、作業に慣れているか否か等を評価する評価値である。
「作業標準時間」とは、その仕事に適性を持ち、成熟した作業者が、所定の作業条件のもとで、必要な余裕を持ち、正常な作業ペースによって仕事を遂行するために必要とされる時間である。作業標準時間は、一般に有効動作の時間に対してレイティング率を積算することで算出される。
「動作種別」とは、例えば、各作業要素に対し「有効動作」、「無効動作」及び「無駄動作」の分類の中から1つ選択して入力される項目である。「有効動作」は、作業における有効な動作がなされたことを示し、「無効動作」は、作業における無効な動作がなされたことを示す。「無駄動作」は、作業としては有効な動作であるが、分析結果として「不必要」であると認定した動作である(無効動作とは異なる動作である)。
そのほか、図示していないが、作業分析装置1は、作業要素ごとに「区分」等を設定できる。「区分」とは、各作業要素に対し「稼働」、「準稼働」及び「非稼働」の分類の中から1つ選択して入力される項目である。「稼働」は作業者が作業中の状態を示し、「準稼働」は機械が動作する状態を示し、「非稼働」は作業者も機械も動作していない待ち状態を示す。
【0021】
<<自動作業分析>>
作業分析装置1は、作業に関する分析要素(例えば作業者、作業内容、撮像装置の種別など)に基づいた複数の分析処理(分析AIとも称する。)を作業要素ごとに行う。
作業分析装置1は、ユーザ操作による所定の分析要素の選択を選択条件として受け付けて、複数の分析処理の中からユーザによる選択条件に基づく、適切な分析処理を選定する。そして、選定された分析処理の中から、ユーザ操作により決定された分析処理の実行を行い(自動で行い)、分析処理の結果(分析結果データ)を出力する。
具体的には、以下の通りである(もちろん以下の手法に限定されるものではない)。
【0022】
作業分析装置1は、まず、ユーザ操作を受け付けて(手動で)、1サイクル分の作業動画に対し作業要素ごとに分析処理(分節処理)を行い、分析結果データを「教師データ」として学習する。そして、3次元対象認識技術を用いて「教師データ」となる「分析結果データ」から対象オブジェクト(作業者、機械など)の3次元空間上での姿勢、体勢、形態を推定する。例えば、作業者の上半身の姿勢の変化を特徴量として取得し、類似する特徴量をグループ化して複数の単位動作に分類する。作業者の姿勢の変化の特徴が類似する場合には、同一動作が行われたものとみなす。そうすることで、作業者の作業位置の違いや、撮像装置の設置位置の違い等に対応して対象オブジェクトの動作を認識できる。
そして、作業分析装置1は、「教師データ」となる、作業要素の区切り目が設定された「分析結果データ」を用いて、作業における作業要素と、作業要素を細分化した単位動作の並びとの対応付けを行う。また、作業要素を構成する単位動作の組み合わせの変化パターンを推定し、「AI学習モデル(機械学習モデル)」を生成する。そうすることで、同じ作業であっても、作業者ごとに異なる動作の違いや同じ作業者で生じる細かな動作の違いを認識できる。また、「AI学習モデル」が単位動作の並びに基づいて作業要素を認識することで、一連の作業の中で「ネジ部品を締め付ける」などの同じ作業要素が複数存在する場合であっても、作業分析装置1が作業における単位動作の並びを考慮して作業要素を検出できる。
上記手法により、作業分析装置1は、対象オブジェクト(作業者、機械など)の動作を認識し(自動認識し)、対象オブジェクトによる作業(作業内容)を作業要素ごとに種々分析することができる。
【0023】
<<分析処理(分析AI)>>
作業分析装置1は、ユーザの要望に応じて(ユーザ操作による分析要素の選択を選択条件として受け付けて)、複数の分析処理の中から適切な1又は複数の分析処理を選定し、選定した分析処理を表示画面に提示する。
選定される分析処理群(分析AI群、作業改善AI群とも称する)は、下記の通りである。なお、下記の分析処理に限定されるものではなく、新規な分析処理を適宜アップデートすることも可能である。
【0024】
作業分析装置1によって選定され、実行される分析処理として、作業分節処理(作業分節AI)、手元分析処理(手元分析AI)、部材位置トラッキング処理(部材位置トラッキングAI)、機械動作トラッキング処理(機械動作トラッキングAI)、エルゴノミクス処理(エルゴノミクスAI)、両手・片手分析処理(両手・片手分析AI)、画像異変検知処理(画像異変検知AI)、サーブリック分析処理(サーブリック分析AI)、動作経済の原則処理(動作経済の原則AI)等が挙げられる。
【0025】
「作業分節処理」は、図11に示すように、撮像装置によって記録された作業動画に対し、作業者を分析対象(対象オブジェクトとも称する。)として作業者の作業内容を作業要素ごとに自動分節する処理である。具体的な作業内容としては、上半身作業、歩行を伴う作業、他の作業者との共同作業、機械との共同作業等が挙げられる。手元作業を分析することも可能である。分析対象は、機械、部品、製品であっても良い。
「手元分析処理」は、作業動画に対し、作業者を分析対象とし、主として作業者の手元の細かい作業内容を作業要素ごとに自動分節する処理である。具体的な作業内容としては、手元作業、上半身作業等が挙げられる。他方で、「作業分節処理」で行われる歩行を伴う作業、共同作業等には、比較的不向きな処理とも言える。
【0026】
「部材位置変化トラッキング処理」は、作業動画に対し、部品や製品等の作業対象物を分析対象とし、主として作業対象物の位置、向き、変化(状態変化)を作業要素ごとに自動分節する処理である。具体的には、ライン作業や機械加工作業等において作業対象物の位置や向き、変化をトラッキングする際に用いられる分析処理である。
「機械動作トラッキング処理」は、作業動画に対し、機械を分析対象とし、主として機械の動作を作業要素ごとに自動分節する処理である。具体的には、ライン作業や機械加工作業等において機械の動作に伴う位置や向きをトラッキングする際に用いられる分析処理である。
【0027】
「エルゴノミクス処理」は、作業動画に対し、作業者を分析対象として作業者の動作が「所定の動作基準」に基づいた動作となっているか否かを判断し、作業動画の一部に対して作業者の動作が「所定の動作基準」に基づいた動作となっていないと判断した場合に、作業動画の一部に対して「動作基準に関する記録情報」を付与する処理である。
具体的には、エルゴノミクス処理は、作業動画に対し、作業者の動作が「人間工学に即した動作」となっているか否かを判断する。すなわち、作業者が作業を適切に行っているときであっても、作業者が無理な態勢や体に負担がかかった状態で作業を行っている場合には、エルゴノミクス処理が当該作業者による動作を検出する。
エルゴノミクス処理は、作業動画に対し、作業者が無理な態勢や体に大きな負担がかかった状態で行った作業を分節することができる。
【0028】
エルゴノミクス処理は、図12に示すように、作業者の動作が「所定の動作基準」に基づいた動作となっていないと判断した場合に、作業動画の一部に対して「動作基準に関する記録マーク」を付与する。なお、記録マークに限定されず、記録メモのような記録情報であっても良い。
具体的には、エルゴノミクス処理は、図13に示す「エルゴノミクス評価データ」を参照して、「作業対象物の重量による負荷」と、「作業者の姿勢による負荷」とに基づいて決定される記録マークを付与する。
「エルゴノミクス評価データ」によれば、「作業対象の重量による負荷」は、記録マークの大きさ(例えば大マーク、中マーク、小マーク)によって示される。また、「作業者の姿勢による負荷」は、記録マークの色の違い(例えば、黒色、灰色、白色)によって示される。
例えば、図12に示す左側から3番目の作業要素の動画によれば、エルゴノミクス処理は、作業者による「部品を取る動作」が「人間工学に即した動作」となっていないことを判断し、作業者の腰部に「黒色の大マーク」を付与し、また作業者の上半身(肘部)に「白色の小マーク」を付与していることが分かる。
【0029】
「両手・片手分析処理」は、作業動画に対し、作業者を分析対象として作業者の手の種別(例えば片手(右手、左手)、両手、なし)を自動検出し、手の種別を作業要素ごとに分節する処理である。詳しく述べると、両手・片手分析処理は、作業者が片手作業をしているか、両手作業をしているか、手作業をおこなっていないか等を自動検出する。
例えば、図14に示す作業動画の分節処理によれば、両手・片手分析処理は、作業動画に対し、作業者の片手作業と、作業者の両手作業とをそれぞれ検出し、作業分節する処理を行っていることが分かる。
なお、図14に示すように、作業者の片手作業を示す動画と、作業者の両手作業を示す動画とを異なる色でハイライト表示して識別することができる。あるいは、片手作業を示す動画に対して文字「片手」を付与し、両手作業を示す動画に対して文字「両手」を付与することで識別しても良い。
【0030】
「画像異変検知処理」は、作業動画に対し、作業者を分析対象として作業者の不正な動作を自動検出し、作業動画の一部に対して作業者の不正動作を検出した場合に、当該作業動画の一部に対して「不正な動作を示す記録情報」を付与する処理である。
詳しく述べると、エルゴノミクス処理は、作業者が作業を行っているときに「禁止された動作、不要な動作(明らかに不要な動作)」、「使用禁止されたツール、材料、部品、製品を使用した動作、不正なツールを使用した動作」等を検出する。
【0031】
「画像異変検知処理」は、「禁止された動作」や「使用禁止されたツールを用いた動作」の検知(第1不正検知)を行い、また「明らかに不要な動作」や「不正なツールを使用した動作」の検知(第2不正検知)を行うことができる。第1不正検知は、第2不正検知よりも重要度(不正の重要度)が高いものである。例えば重要度は、不正の重要度が高い順に「高」、「中」、「小」などと表現されると良い。
そうすることで、画像異変検知処理は、不正検知の検知レベルによって第1不正検知、第2不正検知等を設定しながら、作業分節を行うことができる。
画像異変検知処理は、作業動画の一部に対して検知レベルに応じた記録情報を付与する。このときの記録情報は、検知レベルによって異なる記録マーク、記録メモ、記号等であると良い。
なお、第1不正検知を検出した場合には、画像異変検知処理は、緊急アラートを報知することとしても良い。
【0032】
「サーブリック分析処理」は、微動作分析処理とも称され、作業動画に対し、作業者を分析対象として作業者の両手を主とした手元の微動作を作業要素ごとに分節する処理である。当該処理では、作業者の手元動作の順序や方法を18種類の基本動作(サーブリック動作とも称される。)の繋がりをもって分析する処理である。例えば、作業者の細かい手元作業の分析に向いた処理と言える。
【0033】
「動作経済の原則処理」は、作業動画に対し、作業者を分析対象として作業者の動作が「動作経済の原則」に基づいた動作となっているか否かを判断する。そして、作業動画の一部に対して作業者の動作が「動作経済の原則」に基づいた動作となっていないと判断した場合に、作業動画の一部に対して「動作経済の原則に関する記録情報」を付与する。
「動作経済の原則」とは、作業者が最小限の疲労で最大の成果を上げられるように、最も良い作業動作を実現しようとする原則を言う。具体的には、動作経済の原則処理は、(1)動作の数を減らす、(2)動作を同時に行う、(3)動作の距離を短くする、(4)動作を楽にする、という4つの基本原則に基づいた動作が実現されているか否かを判断する。
動作経済の原則処理は、作業動画の一部に対して、作業者の動作が「動作経済の原則」に基づいていない動作と判断したときに記録情報を付与する。このときの記録情報は、動作経済の検知レベルによって異なる記録マーク、記録メモ、記号等であると良い。
【0034】
<<分析処理の選定>>
作業分析装置1は、作業に関する複数の分析処理と、作業に関する複数の分析要素と、分析要素ごとの分析処理の重みを示す評価情報(スコア)とを含む「分析特徴データ」を記憶している(図7A図7B参照)。
作業分析装置1は、ユーザ操作による所定の分析要素の選択を選択条件として受け付けると、「分析特徴データ」を参照して上記複数の分析処理の中から、ユーザによる選択条件に基づく、分析処理の重みに応じた1又は複数の分析処理(分析AI)を選定する(第1の選定処理)。
あるいは、作業分析装置1は、作業の撮像に用いられる「撮像装置の種別情報」を取得し、図7A、Bに示す「分析特徴データ」と、図8に示す「第2分析特徴データ」とを参照して上記複数の分析処理の中から1又は複数の分析処理(分析AI)を選定しても良い(第2の選定処理)。
【0035】
詳細は後述するが、前者の「第1の選定処理」として、作業分析装置1は、撮像装置によって記録される作業動画の内容については問わず、ユーザの要望に基づいて「分析特徴データ」をもとに適切な分析処理を選定する。
例えば、ユーザが対象オブジェクトごとの動作を分析したい場合に、対象オブジェクトの分析を得意とする分析処理群を選定する。
後者の「第2の選定処理」としては、作業分析装置1は、作業動画の全体内容を俯瞰して撮像装置の種別情報(例えば種類、設置位置、設置角度など)を取得した上で、ユーザの要望に基づいて「分析特徴データ」、「第2分析特徴データ」をもとに適切な分析処理を選定する。
例えば、箱の組み立て作業を分析する場合に、まずは作業動画の全体内容を俯瞰して(全体内容をもとに画像構成を把握して)、天井に設置された撮像装置によって記録されたものであること、作業者のみ、機械のみ、あるいは作業者及び機械によって行われた作業動画であること等を把握する。その上で、ユーザが対象オブジェクトごとの動作を分析したい場合に、撮像装置の種別と、対象オブジェクトの種別とを考慮しながら、対象オブジェクトの分析を得意とする分析処理群を選定する。
【0036】
言い換えれば、「第1の選定処理」では、作業分析装置1が、全ての分析処理群(分析AI群)から適切な分析処理を選定する。「第2の選定処理」では、作業分析装置1が、「作業動画の内容」をもとに不適合の分析処理を選定候補から除外した上で、残りの分析処理群から適切な分析処理を選定するものである。
なお、「第1の選定処理」と「第2の選定処理」において、選定処理のプロセスに違いはあるものの、結果的に同じ分析処理(分析AI)が選定されることがある。他方で、選定候補となる分析処理が多数存在する場合には、「第2の選定処理」を採用することで、より精度の高い選定を行うことができる。具体的には、多数の分析処理群の中から選定候補となり得る分析処理を大まかに選定(予備選定)した上で、その選定候補の中からユーザの要望に応じた分析処理を選定(本選定)することができる。
【0037】
<<分析処理と撮像装置の対応付け>>
作業分析装置1は、所定の作業動画に対して所定の分析処理を行うにあたって、作業動画を記録する撮像装置の種別(種類、設置位置、撮像対象等)と、分析処理の特徴(分析要素1、2、3等)とに基づいて、撮像装置と当該撮像装置に適した分析処理との対応付けを行う。
詳しく述べると、作業分析装置1は、図7A、Bに示す「分析特徴データ」と、図9に示す「撮像装置種別データ」ともとに撮像装置ごとに適した分析処理の対応付けを行う。
なお、作業分析装置1が、1台の撮像装置によって記録された作業動画に対して1又は複数の作業分析を行う場合には、撮像装置と分析処理の対応付けを改めて行う必要はない。また、作業分析装置1が、複数の撮像装置によって記録された作業動画に対して1の作業分析を行う場合であっても、対応付けを改めて行う必要はない。
【0038】
一例として、作業分析装置1が、図1に示す作業に対して、上述した分析処理の選定、ユーザによる分析処理の決定を経て、「作業分節処理」、「エルゴノミクス処理」及び「両手・片手分析処理」を行う場合を想定する。
この場合、作業分析装置1は、図7A、Bに示す「分析特徴データ」と、図9に示す「撮像装置種別データ」とをもとに、第1撮像装置100(手持ちカメラ)に「作業分節処理」、「エルゴノミクス処理」、「両手・片手分析処理」を対応付けて、第2撮像装置200(ウェアラブルカメラ)に「作業分節処理」、「両手・片手分析処理」を対応付けて、第3撮像装置300(天井カメラ)に「作業分節処理」を対応付ける。
【0039】
なお、作業分析装置1は、作業動画を記録する撮像装置と、撮像装置に適した分析処理との対応付けを予め指定しておいても良い。つまりは、撮像装置ごとに任意の分析処理がデフォルト設定された状態となっていても良い。その場合には、撮像装置の種別(種類、設置位置、撮像対象)と、分析処理の特徴(分析要素1、2、3)とに基づいて、撮像装置ごとに適した分析処理が設定されていると良い。予め対応付けが行われている場合には、当然ながら作業分析装置1は、複数の分析処理の中から適した分析処理を選定する必要はない。
作業分析装置1は、ユーザ操作による任意の決定に基づいて撮像装置ごとに分析処理の対応づけを行っても良い。この場合においても、当然ながら作業分析装置1は、分析処理の選定を行う必要はない。
【0040】
<<分析処理の実行>>
作業分析装置1は、作業を記録した作業動画に対して、選定された分析処理の中からユーザ操作により決定された「1又は複数の分析処理」を行い、分析処理の結果(分析結果データ)を出力する。
詳しく述べると、作業分析装置1は、撮像装置によって記録された作業動画に対して、当該撮像装置に対応付けられた「1又は複数の分析処理」を行い、分析処理の結果を出力する。
作業分析装置1は、所定の作業(作業動画)に対して複数の分析処理を行う場合には、複数の分析処理の結果を組み合わせた(併合させた)分析処理の結果(併合分析結果とも称する。)を出力する。具体的には、所定の作業に対して作業動画の併合(マージとも称する。)と、それぞれの分析結果の併合とを行った併合分析結果(併合分析結果データ)を出力する。
なお、作業分析装置1は、それぞれ個別の分析結果、作業動画の併合のみを行った分析結果、作業動画の併合を行わずに分析結果の併合のみを行った結果を出力しても良い。
【0041】
具体例として、図1図10図14に示すように、作業分析装置1が、第1撮像装置100、第2撮像装置200及び第3撮像装置300と通信可能に接続され、部品の組み立て作業(作業動画)に対して「作業分節処理」、「エルゴノミクス処理」及び「両手・片手分析処理」を行う場合を想定する。
作業分析装置1は、第1撮像装置100(手持ちカメラ)によって記録された作業動画に対して「作業分節処理」、「エルゴノミクス処理」、「手元分析処理」を行う。そして、第2撮像装置200(ウェアラブルカメラ)によって記録された作業動画に対して「作業分節処理」、「手元分析処理」を行う。そして、第3撮像装置300(天井カメラ)によって記録された作業動画に対して「作業分節処理」を行う。
その後、作業分析装置1は、図15に示すように、それぞれの作業動画の併合と、それぞれの分析処理結果の併合とを行った併合分析結果を出力する。
図15の併合分析結果によれば、(1)作業要素ごとに分節処理が行われていること、(2)作業者が「人間工学に即した動作」となっていない作業(作業要素)に対して記録マークが付与されていること、そして、(3)作業者の片手作業と、作業者の両手作業とを作業要素ごとに異なる色でハイライト表示していることが分かる。
【0042】
作業分析装置1は、図15に示すように、所定の作業に対して作業動画の併合と、それぞれの分析結果の併合とを行った併合分析結果をサイクルごとに表示画面(作業分析画面)に出力できる。具体的には、図5に示す作業分析画面を通じて、併合させた作業動画を再生することができ、それぞれの分析結果を作業要素ごとに一覧表示することができる。
【0043】
図5に示す作業分析画面40のレイアウトによれば、左上部分の表示領域には、作業動画41(併合された作業動画)が表示されている。
作業分析画面40の下部分の表示領域には、分析結果42(併合分析結果)が作業要素ごとに分節されて表示されている。分析結果42には、作業動画の分節位置の情報と、分析処理により記録された記録情報とが表示され、また作業動画の再生時点を示すシークバー42aと、分析処理(分析処理の名称)42bとが表示されている。
作業分析画面40の右上部分の表示領域には、作業要素一覧表43が表示されている。作業要素一覧表43には、識別番号(Nо.)、作業要素、エルゴノミクス評価(エルゴ評価)、両手・片手評価(両手・片手)、種別、要素時間、有効時間、無効時間、レイティング(Rat)、標準時間の情報のほか、作業の合計時間(計)、サイクル情報等が表示されている。なお、全サイクルにおいてベストラップ、ワーストラップの作業時間を示す表示マークなどが表示されても良い。
上記「エルゴノミクス評価」は、エルゴノミクス処理の結果、作業要素に対して記録された記録情報を示すものである。「両手・片手評価」は、両手・片手分析処理の結果、作業要素に対して記録された片手作業の情報(両手作業の情報)を示すものである。
作業分析画面40の画面レイアウトについては、レイアウト切替ボタン44によって適宜切り替えることができる。また、サイクル切替ボタン45によってサイクルを切り替え表示することができる。
【0044】
<<分析処理(分節処理)による分節位置の補正>>
作業分析装置1は、所定の作業を複数の撮像装置によって記録した各作業動画に対し、複数の分節処理を行い、それぞれ分節された分節位置に基づいて「分節位置の補正」を行う。そして、補正された「補正後の分節位置の情報」を含む分析処理の結果を出力する。
詳しく述べると、作業分析装置1は、複数の分節処理の中から、「分析対象及び/又は作業内容の種別」に基づいて所定の分節処理を抽出し、抽出された分節処理それぞれによって分節された分節位置に基づいて「分節位置の補正」を行う。
より詳しく述べると、抽出された分節処理それぞれには、分析対象や作業内容の種別に応じて向き不向き(得手不得手)があること(分節処理の性能に応じた相性があること)から、分析対象や作業内容の種別ごとの「重みづけ」がなされている。
そのため、作業分析装置1は、複数の分節処理の中から、分析対象及び/又は作業内容の種別に基づいて所定の分節処理を抽出し、抽出された分節処理それぞれに対し「所定の重み付け」を行い、抽出された分節処理それぞれによって分節された「分節位置」と、分節処理それぞれになされた「重み」とに基づいて「分節位置の補正」を行う。
上記分析対象(対象オブジェクト)、作業内容の種別ごとの分節処理の重みの情報は、図7A、Bに示す「分析特徴データ」に含まれている。
【0045】
具体例として、図1図10図14に示すように、作業分析装置1が、第1撮像装置100、第2撮像装置200及び第3撮像装置300と通信可能に接続され、部品の組み立て作業(作業動画)に対して「作業分節処理」、「エルゴノミクス処理」及び「手元分析処理」を行う場合を想定する。
この場合に、作業分析装置1は、図15に示すように、「作業分節処理」と、「エルゴノミクス処理」と、「手元分析処理」とによって分節された分節位置に基づいて分節位置の補正を行い、「補正後の分節位置の情報」を含む分析処理の結果を出力する。
より具体的には、以下の通りである。
【0046】
第1の補正パターンとして、作業分析装置1は、第1撮像装置100(手持ちカメラ)によって記録された作業動画に対して「作業分節処理」を行った分節位置A1と、第3撮像装置300(天井カメラ)によって記録された作業動画に対して「作業分節処理」を行った分節位置A2とから補正を行い、補正後の分節位置Aを設定する。
このように、設置位置が異なる(撮像対象が異なる)撮像装置100、300によって記録された別々の作業動画に対して同じ分析処理を行ったときに、それぞれの分節位置に基づいて分節位置の補正を行うことができる。
【0047】
第2の補正パターンとして、作業分析装置1は、第1撮像装置100(手持ちカメラ)によって記録された作業動画に対して「作業分節処理」を行った分節位置B1と、第2撮像装置200(ウェアラブルカメラ)によって記録された作業動画に対して「手元分析処理」を行った分節位置B2とから補正を行い、補正後の分節位置Bを設定する。
このように、設置位置が異なる(撮像対象が異なる)撮像装置100、200によって記録された別々の作業動画に対して異なる分析処理を行ったときに、それぞれの分節位置に基づいて分節位置の補正を行うことができる。
【0048】
そのほか、図示していないが、作業分析装置1は、同じ撮像装置(例えば手持ちカメラ)によってサイクルごとに記録された作業動画に対して、第1サイクル目に「作業分節処理」を行った分節位置と、第2サイクル目に「作業分節処理」を行った分節位置とに基づいて補正を行い、補正後の分節位置を設定しても良い。
あるいは、作業分析装置1は、同じ撮像装置(例えば手持ちカメラ)によってサイクルごとに記録された作業動画に対して、第1サイクル目に「作業分節処理」を行った分節位置と、第2サイクル目に「両手・片手分析処理」を行った分節位置とに基づいて補正を行い、補正後の分節位置を設定しても良い。
【0049】
上記により、作業分析装置1は、撮像装置によって記録された作業動画に対して、当該撮像装置に対応付けられた分析処理によって作業要素ごとに分節を行い、当該分節を行った分節位置をさらに補正することができる。そのため、作業動画に対してより適切な分節処理を行うことができる。
特に、設置位置が異なる(撮像対象が異なる)撮像装置によって記録された作業動画によって異なった分節位置を考慮して、作業動画(作業内容)の特徴を踏まえながら分節位置の補正を行うことができる。
【0050】
<作業分析システムのハードウェア構成>
作業分析装置1は、図2に示すように、データの演算・制御処理装置としてのCPU2と、ROM、RAM及びHDD(SSD)を有する記憶装置3と、ネットワークを通じて情報データの送受信を行う通信インタフェース4と、文字又は画像の情報を表示する表示部5と、CPUに所定の指令を入力するときにユーザ操作される入力部6と、文字又は画像の情報を出力する出力部7と、を備えたコンピュータである。
作業分析装置1は、撮像装置によって記録された作業動画(作業動画データ)を撮像装置ごとに、またサイクルごとに分けて記憶する。また、作業工程ごとに分けて記憶することもできる。
作業分析装置1の記憶装置3(メモリ)には、コンピュータとして必要な機能を果たすメインプログラムに加えて、作業分析プログラムが記憶されており、当該プログラムがCPU(プロセッサ)によって実行されることにより、作業分析装置1の機能が発揮されることになる。あるいは、CPUを実装した半導体集積回路又はFPGA(Field-Programmable Gate Array)によって実行されても良い。
なお、撮像装置100、200、300についても同様のハード構成を備えたコンピュータである。
【0051】
なお、作業分析装置1がモバイル作業分析装置である場合には、CPU2と、記憶装置3と、通信インタフェース4と、表示部5と、入力部6と、出力部7と、撮像部(撮像装置)と、を備えたモバイルコンピュータとなる。
その場合には、モバイル作業分析装置1は、不図示の外部分析装置と通信を行い、作業分析に関する分析データを送信する。外部分析装置は、モバイル作業分析装置1と通信を行い、分析データを受信し、当該分析データに基づいて詳細分析を行い、詳細分析データを送信する。
【0052】
<作業分析システムの機能>
作業分析装置1は、図3に示すように、機能面から説明すると、「作業動画データ」、「作業要素一覧データ」、「分析特徴データ」、「第2分析特徴データ」「撮像装置種別データ」、「分析データ(併合分析データ)」等、各種プログラム及び各種データを記憶しておく記憶部10と、画面表示部11と、分析処理部12と、分析処理選定部13と、種別情報取得部14と、分析処理提示部15と、対応付け部16と、分析実行部17と、分析結果出力部18と、分節位置補正部19と、を主な構成要素として備えている。
これらは、CPU(プロセッサ)、ROM、RAM、HDD、通信用インタフェース、及び各種プログラム等によって構成されている。
【0053】
撮像装置100、200、300についても機能面から説明すると、各種プログラム及び各種データを記憶する記憶部110、210、310と、作業分析装置1との間で各種データを送受信する通信部111、211、311と、ユーザ操作の入力を受け付けて操作処理を実行する操作実行部112、212、312と、を主な構成要素として備えている。
【0054】
以下、作業分析装置1の機能(特に自動分析処理)について詳しく説明する。なお、本実施形態では作業分析装置1が記憶部10を備える構成としているが、あくまで一例に過ぎず、作業分析装置1の外部に設けられた外部記憶装置において記憶部10を実現することとしても良い。この場合、作業分析装置1と外部記憶装置は通信路によって接続されていると良い。
【0055】
<<1.分析画面の表示>>
画面表示部11は、例えば、ユーザ操作の入力を受け付けて作業分析装置1にインストールされたソフトウェアを実行し、ユーザログインがなされることで、初期画面である「メニュー画面」を表示する。当該メニュー画面は、自動分析処理を行うためのメニュー画面である。
具体的には、画面表示部11は、図4に示すように、メニュー画面30として複数の選択項目から所定の選択項目をユーザ選択させるための一覧画面を表示する。
画面表示部11は、メニュー画面30において選択項目31「お手本登録」のユーザ選択を受け付けると、不図示の動画登録画面へ遷移させる。当該画面では、自動作業分析を行うにあたって、上述したように1サイクル分の作業動画を分析した分析結果データを「お手本データ(教師データ)」として登録する。分析処理部12は、当該分析結果データを「教師データ」として学習する。
【0056】
画面表示部11は、メニュー画面30において選択項目32「自動分析」のユーザ選択を受け付けると、図5に示す作業分析画面40へ遷移させる。作業分析画面40は、作業動画を登録して作業分析を行うために用いられる表示画面である。
作業分析画面40では、撮像後の作業動画を表示しながらサイクルごとに作業要素に分節し、作業要素時間の算出、種別設定等を行うことができる。各サイクルの作業(作業要素)のバラツキを確認し、作業要素の並べ替えや、作業工程の編成(組み換え、入れ替え、並び替え)をすることもできる。
【0057】
画面表示部11は、具体的な機能部として、動画表示部11aと、分析結果表示部11bと、作業要素一覧表示部11cと、を有している。
動画表示部11aは、作業を記録した作業動画を表示画面に表示するものであって、具体的には、作業分析画面40において作業動画41を表示する。
【0058】
分析結果表示部11bは、ユーザ操作の入力を受け付けて自動分析処理を行った分析結果を表示する。具体的には、作業分析画面40において分析結果42を表示する。
分析結果42には、シークバー42aと、作業動画に対して行われた分析処理(分析処理の名称)42bとが表示されている。また、分析処理によってなされた分節位置の情報と、付与された記録情報(マークやハイライト)とが表示されている。
図5に示す分析結果42を見ると、複数の分析処理の結果を併合(作業動画の併合、分析結果の併合)した併合分析結果であることが分かる。また、分析処理42bを見ると、「作業分節処理」、「エルゴノミクス処理」及び「両手・片手分析処理」が行われたことが分かる。
【0059】
作業要素一覧表示部11cは、分節された作業要素ごとの作業時間の情報と、作業時間を集計した合計時間の情報とを含む作業要素一覧表43を表示画面に表示する。
具体的には、作業要素一覧表43は、作業要素を識別する識別番号(Nо.)と、作業要素名と、エルゴノミクス評価(エルゴ評価)と、両手・片手評価(両手・片手)と、種別と、作業要素時間の情報と、全ての作業要素の合計時間の情報とを含むものであって、記憶部10に記憶されている。
また、上記作業要素一覧データには、全サイクルにおける平均作業時間、最大作業時間、最小作業時間、各サイクルの作業時間の情報が含まれている。
なお、作業分析画面40を通じた作業要素一覧表43の情報の更新に伴って、図6示す「作業要素一覧データ」の情報も更新され、記憶部10に記憶される。
【0060】
図5に示す作業要素一覧表43を見ると、識別番号「3」、作業要素名「部品をとる」において、エルゴ評価「●○」、両手・片手「片手」、種別「有効」、サイクル1の要素時間「5.00(秒)」、レイティング(Rat)「100(%)」、標準時間「5.00(秒)」であることが分かる。また、作業要素の合計の標準時間「45.00(秒)」であることが分かる。
なお、サイクル1とは、第1番目のサイクルを意味する。
【0061】
<<2.分析処理の選定、提示>>
分析処理部12は、撮像装置によって一連の作業が撮像された作業動画に対し、作業に関する分析要素に基づく分析処理を作業要素ごとに行う。
分析処理部12は、分析処理群とも称され、上述したように分析要素に応じた複数の分析処理部を含むものである。具体的には、作業分節処理、手元分析処理、部材位置トラッキング処理、機械動作トラッキング処理、エルゴノミクス処理、両手・片手分析処理、画像異変検知処理、サーブリック分析処理、動作経済の原則処理等が挙げられる。
本実施形態では、作業分析装置1が、「作業分節処理」を行う第1分析処理部12aと、「エルゴノミクス処理」を行う第2分析処理部12bと、「両手・片手分析処理」を行う第3分析処理部12cとによる分析処理を行うものとして以下、説明する(もちろん、作業分析装置1が「画像異変検知処理」をさらに行っても良い)。
【0062】
(第1の選定処理)
分析処理選定部13は、作業に関する分析要素に基づいて、複数の分析処理(分析処理部)の中から、所定の分析処理(分析処理部)を選定する。
詳しく述べると、分析処理選定部13は、ユーザ操作による所定の分析要素の選択を選択条件として受け付けて、図7A、Bに示す「分析特徴データ」を参照して複数の分析処理の中から、ユーザによる選択条件に基づく、分析処理の重みに応じた1又は複数の分析処理を選定する。
分析処理提示部15は、分析処理選定部13によって選定された分析処理を表示画面に提示する。
以下、第1の選定処理について具体的に説明する。
【0063】
記憶部10は、図7A、Bに示すような、作業に関する複数の分析処理と、作業に関する複数の分析要素と、分析要素ごとの分析処理の重みを示す評価情報とを含む「分析特徴データ」を記憶している。
図7A、Bに示す「分析特徴データ」は、作業に関する分析要素に基づいて、分析処理(分析AI)の選択を可能とする分析処理の選択条件データである。具体的には、「分析要素」ごとに各分析処理の重みを示す「評価情報(スコア)」が示されている。
【0064】
「分析要素」としては、分析要素1「対象オブジェクト(分析対象)」、分析要素2「作業内容」、分析要素3「撮像装置」、分析要素4「平均処理速度」、分析要素5「利用料金」、分析要素6「実績データ」が挙げられている。
これら分析要素は、上述したように分析処理の重みによってスコアリングされた第1グループに属する分析要素1、2、3と、分析処理の重みによってスコアリングされていない第2グループに属する分析要素4、5、6とに分類される。
第1グループに属する分析要素1、2、3では、スコアをもとに適格性を判断して分析処理の選択が行われる。当該スコアは、各分析処理が行う分析において得意とする又は不得意とする度合いを示す情報(適格性の度合いを示す情報)である。分析処理選定部13は、分析要素1、2、3ごとのスコアをもとに、複数の分析処理の中から適格な分析処理を選定する。
【0065】
分析要素1「対象オブジェクト」とは、分析対象として作業者(人)、機械、部品、製品等の有体物を示したものである。
例えば、ユーザとなる分析者が「作業者」を分析対象として作業動画の分析処理を行いたい場合、ユーザは分析要素1において「作業者」を選択する。当該選択条件に基づいて、分析処理選定部13は、分析要素1「対象オブジェクト:作業者」の評価(スコア)が高い分析処理を選定候補とする(優先して選定する)。言い換えれば、分析処理選定部13は、作業動画に対して作業者を分析対象として識別し、作業者の作業を作業要素ごとに分節することを得意とする分析処理を選定候補とする。
【0066】
分析要素2「作業内容」とは、分析内容として手元作業、上半身作業、歩行を伴う作業、他の作業者との共同作業、機械との共同作業等を示したものである。
例えば、ユーザが「作業者の手元作業」の作業動画を分析処理したい場合に、ユーザは分析要素2において「手元作業」を選択する。当該選択条件に基づいて、分析処理選定部13は、分析要素2「作業内容:手元作業」の評価(スコア)が高い分析処理を選定候補とする。言い換えれば、分析処理選定部13は、作業動画に対して「作業者(作業者の両手、片手)」を分析対象として識別し、手元作業を作業要素ごとに分節することを得意とする分析処理を選定候補とする。
より詳しく述べると、分析要素2において選定候補となる分析処理は、作業動画に含まれる対象オブジェクト(作業者、機械、工具、材料、部品、製品等)、作業者の位置、機械の配置構成、作業場所の情報、作業時間の情報等の組み合わせから、所定の作業(手元作業、上半身作業等)を識別(特定)し、分節処理を行うことを可能とする処理である。
【0067】
分析要素3「撮像装置」とは、撮像装置の種別(種類、設置位置等)として天井カメラ、固定カメラ、ウェアラブルカメラ、手持ちカメラ等を示したものである。
例えば、ユーザが「ウェアラブルカメラ」を用いて撮像した作業動画の分析処理を行いたい場合に、ユーザは分析要素3において「ウェアラブルカメラ」を選択する。当該選択条件に基づいて、分析処理選定部13は、分析要素3「撮像装置:ウェアラブルカメラ」の評価(スコア)が高い分析処理を選定候補とする。
図7A、Bによれば、分析処理選定部13は、「ウェアラブルカメラ」に適した分析処理として、作業分節処理(スコア:7点)、手元分析処理(スコア:8点)、部材位置トラッキング処理(スコア:9点)を優先して選定することが想定される。
【0068】
分析要素4「平均処理速度」とは、作業動画の再生時間に対する割合(%)で示されるものである。例えば、平均処理速度が125%であるとき、再生時間が1時間の作業動画に対しておよそ1.25時間で分析処理を行うことができる。
分析要素5「利用料金」とは、作業動画の再生時間に応じた分析処理の利用料金を示す。例えば、利用料金が1ドル/時間(h)であるとき、再生時間が1時間(1h)の作業動画に対して分析処理を行う場合におよそ1ドルの料金が発生する。
分析要素6「実績データ」とは、過去の利用実績を示すものである。例えば、実績時間が10million/hである場合には、該当する分析処理が過去に1000万時間利用されていることを示す。
【0069】
上記において、分析処理選定部13は、図7A、Bに示す「分析特徴データ」に含まれる第1グループに属する分析要素1、2、3に基づく場合に、ユーザによる選択条件に基づく、分析処理の重み(スコア)に応じた1又は複数の分析処理を選定する。また、「分析特徴データ」に含まれる第2グループに属する分析要素に基づく場合に、分析処理の重み(スコア)によらない、ユーザによる選択条件に基づいた1又は複数の分析処理を選定する。
そして、分析処理提示部15は、第1グループに属する分析要素及び/又は第2グループに属する分析要素に基づいて選定された分析処理を表示画面に提示する。
【0070】
つまりは、分析処理選定部13は、第1グループの分析要素1、2、3を用いて分析処理の選定を行う場合、各分析要素のスコアに基づいて行う。他方で、第2グループの分析要素4、5、6を用いて分析処理の選定を行う場合には、ユーザの選択条件にそのまま合致する分析処理を選定する。言い換えれば、後者の場合にはユーザによる相対的な選択基準に従って分析処理を選定する。
なお、分析処理選定部13は、ユーザ操作による選択の結果、単一の分析要素に基づいて1又は複数の分析処理の選定を行っても良いし、複数の分析要素に基づいて1又は複数の分析処理の選定を行っても良い。
【0071】
より詳しく説明すると、分析処理選定部13は、複数の分析要素(例えば分析要素1×分析要素2)を組み合わせて分析処理を選定する場合に、各スコアを用いた所定の演算結果に基づいて分析処理を選定する。所定の演算方法として、例えば平均値を算出する方法、分析要素の優先度に応じた重みづけを行った値を用いて平均値を算出する方法等がある。
図7A、Bに示すような「分析特徴データ」を記憶している状態において、ユーザは、ユーザ操作による選択条件を指定する(条件を1つ1つ指定する方法、予め指定した条件の組み合わせを選択する方法等がある)。ユーザが選択条件を指定するにあたって、例えば第1グループに属する分析要素を少なくとも1つ選択することを必要とし、第2グループに属する分析要素については任意とすることが可能である。
分析処理選定部13は、ユーザによって選択された条件を掛け合わせて適応度が高い分析処理を優先して選定する。そして、分析処理提示部15は、適応度が高い順に分析処理を並べて提示する。ユーザは、提示された分析処理の中から分析処理を決定する。
【0072】
(第2の選定処理)
分析処理選定部13は、「第1の選定処理」とは異なる「第2の選定処理」によって複数の分析処理の中から所定の分析処理を選定しても良い。具体的には、下記の通りである。
記憶部10は、図7A、Bに示す「分析特徴データ」を記憶するほか、図8に示すような、撮像装置の種別(作業内容)と、分析対象と、分析処理(分析処理の性能)とを対応付けた「第2分析特徴データ」を記憶している。
種別情報取得部14は、作業の分析を行うにあたって、当該作業を撮像するための「撮像装置の種別情報」を取得する。
分析処理選定部13は、「撮像装置の種別情報」を得て、図7A、Bに示す「分析特徴データ」と、図8に示す「第2分析特徴データ」とを参照して上記複数の分析処理の中から1又は複数の分析処理(分析AI)を選定する。
より具体的には、分析処理選定部13は、作業動画の全体内容を俯瞰して「撮像装置の種別情報(例えば種類、設置位置、設置角度など)」を得て、「分析特徴データ」、「第2分析特徴データ」をもとに選定候補となり得る分析処理を予備選定する(選定候補とはならない分析処理を除外する)。そして、ユーザの要望を受け付けて、「分析特徴データ」、「第2分析特徴データ」をもとに適切な分析処理を本選定する。
【0073】
図8に示す「第2分析特徴データ」では、「撮像装置の種別」として手持ちカメラ、固定カメラ、ウェアラブルカメラ、手元カメラ、天井カメラ、センサー等が設定され、「分析対象」として作業、エルゴノミクス、指先、オブジェクト全体等が設定され、「分析処理の性能」として分析処理1-1、1-2、1-3等が設定されている。
また、「第2分析特徴データ」には、「撮像装置の種別」と「分析対象」とに基づいた「分析処理の性能」の評価情報(選定優先度)が記号「◎、〇、△、×」で記されている。
分析処理の性能とは、分析処理によって行われる分析要素の解析手法等の違い(特徴量情報とも称する。)を示すものである。例えば、分析処理1-1、1-2、1-3は、作業分節処理を行うものであって、分析処理1-1は、「作業者の動作をボーンデータによって解析する手法」により作業分節処理を行う。分析処理1-2は、「作業者の動作を人物形状によって解析する手法」により作業分節処理を行う。
例えば、撮像装置の種別「手持ちカメラ」、分析対象「作業」の場合には、「作業者の動作を人物形状によって解析する手法」を持つ分析処理1-2(評価:△)よりも、「作業者の動作をボーンデータによって解析する手法」を持つ分析処理1-1(評価:◎)が高い評価を有し(特徴量が大きく)、分析処理1-1を優先して選定した方が良いことを示している。
【0074】
具体例として、撮像装置「手持ちカメラ」によって撮像された作業動画を用いて「作業者の上半身作業」を分析処理する場合を想定する。
種別情報取得部14は、撮像装置によって記録された作業動画の全体内容を俯瞰することで、「撮像装置の種別情報(手持ちカメラであること)」を取得する。
分析処理選定部13は、「撮像装置の種別情報」を得た上で、図8に示す「第2分析特徴データ」をもとに予備選定を行い、「手持ちカメラ」に不向きな分析処理を除外する。
分析処理選定部13は、ユーザ操作による分析要素の選択を選択条件として受け付ける。例えば、分析要素1「対象オブジェクト:作業者」、分析要素2「作業内容:上半身作業」を選択条件として受け付ける。
分析処理選定部13は、ユーザによる選択条件から、図7A、Bに示す「分析特徴データ」、図8に示す「第2分析特徴データ」をもとに本選定を行い、「作業分節処理」、特に、「作業者の動作をボーンデータによって解析する手法を持つ作業分節処理」を選定する。
【0075】
上記によれば、第1の選定処理よりも精度の高い選定を行うことができる。具体的には、多数の分析処理群の中から選定候補となり得る分析処理を大まかに選定(予備選定)した上で、その選定候補の中からユーザの要望に応じた分析処理を選定(本選定)することができる。特に、分析処理の性能に応じた分析処理の選定を行うことができる。
【0076】
<<3.分析処理と撮像装置の対応付け>>
対応付け部16は、所定の作業動画に対して所定の分析処理を行うにあたって、作業動画を記録する撮像装置の種別(種類、設置位置、撮像対象)と、分析処理の特徴(分析要素1、2、3)とに基づいて、撮像装置と当該撮像装置に適した分析処理との対応付けを行う。
詳しく述べると、対応付け部16は、図7A、Bに示す「分析特徴データ」と、図9に示す「撮像装置種別データ」とをもとに撮像装置ごとに適した分析処理の対応付けを行う。
なお、分析処理選定部13が、所定の作業(作業動画)に対して複数の分析処理の中から所定の分析処理を選定したときに、作業動画ごとに(撮像装置ごとに)分析処理を対応付けておいても良い。その場合には、対応付け部16が撮像装置と分析処理の対応付けを改めて行う必要はない。
【0077】
図9に示す「撮像装置種別データ」によれば、撮像装置の「種類」、「設置位置」に応じて撮像対象となる「対象オブジェクト」、「作業内容」が異なることを示している。
例えば、種類「固定カメラ1」、設置位置「入口」となる撮像装置は、撮像対象として「作業者」を検出できるが、「機械」を検出できないことを示している。つまりは、「固定カメラ1」の場合には、作業分析装置1が「作業者」による作業(移動、手元の動き)を作業要素ごとに分節できるが、「機械」による作業を分節できないことを示している。
また、種類「天井カメラ1」の場合には、作業分析装置1が、対象オブジェクト「作業者」、「機械」の両方を検出して作業分節できること示している。
【0078】
具体例として、作業分析装置1が、図1に示す「部品組み立て作業」を撮像した撮像装置100、200、300によって記録された作業動画に対して、上述した分析処理の選定、ユーザによる分析処理の決定を経て、「作業分節処理」、「エルゴノミクス処理」及び「両手・片手分析処理」を行う場合を想定する。
この場合、対応付け部16は、図7A、Bに示す「分析特徴データ」と、図9に示す「撮像装置種別データ」とをもとに、第1撮像装置100(手持ちカメラ)に「作業分節処理」、「エルゴノミクス処理」、「両手・片手分析処理」を対応付けて、第2撮像装置200(ウェアラブルカメラ)に「作業分節処理」、「両手・片手分析処理」を対応付けて、第3撮像装置300(天井カメラ)に「作業分節処理」を対応付ける。
【0079】
上記具体例によれば、「作業分節処理」は、撮像装置100、200、300に対応付けられ、これら撮像装置によって撮像された作業動画それぞれに対して作業要素ごとに分析処理を行う。
「エルゴノミクス処理」は、第1撮像装置100のみに対応付けられ、第1撮像装置100によって撮像された作業動画に対して作業要素ごとに分析処理を行う。
「作業分節処理」は、第1撮像装置100、第2撮像装置200に対応付けられ、これら撮像装置によって撮像された作業動画に対して作業要素ごとに分析処理を行う。
【0080】
<<4.分析処理の実行>>
分析実行部17は、作業動画に対して、選定された分析処理の中からユーザ操作により決定された分析処理を行い、分析結果出力部18は、分析処理の結果(分析結果データ)を出力する。
詳しく述べると、分析実行部17は、各撮像装置によって記録された作業動画に対して、当該撮像装置に対応付けられた「1又は複数の分析処理」を行い、分析結果出力部18は、分析処理の結果を出力する。
分析結果出力部18は、図10図12図14に示すように、所定の作業に対して複数の作業動画が記録され、複数の分析処理が実行されたときに、複数の分析処理の結果を組み合わせた(併合させた)分析処理の結果(併合分析結果)を出力する。具体的には、所定の作業に対して各作業動画の併合を行い、また各分析結果の併合を行った併合分析結果(併合分析結果データ)を出力する。
【0081】
具体例として、図11によれば、分析実行部17は作業動画に対して「作業分節処理」を行っている。ここで、分析実行部17は、図10に示す複数の作業動画(撮像装置100、200、300によって撮像された作業動画)を併合させた作業動画に対して「作業分節処理」を行っているが、もちろん作業動画ごとに「作業分節処理」を行っても良い。
また、図12によれば、分析実行部17は、作業動画に対して「エルゴノミクス処理」を行っている。図14によれば、分析実行部17は、作業動画に対して「両手・片手分析処理」を行っている。
【0082】
分析結果出力部18は、図15に示すように、所定の作業に対して作業動画の併合と、それぞれの分析処理結果の併合とを行った併合分析結果をサイクルごとに表示画面(作業分析画面)に出力できる。具体的には、図5に示す作業分析画面を通じて、併合させた作業動画を再生することができ、それぞれの分析結果を作業要素ごとに一覧表示させることができる。
【0083】
<<5.分析処理(分節処理)による分節位置の補正>>
分節位置補正部19は、所定の作業を複数の撮像装置によって記録した各作業動画に対し、複数の分析処理を行い、それぞれ分節された分節位置に基づいて「分節位置の補正」を行う。そして、分析結果出力部18は、補正された「補正後の分節位置の情報」を含む分析処理の結果を出力する。
詳しく述べると、分節位置補正部19は、上記複数の分析処理の中から、「分析対象及び/又は作業内容の種別」に基づいて所定の分析処理を抽出し、抽出された分析処理それぞれに対し「所定の重み付け」を行い、抽出された分析処理それぞれによって分節された「分節位置」と、分析処理それぞれになされた「重み」とに基づいて「分節位置の補正」を行う。
上記分析対象(作業者、機械)、作業内容の種別ごとの「分節処理の重みの情報」として、図7A、Bに示す「分析特徴データ」に含まれる「スコア(重み)」が用いられる。
【0084】
なお、分節位置補正部19は、「分析対象及び/又は作業内容の種別」に基づいて所定の分析処理を抽出するほか、「撮像装置の種類、設置位置、撮像対象(図9参照)」に基づいて所定の分析処理を抽出しても良い。これらの組み合わせに基づいて所定の分析処理を抽出しても良い。
あるいは、分節位置補正部19は、分析処理に重み付けすることなく、全ての分析処理の結果をもとに分節結果の平均値を算出し、当該平均値となる分節位置を補正後の分節位置に設定しても良い。
【0085】
具体例として、分節位置補正部19は、図15に示すように、「作業分節処理」と、「エルゴノミクス処理」と、「手元分析処理」とによって分節された分節位置に基づいて分節位置の補正を行う場合を想定する。
【0086】
「第1の補正パターン」として、分節位置補正部19は、第1撮像装置100(手持ちカメラ)によって記録された作業動画に対して「作業分節処理」を行った分節位置A1と、第3撮像装置300(天井カメラ)によって記録された作業動画に対して「作業分節処理」を行った分節位置A2とから補正を行い、補正後の分節位置Aを設定する。
このように、設置位置が異なる(撮像対象が異なる)撮像装置100、300によって記録された別々の作業動画に対して「同じ分析処理」を行ったときに、それぞれの分節位置に基づいて分節位置の補正を行うことができる。
なお、第1撮像装置100、第3撮像装置300には、図7A、Bに示す「分析特徴データ」に含まれる「スコア(重み)」が設定されており、「スコア(重み)」を考慮して補正後の分節位置が設定されている。
【0087】
「第2の補正パターン」として、分節位置補正部19は、第1撮像装置100(手持ちカメラ)によって記録された作業動画に対して「作業分節処理」を行った分節位置B1と、第2撮像装置200(ウェアラブルカメラ)によって記録された作業動画に対して「手元分析処理」を行った分節位置B2とから補正を行い、補正後の分節位置Bを設定する。
このように、設置位置が異なる(撮像対象が異なる)撮像装置100、200によって記録された別々の作業動画に対して「異なる分析処理」を行ったときに、それぞれの分節位置に基づいて分節位置の補正を行うことができる。
【0088】
上記のような作業分析装置1を利用することで、作業分析を行うユーザの要望に応じて、複数の分析処理の中から適切な分析処理を選定、提案し、ユーザにより決定された分析処理を実行することが可能となる。
また、作業分析装置1を利用することで、作業動画に対して作業要素ごとに分節処理を行うにあたって、より適切な位置で分節処理を行うことが可能となる。
【0089】
<作業分析方法>
次に、作業分析システムSで実行される作業分析プログラム(作業分析方法)の処理の一例について、図16図17に基づいて説明する。
本実施形態に係る上記プログラムは、記憶部10を備えた作業分析装置1の機能的な構成要素として、上述した画面表示部11と、分析処理部12と、分析処理選定部13と、種別情報取得部14と、分析処理提示部15と、対応付け部16と、分析実行部17と、分析結果出力部18と、分節位置補正部19とを実現させるためのプログラムであって、作業分析装置1のCPU(プロセッサ)がこの走行制御プログラムを実行する。
上記プログラムは、ユーザ(具体的には、作業分析者)からの操作指示を受け付けて実行されるものである。
【0090】
図16に示すフローは、「作業分析方法」の一部の処理フローを示す。具体的には、作業に関する分析要素に基づいて分析処理(分析AI)を提案し、作業動画に対して分析処理を行う方法の処理フローを示す。
図17に示すフローは、作業動画に対して複数の分析処理を実行し、各分析処理によって分節された分節位置の補正を行う方法の処理フローを示す。
【0091】
図16に示す作業分析フロー(1)では、まず、画面表示部11が、図4に示すメニュー画面30において選択項目32「自動分析」のユーザ選択を受け付けて、図5に示す作業分析画面40(分析画面)を表示するステップ(S1)から始まる。
なお、画面表示部11は、例えば、ユーザ操作の入力を受け付けて作業分析装置1にインストールされたソフトウェアを実行し、ユーザログインがなされることで、初期画面であるメニュー画面30を表示する。
【0092】
ステップ2では、作業分析装置1(作業動画取得部とも称する。)が、撮像装置によって撮像された作業動画を取得する。具体的には、ユーザ操作の選択を受け付けて、作業分析を行う対象となる作業動画を取り込む。
なお、作業分析装置1は、作業分析画面40を表示する前に作業動画を取得しておいても良い。
【0093】
ステップ3では、分析処理選定部13が、ユーザ操作による所定の分析要素の選択を選択条件として受け付けて、図7A、Bに示す「分析特徴データ」を参照して複数の分析処理の中から、ユーザによる選択条件に基づく、分析処理の重みに応じた1又は複数の分析処理を選定する(第1の選定処理)。
なお、分析処理選定部13は、上述したように、「第1の選定処理」とは異なる「第2の選定処理」によって所定の分析処理を選定しても良い。「第2の選定処理」の場合には、分析処理選定部13は、作業動画の全体内容を俯瞰して「撮像装置の種別情報(例えば種類、設置位置、設置角度など)」を得て、図7A、Bに示す「分析特徴データ」、図8に示す「第2分析特徴データ」をもとに選定候補とはならない分析処理を除外する。そして、ユーザの選択条件を受け付けて、「分析特徴データ」、「第2分析特徴データ」をもとに適切な分析処理を本選定する。
【0094】
ステップ4では、分析処理提示部15が、分析処理選定部13によって選定された分析処理を表示画面に提示する。
具体的には、分析処理提示部15は、選定された「分析処理の候補」と、分析要素ごとに重み付けされた「分析処理のスコア(分析処理の決定にあたっての補足情報)」とを表示画面に提示する。つまりは、分析処理提示部15は、適応度が高い順に分析処理を並べて提示する。
【0095】
ステップ5では、作業分析装置1(分析処理決定部とも称する。)が、ユーザ操作による選択を受け付けて、提示された複数の分析処理の中から分析処理を決定する。
具体的には、ユーザは、表示画面に提示された「分析処理の候補」と、「分析処理のスコア」とを参考にしながら、表示画面に提示された分析処理の中から分析処理を選択決定する。
【0096】
ステップ6では、対応付け部16が、作業動画を記録する撮像装置の種別(種類、設置位置、撮像対象)と、分析処理の特徴(分析要素1、2、3等)とに基づいて、「撮像装置」と当該撮像装置に適した「分析処理」との対応付けを行う。
具体的には、対応付け部16は、図9に示す「撮像装置種別データ」と、図7A、Bに示す「分析特徴データ」とをもとに撮像装置ごとに適した分析処理の対応付けを行う。
なお、分析処理選定部13が、所定の作業(作業動画)に対して複数の分析処理の中から所定の分析処理を選定したときに、作業動画ごとに(撮像装置ごとに)分析処理を対応付けても良い。その場合には、ステップ6で、対応付け部16が撮像装置と分析処理の対応付けを改めて行う必要はない。
【0097】
ステップ7では、分析実行部17が、作業動画に対して、ユーザ操作により決定された分析処理を行う。
詳しく述べると、分析実行部17は、各撮像装置によって記録された作業動画に対して、当該撮像装置に対応付けられた「1又は複数の分析処理」を行う。
そして、ステップ8で、分析結果出力部18は、分析処理の結果(分析結果データ)を出力する。詳しく述べると、分析結果出力部18は、複数の作業動画が記録され、複数の分析処理が実行されたときに、複数の分析処理の結果を併合した「併合分析結果」を出力する。具体的には、各作業動画の併合を行い、また各分析結果の併合を行った併合分析結果データを出力する。
上記ステップ1からステップ8を経て図16のプロセスを終了する。
【0098】
次に、図17に示すように、複数の分析処理を実行し、各分析処理によって分節された分節位置の補正を行う方法の処理フローを示す。
図17に示す作業分析フロー(2)では、まず、作業分析装置1(作業動画取得部)が、複数の撮像装置から作業動画を取得するステップ(S101)から始まる。
【0099】
ステップ102では、対応付け部16が、作業動画を記録する撮像装置の種別(種類、設置位置、撮像対象)と、分析処理の特徴(分析要素)とに基づいて、「撮像装置」と当該撮像装置に適した「分析処理」との対応付けを行う。
具体的には、対応付け部16は、図9に示す「撮像装置種別データ」と、図7A、Bに示す「分析特徴データ」とをもとに撮像装置ごとに適した分析処理の対応付けを行う。
なお、分析処理選定部13が所定の作業(作業動画)に対して複数の分析処理の中から所定の分析処理を選定し、対応付け部16が作業動画ごとに(撮像装置ごとに)分析処理を対応付けても良い。
【0100】
ステップ103では、分析実行部17が、各撮像装置によって記録された作業動画に対して、当該撮像装置に対応付けられた複数の分析処理を行う。
【0101】
ステップ104では、分節位置補正部19が、各分析処理によって分節された分節位置を認識する。
具体的には、分節位置補正部19は、複数の分節処理の中から、「分析対象及び/又は作業内容の種別」に基づいて所定の分節処理を抽出し、抽出された分節処理によって分節された分節位置を認識する。
そして、ステップ105で、分節位置補正部19が、認識された分節位置に基づいて「分節位置の補正」を行う。
具体的には、分節位置補正部19は、抽出された分析処理それぞれに対し「所定の重み付け」を行い、認識された「分節位置」と、分析処理それぞれになされた「重み」とに基づいて「分節位置の補正」を行う。「分節処理の重みの情報」として、図7A、Bに示す「分析特徴データ」に含まれる「スコア(重み)」が用いられる。
【0102】
ステップ106では、分析結果出力部18が、分節位置補正部19によって補正された補正後の分節位置の情報を含む分析処理の結果(分析結果データ)を出力する。
上記ステップ101からステップ106を経て図17のプロセスを終了する。
【0103】
<その他の実施形態>
上記実施形態では、図5に示すように、作業分析装置1が、作業分析画面40を表示して作業分析を実行するところ、作業分析画面40以外の分析画面を表示して種々の作業分析を実行してもよい。
例えば、作業分析装置1は、作業要素一覧表を表示して、サイクルごとに詳細分析を行う「サイクル分析画面」や、山積みグラフを表示して、各サイクルの作業要素のバラツキを確認し、作業要素の編成を行う「山積みグラフ画面」を表示しても良い。あるいは、複数の作業動画を同時に表示する「作業比較画面」を表示し、異なるサイクルや作業者による作業動画の比較を行う分析を実行しても良い。
【0104】
上記実施形態では、作業分析装置1が読み取り可能な記録媒体に作業分析プログラムが記憶されており、作業分析装置1が当該プログラムを読み出して実行することによって処理が実行される。ここで作業分析装置1が読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等をいう。
そのほか、作業分析装置1となる端末(モバイル端末)を利用して専用ソフトウェアを起動させて、ウェブブラウザ上で作業分析プログラムが実行されても良い。
【0105】
上記実施形態では、主として本発明に係る作業分析装置、作業分析方法及び作業分析御プログラムに関して説明した。
ただし、上記の実施形態は、本発明の理解を容易にするための一例に過ぎず、本発明を限定するものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得るとともに、本発明にはその等価物が含まれることは勿論である。
【符号の説明】
【0106】
S 作業分析システム
1 作業分析装置、モバイル作業分析装置
2 CPU
3 記憶装置
4 通信インタフェース
5 表示部
6 入力部
7 出力部
10 記憶部
11 画面表示部
11a 動画表示部
11b 分析結果表示部
11c 作業要素一覧表示部
12 分析処理部
12a 第1分析処理部(第1分節処理部)
12b 第2分析処理部(第2分節処理部)
12c 第3分析処理部(第3分節処理部)
13 分析処理選定部
14 種別情報取得部
15 分析処理提示部
16 対応付け部
17 分析実行部
18 分析結果出力部
19 分節位置補正部
30 メニュー画面
31、32 選択項目
40 作業分析画面
41 作業動画
42 分析結果
42aシークバー
42b 分析処理
43 作業要素一覧表
44 レイアウト切替ボタン
45 サイクル切替ボタン
100 第1撮像装置(手持ちカメラ)
110 記憶部
111 通信部
112 操作実行部
200 第2撮像装置(ウェアラブルカメラ)
210 記憶部
211 通信部
212 操作実行部
300 第3撮像装置(天井カメラ)
310 記憶部
311 通信部
312 操作実行部
A、A1、A2 分節位置
B、B1、B2 分節位置
【要約】
【課題】複数の分析処理の中から適切な分析処理を行うことが可能な作業分析装置を提供する。
【解決手段】作業分析装置1は、作業を撮像した作業動画をもとに作業分析を行う。作業分析装置1は、作業を撮像した作業動画に対して作業に関する分析要素に基づく第1の分析処理を作業要素ごとに行う第1の分析処理部と、作業動画に対して作業に関する分析要素に基づく、第1の分析処理とは異なる第2の分析処理を作業要素ごとに行う第2の分析処理部と、作業に関する分析要素に基づいて少なくとも第1の分析処理及び第2の分析処理の中から所定の分析処理を選定する分析処理選定部と、分析処理選定部によって選定された分析処理を提示する分析処理提示部と、を具備する。
【選択図】図5
図1
図2
図3
図4
図5
図6
図7A
図7B
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17