(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024112670
(43)【公開日】2024-08-21
(54)【発明の名称】作業分析装置、作業分析システム、作業分析方法及びプログラム
(51)【国際特許分類】
G06Q 50/04 20120101AFI20240814BHJP
G06T 7/00 20170101ALI20240814BHJP
G06T 7/20 20170101ALI20240814BHJP
G06V 20/52 20220101ALI20240814BHJP
【FI】
G06Q50/04
G06T7/00 660Z
G06T7/20 300Z
G06V20/52
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2023017876
(22)【出願日】2023-02-08
(71)【出願人】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】藤本 慎也
(72)【発明者】
【氏名】戎野 聡一
【テーマコード(参考)】
5L049
5L050
5L096
【Fターム(参考)】
5L049CC03
5L050CC03
5L096AA06
5L096BA02
5L096CA04
5L096CA21
5L096DA01
5L096FA32
5L096FA33
5L096GA30
5L096GA34
5L096GA51
5L096GA55
5L096JA11
5L096KA04
(57)【要約】
【課題】周期性のある作業を撮影した動画データによる作業分析を低コストで精度よく行うことができる技術を提供する。
【解決手段】複数の作業を含む工程を行う作業者の前記作業を分析する作業分析装置であって、前記作業者が行う前記作業を撮影した動画データにおける前記作業の周期の起点を前記動画データ以外の前記作業の進捗に係る信号情報を用いて特定するとともに、前記周期内における前記作業の内訳を推定する推定部とを有する、作業分析装置。
【選択図】
図1
【特許請求の範囲】
【請求項1】
複数の作業を含む工程を行う作業者の前記作業を分析する作業分析装置であって、
前記作業者が行う前記作業を撮影した動画データにおける前記作業の周期の起点を前記動画データ以外の前記作業の進捗に係る信号情報を用いて特定するとともに、前記周期内における前記作業の内訳を推定する推定部、
を有する、作業分析装置。
【請求項2】
前記推定部は、特定された前記起点に基づいて定まる前記周期内の前記動画データを前記作業に応じて分割することにより前記周期内の前記作業の内訳を推定する、
ことを特徴とする、請求項1に記載の作業分析装置。
【請求項3】
前記推定部は、前記動画データを構成する部分データを前記作業に応じて分類することにより前記周期内の前記作業の内訳を推定する、
ことを特徴とする、請求項1に記載の作業分析装置。
【請求項4】
前記推定部は、前記周期内における分類が同一の前記部分データを足し合わせることにより、前記周期内の前記作業ごとの所要時間を算出する、
ことを特徴とする、請求項3に記載の作業分析装置。
【請求項5】
前記動画データにおける一の前記周期の前記起点から次の前記周期の前記起点までに要した時間が、所定値を超えているか否かを判定する判定部をさらに有する、
ことを特徴とする、請求項1から4のいずれか一項に記載の作業分析装置。
【請求項6】
前記推定部は、前記作業の進行手順を示す作業手順情報をさらに用いて前記起点を特定する、
ことを特徴とする、請求項1に記載の作業分析装置。
【請求項7】
前記動画データのうち少なくとも1周期分の作業の内容を示すサムネイル画像と、前記信号情報に基づいて特定される時点を前記サムネイル画像と同じ時系列に沿って示すオブジェクトと、を示すユーザー確認画面を表示可能な表示部をさらに有する、
ことを特徴とする、請求項1に記載の作業分析装置。
【請求項8】
ユーザー操作を受け付ける操作部を介して前記ユーザー確認画面に示された前記起点の位置を修正する操作を受け付け、修正された起点の情報に基づいて前記推定部の推定処理に係るパラメータの更新を行う、パラメータ更新部をさらに有する、
ことを特徴とする、請求項7に記載の作業分析装置。
【請求項9】
前記推定部は、前記パラメータが更新された場合には該更新されたパラメータに基づいて前記周期内の前記作業の内訳を再推定し、
前記表示部は、前記再推定された前記作業の内訳、及び前記再推定に応じて更新された前記ユーザー確認画面を表示する、
ことを特徴とする、請求項8に記載の作業分析装置。
【請求項10】
前記推定部は、推論モデルを含んでおり、
前記推定部によって推定された前記起点の位置、又は前記操作部を介して修正された前記起点の位置、に対応する前記サムネイル画像から得られる特徴量に基づいて、前記推論モデルの学習用の正解ラベルを生成するラベル生成部をさらに有する、
ことを特徴とする、請求項8又は9に記載の作業分析装置。
【請求項11】
前記正解ラベルに基づいて、前記推論モデルの学習を行う推論モデル生成部、をさらに有する、
ことを特徴とする、請求項10に記載の作業分析装置。
【請求項12】
複数の作業を含む工程を行う作業者の前記作業を分析する作業分析システムであって、前記作業者が行う前記作業を撮影した動画データにおける前記作業の周期の起点を前記動画データ以外の前記作業の進捗に係る信号情報を用いて特定するとともに、前記周期内の前記作業の内訳を推定する推定手段、
を有する、作業分析システム。
【請求項13】
複数の作業を含む工程を行う作業者の前記作業を分析する作業分析方法であって、
前記作業者が行う前記作業を撮影した動画データにおける前記作業の周期の起点を前記動画データ以外の前記作業の進捗に係る信号情報を用いて特定するとともに、前記周期内の前記作業の内訳を推定する推定ステップ、
を有する、作業分析方法。
【請求項14】
コンピュータを少なくとも請求項12に記載の作業分析システムの前記推定手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業分析装置、作業分析システム、作業分析方法及びプログラムに関する。
【背景技術】
【0002】
従来、作業者が行う作業についての時系列データ(例えば動画データ)を取得し、得られたデータに基づいて、作業者が行っている作業の内容を分析すること(例えば、工程に含まれる作業ごとに要した時間を算出するなど)が知られている。また、特許文献1には、作業者に装着した加速度センサの情報に基づいて作業者の行っている作業が歩行や組み立てなどのいずれに該当するのかを推定し、その推定結果の信頼度を算出する技術が開示されている。特許文献1には、作業者を動画撮影した動画像データを時系列に沿って推定された作業の内容ごとに分割するとともに、推定結果の信頼度が閾値以下である場合には、当該作業に係る部分のみの動画像データをユーザーが目視確認できることが提案されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、動画データに基づいて作業者の作業内容を分析する場合、例えば作業場における製品の組み立て作業のような周期性の強い作業である場合には、動画内における作業の開始時点と終了時点を適切に認識することが重要である。動画データにおける作業周期(以下、所定の一連の作業の1単位を「工程」ともいう)の始点(及び終点)が正しく認識されなければ、動画データに対する1周期の工程に含まれる各作業の割り当てが正しく行われないためである。しかしながら、人間が作業を行う場合には、周期性のある作業であっても様々なイレギュラーや個人差が発生することは避けられず、機械学習によって生成された学習済みモデル(いわゆるAI)を用いて分析を行うためには、人手によるアノテーションが避けられず、そのためのコストが大きくなるという問題があった。
【0005】
本発明の一態様は、上述した事情に鑑みてなされたものであり、周期性のある作業を撮影した動画データによる作業分析を低コストで精度よく行うことができる技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
前記の課題を解決するために、本発明の一態様に係る作業分析装置は、次の構成を採用する。即ち、
複数の作業を含む工程を行う作業者の前記作業を分析する作業分析装置であって、
前記作業者が行う前記作業を撮影した動画データにおける前記作業の周期の起点を、前記動画データ以外の前記作業の進捗に係る信号情報を用いて特定するとともに、前記周期内における前記作業の内訳を推定する推定部、
を有する、作業分析装置、である。
【0007】
ここで、「動画データ以外の前記作業の進捗に係る信号情報」とは、例えば、組み立てに係る部品が所定のストッカから取り出されたこと或いは組み立てが完了した製品が収容ケースに収容されたことなどを検知するセンサの出力信号などとすることができる。また、作業者が1周期の作業を終えた際に都度スイッチに接触するようにしておき、当該スイ
ッチからの出力信号を用いてもよい。また、手作業だけでなく加工装置を使用する作業である場合には該加工装置のスタートボタン押下信号或いは該加工装置を制御するPLCからの駆動信号、などを用いてもよい。また、「前記作業の内訳」とは、単に前記周期内で実際に実施された作業の内容を示すだけでなく、各作業の実施に要した時間の内訳も含む。
【0008】
上記のような構成によれば、実質的に所定の作業と紐づいた信号を用いて作業の1周期の起点(始点及び/又は終点)を特定し、1周期の範囲を正確に認識したうえで、動画データを分析することが可能となる。このため、人手による大掛かりなアノテーションを行わずとも、精度の高い分析を行うことができる。
【0009】
なお、前記推定部は、特定された前記起点に基づいて定まる前記周期内の前記動画データを前記作業に応じて分割することにより前記周期内の前記作業の内訳を推定するようにしてもよい。具体的には、例えば特定された周期ごとの動画データに対して1周期の工程に含まれる各作業をその順序に応じて割り当てる(1周期分の動画データを作業単位で分割する)ようにしてもよい。
【0010】
また、前記推定部は、前記動画データを構成する部分データを前記作業に応じて分類することにより前記周期内の前記作業の内訳を推定するようにしてもよい。ここで、「前記動画データを構成する部分データ」とは、部分的な動画データ或いは動画データを構成する1フレーム単位の静止画データである。具体的には、例えば機械学習済の分類モデルにより、画像の特徴量に基づいて1周期の工程に含まれる作業のいずれに該当するか分類を行ってもよい。
【0011】
また、前記推定部は、前記周期内において同一の分類に属する前記部分データを足し合わせることにより、前記周期内における前記作業ごとの所要時間を算出するようにしてもよい。周期内においてある作業の途中で当該作業とは関係のない動作が行われた場合には、周期内における同一の作業が分割されて認識されるようなイレギュラーな事態が生じ得る。通常、このような場合には周期内の作業の分析精度が低下してしまうが、(作業の順序に関わらず)周期内における同一分類の時間を足し合わせて作業ごとのまとまりとして認識させることにより、イレギュラーがあったとしても、ある周期内で各工程に要した時間を精度よく算出することができる。
【0012】
また、前記作業分析装置は、前記動画データにおける一の前記周期の前記起点から次の前記周期の前記起点までに要した時間が、所定値を超えているか否かを判定する判定部をさらに有していてもよい。例えば、何らかの事情で作業中のある周期の始点から終点までの所要時間が、一周期の平均的な所要時間を大きく超えてしまうようなことが生じ得る。しかしながら、このようなイレギュラーな事業により所要時間が長くなったサイクルの内訳を分析したとしても、統計的に利用できるような有効なデータとはならない。このため、上記のように、ある周期の始点から終点までの所要時間が所定の閾値を超えている場合には、それが判別できるようにしておくことで、統計処理の対象から除外するなどの適切な措置を講じることができる。
【0013】
また、前記推定部は、前記作業の進行手順を示す作業手順情報をさらに用いて前記起点を特定するようにしてもよい。例えば、信号情報が取得できるタイミングが、ある工程の始点や終点ではなく、工程の途中である場合も十分想定し得る。その場合には、信号情報のみに基づいて周期の起点を設定すると、同一の工程内である周期と次の周期が混在してしまうことになり、適切な作業分析を行うことができない。このため、信号情報が取得されるタイミングが周期内のどの時点の作業のイベントによるものなのか、などの情報を、例えば作業指示書などから取得しておき、当該情報と信号情報とを用いて、周期或いは作
業の開始(終了)時点を起点として特定することで、適切に周期内の作業の分析を行うことができる。
【0014】
また、前記作業分析装置は、前記動画データのうち少なくとも1周期分の作業の内容を示すサムネイル画像と、前記信号情報に基づいて特定される時点を前記サムネイル画像と同じ時系列に沿って示すオブジェクトと、を示すユーザー確認画面を表示可能な表示部をさらに有するものであってもよい。このような構成によれば、ユーザーはサムネイル画像と合わせて表示される起点を示すオブジェクト(例えば矢印、線分、吹き出しなど)を確認して、作業周期の起点が正しく特定できているかを確認することができる。なお、ユーザー確認画面におけるサムネイル画像は、作業の内訳の推定が行われた結果を反映させたものであってもよく、例えばいずれの画像がどの作業に属しているのかを視認可能な態様でサムネイル画像を表示するようにしてもよい。
【0015】
また、前記作業分析装置は、ユーザー操作を受け付ける操作部を介して前記ユーザー確認画面に示された前記起点の位置を修正する操作を受け付け、修正された起点の情報に基づいて前記推定部の推定処理に係るパラメータの更新を行う、パラメータ更新部をさらに有していてもよい。具体的には、修正された起点の位置の情報を正解アノテーションデータとして、推定処理に係るパラメータの更新を行うことができる。
【0016】
また、前記推定部は、前記パラメータが更新された場合に該更新されたパラメータに基づいて前記周期内の前記工程の内訳を再推定し、前記表示部は、前記再推定された前記内訳、及び前記再推定に応じて更新された前記ユーザー確認画面を表示するようにしてもよい。
【0017】
また、前記推定部は、推論モデルを含んでおり、前記作業分析装置は、前記推定部によって推定された前記起点の位置、又は前記操作部を介して修正された前記起点の位置、に対応する前記サムネイル画像から得られる特徴量に基づいて、前記推論モデルの学習用の正解ラベルを生成するラベル生成部をさらに有していてもよい。また、前記作業分析装置は、前記正解ラベルに基づいて、前記推論モデルの学習を行う推論モデル生成部、をさらに有していてもよい。
【0018】
また、本発明は、次のような作業分析システムとしても捉えることができる。即ち、
複数の作業を含む工程を行う作業者の前記作業を分析する作業分析システムであって、前記作業者が行う前記作業を撮影した動画データにおける前記作業の周期の起点を前記動画データ以外の前記作業の進捗に係る信号情報を用いて特定するとともに、前記周期内における前記作業の内訳を推定する推定手段、
を有する、作業分析システムである。
【0019】
また、本発明は、次のような作業分析方法としても捉えることができる。即ち、
複数の作業を含む工程を行う作業者の前記作業を分析する作業分析方法であって、
前記作業者が行う前記作業を撮影した動画データにおける前記作業の周期の起点を前記動画データ以外の前記作業の進捗に係る信号情報を用いて特定するとともに、前記周期内における前記作業の内訳を推定する推定ステップ、
を有する、作業分析方法である。
【0020】
また、本発明は、コンピュータを少なくとも上記の作業分析システムにおける推定手段機能させるためのプログラム、そのようなプログラムを非一時的に記録したコンピュータ読取可能な記録媒体、としても捉えることもできる。
【発明の効果】
【0021】
本発明によれば、周期性のある作業を撮影した動画データによる作業分析を低コストで精度よく行うことができる。
【図面の簡単な説明】
【0022】
【
図1】
図1は、実施形態1の作業分析装置が適用される作業現場を模式的に示した模式図である。
【
図2】
図2は、実施形態1の作業分析装置の機能構成について示す機能ブロック図である。
【
図3】
図3は、実施形態1の作業分析装置において行われる処理の一例を示すフローチャートである。
【
図4】
図4は、実施形態1の作業分析装置において表示されるユーザー確認画像の一例である。
【
図5】
図5は、実施形態1の作業分析装置において特徴量に基づいて動画データの周期特定及び作業の割り当てを行う際のイメージを示す図である。
【
図6】
図6Aは、実施形態1の作業分析装置における信号情報取得のタイミングと作業開始時点の特定に関する第1の説明図である。
図6Bは、実施形態1の作業分析装置における信号情報取得のタイミングと作業開始時点の特定に関する第2の説明図である。
図6Cは、実施形態1の作業分析装置における信号情報取得のタイミングと作業開始時点の特定に関する第3の説明図である。
【
図7】
図7は、実施形態1の作業分析装置における信号情報取得のタイミングと作業開始時点の特定に関する第4の説明図である。
【
図8】
図8は、アノテーションを施した場合における作業開始時点の特定に関する説明図である。
【
図9】
図9は、実施形態1の変形例に係る周期内の作業内訳の分類の仕方についてのイメージを示す説明図である。
【
図10】
図10は、実施形態2に係る作業分析システムを模式的に示したブロック図である。
【発明を実施するための形態】
【0023】
<適用例>
(適用例の構成)
以下、本発明の実施形態の一例について説明する。本発明は、例えば
図1に示すような作業分析装置10として適用することができる。
図1は、作業分析装置10が適用される作業現場を模式的に示した模式図である。
【0024】
図1に示すように、作業分析装置10は、例えば製品の組み立て作業を行う工場において用いられる情報処理端末であり、プロセッサ、記憶手段、キーボードなどの入力手段、液晶ディスプレイなどの表示手段、通信手段などを含む汎用のコンピュータによって構成することができる。また、作業分析装置10は単一のコンピュータで構成されてもよいし、互いに連携する複数台のコンピュータによって構成されてもよい。なお、作業分析装置10は、必ずしも組み立て作業が行われる現場に設置される必要はなく、通信ネットワークを介して必要な情報を取得可能になっていれば、どこに設置されていても構わない。
【0025】
図1に示す作業現場において、作業者Mは作業台TBの前に立ち、所定の複数の作業からなる一連の組み立て作業を何度も繰り返す。即ち作業者は一連の組み立て作業を周期的に行うことになる。なお、以下では所定の複数の作業からなる工程の1単位を1周期或いは1サイクルなどとも称する。そして、作業者が行う作業の様子をカメラ11で継続的に撮影し、撮像された動画像が作業分析装置10に送信される。なお、カメラ11が計時手段を有し、撮影した動画データには時刻情報が付与されるようになっていてもよい。
【0026】
ここで、作業者Mが行う作業の流れは次の通りである。作業者Mはまず製品の筐体となるケース部材を第1ストッカ15の取り出し口151から取り出す。取り出し口151の近傍には開始センサ152が設けられている。開始センサ152は、例えば光電センサなどとすることができ、作業者Mによってケース部材が取り出し口151から取り出されたことを検知する。具体的には、例えば、開始センサ152が光電センサである場合には、作業者Mの手或いはケース部材が取り出し口151を通過したことを検知し、その信号を作業分析装置10に送信する。
【0027】
その後、作業者Mは複数の部品が部品種ごとに収容されている部品ケースCから部品を取り出して、それぞれの部品をケース部材内に組み付ける作業を行い、全ての部品を組付け終わった後にケース部材を閉じる。こうして完成品が出来上がると、作業者Mは完成品を収容ケース16の収容口161から収容ケース16内に収容して、1周期の作業を終了する。なお、収容ケース16の収容口161近傍には、終了センサ162が設けられている。終了センサ162も、例えば光電センサとすることができ、作業者Mによって完成品が収容ケース16に収容されたことを検知し、その信号を作業分析装置10に送信する。
【0028】
図2は、作業分析装置10の機能構成について示す機能ブロック図である。作業分析装置10は通信部110を介して、カメラ11から送信された動画像データ、開始センサ152及び終了センサ162から取得した検知信号を受信する。通信部110が受信したこれらのデータは受信時刻と紐づけられて記憶部120に保存される。なお、本適用例においては、開始センサ152及び終了センサ162から取得した検知信号が本発明の信号情報に相当する。
【0029】
図2に示すように、作業分析装置10は制御部100の機能モジュールとして推定部101を備えており、推定部101は通信部110を介して取得した動画データ及び信号情報に基づいて作業者Mの周期毎の作業の内訳を推定する処理を行う。具体的には、推定部101は、開始センサ152から取得した信号情報(より詳細にはその信号を得た時刻の情報)に基づいて、動画データにおける工程開始点を特定する。また、終了センサ162から取得した信号情報(より詳細にはその信号を得た時刻の情報)に基づいて、動画データにおける工程終了点を特定する。
【0030】
そして、推定部101は特定された工程開始点と工程終了点の間の1周期内の動画データにおいて作業者Mが行っている動作(作業とは関わりのない動きも含む)が、いずれの作業に属する作業なのかを割り当てる処理を行い、作業ごとに当該作業に要した時間を算出する。なお、この際、推定部101は、工程における作業の順序に従って工程始点から順番に動画データの1周期内の時間を分割することで、各作業に要した時間を求めてもよい。或いは、動画データを構成する1フレームごとの静止画をいずれの工程に属するか分類したうえで、同一の分類がなされた静止画を足し合わせることで、各作業に要した時間を求めるようにしてもよい。
【0031】
ここで、
図3に基づいて本適用例に係る作業分析装置10が行っている処理の流れの概略を説明する。
図3は適用例に係る作業分析装置10において行われる処理の一例を示すフローチャートである。
図3に示すように、先ず作業分析装置10は通信部110を介して、カメラ11が撮影した動画データを取得する(S101)とともに、これと並行して、開始センサ152及び終了センサ162から出力される信号情報を取得する(S102)。そして、作業分析装置10(推定部101)は、上述の通りステップS102で取得した信号情報に基づいて、ステップS101で取得した動画データにおける周期の始点と終点を特定し、これによって範囲が確定される各周期内で作業者Mが行った作業の内訳を推定する処理を行い(S103)、一連の処理を終了する。なおステップS103の処理は、ステップS101及びS102と時間的な連続性を有して行われる必要はなく、記憶
部120に記憶されたデータを用いるなどして、ステップS101及びS102の実行時から数日後に行われてもよい。
【0032】
以上のような本適用例に係る作業分析装置10によれば、作業者Mが各作業の実施にあたりどれだけ時間を要しているのかを把握して製造現場の業務改善に活用することができる。また、本適用例に係る作業分析装置10によれば複数の作業を含む工程の起点を特定して動画データにおける1周期ごとの時間帯を区切ったうえで、当該1周期における工程を作業ごとに割り当てることができるため、人手によるアノテーションの手間を大幅に低減させつつ、精度の高い作業分析を行うことができる。
【0033】
<実施形態1>
続けて本発明の実施形態の一例についてさらに詳しく説明する。なお、本実施形態に係る作業分析装置10は、適用例において説明したものと同一の構成を有するものであり、既に説明した構成についての改めての説明は省略する。ただし、本実施形態に係る作業分析装置10の説明においては、適用例とは異なる作業現場において用いられるケースも含めて説明を行う。
【0034】
(作業分析装置の構成)
図2に示すように、作業分析装置10は、制御部100、通信部110、記憶部120、操作部130、表示部140の各機能部を備えている。
【0035】
制御部100は、作業分析装置10全体の制御を司る演算装置である。制御部100は、例えば1つ以上のプロセッサ(例えばCPUなど)を含んで構成され、1つ以上のメモリ(例えばRAMやROMなど)に記憶されているプログラムを実行することで、後述するような所定の目的を果たす機能モジュールを実現することができる。
【0036】
通信部110は、カメラ11、開始センサ152及び終了センサ162などの機器との間でネットワークを介して有線通信又は無線通信を行い、データの送受信を実行する。通信部110は、例えば、通信IC(Integrated Circuits)などの集積回路を含んで構成される。
【0037】
記憶部120は、制御部100によって用いられる各種データ、及び、制御部100によって実行される各種ソフトウェアを記憶している。また、記憶部120は、通信部110を介して、カメラ11、開始センサ152及び終了センサ162から取得したデータ、後述するモデル生成部104によって生成される推論モデル、該推論モデルの学習に用いられる正解ラベル、などを記憶している。
【0038】
操作部130は、例えばマウス、キーボード、タッチパネルなどの汎用的な入力手段を含んで構成されており、ユーザーからの操作入力を受け付ける。
【0039】
表示部140は液晶ディスプレイなどの汎用の表示手段を含んで構成され、例えば
図4に示すようなユーザー確認画像や、推定部101による推定結果を統計処理したグラフなどを表示することができる。なお、ユーザー確認画像には、通信部110を介して取得した動画データのうち少なくとも1周期分の作業の内容を示すサムネイル画像Sと、通信部110を介して取得した信号情報に基づいて特定される時点を示前記サムネイル画像と同じ時系列に沿って示すオブジェクトO1、O2とが少なくとも表示される。これらについては後述する。
【0040】
制御部100は、推定部101、判定部102、パラメータ更新部103、モデル生成部104、ラベル生成部105の各機能モジュールを有している。
【0041】
(推定部について)
推定部101は、適用例における説明で述べた通り、通信部110を介して取得した動画データ及び信号情報に基づいて作業者Mの作業の内訳を推定する処理を行う。即ち、適用例と同様の環境に用いられる場合は、推定部101は、開始センサ152から取得した信号情報(より詳細にはその信号を得た時刻の情報)に基づいて、動画データにおける工程開始点を特定する。また、終了センサ162から取得した信号情報(より詳細にはその信号を得た時刻の情報)に基づいて、動画データにおける工程終了点を特定する。
【0042】
なお、工程開始点及び工程終了点を示す信号情報が無くとも、作業者の作業の様子を撮影した動画データのみから、作業の内訳を推定することは可能である。例えば、1周期分の動画データに対してユーザーが各作業についてのアノテーションを行い、アノテーションされた「正解」データから抽出した特徴量と、分析対象の動画から抽出された特徴量とを、DTW(Dynamic Time Warping)の手法により対比し、1周期分の動画を作業ごとに分割することができる。なお、特徴量としては、例えば、動画データ内の作業者の姿勢を推定し、推定した姿勢を骨格系列に変換してさらにこれを動作ベクトルに変換して得る動作特徴量などとすることができる。
【0043】
ただしこのような手法により1周期分の作業の内訳を推定するためには、1周期分の正解データと比較するために、何周期分もの工程が撮影されている動画データから個々の周期(の始点と終点)を特定する必要がある。この個別の周期の特定が適切に行われないと、DTWの手法によるマッチングが正しく機能しなくなる(即ち、推定の精度が大幅に低下する)。しかしながら、作業中に起こる様々なイレギュラーや、作業者Mごとの個人差による誤差などから、動画データから得られる特徴量のみに基づいて個々の周期を正確に特定することは困難である。
【0044】
この点、本実施形態に係る作業分析装置10は、推定部101が工程開始点及び工程終了点を示す信号情報に基づいて、動画データにおける作業の開始点及び終了点を特定するため、動画データからの個々の周期の特定の精度を大幅に向上させることができる。そしてこのようにして特定された各周期の特徴量と、正解データとの特徴量とをDTWの手法によりマッチングすることで、適切に周期内の作業を分析することができる。
図5に、このようにして動画データの周期特定及び作業の割り当てを行う際のイメージ図を示す。
【0045】
なお、上述の適用例では、開始センサ152と終了センサ162が設けられており、これらの2つのセンサ信号を得て各周期の開始時点と終了時点を直接的に特定可能であったが、推定部101はこのような適用例とは異なる信号情報に基づいて、前記周期の開始・終了を特定することも可能である。
【0046】
具体的には、1周期の開始や終了のタイミングではなく、周期の途中で作業の進捗に係る信号情報を取得するような場合であっても、1周期の開始・終了を特定することが可能である。
図6A乃至
図6Cにこのような場合の例を示す。
【0047】
図6Aは、製品の組み立て工程の途中の作業(第3作業)の開始時に信号情報を取得する場合の例を示している。例えば、部品を組付け終わってケースにカバーを嵌合する作業を第3作業とした場合、カバーが収容されているストッカにセンサが配置されているような場合などを想定することができる。このような場合には、推定部101は第3の作業を1周期の始点とし、次の製品組み立て作業の第3作業の開始直前を1周期の終点として、1周期の始点と終点を特定する。この場合には、実際の組み立て工程の周期と推定部101が特定する周期とは同期しないが、1周期あたりに含まれる作業の内訳は同一であるため、作業内容の分析にとって大きな問題とはならない。
【0048】
図6Bは、製品の組み立て作業の途中で信号情報を取得する場合の例を示している。例えば、第3作業の途中で加工装置を用いた作業を行うようなケースを想定すると、通信部110を介して作業分析装置10が取得する信号情報は、当該加工装置のスタートボタンの押下の情報とすることができる。なお、スタートボタン押下のタイミングを以下では機械開始時点ともいう。
【0049】
図6Bに示すように、機械開始時点を示す信号情報取得のタイミングは、いずれの作業の開始のタイミングとも合致していない。このような場合には、例えば、作業の進行手順及び目安の所要時間などを示した作業指示書等の情報から、信号情報を取得したタイミングが周期の開始時点から何秒経過した時点に当たるのかを特定することができれば、この経過時間分を差し引くなどのキャリブレーションを行うことで、信号情報の取得タイミングに基づいて、周期の開始時点を特定することができる。
【0050】
具体的には、まず、機械開始時点から1つ目の作業開始時点(即ち工程開始点)までの間の時間を求める。即ち、作業開始から何秒後に加工装置をスタートさせるのかを作業指示書等の情報を用いて求める。次に、そのようにして求めた時間と、機械開始時点を示す信号情報が示す時刻とに基づいて、作業開始時点を推定する演算を行う。ただし、作業指示書の情報により作業開始から機械開始時点までの時間が特定できたとしても、実際に作業者Mが行う作業はこれと完全に一致するわけではなく、一定の誤差を含むことになる。即ち、作業指示書の情報と作業の途中で取得できる信号情報とによって求める周期の開始時点は、作業者Mの実際の作業開始時点に対してある程度の分散を有するものとなる。
【0051】
図6Cは、機械開始時点の信号情報に基づいて、1周期の作業開始時点を求める場合の確立分布を説明する説明図である。
図6Cにおいて、実線網掛けのグラフは信号情報取得に基づいて機械開始時点のタイミングの確立分布(尤度)を示している。加工装置のスタートボタンの押下に伴って信号が取得されるため、ここから求められる機械開始時点の分散は小さい。
【0052】
一方、
図6Cにおいて、破線で示すグラフは、機械開始の信号情報取得のタイミングと、作業指示書の記載内容から求めた作業開始時点についての尤度を示すグラフである。作業者Mは完全に作業指示書通りの所要時間で作業を行えるわけではないため、機械開始時点よりも分散が大きくなる。また、機械開始時点と作業開始時点が離れているほど分散は大きくなる。このため、「作業開始時点」は工程における1つ目の作業の開始時点とする必要はなく、機械開始時点との乖離が少ない作業の開始点とするのであってもよい。なお、作業開始時点の確率関数StartP(start
t)は次式(1)で求めることができる。
【0053】
【0054】
ここで、startu=MachineTime-StartTimeは工程開始点の平均、σ=Tu2(Tは定数)である。
【0055】
なお、上記では作業分析装置10が取得する信号情報は、機械開始時点を示す情報のみであったが、さらに他の信号情報を取得するようになっていてもよい。例えば、第2工程の途中で部品のピックアップを検知するセンサの信号情報を取得するようになっていても
よい。
図7に、機械開始時点を示す信号情報だけでなく、センサによって検出されるイベントのタイミングを示す信号情報を取得したケースにおいて、周期の開始時点を特定する場合の説明図を示す。
図7中に破線で示すグラフは、機械開始時点と作業指示書の情報から求めた作業開始時点の尤度を示すグラフである。一方、
図7中に一点鎖線で示すグラフは、センサイベント発生時の時刻情報と作業指示書の情報から求めた作業開始時点の尤度を示すグラフである。センサイベントの時点は機械開始時点よりも作業開始時点に近い時点であることから、機械開始時点を用いて求めた尤度のグラフよりも、センサイベントの情報を用いて求めた尤度のグラフの方が分散は小さくなっている。そして、
図7中において、実線で示すグラフは、機械開始時点を用いて求めた尤度とセンサイベントの情報を用いて求めた尤度とを用いて、離散ベイズフィルタの手法により求めた尤度を示すグラフである。
【0056】
推定部101は、上述のように離散ベイズフィルタの手法により求めた尤度が最も高くなる時点時刻を1周期の開始時点として特定する。これを、取得した信号情報の分だけ繰り返し行うことで、動画データにおける各周期の開始時点を継続して特定することができる。なお、例えば、尤度のピークが所定の閾値を下回っているような場合には、推定部101は当該周期について開始点を特定しないようにしてもよい。
【0057】
推定部101によって周期内に行われた各作業の内訳は、例えば
図4に示すようなユーザー確認画面で表示するようにしてもよい。
図4に示すユーザー画面の一例では、画面下部に、動画像データから特定された1周期の工程が4つに分割されて、第1から第4の各作業に要した時間が視覚的に示された内訳推定結果欄Rが表示される。
【0058】
(判定部について)
判定部102は、動画データにおいて特定された個々の周期の所要時間(即ち、行程開始点から工程終了点までに要した時間)が、所定値を超えているか否かを判定する。例えば、作業者が作業途中で、床に落とした部品やツールを拾い上げたり、不足した部品をバックヤードへ取りに行ったりするなどした場合、或いは起点となる前記信号情報を適切に取得できなかった場合など、何らかの事情で、ある周期の始点から終点までの所要時間が、1サイクルの平均的な所要時間を大きく超えてしまうようなことが生じ得る。しかしながら、このようなイレギュラーな事業により所要時間が長くなったサイクルの内訳を分析したとしても、統計的に利用できるような有効なデータとはならない。このため、判定部102が、ある周期の始点から終点までの所要時間が所定の閾値を超えていると判定した場合には、当該周期内の作業については推定部101による推定を行わずに統計処理の対象から除外することができる。
【0059】
(パラメータ更新部について)
パラメータ更新部103は、操作部130からのユーザー入力を介して推定部101の推定処理に係るパラメータの変更を行う。変更されるパラメータの内容やパラメータ変更の方法には特に限定はないが、例えば表示部140に表示されるユーザー確認画面を介してパラメータの変更を行うことができる。ここでは、
図4に示すユーザー確認画面を介して、周期の開始時点を特定するためのパラメータ変更を行う場合について説明する。
【0060】
ユーザーは
図4に示すユーザー確認画面において、作業の開始点についてアノテーションを行う。具体的には、複数のサムネイル画像の内、作業の開始点が写っているサムネイル画像(ここでは例えば左端の画像)を選択する。当該選択は操作部130を介して行う。人手によりアノテーションが行われた場合には、作業開始時点が時刻にある尤度は極めて高くなる。
図8に人のアノテーションが行われた場合の尤度のグラフを実線で示す。なお、
図8中に破線で示すグラフは機械開始時点と作業指示書の情報から求めた作業開始時点の尤度を示し、一点鎖線で示すグラフはセンサイベント発生時の時刻情報と作業指示書
の情報から求めた作業開始時点の尤度を示す。
【0061】
パラメータ更新部103は、アノテーションされた作業開始時点の情報に基づいて、推定部101が作業開始時点の確率関数を求める際に用いるパラメータstartuを更新する。具体的にはstartu’=(StartTimed+StartTimeh)/2などとすることができる。ここで、StartTimedは作業指示書などから求めた時間(-d秒)、StartTimehはユーザーのアノテーションによって求めた時間(-h秒)を示す。
【0062】
(モデル生成部について)
モデル生成部104は、作業分析装置10において用いられる推論モデル生成する。推論モデルの生成には、例えば通信部110を介して取得した動画データを用いた学習を行うことができる。また、推論モデルの生成に当たっては、教師あり学習、教師なし学習、強化学習などあらゆる学習方法を採用することができる。また、教師あり学習の方法により推論モデルの学習を行う場合には、後述のラベル生成部105が生成した正解ラベルを用いて学習を行うようにしてもよい。
【0063】
なお、推論モデルは推定部101による推定処理に用いられるようになっていてもよい。具体的には、例えば、推定部101が周期の開始時点を特定するにあたり、画像特徴量から作業の開始時点を求める推論モデルを用いて周期の開始時点を特定するのであってもよい。また、このようにして推論モデルを用いて特定した周期の開始時点を、推論モデルによる特定であることを認識できるようにしてユーザー確認画面に表示してもよい。
【0064】
(ラベル生成部について)
ラベル生成部105は、推定部101によって推定された周期開始時点の位置、又はユーザー確認画面上で操作部130を介して修正された周期開始時点の位置、に対応するサムネイル画像から得られる特徴量に基づいて、上述の推論モデルの学習用の正解ラベルを生成する。
【0065】
以上のような本実施形態に係る作業分析装置10によれば、推定部101が様々な手法に基づいて、動画データにおける周期の開始点(終了点)の特定を行うことができるため、周期推定の精度を高くすることができる。また、人手によるアノテーションについてもユーザー確認画面から最小限の範囲で行うだけで、推定処理のパラメータ更新や推論モデルの再学習などが自動的に行われるため、アノテーションの手間を大きく削減して精度のよい推定処理を行うことができる。
【0066】
(変形例)
なお、上記実施形態1においては、推定部101は動画データから得られる特徴量に基づいて、特定された周期を作業順に分割して割り当てることにより、周期内の作業の内訳を推定していたが、これ以外の方法によっても周期内の作業の割り当てを行うことができる。具体的には、推定部101は一般的な分類モデルを用いて、動画データを構成する1フレームごとの静止画を、いずれかの作業に分類することで、1周期内の作業の内訳を推定するようにしてもよい。
図9は、このようにして開始点と終了点が特定された周期内の動画データを分類モデルによって分類した場合の説明図である。
【0067】
図9に示すように、動画データを構成する各静止画は、画像特徴量に基づいて4つの作業のいずれの作業に属するか分類が行われる。このような分類を行う場合、
図9の左から2番目の周期の箇所に示すように、周期内におけるある作業の途中で異なる作業に分類される動作が割り込むような事態が生じ得る。このようなエラーは、工程の途中でいずれの作業にも属しない動作(例えば、落とした部品を拾い上げる動作など)を行うなど、作業
を中断したような場合に生じ得る。
【0068】
しかしながら、周期内の全ての静止画データをいずれかの作業を示すものに分類したうえで、同じ分類に属する静止画同士を足し合わせることによって、作業の内訳を推定する、即ち周期内の作業ごと所要時間を求める場合には、このような少しの作業中断分の分類ミス或いは無理な分類は、全体から見ればほぼ無視できるような軽微な不具合となる。このため、作業の順序に関わらずに周期内の作業の内訳を推定する場合であっても、精度よく作業の内訳を推定することができる。
【0069】
なお、ある時点を周期の開始点とした場合、周期の終点までの静止画データを足し合わせた結果、そのトータルの時間が所定の閾値を超える場合には、その周期の分のデータを分析対象から除外することは実施形態1の場合と同様である。
【0070】
<実施形態2>
次に
図10に基づいて、本発明に係る他の実施形態について説明する。
図10は、本実施形態に係る作業分析システム2を模式的に示したブロック図である。
図10に示すように、作業分析システム2は、カメラ25、センサ26、加工装置27、分析端末21、AI生成端末22、操作端末23、データサーバ24を有しており、これらの各構成はネットワークを介して通信可能に接続されている。作業分析システム2も、周期性のある作業を行う作業者の作業内容を分析するために用いられる。
【0071】
カメラ25は作業者が作業を行う様子を継続して撮影し動画データを出力する。センサ26、加工装置27はそれぞれ作業者が作業を行う現場に設置されており、複数の作業を含む工程の途中において、作業者が所定の作業を行ったことを示す信号情報をそれぞれ出力するように構成されている。なお、出力された動画データ及び信号データはネットワークを介してデータサーバ24に格納される。
【0072】
一方、分析端末21、AI生成端末22、操作端末23、データサーバ24はいずれも作業現場に設置されている必要はなく、その全部または一部が遠隔地に設置されていても構わない。なお、分析端末21、AI生成端末22、操作端末23はそれぞれCPU等のプロセッサ、記憶手段、キーボードやマウス等の入力手段、液晶ディスプレイ等の出力手段(いずれも図示せず)、を備える汎用のコンピュータとすることができる。或いは機能を限定した専用の端末とすることも当然に可能である。
【0073】
データサーバ24は、例えばサーバ専用の情報処理端末や、NAS(Network Attachment Storage)などによって構成することができ、カメラ11、センサ12、加工装置13、分析端末21、AI生成端末22、操作端末23から送られたデータを受信して記憶するとともに、これらの機器から要求を受けた場合には記憶された情報を各装置に送信する。具体的には、データサーバ24は、例えば分析端末21、AI生成端末22、操作端末23、によって用いられる各種データ、及び、これらの装置によって実行される各種ソフトウェアを記憶する。また、データサーバ24は、分析端末21で用いられる推定処理のためのパラメータや、AI生成端末22によって生成された学習済みモデル、推論モデルの生成や再学習のための教師データ、などを記憶している。
【0074】
分析端末21は、推定部211及び判定部212の機能部を備えている。また、AI生成端末22はモデル生成部221、ラベル生成部222の機能部を備えている、また、操作端末23は、操作部231、表示部232、パラメータ更新部233の機能部を備えている。
【0075】
ここで、推定部211、判定部212、モデル生成部221、ラベル生成部222、操
作部231、表示部232、パラメータ更新部233の各機能部は、それぞれ、実施形態1の作業分析端末に係る、推定部101、判定部102、モデル生成部104、ラベル生成部105、操作部130、表示部140、パラメータ更新部103、に相当する構成である。なお、本実施形態においては、カメラ25及びデータサーバ24が動画データ取得手段に相当し、センサ26、加工装置27及びデータサーバ24が信号情報取得手段に相当する。
【0076】
即ち、本実施形態に係る作業分析システム2は、実施形態1における作業分析装置10が有していた機能部を部分的に別体の装置として実現したものである。このような構成によれば、作業現場の環境や場所、ユーザーの事業などの諸々の状況に応じて、作業分析装置10の一部の機能をクラウド化したクラウドシステムとして、作業分析を行うことも可能になる。
【0077】
<その他>
上記各例は、本発明を例示的に説明するものに過ぎず、本発明は上記の具体的な形態には限定されない。本発明はその技術的思想の範囲内で種々の変形及び組み合わせが可能である。例えば、上記実施形態1の表示部140には、複数の作業者の作業の内訳を一覧表示させたり、ある程度まとまったデータを用いた統計的な分析情報を示す画面を表示させたりすることもできる。
【0078】
また、上記の作業分析装置10、分析端末21、AI生成端末22及び操作端末23の一部又は全ての機能部は、ASIC(Aapplication Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)のようなハードウェア回路によって実現してもよいし、ソフトウェアによって実現してもよい。
【0079】
<付記>
(請求項1)
複数の作業を含む工程を行う作業者の前記作業を分析する作業分析装置(10)であって、
前記作業者が行う前記作業を撮影した動画データにおける前記作業の周期の起点を前記動画データ以外の前記作業の進捗に係る信号情報を用いて特定するとともに、前記周期内における前記作業の内訳を推定する推定部(101)、
を有する、作業分析装置。
【0080】
(請求項2)
前記推定部は、特定された前記起点に基づいて定まる前記周期内の前記動画データを前記作業に応じて分割することにより前記周期内の前記作業の内訳を推定する、
ことを特徴とする、請求項1に記載の作業分析装置。
【0081】
(請求項3)
前記推定部は、前記動画データを構成する部分データを前記作業に応じて分類することにより前記周期内の前記作業の内訳を推定する、
ことを特徴とする、請求項1又は2に記載の作業分析装置。
【0082】
(請求項4)
前記推定部は、前記周期内における分類が同一の前記部分データを足し合わせることにより、前記周期内の前記作業ごとの所要時間を算出する、
ことを特徴とする、請求項3に記載の作業分析装置。
【0083】
(請求項5)
前記動画データにおける一の前記周期の前記起点から次の前記周期の前記起点までに要した時間が、所定値を超えているか否かを判定する判定部(102)をさらに有する、
ことを特徴とする、請求項1から4のいずれか一項に記載の作業分析装置。
【0084】
(請求項6)
前記推定部は、前記作業の進行手順を示す作業手順情報をさらに用いて前記起点を特定する、
ことを特徴とする、請求項1から5のいずれか一項に記載の作業分析装置。
【0085】
(請求項7)
前記動画データのうち少なくとも1周期分の作業の内容を示すサムネイル画像と、前記信号情報に基づいて特定される時点を前記サムネイル画像と同じ時系列に沿って示すオブジェクトと、を示すユーザー確認画面を表示可能な表示部(140)をさらに有する、
ことを特徴とする、請求項1から6のいずれか一項に記載の作業分析装置。
【0086】
(請求項8)
ユーザー操作を受け付ける操作部を介して前記ユーザー確認画面に示された前記起点の位置を修正する操作を受け付け、修正された起点の情報に基づいて前記推定部の推定処理に係るパラメータの更新を行う、パラメータ更新部(103)をさらに有する、
ことを特徴とする、請求項7に記載の作業分析装置。
【0087】
(請求項9)
前記推定部は、前記パラメータが更新された場合には該更新されたパラメータに基づいて前記周期内の前記作業の内訳を再推定し、
前記表示部は、前記再推定された前記作業の内訳、及び前記再推定に応じて更新された前記ユーザー確認画面を表示する、
ことを特徴とする、請求項8に記載の作業分析装置。
【0088】
(請求項10)
前記推定部は、推論モデルを含んでおり、
前記推定部によって推定された前記起点の位置、又は前記操作部を介して修正された前記起点の位置、に対応する前記サムネイル画像から得られる特徴量に基づいて、前記推論モデルの学習用の正解ラベルを生成するラベル生成部(105)をさらに有する、
ことを特徴とする、請求項8又は9に記載の作業分析装置。
【0089】
(請求項11)
前記正解ラベルに基づいて、前記推論モデルの学習を行う推論モデル生成部(104)、をさらに有する、
ことを特徴とする、請求項10に記載の作業分析装置。
【0090】
(請求項12)
複数の作業を含む工程を行う作業者の前記作業を分析する作業分析システム(2)であって、
前記作業者が行う前記作業を撮影した動画データにおける前記作業の周期の起点を前記動画データ以外の前記作業の進捗に係る信号情報を用いて特定するとともに、前記周期内の前記工程の内訳を推定する推定手段(211)、
を有する、作業分析システム。
【0091】
(請求項13)
複数の作業を含む工程を行う作業者の前記作業を分析する作業分析方法であって、
前記作業者が行う前記作業を撮影した動画データにおける前記作業の周期の起点を前記動画データ以外の前記作業の進捗に係る信号情報を用いて特定するとともに、前記周期内の前記工程の内訳を推定する推定ステップ(S103)、
を有する、作業分析方法。
【0092】
(請求項14)
コンピュータを少なくとも請求項12に記載の作業分析システムの前記推定手段として機能させるためのプログラム。
【符号の説明】
【0093】
10・・・作業分析装置
11、25・・・カメラ
15・・・第1ストッカ
151・・・取り出し口
152・・・開始センサ
16・・・収容ケース
161・・・収容口
162・・・終了センサ
100・・・制御部
101、211・・・推定部
102、212・・・判定部
103、233・・・パラメータ更新部
104、221・・・モデル生成部
105、222・・・ラベル生成部
110・・・通信部
120・・・記憶部
130、231・・・操作部
140、232・・・表示部
2・・・作業分析システム
21・・・分析端末
22・・・AI生成端末
23・・・操作端末
24・・・データサーバ
26・・・センサ
27・・・加工装置
C・・・部品ケース
M・・・作業者
TB・・・作業台
S・・・サムネイル画像
R・・・内訳推定結果欄