IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社東芝の特許一覧

特許7530220分析装置、分析システム、分析方法、プログラム、及び記憶媒体
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-30
(45)【発行日】2024-08-07
(54)【発明の名称】分析装置、分析システム、分析方法、プログラム、及び記憶媒体
(51)【国際特許分類】
   G06Q 10/0639 20230101AFI20240731BHJP
   G06T 7/20 20170101ALI20240731BHJP
【FI】
G06Q10/0639
G06T7/20 300Z
【請求項の数】 15
(21)【出願番号】P 2020108138
(22)【出願日】2020-06-23
(65)【公開番号】P2022003491
(43)【公開日】2022-01-11
【審査請求日】2023-03-24
(73)【特許権者】
【識別番号】000003078
【氏名又は名称】株式会社東芝
(74)【代理人】
【識別番号】110004026
【氏名又は名称】弁理士法人iX
(72)【発明者】
【氏名】浪岡 保男
【審査官】上田 智志
(56)【参考文献】
【文献】特開2018-165893(JP,A)
【文献】特開2020-027324(JP,A)
【文献】浪岡 保男 Yasuo NAMIOKA Ph.D.,ウエアラブルセンサーを用いた繰り返し作業のサイクルタイム自動計測手法,東芝レビュー VOL.73 NO.3,2018年06月01日,第73巻,pp.50-54
(58)【調査した分野】(Int.Cl.,DB名)
G06Q 10/00-99/00、
G06T 7/20
(57)【特許請求の範囲】
【請求項1】
第1工程を繰り返す作業者の動作を示す時系列データから、第1モチーフ及び第2モチーフを抽出し、
前記時系列データに繰り返し現れる前記第1モチーフ及び前記第2モチーフをそれぞれ追跡し、
追跡された複数の前記第1モチーフと複数の前記第2モチーフとの間のそれぞれの間隔を用いて、前記時系列データにおける前記第1工程以外の時間を分析する分析装置であって、
前記第1工程は、複数の作業を含み、
前記時系列データにおける状態の変化点を複数抽出し、
複数の前記変化点と、追跡された前記複数の第1モチーフ及び追跡された前記複数の第2モチーフの少なくとも一方と、を用いて前記複数の作業のそれぞれの開始時間を追跡する、分析装置。
【請求項2】
前記第1モチーフ及び前記第2モチーフの抽出において、
前記時系列データの一部を候補データとして切り出す処理と、前記候補データと前記時系列データの各部との間の類似度を算出し、時系列の類似度データを生成する処理と、を繰り返し、
複数の前記類似度データを用いて、複数の前記候補データについて、モチーフとしての適性を示すモチーフスコアをそれぞれ算出し、
複数の前記モチーフスコアを用いて、前記複数の候補データから前記第1モチーフ及び前記第2モチーフを選定する、
請求項1記載の分析装置。
【請求項3】
予め設定された前記第1工程の標準時間に基づくパーティクルフィルタを実行することで、前記時系列データにおける前記第1モチーフ及び前記第2モチーフのそれぞれを追跡する、請求項1又は2に記載の分析装置。
【請求項4】
前記第1モチーフ及び前記第2モチーフのそれぞれの追跡において、
前記時系列データに対して初期のパーティクルを生成し、
前記時系列データにおいて起点となる1つのパーティクルよりも後に、予め設定された前記第1工程の標準工数に基づき、複数のパーティクルをサンプリングする処理と、前記複数のパーティクルのそれぞれを重み付けする処理と、それぞれの前記重み付けに基づいて、別のパーティクルをリサンプリングする処理と、を繰り返し、
前記第1モチーフについて複数の前記別のパーティクルが生成された時間を、前記時系列データにおいて繰り返される前記複数の第1モチーフのそれぞれの開始時間として用い、
前記第2モチーフについて複数の前記別のパーティクルが生成された時間を、前記時系列データにおいて繰り返される前記複数の第2モチーフのそれぞれの開始時間として用いる、請求項1又は2に記載の分析装置。
【請求項5】
前記時系列データから、前記第1モチーフ及び前記第2モチーフよりも出現頻度の高いサブモチーフを抽出し、
前記サブモチーフと前記時系列データの各部との間の類似度を示す類似度データをさらに用いて、前記複数の作業のそれぞれの前記開始時間を追跡する、請求項1~4のいずれか1つに記載の分析装置。
【請求項6】
予め設定された前記複数の作業のそれぞれの標準時間に基づくパーティクルフィルタを実行することで、前記複数の作業のそれぞれの前記開始時間を追跡する、請求項又はに記載の分析装置。
【請求項7】
前記複数の作業のそれぞれの前記開始時間の追跡結果に基づき、前記第1工程の所要時間、前記複数の作業のそれぞれの所要時間、及び前記第1工程以外の前記時間から選択される少なくともいずれかを算出する請求項のいずれか1つに記載の分析装置。
【請求項8】
前記第1工程の前記所要時間、前記複数の作業のそれぞれの前記所要時間、及び前記第1工程以外の前記時間から選択される少なくともいずれかを出力する請求項記載の分析装置。
【請求項9】
複数の作業を含む第1工程を繰り返す作業者の動作を示す時系列データから、モチーフと、前記モチーフよりも出現頻度の高いサブモチーフと、を抽出し、
前記時系列データに繰り返し現れる前記モチーフを追跡し、
前記サブモチーフと前記時系列データの各部との間の類似度を示す類似度データを生成し、
追跡された複数の前記モチーフ及び前記類似度データを用いて、前記時系列データにおける前記複数の作業のそれぞれの開始時間を追跡する、
分析装置。
【請求項10】
前記時系列データにおける状態の変化点を複数抽出し、
複数の前記変化点と、をさらに用いて前記複数の作業のそれぞれの開始時間を追跡する、請求項記載の分析装置。
【請求項11】
請求項1~10のいずれか1つに記載の分析装置と、
前記時系列データを取得する検出器と、
前記分析装置から出力されるデータを表示する表示装置と、
を備えた分析システム。
【請求項12】
コンピュータが、
第1工程を繰り返す作業者の動作を示す時系列データから、第1モチーフ及び第2モチーフを抽出し、
前記時系列データに繰り返し現れる前記第1モチーフ及び前記第2モチーフをそれぞれ追跡し、
追跡された複数の前記第1モチーフと複数の前記第2モチーフとの間のそれぞれの間隔を用いて、前記時系列データにおける前記第1工程以外の時間を分析する、
分析方法であって、
前記第1工程は、複数の作業を含み、
前記コンピュータは、
前記時系列データにおける状態の変化点を複数抽出し、
複数の前記変化点と、追跡された前記複数の第1モチーフ及び追跡された前記複数の第2モチーフの少なくとも一方と、を用いて前記複数の作業のそれぞれの開始時間を追跡する、
分析方法
【請求項13】
コンピュータが、
複数の作業を含む第1工程を繰り返す作業者の動作を示す時系列データから、モチーフと、前記モチーフよりも出現頻度の高いサブモチーフと、を抽出し、
前記時系列データに繰り返し現れる前記モチーフを追跡し、
前記サブモチーフと前記時系列データの各部との間の類似度を示す類似度データを生成し、
追跡された複数の前記モチーフ及び前記類似度データを用いて、前記時系列データにおける前記複数の作業のそれぞれの開始時間を追跡する、
分析方法。
【請求項14】
前記コンピュータに請求項12又は13に記載の分析方法を実行させるプログラム。
【請求項15】
請求項14記載のプログラムを記載した記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の実施形態は、分析装置、分析システム、分析方法、プログラム、及び記憶媒体に関する。
【背景技術】
【0002】
作業者の動作を示す時系列データを分析し、作業の改善に用いる試みが行われている。この技術について、分析精度の向上が望まれている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2020-027324号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする課題は、分析精度を向上可能な、分析装置、分析システム、分析方法、プログラム、及び記憶媒体を提供することである。
【課題を解決するための手段】
【0005】
実施形態に係る分析装置は、第1工程を繰り返す作業者の動作を示す時系列データから、第1モチーフ及び第2モチーフを抽出する。前記分析装置は、前記時系列データに繰り返し現れる前記第1モチーフ及び前記第2モチーフをそれぞれ追跡する。前記分析装置は、追跡された複数の前記第1モチーフと複数の前記第2モチーフとの間のそれぞれの間隔を用いて、前記時系列データにおける前記第1工程以外の時間を分析する。
【図面の簡単な説明】
【0006】
図1】実施形態に係る分析システムの構成を表すブロック図である。
図2】第1工程のワークモデルを例示する模式図である。
図3】実施形態に係る分析装置による処理を説明する模式図である。
図4】実施形態に係る分析装置による処理を説明する模式図である。
図5】実施形態に係る分析装置による処理を説明する模式図である。
図6】実施形態に係る分析装置による処理を説明する模式図である。
図7】実施形態に係る分析装置による処理を説明する模式図である。
図8】実施形態に係る分析装置による処理を説明する模式図である。
図9】実施形態に係る分析装置による処理を説明する模式図である。
図10】実施形態に係る分析装置による処理を説明する模式図である。
図11】実施形態に係る分析装置による処理を説明する模式図である。
図12】実施形態に係る分析装置による処理を説明する模式図である。
図13】実施形態に係る分析装置による処理を説明する模式図である。
図14】実施形態に係る分析装置による分析結果を例示する模式図である。
図15】実施形態に係る分析方法を表すフローチャートである。
図16】第1工程の別のワークモデルを例示する模式図である。
図17】実施形態の第1変形例に係る分析装置による処理を説明する模式図である。
図18】実施形態の第1変形例に係る分析装置による分析結果を例示する模式図である。
図19】リカレントニューラルネットワークを表す模式図である。
図20】LSTM構造を表すブロック図である。
図21】第2変形例に係る分析装置による処理を表すフローチャートである。
図22】実施例において取得したデータを表すグラフである。
図23】実施例において取得したデータを表すグラフ、及び実施例におけるニューロンの活性度を表すグラフである。
図24】実施形態に係る分析装置のハードウェア構成を表すブロック図である。
【発明を実施するための形態】
【0007】
以下に、本発明の各実施形態について図面を参照しつつ説明する。
本願明細書と各図において、既に説明したものと同様の要素には同一の符号を付して詳細な説明は適宜省略する。
【0008】
図1は、実施形態に係る分析システムの構成を表すブロック図である。
図1に表したように、分析システム1は、分析装置10を含む。図1の例では、分析システム1は、検出器20、記憶装置30、及び表示装置40をさらに含む。
【0009】
分析システム1は、ある工程に従事する作業者の動作を分析するために用いられる。例えば、作業者は、予め定められた第1工程を繰り返す。第1工程は、複数の作業を含む。第1工程及び各作業の具体的な内容は、任意である。
【0010】
分析装置10は、第1工程を繰り返す作業者の動作を示した時系列データを参照する。分析装置10は、時系列データに基づいて、作業者が第1工程に要した時間、第1工程の各作業に要した時間、第1工程以外の時間などを分析する。
【0011】
検出器20は、時系列データを取得する。作業者の動作を示した時系列データが取得できれば、検出器20の種類は任意である。例えば、検出器20は、加速度計、角速度計、又は撮像装置を含む。検出器20は、取得した時系列データを記憶装置30に記憶する。
【0012】
記憶装置30は、分析に用いられるデータを記憶する。分析装置10は、記憶装置30にアクセスし、分析に必要な情報を参照する。分析装置10は、分析の過程で得たデータ及び分析結果を記憶装置30に適宜記憶する。
【0013】
表示装置40は、分析装置10による分析結果を、ユーザに向けて表示する。ユーザは、例えば、作業者、作業者の上司、第1工程が実行される現場の監督者などである。
【0014】
分析装置10、検出器20、記憶装置30、及び表示装置40は、有線通信、無線通信、ネットワーク(ローカルエリアネットワーク又はインターネット)などを介して接続される。以下では、分析システム1の各要素及び各処理について具体的に説明する。
【0015】
<検出器>
検出器20は、例えば、加速度計又は角速度計を含む。検出器20は、作業者の腕や脚などの身体の一部に取り付けられる。検出器20は、作業者が第1工程を行った際に得られる加速度、角速度などの情報を、作業者の動作を示す時系列データとして取得する。
【0016】
検出器20は、撮像装置を含んでも良い。検出器20は、作業を行っている作業者を撮影し、得られた映像から作業者の骨格情報を抽出する。検出器20は、時間の経過に伴う骨格の一部(例えば頭部)の位置の変化を、作業者の動作を示す時系列データとして取得する。
【0017】
又は、検出器20は、骨格情報から、関節の角度を抽出しても良い。検出器20は、時間の経過に伴う各関節の角度の変化を、作業者の動作を示す時系列データとして取得する。関節の角度は、体格にあまり依存しない。従って、関節の角度の変化を時系列データとして用いることで、体格の違いが分析に及ぼす影響を低減し、分析の精度を向上させることが可能となる。
【0018】
なお、検出器20は、映像の取得のみを実行しても良い。その場合、骨格情報の抽出や、骨格の位置の変化の検出、間接の角度の変化の検出などは、分析装置10により実行される。
【0019】
<記憶装置>
記憶装置30は、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)、ネットワーク接続ハードディスク(NAS)などを含む。記憶装置30は、第1工程のワークモデル、第1工程の標準工数、各作業の標準工数、各作業の最短工数、各作業の最長工数、分析に必要な各種値などを記憶する。分析装置10は、記憶装置30に記憶されたデータを参照しながら、分析を実行する。
【0020】
図2は、第1工程のワークモデルを例示する模式図である。
この例では、第1工程PR1は、第1作業OP1、第2作業OP2、及び第3作業OP3を含む。第1作業OP1は、ねじ締めである。第2作業OP2は、溶接である。第3作業OP3は、箱詰めである。第1作業OP1、第2作業OP2、及び第3作業OP3の標準工数は、それぞれ、18秒、35秒、及び19秒である。第1工程PR1の標準工数は、72秒である。
【0021】
<分析装置>
図3図13は、実施形態に係る分析装置による処理を説明する模式図である。
分析装置10は、処理回路を備えた中央演算処理装置(CPU)を含む。分析装置10は、時系列データに対して、複数のモチーフの抽出、複数のサブモチーフの抽出、モチーフの追跡、複数の変化点の検出、各作業の開始時間の追跡などを実行する。
【0022】
<モチーフの抽出>
分析装置10は、時系列データから、分析に使用されるモチーフを抽出する。モチーフは、特徴的な動作に対応したデータのパターンである。例えば、モチーフは、1回の第1作業において1回のみ現れる動作を示す。例として、第2作業OP2において溶接装置を構える動作、第3作業OP3において箱詰した梱包品を持ちあげる動作、などが挙げられる。
【0023】
図3(a)は、検出器20により取得された時系列データを表す。図3(a)において、横軸は時間であり、縦軸は値である。例えば、縦軸は、Z方向における加速度を表す。図3(a)では、記憶装置30に記憶された第1工程の標準工数LTが表されている。図3(b)は、切り出された候補データの一例である。候補データの時間長さL1は、予め設定され、記憶装置30に記憶される。又は、時間長さL1は、標準工数LTに基づいて算出されても良い。例えば、標準工数LTの所定の割合が、時間長さL1として設定される。
【0024】
分析装置10は、時系列データ中の任意の時間から、予め設定された時間tinitまでの範囲内で、ランダムに候補データを切り出す。より適切なモチーフを見つけるために、時間tinitは、好ましくは、標準工数LTの1.0倍より大きく1.8倍未満に設定される。任意の時間は、時系列データの開始時間であっても良いし、別のセンサの信号に基づいて設定されても良い。
【0025】
分析装置10は、切り出した候補データを、時系列データにおける同じ時間長さの別のデータと比較する。分析装置10は、候補データと、前記別のデータと、の類似度を計算する。例えば、分析装置10は、切り出した候補データと別のデータとの間の距離を算出する。距離としては、Dynamic Time Warping(DTW)距離を用いることができる。分析装置10は、距離の逆数に基づいて類似度を決定する。
【0026】
分析装置10は、開始点をずらしながら前記別のデータを複数切り出す。開始点のずれは、予め設定される。又は、開始点のずれは、標準工数LTに基づいて算出されても良い。例えば、標準工数LTの所定の割合が、開始点のずれ量として設定される。例えば、検出器20のサンプリングレートが60Hzであるとき、分析装置10は、開始点を1フレームずつずらしながら前記別のデータを切り出す。
【0027】
分析装置10は、候補データと、複数の前記別のデータと、の間の類似度をそれぞれ計算する。算出された複数の類似度を、開始点の時間順に並べることで、類似度の時系列データが得られる。以降では、類似度の時系列データを、「類似度データ」と呼ぶ。図3(c)は、図3(b)に表した候補データと、時系列データの各部と、の間の類似度データを示す。この例では、類似度が高いほど、データのパターンが似ていることを示す。
【0028】
続けて、分析装置10は、時系列データ中の任意の時間から、予め設定された時間tinitまでの範囲内で、ランダムに別の候補データを切り出す。分析装置10は、別の候補データと、複数の前記別のデータと、の間の類似度をそれぞれ計算する。これにより、別の候補データに関する類似度データが得られる。図4(a)は、図3(a)と同じ時系列データである。図4(b)は、別の候補データを表す。図4(c)は、図4(b)に表した候補データについての類似度データを表す。
【0029】
同様に、分析装置10は、前記範囲内で、候補データの数が規定数に達するまで、候補データの切り出しを繰り返す。分析装置10は、候補データを切り出すたびに、類似度データを生成する。
【0030】
分析装置10は、それぞれの候補データのモチーフスコアを算出する。モチーフスコアは、その候補データが、モチーフとしてどの程度適切かを示す。モチーフスコアは、類似度データを用いて算出される。発明者らが検証した結果、以下の特徴を備えることがモチーフとして好ましいことが分かった。1つ目は、類似度データにおいて、候補データを切り出した時間とは異なる範囲におけるピーク値が大きいことである。2つ目は、前記ピーク値が、他の時間の類似度に比べて、より大きいことである。
【0031】
1つ目の観点に基づき、候補データの1つのスコアSCmが、以下の数式1のように算出できる。2つ目の観点に基づき、候補データの2つ目のスコアSCmが、以下の数式2のように算出できる。例えば、スコアSCmとスコアSCmの和を、候補データのモチーフスコアSCmとして用いる。
(数1)
SCm=max(peak(seg))
【0032】
(数2)
SCm=max(peak(seg))-mean(peak(seg))
【0033】
数式1及び2におけるseg及びsegの例を、図5(a)及び図5(b)に表す。図5(a)及び図5(b)は、それぞれ図3(c)及び図4(c)の類似度データにおけるseg及びsegを表す。segは、時間tから、時間t+0.8LTまでの範囲を表す。時間tは、候補データの切り出しの開始時間である。LTは、記憶装置30に記憶された第1工程の最短時間である。LTの係数は、適宜調整可能である。segは、時間t+0.8LTから、時間tinitまでの範囲である。すなわち、segは、候補データを含まず、且つ、次の第1工程において候補データが示す動作が現れうる範囲に対応する。
【0034】
例として、図3(b)の候補データと、図4(b)の候補データと、を比較してみる。図3(b)の候補データについては、時系列データの開始時間と、その開始時間から標準工数LT後近傍と、において高い類似度が得られている。その他の時間では、類似度が低い。図4(b)の候補データについては、標準工数LTに拘わらず、類似度のピークが頻繁に現れている。このため、モチーフとしては、図3(b)の候補データが、図4(b)の候補データに比べて、より適切である。
【0035】
分析装置10は、複数の候補データと、それぞれの候補データに対する類似度データと、それぞれの候補データのモチーフスコアと、を記憶装置30に記憶する。
【0036】
分析装置10は、算出した複数のモチーフスコアに基づいて、複数の候補データの一部を選定する。例えば、分析装置10は、複数の候補データから、モチーフスコアが高い上位k個の候補データを選定する。kは、予め設定され、記憶装置30に記憶される。分析装置10は、選定した候補データを、モチーフとして、記憶装置30に記憶する。
【0037】
時系列データは、各時間に複数の値を含む、多次元データであっても良い。例えば、検出器20は、作業者の動作を示す多次元の時系列データを取得する。分析装置10は、各時間における複数の値を多次元ベクトルとして扱い、候補データの切り出し、類似度の算出、モチーフスコアの算出などを実行する。
【0038】
時系列データが複数存在する場合、分析装置10は、各時系列データにおける同じ時間の値をまとめて、多次元の1つの時系列データを生成しても良い。各時系列データの開始時間又は終了時間にずれが存在する場合、分析装置10は、そのずれを補正又は補完して多次元の1つの時系列データを生成する。
又は、複数の時系列データに対して、候補データの切り出し、類似度データの生成、及びモチーフの選定が実行されても良い。例えば、時間tから時間t+1までの間が候補データとして切り出される場合、複数の時系列データのそれぞれにおいて、時間tから時間t+1までの間のデータが切り出される。時間tから時間t+1までの期間の候補データの群が生成される。それぞれの候補データについて、切り出し元の時系列データに対する各時間の類似度を計算する。複数の時系列データに対する複数の類似度に基づいて、総合的な類似度が決定される。これにより、1つの類似度データが生成される。その類似度データを用いて、候補データ群のモチーフスコアが算出される。分析装置10は、それぞれの候補データ群のモチーフスコアに基づいて、複数の候補データ群から、モチーフスコアが高い上位k個の候補データ群を、モチーフとして選定する。
【0039】
<サブモチーフ>
分析装置10は、時系列データから、サブモチーフを抽出する。サブモチーフは、繰り返しの動作に対応したデータのパターンである。例えば、サブモチーフは、1回の第1工程において複数回現れる動作を示す。このため、時系列データにおいて、サブモチーフの出現頻度は、モチーフの出現頻度よりも高い。例として、第1作業OP1において、複数個のねじを締める動作などが挙げられる。
【0040】
サブモチーフの抽出では、分析装置10は、モチーフの抽出と同様に、複数の候補データの切り出しと、それぞれの候補データについての類似度データの生成と、を実行する。サブモチーフの抽出の前にモチーフの抽出が実行される場合、モチーフの抽出で得られた複数の候補データ及び複数の類似度データを、サブモチーフの抽出に利用できる。
【0041】
分析装置10は、それぞれの候補データの、サブモチーフスコアを算出する。サブモチーフスコアは、その候補データについての類似度データを用いて算出される。発明者らが検証した結果、類似度データにおいて、ピークの平均値と、全体の平均値と、の差が大きい候補データが、サブモチーフとして好ましいことが分かった。
【0042】
候補データのサブモチーフスコアSCsmは、以下の数式3のように算出できる。segは、時間tから、分析に使用する時系列データの期間の終わりまでの範囲である。時間tは、候補データの切り出しの開始時間である。
(数3)
SCsm=mean(peak(seg))-mean(seg
【0043】
図6(a)は、図3(a)と同じ時系列データを表す。図6(b)は、図3(b)及び図4(b)とは異なる候補データを表す。図6(c)は、図6(b)に表した候補データについての類似度データを表す。図6(b)は、サブモチーフとして好ましい候補データを例示している。図6(c)に表したように、サブモチーフとして好ましい候補データについては、標準工数LT中に、複数のピークが現れる。また、ピーク以外の類似度は、ピークに比べて十分に小さい。
【0044】
分析装置10は、複数の候補データと、それぞれの候補データに対する類似度データと、それぞれの候補データのサブモチーフスコアと、を記憶装置30に記憶する。複数の候補データ及び複数の類似度データが既に記憶されている場合、これらのデータの記憶を省略できる。
【0045】
分析装置10は、算出した複数のサブモチーフスコアに基づいて、複数の候補データの一部を選定する。例えば、分析装置10は、複数の候補データから、サブモチーフスコアが高い上位ksm個の候補データを選定する。ksmは、予め設定され、記憶装置30に記憶される。分析装置10は、選定した候補データを、サブモチーフとして記憶装置30に記憶する。
【0046】
時系列データは、各時間に複数の値を含む、多次元データであっても良い。この場合は、モチーフの選定と同様に、分析装置10は、各時間における複数の値を多次元ベクトルとして扱い、サブモチーフスコアの算出などを実行する。
【0047】
時系列データが複数存在しても良い。この場合、候補データ群のサブモチーフスコアが算出される。分析装置10は、それぞれの候補データ群のサブモチーフスコアに基づいて、複数の候補データ群から、サブモチーフスコアが高い上位ksm個の候補データ群を、サブモチーフとして選定する。
【0048】
<モチーフの追跡>
分析装置10は、選定されたモチーフと類似するパターンが、時系列データのどこに現れているか追跡する。モチーフの追跡には、パーティクルフィルタが用いられる。パーティクルフィルタでは、初期設定、サンプリング、重み付け、及びリサンプリングが実行される。
【0049】
初期設定では、分析装置10は、追跡対象であるモチーフの開始時間に初期パーティクルを生成する。分析装置10は、初期パーティクルを起点として、サンプリング、重み付け、及びリサンプリングを繰り返す。
【0050】
サンプリングでは、分析装置10は、あるパーティクルを起点として、離散型分布に基づいて次のパーティクルを生成する。具体的には、分析装置10は、以下の数式4のように、サンプリングに関する離散型の分布Gを生成する。
(数4)
【0051】
t(p,n)は、n回目のサンプリングにおけるi番目のパーティクルpの時間である。分布Gは、n+1回目のモチーフが発生しうる時間を表す。時間tは、類似度データにおいて、t(p,n)+d×LTの後に、類似度が初めて閾値thを超えた時間である。dは、0より大きく1未満であり、分布Gを調整するためのハイパーパラメータである。DISC(peak)は、分布Gを計算する関数である。サンプリングの確率のピーク値は、類似度のピーク値に比例する。また、ピーク値以外での確率は、ゼロに設定される。
【0052】
図7(a)は、類似度データの一例を表す。図7(b)は、図7(a)に表した類似度データにおける、時間t(p,n)+d×LTから時間tまでの範囲、及びその範囲に現れるピークを例示している。図7(c)は、図7(b)に基づいて生成された分布Gを表す。図7(b)及び図7(c)に表したように、分布Gでは、図7(b)に表した範囲において類似度のピークが検出された時間に、パーティクルの確率のピークが存在する。分析装置10は、確率のピークが現れた時間に、パーティクルをサンプリングする。
【0053】
分布Gに基づいてサンプリングした後、分析装置10は、各パーティクルを重み付けする。分析装置10は、重み付けのために、類似スコア及び一致スコアを算出する。例えば、類似スコアと一致スコアの和が、重み付けのスコアとして用いられる。
【0054】
パーティクルがサンプルされた時間が、モチーフの出現時間として適切であるならば、その時間における類似度は高いはずである。従って、サンプルされた時間における類似度を、類似スコアとして用いることができる。
【0055】
一致スコアは、サンプルされたパーティクルと別のモチーフとの時間的な関係が、それよりも前のパーティクルと前の別のモチーフとの時間的な関係とどの程度一致しているかに基づいて決定される。分析装置10は、追跡しているモチーフとは別のモチーフを、複数のモチーフから選ぶ。例えば、モチーフスコアが最も高かったモチーフが選ばれる。n+1回目のサンプリングを行った場合、分析装置10は、n+1回目のパーティクルから、n+1回目の別のモチーフまでの時間を算出する。また、分析装置10は、n+1回目のパーティクルの起点となったn回目のパーティクルから、n回目の別のモチーフまでの時間を算出する。分析装置10は、これらの時間の差が小さいほど、一致スコアを高くする。
【0056】
図8(a)は、類似スコアの算出を表す模式図である。図8(b)は、一致スコアの算出を表す模式図である。図8(b)の上段は、追跡対象であるモチーフとは異なる別のモチーフの開始時間を表す。下段は、パーティクルが配置された時間を表す。
【0057】
例えば、分析装置10は、図8(a)に表したように、n+1回目のサンプリングにおけるパーティクルpn+1がサンプリングされた時間の類似度SIn+1を参照する。類似度SIn+1が、パーティクルpn+1の類似スコアとして用いられる。
【0058】
分析装置10は、図8(b)に表したように、n回目の別のモチーフmと、n回目にリサンプリングされたパーティクルpと、の間の時間的距離TDを算出する。分析装置10は、n+1回目の別のモチーフmn+1と、n+1回目にサンプリングされたパーティクルpn+1と、の間の時間的距離TDn+1を算出する。時間的距離TDと時間的距離TDn+1との差が小さいほど、一致スコアは高く算出される。
【0059】
n+1回目にサンプリングされたときに、n+1回目の別のモチーフが存在しない場合は、n+1回目にサンプリングされたパーティクルと、n回目の別のモチーフと、の時間的距離が、一致スコアの算出に用いられても良い。例えば、分析装置10は、n-1回目の別のモチーフmn-1と、n回目にリサンプリングされたパーティクルpと、の間の時間的距離TDn-1を算出する。分析装置10は、n回目の別のモチーフmと、n+1回目にサンプリングされたパーティクルpn+1と、の間の時間的距離TDを算出する。時間的距離TDn-1と時間的距離TDとの差が小さいほど、一致スコアは高く算出される。
【0060】
リサンプリングでは、重み付けスコアに基づいて、1つのパーティクルが生成される。パーティクルの重み付けスコアが高いほど、そのパーティクルの時間にリサンプリングされるが確率が上昇する。リサンプリングされたパーティクルを起点として、サンプリング、重み付け、及びリサンプリングが繰り返される。
【0061】
図9(a)及び図9(b)は、モチーフの追跡の別の例を表す。図9(a)及び図9(b)の上段は、検出器20により取得された時系列データを表す。この例では、加速度センサにより検出された3軸のそれぞれの加速度が表されている。すなわち、図9(a)は、各時間に3つの値を含む3次元の時系列データを表す。図9(a)及び図9(b)の下段は、上段に表した時系列データに含まれるモチーフについての類似度データを表す。
【0062】
図9(a)及び図9(b)に表した例では、モチーフm1について、パーティクルフィルタを用いた追跡が完了している。モチーフm2についてのパーティクルフィルタを用いた追跡を例示している。また、モチーフm2については、n回目のパーティクルpがリサンプリングされ、n回目のモチーフm2の開始時間の推定が完了している。
【0063】
図9(a)は、パーティクルpに基づいて、n+1回目のモチーフm2の開始位置として、パーティクルp1n+1、パーティクルp2n+1、及びパーティクルp3n+1がサンプリングされた状態を表す。パーティクルp1n+1、p2n+1、及びp3n+1のそれぞれについて重み付けスコアが算出される。例えば図9(b)に表したように、パーティクルp1n+1、p2n+1、及びp3n+1の重み付けスコアは、それぞれ「1」、「4」、及び「6」である。この重み付けスコアに比例する確率に従って、リサンプリングが実行される。図9(b)の例では、パーティクルp2n+1の時間にリサンプリングによるパーティクルpn+1が生成されている。
【0064】
パーティクルpn+1が配置された時間が、n+1回目のモチーフm2n+1の開始時間として推定される。続いて、パーティクルpn+1を起点として、n+2回目のモチーフの開始時間を推定するためのサンプリングが実行される。これにより、パーティクルp1n+2、パーティクルp2n+2、及びパーティクルp3n+2がサンプリングされる。その後は、重み付け、及びリサンプリングが実行され、n+2回目のモチーフm2の開始時間が推定される。以降は、同様に、サンプリング、重み付け、リサンプリングが繰り返され、n+3回目以降のモチーフm2の開始時間が推定される。
【0065】
図9(a)及び図9(b)は、2つのモチーフが抽出された例を表している。この例に限らず、より多くのモチーフが時系列データから抽出されても良い。
【0066】
<作業開始時間の追跡>
分析装置10は、時系列データに含まれる状態の変化点を抽出する。状態の変化点の抽出には、例えば、階層デリクレ過程に対する隠れマルコフモデル(HDP-HMM)、k-means法、x-means法、又はスペクトラルクラスタリングが用いられる。分析装置10は、複数の変化点を抽出し、記憶装置30に記憶する。
【0067】
図10(a)は、図3(a)及び図9(a)とは異なる別の時系列データを表す。図10(a)には、加速度センサにより検出された3軸のそれぞれの加速度が表されている。図10(b)は、図10(a)に表した時系列データに対してHDP-HMMにより複数の変化点を抽出した結果を表す。HDP-HMMにより、矢印Cで示した時間に変化点が検出される。
【0068】
作業開始時間の追跡には、パーティクルフィルタが用いられる。パーティクルフィルタでは、初期設定、サンプリング、重み付け、及びリサンプリングが実行される。
【0069】
初期設定では、分析装置10は、初期パーティクルを生成する。初期パーティクルは、時系列データにおける1回目の第1工程に含まれる最初の作業の開始時間を示す。分析装置10は、時系列データの開始から最も早いモチーフの開始時間までの範囲を参照する。分析装置10は、参照した時系列データの範囲におけるそれぞれの変化点に、初期パーティクルを生成する。
【0070】
分析装置10は、それぞれの初期パーティクルを起点として、サンプリングを実行する。サンプリングでは、以下の数式5のように、時間t(p,n+1,k)にパーティクルが生成される。
(数5)
t(p,n+1,k)=t(p,n,k)+Δt+Δo
【0071】
時間t(p,n+1,k)は、k回目の第1工程におけるn+1番目の作業についてのパーティクルpが生成された時間を表す。時間t(p,n,k)は、k回目の第1工程におけるn番目の作業についてのパーティクルpが生成された時間を表す。Δtは、n+1番目の作業に要する標準工数をピークとする確率分布に従って、ランダムに決定される。Δoは、n番目の作業とn+1番目の作業との間に存在しうる、非稼働時間を示す。Δoは、推定される非稼働時間tolを中心とする正規分布に従って、ランダムに決定される。非稼働時間tolは、t(p,n,k)の直前の或るモチーフm1と、t(p,n,k)の直後の別のモチーフm2と、の間の時間的な関係に基づいて決定される。
【0072】
なお、非稼働時間は、作業者が、予め記憶された第1工程以外の動作を行っていると判定される時間を意味する。例えば、作業者が、予め記憶された第1工程のワークモデルに含まれない別の作業を行っていた時間は、非稼働時間と判定される。
【0073】
例えば、分析装置10は、モチーフm1(第1モチーフの一例)及びモチーフm2(第2モチーフの一例)の追跡結果を参照し、時間的に隣接するモチーフm1とモチーフm2との時間差の平均を算出する。分析装置10は、t(p,n,k)の直後のモチーフm2の時間o(m2,k)と、t(p,n,k)の直前のモチーフm1の時間o(m1,k)と、の差を算出する。分析装置10は、差から平均を減じた値が、閾値tholを超えている場合、その値を非稼働時間とする。差から平均を減じた値が閾値thol以下の場合、分析装置10は、非稼働時間をゼロとする。
【0074】
分析装置10は、サンプリングされたパーティクルのそれぞれに、重み付けする。重み付けスコアは、状態の変化点に基づくスコアSCо、モチーフに基づくスコアSCо、及びサブモチーフに基づくスコアSCоsmを用いて決定される。
【0075】
作業の開始時間近傍では、状態の変化が生じている可能性が高い。分析装置10は、パーティクルの時間と、そのパーティクルと時間的に最も近い変化点の時間と、の差に基づいて、スコアSCоを決定する。時間差が小さいほど、スコアSCоは高くなる。
【0076】
図11(a)は、状態の変化点に基づくスコアSCоの算出を表す模式図である。図11(a)の例では、k回目の第1工程におけるn+1番目の作業の時間を示すパーティクルOPn+1,kが表されている。分析装置10は、パーティクルOPn+1,kと、パーティクルOPn+1,kに最も近い状態の変化点Cと、の間の時間差TDsn+1,kに基づいて、スコアSCоを算出する。
【0077】
或るモチーフの時間と、或る作業の開始時間と、の関係は、第1工程ごとに大凡一定であると考えられる。分析装置10は、重み付けスコアの算出対象であるパーティクルの時間と、モチーフの開始時間と、の差を算出する。分析装置10は、その差が、それまでの第1工程におけるパーティクルとモチーフとの時間差とどの程度一致しているか算出する。一致度合いが大きいほど、スコアSCоは高くなる。
【0078】
図11(b)は、モチーフに基づくスコアSCоの算出を表す模式図である。図11(b)の例では、モチーフm1及びモチーフm1k+1のそれぞれの開始時間、パーティクルOPn+1,k及びパーティクルOPn+1,k+1のそれぞれの時間が表されている。モチーフm1は、k回目の第1工程に現れるモチーフm1である。モチーフm1k+1は、k+1回目の第1工程に現れるモチーフm1である。パーティクルOPn+1,kは、k回目の第1工程のn+1番目の作業の開始時間を示す。パーティクルOPn+1,k+1は、k+1回目の第1工程のn+1番目の作業の開始時間を示す。分析装置10は、モチーフm1の開始時間とパーティクルOPn+1,kの時間との差TDmn+1,kを算出する。また、分析装置10は、モチーフm1k+1の開始時間とパーティクルOPn+1,k+1の時間との差TDmn+1,k+1を算出する。分析装置10は、差TDmn+1,kと差TDmn+1,k+1との一致の度合いが大きいほど、スコアSCоを高く算出する。
【0079】
サブモチーフについての類似度データにおいて、特定の作業を行っているときのデータのパターンは、第1工程ごとに似ていると考えられる。例えば、或るサブモチーフについての類似度データにおいて、k+1回目の第1工程におけるn+1番目の作業の開始時間を推定する。この場合、k+1回目の第1工程におけるn番目の作業からn+1番目の作業までの類似度データを切り出す。切り出した類似度データのパターンが、他の第1工程におけるn番目の作業からn+1番目の作業までの類似度データとどの程度似ているか算出する。類似性が高いほど、スコアSCоsmは高くなる。
【0080】
スコアSCоsmの算出において、計算量を低減するために、特徴量ベクトルを用いても良い。例えば、切り出した期間における、標準偏差、歪度、尖度、ピーク値を期間の長さで割った値、及び最大ピーク値の組み合わせを、特徴量ベクトルとして用いる。分析装置10は、k+1回目の第1工程の期間から切り出した類似度データに基づく特徴量ベクトルと、k回目の第1工程の期間から切り出した類似度データに基づく特徴量ベクトルと、の間の距離を算出する。距離は、例えばユークリッド距離である。分析装置10は、距離の逆数をスコアSCоsmとして用いる。
【0081】
図11(c)は、サブモチーフに基づくスコアSCоsmの算出を表す模式図である。図11(c)の例では、複数のサブモチーフの1つについての類似度データが、パーティクルOPn,k、パーティクルOPn+1,k、パーティクルOPn,k+1、及びパーティクルOPn+1,k+1と共に表されている。分析装置10は、類似度データにおいて、パーティクルOPn,kからパーティクルOPn+1,kまでの範囲RAn,kと、パーティクルOPn,k+1からパーティクルOPn+1,k+1までの範囲RAn,k+1と、を切り出す。分析装置10は、範囲RAn,kのデータのパターンと、範囲RAn,k+1のデータのパターンと、の類似性が高いほど、スコアSCоsmを高く算出する。
【0082】
それぞれのパーティクルの重み付けスコアに応じて、1つ以上のパーティクルをリサンプリングする。パーティクルの重み付けスコアが高いほど、そのパーティクルが生成された時間に、パーティクルがリサンプリングされる確率が高くなる。
【0083】
その後、その第1工程の終了時間に達するまで、リサンプリングされたパーティクルを起点として、サンプリング、重み付け、及びリサンプリングが繰り返される。分析装置10は、最後の作業の開始時間として生成されたパーティクルのそれぞれについて、そのパーティクルに至るまでの一連のパーティクルの重み付けに基づいて評価値を算出する。評価値は、例えば、複数の重み付けの和である。又は、評価値は、それぞれの重み付けと予め設定される係数との積の和であっても良い。評価値は、複数の重み付けの積であっても良い。分析装置10は、和が最も大きいパーティクルの群を、その第1工程の各作業の開始時間と判定する。以上により、各作業の開始時間が追跡される。分析装置10は、追跡結果を記憶装置30に保存する。
【0084】
図12は、図9(a)及び図9(b)と同様の時系列データを表す。
この例では、第1工程は、10個の作業を含む。図12の例では、作業者が3回の第1工程を繰り返し、そのときの動作を示す時系列データが表されている。モチーフm1とm2の2種類のモチーフが選定されている。1回目の第1工程におけるモチーフm1とm2の開始時間が、モチーフm1及びm2としてそれぞれ表されている。また、2回目と3回目の第1工程におけるモチーフm1とm2の開始時間の追跡の結果が、モチーフm1、m2、m1、及びm2としてそれぞれ表されている。
【0085】
図12は、1回目の第1工程の各作業の開始時間の追跡が完了した状態を表している。パーティクルフィルタによる追跡の結果、1回目の第1工程に対して、パーティクルOP1,1~OP0,1が生成されている。また、2回目の第1工程の最初の作業について、パーティクルOP1,2が生成されている。パーティクルOP1,2を起点として、複数のパーティクルOP2,2がサンプリングされている。以降は、それぞれのパーティクルOP2,2の重み付けスコアが算出され、その算出結果に基づいてリサンプリングが実行される。また、リサンプリングにより生成されたパーティクルを起点として、サンプリング、重み付け、及びリサンプリングが繰り返される。
【0086】
各作業の開始時間の追跡が完了すると、分析装置10は、その追跡結果に基づき、各第1工程の所要時間、各作業の所要時間、非稼働時間を算出できる。例えば、前の第1工程に含まれる最初の作業の開始時間から、次の第1工程に含まれる最初の作業の開始時間までの範囲が、第1工程の所要時間となる。前の第1工程と次の第1工程との間に非稼働時間が存在する場合は、当該範囲から非稼働時間を除いた時間が、第1工程の所要時間となる。
【0087】
<前処理>
分析装置10は、分析の計算量を低減し、処理時間を短縮するために、時系列データを前処理しても良い。前処理では、時系列データがシンボル化される。まず、分析装置10は、時系列データをダウンサンプリングする。ダウンサンプリングには、piecewise aggregate approximation(PAA)を用いることができる。分析装置10は、ダウンサンプリングした時系列データを、シンボル化する。
【0088】
図13(a)は、検出器20により取得された時系列データを表す。図13(b)は、ダウンサンプリングされた時系列データを表す。ダウンサンプリングにより、ステップ状の時系列データが得られる。分析装置10は、図13(c)に表したように、複数の閾値b~bを用いて、時系列データの各時間の値を分類する。分類結果に応じて、時系列データの各時間の値がシンボル化される。これにより、図13(d)に表した文字列が得られる。
【0089】
前処理により生成された文字列を用いて、複数のモチーフの抽出、複数のサブモチーフの抽出、モチーフの追跡、複数の変化点の検出、各作業の開始時間の追跡などが実行されても良い。この場合、類似度の算出には、レーベンシュタイン距離を用いることができる。類似度は、レーベンシュタイン距離の逆数に基づいて決定される。
【0090】
図14は、実施形態に係る分析装置による分析結果を例示する模式図である。
図14の上段は、図12と同様の時系列データを表す。この例では、第1工程が、10個の作業「0」~「9」を含む。作業者が3回の第1工程を繰り返し、そのときの動作を示す時系列データが表されている。モチーフの追跡結果及び不図示のサブモチーフを用いた各作業の開始時間の追跡結果が、図14の下段に表されている。図14において、「Outlier」は、非稼働時間を表す。このように、分析装置10によれば、時系列データにおける、各第1工程の所要時間、各作業の所要時間、非稼働時間などが分析される。
【0091】
<表示装置>
表示装置40は、モニタ及びプロジェクタの少なくともいずれかを含む。表示装置40は、タブレット、スマートフォンなどの端末装置に設けられても良い。
【0092】
分析装置10は、表示装置40に向けて分析結果を出力し、表示装置40に分析結果を表示させる。例えば、分析装置10は、第1工程の所要時間、各作業の所要時間、及び非稼働時間から選択される少なくとも1つを表示する。分析装置10は、時系列データの少なくとも一部をさらに出力しても良い。表示装置40は、図14に表したように、時系列データと、第1工程の所要時間、各作業の所要時間、及び非稼働時間から選択される少なくとも1つと、を対応づけて表示しても良い。
【0093】
分析装置10は、第1工程の所要時間を、予め設定された閾値と比較しても良い。分析装置10は、第1工程の所要時間が閾値よりも長いとき、ユーザに向けて通知を発する。分析装置10は、通知とともに、第1工程の所要時間を出力しても良い。分析装置10は、それぞれの作業の所要時間を、それぞれの作業に対して予め設定された閾値と比較しても良い。分析装置10は、いずれかの作業の所要時間が閾値よりも長いとき、ユーザに向けて通知を発する。分析装置10は、通知とともに、閾値を超えた作業の所要時間を出力しても良い。
【0094】
分析装置10は、複数の作業者の動作を示す時系列データを用いて、それぞれの作業者について動作を分析しても良い。分析装置10は、それぞれの作業者の動作について、第1工程の所要時間、各作業の所要時間、及び非稼働時間を分析する。分析装置10は、第1工程の所要時間の比較、各作業の所要時間の比較、及び非稼働時間の比較から選択される少なくとも1つを実行する。例えば、第1工程の所要時間の差、作業の所要時間の差、及び非稼働時間の差について、それぞれ閾値が予め設定される。第1工程の所要時間の差、作業の所要時間の差、及び非稼働時間の差から選択される少なくとも1つが閾値よりも長いとき、分析装置10は、ユーザに向けて通知を発する。分析装置10は、通知とともに、第1工程の所要時間、作業の所要時間、又は非稼働時間が相対的に長い作業者の情報を出力しても良い。分析装置10は、通知とともに、その作業者の第1工程の所要時間、作業の所要時間、及び非稼働時間から選択される少なくとも1つを出力しても良い。分析装置10は、全ての作業の所要時間に対する、非稼働時間の割合を出力しても良い。
【0095】
上述したいずれかの情報が分析装置10から出力されることで、ユーザは、作業者の動作について、改善すべき点を容易に把握できる。
【0096】
図15は、実施形態に係る分析方法を表すフローチャートである。
まず、検出器20が、時系列データを取得する(ステップS1)。分析装置10は、時系列データを前処理する(ステップS2)。分析装置10は、前処理した時系列データから候補データを切り出す(ステップS3)。分析装置10は、切り出した候補データについて類似度データを生成する(ステップS4)。分析装置10は、規定数の候補データが収集されたか判定する(ステップS5)。分析装置10は、規定数の候補データが収集されるまで、ステップS3及びS4を繰り返す。
【0097】
分析装置10は、それぞれの候補データのモチーフスコアを算出し、モチーフを選定する(ステップS6)。分析装置10は、それぞれの候補データのサブモチーフスコアを算出し、サブモチーフを選定する(ステップS7)。分析装置10は、時系列データにおいて、選定したモチーフがどこに現れているか追跡する(ステップS8)。分析装置10は、モチーフの追跡結果及びサブモチーフの類似度データを用いて、時系列データにおける各作業の開始時間を追跡する(ステップS9)。分析装置10は、分析により得られた結果を出力する(ステップS10)。分析装置10は、各ステップの途中及び完了後において、適宜各種データを記憶装置30に保存する。
【0098】
実施形態の効果を説明する。
作業者の動作を示す時系列データからモチーフを抽出し、そのモチーフを用いて各第1工程の所要時間を分析する方法がある。又は、時系列データにおける状態の変化点を抽出し、その変化点に基づいて各作業の開始時間を分析する方法がある。これらの方法について、分析の精度に改善の余地があった。例えば、これらの方法では、作業者が第1工程以外の動作を実行していた場合に、その非稼働時間が第1工程又は作業の所要時間に含まれてしまう。また、状態の変化点のみに基づく開始時間の分析では、作業の開始時間を誤判定してしまう可能性があった。
【0099】
これらの課題について、分析装置10は、時系列データから複数のモチーフを抽出する。そして、分析装置10は、時系列データにおいてそれぞれのモチーフを追跡し、追跡されたモチーフ同士の間隔に基づいて前記時系列データにおける前記第1工程以外の非稼働時間を分析する。複数のモチーフを用いることで、非稼働時間を分析することが可能となる。第1工程の所要時間及び各作業の所要時間を、非稼働時間と分離して分析することが可能となる。
【0100】
又は、分析装置10は、モチーフ及びサブモチーフの抽出及びモチーフの追跡を実行する。そして、分析装置10は、モチーフの追跡結果及びサブモチーフについての類似度データを用いて、時系列データにおける複数の作業のそれぞれの開始時間を追跡する。モチーフ及びサブモチーフを用いることで、モチーフのみを用いて分析する場合に比べて、各作業の開始時間をより高精度に分析できる。例えば、時系列データにノイズが多く含まれる場合などにおいても、従来の分析方法に比べて、分析の精度を向上できる。
【0101】
非稼働時間又は各作業の開始時間の分析結果は、製造現場の生産性の改善に利用できる。分析結果の精度が向上することで、より詳細に、又はより正確に、改善すべき点を発見できる。また、分析装置10が自動的に分析することで、監督者等が作業者を見る必要が無く、分析のための労力を削減できる。
【0102】
また、分析に用いられるモチーフ、サブモチーフ等は、得られた時系列データから自動的に抽出される。分析のための教師データ等を、事前に用意する必要が無い。従って、分析装置10による分析は、容易に製造現場に適用することができる。
【0103】
モチーフは、複数の候補データから、モチーフスコアを用いて選定されることが好ましい。これにより、分析により適したモチーフを抽出できる。
【0104】
モチーフスコアは、以下の2つの要素を用いて算出されることが好ましい。1つ目は、類似度データにおける、候補データを切り出した時間とは異なる範囲におけるピーク値である。2つ目の要素は、類似度データにおける、当該ピーク値と他の時間の類似度との関係である。これらの要素に基づいて算出されたモチーフスコアを、モチーフの選定に用いることで、分析により適したモチーフを抽出できる。
【0105】
また、時系列データは、連続的であり、実質的な切れ目が存在しない。このため、時系列データを探索的に分析して、モチーフの追跡及び各作業の開始時間の追跡を実行する場合、解の組み合わせが無数に存在しうる。工程及び各作業の標準時間が予め設定され、それらの標準時間を用いてパーティクルフィルタを実行することで、教師データ等が存在しない場合でも、追跡の精度を改善し、且つ計算量を低減することが可能となる。
【0106】
サブモチーフは、複数の候補データから、サブモチーフスコアを用いて選定されることが好ましい。これにより、分析により適したサブモチーフを抽出できる。好ましくは、サブモチーフスコアは、類似度データにおけるピークの平均値と全体の平均値との差に基づいて算出される。
【0107】
(第1変形例)
図16は、第1工程の別のワークモデルを例示する模式図である。
図16に表したワークモデルでは、第1作業OP1及び第2作業OP2の後、第3作業OP3又は第4作業OP4が実行される。第4作業OP4が実行された場合は、その後に第3作業OP3が実行される。図16に表したように、第1工程に含まれる作業には、分岐が存在していても良い。
【0108】
図17は、実施形態の第1変形例に係る分析装置による処理を説明する模式図である。
図17(a)~図17(c)は、作業の開始時間を追跡するためのパーティクルフィルタを実行している様子を表す。図17(a)では、k回目の第1工程における2番目の作業の開始時間を示すパーティクルOP2,kが生成されている。
【0109】
このパーティクルOP2,kを起点として、3番目の作業についてのサンプリングが実行される。2つの第3作業OP3及び第4作業OP4の標準工数に基づき、パーティクルがサンプリングされる。例えば図17(a)に表したように、パーティクルOP13,k~パーティクルOP33,kが、標準工数がより短い第3作業OP3に対してサンプリングされる。パーティクルOP43,k~パーティクルOP63,kが、標準工数がより長い第4作業OP4に対してサンプリングされる。
【0110】
分析装置10は、サンプリングされた各パーティクルについて、重み付けする。図17(b)は、各パーティクルの重み付けスコアを例示している。この重み付けスコアに基づいて、リサンプリングが実行される。例えば図17(c)に表したように、パーティクルOP33,k、OP43,kが生成された時間に、リサンプリングによって確率的にパーティクルがそれぞれ生成される。
【0111】
図16に表したワークモデルによると、第1工程PR1は、第3作業OP3で終了する。第4作業OP4の後には、第3作業OP3が実行される。このため、k回目の第1工程における作業の開始時間の追跡のためのサンプリングは、パーティクルOP43,kのみを起点として実行される。分析装置10は、パーティクルOP43,kを起点としたサンプリング、重み付け、及びリサンプリングにより生成されたパーティクルの重み付けスコアと、パーティクルOP33,kのスコアと、を比較する。分析装置10は、重み付けスコアのより高いパーティクルと、そのパーティクルの起点となったパーティクルの群と、を選択する。
【0112】
上述した通り、ワークモデルに作業の分岐が存在する場合、分析装置10は、分岐するそれぞれの作業の標準工数に基づくサンプリングを実行する。これにより、実際に実行された作業を追跡することが可能となる。
【0113】
図18は、実施形態の第1変形例に係る分析装置による分析結果を例示する模式図である。
図18は、図10(a)と同じ時系列データを分析した結果を表す。この時系列データは、6つの作業と、1つの選択的な作業と、を含む工程を作業者が3回実行したときの動作を表している。図18には、複数のモチーフの1つであるモチーフm1の追跡結果m1~m1が表されている。また、時系列データの下には、それぞれの工程の時間、及び各作業の時間が表されている。数字「1」~「6」及び「optional 1」が付されたボックスは、6つの作業及び選択的な作業のそれぞれの所要時間を表している。このように、第1変形例に係る分析装置によれば、実行される作業に分岐が存在する場合でも、実際にどの作業が実行されたかを精度良く追跡することが可能となる。
【0114】
(第2変形例)
分析装置10によれば、時系列データから、第1工程に対応する時系列データの一部を抽出できる。第2変形例では、分析装置10が、抽出された時系列データの一部を用いて、モデルを学習させる。モデルは、ニューラルネットワークを含む。好ましくは、モデルは、リカレントニューラルネットワーク(以下、RNNという)を含む。また、分析装置10は、さらに、そのモデルを用いて作業者の動作を分析する。以降では、分析装置10によるRNNの学習及びRNNを用いた分析について説明する。
【0115】
<学習>
分析装置10は、第1工程に対応する時系列データの一部を抽出すると、そのデータを記憶装置30に記憶する。記憶装置30は、時系列データの他に、その時系列データが取得された作業者の熟練度に関する情報を記憶している。熟練度は、ユーザが予め記憶装置30に記憶する。又は、時系列データの時間の長さに基づいて熟練度が算出されて記憶されても良い。この場合、第1工程に要する時間が短いほど、熟練度が高く算出される。
【0116】
分析装置10は、記憶装置30に記憶された時系列データを用いて、記憶装置30に記憶されたRNNを学習させる。RNNは、ニューラルネットワークの一種である。ニューラルネットワークは、人工の複数のニューロン(ノード)を用いて、生物学的な認識システムを模倣したものである。複数のニューロンは、重み付けが設定された人工のシナプス(接続線)により相互に接続される。
【0117】
図19は、リカレントニューラルネットワークを表す模式図である。
図19に表したように、RNN200は、入力層201、中間層202、及び出力層203を含む。さらに、RNNでは、ある時間区分における中間層202のニューロンNの出力が、その後の時間区分における中間層202のニューロンNの出力に接続される。
【0118】
分析装置10は、入力層201に含まれるニューロンNに、学習のための時系列データを入力する。また、分析装置10は、出力層203に含まれるニューロンNに、教師データを入力する。教師データとしては、熟練度を示す値が設定される。すなわち、入力される時系列データが熟練者の動作に基づく場合は、出力層203のニューロンNに、熟練度が高いことを示す値が設定される。学習により、入力された時系列データと、教師データと、の差が小さくなるように、RNNに含まれる各シナプスの重み付けが変化する。学習は、熟練度が互いに異なる複数の作業者から取得された時系列データを用いて行う。分析装置10は、学習させたRNNを、記憶装置30に保存する。
【0119】
<分析>
RNNを用いた分析では、例えば、ある作業者の動作が、どの程度の熟練度に相当するかを調べることができる。また、作業者の動作において、改善した方が良い点を発見することもできる。分析する際は、分析対象となる作業者の第1工程における動作を示す時系列データが予め記憶装置30に記憶される。この時系列データは、例えば、分析システム1で説明した処理により抽出される。
【0120】
分析装置10は、分析対象の時系列データを、記憶装置30の学習済みRNNに入力する。RNNの入力層201に時系列データが入力されると、出力層203のニューロンNが反応しうる。分析装置10は、出力層203のニューロンNの反応を検出する。例えば、分析装置10は、ニューロンNの活性度と、所定の閾値と、を比較する。ニューロンNの活性度が所定の閾値よりも高い場合、分析装置10は、ニューロンNが反応していると検出する。分析装置10は、時系列データのうち当該ニューロンNが反応した期間のデータを抽出しても良い。または、分析装置10は、当該期間における、当該ニューロンNの活性度を示すデータと、時系列データの一部と、を抽出しても良い。
【0121】
表示装置40は、分析装置10による検出結果を表示する。例えば、表示装置40は、分析装置10によって抽出された時系列データの一部を他の部分と区別可能に表示する。ニューロンNの反応が検出されなかった場合、表示装置40は、反応が検出されなかったことを示す結果を表示しても良い。
【0122】
RNNの中間層202のニューロンNは、例えば、LSTM(Long Short Term Memory)構造を有する。LSTM構造を有するニューラルネットワークは、他の構造のニューラルネットワークに比べて、より作業周期の長い時系列データに対する認識率を高めることができる。
【0123】
図20は、LSTM構造を表すブロック図である。
図20に表したように、LSTM構造300は、忘却ゲート310、入力ゲート320、及び出力ゲート330を含む。
【0124】
図20において、xは、時間tにおけるニューロンNへの入力値を表す。Cは、時間tにおけるニューロンNの状態を表す。fは、時間tにおける忘却ゲート310の出力値を表す。iは、時間tにおける入力ゲートの出力値を表す。oは、時間tにおける出力ゲートの出力値を表す。hは、時間tにおけるニューロンNの出力値を表す。f、i、C、o、及びhは、それぞれ、以下の数式6~数式10で表される。
(数6)

(数7)

(数8)

(数9)

(数10)
【0125】
なお、図20に表した例に限らず、RNNの中間層202のニューロンNは、Gated Recurrent Unit構造またはbi-directional LSTM構造などを有していても良い。
【0126】
図21は、第2変形例に係る分析装置による処理を表すフローチャートである。
まず、図15のフローチャートに表した分析処理が実行される(ステップS0)。分析処理において、第1工程における動作を示す時系列データが取得される。分析装置10は、時系列データを用いて、RNNを学習させる(ステップS11)。検出器20は、分析の対象となる時系列データを取得する(ステップS12)。分析装置10は、学習されたRNNに取得した時系列データを入力し、ニューロンの反応を検出する(ステップS13)。分析装置10は、検出の結果を出力する。表示装置40は、検出結果を表示する(ステップS14)。
【0127】
第2変形例の効果を説明する。
第2変形例によれば、ある作業者の第1工程における動作が、改善すべき点を含んでいるか検出できる。従来、動作の改善すべき点の有無は、例えば、人が観察することで確認していた。しかし、この場合、観察者は、それぞれの作業者の作業全体を観察しなければならず、長大な時間を要する。また、改善すべき点の抽出は、観察者の主観や、経験、熟練度に依存するため、ばらつきも生じる。
【0128】
一方で、第2変形例によれば、改善すべき点は、RNNに基づいて検出される。このRNNは、他の作業者の動作に基づくデータを用いて学習されている。従って、改善すべき点は、観察者の経験等に依存せず、客観的に検出される。さらに、改善すべき点は、分析装置10によって自動的に検出されるため、観察者は不要となる。このように、第2変形例によれば、自動的かつ客観的に作業者の改善すべき動作を検出できる分析システム及び検出方法が提供される。
【0129】
なお、ここでは、作業者の改善すべき動作の検出を目的とした場合を説明している。しかし、分析装置10の用途は、この例に限定されない。例えば、作業者の優れた動作を検出するために、分析を実行することも可能である。
【0130】
(実施例)
図22(a)及び図22(b)は、実施例において取得したデータを表すグラフである。
図23(a)は、実施例において取得したデータを表すグラフである。図23(b)及び図23(c)は、実施例におけるニューロンの活性度を表すグラフである。
【0131】
図22(a)、図22(b)、及び図23(a)に表したデータは、それぞれ、第1作業者、第2作業者、及び第3作業者が第1作業を行ったときの動作に基づく。図22(a)、図22(b)、及び図23(a)のデータは、第1作業者、第2作業者、及び第3作業者のそれぞれの右手首に加速度計を取り付けて取得した。
【0132】
図22(a)、図22(b)、及び図23(a)において、横軸は時間Tiを表し、縦軸は加速度Acを表す。実線及び点線は、それぞれ、X軸方向における加速度及びY軸方向における加速度を表す。
【0133】
検出器20は、図22(a)及び図22(b)に表したデータを取得し、記憶装置30に記憶する。分析装置10は、図22(a)及び図22(b)に表したデータを参照し、記憶装置30に記憶されたRNNを学習させる。図22(a)及び図22(b)の比較から、第1作業者が第1作業に要する時間は、第2作業者が第1作業に要する時間よりも短いことがわかる。すなわち、第1作業者の熟練度は、第2作業者の熟練度よりも優れている。
【0134】
分析装置10は、図23(a)に表したデータを、記憶装置30に記憶された、学習済みのRNNに入力する。図23(b)及び図23(c)は、それぞれ図23(a)に表したデータを入力したときの、第1ニューロンと第2ニューロンの活性度を表すグラフである。第1ニューロンの活性度が高い場合、入力されたデータに対応する動作は、第1作業者の第1熟練度に相当することを示す。第2ニューロンの活性度が高い場合、入力されたデータに対応する動作は、第2作業者の第2熟練度に相当することを示す。図23(b)及び図23(c)において、横軸は時間Tiを表し、縦軸はニューロンの活性度Actを表す。ニューロンの活性度の絶対値が大きいほど、そのニューロンが強く反応していることを示す。
【0135】
図23(b)及び図23(c)から、時間T1~時間T2の間に、第2ニューロンの活性度が大きくなっていることがわかる。すなわち、第3作業者の時間T1~時間T2の間の動作は、第2作業者の第2熟練度に相当することを示している。例えば、時間T1~時間T2の間では、第2ニューロンの活性度が閾値を超えている。分析装置10は、第2ニューロンが反応しているものと検出する。表示装置40は、例えば、図23(a)に表したように、時間T1~時間T2の第3作業者のデータを、他の部分と区別可能に表示する。この実施例の結果から、第2ニューロンの反応が検出された動作を改善した方が良いことが分かる。
【0136】
図24は、実施形態に係る分析装置のハードウェア構成を表すブロック図である。
例えば、実施形態に係る分析装置10は、コンピュータであり、ROM(Read Only Memory)11、RAM(Random Access Memory)12、CPU(Central Processing Unit)13、およびHDD(Hard Disk Drive)14を有する。
【0137】
ROM11は、コンピュータの動作を制御するプログラムを記憶している。ROM11には、コンピュータに上述した各処理を実現させるために必要なプログラムが記憶されている。
【0138】
RAM12は、ROM11に記憶されたプログラムが展開される記憶領域として機能する。CPU13は、処理回路を含む。CPU13は、ROM11に記憶された制御プログラムを読み込み、当該制御プログラムに従ってコンピュータの動作を制御する。また、CPU13は、コンピュータの動作によって得られた様々なデータをRAM12に展開する。HDD14は、読み取りに必要なデータや、読み取りの過程で得られたデータを記憶する。HDD14は、さらに、図1に表した記憶装置30として機能しても良い。
【0139】
分析装置10は、HDD14に代えて、eMMC(embedded Multi Media Card)、SSD(Solid State Drive)、SSHD(Solid State Hybrid Drive)などを有していても良い。
【0140】
分析装置10のそれぞれの処理及び機能は、より多くのコンピュータの協働により実現されても良い。分析装置10には、入力装置50が接続されても良い。入力装置50は、マウス、キーボード、及びタッチパッドの少なくともいずれかを含む。
【0141】
以上で説明した分析装置、分析システム、及び分析方法を用いることで、第1工程における作業をより高精度に分析可能となる。同様に、処理装置に上述した処理を実行させるためのプログラム又はそのプログラムを記憶した記憶媒体を用いることで、第1工程における作業をより高精度に分析可能となる。
【0142】
上記の種々のデータの処理は、コンピュータに実行させることのできるプログラムとして、磁気ディスク(フレキシブルディスク及びハードディスクなど)、光ディスク(CD-ROM、CD-R、CD-RW、DVD-ROM、DVD±R、DVD±RWなど)、半導体メモリ、または、他の記録媒体に記録されても良い。
【0143】
例えば、記録媒体に記録されたデータは、コンピュータ(または組み込みシステム)により読み出されることが可能である。記録媒体において、記録形式(記憶形式)は任意である。例えば、コンピュータは、記録媒体からプログラムを読み出し、このプログラムに基づいてプログラムに記述されている指示をCPUで実行させる。コンピュータにおいて、プログラムの取得(または読み出し)は、ネットワークを通じて行われても良い。
【0144】
以上、本発明のいくつかの実施形態を例示したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。これら実施形態やその変形例は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。また、前述の各実施形態は、相互に組み合わせて実施することができる。
【符号の説明】
【0145】
1:分析システム、 10:分析装置、 20:検出器、 30:記憶装置、 40:表示装置、 50:入力装置、 200:入力層、 300:LSTM構造、 310:忘却ゲート、 320:入力ゲート、 330:出力ゲート
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24