IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ オムロン株式会社の特許一覧

特許7103078作業支援装置、作業支援方法及び作業支援プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-11
(45)【発行日】2022-07-20
(54)【発明の名称】作業支援装置、作業支援方法及び作業支援プログラム
(51)【国際特許分類】
   G09B 19/00 20060101AFI20220712BHJP
   G06Q 50/04 20120101ALI20220712BHJP
【FI】
G09B19/00 H
G06Q50/04
【請求項の数】 15
(21)【出願番号】P 2018163161
(22)【出願日】2018-08-31
(65)【公開番号】P2020034849
(43)【公開日】2020-03-05
【審査請求日】2020-12-14
(73)【特許権者】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】100124039
【弁理士】
【氏名又は名称】立花 顕治
(74)【代理人】
【識別番号】100179213
【弁理士】
【氏名又は名称】山下 未知子
(74)【代理人】
【識別番号】100170542
【弁理士】
【氏名又は名称】桝田 剛
(72)【発明者】
【氏名】森 嘉一
(72)【発明者】
【氏名】片岡 宏隆
(72)【発明者】
【氏名】小竹 康代
【審査官】前地 純一郎
(56)【参考文献】
【文献】特開2013-069251(JP,A)
【文献】特開2001-166681(JP,A)
【文献】国際公開第2017/150293(WO,A1)
【文献】特開2017-207670(JP,A)
【文献】特開2018-045512(JP,A)
【文献】特開2006-209468(JP,A)
【文献】特開2004-086322(JP,A)
【文献】特開2008-070643(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G09B 1/00 - 9/56
G09B 17/00 -19/26
A63B 69/00 -69/40
A63B 71/00 -71/16
G05B 19/418
G06Q 50/04
(57)【特許請求の範囲】
【請求項1】
作業を実施している対象者の動作を1又は複数のセンサにより測定することで生成された動作データを取得する第1取得部と、
取得した前記動作データを解析することで、前記作業に対する前記対象者の技能レベルであって、前記作業を適切に遂行できるか否かの程度を示す技能レベルを算出するレベル算出部と、
前記作業を適切に遂行できるようになるまでの過程で得られた模範者の動作データを技能レベル毎に格納したデータベースにアクセスし、算出した前記対象者の前記技能レベルと同一又は僅かに高い技能レベルにおける模範者の動作データを取得する第2取得部と、
取得した前記模範者の前記動作データと前記対象者の前記動作データとを比較し、当該比較の結果に基づいて、前記作業に対する前記対象者の動作を前記模範者の動作に近付けるための指導内容を決定する指導決定部と、
決定した指導内容に関する情報を出力する出力部と、
を備える、
作業支援装置。
【請求項2】
前記第1取得部は、前記指導内容に関する情報を前記出力部が出力した後に前記作業を実施している前記対象者の動作を前記1又は複数のセンサにより測定することで生成された他の動作データを取得し、
前記作業支援装置は、取得された前記他の動作データを解析することで、前記指導内容に応じた前記作業に対する動作を前記対象者が習得したか否かを判定する習得判定部を更に備え、
前記出力部は、前記指導内容に応じた前記作業に対する動作を前記対象者が習得したと前記習得判定部が判定するまで、前記指導内容に関する情報の出力を繰り返す、
請求項1に記載の作業支援装置。
【請求項3】
前記動作データは、前記作業に対する動作に関連する複数の特徴量で構成され、
前記指導決定部は、
前記比較の結果に基づいて、前記複数の特徴量のうち、前記対象者と前記模範者との間で差異の大きい1又は複数の特徴量を特定し、
特定した前記1又は複数の特徴量それぞれの前記対象者と前記模範者との間の差異に応じて前記指導内容を決定する、
請求項1又は2に記載の作業支援装置。
【請求項4】
前記作業は、複数の要素作業を含み、
前記指導決定部は、
前記模範者の前記動作データと前記対象者の前記動作データとを前記要素作業毎に比較し、
当該比較の結果に基づいて、前記複数の要素作業のうちの少なくともいずれかについて、前記指導内容を決定する、
請求項1から3のいずれか1項に記載の作業支援装置。
【請求項5】
前記各要素作業は、少なくとも1サイクル分の人間の認知学的な情報処理のプロセスを含むように定義され、
前記第1取得部は、前記対象者の知覚活動及び身体活動を複数のセンサにより測定することで生成された動作データを取得し、
前記動作データを解析することは、前記各要素作業の実行の正確性、速度、安定性、及びリズムの少なくともいずれかを評価することを含み、
前記レベル算出部は、前記評価の結果に応じて、前記技能レベルを算出する、
請求項4に記載の作業支援装置。
【請求項6】
前記レベル算出部は、
前記評価の結果に応じて、前記各要素作業についてのパフォーマンス指数を算出し、
前記各要素作業についてのパフォーマンス指数を合算することで、前記技能レベルを算出する、
請求項5に記載の作業支援装置。
【請求項7】
前記知覚活動及び前記身体活動の難易度に応じて、前記各要素作業についてのパフォーマンス指数の基準値が設定され、
前記レベル算出部は、予め与えられた模範的な挙動と比較して前記対象者の前記各要素作業の実行に対する各評価の程度に応じて、前記各要素作業についてのパフォーマンス指数を前記基準値から算出する、
請求項6に記載の作業支援装置。
【請求項8】
前記レベル算出部は、
前記動作データを解析することで、前記作業の実施を開始してから完遂するまでの実時間を計測し、
計測した実時間と予め設定された標準時間との比率に応じて、前記技能レベルを算出する、
請求項1から4のいずれか1項に記載の作業支援装置。
【請求項9】
前記第2取得部は、前記作業を適切に遂行できる複数の熟練者の動作データを平均化することで生成された平均動作データを前記模範者の前記動作データとして取得する、
請求項1から8のいずれか1項に記載の作業支援装置。
【請求項10】
前記データベースは、前記作業を適切に遂行できる複数の熟練者それぞれにそれぞれ対応する複数件の動作データを前記模範者の前記動作データとして格納し、
前記第2取得部は、
前記データベースに格納された前記複数件の動作データからいずれかの熟練者の動作データを選択し、
選択した前記熟練者の動作データを前記模範者の前記動作データとして取得する、
請求項1から8のいずれか1項に記載の作業支援装置。
【請求項11】
前記第2取得部は、前記複数の熟練者のうち、前記作業を適切に遂行できるようになるまでの期間の最も短かった熟練者の動作データを選択する、
請求項10に記載の作業支援装置。
【請求項12】
前記第2取得部は、前記複数の熟練者のうち、前記対象者とタイプが類似する熟練者の動作データを選択する、
請求項10に記載の作業支援装置。
【請求項13】
前記第2取得部は、前記データベースに格納された前記複数件の動作データから、最も参照されている熟練者の動作データを選択する、
請求項10に記載の作業支援装置。
【請求項14】
コンピュータが、
作業を実施している対象者の動作を1又は複数のセンサにより測定することで生成された動作データを取得するステップと、
取得した前記動作データを解析することで、前記作業に対する前記対象者の技能レベルであって、前記作業を適切に遂行できるか否かの程度を示す技能レベルを算出するステップと、
前記作業を適切に遂行できるようになるまでの過程で得られた模範者の動作データを技能レベル毎に格納したデータベースにアクセスし、算出した前記対象者の前記技能レベルと同一又は僅かに高い技能レベルにおける模範者の動作データを取得するステップと、
取得した前記模範者の前記動作データと前記対象者の前記動作データとを比較するステップと、
当該比較の結果に基づいて、前記作業に対する前記対象者の動作を前記模範者の動作に近付けるための指導内容を決定するステップと、
決定した指導内容に関する情報を出力するステップと、
を実行する、
作業支援方法。
【請求項15】
コンピュータに、
作業を実施している対象者の動作を1又は複数のセンサにより測定することで生成された動作データを取得するステップと、
取得した前記動作データを解析することで、前記作業に対する前記対象者の技能レベルであって、前記作業を適切に遂行できるか否かの程度を示す技能レベルを算出するステップと、
前記作業を適切に遂行できるようになるまでの過程で得られた模範者の動作データを技能レベル毎に格納したデータベースにアクセスし、算出した前記対象者の前記技能レベルと同一又は僅かに高い技能レベルにおける模範者の動作データを取得するステップと、
取得した前記模範者の前記動作データと前記対象者の前記動作データとを比較するステップと、
当該比較の結果に基づいて、前記作業に対する前記対象者の動作を前記模範者の動作に近付けるための指導内容を決定するステップと、
決定した指導内容に関する情報を出力するステップと、
を実行させるための、
作業支援プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、作業支援装置、作業支援方法及び作業支援プログラムに関する。
【背景技術】
【0002】
生産現場における作業に対する作業者の技能レベルを客観的かつ定量的に評価し、当該作業者の技能レベルを効率的に高めることができれば、当該生産現場の生産性を体系的に高める又は維持することが可能である。近年、生産現場の生産性を体系的に高める又は維持するために、様々なセンサから得られるデータを用いて、作業者の技能レベルを評価するための技術の開発が行われている。例えば、特許文献1及び2には、作業に対する作業者の技能レベルを評価するための技能評価システムが提案されている。
【0003】
具体的には、特許文献1で提案されるシステムは、CCDカメラ、ジャイロセンサ、加速度センサ、モーションセンサ、温度センサ等のセンサを用いて、作業の状態を測定することで挙動データ及び作業状態データを検出する。そして、当該システムは、検出した挙動データ及び作業状態データから作業者の特定の有意なパターンを抽出し、抽出したパターンと予め構築された模範的なデータのパターンとを比較する。この比較の結果に基づいて、当該システムは、作業者の技能レベルを客観的に評価することができる。
【0004】
また、特許文献2で提案されるシステムは、カメラ、加速度センサ、ジャイロセンサ、地磁気センサ等のセンサを用いて、模範者及び利用者それぞれの動作に係るデータを取得し、取得したそれぞれの動作に係るデータを時系列にグラフ化する。そして、当該システムは、各グラフの時間軸が所定の作業ポイントで一致するように各グラフを調整し、調整した模範者の動作のグラフ上で利用者に対するデータの許容範囲を設定し、調整した利用者の動作のグラフ上でデータの許容範囲から外れる区間を検出する。これにより、当該システムでは、模範者の動作から大きく異なった動作を利用者が行った時間区間を可視化することができる。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2006-171184号公報
【文献】特開2013-088730号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献1及び2のような従来のシステムによれば、作業者の技能レベルを客観的に評価し、技能レベルの低い作業者には模範者の動作を習得させることで、作業者の技能レベルを高めることができる。これによって、生産現場の生産性を体系的に高める又は維持することが可能である。しかしながら、本件発明者らは、上記のような従来のシステムでは、次のような問題点があることを見出した。
【0007】
例えば、作業に殆ど慣れていない、極めて低い技能レベルを有する第1対象者、及びもう少しで作業を適切に遂行可能になりそうな中程度の技能レベルを有する第2対象者が存在すると想定する。従来のシステムでは、作業者が作業を習熟する過程を考慮していなかった。つまり、従来のシステムによれば、第1対象者及び第2対象者は、同じ模範者のデータに基づいて、同じように動作の改善を指導されることになる。しかしながら、動作の改善を指導する対象となる対象者の技能レベルと模範者の技能レベルとの差が極めて大きい場合に、その模範者の動作を対象者に習得させようとしても、対象者は、その模範者の動作を短期間では習得できない可能性が高かった。よって、従来のシステムでは、対象者の技能レベルを効率的に高めることができない可能性があるという問題点があることを本件発明者らは見出した。なお、この課題は、上記のような生産現場の生産性/効率を高める又は維持する場面だけではなく、何らかの作業を人間が習得するあらゆる場面で生じ得る。
【0008】
本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、作業に対する対象者の技能レベルを客観的に評価し、かつ当該対象者に作業を効率的に習熟させるための技術を提供することである。
【課題を解決するための手段】
【0009】
本発明は、上述した課題を解決するために、以下の構成を採用する。
【0010】
すなわち、本発明の一側面に係る作業支援装置は、作業を実施している対象者の動作を1又は複数のセンサにより測定することで生成された動作データを取得する第1取得部と、取得した前記動作データを解析することで、前記作業に対する前記対象者の技能レベルであって、前記作業を適切に遂行できるか否かの程度を示す技能レベルを算出するレベル算出部と、前記作業を適切に遂行できるようになるまでの過程で得られた模範者の動作データを技能レベル毎に格納したデータベースにアクセスし、算出した前記対象者の前記技能レベルと同一又は僅かに高い技能レベルにおける模範者の動作データを取得する第2取得部と、取得した前記模範者の前記動作データと前記対象者の前記動作データとを比較し、当該比較の結果に基づいて、前記作業に対する前記対象者の動作を前記模範者の動作に近付けるための指導内容を決定する指導決定部と、決定した指導内容に関する情報を出力する出力部と、を備える。
【0011】
当該構成に係る作業支援装置は、作業を実施している対象者の動作を1又は複数のセンサにより測定し、得られた動作データを解析することで、当該作業者の技能レベルを評価する。次に、当該構成に係る作業支援装置は、作業を適切に遂行できるようになるまでの過程で得られた模範者の動作データを技能レベル毎に格納したデータベースにアクセスし、対象者の技能レベルと同一又は僅かに高い技能レベルにおける模範者の動作データを取得する。「僅かに高い」とは、模範者の技能レベルが対象者の技能レベルよりも高く、かつ模範者の技能レベルと対象者の技能レベルとの差が所定値以内であることである。所定値は、適宜決定されてよい。また、「作業を適切に遂行できる」とは、規定時間内に規定の品質で対象の作業を完遂することができることである。そして、当該構成に係る作業支援装置は、取得した模範者の動作データと対象者の動作データとを比較し、比較の結果に基づいて、作業に対する対象者の動作を模範者の動作に近付けるための指導内容を決定する。
【0012】
つまり、当該構成に係る作業支援装置では、模範者の動作データが、技能レベルに対応付けられて、データベースに収容されている。そして、当該構成に係る作業支援装置は、対象者の技能レベルと大きく乖離した技能レベルの動作データではなく、対象者の技能レベルに近い技能レベルを有していた頃の模範者の動作データを、対象者に習得させる動作の模範データとして利用する。これにより、対象者の技能レベルに適した動作データを模範として利用することができる。そのため、対象者に作業を効率的に習熟させることができる。また、当該構成では、技能レベルは、客観的に得られる動作データから導出される。そのため、作業に対する対象者の技能レベルを客観的に評価することができる。したがって、当該構成に係る作業支援装置によれば、作業に対する対象者の技能レベルを客観的に評価し、かつ当該対象者に作業を効率的に習熟させることができる。
【0013】
なお、「動作データ」は、動作に関するものであれば、その種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。また、「センサ」は、対象者の動作に関する生理学的パラメータを測定可能であれば、その種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、動作データは、身体の動き、脳波、脳血流、瞳孔径、視線方向、心電図、筋電図、皮膚電気反射(galvanic skin reflex:GSR)等を観測することで得られてもよい。また、例えば、センサは、カメラ、モーションキャプチャ、ロードセル、脳波計(Electroencephalograph:EEG)、脳磁計(Magnetoencephalography:MEG)、機能的核磁気共鳴画像法(Functional Magnetic Resonance Imaging:fMRI)により脳活動に関連した血流を撮影するよう構成された磁気共鳴画像装置、機能的近赤外分光法(Functional Near Infrared Spectroscopy:fNIRS)により脳血流を測定可能に構成された脳活動計測装置、瞳孔径及び視線方向を計測するように構成された視線センサ、眼電位センサ、心電計、筋電計、又はこれらの組み合わせが用いられてよい。
【0014】
上記一側面に係る作業支援装置において、前記第1取得部は、前記指導内容に関する情報を前記出力部が出力した後に前記作業を実施している前記対象者の動作を前記1又は複数のセンサにより測定することで生成された他の動作データを取得してもよい。上記一側面に係る作業支援装置は、取得された前記他の動作データを解析することで、前記指導内容に応じた前記作業に対する動作を前記対象者が習得したか否かを判定する習得判定部を更に備えてもよい。そして、前記出力部は、前記指導内容に応じた前記作業に対する動作を前記対象者が習得したと前記習得判定部が判定するまで、前記指導内容に関する情報の出力を繰り返してもよい。当該構成によれば、作業に対する対象者の習熟度を監視し、作業を適切に遂行できるようになるまで対象者を導くことができる。
【0015】
上記一側面に係る作業支援装置において、前記動作データは、前記作業に対する動作に関連する複数の特徴量で構成されてよい。そして、前記指導決定部は、前記比較の結果に基づいて、前記複数の特徴量のうち、前記対象者と前記模範者との間で差異の大きい1又は複数の特徴量を特定し、特定した前記1又は複数の特徴量それぞれの前記対象者と前記模範者との間の差異に応じて前記指導内容を決定してもよい。当該構成によれば、指導内容を適切に決定することができ、これによって、対象者に作業を効率的に習熟させることができる。
【0016】
上記一側面に係る作業支援装置において、前記作業は、複数の要素作業を含んでもよい。そして、前記指導決定部は、前記模範者の前記動作データと前記対象者の前記動作データとを前記要素作業毎に比較し、当該比較の結果に基づいて、前記複数の要素作業のうちの少なくともいずれかについて、前記指導内容を決定してもよい。当該構成によれば、指導内容を適切に決定することができ、これによって、対象者に作業を効率的に習熟させることができる。
【0017】
上記一側面に係る作業支援装置において、前記各要素作業は、少なくとも1サイクル分の人間の認知学的な情報処理のプロセスを含むように定義されてよい。前記第1取得部は、前記対象者の知覚活動及び身体活動を複数のセンサにより測定することで生成された動作データを取得してもよい。前記動作データを解析することは、前記各要素作業の実行の正確性、速度、安定性、及びリズムの少なくともいずれかを評価することを含んでもよい。そして、前記レベル算出部は、前記評価の結果に応じて、前記技能レベルを算出してもよい。当該構成によれば、作業に対する対象者の技能レベルを客観的かつ正確に評価することができる。
【0018】
上記一側面に係る作業支援装置において、前記レベル算出部は、前記評価の結果に応じて、前記各要素作業についてのパフォーマンス指数を算出してもよく、前記各要素作業についてのパフォーマンス指数を合算することで、前記技能レベルを算出してもよい。当該構成によれば、作業に対する対象者の技能レベルを客観的かつ正確に評価することができる。
【0019】
上記一側面に係る作業支援装置において、前記知覚活動及び前記身体活動の難易度に応じて、前記各要素作業についてのパフォーマンス指数の基準値が設定されてよく、前記レベル算出部は、予め与えられた模範的な挙動と比較して前記対象者の前記各要素作業の実行に対する各評価の程度に応じて、前記各要素作業についてのパフォーマンス指数を前記基準値から算出してもよい。当該構成によれば、作業に対する対象者の技能レベルを客観的かつ正確に評価することができる。
【0020】
上記一側面に係る作業支援装置において、前記レベル算出部は、前記動作データを解析することで、前記作業の実施を開始してから完遂するまでの実時間を計測し、計測した実時間と予め設定された標準時間との比率に応じて、前記技能レベルを算出してもよい。当該構成によれば、作業に対する対象者の技能レベルを客観的かつ簡易に評価することができる。
【0021】
上記一側面に係る作業支援装置において、前記第2取得部は、前記作業を適切に遂行できる複数の熟練者の動作データを平均化することで生成された平均動作データを前記模範者の前記動作データとして取得してもよい。当該構成によれば、作業に含まれる一連の動作を対象者に習得させるために模範として利用する模範者の動作データを適切に取得することができ、これによって、対象者に作業を効率的に習熟させることができる。
【0022】
上記一側面に係る作業支援装置において、前記データベースは、前記作業を適切に遂行できる複数の熟練者それぞれにそれぞれ対応する複数件の動作データを前記模範者の前記動作データとして格納してもよい。そして、前記第2取得部は、前記データベースに格納された前記複数件の動作データからいずれかの熟練者の動作データを選択してもよく、選択した前記熟練者の動作データを前記模範者の前記動作データとして取得してもよい。当該構成によれば、作業に含まれる一連の動作を対象者に習得させるために模範として利用する模範者の動作データを適切に取得することができ、これによって、対象者に作業を効率的に習熟させることができる。
【0023】
上記一側面に係る作業支援装置において、前記第2取得部は、前記複数の熟練者のうち、前記作業を適切に遂行できるようになるまでの期間の最も短かった熟練者の動作データを選択してもよい。当該構成によれば、作業に含まれる一連の動作を対象者に習得させるために模範として利用する模範者の動作データを適切に取得することができ、これによって、対象者に作業を効率的に習熟させることができる。
【0024】
上記一側面に係る作業支援装置において、前記第2取得部は、前記複数の熟練者のうち、前記対象者とタイプが類似する熟練者の動作データを選択してもよい。当該構成によれば、作業に含まれる一連の動作を対象者に習得させるために模範として利用する模範者の動作データを適切に取得することができ、これによって、対象者に作業を効率的に習熟させることができる。
【0025】
上記一側面に係る作業支援装置において、前記第2取得部は、前記データベースに格納された前記複数件の動作データから、最も参照されている熟練者の動作データを選択してもよい。当該構成によれば、作業に含まれる一連の動作を対象者に習得させるために模範として利用する模範者の動作データを適切に取得することができ、これによって、対象者に作業を効率的に習熟させることができる。
【0026】
上記各形態に係る作業支援装置の別の態様として、本発明の一側面は、以上の各構成を実現する情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記憶した、コンピュータ等が読み取り可能な記憶媒体であってもよい。ここで、コンピュータ等が読み取り可能な記憶媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。
【0027】
例えば、本発明の一側面に係る作業支援方法は、コンピュータが、作業を実施している対象者の動作を1又は複数のセンサにより測定することで生成された動作データを取得するステップと、取得した前記動作データを解析することで、前記作業に対する前記対象者の技能レベルであって、前記作業を適切に遂行できるか否かの程度を示す技能レベルを算出するステップと、前記作業を適切に遂行できるようになるまでの過程で得られた模範者の動作データを技能レベル毎に格納したデータベースにアクセスし、算出した前記対象者の前記技能レベルと同一又は僅かに高い技能レベルにおける模範者の動作データを取得するステップと、取得した前記模範者の前記動作データと前記対象者の前記動作データとを比較するステップと、当該比較の結果に基づいて、前記作業に対する前記対象者の動作を前記模範者の動作に近付けるための指導内容を決定するステップと、決定した指導内容に関する情報を出力するステップと、を実行する、情報処理方法である。
【0028】
また、例えば、本発明の一側面に係る作業支援プログラムは、コンピュータに、作業を実施している対象者の動作を1又は複数のセンサにより測定することで生成された動作データを取得するステップと、取得した前記動作データを解析することで、前記作業に対する前記対象者の技能レベルであって、前記作業を適切に遂行できるか否かの程度を示す技能レベルを算出するステップと、前記作業を適切に遂行できるようになるまでの過程で得られた模範者の動作データを技能レベル毎に格納したデータベースにアクセスし、算出した前記対象者の前記技能レベルと同一又は僅かに高い技能レベルにおける模範者の動作データを取得するステップと、取得した前記模範者の前記動作データと前記対象者の前記動作データとを比較するステップと、当該比較の結果に基づいて、前記作業に対する前記対象者の動作を前記模範者の動作に近付けるための指導内容を決定するステップと、決定した指導内容に関する情報を出力するステップと、を実行させるための、プログラムである。
【発明の効果】
【0029】
本発明によれば、作業に対する対象者の技能レベルを客観的に評価し、かつ当該対象者に作業を効率的に習熟させるための技術を提供することができる。
【図面の簡単な説明】
【0030】
図1図1は、本発明が適用される場面の一例を模式的に例示する。
図2図2は、対象者の技能レベルと指導に利用するデータとの関係を例示する。
図3図3は、実施の形態に係る作業支援装置のハードウェア構成の一例を模式的に例示する。
図4図4は、実施の形態に係る作業支援装置のソフトウェア構成の一例を模式的に例示する。
図5A図5Aは、実施の形態に係る作業支援装置の処理手順の一例を例示する。
図5B図5Bは、実施の形態に係る作業支援装置の処理手順の一例を例示する。
図6図6は、作業を構成する複数の要素作業の一例を模式的に例示する。
図7図7は、実施の形態に係る対象者の動作データの一例を模式的に例示する。
図8図8は、実施の形態に係る習熟過程データベースの一例を模式的に例示する。
図9A図9Aは、実施の形態に係る模範者の動作データの一例を模式的に例示する。
図9B図9Bは、実施の形態に係る模範者の動作データの一例を模式的に例示する。
図9C図9Cは、実施の形態に係る模範者の動作データの一例を模式的に例示する。
図9D図9Dは、実施の形態に係る模範者の動作データの一例を模式的に例示する。
図10図10は、実施の形態に係る指導内容データベースの一例を模式的に例示する。
図11図11は、実施の形態に係る作業支援装置により出力される情報の一例を模式的に例示する。
図12図12は、実施の形態に係る作業支援装置における指導内容の習得を判定する処理手順の一例を例示する。
図13図13は、本発明が適用される場面のその他の例を模式的に例示する。
図14図14は、人間の認知学的な情報処理のプロセスを模式的に例示する。
図15図15は、作業を習熟する過程の一例を模式的に例示する。
図16A図16Aは、要素作業の実行の正確性を評価する方法の一例を模式的に例示する。
図16B図16Bは、要素作業の実行の安定性を評価する方法の一例を模式的に例示する。
図16C図16Cは、要素作業の実行の速度を評価する方法の一例を模式的に例示する。
図16D図16Dは、要素作業の実行のリズムを評価する方法の一例を模式的に例示する。
図17A図17Aは、知覚活動の難易度とパフォーマンス指標の基準値との関係の一例を例示する。
図17B図17Bは、身体活動の難易度とパフォーマンス指標の基準値との関係の一例を例示する。
【発明を実施するための形態】
【0031】
以下、本発明の一側面に係る実施の形態(以下、「本実施形態」とも表記する)を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。
【0032】
§1 適用例
まず、図1を用いて、本発明が適用される場面の一例について説明する。図1は、本実施形態に係る作業支援装置1の適用場面の一例を模式的に例示する。図1の例では、対象者50に割り当てられたタスクは、第1~第5工程までの5つの工程を含んでおり、各工程の作業40を遂行するためのワークスペースが一方向に並んでいる。各作業40は、例えば、挿入部品の挿入、はんだ付け、ケースの勘合、検査、梱包等である。対象者50は、順に各ワークスペースに移動して、各工程の作業40を遂行する。第5工程の作業40を完遂すると、対象者50は、再び第1工程のワークスペースに戻り、最初から各工程の作業40を遂行する。
【0033】
この対象者50は、生産ラインにおける各工程の作業40に対する動作の改善を指導する対象となる作業者である。各ワークスペースの間には、赤外線センサ45が配置されている。そのため、本実施形態に係る作業支援装置1は、各赤外線センサ45の検出結果に基づいて、対象者50がどのワークスペースに存在するか、すなわち、対象者50がどの工程の作業40を遂行しているかを特定することができる。ただし、対象者50に割り当てられる作業40の種類及び数は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。
【0034】
本実施形態に係る作業支援装置1は、作業40を実施している対象者50の動作を1又は複数のセンサにより測定することで生成された動作データ55を取得する。センサは、対象者50の動作を観測可能であれば、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。また、利用するセンサの数も、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。本実施形態では、カメラ30、ロードセル31、及び眼電位センサ32がセンサの一例として利用される。カメラ30は、対象者50のモーションを測定する。ロードセル31は、対象者50の手に作用した力を測定する。眼電位センサ32は、対象者50の視線方向(注視点)を測定する。本実施形態に係る作業支援装置1は、これらにより生成された動作データ55を取得する。次に、作業支援装置1は、取得した動作データ55を解析することで、作業40に対する対象者50の技能レベルを算出する。
【0035】
ここで、図2を更に用いて、作業を適切に遂行できるようになるまでの習熟過程と技能レベルとの関係について説明する。図2は、習熟過程と技能レベルとの関係の一例を例示する。技能レベルは、作業40を適切に遂行できるか否かの程度を示す。作業40を適切に遂行できるとは、規定時間内に規定の品質で作業40を完遂することができることである。図2に示されるとおり、一般的に、作業者は、対象の作業の遂行を繰り返すほど、その作業を適切に完遂するための動作を習得する。つまり、作業回数(期間)に応じて、技能レベルが向上していく。そして、十分な回数(期間)分だけ作業を遂行することで、その作業者は、規定時間内に規定の品質で作業を完遂することができる熟練者となり、この作業を適切に遂行することができない他の作業者の模範者となる。
【0036】
本実施形態では、習熟過程データベース60に、この過程における各時点の模範者の動作データが収容されている。つまり、習熟過程データベース60は、作業40を適切に遂行できるようになるまでの過程で得られた模範者の動作データを技能レベル毎に格納している。この習熟過程データベース60は、本発明の「データベース」の一例である。なお、図2では、技能レベルは、「0」~「100」までの数値で表現されている。しかしながら、技能レベルの表現方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。
【0037】
本実施形態に係る作業支援装置1は、この習熟過程データベース60にアクセスし、算出した対象者50の技能レベルと同一又は僅かに高い技能レベルにおける模範者の動作データ70を取得する。僅かに高いとは、模範者の技能レベルが対象者50の技能レベルよりも高く、かつ模範者の技能レベルと対象者50の技能レベルとの差が所定値以内であることである。図2に示すとおり、対象者50の技能レベルが「A」であると想定する。この場合、作業支援装置1は、「A」~「A+a」の技能レベルの範囲における模範者の動作データ70を取得する。この「a」は、所定値に対応する。
【0038】
本実施形態に係る作業支援装置1は、取得した動作データ70を作業40の教示に利用する。具体的には、作業支援装置1は、取得した模範者の動作データ70と対象者50の動作データ55とを比較する。次に、作業支援装置1は、当該比較の結果に基づいて、作業40に対する対象者50の動作を模範者の動作に近付けるための指導内容を決定する。そして、作業支援装置1は、決定した指導内容に関する情報を出力する。この出力処理の一例として、作業支援装置1は、決定した指導内容を出力装置15に表示する。
【0039】
以上により、本実施形態によれば、対象者50の技能レベルと大きく乖離した技能レベルの動作データではなく、対象者50の技能レベルに近い技能レベル(図2のA~A+a)を有していた頃の模範者の動作データ70が、対象者50に習得させる動作の模範データとして利用される。これにより、対象者50の技能レベルに適した動作データ70を模範として利用することができる。そのため、模範者が作業40を習熟した過程を辿るように、対象者50に作業40を効率的に習熟させることができる。また、対象者50の技能レベルは、客観的に得られる動作データ55から導出される。そのため、作業40に対する対象者50の技能レベルを客観的に評価することができる。したがって、本実施形態に係る作業支援装置1によれば、作業40に対する対象者50の技能レベルを客観的に評価し、かつ対象者50に作業40を効率的に習熟させることができる。
【0040】
§2 構成例
[ハードウェア構成]
次に、図3を用いて、本実施形態に係る作業支援装置1のハードウェア構成の一例について説明する。図3は、本実施形態に係る作業支援装置1のハードウェア構成の一例を模式的に例示する。
【0041】
図3に示されるとおり、本実施形態に係る作業支援装置1は、制御部11、記憶部12、外部インタフェース13、入力装置14、出力装置15、及びドライブ16が電気的に接続されたコンピュータである。なお、図3では、外部インタフェースを「外部I/F」と記載している。
【0042】
制御部11は、ハードウェアプロセッサであるCPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を含み、プログラム及び各種データに基づいて情報処理を実行するように構成される。記憶部12は、メモリの一例であり、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。本実施形態では、記憶部12は、作業支援プログラム80、習熟過程データベース60、指導内容データベース65等の各種情報を格納する。
【0043】
作業支援プログラム80は、対象者50が作業40を習熟するのを支援するための情報処理(図5A図5B及び図12)を作業支援装置1に実行させるためのプログラムである。作業支援プログラム80は、当該情報処理の一連の命令を含む。習熟過程データベース60は、作業40を適切に遂行できるようになるまでの過程で得られた模範者の動作データを技能レベルに対応付けて収容する。指導内容データベース65は、対象者50に提示するための指導内容のテンプレートを収容する。詳細は後述する。
【0044】
外部インタフェース13は、例えば、USB(Universal Serial Bus)ポート、専用ポート等であり、外部装置と接続するためのインタフェースである。外部インタフェース13の種類及び数は、接続される外部装置の種類及び数に応じて適宜選択されてよい。本実施形態では、作業支援装置1は、外部インタフェース13を介して、カメラ30、ロードセル31、眼電位センサ32、及び赤外線センサ45に接続される。
【0045】
カメラ30、ロードセル31、及び眼電位センサ32は、対象者50の動作を測定するために利用される。カメラ30は、例えば、対象者50の身体を撮影するように配置され、対象者50のモーションを測定するために利用される。これに応じて、対象者50は、モーションを計測するためのマーカを装着してもよい。ロードセル31は、例えば、対象者50の手に装着され、手に作用した力を測定するのに利用される。眼電位センサ32は、例えば、対象者50の目の近傍に配置され、対象者50の視線方向(注視点)を測定するのに利用される。本実施形態では、作業支援装置1は、これらのセンサから動作データ55を取得することができる。
【0046】
また、各赤外線センサ45は、対象者50が遂行している作業40を特定するために利用される。図1に示されるとおり、本実施形態において、対象者50に割り当てられるタスクは第1~第5工程を含んでおり、各工程のワークスペースは、一方向に並んでいる。各赤外線センサ45は、各ワークスペースの間に配置されており、各ワークスペースの間を通過したことを検知可能に構成されている。作業支援装置1は、各赤外線センサ45の検知結果に基づいて、対象者50が存在するワークスペース、すなわち、対象者50が遂行している工程を特定する。なお、外部インタフェース13に接続されるセンサの種類及び数は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。
【0047】
入力装置14は、例えば、マウス、キーボード等の入力を行うための装置である。また、出力装置15は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。オペレータは、入力装置14及び出力装置15を利用して、作業支援装置1を操作することができる。オペレータは、例えば、対象者50自身、対象者50を監督する監督者等である。
【0048】
ドライブ16は、例えば、CD(Compact Disc)ドライブ、DVDドライブ等であり、記憶媒体90に記憶されたプログラムを読み込むためのドライブ装置である。ドライブ16の種類は、記憶媒体90の種類に応じて適宜選択されてよい。上記作業支援プログラム80、習熟過程データベース60、及び指導内容データベース65の少なくともいずれかは、この記憶媒体90に記憶されていてもよい。
【0049】
記憶媒体90は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。作業支援装置1は、この記憶媒体90から、上記作業支援プログラム80、習熟過程データベース60、及び指導内容データベース65の少なくともいずれかを取得してもよい。
【0050】
ここで、図3では、記憶媒体90の一例として、CD、DVD等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体90の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。
【0051】
なお、作業支援装置1の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部11は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、FPGA(field-programmable gate array)等で構成されてもよい。記憶部12は、制御部11に含まれるRAM及びROMにより構成されてもよい。外部インタフェース13、入力装置14、及び出力装置15、及びドライブ16の少なくともいずれかは省略されてもよい。作業支援装置1は、ネットワークを介して外部装置とデータ通信するための通信インタフェースを備えてもよい。カメラ30、ロードセル31、眼電位センサ32、及び各赤外線センサ45が通信インタフェースを備える場合、作業支援装置1は、カメラ30、ロードセル31、眼電位センサ32、及び各赤外線センサ45にネットワークを介して接続されてもよい。作業支援装置1は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、作業支援装置1は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、PC(Personal Computer)等であってもよい。
【0052】
[ソフトウェア構成]
次に、図4を用いて、本実施形態に係る作業支援装置1のソフトウェア構成の一例について説明する。図4は、本実施形態に係る作業支援装置1のソフトウェア構成の一例を模式的に例示する。
【0053】
作業支援装置1の制御部11は、記憶部12に記憶された作業支援プログラム80をRAMに展開する。そして、制御部11は、RAMに展開された作業支援プログラム80をCPUにより解釈及び実行して、作業支援プログラム80に含まれる一連の命令に基づいて、各構成要素を制御する。これによって、図4に示されるとおり、本実施形態に係る作業支援装置1は、第1取得部111、レベル算出部112、第2取得部113、指導決定部114、出力部115、習得判定部116、及び登録部117をソフトウェアモジュールとして備えるコンピュータとして動作する。すなわち、本実施形態では、各ソフトウェアモジュールは、制御部11(CPU)により実現される。
【0054】
第1取得部111は、作業40を実施している対象者50の動作を1又は複数のセンサにより測定することで生成された動作データ55を取得する。レベル算出部112は、取得した動作データ55を解析することで、作業40に対する対象者50の技能レベルを算出する。技能レベルは、作業40を適切に遂行できるか否かの程度を示す。第2取得部113は、作業40を適切に遂行できるようになるまでの過程で得られた模範者の動作データを技能レベル毎に格納した習熟過程データベース60にアクセスし、算出した対象者50の技能レベルと同一又は僅かに高い技能レベルにおける模範者の動作データ70を取得する。指導決定部114は、取得した模範者の動作データ70と対象者50の動作データ55とを比較し、比較の結果に基づいて、作業40に対する対象者50の動作を模範者の動作に近付けるための指導内容を決定する。出力部115は、決定した指導内容に関する情報を出力する。
【0055】
第1取得部111は、指導内容に関する情報を出力部115が出力した後に、作業40を実施している対象者50の動作を1又は複数のセンサにより測定することで生成された他の動作データを取得してもよい。習得判定部116は、取得された他の動作データを解析することで、指導内容に応じた作業40に対する動作を対象者50が習得したか否かを判定する。出力部115は、指導内容に応じた作業40に対する動作を対象者50が習得したと習得判定部116が判定するまで、指導内容に関する情報の出力を繰り返してもよい。登録部117は、作業40を適切に遂行できるようになるまでの過程で得られた対象者50の動作データを技能レベルに対応付けて習熟過程データベース60に格納する。
【0056】
作業支援装置1の各ソフトウェアモジュールに関しては後述する動作例で詳細に説明する。なお、本実施形態では、作業支援装置1の各ソフトウェアモジュールがいずれも汎用のCPUによって実現される例について説明している。しかしながら、以上のソフトウェアモジュールの一部又は全部が、1又は複数の専用のプロセッサにより実現されてもよい。また、作業支援装置1のソフトウェア構成に関して、実施形態に応じて、適宜、ソフトウェアモジュールの省略、置換及び追加が行われてもよい。
【0057】
§3 動作例
次に、図5A及び図5Bを用いて、作業支援装置1の動作例について説明する。図5A及び図5Bは、本実施形態に係る作業支援装置1の処理手順の一例を示すフローチャートである。以下で説明する処理手順は、本発明の「作業支援方法」の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
【0058】
(ステップS101)
ステップS101では、制御部11は、第1取得部111として動作し、作業40を実施している対象者50の動作を1又は複数のセンサにより測定することで生成された動作データ55を取得する。
【0059】
(A)作業の構成について
まず、図6を用いて、本実施形態に係る作業40の構成について説明する。図6は、本実施形態に係る作業40の構成の一例を模式的に例示する。図6に示されるとおり、本実施形態では、作業40は、複数の要素作業を含んでいるものとして取り扱われる。図6の例では、作業40は、「視認」、「把持」、「運搬」及び「調整」の4種類の要素作業に分割されている。この例では、各要素作業は、「視認」、「把持」、「運搬」及び「調整」の順に、時系列(時間軸)上で連続的に並んでいる。
【0060】
「視認」は、主に、作業40の対象物の属性を認知する活動である。「把持」は、主に、「視認」の結果に基づいて、作業40の対象物を把持する活動である。「運搬」は、主に、「把持」の結果に基づいて、作業40の対象物を移動させる活動である。「調整」は、主に、「運搬」後の対象物の状態を目的の状態に変化させる活動である。
【0061】
生産ラインに含まれる各工程における作業40は、上記の4つの要素作業の組み合わせにより表現可能である。具体例として、対象者50がはんだ付けを行う場面を想定する。この場合、「視認」は、はんだごて及びはんだ付けを行う対象の空間認知及び形状認知を行うことである。「把持」は、はんだごてを持つことである。「運搬」は、はんだごてを対象まで運ぶことである。「調整」は、はんだごての位置及び角度を変更することである。これらの一連の要素作業を実行することにより、対象者50は、はんだ付けを遂行することができる。
【0062】
なお、生産ラインに含まれる工程におけるはんだ付け以外のタスク及びそれらのタスク以外の作業についても、上記の4つの要素作業の組み合わせにより表現可能である。ただし、要素作業の種類、数、組み合わせ及び順序はそれぞれ、これらの例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。例えば、「調整」が実行された後に、「視認」が実行されるように要素作業の順序が規定されてもよい。作業40を複数の要素作業に分けることで、各要素作業の組み合わせで作業40を遂行する過程を表現することができ、これによって、作業40を遂行する過程における対象者50の動作を評価することができる。
【0063】
(B)動作データのデータ形式
次に、本実施形態に係る動作データ55のデータ形式について説明する。本実施形態では、制御部11は、上記各要素作業における動作を評価可能な動作データ55を取得する。具体的には、本実施形態に係る作業支援装置1は、外部インタフェース13を介してカメラ30、ロードセル31、及び眼電位センサ32に接続されている。そのため、制御部11は、カメラ30、ロードセル31、及び眼電位センサ32から動作データ55を取得する。すなわち、未加工の動作データ55は、画像データ、力の測定データ、及び眼電位の測定データを含む。動作データ55は、これらのセンサから得られたローデータであってもよいし、このローデータを加工することで得られたデータであってもよい。本実施形態では、制御部11は、以下のとおり、各センサから得られたローデータを加工することで、作業40に含まれる各要素作業に対する動作に関連する複数の特徴量で構成された動作データ55を取得する。
【0064】
図7は、本実施形態に係る動作データ55を取得する過程の一例を模式的に例示する。図7に例示されるように、制御部11は、まず、各センサから得られたローデータを特徴量の時系列データに変換する。この変換処理には、公知の方法が適宜採用されてよい。変換処理の一例として、制御部11は、ローデータを一定区間毎に区切ることで、ローデータを複数のフレームに分割する。不要な場合には、このフレーム分割の処理は省略されてよい。続いて、制御部11は、各フレーム内の部分データに所定の演算処理を適用することで、各フレーム内の特徴量を算出する。特徴量は、力、モーション、視線方向等の測定値に関して、例えば、フレーム内の振幅、最大値(ピーク値)、最小値、平均値、分散値、標準偏差、瞬時値等であってよい。特徴量は、時系列上の確率分布で表現されてもよい。そして、制御部11は、算出した特徴量を時系列にプロットする。この一連の処理により、制御部11は、各センサから得られたローデータを特徴量の時系列データに変換することができる。図7は、ロードセル31から得られたローデータを最大値(ピーク値)の時系列データに変換した例を示している。
【0065】
次に、制御部11は、特徴量の時系列データを分析することで、時間軸上で対象者50が各要素作業を実行した各時間区間を推定する。つまり、制御部11は、時系列データの各時間区間と各要素作業との対応関係を推定する。時系列データを分析する手法は、各要素作業の時間区間を識別可能であれば、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。この時系列データ分析の手法には、例えば、状態遷移確率モデル、ベイズモデル、マルコフモデル、隠れマルコフモデル、多クラス識別モデル、カーネル関数、動的時間伸縮法(Dynamic Time Warping)等の公知のクラスタリング手法を採用することができる。
【0066】
また、時系列データの分析には、各要素作業の時間区間を推定する能力を機械学習により習得した学習済みの学習モデルが利用されてもよい。この機械学習には、例えば、サンプルとなる特徴量の時系列データとサンプルの各時間区間の要素作業を示す正解データとの組み合わせで構成されるデータセットが用いられる。サンプルは、訓練データである。学習モデルは、例えば、ニューラルネットワーク、サポートベクタマシン等により構成される。誤差逆伝播法等の公知の学習アルゴリズムによって、この学習モデルは、サンプルが入力されると、入力されたサンプルに対応する正解データを出力するように訓練される。これにより、学習済みの学習モデルは、特徴量の時系列データが入力されると、入力された時系列データにおける各要素作業の時間区間を推定した結果を出力する能力を習得する。
【0067】
各要素作業を実行した各時間区間の推定が完了すると、制御部11は、推定した各時間区間の部分データを参照することで、各要素作業についての各測定値の特徴量を得ることができる。これにより、制御部11は、作業40に含まれる各要素作業に対する動作に関連する複数の特徴量で構成された動作データ55を取得することができる。
【0068】
図7の例では、作業40は、「視認」、「把持」、「運搬」及び「調整」の4つの要素作業に分割され、隣接する「視認」及び「把持」が部分的に重複している。このように、各要素作業は、隣接する要素作業と部分的に重複してもよい。なお、図7の例では、隣り合う2つの要素作業は、互いに接しているか部分的に重複している。しかしながら、要素作業の並びはこのような例に限定されなくてもよい。例えば、隣り合う2つの要素作業は互いに離れ、その隣り合う2つの要素作業の間に、いずれの要素作業にも属さない無駄な時間が存在してもよい。
【0069】
また、図7の例では、動作データ55は、手の軌跡長、手の角度、手に作用した力、頭の軌跡長、頭の角度、及び目の注視点範囲に関する各測定値の特徴量により構成されている。手の軌跡長、手の角度、頭の軌跡長、及び頭の角度は、カメラ30により得られる画像データから導出される。手に作用した力は、ロードセル31により得られる測定データから導出される。目の注視点範囲は、眼電位センサ32により得られる測定データから導出される。このような動作データ55を取得すると、制御部11は、次のステップS102に処理を進める。
【0070】
なお、動作データ55を取得する経路は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、作業支援装置1とは異なる他のコンピュータが、カメラ30、ロードセル31、及び眼電位センサ32に接続されていてもよい。また、他のコンピュータが、カメラ30、ロードセル31、及び眼電位センサ32から得られたデータから上記データ形式の動作データ55を生成してもよい。この場合、制御部11は、他のコンピュータからの動作データ55の送信を受け付けることで、当該動作データ55を取得してもよい。
【0071】
(ステップS102)
図5Aに戻り、ステップS102では、制御部11は、レベル算出部112として動作し、取得した動作データ55を解析することで、作業40に対する対象者50の技能レベルを算出する。技能レベルは、作業40を適切に遂行できるか否かの程度を示す。作業40を適切に遂行できるとは、作業40を規定時間内に規定の品質で完遂することができることである。そのため、作業40にかかる時間、品質、作業40に対する動作のパフォーマンスの程度等の指標を用いて、動作データ55から技能レベルが導出されてよい。
【0072】
本実施形態では、制御部11は、作業40の完遂にかかった時間を指標として用いて、動作データ55から技能レベルを導出する。具体的には、制御部11は、動作データ55を解析することで、作業40の実施を開始してから完遂するまでの実時間を計測する。例えば、制御部11は、上記各要素作業の時間区間を推定した結果を利用して、最初の要素作業の実行を開始してから最後の要素作業の実行を完了するまでの時間を実時間として計測する。そして、制御部11は、計測した実時間と予め設定された標準時間との比率に応じて、技能レベルを算出する。例えば、制御部11は、以下の式1に基づいて、実時間及び標準時間から技能レベルを導出してもよい。
【0073】
(技能レベル)=(標準時間)/(実時間) ・・・(式1)
標準時間は、標準的な作業者が作業40を完遂するのにかかる時間(上記規定時間)であり、オペレータの入力により適宜指定されてよい。また、標準時間は、作業40を規定時間内に規定の品質で完遂することができる熟練者の動作を観測することで得られる実時間に基づいて導出されてもよい。
【0074】
標準時間と比べて実時間が長いほど、技能レベルの値は小さくなる。一方、標準時間と比べて実時間が短いほど、技能レベルの値は大きくなる。つまり、この指標によれば、作業40の完遂にかかる時間が短いほど、技能レベルは高いと評価することができる。これにより、制御部11は、対象者50の作業40に対する技能レベルを客観的かつ簡易的に評価することができる。対象者50の技能レベルを算出すると、次のステップS103に処理を進める。
【0075】
なお、ステップS101及びステップS102の処理は工程毎に実行されてよい。すなわち、制御部11は、赤外線センサ45の検知結果に基づいて、対象者50が遂行している工程を特定し、得られた動作データ55及び技能レベルを特定した工程に対応付ける。これにより、制御部11は、動作データ55及び作業40に対する技能レベルを工程毎に取得することができる。
【0076】
(ステップS103)
ステップS103では、制御部11は、第2取得部113として動作し、習熟過程データベース60にアクセスし、算出した対象者50の技能レベルと同一又は僅かに高い技能レベルにおける模範者の動作データ70を取得する。本実施形態では、習熟過程データベース60は、記憶部12に保持されているため、制御部11は、記憶部12にアクセスして、模範者の動作データ70を取得する。
【0077】
習熟過程データベース60には、作業40を適切に遂行できるようになるまでの過程で得られた模範者の動作データを技能レベル毎に格納されている。すなわち、習熟過程データベース60には、作業者が作業を習熟し、初心者から熟練者になる過程の各時点で得られた動作データが、その時点における作業者の技能レベルに対応付けられて格納されている。
【0078】
ここで、図8を用いて、習熟過程データベース60のデータ形式の一例を説明する。図8は、本実施形態に係る習熟過程データベース60の一例を模式的に例示する。図8の例では、習熟過程データベース60は、複数のテーブルを含んでいる。各テーブルは、動作データ、作業者、工程、技能レベル、習熟期間、及び参照回数の各フィールドを備えている。
【0079】
具体的には、動作データフィールドには、動作データを構成する各特徴量であって、各要素作業に対する動作に関連する各特徴量の値が格納される。各特徴量の種別は、上記動作データ55と同様である。この動作データは、対象の作業者が作業40を実行している間に各センサから得られたローデータより導出される。
【0080】
作業者フィールドには、対象の作業者を特定するための情報(例えば、作業者の名前)が格納される。工程フィールドには、この動作データを得た工程の種別が格納される。技能レベルフィールドには、この動作データを得た時点における作業40に対する対象の作業者の技能レベルが格納される。習熟期間フィールドには、作業40(各工程)を適切に遂行できるようになるまでに対象の作業者が当該作業40(各工程)を遂行した回数(又は、期間)が格納される。図8では、第1工程を適切に遂行できるようになるまでに対象の作業者が当該第1工程を遂行した回数が格納されている例を示している。参照回数フィールドには、この動作データが模範者の動作データとして参照された回数が格納される。
【0081】
これにより、1件のテーブルは、特定の技能レベルを有する特定の作業者の特定の工程における動作データを示す。対象の作業者の各テーブルは、当該作業者が初心者から熟練者になる過程の各時点で得られる。これら一連のテーブルは、当該作業者が作業を習熟する過程を示すことができる。ただし、このデータ形式は一例である。習熟過程データベース60のデータ形式は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。
【0082】
制御部11は、習熟過程データベース60にアクセスし、対象者50の技能レベルと同一又は僅かに高い技能レベルにおける模範者の動作データ70を検索する。この検索は、例えば、次のような手順で行うことができる。すなわち、制御部11は、各テーブルの工程フィールドの値を参照し、対象の工程の動作データを示すテーブルを抽出する。次に、制御部11は、抽出した各テーブルの技能レベルフィールドを参照し、対象者50の技能レベルと同一又は僅かに高い技能レベルにおける動作データを示すテーブルを抽出する。僅かに高いとは、対象の技能レベルが対象者50の技能レベルよりも高く、かつ対象の技能レベルと対象者50の技能レベルとの差が所定値以内であることである。そのため、制御部11は、技能レベルフィールドに格納された値が、対象者50の技能レベルの第1の値からこの第1の値に所定値を加えた第2の値までの範囲に含まれるテーブルを抽出する。所定値は、閾値として適宜与えられてよい。これにより、制御部11は、対象の工程の作業40について、抽出したテーブルの示す動作データを模範者の動作データ70として取得することができる。制御部11は、模範者の動作データ70として抽出したテーブルの参照回数フィールドの値を1つ増加させる。
【0083】
なお、習熟過程データベース60には、作業40を適切に遂行できる複数の熟練者それぞれにそれぞれ対応する複数件の動作データを模範者の動作データとして格納していてもよい。この場合、上記模範者の動作データ70の検索において、複数のテーブル(つまり、複数の熟練者の動作データ)がヒットする可能性がある。複数のテーブルが模範者の動作データ70として抽出されたときには、制御部11は、抽出された複数のテーブルから模範者の動作データ70を適宜取得してよい。本実施形態では、制御部11は、以下の2つの方法のいずれかを採用することにより、抽出された複数のテーブルから模範者の動作データ70を取得する。
【0084】
(1)第1の方法
図9Aを用いて、第1の方法について説明する。図9Aは、模範者の動作データ70を取得する第1の方法を説明するための図である。なお、図9Aでは、各テーブルを簡略化している。後述する図9B図9Dについても同様の簡略化がなされている。
【0085】
この第1の方法では、制御部11は、作業を適切に遂行できる複数の熟練者の動作データを平均化することで生成された平均動作データを模範者の動作データ70として取得する。すなわち、制御部11は、上記検索により抽出された各テーブルの動作データフィールドに格納された各特徴量の値を平均化することで平均動作データを生成し、生成した平均動作データを模範者の動作データ70として取得する。
【0086】
図9Aの例では、第1工程について、作業者「AAA」の動作データを示すテーブル及び作業者「BBB」の動作データを示すテーブルの2つのテーブルが上記検索により抽出されている。制御部11は、この2つのテーブルに格納された動作データを構成する各特徴量の値を平均化する。この例では、作業者「AAA」の「運搬」における手の力を格納するフィールドには「55」が格納されており、作業者「BBB」の同一フィールドには「45」が格納されている。そのため、模範者の動作データ70における同一フィールドの値は「50」となっている。
【0087】
第1の方法によれば、制御部11は、平均的な熟練者の動作データを模範者の動作データ70として取得することができる。なお、このような平均化の演算を省略する観点から、習熟過程データベース60には、個々の熟練者の動作データではなく、この平均動作データが格納されていてもよい。この場合、制御部11は、習熟過程データベース60から直接的に平均動作データを模範者の動作データ70を取得することができる。
【0088】
(2)第2の方法
第2の方法では、制御部11は、上記検索により習熟過程データベース60から抽出された複数のテーブルからいずれかのテーブルを選択する。換言すると、制御部11は、抽出された複数件の動作データからいずれかの熟練者の動作データを選択する。そして、制御部11は、選択した熟練者の動作データを模範者の動作データ70として取得する。複数の熟練者からいずれかの熟練者を選択する方法は、実施の形態に応じて適宜決定されてよい。本実施形態では、制御部11は、以下の3つの選択方法のいずれかを採用することで、抽出された複数件の動作データからいずれかの熟練者の動作データを選択する。
【0089】
(2-1)第1の選択方法
図9Bを用いて、第1の選択方法について説明する。図9Bは、複数の模範者の動作データからいずれかの模範者の動作データを選択する第1の選択方法を説明するための図である。第1の選択方法では、制御部11は、複数の熟練者のうち、作業40を適切に遂行できるようになるまでの期間の最も短かった熟練者の動作データを選択する。すなわち、制御部11は、上記検索により抽出された各テーブルの習熟期間フィールドの値を参照し、習熟期間フィールドに格納されている値が最も小さいテーブルを選択する。そして、制御部11は、選択したテーブルにより示される熟練者の動作データを模範者の動作データ70として取得する。
【0090】
図9Bの例では、図9Aの例と同様に、第1工程について、作業者「AAA」及び作業者「BBB」の各テーブルが上記検索により抽出されている。制御部11は、各テーブルの習熟期間フィールドの値を参照する。作業者「AAA」の習熟期間フィールドには「50」が格納されており、作業者「BBB」の習熟期間フィールドには「70」が格納されている。そのため、制御部11は、作業者「AAA」の動作データを模範者の動作データ70として選択している。
【0091】
第1の選択方法によれば、制御部11は、対象の作業40を習熟するのが最も早かった熟練者の動作データを模範者の動作データ70として取得することができる。
【0092】
(2-2)第2の選択方法
次に、図9Cを用いて、第2の選択方法について説明する。図9Cは、複数の模範者の動作データからいずれかの模範者の動作データを選択する第2の選択方法を説明するための図である。第2の選択方法では、制御部11は、複数の熟練者のうち、対象者50とタイプが類似する熟練者の動作データを選択する。そして、制御部11は、選択した熟練者の動作データを模範者の動作データ70として取得する。
【0093】
タイプの類似度を判定する方法は、実施の形態に応じて適宜選択されてよい。この判定方法の一例として、制御部11は、動作データの一致度に基づいて、対象者50と熟練者とのタイプの類似度を判定してもよい。すなわち、制御部11は、対象者50と熟練者との間で動作データを構成する各特徴量の差分の合計が少ないほど、対象者50及び熟練者のタイプは互いに類似していると判定してもよい。各特徴量の差分は、絶対値により表現されてもよいし、二乗誤差により表現されてもよい。
【0094】
図9Cの例では、図9Aの例と同様に、第1工程について、作業者「AAA」及び作業者「BBB」の各テーブルが上記検索により抽出されている。制御部11は、対象者50の動作データ55を構成する各特徴量の値と各作業者のテーブルに格納された各特徴量との差分の合計を算出する。第1工程における対象者50の「運搬」における手の力が「57」であるのに対して、作業者「AAA」の「運搬」における手の力を格納するフィールドには「55」が格納されており、作業者「BBB」の「運搬」における手の力を格納するフィールドには「45」が格納されている。そのため、「運搬」における手の力については、作業者「AAA」の方が作業者「BBB」よりも対象者50とタイプが類似している。その他の特徴量についても同様である場合、制御部11は、図9Cに例示されるとおり、作業者「BBB」よりも対象者50とタイプが類似している作業者「AAA」の動作データを模範者の動作データ70として選択する。
【0095】
第2の選択方法によれば、制御部11は、対象者50とタイプの最も近い熟練者の動作データを模範者の動作データ70として取得することができる。なお、対象者50と熟練者との間のタイプの類似度を判定する方法は、上記のような例に限定されなくてもよい。例えば、各テーブルが熟練者の属性情報(例えば、利き手、年齢、性別等)を含んでいる場合、制御部11は、対象者50と熟練者との属性の一致度に基づいて、タイプの類似度を判定してもよい。
【0096】
(2-3)第3の選択方法
図9Dを用いて、第3の選択方法について説明する。図9Dは、複数の模範者の動作データからいずれかの模範者の動作データを選択する第2の選択方法を説明するための図である。第3の選択方法では、制御部11は、抽出された複数の熟練者の動作データから、最も参照されている熟練者の動作データ70を選択する。すなわち、制御部11は、上記検索により抽出された各テーブルの参照回数フィールドの値を参照し、参照回数フィールドに格納されている値が最も大きいテーブルを選択する。そして、制御部11は、選択したテーブルにより示される熟練者の動作データを模範者の動作データ70として取得する。
【0097】
図9Dの例では、図9Aの例と同様に、第1工程について、作業者「AAA」及び作業者「BBB」の各テーブルが上記検索により抽出されている。制御部11は、各テーブルの参照回数フィールドの値を参照する。作業者「AAA」の参照回数フィールドには「35」が格納されており、作業者「BBB」の参照回数フィールドには「5」が格納されている。そのため、制御部11は、作業者「AAA」の動作データを模範者の動作データ70として選択している。
【0098】
図3の選択方法によれば、制御部11は、対象の作業40の習熟支援に最も利用されている熟練者の動作データを模範者の動作データ70として取得することができる。
【0099】
(2-4)その他
なお、抽出された複数件の動作データからいずれかの熟練者の動作データを選択する方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、模範者とする熟練者がオペレータの入力により指定されてもよい。この場合、制御部11は、指定された熟練者の動作データを模範者の動作データ70として取得する。
【0100】
本実施形態では、以上の各方法により、制御部11は、対象者50の技能レベルと同一又は僅かに高い技能レベルにおける模範者の動作データ70を習熟過程データベース60から取得することができる。模範者の動作データ70を取得すると、制御部11は、次のステップS104に処理を進める。
【0101】
(ステップS104及びS105)
図5Aに戻り、ステップ104では、制御部11は、指導決定部114として動作し、取得した模範者の動作データ70と対象者50の動作データ55とを比較する。そして、次のステップS105では、制御部11は、比較の結果に基づいて、作業40に対する対象者50の動作を模範者の動作に近付けるための指導内容を決定する。
【0102】
すなわち、制御部11は、ステップS104の比較により、対象者50の動作データ55と模範者の動作データ70との間の差分を導出する。そして、ステップS105では、制御部11は、この差分を低減するように指導内容を決定する。動作データを比較する方法は、動作データの形式に応じて適宜選択されてよい。また、指導内容を決定する方法は、動作データの差分の形式に応じて適宜設定されてよい。
【0103】
本実施形態では、作業40は、複数の要素作業を含んでいる。そこで、ステップS104では、制御部11は、模範者の動作データ70と対象者50の動作データ55とを要素作業毎に比較する。そして、ステップS105では、制御部11は、比較の結果に基づいて、複数の要素作業のうちの少なくともいずれかについて、対象者50への指導内容を決定する。
【0104】
加えて、本実施形態では、動作データは、作業40に対する動作に関連する複数の特徴量により構成されている。そこで、ステップS104では、制御部11は、模範者の動作データ70と対象者50の動作データ55とを比較することで、模範者と対象者50との間における作業40に対する動作の各特徴量の差異を導出する。ステップS105では、制御部11は、比較の結果に基づいて、複数の要素作業のうちの少なくともいずれかについて、複数の特徴量のうち、対象者50と模範者との間で差異の大きい1又は複数の特徴量を特定する。「差異の大きい」特徴量とは、最も差異の大きい特徴量から順にN番目までの各特徴量を指してもよいし(Nは、1以上の自然数)、閾値よりも差異の大きい各特徴量を指してもよい。そして、制御部11は、特定した1又は複数の特徴量それぞれの対象者50と模範者との間の差異に応じて指導内容を決定する。これにより、作業40の遂行にあたり、模範者との間で乖離の大きい動作の改善を対象者50に促すことができる。
【0105】
対象者50の動作を模範者の動作に近付けるための指導内容は、各特徴量の差異に応じて、適宜決定可能である。例えば、対象者50と模範者との間で差異の大きい特徴量として、手に作用した力に関する特徴量が特定されたと想定する。この場合、対象者50の手に作用した力が模範者の手に作用した力より小さければ、制御部11は、対象者50にもっと力を入れさせるように指導内容を決定すればよい。一方、対象者50の手に作用した力が模範者の手に作用した力より大きければ、制御部11は、対象者50に力を抜かせるように指導内容を決定すればよい。本実施形態では、このような指導内容のテンプレートが、指導内容データベース65に格納されている。
【0106】
図10は、指導内容データベース65の一例を模式的に例示する。図10の例では、指導内容データベース65はテーブル形式で表現されており、各レコード(行データ)は、ID、条件、及び指導内容のフィールドを有している。1つのレコードが、1つの指導内容に対応している。IDフィールドには、各レコードを識別するための識別子が格納される。条件フィールドには、対象のレコードを抽出する条件が格納されている。指導内容フィールドには、指導内容のテンプレートが格納されている。ただし、このデータ形式は一例である。指導内容データベース65のデータ形式は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。なお、各レコードは適宜作成されてよい。また、各レコードに格納する条件及び指導内容のテンプレートは、オペレータの入力により指定されてよい。
【0107】
制御部11は、各レコードの条件フィールドを参照し、上記特定した特徴量の対象者50と模範者との間の差異が、条件フィールドに格納された条件を満たすか否かを判定する。これにより、制御部11は、上記特定した特徴量の対象者50と模範者との間の差異が、条件フィールドに格納された条件を満たすレコードを指導内容データベース65から抽出する。そして、制御部11は、抽出したレコードの指導内容フィールドを参照し、指導内容のテンプレートを取得する。これにより、制御部11は、特定した1又は複数の特徴量それぞれの対象者50と模範者との間の差異に応じて指導内容を決定することができる。
【0108】
図10の例では、1番目のレコードの条件フィールドに「対象者の手の力NA-模範者の手の力NB<-3[N]」との条件が格納されている。つまり、対象者50と模範者との間で差異の大きい特徴量として、手に作用した力に関する特徴量が特定され、かつ対象者50の手に作用した力NAと模範者の手に作用した力NBとの差分が-3[N]未満である場合に、制御部11は、1番目のレコードを抽出する。そして、制御部11は、指導内容フィールドに格納された「もっと力を入れましょう」とのテンプレートを指導内容として取得する。対象者50への指導内容を決定すると、制御部11は、次のステップS106に処理を進める。
【0109】
なお、本実施形態では、対象者50に割り当てられたタスクは、5つの工程を含んでいる。そのため、制御部11は、ステップS101~S105までの処理を工程毎に実行してもよい。これにより、制御部11は、作業40に対する対象者50の動作を模範者の動作に近付けるための指導内容を工程毎に決定してもよい。
【0110】
(ステップS106)
図5Bに戻り、ステップS106では、制御部11は、出力部115として動作し、決定した指導内容に関する情報を出力する。情報の出力形式及び出力先は、実施の形態に応じて適宜選択されてよい。
【0111】
一例として、制御部11は、出力装置15を介して、ステップS105で決定した指導内容のメッセージを出力してもよい。これにより、制御部11は、対象者50自身、対象者50を監督する監督者(指導者)等に、作業40に対する対象者50の動作を改善するための指導内容を伝達することができる。
【0112】
図11は、指導内容を表示する出力装置15の画面の一例を模式的に例示する。図11の例では、出力装置15の画面には、指導内容の一覧を表示する領域151、及び領域151の下方に配置される2つのボタン(152、153)が設けられている。領域151には、指導対象の工程、対象者50、模範者に選択された熟練者(作業者)、指導対象の要素作業(習得項目)、指導内容、及び習得状況が表示される。習得状況については後述する。第1ボタン152は、模範者が作業40を遂行する様子を撮影することで得られた動作データを再生するために利用される。模範者の動画データは、記憶部12、外部の記憶装置等に格納されていてもよい。第2ボタン153は、カメラ30により得られた動画データを再生するために利用される。それぞれの動画を見比べることで、模範者と対象者50との動作の違いを確認することができる。このように指導内容に関する情報を出力すると、制御部11は、次のステップS107に処理を進める。
【0113】
なお、情報の出力先は、出力装置15に限られなくてもよく、例えば、対象者50又は監督者の携帯するユーザ端末、対象者50の近傍に配置されたディスプレイ、スピーカ等の出力装置等であってよい。
【0114】
また、情報を出力するタイミングは、実施の形態に応じて適宜選択されてよい。例えば、制御部11は、各赤外線センサ45の検知結果に基づいて、対象者50が存在するワークスペースを特定してもよい。そして、対象者50が対象の工程における作業40の遂行を開始したと推定されるタイミングで、制御部11は、対象の工程についての指導内容に関する情報を出力してもよい。これにより、対象者50が、対象の工程の作業40にあたるタイミングで、その作業40に対する動作の改善を促す指導内容を対象者50、監督者等に伝達することができる。
【0115】
(ステップS107)
図5Bに戻り、ステップS107では、制御部11は、第1取得部111として動作し、作業40を実施している対象者50の動作を1又は複数のセンサにより測定することで生成された動作データを再度取得する。この再度取得される動作データは、本発明の「他の動作データ」の一例である。ステップS106により指導内容に関する情報を出力した後、制御部11は、作業40の遂行を繰り返している対象者50に対して、本ステップS107の処理を実行する。本ステップS107は、ステップS101と同様に処理されてよい。動作データを取得すると、制御部11は、次のステップS108に処理を進める。
【0116】
(ステップS108)
ステップS108では、制御部11は、習得判定部116として動作し、ステップS107により取得された動作データを解析することで、指導内容に応じた作業40に対する動作を対象者50が習得したか否かを判定する。この判定方法は、動作データ及び指導内容に応じて適宜決定されてよい。例えば、動作データに表れる対象者50の動きが継続的に指導内容に則している場合に、指導内容に応じた作業40に対する動作を対象者50が習得したと判定することができる。本実施形態では、制御部11は、以下の処理手順により、指導内容に応じた作業40に対する動作を対象者50が習得したか否かを判定する。
【0117】
<習得判定処理>
図12は、指導内容に応じた作業40に対する動作を対象者50が習得したか否かを判定するための処理手順の一例を示すフローチャートである。ただし、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
【0118】
(ステップS201)
ステップS201では、制御部11は、ステップS107により取得された動作データに基づいて、指導内容に則した動きを対象者50が行ったか否かを判定する。本実施形態では、上記ステップS104及びS105において、模範者と対象者50との間で際の大きい1又は複数の特徴量が特定され、特定された1又は複数の特徴量それぞれの対象者50と模範者との間の際に応じて指導内容が決定される。そこで、制御部11は、指導内容の決定に利用した1又は複数の特徴量を解析して、指導内容に則した動きを対象者50が行ったか否かを判定する。
【0119】
例えば、上記の例のように、対象者50の手に作用した力と模範者の手に作用した力との差分が-3[N]未満であり、「もっと力を入れましょう」との指導内容が得られていると想定する。この場合、制御部11は、得られた動作データを解析することで、対象者50の手に作用した力が模範者の手に作用した力に近付いたか否かを判定する。例えば、対象者50の手に作用した力と模範者の手に作用した力との差分が-3[N]以上であることで、対象者50の手に作用した力が模範者の手に作用した力に近付いたと判定した場合、制御部11は、指導内容に則した動きを対象者50が行ったと判定する。一方、対象者50の手に作用した力が模範者の手に作用した力に近付いていないと判定した場合、制御部11は、指導内容に則した動きを対象者50は行っていないと判定する。なお、対象者50の動きが模範者の動きに近付いたか否かを判定するための数値範囲は、実施の形態に応じて適宜設定されてよい。この判定が完了すると、制御部11は、次のステップS202に処理を進める。
【0120】
(ステップS202)
ステップS202では、制御部11は、ステップS201の判定結果に基づいて、分岐先を決定する。ステップS201において、指導内容に則した動きを対象者50が行ったと判定した場合、制御部11は、次のステップS203に処理を進める。一方、ステップS201において、指導内容に則した動きを対象者50は行っていないと判定した場合、制御部11は、ステップS203の処理を省略し、次のステップS204に処理を進める。
【0121】
(ステップS203)
ステップS203では、制御部11は、指導内容に則した動きを対象者50が行った回数(以下、「クリア回数」とも称する)を1つ増やす。これにより、制御部11は、クリア回数をカウントする。クリア回数のカウントが完了すると、制御部11は、次のステップS204に処理を進める。
【0122】
(ステップS204)
ステップS204では、制御部11は、クリア回数が所定回数以上であるか否かを判定する。所定回数は、習得の基準となる。この所定回数は、実施の形態に応じて適宜決定されてよく、例えば、オペレータの入力により指定されてもよい。クリア回数が所定回数以上である場合、制御部11は、次のステップS205に処理を進める。一方、クリア回数が所定回数未満である場合、制御部11は、次のステップS206に処理を進める。
【0123】
(ステップS205及びS206)
ステップS205では、制御部11は、指導内容に応じた動作を対象者50は習得したと判定する。一方、ステップS206では、制御部11は、指導内容に応じた動作を対象者50はまだ習得していないと判定する。
【0124】
ステップS205及びS206のいずれかの処理を実行した後、制御部11は、指導内容に応じた作業40に対する動作を対象者50が習得したか否かを判定する一連の処理を完了する。この一連の判定処理が完了すると、制御部11は、次のステップS109に処理を進める。
【0125】
(ステップS109)
図5Bに戻り、ステップS109では、制御部11は、ステップS108の判定結果に基づいて、分岐先を決定する。ステップS108において、指導内容に応じた動作を対象者50が習得したと判定した場合、制御部11は、次のステップS110に処理を進める。一方、指導内容に応じた動作を対象者50はまだ習得していないと判定した場合、制御部11は、ステップS106から処理を繰り返す。
【0126】
つまり、ステップS108において、指導内容に応じた動作を対象者50は習得していないと判定される限り、制御部11は、ステップS106~S109の処理を繰り返す。つまり、指導内容に応じた動作を対象者50が習得したと判定するまで、制御部11は、ステップS106の処理により、指導内容に関する情報の出力を繰り返す。また、制御部11は、ステップS107及びS108の処理により、指導内容に応じた動作を対象者50は習得しているか否かの判定を繰り返す。これにより、制御部11は、指導内容に応じた動作を対象者50が習得するのを監視することができる。なお、この繰り返しの過程で、制御部11は、習得状況を示す情報として、上記習得の基準となる所定回数でクリア回数を割ることで得られる商(又は、割合)を算出してもよい。そして、制御部11は、上記出力装置15の画面の領域151において、算出した商を習得状況として表示してもよい。
【0127】
(ステップS110)
ステップS110では、制御部11は、登録部117として動作し、ステップS101で取得した対象者50の動作データ55を、ステップS102で算出した技能レベルに対応付けて、習熟過程データベース60に格納する。本実施形態では、制御部11は、動作データ55に対応するテーブルを生成し、生成したテーブルを習熟過程データベース60に格納する。
【0128】
なお、制御部11は、ステップS107で取得した対象者50の動作データも習熟過程データベース60に格納してもよい。この場合、制御部11は、ステップS107で取得した動作データに対して、ステップS102と同様に、対象者50の技能レベルを算出する。そして、制御部11は、ステップS107で取得した動作データを算出した技能レベルに対応付けて習熟過程データベース60に格納する。
【0129】
この登録処理が完了すると、制御部11は、本動作例に係る情報処理を終了する。対象者50が熟練者になるまで、すなわち、対象者50が対象の作業40を適切に完遂することができるようになるまで、制御部11は、上記ステップS101~S110の一連の処理を繰り返し実行してもよい。これにより、作業支援装置1は、対象者50が作業40を習熟するのを支援することができる。また、対象者50が作業40を適切に完遂することができるようになるまでの過程で、ステップS110の処理が繰り返されることで、新たな模範者の動作データを得ることができる。つまり、対象者50が熟練者になった後、当該対象者50の動作データを、他の対象者に対する模範者の動作データとして利用することができる。
【0130】
[特徴]
以上のとおり、本実施形態に係る作業支援装置1は、ステップS103では、対象者50の技能レベルと大きくかい離した技能レベルの動作データではなく、対象者50の技能レベルに近い技能レベルを有していた頃の模範者の動作データ70を取得する。そして、ステップS104及びS105では、制御部11は、このような模範者の動作データ70と対象者50の動作データ55と比較に基づいて、作業40に対する対象者50の動作を模範者の動作に近付けるための指導内容を決定する。これにより、本実施形態では、対象者50の技能レベルに適した動作データ70を模範として利用し、模範者が作業40を習熟した過程を辿るように、対象者50に作業40を効率的に習熟させることができる。また、本実施形態では、制御部11は、ステップS102において、対象者50の技能レベルを客観的に得られる動作データ55から導出する。そのため、作業40に対する対象者50の技能レベルを客観的に評価することができる。したがって、本実施形態に係る作業支援装置1によれば、作業40に対する対象者50の技能レベルを客観的に評価し、かつ対象者50に作業40を効率的に習熟させることができる。
【0131】
§4 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
【0132】
<4.1>
上記実施形態では、生産ラインに含まれる各工程において対象者50が作業40を習熟するのを支援する場面に本発明を適用した例を示す。しかしながら、本発明を適用可能な範囲は、このような場面に限定されなくてよく、人間が何らかの作業を行うあらゆる場面に適用可能である。本発明は、例えば、運転者が車両の運転を習熟するのを支援する場面に適用可能である。
【0133】
図13は、本変形例に係る作業支援装置1Aの適用場面の一例を模式的に例示する。作業支援装置1Aのハードウェア構成及びソフトウェア構成は、上記実施形態に係る作業支援装置1と同様である。車両CAの運転を行う運転者51が、本発明の「対象者」の一例であり、運転操作41が、本発明の「作業」の一例である。これらの点を除き、作業支援装置1Aは、上記実施形態に係る作業支援装置1と同様に動作する。すなわち、作業支援装置1Aは、運転者51の動作データを取得し、取得した動作データを解析することで、運転操作41に対する運転者51の技能レベルを算出する。続いて、作業支援装置1Aは、算出した運転者51の技能レベルと同一又は僅かに高い技能レベルにおける模範者の動作データをデータベースから取得する。次に、作業支援装置1Aは、運転者51の動作データと模範者の動作データとを比較し、比較の結果に基づいて、運転操作41に対する運転者51の動作を模範者の動作に近付けるための指導内容を決定する。そして、作業支援装置1Aは、決定した指導内容に関する情報を出力する。これにより、本変形例に係る作業支援装置1Aは、運転者51が車両CAの運転を習熟するのを支援することができる。
【0134】
<4.2>
上記実施形態では、対象者の動作を計測するためのセンサとして、カメラ30、ロードセル31、及び眼電位センサ32が利用されている。しかしながら、本発明に利用可能なセンサは、このような例に限定されなくてもよい。センサは、対象者の動作に関する生理学的パラメータを測定可能であれば、その種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。また、利用するセンサの数は、3つに限られなくてよく、例えば、1つであってもよいし、2つであってもよいし、4つ以上であってもよい。
【0135】
更に、上記実施形態では、未加工の動作データは、画像データ、力の測定データ、及び眼電位の測定データを含む。しかしながら、動作データの構成は、このような例に限定されなくてもよい。動作データは、動作に関するものであれば、その種類は、特に限定されなくてもよく、利用するセンサに応じて適宜選択されてよい。
【0136】
例えば、センサは、カメラ、モーションキャプチャ、ロードセル、脳波計、脳磁計、機能的核磁気共鳴画像法により脳活動に関連した血流を撮影するよう構成された磁気共鳴画像装置、機能的近赤外分光法により脳血流を測定可能に構成された脳活動計測装置、瞳孔径及び視線方向を計測するように構成された視線センサ、眼電位センサ、心電計、筋電計、又はこれらの組み合わせが用いられてよい。これに応じて、動作データは、例えば、身体の動き、脳波、脳血流、瞳孔径、視線方向、心電図、筋電図、皮膚電気反射等を観測することで得られてもよい。
【0137】
<4.3>
上記実施形態では、習熟過程データベース60及び指導内容データベース65は、記憶部12に格納されている。しかしながら、習熟過程データベース60及び指導内容データベース65の格納場所は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。習熟過程データベース60及び指導内容データベース65の少なくとも一方は、例えば、NAS(Network Attached Storage)等の外部の記憶装置に格納されていてもよい。このような場合、作業支援装置1は、例えば、ネットワーク等を介して、外部の記憶装置に格納された習熟過程データベース60及び指導内容データベース65の少なくとも一方にアクセスしてもよい。
【0138】
<4.4>
上記実施形態では、作業支援装置1は、上記ステップS101~S110一連の処理を実行する。しかしながら、作業支援方法の処理手順は、このような例に限定されなくてもよい。例えば、ステップS107~S109及びステップS110の少なくともいずれかは、省略されてもよい。この場合、作業支援装置1のソフトウェア構成において、習得判定部116及び登録部117の少なくともいずれかは省略されてよい。
【0139】
<4.5>
上記実施形態では、作業40は、複数の要素作業を含むように構成されている。しかしながら、作業40の構成は、このような例に限定されなくてもよい。作業40は、複数の要素作業に分割されていなくてもよい。また、上記実施形態では、動作データは、作業40に対する動作に関連する複数の特徴量で構成されている。しかしながら、動作データの構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。動作データは、例えば、センサから得られたローデータそのものであってもよい。
【0140】
<4.6>
上記実施形態では、技能レベルは、作業40にかかった時間を指標として用いて算出されている。しかしながら、技能レベルを算出する方法は、このような例に限定されなくてもよく、作業40に対するパフォーマンスを評価するように適宜決定されてよい。例えば、技能レベルを客観的かつ定量的に測定するために、作業40の各要素作業は、少なくとも1サイクル分の人間の認知学的な情報処理のプロセスを含むように定義されてよい。動作データは、対象者50の知覚活動及び身体活動を複数のセンサにより測定することで生成されてよい。そして、動作データを解析することは、各要素作業の実行の正確性、速度、安定性、及びリズムの少なくともいずれかを評価することを含んでもよい。技能レベルは、この評価の結果に応じて算出されてよい。
【0141】
(認知学的な情報処理プロセスについて)
ここで、図14を用いて、センサにより測定される知覚活動及び身体活動について説明する。図14は、人間の認知学的な情報処理のプロセスを表現するモデルの一例を模式的に例示する。図14に例示されるとおり、人間の認知学的な情報処理のプロセスを、次の3つのステップによりモデル化することができる。すなわち、第1のステップでは、入力系により入力データを取得する。入力系は、主に、感覚器である。次に、第2のステップでは、入力系から得られる入力データに対して処理系(脳)が何らかの情報処理を行う。そして、第3のステップでは、処理系による情報処理の結果が出力系に出力される。出力系は、主に、運動器(及び脳)である。
【0142】
このモデルによれば、知覚活動及び身体活動を、次のように定義することができる。すなわち、知覚活動は、視覚、聴覚、触覚等の感覚器を入力系として用いて、対象に関する入力データを取得し、取得した入力データに対して、対象の位置、形状、サイズ、質感等の属性を認知するための情報処理を処理系により行ったり、認知した結果に基づいて何らかの決定等の情報処理を処理系により行ったりする活動である。この知覚活動における認知には、対象の空間認知及び形状認知が含まれる。空間認知は、対象の位置、移動速度等の空間に関する属性を認知することである。また、形状認知は、対象の形、大きさ、質感等の形状に関する属性を認知することである。一方、身体活動は、身体運動に関わる骨、筋肉、関節、神経等の組織及び器官により構成される運動器を出力系として用いて、上記認知の結果に基づいて又は上記認知を行うために、身体を動かして、対象に物理的に働きかけたり、対象との位置関係を変更したりする活動である。
【0143】
人間は、このような認知学的な情報処理のプロセスを繰り返しながら、知覚活動及び身体活動を伴って、作業を遂行する。図14に示されるとおり、人間が作業を遂行する間、入力系(主に感覚器)及び出力系(主に運動器)は、外界とのインタフェースとして機能する。そのため、作業に対する上記知覚活動及び身体活動それぞれを、入力系及び出力系の挙動を介して測定することが可能である。そして、入力系、処理系及び出力系が上記のような関係にあるため、知覚活動及び身体活動の少なくとも一方をセンサにより追跡すれば、作業に対する処理系の情報処理の質を間接的に評価することができる。
【0144】
つまり、知覚活動及び身体活動を複数のセンサにより測定することにより得られる動作データには、作業に対する知覚活動及び身体活動のパフォーマンスが表れている。知覚活動及び身体活動のパフォーマンスは、作業を適切に遂行できるか否かの結果に関連している。すなわち、知覚活動及び身体活動のパフォーマンスが高いほど、作業に対する処理系の情報処理の質が良く、作業を遂行する能力が高い(作業を適切に遂行することができる)といえる。一方、知覚活動及び身体活動のパフォーマンスが低いほど、作業に対する処理系の情報処理の質は悪く、作業を遂行する能力が低い(作業を適切に遂行することができない)といえる。したがって、知覚活動及び身体活動を複数のセンサにより測定することにより得られた動作データに基づいて、作業に対する上記情報処理のプロセスの質、換言すると、作業を遂行する能力の程度(技能レベル)を客観的かつ定量的に評価することができる。
【0145】
また、作業は、一連の知覚活動及び身体活動により達成される。作業を遂行する過程では、知覚活動及び身体活動の複数種類の組み合わせが表れ得る。そこで、上記実施形態と同様に、作業は、複数の要素作業を含んでいると捉えることができる。そして、各要素作業を、知覚活動及び身体活動の組み合わせにより定義することができる。なお、同一の作業を人間が繰り返し実行した場合、各作業を実行する度に、同一種類の知覚活動及び身体活動の組み合わせが表れる。この各作業の実行において同一種類の組み合わせが表れる区間を、共通する要素作業(同じ種類の要素作業)を処理している区間として抽出することができる。そのため、各要素作業を抽出容易にするためには、作業は、繰り返し実行されるものが好ましい。
【0146】
加えて、作業を遂行する間には、複数サイクル分の人間の認知学的な情報処理のプロセスが処理され得る。そこで、作業に含まれる各要素作業を識別しやすくするために、各要素作業は、少なくとも1サイクル分の人間の認知学的な情報処理のプロセスを含むように定義されてもよい。このとき、各要素作業は、時系列上で連続的に並んでおり、かつ要素作業を処理した結果は、その要素作業の次の要素作業の入力に用いられると捉えることができる。上記実施形態において、作業(作業40)に含まれる各要素作業は、少なくとも1サイクル分の人間の認知学的な情報処理のプロセスを含むように定義され、かつ知覚活動及び身体活動の組み合わせにより定義されてよい。具体的には、上記実施形態と同様に、作業40は、「視認」、「把持」、「運搬」及び「調整」の4種類の要素作業を含むように定義されてよい。
【0147】
「視認」における知覚活動は、例えば、視覚及び聴覚により、作業の対象物の位置、形、大きさ等の属性を認知することである。一方、「視認」における身体活動は、空間認知及び形状認知のために、例えば、視線方向の変動、首の角度の変更、指差し確認等のように身体を動かすことである。「視認」の知覚活動は、対象物の近傍に指が配置される又は対象物の指が接触することによる触覚を介して、対象物の質感等の属性を認知することを含んでもよい。
【0148】
「把持」における知覚活動は、例えば、触覚により作業の対象物の質感を認知しつつ、視認及び触覚による対象物の空間認知及び形状認知の結果に基づいて、当該対象物を把持する位置を決定することである。一方、「把持」における身体活動は、上記知覚活動の結果に基づいて、例えば、手、指等の身体部位を動かし、対象物を落とさないように把持することである。
【0149】
「運搬」における知覚活動は、例えば、対象の空間認知の結果に基づいて、当該対象物の移動先の位置(目的位置)を決定することである。一方、「運搬」における身体活動は、例えば、腕、脚、腰等の身体部位を動かし、把持した対象物を現在位置から目的位置まで運ぶことである。
【0150】
「調整」における知覚活動は、例えば、視覚及び触覚により、対象物の位置、角度、形状等の状態の変化を認知することである。一方、「調整」における身体活動は、例えば、指等の身体部位を動かしながら、対象物の状態を目的の状態にまで変化させることである。
【0151】
各要素作業を上記のように定義することで、作業40に含まれる各要素作業を遂行する間における対象者50の知覚活動及び身体活動のパフォーマンスを測定することができ、これによって、対象者50の技能レベルを客観的かつ定量的に算出することができる。ただし、要素作業の種類、数、組み合わせ及び順序はそれぞれ、これらの例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。例えば、「調整」が実行された後に、「視認」が実行されるように要素作業の順序が規定されてもよい。
【0152】
(変形例に係る技能レベル算出方法の一例)
上記実施形態に係る作業支援装置1は、これらの点を考慮して、動作データから対象者50の技能レベルを導出してもよい。具体的に、上記ステップS101では、制御部11は、第1取得部111として動作して、対象者50の知覚活動及び身体活動を複数のセンサにより測定することで生成された動作データを取得する。各センサは、適宜選択されてよい。
【0153】
感覚器の挙動は、例えば、脳波、脳血流、瞳孔径、視線方向、表情、音声、心電図、血圧、筋電図、皮膚電気反射等に表れる。そのため、知覚活動を測定するための1又は複数のセンサには、例えば、脳波計、脳磁計、機能的核磁気共鳴画像法により脳活動に関連した血流を撮影するよう構成された磁気共鳴画像装置、心電計、血圧計、皮膚電気反応計、筋電位センサ、眼電位センサ、カメラ又はこれらの組み合わせが用いられてよい。一方、身体活動の挙動は、例えば、指、手、脚、首、腰、関節、筋肉等の運動器に表れる。そのため、身体活動を測定するための1又は複数のセンサには、例えば、カメラ、モーションキャプチャ、ロードセル又はこれらの組み合わせが用いられてよい。そのため、複数のセンサは、カメラ、マイクロフォン、脳波計、脳磁計、磁気共鳴画像装置、心電計、血圧計、皮膚電気反応計、筋電位センサ、ロードセル、モーションキャプチャ、脳活動計測装置、視線センサ、眼電位センサ又はこれらの組み合わせにより構成されてよい。
【0154】
得られた動作データには、作業40に含まれる各要素作業に対する知覚活動及び身体活動のパフォーマンスが表れている。作業を適切に遂行できるということは、知覚活動及び身体活動の結果により達成される各要素作業の実行の精度が高いということである。そのため、各要素作業に対するパフォーマンスは、各要素作業の実行の精度に基づいて評価可能である。
【0155】
より詳細には、作業を適切に遂行できるということは、各要素作業を正しい順序で適切な速さで実行することができるということである。加えて、作業の試行を繰り返した場合には、作業を遂行する能力の高い対象者ほど、各試行における各要素作業の実行のばらつきが少ない、換言すると、各試行において各要素作業を同じように実行することができる。そのため、各要素作業の実行の精度は、例えば、各要素作業の実行の正確性、安定性、速度、リズム等に表れる。
【0156】
正確性は、1回分の作業の試行において、各要素作業が正しい手順通りに実行されているか否かの度合いを示す指標である。安定性は、複数回分の作業を試行した場合に、各試行において各要素作業が一定の手順で実行されているか否かの度合いを示す指標である。速度は、1回分の作業の試行において、各要素作業に費やす時間の長さ及び隣接する要素作業の重なりの度合いを示す指標である。リズムは、複数回分の作業を試行した場合に、各試行において各要素作業に費やした時間が一定であるか否かの度合いを示す指標である。正確性、安定性、速度、及びリズムの4つの指標によれば、各要素作業に対する対象者のパフォーマンス(すなわち、技能レベル)を適切に評価することができる。
【0157】
そこで、次のステップS102では、制御部11は、レベル算出部112として動作し、取得した動作データを解析することで、各湯祖作業の実行の正確性、速度、安定性、及びリズムの少なくともいずれかを評価する。そして、制御部11は、その評価の結果に応じて、技能レベルを算出する。ただし、これらの4つの指標はそれぞれ各要素作業の実行の精度を評価する指標の一例であり、各要素作業の実行の精度を評価する指標は、これらの例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。
【0158】
(第1~第3ステップ)
具体的には、第1ステップでは、制御部11は、動作データを特徴量の時系列データに変換する。次の第2ステップでは、制御部11は、特徴量の時系列データを分析することで、時間軸上で対象者が各要素作業を実行した各時間区間を推定する。これらの第1ステップ(変換処理)及び第2ステップ(推定処理)は、上記実施形態と同様に実行されてよい。そして、次の第3ステップでは、制御部11は、分析の結果に基づいて、各要素作業の実行時間、時間的重複、実行回数、及び実行順序を特定する。
【0159】
各要素作業の時間区間の長さ及び隣接する時間区間の重なりが、各要素作業の実行に費やした時間の長さ(実行時間)及び隣接する要素作業間の重複(時間的重複)を示す。上記図7の例では、「運搬」及び「調整」の実行時間が「視認」及び「把持」の実行時間よりも長くなっている。「視認」と「把持」との間に時間的重複が生じている。また、各要素作業に対応する時間区間の数が、各要素作業を実行した回数(実行回数)を示す。上記図7の例では、各要素作業は1回ずつ実行されている。また、各要素作業に対応する時間区間の並び(順序)が、各要素作業を実行した順序(実行順序)を示す。上記図7の例では、「視認」、「把持」、「運搬」、及び「調整」の順で要素作業が実行されている。このように、各要素作業の実行時間、時間的重複、実行回数、及び実行順序を特定した後、制御部11は、次の第4ステップに処理を進める。
【0160】
(第4ステップ)
次の第4ステップでは、制御部11は、第3ステップにより特定された各要素作業の実行時間、時間的重複、実行回数、及び実行順序に基づいて、各要素作業の実行の正確性、安定性、速度、及びリズムの少なくともいずれかを評価する。
【0161】
ここで、図15を用いて、人間が作業に習熟する過程について説明する。図15は、人間が作業に習熟する過程の一例を模式的に例示する。図15の例では、作業は、「視認」、「把持」、「運搬」、及び「調整」の4つの要素作業を含んでおり、各要素作業がこの順序で適正な時間で実行されることにより、適切に遂行可能であると想定されている(図15の「正解」)。
【0162】
作業に習熟していない、すなわち、作業を遂行する能力の低い初心者は、各要素作業を正しい順序でかつ適正な時間で実行することができないため、各要素作業の実行の精度が低く、規定の時間内に規定の品質で作業を完遂することができない。よって、図15の「低レベル」に示されるように、初心者が作業を遂行する過程においては、要素作業に費やす時間が適正な時間と比べて長くなってしまったり、要素作業に費やす時間が極端に短い(すなわち、要素作業の実行が不十分である)ために、その要素作業の実行を繰り返してしまったり、どの要素作業にも属さない無駄な時間が発生してしまったり、要素作業を実行する順番を誤ってしまったりする。
【0163】
この初心者が、作業に習熟していくと、作業を遂行する過程において無駄な時間が徐々になくなっていき、各要素作業を正しい順序かつ適正な時間でシームレスに実行できるようになっていく。これにより、初心者は、図15の「基準レベル」の能力を有する熟練者となる。すなわち、基準レベルの熟練者は、各要素作業を正しい順序でかつ適正な時間でシームレスに実行することができ、これによって、規定の時間内に規定の品質で作業を完遂することができる。この基準レベルの熟練者が更に作業に習熟すると、この熟練者は、各要素作業をよりシームレスにかつより短い時間で実行できるようになる。これにより、図15の「高レベル」に示されるとおり、隣接する要素作業の間に時間的重複が生じるようになっていき、かつ各要素作業に費やす時間が短くなっていく。
【0164】
そこで、この第4ステップにおいて、制御部11は、各要素作業の実行時間、時間的重複、実行回数、及び実行順序に基づく、各要素作業の実行の正確性、安定性、速度、及びリズムの評価を通じて、「低レベル」から「高レベル」までのいずれのレベルに対象者が属するかを算定する。つまり、制御部11は、「高レベル」に示される具合で対象者が繰り返し作業を遂行するほど、対象者の各要素作業の実行の正確性、安定性、速度、及びリズムを高評価し、これに応じて、各要素作業についてのパフォーマンス指数を高い値に算出する。一方、制御部11は、「低レベル」に示される具合で対象者が繰り返し作業を遂行するほど、対象者の各要素作業の実行の正確性、安定性、速度、及びリズムを低評価し、これに応じて、各要素作業についてのパフォーマンス指数を低い値に算出する。各指標による評価方法については、以下で説明する。なお、上記の説明では、基準レベルを熟練者のレベルとして取り扱い、高レベルをより習熟度の高い熟練者のレベルとして取り扱った。しかしながら、熟練者のレベルの設定は、このような例に限定されなくてもよい。例えば、高レベルのみを熟練者のレベルとして取り扱ってもよい。
【0165】
(A)正確性
まず、図16Aを用いて、要素作業の実行の正確性を評価する方法について説明する。図16Aは、図15で例示した作業について、各要素作業の実行の正確性を評価する方法の一例を模式的に例示する。正確性は、各要素作業が正しい手順通りに実行されているか否かの度合いを示す指標である。そのため、制御部11は、上記第3ステップで特定した各要素作業の実行回数及び実行順序に基づいて、各要素作業の実行の正確性を評価することができる。
【0166】
例えば、図16Aでは、作業者Aは、「視認」の要素作業を2回実行しており、各「視認」の要素作業は1番目及び3番目に実行されている。これに対して、各要素作業を正しい順序で実行した場合には、「視認」の要素作業は、1番目に1回だけ実行される。そのため、作業者Aは、誤った回数及び誤った順序で「視認」を実行しており、制御部11は、この作業者Aの「視認」の実行の正確性は低いと評価する。一方、作業者Bは、「視認」の要素作業を1番目に1回だけ実行している。そのため、作業者Bは、正しい回数及び正しい順序で「視認」を実行しており、制御部11は、この作業者Bの「視認」の実行の正確性は高いと評価する。
【0167】
つまり、対象者の各要素作業の実行回数及び実行順序が、作業を適切に遂行した時の各要素作業の実行回数及び実行順序から乖離するほど、制御部11は、対象者の各要素作業の実行の正確性は低い評価する。一方、対象者の各要素作業の実行回数及び実行順序が、作業を適切に遂行した時の各要素作業の実行回数及び実行順序と一致するほど、制御部11は、対象者の各要素作業の実行の正確性は高いと評価する。なお、図16Aの例では、作業者Aは、「視認」については実行回数及び実行順序を誤っているものの、「把持」については正しい回数及び正しい順序で実行している。そのため、制御部11は、この作業者Aの「把持」の実行の正確性は高いと評価する。
【0168】
(B)安定性
次に、要素作業の実行の安定性を評価する方法について説明する。安定性は、複数回分の作業を試行した場合に、各試行において各要素作業が一定の手順で実行されているか否かの度合いを示す指標である。そのため、制御部11は、各要素作業の実行回数及び実行順序に基づいて、各試行における各要素作業の実行の正確性を評価した後に、各試行における正確性のばらつきに基づいて、各要素作業の実行の安定性を評価することができる。なお、ばらつきは、例えば、分散、標準偏差等の公知の数学的手法により表現可能である。
【0169】
例えば、対象者が、上記図16Aの作業者Bのように各要素作業を正しい回数及び正しい順序で繰り返し実行できている場合、制御部11は、対象者の各要素作業の実行の安定性は高いと評価する。一方、各試行における各要素作業の実行回数及び実行順序のばらつきが大きいほど、制御部11は、対象者の各要素作業の実行の安定性は低いと評価する。
【0170】
また、図16Bに示されるとおり、未加工の動作データ又は特徴量の時系列データから特定される対象者の挙動に基づいて、各要素作業の実行の安定性は評価されてもよい。図16Bは、各要素作業の実行の安定性を評価する方法の一例を模式的に例示する。図16Bの各作業者(A、B)のグラフは、特徴量の時系列データから特定された、各試行における「把持」を遂行した時の力のピーク値を例示する。
上記のとおり、作業を遂行する能力の高い対象者ほど、各試行において各要素作業を同じように実行することができる。よって、各要素作業を遂行する時の挙動のばらつきが大きいほど、制御部11は、対象者の各要素作業の実行の安定性は低いと評価することができる。一方、各要素作業を遂行する時の挙動のばらつきが小さいほど、制御部11は、対象者の各要素作業の実行の安定性は高いと評価することができる。
【0171】
図16Bの例では、各試行において作業者Aの「把持」を実行した時の力のピーク値はばらついている。そのため、制御部11は、作業者Aの「把持」の実行の安定性は低いと評価することができる。一方、各試行において作業者Bが「把持」を実行した時の力のピーク値は一定である。そのため、制御部11は、作業者Bの「把持」の実行の安定性は高いと評価することができる。
【0172】
なお、安定性を評価するための作業の試行回数は、実施の形態に応じて適宜設定されてよい。試行回数は、例えば、1日分、1時間分等のように、所定の時間に基づいて設定されてよい。また、本実施形態に係る作業は、生産ラインに含まれる工程における作業40であるため、試行回数は、例えば、作業40により生産される製品の個数に基づいて設定されてもよい。
【0173】
(C)速度
次に、図16Cを用いて、要素作業の実行の速度を評価する方法について説明する。図16Cは、図15で例示した作業について、各要素作業の実行の速度を評価する方法の一例を模式的に例示する。速度は、各要素作業に費やす時間の長さ及び隣接する要素作業の重なりの度合いを示す指標である。そのため、制御部11は、上記第3ステップで特定した各要素作業の実行時間及び時間的重複に基づいて、各要素作業の実行の速度を評価することができる。
【0174】
例えば、図16Cでは、作業者Aは、「視認」と「把持」との間に無駄な動作を行っているため、作業者Aが「視認」の要素作業にトータルで費やした時間は適正な時間よりも長くなっている。そのため、制御部11は、作業者Aの「視認」の実行の速度は遅いと評価する。一方、作業者Bが「視認」の要素作業に費やした時間は適正な時間よりも短くなっている。そのため、制御部11は、作業者Bの「視認」の実行の速度は速いと評価する。同様に、作業者Cは、「視認」と「把持」とを部分的に重複して実行しているため、作業者Cが「視認」の要素作業にのみ費やした時間は適正な時間よりも短くなっている。そのため、制御部11は、作業者Cの「視認」の実行の速度は速いと評価する。
【0175】
つまり、対象者の各要素作業の実行時間及び時間的重複に基づき、各要素作業に実質的に費やした時間が適正な時間よりも短いほど、制御部11は、対象者の各要素作業の実行の速度は速いと評価する。一方、各要素作業に実質的に費やした時間が適正な時間よりも長いほど、制御部11は、対象者の各要素作業の実行の速度は遅いと評価する。
【0176】
なお、基本的には、各要素作業の実行の速度が速いほど、制御部11は、当該速度の評価は高いと判定する。ただし、上記のとおり、各要素作業の実行の速度が適正な速度と比べて極端に速い場合には、各要素作業の実行が不十分である可能性がある。そのため、対象者の各要素作業の実行の速度が適正な速度よりも速い場合、制御部11は、対象者の各要素作業の実行の速度と適正な速度との差分が閾値を超えるか否かを判定してもよい。そして、当該差分が閾値を超えない場合には、制御部11は、当該速度の評価は高いと判定してもよい。一方、当該差分が閾値を超える場合には、制御部11は、当該速度の評価は低いと判定してもよい。
【0177】
(D)リズム
次に、図16Dを用いて、要素作業の実行のリズムを評価する方法について説明する。図16Dは、各要素作業の実行のリズムを評価する方法の一例を模式的に例示する。リズムは、複数回分の作業を試行した場合に、各試行において各要素作業に実質的に費やした時間が一定であるか否かの度合いを示す指標である。そのため、制御部11は、各要素作業の実行時間及び時間的重複に基づいて、各試行における各要素作業の実行の速度を評価した後に、各試行における速度のばらつきに基づいて、各要素作業の実行のリズムを評価することができる。
【0178】
例えば、図16Dでは、作業者Aの「視認」に費やした時間の長さがばらついている。そのため、制御部11は、作業者Aの「視認」の実行のリズムは悪いと評価する。一方、作業者Bが「視認」に費やした時間の長さは一定である。そのため、制御部11は、作業者Bの「視認」のリズムは良いと評価する。
【0179】
つまり、対象者が複数回分の作業を試行した場合に、各要素作業の実行の速さ(費やした時間の長さ)のばらつきが大きいほど、制御部11は、対象者の各要素作業の実行のリズムは悪いと評価する。一方、各要素作業の実行の速さ(費やした時間の長さ)のばらつきが小さいほど、制御部11は、対象者の各要素作業の実行のリズムは良いと評価する。
【0180】
以上により、特定された各要素作業の実行時間、時間的重複、実行回数、及び実行順序に基づいて、各要素作業の実行の正確性、安定性、速度、及びリズムを評価することができる。第4ステップでは、制御部11は、上記の方法により、各要素作業の実行の正確性、安定性、速度、及びリズムの少なくともいずれかを評価する。例えば、制御部11は、上記各要素作業の実行の正確性、安定性、速度、及びリズム全てを評価する。そして、各要素作業の評価が完了すると、制御部11は、次の第5ステップに処理を進める。
【0181】
なお、作業に含まれる各要素作業の模範的な挙動、すなわち、正しい順序及び適正な時間(速度)は、実施の形態に応じて適宜与えられてよい。例えば、各要素作業の正しい順序及び適正な時間は、オペレータ等の入力により与えられてもよい。また、各要素作業の正しい順序及び適正な時間は、作業を実行している間における熟練者の挙動に基づいて与えられてもよい。例えば、制御部11は、熟練者から得られた動作データから各要素作業の正しい順序及び適正な時間を特定してもよい。
【0182】
(第5ステップ)
第5ステップでは、制御部11は、第4ステップによる評価の結果に応じて、各要素作業についてのパフォーマンス指数を算出する。各要素作業の実行の正確性が高く、安定性が高く、速度が速く、かつリズムが良い(すなわち、各評価が高い)ほど、制御部11は、各要素作業についてのパフォーマンス指数を高い値に算出する。一方、各要素作業の実行の正確性が低く、安定性が低く、速度が遅く、かつリズムが悪い(すなわち、各評価が低い)ほど、制御部11は、各要素作業についてのパフォーマンス指数を低い値に算出する。
【0183】
例えば、各要素作業を正しい順序及び適正な時間で遂行する模範的な挙動(例えば、図15等の「正解」の挙動)に対して、パフォーマンス指数の基準値が与えられてもよい。この基準値は、予め与えられてもよいし、オペレータ等の入力により設定されてもよい。制御部11は、予め与えられた模範的な挙動と比較して対象者の各要素作業の実行に対する各評価の程度に応じて、各要素作業についてのパフォーマンス指数を基準値から算出してもよい。すなわち、模範的な挙動と比較して対象者の各要素作業の実行に対する各評価が高いほど、制御部11は、各要素作業についてのパフォーマンス指数を基準値と同じ値又は高い値に算出する。一方、模範的な挙動と比較して対象者の各要素作業の実行に対する各評価が低いほど、制御部11は、各要素作業についてのパフォーマンス指数を基準値よりも低い値に算出する。このパフォーマンス指数の算出には、線形回帰モデル、共分散構造解析、重回帰分析等の演算モデルが用いられてよい。また、パフォーマンス指数は、全データを正規化することで得られる閾値との比較に基づいて算出されてもよい。模範的な挙動は、上記のとおり、オペレータ等の入力により与えられてもよいし、熟練者の動作から与えられてもよい。
【0184】
なお、各パフォーマンス指数の基準値は、各要素作業に要求される知覚活動及び身体活動の難易度に応じて設定されてもよい。例えば、作業X及び作業Yの2つの作業があると想定する。作業Xの「視認」に要求される知覚活動及び身体活動が、例えば、製品の外観検査等のように、対象物に指で触れて、対象物から指に伝わる感触に基づいて、対象物の状態(1次的な情報)を認知することであると想定する。これに対して、作業Yの「視認」に要求される知覚活動及び身体活動が、例えば、触診等のように、他の対象物と結合する対象物に指で触れて、対象物から指に伝わる感触に基づいて、他の対象物の状態(2次的な情報)を認知することであると想定する。
【0185】
この場合、作業Yの「視認」に要求される知覚活動及び身体活動の難易度は、作業Xの「視認」に要求される知覚活動及び身体活動の難易度よりも明らかに高い。このとき、作業Xの「視認」及び作業Yの「視認」それぞれに同一の基準値を与えると、作業Xの遂行に際して算出された「視認」のパフォーマンス指数は、作業Yの遂行に際して算出された「視認」のパフォーマンス指数とは単純には比較することができない。つまり、高いパフォーマンス指数で作業Xの「視認」を実行可能な対象者が、作業Yについても同様に高いパフォーマンス指数で作業Yの「視認」を実行できるとは限らない。
【0186】
そのため、異なる作業間で共通の指標(要素作業)を用いて、対象者の各作業を遂行する能力を比較する場合には、各パフォーマンス指数の基準値は、各作業に含まれる各要素作業に要求される知覚活動及び身体活動の難易度に応じて設定されるのが好ましい。例えば、知覚活動及び身体活動の難易度を判定するための判定規則が設定されてもよく、設定された判定規則に基づいて、各作業の各要素作業に対して設定するパフォーマンス指数の基準値が決定されてよい。
【0187】
ここで、図17A及び図17Bを用いて、判定規則の一例について説明する。図17Aは、知覚活動の難易度とパフォーマンス指数の基準値との関係の一例を例示する。図17Bは、身体活動の難易度とパフォーマンス指数の基準値との関係の一例を例示する。
【0188】
図17Aの判定規則の一例は、知覚の精度、使用する感覚器の種類数、及び知覚対象の数の3つの項目に基づいて、知覚活動の難易度を評価する。すなわち、要求される知覚の精度が高く、使用する感覚器の種類数が多く、かつ知覚対象の数が多いほど、知覚活動の難易度は高くなる。そのため、図17Aの判定規則の一例では、要求される知覚の精度がmm(ミリメートル)単位であり、使用する感覚器の種類数が2種類であり、かつ知覚対象の数が3以上である要素作業に対して、パフォーマンス指数の基準値として最も高い値「40」を与えるように設定されている。一方、図17Aの判定規則の一例では、要求される知覚の精度がcm(センチメートル)単位であり、使用する感覚器の種類数が1種類であり、かつ知覚対象の数が2以下である要素作業に対して、パフォーマンス指数の基準値として最も低い値「5」を与えるように設定されている。なお、図17Aの判定規則の一例は、上記3つの項目に基づいて、知覚活動の難易度を8段階で評価し、各難易度に応じて基準値を等間隔に設定している。
【0189】
また、図17Bの判定規則の一例は、身体運動の精度、非利き手の使用の有無、及び道具の使用の有無の3つの項目に基づいて、身体活動の難易度を評価する。すなわち、要求される身体運動の精度が高く、非利き手を使用し、かつ道具を使用するほど、身体活動の難易度は高くなる。そのため、図17Bの判定規則の一例では、要求される身体運動の精度がmm単位であり、非利き手を使用し、かつ道具を使用する要素作業に対して、パフォーマンス指数の基準値として最も高い値「40」を与えるように設定されている。一方、図17Bの判定規則の一例では、要求される身体運動の精度がcm単位であり、非利き手を使用せず、かつ道具を使用しない要素作業に対して、パフォーマンス指数の基準値として最も低い値「5」を与えるように設定されている。なお、図17Aの判定規則の一例と同様に、図17Bの判定規則の一例は、上記3つの項目に基づいて、身体活動の難易度を8段階で評価し、各難易度に応じて基準値を等間隔に設定している。
【0190】
制御部11は、図17A及び図17Bに例示される各判定規則を利用することで、各作業の各要素作業に対して設定するパフォーマンス指数の基準値を、各要素作業の難易度に応じて決定することができる。例えば、両判定規則を利用する場合には、制御部11は、知覚活動及び身体活動それぞれの難易度を各判定規則に基づいて評価し、各判定規則から導出される基準値を合算することで、各要素作業の難易度に応じたパフォーマンス指数の基準値を各要素作業に対して設定することができる。そして、制御部11は、各作業に含まれる各要素作業に対して設定した基準値を利用して、第4ステップによる評価の結果に応じて、各要素作業についてのパフォーマンス指数を算出する。
【0191】
ただし、知覚活動及び身体活動の難易度を評価するための項目は、これらの例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。知覚活動の難易度を評価するための項目として、例えば、認知対象(1次的な情報か2次的な情報か)、認知箇所(例えば、対象物の外側の状態を認知するのか内側の状態を認知するのか)等を上記以外に挙げることができる。一方、身体活動の難易度を評価するための項目として、例えば、駆動する身体部位の数、駆動時間等を上記以外に挙げることができる。また、知覚活動及び身体活動の難易度とパフォーマンス指数の基準値との対応関係は、図17A及び図17Bの例に限定されなくてもよく、評価項目に応じて適宜設定されてよい。
【0192】
(第6ステップ)
次の第6ステップでは、制御部11は、各要素作業についてのパフォーマンス指数から対象者50の技能レベルを導出する。例えば、制御部11は、各要素作業についてのパフォーマンス指数を合算することで、技能レベルを算出してもよい。この合算を行うときに、制御部11は、各要素作業のパフォーマンス指数に重みをかけてもよい。また、例えば、制御部11は、各要素作業についてのパフォーマンス指数をそのまま技能レベルとして取り扱ってもよい。この場合、技能レベルは、各要素作業についてのパフォーマンス指数により構成される。
【0193】
以上の第1~第6ステップの一連の処理により、制御部11は、動作データを解析することで、技能レベルを客観的かつ定量的に算出することができる。技能レベルを算出した後、制御部11は、上記ステップS103~S110の処理を実行する。これにより、上記実施形態と同様に、作業支援装置1は、対象者50に作業40を効率的に習熟させることができる。
【0194】
なお、上記第1~第6ステップの一連の演算処理はモデル化されてよい。すなわち、演算モデルを利用することで、制御部11は、動作データから技能レベルを直接的に導出してもよい。この演算モデルの一例として、動作データから技能レベルを導出する能力を機械学習により習得した学習済みの学習モデルが利用されてよい。この機械学習には、例えば、サンプル(訓練データ)となる動作データとサンプルから導出された技能レベルを示す正解データとの組み合わせで構成されるデータセットが用いられる。学習モデルは、例えば、ニューラルネットワーク、サポートベクタマシン等により構成される。誤差逆伝播法等の公知の学習アルゴリズムによって、この学習モデルは、サンプルが入力されると、入力されたサンプルに対応する正解データを出力するように訓練される。これにより、学習済みの学習モデルは、動作データが入力されると、入力された動作データから導出される技能レベルを出力する能力を習得する。
【符号の説明】
【0195】
1…作業支援装置、
11…制御部、12…記憶部、13…外部インタフェース、
14…入力装置、15…出力装置、16…ドライブ、
111…第1取得部、112…レベル算出部、
113…第2取得部、114…指導決定部、
115…出力部、116…習得判定部、117…登録部、
30…カメラ、31…ロードセル、32…眼電位センサ、
40…作業、45…赤外線センサ、
50…対象者、55…動作データ、
60…習熟過程データベース、
65…指導内容データベース、
70…(模範者の)動作データ、
80…作業支援プログラム、90…記憶媒体
図1
図2
図3
図4
図5A
図5B
図6
図7
図8
図9A
図9B
図9C
図9D
図10
図11
図12
図13
図14
図15
図16A
図16B
図16C
図16D
図17A
図17B