特開 2023-167448 動作計測装置および動作計測方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023167448

(43)【公開日】2023-11-24

(54)【発明の名称】動作計測装置および動作計測方法

(51)【国際特許分類】

   G01B 11/00 20060101AFI20231116BHJP

【ＦＩ】

G01B11/00 H

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022078637

(22)【出願日】2022-05-12

(71)【出願人】

【識別番号】000000099

【氏名又は名称】株式会社ＩＨＩ

(71)【出願人】

【識別番号】899000068

【氏名又は名称】学校法人早稲田大学

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100101247

【弁理士】

【氏名又は名称】高橋 俊一

(74)【代理人】

【識別番号】100095500

【弁理士】

【氏名又は名称】伊藤 正和

(74)【代理人】

【識別番号】100098327

【弁理士】

【氏名又は名称】高松 俊雄

(72)【発明者】

【氏名】小椋 優

(72)【発明者】

【氏名】遠山 悠

(72)【発明者】

【氏名】重藤 千隼

(72)【発明者】

【氏名】大谷 拓也

(72)【発明者】

【氏名】高西 淳夫

【テーマコード（参考）】

2F065

【Ｆターム（参考）】

2F065AA04

2F065AA09

2F065AA37

2F065BB15

2F065CC16

2F065DD03

2F065FF04

2F065FF67

2F065JJ03

2F065JJ05

2F065MM02

2F065MM26

2F065QQ03

2F065QQ24

2F065QQ25

2F065QQ28

2F065QQ31

2F065UU05

(57)【要約】

【課題】動体の動作を精度良く確実に計測することが可能な動作計測装置および動作計測方法を提供する。
【解決手段】動作計測対象物の所定部位に関して推定された絶対的な位置および方向の情報である第１推定情報と、所定部位における慣性力を計測することにより推定された所定部位の位置および方向の情報である第２推定情報とに基づいて動作計測対象物の所定部位の位置および方向を所定時間間隔で決定するモジュール情報処理部２３１～２３５と、決定された情報の遷移に基づいて、動作計測対象物の動作を計測する動作計測部２３６とを備える。モジュール情報処理部２３１～２３５は、第１推定情報と第２推定情報とのうちいずれか一方に基づいて動作計測対象物の所定部位の位置および方向を決定しているときに、該当する推定情報の変化量が所定値以上になると、他方の推定情報に基づいて動作計測対象物の所定部位の位置および方向を決定するように切り替える。
【選択図】図３

【特許請求の範囲】

【請求項1】

動作計測対象物の所定部位に関して推定された絶対的な位置および方向の情報である第１推定情報を所定時間間隔で取得する絶対位置情報処理部と、
前記所定部位における慣性力を計測することにより推定された前記所定部位の位置および方向の情報である第２推定情報を所定時間間隔で取得する慣性情報処理部と、
前記第１推定情報または前記第２推定情報に基づいて、前記動作計測対象物の所定部位の位置および方向を所定時間間隔で決定する決定部と、
前記決定部で決定された情報の遷移に基づいて、前記動作計測対象物の動作を計測する動作計測部と、を備え、
前記決定部は、前記第１推定情報と前記第２推定情報とのうちいずれか一方に基づいて前記動作計測対象物の所定部位の位置および方向を決定しているときに、該当する推定情報の変化量が所定値以上になると、他方の推定情報に基づいて前記動作計測対象物の所定部位の位置および方向を決定するように切り替える、動作計測装置。

【請求項2】

前記決定部は、前記他方の推定情報に基づいて前記動作計測対象物の所定部位の位置および方向を決定するように切り替えた後、切り替え前に処理対象としていた推定情報の変化量が所定値未満になると、前記切り替え前に処理対象としていた推定情報に基づいて前記動作計測対象物の所定部位の位置および方向を決定するように戻す、請求項１に記載の動作計測装置。

【請求項3】

前記所定部位は複数部位であって、
前記決定部は、前記複数部位それぞれの位置および方向を決定し、
前記動作計測部は、前記決定部で決定された部位ごとの情報の遷移に基づいて、前記動作計測対象物の動作を計測する、請求項１または２に記載の動作計測装置。

【請求項4】

前記動作計測部で計測された前記動作計測対象物の動作を示す動画情報を生成する動画情報生成部をさらに備える、請求項１または２に記載の動作計測装置。

【請求項5】

動作計測対象物の所定部位に関して推定された絶対的な位置および方向の情報である第１推定情報を所定時間間隔で取得し、
前記所定部位における慣性力を計測することにより推定された前記所定部位の位置および方向の情報である第２推定情報を所定時間間隔で取得し、
前記第１推定情報または前記第２推定情報に基づいて、前記動作計測対象物の所定部位の位置および方向を所定時間間隔で決定し、
前記第１推定情報と前記第２推定情報とのうちいずれか一方に基づいて前記動作計測対象物の所定部位の位置および方向を決定しているときに、該当する推定情報の変化量が所定値以上になると、他方の推定情報に基づいて前記動作計測対象物の所定部位の位置および方向を決定するように切り替え、
決定した情報の遷移に基づいて、前記動作計測対象物の動作を計測する動作計測方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、動作計測装置および動作計測方法に関する。

【背景技術】

【0002】

人間の所定動作により達成される技能の中には、その動作の習得に長期間を要するものがある。このような技能のための動作の習得を効率的に行うために、当該技能の熟練者の動作を定量的に計測し、初心者が当該動作を習得する際に、計測した熟練者の動作情報を用いることが考えられる。

【0003】

人間の動作を定量的に計測するための技術として、光学式モーションキャプチャを用いた技術や、慣性計測装置を用いた技術がある。光学式モーションキャプチャは、関節などの人間の動作の特徴となる部位にマーカを設置して、カメラ装置でこれらのマーカの位置と動きを記録することで、人間の動作を計測する技術である。また慣性計測装置を用いた技術は、計測対象の人間に設置したジャイロセンサや加速度センサによる計測情報を用いて、人間の動作を計測する技術である。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０００－３２１０４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述したような動作の習得に長期間を要する技能の一つに、溶接作業のための技能がある。溶接作業のための技能では例えば、作業員が溶接ホルダを持って上腕から上半身を所定の姿勢で動かす動作を行う。

【0006】

このような溶接作業では作業中に非常に強い溶接光が発生するため、光学式モーションキャプチャにより作業者の動作を計測しようとすると、カメラ装置でマーカの位置を取得できずに計測不能になる場合があるという問題があった。また、溶接作業では熱や電磁波も発生するため、慣性計測装置を用いて、作業者の動作を計測することが困難であるという問題があった。

【0007】

本開示は上記事情に鑑みてなされたものであり、動体の動作を精度良く確実に計測することが可能な、動作計測装置および動作計測方法の提供を目的とする。

【課題を解決するための手段】

【0008】

本開示に係る動作計測装置は、動作計測対象物の所定部位に関して推定された絶対的な位置および方向の情報である第１推定情報を所定時間間隔で取得する絶対位置情報処理部と、前記所定部位における慣性力を計測することにより推定された前記所定部位の位置および方向の情報である第２推定情報を所定時間間隔で取得する慣性情報処理部と、前記第１推定情報または前記第２推定情報に基づいて前記動作計測対象物の所定部位の位置および方向を所定時間間隔で決定する決定部と、前記決定部で決定された情報の遷移に基づいて、前記動作計測対象物の動作を計測する動作計測部と、を備え、前記決定部は、前記第１推定情報と前記第２推定情報とのうちいずれか一方に基づいて前記動作計測対象物の所定部位の位置および方向を決定しているときに、該当する推定情報の変化量が所定値以上になると、他方の推定情報に基づいて前記動作計測対象物の所定部位の位置および方向を決定するように切り替える。

【0009】

また前記決定部は、前記他方の推定情報に基づいて前記動作計測対象物の所定部位の位置および方向を決定するように切り替えた後、切り替え前に処理対象としていた推定情報の変化量が所定値未満になると、前記切り替え前に処理対象としていた推定情報に基づいて前記動作計測対象物の所定部位の位置および方向を決定するように戻してもよい。

【0010】

また前記所定部位は複数部位であって、前記決定部は、前記複数部位それぞれの位置および方向を決定し、前記動作計測部は、前記決定部で決定された部位ごとの情報の遷移に基づいて、前記動作計測対象物の動作を計測してもよい。

【0011】

また前記動作計測装置は、動作計測部で計測された前記動作計測対象物の動作を示す動画情報を生成する動画情報生成部をさらに備えていてもよい。

【0012】

また本開示に係る動作計測方法は、動作計測対象物の所定部位に関して推定された絶対的な位置および方向の情報である第１推定情報を所定時間間隔で取得し、前記所定部位における慣性力を計測することにより推定された前記所定部位の位置および方向の情報である第２推定情報を所定時間間隔で取得し、前記第１推定情報または前記第２推定情報に基づいて前記動作計測対象物の所定部位の位置および方向を所定時間間隔で決定し、前記第１推定情報と前記第２推定情報とのうちいずれか一方に基づいて前記動作計測対象物の所定部位の位置および方向を決定しているときに、該当する推定情報の変化量が所定値以上になると、他方の推定情報に基づいて前記動作計測対象物の所定部位の位置および方向を決定するように切り替え、決定した情報の遷移に基づいて、前記動作計測対象物の動作を計測する。

【発明の効果】

【0013】

本開示の動作計測装置および動作計測方法によれば、動体の動作を精度良く確実に計測することができる。

【図面の簡単な説明】

【0014】

【図1】一実施形態に係る動作計測装置を用いた動作計測システムの構成を示す全体図である。

【図2】一実施形態に係る動作計測装置に接続された第１～第５センサモジュールの構成を示すブロック図である。

【図3】一実施形態に係る動作計測装置の構成を示すブロック図である。

【図4】一実施形態に係る動作計測装置内の第１～第５モジュール情報処理部の構成を示すブロック図である。

【図5】一実施形態に係る動作計測装置内の第１～第５モジュール情報処理部の動作を示すフローチャートである。

【発明を実施するための形態】

【0015】

以下の実施形態では、本開示による動作計測装置により、溶接作業を行う作業員Ｘおよび作業員Ｘが把持するトーチＴの動作を計測する場合について説明する。

【0016】

〈一実施形態による動作計測装置を用いた動作計測システムの構成〉
一実施形態による動作計測装置を用いた動作計測システムの構成について、図１を参照して説明する。本実施形態による動作計測システム１は、第１センサモジュール１０－１、第２センサモジュール１０－２、第３センサモジュール１０－３、第４センサモジュール１０－４、および第５センサモジュール１０－５（以下、「第１センサモジュール１０－１～第５センサモジュール１０－５」と記載する）の５個のセンサモジュールと、これらの第１センサモジュール１０－１～第５センサモジュール１０－５に有線通信および無線通信可能に接続された動作計測装置２０とを備える。

【0017】

第１センサモジュール１０－１は、例えば動作計測対象である作業員Ｘの背中に設置される。第２センサモジュール１０－２は、作業員Ｘの上腕に設置される。第３センサモジュール１０－３は、作業員Ｘの前腕に設置される。第４センサモジュール１０－４は、作業員Ｘの手首に設置される。第５センサモジュール１０－５は、作業員Ｘが把持するトーチＴに設置される。

【0018】

図２は、第１センサモジュール１０－１～第５センサモジュール１０－５の構成を示すブロック図である。第１センサモジュール１０－１は、カメラ装置１１－１と、モジュール有線通信部１２－１と、ＩＭＵ（Inertial Measurement Unit）センサ１３－１と、モジュール無線通信部１４－１とを有する。

【0019】

第１センサモジュール１０－１の構成について説明する。カメラ装置１１－１は例えばＷｅｂカメラで構成され、動作計測処理中に作業員Ｘの周囲を撮影する。モジュール有線通信部１２－１は、動作計測装置２０との有線通信を行う。ＩＭＵセンサ１３－１は、慣性力を示す角速度を所定時間間隔で計測するジャイロセンサ１３１－１と、慣性力を示す加速度を所定時間間隔で計測する加速度センサ１３２－１とを有する。モジュール無線通信部１４－１は、動作計測装置２０との無線通信を行う。

【0020】

第２センサモジュール１０－２～第５センサモジュール１０－５は、第１センサモジュール１０－１と同様の構成を有するため、詳細な説明は省略する。

【0021】

図３は、動作計測装置２０の構成を示すブロック図である。動作計測装置２０は、計測装置有線通信部２１と、計測装置無線通信部２２と、ＣＰＵ２３と、ＧＵＩ（Graphical User Interface）情報記憶部２４と、表示部２５とを有する。

【0022】

計測装置有線通信部２１は、第１センサモジュール１０－１～第５センサモジュール１０－５との有線通信を行う。計測装置無線通信部２２は、第１センサモジュール１０－１～第５センサモジュール１０－５との無線通信を行う。

【0023】

ＣＰＵ２３は、第１モジュール情報処理部２３１と、第２モジュール情報処理部２３２と、第３モジュール情報処理部２３３と、第４モジュール情報処理部２３４と、第５モジュール情報処理部２３５と、動作計測部２３６と、動画情報生成部としてのＧＵＩ情報生成部２３７とを有する。

【0024】

第１モジュール情報処理部２３１、第２モジュール情報処理部２３２、第３モジュール情報処理部２３３、第４モジュール情報処理部２３４、および第５モジュール情報処理部２３５（以下、「第１モジュール情報処理部２３１～第５モジュール情報処理部２３５」と記載する）は、同一の構成を有する。図４は、第１モジュール情報処理部２３１～第５モジュール情報処理部２３５の構成を示すブロック図である。

【0025】

第１モジュール情報処理部２３１は、撮像情報取得部２３１ａと、絶対位置情報処理部としての絶対位置推定部２３１ｂと、慣性情報取得部２３１ｃと、慣性情報処理部２３１ｄと、決定部２３１ｅとを有する。第１モジュール情報処理部２３１は、第１センサモジュール１０－１で取得された情報を処理する。

【0026】

撮像情報取得部２３１ａは、第１センサモジュール１０－１のカメラ装置１１－１で撮影された撮像情報を、計測装置有線通信部２１を介して取得する。絶対位置推定部２３１ｂは、撮像情報取得部２３１ａで取得した撮像情報を解析することで、ＶｉｓｕａｌＳＬＡＭ（Simultaneous Localization and Mapping）技術を用いて所定時間間隔で、第１センサモジュール１０－１の絶対的な位置および方向を推定する。絶対位置推定部２３１ｂは、推定した第１センサモジュール１０－１の絶対的な位置および方向の情報を、第１推定情報として取得する。

【0027】

慣性情報取得部２３１ｃは、第１センサモジュール１０－１のジャイロセンサ１３１－１で計測された角速度の情報および加速度センサ１３２－１で計測された加速度の情報を、計測装置無線通信部２２を介して慣性情報として取得する。

【0028】

慣性情報処理部２３１ｄは、慣性情報取得部２３１ｃにより取得した慣性情報に基づいて、第１センサモジュール１０－１の位置および向きを所定時間間隔で推定する。慣性情報処理部２３１ｄは、推定した第１センサモジュール１０－１の位置および向きの情報を、第２推定情報として取得する。また慣性情報処理部２３１ｄは、所定時間間隔で、絶対位置推定部２３１ｂが第１センサモジュール１０－１の位置および方向を推定するために認識している座標系の情報に基づいて、慣性情報処理部２３１ｄが認識している座標系の情報を補正する。

【0029】

決定部２３１ｅは、絶対位置推定部２３１ｂで推定された第１推定情報または慣性情報処理部２３１ｄで推定された第２推定情報に基づいて、拡張カルマンフィルタを用いて第１センサモジュール１０－１の位置または方向を所定時間間隔で決定する。

【0030】

その際、決定部２３１ｅは、第１推定情報と第２推定情報とのうちいずれか一方に基づいて第１センサモジュール１０－１の位置および方向を決定しているときに、該当する推定情報の変化量が所定値以上になったか否かを監視する。そして決定部２３１ｅは、該当する推定情報の変化量が所定値以上になると、他方の推定情報に基づいて第１センサモジュール１０－１の位置および方向を決定するように切り替える。本実施形態においては、決定部２３１ｅは、第１推定情報に基づいて第１センサモジュール１０－１の位置および方向を決定しているときに第１推定情報の変化量が所定値以上になると、第２推定情報に基づいて決定するように切り替える。

【0031】

第２モジュール情報処理部２３２は第１モジュール情報処理部２３１と同様の構成を有し、第２センサモジュール１０－２で取得された情報を処理する。第３モジュール情報処理部２３３は第１モジュール情報処理部２３１と同様の構成を有し、第３センサモジュール１０－３で取得された情報を処理する。第４モジュール情報処理部２３４は第１モジュール情報処理部２３１と同様の構成を有し、第４センサモジュール１０－４で取得された情報を処理する。第５モジュール情報処理部２３５は第１モジュール情報処理部２３１と同様の構成を有し、第５センサモジュール１０－５で取得された情報を処理する。

【0032】

動作計測部２３６は、第１モジュール情報処理部２３１～第５モジュール情報処理部２３５で決定された情報の遷移に基づいて、作業員Ｘの動作を計測する。ＧＵＩ情報生成部２３７は、動作計測部２３６で計測された作業員Ｘの動作を動画情報で示したＧＵＩ情報を生成する。

【0033】

ＧＵＩ情報記憶部２４は、ＧＵＩ情報生成部２３７で生成されたＧＵＩ情報を記憶する。表示部２５は、ＧＵＩ情報記憶部２４に記憶されたＧＵＩ情報を表示する。

【0034】

〈一実施形態による動作計測システムの動作〉
次に、本実施形態による動作計測システム１の動作について説明する。まず、第１センサモジュール１０－１が作業員Ｘの背中に設置され、第２センサモジュール１０－２が作業員Ｘの上腕に設置され、第３センサモジュール１０－３が作業員Ｘの前腕に設置され、第４センサモジュール１０－４が作業員Ｘの手首に設置され、第５センサモジュール１０－５が、作業員Ｘが把持するトーチＴに設置され、動作計測装置２０で計測処理を開始する操作が行われると、動作計測システム１が、作業員Ｘによる溶接作業の動作計測処理を開始する。

【0035】

動作計測処理が開始すると、第１センサモジュール１０－１～第５センサモジュール１０－５内のカメラ装置１１－１～１１－５が、作業員Ｘの周囲の撮影を開始する。カメラ装置１１－１～１１－５で撮影された撮像情報は、順次、モジュール有線通信部１２－１～１２－５を介して動作計測装置２０に送信される。

【0036】

また、第１センサモジュール１０－１～第５センサモジュール１０－５それぞれのＩＭＵセンサ１３－１～１３－５のジャイロセンサ１３１－１～１３１－５が角速度を所定時間間隔で計測する。また、ＩＭＵセンサ１３－１～１３－５の加速度センサ１３２－１～１３２－５が加速度を所定時間間隔で計測する。ジャイロセンサ１３１－１～１３１－５で計測された角速度の情報およびＩＭＵセンサ１３－１～１３－５で計測された加速度の情報は、順次、モジュール無線通信部１４－１～１４－５を介して動作計測装置２０に送信される。

【0037】

動作計測装置２０では、第１センサモジュール１０－１～第５センサモジュール１０－５から送信された撮像情報が、計測装置有線通信部２１を介してＣＰＵ２３で取得される。また、第１センサモジュール１０－１～第５センサモジュール１０－５から送信された角速度の情報および加速度の情報が、計測装置無線通信部２２を介してＣＰＵ２３で取得される。

【0038】

ＣＰＵ２３では、第１センサモジュール１０－１から送信された撮像情報を第１モジュール情報処理部２３１の撮像情報取得部２３１ａが取得し、角速度の情報および加速度の情報を、慣性情報取得部２３１ｃが慣性情報として取得する。

【0039】

また、第２センサモジュール１０－２から送信された撮像情報を第２モジュール情報処理部２３２の撮像情報取得部２３２ａが取得し、角速度の情報および加速度の情報を、慣性情報取得部２３２ｃが慣性情報として取得する。

【0040】

また、第３センサモジュール１０－３から送信された撮像情報を第３モジュール情報処理部２３３の撮像情報取得部２３３ａが取得し、角速度の情報および加速度の情報を、慣性情報取得部２３３ｃが慣性情報として取得する。

【0041】

また、第４センサモジュール１０－４から送信された撮像情報を第４モジュール情報処理部２３４の撮像情報取得部２３４ａが取得し、角速度の情報および加速度の情報を、慣性情報取得部２３４ｃが慣性情報として取得する。

【0042】

また、第５センサモジュール１０－５から送信された撮像情報を第５モジュール情報処理部２３５の撮像情報取得部２３５ａが取得し、角速度の情報および加速度の情報を、慣性情報取得部２３５ｃが慣性情報として取得する。

【0043】

第１センサモジュール１０－１から送信された情報を取得した第１モジュール情報処理部２３１が実行する処理について説明する。まず、絶対位置推定部２３１ｂが、撮像情報取得部２３１ａで取得した撮像情報を解析することで、ＶｉｓｕａｌＳＬＡＭ技術を用いて、第１センサモジュール１０－１の絶対的な位置および方向を所定時間間隔で推定する。絶対位置推定部２３１ｂは、推定した第１センサモジュール１０－１の絶対的な位置および方向の情報を、第１推定情報として取得する。

【0044】

また、慣性情報処理部２３１ｄは、動作計測処理の開始時点の絶対的な位置および方向を絶対位置推定部２３１ｂから取得する。そして慣性情報処理部２３１ｄは、慣性情報取得部２３１ｃで取得した慣性情報に基づいて動作計測処理の開始時点の絶対的な位置および方向からの相対的な移動量を検出することで、第１センサモジュール１０－１の位置および向きを所定時間間隔で推定する。慣性情報処理部２３１ｄは、推定した第１センサモジュール１０－１の位置および向きの情報を、第２推定情報として取得する。

【0045】

また慣性情報処理部２３１ｄは所定時間間隔で、絶対位置推定部２３１ｂが第１センサモジュール１０－１の位置および方向を推定するために認識している座標系の情報に基づいて、慣性情報処理部２３１ｄが認識している座標系の情報を補正する。

【0046】

次に、決定部２３１ｅが拡張カルマンフィルタを用いて所定時間間隔で、絶対位置推定部２３１ｂで推定された情報と、慣性情報処理部２３１ｄで推定された情報とから第１センサモジュール１０－１の位置および方向を決定する。

【0047】

決定部２３１ｅが所定時間間隔で実行する、第１センサモジュール１０－１の位置および方向の決定処理について説明する。決定部２３１ｅは、決定処理に用いる情報として、予め下記式（１）および（２）を設定する。

【0048】

【数1】

上記式（１）、（２）において、kは時刻を示す。x₁…x_n は第１センサモジュール１０－１の位置または方向の状態値を示す。nは、第１センサモジュール１０－１の状態を示す要素の数であり、本実施形態ではクォータニオンに対応してn=4である。z₁…z_mは観測値を示し、絶対位置推定部２３１ｂで推定された第１推定情報は観測値z₁…z₄であり、および慣性情報処理部２３１ｄで推定された第２推定情報は観測値z₅…z₈である。F_kは、前回の状態値x₁…x₄から現在の状態値x₁…x₄を求めるための単位行列である。H_kは、状態値x₁…x₄から観測値z₁…z_4,または観測値z₅…z₈を求めるための行列である。v_kは、観測値のノイズ値を示す。w_k-1は、次の処理ステップへ移る際の不確実性や擾乱のレベルを示す。w_k-1は０でもよいが、作業者Ｘが同じ姿勢を保持した際の各センサモジュールのぶれ幅の値などから試験的に求めてもよい。

【0049】

決定部２３１ｅは、上記式（１）により算出される第１センサモジュール１０－１の位置または方向の状態値x₁…x₄と、上記式（２）により算出される観測値z₁…z₄または観測値z₅…z₈とを合成して、第１センサモジュール１０－１の位置または方向の決定値を算出する。決定部２３１ｅは、状態値x₁…x₄と、観測値z₁…z₄または観測値z₅…z₈との２つの値のうち、どちらをどれだけ反映させるかを示すカルマンゲインを予め設定しておく。そして決定部２３１ｅは、設定したカルマンゲインに基づいて、第１センサモジュール１０－１の位置または方向の決定値を算出する。

【0050】

第１センサモジュール１０－１の位置または方向の決定値を算出すると、決定部２３１ｅは、観測値の不確かさを推定する。決定部２３１ｅは、推定した観測値の不確かさと、第１センサモジュール１０－１の位置または方向の決定値とから次回の決定処理における決定値の不確かさを予測し、これに基づいてカルマンゲインを更新する。具体的には、観測値の不確かさが小さければ、上記式（２）により算出される観測値z₁…z₄または観測値z₅…z₈の反映度合いが大きくなるようにカルマンゲインを更新する。また、観測値の不確かさが大きければ、上記式（１）により算出される状態値x₁…x₄の反映度合いが大きくなるようにカルマンゲインを更新する。

【0051】

このようにして所定時間間隔で決定処理を実行する際に、決定部２３１ｅが実行するカルマンゲインの更新処理について、図５のフローチャートを参照して説明する。

【0052】

決定処理の開始時には、決定部２３１ｅは、絶対位置推定部２３１ｂで推定された精度が高い第１推定情報が決定処理対象となるように、カルマンゲインを設定する（Ｓ１）。具体的には決定部２３１ｅは、上記式（２）のH_k行列で、状態値x₁…x₄に1を乗算するように設定し、v_kの値を適切な計測誤差レベルに設定する。また、第１推定情報による観測値z₁…z₄に対するv_kの値を、第２推定情報による観測値z₅…z₈に対するv_kの値よりも下げる。このように設定することにより観測値z₅…z₈の不確かさが小さくなり、第２推定情報よりも第１推定情報が優位になるようにカルマンゲインが設定される。決定部２３１ｅは、設定されたカルマンゲインに基づいて、決定処理を開始する。

【0053】

決定処理の実行中に、溶接作業により強い溶接光や火花が発生すると、絶対位置推定部２３１ｂにおいて適正な第１推定情報が取得できなくなり、決定部２３１ｅが、前回の処理からの決定値の変化量が所定値以上であると判定する（Ｓ２の「YES」）。

【0054】

決定部２３１ｅは、前回の処理からの決定値の変化量が所定値以上であると判定すると、慣性情報処理部２３１ｄで推定された第２推定情報が決定処理対象となるように、カルマンゲインの設定を更新する（Ｓ３）。具体的には決定部２３１ｅは、上記式（２）のH_k行列で、状態値x₁…x₄に0を乗算するように設定し、v_kの値を極度に大きく設定する。このように設定することにより、観測値z₁…z₄および観測値z₅…z₈の不確かさが大きくなり、慣性情報処理部２３１ｄで推定された値が優位になるようにカルマンゲインの設定が更新される。

【0055】

その後、決定部２３１ｅは、切り替え前に処理対象としていた第１推定情報の変化量が所定値未満になったか否かを監視する（Ｓ４）。溶接光や火花が発生する作業が終わり、撮像情報取得部２３１ａで取得する撮像情報の変化が小さくなると、決定部２３１ｅが、前回の処理からの第１推定情報の変化量が所定値未満になったと判定する（Ｓ４の「YES」）。

【0056】

決定部２３１ｅは、前回の処理からの第１推定情報の変化量が所定値未満になったと判定すると、第１推定情報が優位になるように、カルマンゲインの設定を戻す（Ｓ５）。以上で、決定部２３１ｅが実行するカルマンゲインの更新処理の説明を終了する。

【0057】

同様にして、第２モジュール情報処理部２３２において第２センサモジュール１０－２の位置および方向が決定され、第３モジュール情報処理部２３３において第３センサモジュール１０－３の位置および方向が決定され、第４モジュール情報処理部２３４において第４センサモジュール１０－４の位置および方向が決定され、第５モジュール情報処理部２３５において第５センサモジュール１０－５の位置および方向が決定される。

【0058】

次に、動作計測部２３６が、第１モジュール情報処理部２３１～第５モジュール情報処理部２３５で決定された情報の遷移に基づいて、作業員Ｘの動作を計測する。具体的には、モジュール情報処理部ごとに決定された位置および方向の情報の遷移を、それぞれ作業員Ｘの背中、上腕、前腕、手首、およびトーチＴの動作として計測する。次に、ＧＵＩ情報生成部２３７が、動作計測部２３６で計測された作業員Ｘの動作を動画情報で示したＧＵＩ情報を生成する。生成されたＧＵＩ情報は、ＧＵＩ情報記憶部に記憶される。そして表示部２５が、ＧＵＩ情報記憶部２４に記憶されたＧＵＩ情報を表示する。

【0059】

以上の実施形態によれば動作計測装置は、計測対象の作業者Ｘの所定部位に関して、撮像情報から推定した精度の高い位置および方向の情報である第１推定情報と、慣性情報から推定した位置および方向の情報である第２推定情報を取得する。そして動作計測装置は、精度の高い第１推定情報をなるべく用いつつ、溶接作業中に強い溶接光や火花が発生して第１推定情報を適正に推定できなくなったときには第２推定情報を用いるように切り替える。これにより操作計測装置は、精度良く且つ安定して、作業者Ｘの動作を計測することができる。

【0060】

また動作計測装置は、処理対象とする推定情報を切り替えた後、切り替え前に処理対象としていた推定情報の変化量が所定値未満になると、切り替え前に処理対象としていた推定情報が処理対象になるように設定を戻す。これにより動作計測装置は、処理対象の推定情報の切り替え後の適切な時期に、処理対象の推定情報を初期状態に戻して精度の良い動作計測処理を実行することができる。

【0061】

また動作計測装置は、複数のセンサモジュールを用いて計測対象の作業者Ｘの複数部位それぞれに関する第１推定情報および第２推定情報を取得し、これらを用いて作業者Ｘ動作の動作を計測する。これにより動作計測装置は、作業者Ｘの体の複数部位の動作を計測し、複雑な動作に関しても精度良く計測することができる。

【0062】

また、動作計測装置は、計測された作業者Ｘの動作を示す動画情報を生成して表示させることで、作業者Ｘの動作状況を可視化することができる。これにより、熟練者である作業者の動作状況を示す動画情報と、初心者である作業者の動作状況を示す動画情報とを生成し、これらを比較することで、初心者である作業者が熟練者である作業者と同様の動作を習得するためのツールとして用いることができる。

【0063】

また、上述した実施形態では、溶接作業を行う作業者Ｘの動作を計測対象とする場合について説明したがこれには限定されず、スポーツを行う人の動作、舞踊を行う人の動作、または楽器を演奏する人の動作等を計測対象としてもよい。

【0064】

スポーツを行う人の動作を計測する場合には、動きが高速であるために、処理に長時間を要する撮像情報の解析による動作計測処理を継続的に行うことが困難な場合がある。そのような場合には、上述した動作計測装置の決定部が、通常時は慣性情報により推定する第２推定情報に基づいて動作計測対象物の所定部位の位置および方向を決定する。そして決定部は、第２推定情報の変化量が所定値以上になり適正な推定処理が不可能になると、撮像情報により推定する第１推定情報に基づいて動作計測対象物の所定部位の位置および方向を決定するように切り替えるようにしてもよい。

【0065】

また、上述した実施形態では、絶対位置推定部が、カメラ装置で撮影された撮像情報を解析することで、計測対象のセンサモジュールの位置および方向を推定する場合について説明したが、これには限定されない。例えば、センサモジュールに測距センサを設置し、この測距センサで計測された作業者Ｘの周囲の物体の複数箇所までの距離情報に基づいて、センサモジュールの位置および方向を推定してもよい。

【0066】

いくつかの実施形態を説明したが、上記開示内容に基づいて実施形態の修正または変形をすることが可能である。上記実施形態のすべての構成要素、及び請求の範囲に記載されたすべての特徴は、それらが互いに矛盾しない限り、個々に抜き出して組み合わせてもよい。

【符号の説明】

【0067】

１ 動作計測システム
１０－１～１０－５ センサモジュール
１１－１～１１－５ カメラ装置
１２－１～１２－５ モジュール有線通信部
１３－１～１３－５ ＩＭＵセンサ
１４－１～１４－５ モジュール無線通信部
２０ 動作計測装置
２１ 計測装置有線通信部
２２ 計測装置無線通信部
２３ ＣＰＵ
２４ ＧＵＩ情報記憶部
２５ 表示部
１３１－１～１３１－５ ジャイロセンサ
１３２－１～１３２－５ 加速度センサ
２３１～２３５ モジュール情報処理部
２３１ａ～２３５ａ 撮像情報取得部
２３１ｂ～２３５ｂ 絶対位置推定部
２３１ｃ～２３５ｃ 慣性情報取得部
２３１ｄ～２３５ｄ 慣性情報処理部
２３１ｅ～２３５ｅ 決定部２３２
２３６ 動作計測部
２３７ ＧＵＩ情報生成部

【図1】

【図2】

【図3】

【図4】

【図5】