特表2022-543935複数粒度並列化されたＣＮＮモデルに基づく筋電信号―トルクのマッチング方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-10-17
(54)【発明の名称】複数粒度並列化されたＣＮＮモデルに基づく筋電信号―トルクのマッチング方法
(51)【国際特許分類】
G01L 5/24 20060101AFI20221007BHJP
G06N 3/04 20060101ALI20221007BHJP
G06N 3/08 20060101ALI20221007BHJP
A61B 5/397 20210101ALI20221007BHJP
A61B 5/395 20210101ALI20221007BHJP
【ＦＩ】
G01L5/24
G06N3/04
G06N3/08
A61B5/397
A61B5/395
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2021517409
(86)(22)【出願日】2020-05-07
(85)【翻訳文提出日】2021-03-25
(86)【国際出願番号】 CN2020088876
(87)【国際公開番号】W WO2021169036
(87)【国際公開日】2021-09-02
(31)【優先権主張番号】202010116661.6
(32)【優先日】2020-02-25
(33)【優先権主張国・地域又は機関】CN
(81)【指定国・地域】
(71)【出願人】
【識別番号】518229179
【氏名又は名称】青▲島▼理工大学
【氏名又は名称原語表記】ＱＩＮＧＤＡＯ ＵＮＩＶＥＲＳＩＴＹ ＯＦ ＴＥＣＨＮＯＬＯＧＹ
(71)【出願人】
【識別番号】511176469
【氏名又は名称】西安交通大学
(74)【代理人】
【識別番号】100145470
【弁理士】
【氏名又は名称】藤井 健一
(72)【発明者】
【氏名】陳成軍
(72)【発明者】
【氏名】黄凱
(72)【発明者】
【氏名】李東年
(72)【発明者】
【氏名】鄭帥
(72)【発明者】
【氏名】洪軍
【テーマコード（参考）】
2F051
4C127
【Ｆターム（参考）】
2F051BA03
4C127AA04
4C127CC00
4C127DD07
4C127FF02
4C127GG13
(57)【要約】
本発明は、複数粒度並列化されたCNNモデルに基づく筋電信号-トルクのマッチング方法に関し、それは以下のステップを含む。ステップ１、作業員が実験台でボルトを締め付ける際のトルク信号及び筋電信号を採集し、保存する。ステップ２、センサーの検知範囲を少なくとも二種の粒度に基づいて区分し、粒度区分するごとに、この粒度に対応する複数のトルク区間が生成され、各トルク区間に一つのトルクラベルを追加する。ステップ３、各時間窓に対応する筋電図を生成する。ステップ４、トルクの平均値が該当するトルク区間により、各粒度区分された下、各時間窓のトルクラベルを確定する。ステップ５、サンプル集合を生成する。ステップ６、複数粒度並列化したCNNモデルを構築し、サンプル集合を用いて各独立したCNNモデルをトレーニングする。ステップ７、作業員は実際組み立て中の筋電信号をトレーニングできた前記複数粒度並列化したCNNモデルに入力した後、組み立てトルクを識別する。本発明では、筋電信号を取得して複数粒度並列化したCNNモデルに入力することで、トルク値が得られ、締付トルクを容易かつ正確にリアルタイムでモニタリングすることができる。
【選択図】図1
【選択図】図1
【特許請求の範囲】
【請求項1】
以下のステップを含むことを特徴とする複数粒度並列化されたCNNモデルに基づく筋電信号―トルクのマッチング方法。ステップ１、作業員が実験台でボルトを締め付ける際のトルク信号及び筋電信号を採集し、保存し、
ステップ２、実験台で締め付けトルク信号を測定するためのセンサーの検知範囲に基づいて、この検知範囲を少なくとも二種の粒度に基づいて区分し、各粒度区分に、この粒度に対応する複数のトルク区間が生成され、各トルク区間に一つのトルクラベルを追加し、
ステップ３、前記筋電信号はt秒ごとに一つの時間窓とし、各時間窓に対応する筋電図を生成し、
ステップ４、前記トルク信号が各前記時間窓内におけるすべてのトルクの平均値を計算し、トルクの平均値が該当するトルク区間により、各粒度区分された下、各時間窓のトルクラベルを確定し、
ステップ５、サンプル集合を生成し、それは少なくとも２つ以上の粒度のサンプル集合を有し、各粒度のサンプル集合は、複数枚のトルクラベル付きの筋電図を含んで、
ステップ６、複数粒度並列化したCNNモデルを構築し、それは、少なくとも２つ以上の並列且つ独立したCNNモデルを有し、各独立したCNNモデルは筋電信号に対する区分する粒度が異なり、同じ粒度のサンプル集合を用いて対応な独立したCNNモデルをトレーニングし、
ステップ７、作業員は実際組み立て中の筋電信号をトレーニングできた前記複数粒度並列化したCNNモデルに入力した後、組み立てトルクを識別する。
【請求項2】
前記ステップ１において、N個チャネルを用いて同時に筋電信号を採集し、Nは自然数であり、前記ステップ3において、採集した各チャネルの筋電信号に対して前処理を行った後、各チャネルの各筋電信号を正規化させて、各時間窓に対応する筋電図を作成し、各枚の筋電図に、当該時間窓内の各チャネルの正規化された筋電信号を含むことを特徴とする請求項1に記載の複数粒度並列化されたCNNモデルに基づく筋電信号―トルクのマッチング方法。
【請求項3】
公式（1）（数５）を用いて筋電信号に対して正規化を行い、筋電信号を[0,1]範囲にマッピングし、その中で、AmaxはN個チャネルの中で、筋電信号の最大値であり、AminはN個チャネルの中で、筋電信号の最小値であり、Aiは第i番目の筋電信号の値であり、A'iは第i番目の筋電信号の値が正規化された後の値であることを特徴とする請求項２に記載の複数粒度並列化されたCNNモデルに基づく筋電信号―トルクのマッチング方法。【数5】
【請求項4】
前記ステップ４において、前記トルク信号に対して標準化を行った後、また平均値を求め、前記トルク信号は以下のような公式に基づいて標準化を行い、 が得られ、その中で、liはi型レンチの長さであり，lmaxは最長レンチの長さであり、Ti はi型レンチにより測定したトルク値であり、T'iはi型レンチで標準化された後のトルク値であり、前記標準化公式は、数６であることを特徴とする請求項１に記載の複数粒度並列化されたCNNモデルに基づく筋電信号―トルクのマッチング方法。【数6】
【請求項5】
前記ステップ６において、各前記独立したCNNモデルにトルクラベル付きの筋電図を入力した後、当該トルクラベルに対応する粒度は、モデルの粒度と一致し、トルクラベルを出力して、各独立したCNNモデルから出力してきたトルクラベルを一箇所に融合し、複数粒度並列化したCNNモデルの予測トルク値とすることを特徴とする請求項１に記載の複数粒度並列化されたCNNモデルに基づく筋電信号―トルクのマッチング方法。
【請求項6】
前記融合とは、各粒度のCNNモデルから出力した最大確率のトルクラベルに対応するトルク区間の中央値を取って、全て中央値の平均値を計算し、それを複数粒度並列化したCNNモデルの予測トルク値とすることを特徴とする請求項５に記載の複数粒度並列化されたCNNモデルに基づく筋電信号―トルクのマッチング方法。
【請求項7】
前記採取した各チャネルの筋電信号に対して前処理を行うことは、以下のステップを含む。まず採取した筋電信号を順次に50Hzローパスフィルタと30Hzゼロ位相ハイパスフィルタを通過させてから、また筋電信号の負の値を反転させて、続いて5Hzゼロ位相ローパススフィルタを用いてフィルタリングし、筋肉の低域通過濾波特性を模擬し、その中で、50Hzローパスフィルタにより、当地周波数が筋電信号に対する干渉を除去し、30Hzゼロ位相ハイパスフィルタにより、受信した筋電信号に対して不良運動軌跡を除去することを特徴とする請求項２に記載の複数粒度並列化されたCNNモデルに基づく筋電信号―トルクのマッチング方法。
【請求項8】
前記トルク信号が標準化された後、以下のように前処理を行ってまた平均値を求め、トルク信号について、50Hzローパスフィルタを用いて、当地周波数が信号採集に対する影響を除去して、続いて処理されたトルク信号に対して、30Hzゼロ位相ハイパスフィルタを用いてフィルタリングし、不良運動軌跡を除去することを特徴とする請求項４に記載の複数粒度並列化されたCNNモデルに基づく筋電信号-トルクのマッチング方法。
【請求項9】
前記ステップ1において、作業員は装着可能な装置を装着して筋電信号収集を行うことを特徴とする請求項１に記載の複数粒度並列化されたCNNモデルに基づく筋電信号―トルクのマッチング方法。
【請求項10】
前記装着可能な装置はMYOアームバンドであることを特徴とする請求項９に記載の複数粒度並列化されたCNNモデルに基づく筋電信号―トルクのマッチング方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は複数粒度並列化されたCNNモデルに基づく筋電信号―トルクのマッチング方法に関し、製品の組み立てモニタリングや知的生産分野に関する。
【背景技術】
【0002】
極めて正確に締め付けトルクを加えることは、ボルトの連結性能の保証や、製品の組み立て品質の向上には非常に大事な措置の一つである。今まで、組み立てスペースや、組み立て効率の影響を受けて、トルク測定機能を備えていないレンチは依然として広く使われている。したがって、トルクのリアルタイムモニタリングは急いで解決しなければならない課題の一つである。今の工場では、組み立てる際、トルクのモニタリングによく使われている工具は、トルク測定用レンチや、定トルク用レンチ及びねじり応力測定器などがある。トルク測定用レンチにより、ボルトを組み立てる過程に、リアルタイムでトルクを観察することができる。ただし、このような方法では、作業員は各種類ボルトのトルクの標準値を把握しないといけないため、過度に締め付けたり、ネジ穴が潰れてしまう状況がよくある。定トルク用レンチにより、リアルタイムでトルクをモニタリングすることができないが、ボルトの締め付けトルクの限度を設定することで、連接部品の締め付けの信頼性を保証することができるとともに、過度に締め付けたり、ネジ穴が潰れてしまう状況を避ける。ねじり応力測定器により、製品を使用中に、高強度ボルトの緩み状況に対してリアルタイムモニタリングすることができるが、上記のようなモニタリング方法は、製品の組み立てが完了した後、モニタリングを行い、そのモニタリング結果はある程度で、タイムラグがあり、また、ねじり応力測定器の超音波コンポーネンツや、圧電素子などは使用環境の影響を受けやすい。
【0003】
表面筋電図（sEMG）は神経筋システムの活動を反映する1次元型の時系列信号であり、このような信号により、人体の運動性能を直接に反映させることが可能であり、医学や、リハビリテーション医学、マンマシンインタフェースなどの分野に広く使われている。また、sEMGにより、正確に計算できない人体の筋力を推定することができるため、更にsEMGを用いてジェスチャの認識や分類、筋力予測などに応用することが可能である。したがって、本発明は、筋電信号を利用して、製品を組み立てる際の締め付けトルクをモニタリングすることができる。
【発明の概要】
【発明が解決しようとする課題】
【0004】
上記課題を解決するために、本発明は、複数粒度並列化されたCNNモデルに基づく筋電信号―トルクのマッチング方法を提供し、筋電信号を取得して複数粒度並列化したCNNモデルに入力することで、トルク値が得られ、締付トルクを容易かつ正確にリアルタイムでモニタリングすることができる。
【0005】
以上の目的を実現するために、本発明の使用する技術的な解決方案は以下の通りである。複数粒度並列化されたCNNモデルに基づく筋電信号―トルクのマッチング方法であって、それは以下のステップを含む。ステップ1、作業員が実験台でボルトを締め付ける際のトルク信号及び筋電信号を採集し、保存する。ステップ2、実験台で締め付けトルク信号を測定するためのセンサーの検知範囲に基づいて、この検知範囲を少なくとも二種の粒度に基づいて区分し、粒度区分するごとに、この粒度に対応する複数のトルク区間が生成され、各トルク区間に一つのトルクラベルを追加する。ステップ３、前記筋電信号はt秒ごとに一つの時間窓とし、各時間窓に対応する筋電図を生成する。ステップ４、前記トルク信号が各前記時間窓内におけるすべてのトルクの平均値を計算し、トルクの平均値が該当するトルク区間により、各粒度区分された下、各時間窓のトルクラベルを確定する。ステップ５、サンプル集合を生成する。それは少なくとも２つ以上の粒度のサンプル集合を有し、各粒度のサンプル集合は、複数枚のトルクラベル付きの筋電図を含んで、トルクラベルに対応する粒度は、サンプル集合に対応する粒度と同じであり、トルクラベルに対応する時間窓は、筋電図に対応する時間窓と同じである。ステップ６、複数粒度並列化したCNNモデルを構築する。それは、少なくとも２つ以上の並列且つ独立したCNNモデルを有し、各独立したCNNモデルは筋電信号に対する区分する粒度が異なり、同じ粒度のサンプル集合を用いて対応な独立したCNNモデルをトレーニングする。ステップ７、作業員は実際組み立て中の筋電信号をトレーニングできた前記複数粒度並列化したCNNモデルに入力した後、組み立てトルクを識別する。
【0006】
好ましくは、前記ステップ１において、N個チャネルを用いて同時に筋電信号を採集し、前記ステップ3において、採集した各チャネルの筋電信号に対して前処理を行った後、各チャネルの各筋電信号を正規化させて、各時間窓に対応する筋電図を作成し、各筋電図に当該時間窓内の各チャネルの正規化された筋電信号を含む。
【0007】
好ましくは、公式（1）（数1）を用いて筋電信号に対して正規化を行い、筋電信号を[0,1]範囲にマッピングし、その中で、AmaxはN個チャネルの中で、筋電信号の最大値であり、AminはN個チャネルの中で、筋電信号の最小値であり、Aiは第i番目の筋電信号の値であり、A'i は第i番目の筋電信号の値が正規化された後の値である。
【0008】
【数1】
【0009】
好ましくは、前記ステップ4において、前記トルク信号に対して標準化を行った後、また平均値を求め、前記トルク信号は以下のような公式に基づいて標準化を行い、 T'iが得られ、その中で、liはi型レンチの長さであり，lmaxは最長レンチの長さであり、Ti はi型レンチにより測定したトルク値であり、T'i はi型レンチで標準化された後のトルク値である。
【0010】
好ましくは、標準化公式は、数2である。
【0011】
【数2】
【0012】
好ましくは、前記ステップ6において、各前記独立したCNNモデルにトルクラベル付きの筋電図を入力した後、当該トルクラベルに対応する粒度は、モデルの粒度と一致し、トルクラベルを出力して、各独立したCNNモデルから出力してきたトルクラベルを一箇所に融合し、複数粒度並列化したCNNモデルの予測トルク値とする。
【0013】
好ましくは、前記融合とは、各粒度のCNNモデルから出力した最大確率のトルクラベルに対応するトルク区間の中央値を取って、全て中央値の平均値を計算し、それを複数粒度並列化したCNNモデルの予測トルク値とする。
【0014】
好ましくは、前記採取した各チャネルの筋電信号に対して前処理を行うことは、以下のステップを含む。まず採取した筋電信号を順次に50Hzローパスフィルタと30Hzゼロ位相ハイパスフィルタを通過させてから、また筋電信号の負の値を反転させて、続いて5Hzゼロ位相ローパススフィルタを用いてフィルタリングし、筋肉の低域通過濾波特性を模擬し、その中で、50Hzローパスフィルタにより、当地周波数が筋電信号に対する干渉を除去し、30Hzゼロ位相ハイパスフィルタにより、受信した筋電信号に対して不良運動軌跡を除去する。
【0015】
好ましくは、前記トルク信号が標準化された後、以下のように前処理を行ってまた平均値を求め、トルク信号について、50Hzローパスフィルタを用いて、当地周波数が信号採集に対する影響を除去して、続いて処理されたトルク信号に対して、30Hzゼロ位相ハイパスフィルタを用いてフィルタリングし、不良運動軌跡を除去する。
【0016】
好ましくは、前記ステップ1において、作業員は装着可能な装置を装着して筋電信号収集を行う。
【0017】
好ましくは、前記装着可能な装置はMYOアームバンドである。
【発明の効果】
【0018】
従来の技術と比べて、本発明の有益な効果は以下の通りである。
【0019】
（1）本発明は複数粒度並列化されたCNNモデルに基づく筋電信号-トルクのマッチング方法であり、複数粒度並列化したCNNモデルを利用して、作業者の筋電信号からボルトが締め付けられる際のトルク値を取得することで、製品を組み立てる際に、締め付けトルクをリアルタイムでモニタリングすることができる。
【0020】
（2）本発明は複数粒度並列化されたCNNモデルに基づく筋電信号―トルクのマッチング方法であり、作業員に装着可能な装置を装着するだけで、筋電信号を採集することが可能になるため、簡単に締め付けトルクをモニタリングすることができる。
【0021】
（3）本発明は複数粒度並列化されたCNNモデルに基づく筋電信号-トルクのマッチング方法であり、複数の異なる粒度のCNNモデルの出力結果を融合させて，より細かい粒度のトルク分類が得られ，トルク予測の精度を高める。この多粒度並列化したCNNモデルにより、各CNNモデルの高速収束を保証するとともに、モデルトルク予測全体の精度を向上させる。
【図面の簡単な説明】
【0022】
【図1】本発明の筋電図-トルクのマッチング方法のフローチャートである。
【図2】本発明のサンプルをトレーニングするフローチャートである。
【図3】本発明の検知範囲を粒度に基づく区分することを示す図である。
【図4】本発明のCNNモデルを示す図である。
【発明を実施するための形態】
【0023】
本発明をよりよく理解するために、これから図面と具体的な実施形態をもって、本発明について具体的に説明する。
【0024】
図1と図2に示すように、複数粒度並列化されたCNN（CNN： Convolutional Neural Networks、畳み込みニューラルネットワーク）モデルに基づく筋電信号-トルクのマッチング方法であって、それは以下のステップを含む。
【0025】
ステップ１、作業員が実験台でボルトを締め付ける際のトルク信号及び筋電信号を採集し、保存する。筋電信号の採集には、無線通信対応可能なMYOのような装着可能な装置を使ってもよいため、レンチや実験台等にセンサーを追加しなくて済んで、インタラクティブ性が強く、実用性も高い。
【0026】
ステップ２、実験台で締め付けトルク信号を測定するためのセンサーの検知範囲に基づいて、この検知範囲を少なくとも二種の粒度に基づいて区分し、以下m粒度とn粒度に基づいて本実施形態の実施過程を説明する。粒度区分するごとに、この粒度に対応する複数のトルク区間が生成され、各トルク区間に一つのトルクラベルを追加する。図3に示すように、採用するセンサーの検知範囲が0～50N.mであることを例として、トルク検知範囲内のトルク値を10個トルク区間に平均に分けて、つまり、10種粒度区分し、それぞれは、[0，5），[5，10），[10，15），[15，20），[20，25），[25，30），[30，35），[35，40），[40，45），[45，50]であり、その単位はN.mであり、また、各トルク区間に一つのトルクラベルを与え、図に示すように、[0，5）に対応するトルクラベルは1となり、[5，10）に対応するトルクラベルは2となる。上記方法により、トルクの検知範囲を5種粒度や、15種粒度、20種粒度に基づいて平均に区分してもよい。
【0027】
ステップ３、前記筋電信号はt秒ごとに一つの時間窓とし、各時間窓に対応する筋電図を生成する。通常、ｔは0.5秒より大きくない、また、8チャネルの筋電信号を同時に採集することを例として、具体的な実施過程は以下の通りである。
【0028】
前処理の過程は以下の通りである。（1）50Hzローパスフィルタにより、採集した8チャネルの筋電信号に対して処理を行い、当地周波数が筋電信号に対する干渉を除去する。（2）30Hzゼロ位相ハイパスフィルタにより、（1）で処理された後の筋電信号に対して不良運動軌跡を除去する。（3）筋電信号の負の値を反転させる。（4）筋肉の低域通過濾波特性を模擬するために、5Hzゼロ位相ローパススフィルタを用いてフィルタリングする。
【0029】
正規化を行う。公式（1）（数３）を用いて筋電信号に対してmax-minの正規化を行い、筋電信号を[0,1]範囲にマッピングし、筋電信号をスカラーデータに変換し、ベクトルの影響を除去する。その中で、AmaxはN個チャネルの中で、筋電信号の最大値であり、AminはN個チャネルの中で、筋電信号の最小値であり、Aiは第i番目の筋電信号の値であり、A'iは第i番目の筋電信号の値が正規化された後の値である。
【0030】
【数3】
【0031】
筋電図を作成する。各時間窓に対応する筋電図を作成し、各筋電図に当該時間窓内の各チャネルの正規化された筋電信号を含む。具体的は、サンプル周波数fを200 Hzとし、時間窓tを0.5秒とし、同じ時間を起点とし、0.5秒ごとに、8チャネルの筋電信号をセットにして一枚の筋電図を作成する。つまり、各時間窓内に8チャネルのf×t個の正規化された筋電信号値を含む。本実施形態では、f×t＝100になるため、各枚の筋電図のサイズは（100,8）、その中で、8は8チャネルを有することを示す。
【0032】
ステップ４、前記トルク信号が各前記時間窓内におけるすべてのトルクの平均値を計算し、トルクの平均値が該当するトルク区間により、各粒度区分された下、各時間窓のトルクラベルを確定する。具体的には、下記のことを含む。
【0033】
トルク信号の標準化を行う。前記トルク信号に対して標準化を行った後、 が得られる。その中で、liはi型レンチの長さであり，lmaxは最長レンチの長さであり、Ti はi型レンチにより測定したトルク値であり、T'iはi型レンチで標準化された後のトルク値である。
【0034】
前記、標準化公式は、数４である。
【0035】
【数4】
【0036】
トルク信号の前処理を行う。標準化されたトルク信号に対して、50Hzローパスフィルタにより、当地周波数が筋電信号に対する干渉を除去し、続いて30Hzゼロ位相ハイパスフィルタにより、不良運動軌跡を除去する。
【0037】
筋電図のトルクラベルを確定する。筋電図に示す筋電信号の長さ（すなわち時間窓の時間の長さ）に基づいて、トルク信号の平均値を求め、t秒のトルク信号ごとに一つの平均値を計算し、当該時間窓のトルク信号の平均値とし、それによりトルク信号の平均値は筋電図と時系列上に対応できることを保証する。当該トルク信号の平均値が各粒度区分に対応なトルク区間を調べて、トルクラベルを確定し、各粒度区分された下、各時間窓のトルクラベルを生成する。
例えば、m粒度区分の場合、当該信号の平均値がトルク区間（10～15）に該当する場合、対応なトルクラベルはAとなり、ｎ粒度区分の場合、当該信号の平均値がトルク区間（10～20）に該当する場合、対応なトルクラベルはaとなる。したがって、異なる粒度区分された下で、各枚の筋電図が対応するトルクラベルも異なる。
例えば、m粒度区分の場合、当該信号の平均値がトルク区間（10～15）に該当する場合、対応なトルクラベルはAとなり、ｎ粒度区分の場合、当該信号の平均値がトルク区間（10～20）に該当する場合、対応なトルクラベルはaとなる。したがって、異なる粒度区分された下で、各枚の筋電図が対応するトルクラベルも異なる。
【0038】
ステップ５、サンプル集合を生成する。それは少なくとも２つ以上の粒度のサンプル集合を有し、各粒度のサンプル集合は、複数枚のトルクラベル付きの筋電図を含んで、トルクラベルに対応する粒度は、サンプル集合に対応する粒度と同じであり、トルクラベルに対応する時間窓は、筋電図に対応する時間窓と同じである。例えば、m粒度のサンプル集合に、各枚の筋電図にm粒度が標記されたトルクラベルを有し、n粒度のサンプル集合に、各枚の筋電図にn粒度が標記されたトルクラベルを有する。
【0039】
図2に示すように、ステップ６、複数粒度並列化したCNNモデルを構築する。それは、少なくとも２つ以上の並列且つ独立したCNNモデルを有し、各独立したCNNモデルは筋電信号に対する区分する粒度が異なり、同じ粒度のサンプル集合を用いて対応な独立したCNNモデルをトレーニングする。具体的には、各前記独立したCNNモデルにトルクラベル付きの筋電図を入力した後、当該トルクラベルに対応する粒度は、モデルの粒度と一致し、トルクラベルを出力して、各独立したCNNモデルから出力してきたトルクラベルを一箇所に融合し、複数粒度並列化したCNNモデルの予測トルク値とする。複数の異なる粒度のCNNモデルの出力結果を融合させて，より細かい粒度のトルク分類が得られ，トルク予測の精度を高める。
【0040】
前記融合とは、各粒度のCNNモデルから出力した最大確率のトルクラベルに対応するトルク区間の中央値を取って、全て中央値の平均値を計算し、それを複数粒度並列化したCNNモデルの予測トルク値とする。例えば、m粒度の独立したCNNモデルとn粒度の独立したCNNモデルが出力した最大確率のトルクラベルに対応するトルク区間の中央値はTmとTnであり、（（Tm+Tn）/2）を複数粒度並列化したCNNモデルに予測されたトルク値とし、図2格子四角形部分に示すのは、融合された後出力したトルクラベルである。
【0041】
ステップ７、作業員は実際組み立て中の筋電信号をトレーニングできた前記複数粒度並列化したCNNモデルに入力した後、組み立てトルクを識別する。
【0042】
なお、補足説明が必要なのは、本発明は以下のような構造CNNモデルを採用することができる。
【0043】
図4に示すように、入力層がある。入力層は前処理された後の筋電図のことであり、入力された筋電図のサイズは（100，8，1）であり、その中で、nはn枚の筋電図を有することを示す。
【0044】
畳み込み層について、畳み込み層は三回の畳み込み計算と二回のプーリング計算を含む。畳み込み計算の目的は、筋電図の特徴を抽出してバイアスを追加した後、活性化関数を介して活性化させることである。その中で、一回目の畳み込み計算では、フィルタの数は32であり、畳み込みカーネルのサイズは（10,3）であり、畳み込み計算のストライドは（1,1）であり、活性化関数はReluを用いる。二回目の畳み込み計算では、フィルタの数は64であり、畳み込みカーネルのサイズは（3,3）であり、畳み込み計算のストライドは（1,1）であり、活性化関数はReluを用いる。三回目の畳み込み計算では、フィルタの数は128であり、畳み込みカーネルのサイズは（3,3）であり、畳み込みの計算のストライドは（1,1）であり、活性化関数はReluを用い、充填層はVALIDを用いる。プーリング計算は、またサンプル採取計算を言う。主な目的は、主要な特徴を保留すると同時に、パラメータを減らし、過剰適合現象を低減し、モデルの汎化能力を高めることである。性能を比べて、ここで平均プーリングを採用し、一回目のプーリング計算で、プーリングサイズは（10,1）であり、二回目のプーリング計算で、プーリングサイズは（2,1）である。
【0045】
全結合層について、全結合層はFlatten展開計算と、二回のdropout計算と全結合ニューラルネットワーク計算を含む。Flattenは次元低減の計算を行い、その目的は、Conv2Dにより計算した後の二次元データを1次元データに変換すると同時にバッチ処理に影響しないことである。dropout計算は、トレーニングサンプルが少なく、モデルパラメータが多いことによる過剰適合現象を解決することができる。ここで、0.5のdropout計算を採用する。全結合ニューラルネットワークは、設定されたラベルに基づいて、1次元データに対して分類計算し、その中で、フィルタの数は128であり、活性化関数はRelu活性化関数を用いる。
【0046】
Softmax層について、Softmaxは出力層として、トルクの分類結果を出力し、また、出力結果を（0，1）にマッピングし、分類結果の確率値を示す。
【0047】
上記の通り、本発明は複数粒度並列化されたCNNモデルに基づく筋電信号-トルクのマッチング方法であり、複数粒度並列化したCNNモデルを利用して、作業者の筋電信号からボルトが締め付けられる際のトルク値を取得することで、製品を組み立てる際に、締め付けトルクをリアルタイムでモニタリングすることができる。作業員に装着可能な装置を装着するだけで、筋電信号を採集することが可能になるため、簡単に締め付けトルクをモニタリングすることができる。また、複数の異なる粒度のCNNモデルの出力結果を融合させて，より細かい粒度のトルク分類が得られ，トルク予測の精度を高める。この多粒度並列化したCNNモデルにより、各CNNモデルの高速収束を保証するとともに、モデルトルク予測全体の精度を向上させる。
【0048】
上記の実例の説明は本技術分野の当業者が本発明の技術理念及びその特徴に対する理解及び実施することに手伝うだけに用いられる。それによって、本発明の保護範囲を制限してはいけない。本発明の原理から逸脱しない前提において、実施した改善又は修正は、いずれも本発明の保護範囲とみなすべきである。
【図1】
【図2】
【図3】
【図4】
【国際調査報告】