特開2022-84501画像分割及び表面筋電図に基づくロボットの教示システム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022084501
(43)【公開日】2022-06-07
(54)【発明の名称】画像分割及び表面筋電図に基づくロボットの教示システム及び方法
(51)【国際特許分類】
B25J 9/22 20060101AFI20220531BHJP
B25J 19/06 20060101ALI20220531BHJP
【ＦＩ】
B25J9/22 A
B25J19/06
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021007163
(22)【出願日】2021-01-20
(11)【特許番号】
(45)【特許公報発行日】2022-05-16
(31)【優先権主張番号】202011348771.1
(32)【優先日】2020-11-26
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】518229179
【氏名又は名称】青▲島▼理工大学
【氏名又は名称原語表記】ＱＩＮＧＤＡＯ ＵＮＩＶＥＲＳＩＴＹ ＯＦ ＴＥＣＨＮＯＬＯＧＹ
(74)【代理人】
【識別番号】100145470
【弁理士】
【氏名又は名称】藤井 健一
(72)【発明者】
【氏名】潘勇
(72)【発明者】
【氏名】陳成軍
(72)【発明者】
【氏名】李東年
(72)【発明者】
【氏名】趙正旭
(72)【発明者】
【氏名】洪軍
【テーマコード（参考）】
3C707
【Ｆターム（参考）】
3C707JU03
3C707KS31
3C707KS36
3C707KT01
3C707LS05
3C707LS06
3C707LS13
3C707LW12
3C707MS07
3C707MS28
3C707XK59
(57)【要約】 （修正有）
【課題】画像分割及び表面筋電図に基づくロボットの教示システムを提供する。
【解決手段】ロボットの教示システムであって、それはＲＧＢーＤカメラ１と、表面筋電図センサー２と、ロボット３とコンピューター４を備え、ＲＧＢーＤカメラにより、ロボットの教示シーンのビデオを採集してコンピューターに送信し、表面筋電図センサーにより、人体の表面筋電図や、慣性力の加速度信号を採集して前記コンピューターに送信し、コンピューターにより、前記ビデオ情報からロボットの関節アームと人体の関節を識別して、また、人体の関節とロボットの関節アームの接触部位を検出し、コンピューターは人体の関節がロボットの関節アームと接触した後、接触部位への圧力の大きさ及び圧力の方向を計算してから、信号を出して、接触されたロボットの関節アームをその圧力の大きさ及び圧力の方向に基づいて移動させることで、ドラッグ教示を実現する。
【選択図】図１
【解決手段】ロボットの教示システムであって、それはＲＧＢーＤカメラ１と、表面筋電図センサー２と、ロボット３とコンピューター４を備え、ＲＧＢーＤカメラにより、ロボットの教示シーンのビデオを採集してコンピューターに送信し、表面筋電図センサーにより、人体の表面筋電図や、慣性力の加速度信号を採集して前記コンピューターに送信し、コンピューターにより、前記ビデオ情報からロボットの関節アームと人体の関節を識別して、また、人体の関節とロボットの関節アームの接触部位を検出し、コンピューターは人体の関節がロボットの関節アームと接触した後、接触部位への圧力の大きさ及び圧力の方向を計算してから、信号を出して、接触されたロボットの関節アームをその圧力の大きさ及び圧力の方向に基づいて移動させることで、ドラッグ教示を実現する。
【選択図】図１
【特許請求の範囲】
【請求項1】
画像分割及び表面筋電図に基づくロボットの教示システムであって、それはRGB－Dカメラと、表面筋電図センサーと、ロボットとコンピューターを備え、前記RGB－Dカメラと、表面筋電図センサーとロボットは何れも前記コンピューターと通信接続され、前記RGB－Dカメラにより、前記ロボットの教示シーンのビデオを採集して前記コンピューターに送信し、前記表面筋電図センサーは教示者の前腕に身につけられ、前記表面筋電図センサーにより、人体の表面筋電図や、慣性力の加速度信号を採集して前記コンピューターに送信し、前記コンピューターにより、前記ビデオ情報からロボットの関節アームと人体の関節を識別して、また、人体の関節とロボットの関節アームの接触部位を検出し、前記コンピューターは人体の表面筋電図や、慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後、接触部位への圧力の大きさ及び圧力の方向を計算してから、信号を出して、前記接触されたロボットの関節アームをその圧力の大きさ及び圧力の方向に基づいて移動させることで、ドラッグ教示を実現することを特徴とする画像分割及び表面筋電図に基づくロボットの教示システム。
【請求項2】
前記コンピューターに、ロボットの関節アーム分割モジュールと、人体の関節分割モジュールと、距離検出モジュールが実行され、
前記ロボットの関節アーム分割モジュールは、トレーニングできた深層学習の画像分割ネットワークを介してビデオ情報を画像分割し、ロボットの各関節アーム及びそのタイプを識別してから、ビデオ画像に異なる関節アームを異なる色に標記し、
前記人体の関節分割モジュールは、前記ビデオ情報に人体の骨格ノードを識別し、骨格ノードに対して分割、標記し、また、各骨格ノードの座標情報を計算し、
前記距離検出モジュールは、人体の各関節とロボットの関節アーム間の距離を検出し、人体の関節がロボットの関節アームと接触しているかどうかを判断し、接触した場合、人体の各関節がロボットのどの関節アームと接触しているかをさらに判断してから、当時点の運転モードに応じて、この運転モードに対応する信号を出して、前記運転モードは教示モードと作業モードを備え、教示モードの下で、もし、人体の手関節がロボットの関節アームと接触する場合、信号検出指令を出して、そうでなければ、警戒信号を出し、作業モードの下で、人体の関節がロボットの関節アームと接触すると、衝突信号と警戒信号を出すことを特徴とする請求項１に記載の画像分割及び表面筋電図に基づくロボットの教示システム。
前記ロボットの関節アーム分割モジュールは、トレーニングできた深層学習の画像分割ネットワークを介してビデオ情報を画像分割し、ロボットの各関節アーム及びそのタイプを識別してから、ビデオ画像に異なる関節アームを異なる色に標記し、
前記人体の関節分割モジュールは、前記ビデオ情報に人体の骨格ノードを識別し、骨格ノードに対して分割、標記し、また、各骨格ノードの座標情報を計算し、
前記距離検出モジュールは、人体の各関節とロボットの関節アーム間の距離を検出し、人体の関節がロボットの関節アームと接触しているかどうかを判断し、接触した場合、人体の各関節がロボットのどの関節アームと接触しているかをさらに判断してから、当時点の運転モードに応じて、この運転モードに対応する信号を出して、前記運転モードは教示モードと作業モードを備え、教示モードの下で、もし、人体の手関節がロボットの関節アームと接触する場合、信号検出指令を出して、そうでなければ、警戒信号を出し、作業モードの下で、人体の関節がロボットの関節アームと接触すると、衝突信号と警戒信号を出すことを特徴とする請求項１に記載の画像分割及び表面筋電図に基づくロボットの教示システム。
【請求項3】
前記コンピューターに、表面筋電図検出モジュールとロボットの通信制御モジュールが実行され、
前記表面筋電図検出モジュールは、信号検出指令を受けた後、受けた表面筋電図と慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後の圧力の大きさ及び圧力の方向を判断してから、圧力の大きさと、圧力の方向及び人体が接触したロボットの関節アームのタイプを前記ロボットの通信制御モジュールに送信し、
前記ロボットの通信制御モジュールは、表面筋電図検出モジュールから送信した情報を受けて、前記ロボットの関節アームのタイプによって、信号を出して、前記接触されたロボットの関節アームとロボットベース間の関節運動を制御し、前記圧力の方向によって、前記接触されたロボットの関節アームの運動方向を制御し、前記圧力の大きさによって、前記接触されたロボットの関節アームの運動スピードを制御し、それと同時に、教示中のロボットの運動パラメータを記録し、前記ロボットの通信制御モジュールは、衝突信号を受けた後、ロボットを直ちに停止させ、衝突信号がキャンセルしてからロボットを引き続き運転させるように制御することを特徴とする請求項２に記載の画像分割及び表面筋電図に基づくロボットの教示システム。
前記表面筋電図検出モジュールは、信号検出指令を受けた後、受けた表面筋電図と慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後の圧力の大きさ及び圧力の方向を判断してから、圧力の大きさと、圧力の方向及び人体が接触したロボットの関節アームのタイプを前記ロボットの通信制御モジュールに送信し、
前記ロボットの通信制御モジュールは、表面筋電図検出モジュールから送信した情報を受けて、前記ロボットの関節アームのタイプによって、信号を出して、前記接触されたロボットの関節アームとロボットベース間の関節運動を制御し、前記圧力の方向によって、前記接触されたロボットの関節アームの運動方向を制御し、前記圧力の大きさによって、前記接触されたロボットの関節アームの運動スピードを制御し、それと同時に、教示中のロボットの運動パラメータを記録し、前記ロボットの通信制御モジュールは、衝突信号を受けた後、ロボットを直ちに停止させ、衝突信号がキャンセルしてからロボットを引き続き運転させるように制御することを特徴とする請求項２に記載の画像分割及び表面筋電図に基づくロボットの教示システム。
【請求項4】
前記距離検出モジュールは、具体的に以下のステップを実行することを特徴とする請求項３に記載の画像分割及び表面筋電図に基づくロボットの教示システム。
S31、前記ロボットの関節アーム分割モジュールに分割されたロボットの各関節アームの距離画像を点群へ変換し、
S32、ロボットの異なる関節アームの点群に対して標記し、人体の各関節の3次元点群に対して標記し、点群ラベルを生成し、
S33、ロボットの各関節アームと人体の各関節間の点群に対して衝突検出を行い、各部分の点群の間に衝突が生じるとステップS34に進んで、
S34、教示モードの下で、ロボットの関節アームと衝突した人体の関節の点群レベルを調べて、ロボットの関節アームと人体の関節の接触部位を判断し、もし人体の手関節がロボットの関節アームと衝突した場合、表面筋電図検出モジュールに信号検出指令を出し、そうでなければ、警戒信号を出すし、作業モードの下で、警戒信号を出すとともに、ロボットの通信制御モジュールに衝突信号を出すことで、ロボットの運行を停止させるようになる。
S31、前記ロボットの関節アーム分割モジュールに分割されたロボットの各関節アームの距離画像を点群へ変換し、
S32、ロボットの異なる関節アームの点群に対して標記し、人体の各関節の3次元点群に対して標記し、点群ラベルを生成し、
S33、ロボットの各関節アームと人体の各関節間の点群に対して衝突検出を行い、各部分の点群の間に衝突が生じるとステップS34に進んで、
S34、教示モードの下で、ロボットの関節アームと衝突した人体の関節の点群レベルを調べて、ロボットの関節アームと人体の関節の接触部位を判断し、もし人体の手関節がロボットの関節アームと衝突した場合、表面筋電図検出モジュールに信号検出指令を出し、そうでなければ、警戒信号を出すし、作業モードの下で、警戒信号を出すとともに、ロボットの通信制御モジュールに衝突信号を出すことで、ロボットの運行を停止させるようになる。
【請求項5】
前記コンピューターに、拡張現実検証モジュールが実行され、それは仮想ロボットモデルと、拡張現実表示モジュールと、ARカードを備え、具体的なプロセスは以下の通りであることを特徴とする請求項３に記載の画像分割及び表面筋電図に基づくロボットの教示システム。
S61、ロボットのパラメータを使って仮想ロボットの三次元モデルを作成し、各関節アームの運動関係に基づいて、仮想ロボット関節のDOFノードを加えて、また木構造を作成し、仮想ロボットの運動学モデルを作成し、
S62、ロボットの運動を制御し、ロボットのエンドエフェクタを順次にARカードの4つのコーナーポイントに置いて、エンドエフェクタがARカードのコーナーポイントに置かれると、ロボットにより前記エンドエフェクタの座標値を読み取り、前記ARカードのコーナーポイントがロボット座標系における座標を取得し、前記ARカードの4つのコーナーポイントがARカードの座標系における座標がすでに分かっているため、ARカードの座標系からロボット座標系への変換関係を計算することができる。ARカードの座標系に記述された仮想ロボットの位置を、前記変換関係によりロボット座標系の下へ変換し、仮想ロボットモデルをロボットと重ね合わせて、
S63、教示完了の後、仮想ロボットモデルを真実ロボットの作業シーンに重ねて、前記拡張現実表示モジュールによりロボットの通信制御モジュールが教示中に記録された運動パラメータを読み取り、仮想ロボットモデルが教示パスに沿って動いて、虚実融合した環境で教示パスに対して検証を行う。
S61、ロボットのパラメータを使って仮想ロボットの三次元モデルを作成し、各関節アームの運動関係に基づいて、仮想ロボット関節のDOFノードを加えて、また木構造を作成し、仮想ロボットの運動学モデルを作成し、
S62、ロボットの運動を制御し、ロボットのエンドエフェクタを順次にARカードの4つのコーナーポイントに置いて、エンドエフェクタがARカードのコーナーポイントに置かれると、ロボットにより前記エンドエフェクタの座標値を読み取り、前記ARカードのコーナーポイントがロボット座標系における座標を取得し、前記ARカードの4つのコーナーポイントがARカードの座標系における座標がすでに分かっているため、ARカードの座標系からロボット座標系への変換関係を計算することができる。ARカードの座標系に記述された仮想ロボットの位置を、前記変換関係によりロボット座標系の下へ変換し、仮想ロボットモデルをロボットと重ね合わせて、
S63、教示完了の後、仮想ロボットモデルを真実ロボットの作業シーンに重ねて、前記拡張現実表示モジュールによりロボットの通信制御モジュールが教示中に記録された運動パラメータを読み取り、仮想ロボットモデルが教示パスに沿って動いて、虚実融合した環境で教示パスに対して検証を行う。
【請求項6】
画像分割及び表面筋電図に基づくロボットの教示方法であって、それはRGB－Dカメラと、表面筋電図センサーと、ロボットとコンピューターを備え、前記表面筋電図センサーは教示者の前腕に身につけられ、この方法は次のステップを実行し、前記RGB－Dカメラにより、前記ロボットの教示シーンのビデオを採集して前記コンピューターに送信し、前記表面筋電図センサーにより、人体の表面筋電図や、慣性力の加速度信号を採集して前記コンピューターに送信し、前記コンピューターは次のステップを実行することを特徴とする画像分割及び表面筋電図に基づくロボットの教示方法。
S1、前記ビデオ情報からロボットの関節アームを識別し、
S2、前記ビデオ情報から人体の関節を識別し、
S3、人体の関節とロボットの関節アームの接触部位を検出し、
S4、人体の表面筋電図や、慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後、接触部位への圧力の大きさ及び圧力の方向を計算し、
S5、コンピューターから信号を出して、前記接触されたロボットの関節アームを、その圧力の大きさ及び圧力の方向に基づいて移動させることで、ドラッグ教示を実現する。
S1、前記ビデオ情報からロボットの関節アームを識別し、
S2、前記ビデオ情報から人体の関節を識別し、
S3、人体の関節とロボットの関節アームの接触部位を検出し、
S4、人体の表面筋電図や、慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後、接触部位への圧力の大きさ及び圧力の方向を計算し、
S5、コンピューターから信号を出して、前記接触されたロボットの関節アームを、その圧力の大きさ及び圧力の方向に基づいて移動させることで、ドラッグ教示を実現する。
【請求項7】
前記ステップS1からS3までは具体的に以下の通りであることを特徴とする請求項６に記載の画像分割及び表面筋電図に基づくロボットの教示方法。
S1、トレーニングできた深層学習の画像分割ネットワークを介してビデオ情報を画像分割し、ロボットの各関節アーム及びそのタイプを識別してから、ビデオ画像に異なる関節アームを異なる色に標記し、
S2、前記ビデオ情報に人体の骨格ノードを識別し、骨格ノードに対して分割、標記し、また、各骨格ノードの座標情報を計算し、
S3、人体の各関節とロボットの関節アーム間の距離を検出し、人体の関節がロボットの関節アームと接触しているかどうかを判断し、接触した場合、人体の各関節がロボットのどの関節アームと接触しているかをさらに判断してから、当時点の運転モードに応じて、この運転モードに対応する信号を出す。前記運転モードは教示モードと作業モードを備え、教示モードの下で、もし、人体の手関節がロボットの関節アームと接触する場合、信号検出指令を出し、そうでなければ、警戒信号を出し、作業モードの下で、人体の関節がロボットの関節アームと接触すると、衝突信号と警戒信号を出す。
S1、トレーニングできた深層学習の画像分割ネットワークを介してビデオ情報を画像分割し、ロボットの各関節アーム及びそのタイプを識別してから、ビデオ画像に異なる関節アームを異なる色に標記し、
S2、前記ビデオ情報に人体の骨格ノードを識別し、骨格ノードに対して分割、標記し、また、各骨格ノードの座標情報を計算し、
S3、人体の各関節とロボットの関節アーム間の距離を検出し、人体の関節がロボットの関節アームと接触しているかどうかを判断し、接触した場合、人体の各関節がロボットのどの関節アームと接触しているかをさらに判断してから、当時点の運転モードに応じて、この運転モードに対応する信号を出す。前記運転モードは教示モードと作業モードを備え、教示モードの下で、もし、人体の手関節がロボットの関節アームと接触する場合、信号検出指令を出し、そうでなければ、警戒信号を出し、作業モードの下で、人体の関節がロボットの関節アームと接触すると、衝突信号と警戒信号を出す。
【請求項8】
前記ステップS4とS5は具体的に以下の通りであることを特徴とする請求項７に記載の画像分割及び表面筋電図に基づくロボットの教示方法。
S4、コンピューターは信号検出指令を受けた後、表面筋電図と慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後の圧力の大きさ及び圧力の方向を判断してから、圧力の大きさと、圧力の方向及び人体が接触したロボットの関節アームのタイプを前記ロボットの通信制御モジュールに送信し、
S5、前記ロボットの通信制御モジュールは表面筋電図検出モジュールから送信した情報を受けて、前記ロボットの関節アームのタイプによって、信号を出して、前記接触されたロボットの関節アームとロボットベース間の関節運動を制御し、前記圧力の方向によって、前記接触されたロボットの関節アームの運動方向を制御し、前記圧力の大きさによって、前記接触されたロボットの関節アームの運動スピードを制御し、それと同時に、教示中のロボットの運動パラメータを記録し、前記ロボットの通信制御モジュールは、衝突信号を受けた後、ロボットを直ちに停止させ、衝突信号がキャンセルしてからロボットを引き続き運転させるように制御する。
S4、コンピューターは信号検出指令を受けた後、表面筋電図と慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後の圧力の大きさ及び圧力の方向を判断してから、圧力の大きさと、圧力の方向及び人体が接触したロボットの関節アームのタイプを前記ロボットの通信制御モジュールに送信し、
S5、前記ロボットの通信制御モジュールは表面筋電図検出モジュールから送信した情報を受けて、前記ロボットの関節アームのタイプによって、信号を出して、前記接触されたロボットの関節アームとロボットベース間の関節運動を制御し、前記圧力の方向によって、前記接触されたロボットの関節アームの運動方向を制御し、前記圧力の大きさによって、前記接触されたロボットの関節アームの運動スピードを制御し、それと同時に、教示中のロボットの運動パラメータを記録し、前記ロボットの通信制御モジュールは、衝突信号を受けた後、ロボットを直ちに停止させ、衝突信号がキャンセルしてからロボットを引き続き運転させるように制御する。
【請求項9】
前記ステップS3は具体的に以下の通りであることを特徴とする請求項８に記載の画像分割及び表面筋電図に基づくロボットの教示方法。
S31、前記ロボットの関節アーム分割モジュールに分割されたロボットの各関節アームの距離画像と、前記人体の関節分割モジュールに分割された人体の各関節の距離画像をそれぞれ点群へ変換し、
S32、ロボットの異なる関節アームの点群に対して標記し、人体の各関節の3次元点群に対して標記し、点群ラベルを生成し、
S33、ロボットの各関節アームと人体の各関節間の点群に対して衝突検出を行い、各部分の点群の間に衝突が生じるとステップS34に進んで、
S34、教示モードの下で、ロボットの関節アームと衝突した人体の関節の点群レベルを調べて、ロボットの関節アームと人体の関節の接触部位を判断し、もし人体の手関節がロボットの関節アームと衝突した場合、表面筋電図検出モジュールに信号検出指令を出し、そうでなければ、警戒信号を出し、作業モードの下で、警戒信号を出すとともに、ロボットの通信制御モジュールに衝突信号を出すことで、ロボットの運行を停止させるようになる。
S31、前記ロボットの関節アーム分割モジュールに分割されたロボットの各関節アームの距離画像と、前記人体の関節分割モジュールに分割された人体の各関節の距離画像をそれぞれ点群へ変換し、
S32、ロボットの異なる関節アームの点群に対して標記し、人体の各関節の3次元点群に対して標記し、点群ラベルを生成し、
S33、ロボットの各関節アームと人体の各関節間の点群に対して衝突検出を行い、各部分の点群の間に衝突が生じるとステップS34に進んで、
S34、教示モードの下で、ロボットの関節アームと衝突した人体の関節の点群レベルを調べて、ロボットの関節アームと人体の関節の接触部位を判断し、もし人体の手関節がロボットの関節アームと衝突した場合、表面筋電図検出モジュールに信号検出指令を出し、そうでなければ、警戒信号を出し、作業モードの下で、警戒信号を出すとともに、ロボットの通信制御モジュールに衝突信号を出すことで、ロボットの運行を停止させるようになる。
【請求項10】
前記コンピューターは、拡張現実表示ステップS6を実行して、教示パスに対して検証を行い、前記ステップS6は具体的に以下の通りであることを特徴とする請求項８に記載の画像分割及び表面筋電図に基づくロボットの教示方法。
S61、ロボットのパラメータを使って仮想ロボットの三次元モデルを作成し、各関節アームの運動関係に基づいて、仮想ロボット関節のDOFノードを加えて、また木構造を作成し、仮想ロボットの運動学モデルを作成し、
S62、ロボットの運動を制御し、ロボットのエンドエフェクタをARカードの4つのコーナーポイントに置いて、エンドエフェクタがARカードのコーナーポイントに置かれると、ロボットにより前記エンドエフェクタの座標値を読み取り、前記ARカードのコーナーポイントがロボット座標系における座標を取得し、前記ARカードの4つのコーナーポイントがARカードの座標系における座標がすでに分かっているため、ARカードの座標系からロボット座標系への変換関係を計算することができ、ARカードの座標系に記述された仮想ロボットの位置を、前記変換関係によりロボット座標系の下へ変換し、仮想ロボットモデルをロボットと重ね合わせて、
S63、教示完了の後、仮想ロボットモデルを真実ロボットの作業シーンに重ねて、前記拡張現実表示モジュールによりロボットの通信制御モジュールが教示中に記録された運動パラメータを読み取り、仮想ロボットモデルが教示パスに沿って動いて、虚実融合した環境で教示パスに対して検証を行う。
S61、ロボットのパラメータを使って仮想ロボットの三次元モデルを作成し、各関節アームの運動関係に基づいて、仮想ロボット関節のDOFノードを加えて、また木構造を作成し、仮想ロボットの運動学モデルを作成し、
S62、ロボットの運動を制御し、ロボットのエンドエフェクタをARカードの4つのコーナーポイントに置いて、エンドエフェクタがARカードのコーナーポイントに置かれると、ロボットにより前記エンドエフェクタの座標値を読み取り、前記ARカードのコーナーポイントがロボット座標系における座標を取得し、前記ARカードの4つのコーナーポイントがARカードの座標系における座標がすでに分かっているため、ARカードの座標系からロボット座標系への変換関係を計算することができ、ARカードの座標系に記述された仮想ロボットの位置を、前記変換関係によりロボット座標系の下へ変換し、仮想ロボットモデルをロボットと重ね合わせて、
S63、教示完了の後、仮想ロボットモデルを真実ロボットの作業シーンに重ねて、前記拡張現実表示モジュールによりロボットの通信制御モジュールが教示中に記録された運動パラメータを読み取り、仮想ロボットモデルが教示パスに沿って動いて、虚実融合した環境で教示パスに対して検証を行う。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像分割及び表面筋電図に基づくロボットの教示システム及び方法に関し、ロボットと知的生産分野に属する。
【背景技術】
【0002】
伝統的な産業用ロボット本体（以下、ロボットを略称する）の教示システムに、ティーチペンダントやドラッグ教示と2つの方法を採用している。その中で、ドラッグ教示する場合、通常、ロボットの終端に、一つの6軸力覚センサが設置されることで、ロボットの教示中の軌跡情報を取得するだけでなく、プレゼンテーション中の相反矯正力情報も取得することができる。この方法を使う場合、ロボット教示を比較的に実現しやすいが、終端力の検出方式に基づく力制御の応答が遅い一方、6軸力覚センサの価格が高くて、実行コストが高い。また、もう一つの既存方案がある。ロボットの関節において、レデューサーの出力端に、トルクセンサとデュアルエンコーダを配置することで、フレキシブル関節又は弾性アクチュエータに形成する。このような方法により、動力学に基づく位置制御を行うことで力制御を実現できるが、関節にトルクセンサなどが配置されるため、関節の構造が複雑になり、関節の駆動チェーンの剛性が低下するという課題がある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
上記課題を解決するために、本発明は、画像分割及び表面筋電図に基づくロボットの教示システムを提供する。深層学習ネットワークにより画像を分割し、ロボットの関節アーム及び人体の各関節を分割、識別してから、人体の関節とロボットの関節アーム間の接触状況を判断し、表面筋電図センサーにより人の圧力の大きさや圧力の方向を識別することで、ロボットの各関節アームの運動を制御し、ドラッグ教示を実現できるようになる。
【0004】
以上の目的を実現するために、本発明の使用する技術的な解決方案一は以下の通りである。画像分割及び表面筋電図に基づくロボットの教示システムであって、それはRGB－Dカメラと、表面筋電図センサーと、ロボットとコンピューターを備え、前記RGB－Dカメラと、表面筋電図センサーとロボットは何れも前記コンピューターと通信接続され、前記RGB－Dカメラにより、前記ロボットの教示シーンのビデオを採集して前記コンピューターに送信し、前記表面筋電図センサーは教示者の前腕に身につけられ、前記表面筋電図センサーにより、人体の表面筋電図や、慣性力の加速度信号を採集して前記コンピューターに送信し、前記コンピューターにより、前記ビデオ情報からロボットの関節アームと人体の関節を識別して、また、人体の関節とロボットの関節アームの接触部位を検出し、前記コンピューターは人体の表面筋電図や、慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後、接触部位への圧力の大きさ及び圧力の方向を計算してから、信号を出して、前記接触されたロボットの関節アームをその圧力の大きさ及び圧力の方向に基づいて移動させることで、ドラッグ教示を実現する。
【0005】
好ましくは、前記コンピューターに、ロボットの関節アーム分割モジュールと、人体の関節分割モジュールと、距離検出モジュールが実行され、前記ロボットの関節アーム分割モジュールは、トレーニングできた深層学習の画像分割ネットワークを介してビデオ情報を画像分割し、ロボットの各関節アーム及びそのタイプを識別してから、ビデオ画像に異なる関節アームを異なる色に標記する。前記人体の関節分割モジュールは、前記ビデオ情報に人体の骨格ノードを識別し、骨格ノードに対して分割、標記し、また、各骨格ノードの座標情報を計算する。前記距離検出モジュールは、人体の各関節とロボットの関節アーム間の距離を検出し、人体の関節がロボットの関節アームと接触しているかどうかを判断し、接触した場合、人体の各関節がロボットのどの関節アームと接触しているかをさらに判断してから、当時点の運転モードに応じて、この運転モードに対応する信号を出す。前記運転モードは教示モードと作業モードを備え、教示モードの下で、もし、人体の手関節がロボットの関節アームと接触する場合、信号検出指令を出す。そうでなければ、警戒信号を出す。作業モードの下で、人体の関節がロボットの関節アームと接触すると、衝突信号と警戒信号を出す。
【0006】
好ましくは、前記コンピューターに、表面筋電図検出モジュールとロボットの通信制御モジュールが実行され、前記表面筋電図検出モジュールは、信号検出指令を受けた後、受けた表面筋電図と慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後の圧力の大きさ及び圧力の方向を判断してから、圧力の大きさと、圧力の方向及び人体が接触したロボットの関節アームのタイプを前記ロボットの通信制御モジュールに送信する。前記ロボットの通信制御モジュールは、表面筋電図検出モジュールから送信した情報を受けて、前記ロボットの関節アームのタイプによって、信号を出して、前記接触されたロボットの関節アームとロボットベース間の関節運動を制御し、前記圧力の方向によって、前記接触されたロボットの関節アームの運動方向を制御し、前記圧力の大きさによって、前記接触されたロボットの関節アームの運動スピードを制御し、それと同時に、教示中のロボットの運動パラメータを記録する。前記ロボットの通信制御モジュールは、衝突信号を受けた後、ロボットを直ちに停止させ、衝突信号がキャンセルしてからロボットを引き続き運転させるように制御する。
【0007】
好ましくは、前記距離検出モジュールは、具体的に以下のステップを実行する。S31、前記ロボットの関節アーム分割モジュールに分割されたロボットの各関節アームの距離画像、及び人体の関節分割モジュールに分割された人体の各関節の距離画像を点群へ変換する。S32、ロボットの異なる関節アームの点群に対して標記し、人体の各関節の3次元点群に対して標記し、点群ラベルを生成する。S33、ロボットの各関節アームと人体の各関節間の点群に対して衝突検出を行い、各部分の点群の間に衝突が生じるとステップS34に進む。S34、教示モードの下で、ロボットの関節アームと衝突した人体の関節の点群レベルを調べて、ロボットの関節アームと人体の関節の接触部位を判断し、もし人体の手関節がロボットの関節アームと衝突した場合、表面筋電図検出モジュールに信号検出指令を出す。そうでなければ、警戒信号を出す。作業モードの下で、警戒信号を出すとともに、ロボットの通信制御モジュールに衝突信号を出すことで、ロボットの運行を停止させるようになる。
【0008】
好ましくは、前記コンピューターに、拡張現実検証モジュールが実行され、それは仮想ロボットモデルと、拡張現実表示モジュールと、ARカードを備え、具体的なプロセスは以下の通りである。S61、ロボットのパラメータを使って仮想ロボットの三次元モデルを作成し、各関節アームの運動関係に基づいて、仮想ロボット関節のDOFノードを加えて、また木構造を作成し、仮想ロボットの運動学モデルを作成する。S62、ロボットの運動を制御し、ロボットのエンドエフェクタを順次にARカードの4つのコーナーポイントに置いて、エンドエフェクタがARカードのコーナーポイントに置かれると、ロボットにより前記エンドエフェクタの座標値を読み取り、前記ARカードのコーナーポイントがロボット座標系における座標を取得し、前記ARカードの4つのコーナーポイントがARカードの座標系における座標がすでに分かっているため、ARカードの座標系からロボット座標系への変換関係を計算することができる。ARカードの座標系に記述された仮想ロボットの位置を、前記変換関係によりロボット座標系の下へ変換し、仮想ロボットモデルをロボットと重ね合わせる。S63、教示完了の後、仮想ロボットモデルを真実ロボットの作業シーンに重ねて、前記拡張現実表示モジュールによりロボットの通信制御モジュールが教示中に記録された運動パラメータを読み取り、仮想ロボットモデルが教示パスに沿って動いて、虚実融合した環境で教示パスに対して検証を行う。
【0009】
本発明は、また画像分割及び表面筋電図に基づくロボットの教示方法を提供する。
【0010】
本発明の使用する技術的な解決方案二は以下の通りである。画像分割及び表面筋電図に基づくロボットの教示方法であって、それはRGB－Dカメラと、表面筋電図センサーと、ロボットとコンピューターを備え、前記表面筋電図センサーは教示者の前腕に身につけられ、この方法は次のステップを実行する。前記RGB－Dカメラにより、前記ロボットの教示シーンのビデオを採集して前記コンピューターに送信し、前記表面筋電図センサーにより、人体の表面筋電図や、慣性力の加速度信号を採集して前記コンピューターに送信し、前記コンピューターは次のステップを実行する。S1、前記ビデオ情報からロボットの関節アームを識別する。S2、前記ビデオ情報から人体の関節を識別する。S3、人体の関節とロボットの関節アームの接触部位を検出する。S4、人体の表面筋電図や、慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後、接触部位への圧力の大きさ及び圧力の方向を計算する。S5、信号を出して、前記接触されたロボットの関節アームを、その圧力の大きさ及び圧力の方向に基づいて移動させることで、ドラッグ教示を実現する。
【0011】
好ましくは、前記ステップS1からS3までは具体的には以下の通りである。S1、トレーニングできた深層学習の画像分割ネットワークを介して前記ビデオ情報を画像分割し、ロボットの各関節アーム及びそのタイプを識別してから、ビデオ画像に異なる関節アームを異なる色に標記する。S2、前記ビデオ情報に人体の骨格ノードを識別し、骨格ノードに対して分割、標記し、また、各骨格ノードの座標情報を計算する。S3、人体の各関節とロボットの関節アーム間の距離を検出し、人体の関節がロボットの関節アームと接触しているかどうかを判断し、接触した場合、人体の各関節がロボットのどの関節アームと接触しているかをさらに判断してから、当時点の運転モードに応じて、この運転モードに対応する信号を出す。前記運転モードは教示モードと作業モードを備え、教示モードの下で、もし、人体の手関節がロボットの関節アームと接触する場合、信号検出指令を出す。そうでなければ、警戒信号を出す。作業モードの下で、人体の関節がロボットの関節アームと接触すると、衝突信号と警戒信号を出す。
【0012】
好ましくは、前記ステップS4とS5は具体的には以下の通りである。S4、コンピューターは信号検出指令を受けた後、表面筋電図と慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後の圧力の大きさ及び圧力の方向を判断してから、圧力の大きさと、圧力の方向及び人体が接触したロボットの関節アームのタイプを前記ロボットの通信制御モジュールに送信する。S5、前記ロボットの通信制御モジュールは表面筋電図検出モジュールから送信した情報を受けて、前記ロボットの関節アームのタイプによって、信号を出して、前記接触されたロボットの関節アームとロボットベース間の関節運動を制御し、前記圧力の方向によって、前記接触されたロボットの関節アームの運動方向を制御し、前記圧力の大きさによって、前記接触されたロボットの関節アームの運動スピードを制御し、それと同時に、教示中のロボットの運動パラメータを記録し、前記ロボットの通信制御モジュールは、衝突信号を受けた後、ロボットを直ちに停止させ、衝突信号がキャンセルしてからロボットを引き続き運転させるように制御する。
【0013】
好ましくは、前記ステップS3は具体的には以下の通りである。S31、前記ロボットの関節アーム分割モジュールに分割されたロボットの各関節アームの距離画像と、前記人体の関節分割モジュールに分割された人体の各関節の距離画像をそれぞれ点群へ変換する。S32、ロボットの異なる関節アームの点群に対して標記し、人体の各関節の3次元点群に対して標記し、点群ラベルを生成する。S33、ロボットの各関節アームと人体の各関節間の点群に対して衝突検出を行い、各部分の点群の間に衝突が生じるとステップS34に進む。S34、教示モードの下で、ロボットの関節アームと衝突した人体の関節の点群レベルを調べて、ロボットの関節アームと人体の関節の接触部位を判断し、もし人体の手関節がロボットの関節アームと衝突した場合、表面筋電図検出モジュールに信号検出指令を出す。そうでなければ、警戒信号を出す。作業モードの下で、警戒信号を出すとともに、ロボットの通信制御モジュールに衝突信号を出すことで、ロボットの運行を停止させるようになる。
【0014】
好ましくは、前記コンピューターは、拡張現実表示ステップS 6を実行して、教示パスに対して検証を行う。前記ステップS6は具体的には以下の通りである。S61、ロボットのパラメータを使って仮想ロボットの三次元モデルを作成し、各関節アームの運動関係に基づいて、仮想ロボット関節のDOFノードを加えて、また木構造を作成し、仮想ロボットの運動学モデルを作成する。S62、ロボットの運動を制御し、ロボットのエンドエフェクタをARカードの4つのコーナーポイントに置いて、エンドエフェクタがARカードのコーナーポイントに置かれると、ロボットにより前記エンドエフェクタの座標値を読み取り、前記ARカードのコーナーポイントがロボット座標系における座標を取得し、前記ARカードの4つのコーナーポイントがARカードの座標系における座標がすでに分かっているため、ARカードの座標系からロボット座標系への変換関係を計算することができる。ARカードの座標系に記述された仮想ロボットの位置を、前記変換関係によりロボット座標系の下へ変換し、仮想ロボットモデルをロボットと重ね合わせる。S63、教示完了の後、仮想ロボットモデルを真実ロボットの作業シーンに重ねて、前記拡張現実表示モジュールによりロボットの通信制御モジュールが教示中に記録された運動パラメータを読み取り、仮想ロボットモデルが教示パスに沿って動いて、虚実融合した環境で教示パスに対して検証を行う。
【発明の効果】
【0015】
従来の技術と比べて、本発明の有益な効果は以下の通りである。本発明は、画像分割及び表面筋電図に基づくロボットの教示システムに関し、深層学習ネットワークにより画像を分割し、ロボットの関節アーム及び人体の各関節を分割、識別してから、人体の関節とロボットの関節アーム間の接触状況を判断し、表面筋電図センサーにより人の圧力の大きさや圧力の方向を識別することで、ロボットの各関節アームの運動を制御し、ドラッグ教示を実現できるようになる。本発明の教示システムは、全体の仕組みが簡単であり、簡単に配置できる他、コストも低い。また、教示方法は簡単で操作しやすく、力に対する検出応答速度が速く、ロボットを正確に制御して教示動作を行うことができる。
【図面の簡単な説明】
【0016】
【図1】本発明の教示システムの構造を示す図である。
【図2】本発明の教示フローチャートである。
【図3】本発明の衝突検出モジュールのフローチャートである。
【図4】本発明の表面筋電図検出モジュールのフローチャートである。
【発明を実施するための形態】
【0017】
本発明をよりよく理解するために、これから図面と具体的な実施形態をもって、本発明について具体的に説明する。
【0018】
（実施形態1）
図1と図2に示すように、画像分割及び表面筋電図に基づくロボットの教示システムであって、それはRGB－Dカメラ1と、表面筋電図センサー2と、ロボット3とコンピューター4を備え、前記RGB－Dカメラ1と、表面筋電図センサー2（例えばマルチジェスチャーバンド等の装置）とロボット3は何れも前記コンピューター4と通信接続され、前記RGB－Dカメラ1により、前記ロボット3の教示シーンのビデオを採集して前記コンピューター4に送信し、コンピューター４は前記ビデオ情報からロボット３の作業シーンのカラー画像と深層画像を取得する。前記表面筋電図センサー2は教示者の前腕に身につけられ、前記表面筋電図センサー2により、人体の表面筋電図や、慣性力の加速度信号を採集してコンピューター4に送信し、前記コンピューター4により、前記ビデオ情報からロボットの関節アームと人体の関節を識別して、また、人体の関節とロボットの関節アームの接触部位を検出し、前記コンピューター4は人体の表面筋電図や、慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後、接触部位への圧力の大きさ及び圧力の方向を計算してから、信号を出して、前記接触されたロボットの関節アームをその圧力の大きさ及び圧力の方向に基づいて移動させることで、ドラッグ教示を実現する。
図1と図2に示すように、画像分割及び表面筋電図に基づくロボットの教示システムであって、それはRGB－Dカメラ1と、表面筋電図センサー2と、ロボット3とコンピューター4を備え、前記RGB－Dカメラ1と、表面筋電図センサー2（例えばマルチジェスチャーバンド等の装置）とロボット3は何れも前記コンピューター4と通信接続され、前記RGB－Dカメラ1により、前記ロボット3の教示シーンのビデオを採集して前記コンピューター4に送信し、コンピューター４は前記ビデオ情報からロボット３の作業シーンのカラー画像と深層画像を取得する。前記表面筋電図センサー2は教示者の前腕に身につけられ、前記表面筋電図センサー2により、人体の表面筋電図や、慣性力の加速度信号を採集してコンピューター4に送信し、前記コンピューター4により、前記ビデオ情報からロボットの関節アームと人体の関節を識別して、また、人体の関節とロボットの関節アームの接触部位を検出し、前記コンピューター4は人体の表面筋電図や、慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後、接触部位への圧力の大きさ及び圧力の方向を計算してから、信号を出して、前記接触されたロボットの関節アームをその圧力の大きさ及び圧力の方向に基づいて移動させることで、ドラッグ教示を実現する。
【0019】
説明すべきなのは、本実施形態において、前記ロボットは、即ち産業用ロボット本体は、通常ロボットベースと、ロボットベースと接続しているロボット機械アームと、ロボット機械アームと接続しているエンドエフェクタと、を備える。前記ロボット機械アームは多くの関節アームから接続して構成される。前記エンドエフェクタは、ロボット機械アームに接続されて、また、ある機能を持つツールのことを指し、例えば、溶接ガンや掴み具等。図１に示すように、図に示すエンドエフェクタは掴み具となる。
【0020】
図2に示すように、前記コンピューター4に、ロボットの関節アーム分割モジュール4-1と、人体の関節分割モジュール4-2と、距離検出モジュール4-3と、表面筋電図検出モジュール4-4と、ロボットの通信制御モジュール4-5が実行される。
【0021】
前記ロボットの関節アーム分割モジュール4-1は、FCNN、U-Net、DeepLab、Mask R-CNNのようなトレーニングできた深層学習の画像分割ネットワークを介して前記ビデオ情報（主は距離画像）を画像分割し、リアルタイムにロボットの各関節アームを識別し、また、ロボットの各関節アームのタイプも検出し、前記ロボットの関節アームのタイプとは、ロボットの関節アームが何番目の関節アームであるかと、この関節で、ロボットはどの方向に回転するかという2つの属性を含む。続いて、ビデオ画像に異なる関節アームを異なる色に標記する。具体的には、前記ロボットの関節アーム分割モジュール4-1は、トレーニングデータの合成と、深層学習ネットワークモデルのトレーニングと、深層学習ネットワークのリアルタイム分割という三つのステップに分けられ、具体的に以下の通り実行する。
【0022】
まずは、ロボットモデルのトレーニングデータを作成する。前記トレーニングデータは、仮想ロボットモデルのトレーニングデータと、真実ロボットのトレーニングデータを備える。前記仮想ロボットモデルのトレーニングデータとは、コンピューター4に基づいてモデル化して、レンダリングにより、複数の監視角度において、且つロボット3の異なる位置姿勢におけるロボットの距離画像データセット、及び距離画像に対応する画像ラベルセットを指す。前記コンピューター4におけるモデル化するのは、SOLIDWORKS等の3次元CADソフトウェアを使って仮想ロボットの3次元モデルを作成することである。前記画像ラベルセットとは、異なる色によりレンダリングをしたロボットモデルの異なる関節アームのことを指す。前記監視角度とは、深度カメラと監視されるロボット3間の角度のことを指し、ロボットモデルは設定範囲内に運動して、複数の監視角度に形成する。前記真実ロボットのトレーニングデータとは、RGB-Dカメラ1を使ってロボット3の距離画像を撮影し、距離画像に対してノイズ除去処理を行った後、labelmeのような画像アノテーションツールを使って、ノイズ除去処理された後のロボットの距離画像における各関節を異なる色にて標記することで、真実ロボットの距離画像データセットと画像ラベルセットを得る。
【0023】
次は、ロボットの関節アーム分割モデルをトレーニングする。前記仮想トレーニングデータと真実トレーニングデータをFCNN、U-Net、DeepLab、Mask R-CNNのような画像分割の深層学習ネットワークモデルに送信してトレーニングを行う。画像分割の深層学習ネットワークモデルは、画像ラベルセットに標記されているロボットの関節アームのピクセル情報に基づいて、当該標記されている関節アームの様子や輪郭を学習し、深層学習ネットワークのトレーニングパラメータを取得する。
【0024】
最後は、リアルタイム検出を行う。ロボット3の作業現場で、RGB-Dカメラ1を設置してロボット3の作業シーン画像を撮影し、画像をトレーニングできた画像分割モデルに送信してロボットの関節アームを分割し、ロボット3の異なる関節アームを認識してから作業シーン画像に異なる色にて標記する。
【0025】
前記人体の関節分割モジュール4-2は、いつくかの方法により、ビデオ情報に人体の骨格ノードを識別することが可能であり、例えば、KinectカメラやRGB-Dカメラ1に提供された距離画像を利用して、特徴抽出やランダムフォレスト、深層学習等を使って、人体の関節及びその所属部位（例えば手関節、頭関節等）を識別し、骨格ノードに対して分割、標記し、また、各骨格ノードの座標情報を計算する。
【0026】
前記距離検出モジュール4-3は、ビデオ情報における距離画像を介して、人体の各関節とロボットの関節アーム間の距離を検出し、人体の関節がロボットの関節アームと接触しているかどうかを判断し、接触した場合、人体の各関節がロボット3のどの関節アームと接触しているかをさらに判断してから、当時点の運転モードに応じて、この運転モードに対応する信号を出す。前記運転モードは教示モードと作業モードを備え、教示モードの下で、もし、人体の手関節がロボットの関節アームと接触する場合、信号検出指令を出す。そうでなければ、警戒信号を出す。作業モードの下で、人体の関節がロボットの関節アームと接触すると、衝突信号と警戒信号を出す。
【0027】
図3に示すように、本実施形態において、前記距離検出モジュール4-3は、ロボットの関節アーム分割モジュール4-1と人体の関節分割モジュール4-2に分割された各箇所の関節情報に基づいて、それを部位別のラベルが付いている点群に変換して衝突検出を行い、衝突が発生した場合、ロボット3の運転モードに応じて、表面筋電図検出モジュール4?4又はロボットの通信制御モジュール4?5に異なる情報を送信する。具体的に以下のステップを実行する。S31、前記ロボットの関節アーム分割モジュール4-1に分割されたロボットの各関節アームの距離画像と、前記人体の関節分割モジュール4-2に分割された人体の各関節の距離画像をそれぞれ点群へ変換する。S32、ロボット3の異なる関節アームの点群に対して標記し、人体の各関節の3次元点群に対して標記し、点群ラベルを生成する。S33、ロボットの各関節アームと人体の各関節間の点群に対して衝突検出を行い、各部分の点群の間に衝突が生じるとステップS34に進む。S34、教示モードの下で、ロボットの関節アームと衝突した人体の関節の点群レベルを調べて、ロボットの関節アームと人体の関節の接触部位を判断し、もし人体の手関節がロボットの関節アームと衝突した場合、表面筋電図検出モジュール4-4に信号検出指令を出す。そうでなければ、警戒信号を出す。作業モードの下で、警戒信号を出すとともに、ロボットの通信制御モジュール4-5に衝突信号を出すことで、ロボット3の運行を停止させるようになる。
【0028】
前記表面筋電図検出モジュール4-4は、信号検出指令を受けた後、受けた表面筋電図と慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後の圧力の大きさ及び圧力の方向を判断してから、圧力の大きさと、圧力の方向及び人体が接触したロボットの関節アームのタイプを前記ロボットの通信制御モジュール4-5に送信する。
【0029】
図4に示すように、前記表面筋電図検出モジュール4-4は、人体の表面筋電図と慣性力の加速度信号を採集してから、その表面筋電図、慣性力の加速度信号を処理した後、特性値を抽出して、深層学習ネットワークに入力してトレーニングを行い、その後、トレーニングできた深層学習ネットワークにより表面筋電図に対して識別、分析することで、圧力の大きさ及び圧力の方向を識別する。具体的な実行ステップは以下の通りである。S41、人体の表面筋電図と慣性力の加速度信号を採集し、事前処理を行い、例えば、フーリエ変換にて元採集時の時間領域を周波数領域に変換してから、デジタルフィルタを行って特性値を抽出する。S42、表面筋電図データセットと慣性力の加速度信号データセットを作成する。人からロボットの関節アームへの圧力に基づいて、動作に対応する表面筋電図や、慣性力の加速度信号を採集し、S41の事前処理に抽出された特性値に基づいて、データセットを作成し、対応なレベルも設置し、本発明では、人体座標系などの角度で人体の圧力方向のデータラベルを設定する。S43、作成したデータセットを深層学習ネットワークモデルに送信してトレーニングを行い、例えば、CNN、RNN、転移学習等の深層学習方案を行う。S44、オンラインで圧力の大きさ及び方向をリアルタイム識別する。深さ学習モデルのトレーニングが終わったら、S41で処理したデータを使って、オンラインで人体の表面筋電図や、圧力の大きさ及び方向をリアルタイム識別し、また、圧力の方向を人体座標系からロボット座標系に変換する。S45、圧力の大きさが設定最小閾値に達しているかどうかを判断し、圧力の大きさが設定最小閾値を超えているかどうかに基づいて、人体とロボット関節アームが接触しているかどうかを判断し、圧力の大きさ、方向、ロボット関節アームのタイプをロボットの通信制御モジュール4-5に送信する。
【0030】
前記ロボットの通信制御モジュール4-5は、表面筋電図検出モジュール4-4から送信した情報を受けて、前記ロボットの関節アームのタイプによって、信号を出して、前記接触されたロボットの関節アームとロボットベース間の関節運動を制御し、前記圧力の方向によって、前記接触されたロボットの関節アームの運動方向を制御し、前記圧力の大きさによって、前記接触されたロボットの関節アームの運動スピードを制御し、それと同時に、教示中のロボット3 の運動パラメータを記録する。前記ロボットの通信制御モジュール4-5は、衝突信号を受けた後ロボット3を直ちに停止させ、衝突信号がキャンセルしてからロボット3を引き続き運転させるように制御する。
【0031】
前記ロボットの通信制御モジュール4-5の実行ステップは以下の通りである。S51、ロボット3の運転モードを設定し、本実施形態では、ロボット3の運転モードを教示モードと作業モードに分けられる。S52、教示モータの下で、表面筋電図検出モジュール4-4から送信した圧力の大きさ、方向、ロボット関節アームのタイプを受けて、ロボットの関節アームの運動を制御し、圧力の方向によって、前記接触されたロボットの関節アームの運動方向を制御し、圧力の大きさによって、前記接触されたロボットの関節アームの運動スピードを制御する。S53、作業モードの下で、 ロボットの通信制御モジュール4-5は、距離検出モジュール4-3から送信した衝突信号を受けた後、ロボット3を直ちに停止させ、衝突信号がキャンセルしてからロボット3を引き続き運転させるように制御する。S54、教示中のロボット3 の運動パラメータを記録する。
【0032】
本実施形態において、前記コンピューター4に、拡張現実検証モジュール4-6が実行され、それは仮想ロボットモデルと、拡張現実表示モジュールと、ARカード5を備え、具体的なプロセスは以下の通りである。S61、ロボット3のパラメータを使って仮想ロボットの三次元モデルを作成し、拡張現実検証モジュール4-6により仮想ロボットモデルをロ-ド、識別して、またその運動を制御できるために、各関節アームの運動関係に基づいて、仮想ロボット関節の自由度（自由度は即ちDOFのこと）ノードを加えて、また木構造を作成し、モーションプランニングモジュールの運動パラメータを利用して、仮想ロボットの運動学モデルを作成する。S62、コンピューターによりロボットの運動を制御し、エンドエフェクタを順次にARカード5の4つのコーナーポイントに置いて、エンドエフェクタがARカードのコーナーポイントに置かれると、ロボットにより前記エンドエフェクタの座標値を読み取り、前記ARカード5のコーナーポイントがロボット座標系における座標を取得し、前記ARカード5の4つのコーナーポイントがARカードの座標系における座標がすでに分かっているため、ARカードの座標系からロボット座標系への変換関係を計算することができる。ARカードの座標系に記述された仮想ロボットの位置を、前記変換関係によりロボット座標系の下へ変換し、仮想ロボットモデルをロボット3と重ね合わせる。S63、教示完了の後、仮想ロボットモデルを真実ロボットの作業シーンに重ねて、前記拡張現実表示モジュールによりロボットの通信制御モジュール4-5が教示中に記録された運動パラメータを読み取り、仮想ロボットモデルが教示パスに沿って動いて、虚実融合した環境で教示パスに対して検証を行う。
【0033】
本発明は、画像分割及び表面筋電図に基づくロボットの教示システムに関し、深層学習ネットワークにより画像を分割し、ロボットの関節アーム及び人体の各関節を分割、識別してから、人体の関節とロボットの関節アーム間の接触状況を判断し、表面筋電図センサー2により人の圧力の大きさや圧力の方向を識別することで、ロボットの各関節アームの運動を制御し、ドラッグ教示を実現できるようになる。本発明の教示システムは、全体の仕組みが簡単であり、簡単に配置できる他、コストも低い。また、教示方法は簡単で操作しやすく、力に対する検出応答速度が速く、ロボット3を正確に制御して教示動作を行うことができる。
【0034】
（実施形態2）
図1と図2に示すように、画像分割及び表面筋電図に基づくロボット3の教示方法であって、それはRGB－Dカメラ1と、表面筋電図センサー2と、ロボット3とコンピューター4を備え、前記RGB－Dカメラ1と、表面筋電図センサー2（例えばマルチジェスチャーバンド等の装置は教示者の前腕に身につけられ、前記RGB－Dカメラ1により、前記ロボット3の教示シーンのビデオを採集して前記コンピューター4に送信し、コンピューター4は、前記ビデオ情報からロボット3の教示シーンのカラー画像と距離画像を取得する。前記表面筋電図センサー2により、人体の表面筋電図や、慣性力の加速度信号を採集して前記コンピューター4に送信し、前記コンピューター4は次のステップを実行する。S1、前記ビデオ情報からロボットの関節アームを識別する。S2、前記ビデオ情報から人体の関節を識別する。S3、人体の関節とロボットの関節アームの接触部位を検出する。S4、人体の表面筋電図や、慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後、接触部位への圧力の大きさ及び圧力の方向を計算する。S5、コンピューター4から信号を出して、前記接触されたロボットの関節アームを、その圧力の大きさ及び圧力の方向に基づいて移動させることで、ドラッグ教示を実現する。
図1と図2に示すように、画像分割及び表面筋電図に基づくロボット3の教示方法であって、それはRGB－Dカメラ1と、表面筋電図センサー2と、ロボット3とコンピューター4を備え、前記RGB－Dカメラ1と、表面筋電図センサー2（例えばマルチジェスチャーバンド等の装置は教示者の前腕に身につけられ、前記RGB－Dカメラ1により、前記ロボット3の教示シーンのビデオを採集して前記コンピューター4に送信し、コンピューター4は、前記ビデオ情報からロボット3の教示シーンのカラー画像と距離画像を取得する。前記表面筋電図センサー2により、人体の表面筋電図や、慣性力の加速度信号を採集して前記コンピューター4に送信し、前記コンピューター4は次のステップを実行する。S1、前記ビデオ情報からロボットの関節アームを識別する。S2、前記ビデオ情報から人体の関節を識別する。S3、人体の関節とロボットの関節アームの接触部位を検出する。S4、人体の表面筋電図や、慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後、接触部位への圧力の大きさ及び圧力の方向を計算する。S5、コンピューター4から信号を出して、前記接触されたロボットの関節アームを、その圧力の大きさ及び圧力の方向に基づいて移動させることで、ドラッグ教示を実現する。
【0035】
説明すべきなのは、本実施形態において、前記ロボットは、即ち産業用ロボット本体は、通常ロボットベースと、ロボットベースと接続しているロボット機械アームと、ロボット機械アームと接続しているエンドエフェクタと、を備える。前記ロボット機械アームは多くの関節アームから接続して構成される。前記エンドエフェクタは、ロボット機械アームに接続されて、また、ある機能を持つツールのことを指し、例えば、溶接ガンや掴み具等。図１に示すように、図に示すエンドエフェクタは掴み具となる。
【0036】
図2に示すように、前記ステップS1からS3までは具体的には以下の通りである。S1、FCNN、U-Net、DeepLab、Mask R-CNNのようなトレーニングできた深層学習の画像分割ネットワークを介してビデオ情報（主は距離画像）を画像分割し、ロボット3の各関節アーム及びそのタイプを識別し、前記ロボットの関節アームのタイプとは、ロボットの関節アームが何番目の関節アームであるかと、この関節で、ロボットはどの方向に回転するかという2つの属性を含む。続いて、ビデオ画像に異なる関節アームを異なる色に標記する。具体的は、前記深層学習の画像分割ネットワークを以下の通りトレーニングを行う。まずは、ロボットモデルのトレーニングデータを作成する。前記トレーニングデータは、仮想ロボットモデルのトレーニングデータと、真実ロボットのトレーニングデータを備える。前記仮想ロボットモデルのトレーニングデータとは、コンピューター4に基づいてモデル化して、レンダリングにより、複数の監視角度において、且つロボット3の異なる位置姿勢におけるロボットの距離画像データセット、及び距離画像に対応する画像ラベルセットを生成する。前記コンピュータ4におけるモデル化するのは、SOLIDWORKS等の3次元CADソフトウェアを使って仮想ロボットの3次元モデルを作成することである。前記画像ラベルセットとは、異なる色によりレンダリングをしたロボットモデルの異なる関節アームのことを指す。前記監視角度とは、深度カメラと監視されるロボット3間の角度のことを指し、ロボットモデルは設定範囲内に運動して、複数の監視角度に形成する。前記真実ロボットのトレーニングデータとは、RGB-Dカメラ1を使ってロボット3の距離画像を撮影し、距離画像に対してノイズ除去処理を行った後、labelmeのような画像アノテーションツールを使って、ノイズ除去処理された後のロボットの距離画像における各関節を異なる色にて標記することで、真実ロボットの距離画像データセットと画像ラベルセットを得る。次は、前記仮想トレーニングデータと真実トレーニングデータをFCNN、U-Net、DeepLab、Mask R-CNNのような画像分割の深層学習ネットワークモデルに送信してトレーニングを行う。画像分割の深層学習ネットワークモデルは、画像ラベルセットに標記されているロボットの関節アームのピクセル情報に基づいて、当該標記されている関節アームの様子や輪郭を学習し、深層学習ネットワークのトレーニングパラメータを取得する。最後は、ロボット3の作業現場で、RGB-Dカメラ1を設置してロボット3の作業シーン画像を撮影し、画像をトレーニングできた画像分割モデルに送信してロボットの関節アームを分割し、ロボット3の異なる関節アームを認識してから作業シーン画像に異なる色にて標記する。S2、前記ビデオ情報における人体の骨格ノードを識別して、骨格ノードに対して分割、標記して、また、各骨格ノードの座標情報を計算する。具体的は、いつくかの方法により、ビデオ情報に人体の骨格ノードを識別することが可能であり、例えば、KinectカメラやRGB-Dカメラ1に提供された距離画像を利用して、特徴抽出やランダムフォレスト、深層学習等を使って、人体の関節及びその所属部位（例えば手関節、頭関節等）を識別し、骨格ノードに対して分割、標記し、また、各骨格ノードの座標情報を計算する。S3、ビデオ情報における距離画像を介して、人体の各関節とロボットの関節アーム間の距離を検出し、人体の関節がロボットの関節アームと接触しているかどうかを判断し、接触した場合、人体の各関節がロボット3のどの関節アームと接触しているかをさらに判断してから、当時点の運転モードに応じて、この運転モードに対応する信号を出す。前記運転モードは教示モードと作業モードを備え、教示モードの下で、もし、人体の手関節がロボットの関節アームと接触する場合、信号検出指令を出す。そうでなければ、警戒信号を出す。作業モードの下で、人体の関節がロボットの関節アームと接触すると、衝突信号と警戒信号を出す。
【0037】
図3に示すように、前記ステップS3は以下の実施形態を採用することができる。分割されたロボットの関節アームと人体の各関節情報に基づいて、それを部位別のラベルが付いている点群に変換して衝突検出を行い、衝突が発生した場合、ロボット3の運転モードに応じて、表面筋電図検出モジュール4?4又はロボットの通信制御モジュール4?5に異なる情報を送信する。具体的に以下のステップを実行する。S31、分割されたロボットの各関節アームの距離画像と、分割された人体の各関節の距離画像をそれぞれ点群へ変換する。S32、ロボット3の異なる関節アームの点群に対して標記し、人体の各関節の3次元点群に対して標記し、点群ラベルを生成する。S33、ロボットの各関節アームと人体の各関節間の点群に対して衝突検出を行い、各部分の点群の間に衝突が生じるとステップS34に進む。S34、教示モードの下で、ロボットの関節アームと衝突した人体の関節の点群レベルを調べて、ロボットの関節アームと人体の関節の接触部位を判断し、もし人体の手関節がロボットの関節アームと衝突した場合、表面筋電図検出モジュール4-4に信号検出指令を出す。そうでなければ、警戒信号を出す。作業モードの下で、警戒信号を出すとともに、ロボットの通信制御モジュール4-5に衝突信号を出すことで、ロボット3の運行を停止させるようになる。
【0038】
前記ステップS4とステップS5は以具体的には以下の通りである。図4に示すように、コンピューター4が信号検出指令を受けた後、表面筋電図と慣性力の加速度信号に基づき、人体の関節がロボットの関節アームと接触した後の圧力の大きさ及び圧力の方向を判断してから、圧力の大きさと、圧力の方向及び人体が接触したロボットの関節アームのタイプを前記ロボットの通信制御モジュール4-5に送信する。具体的は、コンピューター4は、表面筋電図、慣性力の加速度信号を処理した後、特性値を抽出して、深層学習ネットワークに入力してトレーニングを行い、その後、トレーニングできた深層学習ネットワークにより表面筋電図に対して識別、分析することで、圧力の大きさ及び圧力の方向を識別する。具体的な実行ステップは以下の通りである。S41、人体の表面筋電図と慣性力の加速度信号を採集し、事前処理を行い、例えば、フーリエ変換にて元採集の時の時間領域を周波数領域に変換してから、デジタルフィルタを行って特性値を抽出する。S42、表面筋電図データセットと慣性力の加速度信号データセットを作成する。人がロボットの関節アームへの圧力に基づいて、動作に対応する表面筋電図や、慣性力の加速度信号を採集し、S41の事前処理に抽出された特性値に基づいて、データセットを作成し、対応なレベルも設置し、本発明では、人体座標系などの角度で人体の圧力方向のデータラベルを設定する。S43、作成したデータセットを深層学習ネットワークモデルに送信してトレーニングを行い、例えば、CNN、RNN、転移学習等の深層学習方案を行う。S44、オンラインで圧力の大きさ及び方向をリアルタイム識別する。深さ学習モデルのトレーニングが終わったら、S41で処理したデータを使って、オンラインで人体の表面筋電図や、圧力の大きさ及び方向をリアルタイム識別し、また、圧力の方向を人体座標系からロボット座標系に変換する。S45、圧力の大きさが設定最小閾値に達しているかどうかを判断し、圧力の大きさが設定最小閾値を超えているかどうかに基づいて、人体とロボット関節アームが接触しているかどうかを判断し、圧力の大きさ、方向、ロボット関節アームのタイプをロボットの通信制御モジュール4-5に送信する。
【0039】
前記ステップS5について、前記ロボットの通信制御モジュール4-5は、表面筋電図検出モジュール4-4から送信した情報を受けて、前記ロボットの関節アームのタイプによって、信号を出して、前記接触されたロボットの関節アームとロボットベース間の関節運動を制御し、前記圧力の方向によって、前記接触されたロボットの関節アームの運動方向を制御し、前記圧力の大きさによって、前記接触されたロボットの関節アームの運動スピードを制御し、それと同時に、教示中のロボット3 の運動パラメータを記録する。前記ロボットの通信制御モジュール4-5は、衝突信号を受けた後ロボット3を直ちに停止させ、衝突信号がキャンセルしてからロボット3を引き続き運転させるように制御する。具体的な実行ステップは以下の通りである。S51、ロボット3の運転モードを設定し、本実施形態では、ロボット3の運転モードを教示モードと作業モードに分けられる。S52、教示モータの下で、表面筋電図検出モジュール4-4から送信した圧力の大きさ、方向、ロボット関節アームのタイプを受けて、ロボットの関節アームの運動を制御し、圧力の方向によって、前記接触されたロボットの関節アームの運動方向を制御し、圧力の大きさによって、前記接触されたロボットの関節アームの運動スピードを制御する。S53、作業モードの下で、 ロボットの通信制御モジュール4-5は、距離検出モジュール4-3から送信した衝突信号を受けた後、ロボット3を直ちに停止させ、衝突信号がキャンセルしてからロボット3を引き続き運転させるように制御する。S54、教示中のロボット3 の運動パラメータを記録する。
【0040】
本実施形態において、拡張現実検証モジュールを介して教示パスに対して検証を行うステップS6がある。具体的は以下の通りである。S61、ロボット3のパラメータを使って仮想ロボットの三次元モデルを作成し、拡張現実検証モジュール4-6により仮想ロボットモデルをロ-ド、識別して、またその運動を制御できるために、各関節アームの運動関係に基づいて、仮想ロボット関節の自由度（自由度は即ちDOFのこと）ノードを加えて、また木構造を作成し、モーションプランニングモジュールの運動パラメータを利用して、仮想ロボットの運動学モデルを作成する。S62、コンピューターによりロボットの運動を制御し、エンドエフェクタを順次にARカード5の4つのコーナーポイントに置いて、エンドエフェクタがARカードのコーナーポイントに置かれると、ロボットにより前記エンドエフェクタの座標値を読み取り、前記ARカード5のコーナーポイントがロボット座標系における座標を取得し、前記ARカード5の4つのコーナーポイントがARカードの座標系における座標がすでに分かっているため、ARカードの座標系からロボット座標系への変換関係を計算することができる。ARカードの座標系に記述された仮想ロボットの位置を、前記変換関係によりロボット座標系の下へ変換し、仮想ロボットモデルをロボット3と重ね合わせる。S63、教示完了の後、仮想ロボットモデルを真実ロボットの作業シーンに重ねて、前記拡張現実表示モジュールによりロボットの通信制御モジュール4-5が教示中に記録された運動パラメータを読み取り、仮想ロボットモデルが教示パスに沿って動いて、虚実融合した環境で教示パスに対して検証を行う。
【0041】
本発明は、画像分割及び表面筋電図に基づくロボットの教示方法に関し、深層学習ネットワークにより画像を分割し、ロボットの関節アーム及び人体の各関節を分割、識別してから、人体の関節とロボットの関節アーム間の接触状況を判断し、表面筋電図センサー2により人の圧力の大きさや圧力の方向を識別することで、ロボットの各関節アームの運動を制御し、ドラッグ教示を実現できるようになる。本発明の教示システムは、全体の仕組みが簡単であり、簡単に配置できる他、コストも低い。また、教示方法は簡単で操作しやすく、力に対する検出応答速度が速く、ロボット3を正確に制御して教示動作を行うことができる。
【0042】
上記の実例の説明は本技術分野の当業者が本発明の技術理念及びその特徴に対する理解及び実施することに手伝うだけに用いられる。それによって、本発明の保護範囲を制限してはいけない。本発明の原理から逸脱しない前提において、実施した改善又は修正は、いずれも本発明の保護範囲とみなすべきである。
【図1】
【図2】
【図3】
【図4】