▶ 三菱重工業株式会社の特許一覧 ▶ 学校法人早稲田大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024085261
(43)【公開日】2024-06-26
(54)【発明の名称】組立システム、制御方法、およびプログラム
(51)【国際特許分類】
B25J 13/08 20060101AFI20240619BHJP
【ＦＩ】
B25J13/08 Z
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2022199698
(22)【出願日】2022-12-14
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１） 発行日 ：令和３年１２月１５日 刊行物 ：第２２回 計測自動制御学会 システムインテグレーション部門講演会 予稿集 公益社団法人計測自動制御学会 システムインテグレーション部門 発行 ＊参加者専用アドレスより公開（参加者のみ閲覧可） （２） 開催日 ：令和３年１２月１５日 集会名、開催場所 ：第２２回 計測自動制御学会 システムインテグレーション部門講演会（会期：令和３年１２月１５日～１７日） 公益社団法人計測自動制御学会 システムインテグレーション部門 主催 オンライン開催
(71)【出願人】
【識別番号】000006208
【氏名又は名称】三菱重工業株式会社
(71)【出願人】
【識別番号】899000068
【氏名又は名称】学校法人早稲田大学
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100162868
【弁理士】
【氏名又は名称】伊藤 英輔
(74)【代理人】
【識別番号】100161702
【弁理士】
【氏名又は名称】橋本 宏之
(74)【代理人】
【識別番号】100189348
【弁理士】
【氏名又は名称】古都 智
(74)【代理人】
【識別番号】100196689
【弁理士】
【氏名又は名称】鎌田 康一郎
(72)【発明者】
【氏名】小松 洋音
(72)【発明者】
【氏名】浅野 伸
(72)【発明者】
【氏名】杉浦 篤
(72)【発明者】
【氏名】川部 満久
(72)【発明者】
【氏名】尾形 哲也
(72)【発明者】
【氏名】森 裕紀
(72)【発明者】
【氏名】菅 佑樹
【テーマコード（参考）】
3C707
【Ｆターム（参考）】
3C707AS06
3C707BS12
3C707CS04
3C707CS08
3C707DS01
3C707ES03
3C707ET03
3C707EU14
3C707EV07
3C707HS27
3C707KS03
3C707KS21
3C707KS34
3C707KS35
3C707KS37
3C707KS38
3C707KT01
3C707KT05
3C707KV01
3C707KW03
3C707KX06
3C707LT12
3C707LT17
3C707LV19
3C707LW12
3C707LW15
3C707NS24
3C707WA16
(57)【要約】
【課題】より円滑に締結することができる。
【解決手段】組立システムは、複数の関節部を有するアームと、アームによって移動され、ナットを保持して回転させるエンドエフェクタと、各関節部の関節角を取得する第１センサと、対象物に設けられたボルトにナットが接触した場合に、伝達された接触力及びトルクを取得する第２センサとを有するマニピュレータと、制御装置とを備える。制御装置は、各関節部の関節角と、接触力及びトルクとを所定周期で取得し、各関節部の関節角に基づきナットの位置座標及び姿勢角を算出し、第１時刻でのナットの位置座標及び姿勢角と、第１時刻での接触力及びトルクとが入力されると、ナットがボルトに締結された状態を示す目標位置座標及び目標姿勢角に近づいた、第１時刻よりも後の第２時刻でのナットの位置座標及び姿勢角を示す指令値を出力するように学習された学習済みモデルを用いて、エンドエフェクタを制御する。
【選択図】図７
【解決手段】組立システムは、複数の関節部を有するアームと、アームによって移動され、ナットを保持して回転させるエンドエフェクタと、各関節部の関節角を取得する第１センサと、対象物に設けられたボルトにナットが接触した場合に、伝達された接触力及びトルクを取得する第２センサとを有するマニピュレータと、制御装置とを備える。制御装置は、各関節部の関節角と、接触力及びトルクとを所定周期で取得し、各関節部の関節角に基づきナットの位置座標及び姿勢角を算出し、第１時刻でのナットの位置座標及び姿勢角と、第１時刻での接触力及びトルクとが入力されると、ナットがボルトに締結された状態を示す目標位置座標及び目標姿勢角に近づいた、第１時刻よりも後の第２時刻でのナットの位置座標及び姿勢角を示す指令値を出力するように学習された学習済みモデルを用いて、エンドエフェクタを制御する。
【選択図】図７
【特許請求の範囲】
【請求項1】
複数の関節部を有するアームと、
前記アームによって移動されるとともに、ナットを保持して前記ナットを軸線回りに回転させるエンドエフェクタと、
各々の前記関節部の関節角を取得する第１センサと、
施工対象物に設けられたボルトに前記ナットが接触した場合に、前記エンドエフェクタから伝達された接触力およびトルクを取得する第２センサと、
を有するマニピュレータと、
前記マニピュレータを制御する制御装置と、
を備え、
前記制御装置は、
各々の前記関節部の関節角と、前記接触力およびトルクとを第１所定周期で取得する取得部と、
前記取得された各々の前記関節部の関節角に基づき、前記ナットの位置座標および姿勢角を算出する算出部と、
第１時刻における前記ナットの位置座標および姿勢角と、前記第１時刻における前記接触力およびトルクとが入力されると、前記ナットが前記ボルトに締結された状態を示す前記ナットの目標位置座標および目標姿勢角に近づいた、前記第１時刻よりも後の第２時刻における前記ナットの位置座標および姿勢角を示す指令値を出力するように学習された第１学習済みモデルを用いて、前記エンドエフェクタを制御する制御部と、
を備える組立システム。
前記アームによって移動されるとともに、ナットを保持して前記ナットを軸線回りに回転させるエンドエフェクタと、
各々の前記関節部の関節角を取得する第１センサと、
施工対象物に設けられたボルトに前記ナットが接触した場合に、前記エンドエフェクタから伝達された接触力およびトルクを取得する第２センサと、
を有するマニピュレータと、
前記マニピュレータを制御する制御装置と、
を備え、
前記制御装置は、
各々の前記関節部の関節角と、前記接触力およびトルクとを第１所定周期で取得する取得部と、
前記取得された各々の前記関節部の関節角に基づき、前記ナットの位置座標および姿勢角を算出する算出部と、
第１時刻における前記ナットの位置座標および姿勢角と、前記第１時刻における前記接触力およびトルクとが入力されると、前記ナットが前記ボルトに締結された状態を示す前記ナットの目標位置座標および目標姿勢角に近づいた、前記第１時刻よりも後の第２時刻における前記ナットの位置座標および姿勢角を示す指令値を出力するように学習された第１学習済みモデルを用いて、前記エンドエフェクタを制御する制御部と、
を備える組立システム。
【請求項2】
前記第１学習済みモデルは、
前記ナットの前記目標位置座標および目標姿勢角から、ランダムに与えられた量外れた前記ナットの既知位置座標および既知姿勢角が、前記目標位置座標および目標姿勢角になるように前記エンドエフェクタを制御する教示動作中に取得された複数の前記ナットの位置座標および姿勢角と、
各々の前記ナットの位置座標および姿勢角が取得された時刻に対応する前記接触力およびトルクと、
を含む教師データセットが入力される学習ステップが繰り返し実行されたことで、前記入力に応じた前記指令値を出力するように学習されている
請求項１に記載の組立システム。
前記ナットの前記目標位置座標および目標姿勢角から、ランダムに与えられた量外れた前記ナットの既知位置座標および既知姿勢角が、前記目標位置座標および目標姿勢角になるように前記エンドエフェクタを制御する教示動作中に取得された複数の前記ナットの位置座標および姿勢角と、
各々の前記ナットの位置座標および姿勢角が取得された時刻に対応する前記接触力およびトルクと、
を含む教師データセットが入力される学習ステップが繰り返し実行されたことで、前記入力に応じた前記指令値を出力するように学習されている
請求項１に記載の組立システム。
【請求項3】
前記エンドエフェクタに設けられ、前記施工対象物を撮像した画像を生成する撮像装置を更に備え、
前記取得部は、前記画像を第２所定周期で更に取得し、
前記制御部は、
前記ナットが前記ボルトに接触していない第１位置で前記取得された第３時刻における前記画像と、前記第３時刻における前記ナットの位置座標および姿勢角とが入力されると、前記ナットが前記ボルトに接触した第２位置に前記ナットが近づいた、前記第３時刻よりも後の第４時刻における前記ナットの位置座標および姿勢角を示す指令値を出力するように学習された第２学習済みモデルを用いて、前記エンドエフェクタを制御する
請求項１に記載の組立システム。
前記取得部は、前記画像を第２所定周期で更に取得し、
前記制御部は、
前記ナットが前記ボルトに接触していない第１位置で前記取得された第３時刻における前記画像と、前記第３時刻における前記ナットの位置座標および姿勢角とが入力されると、前記ナットが前記ボルトに接触した第２位置に前記ナットが近づいた、前記第３時刻よりも後の第４時刻における前記ナットの位置座標および姿勢角を示す指令値を出力するように学習された第２学習済みモデルを用いて、前記エンドエフェクタを制御する
請求項１に記載の組立システム。
【請求項4】
前記第２学習済みモデルは、
前記第２位置から前記第１位置に前記エンドエフェクタを移動させるダイレクトティーチング動作中に取得された複数の前記画像と、
各々の前記画像が取得された時刻に対応する前記ナットの位置座標および姿勢角と、
を含む教師データセットが入力される学習ステップが繰り返し実行されたことで、前記入力に応じた前記指令値を出力するように学習されている
請求項３に記載の組立システム。
前記第２位置から前記第１位置に前記エンドエフェクタを移動させるダイレクトティーチング動作中に取得された複数の前記画像と、
各々の前記画像が取得された時刻に対応する前記ナットの位置座標および姿勢角と、
を含む教師データセットが入力される学習ステップが繰り返し実行されたことで、前記入力に応じた前記指令値を出力するように学習されている
請求項３に記載の組立システム。
【請求項5】
前記制御部は、
前記第２位置で前記取得された前記画像と、前記画像が取得された時刻に対応する前記ナットの位置座標および姿勢角と、前記画像が取得された時刻に対応する前記接触力およびトルクとが入力されると、前記ナットおよび前記ボルトの螺合の成否を示す判定結果を出力するように学習された第３学習済みモデルを用いて、前記エンドエフェクタを制御する
請求項３または請求項４に記載の組立システム。
前記第２位置で前記取得された前記画像と、前記画像が取得された時刻に対応する前記ナットの位置座標および姿勢角と、前記画像が取得された時刻に対応する前記接触力およびトルクとが入力されると、前記ナットおよび前記ボルトの螺合の成否を示す判定結果を出力するように学習された第３学習済みモデルを用いて、前記エンドエフェクタを制御する
請求項３または請求項４に記載の組立システム。
【請求項6】
前記ナットの位置座標は、前記マニピュレータが持つ原点に準拠した世界座標系で表現されており、
前記制御装置は、前記算出された前記ナットの位置座標を前記世界座標系からボルト中心座標系に変換する座標変換部を更に備え、
前記制御部は、前記変換された前記ナットの位置座標を前記第１学習済みモデルに入力する
請求項１から請求項４のうちいずれか１項に記載の組立システム。
前記制御装置は、前記算出された前記ナットの位置座標を前記世界座標系からボルト中心座標系に変換する座標変換部を更に備え、
前記制御部は、前記変換された前記ナットの位置座標を前記第１学習済みモデルに入力する
請求項１から請求項４のうちいずれか１項に記載の組立システム。
【請求項7】
前記制御装置は、前記取得された各々の前記関節部の関節角に基づく前記エンドエフェクタの自重に関する補正値を用いて、前記取得された前記接触力を補正する補正部を更に備え、
前記制御部は、前記補正された前記接触力を前記第１学習済みモデルに入力する
請求項１から請求項４のうちいずれか１項に記載の組立システム。
前記制御部は、前記補正された前記接触力を前記第１学習済みモデルに入力する
請求項１から請求項４のうちいずれか１項に記載の組立システム。
【請求項8】
前記第２センサは、各々の前記関節部が有するモータの電流値を取得可能な電流センサである
請求項１から請求項４のうちいずれか１項に記載の組立システム。
請求項１から請求項４のうちいずれか１項に記載の組立システム。
【請求項9】
前記マニピュレータが載置された台座部と、
前記台座部を前記施工対象物の周囲で移動可能にさせる移動機構と、
を更に備える
請求項１から請求項４のうちいずれか１項に記載の組立システム。
前記台座部を前記施工対象物の周囲で移動可能にさせる移動機構と、
を更に備える
請求項１から請求項４のうちいずれか１項に記載の組立システム。
【請求項10】
前記エンドエフェクタは、
基部と、前記基部から延びるとともに前記軸線を中心とした筒状を成し、先端側に前記ナットの少なくとも一部を収容可能な収容部が形成されたソケット部とを有するナットランナと、
前記ソケット部の外周側に回動可能に固定されて前記軸線に交差する方向に延びる第１部分と、前記第１部分から前記先端側に延びる延在部および前記延在部の先端に設けられて前記軸線に近づくように前記延在部から突出することで前記ナットに当接する爪部を有する第２部分とを有するナット保持部材と、
前記基部と前記第１部分との間に設けられ、前記第１部分に対して前記先端側に向かう弾性力を付与する弾性部材と、
を有する
請求項３または請求項４に記載の組立システム。
基部と、前記基部から延びるとともに前記軸線を中心とした筒状を成し、先端側に前記ナットの少なくとも一部を収容可能な収容部が形成されたソケット部とを有するナットランナと、
前記ソケット部の外周側に回動可能に固定されて前記軸線に交差する方向に延びる第１部分と、前記第１部分から前記先端側に延びる延在部および前記延在部の先端に設けられて前記軸線に近づくように前記延在部から突出することで前記ナットに当接する爪部を有する第２部分とを有するナット保持部材と、
前記基部と前記第１部分との間に設けられ、前記第１部分に対して前記先端側に向かう弾性力を付与する弾性部材と、
を有する
請求項３または請求項４に記載の組立システム。
【請求項11】
前記撮像装置は、前記収容部よりも前記基部に近い側の前記ソケット部内に配置され、
前記撮像装置は、
前記ナットの孔を通じて、前記施工対象物を撮像した前記画像を生成する撮像部と、
前記ナットの孔を通じて、前記施工対象物に向けて光を照射する照明部と、
を有する
請求項１０に記載の組立システム。
前記撮像装置は、
前記ナットの孔を通じて、前記施工対象物を撮像した前記画像を生成する撮像部と、
前記ナットの孔を通じて、前記施工対象物に向けて光を照射する照明部と、
を有する
請求項１０に記載の組立システム。
【請求項12】
複数の関節部を有するアームと、
前記アームによって移動されるとともに、ナットを保持して前記ナットを軸線回りに回転させるエンドエフェクタと、
各々の前記関節部の関節角を取得する第１センサと、
施工対象物に設けられたボルトに前記ナットが接触した場合に、前記エンドエフェクタから伝達された接触力およびトルクを取得する第２センサと、
を有するマニピュレータを制御する制御方法であって、
各々の前記関節部の関節角と、前記接触力およびトルクとを第１所定周期で取得するステップと、
前記取得された各々の前記関節部の関節角に基づき、前記ナットの位置座標および姿勢角を算出するステップと、
第１時刻における前記ナットの位置座標および姿勢角と、前記第１時刻における前記接触力およびトルクとが入力されると、前記ナットが前記ボルトに締結された状態を示す前記ナットの目標位置座標および目標姿勢角に近づいた、前記第１時刻よりも後の第２時刻における前記ナットの位置座標および姿勢角を示す指令値を出力するように学習された第１学習済みモデルを用いて、前記エンドエフェクタを制御するステップと、
を実行する制御方法。
前記アームによって移動されるとともに、ナットを保持して前記ナットを軸線回りに回転させるエンドエフェクタと、
各々の前記関節部の関節角を取得する第１センサと、
施工対象物に設けられたボルトに前記ナットが接触した場合に、前記エンドエフェクタから伝達された接触力およびトルクを取得する第２センサと、
を有するマニピュレータを制御する制御方法であって、
各々の前記関節部の関節角と、前記接触力およびトルクとを第１所定周期で取得するステップと、
前記取得された各々の前記関節部の関節角に基づき、前記ナットの位置座標および姿勢角を算出するステップと、
第１時刻における前記ナットの位置座標および姿勢角と、前記第１時刻における前記接触力およびトルクとが入力されると、前記ナットが前記ボルトに締結された状態を示す前記ナットの目標位置座標および目標姿勢角に近づいた、前記第１時刻よりも後の第２時刻における前記ナットの位置座標および姿勢角を示す指令値を出力するように学習された第１学習済みモデルを用いて、前記エンドエフェクタを制御するステップと、
を実行する制御方法。
【請求項13】
複数の関節部を有するアームと、
前記アームによって移動されるとともに、ナットを保持して前記ナットを軸線回りに回転させるエンドエフェクタと、
各々の前記関節部の関節角を取得する第１センサと、
施工対象物に設けられたボルトに前記ナットが接触した場合に、前記エンドエフェクタから伝達された接触力およびトルクを取得する第２センサと、
を有するマニピュレータを制御する制御装置のコンピュータに、
各々の前記関節部の関節角と、前記接触力およびトルクとを第１所定周期で取得するステップと、
前記取得された各々の前記関節部の関節角に基づき、前記ナットの位置座標および姿勢角を算出するステップと、
第１時刻における前記ナットの位置座標および姿勢角と、前記第１時刻における前記接触力およびトルクとが入力されると、前記ナットが前記ボルトに締結された状態を示す前記ナットの目標位置座標および目標姿勢角に近づいた、前記第１時刻よりも後の第２時刻における前記ナットの位置座標および姿勢角を示す指令値を出力するように学習された第１学習済みモデルを用いて、前記エンドエフェクタを制御するステップと、
を実行させるプログラム。
前記アームによって移動されるとともに、ナットを保持して前記ナットを軸線回りに回転させるエンドエフェクタと、
各々の前記関節部の関節角を取得する第１センサと、
施工対象物に設けられたボルトに前記ナットが接触した場合に、前記エンドエフェクタから伝達された接触力およびトルクを取得する第２センサと、
を有するマニピュレータを制御する制御装置のコンピュータに、
各々の前記関節部の関節角と、前記接触力およびトルクとを第１所定周期で取得するステップと、
前記取得された各々の前記関節部の関節角に基づき、前記ナットの位置座標および姿勢角を算出するステップと、
第１時刻における前記ナットの位置座標および姿勢角と、前記第１時刻における前記接触力およびトルクとが入力されると、前記ナットが前記ボルトに締結された状態を示す前記ナットの目標位置座標および目標姿勢角に近づいた、前記第１時刻よりも後の第２時刻における前記ナットの位置座標および姿勢角を示す指令値を出力するように学習された第１学習済みモデルを用いて、前記エンドエフェクタを制御するステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、組立システム、制御方法、およびプログラムに関する。
【背景技術】
【0002】
特許文献１には、ロボットが備えるエンドエフェクタのワークに対する接触状態の変化をセンサが検知し、当該センサが検知した接触状態の変化に基づき、ワークに対するエンドエフェクタのずれ量を推定して補正するロボットシステムが開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第６８７０１２２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、上記特許文献１に記載の技術では、エンドエフェクタの手探り動作によって生じたボルトの頭部に対するソケットの接触状態の変化に基づいてずれ量を補正しているに留まるため、人間が行うような締結動作の再現が難しい。そのため、例えば、ソケットにボルトの頭部がはまるまでに時間がかかる場合がある。したがって、より円滑に締結することができる組立技術が期待されている。
【0005】
本開示は上記課題を解決するためになされたものであって、より円滑に締結することができる組立システム、制御方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本開示に係る組立システムは、複数の関節部を有するアームと、前記アームによって移動されるとともに、ナットを保持して前記ナットを軸線回りに回転させるエンドエフェクタと、各々の前記関節部の関節角を取得する第１センサと、施工対象物に設けられたボルトに前記ナットが接触した場合に、前記エンドエフェクタから伝達された接触力およびトルクを取得する第２センサと、を有するマニピュレータと、前記マニピュレータを制御する制御装置と、を備え、前記制御装置は、各々の前記関節部の関節角と、前記接触力およびトルクとを第１所定周期で取得する取得部と、前記取得された各々の前記関節部の関節角に基づき、前記ナットの位置座標および姿勢角を算出する算出部と、第１時刻における前記ナットの位置座標および姿勢角と、前記第１時刻における前記接触力およびトルクとが入力されると、前記ナットが前記ボルトに締結された状態を示す前記ナットの目標位置座標および目標姿勢角に近づいた、前記第１時刻よりも後の第２時刻における前記ナットの位置座標および姿勢角を示す指令値を出力するように学習された第１学習済みモデルを用いて、前記エンドエフェクタを制御する制御部と、を備える。
【0007】
本開示に係る制御方法は、複数の関節部を有するアームと、前記アームによって移動されるとともに、ナットを保持して前記ナットを軸線回りに回転させるエンドエフェクタと、各々の前記関節部の関節角を取得する第１センサと、前記エンドエフェクタから伝達された接触力およびトルクを取得する第２センサと、を有するマニピュレータを制御する制御方法であって、各々の前記関節部の関節角と、前記接触力およびトルクとを第１所定周期で取得するステップと、前記取得された各々の前記関節部の関節角に基づき、前記ナットの位置座標および姿勢角を算出するステップと、第１時刻における前記ナットの位置座標および姿勢角と、前記第１時刻における前記接触力およびトルクとが入力されると、前記ナットが前記ボルトに締結された状態を示す前記ナットの目標位置座標および目標姿勢角に近づいた、前記第１時刻よりも後の第２時刻における前記ナットの位置座標および姿勢角を示す指令値を出力するように学習された第１学習済みモデルを用いて、前記エンドエフェクタを制御するステップと、を実行する。
【0008】
本開示に係るプログラムは、複数の関節部を有するアームと、前記アームによって移動されるとともに、ナットを保持して前記ナットを軸線回りに回転させるエンドエフェクタと、各々の前記関節部の関節角を取得する第１センサと、前記エンドエフェクタから伝達された接触力およびトルクを取得する第２センサと、を有するマニピュレータを制御する制御装置のコンピュータに、各々の前記関節部の関節角と、前記接触力およびトルクとを第１所定周期で取得するステップと、前記取得された各々の前記関節部の関節角に基づき、前記ナットの位置座標および姿勢角を算出するステップと、第１時刻における前記ナットの位置座標および姿勢角と、前記第１時刻における前記接触力およびトルクとが入力されると、前記ナットが前記ボルトに締結された状態を示す前記ナットの目標位置座標および目標姿勢角に近づいた、前記第１時刻よりも後の第２時刻における前記ナットの位置座標および姿勢角を示す指令値を出力するように学習された第１学習済みモデルを用いて、前記エンドエフェクタを制御するステップと、を実行させる。
【発明の効果】
【0009】
本開示によれば、より円滑に締結することができる組立システム、制御方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【0010】
【図1】本開示の第１実施形態に係る組立システムの全体を示す概略構成図である。
【図2】本開示の第１実施形態に係るエンドエフェクタ、ナット、およびボルトを一列に並べて表示した図である。
【図3】本開示の第１実施形態に係るナットランナの内部を軸線方向から見た図である。
【図4】本開示の第１実施形態に係るエンドエフェクタにナットを保持させる際のナット保持部材の動きを説明するための図である。
【図5】本開示の第１実施形態に係るエンドエフェクタからカラーを取り外す際のナット保持部材の動きを説明するための図である。
【図6】本開示の第１実施形態に係る撮像装置が撮像した画像の一例を模式的に示す図である。
【図7】本開示の第１実施形態に係る制御装置の機能ブロック図である。
【図8】本開示の第１実施形態に係るナットの位置座標が表現される座標系を概念的に説明するための図である。
【図9】本開示の第１実施形態に係るエンドエフェクタが保持したナットがボルトに接触した際にボルトから受ける接触力を概念的に説明するための図である。
【図10】本開示の第１実施形態に係る補正部が接触力の補正に用いる補正値を概念的に説明するための図である。
【図11】本開示の第１実施形態に係る第１学習済みモデルの学習ステップの一例を示すフローチャートである。
【図12】本開示の第１実施形態に係る第２学習済みモデルを教示する際のダイレクトティーチング動作の一例を示す図である。
【図13】本開示の第１実施形態に係る制御装置の動作の一例を示すフローチャートである。
【図14】本開示の第２実施形態に係る組立システムの全体を示す概略構成図である。
【図15】本開示の第３実施形態に係る組立システムの全体を示す概略構成図である。
【図16】本開示の第３実施形態の変形例に係る組立システムの全体を示す概略構成図である。
【図17】本開示の実施形態に係るコンピュータの構成を示すハードウェア構成図である。
【発明を実施するための形態】
【0011】
以下、添付図面を参照しながら、組立システムを実施するための形態を説明する。
【0012】
＜組立システムの第１実施形態＞
組立システムは、例えば組立工場などで稼動する自動化システムの一部であり、マニピュレータを制御することで複数の部品が一体化するように組み付ける。以下、組立システムが組立の対象とする部品を「施工対象物」と称する。図１に示すように、施工対象物２００は、例えば第１部品２１０と第２部品２２０とに分かれており、例えば作業台３００（作業用机）の上に据え置かれている。組立システム１００は、マニピュレータ１０を制御することで、第１部品２１０および第２部品２２０を一体化させる。施工対象物２００の例として、航空機部品の１つであるパネルや、船舶部品の１つであるパネルなどが挙げられる。組立システム１００は、例えば、マニピュレータ１０と、制御装置３０とを備えている。
組立システムは、例えば組立工場などで稼動する自動化システムの一部であり、マニピュレータを制御することで複数の部品が一体化するように組み付ける。以下、組立システムが組立の対象とする部品を「施工対象物」と称する。図１に示すように、施工対象物２００は、例えば第１部品２１０と第２部品２２０とに分かれており、例えば作業台３００（作業用机）の上に据え置かれている。組立システム１００は、マニピュレータ１０を制御することで、第１部品２１０および第２部品２２０を一体化させる。施工対象物２００の例として、航空機部品の１つであるパネルや、船舶部品の１つであるパネルなどが挙げられる。組立システム１００は、例えば、マニピュレータ１０と、制御装置３０とを備えている。
【0013】
（マニピュレータの構成）
本実施形態では、マニピュレータ１０は、結合具としてのナット２０２を保持した状態で、全体の姿勢を変えることでナット２０２を移動させるとともに、当該ナット２０２を施工対象物２００に設けられた結合具としてのボルト２０１に自動で締結させるロボットである。マニピュレータ１０は、複数の関節部１１０を備える多関節ロボットである。本実施形態では、６つの関節部１１０を備える６軸の多関節ロボットをマニピュレータ１０の一例として説明する。マニピュレータ１０は、施工対象物２００に接着剤などで仮固定されたボルト２０１にナット２０２を締結することで、第１部品２１０および第２部品２２０を一体化させている。
本実施形態では、マニピュレータ１０は、結合具としてのナット２０２を保持した状態で、全体の姿勢を変えることでナット２０２を移動させるとともに、当該ナット２０２を施工対象物２００に設けられた結合具としてのボルト２０１に自動で締結させるロボットである。マニピュレータ１０は、複数の関節部１１０を備える多関節ロボットである。本実施形態では、６つの関節部１１０を備える６軸の多関節ロボットをマニピュレータ１０の一例として説明する。マニピュレータ１０は、施工対象物２００に接着剤などで仮固定されたボルト２０１にナット２０２を締結することで、第１部品２１０および第２部品２２０を一体化させている。
【0014】
図２に示すように、本実施形態では、マニピュレータ１０が扱うナット２０２は、ナット本体２０２ａと、ナット本体２０２ａに一体に設けられたカラー２０２ｂとを有するカラーナットである。ナット２０２には、雌ねじ部としてのナット孔２０２ｈがナット本体２０２ａおよびカラー２０２ｂの両方に亘って形成されている。本実施形態では、カラー２０２ｂは、外殻が六角柱状に形成されている。ナット２０２は、マニピュレータ１０によってボルト２０１に締結される過程で、カラー２０２ｂのみが外され（カラー切り）、ナット本体２０２ａがボルト２０１に締結された状態となる。ボルト２０１は、施工対象物２００としての第１部品２１０および第２部品２２０のそれぞれに設けられた孔（図示省略）などに挿通されるとともに第２部品２２０から突出することで、雄ねじ部２０１ａがむき出しとされている。本実施形態では、ボルト２０１は、例えば頭部を有さないスタッドボルト（植え込みボルト）である。マニピュレータ１０は、むき出しとされたボルト２０１の雄ねじ部２０１ａにナット２０２のナット孔２０２ｈを螺合させて締結させる。図１に戻り、マニピュレータ１０は、例えば、アーム１１と、エンコーダ１３０と、力覚センサ１４０と、エンドエフェクタ１２と、台座部１５とを有している。
【0015】
（アーム）
アーム１１は、マニピュレータ１０の本体部分を成している。アーム１１は、地面に配置された台座部１５の上に載置されている。具体的には、アーム１１の一端は、台座部１５に固定されている。アーム１１は、台座部１５を基点に姿勢を変えることで台座部１５の周囲を３次元的に移動可能である。アーム１１は、例えば、複数（６つ）の関節部１１０と、第１接続部１１８ａと、第２接続部１１８ｂと、第３接続部１１８ｃとを有している。
アーム１１は、マニピュレータ１０の本体部分を成している。アーム１１は、地面に配置された台座部１５の上に載置されている。具体的には、アーム１１の一端は、台座部１５に固定されている。アーム１１は、台座部１５を基点に姿勢を変えることで台座部１５の周囲を３次元的に移動可能である。アーム１１は、例えば、複数（６つ）の関節部１１０と、第１接続部１１８ａと、第２接続部１１８ｂと、第３接続部１１８ｃとを有している。
【0016】
各々の関節部１１０は、例えば円筒状を成しており、当該関節部１１０を回動可能にするためのモータ１１７を内部に有している。関節部１１０が有するモータ１１７には、例えばサーボモータが挙げられる。モータ１１７は、回転駆動することで、当該モータ１１７が回動の中心とする回動軸線回りに関節部１１０の全体を回動させる。以下、アーム１１が備える６つの関節部１１０を台座部１５に近い側から順に、「第１関節部１１１」、「第２関節部１１２」、「第３関節部１１３」、「第４関節部１１４」、「第５関節部１１５」、「第６関節部１１６」と称する。また、第１関節部１１１のモータ１１７を「第１モータ１１７ａ」と称し、第２関節部１１２のモータ１１７を「第２モータ１１７ｂ」と称し、第３関節部１１３のモータ１１７を「第３モータ１１７ｃ」と称し、第４関節部１１４のモータ１１７を「第４モータ１１７ｄ」と称し、第５関節部１１５のモータ１１７を「第５モータ１１７ｅ」と称し、第６関節部１１６のモータ１１７を「第６モータ１１７ｆ」と称する。各々のモータ１１７（第１モータ１１７ａ～第６モータ１１７ｆ）の回動は、制御装置３０（後述）によって制御されている。
【0017】
第１関節部１１１は、台座部１５の上面に固定されている。第１関節部１１１は、アーム１１の上記一端に相当している。第１モータ１１７ａは、例えば鉛直方向に延びるパン軸としての第１回動軸線Ｏ１を中心に回動可能であり、第１関節部１１１の全体を当該第１回動軸線Ｏ１回りに回動させる。第２関節部１１２は、第１関節部１１１と一体の状態で第１関節部１１１の外面から延びるように設けられている。第２モータ１１７ｂは、例えば水平方向に延びるチルト軸としての第２回動軸線Ｏ２を中心に回動可能であり、第２関節部１１２の全体を当該第２回動軸線Ｏ２回りに回動させる。第２関節部１１２には、第２回動軸線Ｏ２に交差する方向に延びる第１接続部１１８ａが設けられている。第１接続部１１８ａは、円筒状を成しており、第２関節部１１２の外面から延びている。第３関節部１１３は、第１接続部１１８ａの第２関節部１１２から延びた先に一体に設けられている。第３モータ１１７ｃは、例えば水平方向に延びるチルト軸としての第３回動軸線Ｏ３を中心に回動可能であり、第３関節部１１３の全体を当該第３回動軸線Ｏ３回りに回動させる。第３関節部１１３には、第３回動軸線Ｏ３に交差する方向に延びる第２接続部１１８ｂが設けられている。第２接続部１１８ｂは、円筒状を成しており、第３関節部１１３の外面から延びている。第４関節部１１４は、第２接続部１１８ｂの第３関節部１１３から延びた先に一体に設けられている。第４モータ１１７ｄは、例えば水平方向に延びるチルト軸としての第４回動軸線Ｏ４を中心に回動可能であり、第４関節部１１４の全体を当該第４回動軸線Ｏ４回りに回動させる。第５関節部１１５は、第４関節部１１４と一体に設けられている。第５モータ１１７ｅは、例えば第４回動軸線Ｏ４と交差する方向に延びるパン軸としての第５回動軸線Ｏ５を中心に回動可能であり、第５関節部１１５の全体を当該第５回動軸線Ｏ５回りに回動させる。第５関節部１１５には、第５回動軸線Ｏ５に交差する方向に延びる第３接続部１１８ｃが設けられている。第３接続部１１８ｃは、円筒状を成しており、第５関節部１１５の外面から延びている。第６関節部１１６は、第３接続部１１８ｃの第５関節部１１５から延びた先に一体に設けられている。第６関節部１１６は、アーム１１の上記一端とは反対側の他端に相当している。第６モータ１１７ｆは、例えば第５回動軸線Ｏ５と平行に延びるパン軸としての第６回動軸線Ｏ６を中心に回動可能である。上述した各々の関節部１１０がモータ１１７によって回動することで、アーム１１の姿勢が３次元的に変化する。以下、第６回動軸線Ｏ６を単に「軸線Ａｒ１」と称する。また、当該軸線Ａｒ１が延びる方向を「軸線方向Ｄａ」と称し、軸線方向Ｄａにおける一方側を単に「一方側Ｄａ１」と称し、一方側Ｄａ１とは反対の側を「他方側Ｄａ２」と称する。各々の関節部１１０のモータ１１７は、制御対象装置Ｓの一例である。
【0018】
（エンコーダ）
エンコーダ１３０は、関節部１１０の回転角を取得可能なセンサである。以下、各々の関節部１１０（第１関節部１１１～第６関節部１１６）の回転角（θ１～θ６）を「関節角」と称する。エンコーダ１３０は、例えば、各々の関節部１１０のモータ１１７に１つずつ設けられている。以下、第１モータ１１７ａに設けられたエンコーダ１３０を「第１エンコーダ１３１」と称し、第２モータ１１７ｂに設けられたエンコーダ１３０を「第２エンコーダ１３２」と称し、第３モータ１１７ｃに設けられたエンコーダ１３０を「第３エンコーダ１３３」と称し、第４モータ１１７ｄに設けられたエンコーダ１３０を「第４エンコーダ１３４」と称し、第５モータ１１７ｅに設けられたエンコーダ１３０を「第５エンコーダ１３５」と称し、第６モータ１１７ｆに設けられたエンコーダ１３０を「第６エンコーダ１３６」と称する。各々のエンコーダ１３０は、モータ１１７から取得した関節角（センサデータ）を制御装置３０に送信する。エンコーダ１３０は、第１センサ１３の一例である。第１センサ１３は、有線または無線通信によって制御装置３０に接続されている。
エンコーダ１３０は、関節部１１０の回転角を取得可能なセンサである。以下、各々の関節部１１０（第１関節部１１１～第６関節部１１６）の回転角（θ１～θ６）を「関節角」と称する。エンコーダ１３０は、例えば、各々の関節部１１０のモータ１１７に１つずつ設けられている。以下、第１モータ１１７ａに設けられたエンコーダ１３０を「第１エンコーダ１３１」と称し、第２モータ１１７ｂに設けられたエンコーダ１３０を「第２エンコーダ１３２」と称し、第３モータ１１７ｃに設けられたエンコーダ１３０を「第３エンコーダ１３３」と称し、第４モータ１１７ｄに設けられたエンコーダ１３０を「第４エンコーダ１３４」と称し、第５モータ１１７ｅに設けられたエンコーダ１３０を「第５エンコーダ１３５」と称し、第６モータ１１７ｆに設けられたエンコーダ１３０を「第６エンコーダ１３６」と称する。各々のエンコーダ１３０は、モータ１１７から取得した関節角（センサデータ）を制御装置３０に送信する。エンコーダ１３０は、第１センサ１３の一例である。第１センサ１３は、有線または無線通信によって制御装置３０に接続されている。
【0019】
（力覚センサ）
力覚センサ１４０は、アーム１１に接続されたロードセルである。具体的には、力覚センサ１４０は、第６関節部１１６に軸線方向Ｄａにおける一方側Ｄａ１から固定されている。力覚センサ１４０には、第６関節部１１６とは反対側（軸線方向Ｄａにおける一方側Ｄａ１）にエンドエフェクタ１２（後述）が設けられている。力覚センサ１４０は、エンドエフェクタ１２から伝達された力に関するデータを取得可能である。具体的には、力覚センサ１４０は、エンドエフェクタ１２が保持したナット２０２がボルト２０１に接触した場合に、当該力覚センサ１４０に対してエンドエフェクタ１２の側である一方側Ｄａ１から伝達された接触力の大きさを３軸の方向成分（Ｆｘ，Ｆｙ，Ｆｚ）ごとに取得可能であるとともに、軸ごとに働く各々の接触力の軸回りに作用するトルク（Ｍｘ，Ｍｙ，Ｍｚ）の大きさを取得可能である。以下、力覚データが取得した接触力（単位：Ｎ）およびトルク（単位：Ｎ・ｍ）をまとめて「力データ」と称する場合がある。すなわち、力覚センサ１４０は、６軸の力データを取得可能である。力覚センサ１４０は、取得した力データ（センサデータ）を制御装置３０に送信する。力覚センサ１４０は、第２センサ１４の一例である。第２センサ１４は、有線または無線通信によって制御装置３０に接続されている。
力覚センサ１４０は、アーム１１に接続されたロードセルである。具体的には、力覚センサ１４０は、第６関節部１１６に軸線方向Ｄａにおける一方側Ｄａ１から固定されている。力覚センサ１４０には、第６関節部１１６とは反対側（軸線方向Ｄａにおける一方側Ｄａ１）にエンドエフェクタ１２（後述）が設けられている。力覚センサ１４０は、エンドエフェクタ１２から伝達された力に関するデータを取得可能である。具体的には、力覚センサ１４０は、エンドエフェクタ１２が保持したナット２０２がボルト２０１に接触した場合に、当該力覚センサ１４０に対してエンドエフェクタ１２の側である一方側Ｄａ１から伝達された接触力の大きさを３軸の方向成分（Ｆｘ，Ｆｙ，Ｆｚ）ごとに取得可能であるとともに、軸ごとに働く各々の接触力の軸回りに作用するトルク（Ｍｘ，Ｍｙ，Ｍｚ）の大きさを取得可能である。以下、力覚データが取得した接触力（単位：Ｎ）およびトルク（単位：Ｎ・ｍ）をまとめて「力データ」と称する場合がある。すなわち、力覚センサ１４０は、６軸の力データを取得可能である。力覚センサ１４０は、取得した力データ（センサデータ）を制御装置３０に送信する。力覚センサ１４０は、第２センサ１４の一例である。第２センサ１４は、有線または無線通信によって制御装置３０に接続されている。
【0020】
（エンドエフェクタ）
エンドエフェクタ１２は、ナット２０２を保持してナット２０２を回転軸線Ａｒ回りに回転させる。回転軸線Ａｒは、例えば、軸線Ａｒ１に対してオフセットされた位置で軸線方向Ｄａに延びる仮想軸線である。なお、回転軸線Ａｒは、軸線Ａｒ１と一致していてもよい。本実施形態では、エンドエフェクタ１２は、力覚センサ１４０に一方側Ｄａ１から設けられている。したがって、エンドエフェクタ１２は、アーム１１によって移動されるとともに、施工対象物２００に設けられたボルト２０１に対して保持したナット２０２を締結する。図１および図２に示すように、エンドエフェクタ１２は、例えば、撮像装置２０と、本体部１２０と、ナットランナ１２１と、ナット保持部材１２４と、弾性部材１２８とを有している。図２中では、図示の便宜上、ナットランナ１２１のソケット部１２３を断面で内部が見えるように示している。
エンドエフェクタ１２は、ナット２０２を保持してナット２０２を回転軸線Ａｒ回りに回転させる。回転軸線Ａｒは、例えば、軸線Ａｒ１に対してオフセットされた位置で軸線方向Ｄａに延びる仮想軸線である。なお、回転軸線Ａｒは、軸線Ａｒ１と一致していてもよい。本実施形態では、エンドエフェクタ１２は、力覚センサ１４０に一方側Ｄａ１から設けられている。したがって、エンドエフェクタ１２は、アーム１１によって移動されるとともに、施工対象物２００に設けられたボルト２０１に対して保持したナット２０２を締結する。図１および図２に示すように、エンドエフェクタ１２は、例えば、撮像装置２０と、本体部１２０と、ナットランナ１２１と、ナット保持部材１２４と、弾性部材１２８とを有している。図２中では、図示の便宜上、ナットランナ１２１のソケット部１２３を断面で内部が見えるように示している。
【0021】
（撮像装置）
図１、図２、および図３に示すように、撮像装置２０は、エンドエフェクタ１２に設けられ、施工対象物２００を撮像した画像を生成する。本実施形態では、撮像装置２０は、後述のエンドエフェクタ１２が有するナットランナ１２１のソケット部１２３の内部に、ソケット部１２３に対して回転不能の状態で配置されている。具体的には、図２に示すように、撮像装置２０は、後述の収容部１２３ｒよりも基部１２２に近い側のソケット部１２３内（後述の収容空間Ｒ）に配置されている。撮像装置２０は、例えば、撮像部２１と、照明部２２とを有している。撮像部２１は、後述のナット保持部材１２４によって保持されたナット２０２のナット孔２０２ｈを通じて施工対象物２００を撮像した画像を生成する。撮像部２１には、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの半導体素子（固体撮像素子）が組み込まれたセンサモジュールを例示することができる。なお、撮像部２１は、これに代えて、ファイバスコープなどであってもよい。照明部２２は、ナット孔２０２ｈを通じて施工対象物２００に向けて光を照射する。照明部２２には、例えば、ＬＥＤ（Light Emitting Diode）などの素子を例示することができる。図６は、撮像装置２０が撮像した画像の一例を模式的に示す図である。図６中では、施工対象物２００に設けられたボルト２０１をやや斜め上方から撮像した画像の一例を模式的に示している。なお、図６中では、ボルト２０１の中心線Ａｒ２（符号の図示は省略）を中心とした穴が形成されたボルト２０１を一例として示しているが、ボルト２０１には穴が形成されていなくてもよい。図６に示すように、撮像装置２０は、ナット孔２０２ｈを通じて施工対象物２００およびボルト２０１に光を照射した状態で、施工対象物２００の表面や、ボルト２０１の雄ねじ部２０１ａおよびボルト２０１の端面２０１ｅなどを撮像することができる。撮像装置２０は、有線または無線通信によって制御装置３０に接続されている。撮像装置２０は、撮像した画像を制御装置３０に送信する。
図１、図２、および図３に示すように、撮像装置２０は、エンドエフェクタ１２に設けられ、施工対象物２００を撮像した画像を生成する。本実施形態では、撮像装置２０は、後述のエンドエフェクタ１２が有するナットランナ１２１のソケット部１２３の内部に、ソケット部１２３に対して回転不能の状態で配置されている。具体的には、図２に示すように、撮像装置２０は、後述の収容部１２３ｒよりも基部１２２に近い側のソケット部１２３内（後述の収容空間Ｒ）に配置されている。撮像装置２０は、例えば、撮像部２１と、照明部２２とを有している。撮像部２１は、後述のナット保持部材１２４によって保持されたナット２０２のナット孔２０２ｈを通じて施工対象物２００を撮像した画像を生成する。撮像部２１には、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどの半導体素子（固体撮像素子）が組み込まれたセンサモジュールを例示することができる。なお、撮像部２１は、これに代えて、ファイバスコープなどであってもよい。照明部２２は、ナット孔２０２ｈを通じて施工対象物２００に向けて光を照射する。照明部２２には、例えば、ＬＥＤ（Light Emitting Diode）などの素子を例示することができる。図６は、撮像装置２０が撮像した画像の一例を模式的に示す図である。図６中では、施工対象物２００に設けられたボルト２０１をやや斜め上方から撮像した画像の一例を模式的に示している。なお、図６中では、ボルト２０１の中心線Ａｒ２（符号の図示は省略）を中心とした穴が形成されたボルト２０１を一例として示しているが、ボルト２０１には穴が形成されていなくてもよい。図６に示すように、撮像装置２０は、ナット孔２０２ｈを通じて施工対象物２００およびボルト２０１に光を照射した状態で、施工対象物２００の表面や、ボルト２０１の雄ねじ部２０１ａおよびボルト２０１の端面２０１ｅなどを撮像することができる。撮像装置２０は、有線または無線通信によって制御装置３０に接続されている。撮像装置２０は、撮像した画像を制御装置３０に送信する。
【0022】
（本体部）
本体部１２０は、力覚センサ１４０に固定されている。本体部１２０には、ナットランナ１２１のソケット部１２３（後述、図２参照）が挿通されており、本体部１２０は、当該ソケット部１２３を回転軸線Ａｒ回りに回転させるための締結用モータ１２０ａ（図１参照）を内部に有している。本体部１２０の締結用モータ１２０ａの回転は、制御装置３０によって制御されている。本体部１２０の締結用モータ１２０ａは、制御対象装置Ｓの一例である。
本体部１２０は、力覚センサ１４０に固定されている。本体部１２０には、ナットランナ１２１のソケット部１２３（後述、図２参照）が挿通されており、本体部１２０は、当該ソケット部１２３を回転軸線Ａｒ回りに回転させるための締結用モータ１２０ａ（図１参照）を内部に有している。本体部１２０の締結用モータ１２０ａの回転は、制御装置３０によって制御されている。本体部１２０の締結用モータ１２０ａは、制御対象装置Ｓの一例である。
【0023】
（ナットランナ）
図２に示すように、ナットランナ１２１は、例えば、基部１２２と、ソケット部１２３とを有している。基部１２２は、例えば回転軸線Ａｒを中心とした円板状を成しており、本体部１２０に一方側Ｄａ１から固定されている。基部１２２は、一方側Ｄａ１を向く前面１２２ａを有している。ソケット部１２３は、基部１２２の前面１２２ａよりも一方側Ｄａ１に延びるように設けられて、回転軸線Ａｒを中心とした円筒状を成している。ソケット部１２３は、基部１２２および本体部１２０内に挿通されており、本体部１２０内に設けられた締結用モータ１２０ａによって回動可能に保持されている（図１参照）。ソケット部１２３は、内部を画定する円筒面状の内周面１２３ｉと、外側を向く円筒面状の外周面１２３ｏとを有している。以下、ソケット部１２３の内部の空間を「収容空間Ｒ」と称する。ソケット部１２３は、一方側Ｄａ１に配置された先端部分に開口１２３ｅを有している。本実施形態では、開口１２３ｅは、回転軸線Ａｒに対して直交する正円形に形成されている。また、ソケット部１２３には、当該開口１２３ｅを含み、ナット２０２の少なくとも一部を収容可能な収容部１２３ｒが形成されている。収容部１２３ｒは、収容空間Ｒにおける一方側Ｄａ１に配置されている。
図２に示すように、ナットランナ１２１は、例えば、基部１２２と、ソケット部１２３とを有している。基部１２２は、例えば回転軸線Ａｒを中心とした円板状を成しており、本体部１２０に一方側Ｄａ１から固定されている。基部１２２は、一方側Ｄａ１を向く前面１２２ａを有している。ソケット部１２３は、基部１２２の前面１２２ａよりも一方側Ｄａ１に延びるように設けられて、回転軸線Ａｒを中心とした円筒状を成している。ソケット部１２３は、基部１２２および本体部１２０内に挿通されており、本体部１２０内に設けられた締結用モータ１２０ａによって回動可能に保持されている（図１参照）。ソケット部１２３は、内部を画定する円筒面状の内周面１２３ｉと、外側を向く円筒面状の外周面１２３ｏとを有している。以下、ソケット部１２３の内部の空間を「収容空間Ｒ」と称する。ソケット部１２３は、一方側Ｄａ１に配置された先端部分に開口１２３ｅを有している。本実施形態では、開口１２３ｅは、回転軸線Ａｒに対して直交する正円形に形成されている。また、ソケット部１２３には、当該開口１２３ｅを含み、ナット２０２の少なくとも一部を収容可能な収容部１２３ｒが形成されている。収容部１２３ｒは、収容空間Ｒにおける一方側Ｄａ１に配置されている。
【0024】
図２および図３に示すように、収容部１２３ｒは、例えば、複数のテーパ面１２３ａと、複数の締結面１２３ｂと、位置決め面１２３ｃとで構成されている。各々のテーパ面１２３ａは、開口１２３ｅが広がる方向に対して傾斜して配置されている。具体的には、各々のテーパ面１２３ａは、他方側Ｄａ２に向かうにしたがって回転軸線Ａｒに近づくように、開口１２３ｅが広がる方向に対して傾斜して配置されている。本実施形態では、６つのテーパ面１２３ａが回転軸線Ａｒ回りに並んで配置されており、回転軸線Ａｒ回りに隣り合うテーパ面１２３ａ同士は、互いに接続されている。収容部１２３ｒにおける複数のテーパ面１２３ａによって画定された領域は、回転軸線Ａｒに直交する断面が正六角形を成すとともに、他方側Ｄａ２に向かうにしたがって小さくなるテーパ状を成している。
【0025】
各々の締結面１２３ｂは、１つのテーパ面１２３ａに対応するように他方側Ｄａ２からテーパ面１２３ａに接続されており、開口１２３ｅが広がる方向に対して垂直に配置されている。本実施形態では、締結面１２３ｂは、６つの締結面１２３ｂが回転軸線Ａｒ回りに並んで配置されており、回転軸線Ａｒ回りに隣り合う締結面１２３ｂ同士は、互いに接続されている。収容部１２３ｒにおける複数の締結面１２３ｂによって画定された領域は、回転軸線Ａｒに直交する断面が軸線方向Ｄａに一定とされた六角柱状を成している。複数の締結面１２３ｂによって画定された領域は、例えば、ナット２０２のカラー２０２ｂがちょうど収まる大きさとされている。
【0026】
位置決め面１２３ｃは、複数（６つ）の締結面１２３ｂと、ソケット部１２３の上記内周面１２３ｉとを互いに接続する面であり、一方側Ｄａ１を向いている。本実施形態では、位置決め面１２３ｃは、開口１２３ｅが広がる方向に対して平行に配置されている。すなわち、位置決め面１２３ｃは、各々の締結面１２３ｂに対して垂直に配置されている。位置決め面１２３ｃは、収容部１２３ｒにナット２０２が収容された際、当該ナット２０２を位置決めさせるための面である。図３に示すように、位置決め面１２３ｃは、一方側Ｄａ１から見て、正六角形の中央部分から正円形を取り除いた形状を成している。この位置決め面１２３ｃにナット２０２のカラー２０２ｂが一方側Ｄａ１から当接することで、ナット２０２が位置決めされる。つまり、位置決め面１２３ｃによってナット２０２の位置が位置決めされることで、当該ナット２０２が収容部１２３ｒよりも他方側Ｄａ２の収容空間Ｒに入り込むことがない。
【0027】
（ナット保持部材）
ナット保持部材１２４は、ナットランナ１２１の収容部１２３ｒにナット２０２のカラー２０２ｂが収容された際、当該ナット２０２が収容部１２３ｒから一方側Ｄａ１へ抜け落ちることがないようにナット２０２を保持する。図２に戻り、ナット保持部材１２４は、ソケット部１２３の外周側に設けられている。本実施形態では、２つのナット保持部材１２４がソケット部１２３の外周側でソケット部１２３を間に挟むように設けられている。なお、３つ以上のナット保持部材１２４がソケット部１２３を中心にして回転軸線Ａｒ回りに等間隔に配置されてもよい。ナット保持部材１２４は、例えば、回動軸１２５と、第１部分１２６と、第２部分１２７とを有している。
ナット保持部材１２４は、ナットランナ１２１の収容部１２３ｒにナット２０２のカラー２０２ｂが収容された際、当該ナット２０２が収容部１２３ｒから一方側Ｄａ１へ抜け落ちることがないようにナット２０２を保持する。図２に戻り、ナット保持部材１２４は、ソケット部１２３の外周側に設けられている。本実施形態では、２つのナット保持部材１２４がソケット部１２３の外周側でソケット部１２３を間に挟むように設けられている。なお、３つ以上のナット保持部材１２４がソケット部１２３を中心にして回転軸線Ａｒ回りに等間隔に配置されてもよい。ナット保持部材１２４は、例えば、回動軸１２５と、第１部分１２６と、第２部分１２７とを有している。
【0028】
回動軸１２５は、ソケット部１２３の外周面１２３ｏに回動可能に設けられている。第１部分１２６は、回動軸１２５に固定されており、回転軸線Ａｒに交差する方向に延びる棒状の部材である。第２部分１２７は、第１部分１２６からソケット部１２３の先端側に向かって延びる延在部１２７ａと、当該延在部１２７ａの先端に設けられて回転軸線Ａｒに近づくように延在部１２７ａから突出する爪部１２７ｂとを有している。延在部１２７ａは、回転軸線Ａｒに沿って延びる棒状の部材である。延在部１２７ａは、第１部分１２６と共にＬ字状を成している。爪部１２７ｂは、延在部１２７ａから回転軸線Ａｒに近づくにしたがって他方側Ｄａ２に向かっており、回転軸線Ａｒに近づくにしたがって先細りした形状を成している。爪部１２７ｂは、ソケット部１２３の開口１２３ｅよりも一方側Ｄａ１に配置されている。また、図２および図３に示すように、爪部１２７ｂの先端は、締結面１２３ｂよりも回転軸線Ａｒに近い側に位置している。爪部１２７ｂの先端は、ナット２０２のカラー２０２ｂがソケット部１２３の収容部１２３ｒに収容された際、弾性部材１２８（後述）の弾性力によってナット２０２の側面に当接する。具体的には、ナット２０２が収容部１２３ｒに収容された際、当該ナット２０２は、２つの爪部１２７ｂによって把持される（拘束される）。
【0029】
（弾性部材）
弾性部材１２８は、ナットランナ１２１の基部１２２と、ナット保持部材１２４の第１部分１２６との間に設けられたばねである。具体的には、弾性部材１２８は、一端が基部１２２の前面１２２ａに固定されており、他端が第１部分１２６に固定されている。したがって、弾性部材１２８は、基部１２２と第１部分１２６とを互いに接続している。弾性部材１２８は、第１部分１２６に対してソケット部１２３の先端側（一方側Ｄａ１）に向かう弾性力を付与している。本実施形態では、１つの弾性部材１２８が１つのナット保持部材１２４に対応するように、基部１２２と第１部分１２６との間に設けられている。なお、複数の弾性部材１２８が１つのナット保持部材１２４に対応するように、基部１２２と第１部分１２６との間に設けられてもよい。また、弾性部材１２８は、第１部分１２６に対してソケット部１２３の先端側（一方側Ｄａ１）に向かう弾性力を付与することが可能であれば、ばねに限定されることはない。
弾性部材１２８は、ナットランナ１２１の基部１２２と、ナット保持部材１２４の第１部分１２６との間に設けられたばねである。具体的には、弾性部材１２８は、一端が基部１２２の前面１２２ａに固定されており、他端が第１部分１２６に固定されている。したがって、弾性部材１２８は、基部１２２と第１部分１２６とを互いに接続している。弾性部材１２８は、第１部分１２６に対してソケット部１２３の先端側（一方側Ｄａ１）に向かう弾性力を付与している。本実施形態では、１つの弾性部材１２８が１つのナット保持部材１２４に対応するように、基部１２２と第１部分１２６との間に設けられている。なお、複数の弾性部材１２８が１つのナット保持部材１２４に対応するように、基部１２２と第１部分１２６との間に設けられてもよい。また、弾性部材１２８は、第１部分１２６に対してソケット部１２３の先端側（一方側Ｄａ１）に向かう弾性力を付与することが可能であれば、ばねに限定されることはない。
【0030】
以下、図４および図５を参照して、エンドエフェクタ１２のナット保持部材１２４にナット２０２を保持させる際のナット保持部材１２４の動き、および、エンドエフェクタ１２のナット保持部材１２４からカラー２０２ｂを取り外す際のナット保持部材１２４の動きを説明する。
【0031】
図４中の（ａ）に示すように、組立システム１００を利用するオペレータ（熟練作業員）などの手によって扱われたナット２０２のカラー２０２ｂが一方側Ｄａ１から爪部１２７ｂに当接した状態で、弾性部材１２８の弾性力に抗しながら他方側Ｄａ２に押圧されることで、ナット保持部材１２４の第２部分１２７および第１部分１２６は、回動軸１２５と共に回動する。第２部分１２７および第１部分１２６が回動軸１２５と共に回動することで、爪部１２７ｂ同士の間隔は、ナット２０２が通ることができる程度に広がる。そして、図４中の（ｂ）に示すように、爪部１２７ｂの間を通り抜けたナット２０２のカラー２０２ｂは、収容部１２３ｒ内に入り込み、テーパ面１２３ａによって他方側Ｄａ２に案内されながら、締結面１２３ｂおよび位置決め面１２３ｃによって画定された領域で位置決めされる。この際、弾性部材１２８が第１部分１２６を一方側Ｄａ１に押圧しているため、第１部分１２６から延びる延在部１２７ａと一体の爪部１２７ｂは、ナット本体２０２ａの側面に当接する。つまり、ナット本体２０２ａは、カラー２０２ｂが収容部１２３ｒに収容された際、２つの爪部１２７ｂによって把持される（拘束される）。なお、オペレータの手に代えて、治具やアクチュエータなどを用いてナット２０２をエンドエフェクタ１２のナット保持部材１２４に保持させてもよい。
【0032】
図５中の（ａ）に示すように、ナットランナ１２１のソケット部１２３の回転によってナット２０２がボルト２０１に締結された際、ナット２０２のナット本体２０２ａのみがボルト２０１に締結された状態でカラー２０２ｂがナット本体２０２ａから外れる（破断する）。そして、ナット本体２０２ａから分離されたカラー２０２ｂは、ナット保持部材１２４の爪部１２７ｂによって保持される。つまり、ナット２０２がカラー切りされる。そして、図５中の（ｂ）に示すように、オペレータなどの手によって第１部分１２６が弾性部材１２８の弾性力に抗しながら他方側Ｄａ２に押圧されることで、第１部分１２６および第２部分１２７が回動軸１２５を中心に回動した結果、爪部１２７ｂ同士の間隔は、カラー２０２ｂが通ることができる程度に広がる。これによって、爪部１２７ｂによって保持されていたカラー２０２ｂが爪部１２７ｂ同士の隙間から落下する。すなわち、第１部分１２６は、ナット本体２０２ａとボルト２０１との締結が終わった後にナット保持部材１２４によって保持されたカラー２０２ｂを、爪部１２７ｂ同士の隙間から落下させるためのレバーとして機能している。
【0033】
（制御装置の構成）
制御装置３０は、エンドエフェクタ１２に保持されたナット２０２が施工対象物２００に設けられたボルト２０１に締結されるように、マニピュレータ１０の各々の関節角、およびエンドエフェクタ１２の本体部１２０が有する締結用モータ１２０ａを制御する。図７に示すように、制御装置３０は、例えば、取得部３１と、算出部３２と、座標変換部３３と、補正部３４と、判定部３５と、制御部３６と、学習部３７と、カウンタ部３８と、記憶部３９とを備えている。
制御装置３０は、エンドエフェクタ１２に保持されたナット２０２が施工対象物２００に設けられたボルト２０１に締結されるように、マニピュレータ１０の各々の関節角、およびエンドエフェクタ１２の本体部１２０が有する締結用モータ１２０ａを制御する。図７に示すように、制御装置３０は、例えば、取得部３１と、算出部３２と、座標変換部３３と、補正部３４と、判定部３５と、制御部３６と、学習部３７と、カウンタ部３８と、記憶部３９とを備えている。
【0034】
（取得部）
取得部３１は、エンコーダ１３０（第１センサ１３）および力覚センサ１４０（第２センサ１４）から送信されるセンサデータをリアルタイムで受信することで経時的に取得する。取得部３１は、エンコーダ１３０から各々の関節部１１０（第１関節部１１１～第６関節部１１６）の関節角を第１所定周期で取得し、力覚センサ１４０から力データを第１所定周期で取得する。第１所定周期は、例えば、エンコーダ１３０または力覚センサ１４０のサンプリングレートなどに基づき決定される。また、取得部３１は、撮像装置２０から送信される画像をリアルタイムで受信することで経時的に取得する。取得部３１は、画像を第２所定周期で撮像装置２０から取得する。第２所定周期は、例えば、撮像装置２０のフレームレート（ｆｐｓ：flames per second）などに基づき決定される。なお、第２所定周期は、第１所定周期と同じであってもよく、異なっていてもよい。また、取得部３１は、直近の施工の対象となるボルト２０１の中心位置座標を、記憶部３９によってあらかじめ記憶されている施工対象物２００のＣＡＤデータ３９５（Computer-Aided Design）などから取得する。施工対象物２００のＣＡＤデータ３９５は、例えば、施工対象物２００の輪郭を３次元的に示した点群データなどを含む。当該点群データを構成する各々の点には、マニピュレータ１０が持つ原点（０，０，０）に準拠した世界座標系で表現される３次元の座標（Ｘｗ，Ｙｗ，Ｚｗ）が割り当てられている。
取得部３１は、エンコーダ１３０（第１センサ１３）および力覚センサ１４０（第２センサ１４）から送信されるセンサデータをリアルタイムで受信することで経時的に取得する。取得部３１は、エンコーダ１３０から各々の関節部１１０（第１関節部１１１～第６関節部１１６）の関節角を第１所定周期で取得し、力覚センサ１４０から力データを第１所定周期で取得する。第１所定周期は、例えば、エンコーダ１３０または力覚センサ１４０のサンプリングレートなどに基づき決定される。また、取得部３１は、撮像装置２０から送信される画像をリアルタイムで受信することで経時的に取得する。取得部３１は、画像を第２所定周期で撮像装置２０から取得する。第２所定周期は、例えば、撮像装置２０のフレームレート（ｆｐｓ：flames per second）などに基づき決定される。なお、第２所定周期は、第１所定周期と同じであってもよく、異なっていてもよい。また、取得部３１は、直近の施工の対象となるボルト２０１の中心位置座標を、記憶部３９によってあらかじめ記憶されている施工対象物２００のＣＡＤデータ３９５（Computer-Aided Design）などから取得する。施工対象物２００のＣＡＤデータ３９５は、例えば、施工対象物２００の輪郭を３次元的に示した点群データなどを含む。当該点群データを構成する各々の点には、マニピュレータ１０が持つ原点（０，０，０）に準拠した世界座標系で表現される３次元の座標（Ｘｗ，Ｙｗ，Ｚｗ）が割り当てられている。
【0035】
取得部３１は、取得した各々の関節部１１０の関節角を算出部３２に送るとともに記憶部３９に記憶させ、取得した力データを補正部３４に送るとともに記憶部３９に記憶させ、取得したボルト２０１の中心位置座標を座標変換部３３に送るとともに記憶部３９に記憶させ、取得した画像を判定部３５および制御部３６に送るとともに記憶部３９に記憶させる。また、取得部３１は、取得したボルト２０１の中心位置座標を座標変換部３３に送った際、直近の施工の対象となるボルト２０１の中心位置座標を取得した旨を示す取得フラグをカウンタ部３８に送る。取得フラグは、例えば１である。なお、カウンタ部３８は、取得部３１から受け付けた取得フラグを受け付けるたびに順次加算していき、取得フラグの加算結果を第６判定部３５６に送る。
【0036】
（算出部）
算出部３２は、取得部３１から受け付けた各々の関節部１１０（第１関節部１１１～第６関節部１１６）の関節角に基づき、ナット２０２の位置座標および姿勢角を算出する。具体的には、図８に示すように、算出部３２は、各々の関節部１１０の関節角に基づき、マニピュレータ１０が持つ原点に準拠したナット２０２の端面２０２ｅの中心部分の位置座標（Ｘｎ，Ｙｎ，Ｚｎ）、および当該位置座標が表現される世界座標系の３座標面（ＸＹ平面、ＹＺ平面、ＺＸ平面）のそれぞれに対する傾斜角度である姿勢角（θｘ，θｙ，θｚ）を算出する。図８中では、図示の便宜上、ナット２０２の位置座標（Ｘｎ，Ｙｎ，Ｚｎ）のみを示している。マニピュレータ１０が持つ原点は、マニピュレータ１０中に設定された任意の一点であってもよいし、マニピュレータ１０と施工対象物２００との位置関係を調整するためのキャリブレーションなどがなされた後に設定された施工対象物２００中の任意の一点であってもよい。図８中では、施工対象物２００中にマニピュレータ１０が持つ原点が配置された場合を一例として示している。
算出部３２は、取得部３１から受け付けた各々の関節部１１０（第１関節部１１１～第６関節部１１６）の関節角に基づき、ナット２０２の位置座標および姿勢角を算出する。具体的には、図８に示すように、算出部３２は、各々の関節部１１０の関節角に基づき、マニピュレータ１０が持つ原点に準拠したナット２０２の端面２０２ｅの中心部分の位置座標（Ｘｎ，Ｙｎ，Ｚｎ）、および当該位置座標が表現される世界座標系の３座標面（ＸＹ平面、ＹＺ平面、ＺＸ平面）のそれぞれに対する傾斜角度である姿勢角（θｘ，θｙ，θｚ）を算出する。図８中では、図示の便宜上、ナット２０２の位置座標（Ｘｎ，Ｙｎ，Ｚｎ）のみを示している。マニピュレータ１０が持つ原点は、マニピュレータ１０中に設定された任意の一点であってもよいし、マニピュレータ１０と施工対象物２００との位置関係を調整するためのキャリブレーションなどがなされた後に設定された施工対象物２００中の任意の一点であってもよい。図８中では、施工対象物２００中にマニピュレータ１０が持つ原点が配置された場合を一例として示している。
【0037】
算出部３２は、算出したナット２０２の位置座標を座標変換部３３に送るとともに記憶部３９に記憶させ、算出したナット２０２の姿勢角を判定部３５および制御部３６に送るとともに記憶部３９に記憶させる。なお、算出部３２は、上記の算出動作に代えて、記憶部３９にあらかじめ記憶されている、各々の関節部１１０の関節角と、ナット２０２の位置座標および姿勢角とが互いに関連付いた対応関係情報（関数など）に各々の関節角を入力することで出力された位置座標および姿勢角をナット２０２の位置座標および姿勢角として取得してもよい。
【0038】
（座標変換部）
座標変換部３３は、取得部３１から受け付けたボルト２０１の中心位置座標に基づき、算出部３２から受け付けたナット２０２の位置座標をボルト中心座標系によって表現された位置座標に変換する。具体的には、座標変換部３３は、世界座標系で表現されたナット２０２の位置座標を示すベクトルから、受け付けた直近の施工の対象とするボルト２０１の中心位置座標を示すベクトルを減算することによって、図８中に矢印Ａ（ベクトル）で示すように、ナット２０２の位置座標をボルト中心座標系（Ｘｂ，Ｙｂ，Ｚｂ）に変換する。本実施形態では、ボルト２０１の中心位置座標（ボルト中心座標系の原点）は、例えば、ボルト２０１の中心線Ａｒ２上のどこかに配置されており、例えば、施工対象物２００の表面とボルト２０１の中心線Ａｒ２とが仮想的に交わる個所に配置されている。座標変換部３３は、ボルト中心座標系に変換したナット２０２の位置座標を判定部３５および制御部３６に送るとともに記憶部３９に記憶させる。
座標変換部３３は、取得部３１から受け付けたボルト２０１の中心位置座標に基づき、算出部３２から受け付けたナット２０２の位置座標をボルト中心座標系によって表現された位置座標に変換する。具体的には、座標変換部３３は、世界座標系で表現されたナット２０２の位置座標を示すベクトルから、受け付けた直近の施工の対象とするボルト２０１の中心位置座標を示すベクトルを減算することによって、図８中に矢印Ａ（ベクトル）で示すように、ナット２０２の位置座標をボルト中心座標系（Ｘｂ，Ｙｂ，Ｚｂ）に変換する。本実施形態では、ボルト２０１の中心位置座標（ボルト中心座標系の原点）は、例えば、ボルト２０１の中心線Ａｒ２上のどこかに配置されており、例えば、施工対象物２００の表面とボルト２０１の中心線Ａｒ２とが仮想的に交わる個所に配置されている。座標変換部３３は、ボルト中心座標系に変換したナット２０２の位置座標を判定部３５および制御部３６に送るとともに記憶部３９に記憶させる。
【0039】
（補正部）
補正部３４は、取得部３１から受け付けた力データに含まれる接触力を補正する。図９は、エンドエフェクタ１２が保持したナット２０２がボルト２０１に接触した際にナット２０２がボルト２０１から受ける接触力を概念的に説明するための図である。図９中では、図示の便宜上、軸線方向Ｄａに働く接触力を矢印Ｆｂで示し、回転軸線Ａｒ回りに作用するトルクを矢印Ｆｔで示している。図１０は、補正部３４が接触力（矢印Ｆｂ）の補正に用いる補正値（矢印Ｆｇ１）を概念的に説明するための図である。図１０中では、Ｄｖが鉛直方向を示しており、ＣＧがエンドエフェクタ１２の重心位置を示している。補正部３４は、エンドエフェクタ１２の自重（矢印Ｆｇ）に基づく補正値（矢印Ｆｇ１）を接触力に加算することで、取得部３１から受け付けた接触力（矢印Ｆｂ）を補正する。補正値（矢印Ｆｇ１）は、例えば、重力に伴うエンドエフェクタ１２の自重（矢印Ｆｇ）が軸線方向Ｄａにおける一方側Ｄａ１に方向成分を有する場合（図１０中の（ａ））に負の値を示す。一方、補正値（矢印Ｆｇ１）は、例えば、エンドエフェクタ１２の自重（矢印Ｆｇ）が軸線方向Ｄａにおける他方側Ｄａ２に方向成分を有する場合（図１０中の（ｂ））に正の値を示す。補正値は、例えば、各々の関節部１１０の関節角に関連付いた対応関係情報（関数など）として、記憶部３９にあらかじめ記憶されている。補正部３４は、記憶部３９に記憶されている当該対応関係情報を適時に参照することで補正値を取得する。補正部３４は、補正後の接触力を含む力データを判定部３５および制御部３６に送るとともに記憶部３９に記憶させる。
補正部３４は、取得部３１から受け付けた力データに含まれる接触力を補正する。図９は、エンドエフェクタ１２が保持したナット２０２がボルト２０１に接触した際にナット２０２がボルト２０１から受ける接触力を概念的に説明するための図である。図９中では、図示の便宜上、軸線方向Ｄａに働く接触力を矢印Ｆｂで示し、回転軸線Ａｒ回りに作用するトルクを矢印Ｆｔで示している。図１０は、補正部３４が接触力（矢印Ｆｂ）の補正に用いる補正値（矢印Ｆｇ１）を概念的に説明するための図である。図１０中では、Ｄｖが鉛直方向を示しており、ＣＧがエンドエフェクタ１２の重心位置を示している。補正部３４は、エンドエフェクタ１２の自重（矢印Ｆｇ）に基づく補正値（矢印Ｆｇ１）を接触力に加算することで、取得部３１から受け付けた接触力（矢印Ｆｂ）を補正する。補正値（矢印Ｆｇ１）は、例えば、重力に伴うエンドエフェクタ１２の自重（矢印Ｆｇ）が軸線方向Ｄａにおける一方側Ｄａ１に方向成分を有する場合（図１０中の（ａ））に負の値を示す。一方、補正値（矢印Ｆｇ１）は、例えば、エンドエフェクタ１２の自重（矢印Ｆｇ）が軸線方向Ｄａにおける他方側Ｄａ２に方向成分を有する場合（図１０中の（ｂ））に正の値を示す。補正値は、例えば、各々の関節部１１０の関節角に関連付いた対応関係情報（関数など）として、記憶部３９にあらかじめ記憶されている。補正部３４は、記憶部３９に記憶されている当該対応関係情報を適時に参照することで補正値を取得する。補正部３４は、補正後の接触力を含む力データを判定部３５および制御部３６に送るとともに記憶部３９に記憶させる。
【0040】
（判定部）
判定部３５は、取得部３１から受け付けた画像、算出部３２から受け付けたナット２０２の姿勢角、座標変換部３３から受け付けたナット２０２の位置座標、ならびに、補正部３４から受け付けた力データに基づき、各種の判定の処理を行う。図７に戻り、判定部３５は、例えば、第１判定部３５１と、第２判定部３５２と、第３判定部３５３と、第４判定部３５４と、第５判定部３５５と、第６判定部３５６とを有している。
判定部３５は、取得部３１から受け付けた画像、算出部３２から受け付けたナット２０２の姿勢角、座標変換部３３から受け付けたナット２０２の位置座標、ならびに、補正部３４から受け付けた力データに基づき、各種の判定の処理を行う。図７に戻り、判定部３５は、例えば、第１判定部３５１と、第２判定部３５２と、第３判定部３５３と、第４判定部３５４と、第５判定部３５５と、第６判定部３５６とを有している。
【0041】
（第１判定部）
第１判定部３５１は、補正部３４から受け付けた力データに基づき、ナット２０２がボルト２０１に接触しているか否かを判定する。以下、第１判定部３５１による判定を「第１判定」と称する。第１判定部３５１は、例えば、受け付けた力データに含まれる接触力が所定の接触力の大きさを示す第１しきい値未満である場合に、ナット２０２がボルト２０１に接触していないと判定する。一方、第１判定部３５１は、取得した力データに含まれる接触力が第１しきい値以上である場合に、ナット２０２がボルト２０１に接触していると判定する。以下、ナット２０２がボルト２０１に接触していない時のナット２０２の位置を「第１位置」と称し、ナット２０２がボルト２０１に接触している時のナット２０２の位置を「第２位置」と称する。後述のナット２０２およびボルト２０１が螺合した状態は、ナット２０２が第２位置に位置した状態に含まれる。なお、第１しきい値は、例えば記憶部３９にあらかじめ記憶されている。第１判定部３５１は、記憶部３９に記憶されている第１しきい値を適時に参照することで上記第１判定を行う。第１判定部３５１は、ナット２０２がボルト２０１に接触している否かを示す第１判定の結果を制御部３６に送る。
第１判定部３５１は、補正部３４から受け付けた力データに基づき、ナット２０２がボルト２０１に接触しているか否かを判定する。以下、第１判定部３５１による判定を「第１判定」と称する。第１判定部３５１は、例えば、受け付けた力データに含まれる接触力が所定の接触力の大きさを示す第１しきい値未満である場合に、ナット２０２がボルト２０１に接触していないと判定する。一方、第１判定部３５１は、取得した力データに含まれる接触力が第１しきい値以上である場合に、ナット２０２がボルト２０１に接触していると判定する。以下、ナット２０２がボルト２０１に接触していない時のナット２０２の位置を「第１位置」と称し、ナット２０２がボルト２０１に接触している時のナット２０２の位置を「第２位置」と称する。後述のナット２０２およびボルト２０１が螺合した状態は、ナット２０２が第２位置に位置した状態に含まれる。なお、第１しきい値は、例えば記憶部３９にあらかじめ記憶されている。第１判定部３５１は、記憶部３９に記憶されている第１しきい値を適時に参照することで上記第１判定を行う。第１判定部３５１は、ナット２０２がボルト２０１に接触している否かを示す第１判定の結果を制御部３６に送る。
【0042】
（第２判定部）
第２判定部３５２は、算出部３２から受け付けたナット２０２の姿勢角、および座標変換部３３から受け付けたナット２０２の位置座標に基づき、ナット２０２の状態に異常があるか否かを判定する。以下、第２判定部３５２による判定を「第２判定」と称する。第２判定部３５２は、受け付けたナット２０２の位置座標がボルト中心座標系で表現された所定の座標領域（３次元領域）を逸脱している場合に、ナット２０２の位置座標に問題があると判定する。一方、第２判定部３５２は、受け付けたナット２０２の位置座標が座標領域内である場合に、ナット２０２の位置座標に問題がないと判定する。また、第２判定部３５２は、受け付けたナット２０２の姿勢角が所定の姿勢角しきい値以上である場合に、ナット２０２の姿勢角に問題があると判定する。一方、第２判定部３５２は、受け付けたナット２０２の姿勢角が姿勢角しきい値未満である場合に、ナット２０２の姿勢角に問題がないと判定する。第２判定部３５２は、ナット２０２の位置座標および姿勢角のうち１つ以上に問題があると判定した場合に、ナット２０２の状態に異常があると判定する。一方、第２判定部３５２は、ナット２０２の位置座標および姿勢角のいずれにも問題がないと判定した場合に、ナット２０２の状態に異常がないと判定する。なお、上記の座標領域および姿勢角しきい値は、例えば記憶部３９にあらかじめ記憶されている。第２判定部３５２は、記憶部３９に記憶されている座標領域および姿勢角しきい値を適時に参照することで上記第２判定を行う。第２判定部３５２は、第２判定の結果を制御部３６に送る。
第２判定部３５２は、算出部３２から受け付けたナット２０２の姿勢角、および座標変換部３３から受け付けたナット２０２の位置座標に基づき、ナット２０２の状態に異常があるか否かを判定する。以下、第２判定部３５２による判定を「第２判定」と称する。第２判定部３５２は、受け付けたナット２０２の位置座標がボルト中心座標系で表現された所定の座標領域（３次元領域）を逸脱している場合に、ナット２０２の位置座標に問題があると判定する。一方、第２判定部３５２は、受け付けたナット２０２の位置座標が座標領域内である場合に、ナット２０２の位置座標に問題がないと判定する。また、第２判定部３５２は、受け付けたナット２０２の姿勢角が所定の姿勢角しきい値以上である場合に、ナット２０２の姿勢角に問題があると判定する。一方、第２判定部３５２は、受け付けたナット２０２の姿勢角が姿勢角しきい値未満である場合に、ナット２０２の姿勢角に問題がないと判定する。第２判定部３５２は、ナット２０２の位置座標および姿勢角のうち１つ以上に問題があると判定した場合に、ナット２０２の状態に異常があると判定する。一方、第２判定部３５２は、ナット２０２の位置座標および姿勢角のいずれにも問題がないと判定した場合に、ナット２０２の状態に異常がないと判定する。なお、上記の座標領域および姿勢角しきい値は、例えば記憶部３９にあらかじめ記憶されている。第２判定部３５２は、記憶部３９に記憶されている座標領域および姿勢角しきい値を適時に参照することで上記第２判定を行う。第２判定部３５２は、第２判定の結果を制御部３６に送る。
【0043】
（第３判定部）
第３判定部３５３は、取得部３１から受け付けた画像、算出部３２から受け付けたナット２０２の姿勢角、座標変換部３３から受け付けたナット２０２の位置座標、ならびに、補正部３４から受け付けた力データに基づき、ナット２０２の螺合が成功したか否かを判定する。すなわち、第３判定部３５３は、ナット２０２およびボルト２０１の螺合の成否を判定する。本明細書中における「螺合」とは、例えば、ナット２０２の雌ねじ部としてのナット孔２０２ｈ内における、端面２０２ｅに最も近い最初の一山が、ボルト２０１の露出した雄ねじ部２０１ａにおける、端面２０１ｅに最も近い最初の一山にはまった（かかった）状態などを意味する。本実施形態では、第３判定部３５３は、画像と、ナット２０２の位置座標および姿勢角と、力データとを含むデータセットが入力されると、ナット２０２およびボルト２０１の螺合の成否を示す判定結果を出力するように学習された学習済みモデルを用いて判定を行う。以下、第３判定部３５３による判定を「第３判定」と称し、第３判定部３５３が第３判定に用いる学習済みモデルを「第３学習済みモデル３９３」と称する。すなわち、第３学習済みモデル３９３は、画像と、ナット２０２の位置座標および姿勢角と、力データとを含むデータセットを入力要素とし、ナット２０２およびボルト２０１の螺合の成否を示す判定結果を出力要素としている。第３学習済みモデル３９３は、例えば記憶部３９にあらかじめ記憶されている。第３判定部３５３は、記憶部３９に記憶されている第３学習済みモデル３９３に上記データセットを入力することで出力された判定結果を第３判定の結果として取得する。
第３判定部３５３は、取得部３１から受け付けた画像、算出部３２から受け付けたナット２０２の姿勢角、座標変換部３３から受け付けたナット２０２の位置座標、ならびに、補正部３４から受け付けた力データに基づき、ナット２０２の螺合が成功したか否かを判定する。すなわち、第３判定部３５３は、ナット２０２およびボルト２０１の螺合の成否を判定する。本明細書中における「螺合」とは、例えば、ナット２０２の雌ねじ部としてのナット孔２０２ｈ内における、端面２０２ｅに最も近い最初の一山が、ボルト２０１の露出した雄ねじ部２０１ａにおける、端面２０１ｅに最も近い最初の一山にはまった（かかった）状態などを意味する。本実施形態では、第３判定部３５３は、画像と、ナット２０２の位置座標および姿勢角と、力データとを含むデータセットが入力されると、ナット２０２およびボルト２０１の螺合の成否を示す判定結果を出力するように学習された学習済みモデルを用いて判定を行う。以下、第３判定部３５３による判定を「第３判定」と称し、第３判定部３５３が第３判定に用いる学習済みモデルを「第３学習済みモデル３９３」と称する。すなわち、第３学習済みモデル３９３は、画像と、ナット２０２の位置座標および姿勢角と、力データとを含むデータセットを入力要素とし、ナット２０２およびボルト２０１の螺合の成否を示す判定結果を出力要素としている。第３学習済みモデル３９３は、例えば記憶部３９にあらかじめ記憶されている。第３判定部３５３は、記憶部３９に記憶されている第３学習済みモデル３９３に上記データセットを入力することで出力された判定結果を第３判定の結果として取得する。
【0044】
第３学習済みモデル３９３は、例えば、ディープニューラルネットワーク（ＤＮＮ：Deep Neural Network）などの深層学習モデル（教師あり学習モデル）である。第３学習済みモデル３９３は、上記データセットが入力されるとともに、入力されたデータセットに対するナット２０２の螺合の成否（螺合できている、あるいは螺合できていないと人間によって正確に判断された正解データ）が教示される学習ステップが、複数回（例えば数百回）繰り返されることで生成される（学習する）。なお、第３学習済みモデル３９３には、例えば、畳み込みニューラルネットワーク（ＣＮＮ）や回帰型ニューラルネットワーク（ＲＮＮ）などの深層学習モデルが用いられてよい。
【0045】
第３判定部３５３は、ナット２０２およびボルト２０１の螺合が失敗したことを第３判定の結果が示す場合に、リトライ動作（後述）が必要であることを示すフラグ（ｉ＝１）を出力する。一方、第３判定部３５３は、ナット２０２およびボルト２０１の螺合が成功したことを第３判定の結果が示す場合に、リトライ動作が必要でないことを示すフラグ（ｉ＝０）を出力する。以下、第３判定部３５３が出力するリトライ動作の要否に関するフラグ（ｉ＝１または０）を「リトライフラグ」と称する。すなわち、第３判定部３５３が出力するリトライフラグは、第３判定の結果を示し、１または０の値である。第３判定部３５３は、第３判定の結果であるリトライフラグを制御部３６およびカウンタ部３８に送るとともに記憶部３９に記憶させる。なお、カウンタ部３８は、第３判定部３５３から受け付けたリトライフラグを受け付けるたびに順次加算していき、リトライフラグの加算結果を第６判定部３５６に送る。
【0046】
（第４判定部）
第４判定部３５４は、取得部３１から受け付けた画像、算出部３２から受け付けたナット２０２の姿勢角、座標変換部３３から受け付けたナット２０２の位置座標、ならびに、補正部３４から受け付けた力データに基づき、ナット２０２の締結が成功したか否かを判定する。すなわち、第４判定部３５４は、ナット２０２およびボルト２０１の締結の成否を判定する。本明細書中における「締結」とは、例えば、ナット２０２の雌ねじ部としてのナット孔２０２ｈ内における、端面２０２ｅから最も遠い最後の一山が、ボルト２０１の露出した雄ねじ部２０１ａにおける、端面２０１ｅから最も遠い最後の一山にはまった状態などを意味する。本実施形態では、第４判定部３５４は、画像と、ナット２０２の位置座標および姿勢角と、力データとを含むデータセットが入力されると、ナット２０２およびボルト２０１の締結の成否を示す判定結果を出力するように学習された学習済みモデルを用いて判定を行う。以下、第４判定部３５４による判定を「第４判定」と称し、第４判定部３５４が第４判定に用いる学習済みモデルを「第４学習済みモデル３９４」と称する。すなわち、第４学習済みモデル３９４は、画像と、ナット２０２の位置座標および姿勢角と、力データとを含むデータセットを入力要素とし、ナット２０２およびボルト２０１の締結の成否を示す判定結果を出力要素としている。第４学習済みモデル３９４は、例えば記憶部３９にあらかじめ記憶されている。第４判定部３５４は、記憶部３９に記憶されている第４学習済みモデル３９４に上記データセットを入力することで出力された判定結果を第４判定の結果として取得する。
第４判定部３５４は、取得部３１から受け付けた画像、算出部３２から受け付けたナット２０２の姿勢角、座標変換部３３から受け付けたナット２０２の位置座標、ならびに、補正部３４から受け付けた力データに基づき、ナット２０２の締結が成功したか否かを判定する。すなわち、第４判定部３５４は、ナット２０２およびボルト２０１の締結の成否を判定する。本明細書中における「締結」とは、例えば、ナット２０２の雌ねじ部としてのナット孔２０２ｈ内における、端面２０２ｅから最も遠い最後の一山が、ボルト２０１の露出した雄ねじ部２０１ａにおける、端面２０１ｅから最も遠い最後の一山にはまった状態などを意味する。本実施形態では、第４判定部３５４は、画像と、ナット２０２の位置座標および姿勢角と、力データとを含むデータセットが入力されると、ナット２０２およびボルト２０１の締結の成否を示す判定結果を出力するように学習された学習済みモデルを用いて判定を行う。以下、第４判定部３５４による判定を「第４判定」と称し、第４判定部３５４が第４判定に用いる学習済みモデルを「第４学習済みモデル３９４」と称する。すなわち、第４学習済みモデル３９４は、画像と、ナット２０２の位置座標および姿勢角と、力データとを含むデータセットを入力要素とし、ナット２０２およびボルト２０１の締結の成否を示す判定結果を出力要素としている。第４学習済みモデル３９４は、例えば記憶部３９にあらかじめ記憶されている。第４判定部３５４は、記憶部３９に記憶されている第４学習済みモデル３９４に上記データセットを入力することで出力された判定結果を第４判定の結果として取得する。
【0047】
第４学習済みモデル３９４は、例えば、ディープニューラルネットワーク（ＤＮＮ）などの深層学習モデル（教師あり学習モデル）である。第４学習済みモデル３９４は、上記データセットが入力されるとともに、入力されたデータセットに対するナット２０２の締結の成否（締結できている、あるいは締結できていないと人間によって正確に判断された正解データ）が教示される学習ステップが、複数回（例えば数百回）繰り返されることで生成される（学習する）。なお、第４学習済みモデル３９４には、例えば、畳み込みニューラルネットワーク（ＣＮＮ）や回帰型ニューラルネットワーク（ＲＮＮ）などの深層学習モデルが用いられてよい。
【0048】
第４判定部３５４は、ナット２０２およびボルト２０１の締結が失敗したことを第４判定の結果が示す場合に、リトライ動作が必要であることを示すフラグ（ｉ＝１）を出力する。一方、第４判定部３５４は、ナット２０２およびボルト２０１の締結が成功したことを第４判定の結果が示す場合に、リトライ動作が必要でないことを示すフラグ（ｉ＝０）を出力する。以下、第４判定部３５４が出力するリトライ動作の要否に関するフラグ（ｉ＝１または０）を、第３判定部３５３が出力するリトライフラグと区別することなく「リトライフラグ」と称する。すなわち、第４判定部３５４が出力するリトライフラグは、第４判定の結果を示し、１または０の値である。第４判定部３５４は、第４判定の結果であるリトライフラグを第５判定部３５５、制御部３６、およびカウンタ部３８に送るとともに記憶部３９に記憶させる。なお、カウンタ部３８は、第４判定部３５４から受け付けたリトライフラグを受け付けるたびに順次加算していき、リトライフラグの加算結果を第６判定部３５６に送る。
【0049】
（第５判定部）
第５判定部３５５は、第４判定部３５４から受け付けた第４判定の結果がナット２０２の締結が成功したことを示す場合（ｉ＝０）に、カラー２０２ｂが破断して切断（カラー切り）されたか否かを判定する。具体的には、第５判定部３５５は、例えば補正部３４から受け付けた力データに基づき、ナット２０２のカラー２０２ｂがナット本体２０２ａから分離しているか否かを判定する。以下、第５判定部３５５による判定を「第５判定」と称する。第５判定部３５５は、例えば、受け付けた力データに含まれる接触力が所定の接触力の大きさを示す第２しきい値未満である場合に、カラー２０２ｂが切断されたと判定する。一方、第５判定部３５５は、取得した力データに含まれる接触力が第２しきい値以上である場合に、カラー２０２ｂが切断されていないと判定する。
第５判定部３５５は、第４判定部３５４から受け付けた第４判定の結果がナット２０２の締結が成功したことを示す場合（ｉ＝０）に、カラー２０２ｂが破断して切断（カラー切り）されたか否かを判定する。具体的には、第５判定部３５５は、例えば補正部３４から受け付けた力データに基づき、ナット２０２のカラー２０２ｂがナット本体２０２ａから分離しているか否かを判定する。以下、第５判定部３５５による判定を「第５判定」と称する。第５判定部３５５は、例えば、受け付けた力データに含まれる接触力が所定の接触力の大きさを示す第２しきい値未満である場合に、カラー２０２ｂが切断されたと判定する。一方、第５判定部３５５は、取得した力データに含まれる接触力が第２しきい値以上である場合に、カラー２０２ｂが切断されていないと判定する。
【0050】
なお、第２しきい値は、例えば記憶部３９にあらかじめ記憶されている。第５判定部３５５は、記憶部３９に記憶されている第２しきい値を適時に参照することで上記第５判定を行う。また、第５判定部３５５は、上記の判定動作に代えて、取得部３１から受け付けた画像、算出部３２から受け付けたナット２０２の姿勢角、座標変換部３３から受け付けたナット２０２の位置座標、ならびに、補正部３４から受け付けた力データに基づき、ナット２０２の締結が成功したか否かを判定してもよい。この場合、第５判定部３５５は、画像と、ナット２０２の位置座標および姿勢角と、力データとを含むデータセットが入力されると、カラー２０２ｂが切断されたか否かを示す判定結果を出力するように学習された第５学習済みモデル３９６などを用いて判定を行ってもよい。第５学習済みモデル３９６は、例えば記憶部３９にあらかじめ記憶されている。第５判定部３５５は、第５判定の結果を制御部３６に送るとともに記憶部３９に記憶させる。
【0051】
（第６判定部）
第６判定部３５６は、カウンタ部３８から受け付けた各種のフラグの加算結果に基づき、所定の判定を行う。以下、第６判定部３５６による判定を「第６判定」と称する。第６判定部３５６は、カウンタ部３８から受け付けた取得フラグの加算結果に基づき、すべてのボルト２０１にナット２０２を締結したか否かを判定する。具体的には、第６判定部３５６は、カウンタ部３８から受け付けた取得フラグの加算結果が施工対象物２００に設けられた施工の対象となるボルト２０１の数である場合に、すべてのボルト２０１にナット２０２を締結したと判定する。一方、第６判定部３５６は、カウンタ部３８から受け付けた取得フラグの加算結果が施工対象物２００に設けられたボルト２０１の数未満である場合に、すべてのボルト２０１にナット２０２を締結していないと判定する。施工対象物２００に設けられたボルト２０１の数は、例えば記憶部３９のＣＡＤデータ３９５などにあらかじめ記憶されており、整数（例えば数千から数万）である。
第６判定部３５６は、カウンタ部３８から受け付けた各種のフラグの加算結果に基づき、所定の判定を行う。以下、第６判定部３５６による判定を「第６判定」と称する。第６判定部３５６は、カウンタ部３８から受け付けた取得フラグの加算結果に基づき、すべてのボルト２０１にナット２０２を締結したか否かを判定する。具体的には、第６判定部３５６は、カウンタ部３８から受け付けた取得フラグの加算結果が施工対象物２００に設けられた施工の対象となるボルト２０１の数である場合に、すべてのボルト２０１にナット２０２を締結したと判定する。一方、第６判定部３５６は、カウンタ部３８から受け付けた取得フラグの加算結果が施工対象物２００に設けられたボルト２０１の数未満である場合に、すべてのボルト２０１にナット２０２を締結していないと判定する。施工対象物２００に設けられたボルト２０１の数は、例えば記憶部３９のＣＡＤデータ３９５などにあらかじめ記憶されており、整数（例えば数千から数万）である。
【0052】
また、第６判定部３５６は、カウンタ部３８から受け付けたリトライフラグの加算結果に基づき、所定回数リトライしたか否かを判定する。具体的には、第６判定部３５６は、カウンタ部３８から受け付けたリトライフラグの加算結果が所定のリトライしきい値以上である場合に、所定回数リトライしたと判定する。一方、第６判定部３５６は、カウンタ部３８から受け付けたリトライフラグの加算結果がリトライしきい値未満である場合に、所定回数リトライしていないと判定する。リトライしきい値は、例えば記憶部３９にあらかじめ記憶されており、整数である。第６判定部３５６は、記憶部３９に記憶されているリトライしきい値を適時に参照することで上記第６判定を行う。第６判定部３５６は、第６判定の結果を学習部３７および制御部３６に送る。
【0053】
（制御部）
制御部３６は、判定部３５から受け付けた各種の判定の結果に基づき、エンドエフェクタ１２の動きを制御する。制御部３６は、例えば、第１制御部３６１と、第２制御部３６２と、第３制御部３６３とを有している。
制御部３６は、判定部３５から受け付けた各種の判定の結果に基づき、エンドエフェクタ１２の動きを制御する。制御部３６は、例えば、第１制御部３６１と、第２制御部３６２と、第３制御部３６３とを有している。
【0054】
（第１制御部）
第１制御部３６１は、ナット２０２がボルト２０１に接触していると第１判定の結果が示す場合（ナット２０２が第２位置に位置する場合）に、算出部３２から受け付けたナット２０２の姿勢角と、座標変換部３３から受け付けたナット２０２の位置座標と、補正部３４から受け付けた力データとを含むデータセットに基づき、ボルト２０１に対するナット２０２の締結動作を実行する。ここでいう「締結動作」は、ナット２０２が第２位置に位置した状態で、ナット２０２およびボルト２０１が螺合するようにナット２０２の位置座標および姿勢角を変化させること、ならびに、ナット２０２およびボルト２０１が螺合した状態（ナット２０２が第２位置に位置した状態）で、ナット２０２およびボルト２０１が締結するようにナット２０２を回転させることなどを含む。具体的には、第１制御部３６１は、学習済みモデルを用いて、エンドエフェクタ１２の移動および回転を制御する。ここでいう「エンドエフェクタ１２の移動」は、例えばアーム１１が有する各々の関節部１１０のモータ１１７の関節角を制御した結果、エンドエフェクタ１２およびエンドエフェクタ１２に保持されたナット２０２が移動することを意味し、「エンドエフェクタ１２の回転」は、例えばエンドエフェクタ１２の本体部１２０の締結用モータ１２０ａを制御した結果、ナット２０２が回転することを意味する。以下、第１制御部３６１がエンドエフェクタ１２の上記制御に用いる学習済みモデルを「第１学習済みモデル３９１」と称する。第１学習済みモデル３９１は、例えば記憶部３９にあらかじめ記憶されている。
第１制御部３６１は、ナット２０２がボルト２０１に接触していると第１判定の結果が示す場合（ナット２０２が第２位置に位置する場合）に、算出部３２から受け付けたナット２０２の姿勢角と、座標変換部３３から受け付けたナット２０２の位置座標と、補正部３４から受け付けた力データとを含むデータセットに基づき、ボルト２０１に対するナット２０２の締結動作を実行する。ここでいう「締結動作」は、ナット２０２が第２位置に位置した状態で、ナット２０２およびボルト２０１が螺合するようにナット２０２の位置座標および姿勢角を変化させること、ならびに、ナット２０２およびボルト２０１が螺合した状態（ナット２０２が第２位置に位置した状態）で、ナット２０２およびボルト２０１が締結するようにナット２０２を回転させることなどを含む。具体的には、第１制御部３６１は、学習済みモデルを用いて、エンドエフェクタ１２の移動および回転を制御する。ここでいう「エンドエフェクタ１２の移動」は、例えばアーム１１が有する各々の関節部１１０のモータ１１７の関節角を制御した結果、エンドエフェクタ１２およびエンドエフェクタ１２に保持されたナット２０２が移動することを意味し、「エンドエフェクタ１２の回転」は、例えばエンドエフェクタ１２の本体部１２０の締結用モータ１２０ａを制御した結果、ナット２０２が回転することを意味する。以下、第１制御部３６１がエンドエフェクタ１２の上記制御に用いる学習済みモデルを「第１学習済みモデル３９１」と称する。第１学習済みモデル３９１は、例えば記憶部３９にあらかじめ記憶されている。
【0055】
第１学習済みモデル３９１は、第１時刻におけるナット２０２の位置座標および姿勢角と、第１時刻における接触力およびトルクとを含むデータセットが入力されると、ナット２０２がボルト２０１に締結された状態を示すナット２０２の目標位置座標および目標姿勢角に近づいた、第１時刻よりも後の第２時刻におけるナット２０２の位置座標および姿勢角を示す指令値を出力するように学習されている。すなわち、第１学習済みモデル３９１は、第１時刻におけるナット２０２の位置座標および姿勢角と、第１時刻における接触力およびトルクとを含むデータセットを入力要素とし、第２時刻におけるナット２０２の位置座標および姿勢角を示す指令値を出力要素としている。第１時刻と第２時刻との間の時間間隔は、例えば、上記第１所定周期である。ナット２０２の目標位置座標および目標姿勢角は、例えば、ナット２０２の雌ねじ部と、施工の対象となるボルト２０１の雄ねじ部２０１ａとが互いに正確に噛み合って締結が完了した状態を示すナット２０２の位置座標および姿勢角を意味する。本実施形態では、第１制御部３６１は、記憶部３９に記憶されている第１学習済みモデル３９１に上記データセットを入力することで出力された指令値に基づき、制御対象装置Ｓとしての各々の関節部１１０のモータ１１７の関節角、およびエンドエフェクタ１２の締結用モータ１２０ａを制御して、ナット２０２の位置座標および姿勢角を制御する。第１学習済みモデル３９１は、例えば、ディープニューラルネットワーク（ＤＮＮ）などの深層学習モデル（教師あり学習モデル）である。なお、第１学習済みモデル３９１には、例えば、畳み込みニューラルネットワーク（ＣＮＮ）や回帰型ニューラルネットワーク（ＲＮＮ）などの深層学習モデルが用いられてよい。また、第１制御部３６１は、経時的に変化させた各々の関節部１１０の関節角、およびエンドエフェクタ１２の締結用モータ１２０ａの回転速度（ナット２０２の回転に伴うねじ送り速度）などを毎時刻で記憶部３９に逐次記憶させる。
【0056】
（第２制御部）
第２制御部３６２は、取得部３１から受け付けた画像と、算出部３２から受け付けたナット２０２の姿勢角と、座標変換部３３から受け付けたナット２０２の位置座標とを含むデータセットに基づき、エンドエフェクタ１２の移動および回転を制御する。具体的には、第２制御部３６２は、学習済みモデルを用いて、エンドエフェクタ１２の移動および回転を制御して、ナット２０２がボルト２０１に接触していない第１位置に位置するナット２０２を、ナット２０２がボルト２０１に接触した第２位置に位置させる。すなわち、第２制御部３６２は、第１位置に位置するナット２０２を、施工の対象となるボルト２０１に外部からアプローチさせる。以下、第２制御部３６２がエンドエフェクタ１２の制御に用いる学習済みモデルを「第２学習済みモデル３９２」と称する。第２学習済みモデル３９２は、例えば記憶部３９にあらかじめ記憶されている。
第２制御部３６２は、取得部３１から受け付けた画像と、算出部３２から受け付けたナット２０２の姿勢角と、座標変換部３３から受け付けたナット２０２の位置座標とを含むデータセットに基づき、エンドエフェクタ１２の移動および回転を制御する。具体的には、第２制御部３６２は、学習済みモデルを用いて、エンドエフェクタ１２の移動および回転を制御して、ナット２０２がボルト２０１に接触していない第１位置に位置するナット２０２を、ナット２０２がボルト２０１に接触した第２位置に位置させる。すなわち、第２制御部３６２は、第１位置に位置するナット２０２を、施工の対象となるボルト２０１に外部からアプローチさせる。以下、第２制御部３６２がエンドエフェクタ１２の制御に用いる学習済みモデルを「第２学習済みモデル３９２」と称する。第２学習済みモデル３９２は、例えば記憶部３９にあらかじめ記憶されている。
【0057】
第２学習済みモデル３９２は、第１位置で取得された第３時刻における画像と、第３時刻におけるナット２０２の位置座標および姿勢角とを含むデータセットが入力されると、第２位置にナット２０２が近づいた、第３時刻よりも後の第４時刻におけるナット２０２の位置座標および姿勢角を示す指令値を出力するように学習されている。すなわち、第２学習済みモデル３９２は、第１位置で取得された第３時刻における画像と、第３時刻におけるナット２０２の位置座標および姿勢角とを含むデータセットを入力要素とし、第４時刻におけるナット２０２の位置座標および姿勢角を示す指令値を出力要素としている。第３時刻と第４時刻との間の時間間隔は、例えば、上記第２所定周期である。本実施形態では、第２制御部３６２は、記憶部３９に記憶されている第２学習済みモデル３９２に上記データセットを入力することで出力された指令値に基づき、制御対象装置Ｓとしての各々の関節部１１０のモータ１１７の関節角を制御して、ナット２０２をボルト２０１に近づける（アプローチさせる）。第２学習済みモデル３９２は、例えば、ディープニューラルネットワーク（ＤＮＮ）などの深層学習モデル（教師あり学習モデル）である。なお、第２学習済みモデル３９２には、例えば、畳み込みニューラルネットワーク（ＣＮＮ）や回帰型ニューラルネットワーク（ＲＮＮ）などの深層学習モデルが用いられてよい。
【0058】
（第３制御部）
第３制御部３６３は、ナット２０２およびボルト２０１の螺合が失敗したことを示す第３判定の結果（ｉ＝１）を受け付けた場合、または、ナット２０２およびボルト２０１の締結が失敗したことを示す第４判定の結果（ｉ＝１）を受け付けた場合に、リトライ動作を実行する。具体的には、第３制御部３６３は、過去の所定時刻から第３判定または第４判定の結果を受け付けた時刻に至るまでに行われたエンドエフェクタ１２の制御（後述の締結動作ステップＳ１０６，Ｓ４など）をさかのぼるように逆順に実施する。ここでいう「過去の所定時刻」は、例えば、エンドエフェクタ１２の制御が開始された時刻（後述の締結動作ステップＳ１０６，Ｓ４などが開始された時刻）を意味する。第３制御部３６３は、記憶部３９に記憶された各々の関節部１１０の関節角の時系列上のデータ、および、エンドエフェクタ１２の締結用モータ１２０ａの回転速度（ナット２０２の回転に伴ったねじ送り速度）などを適時に参照しながら、エンドエフェクタ１２の移動および回転を逆順に制御する。
第３制御部３６３は、ナット２０２およびボルト２０１の螺合が失敗したことを示す第３判定の結果（ｉ＝１）を受け付けた場合、または、ナット２０２およびボルト２０１の締結が失敗したことを示す第４判定の結果（ｉ＝１）を受け付けた場合に、リトライ動作を実行する。具体的には、第３制御部３６３は、過去の所定時刻から第３判定または第４判定の結果を受け付けた時刻に至るまでに行われたエンドエフェクタ１２の制御（後述の締結動作ステップＳ１０６，Ｓ４など）をさかのぼるように逆順に実施する。ここでいう「過去の所定時刻」は、例えば、エンドエフェクタ１２の制御が開始された時刻（後述の締結動作ステップＳ１０６，Ｓ４などが開始された時刻）を意味する。第３制御部３６３は、記憶部３９に記憶された各々の関節部１１０の関節角の時系列上のデータ、および、エンドエフェクタ１２の締結用モータ１２０ａの回転速度（ナット２０２の回転に伴ったねじ送り速度）などを適時に参照しながら、エンドエフェクタ１２の移動および回転を逆順に制御する。
【0059】
（学習部）
学習部３７は、第６判定部３５６から受け付けた第６判定の結果が、すべてのボルト２０１にナット２０２を締結したことを示す場合に、記憶部３９に記憶されている各種のデータに基づき、第１学習済みモデル３９１におけるパラメータの重み値を修正する。学習部３７は、例えば誤差逆伝播法などを用いて、第１学習済みモデル３９１におけるパラメータの重み値を修正する（学習させる）。学習部３７は、第１学習済みモデル３９１が持つパラメータを修正した際、修正した旨を示す修正フラグをカウンタ部３８に送る。修正フラグは、例えば１である。
学習部３７は、第６判定部３５６から受け付けた第６判定の結果が、すべてのボルト２０１にナット２０２を締結したことを示す場合に、記憶部３９に記憶されている各種のデータに基づき、第１学習済みモデル３９１におけるパラメータの重み値を修正する。学習部３７は、例えば誤差逆伝播法などを用いて、第１学習済みモデル３９１におけるパラメータの重み値を修正する（学習させる）。学習部３７は、第１学習済みモデル３９１が持つパラメータを修正した際、修正した旨を示す修正フラグをカウンタ部３８に送る。修正フラグは、例えば１である。
【0060】
なお、カウンタ部３８は、学習部３７から受け付けた修正フラグを受け付けるたびに順次加算していき、修正フラグの加算結果を第６判定部３５６に送る（返す）。第６判定部３５６は、カウンタ部３８から受け付けた修正フラグの加算結果と所定数値とを比較する。第６判定部３５６は、修正フラグの加算結果が所定数値以上である場合に、所定回数修正したと判定する。一方、第６判定部３５６は、修正フラグの加算結果が所定数値未満である場合に、所定回数修正していないと判定する。所定数値は、例えば記憶部３９にあらかじめ記憶されており、整数である。第６判定部３５６は、記憶部３９に記憶されている所定数値を適時に参照することで当該第６判定を行う。
【0061】
（第１学習済みモデルの教示方法）
以下、第１制御部３６１が用いる第１学習済みモデル３９１の学習ステップ（教示のされ方）について図１１を参照して説明する。図１１は、第１学習済みモデル３９１の学習ステップの一例を示すフローチャートである。なお、以下では説明の便宜上、学習がなされる前のモデルであっても区別することなく「学習済みモデル」と称する。
以下、第１制御部３６１が用いる第１学習済みモデル３９１の学習ステップ（教示のされ方）について図１１を参照して説明する。図１１は、第１学習済みモデル３９１の学習ステップの一例を示すフローチャートである。なお、以下では説明の便宜上、学習がなされる前のモデルであっても区別することなく「学習済みモデル」と称する。
【0062】
はじめに、取得部３１は、直近の施工の対象となるボルト２０１のデータを、記憶部３９にあらかじめ記憶されているＣＡＤデータ３９５などから取得する（ステップＳ１０１）。次いで、取得部３１は、ナット２０２の既知位置座標および既知姿勢角を取得する（ステップＳ１０２）。ここでいう取得部３１が取得するナット２０２の「既知位置座標および既知姿勢角」は、例えば記憶部３９によってあらかじめ記憶されているばらつき生成モデル３９７（図７参照）から取得される。ばらつき生成モデル３９７は、取得部３１によって参照された場合に、ボルト２０１の端面２０１ｅにおける任意の位置座標（第２位置）および姿勢角を、例えば正規分布などの確率分布にしたがってばらつかせ（誤差をあえてランダムに与えた状態）、取得部３１に出力する。ばらつき生成モデル３９７が平均とする位置座標は、例えば、ボルト２０１の端面２０１ｅの中心位置座標であり、ばらつき生成モデル３９７が平均とする姿勢角は、例えば、回転軸線Ａｒとボルト２０１の中心線Ａｒ２とが一直線に一致した時の姿勢角である。ボルト２０１の端面２０１ｅの中心位置座標は、例えば、ボルト中心座標系（Ｘｂ，Ｙｂ，Ｚｂ）で表現されている。つまり、取得部３１は、ばらつき生成モデル３９７を参照することでナット２０２の既知位置座標および既知姿勢角を取得する。次いで、第２制御部３６２は、第２学習済みモデル３９２を用いて、対象となるボルト２０１にナット２０２をアプローチさせる（ステップＳ１０３）。なお、ステップＳ１０３では、ボルト２０１にナット２０２をアプローチさせるに当たり、第２学習済みモデル３９２を用いなくてもよい。この場合、制御部３６は、例えば記憶部３９にあらかじめ記憶されている所定のアプローチ動作などにしたがって、対象となるボルト２０１にナット２０２をアプローチさせてもよい。次いで、第１判定部３５１は、ナット２０２がボルト２０１に接触したか否かを判定する第１判定を行う（ステップＳ１０４）。ナット２０２がボルト２０１に接触したことを第１判定の結果が示す場合（ステップＳ１０４：ＹＥＳ）、制御部３６による制御またはオペレータの手動などによって、ナット２０２の位置座標および姿勢角をステップＳ１０２で取得されたナット２０２の既知位置座標および既知姿勢角に修正する（ステップＳ１０５）。一方、ナット２０２がボルト２０１に接触していないことを第１判定の結果が示す場合（ステップＳ１０４：ＮＯ）、ステップＳ１０３の処理に戻る。ステップＳ１０５に次いで、締結動作ステップＳ１０６を実行する。
【0063】
締結動作ステップＳ１０６では、制御部３６は、あらかじめ定められた手順にしたがったナット２０２の締結動作を開始する。本実施形態では、あらかじめ定められた手順にしたがったナット２０２の締結動作を「教示動作」と称する。ここでいう「あらかじめ定められた手順」とは、ナット２０２の既知位置座標（第２位置）および既知姿勢角から、ナット２０２の目標位置座標および目標姿勢角に転じさせるためのナット２０２の位置座標および姿勢角を示す指令値を時系列で示したデータなどを意味している。当該データは、例えば記憶部３９にあらかじめ記憶されている。なお、あらかじめ定められた手順は、例えば、締結動作の開始時刻におけるナット２０２の既知位置座標および既知姿勢角と、締結動作の開始時刻よりも後の複数の時刻と、各々の時刻に対応するナット２０２の位置座標および姿勢角の指令値とが互いに関連付いた対応関係情報（関数など）であってもよい。制御部３６は、あらかじめ定められた手順にしたがって、エンドエフェクタ１２の移動および回転を制御する。制御部３６がエンドエフェクタ１２を制御する教示動作中、取得部３１、算出部３２、座標変換部３３、および補正部３４は、処理の結果を記憶部３９に逐次記憶させる。教示動作中に記憶部３９に記憶された取得部３１、算出部３２、座標変換部３３、および補正部３４の処理の結果は、第１学習済みモデル３９１の学習に用いる教師データセットとされる。あらかじめ定められた手順に含まれる最後の指令値に基づき、制御部３６がエンドエフェクタ１２を制御し終えた場合に、締結動作ステップＳ１０６が終了する。
【0064】
締結動作ステップＳ１０６に次いで、第４判定部３５４は、ナット２０２の締結が成功したか否かを判定する第４判定を行う（ステップＳ１０７）。ナット２０２の締結が成功したことを第４判定の結果が示す場合（ステップＳ１０７：ＹＥＳ）、第６判定部３５６は、すべてのボルト２０１にナット２０２を締結したか否かの判定を行う（ステップＳ１０８）。一方、ナット２０２の締結が失敗したことを第４判定の結果が示す場合（ステップＳ１０７：ＮＯ）、リトライ動作ステップＳ１１１を実行する。リトライ動作ステップＳ１１１では、第３制御部３６３は、上述のリトライ動作を行う。リトライ動作が終了した場合、ステップＳ１０５の処理に戻る。
【0065】
ここで、ステップＳ１０８の判定の処理の説明に戻り、すべてのボルト２０１にナット２０２を締結したことを第６判定の結果が示す場合（ステップＳ１０８：ＹＥＳ）、締結動作ステップＳ１０６で取得された各種のデータに基づき、学習部３７は、第１学習済みモデル３９１が持つパラメータの重み値を修正する（ステップＳ１０９）。一方、すべてのボルト２０１にナット２０２を締結していないと第６判定の結果が示す場合（ステップＳ１０８：ＮＯ）、ステップＳ１０１の処理に進む。ステップＳ１０９の処理に次いで、第６判定部３５６は、第１学習済みモデル３９１が持つパラメータの重み値を学習部３７が所定回数に亘って修正したか否かを判定する（ステップＳ１１０）。第６判定部３５６の判定の結果が、所定回数修正したことを示す場合（ステップＳ１１０：ＹＥＳ）、学習ステップが完了する。一方、第６判定部３５６の判定の結果が、所定回数修正していないことを示す場合（ステップＳ１１０：ＮＯ）、ステップＳ１０９の処理に戻る。
【0066】
以上説明した一連の処理動作を経る学習ステップにより取得された各種のデータに基づき、学習部３７がパラメータの重み値を繰り返し修正するため、第１学習済みモデル３９１は、入力に応じた指令値を出力するように教示される。すなわち、第１学習済みモデル３９１は、ナット２０２の目標位置座標および目標姿勢角から、ランダムに与えられた量外れたナット２０２の既知位置座標および既知姿勢角が、目標位置座標および目標姿勢角になるようにエンドエフェクタ１２を制御する教示動作中に取得された複数のナット２０２の位置座標および姿勢角と、各々のナット２０２の位置座標および姿勢角が取得された時刻に対応する接触力およびトルクとを含む教師データセットが入力される学習ステップが繰り返し実行されたことで、入力に応じた指令値を出力するように学習されている。
【0067】
（第２学習済みモデルの教示方法）
また、第２制御部３６２が用いる第２学習済みモデル３９２は、第１位置から第２位置にエンドエフェクタ１２を移動させるダイレクトティーチング動作中に取得された複数の画像と、各々の画像が取得された時刻に対応するナット２０２の位置座標および姿勢角とを含む教師データセットが入力される学習ステップが繰り返し実行されたことで、入力に応じた指令値を出力するように学習（逆教示）されている。具体的には、本実施形態における逆教示は、エンドエフェクタ１２を第２位置から第１位置へ移動（ダイレクトティーチング動作）させた際に取得部３１により取得された画像と、ナット２０２の位置座標および姿勢角の時系列上のデータセットの時系列が逆になるように変換し、逆時系列に変換されたデータセットを上記教師データセットとして第２学習済みモデル３９２に学習させることである。また、ここでいう「ダイレクトティーチング動作」とは、図１２に一例として示すように、オペレータの手動などによって、第２位置から第１位置にナット２０２が移動するようにエンドエフェクタ１２を移動させる動作のことを意味する。なお、第２学習済みモデル３９２を学習（逆教示）させるための上記学習ステップは、例えば数十回から数百回に亘って繰り返し行われる。
また、第２制御部３６２が用いる第２学習済みモデル３９２は、第１位置から第２位置にエンドエフェクタ１２を移動させるダイレクトティーチング動作中に取得された複数の画像と、各々の画像が取得された時刻に対応するナット２０２の位置座標および姿勢角とを含む教師データセットが入力される学習ステップが繰り返し実行されたことで、入力に応じた指令値を出力するように学習（逆教示）されている。具体的には、本実施形態における逆教示は、エンドエフェクタ１２を第２位置から第１位置へ移動（ダイレクトティーチング動作）させた際に取得部３１により取得された画像と、ナット２０２の位置座標および姿勢角の時系列上のデータセットの時系列が逆になるように変換し、逆時系列に変換されたデータセットを上記教師データセットとして第２学習済みモデル３９２に学習させることである。また、ここでいう「ダイレクトティーチング動作」とは、図１２に一例として示すように、オペレータの手動などによって、第２位置から第１位置にナット２０２が移動するようにエンドエフェクタ１２を移動させる動作のことを意味する。なお、第２学習済みモデル３９２を学習（逆教示）させるための上記学習ステップは、例えば数十回から数百回に亘って繰り返し行われる。
【0068】
（制御装置の動作）
続いて、本実施形態における制御装置３０の動作の一例について図１３を参照して説明する。ただし、以下に説明する処理の順番は、以下の例に限定されず、適宜入れ替えられてもよい。
続いて、本実施形態における制御装置３０の動作の一例について図１３を参照して説明する。ただし、以下に説明する処理の順番は、以下の例に限定されず、適宜入れ替えられてもよい。
【0069】
はじめに、第２制御部３６２は、第２学習済みモデル３９２を用いて、施工の対象となるボルト２０１にナット２０２をアプローチさせる（ステップＳ１）。次いで、第２判定部３５２は、ナット２０２の状態に異常があるか否かを判定する第２判定を行う（ステップＳ２）。ナット２０２の状態に異常があることを第２判定の結果が示す場合（ステップＳ２：ＹＥＳ）、例えば制御部３６の動作によりナット２０２をボルト２０１から一度離間させた後、ステップＳ１の処理に戻る。一方、ナット２０２の状態に異常がないことを第２判定の結果が示す場合（ステップＳ２：ＮＯ）、第１判定部３５１は、ナット２０２がボルト２０１に接触したか否かを判定する第１判定を行う（ステップＳ３）。ナット２０２がボルト２０１に接触していないことを第１判定の結果が示す場合（ステップＳ３：ＮＯ）、例えば制御部３６の動作によりナット２０２をボルト２０１から一度離間させた後、ステップＳ１の処理に戻る。一方、ナット２０２がボルト２０１に接触したことを第１判定の結果が示す場合（ステップＳ３：ＹＥＳ）、締結動作ステップＳ４を実行する。締結動作ステップＳ４では、第１制御部３６１は、第１学習済みモデル３９１を用いてエンドエフェクタ１２の移動および回転を制御することで対象となるボルト２０１に対するナット２０２の締結動作を実行する。締結動作ステップＳ４では、第１制御部３６１が締結動作を実行している際、第３判定部３５３は、ナット２０２の螺合が成功したか否かを判定する第３判定を行ってよい。ナット２０２の螺合が成功したことを第３判定の結果が示す場合、第１制御部３６１は、締結動作を実行し続ける。一方、ナット２０２の螺合が失敗したことを第３判定の結果が示す場合、第１制御部３６１は、締結動作を停止する。第１制御部３６１が締結動作を停止した場合、例えば、リトライ動作ステップＳ８を実行する。
【0070】
第１制御部３６１による締結動作が終了した場合、第４判定部３５４は、ナット２０２の締結が成功したか否かを判定する第４判定を行う（ステップＳ５）。ナット２０２の締結が成功したことを第４判定の結果が示す場合（ステップＳ５：ＹＥＳ）、第５判定部３５５は、カラー２０２ｂが破断して切断されたか否かを判定する（ステップＳ６）。一方、ナット２０２の締結が失敗したことを第４判定の結果が示す場合（ステップＳ５：ＮＯ）、リトライ動作ステップＳ８を実行する。リトライ動作ステップＳ８では、第３制御部３６３は、上述のリトライ動作を行う。リトライ動作ステップＳ８が終了した場合、第６判定部３５６は、所定回数リトライしたか否かを判定する第６判定を行う（ステップＳ９）。所定回数リトライしたことを第６判定の結果が示す場合（ステップＳ９：ＹＥＳ）、例えば、制御装置３０は動作を終了する。一方、所定回数リトライしていないことを第６判定の結果が示す場合（ステップＳ９：ＮＯ）、ステップＳ１の処理に進む。ここで、ステップＳ６の判定の処理の説明に戻り、カラー２０２ｂが切断されていないことを第５判定の結果が示す場合（ステップＳ６：ＮＯ）、締結動作ステップＳ４に戻る。一方、カラー２０２ｂが切断されたことを第５判定の結果が示す場合（ステップＳ６：ＹＥＳ）、第６判定部３５６は、すべてのボルト２０１にナット２０２を締結したか否かを判定する（ステップＳ７）。すべてのボルト２０１にナット２０２を締結していないことを第６判定の結果が示す場合（ステップＳ７：ＮＯ）、ステップＳ１の処理に進む。一方、すべてのボルト２０１にナット２０２を締結したことを第６判定の結果が示す場合（ステップＳ７：ＹＥＳ）、例えば、制御装置３０は動作を終了する。
【0071】
以上説明した制御装置３０の動作は、施工対象物２００の組立工程で繰り返し実行される。
【0072】
（作用・効果）
本実施形態では、第１時刻における各々の関節部１１０の関節角に基づくナット２０２の位置座標および姿勢角と、第１時刻におけるエンドエフェクタ１２から伝達された接触力およびトルクとを入力とする第１学習済みモデル３９１により出力された第２時刻におけるナット２０２の位置座標および姿勢角の指令値に基づき、エンドエフェクタ１２の移動および回転が制御される。この際、第１学習済みモデル３９１が出力する第２時刻における指令値のナット２０２の位置座標および姿勢角は、ナット２０２がボルト２０１に締結された状態を示すナット２０２の目標位置座標および目標姿勢角に近づいている。つまり、第１学習済みモデル３９１に対しての入力が行われるたびに、ナット２０２の状態を、ナット２０２がボルト２０１に締結された状態に向けて遷移させることができる。したがって、施工対象物２００に設けられたボルト２０１にナット２０２をより円滑に締結することができる。
本実施形態では、第１時刻における各々の関節部１１０の関節角に基づくナット２０２の位置座標および姿勢角と、第１時刻におけるエンドエフェクタ１２から伝達された接触力およびトルクとを入力とする第１学習済みモデル３９１により出力された第２時刻におけるナット２０２の位置座標および姿勢角の指令値に基づき、エンドエフェクタ１２の移動および回転が制御される。この際、第１学習済みモデル３９１が出力する第２時刻における指令値のナット２０２の位置座標および姿勢角は、ナット２０２がボルト２０１に締結された状態を示すナット２０２の目標位置座標および目標姿勢角に近づいている。つまり、第１学習済みモデル３９１に対しての入力が行われるたびに、ナット２０２の状態を、ナット２０２がボルト２０１に締結された状態に向けて遷移させることができる。したがって、施工対象物２００に設けられたボルト２０１にナット２０２をより円滑に締結することができる。
【0073】
また、本実施形態では、第１学習済みモデル３９１は、目標位置座標および目標姿勢角から外れたあらかじめ把握されている既知位置座標および既知姿勢角を示すナット２０２をボルト２０１に締結される教示が繰り返し実行されることで上記入出力がなされるようにあらかじめ学習されている。そのため、例えば、実運用時にナット２０２およびボルト２０１の締結を行う際にナット２０２のボルト２０１に対する位置座標のずれや姿勢角のずれが生じても、実際に締結にかかった時間が、予測された締結にかかる時間から乖離することを抑制することができる。その結果、例えば、組立にかかる工数などを低減させることができる。
【0074】
また、本実施形態では、ナット２０２がボルト２０１に接触していない第１位置で取得された第３時刻における施工対象物２００を撮像した画像と、第３時刻におけるナット２０２の位置座標および姿勢角とを入力とする第２学習済みモデル３９２により出力された第４時刻におけるナット２０２の位置座標および姿勢角を示す指令値に基づき、エンドエフェクタ１２の移動および回転が制御される。この際、第２学習済みモデル３９２が出力する第４時刻における指令値のナット２０２の位置座標および姿勢角は、ナット２０２がボルト２０１に接触した第２位置の位置座標および姿勢角に近づいている。つまり、第２学習済みモデル３９２に対しての入力が行われるたびに、第１位置に位置するナット２０２を、第２位置に向けて遷移させることができる。したがって、ナット２０２を施工対象物２００に設けられたボルト２０１により円滑にアプローチさせることができる。また、画像を第２学習済みモデル３９２の入力要素とするため、例えば画像を入力要素に採用しない場合と比較して、上記の作用をより高い精度で実現することができる。
【0075】
また、本実施形態では、第２学習済みモデル３９２は、第１位置から第２位置にエンドエフェクタ１２を移動させるダイレクトティーチング動作中に取得された複数の画像と、各々の画像が取得された時刻に対応するナット２０２の位置座標および姿勢角とを含む教師データセットが入力される学習ステップが繰り返し実行されることで上記入出力がなされるようにあらかじめ学習されている（逆教示されている）。発明者らは、組立システム１００を利用するオペレータの手動によってエンドエフェクタ１２を移動させるダイレクトティーチング動作を用いて第２学習済みモデル３９２を教示させるに当たって、ナット２０２の位置が第１位置から第２位置に移動するようにエンドエフェクタ１２を移動させる動作よりも、第２位置から第１位置に移動するようにエンドエフェクタ１２を移動させる動作の方が容易であること、および、動作中のエンドエフェクタ１２のブレなどが発生しにくいことを見出した。その結果、ノイズなどの割合が少ないより高品質な教師データセットを取得することができる。
【0076】
また、本実施形態では、第２位置で取得された画像と、画像が取得された時刻に対応するナット２０２の位置座標および姿勢角と、画像が取得された時刻に対応する接触力およびトルクとが入力されると、ナット２０２およびボルト２０１の螺合の成否を示す判定結果を出力するように学習された第３学習済みモデル３９３を用いて、エンドエフェクタ１２を制御する。これにより、例えば、ナット２０２およびボルト２０１の螺合が誤った状態で締結に向かうことを回避できる。その結果、例えば、組立における歩留まりの低下などを抑制することができる。
【0077】
また、本実施形態では、ナット２０２の位置座標が表現される座標系が、世界座標系からボルト中心座標系に変換される。これにより、世界座標系で表現されるナット２０２の位置座標がボルト２０１ごとに生じる固有の位置座標であるのに対して、ボルト２０１中心座標といった同一の尺度でナット２０２のボルト２０１に対する相対的な位置座標を表すことができる。その結果、ボルト２０１ごとに教示する必要が生じないため、汎化性が高まるとともに、第１学習済みモデル３９１の教示にかかる労力および時間を削減することができる。
【0078】
また、本実施形態では、関節部１１０の関節角に基づくエンドエフェクタ１２の自重に関する補正値を用いて取得された接触力を補正する。これにより、エンドエフェクタ１２から伝達された接触力よりも実際に生じた接触力に近づいた接触力を第１学習済みモデル３９１の入力要素とすることができるため、汎化性を高めることができる。
【0079】
また、本実施形態におけるエンドエフェクタ１２によれば、弾性部材１２８が第１部分１２６に対してソケット部１２３の先端側に向かう弾性力を付与することで、ナットランナ１２１の収容部１２３ｒにカラー２０２ｂが収容されたナット２０２を、ナット保持部材１２４の爪部１２７ｂが把持する機構である。これにより、例えばナット２０２を吸引して保持する機構を備えたエンドエフェクタ１２などと比較して、より簡易な構成でエンドエフェクタ１２がナット２０２を保持することができる。また、撮像装置２０がナットランナ１２１のソケット部１２３内に配置されており、当該撮像装置２０は、ナット孔２０２ｈを通じて施工対象物２００に向けて光を照射するとともに、施工対象物２００を撮像した画像を生成する。すなわち、撮像装置２０の撮像範囲を集中的に照らしながら画像を生成することができる。したがって、施工現場の照明環境などの影響を受けにくい。
【0080】
＜組立システムの第２実施形態＞
次に、本開示に係る組立システム１００の第２実施形態について図１４を参照して説明する。なお、以下に説明する第２実施形態では、上記の第１実施形態と共通する構成については図中に同符号を付してその説明を省略する。第２実施形態では、組立システム１００は、力覚センサ１４０を備えておらず、当該力覚センサ１４０に代えて、電流センサ１４１を備えている。本実施形態では、第１実施形態で説明した力データが、電流センサ１４１が取得する電流値に対応しており、上述した力データを電流値に適宜置き換えて読めばよい。
次に、本開示に係る組立システム１００の第２実施形態について図１４を参照して説明する。なお、以下に説明する第２実施形態では、上記の第１実施形態と共通する構成については図中に同符号を付してその説明を省略する。第２実施形態では、組立システム１００は、力覚センサ１４０を備えておらず、当該力覚センサ１４０に代えて、電流センサ１４１を備えている。本実施形態では、第１実施形態で説明した力データが、電流センサ１４１が取得する電流値に対応しており、上述した力データを電流値に適宜置き換えて読めばよい。
【0081】
（電流センサ）
電流センサ１４１は、各々の関節部１１０（第１関節部１１１～第６関節部１１６）が有するモータ１１７（第１モータ１１７ａ～第６モータ１１７ｆ）の電流値を取得可能なセンサである。電流センサ１４１は、有線または無線通信によって各々の関節部１１０が有するモータ１１７に接続されている。電流センサ１４１は、第２センサ１４の一例である。電流センサ１４１は、取得したモータ１１７の電流値を制御装置３０に送信する。なお、電流センサ１４１は、例えば、マニピュレータ１０に設けられてもよく、制御装置３０に設けられてもよい。
電流センサ１４１は、各々の関節部１１０（第１関節部１１１～第６関節部１１６）が有するモータ１１７（第１モータ１１７ａ～第６モータ１１７ｆ）の電流値を取得可能なセンサである。電流センサ１４１は、有線または無線通信によって各々の関節部１１０が有するモータ１１７に接続されている。電流センサ１４１は、第２センサ１４の一例である。電流センサ１４１は、取得したモータ１１７の電流値を制御装置３０に送信する。なお、電流センサ１４１は、例えば、マニピュレータ１０に設けられてもよく、制御装置３０に設けられてもよい。
【0082】
（制御装置）
本実施形態では、取得部３１は、電流センサ１４１から各々のモータ１１７を流れる電流の電流値を第１所定周期で取得し、取得した電流値を判定部３５および制御部３６に送るとともに記憶部３９に記憶させる。第１判定部３５１は、取得部３１から受け付けた電流値に基づき、第１判定を行う。第３判定部３５３は、取得部３１から受け付けた画像、算出部３２から受け付けたナット２０２の姿勢角、座標変換部３３から受け付けたナット２０２の位置座標、ならびに、取得部３１から受け付けた電流値に基づき、第３判定を行う。この際、第３学習済みモデル３９３は、画像と、ナット２０２の位置座標および姿勢角と、電流値とを含むデータセットが入力されると、ナット２０２およびボルト２０１の螺合の成否を示す判定結果を出力するように学習されている。第４判定部３５４は、取得部３１から受け付けた画像、算出部３２から受け付けたナット２０２の姿勢角、座標変換部３３から受け付けたナット２０２の位置座標、ならびに、取得部３１から受け付けた電流値に基づき、第４判定を行う。この際、第４学習済みモデル３９４は、画像と、ナット２０２の位置座標および姿勢角と、電流値とを含むデータセットが入力されると、ナット２０２およびボルト２０１の締結の成否を示す判定結果を出力するように学習されている。第５判定部３５５は、第４判定部３５４から受け付けた第４判定の結果がナット２０２の締結が成功したことを示す場合に、取得部３１から受け付けた電流値に基づき、ナット２０２のカラー２０２ｂがナット本体２０２ａから分離しているか否かを判定する。第１制御部３６１は、ナット２０２がボルト２０１に接触していると第１判定の結果が示す場合に、算出部３２から受け付けたナット２０２の姿勢角と、座標変換部３３から受け付けたナット２０２の位置座標と、取得部３１から受け付けた電流値とを含むデータセットに基づき、ボルト２０１に対するナット２０２の締結動作を実行する。この際、第１学習済みモデル３９１は、第１時刻におけるナット２０２の位置座標および姿勢角と、第１時刻における電流値とを含むデータセットが入力されると、ナット２０２がボルト２０１に締結された状態を示すナット２０２の目標位置座標および目標姿勢角に近づいた、第１時刻よりも後の第２時刻におけるナット２０２の位置座標および姿勢角を示す指令値を出力するように学習されている。
本実施形態では、取得部３１は、電流センサ１４１から各々のモータ１１７を流れる電流の電流値を第１所定周期で取得し、取得した電流値を判定部３５および制御部３６に送るとともに記憶部３９に記憶させる。第１判定部３５１は、取得部３１から受け付けた電流値に基づき、第１判定を行う。第３判定部３５３は、取得部３１から受け付けた画像、算出部３２から受け付けたナット２０２の姿勢角、座標変換部３３から受け付けたナット２０２の位置座標、ならびに、取得部３１から受け付けた電流値に基づき、第３判定を行う。この際、第３学習済みモデル３９３は、画像と、ナット２０２の位置座標および姿勢角と、電流値とを含むデータセットが入力されると、ナット２０２およびボルト２０１の螺合の成否を示す判定結果を出力するように学習されている。第４判定部３５４は、取得部３１から受け付けた画像、算出部３２から受け付けたナット２０２の姿勢角、座標変換部３３から受け付けたナット２０２の位置座標、ならびに、取得部３１から受け付けた電流値に基づき、第４判定を行う。この際、第４学習済みモデル３９４は、画像と、ナット２０２の位置座標および姿勢角と、電流値とを含むデータセットが入力されると、ナット２０２およびボルト２０１の締結の成否を示す判定結果を出力するように学習されている。第５判定部３５５は、第４判定部３５４から受け付けた第４判定の結果がナット２０２の締結が成功したことを示す場合に、取得部３１から受け付けた電流値に基づき、ナット２０２のカラー２０２ｂがナット本体２０２ａから分離しているか否かを判定する。第１制御部３６１は、ナット２０２がボルト２０１に接触していると第１判定の結果が示す場合に、算出部３２から受け付けたナット２０２の姿勢角と、座標変換部３３から受け付けたナット２０２の位置座標と、取得部３１から受け付けた電流値とを含むデータセットに基づき、ボルト２０１に対するナット２０２の締結動作を実行する。この際、第１学習済みモデル３９１は、第１時刻におけるナット２０２の位置座標および姿勢角と、第１時刻における電流値とを含むデータセットが入力されると、ナット２０２がボルト２０１に締結された状態を示すナット２０２の目標位置座標および目標姿勢角に近づいた、第１時刻よりも後の第２時刻におけるナット２０２の位置座標および姿勢角を示す指令値を出力するように学習されている。
【0083】
（作用・効果）
本実施形態では、電流センサ１４１が取得した各々の関節部１１０が有するモータ１１７の電流値に、第１実施形態で説明した力データを代替させることができる。すなわち、各々のモータ１１７の電流値は、ナット２０２がボルト２０１に接触した際にエンドエフェクタ１２から伝達される接触力およびトルクを示している。これにより、マニピュレータ１０が力覚センサ１４０を備える必要がない。したがって、例えば、マニピュレータ１０全体のサイズおよび重量を抑えることができる。
本実施形態では、電流センサ１４１が取得した各々の関節部１１０が有するモータ１１７の電流値に、第１実施形態で説明した力データを代替させることができる。すなわち、各々のモータ１１７の電流値は、ナット２０２がボルト２０１に接触した際にエンドエフェクタ１２から伝達される接触力およびトルクを示している。これにより、マニピュレータ１０が力覚センサ１４０を備える必要がない。したがって、例えば、マニピュレータ１０全体のサイズおよび重量を抑えることができる。
【0084】
＜組立システムの第３実施形態＞
次に、本開示に係る組立システム１００の第３実施形態について図１５を参照して説明する。なお、以下に説明する第３実施形態では、上記の第１実施形態と共通する構成については図中に同符号を付してその説明を省略する。第３実施形態では、組立システム１００は、移動機構１６と、キャリブレーション機構１７とを更に備えている。
次に、本開示に係る組立システム１００の第３実施形態について図１５を参照して説明する。なお、以下に説明する第３実施形態では、上記の第１実施形態と共通する構成については図中に同符号を付してその説明を省略する。第３実施形態では、組立システム１００は、移動機構１６と、キャリブレーション機構１７とを更に備えている。
【0085】
（移動機構）
移動機構１６は、台座部１５を施工対象物２００の周囲で移動可能にさせる。本実施形態では、移動機構１６は、台座部１５に設けられた複数の車輪１６０である。移動機構１６は、作業台３００の周囲を走行可能である。図１５中では、４つの車輪１６０が台座部１５に設けられている場合を一例として示している。車輪１６０は、床面に当接した状態で回動可能に台座部１５に設けられている。車輪１６０の駆動（回転）は、制御装置３０によって制御されてもよいし、組立システム１００を利用するオペレータによる手動などであってもよい。
移動機構１６は、台座部１５を施工対象物２００の周囲で移動可能にさせる。本実施形態では、移動機構１６は、台座部１５に設けられた複数の車輪１６０である。移動機構１６は、作業台３００の周囲を走行可能である。図１５中では、４つの車輪１６０が台座部１５に設けられている場合を一例として示している。車輪１６０は、床面に当接した状態で回動可能に台座部１５に設けられている。車輪１６０の駆動（回転）は、制御装置３０によって制御されてもよいし、組立システム１００を利用するオペレータによる手動などであってもよい。
【0086】
（キャリブレーション機構）
キャリブレーション機構１７は、施工対象物２００と、移動機構１６との相対的な位置を決定する。具体的には、キャリブレーション機構１７は、例えば、世界座標系で表現された施工対象物２００中の任意の一点と、マニピュレータ１０が持つ原点に準拠した世界座標系の任意の一地点とを一致させる（キャリブレーションする）。つまり、キャリブレーション機構１７により、施工対象物２００に対する移動機構１６の位置がキャリブレーションされる。キャリブレーション機構１７は、例えば、マニピュレータ１０などに設けられている。
キャリブレーション機構１７は、施工対象物２００と、移動機構１６との相対的な位置を決定する。具体的には、キャリブレーション機構１７は、例えば、世界座標系で表現された施工対象物２００中の任意の一点と、マニピュレータ１０が持つ原点に準拠した世界座標系の任意の一地点とを一致させる（キャリブレーションする）。つまり、キャリブレーション機構１７により、施工対象物２００に対する移動機構１６の位置がキャリブレーションされる。キャリブレーション機構１７は、例えば、マニピュレータ１０などに設けられている。
【0087】
（作用・効果）
本実施形態では、台座部１５に当該台座部１５を施工対象物２００の周囲で移動可能にする車輪１６０が設けられているため、より広い範囲でマニピュレータ１０が動作を行うことができる。したがって、例えば、サイズが大きい施工対象物２００を施工する場合に、施工対象物２００の配置や姿勢などを変更させる必要が生じにくい。
本実施形態では、台座部１５に当該台座部１５を施工対象物２００の周囲で移動可能にする車輪１６０が設けられているため、より広い範囲でマニピュレータ１０が動作を行うことができる。したがって、例えば、サイズが大きい施工対象物２００を施工する場合に、施工対象物２００の配置や姿勢などを変更させる必要が生じにくい。
【0088】
＜第３実施形態の変形例＞
次に、本開示に係る組立システム１００の第３実施形態の変形例について図１６を参照して説明する。本変形例では、上記第３実施形態に対して移動機構１６の構成が異なっている。
次に、本開示に係る組立システム１００の第３実施形態の変形例について図１６を参照して説明する。本変形例では、上記第３実施形態に対して移動機構１６の構成が異なっている。
【0089】
（移動機構）
本変形例では、移動機構１６は、台座部１５と床面との間に配置された直動式の電動スライダ１６１である。電動スライダ１６１は、一方向に長尺に延びている。電動スライダ１６１は、例えば作業台３００に隣接して床面上に固定されている。電動スライダ１６１は、台座部１５を下方から支持した状態で当該台座部１５に接続されており、台座部１５を上記一方向に移動させる。電動スライダ１６１の駆動（台座部１５の直動）は、制御装置３０によって制御されてもよいし、オペレータによる手動などであってもよい。なお、本変形例で説明した電動スライダ１６１は、床面上に固定されている構成に代えて、当該床面とは別体として配置され、例えば電動スライダ１６１とは異なる移動機構１６に搭載されていてもよい。
本変形例では、移動機構１６は、台座部１５と床面との間に配置された直動式の電動スライダ１６１である。電動スライダ１６１は、一方向に長尺に延びている。電動スライダ１６１は、例えば作業台３００に隣接して床面上に固定されている。電動スライダ１６１は、台座部１５を下方から支持した状態で当該台座部１５に接続されており、台座部１５を上記一方向に移動させる。電動スライダ１６１の駆動（台座部１５の直動）は、制御装置３０によって制御されてもよいし、オペレータによる手動などであってもよい。なお、本変形例で説明した電動スライダ１６１は、床面上に固定されている構成に代えて、当該床面とは別体として配置され、例えば電動スライダ１６１とは異なる移動機構１６に搭載されていてもよい。
【0090】
（作用・効果）
当該構成によっても、上記の第３実施形態で説明した作用・効果と同様の作用・効果が奏される。
当該構成によっても、上記の第３実施形態で説明した作用・効果と同様の作用・効果が奏される。
【0091】
（その他の実施形態）
以上、本開示の実施形態について図面を参照して詳述したが、具体的な構成は各実施形態の構成に限られるものではなく、本開示の要旨を逸脱しない範囲内での構成の付加、省略、置換、およびその他の変更が可能である。
以上、本開示の実施形態について図面を参照して詳述したが、具体的な構成は各実施形態の構成に限られるものではなく、本開示の要旨を逸脱しない範囲内での構成の付加、省略、置換、およびその他の変更が可能である。
【0092】
なお、第１実施形態で説明した第１制御部３６１は、取得部３１から画像を受け付けてもよい。この場合、第１制御部３６１が制御に用いる第１学習済みモデル３９１は、受け付けた画像を上述の入力要素に加えてもよい。なおこの場合、第１学習済みモデル３９１は、入力に対する出力である上記指令値に加えて、サブタスクとして、第２時刻における予測画像を生成して出力してもよい。
【0093】
また、第１実施形態で説明した第１学習済みモデル３９１は、入力に対する出力である上記指令値に加えて、サブタスクとして、第２時刻における接触力の予測値およびトルクの予測値を生成して出力するように学習されてもよい。接触力の予測値およびトルクの予測値は、第２時刻で取得部３１によって取得されると第１学習済みモデル３９１により予測された接触力およびトルクを示す値である。これら接触力の予測値およびトルクの予測値は、第１制御部３６１による制御に用いられることはない。発明者らは、第１学習済みモデル３９１が第２時刻における接触力の予測値およびトルクの予測値をサブタスクとして出力することで、他の出力要素である指令値の精度が向上することを見出した。
【0094】
また、第１実施形態で説明した第２制御部３６２が制御に用いる第２学習済みモデル３９２は、入力に対する出力である上記指令値に加えて、サブタスクとして、第４時刻における予測画像を生成して出力するように学習されてもよい。予測画像は、第４時刻で取得部３１によって取得されると第２学習済みモデル３９２により予測された画像である。当該予測画像は、第２制御部３６２による制御に用いられることはない。発明者らは、第２学習済みモデル３９２が第４時刻における接触力の予測値およびトルクの予測値をサブタスクとして出力することで、他の出力要素である指令値の精度が向上することを見出した。
【0095】
また、第１実施形態で説明した第１学習済みモデル３９１、第２学習済みモデル３９２、第３学習済みモデル３９３、第４学習済みモデル３９４、および第５学習済みモデル３９６のそれぞれは、深層学習モデルに限定されることはなく、他の機械学習モデル（例えばＳＶＭ（Support Vector Machine）などの教師あり学習モデル）であってもよい。
【0096】
また、第１実施形態で説明した制御装置３０は、座標変換部３３および補正部３４を備えていなくてもよい。この場合、取得部３１は、取得した力データを判定部３５および制御部３６に送ればよい。またこの場合、取得部３１は、ボルト２０１の中心位置座標を取得した際、直近の施工の対象となるボルト２０１の中心位置座標を取得した旨を示す取得フラグをカウンタ部３８に送ればよい。そして、算出部３２は、算出したナット２０２の位置座標および姿勢角を判定部３５および制御部３６に送ればよい。そして、第１判定部３５１は、取得部３１から受け付けた力データに基づき第１判定を行い、第２判定部３５２は、算出部３２から受け付けたナット２０２の位置座標および姿勢角に基づき第２判定を行い、第３判定部３５３は、取得部３１から受け付けた画像、算出部３２から受け付けたナット２０２の位置座標および姿勢角、ならびに、取得部３１から受け付けた力データに基づき第３判定を行い、第４判定部３５４は、取得部３１から受け付けた画像、算出部３２から受け付けたナット２０２の位置座標および姿勢角、ならびに、取得部３１から受け付けた力データに基づき第４判定を行い、第５判定部３５５は、第４判定部３５４から受け付けた第４判定の結果がナット２０２の締結が成功したことを示す場合に、取得部３１から受け付けた力データに基づき、第５判定を行えばよい。そして、第１制御部３６１は、ナット２０２がボルト２０１に接触していると第１判定の結果が示す場合に、算出部３２から受け付けたナット２０２の位置座標および姿勢角と、取得部３１から受け付けた力データとを含むデータセットに基づき、ボルト２０１に対するナット２０２の締結動作を実行し、第２制御部３６２は、取得部３１から受け付けた画像と、算出部３２から受け付けたナット２０２の位置座標および姿勢角とを含むデータセットに基づき、エンドエフェクタ１２の移動および回転を制御すればよい。
【0097】
また、第２実施形態で説明した制御装置３０は、取得部３１から電流値を受け付けるとともに、受け付けた電流値を接触力およびトルクを含む力データに変換する電流値変換部（図示省略）などを更に備えてもよい。この場合、電流値変換部は、例えば、電流値から変換した接触力およびトルクを含む力データを補正部３４などに送ればよい。電流値変換部は、例えば、各々のモータ１１７（第１モータ１１７ａ～第６モータ１１７ｆ）を流れる電流の電流値と、接触力およびトルクとが互いに関連付いた対応関係情報（関数など）に基づき、電流値を力データに変換してもよい。この場合、対応関係情報は、例えば記憶部３９にあらかじめ記憶されており、電流値変換部は、記憶部３９に記憶されている対応関係情報を適時に参照することで上記の変換を行えばよい。
【0098】
また、第１判定部３５１は、第１判定を行うに当たり、取得部３１から受け付けた画像を更に用いてもよい。すなわち、第１判定部３５１は、画像と、力データとに基づき、第１判定を行ってよい。この場合、第１判定部３５１は、画像と、力データとを含むデータセットが入力されると、第１判定の結果を出力するように学習された所定の学習済みモデルを用いて判定を行う。すなわち、当該学習済みモデルは、画像と、力データとを含むデータセットを入力要素とし、第１判定の結果を出力要素とする。当該学習済みモデルは、例えば記憶部３９にあらかじめ記憶されており、第１判定部３５１は、記憶部３９に記憶されている当該学習済みモデルに上記データセットを入力することで出力された第１判定の結果を取得してもよい。
【0099】
また、第２判定部３５２は、第２判定を行うに当たり、取得部３１から受け付けた画像を更に用いてもよい。すなわち、第２判定部３５２は、画像と、ナット２０２の位置座標および姿勢角とに基づき、第２判定を行ってよい。この場合、第２判定部３５２は、画像と、ナット２０２の位置座標および姿勢角とを含むデータセットが入力されると、第２判定の結果を出力するように学習された所定の学習済みモデルを用いて判定を行う。すなわち、当該学習済みモデルは、画像と、ナット２０２の位置座標および姿勢角とを含むデータセットを入力要素とし、第２判定の結果を出力要素とする。当該学習済みモデルは、例えば記憶部３９にあらかじめ記憶されており、第２判定部３５２は、記憶部３９に記憶されている当該学習済みモデルに上記データセットを入力することで出力された第２判定の結果を取得してもよい。
【0100】
また、第３判定部３５３は、ナット２０２の螺合の成否を判定するに当たり、取得部３１から受け付けた画像を用いなくてもよい。この場合、第３学習済みモデル３９３は、ナット２０２の位置座標および姿勢角と、力データとを含むデータセットを入力要素とし、ナット２０２およびボルト２０１の螺合の成否を示す判定結果を出力要素とする。
【0101】
また、第５判定部３５５は、補正部３４から受け付けた力データに基づき、切断に必要なトルクを示す第３しきい値を超えたか否かの切断に関する判定、および締結用モータ１２０ａが停止状態から回転状態になったか否かのエンドエフェクタ１２の駆動に関する判定を、第５判定を行う前に併せて行ってもよい。つまり、第５判定部３５５は、上記切断に関する判定が、データ（接触力）が第３しきい値を超えたことを示し、かつ、エンドエフェクタ１２の駆動に関する判定が、締結用モータ１２０ａが回転状態であることを示した場合に、上記第５判定を行ってもよい。なお、第３しきい値は、例えば記憶部３９にあらかじめ記憶されており、第５判定部３５５は、記憶部３９に記憶されている第３しきい値を適時に参照することで上記切断に関する判定を行う。
【0102】
（コンピュータの構成）
図１７は、本実施形態に係るコンピュータ１１００の構成を示すハードウェア構成図である。コンピュータ１１００は、例えば、プロセッサ１１１０と、メインメモリ１１２０と、ストレージ１１３０と、インターフェース１１４０とを備えている。
図１７は、本実施形態に係るコンピュータ１１００の構成を示すハードウェア構成図である。コンピュータ１１００は、例えば、プロセッサ１１１０と、メインメモリ１１２０と、ストレージ１１３０と、インターフェース１１４０とを備えている。
【0103】
上述の制御装置３０は、例えば１以上のコンピュータ１１００に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ１１３０に記憶されている。プロセッサ１１１０は、プログラムをストレージ１１３０から読み出してメインメモリ１１２０に展開し、当該プログラムにしたがって上記処理を実行する。また、プロセッサ１１１０は、プログラムにしたがって、上述した記憶部３９に対応する記憶領域をメインメモリ１１２０に確保する。プログラムは、コンピュータ１１００に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージ１１３０に既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。また、コンピュータ１１００は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサ１１１０によって実現される機能の一部またはすべてが当該集積回路によって実現されてよい。ストレージ１１３０の例としては、磁気ディスク、光磁気ディスク、半導体メモリなどが挙げられる。ストレージ１１３０は、コンピュータ１１００のバスに直接的に接続された内部メディアであってもよいし、インターフェース１１４０または通信回線を介してコンピュータ１１００に接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ１１００に配信される場合、配信を受けたコンピュータ１１００が当該プログラムをメインメモリ１１２０に展開し、上記処理を実行してもよい。上記実施形態では、ストレージ１１３０は、一時的でない有形の記憶媒体である。また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能をストレージ１１３０に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【0104】
＜付記＞
各実施形態に記載の組立システム、制御方法、およびプログラムは、例えば以下のように把握される。
各実施形態に記載の組立システム、制御方法、およびプログラムは、例えば以下のように把握される。
【0105】
（１）第１の態様に係る組立システム１００は、複数の関節部１１０を有するアーム１１と、前記アーム１１によって移動されるとともに、ナット２０２を保持して前記ナット２０２を軸線（回転軸線Ａｒまたは軸線Ａｒ１）回りに回転させるエンドエフェクタ１２と、各々の前記関節部１１０の関節角を取得する第１センサ１３（エンコーダ１３０）と、施工対象物２００に設けられたボルト２０１に前記ナット２０２が接触した場合に、前記エンドエフェクタ１２から伝達された接触力およびトルクを取得する第２センサ１４（力覚センサ１４０，電流センサ１４１）と、を有するマニピュレータ１０と、前記マニピュレータ１０を制御する制御装置３０と、を備え、前記制御装置３０は、各々の前記関節部１１０の関節角と、前記接触力およびトルクとを第１所定周期で取得する取得部３１と、前記取得された各々の前記関節部１１０の関節角に基づき、前記ナット２０２の位置座標および姿勢角を算出する算出部３２と、第１時刻における前記ナット２０２の位置座標および姿勢角と、前記第１時刻における前記接触力およびトルクとが入力されると、前記ナット２０２が前記ボルト２０１に締結された状態を示す前記ナット２０２の目標位置座標および目標姿勢角に近づいた、前記第１時刻よりも後の第２時刻における前記ナット２０２の位置座標および姿勢角を示す指令値を出力するように学習された第１学習済みモデル３９１を用いて、前記エンドエフェクタ１２を制御する制御部３６と、を備える。
【0106】
これにより、第１学習済みモデル３９１に対しての入力が行われるたびに、ナット２０２の状態を、ナット２０２がボルト２０１に締結された状態に向けて遷移させることができる。
【0107】
（２）第２の態様に係る組立システム１００は、（１）の組立システム１００であって、前記第１学習済みモデル３９１は、前記ナット２０２の前記目標位置座標および目標姿勢角から、ランダムに与えられた量外れた前記ナット２０２の既知位置座標および既知姿勢角が、前記目標位置座標および目標姿勢角になるように前記エンドエフェクタ１２を制御する教示動作中に取得された複数の前記ナット２０２の位置座標および姿勢角と、各々の前記ナット２０２の位置座標および姿勢角が取得された時刻に対応する前記接触力およびトルクと、を含む教師データセットが入力される学習ステップが繰り返し実行されたことで、前記入力に応じた前記指令値を出力するように学習されていてもよい。
【0108】
これにより、上記作用をより具体的な設定で実現することができる。また、例えば、実運用時にナット２０２およびボルト２０１の締結を行う際にナット２０２のボルト２０１に対する位置座標のずれや姿勢角のずれが生じても、実際に締結にかかった時間が、予測された締結にかかる時間から乖離することを抑制することができる。
【0109】
（３）第３の態様に係る組立システム１００は、（１）の組立システム１００であって、前記エンドエフェクタ１２に設けられ、前記施工対象物２００を撮像した画像を生成する撮像装置２０を更に備え、前記取得部３１は、前記画像を第２所定周期で更に取得し、前記制御部３６は、前記ナット２０２が前記ボルト２０１に接触していない第１位置で前記取得された第３時刻における前記画像と、前記第３時刻における前記ナット２０２の位置座標および姿勢角とが入力されると、前記ナット２０２が前記ボルト２０１に接触した第２位置に前記ナット２０２が近づいた、前記第３時刻よりも後の第４時刻における前記ナット２０２の位置座標および姿勢角を示す指令値を出力するように学習された第２学習済みモデル３９２を用いて、前記エンドエフェクタ１２を制御してもよい。
【0110】
これにより、第２学習済みモデル３９２に対しての入力が行われるたびに、第１位置に位置するナット２０２を、第２位置に向けて遷移させることができる。
【0111】
（４）第４の態様に係る組立システム１００は、（３）の組立システム１００であって、前記第２学習済みモデル３９２は、前記第２位置から前記第１位置に前記エンドエフェクタ１２を移動させるダイレクトティーチング動作中に取得された複数の前記画像と、各々の前記画像が取得された時刻に対応する前記ナット２０２の位置座標および姿勢角と、を含む教師データセットが入力される学習ステップが繰り返し実行されたことで、前記入力に応じた前記指令値を出力するように学習されていてもよい。
【0112】
これにより、ノイズなどの割合が少ないより高品質な教師データセットを取得することができる。
【0113】
（５）第５の態様に係る組立システム１００は、（３）または（４）の組立システム１００であって、前記制御部３６は、前記第２位置で前記取得された前記画像と、前記画像が取得された時刻に対応する前記ナット２０２の位置座標および姿勢角と、前記画像が取得された時刻に対応する前記接触力およびトルクとが入力されると、前記ナット２０２および前記ボルト２０１の螺合の成否を示す判定結果を出力するように学習された第３学習済みモデル３９３を用いて、前記エンドエフェクタ１２を制御してもよい。
【0114】
これにより、例えば、ナット２０２およびボルト２０１の螺合が誤った状態で締結されることを回避できる。
【0115】
（６）第６の態様に係る組立システム１００は、（１）から（４）のうちいずれか１つの組立システム１００であって、前記ナット２０２の位置座標は、前記マニピュレータ１０が持つ原点に準拠した世界座標系で表現されており、前記制御装置３０は、前記算出された前記ナット２０２の位置座標を前記世界座標系からボルト中心座標系に変換する座標変換部３３を更に備え、前記制御部３６は、前記変換された前記ナット２０２の位置座標を前記第１学習済みモデル３９１に入力してもよい。
【0116】
これにより、世界座標系で表現されるナット２０２の位置座標がボルト２０１ごとに生じる固有の位置座標であるのに対して、ボルト２０１中心座標といった同一の尺度でナット２０２のボルト２０１に対する相対的な位置座標を表すことができる。
【0117】
（７）第７の態様に係る組立システム１００は、（１）から（４）のうちいずれかの１つの組立システム１００であって、前記制御装置３０は、前記取得された各々の前記関節部１１０の関節角に基づく前記エンドエフェクタ１２の自重に関する補正値を用いて、前記取得された前記接触力を補正する補正部３４を更に備え、前記制御部３６は、前記補正された前記接触力を前記第１学習済みモデル３９１に入力してもよい。
【0118】
これにより、エンドエフェクタ１２から伝達された接触力よりも実際に生じた接触力に近づいた接触力を第１学習済みモデル３９１の入力要素とすることができる。
【0119】
（８）第８の態様に係る組立システム１００は、（１）から（４）のうちいずれかの１つの組立システム１００であって、前記第２センサ１４は、各々の前記関節部１１０が有するモータ１１７の電流値を取得可能な電流センサ１４１であってもよい。
【0120】
これにより、例えば、第２センサ１４としての力覚センサ１４０などを用いる場合と比較して、マニピュレータ１０全体のサイズおよび重量を抑えることができる。
【0121】
（９）第９の態様に係る組立システム１００は、（１）から（４）のうちいずれかの１つの組立システム１００であって、前記マニピュレータ１０が載置された台座部１５と、前記台座部１５を前記施工対象物２００の周囲で移動可能にさせる移動機構１６（車輪１６０、電動スライダ１６１）と、を更に備えてもよい。
【0122】
これにより、より広い範囲でマニピュレータ１０が動作を行うことができる。
【0123】
（１０）第１０の態様に係る組立システム１００は、（３）または（４）の組立システム１００であって、前記エンドエフェクタ１２は、基部１２２と、前記基部１２２から延びるとともに前記軸線を中心とした筒状を成し、先端側に前記ナット２０２の少なくとも一部を収容可能な収容部１２３ｒが形成されたソケット部１２３とを有するナットランナ１２１と、前記ソケット部１２３の外周側に回動可能に固定されて前記軸線に交差する方向に延びる第１部分１２６と、前記第１部分１２６から前記先端側に延びる延在部１２７ａおよび前記延在部１２７ａの先端に設けられて前記軸線に近づくように前記延在部１２７ａから突出することで前記ナット２０２に当接する爪部１２７ｂを有する第２部分１２７とを有するナット保持部材１２４と、前記基部１２２と前記第１部分１２６との間に設けられ、前記第１部分１２６に対して前記先端側に向かう弾性力を付与する弾性部材１２８と、を有してもよい。
【0124】
これにより、例えば、ナット２０２を吸引して保持する機構を備えたエンドエフェクタ１２などと比較して、より簡易な構成でエンドエフェクタ１２がナット２０２を保持することができる。
【0125】
（１１）第１１の態様に係る組立システム１００は、（１０）の組立システム１００であって、前記撮像装置２０は、前記収容部１２３ｒよりも前記基部１２２に近い側の前記ソケット部１２３内に配置され、前記撮像装置２０は、前記ナット２０２の孔（ナット孔２０２ｈ）を通じて、前記施工対象物２００を撮像した前記画像を生成する撮像部２１と、前記ナット２０２の孔（ナット孔２０２ｈ）を通じて、前記施工対象物２００に向けて光を照射する照明部２２と、を有してもよい。
【0126】
これにより、撮像装置２０の撮像範囲を集中的に照らしながら画像を生成することができる。
【0127】
（１２）第１２の態様に係る制御方法は、複数の関節部１１０を有するアーム１１と、前記アーム１１によって移動されるとともに、ナット２０２を保持して前記ナット２０２を軸線回りに回転させるエンドエフェクタ１２と、各々の前記関節部１１０の関節角を取得する第１センサ１３と、施工対象物２００に設けられたボルト２０１に前記ナット２０２が接触した場合に、前記エンドエフェクタ１２から伝達された接触力およびトルクを取得する第２センサ１４と、を有するマニピュレータ１０を制御する制御方法であって、各々の前記関節部１１０の関節角と、前記接触力およびトルクとを第１所定周期で取得するステップと、前記取得された各々の前記関節部１１０の関節角に基づき、前記ナット２０２の位置座標および姿勢角を算出するステップと、第１時刻における前記ナット２０２の位置座標および姿勢角と、前記第１時刻における前記接触力およびトルクとが入力されると、前記ナット２０２が前記ボルト２０１に締結された状態を示す前記ナット２０２の目標位置座標および目標姿勢角に近づいた、前記第１時刻よりも後の第２時刻における前記ナット２０２の位置座標および姿勢角を示す指令値を出力するように学習された第１学習済みモデル３９１を用いて、前記エンドエフェクタ１２を制御するステップと、を実行する。
【0128】
（１３）第１３の態様に係るプログラムは、複数の関節部１１０を有するアーム１１と、前記アーム１１によって移動されるとともに、ナット２０２を保持して前記ナット２０２を軸線回りに回転させるエンドエフェクタ１２と、各々の前記関節部１１０の関節角を取得する第１センサ１３と、施工対象物２００に設けられたボルト２０１に前記ナット２０２が接触した場合に、前記エンドエフェクタ１２から伝達された接触力およびトルクを取得する第２センサ１４と、を有するマニピュレータ１０を制御する制御装置３０のコンピュータ１１００に、各々の前記関節部１１０の関節角と、前記接触力およびトルクとを第１所定周期で取得するステップと、前記取得された各々の前記関節部１１０の関節角に基づき、前記ナット２０２の位置座標および姿勢角を算出するステップと、第１時刻における前記ナット２０２の位置座標および姿勢角と、前記第１時刻における前記接触力およびトルクとが入力されると、前記ナット２０２が前記ボルト２０１に締結された状態を示す前記ナット２０２の目標位置座標および目標姿勢角に近づいた、前記第１時刻よりも後の第２時刻における前記ナット２０２の位置座標および姿勢角を示す指令値を出力するように学習された第１学習済みモデル３９１を用いて、前記エンドエフェクタ１２を制御するステップと、を実行させる。
【符号の説明】
【0129】
１０…マニピュレータ １１…アーム １２…エンドエフェクタ １３…第１センサ １４…第２センサ １５…台座部 １６…移動機構 １７…キャリブレーション機構 ２０…撮像装置 ２１…撮像部 ２２…照明部 ３０…制御装置 ３１…取得部 ３２…算出部 ３３…座標変換部 ３４…補正部 ３５…判定部 ３６…制御部 ３７…学習部 ３８…カウンタ部 ３９…記憶部 １００…組立システム １１０…関節部 １１１…第１関節部 １１２…第２関節部 １１３…第３関節部 １１４…第４関節部 １１５…第５関節部 １１６…第６関節部 １１７…モータ １１７ａ…第１モータ １１７ｂ…第２モータ １１７ｃ…第３モータ １１７ｄ…第４モータ １１７ｅ…第５モータ １１７ｆ…第６モータ １１８…接続部 １１８ａ…第１接続部 １１８ｂ…第２接続部 １１８ｃ…第３接続部 １２０…本体部 １２０ａ…締結用モータ １２１…ナットランナ １２２…基部 １２２ａ…前面 １２３…ソケット部 １２３ａ…テーパ面 １２３ｂ…締結面 １２３ｃ…位置決め面 １２３ｅ…開口 １２３ｉ…内周面 １２３ｏ…外周面 １２３ｒ…収容部 １２４…ナット保持部材 １２５…回動軸 １２６…第１部分 １２７…第２部分 １２７ａ…延在部 １２７ｂ…爪部 １２８…弾性部材 １３０…エンコーダ １３１…第１エンコーダ １３２…第２エンコーダ １３３…第３エンコーダ １３４…第４エンコーダ １３５…第５エンコーダ １３６…第６エンコーダ １４０…力覚センサ １４１…電流センサ １６０…車輪 １６１…電動スライダ ２００…施工対象物 ２０１…ボルト ２０１ａ…雄ねじ部 ２０１ｅ，２０２ｅ…端面 ２０２…ナット ２０２ａ…ナット本体 ２０２ｂ…カラー ２０２ｈ…ナット孔 ２１０…第１部品 ２２０…第２部品 ３００…作業台 ３５１…第１判定部 ３５２…第２判定部 ３５３…第３判定部 ３５４…第４判定部 ３５５…第５判定部 ３５６…第６判定部 ３６１…第１制御部 ３６２…第２制御部 ３６３…第３制御部 ３９１…第１学習済みモデル ３９２…第２学習済みモデル ３９３…第３学習済みモデル ３９４…第４学習済みモデル ３９５…ＣＡＤデータ ３９６…第５学習済みモデル ３９７…ばらつき生成モデル １１００…コンピュータ １１１０…プロセッサ １１２０…メインメモリ １１３０…ストレージ １１４０…インターフェース Ａｒ…回転軸線 Ａｒ１…軸線 Ａｒ２…中心線 ＣＧ…エンドエフェクタの重心位置 Ｄａ…軸線方向 Ｄａ１…一方側 Ｄａ２…他方側 Ｄｖ…鉛直方向 Ｆｂ…接触力 Ｆｇ…自重 Ｆｇ１…補正値 Ｆｔ…トルク Ｏ１…第１回動軸線 Ｏ２…第２回動軸線 Ｏ３…第３回動軸線 Ｏ４…第４回動軸線 Ｏ５…第５回動軸線 Ｏ６…第６回動軸線 Ｒ…収容空間 Ｓ…制御対象装置
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】