(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023112849
(43)【公開日】2023-08-15
(54)【発明の名称】制御装置、検査システム、制御方法、及びプログラム
(51)【国際特許分類】
B25J 9/10 20060101AFI20230807BHJP
【FI】
B25J9/10 A
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2022014816
(22)【出願日】2022-02-02
(71)【出願人】
【識別番号】000006208
【氏名又は名称】三菱重工業株式会社
(71)【出願人】
【識別番号】304021417
【氏名又は名称】国立大学法人東京工業大学
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100162868
【弁理士】
【氏名又は名称】伊藤 英輔
(74)【代理人】
【識別番号】100161702
【弁理士】
【氏名又は名称】橋本 宏之
(74)【代理人】
【識別番号】100189348
【弁理士】
【氏名又は名称】古都 智
(74)【代理人】
【識別番号】100196689
【弁理士】
【氏名又は名称】鎌田 康一郎
(72)【発明者】
【氏名】福家 康隆
(72)【発明者】
【氏名】小松 洋音
(72)【発明者】
【氏名】松澤 貴司
(72)【発明者】
【氏名】浅野 伸
(72)【発明者】
【氏名】只野 耕太郎
(72)【発明者】
【氏名】入江 航士朗
(72)【発明者】
【氏名】リー・チャンヴェッチャロー
【テーマコード(参考)】
3C707
【Fターム(参考)】
3C707AS14
3C707BS18
3C707CY06
3C707CY12
3C707CY29
3C707HS26
3C707HS27
3C707HT04
3C707HT09
3C707HT20
3C707KS10
3C707KS16
3C707KS28
3C707KS36
3C707KT01
3C707KT03
3C707KV06
3C707LS15
3C707LT06
3C707LV19
3C707LW12
3C707MT04
(57)【要約】
【課題】長尺柔軟ロボットの姿勢をより正確に調節可能な制御装置を提供する。
【解決手段】1ユニットごとに所望の1曲率に屈曲可能な複数のユニットが連結されてなる長尺柔軟ロボットと、前記ユニットの姿勢を調節可能な姿勢用アクチュエータとを備える検査装置の制御装置は、予め決定された経路に沿って進行する前記ユニットそれぞれの代表点の位置からなる目標姿勢を特定する目標姿勢特定部と、前記ユニットの前記目標姿勢を入力とし、前記姿勢用アクチュエータの操作量を出力とする学習モデルを用いて、前記ユニットを前記目標姿勢にするための操作量を決定する操作量決定部と、を備える。
【選択図】
図9
【特許請求の範囲】
【請求項1】
1ユニットごとに所望の1曲率に屈曲可能な複数のユニットが連結されてなる長尺柔軟ロボットと、前記ユニットの姿勢を調節可能な姿勢用アクチュエータとを備える検査装置の制御装置であって、
予め決定された経路に沿って進行する前記ユニットそれぞれの代表点の位置からなる目標姿勢を特定する目標姿勢特定部と、
前記ユニットの前記目標姿勢を入力とし、前記姿勢用アクチュエータの操作量を出力とする学習モデルを用いて、前記ユニットを前記目標姿勢にするための操作量を決定する操作量決定部と、
を備える制御装置。
【請求項2】
前記代表点の三次元位置を計測する位置計測センサから取得した前記代表点の位置と、前記姿勢用アクチュエータの操作量とに基づいて、前記学習モデルを構築する学習部を更に備える、
請求項1に記載の制御装置。
【請求項3】
前記学習部は、
前記姿勢用アクチュエータの操作量を入力とし、前記代表点の位置を出力とする順運動学モデルから、各ユニットの先端の速度を前記姿勢用アクチュエータの操作速度に変換する感度マトリクスを表すヤコビ行列を求め、
前記ヤコビ行列を用いて前記ユニットを前記目標姿勢に近づけるための学習用操作量を決定し、
前記学習用操作量で操作後の前記ユニットの姿勢と、前記目標姿勢との誤差が小さくなるように前記ヤコビ行列から各ユニットの先端の速度を計算し、操作機器を使って手動でインチングした場合に、インチング後の前記ユニットの前記代表点の位置と、前記姿勢用アクチュエータの操作量とに基づいて、前記学習モデルを学習する、
請求項2に記載の制御装置。
【請求項4】
前記学習部は、
前記姿勢用アクチュエータの操作量を入力とし、前記代表点の位置を出力とする順運動学モデルから、各ユニットの先端の速度を前記姿勢用アクチュエータの操作速度に変換する感度マトリクスを表すヤコビ行列を求め、
前記学習モデルを用いて前記ユニットを前記目標姿勢に近づけるための学習用操作量を決定し、
前記位置計測センサからリアルタイムで取得した前記ユニットの前記代表点の位置と、前記目標姿勢との偏差から、前記ヤコビ行列を使って前記学習用操作量を逐次、補正するとともに、補正後の前記学習用操作量と、前記ユニットの前記代表点の位置とに基づいて、前記学習モデルを自動的にリアルタイムで更新する、
請求項2に記載の制御装置。
【請求項5】
請求項1から4の何れか一項に記載の制御装置と、
前記検査装置と、
を備える検査システム。
【請求項6】
1ユニットごとに所望の1曲率に屈曲可能な複数のユニットが連結されてなる長尺柔軟ロボットと、前記ユニットの姿勢を調節可能な姿勢用アクチュエータとを備える検査装置の制御方法であって、
予め決定された経路に沿って進行する前記ユニットそれぞれの代表点の位置からなる目標姿勢を特定するステップと、
前記ユニットの前記目標姿勢を入力とし、前記姿勢用アクチュエータの操作量を出力とする学習モデルを用いて、前記ユニットを前記目標姿勢にするための操作量を決定するステップと、
を有する制御方法。
【請求項7】
1ユニットごとに所望の1曲率に屈曲可能な複数のユニットが連結されてなる長尺柔軟ロボットと、前記ユニットの姿勢を調節可能な姿勢用アクチュエータとを備える検査装置に、
予め決定された経路に沿って進行する前記ユニットそれぞれの代表点の位置からなる目標姿勢を特定するステップと、
前記ユニットの前記目標姿勢を入力とし、前記姿勢用アクチュエータの操作量を出力とする学習モデルを用いて、前記ユニットを前記目標姿勢にするための操作量を決定するステップと、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、例えば産業用プラントの検査分野における制御装置、検査システム、制御方法、及びプログラムに関する。
【背景技術】
【0002】
狭隘部の検査に用いられるロボットが知られている。このようなロボットは、例えば、狭隘な場所を通って最終目的地に到達可能なように、多関節構造などを有し、長尺で柔軟に屈曲可能に構成されている。以下、このような構成を有するロボットを、「長尺柔軟ロボット」とも記載する。
【0003】
特許文献1には、検査対象物の内部において予め定めたルートに沿ってロボットを移動させる駆動制御装置が開示されている。このロボットは複数のチューブを連結させた構成となっている。駆動制御装置は、各チューブに固定されたワイヤを姿勢用アクチュエータで操作することにより、ルートに沿ってチューブの姿勢が時々刻々と変化するように調節する。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の技術では、ワイヤのテンションによる伸び、ワイヤと各チューブに設けられたワイヤの挿通孔との摩擦によるテンションの減衰、ワイヤ荷重及び伸びの非線形性、ワイヤの特性のばらつき等の様々な要因により、駆動制御装置がルートに沿うように設定したチューブの目標姿勢と、実際のチューブの姿勢とがずれてしまう可能性があった。
【0006】
本開示は、このような課題に鑑みてなされたものであって、長尺柔軟ロボットの姿勢をより正確に調節可能な制御装置、検査システム、制御方法、及びプログラムを提供する。
【課題を解決するための手段】
【0007】
本開示の一態様によれば、1ユニットごとに所望の1曲率に屈曲可能な複数のユニットが連結されてなる長尺柔軟ロボットと、前記ユニットの姿勢を調節可能な姿勢用アクチュエータとを備える検査装置の制御装置は、予め決定された経路に沿って進行する前記ユニットそれぞれの代表点の位置からなる目標姿勢を特定する目標姿勢特定部と、前記ユニットの前記目標姿勢を入力とし、前記姿勢用アクチュエータの操作量を出力とする学習モデルを用いて、前記ユニットを前記目標姿勢にするための操作量を決定する操作量決定部と、を備える。
【0008】
本開示の一態様によれば、検査システムは、上述の態様に係る制御装置と、検査装置と、を備える。
【0009】
本開示の一態様によれば、1ユニットごとに所望の1曲率に屈曲可能な複数のユニットが連結されてなる長尺柔軟ロボットと、前記ユニットの姿勢を調節可能な姿勢用アクチュエータとを備える検査装置の制御方法は、予め決定された経路に沿って進行する前記ユニットそれぞれの代表点の位置からなる目標姿勢を特定するステップと、前記ユニットの前記目標姿勢を入力とし、前記姿勢用アクチュエータの操作量を出力とする学習モデルを用いて、前記ユニットを前記目標姿勢にするための操作量を決定するステップと、を有する。
【0010】
本開示の一態様によれば、プログラムは、1ユニットごとに所望の1曲率に屈曲可能な複数のユニットが連結されてなる長尺柔軟ロボットと、前記ユニットの姿勢を調節可能な姿勢用アクチュエータとを備える検査装置に、予め決定された経路に沿って進行する前記ユニットそれぞれの代表点の位置からなる目標姿勢を特定するステップと、前記ユニットの前記目標姿勢を入力とし、前記姿勢用アクチュエータの操作量を出力とする学習モデルを用いて、前記ユニットを前記目標姿勢にするための操作量を決定するステップと、を実行させる。
【発明の効果】
【0011】
本開示に係る制御装置、検査システム、制御方法、及びプログラムによれば、長尺柔軟ロボットの姿勢をより正確に調節することができる。
【図面の簡単な説明】
【0012】
【
図1】第1の実施形態に係る検査システムの全体構成を示す図である。
【
図2】第1の実施形態に係る検査装置の構成を示す第1の図である。
【
図3】第1の実施形態に係る検査装置の構成を示す第2の図である。
【
図4】第1の実施形態に係る検査装置の構成を示す第3の図である。
【
図5】第1の実施形態に係る検査装置の構成を示す第4の図である。
【
図6】第1の実施形態に係る検査装置の構成を示す第5の図である。
【
図7】第1の実施形態に係る検査装置の構成を示す第6の図である。
【
図8】第1の実施形態に係る制御装置のハードウェア構成を示す図である。
【
図9】第1の実施形態に係るCPUの機能構成を示す第1の図である。
【
図10】第1の実施形態に係るCPUの機能構成を示す第2の図である。
【
図11】第1の実施形態に係るCPUの学習モードの処理フローを示す図である。
【
図12】第1の実施形態に係るCPUの制御モードの処理フローを示す図である。
【
図13】第1の実施形態に係る制御装置の効果を説明する第1の図である。
【
図14】第1の実施形態に係る制御装置の効果を説明する第2の図である。
【
図15】第2の実施形態に係るCPUの機能構成を示す図である。
【
図16】第2の実施形態に係る制御装置の機能を説明する第1の図である。
【
図17】第2の実施形態に係るCPUの学習モードの処理フローを示す図である。
【
図18】第2の実施形態に係る制御装置の機能を説明する第2の図である。
【
図19】第3の実施形態に係る制御装置の機能を説明する図である。
【発明を実施するための形態】
【0013】
<第1の実施形態>
以下、第1の実施形態に係る制御装置及びこれを備える検査システムについて、
図1~
図13を参照しながら説明する。
【0014】
(検査システムの全体構成の概要)
図1は、第1の実施形態に係る検査システムの全体構成を示す図である。
図1に示す検査システム1は、狭隘部(例えば、ガスタービンや蒸気タービンなどの内部)の検査に用いられる。
【0015】
図1に示すように、検査システム1は、制御装置10と、検査装置5とを備える。検査システム1は、検査装置5の制御に用いるモデルを学習する学習モードと、学習済みモデルを用いて検査装置5を制御する制御モードとの2つのモードの何れかで稼働する。なお、検査システム1は、学習モード時のみ、位置計測センサ7を更に備える。
【0016】
(検査装置の構成)
まず、検査装置5について、
図2~
図7を参照しながら詳しく説明する。
検査装置5は、検査対象内部に挿入して検査対象(ガスタービン等)の内部を確認することが可能な装置である。本実施形態の検査装置5は、検査用ケーブル61(
図3)と、長尺柔軟ロボット6を備えている。
【0017】
まず、
図2を参照しながら、長尺柔軟ロボット6の全体構成について説明する。
長尺柔軟ロボット6は、複数のユニットUが直列に連結されてなるチューブ62を有する。ユニットUは、複数箇所で屈曲可能な多関節構造を有し、所定の範囲(例えば、90°までの範囲)で、所望の方向に屈曲可能な構造とされている。ただし、後述する構造に基づき、1つのユニットUは1曲率でのみ屈曲可能であり、1ユニットだけで2曲率の形状(例えばS字の形状)に変形することはできない。
【0018】
各ユニットUは、連結部L(
図2の黒点で示す部分)にて直列に連結される。また、本実施形態においては、1つのユニットUは、例えば3つの節Sからなる。各ユニットUの境界(連結部L)及び各節Sの境界はフランジ632で区切られている。
【0019】
長尺柔軟ロボット6の先端からは、検査用ケーブル61(
図3)の先端に設けられたセンサ612が挿出される。
【0020】
次に、
図3~
図7を参照しながら検査用ケーブル61及び長尺柔軟ロボット6の構成について詳しく説明する。
検査用ケーブル61は、柔軟性の高いケーブル本体611と、センサ612とを有している。ケーブル本体611は、作業者によって操作部(不図示)が操作されることで、ケーブル本体611の延びる方向であるケーブル延在方向に対して交差する任意の方向に屈曲可能である。ケーブル本体611は、チューブ62とは別の部材であって、チューブ62に対して着脱可能に固定されている。ケーブル本体611には、長尺柔軟ロボット6とは別に単独で駆動させることが可能なように、ケーブル移動用のアクチュエータ(不図示)が設けられている。
【0021】
センサ612は、ケーブル本体611の先端に固定されている。センサ612及びケーブル本体611はチューブ62(後述)に内蔵されている。本実施形態のセンサ612は、検査対象の内部を撮像可能なカメラである。センサ612で撮像された映像や画像等の撮像データは、ケーブル本体611におけるセンサ612が設けられていない側の端部(後端)から延びるケーブルを介して、カメラ画像モニタ等に送られる。本実施形態の検査用ケーブル61としては、例えば、直接目視出来ない奥まった部位の観察や検査をするボアスコープ(工業用内視鏡)が用いられる。
【0022】
なお、長尺柔軟ロボット6(チューブ62)は、屈曲可能構造を有するものであればよく、例えば、柔軟性の高い部材が複数繋がれた多関節構造を有する蛇型のロボット等であってもよい。
【0023】
また、センサ612は、本実施形態のようにカメラであることに限定されるものではない。例えば、本実施形態のセンサ612は、寸法計測機能(例えば、三次元位相計測)を有するセンサ612や、温度や傷の有無を測定可能なセンサ612であってもよい。
【0024】
長尺柔軟ロボット6は、チューブ62と、姿勢用アクチュエータ65と、進退用アクチュエータ67と、を備えている。
【0025】
チューブ62は、
図3に示すように、検査用ケーブル61が挿通可能な中空部が内部に形成されている。チューブ62は、可撓性を有している。チューブ62は、複数箇所で屈曲可能な多関節構造とされている。したがって、チューブ62は、チューブ62の延びる方向であるチューブ延在方向に対して交差する任意の方向に屈曲可能とされている。なお、チューブ62の各関節部は、曲げやすい一方で、ねじりにくく圧縮されにくい構造とされていることが好ましい。チューブ62の外径は、検査対象の狭隘部に挿入可能な大きさ(例えば10mmφ)とされている。チューブ62には、ケーブル本体611が着脱可能とされている。本実施形態のチューブ62は、複数のチューブ本体63が連結されることで構成されている。1つのチューブ本体63は、
図2に示す1つの節Sに相当する。
【0026】
複数のチューブ本体63は、チューブ本体63の延びている方向に並んで配置され、互いに連結されている。チューブ本体63は、
図4に示すように、両端が開口した筒状部631と、筒状部631の両端の外周面から径方向の外側に向かって突出するフランジ632とを有している。筒状部631は、内部に検査用ケーブル61が挿通可能な円筒状をなしている。筒状部631は、例えば複数のスリット(不図示)が形成され、任意の方向に屈曲可能とされている。フランジ632は、円環状をなして筒状部631と一体に形成されている。
【0027】
図3に示すように、姿勢用アクチュエータ65は、チューブ62の姿勢を調節可能とされている。ここで、チューブ62の姿勢とは、チューブ延在方向と交差する仮想面上でのチューブ62の先端の位置及び向きである。本実施形態の姿勢用アクチュエータ65は、チューブ62の基端(後端)に固定されている。姿勢用アクチュエータ65は、
図7に示すように、複数のワイヤ651と、筐体部652と、プーリ653と、ワイヤ駆動部654と、ワイヤ荷重検出部655と、を有している。
【0028】
図4に示すように、複数のワイヤ651は、1つのチューブ本体63に対して複数(本実施形態では、例えば3本)設けられている。ワイヤ651の先端は、チューブ本体63の先端面に固定されている。ワイヤ651は、
図5に示すように、1つのチューブ本体63の先端面に対して位相をずらすように(例えば120度)、互いに離れて固定されている。また、ワイヤ651は、隣接するチューブ本体63ごとに位相をずらして配置されている。したがって、
図6に示すように、先端側に配置された一のチューブ本体63(チューブ本体63A)に対して、基端側で隣接する別のチューブ本体63(チューブ本体63B)では、ワイヤ651の固定位置が所定角度(例えば40度)ずれている。各チューブ本体63には、ワイヤ651を挿通させるためのワイヤ挿通孔633が形成されている。なお、ワイヤ651の先端には、ワイヤ挿通孔633の直径よりも大径の球状部が設けられており、ワイヤ651はこの球状部によってワイヤ挿通孔633からの抜け止めが抑制される(チューブ本体63の端面に固定される)構成であってもよい。
【0029】
図7に示すように、筐体部652は、チューブ62の基端に固定されている。筐体部652は、内部にワイヤ651の一端が収容されている。筐体部652には、チューブ62の基端から飛び出しているケーブル本体611が挿通可能な筐体貫通孔652Aが形成されている。筐体貫通孔652Aは、筐体部652を貫通するように形成されている。
【0030】
プーリ653は、筐体部652内に回転可能な状態で取り付けられている。プーリ653は、筐体部652内で、ワイヤ651の延びている方向を反転させている。プーリ653は、ワイヤ651ごとに設けられている。つまり、プーリ653は、一つのワイヤ651に対して一つ設けられている。プーリ653は、筐体貫通孔652Aを囲むように互いに離れて複数設けられている。
【0031】
ワイヤ駆動部654は、筐体部652内に固定されている。ワイヤ駆動部654は、ワイヤ651ごとに設けられている。つまり、ワイヤ駆動部654は、一つのワイヤ651に対して一つ設けられている。ワイヤ駆動部654は、ワイヤ651においてチューブ本体63と固定されていない側の端部であるワイヤ651の基端に対して、ワイヤ荷重検出部655を介して繋がっている。ワイヤ駆動部654は、ワイヤ651をプーリ653に対して進退させることが可能とされている。ワイヤ駆動部654としては、例えば、電動スライダや電動シリンダやボールねじが用いられる。
【0032】
ワイヤ荷重検出部655は、ワイヤ651の基端とワイヤ駆動部654との間に配置されている。ワイヤ荷重検出部655は、ワイヤ651に生じる荷重(ワイヤ引張力)を測定し、測定結果をワイヤ駆動部654に送っている。送られた測定結果が過大であると判断される値(例えば、ワイヤ651に損傷を与えるような値)以上の場合には、ワイヤ駆動部654はワイヤ651を緩めるように駆動される。また、送られた測定結果が過少であると判断される値(例えば、ワイヤ651が撓んでいるとみなせる値)以下の場合には、ワイヤ駆動部654はワイヤ651を緩まない程度に張るように駆動される。ワイヤ荷重検出部655は、例えば、荷重を直接測定可能なロードセルであってもよい。また、代替手段として、ワイヤ駆動部654でのモータ電流値に基づいて間接的に荷重を測定してもよい。
【0033】
また、姿勢用アクチュエータ65は、複数のチューブ本体63の中でも先端に近い位置に配置された一部のチューブ本体63を駆動する。姿勢用アクチュエータ65によって駆動されるチューブ本体63は、一つであってもよく、複数であってもよい。本実施形態のチューブ62は、
図3に示すように、姿勢用アクチュエータ65によって駆動される能動部62Aと、姿勢用アクチュエータ65によって駆動されない従動部62Bとに分けられる。
【0034】
能動部62Aでは、各チューブ本体63のフランジ632にワイヤ651が固定されている。能動部62Aは、チューブ62において先端から所定の長さの領域である。ここで、所定の長さとは、所望の検査範囲に到達可能な長さである。
【0035】
従動部62Bは、能動部62Aの動きに追従して可動する。従動部62Bでは、各チューブ本体63のフランジ632にワイヤ651が固定されていない。従動部62Bは、チューブ62において基端から能動部62Aまでの領域である。本実施形態の従動部62Bは、筐体部652と能動部62Aとには挟まれた領域である。
【0036】
進退用アクチュエータ67は、チューブ62を進退させることが可能とされている。ここで、チューブ62の進退とは、チューブ延在方向に対してチューブ62を移動させることである。本実施形態の進退用アクチュエータ67は、チューブ62が固定された筐体部652を移動可能とされている。進退用アクチュエータ67は、ガイドレール672と、進退駆動部671と、を有している。
【0037】
進退駆動部671は、ガイドレール672上を移動する。進退駆動部671には、筐体部652が固定されている。進退駆動部671は、例えば、電動スライダである。検査対象に近づくように進退駆動部671がガイドレール672上を移動することで、チューブ62が検査対象の内部の奥深くまで挿入される。逆に、検査対象から離れるように進退駆動部671がガイドレール672上を移動することで、チューブ62が検査対象の内部の奥から入口付近まで移動される。
【0038】
(位置計測センサの構成)
位置計測センサ7(
図1)は、学習時に長尺柔軟ロボット6の各ユニットUの代表点の位置を計測する。代表点は、例えば、能動部62Aとなる各ユニットUの先端、及び中央位置に設定される。また、
図1に示すように、各代表点には位置計測用のマーカ71が取り付けられる。
【0039】
本実施形態に係る位置計測センサ7は、カメラである。位置計測センサ7であるカメラは、撮影した画像から、マーカ71が取り付けられている位置、すなわち、各ユニットUの代表点の位置を示す三次元座標を計測する。計測した三次元座標は、制御装置10に出力される。なお、位置計測センサ7は代表点の位置を計測可能であればどのようなセンサであってもよい。例えば、他の実施形態において、位置計測センサ7は、レーザスキャナ、LiDAR等である。また、形状や色などの特徴から各ユニットの代表点が識別可能である場合、マーカ71を省略してもよい。
【0040】
(制御装置のハードウェア構成)
図8は、第1の実施形態に係る制御装置のハードウェア構成を示す図である。
図8に示すように、制御装置10は、CPU100と、通信インタフェース101と、メモリ102と、入力装置103と、出力装置104と、ストレージ105とを備えている。
【0041】
CPU100は、予め用意されたプログラムに従って動作することで、種々の機能を発揮する。CPU100の機能の詳細については、後述する。
【0042】
通信インタフェース101は、例えば、長尺柔軟ロボット6及び他の端末装置との接続インタフェースである。
【0043】
メモリ102は、いわゆる主記憶装置であって、CPU100の処理に必要な記憶領域を提供する。
【0044】
入力装置103は、オペレータからの操作を受け付ける装置であって、例えば、マウス、キーボード、タッチセンサなどである。
【0045】
出力装置104は、オペレータに各種情報を出力するための装置であって、ディスプレイ、スピーカなどである。
【0046】
ストレージ105は、いわゆる補助記憶装置であって、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)等である。
【0047】
(制御装置の機能構成)
図9は、第1の実施形態に係るCPUの機能構成を示す第1の図である。
図10は、第1の実施形態に係るCPUの機能構成を示す第2の図である。
次に、CPU100の機能について
図9~
図10を参照しながら説明する。
また、本実施形態に係るCPU100は、長尺柔軟ロボット6の制御に用いるモデル(後述の学習モデルM1)を学習する学習モードと、学習済みモデルを用いて長尺柔軟ロボット6の制御を行う制御モードとを有する。
まず、制御モード時におけるCPU100の機能構成について
図9を参照しながら説明する。制御モード時におけるCPU100は、
図9に示すように、目標姿勢特定部1001、操作量決定部1002、及び出力部1004としての機能を有する。
【0048】
目標姿勢特定部1001は、制御モードにおいて、予め決定された経路に沿って進行する長尺柔軟ロボット6の各ユニットUの目標姿勢を特定する。経路は、例えば既知の経路生成装置(不図示)が検査対象の内部構造に応じて決定したものである。目標姿勢は、例えば、各ユニットUの代表点の三次元座標で表される。目標姿勢特定部1001は、長尺柔軟ロボット6が経路上を進行するごとに各ユニットUの代表点の位置が経路上に一致するように、各ユニットUの目標姿勢を特定する。ここで、目標姿勢特定部1001は、長尺柔軟ロボット6が経路の進入位置から目標位置まで進行する各ステップにおける各ユニットUの目標姿勢を時刻歴で出力する。
【0049】
操作量決定部1002は、制御モードにおいて、各ユニットUの目標姿勢を入力とし、姿勢用アクチュエータ65の操作量を出力とする学習モデルM1を用いて、各ユニットUを目標姿勢にするための操作量(以下、「制御用操作量」とも記載する。)を決定する。学習モデルM1は、姿勢用アクチュエータの操作量と長尺柔軟ロボット6の関節姿勢との関係を学習したモデルであり、後述の学習部1003によって学習済みのものが用いられる。操作量とは、具体的には、姿勢用アクチュエータ65(ワイヤ駆動部654)による各ワイヤ651の引き量である。ここで、操作量決定部1002は、長尺柔軟ロボット6が経路の進入位置から目標位置まで進行する各ステップの操作量を時刻歴で出力する。長尺柔軟ロボット6の関節姿勢とは、各ユニットUの代表点の位置で表される。
【0050】
出力部1004は、制御モードにおいて、操作量決定部1002が決定した制御用操作量の時刻歴を長尺柔軟ロボット6実機への制御信号として出力する。
【0051】
次に、学習モード時におけるCPU100の機能構成について
図10を参照しながら説明する。学習モード時におけるCPU100は、
図10に示すように、学習部1003、及び出力部1004としての機能を有する。
【0052】
学習部1003は、長尺柔軟ロボット6の姿勢用アクチュエータ65の操作量と、位置計測センサ7が計測した各ユニットUの代表点の位置(三次元座標)とに基づいて、学習モデルM1を構築する。学習モデルM1は、長尺柔軟ロボット6の姿勢(各ユニットUの代表点の位置)を入力とし、ワイヤ651の操作量を出力とするニューラルネットワークである。また、学習モードでは、操作量決定部1002に代えて、学習部1003が姿勢用アクチュエータ65の操作量(以下、「学習用操作量」とも記載する。)を決定する。
【0053】
出力部1004は、学習モードにおいて、学習部1003が決定した学習用操作量を長尺柔軟ロボット6実機への制御信号として出力する。
【0054】
(学習モードの処理フロー)
図11は、第1の実施形態に係るCPUの学習モードの処理フローを示す図である。
以下、
図11を参照しながらCPU100の学習モードにおける処理の流れを詳しく説明する。
【0055】
まず、学習部1003は、姿勢用アクチュエータ65の学習用操作量を決定する(ステップS1)。このとき、学習部1003は、例えば学習用操作量の値をランダムに決定する。また、学習部1003が決定した学習用操作量は、出力部1004から長尺柔軟ロボット6実機への制御信号として出力される。そうすると、長尺柔軟ロボット6は、制御信号にしたがい各ユニットUの姿勢を変化させる。
【0056】
次に、学習部1003は、学習用操作量のセットWi(i=1~N、N:ワイヤ数)に対する、長尺柔軟ロボット6の各ユニットUの代表点の位置のセット{xj,yj,zj}(j=1~M、M=代表点の数)を、位置計測センサ7から取得する(ステップS2)。
【0057】
学習部1003は、学習用操作量のセットWiと、この学習用操作量Wiに対する各ユニットUの代表点の位置のセット{xj,yj,zj}とからなる学習データを複数取得する。そして、学習部1003は、取得した学習データに基づいて、学習モデルM1を構築する(ステップS3)。学習部1003は、例えば、DNN(deep neural network)を用いて学習モデルM1を構築する。
【0058】
また、学習部1003は、構築した学習モデルM1をストレージ105に保存する(ステップS4)。
【0059】
(制御モードの処理フロー)
図12は、第1の実施形態に係るCPUの制御モードの処理フローを示す図である。
以下、
図12を参照しながらCPU100の制御モードにおける処理の流れを詳しく説明する。
【0060】
まず、目標姿勢特定部1001は、長尺柔軟ロボット6が予め決定された経路の進入位置から目標位置まで進行する各ステップにおける各ユニットUの目標姿勢の時刻歴を特定する(ステップS10)。
【0061】
次に、操作量決定部1002は、ストレージ105に保存されている、学習部1003により構築された学習モデルM1に、目標姿勢特定部1001が特定した目標姿勢を入力する。そうすると、学習モデルM1から、目標姿勢に対する姿勢用アクチュエータ65の操作量が出力される。操作量決定部1002は、学習モデルM1から出力された操作量に基づいて、目標姿勢の時刻歴に対応する、制御用操作量の時刻歴を決定する(ステップS11)。
【0062】
次に、出力部1004は、操作量決定部1002が決定した制御用操作量の時刻歴を、長尺柔軟ロボット6実機への制御信号として出力する(ステップS12)。そうすると、姿勢用アクチュエータ65は、各ステップにおいて、制御用操作量の時刻歴にしたがって各ワイヤ651を操作する。これにより、長尺柔軟ロボット6は、経路を進行するに従い、経路に沿うように姿勢を変えることができる。
【0063】
(効果)
図13~
図14を参照しながら、学習モデルM1を用いて長尺柔軟ロボット6の制御を行った場合の効果について説明する。
ここでは、本実施形態に係る制御装置10と、従来技術の制御装置(例えば、特許文献1に記載の駆動制御装置)とのそれぞれに複数の目標姿勢を与えて、長尺柔軟ロボット6の姿勢を制御させた。
図13は、各目標姿勢に対する、長尺柔軟ロボット6の実際の姿勢の誤差を示している。目標姿勢に対する実際の姿勢の誤差(RMSE)は、以下の式(1)で求める。式(1)において、{x
j,y
j,z
j}は位置計測センサ7で計測した長尺柔軟ロボット6の代表点の三次元座標(実際の姿勢)、{x
j,ref,y
j,ref,z
j,ref}は目標姿勢、Mは代表点の数を表す。
【0064】
【0065】
従来の制御装置では、各ユニットU及び検査用ケーブル61の重量や、ワイヤ651の伸び及び摩擦、個々のワイヤ651の特性等の外乱については考慮されていなかった。これに対し、本実施形態に係る制御装置10は、実際の長尺柔軟ロボット6の姿勢と操作量との関係を学習することにより、これらの外乱を内包した学習モデルM1を構築することができる。この結果、本実施形態に係る制御装置10は、
図13に示すように、全ての目標姿勢について従来の制御装置と比較して大幅に誤差を低減することが可能となった。
【0066】
また、
図14は、ある目標姿勢について、長尺柔軟ロボット6の各代表点の位置の誤差を示したものである。
図14に示すように、従来の制御装置では、上記した外乱が考慮されていないため、各代表点の位置が目標姿勢から大きくずれてしまう結果となった。これに対し、本実施形態に係る制御装置10は、全ての代表点について、目標姿勢との誤差を大きく低減することができた。
【0067】
以上のように、第1の実施形態に係る制御装置10、及びこれを備える検査システム1によれば、長尺柔軟ロボット6の姿勢をより正確に調節することができる。
【0068】
<第2の実施形態>
次に、本開示の第2の実施形態に係る制御装置及びこれを備える検査システムについて、
図15~
図17を参照しながら説明する。
上述の実施形態と共通の構成要素には同一の符号を付して詳細説明を省略する。
【0069】
第1の実施形態では、学習モード時に、操作量決定部1002が姿勢用アクチュエータ65の操作量の値をランダムに決定した。つまり、第1の実施形態に係る制御装置10において、学習対象となる長尺柔軟ロボット6の姿勢に制限を設けていなかった。しかしながら、実際には検査対象の内部における経路は有限であるから、経路に沿って移動する際に取り得る姿勢に絞って学習をした方が効率的であると考えられる。このため、本実施形態に係る制御装置10は、学習モードにおいて、長尺柔軟ロボット6が取り得る姿勢を予め選定しておき、選定された姿勢に絞って学習することで、学習モデルM1を効率的に構築する。
【0070】
図15は、第2の実施形態に係る制御装置の機能構成を示す図である。
図15に示すように、本実施形態に係る制御装置10は、オペレータが長尺柔軟ロボット6の各ユニットUの姿勢を手動で調整するための操作機器106を更に備える。操作機器106は、例えば、ジョイスティック、タッチパネル等の入力装置である。
【0071】
図16は、第2の実施形態に係る制御装置の機能を説明する第1の図である。
図17は、第2の実施形態に係るCPUの学習モードの処理フローを示す図である。
まず、制御装置10の学習部1003は、学習対象とする目標姿勢を設定する(ステップS20)。本実施形態では、オペレータが検査対象の経路において長尺柔軟ロボット6が取り得る複数の目標姿勢を決定し、入力装置103を介して学習部1003に指示する。
【0072】
次に、学習部1003は、現在の姿勢用アクチュエータ65の操作量(ワイヤ引き量)、及びワイヤ張力を伸びモデルM3に入力して得たワイヤ伸び量推定値を元に、ワイヤ経路長を求める。また、学習部1003は、ワイヤ経路長から順運動学により現在の関節姿勢を推定するとともに、ヤコビ行列Jを導出する(ステップS21)。
【0073】
図18に示すように、長尺柔軟ロボット6の能動部62Aが三つのユニットU1、U2、U3からなり、各ユニットにはワイヤ651が3本ずつ固定されているとする。ヤコビ行列Jは、各ユニットU1、U2、U3の先端の速度を姿勢用アクチュエータ65の操作速度に変換する感度マトリクスである。以下の式(2)の右辺の第1項がヤコビ行列Jであり、このマトリクスの要素は、基本的には各ユニットUの姿勢角により決まる。式(2)の左辺のq・i(i=1~9)は、各ワイヤ651の引き量速度である。式(2)の右辺の第2項のx・、y・は、各ユニットUの先端の姿勢速度、q・mは各ユニットUのワイヤ引き量平均値である。なお、「q・」、「x・」、「y・」は、それぞれ「q」、「x」、「y」の上にドット記号「・」が付された表記に対応する。
【0074】
【0075】
また、順運動学モデルM2は、各ユニットUの幾何学的諸元(セグメント長さ、関節長さ、ワイヤピッチ円径、ワイヤ位相等)や、伸びモデルM3から得られるワイヤ経路長をもとに構築されるモデルであり、ワイヤ651の引き量から各ユニットUの先端位置を算出する力学モデルである。伸びモデルM3は、ワイヤ651の張力-伸び特性(非線形)をもとに、ワイヤ張力からワイヤ伸び量を推定するモデルである。ワイヤ伸びが変わると、ワイヤ経路長が変わり、ユニットUの屈曲角に影響が生じる。一般的には、伸びが少ないワイヤと比較して、伸びが大きいワイヤでは屈曲角が減る傾向がある。本実施形態では、ワイヤ荷重検出部655の測定結果から、伸びモデルM3を用いて、ワイヤ651の伸び量推定値を算出している。なお、順運動学モデルM2及び伸びモデルM3は、従来技術の制御装置において用いられているものをそのまま利用してもよい。
【0076】
次に、学習部1003は、ヤコビ行列Jを用いて、長尺柔軟ロボット6の各ユニットUを目標姿勢とするための学習用操作量のセットWi(i=1~N、
図16の例では、N=9)を決定する(ステップS22)。学習部1003が決定した学習用操作量は、出力部1004から長尺柔軟ロボット6実機への制御信号として出力される。そうすると、長尺柔軟ロボット6は、制御信号にしたがい各ユニットUの姿勢を変化させる。
【0077】
長尺柔軟ロボット6の各ユニットUの姿勢が変化すると、学習部1003は、長尺柔軟ロボット6の各ユニットUの代表点の位置を、位置計測センサ7から取得する(ステップS23)。
【0078】
次に、位置計測センサ7が計測した実際の各ユニットUの位置から、各ユニットUの実際の姿勢と目標姿勢との差を求める。また、ヤコビ行列Jを使って、実際の姿勢と目標姿勢との誤差が小さくなるように姿勢速度目標値を計算し、操作機器106を介してオペレータが手動でインチングすることにより、長尺柔軟ロボット6が目標姿勢に近い姿勢(形状)となるように調整する(ステップS24)。目標姿勢に近い姿勢とは、例えば、各ユニットUの代表点の位置が、目標姿勢における各代表点の目標位置から所定距離以内に位置するような姿勢である。
【0079】
次に、学習部1003は、位置計測センサ7が計測した調整後の各ユニットUの代表点の位置と、姿勢用アクチュエータ65の操作量(各ワイヤ651の引き量)とからなる学習データを取得する(ステップS25)。そして、学習部1003は、取得した学習データに基づいて、学習モデルM1を構築する(ステップS26)。なお、学習部1003は、長尺柔軟ロボット6の姿勢を手動で調整している間、逐次、学習データを収集するようにしてもよい。
【0080】
また、学習部1003は、学習した学習モデルM1をストレージ105に保存する(ステップS27)。
【0081】
以上のように、第2の実施形態に係る制御装置10は、長尺柔軟ロボット6が取り得る目標姿勢に近づくように、長尺柔軟ロボット6の姿勢を手動で調整し、この調整後の長尺柔軟ロボット6の姿勢と、対応する操作量とを学習データとして取得している。このようにすることで、操作量をランダムにするよりも、少量の学習データで効率よく学習モデルM1の学習を行うことができる。
【0082】
また、第2の実施形態に係る制御装置10は、順運動学モデルM2及び伸びモデルM3から導出したヤコビ行列Jを用いて、目標姿勢に対する学習用操作量を決定している。このようにすることで、制御装置10は、効率的に学習モデルを構築できる。
【0083】
<第3の実施形態>
次に、本開示の第3の実施形態に係る制御装置及びこれを備える検査システムについて、
図19を参照しながら説明する。
上述の実施形態と共通の構成要素には同一の符号を付して詳細説明を省略する。
【0084】
図19は、第3の実施形態に係る制御装置の機能を説明する図である。
第2の実施形態では、学習部1003は、ヤコビ行列Jを用いてマニュアル操作により学習用操作量を決定していた。これに対し、本実施形態に係る学習部1003は、
図19に示すように、自動で学習用操作量を決定する。
【0085】
また、学習部1003は、学習モデルM1を用いて学習用操作量を決定する。位置計測センサ7は、この学習用操作量による実際の各ユニットU姿勢をリアルタイムで計測する。学習部1003は、各時刻におけるユニットUの実際の姿勢と目標姿勢との誤差から、ヤコビ行列Jを使って学習用操作量を逐次、補正する。また、学習部1003は、補正後の学習用操作量、及びユニットUの姿勢からフィードバック制御を行って、学習モデルM1を自動的にリアルタイムで更新する。このようにすることで、より効率的に学習モデルM1をチューニングすることができる。
【0086】
以上のとおり、本発明に係るいくつかの実施形態を説明したが、これら全ての実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態及びその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0087】
<付記>
上述の実施形態に記載の制御装置、検査システム、制御方法、及びプログラムは、例えば以下のように把握される。
【0088】
(1)本実施形態の第1の態様によれば、1ユニットごとに所望の1曲率に屈曲可能な複数のユニットが連結されてなる長尺柔軟ロボット(6)と、ユニットの姿勢を調節可能な姿勢用アクチュエータ(65)とを備える検査装置(5)の制御装置(10)は、予め決定された経路に沿って進行するユニットそれぞれの代表点の位置からなる目標姿勢を特定する目標姿勢特定部(1001)と、ユニットの目標姿勢を入力とし、姿勢用アクチュエータ(65)の操作量を出力とする学習モデルを用いて、ユニットを目標姿勢にするための操作量を決定する操作量決定部(1002)と、を備える。
【0089】
このようにすることで、制御装置は、ロボットの姿勢をより正確に調節することができる。
【0090】
(2)本実施形態の第2の態様によれば、第1の態様に係る制御装置(10)は、代表点の三次元位置を計測するセンサから取得した代表点の位置と、姿勢用アクチュエータ(65)の操作量とに基づいて、学習モデルを構築する学習部(1003)を更に備える。
【0091】
このようにすることで、制御装置は、ワイヤ引き量と関節姿勢の関係モデル(学習モデル)を構築することができる。
【0092】
(3)本実施形態の第3の態様によれば、第2の態様に係る制御装置(10)において、学習部(1003)は、姿勢用アクチュエータ(65)の操作量を入力とし、代表点の位置を出力とする順運動学モデルから、各ユニットの先端の速度を姿勢用アクチュエータ(65)の操作速度に変換する感度マトリクスを表すヤコビ行列を求め、ヤコビ行列を用いてユニットを目標姿勢に近づけるための学習用操作量を決定し、目標姿勢と、学習用操作量と、学習用操作量で操作後のユニットの代表点の位置とに基づいて、学習モデルを構築する。
【0093】
このようにすることで、制御装置は、学習用操作量をランダムにして学習するよりも、少量の学習データで効率よく学習モデルを構築することができる。
【0094】
(4)本実施形態の第4の態様によれば、第2の態様に係る制御装置(10)において、学習部(1003)は、学習モデルを用いてユニットを目標姿勢に近づけるための学習用操作量を決定し、目標姿勢と、学習用操作量と、ユニットの前記代表点の位置をリアルタイムで計測する位置計測センサ(7)から取得した学習用操作量で操作後のユニットの代表点の位置からなる長尺柔軟ロボット(6)の実際の姿勢と、目標姿勢との偏差から、姿勢速度目標値をリアルタイムに求め、とに基づいて、学習モデルを更新する。
【0095】
制御装置は、このように学習モデルを用いて学習用操作量を決定し、この学習用操作量による実際の姿勢と、目標姿勢との誤差からリアルタイムに自動でフィードバック制御を行って、学習モデルをリアルタイムに更新することで、より効率的に学習モデルを学習することができる。
【0096】
(5)本実施形態の第5の態様によれば、検査システム(1)は、第1から第4の何れか一の態様に係る制御装置(10)と、検査装置(5)と、を備える。
【0097】
(6)本実施形態の第6の態様によれば、制御方法は1ユニットごとに所望の1曲率に屈曲可能な複数のユニットが連結されてなる長尺柔軟ロボット(6)と、ユニットの姿勢を調節可能な姿勢用アクチュエータ(659とを備える検査装置(5)の制御方法は、予め決定された経路に沿って進行するユニットそれぞれの代表点の位置からなる目標姿勢を特定するステップと、ユニットの目標姿勢を入力とし、姿勢用アクチュエータ(65)の操作量を出力とする学習モデルを用いて、ユニットを目標姿勢にするための操作量を決定するステップと、を有する。
【0098】
(7)本実施形態の第7の態様によれば、プログラムは、1ユニットごとに所望の1曲率に屈曲可能な複数のユニットが連結されてなる長尺柔軟ロボット(6)と、ユニットの姿勢を調節可能な姿勢用アクチュエータ(65)とを備える検査装置(5)に、予め決定された経路に沿って進行するユニットそれぞれの代表点の位置からなる目標姿勢を特定するステップと、ユニットの目標姿勢を入力とし、姿勢用アクチュエータ(65)の操作量を出力とする学習モデルを用いて、ユニットを目標姿勢にするための操作量を決定するステップと、を実行させる。
【符号の説明】
【0099】
1 検査システム
10 制御装置
100 CPU
1001 目標姿勢特定部
1002 操作量決定部
1003 学習部
1004 出力部
101 通信インタフェース
102 メモリ
103 入力装置
104 出力装置
105 ストレージ
106 操作機器
5 検査装置
6 長尺柔軟ロボット
61 検査用ケーブル
611 ケーブル本体
612 センサ
62 チューブ
62A 能動部
62B 従動部
63、63A、63B チューブ本体
631 筒状部
632 フランジ
633 ワイヤ挿通孔
65 姿勢用アクチュエータ
651 ワイヤ
652 筐体部
652A 筐体貫通孔
653 プーリ
654 ワイヤ駆動部
655 ワイヤ荷重検出部
67 進退用アクチュエータ
671 進退駆動部
672 ガイドレール
7 位置計測センサ
71 マーカ
J ヤコビ行列
L 連結部
M1 学習モデル
M2 順運動学モデル
M3 伸びモデル