ホーム > 特許ランキング > 本田技研工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024143158
(43)【公開日】2024-10-11
(54)【発明の名称】ロボット制御システム
(51)【国際特許分類】
B25J 13/08 20060101AFI20241003BHJP
【ＦＩ】
B25J13/08 A
【審査請求】未請求
【請求項の数】3
【出願形態】ＯＬ
(21)【出願番号】P 2023055686
(22)【出願日】2023-03-30
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100126664
【弁理士】
【氏名又は名称】鈴木 慎吾
(74)【代理人】
【識別番号】100154852
【弁理士】
【氏名又は名称】酒井 太一
(74)【代理人】
【識別番号】100194087
【弁理士】
【氏名又は名称】渡辺 伸一
(72)【発明者】
【氏名】吉川 泰三
【テーマコード（参考）】
3C707
【Ｆターム（参考）】
3C707AS28
3C707BS10
3C707BS26
3C707ES03
3C707HS27
3C707JS07
3C707JU14
3C707KS21
3C707KT01
3C707KT02
3C707KT04
3C707KT11
3C707KT15
3C707KV01
3C707KV08
3C707KW01
3C707KW03
3C707KX08
3C707LU06
3C707LV19
(57)【要約】
【課題】操作者がカメラを観ながらロボットと手先を精度良く操作することができるロボット制御システムを提供することを目的とする。
【解決手段】ロボット制御システムは、地面にロボットが接していない空間でロボットを制御するロボット制御システムであって、ロボット本体と、ロボット本体による操作状況を撮影可能なカメラと、ロボット本体のθz周りの回転中心がカメラのパン軸中心の回転となるようロボット本体のθzとＺ軸を連動制御する制御部と、を備える。
【選択図】図３
【解決手段】ロボット制御システムは、地面にロボットが接していない空間でロボットを制御するロボット制御システムであって、ロボット本体と、ロボット本体による操作状況を撮影可能なカメラと、ロボット本体のθz周りの回転中心がカメラのパン軸中心の回転となるようロボット本体のθzとＺ軸を連動制御する制御部と、を備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
地面にロボットが接していない空間で前記ロボットを制御するロボット制御システムであって、
ロボット本体と、
前記ロボット本体による操作状況を撮影可能なカメラと、
前記ロボット本体のθz周りの回転中心が前記カメラのパン軸中心の回転となるように前記ロボット本体のθzとＺ軸を連動制御する制御部と、
を備えるロボット制御システム。
ロボット本体と、
前記ロボット本体による操作状況を撮影可能なカメラと、
前記ロボット本体のθz周りの回転中心が前記カメラのパン軸中心の回転となるように前記ロボット本体のθzとＺ軸を連動制御する制御部と、
を備えるロボット制御システム。
【請求項2】
前記ロボット本体にはエンドエフェクタが接続され、
前記カメラのパン軸が前記エンドエフェクタの作業中心を向く制御を行うパン軸制御部、
さらに備える請求項１に記載のロボット制御システム。
前記カメラのパン軸が前記エンドエフェクタの作業中心を向く制御を行うパン軸制御部、
さらに備える請求項１に記載のロボット制御システム。
【請求項3】
前記パン軸制御部は、
前記ロボット本体がθｚ方向に回転する際、前記カメラのパン軸中心を前記ロボット本体の回転方向と逆方向に回転させるように制御する、
請求項２に記載のロボット制御システム。
前記ロボット本体がθｚ方向に回転する際、前記カメラのパン軸中心を前記ロボット本体の回転方向と逆方向に回転させるように制御する、
請求項２に記載のロボット制御システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ロボット制御システムに関する。
【背景技術】
【0002】
水中を移動しながら作業を行う装置がある。このような装置は、スラスタ、撮影用のカメラ等を備えている（例えば特許文献１参照）。また、図１２のように、操縦は、例えば船上から行い、例えば操縦室にいる操作者と、水中で作業を行う装置と、装置を制御する制御装置とを接続するケーブルを操作するテザーマンとの間で情報交換を行いつつ行われる。操縦室の操作者は、画像表示装置に表示される画像を見ながら、カメラ画像基準でコントローラを操作して操作入力を決定し、テザーマンは甲板上から船基準でロボットの進行方向を操作者に教示している。図１２は、従来技術における船上での作業例を示す図である。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特許第５８０６５６８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、船の向きは潮の流れで常に動いているため、例えば５分前は船頭に対して時計３時方向が、海中の作業空間では対象物に正面の方向であったのに、今は横方向になっているといった事象が起こり得る。また、水中で作業を行う装置のカメラから目標物を一度見失ってしまうと、操作者は、水中で作業を行う装置の進行方向の入力判断が難しくなる。このため、従来技術では、操作者は高度な操縦技術（空間把握能力）が要求されるという課題があった。
【0005】
本発明は、上記の問題点に鑑みてなされたものであって、操作者がカメラを観ながらロボットと手先を精度良く操作することができるロボット制御システムを提供することを目的とする。
【課題を解決するための手段】
【0006】
（１）上記目的を達成するため、本発明の一態様に係るロボット制御システムは、地面にロボットが接していない空間で前記ロボットを制御するロボット制御システムであって、ロボット本体と、前記ロボット本体による操作状況を撮影可能なカメラと、前記ロボット本体のθz周りの回転中心が前記カメラのパン軸中心の回転となるように前記ロボット本体のθzとＺ軸を連動制御する制御部と、を備えるロボット制御システムである。
【0007】
（２）（１）のロボット制御システムにおいて、前記ロボット本体にはエンドエフェクタが接続され、前記カメラのパン軸が前記エンドエフェクタの作業中心を向く制御を行うパン軸制御部、さらに備えるようにしてもよい。
【0008】
（３）（１）または（２）のロボット制御システムにおいて、前記パン軸制御部は、前記ロボット本体がθｚ方向に回転する際、前記カメラのパン軸中心を前記ロボット本体の回転方向と逆方向に回転させるように制御するようにしてもよい。
【発明の効果】
【0009】
（１）～（３）によれば、操作者がカメラを観ながらロボットと手先を精度良く操作することができる。
【図面の簡単な説明】
【0010】
【図1】実施形態に係るロボット制御システムを上から見た外観例と概略構成例を示す図である。
【図2】実施形態に係るロボット制御システムを横から見た外観例を示す図である。
【図3】実施形態に係るロボット制御システムの構成例を示す図である。
【図4】ロボット本体の原点を回転中心に回転させた場合の撮影範囲がズレる例を示す図である。
【図5】操作者の視野を考慮したロボット本体の制御方法を説明するための図である。
【図6】操作者の視野を考慮したロボット本体の制御方法を説明するための図である。
【図7】実施形態に係るロボット制御システムの処理手順のフローチャートである。
【図8】ロボット本体の前後の移動（ｘ軸方向）指令を決定する拘束を説明するための図である。
【図9】ロボット本体の左右の移動（ｙ軸方向）指令を決定する拘束を説明するための図である。
【図10】ロボット本体の上下の移動（ｚ軸方向）指令を決定する拘束を説明するための図である。
【図11】ロボット本体の回転移動（ｚ軸回転）指令を決定する拘束を説明するための図である。
【図12】従来技術における船上での作業例を示す図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。
【0012】
（ロボット制御システムの外観例）
まず、ロボット制御システム１の外観例と概略構成例を説明する。なお、以下の各例では、ロボットの例として、水中で作業を行う水中ロボットまたは水中ドローンの例を説明するが、ロボットの作業空間はこれに限らない。ロボットの作業空間は、ロボット本体１０１が地面等に接していない空間、例えば空中や宇宙空間等であってもよい。また、実施形態において、ロボット本体を「ロボット」ともいう。
まず、ロボット制御システム１の外観例と概略構成例を説明する。なお、以下の各例では、ロボットの例として、水中で作業を行う水中ロボットまたは水中ドローンの例を説明するが、ロボットの作業空間はこれに限らない。ロボットの作業空間は、ロボット本体１０１が地面等に接していない空間、例えば空中や宇宙空間等であってもよい。また、実施形態において、ロボット本体を「ロボット」ともいう。
【0013】
図１は、本実施形態に係るロボット制御システムを上から見た外観例と概略構成例を示す図である。図２は、本実施形態に係るロボット制御システムを横から見た外観例を示す図である。
ロボット制御システム１は、例えば、ロボット本体１０１と、カメラ１０７と、スラスタ１１１を備える。なお、ロボット制御システム１は、ロボット本体１０１に接続されるアーム１０２（１０２Ｌ、１０２Ｒ）を備えていてもよく、アーム１０２を１つまたは３つ以上備えていてもよい。
アーム原点Ｐａ（Ｐａｌ、Ｐａｒ）は、アーム１０２がロボット本体１０１に接続される点付近に設定する。アーム原点は、アーム１０２の肩側の任意の箇所であってもよい。
符号Ｘｈ（Ｘｈｌ、Ｘｈｒ）は、アームの先端部の位置（アーム先端位置）を示している。
符号Ｐｃは、カメラ１０７のパン軸（θｚ軸）である。なお、カメラ１０７は、単眼であっても複眼であってもよい。
ロボット制御システム１は、例えば、ロボット本体１０１と、カメラ１０７と、スラスタ１１１を備える。なお、ロボット制御システム１は、ロボット本体１０１に接続されるアーム１０２（１０２Ｌ、１０２Ｒ）を備えていてもよく、アーム１０２を１つまたは３つ以上備えていてもよい。
アーム原点Ｐａ（Ｐａｌ、Ｐａｒ）は、アーム１０２がロボット本体１０１に接続される点付近に設定する。アーム原点は、アーム１０２の肩側の任意の箇所であってもよい。
符号Ｘｈ（Ｘｈｌ、Ｘｈｒ）は、アームの先端部の位置（アーム先端位置）を示している。
符号Ｐｃは、カメラ１０７のパン軸（θｚ軸）である。なお、カメラ１０７は、単眼であっても複眼であってもよい。
【0014】
図１、図２のように、アーム１０２は、いくつかのリンクが接続され、関節を備える。またアームの先端には、例えば、指部を備えるエンドエフェクタを備えている。
なお、図１、図２に示した外観は一例であり、これに限らない。また、アームの取り付け位置は、先端に限らず左右等であってもよい。
なお、図１、図２に示した外観は一例であり、これに限らない。また、アームの取り付け位置は、先端に限らず左右等であってもよい。
【0015】
【0016】
ロボット制御装置１００は、例えば、ロボット本体１０１と、カメラ１０７と、カメラ駆動部１０８と、カメラセンサ１０９と、照明１１０と、スラスタ１１１と、スラスタ駆動部１１２と、制御部１１３と、記憶部１１４と、通信部１１６と、センサ１１７と、パン軸制御部１１８を備える。なお、ロボット制御装置１００は、アーム１０２と、エンドエフェクタ１０３と、駆動部１０４と、アームセンサ１０５を備えていてもよい。
【0017】
操作部２００は、例えば、入力部２０１と、画像表示部２０２と、通信部２０３を備える。
【0018】
操作部２００は、例えば船上で操作者が使用する。なお、操作部２００とロボット制御装置１００とは、例えば互いに有線で接続されている。
入力部２０１は、操作者がロボット本体１０１やアーム１０２に対する操作指令を、入力する装置である。入力部２０１は、例えば、ハンドル、ジョイスティック、タッチパネルセンサ等である。
画像表示部２０２は、カメラ１０７が撮影した画像や、ロボット本体１０１やアーム１０２の状態等をロボット制御装置１００から取得して表示する。
通信部２０３は、ロボット制御装置１００と情報の送受信を行う。
入力部２０１は、操作者がロボット本体１０１やアーム１０２に対する操作指令を、入力する装置である。入力部２０１は、例えば、ハンドル、ジョイスティック、タッチパネルセンサ等である。
画像表示部２０２は、カメラ１０７が撮影した画像や、ロボット本体１０１やアーム１０２の状態等をロボット制御装置１００から取得して表示する。
通信部２０３は、ロボット制御装置１００と情報の送受信を行う。
【0019】
ロボット本体１０１は、図１において、例えばアーム１０２以外の部分である。ロボット本体１０１に、例えば、アーム１０２と、エンドエフェクタ１０３と、駆動部１０４と、設定部１０６と、カメラ１０７と、カメラ駆動部１０８と、カメラセンサ１０９と、照明１１０と、スラスタ１１１と、スラスタ駆動部１１２と、制御部１１３と、記憶部１１４と、通信部１１６と、センサ１１７が取り付けられている。なお、ロボット本体及び各機能部への電源供給は、ロボット制御装置１００が電源を備えていてもよく、例えば船上からケーブルで電源を供給するようにしてもよい。
【0020】
アーム１０２は、例えば図１のように関節を備える。アームの先端には、例えばエンドエフェクタ１０３が取り付けられている。関節それぞれには、例えばアクチュエータとエンコーダ（アームセンサ１０５）が取り付けられている。なお、アーム１０２は、ロボット本体１０１の前方に取り付けられていてもよく、左右に取り付けられていてもよい。
【0021】
エンドエフェクタ１０３は、少なくとも２つの指部を備える。エンドエフェクタ１０３は、３つ以上の指部を備えていてもよく、グリッパー等であってもよい。また、エンドエフェクタ１０３の指先には、アームセンサ１０５（例えば６軸センサ、触覚センサ等）が取り付けられていてもよい。
【0022】
駆動部１０４は、制御指令に基づいてアーム１０２とエンドエフェクタ１０３を駆動する。駆動部１０４は、例えば、アクチュエータと駆動回路を備える。
【0023】
アームセンサ１０５は、例えば、アーム１０２とエンドエフェクタ１０３の関節に取り付けられているエンコーダ、手先に取り付けられている６軸センサや触覚センサ等である。
【0024】
カメラ１０７は、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子による撮影装置、またはＣＣＤ（Charge Coupled Device）撮像素子による撮影装置である。なお、カメラ１０７は、深度情報Ｄも得られるＲＧＢ（赤緑青）Ｄカメラであってもよい。
【0025】
パン軸制御部１１８は、カメラ１０７のパン軸がエンドエフェクタ１０３の作業中心を向くように制御を行う。
【0026】
カメラ駆動部１０８は、パン軸制御部１１８の制御に応じて、カメラ１０７を例えばパン軸方向に傾けさせる。カメラ駆動部１０８は、例えば、アクチュエータと駆動回路を備える。
【0027】
カメラセンサ１０９は、カメラ１０７のパン軸の傾きを検出する。
【0028】
照明１１０は、制御指令に含まれる照明制御指示に基づいて、照明のオン状態とオフ状態、照明の照度、照明の傾き等を変更可能な装置である。
【0029】
スラスタ１１１は、推進力を発生させる装置であり、例えばプロペラとモータ等である。
【0030】
スラスタ駆動部１１２は、制御指令に含まれるスラスタ制御指示に基づいて、スラスタ１１１を駆動する。スラスタ駆動部１１２は、例えば駆動回路を備える。
【0031】
制御部１１３は、制御指令に基づいて、例えば、ロボット本体１０１、アーム１０２、カメラ１０７、スラスタ１１１等の動作を制御する。なお、制御部１１３は、ロボット本体１０１のθｚ周りの回転中心がカメラ１０７のＰａｎ軸（θｚ軸）中心の回転となるようにロボット本体１０１のθｚとＺ軸を連動制御する。
【0032】
記憶部１１４は、ロボット制御装置１００の制御に必要なプログラム、閾値、所定値、数式等を記憶する。記憶部１１４は、例えばロボット本体１０１やアーム１０２の三次元モデルを記憶する。
【0033】
通信部１１６は、操作部２００と情報の送受信を行う。
【0034】
センサ１１７は、例えば、ＤＶＬ（Ｄｏｐｐｌｅｒ Ｖｅｌｏｃｉｔｙ Ｌｏｇ）センサ、Ｉｎｔｅｒｎａｌ ｐｒｅｓｓｕｒｅ（内圧）センサ、慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）、磁気センサ等である。
【0035】
（センサの役割）
本実施形態では、以下のセンサによって、各情報を取得し、取得した情報に基づいてロボット本体１０１の位置と姿勢を推定する。なお、航行状態に応じて、以下のようにセンサを使い分ける。
・定高度航行（海底面からの高さを一定にする航行）のためのセンサとして、ＤＶＬセンサを用いる。検出値はｚ軸方向（高さ方向、深さ方向）の情報である。
・定深度航行（水面からの深度を一定にする航行）のためのセンサとして、Ｉｎｔｅｒｎａｌ ｐｒｅｓｓｕｒｅ（圧力）センサを用いる。検出値はｚ軸方向（高さ方向、深さ方向）の情報である。
・方向維持機能のセンサとして磁気センサ、ＤＶＬセンサを用いる。対象はｚ軸方向の回転θｚである。この場合は、地磁気センサによって北からの回転を検出する。
・位置維持機能のためのセンサとして、慣性計測装置とＤＶＬセンサを用いる。対象はｘ軸方向とｙ軸方向の情報である。この場合は、慣性計測装置の積分値を、例えば１０Ｈｚ程度で積分してドリフト分を補正する。
・姿勢の位置を検出するセンサとして、慣性計測装置とＤＶＬセンサを用いる。対象はｘ軸方向の回転θｘとｙ軸方向の回転θｙである。
本実施形態では、以下のセンサによって、各情報を取得し、取得した情報に基づいてロボット本体１０１の位置と姿勢を推定する。なお、航行状態に応じて、以下のようにセンサを使い分ける。
・定高度航行（海底面からの高さを一定にする航行）のためのセンサとして、ＤＶＬセンサを用いる。検出値はｚ軸方向（高さ方向、深さ方向）の情報である。
・定深度航行（水面からの深度を一定にする航行）のためのセンサとして、Ｉｎｔｅｒｎａｌ ｐｒｅｓｓｕｒｅ（圧力）センサを用いる。検出値はｚ軸方向（高さ方向、深さ方向）の情報である。
・方向維持機能のセンサとして磁気センサ、ＤＶＬセンサを用いる。対象はｚ軸方向の回転θｚである。この場合は、地磁気センサによって北からの回転を検出する。
・位置維持機能のためのセンサとして、慣性計測装置とＤＶＬセンサを用いる。対象はｘ軸方向とｙ軸方向の情報である。この場合は、慣性計測装置の積分値を、例えば１０Ｈｚ程度で積分してドリフト分を補正する。
・姿勢の位置を検出するセンサとして、慣性計測装置とＤＶＬセンサを用いる。対象はｘ軸方向の回転θｘとｙ軸方向の回転θｙである。
【0036】
（制御方法）
作者が船上で画像表示部２０２で見ているカメラ１０７で撮影された画像は、カメラ座標系である。このため、操作者は、カメラ座標系で手先を動かすことになる。
ロボット本体１０１にカメラ１０７が取り付けられているため、図４のように、アームの移動に応じて、ロボット本体１０１の原点ｇ６０１を回転中心に回転させると撮影範囲が符号ｇ６０２から符号ｇ６０３のようにズレる。なお、四角ｇ６０４は、回転前のロボット本体１０１の外観の姿勢である。四角ｇ６０５は、回転後のロボット本体１０１の外観の姿勢である。図４は、ロボット本体の原点を回転中心に回転させた場合の撮影範囲がズレる例を示す図である。
作者が船上で画像表示部２０２で見ているカメラ１０７で撮影された画像は、カメラ座標系である。このため、操作者は、カメラ座標系で手先を動かすことになる。
ロボット本体１０１にカメラ１０７が取り付けられているため、図４のように、アームの移動に応じて、ロボット本体１０１の原点ｇ６０１を回転中心に回転させると撮影範囲が符号ｇ６０２から符号ｇ６０３のようにズレる。なお、四角ｇ６０４は、回転前のロボット本体１０１の外観の姿勢である。四角ｇ６０５は、回転後のロボット本体１０１の外観の姿勢である。図４は、ロボット本体の原点を回転中心に回転させた場合の撮影範囲がズレる例を示す図である。
【0037】
このため、本実施形態では、カメラ座標系で操作を行っている操作者の視野を考慮して、ロボット本体１０１の制御を以下のように行う。操作者からの制御指令によって例えばアーム１０２が動作し、それに伴ってロボット本体１０１を以下のような条件に応じて拘束モデルを用いて制御する。そして、ロボット制御システム１は、ロボット本体１０１を回転させる場合に、カメラ１０７のパン軸も制御する。
【0038】
（第１の例）
図５、図６は、操作者の視野を考慮したロボット本体の制御方法を説明するための図である。第１の例では、制御部１１３は、ロボット本体１０１のθｚ周りの回転中心をカメラ１０７のパン軸中心の回転となるようにする。図５、図６において、符号Ｇ３１は、カメラ１０７による撮影範囲例である。
この場合、制御部１１３は、θｚ＋Ｚ（制御指令値のＺ軸成分）が連動して動作するようにロボット本体１０１を制御する。これにより、操作者が画像表示部２０２上で見ている画像が、ロボット本体１０１の回転によってズレないので、ロボットやアーム等を見失うことなく作業指示を行いやすくなる。これにより、ロボット本体１０１の無駄なθｚ方向の回転を抑制することができる。
図５、図６は、操作者の視野を考慮したロボット本体の制御方法を説明するための図である。第１の例では、制御部１１３は、ロボット本体１０１のθｚ周りの回転中心をカメラ１０７のパン軸中心の回転となるようにする。図５、図６において、符号Ｇ３１は、カメラ１０７による撮影範囲例である。
この場合、制御部１１３は、θｚ＋Ｚ（制御指令値のＺ軸成分）が連動して動作するようにロボット本体１０１を制御する。これにより、操作者が画像表示部２０２上で見ている画像が、ロボット本体１０１の回転によってズレないので、ロボットやアーム等を見失うことなく作業指示を行いやすくなる。これにより、ロボット本体１０１の無駄なθｚ方向の回転を抑制することができる。
【0039】
（第２の例）
制御部１１３は、カメラ１０７のパン軸またはカメラ１０７の視点中心（例えば光軸）が、アーム１０２の作業中心に向くように、カメラ１０７のパン軸を制御する。これにより、ロボット本体１０１のθｚ方向の回転を抑制することができる。
なお、第１の例と第２の例は、両方行うようにしてもよい。
制御部１１３は、カメラ１０７のパン軸またはカメラ１０７の視点中心（例えば光軸）が、アーム１０２の作業中心に向くように、カメラ１０７のパン軸を制御する。これにより、ロボット本体１０１のθｚ方向の回転を抑制することができる。
なお、第１の例と第２の例は、両方行うようにしてもよい。
【0040】
（処理手順）
次に、ロボット制御システムの処理手順例を説明する。図７は、本実施形態に係るロボット制御システムの処理手順のフローチャートである。
次に、ロボット制御システムの処理手順例を説明する。図７は、本実施形態に係るロボット制御システムの処理手順のフローチャートである。
【0041】
（ステップＳ１）制御部１１３は、カメラ１０７が撮影した画像を取得する。
【0042】
（ステップＳ２）制御部１１３は、取得した画像を用いて、画像表示部２０２に提供する画像を生成する。例えば、カメラ１０７のレンズが魚眼レンズの場合、撮影された画像から作業領域を切り出し、さらに周知の画像処理によって魚眼レンズによる歪みを補正する。
【0043】
（ステップＳ３）制御部１１３は、センサ１１７が検出した検出値、アームセンサ１０５の検出値、およびカメラセンサ１０９が検出した検出値を取得する。
【0044】
（ステップＳ４）制御部１１３は、カメラ座標系での制御指令を取得する。
【0045】
（ステップＳ５）制御部１１３は、θｚ＋Ｚ（制御指令値のＺ軸成分）が連動して動作するようにロボット本体１０１を制御する。
【0046】
（ステップＳ６）制御部１１３は、カメラ１０７のパン軸またはカメラ１０７の視点中心（例えば光軸）が、アーム１０２の作業中心に向くように、カメラ１０７のパン軸を制御する。
【0047】
ロボット制御システム１は、ステップＳ１～Ｓ６の処理を作業終了まで繰り返す。
なお、ステップＳ５、Ｓ６の処理は同時に行うようにしてもよい。また、これらの処理は、ロボットの移動時から、アーム１０２やエンドエフェクタ１０３を用いた操作に切り替わった後に行うようにしてもよい。
なお、ステップＳ５、Ｓ６の処理は同時に行うようにしてもよい。また、これらの処理は、ロボットの移動時から、アーム１０２やエンドエフェクタ１０３を用いた操作に切り替わった後に行うようにしてもよい。
【0048】
以上のように、本実施形態では、ロボット本体１０１がθｚ方向に回転する際、カメラ１０７のパン軸中心も追従するようにロボット本体１０１の回転方向と逆方向に回転させるようにした。例えば、ロボット本体１０１が反時計回りに回転する場合は、カメラ１０７のパン軸を時計回りに回転させる。または、ロボット本体１０１が時計回りに回転する場合は、カメラ１０７のパン軸を反￥時計回りに回転させる。
【0049】
以上の処理によって、本実施形態によれば、操作者が作業操作中にカメラ１０７の画角から対象物を見失うリスクを軽減できるので、操作者がカメラを観ながらロボットと手先を精度良く操作することができる。
【0050】
（処理適用例）
上述した仮想絶対座標系を用いて、例えば以下のように処理を行う。この例では、操作者は、カメラ座標でエンドエフェクタ１０３に対して制御指示を行う。水中灯での作業の場合、アーム１０２やエンドエフェクタ１０３が残土、左右、上下等に移動すると、ロボット本体１０１が影響を受けるため、アーム１０２等の移動に応じて、ロボット本体１０１の制御を制御部１１３が以下のように拘束して行う。
なお、以下のような処理において、制御部１１３は、アーム１０２がロボット本体１０１に接続される点近傍に設定されるアーム原点と、アームの先端であるアーム先端部の位置をそれぞれ取得する。そして制御部１１３は、アーム原点とアーム先端部の間に設定される拘束モデルを定義し、アーム原点とアーム先端部の距離の変化に応じて発生する拘束力を拘束モデルから算出し、拘束力の値から前記ロボット本体の位置指令を算出する。
上述した仮想絶対座標系を用いて、例えば以下のように処理を行う。この例では、操作者は、カメラ座標でエンドエフェクタ１０３に対して制御指示を行う。水中灯での作業の場合、アーム１０２やエンドエフェクタ１０３が残土、左右、上下等に移動すると、ロボット本体１０１が影響を受けるため、アーム１０２等の移動に応じて、ロボット本体１０１の制御を制御部１１３が以下のように拘束して行う。
なお、以下のような処理において、制御部１１３は、アーム１０２がロボット本体１０１に接続される点近傍に設定されるアーム原点と、アームの先端であるアーム先端部の位置をそれぞれ取得する。そして制御部１１３は、アーム原点とアーム先端部の間に設定される拘束モデルを定義し、アーム原点とアーム先端部の距離の変化に応じて発生する拘束力を拘束モデルから算出し、拘束力の値から前記ロボット本体の位置指令を算出する。
【0051】
Ｔｃａｍｅｒａ→ＲＯＶは、カメラ座標系からロボット座標系への同時変換行列である。
ＴＲＯＶ→ＶＩＲＴＵＡＬは、ロボット座標系から仮想絶対座標系への同時変換行列である。
ＴＶＩＲＴＵＡＬ→ＧＬＯＢＡＬは、仮想絶対座標系からグローバル座標系への同時変換行列である。
なお、ロボット座標系からカメラ座標系への変換は、ＰＡＮ軸、ＴＩＬＴ軸、ＲＯＬＥ軸があってもよい。
なお、これらの変換行列は、例えばシミュレーションによって予め求めて記憶部１１４に記憶させておく。
ＴＲＯＶ→ＶＩＲＴＵＡＬは、ロボット座標系から仮想絶対座標系への同時変換行列である。
ＴＶＩＲＴＵＡＬ→ＧＬＯＢＡＬは、仮想絶対座標系からグローバル座標系への同時変換行列である。
なお、ロボット座標系からカメラ座標系への変換は、ＰＡＮ軸、ＴＩＬＴ軸、ＲＯＬＥ軸があってもよい。
なお、これらの変換行列は、例えばシミュレーションによって予め求めて記憶部１１４に記憶させておく。
【0052】
仮想座標系でのロボットの位置姿勢の変化は、上述した変換行列を用いると次式（１）となる。
【0053】
【数1】
【0054】
ロボット座標系でのロボットの位置姿勢の指令の変化は、上述した変換行列を用いると次式（２）となる。
【数2】
【0055】
仮想絶対座標系でのロボットの位置姿勢の変化は、次式（３）で表せる。
【0056】
【数3】
【0057】
仮想絶対座標系での手先の位置姿勢の変化は、次式（４）で表せる。
【0058】
【数4】
【0059】
グローバル座標系での手先の位置姿勢の変化は、次式（５）で表せる。
【0060】
【数5】
【0061】
グローバル座標系でのロボットの位置姿勢の指令の変化は、次式（６）で表せる。
【0062】
【数6】
【0063】
（１）第１の拘束条件（アーム１０２を前後に伸び縮みさせた場合のロボット本体１０１の前後の移動（ｘ軸方向）指令を決定する拘束）
次に、ロボット本体１０１の前後の移動（ｘ軸方向）指令を決定する拘束について、さらに説明する。図８は、ロボット本体の前後の移動（ｘ軸方向）指令を決定する拘束を説明するための図である。
この場合は、アーム１０２の原点と手先との間に拘束モデルを設定する。なお、拘束モデルは、例えば筋肉モデルまたはポテンシャル法によるモデルである。
次に、ロボット本体１０１の前後の移動（ｘ軸方向）指令を決定する拘束について、さらに説明する。図８は、ロボット本体の前後の移動（ｘ軸方向）指令を決定する拘束を説明するための図である。
この場合は、アーム１０２の原点と手先との間に拘束モデルを設定する。なお、拘束モデルは、例えば筋肉モデルまたはポテンシャル法によるモデルである。
【0064】
符号ｇ１００、ｇ１２０の図は、アーム１０２をロボット本体１０１に近づけ縮めた状態を示している。符号ｇ１１０、ｇ１３０の図は、アーム１０２をロボット本体１０１から遠ざけて伸ばした状態を示している。
符号ｇ１２２は、アーム１０２が縮んだ状態ｇ１２１のｘ軸方向の拘束力を抽出した結果を示す。符号１３２は、アーム１０２が伸びた状態ｇ１３１のｘ軸方向の拘束力を抽出した結果を示す。
符号ｇ１２２は、アーム１０２が縮んだ状態ｇ１２１のｘ軸方向の拘束力を抽出した結果を示す。符号１３２は、アーム１０２が伸びた状態ｇ１３１のｘ軸方向の拘束力を抽出した結果を示す。
【0065】
符号ｇ１２２、ｇ１３２、さらに不感帯ｇ１４１を用いて、第１の拘束条件であるｘ軸方向の拘束力は、符号ｇ１４０のように表される。なお、不感帯では、ロボット本体１０１が動かないとする。なお、曲線の部分ｇ１４２とｇ１４３が、拘束力が働く領域である。曲線の理由は、筋肉モデルの場合、バネとダンパーで表せるため直線的に動作できないためであるのと、曲線の方が動作を自然にできるあるためである。また、拘束力が曲線の理由は、入力部２０１が例えばゲームコントローラのようにボタンやジョイスティックで構成されるため、拘束力を挑戦としてしまうと、わずかな操作でも急激な動作をしてしまうためでもある。
【0066】
これにより、例えば以下のように制御される。
Ｉ．右アーム１０２Ｒが伸展、左アーム１０２Ｌが不感帯の状態；ロボット本体１０１が前進
ＩＩ．右アーム１０２Ｒが不感帯、左アーム１０２Ｌが伸展の状態；ロボット本体１０１が前進
ＩＩＩ．左右のアーム１０２が伸展の状態；ロボット本体１０１が前進大
ＩＶ．右アーム１０２Ｒが収縮、左アーム１０２Ｌが不感帯の状態；ロボット本体１０１が後進
Ｖ．右アーム１０２Ｒが不感帯、左アーム１０２Ｌが収縮；ロボット本体１０１が後進
ＶＩ．左右のアーム１０２が収縮；ロボット本体１０１が後進大
Ｉ．右アーム１０２Ｒが伸展、左アーム１０２Ｌが不感帯の状態；ロボット本体１０１が前進
ＩＩ．右アーム１０２Ｒが不感帯、左アーム１０２Ｌが伸展の状態；ロボット本体１０１が前進
ＩＩＩ．左右のアーム１０２が伸展の状態；ロボット本体１０１が前進大
ＩＶ．右アーム１０２Ｒが収縮、左アーム１０２Ｌが不感帯の状態；ロボット本体１０１が後進
Ｖ．右アーム１０２Ｒが不感帯、左アーム１０２Ｌが収縮；ロボット本体１０１が後進
ＶＩ．左右のアーム１０２が収縮；ロボット本体１０１が後進大
【0067】
（２）第２の拘束条件（ロボット本体１０１を左右の移動（ｙ軸方向）指令を決定する拘束）
次に、ロボット本体１０１の左右の移動（ｙ軸方向）指令を決定する拘束について、さらに説明する。図９は、ロボット本体の左右の移動（ｙ軸方向）指令を決定する拘束を説明するための図である。
この場合は、アーム１０２の原点と手先位置との間に拘束モデルを設定する。
次に、ロボット本体１０１の左右の移動（ｙ軸方向）指令を決定する拘束について、さらに説明する。図９は、ロボット本体の左右の移動（ｙ軸方向）指令を決定する拘束を説明するための図である。
この場合は、アーム１０２の原点と手先位置との間に拘束モデルを設定する。
【0068】
符号ｇ２００の図は、アーム１０２を左側に移動させた状態を示している。符号ｇ２１の図は、アーム１０２を右側に移動させた状態を示している。
符号ｇ２０２は、アーム１０２が左に移動した状態ｇ２０１のｙ軸方向の拘束力を抽出した結果を示す。符号ｇ２１２は、アーム１０２が右に移動した状態ｇ２１１のｙ軸方向の拘束力を抽出した結果を示す。
符号ｇ２０２は、アーム１０２が左に移動した状態ｇ２０１のｙ軸方向の拘束力を抽出した結果を示す。符号ｇ２１２は、アーム１０２が右に移動した状態ｇ２１１のｙ軸方向の拘束力を抽出した結果を示す。
【0069】
符号ｇ２０２、ｇ２１２、不感帯ｇ２２１を用いて、第２の拘束条件であるｘ軸方向の拘束力は、符号ｇ２２０のように表される。なお、不感帯では、ロボット本体１０１が動かないとする。
【0070】
これにより、例えば以下のように制御される。
Ｉ．右アーム１０２Ｒが右に移動、左アーム１０２Ｌが不感帯の状態；ロボット本体１０１が右に移動
ＩＩ．右アーム１０２Ｒが不感帯、左アーム１０２Ｌが左に移動の状態；ロボット本体１０１が左に移動
ＩＩＩ．左右アーム１０２が肩の間の状態；ロボット本体１０１がｙ軸方向で停止
ＩＶ． 右アーム１０２Ｒが右に移動、左アーム１０２Ｌが左に移動の状態；左右の拘束力の大小に応じてロボット本体１０１の左右いずれかの移動が決まる
Ｉ．右アーム１０２Ｒが右に移動、左アーム１０２Ｌが不感帯の状態；ロボット本体１０１が右に移動
ＩＩ．右アーム１０２Ｒが不感帯、左アーム１０２Ｌが左に移動の状態；ロボット本体１０１が左に移動
ＩＩＩ．左右アーム１０２が肩の間の状態；ロボット本体１０１がｙ軸方向で停止
ＩＶ． 右アーム１０２Ｒが右に移動、左アーム１０２Ｌが左に移動の状態；左右の拘束力の大小に応じてロボット本体１０１の左右いずれかの移動が決まる
【0071】
（３）第３の拘束条件（ロボット本体１０１を上下の移動（ｚ軸方向）指令を決定する拘束）
次に、ロボット本体１０１の上下の移動（ｚ軸方向）指令を決定する拘束について、さらに説明する。図１０は、ロボット本体の上下の移動（ｚ軸方向）指令を決定する拘束を説明するための図である。
この場合は、アーム１０２の原点と手先位置との間に拘束モデルを設定する。
次に、ロボット本体１０１の上下の移動（ｚ軸方向）指令を決定する拘束について、さらに説明する。図１０は、ロボット本体の上下の移動（ｚ軸方向）指令を決定する拘束を説明するための図である。
この場合は、アーム１０２の原点と手先位置との間に拘束モデルを設定する。
【0072】
符号ｇ３００の図は、アーム１０２を上側に移動させた状態を示している。符号ｇ３１０の図は、アーム１０２を下側に移動させた状態を示している。
符号ｇ３０２は、アーム１０２が上側に移動した状態ｇ３０１のｚ軸方向の拘束力を抽出した結果を示す。符号ｇ３１２は、アーム１０２が下側に移動した状態ｇ３１１のｚ軸方向の拘束力を抽出した結果を示す。
符号ｇ３０２は、アーム１０２が上側に移動した状態ｇ３０１のｚ軸方向の拘束力を抽出した結果を示す。符号ｇ３１２は、アーム１０２が下側に移動した状態ｇ３１１のｚ軸方向の拘束力を抽出した結果を示す。
【0073】
符号ｇ３０２、ｇ３１２、不感帯ｇ３２１を用いて、第３の拘束条件であるｚ軸方向の拘束力は、符号ｇ３２０のように表される。なお、不感帯では、ロボット本体１０１が動かないとする。
【0074】
なお、制御部１１３は、ロボット本体１０１への指令を、左右の拘束力を足してコンプライアンス制御で変化分を指令とする。
【0075】
これにより、例えば以下のように制御される。
Ｉ．右アーム１０２Ｒが上に移動、左アーム１０２Ｌが不感帯の状態；ロボット本体１０１が上方向に移動
ＩＩ．右アーム１０２Ｒが不感帯、左アーム１０２Ｌが上に移動の状態；ロボット本体１０１が上方向に移動
ＩＩＩ．左右アーム１０２が上に移動の状態；ロボット本体１０１が上方向に移動大
ＩＶ．左右アーム１０２が不感帯の状態；ロボット本体１０１が静止
Ｖ．右アーム１０２Ｒが下、左アーム１０２Ｌが不感帯の状態；ロボット本体１０１が下方向に移動
ＶＩ．右アーム１０２Ｒが不感帯、左アーム１０２Ｌが下の状態；ロボット本体１０１が下方向に移動
ＶＩＩ．左右アーム１０２が下の状態；ロボット本体１０１が下方向に移動大
Ｉ．右アーム１０２Ｒが上に移動、左アーム１０２Ｌが不感帯の状態；ロボット本体１０１が上方向に移動
ＩＩ．右アーム１０２Ｒが不感帯、左アーム１０２Ｌが上に移動の状態；ロボット本体１０１が上方向に移動
ＩＩＩ．左右アーム１０２が上に移動の状態；ロボット本体１０１が上方向に移動大
ＩＶ．左右アーム１０２が不感帯の状態；ロボット本体１０１が静止
Ｖ．右アーム１０２Ｒが下、左アーム１０２Ｌが不感帯の状態；ロボット本体１０１が下方向に移動
ＶＩ．右アーム１０２Ｒが不感帯、左アーム１０２Ｌが下の状態；ロボット本体１０１が下方向に移動
ＶＩＩ．左右アーム１０２が下の状態；ロボット本体１０１が下方向に移動大
【0076】
（４）第４の拘束条件（ロボット本体１０１の回転（θＺ）指令を決定する拘束状態である。）
次に、ロボット本体１０１の回転移動（ｚ軸回転）指令を決定する拘束について、さらに説明する。図１１は、ロボット本体の回転移動（ｚ軸回転）指令を決定する拘束を説明するための図である。
次に、ロボット本体１０１の回転移動（ｚ軸回転）指令を決定する拘束について、さらに説明する。図１１は、ロボット本体の回転移動（ｚ軸回転）指令を決定する拘束を説明するための図である。
【0077】
符号ｇ４００の図は、アーム１０２を回転移動させた状態を示している。
符号ｇ４０１は、アーム１０２が一番短い状態を表し、符号ｇ４０２は、アーム１０２が一番長い状態（伸ばしきった状態）を表している。
符号ｇ４０１は、アーム１０２が一番短い状態を表し、符号ｇ４０２は、アーム１０２が一番長い状態（伸ばしきった状態）を表している。
【0078】
符号ｇ４０１、ｇ４０２、不感帯ｇ４１１を用いて、第４の拘束条件である回転方向の拘束力は、符号ｇ４１０のように表される。ここで、不感帯の開始位置をＸｃｏｎｔ＿ｍｉｎとし、不感帯の終了位置をＸｃｏｎｔ＿ｍａｘとする。
【0079】
これにより、例えば以下のように制御される。
Ｉ．右アーム１０２Ｒが伸展、左アーム１０２Ｌが収縮の状態；ロボット本体１０１が反時計回りに回転
ＩＩ．右アーム１０２Ｒが収縮、左アーム１０２Ｌが伸展の状態；ロボット本体１０１が時計回りに回転
Ｉ．右アーム１０２Ｒが伸展、左アーム１０２Ｌが収縮の状態；ロボット本体１０１が反時計回りに回転
ＩＩ．右アーム１０２Ｒが収縮、左アーム１０２Ｌが伸展の状態；ロボット本体１０１が時計回りに回転
【0080】
なお、以下はオプション扱いであってもよい。
ＩＩＩ．右アーム１０２Ｒが伸展、左アーム１０２Ｌが不感帯の状態；ロボット本体１０１が反時計回りに回転
ＩＶ．右アーム１０２Ｒが不感帯、左アーム１０２Ｌが伸展の状態；ロボット本体１０１が時計回りに回転
ＩＩＩ．右アーム１０２Ｒが伸展、左アーム１０２Ｌが不感帯の状態；ロボット本体１０１が反時計回りに回転
ＩＶ．右アーム１０２Ｒが不感帯、左アーム１０２Ｌが伸展の状態；ロボット本体１０１が時計回りに回転
【0081】
なお、本発明におけるロボット制御装置１００の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりロボット制御装置１００が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【0082】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【0083】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。
【符号の説明】
【0084】
１…ロボット制御システム、１００…ロボット制御装置、２００…操作部、１０１…ロボット本体、１０２，１０２Ｌ，１０２Ｒ…アーム、１０３…エンドエフェクタ、１０４…駆動部、１０５…アームセンサ、１０６…設定部、１０７…カメラ、１０８…カメラ駆動部、１０９…カメラセンサ、１１０…照明、１１１…スラスタ、１１２…スラスタ駆動部、１１３…制御部、１１４…記憶部、１１６…通信部、１１７…センサ、１１８…パン軸制御部、２０１…入力部、２０２…画像表示部、２０３…通信部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】