特開2022-183723処理装置、サーボシステム、処理方法、およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022183723
(43)【公開日】2022-12-13
(54)【発明の名称】処理装置、サーボシステム、処理方法、およびプログラム
(51)【国際特許分類】
B25J 13/08 20060101AFI20221206BHJP
B25J 9/22 20060101ALI20221206BHJP
G05B 19/4155 20060101ALI20221206BHJP
【ＦＩ】
B25J13/08 A
B25J9/22 A
G05B19/4155 S
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2021091183
(22)【出願日】2021-05-31
(71)【出願人】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】傅 健忠
(72)【発明者】
【氏名】青木 豪
(72)【発明者】
【氏名】長谷川 昂宏
(72)【発明者】
【氏名】長江 成典
(72)【発明者】
【氏名】香西 健太郎
【テーマコード（参考）】
3C269
3C707
【Ｆターム（参考）】
3C269AB33
3C269BB03
3C269CC09
3C269EF02
3C269EF10
3C269EF59
3C269EF76
3C269JJ09
3C269JJ20
3C269MN07
3C269MN09
3C269MN15
3C269MN16
3C269MN17
3C269MN41
3C269MN46
3C707AS06
3C707BS10
3C707DS01
3C707ES01
3C707JS05
3C707JU07
3C707KS16
3C707KS19
3C707KS20
3C707KT01
3C707KT05
3C707LS05
3C707LS15
3C707LS20
3C707LT06
3C707LT18
3C707LV04
3C707LV05
3C707LV13
3C707LV14
3C707LW12
3C707MT02
3C707NS05
(57)【要約】
【課題】ビジュアルサーボの精度または速度を向上させる技術を提供する。
【解決手段】エンドエフェクタを備えるロボットを有し、ビジュアルサーボを行うサーボシステムにおいて、前記サーボシステムに関するサーボ軌道、および前記ビジュアルサーボの開始時点のロボットのスタート姿勢を決定する処理装置は、前記スタート姿勢の複数の候補を決定し、前記複数の候補のいずれか１つを経由して前記ロボットの姿勢が変化する際のエンドエフェクタの複数の軌道を生成する計画手段と、前記エンドエフェクタの複数の軌道に対応する前記サーボ軌道の複数の候補の中から、評価値の最も高い候補を前記サーボ軌道として決定し、当該サーボ軌道に対応するスタート姿勢の候補を前記スタート姿勢として決定する決定手段とを有する。
【選択図】図３
【解決手段】エンドエフェクタを備えるロボットを有し、ビジュアルサーボを行うサーボシステムにおいて、前記サーボシステムに関するサーボ軌道、および前記ビジュアルサーボの開始時点のロボットのスタート姿勢を決定する処理装置は、前記スタート姿勢の複数の候補を決定し、前記複数の候補のいずれか１つを経由して前記ロボットの姿勢が変化する際のエンドエフェクタの複数の軌道を生成する計画手段と、前記エンドエフェクタの複数の軌道に対応する前記サーボ軌道の複数の候補の中から、評価値の最も高い候補を前記サーボ軌道として決定し、当該サーボ軌道に対応するスタート姿勢の候補を前記スタート姿勢として決定する決定手段とを有する。
【選択図】図３
【特許請求の範囲】
【請求項1】
対象物を撮像して検出するセンサと、エンドエフェクタを備えるロボットとを有し、ビジュアルサーボを行うサーボシステムにおいて、
前記サーボシステムに関する少なくとも１つの軌道であるサーボ軌道、および前記ビジュアルサーボの開始時点の前記ロボットのスタート姿勢を決定する処理装置であって、
前記ロボットの初期姿勢の情報と、前記ビジュアルサーボの終了時点の前記ロボットの目標姿勢の情報とを取得する取得手段と、
１）前記スタート姿勢の複数の候補を決定し、２）前記複数の候補のいずれか１つを経由して前記初期姿勢から前記目標姿勢に前記ロボットの姿勢が変化する際の前記エンドエフェクタの複数の軌道を生成する計画手段と、
前記エンドエフェクタの複数の軌道のそれぞれに対応する前記サーボ軌道の複数の候補の中から、前記ビジュアルサーボの精度または速度に関する評価値の最も高い候補を前記サーボ軌道として決定し、当該サーボ軌道に対応するスタート姿勢の候補を前記スタート姿勢として決定する決定手段と、
を有することを特徴とする処理装置。
前記サーボシステムに関する少なくとも１つの軌道であるサーボ軌道、および前記ビジュアルサーボの開始時点の前記ロボットのスタート姿勢を決定する処理装置であって、
前記ロボットの初期姿勢の情報と、前記ビジュアルサーボの終了時点の前記ロボットの目標姿勢の情報とを取得する取得手段と、
１）前記スタート姿勢の複数の候補を決定し、２）前記複数の候補のいずれか１つを経由して前記初期姿勢から前記目標姿勢に前記ロボットの姿勢が変化する際の前記エンドエフェクタの複数の軌道を生成する計画手段と、
前記エンドエフェクタの複数の軌道のそれぞれに対応する前記サーボ軌道の複数の候補の中から、前記ビジュアルサーボの精度または速度に関する評価値の最も高い候補を前記サーボ軌道として決定し、当該サーボ軌道に対応するスタート姿勢の候補を前記スタート姿勢として決定する決定手段と、
を有することを特徴とする処理装置。
【請求項2】
前記計画手段は、前記初期姿勢と前記目標姿勢との間の姿勢の中から、前記スタート姿勢の複数の候補を決定する、
ことを特徴とする請求項１に記載の処理装置。
ことを特徴とする請求項１に記載の処理装置。
【請求項3】
前記サーボ軌道は、前記センサの軌道と、前記対象物の前記エンドエフェクタとの相対的な位置変化の軌道と、前記センサが撮像する撮像画像における前記対象物の軌道との少なくともいずれかを含む、
ことを特徴とする請求項１または２に記載の処理装置。
ことを特徴とする請求項１または２に記載の処理装置。
【請求項4】
前記エンドエフェクタの複数の軌道のそれぞれに対応する前記サーボ軌道の複数の候補を生成し、前記サーボ軌道の複数の候補それぞれに従ったビジュアルサーボをシミュレーションするシミュレーション手段をさらに有し、
前記シミュレーション手段は、シミュレーション結果に基づき、前記サーボシステムの軌道の複数の候補のそれぞれを補正し、
前記決定手段は、補正された前記サーボ軌道の複数の候補の中から前記サーボ軌道を決定する、
ことを特徴とする請求項１から３のいずれか１項に記載の処理装置。
前記シミュレーション手段は、シミュレーション結果に基づき、前記サーボシステムの軌道の複数の候補のそれぞれを補正し、
前記決定手段は、補正された前記サーボ軌道の複数の候補の中から前記サーボ軌道を決定する、
ことを特徴とする請求項１から３のいずれか１項に記載の処理装置。
【請求項5】
前記サーボシステムは、第１のコントローラと第２のコントローラを有し、
前記第１のコントローラは、前記エンドエフェクタの複数の軌道のそれぞれに対応する前記エンドエフェクタの位置姿勢を決定し、
前記第２のコントローラは、前記第１のコントローラが決定した前記エンドエフェクタの位置姿勢を実現する前記ロボットの姿勢を制御し、
前記シミュレーション手段は、前記第１のコントローラをエミュレートする第３のコントローラと、前記第２のコントローラをエミュレートする第４のコントローラとを有し、前記３のコントローラおよび前記第４のコントローラを用いて、前記ビジュアルサーボをシミュレーションする、
ことを特徴とする請求項４に記載の処理装置。
前記第１のコントローラは、前記エンドエフェクタの複数の軌道のそれぞれに対応する前記エンドエフェクタの位置姿勢を決定し、
前記第２のコントローラは、前記第１のコントローラが決定した前記エンドエフェクタの位置姿勢を実現する前記ロボットの姿勢を制御し、
前記シミュレーション手段は、前記第１のコントローラをエミュレートする第３のコントローラと、前記第２のコントローラをエミュレートする第４のコントローラとを有し、前記３のコントローラおよび前記第４のコントローラを用いて、前記ビジュアルサーボをシミュレーションする、
ことを特徴とする請求項４に記載の処理装置。
【請求項6】
前記サーボ軌道の複数の候補のそれぞれを評価する評価手段をさらに有する、
ことを特徴とする請求項１から５のいずれか１項に記載の処理装置。
ことを特徴とする請求項１から５のいずれか１項に記載の処理装置。
【請求項7】
前記評価手段は、前記サーボ軌道の複数の候補のそれぞれに従って前記ビジュアルサー
ボを実行した場合における、前記ロボットの移動に関するタスクスコアと前記対象物の検出に関するセンシングスコアとに基づき、前記サーボ軌道の複数の候補のそれぞれの評価値を算出する、
ことを特徴とする請求項６に記載の処理装置。
ボを実行した場合における、前記ロボットの移動に関するタスクスコアと前記対象物の検出に関するセンシングスコアとに基づき、前記サーボ軌道の複数の候補のそれぞれの評価値を算出する、
ことを特徴とする請求項６に記載の処理装置。
【請求項8】
前記タスクスコアは、前記ロボットの移動に要する時間と、前記ビジュアルサーボの終了時点の前記ロボットの姿勢と前記目標姿勢との差分との少なくともいずれかに基づくスコアである、
ことを特徴とする請求項７に記載の処理装置。
ことを特徴とする請求項７に記載の処理装置。
【請求項9】
前記サーボシステムは、前記対象物を検出可能であり、
前記センシングスコアは、ビジュアルサーボの実行中の、予想される無効な検出の総数と、前記サーボシステムが物体を検出可能な範囲である検出可能範囲と前記対象物との距離と、予想される検出誤差の総数との少なくともいずれかに基づくスコアである、
ことを特徴とする請求項７または８に記載の処理装置。
前記センシングスコアは、ビジュアルサーボの実行中の、予想される無効な検出の総数と、前記サーボシステムが物体を検出可能な範囲である検出可能範囲と前記対象物との距離と、予想される検出誤差の総数との少なくともいずれかに基づくスコアである、
ことを特徴とする請求項７または８に記載の処理装置。
【請求項10】
前記予想される無効な検出の総数とは、前記センサが撮像を実行した回数のうち、前記センサの視野範囲または前記検出可能範囲に前記対象物の第１の割合以上が含まれないこと、前記センサが撮像する撮像画像において前記対象物の全体の第２の割合以上の領域に対して他の物体が重複していることとの少なくともいずれかが発生している数である、
ことを特徴とする請求項９に記載の処理装置。
ことを特徴とする請求項９に記載の処理装置。
【請求項11】
前記計画手段は、前記スタート姿勢の複数の候補を、所定の範囲内に位置する前記エンドエフェクタの複数の位置姿勢のそれぞれに対応する前記ロボットの複数の姿勢の中から決定する、
ことを特徴とする請求項１から１０のいずれか１項に記載の処理装置。
ことを特徴とする請求項１から１０のいずれか１項に記載の処理装置。
【請求項12】
前記計画手段は、前記センサが撮像する際に前記センサと前記対象物との間に他の物体が配置されていない前記センサの複数の位置姿勢であって、かつ、前記センサの視野範囲に前記対象物が含まれる前記センサの複数の位置姿勢のそれぞれに対応する前記ロボットの複数の姿勢の中から、前記スタート姿勢の複数の候補を選択する、
ことを特徴とする請求項１１に記載の処理装置。
ことを特徴とする請求項１１に記載の処理装置。
【請求項13】
請求項１から１２のいずれか１項に記載の処理装置と、
前記エンドエフェクタを有するロボットと、
前記対象物を撮像するセンサと、
前記処理装置が決定した前記サーボ軌道に応じて前記ロボットを動作させるとともに、前記ロボットが前記スタート姿勢に変化すると前記ビジュアルサーボを開始させるコントローラと、
を有することを特徴とするサーボシステム。
前記エンドエフェクタを有するロボットと、
前記対象物を撮像するセンサと、
前記処理装置が決定した前記サーボ軌道に応じて前記ロボットを動作させるとともに、前記ロボットが前記スタート姿勢に変化すると前記ビジュアルサーボを開始させるコントローラと、
を有することを特徴とするサーボシステム。
【請求項14】
対象物を撮像して検出するセンサと、エンドエフェクタを備えるロボットとを有し、ビジュアルサーボを行うサーボシステムに関して、
前記サーボシステムに関する少なくとも１つの軌道であるサーボ軌道、および前記ビジュアルサーボの開始時点の前記ロボットのスタート姿勢を決定する処理方法であって、
前記ロボットの初期姿勢の情報と、前記ビジュアルサーボの終了時点の前記ロボットの目標姿勢の情報とを取得する取得ステップと、
１）前記スタート姿勢の複数の候補を決定し、２）前記複数の候補のいずれか１つを経由して前記初期姿勢から前記目標姿勢に前記ロボットの姿勢が変化する際の前記エンドエフェクタの複数の軌道を生成する計画ステップと、
前記エンドエフェクタの複数の軌道のそれぞれに対応する前記サーボ軌道の複数の候補の中から、前記ビジュアルサーボの精度または速度に関する評価値の最も高い候補を前記サーボ軌道として決定し、当該サーボ軌道に対応するスタート姿勢の候補を前記スタート姿勢として決定する決定ステップと、
を有することを特徴とする処理方法。
前記サーボシステムに関する少なくとも１つの軌道であるサーボ軌道、および前記ビジュアルサーボの開始時点の前記ロボットのスタート姿勢を決定する処理方法であって、
前記ロボットの初期姿勢の情報と、前記ビジュアルサーボの終了時点の前記ロボットの目標姿勢の情報とを取得する取得ステップと、
１）前記スタート姿勢の複数の候補を決定し、２）前記複数の候補のいずれか１つを経由して前記初期姿勢から前記目標姿勢に前記ロボットの姿勢が変化する際の前記エンドエフェクタの複数の軌道を生成する計画ステップと、
前記エンドエフェクタの複数の軌道のそれぞれに対応する前記サーボ軌道の複数の候補の中から、前記ビジュアルサーボの精度または速度に関する評価値の最も高い候補を前記サーボ軌道として決定し、当該サーボ軌道に対応するスタート姿勢の候補を前記スタート姿勢として決定する決定ステップと、
を有することを特徴とする処理方法。
【請求項15】
請求項１４に記載の処理方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、処理装置、サーボシステム、処理方法、およびプログラムに関する。
【背景技術】
【0002】
センサが取得する視覚的情報（画像）に基づき、ロボットの動作を制御するビジュアルサーボと呼ばれる技術がある。ロボットは、例えば、ビジュアルサーボを実行することにより、エンドエフェクタが把持する把持物体を、対象物の上に置くなどの処理を実現する。
【0003】
特許文献１では、ビジュアルサーボを行う場合におけるロボットの軌道を、カメラ（センサ）が取得した画像の特徴量などに基づき、算出する技術が記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】米国特許第８７７４９６７号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
一方で、ビジュアルサーボでは、センサが取得する画像において把持物体や対象物が見切れてしまうことや、互いに重なり合ってしまうことがある。この点、特許文献１では、３次元空間における移動禁止領域を避けたロボットの軌道を算出することを開示しているのみで、センサが取得する画像において把持物体や対象物が見切れてしまうことや、互いに重なり合ってしまうことを考慮していない。このため、従来では、センサが取得した画像に把持物体や対象物のごく一部しか含まれていないことがあり、ビジュアルサーボの精度または／および速度が低下するという課題があった。
【0006】
そこで、本発明は、ビジュアルサーボの精度または速度を向上させる技術の提供を目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するために本発明は、以下の構成を採用する。
【0008】
すなわち、本発明の一側面に係る処理装置は、対象物を撮像して検出するセンサと、エンドエフェクタを備えるロボットとを有し、ビジュアルサーボを行うサーボシステムにおいて、前記サーボシステムに関する少なくとも１つの軌道であるサーボ軌道、および前記ビジュアルサーボの開始時点の前記ロボットのスタート姿勢を決定する処理装置であって、前記ロボットの初期姿勢の情報と、前記ビジュアルサーボの終了時点の前記ロボットの目標姿勢の情報とを取得する取得手段と、１）前記スタート姿勢の複数の候補を決定し、２）前記複数の候補のいずれか１つを経由して前記初期姿勢から前記目標姿勢に前記ロボットの姿勢が変化する際の前記エンドエフェクタの複数の軌道を生成する計画手段と、前記エンドエフェクタの複数の軌道のそれぞれに対応する前記サーボ軌道の複数の候補の中から、前記ビジュアルサーボの精度または速度に関する評価値の最も高い候補を前記サーボ軌道として決定し、当該サーボ軌道に対応するスタート姿勢の候補を前記スタート姿勢として決定する決定手段を有する。
【0009】
このような構成によれば、ビジュアルサーボの開始時におけるロボットのスタート姿勢を、ユーザが手動で設定することなく決定できる。つまり、ユーザのビジュアルサーボに
おける負担が軽減できる。さらに、複数のサーボ軌道の候補の中から評価値が最も高い制御軌道がサーボ軌道として選択される。このため、サーボ軌道を、ロボットが動きやすい軌道、または／および、対象物を把握しやすい位置にセンサが移動するような軌道に決定できる。このため、例えば、対象物に把持物体を接続する動作を行うビジュアルサーボが失敗する確率を低減できる。つまり、ビジュアルサーボの精度を向上することができる。そして、ビジュアルサーボに要する時間を低減できる。
おける負担が軽減できる。さらに、複数のサーボ軌道の候補の中から評価値が最も高い制御軌道がサーボ軌道として選択される。このため、サーボ軌道を、ロボットが動きやすい軌道、または／および、対象物を把握しやすい位置にセンサが移動するような軌道に決定できる。このため、例えば、対象物に把持物体を接続する動作を行うビジュアルサーボが失敗する確率を低減できる。つまり、ビジュアルサーボの精度を向上することができる。そして、ビジュアルサーボに要する時間を低減できる。
【0010】
上記の処理装置において、前記計画手段は、前記初期姿勢と前記目標姿勢の間の姿勢の中から、前記スタート姿勢の複数の候補を決定してもよい。初期姿勢と目標姿勢の間の姿勢とは、例えば、初期姿勢から目標姿勢にロボットの姿勢が変化するように計画手段が所定のアルゴリズムに従ってロボットの姿勢の変化を生成した場合に、当該変化において経由することになる姿勢である。このような構成によれば、スタート姿勢を経由する初期姿勢から目標姿勢への変化をより効率的な変化に決定することができるので、ロボットがより効率的に実現しやすい軌道にサーボ軌道をすることができる。
【0011】
上記の処理装置において、前記センサの軌道と、前記対象物の前記エンドエフェクタとの相対的な位置変化の軌道と、前記センサが撮像する撮像画像における前記対象物の軌道との少なくともいずれかを含んでいてもよい。
【0012】
上記の処理装置において、前記エンドエフェクタの複数の軌道のそれぞれに対応する前記サーボ軌道の複数の候補を生成し、前記サーボ軌道の複数の候補それぞれに従ったビジュアルサーボをシミュレーションするシミュレーション手段をさらに有し、前記シミュレーション手段は、シミュレーション結果に基づき、前記サーボシステムの軌道の複数の候補のそれぞれを補正し、前記決定手段は、補正された前記サーボ軌道の複数の候補の中から前記サーボ軌道を決定してもよい。このような構成によれば、ビジュアルサーボのシミュレーションの結果に基づきサーボ軌道を決定できるため、エンドエフェクタが現実的に移動することのできる軌道に対応するサーボ軌道を決定できる。つまり、エンドエフェクタに課せられる稼働制約を満たすようなサーボ軌道を決定できる。
【0013】
上記の処理装置において、前記サーボシステムは、第１のコントローラと第２のコントローラを有し、前記第１のコントローラは、前記エンドエフェクタの複数の軌道のそれぞれに対応する前記エンドエフェクタの位置姿勢を決定し、前記第２のコントローラは、前記第１のコントローラが決定した前記エンドエフェクタの位置姿勢を実現する前記ロボットの姿勢を制御し、前記シミュレーション手段は、前記第１のコントローラをエミュレートする第３のコントローラと、前記第２のコントローラをエミュレートする第４のコントローラを有し、前記３のコントローラおよび前記第４のコントローラを用いて、前記ビジュアルサーボをシミュレーションしてもよい。このような構成によれば、ロボットの姿勢を制御する第２のコントローラに応じたシミュレーションの結果に基づきサーボ軌道を決定できるため、ロボットが現実的に移動することのできる軌道に対応するサーボ軌道を決定できる。つまり、ロボットに課せられる稼働制約を満たすようなサーボ軌道を決定できる。
【0014】
上記の処理装置において、前記サーボ軌道の複数の候補のそれぞれを評価する評価手段をさらに有していてもよい。
【0015】
上記の処理装置において、前記評価手段は、前記サーボ軌道の複数の候補のそれぞれに従って前記ビジュアルサーボを実行した場合における、前記ロボットの移動に関するタスクスコアと前記対象物の検出に関するセンシングスコアとに基づき、前記サーボ軌道の複数の候補のそれぞれの評価値を算出してもよい。このような構成によれば、ロボットが移動しやすく、かつ、対象物の全体を検出（撮像）できるサーボ軌道を決定できる。
【0016】
上記の処理装置において、前記タスクスコアは、前記ロボットの移動に要する時間と、前記ビジュアルサーボの終了時点の前記ロボットの姿勢と前記目標姿勢との差分との少なくともいずれかに基づくスコアであってもよい。タスクスコアがロボットの移動に要する時間に基づくスコアであれば、より早くロボットが移動できるサーボ軌道を決定できる。タスクスコアがビジュアルサーボの終了時点のロボットの姿勢と目標姿勢との差分であれば、より目標姿勢の近くにロボットの姿勢を変化させることができるサーボ軌道を決定できる。
【0017】
上記の処理装置において、前記サーボシステムは、前記対象物を検出可能であり、前記センシングスコアは、ビジュアルサーボの実行中の、予想される無効な検出の総数と、前記サーボシステムが物体を検出可能な範囲である検出可能範囲と前記対象物との距離と、予想される検出誤差の総数との少なくともいずれかに基づくスコアであってもよい。このような構成によれば、対象物をより正確に検出（撮像）できるサーボ軌道を決定できる。
【0018】
上記の処理装置において、前記予想される無効な検出の総数とは、前記センサが撮像を実行した回数のうち、前記センサの視野範囲または前記検出可能範囲に前記対象物の第１の割合以上が含まれないこと、前記センサが撮像する撮像画像において前記対象物の全体の第２の割合以上の領域に対して他の物体が重複していることとの少なくともいずれかが発生している数であってもよい。このような構成によれば、撮像画像などにおいて、センサから検出（撮像）できない場所に対象物が位置してしまうこと、または、対象物の前に所定の割合以上他の物体が重なってしまうこと（オクルージョンが発生してしまうこと）の発生回数を低減できるので、対象物のうちの検出できる範囲が狭くなってしまうことを抑制できる。
【0019】
上記の処理装置において、前記計画手段は、前記スタート姿勢の複数の候補を、所定の範囲内に位置する前記エンドエフェクタの複数の位置姿勢のそれぞれに対応する前記ロボットの複数の姿勢の中から決定してもよい。このような構成によれば、例えば、ユーザは、任意の大きさの所定の範囲（例えば、球状の範囲）を指定するだけで、処理装置がスタート姿勢を決定できる。このため。ユーザの処理負担が少なく、処理装置が適切なスタート姿勢を決定できる。
【0020】
上記の処理装置において、前記計画手段は、前記センサが撮像する際に前記センサと前記対象物との間に他の物体が配置されていない前記センサの複数の位置姿勢であって、かつ、前記センサの視野範囲に前記対象物が含まれる前記センサの複数の位置姿勢のそれぞれに対応する前記ロボットの複数の姿勢の中から、前記スタート姿勢の複数の候補を選択してもよい。このような構成によれば、オクルージョンが発生せず、かつ、対象物の全体が撮像できるセンサの位置姿勢に対応するロボットの姿勢を、スタート姿勢として決定することができる。このため、ビジュアルサーボの開始時に、より正確に対象物を検出（撮像）できる位置姿勢にセンサを配置することができる。
【0021】
さらに、本発明は、上記処理装置と、前記エンドエフェクタを有するロボットと、前記対象物を撮像するセンサと、前記処理装置が決定した前記サーボ軌道に応じて前記ロボットを動作させるとともに、前記ロボットが前記スタート姿勢に変化すると前記ビジュアルサーボを開始させるコントローラと、を有することを特徴とするサーボシステムであってもよい。このような構成によれば、上記のように、処理装置が決定した適切なサーボ軌道に基づき、ロボットやセンサを用いてビジュアルサーボを実行することができる。
【0022】
本発明は、上記手段の少なくとも一部を有する装置として捉えてもよいし、電子機器や制御システム、情報処理システム、情報処理装置、サーボ装置、システムとして捉えても
よい。また、本発明は、上記処理の少なくとも一部を含む制御方法、処理方法、サーボ方法、生成方法として捉えてもよい。また、本発明は、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体（記憶媒体）として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合せて本発明を構成することができる。
よい。また、本発明は、上記処理の少なくとも一部を含む制御方法、処理方法、サーボ方法、生成方法として捉えてもよい。また、本発明は、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体（記憶媒体）として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合せて本発明を構成することができる。
【発明の効果】
【0023】
本発明によれば、ビジュアルサーボの精度または速度が向上する。
【図面の簡単な説明】
【0024】
【発明を実施するための形態】
【0025】
以下、本発明を実施するための実施形態について図面を用いて記載する。
【0026】
＜適用例＞
以下では、ビジュアルサーボを実行するサーボシステム１において、ビジュアルサーボを実行する前に、ビジュアルサーボの実行開始時点でのロボット１０のスタート姿勢および、ビジュアルサーボを実行する場合のサーボシステム１の適正軌道（サーボ軌道；センサ２０や対象物２などの軌道）決定する技術を説明する。具体的には、サーボシステム１は、スタート姿勢の複数の候補を生成する。また、サーボシステム１は、スタート姿勢の複数の候補のいずれかを経由して初期姿勢から予め設定された目標姿勢（ビジュアルサーボの終了時点での目標となるロボット１０の姿勢）に変化するようにロボット１０を動かした場合の適正軌道の候補を生成する。そして、サーボシステム１は、複数の適正軌道の候補の中から、これらの適正軌道の評価値に基づき、１つの適正軌道を選択する。これにより、１つの適正軌道が選択されて、また、当該適正軌道に対応するスタート姿勢が選択される。ここで、評価値は、ビジュアルサーボの精度または速度に関する評価値である。そして、評価値は、ロボット１０の動きに関するタスクスコア、および、対象物２の検出に関するセンシングスコアに基づく値である。
以下では、ビジュアルサーボを実行するサーボシステム１において、ビジュアルサーボを実行する前に、ビジュアルサーボの実行開始時点でのロボット１０のスタート姿勢および、ビジュアルサーボを実行する場合のサーボシステム１の適正軌道（サーボ軌道；センサ２０や対象物２などの軌道）決定する技術を説明する。具体的には、サーボシステム１は、スタート姿勢の複数の候補を生成する。また、サーボシステム１は、スタート姿勢の複数の候補のいずれかを経由して初期姿勢から予め設定された目標姿勢（ビジュアルサーボの終了時点での目標となるロボット１０の姿勢）に変化するようにロボット１０を動かした場合の適正軌道の候補を生成する。そして、サーボシステム１は、複数の適正軌道の候補の中から、これらの適正軌道の評価値に基づき、１つの適正軌道を選択する。これにより、１つの適正軌道が選択されて、また、当該適正軌道に対応するスタート姿勢が選択される。ここで、評価値は、ビジュアルサーボの精度または速度に関する評価値である。そして、評価値は、ロボット１０の動きに関するタスクスコア、および、対象物２の検出に関するセンシングスコアに基づく値である。
【0027】
これによれば、ビジュアルサーボの開始時におけるロボット１０のスタート姿勢を、ユーザが手動で設定することなく決定できる。つまり、ユーザのビジュアルサーボにおける負担が軽減できる。さらに、複数の適正軌道の候補の中から評価値が最も高い制御軌道が適正軌道として選択される。このため、適正軌道を、ロボット１０が動きやすい軌道、または／および、対象物２を把握しやすい位置にセンサ２０が移動するような軌道に決定できる。このため、例えば、対象物２に把持物体３を接続する動作を行うビジュアルサーボが失敗する確率を低減できる。つまり、ビジュアルサーボの精度を向上することができる。そして、ビジュアルサーボに要する時間を低減できる。
【0028】
＜実施形態１＞
以下、実施形態１に係るサーボシステム１を説明する。サーボシステム１は、ビジュアルサーボ（視覚的情報に基づくロボット１０の動作）を実行する。実施形態１では、サーボシステム１は、ロボット１０が把持する把持物体３を対象物２（目標物；所定の物体）に接続するようにロボット１０の姿勢を制御することを、把持物体３および対象物２を撮像しながら実行する。なお、以下で「軌道」とは、物体が移動する軌道を示す際の一筆の線分であってもよいし、当該一筆の線分上のうちの複数の位置と移動順序を示す情報であ
ってもよい。また、本実施形態では、或る物体の軌道とは、当該物体が移動する際の位置および姿勢を示す。
以下、実施形態１に係るサーボシステム１を説明する。サーボシステム１は、ビジュアルサーボ（視覚的情報に基づくロボット１０の動作）を実行する。実施形態１では、サーボシステム１は、ロボット１０が把持する把持物体３を対象物２（目標物；所定の物体）に接続するようにロボット１０の姿勢を制御することを、把持物体３および対象物２を撮像しながら実行する。なお、以下で「軌道」とは、物体が移動する軌道を示す際の一筆の線分であってもよいし、当該一筆の線分上のうちの複数の位置と移動順序を示す情報であ
ってもよい。また、本実施形態では、或る物体の軌道とは、当該物体が移動する際の位置および姿勢を示す。
【0029】
［サーボシステムの構成］
まず、図１の構成図を参照して、サーボシステム１の構成を説明する。サーボシステム１は、ロボット１０、センサ２０、制御装置３０、処理装置４０を有する。また、サーボシステム１は、対象物２および把持物体３を有していると捉えることもできるし、対象物２および把持物体３を有していないと捉えることもできる。
まず、図１の構成図を参照して、サーボシステム１の構成を説明する。サーボシステム１は、ロボット１０、センサ２０、制御装置３０、処理装置４０を有する。また、サーボシステム１は、対象物２および把持物体３を有していると捉えることもできるし、対象物２および把持物体３を有していないと捉えることもできる。
【0030】
ロボット１０は、自身の姿勢を変化させることによって、センサ２０およびエンドエフェクタ１１の位置姿勢を制御する。本実施形態では、ロボット１０の姿勢とは、ロボット１０のアームの関節の角度やエンドエフェクタ１１の回転角度などを示すものである。このため、本実施形態では、ロボット１０の姿勢と、エンドエフェクタ１１の位置姿勢とは一対一で対応する。また、ロボット１０の姿勢は、制御装置３０によって制御される。ロボット１０のアームの先端部分には、センサ２０が設けられている。このため、ロボット１０がセンサ２０を有しているとみなしてもよい。なお、「位置姿勢」とは、本実施形態では、位置および姿勢であるが、技術的な矛盾が生じなければ、位置または姿勢であってもよい。また、「位置姿勢」は、或る物体の６次元情報（或る物体の３次元座標と、当該物体の３軸方向を表す情報）と捉えることもできる。
【0031】
ロボット１０は、エンドエフェクタ１１（把持部）と土台１２を有する。エンドエフェクタ１１は、把持物体３を把持する。土台１２は、ロボット１０の１つの端部の位置を固定する。なお、以下では、ビジュアルサーボの実行開始の時点のロボット１０の姿勢を「スタート姿勢」と呼ぶ。また、ユーザが指定する姿勢であって、ビジュアルサーボの目標となるロボット１０の姿勢を「目標姿勢」と呼ぶ。この目標姿勢は、ユーザが任意に設定する姿勢であるため、把持物体３が対象物２に接続している姿勢でなくともよい。
【0032】
センサ２０は、対象物２や把持物体３を撮像して撮像画像を取得する。本実施形態では、センサ２０と把持物体３との相対的な位置関係は、固定されている。このため、センサ２０は、他の物体が把持物体３に重複しない限り、撮像可能な範囲である視野範囲（ＦＯＶ；Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ）に把持物体３を含む。センサ２０が撮像した撮像画像は、例えば、図２Ａに示すように、対象物２および把持物体３を含む。
【0033】
制御装置３０は、センサ２０から撮像画像を取得し、ロボット１０の現在の姿勢の情報（モータの回転角の情報など）をロボット１０から取得する。これにより、制御装置３０は、撮像画像および撮像画像に対応するロボット１０の姿勢に基づき、視野範囲のうち検出可能範囲６０に配置された対象物２や把持物体３（これらの位置姿勢）を検出する。検出可能範囲６０は、センサ２０の視野範囲に依存するだけでなく、図２Ｂに示すように、センサ２０からの距離にも依存する範囲である。制御装置３０は、例えば、２つの異なる位置姿勢からセンサ２０が撮像した撮像画像の差分と、その２つの異なる位置姿勢に対応するロボット１０の姿勢に基づき、対象物２および把持物体３の位置姿勢を検出できる。また、制御装置３０は、ロボット１０の姿勢を制御して、エンドエフェクタ１１およびセンサ２０の位置姿勢を制御する。これにより、制御装置３０は、撮像画像において把持物体３を所望の位置に移動させるようなロボット１０の制御を行う（ビジュアルサーボを行う）。
【0034】
処理装置４０は、サーボシステム１がビジュアルサーボ（視覚的情報に基づくロボット１０の動作）を実行する際における、ロボット１０のスタート姿勢を決定する。また、処理装置４０は、センサ２０の軌道（センサ軌道）、対象物２のエンドエフェクタ１１との相対的な位置変化を示す軌道（物体軌道）、および撮像画像における対象物２の視覚的特
徴の軌道（視覚的軌道）の１セットとするサーボシステム１の適正軌道（サーボ軌道）を決定する。ここで、対象物２の視覚的特徴とは、例えば、対象物２の１つの端、１つの隅、または中心位置である。サーボシステム１は、ロボット１０のスタート姿勢からビジュアルサーボを開始して、適正軌道に従って、ロボット１０を制御しながらビジュアルサーボを実行し続ける。
徴の軌道（視覚的軌道）の１セットとするサーボシステム１の適正軌道（サーボ軌道）を決定する。ここで、対象物２の視覚的特徴とは、例えば、対象物２の１つの端、１つの隅、または中心位置である。サーボシステム１は、ロボット１０のスタート姿勢からビジュアルサーボを開始して、適正軌道に従って、ロボット１０を制御しながらビジュアルサーボを実行し続ける。
【0035】
［制御装置および処理装置の構成］
以下では、図３を参照して、制御装置３０および処理装置４０の詳細な構成を説明する。制御装置３０は、シミュレータ３１０とコントローラ３２０を有する。処理装置４０は、入出力部４１０、計画部４２０、シミュレーション部４３０、評価部４４０を有する。
以下では、図３を参照して、制御装置３０および処理装置４０の詳細な構成を説明する。制御装置３０は、シミュレータ３１０とコントローラ３２０を有する。処理装置４０は、入出力部４１０、計画部４２０、シミュレーション部４３０、評価部４４０を有する。
【0036】
シミュレータ３１０は、センサ２０から取得した撮像画像、およびロボット１０の姿勢に基づき、対象物２および把持物体３（対象物２などの位置姿勢）を検出（推定）する。
【0037】
コントローラ３２０は、エンドエフェクタ４１の位置姿勢を制御するビジュアルコントローラと、ロボット１０の位置姿勢を制御するロボットコントローラを含む。ビジュアルコントローラは、エンドエフェクタ１１の軌道に対応するエンドエフェクタ１１の姿勢位置を決定する。ロボットコントローラは、ビジュアルコントローラが決定したエンドエフェクタ１１の姿勢位置の変化を実現するためのロボット１０のモータ駆動のコマンドを出力する。
【0038】
なお、コントローラ３２０は、処理装置４０から取得する適正軌道に基づき、ロボット１０の姿勢を制御するコマンドを生成（出力）する。そして、コントローラ３２０は、ロボット１０の姿勢がスタート姿勢から変化している期間において、センサ２０が撮像を行うようにセンサ２０にコマンドを出力する。このような処理により、コントローラ３２０は、ロボット１０を適正軌道に基づき動かしながら、ロボット１０の姿勢がスタート姿勢に変化すると、ビジュアルサーボを実行することができる。
【0039】
なお、対象物２が動く場合や、ユーザが設定した目標位置姿勢では対象物２と把持物体３とが接続できない場合（ビジュアルサーボとしての目標が達成できていない場合）には、ロボット１０の動作を補正する必要がある。この場合には、コントローラ３２０は、対象物２の位置姿勢や、撮像画像における対象物２の位置などに基づき、ロボット１０の動作を補正するように、ロボット１０を制御するコマンドを生成してもよい。
【0040】
入出力部４１０は、ユーザ操作（ユーザ入力）を受け付ける（取得する）ユーザインターフェースである。ユーザは、入出力部４１０を介して、ロボット１０の初期姿勢および目標姿勢を入力（設定）できる。また、ユーザは、入出力部４１０を介して、図２Ｃに示すような、ビジュアルサーボの実行を開始する際のエンドエフェクタ１１の位置姿勢の候補の範囲である候補範囲５０（３次元空間における所定の範囲）を入力（設定）できる。さらに、ユーザは、入出力部４１０を介して、コントローラ３２０および仮想コントローラ４３１のパラメータ、対象物２および把持物体３の３次元モデル、ロボット１０の動作制約などの情報を入力できる。また、ユーザは、入出力部４１０を介して、ロボット１０が侵入することを禁止されている領域（移動禁止領域）の情報を入力できる。なお、本実施形態では、候補範囲５０は、球状の領域であるとするが、任意の形状の領域であってよい。また、計画部４２０が、ロボット１０の初期姿勢に対応するエンドエフェクタ１１の位置と、ロボット１０の目標姿勢に対応するエンドエフェクタ１１の位置の中心を、中心点とするような所定の半径の球を候補範囲として決定してもよい。
【0041】
また、ユーザは、入出力部４１０を介して、対象物２が動くことが想定される場合（例えば、対象物２が一定の速度で回転するコンベア上に搭載されることが想定される場合）
には、対象物２の動き情報を入力することもできる。
には、対象物２の動き情報を入力することもできる。
【0042】
さらに、入出力部４１０は、処理装置４０が決定した適正軌道（センサ軌道、物体軌道および視覚的軌道）の情報と、スタート姿勢の情報を制御装置３０に出力する。
【0043】
計画部４２０は、候補範囲５０の内部にエンドエフェクタ１１が位置するような、スタート姿勢の複数の候補を複数の候補姿勢として決定する。なお、計画部４２０は、例えば、センサ２０が撮像する撮像画像において対象物２と把持物体３とが重なり合わない（センサ２０と対象物２との間に他の物体が存在しない）ようなロボット１０の姿勢を候補姿勢として決定してもよい。または、計画部４２０は、対象物２および把持物体３の一部が視野範囲または／および検出可能範囲６０の外に位置しないように、候補姿勢を決定してもよい。つまり、計画部４２０は、センサ２０の視野範囲に対象物２が含まれるセンサ２０の複数の位置姿勢のそれぞれに対応するロボット１０の複数の姿勢の中から、スタート姿勢の複数の候補を選択してもよい。
【0044】
そして、計画部４２０は、複数の候補姿勢のいずれかを経由してロボット１０の姿勢が初期姿勢から目標姿勢に変化する際のエンドエフェクタ１１の複数の軌道（エフェクタ軌道）の候補を生成する。例えば、計画部４２０は、１０個の候補姿勢を生成している場合には、ロボット１０の姿勢が１つの候補姿勢を経由して初期姿勢から目標姿勢に変化する際のエンドエフェクタ１１の軌道の候補を生成することを１０回だけ繰り返す。なお、エフェクタ軌道の算出には、任意の経路計算アルゴリズムを用いることができる。
【0045】
シミュレーション部４３０は、複数のエフェクタ軌道の候補それぞれに対応する視覚的軌道の候補、物体軌道の候補およびセンサ軌道の候補（これら３種の軌道の候補を１つのセットとして「非制御軌道」と呼ぶ）を生成する。その後、シミュレーション部４３０は、それぞれの視覚的軌道の候補における複数の点を対象物２が通過するようなロボット１０の動きを算出する（シミュレートする）。そして、シミュレーション部４３０は、シミュレーション結果に基づき、視覚的軌道の候補を補正する。例えば、シミュレーション部４３０は、ロボット１０の動き制限により視覚的軌道の候補における複数の点を対象物２が通過することができない場合には、その複数の点の位置を補正する（位置ずらしをする）ことにより、視覚的軌道の候補を補正する。シミュレーション部４３０は、このような補正を、物体軌道の候補およびセンサ軌道の候補についても実行する。なお、以下では、補正された非制御軌道（視覚的軌道の候補、物体軌道の候補およびセンサ軌道の候補の１つのセット；適正軌道の候補）を「制御軌道」と呼ぶ。
【0046】
また、シミュレーション部４３０は、仮想コントローラ４３１を有する。仮想コントローラ４３１は、コントローラ３２０と同一の処理を実現するソフトウェア（コントローラ３２０のエミュレータ）であり、コントローラ３２０と同一のパラメータが設定されている。このため、仮想コントローラ４３１は、コントローラ３２０のビジュアルコントローラをエミュレートする（模倣する）仮想ビジュアルコントローラと、コントローラ３２０のビジュアルコントローラをエミュレートする（模倣する）仮想ロボットコントローラを有する。仮想ビジュアルコントローラは、複数のエフェクタ軌道のそれぞれに対応するエンドエフェクタ４１の姿勢位置の変化を決定する。仮想ロボットコントローラは、仮想ビジュアルコントローラが決定したエンドエフェクタ４１の姿勢位置の変化を実現するためのロボット１０の姿勢を制御する。
【0047】
シミュレーション部４３０は、仮想ビジュアルコントローラおよび仮想ロボットコントローラを用いて、それぞれの視覚的軌道における複数の点を対象物２が通過するようなロボット１０の動きをシミュレートする。このように仮想ビジュアルコントローラと仮想ロボットコントローラを用いることによれば、ロボット１０が実現できないような動きを排
除できる。
除できる。
【0048】
評価部４４０は、シミュレーション部４３０が生成した複数の制御軌道のそれぞれを評価する。具体的には、評価部４４０は、複数の制御軌道のそれぞれについて、ロボット１０の移動に関するタスクスコアと、対象物２の検出に関するセンシングスコアに基づく評価値を算出する。このため、評価値は、ビジュアルサーボの精度または速度に関する値である。例えば、評価値は、タスクスコアが小さいほど大きく、センシングスコアが小さいほど大きい。なお、タスクスコアは、ロボット１０が移動しやすい制御軌道ほど低い値をとり、または、ロボット１０の姿勢を目的姿勢のより近くまで変化させることができる制御軌道ほど低い値をとれば、任意のスコアであってよい。また、センシングスコアは、対象物２の検出精度（実際の対象物２と検出結果との合致度）が高くなるほど、低い値をとれば、任意のスコアであってよい。
【0049】
タスクスコアは、例えば、シミュレートした場合のロボット１０の最終的な姿勢と目標位置姿勢との誤差（最終姿勢誤差）と、制御軌道に従ってロボット１０が移動する場合の総時間（移動総時間）との少なくともいずれかに基づく値である。タスクスコアは、例えば、最終姿勢誤差と移動総時間とを重み付きで加算した値、または最終姿勢誤差と移動総時間とを乗算した値などである。
【0050】
センシングスコアは、例えば、ビジュアルサーボの実行中の、予想される無効な検出の総数（無効検出総数）と、検出可能範囲６０と対象物２との距離（物体距離）と、予想される検出誤差の総数（検出誤差総数）との少なくともいずれかに基づく値である。なお、物体距離は、ビジュアルサーボの実行中の検出可能範囲６０の中心もしくは外周部と対象物２の中心もしくは外周部との距離の平均値、最頻値、中央値、最小値、もしくは最大値などであり得る。センシングスコアは、例えば、無効検出総数と物体距離と検出誤差総数とを重み付きで加算した値、または無効検出総数と物体距離と検出誤差総数とを乗算した値などである。
【0051】
無効検出総数は、例えば、センサ２０が撮像を実行した回数のうち、検出可能範囲６０または視野範囲に対象物２が含まれないこと、センサ２０と対象物２との間に他の物体が配置されていること（オクルージョンが発生していること）のいずれかが発生している数である。また、無効検出総数は、センサ２０が撮像を実行した回数のうち、検出可能範囲６０または視野範囲に対象物２の第１の割合以上が含まれないこと、センサ２０が撮像する撮像画像において対象物２の全体の第２の割合以上の領域に対して他の物体が重複していることのいずれかが発生している数であってもよい。例えば、或る物体が対象物２に重複していなければ対象物２のうち２ｃｍ２が撮像画像に写っている場合に、撮影画像において２ｃｍ２の６０％（第２の割合）である１．２ｃｍ２以上、或る物体が対象物２に重複していれば、無効検出が発生しているといえる。なお、無効検出総数の代わりに、対象物２の全体の領域に対する、検出可能範囲６０または視野範囲に含まれる当該領域の割合の平均値の逆数を用いてもよい。
【0052】
また、検出誤差は、例えば、２つの時点の撮像画像に対応する視覚的特徴の分散に基づく値である。具体的には、検出誤差は、２つの撮像画像を対象物２の表面に投影（射影）した画像の視覚的特徴の位置の分散に基づく値である。なお、これに限られず、検出誤差は、センサ２０の検出精度（実際の対象物と検出した対象物との合致度）が低いほど、高くなる値であれば任意のものであってよい。
【0053】
また、制御装置３０および処理装置４０は、例えば、ＣＰＵ（プロセッサ）、メモリ、ストレージなどを備えるコンピュータにより構成することができる。その場合、図３に示す構成は、ストレージに格納されたプログラムをメモリにロードし、ＣＰＵが当該プログ
ラムを実行することによって実現されるものである。かかるコンピュータは、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよいし、オンボードコンピュータのように組み込み型のコンピュータでもよい。あるいは、図３に示す構成の全部または一部を、ＡＳＩＣやＦＰＧＡなどで構成してもよい。あるいは、図３に示す構成の全部または一部を、クラウドコンピューティングや分散コンピューティングにより実現してもよい。
ラムを実行することによって実現されるものである。かかるコンピュータは、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよいし、オンボードコンピュータのように組み込み型のコンピュータでもよい。あるいは、図３に示す構成の全部または一部を、ＡＳＩＣやＦＰＧＡなどで構成してもよい。あるいは、図３に示す構成の全部または一部を、クラウドコンピューティングや分散コンピューティングにより実現してもよい。
【0054】
［適正軌道の決定処理］
続いて、処理装置４０が実行する適正軌道の決定処理（決定方法）について、図４のフローチャートを用いて説明する。
続いて、処理装置４０が実行する適正軌道の決定処理（決定方法）について、図４のフローチャートを用いて説明する。
【0055】
ステップＳ１００１において、入出力部４１０は、ユーザ定義情報を取得する。ユーザ定義情報は、３次元モデル（ロボット１０、センサ２０、対象物２、把持物体３、その他の外部環境のモデル）の情報、コントローラ３２０（ビジュアルコントローラおよびロボットコントローラ）のパラメータの情報、候補範囲５０の大きさや形状の情報を含む。また、ユーザ定義情報は、例えば、上述したタスクスコアおよびセンシングスコアの算出方法を示す情報、動作制約（ロボット１０、センサ２０、および、その他の外部環境の制限）の情報、初期姿勢およびエフェクタ軌道を生成する際のジェネレータ（ソフトウェア）の情報を含む。
【0056】
ここで、ロボット１０の動作制約とは、ロボット１０の各関節の稼働可能角度、各関節の角度とエンドエフェクタ１１との関係、各関節の変化速度や変化加速度、エンドエフェクタ１１の移動可能範囲および、ロボット１０のモータのトルクなどの条件である。センサ２０の動作制約とは、センサ２０の視野範囲（ＦＯＶ）や、検出可能範囲６０の条件である。
【0057】
ステップＳ１００２において、計画部４２０は、スタート姿勢を生成する際のジェネレータを用いて、候補範囲５０の内部にエンドエフェクタ１１が位置するような、スタート姿勢の複数の候補を複数の候補姿勢として決定する。なお、計画部４２０は、さらに、ロボット１０の初期姿勢と目標姿勢との間の姿勢の中から、候補範囲５０の内部にエンドエフェクタ１１が位置するような複数の候補姿勢を決定してもよい。また、計画部４２０は、例えば、３次元モデルの情報に基づき、センサ２０が撮像する撮像画像において対象物２と把持物体３とが重なり合わないような（例えば、センサ２０と対象物２との間に他の物体が配置されていないような）ロボット１０の姿勢を候補姿勢として決定する。または、計画部４２０は、対象物２および把持物体３の全てが視野範囲や検出可能範囲６０に位置するようなロボット１０の姿勢を候補姿勢として決定する。さらに、計画部４２０は、動作制約の情報に基づき、ロボット１０が変化することのできる姿勢に候補姿勢を限定することや、ロボット１０が移動禁止領域に位置しない姿勢に候補姿勢を限定することを行ってもよい。
【0058】
ステップＳ１００３において、計画部４２０は、エフェクタ軌道を生成する際のジェネレータを用いて、複数のエフェクタ軌道の候補を生成する。ここで、複数のエフェクタ軌道の候補のそれぞれは、複数の候補姿勢のいずれかを経由する初期姿勢から目標姿勢までのロボット１０の姿勢の変化に対応するように生成される。また、計画部４２０は、例えば、動作制約の情報に基づき、ロボット１０が移動禁止領域に移動しないように、複数のエフェクタ軌道の候補を生成する。なお、計画部４２０は、複数の候補姿勢を生成する前に、初期姿勢から目標姿勢までのロボット１０の姿勢の変化に対応する複数のエフェクト軌道を生成してもよい。そして、計画部４２０は、当該複数のエフェクト軌道それぞれのうち、候補範囲内部５０の内部にエンドエフェクタ１１が位置するようなロボット１０の姿勢を複数のスタート姿勢の候補（複数の候補姿勢）として決定してもよい。
【0059】
ステップＳ１００４において、シミュレーション部４３０は、３次元モデルおよび制限条件の情報に基づき、複数のエフェクタ軌道のそれぞれに対応する複数の非制御軌道を生成する。そして、シミュレーション部４３０は、仮想コントローラ４３１を用いて、各非制御軌道のうち複数の点（複数の位置姿勢）をセンサ２０や対象物２が通過するようなロボット１０の動きをシミュレートする。
【0060】
ステップＳ１００５において、シミュレーション部４３０は、複数の制御軌道を生成する。具体的には、シミュレーション部４３０は、複数の非制御軌道それぞれについて、Ｓ１００４においてシミュレートしたロボット１０の動きに対応するように、当該非制御軌道をそれぞれ補正して、当該非制御軌道に対応する制御軌道（適正軌道の候補）を生成する。
【0061】
ステップＳ１００６において、評価部４４０は、複数の制御軌道のそれぞれを評価する。具体的には、評価部４４０は、複数の制御軌道それぞれに対して、上述したタスクスコアおよびセンシングスコアに基づく評価値を算出する。
【0062】
ステップＳ１００７において、計画部４２０は、複数の制御軌道のうちの最も評価値の高い１つを適正軌道として選択する。なお、例えば、計画部４２０は、タスクスコアが第１の閾値よりも小さく、かつ、センシングスコアが第２の閾値よりも小さい制御軌道の中で、最も評価値の高い１つを適正軌道として選択してもよい。これによれば、タスクスコアとセンシングスコアが所定値よりも小さいことが担保できる。また、計画部４２０は、適正軌道に対応する候補姿勢（適正軌道に従ってサーボシステム１を実行した場合における、ビジュアルサーボの開始時点でのロボット１０の姿勢）をスタート姿勢として選択する。
【0063】
このように、処理装置４０は、適正軌道とスタート姿勢を生成（決定）する。これによれば、ビジュアルサーボの開始時におけるロボット１０のスタート姿勢を、ユーザが手動で設定することなく決定できる。つまり、ユーザのビジュアルサーボにおける負担が軽減できる。そして、処理装置４０は、オクルージョンが発生しない姿勢や、視野範囲や検出可能範囲６０に対象物２が位置する姿勢を、スタート姿勢にすることができる。つまり、処理装置４０は、ビジュアルサーボを行うにあたり好適なスタート姿勢を決定することができる。
【0064】
さらに、処理装置４０は、複数の制御軌道の中から評価値が最も高い制御軌道を適正軌道として選択する。そして、評価値は、ビジュアルサーボの精度または／および速度に関する値である。このため、適正軌道を、ロボット１０が動きやすい軌道、または／および、対象物２を把握しやすい位置にセンサ２０が移動するような軌道にできる。つまり、対象物２に把持物体３を接続する動作を行うビジュアルサーボが失敗する確率を低減できる（ビジュアルサーボの精度が向上する）。そして、ビジュアルサーボに要する時間を低減できる。
【0065】
なお、上記では、サーボシステム１は、制御装置３０において、２つの時点間の撮像画像に基づき、対象物２や把持物体３の位置姿勢を検出していたが、この限りではない。例えば、センサ２０が３次元センサであり、センサ２０自体が対象物２や把持物体３の位置姿勢を検出してもよい。
【0066】
また、本実施形態では、エフェクタ軌道やセンサ軌道などは、スタート姿勢を経由してロボット１０の姿勢が初期姿勢から目標姿勢まで変化する際のエンドエフェクタ１１やセンサ２０の軌道であるとした。しかし、エフェクタ軌道やセンサ軌道などは、ロボット１
０の姿勢がスタート姿勢から目標姿勢まで変化する際のエンドエフェクタ１１やセンサ２０の軌道であってもよい。これは、ロボット１０が初期姿勢からスタート姿勢に変化するまでの期間では、ビジュアルサーボが実行されないためである。
０の姿勢がスタート姿勢から目標姿勢まで変化する際のエンドエフェクタ１１やセンサ２０の軌道であってもよい。これは、ロボット１０が初期姿勢からスタート姿勢に変化するまでの期間では、ビジュアルサーボが実行されないためである。
【0067】
また、適正軌道、制御軌道および非制御軌道において、センサ軌道の代わりに、当該センサ軌道に対応するエフェクタ軌道を用いてもよい。これは、本実施形態では、センサ２０とエンドエフェクタ１１との相対的な位置関係が固定されているためである。なお、センサ軌道の代わりに、ロボット１０の姿勢変化を用いてもよい。
【0068】
さらに、対象物２がビジュアルサーボ中に動かない場合には、適正軌道、制御軌道および非制御軌道において、物体軌道は不要である。センサ軌道から、エンドエフェクタ１１と対象物２との位置関係を算出可能であるためである。
【0069】
なお、撮像画像の２次元空間上において把持物体３を目的の位置姿勢に変化させるようなビジュアルサーボを行う場合には、適正軌道、制御軌道および非制御軌道において、上述のように視覚的軌道が必要である。一方で、３次元空間上において把持物体３を目的の位置姿勢に変化させるようなビジュアルサーボを行う場合には、適正軌道、制御軌道および非制御軌道において、視覚的軌道は必ずしも必要ではない。つまり、適正軌道（サーボ軌道）、制御軌道および非制御軌道は、サーボシステム１に関する少なくとも１つの構成（物体；部材）の軌道を含んでいれば、本実施形態と同様の効果を得る可能性がある。
【0070】
なお、実施形態に記載された事項のみによって特許請求の範囲の記載の解釈が限定されるものではない。特許請求の範囲の記載の解釈には、出願時の技術常識を考慮した、発明の課題が解決できることを当業者が認識できるように記載された範囲も含む。
【0071】
（付記１）
対象物（２）を撮像して検出するセンサ（２０）と、エンドエフェクタ（１１）を備えるロボット（１０）とを有し、ビジュアルサーボを行うサーボシステム（１）において、
前記サーボシステム（１）に関する少なくとも１つの軌道であるサーボ軌道、および前記ビジュアルサーボの開始時点の前記ロボット（１０）のスタート姿勢を決定する処理装置（４０）であって、
前記ロボット（１０）の初期姿勢の情報と、前記ビジュアルサーボの終了時点の前記ロボット（１０）の目標姿勢の情報とを取得する取得手段（４１０）と、
１）前記スタート姿勢の複数の候補を決定し、２）前記複数の候補のいずれか１つを経由して前記初期姿勢から前記目標姿勢に前記ロボット（１０）の姿勢が変化する際の前記エンドエフェクタ（１１）の複数の軌道を生成する計画手段（４２０）と、
前記エンドエフェクタ（１１）の複数の軌道のそれぞれに対応する前記サーボ軌道の複数の候補の中から、前記ビジュアルサーボの精度または速度に関する評価値の最も高い候補を前記サーボ軌道として決定し、当該サーボ軌道に対応するスタート姿勢の候補を前記スタート姿勢として決定する決定手段（４２０）と、
を有することを特徴とする処理装置（４０）。
対象物（２）を撮像して検出するセンサ（２０）と、エンドエフェクタ（１１）を備えるロボット（１０）とを有し、ビジュアルサーボを行うサーボシステム（１）において、
前記サーボシステム（１）に関する少なくとも１つの軌道であるサーボ軌道、および前記ビジュアルサーボの開始時点の前記ロボット（１０）のスタート姿勢を決定する処理装置（４０）であって、
前記ロボット（１０）の初期姿勢の情報と、前記ビジュアルサーボの終了時点の前記ロボット（１０）の目標姿勢の情報とを取得する取得手段（４１０）と、
１）前記スタート姿勢の複数の候補を決定し、２）前記複数の候補のいずれか１つを経由して前記初期姿勢から前記目標姿勢に前記ロボット（１０）の姿勢が変化する際の前記エンドエフェクタ（１１）の複数の軌道を生成する計画手段（４２０）と、
前記エンドエフェクタ（１１）の複数の軌道のそれぞれに対応する前記サーボ軌道の複数の候補の中から、前記ビジュアルサーボの精度または速度に関する評価値の最も高い候補を前記サーボ軌道として決定し、当該サーボ軌道に対応するスタート姿勢の候補を前記スタート姿勢として決定する決定手段（４２０）と、
を有することを特徴とする処理装置（４０）。
【0072】
（付記２）
対象物（２）を撮像して検出するセンサ（２０）と、エンドエフェクタ（１１）を備えるロボット（１０）とを有し、ビジュアルサーボを行うサーボシステム（１）に関して、
前記サーボシステム（１）に関する少なくとも１つの軌道であるサーボ軌道、および前記ビジュアルサーボの開始時点の前記ロボット（１０）のスタート姿勢を決定する処理方法であって、
前記ロボット（１０）の初期姿勢の情報と、前記ビジュアルサーボの終了時点の前記ロボット（１０）の目標姿勢の情報とを取得する取得ステップ（Ｓ１００１）と、
１）前記スタート姿勢の複数の候補を決定し、２）前記複数の候補のいずれか１つを経由して前記初期姿勢から前記目標姿勢に前記ロボット（１０）の姿勢が変化する際の前記エンドエフェクタ（１１）の複数の軌道を生成する計画ステップ（Ｓ１００２，Ｓ１００３）と、
前記エンドエフェクタ（１１）の複数の軌道のそれぞれに対応する前記サーボ軌道の複数の候補の中から、前記ビジュアルサーボの精度または速度に関する評価値の最も高い候補を前記サーボ軌道として決定し、当該サーボ軌道に対応するスタート姿勢の候補を前記スタート姿勢として決定する決定ステップ（Ｓ１００７）と、
を有することを特徴とする処理方法。
対象物（２）を撮像して検出するセンサ（２０）と、エンドエフェクタ（１１）を備えるロボット（１０）とを有し、ビジュアルサーボを行うサーボシステム（１）に関して、
前記サーボシステム（１）に関する少なくとも１つの軌道であるサーボ軌道、および前記ビジュアルサーボの開始時点の前記ロボット（１０）のスタート姿勢を決定する処理方法であって、
前記ロボット（１０）の初期姿勢の情報と、前記ビジュアルサーボの終了時点の前記ロボット（１０）の目標姿勢の情報とを取得する取得ステップ（Ｓ１００１）と、
１）前記スタート姿勢の複数の候補を決定し、２）前記複数の候補のいずれか１つを経由して前記初期姿勢から前記目標姿勢に前記ロボット（１０）の姿勢が変化する際の前記エンドエフェクタ（１１）の複数の軌道を生成する計画ステップ（Ｓ１００２，Ｓ１００３）と、
前記エンドエフェクタ（１１）の複数の軌道のそれぞれに対応する前記サーボ軌道の複数の候補の中から、前記ビジュアルサーボの精度または速度に関する評価値の最も高い候補を前記サーボ軌道として決定し、当該サーボ軌道に対応するスタート姿勢の候補を前記スタート姿勢として決定する決定ステップ（Ｓ１００７）と、
を有することを特徴とする処理方法。
【符号の説明】
【0073】
１：サーボシステム、２：対象物、３：把持物体、
１０：ロボット、１１：エンドエフェクタ、１２：土台、
２０：センサ、３０：制御装置、４０：処理装置、
３１０：シミュレータ、３２０：コントローラ、
４１０：入出力部、４２０：計画部、４３０：シミュレーション部、
４３１：仮想コントローラ、４４０：評価部
１０：ロボット、１１：エンドエフェクタ、１２：土台、
２０：センサ、３０：制御装置、４０：処理装置、
３１０：シミュレータ、３２０：コントローラ、
４１０：入出力部、４２０：計画部、４３０：シミュレーション部、
４３１：仮想コントローラ、４４０：評価部
【図1】
【図2】
【図3】
【図4】