特開 2023-182423 作業ロボット、作業ロボットの掴持状態の判定方法、及び作業ロボットの掴持状態の判定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023182423

(43)【公開日】2023-12-26

(54)【発明の名称】作業ロボット、作業ロボットの掴持状態の判定方法、及び作業ロボットの掴持状態の判定プログラム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20231219BHJP

【ＦＩ】

B25J13/08 A

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022096024

(22)【出願日】2022-06-14

(71)【出願人】

【識別番号】515086908

【氏名又は名称】株式会社トヨタプロダクションエンジニアリング

(74)【代理人】

【識別番号】110002516

【氏名又は名称】弁理士法人白坂

(72)【発明者】

【氏名】堤 洋一

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS04

3C707BS10

3C707KS03

3C707KS30

3C707KT01

3C707KT05

3C707KT11

3C707LT06

3C707LT12

(57)【要約】

【課題】鏡に映された画像を用いた際の対象物の掴持状態（掴みずれ）の把握の精度向上を図ることのできる作業ロボットを提供する。
【解決手段】掴持部を装着するロボットアーム部を駆動させる駆動部と、掴持部の近傍に備えられ鏡部により映される対象物の鏡像を撮影する撮影部と、対象物の掴持状態を判定する処理部とを備え、処理部は、対象物を掴持部により掴持したときの鏡像を基準像として取得する基準像取得部と、作業時の載置状態の対象物を掴持部により掴持したときの鏡像を作業像として取得する作業像取得部と、基準像中の対象物と作業像中の対象物との間の対象物の位置ずれ量を算出するずれ算出部と、位置ずれ量に基づいて基準像を取得したときのロボットアーム部を駆動させる駆動部の駆動量から新たにロボットアーム部を駆動させる駆動部の駆動量を補正駆動量として設定する補正量設定部とを備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

対象物を掴持する掴持部を備える作業ロボットであって、
前記作業ロボットは、
前記掴持部を装着するロボットアーム部を駆動させる駆動部と、
前記掴持部の近傍に備えられ、鏡部により映される掴持状態の対象物の鏡像を撮影する撮影部と、
前記鏡像に基づいて対象物の掴持状態を判定する処理部と、を備え、
前記処理部は、
対象物を前記掴持部により掴持したときの前記鏡像を基準像として取得する基準像取得部と、
作業時の載置状態の対象物を前記掴持部により掴持したときの前記鏡像を作業像として取得する作業像取得部と、
前記基準像中の対象物と前記作業像中の対象物との間の対象物の位置ずれ量を算出するずれ算出部と、
前記位置ずれ量に基づいて前記基準像を取得したときの前記ロボットアーム部を駆動させる前記駆動部の駆動量から新たに前記ロボットアーム部を駆動させる前記駆動部の駆動量を補正駆動量として設定する補正量設定部と、を備える
ことを特徴とする作業ロボット。

【請求項2】

前記鏡部は、前記ロボットアーム部が接続されているロボット本体部に設置される請求項１に記載の作業ロボット。

【請求項3】

前記鏡部は複数設置され、前記鏡部は対向して配置されている請求項１に記載の作業ロボット。

【請求項4】

前記鏡部には、当該鏡部の傾斜を変更する鏡傾斜変更部が備えられ、
前記処理部は、前記鏡傾斜変更部を制御する鏡傾斜制御部を備える請求項１に記載の作業ロボット。

【請求項5】

前記撮影部には、当該撮影部の傾斜を変更する撮影傾斜変更部が備えられ、
前記処理部は、前記撮影傾斜変更部を制御する撮影傾斜制御部を備える請求項１に記載の作業ロボット。

【請求項6】

前記作業ロボットは自走式である請求項１に記載の作業ロボット。

【請求項7】

前記鏡部は前記作業ロボットのロボット本体部に設置される請求項６に記載の作業ロボット。

【請求項8】

前記補正量設定部は、前記位置ずれ量に基づいて前記ロボットアーム部を駆動させる前記駆動部の駆動量を、前記基準像を取得したときの前記ロボットアーム部を駆動させる前記駆動部の駆動量から所定の必要量を補正して前記補正駆動量を設定する請求項１に記載の作業ロボット。

【請求項9】

前記ずれ算出部が所定の前記位置ずれ量を算出した場合、
前記作業ロボットは、
掴持状態の対象物の移動を中止して掴持状態の対象物を前記掴持部により掴持前の位置に載置し、
前記位置ずれ量に基づいて前記掴持部により対象物の位置を移動させ、
再度対象物を掴持部により掴持する請求項１に記載の作業ロボット。

【請求項10】

対象物を掴持する掴持部を備える作業ロボットの掴持状態の判定方法であって、
前記作業ロボットは、
前記掴持部を装着するロボットアーム部を駆動させる駆動部と、
前記掴持部の近傍に備えられ、鏡部により映される掴持状態の対象物の鏡像を撮影する撮影部と、
前記鏡像に基づいて対象物の掴持状態を判定する処理部と、を備え、
前記処理部は、
対象物を前記掴持部により掴持したときの前記鏡像を基準像として取得する基準像取得ステップと、
作業時の載置状態の対象物を前記掴持部により掴持したときの前記鏡像を作業像として取得する作業像取得ステップと、
前記基準像中の対象物と前記作業像中の対象物との間の対象物の位置ずれ量を算出するずれ算出ステップと、
前記位置ずれ量に基づいて前記基準像を取得したときの前記ロボットアーム部を駆動させる前記駆動部の駆動量から新たに前記ロボットアーム部を駆動させる前記駆動部の駆動量を補正駆動量として設定する補正量設定ステップと、を実行する
ことを特徴とする作業ロボットの掴持状態の判定方法。

【請求項11】

対象物を掴持する掴持部を備える作業ロボットの掴持状態の判定プログラムであって、
前記作業ロボットは、
前記掴持部を装着するロボットアーム部を駆動させる駆動部と、
前記掴持部の近傍に備えられ、鏡部により映される掴持状態の対象物の鏡像を撮影する撮影部と、
前記鏡像に基づいて対象物の掴持状態を判定する処理部と、を備え、
前記処理部に、
対象物を前記掴持部により掴持したときの前記鏡像を基準像として取得する基準像取得機能と、
作業時の載置状態の対象物を前記掴持部により掴持したときの前記鏡像を作業像として取得する作業像取得機能と、
前記基準像中の対象物と前記作業像中の対象物との間の対象物の位置ずれ量を算出するずれ算出機能と、
前記位置ずれ量に基づいて前記基準像を取得したときの前記ロボットアーム部を駆動させる前記駆動部の駆動量から新たに前記ロボットアーム部を駆動させる前記駆動部の駆動量を補正駆動量として設定する補正量設定機能と、を実現させる
ことを特徴とする作業ロボットの掴持状態の判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業ロボット、作業ロボットの掴持状態の判定方法、及び作業ロボットの掴持状態の判定プログラムに関し、特に、対象物が的確に掴持されていることを判定する作業ロボット、その作業ロボットにおける判定方法、判定プログラムに関する。

【背景技術】

【0002】

現在、作業場所に載置された対象物（ワーク等）を作業ロボットの掴持部（マニピュレータ等）が掴持し、対象物を所定の場所に移動させたり組み付けたりする産業用の作業ロボットが一般的である。ここで、作業ロボットの掴持部が対象物を掴持する際、作業ロボットの掴持部が的確に対象物を掴持しなければ、作業ロボットを通じて対象物を適切な位置に移動することができない。

【0003】

掴持状態を把握するカメラの設置に際しては、対象物の状態を撮影するため、載置された対象物ごとにカメラは作業場所に複数台設置される。または、カメラは作業場所と作業ロボットの掴持部の両方に設置される。このことから、カメラの設置場所の確保とカメラの台数増加に伴う設備経費の増大が問題視されてきた。

【0004】

そのため、カメラの数を抑制するため、作業場所に鏡が備えられ、鏡映しの画像から対象物の掴持状態を把握する技術が提案されている（特許文献１，２，３，４等参照）。これらの文献に提案の技術により、カメラの数の抑制は可能となった。しかしながら、鏡に映された画像を利用するため、画像認識の精度は必ずしも十分ではなかった。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０１６－１９０３０９号公報

【特許文献2】国際公開ＷＯ２０１６／１１３８３６号公報

【特許文献3】特開２０２０－９９９６９号公報

【特許文献4】特表２０２０－５１３３３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

本発明は上記の点に鑑みなされたものであり、鏡に映された画像を用いた際の対象物の掴持状態（掴みずれ）の把握の精度向上を図り、的確な対象物の掴持及び移動のできる作業ロボットと、当該作業ロボットの掴持状態の判定方法、当該作業ロボットの掴持状態の判定プログラムを提供する。

【課題を解決するための手段】

【0007】

すなわち、実施形態の対象物を掴持する掴持部を備える作業ロボットは、掴持部を装着するロボットアーム部を駆動させる駆動部と、掴持部の近傍に備えられ、鏡部により映される掴持状態の対象物の鏡像を撮影する撮影部と、鏡像に基づいて対象物の掴持状態を判定する処理部とを備え、処理部は、対象物を掴持部により掴持したときの鏡像を基準像として取得する基準像取得部と、作業時の載置状態の対象物を掴持部により掴持したときの鏡像を作業像として取得する作業像取得部と、基準像中の対象物と作業像中の対象物との間の対象物の位置ずれ量を算出するずれ算出部と、位置ずれ量に基づいて基準像を取得したときのロボットアーム部を駆動させる駆動部の駆動量から新たにロボットアーム部を駆動させる駆動部の駆動量を補正駆動量として設定する補正量設定部とを備えることを特徴とする。

【0008】

さらに、ロボットアーム部が接続されているロボット本体部に設置されることとしてもよい。

【0009】

さらに、鏡部は複数設置され、鏡部は対向して配置されることとしてもよい。

【0010】

さらに、鏡部には当該鏡部の傾斜を変更する鏡傾斜変更部が備えられ、処理部は鏡傾斜変更部を制御する鏡傾斜制御部を備えることとしてもよい。

【0011】

さらに、撮影部には当該撮影部の傾斜を変更する撮影傾斜変更部が備えられ、処理部は撮影傾斜変更部を制御する撮影傾斜制御部を備えることとしてもよい。

【0012】

さらに、作業ロボットは自走式であることとしてもよい。

【0013】

さらに、鏡部は前記作業ロボットのロボット本体部に設置されることとしてもよい。

【0014】

さらに、補正量設定部は、位置ずれ量に基づいてロボットアーム部を駆動させる駆動部の駆動量を、基準像を取得したときのロボットアーム部を駆動させる駆動部の駆動量から所定の必要量を補正して補正駆動量を設定することとしてもよい。

【0015】

さらに、ずれ算出部が所定の位置ずれ量を算出した場合、作業ロボットは、掴持状態の対象物の移動を中止して掴持状態の対象物を掴持部により掴持前の位置に載置し、位置ずれ量に基づいて掴持部により対象物の位置を移動させ、再度対象物を掴持部により掴持することとしてもよい。

【発明の効果】

【0016】

本発明の対象物を掴持する掴持部を備える作業ロボットは、掴持部を装着するロボットアーム部を駆動させる駆動部と、掴持部の近傍に備えられ、鏡部により映される掴持状態の対象物の鏡像を撮影する撮影部と、鏡像に基づいて対象物の掴持状態を判定する処理部とを備え、処理部は、対象物を掴持部により掴持したときの鏡像を基準像として取得する基準像取得部と、作業時の載置状態の対象物を掴持部により掴持したときの鏡像を作業像として取得する作業像取得部と、基準像中の対象物と作業像中の対象物との間の対象物の位置ずれ量を算出するずれ算出部と、位置ずれ量に基づいて基準像を取得したときのロボットアーム部を駆動させる駆動部の駆動量から新たにロボットアーム部を駆動させる駆動部の駆動量を補正駆動量として設定する補正量設定部とを備えるため、鏡に映された画像を用いた際の対象物の掴持状態（掴みずれ）の把握の精度向上を図り、的確な対象物の掴持及び移動が可能となる。

【図面の簡単な説明】

【0017】

【図1】実施形態の作業ロボットを示す概略構成図である。

【図2】処理部の構成と機能部を示すブロック図である。

【図3】掴持状態の鏡像の模式図である。

【図4】（Ａ）掴持状態の鏡像に対象物を認識させた模式図、（Ｂ）底面側の掴持状態の鏡像に対象物を認識させた模式図である。

【図5】（Ａ）位置ずれの掴持状態の鏡像に対象物を認識させた模式図、（Ｂ）位置ずれの底面側の掴持状態の鏡像に対象物を認識させた模式図である。

【図6】他の実施形態の作業ロボットを示す模式図である。

【図7】（Ａ）撮影部と鏡部の配置を示す第１模式図、（Ｂ）撮影部と鏡部の配置を示す第２模式図、（Ｃ）撮影部と鏡部の配置を示す第３模式図である。

【図8】作業ロボット内の処理の第１フローチャートである。

【図9】（Ａ）作業ロボット内の処理の第２フローチャート、（Ｂ）作業ロボット内の処理の第３フローチャートである。

【発明を実施するための形態】

【0018】

図１の概略構成図を用い、作業ロボット１と当該作業ロボット１における掴持状態の判定について説明する。作業ロボット１（後出の図６の作業ロボット１ｘ）では、ばら積みの部品（対象物）を適切に掴持する際のピック補正、また、部品（対象物）をいったん掴持したときの掴みずれ補正に有効である。加えて、微細な部品の個数、印字不良等の際にカメラを近づける動作に際しても有効である。後出の図３ないし図５の鏡像の説明のとおり、作業ロボット１（作業ロボット１ｘ）ではいったん掴持したときの掴みずれの判定から掴みずれ補正を有効に行うことができる。

【0019】

作業ロボット１は、作業台８の上の所定位置に載置されている対象物Ｗを掴持するための掴持部３（マニピュレータ）を備える。特に、作業ロボット１は、ロボット本体部２にロボットアーム部５が装着され、ロボットアーム部５には複数の関節部と各関節部を駆動させるサーボモータ等の駆動部６が備えられる。掴持部３はロボットアーム部５の先端に装着される。各駆動部６の駆動制御（回動角度の制御）を通じてロボットアーム部５内の各部の動作量が制御される。そこで、作業ロボット１は、ロボットアーム部５の駆動を通じて掴持部３を作業台８上の対象物Ｗへ接近させ、対象物Ｗの掴持、対象物Ｗを掴持したまま別の場所への移動、再度の載置の一連の動作を可能とする。

【0020】

作業ロボット１の掴持部３は、対象物Ｗを２方向から挟んで掴持する一対の爪部３ａ，３ｂを備える（図３等参照）。爪部３ａ，３ｂの動作は掴持部３の動作のための駆動部６により調整される。なお、作業ロボット１の掴持部３は図示の対象物Ｗを２方向から挟んで掴持する構成には限定されず、対象物いかんにより３方向、さらにはそれ以上の適宜としてもよい。

【0021】

また、掴持状態の対象物Ｗの鏡像を写す鏡部９が備えられる。図示では、鏡部９は作業台８の上に所定の角度及び向きにより設置されている。鏡部９の設置については、鏡像内に対象物Ｗを掴持する掴持部３が写り、かつ、当該鏡像が撮影部４により撮影可能な角度及び向きが選択される。むろん、鏡部９は作業台８に限らず、ロボット本体部２側の設置としても良い。

【0022】

掴持部３の近傍には撮影部４が備えられる。撮影部４は公知のＣＣＤカメラ、ＣＭＯＳイメージセンサ、赤外線カメラ等の機器である。撮影部４は鏡部９が写す掴持状態の対象物の鏡像を撮影する。撮影部４により直接掴持状態の対象物Ｗを撮影することは可能ではあるものの、対象物Ｗは掴持部３に隠されてしまい、後述する判定に有効かつ的確な画像を撮影することが容易ではない。そこで、鏡部９を介在させて鏡像を得ることにより掴持部３の映り込む量が減り対象物Ｗの撮影量が増やされ、判定に有効かつ的確な画像の撮影が可能となる。なお、実施形態では、鏡部９を用いることから撮影部４は単一（同一）のみで掴みずれ補正に対応することができる。

【0023】

図示においては、作業ロボット１は、処理部１０（コンピュータ）に有線または無線により接続される。処理部１０は鏡像に基づいて掴持部３に掴持されている対象物Ｗの掴持状態を判定する。なお、エッジコンピューティングとして、ロボット本体部２に処理部１０（コンピュータ）が組み込まれるようにしてもよい。

【0024】

処理部１０は、パーソナルコンピュータ（ＰＣ）、メインフレーム、ワークステーション、クラウドコンピューティングシステム等、種々の電子計算機（計算リソース）である。図示の処理部１０はパーソナルコンピュータであり、演算結果の表示のためのディスプレイ１６、その他、入力用のキーボード１７、マウス１８等が接続されている。

【0025】

図２は処理部１０の構成と機能部を示すブロック図である。処理部１０には、各種の演算実行のためのＣＰＵ１１、処理用のプログラムを記憶するＲＯＭ１２、データ等の記憶のためのＲＡＭ１３、各種のデータ及び演算結果等の記憶のための記憶部１４、さらに、Ｉ／Ｏ（インプット・アウトプットインターフェース）１５等が備えられる。Ｉ／Ｏ１５は通信（送受信）用のインターフェース、バッファ等である。Ｉ／Ｏ１５は、駆動部６との信号の送受信、撮影部４等からの信号の受信等に用いられ、ＣＰＵ１１と連携する。

【0026】

さらに図２のブロック図はＣＰＵ１１内の機能部を示す。ＣＰＵ１１の各機能部をソフトウェアにより実現する場合、ＣＰＵ１１は各機能を実現するソフトウェアであるプログラムの命令を実行することで実現する。詳細には、ＣＰＵ１１には基準像取得部１１０、作業像取得部１２０、ずれ算出部１３０、補正量設定部１４０、出力部１５０等を備える。さらに、ＣＰＵ１１には後述する鏡傾斜制御部２１０、撮影傾斜制御部２２０が必要に応じて備えられる。

【0027】

基準像取得部１１０は、作業台８の上の基準となる所定位置に載置され、その後、対象物Ｗが掴持部３により掴持されて持ち上げられたときの鏡部９に映る鏡像を基準像として取得する。

【0028】

作業像取得部１２０は、作業台８の上の作業時の載置状態の対象物Ｗを掴持部３により掴持したときの鏡像を作業像として取得する。

【0029】

図３の部分拡大模式図は、掴持部３による対象物Ｗの掴持状態の鏡像を表す。対象物Ｗは、掴持部３を構成する一対の爪部３ａ，３ｂにより挟持されている。図示では、掴持部３を動作する駆動部６とロボットアーム部５は省略されている。図示の例では、掴持部３（爪部３ａ，３ｂ）は対象物Ｗの掴持の予定されている位置に当接しており、想定どおりの適切な掴持状態である。そこで、図示の掴持部３（爪部３ａ，３ｂ）による対象物Ｗの掴持状態の鏡像が基準像となる。すなわち、今後実行される掴持部３による対象物Ｗの掴持について、常に図３の掴持状態の鏡像と同様の掴持状態が維持されれば良い。

【0030】

基準像取得部１１０は、いわゆる今後実行される掴持状態の基準となる基準像を取得する。この前提において、作業像取得部１２０は、毎回の掴持部３による対象物Ｗの掴持状態の鏡像を作業像として逐次取得する。

【0031】

それぞれの鏡像については、撮影画像のそのままを画像データとして保存することは可能である。しかし、鏡像中に映り込んでいる掴持部３、ロボットアーム部５等はむしろ掴持状態の判断に影響を与える外乱要因となり得る。そこで、掴持部３により掴持すべき対象物Ｗのみが撮影した鏡像から抽出され、対象物Ｗの大きさ、輪郭、形状等が画像データとして認識される。

【0032】

図４の模式図は撮影した鏡像からの対象物Ｗの抽出の状態を表す。図４（Ａ）の模式図は、前出の図３中の対象物Ｗの輪郭及び領域を強調するために対象物Ｗに着色（斜線表記）した状態を表す。図４（Ｂ）は撮影した鏡像より対象物Ｗの底面側に正対するように画像を変更した状態の模式図である。同様に対象物Ｗに着色（斜線表記）されている。図４では、対象物Ｗと掴持部３との関係が把握可能であることから基準像（マスター画像）となる。図示では、想定どおりの適切な掴持状態の対象物Ｗが表されている。

【0033】

ずれ算出部１３０は、基準像中の対象物Ｗと作業像中の対象物Ｗとの間の対象物Ｗの位置ずれ量を算出する。基準像に基づいて、各回の撮影を通じて取得される作業像が適正であるか否かが判定される。具体的には、基準像中の対象物Ｗと掴持部３との間における位置関係からの、作業像中の対象物Ｗと掴持部３との位置関係のずれが判明する。なお、作業像の撮影に際しては、基準像の撮影時と同様のロボットアーム部５の動作、時間（撮影タイミング）として実行される。

【0034】

補正量設定部１４０は、位置ずれ量に基づいて基準像を取得したときのロボットアーム部５を駆動させる駆動部６の駆動量から新たにロボットアーム部５を駆動させる駆動部６の駆動量を補正駆動量として設定する。

【0035】

図５の模式図は不適切な掴持部３による対象物Ｗの掴持状態の作業像の鏡像を表す。図５（Ａ）の模式図は対象物Ｗを表す。図示では爪部３ｂは省略されている。図５（Ｂ）は撮影した作業像の鏡像より対象物Ｗの底面側に正対するように画像を変更した状態の模式図である。特に、図５においては、基準像（マスター画像）における対象物Ｗｉ（対象物イメージ像）が破線により表示され、実際の掴持状態の対象物Ｗと比較可能に表示されている。

【0036】

そこで、基準像中における対象物Ｗｉ（対象物イメージ像）と、実際の作業像中の掴持状態の対象物Ｗとの間の比較から位置ずれ量Ｚｄ（図中の矢印参照）が算出される。位置ずれ量は一方向に限らず対象物Ｗの形状に合わせて複数方向とすることができる。当該位置ずれ量Ｚｄが生じているため、基準像の取得時に設定されたロボットアーム部５の動作とすると、実際の作業像中の掴持状態の対象物Ｗは、目標とする載置位置からずれた位置に載置されることになる。

【0037】

このため、位置ずれ量Ｚｄを考慮して、ロボットアーム部５を駆動させる駆動部６の駆動量を、基準像を取得したときのロボットアーム部５を駆動させる駆動部６の駆動量から必要量が補正されて補正駆動量が設定される。そして、補正駆動量を含めてロボットアーム部５を駆動させる駆動部６の駆動量は調整され、位置ずれ量Ｚｄが生じている実際の作業像中の掴持状態の対象物Ｗは、位置ずれ量Ｚｄを考慮した補正駆動量に基づいて目標とする本来の載置位置に載置される。ロボットアーム部５には駆動部６は複数装備されており、位置ずれ量Ｚｄに応じて個々の駆動部６に最適な補正駆動量が設定される。なお、位置ずれ量Ｚｄには、所定範囲の閾値が設定されてもよい。基準像と作業像との比較から、所定範囲の位置ずれ量に収まっていれ特段作業に支障なしとして進めることができる。

【0038】

上記についてまとめると、補正量設定部１４０は、位置ずれ量Ｚｄに基づいてロボットアーム部５を駆動させる駆動部６の駆動量を、基準像を取得したときのロボットアーム部５を駆動させる駆動部６の駆動量から所定の必要量（差分量）として算出することができる。そして、必要量（差分量）を、基準像を取得したときのロボットアーム部５を駆動させる駆動部６の駆動量に組み合わせる補正により補正駆動量を設定することとなる。

【0039】

加えて、位置ずれ量Ｚｄが算出されて明らかになる場合、次の制御が含められてもよい。例えば１つ目として、実際の作業像中の掴持状態の対象物Ｗの移動はいったん中止され、掴持状態の対象物Ｗは掴持部３により掴持前の作業台８上の位置に載置される。そして、対象物Ｗは位置ずれ量Ｚｄを考慮して作業台８上において掴持部３（ロボットアーム部５）を通じて、本来の掴持のための適正な位置に移動される。その上で、再度作業台８から対象物Ｗは掴持部３により掴持される。２つ目として、実際の作業像中の掴持状態の掴持状態の対象物Ｗの移動はいったん中止され、掴持状態の対象物Ｗは掴持部３により、位置ずれ量Ｚｄが考慮されて作業台８上の位置に載置され直される。そして、再度作業台８から対象物Ｗは掴持部３により掴持される。３つ目として、実際の作業像中の掴持状態の対象物Ｗの移動はいったん中止され、掴持状態の対象物Ｗは掴持部３により掴持前の作業台８上の位置に載置される（戻される）。そして、掴持部３（ロボットアーム部５）は位置ずれ量Ｚｄを考慮して、作業台８に戻されて載置された対象物Ｗは再度掴持部３により掴持される。

【0040】

上記の１つ目の制御についてまとめると、ずれ算出部１３０が所定の位置ずれ量Ｚｄを算出した場合、作業ロボット１は、現在掴持状態の対象物Ｗの移動をいったん中止して掴持状態の対象物Ｗを掴持部３により掴持前の作業台８の上の位置に載置しなおす。そして、作業ロボット１は位置ずれ量Ｚｄに基づいて掴持部３のみ、または掴持部３とロボットアーム部５の双方により対象物Ｗの位置を本来あるべき適正な位置（基準像を取得したときのロボットアーム部５の位置）まで移動させ、再度対象物Ｗを掴持部３により掴持する。なお、後出の作業ロボット１ｘにおいても同様の動作が可能である。むろん、２つ目及び３つ目の制御も同様にまとめられる。

【0041】

出力部１５０は、図４のような撮影部４の撮影する鏡像、図５の対象物Ｗに着色した画像（基準像、対象物イメージ像）、位置ずれ量の表示等のディスプレイ１６への出力等に関する必要な出力が行われる。一連の説明のとおり、ロボットアーム部５に備えられる撮影部４は１個であり、鏡部９も１枚に数量は抑えられるため、設備導入のコストは軽減される。併せて、作業ロボット１における撮影に関する設置場所が縮小され、また、撮影部４が１個であることから、画像処理自体も簡素化される。

【0042】

図６の模式図は他の実施形態の作業ロボット１ｘを表す。この作業ロボット１ｘには車輪部７がロボット本体部２に装着され、作業ロボット１ｘは自走式とされている。作業ロボット１ｘは施設内の生産ライン（図示せず）の配置変更に伴い、容易に移動可能となる。そこで、作業ロボット１ｘでは、鏡部９はロボット本体部２に装着される。そこで、作業ロボット１ｘと鏡部９は一緒に移動可能である。むろん、図１に開示の作業ロボット１においても鏡部９はロボット本体部２に装着されていてもよい。

【0043】

図７は撮影部４と鏡部９の位置関係を示す模式図である。図７において各図共通でロボットアーム部５の先端に装着された掴持部３にカメラアーム５ａが備えられ、撮影部４はカメラアーム５ａに備えられる。図中、撮影部４には撮影傾斜変更部４ｍ、鏡部９には鏡傾斜変更部９ｍが備えられる。図７（Ａ）の模式図では、鏡部９は撮影部４の延長線上に配置される。図示の配置状態では対象物Ｗを写す鏡像は斜めとなる。この場合、対象物Ｗを傾斜した状態として基準像は形成される。あるいは、鏡像から対象物Ｗの傾斜を補正して基準像は形成される。

【0044】

図７（Ｂ）の模式図では、鏡部９は、撮影部４と掴持部３の双方から等しい位置に配置される。図示の配置状態では対象物Ｗを写す鏡像の歪みは小さくなる。ただし、鏡部９の設置場所の制約が大きくなる。図７（Ｃ）の模式図では、鏡部９は複数枚設置される。図示では、鏡部９は撮影部４の延長線上に１枚、さらに、掴持部３の延長線上に１枚と計２枚設置され、２枚の鏡部９同士は対向している。このため、撮影部４には、歪みの少ない対象物Ｗの鏡像が撮影可能となる。

【0045】

さらに、図７では、撮影傾斜変更部４ｍにより撮影部４の角度及び向きが調整可能である。また鏡傾斜変更部９ｍにより鏡部９の角度及び向きが調整可能である。撮影傾斜変更部４ｍと鏡傾斜変更部９ｍには、サーボモータ、ステッピングモータ等が使用される。なお、撮影傾斜変更部４ｍと鏡傾斜変更部９ｍは、必要により備えられる構成である。例えば、図７（Ｃ）では撮影傾斜変更部４ｍと鏡傾斜変更部９ｍは省略してもよい。

【0046】

処理部１０は、鏡傾斜変更部９ｍを制御する鏡傾斜制御部２１０を備え、撮影傾斜変更部４ｍを制御する撮影傾斜制御部２２０を備える。そこで、鏡傾斜制御部２１０と撮影傾斜制御部２２０は、図７に見られる鏡部９、撮影部４、掴持部３の位置関係から、最適な鏡像を撮影するための鏡部９及び撮影部４の角度及び向きに制御する。

【0047】

図８のフローチャートは処理部１０（ＣＰＵ１１）における作業ロボットの掴持状態の判定方法の全体の流れであり、基準像取得ステップ（Ｓ１１０）、作業像取得ステップ（Ｓ１２０）、ずれ算出ステップ（Ｓ１３０）、補正量設定ステップ（Ｓ１４０）、出力ステップ（Ｓ１５０）の各種ステップを備える。むろん、処理部１０自体の可動に必要な各種ステップは当然に含まれる。

【0048】

図８のフローチャートは出力ステップ（Ｓ１５０）を含む構成としている。図８の構成に代えて出力ステップ（Ｓ１５０）が省略される構成としてもよい。また、基準像取得ステップ（Ｓ１１０）は、毎回の測定時に必ず実行する処理ではなく、いったん所定の基準像の取得が行われた後は、対象物Ｗの大きさ、形状等に変更がない限り省略は可能である。

【0049】

基準像取得機能は、対象物Ｗを掴持部３により掴持したときの鏡像を基準像として取得する（Ｓ１１０；基準像取得ステップ）。作業像取得機能は、作業時の載置状態の対象物Ｗを掴持部３により掴持したときの鏡像を作業像として取得する（Ｓ１２０；作業像取得ステップ）。ずれ算出機能は、基準像中の対象物Ｗと作業像中の対象物Ｗとの間の対象物Ｗの位置ずれ量を算出する（Ｓ１３０；ずれ算出ステップ）。補正量設定機能は、位置ずれ量に基づいて基準像を取得したときのロボットアーム部５を駆動させる駆動部６の駆動量から新たにロボットアーム部５を駆動させる駆動部６の駆動量を補正駆動量として設定する（Ｓ１４０；補正量設定ステップ）。出力機能は、必要情報を出力する（Ｓ１５０；出力ステップ）。

【0050】

さらに、処理部１０（ＣＰＵ１１）における処理として、図９のフローチャートの処理が含められる。図９（Ａ）のとおり、鏡傾斜制御機能は、鏡傾斜変更部９ｍを制御する（Ｓ２１０；鏡傾斜制御ステップ）。図９（Ｂ）のとおり、撮影傾斜制御機能は、撮影傾斜変更部４ｍを制御する（Ｓ２２０；撮影傾斜制御ステップ）。

【0051】

上述した本発明のコンピュータプログラムは、プロセッサが読み取り可能な記録媒体に記録されていてよく、記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。

【0052】

なお、上記コンピュータプログラムは、例えば、ActionScript、JavaScript（登録商標）などのスクリプト言語、Objective-C、Java（登録商標）などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装できる。

【符号の説明】

【0053】

１，１ｘ 作業ロボット
２ ロボット本体部
３ 掴持部
４ 撮影部
５ ロボットアーム部
６ 駆動部
９ 鏡部
１０ 処理部（コンピュータ）
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ 記憶部
１５ インプット・アウトプットインターフェース
１６ ディスプレイ
１７ キーボード
１８ マウス
４ｍ 撮影傾斜変更部
９ｍ 鏡傾斜変更部
Ｗ 対象物
Ｗｉ 基準像中における対象物イメージ像
Ｚｄ 位置ずれ量
１１０ 基準像取得部
１２０ 作業像取得部
１３０ ずれ算出部
１４０ 補正量設定部
１５０ 出力部
２１０ 鏡傾斜制御部
２２０ 撮影傾斜制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】