特開2022-186063ロボットハンド制御装置、ピッキングシステム、ロボットハンド制御方法およびロボットハンド制御プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022186063
(43)【公開日】2022-12-15
(54)【発明の名称】ロボットハンド制御装置、ピッキングシステム、ロボットハンド制御方法およびロボットハンド制御プログラム
(51)【国際特許分類】
B25J 13/08 20060101AFI20221208BHJP
【ＦＩ】
B25J13/08 A
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021094088
(22)【出願日】2021-06-04
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100109313
【弁理士】
【氏名又は名称】机 昌彦
(74)【代理人】
【識別番号】100149618
【弁理士】
【氏名又は名称】北嶋 啓至
(72)【発明者】
【氏名】戸田 幸宏
(72)【発明者】
【氏名】下田 和哉
(72)【発明者】
【氏名】西村 望
(72)【発明者】
【氏名】山形 真司
【テーマコード（参考）】
3C707
【Ｆターム（参考）】
3C707AS04
3C707BS10
3C707DS01
3C707ES03
3C707FS01
3C707JU12
3C707KS03
3C707KS04
3C707KT03
3C707KT06
3C707KT18
3C707LV07
(57)【要約】
【課題】作業者によるロボットハンド操作の作業時間を短縮することができるロボットハンド制御装置等を提供する。
【解決手段】ロボットハンド制御装置は、ピッキング対象物の２次元画像を取得する２次元画像取得手段と、ピッキング対象物の３次元データを取得する３次元データ取得手段と、２次元画像と３次元データの対応関係を示す対応テーブルを生成するデータ対応付け手段と、表示装置に２次元画像を表示させる制御行う２次元画像表示制御手段と、２次元画像上のピッキング位置の指定を受け付けるピッキング位置受け付け手段と、２次元画像上のピッキング位置に対応する３次元ピッキング位置を取得する３次元ピッキング位置取得手段と、３次元ピッキング位置を基準として、ロボットハンドに予め設定されたピッキング動作を行わせる制御を行うピッキング動作制御手段と、を有する。
【選択図】 図１
【解決手段】ロボットハンド制御装置は、ピッキング対象物の２次元画像を取得する２次元画像取得手段と、ピッキング対象物の３次元データを取得する３次元データ取得手段と、２次元画像と３次元データの対応関係を示す対応テーブルを生成するデータ対応付け手段と、表示装置に２次元画像を表示させる制御行う２次元画像表示制御手段と、２次元画像上のピッキング位置の指定を受け付けるピッキング位置受け付け手段と、２次元画像上のピッキング位置に対応する３次元ピッキング位置を取得する３次元ピッキング位置取得手段と、３次元ピッキング位置を基準として、ロボットハンドに予め設定されたピッキング動作を行わせる制御を行うピッキング動作制御手段と、を有する。
【選択図】 図１
【特許請求の範囲】
【請求項1】
ピッキング対象物の２次元画像を取得する２次元画像取得手段と、
前記ピッキング対象物の３次元データを取得する３次元データ取得手段と、
前記２次元画像と前記３次元データとの対応付けを行い、前記２次元画像と前記３次元データの対応関係を示す対応テーブルを生成するデータ対応付け手段と、
前記２次元画像を表示する制御を表示装置に行う２次元画像表示制御手段と、
前記２次元画像上でピッキング位置の指定を受け付けるピッキング位置受け付け手段と、
前記対応テーブルに基づいて、前記２次元画像上の前記ピッキング位置に対応する３次元座標を３次元ピッキング位置として取得する３次元ピッキング位置取得手段と、
前記３次元ピッキング位置を基準として、予め設定されたピッキング動作をロボットハンドに行わせる制御を行うピッキング動作制御手段と、
を有することを特徴とするロボットハンド制御装置。
前記ピッキング対象物の３次元データを取得する３次元データ取得手段と、
前記２次元画像と前記３次元データとの対応付けを行い、前記２次元画像と前記３次元データの対応関係を示す対応テーブルを生成するデータ対応付け手段と、
前記２次元画像を表示する制御を表示装置に行う２次元画像表示制御手段と、
前記２次元画像上でピッキング位置の指定を受け付けるピッキング位置受け付け手段と、
前記対応テーブルに基づいて、前記２次元画像上の前記ピッキング位置に対応する３次元座標を３次元ピッキング位置として取得する３次元ピッキング位置取得手段と、
前記３次元ピッキング位置を基準として、予め設定されたピッキング動作をロボットハンドに行わせる制御を行うピッキング動作制御手段と、
を有することを特徴とするロボットハンド制御装置。
【請求項2】
前記ロボットハンドが複数の把持爪を有し、
前記ピッキング位置受け付け手段が、少なくとも２つの前記ピッキング位置を受け付け、
前記ピッキング動作が、
少なくとも２つの前記ピッキング位置の間隔より広くなるように、把持の際に対となる前記把持爪の間隔を広げ、
前記ピッキング対象物が複数の前記把持爪の間に位置するように、前記把持爪を移動させ、
把持の際に対となる前記把持爪の間隔を狭めて、複数の前記把持爪で前記ピッキング対象物を把持する動作である、
ことを特徴とする請求項１に記載のロボットハンド制御装置。
前記ピッキング位置受け付け手段が、少なくとも２つの前記ピッキング位置を受け付け、
前記ピッキング動作が、
少なくとも２つの前記ピッキング位置の間隔より広くなるように、把持の際に対となる前記把持爪の間隔を広げ、
前記ピッキング対象物が複数の前記把持爪の間に位置するように、前記把持爪を移動させ、
把持の際に対となる前記把持爪の間隔を狭めて、複数の前記把持爪で前記ピッキング対象物を把持する動作である、
ことを特徴とする請求項１に記載のロボットハンド制御装置。
【請求項3】
前記３次元データに基づいて、前記ピッキング位置に対応する前記ピッキング対象物の第１の表面の傾きを算出する傾き算出手段を有する、
ことを特徴とする請求項１または２に記載のロボットハンド制御装置。
ことを特徴とする請求項１または２に記載のロボットハンド制御装置。
【請求項4】
前記ロボットハンドが吸着手段を有し、
前記ピッキング動作が、
前記吸着手段で前記第１の表面を吸着する動作を含む、
ことを特徴とする請求項３に記載のロボットハンド制御装置。
前記ピッキング動作が、
前記吸着手段で前記第１の表面を吸着する動作を含む、
ことを特徴とする請求項３に記載のロボットハンド制御装置。
【請求項5】
前記ピッキング動作が、
前記第１の表面に垂直な方向から、前記吸着手段を前記第１の表面に近接させる動作を含む
ことを特徴とする請求項４に記載のロボットハンド制御装置。
前記第１の表面に垂直な方向から、前記吸着手段を前記第１の表面に近接させる動作を含む
ことを特徴とする請求項４に記載のロボットハンド制御装置。
【請求項6】
ピッキング対象物の２次元画像を取得する２次元画像取得手段と、前記ピッキング対象物の３次元データを取得する３次元データ取得手段と、前記２次元画像と前記３次元データとの対応付けを行い、前記２次元画像と前記３次元データの対応関係を示す対応テーブルを生成するデータ対応付け手段と、前記２次元画像を表示する制御を表示装置に行う２次元画像表示制御手段と、前記２次元画像上のピッキング位置の指定を受け付けるピッキング位置受け付け手段と、前記対応テーブルに基づいて、前記２次元画像上の前記ピッキング位置に対応する３次元座標を３次元ピッキング位置として取得する３次元ピッキング位置取得手段と、前記３次元ピッキング位置を基準として、予め設定されたピッキング動作をロボットハンドに行わせる制御を行うピッキング動作制御手段と、を有するロボットハンド制御装置と、
前記ロボットハンド制御装置に制御される前記ロボットハンドと、
前記ロボットハンド制御装置に制御される２次元画像表示装置と、
前記ピッキング位置の入力を受け付けるピッキング位置入力装置と、
を有することを特徴とするピッキングシステム。
前記ロボットハンド制御装置に制御される前記ロボットハンドと、
前記ロボットハンド制御装置に制御される２次元画像表示装置と、
前記ピッキング位置の入力を受け付けるピッキング位置入力装置と、
を有することを特徴とするピッキングシステム。
【請求項7】
前記ロボットハンドが複数の把持爪を有し、
前記ピッキング位置受け付け手段が、少なくとも２つの前記ピッキング位置を受け付け
前記ピッキング動作が、
少なくとも２つの前記ピッキング位置の間隔より広くなるように、把持の際に対となる前記把持爪の間隔を広げ 、
前記ピッキング対象物が複数の前記把持爪の間に位置するように、前記把持爪を移動させ 、
把持の際に対となる複数の前記把持爪の間隔を狭めて、複数の前記把持爪で前記ピッキング対象物を把持する動作である、
ことを特徴とする請求項６に記載のピッキングシステム。
前記ピッキング位置受け付け手段が、少なくとも２つの前記ピッキング位置を受け付け
前記ピッキング動作が、
少なくとも２つの前記ピッキング位置の間隔より広くなるように、把持の際に対となる前記把持爪の間隔を広げ 、
前記ピッキング対象物が複数の前記把持爪の間に位置するように、前記把持爪を移動させ 、
把持の際に対となる複数の前記把持爪の間隔を狭めて、複数の前記把持爪で前記ピッキング対象物を把持する動作である、
ことを特徴とする請求項６に記載のピッキングシステム。
【請求項8】
前記３次元データに基づいて、前記ピッキング位置に対応する前記ピッキング対象物の第１の表面の傾きを算出する傾き算出手段を有する、
ことを特徴とする請求項６または７に記載のピッキングシステム。
ことを特徴とする請求項６または７に記載のピッキングシステム。
【請求項9】
ピッキング対象物の２次元画像を取得し、
前記ピッキング対象物の３次元データを取得し、
前記２次元画像と前記３次元データとの対応付けを行い、前記２次元画像と前記３次元データの対応関係を示す対応テーブルを生成し、
前記２次元画像を表示する制御を表示装置に行い、
前記２次元画像上でピッキング位置の指定を受け付け、
前記対応テーブルに基づいて、前記２次元画像上の前記ピッキング位置に対応する３次元座標を３次元ピッキング位置として取得し、
前記３次元ピッキング位置を基準として、ロボットハンドに予め設定されたピッキング動作を行わせる制御を行う、
を有することを特徴とするロボットハンド制御方法。
前記ピッキング対象物の３次元データを取得し、
前記２次元画像と前記３次元データとの対応付けを行い、前記２次元画像と前記３次元データの対応関係を示す対応テーブルを生成し、
前記２次元画像を表示する制御を表示装置に行い、
前記２次元画像上でピッキング位置の指定を受け付け、
前記対応テーブルに基づいて、前記２次元画像上の前記ピッキング位置に対応する３次元座標を３次元ピッキング位置として取得し、
前記３次元ピッキング位置を基準として、ロボットハンドに予め設定されたピッキング動作を行わせる制御を行う、
を有することを特徴とするロボットハンド制御方法。
【請求項10】
ピッキング対象物の２次元画像を取得する処理と、
前記ピッキング対象物の３次元データを取得する処理と、
前記２次元画像と前記３次元データとの対応付けを行い、前記２次元画像と前記３次元データの対応関係を示す対応テーブルを生成する処理と、
前記２次元画像を表示する制御を表示装置に行う処理と、
前記２次元画像上でピッキング位置の指定を受け付ける処理と、
前記対応テーブルに基づいて、前記２次元画像上の前記ピッキング位置に対応する３次元座標を３次元ピッキング位置として取得する処理と、
前記３次元ピッキング位置を基準として、ロボットハンドに予め設定されたピッキング動作を行わせる制御を行う処理と、
をコンピュータに実行させることを特徴とするロボットハンド制御プログラム。
前記ピッキング対象物の３次元データを取得する処理と、
前記２次元画像と前記３次元データとの対応付けを行い、前記２次元画像と前記３次元データの対応関係を示す対応テーブルを生成する処理と、
前記２次元画像を表示する制御を表示装置に行う処理と、
前記２次元画像上でピッキング位置の指定を受け付ける処理と、
前記対応テーブルに基づいて、前記２次元画像上の前記ピッキング位置に対応する３次元座標を３次元ピッキング位置として取得する処理と、
前記３次元ピッキング位置を基準として、ロボットハンドに予め設定されたピッキング動作を行わせる制御を行う処理と、
をコンピュータに実行させることを特徴とするロボットハンド制御プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、ロボットハンド制御装置等に関する。
【背景技術】
【0002】
近年、ピッキングシステムが開発されている。このピッキングシステムでは、作業者がロボットハンドを遠隔操作して、対象物のピックアップやプレースを行う。このようなピッキングシステムには、２次元画像で対象物とロボットハンドとをモニターしながら操作を行うものが多い。しかし、２次元画像では、作業者が奥行き方向の距離感を把握しにくいため、遠隔操作が作業者にとって難しいという問題があった。そこで、遠隔操作を容易にしようとするピッキングシステムが提案されている（例えば、特許文献１、２）。
【0003】
例えば、特許文献１の記載の技術では、右目用の画像と左目用の画像を別々に撮影して、作業者に３次元画像を提供することで直感的な操作を可能としている。また、特許文献２に記載の技術では、参照図形を実際の作業環境の画像に重ねて、モニター画面上に提示する。作業者は、モニター画面を見ながら、実際の作業環境の画像に写る物体の映像と参照図形とが重なるようにロボットハンドを操作する。このような操作とすることで、直観的な操作を可能にしている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００１－２３９４８３号公報
【特許文献2】特開２００３－３１１６６１号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
上記の特許文献１、２に記載の技術では、作業者の作業性を改善することができるものの、すべてのロボットハンド操作を作業者が行っている。このため、ロボットハンド操作での作業者の負担が依然として高く、作業者によるロボットハンド操作の作業時間を多く要していた。
【0006】
本発明は、上記の問題に鑑みてなされたものであり、作業者によるロボットハンド操作の作業時間を短縮することができるロボットハンド制御装置等を提供することを目的としている。
【課題を解決するための手段】
【0007】
上記の課題を解決するため、本発明のロボットハンド制御装置は、ピッキング対象物の２次元画像を取得する２次元画像取得手段と、前記ピッキング対象物の３次元データを取得する３次元データ取得手段と、前記２次元画像と前記３次元データとの対応付けを行い、前記２次元画像と前記３次元データの対応関係を示す対応テーブルを生成するデータ対応付け手段と、前記２次元画像を表示する制御を表示装置に行う２次元画像表示制御手段と、前記２次元画像上のピッキング位置の指定を受け付けるピッキング位置受け付け手段と、前記対応テーブルに基づいて、前記２次元画像上の前記ピッキング位置に対応する３次元座標を３次元ピッキング位置として取得する３次元ピッキング位置取得手段と、前記３次元ピッキング位置を基準として、予め設定されたピッキング動作をロボットハンドに行わせる制御を行うピッキング動作制御手段と、を有する。
【0008】
また、本発明のピッキングシステムは、上記のロボットハンド制御装置と、ロボットハンド制御装置に制御されるロボットハンドと、ロボットハンド制御装置に制御される表示装置と、ピッキング位置の入力を受け付ける入力装置と、を有する。
【0009】
また本発明のロボットハンド制御方法は、ピッキング対象物の２次元画像を取得し、前記ピッキング対象物の３次元データを取得し、前記２次元画像と前記３次元データとの対応付けを行い、前記２次元画像と前記３次元データの対応関係を示す対応テーブルを生成し、前記２次元画像を表示する制御を表示装置に行い、前記２次元画像上のピッキング位置の指定を受け付け、前記対応テーブルに基づいて、前記２次元画像上の前記ピッキング位置に対応する３次元座標を３次元ピッキング位置として取得し、前記３次元ピッキング位置を基準として、予め設定されたピッキング動作をロボットハンドに行わせる制御を行う。
【0010】
また本発明のロボットハンド制御プログラムは、ピッキング対象物の２次元画像を取得する処理と、前記ピッキング対象物の３次元データを取得する処理と、前記２次元画像と前記３次元データとの対応付けを行い、前記２次元画像と前記３次元データの対応関係を示す対応テーブルを生成する処理と、前記２次元画像を表示する制御を表示装置に行う処理と、前記２次元画像上のピッキング位置の指定を受け付け前記２次元画像の中でピッキング位置の指定を受け付ける処理と、前記対応テーブルに基づいて、前記２次元画像上の前記ピッキング位置に対応する３次元座標を３次元ピッキング位置として取得する処理と、前記３次元ピッキング位置を基準として、予め設定されたピッキング動作をロボットハンドに行わせる制御を行う処理と、をコンピュータに実行させる。
【発明の効果】
【0011】
本発明の効果は、作業者によるロボットハンド操作の作業時間を短縮することができるロボットハンド制御装置等を提供できることである。
【図面の簡単な説明】
【0012】
【図1】第１の実施形態のロボットハンド制御装置を示すブロック図である。
【図2】第１の実施形態のロボットハンド制御装置の動作を示すフローチャートである。
【図3】第２の実施形態のロボットハンド制御装置を用いたピッキングシステムを示すブロック図である。
【図4】第２の実施形態のロボットハンド制御装置を示すブロック図である。
【図5】第２の実施形態のロボットハンド制御装置を用いたピッキングシステムの一例を示す模式図である。
【図6】第２の実施形態のピッキングシステムの構成の具体的な一例を示す模式図である。
【図7】第２の実施形態のピッキングシステムの構成の具体的な別の一例を示す模式図である。
【図8】第２の実施形態のロボットハンドの動作の具体例の第１の部分を示す模式図である。
【図9】第２の実施形態のロボットハンドの動作の具体例の第２の部分を示す模式図である。
【図10】第２の実施形態のロボットハンドの動作の具体例の第３の部分を示す模式図である。
【図11】第２の実施形態のロボットハンドの動作の具体例を示すフローチャートである。
【図12】第３の実施形態のロボットハンド制御装置を示すブロック図である。
【図13】第３の実施形態のロボットハンドの動作の具体例を示す模式図である。
【図14】第３の実施形態のロボットハンドの動作の具体例を示すフローチャートである。
【図15】第４の実施形態のロボットハンドの動作の具体例を示す模式図である。
【図16】第４の実施形態のロボットハンドの動作の具体例を示すフローチャートである。
【発明を実施するための形態】
【0013】
以下、図面を参照しながら、本発明の実施形態を詳細に説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお各図面の同様の構成要素には同じ番号を付し、説明を省略する場合がある。
【0014】
（第１の実施形態）
図１は第１の実施形態のロボットハンド制御装置１０を示すブロック図である。ロボットハンド制御装置１０は、２次元画像取得手段１と、３次元データ取得手段２と、データ対応付け手段３と、２次元画像表示制御手段４と、ピッキング位置受け付け手段５と、を有する。また、ロボットハンド制御装置１０は、３次元ピッキング位置取得手段６と、ピッキング動作制御手段７と、を有する。
図１は第１の実施形態のロボットハンド制御装置１０を示すブロック図である。ロボットハンド制御装置１０は、２次元画像取得手段１と、３次元データ取得手段２と、データ対応付け手段３と、２次元画像表示制御手段４と、ピッキング位置受け付け手段５と、を有する。また、ロボットハンド制御装置１０は、３次元ピッキング位置取得手段６と、ピッキング動作制御手段７と、を有する。
【0015】
２次元画像取得手段１は、ピッキング対象物の２次元画像を取得する。３次元データ取得手段２は、ピッキング対象物の３次元データを取得する。データ対応付け手段３は、２次元画像と３次元データとの対応付けを行い、２次元画像と３次元データの対応関係を示す対応テーブルを生成する。２次元画像表示制御手段４は、２次元画像を用いた２次元画像を表示するように表示装置を制御する。ピッキング位置受け付け手段５は、２次元画像上でピッキング位置の指定を受け付ける。３次元ピッキング位置取得手段６は、対応テーブルに基づいて、２次元画像上のピッキング位置に対応する３次元座標を３次元ピッキング位置として取得する。ピッキング動作制御手段７は、３次元ピッキング位置を基準として、予め設定されたピッキング動作をロボットハンドに行わせる制御を行う。
【0016】
図２は、第１の実施形態のロボットハンド制御装置１０の動作を示すフローチャートである。このロボットハンド制御方法では、まず、ピッキング対象物の２次元画像を取得する（Ｓ１）。また、ピッキング対象物の３次元データを取得する（Ｓ２）。なおＳ１とＳ２とは順不同で良い。次に、２次元画像と３次元データとの対応付けを行い、２次元画像と３次元データとの対応を示す対応テーブルを生成する（Ｓ３）。次に、２次元画像を表示するように表示装置を制御する（Ｓ４）。次に、２次元画像上でピッキング位置の指定を受け付ける（Ｓ５）。次に、ピッキング位置に対応する３次元座標を３次元ピッキング位置として取得する（Ｓ６）。次に、３次元ピッキング位置を基準として、ロボットハンドに予め設定されたピッキング動作を行わせる制御を行う（Ｓ７）。
【0017】
また第１の実施形態のロボットハンド制御プログラムは、ピッキング対象物の２次元画像を取得する処理と、ピッキング対象物の３次元データを取得する処理をコンピュータに実行させる。また、ロボットハンド制御プログラムは、２次元画像と３次元データとの対応付けを行い、両者の対応関係を示す対応テーブルを生成する処理と、２次元画像を用いた２次元画像を表示するように表示装置を制御する処理をコンピュータに実行させる。また、ロボットハンド制御プログラムは、２次元画像上でピッキング位置の指定を受け付ける処理と、ピッキング位置に対応する３次元座標を３次元ピッキング位置として取得する処理とをコンピュータに実行させる。そして、ロボットハンド制御プログラムは、３次元ピッキング位置を基準として予め設定されたピッキング動作をロボットハンドに行わせる制御を行う処理をコンピュータに実行させる。
【0018】
以上、ロボットハンド制御装置１０について説明した。ロボットハンド制御装置１０は、２次元画像取得手段１と、３次元データ取得手段２と、データ対応付け手段３と、２次元画像表示制御手段４と、ピッキング位置受け付け手段５と、３次元ピッキング位置取得手段６と、ピッキング動作制御手段７と、を有する。
【0019】
２次元画像取得手段１は、ピッキング対象物の２次元画像を取得する。３次元データ取得手段２は、ピッキング対象物の３次元データを取得する。データ対応付け手段３は、２次元画像と３次元データとの対応付けを行い、２次元画像と３次元データの対応関係を示す対応テーブルを生成する。これにより、２次元画像と３次元データの対応関係を示す対応テーブルが生成され、２次元画像中の特定座標と３次元データ中の特定座標とが対応付けされる。すなわち、２次元画像中の特定座標を指定することにより、３次元データ中の特定座標を抽出することができる。
【0020】
２次元画像表示制御手段４は、２次元画像を用いた２次元画像を表示するように表示装置を制御する。ピッキング位置受け付け手段５は、２次元画像上でピッキング位置の指定を受け付ける。３次元ピッキング位置取得手段６は、対応テーブルに基づいて、２次元画像上のピッキング位置に対応する３次元座標を３次元ピッキング位置として取得する。上述の通り、２次元画像と３次元データは、対応テーブルにより、対応つけられている。このため、３次元ピッキング位置取得手段６は、２次元画像上のピッキング位置を指定することにより、２次元画像上のピッキング位置に対応する３次元座標を、３次元データから、３次元ピッキング位置として取得することができる。
【0021】
ピッキング動作制御手段７は、３次元ピッキング位置を基準として、予め設定されたピッキング動作をロボットハンドに行わせる制御を行う。このように、ピッキング動作制御手段７は、３次元ピッキング位置取得手段６により取得された３次元ピッキング位置を基準に用いる。これにより、２次元画像上のピッキング位置に対応する３次元座標を基準として、予め設定されたピッキング動作をロボットハンドに行わせる制御を行うことができる。すなわち、ピッキング動作制御手段７は、３次元ピッキング位置取得手段６が取得した３次元ピッキング位置を基準に用いることで、２次元画像上のピッキング位置に対応させ、予め設定されたピッキング動作をロボットハンドに行わせる制御を行うことができる。
【0022】
このように、第１の実施の形態におけるロボットハンド制御装置１０によれば、作業者は、２次元画像上で、ピッキング位置を指定するだけで、予め設定されたピッキング動作をロボットハンドに行わせることができる。このため、作業者によるロボットハンド操作の作業時間を短縮することができる。
【0023】
ここで、上述の通り、上記の特許文献１、２に記載の技術では、すべてのロボットハンド操作を作業者が行っていた。これに対して、第１の実施の形態におけるロボットハンド制御装置１０では、３次元ピッキング位置取得手段６が、対応テーブルに基づいて、２次元画像上のピッキング位置に対応する３次元座標を３次元ピッキング位置として取得する。このため、作業者が２次元画像上でピッキング位置が指定するだけで、２次元画像上のピッキング位置に対応する３次元座標を３次元ピッキング位置として取得することができる。このため、上記の特許文献１、２に記載の技術と比較して、作業者によるロボットハンド操作の作業負担を軽減することができ、この結果、作業者によるロボットハンド操作の作業時間を短縮することができる。
【0024】
（第２の実施形態）
図３は、第２の実施形態のロボットハンド制御装置１００を用いたピッキングシステム１０００の構成を示すブロック図である。ロボットハンド制御装置１００は、第１の実施形態のロボットハンド制御装置１０の一例である。
図３は、第２の実施形態のロボットハンド制御装置１００を用いたピッキングシステム１０００の構成を示すブロック図である。ロボットハンド制御装置１００は、第１の実施形態のロボットハンド制御装置１０の一例である。
【0025】
ピッキングシステム１０００は、ロボットハンド制御装置１００と、２次元画像表示装置２００と、ピッキング位置入力装置３００と、２次元画像撮影装置４００と、３次元データ計測装置５００と、ロボットハンド６００とを有する。２次元画像表示装置２００は、ロボットハンド制御装置１００の制御によって、ピッキング対象物の２次元画像を表示する。ピッキング位置入力装置３００は、ピッキング位置の入力を受け付ける。ここで、ピッキング対象物とは、ピッキングに対象となる物である。２次元画像撮影装置４００は、ピッキング対象物の２次元画像を撮影する。３次元データ計測装置５００は、ピッキング対象物の３次元データを計測する。ロボットハンド６００は、ロボットハンド制御装置１００の制御に従って、ピッキング対象物のピッキングを行う。
【0026】
図４は、ロボットハンド制御装置１００の詳細を示すブロック図である。ロボットハンド制御装置１００は、２次元画像取得部１１０と、３次元データ取得部１２０と、データ対応付け部１３０と、２次元画像表示制御部１４０と、を有する。また、ロボットハンド制御装置１００は、ピッキング位置受け付け部１５０と、３次元ピッキング位置取得部１６０と、ピッキング動作制御部１７０と、を有する。２次元画像取得部１１０は第１の実施形態の２次元画像取得手段１の一例であり、３次元データ取得部１２０は３次元データ取得手段２の一例であり、データ対応付け部１３０はデータ対応付け手段３の一例である。また、２次元画像表示制御部１４０は２次元画像表示制御手段４の一例であり、ピッキング位置受け付け部１５０はピッキング位置受け付け手段５の一例であり、３次元ピッキング位置取得部１６０は３次元ピッキング位置取得手段６の一例である。また、ピッキング動作制御部１７０はピッキング動作制御手段７の一例である。
【0027】
次に、ピッキングシステムの具体的な構成例について説明する。図５は、第２の実施形態のロボットハンド制御装置を用いたピッキングシステム１０００の使用例を示す模式図である。ピッキングシステム１０００は、ロボットハンド制御装置１００と、ロボットハンド６００と、２次元画像表示装置２００と、ピッキング位置入力装置３００と、を有する。なお、２次元画像表示装置２００は、たとえば、ディスプレイである。ここで、ロボットハンド制御装置１００は、コンピュータ１９０に実装されている。また、ピッキングシステム１０００は、ロボット６１０と、２次元画像撮影装置４００と、３次元データ計測装置５００と、ロボット制御装置１９１と、を有する。なお、図５の例では、２次元画像撮影装置４００がカメラ４０１とカメラ４０２を備えるステレオカメラであり、ステレオカメラが３次元データ計測装置５００にもなっている。ロボット６１０は、ロボットベース６３０に固定され、ロボットハンド６００の位置を制御するロボットアーム６２０を有している。ロボット６１０は、コンピュータ１９０に実装されたロボット制御装置１９１によって制御される。
【0028】
カメラ４０１、４０２を備えたステレオカメラは、２次元画像撮影装置４００および３次元データ計測装置５００として機能し、ピッキング対象物２０００の２次元画像と３次元データとを取得する。ここで、ピッキング対象物２０００とは、ピッキングの対象となる物である。３次元データとは、２次元画像撮影装置４００が撮影した各点の３次元座標のことである。３次元座標の基準は、例えば、ロボット６１０の原点とすることができる。
【0029】
ピッキングシステム１０００のロボットハンド制御装置１００は、上述の通り、図５を参照して説明したように、２次元画像取得部１１０と、３次元データ取得部１２０と、データ対応付け部１３０と、２次元画像表示制御部１４０と、を有している。ロボットハンド制御装置１００は、また、ピッキング位置受け付け部１５０と、３次元ピッキング位置取得部１６０と、ピッキング動作制御部１７０とを有している。そして、２次元画像取得部１１０は、ピッキング対象物２０００の２次元画像を取得する。３次元データ取得部１２０は、ピッキング対象物２０００の３次元データを取得する。データ対応付け部１３０は、取得した２次元画像と３次元データとの対応付けを行い、２次元画像と３次元データの対応関係を示す対応テーブルを生成する。
【0030】
また、ピッキング位置受け付け部１５０は、２次元画像上のピッキング位置の指定を受け付ける。３次元ピッキング位置取得部１６０は、前記対応テーブルに基づいて、前記２次元画像上の前記ピッキング位置に対応する３次元座標を３次元ピッキング位置として取得する。ピッキング動作制御部１７０は、３次元ピッキング位置を基準として、予め設定されたピッキング動作をロボットハンドに行わせる制御を行う。ロボットハンド６００は、ロボットハンド制御装置１００に制御される。２次元画像表示装置２００は、ロボットハンド制御装置１００に制御され、２次元画像を表示する。ピッキング位置入力装置３００は、作業者の操作によりピッキング位置の入力を受け付ける。
【0031】
作業者がピッキングシステム１０００を操作して、遠隔操作でピッキング対象物２０００のピッキングを行う場合、ピッキング位置入力装置３００を用いて、２次元画像表示装置２００の画像上で、ピッキング位置を指定する。図５では、２つのピッキング位置ｐ１、ピッキング位置ｐ２を指定する例を示している。これは、図５のロボットハンド６００が、２つの把持爪６０１と把持爪６０２とを有しているためであるが、その理由については後述する。ロボット６１０とロボットアーム６２０は、ロボット制御装置１９１に制御され、ロボットハンド６００の位置を制御する。なお、ここでは、２次元画像と３次元データの両方をカメラ４０１と４０２を備えたステレオカメラで取得するものとしたが、２次元画像を種々の撮像装置で撮影し、３次元データを飛行時間法、縞投影法、共焦点法など別の方法で取得しても良い。このように、２次元画像と３次元データとを別々の機器で取得する場合は、両者の対応付けが必要になるが、これは、一般的な技術で実現することが可能である。
【0032】
第２の実施形態のピッキングシステムの構成の具体的な一例を示す模式図である。また、図７は第２の実施形態のピッキングシステムの構成の具体的な別の一例を示す模式図である。ステレオカメラを構成するカメラ４０１、４０２は、図６に示すようにロボットベース６３０と同じ基準面に固定されていても良く、図７に示すように、ロボットアーム６２０に固定されていても良い。ロボットアーム６２０に固定されている場合は、取得時の２次元画像と３次元データの基準がロボットアーム６２０になるが、ロボットアーム６２０の座標は既知なので、ロボットベース６３０基準の座標に変換することが可能である。
【0033】
次に、図５の例のピッキングシステム１０００のロボットハンド６００で、ピッキング対象物２０００をピッキングする予め設定されたピッキング動作の一例について説明する。ロボットハンド６００は、２つの把持爪６０１と把持爪６０２とを有し、これらが対となってピッキング対象物２０００を挟むことで把持する。第２の実施形態のロボットハンドの動作の具体例の第１の部分を示す模式図である。上記の予め設定されたピッキング動作では、まず、図８に示すように、ピッキング対象物２０００から所定距離だけ離れた位置に、ロボットハンド６００を移動させる。なお、この移動は、図示しないロボットアームによって実現される。ピッキング対象物２０００のロボットハンド６００に対向する面には、ピッキング位置ｐ１、ｐ２が設定されている。このｐ１、ｐ２はロボット６１０の３次元座標として設定されているため、仮想的なものである。そして、把持の際に対となる２つの把持爪６０１と把持爪６０２の間隔を、ピッキング位置ｐ１とｐ２の間隔より広い幅に設定する。
【0034】
図９は第２の実施形態のロボットハンドの動作の具体例の第２の部分を示す模式図である。次に、ロボットハンド制御装置１００は、図９に示すように、ピッキング位置ｐ１、ｐ２が、ピッキング対象物２０００が把持の際に対となる２つの把持爪６０１と把持爪６０２の間に位置するように把持爪６０１と把持爪６０２を移動させる。
【0035】
図１０は、第２の実施形態のロボットハンドの動作の具体例の第３の部分を示す模式図である。次に、図１０に示すように、ロボットハンド制御装置１００は、把持爪６０１と把持爪６０２の間隔を狭め、ピッキング対象物２０００を把持させる。
【0036】
以上のピッキングシステム１０００におけるロボットハンド制御方法では、ロボットハンド制御装置１００を制御する。また、ピッキング動作については、予めプログラムなどによって設定されている。図１１は、第２の実施形態のロボットハンドの動作の具体例を示すフローチャートである。図１１の予め設定されたピッキング動作では、ロボットハンド６００が、複数の把持爪６０１と把持爪６０２を有し、ピッキング位置受け付け手段が、少なくとも２つのピッキング位置ｐ１、ｐ２を受け付けていることが前提となっている。ピッキング位置ｐ１、ｐ２は、作業者が操作するピッキング位置入力装置３００によって、２次元画像表示装置２００の２次元画像上で設定される。ピッキング位置ｐ１、ｐ２は、例えば、ピッキング対象物２０００を把持しやすい位置に設定される。この把持しやすい位置とは、例えば、ピッキング対象物２０００の長さ方向の中央近辺の、幅方向の両端部である。
【0037】
次に、予め設定されたピッキング動作について、図１１を参照して、説明する。まず、ピッキング位置から所定距離だけ離れた位置にロボットハンド６００を移動させる（Ｓ１０１）。次に、２つのピッキング位置ｐ１、ｐ２の間隔より広くなるように、把持の際に対となる複数の把持爪６０１と把持爪６０２の間隔を広げる（Ｓ１０２）。次に、ピッキング対象物２０００が、複数の把持爪６０１と把持爪６０２の間に位置するように、把持爪６０１と把持爪６０２を移動させる（Ｓ１０３）。次に、把持爪６０１と把持爪６０２の間隔を狭める動作によって、ピッキング対象物２０００を把持する（Ｓ１０４）。
【0038】
以上説明したように、上記の具体例では、ピッキングシステム１０００のロボットハンド６００が複数の把持爪６０１、６０２を有している。そして、ピッキング位置受け付け手段が、少なくとも２つのピッキング位置を受け付ける。これにより、例えば複数の把持爪６０１、６０２がピッキング対象物２０００を把持しやすいピッキング位置を指定することができる。
【0039】
また、予め設定されたピッキング動作では、ロボットハンド制御装置１００が、少なくとも２つのピッキング位置の間隔より広くなるように、把持の際に対となる把持爪６０１、６０２の間隔を広げる制御を行う。次いで、ロボットハンド制御装置１００が、ピッキング対象物２０００が複数の把持爪６０１、６０２の間に位置するように、把持爪６０１、６０２を移動させるように制御する。次いで、ロボットハンド制御装置１００が、把持の際に対となる把持爪６０１、６０２の間隔を狭めて、複数の把持爪６０１、６０２でピッキング対象物２０００を把持する動作を行うように制御する。上記のような予め設定されたピッキング動作を行うことで、作業者は、２次元画像上に少なくとも２つのピッキング位置を指定して以降のロボットハンド操作を自動で行い、作業者によるロボットハンド操作の作業時間を短縮することができる。
【0040】
なお、以上の説明では、把持爪が２つの例について説明したが、把持爪は３つ以上であっても良い。また、３つ以上のピッキング位置を指定しても良い。このような場合、上記のＳ１０２のステップで、把持する際に対となる把持爪の間隔を、複数のピッキング位置の間隔の最大値よりも広くする。このようにすることで、ピッキング対象物２０００が把持する際に対となる把持爪の間に位置するような配置とすることができる。
【0041】
なお、把持の際に対とならない２つの把持爪の間隔については、複数のピッキング位置のより広くなくても問題ない。例えば、直線状に複数の把持爪が並んだ第１のグループと、対向するように直線状に複数の把持爪の並んだ第２のグループがあり、第１のグループの把持爪と第２のグループの把持爪で対を作って把持する場合を考える。この場合、第１のグループと第２のグループとの間隔を、複数のピッキング位置の間隔よりも広くなるように制御する。一方、それぞれのグループ内の隣接する把持爪の間隔については、ピッキング位置の間隔より狭くても構わない。
【0042】
以上説明したように、ピッキングシステム１０００は、ロボットハンド制御装置１００と、２次元画像表示装置２００と、ピッキング位置入力装置３００と、２次元画像撮影装置４００と、３次元データ計測装置５００と、ロボットハンド６００とを有する。ロボットハンド制御装置１００は、２次元画像撮影装置４００から２次元画像を取得する。また、３次元データ計測装置５００から、３次元データを取得する。そして取得した２次元画像を２次元画像表示装置２００に取得した２次元画像を表示させる制御を行う。これにより、作業者はピッキング対象物２０００の２次元画像を見て、ピッキング対象物２０００の把持しやすい位置を判定できる。
【0043】
ピッキング位置入力装置３００は、作業者が把持しやすいと判定した２次元画像上の点の入力を受け付けることができる。これにより２次元画像の座標上で、ピッキング位置が指定される。上述の通り、２次元画像と３次元データは、対応テーブルにより、対応つけられている。このため、ロボットハンド制御装置１００は、入力された２次元画像上のピッキング位置に対応する３次元座標を３次元ピッキング位置をとして取得することができる。
【0044】
上記のロボットハンド制御装置１００は、下記のような構成と動作により、作業者によるロボットハンド操作の作業時間の短縮を実現する。ロボットハンド制御装置１００は、第１の実施形態と同様に、２次元画像取得手段と、３次元データ取得手段と、データ対応付け手段と、２次元画像表示制御手段と、ピッキング位置受け付け手段と、を有している。また、ロボットハンド制御装置１００は、３次元ピッキング位置取得手段と、ピッキング動作制御手段とを有している。そして、２次元画像取得手段は、ピッキング対象物２０００の２次元画像を取得する。３次元データ取得手段は、ピッキング対象物２０００の３次元データを取得する。
【0045】
データ対応付け手段は、取得した２次元画像と３次元データとの対応付けを行い、２次元画像と３次元データの対応関係を示す対応テーブルを生成する。これにより、２次元画像と３次元データの対応関係を示す対応テーブルが生成され、２次元画像中の特定座標と３次元データ中の特定座標とが対応付けされる。すなわち、２次元画像中の特定座標を指定することにより、３次元データ中の特定座標を抽出することができる。
【0046】
また、ピッキング位置受け付け手段は、２次元画像上のピッキング位置の指定を受け付ける。３次元ピッキング位置取得手段は、前記対応テーブルに基づいて、前記２次元画像上の前記ピッキング位置に対応する３次元座標を３次元ピッキング位置として取得する。上述の通り、２次元画像と３次元データは、対応テーブルにより、対応つけられている。このため、３次元ピッキング位置取得手段は、２次元画像上のピッキング位置を指定することにより、２次元画像上のピッキング位置に対応する３次元座標を、３次元データから、３次元ピッキング位置として取得することができる。
【0047】
ピッキング動作制御手段は、３次元ピッキング位置を基準として、予め設定されたピッキング動作をロボットハンドに行わせる制御を行う。このように、ピッキング動作制御手段は、３次元ピッキング位置取得手段により取得された３次元ピッキング位置を基準に用いる。これにより、２次元画像上のピッキング位置に対応する３次元座標を基準として、予め設定されたピッキング動作をロボットハンドに行わせる制御を行うことができる。すなわち、ピッキング動作制御手段は、３次元ピッキング位置取得手段が取得した３次元ピッキング位置を基準に用いることで、２次元画像上のピッキング位置に対応させて、予め設定されたピッキング動作をロボットハンドに行わせる制御を行うことができる。
【0048】
このように、第２の実施の形態におけるピッキングシステム１０００によれば、作業者は、２次元画像上で、ピッキング位置を指定するだけで、予め設定されたピッキング動作をロボットハンド６００に行わせることができる。このため、作業者によるロボットハンド操作の作業時間を短縮することができる 。
【0049】
そして、上記のロボットハンド制御方法は、ピッキング対象物２０００の２次元画像データを取得し、ピッキング対象物２０００の３次元データを取得する。また、２次元画像データと３次元データとの対応付けを行い、２次元画像と３次元データの対応関係を示す対応テーブルを生成し、２次元画像を表示する制御を表示装置に行う。また、２次元画像上のピッキング位置の指定を受け付け、対応テーブルに基づいて、２次元画像上のピッキング位置に対応する３次元座標を３次元ピッキング位置として取得する。そして、３次元ピッキング位置を基準として、ロボットハンドに予め設定されたピッキング動作を行わせる制御を行う。
【0050】
そして、本実施形態のロボットハンド制御プログラムでは、ピッキング対象物２０００の２次元画像を取得する処理と、ピッキング対象物２０００の３次元データを取得する処理と、をコンピュータに実行させる。また、２次元画像と３次元データとの対応付けを行い、２次元画像と３次元データの対応関係を示す対応テーブルを生成する処理と、２次元画像を表示する制御を表示装置に行う処理と、をコンピュータに実行させる。また、２次元画像上でピッキング位置の指定を受け付ける処理と、対応テーブルに基づいて、２次元画像上のピッキング位置に対応する３次元座標を３次元ピッキング位置として取得する処理と、をコンピュータに実行させる。そして、３次元ピッキング位置を基準として、ロボットハンドに予め設定されたピッキング動作を行わせる制御を行う処理と、をコンピュータに実行させる。
【0051】
この方法によっても、前述のロボットハンド制御装置１００と同様の効果を奏する。 以上説明したように、本実施形態のピッキングシステム等によれば、作業者は、ディスプレイに表示された２次元画像上で、ピッキング位置を指定するだけで、遠隔操作によりピッキング対象物２０００のピッキングを行うことができる。このため、ロボットハンドのピッキングを作業者の操作で行う方法に比べて、遠隔操作の作業時間を短縮することができる。
【0052】
（第３の実施形態）
第１、２の実施形態で説明したように、本発明のロボットハンド制御装置では、ピッキング対象物の３次元データを取得する。このため、ピッキング対象物の姿勢に関する情報を得ることができる。ピッキング対象物の姿勢の中で、ピッキングにおいて重要なものの一つが、２次元画像中に見えるピッキング位置に対応する、ピッキング対象物の第１の表面の傾きである。本実施形態では、この第１の表面の傾きを算出するロボットハンド制御装置１０１について説明する。
第１、２の実施形態で説明したように、本発明のロボットハンド制御装置では、ピッキング対象物の３次元データを取得する。このため、ピッキング対象物の姿勢に関する情報を得ることができる。ピッキング対象物の姿勢の中で、ピッキングにおいて重要なものの一つが、２次元画像中に見えるピッキング位置に対応する、ピッキング対象物の第１の表面の傾きである。本実施形態では、この第１の表面の傾きを算出するロボットハンド制御装置１０１について説明する。
【0053】
図１２は、ピッキングシステムに用いる第３の実施形態のロボットハンド制御装置１０１を示すブロック図である。ロボットハンド制御装置１０１は、第２の実施形態のロボットハンド制御装置１００の構成に加えて、傾き算出手段として傾き算出部１５１を備えている。傾き算出部１５１は、３次元データ取得部が取得した３次元データに基づいて、ピッキング位置に対応するピッキング対象物の第１の表面２００１の傾きを算出する。この傾きは、例えばロボット６１０の座標系について算出する。一般的に、ピッキング対象物の第１の表面に垂直な方向に把持爪を向けることで、把持を安定にすることができる。このため、上記の傾き算出を含むロボットハンド制御方法では、ロボットハンドの向きを、ピッキング対象物の傾きに合わせて、ロボットハンドの向きを調整する。
【0054】
図１３は、第３の実施形態のロボットハンドの動作の具体例を示す模式図である。図１３の動作では、第２の実施形態の図８と同様な動作に、ピッキング位置ｐ１、ｐ２に対応する第１の表面２００１に対して、把持爪６０１と把持爪６０２の延伸方向が垂直になるように、把持爪６０１、６０２の傾きを調整している。この傾き調整を行なった後、第２の実施形態と同様な動作をさせることで、ピッキング対象物２０００を安定に把持することができる。なお、上記の垂直とは厳密なものではなく、垂直に近い所定範囲の角度であれば良い。具体的には、例えば第１の表面に立てた垂線に対して２０°程度の範囲内であっても良い。
【0055】
【0056】
まず、ピッキング位置ｐ１、ｐ２から所定距離だけ離れた位置にロボットハンド６００を移動させる（Ｓ２０１）。次に、ロボットハンド６００の傾きを調整し、把持爪６０１、６０２をピッキング対象物２０００の第1の表面２００１の垂直方向に向ける（Ｓ２０２）。次に把持の際に対となる把持爪６０１、６０２の間隔を、ピッキング位置ｐ１、ｐ２の間隔より広くする（Ｓ２０３）．次に、ピッキング位置ｐ１、ｐ２が把持の際に対となる把持爪６０１、６０２の間に位置するように把持爪を移動させる（Ｓ２０４）。次に、把持爪６０１と把持爪６０２の間隔を狭める動作によって、ピッキング対象物２０００を把持する（Ｓ２０５）。
【0057】
以上説明したように、本実施形態のロボットハンド制御装置１０１は、第２の実施形態のロボットハンド制御装置１００の構成に加えて、傾き算出部１５１を備えている。傾き算出部１５１は、３次元データ取得部１２０が取得した３次元データに基づいてピッキング対象物２０００のピッキング位置に対応する第１の表面２００１の傾きを算出する。この傾きを用いて、把持爪６０１、６０２の向きを、第１の表面２００１に対して垂直になるよう調整してピッキング対象物２０００を把持することが可能になる。把持爪６０１、６０２を第１の表面２００１に垂直にすることで、把持を安定にすることができる。
【0058】
（第４の実施形態）
第２，３の実施形態でロボットハンドが複数の把持爪を有する構成について説明したが、ロボットハンドは吸着チャックを備えたものであっても良い。図１５は、第４の実施形態のロボットハンドの動作の具体例を示す模式図である。図１５に示すように、ロボットハンド６００は、第３の実施形態の把持爪６０１と把持爪６０２の代わりに吸着チャック６０３を備えている。その他の構成は第３の実施形態と同様である。把持に吸着チャック６０３を用いる場合は、ピッキング位置ｐ３は、例えばピッキング対象物２０００の第１の表面２００１の中央の一点とすると良い。そして、吸着を行う場合は、吸着チャック６０３の吸着面が第１の表面２００１と平行になるようにすることが望ましい。このため、第３の実施形態と同様のロボットハンド６００の傾き調整を行なう。
第２，３の実施形態でロボットハンドが複数の把持爪を有する構成について説明したが、ロボットハンドは吸着チャックを備えたものであっても良い。図１５は、第４の実施形態のロボットハンドの動作の具体例を示す模式図である。図１５に示すように、ロボットハンド６００は、第３の実施形態の把持爪６０１と把持爪６０２の代わりに吸着チャック６０３を備えている。その他の構成は第３の実施形態と同様である。把持に吸着チャック６０３を用いる場合は、ピッキング位置ｐ３は、例えばピッキング対象物２０００の第１の表面２００１の中央の一点とすると良い。そして、吸着を行う場合は、吸着チャック６０３の吸着面が第１の表面２００１と平行になるようにすることが望ましい。このため、第３の実施形態と同様のロボットハンド６００の傾き調整を行なう。
【0059】
図１６は、第４の実施形態のロボットハンドの動作の具体例を示すフローチャートである。まず、ピッキング位置ｐ３から所定距離だけ離れた位置にロボットハンド６００を移動させる（Ｓ３０１）。次に、ロボットハンド６００の傾きを調整し、吸着チャック６０３が、第１の表面２００１を平行に吸着できるように傾きを調整する（Ｓ３０２）。次に、吸着チャックをピッキング位置へ移動させる（Ｓ３０３）．次に、吸着チャックでピッキング対象物２０００を吸着させる（Ｓ３０４）。
【0060】
以上説明したように、本実施形態のピッキングシステムでは、ロボットハンド制御装置１００を用い、ロボットハンド６００が吸着手段である吸着チャック６０３を有している。そしてピッキング対象物２０００を把持する予め設定されたピッキング動作が、吸着手段でピッキング対象物２０００の第１の表面２００１を吸着する動作を含んでいる。さらに、吸着チャック６０３の吸着面が第１の表面２００１を平行に吸着できるように、吸着チャック６０３の傾きを調整している。
【0061】
また、予め設定されたピッキング動作が、第１の表面２００１に垂直な方向から、吸着チャック６０３を、第１の表面２００１に近接させる動作を含んでいる。このため、第１の表面２００１と吸着チャック６０３との間に隙間ができないように吸着を行うことができる。なお、上記の垂直とは厳密なものではなく、垂直に近い所定範囲の角度であれば良い。具体的には、例えば第１の表面に立てた垂線に対して２０°程度の範囲内であっても良い。
【0062】
また、第３、４の実施形態では、それぞれロボットハンドが把持爪、吸着チャックの一方を備えている例について説明したが、両方を同時に備えていても良い。
【0063】
上述した第１乃至第４の実施形態の処理を、コンピュータに実行させるプログラムおよび該プログラムを格納した記録媒体も本発明の範囲に含む。記録媒体としては、例えば、磁気ディスク、磁気テープ、光ディスク、光磁気ディスク、半導体メモリ、などを用いることができる。
【0064】
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上記実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
【0065】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限
られない。
（付記１）
ピッキング対象物の２次元画像を取得する２次元画像取得手段と、
前記ピッキング対象物の３次元データを 取得する３次元データ取得手段と、
前記２次元画像と前記３次元データとの対応付けを行い、前記２次元画像と前記３次元データの対応関係を示す対応テーブルを生成するデータ対応付け手段と、
前記２次元画像を表示する制御を表示装置に行う２次元画像表示制御手段と、
前記２次元画像上のピッキング位置の指定を受け付けるピッキング位置受け付け手段と、
前記対応テーブルに基づいて、前記２次元画像上の前記ピッキング位置に対応する３次元座標を３次元ピッキング位置として取得する３次元ピッキング位置取得手段と 、
前記３次元ピッキング位置を基準として、ロボットハンドに予め設定されたピッキング動作を行わせる制御を行うピッキング動作制御手段と 、
を有することを特徴とするロボットハンド制御装置 。
（付記２）
前記ロボットハンドが複数の把持爪を有し、
前記ピッキング位置受け付け手段が、少なくとも２つの前記ピッキング位置を受け付け、
前記ピッキング動作が、
少なくとも２つの前記ピッキング位置の間隔より広くなるように、把持の際に対となる複数の前記把持爪の間隔を広げ 、
前記ピッキング対象物が複数の前記把持爪の間に位置するように、前記把持爪を移動させ 、
複数の前記把持爪の間隔を狭めて、複数の前記把持爪で前記ピッキング対象物を把持する動作である、
ことを特徴とする付記１に記載のロボットハンド制御装置。
（付記３）
前記３次元データに基づいて、前記ピッキング位置に対応する前記ピッキング対象物の第１の表面の傾きを算出する傾き算出手段を有する、
ことを特徴とする付記１または２に記載のロボットハンド制御装置。
（付記４）
前記ロボットハンドが吸着手段を有し、
前記ピッキング動作が、
前記吸着手段で前記第１の表面を吸着する動作を含む、
ことを特徴とする付記３に記載のロボットハンド制御装置。
（付記５）
前記ピッキング動作が、
前記第１の表面に垂直な方向から、前記吸着手段を前記第１の表面に近接させる動作を含む
ことを特徴とする付記４に記載のロボットハンド制御装置。
（付記６）
ピッキング対象物の２次元画像を取得する２次元画像取得手段と、前記ピッキング対象物の３次元データを取得する３次元データ取得手段と、前記２次元画像と前記３次元データとの対応付けを行い、前記２次元画像と前記３次元データの対応関係を示す対応テーブルを生成するデータ対応付け手段と、前記２次元画像を表示する制御を表示装置に行う２次元画像表示制御手段と、前記２次元画像上のピッキング位置の指定を受け付けるピッキング位置受け付け手段と、前記対応テーブルに基づいて、前記２次元画像上の前記ピッキング位置に対応する３次元座標を３次元ピッキング位置として取得する３次元ピッキング位置取得手段と、前記３次元ピッキング位置を基準として、予め設定されたピッキング動作をロボットハンドに行わせる制御を行うピッキング動作制御手段と、を有するロボットハンド制御装置と、
前記ロボットハンド制御装置に制御される前記ロボットハンドと、
前記ロボットハンド制御装置に制御される２次元画像表示装置と、
前記ピッキング位置の入力を受け付けるピッキング位置入力装置と、
を有することを特徴とするピッキングシステム。
（付記７）
前記ロボットハンドが複数の把持爪を有し、
前記ピッキング位置受け付け手段が、少なくとも２つの前記ピッキング位置を受け付け、
前記ピッキング動作が、
少なくとも２つの前記ピッキング位置の間隔より広くなるように、把持の際に対となる前記把持爪の間隔を広げ、
前記ピッキング対象物が複数の前記把持爪の間に位置するように、前記把持爪を移動させ、
複数の前記把持爪の間隔を狭めて、複数の前記把持爪で前記ピッキング対象物を把持する動作である、
ことを特徴とする付記６に記載のピッキングシステム。
（付記８）
前記３次元データに基づいて、前記ピッキング位置に対応する前記ピッキング対象物の第１の表面の傾きを算出する傾き算出手段を有する、
ことを特徴とする付記６または７に記載のピッキングシステム。
（付記９）
前記ロボットハンドが吸着手段を有し、
前記ピッキング動作が、
前記吸着手段で前記第１の表面を吸着する動作を含む、
ことを特徴とする付記８に記載のピッキングシステム。
（付記１０）
前記ピッキング動作が、
前記第１の表面に垂直な方向から、前記吸着手段を前記第１の表面に近接させる動作を含む
ことを特徴とする付記９に記載のピッキングシステム。
（付記１１）
ピッキング対象物の２次元画像を取得し、
前記ピッキング対象物の３次元データを取得し、
前記２次元画像と前記３次元データとの対応付けを行い、前記２次元画像と前記３次元データの対応関係を示す対応テーブルを生成し、
前記２次元画像を表示する制御を表示装置に行い、
前記２次元画像上のピッキング位置の指定を受け付け、
前記対応テーブルに基づいて、前記２次元画像上の前記ピッキング位置に対応する３次元座標を３次元ピッキング位置として取得し、
前記３次元ピッキング位置を基準として、予め設定されたピッキング動作をロボットハンドに行わせる制御を行う、
を有することを特徴とするロボットハンド制御方法。
（付記１２）
ピッキング対象物の２次元画像を取得する処理と、
前記ピッキング対象物の３次元データを取得する処理と、
前記２次元画像と前記３次元データとの対応付けを行い、前記２次元画像と前記３次元データの対応関係を示す対応テーブルを生成する処理と、
前記２次元画像を表示する制御を表示装置に行う処理と、
前記２次元画像上のピッキング位置の指定を受け付ける処理と、
前記対応テーブルに基づいて、前記２次元画像上の前記ピッキング位置に対応する３次元座標を３次元ピッキング位置として取得する処理と、
前記３次元ピッキング位置を基準として、予め設定されたピッキング動作をロボットハンドに行わせる制御を行う処理と、
をコンピュータに実行させることを特徴とするロボットハンド制御プログラム。
られない。
（付記１）
ピッキング対象物の２次元画像を取得する２次元画像取得手段と、
前記ピッキング対象物の３次元データを 取得する３次元データ取得手段と、
前記２次元画像と前記３次元データとの対応付けを行い、前記２次元画像と前記３次元データの対応関係を示す対応テーブルを生成するデータ対応付け手段と、
前記２次元画像を表示する制御を表示装置に行う２次元画像表示制御手段と、
前記２次元画像上のピッキング位置の指定を受け付けるピッキング位置受け付け手段と、
前記対応テーブルに基づいて、前記２次元画像上の前記ピッキング位置に対応する３次元座標を３次元ピッキング位置として取得する３次元ピッキング位置取得手段と 、
前記３次元ピッキング位置を基準として、ロボットハンドに予め設定されたピッキング動作を行わせる制御を行うピッキング動作制御手段と 、
を有することを特徴とするロボットハンド制御装置 。
（付記２）
前記ロボットハンドが複数の把持爪を有し、
前記ピッキング位置受け付け手段が、少なくとも２つの前記ピッキング位置を受け付け、
前記ピッキング動作が、
少なくとも２つの前記ピッキング位置の間隔より広くなるように、把持の際に対となる複数の前記把持爪の間隔を広げ 、
前記ピッキング対象物が複数の前記把持爪の間に位置するように、前記把持爪を移動させ 、
複数の前記把持爪の間隔を狭めて、複数の前記把持爪で前記ピッキング対象物を把持する動作である、
ことを特徴とする付記１に記載のロボットハンド制御装置。
（付記３）
前記３次元データに基づいて、前記ピッキング位置に対応する前記ピッキング対象物の第１の表面の傾きを算出する傾き算出手段を有する、
ことを特徴とする付記１または２に記載のロボットハンド制御装置。
（付記４）
前記ロボットハンドが吸着手段を有し、
前記ピッキング動作が、
前記吸着手段で前記第１の表面を吸着する動作を含む、
ことを特徴とする付記３に記載のロボットハンド制御装置。
（付記５）
前記ピッキング動作が、
前記第１の表面に垂直な方向から、前記吸着手段を前記第１の表面に近接させる動作を含む
ことを特徴とする付記４に記載のロボットハンド制御装置。
（付記６）
ピッキング対象物の２次元画像を取得する２次元画像取得手段と、前記ピッキング対象物の３次元データを取得する３次元データ取得手段と、前記２次元画像と前記３次元データとの対応付けを行い、前記２次元画像と前記３次元データの対応関係を示す対応テーブルを生成するデータ対応付け手段と、前記２次元画像を表示する制御を表示装置に行う２次元画像表示制御手段と、前記２次元画像上のピッキング位置の指定を受け付けるピッキング位置受け付け手段と、前記対応テーブルに基づいて、前記２次元画像上の前記ピッキング位置に対応する３次元座標を３次元ピッキング位置として取得する３次元ピッキング位置取得手段と、前記３次元ピッキング位置を基準として、予め設定されたピッキング動作をロボットハンドに行わせる制御を行うピッキング動作制御手段と、を有するロボットハンド制御装置と、
前記ロボットハンド制御装置に制御される前記ロボットハンドと、
前記ロボットハンド制御装置に制御される２次元画像表示装置と、
前記ピッキング位置の入力を受け付けるピッキング位置入力装置と、
を有することを特徴とするピッキングシステム。
（付記７）
前記ロボットハンドが複数の把持爪を有し、
前記ピッキング位置受け付け手段が、少なくとも２つの前記ピッキング位置を受け付け、
前記ピッキング動作が、
少なくとも２つの前記ピッキング位置の間隔より広くなるように、把持の際に対となる前記把持爪の間隔を広げ、
前記ピッキング対象物が複数の前記把持爪の間に位置するように、前記把持爪を移動させ、
複数の前記把持爪の間隔を狭めて、複数の前記把持爪で前記ピッキング対象物を把持する動作である、
ことを特徴とする付記６に記載のピッキングシステム。
（付記８）
前記３次元データに基づいて、前記ピッキング位置に対応する前記ピッキング対象物の第１の表面の傾きを算出する傾き算出手段を有する、
ことを特徴とする付記６または７に記載のピッキングシステム。
（付記９）
前記ロボットハンドが吸着手段を有し、
前記ピッキング動作が、
前記吸着手段で前記第１の表面を吸着する動作を含む、
ことを特徴とする付記８に記載のピッキングシステム。
（付記１０）
前記ピッキング動作が、
前記第１の表面に垂直な方向から、前記吸着手段を前記第１の表面に近接させる動作を含む
ことを特徴とする付記９に記載のピッキングシステム。
（付記１１）
ピッキング対象物の２次元画像を取得し、
前記ピッキング対象物の３次元データを取得し、
前記２次元画像と前記３次元データとの対応付けを行い、前記２次元画像と前記３次元データの対応関係を示す対応テーブルを生成し、
前記２次元画像を表示する制御を表示装置に行い、
前記２次元画像上のピッキング位置の指定を受け付け、
前記対応テーブルに基づいて、前記２次元画像上の前記ピッキング位置に対応する３次元座標を３次元ピッキング位置として取得し、
前記３次元ピッキング位置を基準として、予め設定されたピッキング動作をロボットハンドに行わせる制御を行う、
を有することを特徴とするロボットハンド制御方法。
（付記１２）
ピッキング対象物の２次元画像を取得する処理と、
前記ピッキング対象物の３次元データを取得する処理と、
前記２次元画像と前記３次元データとの対応付けを行い、前記２次元画像と前記３次元データの対応関係を示す対応テーブルを生成する処理と、
前記２次元画像を表示する制御を表示装置に行う処理と、
前記２次元画像上のピッキング位置の指定を受け付ける処理と、
前記対応テーブルに基づいて、前記２次元画像上の前記ピッキング位置に対応する３次元座標を３次元ピッキング位置として取得する処理と、
前記３次元ピッキング位置を基準として、予め設定されたピッキング動作をロボットハンドに行わせる制御を行う処理と、
をコンピュータに実行させることを特徴とするロボットハンド制御プログラム。
【符号の説明】
【0066】
１ ２次元画像取得手段
２ ３次元データ取得手段
３ データ対応付け手段
４ ２次元画像表示制御手段
５ ピッキング位置受け付け手段
６ ３次元ピッキング位置取得手段
７ ピッキング動作制御手段
１０、１００ ロボットハンド制御装置
１１０ ２次元画像取得部
１２０ ３次元データ取得部
１３０ データ対応付け部
１４０ ２次元画像表示制御部
１５０ ピッキング位置受け付け部
１６０ ３次元ピッキング位置取得部
１７０ ピッキング動作制御部
２００ ２次元画像表示装置
３００ ピッキング位置入力装置
４００ ２次元画像撮影装置
５００ ３次元データ計測装置
６００ ロボットハンド
２ ３次元データ取得手段
３ データ対応付け手段
４ ２次元画像表示制御手段
５ ピッキング位置受け付け手段
６ ３次元ピッキング位置取得手段
７ ピッキング動作制御手段
１０、１００ ロボットハンド制御装置
１１０ ２次元画像取得部
１２０ ３次元データ取得部
１３０ データ対応付け部
１４０ ２次元画像表示制御部
１５０ ピッキング位置受け付け部
１６０ ３次元ピッキング位置取得部
１７０ ピッキング動作制御部
２００ ２次元画像表示装置
３００ ピッキング位置入力装置
４００ ２次元画像撮影装置
５００ ３次元データ計測装置
６００ ロボットハンド
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】