特許 7549121 ロボットシステム及び制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-02

(45)【発行日】2024-09-10

(54)【発明の名称】ロボットシステム及び制御装置

(51)【国際特許分類】

   B25J 13/08 20060101AFI20240903BHJP

   B25J 9/10 20060101ALI20240903BHJP

【ＦＩ】

B25J13/08 A

B25J9/10 A

【請求項の数】 6

(21)【出願番号】P 2023500820

(86)(22)【出願日】2022-02-14

(86)【国際出願番号】 JP2022005635

(87)【国際公開番号】W WO2022176800

(87)【国際公開日】2022-08-25

【審査請求日】2023-09-12

(31)【優先権主張番号】P 2021024577

(32)【優先日】2021-02-18

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】110002103

【氏名又は名称】弁理士法人にじいろ特許事務所

(72)【発明者】

【氏名】安藤 俊之

【審査官】臼井 卓巳

(56)【参考文献】

【文献】特開２０２０－１７９４４１（ＪＰ，Ａ）

【文献】特開２０１９－１５９９０１（ＪＰ，Ａ）

【文献】特開２００７－１４４５８６（ＪＰ，Ａ）

【文献】特開２０１９－１５５５３５（ＪＰ，Ａ）

【文献】特開２０１９－１９８９５０（ＪＰ，Ａ）

【文献】特開２０１４－０２８４１５（ＪＰ，Ａ）

【文献】特開２０１９－０８４６４５（ＪＰ，Ａ）

【文献】特開２０２１－０２０２６６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／０３５６０６８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ ９／１０－１９／０４

Ｇ０５Ｂ １９／１８－１９／４０６

(57)【特許請求の範囲】

【請求項1】

上方が開口されたコンテナに収容されたワークを取り出すロボットシステムであって、
前記ワークを把持するハンドが装着されたロボットアーム機構と、
前記コンテナを含む２次元の画像データと前記コンテナを含む３次元の点群データとを取得するセンサと、
前記画像データに基づいて前記コンテナに設けられた複数のマーカーの領域を抽出し、前記複数のマーカーの領域に関する複数の２次元座標を特定する特徴点抽出部と、
前記特定された複数の２次元座標に基づいて、前記複数のマーカーの領域に関する前記点群データ上の複数の３次元座標を特定する特徴点位置特定部と、
前記特定された複数の３次元座標に基づいて、前記コンテナの開口の位置、向き、サイズを特定するコンテナ開口特定部と、
を有するロボットシステム。

【請求項2】

前記コンテナの開口の位置、向き、サイズに基づいて、前記コンテナに干渉しないように前記ロボットアーム機構を制御するロボット制御部をさらに有する、
請求項１記載のロボットシステム。

【請求項3】

前記開口は矩形状を有し、
前記特徴点抽出部は、前記画像データに基づいて、前記コンテナの４つの角部のうち３つの角部の上端面にそれぞれ設けられた前記複数のマーカーの領域を抽出する、
請求項２記載のロボットシステム。

【請求項4】

前記コンテナ開口特定部は、
前記マーカーの３次元位置に基づいて、前記コンテナの中心点の３次元位置を計算する中心位置計算部と、
前記複数のマーカーの領域の３次元位置から前記中心点の３次元位置に向かって、前記点群データを走査し、前記コンテナの開口の角部の３次元位置を特定する角位置特定部と、
前記コンテナの開口の角部の３次元位置に基づいて、前記コンテナの開口の位置、向き、サイズを特定するコンテナ開口位置特定部とを有する、請求項３記載のロボットシステム。

【請求項5】

前記開口は矩形状を有し、
前記コンテナの上端面の特定の位置に対する前記コンテナの幅方向と長さ方向とに関するコンテナ情報を記憶する記憶部をさらに有し、
前記特徴点抽出部は、前記画像データに基づいて、前記コンテナの上縁面の特定の位置に設けられた前記コンテナの幅方向と前記コンテナの長さ方向とを特定可能なパターンを有する前記マーカーの領域を抽出し、
前記コンテナ開口特定部は、
前記点群データに基づいて、前記抽出された前記マーカーの領域の３次元位置と前記コンテナの長さ方向と前記コンテナの幅方向とを特定する特徴点位置特定部と、
前記マーカーの領域の３次元位置と、前記コンテナの幅方向と、前記コンテナの長さ方向とに基づいて、前記コンテナの開口面上の中心点の３次元位置を計算する中心位置計算部と、
前記マーカーの領域の３次元位置から前記中心点の３次元位置に向かって、前記点群データを走査し、前記コンテナの開口の角部の３次元位置を特定する角位置特定部と、
前記コンテナの開口の角部の３次元位置に基づいて、前記コンテナの開口の位置、向き、サイズを特定するコンテナ開口位置特定部とを有する、
請求項１記載のロボットシステム。

【請求項6】

上方が開口されたコンテナを撮影するセンサの出力に基づいて、前記コンテナに収容されたワークを把持するロボットアーム機構を制御する制御装置であって、
前記センサから、前記コンテナを含む２次元の画像データと前記コンテナを含む３次元の点群データとを受信する受信部と、
前記画像データに基づいて前記コンテナに設けられた複数のマーカーの領域を抽出し、前記複数のマーカーに関する複数の２次元座標を特定する特徴点抽出部と、
前記特定された複数の２次元座標に基づいて、前記複数のマーカーの領域に関する前記点群データ上の複数の３次元座標を特定する特徴点位置特定部と、
前記特定された複数の３次元座標に基づいて、前記コンテナの開口の位置、向き、サイズを特定するコンテナ開口特定部と、
を具備する制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボットシステム及び制御装置に関する。

【背景技術】

【0002】

従来から、コンテナの内部にバラ積みされたワークをロボットにより把持し、搬送するロボットシステムが知られている。このようなロボットシステムにおいて、コンテナに対してロボットが干渉しないように、コンテナの開口の位置、向き、サイズをロボットに教示する必要がある。教示する方法としては、例えば、ロボットアームを動作させてハンドをコンテナの開口部を規定する縁部に当接させることで、縁部の位置座標値を求めることが開示されている（例えば、特許文献１）。

【0003】

しかしながら、上記のようなハンドをコンテナの縁部に当接させるタッチアップ作業を、コンテナが変わる毎に実行するのは面倒であった。また、ロボットアームにタッチアップ用のピンを取り付け、手動操作によりロボットアームに取り付けたピンをコンテナの縁部の所定の箇所に接触させる作業は、作業者の技量に依存するため、品質がバラついてしまう場合があった。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１５－２１３９７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ロボットアーム機構によるコンテナへのタッチアップ動作をすることなく、コンテナの開口の位置、向き、サイズを特定することが望まれている。

【課題を解決するための手段】

【0006】

本開示の一態様に係るロボットシステムは、ワークを把持するハンドが装着されたロボットアーム機構と、コンテナを含む２次元の画像データとコンテナを含む３次元の点群データとを取得するセンサと、画像データに基づいてコンテナに設けられた複数のマーカーの領域を抽出し、複数のマーカーの領域に関する複数の２次元座標を特定する特徴点抽出部と、特定された複数の２次元座標に基づいて、複数のマーカーの領域に関する点群データ上の複数の３次元座標を特定する特徴点位置特定部と、特定された複数の３次元座標に基づいて、コンテナの開口の位置、向き、サイズを特定するコンテナ開口特定部と、を有する。

【発明の効果】

【0007】

コンテナへのタッチアップ動作をすることなく、コンテナの開口の位置、向き、サイズを特定することができる。

【図面の簡単な説明】

【0008】

【図1】図１は、本実施形態に係るロボットシステムの一例を示す外観図である。

【図2】図２は、図１のコンテナの一例を示す平面図である。

【図3】図３は、図１のロボットシステムのブロック構成図である。

【図4】図４は、図１のロボットシステムによるコンテナ開口特定処理の手順を示すフローチャートである。

【図5】図５は、図４のコンテナ開口特定処理の説明を補足する図である。

【図6】図６は、本実施形態の変形例に係るロボットシステムで使用されるコンテナの一例を示す平面図である。

【図7】図７は、本実施形態の変形例に係るロボットシステムによるコンテナ開口特定処理の手順を示すフローチャートである。

【図8】図８は、本実施形態に係るロボットシステムの他の例を示す外観図である。

【発明を実施するための形態】

【0009】

以下、図面を参照しながら本実施形態に係るロボットシステムを説明する。以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。

【0010】

以下、図１乃至図５を参照して、本実施形態に係るロボットシステムを説明する。
図１に示すように、本実施形態に係るロボットシステム１０は、コンテナ６０の内部にバラ積みされたワーク７０を把持するハンドが取り付けられたロボットアーム機構２０と、ロボットアーム機構２０の設置面に設定された矩形状のコンテナ配置エリア５０を上方から撮影する３次元センサ３０と、ロボットアーム機構２０及び３次元センサ３０を制御する制御装置４０と、を有する。ロボットアーム機構２０のロボット座標系のＸ軸、Ｙ軸及びＺ軸は、図１、図２に示す向きに定義される。例えば、Ｘ軸をロボットアーム機構２０の設置面に平行な任意の軸、Ｙ軸をロボットアーム機構２０の設置面に平行で、且つＸ軸に直交する軸、Ｚ軸をＸ軸とＹ軸とに直交する軸と定義する。Ｚ軸は、ロボットアーム機構２０の設置面に垂直な軸と平行である。コンテナ配置エリア５０は、その短軸がロボット座標系のＸ軸と平行となり、長軸がロボット座標系のＹ軸と平行となるように設定されている。

【0011】

ロボットアーム機構２０には、座標型ロボット、円筒座標型ロボット、直角座標型ロボット、垂直多関節型ロボット、水平多関節型(スカラ型)ロボット、パラレルリンク型ロボットなどの任意の機構を適用することができる。

【0012】

３次元センサ３０は、支持部材により、コンテナ配置エリア５０に配置されたコンテナ６０の開口６３に対峙する向きに配置されている。３次元センサ３０は、コンテナ６０を含む２次元の画像データと、３次元の点群データとを取得する。コンテナ画像は、色情報（色調や階調）を有するピクセルを２次元座標に従って並べたものであるのに対し、点群データは、コンテナ配置エリア５０を上方から撮影したコンテナ配置エリア５０を撮影視野に含むデータであり、３次元座標情報を有するピクセル（点）の集合体である。

【0013】

点群データにおける３次元座標系はロボット座標系と同様の向きに定義される。例えば、３次元座標は、ロボットアーム機構２０の設置面に平行で、且つ互いに直交する２つの軸をＸ軸及びＹ軸、ロボットアーム機構２０の設置面に垂直な軸をＺ軸として定義される。Ｚ軸方向は深さ方向または奥行方向ともいう。画像データにおける２次元座標は、点群データにおける３次元座標のＸ座標、Ｙ座標にそれぞれ対応する。つまり、画像データ上の２次元位置は、３次元の点群データ上の３次元位置と関連付いている。２次元の画像データ上で指定された点の３次元位置を点群データから特定することができる。

【0014】

３次元センサ３０は、ステレオカメラ方式を採用したデバイスとすることができる。ステレオカメラ方式では、２台のカメラにより撮影された２次元の画像データを画像処理することによって、ピクセルに色情報と３次元座標情報とを与えた点群データを取得することができる。画像データは、１台のカメラにより撮影されたものであってもよいし、２台のカメラにより撮影された画像データを画像処理したものであってもよい。もちろん、２次元の画像データと３次元の点群データとを取得できるのであれば、３次元センサ３０は、上記に限定されることはない。３次元センサ３０は、光切断法、Time-of-flight法、Depth from Defocus法などを応用した既知の様々なデバイスから選択的に使用することができる。また、３次元センサ３０は、位置関係が固定されている２つのデバイスからなるものであってもよい。

【0015】

コンテナ６０は、上方が開口された箱体に構成される。箱体は直方体形状を有し、箱体の内壁により規定される開口６３は、矩形状を有する。コンテナ６０の短手方向（幅方向）をｘ方向、長手方向（長さ方向）をｙ方向、高さ方向をｚ方向と定義する。内壁は、箱体を構成する４枚の側壁６１の内側面に対応するものである。箱体を構成する４枚の側壁６１の上端面６１ａを単にコンテナ６０の上端面（縁部）６１ａと称する。２枚の側壁６１が直角をなす箇所をコンテナ６０の角部６１ｂという。コンテナ６０の内壁の４つの角は、コンテナ６０の開口６３の４つの角にそれぞれ対応する。コンテナ６０の開口６３が矩形状であるため、コンテナ６０の開口６３の少なくとも３つの角の位置が分かることで、コンテナ６０の開口６３の位置、向き、サイズを特定することができる。もちろん、コンテナ６０の開口６３の対角線上に向かい合う２つの角の位置が分かることで、コンテナ６０の開口６３の位置向き、サイズを特定することができる。

【0016】

後述の作業プログラムにおいて、例えば、コンテナ６０の開口６３の位置はロボット座標系（Ｘ，Ｙ，Ｚ）で表されている。コンテナ６０の開口６３の向きは、基準とする向きに対するＸ軸周りの回転角度、Ｙ軸周りの回転角度、及びＺ軸周りの回転角度で表されている。基準となるコンテナ６０の開口６３の向きは、コンテナ６０の開口面（ｘｙ平面）がロボットアーム機構２０の設置面（ＸＹ平面）に平行であり、コンテナ６０の開口面の長軸（ｙ軸）方向がコンテナ配置エリア５０の長軸（Ｙ軸）方向と平行となる向きとする（図２参照）。Ｘ軸周りの回転角とＹ軸周りの回転角とが共に０度であるとき、コンテナ６０の開口面は水平である。

【0017】

図２に示すように、コンテナ６０の４つの角部のうち３つの角部６１ｂの上端面６１ａの特定の位置には、円形状のマーカ８１，８２，８３が設けられる。マーカ８１，８２，８３は、裏面に接着剤が塗布されたシール部材で提供されてもよいし、印刷等によりコンテナ６０に直接的に設けられてもよい。コンテナ６０の開口６３を特定する精度という観点では、コンテナ６０に直接的に設けられることが望ましい。また、既存のコンテナの活用という観点においては、シール部材で提供される方が望ましい。この場合、コンテナ６０の開口６３の特定処理が終了した後に、コンテナ６０に貼付したマーカ８１，８２，８３を外すことで、コンテナ６０を元の状態に戻すことができる。位置のマーカ８１，８２，８３は、パターンマッチング処理などの画像処理によりコンテナ画像から抽出しやすいように、その色、形状が決められている。例えば、マーカ８１，８２，８３の色は、マーカ８１，８２，８３を設ける位置付近のコンテナ６０の色、コンテナ６０が配置される床面の色に対してコントラスト比が大きくなるように決められていることが望ましい。また、マーカ８１，８２，８３の形状は、床面の模様、軽量化のために設けられたコンテナ６０の切り欠き、孔の形状などのコンテナ画像に含まれてしまう形状と類似しないことが望ましい。典型的には、３つのマーカ８１，８２，８３は、全て同一のものであるが、互いに異なるものであってもよいし、２種類であってもよい。

【0018】

図３に示すように、制御装置４０は、プロセッサ４１を有する。プロセッサ４１には、データ・制御バス４７を介してメモリ４３、記憶装置４５、３次元センサ３０及びロボットアーム機構２０（モータドライバ）が接続されている。プロセッサ４１は、ロボットシステム１０を統括して制御する。メモリ４３は、プロセッサ４１のワークスペースとして機能する。

【0019】

記憶装置４５は、コンテナ６０の内部にバラ積みされたワーク７０のピッキング作業をロボットアーム機構２０に実行させるための作業プログラムが記憶されている。プロセッサ４１は作業プログラムを実行するとき、ロボットアーム機構２０を制御するロボット制御部として機能する。プロセッサ４１により作業プログラムが実行されることで、ロボットアーム機構２０は、作業プログラムで規定されたシーケンスに従って動作し、コンテナ６０の内部からワーク７０を取り出してコンベヤ、作業台などの指定箇所に搬送する動作を繰り返し実行することができる。作業プログラムには、ロボットアーム機構２０がコンテナ６０に干渉しないように、コンテナ６０の開口６３の位置、向き、サイズが規定されている。作業プログラムにおけるコンテナ６０の開口６３の位置、向きは、ロボット座標系で表されている。コンテナ６０の開口６３の位置、向き、サイズは、コンテナ６０が交換される毎に補正される。

【0020】

作業プログラムには、コンテナ６０の開口６３の位置、向き、サイズを補正するための補正プログラムとして、コンテナ６０の開口６３を特定するプログラムが関連付けされている。プロセッサ４１は補正プログラムを実行するとき、コンテナ画像から特徴点（マーカ８１，８２，８３）を抽出する特徴点抽出部、点群データから特徴点（マーカ８１，８２，８３）の３次元位置を特定する特徴点位置特定部、特徴点（マーカ）の３次元位置に基づいて、コンテナ６０の中心点６５の３次元位置を計算する中心位置計算部、特徴点（マーカ８１，８２，８３）の３次元位置からコンテナ６０の中心点６５の３次元位置に向かって、点群データを走査し、コンテナ６０の開口６３の角部の３次元位置（コンテナ６０の内壁の角部の３次元位置）を特定する角位置特定部、及びコンテナ６０の開口６３の角部の３次元位置に基づいて、コンテナ６０の開口６３の位置、向き、サイズを特定するコンテナ開口特定部として機能する。プロセッサ４１により補正プログラムが実行されることで、コンテナ配置エリアに配置されたコンテナ６０の開口６３の位置、向き、サイズが特定され、作業プログラムにおけるコンテナ６０の開口６３の位置、向き、サイズが補正される。

【0021】

本実施形態では、制御装置４０は、ロボットアーム機構２０を制御する機能と、コンテナ６０の開口６３の位置、向き、サイズを特定する機能との両方を有するものとしたが、ロボットアーム機構２０を制御する機能を有するロボット制御装置と、コンテナ６０の開口６３の位置、向き、サイズを特定する機能を有するコンテナ開口特定装置とを別体として構成してもよい。この場合、図８に示すように、ロボットシステム１０は、ロボットアーム機構２０と、ロボットアーム機構２０を制御するロボット制御装置４１と、３次元センサ３０と、３次元センサ３０の出力に基づいて、コンテナ配置エリア５０に配置されたコンテナ６０の開口６３の位置、向き、サイズを特定するコンテナ開口特定装置４３とにより構成される。コンテナ開口特定装置４３は、３次元センサ３０から受信したコンテナ６０に関する画像データと点群データとに基づいて、コンテナ６０の開口６３の位置、向き、サイズを特定し、特定したコンテナ６０の開口６３の位置、向き、サイズに関する情報を、ロボット制御装置４１に送信する。ロボット制御装置４１は、コンテナ開口特定装置４３から受信したコンテナ６０の開口６３の位置、向き、サイズに関する情報に基づいて、作業プログラム上のこれらのパラメータを補正し、コンテナ６０に干渉しないようにロボットアーム機構２０を制御する。

【0022】

以下、図４、図５を参照して、本実施形態に係るロボットシステム１０によるコンテナ６０の開口６３の位置、向き、サイズを特定する処理（コンテナ開口特定処理）を説明する。
コンテナ配置エリアにコンテナ６０が配置されると、３次元センサ３０によりコンテナ配置エリアが撮影され、コンテナ６０を含む２次元の画像（コンテナ画像）のデータと、コンテナ６０を含む３次元の点群データが取得される（ステップＳ１１）。

【0023】

次に、コンテナ画像に対してパターンマッチング処理などの所定の画像処理が実行され、コンテナ画像から３つのマーカ８１，８２，８３が抽出され（ステップＳ１２）、抽出されたマーカ８１，８２，８３の中心位置８１ｃ、８２ｃ、８３ｃの２次元座標が特定される。

【0024】

マーカの中心位置８１ｃ、８２ｃ、８３ｃの２次元座標を用いて、点群データから、マーカの中心位置８１ｃ、８２ｃ、８３ｃに対応する点が特定され、それにより、マーカの中心位置８１ｃ、８２ｃ、８３ｃの３次元座標が特定される（ステップＳ１３）。特定された３つのマーカの中心位置８１ｃ、８２ｃ、８３ｃの３次元座標からコンテナ６０の開口面上の中心位置６５の３次元座標が計算される（ステップＳ１４）。マーカ８１，８２，８３の中心位置８１ｃ、８２ｃ、８３ｃの３次元座標からコンテナ６０の中心位置６５の３次元座標に向かう方向８１ｄ，８２ｄ，８３ｄが点群データの走査方向として決定される（ステップＳ１５）。なお、ステップＳ１２で特定されたマーカ８１，８２，８３の中心位置８１ｃ、８２ｃ、８３ｃの２次元座標により、コンテナ６０の開口面上の中心位置６５の２次元座標を計算し、マーカ８１，８２，８３の中心位置８１ｃ、８２ｃ、８３ｃの２次元座標からコンテナ６０の中心位置６５の２次元座標に向かう方向８１ｄ，８２ｄ，８３ｄが点群データの走査方向として決定してもよい。

【0025】

点群データが、ステップＳ１５で決定された走査方向８１ｄ，８２ｄ，８３ｄに沿って走査され、コンテナ６０の開口６３の角部（コンテナ６０の内壁の角部）の位置６３１，６３２，６３３の３次元座標が特定される（ステップＳ１６）。ステップＳ１６では、例えば、点群データにおいてマーカ８１の中心位置８１ｃに対応する点から走査方向８１ｄ上の複数の点が次々と抽出され、高さの変化値（Ｚ座標の変化値）が計算される。特定の点の高さに対するその内側の点の高さの差が閾値よりも小さいとき、それら２つの点はコンテナ６０の上端面６１ａの点であると判定される。一方、特定の点の高さに対するその内側の点の高さの差が閾値よりも大きいとき、それら２つの点の間にコンテナの側壁とコンテナの開口との境界があるということを示し、内側（コンテナ中心側）の点をコンテナ６０の開口６３の角部の点として特定される。

【0026】

コンテナ６０の開口６３の３つの角位置６３１，６３２，６３３の３次元座標に基づいて、コンテナ６０の開口６３の位置、向き、サイズが計算される（ステップＳ１７）。ステップS１７の処理では、例えば、コンテナ６０の開口６３の位置は、コンテナ６０の中心位置６５とすることができる。もちろん、コンテナ６０の開口６３の位置は、マーカ８１，８２，８３の中心位置８１ｃ、８２ｃ、８３ｃのいずれかとすることもできる。コンテナ６０の開口６３の向きとして、Ｘ軸周りの回転角度、Ｙ軸周りの回転角度及びＺ軸周りの回転角度を計算により求めることができる。例えば、基準状態における角位置６３１から角位置６３２に向かう３次元ベクトルと、ステップＳ１６で特定された角位置６３１から角位置６３２に向かう３次元ベクトルと、各軸周りの回転座標変換行列とを用いることで、基準状態に対して各軸周りにどれだけ回転しているかを計算により求めることができる。コンテナ６０の開口６３のサイズとして、角位置６３１の３次元座標と角位置６３２の３次元座標とにより、コンテナ６０の開口６３のｙ軸方向の長さ（開口長さ）を、角位置６３１の３次元座標と角位置６３３の３次元座標とにより、コンテナ６０の開口６３のｘ軸方向の長さ（開口幅）を計算することができる。

【0027】

なお、ステップＳ１７で特定されたコンテナ６０の開口６３の向きがＸ軸周りまたはＹ軸周りに大きく回転している場合、つまり、コンテナ６０の開口面が水平ではない場合がある。Ｘ軸周りの回転角度またはＹ軸周りの回転角度が所定値に比較して大きいとき、折り畳み式のコンテナ６０がきちんと組み立てられていない、コンテナ６０が破損している、コンテナ６０の下に物が挟まっているなどが考えられる。また、コンテナ６０の開口６３の一部がロボットアーム機構２０の動作領域外、つまり、コンテナ６０がコンテナ配置エリア５０の内部にきちんと配置されていない場合がある。そのため、制御装置４０は、コンテナ６０の開口６３の向きがコンテナ配置エリアの設定面に対して水平ではないと判定した場合や、コンテナ６０の開口６３の位置、向き、サイズに基づいて、コンテナ６０の一部がコンテナ配置エリア５０からはみ出ていると判定した場合に、ロボットアーム機構２０によるバラ積み作業が開始される前に、スピーカ、表示装置などの報知手段（図示しない）を制御して、作業員に報知するようにしてもよい。

【0028】

コンテナ開口特定処理において特定されるコンテナ６０の開口６３の位置、向きは、典型的には、３次元センサ３０の座標系で表される。しかしながら、ロボットアーム機構２０に対して３次元センサ３０が設置される位置、向きは既知であるため、３次元センサ３０の座標系における位置、向きは作業プログラム上で扱われるロボット座標系等に自由に変換することができる。もちろん、３次元センサ３０から出力される画像データ、点群データにおける座標が予めロボット座標系に変換されていてもよい。

【0029】

以上説明した本実施形態に係るロボットシステム１０によれば、以下のような効果を発揮する。
ロボットシステム１０で活用されるコンテナ６０、コンテナ６０が配置される場所は様々である。例えば、コンテナ画像に対するパターンマッチング処理では、コントラスト比が小さいために、コンテナ６０の側壁６１と開口６３との境界を特定できない場合がある。点群データを走査し、高さの変化値を検出する処理では、コンテナ６０に軽量化等のための切り欠き、孔などが設けられているために、高さが変化した位置がコンテナ６０の側壁６１と開口６３との境界位置ではない場合がある。

【0030】

本実施形態に係るロボットシステム１０は、画像データを用いて点群データの走査方向を決め、画像データにより決められた走査方向に沿って点群データを走査しながら、高さの変化値を見ていくことで、コンテナ６０の側壁６１とコンテナ６０の開口６３との境界を確実に捉えることができる。それにより、高い精度でコンテナ６０の開口６３の位置、向き、サイズを検出することができる。このように、コンテナ６０の開口６３の位置、向き、サイズを特定するために、画像データと点群データとの２種類のデータを活用したことは本実施形態に係るロボットシステム１０の特徴の１つである。

【0031】

本実施形態では、コンテナ６０の開口６３が矩形状であることを前提としたが、画像データと点群データとを活用して開口６３の位置、向き、サイズを特定できるのであれば、開口６３の形状は矩形状に限定されない。例えば、コンテナの開口が円形状である場合、コンテナの側壁の上端面の任意の３箇所にマーカをそれぞれ設ければよい。３箇所の３次元位置を特定することで、コンテナの開口の中心位置の３次元座標を計算により求めることができる。また、２箇所に設ける場合においては、１つ目のマーカをコンテナの側壁の上端面の任意の位置に設け、２つ目のマーカを、１つ目のマーカに対してコンテナの中心位置を挟んで対称な位置に設ければよい。

【0032】

本実施形態では、コンテナ６０の４つの角部６１ｂのうち３つの角部６１ｂに３つのマーカ８１，８２，８３が設けられていたが、マーカは１つであってもよい。以下、図６、図７を参照して本実施形態の変形例を説明する。

【0033】

図６は、コンテナ６０のｙ方向（長さ方向）とｘ方向（幅方向）とが特定可能なパターンを有するマーカ９１の一例を示している。図６に示すように、マーカ９１は４つの円形状のマーカ部分９２，９３，９４，９５を有し、１つの基準マーカ部分９２に対して１つのマーカ部分９３が第１方向に沿って配置され、２つのマーカ部分９４，９５が第１方向に直交する第２方向に沿って等間隔に配置されている。マーカ９１は、基準マーカ部分９２が、コンテナ６０の特定の位置（原点）に配置され、第１方向がコンテナ６０のｙ方向（長さ方向）と平行になり、第２方向がコンテナ６０のｘ方向（幅方向）と平行になるように、コンテナ６０の角部６１ｂの上端面６１ａに設けられている。

【0034】

図６に示すマーカ９１が設けられたコンテナ６０の開口６３の位置、向き、サイズを特定する処理を図７を参照して説明する。図７に示すコンテナ６０の開口６３の位置、向き、サイズを特定する処理のステップＳ２１乃至ステップＳ２７は、図４に示す処理のステップＳ１１乃至ステップＳ１７にそれぞれ対応し、共通する部分が多い。そのため、一部の処理の詳細説明は省略する。

【0035】

図７に示すように、３次元センサ３０によりコンテナ画像のデータと、コンテナ６０を含む３次元の点群データが取得される（ステップＳ２１）。次に、コンテナ画像に対してパターンマッチング処理などの所定の画像処理が実行され、コンテナ画像からマーカ９１のマーカ部分９２，９３，９４，９５が抽出され、抽出された４つのマーカ部分９２，９３，９４，９５のうち、３つのマーカ部分９２、９４，９５が配列された方向をコンテナ６０のｘ方向、２つのマーカ部分９２，９３が配列された方向をコンテナ６０のｙ方向として特定される（ステップＳ２２）。ステップＳ２２の処理では、３つのマーカ部分９２，９４，９５の中心位置を通る直線方向がコンテナ６０のｘ方向、２つのマーカ部分９２，９３の中心位置を通る直線方向がコンテナ６０のｙ方向として特定される。また、基準マーカ部分９２の中心位置がコンテナ６０の特定の位置（原点）として特定される。

【0036】

制御装置４０の記憶装置４５には、コンテナ６０の角部６１ｂの上端面６１ａの特定の位置（コンテナ６０の原点）に対してコンテナ６０の長さ、幅に関するコンテナ情報が記憶されている。ステップＳ２３の処理により、コンテナ６０の特定の位置（原点）、コンテナ６０のｘ方向（幅方向）、及びコンテナ６０のｙ方向（長さ方向）が特定されることで、記憶装置４５に記憶されたコンテナ情報により、コンテナ６０の開口面上の中心点６５を特定できる（ステップＳ２３）。基準マーカ部分９２の中心点からコンテナ６０の開口６３の中心点６５に向かう方向９２ｄが点群データの走査方向として決定される（ステップＳ２４）。

【0037】

点群データが、ステップＳ２５で決定された走査方向９２ｄに沿って走査され、コンテナ６０の開口６３の角部（コンテナ６０の内壁の角部）の位置６３１の３次元座標が特定される（ステップＳ２５）。記憶装置４５には、コンテナ６０の開口６３の角位置に対してコンテナ６０の開口６３の幅、長さに関するコンテナ開口情報が記憶されている。ステップＳ２６において、コンテナ６０の開口６３の角位置６３１の３次元座標が特定され、ステップＳ２２において、コンテナ６０の長さ方向、及びコンテナ６０の幅方向が特定されていることで、記憶装置４５に記憶されたコンテナ開口情報により、コンテナ６０の開口６３の位置、向き、サイズが計算される（ステップＳ２６）。

【0038】

以上説明した変形例１に係るロボットシステムによれば、本実施形態に係るロボットシステム１０と同様の効果を奏し、画像データと点群データとの２種類のデータを活用することで、ロボットアーム機構２０によるコンテナ６０へのタッチアップ動作をさせることなく、コンテナ６０の開口６３の位置、向き、サイズを特定することができる。

【0039】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

【符号の説明】

【0040】

６０…コンテナ、６１…コンテナの側壁、６１ａ…コンテナの上端面（縁部）、６１ｂ…コンテナの角部、６３…コンテナの開口、８１，８２，８３…マーカ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】