特許 7659060 ワーク取出し個数算出装置、ハンドシステム、及び表示装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-03-31

(45)【発行日】2025-04-08

(54)【発明の名称】ワーク取出し個数算出装置、ハンドシステム、及び表示装置

(51)【国際特許分類】

   B25J 13/08 20060101AFI20250401BHJP

【ＦＩ】

B25J13/08 A

【請求項の数】 17

(21)【出願番号】P 2023528898

(86)(22)【出願日】2021-06-17

(86)【国際出願番号】 JP2021023100

(87)【国際公開番号】W WO2022264381

(87)【国際公開日】2022-12-22

【審査請求日】2024-01-12

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100112357

【弁理士】

【氏名又は名称】廣瀬 繁樹

(72)【発明者】

【氏名】和田 潤

【審査官】松浦 陽

(56)【参考文献】

【文献】特開２０１９－１９８９５０（ＪＰ，Ａ）

【文献】特開２０１８－１４４１５６（ＪＰ，Ａ）

【文献】特開２００７－１７９３０１（ＪＰ，Ａ）

【文献】特開２０２０－０２１２１２（ＪＰ，Ａ）

【文献】特開２０１９－１５０９０４（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００－２１／０２

(57)【特許請求の範囲】

【請求項1】

ワークが複数積載された対象空間の三次元情報を取得する三次元情報取得部と、
前記ワークの形状情報を取得するワーク形状情報取得部と、
ワーク取出し前後の前記対象空間の三次元情報と前記ワークの形状情報とに基づいて前記ワークの積載領域の中の空洞を考慮してワーク取出し個数の範囲を算出するワーク取出し個数算出部と、
を備える、ワーク取出し個数算出装置。

【請求項2】

前記ワーク取出し個数算出部は、ワーク取出し後に前記積載領域から消滅した消滅領域に収容可能なワーク消滅個数の範囲に基づき、前記ワーク取出し個数の範囲を算出する、請求項１に記載のワーク取出し個数算出装置。

【請求項3】

前記ワーク取出し個数算出部は、ワーク取出し後に前記ワークの前記積載領域に新たに出現した荷崩れ領域に収容可能なワーク荷崩れ個数の範囲を加味し、前記ワーク取出し個数の範囲を算出する、請求項２に記載のワーク取出し個数算出装置。

【請求項4】

前記ワーク取出し個数算出部は、前記ワーク消滅個数の最大数から前記ワーク荷崩れ個数の最小数を減算して前記ワーク取出し個数の最大値を求め、前記ワーク消滅個数の最小数から前記ワーク荷崩れ個数の最大数を減算して前記ワーク取出し個数の最小値を求めることにより、前記ワーク取出し個数の範囲を算出する、請求項３に記載のワーク取出し個数算出装置。

【請求項5】

ワーク取出し後に前記ワークの積載領域から消滅した消滅領域に収容可能なワーク消滅個数の範囲と、
場合により、ワーク取出し後に前記ワークの積載領域に新たに出現した荷崩れ領域に収容可能なワーク荷崩れ個数の範囲と、
前記ワーク消滅個数の範囲と、場合により前記ワーク荷崩れ個数の範囲とに基づき算出されたワーク取出し個数の範囲と、
前記ワーク取出し個数の範囲の最大値と最小値が一致した場合にはワーク取出し個数と、
のうちの少なくとも一つを表示する表示部をさらに備える、請求項１から４のいずれか一項に記載のワーク取出し個数算出装置。

【請求項6】

前記表示部は、前記ワーク消滅個数の範囲と、場合により前記ワーク荷崩れ個数の範囲と、前記ワーク取出し個数の範囲と、のうちの少なくとも一つの算出根拠になった場所に、前記ワークの形状モデルを重ねた重畳画像を表示する、請求項５に記載のワーク取出し個数算出装置。

【請求項7】

前記ワーク取出し個数算出部は、ワーク取出し前後の前記対象空間の前記三次元情報を差分することにより、ワーク取出し後に前記積載領域で変化した変化領域を特定する、請求項１から６のいずれか一項に記載のワーク取出し個数算出装置。

【請求項8】

前記変化領域は、ワーク取出し後に前記対象空間の前記三次元情報から消滅した消滅領域と、ワーク取出し後に前記対象空間の前記三次元情報に新たに出現した荷崩れ領域と、の少なくとも一方を含む、請求項７に記載のワーク取出し個数算出装置。

【請求項9】

１個以上の前記ワークを取出したか否かを示す在籍情報を取得する在籍情報取得部をさらに備え、前記ワーク取出し個数算出部は、前記在籍情報に基づいて前記ワーク取出し個数の範囲の計算処理を実行するか否かを判定する、請求項１から８のいずれか一項に記載のワーク取出し個数算出装置。

【請求項10】

前記ワーク取出し個数の範囲に基づき、前記ワークの取出し及び払出しを行うハンドと、前記ハンドを用いて前記ワークを搬送する搬送装置と、の少なくとも一方の動作を制御する動作制御部をさらに備える、請求項１から９のいずれか一項に記載のワーク取出し個数算出装置。

【請求項11】

前記動作制御部は前記ワーク取出し個数の範囲が一つの値になり且つ所望の取出し個数になるまで前記ワークの取出し及び払出しを繰り返す動作を前記ハンドに対して指令する、請求項１０に記載のワーク取出し個数算出装置。

【請求項12】

ワークの取出し及び払出しを行うハンドと、
前記ハンドを用いてワークを搬送する搬送装置と、
前記ハンド及び前記搬送装置の少なくとも一方の動作を制御する制御装置と、
前記ワークが複数積載された対象空間の三次元情報を出力する視覚センサと、
を備え、
前記制御装置は、
前記対象空間の三次元情報を前記視覚センサから取得する三次元情報取得部と、
前記ワークの形状情報を取得するワーク形状情報取得部と、
ワーク取出し前後の前記対象空間の三次元情報と前記ワークの形状情報とに基づいて前記ワークの積載領域の中の空洞を考慮してワーク取出し個数の範囲を算出するワーク取出し個数算出部と、
前記ワーク取出し個数の範囲に基づき、前記ハンド及び前記搬送装置の少なくとも一方の動作を制御する動作制御部と、
を備える、ハンドシステム。

【請求項13】

１個以上のワークを取出したか否かを示す在籍情報を出力する在籍センサをさらに備え、前記ワーク取出し個数算出部は前記在籍情報に基づいて前記ワーク取出し個数の範囲の計算処理を実行するか否かを判定する、請求項１２に記載のハンドシステム。

【請求項14】

複数積載されたワークの中から取出されたワークの取出し個数の算出過程を視覚的に表示する表示装置であって、ワーク取出し前後の対象空間の三次元情報の少なくとも一方に、ワーク取出し後にワークの積載領域で変化した変化領域を識別可能に重ねて表示する重畳画像を表示する表示部を備える、表示装置。

【請求項15】

前記変化領域は、前記ワーク取出し後に前記積載領域から消滅した消滅領域と、場合により前記ワーク取出し後に前記積載領域に新たに出現した荷崩れ領域と、の少なくとも一方を含み、前記表示部は、前記変化領域、前記消滅領域、及び場合により前記荷崩れ領域の少なくとも一つを識別して表示する、請求項１４に記載の表示装置。

【請求項16】

プロセッサを備え、
前記プロセッサは、複数積載されたワークの中から取出されたワークの取出し個数の算出過程を視覚的に表示するために、ワーク取出し前後の対象空間の三次元情報の少なくとも一方に、ワーク取出し後にワークの積載領域で変化した変化領域を識別可能に重ねて表示する重畳画像を表示装置に送出する、制御装置。

【請求項17】

複数積載されたワークの中から取出されたワークの取出し個数の算出過程を視覚的に表示するために、ワーク取出し前後の対象空間の三次元情報の少なくとも一方に、ワーク取出し後にワークの積載領域で変化した変化領域を識別可能に重ねて表示する重畳画像を表示装置に送出する動作をプロセッサに実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はハンド技術に関し、特にワーク取出し個数算出装置、ハンドシステム、及び表示装置に関する。

【背景技術】

【0002】

ピックアンドプレイス用ハンドとして、多指把持式、磁気吸着式、真空吸着式、ベルヌーイ式といった種々の方式のハンドが知られている。バラ積み又は積み重ねられた複数のワークの中から１個又は所望個数のワークを取出すアプリケーションでは、視覚センサを用いてワークの位置（及び必要に応じて姿勢）を検出する。視覚センサとしては、三角測量法、ＴＯＦ（time of flight）法、焦点法等の種々の原理を用いた三次元視覚センサが利用されている。しかし、小型、薄板状、シート状、又は密着し易いワークの場合、ハンドが誤って複数のワークを一度に取出してしまうことがある。ワーク取出し個数の算出方法としては、ワークの取出し後に、力センサ、電磁誘導式センサ、圧力センサ、光電センサ等の追加のセンサを用いて算出する方法があるが、視覚センサとは別個のセンサで追加の計測を行うとサイクルタイムが伸びてしまう。また、視覚センサとは別個に追加のセンサが必要になるため、システムが複雑化しコスト高になる。

【0003】

一方、視覚センサを利用してワーク取出し個数を算出する場合、ワーク取出し前後の距離画像、三次元点群データ等の三次元情報の差分（つまり体積差）をワーク１個当たりの体積で除算することによりワーク取出し個数を算出する方法が知られている（後述の特許文献１参照）。しかし、複数のワークがバラ積み又は積み重ねられている場合、視覚センサから見えない領域にワークが存在するのか又は空洞が存在するのかが分からないため、ワーク取出し前後の三次元情報の差分が誤って複数のワークを一度に取出したことで生じた差分であるのか、又は空洞部分が露出したことで生じた差分であるのかが判別できない。従って、ワークの取出し前後の三次元情報の差分をワーク１個当たりの体積で除算して得られたワーク取出し個数は必ずしも正確な値になるとは限らない。本願に関連する先行技術としては、次の文献が開示されている。

【0004】

特許文献１には、ピッキングロボットで物品を移載する際に発生する物品の荷崩れを検出する方法及び装置において、三次元計測手段に基づいて生成された作業前の距離画像と作業後の距離画像から移載作業前後の物品群の体積差を推定し、推定した物品群の体積差を物品形状データから算出される物品一つ当たりの体積で除することにより、実際に移載された物品の個数と移載されるべき所望個数とを比較し、その一致度合いに基づいて、移載作業の全工程後の荷崩れの発生の有無を判定することが記載されている。

【0005】

特許文献２には、吸着グリッパを備えたロボットマニピュレータにおいて、環境に関する情報を検知する３Ｄセンサを用いてボックスを持上げ、動かすことが記載されている。

【0006】

特許文献３には、パレット内にバラ積みされた複数のワークをロボットアームの先端に所定個数ずつ保持してパレット外に取出す方法において、パレット底部にワーク不存在領域が発生するときのワーク残存個数はパレットの大きさに依存してほぼ一律に決まるため、その残存個数になるときの取出し個数を逆算にて予め算出することが記載されている。

【先行技術文献】

【特許文献】

【0007】

【文献】特開２００７－１７９３０１号公報

【文献】特表２０１７－５２０４１７号公報

【文献】特開２０１０－３００８７８号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

本発明は、従来の問題点に鑑み、ワーク取出し個数を正確に推定する技術を提供することを目的とする。

【課題を解決するための手段】

【0009】

本開示の一態様は、ワークが複数積載された対象空間の三次元情報を取得する三次元情報取得部と、ワークの形状情報を取得するワーク形状情報取得部と、ワーク取出し前後の対象空間の三次元情報とワークの形状情報とに基づいてワークの積載領域の中の空洞を考慮してワーク取出し個数の範囲を算出するワーク取出し個数算出部と、を備える、ワーク取出し個数算出装置を提供する。
本開示の他の態様は、ワークの取出し及び払出しを行うハンドと、ハンドを用いてワークを搬送する搬送装置と、ハンド及び搬送装置の少なくとも一方の動作を制御する制御装置と、ワークが複数積載された対象空間の三次元情報を出力する視覚センサと、を備え、制御装置は、対象空間の三次元情報を視覚センサから取得する三次元情報取得部と、ワークの形状情報を取得するワーク形状情報取得部と、ワーク取出し前後の対象空間の三次元情報とワークの形状情報とに基づいてワークの積載領域の中の空洞を考慮してワーク取出し個数の範囲を算出するワーク取出し個数算出部と、ワーク取出し個数の範囲に基づき、搬送装置及びハンドの少なくとも一方の動作を制御する動作制御部と、を備える、ハンドシステムを提供する。
本開示の別の態様は、複数積載されたワークの中から取出されたワークの取出し個数の算出過程を視覚的に表示する表示装置であって、ワーク取出し前後の対象空間の三次元情報の少なくとも一方に、ワーク取出し後にワークの積載領域で変化した変化領域を重ねた重畳画像を表示する表示部を備える、表示装置を提供する。

【発明の効果】

【0010】

本開示の一態様によれば、ワーク積載領域の中の空洞を考慮してワーク取出し個数の範囲を算出するため、ワーク取出し個数を正確に推定できる。

【図面の簡単な説明】

【0011】

【図1】第一実施形態のハンドシステムの構成図である。

【図2】第一実施形態のハンドシステムのブロック図である。

【図3A】ワーク取出し前のワーク積載領域の一例を示すワーク積載領域の側面図である。

【図3B】ワーク取出し後のワーク積載領域の一例を示すワーク積載領域の側面図である。

【図4】第一実施形態のハンドシステムの動作を示すフローチャートである。

【図5】第一実施形態のハンドシステムの動作を示すフローチャートである。

【図6】第二実施形態のハンドシステムの動作を示すフローチャートである。

【図7A】ワーク取出し前のワーク積載領域の一例を示す側面図である。

【図7B】ワーク取出し後のワーク積載領域の一例を示す側面図である。

【図8A】ワーク取出し前のワーク積載領域の他の例を示す側面図である。

【図8B】ワーク取出し後のワーク積載領域の他の例を示す側面図である。

【図9A】ワーク取出し前のワーク積載領域の別の例を示す側面図である。

【図9B】ワーク取出し後のワーク積載領域の別の例を示す側面図である。

【図10A】ワーク取出し前のワーク積載領域のさらに別の例を示す側面図である。

【図10B】ワーク取出し後のワーク積載領域のさらに別の例を示す側面図である。

【図11】第三実施形態のハンドシステムの構成図である。

【図12】ワーク取出し後の三次元情報の一例を示す距離画像図である。

【発明を実施するための形態】

【0012】

以下、添付図面を参照して本開示の実施形態を詳細に説明する。各図面において、同一又は類似の構成要素には同一又は類似の符号が付与されている。また、以下に記載する実施形態は、特許請求の範囲に記載される発明の技術的範囲及び用語の意義を限定するものではない。

【0013】

以下、第一実施形態のハンドシステム１について説明する。図１は第一実施形態のハンドシステム１の構成図である。ハンドシステム１は、ハンド２と、搬送装置３と、制御装置４と、視覚センサ５と、を備えている。ハンドシステム１は、在籍センサ６と、表示装置７と、をさらに備えていてもよい。本実施形態では、円柱形の複数のワークＷが収容物内に積載（バラ積み又は積み重ね）されているが、他の実施形態では直方形、薄板状、シート状等の他の形態のワークＷでもよく、また、ワークＷは治具に積載されていてもよい。ハンドシステム１は視覚センサ５の三次元情報に基づいてワークＷの位置（及び必要に応じて姿勢）を検出する。ハンドシステム１はワークＷの位置（及び必要に応じて姿勢）に基づいて搬送装置３をワーク取出し位置へ移動させ、ハンド２を動作させてワークＷを取出す制御を行う。ワークＷを取出す際、ハンド２は誤って所望個数（本実施形態では１個）のワークＷとは異なる個数のワークＷを取出してしまうことがあるため、ハンドシステム１は視覚センサ５の三次元情報に基づいてワーク取出し個数の範囲を算出する。ハンドシステム１は、算出したワーク取出し個数の範囲に基づき、搬送装置３をワーク払出し位置へ移動させ、ハンド２を動作させてワークＷを払出す制御を行う。

【0014】

ハンド２は、搬送装置３に取付けられる。ハンド２はワークＷの取出し及び払出しを行う。ハンド２は、多指把持式、磁気吸着式、真空吸着式、ベルヌーイ式等のハンドを含む。ハンド２はワークＷの材質、形状、サイズ等に応じて適宜選択するとよい。例えばワークＷの摩擦係数が高い場合は多指把持式ハンドでよく、ワークが磁性体の場合は磁気吸着式ハンドでよく、ワークが大型又は薄板状の場合は真空吸着式ハンドでよく、ワークが軽量又はシート状の場合はベルヌーイ式ハンドでよい。本実施形態のハンド２は多指把持式ハンドであり、相対運動可能な複数の指を動作させてワークＷの取出し及び払出しを行う。ハンド２は複数の指を動作させるモータ及びモータ駆動装置を備え、モータ駆動装置は有線又は無線を介して制御装置４に接続される。

【0015】

搬送装置３は、ハンド２を用いてワークＷを搬送する。搬送装置３は、ロボット、コンベア、無人搬送車（ＡＧＶ）等を含む。本実施形態の搬送装置３は垂直多関節型ロボットであるが、他の実施形態では、水平多関節型ロボット、直交ロボット、パラレルリンク型ロボット、ヒューマノイド等でもよい。本実施形態の搬送装置３は相対運動可能に連結された複数のリンクを備え、複数のリンクを動作させてワークＷを搬送する。搬送装置３はリンクを動作させるモータ及びモータ駆動装置を備え、モータ駆動装置は有線又は無線を介して制御装置４に接続される。

【0016】

制御装置４は、ハンド２、搬送装置３、及び視覚センサ５の少なくとも一つの動作を制御する。本実施形態の制御装置４はハンド２、搬送装置３、及び視覚センサ５の全ての動作を制御するが、他の実施形態ではハンド２と搬送装置３の動作のみを制御し、有線又は無線を介して通信可能に制御装置４に接続する外部装置（図示せず）が視覚センサ５の動作を制御してもよい。制御装置４はプロセッサ、メモリ等を備えたコンピュータ装置である。本実施形態のプロセッサは、コンピュータプログラムを実行する、ＣＰＵ（central processing unit）、ＭＰＵ（micro processing unit）等の半導体集積回路を含むが、他の実施形態では、コンピュータプログラムを実行しない、ＦＰＧＡ（field programmable gate array）、ＡＳＩＣ（application specific integrated circuit）等の他の半導体集積回路でもよい。本実施形態のメモリは、種々のデータを記憶するＲＡＭ（random access memory）、ＲＯＭ（read only memory）等の半導体集積回路である。

【0017】

視覚センサ５は、複数のワークＷが積載（バラ積み又は積み重ね）されたワーク積載領域を含む対象空間の三次元情報を計測して出力する。視覚センサ５は、三角測量法、ＴＯＦ法、焦点法等の種々の原理を用いた三次元視覚センサを含む。或いは、視覚センサ５は距離センサと二次元カメラを組み合わせた三次元視覚センサでもよい。本実施形態の視覚センサ５は距離画像を出力するＴＯＦセンサである。視覚センサ５はハンド２又は搬送装置３に取付けられる。本実施形態の視覚センサ５はハンド２に取付けられているが、他の実施形態ではハンド２又は搬送装置３とは別場所の固定点に視覚センサ５を設置してもよい。

【0018】

在籍センサ６は、必須の構成要素ではないことに留意されたい。在籍センサ６は１個以上のワークＷをハンド２で取出したか否かを示す在籍情報を出力する。在籍センサ６は、力センサ、電磁誘導式センサ、圧力センサ、光電センサ、カメラ、三次元センサ等を含む。また後述の実施形態で説明するように、視覚センサ５を在籍センサ６として兼用してもよい。本実施形態の在籍センサ６は力を検出する力センサである。在籍センサ６は力覚情報を在籍情報として出力する。在籍センサ６はハンド２又は搬送装置３に取付けられているが、他の実施形態ではハンド２又は搬送装置３とは別場所の固定点に在籍センサ６を設置してもよい。

【0019】

表示装置７は、必須の構成ではないことに留意されたい。表示装置７はワーク取出し個数の算出過程を視覚的に表示する。表示装置７は、液晶ディスプレイ、有機ＥＬディスプレイ、又はこれらを用いたタッチパネルディスプレイ等で構成された表示部（図示せず）を備えている。本実施形態の表示装置７は通信可能に制御装置４に接続する教示装置であるが、これに限定されるものではない。例えば他の実施形態では、表示装置７は有線又は無線を介して通信可能に制御装置４に接続する外部装置に付随する表示装置等でもよい。

【0020】

図２は第一実施形態のハンドシステム１のブロック図である。本実施形態の制御装置４はワーク取出し個数算出装置４０を備えているが、他の実施形態では、有線又は無線を介して通信可能に制御装置４に接続する外部装置（図示せず）がワーク取出し個数算出装置４０を備えていてもよい。

【0021】

ワーク取出し個数算出装置４０は、プロセッサ、メモリ等を備えたコンピュータ装置である。本実施形態のプロセッサは、コンピュータプログラムを実行する、ＣＰＵ（central processing unit）、ＭＰＵ（micro processing unit）等の半導体集積回路を含むが、他の実施形態では、コンピュータプログラムを実行しない、ＦＰＧＡ（field programmable gate array）、ＡＳＩＣ（application specific integrated circuit）等の他の半導体集積回路でもよい。本実施形態のメモリは、種々のデータを記憶する、ＲＡＭ（random access memory）、ＲＯＭ（read only memory）等の半導体記憶装置を含むが、他の実施形態では、メモリがＨＤＤ（hard disk drive）等の磁気記憶装置でもよい。

【0022】

ワーク取出し個数算出装置４０は、三次元情報取得部４１と、ワーク形状情報取得部４２と、ワーク取出し個数算出部４４と、を備えている。ワーク取出し個数算出装置４０は在籍情報取得部４３をさらに備えていてもよい。また、ワーク取出し個数算出装置４０は動作制御部４５をさらに備えていてもよい。本書における「～部」とはコンピュータプログラムの一部又は全部、或いはコンピュータプログラムを実行しない半導体集積回路の一部又は全部で構成される。ワーク取出し個数算出装置４０は、ワーク取出し前後の対象空間の三次元情報とワーク形状情報とに基づき、ワークＷの積載領域の中の空洞を考慮してワークＷの取出し個数の範囲を算出する。

【0023】

三次元情報取得部４１は、複数のワークＷが積載（バラ積み又は積み重ね）された対象空間の三次元情報を視覚センサ５から取得する。三次元情報は、基準位置からの距離値を画素毎に含む距離画像や、三次元座標系の座標値を含む三次元点群データ等を含む。本実施形態の三次元情報はＴＯＦセンサから出力された距離画像である。三次元情報取得部４１は距離画像と三次元点群データ等の他のデータ形式との間で相互にデータ変換する機能を備えているとよい。三次元情報取得部４１は対象空間の三次元情報をワーク取出し個数算出部４４に送出する。

【0024】

ワーク形状情報取得部４２は、ワーク形状情報を外部メモリ又は内部メモリから取得する。ワーク形状情報は、三次元形状モデル、距離画像、三次元点群データ等を含む。本実施形態のワーク形状情報は、三次元ＣＡＤ（computer-aided design）データ等の三次元形状モデルである。ワーク形状情報取得部４２は、三次元形状モデルと、距離画像、三次元点群データ等の他のデータ形式との間で相互にデータ変換する機能を備えているとよい。ワーク形状情報取得部４２はワーク形状情報をワーク取出し個数算出部４４に送出する。

【0025】

また、三次元情報取得部４１とワーク形状情報取得部４２の少なくとも一方は、後続処理のため、対象空間の三次元情報とワーク形状情報の一方のサイズ、スケール、座標系等のパラメータを、他方のサイズ、スケール、座標系等のパラメータに整合させる機能を備えているとよい。

【0026】

在籍情報取得部４３は、必須の構成要素ではないことに留意されたい。在籍情報取得部４３は、１個以上のワークＷをハンド２で取出したか否かを示す在籍情報を在籍センサ６から取得する。本実施形態の在籍情報は力センサの力覚情報であり、在籍情報取得部４３は力覚情報がワークＷ１個当たりの重力を上回る場合に１個以上のワークＷを取出したことを示す在籍情報をワーク取出し個数算出部４４に送出する。他の実施形態では力覚情報をワークＷ１個当たりの重力で除算して推定したワーク取出し個数を在籍情報としてワーク取出し個数算出部４４に送出してもよい。

【0027】

ワーク取出し個数算出部４４は、必須ではないが、在籍情報が１個以上のワークＷを取出したことを示す場合に、ワーク取出し個数の範囲の計算処理を実行し、在籍情報がワークＷを１個も取出していないことを示す場合は、ワーク取出し個数の範囲の計算処理を実行せず、ワーク取出し個数を０個として動作制御部４５に送出する。これにより、ワーク取出し個数算出部４４による不要な計算処理を防止できる。また、在籍情報がワーク取出し個数を含んでいる場合、ワーク取出し個数算出部４４は、算出したワーク取出し個数の範囲が一つの値（最小値と最大値が同じ値）になり且つ所望の取出し個数（複数個の場合もある）になったときに、算出したワーク取出し個数を、在籍情報のワーク取出し個数に基づいて検算するとよい。

【0028】

ワーク取出し個数算出部４４は、ワーク取出し前後の対象空間の三次元情報とワーク形状情報とに基づき、ワーク積載領域の中の空洞を考慮してワーク取出し個数の範囲を算出する。ここで図３Ａ及び図３Ｂを参照し、第一実施形態のワーク取出し個数の計算処理について説明する。図３Ａ及び図３Ｂはワーク取出し前後のワーク積載領域の一例を示す側面図である。図３Ａは短辺及び長辺を有する直方形のワークＷを全て横に倒して縦方向に積み重ねたワーク取出し前のワーク積載領域を示している。図３ＢはワークＷを１個も取出せず、２個のワークＷが荷崩れしたワーク取出し後のワーク積載領域を示している。視覚センサ５はワーク積載領域を上方から撮像してワーク取出し前の三次元情報５１（破線で示す）とワーク取出し後の三次元情報５２（破線で示す）とを出力する。

【0029】

ワーク積載領域の中の視覚センサ５から見えない不可視領域はワークＷが存在するのか又は空洞が存在するのかが判別できない。従って、基本的な考え方として、ワーク取出し後にワーク積載領域から消滅した消滅領域Ａ（太破線で示す）の中に空洞が存在することを踏まえてワーク取出し個数の範囲を算出することにより、ワーク取出し個数を正確に推定できるようになる。つまりワーク取出し個数算出部４４は、消滅領域Ａに収容可能なワーク消滅個数の範囲（図３Ａの例では１個～２個）をワーク取出し個数の範囲（１個～２個）として算出する。

【0030】

消滅領域Ａはワーク取出し前後の対象空間の三次元情報５１、５２を差分した差分領域（正の領域又は負の領域）として取得される。また、消滅領域Ａに収容可能なワーク消滅個数の最大数（図３Ａの例では２個）は、ワーク形状情報から得られるワークＷを消滅領域Ａから繰り返し差分して求めるか、又はワーク形状情報から得られるワークＷ一個当たりの体積で消滅領域Ａの体積を除算して求められる。消滅領域Ａに収容可能なワーク消滅個数の最小数（図３Ａの例では１個）は、ワーク消滅個数の最大数が１個以上の場合は１個とし、ワーク消滅個数の最大数が０個の場合は０個として求められる。

【0031】

しかし、図３Ｂに示すようにワークＷの積載方法に起因してワーク取出し後にワークＷが荷崩れする場合がある。また、ワーク積載領域の中の視覚センサ５から見えない不可視領域はワークが存在するのか又は空洞が存在するのかが判別できないため、ワーク取出し後にワーク積載領域に新たに出現した荷崩れ領域Ｂ（太破線で示す）の中の空洞も加味してワーク取出し個数の範囲を算出することにより、ワーク取出し個数をより正確に推定できるようになる。つまりワーク取出し個数算出部４４は、ワーク取出し後にワーク積載領域に新たに出現した荷崩れ領域Ｂに収容可能なワーク荷崩れ個数の範囲（図３Ａの例では１個～２個）を加味し、ワーク取出し個数の範囲を算出するとよい。

【0032】

荷崩れ領域Ｂは、ワーク取出し前後の対象空間の三次元情報５１、５２を差分した差分領域（負の領域又は正の領域）として取得される。また、荷崩れ領域Ｂに収容可能なワーク荷崩れ個数の最大数（図３Ｂの例では２個）は、ワーク形状情報から得られるワークＷを荷崩れ領域Ｂから繰り返し差分して求めるか、又はワーク形状情報から得られるワークＷ一個当たりの体積で荷崩れ領域Ｂの体積を除算して求められる。荷崩れ領域Ｂに収容可能なワーク荷崩れ個数の最小数（図３Ｂの例では１個）は、ワーク荷崩れ個数の最大数が１個以上の場合は１個とし、ワーク荷崩れ個数の最大数が０個の場合は０個として求められる。

【0033】

次いでワーク取出し個数算出部４４は、ワーク消滅個数の最大数（図３Ａの例では２個）からワーク荷崩れ個数の最小数（図３Ｂの例では１個）を減算してワーク取出し個数の最大値（１個）を求め、ワーク消滅個数の最小数（図３Ａの例では１個）からワーク荷崩れ個数の最大数（図３Ｂの例では２個）を減算してワーク取出し個数の最小値（－１個のワークＷを取出すことはあり得ないため、負数の場合は０個）を求めることにより、ワーク取出し個数の範囲（０個～１個）を算出するとよい。従って、ワーク取出し個数の範囲Ｒの算出式は次のようになる。

【0034】

【数1】

【0035】

式１において、Ｊ＋Ｈはワーク消滅個数の最大数であり、Ｊはワーク消滅個数の最小数であり、Ｋ＋Ｉはワーク荷崩れ個数の最大数であり、Ｋはワーク荷崩れ個数の最小数である。ｍａｘ（Ｊ－（Ｋ＋Ｉ），０）はワーク取出し個数の最小値であり、ｍａｘ（（Ｊ＋Ｈ）－Ｋ，０）はワーク取出し個数の最大値である。なお、ｍａｘ（引数１，引数２）関数は引数１と引数２のうちの大きい値を返す関数である。つまりｍａｘ関数は、ワーク取出し個数の最大値又は最小値を算出したときに、負数になった場合に０個を返す。

【0036】

なお、ワークＷが荷崩れする可能性がない積載方法を採用した場合は、荷崩れ領域Ｂを特定する必要はない。この場合、ワーク取出し個数算出部４４は、ワーク荷崩れ個数の最小数Ｋを０個とし、ワーク荷崩れ個数の最大数Ｋ＋Ｉを０個とし、消滅領域Ａに収容可能なワーク消滅個数の範囲Ｊ～Ｊ＋Ｈ（図３Ａの例では１個～２個）のみに基づいてワーク取出し個数の範囲（１個～２個）を算出すればよい。

【0037】

また、ワーク積載領域に空洞がない積載方法を採用した場合は、ワーク消滅個数の最小数Ｊをワーク消滅個数の最大数Ｊ＋Ｈ（図３Ａの例では２個）とし、ワーク荷崩れ個数の最小数Ｋをワーク荷崩れ個数の最大数Ｋ＋Ｉ（図３Ｂの例では２個）とし、ワーク取出し個数の範囲（０個～０個）を算出すればよい。

【0038】

また、ワーク取出し個数算出部４４は、在籍情報取得部４３から取得した在籍情報に基づいてワーク取出し個数の範囲の計算処理を実行するか否かを判定する場合、ワーク取出し個数が必ず１個以上であることが既知であるため、ワーク取出し個数の最大値又は最小値を算出して０個以下になった場合に１個を返すようにｍａｘ関数を変更するとよい。この場合、ワーク取出し個数の範囲Ｒの算出式は次のようになる。

【0039】

【数2】

【0040】

図２を再び参照すると、ワーク取出し個数算出部４４は、必須ではないが、ワーク取出し前後の対象空間の三次元情報の少なくとも一方に、ワーク取出し後にワークＷの積載領域で変化した変化領域Ｑ（消滅領域Ａと場合により荷崩れ領域Ｂとを含む）を重ねた重畳画像を表示装置７に送出し、表示装置７の表示部は、ワーク取出し個数算出部４４から送出された重畳画像を表示するとよい。例えば重畳画像は図３Ａ及び図３Ｂに示すようなワークの積載領域の側面図でもよい。表示部は、変化領域Ｑ、消滅領域Ａ、及び場合により荷崩れ領域Ｂを、例えば色分け、異なる種類の囲み線、又は表示切替え等によって識別して表示するとよい。これにより、ワーク取出し個数の算出過程が視覚化され、ワーク取出し個数の計算ミスの有無を確認できる。

【0041】

またワーク取出し個数算出部４４は、必須ではないが、ワーク消滅個数の範囲Ｊ～Ｊ＋Ｈと、場合によりワーク荷崩れ個数の範囲Ｋ～Ｋ＋Ｉと、ワーク取出し個数の範囲Ｒと、ワーク取出し個数の範囲Ｒの最大値と最小値が一致した場合にはワーク取出し個数と、のうちの少なくとも一つを表示装置７に送出し、表示装置７の表示部は、ワーク取出し個数算出部４４から送出された、ワーク消滅個数の範囲Ｊ～Ｊ＋Ｈと、場合によりワーク荷崩れ個数の範囲Ｋ～Ｋ＋Ｉと、ワーク取出し個数の範囲Ｒと、ワーク取出し個数の範囲Ｒの最大値と最小値が一致した場合にはワーク取出し個数と、のうちの少なくとも一つを表示するとよい。さらにワーク取出し個数算出部４４は、必須ではないが、これら個数の範囲の算出根拠になった場所（Ｊ、Ｈ、Ｋ、Ｉで示す場所）にワークＷの形状モデルを重ねた重畳画像を表示装置７に送出し、表示装置７の表示部は、ワーク取出し個数算出部４４から送出された重畳画像を表示してもよい。これにより、ワーク取出し個数の算出過程が視覚化され、ワーク取出し個数の計算ミスの有無を確認できる。

【0042】

ワーク取出し個数算出部４４は、算出したワーク取出し個数の範囲Ｒを動作制御部４５に送出する。動作制御部４５はハンド２と搬送装置３の少なくとも一方の動作プログラムに従ってハンド２と搬送装置３の少なくとも一方の動作を制御する。動作制御部４５は、ワーク取出し個数の範囲Ｒに基づき、ハンド２と搬送装置３の少なくとも一方の動作を制御（補正）する。つまり動作制御部４５は、ワーク取出し個数の範囲Ｒが一つの値（最小値と最大値が同じ値）になり、且つ、所望の取出し個数になるまでワークＷの取出し及び払出しを繰り返す動作をハンド２と搬送装置３に対して指令する。動作制御部４５は、ワーク取出し個数の範囲Ｒが一つの値でなく又は所望の取出し個数にならない場合は、ワークＷを元の場所又は仮置き台に払出してワークＷを再度取出す動作をハンド２と搬送装置３に対して指令し、ワーク取出し個数の範囲Ｒが一つの値になり、且つ、所望の取出し個数になった場合は、ワークＷを払出し位置へ搬送して払出す動作をハンド２と搬送装置３に対して指令する。

【0043】

図４及び図５は第一実施形態のハンドシステム１の動作を示すフローチャートである。ステップＳ１では、前回のワーク取出し後の三次元情報がメモリにあるか否かを判定する。前回のワーク取出し後の三次元情報がメモリにない場合は（ステップＳ１のＮＯ）、ステップＳ２においてワーク取出し前の対象空間の三次元情報５１を視覚センサ５から取得する。前回のワーク取出し後の三次元情報がメモリにある場合は（ステップＳ１のＹＥＳ）、ステップＳ３において前回のワーク取出し後の三次元情報をワーク取出し前の三次元情報５１とする。

【0044】

ステップＳ４では、ワーク取出し前のワークＷの位置（及び必要に応じて姿勢）がメモリにあるか否かを判定する。ワーク取出し前のワークＷの位置（及び必要に応じて姿勢）がメモリにない場合は（ステップＳ４のＮＯ）、ステップＳ５においてワーク取出し前の三次元情報５１からワークＷの位置（及び必要に応じて姿勢）を検出する。ワーク取出し前の三次元情報５１におけるワークＷの位置（及び必要に応じて姿勢）がメモリにある場合は（ステップＳ４のＹＥＳ）、ステップＳ６に進む。

【0045】

ステップＳ６では、ワークＷの位置（及び必要に応じて姿勢）に基づいて搬送装置３をワーク取出し位置へ移動させ、ハンド２を動作させてワークＷを取出す。ステップＳ７では、在籍センサ６の在籍情報に基づいて１個以上のワークＷを取出したか否かを判定する。但し、在籍情報に基づいてワーク取出し個数の範囲の計算処理を実行するか否かを判定するステップＳ７は必須のステップではないことに留意されたい。ワークＷを１個も取出していない場合は（ステップＳ７のＮＯ）、ステップＳ１に戻り、ワークＷを再度取出す。１個以上のワークＷを取出した場合は（ステップＳ７のＹＥＳ）、ステップＳ８に進む。ステップＳ８では、ワーク取出し後の三次元情報５２を視覚センサ５から取得する。

【0046】

ステップＳ９では、ワーク取出し前後の三次元情報５１、５２を差分することにより、ワーク取出し後のワーク積載領域で変化した変化領域Ｑ（消滅領域Ａと場合により荷崩れ領域Ｂとを含む）を特定する。変化領域Ｑは差分後の０でない領域である。ステップＳ９の後続処理を変化領域Ｑに制限することにより不要な計算処理を防止できる。変化領域Ｑは、変化領域Ｑに外接する、外接長方形、外接円等に置換してもよいし、又はワークＷの形状に応じた外接長方形、外接円等に置換してもよい。また、変化領域Ｑは、ワーク取出し位置から所定半径の領域を用いて制限してもよい。

【0047】

ワーク取出し前後の三次元情報５１、５２を差分した後の正の領域が消滅領域Ａである場合は、負の領域が荷崩れ領域Ｂになる。一方、ワーク取出し前後の三次元情報５１、５２を差分した後の負の領域が消滅領域Ａである場合は、正の領域が荷崩れ領域Ｂになる。但し、ワークＷが荷崩れする可能性がない積載方法を採用した場合、荷崩れ領域Ｂを特定する必要はない。なお、ステップＳ９で特定された変化領域Ｑ、消滅領域Ａ、及び場合により荷崩れ領域Ｂを、例えば色分け、異なる囲み線、又は表示切替え等によって識別して表示するとよい。これにより、ワーク取出し個数の算出過程が視覚化され、ワーク取出し個数の計算ミスの有無を確認できる。また、ステップＳ９の後続処理として、変化領域Ｑの中でワーク取出し後のワークＷの位置（及び必要に応じて姿勢）を検出し、次回のワーク取出しのためにメモリに格納しておくとよい。

【0048】

ステップＳ１０では、ワーク形状情報に基づき、消滅領域Ａに収容可能なワーク消滅個数の範囲Ｊ～Ｊ＋Ｈと、場合により荷崩れ領域Ｂに収容可能なワーク荷崩れ個数の範囲Ｋ～Ｋ＋Ｉと、を算出する。ワーク消滅個数の最大数Ｊ＋Ｈは、ワーク形状情報から得られるワークＷを消滅領域Ａから繰り返し差分して求めるか、又はワーク形状情報から得られるワークＷ一個当たりの体積で消滅領域Ａの体積を除算して求められる。ワーク消滅個数の最小数Ｊは、ワーク消滅個数の最大数Ｊ＋Ｈが１個以上の場合は１個とし、ワーク消滅個数の最大数Ｊ＋Ｈが０個の場合は０個として求められる。ワーク荷崩れ個数の最大数Ｋ＋Ｉは、ワーク形状情報から得られるワークＷを荷崩れ領域Ｂから繰り返し差分して求めるか、又はワーク形状情報から得られるワークＷ一個当たりの体積で荷崩れ領域Ｂの体積を除算して求められる。ワーク荷崩れ個数の最小数Ｋは、ワーク荷崩れ個数の最大数Ｋ＋Ｉが１個以上の場合は１個とし、ワーク荷崩れ個数の最大数が０個の場合は０個として求められる。なお、ステップＳ１０では、算出したワーク消滅個数の範囲Ｊ～Ｊ＋Ｈと、場合により算出したワーク荷崩れ個数の範囲Ｋ～Ｋ＋Ｉと、を表示装置７に表示するとよい。また図３Ａ及び図３Ｂに示すように、これら個数の範囲の算出根拠になった場所（Ｊ、Ｈ、Ｋ、Ｉで示す場所）にワークＷの形状モデルを重ねた重畳画像を表示装置７に表示してもよい。これにより、ワーク取出し個数の算出過程が視覚化され、計算ミスの有無を確認できるようになる。

【0049】

ステップＳ１１では、ワーク消滅個数の範囲と、場合によりワーク荷崩れ個数の範囲とに基づき、ワーク取出し個数の範囲Ｒ（ｍａｘ（Ｊ－（Ｋ＋Ｉ），１）～ｍａｘ（（Ｊ＋Ｈ）－Ｋ，１））を算出する。つまりワーク消滅個数の最大数Ｊ＋Ｈからワーク荷崩れ個数の最小数Ｋを減算してワーク取出し個数の最大値を求め、ワーク消滅個数の最小数Ｊからワーク荷崩れ個数の最大数Ｋ＋Ｉを減算してワーク取出し個数の最小値を求めることにより、ワーク取出し個数の範囲Ｒを算出する。但し、ワークＷが荷崩れする可能性がない積載方法を採用した場合は、ワーク荷崩れ個数の最小数Ｋを０個とし、ワーク荷崩れ個数の最大数Ｋ＋Ｉを０個とし、ワーク消滅個数の範囲のみに基づいてワーク取出し個数の範囲を算出する。また、在籍情報に基づいて１個以上のワークＷを取出したか否かを判定しない場合は（ステップＳ７の処理を行わない場合は）、式１のｍａｘ（Ｊ－（Ｋ＋Ｉ），０）～ｍａｘ（（Ｊ＋Ｈ）－Ｋ，０））に基づき、０個以上のワーク取出し個数の範囲Ｒを算出する。なお、ステップＳ１１では、算出したワーク取出し個数の範囲Ｒを表示装置７に表示してもよい。

【0050】

ステップＳ１２では、ワーク取出し個数の範囲Ｒに基づき、ハンド２と搬送装置３の少なくとも一方の動作を制御する。ワーク取出し個数の範囲Ｒが一つの値（最小値と最大値が同じ値）になり、且つ、所望の取出し個数になるまでワークＷの取出しと払出しを繰り返す動作をハンド２と搬送装置３に対して指令する。つまりワーク取出し個数の範囲Ｒが一つの値にならず又は所望の取出し個数にならない場合は、ワークＷを元の場所又は仮置き台に払出し、ステップＳ１に戻ってワークＷを再度取出す（ステップＳ６）。ワーク取出し個数の範囲Ｒが一つの値になり、且つ、所望の取出し個数になった場合は、ワークＷを払出し位置へ搬送してワークＷを払出す。

【0051】

第一実施形態のハンドシステム１によれば、ワーク積載領域（消滅領域Ａと場合により荷崩れ領域Ｂ）の中の空洞を考慮してワーク取出し個数の範囲を算出するため、ワーク取出し個数Ｒを正確に推定できる。

【0052】

第二実施形態のハンドシステム１について説明する。第二実施形態のハンドシステム１はワーク取出し個数をより精密に計算する点で、第一実施形態のハンドシステム１とは異なる。以下では、第一実施形態のハンドシステム１と同一の構成及び同一の動作については説明を省略することに留意されたい。

【0053】

ここで図６、図７Ａ及び図７Ｂを参照し、第二実施形態のワーク取出し個数の計算処理について説明する。図６は第二実施形態のハンドシステム１の動作を示すフローチャートであり、図７Ａ及び図７Ｂはワーク取出し前後のワーク積載領域の一例を示す側面図である。図６のフローチャートは、図４のステップＳ１０の処理をより精密に算出するステップＳ２０～Ｓ２４を備えている。図７Ａ及び図７Ｂは、図３Ａ及び図３Ｂと同一のワーク積載領域を示す。

【0054】

ステップＳ２０では、変化領域Ｑ（消滅領域Ａと場合により荷崩れ領域Ｂを含む）において、取出し前後の三次元情報５１、５２の視覚センサ５から見える可視領域から１個のワークＷをそれぞれ取り除いた不可視三次元情報５３、５４（一点破線で示す）をそれぞれ生成する。

【0055】

ステップＳ２１では、変化領域Ｑにおいて、取出し前の不可視三次元情報５３から取出し後の三次元情報５２を差分することにより、消滅領域Ａの中の不可視領域（正の領域）を特定し、消滅領域Ａの中の不可視領域に収容可能なワーク消滅不可視個数Ｈを算出する。ワーク消滅不可視個数Ｈは、ワーク形状情報から得られるワークＷを消滅領域Ａの中の不可視領域から繰り返し差分して求めるか、又はワーク形状情報から得られるワークＷ一個当たりの体積で消滅領域Ａの中の不可視領域の体積を除算して求められる。

【0056】

ステップＳ２２では、変化領域Ｑにおいて、取出し後の不可視三次元情報５４から取出し前の三次元情報５１を差分することにより、荷崩れ領域Ｂの中の不可視領域（正の領域）を特定し、荷崩れ領域Ｂの中の不可視領域に収容可能なワーク荷崩れ不可視個数Ｉを算出する。ワーク荷崩れ不可視個数Ｉは、ワーク形状情報から得られるワークＷを荷崩れ領域Ｂの中の不可視領域から繰り返し差分して求めるか、又はワーク形状情報から得られるワークＷ一個当たりの体積で荷崩れ領域Ｂの中の不可視領域の体積を除算して求められる。但し、ワークＷが荷崩れする可能性がない積載方法を採用した場合は、ステップＳ２２は不要になる。

【0057】

ステップＳ２３では、変化領域Ｑにおいて、取出し前の三次元情報５１から取出し前の不可視三次元情報５３を差分することにより、消滅領域Ａの中の可視領域（正の領域）を特定し、消滅領域Ａの中の可視領域に収容可能なワーク消滅可視個数Ｊを算出する。ワーク消滅可視個数Ｊは、ワーク形状情報から得られるワークＷを消滅領域Ａの中の可視領域から繰り返し差分して求めるか、又はワーク形状情報から得られるワークＷ一個当たりの体積で消滅領域Ａの中の可視領域の体積を除算して求められる。

【0058】

ステップＳ２４では、変化領域Ｑにおいて、取出し後の三次元情報５２から取出し前の不可視三次元情報５３と取出し後の不可視三次元情報５４を差分して荷崩れ領域Ｂの中の可視領域（正の領域）を特定し、荷崩れ領域Ｂの中の可視領域に収容可能なワーク荷崩れ可視個数Ｋを算出する。但し、ワークＷが荷崩れする可能性がない積載方法を採用した場合は、ワーク荷崩れ可視個数Ｋを算出するステップＳ２４が不要になる。ワーク荷崩れ可視個数Ｋは、ワーク形状情報から得られるワークＷを荷崩れ領域Ｂの中の可視領域から繰り返し差分して求めるか、又はワーク形状情報から得られるワークＷ一個当たりの体積で荷崩れ領域Ｂの中の可視領域の体積を除算して求められる。

【0059】

ステップＳ１１では、ワーク消滅個数の範囲（Ｊ～Ｊ＋Ｈ）と、場合によりワーク荷崩れ個数の範囲（Ｋ～Ｋ＋Ｉ）に基づき、ワーク取出し個数の範囲Ｒ（ｍａｘ（Ｊ－（Ｋ＋Ｉ），１）～ｍａｘ（（Ｊ＋Ｈ）－Ｋ，１））を算出する。つまりワーク消滅個数の最大数Ｊ＋Ｈからワーク荷崩れ個数の最小数Ｋを減算してワーク取出し個数の最大値を求め、ワーク消滅個数の最小数Ｊからワーク荷崩れ個数の最大数Ｋ＋Ｉを減算してワーク取出し個数の最小値を求めることにより、ワーク取出し個数の範囲Ｒを算出する。但し、ワークＷが荷崩れする可能性がない積載方法を採用した場合は、ワーク荷崩れ個数の最小数Ｋを０個とし、ワーク荷崩れ個数の最大数Ｋ＋Ｉを０個とし、ワーク消滅個数の範囲のみに基づいてワーク取出し個数の範囲を算出する。また、在籍情報に基づいて１個以上のワークＷを取出したか否かを判定しない場合は（ステップＳ７を行わない場合は）、式１のｍａｘ（Ｊ－（Ｋ＋Ｉ），０）～ｍａｘ（（Ｊ＋Ｈ）－Ｋ，０））に基づき、０個以上のワーク取出し個数の範囲Ｒを算出する。

【0060】

第二実施形態のハンドシステム１によれば、消滅領域Ａの中の不可視領域に収容可能なワーク消滅不可視個数Ｈと、場合により荷崩れ領域Ｂの中の不可視領域に収容可能なワーク荷崩れ不可視個数Ｉと、を算出することにより、ワーク積載領域（消滅領域Ａと場合により荷崩れ領域Ｂ）の中の空洞を考慮してワーク取出し個数の範囲Ｒをより精密に算出するため、ワーク取出し個数Ｒをより正確に推定できる。

【0061】

以下、ワーク積載領域の他の例について説明する。図８Ａ及び図８Ｂはワーク取出し前後のワーク積載領域の他の例を示す側面図である。図８Ａは短辺及び長辺を有する直方形の３個のワークＷを縦方向に積み重ね、真ん中の１個のワークＷを縦にし、残り２個のワークＷを横に倒し、ワークＷ２個分の空洞を含んだワーク取出し前のワーク積載領域を示している。図８Ｂは１個のワークＷを取出し、ワークＷが１個も荷崩れしていないワーク取出し後のワーク積載領域を示している。視覚センサ５はワーク積載領域を上方から撮像してワーク取出し前の三次元情報５１（破線で示す）とワーク取出し後の三次元情報５２（破線で示す）とを出力する。

【0062】

第一実施形態のワーク取出し個数の計算処理によれば（ステップＳ１０を参照）、消滅領域Ａに収容可能なワーク消滅個数の範囲Ｊ～Ｊ＋Ｈが１個～３個になる。荷崩れ領域Ｂは存在しないため、ワーク荷崩れ個数の範囲Ｋ～Ｋ＋Ｉは０個になる。従って、ワーク取出し個数の範囲Ｒ（ｍａｘ（Ｊ－（Ｋ＋Ｉ），１）～ｍａｘ（（Ｊ＋Ｈ）－Ｋ，１））は１個～３個になる。ワーク取出し個数の範囲Ｒが一つの値（最小値と最大値が同じ値）にならず又は所望の個数（本実施形態では１個であるが、複数個の場合もある）になっていないため、元の場所又は仮置き台にワークＷを払出し、ワークＷを再度取出すことになる。

【0063】

第二実施形態のワーク取出し個数の計算処理によれば（ステップＳ２１～Ｓ２４を参照）、消滅領域Ａの中の不可視領域に収容可能なワーク消滅不可視個数Ｈが２個になる。荷崩れ領域Ｂは存在しないため、荷崩れ領域Ｂの中の不可視領域に収容可能なワーク荷崩れ不可視個数Ｉは０個になる。消滅領域Ａの中の可視領域に収容可能なワーク消滅可視個数Ｊが１個になる。荷崩れ領域Ｂは存在しないため、荷崩れ領域Ｂの中の可視領域に収容可能なワーク荷崩れ可視個数Ｋは０個になる。従って、ワーク取出し個数の範囲Ｒ（ｍａｘ（Ｊ－（Ｋ＋Ｉ），１）～ｍａｘ（（Ｊ＋Ｈ）－Ｋ，１））は１個～３個になる。ワーク取出し個数の範囲Ｒが一つの値（最小値と最大値が同じ値）にならず又は所望の取出し個数（本実施形態では１個）になっていないため、元の場所又は仮置き台にワークＷを払出し、ワークＷを再度取出すことになる。

【0064】

ワーク積載領域の別の例について説明する。図９Ａ及び図９Ｂはワーク取出し前後のワーク積載領域の別の例を示す側面図である。図９Ａは短辺及び長辺を有する直方形の３個のワークＷを横方向にバラ積みされ、２個のワークＷが横に倒され、最も左側の残り１個のワークＷが真ん中のワークＷに寄り掛かったワーク取出し前のワーク積載領域を示している。図９Ｂは真ん中の１個のワークＷを取出し、最も左側のワークＷが荷崩れしたワーク取出し後のワーク積載領域を示している。視覚センサ５はワーク積載領域を上方から撮像してワーク取出し前の三次元情報５１（破線で示す）とワーク取出し後の三次元情報５２（破線で示す）とを出力する。

【0065】

第一実施形態のワーク取出し個数の計算処理によれば（ステップＳ１０を参照）、消滅領域Ａに収容可能なワーク消滅個数の範囲Ｊ～Ｊ＋Ｈが２個～２個になる。荷崩れ領域Ｂに収容可能なワーク荷崩れ個数の範囲Ｋ～Ｋ＋Ｉは１個～１個になる。従って、ワーク取出し個数の範囲Ｒ（ｍａｘ（Ｊ－（Ｋ＋Ｉ），１）～ｍａｘ（（Ｊ＋Ｈ）－Ｋ，１））は１個～１個になる。ワーク取出し個数の範囲Ｒが一つの値（最小値と最大値が同じ値）になり、且つ、所望の取出し個数（本実施形態では１個）になっているため、ワークＷを払出し位置へ搬送することになる。

【0066】

第二実施形態のワーク取出し個数の計算処理によれば（ステップＳ２１～Ｓ２４を参照）、消滅領域Ａの中に不可視領域が存在しないため、消滅領域Ａの中の不可視領域に収容可能なワーク消滅不可視個数Ｈが０個になる。荷崩れ領域Ｂの中に不可視領域が存在しないため、荷崩れ領域Ｂの中の不可視領域に収容可能なワーク荷崩れ不可視個数Ｉは０個になる。消滅領域Ａの中の可視領域に収容可能なワーク消滅可視個数Ｊは２個になる。荷崩れ領域Ｂの中の可視領域に収容可能なワーク荷崩れ可視個数Ｋは１個になる。従って、ワーク取出し個数の範囲Ｒ（ｍａｘ（Ｊ－（Ｋ＋Ｉ），１）～ｍａｘ（（Ｊ＋Ｈ）－Ｋ，１））は１個～１個になる。ワーク取出し個数の範囲Ｒが一つの値（最小値と最大値が同じ値）になり、且つ、所望の取出し個数（本実施形態では１個）になっているため、ワークＷを払出し位置へ搬送することになる。

【0067】

ワーク積載領域のさらに別の例について説明する。図１０Ａ及び図１０Ｂはワーク取出し前後のワーク積載領域の別の例を示す側面図である。図１０Ａは短辺及び長辺を有する直方形の２個のワークＷが横に倒され、左側の１個のワークＷが右側の１個のワークＷに引っ掛かってワークＷ１個分浮いたワーク取出し前のワーク積載領域を示している。図１０Ｂは右側の１個のワークＷを取出し、左側のワークＷが地盤沈下のように落下したワーク取出し後のワーク積載領域を示している。視覚センサ５はワーク積載領域を上方から撮像してワーク取出し前の三次元情報５１（破線で示す）とワーク取出し後の三次元情報５２（破線で示す）とを出力する。

【0068】

第一実施形態のワーク取出し個数の計算処理では（ステップＳ１０を参照）、消滅領域Ａに収容可能なワーク消滅個数の範囲Ｊ～Ｊ＋Ｈが２個～２個になる。一方、ワーク取出し前の三次元情報５１とワーク取出し後の三次元情報５２を差分しても荷崩れ領域Ｂ（負の領域又は正の領域）を特定できないため、実際には荷崩れ領域Ｂが存在していても、荷崩れ領域Ｂに収容可能なワーク荷崩れ個数の範囲Ｋ～Ｋ＋Ｉは間違って０個～０個になってしまう（本来は１個～１個）。従って、ワーク取出し個数の範囲Ｒ（ｍａｘ（Ｊ－（Ｋ＋Ｉ），１）～ｍａｘ（（Ｊ＋Ｈ）－Ｋ，１））は間違って２個～２個になり、一つの値（最小値と最大値が同じ値）になる。しかし、ワーク取出し個数（２個）が所望の取出し個数（本実施形態では１個）になっていないため、元の場所又は仮置き台にワークＷを払出し、ワークＷを再度取出すことになるため、ハンドシステム１の誤作動を防止できる。但し、所望の取出し個数が２個の場合は、間違って１個のワークＷだけ払出し位置に搬送してしまう可能性がある。しかし、在籍情報がワーク取出し個数（１個）を含む場合は、算出したワーク取出し個数（２個）を、在籍情報のワーク取出し個数（１個）に基づき検算することにより、ハンドシステム１の誤作動を防止できる。

【0069】

第二実施形態のワーク取出し個数の計算処理では（ステップＳ２１～Ｓ２４を参照）、消滅領域Ａの中に不可視領域が存在しないため、消滅領域Ａの中の不可視領域に収容可能なワーク消滅不可視個数Ｈが０個になる。荷崩れ領域Ｂの中に不可視領域は存在しないため、荷崩れ領域Ｂの中の不可視領域に収容可能なワーク荷崩れ不可視個数Ｉは０個になる。消滅領域Ａの中の可視領域に収容可能なワーク消滅可視個数Ｊは２個になる。しかし、取出し後の三次元情報５２から取出し前の不可視三次元情報５３と取出し後の不可視三次元情報５４とを差分しても、荷崩れ領域Ｂの中の可視領域（正の領域）を特定できないため、実際には荷崩れ領域Ｂが存在していても、荷崩れ領域Ｂの中の可視領域に収容可能なワーク荷崩れ可視個数Ｋは間違って０個になる。従って、ワーク取出し個数の範囲Ｒ（ｍａｘ（Ｊ－（Ｋ＋Ｉ），１）～ｍａｘ（（Ｊ＋Ｈ）－Ｋ，１））は間違って２個～２個になり、一つの値（最小値と最大値が同じ値）になる。しかし、ワーク取出し個数（２個）が所望の取出し個数（本実施形態では１個）になっていないため、元の場所又は仮置き台にワークＷを払出し、ワークＷを再度取出すことになるため、ハンドシステム１の誤作動を防止できる。但し、所望の取出し個数が２個の場合は、間違って１個のワークＷだけ払出し位置に搬送してしまう可能性がある。しかし、在籍情報がワーク取出し個数（１個）を含む場合は、算出したワーク取出し個数（２個）を、在籍情報のワーク取出し個数（１個）に基づき検算することにより、ハンドシステム１の誤作動を防止できる。

【0070】

図１０Ａ及び図１０Ｂに示すように、ワークＷが１個分だけ地盤沈下するように真下に落下する場合、ワークＷが取出されて消滅領域Ａが生成されたのか又はワークＷが地盤沈下したのかが判別できない。従って、誤ったワーク取出し個数の範囲Ｒが算出される可能性がある。しかし、ワーク取出し個数の範囲Ｒが所望の取出し個数（本実施形態では１個）になっているか否かを判定したり、又は在籍情報に基づいてワーク取出し個数の範囲Ｒを検算したり、といった他の方法を組み合わせることにより、ハンドシステム１の誤作動を引き起こす可能性が低減すると考えられる。なお、ワークＷが２個以上分落下した場合、ワーク取出し個数算出部４４がエラーを出力するとよい。

【0071】

第三実施形態のハンドシステム１について説明する。第三実施形態のハンドシステム１は、視覚センサ５を在籍センサとして利用するため、在籍センサ６を備えていない点で、第一実施形態のハンドシステム１とは異なる。視覚センサ５は、複数のワークＷが積載（バラ積み又は積み重ね）されたワーク積載領域と、ワークＷを取出すハンド２と、を含む対象空間の三次元情報を計測して出力する。本実施形態では、視覚センサ５をハンド２や搬送装置３とは別場所の固定点に設置することにより、視覚センサ５がワークＷを取出すハンド２を含む対象空間の三次元情報を出力する。他の実施形態では、視覚センサ５がハンド２を含む対象空間の三次元情報を出力する場合は、第一実施形態のように視覚センサ５をハンド２又は搬送装置３に取付けてもよい。以下では、第一実施形態のハンドシステム１と同一の構成及び同一の動作については説明を省略することに留意されたい。

【0072】

図２を再び参照すると、動作制御部４５が搬送装置３をワーク取出し後の待機位置に移動させたとき、在籍情報取得部４３はワーク取出し後の三次元情報５２を視覚センサ５から取得する。在籍情報取得部４３は、ワーク取出し後の三次元情報５２に基づき、１個以上のワークＷをハンド２で取出したか否かを示す在籍情報を生成し、生成した在籍情報をワーク取出し個数算出部４４に送出する。

【0073】

図１２はワーク取出し後の三次元情報５２の一例を示す距離画像図である。本実施形態の在籍情報取得部４３は、ワーク取出し後の三次元情報５２の中でハンド２を含む在籍確認領域５２ａを予め設定しておく。在籍情報取得部４３は、マッチング処理等の画像処理を用いて在籍確認領域５２ａからワークＷを検出し、１個以上のワークＷをハンド２で取出したか否かを示す在籍情報を生成する。在籍情報が１個以上のワークＷを取出したことを示す場合、ワーク取出し個数算出部４４がワーク取出し個数の範囲の計算処理を実行しする。在籍情報がワークＷを１個も取出していないことを示す場合は、ワーク取出し個数算出部４４がワーク取出し個数の範囲の計算処理を実行せず、ワーク取出し個数を０個として動作制御部４５に送出する。これによりワーク取出し個数算出部４４による不要な計算処理を防止できる。

【0074】

また、在籍情報取得部４３は、画像処理を用いて在籍確認領域５２ａからワーク取出し個数を算出してもよい。ワーク取出し個数算出部４４は、在籍情報がワーク取出し個数を含む場合は、算出したワーク取出し個数の範囲が一つの値（最小値と最大値が同じ値）になり且つ所望の取出し個数（本実施形態では１個）になったときに、算出したワーク取出し個数を、在籍情報のワーク取出し個数に基づき検算するとよい。

【0075】

第三実施形態のハンドシステム１によれば、視覚センサ５を在籍センサとして利用するため、視覚センサ５とは別個の在籍センサを用意する必要がなく、低コストのハンドシステム１を提供できる。また、ワーク取出し個数算出部４４による不要な計算処理を防止できる。

【0076】

前述のコンピュータプログラムは、コンピュータ読取り可能な非一時的記録媒体、例えばＣＤ－ＲＯＭ等に記録して提供してもよいし、或いは有線又は無線を介してＷＡＮ（wide area network）又はＬＡＮ（local area network）上のサーバ装置から配信して提供してもよい。

【0077】

本明細書において種々の実施形態について説明したが、本発明は、前述の実施形態に限定されるものではなく、特許請求の範囲に記載された範囲内において種々の変更を行えることを認識されたい。

【符号の説明】

【0078】

１ ハンドシステム
２ ハンド
３ 搬送装置
４ 制御装置
５ 視覚センサ
６ 在籍センサ
７ 表示装置
４０ ワーク取出し個数算出装置
４１ 三次元情報取得部
４２ ワーク形状情報取得部
４３ 在籍情報取得部
４４ ワーク取出し個数算出部
４５ 動作制御部
５１ ワーク取出し前の三次元情報
５２ ワーク取出し後の三次元情報
５２ａ 在籍確認領域
５３ ワーク取出し前の不可視三次元情報
５４ ワーク取出し後の不可視三次元情報
Ａ 消滅領域
Ｂ 荷崩れ領域
Ｈ ワーク消滅不可視個数
Ｉ ワーク荷崩れ不可視個数
Ｊ ワーク消滅可視個数
Ｋ ワーク荷崩れ可視個数
Ｑ 変化領域
Ｗ ワーク

【図1】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図8A】

【図8B】

【図9A】

【図9B】

【図10A】

【図10B】

【図11】

【図12】