特開 2022-174815 情報処理装置、システム、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022174815

(43)【公開日】2022-11-25

(54)【発明の名称】情報処理装置、システム、方法及びプログラム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20221117BHJP

【ＦＩ】

B25J13/08 A

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2021080794

(22)【出願日】2021-05-12

(71)【出願人】

【識別番号】315014671

【氏名又は名称】東京ロボティクス株式会社

(74)【代理人】

【識別番号】100098899

【弁理士】

【氏名又は名称】飯塚 信市

(74)【代理人】

【識別番号】100163865

【弁理士】

【氏名又は名称】飯塚 健

(72)【発明者】

【氏名】川西 亮輔

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS04

3C707BS09

3C707DS01

3C707ES01

3C707KS03

3C707KS04

3C707KT01

3C707KT12

3C707KX19

3C707LT06

3C707LV07

3C707LW03

3C707NS07

(57)【要約】      （修正有）

【課題】認識した物体に対し作業を行うロボット等において、認識処理の作業時間を短縮する。
【解決手段】ロボット作業領域の観測データを取得する観測データ取得部と、前記観測データに基づき前記作業領域内の物体を認識する認識処理を行い第１の認識処理結果を生成する第１認識処理結果生成部と、前記観測データ及び前記第１の認識処理結果を記憶する記憶部と、前記記憶部に記憶された過去の第１の認識処理結果における物体の認識処理結果に対し物体選別処理を行い、前記作業領域内の物体の認識処理結果である第２の認識処理結果を生成する第２認識処理結果生成部と、前記第１の認識処理結果の生成が完了している場合は前記第１の認識処理結果を前記ロボット又はその制御装置へ提供し、前記結果の生成が完了していない場合は前記第２の認識処理結果を前記ロボット又はその制御装置へと提供する認識処理結果提供部とを備える。
【選択図】図１０

【特許請求の範囲】

【請求項1】

ロボットの作業領域の観測データを取得する、観測データ取得部と、
前記観測データに基づいて、前記作業領域内の物体を認識する認識処理を行って第１の認識処理結果を生成する、第１認識処理結果生成部と、
前記観測データ及び前記第１の認識処理結果を記憶する、記憶部と、
前記記憶部に記憶された過去の第１の認識処理結果における物体の認識処理結果に対して物体選別処理を行って、前記作業領域内の物体の認識処理結果である第２の認識処理結果を生成する、第２認識処理結果生成部と、
前記第１の認識処理結果の生成が完了している場合、前記第１の認識処理結果を前記ロボット又はその制御装置へと提供し、前記第１の認識処理結果の生成が完了していない場合、前記第２の認識処理結果を前記ロボット又はその制御装置へと提供する、認識処理結果提供部と、
を備えた、情報処理装置。

【請求項2】

前記観測データは、３次元観測データであり、
前記認識処理は、前記作業領域内の物体の３次元の位置及び姿勢を認識する処理である、請求項１に記載の情報処理装置。

【請求項3】

前記観測データは、３次元観測データであり、
前記認識処理は、前記作業領域内の物体の３次元の位置及び姿勢を認識し、その認識結果に基づいて、前記ロボットによる前記物体の把持位置及び把持姿勢を算出する処理である、請求項１に記載の情報処理装置。

【請求項4】

前記認識処理と前記物体選別処理とは並行して実行される、請求項１に記載の情報処理装置。

【請求項5】

前記第２認識処理結果生成部は、
前記観測データ、前記記憶部に記憶された過去の観測データ及び前記記憶部に記憶された過去の第１の認識処理結果に基づいて、前記物体選別処理を行う、請求項１に記載の情報処理装置。

【請求項6】

前記物体選別処理は、
前記観測データに係る画像と、前記過去の観測データに係る画像の差分に基づいて選別処理を行うものである、請求項５に記載の情報処理装置。

【請求項7】

前記物体選別処理は、
前記観測データに係る画像に含まれる物体を幾何学図形で置換した画像と、前記過去の観測データに係る画像に含まれる物体を幾何学図形で置換した画像の差分に基づいて選別処理を行うものである、請求項５に記載の情報処理装置。

【請求項8】

前記第２認識処理結果生成部は、
前記観測データと、前記記憶部に記憶された過去の観測データに基づいて、変化領域を特定し、
前記変化領域の面積が所定の閾値以上である場合に、前記変化領域に対応する物体の選別処理を行う、請求項１に記載の情報処理装置。

【請求項9】

前記第２認識処理結果生成部は、
前記観測データと、前記記憶部に記憶された過去の観測データに基づいて、変化領域を特定し、
前記変化領域について物体が出現した領域であるか又は物体が消失した領域であるかを識別する、請求項１に記載の情報処理装置。

【請求項10】

前記第２認識処理結果生成部は、
前記観測データと、前記記憶部に記憶された過去の観測データに基づいて、変化領域を特定し、
前記変化領域のうち物体が出現した領域が所定条件を満たす場合、前記記憶部の記憶内容を初期化する、請求項１に記載の情報処理装置。

【請求項11】

前記作業は、物体の認識処理結果取得工程、取り出し工程、及び、載置工程を含むピッキング作業を繰り返す作業であり、
前記認識処理と前記選別処理は、前記取り出し工程完了後に開始する、請求項１に記載の情報処理装置。

【請求項12】

前記認識処理結果提供部は、前記記憶部に前記観測データ及び前記第１の認識処理結果が記憶されていない場合、前記認識処理が完了するまで待機状態となる、請求項１に記載の情報処理装置。

【請求項13】

ロボットの作業領域の観測データを取得する、観測データ取得部と、
前記観測データに基づいて、前記作業領域内の物体を認識する認識処理を行って第１の認識処理結果を生成する、第１認識処理結果生成部と、
前記観測データ及び前記第１の認識処理結果を記憶する、記憶部と、
前記記憶部に記憶された過去の第１の認識処理結果における物体の認識処理結果に対して物体選別処理を行って、前記作業領域内の物体の認識処理結果である第２の認識処理結果を生成する、第２認識処理結果生成部と、
前記第１の認識処理結果の生成が完了している場合、前記第１の認識処理結果を前記ロボット又はその制御装置へと提供し、前記第１の認識処理結果の生成が完了していない場合、前記第２の認識処理結果を前記ロボット又はその制御装置へと提供する、認識処理結果提供部と、
を備えた、情報処理システム。

【請求項14】

ロボットの作業領域の観測データを取得する、観測データ取得ステップと、
前記観測データに基づいて、前記作業領域内の物体を認識する認識処理を行って第１の認識処理結果を生成する、第１認識処理結果生成ステップと、
前記観測データ及び前記第１の認識処理結果を記憶する、記憶ステップと、
前記記憶ステップにて記憶された過去の第１の認識処理結果における物体の認識処理結果に対して物体選別処理を行って、前記作業領域内の物体の認識処理結果である第２の認識処理結果を生成する、第２認識処理結果生成ステップと、
前記第１の認識処理結果の生成が完了している場合、前記第１の認識処理結果を前記ロボット又はその制御装置へと提供し、前記第１の認識処理結果の生成が完了していない場合には、前記第２の認識処理結果を前記ロボット又はその制御装置へと提供する、認識処理結果提供ステップと、
を備えた、情報処理方法。

【請求項15】

ロボットの作業領域の観測データを取得する、観測データ取得ステップと、
前記観測データに基づいて、前記作業領域内の物体を認識する認識処理を行って第１の認識処理結果を生成する、第１認識処理結果生成ステップと、
前記観測データ及び前記第１の認識処理結果を記憶する、記憶ステップと、
前記記憶ステップにて記憶された過去の第１の認識処理結果における物体の認識処理結果に対して物体選別処理を行って、前記作業領域内の物体の認識処理結果である第２の認識処理結果を生成する、第２認識処理結果生成ステップと、
前記第１の認識処理結果の生成が完了している場合、前記第１の認識処理結果を前記ロボット又はその制御装置へと提供し、前記第１の認識処理結果の生成が完了していない場合、前記第２の認識処理結果を前記ロボット又はその制御装置へと提供する、認識処理結果提供ステップと、
を備えた、情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、情報処理装置、特に、物体認識を伴う作業を行うロボットの制御に関する情報処理装置等に関する。

【背景技術】

【0002】

生産現場や物流倉庫等における作業の自動化のため、ロボットの導入が進められている。特に、近年、バラ積みピッキング作業等の物体認識を伴う作業を行うロボットの導入に対するニーズが大きい。

【0003】

バラ積みピッキング作業とは、整列されていないワーク等の物体をカメラ画像等を介して認識し、認識した物体を取り出す作業、又は、取り出した物体をさらに所望の位置に載置する作業をいう。特許文献１には、バラ積みされた物体の３次元位置姿勢をカメラとレンジセンサを介して認識し、認識した物品を取り出すロボットが開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１３－１０１０４５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ところで、この種のロボットにおいては、操作対象となる物体の認識のため、その工程中において、各物体の３次元位置及び姿勢を計算する必要がある。

【0006】

しかしながら、この計算コストは一般に高く、認識処理には一定の時間を要していた。この認識処理時間によりロボットにおいては待機時間が発生し、その結果、作業時間が全体として大きくなってしまうことがあった。

【0007】

図１４を参照しつつ、具体例を挙げて説明する。図１４は、バラ積みピッキング作業を行うロボットシステムの動作例を時系列で示した説明図である。同図の例において、ロボットシステムは、ピッキング作業を行うアームを備えた図示しないロボットと、後述のカメラコントローラからの認識処理結果を受けてロボットの動作制御を行うロボットコントローラと、ロボットの作業領域を撮影する３次元カメラと接続されてロボットコントローラに対してピッキング対象となる物体の認識処理結果を提供するカメラコントローラとを備えている。

【0008】

同図においては、上下３段に各装置の動作が時系列で示されている。上段は、カメラコントローラの動作を示している。中段は、ロボットコントローラの動作を示している。下段は、ロボットコントローラが取得した認識処理の結果を表している。

【0009】

ロボットコントローラは、３次元カメラの観測データに基づく物体の認識処理結果を取得する処理、認識処理結果に基づいて認識した物体をロボットに取り出させる制御処理、及び、取り出した物体をロボットに載置させる制御処理を順に繰り返す。

【0010】

一方、カメラコントローラは、ロボットコントローラからのリクエストに応じて、３次元カメラからの観測データの取得処理と、観測データに基づく物体の認識処理を行う。３次元カメラによる観測データには、３次元カメラの撮像領域内の画像情報と奥行情報が含まれる。また、認識処理により、撮影領域内の物体の３次元位置及び姿勢が認識される。この認識処理結果は、ロボットコントローラへと提供されて、ロボットの動作制御に利用される。

【0011】

以上のロボットコントローラとカメラコントローラの動作を前提とすると、ロボットシステムの動作は次のようになる。すなわち、処理が開始すると、ロボットコントローラは、カメラコントローラから取得した認識処理結果（認識処理結果０）に基づいて把持可能な物体から特定の物体（認識処理結果０において丸で囲まれた物体）を取り出す処理をロボットに対して実行させる。なお、同図において、把持対象物として認識されている物体は、灰色で塗りつぶして示されており、その他の物体は白抜きで示されている。取り出し処理の後、ロボットコントローラに対して認識処理のリクエスト信号を送信すると共に、取り出した物体の載置処理を行う。

【0012】

ロボットコントローラから認識処理のリクエスト信号を受信したカメラコントローラは、３次元カメラから観測データを取得し、当該観測データに基づいて物体の認識処理を行う。認識処理の結果は、認識処理の完了次第、ロボットコントローラへと提供される（認識処理結果１）。このような一連の処理を繰り返すことで、ピッキング作業は進行する。

【0013】

このとき、カメラコントローラにおいては、載置処理と並行して、データ取得処理と認識処理が実行されるものの、載置処理の完了時点においては未だ認識処理が完了していない。そのため、ロボットコントローラは、認識処理が完了するまでの間待機しなければならず、結果として、作業時間が大きくなってしまっていた。

【0014】

本発明は上述の技術的背景に鑑みてなされたものであり、その目的は、認識した物体に対して作業を行うロボット等において、物体の認識処理時間に起因する待機時間を短縮し又は無くすことにより作業時間を短縮することにある。

【課題を解決するための手段】

【0015】

上述の技術的課題は、以下の構成を有する情報処理装置等により解決することができる。

【0016】

すなわち、本発明に係る情報処理装置は、ロボットの作業領域の観測データを取得する、観測データ取得部と、前記観測データに基づいて、前記作業領域内の物体を認識する認識処理を行って第１の認識処理結果を生成する、第１認識処理結果生成部と、前記観測データ及び前記第１の認識処理結果を記憶する、記憶部と、前記記憶部に記憶された過去の第１の認識処理結果における物体の認識処理結果に対して物体選別処理を行って、前記作業領域内の物体の認識処理結果である第２の認識処理結果を生成する、第２認識処理結果生成部と、前記第１の認識処理結果の生成が完了している場合、前記第１の認識処理結果を前記ロボット又はその制御装置へと提供し、前記第１の認識処理結果の生成が完了していない場合、前記第２の認識処理結果を前記ロボット又はその制御装置へと提供する、認識処理結果提供部と、を備えている。

【0017】

このような構成によれば、作業領域内の物体の認識処理が完了している場合には、第１の認識処理結果を提供し、一方、認識処理が完了していない場合であっても、認識処理よりも高速に実行可能な物体選別処理を行って第２の認識処理結果を提供することができるので、認識した物体に対して作業を行うロボット又はその制御装置等に対して認識処理結果を適時に提供することができる。すなわち、認識した物体に対して作業を行うロボット等において、物体の認識処理時間に起因する待機時間を短縮し又は無くすことできるので、作業時間を短縮することができる。

【0018】

前記観測データは、３次元観測データであり、前記認識処理は、前記作業領域内の物体の３次元の位置及び姿勢を認識する処理であってもよい。

【0019】

このような構成によれば、計算コストの高い３次元認識処理を行う間であっても、３次元認識処理よりも高速に実行可能な選別処理を行って第２の認識処理結果を提供することができるので、認識した物体に対して作業を行うロボット又はその制御装置等に対して認識処理結果を適時に提供することができる。

【0020】

前記観測データは、３次元観測データであり、前記認識処理は、前記作業領域内の物体の３次元の位置及び姿勢を認識し、その認識結果に基づいて、前記ロボットによる前記物体の把持位置及び把持姿勢を算出する処理であってもよい。

【0021】

このような構成によれば、計算コストの高い３次元認識処理を行う間であっても、３次元認識処理よりも高速に実行可能な選別処理を行って第２の認識処理結果を提供することができるので、認識した物体に対して作業を行うロボット又はその制御装置等に対して認識処理結果を適時に提供することができる。

【0022】

前記認識処理と前記物体選別処理とは並行して実行されてもよい。

【0023】

このような構成によれば、認識処理と選別処理が並行的に実行されるので、計算コストの高い３次元認識処理を行う間であっても、３次元認識処理よりも高速に実行可能な選別処理を行うことができ、適時に認識処理結果を提供することができる。

【0024】

前記第２認識処理結果生成部は、前記観測データ、前記記憶部に記憶された過去の観測データ及び前記記憶部に記憶された過去の第１の認識処理結果に基づいて、前記物体選別処理を行う、ものであってもよい。

【0025】

このような構成によれば、過去のデータを参照してその経時的変化を検出する等して、物体の選別処理を行うことができる。

【0026】

前記物体選別処理は、前記観測データに係る画像と、前記過去の観測データに係る画像の差分に基づいて選別処理を行うものであってもよい。

【0027】

このような構成によれば、差分画像に基づいて過去の第１の認識処理結果における物体の認識処理結果を選別するので、認識処理に比して計算コストが小さい選別処理を実現することができる。

【0028】

前記物体選別処理は、前記観測データに係る画像に含まれる物体を幾何学図形で置換した画像と、前記過去の観測データに係る画像に含まれる物体を幾何学図形で置換した画像の差分に基づいて選別処理を行うものであってもよい。

【0029】

このような構成によれば、認識対象となる物体が幾何学形状を有する図形により置換されるので、変化領域の特定が容易となる。

【0030】

前記第２認識処理結果生成部は、前記観測データと、前記記憶部に記憶された過去の観測データに基づいて、変化領域を特定し、前記変化領域の面積が所定の閾値以上である場合に、前記変化領域に対応する物体の選別処理を行う、ものであってもよい。

【0031】

このような構成によれば、所定の閾値を用いることにより認識精度を調整することができる。

【0032】

前記第２認識処理結果生成部は、前記観測データと、前記記憶部に記憶された過去の観測データに基づいて、変化領域を特定し、前記変化領域について物体が出現した領域であるか又は物体が消失した領域であるかを識別する、ものであってもよい。

【0033】

このような構成によれば、物体の挙動をより詳細に特定することができる。

【0034】

前記第２認識処理結果生成部は、前記観測データと、前記記憶部に記憶された過去の観測データに基づいて、変化領域を特定し、前記変化領域のうち物体が出現した領域が所定条件を満たす場合、前記記憶部の記憶内容を初期化する、ものであってもよい。

【0035】

このような構成によれば、ロボットの作業対象となる物体が作業中に追加された場合等にも適切に対応することができる。

【0036】

前記作業は、物体の認識処理結果取得工程、取り出し工程、及び、載置工程を含むピッキング作業を繰り返す作業であり、前記認識処理と前記選別処理は、前記取り出し工程後に開始する、ものであってもよい。

【0037】

このような構成によれば、載置工程中に認識処理を進めることで、次のサイクルの認識結果取得工程においていずれかの認識処理結果を取得することができる。これにより、物体の認識処理時間に起因する待機時間を短縮し又は無くすことできるので、作業時間を短縮することができる。

【0038】

前記認識処理結果提供部は、前記記憶部に前記観測データ及び前記第１の認識処理結果が記憶されていない場合、前記認識処理が完了するまで待機状態となる、ものであってもよい。

【0039】

このような構成によれば、使用開始時や初期化処理直後であっても、正常な動作を担保することができる。

【0040】

本発明はシステムとしても観念することができる。すなわち、本発明に係るシステムは、ロボットの作業領域の観測データを取得する、観測データ取得部と、前記観測データに基づいて、前記作業領域内の物体を認識する認識処理を行って第１の認識処理結果を生成する、第１認識処理結果生成部と、前記観測データ及び前記第１の認識処理結果を記憶する、記憶部と、前記記憶部に記憶された過去の第１の認識処理結果における物体の認識処理結果に対して物体選別処理を行って、前記作業領域内の物体の認識処理結果である第２の認識処理結果を生成する、第２認識処理結果生成部と、前記第１の認識処理結果の生成が完了している場合、前記第１の認識処理結果を前記ロボット又はその制御装置へと提供し、前記第１の認識処理結果の生成が完了していない場合、前記第２の認識処理結果を前記ロボット又はその制御装置へと提供する、認識処理結果提供部と、を備えている。

【0041】

本発明は方法としても観念することができる。すなわち、本発明に係る方法は、ロボットの作業領域の観測データを取得する、観測データ取得ステップと、前記観測データに基づいて、前記作業領域内の物体を認識する認識処理を行って第１の認識処理結果を生成する、第１認識処理結果生成ステップと、前記観測データ及び前記第１の認識処理結果を記憶する、記憶ステップと、前記記憶部に記憶された過去の第１の認識処理結果における物体の認識処理結果に対して物体選別処理を行って、前記作業領域内の物体の認識処理結果である第２の認識処理結果を生成する、第２認識処理結果生成ステップと、前記第１の認識処理結果の生成が完了している場合、前記第１の認識処理結果を前記ロボット又はその制御装置へと提供し、前記第１の認識処理結果の生成が完了していない場合、前記第２の認識処理結果を前記ロボット又はその制御装置へと提供する、認識処理結果提供ステップと、を備えている。

【0042】

本発明はコンピュータプログラムとしても観念することができる。すなわち、本発明に係るプログラムは、ロボットの作業領域の観測データを取得する、観測データ取得ステップと、前記観測データに基づいて、前記作業領域内の物体を認識する認識処理を行って第１の認識処理結果を生成する、第１認識処理結果生成ステップと、前記観測データ及び前記第１の認識処理結果を記憶する、記憶ステップと、前記記憶部に記憶された過去の第１の認識処理結果における物体の認識処理結果に対して物体選別処理を行って、前記作業領域内の物体の認識処理結果である第２の認識処理結果を生成する、第２認識処理結果生成ステップと、前記第１の認識処理結果の生成が完了している場合、前記第１の認識処理結果を前記ロボット又はその制御装置へと提供し、前記第１の認識処理結果の生成が完了していない場合、前記第２の認識処理結果を前記ロボット又はその制御装置へと提供する、認識処理結果提供ステップと、を備えている。

【発明の効果】

【0043】

本発明によれば、認識した物体に対して作業を行うロボット等において、物体の認識処理時間に起因する待機時間を短縮し又は無くすことできるので、作業時間を短縮することができる。

【図面の簡単な説明】

【0044】

【図1】図１は、ロボットシステムの全体構成図である。

【図2】図２は、カメラコントローラの機能ブロック図である。

【図3】図３は、ロボットコントローラの機能ブロック図である。

【図4】図４は、ロボットコントローラの動作について説明するフローチャートである。

【図5】図５は、カメラコントローラの動作について説明するフローチャートである。

【図6】図６は、認識処理の詳細フローチャートである。

【図7】図７は、選別処理の詳細フローチャートである。

【図8】図８は、選別処理の概念図である。

【図9】図９は、リセット処理の適用例に関する説明図である。

【図10】図１０は、ロボットシステムの動作の全体像を時系列的で示した説明図である。

【図11】図１１は、変形例に係る選別処理に関する説明図（その１）である。

【図12】図１２は、カメラコントローラにおいて実行されるプロセスに関する説明図である。

【図13】図１３は、変形例に係る選別処理に関する説明図（その２）である。

【図14】図１４は、バラ積みピッキング作業を行うロボットシステムの動作例を時系列で示した説明図である。

【発明を実施するための形態】

【0045】

以下、本発明の好適な実施の形態について添付の図１～図１３を参照しつつ詳細に説明する。

【0046】

（１．第１の実施形態）
第１の実施形態として、本発明をバラ積みピッキング作業を行うロボットシステム１００に対して適用した例について説明する。なお、本実施形態においては、バラ積みピッキング作業を例に説明するものの、物体の認識処理を伴う作業であれば他の作業であってもよい。

【0047】

（１．１ 構成）
図１は、ロボットシステム１００の全体構成図である。同図から明らかな通り、ロボットシステム１００は、ロボット２と、ロボット２の動作制御を行うロボットコントローラ４と、ロボットコントローラ４と接続されたカメラコントローラ５、カメラコントローラ５と接続された３次元カメラ１とを備えている。また、ロボット２の近傍には、バラ積みされたワーク３１を収容した箱３が配置されている。ワーク３１は、本実施形態においては、円筒状の物体である。

【0048】

本実施形態において、ロボット２は、その先端にグリッパ等の把持部を備えた多関節ロボットアームであり、箱３内にバラ積みされたワーク３１を把持して取り出すことが出来るように構成されている。なお、ロボット２は、ロボットアームに限定されず、作業内容に応じて、他の種々の形態のロボットを採用することができる。

【0049】

３次元カメラ１は、箱３内の全体を画角内に収めるよう配置されている。３次元カメラ１は、その前面に上下二段に撮像窓１１と投光窓１２とを備えている。３次元カメラ１は、ストラクチャードライト方式を採用しており、投光窓１２から所定のパターン（例えば、縞模様）を対象物（箱３内のバラ積みされたワーク３１）に対して投光し、当該パターンを撮像窓１１を介して撮像することで奥行情報を取得する。また、３次元カメラは通常のカラーの画像を撮影することができる。なお、３次元情報の取得は本センサによるものに限定されず、他のセンサを採用することも可能である。

【0050】

カメラコントローラ５は、３次元カメラから観測データ、すなわち、撮影した画像データと奥行情報を取得し、観測領域内のワーク３１の３次元認識処理を行う。認識処理結果は、ロボットコントローラ４へと提供される。

【0051】

ロボットコントローラ４は、ロボット２の動作制御を行う。本実施形態において、ロボットコントローラ４は、カメラコントローラ５からの認識処理結果に応じて、ワーク３１を適切に把持、移動等できるようロボット２の各関節に設けられたモータの位置制御を行う。なお、ロボットコントローラ４による制御の手法はこのような方法に限定されず、力制御など種々の公知の手法を採用することができる。

【0052】

ロボットシステム１００の構成は本実施形態に示すものに限定されず、様々に変更することができる。従って、各機能の物理的配置を自在に変更してもよく、例えば、ロボットコントローラ４とカメラコントローラ５又はそれに加えて３次元カメラ１を一体としてもよいし、或いは、すべての装置をロボット２に集約してもよい。若しくは、各装置の機能を複数の装置に分離してもよい。

【0053】

図２は、本実施形態に係るカメラコントローラ５の機能ブロック図である。同図から明らかな通り、カメラコントローラ５は、記憶部５１、データ取得部５２、認識処理部５３、選別処理部５４、データ入出力部５６を備えている。

【0054】

記憶部５１は、ＲＯＭ／ＲＡＭ等のメモリ、ハードディスク、フラッシュメモリ等の記憶装置であって、種々のデータの書き込みや読み出しを可能とする。データ取得部５２は、３次元カメラ１から観測データを取得して、記憶部５１へと記憶する処理を行う。認識処理部５３は、観測データに基づいて画像中の物体（ワーク３１）の認識処理を行い、認識処理結果を記憶部５１へと記憶する。

【0055】

選別処理部５４は、記憶部５１に記憶された認識処理結果、現在の観測データ、及び過去の観測データから画像中の変化領域を検出して、物体の選別処理を行い、その選別処理結果を記憶部５１へと記憶する。データ入出力部５６は、記憶部５１に記憶された選別処理結果をロボットコントローラ４に対して提供する。

【0056】

図３は、ロボットコントローラ４の機能ブロック図である。同図から明らかな通り、ロボットコントローラ４は、記憶部４１、認識処理結果取得部４２、取出動作制御部４３、載置動作制御部４４及びロボットインタフェース４６とを備えている。

【0057】

記憶部５１は、ＲＯＭ／ＲＡＭ等のメモリ、ハードディスク、フラッシュメモリ等の記憶装置であって、種々のデータの書き込みや読み出しを可能とする。認識処理結果取得部４２は、カメラコントローラ５から認識処理結果を受信し、記憶部４１へと記憶する。

【0058】

取出動作制御部４３は、ロボットインタフェース４６からロボットの関節角度情報等の必要な情報を取得しつつ、ロボットインタフェース４６を介してロボット２を制御し、ロボット２に対して、認識したワーク３１の把持を含めた取り出し動作を行わせる。

【0059】

載置動作制御部４４は、ロボットインタフェース４６からロボットの関節角度情報等の必要な情報を取得しつつ、ロボットインタフェース４６を介してロボット２を制御し、ロボット２に対して、把持したワーク３１を載置する動作を行わせる。

【0060】

ロボットインタフェース４６は、ロボット２への動作指令又はロボット２からの関節角度等の状態情報の取得を仲介する。

【0061】

（１．２ 動作）
次に、ロボットシステム１００の動作について説明する。

【0062】

図４は、ロボットコントローラ４の動作について説明するフローチャートである。同図から明らかな通り、処理が開始すると、ロボットコントローラ４の取出動作制御部４３は、記憶部４１から、作業領域内のワーク３１の認識処理結果の取得処理を行う（Ｓ１１）。

【0063】

その後、取出動作制御部４３は、取得した認識処理結果に基づいて、ロボット２に対して、認識した物体のうちの１つを把持して箱３から取り出す動作を行わせる制御を行う（Ｓ１２）。ワーク３１の取出動作処理が完了すると、取出動作制御部４３は、認識処理結果取得部４２を介して、取出動作完了通知をカメラコントローラ５に対して行う（Ｓ１３）。後述するように、この通知に応じて、カメラコントローラ５は、観測データの取得処理を開始する。

【0064】

取出動作完了通知処理を行った後、載置動作制御部４４は、ロボット２に対して、把持しているワーク３１を箱３の外の所定の場所、例えば、ベルトコンベア上に載置する動作を行わせる制御を行う（Ｓ１５）。

【0065】

載置処理が完了すると、ロボット２は初期姿勢へと復帰し、再び、一連の処理（Ｓ１１～Ｓ１５）を繰り返す。この一連の処理は、所定の停止処理がなされるまで繰り返される。

【0066】

図５は、カメラコントローラ５の動作について説明するフローチャートである。同図から明らかな通り、処理が開始すると、カメラコントローラ５は、データ入出力部５６を介して上述の取出動作完了通知を受信するまで、待機状態となる（Ｓ３１ＮＯ）。この状態において、ロボットコントローラ４から取出動作完了通知を受信すると（Ｓ３１ＹＥＳ）、データ取得部５２は、３次元カメラ１から、観測データ、すなわち、画像情報と奥行き情報を取得する処理を行う（Ｓ３２）。

【0067】

この観測データの取得処理の後、カメラコントローラ５は、認識処理部５３を用いて観測データに基づくワーク３１の認識処理を実行する（Ｓ３４）。また、それと並行して、選別処理部５４を用いて、同観測データに基づくワーク３１の選別処理を実行する（Ｓ３６）。なお、これらの処理が終了すると、再び初期状態、すなわち、取出動作完了通知の待機状態（Ｓ３１ＮＯ）へと戻る。

【0068】

図６は、認識処理（Ｓ３４）の詳細フローチャートである。同図から明らかな通り、処理が開始すると、認識処理部５３は、観測データに基づいて、観測領域内の物体、すなわち、ワーク３１の認識処理を行う（Ｓ３４１）。この認識処理には、具体的には、観測データに係るカラー画像情報から１又は複数のワーク３１の検出を行う処理と、同観測データに係る奥行情報を加味して各ワーク３１の把持位置及び把持姿勢を決定する処理が含まれる。なお、この認識処理は、物体検出処理と奥行情報を加味した把持位置及び姿勢の検出処理とを１又は複数の対象に対して行うため、演算量が比較的に大きく、その結果、処理の完了には一定の時間を要することとなる。

【0069】

この認識処理が完了すると、認識処理部５３は、記憶部５１の記憶データに対して他のプロセスがアクセス中であるかを検出し、記憶データに他のプロセスがアクセス中である場合（Ｓ３４２ＹＥＳ）、そのアクセスが終了するまで待機する処理を行う。一方、記憶データに他のプロセスがアクセス中でない場合（Ｓ３４２ＮＯ）、認識処理部５３は、認識処理の結果である認識処理結果データと当該認識処理の基礎となった観測データにより、記憶部５１に記憶された対応するデータ（記憶データ）を更新する処理を行う（Ｓ３４３）。

【0070】

この更新処理の後、認識処理部５３は、その認識処理結果をデータ入出力部５６を介してロボットコントローラ４へと送信して（Ｓ３４５）、処理は終了する。

【0071】

図７は、選別処理（Ｓ３６）の詳細フローチャートである。同図から明らかな通り、処理が開始すると、選別処理部５４は、記憶部５１に既に記憶データ、すなわち、観測データ及びその認識処理結果が存在するか否かを確認する処理を行う（Ｓ３６１）。認識処理結果が存在しない場合（Ｓ３６１ＮＯ）、選別処理部５４は、いずれかの記憶データが記憶されるまで待機する処理を行う。

【0072】

記憶データが存在する場合（Ｓ３６１）、選別処理部５４は、記憶データが他のプロセスにより更新中であるか否か又はアクセスされているかを検出する。更新中である場合等には、選別処理部５４は、所定の待機処理を行う（Ｓ３６２ＹＥＳ）。一方、更新中等でない場合（Ｓ３６２ＮＯ）、選別処理部５４は、記憶部５１から記憶データ、すなわち、過去に記憶された直近の観測データとその認識処理結果を取得する（Ｓ３６４）。

【0073】

その後、選別処理部５４は、現在の観測データと記憶データとに基づいてワーク３１を選別する処理を行う。ここで、選別処理とは、概して言えば、過去の認識処理において認識されたワーク３１から、既に取り出し済みのワーク３１を通常の認識処理よりも少ない演算量で除外する処理である。

【0074】

図８は、選別処理の概念図である。同図から明らかな通り、選別処理部５４は、まず、記憶データに係る画像データと、現在の観測データに係る画像データとの差分をとる処理を行う。同図の差分処理結果画像から明らかな通り、この差分処理により、変化領域、すなわち、ロボット２による取り出し動作により除去されたワーク３１に対応する領域が検出される。

【0075】

その後、記憶データに係る直近の認識処理結果と、変化領域を表す差分処理結果とを照合し、直近の認識処理結果において認識されていたワーク３１のうちから既に除去されたワーク３１が特定され、当該ワーク３１を除くワーク３１について認識された状態を選別処理結果として出力する。

【0076】

このような処理によれば、選別処理の計算コストは小さく、認識処理程の計算コストは不要となるため、迅速に認識処理結果を更新することができる。

【0077】

選別処理が完了すると、次に、所定のリセット条件を満たすか否かの判定処理が行われる（Ｓ３６７）。本実施形態において、リセット条件は、画像領域内における変化領域の割合が所定の閾値以上となることである。

【0078】

このリセット条件を満たす場合（Ｓ３６７ＹＥＳ）、選別処理部５４は、過去の記憶データを初期化する処理を行うと共に（Ｓ３７１）、選別処理結果もリセットして、選別処理は終了する。一方、リセット条件を満たさない場合（Ｓ３６７ＮＯ）、選別処理結果を記憶部５１へと記憶する処理を行うと共に（Ｓ３６８）、選別処理結果をデータ入出力部５６を介してロボットコントローラ４へと送信する処理を行い（Ｓ３６９）、終了する。

【0079】

図９を参照しつつ、リセット条件について詳細に説明する。図９は、リセット処理の適用例に関する説明図である。同図において、記憶データに係る画像データにおいては、３つのワーク３１が認識（同図中の十字）されている。一方、現在の観測データに係る画像データには、作業途中で多数のワークが追加される等して、多数のワークが含まれている。この場合、画像間の差分処理を行うと、画像領域の大部分が差分有りの領域、すなわち、変化領域として検出される。

【0080】

このように、画像領域の大部分が変化領域として検出された場合、画像領域内における変化領域の割合が所定の閾値以上であるとしてリセット条件を満たし、記憶データと選別処理結果をリセットして選別処理を終了する。一方、変化領域が画像領域の一定の割合（閾値）以下である場合には、リセット条件を満たさないものとして、選別処理結果の記憶処理等を行う。

【0081】

このような構成によれば、ロボットの作業対象となるワークが作業中に追加された場合や、バラ積みされたワークが崩れて状況が大きく変化した場合等にも適切に対応することができる。

【0082】

図１０は、本実施形態に係るロボットシステム１００の動作の全体像を時系列的で示した説明図である。

【0083】

同図から明らかな通り、ロボットコントローラ４は、バラ積みピッキング作業をロボット２に対して実行させるため、認識処理結果の取得処理（Ｓ１１）、取り出し動作処理（Ｓ１２）、載置動作処理（Ｓ１５）を繰り返し実行している。なお、ロボットコントローラ４は、取り出し動作処理の直後に、カメラコントローラ５に対して、取出動作完了通知を送信している（Ｓ１３）。

【0084】

カメラコントローラ５は、取出動作完了通知を受けて（Ｓ３１ＹＥＳ）、観測データの取得処理（Ｓ３２）を実行し、その後、ワーク認識処理（Ｓ３４）とワーク選別処理（Ｓ３６）とを並列して実行する。なお、同図から明らかな通り、計算コストの相違から、ワーク選別処理（Ｓ３６）よりもワーク認識処理（Ｓ３４）の方が数倍の時間を要する点に留意されたい。

【0085】

以上のロボットコントローラ４とカメラコントローラ５の動作を前提とすると、一連の動作は次のようになる。すなわち、処理が開始すると、ロボットコントローラ４は、認識処理結果の取得処理（Ｓ１１）を実行し、記憶データに係る認識処理結果を読み出す。このときの認識処理結果は、例えば、「認識処理結果０」で示されるものである。なお、同図において、把持対象物として認識されているワーク３１は、灰色で塗りつぶして示されており、その他のワーク３１は白抜きで示されている。取り出し動作処理（Ｓ１２）を実行した後、ロボットコントローラ４は、カメラコントローラ５に対して、取り出し動作完了通知処理（Ｓ１３）を行う。

【0086】

その後、ロボットコントローラ４は、載置処理（Ｓ１５）を行い、再び認識処理結果の取得処理（Ｓ１１）を行う。しかしながら、この時点において、カメラコントローラ４においては認識処理結果が更新されていない。そのため、ロボットコントローラ４は、既に完了している選別処理の結果を使用する。「認識処理結果０」において丸で囲まれたワーク３１が取り出されて除去された場合、選別処理結果は、例えば、同図の「認識処理結果１」のようになる。ロボットコントローラ４は、この認識処理結果（選別処理結果）に基づいて、次の取り出し動作処理（Ｓ１２）を実行する。

【0087】

その後、載置処理（Ｓ１５）を経て、再び、認識処理結果の取得処理（Ｓ１１）が行われるが、このときの認識処理結果は先述の認識処理（Ｓ３４）により得られた認識処理結果となる。この認識処理結果は、例えば、同図の「認識処理結果２」である。なお、「認識処理結果２」においては、選別処理（Ｓ３６）によって、「選別処理結果１」にて丸で示された認識ワーク３１が除外されている。

【0088】

このような処理を繰り返すことで、ロボットコントローラ４は、認識処理結果の取得処理を行う際に、適時に適切な認識処理結果を得ることができる。そのため、例えば、図１４に示した作業の待機時間が存在しない。

【0089】

従って、このような構成によれば、作業領域内のワーク３１等の物体の認識処理が完了している場合には、第１の認識処理結果を提供し、一方、認識処理が完了していない場合であっても、認識処理よりも高速に実行可能な物体選別処理を行って第２の認識処理結果（選別処理結果）を提供することができるので、認識した物体に対して作業を行うロボット又はその制御装置等に対して認識処理結果を適時に提供することができる。これにより、認識した物体に対して作業を行うロボット等において、物体の認識処理時間に起因する待機時間を短縮し又は無くすことできるので、作業時間を短縮することができる。

【0090】

（２．変形例）
上述の実施形態は例示であり、本発明は様々に変形して実施することができる。

【0091】

第１の実施形態においては、取出処理の後に開始する認識処理（Ｓ３４１）は、次の次のサイクルにおける認識処理結果取得処理（Ｓ１１）の開始時点までには、その処理を終えていた。しかしながら、本発明はそのような構成に限定されず、さらに認識処理に時間を要する場合でも対応可能である。この場合、認識処理が終了するまでの間の選別処理においては、過去の記憶データとの比較処理を繰り返してもよい。

【0092】

図１１は、変形例に係る選別処理に関する説明図（その１）であり、より詳細には、次の次のサイクルにおける認識処理結果取得処理（Ｓ１１）の開始時点までに認識処理が終了しない場合の選別処理に関する説明図である。同図から明らかな通り、処理開始当初の認識処理結果の取得処理（Ｓ１１）により得られる認識処理結果は、同図の「認識結果０」である。なお、同図において、把持対象物として認識されているワーク３１は、灰色で塗りつぶして示されており、その他のワーク３１は白抜きで示されている。

【0093】

その次のサイクルにおける認識処理結果の取得処理（Ｓ１１）において得られる選別処理結果（「選別処理結果１」）は、同時点において記憶データの更新が未だなされていないため、新たに得られた観測データ（「観測データ１」）と「認識結果０」の差分に基づいて演算される。

【0094】

また、そのさらに次のサイクルにおける認識処理結果の取得処理（Ｓ１１）において得られる選別処理結果（「選別処理結果２」）は、同時点において記憶データの更新が未だなされていないため、新たに得られた観測データ（「観測データ２」）と「認識結果０」の差分に基づいて演算される。

【0095】

このように、認識処理が完了するまでの間は、直近で得られている認識処理結果を使用することで、選別処理を実行することができる。

【0096】

また、第１の実施形態においては、認識処理（Ｓ３４）又は選別処理（Ｓ３６）の完了と共に、ロボットコントローラ４に対して認識処理結果又は選別処理結果を送信（Ｓ３４５、Ｓ３６９）する構成としていたが、本発明はこのような構成に限定されない。従って、例えば、処理完了後は、ロボットコントローラ４からのリクエストに応じていつでも認識処理結果又は選別処理結果を送信可能な態様としてもよい。

【0097】

図１２は、カメラコントローラ５において実行されるプロセスに関する説明図である。同図中央には、カメラコントローラ５の動作に関するメインプロセスが配置されている。メインプロセスが、取出動作完了通知を受領すると、同プロセスの右隣りに配置された認識処理結果の取得処理プロセスが開始する（Ｓ３２）。この取得処理プロセスが完了すると、メインプロセスは、ワークの選別処理（Ｓ３４）プロセスと、認識処理（Ｓ３６）プロセスを開始する。

【0098】

その後、各プロセスが終了すると、メインプロセスに通知がなされ、それ以降、メインプロセスは、ロボットコントローラ４からのリクエストに応じて、認識処理結果（選別処理結果）を提供する。例えば、選別処理が完了した後は、認識処理が実行されている最中であっても、ロボットコントローラ４からのリクエストに応じていつでも認識処理結果（選別処理結果）が提供される。同様に、認識処理結果完了後は、ロボットコントローラ４からのリクエストに応じていつでも認識処理結果が提供される。

【0099】

このような構成によれば、ロボットコントローラ４の要請タイミングに応じて適時に利用可能な認識処理結果を提供することができる。

【0100】

さらに、第１の実施形態に係る選別処理（Ｓ３６）においては、単に画像データの差分をとる処理を行ったが、本発明はそのような構成に限定されない。従って、例えば、所定の判定条件を導入して選別処理の精度を調整可能に構成してもよい。

【0101】

図１３は、変形例に係る選別処理に関する説明図（その２）である。同図の記憶データに係る画像データにおいては、３つのワークが認識されている（同図の十字）。一方、観測データに係る画像においては、左下のワークが除去されていると共に、右上に新たなワークが出現している。

【0102】

なお、ここで、記憶データ又は観測データに係る画像に含まれるワークは幾何学図形、すなわち、本変形例では楕円により置換されている。このような構成によれば、認識対象となる物体が幾何学形状を有する図形により置換されるので、変化領域の特定が容易となる。

【0103】

本変形例では、カメラコントローラ５は、ワーク３１が消失した領域と新たに出現した領域を識別しつつ差分処理を行う。このような処理により得られた差分処理結果が同図中央に示されている。同図から明らかな通り、画像左下のワーク３１が消失した領域は消失領域として識別され、画像右上のワーク３１が新たに出現した領域は出現領域として識別されている。また、画像左上のワーク３１は微妙に右にずれているため、ワーク３１の左側には微小な消失領域が配置され、一方、右側には微小な出現領域が配置されている。

【0104】

このような構成によれば、ワーク３１の挙動をより詳細に特定することができる。

【0105】

本変形例においては、消失領域に係る領域のみを変化領域として特定する。また、変化領域の面積が所定の閾値以上となった場合に、当該ワーク３１を認識対象から除外する処理を行う。

【0106】

例えば、閾値が大きい場合、多少の変動があった程度ではワーク３１を認識対象から除外しないので、同図のケース１のように左上のワーク３１を認識対象から除外せず、引き続き、認識対象とする。一方、閾値が小さい場合、多少の変動であっても当該変動のあったワーク３１を認識対象から除外することとなるので、同図のケース２のように左上のワークを認識対象から除外することとなる。

【0107】

このような構成によれば、所定の閾値を用いることにより認識精度を調整することができる。

【0108】

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。また、上記の実施形態は、矛盾が生じない範囲で適宜組み合わせ可能である。

【産業上の利用可能性】

【0109】

本発明は、少なくともロボット等を製造する産業において利用可能である。

【符号の説明】

【0110】

１ ３次元カメラ
２ ロボット
３ 箱
３１ ワーク
４ ロボットコントローラ
５ カメラコントローラ
１００ ロボットシステム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】