特許 6802225 情報処理装置および情報処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6802225

(24)【登録日】2020年11月30日

(45)【発行日】2020年12月16日

(54)【発明の名称】情報処理装置および情報処理方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20201207BHJP

   B25J 13/08 20060101ALI20201207BHJP

【ＦＩ】

   G06T7/00 C

   B25J13/08 A

【請求項の数】4

【全頁数】9

(21)【出願番号】特願2018-163703(P2018-163703)

(22)【出願日】2018年8月31日

(65)【公開番号】特開2020-35383(P2020-35383A)

(43)【公開日】2020年3月5日

【審査請求日】2020年1月14日

【早期審査対象出願】

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100077665

【弁理士】

【氏名又は名称】千葉 剛宏

(74)【代理人】

【識別番号】100116676

【弁理士】

【氏名又は名称】宮寺 利幸

(74)【代理人】

【識別番号】100191134

【弁理士】

【氏名又は名称】千馬 隆之

(74)【代理人】

【識別番号】100136548

【弁理士】

【氏名又は名称】仲宗根 康晴

(74)【代理人】

【識別番号】100136641

【弁理士】

【氏名又は名称】坂井 志郎

(74)【代理人】

【識別番号】100180448

【弁理士】

【氏名又は名称】関口 亨祐

(72)【発明者】

【氏名】山崎 竜裕

【審査官】 佐藤 実

(56)【参考文献】

【文献】 特開２００４−０１２１４３（ＪＰ，Ａ）

【文献】 特開２０１５−１１４２９２（ＪＰ，Ａ）

【文献】 特開２０００−２３０８１５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００ − ７／９０

Ｂ２５Ｊ １３／０８

(57)【特許請求の範囲】

【請求項1】

支持部材の支持面に支持された検出対象物の３次元形状を示す３次元情報を検出する３次元センサと、
前記支持面からの高さ閾値を設定する閾値設定部と、
前記３次元情報に対し、前記高さ閾値を基準として２値化処理を行って前記検出対象物の２次元形状を示す２次元情報を生成する２値化処理部と、
を備え、
前記３次元情報は、前記支持面であるＸＹ平面におけるＸＹ座標位置と、前記支持面と直交し、且つ、前記支持面から前記３次元センサ方向への距離を示す高さ情報とを含み、
前記閾値設定部は、前記検出対象物の種類を示す情報に応じて、前記高さ閾値を設定する、情報処理装置。

【請求項2】

請求項１に記載の情報処理装置であって、
前記検出対象物を把持するロボットのハンドの動作を制御するロボット制御装置に対し、前記２次元情報を出力する出力部を更に備える、情報処理装置。

【請求項3】

支持部材の支持面に支持された検出対象物の３次元形状を示す３次元情報を検出する検出ステップと、
前記支持面からの高さ閾値を設定する閾値設定ステップと、
前記３次元情報に対し、前記高さ閾値を基準として２値化処理を行って前記検出対象物の２次元形状を示す２次元情報を生成する２値化ステップと、
を含み、
前記３次元情報は、前記支持面であるＸＹ平面におけるＸＹ座標位置と、前記支持面と直交し、且つ、前記支持面から３次元センサ方向への距離を示す高さ情報とを含み、
前記閾値設定ステップは、前記検出対象物の種類を示す情報に応じて、前記高さ閾値を設定する、情報処理装置により実行される情報処理方法。

【請求項4】

請求項３に記載の情報処理方法であって、
前記検出対象物を把持するロボットのハンドの動作を制御するロボット制御装置に対し、前記２次元情報を出力する出力ステップを更に含む情報処理方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理装置および情報処理方法に関する。

【背景技術】

【0002】

ロボット技術分野において、ロボットがハンドにより部品（検出対象物）を把持する際に、カメラにより取得された当該部品の２次元画像に基づいて、フィンガの傾き等が補正されることがある（特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８−１０３２９２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、十分な照度がない場合や、部品と背景の各色彩が同一であるような場合などには、カメラで撮像された画像において、部品と背景との区別がつかなくなるなど、部品の形状を正確に抽出できなくなる場合がある。これにより、部品を把持するためのフィンガの傾き等の補正処理を適切に行えなくなり、結果的に、ロボットが部品を把持できなくなる。

【0005】

本発明は、ロボットに適切に検出対象物を把持させるための、検出対象物の形状を示す情報を生成する情報処理装置および情報処理方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明の第１の態様は、情報処理装置であって、支持部材に支持された検出対象物の３次元形状を検出する３次元センサと、前記検出対象物が設置される前記支持部材の支持面からの高さ閾値を設定する閾値設定部と、前記３次元形状を示す３次元情報に対し、前記高さ閾値を基準として２値化処理を行って前記検出対象物の２次元形状を示す２次元情報を生成する２値化処理部と、を備える。

【0007】

本発明の第２の態様は、情報処理装置により実行される情報処理方法であって、支持部材に支持された検出対象物の３次元形状を検出する３次元形状検出ステップと、前記検出対象物が設置される前記支持部材の支持面からの高さ閾値を設定する閾値設定ステップと、前記３次元形状を示す３次元情報に対し、前記高さ閾値を基準として２値化処理を行って前記検出対象物の２次元形状を示す２次元情報を生成する２値化ステップと、を含む。

【発明の効果】

【0008】

本発明によれば、ロボットに適切に検出対象物を把持させるための、検出対象物の形状を示す情報を生成することができる。

【図面の簡単な説明】

【0009】

【図1】実施形態に係る情報処理装置の機能ブロックを示す図である。

【図2】実施形態に係る情報処理装置による処理の一例を示すフローチャートである。

【図3】図３Ａは、実施形態に係る情報処理装置による処理を説明するための検出対象物の一例を示す図であり、図３Ｂは、実施形態に係る情報処理装置による処理を説明するための検出対象物の他の一例を示す図である。

【図4】図４Ａは、実施形態に係る情報処理装置による処理の一例を説明するための図であり、図４Ｂは、実施形態に係る情報処理装置による処理の他の一例を説明するための図である。

【図5】図５Ａは、検出対象物を２次元センサにより検出して生成された画像を例示する図であり、図５Ｂは、検出対象物を３次元センサにより検出して、２値化処理を行わずに生成された画像を例示する図であり、図５Ｃは、実施形態に係る情報処理装置が検出対象物を撮像して生成した２次元情報に基づく画像を例示する図である。

【図6】図６Ａは、検出対象物を２次元センサにより検出して生成された画像を例示する図であり、図６Ｂは、検出対象物を３次元センサにより検出して、２値化処理を行わずに生成された画像を例示する図であり、図６Ｃは、実施形態に係る情報処理装置が検出対象物を撮像して生成した２次元情報に基づく画像を例示する図である。

【発明を実施するための形態】

【0010】

本発明に係る情報処理装置および情報処理方法について、好適な実施形態を掲げ、添付の図面を参照しながら以下、詳細に説明する。

【0011】

［実施形態］
図１は、本実施形態に係る情報処理装置１０の機能ブロックを示す図である。情報処理装置１０は、３次元センサ１２、閾値設定部１４、２値化処理部１６、および出力部１８等を備える。

【0012】

３次元センサ１２は、例えば、ＣＣＤまたはＣＭＯＳ等の撮像素子を有する。３次元センサ１２は、ＴｏＦ（Time Of Flight）により撮像対象の３次元形状を検出してもよいし、２つの撮像素子を用いてこれらの視差により撮像対象の３次元形状を検出してもよい。３次元センサ１２は、３次元形状を示す３次元画像（３次元情報とも記載する）を生成する。

【0013】

ここで、検出対象物Ｔを支持する支持部材３０の支持面３０ａをＸＹ平面として規定すると（図３Ａ、図４Ａ、図４Ｂ参照）、３次元センサ１２は、ＸＹ平面と直交するＺ方向であって、検出対象物Ｔの支持部材３０と反対側（上方側）に設けられている。重力が働く方向を下方向、下方向と反対の方向を上方向とすると、支持部材３０および検出対象物Ｔは、３次元センサ１２からみて下方向側に位置する。

【0014】

３次元情報は、支持部材３０の支持面３０ａであるＸＹ平面におけるＸＹ座標位置（２次元座標位置とも記載する）を含む。更に、３次元情報は、支持面３０ａに直交し、且つ、支持面３０ａからの上方向への距離を高さＺとすると、各ＸＹ座標位置における、検出対象物Ｔの支持面３０ａからの高さＺを示す情報（高さ情報とも記載する）を含む。

【0015】

閾値設定部１４は、検出対象物Ｔが設置される支持部材３０の支持面３０ａからの高さＺの閾値（高さ閾値Ｚｔｈとも記載する）を設定する。閾値設定部１４は、ユーザが入力した値を高さ閾値Ｚｔｈとして設定してもよいし、ユーザが入力した検出対象物Ｔの種類を示す情報に基づき高さ閾値Ｚｔｈを設定してもよい。

【0016】

２値化処理部１６は、３次元情報を、高さ閾値Ｚｔｈを基準に２値化処理を行う。つまり、２値化処理部１６は、３次元情報に含まれる高さ情報を、高さ閾値Ｚｔｈを基準に２値化する。本実施形態における２値化処理部１６は、ＸＹ平面において、検出対象物Ｔの高さが高さ閾値Ｚｔｈ以上のＸＹ座標位置に１、高さ閾値Ｚｔｈ未満のＸＹ座標位置に０を割り当てる。２値化後の３次元情報は２次元画像として表すことができる。以下では、３次元情報に対する２値化後に得られる２次元画像、すなわち、各ＸＹ座標位置に割り当てられた０または１の値を２次元情報とも記載する。なお、本実施形態においては、各ＸＹ座標位置に割り当てられる１、０は、それぞれ画像において白、黒に対応する値であるとする。

【0017】

出力部１８は、ロボット制御装置２０に対し２次元情報を出力する。ロボット制御装置２０は、ロボット２２を制御するための装置であって、ロボット２２は、例えば、検出対象物Ｔを把持するための複数のフィンガを有するハンドを先端に備える多関節アームロボットである。ロボット制御装置２０は、２次元情報に基づき、ロボット２２のアームやハンドやフィンガの各軸方向や、フィンガとフィンガとの間隔等を補正する。ロボット制御装置２０は、当該補正後の内容に基づいてロボット２２を制御し、検出対象物Ｔを把持させる。

【0018】

情報処理装置１０は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等のプロセッサ、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリ、３次元センサ、および各種インターフェース回路等により構成することができる。プロセッサが、メモリに記憶されたプログラムや各種情報を用いて処理を実行することにより、２値化処理部１６の機能を実現できる。ユーザインターフェース回路を介し入力された検出対象物Ｔの種類等に応じ、プロセッサが、メモリに記憶されたプログラムや各種情報を用いて処理を実行することにより、閾値設定部１４の機能を実現できる。入出力インターフェース回路または通信インターフェース回路により出力部１８の機能を実現できる。

【0019】

図２は、本実施形態に係る情報処理装置１０による処理の一例を示すフローチャートである。ステップＳ１において、閾値設定部１４は、高さ閾値Ｚｔｈを設定する。次いで、ステップＳ２において、３次元センサ１２は、検出対象物Ｔの３次元形状を検出する。これにより、３次元形状を示す３次元情報が生成される。ステップＳ３において、２値化処理部１６は、ステップＳ１で設定された高さ閾値Ｚｔｈを基準として、３次元情報における高さ情報を２値化することにより２次元情報を生成する。ステップＳ４において、出力部１８は、ステップＳ３で２値化処理部１６が生成した２次元情報をロボット制御装置２０に出力する。

【0020】

図３Ａは、本実施形態に係る情報処理装置１０による処理を説明するための検出対象物Ｔ（以下、Ｔ１とも記載する。）の一例を示す図である。図３Ｂは、本実施形態に係る情報処理装置１０による処理を説明するための検出対象物Ｔ（以下、Ｔ２とも記載する。）の他の一例を示す図である。図３Ｂに示す検出対象物Ｔ２は、例えば、内部に流動体（例えば、スープ）、粉末（例えば、小麦粉）等が詰められたパッケージである。

【0021】

図４Ａは、本実施形態に係る情報処理装置１０による処理の一例を説明するための図である。図４Ｂは、本実施形態に係る情報処理装置１０による処理の他の一例を説明するための図である。図４Ａには、Ｚ軸に垂直な方向から平面視した検出対象物Ｔ１および支持部材３０が示されている。図４Ｂには、Ｚ軸に垂直な方向から平面視した検出対象物Ｔ２および支持部材３０が示されている。なお、理解容易のため、支持面３０ａの高さＺを０とする。

【0022】

図４Ａに示す検出対象物Ｔ１は、比較的高さがある。そのため、ロボット２２の検出対象物Ｔ１の把持位置は、高い位置となる。従って、閾値設定部１４は、比較的高い位置を高さ閾値Ｚｔｈ（以下、Ｚｔｈ１とも記載する。）として設定する。この設定された高さ閾値Ｚｔｈ１は、ロボット２２の検出対象物Ｔ１の把持位置から所定の範囲内に入る高さ位置である。２値化処理部１６は、検出対象物Ｔ１において高さＺがＺｔｈ１以上の部分に１、Ｚｔｈ１未満の部分に０を割り当てる。

【0023】

図４Ｂに示す検出対象物Ｔ２は、支持面３０ａに沿う方向に拡がりを持ち、高さＺが低い。そのため、ロボット２２の検出対象物Ｔ２の把持位置は、低い位置となる。従って、閾値設定部１４は、低い位置を高さ閾値Ｚｔｈ（以下、Ｚｔｈ２とも記載する。）として設定する。この設定された高さ閾値Ｚｔｈ２は、ロボット２２の検出対象物Ｔ２の把持位置から所定の範囲内に入る高さ位置であることは上述した通りである。これにより、２値化処理部１６は、検出対象物Ｔ２において高さＺがＺｔｈ２以上の部分に１、Ｚｔｈ２未満の部分に０を割り当てる。

【0024】

以下、図５Ａ〜５Ｃを参照し、図３Ａに示す検出対象物を検出する場合における、本実施形態に係る情報処理装置１０による処理の効果について比較例と対比し述べる。

【0025】

図５Ａは、図３Ａに示す検出対象物Ｔ１を２次元センサにより検出して生成された画像を例示する図である。図５Ａに示すように、照明の照度が足りない場合や照明の角度に問題がある場合には、検出対象物Ｔ１のうち、把持したい部分の境界線が不明瞭になり、把持したい部分の形状を正確に認識できない。このため、ロボット制御装置２０は、当該画像を用いた場合には、ロボット２２に検出対象物Ｔ１を把持させるためのフィンガ等の軸の補正処理等（以下、補正処理等とも記載する）に必要な、検出対象物Ｔ１の２次元形状に係る情報を的確に得られない虞がある。

【0026】

図５Ｂは、図３Ａに示す検出対象物Ｔ１を３次元センサにより検出して、上記２値化処理を行わずに生成された画像を例示する図である。図５Ｂに示すように、支持面３０ａにおける検出対象物Ｔ１の設置位置によっては検出対象物Ｔ１の上面のみならず側面も検出されてしまう場合がある。これにより、ロボット２２が検出対象物Ｔ１を把持するために必要な２次元形状に対し、不要な側面の部分（側面部分）が紛れ込んでしまい、検出対象物Ｔ１のうち、把持したい部分の形状の境界線が不明瞭になり、把持したい部分の形状を正確に認識できない。その結果、ロボット制御装置２０は、ロボット２２に検出対象物Ｔ１を把持させるための補正処理等を適切に行えなくなる。

【0027】

図５Ｃは、本実施形態に係る情報処理装置１０が、図３Ａに示す検出対象物Ｔ１を撮像して生成した２次元情報に基づく画像を例示する図である。図５Ｃに示されるように、２値化処理により、ロボット２２が検出対象物Ｔ１を把持するために必要な２次元形状に対し、高さ閾値Ｚｔｈ１より低い側面部分の紛れ込みを抑制することができる。従って、ロボット制御装置２０は、補正処理等を適切に行うことができ、ロボット２２は、検出対象物Ｔ１を適切に把持することができる。

【0028】

図６Ａは、図３Ｂに示す検出対象物Ｔ２を２次元センサにより検出して生成された画像を例示する図である。図６Ａに示すように、照明の照度が足りない場合などにおいて、検出対象物Ｔ２の境界線は不明瞭になりうる。このため、ロボット制御装置２０は、ロボット２２に検出対象物Ｔ２を把持させるための補正処理等に必要な、検出対象物Ｔ２の２次元形状に係る情報を的確に得られない虞がある。

【0029】

図６Ｂは、図３Ｂに示す検出対象物Ｔ２を３次元センサにより検出して、２値化処理を行わずに生成された画像を例示する図である。図６Ｂに示すように、検出対象物Ｔ２の縁部分の高さは支持面３０ａに近い等の理由により、検出対象物Ｔ２の境界線が不明瞭になりうる。このため、ロボット制御装置２０は、ロボット２２に検出対象物Ｔ２を把持させるための補正処理等に必要な、検出対象物Ｔ２の２次元形状に係る情報を的確に得られない虞がある。

【0030】

図６Ｃは、本実施形態に係る情報処理装置１０が、図３Ｂに示す検出対象物Ｔ２を撮像して生成した２次元情報に基づく画像を例示する図である。図４Ｂに示す高さ閾値Ｚｔｈ２を用いて２値化処理を行うことにより、図６Ｃに示されるように、検出対象物Ｔ２の輪郭が正確に把握できる。このような明確な輪郭を示す２次元情報を用いることにより、ロボット制御装置２０は、補正処理等を適切に行うことができ、ロボット２２は、検出対象物Ｔ２を適切に把持することができる。

【0031】

以上説明したように、本実施形態に係る情報処理装置１０によれば、ロボット制御装置２０に対し、ロボット２２が検出対象物Ｔを把持するために必要となる２次元形状を示す２次元情報を提供することができる。これにより、ロボット制御装置２０は、２次元情報に基づく補正処理等を行うことができ、ロボット２２の把持動作を適切に制御することができる。

【0032】

［実施形態から得られる技術的思想］
上記実施形態から把握しうる技術的思想について、以下に記載する。

【0033】

＜第１の技術的思想＞
情報処理装置（１０）は、支持部材（３０）に支持された検出対象物（Ｔ、Ｔ１、Ｔ２）の３次元形状を検出する３次元センサ（１２）と、検出対象物（Ｔ、Ｔ１、Ｔ２）が設置される支持部材（３０）の支持面（３０ａ）からの高さ閾値（Ｚｔｈ、Ｚｔｈ１、Ｚｔｈ２）を設定する閾値設定部（１４）と、３次元形状を示す３次元情報に対し、高さ閾値（Ｚｔｈ、Ｚｔｈ１、Ｚｔｈ２）を基準として２値化処理を行って検出対象物（Ｔ、Ｔ１、Ｔ２）の２次元形状を示す２次元情報を生成する２値化処理部（１６）と、を備える。

【0034】

これにより、ロボット（２２）に適切に検出対象物（Ｔ、Ｔ１、Ｔ２）を把持させるための、検出対象物（Ｔ、Ｔ１、Ｔ２）の形状を示す情報を生成することができる。

【0035】

情報処理装置（１０）は、検出対象物（Ｔ、Ｔ１、Ｔ２）を把持するロボット（２２）のハンドの動作を制御するロボット制御装置（２０）に対し、２次元情報を出力する出力部（１８）を更に備えてもよい。これにより、ロボット制御装置（２０）は、ロボット（２２）に検出対象物（Ｔ、Ｔ１、Ｔ２）を把持させることができる。

【0036】

<第２の技術的思想>
情報処理装置（１０）により実行される情報処理方法は、支持部材（３０）に支持された検出対象物（Ｔ、Ｔ１、Ｔ２）の３次元形状を検出する３次元形状検出ステップと、検出対象物（Ｔ、Ｔ１、Ｔ２）が設置される支持部材（３０）の支持面（３０ａ）からの高さ閾値（Ｚｔｈ、Ｚｔｈ１、Ｚｔｈ２）を設定する閾値設定ステップと、３次元形状を示す３次元情報に対し、高さ閾値（Ｚｔｈ、Ｚｔｈ１、Ｚｔｈ２）を基準として２値化処理を行って検出対象物（Ｔ、Ｔ１、Ｔ２）の２次元形状を示す２次元情報を生成する２値化ステップと、を含む。

【0037】

これにより、ロボット（２２）に適切に検出対象物（Ｔ、Ｔ１、Ｔ２）を把持させるための、検出対象物（Ｔ、Ｔ１、Ｔ２）の形状を示す情報を生成することができる。

【0038】

情報処理方法は、検出対象物（Ｔ、Ｔ１、Ｔ２）を把持するロボット（２２）のハンドの動作を制御するロボット制御装置（２０）に対し、２次元情報を出力する出力ステップを更に含んでもよい。これにより、ロボット制御装置（２０）は、ロボット（２２）に検出対象物（Ｔ、Ｔ１、Ｔ２）を把持させることができる。

【符号の説明】

【0039】

１０…情報処理装置 １２…３次元センサ
１４…閾値設定部 １６…２値化処理部
１８…出力部 ２０…ロボット制御装置
２２…ロボット ３０…支持部材
３０ａ…支持面 Ｔ、Ｔ１、Ｔ２…検出対象物
Ｚｔｈ、Ｚｔｈ１、Ｚｔｈ２…高さ閾値

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】