2025-2087 情報処理装置、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025002087

(43)【公開日】2025-01-09

(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20241226BHJP

   B25J 9/10 20060101ALI20241226BHJP

【ＦＩ】

B25J13/08 A

B25J9/10 A

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2023102012

(22)【出願日】2023-06-21

(71)【出願人】

【識別番号】000125370

【氏名又は名称】学校法人東京理科大学

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】荒井 翔悟

(72)【発明者】

【氏名】嵯峨野 拓海

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS01

3C707DS01

3C707KS03

3C707KS04

3C707KS12

3C707KS13

3C707KT03

3C707KT05

3C707LS15

3C707LT06

(57)【要約】

【課題】三次元形状の計測に起因したタクトタイムの増加を抑制することが可能な情報処理装置、情報処理方法、及びプログラムを提供する。
【解決手段】プロセッサを備え、プロセッサは、ロボットハンドによる把持の対象となる第１対象物体に対する搬送動作の間にロボットハンドが通過する複数の経由点においてロボットハンドに設けられた撮像装置により得られた画像であって、三次元計測の対象となる第２対象物体を示す像を含む画像を取得し、取得した画像に基づいて第２対象物体の三次元形状を推定する情報処理装置。
【選択図】図８

【特許請求の範囲】

【請求項1】

プロセッサを備え、
前記プロセッサは、
ロボットハンドによる把持の対象となる第１対象物体に対する搬送動作の間に前記ロボットハンドが通過する複数の経由点において前記ロボットハンドに設けられた撮像装置により得られた画像であって、三次元計測の対象となる第２対象物体を示す像を含む画像を取得し、
取得した前記画像に基づいて前記第２対象物体の三次元形状を推定する
情報処理装置。

【請求項2】

前記第２対象物体の三次元形状は、前記複数の経由点の各々において得られた複数の前記画像に対して前記第２対象物体を示す像が抽出された結果に対して、視体積交差法を用いることで推定される
請求項１に記載の情報処理装置。

【請求項3】

前記搬送動作は、複数の前記第１対象物体毎に行われ、
前記複数の経由点は、直前の搬送動作における前記第２対象物体の三次元形状の計測結果に基づいて設定される
請求項１に記載の情報処理装置。

【請求項4】

前記搬送動作は、前記ロボットハンドが第１対象物体を把持するために移動する第１動作と、前記ロボットハンドにより把持された前記第１対象物体が別の場所へ搬送される第２動作とを含み、
前記第２動作における前記経由点は、前記第１動作の間における前記第２対象物体の三次元形状の計測結果に基づいて設定される
請求項１に記載の情報処理装置。

【請求項5】

前記経由点は、前記計測結果から求められる前記三次元計測の候補点と、前記ロボットハンドの移動可能点とに基づいて設定される
請求項３又は４に記載の情報処理装置。

【請求項6】

前記候補点は、前記三次元形状に対応した複数の点から成る点群であって各点が三次元空間座標を示す前記点群に対する主成分分析を行うことにより得られる第３主成分に沿った軸と前記撮像装置の光軸とが一致する位置に設定される
請求項５に記載の情報処理装置。

【請求項7】

前記候補点は、前記第３主成分に沿った方向において、前記撮像装置の撮影範囲に含まれる前記点群における点の数が予め設定された範囲となる位置に設定される
請求項６に記載の情報処理装置。

【請求項8】

前記移動可能点は、前記三次元計測における前記第２対象物体の重心を原点とする球面座標系を用いて設定される
請求項５に記載の情報処理装置。

【請求項9】

前記経由点は、前記球面座標系により示される格子点であり、前記候補点と前記ロボットハンドの前記移動可能点とに最も近い点である
請求項８に記載の情報処理装置。

【請求項10】

ロボットハンドによる把持の対象となる第１対象物体に対する搬送動作の間に前記ロボットハンドが通過する複数の経由点において前記ロボットハンドに設けられた撮像装置により得られた画像であって、三次元計測の対象となる第２対象物体を示す像を含む画像を取得すること、及び、
取得した前記画像に基づいて前記第２対象物体の三次元形状を推定することを含む
情報処理方法。

【請求項11】

コンピュータに、
ロボットハンドによる把持の対象となる第１対象物体に対する搬送動作の間に前記ロボットハンドが通過する複数の経由点において前記ロボットハンドに設けられた撮像装置により得られた画像であって、三次元計測の対象となる第２対象物体を示す像を含む画像を取得すること、及び、
取得した前記画像に基づいて前記第２対象物体の三次元形状を推定すること
を含む処理を実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

昨今、産業分野をはじめとして、様々な分野においてロボットシステムが導入され、省人化、作業の効率化が図られている。例えば、産業分野においては、全世界の産業用ロボットの設置台数は増加傾向にある。ところで、産業用ロボットをはじめとしたロボットの導入に際しては、いわゆるティーチング＆プレイバック方式が採用されることが多く、この方式では、動作を教示する作業や位置決め治具等の周辺の専用機器が必要な場合がある。このため、ティーチング＆プレイバック方式は、対象物体（例えば、生産する製品）の種類や量が変動する形態（例えば、変種変量生産形態）には不向きである。そこで、変種変量の物体に対応可能なロボットシステムとして、対象物体の形状を認識し、把持を行う自律的なロボットシステムが検討されている。

【0003】

例えば、特許文献１には、ロボットと、該ロボットの手先部に取り付けられワークを把持するハンドと、ロボットの手先部に取り付けられ、コンテナ内の部分領域の三次元点群の位置情報を取得する三次元センサと、該三次元センサにより取得された第１部分領域の三次元点群の位置情報に基づいてワークの位置および姿勢を算出するワーク状態算出部と、三次元センサにより取得された第１部分領域の三次元点群の位置情報に基づいて、次に位置情報を取得する第２部分領域のロボット位置を算出するデータ取得位置算出部と、ワーク状態算出部により算出されたワークの位置および姿勢並びにデータ取得位置算出部により算出された第２部分領域のロボット位置に基づいて、ロボットおよびハンドを制御する制御部と、を備えるワーク取出しシステムが記載されている。

【0004】

特許文献２には、ロボットハンドに固定された三次元カメラを用いてワークの形状を測定し、測定されたワークの形状データに基づいて、三次元カメラのカメラ座標をロボットハンドのロボット座標に変換するためのキャリブレーションを実行する制御装置であって、ロボットハンドをＸＹＺ方向へ移動させる動作と、ロボットハンドを所定の軸周りに複数回回転させる動作とを繰り返し実行し、各動作後、ロボットハンドの停止位置でワークを三次元カメラにより測定して得られた形状データに基づいてワーク座標を検出するとともに、当該ワーク座標を得た時のロボット座標を取得し、取得した複数のワーク座標とロボット座標の組に基づいて、カメラ座標における位置をロボット座標上の位置に変換するためのパラメータを算出する通常キャリブレーション処理と、通常キャリブレーション処理により求められたロボットハンドのツール中心と三次元カメラの相対位置に基づいて、暫定回転中心を決定し、該暫定回転中心周りにロボットハンドを複数回回転させた各位置で、ワークを三次元カメラにより測定して得られた形状データに基づいてワーク座標を検出するとともに、当該ワーク座標を得た時のロボット座標を取得し、取得した複数のワーク座標とロボット座標の組に基づいて、ロボットハンドの最終的な回転中心を決定する高精度キャリブレーション処理とを実行するキャリブレーション実行部を備える制御装置が記載されている。

【0005】

特許文献３には、撮像装置で撮像したワークの画像を取得する撮像画像取得部と、多関節ロボットの各関節部に取り付けられたエンコーダのエンコーダ値を取得するエンコーダ値取得部と、エンコーダ値取得部で取得したエンコーダ値に基づいて、撮像装置の姿勢を演算する撮像装置姿勢演算部と、撮像画像取得部で取得したワークの画像および撮像装置姿勢演算部で演算した撮像装置の姿勢に基づいて、ワークの三次元形状を演算する三次元形状演算部と、を備える三次元計測装置が記載されている。

【0006】

特許文献４には、カメラを有するロボットビジョンシステムにおいて、ワークを照射する光源と、ワークの基準位置を記憶する記憶部と、光源の照射条件を変更する照射条件変更部と、光源の照射条件を変えながらカメラによって撮像された複数の画像を参照してワークの形状を算出する形状情報算出部と、基準位置と算出されたワークの形状からロボットから該ワークまでの距離を算出する距離算出部とを備えることを特徴するロボットビジョンシステムが記載されている。

【0007】

特許文献５には、ロボットハンドで把持するワークの形状および位置を表す画像データを得るワーク画像化手段と、ワーク画像化手段が撮像したワークの画像データに基づき、ワークの位置と形状のデータを算出するワーク位置形状検出手段と、ワーク位置形状検出手段が算出した位置と形状のデータに基づき、ロボットハンドによりワークを把持するための把持位置データを生成する把持位置データ生成手段と、把持位置データ生成手段が生成した把持位置データに基づき、ロボットハンドの把持位置を変更するハンド把持位置制御手段と、を備え、ロボットハンドが自律して最適な把持位置でワークを把持可能なことを特徴とする手先視覚付ロボットハンドが記載されている。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】特開２０１８－１９２５９２号公報

【特許文献2】特開２０２２－１２２６４８号公報

【特許文献3】特開２０２１－１３３４５８号公報

【特許文献4】特開２０２３－１０１７２号公報

【特許文献5】特開２００３－９４３６７号公報

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、特許文献１～５に記載の技術では、ロボットハンドによる対象物体の把持のために対象物体の三次元形状を計測するには、依然として改善の余地があった。そこで、本開示は、上記事情に鑑み成されたものであり、三次元形状の計測に起因したタクトタイムの増加を抑制することが可能な情報処理装置、情報処理方法、及びプログラムを提供することにある。

【課題を解決するための手段】

【0010】

本開示の技術に係る第１の態様は、プロセッサを備え、プロセッサは、ロボットハンドによる把持の対象となる第１対象物体に対する搬送動作の間にロボットハンドが通過する複数の経由点においてロボットハンドに設けられた撮像装置により得られた画像であって、三次元計測の対象となる第２対象物体を示す像を含む画像を取得し、取得した画像に基づいて第２対象物体の三次元形状を推定する情報処理装置である。

【0011】

本開示の技術に係る第２の態様は、第２対象物体の三次元形状は、複数の経由点の各々において得られた複数の画像に対して第２対象物体を示す像が抽出された結果に対して、視体積交差法を用いることで推定される第１の態様に係る情報処理装置である。

【0012】

本開示の技術に係る第３の態様は、搬送動作は、複数の第１対象物体毎に行われ、複数の経由点は、直前の搬送動作における第２対象物体の三次元形状の計測結果に基づいて更新される第１の態様に係る情報処理装置である。

【0013】

本開示の技術に係る第４の態様は、搬送動作は、ロボットハンドが第１対象物体を把持するために移動する第１動作と、ロボットハンドにより把持された第１対象物体が別の場所へ搬送される第２動作とを含み、第２動作における経由点は、第１動作の間における第２対象物体の三次元形状の計測結果に基づいて設定される第１の態様に係る情報処理装置である。

【0014】

本開示の技術に係る第５の態様は、経由点は、計測結果から求められる三次元計測の候補点と、ロボットハンドの移動可能点とに基づいて設定される第３又は４の態様に係る情報処理装置である。

【0015】

本開示の技術に係る第６の態様は、候補点は、三次元形状に対応した複数の点から成る点群であって各点が三次元空間座標を示す点群に対する主成分分析を行うことにより得られる第３主成分に沿った軸と撮像装置の光軸とが一致する位置に設定される第５の態様に係る情報処理装置である。

【0016】

本開示の技術に係る第７の態様は、候補点は、第３主成分に沿った方向において、撮像装置の撮影範囲に含まれる点群における点の数が予め設定された範囲となる位置に設定される第６の態様に係る情報処理装置である。

【0017】

本開示の技術に係る第８の態様は、移動可能点は、三次元計測における第２対象物体の重心を原点とする球面座標系を用いて設定される第５の態様に係る情報処理装置である。

【0018】

本開示の技術に係る第９の態様は、経由点は、球面座標系により示される格子点であり、候補点とロボットハンドの移動可能点とに最も近い点である第８の態様に係る情報処理装置である。

【0019】

本開示の技術に係る第１０の態様は、ロボットハンドによる把持の対象となる第１対象物体に対する搬送動作の間にロボットハンドが通過する複数の経由点においてロボットハンドに設けられた撮像装置により得られた画像であって、三次元計測の対象となる第２対象物体を示す像を含む画像を取得すること、及び、取得した画像に基づいて第２対象物体の三次元形状を推定することを含む情報処理方法である。

【0020】

本開示の技術に係る第１１の態様は、コンピュータに、ロボットハンドによる把持の対象となる第１対象物体に対する搬送動作の間にロボットハンドが通過する複数の経由点においてロボットハンドに設けられた撮像装置により得られた画像であって、三次元計測の対象となる第２対象物体を示す像を含む画像を取得すること、及び、取得した画像に基づいて第２対象物体の三次元形状を推定することを含む処理を実行させるプログラムである。

【発明の効果】

【0021】

本開示によれば、三次元形状の計測に起因したタクトタイムの増加を抑制することが可能な情報処理装置、情報処理方法、及びプログラムが提供される。

【図面の簡単な説明】

【0022】

【図1】実施形態に係るロボットアームシステムの構成の一例を示す概念図である。

【図2】実施形態に係る制御装置の電気系のハードウェア構成の一例を示すブロック図である。

【図3】実施形態に係るプロセッサにおける動作制御部の処理内容の一例を示す概念図である。

【図4】実施形態に係るプロセッサにおける取得部及び画像処理部の処理内容の一例を示す概念図である。

【図5】実施形態に係るプロセッサにおける三次元計測部の処理内容の一例を示す概念図である。

【図6】実施形態に係るプロセッサにおける候補点算出部の処理内容の一例を示す概念図である。

【図7】実施形態に係るプロセッサにおける経由点決定部の処理内容の一例を示す概念図である。

【図8】実施形態に係るプロセッサにおける動作制御部の処理内容の一例を示す概念図である。

【図9】実施形態に係るロボットアームの制御処理の流れの一例を示すフローチャートである。

【図10】実施形態に係る経由点算出処理の流れの一例を示すフローチャートである。

【発明を実施するための形態】

【0023】

以下、図面を参照して本開示の技術に係る実施形態について説明する。

【0024】

図１は、ロボットアームシステム１０の構成の一例を示す概念図である。
一例として図１に示すように、ロボットアームシステム１０は、ロボットアーム１２と、制御装置１５とを含んで構成されている。ロボットアーム１２は、物体Ｂを搬送するための装置である。図１に示す例では、台Ａ１上に複数の円柱状の物体Ｂが置かれており、ロボットアーム１２は、台Ａ１上の物体Ｂを搬送先の台Ａ２まで搬送する。

【0025】

ここで、ロボットアーム１２による搬送動作には、搬送の対象となる物体Ｂを取りに行く動作と、把持した物体Ｂを搬送先まで移動させる動作とが含まれる。すなわち、搬送動作には、ロボットハンド１６が物体Ｂを把持するために移動する動作と、ロボットハンド１６により把持された物体Ｂが別の場所まで搬送される動作とが含まれる。

【0026】

ロボットアームシステム１０は、例えば、産業分野における各種部品、半製品、若しくは製品又は物品の搬送作業、組付け作業、又は加工作業等に利用可能である。また、ロボットアームシステム１０は、例えば、介護分野における身の回りの品物（例えば、コップ、又は置物等）の搬送、又は受け渡し等にも利用可能である。

【0027】

なお、ここでは、物体Ｂの一例として円柱状の物体の例を示しているが、これはあくまでも一例にすぎない。物体Ｂの形状としては、ロボットハンド１６によって把持可能であればよく、特に限定されない。また、物体Ｂの光学特性についても特に限定されず、可視光に対して透明、若しくは不透明であってもよいし、又は光沢（例えば、金属光沢又は樹脂表面の光沢）を有していてもよい。

【0028】

制御装置１５は、ロボットアーム１２の動作を制御可能な装置である。制御装置１５は、ロボットアーム１２と別体とされた端末（例えば、パーソナル・コンピュータ又はタブレット）であってもよいし、ロボットアーム１２に組み込まれていてもよい。

【0029】

ロボットアーム１２は、アーム本体１４と、ロボットハンド１６と、カメラ１８とを備えている。アーム本体１４は、制御装置１５の制御下においてロボットハンド１６を所定の位置まで移動させる。アーム本体１４において、基端が土台Ｃに取り付けられており、先端にロボットハンド１６が取り付けられている。アーム本体１４において、複数の関節１４Ｂを介してリンク部分１４Ａが回動することで、ロボットハンド１６の移動が実現される。

【0030】

ロボットハンド１６は、制御装置１５の制御下において物体Ｂを把持する。図１に示す例では、ロボットハンド１６は、基端部１６Ｃを介してアーム本体１４の先端に取り付けられている。そして、ロボットハンド１６は、基端部１６Ｃから延出された一対の指１６Ａ及び１６Ｂを備えている。一対の指１６Ａ及び１６Ｂで物体Ｂを挟むことで、ロボットハンド１６により物体Ｂが把持される。ロボットハンド１６は、本開示の技術に係る「ロボットハンド」の一例である。

【0031】

カメラ１８は、物体Ｂを撮像可能な撮像装置である。カメラ１８は、ロボットハンド１６の基端部１６Ｃに取り付けられている。なお、これはあくまでも一例にすぎず、カメラ１８は、ロボットハンド１６に対して固定されていればよく、固定箇所は特に限定されない。カメラ１８は、ＲＧＢ画像を取得可能な撮像素子と、測距センサとを含んで構成される、いわゆるＲＧＢ－Ｄカメラである。カメラ１８は、画素毎にＲＧＢ値とともに被写体までの距離情報（すなわち、深度）が埋め込まれた画像を撮像可能とされている。カメラ１８は、本開示の技術に係る「撮像装置」の一例である。

【0032】

図２は、制御装置１５の電気系のハードウェア構成の一例を示すブロック図である。
一例として図２に示すように、制御装置１５は、コンピュータ２０と、通信Ｉ／Ｆ（インタフェース）２８と、受付装置３０と、表示装置３２とを備えている。コンピュータ２０は、プロセッサ２２と、ストレージ２４と、ＲＡＭ（Random Access Memory）２６とを備えている。プロセッサ２２と、ストレージ２４と、ＲＡＭ２６と、通信Ｉ／Ｆ２８と、受付装置３０と、表示装置３２とは、バス３４に接続されている。コンピュータ２０は、本開示の技術に係る「コンピュータ」及び「情報処理装置」の一例であり、プロセッサ２２は、本開示の技術に係る「プロセッサ」の一例である。

【0033】

プロセッサ２２には、メモリが接続されている。メモリは、ストレージ２４及びＲＡＭ２６を含む。プロセッサ２２は、例えば、ＣＰＵ（Central Processing Unit）を有する。

【0034】

ストレージ２４は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ストレージ２４としては、例えば、フラッシュメモリ（例えば、ＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）及びＳＳＤ（Solid State Drive）等）及び／又はＨＤＤ（Hard Disk Drive）が挙げられる。なお、フラッシュメモリ及びＨＤＤは、あくまでも一例に過ぎず、フラッシュメモリ、ＨＤＤ磁気抵抗メモリ、及び強誘電体メモリのうちの少なくとも１つをストレージ２４として用いてもよい。

【0035】

ＲＡＭ２６は、一時的に情報が記憶されるメモリであり、プロセッサ２２によってワークメモリとして用いられる。ＲＡＭ２６としては、例えば、ＤＲＡＭ（Dynamic Random Access Memory）又はＳＲＡＭ（Static Random Access Memory）等が挙げられる。

【0036】

通信Ｉ／Ｆ２８は、ロボットアーム１２に接続されている。通信Ｉ／Ｆ２８は、ロボットアーム１２との間の情報の授受を司る。例えば、通信Ｉ／Ｆ２８は、プロセッサ２２からの要求に応じた情報を、ロボットアーム１２に送信する。また、通信Ｉ／Ｆ２８は、ロボットアーム１２から送信された情報を受信し、受信した情報を、バス３４を介してプロセッサ２２に出力する。

【0037】

受付装置３０は、ユーザからの指示を受け付ける。受付装置３０は、例えば、キーボード及びマウス等である。表示装置３２は、制御装置１５の制御下で、各種情報（例えば、画像及び文字等）を表示する。表示装置３２としては、例えば、ＥＬ（Electro-Luminescence）ディスプレイ又は液晶ディスプレイ等が挙げられる。

【0038】

ストレージ２４には、動作制御プログラム２４Ａ及び経由点算出プログラム２４Ｂが記憶されている。動作制御プログラム２４Ａは、ロボットアーム１２による搬送動作を制御するためプログラムである。また、経由点算出プログラム２４Ｂは、搬送動作の際にロボットハンド１６の経由する点を算出するためのプログラムである。経由点算出プログラム２４Ｂは、本開示の技術に係る「プログラム」の一例である。

【0039】

プロセッサ２２は、ストレージ２４から動作制御プログラム２４Ａを読み出し、読み出した動作制御プログラム２４ＡをＲＡＭ２６上で実行することで、動作制御処理を実行する。動作制御処理は、プロセッサ２２が、動作制御部２２Ａとして動作することによって実現される。

【0040】

また、プロセッサ２２は、ストレージ２４から経由点算出プログラム２４Ｂを読み出し、読み出した経由点算出プログラム２４ＢをＲＡＭ２６上で実行することで、経由点算出処理を実行する。経由点算出処理は、プロセッサ２２が、取得部２２Ｂ、画像処理部２２Ｃ、三次元計測部２２Ｄ、候補点算出部２２Ｅ、及び経由点決定部２２Ｆとして動作することによって実現される。

【0041】

図３は、プロセッサ２２における動作制御部２２Ａの処理内容の一例を示す概念図である。
一例として図３に示すように、動作制御部２２Ａは、動作信号３６をロボットアーム１２に対して出力する。動作信号３６は、ロボットアーム１２の搬送動作における経由点及び搬送対象となる物体Ｂを示す信号である。以下では、ロボットアーム１２による搬送動作の内、物体Ｂ１を取りに行く動作を例に挙げて説明する。この場合、動作制御部２２Ａは、物体Ｂ１を取りに行く動作における経由点を示す動作信号３６Ａをロボットアーム１２に対して出力する。物体Ｂ１は、本開示の技術に係る「第１対象物体」の一例である。

【0042】

ロボットアーム１２は、動作信号３６Ａに基づいて物体Ｂを取りに行く動作を開始する。ロボットアーム１２の動作に伴って、ロボットハンド１６は、動作信号３６Ａにおいて指示された経由点を通過する。また、カメラ１８は、各経由点において撮像を行う。図３に示す例では、４つの経由点Ｄ１～Ｄ４を通過する例が示されている。

【0043】

ここで、経由点Ｄ１～Ｄ４は、予め設定されている。詳細は後述するが、経由点Ｄ１～Ｄ４は、一つ前の搬送動作における物体Ｂを移動させる動作により得られた三次元計測結果に基づいて決定されている。なお、前回の搬送動作が行われていない場合（すなわち、初回の搬送動作の場合）には、別途、三次元計測を行って経由点を決定してから、搬送動作を開始してもよい。また、搬送対象となる物体Ｂ１についても、予め定められたアルゴリズムに基づいて適宜設定される。例えば、一つ前の搬送動作における三次元計測の結果、ロボットハンド１６による把持が可能な程度の精度で三次元形状の寸法が得られた物体Ｂ１を、搬送対象として設定してもよい。

【0044】

図４は、プロセッサ２２における取得部２２Ｂ及び画像処理部２２Ｃの処理内容の一例を示す概念図である。
一例として図４に示すように、カメラ１８は、複数の経由点Ｄ１～Ｄ４の各々で取得した撮像画像群３８を制御装置１５のプロセッサ２２に対して出力する。プロセッサ２２において、取得部２２Ｂは、撮像画像群３８を取得する。撮像画像群３８は、複数の経由点Ｄ１～Ｄ４の各々において得られた撮像画像４０Ａ～４０Ｄを含んでいる。すなわち、撮像画像４０Ａ～４０Ｄは、それぞれ経由点Ｄ１～Ｄ４で撮像された画像である。以下の説明において、撮像画像４０Ａ～４０Ｂを区別する必要がない場合、単に「撮像画像４０」とも称する。撮像画像４０は、三次元計測の対象となる物体Ｂ２を示す像を含む画像である。なお、以下では説明の便宜上、撮像画像４０に一つの物体Ｂ２が含まれている例を挙げて説明するが、三次元計測の対象は、複数の物体Ｂであってもよい。物体Ｂ２は、本開示の技術に係る「第２対象物体」の一例である。

【0045】

取得部２２Ｂは、取得した撮像画像群３８を画像処理部２２Ｃに対して出力する。画像処理部２２Ｃは、撮像画像群３８に対して物体検出処理を実行することにより、撮像画像４０において物体Ｂ２を示す画像領域４２を抽出する。具体的には、画像処理部２２Ｃは、ストレージ２４から物体抽出用学習済みモデル２４Ｃを取得する。

【0046】

物体抽出用学習済みモデル２４Ｃは、例えば、ニューラルネットワークに対して教師データを用いた機械学習が行われることによって物体Ｂ２の抽出機能を実現している。教師データとしては、例えば、過去の試験結果により得られたデータセットであって、物体Ｂ２を含む画像を例題データとし、物体Ｂ２を示す画像領域を特定可能な情報を正解データとした教師データが挙げられる。

【0047】

そして、画像処理部２２Ｃは、物体抽出用学習済みモデル２４Ｃに対して、撮像画像４０を入力する。物体抽出用学習済みモデル２４Ｃは、入力された撮像画像４０に応じた抽出領域情報４４を出力する。抽出領域情報４４は、撮像画像４０において、物体Ｂ２を示す画像領域４２を特定可能な情報である。画像処理部２２Ｃは、物体抽出用学習済みモデル２４Ｃから出力された抽出領域情報４４を取得する。このように、画像処理部２２Ｃは、撮像画像４０から物体Ｂ２を示す画像領域４２を抽出する。

【0048】

なお、ここではＡＩ（Artificial Intelligence）方式による画像領域の抽出の例を挙げたが、これはあくまでも一例にすぎない。例えば、パターンマッチング方式による画像領域の抽出が行われてもよい。

【0049】

また、ここでは、複数の静止画からなる撮像画像群３８に対して画像処理が行われる形態例を挙げたが、本開示の技術はこれに限定されない。例えば、カメラ１８により得られた動画から抽出された数フレーム（例えば、２～３フレーム）に対して画像処理が行われる形態例であってもよい。

【0050】

また、ここでは、複数の撮像画像４０に対してまとめて画像処理が行われる形態例を挙げたが、本開示の技術はこれに限定されない。例えば、撮像画像４０が得られる度に、画像処理が並列的に行われてもよい。

【0051】

図５は、プロセッサ２２における三次元計測部２２Ｄの処理内容の一例を示す概念図である。
一例として図５に示すように、三次元計測部２２Ｄは、取得部２２Ｂから撮像位置情報４６を取得する。撮像位置情報４６は、撮像画像４０が撮像された位置（例えば、撮像画像４０が撮像されたときのカメラ１８の光学中心の三次元座標）を示す情報である。撮像位置情報４６は、例えば、撮像画像４０に付帯されている。また、三次元計測部２２Ｄは、画像処理部２２Ｃから抽出領域情報４４を取得する。

【0052】

三次元計測部２２Ｄは、撮像位置情報４６及び抽出領域情報４４を用いて、物体Ｂ２の三次元計測処理を実行する。具体的には、三次元計測部２２Ｄは、複数の撮像位置から観測した物体Ｂ２を示す画像領域４２に対して視体積交差法を用いた物体Ｂ２の三次元形状の推定を行う。視体積交差法（SfS；Shape from Silhouette）とは、複数の撮像位置で対象物体を観測して得られるシルエットから対象物体の形状を推定する手法である。三次元計測部２２Ｄは、撮像画像４０Ａにおける画像領域４２に向かって撮像位置Ｅ１から仮想的に伸ばした錐体状の空間Ｆ１を算出する。ここで、撮像位置Ｅ１は、撮像画像４０Ａを撮像した位置である。また、三次元計測部２２Ｄは、撮像画像４０Ｂにおける画像領域４２に向かって撮像位置Ｅ２から仮想的に伸ばした錐体状の空間Ｆ２を算出する。図５に示す例では、２つの撮像位置から三次元形状が推定される例を挙げているが、２つ以上の撮像位置が用いられてもよいことはもちろんである。

【0053】

そして、三次元計測部２２Ｄは、空間Ｆ１及び空間Ｆ２の両方に含まれる三次元形状Ｇを物体Ｂ２の形状として推定する。三次元計測処理の結果、物体Ｂ２の三次元形状Ｇを示す物体形状情報４８が得られる。このように、三次元計測部２２Ｄは、撮像画像４０に基づいて物体Ｂ２の三次元形状を推定する。より具体的には、三次元計測部２２Ｄは、複数の撮像画像４０における画像領域４２に対して視体積交差法を用いることにより、物体Ｂ２の三次元形状を推定する。

【0054】

図６は、プロセッサ２２における候補点算出部２２Ｅの処理内容の一例を示す概念図である。
一例として図６に示すように、候補点算出部２２Ｅは、三次元計測部２２Ｄから物体形状情報４８を取得する。先ず、候補点算出部２２Ｅは、物体形状情報４８により示される三次元形状Ｇを点群Ｈに変換する。点群Ｈは、三次元形状Ｇに対応した点の集合であって、各点は、三次元空間の位置座標を有している。さらに、候補点算出部２２Ｅは、点群Ｈに対して主成分分析を行う。これにより、点群Ｈを構成する各点の三次元空間における分布について、第１主成分σ１、第２主成分σ２、及び第３主成分σ３が得られる。

【0055】

ここで、主成分分析により得られる第１主成分σ１及び第２主成分σ２は、それぞれ点群Ｈに含まれる点の三次元空間の分布において、最もばらつきの大きい方向と、二番目にばらつきの大きい方向である。また、第１主成分σ１及び第２主成分σ２は、互いに直交しており、平面を成している。そして、第３主成分σ３は、第１主成分σ１及び第２主成分σ２に直交する方向であり、第３主成分σ３に沿った方向は、第１主成分σ１及び第２主成分σ２と比較して、点のばらつきが小さい方向となっている。すなわち、第３主成分σ３に沿った方向は、点群Ｈにおける点の分布に関して情報が少ない方向といえる。

【0056】

そして、候補点算出部２２Ｅは、第３主成分σ３に沿った方向に延在される軸Ｌ上に三次元計測の候補点Ｉを設定する。換言すれば、候補点算出部２２Ｅは、第３主成分σ３に沿った軸Ｌと、カメラ１８の光軸とが一致する位置に候補点Ｉを設定する。候補点Ｉは、三次元計測の際にカメラ１８が位置する候補となる点である。

【0057】

また、候補点算出部２２Ｅは、カメラ１８の撮影範囲（すなわち、画角）に含まれる点群Ｈにおける点の数が予め設定された範囲となる位置に候補点Ｉを設定する。撮像範囲内の点の数が、予め設定された範囲の下限値以上である場合（すなわち、カメラ１８の位置が点群Ｈに対して十分に離れている場合）は、対象物体のシルエットを画角内に収めることができる。このため、三次元形状計測の精度が向上する。一方、撮像範囲内の点の数が、予め設定された範囲の上限値以下である場合（すなわち、カメラ１８の位置が点群Ｈに対して適切な距離にある場合）は、空間解像度が確保され、十分な精度での三次元形状の計測が実現される。

【0058】

候補点算出部２２Ｅは、上述した条件を満たす撮像位置を、次回の搬送動作（ここでは、物体Ｂ１を移動させる動作）における候補点Ｉとして算出する。そして、候補点算出部２２Ｅは、候補点Ｉを示す情報である候補点情報５０を出力する。

【0059】

図７は、プロセッサ２２における経由点決定部２２Ｆの処理内容の一例を示す概念図である。
一例として図７に示すように、経由点決定部２２Ｆは、候補点算出部２２Ｅから点群情報５２及び候補点情報５０を取得する。点群情報５２は、点群Ｈに含まれる複数の点の各々の位置座標を示す情報である。先ず、経由点決定部２２Ｆは、ロボットハンド１６が移動可能な点を算出する。具体的には、経由点決定部２２Ｆは、点群Ｈの重心を原点とする球面座標系を用いて、ロボットハンド１６が移動可能な点を設定する。より具体的には、経由点決定部２２Ｆは、点群Ｈの重心Ｊを導出する。そして、経由点決定部２２Ｆは、点群Ｈの重心Ｊを原点とする球面座標系において格子点を生成する。格子点の生成において、経由点決定部２２Ｆは、候補点Ｉの座標に対して、第１角度の差分Δθだけずらした点、及び第２角度の差分Δφだけずらした点を生成することで、格子点を生成する。また、候補点Ｉの原点からの距離ｒを差分Δｒだけずらした点についても同様に、第１角度の差分Δθだけずらした点、及び第２角度の差分Δφだけずらした点を生成することで、格子点を生成する。

【0060】

そして、経由点決定部２２Ｆは、生成した格子点の中からロボットハンド１６が移動可能な点を探索する。具体的には、経由点決定部２２Ｆは、アーム本体１４のリンク部分１４Ａの長さ、及び関節１４Ｂの回転可能角度等に基づいて、格子点の中でロボットハンド１６が移動可能な点を導出する。この結果、ロボットハンド１６が移動可能な点を示す情報である移動可能点情報５４が得られる。

【0061】

経由点決定部２２Ｆは、候補点情報５０及び移動可能点情報５４に基づいて、次回の搬送動作における経由点を決定する。具体的には、経由点決定部２２Ｆは、ロボットハンド１６が移動可能な点と候補点Ｉとに最も近い点を経由点として決定する。例えば、経由点決定部２２Ｆは、候補点Ｉと移動可能点とについて二分法を用いることにより、経由点を算出する。具体的には、候補点Ｉと移動可能点の座標を初期値とし、予め定められた回数の反復計算を実行することで得られる両者に最も近い点を、経由点として決定する。経由点決定部２２Ｆは、決定した経由点を示す情報である経由点情報５６を出力する。

【0062】

なお、ここでは二分法を用いて経由点として決定する形態例を挙げたがこれはあくまでも一例にすぎない。その他の数値解析手法を用いて、経由点が決定されてもよい。

【0063】

図８は、プロセッサ２２における動作制御部２２Ａの処理内容の一例を示す概念図である。
一例として図８に示すように、動作制御部２２Ａは、経由点決定部２２Ｆから経由点情報５６を取得する。動作制御部２２Ａは、経由点情報５６に基づいて動作信号３６Ｂを生成する。動作信号３６Ｂは、物体Ｂ１を置きに行く動作における経由点を示す信号である。そして、動作制御部２２Ａは、動作信号３６Ｂをロボットアーム１２に対して出力する。ロボットアーム１２は、動作信号３６Ｂに基づいて物体Ｂ１を台Ａ２へ置きに行く動作を開始する。ロボットアーム１２の動作に伴って、ロボットハンド１６は、動作信号３６Ｂにおいて指示された経由点を通過する。また、カメラ１８は、各経由点において撮像を行う。図８に示す例では、３つの経由点Ｋ１～Ｋ３を通過する例が示されている。このように、物体Ｂ１を置きに行く動作における経由点は、物体Ｂ１を取りに行く動作の間における物体Ｂ２の三次元形状の計測結果に基づいて設定される。

【0064】

ロボットアーム１２による物体Ｂ１の搬送動作が終了した後、動作制御部２２Ａは、次の物体Ｂ（例えば、物体Ｂ３）に対する搬送動作を開始する。この搬送動作の物体Ｂ３を取りに行く動作において、ロボットアーム１２の経由点は、一つ前の搬送動作における物体Ｂ１を置きに行く動作において得られた撮像画像４０に基づいて算出された経由点である。このように、ある搬送動作における複数の経由点は、直前の搬送動作における物体Ｂの三次元形状の計測結果に基づいて設定される。

【0065】

次に、本実施形態に係るロボットアームシステム１０におけるロボットアーム１２の制御処理（以下単に「制御処理」とも称する）について、図９及び図１０を参照しながら説明する。図９は、制御処理の一例を示すフローチャートである。また、図１０は、経由点算出処理の一例を示すフローチャートである。図１０に示す経由点算出処理の流れは、本開示の技術に係る「情報処理方法」の一例である。

【0066】

一例として図９に示すように、制御処理では、先ず、ステップＳＴ１４で、動作制御部２２Ａは、複数の物体Ｂの中から搬送対象となる物体Ｂ１を決定する。ステップＳＴ１４の処理が実行された後、制御処理は、ステップＳＴ１６へ移行する。

【0067】

ステップＳＴ１６で、動作制御部２２Ａは、ロボットアーム１２に対して物体Ｂ１を取りに行く動作を開始させる。ステップＳＴ１６の処理が実行された後、制御処理は、ステップＳＴ１８へ移行する。

【0068】

ステップＳＴ１８で、動作制御部２２Ａは、物体Ｂ１を取りに行く動作における経由点毎にカメラ１８に撮像対象となる物体Ｂ２を撮像させる。ステップＳＴ１８の処理が実行された後、制御処理は、ステップＳＴ２０へ移行する。

【0069】

ステップＳＴ２０で、取得部２２Ｂは、カメラ１８により得られた撮像画像４０及び撮像位置情報４６を取得する。ステップＳＴ２０の処理が実行された後、制御処理は、ステップＳＴ１００へ移行する。

【0070】

ステップＳＴ１００で、経由点算出処理が実行される。ステップＳＴ１００の処理が実行された後、制御処理は、ステップＳＴ２２へ移行する。

【0071】

ステップＳＴ２２で、動作制御部２２Ａは、ステップＳＴ１００の経由点算出処理の結果得られた経由点を通過するように、ロボットアーム１２に対して物体Ｂ１を置きに行く動作を実行させる。ステップＳＴ２２の処理が実行された後、制御処理は、ステップＳＴ２４へ移行する。

【0072】

ステップＳＴ２４で、動作制御部２２Ａは、物体Ｂ１を置きに行く動作における経由点毎にカメラ１８に撮像対象となる物体Ｂ２を撮像させる。ステップＳＴ２４の処理が実行された後、制御処理は、ステップＳＴ２６へ移行する。

【0073】

ステップＳＴ２６で、取得部２２Ｂは、カメラ１８により得られた撮像画像４０及び撮像位置情報４６を取得する。ステップＳＴ２６の処理が実行された後、制御処理は、ステップＳＴ１００Ａへ移行する。

【0074】

ステップＳＴ１００Ａで、経由点算出処理が実行される。ステップＳＴ１００Ａの処理が実行された後、制御処理は、ステップＳＴ２８へ移行する。

【0075】

ステップＳＴ２８で、動作制御部２２Ａは、制御処理を終了させる条件（以下、「終了条件」と称する）を満足したか否かを判定する。終了条件としては、受付装置３０を介して搬送動作を終了させる指示が入力された、との条件が挙げられる。ステップＳＴ２８で、終了条件を満足したと判定された場合、判定が肯定されて、制御処理は、終了する。ステップＳＴ２８で、終了条件を満足したと判定されない場合、判定が否定されて、制御処理は、ステップＳＴ１４に戻る。

【0076】

一例として図１０に示すように、ステップＳＴ１００及びＳＴ１００Ａにおける経由点算出処理において、ステップＳＴ１０１では、画像処理部２２Ｃは、取得部２２Ｂにより取得された撮像画像４０に対して物体抽出処理を実行することにより、物体Ｂ２を示す画像領域４２を抽出する。ステップＳＴ１０１の処理が実行された後、経由点算出処理は、ステップＳＴ１０３へ移行する。

【0077】

ステップＳＴ１０３では、三次元計測部２２Ｄは、画像処理部２２Ｃにおいて得られた抽出結果に基づいて、視体積交差法による物体Ｂ２の三次元計測処理を実行する。ステップＳＴ１０３の処理が実行された後、経由点算出処理は、ステップＳＴ１０５へ移行する。

【0078】

ステップＳＴ１０５では、候補点算出部２２Ｅは、三次元計測部２２Ｄにおいて得られた三次元計測結果を点群Ｈに変換する。ステップＳＴ１０５の処理が実行された後、経由点算出処理は、ステップＳＴ１０７へ移行する。

【0079】

ステップＳＴ１０７では、候補点算出部２２Ｅは、ステップＳＴ１０５において得られた点群Ｈに対して主成分分析を行う。ステップＳＴ１０７の処理が実行された後、経由点算出処理は、ステップＳＴ１０９へ移行する。

【0080】

ステップＳＴ１０９では、候補点算出部２２Ｅは、ステップＳＴ１０７において得られた主成分分析結果のうちの第３主成分σ３に沿った方向にカメラ１８の光軸を設定する。ステップＳＴ１０９の処理が実行された後、経由点算出処理は、ステップＳＴ１１１へ移行する。

【0081】

ステップＳＴ１１１では、候補点算出部２２Ｅは、ステップＳＴ１０９において設定された光軸上で、画角内の点の数が予め定められた範囲内になる位置に候補点Ｉを設定する。ステップＳＴ１１１の処理が実行された後、経由点算出処理は、ステップＳＴ１１３へ移行する。

【0082】

ステップＳＴ１１３では、経由点決定部２２Ｆは、点群Ｈの重心を原点とする球面座標系において格子点を生成する。ステップＳＴ１１３の処理が実行された後、経由点算出処理は、ステップＳＴ１１５へ移行する。

【0083】

ステップＳＴ１１５では、経由点決定部２２Ｆは、ステップＳＴ１１３で得られた格子点の中からロボットハンド１６が移動可能な点を探索する。ステップＳＴ１１５の処理が実行された後、経由点算出処理は、ステップＳＴ１１７へ移行する。

【0084】

ステップＳＴ１１７では、経由点決定部２２Ｆは、移動可能な点と候補点と基づいて経由点を決定する。ステップＳＴ１１７が実行された後、経由点算出処理が終了する。

【0085】

以上説明したように、本実施形態に係るロボットアームシステム１０では、制御装置１５の取得部２２Ｂにおいて、ロボットハンド１６に設けられたカメラ１８により得られた撮像画像４０が取得される。撮像画像４０は、ロボットハンド１６による物体Ｂ１に対する搬送動作の間に、ロボットハンド１６が通過する複数の経由点において撮像されて得られた画像である。撮像画像４０には、物体Ｂ２を示す像が含まれている。そして、三次元計測部２２Ｄは、取得した撮像画像４０に基づいて物体Ｂ２の三次元形状を推定する。これにより、搬送動作とは別に、三次元形状を測定するために複数の計測点へロボットハンド１６を移動させる必要が無くなり、三次元形状の測定に起因したタクトタイムの増加が抑制される。

【0086】

また、本実施形態に係るロボットアームシステム１０では、三次元計測部２２Ｄにおいて、物体Ｂ２の三次元形状は、複数の経由点の各々において得られた複数の撮像画像４０に対して物体Ｂ２を示す画像領域４２が抽出された結果に対して、視体積交差法を用いることで推定される。これにより、ロボットハンド１６に設けられたカメラ１８により得られた撮像画像４０に基づいた三次元形状の推定を行う場合であっても、三次元計測に要する時間を短縮できる。

【0087】

例えば、三次元計測用のステレオカメラをロボットアーム１２とは別体に設けた構成と比較して、ロボットアームシステム１０の構成の簡素化、及び低コスト化が期待できる。

【0088】

また、例えば、物体Ｂ２が様々な光学特性を有する物体であっても、正確な三次元形状の推定を行うことができる。具体的には、物体Ｂ２が、可視光に対して不透明な光学特性を有する場合、ステレオカメラを用いた三次元計測では、外観形状を把握することが困難となる。また、物体Ｂ２が光沢を有する場合、２台のカメラの各々において物体Ｂ２を見る角度によって物体Ｂ２の光る位置（すなわち、物体Ｂ２において反射光の強度が最も大きくなる位置）が変化してしまう。また、２台のカメラの各々が、物体Ｂ２の光る位置に合わせて感度を調整してしまう。このため、ステレオカメラ間の視差を正確に求めることが困難になり、正確な三次元計測を行うことが困難になる、あるいはステレオカメラシステムが高コスト化する。一方、本構成では、撮像画像４０から物体Ｂ２を示す画像領域４２を抽出した結果に対して視体積交差法を用いることで、物体Ｂ２の三次元形状を推定する。これにより、様々な光学特性を持つ物体Ｂ２であっても、低コスト化かつ高速に三次元計測を行うことが実現される。

【0089】

また、本実施形態に係るロボットアームシステム１０では、搬送動作は、複数の物体Ｂ毎に行われ、複数の経由点は、直前の搬送動作における物体Ｂの三次元形状の計測結果に基づいて設定される。この結果、より計測に適した経由点をロボットハンド１６に通過させることが実現される。

【0090】

また、本実施形態に係るロボットアームシステム１０では、ロボットアーム１２による搬送動作には、ロボットハンド１６が物体Ｂ１を把持するために移動する動作（すなわち、物体Ｂ１を取りに行く動作）と、ロボットハンド１６により把持された物体Ｂ１が別の場所へ搬送される動作（すなわち、物体Ｂ１を置きに行く動作）とを含む。そして、物体Ｂ１を置きに行く動作における経由点は、取りに行く動作の間における物体Ｂ２の三次元形状の計測結果に基づいて設定される。この結果、より計測に適した経由点をロボットハンド１６に通過させることが実現される。

【0091】

また、本実施形態に係るロボットアームシステム１０では、経由点は、計測結果から求められる三次元計測の候補点Ｉと、ロボットハンド１６の移動可能点とに基づいて設定される。これにより、三次元計測に適し、かつロボットハンド１６の移動を制限しない経由点の設定が実現される。

【0092】

また、本実施形態に係るロボットアームシステム１０では、候補点算出部２２Ｅは、物体Ｂ１の三次元形状に対応した複数の点から成る点群Ｈに対する主成分分析を行う。そして、候補点算出部２２Ｅは、主成分分析により得られる第３主成分σ３に沿った軸とカメラ１８の光軸Ｌとが一致する位置に、候補点Ｉを設定する。このように、主成分分析によって点群Ｈのばらつきを示す指標が定量的に得られる。さらに、ばらつきの大きい方向である第１主成分σ１と第２主成分σ２とから成る平面に対して、直交する方向である第３主成分σ３に沿った方向に光軸Ｌを一致させる。これにより、点群Ｈが分布する方向に対してカメラ１８を垂直に向けることができる。この結果、より三次元計測に適した計測点を設定することができる。

【0093】

また、本実施形態に係るロボットアームシステム１０では、候補点算出部２２Ｅにおいて、候補点Ｉは、第３主成分σ３に沿った方向において、カメラ１８の撮影範囲に含まれる点群Ｈにおける点の数が予め設定された範囲となる位置に設定される。これにより、三次元計測のための候補点Ｉが、カメラ１８の撮影範囲に点が閾値以上含まれ、かつ空間解像度が確保される位置に設定されるので、より三次元計測に適した計測点を設定することができる。

【0094】

また、本実施形態に係るロボットアームシステム１０では、経由点決定部２２Ｆにおいて、経由点は、三次元計測における物体Ｂ２の重心を原点とする球面標系を用いて設定される。これにより、物体Ｂ２を中心とした経由点を算出することが容易となる。

【0095】

また、本実施形態に係るロボットアームシステム１０では、経由点決定部２２Ｆにおいて、経由点は、球面座標系により示される格子点であり、候補点とロボットハンド１６の移動可能点とに最も近い点である。これにより、三次元計測に適し、かつロボットハンド１６の移動を制限しない経由点の設定が実現される。

【0096】

上記実施形態において、物体Ｂ１を取りに行く動作及び物体Ｂ１を置きに行く動作の両方で三次元計測が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、物体Ｂ１を取りに行く動作及び物体Ｂ１を置きに行く動作のいずれかで三次元計測が行われてもよい。

【0097】

また、上記実施形態において、ロボットハンド１６により台Ａ１から台Ａ２へ物体Ｂが搬送される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、物体Ｂが箱の内部に積まれた状態からピッキングされて別の場所へ搬送される形態であってもよいし、物体Ｂがベルトコンベア上を流れ、そこからピッキングされる形態であってもよい。また、例えば、物体Ｂが搬送先において、別の部品に組付けられる形態であってもよいし、別のロボットハンド又は作業者に対して受け渡される形態であってもよい。

【0098】

また、上記実施形態では、ストレージ２４に動作制御プログラム２４Ａ及び経由点算出プログラム２４Ｂ（以下単に「各種プログラム」とも称する）が記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、各種プログラムがＳＳＤ、又はＵＳＢ(Universal Serial Bus)メモリなどの可搬型の非一時的記憶媒体に記憶されていてもよい。非一時的記憶媒体に記憶されている各種プログラムは、制御装置１５にインストールされる。プロセッサ２２は、各種プログラムに従って動作制御処理及び経由点算出処理（以下単に「各種処理」とも称する）を実行する。また、動作制御プログラム２４Ａ及び経由点算出プログラム２４Ｂが、一つのプログラムとしてストレージ２４又は非一時的記憶媒体に記憶されていてもよい。

【0099】

また、ネットワークを介して制御装置１５に接続される他のコンピュータ又はサーバ等の記憶装置に各種プログラムを記憶させておき、制御装置１５の要求に応じて各種プログラムがダウンロードされ、制御装置１５にインストールされるようにしてもよい。

【0100】

なお、制御装置１５に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はストレージ２４に各種プログラムの全てを記憶させておく必要はなく、各種プログラムの一部を記憶させておいてもよい。

【0101】

各種処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、各種処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで各種処理を実行する。

【0102】

各種処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、各種処理を実行するハードウェア資源は１つのプロセッサであってもよい。

【0103】

１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、各種処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、各種処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、各種処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

【0104】

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の各種処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

【0105】

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

【0106】

本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

【0107】

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

【0108】

上記実施形態に関し、さらに以下の付記を開示する。

【0109】

＜付記１＞
プロセッサを備え、
上記プロセッサは、
ロボットハンドによる把持の対象となる第１対象物体に対する搬送動作の間に上記ロボットハンドが通過する複数の経由点において上記ロボットハンドに設けられた撮像装置により得られた画像であって、三次元計測の対象となる第２対象物体を示す像を含む画像を取得し、
取得した上記画像に基づいて上記第２対象物体の三次元形状を推定する
情報処理装置。
＜付記２＞
上記第２対象物体の三次元形状は、上記複数の経由点の各々において得られた複数の画像に対して上記第２対象物体を示す像が抽出された結果に対して、視体積交差法を用いることで推定される
付記１に記載の情報処理装置。
＜付記３＞
上記搬送動作は、複数の上記第１対象物体毎に行われ、
上記複数の経由点は、直前の搬送動作における上記第２対象物体の三次元形状の計測結果に基づいて設定される
付記１又は付記２に記載の情報処理装置。
＜付記４＞
上記搬送動作は、上記ロボットハンドが第１対象物体を把持するために移動する第１動作と、上記ロボットハンドにより把持された上記第１対象物体が別の場所へ搬送される第２動作とを含み、
上記第２動作における上記経由点は、上記第１動作の間における上記第２対象物体の三次元形状の計測結果に基づいて設定される
付記１から付記３の内の何れか一つに記載の情報処理装置。
＜付記５＞
上記経由点は、上記計測結果から求められる上記三次元計測の候補点と、上記ロボットハンドの移動可能点とに基づいて設定される
付記３又は付記４に記載の情報処理装置。
＜付記６＞
上記候補点は、上記三次元形状に対応した複数の点から成る点群であって各点が三次元空間座標を示す上記点群に対する主成分分析を行うことにより得られる第３主成分に沿った軸と上記撮像装置の光軸とが一致する位置に設定される
付記５に記載の情報処理装置。
＜付記７＞
上記候補点は、上記第３主成分に沿った方向において、上記撮像装置の撮影範囲に含まれる上記点群における点の数が予め設定された範囲となる位置に設定される
付記６に記載の情報処理装置。
＜付記８＞
上記移動可能点は、上記三次元計測における上記第２対象物体の重心を原点とする球面座標系を用いて設定される
付記５に記載の情報処理装置。
＜付記９＞
上記経由点は、上記球面座標系により示される格子点であり、上記候補点と上記ロボットハンドの上記移動可能点とに最も近い点である
付記８に記載の情報処理装置。

【符号の説明】

【0110】

１０ ロボットアームシステム
１２ ロボットアーム
１４ アーム本体
１４Ａ リンク部分
１４Ｂ 関節
１５ 制御装置
１６ ロボットハンド
１６Ａ，１６Ｂ 指
１６Ｃ 基端部
１８ カメラ
２０ コンピュータ
２２ プロセッサ
２２Ａ 動作制御部
２２Ｂ 取得部
２２Ｃ 画像処理部
２２Ｄ 三次元計測部
２２Ｅ 候補点算出部
２２Ｆ 経由点決定部
２４ ストレージ
２４Ａ 動作制御プログラム
２４Ｂ 経由点算出プログラム
２４Ｃ 物体検出用学習済みモデル
２８ 通信Ｉ／Ｆ
３０ 受付装置
３２ 表示装置
３４ バス
３６，３６Ａ，３６Ｂ 動作信号
３８ 撮像画像群
４０，４０Ａ，４０Ｂ 撮像画像
４２ 画像領域
４４ 抽出領域情報
４６ 撮像位置情報
４８ 物体形状情報
５０ 候補点情報
５２ 点群情報
５４ 移動可能点情報
５６ 経由点情報
I 候補点
Ａ１，Ａ２ 台
Ｂ，Ｂ１，Ｂ２ 物体
Ｃ 土台
Ｄ１，Ｄ２，Ｄ３，Ｄ４ 経由点
Ｅ１，Ｅ２ 撮像位置
Ｆ１，Ｆ２ 空間
Ｇ 三次元形状
Ｈ 点群
Ｉ 候補点
Ｊ 重心
Ｋ１，Ｋ２，Ｋ３ 経由点
Ｌ 軸

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】