特許 6237122 ロボット、画像処理方法及びロボットシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6237122

(24)【登録日】2017年11月10日

(45)【発行日】2017年11月29日

(54)【発明の名称】ロボット、画像処理方法及びロボットシステム

(51)【国際特許分類】

   B25J 19/04 20060101AFI20171120BHJP

   G06T 7/60 20170101ALI20171120BHJP

【ＦＩ】

   B25J19/04

   G06T7/60 150Z

【請求項の数】8

【全頁数】21

(21)【出願番号】特願2013-225869(P2013-225869)

(22)【出願日】2013年10月30日

(65)【公開番号】特開2015-85434(P2015-85434A)

(43)【公開日】2015年5月7日

【審査請求日】2016年10月4日

(73)【特許権者】

【識別番号】000002369

【氏名又は名称】セイコーエプソン株式会社

(74)【代理人】

【識別番号】100064908

【弁理士】

【氏名又は名称】志賀 正武

(74)【代理人】

【識別番号】100146835

【弁理士】

【氏名又は名称】佐伯 義文

(74)【代理人】

【識別番号】100140774

【弁理士】

【氏名又は名称】大浪 一徳

(74)【代理人】

【識別番号】100122312

【弁理士】

【氏名又は名称】堀内 正優

(72)【発明者】

【氏名】原田 智紀

(72)【発明者】

【氏名】橋本 浩一

(72)【発明者】

【氏名】荒井 翔悟

(72)【発明者】

【氏名】藤平 敦

【審査官】 貞光 大樹

(56)【参考文献】

【文献】 特開２００９−１２８２０１（ＪＰ，Ａ）

【文献】 特開平１−１３４５７３（ＪＰ，Ａ）

【文献】 特開２０１１−１６７８１５（ＪＰ，Ａ）

【文献】 特開２０１３−２１５８３３（ＪＰ，Ａ）

【文献】 特開２０１１−２４８７５７（ＪＰ，Ａ）

【文献】 特開２０１３−１１７３９２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ２５Ｊ １／００ − ２１／０２

Ｇ０６Ｔ ７／００ − ７／９０

(57)【特許請求の範囲】

【請求項1】

整列されていない１個又は複数個の対象物を被写体として撮像された３次元画像から得られる、前記被写体の表面を表す３次元点群に含まれる複数の点から選択した任意の２点からなる複数の組のうち、２点間の線分の長さが前記対象物の長さから所定の範囲内となる組を選択する組選択部と、
前記組選択部が選択した組をなす２点間の線分から、前記複数の点のうち当該線分から予め定めた距離内にある点までの間の距離と、対象物の半径との誤差が、予め定めた範囲内にある前記線分を中心軸として選択する中心軸選択部と、
を備えるロボット。

【請求項2】

前記組を選択する範囲となる注目領域を設定する注目領域設定部を備え、
前記組選択部は、前記注目領域設定部が設定した注目領域に含まれる複数の点から選択した任意の２点からなる複数の組のうち、２点間の線分の長さが前記対象物の長さから所定の範囲内となる組を選択し、
前記中心軸選択部は、前記組選択部が選択した組をなす２点間の線分から、前記複数の点のうち当該線分から予め定めた距離内にある点までの間の距離と、対象物の半径との誤差が、最も小さい前記線分を中心軸として選択する請求項１に記載のロボット。

【請求項3】

前記注目領域設定部は、前記複数の点を網羅する複数の注目領域の候補である候補領域から前記複数の点が分布する領域が最も大きい候補領域を前記注目領域の少なくとも１つとして選択する請求項２に記載のロボット。

【請求項4】

前記組選択部は、前記注目領域に含まれる複数の点から選択した任意の２点からなる複数の組のうち２点間の線分から予め定めた距離内に含まれる点の数が、前記対象物がとりうる点の数から予め定めた範囲外となる組を除外する請求項２又は請求項３に記載のロボット。

【請求項5】

前記組選択部は、撮像方向に垂直な面と２点間の直線の方向とのなす角が予め定めた角度よりも大きい組を除外する請求項１から４のいずれかに記載のロボット。

【請求項6】

前記中心軸選択部が選択した中心軸の方向と、前記中心軸選択部が選択した中心軸から所定距離内に含まれる点から算出した前記対象物の位置に基づいて動作する請求項１から５のいずれかに記載のロボット。

【請求項7】

画像処理装置における画像処理方法であって、
整列されていない１個又は複数個の対象物を被写体として撮像された３次元画像から得られる、前記被写体の表面を表す３次元点群に含まれる複数の点から選択した任意の２点からなる複数の組のうち、２点間の線分の長さが前記対象物の長さから所定の範囲内となる組を選択する組選択過程と、
前記組選択過程で選択した組をなす２点間の線分から、前記複数の点のうち当該線分から予め定めた距離内にある点までの間の距離と、対象物の半径との誤差が、予め定めた範囲内にある前記線分を中心軸として選択する中心軸選択過程と、
を有する画像処理方法。

【請求項8】

ロボットと、対象物を撮像する撮像装置と、前記撮像装置が撮影した画像に基づいて１個の前記対象物の位置と姿勢を表す空間データを取得する画像処理装置と、前記空間データに基づいて前記ロボットの動作を制御するロボット制御装置とを備えるロボットシステムであって、
前記画像処理装置は、
整列されていない１個又は複数個の対象物を被写体として撮像された３次元画像から得られる、前記被写体の表面を表す３次元点群に含まれる複数の点から選択した任意の２点からなる複数の組のうち、２点間の線分の長さが前記対象物の長さから所定の範囲内となる組を選択する組選択部と、
前記組選択部が選択した組をなす２点間の線分から、前記複数の点のうち当該線分から予め定めた距離内にある点までの間の距離と、対象物の半径との誤差が、予め定めた範囲内にある前記線分を中心軸として選択する中心軸選択部と、
を備えるロボットシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボット、画像処理方法及びロボットシステムに関する。

【背景技術】

【0002】

ロボットが行う作業には、乱雑に積まれた対象物を一つ一つ取り出し、他の物体に組み付けを行う動作がある。このような動作には、例えば、ピンピッキングがあり、産業上重要なものと考えられている。対象物を取り出す際、乱雑に積まれた対象物をロボットアームに治具や専用の装置を用いて把持させ、一定の位置や姿勢をとるように整列し直すことがある。しかし、対象物の形状・大きさによって個々に異なる専用の治具や専用の装置を取り付ける必要があるため、経済的、時間的なコストが増大してしまう。

【0003】

そこで、プロジェクターやレーザー光発生器等の光源を用いて対象物に光線を照射し、対象物からの反射光を処理することで対象物の３次元情報を取得し、取得した３次元情報に基づいて対象物の位置や姿勢を求めることが試みられてきた。３次元情報は、例えば、対象物が含まれる空間内の３次元点群を示す画像データである。位置や姿勢を求める際に、所定の対象物のテンプレートと３次元点群とのマッチングを行うことがある。しかし３次元点群のマッチングは、２次元画像のマッチングと比較して、演算すべき次元数が増加する。つまり、マッチングの対象が２次元から３次元に増加することに応じて、対象物の位置や姿勢を求める際の次元数が３次元から６次元に増加する。同種の計算手法を用いる場合、計算量や計算時間が対象物の次元数に応じて指数関数的に増加する。そのために、３次元点群に対する位置や姿勢の推定に、膨大な計算量や計算時間を要することがある。

【0004】

この問題を解決するため、位置や姿勢の推定において、対象物が有する形状の特徴を用いる方法が提案されている。例えば、特許文献１には、同一形状の部品が乱雑に山積みされた部品群に対してピンピッキングを可能とする位置姿勢認識装置等を備えたピンピッキングシステムについて記載されている。当該ピンピッキングシステムでは、撮像画像における明領域が単独でかつ直線上に延在する直線状明領域を撮像画像から抽出する。ここで、閾値を用いて撮像画像から明領域を抽出し、抽出されたそれぞれの明領域から、明領域が交差することなく単独で直線状に延在する直線状明領域を抽出する。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００９−１２８２０１号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、工場等の作業現場で用いられる対象物の形状は個々に異なる。例えば、ネジ、ボルト等のように、その表面を占める平面領域が少なく、主に曲面を有する物体が数多く存在する。一方、そのような物体は、プラスチックフィルムからなる袋に詰められて運搬、納入されることがあり、作業空間内において整列されていることは稀である。従って、ロボットに曲面を有する対象物を操作させる際には、その位置と姿勢を個々に特定することが要求される。

【0007】

そこで、本発明は、上記問題に鑑みてなされたものであり、曲面を有する対象物の位置や姿勢を推定することを可能とするロボット、画像処理方法及びロボットシステムを提供することを課題とする。

【課題を解決するための手段】

【0008】

（１）本発明の一態様は、整列されていない１個又は複数個の対象物を被写体として撮像された３次元画像から得られる、前記被写体の表面を表す３次元点群に含まれる複数の点から選択した任意の２点からなる複数の組のうち、２点間の線分の長さが前記対象物の長さから所定の範囲内となる組を選択する組選択部と、前記組選択部が選択した組をなす２点間の線分から、前記複数の点のうち当該線分から予め定めた距離内にある点までの間の距離と、対象物の半径との誤差が、予め定めた範囲内にある前記線分を中心軸として選択する中心軸選択部と、を備えるロボットである。
この構成によれば、長さが所定の範囲内である２点を結ぶ中心軸からの半径が所定の範囲内にある点から形成される対象物の画像を表す点が特定される。そのため、曲面を有する対象物として、形状が円柱もしくは円柱に近似する対象物の位置及び姿勢を推定することができる。

【0009】

（２）本発明の一態様は、上記のロボットであって、前記組を選択する範囲となる注目領域を設定する注目領域設定部を備え、前記組選択部は、前記注目領域設定部が設定した注目領域に含まれる複数の点から選択した任意の２点からなる複数の組のうち、２点間の線分の長さが前記対象物の長さから所定の範囲内となる組を選択し、前記中心軸選択部は、前記組選択部が選択した組をなす２点間の線分から、前記複数の点のうち当該線分から予め定めた距離内にある点までの間の距離と、対象物の半径との誤差が、最も小さい前記線分を中心軸として選択する。
この構成によれば、処理対象となる画像の領域が注目領域に限定され、中心軸の選択に要する点が選択した組をなす２点間の線分から予め定めた範囲内に限定される。そのため、対象物の位置及び姿勢を推定するための処理量の増大を抑制することができる。また、誤差が最も小さい中心軸が選択されるため、対応する周囲の点として対象物の形状に最も近似するものが選択される。

【0010】

（３）本発明の一態様は、上記のロボットにおいて、前記注目領域設定部は、前記複数の点を網羅する複数の注目領域の候補である候補領域から前記複数の点が分布する領域が最も大きい候補領域を前記注目領域の少なくとも１つとして選択する。
この構成によれば、被写体が表されている領域が最も大きい候補領域を含むように注目領域が選択されるため、処理対象となる対象物を表す画像の欠落を低減し、当該画像を確実に取得することができる。

【0011】

（４）本発明の一態様は、上記のロボットにおいて、前記組選択部は、前記注目領域に含まれる複数の点から選択した任意の２点からなる複数の組のうち２点間の線分から予め定めた距離内に含まれる点の数が、前記対象物がとりうる点の数から予め定めた範囲外となる組を除外する。
この構成によれば、注目領域に含まれる画像のうち、対象物の画像の大きさからかけ離れた画像を除外することで処理効率を向上し、表している対象物の大きさとして妥当な画像を選択することができる。

【0012】

（５）本発明の一態様は、上記のロボットにおいて、前記組選択部は、撮像方向に垂直な面と２点間の直線の方向とのなす角が予め定めた角度よりも大きい組を除外する。
撮像方向に垂直な面と２点間の直線の方向とのなす角が大きくなると、当該２点間の直線の周りの画像がその垂直な面に射影される面積が小さくなり、当該画像を表す点に基づく位置及び方向の推定精度が低下する。この構成によれば、かかる画像に対する処理を除外することで処理効率を向上し、より高い推定精度が期待できる画像を選択することができる。

【0013】

（６）本発明の一態様は、上記のロボットにおいて、前記中心軸選択部が選択した中心軸の方向と、前記中心軸選択部が選択した中心軸から所定距離内に含まれる点から算出した前記対象物の位置に基づいて動作する。
これにより、推定した対象物の位置や姿勢に応じて動作を制御することができる。

【0014】

（７）本発明の一態様は、画像処理装置における画像処理方法であって、画像処理装置における画像処理方法であって、整列されていない１個又は複数個の対象物を被写体として撮像された３次元画像から得られる、前記被写体の表面を表す３次元点群に含まれる複数の点から選択した任意の２点からなる複数の組のうち、２点間の線分の長さが前記対象物の長さから所定の範囲内となる組を選択する組選択過程と、前記組選択過程で選択した組をなす２点間の線分から、前記複数の点のうち当該線分から予め定めた距離内にある点までの間の距離と、対象物の半径との誤差が、予め定めた範囲内にある前記線分を中心軸として選択する中心軸選択過程と、を有する画像処理方法である。
この構成によれば、長さが所定の範囲内である２点を結ぶ中心軸からの半径が所定の範囲内にある点から形成される対象物の画像を表す点が特定される。そのため、曲面を有する対象物として、形状が円柱もしくは円柱に近似する対象物の位置及び姿勢を推定することができる。

【0015】

（８）本発明の一態様は、ロボットと、対象物を撮像する撮像装置と、前記撮像装置が撮影した画像に基づいて１個の前記対象物の位置と姿勢を表す空間データを取得する画像処理装置と、前記空間データに基づいて前記ロボットの動作を制御するロボット制御装置とを備えるロボットシステムであって、前記画像処理装置は、整列されていない１個又は複数個の対象物を被写体として撮像された３次元画像から得られる、前記被写体の表面を表す３次元点群に含まれる複数の点から選択した任意の２点からなる複数の組のうち、２点間の線分の長さが前記対象物の長さから所定の範囲内となる組を選択する組選択部と、前記組選択部が選択した組をなす２点間の線分から、前記複数の点のうち当該線分から予め定めた距離内にある点までの間の距離と、対象物の半径との誤差が、予め定めた範囲内にある前記線分を中心軸として選択する中心軸選択部と、を備えるロボットシステムである。
この構成によれば、長さが所定の範囲内である２点を結ぶ中心軸からの半径が所定の範囲内にある点から形成される対象物の画像を表す点が特定される。そのため、曲面を有する対象物として、形状が円柱もしくは円柱に近似する対象物の位置及び姿勢を推定することができる。
また、この構成によれば、推定した対象物の位置及び姿勢に応じてロボットの動作を制御することができる。

【図面の簡単な説明】

【0016】

【図1】本発明の実施形態に係るロボットシステムの概略斜視図である。

【図2】本実施形態に係るロボットシステムの構成を示す概略ブロック図である。

【図3】画像データの一例を示す図である。

【図4】注目領域の一例を示す図である。

【図5】対象物の形状を近似するモデルの一例を示す図である。

【図6】候補領域内に表示された画像の一例を示す図である。

【図7】候補領域内の二値化画像の一例を示す図である。

【図8】候補領域内に射影されたサンプル点の一例を示す図である。

【図9】候補領域内の二値化画像の他の例を示す図である。

【図10】明領域の例を示す図である。

【図11】領域内距離の一例を示す図である。

【図12】領域内距離の他の例を示す図である。

【図13】選択された点対の例を示す図である。

【図14】線分に属するサンプル点の例を示す図である。

【図15】選択された中心軸と対応するサンプル点の例を示す断面図である。

【図16】選択された中心軸に対応するサンプル点の例を示す斜視図である。

【図17】本実施形態に係る画像処理を示すフローチャートである。

【発明を実施するための形態】

【0017】

以下、本発明の実施形態について、図面を参照して詳細に説明する。
図１は、本実施形態に係るロボットシステム１の概略斜視図である。
図１に示すように、ロボットシステム１は、撮像装置１０、制御装置２０及びロボット３０を備える。なお、図１における部品や構造等の縮尺は、図を明瞭なものとするために実際のものとは異なっている。

【0018】

撮像装置１０は、被写体の３次元の形状を撮像し、撮像した３次元の形状を示す画像データを生成する。生成された画像データは、例えば、その３次元の形状を所定の解像度でサンプリングした複数のサンプル点毎の位置情報で形成されるデータである。各サンプル点は、被写体の表面をサンプリングした３次元のユークリッド空間内の直交座標（Ｘ，Ｙ，Ｚ）を示す。つまり、生成された画像データは、複数のサンプル点データを含む点群データである。サンプル点データは、被写体の表面をサンプリングしたサンプル点毎の位置を示すデータである。また、個々のサンプル点データには、その点での明るさを示す輝度値が含まれていてもよい。サンプル点は、２次元の画像データにおける画素に相当し、複数のサンプル点で張られる面で被写体の表面が表される。この画像データが示す画像は点群画像とも呼ばれる。
なお、図１に示す例では、Ｘ方向は左方、Ｙ方向は奥行方向、Ｚ方向は下方である。

【0019】

撮像装置１０は、例えば、形状検査用３次元センサーである。撮像装置１０は、被写体として、例えば、ロボット３０による操作対象となる物体（以下、対象物という）Ｗｋが積み重ねられた領域を光学的に観察できる位置に設置されている。対象物Ｗｋは、後述するように、その表面に曲面を有するほぼ円筒状の形状を有する物体である。作業机Ｔｂの表面は、水平面に対して平行であり１個又は複数個の対象物Ｗｋが乱雑に積み重ねられている。
撮像装置１０は、その光学軸が、例えば、水平面に対して垂直（下方）に向くように設置されている。撮像装置１０は、少なくとも１つの対象物を含む撮像領域Ｉｒに含まれる１フレームの３次元の画像を撮像する。撮像領域Ｉｒは、撮像装置１０がその領域内に置かれた被写体の画像を撮像することができる予め定めた大きさを有する３次元の領域である。
撮像装置１０は、撮像により得られた撮像画像（以下、カメラ画像ともいう）を示す画像データを制御装置２０に出力する。

【0020】

制御装置２０は、撮像装置１０から入力された画像データに基づいてロボット３０の動作を制御する。制御装置２０は、画像処理装置２１とロボット制御装置２２とを含んで構成される。

【0021】

画像処理装置２１は、撮像装置１０から入力された画像データから対象物の位置及び配置されている方向（姿勢）を検出する。以下の説明では、位置、方向、又は位置ならびに方向を空間状態と総称することがある。画像処理装置２１は、検出した空間状態を示す空間データを生成し、生成した空間データをロボット制御装置２２に出力する。画像処理装置２１の構成については、後述する。

【0022】

ロボット制御装置２２は、画像処理装置２１から入力された空間データが示す対象物の位置、方向、又は位置ならびに方向に基づいてロボット３０の動作を制御する。ロボット制御装置２２は、例えば、ロボット３０の把持部３０ｄ（後述）を作業開始位置に移動させ、把持部３０ｄが備える２つの先端部が互いに向かい合う方向を作業開始方向に回転させる。作業開始位置は、例えば、その空間データが示す位置から予め定めた間隔だけ離れた位置である。作業開始方向は、例えば、その空間データが示す方向と同一の方向である。他方、ロボット制御装置２２は、ロボット３０から入力された各関節の角度に基づいて把持部３０ｄの位置と方向を算出する。ロボット制御装置２２は、例えば、ビジュアルサーボを用いて、算出した位置と目標位置との間の距離、及び算出した方向と目標方向との差分が、それぞれ時間経過に伴って減少するようにロボット３０の各構成の動作を制御する。作業開始前においては、目標位置、目標方向として、予め定めた作業開始位置、作業開始方向がそれぞれ用いられる。作業中においては、目標位置、目標方向として、例えば、空間データが示す位置、方向がそれぞれ用いられる。

【0023】

また、ロボット制御装置２２は、ロボット３０から負荷情報が入力され、負荷情報が示す力をさらに用いて２つの先端部の位置及び方向を制御する。負荷情報は、先端部で検知された力を示す情報である。例えば、２個の先端部が互いに離間しているとき、ロボット制御装置２２は、２個の先端部間の距離を互いに狭めて対象物を把持する。ロボット制御装置２２は、先端部で検知された力が予め定めた目標値となるように対象物を挟む力を制御する。対象物が把持されているとき、ロボット制御装置２２は、対象物を挟む力を解除し、２個の先端部間の距離を互いに広げるように制御することで対象物を解放することができる。

【0024】

ロボット３０は、例えば、６軸の垂直多関節ロボットであり、支持台３０ａ、アーム部３０ｂ、ハンド部３０ｃ及び把持部３０ｄを含んで構成される。ロボット３０は、支持台３０ａとアーム部３０ｂとハンド部３０ｃとの連係した動作によって６軸の自由度を有し、把持部３０ｄが把持する部品の位置および姿勢を自在に変更することができる。また、ロボット３０は、ロボット制御装置２２が行う制御によって、アーム部３０ｂとハンド部３０ｃと把持部３０ｄとのうちいずれか一つまたはそれらの組み合わせを動作させる。把持部３０ｄは、２個の先端部を備え、２個の先端部は各々の長手方向が互いに向かい合うように配置される。
ロボット３０の自由度は６軸に限られず、７軸であってもよい。また、支持台３０ａは、壁や天井等、床面に対して固定された場所に設置されてもよい。

【0025】

ロボット３０は、把持部３０ｄに加わる力とモーメントを、予め定めた時間間隔（例えば、１ｍｓ）で検出する力センサー（図示せず）を備え、検出した力及びモーメントを示す負荷情報をロボット制御装置２２に出力する。ロボット３０は、エンコーダー（図示せず）を備える。エンコーダーは、ロボット３０の各関節の角度を検出し、検出した各関節の角度をロボット制御装置２２に出力する。

【0026】

次に、本実施形態に係る画像処理装置２１の構成について説明する。
図２は、本実施形態に係るロボットシステム１の構成を示す概略ブロック図である。
画像処理装置２１は、画像データ取得部２１１、注目領域設定部２１２、点対選択部（組選択部）２１３、中心軸推定部２１６、中心軸選択部２１７、空間データ生成部２１８及び空間データ出力部２１９を含んで構成される。

【0027】

画像データ取得部２１１には、撮像装置１０から画像データが入力され、入力された画像データを注目領域設定部２１２に出力する。画像データ取得部２１１は、例えば、データ入力インターフェイスである。

【0028】

注目領域設定部２１２は、画像データ取得部２１１から画像データが入力される。注目領域設定部２１２は、撮像領域を所定の２次元平面に射影した２次元領域から、予め定めた大きさの２次元の注目領域を設定する。注目領域とは、点対選択部２１３、中心軸推定部２１６、中心軸選択部２１７、空間データ生成部２１８で一度に処理の対象とする領域（３次元）、又はその領域を所定の２次元平面に射影した２次元の領域である。
注目領域設定部２１２は、画像データが示すサンプル点データに基づいて予め定めた大きさの注目領域を予め定めた個数定める。注目領域設定部２１２は、例えば、被写体を表すサンプル点が分布する領域が最も大きい領域を、その注目領域の１つとして定める。これにより、対象物の検知の失敗を回避し、一度に行われる処理の処理量を低減することができる。この設定例については、後述する。また、注目領域設定部２１２は、サンプル点の座標値の重心の高さ方向の座標が最も小さい候補領域を定めてもよい。これにより、把持する際に好都合な撮像装置１０に最も近接した（この配置例では、上方に）所在している対象物の検出が容易になる。

【0029】

所定の２次元平面とは、例えば、撮像装置１０の撮像方向に垂直な平面、例えば、３次元の撮像領域Ｉｒのうち、撮像装置１０からの奥行（高さ）方向の座標（Ｚ座標）を無視し残された２次元座標で表される領域（ＸＹ平面）の一部である。撮像装置１０の撮像方向は、撮像装置１０の光学軸の方向である。これにより、２次元の注目領域は、その２次元の注目領域と奥行方向の所定の範囲とで特定される３次元の注目領域と対応付けられる。注目領域設定部２１２は、設定した２次元の注目領域のそれぞれに対応する３次元の注目領域と特定し、特定した各注目領域に含まれるサンプル点に係るサンプル点データを点対選択部２１３に出力する。

【0030】

点対選択部２１３は、注目領域設定部２１２から入力された注目領域毎のサンプル点データが示すサンプル点のうちの２点からなる組（点対、ｐｏｉｎｔ ｐａｉｒ）のうち所定の条件を満足する組を選択する。点対選択部２１３は、第１点対選択部２１４及び第２点対選択部２１５を含んで構成される。
第１点対選択部２１４は、注目領域毎のサンプル点データが示すサンプル点から２点間の距離Ｌが、特性長ｌから予め定めた範囲内、例えば、０．８ｌから１．０ｌまでの間である点対を、Ｎｅ（Ｎｅは、予め定めた個数）個選択する。これにより、対象物の表面上の一点と底面上の一点とからなる点対が抽出され、それ以外の点対が除外される。
Ｎｅは、例えば、対象物がとりうるサンプル点の総数Ｍから選択された任意の２点が、注目領域内に含まれない確率が、予め定めた有意水準ｐ（例えば、０．０５）よりも低くなる点対の数のうちの最小値である。Ｎｅは、式（１）で与えられる。

【0031】

【数1】

【0032】

式（１）において、Ｎは、注目領域内に存在しうるサンプル点の最大数である。つまり、Ｎは、撮像装置１０で取得される画像データに含まれるサンプル点の空間分解能に依存する。このように、Ｎｅを定めておくことで、対象物を確実に検出し、かつ、処理量を低減することができる。
第１点対選択部２１４は、選択した点対のそれぞれを形成する２点間の直線を示す一次関数の定数を算出する。算出した定数は、その直線の傾きとＸ、Ｙ、Ｚ軸の切片を示す。

【0033】

第１点対選択部２１４は、算出した定数から導かれるＸ−Ｙ平面に対する傾きθｚが予め定めた傾きの範囲内の点対を選択し、その範囲外の点対を除外する。予め定めた傾きの範囲は、例えば、傾きの閾値θｍａｘよりも小さい傾きである。θｍａｘは、例えば、把持部３０ｄを構成するハンド、ジグ、等の形状や配置のもとで対象物を把持することができる傾きθｚの最大値である。これにより、把持部３０ｄが対象物を把持することができない対象物の画像が処理対象から排除される。また、θｚが大きくなるほど、直線の方向が撮像装置１０の光学軸の方向に近似するため、この直線の周りの曲面を表すサンプル点の数が少なくなる。これは、この曲面をＸ−Ｙ平面に射影したときの面積が小さくなるためである。このような曲面を処理対象から除外されるので、無用な処理を防止することができる。
第１点対選択部２１４は、選択した点対を示す選択点対情報を第２点対選択部２１５に出力する。

【0034】

第２点対選択部２１５は、注目領域毎のサンプル点データのうち第１点対選択部２１４から入力された選択点対情報が示す点対のそれぞれを形成する２点を結ぶ線分から所定距離内のサンプル点を線分に属する点として抽出し、それ以外のサンプル点を除外する。所定距離ρは、例えば、対象物の半径ｒよりも大きい値であって、隣接する対象物との平均的な距離よりも小さい値、例えば、２ｒである。これにより、１個の対象物の表面を表すサンプル点が確実に取得され、その他の対象物の表面を表すサンプル点を極力除外される。
そして、第２点対選択部２１５は、抽出したサンプル点の数Ｎが、所定の個数の範囲内にある点対を選択し、所定の個数の範囲外の点対を排除する。所定の個数の範囲とは、例えば、式（２）に示す範囲である。

【0035】

【数2】

【0036】

式（２）において、Ｒは、撮像装置１０の信頼性に応じた設定値を示す。Ｒが大きいほど信頼性が高いことを示し、Ｒが小さいほど信頼性が低いことを示す。Ｒは、例えば、０．７から０．９５までの実数である。なお、Ｒの最大値、最小値は、それぞれ１、０である。Ｎｍａｘは、対象物がとりうるサンプル点数の最大値である。対象物の形状が円柱である場合には、中心軸が撮像装置１０の光学軸の方向と垂直であって、対象物の全体が撮像領域Ｉｒに含まれ、かつ撮像装置１０からの距離が最も短くなるように配置されたとき、撮影された画像データを形成するサンプル点数が最大となる。θｍａｘは、上述した傾きの閾値である。これにより、その側面が撮像装置１０に対して十分に露出されている対象物を表すサンプル点を所定距離ρ内に含む線分が選択される。即ち、選択された線分で結ばれる２点からなる点対が選択される。
第２点対選択部２１５は、その点対を形成する２点を結ぶ線分に属するサンプル点を示す第２点対情報を選択した点対毎に中心軸推定部２１６に出力する。

【0037】

中心軸推定部２１６は、第２点対選択部２１５から入力された第２点対情報が示すサンプル点で張られる表面の中心軸の候補（中心軸候補）を点対毎に推定する。中心軸推定部２１６は、中心軸候補を推定する際、例えば、逐次二次計画法（ＳＱＰ：Ｓｅｑｕｅｎｔｉａｌ Ｑｕａｄｒａｔｉｃ Ｐｒｏｇｒａｍｍｉｎｇ ｍｅｔｈｏｄ）を用いることができる。中心軸推定部２１６は、推定した中心軸候補の定数からなる中心軸情報を生成し、生成した中心軸情報に係る点対に係る第２点対情報と対応付けて中心軸選択部２１７に出力する。

【0038】

中心軸選択部２１７は、中心軸推定部２１６から中心軸情報と第２点対情報が入力される。中心軸選択部２１７は、中心軸候補の定数で示されるＸＹ平面に対する傾きθｚが予め定めた傾きの範囲内の中心軸を選択し、その範囲外の中心軸を除外する。予め定めた傾きの範囲は、例えば、第１点対選択部２１４で点対を選択した傾きの範囲、つまり、傾きの閾値θｍａｘよりも小さい傾きであってもよい。
中心軸選択部２１７は、選択した中心軸のそれぞれについて対応する第２点対情報が示すサンプル点に基づいて、例えば、式（３）を用いて推定誤差ｅｒｒを算出し、算出した推定誤差ｅｒｒが予め定めた誤差よりも小さい中心軸を選択する。選択された中心軸が複数個ある場合には、中心軸選択部２１７は、推定誤差ｅｒｒが最も小さい中心軸を選択する。

【0039】

【数3】

【0040】

式（３）において、ｎは、中心軸に属するサンプル点、つまり、中心軸から所定距離ρ内に含まれるサンプル点の数を示す。ｉは、各サンプル点を区別するインデックスである。｜…｜は、…の絶対値である。ｄ_ｉは、サンプル点ｉと中心軸との間の距離を示す。即ち、推定誤差ｅｒｒは、各サンプル点における中心軸からの距離ｄ_ｉと半径ｒとの間の誤差における絶対値の平均を示す。
中心軸選択部２１７は、選択した中心軸に係る中心軸情報と中心軸に属するサンプル点を示す推定サンプル点データを対応付けて空間データ生成部２１８に出力する。

【0041】

空間データ生成部２１８は、中心軸選択部２１７から入力された推定サンプル点データに基づいて対象物の位置を算出し、中心軸情報に基づいて対象物の方向（姿勢）を算出する。ここで、空間データ生成部２１８は、中心軸情報が示す中心軸の定数に基づいて中心軸の方向を、対象物の方向として算出する。
また、空間データ生成部２１８は、推定サンプル点データが示すサンプル点の座標の代表点、例えば重心点を対象物の位置として算出する。但し、サンプル点の分布は、一面に偏っていることがあるので、それらの重心点が対象物の位置を代表するとは限らない。そこで、空間データ生成部２１８は、算出した重心点を通る中心軸に垂直な面と、その中心軸との交点を対象物の位置として算出してもよい。

【0042】

なお、算出された対象物の位置及び方向が、撮像装置１０を基準とするカメラ座標系に基づく座標値及び方位角で示されている場合には、空間データ生成部２１８は、算出した座標値及び方位角を、ロボット３０を基準とするロボット座標系に基づく座標値及び方位角に変換してもよい。そのために、空間データ生成部２１８には、カメラ座標系からロボット座標系に変換する変換データを予め設定しておく。
空間データ生成部２１８は、算出した対象物の位置及び方向を示す空間データを生成し、生成した空間データを空間データ出力部２１９に出力する。

【0043】

空間データ出力部２１９は、空間データ生成部２１８から入力された空間データをロボット制御装置２２に出力する。空間データ出力部２１９は、例えば、データ出力インターフェイスである。

【0044】

（画像データの例）
次に、撮像装置１０で得られる画像データの一例について説明する。
図３は、画像データの一例を示す図である。
図３に示す画像データは、所定の撮像領域Ｉｒ内の被写体の３次元形状を示す点群画像を示す。この点群画像は、複数のサンプル点からなり、サンプル点の各々は複数の乱雑に積み重ねられた対象物の表面を所定の分解能でサンプリングした点である。サンプル点の濃淡は、対象物の輝度を示す。濃いサンプル点ほど輝度値が低く、薄いサンプル点ほど輝度値が高いことを示す

【0045】

（注目領域の例）
次に、注目領域設定部２１２で設定される注目領域について説明する。
注目領域は、Ｘ方向、Ｙ方向にそれぞれ平行な２辺（計４辺）で囲まれる長方形であり、少なくとも対象物の全体を十分に表すことができる大きさを有する。注目領域の一辺の長さは、対象物の特徴的な大きさ（特性長）に基づいて与えられる。例えば、対象物の形状が円柱に近似され、直径２ｒよりも高さｌの方が長い細長い形状を有する場合、特性長として、その高さｌを用いることができる。例えば、高さｌが２０ｍｍである場合、注目領域のＸ方向の辺の長さｗ_ｘ、Ｙ方向の辺の長さｗ_ｙをともに２５ｍｍと定めておいてもよい。また、変位量Δｘ、Δｙは、それぞれの方向の辺の長さｗ_ｘ、ｗ_ｙよりも小さい値、例えば、その長さの４０％と定めておいてもよい。

【0046】

注目領域設定部２１２は、画像データを形成するサンプル点データの座標値の重心、高さに基づいて注目領域を予め定めた個数（例えば、９個）定める。ここで、注目領域設定部２１２は、例えば、撮像領域Ｉｒにおいて予め定めた空間間隔毎に候補となる候補領域を定め、各候補領域に含まれるサンプル点の重心を算出する。注目領域設定部２１２は、算出した重心のＺ方向の座標が最も小さい（つまり、撮像装置１０に近い）候補領域を主たる注目領域と定める。

【0047】

注目領域設定部２１２は、主たる注目領域から、予め定めた変位量ΔｘだけＸ方向に正負それぞれ変位した位置（２通り）、予め定めた変位量ΔｙだけＹ方向に正負それぞれ変位した位置（２通り）にも、それぞれ注目領域（図示せず）を定める。また、注目領域設定部２１２は、主たる注目領域から、予め定めた変位量ΔｘだけＸ方向に正負それぞれ変位した位置、及び予め定めた変位量ΔｙだけＹ方向に正負それぞれ変位した位置（計４通り）にも、それぞれ注目領域（図示せず）を定める。

【0048】

図４は、注目領域の一例を示す図である。
図４は、図３に示す点群画像と主たる注目領域Ｗｄを実線で示す。注目領域Ｗｄの右側の右向きの矢印は、この領域から変位量ΔｘだけＸ方向にずれた位置に注目領域が設定されていることを示す。注目領域Ｗｄから右上向きの矢印は、この領域から変位量ΔｘだけＸ方向に変位し、変位量ΔｙだけＹ方向に変位した位置に注目領域が設定されていることを示す。図４は、２通りに変位した注目領域の例を示すが、変位量Δｘ、変位量Δｙ、又はその両者の少なくとも一方が負方向に変位した位置に注目領域が配置されてもよい。

【0049】

図５は、対象物の形状を近似するモデルの一例を示す図である。
対象物Ｗｋの形状は、円柱に近似されている。これにより、対象物Ｗｋの特性長として高さｌ、半径ｒ、又はその両者が用いられうる。図５に示す対象物Ｗｋは、半径ｒに比べて高さｌが格段に大きい細長の形状を有するため、主に高さｌが特性長として用いられる。

【0050】

（主たる注目領域を選択する処理）
次に、注目領域設定部２１２が主たる注目領域を選択する処理について説明する。
注目領域設定部２１２は、ＸＹ平面内の予め定めた空間間隔毎に複数の注目領域の候補（候補領域）を設定し、設定した候補領域のうち空間的に連続した被写体を表す領域が最も大きい領域を主たる注目領域として選択する。
ここで、注目領域設定部２１２は、候補領域のそれぞれに含まれるサンプル点データを二値化する。複数の注目領域の大きさは、いずれも等しくてもよい。また、空間間隔は、Ｘ−Ｙ平面内の表示領域の全体を全ての候補領域で網羅されればよい。空間間隔は、変位量ΔＸ、ΔＹと等しくてもよい。

【0051】

注目領域設定部２１２は、二値化を行う際、例えば、次の（ａ）又は（ｂ）に示す処理を行ってもよい。
（ａ）注目領域設定部２１２は、サンプル点データが示す輝度値が予め定めた輝度値の閾値よりも高い場合、そのサンプル点に係る信号値を１と定め、それ以外のサンプル点に係る信号値を０と定める。輝度値の閾値は、例えば、その最大値と最小値の中間の値である。輝度の高い部分は撮像装置１０に近接している傾向があるところ、撮像装置１０に近接した高さの高い部分が識別される。

【0052】

図６は、候補領域内に表示された画像の一例を示す図である。
図６に示す画像は、（ａ）の処理対象となるサンプル点毎の輝度を表す輝度画像である。明るく表示されている部分ほど輝度値が高く、暗く表示されている部分ほど輝度値が低い。この例では、対象物Ｗｋ１、Ｗｋ２、Ｗｋ３の順に明るく表示され、対象物Ｗｋ１は対象物Ｗｋ３に重なっていることを示す。また、対象物Ｗｋ２を示す画像は、下部よりも上部のほうが明るく表示されている。

【0053】

図７は、候補領域内の二値化画像の一例を示す図である。
図７に示す二値化画像は、図６に示す輝度画像を二値化した画像である。この例では、対象物Ｗｋ１の全体、対象物Ｗｋ２の上方が明るく表示されている。この領域の信号値は１である。それ以外の領域は、黒く表示され、図６に表示されていた対象物Ｗｋ２の下方、対象物Ｗｋ３の全体が表れていない。この領域の信号値は０である。これは、対象物Ｗｋ２の下方、対象物Ｗｋ３の全体における輝度値が予め定めた輝度値の閾値よりも低いためである。

【0054】

（ｂ）注目領域設定部２１２は、候補領域毎にサンプル点データが示すサンプル点を、ＸＹ平面に射影する。注目領域設定部２１２は、グリッド（サンプル点ブロック）のそれぞれに含まれるサンプル点の数を計数する。このグリッドは、互いに隣接する複数の最密サンプル点を含む正方形の領域である。最密サンプル点とは、最も密に配置されたときのサンプル点であり、最密サンプル点間の間隔は撮像装置１０のＸＹ平面内の空間分解能を示す。サンプル点ブロックの大きさは、例えば、Ｘ方向、Ｙ方向に各４サンプル（計１６サンプル）である。各グリッドのサンプル点の数は、ヒストグラムを形成する。
注目領域設定部２１２は、計数したサンプル点の数が予め定めたサンプル数の閾値よりも大きいグリッドについて、信号値を１と定め、それ以外のグリッドについて信号値を０と定める。

【0055】

図８は、候補領域内に射影されたサンプル点の一例を示す図である。
図８において、各点は、（ｂ）の処理対象となる候補領域内に射影されたサンプル点を示す。撮像された画像において対象物が明るく表示されている領域ほど、図８ではサンプル点が密に表されている。
図９は、候補領域内の二値化画像の他の例を示す図である。
図９は、図８に示したサンプル点に基づいて得られた二値化した画像である。サンプル点が密に分布している領域の信号値が１であり、それ以外の部分の信号値が０である。これにより、撮像装置１０から近く、明るく表示されている部分を識別することができる。以下の説明では、信号値が１である領域を明領域と呼ぶ。

【0056】

注目領域設定部２１２は、（１）又は（２）で述べた処理を行った後、信号値が１と定められた明領域を、空間的に連続した領域毎に区分する。ここで、注目領域設定部２１２は、信号値が１である注目グリッドに隣接する隣接グリッドの信号値が１である場合、注目グリッドと隣接するグリッドと空間的に連続している同一の明領域に区分されると判定する。注目領域設定部２１２は、それ以外の場合、空間的に連続している同一の明領域には区分されないと判定する。

【0057】

図１０は、明領域の例を示す図である。
図１０は、図９に示した二値化画像に基づいて区分した明領域Ｒｇ１、Ｒｇ２、Ｒｇ３を示す。
明領域Ｒｇ１は、二値化画像の左上部において破線で囲まれた部分である。明領域Ｒｇ２は、二値化画像の中央部からやや左側において破線で囲まれた部分である。明領域Ｒｇ３は、二値化画像の中央上部から右下部にかけて破線で囲まれた部分である。

【0058】

その後、注目領域設定部２１２は、候補領域内における信号値が１である明領域の面積（グリッドの個数）を明領域面積として算出する。また、注目領域設定部２１２は、区分した各明領域について領域内距離を求める。領域内距離は、ある１つの明領域を横断する距離の最大値である。領域内距離は、例えば、（ｉ）その明領域内の２つの座標点間の距離が最も大きくなる距離、（ｉｉ）明領域内を中断ならびに交差せずに１回のみ通って形成される（いわゆる一筆書き可能な）経路の長さの最大値のいずれでもあってもよい。いずれも、連続した明領域の大きさを示す指標である。

【0059】

図１１は、領域内距離の一例を示す図である。
図１１が示す領域内距離は、（ｉ）の例である。この例では、明領域Ｒｇ２の外縁上の相対する２点ｐ１、ｐ２間の距離が領域内距離に相当する。
図１２は、領域内距離の他の例を示す図である。
図１２が示す領域内距離は、（ｉｉ）の例である。この例では、明領域Ｒｇ２に含まれる経路Ｔｒ２の長さが領域内距離に相当する。

【0060】

注目領域設定部２１２は、領域内距離が予め定めた領域内距離の閾値よりも大きく、かつ明領域面積が予め定めた明領域面積の閾値よりも大きい候補領域を選択し、それ以外の候補領域を排除する。注目領域設定部２１２は、領域内距離が最も大きい候補領域を注目領域として定める。
なお、注目領域設定部２１２は、候補領域毎に領域内距離及び明領域面積を求める処理を空間的に隣接する順で逐次に行ってもよいし（スキャン）、並列に行ってもよい。

【0061】

（点対の例）
次に、第１点対選択部２１４で選択された点対の例について説明する。
図１３は、選択された点対の例を示す図である。
図１３（ａ）、（ｂ）は、ＸＹ平面上、ＸＺ平面上にそれぞれ射影された注目領域におけるサンプル点の分布の一例を示す。それぞれの黒丸は、サンプル点を示す。Ｐ１１、Ｐ１２は、選択された点対を形成する２個のサンプル点の組の一例である。上述したように、Ｐ１１、Ｐ１２間の距離Ｌは、対象物の特性長ｌから予め定めた範囲にある。

【0062】

図１３（ｂ）に示された一点破線は、Ｚ座標が一定であるＸＹ平面を示す。傾きθｚは、Ｐ１１、Ｐ１２間の線分Ｅ１とＸＹ平面とのなす角度である。傾きθｚは、予め定めた傾きの閾値θｍａｘよりも小さい値である。即ち、第１点対選択部２１４は、対象物の表面の１点と底面の１点から形成される点対として、この２点間の距離Ｌが特性長ｌに近似し、画像データから確実に検出され、かつ制御対象となりうる方向を有するものを選択する。

【0063】

（線分に属するサンプル点の例）
次に、第２点対選択部２１５で抽出された線分に属するサンプル点の例について説明する。
図１４は、線分に属するサンプル点の例を示す図である。
図１４（ａ）、（ｂ）は、ＸＹ平面上、ＸＺ平面上にそれぞれ射影されたサンプル点の分布の他の例を示す。黒丸のそれぞれは、サンプル点を示す。Ｐ２１、Ｐ２２は、点対を形成する２個のサンプル点の組の他の例であり、Ｅ２は、Ｐ２１、Ｐ２２間を結ぶ線分である。線分Ｅ２に属するサンプル点は、線分Ｅから距離ρの範囲内に含まれるサンプル点である。第２点対選択部２１５は、これらのサンプル点を選択し、選択したサンプル点の個数Ｎが所定の個数の範囲内となる点対及びそのサンプル点を採用する。

【0064】

（選択されたサンプル点の例）
次に、中心軸選択部２１７で選択された中心軸と対応するサンプル点の例について説明する。
図１５は、選択された中心軸と対応するサンプル点の例を示す断面図である。
この例では、中心軸Ｅ３とサンプル点の分布がＸＺ平面に射影されている。各点は、サンプル点を示す。選択されたサンプル点の多くは、中心軸Ｅ３からＺの負方向に所定距離だけ偏って分布しているが、その分布が延びている方向は中心軸Ｅ３の方向にほぼ平行している。この偏りは、各サンプル点までの距離と半径ｒとの誤差が最小となるように中心軸が選択され、対象物のうち撮像装置１０に向いている側の表面を表す。対象別のその他の側の表面が表れていないためである。
図１６は、選択された中心軸に対応するサンプル点の例を示す斜視図である。
各点は、注目領域内に含まれるサンプル点を示す。そのうち選択されたサンプル点が、その他のサンプル点よりも濃い点で表されている。選択されたサンプル点は、１個の対象物の表面の形状を表し、上述した中心軸を中心に湾曲した面上に分布している。中心軸から面まで距離は、半径ｒに近似している。

【0065】

（画像処理フロー）
次に、本実施形態に係る画像処理について説明する。
図１７は、本実施形態に係る画像処理を示すフローチャートである。
この処理が開始されるまでに、画像データ取得部２１１には撮像装置１０で取得した画像データが入力され、当該画像データは注目領域設定部２１２に供給される。
（ステップＳ１０１）注目領域設定部２１２には、供給された画像データが示す画像の撮像領域を所定の２次元平面に射影した２次元領域において予め定めた大きさの注目領域を設定する。注目領域設定部２１２は、例えば、２次元領域のうち被写体を表すサンプル点が分布する領域が最も大きい注目領域をその１つとして選択する。その後、ステップＳ１０２に進む。

【0066】

（ステップＳ１０２）第１点対選択部２１４は、注目領域設定部２１２が設定した注目領域内に含まれサンプル点のうちの２点からなる点対のうち所定の条件を満足する点対を選択する。所定の条件は、例えば、対象物の特性長から予め定めた範囲内であること、２点間の直線の傾きθｚが予め定めた範囲内であるか、又はその両者である。その後、ステップＳ１０３に進む。
（ステップＳ１０３）第２点対選択部２１５は、第１点対選択部２１４で選択された点対のそれぞれについて、各点対を形成する２点を結ぶ線分から所定距離ρ内のサンプル点を抽出する。第２点対選択部２１５は、抽出したサンプル点の数が所定の個数の範囲内、例えば対象物を表す画像がとりうるサンプル点の数から予め定めた範囲内となる点対を選択する。その後、ステップＳ１０４に進む。

【0067】

（ステップＳ１０４）中心軸推定部２１６は、第２点対選択部２１５で選択した点対について、抽出されたサンプル点に基づいて、例えば、逐次二次計画法を用いて中心軸を推定する。その後、ステップＳ１０５に進む。
（ステップＳ１０５）中心軸選択部２１７は、推定した中心軸のそれぞれについて抽出されたサンプル点までの距離と対象物の半径との間の推定誤差ｅｒｒを、例えば、式（３）を用いて算出し、算出した推定誤差ｅｒｒが最も小さい中心軸を選択する。その後、ステップＳ１０６に進む。

【0068】

（ステップＳ１０６）空間データ生成部２１８は、中心軸選択部２１７で選択した中心軸と、これに対応するサンプル点に基づいて対象物の方向と位置を算出する。算出された対象物の方向と位置は、ロボット制御装置２２がロボット３０の動作を制御する際に用いられる。その後、図１７に示す処理を終了する。

【0069】

ステップＳ１０１において注目領域設定部２１２で設定される注目領域の数は、９個に限られず、１個でもよいし、２個から８個、又は９個より多くてもよい。設定される注目領域の数が１個よりも多い場合には、注目領域毎にステップＳ１０２−Ｓ１０４の処理が繰り返えされてもよいし、並列して実行されてもよい。
また、ステップＳ１０２において第１点対選択部２１４で選択される点対の数は、通例、１個よりも多い。選択される点対の数が１個よりも多い場合には、点対毎にステップＳ１０３、Ｓ１０４の処理が繰り返されてもよいし、並列して実行されてもよい。

【0070】

以上、説明したように、本実施形態は、対象物の形状を表す複数の点から選択した任意の２点からなる複数の組のうち、２点間の線分の長さが前記対象物の長さから所定の範囲内となる組を選択する組選択部（例えば、点対選択部２１３）と、前記複数の点のうち、前記組選択部が選択した組をなす２点間の線分から予め定めた距離内にある点と前記線分との間の距離と、対象物の半径との誤差が予め定めた範囲内にある中心軸を選択する中心軸選択部（例えば、中心軸選択部２１７）と、を備える。

【0071】

これにより、長さ（即ち、円柱の高さ）が所定の範囲内である２点を結ぶ中心軸からの半径が所定の範囲内にある点から形成される対象物の画像を表す点が特定される。そのため、曲面を有する対象物として、形状が円柱もしくは円柱に近似する対象物（例えば、ネジ、ボルト、等）の位置及び姿勢を推定することができる。また、対象物の位置及び姿勢を推定する際に、パターン認識等の負荷の大きい処理が要求されないため高速な処理を経済的に実現可能になる。

【0072】

また、推定した位置及び姿勢に基づいてロボット（例えば、ロボット３０）の動作を制御することができる。例えば、ロボット制御装置２２は、ロボット３０のアーム部３０ｂ及びハンド部３０ｃを動作させて把持部３０ｄの位置及び方向を、推定した対象物の位置及び姿勢に応じて制御することができる。これにより、ロボット３０は、特殊なジグを用いることなく乱雑に積まれた対象物を操作することができる。

【0073】

また、本実施形態は、組を選択する範囲となる注目領域を設定する注目領域設定部（例えば、注目領域設定部２１２）を備え、組選択部は、注目領域設定部が設定した注目領域に含まれる複数の点から選択した任意の２点からなる複数の組のうち、２点間の線分の長さが前記対象物の長さから所定の範囲内となる組を選択し、中心軸選択部（例えば、中心軸選択部２１７）は、複数の点のうち、組選択部が選択した組をなす２点間の線分から予め定めた距離内にある点と前記線分との間の距離と、対象物の半径との誤差が最も小さい中心軸を選択する。

【0074】

これにより、処理対象となる画像の領域が注目領域に限定され、中心軸の選択に要する点が点対から予め定めた範囲内に限定される。そのため、対象物の位置及び姿勢を推定するための処理量の増大を抑制することができる。また、誤差が最も小さい中心軸が選択されるため、対応する周囲の点として対象物の形状に最も近似するものが選択される。

【0075】

上述では、長さ（高さ）や半径は、予め画像処理装置２１に設定しておくことを前提に説明したが、これには限られない。画像処理装置２１は、ユーザからの操作に応じて長さ及び半径を入力可能な入力部（図示せず）を備えてもよいし、通信回線を介して長さ及び半径を受信可能な通信部（図示せず）を備えてもよい。画像処理装置２１は、さらに入力又は受信した長さに基づいて注目領域の大きさ、対象物がとりうるサンプル点数Ｎｍａｘを定めてもよい。

【0076】

上述では、中心軸推定部２１６が、逐次二次推定法を用いて中心軸候補を推定する場合を例にとって説明したが、これには限られない。中心軸推定部２１６は、例えば、その他の手法、例えば、ニュートン法等のその他の非線形計画法や、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）法、最小二乗法、等の回帰分析法を用いることができる。

【0077】

撮像装置１０は、各フレームの画像データを、個々に制御装置２０に出力してもよいし、予め定めた時間間隔で逐次に制御装置２０に出力してもよい。撮像装置１０は、画像処理装置２１と一体に構成されていてもよい。
上述では、画像処理装置２１とロボット制御装置２２とは一定に構成されている場合を例にとって説明したが、これには限られない。画像処理装置２１とロボット制御装置２２は別体に構成されていてもよい。
また、画像処理装置２１とロボット制御装置２２は、ロボット３０と一体化したロボットとして構成されてもよい。

【0078】

また、各実施形態の画像処理装置２１の一部、例えば、注目領域設定部２１２、点対選択部２１３、中心軸推定部２１６、中心軸選択部２１７、及び空間データ生成部２１８の各処理を実行するためのプログラムをコンピューター読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピューターシステムに読み込ませ、実行することにより、画像処理装置２１に係る上述した種々の処理を行ってもよい。

【0079】

なお、ここでいう「コンピューターシステム」とは、上述した処理を行うＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、等のハードウェアの他、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器等のハードウェアを含むものであってもよい。また、「コンピューターシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリー等の書き込み可能な不揮発性メモリー、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。

【0080】

さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピューターシステム内部の揮発性メモリー（例えば、ＤＲＡＭ：Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0081】

以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

【符号の説明】

【0082】

１ ロボットシステム
１０ 撮像装置
２０ 制御装置
２１ 画像処理装置
２１１ 画像データ取得部
２１２ 注目領域設定部
２１３ 点対選択部
２１４ 第１点対選択部
２１５ 第２点対選択部
２１６ 中心軸推定部
２１７ 中心軸選択部
２１８ 空間データ生成部
２１９ 空間データ出力部
２２ ロボット制御装置
３０ ロボット
３０ａ 支持台
３０ｂ アーム部
３０ｃ ハンド部
３０ｄ 把持部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】