特開 2024-148017 物体位置検出装置及び位置補正情報生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024148017

(43)【公開日】2024-10-17

(54)【発明の名称】物体位置検出装置及び位置補正情報生成装置

(51)【国際特許分類】

   G06T 7/70 20170101AFI20241009BHJP

【ＦＩ】

G06T7/70 A

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2023060875

(22)【出願日】2023-04-04

(71)【出願人】

【識別番号】000002107

【氏名又は名称】住友重機械工業株式会社

(74)【代理人】

【識別番号】100105887

【弁理士】

【氏名又は名称】来山 幹雄

(72)【発明者】

【氏名】宮澤 宣嗣

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA05

5L096CA02

5L096DA02

5L096FA16

5L096FA62

5L096FA69

(57)【要約】

【課題】カメラと対象物との相対位置関係が変化しても、対象物の特定の基準点の位置を検出することが可能な物体位置検出装置を提供する。
【解決手段】位置検出部が、第１面の上に載置された対象物をカメラで撮像して得られた対象物の画像を解析し、対象物の画像の位置を検出する。位置補正情報記憶部が、カメラの画界内における対象物の画像の位置を、対象物の基準点の位置に補正する位置補正情報を記憶する。位置補正部が、位置検出部で検出された対象物の画像の位置と、位置補正情報記憶部に記憶されている位置補正情報とに基づいて、位置検出部で検出された対象物の画像の位置を補正して基準点の位置を求める。
【選択図】図１

【特許請求の範囲】

【請求項1】

第１面の上に載置された対象物をカメラで撮像して得られた前記対象物の画像を解析し、前記対象物の画像の位置を検出する位置検出部と、
カメラの画界内における前記対象物の画像の位置を、前記対象物の基準点の位置に補正する位置補正情報を記憶する位置補正情報記憶部と、
前記位置検出部で検出された前記対象物の画像の位置と、前記位置補正情報記憶部に記憶されている前記位置補正情報とに基づいて、前記位置検出部で検出された前記対象物の画像の位置を補正して前記基準点の位置を求める位置補正部と
を備えた物体位置検出装置。

【請求項2】

補正機能の有効無効を記憶する有効無効フラグと、
前記対象物の位置情報を出力する出力部と
をさらに備え、
前記出力部は、
前記有効無効フラグが有効に設定されている場合、前記位置補正部により補正された前記対象物の前記基準点の位置情報を出力し、
前記有効無効フラグが無効に設定されている場合、前記位置検出部で検出された前記対象物の画像の位置情報を出力する請求項１に記載の物体位置検出装置。

【請求項3】

第１面の上に載置される対象物の前記第１面における複数の位置のそれぞれについて、前記対象物の三次元形状を定義する形状定義情報と、前記対象物を撮像するカメラの内部パラメータとを用いてレンダリングを行い、前記第１面における複数の位置のそれぞれについて、レンダリングによって模擬画像を生成するレンダリング部と、
前記レンダリング部によって生成された前記模擬画像の、画像平面内における位置情報を求める画像位置情報算出部と、
前記対象物の前記第１面における複数の位置のそれぞれについて、前記形状定義情報に基づいて、前記対象物の基準点の、前記画像平面内における位置情報を求める基準点位置情報算出部と、
前記画像位置情報算出部で求められた前記模擬画像の位置情報と、前記基準点位置情報算出部で求められた前記基準点の位置情報とを、相互に関連付けて出力する位置補正情報算出部と
を備えた位置補正情報生成装置。

【請求項4】

前記対象物の三次元形状の設計データが入力される入力部を、さらに備え、
前記レンダリング部は、前記入力部に入力された設計データを前記形状定義情報として用いてレンダリングを行う請求項３に記載の位置補正情報生成装置。

【請求項5】

前記対象物のプリミティブ形状が入力される入力部を、さらに備え、
前記レンダリング部は、前記入力部に入力された前記プリミティブ形状を前記形状定義情報として用いてレンダリングを行う請求項３に記載の位置補正情報生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体位置検出装置及び位置補正情報生成装置に関する。

【背景技術】

【0002】

コンベアなどの上面に置かれた対象物をピッキングロボットでピッキングする際に、対象物の位置を検出する必要がある。下記の特許文献１に、物体検出装置が開示されている。この物体検出装置は、対象物を所定の方向から見たときの対象物の外観の特徴を表すテンプレートを記憶している。カメラと対象物とが所定の位置関係を満たす場合に、対象物の画像とテンプレートとを照合することで、対象物の位置を検出する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６９７８４５４号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された物体検出装置では、カメラと対象物とが所定の位置関係であるときに、対象物を検知することができる。ところが、コンベアなどによって搬送される対象物の位置を検知する場合には、カメラと対象物との位置関係が変化する。対象物が三次元形状を有する場合、カメラと対象物との位置関係が変化すると、対象物の見え方も変化してしまう。対象物の見え方が変化すると、画像とテンプレートとがマッチングしなくなる。

【0005】

本発明の目的は、カメラと対象物との相対位置関係が変化しても、対象物の特定の基準点の位置を検出することが可能な物体位置検出装置を提供することである。本発明の他の目的は、この物体位置検出装置で利用される位置補正情報を生成する位置補正情報生成装置を提供することである。

【課題を解決するための手段】

【0006】

本発明の一観点によると、
第１面の上に載置された対象物をカメラで撮像して得られた前記対象物の画像を解析し、前記対象物の画像の位置を検出する位置検出部と、
カメラの画界内における前記対象物の画像の位置を、前記対象物の基準点の位置に補正する位置補正情報を記憶する位置補正情報記憶部と、
前記位置検出部で検出された前記対象物の画像の位置と、前記位置補正情報記憶部に記憶されている前記位置補正情報とに基づいて、前記位置検出部で検出された前記対象物の画像の位置を補正して前記基準点の位置を求める位置補正部と
を備えた物体位置検出装置が提供される。

【0007】

本発明の他の観点によると、
第１面の上に載置される対象物の前記第１面における複数の位置のそれぞれについて、前記対象物の三次元形状を定義する形状定義情報と、前記対象物を撮像するカメラの内部パラメータとを用いてレンダリングを行い、前記第１面における複数の位置のそれぞれについて、レンダリングによって模擬画像を生成するレンダリング部と、
前記レンダリング部によって生成された前記模擬画像の、画像平面内における位置情報を求める画像位置情報算出部と、
前記対象物の前記第１面における複数の位置のそれぞれについて、前記形状定義情報に基づいて、前記対象物の基準点の、前記画像平面内における位置情報を求める基準点位置情報算出部と、
前記画像位置情報算出部で求められた前記模擬画像の位置情報と、前記基準点位置情報算出部で求められた前記基準点の位置情報とを、相互に関連付けて出力する位置補正情報算出部と
を備えた位置補正情報生成装置が提供される。

【発明の効果】

【0008】

位置検出部で検出された対象物の画像の位置と、位置補正情報記憶部に記憶されている位置補正情報とに基づいて、対象物の画像の位置を補正して基準点の位置を求めるため、カメラと対象物との相対位置が変化しても、対象物の基準点の位置を求めることができる。

【0009】

対象物の三次元形状からレンダリングを行って模擬画像を生成し、模擬画像を用いて対象物の画像の位置情報と基準点の位置情報とを関連付けることにより、対象物を実際に撮像した画像を用いる場合と比べて、容易に位置補正情報を作成することができる。

【図面の簡単な説明】

【0010】

【図1】図１は、一実施例による物体位置検出装置が搭載されたピッキング装置の概略図である。

【図2】図２は、画界内の対象物の画像の一例を示す図である。

【図3】図３Ａ～図３Ｃは、それぞれ対象物が図２に示した領域Ａ１、Ａ２、Ａ３に位置する場合の対象物及び画像平面内の画像を模式的に示す図である。

【図4】図４は、対象物の中心点の位置ｘと、変位量Δｘとの関係の一例を示すグラフである。

【図5】図５は、物体位置検出装置のブロック図である。

【図6】図６は、物体位置検出装置が実行する手順を示すフローチャートである。

【図7】図７は、位置補正情報生成装置のブロック図である。

【図8】図８は、位置補正情報生成装置が実行する処理の手順を示すフローチャートである。

【図9】図９は、他の実施例による物体位置検出装置のブロック図である。

【図10】図１０は、図９に示した実施例による物体位置検出装置が実行する手順を示すフローチャートである。

【図11】図１１Ａ及び図１１Ｂは、対象物の三次元形状とプリミティブ形状とを示す斜視図である。

【発明を実施するための形態】

【0011】

図１～図８を参照して、一実施例による物体位置検出装置及び位置補正情報生成装置について説明する。

【0012】

図１は、本実施例による物体位置検出装置が搭載されたピッキング装置の概略図である。ベルトコンベアの上面である第１面５０に、複数の対象物７０が載置されて、一方向に搬送される。対象物７０の搬送方向をｘ軸の正の向きとし、鉛直上方をｚ軸の正の向きとするｘｙｚ直交座標系を定義する。第１面５０の幅方向がｙ方向に相当する。

【0013】

複数の対象物７０のそれぞれは、例えばＬ型アングルである。対象物７０は、直角に折り曲げられた箇所を境として一方の側の第１部分７０Ａと、他方の側の第２部分７０Ｂとで構成される。一例として、折り曲げ箇所から第１部分７０Ａの先端までの長さが、第２部分７０Ｂの先端までの長さより長い。対象物７０の各々は、第２部分７０Ｂを第１面５０に接触させ、第１部分７０Ａが鉛直上方に延びる姿勢で第１面５０に載置されている。また、折り曲げ箇所から第２部分７０Ｂの先端に向かう方向が、ｘ軸の正の向き（搬送方向）に一致する姿勢で、対象物７０が第１面５０に載置されている。

【0014】

第１面５０の上方にカメラ４０が配置されている。カメラ４０は、第１面５０のうち画界４１内の対象物７０の画像を取得する。カメラ４０で取得された画像が物体位置検出装置２０に入力される。さらに、物体位置検出装置２０は、位置補正情報生成装置３０が生成した位置補正情報を取得し、記憶している。位置補正情報については、後に図２～図４を参照して説明する。入力装置４５から、種々のコマンド、種々のデータが物体位置検出装置２０に入力される。

【0015】

物体位置検出装置２０は、カメラ４０で取得された画像を解析して対象物７０の画像の位置、例えば対象物７０の画像のバウンディングボックスの中心位置と、位置補正情報とに基づいて、対象物７０の基準点の位置を算出する。対象物７０の基準点の位置情報がピッキングロボット６０に送られる。ピッキングロボット６０は、対象物７０の基準点の位置情報に基づいて、ロボットアームの先端を対象物７０のピッキング箇所、例えば対象物７０の第１部分７０Ａの先端に移動させ、対象物７０をピッキングする。

【0016】

図２は、画界４１内の対象物７０の画像の一例を示す図である。画界４１内に３つの対象物７０が写り込んでいる。３つの対象物７０の画界４１内の位置によって、画像の形状が異なる。対象物７０が画界４１の中心点Ｃよりもｘ軸の負の側の領域Ａ１に配置されている場合、対象物７０の第１部分７０Ａ及び第２部分７０Ｂの内側の面が見える。対象物７０が画界４１の中心点Ｃよりもｘ軸の正の側の領域Ａ２、Ａ３に配置されている場合、対象物７０の第１部分７０Ａの外側の面が見える。対象物７０が中心点Ｃに近い領域Ａ２に配置されている場合は、第２部分７０Ｂの内側の面の一部分が見える。対象物７０が中心点Ｃから遠い領域Ａ３に配置されている場合は、第２部分７０Ｂは第１部分７０Ａに隠れて見えない。

【0017】

このように、対象物７０の位置によって見え方が異なるため、対象物７０の画像のバウンディングボックス７５の大きさも、対象物７０の位置によって異なる。また、バウンディングボックス７５の位置のみからピッキングすべき第１部分７０Ａの先端の位置を検出することはできない。

【0018】

図３Ａ～図３Ｃは、それぞれ対象物７０が図２に示した領域Ａ１、Ａ２、Ａ３に位置する場合の対象物７０及び画像平面４２内の画像７１を模式的に示す図である。対象物７０及び画像７１は、ｘｚ面における断面図で示している。なお、画像７１は二次元図形であるが、画像平面４２の法線方向に一定の厚さを持つものとして細長い長方形で表している。また、画像平面４２及び画像７１は、対象物７０が第１面５０上に投影される像と同一の縮尺で表しているが、実際には、カメラ４０（図１）の倍率に応じて縮小される。

【0019】

対象物７０の第１部分７０Ａの先端が、ピックアップすべき目標点Ｐｔである。対象物７０に対して三次元基準点Ｐｒ０が定義されている。例えば、対象物７０を包含する最小の直方体の中心点を三次元基準点Ｐｒ０と定義する。三次元基準点Ｐｒ０を第１面５０に垂直投影した像点に対応する画像平面４２上の点を、対象物７０の基準点Ｐｒということとする。カメラ座標の原点から目標点Ｐｔに向かう直線（図３Ａ～図３Ｃにおいて二点鎖線で表されている。）と第１面５０との交点に対応する画像平面上の点をＰｔｉと標記する。

【0020】

図３Ａに示した例では、点Ｐｔｉから第２部分７０Ｂの先端に対応する画像平面４２上の点まで、対象物７０の画像７１がｘ方向に延びる。この画像７１の中心点をＰｃと標記する。例えば、画像７１の中心点Ｐｃとして、画像７１のバウンディングボックス７５（図２）の中心点を採用することができる。対象物７０の基準点Ｐｒは、画像７１の中心点Ｐｃよりｘ軸の正の側に位置することになる。

【0021】

図３Ｂに示した例では、画像平面上の点Ｐｔｉが、画像７１の内部に位置する。画像７１の寸法は、対象物７０の第２部分７０Ｂの画像の寸法に等しい。このとき、画像７１の中心点Ｐｃは、対象物７０の基準点Ｐｒに一致する。

【0022】

図３Ｃに示した例では、対象物７０の画像平面４２上の折れ曲がり部に対応する点からｘ方向に、第２部分７０Ｂの先端の像点を超えて、点Ｐｔｉまで画像７１が延びる。このとき、対象物７０の基準点Ｐｒは、画像７１の中心点Ｐｃよりｘ軸の負の側に位置することになる。

【0023】

図３Ａ～図３Ｃに示した画像７１の中心点Ｐｃに対する対象物７０の基準点Ｐｒのｘ方向への変位量をΔｘと標記する。図３Ａに示した例では変位量Δｘが正であり、図３Ｂに示した例では変位量Δｘがゼロであり、図３Ｃに示した例では変位量Δｘが負である。このように、画界４１内における対象物７０の位置によって、画像７１の中心点Ｐｃと、対象物７０の基準点Ｐｒとの位置関係が変動する。

【0024】

図４は、対象物７０の中心点Ｐｃの位置ｘと、変位量Δｘとの関係の一例を示すグラフである。画界４１の中心点Ｃの位置を、ｘ軸の原点としている。図３Ａの状態から対象物７０がｘ軸の正の向きに移動すると、画像７１の中心点Ｐｃもｘ軸の正の向きに移動するとともに、変位量Δｘが徐々に小さくなる。

【0025】

対象物７０がｘ軸の正の向きに移動し、対象物７０の折れ曲がり部が画界４１の中心点Ｃに一致すると、変位量Δｘがゼロになる。対象物７０がさらにｘ軸の正の向きに移動し、図３Ｂの状態が維持される期間は、変位量Δｘがゼロである。

【0026】

その後、対象物７０とカメラ座標系との位置関係が図３Ｃの状態になると、変位量Δｘが負になる。対象物７０がｘ軸の正の向きに移動するにしたがって、画像７１の中心点Ｐｃの位置もｘ軸の正の向きに移動するとともに、変位量Δｘが負の向きに大きくなる。位置補正情報生成装置３０（図１）は、画像７１の中心点Ｐｃの位置と対象物７０の基準点Ｐｒの位置Ｐｒとの位置関係を表す情報、例えば画像７１の中心点Ｐｃの複数の位置のそれぞれにおける変位量Δｘを求める。画像７１の中心点Ｐｃの位置と対象物７０の基準点Ｐｒの位置Ｐｒとの位置関係を求める方法については、後に図７及び図８を参照して説明する。

【0027】

次に、図５及び図６を参照して物体位置検出装置２０の機能について説明する。図５は、物体位置検出装置２０のブロック図である。図６は、物体位置検出装置２０が実行する手順を示すフローチャートである。物体位置検出装置２０は、位置検出部２１、位置補正部２２、出力部２３、及び位置補正情報記憶部２５を含む。位置補正情報生成装置３０から入力された位置補正情報が、位置補正情報記憶部２５に記憶されている。

【0028】

位置検出部２１は、カメラ４０から対象物７０の画像７１を取得する（ステップＳＡ１）。さらに、位置検出部２１は、画像７１を解析し、画像平面４２内における対象物７０の画像７１（図３Ａ～図３Ｃ）の位置を検出する（ステップＳＡ２）。具体的には、画像７１のバウンディングボックス７５（図２）の中心点Ｐｃ（図３Ａ～図３Ｃ）の位置を検出する。

【0029】

位置補正部２２は、画像７１の中心点Ｐｃの位置、及び位置補正情報記憶部２５に記憶されている位置補正情報に基づいて、対象物７０の基準点Ｐｒの、画像平面４２内における位置を算出する（ステップＳＡ３）。出力部２３は、対象物７０の基準点Ｐｒの画像平面４２内における位置をピッキングロボット６０に出力する（ステップＳＡ４）。ピッキングロボット６０は、対象物７０の基準点Ｐｒの位置に基づいて、対象物７０をピッキングする。

【0030】

次に、図７及び図８を参照して、位置補正情報生成装置３０（図１）の機能について説明する。

【0031】

図７は、位置補正情報生成装置３０のブロック図である。位置補正情報生成装置３０は、入力部３１、レンダリング部３２、画像位置情報算出部３３、基準点位置情報算出部３４、位置補正情報算出部３５、形状定義情報記憶部３６、カメラに対する第１面の相対位置情報記憶部３７、カメラ内部パラメータ記憶部３８、及びレンズ歪パラメータ記憶部３９を含む。

【0032】

入力部３１は、入力装置４５に入力された種々のコマンド及びデータを取得する。種々のデータには、対象物７０の形状を定義する形状定義情報、カメラに対する第１面の相対位置情報、カメラ内部パラメータ、及びレンズ歪パラメータが含まれる。形状定義情報は形状定義情報記憶部３６に記憶され、カメラに対する第１面の相対位置情報は、カメラに対する第１面の相対位置情報記憶部３７に記憶され、カメラ内部パラメータはカメラ内部パラメータ記憶部３８に記憶され、レンズ歪パラメータはレンズ歪パラメータ記憶部３９に記憶される。カメラに対する第１面の相対位置情報は、カメラ座標系における第１面５０の位置及び姿勢（例えば、法線の向き）を含む。形状定義情報は、例えば対象物７０の形状を定義する設計データ（ＣＡＤデータ等）である。

【0033】

レンダリング部３２は、画界４１（図２）内における対象物７０の位置及び姿勢が与えられると、形状定義情報記憶部３６、カメラに対する第１面の相対位置情報記憶部３７、カメラ内部パラメータ記憶部３８、レンズ歪パラメータ記憶部３９に記憶されている情報を用いてレンダリングを行うことにより、画像平面４２（図３Ａ～図３Ｃ）における対象物７０の模擬画像を生成する。

【0034】

画像位置情報算出部３３は、レンダリング部３２で生成された模擬画像の位置、例えば模擬画像のバウンディングボックスの中心点Ｐｃの、画像平面４２（図３Ａ～図３Ｃ）内における位置を算出する。

【0035】

基準点位置情報算出部３４は、対象物７０の形状定義情報から対象物７０の三次元形状を求め、三次元形状から、カメラ座標系における三次元基準点Ｐｒ０（図３Ａ～図３Ｃ）の位置を計算する。さらに、三次元基準点Ｐｒ０を第１面５０に垂直投影した像点の、画像平面４２における基準点Ｐｒ（図３Ａ～図３Ｃ）の位置を算出する。

【0036】

位置補正情報算出部３５は、画像位置情報算出部３３で算出された模擬画像の位置（中心点Ｐｃの位置）と、基準点位置情報算出部３４で算出された基準点Ｐｒの位置とを関連付けて、位置補正情報として出力する。位置補正情報は、例えば、物体位置検出装置２０（図１）に出力され、物体位置検出装置２０の位置補正情報記憶部２５（図５）に記憶される。

【0037】

図８は、位置補正情報生成装置３０が実行する処理の手順を示すフローチャートである。予め、カメラに対する第１面の相対位置情報記憶部３７に相対位置情報が記憶されており、カメラ内部パラメータ記憶部３８にカメラ内部パラメータが記憶されており、レンズ歪パラメータ記憶部３９にレンズ歪パラメータが記憶されている。

【0038】

入力部３１が入力装置４５から入力された対象物の形状定義情報を取得し、形状定義情報記憶部３６に記憶させる（ステップＳＢ１）。次に、対象物７０の位置を画界４１内に設定する（ステップＳＢ２）。レンダリング部３２が、ステップＳＢ２で設定された対象物７０の位置に基づいてレンダリングを行うことにより、対象物７０の模擬画像を生成する（ステップＳＢ３）。画像位置情報算出部３３が、画像平面４２（図３Ａ～図３Ｃ）内における模擬画像の位置を算出する（ステップＳＢ４）。例えば、模擬画像のバウンディングボックスの中心点Ｐｃ（図３Ａ～図３Ｃ）の位置を算出する。

【0039】

基準点位置情報算出部３４が、ステップＳＢ２で設定された対象物７０の位置と、形状定義情報とに基づいて、対象物７０の基準点Ｐｒ（図３Ａ～図３Ｃ）の、画像平面４２内における位置を算出する（ステップＳＢ５）。位置補正情報算出部３５が、模擬画像の位置情報（中心点Ｐｃの位置情報）と、対象物７０の基準点Ｐｒの位置情報とを関連付けて出力する（ステップＳＢ６）。

【0040】

必要な数の位置補正情報が得られるまで、対象物７０の位置を更新して（ステップＳＢ８）、ステップＳＢ３からステップＳＢ６までの手順を繰り返す（ステップＳＢ７）。

【0041】

次に、本実施例の優れた効果について説明する。
対象物７０の画像の位置（バウンディングボックスの中心点Ｐｃの位置）と、目標点Ｐｔ（図３Ａ～図３Ｃ）の位置との関係は一定ではない。このため、対象物の画像の位置に基づいてピッキングロボット６０（図１）を動作させると、対象物７０の目標点Ｐｔを正確に把持できない場合が生じ得る。

【0042】

これに対して本実施例では、画界４１（図２）における対象物７０の位置が一定ではない場合でも、画像７１の位置から対象物７０の基準点Ｐｒの位置を求めることができる。ピッキングロボット６０は、対象物７０の基準点Ｐｒの位置に基づいて目標点Ｐｔ（図３Ａ～図３Ｂ）の位置を特定し、目標点Ｐｔの位置にロボットアームの先端を移動させて、対象物７０を再現性良くピッキングすることができる。

【0043】

また、本実施例では、予め位置補正情報を生成しているため、対象物７０の画像の形状や対象物７０の三次元形状を求めることなく、対象物７０の基準点Ｐｒ（図３Ａ～図３Ｃ）の位置を求めることができる。

【0044】

さらに、本実施例では、位置補正情報生成装置３０が、レンダリングにより生成された模擬画像に基づいて位置補正情報を生成するため、位置補正情報生成のために対象物７０の実際の画像を取得する必要が無い。このため、短時間に位置補正情報を生成することができる。

【0045】

次に、本実施例の変形例について説明する。
本実施例では、対象物７０の画像７１のバウンディングボックスの中心点Ｐｃの位置に基づいて基準点Ｐｒの位置を求めているが、対象物７０の画像７１の他の特徴的な点の位置に基づいて基準点Ｐｒの位置を求めてもよい。例えば、バウンディングボックスの１つの頂点の位置に基づいて、基準点Ｐｒの位置を求めてもよい。

【0046】

本実施例では、対象物７０がＬ型アングルの例について説明したが、対象物７０が他の三次元形状を持つ場合であっても、本実施例を適用することが可能である。

【0047】

次に、図９及び図１０を参照して、他の実施例による物体位置検出装置について説明する。以下、図１～図８を参照して説明した実施例による物体位置検出装置と共通の構成については説明を省略する。

【0048】

図９は、本実施例による物体位置検出装置２０のブロック図である。本実施例による物体位置検出装置２０は、図５に示した物体位置検出装置２０の複数のブロックに加えて、有効無効フラグ２６を含む。入力装置４５から有効無効フラグ２６の内容を書き換えることができる。有効無効フラグ２６は、位置補正機能を有効にするか無効にするかを指定するためのフラグである。

【0049】

図１０は、本実施例による物体位置検出装置２０が実行する手順を示すフローチャートである。ステップＳＡ１、ＳＡ２は、図６に示した実施例のステップＳＡ１、ＳＡ２と同一である。本実施例では、有効無効フラグに「有効」が設定されている場合に、ステップＳＡ３、ＳＡ４を実行する（ステップＳＡ５）。ステップＳＡ３、ＳＡ４は、図６に示した実施例のステップＳＡ３、ＳＡ４と同一である。すなわち、有効無効フラグに「有効」が設定されている場合に、物体位置検出装置２０は、対象物７０の基準点Ｐｒ（図３Ａ～図３Ｃ）の位置情報を出力する（ステップＳＡ４）。

【0050】

有効無効フラグに「無効」が設定されている場合には、対象物７０の画像７１の位置情報、例えばバウンディングボックスの中心点Ｐｃの位置情報を出力する（ステップＳＡ５、ＳＡ６）。

【0051】

次に、本実施例の優れた効果について説明する。
有効無効フラグ２６に「有効」を設定することにより、図１～図８を参照して説明した実施例と同様に、対象物７０を再現性良くピッキングすることができる。

【0052】

対象物７０の三次元形状によっては、対象物７０の画像の中心点Ｐｃと、対象物７０の基準点Ｐｒとのずれ量が小さい場合がある。このような場合には、有効無効フラグ２６に「無効」を設定しておいても、ピッキングの再現性の低下が抑制される。有効無効フラグ２６に「無効」を設定しておくと、ステップＳＡ３、ＳＡ４（図１０）の手順を実行する必要が無いため、物体位置検出装置２０の処理時間が短縮され、ピッキング処理のスループットの向上を図ることが可能になる。

【0053】

次に、図１１Ａ及び図１１Ｂを参照して、さらに他の実施例による位置補正情報生成装置について説明する。以下、図１～図８を参照して説明した実施例による位置補正情報生成装置と共通の構成については説明を省略する。図１～図８を参照して説明した実施例では、入力装置４５から入力部３１（図７）に、対象物７０の三次元形状を定義する形状定義情報として、ＣＡＤデータ等の設計データが入力される。ところが、対象物７０によっては、ＣＡＤデータが存在しない場合もある。本実施例では、形状定義情報として、対象物７０の三次元形状を、プリミティブ形状で代替する。

【0054】

図１１Ａ及び図１１Ｂは、対象物７０の三次元形状とプリミティブ形状８０とを示す斜視図である。プリミティブ形状８０にハッチングを付している。図１１Ａは、対象物７０がＬ型アングルである例を示しており、図１１Ｂは、対象物７０が、開口部が長方形の四角筒のうち１つの側壁を取り除いた形状を有する例を示している。

【0055】

図１１Ａに示した例では、対象物７０を包含する最小の三角柱をプリミティブ形状８０とする。図１１Ｂに示した例では、対象物７０を包含する最小の四角柱をプリミティブ形状８０とする。いずれの場合でも、プリミティブ形状８０の画像のバウンディングボックスの中心点と、対象物７０の画像のバウンディングボックスの中心点とが一致する。言い換えると、プリミティブ形状８０の画像のバウンディングボックスの中心点と、対象物７０の画像のバウンディングボックスの中心点とが一致する条件を満たすように、プリミティブ形状を定義する。

【0056】

次に、本実施例の優れた効果について説明する。
本実施例では、対象物７０の三次元形状を正確に再現することなく、プリミティブ形状を表すデータを作成することにより、形状定義情報を作成することができる。このため、形状定義情報を作成する手間を軽減させることができる。

【0057】

上述の各実施例は例示であり、異なる実施例で示した構成の部分的な置換または組み合わせが可能であることは言うまでもない。複数の実施例の同様の構成による同様の作用効果については実施例ごとには逐次言及しない。さらに、本発明は上述の実施例に制限されるものではない。例えば、種々の変更、改良、組み合わせ等が可能なことは当業者に自明であろう。

【符号の説明】

【0058】

２０ 物体位置検出装置
２１ 位置検出部
２２ 位置補正部
２３ 出力部
２５ 位置補正情報記憶部
２６ 有効無効フラグ
３０ 位置補正情報生成装置
３１ 入力部
３２ レンダリング部
３３ 画像位置情報算出部
３４ 基準点位置情報算出部
３５ 位置補正情報算出部
３６ 形状定義情報記憶部
３７ カメラに対する第１面の相対位置情報記憶部
３８ カメラ内部パラメータ記憶部
３９ レンズ歪パラメータ記憶部
４０ カメラ
４１ 画界
４２ 画像平面
４５ 入力装置
５０ 第１面
６０ ピッキングロボット
７０ 対象物
７０Ａ 第１部分
７０Ｂ 第２部分
７１ 対象物の画像
７５ バウンディングボックス
Ｐｃ 多少物の画像の中心点
Ｐｒ 対象物の基準点
Ｐｒ０ 対象物の三次元基準点
Ｐｔ 目標点

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】