IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ アズビル株式会社の特許一覧

特許71788022次元位置姿勢推定装置及び2次元位置姿勢推定方法
<>
  • 特許-2次元位置姿勢推定装置及び2次元位置姿勢推定方法 図1
  • 特許-2次元位置姿勢推定装置及び2次元位置姿勢推定方法 図2
  • 特許-2次元位置姿勢推定装置及び2次元位置姿勢推定方法 図3
  • 特許-2次元位置姿勢推定装置及び2次元位置姿勢推定方法 図4
  • 特許-2次元位置姿勢推定装置及び2次元位置姿勢推定方法 図5
  • 特許-2次元位置姿勢推定装置及び2次元位置姿勢推定方法 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-11-17
(45)【発行日】2022-11-28
(54)【発明の名称】2次元位置姿勢推定装置及び2次元位置姿勢推定方法
(51)【国際特許分類】
   G06T 7/70 20170101AFI20221118BHJP
   B25J 13/08 20060101ALI20221118BHJP
【FI】
G06T7/70 Z
B25J13/08 A
【請求項の数】 7
(21)【出願番号】P 2018106983
(22)【出願日】2018-06-04
(65)【公開番号】P2019211968
(43)【公開日】2019-12-12
【審査請求日】2021-03-24
(73)【特許権者】
【識別番号】000006666
【氏名又は名称】アズビル株式会社
(74)【代理人】
【識別番号】110003166
【氏名又は名称】弁理士法人山王内外特許事務所
(74)【代理人】
【識別番号】100101133
【弁理士】
【氏名又は名称】濱田 初音
(74)【代理人】
【識別番号】100199749
【弁理士】
【氏名又は名称】中島 成
(74)【代理人】
【識別番号】100188880
【弁理士】
【氏名又は名称】坂元 辰哉
(74)【代理人】
【識別番号】100197767
【弁理士】
【氏名又は名称】辻岡 将昭
(74)【代理人】
【識別番号】100201743
【弁理士】
【氏名又は名称】井上 和真
(72)【発明者】
【氏名】山中 將暢
【審査官】新井 則和
(56)【参考文献】
【文献】特開2006-260315(JP,A)
【文献】特開昭60-015780(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06T 7/00-7/90
B25J 13/08
(57)【特許請求の範囲】
【請求項1】
画像を取得する画像取得部と、
前記画像取得部により取得された画像から、対象である物体を示す領域である物体領域を抽出する領域抽出部と、
前記領域抽出部により抽出された物体領域に基づく領域から、再現性のある一意の点に基づく前記物体の位置及び再現性のある一意の方向に基づく当該物体の姿勢を推定する位置姿勢推定部とを備え、
前記領域抽出部は、閾値処理によって画像から作業面を示す領域を抽出し、当該領域に対して領域の穴埋めを行った領域を抽出し、両領域の差分をとることで物体領域を抽出する
ことを特徴とする2次元位置姿勢推定装置。
【請求項2】
前記画像取得部により取得される画像は2次元画像又は距離画像である
ことを特徴とする請求項1記載の2次元位置姿勢推定装置。
【請求項3】
前記領域抽出部は、前記画像取得部により取得された画像から、コントラストの変化の度合いに基づいて、物体領域を抽出する
ことを特徴とする請求項1又は請求項2記載の2次元位置姿勢推定装置。
【請求項4】
前記位置姿勢推定部は、前記領域抽出部により抽出された物体領域に基づく領域として、当該物体領域、当該物体領域を凸包した領域、当該物体領域を幾何学形状で近似した領域、当該物体領域を幾何学形状で包含した最小の領域、又は、当該物体領域を幾何学形状で外接した最小の領域のうちの1つ以上の領域を用いる
ことを特徴とする請求項1から請求項3のうちの何れか1項記載の2次元位置姿勢推定装置。
【請求項5】
前記位置姿勢推定部は、再現性のある一意の点として前記領域抽出部により抽出された物体領域に基づく領域の図心を用い、当該図心と基準点との相対関係に基づいて前記物体の位置を推定する
ことを特徴とする請求項1から請求項4のうちの何れか1項記載の2次元位置姿勢推定装置。
【請求項6】
前記位置姿勢推定部は、再現性のある一意の方向として前記領域抽出部により抽出された物体領域に基づく領域の長軸方向を用い、当該長軸方向と基準方向との相対関係に基づいて前記物体の姿勢を推定する
ことを特徴とする請求項1から請求項4のうちの何れか1項記載の2次元位置姿勢推定装置。
【請求項7】
画像取得部が、画像を取得するステップと、
領域抽出部が、前記画像取得部により取得された画像から、対象である物体を示す領域である物体領域を抽出するステップと、
位置姿勢推定部が、前記領域抽出部により抽出された物体領域に基づく領域から、再現性のある一意の点を用いた前記物体の位置及び再現性のある一意の方向を用いて当該物体の姿勢を推定するステップとを有し、
前記領域抽出部は、閾値処理によって画像から作業面を示す領域を抽出し、当該領域に対して領域の穴埋めを行った領域を抽出し、両領域の差分をとることで物体領域を抽出する
ことを特徴とする2次元位置姿勢推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、画像上での物体の位置姿勢を推定する2次元位置姿勢推定装置及び2次元位置姿勢推定方法に関する。
【背景技術】
【0002】
従来から、テンプレートマッチングという手法を用いて、画像から、対象である物体の位置姿勢を推定する2次元位置姿勢推定装置が知られている(例えば特許文献1参照)。なお、物体の位置姿勢には、物体の位置(x,y)及び姿勢(θ)が含まれる。この従来の2次元位置姿勢推定装置では、物体のモデル(テンプレート)を予め登録し、画像とテンプレートとの間の画像特徴の一致度を評価することで、画像上での物体の位置姿勢を推定する。
【先行技術文献】
【特許文献】
【0003】
【文献】特開2016-207147号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の2次元位置姿勢推定装置では、テンプレートマッチングによって物体の位置姿勢を推定するために、物体毎に膨大な数のテンプレートを用意する必要がある。また、従来の2次元位置姿勢推定装置では、総当たりによるマッチングを行うため、演算コスト及び処理時間が増大する。
そこで、類似度の高いテンプレートを階層的にまとめてテンプレートを削減することで、高効率にテンプレートマッチングを行う技術が開示されている。しかしながら、この技術でも、テンプレートを予め用意する必要がある点には変わりがない。すなわち、この技術でも、テンプレートを予め用意するための手間(労力及び時間)が削減されているわけではなく、改善すべき余地がある。
【0005】
この発明は、上記のような課題を解決するためになされたもので、テンプレートを用いずに、画像上での物体の位置姿勢を検出可能な2次元位置姿勢推定装置を提供することを目的としている。
【課題を解決するための手段】
【0006】
この発明に係る2次元位置姿勢推定装置は、画像を取得する画像取得部と、画像取得部により取得された画像から、対象である物体を示す領域である物体領域を抽出する領域抽出部と、領域抽出部により抽出された物体領域に基づく領域から、再現性のある一意の点に基づく物体の位置及び再現性のある一意の方向に基づく当該物体の姿勢を推定する位置姿勢推定部とを備え、領域抽出部は、閾値処理によって画像から作業面を示す領域を抽出し、当該領域に対して領域の穴埋めを行った領域を抽出し、両領域の差分をとることで物体領域を抽出することを特徴とする。
【発明の効果】
【0007】
この発明によれば、上記のように構成したので、テンプレートを用いずに、画像上での物体の位置姿勢が検出可能となる。
【図面の簡単な説明】
【0008】
図1】この発明の実施の形態1に係る2次元位置姿勢推定装置を備えたロボットピッキングシステムの構成例を示す図である。
図2】この発明の実施の形態1に係る2次元位置姿勢推定装置の構成例を示す図である。
図3】この発明の実施の形態1に係る2次元位置姿勢推定装置の動作例を示すフローチャートである。
図4】この発明の実施の形態1における画像取得部により取得された画像の一例を示す図である。
図5図5A図5Cは、この発明の実施の形態1における領域抽出部による動作を説明するための図である。
図6図6A図6Bは、この発明の実施の形態1における位置推定部及び姿勢推定部による動作を説明するための図である。
【発明を実施するための形態】
【0009】
以下、この発明の実施の形態について図面を参照しながら詳細に説明する。
実施の形態1.
図1はこの発明の実施の形態1に係る2次元位置姿勢推定装置3を備えたロボットピッキングシステムの構成例を示す図である。
2次元位置姿勢推定装置3は、例えば、FA(ファクトリーオートメーション)等における物体のピッキング動作又はロボットの教示作業等の位置決めガイド等に適用可能である。以下では、一例として、2次元位置姿勢推定装置3をロボットピッキングシステムに適用し、このロボットピッキングシステムが、2次元位置姿勢推定装置3により推定された対象である物体11の位置姿勢に基づいて、当該物体11のピッキングを行う場合を示す。
【0010】
ロボットピッキングシステムは、例えば、工場の生産ライン等に配置され、作業面12上に配置された物体11のピッキングを行う。なお、作業面12上に配置される物体11は1つに限らず複数でもよいが、複数の物体11が存在する場合には各物体11は作業面12上に重ならずに配置されているものとする。このロボットピッキングシステムは、図1に示すように、ロボット1、カメラ(撮像装置)2、2次元位置姿勢推定装置3及びロボットコントローラ4を備えている。
【0011】
ロボット1は、アームの先端にエンドエフェクタ101(図1ではハンド)を有し、このエンドエフェクタ101を用いて物体11のピッキングを行う。
【0012】
カメラ2は、エンドエフェクタ101に取付けられ、撮像領域を撮像して画像を得る。このカメラ2により得られた画像を示すデータ(画像データ)は2次元位置姿勢推定装置3に出力される。
なお、カメラ2により得られる画像は、撮像領域に物体11が存在する場合に、その物体11を示す領域(物体領域)とその他の領域(背景領域)とを判別可能な画像であればよく、その形式は問わない。カメラ2は、例えば2次元画像を得てもよい。この2次元画像としては、一般的にはカラー又はモノクロの可視画像が挙げられるが、これに限らず、可視画像では上記の判別が容易ではない場合には、近赤外線画像又はマルチスペクトル画像等の特殊な2次元画像を用いてもよい。また、カメラ2は、物体11にある程度の奥行きがある場合には、距離画像を得てもよい。
【0013】
2次元位置姿勢推定装置3は、カメラ2により得られた画像に基づいて、当該画像上での物体11の位置姿勢を推定する。なお、物体11の位置姿勢とは、物体11の位置(x,y)及び姿勢(θ)を意味する。この2次元位置姿勢推定装置3による推定結果を示すデータ(推定結果データ)はロボットコントローラ4に出力される。なお、2次元位置姿勢推定装置3の構成例は後述する。
【0014】
ロボットコントローラ4は、2次元位置姿勢推定装置3による推定結果に基づいて、ロボット1が有するアームの動作量を算出し、物体11のピッキングを行うようにロボット1の動作を制御する。
【0015】
次に、2次元位置姿勢推定装置3の構成例について、図2を参照しながら説明する。
2次元位置姿勢推定装置3は、図2に示すように、画像取得部301、領域抽出部302、位置推定部303、姿勢推定部304及び出力部305を備えている。なお、2次元位置姿勢推定装置3は、システムLSI(Large Scale Integration)等の処理回路、又はメモリ等に記憶されたプログラムを実行するCPU(Central Processing Unit)等により実現される。
【0016】
画像取得部301は、カメラ2により得られた画像を取得する。
【0017】
領域抽出部302は、画像取得部301により取得された画像から、画像処理によって物体領域を抽出する。すなわち、領域抽出部302は、上記画像から、コントラストの変化の度合いに基づいて、物体領域を抽出する。領域抽出部302による物体領域の抽出手法としては、例えば閾値処理又は背景差分法等が考えられるが、物体領域と背景領域とを判別して物体領域を抽出可能な手法であれば特に制限はない。
【0018】
位置推定部303は、領域抽出部302により抽出された物体領域に基づく領域から、再現性のある一意の点に基づく物体11の位置を推定する。なお、領域抽出部302により抽出された物体領域に基づく領域は、当該物体領域、当該物体領域を凸包した領域、当該物体領域を幾何学形状で近似した領域、当該物体領域を幾何学形状で包含した最小の領域、又は、当該物体領域を幾何学形状で外接した最小の領域のうちの1つ以上の領域を含む。幾何学形状としては、矩形又は楕円等が挙げられる。また、再現性のある一意の点とは、物体11の姿勢に依存せずに一意に定まる点である。
位置推定部303は、例えば、再現性のある一意の点として領域抽出部302により抽出された物体領域に基づく領域の図心を用い、当該図心と任意に設定した画像上の基準点との相対関係に基づいて物体11の位置を推定する。画像上の基準点としては、例えば画像の中心点が挙げられる。
【0019】
姿勢推定部304は、領域抽出部302により抽出された物体領域に基づく領域から、再現性のある一意の方向に基づく物体11の姿勢を推定する。
姿勢推定部304は、例えば、再現性のある一意の方向として領域抽出部302により抽出された物体領域に基づく領域の長軸方向を用い、当該長軸方向と任意の設定した基準方向との相対関係に基づいて、物体11の姿勢を推定する。基準方向としては、例えば画像の水平方向が挙げられる。
【0020】
出力部305は、位置推定部303による推定結果及び姿勢推定部304による推定結果を示すデータをロボットコントローラ4に出力する。
【0021】
なお、位置推定部303及び姿勢推定部304は、「領域抽出部302により抽出された物体領域に基づく領域から、再現性のある一意の点に基づく物体11の位置及び再現性のある一意の方向に基づく当該物体11の姿勢を推定する位置姿勢推定部」を構成する。
【0022】
次に、図2に示す2次元位置姿勢推定装置3の動作例について、図3を参照しながら説明する。
一般的に、物体11の姿勢を表現する場合、オイラー角(α,β,γ)及び四元数(w,x,y,z)に代表されるように、ある基準からの回転量(角度)で表現する場合が多い。この場合、物体11自体はその基準を持っていないため、ユーザは、任意に基準を設定する必要がある。また、基準の設定に関しては特に制限はない。よって、姿勢推定部304は、物体領域に基づく領域から再現性のある一意の方向を導出することで、基準となるテンプレートを用いずに物体11の姿勢が表現可能である。
また、画像上で物体11の姿勢を表現する場合、主にZ軸(カメラ2の光軸方向)周りの回転量で表現する場合が多い。よって、Z軸周りに回転対称な形状を有する物体11に対しては、姿勢の表現が不可能(不必要)である。このことから、画像上での姿勢推定が必要な物体11は、形状に何らかの幾何学的特徴を有するものに限定される。そして、物体11として形状に何らかの幾何学的特徴を有するものを想定した場合、その物体領域に基づく領域の長軸方向は一意に定まる。よって、以下では、姿勢推定部304は長軸方向を用いることで物体11の姿勢を表現する。
また、物体11の位置に関しても同様であり、位置推定部303は、物体領域に基づく領域から再現性のある一意の点を導出することで、基準となるテンプレートを用いずに物体11の位置を表現可能となる。また、物体領域に基づく領域の図心は一意に定まる特徴点であるため、以下では、位置推定部303は図心を用いることで物体11の位置を表現する。
【0023】
この実施の形態1に係る2次元位置姿勢推定装置3の動作例では、図3に示すように、まず、画像取得部301は、カメラ2により得られた画像を取得する(ステップST1)。
【0024】
次いで、領域抽出部302は、画像取得部301により取得された画像から、画像処理によって物体領域を抽出する(ステップST2)。ここでは、領域抽出部302は、閾値処理によって画像から物体領域を抽出するものとする。画像取得部301により例えば図4に示すような画像が取得されたとする。この画像には、物体11、作業面12及びその他の背景が含まれている。実施の形態1に係る2次元位置姿勢推定装置3では、テンプレートを用意しないため、画像から物体領域を直接抽出することは容易ではない。そこで、実施の形態1に係る2次元位置姿勢推定装置3では、まず、例えば図5Aに示すように、閾値処理によって画像から作業面12を示す領域(図5Aに示すグレーの領域)501を抽出することが望ましい。一般的に、生産ラインでは、物体11は作業面12上に配置されている場合がほとんどである。そのため、実施の形態1における領域抽出部302では、作業面12を示す領域501と、当該領域に対してクロージング処理等で領域の穴埋めを行った領域(図5Bに示すグレーの領域)502との差分をとることで、物体領域(図5Cに示すグレーの領域)503が抽出可能である。
【0025】
次いで、位置推定部303は、領域抽出部302により抽出された物体領域に基づく領域から、再現性のある一意の点に基づく物体11の位置を推定する(ステップST3)。ここでは、位置推定部303は、再現性のある一意の点として上記領域の図心を用い、当該図心と任意に設定した画像上の基準点との相対関係に基づいて物体11の位置を推定する。
【0026】
具体的には、位置推定部303は、まず、再現性のある一意の点として領域抽出部302により抽出された物体領域に基づく領域の図心を導出する。ここで、上記領域を構成する点の座標が(u,v)(i,j=1,・・・,N)で表される場合、位置推定部303は、当該領域の0次モーメント及び1次モーメントを用いて、下式(1)~(4)から、当該領域の図心を導出する。なお、Nは上記領域を構成する点の個数である。また、式(1)~(4)において、m00は上記領域の0次モーメントを表し、(m10,m01)は当該領域の1次モーメントを表し、(u(バー),v(バー))は当該領域の図心を表す。

【0027】
そして、位置推定部303は、導出した領域の図心及び基準点に基づいて、下式(5)から物体11の位置を推定する。なお、式(5)において、(u,v)は基準点を表し、(x,y)は物体11の位置を表す。

【0028】
また、姿勢推定部304は、領域抽出部302により抽出された物体領域に基づく領域から、再現性のある一意の方向に基づく物体11の姿勢を推定する(ステップST4)。ここでは、姿勢推定部304は、再現性のある一意の方向として上記領域の長軸方向を用い、当該長軸方向と任意の設定した基準方向との相対関係に基づいて物体11の姿勢を推定する。
【0029】
具体的には、基準方向が画像上の水平方向である場合、姿勢推定部304は、上記領域の2次モーメント及び当該領域の図心に基づいて、下式(6)~(9)から、長軸方向の水平方向からの回転角度を導出することで物体11の姿勢を推定する。式(6)~(9)において、(m20,m02,m11)は上記領域の2次モーメントを表し、θは回転角度を表す。

【0030】
例えば、領域抽出部302が図5Cに示すような物体領域503を抽出したとする。また、位置推定部303及び姿勢推定部304が用いる領域が、図6Aに示すように物体領域503を包含する最小の矩形領域601であるとする。この場合、位置推定部303により導出される図心602及び姿勢推定部304により導出される長軸方向603は図6Bに示すようになる。
【0031】
また、位置推定部303は、例えば図5Cに示す物体領域503及び図6Aに示す矩形領域601等のように複数の領域を用いてそれぞれに対して物体11の位置の推定を行い、それらの推定結果に基づいて物体11の位置を推定してもよい。これにより、位置推定部303は、位置推定の精度の向上を図ることができる。姿勢推定部304についても同様である。
【0032】
また上記では、位置推定部303が、上記領域の図心を導出する場合を示した。しかしながら、これに限らず、位置推定部303は、例えば上記領域の外郭の特徴点(例えば図5Cに示す物体領域の直角部分504)を用いて、物体11の位置を推定してもよい。
また上記では、姿勢推定部304が、上記領域の長軸方向を導出する場合を示した。しかしながら、これに限らず、姿勢推定部304は、例えば、上記領域の図心と当該領域の外郭の特徴点とを結ぶ線分を用いて、物体11の姿勢を推定してもよい。
【0033】
次いで、出力部305は、位置推定部303による推定結果及び姿勢推定部304による推定結果を示すデータをロボットコントローラ4に出力する(ステップST5)。その後、ロボットコントローラ4は、2次元位置姿勢推定装置3による推定結果に基づいて、物体11のピッキングを行うようにロボット1の動作を制御する。これにより、ロボットピッキングシステムは、物体11の位置姿勢が不定の場合であっても当該物体11をピッキング可能となる。
【0034】
以上のように、この実施の形態1によれば、2次元位置姿勢推定装置3は、画像を取得する画像取得部301と、画像取得部301により取得された画像から、対象である物体11を示す領域である物体領域を抽出する領域抽出部302と、領域抽出部302により抽出された物体領域に基づく領域から、再現性のある一意の点に基づく物体11の位置及び再現性のある一意の方向に基づく当該物体11の姿勢を推定する位置姿勢推定部とを備えた。これにより、実施の形態1に係る2次元位置姿勢推定装置3は、テンプレートを用いずに、多様な物体11に対して画像上での位置姿勢が検出可能となる。
【0035】
なお、本願発明はその発明の範囲内において、実施の形態の任意の構成要素の変形、もしくは実施の形態の任意の構成要素の省略が可能である。
【符号の説明】
【0036】
1 ロボット
2 カメラ(撮像装置)
3 2次元位置姿勢推定装置
4 ロボットコントローラ
11 物体
12 作業面
101 エンドエフェクタ
301 画像取得部
302 領域抽出部
303 位置推定部
304 姿勢推定部
305 出力部
図1
図2
図3
図4
図5
図6