特許 6624911 計測装置、計測方法および物品の製造方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6624911

(24)【登録日】2019年12月6日

(45)【発行日】2019年12月25日

(54)【発明の名称】計測装置、計測方法および物品の製造方法

(51)【国際特許分類】

   G01B 11/00 20060101AFI20191216BHJP

   G01B 11/02 20060101ALI20191216BHJP

   G01B 11/24 20060101ALI20191216BHJP

【ＦＩ】

   G01B11/00 H

   G01B11/02 H

   G01B11/24 K

【請求項の数】10

【全頁数】9

(21)【出願番号】特願2015-236832(P2015-236832)

(22)【出願日】2015年12月3日

(65)【公開番号】特開2017-102061(P2017-102061A)

(43)【公開日】2017年6月8日

【審査請求日】2018年11月6日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(72)【発明者】

【氏名】西川 裕也

【審査官】 齋藤 卓司

(56)【参考文献】

【文献】 特開２００４−０５０３９０（ＪＰ，Ａ）

【文献】 特開２００８−２３５５０４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／００７６３５５（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００

Ｇ０１Ｂ １１／０２

Ｇ０１Ｂ １１／２４

(57)【特許請求の範囲】

【請求項1】

物体を撮像して画像データを得る撮像部と、前記画像データを処理して前記物体の領域を認識する処理部とを有する計測装置であって、
前記処理部は、
前記画像データに対して特徴抽出を行って第１特徴データを得、
前記画像データに基づいて前記領域を認識された前記物体の三次元モデルを所定の面に射影し、該射影により得られた画像データに対して前記特徴抽出を行って第２特徴データを得、
前記第１特徴データと前記第２特徴データとの一致度と、閾値と、の大小関係に基づいて未認識の物体があるか否かの判断を行うことを特徴とする計測装置。

【請求項2】

前記特徴抽出は、前記画像データの画素値に対する二値化を含むことを特徴とする請求項１に記載の計測装置。

【請求項3】

前記二値化により得られた前記第１特徴データとしての前記物体の面積と、前記二値化により得られた前記第２特徴データとしての前記物体の面積とに基づいて前記判断を行うことを特徴とする請求項２に記載の計測装置。

【請求項4】

前記特徴抽出は、前記画像データに対するエッジ抽出を含むことを特徴とする請求項１に記載の計測装置。

【請求項5】

前記エッジ抽出により得られた前記第１特徴データとしての前記物体のエッジと、前記エッジ抽出により得られた前記第２特徴データとしての前記物体のエッジとに基づいて前記判断を行うことを特徴とする請求項４に記載の計測装置。

【請求項6】

前記エッジのうちの少なくとも一部の位置、長さ、および数のうちの少なくとも一つに基づいて前記判断を行うことを特徴とする請求項５に記載の計測装置。

【請求項7】

前記エッジのうちの少なくとも一部は、前記物体の輪郭、前記エッジが構成する線分、および前記エッジの交点のうちの少なくとも一つを含むことを特徴とする請求項５または６に記載の計測装置。

【請求項8】

前記物体を照明する照明部を含むことを特徴とする請求項１ないし７のうちいずれか１項に記載の計測装置。

【請求項9】

物体を撮像して得た画像データを処理して前記物体の領域を認識する方法であって、
前記画像データに対して特徴抽出を行って第１特徴データを得、
前記画像データに基づいて前記領域を認識された前記物体の三次元モデルを所定の面に射影し、該射影により得られた画像データに対して前記特徴抽出を行って第２特徴データを得、
前記第１特徴データと前記第２特徴データとの一致度と、閾値と、の大小関係に基づいて未認識の物体があるか否かの判断を行うことを特徴とする方法。

【請求項10】

請求項１ないし請求項８のうちいずれか１項に記載の計測装置または請求項９に記載の方法を用いて物体の領域の認識を行う工程と、
前記工程で前記認識を行われた前記物体の処理を行う工程と、
を含むことを特徴とする物品の製造方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、計測装置、計測方法および物品の製造方法に関する。

【背景技術】

【0002】

ロボットアームによる物品（ワーク）の把持や組立において、マシンビジョンの技術が用いられている。マシンビジョンによりワークが個別に認識（計測）され、ロボットアームが制御される。把持等の対象となるワークの近傍に対象外のワークがある場合において、対象外のワークが未計測であると、ロボットアームが所定の把持または組立を行うことが困難になりうる。ワークを計測できない要因としては、ワークの上面と下面とが重なり合っている場合、ワークの側面同士が接している場合等が考えられる。特許文献１は、重なり合ったワークの上下を判定する技術を開示している。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平９−５３９１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記文献は、重なった対象物体の上下を判断するに過ぎない。よって、物体が重なり合っているがゆえに認識できない物体があった場合、物体の把持等の処理を行うのに、認識できた物体だけの情報に基づくのでは、当該処理が適切に行えない可能性がある。

【0005】

本発明は、例えば、重なり合った物体の認識の評価に有利な計測装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明は、物体を撮像して画像データを得る撮像部と、画像データを処理して物体の領域を認識する処理部とを有する計測装置であって、処理部は、
画像データに対して特徴抽出を行って第１特徴データを得、画像データに基づいて領域を認識された物体の三次元モデルを所定の面に射影し、該射影により得られた画像データに対して特徴抽出を行って第２特徴データを得、第１特徴データと第２特徴データとの一致度と、閾値と、の大小関係に基づいて未認識の物体があるか否かの判断を行うことを特徴とする。

【発明の効果】

【0007】

本発明によれば、例えば、重なり合った物体の認識の評価に有利な計測装置を提供することができる。

【図面の簡単な説明】

【0008】

【図1】第１実施形態に係る計測装置の構成例を示す図である。

【図2】平面上における物体の載置状態を示す図である。

【図3】未計測物体の有無の判定の流れを示すフローチャートである。

【図4】画像と第１シルエット画像を示す図である。

【図5】第２シルエット画像を得る方法を説明した図である。

【図6】第２シルエット画像を得る方法を説明した図である。

【図7】シルエット画像の面積の比較により一致度を得る方法を示す図である。

【図8】未計測物体の有無の判断方法を示す図である。

【図9】複数の物体が重なった場合の画像の一例を示す図である。

【図10】未計測物体があるかの判断の流れを示すフローチャートである。

【図11】エッジ画像と第１特徴画像を示す図である。

【図12】各特徴画像のエッジの長さ（総延長）を比較することにより一致度を得る方法を示す図である。

【発明を実施するための形態】

【0009】

以下、本発明を実施するための形態について図面などを参照して説明する。

【0010】

（第１実施形態）
図１は本実施形態における計測装置の構成例を示す図である。本実施形態に係る計測装置は、部品、または部品を製造するための金型などを対象物体（被計測物体）とし、この物体の位置・姿勢（領域）を非接触で計測（認識）する産業装置である。本実施形態では、計測に用いる光として、パターン光を用いず均一光のみを用いる。計測装置は、照明部１と、撮像部２と、処理部３とを含む。

【0011】

照明部１は、物体４を均一に照明し、例えば、多数のＬＥＤ光源７を撮像部２の光軸を中心にリング状に配置してなる。物体４は、図２に示すように、互いに上下に重なったり、側面が接したりした状態で平面Ｐ上に複数個配置されている。なお、照明部１は、バー照明や同軸落斜照明など物体４を略均一に照明できるものであればよい。撮像部２は、撮像光学系５とイメージセンサ６とを含み、均一照明された物体４の撮像画像を取得する。撮像光学系５は、照明部１により均一照明された物体４をイメージセンサ６に結像する。イメージセンサ６は、物体４を撮像するための素子であり、例えば、ＣＭＯＳセンサ、ＣＣＤセンサなどを用いることができる。処理部３は、撮像部２が取得した画像（画像データ）を処理して、図２のように配置された物体４の位置および姿勢を得る。

【0012】

処理部３は、撮像部２の出力（画像）に対して、キャニー法などのエッジ検出アルゴリズムを用いて、物体４のエッジ抽出を行い、エッジ画像（輪郭画像）を得る。そして、公知の方法により、エッジ画像に基づいて物体４の位置および姿勢を得る。

【0013】

物体４の配置状態によっては、位置および姿勢を計測（認識）できない物体（未認識の物体）が残存する。図３は、未認識物体（未計測物体）の有無の判定の流れを示すフローチャートである。ステップＳ１０１では、処理部３は、撮像部２が撮像により得た画像を取得する。ステップＳ１０２では、処理部３は、上述のとおり、エッジ画像を得て、当該エッジ画像に基づいて、物体４の位置および姿勢（領域）を得る。ステップＳ１０３では、処理部３は、ステップＳ１０１で取得した画像（図４Ａ）から第１シルエット画像（第１特徴データ）を得る。シルエット画像は、たとえば、図４（Ａ）に示す画像（画像データ）の画素値に対し２値化処理（特徴抽出）して、物体４が占める領域（占有領域）を表す画像（図４（Ｂ））である。図４（Ｂ）では、２つの物体４（物体αおよび物体β）は１つのシルエットとして認識される。この２値化処理では、物体４が占める領域を１、その他領域を０としている。

【0014】

ステップＳ１０４では、処理部３は、ステップＳ１０２で得た物体４の位置および姿勢に基づいて第２シルエット画像（第２特徴データ）を得る。図５および図６は、第２シルエット画像を得る方法を段階的に説明した図である。図５に示すように、処理部３は、まず、ステップＳ１０２で求めた物体４の位置および姿勢に基づいて、予め形状が既知の、たとえば、物体αおよび物体βの三次元モデルを三次元空間上に配置する。これは、ステップＳ１０２で得たすべての物体４に対して行われる。続いて、処理部３は、図６に示すように、図５の三次元モデルを所定の二次元平面（撮像部の撮像面）に射影して得た画像に対して第１シルエット画像と同様の処理（二値化処理）を施して第２シルエット画像を得る。射影方法は、ピンホールカメラモデルに基づいたものとしうる。すなわち、事前に実施されたキャリブレーションにより得られている撮像部２の内部パラメータ（焦点距離、主点）と外部パラメータ（位置、姿勢）とを用いた射影方法である。なお、第２シルエット画像は、第１シルエット画像と同様に、物体４が占める領域を表す画像である。図５および図６では、計測装置が物体αおよび物体βをともに正確に計測できた場合を示したため、図５の画像における物体が占める領域と、図６のシルエット画像における物体が占める領域とは、近似している。

【0015】

ステップＳ１０５では、処理部３は、第１シルエット画像と第２シルエット画像との一致度を得る。図７は、シルエット画像の面積を比較することにより一致度を得る方法を示す図である。処理部３は、第１のシルエット画像において物体４が占める領域の面積Ａを得る。また、第１シルエット画像において物体４が占める領域と第２シルエット画像において物体４が占める領域とが互いに重なる部分の面積Ｂ（比較結果）を得る。そして、面積Ａと面積Ｂとの比率（Ｂ／Ａ）に基づいて一致度を得る。なお、処理部３は、第１シルエット画像における物体４の輪郭の長さ（ａ）と、第２シルエット画像における物体４の輪郭の長さ（ｂ）との比率（ｂ／ａ）に基づいて一致度を得てもよい。それに限らず、比較（一致度）のための基準は、種々のものとし得る。

【0016】

ステップＳ１０６では、処理部３は、ステップＳ１０５で得た一致度に基づいて未計測物体があるかを判断する。図８（Ａ）および（Ｂ）は、その判断方法を説明する図である。図８（Ａ）に示すように、処理部３は、ステップＳ１０５で求めた一致度が予め設定された閾値よりも小さい場合には、未計測物体があると判断する。一方、図８（Ｂ）に示すように、処理部３は、ステップＳ１０５で求めた一致度が予め設定された閾値を超える場合には、未計測物体がないと判断する。なお、ステップＳ１０１〜Ｓ１０６は、撮像により得られた画像において一体に認識される物体４のグループごとに行われる。たとえば、図９に示す画像の場合では、３つの物体群（グループ）のそれぞれに関して行われる。

【0017】

以上のように、本実施形態の計測装置は、パターン光を用いず均一光だけを用いることで未計測物体があるか判断を行うことができる。本実施形態によれば、重なり合った物体の認識の評価に有利な計測装置を提供することができる。

【0018】

（第２実施形態）
次に、本発明の第２実施形態に係る計測装置について説明する。上記の第１実施形態では、未計測物体があるかを判断するのに画像の２値化処理を行った。これに対して、本実施形態では、撮像して得られた画像から得たエッジ画像を利用する点を特徴とする。

【0019】

図１０は、本実施形態に係る未計測物体があるかの判断の流れを示すフローチャートである。ステップＳ２０１およびＳ２０２は、第１実施形態におけるステップＳ１０１およびＳ１０２と同じであり、説明を省略する。ステップＳ２０３では、処理部３は、ステップＳ２０２で取得したエッジ画像から第１特徴画像（第１特徴データ）を得る。第１特徴画像は、例えば、図１１（Ａ）に示すエッジ画像を２値化処理（エッジが占める領域を１、その他領域を０とする）して第１特徴画像を得る（図１１（Ｂ））。

【0020】

ステップＳ２０４では、処理部３は、ステップＳ２０２で得た物体４の位置および姿勢の計測結果から第２特徴画像（第２特徴データ）を得る。その方法は、まず、ステップＳ２０２で得た物体４の位置および姿勢に基づいて、予め形状が既知の、たとえば、物体αおよび物体βの三次元形状モデルを三次元空間上に配置する。続いて、処理部３は、上記の三次元形状モデルにおけるエッジ相当部分を二次元平面（画像平面）に射影して、第２特徴画像を得る。

【0021】

ステップＳ２０５では、処理部３は、第１特徴画像と第２特徴画像との一致度を得る。図１２は、各特徴画像のエッジの長さ（総延長）を比較することにより一致度を得る方法を示す図である。処理部３は、第１特徴画像のエッジの長さＣと、第１特徴画像のエッジと第２特徴画像のエッジとの共通部分の長さＤとを得る。そして、長さＣと長さＤとの比率（Ｄ／Ｃ）に基づいて一致度を得る。なお、処理部３は、エッジのうちの少なくとも一部（例えば、輪郭部分）の位置、長さおよび数の比較により一致度を得てもよい。また、エッジのうちの少なくとも一部は、物体の輪郭、エッジが構成する線分、エッジの交点を含み、これらに基づいて一致度を得てもよい。

【0022】

ステップＳ２０６では、処理部３は、ステップＳ２０５で得た一致度に基づいて未計測物体があるか判断を行う。当該判断方法は、ステップＳ１０６と同様としうる。本実施形態の計測装置も第１実施形態と同様の効果を奏する。

【0023】

なお、上記実施形態では、計測光として均一光を用いたが、その光量分布が既知の非均一光を用いてもよい。また、物体の形状はすべて同一であっても、互いに異なっていてもよい。

【0024】

（物品製造方法に係る実施形態）
以上に説明した実施形態に係る計測装置は、物品製造方法に使用しうる。当該物品製造方法は、当該計測装置を用いて物体の計測（物体の領域の認識）を行う工程と、当該工程で計測（認識）を行われた物体の処理を行う工程と、を含みうる。当該処理は、例えば、加工、切断、搬送、組立（組付）、検査、および選別のうちの少なくともいずれか一つを含みうる。本実施形態の物品製造方法は、従来の方法に比べて、物品の性能・品質・生産性・生産コストのうちの少なくとも１つにおいて有利である。

【0025】

（その他の実施形態）
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

【符号の説明】

【0026】

１ 照明部
２ 撮像部
３ 処理部
４ 物体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】