特許 6555071 物体の位置認識方法および物体搬送方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6555071

(24)【登録日】2019年7月19日

(45)【発行日】2019年8月7日

(54)【発明の名称】物体の位置認識方法および物体搬送方法

(51)【国際特許分類】

   G01B 11/00 20060101AFI20190729BHJP

   G06T 7/60 20170101ALI20190729BHJP

【ＦＩ】

   G01B11/00 H

   G06T7/60 180D

【請求項の数】3

【全頁数】11

(21)【出願番号】特願2015-204775(P2015-204775)

(22)【出願日】2015年10月16日

(65)【公開番号】特開2017-75915(P2017-75915A)

(43)【公開日】2017年4月20日

【審査請求日】2018年6月14日

(73)【特許権者】

【識別番号】000232243

【氏名又は名称】日本電気硝子株式会社

(74)【代理人】

【識別番号】100080621

【弁理士】

【氏名又は名称】矢野 寿一郎

(74)【代理人】

【識別番号】100162020

【弁理士】

【氏名又は名称】岩本 泰雄

(72)【発明者】

【氏名】林 善史

【審査官】 川村 大輔

(56)【参考文献】

【文献】 特開平０２−１８９６９１（ＪＰ，Ａ）

【文献】 特開２０１３−１０９６９２（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１４／０１６１３４４（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００ − １１／３０

Ｇ０６Ｔ １／００ − １／４０

Ｇ０６Ｔ ３／００ − ９／４０

Ｇ０６Ｔ １１／６０ − １３／８０

Ｇ０６Ｔ １７／０５

Ｇ０６Ｔ １９／００ − １９／２０

Ｈ０４Ｎ ５／２２２ − ５／２５７

(57)【特許請求の範囲】

【請求項1】

各々同等の形状および寸法で構成され重なり合った複数の物体の中から最上位に位置する物体を認識する、物体の位置認識方法であって、
前記複数の物体に、斜め上方より照明光を照射して、
前記複数の物体の画像データを取得して前記複数の物体の輪郭線を求める第一の工程と、
前記複数の物体の陰影および前記輪郭線が求められた前記画像データに対して二値化処理を実行する第二の工程と、
前記陰影および前記輪郭線によって閉塞された領域を判別する第三の工程と、
前記領域内において最大径の仮想内接円を形成する第四の工程と、
前記物体の大きさを超える仮想内接円を除いた他の仮想内接円のうち、内径寸法が前記物体の内径寸法と同等の他の仮想内接円の中心の位置をもって、最上位に位置する物体の位置と認識する第五の工程と、
により構成される、
ことを特徴とする物体の位置認識方法。

【請求項2】

前記物体は、円盤形状の部材からなる、
ことを特徴とする、請求項１に記載の物体の位置認識方法。

【請求項3】

請求項１または請求項２に記載の物体の位置認識方法により認識された、最上位に位置する物体を、吸着パッドにより吸着して保持し、
前記複数の物体からなる物体群の外部へと搬出する、
ことを特徴とする物体搬送方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体の位置認識方法の技術に関し、より詳しくは、重なり合った複数の物体である検出対象物の中から最上位に位置する検出対象物を速やかに、且つ正確に見出すことが可能な物体の位置認識方法の技術に関する。

【背景技術】

【0002】

従来から、互いに重なり合った複数の検出対象物（以下、適宜「検出対象物群」と記載する）の中から最上位に位置する検出対象物を見出すための、様々な技術が知られている。
例えば、「特許文献１」においては、画像情報における画像の濃度分布に基づいて、互いに重なり合った検出対象物群の中から各検出対象物の上下方向の位置関係を判断する技術が開示されている。
また、「特許文献２」においては、検出対象物群の輪郭上に所定の検出図形（検出円）の中心を走らせ、当該検出円と、検出対象物群の輪郭との交点の個数に基づき、重なり合っている検出対象物の個数が１つ以上であるのか否かを判断する技術が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平８−２７１２２３号公報

【特許文献2】特開平１１−１１４８６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、前記「特許文献１」による技術においては、例えば互いに重なり合う検出対象物間での重なり箇所の濃淡差が微小な場合、これらの検出対象物の上下方向の位置関係を判断するのが困難な場合があった。
また、前記「特許文献２」においては、互いに重なり合った検出対象物群において、ある検出対象物に重なり合う、任意の検出対象物の個数を把握することは可能であるが、各々の検出対象物の上下方向の位置関係まで判断することは困難であった。

【0005】

本発明は、以上に示した現状の問題点を鑑みてなされたものであり、重なり合った複数の物体である検出対象物の中から最上位に位置する検出対象物を速やかに、且つ正確に見出すことが可能な物体の位置認識方法を提供することを課題とする。

【課題を解決するための手段】

【0006】

本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段を説明する。

【0007】

即ち、本発明に係る物体の位置認識方法は、重なり合った複数の物体の中から最上位に位置する物体を認識する、物体の位置認識方法であって、前記複数の物体に、斜め上方より照明光を照射して、前記複数の物体の画像データを取得して前記複数の物体の輪郭線を求める第一の工程と、前記複数の物体の陰影および前記輪郭線が求められた前記画像データに対して二値化処理を実行する第二の工程と、前記陰影および前記輪郭線によって閉塞された領域を判別する第三の工程と、前記領域内において最大径の仮想内接円を形成する第四の工程と、前記物体の大きさを超える仮想内接円を除いた他の仮想内接円の中心の位置をもって、最上位に位置する物体の位置と認識する第五の工程と、により構成されることを特徴とする。

【0008】

このように、本発明においては、複数の物体に対して斜め上方より照明光Ｌを照射することとしており、当該複数の物体（検出対象物）の周囲に影を形成し易いことから、前述した「特許文献１」による技術のように、互いに重なり合う物体間での重なり箇所の濃淡差が微小となることが少なく、前記複数の物体の輪郭線をより明確に認識することができ、最上位に位置する物体の探索を、より正確に行うことができる。
また、本発明における物体の位置認識方法によれば、前述した「特許文献２」による技術のように、ある物体（検出対象物）に重なり合う、任意の物体の個数を把握するのではなく、第一乃至第五の工程に基づき、重なり合った複数の物体の中から最上位に位置する物体を認識することができる。

【0009】

また、本発明に係る物体の位置認識方法において、前記物体は、円盤形状の部材からなることが好ましい。

【0010】

このような構成からなる物体の位置認識方法によれば、前記第四の工程において形成される仮想内接円の形状を、物体（検出対象物）の形状と同等に設定することができることから、前記第一乃至第五の工程を実行するための演算プログラムの単純化を図ることができ経済的である。

【発明の効果】

【0011】

本発明の効果として、以下に示すような効果を奏する。
即ち、本発明に係る物体の位置認識方法によれば、重なり合った複数の検出対象物の中から最上位に位置する検出対象物を速やかに、且つ正確に見出すことが可能となる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態に係る物体の位置認識装置の全体的な構成を示した概念図。

【図2】照明手段の配置姿勢を示した側面図。

【図3】物体の位置認識を実行する際の手順を経時的に示したフローチャート。

【図4】検出対象物群の画像データの内容を示した図であって、当該検出対象物群の輪郭線の形成処理を行った状態を示した模式図。

【図5】検出対象物群の画像データの内容を示した図であって、当該検出対象物群の二値化処理を行った状態を示した模式図。

【図6】検出対象物群の画像データの内容を示した図であって、当該検出対象物群の領域の判別処理を行った状態を示した模式図。

【図7】検出対象物群の画像データの内容を示した図であって、当該検出対象物群の領域毎に所定の仮想内接円を想定した状態を示した模式図。

【図8】検出対象物群の画像データの内容を示した図であって、当該検出対象物群の領域毎に最上位に位置する検出対象物を認識した状態を示した模式図。

【発明を実施するための形態】

【0013】

次に、発明の実施の形態を説明する。

【0014】

［位置認識装置１］
先ず、本発明に係る物体の位置認識方法の実施に用いられる位置認識装置１の全体構成について、図１および図２を用いて説明する。

【0015】

本実施形態における位置認識装置１は、互いに重なり合った複数の検出対象物Ｔｇ・Ｔｇ・・・（検出対象物群Ｔ）の中から最上位に位置する検出対象物Ｔｇを探索して見出すための装置であって、図１に示すように、検出対象物群Ｔに対して斜上方より照明光Ｌを照射し、当該検出対象物群Ｔの輪郭を検出して演算処理を実行することにより、最上位に位置する検出対象物Ｔｇを速やかに且つ正確に見出すことを可能とする装置である。

【0016】

ここで、検出対象物Ｔｇは板状部材からなり、本実施形態においては、例えば円盤形状のものを想定しているが、これに限定されるものではない。
即ち、検出対象物Ｔｇは、三角形状や四角形状等の多角形状の板状部材であってもよい。

【0017】

但し、後述するように、最上位に位置する検出対象物Ｔｇの探索に用いられる、プログラム上の仮想内接円の形状を、検出対象物Ｔｇの形状と同等に設定することができることから、検出対象物Ｔｇは、演算プログラムの単純化を図る上でも、円盤形状であることが好ましい。

【0018】

また、互いに重なり合った、これら複数の検出対象物Ｔｇ・Ｔｇ・・・は、各々同等の形状にて構成されている。
具体的には、各検出対象物Ｔｇは、例えば、直径８［ｍｍ］、厚み０．３［ｍｍ］からなる円盤部材によって構成される。

【0019】

位置認識装置１は、主に、撮像手段１０、照明手段２０、およびピッキング手段３０や、位置認識装置１全体の運転を制御する制御装置４０などにより構成される。

【0020】

撮像手段１０は、検出対象物Ｔｇを撮像するためのものであり、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を備えてなるエリアカメラやラインスキャンカメラ等を用いることができる。
また、撮像手段１０は、高解像度の画像データを効率的に取得する機能を有する。

【0021】

そして、図２に示すように、撮像手段１０は、位置認識装置１に投入された検出対象物群Ｔに対して、直上より撮像可能に配設される。

【0022】

なお、撮像手段１０によって取得された画像データは、制御装置４０に送られ、格納された演算プログラムに基づき画像処理される。

【0023】

次に、照明手段２０について説明する。
照明手段２０は、撮像手段１０によって撮像される被写体（検出対象物群Ｔ）に対して、照明光Ｌを照射するためのものである。
照明手段２０は、例えば、検出対象物群Ｔからなる被写体に対して、任意の角度をもって照射光Ｌを照射することができる直射式のバー照明などによって構成される。

【0024】

なお、直射式のリング照明によって照明手段２０を構成した場合は、検出対象物群Ｔに対して全周にわたって斜上方から照明光が照射されて、検出対象物群Ｔの周囲に影が形成され難くなるため、適切ではない。

【0025】

そして、照射手段２０・２０は、一台の位置認識装置１に対して複数基（例えば、本実施形態においては二基）備えられ、それぞれ斜め上方より検出対象物群Ｔに対して照明光Ｌを照射するようにして配置される。

【0026】

このように、本実施形態においては、被写体である検出対象物群Ｔに対して、斜め上方より照明光Ｌを照射することとしており、当該検出対象物群Ｔの周囲に影を形成し易く、当該検出対象物群Ｔの輪郭線が一層際立つようになっている。
そのため、検出対象物群Ｔの輪郭線をより明確に認識することができ、後述する演算プログラムによって最上位に位置する検出対象物Ｔｇの探索を、より正確に行うことができる。

【0027】

なお、仮想垂直線Ｖに対する各々の照明手段２０のなす傾斜角度θが３０°未満である場合（θ＜３０°）、検出対象物群Ｔの周囲に形成される影の幅が比較的短くなり、認識しづらくなる。
一方、仮想垂直線Ｖに対する各々の照明手段２０のなす傾斜角度θが７０°を超える場合（θ＞７０°）、検出対象物群Ｔの周囲に形成される影の幅が長くなりすぎて、認識しづらくなる。
これらのことから、仮想垂直線Ｖに対する各々の照明手段２０のなす傾斜角度θは、３０°以上、且つ７０°以下（３０°≦θ≦７０°）であることが望ましい。

【0028】

また、照明手段２０・２０・・・の基数については、検出対象物群Ｔの周囲の全方向において影が形成されるように、二基以上備えることが好ましい。

【0029】

次に、ピッキング手段３０について説明する。
ピッキング手段３０は、図１に示すように、検出対象物群Ｔより最上位に位置する検出対象物Ｔｇを取出するためのものである。
ピッキング手段３０は、例えば、吸着パッド等により構成され、任意の方向に移動する移動機構部（図示せず）が備えられている。

【0030】

そして、ピッキング手段３０は、選択された検出対象物Ｔｇを吸着して保持し、その後、図示せぬ移動機構部を介して、当該検出対象物Ｔｇを検出対象物群Ｔの外部へと搬出する。

【0031】

次に、制御装置４０について説明する。
制御装置４０は記憶部や演算部を備え、当該記憶部には、撮像手段１０、およびピッキング手段３０などの運転に関するプログラムとともに、撮像手段１０によって撮像された画像データを処理し、検出対象物群Ｔにおける最上位に位置する検出対象物を見出すためのプログラムが予め格納されている。

【0032】

また、制御装置４０には、例えばキーボードやバーコードリーダー等の入力手段が備えられるとともに、モニター等による出力手段が備えられている。

【0033】

そして、制御装置４０は、位置認識装置１全体の運転を制御するように構成されている。

【0034】

［位置認識装置１の動作手順］
次に、位置認識装置１の動作手順について、図３乃至図８を用いて説明する。
先ず始めに、位置認識装置１における所定の場所に、検出対象物群Ｔ（図１を参照）が投入される。

【0035】

この際、検出対象物群Ｔにおいては、複数の検出対象物Ｔｇ・Ｔｇ・・・が、互いに重なり合って盛られた状態となっている。
また、検出対象物群Ｔには、照明手段２０によって斜め上方より照明光Ｌが照射されており、当該検出対象物群Ｔは、周囲に形成される影によって、よりはっきりと輪郭線を浮き出させた状態にて保持される。

【0036】

そして、投入された検出対象物群Ｔは、撮像手段１０によって直上より撮像され、取得した撮像画像の画像データは、制御装置４０へと送られる。

【0037】

画像データを受け取った制御装置４０は、予め格納されたプログラムに基づき、当該画像データに対して画像処理を実行し、検出対象物群Ｔにおける最上位に位置する検出対象物Ｔｇの探索作業を開始する。
具体的には図３に示すように、第一の工程として、画像データの濃淡に基づき検出対象物群Ｔの輪郭線を抽出して求める抽出処理を実行する（ステップＳ０１）。

【0038】

その結果、撮像手段１０によって撮像された画像データは、図４に示すように、検出対象物群Ｔの輪郭線１０１（実線にて表示）を有する第一の画像データ１００へと処理される。

【0039】

輪郭線の抽出処理を終了すると、図３に示すように、第二の工程として、検出対象物群Ｔの輪郭線１０１が求められた第一の画像データ１００に対して二値化処理を実行する（ステップＳ０２）。

【0040】

その結果、第一の画像データ１００は、図５に示すように、検出対象物群Ｔの輪郭線２０１、および複数の陰影２０２・２０２・・・のみを単一色で表示した第二の画像データ２００へと処理される。

【0041】

検出対象物群Ｔの二値化処理を終了すると、図３に示すように、第三の工程として、第二の画像データ２００に対して検出対象物群Ｔにおける領域の判別処理を実行する（ステップＳ０３）。

【0042】

その結果、第二の画像データ２００は、輪郭線２０１および陰影２０２によって閉塞された領域ごとに区分けされ、図６に示すように、例えば、検出対象物群Ｔの輪郭線３０１の外側の領域Ａ１、および輪郭線３０１の内側の領域Ａ２と領域Ａ３からなる第三の画像データ３００へと処理される。

【0043】

検出対象物群Ｔにおける領域の判別処理を終了すると、図３に示すように、第四の工程として、判別されたこれらの領域Ａ１・Ａ２・Ａ３において、当該領域Ａ１・Ａ２・Ａ３に各々内接する最大の仮想内接円の作成処理を実行する（ステップＳ０４）。

【0044】

ここで、「仮想内接円」としては、検出対象物Ｔｇと同等の形状からなる円形状の仮想図形がプログラム上設定されている。

【0045】

その結果、第三の画像データ３００は、図７に示すように、例えば、領域Ａ１、Ａ２、Ａ３内において各々内接する、内径寸法の異なる仮想内接円Ｄ１、Ｄ２、Ｄ３を有した第四の画像データ４００へと処理される。

【0046】

仮想内接円Ｄ１、Ｄ２、Ｄ３の作成処理を終了すると、図３に示すように、第五の工程として、これらの仮想内接円Ｄ１、Ｄ２、Ｄ３を用いて、検出対象物群Ｔにおける所望の検出対象物Ｔｇ、即ち、最上位に位置する検出対象物Ｔｇの選択処理を実行する（ステップＳ０５）。

【0047】

具体的には、例えば、これらの仮想内接円Ｄ１、Ｄ２、Ｄ３のうち、内径寸法が検出対象物Ｔｇの内径寸法と同等のものを選択し、選択された仮想内接円（例えば、本実施形態においては、仮想内接円Ｄ２、Ｄ３）の中心Ｇの位置をもって、所望の検出対象物Ｔｇの位置と認識することとしている。
つまり、検出対象物Ｔｇの大きさを超える仮想内接円Ｄ１を除いた他の仮想内接円Ｄ２、Ｄ３の中心Ｇの位置をもって、最上位に位置する検出対象物Ｔｇの位置と認識する。

【0048】

その結果、第四の画像データ４００は、図８に示すように、仮想内接円Ｄ２、Ｄ３によって、最上位に位置する検出対象物Ｔｇ２、Ｔｇ３が示された、第五の画像データ５００へと処理される。

【0049】

こうして、位置認識装置１に投入された検出対象物群Ｔの中から、最上位に位置する検出対象物Ｔｇを見出すと、制御装置４０は、探索作業をひとまず終了する。

【0050】

その後、制御装置４０は、ピッキング手段３０に対して動作信号を送信し、当該動作信号を受信したピッキング手段３０は、第五の画像データ５００において仮想内接円Ｄ２、Ｄ３によって示された、検出対象物Ｔｇ２、Ｔｇ３を支持して、所定の場所へと搬出する。

【0051】

ピッキング手段３０による検出対象物Ｔｇ２、Ｔｇ３の搬出が終了すると、制御装置４０は、再び、前述したステップＳ０１〜Ｓ０５を繰り返し、新たに最上位に位置することとなった検出対象物Ｔｇの探索作業を実行する。

【0052】

その後、制御装置４０は、ピッキング手段３０に対して再び動作信号を送信し、当該動作信号を受信したピッキング手段３０は、新たに見出された検出対象物Ｔｇを支持して、所定の場所へと搬出する。

【0053】

以上のように、制御装置４０による最上位に位置する検出対象物Ｔｇの探索作業、およびピッキング手段３０による検出対象物Ｔｇの搬出作業が、互いに交互に繰り返し実行され、位置認識装置１に投入された検出対象物群Ｔの全てがピッキング手段３０によって搬出されることにより、位置認識装置１の運転動作が終了する。

【0054】

なお、本実施形態においては、ステップＳ０４において複数の仮想内接円Ｄ１、Ｄ２、Ｄ３を作成した後に、ステップＳ０５において最上位に位置する検出対象物Ｔｇの選択処理を実行するように構成しているが、ステップＳ０４において一つの仮想内接円を作成した後に、ステップＳ０５において最上位に位置する検出対象物Ｔｇの選択処理を実行するように構成することもできる。

【0055】

例えば、仮想内接円Ｄ１を作成した後に（ステップＳ０４）、仮想内接円Ｄ１が最上位に位置する検出対象物Ｔｇであるか否かの選択を行い（ステップＳ０５）、仮想内接円Ｄ１が最上位に位置する検出対象物Ｔｇでなければ、再度ステップＳ０４を実行して仮想内接円Ｄ２を形成し、仮想内接円Ｄ２が最上位に位置する検出対象物Ｔｇであるか否かの選択を行う（ステップＳ０５）。

【0056】

仮想内接円Ｄ２を最上位に位置する検出対象物Ｔｇとして選択した場合、選択した仮想内接円Ｄ２の中心Ｇの位置をもって、所望の検出対象物Ｔｇの位置と認識して、探索作業をひとまず終了するように構成することもできる。
つまり、最上位に位置する検出対象物Ｔｇが一つ選択された時点で、探索作業をひとまず終了するように構成することもできる。
この場合は、その後、仮想内接円Ｄ２によって示された場所の検出対象物Ｔｇ２がピッキング手段３０により搬出され、再度ステップＳ０１〜Ｓ０５を繰り返して、最上位に位置する検出対象物Ｔｇの探索作業が再度実行される。

【符号の説明】

【0057】

１００ 第一の画像データ
１０１ 輪郭線
２０１ 輪郭線
２０２ 陰影
Ａ１ 領域
Ａ２ 領域
Ａ３ 領域
Ｄ１ 仮想内接円
Ｄ２ 仮想内接円
Ｄ３ 仮想内接円
Ｌ 照明光
Ｓ０１ ステップ（第一の工程）
Ｓ０２ ステップ（第二の工程）
Ｓ０３ ステップ（第三の工程）
Ｓ０４ ステップ（第四の工程）
Ｓ０５ ステップ（第五の工程）
Ｔｇ 検出対象物（物体）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】