特許 6275622 走行面上の複数の製品の位置と三次元的な形状を非接触で検出する方法およびスキャナ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6275622

(24)【登録日】2018年1月19日

(45)【発行日】2018年2月7日

(54)【発明の名称】走行面上の複数の製品の位置と三次元的な形状を非接触で検出する方法およびスキャナ

(51)【国際特許分類】

   G01B 11/25 20060101AFI20180129BHJP

【ＦＩ】

   G01B11/25 H

【請求項の数】21

【全頁数】16

(21)【出願番号】特願2014-217307(P2014-217307)

(22)【出願日】2014年10月24日

(65)【公開番号】特開2015-83975(P2015-83975A)

(43)【公開日】2015年4月30日

【審査請求日】2016年11月14日

(31)【優先権主張番号】10 2013 111 761.9

(32)【優先日】2013年10月25日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】597128680

【氏名又は名称】ゲルハルト シューベルト ゲーエムベーハー

【氏名又は名称原語表記】Ｇｅｒｈａｒｄ Ｓｃｈｕｂｅｒｔ ＧｍｂＨ

(74)【代理人】

【識別番号】110001416

【氏名又は名称】特許業務法人 信栄特許事務所

(72)【発明者】

【氏名】シナー カール−ルードヴィヒ

(72)【発明者】

【氏名】ナスラオウイ アブデルマレク

【審査官】 櫻井 仁

(56)【参考文献】

【文献】 特開２０１０−２４３２９６（ＪＰ，Ａ）

【文献】 特開２０１２−０５８２２６（ＪＰ，Ａ）

【文献】 特開２０１２−０５３０１５（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１１／００７５１５６（ＵＳ，Ａ１）

【文献】 特開平０５−２４０６１７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｂ １１／００−１１／３０

(57)【特許請求の範囲】

【請求項1】

長手方向（１０、Ｘ）に延びる表面（１）上の製品（Ｐ１、Ｐ２）の位置と三次元形状を非接触で特定する方法であって、
前記製品（Ｐ１、Ｐ２）とともに前記表面（１）を横切る方向に沿って、少なくとも一部が一義的にコード化され、かつ光学的に走査可能なマーキング（２．１、２．２、２．３）を含むパターン（２）を少なくとも一時的に照射する工程と、
前記マーキング（２．１、２．２、２．３）を横切るように延びる撮像ライン（３）、および当該撮像ライン（３）上に位置する当該マーキング（２．１、２．２、２．３）の端縁の実際位置（ＳＰ１、ＳＰ２）を、ラインカメラ（Ｋ）で撮像する工程と、
既知であるライン方向（１２、Ｙ）における前記端縁の目標位置（ＳＰ１’、ＳＰ２）からの前記実際位置（ＳＰ１、ＳＰ２）の当該ライン方向（１２、Ｙ）へのずれ量（Ｖ１、Ｖ２）を特定するとともに、高さ値（ｈ２、ｈ３）に変換する工程と、
撮像ライン（３）の位置における前記高さ値（ｈ２、ｈ３）に基づいて、当該撮像ライン（３）の高さ変化を特定する工程と、
前記表面（１）が前記マーキング（２．１、２．２、２．３）と前記撮像ライン（３）に対して前記長手方向（１０、Ｘ）に相対移動した後、先行する一連の工程を繰り返す工程と、
前記撮像ライン（３）の高さ変化を隙間なく繋げ、前記表面（１）と当該表面（１）上に載置された前記製品（Ｐ１、Ｐ２）の三次元的高さ変化を生成する工程と、
を備えている、方法。

【請求項2】

前記マーキング（２．１、２．２、２．３）は、隙間（６）を挟んで配列する複数のストリップ（５）を含んでおり、
前記複数のストリップ（５）は、互いに平行に延びている、
請求項１に記載の方法。

【請求項3】

前記撮像ライン（３）は、前記複数のストリップ（５）の延びる向き（１０、Ｘ）に直交して延びている、
請求項２に記載の方法。

【請求項4】

前記ラインカメラ（Ｋ）の観察方向（１１、Ｚ）は、前記表面（１）に対して垂直である、
請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記マーキングは、複数のマーキング（２．１、２．２、２．３）を含んでおり、
前記複数のマーキング（２．１、２．２、２．３）の各々について、前記撮像ライン（３）上に位置する端縁の実際位置（ＳＰ１、ＳＰ２）が撮像される、
請求項１から４のいずれか一項に記載の方法。

【請求項6】

前記パターン（２）は、所定数のマーキング（２．１、２．２、２．３）を含むように最小区間（４）を一義的に特定可能とされており、
前記パターン（２）は、ランダムに選択可能な複数の最小区間（４）を含んでおり、
第一の最小区間（４）から第二の最小区間（４）へ遷移する箇所は、当該第一の最小区間（４）におけるいずれの箇所とも異なるコード化がなされている、
請求項１から５のいずれか一項に記載の方法。

【請求項7】

前記パターン（２）は、それぞれ前記ライン方向（１２、Ｙ）に延びる複数の部分（７．１、７．２、７．３）を含んでおり、
前記複数の部分（７．１、７．２、７．３）の各々においては、前記マーキング（２．１、２．２、２．３）の色は同一であり、
前記複数の部分（７．１、７．２、７．３）のうち隣接する２つの部分については、前記マーキング（２．１、２．２、２．３）の色が相違している、
請求項１から６のいずれか一項に記載の方法。

【請求項8】

前記複数の最小区間（４）は、前記複数の部分（７．１、７．２、７．３）の各々において前記ライン方向（１２、Ｙ）に並んでいる、
請求項７に記載の方法。

【請求項9】

前記パターン（２）は、複数のプロジェクタまたはビーム照射器（Ｂ）により形成されており、
前記複数のプロジェクタまたはビーム照射器（Ｂ）の各々は、前記複数の部分（７．１、７．２、７．３）の対応する１つを形成している、
請求項７または８に記載の方法。

【請求項10】

前記パターン（２）は、最も大きい高さ寸法を有する被検出製品（Ｐ１、Ｐ２）の表面に投射される前記複数の部分（７．１、７．２、７．３）のうち隣接する２つが当該表面において接するか重なり合うように照射される、
請求項９に記載の方法。

【請求項11】

前記ラインカメラ（Ｋ）は、前記ライン方向（１２、Ｙ）に配列された複数のラインカメラ（Ｋ１、Ｋ２、Ｋ３）を含んでおり、
前記複数のラインカメラ（Ｋ１、Ｋ２、Ｋ３）の各々は、前記複数のプロジェクタまたはビーム照射器（Ｂ）のうち隣接する２つの前記ライン方向（１２、Ｙ）における中間に配置されており、
前記複数のラインカメラ（Ｋ１、Ｋ２、Ｋ３）の各々の撮像領域は、最も大きい高さ寸法を有する被検出製品（Ｐ１、Ｐ２）の表面において、前記複数のラインカメラの１つ（Ｋ１）の撮像領域と、当該ラインカメラ（Ｋ１）の２つ隣に配置されているラインカメラ（Ｋ３）の撮像領域が接するか重なり合うように定められている、
請求項９または１０に記載の方法。

【請求項12】

前記ラインカメラ（Ｋ）は、少なくとも前記隣接する２つの部分（７．１、７．２）における前記マーキング（２．１、２．２、２．３）の相違する２色を検出可能とされている、
請求項７から１１のいずれか一項に記載の方法。

【請求項13】

前記複数の部分（７．１，７．２，７．３）の各々についてカメラ信号を処理する際には、当該部分の色を有する画像が処理され、他の色を有する画像は破棄されるか別処理に用いられる、
請求項７から１２のいずれか一項に記載の方法。

【請求項14】

前記ラインカメラ（Ｋ）は、前記撮像ライン（３）の原色画像および当該撮像ライン（３）に沿う前記パターン（２）の画像を生成するために、切替方式で順次使用される複数のラインカメラ（Ｋ１、Ｋ２）を含んでおり、
前記マーキング（２．１、２．２、２．３）および前記撮像ライン（３）に対する前記表面（１）の移動速度は、前記原色画像が複数足し合わせられたものが前記表面（１）の完全にコヒーレントな色画像を提供し、前記撮像ライン（３）のストリップ画像が複数足し合わせられたものが前記表面（１）の連続したストリップ画像を提供するような撮像間隔に基づいて選択される、
請求項１から１３のいずれか一項に記載の方法。

【請求項15】

前記ストリップ画像と前記原色画像の少なくとも一方は、前記ライン方向（１２、Ｙ）に沿って延びるＬＥＤバー（８）のような混合光源の点灯下で繰り返され、
前記混合光源は、前記表面（１）に対して複数段階の追加的な照明を提供する、
請求項１４に記載の方法。

【請求項16】

前記複数のラインカメラの１つ（Ｋ１）が利用可能な結果を提供しない部分（７）または区間（４）は、隣接するラインカメラ（Ｋ２）による当該部分（７）または区間（４）が処理される、
請求項１４または１５に記載の方法。

【請求項17】

サンプル画像は、当該サンプル画像より得られるデータを向上させるために、パターンの照射なしに前記原色画像と比較される、
請求項１４から１６のいずれか一項に記載の方法。

【請求項18】

少なくとも１つのカメラ（Ｋ、Ｋ１、Ｋ２）からの前記ストリップ画像と前記原色画像に基づいて演算が行なわれ、テレセントリックな二次元画像が生成され、
前記テレセントリックな二次元画像は、前記表面（１）上の前記製品（Ｐ１、Ｐ２）について正確で歪のない位置および姿勢を反映する、
請求項１４から１７のいずれか一項に記載の方法。

【請求項19】

長手方向（１０、Ｘ）に延びる表面（１）上の製品（Ｐ１、Ｐ２）の位置と三次元形状を非接触で特定するスキャナであって、
プロジェクタまたはビーム照射器（Ｂ）を含み、少なくとも一部が一義的にコード化され、かつ光学的に走査可能なマーキング（２．１、２．２、２．３）を含むパターン（２）を、前記表面（１）を横切るように照射するように構成された投影装置と、
前記マーキング（２．１、２．２、２．３）を横切るように延びる撮像ライン（３）上に位置する当該マーキング（２．１、２．２、２．３）の端縁の実際位置（ＳＰ１、ＳＰ２）を特定するように構成されたラインカメラ（Ｋ、Ｋ１、Ｋ２）と、
既知であるライン方向（１２、Ｙ）における前記端縁の目標位置（ＳＰ１’、ＳＰ２）からの前記実際位置（ＳＰ１、ＳＰ２）の当該ライン方向（１２、Ｙ）へのずれ量（Ｖ１、Ｖ２）に基づいて、高さ方向（１１、Ｚ）における高さ値（ｈ２、ｈ３）を演算し、当該高さ値をＸ値およびＹ値とともに保存するように構成された処理部と、
を備えており、
前記投影装置と前記ラインカメラ（Ｋ、Ｋ１、Ｋ２）は、前記表面（１）に対して前記長手方向（１０、Ｘ）に相対変位可能である、
スキャナ。

【請求項20】

モニタを備えており、
前記モニタは、前記ラインカメラ（Ｋ、Ｋ１、Ｋ２）より順次出力された複数のライン画像が足し合わせられたサンプル表示を出力するように、あるいは、前記表面（１）の表面部分をその高さの関数として色スケールやグレースケールで表示するように構成されている、
請求項１９に記載のスキャナ。

【請求項21】

前記投影装置と前記ラインカメラは、ともに前記表面（１）の前記長手方向（１０、Ｘ）における異なる位置に配置された複数の投影装置と複数のラインカメラ（Ｋ、Ｋ１、Ｋ２）を含んでいる、
請求項１９または２０に記載のスキャナ。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、三次元的な形状を光学的に検出する方法に関する。

【背景技術】

【0002】

産業の多くの分野、特に包装技術においては、走行面（例えば搬送ベルト）上に不揃いに並べられた製品の位置（場合によっては高さも）が検出されねばならないという課題が存在する。また、平面視で円形でない製品の場合はその向きが、平面視で回転対称でない製品の場合はその幾何形状や表面の特徴が検出されねばならないという課題が存在する。これらを検出することで、搬送ベルトに沿って配置されたロボット（いわゆるピッカ）は、製品を正確に把持し、持ち上げ、例えば箱内に配置するように制御されうる。

【0003】

従来、上記の検出は入射光ラインスキャナによって行なわれていた。当該ラインスキャナは、走行面を横切るように延びており、テレセントリックに線状の像を撮影する。よって、当該ラインスキャナは、走行面に対して垂直に向けられている。撮影像は、処理ユニットにより順次並べられ、走行面の速度に応じた連続した１枚の像が生成される。製品は走行面と異なる色とされることにより、その位置が検出可能とされる。よって、搬送ベルトが汚れると、製品の位置を正確に検出するための製品と走行面の区別がつきにくくなる場合がある。

【0004】

しかしながら、この手法は、原則的に対象の高さ（すなわち厚さ）の特定には不向きであった。よって、製品の表面に光学的な観点から問題がある場合（光沢がある、鏡状である、走行面との色の差が少ない等）、上記の光学的検出では十分に位置を特定できない場合があった。特に、検出に供される面がアルミ箔や金属面のように反射性である場合、上記の光学的検出は不十分であった。

【0005】

この問題は、ビスケットのような平坦な製品や細長い棒状の製品が部分的に重なり合っている状況についてもあてはまる。

【0006】

よって、輪郭に着目すれば、１つの対象物のみならず、部分的に重なっている２つの対象物の検出が容易になる。しかし、両対象物のいずれが下側に位置しているのか、どちらの対象物が上に載っているのか、重なり合うことでどのくらいの高さになっているのかを常に検出できるわけではない。

【0007】

しかしながら、複数配置されたピッカによってひとかたまりの製品が上流側から順次崩されていく場合において、上記の情報は、下流側に位置するピッカにとって有意である。

【0008】

搬送ベルト上の製品の三次元的な形状を検出する手法は、周知である。

【0009】

立体視法においては、２つのカメラが異なる撮像角から撮像を行なう。そして、両画像におけるテクスチャ明度分布の検出がなされる。明度分布の一致に基づいて関連する箇所が特定される。当該箇所を重ねる（相関をとる）ことにより、視差に基づいて当該箇所の高さが容易に特定される。しかしながら、この手法が有効なのはテクスチャが得られる場合のみであり、他の領域においては、依然として高さは特定され得ない。

【0010】

ストリップ投影法においては、所定のストリップパターンが照射され、異なる撮像角から撮像がなされる。三角測量法は、当該ストリップパターンにおける空間内の各点の位置検出を容易にする。

【0011】

しかしながら、当該パターンは、その繰り返し構造ゆえにボケを伴う。大きな高さ範囲と高い解像度を両立するために、複数のパターンを続けて対象に投影し、走査がなされることが普通である。

【0012】

したがって、この方法は、対象が移動する場合には不向きである。

【0013】

また、この方法は、できるだけ暗い環境を必要とするため、ストリップの端縁が実際の対象物の端縁と区別されるとは限らない。

【0014】

陰影法においては、対象物が異なる光源により異なる方向から照明される。生じる陰影に基づき、複雑なアルゴリズム手法を通じて対象の高さが特定されうる。

【0015】

強くかつ精密に構成された表面は、この方法による検出はほぼ不可能であり、良好でない光学的な特性（例えば反射性）を有する表面の検出もほぼ不可能である。

【0016】

この方法が利用可能だったとしても、その複雑性ゆえに産業規模で用いられることはほとんどなく、天文学の研究のような場において用いられていた。

【発明の概要】

【発明が解決しようとする課題】

【0017】

したがって、本発明は、走行面上における複数の製品の位置および三次元的形状を検出する方法、および当該方法に適した装置を提供することを課題とする。

【課題を解決するための手段】

【0018】

この目的は、請求項１および１９に記載の特徴によって達成される。有利な実施形態は、従属請求項の記載より明らかである。

【0019】

上記の目的は、製品群が配置された領域の表面において最大限数の点の座標を以下のように特定する方法によって達成される。

【0020】

表面とスキャナの相対移動方向であるＸ方向については、位置は既知である。当該表面に対するラインカメラの位置は既知であるからである。例えば、当該表面の上方においてラインカメラが設置される位置は、Ｘ方向について既知であり、所定であり、一定である。全てのラインカメラがＸ方向について同一位置に設置されていることが好ましい。

【0021】

表面の長手方向を横切る向きであるＹ方向については、パターンに基づいて位置が特定される。パターンの少なくとも一部は、Ｙ方向について一義的にコード化されている。パターンは、所定の方向および位置に照射される。パターンは、表面をＹ方向に延びる撮像ラインに沿ってラインカメラなどによって撮像される。パターンにおける光学マーキングの端縁の位置（特に撮像ラインに沿う各光学マーキングの各端縁の位置）は、当該端縁が高さゼロとして定義される表面に投影されたとき、既知である。当該位置は、Ｙ方向における当該端縁の目標位置である。

【0022】

しかしながら、当該マーキングの端縁が製品上に投影されることにより、高さがゼロより大きくなると、当該端縁のＹ方向における実際の位置は、上記目標位置からずれる。このずれた位置は、Ｙ方向における実際位置として保存される。

【0023】

この実際位置におけるＺ方向の高さは、目標位置と実際位置のずれ量に基づいて特定される。特定は、既知であるカメラのＹ方向における位置、当該カメラのＺ方向における高さ、および一義的にコード化された各端縁に対する当該カメラの撮像角に基づいて、三角法によりなされる。

【0024】

よって、撮像ラインと光学マーキングの端縁の各交点における３つの空間座標Ｘ、Ｙ、Ｚが既知となる。

【0025】

これにより、撮像ラインに沿う高さ変化がまず生成されうる。相対移動中の所定の時点と撮像ライン上の画像を対応付けることにより、当該画像は、移動する面に沿う長手方向（Ｘ方向）における所定の位置と対応付けられうる。そして、各撮像ラインに沿う高さ変化に基づいて、載置された製品群を含む表面全体の三次元的な高さ変化が生成されうる。

【0026】

この三次元的な高さ変化に基づいて、表面上に配置された製品群の位置や向きのみならず、複数の製品が少なくとも部分的に重なり合っているかが明らかになる。

【0027】

隙間をあけて配列された（好ましくは互いに平行に延びる）複数のストリップが光学マーキングに用いられた場合、処理はとりわけ単純である。ストリップの間にある隙間も、ストリップ自体と同様に、その数、配置、順番、幅に係る光学的処理に使用されうる。

【0028】

よって、この手法の解像度あるいは精密度は、ストリップまたは隙間の最大幅に依存する。

【0029】

撮像ラインは、ストリップの延びる方向と直交する向きに延びていることが好ましい。処理を不必要に複雑にしないために、ストリップの延びる方向は、表面の長手方向および移動方向と一致していることが好ましい。

【0030】

同じ理由により、カメラの撮像方向（カメラが表面に向けられる方向）は、表面に対して垂直である。

【0031】

光学的に照射されるパターンの少なくとも一部は、一義的にコード化されている。すなわち、パターン全体が繰り返しのない１つの区間のみからなってもよく、各々が繰り返しのないパターンを有する複数の区間が並んでいてもよい。第一の区間から第二の区間へ遷移する箇所は、当該第一の区間におけるいずれの箇所とも異なるコード化がなされていることが好ましい。

【0032】

よって、パターン内におけるマーキングの位置を一義的に特定可能とするために撮像が必要とされるマーキングの数で定義される最小区間長が存在する。

【0033】

光学的に照射されるパターンは、それぞれ幅の異なる複数のストリップおよび隙間からなる（例えば３種の幅を有する７００本のストリップ）。パターンは、カメラの撮像範囲内において一義的である。パターンは、ストリップと隙間の組合せ（例えば３本の異なるストリップと３本の異なる隙間の組合せ）が左から右へ並ぶように構成されうる。この固有単位組合せ（６本のストリップと隙間の組合せ）が、パターン全体において一度だけ現れるように構成されている。

【0034】

よって、一区間の長さは、カメラにより一義的に特定されうる程度の大きさを有する必要がある。このとき、少なくとも１つのカメラの撮像領域内における当該区間の位置（例えば、当該区間を撮像する方向の傾斜角）に基づいて、どの区間が単独で処理に供されるのかが特定される。

【0035】

コード化されたパターンは、ライン方向に沿って複数の部分を含みうる。各部分においては、投影されるパターンの色は同一である。しかしながら、隣接する部分のパターンの色は相違している。パターンの色が相違する部分同士は、別のプロジェクタまたはビーム照射器により照射される。ライン方向に並んで配置された複数のプロジェクタまたはビーム照射器により照射がなされる方が、単一のプロジェクタまたはビーム照明器により照射がなされるよりも色の異なるパターンの投影を容易にできる。また、色に応じた異なる処理が実行されうる。

【0036】

すなわち、検出可能な最大高さ位置において、パターンの色が異なる隣接部分同士が接するように、もしくはわずかに重なるように配置がなされている。これにより、当該高さ位置よりも下方（特に表面の高さ位置）においては、異なる色のマーキング同士が必ず重なるようになる。

【0037】

照射されるマーキングが単一色である部分においては、一義的にコード化された区間が複数並ぶように構成されうる。

【0038】

照射領域が部分的に重なり合う複数のビーム照射器が、マーキングの色が交互に変化するようにパターンの複数の部分を照射する場合、ライン撮像は、ライン方向に配列された複数のラインカメラによって行なわれうる。各ラインカメラは、隣り合う２つのプロジェクタまたはビーム照射器の中間に配置される。検出可能な最大高さ位置において、あるラインカメラの撮像領域と２つ隣に位置するラインカメラの撮像領域同士が接するように、もしくはわずかに重なるように配置がなされている。

【0039】

よって、各カメラが、隣接するビーム照射器によりその撮像領域内に照射されるマーキングの２色を検出可能であり、かつ色の選択が可能である場合、各部分に対応するカメラ信号の処理時において、一方の色のパターン画像のみが使用されうる。このとき、別の色のパターン画像は、破棄または異なる使用に供されうる。

【0040】

複数の部分が一部重なり合うことにより、少なくとも一部が重複する情報が得られる。この情報は、処理結果の品質を向上する。

【0041】

また、複数のビーム照射器とカメラを交互に配列することにより、走査される表面の幅に応じたスキャナのモジュール構造化が容易になる。

【0042】

製品の表面だけでなく載置面の特性は、光学的特性（反射性であるなど）に係る問題を有しうる。よって、眩惑を伴わないカメラから各画像点について干渉のない画像情報を得るために、複数の点光源が使用されうる。

【0043】

透明箔の下に配置された製品についても同様である。これにより、透明箔に包装された製品の高さの特定が容易になる。

【0044】

さらに、ストリップカメラによる撮像は、面発光（特にＬＥＤバーなどの混合光源による混合光）を用いた追加的な照明の下でも遂行されうる。混合光の照射量は、徐々に変化させてもよい。これにより、撮像は複数段階の照明下で行なわれうる。

【0045】

表面が反射性であるか、およびどの程度反射性が強いかに応じて、同じ照明レベルでも画像の品質が上下するため、複数の入手可能な画像から最良の画質が選択される。光源バーに沿って複数の区間に分け、最良の照明レベルが選択されてもよい。個々の撮像の間のスキャナに対する表面の移動は、処理演算を通じて考慮される。処理部は、相対移動速度を把握している。

【0046】

パターンが投影された表面の画像に加えて、パターンが投影されていない表面における撮像ラインに沿ったモノクロまたはカラーの画像（いわゆる原画像）が、複数のカメラにより生成されうる。このとき、面発光（特にＬＥＤバーなどの混合光源による混合光）を用いた追加照明を行なう。

【0047】

通常は１本のラインストリップ画像を演算的に複数組み合わせることにより、表面全体にわたるストリップ画像が得られる。また、複数の原画像を演算的に組み合わせることにより、表面全体にわたるカラーまたはモノクロの画像が得られる。

【0048】

表面のストリップ画像群から特定された各処理点の三次元座標は、まず後続の機械（ピッカラインなど）に提供される。しかしながら、当該表面の原色画像、当該表面のストリップ画像、当該表面のグレースケールまたはカラースケール画像のいずれかを、操作者がモニタなどに生成してもよい。この場合、グレースケールの各々が特定の高さに関連付けられる。また、カラー画像の場合は、カラースケールの各々が特定の高さを示しうる。

【0049】

また、パターンの投影を伴う画像とパターンの投影を伴わない原画像のマッチングは、結果（パターン画像が用いられるデータ）の向上に繋がる。特に、凹凸のはっきりした製品が、撮像されたパターンと参照パターンの一義的な対応付けが困難となる程度に大きく投影パターンを変形させる場合に有用である。

【0050】

さらに、製品群の表面上における位置と向きについて、歪みのない二次元的な平面視画像が、複数のストリップ画像と複数の原画像、あるいは両者の組合せに基づいて、処理部における演算のみを通じて生成されうる。これらの画像は、それぞれ大きな撮像角で撮像される。そして、テレセントリックな平面視画像への変換演算が実行される。テレセントリックな平面視画像は、各点の上方から見た外観と正確に対応している。

【0051】

上記の目的は、投影装置が表面の上方を横切るように（好ましくは、移動方向と直交する向きに）配置された装置によって達成される。投影装置は、表面を横切るパターンを照射するように構成されている。パターンの少なくとも一部は、一義的にコード化されている。パターンは、光学的に操作可能な複数のマーキングからなる。投影装置は、所定の位置に配置された少なくとも１つのビーム照射装置またはプロジェクタを含んでいる。複数のビーム照射装置またはプロジェクタを含む場合、これらは、ライン方向について異なる位置に配置される。

【0052】

さらに、少なくとも１つのラインカメラが設けられている。複数のラインカメラが設けられる場合、ライン方向について異なる位置に配置される。このとき、表面の長手方向については、同じ位置に配置されることが好ましい。ラインカメラは、マーキングの各端縁の撮像ラインに沿う実際位置を特定可能である。撮像ラインは、マーキングを横切るようにライン方向に延びている。複数のプロジェクタまたはビーム照射器が配列されている場合、複数のラインカメラは、それぞれ撮像ラインに沿う断面を撮像するように、かつ隣接する２つのプロジェクタまたはビーム照射器の中間に位置するように配置されることが好ましい。

【0053】

よって、各カメラの撮像角（垂直方向に対する傾き）は小さく、単一のラインカメラによる走査と比較してマーキング（特にストリップ）の歪みが小さくなる。単一のラインカメラの場合、撮像ラインをより大きな撮像角で撮像し、表面からより高い位置に配置される必要があるが、各光学マーキングの端縁に対する撮影角の差が非常に小さくなるため、処理がかなり困難となる。

【0054】

投影装置およびカメラは、特にこれらが共通の筐体内に配置されている場合、カメラの画像信号用の処理部とともにラインスキャナを形成する。

【0055】

上記の装置は、さらにモニタを含みうる。モニタは、ストリップパターンを得るように足し合わせられた複数のライン画像を表示するように構成される。複数のライン画像は、ラインカメラにより順次出力される。あるいは、モニタは、順次足し合わせられた原色画像を出力するように構成される。あるいは、モニタは、表面の一部を高さ位置の関数としてカラースケールやグレースケールで表示するように構成される。

【図面の簡単な説明】

【0056】

【図1a】走行面の走行方向から見たスキャナを示す図である。

【図1b】パターンが投影された走行面を示す平面図である。

【図1c】本発明に係る装置の典型的な応用を示す図である。

【図2】異なる形状の製品の場合における、図１ａの詳細を示す図である。

【図3】（ａ）は、製品の縦側面上のストリップ画像を示す図である。（ｂ）は、凸状に湾曲した製品上のストリップ画像を示す図である。

【発明を実施するための形態】

【0057】

以下に、本発明に基づく複数の実施形態を例示的に説明する。

【0058】

図１ｃは、本発明に係るラインスキャナの典型的な応用例を示している。

【0059】

同図は、いわゆるピッカラインの平面図である。ピッカラインは、走行方向Ｘ、１０に移動する搬送ベルト１を通じて、不規則に配置された製品群を搬送する。当該製品群は、ピッカ２０ａ、２０ｂ、２０ｃによりそれぞれ把持される。ピッカ２０ａ、２０ｂ、２０ｃは、搬送ベルト１の上方において走行方向に配列されている。当該製品群は、容器２２内に正確に位置決めされうる。

【0060】

本例では、容器群は、搬送ベルト１の両側において容器ベルト２３により搬送される。本例では、容器ベルト２３による搬送方向は、搬送ベルト１の走行方向と逆である。しかしながら、容器ベルト２３による搬送方向は、これに限られるものではない。

【0061】

本例では、ピッカは、下アームを備えている。下アームは、上アームに装着されている。これにより、下アームは、垂直軸を中心に回動制御可能とされている。上アームは、ベース２４に装着されている。これにより、上アームは、垂直軸を中心に回動制御可能とされている。製品を吸引または把持する装置は、下アームの自由端に配置されている。これにより、当該装置の垂直方向における位置が調節可能とされている。

【0062】

これにより、ピッカは、把持領域を通過する各製品Ｐに到達して把持可能である。しかしながら、ピッカは、特定の場所と時刻において、その下方を搬送ベルト（表面）１上で移動する各製品Ｐの位置および向きを知る必要がある。

【0063】

また、製品群Ｐは、部分的に重なり合って配置されうる（特に、それらがクッキーのように板状である場合）。よって、スキャナは、製品群の重なりを崩して最も上に位置する製品を把持し、それを容器２２内に配置するために、各製品について高さ情報も必要とする。これにより、当該製品の下に位置する次の製品が、次のスキャナにより検知され、取り除かれうる。こうして製品群の重なりが崩されていく。

【0064】

平面視で円形でない製品Ｐの位置、向き、および高さは、搬送ベルト（表面）１を横切って延びる少なくとも１つのラインスキャナ２１ａによって特定される。ラインスキャナ２１ａは、搬送ベルト１の走行方向におけるピッカ２０ａの上流側に配置されている。データは、ピッカの動作を制御する制御部２５へ送られる。

【0065】

少なくとも部分的に重なり合っている製品群を容易に崩せるようにするために、複数のラインスキャナ２１ａ、２１ｂ、２１ｃが設けられうる。ラインスキャナ２１ａ、２１ｂ、２１ｃは、搬送ベルト１の走行方向に離間して配置される。各ラインスキャナは、搬送ベルト１の走行方向における各ピッカの上流側に配置されることが好ましい。

【0066】

図１ａは、搬送ベルト（表面）１の走行方向１０から見たラインスキャナを詳細に示している。

【0067】

複数のビーム照射器Ｂは、Ｙ方向（ライン方向１２）に沿って、一定間隔で配列されている。各ビーム照射器Ｂは、図１ｂに示すパターン２を搬送ベルト（表面）１上に投影する。パターン２は、複数のストリップ５からなる。複数のストリップ５は、隙間６を挟んで互いに平行に延びている。

【0068】

複数のストリップ５は、搬送ベルト１の走行方向１０、Ｘに延びている。少なくとも走査に供される最高位置（例えば製品Ｐ１の上面）において、各パターン２の投影領域（照射光入射角をβとする）が相互に接するか重なるように、複数のビーム照射器Ｂが、ライン方向１２、Ｙに間隔をあけて配列されている。よって、当該位置より下方においては、投影領域は常に重なり合う。重なり合う投影領域においては、パターン（特にストリップ）の赤色成分と青色成分が重なるように投影される。

【0069】

隣接する２つのビーム照射器Ｂは、互いに異なる色のパターン２を照射する。すなわち、赤色用の照射器と青色用の照射器が交互に並んでいる。

【0070】

搬送ベルト（表面）１上には、位置と姿勢について走査に供される製品群Ｐ１〜Ｐ４が示されている。製品Ｐ１は、搬送ベルト（表面）の上方において走査に供される最高位置に対応する高さ寸法を有している。

【0071】

複数のラインカメラＫ１〜Ｋ４の各々は、隣接する２つのビーム照射器の中間点に配置されている。各ラインカメラは、図１ｂに平面視で示すパターン２において複数のストリップ５を横切る撮像ライン３上の部分のみを撮影する。

【0072】

走査に供される最高位置（例えば、製品Ｐ１の上面の高さ）において、ラインカメラＫ１の撮影領域がラインカメラＫ３の撮影領域と少なくとも接するように、搬送ベルト（表面）１の上方にラインカメラＫ１〜Ｋ４が配列されている。ラインカメラＫ３は、Ｙ方向についてラインカメラＫ１に隣接する次のラインカメラＫ２を挟んで反対側に位置している。ラインカメラＫ１とラインカメラＫ３の撮影領域は、走査に供される最高位置において、重なり合っていてもよい。この場合、当該位置よりも下方において、両撮影領域は常に重なり合う。

【0073】

よって、ラインカメラＫ１〜Ｋ４による撮影領域の重複部分の面積は、各撮影領域の面積の５０％を上回っている。これにより、撮像ライン３は、確実に重複した走査に供される。

【0074】

カメラＫ１〜Ｋ４は、ビーム照射器Ｂから照射される全ての色を検出および撮影できる。しかしながら、接続される処理ユニットは、ビーム照射器ごとの色のみを選択できる。

【0075】

カメラＫ１〜Ｋ４により走査される撮像ライン３のＸ方向における位置、各ビーム照射器ＢとラインカメラＫ１〜Ｋ４の高さ方向Ｚ、１１およびライン方向Ｙ、１２における位置、各ラインカメラの撮像角α、および各ビーム照射器の照射光入射角βは、既知であるとする。

【0076】

この場合、搬送ベルト（表面）１上の各製品Ｐ１〜Ｐ４の位置および向きの特定は、以下のように実行されうる。

【0077】

図２に示すように、高さ方向１１、Ｚとライン方向１２、Ｙにおける位置は、搬送ベルト（表面）１または当該走行面上に配置された製品Ｐ１、Ｐ２の表面におけるできる限り多くの点において特定されるべきである。

【0078】

各ライン画像のＸ方向における位置は、一定であるラインスキャナ２１（すなわち撮像ライン３）の位置、および既知である各撮像ラインに対する搬送ベルト（表面）１の移動速度に基づいて与えられる。

【0079】

図１ｂには、ビーム照射器Ｂにより照射されるパターン２として、複数のストリップ５が例示されている。

【0080】

光学マーキング２．１、２．２、２．３のライン方向Ｙ、１２における始端縁と終端縁が検査に供される。すなわち、ストリップ５Ａ、５Ｂ、５Ｃと、これらの間に位置する隙間６ａ、６ｂ、６ｃが検査に供される。端縁は、ストリップ５と隙間６の間の遷移点に対応している。図２は、光学マーキング２．１、２．２、２．３の撮像ライン３に沿う断面を示している。

【0081】

搬送ベルト（表面）１上のライン方向Ｙ、１２における各ストリップ５の前端縁の位置は、ビーム照射器ＢのＹ方向における位置（既知）と搬送ベルト（表面）１からのＺ方向における高さ（既知）、およびビーム照射器Ｂから出射されて当該端縁を形成するビームの出射角β１、β２、β３（既知）より特定される。同様に、撮像ライン３を撮像するカメラＫのＹ方向における位置（既知）、搬送ベルト（表面）１からのＺ方向における高さ（既知）、および撮像ライン３の方向における各カメラ画素の撮像角α１、α２、α３が既知である。

【0082】

よって、ストリップ５Ａの場合、その前端縁の目標位置ＳＰ１’は、ビーム放射器Ｂのデータより既知である。目標位置とは、ストリップ５Ａの前端縁が搬送ベルト（表面）１に投影される位置である。

【0083】

この前端縁を撮影するカメラＫにとっては、Ｙ方向における実際位置ＳＰ１は既知である。

【0084】

ストリップ５Ａの前端縁については、目標位置ＳＰ１’と実際位置ＳＰ１が同一であるため、当該前端縁は搬送ベルト（表面）１上に投影されており、製品Ｐ上には投影されていないと結論できる。

【0085】

ストリップ５ＢのＹ方向における前端縁については、Ｙ方向における目標位置ＳＰ２’と実際位置ＳＰ２の値が異なっている。ずれ量Ｖ２は、特定の高さｈ２に対応する。ｈ２の値は、カメラＫの位置に基づき、カメラ画素の撮像角α２を考慮して自動的に演算されうる。あるいは、ｈ２の値は、ビーム放射器Ｂの位置に基づき、ストリップ５Ａの前端縁に対応するビーム出射角β２を考慮して自動的に演算されうる。

【0086】

製品Ｐ上に投影される全てのストリップの端縁（例えば、ストリップ５Ｃの前端縁）について同じことが言える。

【0087】

図１ｂに示すように、パターン２には、幅の異なる３本のストリップ５Ａ、５Ｂ、５Ｃが含まれている。例えば、ストリップ５Ｂは、ストリップ５Ａの２倍の幅を有しており、ストリップ５Ｃは、ストリップ５Ａの３倍の幅を有している。同様に、パターン２には、幅の異なる３本の隙間６ａ、６ｂ、６ｃが含まれている。隙間６ｂは、隙間６ａの２倍の幅を有しており、隙間６ｃは、隙間６ａの３倍の幅を有している。

【0088】

３つのストリップ５Ａ、５Ｂ、５Ｃと３つの隙間６ａ、６ｂ、６ｃからなるグループを起点として、グループごとに各ストリップと各隙間の幅、およびグループ内における位置を変化させることにより、一義的にコード化された区間（最小長区間４）内において連続する６つのマーキングの観察が可能とされ、撮像ライン３に沿う各マーキング（すなわち、マーキングの各端縁）の位置が特定されうる。

【0089】

なお、図２における製品Ｐの右半分（特に、図示したカメラＫでは視認不可能である右下縁部）は、図示したビーム照射器Ｂの右側に設けられる別のカメラ（不図示）によって撮像される。

【0090】

このようにして、撮像ライン３に沿う複数の点について、製品Ｐの表面の輪郭が特定される。また、撮像ライン３上において製品Ｐの表面輪郭の始端部および終端部も定まるため、製品ＰのＹ方向における位置が特定されうる。

【0091】

移動する搬送ベルト（表面）１において順次得られるライン画像を連結することにより、全ての製品について各点の位置、向き、および高さが特定可能となる。

【0092】

図３の（ａ）は、垂直方向に延びる側面を含んでいる直方体状の製品Ｐの周縁が撮像され、当該周縁が搬送ベルト（表面）１の移動方向Ｘに対して正確に直交するように配置されている場合において、搬送ベルト（表面）１を撮影した複数のライン画像が連結されたものの一部を例示している。

【0093】

パターン２のストリップ５Ａ、５Ｂ、５Ｃは、上記の周縁においてずれ１３を生じている。ずれの量は、直方体状の製品Ｐの高さに対応している。しかしながら、製品Ｐの表面に投影された各ストリップの一部は真っすぐに延びている。当該製品Ｐの表面は水平、すなわち搬送ベルト（表面）１と平行であるからである。よって、搬送ベルト（表面）１上に投影された各ストリップの一部も真っすぐに延びている。

【0094】

図３の（ｂ）は、凸状に湾曲した表面、および下部において垂直方向に延びる端縁を有する製品Ｐについて、搬送ベルト（表面）１を撮影した複数のライン画像が連結されたものの一部を例示している。

【0095】

パターン２のストリップ５Ａ、５Ｂ、５Ｃは、周縁においてずれ１３を生じている。ずれの量は、垂直方向に延びる端縁の高さに対応している。

【0096】

搬送ベルト（表面）１に直接投影されている各ストリップの一部は、真っすぐに延びている。他方、凸状に湾曲した製品Ｐの表面に投影されている各ストリップの一部は、湾曲している。

【符号の説明】

【0097】

１：表面、走行面、搬送ベルト、２：パターン、２．１、２．２、２．３：マーキング、３：撮像ライン、４：最小長区間、５Ａ、５Ｂ、５Ｃ：ストリップ、６ａ、６ｂ、６ｃ：隙間、１０、Ｘ：走行方向、１１、Ｚ：高さ方向、観察方向、１２、Ｙ：ライン方向、１３：ずれ、２０ａ、２０ｂ、２０ｃ：ラインスキャナ、２１ａ、２１ｂ、２１ｃ：ピッカ、２２：容器、２３：容器ベルト、２４：ベース、２５：制御部、Ｂ：ビーム照射器、ｈ２、ｈ３：高さの値、Ｋ、Ｋ１〜Ｋ４：カメラ、Ｐ、Ｐ１〜Ｐ４：製品、ＳＰ１〜ＳＰ３：実際位置、ＳＰ１’〜ＳＰ３’：目標位置、Ｖ２、Ｖ３：ずれ量

【図1a】

【図1b】

【図1c】

【図2】

【図3】