特開 2022-179366 ライン追跡のためのセンサー融合

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022179366

(43)【公開日】2022-12-02

(54)【発明の名称】ライン追跡のためのセンサー融合

(51)【国際特許分類】

   B25J 13/08 20060101AFI20221125BHJP

   B25J 13/00 20060101ALI20221125BHJP

【ＦＩ】

B25J13/08 A

B25J13/00 A

【審査請求】未請求

【請求項の数】20

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2022071436

(22)【出願日】2022-04-25

(31)【優先権主張番号】17/326,841

(32)【優先日】2021-05-21

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100112357

【弁理士】

【氏名又は名称】廣瀬 繁樹

(74)【代理人】

【識別番号】100169856

【弁理士】

【氏名又は名称】尾山 栄啓

(72)【発明者】

【氏名】キアーラ タリニャーニ ランディ

(72)【発明者】

【氏名】リン シェン－チュン

(72)【発明者】

【氏名】加藤 哲朗

(72)【発明者】

【氏名】チー－コン ツァイ

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS13

3C707AS23

3C707KS03

3C707KT03

3C707KT06

3C707KT11

3C707KV01

3C707LT11

3C707NS02

(57)【要約】

【課題】コンベヤー・ベルトに沿って移動する物体の位置を決定するための方法を提供する。
【解決手段】方法は、モーター・エンコーダを使用してコンベヤー・ベルトが移動している間にコンベヤー・ベルトの位置を計測し、コンベヤー・ベルトの計測された位置に基づいて物体の位置の計測された位置信号を提供することを含む。また、方法は、コンベヤー・ベルトが停止したことを決定し、物体のＣＡＤモデルを提供し、３Ｄ視覚システムを使用して物体の点群表現を生成することを含む。次いで、方法はモデルと点群をマッチさせて物体の位置を決定し、マッチしたモデルと点群に基づいて物体の位置のモデル位置信号を提供し、また、モデル位置信号を使用してコンベヤー・ベルトが停止した結果として発生する計測された位置信号の誤差を修正する。
【選択図】図２

【特許請求の範囲】

【請求項1】

コンベヤー・ベルトに沿って移動する物体の位置を識別するための方法であって、
前記コンベヤー・ベルトが移動している間に前記コンベヤー・ベルトの前記位置を計測し、
前記コンベヤー・ベルトの前記計測された位置に基づいて、前記物体の前記位置の計測された位置信号を提供し、
前記コンベヤー・ベルトが停止したことを決定し、
前記物体のモデルを提供し、
視覚システムを使用して前記物体の点群表現を生成し、前記点群は前記物体上の特徴の前記位置を識別する点を含み、
前記物体の前記モデルと前記点群をマッチさせて、前記物体の前記位置を決定し、
前記マッチしたモデルと点群に基づいて、前記物体の前記位置のモデル位置信号を提供し、及び
前記モデル位置信号を使用して、前記コンベヤー・ベルトが停止した結果として発生する前記計測された位置信号の誤差を修正することを含む、方法。

【請求項2】

前記コンベヤー・ベルトが移動している間に前記コンベヤー・ベルトの前記位置を計測することは、モーター・エンコーダを使用することを含む、請求項１に記載の方法。

【請求項3】

前記物体のモデルを提供することは、ＣＡＤモデルを提供することを含む、請求項１に記載の方法。

【請求項4】

前記物体の点群表現を生成することは、３Ｄ視覚システムを使用することを含む、請求項１に記載の方法。

【請求項5】

前記３Ｄ視覚システムは少なくとも１つの３Ｄカメラを備える、請求項４に記載の方法。

【請求項6】

前記少なくとも１つの３Ｄカメラは複数の３Ｄカメラである、請求項５に記載の方法。

【請求項7】

前記物体の前記モデルと前記点群をマッチさせることは、点群マッチング・アルゴリズムを使用することを含む、請求項１に記載の方法。

【請求項8】

前記点群マッチング・アルゴリズムは反復最近傍点アルゴリズムである、請求項７に記載の方法。

【請求項9】

前記物体の前記モデルと前記点群をマッチさせることは、前記モデルを並進させ、かつ回転させて、前記点群における特徴点をマッチさせることを含む、請求項１に記載の方法。

【請求項10】

前記方法はロボット・システムで実行される、請求項１に記載の方法。

【請求項11】

コンベヤー・ベルトに沿って移動する物体の位置を識別するための方法であって、前記方法はロボット・システムによって実行され、
前記コンベヤー・ベルトがモーター・エンコーダを使用して移動する間に前記コンベヤー・ベルトの前記位置を計測し、
前記コンベヤー・ベルトの前記計測された位置に基づいて、前記物体の前記位置の計測された位置信号を提供し、
前記コンベヤー・ベルトが停止したことを決定し、
前記物体のＣＡＤモデルを提供し、
３Ｄ視覚システムを使用して前記物体の点群表現を生成し、前記点群は前記物体上の特徴の前記位置を識別する点を含み、
前記物体の前記モデルと前記点群をマッチさせて、前記モデルを並進させ、かつ回転させることにより前記物体の前記位置を決定し、前記点群における特徴点をマッチさせ、
前記マッチしたモデルと点群に基づいて、前記物体の前記位置のモデル位置信号を提供し、及び
前記モデル位置信号を使用して、前記コンベヤー・ベルトが停止した結果として発生する前記計測された位置信号の誤差を修正することを含む、方法。

【請求項12】

前記物体の前記モデルと前記点群をマッチさせることは、反復最近傍点アルゴリズムを使用することを含む、請求項１１に記載の方法。

【請求項13】

コンベヤー・ベルトに沿って移動する物体の位置を識別するためのシステムであって、
前記コンベヤー・ベルトが移動している間に前記コンベヤー・ベルトの前記位置を計測するための手段と、
前記コンベヤー・ベルトの前記計測された位置に基づいて、前記物体の前記位置の計測された位置信号を提供するための手段と、
前記コンベヤー・ベルトが停止したことを決定するための手段と、
前記物体のモデルを提供するための手段と、
視覚システムを使用して前記物体の点群表現を生成するための手段と、前記点群は前記物体上の特徴の前記位置を識別する点を含み、
前記物体の前記モデルと前記点群をマッチさせて、前記物体の前記位置を決定するための手段と、
前記マッチしたモデルと点群に基づいて、前記物体の前記位置のモデル位置信号を提供するための手段と、
前記モデル位置信号を使用して、前記コンベヤー・ベルトが停止した結果として発生する前記計測された位置信号の誤差を修正するための手段とを含む、システム。

【請求項14】

前記コンベヤー・ベルトが移動している間に前記コンベヤー・ベルトの前記位置を計測するための前記手段は、モーター・エンコーダを使用することを含む、請求項１３に記載のシステム。

【請求項15】

前記物体のモデルを提供するための前記手段はＣＡＤモデルを提供する、請求項１３に記載のシステム。

【請求項16】

視覚システムを使用して前記物体の点群表現を生成するための前記手段は３Ｄ視覚システムを使用する、請求項１３に記載のシステム。

【請求項17】

前記３Ｄ視覚システムは少なくとも１つの３Ｄカメラを備える、請求項１６に記載のシステム。

【請求項18】

前記少なくとも１つの３Ｄカメラは複数の３Ｄカメラである、請求項１７に記載のシステム。

【請求項19】

前記物体の前記モデルと前記点群をマッチさせるための前記手段は反復最近傍点アルゴリズムを使用する、請求項１３に記載のシステム。

【請求項20】

前記物体の前記モデルと前記点群をマッチさせるための前記手段は、前記モデルを並進させ、かつ回転させて、前記点群における特徴点をマッチさせる、請求項１３に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、コンベヤー・ベルトに沿って移動する物体の位置を決定するためのロボット・システム及び方法に関し、より具体的には、コンベヤー・ベルトに沿って移動する物体の位置を決定するためのロボット・システム及び方法であって、方法は、物体のＣＡＤモデルと３Ｄ視覚センサーからの物体の点群をマッチさせて、物体の位置を決定し、コンベヤー・ベルトが停止したときのコンベヤー・ベルトのバックラッシュに起因するモーター・エンコーダ計測値からの誤差を修正することを含む。

【背景技術】

【0002】

さまざまな製造、組み立て、及び材料移動動作を実行するための産業用ロボットの使用はよく知られている。多くのロボット作業スペース環境には、障害物が存在し、ロボットの移動する経路にあることがある。障害物は、機械や備品などの恒久的な構造物であることがあるし、あるいは、障害物は一時的な又は可動的なことがある。ロボットは溶接などの動作を実行している間、物体の内部又は周囲で作動しなければならないので、ロボットによって作動されている物体それ自体が障害物となることがある。そのため、ロボットの動作中には、さまざまなタイプの衝突回避及び干渉チェック・プロセスが実行される。

【0003】

たとえば、ロボットは、物体がコンベヤー・ベルトに沿って移動するときに、物体にねじ込み、溶接、又は塗装などのある生産動作を実行していることがある。コンベヤー・ベルト上の物体の位置は、ロボットと物体の間の衝突を防ぎ、物体上で動作を効果的に実行するために、知らなければならない。現在、モーター・エンコーダは、コンベヤー・ベルトの位置、たとえば、物体の位置を識別するために、たびたび使用される。ここで、モーター・エンコーダは、モーター・シャフトの速度及び/又は位置を追跡することによって閉ループ・フィードバック信号を提供する電気モーターに取り付けられるロータリー・エンコーダである。しかし、これらのタイプの生産動作のための一般的なコンベヤー・ベルトは、さまざまな理由で動作の間は停止及び開始されることが多く、そのことにより、コンベヤー・ベルトが突然揺れたり、反発したりして、次々にエンコーダからの位置計測値に誤差を発生させ、それ故にコンベヤー・ベルト上の物体の追跡を困難にさせている。

【0004】

モーター・エンコーダを使用して、説明されているようなコンベヤー・ベルト上の物体の位置を決定する１つの既知のロボット・システムにおいて、またそのシステムは、コンベヤー・ベルト上を移動する物体に対応する特徴を捉える画像を提供するカメラを使用し、またシステムは、連続する画像間の位置の違いに基づいて特徴の移動を追跡する。物体のこの追跡された移動から、エミュレートされた出力信号はモーター・エンコーダによって生成される信号に対応して生成され、ここでエミュレートされた信号は、ロボットの動作を管理するためにロボット制御装置に伝達される。ただし、視覚情報は２Ｄ画像で構成され、画像の特徴は検出しなければならない、ここで、追跡機能は視覚システムの出力のみに依存する。さらに、基準点は、コンベヤー・ベルト上の物体の位置及び／又は方位を定義するために使用される。移動する基準点を既知の位置を有する固定基準点と同期させるとき、処理システムは、既知の物体形状における物体の位置を計算上決定することができる。

【0005】

モーター・エンコーダを使用して、説明されているようなコンベヤー・ベルト上の物体の位置を決定する別の既知のロボット・システムにおいて、また、そのシステムは箱、球、又はカプセルなどの単純な形状で物体の形状を近似する。コンベヤー・ベルト上を移動する車体の例では、車体は２つの箱で近似され、そのことにより、ねじ込み、溶接、又は内部塗装のような動作が行われないようにする。

【発明の概要】

【0006】

以下の議論は、コンベヤー・ベルトに沿って移動する物体の位置を決定するためのロボット・システム及び方法を開示し、かつ説明する。方法は、コンベヤー・ベルトがモーター・エンコーダを使用して移動している間にコンベヤー・ベルトの位置を計測し、コンベヤー・ベルトの計測された位置に基づいて物体の位置の計測された位置信号を提供することを含む。また、方法は、コンベヤー・ベルトが停止したことを決定し、物体のＣＡＤモデルを提供し、３Ｄ視覚システムを使用して物体の点群表現を生成することを含み、ここで、点群は物体上の特徴の位置を識別する点を含む。次いで、方法は、物体のＣＡＤモデルと点群をマッチさせて、物体の位置を決定し、マッチしたモデルと点群に基づいて物体の位置のモデル位置信号を提供し、モデル位置信号を使用して、コンベヤー・ベルトが停止した結果として発生する計測された位置信号の誤差を修正する。

【0007】

本開示の追加の特徴は、添付の図面と併せて、以下の説明及び添付の特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0008】

【図1】図１は、コンベヤー・ベルトに沿って移動する車体に塗装動作を行うロボットを備えるロボット・システムの説明図である。

【図2】図２は、ロボット・システムにおけるコンベヤー・ベルトのバックラッシュの誤差を補正する物体の位置を決定するための物体位置システムの概略ブロック図である。

【発明を実施するための形態】

【0009】

コンベヤー・ベルトが停止したときのバックラッシュの誤差を補正する、コンベヤー・ベルトに沿って移動する物体の位置を決定するためのロボット・システム及び方法に対する本開示の実施形態の以下の議論は、事実上単なる例示であり、本発明又はその用途又は使用を制限することは少しも意図されない。

【0010】

図１は、車体がコンベヤー・ベルト１８に沿って移動するときに車体１６を塗装している塗装ノズル１４を有するロボット１２を備えるロボット・システム１０の例示的な説明図である。システム１０は、本明細書の議論から利益となり得る任意のタイプのロボット・システムを表すことが意図され、ここで、ロボット１２はその目的に適した任意のロボットであってもよい。さらに、塗装動作及び車体１６は、単に説明の目的だけであり、ここで、車体１６は任意の適切な物体を表すことが意図され、塗装は、溶接及び締めることを含む任意の適切なロボット動作を表すことが意図される。ロボット１２が車体１６を効果的に塗装し、ロボット１２と車体１６の衝突を防止するために、ロボット１２は、コンベヤー・ベルト１８に沿って移動するときの車体１６の正確な位置を知る必要がある。これを達成するために、コンベヤー・ベルト・モーター・エンコーダ２０は、コンベヤー・ベルト１８の近くに設けられ、ベルト１８が移動している速度を示す信号をロボット制御装置２４に提供する。また、システム１０は、コンベヤー・ベルト１８及びロボット１２に対して所望の位置に提供される１つ又は複数の３Ｄカメラ２２を備え、当該１つ又は複数の３Ｄカメラ２２は、塗装ノズル１４を移動させるようにロボット１２を制御するロボット制御装置２４に点群データを提供する。ここで、点群は、特定の座標システムによって定義される空間内のデータポイントを収集したものであり、点群内の各点にはx、y、zの値がある。また、レーザー・センサー２６は、車体１６の追跡はいつ開始するべきかを示す信号を制御装置２４に提供する。

【0011】

コンベヤー・ベルト１８が移動している間、車体１６の位置は、エンコーダ２０からの情報を使用して継続的に更新されている。コンベヤー・ベルト１８が停止すると、ベルト１８のバックラッシュにより、エンコーダ２０からの計測値に誤差が生じ、それは修正されなければならない。コンベヤー・ベルト１８が停止している間、３Ｄカメラ２２は、制御装置２４に記憶される車体１６のＣＡＤモデルとマッチする、又は比較される点群を生成し、欠落した点を補正し、車体１６の正確な位置を決定する。ベルト１８が移動している間のエンコーダ２０からの高周波物体位置データとベルト１８が停止している間の３Ｄカメラ２２からの点群と車体１６のＣＡＤモデルをマッチさせることによる低周波物体位置データの組み合わせにより、ベルト・バックラッシュに起因するエンコーダ２０からの計測値の修正が可能になり、したがって、コンベヤー・ベルト１８上の車体１６の正確な追跡が可能になる。

【0012】

図２は、上記のように、コンベヤー・ベルト１８に沿って移動する車体１６の位置を決定し、コンベヤー・ベルトのバックラッシュの誤差を補正する物体位置検出システム３０の概略ブロック図である。システム３０は、車体１６のＣＡＤモデル３２、及び車体１６の点群を提供する３Ｄ視覚システム３４を備え、ここで、視覚システム３４は１つ又は複数の３Ｄカメラ又は他の３Ｄ光学検出器を備えることができる。ＣＡＤモデル３２及び点群は、任意の適切な点群マッチング・アルゴリズムを作動して、欠落している雲り点を補正し、車体１６の正確な位置を決定する点群マッチング・プロセッサ３６でマッチする。１つの適切なアルゴリズムは、ＣＡＤモデルのメッシュ形状を回転させ、かつ並進させて、点群内の点とマッチさせ又は位置合わせする、当業者によく知られている反復最近傍点アルゴリズムとして知られ、ここで、マッチしたＣＡＤモデルは車体１６の方位及び位置を示す。次いで、その位置は誤差補正プロセッサ３８に送られ、また、誤差補正プロセッサ３８は、エンコーダ２０を表すコンベヤー・ベルト・モーター・エンコーダ４０から計測値を受信し、その計測値を修正して、ライン４２上に位置信号を提供し、車体１６の正確な位置を識別する、そのことは、ロボット１２を正確に制御するために使用することができる。

【0013】

点群マッチング・プロセッサ３６は、コンベヤー・ベルト１８が停止したときに得られる車体１６の低周波位置データを提供し、エンコーダ４０からの計測値は、コンベヤー・ベルト１８が移動している間の車体１６の高周波位置データを提供する。したがって、コンベヤー・ベルト１８が移動しているとき、マッチング・プロセッサ３６から誤差補正プロセッサ３８にデータは提供されず、エンコーダ計測値のみが、コンベヤー・ベルト１８上の車体１６の位置を提供する。コンベヤー・ベルト１８が止まるとき、そのことは制御装置２４によって任意の適切な方法で識別でき、エンコーダ計測値によって提供されるコンベヤー・ベルト１８の最後の位置は、ベルト１８が停止するとき急に傾くために正確ではない。点群マッチングプロセスはエンコーダ４０からの計測値を修正するために実行され、その結果、ベルト１８が再び移動を始めるときは、エンコーダ４０からの計測値は正確であるだろう。このように、コンベヤー・ベルト１８上の物体はそれらの複雑な形状によって表され、また、それらは単純な形状で近似されない、それ故、内部塗装、溶接、又はねじ込みのような動作は正確に実行することができる。

【0014】

前述の議論は、本開示の単なる例示的な実施形態を開示し、かつ説明する。当業者は、そのような議論並びに添付の図面及び特許請求の範囲から、以下の特許請求の範囲で定義される開示の精神及び範囲から逸脱することなく、様々な変更、修正及び変形を行うことができることを容易に認識するであろう。

【図1】

【図2】

【外国語明細書】