(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-23
(45)【発行日】2024-10-31
(54)【発明の名称】カメラの位置ずれ測定方法
(51)【国際特許分類】
B25J 19/04 20060101AFI20241024BHJP
G06T 7/80 20170101ALI20241024BHJP
【ＦＩ】
B25J19/04
G06T7/80
【請求項の数】
2
(21)【出願番号】P 2022536096
(86)(22)【出願日】2020-07-17
(86)【国際出願番号】 JP2020027861
(87)【国際公開番号】W WO2022014043
(87)【国際公開日】2022-01-20
【審査請求日】2023-06-02
【前置審査】
(73)【特許権者】
【識別番号】000237271
【氏名又は名称】株式会社ＦＵＪＩ
(74)【代理人】
【識別番号】110000017
【氏名又は名称】弁理士法人アイテック国際特許事務所
(72)【発明者】
【氏名】川▲崎▼ 智紀
【審査官】松浦 陽
(56)【参考文献】
【文献】特開昭６４－００２８８９（ＪＰ，Ａ）
【文献】特開平０５－００８１８５（ＪＰ，Ａ）
【文献】特開２０１９－０１４０３１（ＪＰ，Ａ）
【文献】特開２０１５－１８２１４４（ＪＰ，Ａ）
【文献】特開平０６－２３８５８４（ＪＰ，Ａ）
【文献】特開２０１８－０９４６４８（ＪＰ，Ａ）
【文献】特開２０１８－０１２１８４（ＪＰ，Ａ）
【文献】特開２０１４－１８０７２０（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ２５Ｊ １／００ － ２１／０２
Ｇ０６Ｔ ７／８０
(57)【特許請求の範囲】
【請求項1】
ロボットアームと、該ロボットアームの先端部に回転軸を介して取り付けられたハンドと、光軸が前記回転軸と平行となるように前記ロボットアームに取り付けられたカメラと、を有するロボットにおける前記カメラの位置ずれを測定するカメラの位置ずれ測定方法であって、マークを有する治具を前記ハンドに装着するステップ（ａ）と、
前記ハンドを前記回転軸周りに回転させながら複数の回転位置において前記カメラで前記治具が有する前記マークを撮像するステップ（ｂ）と、
前記複数の回転位置においてそれぞれ撮像された各撮像画像に写る前記マークの位置と当該回転位置における理想的な前記マークの位置との差分に基づいて前記カメラの位置ずれを求めるステップ（ｃ）と、
を備え、
前記ステップ（ｃ）は、実際のカメラ視野を基準としたＸ vr Ｙ vr 座標系において、前記ステップ（ｂ）により各回転位置ｎ（ｎ＝１，２，…，ｋ）でそれぞれ撮像され測定されたマークの位置を（ｘ vn ，ｙ vn ）とし、前記各回転位置ｎ（ｎ＝１，２，…，ｋ）での理想的なマークの位置を（ｘ in ，ｙ in ）とし、Ｘ vr 軸方向およびＹ vr 軸方向における前記カメラの各位置ずれを（ｘ c ，ｙ c ）とすると共に設計上のカメラ視野に対する前記実際のカメラ視野の回転方向の回転ずれをθ c としたとき、前記測定されたマーク位置（ｘ vn ，ｙ vn ）と前記理想的なマーク位置（ｘ in ，ｙ in ）との関係を表わす関係式を用いて前記位置ずれ（ｘ c ，ｙ c ）と前記回転ずれθ c とを求め、前記回転ずれθ c に基づいて前記位置ずれ（ｘ c ，ｙ c ）の座標系を前記Ｘ vr Ｙ vr 座標系から前記設計上のカメラ視野を基準としたＸ vi Ｙ vi 座標系に変換することで前記カメラの位置ずれを求めるものであって、
次式（１）～（３）で定義される平方和Ｆが最小化する前記位置ずれ（ｘ c ，ｙ c ）と前記回転ずれθ c との組合せを所定の最小化アルゴリズムを用いて求め、次式（４）および（５）により前記位置ずれ（ｘ c ，ｙ c ）の座標系を前記Ｘ vr Ｙ vr 座標系から前記Ｘ vi Ｙ vi 座標系に変換することで、前記Ｘ vi Ｙ vi 座標系における位置ずれ（ｘ ci ，ｙ ci ）を求める、
カメラの位置ずれ測定方法。
【数1】
【請求項2】
請求項１に記載のカメラの位置ずれ測定方法であって、前記ステップ（ｃ）で求めた前記カメラの位置ずれおよび回転ずれに応じたオフセット値を前記カメラで撮像して測定した対象物の位置を補正するための補正値として登録するステップ（ｄ）を備える
カメラの位置ずれ測定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本明細書は、カメラの位置ずれ測定方法について開示する。
【背景技術】
【0002】
従来、アームを備えるロボットにおいて、アームとは独立して設置されたカメラの校正を行なうものが提案されている（例えば、特許文献１参照）。このカメラの校正の処理手順は、まず、手先座標系の３つの回転軸Ｘ，Ｙ，Ｚを設定し、各回転軸を中心として手先に保持した校正用パターンをそれぞれ回転させるようにアームを動作させる。次に、各回転軸を中心とした回転の複数の回転位置における校正用パターンのパターン画像をカメラで撮像する。そして、これらのパターン画像を用いて手先座標系とカメラ座標系との間の座標変換行列を推定する。この処理手順によれば、手先座標系とカメラ座標系との間の座標変換を計算可能な外部パラメータが得られるため、カメラを用いた対象物の位置検出を行なうことができるとしている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１９－１４０３１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述した特許文献１には、アームとは独立して設置されたカメラの校正を行なうことについては記載されているものの、アームに取り付けられたカメラの校正（位置ずれの測定）を行なうことについては何ら言及されていない。
【0005】
本開示は、アームに取り付けられたカメラの位置ずれの測定を簡易な手法により行なうことを主目的とする。
【課題を解決するための手段】
【0006】
本開示のカメラの位置ずれ量測定方法は、上述の主目的を達成するために以下の手段を採った。
【0007】
本開示のカメラの位置ずれ量測定方法は、
ロボットアームと、該ロボットアームの先端部に回転軸を介して取り付けられたハンドと、光軸が前記回転軸と平行となるように前記ロボットアームに取り付けられたカメラと、を有するロボットにおける前記カメラの位置ずれを測定するカメラの位置ずれ測定方法であって、
マークを有する治具を前記ハンドに装着するステップ（ａ）と、
前記ハンドを前記回転軸周りに回転させながら複数の回転位置において前記カメラで前記マークを撮像するステップ（ｂ）と、
前記複数の回転位置においてそれぞれ撮像された各撮像画像に写るマークの位置と理想的なマークの位置との差分に基づいて前記カメラの位置ずれを求めるステップ（ｃ）と、
を備えることを要旨とする。
ロボットアームと、該ロボットアームの先端部に回転軸を介して取り付けられたハンドと、光軸が前記回転軸と平行となるように前記ロボットアームに取り付けられたカメラと、を有するロボットにおける前記カメラの位置ずれを測定するカメラの位置ずれ測定方法であって、
マークを有する治具を前記ハンドに装着するステップ（ａ）と、
前記ハンドを前記回転軸周りに回転させながら複数の回転位置において前記カメラで前記マークを撮像するステップ（ｂ）と、
前記複数の回転位置においてそれぞれ撮像された各撮像画像に写るマークの位置と理想的なマークの位置との差分に基づいて前記カメラの位置ずれを求めるステップ（ｃ）と、
を備えることを要旨とする。
【0008】
この本開示のカメラの位置ずれ量測定方法は、ロボットアームと、ロボットアームの先端部に回転軸を介して取り付けられたハンドと、光軸が回転軸と平行となるようにロボットアームに取り付けられたカメラと、を有するロボットにおけるカメラの位置ずれを測定するものである。この方法では、マークが付された治具をハンドに装着し、ハンドを回転軸周りに回転させながら複数の回転位置においてカメラによりマークを撮像する。そして、複数の回転位置においてそれぞれ撮像された各撮像画像に写るマークの位置と理想的なマークの位置との差分に基づいてカメラの位置ずれを求める。これにより、アームに取り付けられたカメラの位置ずれの測定を簡易な手順により行なうことができる。
【図面の簡単な説明】
【0009】
【図1】作業ロボットの外観斜視図である。
【図2】ロボット本体の側面図である。
【図3】ロボット本体と制御装置との電気的な接続関係を示すブロック図である。
【図4】カメラ位置ずれ測定手順の一例を示す説明図である。
【図5】マーク付き治具の装着の様子を示す説明図である。
【図6】カメラに位置ずれが生じているときの設計上のカメラ視野と実際のカメラ視野とを示す説明図である。
【図7】実際のカメラ視野を基準としたＸvrＹvr座標系における位置ずれ（ｘc，ｙc）と回転ずれをθcとを説明する説明図である。
【図8】設計上のカメラ視野を基準としたＸviＹvi座標系における位置ずれ（ｘci，ｙci）を説明する説明図である。
【発明を実施するための形態】
【0010】
次に、本開示を実施するための形態について図面を参照しながら説明する。
【0011】
【0012】
作業ロボット１は、ワークＷに対して所定の作業（例えば、ワークＷをピックアップして搬送する搬送作業や、ワークＷをピックアップして対象物に組み付ける組付け作業など）を行なう水平多関節ロボットとして構成されている。作業ロボット１は、ロボット本体１０（図１～図３参照）と、ロボット本体１０を制御する制御装置７０（図３参照）と、を備える。ロボット本体１０は、図１，図２に示すように、基台１１と多関節アーム２０とを備える。
【0013】
基台１１は、作業台２に固定されており、多関節アーム２０の基端側を支持する。多関節アーム２０は、第１アーム２１と第１アーム駆動部３０と第２アーム２２と第２アーム駆動部４０とシャフト２３とシャフト駆動部５０とカメラ６０とを備える。第１アーム２１は、基端部が第１関節軸Ｊ１を介して基台１１に連結され、第１関節軸Ｊ１の回動により基台１１に対して水平面内で回動（水平旋回）可能に構成される。第２アーム２２は、基端部が第２関節軸Ｊ２を介して第１アーム２１の先端部に連結され、第２関節軸Ｊ２の回動により第１アーム２１に対して水平面内で回動（水平旋回）可能に構成される。シャフト２３は、第２アーム２２の先端部に第３関節軸Ｊ３を介して連結され、第２アーム２２に対して第３関節軸Ｊ３の軸周りに回転可能かつ第３関節軸Ｊ３の軸方向に沿って昇降可能に構成される。シャフト２３の先端には、ワークＷに対して作業を行なうための各種ツールを保持するためのツール保持部２４が設けられている。
【0014】
第１アーム駆動部３０は、図３に示すように、モータ３２とエンコーダ３４とを備える。モータ３２の回転軸は、図示しない減速機を介して第１関節軸Ｊ１に連結されている。第１アーム駆動部３０は、モータ３２を駆動することにより減速機を介して第１関節軸Ｊ１に伝達されるトルクにより、第１関節軸Ｊ１を支点に第１アーム２１を水平旋回させる。エンコーダ３４は、モータ３２の回転軸に取り付けられ、モータ３２の回転変位量を検出するロータリエンコーダとして構成される。
【0015】
第２アーム駆動部４０は、第１アーム駆動部３０と同様に、モータ４２とエンコーダ４４とを備える。モータ４２の回転軸は、図示しない減速機を介して第２関節軸Ｊ２に連結されている。第２アーム駆動部４０は、モータ４２を駆動することにより減速機を介して第２関節軸Ｊ２に伝達されるトルクにより、第２関節軸Ｊ２を支点に第２アーム２２を水平旋回させる。エンコーダ４４は、モータ４２の回転軸に取り付けられ、モータ４２の回転変位量を検出するロータリエンコーダとして構成される。
【0016】
シャフト駆動部５０は、図３に示すように、モータ５２ａ，５２ｂとエンコーダ５４ａ，５４ｂとを備える。モータ５２ａの回転軸は、ベルト（図示せず）を介してシャフト２３に接続され、シャフト２３を軸周りに回転させる。モータ５２ｂの回転軸は、シャフト２３を貫通するボールねじナット（図示せず）にベルトを介して接続され、当該ボールねじナットを回転させることでシャフト２３を上下に昇降させる。エンコーダ５４ａは、シャフト２３の回転変位量を検出するロータリエンコーダとして構成される。エンコーダ５４ｂは、シャフト２３の昇降位置を検出するリニアエンコーダとして構成される。
【0017】
カメラ６０は、光軸がシャフト２３の軸と平行となるように第２アーム２２の先端部側面に取り付けられている。カメラ６０は、作業対象のワークＷを撮像し、その撮像画像を制御装置７０へ出力する。制御装置７０は、撮像画像を処理することによりワークＷの位置を認識する。
【0018】
制御装置７０は、図３に示すように、ＣＰＵ７１とＲＯＭ７２とＲＡＭ７３と不揮発性メモリ（記憶装置７４）と入出力インタフェース（図示せず）とを備える。制御装置７０には、エンコーダ３４，４４，５４ａ，５４ｂからの位置信号やカメラ６０からの画像信号などが入出力インタフェースを介して入力されている。制御装置７０からは、モータ３２，４２，５２ａ，５２ｂへの駆動信号などが入出力インタフェースを介して出力されている。
【0019】
次に、こうして構成された作業ロボット１の動作について説明する。制御装置７０のＣＰＵ７１は、まず、ワークＷの上方にカメラ６０を移動させるために手先が予め定められた目標位置に移動するよう第１アーム駆動部３０と第２アーム駆動部４０とシャフト駆動部５０とを制御し、ワークＷをカメラ６０で撮像する。続いて、ＣＰＵ７１は、得られた撮像画像を処理する画像処理を行なってワークＷの位置をカメラ座標系で計測する。画像処理は、撮像画像中に写るワークＷの座標値を計測し、補正値を用いて計測した座標値に対して位置オフセット補正および回転オフセット補正を実行することにより行なわれる。ここで、補正値は、カメラ６０の加工誤差や組付け誤差等によって生じるカメラ６０と手先との位置関係のずれを補正するためのものである。補正値は、後述するカメラ位置ずれ測定手順によって予め測定され、記憶装置７４に記憶されている。次に、ＣＰＵ７１は、ワークＷの位置をロボット座標系に変換し、変換したワークＷの位置に基づいてワークＷをピックアップするための手先の目標位置を設定する。そして、ＣＰＵ７１は、設定した目標位置に手先が移動するよう第１アーム駆動部３０と第２アーム駆動部４０とシャフト駆動部５０とを制御する。ワークＷは、手先が目標位置へ移動することで、手先（ワーク保持部２４）によりピックアップされる。
【0020】
次に、カメラ位置ずれ測定手順について説明する。図４は、カメラ位置ずれ測定手順の一例を示す説明図である。カメラ位置ずれ測定手順は、ステップＳ１００～Ｓ１５０により実行される。
【0021】
ステップＳ１００は、図５に示すように、シャフト２３の先端に設けられたツール保持部２４（手先）にマーク付き治具１００を装着する。マーク付き治具１００は、ツール保持部２４に装着される装着箇所からシャフト２３に直交する方向に離間した位置にマークＭを有する。ステップＳ１１０は、シャフト２３が所定角度ずつ（例えば、１０度ずつ）回転するようシャフト駆動部５０を制御し、シャフト２３が所定角度回転する毎に、カメラ６０でマークＭを撮像する。これにより、複数の回転位置ｎ（ｎ＝１，２，３，…，ｋ）においてマークＭの撮像画像が得られる。ステップＳ１２０は、撮像画像からカメラ６０の位置ずれを含む実際のカメラ視野を基準とした座標系（ＸvrＹvr座標系）において、回転位置ｎ毎のマーク位置（ｘvn，ｙvn）（ｎ＝１，２，３，…，ｋ）を測定する。マーク位置（ｘvn，ｙvn）の測定は、撮像画像を処理して画像に写ったマークＭの中心座標を求めることにより行なわれる。
【0022】
ステップＳ１３０は、ＸvrＹvr座標系において測定したマーク位置（ｘvn，ｙvn）（ｎ＝１，２，３，…，ｋ）と、ＸvrＹvr座標系において予めＲＯＭ７２に記憶された理想的なマーク位置（ｘ
in
，ｙ
in
）（ｎ＝１，２，３，…，ｋ）との差分に基づいてカメラ６０の位置ずれ（ｘc，ｙc）と回転ずれθcとを導出する。位置ずれ（ｘc，ｙc）は、それぞれＸvr軸方向における位置ずれ量とＹvr軸方向における位置ずれ量とを示す。また、回転ずれθcは、カメラ６０の位置ずれを含まない設計上のカメラ視野に対するカメラ６０の位置ずれを含む実際のカメラ視野の回転方向におけるずれ量を示す。ステップＳ１３０は、本実施形態においては、次式（１）～（３）により定義されるＸvr軸方向における差分ｆ
xn
とＹvr軸方向における差分ｆ
yn
との平方和Ｆが最小化する位置ずれ（ｘc，ｙc）と回転ずれθcとの組合せを遺伝的アルゴリズムやニュートンラフソン法などの周知の最小化アルゴリズムを用いて導出することにより行なわれる。ステップＳ１４０は、回転ずれθcを用いて次式（４）および（５）により、位置ずれ（ｘc，ｙc）を、実際のカメラ視野を基準とした座標系（ＸvrＹvr座標系）から設計上のカメラ視野を基準とした座標系（ＸviＹvi座標系）に変換する。これにより、ＸviＹvi座標系において、カメラ６０のＸviＹvi軸方向における位置ずれ（ｘci，ｙci）が導出される。ステップＳ１５０は、位置ずれ（ｘci，ｙci）と同量で方向が逆の位置オフセット値と、回転ずれθcと同量で方向が逆の回転オフセット値とを補正値として記憶装置７４に登録する。これにより、ワークＷをピックアップするに際して、カメラ６０でワークＷを撮像して測定したワークWの位置をオフセット補正（位置オフセットおよび回転オフセット）することで、カメラ６０の位置ずれに拘わらずワークＷの位置を正しく認識することができる。この結果、作業（ピックアップ）の精度をより高めることができる。
【0023】
【数1】
【0024】
ここで、ステップＳ１３０において、測定したマーク位置（ｘvn，ｙvn）と理想的なマーク位置（ｘ
in
，ｙ
in
）との間には、理論上、次式（６）および（７）が成立する。このため、式（６）および（７）を用いてカメラ６０の位置ずれ（ｘc，ｙc）と回転ずれθcとを導出することが可能である。しかし、実際には、両者の関係には、様々な誤差が含まれるため、差分ｆ
xn
，ｆ
yn
との平方和Ｆが最小化する位置ずれ（ｘc，ｙc）と回転ずれθcとの組合せを求めることで、補正精度をより高めることができる。
【0025】
【数2】
【0026】
ここで、実施形態の主要な要素と請求の範囲に記載した本開示の主要な要素との対応関係について説明する。即ち、本実施形態では、多関節アーム２０がロボットアームに相当し、ツール保持部２４がハンドに相当し、カメラ６０がカメラに相当する。
【0027】
なお、本開示は上述した実施形態に何ら限定されることはなく、本開示の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
【0028】
例えば、上述した実施形態では、本開示のカメラの位置ずれ測定方法を水平多関節ロボットに適用して説明した。しかし、これに限定されるものではなく、例えば垂直多関節ロボットなど、ロボットアームと、ロボットアームの先端部に回転軸を介して取り付けられたハンドと、光軸が回転軸と平行となるようにロボットアームに取り付けられたカメラと、を有する構成であれば、如何なる構成のロボットにも適用可能である。
【0029】
以上説明したように、本開示のカメラの位置ずれ測定方法は、ロボットアームと、該ロボットアームの先端部に回転軸を介して取り付けられたハンドと、光軸が前記回転軸と平行となるように前記ロボットアームに取り付けられたカメラと、を有するロボットにおける前記カメラの位置ずれを測定するカメラの位置ずれ測定方法であって、マークを有する治具を前記ハンドに装着するステップ（ａ）と、前記ハンドを前記回転軸周りに回転させながら複数の回転位置において前記カメラで前記マークを撮像するステップ（ｂ）と、前記複数の回転位置においてそれぞれ撮像された各撮像画像に写るマークの位置と理想的なマークの位置との差分に基づいて前記カメラの位置ずれを求めるステップ（ｃ）と、を備えることを要旨とする。
【0030】
この本開示のカメラの位置ずれ量測定方法は、ロボットアームと、ロボットアームの先端部に回転軸を介して取り付けられたハンドと、光軸が回転軸と平行となるようにロボットアームに取り付けられたカメラと、を有するロボットにおけるカメラの位置ずれを測定するものである。この方法では、マークが付された治具をハンドに装着し、ハンドを回転軸周りに回転させながら複数の回転位置においてカメラによりマークを撮像する。そして、複数の回転位置においてそれぞれ撮像された各撮像画像に写るマークの位置と理想的なマークの位置との差分に基づいてカメラの位置ずれを求める。これにより、アームに取り付けられたカメラの位置ずれの測定を簡易な手順により行なうことができる。
【0031】
この本開示のカメラの位置ずれ測定方法において、前記ステップ（ｃ）は、実際のカメラ視野を基準としたＸvrＹvr座標系において、前記ステップ（ｂ）により各回転位置ｎ（ｎ＝１，２…）でそれぞれ撮像され測定されたマークの位置を（ｘvn，ｙvn）とし、前記各回転位置ｎ（ｎ＝１，２…）での理想的なマークの位置を（ｘin，ｙin）とし、Ｘvr軸方向およびＹvr軸方向における前記カメラの各位置ずれを（ｘc，ｙc）とすると共に設計上のカメラ視野に対する前記実際のカメラ視野の回転方向の回転ずれをθcとしたとき、前記測定されたマーク位置（ｘvn，ｙvn）と前記理想的なマーク位置（ｘin，ｙin）との関係を表わす関係式を用いて前記位置ずれ（ｘc，ｙc）と前記回転ずれθcとを求め、前記回転ずれθcに基づいて前記位置ずれ（ｘc，ｙc）の座標系を前記ＸvrＹvr座標系から前記設計上のカメラ視野を基準としたＸviＹvi座標系に変換することで前記カメラの位置ずれを求めるものとしてもよい。こうすれば、各回転位置ｎでそれぞれカメラで撮像され測定されたマークの位置から簡易な処理によりカメラの位置ずれを求めることができる。
【0032】
この場合、前記ステップ（ｃ）は、式（１）～（３）で定義される平方和Ｆが最小化する前記位置ずれ（ｘc，ｙc）と前記回転ずれθcとの組合せを所定の最小化アルゴリズムを用いて求め、次式（４）および（５）により前記位置ずれ（ｘc，ｙc）の座標系を前記ＸvrＹvr座標系から前記ＸviＹvi座標系に変換することで、前記ＸviＹvi座標系における位置ずれ（ｘci，ｙci）を求めるものとしてもよい。こうすれば、カメラの位置ずれや回転ずれの測定精度を更に高めることができる。
【0033】
また、本開示のカメラの位置ずれ測定方法において、前記ステップ（ｃ）で求めた前記カメラの位置ずれおよび回転ずれに応じたオフセット値を前記カメラで撮像して測定した対象物の位置を補正するための補正値として登録するものとしてもよい。こうすれば、カメラを用いて対象物の位置を精度良く認識することが可能である。
【産業上の利用可能性】
【0034】
本開示は、ロボットの製造産業などに利用可能である。
【符号の説明】
【0035】
１ 作業ロボット、２ 作業台、１０ ロボット本体、１１ 基台、２０ 多関節アーム、２１ 第１アーム、２２ 第２アーム、２３ シャフト、３０ 第１アーム駆動部、３２ モータ、３４ エンコーダ、４０ 第２アーム駆動部、４２ モータ、４４ エンコーダ、５０ シャフト駆動部、５２ａ，５２ｂ モータ、５４ａ，５４ｂ エンコーダ、６０ カメラ、７０ 制御装置、７１ ＣＰＵ、７２ ＲＯＭ、７３ ＲＡＭ、７４ 記憶装置、Ｊ１ 第１関節軸、Ｊ２ 第２関節軸、Ｊ３ 第３関節軸。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】